CN117793156A - 一种远程控制的kvm漫游系统及漫游方法 - Google Patents

Abstract

本申请公开了一种远程控制的kvm漫游系统，该系统包括：控制端、被控制端、编解码模块、交换机；控制端设置有本地计算机、鼠标、键盘，与编解码模块连接，编解码模块通过接入由交换机级联形成的局域网，根据控制端发送的分屏配置信息进行画面的拼接，发送到显示器，并根据控制端的鼠标或键盘的控制信息，分析出当前操作所针对的远端计算机的ip，并对所述鼠标或键盘的控制信息进行处理后，发送给对应ip的远端计算机，实现漫游控制。本申请可直接远程操控多台远端计算机，操作简便。

Description

一种远程控制的kvm漫游系统及漫游方法

技术领域

本发明涉及一种多电脑远程切换系统，属于计算机远程控制领域，尤其涉及一种远程控制的kvm漫游系统及漫游方法。

背景技术

随着计算机在越来越多的领域中得到应用，远程与漫游技术的发展也被越来越多的人关注。人们操作控制端计算机，就可以控制远端的计算机进行各种操作，解决了因距离原因而不能进行工作的问题，极大的方便了跨地域作业的工作人员。

但大部分的kvm远程及漫游技术，都为一对一远程操作，即一台计算机，远端控制一台计算机，在需要频繁同时操作多台远端计算机时，则需要在本地进行频繁的切换操作，包括设备的切换以及手动的硬件操作，联调不方便，时间成本与操作成本高。

发明内容

本申请提供了一种远程控制的kvm漫游系统，可以利用一台本地计算机，无需频繁切换即可直接远程操控多台计算机进行工作。该系统包括：控制端、被控制端、编解码模块、至少两台交换机；

所述控制端设置有本地计算机、鼠标，与所述编解码模块连接；

所述被控制端包括若干远端计算机，分别与所述编解码模块中的第一编码单元连接，每个所述远端计算机对应所述本地计算机上分屏中的一块；将经过所述编解码模块中的解码器分析后的鼠标的控制信息写入被控制端本地的鼠标数据文件中；

所述至少两台交换机级联形成局域网；

所述编解码模块，包括第一编码单元、第二编码单元、若干解码器；其中，

所述第一编码单元用于对获取到的各远端计算机的画面进行编码，通过所述交换机发送给对应的解码器；

所述解码器与所述局域网建立连接，用于对所述第一编码单元发送来的各码流数据进行解码，根据控制端发送的分屏配置信息，对相应解码器输出的码流信号进行拼接，由所述第二编码单元对拼接后的图像进行编码发送给控制端；获取鼠标或键盘在控制端的控制信息，分析出当前操作所针对的远端计算机的ip，并对所述鼠标或键盘的控制信息进行处理后，发送给对应ip的远端计算机，实现漫游控制。

可选地，所述第一编码单元、第二编码单元可以采用同一个编码器：解码器可以对几路视频完成解码后合并为一路发送给同一个编码器。

可选地，所述控制端发送的分屏配置信息包括：参与拼接的解码器的数量、各解码器的逻辑位置。

可选地，所述控制端还包括键盘，所述编解码模块中的解码器还用于对所述键盘的控制信息进行分析，并写入被控制端的键盘数据文件中。

可选地，所述控制端还包括客户端，用于获取并根据用户对显示布局的编辑和/或管理，对视频码流的多显示区域进行坐标划分和时间调度管理，将管理指令下发至所述编解码模块。

可选地，所述本地计算机或远端计算机通过HDMI线接入所述编解码模块。

可选地，所述编码模块还用于根据接收到的鼠标的移动事件判断是否发生跨分屏行为，若鼠标跨分屏，则改变发送对象，将新的远端计算机的ip发送给所述编解码模块。

可选地，所述跨分屏行为根据所述控制端的本地计算机屏幕上的绝对位置确定。

可选地，所述检测模块还用于循环读取本地计算机上的鼠标行为数据，通过所述编解码模块发送到所述鼠标所在分屏对应的被控制端的远端计算机中。

可选地，所述鼠标在所述控制端的本地计算机上的分屏中的相对位置与在被控制端的绝对位置成倍数关系且不存在误差，由此可生成不变形的规则图像。

可选地，当控制端与被控制端分辨率不相同时，所述检测模块还用于消除误差。

所述误差产生的原因主要有以下几种：

①控制端鼠标发生跨分屏行为，此时子线程循环地向被控制端发送数据，但由于控制端鼠标的位置不确定，分屏ip转换时发送的数据会导致错误的结果产生；

②鼠标数据受到分辨率的影响，当其在控制端与被控制端的分辨率不同时，会影响跨屏算法，使得鼠标数据成倍数地发送到被控制端；

③当显示布局为九分屏，且控制端与被控制端分辨率不同时，跨屏算法会导致传输数据中出现0.5的数据误差(被控制端的鼠标数据写入时，不接受小数形式)。

针对以上几种不同原因产生的误差，本申请提供了对应的模块功能的对其进行消除：

可选地，针对第①种可能产生的误差，所述控制端在鼠标发生跨分屏行为时，先向跨屏后的分屏ip发送一个鼠标最大偏移数1920x1080，使远端计算机的鼠标移动到屏幕最左上角，此时远端计算机的鼠标位置确认为(0,0)，再向其发送数据，实现远端控制。

可选地，针对第②种可能产生的误差，所述检测模块读取控制端的分辨率数据，若其与被控制端的分辨率成倍数关系，则在跨屏算法中将控制端的坐标数据除以相应倍数。

可选地，针对第③种可能产生的误差，所述检测模块记录鼠标移动时其在水平与垂直的四个方向上的小数数据，将每个方向的小数数据累计两次，对水平或垂直方向的移动前的位置数据进行+1或-1的操作后，再由所述编解码模块发送到被控制端，消除小数数据造成的误差。

可选地，所述编解码模块采用嵌入式编解码器。

可选地，所述编解码模块的输出布局方式包括以下至少一种：1分屏、4分屏、9分屏、16分屏。

可选地，该系统还包括显示器，所述显示器通过连接线与所述嵌入式解码器连接，用于显示拼接后的各远端计算机的画面。

可选地，所述编解码模块中的解码器采用分布式架构。

可选地，所述编解码模块还用于对属于自己管理范围的图像进行渲染处理。

可选地，当需要进行渲染处理时，所述第二编码单元将编码后的视频码流按照封装好的格式，调用相关API接口，通过参数设置进行相关的渲染。

可选地，所述格式包括以下至少一种：H264、D265。

可选地，所述编解码模块还用于对属于自己管理范围的图像进行放大处理。

可选地，当需要进行放大处理时，所述第二编码单元根据视频码流和输出分辨率自行判断出放大参数，设置编码后的视频码流的相关API接口的输入分辨率和输出分辨率。

本申请能产生的有益效果包括：

1)本申请采用了kvm技术，主控操作不会影响被控操作，即远程操作和本地操作可以同时进行，并支持抢占式处理；

2)本申请提高了操作效率，且在硬件设备不需要任何更新的情况下，通过远程更新软件即可使系统的功能更完善和强大，降低了成本，且操作更加简单，无需频繁地切换硬件；

3)本申请所提供的交换机可以根据用户需求设置多台以形成千兆网络，使得系统更易维护和升级；

4)本申请所提供的嵌入式解码器采用分布式方式，更加灵活，嵌入式分布式解码器物理位置不代表逻辑位置，可以通过客户端实现嵌入式分布式解码器的左右或者上下布局；

5)本申请所提供的嵌入式分布式解码器且可以根据用户需求进行增加，从而实现漫游数目，无需更改系统，操作简便，极大地节省了开发成本；

6)本申请的系统包含误差消除算法，当远程控制鼠标移动到某一分屏时，点开其他软件，也可以做到无误差；

7)本申请中的误差消除算法只需要存在于合成编码器上，能够提高资源利用效率。

附图说明

图1为本申请一种实施方式远程控制的kvm漫游系统的各组成结构关系框图；

图2为本申请一种实施方式四分屏控制四台远端计算机示意图；

图3为本申请一种实施方式漫游方法流程图；

图4为本申请一种实施方式消除位置误差示意图；

图5(a)、图5(b)为本申请一种实施方式控制远端计算机示意图。

具体实施方式

下面结合实施例详述本申请，但本申请并不局限于这些实施例。

如图1所示，在一种实施方式中，本申请所述的远程控制的kvm漫游系统组成包括：控制端、嵌入式编解码器、交换机、被控制端。

所述控制端设置有本地计算机、鼠标、键盘，与所述编解码模块连接；

所述被控制端包括若干远端计算机，分别与所述编解码模块中的第一编码单元连接，每个所述远端计算机对应所述本地计算机上分屏中的一块；将经过所述编解码模块中的解码器分析后的鼠标或键盘的控制信息写入被控制端本地的鼠标或键盘数据文件中；

所述至少两台交换机级联形成局域网；

所述编解码模块，包括第一编码单元、第二编码单元、若干解码器；其中，

所述第一编码单元用于对获取到的各远端计算机的画面进行编码，通过所述交换机发送给对应的解码器；

所述解码器与所述局域网建立连接，用于对所述第一编码单元发送来的各码流数据进行解码，根据控制端发送的分屏配置信息，对相应解码器输出的码流信号进行拼接，由所述第二编码单元对拼接后的图像进行编码发送给控制端；获取鼠标或键盘在控制端的控制信息，分析出当前操作所针对的远端计算机的ip，并对所述鼠标或键盘的控制信息进行处理后，发送给对应ip的远端计算机，实现漫游控制。

可选地，所述控制端发送的分屏配置信息包括：参与拼接的解码器的数量、各解码器的逻辑位置。

可选地，所述控制端还包括客户端，用于获取并根据用户对显示布局的编辑和/或管理，对视频码流的多显示区域进行坐标划分和时间调度管理，将管理指令下发至所述编解码模块。

可选地，所述本地计算机或远端计算机通过HDMI线接入所述编解码模块。

可选地，所述编码模块还用于根据接收到的鼠标的移动事件判断是否发生跨分屏行为，若鼠标跨分屏，则改变发送对象，将新的远端计算机的ip发送给所述编解码模块。

可选地，所述跨分屏行为根据所述控制端的本地计算机屏幕上的绝对位置确定。

可选地，所述检测模块还用于循环读取本地计算机上的鼠标行为数据，通过所述编解码模块发送到所述鼠标所在分屏对应的被控制端的远端计算机中。

可选地，所述鼠标在所述控制端的本地计算机上的分屏中的相对位置与在被控制端的绝对位置成倍数关系且不存在误差。

可选地，当控制端与被控制端分辨率不相同时，所述检测模块还用于消除误差。

可选地，当误差产生的原因为鼠标位置不确定时，所述控制端在鼠标发生跨分屏行为时，先向跨屏后的分屏ip发送一个鼠标最大偏移数1920x1080，使远端计算机的鼠标移动到屏幕最左上角，此时远端计算机的鼠标位置确认为(0,0)，再向其发送数据，实现远端控制。

可选地，当误差产生的原因为控制端与被控制端的分辨率不相同时，所述检测模块读取控制端的分辨率数据，若其与被控制端的分辨率成倍数关系，则在跨屏算法中将控制端的坐标数据除以相应倍数。

可选地，所述坐标数据可以是绝对坐标数据，也可以是相对坐标数据。

可选地，当误差产生的原因为控制端分屏为9分屏且控制端与被控制端的分辨率不相同时，所述检测模块记录鼠标移动时其在水平与垂直的四个方向上的小数数据，将每个方向的小数数据累计两次(两个小数数据合并为一个整数)，对水平或垂直方向的移动前的位置数据进行+1或-1的操作后，再由所述编解码模块发送到被控制端，消除小数数据造成的误差。其中，本申请虽然对每个方向的小数数据的累计次数不做限制，但以累计两次的效果为最佳或较佳，累计后修正一次数据。

可选地，所述编解码模块采用嵌入式编解码器。

可选地，所述编解码模块的输出布局方式包括以下至少一种：1分屏、4分屏、9分屏、16分屏。

可选地，该系统还包括显示器，所述显示器通过连接线与所述嵌入式解码器连接，用于显示拼接后的各远端计算机的画面。

可选地，所述编解码模块中的解码器采用分布式架构。

可选地，所述编解码模块还用于对属于自己管理范围的图像进行渲染处理。

可选地，当需要进行渲染处理时，所述第二编码单元将编码后的视频码流按照封装好的格式，调用相关API接口，通过参数设置进行相关的渲染。

可选地，所述格式包括以下至少一种：H264、H265。

可选地，所述编解码模块还用于对属于自己管理范围的图像进行放大处理。

可选地，当需要进行放大处理时，所述第二编码单元获取放大参数，设置编码后的视频码流的相关API接口的输入分辨率和输出分辨率。

本申请中漫游方法的算法核心在于：通过读取控制端鼠标数据，并分析数据内容，看是否发生跨屏，将分析过的数据封装后发送至相应的被控制端，被控制端将数据写入本地的鼠标数据文件中，从而实现kvm的远程及漫游。

图2为本申请一种实施方式四分屏控制四台远端计算机示意图。针对控制多个远程计算机的需求，可以在控制端的计算机设置任意的分屏数，如1/4/9/16等多种分屏，可分别实现从本地排计算机控制1、4、9、16台远端计算机的应用效果。

针对控制需求，本申请应用多线程技术，对鼠标的行为进行数据化，将数据发送至被控制端。

在设计时，考虑到对远端的控制不能只通过鼠标的移动，因此对鼠标的左右键点击/双击，滚轮操作也进行了相应的数据处理。

图3为本申请一种实施方式漫游方法流程图。

主线程包括：①获取被控制端计算机数量；②根据被控制端计算机数量设置本地分屏数1/4/9/16，每块分屏对应一个远端计算机；③设置每块分屏的对应的远端计算机ip；④检测鼠标是否发生跨分屏行为，若鼠标跨分屏，改变发送对象的ip；⑤获取控制端屏幕的x-y绝对坐标。

子线程包括：①循环读取本地鼠标行为数据；②将读取到的数据经算法处理后，发送到鼠标所在分屏对应的被控制端计算机中；③针对不同的分屏数，使用不同的算法对控制端鼠标数据进行处理；④编写函数，可读取控制端屏幕分辨率；⑤针对九分屏且控制端与被控制端分辨率不相同时，由于算法导致的数据误差，编写算法消除。

在主线程中，当鼠标发生跨分屏行为时，编写算法，改变将要发送的被控制端ip，我们采用线程间的通信方式，将主线程中的ip同步到子线程的发送ip。

图4为本申请一种实施方式消除位置误差示意图。在远端控制时，鼠标在控制端分屏的相对位置，与在被控制端的绝对位置，应成倍数关系且不存在误差。若存在误差，误差将导致鼠标位置的累计偏移，会使远端计算机的操作与我们想要的操作相悖。

导致误差的原因主要有以下三点：

①控制端鼠标发生跨分屏的行为时，因子线程在循环向被控制端发送数据，但控制端鼠标的位置不确定，这将导致在分屏ip转换时，发送的数据将导致错误的结果。

②因鼠标数据受分辨率影响，在控制端与被控制端的分辨率不同时，会影响跨屏算法，使鼠标数据成倍数发送至被控制端。

③当九分屏且控制端与被控制端分辨率不同时，跨屏算法会导致传输数据中出现0.5的数据误差(被控制端鼠标数据写入时，不接受小数形式)。

针对以上三种误差，本申请编写了对应的算法来进行消除。

①在控制端鼠标发生跨分屏行为时，向跨屏后的分屏ip发送一个鼠标最大偏移数1920x1080，使远端计算机鼠标移动到屏幕最左上角，此时远端鼠标的位置可确认为(0,0)，再向其发送数据，可正常远端控制。

②因分辨率不同而导致的成倍数发送数据问题，首先编写函数去读取控制端的分辨率数据，确认数据后，若分辨率成倍数关系，则在对应算法中将数据除以相应倍数。

③在九分屏且控制端与被控制端分辨率不同时，我们针对每一次计算结果(即跨屏算法中坐标位置的位移量)可能出现的小数数据，记录每一次出现小数数据的次数，因鼠标的水平与垂直方向均有正负，故对四个方向的小数数据进行记录，每个方向的小数数据累计两次，对水平或垂直方向的数据进行+1/-1的操作后，再发送到被控制端，消除小数数据造成的误差。

例如：当两次计算的坐标位置的位移量分别为(50.5,50)和(40.5,40)时，将(50,50)和(40,40)发送给被控制端，以将两次小数数据累计为一次整数，目前小数只会存在0.5的情况。

针对被控制端可能存在的一端、四端、九端、十六端远程计算机，本申请在控制端，将屏幕分为一、四、九、十六分屏，每块分屏可分别对应一个远端计算机。图5为本申请一种实施方式控制远端计算机示意图，图5(a)对应不跨屏的情况，图5(b)对应不跨屏的情况。通过读取控制端鼠标的绝对坐标，分析鼠标所在的位置，确定鼠标所在分屏。这样，在鼠标的位置发生改变时，可以精准地确定鼠标有无发生跨分屏行为，若发生，我们将改变要发送的被控制端ip，向另一台计算机发送数据，做到可远程操控多台计算机的效果。若没有发生跨屏行为，将要发送的被控制端ip则不发生改变，我们仍向原有被控制端计算机发送数据，做到持续控制效果。

对于每种分屏情况，分别采用不同的算法，将控制端所读取到的鼠标数据，根据分屏数量以及鼠标所处分屏进行修改，将修改后的鼠标数据发送至远端计算机，做到精确控制。

以上所述，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (9)

1.一种远程控制的kvm漫游系统，其特征在于，该系统包括：控制端、被控制端、编解码模块、至少两台交换机；

所述控制端设置有本地计算机、鼠标，与所述编解码模块连接；

所述被控制端包括若干远端计算机，分别与所述编解码模块中的第一编码单元连接，每个所述远端计算机对应所述本地计算机上分屏中的一块；将经过所述编解码模块中的解码器分析后的鼠标的控制信息写入被控制端本地的鼠标数据文件中；

所述至少两台交换机级联形成局域网；

所述编解码模块，包括第一编码单元、第二编码单元、若干解码器；其中，

所述第一编码单元用于对获取到的各远端计算机的画面进行编码，通过所述交换机发送给对应的解码器；

所述解码器与所述局域网建立连接，用于对所述第一编码单元发送来的各码流数据进行解码，根据控制端发送的分屏配置信息，对相应解码器输出的码流信号进行拼接，由所述第二编码单元对拼接后的图像进行编码发送给控制端；获取鼠标或键盘在控制端的控制信息，分析出当前操作所针对的远端计算机的ip，并对所述鼠标或键盘的控制信息进行处理后，发送给对应ip的远端计算机，实现漫游控制。

2.根据权利要求1所述的远程控制的kvm漫游系统，其特征在于，所述控制端发送的分屏配置信息包括：参与拼接的解码器的数量、各解码器的逻辑位置；

优选地，所述控制端还包括键盘，所述编解码模块中的解码器还用于对所述键盘的控制信息进行分析，并写入被控制端的键盘数据文件中；

优选地，所述控制端还包括客户端，用于获取并根据用户对显示布局的编辑和/或管理，对视频码流的多显示区域进行坐标划分和时间调度管理，将管理指令下发至所述编解码模块；

优选地，所述本地计算机或远端计算机通过HDMI线接入所述编解码模块。

3.根据权利要求1所述的远程控制的kvm漫游系统，其特征在于，所述编码模块还用于根据接收到的鼠标的移动事件判断是否发生跨分屏行为，若鼠标跨分屏，则改变发送对象，将新的远端计算机的ip发送给所述编解码模块；

优选地，所述跨分屏行为根据所述控制端的本地计算机屏幕上的绝对位置确定；

优选地，所述检测模块还用于循环读取本地计算机上的鼠标行为数据，通过所述编解码模块发送到所述鼠标所在分屏对应的被控制端的远端计算机中。

4.根据权利要求3所述的远程控制的kvm漫游系统，其特征在于，所述鼠标在所述控制端的本地计算机上的分屏中的相对位置与在被控制端的绝对位置成倍数关系且不存在误差；

优选地，当控制端与被控制端分辨率不相同时，所述检测模块还用于消除误差；

优选地，当误差产生的原因为鼠标位置不确定时，所述控制端在鼠标发生跨分屏行为时，先向跨屏后的分屏ip发送一个鼠标最大偏移数1920x1080，使远端计算机的鼠标移动到屏幕最左上角，此时远端计算机的鼠标位置确认为(0,0)，再向其发送数据，实现远端控制；

优选地，当误差产生的原因为控制端与被控制端的分辨率不相同时，所述检测模块读取控制端的分辨率数据，若其与被控制端的分辨率成倍数关系，则在跨屏算法中将控制端的坐标数据除以相应倍数；

优选地，当误差产生的原因为控制端分屏为9分屏且控制端与被控制端的分辨率不相同时，所述检测模块记录鼠标移动时其在水平与垂直的四个方向上的小数数据，将每个方向的小数数据累计两次，对水平或垂直方向的移动前的位置数据进行+1或-1的操作后，再由所述编解码模块发送到被控制端，消除小数数据造成的误差。

5.根据权利要求1所述的远程控制的kvm漫游系统，其特征在于，所述编解码模块采用嵌入式编解码器；

优选地，所述编解码模块的输出布局方式包括以下至少一种：1分屏、4分屏、9分屏、16分屏。

6.根据权利要求1所述的远程控制的kvm漫游系统，其特征在于，该系统还包括显示器，所述显示器通过连接线与所述嵌入式解码器连接，用于显示拼接后的各远端计算机的画面。

7.根据权利要求1所述的远程控制的kvm漫游系统，其特征在于，所述编解码模块中的解码器采用分布式架构。

8.根据权利要求1所述的远程控制的kvm漫游系统，其特征在于，所述编解码模块还用于对属于自己管理范围的图像进行渲染处理；

优选地，当需要进行渲染处理时，所述第二编码单元将编码后的视频码流按照封装好的格式，调用相关API接口，通过参数设置进行相关的渲染；

优选地，所述格式包括以下至少一种：H264、D265。

9.根据权利要求1所述的远程控制的kvm漫游系统，其特征在于，所述编解码模块还用于对属于自己管理范围的图像进行放大处理；

优选地，当需要进行放大处理时，所述第二编码单元根据视频码流和输出分辨率获取放大参数，设置编码后的视频码流的相关API接口的输入分辨率和输出分辨率。