CN104184833A - 一种用于远程控制的传输方法和系统 - Google Patents

Abstract

本发明公开了一种用于远程控制的传输方法和系统，其中所述方法包括：在本地侧获取一窗体的图像并划分为若干区域；针对每一区域识别其中包含的元素，使用每一区域中面积最大的元素的相应压缩方式对所述区域进行压缩并传输至网络侧。本发明可以有效降低网络传输的数据量，提升了传输速率，同时也有利于网络侧提升数据处理效率。

Description

一种用于远程控制的传输方法和系统

本发明专利申请是申请日为2011年02月21日、申请号为201110041256.3、名称为“一种用于远程控制的分类传输方法和系统”的中国发明专利申请的分案申请。

技术领域

本发明属于远程控制领域，具体地说，涉及一种用于远程控制的传输方法和系统。

背景技术

所谓远程控制，是指管理人员通过互联网联通处于异地的被控制的电脑，将被控电脑的桌面环境显示到自己的电脑中，通过本地电脑对处于异地的被控电脑进行配置、软件安装程序、修改等工作。

远程控制的工作原理：远程控制必须通过网络才能进行。位于本地的电脑是操纵指令的发出端，称为主控端，非本地的被控电脑称为被控端。主控端和被控端可以是位于同一局域网中，也可以是连入互联网的处在任何位置的两台或多台电脑。通常在主控端的电脑中安装服务器端程序，在被控端的电脑中安装客户端程序；使用时主控端的电脑中的服务器端程序向被控端的电脑中的客户端程序发出信号，建立一个特殊的远程服务，然后通过这个远程服务，使用各种远程控制功能发送远程控制命令，控制被控端的电脑中的各种应用程序运行。

VNC(Virtual Network Computing虚拟网络计算机)就是一种远程控制技术，实质上属于一种跨平台的显示系统，将被控端的电脑的完整的窗口界面通过网络传输到主控端的电脑屏幕上显示。当操作者使用主控端的电脑控制被控端的电脑时，就如同坐在被控端的电脑的屏幕前一样，可以启动被控端电脑的应用程序，可以使用或窃取被控端电脑的文件资料，甚至可以利用被控端电脑的外部打印设备(打印机)和通信设备(调制解调器或者专线等)来进行打印和访问外网和内网。

因为VNC是一个抽象工具，和客户机本机的图形系统并没有直接联系，VNC技术是对被控端的整个屏幕进行抓取，在本地侧直接将全屏幕抓取为一个位图传输到主控端并加以显示，而对于在本地侧截取的位图文件，即使进行压缩，其文件尺寸也必然很大，在需要连续多次对整个屏幕进行截屏传输时，所需传输的数据量必然会很大，网络传输效率较低；而且在位于网络侧主控端重现屏幕也会耗费更多资源处理这些大尺寸的位图文件，处理效率很低。这就会直接导致主控端所显示的画面更新速度很慢，画面严重滞后，并且刷新的效果不明显，从而影响主控端对被控端的远程控制，给被控端的用户的感觉就是远程控制的主控端的反应非常不灵敏，存在非常大的延迟。当被控端的一些图形画面变化很快的应用程序打开的时候，VNC更加难以应付，延迟会更明显。

发明内容

有鉴于此，本发明所要解决的技术问题是提供了一种用于远程控制的传输方法和系统，可以有效降低网络传输的数据量，提升了传输速率，同时也有利于网络侧提升数据处理效率。

为了解决上述技术问题，本发明公开了一种用于远程控制的传输方法，包括：在本地侧获取一窗体的图像并划分为若干区域；针对每一区域识别其中包含的元素，使用每一区域中面积最大的元素的相应压缩方式对所述区域进行压缩并传输至网络侧。

进一步地，针对每一区域识别其中包含的元素，使用每一区域中面积最大的元素的相应压缩方式对所述区域进行压缩并传输至网络侧的步骤，包括：针对每一区域，识别其中包含的元素，如果存在一元素面积最大且占所述区域的面积的比重超过一门限，使用与所述元素的类别相应的压缩方式对所述区域进行压缩并传输至网络侧。

进一步地，针对每一区域识别其中包含的元素，如果所述元素占所述区域的比重超过一门限，使用与所述元素类别相应的压缩方式对所述区域进行压缩并传输至网络侧的步骤，包括：如果所述元素占所述区域的面积的比重未超过所述门限，将所述区域再划分为若干二级区域，针对每个二级区域再次执行本步骤。

进一步地，还包括：将各区域的位置信息传输至网络侧；在所述网络侧接收并解压缩各区域的图像，依据所述各区域的位置信息对各区域进行重组，将所述窗体还原。

进一步地，包括：在所述本地侧根据系统内部的图形设备接口获取所述窗体的图像。

进一步地，针对每一区域识别其中包含的元素的步骤，包括：在所述本地侧根据系统内部的图形设备接口识别所述区域内的元素，所述元素包括背景。

进一步地，针对每一区域识别其中包含的元素的步骤，包括：在所述本地侧获取所述区域所包含的颜色种类，根据所述颜色种类的数量识别所述区域内的元素，所述元素至少包括文字和/或图片。

进一步地，根据所述颜色种类的数量识别所述区域内的元素的步骤，包括：设定一门限，当所述颜色种类的数量小于所述门限时，识别所述元素为文字；当所述颜色种类的数量大于所述门限时，识别所述元素为图片。

为了解决上述技术问题，本发明公开了一种用于远程控制的传输系统，包括：位于本地侧的传输装置和位于网络侧的接收装置，其中，所述传输装置，用于获取一窗体的图像并划分为若干区域，针对每一区域识别其中包含的元素，使用每一区域中面积最大的元素的相应压缩方式对所述区域进行压缩并随所述区域的位置信息一起传输至所述接收装置；所述接收装置，用于接收并解压缩各区域的图像，依据各区域的位置信息对各区域进行重组，将所述窗体还原。

进一步地，所述传输装置，进一步用于针对每一区域，识别其中包含的元素，如果存在一元素面积最大且占所述区域的面积的比重超过一门限，使用与所述元素的类别相应的压缩方式对所述区域进行压缩。

进一步地，所述传输装置，还用于在所述元素占所述区域的面积的比重未超过所述门限时，将所述区域再划分为若干区域。

进一步地，所述传输装置，还用于根据系统内部的图形设备接口获取所述窗体。

进一步地，所述传输装置，还用于根据系统内部的图形设备接口识别所述区域内的元素，所述元素包括背景。

进一步地，所述传输装置，还用于对所述区域所包含的颜色种类进行识别，根据所述颜色种类的数量识别所述区域内的元素，所述元素至少包括文字和/或图片。

进一步地，所述传输装置，还用于设定一门限，当所述颜色种类的数量小于所述门限时，识别所述元素为文字；当所述颜色种类的数量大于所述门限时，识别所述元素为图片。

与现有的方案相比，本发明所获得的技术效果：

1)对窗体进行区域划分后，基本将窗体分为了一块块组成区域，所作的核心操作为识别每个区域的主要构成元素；对主要由文字组成的区域，往往承载需要肉眼识别的数据，因此需要保证数据还原的质量，而且文字本身的尺寸也较小，可以使用无损压缩方式；对于主要由色彩不丰富的图片，由于其本身的尺寸并不大，可以使用无损编码压缩方式；对于主要由色彩丰富的图片，对于远程控制来说往往并不是关键数据，允许一定的失真，因此可使用有损编码压缩方式，比如JPG，可以获得较高的压缩比，极大地缩小图片尺寸，在传输时获得较高的速率；

2)本发明经过这样的压缩后，可以将窗体的大小缩小30％-50％，大大降低了数据量，使得传输速率大大提高，并且也有利于网络侧提升数据处理效率。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明应用实例的第一示意图；

图3为本发明应用实例的第二示意图

图4为本发明应用实例的第三示意图；

图5为本发明实施例的系统示意图。

具体实施方式

以下将配合图式及实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本发明的核心构思在于：在本地侧获取一窗体的图像并划分为若干区域；针对每一区域识别其中包含的元素，使用每一区域中面积最大的元素的相应压缩方式对所述区域进行压缩并传输至网络侧。

为了获得更好的效果，可以进一步针对每一区域，识别其中包含的元素，如果存在一元素面积最大且占所述区域的面积的比重超过一门限，使用与所述元素的类别相应的压缩方式对所述区域进行压缩并传输至网络侧。

以下以一个实施例对本发明的用于远程控制的传输方法进行说明。用户接受服务器的请求，接管用户的终端进行远程控制，在远程控制的过程中，需要服务器实时或周期地抓取用户终端的桌面，并保存为图片的形式发送到服务器上进行显示，从而在服务器上还原用户终端的桌面，方便维护人员在服务器上控制用户的终端。

本发明的用于远程控制的传输方法，应用于在进行远程控制时网络侧接管本地侧，在远程控制的某一时刻抓取本地侧的终端桌面或者所需的终端桌面的一部分热点区域并向网络侧传输的情况，如图1所示，执行如下操作：

步骤S1，在本地侧获取一窗体；

在本地侧根据系统内部的GDI(Graphics Device Interface图形设备接口)获取所述窗体，所获取的为窗体的图像；

步骤S2，将所述窗体划分为若干区域；

将所述窗体按任意方式分为若干区域，例如，可以按九宫格将所属窗体分为九个区域，也可以分成十六格等等，本发明并不限于此；

步骤S3，针对每一区域识别其中包含的元素；

所述元素，至少包括：背景、文字、图片；

根据系统内部的图形设备接口GDI识别所述区域内的元素中的背景；对于背景，可以是颜色丰富的图片，也有可能是单一颜色的图片；

对所述区域所包含的颜色种类进行识别，根据所述颜色种类的数量识别所述区域内的元素中的文字和/或图片；一般来说，图片所包含的颜色的种类会比较丰富，而相对图片来说，文字所包含的颜色种类则较为单一，因此，可以为颜色种类设定一门限，颜色种类的数量小于所述门限时，识别所述元素为文字；所述颜色种类的数量大于所述门限时，识别所述元素为图片；

当然，还可以对图片进行更细致的划分，可以为颜色种类设定第一门限及第二门限，所述第一门限大于第二门限；颜色种类的数量小于所述第二门限时，识别所述元素为文字；所述颜色种类的数量大于所述第一门限时，识别所述元素为色彩丰富的图片；所述颜色种类在第一门限及第二门限之间时，识别为色彩不丰富的图片；

步骤S4，针对每一区域找出其中所占面积最大的元素并判定所述元素占所述区域的面积的比重，如果所述元素占所述区域的面积的比重超过一门限，执行步骤S6，如果所述元素占所述区域的面积的比重未超过一门限，执行步骤S5；

一般来说，如果所述面积最大的元素占所述区域的比重超过一预设门限，则可以认为所述区域主要是由这种元素构成；如果所述元素占所述区域的比重未超过所述门限，则说明所述区域中的元素种类繁多且平均填充，所述区域并不是主要是由某种元素构成；

步骤S5，将所述区域再划分为若干二级区域，针对每个二级区域再次执行步骤S3，识别其中包含的元素；

因为所述区域并不是主要是由某种元素构成，不同类的元素适用于不同的压缩方式，所以此时对所述区域无法选择适合的压缩方式；可以对所述区域再划分为若干二级区域，按任意方式划分二级区域，例如，可以按九宫格将所属窗体分为九个区域，也可以分成十六格等等，本发明并不限于此。如果此时某些二级区域中依然无法确定主要构成元素，也可以对二级区域再次划分，并进行多次迭代，本发明并不限于此；

步骤S6，使用与所述元素类别相应的压缩方式对所述区域进行压缩并传输至网络侧，同时将所述区域的位置信息也传输至网络侧；

因为所述区域主要是由这种元素构成，所以对这个区域使用这种元素相应的压缩方式最有效而且适合的；

对于压缩方式的选取，可以遵循以下原则：

对主要由文字组成的区域，文字是主要对象，而文字往往承载需要肉眼识别的数据，因此需要保证数据还原的质量，而且文字本身的尺寸也较小，可以使用无损压缩方式；

对于主要由色彩不丰富的图片组成的区域，色彩不丰富的图片是主要对象，由于这种图片本身的尺寸并不大，可以使用无损编码压缩方式；

对于主要由色彩丰富的图片组成的区域，色彩丰富的图片是主要对象，对于远程控制来说这种图片往往并不是关键数据，允许一定的失真，因此可使用有损编码压缩方式，比如JPG，可以获得较高的压缩比，极大地缩小图片尺寸，在传输时获得较高的速率。

与直接抓取窗体进行传输相比，经过这样的压缩后，可以将窗体的大小缩小30％-50％，大大降低了数据量，并使得传输速率大大提高；

步骤S7，在网络侧接收并解压缩各区域的图像，依据各区域的位置信息在网络侧对各区域进行重组，最终将这一时刻下本地侧的窗体还原显示；

位置信息可以是各区域在原窗体图像上的横纵坐标。

以下以一应用实例对本发明的方法进行说明。

用户A接受服务器B的请求，接管用户的电脑对进行远程控制，在远程控制的过程中，需要服务器B实时或周期地抓取用户A的电脑桌面并保存为图片的形式发送到服务器B上进行显示，从而在服务器B上还原用户A的电脑桌面，方便维护人员在服务器B上控制用户A的电脑。

在远程控制的某一时刻，服务器B将用户A的电脑的桌面抓取，并发送到服务器B上进行显示时，首先根据系统内部的GDI(Graphics DeviceInterface图形设备接口)获取用户A的电脑桌面，电脑桌面是以一窗体的形式被获取的；此时，用户的桌面上打开了一个窗口，窗口内显示着一个文本文件的内容。

如图2所示为用户A所使用的电脑的桌面，此时将电脑桌面的图片按九宫格分为九个区域，针对每一区域识别其中包含的元素，一般来说元素包括：背景、文字、图片。以区域1为例，包含桌面背景和各快捷方式的显示图标(可以将显示图标识别为背景)，根据上述步骤S3中描述的方式识别出区域1中的元素为背景。对于区域1，分析得到其中颜色不丰富的图片面积最大且占整个区域的面积的比重为100％，超过了比重门限，此时认为区域1主要是由这种颜色不丰富的图片构成，由于这些图标的色彩不丰富，其本身的尺寸并不大，可以使用无损编码压缩方式对区域1进行压缩并传输至服务器B，同时将区域1的位置坐标也传输至服务器B。再以区域4为例，包含桌面背景，根据上述步骤S3中描述的方式识别出区域4中的元素为背景。对于区域4，分析得到其中背景面积最大且占整个区域的面积的比重为100％，也超过了比重门限，此时认为区域4主要是由背景构成，色彩丰富但不是关键数据，允许一定的失真，而且很可能涉及用户隐私而不需显示，因此可以使用有损编码压缩方式对区域4进行压缩并传输至服务器B，同时将区域4的位置坐标也传输至服务器B。再以区域7为例，包含桌面背景和文字，根据上述步骤S3中描述的方式识别出区域7中的元素为背景和文字。对于区域7，分析得到其中文字部分面积最大且占整个区域的面积的比重为70％，超过了比重门限，此时认为区域7主要是由文字构成，需要保证数据还原的质量，因此可以使用无损压缩方式对区域7进行压缩并传输至服务器B，同时将区域7的位置坐标也传输至服务器B。其他区域也依据类似的方式进行压缩后传输至服务器B，同时将位置坐标也传输至服务器B。

服务器B对收到的各区域的图像解压缩后，依据各区域的位置坐标进行重组，最终在服务器B的桌面上显示出这一时刻用户A的电脑桌面，从而可以方便维护人员根据服务器B上显示的情况，在服务器B上对用户A的电脑进行远程控制。

以下再以一应用实例对本发明的方法进行说明。

在上述图2所示的应用实例的基础上，如图3所示，发现桌面上显示文本文件内容的窗口内还显示着图片，也就是说区域7中包含桌面背景、图片和文字，根据上述步骤S3中描述的方式识别出区域7中的元素为背景、图片和文字。对于区域7，分析得到其中文字部分、图片部分和背景部分占整个区域的比重均没有超过比重门限，此时无法确定构成区域7的主要元素，则对区域7再次按九宫格划分为九个区域，如图4所示，以区域71为例，其中包含桌面背景、图片和文字，根据上述步骤S3中描述的方式识别出区域71中的元素为背景、图片和文字。对于区域71，分析得到其中图片面积最大且占整个区域的面积的比重为超过了比重门限，此时认为区域71主要是由图片构成，色彩丰富但不是关键数据，允许一定的失真，因此可以使用有损编码压缩方式对区域71进行压缩并传输至服务器B，同时将区域71的位置坐标也传输至服务器B。以同样的方式其他区域72-79也依据类似的方式进行压缩后传输至服务器B，同时将位置坐标也传输至服务器B。另外，区域1-6和区域8、9如上一应用实例的方式进行压缩后传输至服务器B，同时将位置坐标也传输至服务器B。

服务器B对收到的区域71-79的数据解压缩后，依据各区域的位置坐标进行重组获得区域7，服务器B还对收到的区域1-6和区域8、9的图像解压缩后，再依据区域1-9的位置坐标最终在服务器B的桌面上重组出这一时刻用户A的电脑桌面，从而可以方便维护人员根据服务器B上显示的情况，在服务器B上对用户A的电脑进行远程控制。

以下以一个实施例对本发明的用于远程控制的传输系统进行说明。

所述用于远程控制的传输系统，应用于在进行远程控制时，网络侧接管本地侧，将本地侧的终端桌面抓取并向网络侧传输的情况，如图5所示，具体包括：本地侧装置A，即用于远程控制的传输装置，和网络侧装置B，即用于远程控制的接收装置；

本地侧装置A，用于获取一窗体的图像并划分为若干区域，针对每一区域识别其中包含的元素，在面积最大的元素占所述区域的比重超过一门限时使用与所述元素类别相应的压缩方式对所述区域进行压缩并随所述区域的位置信息一起传输至所述网络侧装置B；

网络侧装置B，用于接收并解压缩各区域的图像，依据各区域的位置信息对各区域进行重组，将所述窗体还原。

具体来说，本地侧装置A，还用于在所述元素占所述区域的比重未超过所述门限时，将所述区域再划分为若干区域。

本地侧装置A，还用于根据系统内部的图形设备接口获取所述窗体。

本地侧装置A，还用于根据系统内部的图形设备接口性识别所述区域内的元素，所述元素包括背景。

本地侧装置A，还用于对所述区域所包含的颜色种类进行识别，根据所述颜色种类的数量识别所述区域内的元素，所述元素至少包括文字和/或图片。

本地侧装置A，还用于设定一门限，当所述颜色种类的数量小于所述门限时，识别所述元素为文字；当所述颜色种类的数量大于所述门限时，识别所述元素为图片。

上述系统和装置与前述用于远程控制的传输方法的特征对应，不足之处可以参考前述用于远程控制的传输方法。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种用于远程控制的传输方法，其特征在于，包括：

在本地侧获取一窗体的图像并划分为若干区域；

针对每一区域识别其中包含的元素，使用每一区域中面积最大的元素的相应压缩方式对所述区域进行压缩并传输至网络侧。

2.如权利要求1所述的传输方法，其特征在于，针对每一区域识别其中包含的元素，使用每一区域中面积最大的元素的相应压缩方式对所述区域进行压缩并传输至网络侧的步骤，进一步包括：

针对每一区域，识别其中包含的元素，如果存在一元素面积最大且占所述区域的面积的比重超过一门限，使用与所述元素的类别相应的压缩方式对所述区域进行压缩并传输至网络侧。

3.如权利要求1-2所述的传输方法，其特征在于，针对每一区域识别其中包含的元素，如果所述元素占所述区域的比重超过一门限，使用与所述元素类别相应的压缩方式对所述区域进行压缩并传输至网络侧的步骤，进一步包括：

如果所述元素占所述区域的面积的比重未超过所述门限，将所述区域再划分为若干二级区域，针对每个二级区域再次执行本步骤。

4.如权利要求1-3所述的传输方法，其特征在于，还包括：

将各区域的位置信息传输至网络侧；

在所述网络侧接收并解压缩各区域的图像，依据所述各区域的位置信息对各区域进行重组，将所述窗体还原。

5.如权利要求1-4所述的传输方法，其特征在于，在本地侧获取一窗体的图像的步骤，进一步包括：

在所述本地侧根据系统内部的图形设备接口获取所述窗体的图像。

6.如权利要求1-5所述的传输方法，其特征在于，针对每一区域识别其中包含的元素的步骤，进一步包括：

在所述本地侧根据系统内部的图形设备接口识别所述区域内的元素，所述元素包括背景。

7.如权利要求1-6所述的传输方法，其特征在于，针对每一区域识别其中包含的元素的步骤，进一步包括：

在所述本地侧获取所述区域所包含的颜色种类，根据所述颜色种类的数量识别所述区域内的元素，所述元素至少包括文字和/或图片。

8.如权利要求1-7所述的传输方法，其特征在于，根据所述颜色种类的数量识别所述区域内的元素的步骤，进一步包括：

设定一门限，当所述颜色种类的数量小于所述门限时，识别所述元素为文字；当所述颜色种类的数量大于所述门限时，识别所述元素为图片。

9.一种用于远程控制的传输系统，其特征在于，包括：位于本地侧的传输装置和位于网络侧的接收装置，其中，

所述传输装置，用于获取一窗体的图像并划分为若干区域，针对每一区域识别其中包含的元素，使用每一区域中面积最大的元素的相应压缩方式对所述区域进行压缩并随所述区域的位置信息一起传输至所述接收装置；

所述接收装置，用于接收并解压缩各区域的图像，依据各区域的位置信息对各区域进行重组，将所述窗体还原。

10.如权利要求9所述的传输系统，其特征在于，

所述传输装置，进一步用于针对每一区域，识别其中包含的元素，如果存在一元素面积最大且占所述区域的面积的比重超过一门限，使用与所述元素的类别相应的压缩方式对所述区域进行压缩。