CN102662618B - 远程协助过程中的图像处理方法及装置 - Google Patents

Abstract

本发明公开了远程协助过程中的图像处理方法及装置，其中，所述方法包括：在被控制端，获取被控制端屏幕状态的结构化信息，并将所述结构化信息发送到主控制端；其中，所述结构化信息包括所述被控制端屏幕中创建的图层的标识信息，以及在各个图层中绘制的内容；当所述被控制端屏幕状态发生前景图像与背景图像的相对位置的变化时，将所述相对位置变化的坐标信息发送到主控制端；在主控制端，根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态。通过本发明，能够降低远程协助过程中对带宽的占用。

Description

远程协助过程中的图像处理方法及装置

技术领域

本发明涉及计算机技术领域，特别是涉及远程协助过程中的图像处理方法及装置。

背景技术

随着计算机技术的不断发展，电脑等计算机设备几乎成了人们生活中必备的工具。但是，对于很多用户而言，对电脑的了解仅限于应用层面，却不懂对电脑进行维护，一旦电脑出现故障，更加束手无策。为此，一些服务商为用户提供了远程协助服务，用户只要在自己的电脑上安装服务商提供的远程协助客户端，就可以与服务商的技师进行沟通，技师可以帮助普通电脑用户解决软件和系统问题，例如系统优化、系统补丁升级、驱动安装、恶意插件清理、病毒/木马查杀、系统基础设置、软件下载、软件安装、网络故障调试等等。

在实现过程中，用户可以通过远程协助客户端与技师建立一个会话(session)，然后由技师接管对用户电脑的操作，此时，用户侧的远程协助客户端会将用户电脑的屏幕状态(例如桌面使用的壁纸、桌面上图标、当前打开了哪些窗口等等)截图后发送给技师，这样就可以在技师侧的电脑上显示出用户电脑的屏幕状态；技师在通过鼠标或键盘等执行远程协助操作时，技师侧的远程协助客户端会将具体的操作生成对应的指令，并通过网络将指令发送到用户侧的电脑，用户侧的电脑可以解析并执行相应的指令；在执行指令的过程中，用户侧电脑的屏幕状态又会发生变化(例如新打开了某窗口、或关闭了某窗口、或点击了开始菜单等等)，因此，用户侧的远程协助客户端需要不断地将用户电脑的屏幕状态抓图后发送给技师，技师执行新的操作之后，又会将对应的指令发送给用户侧，以此循环往复。

可见，现有技术在实现远程协助的过程中，需要不断地将用户侧的屏幕状态以图像的方式发送给技师侧，这就会占用较大的传输带宽，在传输带宽有限的情况下，可能会使得技师侧的图像数据无法及时发送到技师侧等问题。

发明内容

本发明提供了远程协助过程中的图像处理方法及装置，能够降低远程协助过程中对带宽的占用。

本发明提供了如下方案：

一种远程协助过程中的图像处理方法，包括：

在被控制端，获取被控制端屏幕状态的结构化信息，并将所述结构化信息发送到主控制端；其中，所述结构化信息包括所述被控制端屏幕中创建的图层标识信息，以及在各个图层中绘制的内容；

当所述被控制端屏幕状态发生前景图像与背景图像的相对位置的变化时，将所述相对位置变化的坐标信息发送到主控制端；

在主控制端，根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态。

其中，获取被控制端屏幕状态的结构化信息包括：

刷新被控制端桌面，获取被控制端在创建桌面图层、绘制桌面壁纸图片、创建桌面图标图层及绘制桌面图标时的结构化信息。

其中，所述将所述相对位置变化的坐标信息发送到主控制端包括：

将所述前景图像相对于上一时刻所在位置的相对坐标发送到主控制端；

所述在主控制端，根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态包括：

在主控制端，根据所述获取到的结构化信息确定前景图像、背景图像，以及所述前景图像上一时刻所在位置的绝对坐标；

根据所述上一时刻所在位置的绝对坐标以及所述相对坐标，确定前景图像的当前绝对坐标；

展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。

其中，所述将所述相对位置变化的坐标信息发送到主控制端包括：

将位置变化后所述前景图像在被控制端屏幕中的绝对坐标发送到主控制端；

所述在主控制端，根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态包括：

在主控制端，根据所述获取到的结构化信息确定前景图像以及背景图像；

展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。

其中，所述结构化信息还包括：

焦点在同一图层中的不同窗口之间进行切换的信息，和/或，对窗口大小进行改变的信息。

一种远程协助过程中的图像处理装置，包括：

结构化信息获取单元，位于被控制端，用于获取被控制端屏幕状态的结构化信息，并将所述结构化信息发送到主控制端；其中，所述结构化信息包括所述被控制端屏幕中创建的图层的标识信息，以及在各个图层中绘制的内容；

坐标发送单元，位于被控制端，用于当所述被控制端屏幕状态发生前景图像与背景图像的相对位置的变化时，将所述相对位置变化的坐标信息发送到主控制端；

显示单元，位于主控制端，用于根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态。

其中，所述结构化信息获取单元包括：

刷新子单元，用于刷新被控制端桌面，获取被控制端在创建桌面图层、绘制桌面壁纸图片、创建桌面图标图层及绘制桌面图标时的结构化信息。

其中，所述坐标发送单元包括：

相对坐标发送子单元，用于将所述前景图像相对于上一时刻所在位置的相对坐标发送到主控制端；

所述显示单元包括：

第一结构化信息分析子单元，用于根据所述获取到的结构化信息确定前景图像、背景图像，以及所述前景图像上一时刻所在位置的绝对坐标；

计算子单元，用于根据所述上一时刻所在位置的绝对坐标以及所述相对坐标，确定前景图像的当前绝对坐标；

第一展现子单元，用于展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。

其中，所述坐标发送单元包括：

绝对坐标发送子单元，用于将位置变化后所述前景图像在被控制端屏幕中的绝对坐标发送到主控制端；

所述显示单元包括：

第二结构化信息分析子单元，用于根据所述获取到的结构化信息确定前景图像以及背景图像；

第二展现子单元，用于展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。

其中，所述结构化信息获取单元获取的结构化信息还包括：

焦点在同一图层中的不同窗口之间进行切换的信息，和/或，对窗口大小进行改变的信息。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

通过本发明，能够将被控制端屏幕状态的结构化信息发送给主控制端，这样，针对前景图像与背景图像的相对位置的变化的情况，就不必再传输具体的图像内容，直接传输变化的坐标信息即可，因此，可以大大降低对传输带宽的占用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是屏幕状态变化示意图；

图2是本发明实施例提供的方法的流程图；

图3是本发明实施例提供的装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

首先需要说明的是，在远程协助过程中，技师侧相当于是主控制端，用户侧相当于是被控制端，并且，主控制端只是将键盘和鼠标的指令传送给远程的被控制端电脑，同时被控制端电脑的屏幕画面通过通信线路回传过来。也就是说，在主控制端控制被控制端电脑进行操作似乎是在眼前的电脑上进行的，但实质是在远程的电脑中实现的，不论打开文件，还是上网浏览、下载等都是存储在远程的被控制端电脑中的。

本实施例中，其中，主控端程序是运行在帮助解决问题的计算机端，也可以运行在服务器，工作站等通过网络对外提供服务的设备上，主要功能是通过实现显示远程计算机的画面、操作键盘和鼠标的处理、事件的信息发送、画面的刷新等等达到控制远程计算机的目的。

具体可分为：

1)连接操作

可以通过中转端实现与被控制端的连接。例如，当被控制端连接到中转端后，主控制端连接到中转端；然后选择要控制的被控制端；输入密码进行双方验证；最终建立主控制与被控制端之间的对应。

2)画面显示

建立本地桌面窗口，初始化相关画面信息，当远程被控制端计算机的画面信息传送过来后进行显示。

3)事件处理

当对本地的显示桌面窗口进行各种操作(如鼠标操作、键盘输入)时，程序实现对事件消息的捕捉，并根据具体信息组合成信息包发送到远程被控制端计算机。

4)更新画面

当本地程序接收到远程被控制端计算机传送过来的消息是更新画面时，程序接收需要更新的画面信息内容，根据信息与本地的显示画面进行组合实现画面的部分区域更新操作。

被控制端程序是运行在需要解决问题的计算机端，主要功能是通过实现本地画面信息的传送、远程消息事件的模拟处理、画面部分区域更新处理等等达到与主控制端协助目的。具体可分为：

1)连接操作

当需要协助时实现连接到主控制端。具体实现时，仍然可以通过中转端进行中转，如，被控制端可以首先连接到中转端，等待主控制端连接到中转端；然后当主控制端选择了此被控制端后，要求主控制端输入验证密码，最终建立主控制与被控制端之间的对应。

2)消息处理

接收从远程主控制端对显示桌面窗口进行各种操作(如鼠标操作、键盘输入)的消息，然后根据接收到的具体消息进行本地的模拟与触发。

3)更新区域

当被控制端的画面发生的变化时，生成更新区域信息，组合成数据报文发送到主控制端要求其进行相应的画面更新显示。

另一方面，实际上在Windows等操作系统中，图像是分层显示的，用户在桌面上看到的图像，实际上是多层图像叠加在一起的结果。例如，桌面使用的壁纸图片是一层，桌面上的图标是另一层，打开的应用程序窗口又是另一层，等等。各层图像之间具有层次的前后关系，这种先后关系可通过创建时间上的先后体现出来，例如桌面壁纸图片所在的图层一般是最先创建的，因此，处于最底层，之后创建桌面上的图标所在的图层，因此，该图层在桌面壁纸图片所在的图层之上，之后创建应用程序的窗口所在的图层，所以该图层又在桌面图标所在图层之上，等等。需要说明的是应用程序窗口所在的图层，在该图层中可以绘制多个应用程序窗口，各个应用程序窗口之间也有层次上的前后关系，这种先后关系除了可以通过创建上的先后顺序体现出来，还可以通过切换焦点的方式，来改变和调整这种前后关系。例如，先创建了窗口A，之后创建了窗口B，此时，窗口B应该位于窗口A的上层，但是如果用户用户鼠标点击窗口A，则窗口A又会成为窗口B的上层。其中，当前处于焦点的窗口为屏幕的前景，其他各图层以及同一图层中的其他窗口叠加在一起为屏幕的背景，也即，前景一般是指当前处于焦点的一个窗口，而背景则可能是由多个图层以及多个应用程序窗口叠加而成的。

被控制端的屏幕状态发生变化可能是多种情况，其中一种情况可能是，前景图像的位置相对于背景而言发生了移动，但是无论是前景图像还是背景图像本身都没有发生变化。例如，当前处于焦点的窗口位置发生移动等。在传统方式下，即使是这种情况，也是需要将变化后的屏幕整个抓图下来发送到主控制端，或者就算是采用部分区域更新的方式，也至少需要将发生了位置移动的窗口所在区域以及移动前窗口所在的部分区域的图像抓取下来，发送到主控制端。例如，如图1所示，假设101为被控制端计算机屏幕，102为当前处于焦点的某窗口，该窗口移动前的位置是103处，则相对于移动前，被控制端计算机屏幕上图像发生变化的区域包括当前102所在的区域以及图1中103的虚线围成的区域，因此，就需要将这两部分区域的图像都抓取下来，发送到主控制端计算机。

而本发明人在实现本发明的过程中发现，针对上述特殊情况，由于背景并未发生变化，前景的具体图像也未发生变化，变化的仅仅是前景相对于背景的位置关系，因此，如果在主控制端程序能够对被控制端屏幕的结构有所了解，例如，被控制端屏幕创建了哪些图层、每个图层中绘制了什么内容、各个图层的层次关系、同一图层中不同窗口之间的层次关系，等等，在主控制端程序能够获取到这些信息的情况下，当被控制端屏幕发生前述特殊情况时，就可以仅将前景变化前后的坐标变化情况发送给主控制端程序，主控制端程序可以根据之前已经获知的被控制端屏幕结构化信息，计算出当前的屏幕背景图像、前景图像，再根据前景图像的坐标变化信息，就可以组合得到被控制端当前的屏幕状态，然后进行显示即可。

具体实现时，本发明实施例提供了一种远程协助过程中的图像处理方法，参见图2，该方法包括以下步骤：

S201：在被控制端，获取被控制端屏幕状态的结构化信息，并将所述结构化信息发送到主控制端；其中，所述结构化信息包括所述被控制端屏幕中创建的图层标识信息，以及在各个图层中绘制的内容；

在被控制端，可以采用钩子函数(操作系统提供的函数，通过它可以捕捉本进程或其它进程发生的事件)等方式捕获到创建图层、绘制窗口等事件，捕获到这些事件之后，就可以相应的发送给主控制端，主控制端可以向被控制端一样创建图层，并在其中完成相应的绘制。也就是说，与现有技术有所不同，本发明实施例中，主控制端显示出的被控制端的屏幕状态，是根据图层标识信息(例如图层的编号、类别等)以及各个图层中绘制的内容生成的，并不是仅仅是一张图片。

需要说明的是，具体在使用钩子函数进行事件捕获时，只要创建图层、绘制窗口等事件一发生，就可以捕获到相应的事件。但是需要说明的是：由于捕获的动作是由远程协助的被控制端程序来做的，也即，需要将该程序启动之后，才能实现事件捕获的功能，也即，在该程序启动之后，所发生的创建图层或绘制窗口等事件，该程序可以直接捕获到；但是，程序启动又是在操作系统启动之后进行的，此时，已经完成了桌面的壁纸图片以及桌面上的图标的绘制，因此，如果不进行特殊的操作，程序将无法捕获到创建桌面图层、绘制壁纸、创建桌面图标图层、绘制图标的事件。所以，在本发明实施例中，远程协助的被控制端程序在获取屏幕状态的结构化信息时，可以首先执行刷新桌面的操作，使得操作系统重新执行一遍创建桌面图层、绘制壁纸、创建桌面图标图层、绘制图标的操作，相应的，程序就可以捕获到这一系列事件，并获取到其中的图像内容等信息。当然，在实际的远程协助过程中，桌面及桌面上的图标一般是不变的，因此，对于这两个图层中绘制的内容，可以直接以抓图的方式获取到，作为一张图片发送到主控端，之后再创建新的图层，绘制新的内容时，再将实际的结构化信息发送给主控制端。

被控制端会按照事件发生的顺序捕获到结构化信息，也会按照该顺序将结构化信息发送到主控制端，主控制端按照同样的顺序进行绘制，就可以得到与被控制端相同的屏幕状态。例如，被控制端在初始状态下仅创建了桌面图层，显示了某壁纸图片，并将桌面图标显示在桌面上，相应的，在主控制端也会显示出相同的屏幕状态；之后被控制端在桌面图标所在图层之上创建了新的图层C(字母“C”仅用于描述)，在其中某一个位置绘制了一个应用程序的窗口x，被控制端在获取到相应的事件之后发送给主控制端，相应的，在主控制端也会在桌面图标所在图层之上创建一个图层C，并按照同样的方式在同样的位置绘制该应用程序的窗口x；之后被控制端又在图层C中绘制了另一个应用程序的窗口y，该窗口y由于是在窗口x之后创建的，因此窗口y会位于窗口x之上，可能会部分或全部遮挡住窗口x；同样的，被控制端也会将上述事件发送给主控制端，在主控制端也会显示出同样的状态。当然，如前文所述，在同一图层中的各个窗口之间切换焦点时，会导致窗口在层次上的前后关系发生变化，进而屏幕状态也会发生变化；例如，在前面的例子中，在绘制了窗口y之后，又点击了窗口x，使得窗口x获得焦点，显示在了窗口y的上方，因此，被控制端也会将相应的事件发送给主控制端，主控制端也执行相应的切换。此外，如果被控制端执行窗口的缩放以改变窗口大小等操作，也会引起屏幕状态的变化，同样可以发送给主控制端，由主控制端执行与被控制端屏幕状态的同步。

S202：当所述被控制端屏幕状态发生前景图像与背景图像的相对位置的变化时，将所述相对位置变化的坐标信息发送到主控制端；

由于主控制端获知了主控制端的屏幕状态结构化信息，因此，相当于主控制端知晓被控制端的屏幕中前景图像是什么、背景图像是什么，这样，当被控制端屏幕状态相对于上一时刻而言，仅仅是前景图像与背景图像的相对位置发生的变化，则只要告知主控制端，变化后的坐标，主控制端即可利用之前获知的结构化信息构造出与被控制端相同的屏幕状态。例如，前景图像是某应用程序的窗口，上一时刻，该窗口位于屏幕的左上角，现在是将该窗口移动到屏幕中间，则此时，前景图像及背景图像的具体内容均为发生变化，变化的只是两者之间的相对关系，因此，只要通知主控制端，该窗口相对于上一时刻向什么方向移动了多少个像素即可，当然，也可以直接通知主控制端，移动之后，该窗口位置在屏幕中的绝对坐标。具体实现时，由于前景图像与背景图像的相对位置发生变化时，一般是由于对窗口进行拖动等操作引起的，因此，为了便于发现被控制端屏幕状态的这一变化，被控制端可以监控对窗口执行的操作(可以通过钩子函数等方式进行监控)，当监控到对某窗口执行拖动操作时，就相当于发现屏幕状态发生了上述变化。

S203：在主控制端，根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态。

主控制端在收到之后，就可以根据相对于上一时刻的坐标，或者当前的绝对坐标，确定出前景图像的位置，然后进行展现即可。这样，在实现过程中，针对前景图像与背景图像的相对位置的变化的情况，就不必再传输具体的图像内容，直接传输变化的坐标即可，因此，可以大大降低对传输带宽的占用。

其中，如果被控制端发送到主控制端的是前景图像相对于上一时刻所在位置的相对坐标，则主控制端在接收到这一信息之后，可以首先根据之前获取到的结构化信息确定出当前的前景图像、背景图像，以及前景图像上一时刻所在位置的绝对坐标，然后，就可以根据前景图像上一时刻所在位置的绝对坐标以及获取到的变化后的相对坐标，确定出前景图像的当前绝对坐标。这样，就可以首先将背景图像展现出来，然后在确定出的前景图像的当前绝对坐标，显示前景图像即可。当然，如果被控制端发送到主控制端的直接就是位置变化后所述前景图像在被控制端屏幕中的绝对坐标，则在主控制端，就可以根据之前获取到的结构化信息确定前景图像以及背景图像，然后，直接展现出背景图像，并根据前景图像的当前绝对坐标，在当前绝对坐标对应的位置处展现前景图像即可。

需要说明的是，如果被控制端向主控制端发送的是前景图像相对于上一时刻所在位置的相对坐标，则相对坐标可以通过以下方式进行表达：(±x，±y)，其中，“+”、“-”用于表示移动的方向(如，“+”表示向右及向上，“-”表示向左和向下)，x、y分别表示在水平和垂直方向上移动的像素数。例如，如果某前景图像向左移动10个像素，向上移动15个像素，则相对坐标可以表示为(-10，15)。具体实现时，虽然在传输上述相对位置坐标时，需要增加用于表示方向的信息，但是，由于可以直接用“0”、“1”来表示两种可能的方向，因此，只需要增加一位即可，并不会对传输所用的信息量带来太大的增加。相反，对于前述前景图像相对于背景图像在位置上发生变化的情况而言，一般情况下，前景图像变化后位置的绝对坐标所对应的信息量，可能会大于变化前后的相对坐标所对应的信息量。例如，变化后的绝对坐标为(150，200)，而相对于上一时刻的相对坐标为(-10，15)，显然在采用二进制的方式表达上述坐标时，(150，200)所需的信息量会远大于(-10，15)所需的信息量。因此，一般情况下，如果传输前景图像相对于上一时刻的相对坐标信息，会进一步地节省对传输带宽的占用。

总之，通过本发明实施例提供的上述方法，能够将被控制端屏幕状态的结构化信息发送给主控制端，这样，针对前景图像与背景图像的相对位置的变化的情况，就不必再传输具体的图像内容，直接传输变化的坐标信息即可，因此，可以大大降低对传输带宽的占用。

与本发明实施例提供的远程协助过程中的图像处理方法相对应，本发明实施例还提供了一种远程协助过程中的图像处理装置，参见图3，该装置可以包括：

结构化信息获取单元301，位于被控制端，用于获取被控制端屏幕状态的结构化信息，并将所述结构化信息发送到主控制端；其中，所述结构化信息包括所述被控制端屏幕中创建的图层标识信息，以及在各个图层中绘制的内容；

坐标发送单元302，位于被控制端，用于当所述被控制端屏幕状态发生前景图像与背景图像的相对位置的变化时，将所述相对位置变化的坐标信息发送到主控制端；

显示单元303，位于主控制端，用于根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态。

为了能够获取到桌面窗口在创建过程中的屏幕结构化信息，结构化信息获取单元301可以包括：

刷新子单元，用于刷新被控制端桌面，获取被控制端在创建桌面图层、绘制桌面壁纸图片、创建桌面图标图层及绘制桌面图标时的结构化信息。

具体实现时，坐标发送单元302可以包括：

相对坐标发送子单元，用于将所述前景图像相对于上一时刻所在位置的相对坐标发送到主控制端；

相应的，显示单元203可以包括：

第一结构化信息分析子单元，用于根据所述获取到的结构化信息确定前景图像、背景图像，以及所述前景图像上一时刻所在位置的绝对坐标；

计算子单元，用于根据所述上一时刻所在位置的绝对坐标以及所述相对坐标，确定前景图像的当前绝对坐标；

第一展现子单元，用于展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。。

或者，坐标发送单元302也可以包括：

绝对坐标发送子单元，用于将位置变化后所述前景图像在被控制端屏幕中的绝对坐标发送到主控制端；

此时，显示单元203可以包括：

第二结构化信息分析子单元，用于根据所述获取到的结构化信息确定前景图像以及背景图像；

第二展现子单元，用于展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。

在实际应用中，在一些特殊情况下，结构化信息获取单元301获取的结构化信息还可以包括：

焦点在同一图层中的不同窗口之间进行切换的信息，和/或，对窗口大小进行改变的信息。

总之，在本发明实施例提供的装置中，能够将被控制端屏幕状态的结构化信息发送给主控制端，这样，针对前景图像与背景图像的相对位置的变化的情况，就不必再传输具体的图像内容，直接传输变化的坐标信息即可，因此，可以大大降低对传输带宽的占用。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明所提供的远程协助过程中的图像处理方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种远程协助过程中的图像处理方法，其特征在于，包括：

在被控制端，获取被控制端屏幕状态的结构化信息，并将所述结构化信息发送到主控制端；其中，所述结构化信息包括所述被控制端屏幕中创建的图层标识信息，以及在各个图层中绘制的内容；

当所述被控制端屏幕状态发生前景图像与背景图像的相对位置的变化时，将所述相对位置变化的坐标信息发送到主控制端；

在主控制端，根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态。

2.根据权利要求1所述的方法，其特征在于，获取被控制端屏幕状态的结构化信息包括：

刷新被控制端桌面，获取被控制端在创建桌面图层、绘制桌面壁纸图片、创建桌面图标图层及绘制桌面图标时的结构化信息。

3.根据权利要求1所述的方法，其特征在于，所述将所述相对位置变化的坐标信息发送到主控制端包括：

将所述前景图像相对于上一时刻所在位置的相对坐标发送到主控制端；

所述在主控制端，根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态包括：

在主控制端，根据所述获取到的结构化信息和接收到的所述前景图像相对于上一时刻所在位置的相对坐标，确定前景图像、背景图像，以及所述前景图像上一时刻所在位置的绝对坐标；

根据所述上一时刻所在位置的绝对坐标以及所述相对坐标，确定前景图像的当前绝对坐标；

展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。

4.根据权利要求1所述的方法，其特征在于，所述将所述相对位置变化的坐标信息发送到主控制端包括：

将位置变化后所述前景图像在被控制端屏幕中的绝对坐标发送到主控制端；

所述在主控制端，根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态包括：

在主控制端，根据所述获取到的结构化信息确定前景图像以及背景图像；

展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述结构化信息还包括：

焦点在同一图层中的不同窗口之间进行切换的信息，和/或，对窗口大小进行改变的信息。

6.一种远程协助过程中的图像处理装置，其特征在于，包括：

结构化信息获取单元，位于被控制端，用于获取被控制端屏幕状态的结构化信息，并将所述结构化信息发送到主控制端；其中，所述结构化信息包括所述被控制端屏幕中创建的图层的标识信息，以及在各个图层中绘制的内容；

坐标发送单元，位于被控制端，用于当所述被控制端屏幕状态发生前景图像与背景图像的相对位置的变化时，将所述相对位置变化的坐标信息发送到主控制端；

显示单元，位于主控制端，用于根据所述获取到的结构化信息以及接收到的所述相对位置变化的坐标信息，展现所述被控制端的屏幕状态。

7.根据权利要求6所述的装置，其特征在于，所述结构化信息获取单元包括：

刷新子单元，用于刷新被控制端桌面，获取被控制端在创建桌面图层、绘制桌面壁纸图片、创建桌面图标图层及绘制桌面图标时的结构化信息。

8.根据权利要求6所述的装置，其特征在于，所述坐标发送单元包括：

相对坐标发送子单元，用于将所述前景图像相对于上一时刻所在位置的相对坐标发送到主控制端；

所述显示单元包括：

第一结构化信息分析子单元，用于根据所述获取到的结构化信息和接收到的所述前景图像相对于上一时刻所在位置的相对坐标，确定前景图像、背景图像，以及所述前景图像上一时刻所在位置的绝对坐标；

计算子单元，用于根据所述上一时刻所在位置的绝对坐标以及所述相对坐标，确定前景图像的当前绝对坐标；

第一展现子单元，用于展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。

9.根据权利要求6所述的装置，其特征在于，所述坐标发送单元包括：

绝对坐标发送子单元，用于将位置变化后所述前景图像在被控制端屏幕中的绝对坐标发送到主控制端；

所述显示单元包括：

第二结构化信息分析子单元，用于根据所述获取到的结构化信息确定前景图像以及背景图像；

第二展现子单元，用于展现所述背景图像，并根据所述前景图像的当前绝对坐标，在所述当前绝对坐标位置处展现所述前景图像。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述结构化信息获取单元获取的结构化信息还包括：

焦点在同一图层中的不同窗口之间进行切换的信息，和/或，对窗口大小进行改变的信息。