CN102117187A - 远程连接时显示多个区域屏幕的方法、装置和系统 - Google Patents

Abstract

本发明实施例公开了远程连接时显示多个区域屏幕的方法，通过确定远程连接客户端屏幕显示的多个区域对应的位置信息；根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

Description

远程连接时显示多个区域屏幕的方法、装置和系统

技术领域

本发明涉及通信领域，特别涉及远程连接时显示多个区域屏幕的方法、装置和系统。

背景技术

以微软(Microsoft)的远程桌面协议(Remote Desktop Protocol，RDP)、思杰(Citrix)的独立计算结构(Independent Computing Architecture，ICA)和美国电话电报公司(American Telephone & Telegraph Company，AT&T)的虚拟网络计算(Virtual Network Computing，VNC)为代表的远程连接系统，目前已经广泛的应用在远程办公等场景中。

远程连接系统允许用户使用本地客户端连接远程连接服务器，建立远程连接会话。本地客户端即为远程连接客户端。远程连接客户端将与远程连接会话相关的鼠标和键盘事件传送给远程连接服务器处理，控制远程连接服务器的系统和应用；远程连接服务器将远程连接会话屏幕以图像或者绘制命令的形式发送到远程连接客户端显示给用户，远程连接服务器处可以不显示用户界面。具体的，远程连接会话可以为远程桌面连接会话，这种情况下远程连接会话屏幕为远程连接服务器整个桌面的图形输出；远程连接会话也可以为远程应用连接会话，这种情况下远程连接会话屏幕为远程连接服务器具体的应用程序的图形输出。

某些情况下，用户可能使用屏幕较小的远程连接客户端连接屏幕较大的远程连接服务器，例如使用手机远程连接家中的电脑。这样，客户端无法清晰的显示远程连接会话屏幕所有的内容。因此，现有的一些远程连接系统提供了用户对远程连接客户端显示区域进行缩放、移动等操作的机制。

在远程连接客户端放大显示的情况下，远程连接会话屏幕超出远程连接客户端显示范围的区域在远程连接客户端不可见，甚至远程连接服务器并不传输这部分屏幕的数据给客户端。

但是用户可能需要对远程连接会话屏幕的某些区域频繁使用，例如工具栏、滚动条等，用户如需频繁交替操作多个距离较远的区域，则需要频繁的移动或者缩放屏幕。

发明内容

有鉴于此，本发明提供一种远程连接时显示多个区域屏幕的方法、装置和系统，解决现有技术存在的远程连接客户端无法多屏幕显示并操作远程连接服务器屏幕的问题。

一种远程连接时显示多个区域屏幕的方法，其特征在于，方法包括，确定远程连接客户端屏幕显示的多个区域对应的位置信息；根据远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端；

一种远程连接时显示多个区域屏幕的方法，其特征在于，确定远程连接客户端屏幕显示的多个区域对应的位置信息；根据本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据本地屏幕显示的多个区域对应的位置信息，对从远程连接服务器接收的远程会话屏幕更新信息进行处理后再显示；

一种服务器，其特征在于，服务器包括，确定单元，用于确定远程连接客户端屏幕显示的多个区域对应的位置信息；处理单元，用于根据远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端。

一种客户端，其特征在于，客户端包括，确定单元，用于确定远程连接客户端屏幕显示的多个区域对应的位置信息；处理单元，用于根据远程连接客户端屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接服务器接收的远程会话屏幕更新信息进行处理后再显示。

一种远程连接时显示个区域屏幕的系统，其特征在于，系统包括，服务器，用于确定客户端屏幕显示的多个区域对应的位置信息；根据客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端；客户端，用于向服务器发送鼠标事件，接收服务器发送的处理过的远程连接会话屏幕更新信息；

一种远程连接时显示个区域屏幕的系统，其特征在于，系统包括，服务器，用于接收客户端处理过的鼠标事件，向远程连接客户端发送远程连接会话屏幕更新信息，客户端，用于确定远程连接客户端屏幕显示的多个区域对应的位置信息；根据远程连接客户端屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据远程连接客户端屏幕显示的多个区域对应的位置信息，对从服务器接收的远程会话屏幕更新信息进行处理后再显示。

本发明实施例通过确定远程连接客户端屏幕显示的多个区域对应的位置信息；根据远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

附图说明

图1为本发明实施例提供的一种远程连接时显示多部分不相邻屏幕的方法流程图；

图2为本发明实施例提供的一种远程连接时显示多部分不相邻屏幕的方法流程图；

图3为本发明实施例提供的一种远程连接服务器的基本框图；

图4为本发明实施例提供的一种远程连接客户端的基本框图；

图5为本发明实施例提供的一种远程连接系统的基本框图；

图6为本发明实施例提供的一种远程连接系统的基本框图；

图7为本发明实施例提供的一种新增区域时确定远程连接客户端屏幕显示的多个区域对应的位置信息的方法的具体实现流程图；

图8为本发明实施例提供的一种新增区域时确定远程连接客户端屏幕显示的多个区域对应的位置信息的方法的具体实现流程图；

具体实施方式

为了使本领域的技术人员更好的理解本发明内容，以下结合附图以及具体实施例对本发明内容作具体说明。

本发明实施例的远程连接时显示多个区域屏幕的方法的基本流程可参考图1，主要包括步骤：

A1、确定远程连接客户端屏幕显示的多个区域对应的位置信息；

各区域位置信息可至少包括原始位置(即该区域在远程连接会话屏幕的位置)、显示位置(即该区域在远程连接客户端屏幕的位置)。具体的，矩形区域的原始位置和显示位置可使用对角线两个顶点的坐标表示，而圆形区域可以使用圆心坐标和半径表示。可选的，如果多个区域的显示位置有重叠，则显示位置还需要包含各区域的叠放次序。

远程连接服务器获取各区域的位置信息的方法具体可以为远程连接服务器根据远程连接客户端发送的一系列鼠标事件确定各区域的位置信息；或者也可以由远程连接客户端根据鼠标事件确定各区域的位置信息后发送给远程连接服务器，多个区域的位置信息可以在一个消息中发送，也可以分多次发送，由远程连接服务器整合。

新增区域、移动区域的位置(原始位置或显示位置)或取消区域都会触发远程连接服务器更新相关区域的位置信息。

可以通过远程连接客户端的界面选择新增区域，如点击“选择区域”或者“拆分屏幕”菜单项或者工具栏按钮等；如果需要可通过子菜单等方式由用户进一步选择区域形状或拆分方式，例如“选择区域”菜单项的子菜单可以包含“矩形”和“圆形”等，“拆分屏幕”菜单项的子菜单可以包含“横向”、“纵向”等；用户通过鼠标点击屏幕确定区域位置，例如在“矩形区域”的情况下新增区域为以鼠标先后点击的两点作为对角线的矩形，在“拆分屏幕”的情况下以鼠标点击的点横向纵向将屏幕拆分为四部分。新增区域的显示位置即为在远程连接客户端屏幕的位置，而原始位置需要通过新增区域所在原区域的原始位置得到。在“选择区域”的情况下新增区域位于顶层，覆盖于原区域之上。新增区域可以表示为浮动窗口的样式，增加边框以示区分，并可以有关闭(即取消区域)等按钮。还可由用户设置区域别名并显示在窗口栏，所述区域名可用于后续调整各区域的叠放次序。当远程连接客户端屏幕显示多个区域时，可为每个区域分别设置缩放、移动按钮、导航框、比例滑动条等。也可共用，按钮事件用于对活动窗口操作。在共用的时候，切换活动窗口时，导航框和比例滑动条也切换为表示活动窗口的位置信息。

当远程连接客户端屏幕存在多个区域时，可执行下述操作：

可以调整区域的显示范围，即调整区域显示的屏幕在远程会话屏幕的原始位置。具体的，可以激活该区域，然后调整缩放按钮或移动按钮。

可以调整区域的显示位置，例如可以移动该区域的窗口，或者通过拖动两个区域之间的边框。通过拖动两个区域之间的边框调整显示位置的同时，对应的原始位置也会随之变动，这里移动该区域的窗口可以为浮动工具栏的形式。

可以调整区域的叠放次序。具体的，远程连接客户端用户界面可设置“调整区域叠放次序”的按钮，点击后显示各区域叠放次序、别名、示意图等信息。可以通过拖动来调整各区域的叠放次序。

可以取消某区域的显示，例如通过点击区域窗口栏的关闭按钮。

A2、根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端。

远程连接服务器根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理具体可以为：远程连接服务器以叠放次序从底层到顶层的顺序，将各区域对应的原始位置的远程连接会话屏幕更新信息转换为各区域对应的显示位置的屏幕更新信息，最终形成远程连接客户端实际需显示的屏幕更新信息。远程连接服务器向远程连接客户端发送的屏幕更新信息可以为屏幕图像或者绘制命令的形式。远程连接客户端接收到屏幕更新信息后，可以根据屏幕更新信息绘制到屏幕显示给用户。

远程连接服务器对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端可以在检测到远程连接会话屏幕发生更新时处理发送，具体可以为远程连接服务器提供远程连接显示驱动，从而在应用程序调用系统的绘图接口进行绘制屏幕操作时获取远程连接会话屏幕更新信息并处理发送；或者可以定期获取远程连接会话屏幕更新信息并处理发送。

远程连接服务器根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理具体可以为：所述从远程连接客户端接收的鼠标事件中的坐标为在远程连接客户端屏幕的坐标，远程连接服务器根据各区域的显示位置判断所述鼠标事件的坐标位于远程连接客户端屏幕的哪个区域，如果多个区域存在叠放关系，则可按照从上向下的顺序对各区域依次判断，即如果多个区域叠放，则坐标位于最上层的那个区域，判断出鼠标坐标所在区域后，再根据该区域的显示位置和原始位置的映射关系将远程连接客户端发送的鼠标事件坐标转换为在远程连接会话屏幕的真实坐标。远程连接客户端发送的鼠标事件也可能位于区域的边缘或者远程连接客户端窗口或者区域窗口的菜单、按钮等位置，此时服务器无法将坐标映射为远程连接服务器屏幕的真实坐标，则执行预先设置的操作。远程连接服务器将包含真实坐标的鼠标事件发送给系统或应用处理。

本发明实施例通过确定远程连接客户端屏幕显示的多个区域对应的位置信息；根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对远程会话屏幕更新信息进行处理后发送给远程连接客户端，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

本发明实施例的远程连接时显示多个区域屏幕的方法的基本流程可参考图2，主要包括步骤：

B1、确定远程连接客户端屏幕显示的多个区域对应的位置信息；

各区域位置信息可至少包括区域的形状、原始位置(即该区域在远程连接会话屏幕的位置)、显示位置(即该区域在远程连接客户端屏幕的位置)。具体的，矩形区域的原始位置和显示位置可使用对角线两个顶点的坐标表示，而圆形区域可以使用圆心坐标和半径表示。可选的，如果多个区域的显示位置有重叠，则显示位置还需要包含各区域的叠放次序。

远程连接客户端获取各区域的位置信息的方法具体可以为远程连接客户端根据一系列鼠标事件确定各区域的位置信息；或者也可以由远程连接服务器根据远程连接客户端发送的一系列鼠标事件确定各区域的位置信息，再发送给远程连接客户端，多个区域的位置信息可以在一个消息中发送，也可以分多次发送，由远程连接客户端整合。

新增区域、移动区域的位置(原始位置或显示位置)或取消区域都会触发远程连接客户端更新相关区域的位置信息。

可以通过远程连接客户端的界面选择新增区域，如点击“选择区域”或者“拆分屏幕”菜单项或者工具栏按钮等；如果需要可通过子菜单等方式由用户进一步选择区域形状或拆分方式，例如“选择区域”菜单项的子菜单可以包含“矩形”和“圆形”等，“拆分屏幕”菜单项的子菜单可以包含“横向”、“纵向”等；用户通过鼠标点击屏幕确定区域位置，例如在“矩形区域”的情况下新增区域为以鼠标先后点击的两点作为对角线的矩形，在“拆分屏幕”的情况下以鼠标点击的点横向纵向将屏幕拆分为四部分。新增区域的显示位置即为在远程连接客户端屏幕的位置，而原始位置需要通过新增区域所在原区域的原始位置得到。在“选择区域”的情况下新增区域位于顶层，覆盖于原区域之上。新增区域可以表示为浮动窗口的样式，增加边框以示区分，并可以有关闭(即取消区域)等按钮。还可由用户设置区域别名并显示在窗口栏，所述区域名可用于后续调整各区域的叠放次序。当远程连接客户端屏幕显示多个区域时，可为每个区域分别设置缩放、移动按钮、导航框、比例滑动条等。也可共用，按钮事件用于对活动窗口操作。在共用的时候，切换活动窗口时，导航框和比例滑动条也切换为表示活动窗口的位置信息。

当远程连接客户端屏幕存在多个区域时，可执行下述操作：

可以调整区域的显示范围，即调整区域显示的屏幕在远程会话屏幕的原始位置。具体的，可以激活该区域，然后调整缩放按钮或移动按钮。

可以调整区域的显示位置，例如可以移动该区域的窗口，或者通过拖动两个区域之间的边框。通过拖动两个区域之间的边框调整显示位置的同时，对应的原始位置也会随之变动。

可以调整区域的叠放次序。具体的，远程连接客户端用户界面可设置“调整区域叠放次序”的按钮，点击后显示各区域叠放次序、别名、示意图等信息。可以通过拖动来调整各区域的叠放次序。

可以取消某区域的显示，例如通过点击区域窗口栏的关闭按钮。

B2、根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据所述本地屏幕显示的多个区域对应的位置信息，对从远程连接服务器接收的远程会话屏幕更新信息进行处理后再显示。

远程连接客户端根据所述本地屏幕显示的多个区域对应的位置信息，对从远程连接服务器接收的远程会话屏幕更新信息进行处理后再显示具体可以为：远程连接客户端以叠放次序从底层到顶层的顺序，判断接收到的远程连接会话屏幕更新信息全部或部分位于该区域的原始位置内，将远程连接会话屏幕更新信息转换为对应的显示位置的屏幕更新信息，并绘制屏幕。远程连接客户端从远程连接服务器接收的屏幕更新信息可以为屏幕图像或者绘制命令的形式。

远程连接客户端根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理具体可以为：远程连接客户端监测到鼠标事件，所述鼠标事件中的坐标为在远程连接客户端屏幕的坐标，远程连接客户端根据各区域的叠放次序和显示位置判断所述鼠标事件的坐标位于远程连接客户端屏幕的哪个区域，再根据该区域的显示位置和原始位置的映射关系将鼠标事件坐标转换为在远程连接会话屏幕对应的真实坐标。客户端将包含真实坐标的鼠标事件发送给远程连接服务器。如果远程连接客户端监测到的鼠标事件坐标位于区域的边缘或者远程连接客户端窗口或者区域窗口的菜单、按钮等位置，则远程连接客户端可以自行执行相应的操作，不发送鼠标事件给远程连接服务器。

本发明实施例通过确定本地屏幕显示的多个区域对应的位置信息，根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据所述本地屏幕显示的多个区域对应的位置信息，对从远程连接服务器接收的远程会话屏幕更新信息进行处理后再显示，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

本发明实施例的服务器的基本框图可参考图3，主要包括，

确定单元301，用于确定客户端屏幕显示的多个区域对应的位置信息；各区域位置信息可至少包括原始位置(即该区域在远程连接会话屏幕的位置)、显示位置(即该区域在客户端屏幕的位置)。具体的，矩形区域的原始位置和显示位置可使用对角线两个顶点的坐标表示，而圆形区域可以使用圆心坐标和半径表示。可选的，如果多个区域的显示位置有重叠，则显示位置还需要包含各区域的叠放次序。服务器获取各区域的位置信息的方法具体可以为服务器根据客户端发送的一系列鼠标事件确定各区域的位置信息；或者也可以由客户端根据鼠标事件确定各区域的位置信息后发送给服务器，多个区域的位置信息可以在一个消息中发送，也可以分多次发送，由服务器整合。新增区域、移动区域的位置(原始位置或显示位置)或取消区域都会触发服务器更新相关区域的位置信息。

处理单元302，用于根据所述客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端。服务器根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理具体可以为：服务器以叠放次序从底层到顶层的顺序，将各区域对应的原始位置的远程连接会话屏幕更新信息转换为各区域对应的显示位置的屏幕更新信息，最终形成远程连接客户端实际需显示的屏幕更新信息。服务器根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理具体可以为：所述鼠标事件中的坐标为在客户端屏幕的坐标，服务器根据各区域的显示位置判断所述鼠标事件的坐标位于客户端屏幕的哪个区域，如果多个区域存在叠放关系，则可按照从上向下的顺序对各区域依次判断。判断出鼠标坐标所在区域后，再根据该区域的显示位置和原始位置的映射关系将客户端发送的鼠标事件坐标转换为在服务器屏幕的真实坐标。客户端发送的鼠标事件也可能位于区域的边缘或者远程连接客户端窗口或者区域窗口的菜单、按钮等位置，此时服务器无法将坐标映射为服务器屏幕的真实坐标，则执行预先设置的操作。服务器将包含真实坐标的鼠标事件发送给系统或应用处理。

本发明实施例通过确定单元301确定客户端屏幕显示的多个区域对应的位置信息；处理单元302根据所述客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

本发明实施例的客户端的基本框图可参考图4，主要包括，

确定单元401，用于确定本地屏幕显示的多个区域对应的位置信息；各区域位置信息可至少包括区域的形状、原始位置(即该区域在远程连接会话屏幕的位置)、显示位置(即该区域在远程连接客户端屏幕的位置)。具体的，矩形区域的原始位置和显示位置可使用对角线两个顶点的坐标表示，而圆形区域可以使用圆心坐标和半径表示。可选的，如果多个区域的显示位置有重叠，则显示位置还需要包含各区域的叠放次序。客户端获取各区域的位置信息的方法具体可以为根据鼠标事件确定各区域的位置信息。也可以由服务器根据客户端发送的一系列鼠标事件确定各区域的位置信息，再发送给客户端。新增区域、移动区域的位置(原始位置或显示位置)或取消区域都会触发远程连接客户端更新相关区域的位置信息。

处理单元402，用于根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给服务器之前对鼠标坐标进行处理；或，根据所述本地屏幕显示的多个区域对应的位置信息，对从服务器接收的远程会话屏幕更新信息进行处理后再显示。客户端根据所述本地屏幕显示的多个区域对应的位置信息，对从远程连接服务器接收的远程会话屏幕更新信息进行处理后再显示具体可以为：远程连接服务器以叠放次序从底层到顶层的顺序，判断接收到的远程连接会话屏幕更新信息全部或部分位于该区域的原始位置内，将远程连接会话屏幕更新信息转换为对应的显示位置的屏幕更新信息，并绘制屏幕。客户端根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理具体可以为：客户端监测到鼠标事件，所述鼠标事件中的坐标为在客户端屏幕的坐标，客户端根据各区域的叠放次序和显示位置判断所述鼠标事件的坐标位于客户端屏幕的哪个区域，再根据该区域的显示位置和原始位置的映射关系将鼠标事件坐标转换为在远程连接会话屏幕对应的真实坐标。客户端将包含真实坐标的鼠标事件发送给远程连接服务器。如果客户端监测到的鼠标事件坐标位于区域的边缘或者远程连接客户端窗口或者区域窗口的菜单、按钮等位置，则客户端可以自行执行相应的操作，不发送鼠标事件给远程连接服务器。

本发明实施例通过确定单元401确定本地屏幕显示的多个区域对应的位置信息，处理单元402根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据所述本地屏幕显示的多个区域对应的位置信息，对从服务器接收的远程会话屏幕更新信息进行处理后再显示，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

本发明实施例的远程连接时显示多个区域屏幕的系统的基本框图可参考图5，主要包括，

服务器501，用于确定客户端屏幕显示的多个区域对应的位置信息；根据所述客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端。所述服务器能执行图1所示实施例中所提到的远程连接服务器进行的各项操作，具体过程可参考上述实施例，此处不在赘述。

客户端502，用于向服务器发送鼠标事件，接收服务器发送的处理过的远程连接会话屏幕更新信息。

本发明实施例通过服务器确定客户端屏幕显示的多个区域对应的位置信息；根据所述客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

本发明实施例的远程连接时显示多个区域屏幕的系统的基本框图可参考图6，主要包括，

服务器601，用于接收客户端处理过的鼠标事件，向客户端发送远程连接会话屏幕更新信息。

客户端602，用于确定本地屏幕显示的多个区域对应的位置信息；根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据所述本地屏幕显示的多个区域对应的位置信息，对从服务器接收的远程会话屏幕更新信息进行处理后再显示。

所述客户端能执行图2所示实施例中所提到的远程连接客户端进行的各项操作，具体过程可参考上述实施例，此处不在赘述。

本发明实施例通过客户端确定本地屏幕显示的多个区域对应的位置信息，根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据所述本地屏幕显示的多个区域对应的位置信息，对从服务器接收的远程会话屏幕更新信息进行处理后再显示，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

为更好的理解上述实施例，下面结合一种新增区域时确定远程连接客户端屏幕显示的多个区域对应的位置信息的方法的一个具体执行过程为例进行说明，流程示意图如图7所示，包括远程连接服务器A，远程连接客户端B，假设远程连接客户端B为一掌上电脑，远程连接服务器A为个人电脑，用户使用掌上电脑远程连接个人电脑，由于掌上电脑的屏幕较小，只能看到远程会话屏幕的一部分，具体流程如下：

701、用户通过客户端的界面选择新增区域；

如点击“选择区域”或者“拆分屏幕”菜单项或者工具栏按钮等方式。

702、客户端将用户鼠标点击的位置发送给服务器；

例如先发送一个鼠标左键按下事件消息，再发送一个鼠标左键释放事件消息，鼠标事件消息中包含鼠标的坐标。

703、服务器根据鼠标事件消息中的坐标判断出用户选择新增区域；

如果需要通过子菜单等方式由用户进一步选择区域形状或拆分方式，则执行步骤704。例如“选择区域”菜单项的子菜单可以包含“矩形”和“圆形”等，“拆分屏幕”菜单项的子菜单可以包含“横向”、“纵向”等。如果步骤701中客户端的界面已经分别呈现了多个表示区域形状或拆分方式的菜单项，或者是仅支持一种区域形状或拆分方式(例如区域形状默认为矩形，或拆分方式默认为拆分为四部分)，则无需执行步骤704-706，直接执行步骤707。

704、服务器向客户端发送绘制子菜单的屏幕图像或绘制命令，或者可以屏幕图像和绘制命令二者结合。

屏幕图像如压缩的位图，绘制命令例如绘制矩形(绘制位置为子菜单的位置和大小，颜色为子菜单的底色)以及绘制文字(文字为子菜单中各菜单项的文字)。

705、客户端根据服务器发送的屏幕图像和/或绘制命令显示给用户。

706、用户进一步选择子菜单中提供的选项，例如选择“矩形”，这里矩形的大小可以为固定大小，用户在选定后可以对其大小进行调整。

707、客户端将用户选择结果发送给服务器。

这里的选择结果为用户点击“矩形”。

708、服务器根据鼠标事件消息中的坐标判断出用户选择的区域形状或拆分方式，进一步发送绘制提示信息的屏幕图像和/或绘制命令。

例如显示提示文字“请选择矩形的位置”。

709、客户端根据服务器发送的屏幕图像和/或绘制命令显示给用户

客户端根据服务器发送的屏幕图像或绘制命令显示，显示出来的是包含提示信息的屏幕图像

710、用户通过鼠标点击屏幕确定区域位置。例如鼠标点击位置作为矩形的顶点。

711、客户端将用户鼠标点击事件及位置发送给服务器。

步骤710和711可能有多个，例如矩形需要两个顶点来确定。

712、服务器根据鼠标事件消息中的坐标确定区域位置。在“矩形区域”的情况下新增区域为以接收的两个坐标点作为对角线的矩形，在“拆分屏幕”的情况下以接收的坐标点横向纵向将屏幕拆分为四部分。

以矩形区域为例，新增区域的显示位置即可使用两个坐标点的坐标表示，新增区域的原始位置需要根据新增区域所在区域的偏移和比例确定。例如，客户端分辨率为240*320，在新增区域前，客户端屏幕显示的区域左上顶点为服务器屏幕坐标(10，20)的位置，而客户端屏幕显示比例为1∶2，即客户端显示的为服务器屏幕(10，20)和(490，660)确定的矩形区域。这里490为240的2倍加上偏移10，660为320的2倍加上偏移20。新增区域在客户端屏幕的位置为(25，35)和(45，65)确定的矩形区域，则新增区域的原始位置为(60，90)和(100，150)确定的矩形区域。并且新增区域位于顶层。

如果用户设置区域位置过程中发生错误，例如用户设置的两点坐标分别位于两个不同区域，则服务器可通过客户端提醒用户出错并提示用户重新设置，或者直接为用户选择最接近的点。

713、服务器向客户端发送绘制区域的屏幕图像和/或绘制命令。

新增矩形区域可以表示为浮动窗口的样式，增加边框以示区分，并可以有关闭(即取消区域)等按钮。还可由用户设置区域别名并显示在窗口栏，所述区域名还可用于后续调整各区域的叠放次序。

当客户端屏幕显示多个区域时，可为每个区域分别设置缩放、移动按钮、导航框、比例滑动条等。也可共用，按钮事件用于对活动窗口操作。在共用的时候，切换活动窗口时，导航框和比例滑动条也切换为表示活动窗口的位置信息。

714、客户端根据服务器发送的屏幕图像和/或绘制命令显示给用户。

进一步的，用户可以调整区域的显示范围，即调整区域显示的屏幕在服务器屏幕的原始位置。具体的，用户可以激活该区域所在屏幕，然后调整缩放按钮或移动按钮。

进一步的，用户可以调整区域的显示位置，例如可以通过点击窗口栏并拖动，或者通过拖动两个区域之间的边框，即两个区域之间的交界线，从而实现对两个区域的显示屏幕大小进行调整，用户调整显示位置的同时，对应的原始位置可能也会随之变动。

进一步的，用户可以调整区域的叠放次序。具体的，客户端用户界面可设置“调整区域叠放次序”的按钮，用户点击后服务器向客户端界面发送各区域叠放次序、用户事先设置的各区域名称、各区域的示意图等信息。用户可以通过拖动来调整各区域的叠放次序。

进一步的，用户可以取消某区域的显示，例如通过点击区域窗口栏的关闭按钮。

本发明实施例通过服务器确定客户端屏幕显示的多个区域对应的位置信息；根据所述客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

为更好的理解上述实施例，下面结合一种新增区域时确定远程连接客户端屏幕显示的多个区域对应的位置信息的方法的一个具体执行过程为例进行说明，流程示意图如图8所示，包括远程连接服务器A，远程连接客户端B，假设远程连接客户端B为一掌上电脑，远程连接服务器A为个人电脑，用户使用掌上电脑远程连接个人电脑，由于掌上电脑的屏幕较小，只能看到远程会话屏幕的一部分，具体流程如下：

801、用户通过客户端的界面选择新增区域，

如点击“选择区域”或者“拆分屏幕”菜单项或者工具栏按钮等方式。客户端判断出用户选择新增区域，如果需要通过子菜单等方式由用户进一步选择区域形状或拆分方式，则执行步骤802，否则直接执行步骤804。

802、客户端通过子菜单等方式将可供选择的区域形状或拆分方式显示给用户，这里客户端本身具有供用户选择的能力，由用户进一步选择。

803、用户进一步选择子菜单中提供的选项，例如选择“矩形”。

804、客户端判断出用户选择的区域形状或拆分方式，可提示用户设置区域位置。

805、用户通过鼠标点击屏幕确定区域位置。例如鼠标点击位置作为矩形的顶点。

步骤805可能有多个，例如矩形需要两个顶点来确定。

806、客户端根据用户操作确定区域位置。例如在“矩形区域”的情况下新增区域为以用户先后点击的两点作为对角线的矩形，在“拆分屏幕”的情况下以用户点击的点横向纵向将屏幕拆分为四部分。

807、客户端向服务器发送新增区域的位置信息。在该步骤之前客户端还可通过界面由用户输入区域别名。

本步骤具体可以为客户端向服务器发送新增区域消息。消息中可包含：消息类型(指明该消息为新增区域)和区域位置信息。区域位置信息包含区域形状(如有默认形状则可省略)、区域原始位置(可省略，由服务器根据区域显示位置自行计算)、区域显示位置、区域的叠放次序(可省略，默认位于顶层)、区域标识(可用于之后修改区域位置信息、取消区域等操作时标识该区域)、区域别名(可选)等。

808、服务器向客户端发送绘制区域的屏幕图像和/或绘制命令。

809、客户端根据服务器发送的屏幕图像和/或绘制命令显示给用户。

后续调整区域位置后，客户端也需要通知服务器，可向服务器发送修改区域位置信息消息。消息中可包含：消息类型(指明该消息为修改区域位置信息)和区域位置信息。区域位置信息可以为修改后的位置信息或修改的差值。

用户取消区域时，客户端可向服务器发送取消区域消息。消息中可包含区域标识。

替代的，新增区域消息、修改区域位置信息消息和取消区域消息可统一使用设置区域位置信息消息。尤其适用于划分区域为拆分窗口的情况，这种情况下调整区域时均涉及多个区域。

本发明实施例通过服务器确定客户端屏幕显示的多个区域对应的位置信息；根据所述客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端，使得用户无需频繁对客户端显示区域进行缩放、移动操作，即可交替操作多个距离较远的区域，远程连接接客户端可以显示多个区域的远程会话屏幕。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例所提供的远程连接时显示多部分不相邻屏幕的方法、系统和装置，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种远程连接时显示多个区域屏幕的方法，其特征在于，所述方法包括，

确定远程连接客户端屏幕显示的多个区域对应的位置信息；

根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；

或，根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端。

2.如权利要求1所述的方法，其特征在于，所述位置信息至少包括，所述区域在远程连接会话屏幕的原始位置、所述区域在远程连接客户端屏幕的显示位置，如果多个区域的显示位置有重叠，还包含各区域的叠放次序。

3.如权利要求2所述的方法，其特征在于，所述根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理具体为：

根据所述鼠标事件中的坐标和所述多个区域对应的显示位置信息，确定鼠标事件对应的区域，根据所述区域的显示位置和原始位置，将所述鼠标事件中的坐标转换为远程连接会话屏幕的真实坐标，并将包含真实坐标的鼠标事件发送给应用程序或系统。

4.如权利要求2所述的方法，其特征在于，所述根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理具体为：

以叠放次序从底层到顶层的顺序，根据所述区域的显示位置和原始位置，将远程连接会话屏幕更新信息的位置信息转化为在远程连接客户端屏幕的位置信息。

5.如权利要求1所述的方法，其特征在于，所述确定远程连接客户端屏幕显示的多个区域对应的位置信息可由新增区域、移动区域的位置或取消区域触发。

6.一种远程连接时显示多个区域屏幕的方法，其特征在于，

确定远程连接客户端屏幕显示的多个区域对应的位置信息；

根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；

或，根据所述本地屏幕显示的多个区域对应的位置信息，对从远程连接服务器接收的远程会话屏幕更新信息进行处理后再显示。

7.如权利要求6所述的方法，其特征在于，所述位置信息至少包括，所述区域在远程连接会话屏幕的原始位置、所述区域在远程连接客户端屏幕的显示位置，如果多个区域的显示位置有重叠，还包含各区域的叠放次序。

8.如权利要求7所述的方法，其特征在于，所述根据所述本地屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理具体为：

根据所述鼠标事件中的坐标和所述多个区域对应的显示位置信息，确定鼠标事件对应的区域，根据所述区域的显示位置和原始位置，将所述鼠标事件中的坐标转换为服务器屏幕的真实坐标。

9.如权利要求7所述的方法，其特征在于，所述根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接服务器接收的远程会话屏幕更新信息进行处理具体为：

远程连接客户端以叠放次序从底层到顶层的顺序，判断接收到的远程连接会话屏幕更新信息全部或部分位于该区域的原始位置内，将远程连接会话屏幕更新信息中的位置转换为在远程连接客户端屏幕的显示位置。

10.如权利要求6所述的方法，其特征在于，所述确定远程连接客户端屏幕显示的多个区域对应的位置信息可由新增区域、移动区域的位置或取消区域触发。

11.一种服务器，其特征在于，所述服务器包括，

确定单元，用于确定远程连接客户端屏幕显示的多个区域对应的位置信息；

处理单元，用于根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端。

12.一种客户端，其特征在于，所述客户端包括，

确定单元，用于确定远程连接客户端屏幕显示的多个区域对应的位置信息；

处理单元，用于根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从远程连接服务器接收的远程会话屏幕更新信息进行处理后再显示。

13.一种远程连接时显示个区域屏幕的系统，其特征在于，所述系统包括，

服务器，用于确定客户端屏幕显示的多个区域对应的位置信息；根据所述客户端屏幕显示的多个区域对应的位置信息，对从远程连接客户端接收的鼠标事件进行处理；或，根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对远程连接会话屏幕更新信息进行处理后发送给远程连接客户端。

客户端，用于向服务器发送鼠标事件，接收服务器发送的处理过的远程连接会话屏幕更新信息。

14.一种远程连接时显示个区域屏幕的系统，其特征在于，所述系统包括，

服务器，用于接收客户端处理过的鼠标事件，向远程连接客户端发送远程连接会话屏幕更新信息。

客户端，用于确定远程连接客户端屏幕显示的多个区域对应的位置信息；根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，在发送鼠标事件给远程连接服务器之前对鼠标坐标进行处理；或，根据所述远程连接客户端屏幕显示的多个区域对应的位置信息，对从服务器接收的远程会话屏幕更新信息进行处理后再显示。

Images