CN102859480A

CN102859480A - 屏幕共享

Info

Publication number: CN102859480A
Application number: CN2011800084251A
Authority: CN
Inventors: D.丁卡; D.伊佐托夫; H.彭哈
Original assignee: Skype Ltd Ireland
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-02-03
Filing date: 2011-02-02
Publication date: 2013-01-02
Anticipated expiration: 2031-02-02
Also published as: EP2520065B8; EP2520065B1; GB201001728D0; US20110191695A1; CN102859480B; WO2011095523A1; EP2520065A1; US8904294B2

Abstract

一种将图像数据从第一终端传输到通过通信网络连接的第二终端的方法，该方法包括：在第一终端的屏幕上显示由处理器执行的应用所生成的屏幕图像；处理器执行通信客户端以便建立第一和第二终端之间的通信事件，并在第一终端上显示交互选择组件；在第一终端处的用户操作选择组件以选择要与第二终端共享的至少一个在屏幕上显示的对象，其中通信客户端访问定义显示的对象尺寸的数据，并且基于那些尺寸调整选择组件，使得通过在建立的通信事件中的通信网络上传输图像数据而将由窗口选择组件所选择的至少一个对象显示在第二终端的屏幕上。

Description

屏幕共享

发明领域

本发明涉及计算机系统中的屏幕共享。

背景技术

通信系统允许设备的用户通过诸如互联网的计算机网络进行通信。可以建立的通信事件包括语音呼叫、视频呼叫、即时消息、语音邮件、文件传输以及其他。当一个用户通过通信事件与另一个用户进行通信时，可以共享他们屏幕上的内容。也就是说，第一用户可决定通过建立的通信事件与第二用户共享他屏幕上的内容。

基于分组的通信系统允许设备（例如个人计算机）的用户使用诸如网际协议（IP）的分组协议而通过计算机网络进行通信。基于分组的通信系统可被用于多种类型的通信事件。对于用户来说，这些系统较为有利，因为它们通常相对于固定线路或移动网络来说成本低得多。在长距离通信的情况下更是如此。为了使用基于分组的系统，用户在他们的设备上安装并执行客户端软件。客户端软件提供基于分组的连接和其他功能，例如注册和认证（authentication）。

目前，存在允许由用户选择（例如使用选择框）的屏幕图像的任意部分的屏幕共享的通信系统。在一些情况下，计算机设备运行多个不同应用，这些应用的每一个都为用户呈现一个窗口，当该用户和另一个用户在该应用中通过通信事件而同时连接时该用户可与另一个用户共享该窗口。为了共享应用之外的显示内容，这两个用户都必须退出该应用，进入不同的应用，并且接着在不同的应用中共享内容。还存在一些相关联的应用，其中可在一个应用中共享来自另一个应用的内容，但这仅限于相关联的应用。

现在，当用户希望共享部分屏幕图像时，他必须手动操作，使用诸如鼠标、选择组件之类的用户接口工具来选择正确的部分。

发明内容

期望方便用户选择想要与另一个用户共享的屏幕的一部分，特别是用于但不限于基于分组的通信系统。

根据本发明的一个方面，提供了一种将图像数据从第一终端传输到通过通信网络连接的第二终端的方法，该方法包括：

在第一终端的屏幕上显示由处理器执行的应用生成的屏幕图像；

处理器执行通信客户端以便：

建立第一和第二终端之间的通信事件；

在第一终端上显示交互选择组件；

第一终端处的用户操作（actuate）选择组件以选择要与第二终端共享的在屏幕上显示的至少一个对象，

其中通信客户端访问定义显示的对象尺寸的数据，并且基于那些尺寸调整选择组件，使得通过在建立的通信事件中的通信网络上传输图像数据而将由窗口选择组件所选择的至少一个对象显示在第二终端的屏幕上。

根据本发明的另一方面，提供了一种用户终端，其包括：

屏幕，可操作来显示由处理器执行的应用生成的屏幕图像；

处理器，用于执行通信客户端以便：

建立该用户终端和另一终端之间的通信事件，以及

在屏幕上显示交互选择组件；

用户接口，可操作来允许用户终端处的用户操作窗口选择组件以选择要与另一终端共享的屏幕图像的一部分，其中通信客户端访问定义显示的对象的尺寸的数据，并且基于那些尺寸调整选择组件，使得通过在建立的通信事件中的通信网络上传输图像数据而将由窗口选择组件所选择的至少一个对象显示在第二终端的屏幕上。

在所描述的实施方式中，定义显示的对象的尺寸的数据被存储在用户终端的操作系统中。操作系统还可保持定义链接对象的数据，从而如果被选择的对象与另一个对象相链接，通信客户端调整选择组件的尺寸以使得这两个对象都被共享。

附图说明

为了更好地理解本发明以及展示如何将本发明付诸实现，现在将参考附图作为示例，其中：

图1是通过网络连接的用户终端的示意图；

图2是用户终端的示意方框图；

图3A至3D示出了使用框进行窗口选择；

图4示出了用于发起屏幕共享的显示；以及

图5A至5C示出了部分屏幕共享的第二实施方式。

具体实施方式

首先参见图1，其示出了P2P通信系统100。请注意虽然参考P2P通信系统描述了该示例性实施方式，但是也可以使用其他类型的通信系统，例如非P2P通信系统。这种类型的基于分组的通信系统使用在专有协议上构建的点对点（P2P）拓扑。为了使得能够接入点对点系统，用户必须在他们的计算机上执行由P2P软件提供商提供的P2P客户端软件，并且在P2P系统中注册。当用户在P2P系统中注册时，从服务器给客户端软件提供数字证书。一旦向客户端软件提供了证书，随后通信即可建立，并在P2P系统的用户之间进行路由而不需要进一步使用服务器。具体来说，用户可以基于一个或多个数字证书（或者用户身份证书UIC）的交换而通过P2P系统来建立他们自己的通信路由，这使得能够接入P2P系统。用户之间数字证书的交换提供用户身份的证明，并且它们在P2P系统中被适当的授权和认证。因此，数字证书的提交提供了用户身份的信任。这也是点对点通信的特性，即并非使用服务器进行通信路由而是直接从最终用户到最终用户进行通信。关于这种P2P系统的进一步详情已在WO2005/009019中公开了。

P2P通信系统的第一用户（被称为“Tom Smith” 102）操作第一用户终端104，其被显示为连接到P2P网络106。注意到P2P网络106利用诸如互联网之类的通信系统。用户终端104可以例如是个人计算机（PC）、个人数字助理（PDA）、移动电话、游戏设备或其他能够连接到P2P网络106的嵌入式设备。该用户设备被设置为从设备的用户处接收信息并输出信息到设备的用户。在本发明的优选实施方式中，用户设备包括诸如屏幕或监视器之类的显示器，和诸如键盘和/或鼠标之类的用户接口组件。用户设备104通过诸如调制解调器之类的网络接口108连接到P2P网络106，并且用户终端104和网络接口108之间的连接可以是通过电缆（有线）连接或无线连接。

用户终端104运行由P2P软件提供商提供的客户端110。客户端110是在用户终端104中的本地处理器上执行的软件程序。用户终端104还连接到包括扬声器和麦克风的手持送受话器112，其使得用户能够在语音呼叫中收听及说话。麦克风和扬声器不需要必须是以传统的电话手持送受话器的形式，而可以是头具有整合的麦克风的戴式耳机或耳塞的形式，或者是独立连接到用户终端104的单独的扬声器和麦克风。用户终端104能够可选地连接到诸如网络摄像头之类的视频照相机313。当连接到视频照相机时，用户设备包括编码用于传输的视频数据的编解码器组件。如果没有视频照相机，则提供一个单独的编解码器组件以用于传输图像数据。

第二用户终端116可包括相同的元件、手持送受话器122、客户端应用120、网络接口118和可选的视频照相机323及其相关联的编解码器组件，或单独的编解码器组件。在这种情况下，编解码器组件用于解码视频/图像数据。

可通过使用诸如鼠标之类的指示设备从显示的联系人列表中选择一个联系人并且点击“呼叫”按钮而在P2P系统上发起诸如语音呼叫、视频呼叫、IM或聊天之类的通信事件。使用专用协议来执行呼叫建立，并且由点对点系统来确定呼叫用户和被叫用户之间的网络106上的路由而无需使用服务器。例如，第一用户102可与第二用户“Kevin Jackson”114建立通信事件。

通过数字证书的提交来进行随后的认证（证明用户是P2P系统的真实用户，这已在WO2005/009019中进行了详细描述），可使用基于分组的通信（例如使用IP）来实现通信事件。客户端110包括执行IP分组的编码和解码的编解码器组件319。通过网络接口108将来自用户终端104的IP分组传输到网络106中，并通过网络接口118将其路由到被叫方114的计算机终端116。在被叫用户114的用户终端116上运行的客户端120（类似于客户端110）解码IP分组以生成被叫用户可在他们的终端116上听到和看到的音频和/或视频信号。反之，当第二用户114想要传输时，用户终端116上运行的客户端120将音频和/或视频信号编码为IP分组，并且通过网络106将这些IP分组传输到用户终端104。用户终端104上运行的客户端110解码IP分组，并且生成用户可通过手持送受话器112听到的音频信号和/或可在他们的显示器上看到的视频信号。

以上描述的用于在P2P用户（例如102和114）之间传送事件的IP分组仅通过网络106传递，而不会涉及PSTN网络。此外，因为系统的P2P特性，可以建立P2P系统的用户之间的连接而无需使用中央服务器。

通信事件可包括语音和/或视频呼叫。除了呼叫，客户端110的用户还可通过多种其他方法与联系人列表中所列出的用户进行通信。例如，通过在显示的框里键入消息并且通过选择“发送消息”按钮来发送它，即时消息（也被称为聊天消息）可以被发送。另外，第一用户102可使用客户端110传输文件给联系人列表中的用户，或者发送语音邮件给联系人。

图2示出了其上执行客户端110的用户终端104的详细视图。用户终端104包括中央处理单元（CPU）302，其连接了诸如屏幕之类的显示器304、诸如键盘306之类的输入设备、诸如鼠标308之类的指示设备、扬声器310、麦克风312和可选的视频照相机313。扬声器310和麦克风312可整合进手持送受话器112或头戴式送受话器、或者可以单独存在。如图1所示，CPU 302连接到网络接口108。

图2还示出了在CPU302中运行的操作系统（OS）。在OS 314的顶部运行的是用于客户端110的软件堆栈316。软件堆栈展示了协议层318、客户端引擎层320（包括编解码器组件319）和客户端用户接口层（UI）322。每层负责特定的功能。因为每层通常是与其他两层进行通信，它们被认为是安排在如图2所示那样的堆栈中。操作系统314管理计算机的硬件资源并且处理通过网络接口108从网络传输来或者传输到网络的数据。此外OS还管理将显示在显示器304上的内容，以下将对其进行更详细的描述。客户端软件的客户端协议层318与操作系统314进行通信，并且管理P2P系统上的连接。需要更高级别处理的进程被传递到客户端引擎层320。客户端引擎320还与客户端用户接口层322进行通信。客户端引擎320可被设置为控制客户端用户接口层322以通过客户端的用户接口呈现信息给用户（如图2所示），并且通过用户接口从用户处接收信息。在图2中，仅显示了一个客户端堆栈，但在大多数情况下，在操作系统的顶部将会有多于一个的客户端堆栈以传递不同应用给用户。对于在用户终端上运行的所有应用，OS 314存储由不同应用显示的对象的列表以及他们的位置和尺寸。每个应用可通过他的客户端堆栈访问当前在屏幕上显示的对象的列表，那些窗口的精确坐标和大小来自OS。这些对象包括由特定应用显示的上下文窗口，以及在那些窗口内的项目，这些项目的坐标和大小也可从OS得到。一个对象可链接到一个相关联的对象，这样的链接被存储在OS中。

图3A示出了呈现两个显示窗口的显示304。第一显示窗口200是由通信客户端110发起的，其展示用于通信系统的用户的联系人列表。第二窗口202展示例如由在操作系统314的顶部运行的文字处理应用所显示的文档。参考标记204表示根据本发明的实施方式允许第一用户102与第二用户114共享他显示的一部分的共享框。通信客户端110使用由OS提供的信息来生成并管理该框。

在这种情况下，显示304被认为是位于第一用户102的终端104处。用户102可以控制框204。该框具有包括共享按钮206的底段，稍后将讨论共享按钮206。用户102可通过用户接口（典型的为鼠标）来管理框204的位置。鼠标操作光标（未在图3A中示出），通过光标用户102可在显示304上拖拽框204直到它位于第一显示窗口200内。图3B至3D示出了该顺序。图3B示出了该框在第一窗口202和第二窗口200之间各一半的情况。图3C示出了该框位于第一窗口200内而不在第二窗口202的情况。依照本发明的一个实施方式，框的位置可被重新识别为相应于由特点应用生成的窗口200。当松开鼠标时，该框自动调整大小到由那个应用生成的窗口。这在这里被称为“吸附”（snapping）到新窗口。图3D中展示了“吸附”的框。

通过可访问当前显示在屏幕上的窗口列表和那些窗口的精确坐标和尺寸的通信客户端110以及提供窗口列表和他们的位置/尺寸的OS之间的合作来管理“吸附”功能。

“吸附”功能操作于由操作系统管理的对象级。也就是说，通过将框定位于对象上，检测框的位置，并且框的边界“吸附”于那个对象的尺寸。在以上所述的实施方式中，对象是窗口。然而，对象可以是窗口内的项目。此外，如果用户将框定位于被操作系统评估为链接对象的两个项目之上，该框将自动“吸附”在这两个对象上，从而与第二用户114共享这两个对象。

现在将描述框定位的效果。在图3A中，假设没有激活停止共享按钮206，效果是在第二用户终端116的显示器上显示第二窗口202内的文档（而非其他显示）。现在查看图3D，当框已“吸附”到第一窗口时，这具有在第一终端116显示处于第一窗口200中的联系列表（也不再是处于第二窗口202中的文档）的效果。

图4示出了如何操作共享屏幕上所选择的部分的选项。为了实现共享屏幕功能，需要在用户之间建立通信事件。在图4的情况中，这是与名为Dinka的用户的通话。共享按钮212与菜单214相关联，其提供共享全部屏幕的选项或者共享选择部分的选项。当选择了共享选择部分选项时，框204出现在屏幕的一部分的四周。

依照第二实施方式，可从任务栏直接选择要共享的窗口。图5A示出了展示从任务栏502打开窗口500的显示。在这种情况下，该窗口是You Tube项目。显示器304还显示Skype客户端界面504。在图5A中，以点划线的方式在显示器的中央示出了框204。通过使用鼠标将光标506定位在窗口500的中央并且松开鼠标，用户可选择那个窗口用于共享。如图5B所示，这使得框204自动吸附到窗口500四周。在图5A和5B的实施方式中，框具有两个共享操作按钮，“展示”（show this）按钮510和“取消”按钮512。如果激活了“展示”按钮510，这具有与通过通信事件连接到第一用户的第二用户共享窗口500的内容的效果。可通过操作“取消”按钮512来取消共享。在这样的情况下，用户可通过从任务栏502选择窗口而选择共享不同的应用或不同的窗口。如图5C所示出的，在这种情况下，用户决定选择服务特性页面514。再次，如果用户使用鼠标将光标定位到页面514的中央并且松开鼠标，框204将自动“吸附”到窗口514并且选择窗口514以用于共享。

在本发明所描述的实施方式中，窗口选择框204是可用的，不管是否激活了共享。如果激活了屏幕共享，并且选择了新的对象，该框保持为使得可以共享新选择的对象。此外，可能提供另一种方案，其中除了可以吸附到所选对象的能力之外，用户可随时调整框的尺寸。

通过使用为通信事件建立的通信信道可以共享所选窗口的内容。也就是说，以公知的方式，通过编解码器组件将屏幕数据变换为IP分组，并且传输到要与之共享屏幕内容的用户处。

Claims

1.一种将图像数据从第一终端传输到通过通信网络连接的第二终端的方法，所述方法包括：

处理器执行通信客户端以便：

建立所述第一和第二终端之间的通信事件；以及

在所述第一终端显示交互选择组件；

所述第一终端处的用户操作所述选择组件以选择要与所述第二终端共享的在屏幕上显示的至少一个对象，

其中所述通信客户端访问定义显示的对象的尺寸的数据，并且基于那些尺寸调整选择组件，使得通过在建立的通信事件中的所述通信网络上传输图像数据而将由所述窗口选择组件所选择的所述至少一个对象显示在所述第二终端的屏幕上。

2.根据权利要求1所述的方法，其中所述选择组件包括框。

3.根据权利要求2所述的方法，其中所述框的边界自动调整尺寸以符合被选择共享的所述对象的边界。

4.根据任一以上权利要求所述的方法，其中所述处理器执行的应用独立于所述通信客户端。

5.根据任一以上权利要求所述的方法，其中所述选择的对象包括由第一处理器执行的应用所生成的窗口，并且其中所述屏幕图像包括由至少一个另外的处理器执行的应用所生成的至少一个另外的窗口。

6.根据任一以上权利要求所述的方法，其中所述窗口选择组件是用户可调整尺寸的。

7.根据任一以上权利要求所述的方法，其中在所述屏幕上显示的所述对象包括从任务栏选择的窗口。

8.根据权利要求7所述的方法，其中通过用户选择从任务栏生成的窗口而操作所述窗口选择组件。

9.根据权利要求1或6所述的方法，其中所选择的屏幕的一部分链接到另一个对象，其中所述通信客户端调整所述选择组件的尺寸以使得共享这两个对象。

10.根据任一以上权利要求所述的方法，其中在传输前编码所述图像数据。

11.根据任一以上权利要求所述的方法，其中所述窗口选择组件包括交互操作元件，它在被操作时控制共享。

12.根据权利要求11所述的方法，其中所述交互操作元件是停止共享按钮。

13.根据权利要求11所述的方法，其中所述交互操作元件是操作共享按钮。

14.一种用户终端，其包括：

屏幕，可操作用来显示由处理器执行的应用生成的屏幕图像；

处理器，执行通信客户端以便：

建立所述用户终端和另一终端之间的通信事件；以及

在所述屏幕上显示交互选择组件；

用户接口，可操作用来允许所述用户终端处的用户操作所述窗口选择组件以选择要与另一个终端共享的屏幕图像的一部分，其中所述通信客户端访问定义显示的对象的尺寸的数据，并且基于那些尺寸调整所述选择组件，使得通过在建立的通信事件中的所述通信网络上传输图像数据而将由所述窗口选择组件所选择的所述至少一个对象显示在所述第二终端的屏幕上。

15.根据权利要求14所述的用户终端，其中所述窗口选择组件包括框。

16.根据权利要求15所述的用户终端，其中所述通信客户端包括用于自动调整所述框的边界尺寸以符合被选择共享的所述对象的边界的装置。

17.根据权利要求14、15或16所述的用户终端，其中所述处理器执行的应用独立于所述通信客户端。

18.根据权利要求14至17任一所述的用户终端，其中所述对象包括由第一处理器执行的应用所生成的窗口，并且其中所述屏幕图像包括由至少一个另外处理器执行的应用所生成的至少一个另外的窗口。

19.根据权利要求14至18任一所述的用户终端，其中所述用户接口可操作来允许所述窗口选择组件是用户可调整尺寸的。

20.根据权利要求14至19任一所述的用户终端，包括用于在传输前编码所述图像数据的编码器。

21.根据权利要求14至20任一所述的用户终端，包括保持定义显示的对象的尺寸的所述数据的操作系统。

22.根据权利要求21所述的用户终端，其中所述操作系统进一步存储关于链接对象的信息，以使得如果所选择的对象链接到另一个对象，所述通信客户端调整所述选择组件的尺寸以共享这两个对象。

23.一种包括计算机程序代码的计算机程序产品，当由处理器执行时实现以下步骤：

在通信网络中建立第一和第二终端之间的通信事件；

在所述第一终端上显示交互选择组件；

基于用户输入，选择要与所述第二终端共享的屏幕图像的至少一个对象；

访问定义显示的对象的尺寸的数据，并且基于这些尺寸调整所述选择组件，以使得通过在建立的通信事件中的通信网络上传输图像数据将由所述选择组件选择的至少一个对象显示在所述第二终端的屏幕上。