CN104115443A

CN104115443A - 通信事件的转移

Info

Publication number: CN104115443A
Application number: CN201380010166.5A
Authority: CN
Inventors: J.罗森伯格
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2012-02-20
Filing date: 2013-02-20
Publication date: 2014-10-22
Also published as: EP2798779B1; WO2013126435A1; EP2798779A1; EP2798779A4; US20130219288A1

Abstract

本发明涉及用于将例如远程用户设备和第一用户设备之间的语音或视频通话的通信事件从第一用户设备转移到替换设备的系统和方法。所述方法包括利用视觉运动识别组件捕获来自第一用户设备的用户的第一输入，所述第一输入为用户做出的身体姿势以指示要转移所述通信事件的期望。邻近用户身体的一组用户设备被检测到，并且从所述用户接收第二输入以选择该组设备中的一个作为第二设备。然后，所述通信事件就能够被转移到所述替换、第二设备。

Description

通信事件的转移

技术领域

本发明涉及用于转移用户设备或终端之间的语音和/或视频通话的通信系统和相应的方法。

背景技术

存在通信系统，其允许使用诸如互联网协议（IP）之类的基于分组的协议，在诸如互联网之类的基于分组的网络上的两个或更多最终用户终端之间进行实况语音和/或视频通话。这种类型的通信有时被称为“基于IP的语音”（VoIP）或“基于IP的视频”。

为了使用通信系统，每个最终用户首先将客户端应用安装到他或她的用户终端的存储器上，使得客户端应用被布置为在该终端的处理器上执行。为了建立通话，一个用户（主叫方）向客户端应用指示至少一个其他用户（被叫方）的用户名。当被执行时，客户端应用就能够控制其各自的终端去访问将用户名映射到IP地址的数据库，并由此使用所指示的用户名来查找被叫方的IP地址。数据库可以使用服务器或对等（P2P）分布式数据库，或二者的组合来实现。一旦主叫方的客户端检索到了被叫方的IP地址，它就能够使用该IP地址通过互联网或其他这样的基于分组的网络来请求建立主叫方和被叫方终端之间的实况语音和/或视频流，由此建立通话。

然而，随着能够执行通信软件的电子设备(既有在家附近又有在移动中的便携式设备中)的日益流行，同一最终用户可能具有安装在不同终端上的相同客户端应用的多个实例。

当用户正在使用用户设备进行通话时，他有时会期望将该通话转移到替换的用户设备。举例来说，当他正在使用其个人计算机（PC）通过互联网进行基于IP的语音（VoIP）通话时，他可能希望将通话转移到移动设备以允许其离开他的PC的安装位置。可替换地，当正在进行视频通话时，他可能想要将通话从具有小屏幕的用户设备转移到具有更大屏幕的用户设备。目前，在设备之间转移通话是可能的，但是这需要用户与设备上的菜单进行交互以选择替换设备并随后转移通话。这样的菜单可能是令人困惑的，所以当今在设备之间转移通话是一个复杂的过程，其经常使得用户困惑并频繁地导致掉话。此外，随着用户拥有数量不断增加的设备（移动电话、电视、软电话应用，等等）以及日益复杂的通话场景（视频、视频和共享，等等），这个问题变得越加复杂。目前，进行了极少数的尝试以解决这些情况下出现的复杂性。

发明内容

根据本发明的一个方面，提供了一种用于将远程用户设备和第一用户设备之间的通信事件从所述第一用户设备转移到第二用户设备的方法，包括：

利用视觉运动识别组件捕获来自进行所述通信事件的所述第一用户设备的用户的第一输入，所述第一输入是所述用户做出的身体姿势以指示要转移所述通信事件的期望；

检测邻近所述用户身体的一组用户设备；

接收来自所述用户的第二输入以选择该组设备中的一个作为第二设备；以及

将所述通信事件转移到所述第二设备。

本发明的另外的方面提供了一种用于与远程用户设备进行通信事件的用户设备，所述用户设备包括：

视觉运动识别组件，被配置成捕获来自所述用户设备的用户的第一输入，所述第一输入是所述用户做出的身体姿势以指示要转移所述通信事件的期望；

用于接收标识邻近所述用户身体的一组用户设备的信息的构件；

用于接收来自所述用户的第二输入以选择该组设备中的一个作为第二设备的构件；以及

用于将所述通信事件转移到所述第二设备的构件。

为了更好地理解本发明并示出其如何被实施，现在将作为示例来参照下面的附图。

附图说明

图1是通信系统的示意图；

图2是一个替换环境中的通信系统的示意图；

图3是图示出设备的屏幕上的显示的图；以及

图4是用户设备的框图。

具体实施方式

图1是在诸如互联网101之类的基于分组的网络上实现的通信系统的示意图。该通信系统包括用于多个用户中的每一个的各自的最终用户设备102a…102g。设备通过诸如有线或无线调制解调器之类的合适的收发器而被连接到互联网101或者可与互联网101通信。每一个终端102被安装了客户端应用4的实例（在图4中示出），该实例用于访问通信系统并由此与运行在另一个这样的终端102上的另一个用户的客户端建立基于分组的实况语音或视频通话。

在图1的说明性实施例中，一个用户可以与多个设备（诸如移动电话之类的移动手持电话类型的终端102a、膝上型计算机102b、桌面型计算机102c和具有机顶盒102d的电视机或电视）相关联。可以被安装通信客户端的其他类型的终端102包括相框、平板电脑、汽车音频系统、打印机、家庭控制系统、照相机或其他这样的家用电器或最终用户设备，等等。同一用户的多个终端102a-102d中的每一个都被安装了通信客户端应用的各自的实例，同一用户可以并发地登录进入该各自的实例，即因此同一用户可以同时在两个或更多不同终端102a-102d上登录到同一客户端应用的多个实例中。这将在下文更详细地讨论。

可以为相同用户的不同最终用户终端102a-102d中的每一个提供到互联网101和基于分组的通信系统的单独的连接，和/或那些不同终端102a-102d中的一些或全部可以通过共用路由器105进行连接并由此形成诸如家庭网络之类的本地网络。无论哪种方式，可以设想，在某些优选实施例中，同一用户的不同终端102a-102d中的一些或全部可以被放置在邻近用户身体处。

还被示出连接到互联网101的是数据存储104，其形式为服务器、分布式对等数据库或二者的组合。数据存储104形成呼叫业务8的一部分，该呼叫业务8提供用于支持通信事件的基础设施。对等数据库分布在多个不同用户的多个最终用户终端上，该多个不同用户通常包括并非该通话的实际参与者的一个或多个用户。然而，这并不是唯一选择，可以将中央服务器用作替换方案或者附加方案。无论哪种方式，数据存储104被连接以使得可被每个用户的通信装置103的终端102中的每一个上运行的客户端应用或客户端应用的实例中的每一个通过互联网101来访问。数据存储104被布置成提供用户名到IP地址（或其他这样的网络地址）的映射从而允许不同用户的客户端应用为了建立语音或视频通话，或者甚至诸如即时消息（IM）或语音邮件之类的其他类型的通信而在互联网101（或其他基于分组的网络）上相互之间建立通信信道。

通信客户端4具有登录/注册机构，其将被装载了客户端的移动设备102与特定用户进行关联。用户可以具有在与相同登录/注册细节相关联的其他设备上运行的相同通信客户端的实例。

在相同用户可以同时登录到不同终端102a-102d上的相同客户端应用的多个实例的情况下，在各实施例中，数据存储104可以被布置成将相同的用户名（用户ID）映射到所有的那些多个实例，而且还将单独的子标识符（子ID）映射到每个特定的单个实例。因此，通信系统能够区分不同的实例同时在通信系统中仍然保持用于用户的一致身份。

图2是图示出用于本发明的实施例的另一个示例性环境的示意图。该环境是位于宾馆房间中的用户。用户具有被装载了通信客户端4的移动电话102a。通信客户端能够使用例如基于互联网协议的语音（VoIP）技术进行诸如语音通话和视频通话之类的通信事件。在这个特定情况下，客户端4的登录将用户与平板设备102b相关联，他在房间中随身携带该平板设备102b并且该平板设备102b也运行通信客户端4的实例。客户端4的实例正在与呼叫业务8进行通信。呼叫业务8可以是能够进行通信客户端的通信事件的任何业务。一个这样的业务是Skype，其是点对点业务，其中呼叫业务将验证证书发布到合法用户，并且其中基于该验证证书来验证用户之间的通信事件。通常需要验证过程来建立通话，其可以涉及用户通过客户端提供将由服务器集中验证的证书，和/或可以涉及根据P2P类型的验证方案来在两个或更多用户的客户端应用之间交换验证证书。呼叫业务8的数据存储104能够访问用于向它注册的每个用户的设备列表10。在这种情况下，当平板设备102b正在与移动设备相同的呼叫业务8上运行客户端4的实例时，呼叫业务从该设备列表知晓平板的存在。与图1的场景相比，宾馆房间还具有被装载了例如14的视频客户端的电视102’d，该视频客户端14将用于显示的视频例如从广播业务16流传送到电视的观众。该电视102’d 不会通过用户的登录而与该用户相关联。移动设备2还被装载了业务发现协议18（后面讨论），该业务发现协议18允许它检测房间中的电视的存在。

假定在这个示例中，用户想要转移其正在移动设备2上进行的通话。举例来说，这可以是视频通话，主叫方的图像在移动设备2的显示器上被呈现给他。

现在将参照图3，其显示了通话转移方法中在移动设备102的显示屏幕20上被显示给用户的一系列屏幕图像，该通话转移方法在此被称为“夹捏和触摸”技术。为了实现该技术，假定用户正在诸如智能手机或平板电脑之类的移动设备102上进行通话，其支持多点触摸姿势。当通话正在进行时，屏幕20可以为通话呈现视频。当用户决定转移通话时，他在通话中控制屏幕20上使用“夹捏”姿势。该“夹捏”姿势被后面描述的视觉运动识别组件捕获到，并且可以是三个手指的夹捏以使其可以与“滑动（swipe）”或其他已知姿势相区分。当一个人夹捏时，这是给移动设备102信号：用户想要转移通话。呈现通话的通信客户端4控制屏幕以使屏幕上的图像“起皱”，同时仍然呈现通话的内容。起皱动作暴露出附加的屏幕区域（real estate）21，其随后被用于显示将通话转移到哪儿的一组替换位置。这些替换位置由特定的设备图标22、24表示，每一项表示邻近用户身体的用户设备。即，一组替换位置是与上下文关联的，它仅包括邻近当前通话所处的设备（在这个情况下是移动设备102）的设备。当用户选择图标中的一个时（例如通过在屏幕上敲击），通话被自动转移到由该图标表示的设备。

在以下解释前面的方法是如何被实现的描述中，用户的“夹捏”姿势被称为第一输入姿势，而通过在屏幕上敲击来选择图标被称为第二输入。另一个方法是将起皱屏幕拖拽到目标设备的图标上方。该拖拽可以是使用一个手指（因此：三个手指起皱，一个手指拖拽）或者使用与起皱相同的数目（三个手指起皱并且三个手指起皱）。可替换地，可以使用‘轻击’----单个手指朝向目标图标抹刷。

现在参照图2中图示的环境，用户在连接25上通过呼叫业务8与第三方102e进行通话。当用户在移动设备102处做出第一输入姿势时，移动设备102将其GPS位置报告给呼叫业务8。为了做到这一点，移动设备102具有GPS定位模块19（参见图4）。呼叫业务8询问平板设备102b并且也获得其位置。可替换地，平板设备102b可以在与移动设备102a共用的Wifi网络上报告其存在。使用其业务发现协议18，移动设备还在房间中检测到电视102d的存在。电视102’d支持允许其被命令以代表用户连接到呼叫业务8的协议。移动设备102a因此在它显示的该组图标中包括用于电视的表示。为了做到这一点，呼叫业务8命令移动设备102a将用于平板设备102b和电视102’d（具有它是宾馆电视的指示）的图标呈现为通话可以被转移到其的替换位置。假定用户选择电视102d（通过敲击表示电视102’d的图标24的第二输入）。移动设备102a连接到电视（参见图2中的通信23）并向它提供令牌，利用该令牌它能够登录进入呼叫业务8。这个通信可以通过蓝牙进行，使用近场通信业务（NFC）或WiFi。电视自动地开机并且视频客户端14启动并使用令牌代表用户登录进入呼叫业务8。呼叫业务8开始将视频推送到电视，由此建立新的连接29并将通话从移动设备102a转移到电视102’d。

通过参考由数据存储104映射到IP地址或其他这样的网络地址的用户ID和子ID的系统，实现客户端实例与呼叫业务8之间的通信。因此，用于每个用户的子ID列表允许不同的客户端实例被标识，并且该映射允许客户端实例、服务器或其他网络元件确定一个或多个其他不同实例正在其上运行的每个终端的地址。这样，当一个用户设备和所选择的用户设备由相同的呼叫业务管理时，为了将通话从该用户设备转移到所选择的用户设备，有可能建立一个客户端和另一个之间的或者客户端和服务器或其他网络元件之间的通信。

可替换地，通过保持仅仅终端身份而不是对应的客户端身份的列表，可以实现通信设置，为了地址查找的目的，该列表被保持在可访问的网络元件上。举例来说，所有不同终端102a-102d的列表可以被保持在本地家庭网络105、102a-102d的元件上，在这种情况下，只有本地网络地址和终端身份需要被保持在该列表中，于是不一定需要ID和单独的子ID的系统。该本地列表可以被存储在每个终端102a-102d处或在家庭网络的本地服务器（未示出）上，并且每个客户端实例可以被布置成通过访问本地网络上的列表来确定其他实例的终端的必要身份和地址。

在设备由相同的呼叫业务管理的通话转移的一个实现中，一旦已经选择期望的设备作为通话的端点，那么可以以类似于已知的通话转发技术（如例如在US申请号12/290232，公开号US2009-0136016中所描述的）的方式来完成转移，只不过通话是基于不同子ID在同一用户的不同终端之间转移，而不是基于不同用户ID在不同用户之间转移。

为了确立哪些邻近设备应当被呈现为作为替换位置（通话可以被转移到该替换位置）的图标，可以以许多不同方式来确定接近度。它可以基于GPS位置、蓝牙或其他近场通信或诸如Bonjour或SLP之类的其他业务发现技术。一旦其他设备被标识，它们就按照操控通话的能力而被过滤。即，它们需要是包含运行被连接到相同呼叫业务的软件的客户端的设备，或者代表用户登录的设备（其可以通过蓝牙或其他通信被命令）。

在一个示例中，客户端实例可以是“网络感知”并且可以被提供有API，该API能够不仅方便发现不同设备而且方便了在对话中的不同媒体流被容易地从一个端点转移/使用到下一个端点。

图4是能够转移通话或接收被转移的通话的设备的元件的示意性框图。设备包括处理器50和存储器52。处理器50可以从存储器52下载用于根据设备所需要的操作来执行的代码。具体来说，处理器50可以执行通信客户端4、业务发现协议18和/或实现姿势捕获算法的视觉运动识别组件48。视觉运动识别组件可以从嵌入在屏幕中或设备上其他地方的照相机54接收数据。照相机54被提供用来捕获用户的姿势的图像以将图像数据提供给处理器用于根据姿势捕获算法进行处理。在前面“夹捏和触摸”的实施例中，如果屏幕具有一些运动识别能力，则专用照相机不是必要的。设备具有用于将图像呈现给用户的显示屏幕20。设备还具有蓝牙接口58和Wifi接口60。设备还包括位置确定设备19，例如GPS模块。

本发明前面的实施例允许将可用的用户终端102的列表呈现给用户，并允许用户选择具有最合适的能力以操控特定类型的通信（例如实况视频流或文件转移）的至少一个辅助终端102。根据本发明的实施例，被安装了客户端应用4的实例的终端102（诸如移动电话102a）被布置成发现其他这样的用户终端102。用户可以将通话转移到所发现的终端102中的一个或多个。

由用户用来施行该选择的终端102将被称为第一设备。每个所选择的终端将被称为第二设备。在传出呼叫的情况下，第一设备优选地为通话的发起方，而在传入呼叫的情况下，第一设备优选地为用于应答呼叫的终端。

第二设备（诸如102c）上的客户端4可以具有与第一设备上的客户端相同的用户（即，利用相同的用户ID登录），或者可以是从不同用户借来的另一个终端102e（利用不同的用户ID登录），或者可以是在完全不同的协议上。无论哪种方式，第一和第二设备102a-102e一起形成通话的一端（“近端”），通过互联网101或其他这样的基于分组的网络与运行在另外的、第三方设备102f（“远端”）上的客户端进行通信。

每个设备102优选地被配置了用于资源发现的协议18，用于发现其他潜在的辅助终端102a、102e等等的存在和/或发现潜在的辅助终端的媒体能力。可用资源的列表可以指示终端类型（例如，电视、打印机）从而呈现合适的图标，以使用户能够选择最合适的设备来操控通信事件。举例来说，用户可以选择电视用于视频通话，选择立体声系统用于语音通话，或者选择网络附接存储器（NAS）设备用于文件转移。

可以使用许多替换方法来发现被安装了客户端4的实例的其他终端的可用资源，举例如下。被安装了合适的客户端应用4或该客户端应用的合适实例的用户终端102在下面可以被称为“被使能的终端”。

一个这样的方法是服务器辅助的资源发现。在本发明的一个实施例中，服务器存储具有客户端4的实例的每个终端的位置。当用户登录时，客户端被布置成将其位置和终端类型/能力提供给服务器。位置可以被定义为IP地址、NAT或用户输入的其他合适的地址。在本发明的这个实施例中，响应于“夹捏”姿势的识别，主客户端将“寻找合适终端”的请求发送到服务器，服务器被布置成响应于此而将邻近终端的列表返回给第一设备的主客户端。也可以在夹捏姿势之前提前完成能力发现。

作为替代，可以利用分布式数据库来替换服务器用于保持该列表，或者可以使用两者的组合。在主终端和辅助终端具有相同用户（即运行利用相同用户名登录的客户端）的情况下，可以使用用户名和子标识符的系统以类似于前面讨论的方式来区分不同的实例。然而，这并不是必要的，并且作为替代，可以使用列出可用终端的其他手段，例如通过仅列出终端身份而不是对应的客户端身份。

另一个可能的方法是公共本地网络设备发现。在替换实施例中，主客户端被布置成响应于“夹捏”姿势的识别而将表示在本地网络上被发现、使能了客户端4的一组终端102a、102c和102d的图标显示给用户。注册进入给定网络的任何IP使能的终端接收该网络中一个唯一的IP地址。随着被使能的终端加入，它将把存在消息广播到该网络中所有被使能的终端，声明给定用户名/ID和具有访问其能力的权限的授权用户的列表。接收该消息并具有公共授权用户的所有被使能的终端102将回复以验证其自身并建立安全的通信信道，它们将通过该信道声明其IP地址和可用资源。

应当理解，仅仅作为示例而描述了前面的实施例。已知在此的公开内容，其他变型或实现对于本领域技术人员可以变得显而易见。举例来说，本发明不受任何特定的资源发现或验证方法的限制，并且可以使用前面描述的示例中的任一个，或者甚至其他。另外，可以单独地或相结合地实现本发明的第一、第二和/或第三方面中的任一个。提到服务器的地方不一定意图限于被安装在单个外壳中或放置在单个场地的分立的服务器单元。进一步地，提到应用的地方不一定意图是指分立的、独立的、单独地可执行软件单元，而可以可替换地是指代码的任何部分，诸如对于现有应用的插件或附加。本发明不受所描述的实施例限制，而仅受所附权利要求的限制。

Claims

1. 一种用于将远程用户设备和第一用户设备之间的通信事件从所述第一用户设备转移到第二用户设备的方法，包括：

检测邻近所述用户身体的一组用户设备；

将所述通信事件转移到所述第二设备。

2. 根据权利要求1的方法，其中所述视觉运动识别组件被配置成将所述身体姿势识别为夹捏姿势。

3. 根据权利要求2的方法，其中所述夹捏姿势是三个手指夹捏姿势。

4. 根据权利要求1的方法，包括将该组用户设备中的每一个的表示显示给用户的步骤。

5. 根据权利要求4的方法，其中所述第二输入是以下各项中的一个或多个：用户在所选择的设备的所述表示上的敲击；对屏幕部分的单个手指拖拽；对屏幕部分的三个手指拖拽；以及朝向所述表示的轻击。

6.根据权利要求5的方法，包括在所述第一用户设备的显示器上呈现与所述通信事件相关的图像的步骤，其中所述捕获所述第一输入的步骤使得所述图像缩小以显露用于显示该组用户设备的所述表示的显示区域，其中可选地所述图像通过起皱而在尺寸上缩小。

7. 一种用于与远程用户设备进行通信事件的用户设备，所述用户设备包括：

用于将所述通信事件转移到所述第二设备的构件。

8. 根据权利要求7的设备，包括用于将该组用户设备中的每一个的表示显示给所述用户的显示器。

9. 根据权利要求8的设备，其中用于接收来自所述用户的第二输入的构件包括在所述设备被执行用于控制所述显示器并响应于作为所述第二输入、从所述用户敲击的输入的软件应用，其中可选地所述软件应用是进一步负责进行所述通信事件并将所述通信事件转移到所述第二设备的通信客户端。

10. 一种计算机程序产品，包括当被处理器执行时实现权利要求1-6中任一项的步骤的程序代码构件。