CN103262478A

CN103262478A - 通信系统和方法

Info

Publication number: CN103262478A
Application number: CN2011800635146A
Authority: CN
Inventors: M.布雷恩斯; D.伊佐托夫; D.麦唐纳; D.温斯顿
Original assignee: Skype Ltd Ireland
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-12-31
Filing date: 2011-12-30
Publication date: 2013-08-21
Anticipated expiration: 2031-12-30
Also published as: EP2643953B1; CN103262478B; US20200021627A1; US10404762B2; EP2643953A1; WO2012089830A1; US20120182988A1

Abstract

提供了一种用于通过基于分组的网络进行语音或视频呼叫的基于分组的通信系统。第一终端上的客户端应用被配置为确定安装有该客户端应用的其它实例的一个或多个其它的第二用户终端，并且向近端用户呈现选择所述第二用户终端之一以便由该近端用户在经由客户端实例和基于分组的通信系统与远端用户进行语音或视频呼叫时结合第一用户终端使用的选择；由此使得能够使用第二终端进行语音或视频呼叫以消耗或生成呼叫的至少一个流，而第一用户终端同时生成或消耗呼叫的至少另一个流或者对呼叫进行控制。

Description

通信系统和方法

技术领域

本发明涉及一种用于在呼叫中可能使用多个音频或视频换能器或终端时对语音和/或视频呼叫进行处理的通信系统和相对应的方法。

背景技术

存在允许使用诸如互联网协议（IP）之类的基于分组的协议在诸如互联网之类的基于分组的网络上的两个或更多终端用户终端之间进行直播语音和/或视频呼叫的通信系统。这种类型的通信有时被称为“IP语音通信（VoIP）”或“IP视频通信”。

为了使用该通信系统，每个终端用户首先将客户端应用安装到其用户终端的存储器上，以使得客户端应用被配置为在该终端的处理器上执行。为了建立呼叫，一个用户（主叫方）向客户端应用指示至少一个其它用户（被叫方）的用户名。在执行时，客户端应用随后能够控制其相应终端来访问将用户名映射至IP地址的数据库，并且因此使用所指示的用户名来查找被叫方的IP地址。该数据库可以使用服务器或端对端（P2P）分布式数据库或者二者的组合来实现。一旦主叫方的客户端已经检索到被叫方的IP地址，其就能够使用该IP地址来请求经由互联网或其它这样的基于分组的网络在主叫方和被叫方之间建立直播语音和/或视频流，由此建立呼叫。通常还需要认证过程，其可以包含用户经由客户端提供要由服务器集中认证的证书，和/或可以包含根据P2P类型的认证方案而在两个或更多用户的客户端应用之间进行认证证书的交换。

在每个终端用户仅拥有安装在一个终端上的一个客户端应用，该终端仅具有一个麦克风、一个扬声器、一个网络摄像头和一块屏幕的简单情况下，呼叫的处理在这方面是相对简单的。

然而，随着能够在家中以及在移动中的便携式设备中执行通信软件的电子设备的日益流行，相同的终端用户可能够具有安装在不同终端上的相同客户端应用的多个实例，和/或该用户可能具有安装在具有多个音频和/或视频输入和/或输出器件（即多个音频或视频换能器）的终端上的客户端应用实例。在这样的情况下，在进行或接收呼叫时可能有必要考虑如何对多个换能器和/或多个终端的操作进行协调，或者是如何最好地利用这些多种资源来改善通信系统的用户体验。

该问题在一定程度上已经由本申请人之前的一些专利申请：GB1005386.6、US12/843527（GB 1005462.5）和GB0919592.6中有所探究。

另外，存在一些为呼叫提供远程接口的现有配置。例如，蓝牙头戴式耳机提供了远离处理呼叫的电话的输入/输出接口。DECT电话（数字增强型无绳电话）提供了远离基座的头戴式耳机。

然而，发明人相信存在为了进行或接收基于分组的呼叫而对多个音频或视频换能器或终端之间的操作的协调进一步改进的空间。

发明内容

本发明提供了至少三个方面，每个方面涉及通信系统、终端和客户端应用。通信系统是诸如互联网的基于分组的通信系统，并且终端和客户端被配置为使用诸如互联网协议（IP）的适当的基于分组的协议而经由基于分组的网络进行呼叫。

根据本发明的第一方面，提供了一种通信系统、终端和/或客户端应用，其被配置为从相同终端的多个不同音频和/或视频输入换能器接收输入，对所述输入关于彼此进行分析，并且基于所述分析选择该终端的至少一个音频和/或视频输入换能器和/或输出换能器以便在进行语音或视频呼叫时使用。

根据本发明的第二方面，提供了一种通信系统，其被配置为从相同用户的不同终端的多个不同音频或视频输入换能器接收输入，对所述输入关于彼此进行分析，并且基于所述分析选择在不同终端上运行的客户端应用的多个实例中适当的一个以便在进行语音或视频呼叫时使用。不同实例可以利用相同的用户身份进行登录。

根据本发明的第三方面，提供了一种安装有客户端应用实例的第一用户终端，该客户端应用实例被配置为确定安装有其它客户端应用实例的一个或多个其它次要用户终端的可用性，并且为用户呈现选择所述其它次要终端之一以便在结合第一终端进行语音或视频呼叫时使用的选择。

本发明的第一、第二和第三方面可以独立或结合使用。

根据本发明的第三方面，可以提供一种方法，其包括：提供基于分组的通信系统以便通过基于分组的网络进行语音或视频呼叫；并且提供使得第一用户终端能够访问该基于分组的通信系统的客户端应用实例，该客户端应用被配置为确定安装有该客户端应用的其它实例的一个或多个其它第二用户终端的可用性，并且为近端用户呈现选择所述第二用户终端之一以便由近端用户在经由客户端实例和基于分组的通信系统与远端用户进行语音或视频呼叫时结合第一用户终端使用的选择；由此使得能够使用第二终端进行语音或视频呼叫以消耗或生成呼叫的至少一个流，而第一用户终端同时生成或消耗该呼叫的至少另一个流或者对呼叫进行控制。

可以使用第二终端进行语音或视频呼叫以消耗或生成呼叫的至少一个流，而第一用户终端同时生成或消耗至该呼叫的至少另一个流但并不是第一终端所消耗或生成的流，和/或第二用户终端可以生成或消耗并非由第二用户终端所消耗或生成的流。

呼叫可以包括语音或视频呼叫。在实施例中，该方法可以使得能够使用第二终端进行语音或视频呼叫以播放或捕捉呼叫的至少一个音频或视频流，而第一用户终端同时播放或捕捉呼叫的至少另一个音频或视频流。

在另外的实施例中，可以使用第二终端进行语音或视频呼叫以播放或捕捉呼叫的至少一个流，而该呼叫继续由第一终端上的客户端所控制。

由第一终端上的客户端对所述呼叫所进行的控制可以包括以下至少一个：终止呼叫、控制呼叫音量、以及选择用于呼叫的媒体输入或输出类型或者换能器。

第一终端可以是在针对远端用户的去电呼叫的情况下用来发起呼叫的终端，或者在来自远端用户的来电呼叫的情况下用于对呼叫进行应答的终端。

该方法可以包括随后响应于用户对第一终端的选择而将呼叫的控制过渡至第二终端。

所述确定可以包括自动发现一个或多个第二用户终端中每一个的相应身份。

所述确定可以包括自动发现一个或多个第二用户终端中每一个的相应地址。

所述确定可以包括自动发现一个或多个第二用户终端中每一个的相应媒体能力。

所述确定可以包括自动发现一个或多个第二用户终端中每一个的相应在线状态。

该方法可以包括以授权过程为条件结合第一用户终端进行第二终端的所述使用。

第一用户终端可以是膝上或平板计算机，而第二终端可以是移动手机。

根据本发明的另一个方面，可以提供一种包括一个或多个输入和/或输出设备以及依据以上任意功能所配置的处理装置的终端。

根据另一个方面，可以提供一种包括代码的计算机程序产品，该代码被记录在非瞬时计算机可读介质上并且被配置为当在处理装置上执行时依据以上任意特征进行操作。

附图说明

为了更好地理解本发明并且示出其可以如何生效，现在将通过示例参考附图，其中：

图1是通信网络的示意性表示，

图2是用户终端的示意性框图，

图3是头戴式耳机的示意性图示，并且

图4图示了根据本发明的一种示例性使用的方法。

具体实施方式

图1是在诸如互联网101的基于分组的网络上实施的通信系统的示意图。该通信系统包括用于多个用户中每一个的相应终端用户通信装置103。每个用户的通信装置103经由诸如有线或无线调制解调器的适当收发器连接至互联网101或与之通信。每个通信装置103包括至少一个用户终端102。每个终端102安装有客户端应用的实例以用于访问通信系统并且因此建立与另一个这样的终端102上运行的另一个用户的客户端之间的基于分组的直播语音或视频呼叫。

此外，在通信系统的至少一个用户的情况下，该用户相应的通信装置103包括多个终端102的部署或连接。例如，在图1的图示实施例中，一个用户的通信装置103包括：诸如移动电话的移动手机类型的终端102a、膝上计算机102b、台式计算机102c以及具有机顶盒102d的电视机或电视。可以安装通信客户端的其它类型的终端102包括相框、平板电脑、车载音频系统、打印机、家居控制系统、摄像机（camera）或其它这样的家用电器或终端用户设备等。相同用户的多个终端102a-102d中的每一个安装有相同用户可以同时登录的通信客户端应用的相应实例，即相同用户因此可以同时登录到两个或更多不同终端102a-102d上相同客户端应用的多个实例。这将在以下更为详细地进行讨论。

相同用户的不同终端用户终端102a-102d中的每一个可以提供以到互联网101和基于分组的通信系统的单独连接，和/或那些不同终端102a-102d中的一些或全部可以经由共用路由器105进行连接并且因此形成诸如家用网络之类的本地网络。任一种方式所要面对的是，在某些优选实施例中，相同用户的不同终端102a-102d中的一些或全部将位于房屋周围的不同地点，例如电视102d位于起居室，台式机102c位于书房，膝上电脑102b置于厨房，并且手持机102a处于用户可能偶而找到它们的任意其它位置（例如，花园或卫生间）。

还被示出连接至互联网101的是服务器、分布式端对端数据库或二者组合形式的数据存储104。端对端数据库在多个不同用户的多个终端用户终端之间进行分布，所述多个不同用户通常包括并非呼叫的实际参与方的一个或多个用户。然而，这并非是仅有的选择，并且可以使用中央服务器作为替代或补充。任一种方式，数据存储104都被连接以便可经由互联网101被在每个用户的通信装置103的每个终端102上运行的每个客户端应用或客户端应用实例所访问。数据存储104被配置为提供用户名至IP地址（或者其它这样的网络地址）的映射，从而允许不同用户的客户端应用为了建立语音或视频呼叫或者甚至诸如即时消息传送（IM）或语音邮件的其它类型的通信而通过互联网101（或其它基于分组的网络）互相建立通信通道。

在相同用户能够同时登录到不同终端102a-102d上的相同客户端应用的多个实例的情况下，数据存储104在实施例中可以被配置为将相同用户名（用户ID）映射到所有那些多个实例，而也将单独的子标识符（子ID）映射至特定的个体实例。因此通信系统能够在不同实例之间进行区分，同时仍然在通信系统内针对用户保持一致的身份。

图2示出了根据本发明实施例的可以对应于以上所提到的任意那些的示例性终端用户终端102的示意性框图。用户终端102包括诸如内部或外部硬盘或闪存之类的存储器202，以及单核或多核处理器形式的处理装置204。存储器202安装有通信客户端206的实例，耦合至处理装置204，并且被配置为使得通信客户端206能够在处理装置204上执行。终端102还包括用于经由互联网101或其它这样的基于分组的网络在上行和下行链路上往来于客户端206传达数据的收发器220，例如用于经由无线路由器105无线连接至互联网101的无线收发器。终端102进一步包括多个AV换能器，例如内部麦克风104、内部扬声器210、内部摄像机212和屏幕214。终端102因此还可以包括插入终端102主体之中的另外的AV换能器，例如外部或外围网络摄像头216和头戴式耳机218。如图3所示，头戴式耳机218优选地包括集成到相同单元之中的耳机或听筒302以及麦克风304。

术语AV换能器在这里可以被用来指代任意的音频或视频输入或输出器件。终端意指用户设施的离散单元，而换能器是给定终端的组件或外设。在一些诸如手机和插接站之类的情形中，分类可能并非是直接明了的，但是出于该应用的目的，终端在其执行自己的通信客户端实例的情况下被认为是有所不同的。

每个换能器208-218操作耦合至处理装置204以使得客户端能够从任意或全部输入换能器208、212、216、218接收输入并且向任意或全部输出换能器210、214、218提供输出。图2的终端因此在一方面是可被注意到的，因为其包括多个音频输入换能器、多个音频输出换能器和/或多个视频输入换能器，并且这些中的每一个都可能被客户端应用206所使用以便通过基于分组的网络进行语音或视频呼叫。多个视频输出换能器也是可能的。

根据本发明的第一方面，客户端应用206被配置为使得在被执行时从相同终端102的多个不同收入换能器接收输入，对来自不同输入换能器的输入信号关于彼此进行分析，并且基于该分析选择该终端的适当输入换能器和/或输出换能器以便在进行呼叫时使用。

根据本发明的第二方面，相同用户的不同终端102a-102d上的客户端应用206的实例被配置为使得在执行时彼此相结合地进行操作，由此从不同终端102a-102d的输入换能器接收输入，对来自不同终端102a-102d的输入信号关于彼此进行分析，并且选择在不同终端102a-102d上运行的客户端应用206的多个实例中的适当的一个以便在进行呼叫时使用。也就是说，第二方面不仅涉及特定输入或输出换能器208-218的选择，而且还涉及呼叫语音和/或视频流往来于所选择终端102a-102d的路由。在这种情况下，终端102a-102d共同形成呼叫的一端（近端），其经由互联网101或其它这样基于分组的网络与在另外的第三用户终端102f上运行的客户端（远端）进行通信。

在任一种情况下，对输入所应用的分析可以包括：

· 从来自相同终端102和/或不同终端102的两个或更多音频输入换能器所接收的音频信号的能量或功率水平的比较；

对从来自相同终端和/或不同终端的两个或多个不同音频或视频输入接收的输入信号的傅立叶分析的比较；

· 从来自相同终端和/或不同终端的两个或更多不同音频或视频输入所接收的输入信号的傅里叶分析的比较；

· 对从来自相同终端102和/或不同终端102的两个或更多音频输入换能器所接收的音频信号应用的语音识别算法；

· 对从来自相同终端102和/或不同终端102的两个或更多视频输入换能器所接收的视频信号应用的面部识别算法；和/或

· 对从来自相同终端102和/或不同终端102的两个或更多视频输入换能器所接收的视频信号应用的运动识别算法。

客户端应用206被配置为执行一种或多种这样的分析处理，并且基于所述分析选择以下的一个或多个以便在进行基于分组的语音或视频呼叫时使用：输入音频换能器、输入视频换能器、输出音频换能器、输出视频换能器和/或在相同用户的多个终端之一上运行的客户端应用实例。该处理可以在进行呼叫、应答呼叫时执行和/或在呼叫进行期间动态执行。

例如，在一个实施例中，本发明可以有利地结合能够识别语音所激活的命令的客户端206或终端102使用，例如使得用户能够利用诸如“呼叫…”、“应答呼叫”和“挂机”之类的命令来语音控制客户端206。根据用户在房间内的大致位置，或者根据用户是否佩戴了其头戴式耳机218，用于在进行或应答呼叫时使用的最优麦克风可能有所变化。客户端206因此可以对来自相同房间中相同终端的两个或更多麦克风208、304的输入进行分析以确定哪个输入信号在人类发声频率范围内具有最大能量，例如在使用语音命令讲话以应答呼叫时，则选择在呼叫中使用该麦克风。

例如通过根据哪个扬声器生成最大语音能量而在扬声器210和头戴式耳机218的听筒302之间进行选择，来自麦克风的音频输入还可以确定适当的音频输出换能器。

在另一个示例中，头戴式耳机麦克风304处所产生或探寻（scrabbling）的声音的检测可以被作为用户寻找其头戴式耳机应答来电的指示，并且这可以被用来选择头戴式耳机218用于音频输入和/或输出。

在又另一个实施例中，来自麦克风的音频输入可以被用来在呼叫期间在不同音频或视频输出换能器之间进行切换，例如如果用户在房间周围移动或者戴上或取下头戴式耳机。

在本发明第二方面的示例中，所要面对的是本发明将在用户具有位于房屋周围不同地方的不同终端102a、102b等的情况下得以应用。在这种情况下，对来自不同终端的不同麦克风或摄像机的能量水平的分析可以被用来确定用户存在于特定房间中或者接近于特定终端，并且因此确定用于应答或进行呼叫的最佳终端，或者当用户在房屋周围徘徊时在呼叫进行期间在终端之间进行切换。能够被用来检测特定用户存在或接近的其它技术包括用来检测适当大小的运动对象（其可以被视为在房间之间进行移动的人）存在的运动估计，用来确定图像或运动对象的整体颜色属性的傅里叶分析（例如，基于移动的用户在他们在房间之间移动时穿着相同颜色的衣服的假设），或者语音或面部识别算法（以帮助在多人和/或背景噪声之间进行区分），或者甚至这些的任意组合。

在本发明第二方面的情况下，至少一个终端上的客户端实例206将有必要向一个或多个其它终端或者其它网络部件发送关于从其相应（多个）换能器所接收的输入的信息以进行比较。为此，比较中所涉及的用户的两个（或所有）客户端实例优选地以相同用户名进行登录并且具有处于相同呼叫之中的概念。

例如，能够通过参考由数据存储104映射至IP地址或其它这样的网络地址的用户ID或子ID的系统来进行实例和/或控制器之间的通信。因此，每个用户的子ID的列表允许不同客户端实例得以被识别，并且该映射允许客户端实例、服务器或其它网络部件确定其上运行一个或多个其它不同实例的每个终端的地址。以这种方式，为了共享关于来自音频和/或视频输入换能器的输入信号的信息，例如为了共享输入能量水平、运动矢量或FFT结果，可能在一个客户端和另一客户端之间或者客户端和服务器或其它网络部件之间建立通信。也可以使用相同机制以信号发送或协商进行呼叫所需要的实例的选择。

可替换地，能够通过保存仅终端身份而不是相对应客户端身份的列表来建立通信，该列表出于地址查找的目的而被保存在可访问网络部件上。例如，可以在本地家庭网络的部件105、102a-102d上保存所有不同终端102a-102d的列表，在这种情况下，仅需要在列表中保存本地网络地址和终端身份，并且因此将不必需要ID和单独子ID的系统。该本地列表可以被存储在每个终端102a-102d或者存储在家庭网络的本地服务器上（未示出），并且每个客户端实例将被配置为通过本地网络访问列表来确定其他实例终端的必要身份和地址。

一旦已经进行了适当机制来识别不同客户端实例及其相应的终端102a-102d的地址，就可以以多种方式来执行选择。例如，在一种实施方式中，所讨论的所有客户端实例206可以被配置为向中央服务器或其它中央控制部件传送其相应的换能器输入信息（例如，输入能量水平、运动矢量或FFT结果），所述中央控制部件将在服务器上连同数据存储104一起实施或者在本地家庭网络的部件上实施。该中央控制器随后将被配置为运行算法以对不同的所接收输入关于彼此进行分析，由此选择特定终端（例如，102b）的实例来进行或应答呼叫。该控制器随后可以使用所选择的信令机制关于实例206的行为对其进行指示（它们是否在呼叫中所涉及或者以什么程度被涉及）。在另一种实施方式中，不同客户端实例206可以直接在彼此之间共享该信息，并且根据一些预定协议互相协商所选择终端或者在已经（例如被用户或缺省）被指定为主要实例的一个实例的控制之下进行操作。

如所提到的，在一些实施例中，换能器输入的分析可以被用来在呼叫进行期间，例如当用户在房间之间走动时，在相同用户的不同终端102a、102b上运行的客户端206的不同实例之间进行切换（而不是仅选择一个实例发起去电呼叫或者对来电呼叫进行应答）。这可以包含每个客户端实例206对其相应的一个或多个输入换能器208、212、218进行定期采样或其它方式的监视，并且以与以上所描述相类似的方式贯穿呼叫共享所监视的信息。可替换地，每个客户端可以响应于所检测到的诸如输入能量水平或运动矢量超出一些阈值之类的一些事件而仅共享新的换能器输入信息。以任一种方式，控制器或主要实例因此可以以所安排或基于事件的方式而在贯穿呼叫的多个时刻对所接收的输入信息应用选择算法，以便关于应当将哪个终端102上的哪个实例206用于呼叫进行不间断的动态选择。

在动态切换情况的一种实施方式中，一旦所期望实例已经被识别为用于呼叫的选择端点，则可以以与例如美国申请号12/290232，公开号US20090136016中所描述的已知呼叫转移技术相类似的方式来完成切换，但是其中呼叫是基于不同子ID在相同用户的不同终端之间进行转移，而不是呼叫基于不同用户ID在不同用户之间进行转移。在另一种实施方式中，初始终端（例如，102b）上的客户端206可以继续接收呼叫的音频和/或视频流，但是随后将该音频和/或视频流路由至新选择的终端，例如102c（以使得从呼叫另一端上的客户端的角度来看，呼叫的端点看上去是相同的102b）。在初始和新的终端102b和102c在它们之间具有诸如可用的wi-fi或蓝牙连接之类的本地无线连接的情况下尤其可以应用该后一种选择。

在本发明的第一和第二方面，注意到所选择换能器的类型并不必与用来进行选择的换能器类型相同。例如，麦克风可以指示用户存在于特定房间或位置并且被用来选择适当定位的摄像机，或者摄像机可以指示用户存在于特定房间或位置并且被用来选择适当定位的麦克风，等等。

另外，往来于相同用户终端102a、102b等对语音和视频流进行路由的情形并非是必然的。在实施例中，例如可能确定电视102d是向用户显示视频的最佳选择，而膝上计算机102b或移动终端102a是处理呼叫的音频部分的最佳选择。在客户端实例206和/或中央控制器上运行的选择算法随后将指示该两个流路由至不同终端102a、102b。

本发明的第一和第二方面可以单独或结合使用。例如，在多个终端102的每一个上运行的客户端应用实例206将可能确定其自己的最佳的本地输入换能器（例如，最高音频输入能量水平或最佳傅里叶分析匹配），随后针对不同实例比较其最佳本地输入结果以找出最佳的全局输入结果。

在任一种情况下，初始的校准阶段可能是有用的，例如在用户与那些麦克风处于不同距离时确定不同麦克风所生成的相对水平。也就是说，客户端206优选地被配置为确定不同麦克风的相对增益。例如，在初始安装时，可以要求用户坐或站在距终端的两个或更多预定距离处并且以固定水平讲话，客户端206随后可以使用该水平进行校准。

在任意以上示例中，在没有清楚确定的情况下，客户端或系统可以被配置为使用缺省换能器和/或终端来进行或应答呼叫。

根据本发明的第三方面，运行通信客户端的实例206的主要终端102能够选择安装有或运行要在对话期间使用的另一客户端实例206的一个或多个次要终端102的资源。用户可以使用为其进行的操作提供最佳接口的终端102。例如，如果用户正在参与视频呼叫，它可以使用其电视102d来接收和传送视频，同时使用移动设备102a来控制呼叫并且传送和接收音频流。类似地，如果他想要在起居室中工作的同时保持对话，他可以将呼叫指向立体声系统或扬声器电话，同时其从例如相框之类的手持或便携式设备发送/接收视频，他甚至可以选择直接往来于其NAS（网络附加存储设备）发送/接收数据文件。可替换地，他可以将所有媒体指向次要终端而仅保留从主要终端对呼叫进行控制。以任一种方式，呼叫的控制例如可以包括发起呼叫、在呼叫内改变诸如音量的选项，在呼叫中开启或关闭次要终端的使用，在要在呼叫中使用的次要终端之间进行选择，或者终止呼叫（挂机）。

术语“消耗”通常可以用来表示播放直播音频或视频流或者存储文件传输，即在其端点目的地将流用于其最终目的。类似地，术语“生成”可以是指捕捉直播音频或视频流或者从存储器获取文件传输以便通过网络进行传输，即处于流的起源。本发明的第三方面可以被用来允许第二终端消耗或生成呼叫的至少一个流，而第一用户终端同时生成或消耗呼叫的至少另一个流。优选地，不同终端专门对互相的不同流进行处理，例如仅在次要终端而不是主要终端生成或捕捉视频，同时仅在主要终端而不是次要终端生成或捕捉音频，或者其它这样的组合。在可替换实施例中，一个流可以是结合作为相同近端和远端用户之间的相同会话的一部分的语音或视频呼叫执行的文件传输，或者在实施例中，呼叫甚至可以仅包括文件传输。在其它实施例中，可以仅涉及直播语音和/或视频流，例如其中一个终端捕捉输出的视频流而另一个终端则播放到来的视频流，和/或不同终端对音频和视频流进行处理。

在一个示例中，客户端实例可以是“网络感知（network aware）”的并且可以被提供以API，其使得在从一个端点到下一端点的对话或者两个端点的组合中不仅能够促成不同设备的发现而且还能够促成不同媒体流的方便传输/使用。这允许用户对应当如何分配多个设备资源以便处理通信事件进行配置。

用户终端102上运行的客户端应用被配置为确定一个或多个其它的第二用户终端的可用性，所述第二用户终端安装有客户端应用的其它实例。也就是说，并不仅是检测特定类型的物理设备或链路的存在，而且客户端被配置为检测其它用户终端102上所安装的相同通信客户端的其它实例的存在（无论是通信客户端的相同实例还是通信客户端的可兼容版本的实例）。例如，客户端并不仅检测wifi或蓝牙设备，而且还检测设备具有相同通信客户端的适当实例。因此，客户端还例如通过在诸如本地网络103或更广域网络101上声明其自己而在网络上互相检测。以下将对一些适当发现机制的示例细节进行描述。

本发明的第三方面有利地允许用户被呈现以可用用户终端102的列表并且选择至少一个具有对呼叫或者例如直播视频流或文件传输的特定类型的通信的一部分进行处理的最适宜能力的次要终端102。根据本发明的实施例，诸如移动电话102a之类的安装有客户端实例206的终端102被配置为发现其它这样的用户终端102上可用的其它资源。主要用户终端基于存在相同网络内进行操作的一个或多个其它客户端实例来检测一个或多个潜在次要终端的接近，例如，所述相同网络是诸如无线家庭网络103的相同本地网络。用户随后可以选择使用一个或多个所发现终端102的资源。

“资源”的选择可以是指选择特定的其它（次要）用户终端102，或者选择特定的其它用户终端102的特定音频或视频输出换能器208-218。

用户用来执行选择的终端102将被称作主要终端。每个所选择的终端将被称作次要终端。在去电呼叫的情况下，主要终端优选地是呼叫的发起方，而在来电呼叫的情况下，主要终端优选地是用来对呼叫进行应答的终端。主要终端还优选地是对呼叫进行控制的终端，例如选择何时终止呼叫或者激活其它功能。主要终端可以为了控制呼叫的目的而保持为主方终端，或者主要状态可以在呼叫期间转移至诸如次要终端之一的另一个终端。

可以使用类似技术来描述分别在主要和次要终端上运行的主要和次要客户端。

根据本发明的第三方面，诸如102c的其它（次要）用户终端上的客户端206可以是与主要终端上的用户相同的用户的（即利用相同用户ID进行登录），或者额可以是从不同用户所借用的另一终端102e（利用不同用户ID进行登录）。以任一种方式，主要和次要终端102a-102e共同形成呼叫的一端（近端），其经由互联网101或其它这样基于分组的网络而与另外的第三用户终端102f上运行的客户端（远端）进行通信。

为了一个客户端实例206使用另一客户端实例206的资源，期望需要主要客户端实例被授权使用其它客户端实例的资源。如下所述，存在一个客户端实例206能够对另一客户端实例进行授权的不同方法。

一种方法是对于利用相同用户名进行登录的客户端实例206而言，可以被自动授权以共享资源，例如，终端102b和102a上的客户端。

在另一种授权方法中，如果终端102使用不同用户名进行登录，则诸如102b的一个终端上的客户端有必要对另一终端102e的客户端进行授权以使用资源。这可以在终端102本地进行配置，例如用户可以输入经授权客户端206的用户名，或者从被授权使用终端资源的联系人列表中选择联系人。可替换地，这可以进行远程配置，例如，主要客户端可以向次要客户端发送授权请求以允许主要客户端使用次要客户端的资源。

可替换地，客户端206可以被配置为授权任意联系人使用终端102的资源—即已经被用户同意包括在联系人列表中的任意联系人。

在另一种替换形式中，主要终端102b上的客户端206生成PIN码，用户随后必须将该PIN码输入到次要终端102a或102e上的客户端206中。次要终端102a或102e上的客户端随后将该PIN传送回主要终端102b上的客户端，并且在该PIN正确（匹配）的条件下，主要终端上的客户端随后对次要终端进行授权。

这样，发起VoIP对话的主要终端102b将能够将任意媒体流指向被授权使用的任意次要终端。该对话的媒体流将被指向主要用户所选择的指定次要终端102e。主要用户可以选择将所有媒体流移动到该终端和/或指定替换终端作为主要终端。

例如能够在主要终端102b上作为主要客户端的每个客户端206优选地被配置以用于资源发现的机制以便发现其它潜在次要终端102a、102e等的存在和/或用于发现潜在次要终端的媒体能力（它们有什么可用的输入和输出换能器）。例如，这可以通过检测哪些其它终端连接至相同的本地网络并且被安装以客户端实例来实现。主要客户端可用的资源随后出现在列表之中。可用资源的列表可以指示终端类型（例如，电视、打印机），以使得用户能够选择最为适当的设备来处理通信事件。例如，用户可以选择TV进行视频呼叫，选择立体声系统进行语音呼叫，或者选择网络附属存储（NAS）设备用于文件传输。

例如如下所述，安装有客户端实例206的其它终端的可用资源可以使用许多可替换方法来发现。安装有适当客户端应用206或适当客户端应用实例的用户终端102在下文中可以被称作“使能终端”。

一种这样的方法是服务器辅助的资源的发现。在本发明的一个实施例中，服务器存储具有客户端实例206的每个终端的位置。当用户登录时，客户端被配置为向服务器提供其位置以及终端类型/能力。该位置可以被定义为IP地址、NAT或用户所输入的邮政地址。在本发明的这个实施例中，服务器被配置为响应于主要客户端向服务器传送找到适当终端而向主要客户端的终端返回临近终端的列表。

可替换地，服务器可以响应于从客户端206接收到配置消息而向客户端206提供利用客户端206使能的可用终端102的列表。在这种情况下，客户端可以提供被授权使用客户端安装于其上的设备的资源的一个或多个用户名的列表。该设备的用户可以将访问配置为局限于某些类型的资源，例如仅音频输出，并且还可以控制可以在其间访问资源的时间。服务器被配置为向列表中的每个授权客户端提供指示客户端被授权使用哪些资源以及何时使用的消息。

在以上任一种选择中，服务器都可以另外被用于维护列表的分布式数据库所替代，或者可以使用二者的组合。在主要和次要终端为相同用户的情况下，即运行利用相同用户名登陆的客户端，用户名和子标识符的系统可以被用来以与以上所描述相类似的方式在不同实例之间进行区分。然而，这并非是必要的并且能够使用另外其它列举可用终端的手段，例如通过仅列举终端身份而不是相对应的客户端身份，或者在主要和次要终端是不同用户（例如，102b和102e）的情况下，子标识符将并非是必要的。

另一种可能的方法是常见的本地网络设备发现。在可替换实施例中，主要客户端被配置为向本地网络上所发现的用户呈现利用客户端206所使能的终端102a、102c、102d的列表，这可以响应于用户激活了找出“使能终端”指令或者响应于用户连接至网络。登记到给定网络中的任意支持IP的终端在该网络内接收到唯一的IP地址。当使能终端加入时，其将向该网络中的所有使能终端广播存在消息，声明有权访问其能力的给定用户名/ID以及授权用户的列表。接收到该消息并且具有共同授权用户的所有使能终端102将进行回复以认证其自身并且建立安全的通信信道，它们将通过所述通信信道向主要用户声明其IP地址和可用资源。主要用户将有权访问针对其已经被认证的所有使能终端的媒体接口。

另一种方法是从联系人列表（即用户同意与该用户进行通信的联系人的列表，通常由用户自己的客户端206所保存）选择资源。在这种情况下，诸如102e的其它终端的资源可以在用户的联系人列表上有所指示。例如，联系人列表中所列出的每个联系人将指示客户端在其上执行的终端102的类型。这可以被自动确定，例如，客户端206可以通过操作系统的检测来检测设备的类型。可替换地，用户可以直接输入设备类型。设备类型可以以联系人姓名、“John's TV”、情绪消息（mood message）或图标的形式在联系人列表中呈现。

在本发明的第二及第三方面，例如在其它用户终端102a、102c或102e上，其它或次要客户端应用的在线状态可以是相关的。

为了访问另一个或次要终端102的资源，设备在接收到通信事件时可能必须要在线。如果次要终端并不在线，则优选地应当防止主要客户端选择离线次要设备的资源。

可以使用存在（presence）来确定资源的可用性。在这种情况下，客户端应用206被配置为在端对端网络或服务器中搜索联系人的网络地址。一旦确定了地址，客户端206就向所指定的地址发送状态请求命令。如果联系人在线，则其利用报告其状态的回复进行响应。如果没有接收到回复，则认为该联系人离线。优选地定期发送存在请求以使得状态能够在有必要时得到更新。

在可替换实施例中，在次要终端102位于相同本地网络上的情况下，每个客户端206被配置为定期传送“保持活跃（keep alive）”消息。如果没有从客户端接收到保持活跃消息，则确定该客户端离线。

可能与第三实施例相关的另外的问题是主要和次要客户端状态。

当客户端被选择作为次要客户端时，在该次要设备存储主要客户端的身份。该客户端将针对与主要客户端相关联的任意呼叫或通信事件而表现为次要客户端。

例如，响应于在次要终端接收到选择请求，该次要客户端将存储主要终端的网络位置/用户名。次要客户端将依据可由用户配置的预定规则对来自主要客户端的媒体和呼叫建立指令进行处理。例如，用户可以对电视客户端进行配置以允许移动客户端使用电视的视频输入和输出资源。如果电视接收到来自第三方的将移动客户端标识为主要客户端的呼叫建立请求，则电视在呼叫期间将仅对视频媒体进行处理。特别地，电视客户端在呼叫期间将不尝试捕捉和传送音频。此外，电视将不向用户显示用于控制呼叫的用户接口。

以上实施例提供了根据本发明第二或第三方面的一个或多个用户终端能够通过其而被选择在进行呼叫或呼叫的一部分中使用的示例机制。一旦适当机制得以被实施，就能够如下进行呼叫或通信建立。通过示例，以下将参考作为主要终端的膝上或平板样式的计算机102b以及作为次要终端的移动手机类型的终端102a进行描述。

当在主要终端102b接收到呼叫时，在主要客户端上运行的客户端将被用来对该呼叫进行应答并且将媒体流指向所期望的所选择次要终端102a。注意到，视频呼叫的音频和视频流并不必由相同的用户终端102生成或播放，并且所接收并流出的流也并不必由相同的终端102生成和播放。实际上，本发明的一种有利的使用在于，主要终端102b可以被用来生成和/或播放音频流，而次要终端102a被用来生成和/或播放视频流，或者反之亦然——即第二终端102a对主要终端102b所不处理的所接收和/或流出的音频和/或视频流进行处理。形成与该呼叫相同的会话的一部分的诸如文件传输之类的其它流也可以被指向次要终端，例如102c或102e。

在本发明的优选实施例中，主要终端102b上的主要客户端可以指示（呼叫另一端上的）远端方将相关媒体流直接路由至次要终端102a上的次要客户端（例如，通过让远端终端参考数据存储104中的用户ID和子ID到地址的映射，或者通过将次要终端102a的地址直接发送到远端终端）。然而，可替换地，所有流都可以经由主要终端102b进行路由，其中主要客户端因此往来于次要终端102a对所要求的流进行路由（即，因此从远端客户端和用户终端的角度来看，主要终端102b仍然是呼叫的所有流的端点，并且往来于次要终端的路由仅由主要终端102b上的客户端来处理）。

为了将呼叫的控制保留在主要设备，次要客户端将响应于从主要客户端所接收的指令对呼叫进行处理（例如，结束呼叫）。在一个示例中，这些指令可以作为IM消息来发送。主要终端可以使用由次要客户端所认可的预定IM消息输入诸如“提高音量”、“应答呼叫”、“关闭网络摄像头”或“结束呼叫”的呼叫处理指令。

在本发明的可替换实施例中，呼叫建立可以由服务器来处理。例如，如果用户之前已经将系统配置为向电视发送视频，则服务器将把电视的地址提供至远端节点以使得视频数据能够被直接发送至电视客户端。同样，电视客户端将会了解该呼叫与主要设备相关联并且因此将仅使用被授权使用的资源。

以任一种方式，为了指引控制信号以对次要终端进行指示，主要客户端或服务器可以从将地址映射至终端身份或用户ID和子ID的列表或数据库确定次要终端的地址，这可以在服务器、分布式数据库或本地网络部件上实施。在实施例中，本发明第三方面中用于传送控制信号和/或响应的机制可以是与根据本发明的第二方面用来共享关于换能器输入的信息的相同或相似的机制，或者在其它实施例中可以对两个不同方面使用不同的机制。

注意到，在优选实施例中，安装在任意终端102的客户端206可以向用户呈现安装有客户端应用实例206的使能终端102的列表。在这种情况下，用户在其上选择终端的终端成为主要终端并且所选择的终端成为次要设备。

客户端206作为主要客户端或次要客户端的行为将取决于其是否已经被选择用作次要客户端。

现在将参考图4对本发明第三方面的示例使用进行描述。这有利地增加了远程摄像机作为VoIP视频呼叫的功能的选择，允许用户使用其移动终端102a作为“外接”摄像机。在诸如电视、台式计算机等的设备上进行的视频呼叫中，用户将能够进行切换以使用其移动电话的摄像机在其环境周围进行移动并且向被呼叫的人显示其周围。该功能性还可以向其计算机/膝上电脑102b等没有所连接的网络摄像头的用户带来视频呼叫能力。

参考图4，在步骤S1，用户“Dave” 起初具有包括膝上或平板类型的计算机102b和移动手机类型的终端102a在内的用户装置103，它们均安装有用于执行语音和视频呼叫的VoIP客户端的实例206。如步骤S2以下所示，两个设备都经由适当收发器220和无线路由器105而连接至无线家庭网络，例如wi-fi。

在该示例中，Dave已经选择了平板计算机102b作为其主要终端。在步骤S2，主要终端102b上运行的客户端206检测到本地网络上存在潜在的次要终端102a（在这种情况下是移动终端102a）并且利用屏幕上的消息对他进行提示，该消息询问他是否想要出于视频呼叫的目的而链接设备以便使用其移动终端102a上的摄像机来捕捉视频（可替换地，Dave可以自行召唤该选项）。出于示例的原因，Dave选择“是”。

在步骤S3，主要终端上的客户端206发起授权过程以授权移动102a用作次要终端。在图示示例中，所使用的授权过程包括以上所提到的PIN码方法，由此主要终端102b上的客户端生成PIN码，用户随后必须将所述PIN码输入到次要终端102a或102e上的客户端206之中，并且次要终端102a或102e上的客户端随后将该PIN传送回主要终端102b上的客户端以证明其匹配并且因此获得所需授权。然而，在其它实施例中，可以使用作为PIN码方法的替代或与之相接合的其它授权技术。

在步骤S4，Dave使用主要终端102对视频来电呼叫进行应答或者发起与远程用户“Sarah”的去电视频呼叫。在该阶段，主要终端102上的客户端206可以再次提示他检查他在该特定呼叫中可能将要使用次要终端来捕捉视频（或者可能是诸如使用电视102c播放视频或者使用移动终端102a捕捉语音等的其它选项）。再次出于示例的原因，Dave在这种情况下选择“是”。

在步骤S5，呼叫开始。这包括次要终端102a上的客户端经由本地无线网络或其它无线连接网络向主要终端102b以流传送所捕捉的视频，而主要终端102b则捕捉音频信号。到来的音频和视频流在主要终端102b上的客户端被接收，并且在该示例中还从主要终端102b进行播放。然而，捕捉和/或播放音频和/或视频流的功能在主要和次要终端之间的其它划分形式也是可能的。其它路由选择也是可能的，例如通过以上所讨论的示例，由此主要终端102b上的客户端指示远程用户的终端102建立与次要终端的单独信道从而与主要终端102b并行地直接往来于次要终端102a对流之一进行路由。

如步骤S6所示，使用所描述的建立，Dave随后能够指示其移动终端102a上的摄像机以与Sally共享例如其自己402、其周围404或者其宠物狗“Toby”406的视频。

将要意识到的是，以上仅通过示例对实施例进行了描述。给出这里的公开内容，其它变化形式或实施方式对于本领域技术人员将是显而易见的。例如，本发明使得能够使用次要终端进行语音或视频呼叫以消耗或生成呼叫的至少一个流，而第一用户终端同时生成或消耗呼叫的至少另一个流，或者所有（多个）流都能够由次要终端所处理而第一终端仅对呼叫进行控制。另外，本发明并不被任何特定的资源发现或授权方法所限制，并且能够使用以上所描述的任意示例或者甚至其它的。另外，本发明的第一、第二和/第三方面中的任意一个都可以单独或相结合地进行实施。在其被称作服务器的情况下，这并非必然意在限制为容纳在单个房屋内或者位于单个地点的离散服务器单元。另外，在其被称作应用的情况下，这并非必然意在是指离散、独立、可单独执行的软件单元，而是能够可替换地被称作诸如现有应用的插件或添加的任意代码部分。本发明并不被所描述的实施例所限制而是仅由所附权利要求进行限制。

权利要求书(按照条约第19条的修改)

1.一种包括代码的客户端应用，所述代码被记录于计算机可读介质上并且被配置为当在第一终端上执行时实施以下操作：

访问基于分组的通信系统以通过基于分组的网络进行语音或视频呼叫；

确定安装有该客户端应用的其它实例的一个或多个其它第二用户终端的可用性；并且

为近端用户呈现选择所述第二用户终端之一以便由近端用户在经由客户端实例和基于分组的通信系统与远端用户进行语音或视频呼叫时结合第一用户终端使用的选择；由此使得能够使用第二终端进行语音或视频呼叫以消耗或生成呼叫的至少一个流，而第一用户终端同时生成或消耗呼叫的至少另一个流或者对呼叫进行控制。

2.根据权利要求1的客户端应用，由此使得能够使用第二终端进行语音或视频呼叫以播放或捕捉呼叫的至少一个音频或视频流，而第一用户终端同时播放或捕捉呼叫的至少另一个音频或视频流。

3.根据权利要求2的客户端应用，其中使用第二终端进行语音或视频呼叫以播放或生成呼叫的至少一个流，而第一用户终端同时播放或生成呼叫的至少另一个流但并不是第一终端所播放或生成的流，和/或第二用户终端播放或生成并非由第二终端所播放或生成的流。

4.根据权利要求1的客户端应用，其中使用第二终端进行语音或视频呼叫以播放或捕捉呼叫的至少一个流，而该呼叫继续由第一终端上的客户端所控制。

5.根据权利要求4的客户端应用，其中第一终端上的客户端对所述呼叫所进行的控制包括以下至少一个：终止呼叫、控制呼叫音量、以及选择用于呼叫的媒体输入或输出类型或者换能器。

6.根据权利要求1的客户端应用，其中第一终端是在针对远端用户的去电呼叫的情况下用来发起呼叫的终端，或者在来自远端用户的来电呼叫的情况下用于对呼叫进行应答的终端。

7.根据权利要求4的客户端应用，包括随后响应于用户对第一终端的选择而将呼叫的控制过渡至第二终端。

8.根据权利要求1的客户端应用，其中所述确定包括以下至少一个：自动发现一个或多个第二用户终端中每一个的相应身份；自动发现一个或多个第二用户终端中每一个的相应地址；自动发现一个或多个第二用户终端中每一个的相应媒体能力；自动发现一个或多个第二用户终端中每一个的相应在线状态。

9.一种方法，包括：

提供基于分组的通信系统以便通过基于分组的网络进行语音或视频呼叫；并且

提供使得第一用户终端能够访问该基于分组的通信系统的客户端应用实例，该客户端应用被配置为确定安装有该客户端应用的其它实例的一个或多个其它第二用户终端的可用性，并且为近端用户呈现选择所述第二用户终端之一以便由近端用户在经由客户端实例和基于分组的通信系统与远端用户进行语音或视频呼叫时结合第一用户终端使用的选择；

由此使得能够使用第二终端进行语音或视频呼叫以消耗或生成呼叫的至少一个流，而第一用户终端同时生成或消耗呼叫的至少另一个流或者对呼叫进行控制。

10.一种第一用户终端，包括：

收发器，其可操作以访问基于分组的通信系统以便通过基于分组的网络进行语音或视频呼叫；和

存储介质，其存储客户端应用实例，该客户端应用实例使得该第一用户终端能够访问基于分组的通信系统；以及

处理装置，其被配置为执行客户端应用实例，该客户端应用被配置为确定安装有该客户端应用的其它实例的一个或多个其它第二用户终端的可用性，并且为近端用户呈现选择所述第二用户终端之一以便由近端用户在经由客户端实例和基于分组的通信系统与远端用户进行语音或视频呼叫时结合第一用户终端使用的选择；由此使得能够使用第二终端进行语音或视频呼叫以消耗或生成呼叫的至少一个流，而第一用户终端同时生成或消耗呼叫的至少另一个流或者对呼叫进行控制。

Claims

1. 一种方法，包括：

提供使得第一用户终端能够访问基于该分组的通信系统的客户端应用实例，该客户端应用被配置为确定安装有该客户端应用的其它实例的一个或多个其它第二用户终端的可用性，并且为近端用户呈现选择所述第二用户终端之一以便由近端用户在经由客户端实例和基于分组的通信系统与远端用户进行语音或视频呼叫时结合第一用户终端使用的选择；

2. 根据权利要求1的方法，由此使得能够使用第二终端进行语音或视频呼叫以播放或捕捉呼叫的至少一个音频或视频流，而第一用户终端同时播放或捕捉呼叫的至少另一个音频或视频流。

3. 根据权利要求2的方法，其中使用第二终端进行语音或视频呼叫以播放或生成呼叫的至少一个流，而第一用户终端同时播放或生成呼叫的至少另一个流但并不是第一终端所播放或生成的流，和/或第二用户终端播放或生成并非由第二用户终端所消耗或生成的流。

4. 根据权利要求1的方法，其中使用第二终端进行语音或视频呼叫以播放或捕捉呼叫的至少一个流，而该呼叫继续由第一终端上的客户端所控制。

5. 根据权利要求4的方法，其中第一终端上的客户端对所述呼叫所进行的控制包括以下至少一个：终止呼叫、控制呼叫音量、以及选择用于呼叫的媒体输入或输出类型或者换能器。

6. 根据权利要求1的方法，其中第一终端是在针对远端用户的去电呼叫的情况下用来发起呼叫的终端，或者在来自远端用户的来电呼叫的情况下用于对呼叫进行应答的终端。

7. 根据权利要求4的方法，包括随后响应于用户对第一终端的选择而将呼叫的控制过渡至第二终端。

8. 根据权利要求1的方法，其中所述确定包括自动发现一个或多个第二用户终端中每一个的相应身份。

9. 根据权利要求1的方法，其中所述确定包括自动发现一个或多个第二用户终端中每一个的相应地址。

10. 根据权利要求1的方法，其中所述确定包括自动发现一个或多个第二用户终端中每一个的相应媒体能力。

11. 根据权利要求1的方法，其中所述确定包括自动发现一个或多个第二用户终端中每一个的相应在线状态。

12. 根据权利要求1的方法，包括以授权过程为条件结合第一用户终端进行第二终端的所述使用。

13. 根据权利要求1的方法，其中第一用户终端是膝上或平板计算机，而第二终端是移动手机。

14. 一种包括代码的客户端应用，所述代码被记录于计算机可读介质上并且被配置为当在第一终端上执行时实施以下操作：

确定安装有其它客户端应用实例的一个或多个其它第二用户终端的可用性；并且

15. 根据权利要求14的客户端应用，其中该代码进一步被配置为执行依据权利要求2至13中任一项的操作。

16. 一种第一用户终端，包括：

17. 根据权利要求16的第一用户终端，其中该客户端应用进一步被配置为执行依据权利要求2至13中任一项的操作。