CN105706073B

CN105706073B - 呼叫处理

Info

Publication number: CN105706073B
Application number: CN201480060607.7A
Authority: CN
Inventors: L·凯尼格
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2013-11-07
Filing date: 2014-11-04
Publication date: 2019-04-16
Anticipated expiration: 2034-11-04
Also published as: US9253331B2; EP3049949A1; EP3049949A4; EP3049949B1; US20150124950A1; WO2015069606A1; GB201319687D0; CN105706073A

Abstract

本文公开了一种技术，用户设备凭此技术加入通过网络进行的呼叫，生成可以被处理以识别该用户设备的音频，并且在所述呼叫期间输出所述音频，使得所述音频可以被在所述用户设备的邻近处的已经参与所述呼叫的另一个用户设备接收，由此使所述另一个用户设备能够识别该用户设备。

Description

呼叫处理

背景技术

可以“在线”(即，通过适当的网络，诸如互联网，可能经由会议服务器)进行两个以上用户之间的会议呼叫，例如在虚拟会议或组呼叫场景中。适当的用户设备(例如个人计算机、平板设备、智能电话、VoIP电话等)使用设在用户设备中或耦合到用户设备的一个或多个扬声器以及一个或多个麦克风来参与这种呼叫。典型地，加入呼叫的用户设备可以在某一阶段播出可听“铃音”，作为该过程的一部分。

在在线会议呼叫场景中，可能出现其中两个或更多个参与者在会议呼叫期间在同一房间中或以其它方式共置(即，彼此相邻近)的情形。例如，当第一用户设备处的第一用户正在参与呼叫时，同一房间中的第二用户设备处的第二用户可能加入呼叫。由第二用户设备播出的任何铃音可以被第一用户设备捕获，并且在第一用户设备的麦克风信号路径中被识别；如果是这样的话，那么可以通知第一用户在其邻近处的另一个用户加入呼叫的可能性。随后，第一用户可以转向第二用户，并且如果是这样的话，令其将其用户设备静音。

发明内容

根据本公开内容，一种用户设备包括用于连接到网络的网络接口和用于输出音频信号的音频输出组件。所述用户设备还包括被配置为执行通信客户端的处理器。该客户端可操作以加入通过所述网络进行的呼叫。在所述用户设备处，所述客户端还可操作以将标识符编码到在所述用户设备处生成的音频中，并且在所述呼叫期间，经由所述音频输出组件来输出所述音频。所述音频被输出，使得所述音频可以被在所述用户设备邻近处的已经参与所述呼叫的另一个用户设备接收和处理，以识别所述用户设备。

此外，根据本公开内容，一种用户设备包括用于连接到网络的网络接口和用于接收音频信号的音频输入组件。所述用户设备还包括被配置为执行通信客户端的处理器。该客户端可操作以参与通过所述网络进行的呼叫。当所述客户端参与所述呼叫时，所述客户端还可操作以经由所述音频输入组件接收音频，所述音频是在所述呼叫期间在所述用户设备的邻近处的另一个用户设备处生成的并且由所述另一个用户设备输出-与所述用户设备相关联的标识符被编码到所述另一个用户设备处的所述音频中。在所述用户设备处，所述客户端还可操作以从所接收的音频中提取所述标识符，以识别所述另一个用户设备。

还公开的是相应的方法和计算机程序产品。

提供这个概括以便以简化的形式引入一系列概念，这些概念在下文的具体实施方式中被进一步描述。这个概括既不是要标识要求保护的主题的关键特征或必要特征，也不是要用于限制要求保护的主题的范围。范围也不限于解决本文记载的任何缺点。

附图说明

为了理解本主题以及示出其如何被实施，现在将以示例的方式参考附图，在附图中：

图1是通信系统的示意图；

图2A是第一用户设备的示意图；

图2B是第二用户设备的示意图；

图3是处理呼叫的方法的示意图；

图4A是用于生成和输出音频的系统的示意图；

图4B是由用户设备输出的音频的示意时间-频率表示；

图4C是用于生成定制铃音的方法的示意概括；

图5是由多个用户设备输出的音频的示意时间-频率表示；

图6A是音频处理块的示意图；

图6B是在检测阶段期间执行的方法的示意概括。

具体实施方式

基于识别已知铃音的技术(诸如上述技术)归根结底依靠“加入者”(即，加入呼叫的用户设备)是由其它呼叫参与者来人工识别的。此外，这样的技术可能不适于自动地识别加入者，相当重要的原因是即使在参与呼叫的用户设备的麦克风信号路径中识别已知铃音，也不能从其中明确地识别该铃音的源，例如，两个用户设备可能同时加入呼叫并且播出相同的铃音。随后，可以在第三用户设备的麦克风信号路径中识别该已知铃音，但是没有办法知道该识别的铃音的源是第一用户数设备、第二用户设备、或者甚至是碰巧在同一时间加入完全不同的呼叫的另一个用户设备(因为它们可能都使用相同的铃音)。

现在将参照附图描述实施例。在所描述的实施例中，当加入在线会议时，每个加入者播出(输出)对于该加入者是唯一的特定铃音。在这些实施例中，唯一铃音的音频由加入者的客户端来生成，以及与该加入者相关联的标识符被编码到所生成的音频中。铃音的音频数据可以例如使用预先记录的信号来生成，或者可以在最开始使用声音合成函数来生成。与比如网络内的集中式生成相比，由加入呼叫的用户设备处的客户端来生成铃音表示网络带宽节省，这是因为不需要通过网络发送铃音的音频数据。随后，以这样的方式播出唯一铃音：当该铃音被其它参与者在其各自的麦克风信号中检测到时，允许其它参与者识别新的加入者。播出的铃音实际上是包含经编码的加入者标识符的经调制/水印的铃音。其可以是被编码在音频中的易于检测的调制(例如，基于时间-频率的调制)或水印。根据本公开内容，加入者标识符(ID)被嵌入到铃音中。设想了用于这样嵌入加入者ID的不同的嵌入手段。下文描述的一个实施例使用时间频率调制；在现有的VoIP客户端应用中找到的现有的音频处理架构(例如，如用于回音消除)可以易于适用于提取以这种方式嵌入的加入者ID。其它实施例使用不同形式的嵌入。

“在现场”(即，在由用户设备的客户端进行的操作中)例如实时地生成音频。可以从非音频数据(与预先确定的音频相反，预先确定的音频是比如在设计阶段期间预先记录和/或预先呈现的、预先存储的、以及仅在现场播出的)或至少基于非音频数据来生成音频。这里，“音频数据”包括未压缩的音频数据和压缩的音频数据二者(例如，利用音频编解码器、语音编解码器等创建的)，以及压缩包括无损和有损压缩格式二者(非音频数据是不落入到音频数据的这个定义中的数据)。非音频数据可以包括用户和/或设备的标识符，标识符被编码到所生成的音频中。非音频数据可以包括抽象参数，诸如音调的间距和/或时序，与记录的采样相反，音频因此是“人工地”生成的。例如，可以将标识符表示为这些音调的时间-频率分布。

图1示出了通信系统100，其包括与第一用户设备104相关联的第一用户102(“用户A”)；与第二用户设备110相关联的第二用户108(“用户B”)；与第三用户设备116相关联的第三用户114(“用户C”)；以及会议服务器130，它们全部连接到网络119。用户设备104、110和116被安排为分别从用户102、108和114接收信息和向用户102、108和114输出信息。特别地，用户设备104包括音频输入组件，该音频输入组件本身包括用于捕获音频信号的麦克风105，并且用户设备110包括音频输出组件，该音频输出组件本身包括用于输出音频信号的扬声器111。第一和第二用户设备是共置的(即，彼此相邻近)。

在图1中示出的通信系统100是基于分组的通信系统，但是可以使用其它类型的通信系统。网络119可以是例如互联网。用户设备104和110中的每个用户设备可以是例如移动电话(例如，智能电话)、平板计算机、膝上型计算机、个人计算机(“PC”)(包括例如，Mac和PC)、游戏设备、电视机、个人数字助理(“PDA”)或能够连接到网络119的其它嵌入式设备。

用户设备104执行通信客户端106的实例。通信客户端是在用户设备104中的本地处理器上执行的软件程序。客户端执行在用户设备104处要求的处理，以便使用户设备104通过通信系统100发送和接收数据。

用户设备110也在本地处理器上执行对应于客户端106的通信客户端112的实例。用户设备110处的客户端112执行要求的处理以允许用户108通过网络119来进行通信。

用户设备116也在本地处理器上执行对应于客户端106和112的通信客户端118的实例。用户设备116处的客户端118执行要求的处理以允许用户114通过网络119来进行通信。

用户设备104、110和116是通信系统100中的端点。

在该实施例中，客户端实例106、112和118是由与通信系统100相关联的软件提供者来提供的，并且以相同的方式来执行要求的处理。

为了清楚起见，图1仅示出了三个用户(102、108和114)和三个用户设备(104、110和116)，但是更多用户和用户设备可以被包括在通信系统100中，并且可以使用在其上执行的各自的通信客户端通过通信系统100来进行通信。

在替代的实施例中，通信系统100是对等通信系统，其中，服务器132被省略，服务器132的功能是在用户设备104、110中的一个或二者处通过客户端106、112中的一个或二者来实现的。

图2A示出了用户设备104的详细视图，在用户设备104上执行通信客户端实例106以用于通过通信系统100来进行通信。用户设备104包括以中央处理单元(“CPU”)的形式的处理器202。当然，将认识到的是，处理器可以采取替代的形式，诸如包括多个CPU的多内核处理器。以下组件连接到CPU 202：输出设备，包括显示器208(被实现为例如触摸屏)，以及用于输出音频信号的扬声器210；输入设备，包括用于捕获音频信号的麦克风105，用于捕获图像的相机216，以及小键盘218；用于存储数据的存储器214；以及用于与网络119进行通信的网络接口220(诸如调制解调器)。显示器208、扬声器210、麦克风105、存储器214、相机216、小键盘218以及网络接口220被集成到用户设备104中，尽管将认识到的是，作为替代，显示器208、扬声器210、麦克风105、存储器214、相机216、小键盘218以及网络接口220中的一个或多个可以不被集成到用户设备104中，并且可以经由相应的接口连接到CPU 202。

在替代的实施例中，用户设备104、110中的一个或二者可以是没有显示器、相机、小键盘等中的一个或多个的会议电话或大会电话。

图2A还示出了在CPU 202上执行的操作系统(“OS”)204。在OS 204顶部运行的是通信系统100的客户端实例106的软件。操作系统204管理用户设备104的硬件资源，并且处理经由网络接口220发送到网络119的数据以及从网络119发送的数据。客户端106与操作系统204进行通信，并且管理通过通信系统的连接。客户端106具有客户端用户界面，其用于向用户102呈现信息并且从用户102接收信息。以这种方式，客户端106执行要求的处理以允许用户102通过通信系统100来进行通信。

客户端106包括音频处理块107，其接收由麦克风105捕获的音频。下文更加详细地描述了块107的功能。

图2B示出了用户设备110的详细视图，在用户设备110上执行通信客户端实例112以用于通过通信系统100来进行通信。用户设备110包括以中央处理单元(“CPU”)的形式的处理器202’。当然，将认识到的是，处理器可以采取替代的形式，诸如包括多个CPU的多内核处理器。以下组件连接到CPU 202’：输出设备，包括显示器208’(被实现为例如触摸屏)，以及用于输出音频信号的扬声器111；输入设备，包括用于捕获音频信号的麦克风212’，用于捕获图像的相机216’，以及小键盘218’；用于存储数据的存储器214’；以及用于与网络119进行通信的网络接口220’(诸如调制解调器)。显示器208’、扬声器111、麦克风212’、存储器214’、相机216’、小键盘218’以及网络接口220’被集成到用户设备110中，尽管将认识到的是，作为替代，显示器208’、扬声器111、麦克风212’、存储器214’、相机216’、小键盘218’以及网络接口220’中的一个或多个可以不被集成到用户设备110中，并且可以经由相应的接口连接到CPU 202’。

图2B还示出了在CPU 202’上执行的操作系统(“OS”)204’。在OS204’顶部运行的是通信系统100的客户端实例112的软件。操作系统204’管理用户设备110的硬件资源，并且处理经由网络接口220’发送到网络119的数据以及从网络119发送的数据。客户端112与操作系统204’进行通信，并且管理通过通信系统的连接。客户端112具有客户端用户界面，其用于向用户108呈现信息并且从用户108接收信息。以这种方式，客户端112执行要求的处理以允许用户108通过通信系统100来进行通信。

客户端112包括音频生成块113，其生成要从扬声器111输出的音频。下文更加详细地描述了块113的功能。

用户设备116具有类似于用于设备104和110的组成。

用户客户端106、112和118经由会议服务器130(其在该实施例中充当呼叫的“主机”)来与彼此进行通信，由此允许用户102、108和114进行“会议呼叫”，由此所有三个用户可以同时相互发言和听到。如图1所示，会议服务器130包括执行呼叫管理器133(用于主持多方会议呼叫的一种形式的主持单元)的处理器132，呼叫管理器133管理会议呼叫。呼叫管理器133通过网络119接收分别在用户设备104、110和116处捕获的音频。来自用户设备110和116的音频被呼叫管理器133混合并且被发送到用户设备104，音频在用户设备104处由扬声器210输出，使得用户102可以听到用户108和用户114二者。类似地，来自用户设备104和116的音频被呼叫管理器133混合并且被发送到用户设备110，以及来自用户设备104和110的音频被呼叫管理器133混合并且被发送到用户设备116。除了接收和发送音频之外，呼叫管理器133还可操作以向客户端106、112和118发送通知和控制消息以及从客户端106、112和118接收通知和控制消息。如将认识到的是，其它用户也可以参与会议呼叫。

在替代的实施例中，会议服务器130的功能可以替代地在用户设备104、110和116中的一个或多个用户设备处实现。例如，用户设备104、110和116中的一个用户设备可以“主持”呼叫，在这种情况中，该用户设备处的客户端可以执行呼叫管理器133的功能中的某些或全部功能。替代或另外地，会议服务器130的功能可以分布在若干计算设备(包括服务器和/或其它用户设备)之间。即，主持单元可以被嵌入到诸如104、112或118(其在该实施例中是对等客户端)的任何客户端中，而不是在服务器(例如，130)处，可以省略服务器。

现在将参照图3描述一种方法，该方法使参与呼叫的第一用户设备104能够检测和识别随后加入呼叫的共置的第二用户设备110。随后，该信息可以用于自主地适应第二用户设备处的音频水平，以便防止否则可能由第一和第二用户设备的共置导致的反馈和回音，和/或用于向第二用户通知由第一用户设备进行的所述识别。然而，如将认识到的是，可能以其它方式来利用该信息。例如，该信息可以用于如下：

a.选择用于呼叫期间使用的用户设备104的麦克风和用户设备110的麦克风中的一个麦克风，以确保‘拾取’了正确的麦克风。例如，所述用户设备中的一个用户设备可以具有比另一个用户设备(例如，其可以是内置有较低成本、低质量麦克风的膝上型电脑、平板计算机或电话)更好的质量的麦克风(例如，耦合到该设备的较高成本、较高质量的外置麦克风)-可以选择优于较低质量麦克风的较高质量麦克风以供用户102和108二者在呼叫期间使用。由选择组件(例如，由客户端106、112、118和呼叫管理器133的选择组件来实现)进行的这个选择可以由用户设备104、110中的一个用户设备响应于加入者识别来触发。

b.为了由音频处理组件(例如，由客户端106、112、118和呼叫管理器133的音频处理组件来实现)进行音频处理的目的，用户设备104、110向音频处理组件提供相应的麦克风信号，例如：

i.例如使用波束成形(本领域已知的信号处理技术)将同一个房间中的所有麦克风作为阵列来处理；

ii.利用共置设置以通过提供“伪”立体声来增强用户体验；即，将麦克风信号聚集作为立体声音频信号，例如，用户设备104、110中的一个用户设备的麦克风提供立体声音频信号的左侧通道，以及另一个用户设备的麦克风提供立体声音频信号的右侧通道。

在S302处，客户端106通过网络119建立与主机(其在该实施例中是会议服务器130，但是在论述的对等实施例中其可以是另一个客户端，例如106、112、118)的连接，客户端106通过这个连接参与通过网络119的会议呼叫。

在该实施例中，第二用户设备110的客户端112经由客户端112的用户界面向用户108(“用户B”)呈现加入呼叫的选项，该选项是可由用户108选择的。可选的选项可以被实现为例如在触摸屏上显示的软按钮或其它软输入机制。如将认识到的是，可以存在用户可以加入正在进行的(会议)呼叫所采用的许多其它方式。

例如，可以响应于从网络119接收的邀请来显示该选项，或者替代地以使用户108能够出于其自己的意愿来加入呼叫的方式来显示该选项(例如，加入预先安排的虚拟大会的选项)。可以响应于邀请(例如，向用户通知加入呼叫的邀请)或响应于用户出于其自己的意愿来选择加入呼叫(例如，通知用户其已经成功地加入大会)来播出普通的、预先记录的铃音(图4B中的410)以通知用户108。如图4B所示，普通的铃音跨越一定范围的频率在本质上是同质的。

响应于用户108选择选项(例如，通过轻叩或重击触摸屏，或通过作出被麦克风212’捕获的适当的语音命令或被相机216’捕获的手势)，客户端112通过网络119建立与会议服务器130的连接，客户端112通过这个连接加入呼叫(S304)。

在步骤S306处，客户端112的音频生成块113生成要被扬声器111播出的音频数据作为定制铃音。该铃音对于呼叫内的该设备是唯一的(即，使得如果并且当其它用户设备加入呼叫时，它们不使用相同的铃音)。在该实施例中，当加入呼叫时生成音频数据，但是在其它实施例中，可以更早地生成音频数据(例如，响应于接收呼叫邀请)。

音频数据是基于输入在算法上生成的，在这种情况中，输入是包括与用户设备110相关联的标识符的非音频数据(下文参照图4A-图4C描述的)。在该实施例中，生成音频数据以编码标识符，使得可以由接收定制铃音的另一个设备从中提取标识符(即，解码所接收的定制铃音)。标识符对于呼叫内的该用户设备是唯一的，并且包含用于呼叫管理器113确定所识别的用户的网络地址的足够信息。加入者客户端还可以输出音频，音频包括(例如，编码)关于所编码的标识符是用于当前参与呼叫的另一个用户设备(例如，与当前没有参与任何呼叫的用户设备相反)的指示。指示还可以被编码到由加入者客户端生成的音频中，或者其通过上述普通的、预先记录的铃音的方式被输出。

标识符可以是例如由呼叫管理器133在客户端112加入呼叫时分配给客户端112的数字、字母或字母数字混合值(在这种情况中，呼叫管理器133存储与每个参与者的网络地址相关联的标识符)。替代地，标识符可以是例如网络地址本身、用户108的用户名(呼叫管理器可操作以将用户108的用户名与相应的网络地址相关联)，或这两个中的任一个的适当的函数。例如，加入者ID的形式可以是用户@用户设备-1254621或类似形式。

在实施例中，标识符也可以对于网络内的该用户是唯一的，使得不存在连接到网络的其它用户设备与该标识符相关联(这是例如如果标识符是用户名或网络地址等或者基于用户名或网络地址等的情况)。替代地，标识符可以仅在播出时对于该用户是唯一的，使得不存在呼叫中的其它用户同时使用与该用户相同的铃音(但是可以在不同的时间生成和播出相同的铃音)，以及铃音生成和播放由例如呼叫管理器133来调度和/或包括时间戳、IP(“互联网协议”)地址或在该时间时是唯一的任何其它事物(即，在呼叫管理器133不进行任何调度的情况下实现暂时的唯一性)。

普通铃音和定制铃音的组合的特性包括在时间上、在频率上或在任何其它事物上的共同部分(普通铃音)，例如，该共同部分允许其它用户设备识别其是加入者音调(与例如背景音频或背景噪音相比)，以及特定于每个加入者的部分，该部分允许系统识别用户/设备加入。在其它实施例中，可以省略普通铃音并且仅生成和播出定制铃音。

在步骤S308处，客户端106从呼叫管理器133接收新用户加入呼叫的通知。呼叫管理器133向参与呼叫的任何其它用户设备发送等同的通知。响应于此，在步骤S310处，客户端106发起检测阶段(SS314)，在检测阶段期间，客户端106的音频处理块107尝试通过以预定的方式处理由麦克风105捕获的音频来检测和识别任何共置的用户设备(下文参照图6A和图6B进行解释)。替代方案会在主机侧运行检测。然而，在该情况中，主机将需要并行地运行n-1个检测，其中n是会议参与者的数量。

此外，共置客户端可以直接受益于其本身执行的检测的结果(通知用户，基于共置信号来开始特定动作等)。

在步骤S312处，客户端112从扬声器111输出所生成的铃音。由用户设备110的客户端112输出的音频包含对所述标识符的编码。

铃音由用户设备110在呼叫期间输出；即，使得至少在客户端112加入呼叫之后的时间段内播出定制铃音。在该实施例中，在加入呼叫时进行该输出；即，使得至少在客户端112加入呼叫之后的时间段内播出定制铃音，并且使得播出时刻至少部分地与客户端112加入呼叫关联(例如，播出开始和终止中的至少一者是取决于加入呼叫的)。替代地，可以故意(即，响应于其它类型的事件)触发定制音调的生成和/或播出，以识别共置用户(即，而不是对用户设备加入呼叫作出反应)。如本文所使用的，“在呼叫期间”指代开始于该呼叫的发起(例如，由客户端106、112、118中的一个客户端发起的)并且以该呼叫的终止结束的时间段，例如，被呼叫的客户端对铃音的输出因此发生在呼叫期间，呼叫是由例如呼叫那些客户端的另一个客户端发起的。

在该实施例中，响应于加入呼叫来发起所生成的铃音的播出。在替代的实施例中，可以响应于较早的事件(例如，对加入呼叫的邀请的接收)来发起所生成的铃音的播出，使得在加入呼叫之前的时间段内播出所生成的铃音，以及在加入呼叫之后的时间段内继续播出，并且随后终止。应当注意的是，在两种场景中，在加入呼叫时播出所生成的铃音。

至少在开始于客户端112加入呼叫时或客户端112加入呼叫之后不久的时间段内播出所生成的铃音，以便与上述客户端106的检测阶段重合。

虽然被显示为分离的，但是可以基本同时地执行步骤S306和S312，使得铃音在生成时被播出。

在检测阶段(S314)期间，用户设备110的客户端106可操作以检测由其它用户设备生成和输出的定制铃音是否出现在由麦克风105捕获的音频中。假设第二用户设备110足够接近于第一用户设备104(即，在第一用户设备104的邻近处)，则由客户端112输出的定制铃音由用户设备104的麦克风105捕获，并且在检测阶段期间由客户端106检测。如果检测到这样的定制铃音，则方法进行到步骤S316。在步骤316处，客户端106通过解码被编码在定制铃音中的标识符来识别第二用户设备(如下文更加详细地描述的)。因此，客户端106不仅能够确定另一个用户设备在其邻近处(依靠成功地接收和解码标识符)，还能够识别用户设备110(基于所解码的标识符)。

例如，通过修改用户设备104和110中的至少一个用户设备的操作，客户端106和112(共同地)可操作以根据所述识别来处理呼叫。具体地，下文详细描述了在该实施例中处理呼叫所采用的方式。

在步骤318处，响应于对用户设备110的识别，客户端106通过网络119向会议服务器130发送通知。通知包含所解码的用户设备112的标识符，并且向呼叫管理器133指示第二用户设备在第一用户设备的邻近处。响应于对该通知的接收，呼叫管理器133向用户设备110发送控制消息，以指示客户端110通过将扬声器111静音来降低用户设备110的音频输出水平(实际上将音频输出水平降到零)。如将认识到的是，这(即，共置检测算法提供共置信息，共置信息被发送回服务器，以允许跨越所有共置设备来共享该信息)是共置信息的一个示例使用(上文描述了其它示例使用)。

在替代的实施例中，可以省略向会议服务器的通知(例如，所公开的技术还可以用于由用户设备114处的客户端106本地地采取动作)。

在步骤S320处，客户端112从会议服务器130接收控制消息。响应于此(S322)，客户端112按指示通过将扬声器111静音来降低用户设备110的音频输出水平。在步骤S324处，客户端将此信息经由客户端112的用户界面通知给用户108。

降低第二设备处的音频输出水平防止否则可能因共置的用户设备110的扬声器111和用户设备104的麦克风105创建音频环路(在该环路中，来自扬声器111的音频由麦克风105捕获，通过网络119被发送到用户设备110并且从扬声器111输出等)而产生的反馈和回音。替代地，可以将用户设备的扬声器和/或麦克风二者静音，或者除非新加入者特定地选择干扰正在进行的会议呼叫(例如，通过解除静音)，否则可以采取任何动作来确保新加入者不干扰正在进行的会议呼叫。

如果最初没有检测到定制铃音(S314)，则加入者识别和检测(即，检测阶段)继续，直到识别出加入者为止或者直到预定时间段过去为止(S326)。如果在该时间段内没有检测到加入者铃音，则检测阶段终止(S328)，并且尝试的加入者检测和识别结束。

如本文所使用的，至少当用户设备被配置为正在连接模式(在正在连接模式中，用户设备知道呼叫，但是不能从其它呼叫参与者接收呼叫的实时媒体数据或向其它呼叫参与者发送呼叫的实时媒体数据，例如振铃模式，响应于呼叫另一个用户设备或会议服务器或者被另一个用户设备或会议服务器呼叫来将用户设备配置为振铃模式)或已连接模式(在已连接模式中，呼叫的实时媒体数据可以在该用户设备和至少一个其它用户设备之间流动)时，用户设备“参与”呼叫。当将该用户设备配置为这种已连接模式时(例如，之前已被配置为正在连接模式)，用户设备“加入”呼叫。

因此，例如，用户设备(加入者)可能输出由被配置为这种正在连接模式并且因此已经参与呼叫(例如如果用户设备和另一个共置用户设备(例如，104、110)二者同时被第三用户设备(例如，116)呼叫)的另一个共置设备接收的音频(以及另一个用户设备因此在该另一个用户设备加入呼叫之前接收该定制铃音，但是尽管如此，该另一个用户设备同时已经参与呼叫)。

应当注意的是，由客户端106和112建立的上述连接是独立于客户端106接收任何音频信号来建立的。即，从扬声器111接收铃音不引起这些连接被建立(但是当然可以影响如何使用那些已建立的连接传送数据，例如如上所述)；客户端106和112仍然建立相应的网络连接，它们通过相应的网络连接参与并且加入呼叫(并且因此，它们通过相应的网络连接与彼此进行通信)，即使没有经由麦克风105接收铃音(虽然在该实例中，当然可以以不同的方式处理呼叫)。

现在将参照图4A、图4B和图4C描述生成铃音(S306)的过程。

图4A示出了在用户设备110处实现的用于生成和输出以定制铃音形式的音频的系统。系统包括音频处理块107，其耦合到用户设备110的音频接口402，音频接口402本身耦合到扬声器111。音频生成块接收包括作为输入的与第二用户设备110相关联的标识符的非音频数据，并且基于该非音频数据来自动地生成定制铃音的音频数据。随后，该生成的音频数据被输出到用户设备110的音频接口402。音频接口402耦合到扬声器111，并且除其它事情之外，负责将音频数据转换为输入到扬声器111的模拟(电)信号。随后，扬声器111将该模拟信号转换为音频(声)信号，由此播出定制铃音。

音频生成块113可以使用程序音频来生成铃音，即，由此使用声音合成来生成声音(即，铃音)的过程，最开始使用例如(但不限于)数学函数或随机过程。

铃音由共同部分(主要用于与传统客户端的兼容性)和对标识符进行编码的部分(或映射到其的标识符)组成。

在图4C中示出了在S306处由块113实现的用于生成定制铃音的音频数据的方法的示意概括。块113可操作以接收标识符(S422)；将标识符映射到时间-频率分布(S424)；并且生成包含具有该时间-频率分布的音调的音频数据(S426)。对时间频率方案的使用实现对在现有的客户端侧回音消除算法中使用的滤波器组分析的重用(例如，这种分析的结果可以用于识别加入者以及用于回音消除)。在替代的实施例中，采用不使用滤波器组的其它编码技术。

图4B使用时间-频率表示来示出了在步骤S312处输出的定制铃音的可能示意图的示例。如图4B所示，定制铃音包含多个具有时间-频率分布412的窄带音调(例如但不限于本质上的正弦音调)；该分布对标识符进行编码(标识符被映射到该分布)。所生成的铃音还可以包含其它频率分量(未示出)，例如，跨越一定范围的频率在本质上是同质的分量，假设离散的音调是从其中可辨别的(即，相对于其具有足够的能量来与其分离)。例如，在实施例中，可以在预定铃音中嵌入或调制生成的音频分量(例如，包括多个音调)。

如在步骤S312中播出的定制铃声实际上是包含编码的加入者标识符的调制铃音，其中用于对加入者标识符进行编码的每个“符号”实际上是播出铃音的一个或多个特定频率(子)带中的能量。这些特定的频率子带与被适当调谐的接收机侧滤波器组(600；图6A)对齐，因此能够通过利用该滤波器组执行滤波器组分析来对定制铃音进行解调和对标识符进行解码。

在一个实施例中，客户端112的标识符是十六进制标识符，由十六进制字符序列形成，根据在某些方面类似于双音多频信令(DTMF)的方案来对标识符进行编码。如本领域已知的，DTMF使得能够使用16个可能的音调对来传送信息，并且DTMF常规上用于通过模拟电话线的电信发信号(即，使用电信号来发信号)。发明者认识到实际上可以在本上下文中应用修改的DTMF方案，用于通过空气来传送信息(即，使用声、音频信号来发信号)。

在该实施例中，图4C的S422涉及根据在表1(下文)中定义的编码方案来将标识符的每个字符映射到一对频率，并且生成在S426中生成的音频数据以包含在那些频率处的音调对的序列。所以，例如，输入标识符“1B8F”会被生成块113映射以生成包含在频率1209Hz+697Hz、1633Hz+770Hz、1336Hz+852Hz和1477Hz+941Hz处的音调对的序列的音频数据。随后，在步骤S312处，该音频数据会被播出作为音频信号。

	1209Hz	1336Hz	1477Hz	1633Hz
					697Hz	1	2	3	A
770Hz	4	5	6	B
					852Hz	7	8	9	C
941Hz	E	0	F	D

表1：编码方案

表1的频率使得谐波和互调产物将不引起不可靠信号：没有频率是另一个频率的倍数，这些频率中的任何两个频率之间的差不等于这些频率中的任何频率，并且这些频率中的任何两个频率的和不等于这些频率中的任何频率。

这仅是一个示例性实施例，并且如将是显而易见的，存在生成音频可以采用的许多可能的方式，以将标识符编码作为音调的时间-频率分布，例如，作为单个音调的序列，包括至少两个同时发生的音调(例如，至少一个音调对、音调三元组等)的序列，或作为更复杂的分布。

图5表示在一个实施例中的多个加入者(即，加入呼叫的多个用户设备，每个用户设备在加入呼叫时播出生成的铃音)的生成的铃音412、414和416。如图5所示，在其中每个加入者播出普通的、预先记录的铃音410的初始时间段之后，每个加入者生成和播出各自的唯一铃音(412、414、416)，其包括对各自的唯一标识符进行编码的音调的唯一的时间-频率分布。虽然为了便于比较，在图5中这些铃音被示为同时播出，但是将认识到的是，实际上，不同的加入者可以在不同的时间加入呼叫并且播出其各自的铃音。

现在将参照图6A和图6B描述检测和解码定制铃音的过程。

在检测阶段S314期间，客户端106的音频处理块107处理由麦克风105捕获的音频。在该实施例中，块107检测定制铃音并且通过解码所处理的音频中的定制铃音来从中提取标识符(实际上解码/解调定制铃音)。在该实施例中，通过利用适当调谐的滤波器组执行滤波器组分析(本领域已知的技术)来处理所捕获的音频，以识别其中的窄带分量(音调)。

图6A是音频处理块107的示意图。块107包括滤波器组600和检测及识别块604。滤波器组600包括多个带通滤波器602，602’，602”，它们中的每个可操作以在检测阶段S314期间接收所捕获的音频信号的副本。因此，滤波器组将所捕获的音频分解为多个子带信号(每个滤波器一个子带信号)，子带信号被块604接收。在某些实施例中，滤波器组形成由客户端106实现的回音消除系统的一部分，即，滤波器组向客户端106的回音消除组件提供输出，其中滤波器组的该输出被“重用于”(即，同时用于)加入者识别。将同一个滤波器组用于回音消除和加入者识别二者有效地利用了设备104的计算机资源。

调谐铃音以匹配滤波器组的滤波器。例如，在参照表1描述的实施例中，其中8个离散的频率用于对标识符进行编码，滤波器组600包括8个分别调谐到那8个频率中的每个频率的带通滤波器。例如，可以调谐铃音以匹配现有的客户端的滤波器组的音调，滤波器组用于由该客户端进行的回音消除处理，并且滤波器组还适用于识别加入者(见上文)。在分析阶段，可以有更多的子带出现在铃音中(即，可以调谐铃音以仅匹配客户端侧滤波器组的一系列滤波器)。

图6B是在检测阶段由块107执行的方法的示意概括。使用滤波器组600来分解所捕获的音频(S622)。所分解的音频由检测及识别块604接收，检测及识别块604能够根据子带信号、通过确定音调的一个或多个已知的时间-频率分布是否出现在所分解的音频中来检测定制是否出现在所捕获的音频中(S624)。如果出现，则块604可操作以根据预定义的解码规则来将已知的分布映射到相应的标识符(S626)。

例如，在参照表1描述的实施例中，S624涉及检测如在表1中定义的任何频率对是否出现；随后，S626涉及将每个这样的频率对映射到相应的字符(每个对表示已知的分布)，以根据表1(其定义解码规则)从来自所接收的音频的标识符中提取标识符。例如，块604可以分别在(比如)1336Hz和852Hz处检测到同时出现在所过滤的音频中的主要音调对，其可操作以随后按表1映射到字符“8”等。

替代地，块107可以通过对捕获的音频执行频域变换来处理捕获的音频，例如，通过执行快速傅里叶变换或通过使用戈泽尔算法。这种音频处理技术又是本领域已知的。随后，可以通过在频域中检测窄带音调的特定的已知的布置来检测定制铃音，并且随后，可以将所述分布映射到相应的标识符，如上所述。

如将认识到的是，上文描述的调制类型(其中，用于对加入者标识符进行编码的每个“符号”实际上是播出铃音的一个或多个特定频率(子)带中的能量)仅是特定调制类型的一个示例。其它适当类型的调制将是显而易见的，诸如(但不限于)通过载波的调制、相位调制等。

此外，在替代的实施例中，可以将用户设备的标识符以听不见的(声波)“水印”的形式编码到在该用户设备处生成的音频中，水印实际上覆盖在(例如)现有的音频上，以生成新的(定制)音频(例如，可以将听不见的水印注入到普通铃音的音频流中，以便生成编码有标识符的定制铃音)。用于以听不见的“水印”的形式来编码和解码信息的技术是本领域已知的，例如，任何水印方案诸如但不限于扩频音频水印(SSW)，其使用整个音频频谱来嵌入信息。通常，实施例可以修改现有的音频以生成新的(定制)音频，将标识符编码在新的音频中(使用听不见的水印和其它编码技术二者)。例如，在实施例中，可以通过在预定铃音中调制或嵌入生成的分量来生成定制音频。

通常，本文所描述的功能中的任何功能可以使用软件、固件、硬件(例如，固定逻辑电路)或这些实现方式的组合来实现。如本文所使用的，术语“模块”、“功能单元”、“组件”和“逻辑单元”一般表示软件、固件、硬件或其组合。在软件实现的情况下，模块、功能单元或逻辑单元表示当在处理器(例如，一个CPU或多个CPU)上执行时，执行指定任务的程序代码。程序代码可以存储在一个或多个计算机可读存储器设备中。下文描述的技术的特征是平台独立的，这意味着技术可以在具有各种处理器的各种商业计算平台上实现。

例如，用户设备还可以包括使得用户设备的硬件(例如，处理器功能块等等)执行操作的实体(例如，软件)。例如，用户设备可以包括可以被配置为保存指令的计算机可读介质，指令使得用户设备，并且更特别地，使得用户设备的操作系统和相关联的硬件执行操作。因此，指令用于将操作系统和相关联的硬件配置为执行操作，并且以这种方式产生操作系统和相关联的硬件变换以执行功能。指令可以由计算机可读介质通过各种不同的配置提供给用户设备。

计算机可读介质的一种这样的配置是信号承载介质，并且因此被配置为诸如经由网络将指令(例如，作为载波)发送到计算设备。计算机可读介质还可以被配置为计算机可读存储介质并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器以及可以使用磁、光和其它技术来存储指令和其它数据的其它存储器设备。

虽然已经以特定于结构特征和/或方法动作的语言描述了主题，但是要理解的是，在所附的权利要求中定义的主题不必限于上述的具体特征或动作。事实上，上述的具体特征和动作被公开作为实现权利要求的示例形式。

Claims

1.一种用户设备，包括：

网络接口，用于连接到网络；

音频输出组件，用于将音频信号输出至所述用户设备的扬声器；

处理器，被配置为执行通信客户端，所述客户端可操作以

加入通过所述网络进行的呼叫；

在所述用户设备处将所述用户设备的标识符编码到在所述用户设备处生成的音频中；以及

在所述呼叫期间，经由所述音频输出组件来输出所述音频，使得所述音频能够被在所述用户设备的邻近处的、已经参与所述呼叫的第二用户设备的麦克风接收并被所述第二用户设备处理，以识别所述用户设备；

确定所述第二用户设备已识别出所述用户设备；

响应于所述确定来执行以下操作中的至少一个操作：

经由所述客户端的用户界面来向所述用户设备的用户通知所述识别；

降低所述用户设备处的音频水平；

将音频从所述用户设备的音频输入组件提供给音频处理组件，以用于处理；或者

触发由选择组件对所述用户设备的音频输入组件或所述第二用户设备的音频输入组件中的一个音频输入组件的选择，以用于在所述呼叫期间使用。

2.根据权利要求1所述的用户设备，其中，加入所述呼叫的每个用户设备生成各自的音频，所述音频能够被处理以识别该用户设备，由所述用户设备生成的所述音频对于以下各项中的至少一项是唯一的：所述呼叫内的所述用户设备和所述用户设备的用户。

3.根据权利要求1所述的用户设备，其中，所述标识符被编码在所述音频中作为以下各项中的一项：所述音频的时间-频率分布；音频水印。

4.根据权利要求1所述的用户设备，其中，由所述用户设备的所述客户端输出的所述音频包含对所述标识符进行编码的多个可辨别的音调，其中可选地，所述音调对应于滤波器组的滤波器，由所述第二用户设备进行的处理包括执行滤波器组分析。

5.根据权利要求1所述的用户设备，其中，所述音频是以下各项中的至少一项：

当加入所述呼叫时由所述客户端输出的；

使用程序音频算法来生成的。

6.一种用户设备，包括：

网络接口，用于连接到网络；

音频输入组件，用于从第二用户设备的扬声器接收音频信号；

处理器，被配置为执行通信客户端，所述客户端可操作以：

参与通过所述网络进行的呼叫；

当所述客户端正参与所述呼叫时，经由所述音频输入组件接收音频，所述音频是在所述呼叫期间在所述用户设备的邻近处的所述第二用户设备处生成的，并且由所述第二用户设备输出，与所述第二用户设备相关联的标识符被编码到所述第二用户设备处的所述音频中；

在所述用户设备处，从所接收的音频中提取所述标识符，以识别所述第二用户设备；以及

执行以下操作中的至少一个操作：

响应于所述识别来向所述网络发送通知，以便向所述第二用户设备通知所述识别；

将音频从所述用户设备的所述音频输入组件提供给音频处理组件，以用于处理；或者

触发由选择组件对所述用户设备的所述音频输入组件和所述第二用户设备的音频输入组件中的一个音频输入组件的选择，以用于在所述呼叫期间使用。

7.根据权利要求6所述的用户设备，其中，所述用户设备可操作以在响应于从所述网络接收关于所述第二用户设备加入所述呼叫的通知来发起的检测阶段期间接收所述音频。

8.至少一个存储代码的计算机可读介质，当被权利要求1或6所述的处理器执行时，所述代码可操作以实现任何在前权利要求所述的客户端。