CN102355646A

CN102355646A - 用于转录多方对话的移动通信设备

Info

Publication number: CN102355646A
Application number: CN2011102853594A
Authority: CN
Inventors: J·德尔加多; A·A·拉梅拉
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-09-07
Filing date: 2011-09-06
Publication date: 2012-02-15
Also published as: US20120059651A1

Abstract

本发明涉及用于转录多方对话的移动通信设备。一种移动通信设备包括用于通过广域网通信的网络接口、用于通过PAN通信的输入/输出接口、以及显示器。该通信设备还包括一个或多个用于执行机器可执行指令的处理器、以及一个或多个用于存储机器可执行指令的机器可读存储介质。所述指令在被所述一个或多个处理器实现时实现语音接近度组件、话音到文本组件、以及用户界面。话音接近度组件被配置为从多个用户语音中选择第一用户的语音。第一用户语音属于最接近该移动通信设备的用户。话音到文本组件被配置为把从第一用户而不是其他用户接收的话音实时地转换成文本。用户界面被安排为在文本通过PAN被从其他移动通信设备接收时在显示器上显示该文本。

Description

用于转录多方对话的移动通信设备

技术领域

本发明涉及用于转录多方对话的移动通信设备。

背景技术

听力受损的个体在使用电话或其他语音通信设备时遇到不便。这些个体需要诸如电子电传打字设备之类的特殊设备，使得他们可以阅读由呼叫另一端的一方“说出”的任何话。可替代地，听力受损的个体可以使用由服务提供商所提供的依照美国残疾人法案(American Disabilities Act)在被听力受损的个体请求时提供该服务的第三方电信中继服务(TRS)。TRS服务需要在线的操作员，该操作员使用电传打字机将话音转录成文本或者可能还将文本转录成话音。为了访问TRS服务，听力受损的个体拨打特殊的TRS电话号码来与TRS操作员建立连接。当最初被联系以进行呼叫时，操作员将完成呼叫的到被叫方的第二段过程(leg)。受损或非受损的人可以通过呼叫TRS操作员来发起到受损或非受损的个体的呼叫。

由听力受损者所使用的这些技术都共有共同的缺点：它们仅仅在双方通信中是有用和有效的。例如，如果听力受损的个体出席具有多个其他参与者的会议，则他们难以同时听懂一个以上的讲话者，从而使得他们难以参与团队或协作工作。

发明内容

希望参与具有其他参与者的亲自出席会议的听力受损的个体可以在其他参与者也具有移动通信设备的情况下使用移动电话等等之类的移动通信设备来实现这一点。首先，这些设备可以使用诸如蓝牙TM之类的短作用距离的通信协议来在它们自己间建立个域网(PAN)。每个通信设备都可以确定正在使用该设备的特定参与者。在一个实施方式中，这可以通过检测最响亮的语音来实现，其中最响亮的语音可以合理地被认定为属于最接近的参与者，该参与者进而最可能是该设备所属的参与者。然后，每个移动通信设备都可以将从其相应的参与者接收的话音转换成文本。然后，该文本可以通过PAN被发送给听力受损的个体的通信设备(并且也可能被发送给其他参与者的通信设备)，在那里，该文本可以被显示，使得其可以被听力受损的个体阅读。

在一个特定的实施方式中，提供有如下的移动通信设备：其包括用于通过广域网通信的网络接口、用于通过PAN通信的输入/输出接口、以及显示器。该通信设备还包括一个或多个用于执行机器可执行指令的处理器、以及一个或多个用于存储机器可执行指令的机器可读存储介质。所述指令在被所述一个或多个处理器执行时实现语音接近度组件、话音到文本组件、以及用户界面。话音接近度组件被配置为从多个用户语音中选择第一用户的语音。第一用户语音属于最接近该移动通信设备的用户。话音到文本组件被配置为把从第一用户而不是其他用户接收的话音实时地转换成文本。用户界面被安排为在文本通过PAN被从其他移动通信设备接收时在显示器上显示该文本。

提供本发明内容以便以简化形式介绍在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1示出了配备有移动通信设备的三个个体出席会议的说明性操作环境。

图2示出了蓝牙点对多点PAN的一个示例。

图3示出了移动通信设备的一个说明性示例。

图4示出了通信转录器应用的一个说明性示例的组件。

图5是示出了被通信设备用来参与PAN并且对会议、会谈等等中的参与者的对话进行转录的方法的一个示例的流程图。

具体实施方式

图1示出了三个个体10、20和30出席会议的说明性操作环境。所有出席者都在物理上彼此紧密地接近。也就是说，参与者彼此足够紧密地接近，使得他们可以听见由其他参与者讲出的话音。在这种情况下，例如个体10、20和30全部都围绕会议桌50就座。个体10、20和30之中的每个都具有相应的移动通信设备15、25和35。这些移动通信设备可以是基本上任何能够通过无线广域网通信的便携式计算设备。这样的设备包括例如蜂窝电话、智能电话、显示寻呼机、射频(RF)设备、红外(IR)设备、个人数字助理(PDA)、手持式计算机、膝上型计算机、可佩戴计算机、图形输入板计算机、组合以上设备中的一个或多个的集成设备等。

除了通过广域网通信，移动通信设备15、25和35还能够彼此建立或进入个域网(PAN)40。PAN是以家庭、个人或商业设定的使用无线技术来在短距离内交换数据和语音的移动和台式电子设备的集合。蓝牙无线通信网络是一种用于实现PAN的方法。蓝牙是将跳频方案用作访问方法的用于无线通信的规范，该访问方法具有高达大约10米的范围。所使用的波长位于未许可的2.4GHz、工业科学医学(ISM)频带中。在下面的公开中，术语“蓝牙网络”是指具有根据蓝牙规范的操作能力的无线通信网络。

蓝牙规范的原始意图曾是通过支持经由无线电接口的通信来消除诸如电话、个人计算机(PC)卡和无线耳机之类的设备之间的电缆。如今，蓝牙规范定义了真实的自组织无线网络，该无线网络旨在用于同步通信量(例如语音)和异步通信量(例如基于因特网协议(IP)的数据)两者。诸如蓝牙之类的PAN的意图是，诸如电话、个人数字助理(PDA)、膝上型计算机、数码相机、视频监视器、打印机和传真机之类的商品设备将能够借助于根据标准规范设计的硬件和相关联的软件通过无线电接口进行通信。尽管PAN 40可以是符合蓝牙的网络，但是PAN 40不限于蓝牙PAN，并且例如可以包括超宽带(UltrawideBand)(“UWB”)或其他合适的网络。例如，在其他实施例中可以使用红外(IR)或802.11通信。然而，为了说明的目的，将作为蓝牙PAN来描述PAN40以用于下面的谈论目的。

图2示出了蓝牙点对多点PAN 60的示例。尽管该示例示出了主从关系，但是也可以采用对等PAN。两个或更多个启用蓝牙的共享相同信道的设备形成PAN。也就是说，PAN是以自组织方式通过蓝牙无线技术连接的设备的集合。在PAN之内，蓝牙设备可以具有下面两种角色任一：主机或从机。在每个PAN之内，通常仅仅存在一个主机以及至少一个活动的从机设备。主机设备是PAN网络内的如下设备：该设备的时钟和地址被用于同步该PAN中的所有其他设备。蓝牙系统支持点对点和点对多点连接二者。因此，在PAN中可以存在高达7个活动的从机设备。也就是说，PAN始于诸如便携式PC和蜂窝电话之类的两个连接的设备，并且可以增长到8个连接的设备。通常，蓝牙设备是对等单元并且具有相同的实施方式。而且，每个蓝牙设备通常都可以变成PAN中的主机。然而，当建立PAN时，一个设备充当主机，并且其他一个或多个设备在PAN连接的持续时间内充当从机。在操作中，主机设备周期性地轮询从机设备以确认从机设备在线并且促进数据传输。该轮询(即扫描速率)根据给定设备必须与之通信的其他设备的数目和类型以及所涉及设备的通信要求而变化。

图3示出移动通信设备200的一说明性示例。移动通信设备200可以包括与图3中所示的组件相比更多或更少的组件。移动通信设备200可以例如表示图1的移动通信设备15、25和35。如图所示，移动通信设备200包括通过总线224与大容量存储器230通信的处理单元(CPU)222。移动通信设备200还包括电源226、一个或多个网络接口250、音频接口252、显示器254、小键盘256、输入/输出接口260、以及触觉接口262。电源226向移动通信设备200提供电能。可以使用可充电或不可充电的电池来提供电能。电能还可以由外部电源来提供，如对电池进行补充和/或再充电的AC适配器或供电对接托架。

移动通信设备200可以任选地与基站(未示出)通信，或直接与另一计算设备通信。网络通信接口252包括用于将移动通信设备200耦合到一个或多个网络的电路，并被构造为用于与一个或多个通信协议和技术一起使用，这些通信协议和技术包括但不限于，全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、用户数据报协议(UDP)、传输控制协议/因特网协议(TCP/IP)、SMS、通用分组无线业务(GPRS)、WAP、超宽带(UWB)、IEEE 802.16微波存取全球互通(WiMax)、SIP/RTP、或各种其它无线通信协议中的任一种。网络接口250有时被称为收发机、收发设备、或网络接口卡(NIC)。

音频接口252被安排为产生和接收音频信号，如人类语音的声音。例如，音频接口252可以耦合到扬声器和话筒(未示出)，以允许与其他人进行电话通信和/或生成对某一动作的音频确认。显示器254可以是液晶显示器(LCD)、气体等离子体、发光二极管(LED)、或与计算设备一起使用的任何其它类型的显示器。显示器254还可包括被安排成从诸如指示笔或人类手指等物体接收输入的触敏屏幕。小键盘256可包括被安排成从用户接收输入的任何输入设备。例如，小键盘256可以包括按钮数字拨盘、物理键盘、虚拟屏幕上键盘等等。小键盘256还可包括与选择和发送图像相关联的命令按钮。触觉接口262被安排为向客户机设备的用户提供触觉反馈。例如，触觉接口可以用于在计算设备的另一用户呼叫时使移动通信设备200以特定方式振动。

移动通信设备200还包括用于利用诸如头戴耳机、或者图2未示出的其它输入或输出设备之类的外部设备参与PAN的输入/输出接口260。输入/输出接口260可以利用一种或多种通信技术，如USB、红外、蓝牙TM等。“参与”是指通信设备可以检测到地理上接近该通信设备的、可以与该通信设备建立通信连接的启用PAN的设备，其中通过该连接，该设备可以发送和接收数据。通常，PAN中的两个通信设备之间的地理接近度不超过100米，但是该距离不限于用于建立PAN的任何特定短距离射频通信系统的精确通信特性。更确切而言，在此提出的方法、技术和设备构思了可以用来建立PAN的任何合适的短距离射频通信系统的特性。

大容量存储器230包括RAM 232、ROM 234，并可能包括其它存储介质。大容量存储器230示出用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的计算机存储介质的示例。大容量存储器230存储用于控制移动通信设备200的低级操作的基本输入/输出系统(“BIOS”)240。大容量存储器还存储用于控制移动通信设备200的操作的操作系统241。操作系统可以包括虚拟机模块或者与虚拟机模块对接，所述虚拟机模块例如通过诸如Java、Python或者Ruby应用程序之类的合适应用来实现对硬件组件和/或操作系统操作的控制。

存储器230还包括一个或多个数据存储介质244，该数据存储介质244尤其是可以被移动设通信备200用来存储应用242和/或其它数据。例如，数据存储244介质还可以被用来存储描述移动通信设备200的各种能力的信息。位于存储器230中的应用242可以包括计算机可执行指令，所述指令在由移动通信设备200执行时发送、接收、和/或以其它方式处理消息(例如SMS、MMS、IM、电子邮件、和/或其它消息)、音频、视频，并允许与另一客户端设备的另一用户进行电话通信。应用程序的其它示例包括日历、浏览器、电子邮件客户端、IM应用、SMS应用程序、VOIP应用、联系人管理器、任务管理器、代码转换器、数据库程序、文字处理程序、安全应用、电子表格程序、游戏、搜索程序等。

可以存储在存储器230中的一个应用是通信转录器应用245。尽管在图3中被示为应用，但是通信转录器还可以例如以硬件或硬件和软件的组合来实现。可替代地，通信转录器应用的全部或一部分可以是另一应用或者甚至操作系统241的组件。图4示出了通信转录器应用245的一说明性示例的三个组件：语音接近度组件或模块310、会议管理器320、以及话音到文本组件或模块330。

语音接近度组件310被配置为确定哪个个体与通信设备200最接近。该通信设备可以合理地被认定为属于与其最接近的人并且由该人使用。在一个实施方式中，语音接近度组件可以通过检查房间中的各个个体的语音的音量来作出该确定。例如，最响亮的语音可以被认定为属于正在使用该特定通信设备的个体。当然，语音接近度组件310可以使用诸如语音识别等等之类的其他技术来确定哪个个体与通信设备200最接近。在一个可替代的实施例中，替代于语音接近度组件，可以使用语音识别软件来标识出该通信设备所属的用户的语音。

通信转录器应用245的话音到文本组件330被配置为转录由通信设备中的麦克风接收到的话音并且在显示器254上显示表示该话音的文本。该对话可以基本上实时地被转录和显示以允许个体在对话期间查看转录并且将其存储以供之后引用。会议管理器320被配置为控制通信转录器应用245的总体操作，并且由此与语音接近度组件310和话音到文本组件330二者进行通信。会议管理器320还可以包括图形用户界面，该图形用户界面允许用户选择性地开启和关闭转录特性，选择从中执行转录的语言等等。当然，图形用户界面可以是与会议管理器320分开的组件。

在一个可替代的实施方式中，通信转录器应用245的功能的全部或一部分可以驻留在与通信设备通信的服务器上。以该方式推卸转录过程可以提供多种优点，包括节省通信设备上的处理功率。通信设备可以通过诸如PAN或蜂窝网络和/或比如因特网的其他网络之类的无线网络与服务器通信。

下面的场景将用于说明在出席者或参与者之一听力受损的会议期间可以使用通信转录器应用245的方式。首先，在出席者的所有通信设备间建立PAN。该过程的细节将取决于用于实现PAN的特定技术。任选地，用户可以通过经由通信转录器应用的用户界面输入他或她的姓名来建立他或她与通信设备之间的关联。通过这种方式，每个出席者都可以通过所创建的转录本上的姓名被标识出。

当出席者开始讲话时，为方便起见可以被设置为讲话者模式的每个通信设备将标识出最响亮的语音并且认为该语音属于正在使用该设备的出席者。然后，每个设备都将把其相应用户的话音转换成文本。重要的是，这些设备将不转换除了占有该设备的用户以外的任何其他参与者的话音。事实上，为了增强转录过程的保真度，可以在将话音转换成文本以前使用信号处理技术来滤除其他语音。

为了保证近似实时的转录，当每个说出的单词(或其他更大或更小的话音片段)被转录成文本时，其通过PAN被发送给所有其他的通信设备。可以将时间戳附加到每个单词或其他文本片段，使得进行接收的通信设备可以以合适的次序重建文本。被附加到每个单词或其他文本片段的还有标识出发送该单词的通信设备的标识符。如果用户已经通过通信转录器应用的用户界面将他或她的姓名输入到了设备中，则该姓名将被用作所发送的标识符。

当单词被接收时，它们以时间次序被呈现在属于听力受损出席者的通信设备的显示器上。通过这种方式，出席者间的整个对话的转录本被创建。转录本还可以被呈现在其他出席者的通信设备的显示器上。然而，转录器应用的用户界面可以包括允许每个个体阻止文本被显示的选项。

如果听力受损的出席者也是语言能力受损的，他或她可以通过将文本键入或以其他方式输入到他或她的通信设备中来与其他出席者通信。然后，该文本通过PAN被发送到其他通信设备，使得其可以被呈现给其他出席者。可替代地或附加于此地，该文本可以被(听力受损的出席者的通信设备中的或其他出席者的通信设备中的)话音到文本组件转换成话音并且以可听方式被实时地呈现。

图5是示出了被通信设备用来参与PAN并且对会议、会谈等等中的参与者的对话进行转录的方法的一个示例的流程图。首先，在步骤405，在参与者的通信设备间建立PAN。进入PAN的启用PAN的设备可以例如使用常规的服务发现协议来以电子方式检测PAN的存在。服务发现协议是现有技术中公知的，并且允许自组织对等网络中的设备动态地发现设备和服务。因此，服务发现架构通过为应用、服务和设备提供用于将其能力通告给其他应用、服务和设备以及发现它们的能力的标准方法来实现自配置的动态网络。服务发现架构还允许应用、服务和设备搜索其他应用、服务或设备的特定能力、以及请求和与它们建立可互操作的会话以利用这些能力。这些设备尤其是同步它们的时钟以建立共同的时间。在蓝牙的情况下，该时钟通常将与主机设备同步。

现在回到图5，在步骤410，通信设备中的通信转录器应用被激活并且诸如用户的姓名之类的各个用户输入以及转录和显示设定被接收。在步骤415，参与者开始讲话，并且在步骤418，每个设备都将其自身与其相应的参与者相关联。如前面所提到那样，在一个实施方式中，该关联可以通过选择最响亮的语音来建立。接着在步骤420，每个通信设备都执行信号处理以滤除或以其他方式消除除了与之相关联的语音以外的所有语音。

由于各个参与者可以通过语音或文本任一来通信，因此通信管理器在步骤425确定：从其相应的参与者所接收的通信是话音还是文本。如果是话音，则在步骤430，该话音在随着其被接收而被转化能成文本。可替代地，如果参与者通过输入文本来通信，则在步骤435，通过对已经使用空格键提供有空格的点进行定位而分析每个单独的单词。一旦使单独的单词在文本中可用，则元数据就在步骤440被添加以形成消息。该元数据例如可以包括时间戳和设备或参与者标识符。参与者标识符在姓名已经被提供给通信管理器的情况下可以是该姓名。然后，消息在步骤445通过PAN被发送给其他通信设备并且在450被这些设备接收。当各个消息被接收时，它们可以被顺序地在呈现在设备的显示器上的转录本中排序。如在步骤455中那样，这可以通过如下方式来实现：检查每个消息的时间戳以确定其在时间上是否早于之前从该参与者接收的任何其他消息。如果是这样，则在步骤460，该消息被添加到其在转录本中的合适位置处、即处于来自该参与者的具有直接领先于其自己的时间戳的消息之后并且处于来自该参与者的具有靠后的时间戳的任何消息之前。否则，在步骤465，单词被添加到转录本中与该参与者相关联的最后一个单词之后。最后，在步骤470，显示器被更新为包括最后接收到的消息。

如在本申请中所使用的，术语“组件”、“模块”、“系统”、“接口”等一般旨在表示计算机相关的实体，该实体可以是硬件、硬件和软件的组合、软件、或者执行中的软件。例如，组件可以是，但不限于是，在处理器上运行的进程、处理器、对象、可执行码、执行的线程、程序和/或计算机。作为说明，运行在控制器上的应用和控制器都可以是组件。一个或多个组件可以驻留在进程和/或执行线程中，并且组件可以位于一个计算机内和/或分布在两个或更多的计算机之间。

此外，所要求保护的主题可以使用产生控制计算机以实现所公开的主题的软件、固件、硬件或其任意组合的标准编程和/或工程技术而被实现为方法、装置或制品。在此使用的术语“制品”旨在涵盖可以从任何计算机可读设备、载体或存储介质访问的计算机程序。例如，计算机可读介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁带...)、光盘(例如，紧凑盘(CD)、数字多功能盘(DVD)...)、智能卡，以及闪存设备(例如，卡、棒、键驱动器...)。当然，本领域的技术人员将会认识到，在不背离所要求保护的主题的范围或精神的前提下可以对这一配置进行许多修改。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但是可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种用于促进多个参与者间的对话的方法，所述多个参与者彼此接近得足以听见由其他参与者讲出的话音，所述参与者之中的每个都具有移动通信设备，该方法包括：

建立405具有与所述参与者相关联的多个移动通信设备的个域网(PAN)；

由所述移动通信设备之中的第一移动通信设备中的麦克风接收来自多个参与者的话音；

至少部分地基于所接收的话音将第一参与者与第一移动通信设备相关联418；

随着话音被接收将从第一参与者而不是其他参与者接收的多个话音片段转换430成多个相应的文本片段。

将元数据附加440到所述多个文本片段之中的每个文本片段以形成第一多个消息，这些消息中的每个都对应于所述文本片段之一；以及

通过PAN将所述消息发送445给所述多个移动通信设备以供呈现给与其相关联的参与者。

2.如权利要求1所述的方法，其特征在于，将第一参与者与第一移动通信设备相关联418包括：选择最接近第一移动通信设备的参与者。

3.如权利要求2所述的方法，其特征在于，选择最接近第一移动通信设备的参与者包括选择如下的参与者：该参与者的所接收的话音与从任何其他参与者接收的话音相比在音量上最响亮。

4.如权利要求1所述的方法，其特征在于，第一参与者与第一移动通信设备的相关联418是由语音识别软件来执行的。

5.如权利要求1所述的方法，其特征在于，转换430话音片段包括：在第一移动通信设备上转换话音片段。

6.如权利要求1所述的方法，其特征在于，转换430话音片段包括：在通过网络与第一移动通信设备通信的服务器上转换话音片段。

7.一种用于促进多个参与者间的对话的方法，所述多个参与者彼此接近得足以听见由其他参与者讲出的话音，所述参与者之中的每个都具有移动通信设备，该方法包括：

通过PAN从多个所述移动通信设备接收450第一多个消息，所述消息中的每个都包括第一文本片段、话音片段被转录成相应第一文本片段的参与者的标识符、以及表示第一话音片段被讲出的时间的时间戳。

从第一多个消息中选择455第二多个消息，所述第二多个消息全部具有共同的第一标识符；

从第二多个消息中提取465第二文本片段；

将第二文本片段以按照其相应的时间戳所确定的顺序次序进行显示470。

8.一种移动通信设备200，包括：

网络接口250，该网络接口250用于通过广域网进行通信；

输入/输出接口260，该输入/输出接口260用于通过PAN进行通信；

显示器；

一个或多个处理器222，所述一个或多个处理器222用于执行机器可执行指令；以及

一个或多个机器可读存储介质232，所述一个或多个机器可读存储介质232用于存储所述机器可执行指令，所述指令在被所述一个或多个处理器执行时实现：

a)语音接近度组件310，该语音接近度组件310被配置为从多个用户语音中选择第一用户语音，所述第一用户语音属于最接近该移动通信设备的第一用户；

b)话音到文本组件330，该话音到文本组件330被配置为把从第一用户而不是其他用户接收的话音实时地转换成文本；

c)用户界面，该用户界面被安排为在文本通过PAN被从其他移动通信设备接收时在该显示器上显示该文本。

9.如权利要求8所述的移动通信设备，其特征在于，选择最接近移动通信设备200的用户包括选择如下的参与者：该参与者的所接收的话音与从任何其他参与者接收的话音相比在音量上最响亮。

10.如权利要求8所述的移动通信设备，其特征在于，进一步包括会议管理器组件320，该会议管理器组件320被配置为从由该输入/输出接口接收的第一多个消息接收第二多个消息，所述第二多个消息全部都具有共同的标识出讲话者的标识符，其中会议管理组件320被进一步配置为从第二多个消息中提取文本片段，所述文本片段作为文本被显示在该显示器上。