CN105493425A - 在拥挤的通信信道中维持音频通信 - Google Patents

Abstract

本发明涉及通信系统和在拥挤的通信信道中维持音频通信的方法，所述通信信道当前正承载在发送器侧和接收器侧之间的音频通信中的语音传输，所述通信信道具有至少一个信令信道和具有服务质量的至少一个有效载荷信道。在音频通信期间，监控有效载荷信道的服务质量。如果有效载荷信道的服务质量低于阈值，那么在各自发送器侧处语音被转换成文本，并在所保留的通信信道上被传输至各自接收器侧。可以在接收器侧处将文本转换回到语音。

Description

在拥挤的通信信道中维持音频通信

技术领域

本发明涉及在拥挤的通信信道中维持音频通信的方法，用于实现这样的方法的计算机程序，具有存储在其上的用于实现该方法的应用的非暂时性计算机可读媒体，以及适于实现该方法的通信系统。

背景技术

用户经常遇到关于传输数据诸如尤其是语音数据的问题，其由诸如高比特错误率（BER）或分组丢失的网络问题引起。这些问题尤其经常地在无线音频通信中发生。作为结果，通信质量可能下降并且急剧地变成劣质。如果这些错误起因于关于整个网络的问题而不仅仅起因于一个特定的通信信道，那么重拨甚至都不将有助于建立具有更好质量的通话。然而该通话可能是重要的，诸如例如在紧急通话中。

因此，电信提供商应提供好的解决方案来挽救音频通信，即使在严重的网络问题情况下。

由于劣质的带宽、高分组延迟、过多的分组丢失或高BER，采用所协商并建立的编解码器和/或承载信道（bearerchannel）挽救通信可能是不可能的。

根据US7,617,106B2，为了检查正确的语音到文本（STT）转换，经转换的文本被再次转换成语音。然后经由立体声头戴式耳麦再现原始语音和从文本表示创建的语音两者。对校对者（proof-reader）（其在该情况中为听力校对者（proof-listener））来说在原始的和经转换的语音之间找到差别是容易的。US7,697,551B2教导经由系统互连电话和即时通讯（IM）。该系统将IM文本转换成语音，并且然后将语音转换回到IM文本。US2002/123892A1公开了用于将语音转换成文本的嵌入式系统，该文本在界面上被呈现给用户。在有错误的情况下，用户向系统提供误识别错误指示。在对此的回应中（inturnofthis），将音频输入连同对主动语言模型的参考一起转发到训练过程。根据CN201440733U，由移动通信设备的相机捕获手语（signlanguage）图像。从所述图像构建照片追踪，并将照片追踪转换成不明确的文本信息。通过语法和词汇结合参数来进一步精炼该文本。JP2006005440A教导在嘈杂的环境中的情况下，移动电话的相机对嘴唇运动拍照并传输它们。在接收器侧处，这些照片被显示为运动照片。作为替换，只传输嘴唇运动参数。根据US2005/049868A1，将词汇或短语传递到文本到语音应用。然后将所创建的语音传递到一个或多个语音到文本引擎。对所导出的词汇或短语分配置信度级别。

可以通过根据权利要求1的方法解决上面提及的问题。本发明的有优势的实施例是从属权利要求的主题。

根据本发明，在当前承载在发送器侧和接收器侧之间的音频通信中的语音传输的拥挤的通信信道中维持音频通信的方法，其中通信信道包括至少一个信令信道和至少一个有效载荷信道，其具有（可变）服务质量，所述方法包括以下步骤：监控有效载荷信道的服务质量，假使有效载荷信道的服务质量低于指定阈值，中断在有效载荷信道上来自发送器侧的语音发送，而同时保留通信信道的至少信令信道。换言之，本方法提供了在不结束（drop）通信信道的情况下，即在维持通信信道的至少信令部分时，停止音频数据的发送。不言而喻，可以实现对语音数据（也被简称为“语音”）的发送的该中断，维持“全部的”通信信道，即还有其有效载荷信道。语音被转换成文本并作为文本数据被发送到接收器侧，而不是从发送器向接收器侧传输语音。除非由用户或由通信方法的控制中心另外指示，否则在接收器侧上产生的语音将被转换成文本并被发送到现在为接收器侧的（从前的）发送器侧。换言之，在切换成仅传输文本数据之后，在各自发送器侧处的语音被转换成文本并被传输到各自接收器侧。

如所解释的那样，通过使用本发明的方法，甚至在劣质的服务质量的情况下都可以挽救通话。

根据本发明的一方面，文本数据的传输在有效载荷信道上发生。

本发明是基于如下推理，拥挤的通信信道的带宽可能仍足以传达/传输如文本数据的必要信息，并且以避免音频流式传输（audiostreaming）以便能够使用具有低服务质量或带宽的信道。可以通过在所有类型的通信中存在的矩阵来感测服务质量。除其它之外，可以如下检测在有效载荷信道或实时传输协议（RTP）信道中的声音流的服务质量：

1）顺序地给在流中的RTP分组（其在IPUDP（用户数据报协议）分组中被传输）计数。当一个或多个分组正缺少时容易地检测分组丢失。还可以检测在序列外的分组。这可能发生在IP分组采取不同的路线到目的地时。

2）具有比特错误的分组指示坏的分组。虽然RTP流可能不具有比特错误检测机制，但是一些编码、RTP有效载荷具有检测比特错误的可能性（根据RFC4867）。在该上下文中，可以使用像G.722的编解码器和AMR类型的编解码器。

3）也可以使用在接收器中设置的抖动缓冲器和分组延迟来检测劣质的传输质量。基于所定义的/所使用的编解码器，确定RTP分组间隔。由于在传输周期上的分组延迟，通常使用专用缓冲器来缓冲少数分组并消除抖动到达。该缓冲器引起在流外的被延迟的播放（play）。由于在接收器侧上的人没有看到发射器，容许高达某一延迟量（也被称为“滞后”）。然而，该缓冲器的大小是有限的，并且当延迟分组的到达超过该缓冲器大小时，于是由接收器侧将识别语音中的停顿。抖动缓冲器的欠载运行（underrun）也可以指示坏的声音质量（服务质量）。

4）在流重构后还可以使用分析音频来检测坏的音频质量。基于突然的音频变化，可能检测不规则性。

如果本发明的方法包括将所接收的文本转换回语音的步骤，那么对各自接收器来说可以是有优势的。在该情况中，在电话通话或音频通信中涉及的用户可以继续他们的基于听觉的通信，而不是被迫读取先前被从语音转换成文本的所传输的文本。各自用户在其末端处可以强制系统继续显示通过通信信道传输的文本而不是使该文本重新转换成语音当然是可能的。

假使连续地监控有效载荷信道的服务质量，只要检测到了足够的服务质量就切换回在所保留的有效载荷信道上传输语音以便重新建立“正常的”音频通信或电话通话可以是有优势的。

只要语音的发送被中断并替代地传输起因于语音到文本转换的文本数据，就向各自接收器侧发送警报消息可以是有优势的。这可以帮助各自接收器更好地为当前通信即将到来的变化做准备。

假使正使用某一密钥和特殊算法加密当前音频通信，那么使用相同的密钥和相同的算法用于也加密所传输的文本是有优势的。以这种方式，即使针对仅文本数据的传输发生了变化还是可以维持安全连接的特性。

根据本发明的一方面，仅信令信道可以被用于传输文本。因此，例如在其中服务质量（传输质量）变得过低的情况中，或为了挽救用于使用有效载荷信道的费用，结束当前通信信道的有效载荷信道是可能的。在该实例中，数据可以是以任何格式，诸如RAW、XML或其它格式。然而，应用信号通知通信伙伴其它数据而不是先前同意的/协商的那些数据将到达了以及哪个类型和格式的文本将到达。

根据本发明的进一步的方面，可以包括检测语音的语言的步骤以便将语音转换成适当语言的文本。由于语音到文本技术是相当先进的，因此该解决方案可以很好地被用于本发明。假使STT不能够检测语言，应从在当前通信的在其处发起了传输文本而不是语音的变化的该末端处的通信设备的设置指示要被使用的语言。

为了改善处理，当由在该时间是发送器的一方从语音传输到文本传输的即将来临的变化与所涉及的另一方，例如在时间的该点处接收器协商时，是有优势的。虽然协商到文本的切换，但是发送器还可以指示正使用哪个默认语言用于文本传输。

一些STT和TTS（文本到语音）解决方案允许用户确定诸如要在接收器侧处的TTS中使用的声音类型的类别和预定义声音特性的进一步的参数。发送器例如可以在其文本有效载荷中指示语言是美式英语并且“声音=Mike”。一些现有技术TTS解决方案使用像是Mike（用于男性）或Mary（用于女性）的这些预定义的声音特性。接收器可以接受这样的选择或通过进行自己的选择或通过使用默认值来驳回。

为了使在接收器侧上的文本到语音过程容易，使用在各自发送器侧处将语音转换成文本的语音学类型的步骤可以是有优势的。

根据本发明的进一步的方面，用户可以通过输入各自的命令按需强制电信系统从语音传输切换到文本传输。用户可以例如希望使用不同于他或她自己的声音的声音用于特殊的通信。另一示例是减少可能由到文本传输的切换获取的在背景中的干扰噪声。假使通信设备是足够先进的以识别各自用户的声音并且最佳地将其转换成文本，那么这工作良好，因此输出将增加在接收器侧上的清晰度。

还通过非暂时性计算机可读媒体来解决上面提及的问题，在所述计算机可读媒体上存储能够实现如上面描述的方法的各自应用。不言而喻，必须设计应用使得其可以在各自通信设备的处理器上被执行。

还通过用于通信设备的处理器的计算机程序或计算机程序产品来解决上面的问题，该程序被设计成实现如上面描述的方法。

根据本发明的进一步的方面，还可以通过通信系统来解决上面的问题，其包括第一通信设备、第二通信设备、用于将该第一通信设备与该第二通信设备连接的至少一个通信信道、以及用于以可以实现如上面描述的方法的方式控制在该第一通信设备和该第二通信设备之间的通信的处理器。该第一和第二通信设备可以是例如桌面电话、PDA、智能电话或装备有麦克风并被连接到电话网络的计算机。

不言而喻，根据本发明的通信系统可以包括如关于本发明的方法描述的特征中的任何特征，并且如上面关于本方法描述的任何优势或特殊性也可以存在于本系统中。

通信系统还包括用于检测语音的语言并将其转换成在适当语言中的文本的语言检测装置可以是有优势的。由在发送器侧和接收器侧处的两个用户所使用的语言可以不必是相同的，以便例如每个用户可以使用他/她自己的母语，然后其将以相同语言的各自文本被变换。

假使没有语言协商，那么在接收器侧处的一方可以忽视消息（假使其不能够解释来自发送器侧的所指示的语言）。另外，一个用户可能注意到缺少适当的通信—这可能导致沉默。在该情况中，各自用户可以继续通信/通话、终止通话或仅通过在麦克风中说出该事实来向另一侧传达通信问题。

如果在接收器侧处的用户不能够处理以一般的或以当前格式的TTS，那么各自用户可以忽视该事实或试图将问题传达给另一侧。

如上面指示的那样，在感测到在没有改变的情况下服务质量不足以维持音频通信时发生到文本而不是语音的传输的切换。

在附图中以不将以限制性方式被解释的示例性的方式示出本发明的有优势的实施例。

附图说明

图1描绘了根据本发明的通信系统的一种可能的实施例，其中可以实现本发明的方法的第一实施例；以及

图2描绘了与在图1中相同的通信系统并且示出了可以如何实现本发明的方法的第二实施例。

具体实施方式

如在图1中可见的那样，根据本发明的通信系统20包括第一通信设备A，第二通信设备B，通过其两个通信设备A、B可以与彼此连接的通信网络10。通信网络10可以是PSTN（公共开关电话网络）、用于移动通信的网络或任何其它适当的网络。交换机28被显示为电信网络10的一个组件。可以使用移动电话、智能电话、桌面电话或类似设备作为第一和第二通信设备A、B。作为示例，示出了两个信令线或信道33和34，采用其两个通信设备A和B能够分别地建立与彼此的通信。可以采用有效载荷信道36设置这样的通信，所述有效载荷信道36也可以被称作RTP信道或承载信道。

可以通过可以使处理器40实现本发明方法的特殊的计算机程序52或计算机程序产品来实现本发明的方法。处理器40被描绘成被提供在第一和第二通信设备A和B中。可选地，替代地其可以例如被提供在交换机28中或在控制中心（未示出）中。换言之，本发明的方法是计算机实现的。替换地，也可以通过硬件实现本方法。计算机程序52被象征性地描绘为存储在计算机可读媒体50上，其可以是记忆棒、储存卡、SSD驱动或“一般的”硬驱动，这些仅是用于这样的非暂时性计算机可读媒体的示例。

为了描述本发明的方法，可以假设已经使用通信信道30建立了在第一通信设备A和第二通信设备B之间的会话，所述通信信道30包括信令信道33、34和有效载荷信道36。在时间中的某一点处，第一通信设备A检测到在通信信道30的有效载荷信道26中的服务质量变得如此劣质以致在不执行改变的情况下其不足以维持音频通信。

出于描述本发明的方法的目的，首先第一通信设备A形成通信的发送器侧22，并且第二通信设备B形成通信的接收器侧24。

使用SIP（会话初始化协议）描述本发明的方法。不言而喻，可以替代地使用任何其它通信协议，并且本发明不被限制于SIP的使用。考虑到该情况，第一通信设备A经由信令线33向交换机28发送邀请消息。在该邀请消息中，将会话描述协议（SDP）定义成非活动的。然后，交换机28在SDP被定义为非活动的情况下向第二通信设备B发送邀请消息。第二通信设备B在SDP仍为非活动的情况下向交换机28发送回回答消息。交换机28在SDP仍为非活动的情况下发送所谓的消息200OK回到第一通信设备A。第一通信设备A实现对采用与第一通信设备A相关联的麦克风21记录的语音数据的语音到文本（STT）的转换。作为示例，将德语句子“WiestarkistderSturm?（风暴有多强？）”与德语为由系统使用的语言的指示一起放置在信令线33中作为文本信息。相同的消息由交换机28放置到信令线34中并被发送到第二通信设备B。在接收器侧24（第二通信设备B）处的接收之后，实现对该消息的文本到语音（TTS）转换，并且经由与第二通信设备B相关联的扬声器23输出该结果。使用第二通信设备B的用户可以通过向他/她自己的麦克风（未示出）中说出“Thewindspeedis250milesperhour（风速为每小时250公里）”来回答问题。对来自现在是发送器22侧的第二通信设备B的该语音数据进行STT转换，并且将数据放置在消息200OK中（与语言是美式英语的指示一起）并被发送到交换机28。交换机28将该消息传递到现在为接收器侧24的第一通信设备A，在那里该消息被TTS转换并经由扬声器（未示出）被输出。

只要期望或者必要就可以继续这种通信方式，或直到各自通信的末端。要注意的是，这里没有语言协商。如果接收器侧24不能够解释来自发送器侧22所指示的语言，那么接收器侧24然后可以或应该忽视各自消息。在接收器侧24处的用户可以意识到缺少适当的通信（例如，通过仅听到沉默）并由用户决定是继续或是终止通话。同样的过程应用于在发送器侧22处的用户。

在图2中示出了与在图1中的通信系统20的相同设置。然而如在图2中可见的那样，所实现的方法与在图1中示出的方法不同。虽然根据图1，将数据（被STT转换成文本数据的语音数据）放置到信令信道33、34中，但是根据图2替代地使用有效载荷信道36。在感测到在通信信道30中的不可接受的服务质量时，第一通信设备A向交换机28发送具有说明：SDP:audiocodec:inactive,TTScode:active,language:DE（SDP：音频编解码器：非活动，TTS码：活动，语言：德语）的邀请消息。由交换机28向第二通信设备B传递相同的消息。第二通信设备B通过发送具有说明SDP:audiocodec:inactive,TTScode:active,language:US（SDP：音频编解码器：非活动，TTS码：活动，语言：美式英语）的回答消息来回答。这意味着现在是发送器侧22的第二通信设备B将要使用美式英语作为语言。在接收到回答消息时，交换机28向第一通信设备A发送具有相同说明的消息200OK。以这种方式，两个通信设备A、B协商分别用于两个通信设备22和24的从语音数据转换的文本数据的使用以及德语和美式英语的使用。其后，可以在有效载荷信道36上来回传输RTP流，例如具有如从上面的描述中知道的问题“WiestarkistderSturm?（风暴有多强？）”和回答“Thewindspeedis250milesperhour（风速为每小时250公里）”。如已经描述的那样，然后将在各自接收器侧处TTS转换各自文本数据并将其在适当的扬声器上输出。

在上面的方法中，可以定义在RTP中的新的有效载荷类型。可以在以下地方找到有效载荷类型的示例列表：

。

如果将协商嵌入到协议中，那么可以应用在协议中预见的重新协商的标准规程。根据本发明的一个方面，可以连续地监控有效载荷信道36以便检测服务质量是否再次达到了可接受水平以便切换回到正常的语音通信而不是文本通信。

如从上面的描述中可见的那样，从文本到语音的转换可以是可选的。换言之用户可以设置他的设备以抑制从文本到语音的转换。

本发明的进一步的方面是还可以由用户按需调用到文本数据传输的切换。例如，用户可能希望使用不同于他或她自己的声音的声音，或者背景噪声可能正干扰会话。在后一情况中，如果通信设备足够先进以识别用户的声音并最佳地将其转换成文本，那么由于已经删去了噪声，经TTS转换的输出将增加在各自接收器侧上的清晰度。

虽然关于有限数目的实施例描述了本发明，但是这些不应被解释为对本发明范围的限制，而是更确切地说被解释为可想到的实施例中的一些的示例。本领域技术人员可以预想其它可能的变体、修改和实现，其也在本发明的范围内。应理解的是，可以以不同于所示的方式将各种实施例的一些个别的特征与彼此结合。这考虑例如在通信系统中使用的设备的种类或用于实现本方法所使用的消息的种类。

另一方面，对本领域技术人员来说应是显然的是：可以在没有本文中呈现的特殊细节中的一些的情况下实践本发明。另外，为了说明性清晰，可能仅一般性地描述了一些公知的步骤或组件或甚至省略了它们。

根据本发明的方法和通信系统可以涉及并且可以被用于ISDN和VoIP或任何其它适当的环境（在没有被限制到其的情况下）。

Claims (14)

1.一种在拥挤的通信信道中维持音频通信的方法，所述通信信道当前正承载在发送器侧和接收器侧之间的音频通信中的语音传输，所述通信信道包括至少一个信令信道和具有服务质量的至少一个有效载荷信道，所述方法包括：

监控所述有效载荷信道的服务质量；

如果所述有效载荷信道的服务质量低于阈值，那么中断在所述有效载荷信道上来自所述发送器侧的语音发送，同时保留所述通信信道的至少所述信令信道；

在各自发送器侧处将所述语音转换成文本；以及

在所保留的通信信道上将所述文本传输至各自接收器侧。

2.如权利要求1的方法，还包括在所述各自接收器侧处将所接收的文本转换成语音。

3.如权利要求1的方法，还包括在检测到了足够的服务质量之后，恢复在所保留的有效载荷信道上的语音的传输。

4.如权利要求1的方法，还包括在中断来自所述发送器侧的语音发送时向所述接收器侧发送警报消息。

5.如权利要求1的方法，其中使用密钥和特殊算法加密了所述当前音频通信，还包括采用相同的密钥和相同的算法加密所述文本。

6.如权利要求1的方法，还包括仅使用所述信令信道用于传输所述文本。

7.如权利要求1的方法，还包括检测所述语音的语言并将其转换成在适当的语言中的文本。

8.如权利要求1的方法，还包括与所述接收器侧协商即将到来的从语音传输到文本传输的变化。

9.如权利要求1的方法，还包括在所述各自发送器侧处将所述语音转换成文本的语音学类型。

10.如权利要求1的方法，还包括接受用户输入以便实现中断语音发送、将所述语音转换成文本、以及由用户按需传输所述文本的步骤。

11.一种非暂时性计算机可读媒体，其具有存储于其上的应用，所述应用定义由通信设备的处理器可执行的指令，用于实现根据权利要求1-10中的至少一个的方法。

12.一种用于通信设备的处理器的计算机程序产品，其用于实现根据权利要求1-10中的至少一个的方法。

13.一种通信系统，其包括：

第一通信设备，

第二通信设备，

至少一个通信信道，其用于将所述第一通信设备与所述第二通信设备相连接，以及

处理器，其用于控制在所述第一通信设备和所述第二通信设备之间的通信，所述处理器被设计成实现根据权利要求1-10中的至少一个的方法。

14.如权利要求13的通信系统，还包括语言检测装置，其用于检测语音的语言并将其转换成在适当语言中的文本。