CN107182003B - 机载三维通话虚拟听觉处理方法 - Google Patents

Abstract

本发明提出一种机载三维通话虚拟听觉处理方法，旨在提供一种既满足话音来源快速变化又提升话音通信质量的虚拟听觉处理方法，本发明通过下述技术方案予以实现：多通道话音输入模块根据各通道的选通状态，接收选通通道话音数据，将选通通道数量及选通通道编号信息送虚拟方位角度生成模块，虚拟方位角度生成模块根据各话音通道预先设定的初始虚拟通道方位及可懂度最优方位角度产生每个通道的话音移动轨迹和调整轨迹，并按时间函数输出轨迹所对应的方位信息送入基于头相关传递函数HRTF的虚拟听觉合成模块，虚拟听觉合成模块将每路话音数据与对应的头相关传递函数HRTF进行卷积，生成多路三维音频信号送混音输出模块，合并成一路三维音频信号输出。

Description

机载三维通话虚拟听觉处理方法

技术领域

本发明涉及机载平台下话音通信技术，特别是涉及一种通过三维音频技术实现机载三维通话的虚拟听觉处理方法。

背景技术

在现有技术中，机载信息通信的方法一般有两种方法:语音通信和数码通信。语音通信可以使飞行员能跟指挥中心或其他飞行员进行交流；但是,语音通信有着十分明显的不足:语音通信速度相对较慢,因而在相同时间内，语音通信能够表达的信息量少,且语音通信容易受到对方无线电的干扰,其可靠性较差；语音通信会或多或少地影响飞行员的注意力,这样就会影响到飞行员的操作和判断。数码通信在部分先进的飞机中有应用,但还未起到主导作用。而且数码通信仅局限于飞机与飞机之间进行。机间数码通信方法的数码通信的传输信息包编码解码都是由机载通信设备来完成的。首先,信息从机载的各个系统经过控制计算机,达到通信网络终端设备后,通信设备必须对其进行编码。一方面,编码是数码通信的基本要求；另一方面,编码可以提高数码通信的抗干扰能力，其次,数码无线电台接收到的信号需要进行模数转换,转换成数字信号后才能被机载通讯设备使用,它将数字信号译码和处理后,根据编码的结构可以检查出接收到的数据是否正确，另外,专用控制计算机可以协调数码无线电台与通讯设备工作的同步性,使二者相互匹配，同时专用控制计算机可以控制设备译码信息的分发,机载各个子系统可充分利用这些数码信息。由通信原理知道,信息编码的方法很多。机载综合通信系统由一部超短波语音通讯电台,一部超短波/微波数码通讯电台,一部短波通讯电台,一部备用短波通讯电台,内话及转接装置,应急接收机,网络数码通讯终端设备,网络通讯专用计算机,电台控制及检查装置和发射接收天线等组机载语音通信系统一般都是无线电台,一般工作在超短波或短波波段；数码通信系统由数码电台和网络终端设备组成,一般工作在超短波波段或者微波波段。网络数码通信和语音通信可以同时进行,数码通信和语音通信在机载设备中是彼此独立的。在飞机进行网络数码通信时,参加系统工作的部件有:数码通讯电台,内话及转接装置,网络数码通讯终端设备,网络通讯专用计算机,电台控制及检查装置和发射接收天线等.备用短波通讯电台在系统的短波通讯电台和数码电台都故障后才使用,当短波通讯电台故障后就用数码通讯电台来代替使用,这时就不能进行数码通讯了。网络数码通信核心的硬件设备是数码无线电台和支持网络传输协议的数码终端设备。硬件设备由专用计算机控制,一方面按照程序控制,将机载传感器的探测信息在数码终端设备进行编码和其他处理后,通过数码无线电台传送到网络中心,在这个网络的核心,对所有网络上的数据进行评估,融合和分析，另一方面,通过数码无线电台接收后,信息在数码终端设备进行解码和做其他处理,然后将数码信息通过专用控制计算机发给机载航电设备,或提供给机载综合系统使用,或直接在飞机显示画面上显示。通过专用计算机控制和网络化数码终端设备可以连接网络的任何一个节点,与系统其他节点一起构成了三维空间网络。

在民航飞机中飞行员通过耳机监听来自短波电台、超短波电台、卫星通信系统以及机组成员等多路话音。在目前设备中通常采用直接混音方式生成最终输出话音，即将多路话音数据直接相加合并成一路话音输出。采用该种方式，主要存在以下两点不足：

第一，话音来源辨识度低。当突然传来一路话音时，由于潜在发声通道较多，飞行员无法快速判断其话音来源，需经过一定交流后方才可确认话音来源通路，降低了通话效率。

第二，多人通话时话音可懂度低。当多个通道同时传来话音时，由于话音空间信息丧失，双耳效应消失，因此话音可懂度急剧下降，当话音多于3路时几乎无法理解语义。

基于现有技术水平可利用基于HRTF(Head Related Transfer Function，头相关变换函数)的虚拟听觉技术对各路话音实现三维化以恢复双耳效应。

目前在多人会议或防撞系统等相似应用场景中，基于三维音频的话音通信系统主要采用的方法是为每个通路音频数据预先设定其对应虚拟方位角，以保证各通路话音空间可分离。其虚拟方位角的设定通常采用按通道实际方位部署或按一定规律部署的原则进行设定，通过前期对操作人员进行短期训练以熟悉各通道所对应虚拟方位，以实现各通道的辨识。

按通道实际方位部署或按一定单一规律部署虽然可实现话音分离，提升话音来源辨识度低，但对于话音可懂度的提升并非最优。此外相关文献研究表示多通道话音通信时其最优可懂度的方位随着通道数目的不同而不同，因此无法采用单一预设虚拟通道方位的方式来实现多通道通信的最优可懂度。

综上所述，通过设定单一虚拟方位方式无法既确保话音来源可辨识又提升话音最优可懂度，使得虚拟听觉技术在多通道通信商的应用存在一定局限性。

发明内容

本发明的目的是针对上述现有技术存在的不足之处，和机载音频领域直接应用虚拟听觉技术的局限性，提供一种既满足话音来源快速变化又提升多通道通信话音来源辨识度，可以通过话音方位动态调整提升话音通信质量的机载三维通话虚拟听觉处理方法。

本发明上述目的可以通过以下措施来达到，一种机载三维通话虚拟听觉处理方法，其特征在于包括如下步骤：

在机载平台下接收一个或多个话音通道数据中，多通道话音输入模块根据各通道的选通状态，接收选通话音通道数据，将选通通道数量及选通通道编号信息送虚拟方位角度生成模块，虚拟方位角度生成模块根据各话音通道预先设定的初始虚拟通道方位角度及通过听觉主观实验确定的可懂度最优方位角度产生每个通道的话音移动轨迹，并根据存储方位动态生成通道方位调整轨迹，按时间函数输出轨迹所对应的方位信息送入基于头相关传递函数HRTF的虚拟听觉合成模块，虚拟听觉合成模块根据接收的方位信息生成对应方位的头相关传递函数HRTF，同时接收多通道话音输入模块送入的多路话音通道数据，并将每路话音通道数据与对应的头相关传递函数HRTF进行卷积，生成多路三维音频信号送混音输出模块，将多路三维音频信号按双声道进行混音，合并成一路三维音频信号输出。

所述话音通道初始角度为按一定规则设定的虚拟角度，其初始角度满足空间可分离即可；

所述头相关传递函数应优选为离线生成，可以采用真实测量或由专门的软件生成；

虚拟方位角度生成模块根据话音通道所设定的初始角度及可懂度最优方位角度生成话音移动轨迹；

所述可懂度最优方位角度为离线时通过听觉主观实验确定，不同话音通道数目通信时其对应的可懂度最优位置可不同；

所述话音移动轨迹即可为离线生成也可为在线生成，其根据初始角度及可懂度最优方位角度按任意凸函数生成，可为但不局限于线性轨迹或圆周轨迹。

凸函数的定义为若设函数f(x)在[a，b]上有定义，若[a，b]中任意不同两点x1，x2都成立：f[(x1+x2)/2]<＝[f(x1)+f(x2)]/2则称f(x)在[a，b]上是凸的。

虚拟方位角度生成模块根据生成话音移动轨迹，按一定调节速率对话音方位进行调整，直至各通道话音达到最优可懂度位置。

所述调节速率可为时间函数，也可为基于话音活动性检测等语音信号处理手段的动态调节；

所述话音方位调整，采用基于头相关传递函数(HRTF)的空间插值方法实现。

当话音通道数目发生变化时，按上述步骤重新调整，直至各通道达到可懂度最优。

本发明相比于现有技术具有以下有益效果：

提升了多通道通信话音来源辨识度。本发明在传统基于HRTF的虚拟听觉方法的基础上引入虚拟方位角动态调整的方法，使得虚拟方位角从较好辨识的方位角度平稳过渡高最优可懂度方位角度。通过基于头相关传递函数的虚拟听觉技术实现多通道通信时话音的方位分离，重现双耳效应，使得操作员可通过话音不同方位快速辨识话音来源。

提升了多通道通信话音可懂度。本发明利用虚拟听觉技术将各通道话音三维化，根据各话音通道所设定的初始角度及可懂度最优方位角度生成通道话音移动轨迹和调整轨迹；同时引入动态调整的策略来兼顾话音来源辨识及话音可懂度提升两方面性能，再经虚拟听觉合成模块直接混音输出，较好地解决了话音来源辨识及多通道通信话音可懂度低等问题，实现机载平台下的高质量三维通话。通过动态调整的方法将话音方位从单一固定初始角度动态调整为最优可懂度角度，当对话音进行空间分离时，人能比较准确的感知到声源的方位，可提升对声源来源的辨识度，同时特定位置的空间分离可提升话音的可懂度。在保证了快速话音来源辨识的基础下提升了话音可懂度，确保多路话音通信时话音通信的质量。动态调整方法由初始虚拟通道方位角度与最优可懂度方位角度信息按预先设定的函数方法由设备自动计算生成，以保证了话音由初始虚拟通道方位角度平稳自然的过度到最优可懂度角度。

附图说明

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。

图1是本发明机载三维通话虚拟听觉处理流程原理框图。

图2是图1的工作流程示意图。

下面结合附图和实施例对本发明进一步说明。

具体实施方式

参阅图1。为解决多通道话音来源辨识度低及可懂度低等问题，根据本发明，在机载平台下接收一个或多个话音通道数据中，多通道话音输入模块根据各通道的选通状态，接收选通话音通道数据，将选通通道数量及选通通道编号信息送虚拟方位角度生成模块，虚拟方位角度生成模块根据各话音通道预先设定的初始虚拟通道方位角度及通过听觉主观实验确定的可懂度最优方位角度产生每个通道的话音移动轨迹，并根据存储方位动态生成通道方位调整轨迹，按时间函数输出轨迹所对应的方位信息送入基于头相关传递函数HRTF的虚拟听觉合成模块，虚拟听觉合成模块根据接收的方位信息生成对应方位的头相关传递函数HRTF，同时接收多通道话音输入模块送入的多路话音数据，并将每路话音通道数据与对应的头相关传递函数HRTF进行卷积，生成多路三维音频信号送混音输出模块，将多路三维音频信号按双声道进行混音，合并成一路三维音频信号输出。具体地说，先将各通道话音虚拟方位置于固定的、操作员熟悉的虚拟方位，以便于其快速辨识话音来源，而后动态调整虚拟方位，将方位移置话音可懂度最优的位置，以保证后续长时通话时话音可懂度相对较高，从而实现高质量的三维通话。虚拟方位角度生成模块存储各通道所设定的初始虚拟通道方位角度及不同数目通道情况下的可懂度最优方位角度，按每秒10以上的调整速率依次生成该时刻各通道所对应的方位，将方位依次输入给虚拟听觉合成模块供其调整。基于HRTF的虚拟听觉合成模块根据虚拟方位角度生成模块所生成的各通道方位角度，从预先存储的数据库中获取对应方位的HRTF函数；然后将HRTF与多路话音通道数据卷积，通过混音输出模块实现虚拟三维化效果。混音输出模块将虚拟听觉合成模块所生成的多路三维话音，合并为一路三维话音作为最终耳机输出信号。

参考图2步骤S201：多通道话音输入模块接收各通道话音数据；根据各通道的选通状态，接收选通通道数据，并记录选通状态供后续分析使用；

步骤S202:虚拟方位角度生成模块根据通道数目状态，读取各通道所离线设定的初始虚拟通道方位。

初始虚拟通道方位为按满足空间可分离的规则所设定的虚拟角度。

例如超短波电台1与超短波电台2两通道通信时，可将超短波电台1通道的初始角度设置为正左方，将超短波电台通道的初始角度设置为正右方。

前期通过一定训练使得操作员熟悉各通道所对应的初始虚拟方位，以便于根据初始方位可快速辨识声音来源；

步骤S203:虚拟方位角度生成模块根据通道数目计算各话音通道最优可懂度方位；

可懂度最优方位角度为离线时通过听觉主观实验确定，不同话音通道数目通信时其对应的可懂度最优位置可不同，不同主观听觉实验的设计也可导致结果不同。其根据具体应用场景设计相应主观实验。

步骤S203：虚拟方位角度生成模块采用线性插值法进行生成每通道调整轨迹公式：θ(t)＝λ(t)α+(1-λ(t))β；

其中，α为相关通道的最优可懂度角度，β为设定的初始化虚拟角度，λ(t)为区间[0,1]的系数，θ(t)为输出方位角轨迹，当λ(t)由0变化到1时，输出方位角由初始方位连续过渡到最优可懂度方位。在本实施例中采用的是线性插值法，但是在实际操作中，所述领域的技术人员可以采用其他插值法，因此本实施例，不应理解为对本发明本身的限制；

步骤S204：虚拟方位角度生成模块按每秒10以上的调整速率依次生成该时刻各通道所对应的方位；虚拟方位角度生成模块根据S203中计算所得轨迹函数，按一定调整速率计算得到每次调整所对应的时刻各通道所对应的方位；调整速率可为时间的线性或非线性函数，可由执行设备在线或计算机离线生成。

步骤S205:基于头相关传递函数HRTF的虚拟听觉合成模块根据虚拟方位角度生成模块输出的方位信息计算所对应方位的头相关传递函数HRTF；

基于头相关传递函数HRTF的虚拟听觉合成模块根据S204中由虚拟方位角度生成模块所输出的调整速率依次生成该时刻各通道所对应的方位信息与操作人员头部位置的坐标，计算头部位置与各通道方位之间的相对水平角度及仰角度，计算出对应坐标的HRTF；

步骤S206：基于头相关传递函数HRTF的虚拟听觉合成模块将所读取的头相关传递函数与各通道输入音频信号卷积，将得到的多路三维音频信号送入混音输出模块；

步骤S207:混音输出模块将多路三维话音按双声道进行混音，合并成一路三维音频信号输出；混音输出模块将各路三维音频的左声道信号直接叠加求和得到输出左声道信号，将各路三维音频的右声道信号直接叠加求和得到输出右声道信号。

在本实施例中采用的是直接叠加法完成混音，但是在实际操作中，所述领域的技术人员可以采用加权求和或者模拟电路求和等，因此本实施例，不应理解为对本发明本身的限制。

依据以上的方法，可以较好地解决话音来源辨识及多通道通信话音可懂度低等问题，从而实现机载平台下的高质量三维通话。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种机载三维通话虚拟听觉处理方法，其特征在于包括如下步骤：

在机载平台下接收一个或多个话音通道数据中，多通道话音输入模块根据各通道的选通状态，接收选通话音通道数据，将选通通道数量及选通通道编号信息送虚拟方位角度生成模块，虚拟方位角度生成模块根据各话音通道预先设定的初始虚拟通道方位角度及通过听觉主观实验确定的可懂度最优方位角度产生每个通道的话音移动轨迹，并根据存储方位动态生成通道方位调整轨迹，按时间函数输出轨迹所对应的方位信息送入基于头相关传递函数HRTF的虚拟听觉合成模块，虚拟听觉合成模块根据接收的方位信息生成对应方位的头相关传递函数HRTF，同时接收多通道话音输入模块送入的多路话音通道数据，并将每路话音通道数据与对应的头相关传递函数HRTF进行卷积，生成多路三维音频信号送混音输出模块，将多路三维音频信号按双声道进行混音，合并成一路三维音频信号输出。

2.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：虚拟方位角度生成模块存储各通道所设定的初始虚拟通道方位角度及不同数目通道情况下的可懂度最优方位角度，按每秒10以上的调整速率依次生成该时刻各通道所对应的方位，将方位依次输入给虚拟听觉合成模块供其调整。

3.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：基于HRTF的虚拟听觉合成模块根据虚拟方位角度生成模块所生成的各通道方位角度，从预先存储的数据库中获取对应方位的HRTF函数；然后将HRTF与多路话音通道数据卷积，通过混音输出模块实现虚拟三维化效果。

4.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：可懂度最优方位角度为离线时通过听觉主观实验确定，不同话音通道数目通信时其对应的可懂度最优位置可不同，不同主观听觉实验的设计根据具体应用场景设计相应主观实验。

5.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：虚拟方位角度生成模块采用线性插值的方法进行生成每通道调整轨迹公式：θ(t)＝λ(t)α+(1-λ(t))β；其中，α为相关通道的最优可懂度角度，β为设定的初始化虚拟角度，λ(t)为区间[0,1]的系数，θ(t)为输出方位角轨迹，当λ(t)由0变化到1时，输出方位角由初始方位连续过渡到最优可懂度方位。

6.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：虚拟方位角度生成模块根据计算所得轨迹函数，按调整速率计算得到每次调整所对应的时刻各通道所对应的方位。

7.如权利要求2所述的机载三维通话虚拟听觉处理方法，其特征在于：调整速率为时间的线性或非线性函数，由执行设备在线或计算机离线生成。

8.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：虚拟听觉合成模块根据虚拟方位角度生成模块输出的方位信息计算所对应方位的头相关传递函数HRTF。

9.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：混音输出模块将各路三维音频的左声道信号直接叠加求和得到输出左声道信号，将各路三维音频的右声道信号直接叠加求和得到输出右声道信号。