CN105929967A - 多路实时音频信号处理的仿真系统 - Google Patents

Abstract

本发明提出了一种多路实时音频信号处理的仿真系统，利用本发明可以在运行时接受资源分配，能访问和控制实际硬件环境和完成实时音频信号处理。本发明通过下述技术方案予以实现：语音交换子系统工作时，数字音频模块将数字音频数据传递给控制计算机，控制计算机和音频交换机间的数据通过TCP/IP网络通讯包方式互相传递，搭建音频仿真网络系统，配置音频通道资源，创建会议组混音模型；音频仿真控制软件将来自不同设备的语音信息各绑定一个语音资源，处理来自数字音频模块、I/O控制模块和音频交换机的数据；根据通话优先级判断通信线路，将数字音频数据引入音频交换机，音频交换机通过操多路音频混音，将模拟音频与数字音频的混音输出。

Description

多路实时音频信号处理的仿真系统

技术领域

本发明涉及航电领域，尤其是应用于机载航电系统中实时多路音频信号处理系统。

背景技术

数字音频是多媒体技术的重要组成部分，其应用已经深入到人们工作和生活的各个领域，品种繁多的数字音频产品不断涌现，音频数据压缩和传输格式不断丰富和更新，给人们带来了方便和享受。但与此同时，人们也在对数字音频产品不断提出更高的要求，功能单一的产品必将被高性能、多功能以及具有良好兼容性的数字音频系统所取代。随着多媒体技术和通信技术的发展，音频数据处理作为其基本内容，已经广泛应用于各个领域。而在实际使用中，语音信号在产生、传输和接收过程中不可避免的受到各种噪声的干扰。噪声会严重影响语音的清晰度和可读性，甚至会降低语音处理系统的性能。目前常用的音频处理设备从实现方式上可分为两大类：①采用专用芯片进行音频信号的编解码处理，其特点是处理速度快，实时性强。但功能相对单一，已经越来越不能适应用户的需求。②采用通用数字信号处理器DSP为核心建立系统，其优点是功能丰富，能迅速应用新算法、新标准或新协议，有利于产品的快速升级。其缺点是由于采用软件算法，运算速度相对较慢，特别是进行大运算量的音频编码处理，实时性不易保证。随着音频应用领域的不断拓展，无线通信中所面临的语音问题也日益突出。例如在机载、车载电话、电视电话会议等场合，均不同程度地存在回波抵消、语音增强、语音识别、音频信号编解码、声源定位等语音信号处理问题。如果这些问题处理得不好，有时将严重影响通信质量。传统的音频处理通常采用纯数字音频仿真或者采用定制的音频模块仿真来实现。纯数字音频仿真由于诸多限制，出现话音延迟大、话音质量差以及实现多路音频时软件效率低、占用资源大等问题。现有技术利用定制的音频模块仿真，虽然解决了话音实时性以及质量问题，但由于定制周期长、扩展性差，不便于在系统研制早期的仿真验证过程中使用。

发明内容

本发明针对现有机载音频仿真所带来的周期长、成本高、音频通道数量有限等问题，提供一种处理速度快，实时性强，语音通信效率高，音频通道资源丰富，多路音频仿真搭建灵活，成本低，可以在运行时接受资源分配，能访问和控制实际硬件环境的机载航电多路实时音频信号处理的仿真系统。

本发明上述目的可以通过以下措施来达到，一种多路实时音频信号处理的仿真系统，包括：一个或多个语音交换子系统，每个语音交换子系统又包括数字/模拟音频模块、I/O控制模块、音频交换机和数据控制计算机四大部分构成的机载仿真设备和设置在所述数据控制计算机中的音频仿真控制软件，其中，数字/模拟音频模块提供数字/模拟音频的通道，I/O控制模块配合音频仿真控制软件完成开关量的输入和输出，语音交换机进行语音的混合和模数信号的互相转化，提供语音资源，接口资源和会议组资源，数据控制计算机则在音频仿真控制软件的支撑下，多信道控制往来的数字音频数据，以及在外部离散输入输出接口I/O的控制下完成各类型语音的路径分配，其特征在于：语音交换子系统工作时，数字音频模块将数字音频数据通过总线数据包的方式传递给控制计算机，模拟音频模块通过音频交换机将模拟音频信号转换成数字音频数据，控制计算机和音频交换机间的数据则通过TCP/IP通讯包方式互相传递，控制计算机基于成熟硬件搭建音频仿真网络系统，通过音频仿真控制软件配置音频通道资源，创建会议组混音模型，完成多路音频仿真；音频仿真控制软件将来自不同设备的语音信息各绑定一个语音资源，时刻处理来自数字音频模块、I/O控制模块和音频交换机的数据；当有呼叫的开关信号触发时，音频仿真控制软件的界面做出提示，根据通话优先级判断通信线路，将音频数据引入音频交换机，语音交换机通过操作资源，在会议组混音模型模式下进行多路音频混音，将模拟音频或数字音频的混音输出。

本发明相比于现有技术具有如下有益效果。

处理速度快，实时性强。本发明采用数字/模拟音频模块提供数字/模拟音频的通道，I/O控制模块配合音频仿真控制软件完成开关量的输入输出，语音交换机进行语音的混合和模数信号的互相转化，提供语音资源，接口资源和会议组资源，通过数字/模拟音频模块提供数字/模拟音频的通道，I/O控制模块配合音频仿真控制软件完成开关量的输入输出，处理速度快，实时性强，解决了现有技术软件算法运算速度相对较慢的缺陷。

语音通信效率高，成本低。本发明在机载音频仿真中引入音频交换机，在实际应用中，交换机的各功能通过操作资源的方式实现，利用音频交换机的内部硬件模块实现全机多路音频实时模拟信号与数字音频的互相转换，语音清晰度高，同时具备语音录放、会议组混音模型管理、音频产生、语音检测、多信道控制等功能，提高了系统的语音通信效率和质量，降低了系统的设计成本和运行功耗。

音频通道资源丰富，多路音频仿真搭建灵活。本发明基于成熟硬件搭建音频仿真网络系统，通过程序配置音频通道资源，并通过创建会议组混音模型实现多路的音频仿真，新增或减少通路可通过软件灵活配置，多路音频仿真搭建样式灵活多样，音频通道资源丰富。采用多路音频交换机构建多路实时音频仿真架构，在需要增加新的音频通道时，硬件上只需要增加一路电话线，软件上只需要多配置一路语音资源，增加的语音资源加入会议组混音模型即可完成，不需要增加额外的硬件成本。解决了传统音频仿真中话音延迟、研制周期长、仿真效率低、成本高等问题。本发明将来自不同设备的语音信息各绑定一个语音资源，而每个语音资源具备模拟音频转数字音频RECORD、数字音频转模拟音频PLAY和音量调节等功能，若再将需要混合的音频资源加入到一个会议组混音模型资源中，就能很好地将各通道音频合并，合并后的混音可以通过绑定的接口资源直接输出模拟音频信号，也可以通过语音资源的录音功能输出数字音频的数据。值得注意的是数字音频数据通过TCP/IP通讯包方式传递给控制计算机，这样还可以通过音频仿真控制软件对数据进行再加工，如压缩、加密等。解决了现有技术纯数字音频仿真或者采用定制的音频模块仿真诸多限制，出现话音延迟大、话音质量差以及实现多路音频时软件效率低、占用资源大等问题。

可以在运行时接受资源分配，能访问和控制实际硬件环境。本发明数据控制计算机在音频仿真控制软件的支撑下，多信道控制并整理和调度往来的数字音频数据，以及在外部离散输入输出接口I/O离散量的控制下完成各类型语音的路径分配，可以在运行时接受资源分配，能访问和控制实际硬件环境，同时通过交换机提供的语音资源，接口资源和会议组资源三大资源，有效地解决传统航电系统中语音模块各个语音信道交互复杂、资源有限、工作量大的问题。

附图说明

下面结合附图对本发明专利进一步说明。

图1是本发明多路实时音频信号处理仿真系统的电路原理的示意图。

图2是本发明音频仿真控制软件的架构示意图。

图3是本发明会议组混音模型的示意图。

具体实施方式

参阅图1。在以下描述的实施例中，一种多路实时音频信号处理的仿真系统由两个语音交换子系统组成，两者间通过航空总线进行通信，主要用于机载航电多路实时音频信号处理系统。包括：两个语音交换子系统，每个语音交换子系统又包括数字/模拟音频模块、I/O控制模块、音频交换机和数据控制计算机四大部分构成的机载仿真设备和设置在所述数据控制计算机中的音频仿真控制软件，其中，数字/模拟音频模块提供数字/模拟音频的通道，I/O控制模块配合音频仿真控制软件完成开关量的输入输出，语音交换机进行语音的混合和模数信号的互相转化，提供语音资源，接口资源和会议组资源，数据控制计算机则在音频仿真控制软件的支撑下，多信道控制往来的数字音频数据，以及在外部离散输入输出接口的控制下完成各类型语音的路径分配。语音交换子系统工作时，数字音频模块将数字音频数据通过总线数据包的方式传递给控制计算机，模拟音频模块通过音频交换机将模拟音频信号转换成数字音频数据，控制计算机和音频交换机间的数据则通过TCP/IP通讯包方式互相传递，控制计算机基于成熟硬件搭建音频仿真网络系统，通过音频仿真控制软件配置音频通道资源，创建会议组混音模型实现多路的音频仿真；控制计算机在音频仿真控制软件的支撑下，多信道控制并整理和调度往来的数字音频数据，以及在外部离散输入输出接口I/O量的控制下完成各类型语音的路径分配；音频仿真控制软件将来自不同设备的语音信息各绑定一个语音资源，时刻处理来自数字音频模块、I/O控制模块和音频交换机的数据；当有呼叫的开关信号触发时，音频仿真控制软件的界面做出提示，根据通话优先级判断通信线路，将音频数据引入音频交换机，音频交换机通过操作资源，在会议组混音模型模式下进行多路音频混音，将模拟音频或数字音频的混音输出。

上述语音交换子系统包含机载设备、语音交换机和数据管理软件三大部分，其中，数字音频模块通过一种航空总线协议ARINC429总线电缆与装有ARINC429卡的控制计算机通信，离散模块通过普通电缆与控制计算机上的离散接口卡连接，控制计算机与音频交换机则通过超五类网线连接。在音频交换机一侧，模拟音频模块直接与交换机的端口资源模拟信号接口相连。语音交换子系统之间通过ARINC429总线连接。至此，航电多路实时音频信号处理系统便组成。

语音交换子系统工作时，数字音频模块将音频数据以ARINC429包传递给控制计算机，音频仿真控制软件处理所述音频数据并将其放到交换机指定的语音资源数据缓存中。由于该语音资源已经以只说模式SPEAK_ONLY的方式加入到混音会议组混音模型中，并开启了播放功能，所以在混音输出数据中便叠加了该路语音信号。同理，模拟音频模块绑定的语音资源加入到混音会议组混音模型中，语音信号也会叠加到混音输出数据中。这里的混音输出有两种方式，一是通过语音资源的录音的功能得到混合音的数字音频数据；二是通过以只听模式LISTEN_ONLY方式加入到混音会议组混音模型中语音资源，同时该语音资源绑定了一个接口资源，这样，混合后的语音便以模拟音频形式在接口上输出。

参阅图2。音频仿真控制软件系统是由加载有语音交换机的控制应用程序编程接口API的数据管理软件和交换机的配置管理软件两大功能软件组成，交换机配置管理软件与语音交换机、交换机控制动态库与语音交换机间统一采用TCP/IP协议通讯，通讯协议采用统一定义的通讯包格式。语音交换机的API中提供了开放的控制接口，音频仿真控制软件可以通过语音交换机的API接口与语音交换机建立套接字SOCKET连接，音频仿真控制软件通过该SOCKET连接发送带有控制命令的网络数据包完成对语音交换机的控制与交互。

语音交换机中的各模块(FAX(传真)信令模块、网络电话VOIP信令模块、私有网PRI信令模块、七号信令模块、数字信号处理DSP模块等都属于ISO7层结构中最上层的用户应用层，语音交换机向控制计算机的用户应用层提供的一系列通讯服务功能都是由流程模块最终完成的。在与语音资源关联的流程模块装入语音交换机的流程程序的动态链接库DLL文件后，通过调用该DLL中的流程创建函数，便可创建任意个流程数据结构副本。语音交换机自身的流程程序根据配置管理软件的配置，动态地装入流程程序，分配设定各流程数据结构副本。流程程序在配置时，需确定每个流程通道绑定的最大语音资源数。该数量决定流程运行时可同时绑定的资源数目。外部的模拟通道设备与交换机的通道资源相连，将模拟信号送入交换机，在流程程序的处理下生成相应的数字音频数据。而外部的数字通道设备通过总线将数字音频数据传递给控制计算机，经音频仿真控制软件处理后转给语音交换机。同理图3的描述也应根据上述提示进行描述。

参阅图3，在会议组混音模型中，机载设备通过语音通道进行音频通信时，可采用创建会议组混音模型让多路语音通道资源加入会议组混音模型。某一路音频要加入会议组混音模型，只需调用音频交换机的该路语音资源即可，这样便实现了多方组网通话。加入会议组混音模型的方式主要有LISTEN_ONLY，SPEAK_ONLY，即听即说DEFAULT三种方式，每个语音资源具备PLAY和RECORD两种基本功能，不同的加入方式决定其实现功能的不同。其中，

LISTEN_ONLY方式：以只听方式加入会议资源的一方只能听到会议组混音模型的声音，无法对会议组混音模型发话；

SPEAK_ONLY方式：以只说方式加入会议资源的一方不能听到会议组混音模型的声音，但能对会议组混音模型发话；

DEFAULT方式：该方式既能对会议说话也能听到会议组混音模型的混合音；

PLAY：播放音频文件；

RECORD：对会议组或绑定的通道资源录音。

基于交换设备的会议组混音模型特性，音频仿真控制软件可以动态地完成各个语音通道指定方式的加入与退出，成功实现多用户的配置组网通话。具体过程是音频仿真控制软件调用语音交换机的API函数将语音通道资源加入到指定的会议组混音模型中，如数字语音信道1通过SPEAK_ONLY方式加入到混音会议组混音模型A中并开启PLAY功能，此时在混音会议组混音模型A的输出缓冲区的数字信号中就叠加了数字语音信道1的音频内容了；而模拟语音信道1加入到会议组可以有只听，只说和默认三中模式。若调用API的离开函数则可退出会议组混音模型资源，输出的数据中相应通道的语音信号也随之消失，其它信道同理。与此同时，以只听方式加入到会议组的语音资源可利用录音功能将混合后的语音转换成数字音频数据。若要输出混合音的模拟信号，只需将以只听方式加入到会议组的语音资源绑定到输出的通道资源即可。

Claims (10)

1.一种多路实时音频信号处理的仿真系统，包括：一个或多个语音交换子系统，每个语音交换子系统又包括数字/模拟音频模块、I/O控制模块、音频交换机和数据控制计算机四大部分构成的机载仿真设备和设置在所述数据控制计算机中的音频仿真控制软件，其中，数字/模拟音频模块提供数字/模拟音频的通道，I/O控制模块配合音频仿真控制软件完成开关量的输入和输出，语音交换机进行语音的混合和模数信号的互相转化，提供语音资源，接口资源和会议组资源，数据控制计算机则在音频仿真控制软件的支撑下，多信道控制往来的数字音频数据，以及在外部离散输入输出接口I/O的控制下完成各类型语音的路径分配，其特征在于：语音交换子系统工作时，数字音频模块将数字音频数据通过总线数据包的方式传递给控制计算机，模拟音频模块通过音频交换机将模拟音频信号转换成数字音频数据，控制计算机和音频交换机间的数据则通过TCP/IP通讯包方式互相传递，控制计算机基于成熟硬件搭建音频仿真网络系统，通过音频仿真控制软件配置音频通道资源，创建会议组混音模型，完成多路音频仿真；音频仿真控制软件将来自不同设备的语音信息各绑定一个语音资源，时刻处理来自数字音频模块、I/O控制模块和音频交换机的数据；当有呼叫的开关信号触发时，音频仿真控制软件的界面做出提示，根据通话优先级判断通信线路，将音频数据引入音频交换机，语音交换机通过操作资源，在会议组混音模型模式下进行多路音频混音，将模拟音频或数字音频的混音输出。

2.如权利要求1所述的多路实时音频信号处理的仿真系统，其特征在于：语音交换子系统包含机载设备、音频交换机和数据管理软件三大部分，其中，数字音频模块通过ARINC429航空总线协议总线电缆与装有ARINC429卡的控制计算机通信，I/O控制模块通过普通电缆与控制计算机上的离散接口卡连接，控制计算机与音频交换机则通过超五类网线连接，模拟音频模块直接与交换机的端口资源模拟信号接口相连。

3.如权利要求1所述的多路实时音频信号处理的仿真系统，其特征在于：控制计算机在音频仿真控制软件的支撑下，多信道控制并整理和调度往来的数字音频数据，以及在外部离散输入输出接口I/O离散量的控制下完成各类型语音的路径分配。

4.如权利要求1所述的多路实时音频信号处理的仿真系统，其特征在于：语音交换子系统工作时，数字音频模块将音频数据以ARINC429包传递给控制计算机，音频仿真控制软件处理所述音频数据并将其放到音频交换机指定的语音资源数据缓存中。

5.如权利要求1所述的多路实时音频信号处理的仿真系统，其特征在于：语音资源已经以只说模式SPEAK_ONLY的方式加入到混音会议组混音模型中，并开启了播放PLAY功能，且在混音输出数据中叠加了该语音资源的语音信号，同理，模拟音频模块绑定的语音资源以SPEAK_ONLY加入到混音会议组混音模型中，将模拟音频语音信号叠加到混音输出数据中。

6.如权利要求1所述的多路实时音频信号处理的仿真系统，其特征在于：混音输出有两种方式，一是通过语音资源的录音的功能得到混合音的数字音频数据；二是通过以只听模式LISTEN_ONLY方式加入到混音会议组混音模型中的语音资源，同时该语音资源绑定了一个接口资源，这样，混合后的语音便以模拟音频形式在接口上输出。

7.如权利要求1所述的多路实时音频信号处理的仿真系统，其特征在于：音频仿真控制软件系统是由加载有音频交换机控制应用程序编程接口API的数据管理软件和交换机的配置管理软件，两大功能软件组成，交换机配置管理软件与语音交换机、交换机控制动态链接库DLL与语音交换机间统一采用TCP/IP协议通讯，通讯协议采用统一定义的通讯包格式。

8.如权利要求1所述的多路实时音频信号处理的仿真系统，其特征在于：语音交换机的API中提供开放的控制接口，数据管理软件通过语音交换机的API接口与语音交换机建立套接字SOCKET连接，控制计算机通过套接字SOCKET连接发送带有控制命令的网络数据包，完成对语音交换子系统的控制与交互。

9.如权利要求1所述的多路实时音频信号处理的仿真系统，其特征在于：语音交换子系统中设置有都属于ISO7层结构中最上层的用户应用层的流程模块，语音交换子系统向控制计算机的用户应用层提供的一系列通讯服务功能都是由流程模块最终完成的。

10.如权利要求1所述的多路实时音频信号处理的仿真系统，其特征在于：在与语音资源关联的流程模块装入语音交换机的流程程序的DLL文件后，通过调用该DLL中的流程创建函数，便可创建任意个流程数据结构副本,语音交换机自身的流程程序根据配置管理软件配置，动态地装入流程程序，分配设定各流程数据结构副本。