CN110475180A - 车载多音区音频处理系统及方法 - Google Patents

车载多音区音频处理系统及方法 Download PDF

Info

Publication number
CN110475180A
CN110475180A CN201910785002.9A CN201910785002A CN110475180A CN 110475180 A CN110475180 A CN 110475180A CN 201910785002 A CN201910785002 A CN 201910785002A CN 110475180 A CN110475180 A CN 110475180A
Authority
CN
China
Prior art keywords
audio
sound
sound area
processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910785002.9A
Other languages
English (en)
Inventor
马桂林
许震洪
刘玉伟
王海坤
刘俊峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hkust Technology (suzhou) Technology Co Ltd
Original Assignee
Hkust Technology (suzhou) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hkust Technology (suzhou) Technology Co Ltd filed Critical Hkust Technology (suzhou) Technology Co Ltd
Priority to CN201910785002.9A priority Critical patent/CN110475180A/zh
Publication of CN110475180A publication Critical patent/CN110475180A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种车载多音区音频处理系统及方法,其中所述系统包括:拾音端和放音端;拾音端包括音频管理组件、以及分别与所述音频管理组件连接的语音处理组件、音频应用组件、分布设于各音区的麦克风组件;放音端包括依次连接的多通道音效处理组件、音频放大模块以及分布设于各音区的扬声器;其中,拾音端的音频管理组件与放音端的音效处理组件连接。本发明将现有的统一的音频输出改进为多音区输出,并打通了拾音端和放音端的控制链路,实现了语音交互技术与独立功放技术的有效结合,使车内各音区乘员均可实现对车载音响的独立操控,并满足每个音区/座位上的乘员的个性化音频需求。

Description

车载多音区音频处理系统及方法
技术领域
本发明涉及车载音频领域,尤其涉及一种车载多音区音频处理系统及方法。
背景技术
随着5G的推广和车联网的大力发展,智能驾驶技术势在必行,在未来越来越多的场合,汽车对于人们不仅仅是代步的工具,人们期待汽车是一个休闲、娱乐、甚至是临时办公的地方,由此,人们对汽车音响的音质和功能的需求也会随之越来越高。
随着语音识别技术的推广和应用,车载音频系统通常都具备语音识别功能。而且由于技术的不断发展和推进,随着音频前端处理技术麦克风阵列波束合成算法的引入,较新的车载语音交互系统可以实现分音区语音识别交互,即不同座位的乘客都可以和车机系统进行语音交互,在交互过程中乘客之间互不干扰,同时系统还能准确定位当前说话人的位置信息。
当前多音区交互的实现还仅是停留在采集不同音区(座位)的驾乘人员的语音指令,并由全车同一音源输出相应于某指令的音频,但是还无法实现由各音区乘员独立控制汽车音响、并根据各乘员的个性化需求在音区(座位)范围内输出相应于各自语音指令的音频。
发明内容
针对上述问题,本发明的目的是提供一种车载多音区音频处理系统及方法,将拾音端和放音端紧密结合,以此改善现有车载音频系统较为落后的人机交互方式,以更好地满足每个音区/座位上的乘客的个性化需求。
本发明采用的技术方案如下:
一种车载多音区音频处理系统,包括:拾音端和放音端;
所述拾音端包括音频管理组件、语音处理组件、音频应用组件以及分布设于各音区的麦克风组件;
所述音频管理组件通过所述语音处理组件分析由所述麦克风组件采集的语音信号,以获得与所述语音信号相应的语音指令以及音区位置信息;所述音频管理组件基于所述语音指令从所述音频应用组件调用相应的音频资源,并将所述音区位置信息以及所述音频资源传输至所述放音端;
所述放音端包括多通道的音效处理组件、音频放大模块以及分布设于各音区的扬声器;
所述音效处理组件用于通过预设的多个输入通道接收由所述拾音端传输的音区位置信息以及相应的音频资源,并基于所述音区位置信息采用单个独立或多个并行的音效处理策略对所述音频资源进行处理;所述音效处理组件还用于通过预设的多个输出通道将处理后的音频资源经所述音频放大模块传输至各音区的所述扬声器以及向所述拾音端回传参考信号,以使所述扬声器播放各自音区所需的音频以及使所述语音处理组件根据所述参考信号进行语音信号的处理。
可选地,所述拾音端还包括车载音响控制组件;
所述音频管理组件还用于基于所述语音指令从所述车载音响控制组件获取相应于各音区的控制参数,并将所述控制参数传输至所述放音端,以对各音区音频输出进行单独或并行控制。
可选地,所述音频管理组件包括音频输入输出管理模块以及逻辑控制模块,所述音效处理组件包括音效处理模块以及逻辑控制子模块;
所述音频输入输出管理模块用于按照预设的通道定义和顺序接收和发送所述语音信号、所述音频资源以及所述参考信号;
所述逻辑控制模块根据获取到的音区位置信息以及基于语音指令的控制信息,向音频应用组件发送资源调用指令,并将所述音区位置信息与所述控制信息转换为控制指令发送至所述逻辑控制子模块;
所述逻辑控制子模块解析所述控制指令并译成处理参数;
所述音效处理模块用于根据接收到的所述处理参数以及相应的音频资源进行音效处理,并将处理后的音频资源经所述音频放大模块传输至各音区的所述扬声器以及向所述音频输入输出管理模块回传所述参考信号。
可选地,所述音效处理模块包括多个相应于各音区的音区音效处理子模块,所述逻辑控制子模块根据所述处理参数使能所述音区音效处理子模块以单独或并行的方式进行音效处理。
可选地,所述语音处理组件至少包括:回声消除子模块、音区判别子模块以及语义理解子模块;
所述回声消除子模块用于结合所述参考信号对所述麦克风组件采集的语音信号进行回声抵消处理;
所述音区判别子模块用于确定所述音区位置信息并激活语音识别处理,以及将所述音区位置信息发送至所述音频管理组件;
所述语义理解子模块用于根据语音识别结果以及预设的语音应用场景,匹配相应的所述语音指令,并将所述语音指令发送至所述音频管理组件。
一种车载多音区音频处理方法,包括:
接收语音信号;
对所述语音信号进行处理,得到相应于所述语音信号的音区位置信息以及基于语义理解的语音指令;
根据所述语音指令获取音频资源;
基于所述音区位置信息,使能相应音区对所述音频资源进行音效处理;
将音效处理后的所述音频资源在相应音区内进行输出。
可选地,所述基于所述音区位置信息,使能相应音区对所述音频资源进行音效处理包括:
将所述音频资源置于音效处理的输入前端;
解析所述音区位置信息,并使能与所述音区位置信息相应的一个或多个音效处理通道;
激活的所述音效处理通道接收所述音频资源,并开始对所述音频资源进行单独或并行音效处理。
可选地,所述方法还包括:
当多个音区同时且分别输出各自音频资源时,如果其中一个音区输出为电话音频,则按照预设音量值,抑制其他音区的输出音量。
可选地,所述对所述语音信号进行处理包括:对所述语音信号进行回声抵消处理。
可选地,所述方法还包括:
从音效处理后的所述音频资源提取用于参与回声抵消处理的参考信号。
本发明通过上述方案,将现有的统一的音频输出改进为多音区输出,并打通了拾音端和放音端的控制链路,实现了语音交互技术与独立功放技术的有效结合,使车内各音区乘员均可实现对车载音响的独立操控,并满足每个音区/座位上的乘员的个性化音频需求。
附图说明
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步描述,其中:
图1为本发明提供的车载多音区音频处理系统的实施例的示意图;
图2为本发明提供的拾音端的实施例的示意图;
图3为本发明提供的放音端的实施例的示意图;
图4为本发明提供的车载多音区音频处理方法的实施例的流程图;
图5为本发明提供的车载多音区音频处理方法步骤S4的较佳实施例的流程图。
附图标记说明:
1拾音端 2放音端 11音频管理组件 12语音处理组件
13音频应用组件 14麦克风组件 21音效处理组件
22音频放大模块 23扬声器
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本发明提供了一种车载多音区音频处理系统的实施例,需先指出,该车载多音区音频处理系统在具体实施时可以采用基于麦克风阵列的多音区语音交互技术,并根据语音识别相关指令以及声源定位技术来精准实时操控车载多音区音频输出。因而下文侧重以各个部件、模块的工作原理以及模块之间的功能实现进行说明。为了便于理解,下文某些实施例中将以(但不限于此)车机以及数字独立功放为例,介绍如何基于多音区语音交互技术来控制和管理数字独立功放的输出,以及如何优化数字独立功放的信号处理流,以实现多音区播放的综合管理。
如图1所示,该系统实施例主要可分为拾音端1和放音端2,但这里需指出的是,所谓拾音和放音仅是为了说明和理解方便所作的一种概括性描述,并非是严格局限二者的实际功能和作用,也并非是限定各自组件模块等需集于一体(因而在附图中以虚线框出示意),后文对此将作解释。接着,所述拾音端1可以具体包括诸如音频管理组件11、语音处理组件12、音频应用组件13以及分布设于各音区(也即是车内各座位处)的麦克风组件14。
上述拾音端1的实施例的工作方式可以参考如下:所述音频管理组件11可通过所述语音处理组件12分析由所述麦克风组件14采集的语音信号,以获得与所述语音信号相应的语音指令以及音区位置信息;之后,所述音频管理组件11基于所述语音指令从所述音频应用组件13调用相应的音频资源,并将所述音区位置信息以及所述音频资源传输至所述放音端2。
具体来说,结合图2所示,上述拾音端1的主要部件可以集中设置在车机等车载音响装置内。由此,所述音频管理组件11可以具体包括两个主要职能模块:音频输入输出(I/O)管理模块以及逻辑控制模块。由于车机等车载音响系统的所有可产生声音的硬件或者应用程序等,如果需要通过放音端2向乘员输出,均需要由音频输入输出管理模块来负责统一管理音频码流。该音频输入输出管理模块会按照预先设置的通道定义及顺序接收所有相关的音频音源,通过诸如A2B总线等形式发送至放音端2,同时也会按照预定的顺序通过诸如A2B总线接收麦克风组件14采集的语音信号以及来自放音端2的参考信号。在实际操作中,假设定义的A2B总线是16路输出和16路输入,那么可以定义各通道音频码流如下表示意:
音频码流通道定义
逻辑控制模块,主要负责拾音端1中车载音响控制组件(例如用于进行音量调整、Fade/Balance控制、Tone控制等)以及放音端2对输入音源的混音管理、单独或并行输出的混音管理。逻辑控制模块是放音端2在拾音端1的控制接口,基于实际应用场景而言,如果是在车机的Android音频系统里(目前大多数的车机采用Android操作系统,其基于优化的linux音频架构为底层核心,通过分层设计的思想,抽象出应用层、框架层、音频类库层、硬件抽象层、linux音频设备驱动层),上述车机内的逻辑控制模块相当于独立功放在Android音频系统里的设备驱动,它是连接车机音频部分和独立功放的接口,本发明提供的车载多音区音频处理系统需要通过该逻辑控制模块来精准地操控独立功放,因此,一方面所述音频管理组件11可借由所述逻辑控制模块,并基于前述语音指令从车载音响控制组件获取相应于各音区的音频输出控制参数,并将该音频输出控制参数传输至所述放音端2;另一方面所述逻辑控制模块根据获取到的前述音区位置信息以及基于语音指令的控制信息,向音频应用组件13发送资源调用指令,并将所述音区位置信息与所述控制信息转换为放音端2可以理解的控制指令后,发送至放音端2。
关于语音处理组件12,结合图2所示,可包括:前端降噪子模块、回声消除子模块、音区判别子模块、语音识别子模块以及语义理解子模块。
(1)前端降噪子模块,可基于窄波束降噪算法,通过麦克风组件14波束形成原理,将车内空间根据特定的角度划分出虚拟的波束,在波束范围内(特别是指正对波束方向),乘员的语音信号被正常拾取并且噪声被抑制;而在波束范围外,无论人声还是噪声都会被大幅度的抑制。
(2)回声消除子模块,可用于结合参考信号对所述麦克风组件14采集的语音信号进行回声抵消处理。可以是根据放音端2输出的音频信号作为参考,动态估计自适应滤波的系数,然后对麦克风组件14输入的语音信号进行滤波来实现抵消麦克风组件14对放音端2输出声音的拾取。本领域技术人员可以理解的是,回声消除是免提电话(例如车载蓝牙电话)的一个基础算法,用于防止电话远端的声音经过扬声器放大被麦克风组件拾取并传回远端手机而形成回音效应。
(3)音区判别子模块,可用于确定所述音区位置信息并激活后续的语音识别处理,以及将所述音区位置信息发送至前述音频管理组件11(具体可以是发送至前述逻辑控制模块)。可以是利用包括多路唤醒识别、声音能量大小以及声源定位算法等技术,综合判定来多通道输入的语音信号,最终确定乘员所在音区位置,并且可以将该音区采集的语音信号输出至后续语音识别模块。因此,音区判别主要有两个作用,第一是判断发音乘员所在音区的位置信息,另一个是激活启动语音识别处理。在一个优选实施例中,音区判别子模块还可以同时将单路语音信号(例如与车载蓝牙电话相关的语音信号)直接传输至所述音频管理组件11(具体可以是指前述音频输入输出管理模块)。
(4)语音识别子模块,目前可通过在线和/或离线识别两种方式进行,其中在线识别需要连接通信网络,上传语音信号至云端服务器来实现识别的过程,其优点是识别率高。而离线识别无需配置网络,只需本地存储语料库,通过本地处理器来实现识别的过程,优点是可随时随地灵活开启语音识别。
(5)语义理解子模块,可用于根据语音识别结果以及预设的语音应用场景,匹配相应的前述语音指令,并将所述语音指令发送至所述音频管理组件11(具体可以是指前述逻辑控制模块)。当然,在实际操作中,语音指令也可按优先级进行处理,例如在蓝牙通话场景,由于蓝牙电话模式的优先级较高,那么其他应用场景的语音指令不会立即响应,只有属于蓝牙电话模式的语音指令(比如“接听”、“挂断”、“转接至…”等)才会立即发送至所述音频管理组件11进行处理。
这里需进一步说明,采用语音处理组件12来分析、处理麦克风组件14采集的语音信号,也是考虑到传统的车载音响系统的控制界面只有调整音量、Fade和balance、多段均衡等标准的图形交互界面控制方式,人机交互非便利性较差。尤其在驾驶员开车期间,由于传统的控制界面操控复杂,驾驶员容易分神,给行车安全带来隐患;再一方面,传统的操控界面不能精准地控制车载音响、功放系统。比如开车过程中,认为音乐低音效果不够有力,一般是通过图形界面的方式调整均衡器,但是手动操作比较复杂,影响行车安全。再比如希望音量增加15.5分贝,若通过图形交互界面方式实现,需要手动输入数字或者通过预设音量等级的方式进行手动调整,很难一步调整到位,操作麻烦且欠缺精确性。因此,通过本发明的多音区语音交互方式,不仅控在操控上更加方便、灵活,提升行车安全性;还能进一步兼顾各音区(座位)的乘员按自己所需进行自主独立控制。
关于音频应用组件13,可以但不限于是指车机等车载音响装置中可以产生音频信号的程序或功能模块的集合。具体来说,可以是能够被调用的蓝牙电话、收音机、导航、媒体播放器(包括本地CD、MP3、智能终端以及网络音频资源,形式诸如新闻、相声、故事、音乐等)以及汽车控制系统强制输出的报静音等。
关于麦克风组件14,如前文所述,其作用是采集车上每个音区的乘员的语音信号。以双排四个座位的汽车为例,可以前后分设两组麦克风阵列,每组麦克风阵列由两个麦克风单元组成,这样该汽车就可以划分为四个音区。此处还需指出,虽然为了说明方便,在前文中将麦克风组件14划归为拾音端1的部件,但实质上可以将麦克风组件14视为拾音端1的外设,并且在实际操作中,还可以通过放音端2的信号处理部件将麦克风组件14采集的语音信号(例如图3示出的由A2B格式先输入至放音端2进行处理)再间接地传输至拾音端1的音频管理组件11,对此本发明不作限定。
接续前文,结合图1所示,所述放音端2可以具体包括诸如多通道的音效处理组件21、音频放大模块22以及分布设于各音区(也即是车内各座位处)的扬声器23。
上述放音端2的实施例的工作方式可以参考如下:所述音效处理组件21可通过预设的多个输入通道接收由所述拾音端1传输的音区位置信息以及相应的音频资源,并基于所述音区位置信息采用单个独立或多个并行的音效处理策略对所述音频资源进行处理;之后,所述音效处理组件21通过预设的多个输出通道将处理后的音频资源经所述音频放大模块22传输至各音区的所述扬声器23以及向所述拾音端1回传参考信号,以使所述扬声器23播放各自音区所需的音频以及使前述拾音端1的语音处理组件12根据所述参考信号进行语音信号的处理(例如前文提及的抵消回声处理)。
具体来说,结合图3所示,上述放音端2可以是指车载独立功放装置。由此,所述音效处理组件21可以具体包括两个主要职能模块:音效处理模块以及逻辑控制子模块。所述逻辑控制子模块可用来解析前述逻辑控制模块发送的控制指令并译成处理参数;而所述音效处理模块则根据接收到的该处理参数以及相应的音频资源进行音效处理,并将处理后的音频资源经所述音频放大模块传输至各音区的所述扬声器以及向所述音频输入输出管理模块回传所述参考信号。本发明提供的所述音效处理模块可以包括多个相应于各音区的音区音效处理子模块,前述逻辑控制子模块根据所述处理参数使能各所述音区音效处理子模块以单独或并行的方式进行音效处理。
这里需指出,提及音效处理,本发明提供的车载多音区音频处理系统可以兼容两种模式:一种是全局模式(因而上述音效处理模块还可以包括一个全局音效处理子模块);另一种是多音区模式。其中,全局模式与现有的传统功放的音效信号处理基本一致,本发明对此不作赘述;而对于多音区模式,则是指分别对相应于位置信息(也即是语音信号的源头)的音区的扬声器所输出信号进行单独音效处理。但本领域技术人员可以理解的是,全局模式下的音效信号处理由于是针对全车整个扬声器阵列进行调音,可以实施声场重建、环绕音效算法等处理技术,所以音响输出效果相对更好;而多音区模式下,每个音区所分配的扬声器相对较少,而且中央扬声器和低音炮扬声器通常是全局共享,实际操作中考虑到综合成本难以将二者独立配置各个音区,因而单纯比较而言,单音区的音效处理手段以及音响效果交全局模式会略逊色一些。然而,本发明提出实现多音区播放的意义在于为各音区/座位上的乘员提供差异化的音频功能。比如驾驶员在听导航,而副驾乘员可以使用蓝牙免提电话,后排乘员则可以播放电影或收听相声等,或者还可以使各音区乘员一起与外部他人举行电话会议。可见,本发明让不同座位上的乘员均可以独立在各自音区通过语音就能轻松、方便、精准地控制管理所在音区或者整车的音响输出系统,使原有的全车一套音响转变成每个音区/座位均独立配置且可按需使用的分布式音响装置。
关于音效处理模块,具体可以工作在DSP(数字信号处理器),对输入的音频资源数据进行相关计算,例如但不限于音量调节、输入混音、输出混音、输出增益计算、环绕算法、均衡处理、声音限幅处理、扬声器保护等。
关于逻辑控制子模块,其相应于前述拾音端1的逻辑控制模块,主要实现方式可以采用MCU,作用可以但不限于负责独立功放的总线通信、电源管理、硬件启动时序管理、硬件驱动管理、功放诊断管理、音效控制接口配置等。
接着,关于上述音频放大模块22,例如POWER IC模块,可以通过数模转换模块将音效处理模块输出的数字音频数据转变为模拟音频数据,再对模拟音频数据进行放大功率后传输至所述扬声器23。
关于扬声器23需说明,同样是为了便于说明和理解,前文中将扬声器划归为放音端2的部件,但实际操作中可将其理解为放音端2的外设,也即是与独立功放相匹配的扬声器阵列。在此基础上,为了提升多音区音频输出的使用体验,可以根据需要为扬声器阵列加设一定数量的扬声器单元。例如一种针对四座车型的配置方案预先选取了12个扬声器单元,平均分布于四个音区,在此基础上为了增加音区之间的隔离效果,还可以为每个音区/座位增加一个头枕扬声器,也即是该配置方案中总共选用16个扬声器单元。当然,这仅为一种实施示例,本发明对此不做限定。
相应于上述车载多音区音频处理系统,本发明还提供了一种车载多音区音频处理方法的实施例,如图4所示,至少可以包括如下步骤:
步骤S1、接收语音信号;
步骤S2、对语音信号进行处理,得到相应于语音信号的音区位置信息以及基于语义理解的语音指令;
这里所称的对语音信号进行处理,结合前文说明,在一个具体实施方式中,至少可以包括对语音信号进行回声抵消处理。
步骤S3、根据语音指令获取音频资源;
步骤S4、基于音区位置信息,使能相应音区对音频资源进行音效处理;
结合前文系统各实施例,在图5示出的优选方案中,步骤S4具体可扩展为:
步骤S41、将音频资源置于音效处理的输入前端;
步骤S42、解析音区位置信息,并使能与音区位置信息相应的一个或多个音效处理通道;
步骤S43、激活的音效处理通道接收音频资源,并开始对音频资源进行单独或并行音效处理。
最后如图4示出,步骤S5、将音效处理后的音频资源在相应音区内进行输出。
在包含回声抵消处理的实施方案中,在获得音效处理后的音频资源后,还可以从音效处理后的音频资源提取用于参与回声抵消处理的参考信号。
关于上述方法实施例及优选方案,本发明结合一种系统硬件实施示例,进行具体说明:
该系统硬件示例被配置于四座汽车内,其主要组成为麦克风阵列、车机、独立数字功放以及扬声器阵列。其中,麦克风阵列、车机音频部件与独立数字功放部分之间的音频数据(例如音频资源、参考信号、语音信号等)传输可采用ADI公司的A2B(A2B)总线。在此硬件示例中,车机音频部件可作为A2B的主节点,麦克风阵列和独立数字功放均是A2B的从节点。采用A2B总线的优势在于布线成本较低,且可同时双向传输采样率为48KHZ的最高32路通道的TDM/I2S音频信号。此外,在该硬件示例中,车机与独立数字功放之间的指令通信采用但不限于CAN总线。基于此,完整且具体的处理方法示例如下:
1)用户在车内某个音区发出语音唤醒指令。麦克风阵列收集四路音区的语音数据打包为TDM信号经由A2B总线发给车机。
2)车机的音频输入输出管理模块预先配置了四路麦克风信号和四路来自放音端的参考信号,此时分别输入至语音处理组件的前端降噪子模块和回音消除子模块。
3)其中,前端降噪子模块收到四路麦克风信号,通过麦克风阵列波束形成的算法,对四路语音信号进行降噪处理。
4)降噪后的四路语音信号发送至回声消除子模块,回声消除子模块结合从放音端的音效处理模块发来的四路参考信号进行回声消除算法计算,得到的四路语音信号并发至音区判别子模块。
5)音区判别子模块可通过四路唤醒识别算法以及声源定位算法、信号能量检查算法等,确定发声用户所在音区,并语音信号发送至语音识别子模块(和车机的音频输入输出管理模块,例如单路语音),另外将音区位置信息发送至车机的逻辑控制模块。
6)该音区被唤醒后,用户继续下达收听网络音乐意图的语音信号(在某些应用场景下唤醒语音和意图语音可合并考虑),语音识别子模块随之启动识别处理,之后将识别结果发送至语义理解子模块。语义理解子模块根据当前特定的业务场景需求,输出控制命令至所述控制逻辑模块。
7)逻辑控制模块一方面从多应用组件中调用网络音乐播放器的音频资源,一方面将音区位置信息以及与语音指令相关的(例如播放音乐的模式信息)指令转换为后续放音端可以理解的指令,然后通过CAN总线发送至放音端的逻辑控制子模块。
8)与上述相应地,音频输入输出管理模块将网络音乐的音频码流按照预先定义的顺序由指定的输入通道传输至放音端的音效处理模块前端。
9)逻辑控制子模块解析CAN总线传送过来的命令,然后将其转译成音效处理模块可以理解的相关参数,再通过SPI总线发送至实现音效处理的DSP。具体可以是逻辑控制子模块收到控制信息后,开始进行解析并生成相应的控制命令以及音效处理模块需要更新的block的相关参数。此时可以根据音区位置信息使能与该音区相应的音区音效处理子模块,操作是更新音效处理模块的输入混音(Input mixer)参数,即只开放特定通道以使乘客需求的音乐数据输入至相应的音区音效处理子模块,并更新输出混音(Output Mixer)相关参数,以使音效处理后的音乐数据混入相应音区的扬声器单元。
这样就实现了该音区的所需音频播放,而多音区输出皆可同理且并行实施。据此,还可以进一步补充的是,一个较佳的方法实施例中,当多个音区同时且分别输出各自所需的音频资源时,如果其中一个音区输出为电话音频,则按照预设的音量值,抑制其他音区的输出音量。
具体来说,由于本发明具备在不同音区同时播放不同音源的功能,那么就需要考虑音频输出管理策略的适应性。如前文所述,音频资源可大致分为两类:第一类是普通音源类,包括媒体播放器播放的所有类型的声音(如音乐、新闻、相声、故事等)、收音机等;第二类是中断音源如导航、警报音以及蓝牙电话等。基于此,在本发明的多音区输出模式下,音频输出管理策略可以参考:
一、每个音区可以独立播放各自的普通音源,但是每个音区只能同时播放一种普通音源。举例来说,一个音区可以播放相声,另一个音区可以播放蓝牙音乐,但不能在同一个音区内同时既播放相声又播放蓝牙音乐。
二、中断音源如果是导航或警报音,各音区中此两种中断音源均可以与普通音源同时播放,较佳地,如果存在导航或警报音,该音区的普通音源的音量可自动下降,即被抑制在预设音量值。
三、中断音源如果是蓝牙电话,那么同一时刻应只有一个音区可以接听电话,且此时该接听电话的音区除了系统强制的报警音外,其他所有音源均暂时禁止播放。同时,其他各音区所播音频资源的音量也需要抑制在预设音量值,以免妨碍接听电话的音区的乘员正常通话。
综上所述,本发明将现有的统一的音频输出改进为多音区输出,并打通了拾音端和放音端的控制链路,实现了语音交互技术与独立功放技术的有效结合,使车内各音区乘员均可实现对车载音响的独立操控,并满足每个音区/座位上的乘员的个性化音频需求。
最后需说明,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果,但以上仅为本发明的较佳实施例,需要言明的是,上述实施例及其优选方式所涉及的技术特征,本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下,合理地组合搭配成多种等效方案;因此,本发明不以图面所示限定实施范围,凡是依照本发明的构想所作的改变,或修改为等同变化的等效实施例,仍未超出说明书与图示所涵盖的精神时,均应在本发明的保护范围内。

Claims (10)

1.一种车载多音区音频处理系统,其特征在于,包括:拾音端和放音端;
所述拾音端包括音频管理组件、语音处理组件、音频应用组件以及分布设于各音区的麦克风组件;
所述音频管理组件通过所述语音处理组件分析由所述麦克风组件采集的语音信号,以获得与所述语音信号相应的语音指令以及音区位置信息;所述音频管理组件基于所述语音指令从所述音频应用组件调用相应的音频资源,并将所述音区位置信息以及所述音频资源传输至所述放音端;
所述放音端包括多通道的音效处理组件、音频放大模块以及分布设于各音区的扬声器;
所述音效处理组件用于通过预设的多个输入通道接收由所述拾音端传输的音区位置信息以及相应的音频资源,并基于所述音区位置信息采用单个独立或多个并行的音效处理策略对所述音频资源进行处理;所述音效处理组件还用于通过预设的多个输出通道将处理后的音频资源经所述音频放大模块传输至各音区的所述扬声器以及向所述拾音端回传参考信号,以使所述扬声器播放各自音区所需的音频以及使所述语音处理组件根据所述参考信号进行语音信号的处理。
2.根据权利要求1所述的车载多音区音频处理系统,其特征在于,所述拾音端还包括车载音响控制组件;
所述音频管理组件还用于基于所述语音指令从所述车载音响控制组件获取相应于各音区的控制参数,并将所述控制参数传输至所述放音端,以对各音区音频输出进行单独或并行控制。
3.根据权利要求1所述的车载多音区音频处理系统,其特征在于,所述音频管理组件包括音频输入输出管理模块以及逻辑控制模块,所述音效处理组件包括音效处理模块以及逻辑控制子模块;
所述音频输入输出管理模块用于按照预设的通道定义和顺序接收和发送所述语音信号、所述音频资源以及所述参考信号;
所述逻辑控制模块根据获取到的音区位置信息以及基于语音指令的控制信息,向音频应用组件发送资源调用指令,并将所述音区位置信息与所述控制信息转换为控制指令发送至所述逻辑控制子模块;
所述逻辑控制子模块解析所述控制指令并译成处理参数;
所述音效处理模块用于根据接收到的所述处理参数以及相应的音频资源进行音效处理,并将处理后的音频资源经所述音频放大模块传输至各音区的所述扬声器以及向所述音频输入输出管理模块回传所述参考信号。
4.根据权利要求3所述的车载多音区音频处理系统,其特征在于,所述音效处理模块包括多个相应于各音区的音区音效处理子模块,所述逻辑控制子模块根据所述处理参数使能所述音区音效处理子模块以单独或并行的方式进行音效处理。
5.根据权利要求1~4任一项所述的车载多音区音频处理系统,其特征在于,所述语音处理组件至少包括:回声消除子模块、音区判别子模块以及语义理解子模块;
所述回声消除子模块用于结合所述参考信号对所述麦克风组件采集的语音信号进行回声抵消处理;
所述音区判别子模块用于确定所述音区位置信息并激活语音识别处理,以及将所述音区位置信息发送至所述音频管理组件;
所述语义理解子模块用于根据语音识别结果以及预设的语音应用场景,匹配相应的所述语音指令,并将所述语音指令发送至所述音频管理组件。
6.一种车载多音区音频处理方法,其特征在于,包括:
接收语音信号;
对所述语音信号进行处理,得到相应于所述语音信号的音区位置信息以及基于语义理解的语音指令;
根据所述语音指令获取音频资源;
基于所述音区位置信息,使能相应音区对所述音频资源进行音效处理;
将音效处理后的所述音频资源在相应音区内进行输出。
7.根据权利要求6所述的车载多音区音频处理方法,其特征在于,所述基于所述音区位置信息,使能相应音区对所述音频资源进行音效处理包括:
将所述音频资源置于音效处理的输入前端;
解析所述音区位置信息,并使能与所述音区位置信息相应的一个或多个音效处理通道;
激活的所述音效处理通道接收所述音频资源,并开始对所述音频资源进行单独或并行音效处理。
8.根据权利要求6所述的车载多音区音频处理方法,其特征在于,所述方法还包括:
当多个音区同时且分别输出各自音频资源时,如果其中一个音区输出为电话音频,则按照预设音量值,抑制其他音区的输出音量。
9.根据权利要求6~8任一项所述的车载多音区音频处理方法,其特征在于,所述对所述语音信号进行处理包括:对所述语音信号进行回声抵消处理。
10.根据权利要求9所述的车载多音区音频处理方法,其特征在于,所述方法还包括:
从音效处理后的所述音频资源提取用于参与回声抵消处理的参考信号。
CN201910785002.9A 2019-08-23 2019-08-23 车载多音区音频处理系统及方法 Pending CN110475180A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910785002.9A CN110475180A (zh) 2019-08-23 2019-08-23 车载多音区音频处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910785002.9A CN110475180A (zh) 2019-08-23 2019-08-23 车载多音区音频处理系统及方法

Publications (1)

Publication Number Publication Date
CN110475180A true CN110475180A (zh) 2019-11-19

Family

ID=68513723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910785002.9A Pending CN110475180A (zh) 2019-08-23 2019-08-23 车载多音区音频处理系统及方法

Country Status (1)

Country Link
CN (1) CN110475180A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599366A (zh) * 2020-05-19 2020-08-28 科大讯飞股份有限公司 一种车载多音区语音处理的方法和相关装置
CN112599133A (zh) * 2020-12-15 2021-04-02 北京百度网讯科技有限公司 基于车辆的语音处理方法、语音处理器、车载处理器
CN112786076A (zh) * 2021-01-28 2021-05-11 恒大新能源汽车投资控股集团有限公司 汽车音乐多通道播放控制方法、存储介质及电子设备
CN113271564A (zh) * 2021-04-27 2021-08-17 斑马网络技术有限公司 一种基于车机蓝牙模块的电话和音乐并行的方法
CN113407762A (zh) * 2021-06-18 2021-09-17 斑马网络技术有限公司 一种多音区音频播放管理的方法、设备及系统
CN114678026A (zh) * 2022-05-27 2022-06-28 广州小鹏汽车科技有限公司 语音交互方法、车机终端、车辆及存储介质
CN114866905A (zh) * 2022-05-05 2022-08-05 镁佳(北京)科技有限公司 一种车载音响的音频处理方法及装置
CN115065911A (zh) * 2022-06-13 2022-09-16 中国第一汽车股份有限公司 一种音频控制系统、音频控制方法、装置、设备及介质
CN115297403A (zh) * 2022-06-22 2022-11-04 中国第一汽车股份有限公司 一种车内音频场景自适应调整方法及音频系统
FR3123777A1 (fr) 2021-06-07 2022-12-09 Renault S.A.S Système de gestion acoustique d’un habitacle de véhicule automobile
CN115794025A (zh) * 2023-02-07 2023-03-14 南京芯驰半导体科技有限公司 一种车载音频分区输出系统及方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637857A (zh) * 2004-01-07 2005-07-13 株式会社电装 噪音消除系统、语音识别系统以及汽车导航系统
US20060018489A1 (en) * 2004-07-23 2006-01-26 Clever Devices Advanced digital vehicle microphone system and method having stop request chime capabilities
CN2829220Y (zh) * 2005-09-14 2006-10-18 公信电子股份有限公司 具有蓝牙模块的车用多媒体播放装置
CN101417635A (zh) * 2007-10-26 2009-04-29 丰田自动车株式会社 车辆用通话装置、通话系统、中心、通话方法
CN202508032U (zh) * 2012-03-30 2012-10-31 李京钊 车载蓝牙免提系统
CN102801436A (zh) * 2012-07-10 2012-11-28 南京智启软件开发有限公司 一种无屏车载多媒体导航终端
CN103123797A (zh) * 2011-11-21 2013-05-29 上海博泰悦臻网络技术服务有限公司 一种车载音频播放系统及方法
CN105409242A (zh) * 2013-03-15 2016-03-16 Thx有限公司 用于修改在给定收听空间内指定位置处的声场的方法和系统
CN105578347A (zh) * 2015-12-25 2016-05-11 数源科技股份有限公司 一体化汽车电子产品的音频系统
CN106797233A (zh) * 2014-10-08 2017-05-31 Jvc 建伍株式会社 回波消除装置、回波消除程序以及回波消除方法
CN107666535A (zh) * 2016-07-27 2018-02-06 阿尔派株式会社 车载装置、车载装置音频输出控制方法以及音频输出控制系统
CN108022597A (zh) * 2017-12-15 2018-05-11 北京远特科技股份有限公司 一种声音处理系统、方法及车辆
CN108281156A (zh) * 2017-01-04 2018-07-13 2236008安大略有限公司 语音界面和声乐娱乐系统
CN109089203A (zh) * 2018-09-17 2018-12-25 中科上声(苏州)电子有限公司 汽车音响系统的多声道信号转换方法及汽车音响系统
CN109192203A (zh) * 2018-09-29 2019-01-11 百度在线网络技术(北京)有限公司 多音区语音识别方法、装置及存储介质
CN109545230A (zh) * 2018-12-05 2019-03-29 百度在线网络技术(北京)有限公司 车辆内的音频信号处理方法和装置
CN109754803A (zh) * 2019-01-23 2019-05-14 上海华镇电子科技有限公司 车载多音区语音交互系统及方法
CN109982209A (zh) * 2019-04-24 2019-07-05 广州小鹏汽车科技有限公司 一种车载音响系统
CN110070868A (zh) * 2019-04-28 2019-07-30 广州小鹏汽车科技有限公司 车载系统的语音交互方法、装置、汽车和机器可读介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637857A (zh) * 2004-01-07 2005-07-13 株式会社电装 噪音消除系统、语音识别系统以及汽车导航系统
US20060018489A1 (en) * 2004-07-23 2006-01-26 Clever Devices Advanced digital vehicle microphone system and method having stop request chime capabilities
CN2829220Y (zh) * 2005-09-14 2006-10-18 公信电子股份有限公司 具有蓝牙模块的车用多媒体播放装置
CN101417635A (zh) * 2007-10-26 2009-04-29 丰田自动车株式会社 车辆用通话装置、通话系统、中心、通话方法
CN103123797A (zh) * 2011-11-21 2013-05-29 上海博泰悦臻网络技术服务有限公司 一种车载音频播放系统及方法
CN202508032U (zh) * 2012-03-30 2012-10-31 李京钊 车载蓝牙免提系统
CN102801436A (zh) * 2012-07-10 2012-11-28 南京智启软件开发有限公司 一种无屏车载多媒体导航终端
CN105409242A (zh) * 2013-03-15 2016-03-16 Thx有限公司 用于修改在给定收听空间内指定位置处的声场的方法和系统
CN106797233A (zh) * 2014-10-08 2017-05-31 Jvc 建伍株式会社 回波消除装置、回波消除程序以及回波消除方法
CN105578347A (zh) * 2015-12-25 2016-05-11 数源科技股份有限公司 一体化汽车电子产品的音频系统
CN107666535A (zh) * 2016-07-27 2018-02-06 阿尔派株式会社 车载装置、车载装置音频输出控制方法以及音频输出控制系统
CN108281156A (zh) * 2017-01-04 2018-07-13 2236008安大略有限公司 语音界面和声乐娱乐系统
CN108022597A (zh) * 2017-12-15 2018-05-11 北京远特科技股份有限公司 一种声音处理系统、方法及车辆
CN109089203A (zh) * 2018-09-17 2018-12-25 中科上声(苏州)电子有限公司 汽车音响系统的多声道信号转换方法及汽车音响系统
CN109192203A (zh) * 2018-09-29 2019-01-11 百度在线网络技术(北京)有限公司 多音区语音识别方法、装置及存储介质
CN109545230A (zh) * 2018-12-05 2019-03-29 百度在线网络技术(北京)有限公司 车辆内的音频信号处理方法和装置
CN109754803A (zh) * 2019-01-23 2019-05-14 上海华镇电子科技有限公司 车载多音区语音交互系统及方法
CN109982209A (zh) * 2019-04-24 2019-07-05 广州小鹏汽车科技有限公司 一种车载音响系统
CN110070868A (zh) * 2019-04-28 2019-07-30 广州小鹏汽车科技有限公司 车载系统的语音交互方法、装置、汽车和机器可读介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599366B (zh) * 2020-05-19 2024-04-12 科大讯飞股份有限公司 一种车载多音区语音处理的方法和相关装置
CN111599366A (zh) * 2020-05-19 2020-08-28 科大讯飞股份有限公司 一种车载多音区语音处理的方法和相关装置
CN112599133A (zh) * 2020-12-15 2021-04-02 北京百度网讯科技有限公司 基于车辆的语音处理方法、语音处理器、车载处理器
CN112786076A (zh) * 2021-01-28 2021-05-11 恒大新能源汽车投资控股集团有限公司 汽车音乐多通道播放控制方法、存储介质及电子设备
CN113271564A (zh) * 2021-04-27 2021-08-17 斑马网络技术有限公司 一种基于车机蓝牙模块的电话和音乐并行的方法
CN113271564B (zh) * 2021-04-27 2023-02-28 斑马网络技术有限公司 一种基于车机蓝牙模块的电话和音乐并行的方法
FR3123777A1 (fr) 2021-06-07 2022-12-09 Renault S.A.S Système de gestion acoustique d’un habitacle de véhicule automobile
CN113407762A (zh) * 2021-06-18 2021-09-17 斑马网络技术有限公司 一种多音区音频播放管理的方法、设备及系统
CN114866905A (zh) * 2022-05-05 2022-08-05 镁佳(北京)科技有限公司 一种车载音响的音频处理方法及装置
CN114678026B (zh) * 2022-05-27 2022-10-14 广州小鹏汽车科技有限公司 语音交互方法、车机终端、车辆及存储介质
CN114678026A (zh) * 2022-05-27 2022-06-28 广州小鹏汽车科技有限公司 语音交互方法、车机终端、车辆及存储介质
CN115065911A (zh) * 2022-06-13 2022-09-16 中国第一汽车股份有限公司 一种音频控制系统、音频控制方法、装置、设备及介质
CN115297403A (zh) * 2022-06-22 2022-11-04 中国第一汽车股份有限公司 一种车内音频场景自适应调整方法及音频系统
CN115794025A (zh) * 2023-02-07 2023-03-14 南京芯驰半导体科技有限公司 一种车载音频分区输出系统及方法
CN115794025B (zh) * 2023-02-07 2023-05-02 南京芯驰半导体科技有限公司 一种车载音频分区输出系统及方法

Similar Documents

Publication Publication Date Title
CN110475180A (zh) 车载多音区音频处理系统及方法
CN109192203B (zh) 多音区语音识别方法、装置及存储介质
CN105873799B (zh) 基于上下文的音频调谐
CN216886473U (zh) 一种车载音频系统
CN110366156B (zh) 通讯处理方法、装置、设备、存储介质及音频管理系统
CN106910510A (zh) 车载功放设备、车辆及其音频播放处理方法
CN107134286A (zh) 基于语音交互的无线音频播放方法、音乐播放器及存储介质
CN104285451B (zh) 音频系统
US20110280388A1 (en) Audio conversation apparatus
JP2004029323A (ja) 音声認識システム、端末、音声認識サーバおよびコンピュータプログラム
CN110349582B (zh) 显示装置与远场语音处理电路
CN103220594A (zh) 用于车辆的音效调控系统
CN111833875B (zh) 一种嵌入式语音交互系统
CN108093653A (zh) 语音提示方法、语音提示程序、语音提示系统及终端装置
CN111447519A (zh) 智能音箱、基于智能音箱的交互方法及程序产品
CN110696756A (zh) 一种车辆的音量控制方法及装置、汽车、存储介质
EP3906705A1 (en) Hybrid in-car speaker and headphone based acoustical augmented reality system
CN110111791A (zh) 一种基于车载智能网联的语音识别系统
CN109600703A (zh) 扩声系统及其扩声方法和计算机可读存储介质
US20220095045A1 (en) In-car headphone acoustical augmented reality system
WO2022012413A1 (zh) 一种用于移动式人机协作呼叫机器人的三方通话终端
CN110505553A (zh) 车内音箱喇叭播放方法及播放装置
CN211860471U (zh) 智能音箱
CN114537304A (zh) 一种整车声音智能调节方法及系统
US20020116198A1 (en) Method for transmitting synchronization data in audio and/or video processing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191119