CN110691299B - 音频处理系统、方法、装置、设备及存储介质 - Google Patents

音频处理系统、方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110691299B
CN110691299B CN201910810790.2A CN201910810790A CN110691299B CN 110691299 B CN110691299 B CN 110691299B CN 201910810790 A CN201910810790 A CN 201910810790A CN 110691299 B CN110691299 B CN 110691299B
Authority
CN
China
Prior art keywords
audio signals
audio
vehicle
channel
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910810790.2A
Other languages
English (en)
Other versions
CN110691299A (zh
Inventor
陶然
马桂林
许震洪
王凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Suzhou Technology Co Ltd
Original Assignee
Iflytek Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Suzhou Technology Co Ltd filed Critical Iflytek Suzhou Technology Co Ltd
Priority to CN201910810790.2A priority Critical patent/CN110691299B/zh
Publication of CN110691299A publication Critical patent/CN110691299A/zh
Application granted granted Critical
Publication of CN110691299B publication Critical patent/CN110691299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本申请实施例提供一种音频处理系统、方法、装置、设备及存储介质,该音频处理系统包括音频处理设备、设置在车体外部的麦克风阵列和设置在车体内部的扬声器阵列;麦克风阵列,用于拾取多路车外音频信号;音频处理设备,用于识别多路车外音频信号是否包含特定类型的音频信号;音频处理设备,还用于在识别出多路车外音频信号为特定类型的音频信号的情况下,将多路车外音频信号转换为多通道输出音频信号;扬声器阵列,用于播放多通道输出音频信号。本申请实施例能够提高车辆行驶的安全性。

Description

音频处理系统、方法、装置、设备及存储介质
技术领域
本申请涉及车辆技术领域,具体涉及一种音频处理系统、方法、装置、设备及存储介质。
背景技术
当今,汽车已经非常普及,已经成为人们出行最主要的交通工具。人们在追求其带来便利的同时,也对驾乘舒适性和安全性的需求越来越高。全球各大汽车厂商通过各种技术手段来降低发动机噪声、轮胎噪声、风阻噪声等外部噪声,比如采用隔音棉、车内主动降噪等技术手段,努力营造一个安静的车内环境。但是,有一些外部声音并不是噪声,反而需要给驾驶员适当的提示,比如说其他车辆的鸣笛声、爆炸声、轮胎抱死与路面摩擦的声音等车外环境的重要提示音,如果被一些降噪技术消除到很小音量,反而影响驾驶员的判断,降低行车安全性。特别是在高速上行驶时,如果车内人员将车内音乐声音调大,再加上比较大风噪和路躁,车内人员不容易听到外部异常声音,存在极大的安全隐患。
目前针对车外环境的重要提示音的提示系统仅仅是一种声音提示,无法模拟出车外重要提示音,对提升车辆的行驶安全性作用不大。
发明内容
本申请实施例提供一种音频处理系统、方法、装置、设备及存储介质,可以提高车辆行驶的安全性。
本申请实施例的第一方面提供了一种音频处理系统,包括音频处理设备、设置在车体外部的麦克风阵列和设置在车体内部的扬声器阵列,其中:
所述麦克风阵列,用于拾取多路车外音频信号;
所述音频处理设备,用于识别所述多路车外音频信号是否包含特定类型的音频信号;
所述音频处理设备,还用于在识别出所述多路车外音频信号为特定类型的音频信号的情况下,将所述多路车外音频信号转换为多通道输出音频信号;
所述扬声器阵列,用于播放所述多通道输出音频信号。
本申请实施例的第二方面提供了一种音频处理方法,所述方法应用于音频处理系统,所述音频处理系统包括音频处理设备、设置在车体外部的麦克风阵列和设置在车体内部的扬声器阵列;所述方法包括:
所述麦克风阵列拾取多路车外音频信号;
所述音频处理设备识别所述多路车外音频信号是否包含特定类型的音频信号;
若是,所述音频处理设备将所述多路车外音频信号转换为多通道输出音频信号;
所述扬声器阵列播放所述多通道输出音频信号。
本申请实施例的第三方面提供了一种音频处理装置,包括识别单元和音频处理单元,其中:
所述识别单元,用于识别麦克风阵列拾取的多路车外音频信号是否包含特定类型的音频信号;
所述音频处理单元,用于在所述识别单元识别出所述多路车外音频信号为特定类型的音频信号的情况下,将所述多路车外音频信号转换为多通道输出音频信号;所述多通道输出音频信号用于扬声器阵列进行播放。
本申请实施例的第四方面提供了一种音频处理设备,包括处理器和存储器,所述处理器所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如本申请实施例第二方面中所述音频处理设备所执行的步骤。
本申请实施例的第五方面提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第二方面中所述音频处理设备所执行的步骤。
本申请实施例的第六方面提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第二方面中所述音频处理设备所执行的步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例中,音频处理系统在对车外音频信号进行处理时,首先通过设置在车体外部的麦克风阵列拾取多路车外音频信号;然后识别该多路车外音频信号是否包含特定类型的音频信号;如果是,将该多路车外音频信号转换为多通道输出音频信号,并由设置在车体内部的扬声器阵列播放。本申请实施例可以将车外拾取的特定类型的多路车外音频信号转换为车内扬声器阵列可以播放的多通道输出音频信号,从而对车外的特定类型的音频信号(比如,车外重要提示音)在车内进行还原,形成与车外类似的声场,在车辆隔音效果较好的情况下,车内驾乘人员也可以听到车外的特定类型的音频信号,从而可以提高车辆行驶的安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种音频处理系统的结构示意图;
图2是本申请实施例提供的另一种音频处理系统的结构示意图;
图3是本申请实施例提供的另一种音频处理系统的结构示意图;
图4a是本申请实施例提供的一种估计声源相对于麦克风阵列的相对方向的示意图;
图4b是本申请实施例提供的一种估计声源相对于麦克风阵列的相对距离的示意图;
图5是本申请实施例提供的一种播放控制模块的结构示意图;
图6是本申请实施例提供的一种音频处理方法的流程示意图;
图7是本申请实施例提供的另一种音频处理方法的流程示意图;
图8是本申请实施例提供的另一种音频处理方法的流程示意图;
图9是本申请实施例提供的一种音频处理装置的结构示意图;
图10是本申请实施例提供的一种音频处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的服务器可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station, MS),终端设备(terminaldevice)等等。为方便描述,上面提到的设备统称为服务器。
下面对本申请实施例进行详细介绍。
请参阅图1,图1是本申请实施例提供的一种音频处理系统的结构示意图,该音频处理系统100可以设置在车辆上。如图1所示,该音频处理系统100包括音频处理设备11、设置在车体外部的麦克风阵列12和设置在车体内部的扬声器阵列13。其中,麦克风阵列12可以拾取多路车外音频信号,将多路车外音频信号输出至音频处理设备11;音频处理设备11识别多路车外音频信号是否包含特定类型的音频信号;音频处理设备11在识别出多路车外音频信号为特定类型的音频信号的情况下,将多路车外音频信号转换为多通道输出音频信号,将多通道输出音频信号输出至扬声器阵列13;扬声器阵列13播放多通道输出音频信号。
其中,麦克风阵列12可以包括至少两个麦克风,每个麦克风可以拾取一路车外音频信号。例如,如果麦克风阵列12包括四个麦克风,麦克风阵列12的四个麦克风可以分别拾取一路车外音频信号,可以通过麦克风阵列12拾取四路车外音频信号。麦克风阵列12可以固定设置在车辆的外部。比如,如果麦克风阵列12包括两个麦克风,可以将两个麦克风分别设置在车辆的两侧A柱或B 柱或C柱上,车辆的A柱也称为前柱,一般设置在车辆的发动机舱和驾驶舱之间,位于左右后视镜的上方;车辆的B柱也称为中柱,一般设置在车辆的驾驶舱的前座和后座之间,一般设置在两侧两扇门之间的纵向杠子上;车辆的C柱也称为后柱,一般设置在车辆在后座头枕的两侧。车辆的A柱、B柱和C柱都属于车身(车架)支柱的简称,可以起到对车辆的车架的支撑作用。又比如,如果麦克风阵列12包括四个麦克风,可以将四个麦克风中的两个设置在车辆的两侧A柱上,将四个麦克风中的另外两个设置在车辆的两侧C柱上。麦克风阵列12中的麦克风可以是模拟麦克风,也可以是数字麦克风,本申请实施例不做限定。模拟麦克风输出的信号为模拟信号。数字麦克风可以将模拟音频信号转换为数字信号进行处理(例如,音频降噪、音频放大等处理)和传输。数字麦克风具有抗干扰能力强的特点,其输出的信号为数字信号。
麦克风阵列12中的麦克风可以是全向麦克风,对来自所有方向的声音都同样敏感。举例来说,麦克风阵列12中的麦克风可以是微机电系统 (Micro-Electro-MechanicalSystem,MEMS)麦克风。MEMS麦克风是基于 MEMS技术制造的麦克风。MEMS麦克风坚固耐用、性价比高。由于MEMS 麦克风尺寸小巧且功耗低,几乎可以集成到任何应用中。MEMS麦克风具有全向响应,对来自任何方向的声音具有相同的灵敏度,MEMS麦克风适合于某些应用,例如需要固定麦克风来捕捉来自不确定方向或移动声源的声音。
扬声器阵列13可以包括至少两个扬声器,每个扬声器可以播放一个通道的输出音频信号。例如,如果扬声器阵列13包括四个扬声器,扬声器阵列13的四个扬声器可以分别播放一个通道输出音频信号,可以通过扬声器阵列13播放四通道输出音频信号。
扬声器阵列13可以固定设置在车辆的内部。比如,如果扬声器阵列13包括两个扬声器,可以将两个扬声器分别设置在车辆的前门两侧面或后门两侧面。又比如,如果扬声器阵列13包括四个扬声器,可以将四个扬声器中的两个设置在车辆的前门两侧面,将四个扬声器中的另外两个设置在车辆的后门两侧面。扬声器阵列13中的扬声器可以是模拟扬声器,也可以是数字扬声器,本申请实施例不做限定。模拟扬声器可以对输入的模拟信号进行处理并播放。数字扬声器可以将输入的数字音频信号转换为模拟音频信号后进行处理(例如,音频放大等处理)并播放。
特定类型的音频信号可以是特定频率范围的音频信号。对于车外其他车辆的鸣笛声、爆炸声、轮胎抱死与路面摩擦的声音等,都会对应不同的频率。比如,鸣笛声一般分布在3200Hz和4100Hz两个频点上。如果识别到多路车外音频信号的频率位于3100~3300Hz或4000Hz~4200Hz两个频段上,则认为多路车外音频信号为特定类型的音频信号。
音频处理设备11可以对麦克风阵列12拾取的多路车外音频信号进行降噪处理、放大处理、音频相位调整、音频幅值调整等处理,使得输出的多通道输出音频信号经扬声器阵列13播放后形成与车外类似的声场,可以将车外的特定类型的音频信号在车内进行还原。
本申请实施例中,可以将车外拾取的特定类型的多路车外音频信号转换为车内扬声器阵列可以播放的多通道输出音频信号,从而对车外的特定类型的音频信号在车内进行还原,形成与车外类似的声场,在车辆隔音效果较好的情况下,车内驾乘人员也可以听到车外的特定类型的音频信号,从而可以提高车辆行驶的安全性。
请参阅图2,图2是本申请实施例提供的另一种音频处理系统的结构示意图,该音频处理系统100可以设置在车辆上。图2是在图1的基础上进一步优化得到。如图2所示,该音频处理系统100包括音频处理设备11、设置在车体外部的麦克风阵列12和设置在车体内部的扬声器阵列13。其中,音频处理设备11 包括音频识别模块111、波束成形模块112、位置估计模块113和播放控制模块 114。图2中的麦克风阵列12中的麦克风可以是数字麦克风。图2中的扬声器阵列13中的扬声器可以是数字扬声器。
麦克风阵列12可以拾取多路车外音频信号,将多路车外音频信号输出至音频处理设备11;音频处理设备11识别多路车外音频信号是否包含特定类型的音频信号;音频处理设备11在识别出多路车外音频信号为特定类型的音频信号的情况下,将多路车外音频信号转换为多通道输出音频信号,将多通道输出音频信号输出至扬声器阵列13;扬声器阵列13播放多通道输出音频信号。
其中,音频处理设备11识别多路车外音频信号是否包含特定类型的音频信号的具体过程为:
音频识别模块111识别多路车外音频信号是否包含特定类型的音频信号;
音频处理设备11将多路车外音频信号转换为多通道输出音频信号的具体过程为:
波束成形模块112将多路车外音频信号合成一路混合音频信号;
位置估计模块113根据多路车外音频信号确定车外声源位置信息;
播放控制模块114根据车外声源位置信息对混合音频信号进行处理,得到多通道输出音频信号。
本申请实施例中,音频识别模块111可以根据多路车外音频信号的频率和幅值来识别多路车外音频信号是否包含特定类型的音频信号。
特定类型的音频信号可以包括刹车时轮胎抱死与路面摩擦的声音信号、车辆的鸣笛声信号、爆炸声信号中的任一种。特定类型的音频信号可以是特定频率范围的音频信号和/或特定幅度的音频信号。特定频率范围可以是特定类型的音频信号所处的频率范围。比如,刹车时轮胎抱死与路面摩擦的声音信号所处的频率范围、车辆的鸣笛声信号所处的频率范围、爆炸声信号所处的频率范围等。
举例来说,车辆的鸣笛声信号所处的频率范围在3200Hz附近或4100Hz附近,可以设置特定频率范围为3100~3300Hz和4000Hz~4200Hz。只要识别到多路车外音频信号处于3100~3300Hz或处于4000Hz~4200Hz,则认为多路车外音频信号为特定类型(车辆的鸣笛声)的音频信号。
下面以鸣笛声为例来阐述音频处理系统100的工作流程。
音频识别模块111获取多路车外音频信号后,可以提取多路车外音频信号的谐振频率以及对应的增益值,判断其谐振频率是否位于3100~3300Hz或 4000Hz~4200Hz区间,若是,则确定为鸣笛声信号,若否,则确定为非鸣笛声信号。如果是非鸣笛声信号,则音频识别模块111继续获取输入的音频信号,如果是鸣笛声信号,则将多路车外音频信号传输至位置估计模块113,通过位置估计模块113进一步分析鸣笛声信号的位置,根据鸣笛声信号的位置确定是否是本车发出,如果是本车发出,将不对其进行处理,继续重新获取输入的音频信号,如果不是本车发出,则判断为合法的鸣笛声,将输出至波束成形模块112 和位置估计模块113进行下一步处理。
音频识别模块111判断鸣笛声信号是否是本车发出具体可以为:获取位置估计模块113根据多路车外音频信号确定的车外声源位置信息,如果分析车外声源位置信息确定得到的车外声源位置是本车的外置鸣笛喇叭位置,则确定鸣笛声信号就是本车所发出的,如果分析车外声源位置信息确定得到的车外声源位置不是本车的外置鸣笛喇叭位置,则确定鸣笛声信号不是本车所发出的。由于本车的外置鸣笛喇叭相对于麦克风阵列12的位置是固定的,所以本车的外置鸣笛喇叭位置可以预先存储在存储器中。
波束成形模块112将多路车外音频信号合成一路混合音频信号,可以对来自一个或多个特定方向的声音更敏感。波束成形模块112可以通过增强某一个或多个特定方向(比如,车外鸣笛声传来的方向)的声音并衰减其他方向的声音的方式合成一路混合音频信号。具体的,波束成形模块112将多路车外音频信号中的车外声源信号(比如,车外鸣笛声信号)进行叠加、延迟插入、放大等信号处理技术,对多路车外音频信号中的车外杂声信号(比如,与车外鸣笛声信号频率不同的音频信号、与车外鸣笛声方向不同的其他方向的音频信号)进行滤波处理,已达到减弱车外杂声信号,增强车外鸣笛声的目的。
播放控制模块114可以根据车外声源位置信息对混合音频信号进行处理,得到多通道输出音频信号,使得扬声器阵列的各扬声器播放多通道输出音频信号时形成与车外类似的声场,车内驾乘人员(比如,司机)可以听到与车外类似的鸣笛声(鸣笛声的方向和大小与车外类似)。
本申请实施例中,可以将车外拾取的特定类型的多路车外音频信号转换为车内扬声器阵列可以播放的多通道输出音频信号,从而对车外的特定类型的音频信号在车内进行还原,形成与车外类似的声场,在车辆隔音效果较好的情况下,车内驾乘人员也可以听到车外的特定类型的音频信号,从而可以提高车辆行驶的安全性。
请参阅图3,图3是本申请实施例提供的另一种音频处理系统的结构示意图,该音频处理系统100可以设置在车辆上。图3是在图1或图2的基础上进一步优化得到。如图3所示,该音频处理系统100包括音频处理设备11、设置在车体外部的麦克风阵列12和设置在车体内部的扬声器阵列13。其中,音频处理设备11包括音频识别模块111、波束成形模块112、位置估计模块113、播放控制模块114、音频预处理模块115和音频后处理模块116。图3中的麦克风阵列12 中的麦克风可以是模拟麦克风,图3中的扬声器阵列13中的扬声器可以是模拟扬声器。
麦克风阵列12拾取多路车外音频信号,将多路车外音频信号输出至音频预处理模块115;
音频预处理模块115将多路车外音频信号进行模数转换,将转换后的多路车外数字音频信号进行降噪处理,得到降噪后的多路车外数字音频信号,将降噪后的多路车外数字音频信号输出至音频识别模块111;
音频识别模块111识别降噪后的多路车外音频信号是否包含特定类型的音频信号,若是,将降噪后的多路车外音频信号输出至波束成形模块112和位置估计模块113;
波束成形模块112在音频识别模块111识别出降噪后的多路车外音频信号为特定类型的音频信号的情况下,将降噪后的多路车外音频信号合成一路混合音频信号,将混合音频信号输出至播放控制模块114;
位置估计模块113根据降噪后的多路车外音频信号确定车外声源位置信息,将车外声源位置信息输出至播放控制模块114;
播放控制模块114根据车外声源位置信息对混合音频信号进行处理,得到多通道输出音频信号,将多通道输出音频信号输出至音频后处理模块116;
音频后处理模块116将多通道输出音频信号进行数模转换,将转换后的多通道输出模拟音频信号进行音频放大处理,得到放大后的多通道输出模拟音频信号,将多通道输出模拟音频信号输出至扬声器阵列13;
扬声器阵列13播放放大后的多通道输出模拟音频信号。
本申请实施例中,音频预处理模块115可以包括模数转换模块(analog todigital converter,A/D转换模块)和降噪模块。A/D转换模块可以用于将多路车外音频信号进行模数转换;降噪模块可以用于将转换后的多路车外数字音频信号进行降噪处理,得到降噪后的多路车外数字音频信号。A/D转换模块可以采用通用的数字信号处理器芯片(digital signal processor,DSP)来实现。
由于麦克风阵列12位于车辆外侧,避免不了外界环境噪声的影响,比如说胎噪、风噪、发动机噪声等。当车辆以高速行驶时,这些噪声将异常明显(比如,对于安装在A柱上的两个麦克风,离发动机比较近,噪声将会更大)。在车辆行驶过程中,麦克风阵列12也将接收到比较大的风噪,所以通过降噪模块对麦克风阵列12拾取的多路车外音频信号进行降噪是非常必要的。
下面以特定类型的音频信号为车辆的鸣笛声为例说明降噪模块的工作原理。由于外界车辆的鸣笛声是一种携带多次谐波的高频信号,其能量主要集中在高频部分,而车辆外界噪声多半是低频噪声,比如说发动机噪声、胎噪、风噪等,所以降噪模块可以使用一个高通滤波器将低频噪声滤除,以提高信噪比。
音频后处理模块116可以包括数模转换模块(digital to analog converter,D/A转换模块)和音频放大模块。D/A转换模块用于将多通道输出音频信号进行数模转换,得到转换后的多通道输出模拟音频信号;音频放大模块用于将转换后的多通道输出模拟音频信号进行音频放大处理,得到放大后的多通道输出模拟音频信号。
播放控制模块114输出的多通道输出音频信号为数字信号,需要经过D/A 转换模块转换成多通道输出模拟音频信号,才能给后续的音频放大模块进行信号放大。D/A转换过程是A/D转换的逆过程,标志着本音频处理系统的数字信号处理部分的结束。
音频放大模块的输入信号是经过A/D转换后的弱小模拟信号,这些信号不足以驱动整个扬声器阵列13。通常,车载扬声器阵列的功率需求从几十瓦到几百瓦不等,一些低端的车载功放系统能够提供几十瓦的输出功率,而高端一些的功放能够提高上百瓦的输出功率,这样才能驱动整个扬声器阵列13。所以,本案也需要音频放大模块,将弱小的模拟信号进行功率放大,最后通过扬声器阵列13播放,形成特定的鸣笛声场,给车内驾乘人员营造出类似于外部鸣笛声音的感觉。具体的,音频放大模块可以是音频放大器。
其中,音频识别模块111识别多路车外音频信号是否包含特定类型的音频信号,具体为:
音频识别模块111识别多路车外音频信号的频率是否处于预设频率区间,识别多路车外音频信号是否为本车发出的音频信号;
音频识别模块111还用于在识别出多路车外音频信号的频率处于预设频率区间,并且识别出该多路车外音频信号不是本车发出的音频信号的情况下,确定多路车外音频信号为特定类型的音频信号;
音频识别模块111还用于在识别出多路车外音频信号的频率不处于预设频率区间的情况下,或者识别出该多路车外音频信号是本车发出的音频信号的情况下,则确定多路车外音频信号为其他音频信号。
本申请实施例中,预设频率区间可以根据特定类型的音频信号所处的频率进行设定。比如,鸣笛声一般分布在3200Hz和4100Hz两个频点上。预设频率区间可以设置为3100~3300Hz和4000Hz~4200Hz,如果音频识别模块111在识别出多路车外音频信号的频率处于3100~3300Hz或4000Hz~4200Hz的情况下,则认为多路车外音频信号为鸣笛声信号。
音频识别模块111识别出该多路车外音频信号是本车发出的音频信号,具体可以包括:获取位置估计模块113根据多路车外音频信号确定的车外声源位置信息,分析车外声源位置是否是本车的外置鸣笛喇叭位置,若是,则确定鸣笛声信号就是本车所发出的,若否,则确定鸣笛声信号不是本车所发出的。由于本车的外置鸣笛喇叭相对于麦克风阵列12的位置是固定的,所以本车的外置鸣笛喇叭位置可以预先存储在存储器中。
其中,波束成形模块112将多路车外音频信号合成一路混合音频信号,具体为:
波束成形模块112根据麦克风阵列中各麦克风的排列位置关系和波束成形算法将将多路车外音频信号合成一路混合音频信号。
本申请实施例中,音频识别模块111在识别出多路车外音频信号为特定类型的音频信号后,波束成形模块112通过波束成形算法将多路车外音频信号合成一路混合音频信号。波束成形算法可以是自适应波束成形算法,可以根据麦克风阵列中各麦克风的空间位置关系(比如,任意两个麦克风之间的距离,)确定波束成形算法中各参数的大小。
波束成形模块112还具有噪声抑制以及方向估计的功能,这将有利于提高鸣笛音频的信噪比,并辅助位置估计模块113提高声源的相对位置判断的准确度。
其中,位置估计模块113根据多路车外音频信号确定车外声源位置信息,具体为:
位置估计模块113根据麦克风阵列中各麦克风的排列位置关系、多路车外音频信号的接收延时确定车外声源相对于麦克风阵列的相对方向和相对距离。
本申请实施例中,位置估计模块113可以对合法的鸣笛声(非本车发出的鸣笛声)进行位置动态判断,并给出实时的位置信息。位置信息包括声源的相对方向,以及距离本车的相对距离。在车辆的行驶过程中,外部鸣笛声源和车辆之间的相对位置是实时变化的,方向和距离都在动态改变。如果外部鸣笛声源和车辆相对静止,则外部鸣笛声源和车辆的相对位置关系是比较容易进行确认的。
但是,车辆在行驶过程中,外部鸣笛声源和车辆的相对位置是实时变化的,需要实时计算外部鸣笛声源相对于麦克风阵列的相对方向和相对距离。
本申请实施例中,位置估计模块113可以使用波达方向估计算法对车外鸣笛声的相对位置进行判断。对于任意声源发出的鸣笛声,由于麦克风安装的位置不同,所以每个麦克风接收到声音都会有相对延迟,根据相对延迟量以及每个麦克风的相对位置关系,即可判断出声源相对于麦克风阵列的相对方向和相对距离。
声源相对于麦克风阵列的相对方向具体可以参见图4a,图4a是本申请实施例提供的一种估计声源相对于麦克风阵列的相对方向的示意图。如图4a所示,鸣笛声以平面波的形式传递至麦克风阵列(如图4a所示的麦克风1和麦克风2),平面波与每个麦克风之间形成θ角,麦克风之间的距离为d,每个麦克风接收到信号的相对延迟为:
τ12=d*cosθ/c
其中,c为空气中的声速。如果角度范围为0~180度,且τ12已知,那么θ是唯一值,即可确定相对方向。
声源相对于麦克风阵列的相对距离具体可以参见图4b,图4b是本申请实施例提供的一种估计声源相对于麦克风阵列的相对距离的示意图。如图4b所示,声源到每个麦克风之间的距离是不同的,分别为r1,r2,r3,图4b中麦克风1和麦克风2之间的相对延迟为:
Figure BDA0002184983980000121
麦克风1和麦克风3之间的相对延迟为:
Figure BDA0002184983980000122
利用余弦定理可以得到
Figure BDA0002184983980000131
Figure BDA0002184983980000132
通过测量,可以得到间距d,如果能够得到相对延迟,通过求解能够计算出θ1,r1,r2,r3,进一步可以得到θ2,θ3,从而确定声源相对距离。
如果鸣笛车辆和本车辆保持相同的速度行驶,那么相对位置信息基本上保持不变;如果鸣笛车辆在鸣笛的过程中急速靠近,相对位置信息也在实时变化,系统即可判断出存在危险可能,将会通过预警模块117提示驾驶员。
可选的,音频处理设备11还可以包括预警模块117。
预警模块117可以判断位置估计模块113在预设时间段内确定的车外声源相对于麦克风阵列12的相对距离减小量是否超过预设距离阈值;
预警模块117,还用于在位置估计模块113在预设时间段内确定的车外声源相对于麦克风阵列12的相对距离减小量超过预设距离阈值的情况下,发出预警信息。
其中,预警信息可以是语音信息,预警信息可以通过扬声器阵列13发出。位置估计模块113可以周期性的确定车外声源相对于麦克风阵列12的相对距离,预设距离阈值可以与位置估计模块113确定车外声源相对于麦克风阵列12的相对距离的周期相关,一般而言,周期越长,预设距离阈值越大。预设时间段可以包括至少一个周期。比如,预设时间段包括一个周期的情况下,位置估计模块113可以每隔10毫秒检测一次车外声源相对于麦克风阵列12的相对距离,预设距离阈值可以设置为10厘米。
本申请实施例中,预警模块117的输入信号是车外声源的相对位置信息,通常情况下,这是一个动态变化的信息。当车外声源由远及近时,其相对位置也实时发生变化,如果在相同的时间间隔内,相对位置变化过快,相对距离急速降低,预警模块117将对单位时间内的相对位置变化量进行判断,得到危险等级,并决定是否进行干预。
下面以车外声源为鸣笛声源为例来阐述预警模块117的工作流程。
预警模块117可以包括预警开关、位置信息分析模块、等级判别模块、预警信号发布模块。预警开关用来控制整个预警模块117是否开启,是否开放给用户的控制接口,预警开关可以是按键的形式,用户可以通过按键形式打开或者关闭预警模块117。位置信息分析模块在获取位置估计模块113发出的实时位置信息之后,将会根据前后位置信息,以及时间信息,判断鸣笛声源与本车的相对位置在单位时间内的变化情况,通常包括下列几种:
情况一:相对位置不变,其相对方向和相对距离均保持不变;这种情况可以认定外部鸣笛声源与本车保持相对静止。
情况二:仅相对方向改变,相对距离保持不变(这种情况通常较少)。
情况三:仅相对距离改变,相对方向保持不变(比如,两车处于同一车道,后车在靠近前车的同时,发出鸣笛声)。
情况四:相对位置改变,这里相对方向和相对距离将同时发生改变(比如,两车处于不同车道,后车在加速超车的同时发出鸣笛声)。
针对上述四种情况,前两种本车基本处于相对安全环境,预警模块117将不会进行干预,但是对于三、四两种情况,本车的行驶安全将会受到威胁,等级判别模块将会对这两种情况进行危险等级认定,并结合预警信号发布模块,告知车辆的安全控制系统,采取相应的安全措施,比如:
后车与前车处于同一车道,后车在急速靠近前车的同时发出鸣笛声,等级判别模块将会判别出危险等级,并通过预警信号发布模块发出预警信号,比如语音提示,甚至可以将预警信号发送至辅助驾驶系统,在判断周边路况信息并确认安全后,自动采取加速措施,防止追尾;
后车与前车处于相邻车道,后车在急速靠近前车的同时发出鸣笛声,此时可能后车想要超车,等级判别模块在判别出危险等级后并结合预警信号发布模块,发出相应提示或者干预辅助驾驶系统,比如,结合车道保持功能,给驾驶员方向盘回拨的反馈感。相对于车道保持,采用本申请实施例的预警模块117,可以不受路面车道标识不清晰的条件限制。
本申请实施例中的预警模块可以及时发出预警信息,当车辆有危险时可以及时通知并反馈给车内驾乘人员,从而提高车辆驾驶的安全性。
其中,播放控制模块114根据车外声源位置信息对混合音频信号进行处理,得到多通道输出音频信号,具体为:
播放控制模块114根据扬声器阵列的各扬声器的排列位置关系将混合音频信号分解成多通道音频信号;
播放控制模块114根据车外声源相对于麦克风阵列的相对方向和相对距离、扬声器阵列的各扬声器的排列位置确定多通道音频信号中各通道音频信号的相位调整参数和增益调整参数,得到多通道输出音频信号。
本申请实施例中,播放控制模块114在收到位置估计模块113发送的车外声源位置信息(包括车外声源相对于麦克风阵列的相对方向和相对距离)以及混合音频信号之后,会根据车内扬声器阵列的布局特点,将混合音频信号分解成多通道音频信号,播放控制模块114再根据车外声源(外界鸣笛声)相对于麦克风阵列的相对方向和相对距离,重新确定各个通道音频之间的相位、权重关系,各通道音频信号的相位调整参数和增益调整参数,得到多通道输出音频信号,并输出多通道输出音频信号。
播放控制模块114的具体结构可以参见图5,图5是本申请实施例提供的一种播放控制模块的结构示意图,如图5所示,播放控制模块114包括声场控制算法模块1141、通道扩展模块1142、增益控制模块1143、相位控制模块1144。其中声场控制算法模块1141根据实时的车外声源位置信息(比如,鸣笛声源位置信息),以及车内扬声器阵列13的布局信息,进行实时数据计算,解析出对应的通道扩展参数(通道扩展参数包括通道个数)、增益控制参数、相位控制参数。通道扩展参数由扬声器阵列13的布局和扬声器数量决定,扩展后的每个通道都有各自的增益控制参数和相位控制参数,这些参数将根据位置信息的变化而变化,所以也具有实时性。通道扩展模块1142将混合音频信号转换成多通道音频信号,并输出至增益控制模块1143,增益控制模块1143针对每个通道进行不同的增益调节,并将增益调节后的多通道音频信号传递至相位控制模块1144,同样,相位控制模块1144针对每个通道也会进行不同的相位控制,并将最终的多通道输出音频信号输出。
其中,音频信号通道数与扬声器的数量要匹配,一个通道可以对应一个扬声器,也可以一个通道对应两个扬声器。扬声器阵列13中的扬声器可以包括高音扬声器、低音扬声器(也称,低音炮)等,不同的扬声器要接不同的音频信号,比如,高音扬声器就要接高频音频信号,低音扬声器要接低频音频信号。而不同的扬声器在车内的布局也不同,需要根据扬声器的分布情况作相应调整,并且确定扬声器与声道的映射关系。
其中,通道扩展参数会根据扬声器阵列13中的扬声器布局以及扬声器的种类,分配每个通道的音频成分(比如,高频、中频、低频等),以及扬声器与通道的映射关系。
本申请实施例的播放控制模块可以根据扬声器阵列的各扬声器的排列位置关系将混合音频信号分解成多通道音频信号,并根据车外声源相对于麦克风阵列的相对方向和相对距离、扬声器阵列的各扬声器的排列位置确定多通道音频信号中各通道音频信号的相位调整参数和增益调整参数,得到多通道输出音频信号,使得输出的多通道输出音频信号可以通过扬声器阵列实时准确的还原车外声源的效果。
本申请实施例音频处理系统可以给车内驾乘人员反馈清晰的声源方向感、距离感、速度感,可以智能的判断鸣笛车辆将对本车造成的危险等级,可以结合车辆安全驾驶辅助系统,给驾驶员相应的安全驾驶预警措施。
本申请实施例中,可以将车外拾取的特定类型的多路车外音频信号转换为车内扬声器阵列可以播放的多通道输出音频信号,从而对车外的特定类型的音频信号在车内进行还原,形成与车外类似的声场,在车辆隔音效果较好的情况下,车内驾乘人员也可以听到车外的特定类型的音频信号,从而可以提高车辆行驶的安全性。
上述详细介绍了音频处理系统的实现过程,对于应用场景,下面通过举例进行说明,本车是鸣笛声接收车辆,以静止状态为例,运动状态也具有同样的效果。
第一种情况:本车处于静止,外部鸣笛车辆也处于静止状态,位于本车任何方向,发出鸣笛声之后,驾驶员在打开车窗的情况下可以清晰判断出该车的具体位置,比如在右后方。如果不采用本申请的音频处理系统,在关闭车窗并开启车辆主动降噪功能之后,驾驶员很难准确听清右后方车辆鸣笛声。此时,经过本音频处理系统处理后,会在车内通过扬声器模拟播放,并使驾驶员听到类似于右后方的鸣笛声。
第二种情况:本车处于静止,外部车辆位于本车正后方,在靠近本车的同时发出鸣笛声,通常情况下,本车驾乘人员会听到声音逐渐靠近,并且音量变大,鸣笛音调变高。使用本音频处理系统后,车内扬声器阵列也将产生相类似的声场,并且如果外部车辆在鸣笛的同时急速靠近,本车还将采取加速措施,防止追尾。
第三种情况:本车处于静止,外部车辆从本车的左后方向前行驶,然后超过本车,并继续向前行驶,在此过程中,伴随着鸣笛声。那么,本音频处理系统也会控制扬声器阵列,使车内模拟鸣笛声从左后方转移至左侧,然后再转移至右前方,在此过程中,音量逐渐增大,然后逐渐减小,同时,音调由低到高,然后再由高到低。如果此时外部车辆靠近速度过快,本音频处理系统可判断为该车正准备超车,结合车道保持系统,给驾驶员以方向盘回拨的感觉,从而达到辅助驾驶的目的。
请参阅图6,图6是本申请实施例提供的一种音频处理方法的流程示意图。如图6所示,该音频处理方法应用于图1所示的音频处理系统,该音频处理方法包括如下步骤。
601,麦克风阵列拾取多路车外音频信号。
602,音频处理设备识别多路车外音频信号是否包含特定类型的音频信号;若是,则执行步骤603,若否,则继续执行步骤601。
603,音频处理设备将多路车外音频信号转换为多通道输出音频信号。
604,扬声器阵列播放多通道输出音频信号。
本申请实施例的方法的具体实施可以参见图1所示的音频处理系统,此处不再赘述。
本申请实施例中,可以将车外拾取的特定类型的多路车外音频信号转换为车内扬声器阵列可以播放的多通道输出音频信号,从而对车外的特定类型的音频信号在车内进行还原,形成与车外类似的声场,在车辆隔音效果较好的情况下,车内驾乘人员也可以听到车外的特定类型的音频信号,从而可以提高车辆行驶的安全性。
请参阅图7,图7是本申请实施例提供的另一种音频处理方法的流程示意图。如图7所示,该音频处理方法应用于图2所示的音频处理系统,该音频处理方法包括如下步骤。
701,麦克风阵列拾取多路车外音频信号。
702,音频识别模块识别多路车外音频信号是否包含特定类型的音频信号;若是,则执行步骤703,若否,则继续执行步骤701。
703,波束成形模块将多路车外音频信号合成一路混合音频信号。
704,位置估计模块根据多路车外音频信号确定车外声源位置信息。
705,播放控制模块根据车外声源位置信息对混合音频信号进行处理,得到多通道输出音频信号。
706,扬声器阵列播放多通道输出音频信号。
本申请实施例的方法的具体实施可以参见图2所示的音频处理系统,此处不再赘述。
本申请实施例中,可以将车外拾取的特定类型的多路车外音频信号转换为车内扬声器阵列可以播放的多通道输出音频信号,从而对车外的特定类型的音频信号在车内进行还原,形成与车外类似的声场,在车辆隔音效果较好的情况下,车内驾乘人员也可以听到车外的特定类型的音频信号,从而可以提高车辆行驶的安全性。
请参阅图8,图8是本申请实施例提供的另一种音频处理方法的流程示意图。如图8所示,该音频处理方法应用于图3所示的音频处理系统,该音频处理方法包括如下步骤。
801,麦克风阵列拾取多路车外音频信号。
802,音频预处理模块将多路车外音频信号进行模数转换,将转换后的多路车外数字音频信号进行降噪处理,得到降噪后的多路车外数字音频信号。
803,音频识别模块识别降噪后的多路车外音频信号是否包含特定类型的音频信号;若是,则执行步骤804,若否,则继续执行步骤801。
可选的,步骤803可以包括如下步骤:
(11)音频识别模块识别降噪后的多路车外音频信号的频率是否处于预设频率区间,识别所述多路车外音频信号是否为本车发出的音频信号;
(12)若降噪后的多路车外音频信号的频率处于预设频率区间,并且多路车外音频信号不是本车发出的音频信号,音频识别模块确定降噪后的多路车外音频信号为特定类型的音频信号;
(13)若降噪后的多路车外音频信号的频率不处于预设频率区间,或者多路车外音频信号是本车发出的音频信号,音频识别模块确定降噪后的多路车外音频信号为其他音频信号。
804,波束成形模块将降噪后的多路车外数字音频信号合成一路混合数字音频信号。
可选的,步骤804可以包括如下步骤:
波束成形模块根据麦克风阵列中各麦克风的排列位置关系和波束成形算法将将降噪后的多路车外音频信号合成一路混合音频信号。
805,位置估计模块根据降噪后的多路车外数字音频信号确定车外声源位置信息。
可选的,步骤805可以包括如下步骤:
位置估计模块根据麦克风阵列中各麦克风的排列位置关系、多路车外音频信号的接收延时确定车外声源相对于麦克风阵列的相对方向和相对距离。
806,播放控制模块根据车外声源位置信息对混合音频信号进行处理,得到多通道输出音频信号。
可选的,步骤806可以包括如下步骤:
(21)播放控制模块根据扬声器阵列的各扬声器的排列位置关系将混合音频信号分解成多通道音频信号;
(22)播放控制模块根据车外声源相对于麦克风阵列的相对方向和相对距离、扬声器阵列的各扬声器的排列位置确定多通道音频信号中各通道音频信号的相位调整参数和增益调整参数,得到多通道输出音频信号。
807,音频后处理模块将多通道输出音频信号进行数模转换,将转换后的多通道输出模拟音频信号进行音频放大处理,得到放大后的多通道输出模拟音频信号。
808,扬声器阵列播放放大后的多通道输出模拟音频信号。
可选的,在执行步骤805之后,还可以执行如下步骤:
(31)预警模块判断位置估计模块在预设时间段内确定的车外声源相对于麦克风阵列的相对距离变化量是否超过预设距离阈值;
(32)若超过,预警模块发出预警信息。
本申请实施例的方法的具体实施可以参见图3所示的音频处理系统,此处不再赘述。
本申请实施例中,可以将车外拾取的特定类型的多路车外音频信号转换为车内扬声器阵列可以播放的多通道输出音频信号,从而对车外的特定类型的音频信号在车内进行还原,形成与车外类似的声场,在车辆隔音效果较好的情况下,车内驾乘人员也可以听到车外的特定类型的音频信号,从而可以提高车辆行驶的安全性。
请参阅图9,图9是本申请实施例提供的一种音频处理装置的结构示意图。如图9所述,该音频处理装置900可以包括识别单元901和音频处理单元902,其中:
所述识别单元901,用于识别麦克风阵列拾取的多路车外音频信号是否包含特定类型的音频信号;
所述音频处理单元902,用于在所述识别单元识别出所述多路车外音频信号为特定类型的音频信号的情况下,将所述多路车外音频信号转换为多通道输出音频信号;所述多通道输出音频信号用于扬声器阵列进行播放。
可选的,图9所述的音频处理装置900还可以包括预警单元903,预警单元 903,用于在预设时间段内确定的车外声源相对于所述麦克风阵列的相对距离减小量是否超过预设距离阈值,以及在确定所述车外声源相对于所述麦克风阵列的相对距离减小量超过预设距离阈值的情况下,发出预警信息。
其中,图9所示的音频处理装置900的具体实施可以参见图6-图8所示的方法实施例,此处不再赘述。
本申请实施例中,可以将车外拾取的特定类型的多路车外音频信号转换为车内扬声器阵列可以播放的多通道输出音频信号,从而对车外的特定类型的音频信号在车内进行还原,形成与车外类似的声场,在车辆隔音效果较好的情况下,车内驾乘人员也可以听到车外的特定类型的音频信号,从而可以提高车辆行驶的安全性。
请参阅图10,图10是本申请实施例提供的一种音频处理设备的结构示意图。如图10所述,该音频处理设备1000包括处理器1001、存储器1002和输入输出装置1004。其中,处理器1001、存储器1002和输入输出装置1004可以通过通信总线1003相互连接。通信总线1003可以是外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,简称EISA)总线等。通信总线1003可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。存储器1002用于存储计算机程序,计算机程序包括程序指令,处理器1001被配置用于调用程序指令,上述程序包括用于执行图6至图8中音频处理设备所执行的方法。
处理器1001可以是通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制以上方案程序执行的集成电路。
存储器1002可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory, EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
输入输出装置1004可以包括语音输入设备(比如,麦克风)、语音输出设备(比如,扬声器)。
本申请实施例中,可以将车外拾取的特定类型的多路车外音频信号转换为车内扬声器阵列可以播放的多通道输出音频信号,从而对车外的特定类型的音频信号在车内进行还原,形成与车外类似的声场,在车辆隔音效果较好的情况下,车内驾乘人员也可以听到车外的特定类型的音频信号,从而可以提高车辆行驶的安全性。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种音频处理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种音频处理方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在申请明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种音频处理系统,其特征在于,包括音频处理设备、设置在车体外部的麦克风阵列和设置在车体内部的扬声器阵列,其中:
所述麦克风阵列,用于拾取多路车外音频信号;
所述音频处理设备,用于识别所述多路车外音频信号是否包含特定类型的音频信号;所述特定类型的音频信号包括刹车时轮胎抱死与路面摩擦的声音信号、车辆的鸣笛声信号、爆炸声信号中的任一种;
所述音频处理设备,还用于在识别出所述多路车外音频信号为特定类型的音频信号的情况下,将所述多路车外音频信号转换为多通道输出音频信号;
所述扬声器阵列,用于播放所述多通道输出音频信号,使得车外的所述特定类型的音频信号在车内进行还原;
所述音频处理设备包括音频识别模块、波束成形模块、位置估计模块和播放控制模块,所述音频处理设备识别所述多路车外音频信号是否包含特定类型的音频信号,具体为:
所述音频识别模块识别所述多路车外音频信号是否包含特定类型的音频信号;
所述音频处理设备将所述多路车外音频信号转换为多通道输出音频信号,具体为:
所述波束成形模块将所述多路车外音频信号合成一路混合音频信号;
所述位置估计模块根据所述多路车外音频信号确定车外声源位置信息;
所述播放控制模块根据所述车外声源位置信息对所述混合音频信号进行处理,得到多通道输出音频信号;
所述波束成形模块将所述多路车外音频信号合成一路混合音频信号,具体为:
所述波束成形模块根据所述麦克风阵列中各麦克风的排列位置关系确定波束成形算法中各参数的大小,通过波束成形算法将所述多路车外音频信号合成一路混合音频信号,所述混合音频信号包含增强的所述多路车外音频信号中的特定类型的音频信号以及衰减的其他音频信号。
2.根据权利要求1所述的系统,其特征在于,所述音频处理设备还包括音频预处理模块,其中:
所述音频预处理模块,用于在所述麦克风阵列拾取多路车外音频信号之后,将所述多路车外音频信号进行模数转换,将转换后的多路车外数字音频信号进行降噪处理,得到降噪后的多路车外数字音频信号;
所述音频识别模块识别所述多路车外音频信号是否包含特定类型的音频信号,具体为:
所述音频识别模块识别所述降噪后的多路车外音频信号是否包含特定类型的音频信号;
所述波束成形模块将所述多路车外音频信号合成一路混合音频信号,具体为:
所述波束成形模块将所述降噪后的多路车外数字音频信号合成一路混合数字音频信号;
所述位置估计模块根据所述多路车外音频信号确定车外声源位置信息,具体为:
所述位置估计模块根据所述降噪后的多路车外数字音频信号确定车外声源位置信息。
3.根据权利要求1或2所述的系统,其特征在于,所述音频处理设备还包括音频后处理模块,其中:
所述音频后处理模块,用于在所述播放控制模块根据所述车外声源位置信息对所述混合音频信号进行处理,得到多通道输出音频信号之后,所述扬声器阵列播放所述多通道输出音频信号之前,将所述多通道输出音频信号进行数模转换,将转换后的多通道输出模拟音频信号进行音频放大处理,得到放大后的多通道输出模拟音频信号;
所述扬声器阵列播放所述多通道输出音频信号,具体为:
所述扬声器阵列播放所述放大后的多通道输出模拟音频信号。
4.根据权利要求1~3任一项所述的系统,其特征在于,所述音频识别模块识别所述多路车外音频信号是否包含特定类型的音频信号,具体为:
所述音频识别模块识别所述多路车外音频信号的频率是否处于预设频率区间,识别所述多路车外音频信号是否为本车发出的音频信号;
所述音频识别模块还用于在识别出所述多路车外音频信号的频率处于所述预设频率区间,并且所述多路车外音频信号不是本车发出的音频信号的情况下,确定所述多路车外音频信号为特定类型的音频信号;
所述音频识别模块还用于在识别出所述多路车外音频信号的频率不处于所述预设频率区间的情况下,或者识别出所述多路车外音频信号是本车发出的音频信号的情况下,则确定所述多路车外音频信号为其他音频信号。
5.根据权利要求1~3任一项所述的系统,其特征在于,所述位置估计模块根据所述多路车外音频信号确定车外声源位置信息,具体为:
所述位置估计模块根据所述麦克风阵列中各麦克风的排列位置关系、所述多路车外音频信号的接收延时确定所述车外声源相对于所述麦克风阵列的相对方向和相对距离。
6.根据权利要求1~3任一项所述的系统,其特征在于,所述播放控制模块根据所述车外声源位置信息对所述混合音频信号进行处理,得到多通道输出音频信号,具体为:
所述播放控制模块根据所述扬声器阵列的各扬声器的排列位置关系将所述混合音频信号分解成多通道音频信号;
所述播放控制模块根据所述车外声源相对于所述麦克风阵列的相对方向和相对距离、所述扬声器阵列的各扬声器的排列位置确定多通道音频信号中各通道音频信号的相位调整参数和增益调整参数,得到多通道输出音频信号。
7.根据权利要求1~6任一项所述的系统,所述音频处理系统还包括预警模块,其中:
所述预警模块,用于判断所述位置估计模块在预设时间段内确定的车外声源相对于所述麦克风阵列的相对距离减小量是否超过预设距离阈值;
所述预警模块,还用于在所述位置估计模块在预设时间段内确定的车外声源相对于所述麦克风阵列的相对距离减小量超过预设距离阈值的情况下,发出预警信息。
8.一种音频处理方法,其特征在于,所述方法应用于音频处理系统,所述音频处理系统包括音频处理设备、设置在车体外部的麦克风阵列和设置在车体内部的扬声器阵列;所述方法包括:
所述麦克风阵列拾取多路车外音频信号;
所述音频处理设备识别所述多路车外音频信号是否包含特定类型的音频信号;所述特定类型的音频信号包括刹车时轮胎抱死与路面摩擦的声音信号、车辆的鸣笛声信号、爆炸声信号中的任一种;
若是,所述音频处理设备将所述多路车外音频信号转换为多通道输出音频信号;
所述扬声器阵列播放所述多通道输出音频信号,使得车外的所述特定类型的音频信号在车内进行还原;
所述音频处理设备包括音频识别模块、波束成形模块、位置估计模块和播放控制模块,所述音频处理设备识别所述多路车外音频信号是否包含特定类型的音频信号,包括:
所述音频识别模块识别所述多路车外音频信号是否包含特定类型的音频信号;
所述音频处理设备将所述多路车外音频信号转换为多通道输出音频信号,包括:
所述波束成形模块将所述多路车外音频信号合成一路混合音频信号;
所述位置估计模块根据所述多路车外音频信号确定车外声源位置信息;
所述播放控制模块根据所述车外声源位置信息对所述混合音频信号进行处理,得到多通道输出音频信号;
所述波束成形模块将所述多路车外音频信号合成一路混合音频信号,包括:
所述波束成形模块根据所述麦克风阵列中各麦克风的排列位置关系确定波束成形算法中各参数的大小,通过波束成形算法将所述多路车外音频信号合成一路混合音频信号,所述混合音频信号包含增强的所述多路车外音频信号中的特定类型的音频信号以及衰减的其他音频信号。
9.根据权利要求8所述的方法,所述音频处理系统还包括预警模块,所述方法还包括:
所述预警模块判断所述位置估计模块在预设时间段内确定的车外声源相对于所述麦克风阵列的相对距离减小量是否超过预设距离阈值;
若超过,所述预警模块发出预警信息。
10.一种音频处理装置,其特征在于,包括识别单元和音频处理单元,其中:
所述识别单元,用于识别麦克风阵列拾取的多路车外音频信号是否包含特定类型的音频信号;所述特定类型的音频信号包括刹车时轮胎抱死与路面摩擦的声音信号、车辆的鸣笛声信号、爆炸声信号中的任一种;
所述音频处理单元,用于在所述识别单元识别出所述多路车外音频信号为特定类型的音频信号的情况下,将所述多路车外音频信号转换为多通道输出音频信号;所述多通道输出音频信号用于扬声器阵列进行播放,使得车外的所述特定类型的音频信号在车内进行还原;
所述识别单元识别麦克风阵列拾取的多路车外音频信号是否包含特定类型的音频信号,具体为:
识别所述多路车外音频信号是否包含特定类型的音频信号;
所述音频处理单元将所述多路车外音频信号转换为多通道输出音频信号,具体为:将所述多路车外音频信号合成一路混合音频信号;根据所述多路车外音频信号确定车外声源位置信息;根据所述车外声源位置信息对所述混合音频信号进行处理,得到多通道输出音频信号;
所述音频处理单元将所述多路车外音频信号合成一路混合音频信号,具体为:根据所述麦克风阵列中各麦克风的排列位置关系确定波束成形算法中各参数的大小,通过波束成形算法将所述多路车外音频信号合成一路混合音频信号,所述混合音频信号包含增强的所述多路车外音频信号中的特定类型的音频信号以及衰减的其他音频信号。
11.一种音频处理设备,其特征在于,包括处理器和存储器,所述处理器所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求8~9任一项中所述音频处理设备所执行的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求8~9任一项中所述音频处理设备所执行的方法。
CN201910810790.2A 2019-08-29 2019-08-29 音频处理系统、方法、装置、设备及存储介质 Active CN110691299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910810790.2A CN110691299B (zh) 2019-08-29 2019-08-29 音频处理系统、方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910810790.2A CN110691299B (zh) 2019-08-29 2019-08-29 音频处理系统、方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110691299A CN110691299A (zh) 2020-01-14
CN110691299B true CN110691299B (zh) 2020-12-11

Family

ID=69108684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910810790.2A Active CN110691299B (zh) 2019-08-29 2019-08-29 音频处理系统、方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110691299B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496694A (zh) * 2020-03-19 2021-10-12 上汽通用汽车有限公司 一种车辆声学系统、车辆用座椅以及车辆
CN112437372B (zh) * 2020-10-28 2022-03-11 头领科技(昆山)有限公司 一种用于封闭式耳机的危险报警系统芯片
CN112346015A (zh) * 2020-11-02 2021-02-09 安徽研实科技有限公司 一种麦克风线阵同步采样测量声源精准位置的方法
CN112349296A (zh) * 2020-11-10 2021-02-09 胡添杰 一种基于声音识别的地铁站台安全监测方法
CN112435682B (zh) * 2020-11-10 2024-04-16 广州小鹏汽车科技有限公司 车辆降噪系统、方法、装置、车辆及存储介质
CN114520944B (zh) * 2020-11-19 2023-07-28 上海汽车集团股份有限公司 一种三维警示音的防错系统及方法
CN112706691B (zh) * 2020-12-25 2022-11-29 奇瑞汽车股份有限公司 车辆提醒的方法和装置
CN113179467B (zh) * 2021-03-16 2022-12-02 广州朗国电子科技股份有限公司 一种车辆环境音频处理方法、装置、设备及存储介质
CN113050915B (zh) * 2021-03-31 2023-12-26 联想(北京)有限公司 一种电子设备及处理方法
CN113611334A (zh) * 2021-08-10 2021-11-05 合众新能源汽车有限公司 一种车外声音感知方法和系统
CN114056249A (zh) * 2021-11-15 2022-02-18 合众新能源汽车有限公司 声音传递系统和方法
CN114734914A (zh) * 2022-04-01 2022-07-12 阿维塔科技(重庆)有限公司 车辆的警示提醒方法、装置、车辆及计算机可读存储介质
CN114584911B (zh) * 2022-05-05 2022-09-20 科大讯飞(苏州)科技有限公司 功放调试方法、声音生成方法及装置、设备和介质
CN114863943B (zh) * 2022-07-04 2022-11-04 杭州兆华电子股份有限公司 一种基于波束成形的环境噪声源自适应定位方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4725236B2 (ja) * 2005-08-16 2011-07-13 ヤマハ株式会社 車外警告音報知装置
US9397630B2 (en) * 2012-04-09 2016-07-19 Dts, Inc. Directional based audio response to an external environment emergency signal
JP6206003B2 (ja) * 2013-08-30 2017-10-04 沖電気工業株式会社 音源分離装置、音源分離プログラム、収音装置及び収音プログラム
CN105150932A (zh) * 2015-09-11 2015-12-16 北汽福田汽车股份有限公司 一种汽车及其车外声音提示系统和方法
CN106114363A (zh) * 2015-12-22 2016-11-16 西华大学 汽车鸣笛车内响应指示系统
CN105979442B (zh) * 2016-07-22 2019-12-03 北京地平线机器人技术研发有限公司 噪声抑制方法、装置和可移动设备
CN109389864A (zh) * 2017-08-09 2019-02-26 湖南大学 一种车辆相对定位及碰撞预警方法
CN109698990A (zh) * 2017-10-24 2019-04-30 蔚来汽车有限公司 车外环境声场的车内重建方法和装置
CN110040133A (zh) * 2019-04-26 2019-07-23 浙江吉利控股集团有限公司 一种车辆后碰撞预警方法和预警系统

Also Published As

Publication number Publication date
CN110691299A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110691299B (zh) 音频处理系统、方法、装置、设备及存储介质
CN109119060B (zh) 一种应用于汽车的有源降噪方法及系统
JP5230985B2 (ja) 車室の外側からの車両エレメントの音声制御
CN101755294B (zh) 给观察者提供关于使用中的应急车辆信息的方法和装置
US10489994B2 (en) Vehicle sound activation
WO2016103709A1 (ja) 音声処理装置
JP2006019908A (ja) 車両用報知音出力装置及びプログラム
CN112435682B (zh) 车辆降噪系统、方法、装置、车辆及存储介质
WO2016103710A1 (ja) 音声処理装置
WO2016143340A1 (ja) 音声処理装置及び制御装置
CN110366852B (zh) 信息处理设备、信息处理方法和记录介质
JP2017069806A (ja) スピーカアレイ装置
WO2017056706A1 (ja) 車載音響装置
JP3179227B2 (ja) 車両用警報装置
WO2020120754A1 (en) Audio processing device, audio processing method and computer program thereof
CN108574906B (zh) 用于汽车的声音处理方法、系统和汽车
WO2017056707A1 (ja) 障害物報知装置及び障害物報知方法
JP2006023588A (ja) 車内騒音抑制システム
JP2002351488A (ja) ノイズキャンセル装置および車載システム
KR101716248B1 (ko) 오디오 장치, 그를 가지는 차량 및 그 제어방법
JP2010272911A (ja) 音情報提供装置及び音情報提供方法
JP5122414B2 (ja) 車室内会話補助装置
JP2009073417A (ja) 騒音制御装置および方法
JP2002112400A (ja) カーオーディオシステム
CN114495888A (zh) 车辆及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant