CN109087660A - 用于回声消除的方法、装置、设备以及计算机可读存储介质 - Google Patents
用于回声消除的方法、装置、设备以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109087660A CN109087660A CN201811148346.0A CN201811148346A CN109087660A CN 109087660 A CN109087660 A CN 109087660A CN 201811148346 A CN201811148346 A CN 201811148346A CN 109087660 A CN109087660 A CN 109087660A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- mobile unit
- mobile device
- audio
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005236 sound signal Effects 0.000 claims abstract description 152
- 238000004590 computer program Methods 0.000 claims description 5
- 230000003111 delayed effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 238000005266 casting Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephone Function (AREA)
Abstract
根据本公开的示例实施例,提供了一种用于回声消除的方法、装置、设备以及计算机可读存储介质。方法包括获得要从移动设备发送到车载设备的第一音频信号,其中第一音频信号由在移动设备上运行的应用产生,并且移动设备与车载设备有线地或者无线地相连接。方法还包括从车载设备接收第二音频信号,其中第二音频信号由车载设备的音频采集设备采集。此外,方法还包括通过使用第一音频信号对第二音频信号进行回声消除来在移动设备处获得第三音频信号。本公开的实施例在移动设备连接到车载设备的车载场景中,使用移动设备产生的参考信号对车载设备采集的录音信号进行回声消除,能够在车载场景中有效地消除录音的回声,从而提高语音信号的质量。
Description
技术领域
本公开的实施例总体上涉及信号处理领域,并且更具体地涉及用于回声消除的方法、装置、设备以及计算机可读存储介质。
背景技术
随着人工智能技术的快速发展和车载设备的不断升级,车载语音的需求和使用场景不断增加。然而,在车载设备(其包括车机)的功能尚未达到或者超过智能手机的性能时,人们往往选择将智能手机投影到车载设备以在车载设备上使用智能手机的功能。例如,在车载场景中,可以使用音乐播放、导航播报等功能。
音频信号是指带有语音、音乐或音效等声波的信息载体,音频信号的特征通常由频率、幅度和相位来进行表征。音频信号通常通过扬声器进行播放,并且通过麦克风进行采集。声学回声是指扬声器播放出来的声音被麦克风拾取,这就使得音频采集设备所采集的录音中包括了不需要回声信号,从而导致较低的语音识别率。
发明内容
根据本公开的示例实施例,提供了一种用于回声消除的方法、装置、设备以及计算机可读存储介质。
在本公开的第一方面中,提供了一种用于回声消除的方法。该方法包括:获得要从移动设备发送到车载设备的第一音频信号,其中第一音频信号由在移动设备上运行的应用产生,并且移动设备与车载设备有线地或者无线地相连接;从车载设备接收第二音频信号,其中第二音频信号由车载设备的音频采集设备采集;以及通过使用第一音频信号对第二音频信号进行回声消除来在移动设备处获得第三音频信号。
在本公开的第二方面中,提供了一种用于回声消除的装置。该装置包括:第一音频信号获得模块,被配置为获得要从移动设备发送到车载设备的第一音频信号,其中第一音频信号由在移动设备上运行的应用产生,并且移动设备与车载设备有线地或者无线地相连接;第二音频信号接收模块,被配置为从车载设备接收第二音频信号,其中第二音频信号由车载设备的音频采集设备采集;以及第三音频信号获得模块,被配置为通过使用第一音频信号对第二音频信号进行回声消除来在移动设备处获得第三音频信号。
在本公开的第三方面中,提供了一种移动设备,其包括一个或多个处理器以及存储装置,其中存储装置用于存储一个或多个程序。一个或多个程序当被一个或多个处理器执行,使得移动设备实现根据本公开的实施例的方法或过程。
在本公开的第四方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的实施例的方法或过程。
应当理解,本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了根据本公开的实施例的用于回声消除的示例车载环境的示意图;
图2示出了根据本公开的实施例的用于回声消除的方法的流程图;
图3示出了根据本公开的实施例的用于回声消除的系统的架构的示意图;
图4示出了根据本公开的实施例的在延迟情况下对准音频信号的方法的流程图;
图5A示出了根据本公开的第一音频信号的示意图;
图5B示出了根据本公开的第二音频信号的示意图;
图5C示出了根据本公开的第三音频信号的示意图;
图6示出了根据本公开的实施例的用于回声消除的装置的框图;以及
图7示出了能够实施本公开的多个实施例的电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
声学回声一旦被麦克风采集,就会导致语音识别率变低。在车载场景中,为了提高语音识别的准确性和效率,需要消除麦克风的录音信号中的回声。为了在车载场景中消除回声,一种改进方法是在车载设备中实现回声消除。这种改进方法通常需要在车载设备中植入独立的数字信号处理器(DSP)芯片,并且在DSP芯片上实现基于硬件的回声消除。然而,这种方法需要在车载设备中增加硬件资源DSP,即增加成本;此外,车载设备的硬件配置通常较弱,对于回声消除的处理性能也相对较低。
本公开的实施例提出了一种在车载场景中在移动设备中实现回声消除的方案。一般来说,在车载设备播放音乐或者播报内容时,如果不进行回声消除则语音的唤醒率和识别率将会较低。本公开的实施例使用移动设备产生的参考信号对车载设备采集的录音信号进行回声消除,能够有效地消除车载场景的录音过程中的回声,提高录音信号的质量。因此,与在车载设备中实现回声消除相比,本公开的实施例使用移动设备实现软件回声消除,而不是在车载设备(如车机)中设置DSP芯片来实现;此外,由于移动设备的强大处理能力,本公开的实施例的回声消除的处理效率也较高。
此外,不同于单独使用移动设备实现回声消除,本公开的实施例是通过车载设备的麦克风采集录音信号,由于在车载场景中车载设备的麦克风通常正对着用户,因而车载设备比移动设备更能获得清晰的用户录音。因此,本公开的实施例同时获取移动设备自身的参考信号和车载设备采集的录音信号,能够实现更准确且更高效的回声消除。以下将参考附图1-7详细描述本公开的一些示例实现。
图1示出了根据本公开的实施例的用于回声消除的示例环境100的示意图。在环境100中,车辆110正在行驶或者停止在马路105上,车辆110包括被固定地或者非固定地设置在其中的车载设备130。车载设备130可以具有显示屏幕,其用于向用户140显示用户界面,车载设备130还可以包括用于播放音频的音频输出设备(例如扬声器)和用于采集设备的音频采集设备(例如麦克风)。应当理解,除了具有屏幕的车机之外,车载设备还可以包括车辆110中的其他电子设备。
参考图1,用户140正在或者正准备驾驶车辆110,其具有随身携带的移动设备120(例如智能手机等),移动设备120已经安装有操作系统和能够适配车载设备130的相应车辆应用。移动设备120和车载设备130可以有线地(例如通过USB)或者无线地(通过蓝牙或者WiFi)相连接,以使得移动设备120上的屏幕和声音能够被投影到车载设备130中。如图1所示,移动设备120的屏幕正显示主页菜单、电话菜单、语音识别菜单、导航菜单、音乐菜单的图标,用户点击这些菜单可以触发相应的功能,相应地,车载设备130的屏幕上也显示这些菜单。由于车载设备130比移动设备120具有更大的屏幕,因而用户可以选择通过操作车载设备130来代替操作移动设备120。
移动设备120上的车辆应用中可以设置用于唤醒的关键词,每当车辆应用监听到这个关键词时,其将执行预定的任务。在驾驶车辆110的过程中,用户140经常使用车辆应用来进行音乐播放和/或导航播报,这种播放和播报噪声会影响用户语音的识别。本公开的实施例通过获取移动设备120产生的音乐信号或播报信号作为参考信号,并且获取车载设备130采集的用户的录音信号,然后使用移动设备120来对录音信号进行回声消除,由此能够消除录音中的回声,从而提高语音信号的质量。
图2示出了根据本公开的实施例的用于回声消除的方法200的流程图。应当理解,根据本公开的实施例的方法200由移动设备执行,而不是车载设备执行,这是因为移动设备通常具有更好的处理性能并且不需要设置额外的硬件资源。为了清楚说明方法200,以下参考图3的用于回声消除的系统300一起进行描述。
在框202,获得要从移动设备发送到车载设备的第一音频信号,其中第一音频信号由在移动设备上运行的应用产生,其也被称为“参考信号”,并且移动设备与车载设备有线地或者无线地相连接。例如,在移动设备向车载设备发送第一音频信号之前、之后或者基本上同时,移动设备可以从自身获得第一音频信号。在本公开的实施例中,可以通过接口从移动设备上运行的应用(例如车辆应用)中直接获得第一音频信号,并且第一音频信号可以是应用产生的音乐信号或者应用生成的文本到语音信号。
例如,在图3的用于回声消除的系统300中,移动设备120正在与车载设备130有线地或者无线地相连接,其中移动设备120中的应用包括用于语音识别的识别模块122、用于回声消除的AEC模块124以及用于播放音乐的音乐模块126等,车载设备130包括用于采集音频的音频采集设备132(例如麦克风)和用于输出音频的音频输出设备134(例如扬声器)等。如箭头301所示,AEC模块124从音乐模块126获取第一音频信号(在图3中被表示为①)。如箭头302所示,第一音频信号可以是要从移动设备120发送到车载设备130的音乐信号。此外,移动设备120的应用中还可以包括文本转语音(TTS)模块(未示出),当进行TTS内容播报时,第一音频信号也可以为从TTS模块获得的待播放信号。
返回参考图2,在框204,从车载设备接收第二音频信号,第二音频信号由车载设备的音频采集设备采集。在车载场景中,用户的移动设备120可能与用户相离较远,因而使用移动设备120采集的音频信号可能不够清晰。而车载设备130的音频采集设备132通常被固定地设置并且通常可以正对着用户,因而本公开的实施例使用车载设备130的音频采集设备132来采集录音信号,由此能够获得更清晰的录音信号。如箭头303所示,AEC模块124可以从车载设备130接收第二音频信号(在图3中被表示为②)。
在一些实施例中,音频采集设备132可以为包括在车辆中分布式布置的多个麦克风的麦克风阵列。分布式麦克风阵列可以被布置在车辆的多个位置,阵列的节点可以覆盖很大的面积,总会有一个阵列的节点距离用户很近,因而录音信噪比大幅度提升,算法处理难度也会相应降低,因此,能够提高所采集的录音信号的质量。
在框206,通过使用第一音频信号对第二音频信号进行回声消除来在移动设备处获得第三音频信号。如图3所示,在从移动设备120自身获得第一音频信号并且从车载设备130获得第二音频信号之后,移动设备120中的AEC模块124使用第一音频信号对第二音频信号进行回声消除,并且产生第三音频信号(在图3中被表示为③)。应当理解,任何已知的或者将来开发的回声消除算法可以与本公开的实施例结合使用,以实现针对信号的回声消除。
在一些实施例中,如图3中的箭头304所示,所产生的第三音频信号可以被提供给识别模块122以用于语音识别。可选地,识别模块122可以具有本地的识别引擎,则识别模块根据122可以直接确定识别结果。备选地,识别模块122可以将第三音频信号发给网络侧或者云端的识别引擎进行识别,由于网络侧的识别引擎的模型通常比本地的识别引擎复杂,因而可以实现更好的语音识别效果。
因此,根据本公开的实施例提出的用于车载场景的回声消除的方法200,使用移动设备产生的参考信号对车载设备采集的录音信号进行回声消除,能够使用移动设备来有效地消除车载场景中的录音的回声。
在一些实施例中,基于对第三音频信号的语音识别,可以确定用户意图,并执行与用户意图相关联的任务,然后,可以从移动设备向车载设备发送与任务有关的信息,例如音频信息和/或图形信息。例如,可以执行系统唤醒任务或者其他特定类型的任务。根据本公开的实施例,例如,在启动唤醒引擎之后,即使车载设备130在播放音乐,用户也能成功唤醒系统。此外,在播放天气内容时,用户可以随意打断(即在播报识别的过程中进行新一轮识别),也能够成功进行识别。因此,本公开的实施例的方案不受播放音乐和播报内容等的影响,因而有效提高唤醒率和识别率。
由于本公开的实施例是从车载设备130接收其采集的录音信号,车载设备130与移动设备120之间的通信可能会产生延迟,或者产生稳定性波动。如果延迟很小,则可以直接对准录音信号和参考信号。而如果延迟稍大,则需要设置允许的延迟时间,来回溯参考信号,进而对准或同步录音信号和参考信号。也就是说,在存在录音信号由于传输等原因而被移动设备延迟接收的情况下,需要进行信号调整以保持信号同步。
图4示出了根据本公开的实施例的在延迟情况下对准音频信号的方法400的流程图。在框402,设置用于调整的时间搜索范围。也即,设置允许的延迟时间(诸如2秒、3秒等)。例如,在从车载设备130接收到录音信号之后,可以回溯延迟时间内的参考信号,以找到对应的参考信号。
在框404,在时间搜索范围内调整第一音频信号的时间属性。在框406,确定调整后的第一音频信号与第二音频信号在能量和功率方面的匹配度。例如,可以计算两个信号的能量值和/或功率值,并且在延迟时间范围内匹配两个音频信号。在框408,响应于匹配度满足预定条件,对准第一音频信号和第二音频信号。例如,如果匹配度达到时间搜索范围内的最大值,或者匹配度大于预定的阈值,则可以认为在当前状态下两个信号相互对准。此外,由于录音信号存在停顿,也可以通过多个停顿期间的录音信号来识别出对应的参考信号。
图5A示出了根据本公开的第一音频信号的示意图,例如,其为从移动设备120从自身获得的参考信号(诸如音乐信号、播报信号)。图5B示出了根据本公开的第二音频信号的示意图,例如,其为从车载设备130获得的所采集的录音信号,其包括音乐信号或者播报信号通过车载设备的扬声器输出的回声。图5C示出了根据本公开的第三音频信号的示意图,例如其为经过AEC模块回声消除后的结果信号,可以看出与图5B中的原始录音信号相比,经过回声消除后的第三音频信号的信噪比有很大提升。
图6示出了根据本公开的实施例的用于回声消除的装置600的框图。如图6所示,装置600包括第一音频信号获得模块610、第二音频信号接收模块620以及第三音频信号获得模块630。第一音频信号获得模块610被配置为获得要从移动设备发送到车载设备的第一音频信号,其中第一音频信号由在移动设备上运行的应用产生,并且移动设备与车载设备有线地或者无线地相连接。第二音频信号接收模块620被配置为从车载设备接收第二音频信号,其中第二音频信号由车载设备的音频采集设备采集。第三音频信号获得模块630被配置为通过使用第一音频信号对第二音频信号进行回声消除来在移动设备处获得第三音频信号。
在一些实施例中,其中第一音频信号获得模块610包括信号获得模块,其被配置为从应用获得要在车载设备上播放的第一音频信号,其中第一音频信号是应用产生的音乐信号或者应用生成的文本转语音信号。
在一些实施例中,其中第二音频信号接收模块620包括信号接收模块,其被配置为接收通过车载设备的麦克风阵列采集的第二音频信号,其中麦克风阵列包括在车辆中分布式布置的多个麦克风,并且移动设备与车载设备经由USB相连接。
在一些实施例中,其中第三音频信号获得模块630包括:时间搜索范围设置模块,被配置为响应于第二音频信号被延迟接收,设置用于调整的时间搜索范围;第一对准模块,被配置为基于时间搜索范围,对准第一音频信号和第二音频信号。
在一些实施例中,其中第一对准模块包括:时间调整模块,被配置为在时间搜索范围内调整第一音频信号的时间属性;匹配度确定模块,被配置为确定调整后的第一音频信号与第二音频信号在能量和功率方面的匹配度;以及第二对准模块,被配置为响应于匹配度满足预定条件,对准第一音频信号和第二音频信号。
在一些实施例中,装置600还包括:用户意图确定模块,被配置为基于对第三音频信号的语音识别,确定用户意图;任务执行模块,被配置为执行与用户意图相关联的任务;以及任务信息发送模块,被配置为从移动设备向车载设备发送与任务有关的信息。
在一些实施例中,装置600还包括:投影模块,被配置为从移动设备向车载设备投影移动设备的用户界面,用户界面显示导航菜单、音乐菜单以及电话菜单中的至少一项。
应当理解,图6中所示出的第一音频信号获得模块610、第二音频信号接收模块620以及第三音频信号获得模块630可以被包括单个或多个移动设备中。而且,应当理解,图6中所示出的模块可以执行参考本公开的实施例的方法或过程中的步骤或动作。
图7示出了可以用来实施本公开的实施例的示例设备700的示意性框图。应当理解,设备700可以用于实现本公开所描述的用于回声消除的装置600、设备120或设备130。如图所示,设备700包括中央处理单元(CPU)701,其可以根据被存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元701执行上文所描述的各个方法和过程,例如方法200和/或400。例如,在一些实施例中,方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由CPU 701执行时,可以执行上文描述的方法的一个或多个动作或步骤。备选地,在其他实施例中,CPU 701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD),等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各动作或步骤,但是这应当理解为要求这样动作或步骤以所示出的特定次序或以顺序次序执行,或者要求所有图示的动作或步骤应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本公开的实施例,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (16)
1.一种用于回声消除的方法,包括:
获得要从移动设备发送到车载设备的第一音频信号,所述第一音频信号由在所述移动设备上运行的应用产生,并且所述移动设备与所述车载设备有线地或者无线地相连接;
从所述车载设备接收第二音频信号,所述第二音频信号由所述车载设备的音频采集设备采集;以及
通过使用所述第一音频信号对所述第二音频信号进行回声消除来在所述移动设备处获得第三音频信号。
2.根据权利要求1所述的方法,其中获得要从移动设备发送到车载设备的第一音频信号包括:
从所述应用获得要在所述车载设备上播放的所述第一音频信号,所述第一音频信号是所述应用产生的音乐信号或者所述应用生成的文本转语音信号。
3.根据权利要求1所述的方法,其中从所述车载设备接收第二音频信号包括:
接收通过所述车载设备的麦克风阵列采集的所述第二音频信号,所述麦克风阵列包括在车辆中分布式布置的多个麦克风,并且所述移动设备与所述车载设备经由通用串行总线(USB)相连接。
4.根据权利要求1所述的方法,其中获得第三音频信号包括:
响应于所述第二音频信号被延迟接收,设置用于调整的时间搜索范围;
基于所述时间搜索范围,对准所述第一音频信号和所述第二音频信号。
5.根据权利要求4所述的方法,其中对准所述第一音频信号和所述第二音频信号包括:
在所述时间搜索范围内调整所述第一音频信号的时间属性;
确定调整后的所述第一音频信号与所述第二音频信号在能量和功率方面的匹配度;以及
响应于所述匹配度满足预定条件,对准所述第一音频信号和所述第二音频信号。
6.根据权利要求1所述的方法,还包括:
基于对所述第三音频信号的语音识别,确定用户意图;
执行与所述用户意图相关联的任务;以及
从所述移动设备向所述车载设备发送与所述任务有关的信息。
7.根据权利要求1所述的方法,还包括:
从所述移动设备向所述车载设备投影所述移动设备的用户界面,所述用户界面显示导航菜单、音乐菜单以及电话菜单中的至少一项。
8.一种用于回声消除的装置,包括:
第一音频信号获得模块,被配置为获得要从移动设备发送到车载设备的第一音频信号,所述第一音频信号由在所述移动设备上运行的应用产生,并且所述移动设备与所述车载设备有线地或者无线地相连接;
第二音频信号接收模块,被配置为从所述车载设备接收第二音频信号,所述第二音频信号由所述车载设备的音频采集设备采集;以及
第三音频信号获得模块,被配置为通过使用所述第一音频信号对所述第二音频信号进行回声消除来在所述移动设备处获得第三音频信号。
9.根据权利要求8所述的装置,其中所述第一音频信号获得模块包括:
信号获得模块,被配置为从所述应用获得要在所述车载设备上播放的所述第一音频信号,所述第一音频信号是所述应用产生的音乐信号或者所述应用生成的文本转语音信号。
10.根据权利要求8所述的装置,其中所述第二音频信号接收模块包括:
信号接收模块,被配置为接收通过所述车载设备的麦克风阵列采集的所述第二音频信号,所述麦克风阵列包括在车辆中分布式布置的多个麦克风,并且所述移动设备与所述车载设备经由通用串行总线(USB)相连接。
11.根据权利要求8所述的装置,其中第三音频信号获得模块包括:
时间搜索范围设置模块,被配置为响应于所述第二音频信号被延迟接收,设置用于调整的时间搜索范围;
第一对准模块,被配置为基于所述时间搜索范围,对准所述第一音频信号和所述第二音频信号。
12.根据权利要求11所述的装置,其中所述第一对准模块包括:
时间调整模块,被配置为在所述时间搜索范围内调整所述第一音频信号的时间属性;
匹配度确定模块,被配置为确定调整后的所述第一音频信号与所述第二音频信号在能量和功率方面的匹配度;以及
第二对准模块,被配置为响应于所述匹配度满足预定条件,对准所述第一音频信号和所述第二音频信号。
13.根据权利要求8所述的装置,还包括:
用户意图确定模块,被配置为基于对所述第三音频信号的语音识别,确定用户意图;
任务执行模块,被配置为执行与所述用户意图相关联的任务;以及
任务信息发送模块,被配置为从所述移动设备向所述车载设备发送与所述任务有关的信息。
14.根据权利要求8所述的装置,还包括:
投影模块,被配置为从所述移动设备向所述车载设备投影所述移动设备的用户界面,所述用户界面显示导航菜单、音乐菜单以及电话菜单中的至少一项。
15.一种移动设备,所述移动设备包括:
一个或多个处理器;以及
存储装置,其用于存储一个或多个程序,所述一个或多个程序当被所述一个或多个处理器执行,使得所述移动设备实现根据权利要求1-7中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811148346.0A CN109087660A (zh) | 2018-09-29 | 2018-09-29 | 用于回声消除的方法、装置、设备以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811148346.0A CN109087660A (zh) | 2018-09-29 | 2018-09-29 | 用于回声消除的方法、装置、设备以及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109087660A true CN109087660A (zh) | 2018-12-25 |
Family
ID=64842876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811148346.0A Pending CN109087660A (zh) | 2018-09-29 | 2018-09-29 | 用于回声消除的方法、装置、设备以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109087660A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110138991A (zh) * | 2019-06-21 | 2019-08-16 | 苏州思必驰信息科技有限公司 | 回音消除方法和装置 |
CN110265048A (zh) * | 2019-03-18 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 回声消除方法、装置、设备及存储介质 |
CN110995950A (zh) * | 2019-11-08 | 2020-04-10 | 杭州觅睿科技有限公司 | 基于pc端和移动端回音消除自适应的方法 |
CN111666062A (zh) * | 2020-07-13 | 2020-09-15 | 延锋伟世通电子科技(上海)有限公司 | 音频处理装置、方法及车载信息娱乐系统 |
CN111724805A (zh) * | 2020-06-29 | 2020-09-29 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
CN112116919A (zh) * | 2019-06-19 | 2020-12-22 | 杭州海康威视数字技术股份有限公司 | 一种回声消除方法、装置及电子设备 |
CN112583970A (zh) * | 2020-12-04 | 2021-03-30 | 斑马网络技术有限公司 | 一种车载蓝牙回声消除方法及装置、车载终端、存储介质 |
CN113348503A (zh) * | 2019-01-29 | 2021-09-03 | 谷歌有限责任公司 | 使用结构化音频输出检测回放和/或适应无线扬声器中的未对准的回放 |
CN113380280A (zh) * | 2018-12-29 | 2021-09-10 | 百度在线网络技术(北京)有限公司 | 数据处理方法、装置和存储介质 |
CN113421578A (zh) * | 2021-06-02 | 2021-09-21 | 广州小鹏智慧出行科技有限公司 | 音频处理方法、装置、电子设备及存储介质 |
CN115376538A (zh) * | 2022-08-19 | 2022-11-22 | 思必驰科技股份有限公司 | 用于交互的语音降噪方法、系统、电子设备和存储介质 |
Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5999901A (en) * | 1995-03-17 | 1999-12-07 | Mediaone Group, Inc | Telephone network apparatus and method using echo delay and attenuation |
US20120294452A1 (en) * | 2011-05-20 | 2012-11-22 | Andrew John Macdonald | Method and apparatus for reducing noise pumping due to noise suppression and echo control interaction |
KR20130084793A (ko) * | 2012-01-18 | 2013-07-26 | 현대모비스 주식회사 | 에코처리 유닛을 구비한 핸즈프리 시스템 |
CN104754499A (zh) * | 2015-04-16 | 2015-07-01 | 芜湖宏景电子股份有限公司 | 车载终端与智能手机互联互动虚拟蓝牙系统 |
CN104754500A (zh) * | 2015-04-16 | 2015-07-01 | 芜湖宏景电子股份有限公司 | 基于蓝牙传输的车载终端与智能手机语音声控互联互控系统 |
CN104767819A (zh) * | 2015-04-16 | 2015-07-08 | 芜湖宏景电子股份有限公司 | 基于usb传输的车载终端与智能手机语音声控互联互控系统 |
CN105448294A (zh) * | 2015-12-09 | 2016-03-30 | 江苏天安智联科技股份有限公司 | 一种应用于车载设备的智能语音识别系统 |
CN106303119A (zh) * | 2016-09-26 | 2017-01-04 | 维沃移动通信有限公司 | 一种通话过程中的回声消除方法和移动终端 |
CN106548797A (zh) * | 2017-01-10 | 2017-03-29 | 深圳市互联互通汽电科技有限公司 | 一种集可视、语音控制一体化的车载智能平台 |
CN106604209A (zh) * | 2016-12-14 | 2017-04-26 | 广东欧珀移动通信有限公司 | 一种基于蓝牙协议的功能设置方法及装置 |
CN106791243A (zh) * | 2016-12-06 | 2017-05-31 | 广东欧珀移动通信有限公司 | 一种基于蓝牙协议的功能设置方法及装置 |
CN106790938A (zh) * | 2016-11-16 | 2017-05-31 | 上海趣讯网络科技有限公司 | 一种基于人工智能的人机交互车载系统 |
US20170178663A1 (en) * | 2014-07-24 | 2017-06-22 | Amenity Research Institute Co., Ltd. | Echo canceller device |
CN106910510A (zh) * | 2017-02-16 | 2017-06-30 | 智车优行科技(北京)有限公司 | 车载功放设备、车辆及其音频播放处理方法 |
CN206388506U (zh) * | 2017-01-10 | 2017-08-08 | 深圳市互联互通汽电科技有限公司 | 一种集可视、语音控制一体化的车载智能平台 |
CN107331406A (zh) * | 2017-07-03 | 2017-11-07 | 福建星网智慧软件有限公司 | 一种动态调整回声延时的方法 |
CN107371059A (zh) * | 2017-08-09 | 2017-11-21 | 北京智网时代科技有限公司 | 一种消除电视对语音识别装置干扰的装置 |
CN107566874A (zh) * | 2017-09-22 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 基于电视设备的远场语音控制系统 |
US9916840B1 (en) * | 2016-12-06 | 2018-03-13 | Amazon Technologies, Inc. | Delay estimation for acoustic echo cancellation |
CN108022591A (zh) * | 2017-12-30 | 2018-05-11 | 北京百度网讯科技有限公司 | 车内环境中语音识别的处理方法、装置和电子设备 |
CN108076239A (zh) * | 2016-11-14 | 2018-05-25 | 深圳联友科技有限公司 | 一种改善ip电话回声的方法 |
US9997151B1 (en) * | 2016-01-20 | 2018-06-12 | Amazon Technologies, Inc. | Multichannel acoustic echo cancellation for wireless applications |
CN108198551A (zh) * | 2018-01-15 | 2018-06-22 | 深圳前海黑鲸科技有限公司 | 回声消除延时的处理方法及装置 |
CN108322859A (zh) * | 2018-02-05 | 2018-07-24 | 北京百度网讯科技有限公司 | 用于回声消除的设备、方法和计算机可读存储介质 |
CN108369809A (zh) * | 2015-12-18 | 2018-08-03 | 高通股份有限公司 | 时间偏移估计 |
WO2018163328A1 (ja) * | 2017-03-08 | 2018-09-13 | 三菱電機株式会社 | 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置 |
-
2018
- 2018-09-29 CN CN201811148346.0A patent/CN109087660A/zh active Pending
Patent Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5999901A (en) * | 1995-03-17 | 1999-12-07 | Mediaone Group, Inc | Telephone network apparatus and method using echo delay and attenuation |
US20120294452A1 (en) * | 2011-05-20 | 2012-11-22 | Andrew John Macdonald | Method and apparatus for reducing noise pumping due to noise suppression and echo control interaction |
KR20130084793A (ko) * | 2012-01-18 | 2013-07-26 | 현대모비스 주식회사 | 에코처리 유닛을 구비한 핸즈프리 시스템 |
US20170178663A1 (en) * | 2014-07-24 | 2017-06-22 | Amenity Research Institute Co., Ltd. | Echo canceller device |
CN104754499A (zh) * | 2015-04-16 | 2015-07-01 | 芜湖宏景电子股份有限公司 | 车载终端与智能手机互联互动虚拟蓝牙系统 |
CN104754500A (zh) * | 2015-04-16 | 2015-07-01 | 芜湖宏景电子股份有限公司 | 基于蓝牙传输的车载终端与智能手机语音声控互联互控系统 |
CN104767819A (zh) * | 2015-04-16 | 2015-07-08 | 芜湖宏景电子股份有限公司 | 基于usb传输的车载终端与智能手机语音声控互联互控系统 |
CN105448294A (zh) * | 2015-12-09 | 2016-03-30 | 江苏天安智联科技股份有限公司 | 一种应用于车载设备的智能语音识别系统 |
CN108369809A (zh) * | 2015-12-18 | 2018-08-03 | 高通股份有限公司 | 时间偏移估计 |
US9997151B1 (en) * | 2016-01-20 | 2018-06-12 | Amazon Technologies, Inc. | Multichannel acoustic echo cancellation for wireless applications |
CN106303119A (zh) * | 2016-09-26 | 2017-01-04 | 维沃移动通信有限公司 | 一种通话过程中的回声消除方法和移动终端 |
CN108076239A (zh) * | 2016-11-14 | 2018-05-25 | 深圳联友科技有限公司 | 一种改善ip电话回声的方法 |
CN106790938A (zh) * | 2016-11-16 | 2017-05-31 | 上海趣讯网络科技有限公司 | 一种基于人工智能的人机交互车载系统 |
CN106791243A (zh) * | 2016-12-06 | 2017-05-31 | 广东欧珀移动通信有限公司 | 一种基于蓝牙协议的功能设置方法及装置 |
US9916840B1 (en) * | 2016-12-06 | 2018-03-13 | Amazon Technologies, Inc. | Delay estimation for acoustic echo cancellation |
CN106604209A (zh) * | 2016-12-14 | 2017-04-26 | 广东欧珀移动通信有限公司 | 一种基于蓝牙协议的功能设置方法及装置 |
CN206388506U (zh) * | 2017-01-10 | 2017-08-08 | 深圳市互联互通汽电科技有限公司 | 一种集可视、语音控制一体化的车载智能平台 |
CN106548797A (zh) * | 2017-01-10 | 2017-03-29 | 深圳市互联互通汽电科技有限公司 | 一种集可视、语音控制一体化的车载智能平台 |
CN106910510A (zh) * | 2017-02-16 | 2017-06-30 | 智车优行科技(北京)有限公司 | 车载功放设备、车辆及其音频播放处理方法 |
WO2018163328A1 (ja) * | 2017-03-08 | 2018-09-13 | 三菱電機株式会社 | 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置 |
CN107331406A (zh) * | 2017-07-03 | 2017-11-07 | 福建星网智慧软件有限公司 | 一种动态调整回声延时的方法 |
CN107371059A (zh) * | 2017-08-09 | 2017-11-21 | 北京智网时代科技有限公司 | 一种消除电视对语音识别装置干扰的装置 |
CN107566874A (zh) * | 2017-09-22 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 基于电视设备的远场语音控制系统 |
CN108022591A (zh) * | 2017-12-30 | 2018-05-11 | 北京百度网讯科技有限公司 | 车内环境中语音识别的处理方法、装置和电子设备 |
CN108198551A (zh) * | 2018-01-15 | 2018-06-22 | 深圳前海黑鲸科技有限公司 | 回声消除延时的处理方法及装置 |
CN108322859A (zh) * | 2018-02-05 | 2018-07-24 | 北京百度网讯科技有限公司 | 用于回声消除的设备、方法和计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
季昱等: "《DSP嵌入式应用系统开发典型实例》", 30 November 2005 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113380280A (zh) * | 2018-12-29 | 2021-09-10 | 百度在线网络技术(北京)有限公司 | 数据处理方法、装置和存储介质 |
CN113348503B (zh) * | 2019-01-29 | 2024-08-06 | 谷歌有限责任公司 | 使用结构化音频输出检测回放和/或适应无线扬声器中的未对准的回放 |
CN113348503A (zh) * | 2019-01-29 | 2021-09-03 | 谷歌有限责任公司 | 使用结构化音频输出检测回放和/或适应无线扬声器中的未对准的回放 |
US20230386466A1 (en) * | 2019-01-29 | 2023-11-30 | Google Llc | Using structured audio output to detect playback and/or to adapt to misaligned playback in wireless speakers |
CN110265048A (zh) * | 2019-03-18 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 回声消除方法、装置、设备及存储介质 |
CN112116919A (zh) * | 2019-06-19 | 2020-12-22 | 杭州海康威视数字技术股份有限公司 | 一种回声消除方法、装置及电子设备 |
CN112116919B (zh) * | 2019-06-19 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 一种回声消除方法、装置及电子设备 |
CN110138991A (zh) * | 2019-06-21 | 2019-08-16 | 苏州思必驰信息科技有限公司 | 回音消除方法和装置 |
CN110138991B (zh) * | 2019-06-21 | 2021-05-25 | 思必驰科技股份有限公司 | 回音消除方法和装置 |
CN110995950B (zh) * | 2019-11-08 | 2022-02-01 | 杭州觅睿科技股份有限公司 | 基于pc端和移动端回音消除自适应的方法 |
CN110995950A (zh) * | 2019-11-08 | 2020-04-10 | 杭州觅睿科技有限公司 | 基于pc端和移动端回音消除自适应的方法 |
CN111724805A (zh) * | 2020-06-29 | 2020-09-29 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
CN111666062A (zh) * | 2020-07-13 | 2020-09-15 | 延锋伟世通电子科技(上海)有限公司 | 音频处理装置、方法及车载信息娱乐系统 |
CN112583970A (zh) * | 2020-12-04 | 2021-03-30 | 斑马网络技术有限公司 | 一种车载蓝牙回声消除方法及装置、车载终端、存储介质 |
CN113421578A (zh) * | 2021-06-02 | 2021-09-21 | 广州小鹏智慧出行科技有限公司 | 音频处理方法、装置、电子设备及存储介质 |
CN113421578B (zh) * | 2021-06-02 | 2024-05-17 | 广州小鹏智慧出行科技有限公司 | 音频处理方法、装置、电子设备及存储介质 |
CN115376538A (zh) * | 2022-08-19 | 2022-11-22 | 思必驰科技股份有限公司 | 用于交互的语音降噪方法、系统、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109087660A (zh) | 用于回声消除的方法、装置、设备以及计算机可读存储介质 | |
CN109166593B (zh) | 音频数据处理方法、装置及存储介质 | |
US10629226B1 (en) | Acoustic signal processing with voice activity detector having processor in an idle state | |
CN108320751B (zh) | 一种语音交互方法、装置、设备和服务器 | |
JP2019204074A (ja) | 音声対話方法、装置及びシステム | |
CN111124108B (zh) | 模型训练方法、手势控制方法、装置、介质及电子设备 | |
CN109147784A (zh) | 语音交互方法、设备以及存储介质 | |
CN205508398U (zh) | 具有云端交互功能的智能机器人 | |
CN109361995B (zh) | 一种电器设备的音量调节方法、装置、电器设备和介质 | |
CN110364156A (zh) | 语音交互方法、系统、终端及可读存储介质 | |
CN109920419A (zh) | 语音控制方法和装置、电子设备及计算机可读介质 | |
CN111722696B (zh) | 用于低功耗设备的语音数据处理方法和装置 | |
CN111323783A (zh) | 场景识别方法、装置、存储介质及电子设备 | |
CN112634872A (zh) | 语音设备唤醒方法及装置 | |
CN112233689B (zh) | 音频降噪方法、装置、设备及介质 | |
CN110428835A (zh) | 一种语音设备的调节方法、装置、存储介质及语音设备 | |
CN111081275B (zh) | 基于声音分析的终端处理方法、装置、存储介质及终端 | |
CN114067782A (zh) | 音频识别方法及其装置、介质和芯片系统 | |
CN116052723A (zh) | 音乐节奏检测方法、装置及电子设备 | |
CN109639907A (zh) | 用于处理信息的方法和装置 | |
CN111724783B (zh) | 智能设备的唤醒方法、装置、智能设备及介质 | |
CN113808566B (zh) | 振动噪音处理方法、装置、电子设备及存储介质 | |
WO2022052691A1 (zh) | 基于多设备的语音处理方法、介质、电子设备及系统 | |
CN113889084A (zh) | 音频识别方法、装置、电子设备及存储介质 | |
CN114783455A (zh) | 用于语音降噪的方法、装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211014 Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Address before: 100080 No.10, Shangdi 10th Street, Haidian District, Beijing Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181225 |
|
RJ01 | Rejection of invention patent application after publication |