CN109273020A - 音频信号处理方法、装置、设备和存储介质 - Google Patents
音频信号处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN109273020A CN109273020A CN201811147841.XA CN201811147841A CN109273020A CN 109273020 A CN109273020 A CN 109273020A CN 201811147841 A CN201811147841 A CN 201811147841A CN 109273020 A CN109273020 A CN 109273020A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- audio
- user
- collecting device
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000005236 sound signal Effects 0.000 claims abstract description 165
- 238000000034 method Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 10
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 239000004615 ingredient Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
根据本公开的示例实施例,提供了音频信号处理方法、装置、设备和计算机可读存储介质。音频信号处理方法包括接收来自第一处理设备的第一音频信号,第一处理设备耦合至位于第一区域内的第一音频采集设备,并且适于对由第一音频采集设备所采集的音频信号进行回声消除以得到第一音频信号;接收来自第二处理设备的第二音频信号,第二处理设备耦合至位于与第一区域不同的第二区域内的第二音频采集设备,并且适于对由第二音频采集设备所采集的音频信号进行回声消除以得到第二音频信号;以及利用第二音频信号对第一音频信号进行进一步的回声消除。根据本公开实施例的音频信号处理方案所处理的音频信号具有更高的信噪比和更佳的质量。
Description
技术领域
本公开的实施例主要涉及信号处理领域,并且更具体地,涉及用于音频信号处理的方法、装置、设备和计算机可读存储介质。
背景技术
为了使运动实体(例如车辆)内不同位置的用户实现不同的听觉以及发声体验,一般在车辆内部设置有多个音区,目前一般为四音区,即前左、前右、后左和后右音区。目前在车载多音区场景一般采用一个或多个处理设备来控制不同音区内的诸如麦克风或麦克风阵列等的音频采集设备。例如,在常见的场景中,一般采用两个处理设备来控制车辆内部的音频采集设备。例如前左和前右音区内的音频采集设备由一个处理设备控制,后左和后右音区内的音频采集设备由另一个处理设备控制。音频采集设备通常采用波束成形技术来采集预定区域内的音频信号。
发明内容
根据本公开的示例实施例,提供了一种用于处理音频信号的方案。
在本公开的第一方面中,提供了一种音频信号处理方法。该方法包括接收来自第一处理设备的第一音频信号,第一处理设备耦合至位于第一区域内的第一音频采集设备,并且适于对由第一音频采集设备所采集的音频信号进行回声消除以得到所述第一音频信号;接收来自第二处理设备的第二音频信号,第二处理设备耦合至位于与第一区域不同的第二区域内的第二音频采集设备,并且适于对由第二音频采集设备所采集的音频信号进行回声消除以得到第二音频信号;以及利用第二音频信号对第一音频信号进行进一步的回声消除。
在本公开的第二方面中,提供了一种用于音频信号处理的装置。该装置包括第一音频信号接收模块,被配置为接收来自第一处理设备的第一音频信号,第一处理设备耦合至位于第一区域内的第一音频采集设备,并且适于对由第一音频采集设备所采集的音频信号进行回声消除以得到第一音频信号;第二音频信号接收模块,被配置为接收来自第二处理设备的第二音频信号,第二处理设备耦合至位于与第一区域不同的第二区域内的第二音频采集设备,并且适于对由第二音频采集设备所采集的音频信号进行回声消除以得到第二音频信号;以及回声消除模块,被配置为利用第二音频信号对第一音频信号进行进一步的回声消除。
在本公开的第三方面中,提供了一种设备,包括一个或多个处理器;以及存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标注表示相同或相似的元素,其中:
图1示出了本公开的多个实施例能够在其中实现的示例车辆的示意图;
图2示出了根据本公开的一些实施例的示例车辆的俯视图;
图3示出了根据本公开的一些实施例的音频信号处理的过程的流程图;
图4示出了根据本公开的一些替代实施例的音频信号处理的过程的流程图;
图5示出了根据本公开的实施例的音频信号处理的装置的示意框图;以及
图6示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上文中提及的,车辆内部的多个音区一般有两个处理设备来分别控制。例如,一个处理设备处理前左和前右音区中的诸如麦克风或者麦克风阵列的音频采集设备所采集的音频信号,另一个处理设备处理左后和右后音区中的音频采集设备所采集的音频信号。所采集的音频信号经两个处理设备处理后发送给车载控制设备并由车载控制设备进行处理。
为了达到处于不同音区内的用户能够正常的语音识别、控制或者语音通话等,需要音区之间的语音或者音频互不干扰,这就需要音区间非常高的隔离度。目前已经采用了波束成形技术来使音频采集设备采集相应的音区内的音频信号。此外,对于同一处理设备控制的音频采集设备,已经在处理设备内部进行了其所控制音频采集设备之间可能导致的回声的消除。然而,即便如此,由于不同处理设备所控制的音频采集设备之间的回声无法消除,从而极大地影响了相应的音区的语音性能。
根据本公开的实施例,提出了一种音频信号处理的方案。以解决或至少部分地解决现有技术中所存在的上述问题或其他潜在的一些问题。根据本公开的实施例的音频信号处理的方案,能够利用不同处理设备所接收的音频信号来消除其他处理设备所采集的音频信号进行进一步的回声消除,从而提高各音区的语音性能和音频信号的信噪比。
以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的车辆内部环境100的示意图。在车辆内部环境100中,示例性地示出了具有两个处理设备来处理车辆内部的音频采集设备。本文中所提到的处理设备是指能够对音频信号进行处理的设备。例如,在一些实施例中,处理设备可以是数字信号处理器(DSP)。当然,应当理解的是,处理设备是DSP只是示例性的,并不旨在限制本公开的保护范围。在一些替代的实施例中,处理设备也可以是诸如滤波器和模数转换设备的多个部件的组合。为了便于后续的描述,两个处理设备分别称为第一处理设备120和第二处理设备121。
第一处理设备120控制位于车辆内的前部区域(为便于描述,后称为第一区域)中的第一音频采集设备110。第一区域可以包括多个子区域,例如前左和前右区域。第二处理设备121控制位于车辆内的后部区域(为便于描述,后称为第二区域)中的第二音频采集设备111。第二区域包括多个子区域,例如左后和右后区域。当然,应当理解的是,两个处理设备只是示例性的,根据本公开实施例的音频信号处理方法可以应用于更多个处理设备的情形。
在一些实施例中,第一和第二音频采集设备110、111可以是麦克风或者麦克风阵列。第一和第二音频采集设备110、111分别采用波束成形技术来采集其所在区域的不同子区域的音频信号。例如,第一音频采集设备110能够利用波束成形技术来分别采集前左和前右音区的音频信号。第一音频采集设备110所采集的音频信号会发送给第一处理设备120进行处理。第一处理设备120会对音频信号进行滤波并消除第一音频采集设备110之间的回声。经处理后的音频信号发送给车载控制设备130。第二音频采集设备111和第二处理设备121的情况与此类似,在此不再赘述。
车载控制设备130会根据所接收到的来自第一和第二处理设备120、121的音频信号进行相应的操作,例如语音识别、控制或者语音通话等。因此这就需要所接收到的来自第一和第二处理设备120、121的音频信号噪声要尽可能少,信噪比要尽可能高。
然而虽然采用了波束成型技术以及处理设备内部已经进行了其所控制的音频采集设备之间的回声消除,但是由于车辆内部有限且封闭的语音使用场景,导致各音区的语音性能急剧下降。例如如图2所示的一些场景的俯视图,在这些场景中,前左(例如驾驶位)和左后都有用户,并且存在两个用户同时进行语音识别、控制或者语音通话的可能。
例如,在位于前左的用户进行语音识别时,前左用户所发出的音频信号会被第一音频采集设备110所采集并交由第一设备120进行处理。车载控制设备130会根据该音频信号来进行语音识别。因此,如果该音频信号噪声较大,信噪比较低,会严重地影响语音识别的准确率。此时,如果位于左后的用户大声说话或者吵闹,虽然采用了波束成形技术,但由于前左和后左相对于第一音频采集设备110相差的角度很小,使得第一音频采集设备110仍然会拾取到后左用户所发出的音频信号。
上述情形就使得由第一音频采集设备110所采集的音频信号包含第二区域中右后音区的用户(即右后位置的用户)的语音的成分。然而该语音的成分由于波束成形以及距离较远等原因而并不能有效地被第一音频采集设备所覆盖的另一个子区域(即前右)中的麦克风所采集,这就导致第一处理设备120内的回声消除手段不能很好地将该音频信号的成分消除。由右后用户所发出的被第一采集设备10所采集的这一部分音频信号此时会形成所需要的前左用户的音频信号的干扰信号,也即回声信号或者噪声信号,使得第一区域中前左音区的语音性能降低。
通过对目前所存在的问题继续充分研究,并考虑到例如第二区域的用户的音频信号必然也能够被第二区域内的第二音频采集设备111所采集,提出了根据本公开实施例的音频信号处理方法。该音频信号处理方法利用该第二音频采集设备111所采集的第二区域中的用户所发出的音频信号(为便于描述,称为第二音频信号)来消除第一处理设备110所接收到的第一区域中的用户的音频信号(为便于描述,称为第一音频信号)中的回声信号。
经过根据本公开的实施例的音频信号处理方法处理后的第一音频信号中的回声信号被有效地消除,从而得到清晰的第一音频信号,提高了信号的信噪比。由此提高了车载处理设备130进行语音识别或控制的准确度,也提高了进行语音通话的清晰度。
当然,应当理解的是,图2中示出的车辆内部环境仅是一个具体示例。根据实际情况,环境中的用户的位置以及数目可能不尽相同。不论用户所处的位置如何,根据本公开实施例的音频信号处理方法都能够利用不同处理设备所发送的音频信号来消除另外的处理设备所发送的信号中的回声信号。当然,还应当理解的是,这个过程也可以是双向的,即利用不同处理设备所发送的音频信号互相消除音频信号中的回声信号,这种方式例如适用于车辆内部有多个用户进行语音交互或者语音通话的情况,这将在下文中做进一步阐述。
下文将参考图3来更详细描述如何利用根据本公开实施例的音频信号处理方法来进行进一步的回声消除。图3示出了根据本公开的一些实施例的音频信号处理的过程300的流程图。过程300可以由图1或图2的车载控制设备130来实现,该车载控制设备130可以被嵌入车辆100或者作为车辆100外部的独立设备。为了方便讨论,将结合图2来描述过程300。
在框310,车载控制设备130接收来自第一处理设备120的第一音频信号。车载控制设备130所接收的是经过第一处理设备120滤波并消除回声后的音频信号。
在框320,车载控制设备130接收来自第二处理设备121的第二音频信号。同样地,该第二音频信号是由第二处理设备121处理后的由第二音频采集设备111所采集的音频信号。在这里,第一处理设备120和第二处理设备121会对所采集的音频信号进行处理。例如进行滤波并对所采集的音频信号进行回声消除。
上面按顺序描述了框310和框320。但应当注意的是,在一些实施例中,框310和框320中所描述的过程可以同时进行,即,车载控制设备130接收来自第一处理设备120的第一音频信号以及接收来自第二处理设备121的第二音频信号的过程可以同时进行。当然,应当理解的是,这两个过程同时进行只是示例性的,并不旨在限制本公开的保护范围。在一些替代的实施例中,接收来自第二处理设备121的第二音频信号的过程可以仅在检测到第二音频信号大于一定阈值时执行。以此方式,可以提高音频信号质量的同时降低能耗。
在框330,利用该第二音频信号来消除第一音频信号中存在的由第二区域的用户所发出的音频信号的成分,以进行进一步回声消除,即二次回声消除。通过该过程,使得在不增加成本的情况下提高了各区域的信噪比,从而提高了语音识别和控制的准确性以及语音通话的清晰性。
虽然上述过程只是描述了利用第二音频信号对第一音频信号进行进一步的回声消除,但应当理解的是,本文中的“第一”和“第二”只是来区别处理设备、音频采集设备和音频信号,而并不代表执行过程的先后顺序。此外“第一”和“第二”所指代的术语可以互换。也就是说,根据本公开实施例的音频信号处理方法,也可以利用第一音频信号对第二音频信号进行进一步的回声消除或者同时进行,即利用第一音频信号来对第二音频信号进行进一步的回声消除,同时利用第二音频信号来对第一音频信号进行进一步的回声消除。例如,这种情况适用于位于不同区域的用户同时进行语音识别、控制以及语音通话等情况。
虽然只是描述了“第一”和“第二”处理设备、音频采集设备和音频信号,但应当理解的是,根据本公开实施例的音频信号处理方法所应用的场景可以不限于两个处理设备、音频采集设备和音频信号。换言之,本公开实施例的音频信号处理方法的原理可以应用于具有更多个处理设备、音频采集设备和音频信号的情形,并能够解决同样的技术问题,达到同样的技术效果。下面将仅以第一音频采集设备或第一处理设备为例,来进一步描述根据本公开实施例的音频信号处理方法的一些过程的示例。其他音频采集设备和处理设备与此类似,在下文中将不再逐一赘述。
在一些实施例中,如图4所示,在框401,音频信号处理方法还包括确定与第一音频采集设备110相关联的用户的步骤。例如,在第一区域内只存在一个用户的情况下,直接将该用户确定为与第一音频采集设备110相关联的用户。在一些替代的实施例中,在第一区域中存在多个用户的情况下,可以根据各种适当的条件来确定与第一音频采集设备110相关联的用户。例如,在一些实施例中,可以根据多个用户在其所在的子区域(例如前左或者前右音区)的优先级,来确定与第一音频采集设备110相关联的用户。例如,在前左和前右音区的用户都发出相应的指令准备进行语音识别、控制或者语音通话的情况下,可以将优先级较高的前左区域(例如驾驶位)上的用户确定为与第一音频设备110相关联的用户。
在一些实施例中,在前左和前右音区的用户都发出相应的指令准备进行语音识别、控制或者语音通话的情况下,也可以根据发出指令的时间先后顺序来确定与第一音频设备110相关联的用户。例如,在前右音区先发出语音识别指令的情况下,将前右音区的用户确定为与第一音频设备110相关联的用户。
当然,应当理解的是,上述确定与第一音频设备110相关联的用户的方式只是示例性的,并不旨在限制本公开的保护范围。任何其他适当的方式或者手段都是可能的。例如,在一些实施例中,可以将第一区域和/或第二区域中的多个用户都作为与第一音频设备110相关联的用户。在这样的实施例中,多个用户都可以同时进行语音识别、控制或者语音通话等。
如图4所示,在一些实施例中,在用户被确定为与第一音频设备110相关联的用户后,在框402,车载控制设备130可以根据该用户有关的激活事件,来指示第一音频采集设备110和第二音频采集设备111分别进行音频信号采集。在框410和框420,车载控制设备130会分别接收来自第一处理设备120和第二处理设备121的第一音频信号和第二音频信号。这使得能够用根据本公开实施例的音频信号处理方法利用所采集的第二音频信号来对第一音频信号中的回声做进一步消除。
在一些实施例中,本文中所提到的与用户有关的激活事件可以是指该用户发出语音交互的请求。语音交互可以包括语音识别和语音控制等。例如,用户通过说出某个与预定音频信号一致的短语来激活语音控制,来命令车载控制设备130完成各种操作,例如打电话,发消息或者导航到某地等等。根据上文中所描述的,在处于第一区域中的多个用户(例如,位于驾驶位和副驾驶位的用户)都被确定为与第一音频设备110相关联的用户的情况下,每个用户都可以发出语音交互的请求。利用根据本公开实施例的语音处理方法,各用户所发出的语音识别或者语音控制的语音交互过程不会互相干扰,并且识别和控制准确率高。
与用户有关的激活事件在一些实施例中还可以是用户进行语音通话。例如,用户可以某种方式来发起语音通话来与第一音频设备110相关联。此时,车载处理设备130会使第一音频采集设备110和第二音频采集设备111进行音频信号采集,以进行根据本公开实施例的音频信号处理方法来使语音通话更清晰,信噪比更高。
当然应当理解的是,上述关于激活事件的实施例只是示例性的,并不旨在限制本公开的保护范围。其他任意适当的方式或者手段都是可能的。例如,在一些替代的实施例中,车载处理设备130可以定期地指示第一音频采集设备110和第二音频采集设备111采集音频信号。此外,在一些替代的实施例中,用户也可以通过车辆内部的按钮或者与车辆相关联的诸如手机等的移动设备来进行激活。
在一些实施例中,车载处理设备130可以采用自适应滤波的算法来利用第二音频信号对第一音频信号进行进一步的回声消除。自适应滤波算法可以采用加权相减的方法,来消除第一音频信号中第二音频信号的成分。例如,在一些实施例中,如图4所示,车载处理设备130会确定第二音频信号的权重和与第一音频信号之间时间差,并在框460,基于所确定的权重和时间差来消除第一音频信号中与第二音频信号相关联的回声。
在一些实施例中,在框440,第二音频信号的权重可以根据第二音频信号的幅度等条件来确定。例如,在确定第二音频信号高于某个阈值的情况下,确定一个相对较大的权重,反之亦然。在一些实施例中,在框450,时间差可以根据两个音频信号之间的时间差来确定。基于确定的时间差和权重,即通过在时间维度和强度维度上将第二音频信号与第一音频信号相匹配,使得根据本公开实施例的音频信号处理方法能够有效地消除第一音频信号中第二音频信号的成分,也即对第一音频信号进行进一步的回声消除。
虽然在图4中按先后顺序示例性地示出了框440和框450,但是应当理解的是,框440和框450所指代的过程可以同时进行或者按图示的相反的顺序执行。此外,还应当理解的是,上述采用自适应滤波的算法进行二次回声消除对本领域技术人员而言只是示例性的,并不旨在限制本公开的保护范围。其他任意适当的算法或者手段都是可能的。例如,在一些实施例中,可以采用归一化最小均方算法来进行二次回声消除。
以上讨论了在一些示例场景下,如何利用第二音频信号对第一音频信号进行进一步的回声消除。然而,应当理解的是,这些场景的描述仅为了以示例方式来解释说明本公开的实施例。取决于实际需要,在不同或类似场景下,还可以与上述内容不同的方式或者手段。通过利用第二音频信号对第一音频信号进行进一步的回声消除,使得第一音频信号更清晰,信噪比更高。从而使得第一音频信号应用于语音识别或控制时,能够识别更准确并在应用于语音通话时,使语音通话更清晰。
图5示出了根据本公开的实施例的音频信号处理的装置的示意框图。装置500可以被包括在图1的车载控制设备130中或者被实现为车载控制设备130中。如图5所示,装置500包括第一音频信号接收模块510,被配置为被配置为接收来自第一处理设备的第一音频信号,第一处理设备耦合至位于第一区域内的第一音频采集设备,并且适于对由第一音频采集设备所采集的音频信号进行回声消除以得到第一音频信号。装置500还包括第二音频信号接收模块520,被配置为接收来自第二处理设备的第二音频信号,第二处理设备耦合至位于与第一区域不同的第二区域内的第二音频采集设备,并且适于对由第二音频采集设备所采集的音频信号进行回声消除以得到第二音频信号。装置500进一步包括回声消除模块530,被配置为利用第二音频信号对第一音频信号进行进一步的回声消除。
在一些实施例中,装置500还包括关联用户确定模块,被配置为确定与第一音频采集设备相关联的用户;以及指示模块,被配置为响应于检测到与用户有关的激活事件,指示第一音频采集设备和第二音频采集设备分别进行音频信号采集。
在一些实施例中,激活事件包括以下至少一项:用户发出语音交互请求;以及用户进行语音通话。
在一些实施例中,关联用户确定模块包括以下模块中的至少一个模块:第一关联用户确定模块,被配置为将在第一区域内的用户确定为与第一音频采集设备相关联的用户;第二关联用户确定模块,被配置为响应于第一区域内存在多个用户,根据多个用户分别所在的子区域的优先级,从多个用户中确定与第一音频采集设备相关联的用户;以及第三关联用户确定模块,被配置为响应于第一区域内存在多个用户,根据多个用户分别发出语音的时间顺序,从多个用户中确定与第一音频采集设备相关联的用户。
在一些实施例中,回声消除模块530消除包括:权重确定模块,被配置为基于第二音频信号的幅度确定用于对第二音频信号进行调整的权重;时延确定模块,被配置为确定第二音频信号与第一音频信号的时间差;以及基于权重时延的回声消除模块,被配置为基于权重和时间差,消除第一音频信号中与第二音频信号相关联的回声。
在一些实施例中,第一区域和第二区域分别是车辆内部的不同区域,第一区域和第二区域分别包括至少两个子区域。
在一些实施例中,第一音频采集设备是单个麦克风或者麦克风阵列。
图6示出了可以用来实施本公开的实施例的示例设备600的示意性框图。设备600可以用于实现图1的车辆控制设备130。如图所示,设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元601执行上文所描述的各个方法和处理,例如过程300。例如,在一些实施例中,过程300可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时,可以执行上文描述的过程300的一个或多个步骤。备选地,在其他实施例中,CPU 601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行过程300。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (16)
1.一种音频信号处理方法,包括:
接收来自第一处理设备的第一音频信号,所述第一处理设备耦合至位于第一区域内的第一音频采集设备,并且适于对由第一音频采集设备所采集的音频信号进行回声消除以得到所述第一音频信号;
接收来自第二处理设备的第二音频信号,所述第二处理设备耦合至位于与所述第一区域不同的第二区域内的第二音频采集设备,并且适于对由第二音频采集设备所采集的音频信号进行回声消除以得到所述第二音频信号;以及
利用所述第二音频信号对所述第一音频信号进行进一步的回声消除。
2.根据权利要求1所述的音频信号处理方法,还包括:
确定与所述第一音频采集设备相关联的用户;以及
响应于检测到与所述用户有关的激活事件,指示所述第一音频采集设备和所述第二音频采集设备分别进行音频信号采集。
3.根据权利要求2所述的音频信号处理方法,其中所述激活事件包括以下至少一项:
所述用户发出语音交互请求;以及
所述用户进行语音通话。
4.根据权利要求2所述的音频信号处理方法,其中确定与所述第一音频采集设备相关联的用户包括以下至少一项:
将在所述第一区域内的用户确定为与所述第一音频采集设备相关联的用户;
响应于所述第一区域内存在多个用户,根据所述多个用户分别所在的子区域的优先级,从所述多个用户中确定与所述第一音频采集设备相关联的用户;以及
响应于所述第一区域内存在多个用户,根据所述多个用户分别发出语音的时间顺序,从所述多个用户中确定与所述第一音频采集设备相关联的用户。
5.根据权利要求1所述的音频信号处理方法,其中利用所述第二音频信号对所述第一音频信号进行进一步的回声消除包括:
基于所述第二音频信号的幅度确定用于对所述第二音频信号进行调整的权重;
确定所述第二音频信号与第一音频信号的时间差;以及
基于所述权重和所述时间差,消除所述第一音频信号中与所述第二音频信号相关联的回声。
6.根据权利要求1所述的音频信号处理方法,其中所述第一区域和所述第二区域分别是车辆内部的不同区域,所述第一区域和所述第二区域分别包括至少两个子区域。
7.根据权利要求1所述的音频信号处理方法,其中所述第一音频采集设备是单个麦克风或者麦克风阵列。
8.一种用于音频信号处理的装置,包括:
第一音频信号接收模块,被配置为接收来自第一处理设备的第一音频信号,所述第一处理设备耦合至位于第一区域内的第一音频采集设备,并且适于对由第一音频采集设备所采集的音频信号进行回声消除以得到所述第一音频信号;
第二音频信号接收模块,被配置为接收来自第二处理设备的第二音频信号,所述第二处理设备耦合至位于与所述第一区域不同的第二区域内的第二音频采集设备,并且适于对由第二音频采集设备所采集的音频信号进行回声消除以得到所述第二音频信号;以及
回声消除模块,被配置为利用所述第二音频信号对所述第一音频信号进行进一步的回声消除。
9.根据权利要求8所述的装置,还包括:
关联用户确定模块,被配置为确定与所述第一音频采集设备相关联的用户;以及
指示模块,被配置为响应于检测到与所述用户有关的激活事件,指示所述第一音频采集设备和所述第二音频采集设备分别进行音频信号采集。
10.根据权利要求9所述的装置,其中所述激活事件包括以下至少一项:
所述用户发出语音交互请求;以及
所述用户进行语音通话。
11.根据权利要求9所述的装置,其中所述关联用户确定模块包括以下至少一项:
第一关联用户确定模块,被配置为将在所述第一区域内的用户确定为与所述第一音频采集设备相关联的用户;
第二关联用户确定模块,被配置为响应于所述第一区域内存在多个用户,根据所述多个用户分别所在的子区域的优先级,从所述多个用户中确定与所述第一音频采集设备相关联的用户;以及
第三关联用户确定模块,被配置为响应于所述第一区域内存在多个用户,根据所述多个用户分别发出语音的时间顺序,从所述多个用户中确定与所述第一音频采集设备相关联的用户。
12.根据权利要求8所述的装置,其中所述回声消除模块消除包括:
权重确定模块,被配置为基于所述第二音频信号的幅度确定用于对所述第二音频信号进行调整的权重;
时延确定模块,被配置为确定所述第二音频信号与第一音频信号的时间差;以及
基于权重时延的回声消除模块,被配置为基于所述权重和所述时间差,消除所述第一音频信号中与所述第二音频信号相关联的回声。
13.根据权利要求8所述的装置,其中所述第一区域和所述第二区域分别是车辆内部的不同区域,所述第一区域和所述第二区域分别包括至少两个子区域。
14.根据权利要求8所述的装置,其中所述第一音频采集设备是单个麦克风或者麦克风阵列。
15.一种设备,所述设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811147841.XA CN109273020B (zh) | 2018-09-29 | 2018-09-29 | 音频信号处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811147841.XA CN109273020B (zh) | 2018-09-29 | 2018-09-29 | 音频信号处理方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109273020A true CN109273020A (zh) | 2019-01-25 |
CN109273020B CN109273020B (zh) | 2022-04-19 |
Family
ID=65195763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811147841.XA Active CN109273020B (zh) | 2018-09-29 | 2018-09-29 | 音频信号处理方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109273020B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109920405A (zh) * | 2019-03-05 | 2019-06-21 | 百度在线网络技术(北京)有限公司 | 多路语音识别方法、装置、设备及可读存储介质 |
CN110070868A (zh) * | 2019-04-28 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 车载系统的语音交互方法、装置、汽车和机器可读介质 |
CN110139246A (zh) * | 2019-05-22 | 2019-08-16 | 广州小鹏汽车科技有限公司 | 车载蓝牙通话的处理方法和装置、汽车以及机器可读介质 |
CN110265048A (zh) * | 2019-03-18 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 回声消除方法、装置、设备及存储介质 |
CN110310654A (zh) * | 2019-07-26 | 2019-10-08 | 歌尔科技有限公司 | 回声消除方法及装置、电子设备、可读存储介质 |
CN110366156A (zh) * | 2019-08-26 | 2019-10-22 | 科大讯飞(苏州)科技有限公司 | 车载蓝牙通讯处理方法、车载音频管理系统及相关设备 |
CN113945265A (zh) * | 2019-04-30 | 2022-01-18 | 阿波罗智联(北京)科技有限公司 | 一种多声音区域的音频隔离度检测方法、装置及系统 |
CN114063969A (zh) * | 2021-11-15 | 2022-02-18 | 阿波罗智联(北京)科技有限公司 | 音频数据处理方法、装置、设备、存储介质及程序产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1874386A (zh) * | 2005-05-24 | 2006-12-06 | 美国博通公司 | 具有改进性能的电话机及在其中处理音频信号的方法 |
CN201491082U (zh) * | 2009-08-12 | 2010-05-26 | 联想移动通信科技有限公司 | 一种手机 |
CN102099852A (zh) * | 2008-06-27 | 2011-06-15 | 沃福森微电子股份有限公司 | 噪声消除系统 |
CN102811267A (zh) * | 2012-07-27 | 2012-12-05 | 瑞声声学科技(深圳)有限公司 | 近端语音干扰消除系统及移动通信终端 |
CN107945815A (zh) * | 2017-11-27 | 2018-04-20 | 歌尔科技有限公司 | 语音信号降噪方法及设备 |
CN108574906A (zh) * | 2017-03-09 | 2018-09-25 | 比亚迪股份有限公司 | 用于汽车的声音处理方法、系统和汽车 |
-
2018
- 2018-09-29 CN CN201811147841.XA patent/CN109273020B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1874386A (zh) * | 2005-05-24 | 2006-12-06 | 美国博通公司 | 具有改进性能的电话机及在其中处理音频信号的方法 |
CN102099852A (zh) * | 2008-06-27 | 2011-06-15 | 沃福森微电子股份有限公司 | 噪声消除系统 |
CN201491082U (zh) * | 2009-08-12 | 2010-05-26 | 联想移动通信科技有限公司 | 一种手机 |
CN102811267A (zh) * | 2012-07-27 | 2012-12-05 | 瑞声声学科技(深圳)有限公司 | 近端语音干扰消除系统及移动通信终端 |
CN108574906A (zh) * | 2017-03-09 | 2018-09-25 | 比亚迪股份有限公司 | 用于汽车的声音处理方法、系统和汽车 |
CN107945815A (zh) * | 2017-11-27 | 2018-04-20 | 歌尔科技有限公司 | 语音信号降噪方法及设备 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109920405A (zh) * | 2019-03-05 | 2019-06-21 | 百度在线网络技术(北京)有限公司 | 多路语音识别方法、装置、设备及可读存储介质 |
CN110265048A (zh) * | 2019-03-18 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 回声消除方法、装置、设备及存储介质 |
CN110265048B (zh) * | 2019-03-18 | 2021-11-02 | 阿波罗智联(北京)科技有限公司 | 回声消除方法、装置、设备及存储介质 |
CN110070868A (zh) * | 2019-04-28 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 车载系统的语音交互方法、装置、汽车和机器可读介质 |
CN110070868B (zh) * | 2019-04-28 | 2021-10-08 | 广州小鹏汽车科技有限公司 | 车载系统的语音交互方法、装置、汽车和机器可读介质 |
CN113945265A (zh) * | 2019-04-30 | 2022-01-18 | 阿波罗智联(北京)科技有限公司 | 一种多声音区域的音频隔离度检测方法、装置及系统 |
CN110139246A (zh) * | 2019-05-22 | 2019-08-16 | 广州小鹏汽车科技有限公司 | 车载蓝牙通话的处理方法和装置、汽车以及机器可读介质 |
CN110310654A (zh) * | 2019-07-26 | 2019-10-08 | 歌尔科技有限公司 | 回声消除方法及装置、电子设备、可读存储介质 |
CN110366156A (zh) * | 2019-08-26 | 2019-10-22 | 科大讯飞(苏州)科技有限公司 | 车载蓝牙通讯处理方法、车载音频管理系统及相关设备 |
CN110366156B (zh) * | 2019-08-26 | 2021-03-26 | 科大讯飞(苏州)科技有限公司 | 通讯处理方法、装置、设备、存储介质及音频管理系统 |
CN114063969A (zh) * | 2021-11-15 | 2022-02-18 | 阿波罗智联(北京)科技有限公司 | 音频数据处理方法、装置、设备、存储介质及程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN109273020B (zh) | 2022-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109273020A (zh) | 音频信号处理方法、装置、设备和存储介质 | |
CN110556103B (zh) | 音频信号处理方法、装置、系统、设备和存储介质 | |
US10490204B2 (en) | Method and system of acoustic dereverberation factoring the actual non-ideal acoustic environment | |
CN110503970B (zh) | 一种音频数据处理方法、装置及存储介质 | |
US9595997B1 (en) | Adaption-based reduction of echo and noise | |
EP3301948A1 (en) | System and method for localization and acoustic voice interface | |
US20140112496A1 (en) | Microphone placement for noise cancellation in vehicles | |
CN109509465B (zh) | 语音信号的处理方法、组件、设备及介质 | |
CN111048104B (zh) | 语音增强处理方法、装置及存储介质 | |
US11328740B2 (en) | Voice onset detection | |
CN107465970B (zh) | 用于语音通信的设备 | |
CN110120217B (zh) | 一种音频数据处理方法及装置 | |
CN105793923A (zh) | 本地和远程语音处理 | |
CN109920405A (zh) | 多路语音识别方法、装置、设备及可读存储介质 | |
CN106531179A (zh) | 一种基于语义先验的选择性注意的多通道语音增强方法 | |
EP4092672A1 (en) | Audio signal processing method, device, equipment, and storage medium | |
CN103685783A (zh) | 信息处理系统和存储介质 | |
CN112509584A (zh) | 声源位置确定方法、装置和电子设备 | |
CN110992967A (zh) | 一种语音信号处理方法、装置、助听器及存储介质 | |
CN109215648A (zh) | 车载语音识别系统及方法 | |
CN111599366A (zh) | 一种车载多音区语音处理的方法和相关装置 | |
CN111816180A (zh) | 基于语音控制电梯的方法、装置、设备、系统及介质 | |
CN110517682A (zh) | 语音识别方法、装置、设备及存储介质 | |
US20220189450A1 (en) | Audio processing system and audio processing device | |
CN115050382A (zh) | 一种车内外语音通话方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211018 Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd. Address before: 100080 No.10, Shangdi 10th Street, Haidian District, Beijing Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |