CN112151051A - 音频数据的处理方法和装置及存储介质 - Google Patents
音频数据的处理方法和装置及存储介质 Download PDFInfo
- Publication number
- CN112151051A CN112151051A CN202010962015.1A CN202010962015A CN112151051A CN 112151051 A CN112151051 A CN 112151051A CN 202010962015 A CN202010962015 A CN 202010962015A CN 112151051 A CN112151051 A CN 112151051A
- Authority
- CN
- China
- Prior art keywords
- audio data
- audio
- target
- echo
- target audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title description 21
- 238000012545 processing Methods 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000015654 memory Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000002592 echocardiography Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 abstract description 10
- 238000003379 elimination reaction Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Abstract
本发明公开了一种音频数据的处理方法和装置及存储介质。其中，该方法包括：在N个音频采集设备中确定目标音频采集设备，并获取目标音频采集设备采集到的目标音频数据；在N个音频采集设备中确定第一音频采集设备，并获取第一音频采集设备采集到的第一音频数据；计算第一音频数据与目标音频数据的第一差异系数；对目标音频数据进行消除回声处理，得到处理后的目标音频数据；根据处理后的目标音频数据以及第一差异系数，处理第一音频数据，以获得消除回声后的第一音频数据。本发明解决了音频数据的处理效率较低的技术问题。
Description
技术领域
本发明涉及计算机领域，具体而言，涉及一种音频数据的处理方法和装置及存储介质。
背景技术
近年来，对语音信号处理技术的应用越发广泛，其中，语音信号处理技术是当今人机交互领域的一项关键技术，而回声消除可以实现对麦克风阵列采集到的喇叭播放的声音进行消除，得到较纯净的音频，对语音唤醒及语音识别具有极其重要的作用，是语音信号处理的关键技术，此外语音前端处理的速度也直接影响整个人机交互的响应速度与体验感。
目前常规单通道回声消除可通过自适应滤波方法实现，例如，单麦克风同时采集到近端语音和噪声以及远端信号由扬声器播放经由介质传播到达麦克风的回声。由于回声不仅是未知，因此无法通过远端信号与回声路径直接求取回声，但可以通过自适应滤波器来估计回声路径，将远端信号经过自适应滤波得到估计回声信号。当然这个估计可能不准确，通过计算近端信号与估计回声之差得到误差信号，然后将误差信号输出，同时反馈给自适应滤波器用以调整滤波器系数，从而得到更准确的回声估计。而对于多通道数据进行回声消除处理时，则是将多个通道拆分成单个通道分别进行单通道回声消除处理，但是单麦克风很难采集到方向性干扰的信息，因此后续算法无法去掉与方向有关的干扰，为此发展了多麦克风采集阵列。
但是对于多麦克风阵列采集到的多通道数据，需要对每个通道都进行回声消除，常规方法是针对每个麦克风通道分别依次进行回声消除处理，待所有通道处理完成后再将经过回声消除处理后的多通道数据传递给后续音频处理算法进一步处理。这样对于回声消除处理所消耗的时间就随着麦克风阵列的个数成倍增加了，甚至造成前一帧的数据还没处理完成后一帧的数据又传递过来了造成数据丢失等情况发生，进而导致了对音频数据的处理效率较低的问题。因此，存在音频数据的处理的效率较低的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种音频数据的处理方法和装置及存储介质，以至少解决音频数据的处理效率较低的技术问题。
根据本发明实施例的一个方面，提供了一种音频数据的处理方法，包括：在N个音频采集设备中确定目标音频采集设备，并获取上述目标音频采集设备采集到的目标音频数据，其中，上述N个音频采集设备用于采集同一音源设备产生的样本音频；在上述N个音频采集设备中确定第一音频采集设备，并获取上述第一音频采集设备采集到的第一音频数据；计算上述第一音频数据与上述目标音频数据的第一差异系数，其中，上述第一差异系数用于指示上述第一音频数据与上述目标音频数据的音频差异；对上述目标音频数据进行消除回声处理，得到处理后的上述目标音频数据；根据处理后的上述目标音频数据以及上述第一差异系数，处理上述第一音频数据，以获得消除回声后的上述第一音频数据。
根据本发明实施例的另一方面，还提供了一种音频数据的处理装置，包括：第一获取单元，用于在N个音频采集设备中确定目标音频采集设备，并获取上述目标音频采集设备采集到的目标音频数据，其中，上述N个音频采集设备用于采集同一音源设备产生的样本音频；
第二获取单元，用于在上述N个音频采集设备中确定第一音频采集设备，并获取上述第一音频采集设备采集到的第一音频数据；第一计算单元，用于计算上述第一音频数据与上述目标音频数据的第一差异系数，其中，上述第一差异系数用于指示上述第一音频数据与上述目标音频数据的音频差异；第一处理单元，用于对上述目标音频数据进行消除回声处理，得到处理后的上述目标音频数据；第二处理单元，用于根据处理后的上述目标音频数据以及上述第一差异系数，处理上述第一音频数据，以获得消除回声后的上述第一音频数据。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述音频数据的处理方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的音频数据的处理方法。
在本发明实施例中，在N个音频采集设备中确定目标音频采集设备，并获取上述目标音频采集设备采集到的目标音频数据，其中，上述N个音频采集设备用于采集同一音源设备产生的样本音频；在上述N个音频采集设备中确定第一音频采集设备，并获取上述第一音频采集设备采集到的第一音频数据；计算上述第一音频数据与上述目标音频数据的第一差异系数，其中，上述第一差异系数用于指示上述第一音频数据与上述目标音频数据的音频差异；对上述目标音频数据进行消除回声处理，得到处理后的上述目标音频数据；根据处理后的上述目标音频数据以及上述第一差异系数，处理上述第一音频数据，以获得消除回声后的上述第一音频数据，通过计算确定的目标音频采集设备所采集的目标音频数据与其他音频采集设备采集的其他音频数据的差异系数，并在对目标音频数据执行相对复杂的回音消除操作之后，只需对其他音频数据以结合差异系数以及回音消除后的目标音频数据的方式进行相对简易计算，即可获得回音消除后的其他音频数据，进而达到了快速处理音频采集设备采集的音频数据，以获得消除回声后的音频数据的目的，从而实现了提高音频数据的处理效率的效果，进而解决了音频数据的处理效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的音频数据的处理方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的音频数据的处理方法的流程图的示意图；
图3是根据本发明实施例的一种可选的音频数据的处理方法的示意图；
图4是根据本发明实施例的另一种可选的音频数据的处理方法的示意图；
图5是根据本发明实施例的另一种可选的音频数据的处理方法的示意图；
图6是根据本发明实施例的一种可选的音频数据的处理装置的示意图；
图7是根据本发明实施例的另一种可选的音频数据的处理装置的示意图；
图8是根据本发明实施例的另一种可选的音频数据的处理装置的示意图；
图9是根据本发明实施例的另一种可选的音频数据的处理装置的示意图；
图10是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可选地，作为一种可选的实施方式，如图1所示，音频数据的处理方法包括：
S102，在N个音频采集设备中确定目标音频采集设备，并获取目标音频采集设备采集到的目标音频数据，其中，N个音频采集设备用于采集同一音源设备产生的样本音频；
S104，在N个音频采集设备中确定第一音频采集设备，并获取第一音频采集设备采集到的第一音频数据；
S106，计算第一音频数据与目标音频数据的第一差异系数，其中，第一差异系数用于指示第一音频数据与目标音频数据的音频差异；
S108，对目标音频数据进行消除回声处理，得到处理后的目标音频数据；
S110，根据处理后的目标音频数据以及第一差异系数，处理第一音频数据，以获得消除回声后的第一音频数据。
可选的，音频数据的处理方法可以但不限于应用在麦克风阵列回声消除场景下，例如通过音频数据的处理方法对麦克风阵列采集到的多通道音频数据快速地进行回声消除，得到回声消除后的音频数据，从而消除扬声器播放音频对期望信号的干扰，解决了目前回声消除性能不佳造成的语音唤醒及语音识别率低等问题，以及解决目前多通道回声消除算法运算速度慢造成整体响应时间长等问题。可选的，回声可以但不限于为声音信号经过一系列反射后，所产生的回声信号，可选的，回声消除可以但不限用于消除上述回声信号造成的负面影响。可选的，在N个音频采集设备中可以但不限于随机确定第一音频采集设备。
需要说明的是，在N个音频采集设备中确定目标音频采集设备，并获取目标音频采集设备采集到的目标音频数据，其中，N个音频采集设备用于采集同一音源设备产生的样本音频；在N个音频采集设备中确定第一音频采集设备，并获取第一音频采集设备采集到的第一音频数据；可选的，N个音频采集设备可以但不限于基于预设规则进行排列，以组成用于采集同一音频的麦克风阵列的音频采集系统，其中，音频采集系统可以但不限于包括至少两个音频采集设备。可选的，N个音频采集设备当前采集到的音频数据可以但不限于为样本音频数据。
计算第一音频数据与目标音频数据的第一差异系数，其中，第一差异系数用于指示第一音频数据与目标音频数据的音频差异；对目标音频数据进行消除回声处理，得到处理后的目标音频数据；根据处理后的目标音频数据以及第一差异系数，处理第一音频数据，以获得消除回声后的第一音频数据。可选的，在麦克风阵列场景下，对于多麦克风阵列，每个麦克风都可以采集到相同喇叭声源播放的音频直接到达麦克风的音频以及喇叭播放经过其他路径(如墙壁反射等)的音频，但是喇叭直接传递到达麦克风的音频的差异才是造成不同麦克风采集到回声信号差异的主要因素，进而计算第一音频数据与目标音频数据的第一差异系数可以但不限相当于计算各麦克风采集回声音频差异的差异系数。
进一步举例说明，可选的例如图2所示，包括麦克风阵列(N个音频采集设备)202，以及麦克风阵列202中的目标麦克风(目标音频采集设备)204、第一麦克风(第一音频采集设备)206，以及为麦克风阵列202提供样本音频的音源设备208；
进一步，假设在足够安静的环境下，音源设备208播放一段样本音频(箭头所示)，进而麦克风阵列202采集接收到与样本音频相对应的回声信号(箭头所示)，其中，因目标麦克风304与第一麦克风206接收回声信号的回声通道存在明显区别，进而导致目标麦克风304与第一麦克风206接收到的回声信号也存在明显区别，从而通过计算差异系数的方式表达出上述区别，并利用在回声消除过程中借助差异系数加快消除效率的方式，以提高消除回声的消除效率；
此外，在麦克风阵列202中的目标麦克风304与第一麦克风206的位置固定的情况下，在计算得到用于表示目标麦克风304与第一麦克风206接收到的回声信号区别的差异系数后，在后续音源设备208播放其他样本音频数据的情况下，也可以利用已计算好的差异系数，快速执行回声消除操作，进而大大地提高了对音频数据的处理效率。
通过本申请提供的实施例，在N个音频采集设备中确定目标音频采集设备，并获取目标音频采集设备采集到的目标音频数据，其中，N个音频采集设备用于采集同一音源设备产生的样本音频；在N个音频采集设备中确定第一音频采集设备，并获取第一音频采集设备采集到的第一音频数据；计算第一音频数据与目标音频数据的第一差异系数，其中，第一差异系数用于指示第一音频数据与目标音频数据的音频差异；对目标音频数据进行消除回声处理，得到处理后的目标音频数据；根据处理后的目标音频数据以及第一差异系数，处理第一音频数据，以获得消除回声后的第一音频数据，通过计算确定的目标音频采集设备所采集的目标音频数据与其他音频采集设备采集的其他音频数据的差异系数，并在对目标音频数据执行相对复杂的回音消除操作之后，只需对其他音频数据以结合差异系数以及回音消除后的目标音频数据的方式进行相对简易计算，即可获得回音消除后的其他音频数据，进而达到了快速处理音频采集设备采集的音频数据，以获得消除回声后的音频数据的目的，从而实现了提高音频数据的处理效率的效果。
作为一种可选的方案，处理目标音频数据，以获取消除回声后的目标音频数据，包括：
根据目标音频采集设备采集到的目标音频数据的频域信息、样本音频的频域信息，以及与目标音频采集设备对应的目标回声路径，对目标音频数据进行消除回声处理，得到处理后的目标音频数据，其中，目标回声路径用于表示样本音频传播至目标音频采集设备的传播路径。
需要说明的是，根据目标音频采集设备采集到的目标音频数据的频域信息、样本音频的频域信息，以及与目标音频采集设备对应的目标回声路径，对目标音频数据进行消除回声处理，得到处理后的目标音频数据，其中，目标回声路径用于表示样本音频传播至目标音频采集设备的传播路径。可选的，可以但不限于通过样本音频的频域信息以及与目标音频采集设备对应的目标回声路径计算获取待消除数据，其中，待消除数据可以但不限用于表示回声造成的负面影响。可选的，可以但不限于通过自适应滤波技术实现对目标音频数据执行回声消除的处理。
进一步举例说明，可选的例如，假设目标音频采集设备采集到的目标音频数据(回声信号)的频域表达式为D0(f)，音源设备播放的样本音频(回声参考信号)的频域表达式为X(f)，目标音频采集设备对应的回声路径为H0(f)，消除回声后的目标音频数据(纯净信号)为Y0(f)，根据回声消除的原理，对目标音频数据执行回声消除处理则如下述公式(1)所示：
D0(f)-X(f)·H0(f)＝Y0(f) (1)；
在获取到目标音频数据(回声信号)的频域表达式、音源设备播放的样本音频(回声参考信号)的频域表达式，以及音源设备播放的样本音频(回声参考信号)的频域表达式为X(f)的情况下，即可基于上述公式(1)，计算获得消除回声后的目标音频数据(纯净信号)。
通过本申请提供的实施例，根据目标音频采集设备采集到的目标音频数据的频域信息、样本音频的频域信息，以及与目标音频采集设备对应的目标回声路径，对目标音频数据进行消除回声处理，得到处理后的目标音频数据，其中，目标回声路径用于表示样本音频传播至目标音频采集设备的传播路径，达到了计算获得消除回声后的目标音频数据的目的，实现了降低音频数据的回声负面影响的效果。
作为一种可选的方案，根据消除回声后的目标音频数据以及第一差异系数，处理第一音频数据，以获得消除回声后的第一音频数据，包括：
S1，根据第一差异系数以及目标回声路径，获取与第一音频采集设备对应的第一回声路径；
S2，根据第一音频采集设备采集的第一音频数据的频域信息以及第一回声路径，获取消除回声后的第一音频数据。
需要说明的是，根据第一差异系数以及目标回声路径，获取与第一音频采集设备对应的第一回声路径；根据第一音频采集设备采集的第一音频数据的频域信息以及第一回声路径，获取消除回声后的第一音频数据。
进一步举例说明，由于麦克风阵列场景下各个麦克风采集到信号的差异主要是由于回声路径的差异造成，因此基于传递函数的思想，可选的例如公式(2)所示：
Hn(f)＝H0(f)·An (2)；
其中，Hn(f)用于表示N个音频采集设备中除目标音频采集设备外其他音频采集设备对应的回声路径，An用于表示根据计算获得的其他音频采集设备的第n差异系数，其中，n为大于等于1的正整数。
进一步结合上述公式(2)，可选的例如以第一音频采集设备举例说明，假设第一音频采集设备采集到的第一音频数据(回声信号)的频域表达式为D1(f)，音源设备播放的样本音频(回声参考信号)的频域表达式为X(f)，第一音频采集设备对应的回声路径为H1(f)，消除回声后的目标音频数据(纯净信号)为Y1(f)，则根据回声消除的原理，对目标音频数据执行回声消除处理可选的如下述公式(3)所示：
D1(f)-X(f)·H1(f)＝Y1(f) (3)；
如上述公式(3)所示，在原有方案中，若想获得消除回声后的第一音频数据(纯净信号)，则需分别获得第一音频数据(回声信号)的频域表达式、音源设备播放的样本音频(回声参考信号)的频域表达式，以及音源设备播放的样本音频(回声参考信号)的频域表达式为X(f)的情况下，并通过上述公式(3)计算获得，过程较为繁琐复杂，计算所消耗的时间自然也多一些；而若基于上述公式(2)所示的计算逻辑，利用结合上述公式(1)、公式(2)、公式(3)的方式，可以减少获得消除回声后的第一音频数据(纯净信号)的计算步骤，加快获得消除回声后的第一音频数据(纯净信号)的速度，提高获得消除回声后的第一音频数据(纯净信号)的计算效率；
具体的，在结合上述公式(1)、公式(2)、公式(3)的情况下，整理可参考下述公式(4)所示：
Y1(f)＝D1(f)-(D0(f)-Y0(f))·A1 (4)；
其中，A1用于表示第一音频采集设备的第一差异系数；
进一步，根据上述公式(4)即可在获得第一音频数据(回声信号)的频域表达式的情况下，快速计算获得消除回声后的第一音频数据(纯净信号)。
此外，对于某种智能设备，麦克风和喇叭的结构位置是固定的，因此回声路径主要影响因素就是固定的，对应各通道的差异系数不会随播放内容变化，这也使得差异系数可预先进行计算得到。
通过本申请提供的实施例，根据第一差异系数以及目标回声路径，获取与第一音频采集设备对应的第一回声路径；根据第一音频采集设备采集的第一音频数据的频域信息以及第一回声路径，获取消除回声后的第一音频数据，进而达到了加快获得消除回声后的第一音频数据的速度的目的，从而实现了提高获得消除回声后的第一音频数据的计算效率的效果。
作为一种可选的方案，计算第一音频数据与目标音频数据的第一差异系数，包括以下至少之一：
S1，计算第一音频数据与目标音频数据的音频时域差异，以获取时域差异系数，其中，第一差异系数包括时域差异系数；
S2，计算第一音频数据与目标音频数据的音频频域差异，以获取频域差异系数，其中，第一差异系数包括频域差异系数。
可选的，时域可以但不限用于描述数学函数或物理信号对时间的关系，例如一个信号的时域波形可以但不限于表达信号随着时间的变化。可选的，频域可以但不限用于描述信号在频率方面特性时用到的一种坐标系，还可以但不限于包括每个正弦曲线的相移的信息，以便能够重新组合频率分量以恢复原始的时间信号。
需要说明的是，计算第一音频数据与目标音频数据的音频时域差异，以获取时域差异系数，其中，第一差异系数包括时域差异系数；计算第一音频数据与目标音频数据的音频频域差异，以获取频域差异系数，其中，第一差异系数包括频域差异系数。
进一步举例说明，可选的例如可通过第一音频数据的时域(如时间域信号自相关与互相关)和/或频域(聚类方法等)计算与目标音频数据在时间、相位、幅度等方面的差异比例系数，作为第一差异系数。
进一步举例说明，可选的例如图3所示的麦克风阵列场景，通过麦克风阵列中多个麦克风采集样本音频，具体步骤如下：
步骤S302，采集回声信号，具体的，在安静环境下，让智能设备的喇叭播放一段音频，麦克风阵列采集回声信号；
步骤S304-1，确定回声标准通道，具体的，任意选定其中一个麦克风对应通道为标准通道，其余麦克风对应通道为待计算差异系数的待定通道；
步骤S304-2，确定待定通道，具体的，在任意选定其中一个麦克风对应通道为标准通道后，确定其余麦克风对应通道为待计算差异系数的待定通道；
步骤S306-1，获取回声标准通道上采集的时域信号S0；
步骤S306-2，获取待定通道上采集的时域信号Sn；
步骤S308，通过相对标准通道差异系数计算，以获得差异系数，具体的，其他待定通道可通过时域(如时间域信号自相关与互相关)或频域(聚类方法等)计算与标准通道的信号在时间、相位、幅度等方面的差异比例系数，作为与标准麦克风的差异系数。
通过本申请提供的实施例，计算第一音频数据与目标音频数据的音频时域差异，以获取时域差异系数，其中，第一差异系数包括时域差异系数；计算第一音频数据与目标音频数据的音频频域差异，以获取频域差异系数，其中，第一差异系数包括频域差异系数，达到了利用时域和/或频域获取不同类型的差异系数的目的，实现了提高差异系数的获取灵活性的效果。
作为一种可选的方案，在获取目标音频采集设备采集到的目标音频数据之后，包括：
S1，在N个音频采集设备中确定第二音频采集设备，并获取第二音频采集设备采集到的第二音频数据；
S2，计算第二音频数据与目标音频数据的音频差异，以获取第二差异系数；
S3，根据处理后的目标音频数据以及第二差异系数，处理第二音频数据，以获得消除回声后的第二音频数据。
需要说明的是，在N个音频采集设备中确定第二音频采集设备，并获取第二音频采集设备采集到的第二音频数据；计算第二音频数据与目标音频数据的音频差异，以获取第二差异系数；根据处理后的目标音频数据以及第二差异系数，处理第二音频数据，以获得消除回声后的第二音频数据。
可选的，在本实施例中，例如在结合上述公式(1)、公式(2)、公式(3)的情况下，整理可参考下述公式(5)所示：
Y2(f)＝D1(f)-(D0(f)-Y0(f))·A2 (4)；
其中，A2用于表示第二音频采集设备的第二差异系数；
进一步，根据上述公式(5)即可在获得第二音频数据(回声信号)的频域表达式的情况下，快速计算获得消除回声后的第二音频数据(纯净信号)。
进一步举例说明，可选的例如图4所示，包括麦克风阵列(N个音频采集设备)402，以及麦克风阵列402中的目标麦克风(目标音频采集设备)404、第一麦克风(第一音频采集设备)406、第二麦克风(第二音频采集设备)408，以及为麦克风阵列402提供样本音频的音源设备410；
进一步，在对目标麦克风404采用常规方法进行回声消除处理后，对其他麦克风，例如第一麦克风(第一音频采集设备)406、第二麦克风(第二音频采集设备)408，利用结合差异系数的方式，减小整个回声消除的计算量，提高回声消除处理速度，从而缩短响应时间，以最快的速度将获取的音频进行回声消除处理。
通过本申请提供的实施例，在N个音频采集设备中确定第二音频采集设备，并获取第二音频采集设备采集到的第二音频数据；计算第二音频数据与目标音频数据的音频差异，以获取第二差异系数；根据处理后的目标音频数据以及第二差异系数，处理第二音频数据，以获得消除回声后的第二音频数据，利用结合差异系数的方式，达到了减小整个回声消除的计算量的目的，实现了提高回声消除处理速度的效果。
作为一种可选的方案，在根据处理后的目标音频数据以及第二差异系数，处理第二音频数据，以获得消除回声后的第二音频数据之后，包括：
获取处理后的目标音频数据、处理后的第一音频数据，以及处理后的第二音频数据，并进行音频处理，以获得消除回声后的样本音频数据。
需要说明的是，获取处理后的目标音频数据、处理后的第一音频数据，以及处理后的第二音频数据，并进行音频处理，以获得消除回声后的样本音频数据。可选的，音频处理可以但不限于包括噪声抑制处理、音频数据增强处理、音频数据调整处理、音频数据合并处理等，其中，噪声抑制处理可以但不限用于降低残留噪声对主观的听觉影响；音频数据增强处理可以但不限包括自适应增益控制处理，用于增强远距离拾音的音量，以保证远距离声源的清晰度；音频数据调整处理可以但不限于对多通道的音频数据进行调整，以增加音频之间的相关性，进而解决因多音频数据独立处理过程中造成的声像偏移问题；音频数据合并处理可以但不限用于合并多通道的音频数据，以获得消除回声后的音频数据。
进一步举例说明，可选的例如图5所示的麦克风阵列场景，通过麦克风阵列中多个麦克风采集样本音频，具体步骤如下所示：
步骤S502，采集回声信号，具体的，在安静环境下，让智能设备的喇叭播放一段音频，麦克风阵列采集回声信号；
步骤S504-1，确定回声标准通道，具体的，任意选定其中一个麦克风对应通道为标准通道，其余麦克风对应通道为待计算差异系数的待定通道；
步骤S504-2，确定待定通道，具体的，在任意选定其中一个麦克风对应通道为标准通道后，确定其余麦克风对应通道为待计算差异系数的待定通道；
步骤S506，麦克风阵列各通道差异系数计算，具体的，。通过预先采用智能设备放音，由多麦克风阵列拾音，并进行处理计算得到各通道的差异系数；
步骤S508，回声标准通道的回声消除处理，具体的，对选定的回声标准通道进行常规的单通道回声消除处理得到对应处理前后的数据；
步骤S510，待定通道快速回声消除处理，具体的，对于待定通道通过差异系数，利用快速回声消除的方式处理得到待定通道处理的数据；
步骤S512，处理后音频输出，具体的，将多通道处理完的音频数据输出给后续处理方法处理。
通过本申请提供的实施例，获取处理后的目标音频数据、处理后的第一音频数据，以及处理后的第二音频数据，并进行音频处理，以获得消除回声后的样本音频数据，达到了加快通道音频数据的处理速度的目的，实现了提高整体音频数据的处理效率的效果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述音频数据的处理方法的音频数据的处理装置。如图6所示，该装置包括：
第一获取单元602，用于在N个音频采集设备中确定目标音频采集设备，并获取目标音频采集设备采集到的目标音频数据，其中，N个音频采集设备用于采集同一音源设备产生的样本音频；
第二获取单元604，用于在N个音频采集设备中确定第一音频采集设备，并获取第一音频采集设备采集到的第一音频数据；
第一计算单元606，用于计算第一音频数据与目标音频数据的第一差异系数，其中，第一差异系数用于指示第一音频数据与目标音频数据的音频差异；
第一处理单元608，用于对目标音频数据进行消除回声处理，得到处理后的目标音频数据；
第二处理单元610，用于根据处理后的目标音频数据以及第一差异系数，处理第一音频数据，以获得消除回声后的第一音频数据。
可选的，音频数据的处理装置可以但不限于应用在麦克风阵列回声消除场景下，例如通过音频数据的处理装置对麦克风阵列采集到的多通道音频数据快速地进行回声消除，得到回声消除后的音频数据，从而消除扬声器播放音频对期望信号的干扰，解决了目前回声消除性能不佳造成的语音唤醒及语音识别率低等问题，以及解决目前多通道回声消除算法运算速度慢造成整体响应时间长等问题。可选的，回声可以但不限于为声音信号经过一系列反射后，所产生的回声信号，可选的，回声消除可以但不限用于消除上述回声信号造成的负面影响。可选的，在N个音频采集设备中可以但不限于随机确定第一音频采集设备。可选的，N个音频采集设备当前采集到的音频数据可以但不限于为样本音频数据。
需要说明的是，在N个音频采集设备中确定目标音频采集设备，并获取目标音频采集设备采集到的目标音频数据，其中，N个音频采集设备用于采集同一音源设备产生的样本音频；在N个音频采集设备中确定第一音频采集设备，并获取第一音频采集设备采集到的第一音频数据；可选的，N个音频采集设备可以但不限于基于预设规则进行排列，以组成用于采集同一音频的麦克风阵列的音频采集系统，其中，音频采集系统可以但不限于包括至少两个音频采集设备。
计算第一音频数据与目标音频数据的第一差异系数，其中，第一差异系数用于指示第一音频数据与目标音频数据的音频差异；对目标音频数据进行消除回声处理，得到处理后的目标音频数据；根据处理后的目标音频数据以及第一差异系数，处理第一音频数据，以获得消除回声后的第一音频数据。可选的，在麦克风阵列场景下，对于多麦克风阵列，每个麦克风都可以采集到相同喇叭声源播放的音频直接到达麦克风的音频以及喇叭播放经过其他路径(如墙壁反射等)的音频，但是喇叭直接传递到达麦克风的音频的差异才是造成不同麦克风采集到回声信号差异的主要因素，进而计算第一音频数据与目标音频数据的第一差异系数可以但不限相当于计算各麦克风采集回声音频差异的差异系数。
具体实施例可以参考上述音频数据的处理方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，如图7所示，第一处理单元608，包括：
处理模块702，用于根据目标音频采集设备采集到的目标音频数据的频域信息、样本音频的频域信息，以及与目标音频采集设备对应的目标回声路径，对目标音频数据进行消除回声处理，得到处理后的目标音频数据，其中，目标回声路径用于表示样本音频传播至目标音频采集设备的传播路径。
具体实施例可以参考上述音频数据的处理方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，如图8所示，处理模块702，包括：
第一获取子模块802，用于根据第一差异系数以及目标回声路径，获取与第一音频采集设备对应的第一回声路径；
第二获取子模块804，用于根据第一音频采集设备采集的第一音频数据的频域信息以及第一回声路径，获取消除回声后的第一音频数据。
具体实施例可以参考上述音频数据的处理方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，第一计算单元606，包括以下至少之一：
第一计算模块，用于计算第一音频数据与目标音频数据的音频时域差异，以获取时域差异系数，其中，第一差异系数包括时域差异系数；
第二计算模块，用于计算第一音频数据与目标音频数据的音频频域差异，以获取频域差异系数，其中，第一差异系数包括频域差异系数。
具体实施例可以参考上述音频数据的处理方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，如图9所示，包括：
第三获取单元902，用于在获取目标音频采集设备采集到的目标音频数据之后，在N个音频采集设备中确定第二音频采集设备，并获取第二音频采集设备采集到的第二音频数据；
第二计算单元904，用于在获取目标音频采集设备采集到的目标音频数据之后，计算第二音频数据与目标音频数据的音频差异，以获取第二差异系数；
第三处理单元906，用于在获取目标音频采集设备采集到的目标音频数据之后，根据处理后的目标音频数据以及第二差异系数，处理第二音频数据，以获得消除回声后的第二音频数据。
具体实施例可以参考上述音频数据的处理方法中所示示例，本示例中在此不再赘述。
作为一种可选的方案，包括：
第四处理单元，用于在根据处理后的目标音频数据以及第二差异系数，处理第二音频数据，以获得消除回声后的第二音频数据之后，获取处理后的目标音频数据、处理后的第一音频数据，以及处理后的第二音频数据，并进行音频处理，以获得消除回声后的样本音频数据。
具体实施例可以参考上述音频数据的处理方法中所示示例，本示例中在此不再赘述。
根据本发明实施例的又一个方面，还提供了一种用于实施上述音频数据的处理方法的电子装置，如图10所示，该电子装置包括存储器1002和处理器1004，该存储器1002中存储有计算机程序，该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在N个音频采集设备中确定目标音频采集设备，并获取目标音频采集设备采集到的目标音频数据，其中，N个音频采集设备用于采集同一音源设备产生的样本音频；
S2，在N个音频采集设备中确定第一音频采集设备，并获取第一音频采集设备采集到的第一音频数据；
S3，计算第一音频数据与目标音频数据的第一差异系数，其中，第一差异系数用于指示第一音频数据与目标音频数据的音频差异；
S4，对目标音频数据进行消除回声处理，得到处理后的目标音频数据；
S5，根据处理后的目标音频数据以及第一差异系数，处理第一音频数据，以获得消除回声后的第一音频数据。
可选地，本领域普通技术人员可以理解，图10所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等)，或者具有与图10所示不同的配置。
其中，存储器1002可用于存储软件程序以及模块，如本发明实施例中的音频数据的处理方法和装置对应的程序指令/模块，处理器1004通过运行存储在存储器1002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的音频数据的处理方法。存储器1002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1002可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1002具体可以但不限于用于存储样本音频数据、第一音频数据、第一差异系数以及目标音频数据等信息。作为一种示例，如图10所示，上述存储器1002中可以但不限于包括上述音频数据的处理装置中的第一获取单元602、第二获取单元604、第一计算单元606、第一处理单元608及第二处理单元610。此外，还可以包括但不限于上述音频数据的处理装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1006为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子装置还包括：显示器1008，用于显示上述样本音频数据、第一音频数据、第一差异系数以及目标音频数据等信息；和连接总线1010，用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在N个音频采集设备中确定目标音频采集设备，并获取目标音频采集设备采集到的目标音频数据，其中，N个音频采集设备用于采集同一音源设备产生的样本音频；
S2，在N个音频采集设备中确定第一音频采集设备，并获取第一音频采集设备采集到的第一音频数据；
S3，计算第一音频数据与目标音频数据的第一差异系数，其中，第一差异系数用于指示第一音频数据与目标音频数据的音频差异；
S4，对目标音频数据进行消除回声处理，得到处理后的目标音频数据；
S5，根据处理后的目标音频数据以及第一差异系数，处理第一音频数据，以获得消除回声后的第一音频数据。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种音频数据的处理方法，其特征在于，包括：
在N个音频采集设备中确定目标音频采集设备，并获取所述目标音频采集设备采集到的目标音频数据，其中，所述N个音频采集设备用于采集同一音源设备产生的样本音频；
在所述N个音频采集设备中确定第一音频采集设备，并获取所述第一音频采集设备采集到的第一音频数据；
计算所述第一音频数据与所述目标音频数据的第一差异系数，其中，所述第一差异系数用于指示所述第一音频数据与所述目标音频数据的音频差异；
对所述目标音频数据进行消除回声处理，得到处理后的所述目标音频数据；
根据处理后的所述目标音频数据以及所述第一差异系数，处理所述第一音频数据，以获得消除回声后的所述第一音频数据。
2.根据权利要求1所述的方法，其特征在于，所述处理所述目标音频数据，以获取消除回声后的所述目标音频数据，包括：
根据所述目标音频采集设备采集到的所述目标音频数据的频域信息、所述样本音频的频域信息，以及与所述目标音频采集设备对应的目标回声路径，对所述目标音频数据进行消除回声处理，得到处理后的所述目标音频数据，其中，所述目标回声路径用于表示所述样本音频传播至所述目标音频采集设备的传播路径。
3.根据权利要求2所述的方法，其特征在于，所述根据消除回声后的所述目标音频数据以及所述第一差异系数，处理所述第一音频数据，以获得消除回声后的所述第一音频数据，包括：
根据所述第一差异系数以及所述目标回声路径，获取与所述第一音频采集设备对应的第一回声路径；
根据所述第一音频采集设备采集的所述第一音频数据的频域信息以及所述第一回声路径，获取消除回声后的所述第一音频数据。
4.根据权利要求1所述的方法，其特征在于，所述计算所述第一音频数据与所述目标音频数据的第一差异系数，包括以下至少之一：
计算所述第一音频数据与所述目标音频数据的音频时域差异，以获取时域差异系数，其中，所述第一差异系数包括所述时域差异系数；
计算所述第一音频数据与所述目标音频数据的音频频域差异，以获取频域差异系数，其中，所述第一差异系数包括所述频域差异系数。
5.根据权利要求1所述的方法，其特征在于，在所述获取所述目标音频采集设备采集到的目标音频数据之后，包括：
在所述N个音频采集设备中确定第二音频采集设备，并获取所述第二音频采集设备采集到的第二音频数据；
计算所述第二音频数据与所述目标音频数据的音频差异，以获取第二差异系数；
根据处理后的所述目标音频数据以及所述第二差异系数，处理所述第二音频数据，以获得消除回声后的所述第二音频数据。
6.根据权利要求5所述的方法，其特征在于，在所述根据处理后的所述目标音频数据以及所述第二差异系数，处理所述第二音频数据，以获得消除回声后的所述第二音频数据之后，包括：
获取处理后的所述目标音频数据、处理后的所述第一音频数据，以及处理后的所述第二音频数据，并进行音频处理，以获得消除回声后的样本音频数据。
7.一种音频数据的处理装置，其特征在于，包括：
第一获取单元，用于在N个音频采集设备中确定目标音频采集设备，并获取所述目标音频采集设备采集到的目标音频数据，其中，所述N个音频采集设备用于采集同一音源设备产生的样本音频；
第二获取单元，用于在所述N个音频采集设备中确定第一音频采集设备，并获取所述第一音频采集设备采集到的第一音频数据；
第一计算单元，用于计算所述第一音频数据与所述目标音频数据的第一差异系数，其中，所述第一差异系数用于指示所述第一音频数据与所述目标音频数据的音频差异；
第一处理单元，用于对所述目标音频数据进行消除回声处理，得到处理后的所述目标音频数据；
第二处理单元，用于根据处理后的所述目标音频数据以及所述第一差异系数，处理所述第一音频数据，以获得消除回声后的所述第一音频数据。
8.根据权利要求7所述的装置，其特征在于，所述第一处理单元，包括：
处理模块，用于根据所述目标音频采集设备采集到的所述目标音频数据的频域信息、所述样本音频的频域信息，以及与所述目标音频采集设备对应的目标回声路径，对所述目标音频数据进行消除回声处理，得到处理后的所述目标音频数据，其中，所述目标回声路径用于表示所述样本音频传播至所述目标音频采集设备的传播路径。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962015.1A CN112151051B (zh) | 2020-09-14 | 2020-09-14 | 音频数据的处理方法和装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962015.1A CN112151051B (zh) | 2020-09-14 | 2020-09-14 | 音频数据的处理方法和装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112151051A true CN112151051A (zh) | 2020-12-29 |
| CN112151051B CN112151051B (zh) | 2023-12-19 |
Family
ID=73893485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010962015.1A Active CN112151051B (zh) | 2020-09-14 | 2020-09-14 | 音频数据的处理方法和装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112151051B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112735487A (zh) * | 2021-03-29 | 2021-04-30 | 智道网联科技(北京)有限公司 | 语音数据的处理方法、装置及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01215130A (ja) * | 1988-02-23 | 1989-08-29 | Toshiba Corp | エコーキャンセラー装置 |
| JP2007228069A (ja) * | 2006-02-21 | 2007-09-06 | Yamaha Corp | 収音放音一体型装置 |
| US20080298602A1 (en) * | 2007-05-22 | 2008-12-04 | Tobias Wolff | System for processing microphone signals to provide an output signal with reduced interference |
| CN102572369A (zh) * | 2010-12-17 | 2012-07-11 | 华为终端有限公司 | 语音音量提示的方法、终端及视频通信系统 |
| US20140334620A1 (en) * | 2013-05-13 | 2014-11-13 | Christelle Yemdji | Method for processing an audio signal and audio receiving circuit |
| US20150063580A1 (en) * | 2013-08-28 | 2015-03-05 | Mstar Semiconductor, Inc. | Controller for audio device and associated operation method |
| US9997151B1 (en) * | 2016-01-20 | 2018-06-12 | Amazon Technologies, Inc. | Multichannel acoustic echo cancellation for wireless applications |
| WO2018132465A1 (en) * | 2017-01-13 | 2018-07-19 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
| WO2018158558A1 (en) * | 2017-03-03 | 2018-09-07 | Asdsp Ltd | Device for capturing and outputting audio |
| CN110491403A (zh) * | 2018-11-30 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 音频信号的处理方法、装置、介质和音频交互设备 |
| CN110602327A (zh) * | 2019-09-24 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 语音通话方法、装置、电子设备及计算机可读存储介质 |
-
2020
- 2020-09-14 CN CN202010962015.1A patent/CN112151051B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01215130A (ja) * | 1988-02-23 | 1989-08-29 | Toshiba Corp | エコーキャンセラー装置 |
| JP2007228069A (ja) * | 2006-02-21 | 2007-09-06 | Yamaha Corp | 収音放音一体型装置 |
| US20080298602A1 (en) * | 2007-05-22 | 2008-12-04 | Tobias Wolff | System for processing microphone signals to provide an output signal with reduced interference |
| CN102572369A (zh) * | 2010-12-17 | 2012-07-11 | 华为终端有限公司 | 语音音量提示的方法、终端及视频通信系统 |
| US20140334620A1 (en) * | 2013-05-13 | 2014-11-13 | Christelle Yemdji | Method for processing an audio signal and audio receiving circuit |
| US20150063580A1 (en) * | 2013-08-28 | 2015-03-05 | Mstar Semiconductor, Inc. | Controller for audio device and associated operation method |
| US9997151B1 (en) * | 2016-01-20 | 2018-06-12 | Amazon Technologies, Inc. | Multichannel acoustic echo cancellation for wireless applications |
| WO2018132465A1 (en) * | 2017-01-13 | 2018-07-19 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
| WO2018158558A1 (en) * | 2017-03-03 | 2018-09-07 | Asdsp Ltd | Device for capturing and outputting audio |
| CN110491403A (zh) * | 2018-11-30 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 音频信号的处理方法、装置、介质和音频交互设备 |
| CN110602327A (zh) * | 2019-09-24 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 语音通话方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| MARÍA LUIS VALERO 等: "Low-Complexity Multi-Microphone Acoustic Echo Control in the Short-Time Fourier Transform Domain", 《IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING》 * |
| 张伟 等: "智能音箱中的一种快速回声消除算法", 《计算机应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112735487A (zh) * | 2021-03-29 | 2021-04-30 | 智道网联科技(北京)有限公司 | 语音数据的处理方法、装置及电子设备 |
| CN112735487B (zh) * | 2021-03-29 | 2021-07-09 | 智道网联科技(北京)有限公司 | 语音数据的处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112151051B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109727604B (zh) | 用于语音识别前端的频域回声消除方法及计算机储存介质 | |
| US8842851B2 (en) | Audio source localization system and method | |
| CN102204276B (zh) | 声音发射和采集装置以及声音发射和采集方法 | |
| CN111885275B (zh) | 语音信号的回声消除方法、装置、存储介质以及电子装置 | |
| CN111768796B (zh) | 一种声学回波消除与去混响方法及装置 | |
| CN111951819A (zh) | 回声消除方法、装置及存储介质 | |
| JP2014116931A (ja) | 信号処理装置および信号処理システム | |
| CN110289009B (zh) | 声音信号的处理方法、装置和交互智能设备 | |
| CN110769352B (zh) | 一种信号处理方法、装置以及计算机存储介质 | |
| WO2020097828A1 (zh) | 回声消除方法、延时估计方法、装置、存储介质及设备 | |
| KR20160076059A (ko) | 디스플레이장치 및 그 반향 제거방법 | |
| CN111863015A (zh) | 一种音频处理方法、装置、电子设备和可读存储介质 | |
| CN109727605B (zh) | 处理声音信号的方法及系统 | |
| CN110956975A (zh) | 回声消除方法及装置 | |
| CN112151051B (zh) | 音频数据的处理方法和装置及存储介质 | |
| CN112997249B (zh) | 语音处理方法、装置、存储介质及电子设备 | |
| CN111356058A (zh) | 一种回声消除方法、装置及智能音箱 | |
| CN113205824B (zh) | 声音信号处理方法、装置、存储介质、芯片及相关设备 | |
| CN115620737A (zh) | 语音信号处理装置、方法、电子设备和扩音系统 | |
| CN113645546B (zh) | 语音信号处理方法和系统及音视频通信设备 | |
| JP2015070291A (ja) | 集音・放音装置、音源分離ユニット及び音源分離プログラム | |
| CN113542980B (zh) | 一种抑制扬声器串扰的方法 | |
| JP5022459B2 (ja) | 収音装置、収音方法及び収音プログラム | |
| JP6398470B2 (ja) | ステレオエコー抑圧装置、エコー抑圧装置、ステレオエコー抑圧方法及びステレオエコー抑圧プログラム | |
| JP2014164191A (ja) | 信号処理装置、方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |