CN109493878B - 一种用于回声消除的滤波方法及装置、设备、介质 - Google Patents

一种用于回声消除的滤波方法及装置、设备、介质 Download PDF

Info

Publication number
CN109493878B
CN109493878B CN201811540803.0A CN201811540803A CN109493878B CN 109493878 B CN109493878 B CN 109493878B CN 201811540803 A CN201811540803 A CN 201811540803A CN 109493878 B CN109493878 B CN 109493878B
Authority
CN
China
Prior art keywords
audio data
round
end audio
echo cancellation
far
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811540803.0A
Other languages
English (en)
Other versions
CN109493878A (zh
Inventor
郭晖
张楠赓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canaan Bright Sight Co Ltd
Original Assignee
Canaan Bright Sight Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canaan Bright Sight Co Ltd filed Critical Canaan Bright Sight Co Ltd
Priority to CN201811540803.0A priority Critical patent/CN109493878B/zh
Publication of CN109493878A publication Critical patent/CN109493878A/zh
Application granted granted Critical
Publication of CN109493878B publication Critical patent/CN109493878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本申请公开了一种用于回声消除的滤波方法及装置、设备、介质。该方法多轮地迭代执行，该方法至少包括：获取本轮的远端音频数据和近端音频数据；根据本轮的自适应回声消除参数，估计对本轮的远端音频数据的响应；根据本轮的近端音频数据和所述响应，确定对本轮的近端音频数据的滤波结果；其中，本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的。本申请通过自适应滤波，能够比较有效地消除远端与近端的双方或者多方进行语音通讯时产生的回声，从而有助于保证语音通讯质量。

Description

一种用于回声消除的滤波方法及装置、设备、介质
技术领域
本申请涉及语音通讯技术领域，尤其涉及一种用于回声消除的滤波方法及装置、设备、介质。
背景技术
语音通讯是一种较为常见的用户间交互场景，比如，两个用户之间通过手机通话、多个用户之间通过电话会议终端进行远程会议。在这类语音通讯场景下，对于任何一端的用户而言，往往既需要自己向对端发出语音，也需要接听对端向自己发出的语音，任意用户本地这端可以称为近端，该用户的对端可以称为远端。
用户一般通过手机或者电话会议终端等设备提供的麦克风，向对端发出语音，通过这些设备提供的听筒或者音箱，接听对方向自己发出的语音。但是，听筒或者音箱放音时，会导致回声产生，即一端说话后，通过对端的听筒或者音箱放音，然后又被对端的麦克风采集回传产生回声。如果不对回声进行处理，将会影响语音通讯质量，严重时可能形成震荡，产生啸叫。
在现有技术中，往往对语音信号进行延迟求差以消除回声。
但是，麦克风、听筒或者音箱的失真，以及房间混淆往往导致现有方案的回声消除效果较差。
发明内容
本申请实施例提供一种用于回声消除的滤波方法及装置、设备、介质，用以解决现有技术中的如下技术问题：麦克风、听筒或者音箱的失真，以及房间混淆往往导致现有方案的回声消除效果较差。
本申请实施例采用下述技术方案：
一种用于回声消除的滤波方法，所述方法多轮地迭代执行，所述方法包括：
获取本轮的远端音频数据和近端音频数据；
根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的。
可选地，所述方法还包括：
根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数；
其中，所述其他相关数据包括以下至少一种：所述滤波结果、所述响应。
可选地，所述自适应回声消除参数包括针对其对应轮的远端音频数据的幅值的比例系数。
可选地，所述根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数，包括：
根据所述滤波结果、所述本轮的远端音频数据的能量，以及所述响应，生成参数更新项或者参数更新系数；
利用所述参数更新项或者参数更新系数，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数。
可选地，所述根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应，包括：
按照如下公式，估计对所述本轮的远端音频数据的响应：
Figure BDA0001908078340000031
其中，
Figure BDA0001908078340000032
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素，a为包含k个元素的向量，表示所述本轮的自适应回声消除参数，ai为a的第i个元素。
可选地，所述本轮的远端音频数据的能量按照公式
Figure BDA0001908078340000033
计算得到；
其中，P表示所述本轮的远端音频数据的能量，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素。
可选地，所述参数更新项包括
Figure BDA0001908078340000034
所述利用所述参数更新项，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数，包括：
按照如下公式更新得到下轮的自适应回声消除参数：
Figure BDA0001908078340000035
其中，N表示所述本轮的近端音频数据，
Figure BDA0001908078340000038
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述远端音频数据，Fi为F的第i个元素，a、a'为包含k个元素的向量，分别表示本轮和下轮的自适应回声消除参数，ai为a的第i个元素，ai'为a'的第i个元素。
可选地，所述滤波结果包括
Figure BDA0001908078340000036
其中，N表示所述本轮的近端音频数据，
Figure BDA0001908078340000037
表示所述响应。
可选地，所述远端音频数据是从远端至近端的音频输出端采集得到的，所述近端音频数据是从所述近端至所述远端的音频输入端采集得到的。
一种用于回声消除的滤波装置，所述装置对其动作多轮地迭代执行，所述装置包括：
获取模块，获取本轮的远端音频数据和近端音频数据；
估计模块，根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
确定模块，根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的。
可选地，所述装置还包括：
更新模块，根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数；
其中，所述其他相关数据包括以下至少一种：所述滤波结果、所述响应。
可选地，所述自适应回声消除参数包括针对其对应轮的远端音频数据的幅值的比例系数。
可选地，所述更新模块根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数，包括：
所述更新模块根据所述滤波结果、所述本轮的远端音频数据的能量，以及所述响应，生成参数更新项或者参数更新系数；
利用所述参数更新项或者参数更新系数，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数。
可选地，所述估计模块根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应，包括：
所述估计模块按照如下公式，估计对所述本轮的远端音频数据的响应：
Figure BDA0001908078340000041
其中，
Figure BDA0001908078340000042
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素，a为包含k个元素的向量，表示所述本轮的自适应回声消除参数，ai为a的第i个元素。
可选地，所述本轮的远端音频数据的能量按照公式
Figure BDA0001908078340000051
计算得到；
其中，P表示所述本轮的远端音频数据的能量，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素。
可选地，所述参数更新项包括
Figure BDA0001908078340000052
所述更新模块利用所述参数更新项，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数，包括：
所述更新模块按照如下公式更新得到下轮的自适应回声消除参数：
Figure BDA0001908078340000053
其中，N表示所述本轮的近端音频数据，
Figure BDA0001908078340000056
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述远端音频数据，Fi为F的第i个元素，a、a'为包含k个元素的向量，分别表示本轮和下轮的自适应回声消除参数，ai为a的第i个元素，ai'为a'的第i个元素。
可选地，所述滤波结果包括
Figure BDA0001908078340000054
其中，N表示所述本轮的近端音频数据，
Figure BDA0001908078340000055
表示所述响应。
可选地，所述远端音频数据是从远端至近端的音频输出端采集得到的，所述近端音频数据是从所述近端至所述远端的音频输入端采集得到的。
一种用于回声消除的滤波设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够多轮地迭代执行：
获取本轮的远端音频数据和近端音频数据；
根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的。
一种用于回声消除的滤波非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为多轮地迭代执行：
获取本轮的远端音频数据和近端音频数据；
根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：通过自适应滤波，能够比较有效地消除远端与近端的双方或者多方进行语音通讯时产生的回声，从而有助于保证语音通讯质量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请的一些实施例提供的远端与近端进行语音通讯时产生回声的一种原理示意图；
图2为本申请的一些实施例提供的一种用于回声消除的滤波方法的流程示意图；
图3为本申请的一些实施例提供的对应于图2的一种用于回声消除的滤波装置的结构示意图；
图4为本申请的一些实施例提供的对应于图2的一种用于回声消除的滤波设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解背景技术，本申请的一些实施例提供了远端与近端进行语音通讯时产生回声的一种原理示意图，如图1所示。
在图1中，远端用户从远端发送语音给近端，近端接收到远端语音后通过近端的听筒或者音箱对远端语音进行播放，近端用户在近端通过麦克风也发送语音给远端，但是，该麦克风不仅会采集到近端用户语音，还会采集到近端的听筒或者音箱所播放的语音(即对远端语音有响应)，从而导致远端用户收听近端用户语音时，同时也会收到自己之前语音的回声，影响了用户体验。而本申请的方案通过在近端的麦克风或者其后端(比如，智能手机上的麦克风所连接的语音滤波模块等)对所采集的音频进行自适应滤波处理，可以比较有效地消除回声。
下面对本申请的方案进行详细说明。
图2为本申请的一些实施例提供的一种用于回声消除的滤波方法的流程示意图。在该流程中，从设备角度而言，执行主体可以是一个或者多个通讯设备，比如，智能手机、会议电话机、家用座机等，更具体地可以是处于这些设备中麦克风或者其后端的功能模块，从程序角度而言，执行主体相应地可以是搭载于这些通讯设备上的程序，比如，多方会议电话应用、语音滤波模块等。该流程可以多轮地迭代执行，每轮分别处理一定长度的语音，从而实现持续地进行语音处理，每轮处理时可以参考之前一轮或者多轮处理时所使用的参数或者得到的处理结果，进行本轮的处理。
图2中的流程可以包括以下步骤：
S202：获取本轮的远端音频数据和近端音频数据。
在本申请的一些实施例中，远端音频数据可以是从远端至近端的音频输出端采集得到的。具体地，远端音频数据可以采集自近端的听筒或者音箱，可以直接通过音频在近端空气传播的方式采集，比如，将听筒或者音箱播放出来的音频进行采集；或者，也可以从向听筒或者音箱输入音频的音源端直接将音频分接出来，这种情况所采集的音频可以不经过近端空气传播。
近端音频数据是从近端至远端的音频输入端采集得到的。具体地，近端音频数据可以采集自近端的麦克风，近端音频数据包含了近端的用户向麦克风发出的语音，以及麦克风或者其后端对远端音频数据的响应，响应包含了所要消除的回声(若不消除，则远端的用户会收听到该回声)，除此之外，近端音频数据还可以包括一些环境噪音等。
在本申请的一些实施例中，在每轮可以分别根据本轮的远端音频数据，对本轮近端音频数据进行滤波处理。每轮的远端音频数据和近端音频数据的长度可以是多样的，两者之间的长度配合也可以是多样的，两者的时间可以同步也可以不同步。比如，每轮的近端音频数据的长度为1(可以表示一个单位长度，单位长度可以根据需求自定义)，而每轮远端音频数据的长度为k，k为大于或者等于1的整数，当k大于1时，即是综合考虑多个单位时间内的远端音频数据的情况，并据此对一个单位时间内的近端音频数据进行滤波处理。
在本申请的一些实施例中，远端音频数据、近端音频数据通常是对音源数据进行采样、量化等处理后得到的离散数字信号，比如，按照16位二进制位数量化得到的离散数字信号；或者也可以是时域连续的信号，比如，模拟音频信号。远端音频数据、近端音频数据可以是时域音频信号，其幅值可以表示音频振幅或者能量等参数。
S204：根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应，其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的。
在本申请的一些实施例中，每轮都可以使用本轮的一个或者多个自适应回声消除参数，进行滤波处理。
自适应回声消除参数可以用于估计远端音频数据本身与远端音频数据给近端音频数据所带来的影响之间的关系，这种影响可以用对远端音频数据的响应来表示。一般地，远端音频数据本身不直接等于对远端音频数据的响应，因为近端空气传播过程，以及听筒、音箱、麦克风的失真情况都会使远端音频数据产生变化(比如，能量的衰减、频谱的偏移等)，可以综合考虑至少部分这类变化，以估计对本轮的远端音频数据的响应。
自适应回声消除参数的具体形式可以是多样的，比如，幅值的系数、加减的调节项、对数转换逻辑等。
在本申请的一些实施例中，远端音频数据可能实时变化的，从而也会导致回声相应地变化，为了更有效地消除回声，可以采用自适应回声消除参数，而非固定不变的回声消除参数。这里的“自适应”可以指根据之前至少一轮和/或本轮的诸如振幅、能量、频谱等参数的实际情况进行自适应，以得到适合本轮使用的回声消除参数。
以能量为例，本轮的自适应回声消除参数比如可以根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到，如此，使得一段时间内持续地回声消除处理之间相关性提高，有助于减少局部误差。当然，所依据的数据可以不仅包括这些，比如，还可以根据远端音频数据的响应、远端音频数据的频谱等数据更新得到。更新时所采用的计算公式也可以是多样的，后面会举例进行说明。自适应回声消除参数初始时的值可以根据需要设定，比如设定为0或者其他常数。
S206：根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果。
在本申请的一些实施例中，可以将本轮的响应从近端音频数据中滤除，得到滤波结果；当然，为了满足对滤波结果的更高要求，还可以进行更多处理，比如，滤除白噪声、滤除高频毛刺等，再得到滤波结果。
通过图2的方法，通过自适应滤波，能够比较有效地消除远端与近端的双方或者多方进行语音通讯时产生的回声，从而有助于保证语音通讯质量。
基于图2的方法，本申请的一些实施例还提供了该方法的一些具体实施方案，以及扩展方案，下面进行说明。
在本申请的一些实施例中，对之后至少一轮的自适应回声消除参数的计算时刻并不做具体限定，取决于计算自适应回声消除参数所需依据的数据是否已经齐备，在这些数据齐备后的某一时刻，则可以更新自适应回声消除参数。比如，假定本轮的其他相关数据包括上述的滤波结果和响应中的至少一种，并将其也作为自适应回声消除参数所依据的数据，则在本轮的远端音频数据的能量以及本轮的其他相关数据已经齐备后(可以是立即，也可以是一段时间后)，可以据此对本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数。
在本申请的一些实施例中，前面已经提到，自适应回声消除参数的具体形式可以是多样的。自适应回声消除参数比如可以包括针对其对应轮的远端音频数据的幅值的比例系数，在这种情况下，可以使用该比例系数，通过进行乘法运算，来估计对本轮的远端音频数据的响应，这种方式的优点在于，可以使得远端音频数据与对应的响应被尽量地近似为简单的线性关系，从而有助于减少计算量。自适应回声消除参数比如还可以包括针对其对应轮的远端音频数据的加减的调节项，可以使用该调节项，通过进行加减法运算，来估计对本轮的远端音频数据的响应。
以比例系数为例，假定自适应回声消除参数具体表示为由多个幅值比例系数构成的向量，对于步骤S204，根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应，比如可以包括：
按照如下公式，估计对所述本轮的远端音频数据的响应：
Figure BDA0001908078340000111
其中，
Figure BDA0001908078340000112
表示对本轮的远端音频数据的响应，F为包含k个元素的向量，相应地表示长度为k的本轮的远端音频数据，Fi为F的第i个元素，a为包含k个元素的向量，表示本轮的自适应回声消除参数，第一轮的自适应回声消除参数比如为0，ai为a的第i个元素。后面一些例子会沿用该例的参数，简明起见，不再对这些参数的定义重复说明。
在本申请的一些实施例中，根据本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数，比如可以包括：
根据对本轮的近端音频数据的滤波结果、本轮的远端音频数据的能量，以及对本轮的远端音频数据的响应，生成参数更新项或者参数更新系数；利用参数更新项或者参数更新系数，对本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数。
在本申请的一些实施例中，一般地，可以用音频声波的平均能流密度(即单位时间流经某处单位面积介质的能量的平均值的多少)，来表示音频的能量，在这种情况下，本轮的远端音频数据的能量比如可以按照公式
Figure BDA0001908078340000113
计算得到；其中，P表示所计算得到的本轮的远端音频数据的能量，ρ表示传播介质密度，ω表示音频频率，u表示音频波速。
为了减少计算量，也可以近似地计算能量，比如，直接用振幅的平方值近似地计算能量。比如，本轮的远端音频数据的能量可以按照公式
Figure BDA0001908078340000114
计算得到。
在本申请的一些实施例中，假定利用参数更新项来更新自适应回声消除参数。比如，参数更新项可以包括
Figure BDA0001908078340000115
利用参数更新项，对本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数，比如可以包括：
按照如下公式更新得到下轮的自适应回声消除参数：
Figure BDA0001908078340000121
其中，N表示所述本轮的近端音频数据，长度比如为1，a'为包含k个元素的向量，表示下轮的自适应回声消除参数，ai'为a'的第i个元素。
在本申请的一些实施例中，假定将本轮的响应从近端音频数据中滤除，直接得到滤波结果，如此，有助于减少计算量，降低语音通讯双方所感受到的声音延迟。在这种情况下，对本轮的近端音频数据的滤波结果可以包括
Figure BDA0001908078340000122
需要说明的是，上面列举的一些公式反映了本申请方案的思想，但是并非是唯一实施形式，基于本申请方案的思想，能够得到更多的类似公式替代上面的公式。
基于同样的思路，本申请的一些实施例还提供了上述方法对应的装置、设备和非易失性计算机存储介质。
图3为本申请的一些实施例提供的对应于图2的一种用于回声消除的滤波装置的结构示意图，该装置对其动作多轮地迭代执行，该装置包括：
获取模块301，获取本轮的远端音频数据和近端音频数据；
估计模块302，根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
确定模块303，根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的。
可选地，所述装置还包括：
更新模块304，根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数；
其中，所述其他相关数据包括以下至少一种：所述滤波结果、所述响应。
可选地，所述自适应回声消除参数包括针对其对应轮的远端音频数据的幅值的比例系数。
可选地，所述更新模块304根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数，包括：
所述更新模块304根据所述滤波结果、所述本轮的远端音频数据的能量，以及所述响应，生成参数更新项或者参数更新系数；
利用所述参数更新项或者参数更新系数，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数。
可选地，所述估计模块302根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应，包括：
所述估计模块302按照如下公式，估计对所述本轮的远端音频数据的响应：
Figure BDA0001908078340000131
其中，
Figure BDA0001908078340000132
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素，a为包含k个元素的向量，表示所述本轮的自适应回声消除参数，ai为a的第i个元素。
可选地，所述本轮的远端音频数据的能量按照公式
Figure BDA0001908078340000133
计算得到；
其中，P表示所述本轮的远端音频数据的能量，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素。
可选地，所述参数更新项包括
Figure BDA0001908078340000134
所述更新模块304利用所述参数更新项，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数，包括：
所述更新模块304按照如下公式更新得到下轮的自适应回声消除参数：
Figure BDA0001908078340000141
其中，N表示所述本轮的近端音频数据，
Figure BDA0001908078340000142
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述远端音频数据，Fi为F的第i个元素，a、a'为包含k个元素的向量，分别表示本轮和下轮的自适应回声消除参数，ai为a的第i个元素，ai'为a'的第i个元素。
可选地，所述滤波结果包括
Figure BDA0001908078340000143
其中，N表示所述本轮的近端音频数据，
Figure BDA0001908078340000144
表示所述响应。
可选地，所述远端音频数据是从远端至近端的音频输出端采集得到的，所述近端音频数据是从所述近端至所述远端的音频输入端采集得到的。
图4为本申请的一些实施例提供的对应于图2的一种用于回声消除的滤波设备的结构示意图，该设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够多轮地迭代执行：
获取本轮的远端音频数据和近端音频数据；
根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的。
本申请的一些实施例提供的对应于图2的一种用于回声消除的滤波非易失性计算机存储介质，存储有计算机可执行指令，该计算机可执行指令设置为多轮地迭代执行：
获取本轮的远端音频数据和近端音频数据；
根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供的装置、设备和介质与方法是一一对应的，因此，装置、设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述装置、设备和介质的有益技术效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (20)

1.一种用于回声消除的滤波方法，其特征在于，所述方法多轮地迭代执行，所述方法包括：
获取本轮的远端音频数据和近端音频数据，每轮所述远端音频数据的时间长度大于每轮所述近端音频数据的时间长度；
根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的，所述自适应回声消除参数包括针对其对应轮的远端音频数据的加减的调节项。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数；
其中，所述其他相关数据包括以下至少一种：所述滤波结果、所述响应。
3.如权利要求1所述的方法，其特征在于，所述自适应回声消除参数包括针对其对应轮的远端音频数据的幅值的比例系数。
4.如权利要求2所述的方法，其特征在于，所述根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数，包括：
根据所述滤波结果、所述本轮的远端音频数据的能量，以及所述响应，生成参数更新项或者参数更新系数；
利用所述参数更新项或者参数更新系数，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数。
5.如权利要求3所述的方法，其特征在于，所述根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应，包括：
按照如下公式，估计对所述本轮的远端音频数据的响应：
Figure FDA0003087326370000021
其中，
Figure FDA0003087326370000022
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素，a为包含k个元素的向量，表示所述本轮的自适应回声消除参数，ai为a的第i个元素。
6.如权利要求2所述的方法，其特征在于，所述本轮的远端音频数据的能量按照公式
Figure FDA0003087326370000023
计算得到；
其中，P表示所述本轮的远端音频数据的能量，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素。
7.如权利要求4所述的方法，其特征在于，所述参数更新项包括
Figure FDA0003087326370000024
所述利用所述参数更新项，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数，包括：
按照如下公式更新得到下轮的自适应回声消除参数：
Figure FDA0003087326370000025
其中，N表示所述本轮的近端音频数据，
Figure FDA0003087326370000027
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述远端音频数据，Fi为F的第i个元素，a、a'为包含k个元素的向量，分别表示本轮和下轮的自适应回声消除参数，ai为a的第i个元素，ai'为a'的第i个元素。
8.如权利要求1所述的方法，其特征在于，所述滤波结果包括
Figure FDA0003087326370000026
其中，N表示所述本轮的近端音频数据，
Figure FDA0003087326370000031
表示所述响应。
9.如权利要求1～8任一项所述的方法，其特征在于，所述远端音频数据是从远端至近端的音频输出端采集得到的，所述近端音频数据是从所述近端至所述远端的音频输入端采集得到的。
10.一种用于回声消除的滤波装置，其特征在于，所述装置对其动作多轮地迭代执行，所述装置包括：
获取模块，获取本轮的远端音频数据和近端音频数据，每轮所述远端音频数据的时间长度大于每轮所述近端音频数据的时间长度；
估计模块，根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
确定模块，根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的，所述自适应回声消除参数包括针对其对应轮的远端音频数据的加减的调节项。
11.如权利要求10所述的装置，其特征在于，所述装置还包括：
更新模块，根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数；
其中，所述其他相关数据包括以下至少一种：所述滤波结果、所述响应。
12.如权利要求10所述的装置，其特征在于，所述自适应回声消除参数包括针对其对应轮的远端音频数据的幅值的比例系数。
13.如权利要求11所述的装置，其特征在于，所述更新模块根据所述本轮的自适应回声消除参数和远端音频数据的能量，以及本轮的其他相关数据，对所述本轮的自适应回声消除参数进行更新，得到之后至少一轮的自适应回声消除参数，包括：
所述更新模块根据所述滤波结果、所述本轮的远端音频数据的能量，以及所述响应，生成参数更新项或者参数更新系数；
利用所述参数更新项或者参数更新系数，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数。
14.如权利要求12所述的装置，其特征在于，所述估计模块根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应，包括：
所述估计模块按照如下公式，估计对所述本轮的远端音频数据的响应：
Figure FDA0003087326370000041
其中，
Figure FDA0003087326370000042
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素，a为包含k个元素的向量，表示所述本轮的自适应回声消除参数，ai为a的第i个元素。
15.如权利要求11所述的装置，其特征在于，所述本轮的远端音频数据的能量按照公式
Figure FDA0003087326370000043
计算得到；
其中，P表示所述本轮的远端音频数据的能量，F为包含k个元素的向量，相应地表示长度为k的所述本轮的远端音频数据，Fi为F的第i个元素。
16.如权利要求13所述的装置，其特征在于，所述参数更新项包括
Figure FDA0003087326370000044
所述更新模块利用所述参数更新项，对所述本轮的自适应回声消除参数进行更新，得到下轮的自适应回声消除参数，包括：
所述更新模块按照如下公式更新得到下轮的自适应回声消除参数：
Figure FDA0003087326370000045
其中，N表示所述本轮的近端音频数据，
Figure FDA0003087326370000046
表示所述响应，F为包含k个元素的向量，相应地表示长度为k的所述远端音频数据，Fi为F的第i个元素，a、a'为包含k个元素的向量，分别表示本轮和下轮的自适应回声消除参数，ai为a的第i个元素，ai'为a'的第i个元素。
17.如权利要求10所述的装置，其特征在于，所述滤波结果包括
Figure FDA0003087326370000051
其中，N表示所述本轮的近端音频数据，
Figure FDA0003087326370000052
表示所述响应。
18.如权利要求10～17任一项所述的装置，其特征在于，所述远端音频数据是从远端至近端的音频输出端采集得到的，所述近端音频数据是从所述近端至所述远端的音频输入端采集得到的。
19.一种用于回声消除的滤波设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够多轮地迭代执行：
获取本轮的远端音频数据和近端音频数据，每轮所述远端音频数据的时间长度大于每轮所述近端音频数据的时间长度；
根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的，所述自适应回声消除参数包括针对其对应轮的远端音频数据的加减的调节项。
20.一种用于回声消除的滤波非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为多轮地迭代执行：
获取本轮的远端音频数据和近端音频数据，每轮所述远端音频数据的时间长度大于每轮所述近端音频数据的时间长度；
根据本轮的自适应回声消除参数，估计对所述本轮的远端音频数据的响应；
根据所述本轮的近端音频数据和所述响应，确定对所述本轮的近端音频数据的滤波结果；
其中，所述本轮的自适应回声消除参数是根据之前至少一轮的自适应回声消除参数和远端音频数据的能量更新得到的，所述自适应回声消除参数包括针对其对应轮的远端音频数据的加减的调节项。
CN201811540803.0A 2018-12-17 2018-12-17 一种用于回声消除的滤波方法及装置、设备、介质 Active CN109493878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811540803.0A CN109493878B (zh) 2018-12-17 2018-12-17 一种用于回声消除的滤波方法及装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811540803.0A CN109493878B (zh) 2018-12-17 2018-12-17 一种用于回声消除的滤波方法及装置、设备、介质

Publications (2)

Publication Number Publication Date
CN109493878A CN109493878A (zh) 2019-03-19
CN109493878B true CN109493878B (zh) 2021-08-31

Family

ID=65710448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811540803.0A Active CN109493878B (zh) 2018-12-17 2018-12-17 一种用于回声消除的滤波方法及装置、设备、介质

Country Status (1)

Country Link
CN (1) CN109493878B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355855B (zh) * 2020-03-12 2021-06-15 紫光展锐(重庆)科技有限公司 回声处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102185991A (zh) * 2011-03-01 2011-09-14 杭州华三通信技术有限公司 回声消除方法、系统和装置
CN105957520A (zh) * 2016-07-04 2016-09-21 北京邮电大学 一种适用于回声消除系统的语音状态检测方法
CN106231145A (zh) * 2016-08-31 2016-12-14 广州市百果园网络科技有限公司 一种回声延时处理方法及回声延时处理装置
US9653060B1 (en) * 2016-02-09 2017-05-16 Amazon Technologies, Inc. Hybrid reference signal for acoustic echo cancellation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102185991A (zh) * 2011-03-01 2011-09-14 杭州华三通信技术有限公司 回声消除方法、系统和装置
US9653060B1 (en) * 2016-02-09 2017-05-16 Amazon Technologies, Inc. Hybrid reference signal for acoustic echo cancellation
CN105957520A (zh) * 2016-07-04 2016-09-21 北京邮电大学 一种适用于回声消除系统的语音状态检测方法
CN106231145A (zh) * 2016-08-31 2016-12-14 广州市百果园网络科技有限公司 一种回声延时处理方法及回声延时处理装置

Also Published As

Publication number Publication date
CN109493878A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN101964670B (zh) 回声抑制方法及回声抑制设备
KR101331388B1 (ko) 음향 에코를 제거하기 위한 컴퓨터 구현 프로세스 및 시스템
CN111341336B (zh) 一种回声消除方法、装置、终端设备及介质
JP5284475B2 (ja) 前白色化を伴うｌｍｓアルゴリズムによって適応させられる適応フィルタの更新済みフィルタ係数を決定する方法
CN101826892A (zh) 回声消除器
JP2013150250A (ja) 音声処理装置及び音声処理方法
US9020144B1 (en) Cross-domain processing for noise and echo suppression
JP2013153254A (ja) 残響抑制装置、残響抑制方法及び残響抑制用コンピュータプログラム
US20150086006A1 (en) Echo suppressor using past echo path characteristics for updating
CN110956975A (zh) 回声消除方法及装置
CN112602150A (zh) 噪声估计方法、噪声估计装置、语音处理芯片以及电子设备
CN109379501B (zh) 一种用于回声消除的滤波方法及装置、设备、介质
CN109493878B (zh) 一种用于回声消除的滤波方法及装置、设备、介质
US8406430B2 (en) Simulated background noise enabled echo canceller
CN111370016B (zh) 一种回声消除方法及电子设备
JP3381112B2 (ja) エコー除去装置
TWI234941B (en) Echo canceler, article of manufacture, and method and system for canceling echo
CN109935238B (zh) 一种回声消除方法、装置和终端设备
Halimeh et al. Nonlinear acoustic echo cancellation using elitist resampling particle filter
JP3673727B2 (ja) 反響消去方法、その装置、そのプログラム及びその記録媒体
CN109448748B (zh) 一种用于回声消除的滤波方法及装置、设备、介质
CN111210799A (zh) 一种回声消除方法及装置
CN112929506A (zh) 音频信号的处理方法及装置，计算机存储介质及电子设备
JP4041770B2 (ja) 音響エコー消去方法、その装置、プログラム及びその記録媒体
CN115620737A (zh) 语音信号处理装置、方法、电子设备和扩音系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201130

Address after: Room 206, 2 / F, building C, phase I, Zhongguancun Software Park, No. 8, Dongbei Wangxi Road, Haidian District, Beijing 100094

Applicant after: Canaan Bright Sight Co.,Ltd.

Address before: 310000, room 12, building 4, building nine, No. nine, 1203 Ring Road, Hangzhou, Zhejiang, Jianggan District

Applicant before: Hangzhou Canaan Creative Information Technology Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant