CN110021289B - 一种声音信号处理方法、装置及存储介质 - Google Patents

一种声音信号处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110021289B
CN110021289B CN201910244164.1A CN201910244164A CN110021289B CN 110021289 B CN110021289 B CN 110021289B CN 201910244164 A CN201910244164 A CN 201910244164A CN 110021289 B CN110021289 B CN 110021289B
Authority
CN
China
Prior art keywords
sound
signal
channel
target
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910244164.1A
Other languages
English (en)
Other versions
CN110021289A (zh
Inventor
高毅
刘伊恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910244164.1A priority Critical patent/CN110021289B/zh
Publication of CN110021289A publication Critical patent/CN110021289A/zh
Application granted granted Critical
Publication of CN110021289B publication Critical patent/CN110021289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17817—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the error signals, i.e. secondary path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17825—Error signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

本发明实施例公开了一种声音信号处理方法、装置及存储介质；该方法采集声音信号，声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到残差信号，从声音输出信号的多个不同声道中确定待处理的目标声道，基于残差信号对目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到声音输出信号。该方案可以有效的进行回声消除。

Description

一种声音信号处理方法、装置及存储介质
技术领域
本申请涉及信号处理领域，具体涉及一种声音信号处理方法、装置及存储介质。
背景技术
随着科技的发展，用户对于语音交互的要求也越来越高。而在语音交互过程中，说话者通过语音交互设备发送给其他人的语音又重新回到自己听筒里产生的回声信号，会对语音交互产生严重的影响。因此，需要在语音交互过程中进行回声消除。
由于语音交互设备的多样性、以及语音交互应用的广泛性，无法有效的进行回声的消除。
发明内容
本申请实施例提供一种声音信号处理方法、装置及存储介质，可以有效的进行回声消除。
本申请实施例提供一种声音信号处理方法，包括：
采集声音信号，所述声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号；
基于每个声道对应的所述声音输出信号、滤波器参数，估计每个声道对应的回声信号；
基于所述回声信号，对所述声音输入信号进行回声消除处理，得到残差信号；
从所述声音输出信号的多个不同声道中确定待处理的目标声道；
基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到所述声音输出信号。
相应的，本申请实施例还提供一种声音信号处理装置，包括：
采集模块，用于采集声音信号，所述声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号；
估计模块，用于基于每个声道对应的所述声音输出信号、滤波器参数，估计每个声道对应的回声信号；
回声消除模块，用于基于所述回声信号，对所述声音输入信号进行回声消除处理，得到残差信号；
确定模块，用于从所述声音输出信号的多个不同声道中确定待处理的目标声道；
调整模块，用于基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到所述声音输出信号。
相应的，本申请实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本申请实施例任一提供的声音信号处理方法的步骤。
本申请实施例采集声音信号，声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到残差信号，从声音输出信号的多个不同声道中确定待处理的目标声道，基于残差信号对目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到声音输出信号。该方案可以有效的进行回声消除。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的声音信号处理系统的场景示意图；
图2是本申请实施例提供的声音信号处理方法的第一流程示意图；
图3是本申请实施例提供的声音信号处理方法的第二流程示意图；
图4是本申请实施例提供的多个声道滤波器参数共同调整方法示意图；
图5是本申请实施例提供的多个声道滤波器参数依次调整方法流程图；
图6是本申请实施例提供的第一声道滤波器参数调整示意图；
图7是本申请实施例提供的第二声道滤波器参数调整示意图；
图8是本申请实施例提供的对声音输入信号进行回声消除示意图；
图9是本申请实施例提供的根据当前信号帧数对多个声道滤波器参数依次调整方法流程图；
图10是本申请实施例提供的多个声音输入信号进行声音信号处理方法示意图；
图11是本申请实施例提供的声音信号处理的第一结构示意图；
图12是本申请实施例提供的声音信号处理的第二结构示意图；
图13是本申请实施例提供的声音信号处理的第三结构示意图；
图14是本申请实施例提供的网络设备的结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看作为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看作为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种声音信号处理方法，该声音信号处理方法的执行主体可以是本申请实施例提供的声音信号处理装置，或者集成了该声音信号处理装置的网络设备，其中该声音信号处理装置可以采用硬件或者软件的方式实现。其中，网络设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1，图1为本申请实施例提供的声音信号处理方法的应用场景示意图，以声音信号处理装置集成在网络设备中为例，网络设备可以采集声音信号，声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到残差信号，从声音输出信号的多个不同声道中确定待处理的目标声道，基于残差信号对目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到声音输出信号。
请参阅图2，图2为本申请实施例提供的声音信号处理方法的流程示意图。本申请实施例提供的声音信号处理方法的具体流程可以如下：
201、采集声音信号。
其中，声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号。
其中，声音输出信号可以为需要进行消除的回声信号，比如，该声音输出信号可以为通过扬声器等音频设备输出的音频信号，该声音输出信号可以被麦克风等音频设备接收，从而形成回声信号。
其中，声音输入信号可以为需要进行回声消除的信号，比如，该声音输入信号可以为经过麦克风输入的音频信号，该声音输入信号中可以包括希望输出的声音信号以及希望进行消除的回声信号。
在语音交互过程中，扬声器播放出来的声音输出信号由于空间的反射，会形成回声，该回声会被麦克风接收到并发送至远端，使得远端的用户在说话时，可以听到自己说话声音的回声，从而影响了正常的通话质量。
因此，在实际应用中，可以采集声音信号，该声音信号包括当前音频设备输出的多个不同声道的声音输出信号，以及当前音频设备输入的声音输入信号。比如，可以采集扬声器输出的声音输出信号，以及麦克风输入的声音输入信号。
在一实施例中，音频设备可以为对音频进行输入输出的设备，比如，音频设备可以包括：功放机、音箱、多媒体控制台、数字调音台、音频采样卡、合成器、中高频音箱、话筒，PC中的声卡、耳机等等。
202、基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号。
其中，声道可以为在录制或者播放声音时，在不同空间位置进行采集或者回放相互独立的音频信号。声道数目可以为声音录制时的音源数量或者声音回放时相应的扬声器数量。
其中，回声信号可以为经过滤波器模拟出声音输出信号的估计值。
在实际应用中，该声音输出信号可以包括多个不同声道，比如，该声音输出信号可以为立体声信号，包括第一声道和第二声道，第一声道和第二声道的声音输出信号可以分别通过两个扬声器输出。
在一实施例中，声音输出信号还可以包括单个声道。
在实际应用中，可以基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号。比如，如图6所示，可以采用x1表示第一声道的声音输出信号，采用ω1表示第一声道对应的滤波器参数，采用yω1表示第一声道的回声信号，第一声道的回声信号计算公式可以如下：
yω1(n+m)＝x1T(n+m)ω1(n)
其中，N为滤波器长度，L为大于等于1小于等于N的整数，L表示对x1进行分帧的帧长度。m为大于等于0小于等于L-1的整数。
在一实施例中，比如，还可以采用x2表示第二声道的声音输出信号，采用ω2表示第二声道对应的滤波器参数，采用yω2表示第二声道的回声信号，第二声道的回声信号计算公式可以如下：
yω2(n+m)＝x2T(n+m)ω2(n)
其中，N为滤波器长度，L为大于等于1小于等于N的整数，L表示对x2进行分帧的帧长度。m为大于等于0小于等于L-1的整数。
在一实施例中，滤波器可以采用线性滤波器，以避免引入非线性失真。
203、基于回声信号，对声音输入信号进行回声消除处理，得到残差信号。
在实际应用中，可以基于回声信号对声音输入信号进行回声消除处理，得到残差信号。比如，可以从麦克风输入的声音输入信号中将所有声道对应的回声信号去除，得到残差信号。可以采用d表示声音输入信号，采用yω1表示第一声道对应的回声信号，采用yω2表示第二声道对应的回声信号，采用e表示残差信号，残差信号的生成公式可以如下：
e(n+m)＝d(n+m)-yω1(n+m)-yω2(n+m)
其中，N为滤波器长度，L为大于等于1小于等于N的整数，L表示对x1进行分帧的帧长度。m为大于等于0小于等于L-1的整数。
204、从声音输出信号的多个不同声道中确定待处理的目标声道。
在实际应用中，为了减少受多个声道的声音输出信号之间相关性的影响，从而降低声音信号处理的准确性，可以从多个不同声道中确定出待处理的目标声道，对目标声道对应的滤波器参数进行调整，之后更换目标声道，继续进行滤波器参数调整步骤，从而依次对每个声道进行处理。
在一实施例中，为了提高确定目标声道的针对性，可以根据当前信号帧数进行目标声道的确定。具体地，步骤“从所述声音输出信号的多个不同声道中确定待处理的目标声道”，可以包括：
获取目标声道对应的当前信号帧数；
基于所述当前信号帧数从所述声音输出信号的多个不同声道中确定待处理的目标声道。
其中，帧数可以表征帧生成的数量。当前信号帧数可以为目标声道对应的声音输出信号在当前时刻生成帧的数量，该当前信号帧数可以为奇数或者偶数。
在实际应用中，可以确定出目标声道对应的当前信号帧数，然后根据当前信号帧数从声音输出信号的多个不同声道中确定出待处理的目标声道。比如，可以确定出目标声道对应扬声器输出的声音输出信号的当前信号帧数，并根据当前信号帧数，将声音输出信号的第一声道确定为待处理的目标声道。
在一实施例中，为了减少计算量，节约资源，可以根据当前信号帧数为奇数还是偶数，确定出目标声道。具体地，步骤“基于所述当前信号帧数从所述声音输出信号的多个不同声道中确定待处理的目标声道”，可以包括：
当所述当前信号帧数为奇数时，将所述第一声道确定为待处理的目标声道；
当所述当前信号帧数为偶数时，将所述第二声道确定为待处理的目标声道。
在实际应用中，比如，如图9所示，当前信号帧数为奇数时，将第一声道确定为待处理的目标声道；当前信号帧数为偶数时，将第二声道确定为待处理的目标声道。通过这种方式，可以使得回声消除中对于不同声道进行处理的步骤，分别放在不同帧中进行，每一次迭代只对一个声道进行处理。这样可以使得每一帧的计算量大幅缩小。
在一实施例中，还可以根据历史目标声道进行目标声道的确定，从而保证迭代过程中声道交替地进行处理。具体地，步骤“从所述声音输出信号的多个不同声道中确定待处理的目标声道”，可以包括：
获取历史目标声道；
基于所述历史目标声道从所述声音输出信号的多个不同声道中确定待处理的目标声道。
在实际应用中，可以获取历史目标声道，之后根据历史目标声道从声音输出信号的多个不同声道中确定待处理的目标声道。比如，当历史目标声道为第一声道时，可以将第二声道确定为当前的目标声道。
在一实施例中，还可以将立体声中两个声道的处理过程放在同一帧中进行，具体地，步骤“基于所述历史目标声道从所述声音输出信号的多个不同声道中确定待处理的目标声道”，可以包括：
当所述历史目标声道为所述第一声道时，将所述第二声道确定为所述目标声道；
当所述历史目标声道为所述第二声道时，将所述第一声道确定为所述目标声道。
比如，当历史目标声道为第一声道时，可以将第二声道确定为目标声道；当历史目标声道为第二声道时，可以将第一声道确定为目标声道。还可以使得两个声道的处理过程在同一帧中进行，从而缩短收敛时间。
205、基于残差信号对目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到声音输出信号。
在实际应用中，可以基于残差信号对目标声道对应的当前滤波器参数进行调整，当调整目标声道对应的当前滤波器参数后，可以返回采集声音信号的步骤，继续进行声音信号的采集，以及回声的消除，并重新进行目标声道的确定，调整目标声道对应的滤波器参数，以实现回声消除以及滤波器参数调整过程的循环。
在一实施例中，当不能采集到声音输出信号时，说明当前不存在需要进行消除的回声信号，该循环过程可以停止。当能够采集到声音输出信号时，说明当前存在需要进行消除的回声信号，因此可以继续进行循环过程。
在一实施例中，为了提高声音信号处理的准确性，滤波器参数需要不断的进行调整。具体地，步骤“基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整”，可以包括：
基于所述目标声道对应的声音输出信号、以及所述残差信号，获取滤波器变化参数需要调整的调整参考信息；
基于所述调整参考信息对所述目标声道对应的当前滤波器参数进行调整。
在实际应用中，可以基于目标声道对应的声音输出信号、以及残差信号，获取滤波器变化参数需要调整的调整参考信息，之后基于调整参考信息对目标声道对应的当前滤波器参数进行调整。
在一实施例中，为了提高声音信号处理的准确性，具体地，步骤“基于所述目标声道对应的声音输出信号、以及所述残差信号，获取滤波器变化参数需要调整的调整参考信息”，可以包括：
获取目标声道对应的当前信号帧中多个所述声音输出信号、以及所述残差信号；
将所述当前信号帧中多个所述声音输出信号、以及所述残差信号进行信号融合，得到融合信号；
对所述融合信号添加预设收敛权重，得到滤波器变化参数需要调整的调整参考信息。
在实际应用中，为了提高声音信号处理的准确性，可以将信号进行分段处理，比如，可以将声音输出信号进行分帧处理，对每一帧中的多个部分进行回声消除，从而获取到目标声道对应的当前信号帧中多个声音输出信号、以及残差信号，之后将当前信号帧中多个声音输出信号、以及残差信号进行信号融合，得到融合信号，并对融合信号添加预设收敛权重，得到滤波器变化参数需要调整的调整参考信息。
如图6所示，比如，当目标声道为第一声道时，可以采用ω1表示第一声道对应的当前滤波器参数，采用ω1u表示调整后第一声道对应的滤波器参数，采用x1表示第一声道的声音输出信号，采用e表示残差信号，采用β表示预设收敛权重以控制滤波器的收敛速度，β可以为预设常数或者动态计算的实数，调整滤波器参数的公式可以如下：
Figure BDA0002010566910000091
其中，N为滤波器长度，L为大于等于1小于等于N的整数，L表示对x1进行分帧的帧长度。m为大于等于0小于等于L-1的整数。
通过对多个声道的滤波器参数依次进行独立的自适应调整，能够更好的对音频设备的回声路径进行建模，更快地追踪回声信道的变化，减少受多个声道的声音输出信号相关性的影响，从而更好的消除回声信号。
在一实施例中，为了提高声音信号处理的准确性，当滤波器发散时，还可以对滤波器参数进行重置。具体地，该声音信号处理方法还可以包括：
对所述残差信号中残余的所述声音输出信号的音频能量进行检测，得到能量检测结果；
当所述能量检测结果达到滤波器发散条件时，对所述滤波器参数进行重置，并返回执行采集声音信号的步骤；
当所述能量检测结果未达到滤波器发散条件时，执行基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整的步骤。
其中，滤波器发散条件可以为判定滤波器是否出现发散现象的条件。比如，该滤波器发散条件可以通过检测残差信号中残余的声音输出信号的音频能量得知。
在实际应用中，可以对残差信号中残余的声音输出信号的音频能量进行检测，得到能量检测结果，当能量检测结果达到滤波器发散条件时，对滤波器参数进行重置，并采集声音信号；当能量检测结果未达到滤波器发散条件时，基于残差信号对目标声道对应的当前滤波器参数进行调整。比如，可以对残差信号中未能消除掉的声音输出信号的音频能量进行检测，当该残余声音输出信号的音频能量达到声音输入信号音频能量的一定比例(比如80％)时，可以判定出现了滤波器发散现象，从而对滤波器参数进行重置，以提高声音信号处理的准确性。
在一实施例中，可以将滤波器参数重置为初始值。
在一实施例中，由于采用依次对不同声道对应的滤波器参数进行调整的方法，会使得声音信号处理方法变得复杂，为了保证滤波器的收敛性，滤波器参数的初始值可以采用预先训练好的参数，比如，可以采用同时对不同声道滤波器参数进行调整的方法，以获取滤波器参数的初始值。
在一实施例中，如图4所示，可以采用同时对不同声道滤波器参数进行调整的方法，获取滤波器参数的初始值。比如，可以ω1采用表示第一声道对应的滤波器参数，采用ω2表示第二声道对应的滤波器参数，采用ω表示总体滤波器参数，采用x1表示第一声道对应的声音输出信号，采用x2表示第二声道对应的声音输出信号，采用x表示声音输出信号，采用y表示回声信号，采用e表示残差信号，采用d表示声音输入信号，采用β表示预设收敛权重，以控制滤波器的收敛速度，β可以为预设常数或者动态计算的实数，那么同时对不同声道滤波器参数进行调整的方法可以如下：
第一声道对应的滤波器参数可以表示为：
ω1(n)＝[ω10(n),...,ω1N-1(n)]T
第二声道对应的滤波器参数可以表示为：
ω2(n)＝[ω20(n),...,ω2N-1(n)]T
总体滤波器参数可以表示为：
Figure BDA0002010566910000111
声音输出信号可以表示为：
Figure BDA0002010566910000112
回声信号的生成公式可以为：
y(n+m)＝xT(n+m)ω(n)
残差信号的生成公式可以为：
e(n+m)＝d(n+m)-y(n+m)
滤波器参数的调整公式可以为：
Figure BDA0002010566910000113
其中，N为滤波器长度，L为大于等于1小于等于N的整数，L表示对x进行分帧的帧长度。m为大于等于0小于等于L-1的整数。
之后可以采用调整后的滤波器参数作为下一帧的滤波器参数，进行迭代计算，得到滤波器参数的初始值。
在一实施例中，还可以单独确定每个声道对应滤波器参数的初始值。比如，可以只对一个声道对应滤波器参数进行调整，得到滤波器参数初始值，之后单独依次对其他声道对应滤波器参数进行调整，得到滤波器参数初始值，直至所有声道滤波器参数初始值都获取完毕。
在一实施例中，该声音信号处理方法还可以扩展应用于多个麦克风的情况。比如，如图10所示，共有A个麦克风，MIC 1～MIC A，第B个麦克风输入的声音信号为dB，其中，B为大于等于1，小于等于A的整数。之后可以针对每一个麦克风独立执行该声音信号处理方法，分别对麦克风对应的滤波器参数进行调整。
在一实施例中，该声音信号处理方法是在时域进行滤波器参数以及滤波的过程，为了减少计算量，还可以将该声音信号处理方法扩展到频域或者分块的频域自适应滤波过程，以便采用快速傅里叶变换实现滤波和相关操作。
由上可知，本申请实施例可以采集声音信号，声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到残差信号，从声音输出信号的多个不同声道中确定待处理的目标声道，基于残差信号对目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到声音输出信号。该方案可以通过将多个声道滤波器参数的调整过程分别放在不同帧中进行，以减少计算量。还可以通过依次对多个声道对应的滤波器参数进行调整，减少受多个声道的声音输出信号相关性的影响，从而有效的进行回声信号的消除。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，如图3所示，将以该声音信号处理装置具体集成在网络设备中为例进行说明。
301、采集声音信号。
比如，可以采集来自两个扬声器的声音输出信号，该声音输出信号可以为立体声信号，包括第一声道和第二声道。以及来自麦克风的声音输入信号，比如该声音输入信号可以为人对着麦克风讲话时发出的声音信号等等。
302、网络设备基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号。
比如，网络设备可以根据第一声道的声音输出信号x1以及第一声道对应的滤波器参数ω1，估计出第一声道的回声信号yω1；第二声道的声音输出信号x2以及第二声道对应的滤波器参数ω2，估计出第二声道的回声信号yω2。yω1和yω2的计算公式可以如下：
yω1(n+m)＝x1T(n+m)ω1(n)
yω2(n+m)＝x2T(n+m)ω2(n)
其中，N为滤波器长度，L为大于等于1小于等于N的整数，L表示对x1和x2进行分帧的帧长度。m为大于等于0小于等于L-1的整数。
303、网络设备基于回声信号，对声音输入信号进行回声消除处理，得到第一残差信号。
比如，网络设备可以从声音输入信号d中去除两个声道的回声信号yω1和yω2，生成第一残差信号ef，该第一残差信号可以用于滤波器参数的调整步骤。第一残差信号的生成公式可以如下：
ef(n+m)＝d(n+m)-yω1(n+m)-yω2(n+m)
304、网络设备基于第一残差信号对第一声道对应的当前滤波器参数进行调整。
比如，如图6所示，网络设备可以利用得到的第一残差信号ef以及第一声道的声音输出信号x1，对第一声道的当前滤波器参数进行调整，可以采用ω1表示调整前第一声道的滤波器参数，可以采用ω1u表示调整后第一声道的滤波器参数，滤波器参数的调整公式可以如下：
Figure BDA0002010566910000131
305、网络设备基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号。
比如，网络设备可以根据第一声道的声音输出信号x1以及第一声道对应的滤波器参数ω1u，估计出第一声道的回声信号yω1u；第二声道的声音输出信号x2以及第二声道对应的滤波器参数ω2，估计出第二声道的回声信号yω2。yω1u和yω2的计算公式可以如下：
yω1u(n+m)＝x1T(n+m)ω1u(n)
yω2(n+m)＝x2T(n+m)ω2(n)
306、网络设备基于回声信号，对声音输入信号进行回声消除处理，得到第二残差信号。
比如，网络设备可以从声音输入信号d中去除两个声道的回声信号yω1u和yω2，生成第二残差信号es，该第二残差信号可以用于滤波器参数的调整步骤。第二残差信号的生成公式可以如下：
es(n+m)＝d(n+m)-yω1u(n+m)-yω2(n+m)
307、网络设备基于第二残差信号对第二声道对应的当前滤波器参数进行调整。
比如，如图7所示，网络设备可以利用得到的第二残差信号es以及第二声道的声音输出信号x2，对第二声道的当前滤波器参数进行调整，可以采用ω2表示调整前第二声道的滤波器参数，可以采用ω2u表示调整后第二声道的滤波器参数，滤波器参数的调整公式可以如下：
Figure BDA0002010566910000141
308、网络设备基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号。
比如，网络设备可以根据第一声道的声音输出信号x1以及第一声道对应的滤波器参数ω1u，估计出第一声道的回声信号yω1u；第二声道的声音输出信号x2以及第二声道对应的滤波器参数ω2u，估计出第二声道的回声信号yω2u。yω1u和yω2u的计算公式可以如下：
yω1u(n+m)＝x1T(n+m)ω1u(n)
yω2u(n+m)＝x2T(n+m)ω2u(n)
309、网络设备基于回声信号，对声音输入信号进行回声消除处理，得到回声消除后的声音信号。
比如，如图8所示，网络设备可以从声音输入信号d中去除两个声道的回声信号yω1u和yω2u，生成回声消除后的声音信号e。回声消除后的声音信号的生成公式可以如下：
e(n+m)＝d(n+m)-yω1u(n+m)-yω2u(n+m)
如图5所示，该回声消除后的声音信号为两个声道的滤波器参数都经过一次调整后，得到的回声消除后的声音信号。两个调整后的滤波器参数可以作为之后回声消除步骤中的滤波器参数，以进行迭代计算。
在一实施例中，可以将两个滤波器参数的调整过程分别放在奇数帧和偶数帧中进行，每一次迭代只调整一个滤波器参数，可以使得每一帧的计算量大幅缩小。
在一实施例中，还可以将两个滤波器参数的调整过程放在同一帧中进行，在一帧中完成对两个滤波器参数的调整过程，从而缩短收敛时间。
在一实施例中，如果出现滤波器发散的情况，比如，回声消除后的声音信号中回声的音频能量超过声音输入信号的音频能量的80％，可以认为滤波器发生了发散的情况，可以对滤波器参数进行重置为初始值。
在一实施例中，该声音信号处理方法还可以扩展应用于多个麦克风的情况。比如，如图10所示，共有A个麦克风，MIC 1～MIC A，第B个麦克风输入的声音信号为dB，其中，B为大于等于1，小于等于A的整数。之后可以针对每一个麦克风独立执行该声音信号处理方法，分别对麦克风对应的滤波器参数进行调整。
在一实施例中，该声音信号处理方法是在时域进行滤波器参数以及滤波的过程，为了减少计算量，还可以将该声音信号处理方法扩展到频域或者分块的频域自适应滤波过程，以便采用快速傅里叶变换实现滤波和相关操作。
由上可知，本申请实施例可以通过音频设备采集声音信号，通过网络设备基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到第一残差信号，基于第一残差信号对第一声道对应的当前滤波器参数进行调整，基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到第二残差信号，基于第二残差信号对第二声道对应的当前滤波器参数进行调整，基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到回声消除后的声音信号。该方案可以通过将多个声道滤波器参数的调整过程分别放在不同帧中进行，以减少计算量。还可以通过依次对多个声道对应的滤波器参数进行调整，减少受多个声道的声音输出信号相关性的影响，从而有效的进行回声的消除。
为了更好地实施以上方法，本申请实施例还提供了一种声音信号处理装置，该声音信号处理装置具体可以集成在网络设备中。
例如，如图11所示，该声音信号处理装置可以包括采集模块111、估计模块112、回声消除模块113、确定模块114和调整模块115，如下：
采集模块111，用于采集声音信号，所述声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号；
估计模块112，用于基于每个声道对应的所述声音输出信号、滤波器参数，估计每个声道对应的回声信号；
回声消除模块113，用于基于所述回声信号，对所述声音输入信号进行回声消除处理，得到残差信号；
确定模块114，用于从所述声音输出信号的多个不同声道中确定待处理的目标声道；
调整模块115，用于基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到所述声音输出信号。
在一实施例中，如图12所示，所述确定模块114可以包括帧数获取子模块1141和确定子模块1142，如下：
帧数获取子模块1141，用于获取目标声道对应的当前信号帧数；
确定子模块1142，用于基于所述当前信号帧数从所述声音输出信号的多个不同声道中确定待处理的目标声道。
在一实施例中，所述确定子模块1142可以具体用于：
当所述当前信号帧数为奇数时，将所述第一声道确定为待处理的目标声道；
当所述当前信号帧数为偶数时，将所述第二声道确定为待处理的目标声道。
在一实施例中，如图13所示，所述调整模块115可以包括信息获取子模块1151和调整子模块1152，如下：
信息获取子模块1151，用于基于所述目标声道对应的声音输出信号、以及所述残差信号，获取滤波器变化参数需要调整的调整参考信息；
调整子模块1152，用于基于所述调整参考信息对所述目标声道对应的当前滤波器参数进行调整。
在一实施例中，所述信息获取子模块1151可以具体用于：
获取目标声道对应的当前信号帧中多个所述声音输出信号、以及所述残差信号；
将所述当前信号帧中多个所述声音输出信号、以及所述残差信号进行信号融合，得到融合信号；
对所述融合信号添加预设收敛权重，得到滤波器变化参数需要调整的调整参考信息。
在一实施例中，所述声音信号处理装置还可以包括：
对所述残差信号中残余的所述声音输出信号的音频能量进行检测，得到能量检测结果；
当所述能量检测结果达到滤波器发散条件时，对所述滤波器系数进行重置，并返回执行采集声音信号的步骤；
当所述能量检测结果未达到滤波器发散条件时，执行基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整的步骤。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本申请实施例通过采集模块111采集声音信号，声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，通过估计模块112基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，通过回声消除模块113基于回声信号，对声音输入信号进行回声消除处理，得到残差信号，通过确定模块114从声音输出信号的多个不同声道中确定待处理的目标声道，通过调整模块115基于残差信号对目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到声音输出信号。该方案可以通过将多个声道滤波器参数的调整过程分别放在不同帧中进行，以减少计算量。还可以通过依次对多个声道对应的滤波器参数进行调整，减少受多个声道的声音输出信号相关性的影响，从而有效的进行回声的消除。
本申请实施例还提供一种网络设备，该网络设备可以为服务器或终端等设备，其集成了本申请实施例所提供的任一种声音信号处理装置。如图14所示，图14是本申请实施例提供的网络设备的结构示意图，具体来讲：
该网络设备可以包括一个或者一个以上处理核心的处理器141、一个或一个以上计算机可读存储介质的存储器142、电源143和输入单元144等部件。本领域技术人员可以理解，图14中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器141是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器142内的软件程序和/或模块，以及调用存储在存储器142内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器141可包括一个或多个处理核心；优选的，处理器141可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器141中。
存储器142可用于存储软件程序以及模块，处理器141通过运行存储在存储器142的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器142可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器142可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器142还可以包括存储器控制器，以提供处理器141对存储器142的访问。
网络设备还包括给各个部件供电的电源143，优选的，电源143可以通过电源管理系统与处理器141逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源143还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元144，该输入单元144可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器141会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器142中，并由处理器141来运行存储在存储器142中的应用程序，从而实现各种功能，如下：
采集声音信号，声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到残差信号，从声音输出信号的多个不同声道中确定待处理的目标声道，基于残差信号对目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到声音输出信号。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例采集声音信号，声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到残差信号，从声音输出信号的多个不同声道中确定待处理的目标声道，基于残差信号对目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到声音输出信号。该方案可以通过将多个声道滤波器参数的调整过程分别放在不同帧中进行，以减少计算量。还可以通过依次对多个声道对应的滤波器参数进行调整，减少受多个声道的声音输出信号相关性的影响，从而有效的进行回声消除。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种声音信号处理方法中的步骤。例如，该指令可以执行如下步骤：
采集声音信号，声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，基于每个声道对应的声音输出信号、滤波器参数，估计每个声道对应的回声信号，基于回声信号，对声音输入信号进行回声消除处理，得到残差信号，从声音输出信号的多个不同声道中确定待处理的目标声道，基于残差信号对目标声道对应的当前滤波器参数进行调整，并返回执行采集声音信号的步骤，直至未采集到声音输出信号。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种声音信号处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种声音信号处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种声音信号处理方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种声音信号处理方法，其特征在于，包括：
采集声音信号，所述声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，所述声音输出信号为立体声信号，所述多个不同声道包括第一声道和第二声道；
基于每个声道对应的所述声音输出信号、滤波器参数，估计每个声道对应的回声信号；
基于所述回声信号，对所述声音输入信号进行回声消除处理，得到第一残差信号；
基于所述第一残差信号对所述第一声道对应的当前滤波器参数进行调整，得到调整后所述第一声道的滤波器参数；根据所述第一声道的声音输出信号以及调整后所述第一声道的滤波器参数，估计出所述第一声道的回声信号，根据所述第二声道的声音输出信号以及所述第二声道对应的当前滤波器参数，估计出所述第二声道的回声信号；
从所述声音输出信号的多个不同声道中确定待处理的目标声道，所述待处理的目标声道包括所述第二声道，还包括：基于所述第一声道的回声信号和所述第二声道的回声信号，对所述声音输入信号进行回声消除处理，得到第二残差信号；基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整，得到调整后第二声道的滤波器参数；基于每个声道对应的声音输出信号、所述调整后第一声道的滤波器参数和所述调整后第二声道的滤波器参数，估计调整后的每个声道对应的回声信号；基于所述调整后的每个声道对应的回声信号，对声音输入信号进行回声消除处理，并返回执行采集声音信号的步骤，直至未采集到所述声音输出信号；其中，所述基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整，包括：基于所述第二残差信号对所述第二声道对应的当前滤波器参数进行调整。
2.根据权利要求1所述的声音信号处理方法，其特征在于，从所述声音输出信号的多个不同声道中确定待处理的目标声道，包括：
获取目标声道对应的当前信号帧数；
基于所述当前信号帧数从所述声音输出信号的多个不同声道中确定待处理的目标声道。
3.根据权利要求2所述的声音信号处理方法，其特征在于，所述多个不同声道包括第一声道和第二声道；
基于所述当前信号帧数从所述声音输出信号的多个不同声道中确定待处理的目标声道，包括：
当所述当前信号帧数为奇数时，将所述第一声道确定为待处理的目标声道；
当所述当前信号帧数为偶数时，将所述第二声道确定为待处理的目标声道。
4.根据权利要求1所述的声音信号处理方法，其特征在于，基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整，包括：
基于所述目标声道对应的声音输出信号、以及所述残差信号，获取滤波器变化参数需要调整的调整参考信息；
基于所述调整参考信息对所述目标声道对应的当前滤波器参数进行调整。
5.根据权利要求4所述的声音信号处理方法，其特征在于，基于所述目标声道对应的声音输出信号、以及所述残差信号，获取滤波器变化参数需要调整的调整参考信息，包括：
获取目标声道对应的当前信号帧中多个所述声音输出信号、以及所述残差信号；
将所述当前信号帧中多个所述声音输出信号、以及所述残差信号进行信号融合，得到融合信号；
对所述融合信号添加预设收敛权重，得到滤波器变化参数需要调整的调整参考信息。
6.根据权利要求1所述的声音信号处理方法，其特征在于，基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整之前，还包括：
对所述残差信号中残余的所述声音输出信号的音频能量进行检测，得到能量检测结果；
当所述能量检测结果达到滤波器发散条件时，对所述滤波器参数进行重置，并返回执行采集声音信号的步骤；
当所述能量检测结果未达到滤波器发散条件时，执行基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整的步骤。
7.一种声音信号处理装置，其特征在于，包括：
采集模块，用于采集声音信号，所述声音信号包括当前输出的多个不同声道的声音输出信号，以及当前输入的声音输入信号，所述声音输出信号为立体声信号，所述多个不同声道包括第一声道和第二声道；
估计模块，用于基于每个声道对应的所述声音输出信号、滤波器参数，估计每个声道对应的回声信号；
回声消除模块，用于基于所述回声信号，对所述声音输入信号进行回声消除处理，得到第一残差信号；基于所述第一残差信号对所述第一声道对应的当前滤波器参数进行调整，得到调整后所述第一声道的滤波器参数；根据所述第一声道的声音输出信号以及调整后所述第一声道的滤波器参数，估计出所述第一声道的回声信号，根据所述第二声道的声音输出信号以及所述第二声道对应的当前滤波器参数，估计出所述第二声道的回声信号；
确定模块，用于从所述声音输出信号的多个不同声道中确定待处理的目标声道，所述待处理的目标声道包括所述第二声道，还包括：基于所述第一声道的回声信号和所述第二声道的回声信号，对所述声音输入信号进行回声消除处理，得到第二残差信号；
调整模块，用于基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整，得到调整后第二声道的滤波器参数；基于每个声道对应的声音输出信号、所述调整后第一声道的滤波器参数和所述调整后第二声道的滤波器参数，估计调整后的每个声道对应的回声信号；基于所述调整后的每个声道对应的回声信号，对声音输入信号进行回声消除处理，并返回执行采集声音信号的步骤，直至未采集到所述声音输出信号；其中，所述基于所述残差信号对所述目标声道对应的当前滤波器参数进行调整，包括：基于所述第二残差信号对所述第二声道对应的当前滤波器参数进行调整。
8.根据权利要求7所述的声音信号处理装置，其特征在于，所述确定模块包括帧数获取子模块和确定子模块；
帧数获取子模块，用于获取目标声道对应的当前信号帧数；
确定子模块，用于基于所述当前信号帧数从所述声音输出信号的多个不同声道中确定待处理的目标声道。
9.根据权利要求7所述的声音信号处理装置，其特征在于，所述调整模块包括信息获取子模块和调整子模块；
信息获取子模块，用于基于所述目标声道对应的声音输出信号、以及所述残差信号，获取滤波器变化参数需要调整的调整参考信息；
调整子模块，用于基于所述调整参考信息对所述目标声道对应的当前滤波器参数进行调整。
10.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
CN201910244164.1A 2019-03-28 2019-03-28 一种声音信号处理方法、装置及存储介质 Active CN110021289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910244164.1A CN110021289B (zh) 2019-03-28 2019-03-28 一种声音信号处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910244164.1A CN110021289B (zh) 2019-03-28 2019-03-28 一种声音信号处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110021289A CN110021289A (zh) 2019-07-16
CN110021289B true CN110021289B (zh) 2021-08-31

Family

ID=67190160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910244164.1A Active CN110021289B (zh) 2019-03-28 2019-03-28 一种声音信号处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110021289B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112397080B (zh) * 2020-10-30 2023-02-28 浙江大华技术股份有限公司 回声消除方法及装置、语音设备及计算机可读存储介质
CN113194387A (zh) * 2021-04-27 2021-07-30 北京小米移动软件有限公司 音频信号处理方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917527A (zh) * 2010-09-02 2010-12-15 杭州华三通信技术有限公司 回声消除的方法和装置
US20130204617A1 (en) * 2007-12-07 2013-08-08 Board Of Trustees Of Northern Illinois University Apparatus, system and method for noise cancellation and communication for incubators and related devices
CN104883462A (zh) * 2014-02-28 2015-09-02 中国科学院声学研究所 一种用于消除声学回声的自适应滤波器及滤波方法
CN106601266A (zh) * 2017-02-24 2017-04-26 喜大（上海）网络科技有限公司 回声消除方法、装置及系统
CN106898359A (zh) * 2017-03-24 2017-06-27 上海智臻智能网络科技股份有限公司 音频信号处理方法、系统、音频交互装置及计算机设备
CN107123430A (zh) * 2017-04-12 2017-09-01 广州视源电子科技股份有限公司 回声消除方法、装置、会议平板及计算机存储介质
CN107888792A (zh) * 2017-10-19 2018-04-06 浙江大华技术股份有限公司 一种回声消除方法、装置及系统
US10192567B1 (en) * 2017-10-18 2019-01-29 Motorola Mobility Llc Echo cancellation and suppression in electronic device
CN109285554A (zh) * 2017-07-20 2019-01-29 阿里巴巴集团控股有限公司 一种回声消除方法、服务器、终端及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1248477C (zh) * 2002-10-14 2006-03-29 中国科学院声学研究所 一种对话交互前端的回声消除和语音检测方法
CN101067931B (zh) * 2007-05-10 2011-04-20 芯晟(北京)科技有限公司 一种高效可配置的频域参数立体声及多声道编解码方法与系统
CN101426058B (zh) * 2008-06-17 2011-08-03 上海华平信息技术股份有限公司 一种改善多通道音频通话质量的系统及方法
JP5593852B2 (ja) * 2010-06-01 2014-09-24 ソニー株式会社 音声信号処理装置、音声信号処理方法
CN102387269B (zh) * 2010-08-27 2013-12-04 华为终端有限公司 一种单讲状态下回声抵消的方法、装置及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130204617A1 (en) * 2007-12-07 2013-08-08 Board Of Trustees Of Northern Illinois University Apparatus, system and method for noise cancellation and communication for incubators and related devices
CN101917527A (zh) * 2010-09-02 2010-12-15 杭州华三通信技术有限公司 回声消除的方法和装置
CN104883462A (zh) * 2014-02-28 2015-09-02 中国科学院声学研究所 一种用于消除声学回声的自适应滤波器及滤波方法
CN106601266A (zh) * 2017-02-24 2017-04-26 喜大（上海）网络科技有限公司 回声消除方法、装置及系统
CN106898359A (zh) * 2017-03-24 2017-06-27 上海智臻智能网络科技股份有限公司 音频信号处理方法、系统、音频交互装置及计算机设备
CN107123430A (zh) * 2017-04-12 2017-09-01 广州视源电子科技股份有限公司 回声消除方法、装置、会议平板及计算机存储介质
CN109285554A (zh) * 2017-07-20 2019-01-29 阿里巴巴集团控股有限公司 一种回声消除方法、服务器、终端及系统
US10192567B1 (en) * 2017-10-18 2019-01-29 Motorola Mobility Llc Echo cancellation and suppression in electronic device
CN107888792A (zh) * 2017-10-19 2018-04-06 浙江大华技术股份有限公司 一种回声消除方法、装置及系统

Also Published As

Publication number Publication date
CN110021289A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
JP7018130B2 (ja) 遅延時間推定に基づくエコー除去方法及び装置
CN111341336B (zh) 一种回声消除方法、装置、终端设备及介质
CN100573668C (zh) 用循环正则化作多通道回声的消除
US9344579B2 (en) Variable step size echo cancellation with accounting for instantaneous interference
CN111951819A (zh) 回声消除方法、装置及存储介质
CN110996203B (zh) 一种耳机降噪方法、装置、系统及无线耳机
EP3050322B1 (en) System and method for evaluating an acoustic transfer function
KR102190833B1 (ko) 에코 억제
WO2020097828A1 (zh) 回声消除方法、延时估计方法、装置、存储介质及设备
CN110431624B (zh) 残余回声检测方法、残余回声检测装置、语音处理芯片及电子设备
CN110021289B (zh) 一种声音信号处理方法、装置及存储介质
CN112602150A (zh) 噪声估计方法、噪声估计装置、语音处理芯片以及电子设备
CN112489670A (zh) 时延估计方法、装置、终端设备和计算机可读存储介质
CN109727605A (zh) 处理声音信号的方法及系统
FanChiang et al. Low complexity formant estimation adaptive feedback cancellation for hearing aids using pitch based processing
US11380312B1 (en) Residual echo suppression for keyword detection
CN112201273A (zh) 一种噪声功率谱密度计算方法、系统、设备及介质
WO2024088142A1 (zh) 音频信号处理方法、装置、电子设备及可读存储介质
CN116705045B (zh) 回声消除方法、装置、计算机设备和存储介质
WO2024041512A1 (zh) 音频降噪方法、装置、电子设备及可读存储介质
CN111370016B (zh) 一种回声消除方法及电子设备
CN111986694A (zh) 基于瞬态噪声抑制的音频处理方法、装置、设备及介质
CN112997249B (zh) 语音处理方法、装置、存储介质及电子设备
CN113241084B (zh) 回声消除的方法、装置及设备
CN110232905B (zh) 上行降噪方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant