CN112614500B - 回声消除方法、装置、设备及计算机存储介质 - Google Patents

回声消除方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN112614500B
CN112614500B CN201910882731.6A CN201910882731A CN112614500B CN 112614500 B CN112614500 B CN 112614500B CN 201910882731 A CN201910882731 A CN 201910882731A CN 112614500 B CN112614500 B CN 112614500B
Authority
CN
China
Prior art keywords
signal
neural network
network model
cyclic neural
echo cancellation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910882731.6A
Other languages
English (en)
Other versions
CN112614500A (zh
Inventor
朱城锐
冯大航
陈孝良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SoundAI Technology Co Ltd
Original Assignee
Beijing SoundAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SoundAI Technology Co Ltd filed Critical Beijing SoundAI Technology Co Ltd
Priority to CN201910882731.6A priority Critical patent/CN112614500B/zh
Publication of CN112614500A publication Critical patent/CN112614500A/zh
Application granted granted Critical
Publication of CN112614500B publication Critical patent/CN112614500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/085—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using digital techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请公开了一种回声消除方法、装置、设备及计算机存储介质，属于信号处理领域。所述方法包括：获取输出音频信号以及传声器采集的传声器信号，以输出音频信号作为样本，通过线性回声消除算法对传声器信号进行处理，得到处理信号，将输出音频信号以及处理信号输入循环神经网络模型，循环神经网络模型包括多个矩阵参数，至少一个矩阵参数由两个分量矩阵的乘法算式构成，两个分量矩阵中元素数量的和小于两个分量矩阵的乘积中元素数量的和，获取循环神经网络模型输出的对处理信号的降噪结果。本申请解决了相关技术中循环神经网络模型的计算量较大的问题。达到了减小循环神经网络模型计算量的效果。

Description

回声消除方法、装置、设备及计算机存储介质
技术领域
本申请涉及信号处理领域，特别涉及一种回声消除方法、装置、设备及计算机存储介质。
背景技术
用户在使用终端进行对话时，终端会将输出音频信号通过扬声器播放给用户，并会通过传声器采集近端声音信号(包括除扬声器发出的声音外的其它声音，例如用户发出的声音)。但是，在采集近端声音信号时，扬声器发出的声音也会一并被传声器采集，也即是扬声器发出的声音会作为回声对传声器造成干扰。目前通过线性回声消除算法处理传声器采集的传声器信号时，难以完全消除回声，还会存在残留回声信号。
相关技术的一种回声消除方法中，获取输出音频信号以及传声器采集的传声器信号，之后以输出音频信号作为样本，通过线性回声消除算法对传声器信号进行处理，得到处理信号，再将输出音频信号以及该处理信号一并输入循环神经网络模型，以消除残留回声信号，得到近端声音信号。
但是，循环神经网络模型通常包括多个作为参数的矩阵，矩阵中的元素数量较多，进而导致循环神经网络模型的计算量较大。
发明内容
本申请实施例提供了一种回声消除方法、装置以及计算机存储介质。所述技术方案包括：
根据本申请的第一方面，提供了一种回声消除方法，所述回声消除方法包括：
获取输出音频信号以及传声器采集的传声器信号；
以所述输出音频信号作为样本，通过线性回声消除算法对所述传声器信号进行处理，得到处理信号；
将所述输出音频信号以及所述处理信号输入循环神经网络模型，所述循环神经网络模型包括多个矩阵参数，至少一个矩阵参数由两个分量矩阵的乘法算式构成，所述两个分量矩阵中元素数量的和小于所述两个分量矩阵的乘积中元素数量的和；
获取所述循环神经网络模型输出的对所述处理信号的降噪结果。
可选的，所述循环神经网络模型是采用如下步骤训练得到的，获取初始循环神经网络模型，所述初始循环神经网络模型包括多个作为参数的原始矩阵；
对至少一个所述原始矩阵进行分解，得到两个分量矩阵的乘法算式构成的所述矩阵参数；
对所述初始循环神经网络模型进行训练，得到所述循环神经网络模型。
可选的，所述对所述初始循环神经网络模型进行训练，得到所述循环神经网络模型，包括获取训练数据，所述训练数据包括样本近端声音信号、样本环境噪声信号、样本残留回声信号以及样本输出音频信号；
根据所述训练数据获取理想比率掩膜；
根据所述理想比率掩膜以及所述训练数据对所述初始循环神经网络模型进行训练，得到所述循环神经网络模型，所述循环神经网络模型的输出与所述理想比率掩膜拟合。
可选的，所述根据所述训练数据获取理想比率掩膜，包括根据理想比率掩膜公式确定所述理想比率掩膜，所述理想比率掩膜公式包括：
其中，所述IRM为所述理想比率掩膜，所述S为所述样本近端声音信号，所述D为所述样本残留回声信号，所述V为样本环境噪声信号，所述m为所述S、所述D、所述V以及所述IRM的帧，所述c为所述S、所述D、所述V以及所述IRM的频段。
可选的，所述获取初始循环神经网络模型，包括定义所述初始循环神经网络模型包括输入层、多个门控循环单元层、至少一个全连接层以及输出层。
可选的，任一所述门控循环单元层包括
zt＝σ(Wz·[ht-1，xt])
rt＝σ(Wr·[ht-1，xt])
其中，所述Wz、所述Wr和所述W均为所述矩阵参数。所述zt为重置门，所述rt为更新门，所述xt为所述样本输出音频信号以及所述训练数据经过所述线性回声消除算法处理后得到的处理信号的组合信号，所述σ和所述tanh为预设的非线性函数，所述ht为本层门控循环单元层的输出，所述ht-1为上一层门控循环单元层的输出，所述为中间变量。
可选的，所述门控循环单元层均为单向门控循环单元层。
另一方面，提供了一种回声消除装置，所述回声消除装置包括：
传声器信号获取模块，用于获取输出音频信号以及传声器采集的传声器信号；
线性处理模块，用于以所述输出音频信号作为样本，通过线性回声消除算法对所述传声器信号进行处理，得到处理信号；
输入模块，用于将所述输出音频信号以及所述处理信号输入循环神经网络模型，所述循环神经网络模型包括多个矩阵参数，至少一个矩阵参数由两个分量矩阵的乘法算式构成，所述两个分量矩阵中元素数量的和小于所述两个分量矩阵的乘积中元素数量的和；
获取模块，用于获取所述循环神经网络模型输出的对所述处理信号的降噪结果。
可选的，所述回声消除装置包括初始模型获取模块，用于获取初始循环神经网络模型，所述初始循环神经网络模型包括多个作为参数的原始矩阵；
分解模块，用于对至少一个所述原始矩阵进行分解，得到两个分量矩阵的相乘算式乘法算式构成的所述矩阵参数；
训练模块，用于对所述初始循环神经网络模型进行训练，得到所述循环神经网络模型。
可选的，所述训练模块包括训练数据获取子模块，用于获取训练数据，所述训练数据包括样本近端声音信号、样本环境噪声信号、样本残留回声信号以及样本输出音频信号；
掩膜获取子模块，用于根据所述训练数据获取理想比率掩膜；
训练子模块，用于根据所述初始理想比率掩膜以及所述训练数据对所述初始循环神经网络模型进行训练，得到所述循环神经网络模型，所述循环神经网络模型的输出与所述理想比率掩膜拟合。
可选的，所述掩膜获取子模块，用于根据理想比率掩膜公式确定所述理想比率掩膜，所述理想比率掩膜公式包括：
其中，所述IRM为所述理想比率掩膜，所述S为所述样本近端声音信号，所述D为所述样本残留回声信号，所述V为样本环境噪声信号，所述m为所述S、所述D、所述V以及所述IRM的帧，所述c为所述S、所述D、所述V以及所述IRM的频段。
可选的，所述初始模型获取模块，用于定义所述初始循环神经网络模型包括输入层、多个门控循环单元层、至少一个全连接层以及输出层。
可选的，任一所述门控循环单元层包括：
zt＝σ(Wz·[ht-1，xt])
rt＝σ(Wr·[ht-1，xt])
其中，所述Wz、所述Wr和所述W均为所述矩阵参数。所述zt为重置门，所述rt为更新门，所述xt为所述样本输出音频信号以及所述训练数据经过所述线性回声消除算法处理后得到的处理信号的组合信号，所述σ和所述tanh为预设的非线性函数，所述ht为本层门控循环单元层的输出，所述ht-1为上一层门控循环单元层的输出，所述为中间变量。
可选的，所述门控循环单元层均为单向门控循环单元层。
又一方面，提供了一种回声消除设备，其特征在于，所述回声消除设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的回声消除方法。
再一方面，提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的回声消除方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请提供了一种回声消除方法，该方法通过在训练循环神经网络模型之前对任一作为参数的原始矩阵进行分解，得到由两个分量矩阵的乘法算式构成的矩阵参数，且该两个分量矩阵中元素数量的和小于原始矩阵中的元素数量，如此便减少了参数中元素的数量。解决了相关技术中循环神经网络模型的计算量较大的问题。达到了减小循环神经网络模型计算量的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的回声消除方法的实施环境的示意图；
图2是本申请实施例提供的一种回声消除方法流程图；
图3是本申请实施例提供的另一种回声消除方法的流程图；
图4是图3所示另一种回声消除方法中循环神经网络模型的架构图；
图5是原始矩阵(也即是两个分量矩阵的乘积)以及元素的示意图；
图6是两个分量矩阵以及元素的示意图；
图7是本申请实施例提供的一种回声消除装置的框图；
图8是本申请实施例提供的另一种回声消除装置的框图；
图9是本申请实施例提供的一种回声消除设备的结构示意图；
图10是本申请实施例提供的一种回声消除装置的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
目前，在一种消除残留回声的方法中，获取输出音频信号以及传声器采集的传声器信号，之后将以输出音频信号作为样本，通过线性回声消除算法对传声器信号进行处理，得到处理信号，之后将输出音频信号以及处理信号一并输入循环神经网络模型，以消除残留回声信号，得到近端声音信号。
但是，在训练以及使用循环神经网络模型时，循环神经网络模型中包括多个作为参数的矩阵，矩阵中的元素数量较多，导致在训练以及使用循环神经网络模型时计算量较大，耗时较长。
本申请实施例提供了一种回声消除方法、装置以及计算机存储介质。
图1是本申请实施例提供的回声消除方法的实施环境的示意图，该实施环境可以包括服务器11以及终端12。
服务器11可以为一个服务器或服务器集群。
终端12可以为手机、平板电脑、笔记本电脑、智能可穿戴设备等各种具有对话功能的终端。终端12可以通过有线或无线的方式(图1示出的是以无线的方式进行连接的情况)与服务器连接。
用户在使用终端12进行对话时，终端12会将输出音频信号通过扬声器播放给用户，并会通过传声器采集近端声音信号(包括除扬声器发出的声音外的其它声音，例如用户发出的声音)。但是，在采集近端声音信号时，扬声器发出的声音也会一并被传声器采集，也即是扬声器发出的声音会作为回声对传声器造成干扰。
图2是本申请实施例示出的一种回声消除方法的流程图。该回声消除方法可以应用于上述实施环境的终端中。该回声消除方法可以包括：
步骤201，获取输出音频信号以及传声器采集的传声器信号。
步骤202，以输出音频信号作为样本，通过线性回声消除算法对传声器信号进行处理，得到处理信号。
示例性的，线性回声消除算法可以是归一化最小均方自适应算法(NLMS，Normalized Least Mean Square)。
步骤203，将输出音频信号以及处理信号输入循环神经网络模型，循环神经网络模型包括多个矩阵参数，至少一个矩阵参数由两个分量矩阵的乘法算式构成，两个分量矩阵中元素数量的和小于两个分量矩阵的乘积中元素数量的和。
步骤204，获取循环神经网络模型输出的对处理信号的降噪结果。
综上所述，本申请实施例提供了一种回声消除方法，该方法通过在训练循环神经网络模型之前对任一作为参数的原始矩阵进行分解，得到由两个分量矩阵的乘法算式构成的矩阵参数，且该两个分量矩阵中元素数量的和小于原始矩阵中的元素数量，如此便减少了参数中元素的数量。解决了相关技术中循环神经网络模型的计算量较大的问题。达到了减小循环神经网络模型计算量的效果。
图3是本申请实施例提供的另一种回声消除方法的流程图，该回声消除方法可以应用于上述实施环境的终端中(例如可以应用于终端中的回声消除模块(AEC，AcousticEcho Canceller)中)。参考图3可以看出，该回声消除方法可以包括：
步骤301，定义初始循环神经网络模型包括输入层、多个单向门控循环单元层、至少一个全连接层以及输出层。初始循环神经网络模型包括多个作为参数的原始矩阵。
在应用本申请实施例提供的回声消除方法时，终端可以先获取初始循环神经网络模型，该初始循环神经网络模型可以是一个包括输入层、多个单向门控循环单元层、至少一个全连接层以及输出层的模型架构。
其中，任一门控循环单元层包括：
zt＝σ(Wz·[ht-1，xt])
rt＝σ(Wr·[ht-1，xt])
其中，Wz、Wr和W均为矩阵参数。zt为重置门，rt为更新门，xt为样本输出音频信号以及训练数据经过线性回声消除算法处理后得到的处理信号的组合信号，σ和tanh为预设的非线性函数，ht为本层门控循环单元层的输出，ht-1为上一层门控循环单元层的输出，为中间变量。
示例性的，图4是图3所示另一种回声消除方法中一种循环神经网络模型的架构图。该循环神经网络模型包括输入层、四个单向门控循环层、一个全连接层以及输出层。在循环神经网络模型中，上一层的输出为下一层的输入。
其中，训练数据的维数以及每层的节点数可以根据具体需求进行设定，本申请实施例对此不进行限定。
在本申请实施例中，单向门控循环单元层(GRU，Gated Recurrent Unit)与一般的循环神经网络模型，例如双向长短期记忆网络(BiLSTM，Bi-directional Long Short-TermMemory)相比，单向门控循环单元层结构较为简单，可以减少计算量，从而减少训练循环神经网络模型的时间，以及减少消除残留回声的时间。
其中，单向门控循环单元层也可选择为双向门控循环单元层，本申请实施例不做限制。
步骤302，对至少一个原始矩阵进行分解，得到两个分量矩阵的乘法算式构成的矩阵参数。
其中，两个分量矩阵的乘积与原始矩阵可能并不是完全相等的关系，而是近似相等的关系。例如，原始矩阵X为m*n的矩阵，可以寻找m*r的分量矩阵W与r*n的分量矩阵H，使得其关系满足：
X≈WH；
r满足(m+n)r<mn。此外，一般循环神经网络模型矩阵参数X内元素数量较多，为了避免r的选择不合理导致循环神经网络模型的输出无法与理想比率掩膜拟合，r的选择还可以满足(m+n)r>m+n。
示例性的，可以将上述W分解为W1W2，其中，W维度为300*600，W1维度为300*32，W2维度为32*600，这样W1与W2相乘后维度依旧为300*600，但是参数数量为(300+600)*32，相较于未分解前W的参数数量300*600，参数数量减少。Wr和Wz均可做类似的处理。
在本申请实施例中，在训练初始循环神经网络模型时就将原始矩阵分解，可以减少训练初始循环神经网络模型的时间。
图5是原始矩阵(也即是两个分量矩阵的乘积)以及元素的示意图，其中，左边一列的每个圆圈代表原始矩阵的一行，右边一列的每个圆圈代表原始矩阵的一列，则每条线代表一个元素。图6是两个分量矩阵以及元素的示意图，其中，左边一列的每个圆圈代表一个分量矩阵的一行，中间一列的每个圆圈代表该分量矩阵的一列以及另一个分量矩阵的一行，右边一列的每个圆圈代表该另一个分量矩阵的一列，则每条线代表一个元素。对比图5与图6可以看出，两个分量矩阵中元素数量的和小于两个分量矩阵的乘积中元素数量的和。
在本申请实施例中，任一矩阵参数由两个分量矩阵的乘法算式构成可以大幅地减小循环神经网络模型中矩阵参数中的参数数量。
步骤303，获取训练数据。训练数据包括样本近端声音信号、样本环境噪声信号、样本残留回声信号以及样本输出音频信号。
在本申请实施例中，训练数据均为在理想状态下的已知信息。
终端可以对训练数据进行预处理，预处理可以包括短时傅里叶变换。示例性的，采样率为16000Hz，每一帧的时长为20ms，相邻两帧距离为10ms的情况下，可以对训练数据进行320个点短时傅里叶变换得到频域上的信号，每帧得到161维的处理信号以及161维的输出音频信号，这两个信号共同构成322维的数据，该数据可以作为初始循环神经网络模型中输入层的输入。
步骤304，根据训练数据获取理想比率掩膜。
终端可以根据理想比率掩膜公式确定理想比率掩膜，理想比率掩膜公式可以包括：
其中，IRM为理想比率掩膜，S为样本近端声音信号，D为样本残留回声信号，V为样本环境噪声信号，m为S、D、V以及IRM的帧，c为S、D、V以及IRM的频段。
示例性的，当训练数据为322维的数据时，IRM为161维的数据。
步骤305，根据理想比率掩膜以及训练数据对初始循环神经网络模型进行训练，得到循环神经网络模型，循环神经网络模型的输出与理想比率掩膜拟合。
终端在获取了理想比率掩膜以及训练数据后，可以对初始循环神经网络模型进行训练，得到循环神经网络模型，循环神经网络模型的输出与理想比率掩膜拟合。
循环神经网络模型的输出通常无法完全等于理想比率掩膜，因而可以通过不断地训练使循环神经网络模型的输出不断接近于理想比率掩膜，也即是使循环神经网络模型的输出与理想比率掩膜拟合。
示例性的，以图4所示的模型为例，当每个单向门控循环单元层的节点数为300，训练数据为322维的数据时，第一层单向门控循环单元层的输入为322维的训练数据，输出为300维的数据，从第二层起，任一层单向门控循环单元层的输入为上一层单向门控循环单元层的输出，也即是第二层单向门控循环单元层的输入为300维的数据，类似的一直到全连接层，全连接层的输入为上一层单向门控循环单元层的输出，也即是300维的数据，全连接层提取出161维数据作为输出，最后输出层输出训练得到的结果为161维的数据。可以调整每个单向门控循环单元层的参数以使该161维的数据与IRM逐渐拟合。
步骤301至步骤305为训练循环神经网络模型的步骤，这些步骤也可以由服务器执行，本申请实施例不进行限制。
后续步骤为训练好的循环神经网络模型的使用步骤。
步骤306，获取输出音频信号以及传声器采集的传声器信号。
终端在进行回声消除时，可以先获取输出音频信号以及传声器采集的传声器信号。其中，输出音频信号为终端向用户播放的语音信号。传声器信号可以由终端的传声器来采集得到。当本步骤由服务器执行时，可以由终端将输出音频信号以及传声器信号发送至服务器。
示例性的，输出音频信号可以为用户使用终端进行通话时，终端通过扬声器播放的其他用户发出的语音信号。此外，输出音频信号也可以为终端根据预设程序生成，用于向用户播放的音频信号，例如可以是智能问答系统生成的用于与用户交流的音频信号。
步骤307，以输出音频信号作为样本，通过线性回声消除算法对传声器信号进行处理，得到处理信号。
步骤308，将输出音频信号以及处理信号输入循环神经网络模型。
在得到输出音频信号以及处理信号后，终端可以将这两个信号输出步骤305训练得到的循环神经网络模型。该模型可以对处理信号中的回声残留信号进行消除。
步骤309，获取循环神经网络模型输出的对处理信号的降噪结果。
本申请实施例提供的回声消除方法中，循环神经网络模型的计算量较小，占用芯片的内存小，因而可以应用于低功耗的芯片中，应用范围较广。
综上所述，本申请实施例提供了一种回声消除方法，该方法通过在训练循环神经网络模型之前对任一作为参数的原始矩阵进行分解，得到由两个分量矩阵的乘法算式构成的矩阵参数，且该两个分量矩阵中元素数量的和小于原始矩阵中的元素数量，如此便减少了参数中元素的数量。解决了相关技术中循环神经网络模型的计算量较大的问题。达到了减小循环神经网络模型计算量的效果。
在一个示例性实施例中，先获取理想状态下的样本近端声音信号、样本环境噪声信号、样本残留回声信号以及样本输出音频信号所构成的训练数据，并进行短时傅里叶变换，以将训练数据转换为频域上的信号；之后根据理想比率掩膜公式以及训练数据确定理想比率掩膜。根据理想比率掩膜以及训练数据训练初始循环神经网络模型，得到循环神经网络模型，循环神经网络模型的输出与理想比率掩膜拟合。在训练初始循环神经网络模型时，将矩阵参数Wz、Wr和W分解，以减少这些矩阵参数中元素的数量。
在应用训练完成的循环神经网络模型时，终端可以获取输出音频信号以及传声器采集的传声器信号，并以输出音频信号作为样本，通过归一化最小均方自适应算法对传声器信号进行处理，得到处理信号，之后将输出音频信号以及处理信号输入循环神经网络模型，得到循环神经网络模型输出的对处理信号的降噪结果。
图7是本申请实施例提供的回声消除装置的框图。参考图7可以看出，该回声消除装置400可以包括：
传声器信号获取模块401，用于获取输出音频信号以及传声器采集的传声器信号。
线性处理模块402，用于以输出音频信号作为样本，通过线性回声消除算法对传声器信号进行处理，得到处理信号。
示例性的，线性回声消除算法可以是归一化最小均方自适应算法(NLMS，Normalized Least Mean Square)。
输入模块403，用于将输出音频信号以及处理信号输入循环神经网络模型，循环神经网络模型包括多个矩阵参数，至少一个矩阵参数由两个分量矩阵的乘法算式构成，两个分量矩阵中元素数量的和小于两个分量矩阵的乘积中元素数量的和。
获取模块404，用于获取循环神经网络模型输出的对处理信号的降噪结果。
综上所述，本申请实施例提供了一种回声消除装置，该装置通过在训练循环神经网络模型之前对任一作为参数的原始矩阵进行分解，得到由两个分量矩阵的乘法算式构成的矩阵参数，且该两个分量矩阵中元素数量的和小于原始矩阵中的元素数量，如此便减少了参数中元素的数量。解决了相关技术中循环神经网络模型的计算量较大的问题。达到了减小循环神经网络模型计算量的效果。
图8是本申请实施例提供的另一种回声消除装置的框图。参考图8可以看出，该回声消除装置400可以包括：
初始模型获取模块401，用于定义初始循环神经网络模型包括输入层、多个单向门控循环单元层、至少一个全连接层以及输出层。
其中，任一门控循环单元层包括：
zt＝σ(Wz·[ht-1，xt])
rt＝σ(Wr·[ht-1，xt])
其中，Wz、Wr和W均为矩阵参数。zt为重置门，rt为更新门，xt为样本输出音频信号以及训练数据经过线性回声消除算法处理后得到的处理信号的组合信号，σ和tanh为预设的非线性函数，ht为本层门控循环单元层的输出，ht-1为上一层门控循环单元层的输出，为中间变量。
分解模块402，用于对至少一个原始矩阵进行分解，得到两个分量矩阵的相乘算式乘法算式构成的矩阵参数。
训练数据获取子模块403，用于获取训练数据，训练数据包括样本近端声音信号、样本环境噪声信号、样本残留回声信号以及样本输出音频信号。
掩膜获取子模块404，用于根据训练数据获取理想比率掩膜。
其中掩膜获取子模块404可以根据理想比率掩膜公式确定理想比率掩膜，理想比率掩膜公式包括：
其中，IRM为理想比率掩膜，S为样本近端声音信号，D为样本残留回声信号，V为样本环境噪声信号，m为S、D、V以及IRM的帧，c为S、D、V以及IRM的频段。
训练子模块405，用于根据理想比率掩膜以及训练数据对初始循环神经网络模型进行训练，得到循环神经网络模型，循环神经网络模型的输出与理想比率掩膜拟合。
传声器信号获取模块406，用于获取输出音频信号以及传声器采集的传声器信号。
线性处理模块407，用于以输出音频信号作为样本，通过线性回声消除算法对传声器信号进行处理，得到处理信号。
输入模块408，用于将输出音频信号以及处理信号输入循环神经网络模型。
获取模块409，用于获取循环神经网络模型输出的对处理信号的降噪结果。
综上所述，本申请实施例提供了一种回声消除装置，该装置通过在训练循环神经网络模型之前对任一作为参数的原始矩阵进行分解，得到由两个分量矩阵的乘法算式构成的矩阵参数，且该两个分量矩阵中元素数量的和小于原始矩阵中的元素数量，如此便减少了参数中元素的数量。解决了相关技术中循环神经网络模型的计算量较大的问题。达到了减小循环神经网络模型计算量的效果。
图9是本申请实施例提供的一种回声消除设备的结构示意图。该回声消除设备900可以是：计算机、平板电脑、智能手机、车载导航仪、多媒体播放器或者可穿戴式设备等。回声消除设备900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，回声消除设备900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用数字信号处理(digital signal processing，DSP)、现场可编程门阵列(field-programmable gate array，FPGA)、可编程逻辑阵列(programmable logic array，PLA)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(central processingunit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有图像处理器(graphics processing unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括人工智能(artificial intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的回声消除方法。
在一些实施例中，回声消除设备900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路504、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将输入/输出(input/output，I/O)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射射频(radio frequency，RF)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或无线保真(wireless fidelity，WiFi)网络。在一些实施例中，射频电路904还可以包括近距离无线通信(near field communication，NFC)有关的电路，本申请对此不加以限定。
显示屏905用于显示用户界面(user interface，UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置回声消除设备900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在回声消除设备900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在回声消除设备900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organiclight-emitting diode，OLED)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在回声消除设备的前面板，后置摄像头设置在回声消除设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实(virtual reality，VR)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在回声消除设备900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位回声消除设备900的当前地理位置，以实现导航或基于位置的服务(location based service，LBS)。定位组件908可以是基于美国的全球定位系统(global positioning system，GPS)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为回声消除设备900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，回声消除设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以回声消除设备900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测回声消除设备900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对回声消除设备900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在回声消除设备900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在回声消除设备900的侧边框时，可以检测用户对回声消除设备900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置回声消除设备900的正面、背面或侧面。当回声消除设备900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在回声消除设备900的前面板。接近传感器916用于采集用户与回声消除设备900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与回声消除设备900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与回声消除设备900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对回声消除设备900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
请参考图10，其示出了本申请实施例提供的一种回声消除装置1000的结构示意图，该回声消除装置1000可以为服务器。示例地，如图10所示，该装置1000包括中央处理单元(CPU)1001、包括随机存取存储器(RAM)1002和只读存储器(ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。装置1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。
基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。大容量存储设备1007及其相关联的计算机可读介质为装置1000提供非易失性存储。也就是说，大容量存储设备1007可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。
根据本申请的各种实施例，装置1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即装置1000可以通过连接在系统总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行，以实现本申请实施例提供的方法。
本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由处理器加载并执行以实现如上述方法实施例所提供的回声消除方法。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种回声消除方法，其特征在于，所述方法包括：
获取输出音频信号以及传声器采集的传声器信号；
以所述输出音频信号作为样本，通过线性回声消除算法对所述传声器信号进行处理，得到处理信号；
将所述输出音频信号以及所述处理信号输入循环神经网络模型，所述循环神经网络模型包括多个矩阵参数，至少一个矩阵参数由两个分量矩阵的乘法算式构成，所述两个分量矩阵中元素数量的和小于所述两个分量矩阵的乘积中元素数量的和；
获取所述循环神经网络模型输出的对所述处理信号的降噪结果；
所述循环神经网络模型是采用如下步骤训练得到的：
获取初始循环神经网络模型，所述初始循环神经网络模型包括多个作为参数的原始矩阵；
对至少一个所述原始矩阵进行分解，得到两个分量矩阵的乘法算式构成的所述矩阵参数；
获取训练数据，所述训练数据包括样本近端声音信号、样本环境噪声信号、样本残留回声信号以及样本输出音频信号；
根据所述训练数据获取理想比率掩膜；
根据所述理想比率掩膜以及所述训练数据对所述初始循环神经网络模型进行训练，得到所述循环神经网络模型，所述循环神经网络模型的输出与所述理想比率掩膜拟合。
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据获取理想比率掩膜，包括：
根据理想比率掩膜公式确定所述理想比率掩膜，所述理想比率掩膜公式包括：
其中，所述IRM为所述理想比率掩膜，所述S为所述样本近端声音信号，所述D为所述样本残留回声信号，所述V为样本环境噪声信号，所述m为所述S、所述D、所述V以及所述IRM的帧，所述c为所述S、所述D、所述V以及所述IRM的频段。
3.根据权利要求1所述的方法，其特征在于，所述获取初始循环神经网络模型，包括：
定义所述初始循环神经网络模型包括输入层、多个门控循环单元层、至少一个全连接层以及输出层。
4.根据权利要求3所述的方法，其特征在于，任一所述门控循环单元层包括：
zt＝σ(Wz·[ht-1，xt])
rt＝σ(Wr·[ht-1，xt])
其中，所述Wz、所述Wr和所述W均为所述矩阵参数，所述zt为重置门，所述rt为更新门，所述xt为所述样本输出音频信号以及所述训练数据经过所述线性回声消除算法处理后得到的处理信号的组合信号，所述σ和所述tanh为预设的非线性函数，所述ht为本层门控循环单元层的输出，所述ht-1为上一层门控循环单元层的输出，所述为中间变量。
5.根据权利要求3所述的方法，其特征在于，所述门控循环单元层均为单向门控循环单元层。
6.一种回声消除装置，其特征在于，所述装置包括：
传声器信号获取模块，用于获取输出音频信号以及传声器采集的传声器信号；
线性处理模块，用于以所述输出音频信号作为样本，通过线性回声消除算法对所述传声器信号进行处理，得到处理信号；
输入模块，用于将所述输出音频信号以及所述处理信号输入循环神经网络模型，所述循环神经网络模型包括多个矩阵参数，至少一个矩阵参数由两个分量矩阵的乘法算式构成，所述两个分量矩阵中元素数量的和小于所述两个分量矩阵的乘积中元素数量的和；
获取模块，用于获取所述循环神经网络模型输出的对所述处理信号的降噪结果；
初始模型获取模块，用于获取初始循环神经网络模型，所述初始循环神经网络模型包括多个作为参数的原始矩阵；
分解模块，用于对至少一个所述原始矩阵进行分解，得到两个分量矩阵的相乘算式乘法算式构成的所述矩阵参数；
训练模块，所述训练模块包括：
训练数据获取子模块，用于获取训练数据，所述训练数据包括样本近端声音信号、样本环境噪声信号、样本残留回声信号以及样本输出音频信号；
掩膜获取子模块，用于根据所述训练数据获取理想比率掩膜；
训练子模块，用于根据所述理想比率掩膜以及所述训练数据对所述初始循环神经网络模型进行训练，得到所述循环神经网络模型，所述循环神经网络模型的输出与所述理想比率掩膜拟合。
7.根据权利要求6所述的装置，其特征在于，所述掩膜获取子模块，用于：
根据理想比率掩膜公式确定所述理想比率掩膜，所述理想比率掩膜公式包括：
其中，所述IRM为所述理想比率掩膜，所述S为所述样本近端声音信号，所述D为所述样本残留回声信号，所述V为样本环境噪声信号，所述m为所述S、所述D、所述V以及所述IRM的帧，所述c为所述S、所述D、所述V以及所述IRM的频段。
8.根据权利要求6所述的装置，其特征在于，所述初始模型获取模块，用于：
定义所述初始循环神经网络模型包括输入层、多个门控循环单元层、至少一个全连接层以及输出层。
9.根据权利要求8所述的装置，其特征在于，任一所述门控循环单元层包括：
zt＝σ(Wz·[ht-1，xt])
rt＝σ(Wr·[ht-1，xt])
其中，所述Wz、所述Wr和所述W均为所述矩阵参数，所述zt为重置门，所述rt为更新门，所述xt为所述样本输出音频信号以及所述训练数据经过所述线性回声消除算法处理后得到的处理信号的组合信号，所述σ和所述tanh为预设的非线性函数，所述ht为本层门控循环单元层的输出，所述ht-1为上一层门控循环单元层的输出，所述为中间变量。
10.根据权利要求8所述的装置，其特征在于，所述门控循环单元层均为单向门控循环单元层。
11.一种回声消除设备，其特征在于，所述回声消除设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的回声消除方法。
12.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的回声消除方法。
CN201910882731.6A 2019-09-18 2019-09-18 回声消除方法、装置、设备及计算机存储介质 Active CN112614500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910882731.6A CN112614500B (zh) 2019-09-18 2019-09-18 回声消除方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910882731.6A CN112614500B (zh) 2019-09-18 2019-09-18 回声消除方法、装置、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112614500A CN112614500A (zh) 2021-04-06
CN112614500B true CN112614500B (zh) 2024-06-25

Family

ID=75224241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910882731.6A Active CN112614500B (zh) 2019-09-18 2019-09-18 回声消除方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112614500B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421579B (zh) * 2021-06-30 2024-06-07 北京小米移动软件有限公司 声音处理方法、装置、电子设备和存储介质
CN113744748A (zh) * 2021-08-06 2021-12-03 浙江大华技术股份有限公司 一种网络模型的训练方法、回声消除方法及设备
CN113779868A (zh) * 2021-08-13 2021-12-10 一汽奔腾轿车有限公司 一种矩形孔金属板屏蔽效能预测方法、系统、终端及存储介质
CN114283830A (zh) * 2021-12-17 2022-04-05 南京工程学院 基于深度学习网络的麦克风信号回声消除模型构建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685562A (zh) * 2012-11-21 2015-06-03 华为技术有限公司 用于从嘈杂输入信号中重构目标信号的方法和设备
CN107481728A (zh) * 2017-09-29 2017-12-15 百度在线网络技术（北京）有限公司 背景声消除方法、装置及终端设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8015003B2 (en) * 2007-11-19 2011-09-06 Mitsubishi Electric Research Laboratories, Inc. Denoising acoustic signals using constrained non-negative matrix factorization
JP5942420B2 (ja) * 2011-07-07 2016-06-29 ヤマハ株式会社 音響処理装置および音響処理方法
US9324321B2 (en) * 2014-03-07 2016-04-26 Microsoft Technology Licensing, Llc Low-footprint adaptation and personalization for a deep neural network
US10262677B2 (en) * 2015-09-02 2019-04-16 The University Of Rochester Systems and methods for removing reverberation from audio signals
CN105448302B (zh) * 2015-11-10 2019-06-25 厦门快商通科技股份有限公司 一种环境自适应的语音混响消除方法和系统
CN105957520B (zh) * 2016-07-04 2019-10-11 北京邮电大学 一种适用于回声消除系统的语音状态检测方法
US9947337B1 (en) * 2017-03-21 2018-04-17 Omnivision Technologies, Inc. Echo cancellation system and method with reduced residual echo
KR101934636B1 (ko) * 2017-04-14 2019-01-02 한양대학교 산학협력단 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치
CN108009150B (zh) * 2017-11-28 2021-01-05 北京新美互通科技有限公司 一种基于循环神经网络的输入方法及装置
KR102016663B1 (ko) * 2017-12-01 2019-08-30 서울과학기술대학교 산학협력단 잡음이 섞인 입력 음성 신호로부터 잡음을 제거하는 장치
CN108717178A (zh) * 2018-04-12 2018-10-30 福州瑞芯微电子股份有限公司 一种基于神经网络的声源定位方法和装置
CN110491403B (zh) * 2018-11-30 2022-03-04 腾讯科技（深圳）有限公司 音频信号的处理方法、装置、介质和音频交互设备
CN110164465B (zh) * 2019-05-15 2021-06-29 上海大学 一种基于深层循环神经网络的语音增强方法及装置
CN110189761B (zh) * 2019-05-21 2021-03-30 哈尔滨工程大学 一种基于贪婪深度字典学习的单信道语音去混响方法
CN110148420A (zh) * 2019-06-30 2019-08-20 桂林电子科技大学 一种适用于噪声环境下的语音识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685562A (zh) * 2012-11-21 2015-06-03 华为技术有限公司 用于从嘈杂输入信号中重构目标信号的方法和设备
CN107481728A (zh) * 2017-09-29 2017-12-15 百度在线网络技术（北京）有限公司 背景声消除方法、装置及终端设备

Also Published As

Publication number Publication date
CN112614500A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112614500B (zh) 回声消除方法、装置、设备及计算机存储介质
CN111445901B (zh) 音频数据获取方法、装置、电子设备及存储介质
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN109558837B (zh) 人脸关键点检测方法、装置及存储介质
CN111127509B (zh) 目标跟踪方法、装置和计算机可读存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110956580B (zh) 图像换脸的方法、装置、计算机设备以及存储介质
CN111613213B (zh) 音频分类的方法、装置、设备以及存储介质
CN110705614A (zh) 模型训练方法、装置、电子设备及存储介质
CN110991445B (zh) 竖排文字识别方法、装置、设备及介质
CN111931712B (zh) 人脸识别方法、装置、抓拍机及系统
CN110543403B (zh) 一种功耗评估的方法及装置
CN109767482B (zh) 图像处理方法、装置、电子设备及存储介质
CN112750449B (zh) 回声消除方法、装置、终端、服务器及存储介质
CN108881739B (zh) 图像生成方法、装置、终端及存储介质
CN115334413B (zh) 语音信号处理方法、系统、装置及电子设备
CN113129221B (zh) 图像处理方法、装置、设备及存储介质
CN113409235B (zh) 一种灭点估计的方法及装置
CN116681755B (zh) 位姿预测方法和装置
CN113763486B (zh) 主色调提取方法、装置、电子设备及存储介质
CN111381765B (zh) 文本框的显示方法、装置、计算机设备及存储介质
CN113539291B (zh) 音频信号的降噪方法、装置、电子设备及存储介质
CN113065457B (zh) 人脸检测点处理方法、装置、计算机设备及存储介质
CN113763531B (zh) 三维人脸重建方法、装置、电子设备及存储介质
CN110989963B (zh) 唤醒词推荐方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant