CN111916098A - 语音信号处理方法、装置及设备 - Google Patents

语音信号处理方法、装置及设备 Download PDF

Info

Publication number
CN111916098A
CN111916098A CN202010811849.2A CN202010811849A CN111916098A CN 111916098 A CN111916098 A CN 111916098A CN 202010811849 A CN202010811849 A CN 202010811849A CN 111916098 A CN111916098 A CN 111916098A
Authority
CN
China
Prior art keywords
microphone
voice
signal
original
voice signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010811849.2A
Other languages
English (en)
Inventor
卫慧慧
何超
马桂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Suzhou Technology Co Ltd
Original Assignee
Iflytek Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Suzhou Technology Co Ltd filed Critical Iflytek Suzhou Technology Co Ltd
Priority to CN202010811849.2A priority Critical patent/CN111916098A/zh
Publication of CN111916098A publication Critical patent/CN111916098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Abstract

本申请公开了一种语音信号处理方法、装置及设备，上述方案中，获取各个麦克风的原始语音信号之后，针对每个麦克风的原始语音信号，从各个麦克风中除该麦克风之外的其他麦克风的原始语音信号中确定该麦克风的原始语音信号的参考语音信号，基于该麦克风的原始语音信号的参考语音信号，对该麦克风的原始语音信号进行回声消除处理，得到该麦克风对应的目标声源的语音信号。基于上述方案即可将各个麦克风原始信号中包含的其他声源的语音信号消除。

Description

语音信号处理方法、装置及设备
技术领域
本申请涉及自然语言处理技术领域，更具体的说，是涉及一种语音信号处理方法、装置及设备。
背景技术
随着语音识别技术的发展，在一些场景中(如会议场景、演讲场景等)多使用多个麦克风拾取多个声源的语音信号，理想情况下，每个麦克风只拾取其对应的目标声源的语音信号。
但是，实际情况下，多个麦克风是同时拾音的，每个麦克风拾取的原始语音信号中，除了包括其对应的目标声源的语音信号外，还会包括其他声源的语音信号，原始语音信号中包含的其他声源的语音信号会对目标声源的语音信号造成干扰。
因此，如何消除原始语音信号中包含的其他声源的语音信号，成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于上述问题，本申请提出了一种语音信号处理方法、装置及设备。具体方案如下：
一种语音信号处理方法，包括：
获取各个麦克风的原始语音信号；
针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的参考语音信号，所述参考语音信号为所述各个麦克风中除所述麦克风之外的其他麦克风的原始语音信号中的至少一个；基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，得到所述麦克风对应的目标声源的语音信号。
可选地，所述基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，包括：
基于所述麦克风的原始语音信号的参考语音信号，采用自适应滤波器算法对所述麦克风的原始语音信号进行回声消除处理。
可选地，在得到各个麦克风对应的目标声源的语音信号之后，所述方法还包括：
对各个麦克风对应的目标声源的语音信号进行语音转写。
可选地，所述对各个麦克风对应的目标声源的语音信号进行语音转写，包括：
针对每个麦克风对应的目标声源的语音信号，对所述麦克风对应的目标声源的语音信号进行残余回声抑制处理，得到所述麦克风的残余回声抑制处理后的语音信号；
基于各个麦克风的原始语音信号以及，各个麦克风的残余回声抑制处理后的语音信号，从各个麦克风中确定待进行语音转写的目标麦克风；
对所述目标麦克风对应的目标声源的语音信号进行语音转写。
可选地，所述基于各个麦克风的原始语音信号以及各个麦克风的残余回声抑制处理后的语音信号，从各个麦克风中确定待进行语音转写的目标麦克风，包括：
基于各个麦克风的原始语音信号，从各个麦克风中初步确定待进行语音转写的麦克风；
对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风；
基于去重后的麦克风的残余回声抑制处理后的语音信号，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
可选地，所述基于各个麦克风的原始语音信号，从各个麦克风中初步确定待进行语音转写的麦克风，包括：
针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的平滑能量；
基于各个麦克风的原始语音信号的平滑能量，从各个麦克风中初步确定待进行语音转写的麦克风。
可选地，对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风，包括：
基于所述初步确定待进行语音转写的麦克风的原始语音信号，确定所述初步确定待进行语音转写的麦克风之间的相关性；
基于所述初步确定待进行语音转写的麦克风之间的相关性对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风。
可选地，所述基于去重后的麦克风的残余回声抑制处理后的语音信号，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风，包括：
针对去重后的麦克风中每个麦克风的残余回声抑制处理后的语音信号，确定所述麦克风的残余回声抑制处理后的语音信号的平滑能量；
基于去重后的各个麦克风的残余回声抑制处理后的语音信号的平滑能量，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
可选地，所述对所述目标麦克风对应的目标声源的语音信号进行语音转写，包括：
对所述目标麦克风对应的目标声源的语音信号进行标记，得到标记后的信号，所述标记后的信号包括所述目标麦克风对应的目标声源的语音信号的起始帧，且信号长度达到预设帧数；
对所述标记后的信号进行语音转写。
一种语音信号处理装置，包括：
获取单元，用于获取各个麦克风的原始语音信号；
回声消除单元，用于针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的参考语音信号，所述参考语音信号为所述各个麦克风中除所述麦克风之外的其他麦克风的原始语音信号中的至少一个；基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，得到所述麦克风对应的目标声源的语音信号。
可选地，所述回声消除单元，具体用于：
基于所述麦克风的原始语音信号的参考语音信号，采用自适应滤波器算法对所述麦克风的原始语音信号进行回声消除处理。
可选地，所述装置还包括：
语音转写单元，用于在得到各个麦克风对应的目标声源的语音信号之后，对各个麦克风对应的目标声源的语音信号进行语音转写。
可选地，所述语音转写单元，包括：
残余回声抑制处理单元，用于针对每个麦克风对应的目标声源的语音信号，对所述麦克风对应的目标声源的语音信号进行残余回声抑制处理，得到所述麦克风的残余回声抑制处理后的语音信号；
目标麦克风确定单元，用于基于各个麦克风的原始语音信号以及，各个麦克风的残余回声抑制处理后的语音信号，从各个麦克风中确定待进行语音转写的目标麦克风；
语音转写子单元，用于对所述目标麦克风对应的目标声源的语音信号进行语音转写。
可选地，所述目标麦克风确定单元，包括：
初步确定单元，用于基于各个麦克风的原始语音信号，从各个麦克风中初步确定待进行语音转写的麦克风；
去重单元，用于对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风；
最终确定单元，用于基于去重后的麦克风的残余回声抑制处理后的语音信号，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
可选地，所述初步确定单元，具体用于：
针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的平滑能量；基于各个麦克风的原始语音信号的平滑能量，从各个麦克风中初步确定待进行语音转写的麦克风。
可选地，所述去重单元，具体用于：
基于所述初步确定待进行语音转写的麦克风的原始语音信号，确定所述初步确定待进行语音转写的麦克风之间的相关性；基于所述初步确定待进行语音转写的麦克风之间的相关性对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风。
可选地，所述最终确定单元，具体用于：
针对去重后的麦克风中每个麦克风的残余回声抑制处理后的语音信号，确定所述麦克风的残余回声抑制处理后的语音信号的平滑能量；基于去重后的各个麦克风的残余回声抑制处理后的语音信号的平滑能量，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
可选地，所述语音转写子单元，具体用于：
对所述目标麦克风对应的目标声源的语音信号进行标记，得到标记后的信号，所述标记后的信号包括所述目标麦克风对应的目标声源的语音信号的起始帧，且信号长度达到预设帧数；对所述标记后的信号进行语音转写。
一种语音信号处理设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上所述的语音信号处理方法的各个步骤。
借由上述技术方案，本申请公开了一种语音信号处理方法、装置及设备，上述方案中，获取各个麦克风的原始语音信号之后，针对每个麦克风的原始语音信号，从各个麦克风中除该麦克风之外的其他麦克风的原始语音信号中确定该麦克风的原始语音信号的参考语音信号，基于该麦克风的原始语音信号的参考语音信号，对该麦克风的原始语音信号进行回声消除处理，得到该麦克风对应的目标声源的语音信号。基于上述方案即可将各个麦克风原始信号中包含的其他声源的语音信号消除。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例公开的一种语音信号处理方法的流程示意图；
图2为本申请实施例公开的参考语音信号选择示意图；
图3为本申请实施例公开的又一种语音信号处理方法的流程示意图；
图4为本申请中对麦克风的原始语音信号进行回声消除处理以及残余回声抑制处理效果示意图；
图5为本申请实施例公开的语音信号处理装置的结构示意图；
图6为本申请实施例公开的一种语音信号处理设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
接下来，通过下述实施例对本申请提供的语音信号处理方法进行介绍。
参照图1，图1为本申请实施例公开的语音信号处理方法的流程示意图，该方法可以包括：
步骤S101：获取各个麦克风的原始语音信号。
在本申请中，各个麦克风可以为语音转写系统中预置的各种类型的麦克风(如，鹅颈麦克风，话筒麦克风等)，语音转写系统可以应用于多种场景(如，会议场景、演讲场景等)，不同的场景下，语音转写系统可以预置不同数量的麦克风，各个麦克风的位置也可以根据场景需求进行配置，不同位置的麦克风负责拾取与其对应的原始语音信号。
在本申请中，可以通过语音转写系统实时获取各个麦克风的原始语音信号，也可以通过语音转写系统获取各个麦克风预先存储的原始语音信号，对此，本申请不进行任何限定。
步骤S102：针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的参考语音信号，基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，得到所述麦克风对应的目标声源的语音信号。
需要说明的是，每个麦克风得到原始语音信号的参考语音信号为各个麦克风中除该麦克风之外的其他麦克风的原始语音信号中的至少一个。具体选取哪些麦克风的原始语音信号作为参考语音信号可以基于各个麦克风的布局确定，比如可以选取当前布局内，与该麦克风相邻的预设数目个麦克风的原始语音信号为参考语音信号。
为便于理解，如图2所示，假设语音转写系统中有12个麦克风，标号分别为1、2、3、4、5、6、7、8、9、10、11、12。对标号为6的麦克风来说，其原始语音信号的参考语音信号可以为标号为1、2、3、4、5、7、8、9、10、11、12的麦克风中至少一个麦克风的原始语音信号。优选的，可以选择与其相邻的标号为5、7的麦克风的原始语音信号作为其原始语音信号的参考语音信号。
作为一种可实施方式，基于麦克风的原始语音信号的参考语音信号，可以采用自适应滤波器算法，对该麦克风的原始语音信号进行回声消除处理，得到该麦克风对应的目标声源的语音信号。
需要说明的是，自适应滤波器算法可以采用传统算法，不同的是，需要将本申请中确定的麦克风的原始语音信号的参考语音信号作为自适应滤波器算法的期望语音信号，通过自适应调整滤波器的权值系数，使得滤波器对输入麦克风的原始语音信号处理后实际输出的信号与期望的语音信号之间的误差信号最小，从而达到对麦克风的原始语音信号进行回声消除的目的。
本实施例公开了一种语音信号处理方法，该方法中，获取各个麦克风的原始语音信号之后，针对每个麦克风的原始语音信号，从各个麦克风中除该麦克风之外的其他麦克风的原始语音信号中确定该麦克风的原始语音信号的参考语音信号，基于该麦克风的原始语音信号的参考语音信号，对该麦克风的原始语音信号进行回声消除处理，得到该麦克风对应的目标声源的语音信号；基于上述方案即可将各个麦克风原始信号中包含的其他声源的语音信号消除。
需要说明的是，作为一种可实施方式，请参阅附图3，在得到各个麦克风对应的目标声源的语音信号之后，可进一步执行步骤S103对各个麦克风对应的目标声源的语音信号进行语音转写。由于各个麦克风对应的目标声源的语音信号消除了其他声源的语音信号的干扰，因此能够提升语音转写的效果。
在本申请中，语音转写系统可以将各个麦克风对应的目标声源的语音信号发送至语音转写引擎，由语音转写引擎对各个麦克风对应的目标声源的语音信号进行语音转写。
需要说明的是，作为一种可实施方式，在对各个麦克风对应的目标声源的语音信号进行语音转写时，可以对各个麦克风对应的目标声源的语音信号都进行转写，即将各个麦克风对应的目标声源的语音信号都发送至语音转写引擎，但是，实际情况下，并不需要对各个麦克风对应的目标声源的语音信号全部转写，这种情况下，对各个麦克风对应的目标声源的语音信号全部转写无疑会增加语音转写引擎的负荷，影响语音转写的效率。
因此，在本申请的另一个实施例中，对上述步骤S103对各个麦克风对应的目标声源的语音信号进行语音转写的具体实现方式进行了说明，该方式可以包括如下步骤：
步骤S201：针对每个麦克风对应的目标声源的语音信号，对所述麦克风对应的目标声源的语音信号进行残余回声抑制处理，得到所述麦克风的残余回声抑制处理后的语音信号。
在本步骤中，针对每个麦克风对应的目标声源的语音信号，可以采用自适应滤波器算法，对所述麦克风对应的目标声源的语音信号进行残余回声抑制处理，得到所述麦克风的残余回声抑制处理后的语音信号。
为便于理解，请参阅附图4，图4为本申请中对麦克风的原始语音信号进行回声消除处理以及残余回声抑制处理效果示意图，其中，(a)为麦克风的原始语音信号的语谱图，(b)为对麦克风的原始语音信号进行回声消除处理以及残余回声抑制处理之后的语音信号的语谱图，由图中可以看出，(b)相对于(a)，语音信号更纯净。
步骤S202：基于各个麦克风的原始语音信号以及，各个麦克风的残余回声抑制处理后的语音信号，从各个麦克风中确定待进行语音转写的目标麦克风。
在本步骤中，可以基于各个麦克风的原始语音信号的平滑能量，以及，各个麦克风的残余回声抑制处理后的语音信号的平滑能量，从各个麦克风中确定待进行语音转写的目标麦克风。具体实现方式将通过后续实施例详细说明。
步骤S203：对所述目标麦克风对应的目标声源的语音信号进行语音转写。
在本申请中，为了区分目标麦克风和非目标麦克风，所述对所述目标麦克风对应的目标声源的语音信号进行语音转写的具体实现方式可以包括：对所述目标麦克风对应的目标声源的语音信号进行标记，得到标记后的信号，对所述标记后的信号进行语音转写。对非目标麦克风对应的目标声源的语音信号，则不进行标记。
进一步需要说明的是，为了避免目标麦克风对应的目标声源的语音信号在语音开始时，和/或，语音结束时出现丢音的问题，在本申请中对目标麦克风对应的目标声源的语音信号进行标记时，需要使所述标记后的信号包括所述目标麦克风对应的目标声源的语音信号的起始帧，且信号长度达到预设帧数。比如，在麦克风对应的目标声源的语音信号开始处提前3帧进行标记，至少连续标记9帧。
作为一种可实施方式，可以采用预设的语音转写标记符号对目标麦克风对应的目标声源的语音信号进行标记。比如，预设的语音转写标记符号为1，则将目标麦克风对应的目标声源的语音信号添加符号1。
在本申请的另一个实施例中，对上述步骤S202基于各个麦克风的原始语音信号以及，各个麦克风的残余回声抑制处理后的语音信号，从各个麦克风中确定待进行语音转写的目标麦克风的具体实现方式进行了说明。该方式可以包括如下步骤：
步骤S301：基于各个麦克风的原始语音信号，从各个麦克风中初步确定待进行语音转写的麦克风。
作为一种可实施方式，基于各个麦克风的原始语音信号，从各个麦克风中初步确定待进行语音转写的麦克风的具体实现方式可以包括：针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的平滑能量；基于各个麦克风的原始语音信号的平滑能量，从各个麦克风中初步确定待进行语音转写的麦克风。
根据“语音开始时能量上升，语音结束时能量下降”的理论，在本申请中，可以根据各个麦克风的原始语音信号的平滑能量对各个麦克风进行排序，并预置第一能量阈值，排序后的麦克风中，原始语音信号的平滑能量高于第一预置能量阈值的麦克风即为初步确定待进行语音转写的麦克风。
步骤S302：对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风。
需要说明的是，初步确定待进行语音转写的麦克风中，可能依然存在语音信号内容相同的麦克风，如果存在将导致重复转写的情况发生，从而影响语音转写效率。为解决上述问题，在本申请中需要对初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风。
作为一种可实施方式，对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风的具体实现方式可以包括：基于所述初步确定待进行语音转写的麦克风的原始语音信号，确定所述初步确定待进行语音转写的麦克风之间的相关性；基于所述初步确定待进行语音转写的麦克风之间的相关性对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风。
具体的，针对所述初步确定待进行语音转写的麦克风中的任意两个麦克风，根据这两个麦克风的原始语音信号，计算这两个麦克风之间的频域相关性和MFCC(MelFrequency Cepstrum Coefficient，梅尔频率倒谱系数)相关性。如果这两个麦克风的相关性大于预设阈值，则保留这两个麦克风中原始语音信号能量较大的麦克风；如果这两个麦克风的相关性不大于预设阈值，则保留这两个麦克风。
步骤S303：基于去重后的麦克风的残余回声抑制处理后的语音信号，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
作为一种可实施方式，所述基于去重后的麦克风的残余回声抑制处理后的语音信号，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风的具体实现方式可以包括：针对去重后的麦克风中每个麦克风的残余回声抑制处理后的语音信号，确定所述麦克风的残余回声抑制处理后的语音信号的平滑能量；基于去重后的各个麦克风的残余回声抑制处理后的语音信号的平滑能量，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
需要说明的是，在本申请中，可以根据去重后的麦克风的残余回声抑制处理后的语音信号的平滑能量对各个麦克风进行排序，并预置第二能量阈值，排序后的麦克风中，残余回声抑制处理后的语音信号的平滑能量高于第二预置能量阈值的麦克风即为最终确定待进行语音转写的目标麦克风。
下面对本申请实施例公开的语音信号处理装置进行描述，下文描述的语音信号处理装置与上文描述的语音信号处理方法可相互对应参照。
参照图5，图5为本申请实施例公开的一种语音信号处理装置结构示意图。如图5所示，该语音信号处理装置可以包括：
获取单元11，用于获取各个麦克风的原始语音信号；
回声消除单元12，用于针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的参考语音信号，所述参考语音信号为所述各个麦克风中除所述麦克风之外的其他麦克风的原始语音信号中的至少一个；基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，得到所述麦克风对应的目标声源的语音信号。
可选地，所述回声消除单元，具体用于：
基于所述麦克风的原始语音信号的参考语音信号，采用自适应滤波器算法对所述麦克风的原始语音信号进行回声消除处理。
可选地，所述装置还包括：
语音转写单元，用于在得到各个麦克风对应的目标声源的语音信号之后，对各个麦克风对应的目标声源的语音信号进行语音转写。
可选地，所述语音转写单元，包括：
残余回声抑制处理单元，用于针对每个麦克风对应的目标声源的语音信号，对所述麦克风对应的目标声源的语音信号进行残余回声抑制处理，得到所述麦克风的残余回声抑制处理后的语音信号；
目标麦克风确定单元，用于基于各个麦克风的原始语音信号以及，各个麦克风的残余回声抑制处理后的语音信号，从各个麦克风中确定待进行语音转写的目标麦克风；
语音转写子单元，用于对所述目标麦克风对应的目标声源的语音信号进行语音转写。
可选地，所述目标麦克风确定单元，包括：
初步确定单元，用于基于各个麦克风的原始语音信号，从各个麦克风中初步确定待进行语音转写的麦克风；
去重单元，用于对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风；
最终确定单元，用于基于去重后的麦克风的残余回声抑制处理后的语音信号，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
可选地，所述初步确定单元，具体用于：
针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的平滑能量；基于各个麦克风的原始语音信号的平滑能量，从各个麦克风中初步确定待进行语音转写的麦克风。
可选地，所述去重单元，具体用于：
基于所述初步确定待进行语音转写的麦克风的原始语音信号，确定所述初步确定待进行语音转写的麦克风之间的相关性；基于所述初步确定待进行语音转写的麦克风之间的相关性对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风。
可选地，所述最终确定单元，具体用于：
针对去重后的麦克风中每个麦克风的残余回声抑制处理后的语音信号，确定所述麦克风的残余回声抑制处理后的语音信号的平滑能量；基于去重后的各个麦克风的残余回声抑制处理后的语音信号的平滑能量，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
可选地，所述语音转写子单元，具体用于：
对所述目标麦克风对应的目标声源的语音信号进行标记，得到标记后的信号，所述标记后的信号包括所述目标麦克风对应的目标声源的语音信号的起始帧，且信号长度达到预设帧数；对所述标记后的信号进行语音转写。
参照图6，图6为本申请实施例提供的语音信号处理设备的硬件结构框图，参照图6，语音信号处理设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取各个麦克风的原始语音信号；
针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的参考语音信号，所述参考语音信号为所述各个麦克风中除所述麦克风之外的其他麦克风的原始语音信号中的至少一个；基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，得到所述麦克风对应的目标声源的语音信号。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取各个麦克风的原始语音信号；
针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的参考语音信号，所述参考语音信号为所述各个麦克风中除所述麦克风之外的其他麦克风的原始语音信号中的至少一个；基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，得到所述麦克风对应的目标声源的语音信号。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种语音信号处理方法，其特征在于，包括：
获取各个麦克风的原始语音信号；
针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的参考语音信号，所述参考语音信号为所述各个麦克风中除所述麦克风之外的其他麦克风的原始语音信号中的至少一个；基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，得到所述麦克风对应的目标声源的语音信号。
2.根据权利要求1所述的方法，其特征在于，所述基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，包括：
基于所述麦克风的原始语音信号的参考语音信号，采用自适应滤波器算法对所述麦克风的原始语音信号进行回声消除处理。
3.根据权利要求1所述的方法，其特征在于，在得到各个麦克风对应的目标声源的语音信号之后，所述方法还包括：
对各个麦克风对应的目标声源的语音信号进行语音转写。
4.根据权利要求3所述的方法，其特征在于，所述对各个麦克风对应的目标声源的语音信号进行语音转写，包括：
针对每个麦克风对应的目标声源的语音信号，对所述麦克风对应的目标声源的语音信号进行残余回声抑制处理，得到所述麦克风的残余回声抑制处理后的语音信号；
基于各个麦克风的原始语音信号以及，各个麦克风的残余回声抑制处理后的语音信号，从各个麦克风中确定待进行语音转写的目标麦克风；
对所述目标麦克风对应的目标声源的语音信号进行语音转写。
5.根据权利要求4所述的方法，其特征在于，所述基于各个麦克风的原始语音信号以及各个麦克风的残余回声抑制处理后的语音信号，从各个麦克风中确定待进行语音转写的目标麦克风，包括：
基于各个麦克风的原始语音信号，从各个麦克风中初步确定待进行语音转写的麦克风；
对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风；
基于去重后的麦克风的残余回声抑制处理后的语音信号，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
6.根据权利要求5所述的方法，其特征在于，所述基于各个麦克风的原始语音信号，从各个麦克风中初步确定待进行语音转写的麦克风，包括：
针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的平滑能量；
基于各个麦克风的原始语音信号的平滑能量，从各个麦克风中初步确定待进行语音转写的麦克风。
7.根据权利要求5所述的方法，其特征在于，对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风，包括：
基于所述初步确定待进行语音转写的麦克风的原始语音信号，确定所述初步确定待进行语音转写的麦克风之间的相关性；
基于所述初步确定待进行语音转写的麦克风之间的相关性对所述初步确定待进行语音转写的麦克风进行去重，得到去重后的麦克风。
8.根据权利要求5所述的方法，其特征在于，所述基于去重后的麦克风的残余回声抑制处理后的语音信号，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风，包括：
针对去重后的麦克风中每个麦克风的残余回声抑制处理后的语音信号，确定所述麦克风的残余回声抑制处理后的语音信号的平滑能量；
基于去重后的各个麦克风的残余回声抑制处理后的语音信号的平滑能量，从所述去重后的麦克风中最终确定待进行语音转写的目标麦克风。
9.根据权利要求4所述的方法，其特征在于，所述对所述目标麦克风对应的目标声源的语音信号进行语音转写，包括：
对所述目标麦克风对应的目标声源的语音信号进行标记，得到标记后的信号，所述标记后的信号包括所述目标麦克风对应的目标声源的语音信号的起始帧，且信号长度达到预设帧数；
对所述标记后的信号进行语音转写。
10.一种语音信号处理装置，其特征在于，包括：
获取单元，用于获取各个麦克风的原始语音信号；
回声消除单元，用于针对每个麦克风的原始语音信号，确定所述麦克风的原始语音信号的参考语音信号，所述参考语音信号为所述各个麦克风中除所述麦克风之外的其他麦克风的原始语音信号中的至少一个；基于所述麦克风的原始语音信号的参考语音信号，对所述麦克风的原始语音信号进行回声消除处理，得到所述麦克风对应的目标声源的语音信号。
11.一种语音信号处理设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1至9中任一项所述的语音信号处理方法的各个步骤。
CN202010811849.2A 2020-08-13 2020-08-13 语音信号处理方法、装置及设备 Pending CN111916098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010811849.2A CN111916098A (zh) 2020-08-13 2020-08-13 语音信号处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010811849.2A CN111916098A (zh) 2020-08-13 2020-08-13 语音信号处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN111916098A true CN111916098A (zh) 2020-11-10

Family

ID=73283896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010811849.2A Pending CN111916098A (zh) 2020-08-13 2020-08-13 语音信号处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111916098A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687273A (zh) * 2020-12-26 2021-04-20 科大讯飞股份有限公司 一种语音转写方法及装置
CN115881151A (zh) * 2023-01-04 2023-03-31 广州市森锐科技股份有限公司 一种基于高拍仪的双向拾音消噪方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120219146A1 (en) * 2011-02-28 2012-08-30 Qnx Software Systems Co. Adaptive delay compensation for acoustic echo cancellation
CN103152500A (zh) * 2013-02-21 2013-06-12 中国对外翻译出版有限公司 多方通话中回音消除方法
CN104883462A (zh) * 2014-02-28 2015-09-02 中国科学院声学研究所 一种用于消除声学回声的自适应滤波器及滤波方法
CN106233751A (zh) * 2014-04-14 2016-12-14 雅马哈株式会社 声音发射和采集装置及声音发射和采集方法
CN106603877A (zh) * 2015-10-16 2017-04-26 鸿合科技有限公司 协同会议语音采集方法及装置
CN107123430A (zh) * 2017-04-12 2017-09-01 广州视源电子科技股份有限公司 回声消除方法、装置、会议平板及计算机存储介质
CN107636758A (zh) * 2015-05-15 2018-01-26 哈曼国际工业有限公司 声学回声消除系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120219146A1 (en) * 2011-02-28 2012-08-30 Qnx Software Systems Co. Adaptive delay compensation for acoustic echo cancellation
CN103152500A (zh) * 2013-02-21 2013-06-12 中国对外翻译出版有限公司 多方通话中回音消除方法
CN104883462A (zh) * 2014-02-28 2015-09-02 中国科学院声学研究所 一种用于消除声学回声的自适应滤波器及滤波方法
CN106233751A (zh) * 2014-04-14 2016-12-14 雅马哈株式会社 声音发射和采集装置及声音发射和采集方法
CN107636758A (zh) * 2015-05-15 2018-01-26 哈曼国际工业有限公司 声学回声消除系统和方法
CN106603877A (zh) * 2015-10-16 2017-04-26 鸿合科技有限公司 协同会议语音采集方法及装置
CN107123430A (zh) * 2017-04-12 2017-09-01 广州视源电子科技股份有限公司 回声消除方法、装置、会议平板及计算机存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687273A (zh) * 2020-12-26 2021-04-20 科大讯飞股份有限公司 一种语音转写方法及装置
CN112687273B (zh) * 2020-12-26 2024-04-16 科大讯飞股份有限公司 一种语音转写方法及装置
CN115881151A (zh) * 2023-01-04 2023-03-31 广州市森锐科技股份有限公司 一种基于高拍仪的双向拾音消噪方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN106486130B (zh) 噪声消除、语音识别方法及装置
JP6553111B2 (ja) 音声認識装置、音声認識方法及び音声認識プログラム
CN110956957B (zh) 语音增强模型的训练方法及系统
JPH09212196A (ja) 雑音抑圧装置
CN107919134B (zh) 啸叫检测方法及装置和啸叫抑制方法及装置
CN111916098A (zh) 语音信号处理方法、装置及设备
CN110838301B (zh) 抑制啸叫的方法、装置终端和非临时性计算机可读存储介质
CN108234793B (zh) 一种通讯方法、装置、电子设备和存储介质
WO2014205297A1 (en) Acoustic feedback canceller
JP6764923B2 (ja) 音声処理方法、装置、デバイスおよび記憶媒体
CN110688518A (zh) 节奏点的确定方法、装置、设备及存储介质
CN112037809A (zh) 基于多特征流结构深度神经网络的残留回声抑制方法
CN112185424A (zh) 一种语音文件裁剪还原方法、装置、设备和存储介质
JP4965891B2 (ja) 信号処理装置およびその方法
CN111988708A (zh) 一种基于单麦克风的啸叫抑制方法及装置
CN110400573B (zh) 一种数据处理的方法及装置
CN109920444B (zh) 回声时延的检测方法、装置以及计算机可读存储介质
CN108053834B (zh) 音频数据处理方法、装置、终端及系统
JPWO2018167960A1 (ja) 会話装置、音声処理システム、音声処理方法、および音声処理プログラム
CN105895098A (zh) 一种播放控制方法和装置
CN115620737A (zh) 语音信号处理装置、方法、电子设备和扩音系统
CN114827363A (zh) 用于通话过程中消除回声的方法、设备和可读存储介质
JP6396829B2 (ja) 情報処理装置、判定方法及びコンピュータプログラム
JP6106618B2 (ja) 音声区間検出装置、音声認識装置、その方法、及びプログラム
CN112118511A (zh) 耳机降噪方法、装置、耳机及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201110

RJ01 Rejection of invention patent application after publication