CN110913310A - 一种播音失真纠正的回声消除方法 - Google Patents

一种播音失真纠正的回声消除方法 Download PDF

Info

Publication number
CN110913310A
CN110913310A CN201811072932.1A CN201811072932A CN110913310A CN 110913310 A CN110913310 A CN 110913310A CN 201811072932 A CN201811072932 A CN 201811072932A CN 110913310 A CN110913310 A CN 110913310A
Authority
CN
China
Prior art keywords
signal
signals
distortion
equipment
collected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811072932.1A
Other languages
English (en)
Inventor
何云鹏
高君效
余杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chipintelli Technology Co Ltd
Original Assignee
Chipintelli Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chipintelli Technology Co Ltd filed Critical Chipintelli Technology Co Ltd
Priority to CN201811072932.1A priority Critical patent/CN110913310A/zh
Publication of CN110913310A publication Critical patent/CN110913310A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种播音失真纠正的回声消除方法,包括如下步骤:纠正前的采集失真系数矩阵C(K，M),其中变量K，M表征音频信号和电学信号的频域子带序号，所述失真系数矩阵C(K，M)=D（K）/d（M）,其中D（K）表示设备麦克风采集到的音频信号，d（M）表示设备播放前的电学信号；纠正时,采集设备播放前的电学信号d（M）及麦克风采集到的混合音频信号Y（K）；所述混合音频信号Y（K）包括原声信号X（K）和设备系统回音S（K）；则原声信号
Figure 123636DEST_PATH_IMAGE001
=Y（K）‑G（K）*D（K）=Y（K）‑G（K）*ΣC（K,M）*d(M)。本发明所述回声消除方法，通过计算采集失真系数C(K，M)对设备系统噪声进行修正计算，提高了回声消除精度。

Description

一种播音失真纠正的回声消除方法
技术领域
本发明属于人工智能语音识别技术领域，具体涉及一种播音失真纠正的回声消除方法。
背景技术
当前众多语音识别设备都通过麦克风等装置进行声音的采集，需要从采集的声音中提取出干净的原声信号，用于语音识别，以提升语音识别的识别率。但有部分设备在工作时，自身会发出声音，这样通过麦克风采集的声音需要去除设备自身发音的部分信息，才能准确甄别出原声用于识别，该方法即目前常用的回声消除技术。
现有的回声消除技术基本是利用相干相消原理,将麦克风等装置采集的声音信号转化为电学信号，该声音信号包含了原声和设备通过喇叭等装置播放出来的自身音频信号的叠加；同时需要同步采集设备自身的音频信号，转化为电学信号；再将麦克风等装置采集到的叠加的音频信号通过频域计算，在各个频域子带中去除采集到的设备自身的音频信号，即可得到原声信号。其计算公式如下：
设声音频域中有多个频谱子带，麦克风采集到的声音的混合音频信号为Y（K），原声信号为X（K），采集设备自身的音频矢量信号为S（K），如图1所示，其中K表示频率,则可得到其相关计算式为：
Y（K）=X（K）+ S（K）；
按现有做法，只需要采集到Y和S，再将这些音频电信号转化为频域矢量，通过上述计算公式，X（K）=Y（K）-S（K），就可以通过频域去除掉设备自身发音的影响，得到干净的原声X，用于语音识别。
在消回声时，设备喇叭发出音频信号往往无法和原声信号X（K）分开采集得到，而是将设备送到喇叭前的线路音频电学信号d(K)作为参考信号， 由公式
Figure 568322DEST_PATH_IMAGE001
，其中G(K)为回声泄漏因子，由
Figure 970217DEST_PATH_IMAGE002
估算得到,分子为作为参考信号的d(K)与混合音频信号Y（K）的互相关函数，取决于麦克混合音频信号中喇叭音频分量和电子线路音频信号的相关性，分母为d(K)信号的自相关函数,其中d(K)*表示d(K)的共轭函数。
在实际使用中，由于设备自身发音推送的电信号是通过喇叭发音的，上述方法在使用时需保证喇叭在播放设备自身发音的电信号时不存在失真，否则麦克混合音频信号中喇叭音频分量和线路音频信号的相关性就会被破坏，Y中包含的S信号就不能准确地由线路信号估算出来，会极大的影响回声消除的效果。但在现实中,由于喇叭质量参差不齐，同时音量较大时会产生非线性失真，谐波失真等现象，造成声音信号转化的失真；同时不同设备由于外界因素如供电电压或电路板设计布局等，都会对声音这类的模拟信号产生波动，对音频信号与电学信号的相互转换过程存在系统误差,这个误差直接导致了现有技术中回声消除效果变差。
发明内容
为克服现有技术存在的技术缺陷，本发明公开了一种播音失真纠正的回声消除方法。
本发明所述播音失真纠正的回声消除方法,包括如下步骤:
纠正前的采集失真系数矩阵C(K，M), 其中变量K，M表征音频信号和电学信号的频域子带序号，所述失真系数矩阵C(K，M)=D（K）/ d（M）,其中D（K）表示设备麦克风采集到的音频信号，d（M）表示设备播放前的电学信号；
纠正时,采集设备播放前的电学信号d（M）及麦克风采集到的混合音频信号Y（K）；所述混合音频信号Y（K）包括原声信号X（K）和设备系统回音S（K）；
Y（K）= X（K）+ S（K） ，
则原声信号
Figure 642507DEST_PATH_IMAGE003
= Y（K）- G（K）* D（K）= Y（K）- G（K）* ΣC（K,M）* d(M),其中
Figure 766583DEST_PATH_IMAGE004
。
优选的，所述纠正前采集失真系数C(K，M)的方法具体为：将设备放置在静音环境下,正常开机,依次遍历K= 0,1…Kmax; M= 0,1…Kmax;Kmax为最大频率子带,采集D（K）和d（M）,利用C(K，M)=D（K）/ d（M）计算每一矩阵参数,构造出失真系数矩阵C(K，M)。
本发明所述回声消除方法，通过计算采集失真系数C(K，M)对设备系统噪声进行修正计算，提高了回声消除精度。
附图说明
图1为本发明所述设备在进行播音时的信号传输示意图；
图2为本发明一个具体实施方式的流程示意图。
具体实施方式
下面对本发明的具体实施方式作进一步的详细说明。
本发明所述回声消除方法，包括纠正前的采集失真系数矩阵C(K，M),其中变量K，M表征音频信号和电学信号的频域子带序号，所述失真系数C(K)=D（K）/ d（M）,其中D（K）表示设备麦克风采集到的音频信号，d（M）表示喇叭播放前的音频电学信号；纠正前环境中可以不存在其他声源;
纠正时,环境中存在原声声源,采集设备播放前的线路电学信号d（K）及麦克风采集到的混合音频信号Y（K）;所述混合音频信号Y（K）包括了原声信号X（K）和设备系统噪音即喇叭音频信号S（K）;
即Y（K）= X（K）+ S（K）;
对于S（K）由公式S（K）=G(K)*D(K)
经过校正后
Figure 741492DEST_PATH_IMAGE005
， 作为校正后的参考信号,代入上式；可以得到
原声信号X（K）= Y（K）- S（K）= Y（K）- G（K）* Σ C（K,M）* d(M)。此处求和为对M进行求和。
本发明针对由于设备自身原因如因喇叭和电路板干扰等问题导致的设备自身的音频矢量信号在信号传输路径及播音中失真造成的影响。
设在没有信号源和环境干扰状态下，设备线路在输入喇叭前的音频电学信号为 d（M）,M为音频电学信号的频域语音子带序号，麦克风采集到的自身喇叭音频信号为D（K），K为音频信号的频域语音子带序号,频域子带为将全频带划分为多个连续分布的包含一定频率区间的子带,各个频域子带组成完成的全频带。
完全理想状态下,当K = M时，D（K）与d（M）完全成线性关系,即D（K）=
Figure 285606DEST_PATH_IMAGE006
* d（K）其中
Figure 794210DEST_PATH_IMAGE006
为一常数，上式为与频率无关的正比关系 ;理想状态下也不存在不同频率间影响，即K不等于M时，D（K）= 0。
但实际中，经过喇叭失真和电路板干扰等实际情况，各种干扰对信号造成的影响，其影响因子由失真系数C(K，M)描述，C（K,M ）表现形式通常为一个包括各个频域子带K,M下的矩阵系数， C（K,M ）矩阵中的行列元素既包含了同一子带下（即K=M时）的失真系数，也包含线路音频信号某个频率子带对喇叭音频信号其他频率子带的影响(即K不等于M时)。
则此时可得到：
C（K,M ）=D(K)/d(K)
对于不同的设备，或者不同的工作状态下都可能存在不同的失真系数C(K,M);对于失真系数的一种优选采集方法是：将该设备放置到完全安静或尽可能安静的场合中正常开机，所谓正常开机是使设备工作在通常状态下；此时麦克风采集到的混合音频信号Y（K）信号中没有原声信号X（K），只有系统自身噪音，即Y（K）= D（K）。
设备喇叭前端线路音频电学信号为d（M），设定一个M值,根据Y（K）= D（K）= C（K，M）* d（M），依次取K覆盖全部频率子带，其中K= 0,1…Kmax;Kmax为最大频率子带，可得到C（K，M）= D（K）/ d（M）；此时让设备连续播放针对覆盖所有子带的不同频率子带M的参考声音信号，就可以通过麦克风测量在不同频率子带M下的D（K）信号，及采集到的d（M）信号，利用C（K，M）= D（K）/ d（M）得到当前子带频率M下的C（K，M）信号。
按照上述步骤遍历所有M值,M= 0,1…Kmax,将所有子带的C（K，M）参数汇总为矩阵，即可以得到该设备自身的采集失真系数C（K，M）矩阵，此时在实际使用中，只需要将该已知的C（K，M）带入计算公式
Figure 864803DEST_PATH_IMAGE005
， 就可以得到和喇叭声音S完全相关的更精准的参考信号。原声信号X（K）= Y（K）- S（K）= Y（K）- G（K）*C（K,M）* d(M)，可以精准的消除该设备由于喇叭及主电路板传播失真等因素造成的失真和电路干扰等问题，得到准确的原声。其中G（K）可以由
Figure 902291DEST_PATH_IMAGE004
计算得到,D(K)在纠正时根据
Figure 809068DEST_PATH_IMAGE005
获得。
前文所述的为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (2)

1.一种播音失真纠正的回声消除方法,其特征在于,包括如下步骤:
纠正前的采集失真系数矩阵C(K，M), 其中变量K，M分别表征音频信号和电学信号的频域子带序号，所述失真系数矩阵C(K，M)=D（K）/ d（M）,其中D（K）表示设备麦克风采集到的音频信号，d（M）表示设备播放前的电学信号；
纠正时,采集设备播放前的电学信号d（M）及麦克风采集到的混合音频信号Y（K）；所述混合音频信号Y（K）包括原声信号X（K）和设备系统回音S（K）；
Y（K）= X（K）+ S（K） ，
则原声信号
Figure 168837DEST_PATH_IMAGE001
= Y（K）- G（K）* D（K）= Y（K）- G（K）* ΣC（K,M）* d(M),其中
Figure 173965DEST_PATH_IMAGE002
。
2.如权利要求1所述的回声消除方法，其特征在于，所述纠正前采集失真系数C(K，M)的方法具体为：将设备放置在静音环境下,正常开机,依次遍历K= 0,1…Kmax; M= 0,1…Kmax;Kmax为最大频率子带,采集D（K）和d（M）,利用C(K，M)=D（K）/ d（M）计算每一矩阵参数,构造出失真系数矩阵C(K，M)。
CN201811072932.1A 2018-09-14 2018-09-14 一种播音失真纠正的回声消除方法 Pending CN110913310A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811072932.1A CN110913310A (zh) 2018-09-14 2018-09-14 一种播音失真纠正的回声消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811072932.1A CN110913310A (zh) 2018-09-14 2018-09-14 一种播音失真纠正的回声消除方法

Publications (1)

Publication Number Publication Date
CN110913310A true CN110913310A (zh) 2020-03-24

Family

ID=69813358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811072932.1A Pending CN110913310A (zh) 2018-09-14 2018-09-14 一种播音失真纠正的回声消除方法

Country Status (1)

Country Link
CN (1) CN110913310A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953060A (zh) * 2006-11-24 2007-04-25 北京中星微电子有限公司 一种麦克风回声消除装置及回声消除方法
US7277538B2 (en) * 2000-10-27 2007-10-02 Tandberg Telecom As Distortion compensation in an acoustic echo canceler
US20090214048A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation Harmonic distortion residual echo suppression
CN102866296A (zh) * 2011-07-08 2013-01-09 杜比实验室特许公司 估计非线性失真的方法和系统、调节参数的方法和系统
CN103561184A (zh) * 2013-11-05 2014-02-05 武汉烽火众智数字技术有限责任公司 基于近端音频信号标定和修正的消除变频回声的方法
CN103680549A (zh) * 2012-09-10 2014-03-26 联想(北京)有限公司 一种音频处理方法及电子设备
CN104243732A (zh) * 2013-06-05 2014-12-24 Dsp集团有限公司 振动传感器在回声消除中的使用
US20160253994A1 (en) * 2015-02-27 2016-09-01 Storz Endoskop Produktions Gmbh System and method for calibrating a speech recognition system to an operating environment
CN207560317U (zh) * 2017-10-23 2018-06-29 广东思派康电子科技有限公司 一种智能音箱的回声消除改善装置
CN108461081A (zh) * 2018-03-21 2018-08-28 广州蓝豹智能科技有限公司 语音控制的方法、装置、设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277538B2 (en) * 2000-10-27 2007-10-02 Tandberg Telecom As Distortion compensation in an acoustic echo canceler
CN1953060A (zh) * 2006-11-24 2007-04-25 北京中星微电子有限公司 一种麦克风回声消除装置及回声消除方法
US20090214048A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation Harmonic distortion residual echo suppression
CN102866296A (zh) * 2011-07-08 2013-01-09 杜比实验室特许公司 估计非线性失真的方法和系统、调节参数的方法和系统
CN103680549A (zh) * 2012-09-10 2014-03-26 联想(北京)有限公司 一种音频处理方法及电子设备
CN104243732A (zh) * 2013-06-05 2014-12-24 Dsp集团有限公司 振动传感器在回声消除中的使用
CN103561184A (zh) * 2013-11-05 2014-02-05 武汉烽火众智数字技术有限责任公司 基于近端音频信号标定和修正的消除变频回声的方法
US20160253994A1 (en) * 2015-02-27 2016-09-01 Storz Endoskop Produktions Gmbh System and method for calibrating a speech recognition system to an operating environment
CN207560317U (zh) * 2017-10-23 2018-06-29 广东思派康电子科技有限公司 一种智能音箱的回声消除改善装置
CN108461081A (zh) * 2018-03-21 2018-08-28 广州蓝豹智能科技有限公司 语音控制的方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨飞然: "回声抵消：现状和挑战", 《电声技术》 *

Similar Documents

Publication Publication Date Title
CN109727604B (zh) 用于语音识别前端的频域回声消除方法及计算机储存介质
RU2626987C2 (ru) Устройство и способ для улучшения воспринимаемого качества воспроизведения звука путем объединения активного шумоподавления и компенсации воспринимаемого шума
US9536510B2 (en) Sound system including an engine sound synthesizer
US9185487B2 (en) System and method for providing noise suppression utilizing null processing noise subtraction
US8391471B2 (en) Echo suppressing apparatus, echo suppressing system, echo suppressing method and recording medium
US9031248B2 (en) Vehicle engine sound extraction and reproduction
CN110234051B (zh) 一种基于深度学习的防啸叫扩声方法及系统
CN108430024B (zh) 一种降噪耳机的测量方法
WO2019086298A1 (en) Method for determining a response function of a noise cancellation enabled audio device
CN111866662B (zh) 用于主动式降噪的调校方法以及相关电路
CN103929704B (zh) 一种基于变换域的自适应声反馈消除的方法和系统
TWI819478B (zh) 具端至端神經網路之聽力裝置及音訊處理方法
CN106797517B (zh) 用于净化音频信号的多耳mmse分析技术
US11109158B2 (en) Audio adjustment method and associated audio adjustment circuit for active noise cancellation
US9959852B2 (en) Vehicle engine sound extraction
CN116684806A (zh) 扬声器异音测试方法
US10587983B1 (en) Methods and systems for adjusting clarity of digitized audio signals
JP5031840B2 (ja) 音像定位予測装置及び音像定位制御システム並びに音像定位予測方法及び音像定位制御方法
CN110913310A (zh) 一种播音失真纠正的回声消除方法
JP2012114826A (ja) 音響補正装置、及び音響補正方法
JP2007067549A (ja) 収音装置とその方法とそのプログラムとその記録媒体
CN113921007B (zh) 提升远场语音交互性能的方法和远场语音交互系统
Miyazaki et al. Theoretical analysis of parametric blind spatial subtraction array and its application to speech recognition performance prediction
CN110140294B (zh) 用于均衡音频信号的方法和装置
CN112511941B (zh) 一种音频输出方法及系统及耳机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324