CN102859591B - 用于语音编码器中的噪声消除的方法和装置 - Google Patents

用于语音编码器中的噪声消除的方法和装置 Download PDF

Info

Publication number
CN102859591B
CN102859591B CN201080066159.3A CN201080066159A CN102859591B CN 102859591 B CN102859591 B CN 102859591B CN 201080066159 A CN201080066159 A CN 201080066159A CN 102859591 B CN102859591 B CN 102859591B
Authority
CN
China
Prior art keywords
signal
noise
filter
adaptation
secondary signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080066159.3A
Other languages
English (en)
Other versions
CN102859591A (zh
Inventor
扎拉·叶默赫
安德尔斯·埃里克松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN102859591A publication Critical patent/CN102859591A/zh
Application granted granted Critical
Publication of CN102859591B publication Critical patent/CN102859591B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3025Determination of spectrum characteristics, e.g. FFT
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明涉及用于语音编码器中的改进的噪声消除器的方法和装置。主麦克风联合参考麦克风捕获声音信号。自适应阴影滤波器被适配于在主麦克风中捕获的信号与参考麦克风中捕获的信号之间的相关。此外,引入扩散噪声场检测器,其检测扩散噪声的存在。当扩散噪声场检测器检测到扩散噪声时,自适应阴影滤波器的滤波器系数被主滤波器用于消除主麦克风捕获的信号中的扩散噪声。因为自适应阴影滤波器的滤波器系数在仅检测到扩散噪声时用于消除,所以避免了对语音信号的消除。

Description

用于语音编码器中的噪声消除的方法和装置
技术领域
本发明涉及用于语音编码器中的噪声消除的方法和装置,并且更具体地,涉及低频噪声消除,以提高语音编码器的性能。
背景技术
无线通信网络中的语音通信涉及近端语音信号向远端用户的传输。问题在于从捕获的带噪语音信号中估计干净的语音信号。
移动电话可以配备有单个或者多个麦克风以捕获语音信号。单麦克风解决方案表现出相对于语音的清晰度而言的在低信噪比(SNR)方面的改进余地,这主要是由于背景噪声的低频成分造成的。双麦克风解决方案意味着有两个不同的传感器可用于同时捕获声场,该双麦克风解决方案有可能允许实现对空间信息和声源的特性(如捕获的信号的空间相干性)的使用。这些特性与移动电话单元上的两个麦克风的相对布置以及移动电话的设计和使用有关。
一种实现双麦克风解决方案的方式是将具有低SNR的参考麦克风信号与捕获期望的语音信号和噪声的主麦克风结合,以实现自适应噪声消除。换言之,联合使用远离嘴的麦克风(称为参考麦克风)与靠近嘴的麦克风(称为主麦克风)。自适应滤波器使用参考麦克风捕获的信号来估计主麦克风处的噪声信号。减法器根据主麦克风信号与估计的噪声信号之间的差产生误差信号。误差信号和参考信号被用于优化对麦克风处的相关噪声的抑制。
许多背景噪声的环境,诸如汽车车厢和办公室,可以通过扩散噪声场来表征。完全扩散噪声场通常由远距离的非相关的在所有方向上均匀分布的随机噪声源在无界限的介质中产生。扩散噪声呈现出在低频处的高的空间相干性和在高频处的低的相干性。因此,标准噪声消除器对于远场噪声在低频处呈现高降噪的可能性。然而,该性能取决于麦克风的位置。因为期望的语音信号也可能被参考麦克风捕获,尽管其功率相对较低,所以包含期望语音的信号将在两个麦克风处进行相关,并且通过这种方法该信号可能被部分消除。另外,捕获的语音将出现在用于调节自适应滤波器的收敛速度的误差信号中,导致较大的滤波器变化。当语音出现在捕获的声场中时,滤波器权重的适配应该停止。
先前已经提出了基于对近端语音的检测来调节控制自适应滤波器的收敛速度的步长大小的许多方法。例如,在US5,953,380中,基于对SNR的估计来调整步长大小。SNR估计是使用辅自适应滤波器来执行的,辅自适应滤波器使用参考麦克风信号作为输入来估计捕获的噪声信号。估计的噪声信号被用于计算噪声功率,并且还被从主麦克风信号中减去以生成对语音信号的估计。然后,估计的语音信号被用于更新辅滤波器权重。随后基于对语音和噪声的功率估计来计算捕获的声场的SNR估计。
在US 6,963,649中提出了噪声消除器的另一实现,其中分别针对每个频率段,基于噪声消除器的输出的子带信号功率与每个频带的不同阈值的比较,进行对主自适应滤波器的适配。而且,在多抽头子带自适应滤波器之前,单抽头自适应滤波器产生优化对噪声的抑制的增益。
US 5,953,380中提出的解决方案没有考虑当麦克风位于靠近的范围中(例如,在移动电话单元中)时在参考麦克风处的语音的出现,这影响了SNR估计。
如US 6,963,649中提出的频域中滤波器输出信号与阈值的比较不是鲁棒的解决方案,因为噪声也可能具有高的子带成分,尤其在低频处,并且因此在那些频率处不能被消除。
而且,在US 5,953,380和US 6,963,649中,当检测到语音存在时,或者在全频带上或者在个别频带上停止适配,这意味着,每次语音中断时算法需要重新收敛。
发明内容
本发明的目的是实现语音编码器中的改进的噪声消除器。
这是通过利用主麦克风结合参考麦克风捕获声音信号来实现的。自适应阴影滤波器被适配于主麦克风中捕获的信号与参考麦克风中捕获的信号之间的相关。此外,引入扩散噪声场检测器,其检测扩散噪声的存在。当扩散噪声场检测器检测到扩散噪声时,自适应阴影滤波器的滤波器系数被主滤波器用于消除主麦克风捕获的信号中的扩散噪声。因为自适应阴影滤波器的滤波器系数在仅检测到扩散噪声时用于消除,所以避免了对语音信号的消除。
根据本发明的第一方面,提供了一种用于自适应噪声消除器的方法,该自适应噪声消除器与位于靠近说话者嘴边的主麦克风和比主麦克风离说话者嘴边远的参考麦克风相关联。在该方法中,由主麦克风捕获包括语音和噪声的第一信号,以及由参考麦克风捕获主要包括噪声的第二信号。自适应阴影滤波器被适配于第一信号与第二信号之间的相关的估计。然后,通过分析适配的自适应阴影滤波器的频率特性来确定第二信号是否主要包括扩散噪声。如果认为第二信号主要包括扩散噪声,则阴影滤波器的滤波器系数被传递到主滤波器以用于消除第一输入信号的扩散噪声。
根据本发明的第二方面,提供了一种自适应噪声消除器,其包括位于靠近说话者嘴边的主麦克风和比主麦克风离说话者嘴边远的参考麦克风。主麦克风被配置为捕获包括语音和噪声的第一信号,以及参考麦克风被配置为由参考麦克风捕获主要包括噪声的第二信号(yr(t))。自适应噪声消除器还包括自适应阴影滤波器和扩散噪声场检测器,自适应阴影滤波器被配置为适配于第一信号与第二信号之间的相关的估计,扩散噪声场检测器被配置为通过分析适配的自适应阴影滤波器的频率特性来确定第二信号是否主要包括扩散噪声。另外,自适应噪声消除器还包括主滤波器,主滤波器被配置为使用阴影滤波器的滤波器系数来消除第一输入信号的扩散噪声。
所提出的本发明的实施例中的方案涉及两个滤波器的组合。第一滤波器充当连续适配的阴影滤波器,以基于误差信号估计两个麦克风处的相关信号。当认为仅背景(远场)噪声出现在捕获的声场中时,连续适配的滤波器的滤波器权重被传递给第二滤波器。因此,本发明的实施例的优点在于:因为阴影滤波器连续适配于输入数据,不需要在每次语音活动中断时经历突然的重新收敛。
而且,远场噪声具有扩散相干性,在低频处具有高度相关的信号,以及在高频处具有低的空间相关性。当仅扩散噪声出现在捕获的声场中时,阴影滤波器的传递函数表现出低通特性。通过针对阴影滤波器的传递函数检测高频处的高幅度成分,进行对捕获的声场中的近场信号出现的检测。这得到本发明的实施例的另外的好处,因为这样的方案允许基于空间分布且独立地基于活跃的声源的频谱成分来区分背景噪声和近场语音。
附图说明
图1示出了根据本发明的实施例的自适应噪声消除器。
图2示出了根据本发明的实施例的扩散噪声场检测器。
图3示出了根据本发明的实施例可以实现的频率的阈值函数的示例。
图4示出了根据本发明的实施例的方法的流程图。
图5示出了针对不同值d的完全扩散噪声场的空间相干性。
图6示出了根据本发明的实施例的、来自在真实世界环境下执行的双麦克风读数的并且包括餐馆中的背景噪声的数据的空间相干性。
图7示出了在典型的真实世界环境中获得的本发明的实施例的性能的示例。
图8示出了根据本发明的实施例的噪声消除器的示例实现。
具体实施方式
下面将参考附图更完全地描述本发明,在附图中示出了本发明的优选实施例。然而,本发明可以以许多不同的形式来具体实现,并且不应该解释为限于本文阐述的实施例;相反,提供这些实施例以便本公开将是全面的完整的,并且将向本领域普通技术人员完全传递本发明的范围。在附图中,相似的参考标记指代类似的单元。
而且,本领域普通技术人员应该明白,本文下面说明的装置和功能可以使用软件功能结合编程的微处理器或通用计算机来实现,和/或使用专用集成电路(ASIC)来实现。还应该明白,尽管主要以方法和设备的形式来描述本发明,但是本发明还可以具体实现在计算机程序产品以及包括计算机处理器和耦合到处理器的存储器的系统中,其中存储器编码有可以执行本文公开的功能的一个或多个程序。
本发明的实施例涉及如图1所示的噪声消除器。自适应噪声消除器150包括:主麦克风100,位于靠近说话者嘴边;以及参考麦克风102,比主麦克风100离说话者嘴边远。参考麦克风102可以面对与主麦克风100相反的方向。主麦克风100被配置为捕获包括语音和噪声的第一信号yp(t);以及参考麦克风102被配置为捕获主要包括噪声的第二信号yr(t)。自适应噪声消除器150还包括:自适应阴影滤波器104,被配置为适配于第一信号yp(t)与第二信号yr(t)之间的相关的估计;扩散噪声检测器112,被配置为通过分析适配的自适应阴影滤波器的频率特性来确定第二信号是否主要包括扩散噪声。因为对频率特性进行分析,所以来自自适应阴影滤波器的信号通过例如FFT操作110被转换到频域。包括主滤波器108,主滤波器108被配置为使用阴影滤波器104的滤波器系数来消除第一输入信号yp(t)的扩散噪声。这可以通过减法器40从主麦克风信号(称为第一信号)yp(t)中减去估计的噪声来完成,其中低频处的噪声被消除。
为了使得自适应滤波器适配于对第一信号与第二信号之间的相关的估计,自适应阴影滤波器104被配置为对第二信号滤波以产生第二信号的滤波版本,并且噪声消除器150还包括减法器106,被配置为根据第一信号与第二信号的滤波版本之间的差来生成误差信号e(t)。自适应阴影滤波器还适合于:利用误差信号e(t)和第二信号更新其滤波器系数,以适配于第一信号中与第二信号相关的那部分的估计。
因此,本发明的实施例的基本思想在于:基于参考麦克风信号和误差信号,自适应阴影滤波器连续地适配于两个麦克风处的相关信号的估计(即第一信号与第二信号之间的相关的估计),该误差信号被计算为主麦克风捕获的信号与估计的相关信号之间的差。该估计用于当扩散噪声场检测器检测到扩散噪声时从主麦克风捕获的信号中消除扩散噪声。
如上所述,扩散噪声检测器112(如在图2中进一步说明的)检测是否仅扩散噪声出现在估计的信号中。根据一个实施例,扩散噪声场检测器包括分析器114,其适合于确定适配的自适应阴影滤波器的传递函数在高频处(即高于第一阈值199的频率处)的幅度的预定部分是否高于第二阈值116。即,用于定义高频的第一阈值199是基于主麦克风与参考麦克风之间的距离确定的。
第二阈值116可以是一些参数的函数,或者是固定阈值,所述参数例如与输入信号的功率谱估计相关(如图3中例示的那样)。分析器被配置为:如果例如通过比较传递函数在不同频率点的幅度,适配的自适应阴影滤波器的传递函数在高频的幅度的预定部分低于第二阈值,则确定第二信号主要包括扩散噪声。适配的自适应阴影滤波器的传递函数的幅度的预定部分可以是高于第一阈值199的预定数目的频率点。对高于第一阈值的频率点进行计数120,并且与第三阈值进行比较122。确定用于检测扩散噪声的第三阈值。
当检测到扩散噪声时,决定126经由滤波器权重缓冲器向主滤波器传递估计的阴影滤波器的滤波器权重,其对参考麦克风信号滤波,以产生对噪声信号的估计。当分析器在捕获的声场中检测到近场信号时,即当不仅检测到扩散噪声时,可以使用先前传递的滤波器权重来处理输入信号。
为了进一步描述根据本发明的实施例的解决方案,图1示出的两个麦克风输入yp(t)和yr(t)被考虑如下:
yp(t)=sp(t)+np(t)+vp(t)           (1)
yr(t)=sr(t)+nr(t)+vr(t)
其中,yp(t)是主麦克风的输入信号,以及yr(t)是参考麦克风的输入信号,sp(t)和sr(t)分别是主麦克风和参考麦克风处的期望的信号的贡献,np(t)和nr(t)是主麦克风和参考麦克风处的相干噪声分量,以及vp(t)和vr(t)是主麦克风和参考麦克风处的非相干噪声分量。
根据本发明的实施例的自适应噪声消除器的目标是利用通过使用辅麦克风信号yr(t)获得的附加信息来抑制主麦克风信号yp(t)中的相干噪声分量。相干噪声分量之间的线性关系可以假设如下:
np(t)=G(z).nr(t)                  (2)
该结果可以变形为对主麦克风和参考麦克风之间针对噪声的相干部分的传递函数G(z)的估计。该传递函数G(z)可以是非因果关系的。因此,可以使用信号np(t)的延迟版本来执行对传递函数的估计,标为通过下式给出根据实施例的自适应噪声消除器的输出:
e ( t ) = y p ( t ) - G ^ ( z ) · y r ( t )
= s p ( t ) + n p ( t ) + v p ( t ) - G ^ ( z ) · ( s r ( t ) + n r ( t ) + v r ( t ) ) ( 3 )
= s p ( t ) + v p ( t ) + ( n p ( t ) - G ^ ( z ) . n r ( t ) ) - G ^ ( z ) . v r ( t ) - G ^ ( z ) . s r ( t )
通过最小化误差信号e(t)获得对传递函数的估计还可以最小化在误差信号中的期望的信号的贡献,因为在两个麦克风中语音信号是相关的。换言之,当期望的语音信号是活跃的时候,在系统输出中引入了失真项导致对期望的信号的消除。这表明在语音暂停期间应该执行两个麦克风中的相干噪声分量的估计。
近场信号(例如说话者生成的近场信号)与背景噪声可以通过它们在空间中的两个不同点的空间相干性而相互区分。分别在主麦克风和参考麦克风处接收的信号之间的空间相干性可以计算如下:
C y p y r ( f ) = | Φ y p y r ( f ) | ( Φ y p ( f ) . Φ y r ( f ) ) 1 2 - - - ( 4 )
其中,分别是信号yp(t)和yr(t)在频率f处的交叉功率谱和功率谱。
在实践中,在非回响环境中的近场声音具有高的空间相干性,同时非常嘈杂环境(诸如汽车车厢和办公室)可以在某种程度上通过扩散噪声场来表征。完全扩散噪声场的空间相干性可以给出如下:
C y p y r ( f ) = sin ( 2 πfd c ) ( 2 πfd c ) - - - ( 5 )
其中,d是传感器间的距离(即主麦克风和参考麦克风之间的距离),以及c≈344m/s是声音的速度。图5中针对不同值d给出了完全扩散噪声场的空间相干性。扩散噪声的特性在于:低频处的高的空间相干性和高频处的低的相干性,同时其包络取决于麦克风之间的距离,如图5中描述的那样。在假定背景噪声场的扩散特性的情况下,在两个麦克风处低频噪声分量高度相关,通常是针对频率f<fd而言,其中fd随着主麦克风和参考麦克风之间的距离(标为d)一起减小。
图1中的自适应阴影滤波器104用于估计如上所述在两个麦克风处相关的信号分量。从主麦克风信号yp(t)中减去阴影滤波器104的输出,以生成下述误差信号e(t):
是滤波器长度,以及参考麦克风的输入数据矢量由Yr(t)=[yr(t),yr(t-1),yr(t-2),...,yr(t-L+1)]T给出。
滤波器权重是响应于参考噪声信号和减法器106输出的差信号生成的。可以例如使用块归一化最小均方(NLMS)结构来实现本发明的实施例的线性噪声消除器。使用下述递归方法,每第L个采样,进行滤波器权重的矢量的更新
G ^ t + L = G ^ t + μ L Σ k = 0 L - 1 e ( t + k ) . Y r ( t + k ) | | Y r ( t + k ) | | 2 - - - ( 7 )
其中,μ是预定义的调整步长大小。
FFT 110被应用于估计的脉冲响应,以获得自适应滤波器的传递函数:
G ^ ( f ) = FFT { G ^ t } - - - ( 8 )
扩散噪声场检测器112的函数依赖于对作为频率的函数的传递函数的特性的评估。
当扩散声场碰撞在双麦克风上且具有功率谱时,对于每个由L个数据构成的新块,将在高频处的幅度与期望的滤波器Gdif(f)的幅度进行比较。
阴影滤波器104的输入和输出信号之间的关系通过下面的等式给出:
Φ y out ( f ) = Φ y r ( f ) . | G ^ ( f ) | 2 - - - ( 9 )
其中,是阴影滤波器输出yout(t)的功率谱。
另一方面,如J.S.Bendat和A.G Piersol的“Engineering Applicationsof Correlation and Spectral Analysis”,第3章,第64-67页,WileyInterscience,1993中描述的那样:
Φ y out ( f ) = C y p y r 2 ( f ) . Φ y p ( f ) - - - ( 10 )
根据等式(5)、(9)和(10),当完全扩散噪声场碰撞在双麦克风上时,通过下式给出针对阴影滤波器104的传递函数的估计:
| G dif ( f ) | 2 = ( sin ( 2 πfd c ) 2 πfd c ) 2 . Φ y p ( f ) Φ y r ( f ) - - - ( 11 )
根据一个实施例,阈值Hdif(f)可以是预定的固定阈值,该阈值Hdif(f)也可以称为第二阈值116。
在图3中绘出了与第二阈值116的确定有关的扩散噪声场检测结构的一个可选设计。计算与频率有关的幅度第一阈值Hdif(f),以便获得Gdof(f)的测量的方差。例如,可以如下获得Hdif(f):
Hdif 2(f)=|Gdif(f)|2+var{|Gdif(f)|}                     (12)
其中,var{.}表示方差。
扩散噪声场检测器112包括分析器114,分析器114还包括图2中示出的比较器118,比较器118用于将估计的传递函数的幅度与第二阈值116进行比较,第二阈值116可以是针对高频范围(fmin<f≤fmax)的阈值函数,其中fmin和fmax可以选为高于第一阈值199的频率,它们取决于麦克风间的间隔d以及采样频率,
针对fmin<f≤fmax E ( f ) = | G ^ ( f ) | - H dif ( f ) - - - ( 13 )
分析器114还包括:计数器120,用于计算具有高于第一阈值199的幅度的频率点的数目,其中针对每个由L个数据构成的新块,计数器设为零,即Ncount=0,
针对fmin<f≤fmax,如果E(f)>0,则Ncount=Ncount+1      (14)
可以通过另一比较器122将针对每个数据块的计数器输出与第三阈值Ncorr124进行比较。与捕获的声场的特性有关的判决可以由判决单元126作为标记发出。例如,如果认为声场具有扩散特性,则该标记设为1,以及如果相反相干声源是活跃的,则该标记设为0,如下所示:
因此,由判决单元126对从阴影滤波器到主滤波器的脉冲响应的传递做出判决。否则,先前应用的系数可被应用于新的数据帧。滤波器权重缓冲器被定义如下:
主滤波器108响应于参考噪声信号和接收的滤波器系数生成估计的噪声信号。由减法器140从主麦克风信号yp(t)中减去估计的噪声信号,以生成消除了低频扩散噪声的输出y(t):
y ( t ) = y p ( t ) - G ~ ( z ) . y r ( t ) = y p ( t ) - G ~ t T . Y r ( t ) - - - ( 17 ) .
图6和7中给出了在典型的真实世界环境中获得的性能的示例。由线性噪声消除器处理由处于手持位置的移动电话获得的餐馆噪声中的语音的双麦克风读数。在图6中绘出了当仅背景噪声存在时双麦克风声音文件的空间相干幅度,以及在图7中给出了所提出的作为频率的函数的算法获得的噪声抑制。可以看出,对于具有对应的高空间相干性的频率范围内的给定数据,可以获得高达9dB的噪声抑制。
图1的自适应噪声消除器150的框160内的功能可以由图8中示出的连接到存储软件代码部分802的存储器803的处理器801来实现。该处理器运行软件代码部分以实现根据本发明的实施例的噪声消除器的功能。
概要而言,本发明的实施例涉及一种方法。该方法示出在图4的流程图中。在步骤401、402中,由主麦克风捕获包括语音和噪声的第一信号,以及由参考麦克风捕获主要包括噪声的第二信号。在第三步骤403中,自适应阴影滤波器被适配于第一信号与第二信号之间的相关的估计。
如果通过分析适配的自适应阴影滤波器的频率特性,确定404认为第二信号主要包括扩散噪声,则阴影滤波器的滤波器系数被传递405到主滤波器以用于消除第一输入信号的扩散噪声。
根据一个实施例,适配自适应阴影滤波器的步骤403还包括步骤:由自适应阴影滤波器对第二信号滤波407,以产生第二信号的滤波版本,根据第一信号与第二信号的滤波版本之间的差来生成408误差信号,以及使用误差信号和第二信号(即,参考信号)更新409阴影滤波器的滤波器系数以适配于第一信号中与第二信号相关的那部分的估计。
根据另一实施例,通过下述方式分析适配的自适应阴影滤波器的频率特性:确定410适配的自适应阴影滤波器的传递函数在高于第一阈值的频率处的幅度的预定部分是否低于第二阈值,以及如果适配的自适应阴影滤波器的传递函数在高频处(即高于第一阈值的频率处)的幅度低于第二阈值,则确定411第二信号主要包括扩散噪声。
本发明不限于上述优选实施例。可以使用各种改变、修改和等价。因此,上面的实施例不应该视为对本发明的范围的限制,本发明的范围由所附的权利要求限定。

Claims (14)

1.一种用于自适应噪声消除器的方法,所述自适应噪声消除器与位于靠近说话者嘴边的主麦克风和比主麦克风离说话者嘴边远的参考麦克风相关联,所述方法包括步骤:
由主麦克风捕获(401)包括语音和噪声的第一信号,
由参考麦克风捕获(402)主要包括噪声的第二信号,
将自适应阴影滤波器适配(403)于第一信号与第二信号之间的相关的估计,
通过分析(404a)适配的自适应阴影滤波器的频率特性来确定(404)第二信号是否主要包括扩散噪声,
如果认为第二信号主要包括扩散噪声,则
将阴影滤波器的滤波器系数传递(405)到主滤波器以用于
消除第一信号的扩散噪声。
2.根据权利要求1所述的方法,其中通过下述方式将自适应阴影滤波器适配(403)于第一信号中与第二信号相关的部分的估计:
由自适应阴影滤波器对第二信号滤波(407),以产生第二信号的滤波版本,
根据第一信号与第二信号的滤波版本之间的差来生成(408)误差信号,以及
利用误差信号和第二信号更新(409)阴影滤波器的滤波器系数,以适配于第一信号中与第二信号相关的部分的估计。
3.根据权利要求1-2中的任一项所述的方法,通过下述方式分析适配的自适应阴影滤波器的频率特性:
确定(410)适配的自适应阴影滤波器的传递函数在高于第一阈值的频率处的幅度的预定部分是否低于第二阈值,以及
如果认为适配的自适应阴影滤波器的传递函数在高于第一阈值的频率处的幅度的所述预定部分低于第二阈值,则确定(411)第二信号主要包括扩散噪声。
4.根据权利要求3所述的方法,其中适配的自适应阴影滤波器的传递函数的幅度的所述预定部分是高于第一阈值的预定数目的频率点。
5.根据权利要求3所述的方法,其中所述第一阈值取决于主麦克风和参考麦克风之间的距离。
6.根据权利要求3所述的方法,其中,所述第二阈值取决于第一信号与第二信号中的至少一个。
7.根据权利要求1-2中的任一项所述的方法,其中如果第二信号不是主要包括扩散噪声,则使用(406)先前使用的主滤波器的滤波器系数。
8.一种自适应噪声消除器(150),包括位于靠近说话者嘴边的主麦克风(100)和比主麦克风(100)离说话者嘴边远的参考麦克风(102),其中所述主麦克风(100)被配置为捕获包括语音和噪声的第一信号yp(t),以及所述参考麦克风(102)被配置为由所述参考麦克风捕获主要包括噪声的第二信号yr(t),所述自适应噪声消除器(150)还包括自适应阴影滤波器(104)和扩散噪声场检测器(112),所述自适应阴影滤波器(104)被配置为适配于第一信号yp(t)与第二信号yr(t)之间的相关的估计,所述扩散噪声场检测器(112)被配置为通过分析适配的自适应阴影滤波器(104)的频率特性来确定第二信号yr(t)是否主要包括扩散噪声,以及所述自适应噪声消除器(150)还包括主滤波器(108),所述主滤波器(108)被配置为使用阴影滤波器(104)的滤波器系数来消除第一信号yp(t)的扩散噪声。
9.根据权利要求8所述的自适应噪声消除器(150),其中所述自适应阴影滤波器(104)被配置为通过下述方式适配于第一信号yp(t)与第二信号yr(t)之间的相关的估计:
所述自适应阴影滤波器(104)被配置为对第二信号滤波,以产生第二信号的滤波版本,以及
所述自适应噪声消除器(150)包括减法器(106),所述减法器(106)被配置为根据第一信号与第二信号的滤波版本之间的差来生成误差信号,以及
所述自适应阴影滤波器(104)适合于利用误差信号和第二信号(yr(t))更新其滤波器系数,以适配于第一信号中与第二信号相关的部分的估计。
10.根据权利要求8-9中的任一项所述的自适应噪声消除器,其中所述扩散噪声检测器(112)包括分析器(114),所述分析器(114)适合于:
确定适配的自适应阴影滤波器的传递函数在高于第一阈值(199)的频率处的幅度的预定部分是否高于第二阈值(116),以及
如果认为适配的自适应阴影滤波器的传递函数在高于第一阈值的频率处的幅度低于第二阈值(116),则确定第二信号主要包括扩散噪声。
11.根据权利要求10所述的自适应噪声消除器,其中适配的自适应阴影滤波器(104)的传递函数的幅度的所述预定部分是高于第一阈值(199)的预定数目的频率点。
12.根据权利要求10所述的自适应噪声消除器,其中所述第一阈值(116)取决于主麦克风(100)和参考麦克风(102)之间的距离。
13.根据权利要求10所述的自适应噪声消除器,其中,所述第二阈值(102)取决于第一信号yp(t)与第二信号yr(t)中的至少一个。
14.根据权利要求8-9中的任一项所述的自适应噪声消除器,其中所述主滤波器(100)被配置为:如果第二信号yr(t)不是主要包括扩散噪声,则使用先前使用的主滤波器(100)的滤波器系数。
CN201080066159.3A 2010-04-12 2010-04-12 用于语音编码器中的噪声消除的方法和装置 Expired - Fee Related CN102859591B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2010/050393 WO2011129725A1 (en) 2010-04-12 2010-04-12 Method and arrangement for noise cancellation in a speech encoder

Publications (2)

Publication Number Publication Date
CN102859591A CN102859591A (zh) 2013-01-02
CN102859591B true CN102859591B (zh) 2015-02-18

Family

ID=44798877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080066159.3A Expired - Fee Related CN102859591B (zh) 2010-04-12 2010-04-12 用于语音编码器中的噪声消除的方法和装置

Country Status (3)

Country Link
US (1) US9082391B2 (zh)
CN (1) CN102859591B (zh)
WO (1) WO2011129725A1 (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US8798992B2 (en) * 2010-05-19 2014-08-05 Disney Enterprises, Inc. Audio noise modification for event broadcasting
US9558755B1 (en) * 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
GB2484140B (en) 2010-10-01 2017-07-12 Asio Ltd Data communication system
US8908877B2 (en) 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
US9142207B2 (en) 2010-12-03 2015-09-22 Cirrus Logic, Inc. Oversight control of an adaptive noise canceler in a personal audio device
US8948407B2 (en) 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US8958571B2 (en) * 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US9318094B2 (en) 2011-06-03 2016-04-19 Cirrus Logic, Inc. Adaptive noise canceling architecture for a personal audio device
US9824677B2 (en) 2011-06-03 2017-11-21 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US20130282373A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
US9318090B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Downlink tone detection and adaptation of a secondary path response model in an adaptive noise canceling system
US9319781B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Frequency and direction-dependent ambient sound handling in personal audio devices having adaptive noise cancellation (ANC)
US9123321B2 (en) 2012-05-10 2015-09-01 Cirrus Logic, Inc. Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system
US9699581B2 (en) 2012-09-10 2017-07-04 Nokia Technologies Oy Detection of a microphone
US9532139B1 (en) 2012-09-14 2016-12-27 Cirrus Logic, Inc. Dual-microphone frequency amplitude response self-calibration
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
WO2014063104A2 (en) * 2012-10-19 2014-04-24 Audience, Inc. Keyword voice activation in vehicles
US9685171B1 (en) * 2012-11-20 2017-06-20 Amazon Technologies, Inc. Multiple-stage adaptive filtering of audio signals
US20150365762A1 (en) * 2012-11-24 2015-12-17 Polycom, Inc. Acoustic perimeter for reducing noise transmitted by a communication device in an open-plan environment
EP2747451A1 (en) * 2012-12-21 2014-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates
US9369798B1 (en) 2013-03-12 2016-06-14 Cirrus Logic, Inc. Internal dynamic range control in an adaptive noise cancellation (ANC) system
US9312826B2 (en) 2013-03-13 2016-04-12 Kopin Corporation Apparatuses and methods for acoustic channel auto-balancing during multi-channel signal extraction
US10306389B2 (en) 2013-03-13 2019-05-28 Kopin Corporation Head wearable acoustic system with noise canceling microphone geometry apparatuses and methods
US9414150B2 (en) 2013-03-14 2016-08-09 Cirrus Logic, Inc. Low-latency multi-driver adaptive noise canceling (ANC) system for a personal audio device
US9502020B1 (en) 2013-03-15 2016-11-22 Cirrus Logic, Inc. Robust adaptive noise canceling (ANC) in a personal audio device
US10206032B2 (en) 2013-04-10 2019-02-12 Cirrus Logic, Inc. Systems and methods for multi-mode adaptive noise cancellation for audio headsets
US9462376B2 (en) 2013-04-16 2016-10-04 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9478210B2 (en) 2013-04-17 2016-10-25 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9578432B1 (en) 2013-04-24 2017-02-21 Cirrus Logic, Inc. Metric and tool to evaluate secondary path design in adaptive noise cancellation systems
CN103346844B (zh) * 2013-06-26 2015-02-25 陕西科技大学 智能噪声防护器
CN104424954B (zh) * 2013-08-20 2018-03-09 华为技术有限公司 噪声估计方法与装置
CN104424953B (zh) 2013-09-11 2019-11-01 华为技术有限公司 语音信号处理方法与装置
US9666176B2 (en) 2013-09-13 2017-05-30 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by adaptively shaping internal white noise to train a secondary path
US9620101B1 (en) 2013-10-08 2017-04-11 Cirrus Logic, Inc. Systems and methods for maintaining playback fidelity in an audio system with adaptive noise cancellation
US9704472B2 (en) 2013-12-10 2017-07-11 Cirrus Logic, Inc. Systems and methods for sharing secondary path information between audio channels in an adaptive noise cancellation system
US10219071B2 (en) 2013-12-10 2019-02-26 Cirrus Logic, Inc. Systems and methods for bandlimiting anti-noise in personal audio devices having adaptive noise cancellation
US10382864B2 (en) 2013-12-10 2019-08-13 Cirrus Logic, Inc. Systems and methods for providing adaptive playback equalization in an audio device
EP2884491A1 (en) * 2013-12-11 2015-06-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Extraction of reverberant sound using microphone arrays
BR112016018510B1 (pt) 2014-02-14 2022-05-31 Telefonaktiebolaget Lm Ericsson (Publ) Métodos para a geração de ruído aceitável e para suportar a geração de ruído aceitável, arranjo, nó de transmissão, nó de recebimento, equipamento de usuário, e, portador
US9369557B2 (en) 2014-03-05 2016-06-14 Cirrus Logic, Inc. Frequency-dependent sidetone calibration
US10181315B2 (en) * 2014-06-13 2019-01-15 Cirrus Logic, Inc. Systems and methods for selectively enabling and disabling adaptation of an adaptive noise cancellation system
CN104244125B (zh) * 2014-08-25 2018-01-09 歌尔股份有限公司 一种应用于耳机的心率检测方法和能检测心率的耳机
CN105374363B (zh) * 2014-08-25 2019-06-04 广东美的集团芜湖制冷设备有限公司 音频信号编码方法和系统
WO2016033364A1 (en) 2014-08-28 2016-03-03 Audience, Inc. Multi-sourced noise suppression
US9478212B1 (en) 2014-09-03 2016-10-25 Cirrus Logic, Inc. Systems and methods for use of adaptive secondary path estimate to control equalization in an audio device
WO2016040885A1 (en) 2014-09-12 2016-03-17 Audience, Inc. Systems and methods for restoration of speech components
US9552805B2 (en) 2014-12-19 2017-01-24 Cirrus Logic, Inc. Systems and methods for performance and stability control for feedback adaptive noise cancellation
CN107210824A (zh) 2015-01-30 2017-09-26 美商楼氏电子有限公司 麦克风的环境切换
KR20180044324A (ko) 2015-08-20 2018-05-02 시러스 로직 인터내셔널 세미컨덕터 리미티드 피드백 적응적 잡음 소거(anc) 제어기 및 고정 응답 필터에 의해 부분적으로 제공되는 피드백 응답을 갖는 방법
CN105225672B (zh) * 2015-08-21 2019-02-22 胡旻波 融合基频信息的双麦克风定向噪音抑制的系统及方法
US9578415B1 (en) 2015-08-21 2017-02-21 Cirrus Logic, Inc. Hybrid adaptive noise cancellation system with filtered error microphone signal
US9959884B2 (en) * 2015-10-09 2018-05-01 Cirrus Logic, Inc. Adaptive filter control
US11631421B2 (en) 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US10013966B2 (en) 2016-03-15 2018-07-03 Cirrus Logic, Inc. Systems and methods for adaptive active noise cancellation for multiple-driver personal audio device
GB201617409D0 (en) * 2016-10-13 2016-11-30 Asio Ltd A method and system for acoustic communication of data
GB201617408D0 (en) 2016-10-13 2016-11-30 Asio Ltd A method and system for acoustic communication of data
CN106453762B (zh) * 2016-11-02 2019-05-07 上海数果科技有限公司 音频系统中语音啸叫的处理方法及系统
GB201704636D0 (en) 2017-03-23 2017-05-10 Asio Ltd A method and system for authenticating a device
GB2565751B (en) 2017-06-15 2022-05-04 Sonos Experience Ltd A method and system for triggering events
US10535360B1 (en) * 2017-05-25 2020-01-14 Tp Lab, Inc. Phone stand using a plurality of directional speakers
DE102018117558A1 (de) * 2017-07-31 2019-01-31 Harman Becker Automotive Systems Gmbh Adaptives nachfiltern
CN107889002B (zh) * 2017-10-30 2019-08-27 恒玄科技(上海)有限公司 颈环蓝牙耳机、颈环蓝牙耳机的降噪系统及降噪方法
GB2570634A (en) 2017-12-20 2019-08-07 Asio Ltd A method and system for improved acoustic transmission of data
CN109059992B (zh) * 2018-10-26 2020-06-26 河北农业大学 一种禽舍环境传感器的在线监控系统及其监控方法
US10917074B2 (en) * 2019-03-29 2021-02-09 Bose Corporation Subband adaptive filter for systems with partially acausal transfer functions
CN110267160B (zh) * 2019-05-31 2020-09-22 潍坊歌尔电子有限公司 声音信号处理方法、装置及设备
US11756524B2 (en) 2019-07-02 2023-09-12 Harman Becker Automotive Systems Gmbh Automatic noise control
TWI716123B (zh) * 2019-09-26 2021-01-11 仁寶電腦工業股份有限公司 除噪能力評估系統及方法
CN112837703A (zh) * 2020-12-30 2021-05-25 深圳市联影高端医疗装备创新研究院 医疗成像设备中语音信号获取方法、装置、设备和介质
US11350058B1 (en) 2021-01-21 2022-05-31 Dell Products, Lp System and method for intelligent contextual session management for videoconferencing applications
US11445128B2 (en) 2021-01-24 2022-09-13 Dell Products, Lp System and method for intelligent virtual background management for videoconferencing applications
US11463270B2 (en) 2021-01-28 2022-10-04 Dell Products, Lp System and method for operating an intelligent face framing management system for videoconferencing applications
US11657829B2 (en) 2021-04-28 2023-05-23 Mitel Networks Corporation Adaptive noise cancelling for conferencing communication systems
US11463656B1 (en) 2021-07-06 2022-10-04 Dell Products, Lp System and method for received video performance optimizations during a video conference session
US11308349B1 (en) * 2021-10-15 2022-04-19 King Abdulaziz University Method to modify adaptive filter weights in a decentralized wireless sensor network

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503466A (zh) * 2002-11-25 2004-06-09 英特尔公司 用于稀疏通道的回波消除器
CN1653713A (zh) * 2002-05-21 2005-08-10 英特尔公司 具有双方交谈检测器的回声抵消器
WO2009156906A1 (en) * 2008-06-25 2009-12-30 Koninklijke Philips Electronics N.V. Audio processing
CN101622669A (zh) * 2007-02-26 2010-01-06 高通股份有限公司 用于信号分离的系统、方法及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8701633A (nl) 1987-07-10 1989-02-01 Philips Nv Digitale echocompensator.
US5796819A (en) * 1996-07-24 1998-08-18 Ericsson Inc. Echo canceller for non-linear circuits
JP2930101B2 (ja) * 1997-01-29 1999-08-03 日本電気株式会社 雑音消去装置
JP4196431B2 (ja) * 1998-06-16 2008-12-17 パナソニック株式会社 機器内蔵型マイクロホン装置及び撮像装置
JP3774580B2 (ja) * 1998-11-12 2006-05-17 アルパイン株式会社 音声入力装置
JP3552967B2 (ja) * 1999-11-15 2004-08-11 沖電気工業株式会社 エコーキャンセラ装置
US6947549B2 (en) * 2003-02-19 2005-09-20 The Hong Kong Polytechnic University Echo canceller
WO2005106841A1 (en) * 2004-04-28 2005-11-10 Koninklijke Philips Electronics N.V. Adaptive beamformer, sidelobe canceller, handsfree speech communication device
US8340309B2 (en) * 2004-08-06 2012-12-25 Aliphcom, Inc. Noise suppressing multi-microphone headset
WO2006095736A1 (ja) * 2005-03-07 2006-09-14 Toa Corporation 騒音除去装置
US20100098266A1 (en) * 2007-06-01 2010-04-22 Ikoa Corporation Multi-channel audio device
US20090012786A1 (en) * 2007-07-06 2009-01-08 Texas Instruments Incorporated Adaptive Noise Cancellation
US7817808B2 (en) * 2007-07-19 2010-10-19 Alon Konchitsky Dual adaptive structure for speech enhancement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1653713A (zh) * 2002-05-21 2005-08-10 英特尔公司 具有双方交谈检测器的回声抵消器
CN1503466A (zh) * 2002-11-25 2004-06-09 英特尔公司 用于稀疏通道的回波消除器
CN101622669A (zh) * 2007-02-26 2010-01-06 高通股份有限公司 用于信号分离的系统、方法及设备
WO2009156906A1 (en) * 2008-06-25 2009-12-30 Koninklijke Philips Electronics N.V. Audio processing

Also Published As

Publication number Publication date
US9082391B2 (en) 2015-07-14
WO2011129725A1 (en) 2011-10-20
CN102859591A (zh) 2013-01-02
US20130034243A1 (en) 2013-02-07

Similar Documents

Publication Publication Date Title
CN102859591B (zh) 用于语音编码器中的噪声消除的方法和装置
US9264804B2 (en) Noise suppressing method and a noise suppressor for applying the noise suppressing method
JP5436814B2 (ja) ビームフォーミングおよびポストフィルタリングの組み合わせによる雑音低減
US9343056B1 (en) Wind noise detection and suppression
US9800734B2 (en) Echo cancellation
US7003099B1 (en) Small array microphone for acoustic echo cancellation and noise suppression
JP6291501B2 (ja) 音響エコー除去のためのシステムおよび方法
EP1529282B1 (en) Method and system for processing subband signals using adaptive filters
EP2237271B1 (en) Method for determining a signal component for reducing noise in an input signal
US6487257B1 (en) Signal noise reduction by time-domain spectral subtraction using fixed filters
US8340278B2 (en) Method and apparatus for cross-talk resistant adaptive noise canceller
JP5049629B2 (ja) 時変拡声器−部屋−マイクロホンシステムにおけるエコー減少
US6510224B1 (en) Enhancement of near-end voice signals in an echo suppression system
US20020054685A1 (en) System for suppressing acoustic echoes and interferences in multi-channel audio systems
US8103011B2 (en) Signal detection using multiple detectors
JPWO2006049260A1 (ja) 信号処理の方法、信号処理の装置および信号処理用プログラム
US8934622B2 (en) Method for detecting double-talk condition and system using the same
JP3787088B2 (ja) 音響エコー消去方法、装置及び音響エコー消去プログラム
US8600040B2 (en) Apparatus and method for convergence control
JP5969372B2 (ja) 無線通信装置およびセンシング方法
KR20130071520A (ko) 미확인 시스템 모델링 방법 및 이를 이용한 하울링 제거 오디오 시스템
Zhenli et al. A high performance speech enhancement algorithm based on double-channel adaptive noise cancelling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150218

Termination date: 20210412

CF01 Termination of patent right due to non-payment of annual fee