CN106031196A - 信号处理装置、方法以及程序 - Google Patents

信号处理装置、方法以及程序 Download PDF

Info

Publication number
CN106031196A
CN106031196A CN201580009993.1A CN201580009993A CN106031196A CN 106031196 A CN106031196 A CN 106031196A CN 201580009993 A CN201580009993 A CN 201580009993A CN 106031196 A CN106031196 A CN 106031196A
Authority
CN
China
Prior art keywords
noise
mentioned
component
target area
omega
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580009993.1A
Other languages
English (en)
Other versions
CN106031196B (zh
Inventor
丹羽健太
小林和则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN106031196A publication Critical patent/CN106031196A/zh
Application granted granted Critical
Publication of CN106031196B publication Critical patent/CN106031196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0264Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

以提供比以往提高了噪音抑制性能的信号处理技术作为目的。第一分量提取部(14)根据目标区的功率谱密度通过时间平均处理,提取由从目标区到来的声音派生的非稳定分量以及由不相干的噪音派生的稳定分量第二分量提取部(15)根据噪音区的功率谱密度提取由干扰噪音派生的非稳定分量以及由不相干的噪音派生的稳定分量

Description

信号处理装置、方法以及程序
技术领域
本发明涉及利用多个话筒清楚地接收从目标方向到来的声源信号的技术。
背景技术
首先,说明信号处理的基本框架。
设想利用由M个话筒构成的阵列。M是2以上的整数。例如,将M设为2至4左右。也可以将M设为100左右。在频率ω且帧时间τ的观测信号Xm(ω,τ)(m=1,2,…,M)中,包含相干且具有不稳定性的一个目标音S0(ω,τ)、K个干扰噪音Sk(ω,τ)(k=1,2,…,K)、不相干的稳定性噪音Nm(ω,τ)。将K设为规定的正整数。m是各话筒的编号,观测信号Xm(ω,τ)是将通过话筒m接收的时域的信号变换为频域的信号。
目标音是从规定的目标区到来的声音。目标区是包含想要接收的声源的区域。想要接收的声源的数目以及想要接收的声源在目标区内的位置可以是未知的。例如,如图6所例示,设配置有6个扬声器以及3个话筒的区域被分割为3个区(区1、区2、以及区3)。当想要接收的声源包含于区1的情况下,区1成为目标区。
另外,目标音中也可以包含来自目标区外的声源的反射音。例如,当目标区为区1的情况下,目标音也可以包含,在从区2以及区3中包含的声源产生的声音中通过反射而从区1的方向来到话筒的声音。
目标区可以是离话筒规定的距离以内的区。换言之,也可以是具有有限的面积的区。进而,目标区也可以有多个。图7是表示目标区有2个的情况下的例子的图。
另外,也将包含发出噪音的声源的区称为噪音区。在图6的例子中,当发出噪音的声源分别包含于区2以及区3中的情况下,区2以及区3分别成为噪音区。在本例中,将区2以及区3分别设为噪音区,但也可以将整合了区2以及区3的区设为噪音区。也将包含发出干扰噪音的声源的噪音区特别称为干扰噪音区。进行设定,使得噪音区不同于目标区。
在将第m个话筒至目标音S0(ω,τ)的传递特性记为Am,0(ω),将第m个话筒至第k个干扰噪音的传递特性记为Am,k(ω)时,观测信号Xm(ω,τ)如以下那样建模。
【数1】
X m ( ω , τ ) = A m , 0 ( ω ) S 0 ( ω , τ ) + Σ k = 1 K A m , k ( ω ) S k ( ω , τ ) + N m ( ω , τ ) ... ( 1 )
当话筒数目少的情况下,即例如M<K的情况下,结合了基于最小方差无失真响应(MVDR)的波束成形与后置滤波器的框架可有效抑制噪音(例如,参照非专利文献1)。图1表示后置滤波器型阵列的处理流程。被设计为强调目标音的滤波器系数w0(ω)=[W0,1(ω),…,W0,M(ω)]T可如以下计算。
【数2】
w 0 ( &omega; ) = R - 1 ( &omega; ) h 0 ( &omega; ) h 0 H ( &omega; ) - R - 1 ( &omega; ) h 0 ( &omega; ) ... ( 2 )
在此,将x设为任意的向量或矩阵,xT表示x的转置,xH表示x的共轭转置。h0(ω)=[H0,1(ω),…,H0,M(ω)]T是目标音方向的阵列流形向量。阵列流形向量是将从声源至话筒的传递特性H0,m(ω)设为向量h0(ω)的向量,从声源至话筒的传递特性H0,m(ω)是根据声源和话筒位置而理论上能够算出的仅假设了直接音的传递特性、或实测的传递特性、通过镜像法和有限元素法等计算机仿真来估计的传递特性。若假设为源信号互相不相干,则能够将空间相关矩阵R(ω)如以下那样建模。
【数3】
R ( &omega; ) = &Sigma; k = 1 K h k ( &omega; ) h k H ( &omega; ) ... ( 3 )
在此,hk(ω)是第k个干扰噪音的阵列流形向量。波束成形的输出信号Y0(ω,τ)可通过以下的式来获得。
【数4】
Y 0 ( &omega; , &tau; ) = w 0 H ( &omega; ) x ( &omega; , &tau; ) ... ( 4 )
在此,x(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]T。为了抑制在Y0(ω,τ)中包含的噪音信号,乘以后置滤波器G(ω,τ)。
【数5】
Z(ω,τ)=G(ω,τ)Y0(ω,τ)…(5)
最后,通过对Z(ω,τ)进行快速傅里叶反变换(IFFT),获得输出信号。
接着,说明基于非专利文献2的后置滤波器设计法。
在非专利文献2中,提出了基于利用多个波束成形而估计的各区的功率谱密度(PSD)而设计后置滤波器的方式(例如,参照非专利文献2)。以下,将该方式称为LPSD法(基于本地PSD的后置滤波器设计(Local PSD-based post-filter design))。利用图2,说明LPSD法的处理流程。
当基于Wiener法设计后置滤波器的情况下,如以下那样计算G(ω,τ)。
【数6】
G ( &omega; , &tau; ) = &phi; S ( &omega; , &tau; ) &phi; S ( &omega; , &tau; ) + &phi; N ( &omega; , &tau; ) ... ( 6 )
在此,φS(ω,τ)表示目标区的功率谱密度,φN(ω,τ)表示噪音区的功率谱密度。在此,当称为某区的功率谱密度的情况下,意味着从该区到来的声音的功率谱密度。即,例如,目标区的功率谱密度是指从目标区到来的声音的功率谱密度,噪音区的功率谱密度是指从噪音区到来的声音的功率谱密度。用于根据Xm(ω,τ)而估计φS(ω,τ)、φN(ω,τ)的方法有多种,但假设在观测信号中包含干扰噪音,因此利用LPSD法。
在LPSD法中,假设在观测信号中包含有目标音与干扰噪音,且这些在时间频率区域中稀疏。为了分析位于各方向的各区的功率谱密度,设计L+1个波束成形滤波器wu(ω)(u=0,1,…,L)。滤波器wu(ω)对第k个区方向的灵敏度|Du,k(ω)|2、第u个输出信号的功率|Yu(ω,τ)|2、各区的功率谱密度|Sk(ω,τ)|2之间的关系能够如以下那样建模。在此,|Du,k(ω)|2例如是|Du,k(ω)|2=|wu H(ω)hk(ω)|2。作为|Du,k(ω)|2,也可以利用实测值。
【数7】
在此,省略了各符号的索引。即,Yu=Yu(ω,τ),且Du,k=Du,k(ω),Su=Su(ω,τ)。此外,设ΦY(ω,τ)=[|Y0(ω,τ)|2,|Y1(ω,τ)|2,…,|YL(ω,τ)|2]T、ΦS(ω,τ)=[|S0(ω,τ)|2,|S1(ω,τ)|2,…,|SK(ω,τ)|2]T
例如,通过解式(7)的反问题,算出各区的功率谱密度。
【数8】
&Phi; ^ S ( &omega; , &tau; ) = D + ( &omega; ) &Phi; Y ( &omega; , &tau; ) ... ( 8 )
在此,将b设为任意的矩阵,b+表示对b的伪逆矩阵运算。局部PSD估计部11将观测信号Xm(ω,τ)(m=1,2,…,M)作为输入,从而输出例如通过式(8)而定义的局部功率谱密度^ΦS(ω,τ)。「^」表示是被估计的。
局部是指区。在图6的例中,区1、区2、以及区3分别是局部。局部PSD估计部估计并输出各区的功率谱密度^ΦS(ω,τ)。
目标区/噪音区PSD估计部12以针对每个频率ω以及帧τ基于式(8)而估计的局部功率谱密度^ΦS(ω,τ)作为输入,算出通过以下的式定义的^φS(ω,τ)以及^φN(ω,τ)。
【数9】
&phi; ^ S ( &omega; , &tau; ) = | S ^ 0 ( &omega; , &tau; ) | 2 ... ( 9 )
&phi; ^ N ( &omega; , &tau; ) = &Sigma; k = 1 K | S ^ k ( &omega; , &tau; ) | 2 ... ( 10 )
最后,维纳增益计算部13以^φS(ω,τ)以及^φN(ω,τ)作为输入,计算并输出通过式(6)定义的后置滤波器G(ω,τ)。具体来说,维纳增益计算部13分别输入^φS(ω,τ)以及^φN(ω,τ)作为式(6)的φS(ω,τ)以及φN(ω,τ),从而计算并输出G(ω,τ)。
LPSD法的主要的优点有以下两点。(i)在功率谱区域定义波束成形的输出与各声源的关系,能够获得超过麦克风的数量的控制自由度,因此能够有效地抑制噪音;以及(ii)只要事先计算L个波束成形wu(ω)(u=0,1,…,L)与式(7)的D(ω),就能够以较低运算量实现(i)的优点。
现有技术文献
【非专利文献】
【非专利文献1】C.Marro et al.,“Analysis of noise reduction anddereverberation techniques based on microphone arrays with postfiltering,”IEEE Trans.Speech,Audio Proc.,6,240-259,1998.
【非专利文献2】Y.Hioka et al.,“Underdetermined sound source separationusing power spectrum density estimated by combination of directivity gain,”IEEE Trans.Audio,Speech,Language Proc.,21,1240-1250,2013.
发明内容
发明要解决的课题
在LPSD法中,假定目标音与干扰音混合存在的情况而定义了问题,但在实用上的问题中,不仅是具有相干性的干扰噪音,多数情况是不相干性强的稳定噪音(空调的噪音、麦克的内部噪音等)混合存在。此时,φS(ω,τ)以及φN(ω,τ)的估计误差变大,有时导致噪音抑制性能降低。
本发明的目的在于,提供比以往提高噪音抑制性能的信号处理装置、方法以及程序。
用于解决课题的手段
本发明的一方式的信号处理装置具有:局部PSD估计部,基于根据通过构成话筒阵列的M个话筒接收到的信号而获得的频域的观测信号,估计目标区以及不同于上述目标区的至少一个噪音区各自的局部功率谱密度;目标区/噪音区PSD估计部,将ω设为频率,将τ设为帧的索引,基于估计到的局部功率谱密度,估计目标区的功率谱密度^φS(ω,τ)以及噪音区的功率谱密度^φN(ω,τ);第一分量提取部,根据目标区的功率谱密度^φS(ω,τ),提取由从目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)以及由不相干的噪音派生的稳定分量^φS (B)(ω,τ);第二分量提取部,根据噪音区的功率谱密度^φN(ω,τ),提取由干扰噪音派生的非稳定分量^φN (A)(ω,τ);以及各种噪音应对型增益计算部,至少利用由从目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)、由不相干的噪音派生的稳定分量^φS (B)(ω,τ)、以及由干扰噪音派生的非稳定分量^φN (A)(ω,τ),计算用于强调从目标区到来的声音的非稳定分量的后置滤波器~G(ω,τ)。
发明效果
能够比以往提高噪音抑制性能。
附图说明
图1是表示后置滤波器型阵列的处理流程的图。
图2是以往的后置滤波器估计部的模块图。
图3是本发明所涉及的后置滤波器估计装置的例的模块图。
图4是本发明所涉及的后置滤波器估计方法的例的模块图。
图5是用于说明实验结果的图。
图6是用于说明目标区以及噪音区的例的图。
图7是用于说明目标区的例的图。
图8是用于说明增益成形的例的图。
具体实施方式
在以下说明的信号处理装置以及方法中,通过将LPSD法扩展,从而对各种噪音环境稳健地估计后置滤波器。具体来说,按噪音的每个种类进行分割而估计功率谱密度,从而减少目标音的功率与其他噪音的功率之比的估计误差。
图3表示本发明的一实施方式所涉及的信号处理装置即后置滤波器估计部1的例的模块图。
如图3所示,信号处理装置例如具有局部PSD估计部11、目标区/噪音区PSD估计部12、第一分量提取部14、第二分量提取部15、各种噪音应对型增益计算部16、时间频率平均化部17、以及增益成形部18。
例如,图4表示通过该信号处理装置实现的信号处理的各步骤。
以下,说明信号处理装置以及方法的实施方式的细节。另外,关于基本信号处理的框架、语言的定义等,与在背景技术的栏中记载的一样。从而,省略这些重复说明。
<局部PSD估计部11>
局部PSD估计部11与现有的局部PSD估计部11一样。
即,局部PSD估计部11基于根据由构成话筒阵列的M个话筒接收的信号获得的频域的观测信号Xm(ω,τ)(m=1,2,…,M),估计目标区以及噪音区各自的局部功率谱密度^ΦS(ω,τ)(步骤S1)。ω是频率,τ是帧的索引。M是2以上的整数。例如,将M设为2至4左右。也可以将M设为100左右。
所估计的局部功率谱密度^ΦS(ω,τ)被输出到目标区/噪音区PSD估计部12。
估计局所功率谱密度的具体的处理例与在背景技术栏中记载的一样,因此这里省略说明。
另外,设波束成形滤波器wu(ω)以及灵敏度|Du,k(ω)|2在局部PSD估计部11的处理之前预先设定。此外,在目标区的方向在一定程度上变化的情况下,局部PSD估计部11也可以预先准备多个滤波器组,选择采用最大的功率的滤波器。
另外,局部PSD估计部11并非基于通过波束成形获得的Yu(ω,τ)(u=0,1,…,L),而是基于由在各区的方向具有指向性的各一个话筒接收到的Yu(ω,τ)(u=0,1,…,L)而估计局部功率谱密度^ΦS(ω,τ)。
<目标区/噪音区PSD估计部12>
目标区/噪音区PSD估计部12与以往的目标区/噪音区PSD估计部12同样。
即,目标区/噪音区PSD估计部12基于所估计的局部功率谱密度,估计目标区的功率谱密度^φS(ω,τ)以及噪音区的功率谱密度^φN(ω,τ)(步骤S2)。
所估计的目标区的功率谱密度^φS(ω,τ)被输出到第一分量提取部14。所估计的噪音区的功率谱密度^φN(ω,τ)被输出到第二分量提取部15。
关于估计目标区的功率谱密度^φS(ω,τ)以及噪音区的功率谱密度^φN(ω,τ)的具体的处理例,与在背景技术栏中记载的同样,因此这里省略说明。
<第一分量提取部14>
例如在通过式(9)定义的^φS(ω,τ)中,包含由从目标区接收到的声音派生的非稳定分量^φS (A)(ω,τ)以及由不相干的噪音派生的稳定分量^φS (B)(ω,τ)。这里,稳定分量是时间上变化少的分量,非稳定分量是时间上变化多的分量。
这里,噪音有干扰噪音和不相干的噪音两种噪音。干扰噪音是从在噪音区配置的噪音声源发出的噪音。不相干的噪音并非从目标区和噪音区发出的,而是从这些区以外的场所发出,是稳定存在的噪音。
因此,第一分量提取部14根据目标区的功率谱密度^φS(ω,τ),通过平滑处理,提取由从目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)以及由不相干的噪音派生的稳定分量^φS (B)(ω,τ)(步骤S3)。例如,平滑处理通过式(11)以及式(12)那样的指数移动平均处理、时间平均处理或加权平均处理实现。
由从所提取的目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)以及由不相干的噪音派生的稳定分量^φS (B)(ω,τ)被输出到各种噪音应对型增益计算部16。
例如,第一分量提取部14如式(11)以及式(12)那样,通过进行指数移动平均处理,根据^φS(ω,τ)计算^φS (B)(ω,τ)。
【数10】
&phi; ~ s ( &omega; , &tau; ) = &alpha; S &phi; ^ s ( &omega; , &tau; ) + ( 1 - &alpha; S ) &phi; ^ s ( &omega; , &tau; - 1 ) ... ( 11 )
在此,αS是平滑系数,是规定的正实数。例如,设0<αS<1。此外,可以设为αS=帧的时间长/时间常数,从而将αS设定为使时间常数成为150ms左右。ΥS是特定区间的帧的索引的集合。例如,设定为使特定区间成为3至4秒左右。min是输出最小值的函数。
如此,^φS (B)(ω,τ)是例如通过式(11)以及式(12)对^φS(ω,τ)进行了平滑的分量。更具体来说,^φS (B)(ω,τ)是例如通过式(11)对^φS(ω,τ)进行了平滑的值在规定的时间区间中的最小值。
然后,第一分量提取部14如式(13)那样,从^φS(ω,τ)减去^φS (B)(ω,τ)从而计算^φS (A)(ω,τ)。
【数11】
&phi; ^ s ( A ) ( &omega; , &tau; ) = &phi; ^ s ( &omega; , &tau; ) - &beta; S ( &omega; ) &phi; ^ s ( B ) ( &omega; , &tau; ) ... ( 13 )
在此,βS(ω)是权重系数,是规定的正实数。βS(ω)例如被设定为1至3左右的实数。
如此,φS (A)(ω,τ)是从^φS(ω,τ)去除了^φS (B)(ω,τ)的分量。
另外,^φS (A)(ω,τ)也可以以满足^φS (A)(ω,τ)≧0的条件的方式被进行向下取整处理(Flooring processing)。该向下取整处理例如由第一分量提取部14进行。
<第二分量提取部15>
例如通过式(10)定义的^φN(ω,τ)中,包含由干扰噪音派生的非稳定分量^φN (A)(ω,τ)以及由不相干的噪音派生的稳定分量^φN (B)(ω,τ)。
因此,第二分量提取部15根据噪音区的功率谱密度^φN(ω,τ),通过平滑处理,提取由干扰噪音派生的非稳定分量^φN (A)(ω,τ)以及由不相干的噪音派生的稳定分量^φN (B)(ω,τ)(步骤S4)。例如,平滑处理通过如式(14)以及式(15)那样的指数移动平均处理、时间平均处理或加权平均处理实现。
由提取的干扰噪音派生的非稳定分量^φN (A)(ω,τ)以及由不相干的噪音派生的稳定分量^φN (B)(ω,τ)被输出到各种噪音应对型增益计算部16。
例如,第二分量提取部15通过如式(14)以及式(15)那样进行指数移动平均处理,根据^φN(ω,τ)计算^φN (B)(ω,τ)。
【数12】
&phi; ~ N ( &omega; , &tau; ) = &alpha; N &phi; ^ N ( &omega; , &tau; ) + ( 1 - &alpha; N ) &phi; ~ N ( &omega; , &tau; - 1 ) ... ( 14 )
这里,αN是平滑系数,是规定的正实数。例如,设0<αN<1。此外,也可以设为αN=帧的时间长/时间常数,从而将αN设定为时间常数成为150ms左右。ΥN是特定区间的帧的索引的集合。例如,被设定为特定区间成为3至4秒左右。
如此,^φN (B)(ω,τ)是例如通过式(14)以及式(15)对^φN(ω,τ)进行了平滑的分量。更具体来说,^φN (B)(ω,τ)是例如通过式(14)对^φN(ω,τ)进行了平滑的值在规定的时间区间中的最小值。
然后,第二分量提取部15通过如式(16)那样从^φN(ω,τ)减去^φN (B)(ω,τ),从而计算^φN (A)(ω,τ)。
【数13】
&phi; ^ N ( A ) ( &omega; , &tau; ) = &phi; ^ N ( &omega; , &tau; ) - &beta; N ( &omega; ) &phi; ^ N ( B ) ( &omega; , &tau; ) ... ( 16 )
在此,βN(ω)是权重系数,是规定的正实数。βN(ω)被设定为例如1至3左右的实数。
如此,φN (A)(ω,τ)是从^φN(ω,τ)去除了^φN (B)(ω,τ)的分量。
另外,^φN (A)(ω,τ)也可以以满足^φN (A)(ω,τ)≧0的条件的方式被进行向下取整处理。该向下取整处理例如可以在第二分量提取部15中进行。
αN可以与αS相同也可以不同。ΥN可以与ΥS相同也可以不同。βN(ω)可以与βS(ω)相同也可以不同。
另外,在各种噪音应对型增益计算部16中不利用^φN (B)(ω,τ)的情况下,第二分量提取部15也可以不求出^φN (B)(ω,τ)。换言之,此时,第二分量提取部15也可以根据^φN(ω,τ)仅求出^φN (A)(ω,τ)。
<各种噪音应对型增益计算部16>
各种噪音应对型计算部16至少利用由从目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)、由不相干的噪音派生的稳定分量^φS (B)(ω,τ)、以及由干扰噪声派生的非稳定分量^φN (A)(ω,τ),计算用于强调从目标区到来的声音的非稳定分量的后置滤波器~G(ω,τ)(步骤S5)。
所计算的后置滤波器~G(ω,τ)被输出到时间频率平均部17。
由于按照噪音的种类(换言之,不相干的噪音、相干的噪音这样的噪音种类)估计了功率谱密度,因此各种噪音应对型增益计算部16例如计算通过以下的式(17)定义的后置滤波器~G(ω,τ)。
【数14】
G ~ ( &omega; , &tau; ) = &phi; ^ S ( A ) ( &omega; , &tau; ) &phi; ^ S ( A ) ( &omega; , &tau; ) + &phi; ^ S ( B ) ( &omega; , &tau; ) + &phi; ^ N ( A ) ( &omega; , &tau; ) ... ( 17 )
当^φS (B)(ω,τ)的值的特性(behavior)与^φN (B)(ω,τ)的值的特性之间存在差异,不相干性的假定被破坏的情况下,各种噪音应对型增益计算部16也可以计算通过以下的式(18)定义的后置滤波器~G(ω,τ)。
【数15】
G ~ ( &omega; , &tau; ) = &phi; ^ S ( A ) ( &omega; , &tau; ) &phi; ^ S ( A ) ( &omega; , &tau; ) + &phi; ^ S ( B ) ( &omega; , &tau; ) + &phi; ^ S ( A ) ( &omega; , &tau; ) + &phi; ^ S ( B ) ( &omega; , &tau; ) ... ( 18 )
<时间频率平均部17>
时间频率平均部17针对后置滤波器~G(ω,τ),进行向时间方向与频率方向的至少一个方向的平滑处理(步骤S6)。
被平滑处理后的后置滤波器~G(ω,τ)被输出到增益成形部18。
当在时间方向上进行平滑的情况下,将τ0以及τ1设为0以上的整数,从而时间频率平均部17只要针对例如后置滤波器~G(ω,τ)的时间方向附近的后置滤波器即~G(ω,τ-τ0),…~G(ω,τ+τ1)进行加法平均即可。时间频率平均部17也可以对~G(ω,τ-τ0),…~G(ω,τ+τ1)进行加权求和。
此外,当在频率方向上进行平滑的情况下,只要将ω0以及ω1设为0以上的实数,从而时间频率平均部17只要针对例如后置滤波器~G(ω,τ)的频率方向附近的后置滤波器即~G(ω-ω0,τ),…~G(ω+ω1,τ)进行平均即可。时间频率平均部17也可以对~G(ω-ω0,τ),…~G(ω+ω1,τ)进行加权求和。
<增益成形部18>
增益成形部18通过对进行了平滑处理的后置滤波器~G(ω,τ)进行增益成形,从而生成后置滤波器G(ω,τ)(步骤S7)。增益成形部18例如生成通过以下的式(19)定义的后置滤波器G(ω,τ)。
【数16】
G ( &omega; , &tau; ) = &gamma; ( G ~ ( &omega; , &tau; ) - 0.5 ) + 0.5... ( 19 )
在此,γ是权重系数,是正实数,例如,将γ设定为1至1.3左右即可。
增益成形部18可以对后置滤波器G(ω,τ)进行向下取整处理,以便满足A≦G(ω,τ)≦1。A是0至0.3的实数,通常设定为0.1左右。若G(ω,τ)比1大则存在过强调的可能性,此外,若G(ω,τ)过小则存在发生音乐噪声(Musical noise)的可能性。通过进行适当的向下取整处理,能够防止发生该强调以及音乐噪声。
考虑定义域以及值域是实数的函数f。函数f例如设为非降函数。增益成形意味着求出将增益成形前的~G(ω,τ)输入到函数f时的输出值的操作。换言之,对函数f输入了~G(ω,τ)时的输出值为G(ω,τ)。函数f的例是式(19)。式(19)的函数f是f(x)=γ(x-0.5)+0.5。
利用图8说明其他函数f的其他例。在图8中,省略了索引。即,图8的G表示G(ω,τ),~G表示~G(ω,τ)。首先,在该例中,如图8(A)至图8(B)所示,改变了函数f的图表的坡度。此外,如图8(B)至图8(C)所示,进行向下取整处理以便满足0≦G(ω,τ)≦1。通过由该图8(C)的粗线表示的图表确定的函数是函数f的其他例。
函数f的图表并不限定于图8(C)表示的图表。例如,在图8(C)中,函数f的图表由直线构成,但函数f的图表也可以由曲线构成。例如,函数f也可以是对双曲正切函数施加了向下取整处理的函数。
根据该信号处理装置以及方法,能够对具有各种性质的噪音存在的环境稳健地设计用于噪音抑制的后置滤波器。此外,通过具有实时性的处理,能够设计这样的后置滤波器。
[实施例与实验结果]
以LPSD法为现有方式,进行了用于验证所提方式的效果的实验。如图5所示,在混响时间110ms(1.0kHz)的室内配置了声源或阵列。在有目标音(男女发声)、K=3个干扰噪音(#1:男女发声、#2,3:音乐)、从室内的四个角落的扬声器发出白噪声而再现的背景噪音时,利用M=4个全向话筒进行了录音。观测时的SN比平均为-1dB。此外,将采样频率设为16.0kHz,将FFT分析长度设为512pt,将FFT偏移长度设为256pt。
在该条件下,根据通过以下的式定义的谱失真(SD),评价了噪音抑制性能。
【数17】
S D = 1 | &Psi; | &Sigma; &tau; &Element; &Psi; 1 | &Omega; | &Sigma; &omega; &Element; &Psi; ( 10 log 10 S 0 ( &omega; , &tau; ) Z ( &omega; , &tau; ) ) 2 ... ( 20 )
这里,Ψ和|Ψ分别表示帧的索引集合以及其总数。Ω与|Ω|分别表示频率区间的索引以及其总数。SD的值越小噪音抑制性能越高。对男女发声的650句计算SD,以往方式中是14.0,在所提方式中成为11.5,SD降低。尤其提高了对发声区间外的背景噪音的抑制效果。
[变形例等]
时间频率平均部17以及增益成形部18的处理为了抑制所谓的音乐噪声而进行。时间频率平均部17以及增益成形部18的处理也可以不进行。
基于指数移动平均处理的^φS (B)(ω,τ)以及^φS (A)(ω,τ)的计算是第一分量提取部14的处理的一例。第一分量提取部14也可以通过其他的处理而提取^φS (B)(ω,τ)以及^φS (A)(ω,τ)。
同样地,基于指数移动平均处理的^φN (B)(ω,τ)以及^φN (A)(ω,τ)的计算是第二分量提取部15的处理的一例。第二分量提取部15也可以通过其他的处理而提取^φN (B)(ω,τ)以及^φN (A)(ω,τ)。
在上述信号处理装置以及方法中说明的处理不仅按照记载的顺序时序地执行,也可以根据执行处理的装置的处理能力或需要,并列地或者单独执行。
此外,当通过计算机实现在信号处理装置中的各部的情况下,通过程序来记述信号处理装置的各部应具有的功能的处理内容。并且,通过计算机来执行该程序,从而在计算机上实现该各部。
记述了该处理内容的程序能够预先记录在计算机中能够读取的记录介质中。作为计算机中能够读取的记录介质,例如可以是磁记录装置、光盘、光磁记录介质、半导体存储器等的任意的介质。
此外,各处理部件通过在计算机上执行规定的程序而构成,也可以通过硬件实现这些处理内容的至少一部分。
除此之外,在不脱离本发明的宗旨的范围内当然能够适当进行变更。
产业上的可利用性
作为智能手机的命令输入,一般利用了声音识别。认为在车内或工厂内的噪音下,通过免提操作设备或者远程进行通话的需要较高。
本发明能够例如在这样的情况下利用。

Claims (6)

1.一种信号处理装置,包含:
局部PSD估计部,基于根据通过构成话筒阵列的M个话筒接收到的信号而获得的频域的观测信号,估计规定的目标区以及不同于上述目标区的至少一个噪音区各自的局部功率谱密度;
目标区/噪音区PSD估计部,将ω设为频率,将τ设为帧的索引,基于上述估计到的局部功率谱密度,估计目标区的功率谱密度^φS(ω,τ)以及噪音区的功率谱密度^φN(ω,τ);
第一分量提取部,根据上述目标区的功率谱密度^φS(ω,τ),提取由从目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)以及由不相干的噪音派生的稳定分量^φS (B)(ω,τ);
第二分量提取部,根据上述噪音区的功率谱密度^φN(ω,τ),提取由干扰噪音派生的非稳定分量^φN (A)(ω,τ);以及
各种噪音应对型增益计算部,至少利用由从上述目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)、由上述不相干的噪音派生的稳定分量^φS (B)(ω,τ)、以及由上述干扰噪音派生的非稳定分量^φN (A)(ω,τ),计算用于强调从上述目标区到来的声音的非稳定分量的后置滤波器~G(ω,τ)。
2.如权利要求1所述的信号处理装置,其中,
由上述不相干的噪音派生的稳定分量^φS (B)(ω,τ)是对上述目标区的功率谱密度^φS(ω,τ)进行了平滑的分量,
由从上述目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)是从上述目标区的功率谱密度^φS(ω,τ)去除了由上述不相干的噪音派生的稳定分量^φS (B)(ω,τ)的分量,
由上述干扰噪音派生的非稳定分量^φN (A)(ω,τ)是从上述噪音区的功率谱密度^φN(ω,τ)去除了对上述噪音区的功率谱密度^φN(ω,τ)进行了平滑的分量的分量。
3.如权利要求1所述的信号处理装置,其中,
上述第二分量提取部从上述噪音区的功率谱密度^φN(ω,τ)进一步提取由干扰噪音派生的非稳定分量^φN (A)(ω,τ),
上述第一分量提取部将αS设为规定的实数,将ΥS设为特定区间的帧的索引的集合,将βS(ω)设为规定的实数,计算通过以下的式定义的^φS(A)(ω,τ)以及^φS (B)(ω,τ),将所计算的^φS (A)(ω,τ)作为由从上述目标区到来的声音派生的非稳定分量^φS (A)(ω,τ),并将所计算的^φS (B)(ω,τ)作为由上述不相干的噪音派生的稳定分量^φS (B)(ω,τ),
【数18】
&phi; ~ s ( &omega; , &tau; ) = &alpha; S &phi; ^ s ( &omega; , &tau; ) + ( 1 - &alpha; S ) &phi; ~ s ( &omega; , &tau; - 1 )
&phi; ^ s ( A ) ( &omega; , &tau; ) = &phi; ^ s ( &omega; , &tau; ) - &beta; S ( &omega; ) &phi; ^ s ( B ) ( &omega; , &tau; )
上述第二分量提取部将αN设为规定的实数,将ΥN设为特定区间的帧的索引的集合,将βN(ω)设为规定的实数,计算通过以下的式定义的^φN (A)(ω,τ)以及^φN (B)(ω,τ),并将所计算的^φN (A)(ω,τ)作为由上述干扰噪音派生的非稳定分量^φN (A)(ω,τ),将^φN (B)(ω,τ)设为由上述不相干的噪音派生的稳定分量^φN(B)(ω,τ),
【数19】
&phi; ~ N ( &omega; , &tau; ) = &alpha; N &phi; ^ N ( &omega; , &tau; ) + ( 1 - &alpha; N ) &phi; ~ N ( &omega; , &tau; - 1 )
&phi; ^ N ( A ) ( &omega; , &tau; ) = &phi; ^ N ( &omega; , &tau; ) - &beta; N ( &omega; ) &phi; ^ N ( B ) ( &omega; , &tau; )
上述各种噪音应对型增益计算部进一步利用由上述不相干的噪音派生的稳定分量^φN (B)(ω,τ),计算用于强调从上述目标区到来的声音的非稳定分量的后置滤波器~G(ω,τ)。
4.如权利要求1至3的任一项所述的信号处理装置,进一步包含:
时间频率平均部,针对上述后置滤波器~G(ω,τ)进行向时间方向和频率方向的至少一个方向的平滑处理;以及
增益成形部,针对进行了上述平滑处理的后置滤波器~G(ω,τ)进行增益成形。
5.一种信号处理方法,包含:
局部PSD估计步骤,基于根据通过构成话筒阵列的M个话筒接收到的信号而获得的频域的观测信号,估计目标区以及不同于上述目标区的至少一个噪音区各自的局部功率谱密度;
目标区/噪音区PSD估计部,将ω设为频率,将τ设为帧的索引,基于上述估计到的局部功率谱密度,估计目标区的功率谱密度^φS(ω,τ)以及噪音区的功率谱密度^φN(ω,τ);
第一分量提取步骤,根据上述目标区的功率谱密度^φS(ω,τ),提取由从目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)以及由不相干的噪音派生的稳定分量^φS (B)(ω,τ);
第二分量提取步骤,根据上述噪音的功率谱密度^φN(ω,τ),提取由干扰噪音派生的非稳定分量^φN (A)(ω,τ);以及
各种噪音应对型增益计算步骤,至少利用由从上述目标区到来的声音派生的非稳定分量^φS (A)(ω,τ)、由上述不相干的噪音派生的稳定分量^φS (B)(ω,τ)、以及由上述干扰噪音派生的非稳定分量^φN (A)(ω,τ),计算用于强调从上述目标区到来的声音的非稳定分量的后置滤波器~G(ω,τ)。
6.一种程序,使计算机起到权利要求1至4的任一项所述的信号处理装置的各部的作用。
CN201580009993.1A 2014-02-28 2015-02-25 信号处理装置、方法以及程序 Active CN106031196B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-037820 2014-02-28
JP2014037820 2014-02-28
PCT/JP2015/055442 WO2015129760A1 (ja) 2014-02-28 2015-02-25 信号処理装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
CN106031196A true CN106031196A (zh) 2016-10-12
CN106031196B CN106031196B (zh) 2018-12-07

Family

ID=54009075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580009993.1A Active CN106031196B (zh) 2014-02-28 2015-02-25 信号处理装置、方法以及程序

Country Status (5)

Country Link
US (1) US9747921B2 (zh)
EP (1) EP3113508B1 (zh)
JP (1) JP6225245B2 (zh)
CN (1) CN106031196B (zh)
WO (1) WO2015129760A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292508A (zh) * 2015-12-02 2018-07-17 日本电信电话株式会社 空间相关矩阵估计装置、空间相关矩阵估计方法和空间相关矩阵估计程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181329B2 (en) * 2014-09-05 2019-01-15 Intel IP Corporation Audio processing circuit and method for reducing noise in an audio signal
JP6915579B2 (ja) * 2018-04-06 2021-08-04 日本電信電話株式会社 信号分析装置、信号分析方法および信号分析プログラム
JP2019193073A (ja) * 2018-04-24 2019-10-31 日本電信電話株式会社 音源分離装置、その方法、およびプログラム
CN109490626B (zh) * 2018-12-03 2021-02-02 中车青岛四方机车车辆股份有限公司 一种基于非平稳随机振动信号的标准psd获取方法及装置
WO2022038673A1 (ja) * 2020-08-18 2022-02-24 日本電信電話株式会社 収音装置、収音方法、プログラム
CN113808608B (zh) * 2021-09-17 2023-07-25 随锐科技集团股份有限公司 一种基于时频掩蔽平滑策略的单声道噪声抑制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201418142Y (zh) * 2009-05-22 2010-03-03 杨辉隆 一种麦克风
US20100128897A1 (en) * 2007-03-30 2010-05-27 Nat. Univ. Corp. Nara Inst. Of Sci. And Tech. Signal processing device
JP2012088390A (ja) * 2010-10-15 2012-05-10 Honda Motor Co Ltd 音声認識装置及び音声認識方法
JP2012195772A (ja) * 2011-03-16 2012-10-11 Canon Inc 音声信号処理装置及びその制御方法、コンピュータプログラム
US20120330652A1 (en) * 2011-06-27 2012-12-27 Turnbull Robert R Space-time noise reduction system for use in a vehicle and method of forming same

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010091077A1 (en) * 2009-02-03 2010-08-12 University Of Ottawa Method and system for a multi-microphone noise reduction
EP2226794B1 (en) * 2009-03-06 2017-11-08 Harman Becker Automotive Systems GmbH Background noise estimation
EP2395506B1 (en) * 2010-06-09 2012-08-22 Siemens Medical Instruments Pte. Ltd. Method and acoustic signal processing system for interference and noise suppression in binaural microphone configurations
BR112012031656A2 (pt) * 2010-08-25 2016-11-08 Asahi Chemical Ind dispositivo, e método de separação de fontes sonoras, e, programa
JP2012177828A (ja) * 2011-02-28 2012-09-13 Pioneer Electronic Corp ノイズ検出装置、ノイズ低減装置及びノイズ検出方法
EP2884491A1 (en) * 2013-12-11 2015-06-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Extraction of reverberant sound using microphone arrays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128897A1 (en) * 2007-03-30 2010-05-27 Nat. Univ. Corp. Nara Inst. Of Sci. And Tech. Signal processing device
CN201418142Y (zh) * 2009-05-22 2010-03-03 杨辉隆 一种麦克风
JP2012088390A (ja) * 2010-10-15 2012-05-10 Honda Motor Co Ltd 音声認識装置及び音声認識方法
JP2012195772A (ja) * 2011-03-16 2012-10-11 Canon Inc 音声信号処理装置及びその制御方法、コンピュータプログラム
US20120330652A1 (en) * 2011-06-27 2012-12-27 Turnbull Robert R Space-time noise reduction system for use in a vehicle and method of forming same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292508A (zh) * 2015-12-02 2018-07-17 日本电信电话株式会社 空间相关矩阵估计装置、空间相关矩阵估计方法和空间相关矩阵估计程序
CN108292508B (zh) * 2015-12-02 2021-11-23 日本电信电话株式会社 空间相关矩阵估计装置、空间相关矩阵估计方法和记录介质

Also Published As

Publication number Publication date
EP3113508A4 (en) 2017-11-01
WO2015129760A1 (ja) 2015-09-03
US20160372131A1 (en) 2016-12-22
CN106031196B (zh) 2018-12-07
US9747921B2 (en) 2017-08-29
EP3113508A1 (en) 2017-01-04
JPWO2015129760A1 (ja) 2017-03-30
JP6225245B2 (ja) 2017-11-01
EP3113508B1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
CN106031196A (zh) 信号处理装置、方法以及程序
CN106710601B (zh) 一种语音信号降噪拾音处理方法和装置及冰箱
CN107919133B (zh) 针对目标对象的语音增强系统及语音增强方法
CN108172235B (zh) 基于维纳后置滤波的ls波束形成混响抑制方法
Markovich-Golan et al. Performance analysis of the covariance subtraction method for relative transfer function estimation and comparison to the covariance whitening method
JP6074263B2 (ja) 雑音抑圧装置及びその制御方法
CN105590631B (zh) 信号处理的方法及装置
WO2015196729A1 (zh) 一种麦克风阵列语音增强方法及装置
CN111863015B (zh) 一种音频处理方法、装置、电子设备和可读存储介质
JP6987075B2 (ja) オーディオ源分離
Schwartz et al. Joint estimation of late reverberant and speech power spectral densities in noisy environments using Frobenius norm
Niwa et al. Post-filter design for speech enhancement in various noisy environments
Peled et al. Linearly-constrained minimum-variance method for spherical microphone arrays based on plane-wave decomposition of the sound field
Ito et al. Designing the Wiener post-filter for diffuse noise suppression using imaginary parts of inter-channel cross-spectra
Velasco et al. Novel GCC-PHAT model in diffuse sound field for microphone array pairwise distance based calibration
Jarrett et al. Noise reduction in the spherical harmonic domain using a tradeoff beamformer and narrowband DOA estimates
Zheng et al. Two-channel post-filtering based on adaptive smoothing and noise properties
KR20190073852A (ko) 우도 최대화를 이용한 빔포밍 방법
Zhu et al. Modified complementary joint sparse representations: a novel post-filtering to MVDR beamforming
Stolbov et al. Speech enhancement with microphone array using frequency-domain alignment technique
Astudillo et al. Integration of beamforming and automatic speech recognition through propagation of the Wiener posterior
JP6519801B2 (ja) 信号解析装置、方法、及びプログラム
Bai et al. Kalman filter-based microphone array signal processing using the equivalent source model
Zheng et al. Statistical analysis and improvement of coherent-to-diffuse power ratio estimators for dereverberation
Pfeifenberger et al. A multi-channel postfilter based on the diffuse noise sound field

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant