CN104810024A - 一种双路麦克风语音降噪处理方法及系统 - Google Patents
一种双路麦克风语音降噪处理方法及系统 Download PDFInfo
- Publication number
- CN104810024A CN104810024A CN201410042189.0A CN201410042189A CN104810024A CN 104810024 A CN104810024 A CN 104810024A CN 201410042189 A CN201410042189 A CN 201410042189A CN 104810024 A CN104810024 A CN 104810024A
- Authority
- CN
- China
- Prior art keywords
- signal
- estimation
- voice
- speech signal
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供一种双路麦克风语音降噪处理方法及系统,该方法包括:将A/D采样后的两路原始语音信号求和取平均获得含噪语音信号估计,求差平均获得噪声信号估计;进行预加重处理和短时快速傅里叶变换,将获得的含噪语音信号估计与噪声信号估计的功率谱相减,获得语音信号的幅度谱估计;将幅度谱估计中小于预定门限的部分置零;对置零后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换和重叠相加,获得去噪后的纯净语音信号。本发明对信噪比不敏感,降低了降噪算法的复杂度,避免了噪声估计不准和音乐噪声问题。
Description
技术领域
本发明属于去除噪声技术领域,涉及一种降噪方法,特别是涉及一种双路麦克风语音降噪处理方法及系统。
背景技术
人工耳蜗(Cochlear Implant)是一种为重度、极重度或全聋的成人或小儿恢复或获得听力的电子装置,可以完全代替受损的内耳毛细胞,它可以将外界的声音转化为神经电脉冲信号,绕过听觉系统里的坏死毛细胞,直接刺激听觉神经的螺旋神经节,将信息传递给大脑。在听觉损失严重的情况下,人工耳蜗是耳聋患者的唯一希望和选择。人工耳蜗主要由体外机和体内机两部分组成,其工作原理如图1所示,麦克风采集外界声音信号;声音处理器采取某种声音处理策略对声音信号进行处理,对处理后的声音信号进行编码并通过线圈无线射频传输。体内皮下线圈接收到射频信号后,通过芯片解码,刺激器根据解码信息对相应的电极发放相应的刺激脉冲信号;脉冲信号直接刺激听神经并传达至大脑听觉中枢,使人产生听觉。即人工耳蜗绕过内耳毛细胞之前的听觉通路,直接刺激听神经,并最终在大脑产生声音的感知。
目前全国有800万重度聋患者,人工耳蜗是最好的选择。人工耳蜗是由体外言语处理器将声音转换为一定编码形式的电信号,通过植入体内的电极系统直接兴奋听觉神经来恢复或重建聋人的听觉功能。
体外言语的接收主要采用麦克风实现,人工耳蜗中的麦克风选型既有定向型也有全向型的,麦克风的数量由单路也变成了双路,降噪效果也越来越好。人工耳蜗的核心技术之一在于对体外机麦克风接收到的语音信号的降噪处理,经过降噪处理的人工耳蜗,可以大大减轻背景噪声以及各种干扰信号对人工耳蜗植入体电极的干扰刺激,使患者及患者家属更好地接受人工耳蜗产品,从而推动社会福利事业的发展。在现有人工耳蜗技术领域,常用的降噪处理方法是谱减法。谱减法是一种常用的语音增强方法,其特点是运算量小,易于实时实现。但常用的谱减法是以语音信号寂静段统计的平均噪声来代替当前的噪声频谱分量。在实际处理中,一方面,对“语音信号寂静段”的查找要避免引入语音信号,这就需要比较稳健的算法;另一方面,在信噪比较低的情况下,“语音信号寂静段”会与语音信号相混淆,由此会造成大量的“音乐噪声”残留,影响增强语音的清晰度。针对以上问题,Udrea等人在原有的谱减法的基础上引入了过减系数进行改进,通过调整过减系数可以有意识地多减去或者少减去一些噪声,更好地突出语音功率谱。但是,过减系数如何取值才能比较好地控制被减噪声量,又成为一个新的问题。所以谱减法降噪的关键在于对噪声功率谱的估计要精确地接近语音信号背景噪声的功率谱,也即是对噪声功率谱的实时准确估计。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种双路麦克风语音降噪处理方法及系统,用于解决现有人工耳蜗技术领域中的谱减法降噪处理中存在音乐噪声增强后语音的清晰度问题。
为实现上述目的及其他相关目的,本发明提供一种双路麦克风语音降噪处理方法;所述双路麦克风语音降噪处理方法包括:将A/D采样后的两路数字语音数据进行分帧、加窗处理;对分帧、加窗处理后的两路数字语音数据先做求和运算,再做平均处理获得含噪语音信号估计;对分帧、加窗处理后的两路数字语音数据先做求差运算,再做平均处理获得噪声信号估计;对所述含噪语音信号估计和噪声信号估计分别进行预加重处理;对预加重处理后的含噪语音信号估计和预加重处理后的噪声信号估计分别进行短时快速傅里叶变换,计算出功率谱;将含噪语音信号估计的功率谱与噪声信号估计的功率谱相减,获得差值功率谱,即语音信号帧的功率谱,进一步计算得到语音信号的幅度谱估计;对所述语音信号的幅度谱估计取对数后与预定门限进行比较,将所述幅度谱估计中小于预定门限的部分置零;对置零判决处理后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换,并对相邻帧的短时逆傅里叶变换结果进行重叠相加,获得去噪后时域的纯净语音信号。
优选地,将A/D采样后的两路数字语音数据进行分帧、加窗处理的具体过程包括:对所述第一路数字语音数据s_1(n)和第二路数字语音数据v_1(n)进行分帧、加窗的过程为:
其中,n为采样时刻,i为第i帧数字语音数据,w(n),0≤n≤N-1为窗函数,N为窗长。
优选地,所述含噪语音信号估计为s_3(n,i)=(s_2(n,i)+v_2(n,i))/2,所述噪声信号估计为v_3(n,i)=(s_2(n,i)-v_2(n,i))/2。
优选地,所述预加重处理采用一阶FIR高通数字滤波器实现,预加重差分方程为:y(n)=x(n)-αx(n-1),其中α为预加重系数,0.9<α<1.0;s_3(n,i)和v_3(n,i)经过预加重后的输出记为s(n,i)和v(n,i)。
优选地,对预加重处理后的含噪语音信号估计s(n,i)和噪声信号估计v(n,i)进行幅度谱估计的具体过程包括:含噪语音信号估计的频率特性为:
S(k,i)=SFFT(s(n,i))=|S(k,i)|expjθ(k,j),0≤k≤N-1;
其中,θ(k)表示含噪语音信号估计的相频特性函数;噪声信号估计的频率特性为:
其中,表示噪声信号估计的相频特性函数;差值功率谱为:
|Δ(k,i)|2=|S(k,i)|2-|V(k,i)|2,0≤k≤N-1;
语音信号的幅度谱估计为:
优选地,对置零判决处理后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换的具体过程包括:所述语音信号的幅度谱判决为:语音信号的频谱估计为:S′(k,i)=Δ′(k,i)expjθ(k,i),其中,相位expjθ(k,i)取自含噪语音信号的频谱S(k,i);短时逆傅里叶变换的结果为:s′(k,i)=real(ISFFT(Δ′(k,i)expjθ(k,i))),其中real为取实数运算。
优选地,所述预定门限包括安静模式门限、正常模式门限、吵杂模式门限。
本发明还提供一种双路麦克风语音降噪处理系统,包括:A/D采样模块,将双路麦克风输出的两路原始语音信号进行A/D采样,获得两路数字语音数据;分帧加窗模块,与A/D采样模块相连,对所述两路数字语音数据进行分帧、加窗处理;含噪语音信号估计模块,与所述分帧加窗模块相连,对分帧、加窗处理后的两路数字语音数据先做求和运算,再做平均处理获得含噪语音信号估计;噪声信号估计模块,与所述分帧加窗模块相连,对分帧、加窗处理后的两路数字语音数据先做求差运算,再做平均处理获得噪声信号估计;预加重处理模块,与所述含噪语音信号估计模块和噪声信号估计模块分别相连,对所述含噪语音信号估计和噪声信号估计分别进行预加重处理;语音信号幅度谱获取模块,与所述预加重处理模块相连,对预加重处理后的含噪语音信号估计和预加重处理后的噪声信号估计分别进行短时快速傅里叶变换,将获得的含噪语音信号估计的功率谱与噪声信号估计的功率谱相减,获得差值功率谱,进一步计算得到语音信号的幅度谱估计;门限过滤模块,与所述语音信号幅度谱获取模块相连,对所述语音信号幅度谱估计取对数后与预定门限进行比较,将语音信号的幅度谱估计中小于预定门限的部分置零;纯净语音信号获取模块,与所述门限过滤模块相连,对置零判决处理后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换,并对相邻帧的短时逆傅里叶变换结果进行重叠相加,获得去噪后时域的纯净语音信号。优选地,所述分帧加窗模块的模型函数为: 其中,n为采样时刻,i为第i帧数字语音数据,w(n),0≤n≤N-1为窗函数,N为窗长。
优选地,所述含噪语音信号估计模块的模型函数为:s_3(n,i)=(s_2(n,i)+v_2(n,i))/2;噪声信号估计模块的模型函数为:v_3(n,i)=(s_2(n,i)-v_2(n,i))/2。
优选地,所述预加重处理模块为一阶FIR高通数字滤波器,预加重处理模块的模型函数为:y(n)=x(n)-αx(n-1),其中α为预加重系数,0.9<α<1.0;s_3(n,i)和v_3(n,i)经过预加重后的输出记为s(n,i)和v(n,i)。
优选地,所述语音信号幅度谱获取模块包括:含噪语音信号估计的频率特性获取单元,噪声信号估计的频率特性获取单元,差值功率谱获取单元,语音信号的幅度谱估计单元;所述含噪语音信号估计的频率特性获取单元的模型函数为:S(k,i)=SFFT(s(n,i))=|S(k,i)|expjθ(k,i),0≤k≤N-1;其中,θ(k,i)表示含噪语音信号估计的相频特性函数;所述噪声信号估计的频率特性获取单元的模型函数为:其中,表示噪声信号估计的相频特性函数;所述差值功率谱获取单元的模型函数为:|Δ(k,i)|2=|S(k,i)|2-|V(k,i)|2,0≤k≤N-1;所述语音信号的幅度谱估计单元的模型函数为:
优选地,所述门限过滤模块的模型函数为:所述纯净语音信号获取模块包括相连的语音信号的频谱估计单元,短时逆傅里叶变换单元,重叠相加单元;所述语音信号的频谱估计单元的模型函数为:S′(k,i)=Δ′(k,i)expjθ(k,i),其中,相位expjθ(k,i)取自含噪语音信号s(n,i)的频谱S(k,i);短时逆傅里叶变换单元的模型函数为:s′(k,i)=real(ISFFT(Δ′(k,i)expjθ(k,i))),其中real为取实数运算;重叠相加单元对短时逆傅里叶变换单元输出的相邻帧的S′(k,i)进行重叠相加,获得去噪后时域的纯净语音信号。
如上所述,本发明所述的双路麦克风语音降噪处理方法及系统,具有以下有益效果:
本发明采用了双级降噪模式,在双麦克风输入的情况下巧妙的引入了功率谱相减理论,在第一个降噪模式中只使用了比较简单的加减运算,就实现了含噪语音以及噪声的估计,相比传统的谱相减算法中端点检测算法,大大降低了算法复杂度,而且由于本发明对噪声的估计是实时进行的,适用于平稳和非平稳噪声,避开了在传统谱相减算法中含噪语音信号噪声估计不准的缺陷,也避免了采用传统谱相减降噪法带来的“音乐噪声”问题。
附图说明
图1为现有人工耳蜗的工作原理示意图。
图2a为本发明所述的双路麦克风语音降噪处理方法的第一种流程示意图。
图2b为本发明所述的双路麦克风语音降噪处理方法的第二种流程示意图。
图3为本发明所述的预定门限的模式示意图。
图4为本发明所述的双路麦克风语音降噪处理系统的结构示意图。
图5为本发明所述的两个麦克风设置在人工耳蜗体外机上的结构框图。
图6为本发明所述的语音信号幅度谱获取模块的结构框图。
图7为本发明所述的门限过滤模块的结构框图。
图8为本发明所述的纯净语音信号获取模块的结构框图。
元件标号说明
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
请参阅附图。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
下面结合实施例和附图对本发明进行详细说明。
实施例
本实施例提供一种双路麦克风语音降噪处理方法,如图2a和图2b所示,所述双路麦克风语音降噪处理方法包括:
将两个麦克风接收到的两路原始语音信号进行A/D采样,获得n时刻前麦克风输出的第一路数字语音数据s_1(n)和后麦克风输出的第二路数字语音数据v_1(n)。其中,A/D采样速率可优选设置为16kHz。所述前麦克风和后麦克风的声管指向不同。两个麦克风可以均为电容式麦克风,也可以为如MEMS麦克风等其他类型的麦克风;两个麦克风的型号可以相同,也可以不同;当麦克风型号相同时,两个麦克风可以均为全向麦克风;当麦克风型号不同时,两个麦克风可以为一个定向麦克风和一个全向麦克风。当本发明所述的降噪系统和方法应用于人工耳蜗体外机时,两个麦克风可以设置于人工耳蜗体外机的耳挂上,也可以设置在人工耳蜗体外机的任何合适位置。两个麦克风的指向也可以有多种设置,如:前麦克风的声管指向人工耳蜗体外机前方,后麦克风的声管指向人工耳蜗体外机的后方;或前麦克风的声管指向人工耳蜗体外机上方,后麦克风的声管指向人工耳蜗体外机的后方。
将所述两路数字语音数据进行分帧、加窗处理。进一步,将所述两路数字语音数据进行分帧、加窗处理的具体过程包括:对所述第一路数字语音数据s_1(n)和第二路数字语音数据v_1(n)进行分帧、加窗的过程为:
其中,为Hamming窗,i为第i帧数字语音数据,n为采样时刻,N为窗长。分帧加窗后的两路数字语音数据分别为s_2(n,i)=s_1(n,i)w(n),0≤n≤N-1和v_2(n,i)=v_1(n,i)w(n),0≤n≤N-1。其中,本发明所述的加窗所用的函数可以为Hanning窗、Hamming窗等,本发明以Hamming窗为例进行说明,但本发明的保护范围不限于窗函数的类别。语音信号具有短时平稳性,一般认为语音信号在10~30ms范围近似不变,本发明所述的A/D采样频率为16kHz,对应声音信号分析帧为160~480,也即是窗长范围,本发明所述的窗长选取256,帧移与分析帧的比值一般为0~0.5,本发明的帧移可取64。
对分帧、加窗处理后的两路数字语音数据先做求和运算,再做平均处理获得含噪语音信号估计;所述含噪语音信号估计为s_3(n,i)=(s_2(n,i)+v_2(n,i))/2。
对分帧、加窗处理后的两路数字语音数据先做求差运算,再做平均处理获得噪声信号估计;所述噪声信号估计为v_3(n,i)=(s_2(n,i)-v_2(n,i))/2。通过对两路麦克风的合理选型及位置的恰当摆放,可以完成对含噪信号及噪声信号的初步估计,且能很好地满足进一步降噪的算法模型,即为后续降噪处理打下了基础。
对所述含噪语音信号估计和噪声信号估计分别进行预加重处理;进一步,所述预加重处理可以采用一阶FIR高通数字滤波器实现,预加重差分方程为:y(n)=x(n)-αx(n-1),其中α为预加重系数,0.9<α<1.0;α可优选0.95;s_3(n,i)和v_3(n,i)经过预加重后的输出记为s(n,i)=s_3(n,i)*y(n)和v(n,i)=v_3(n,i)*y(n)。预加重的目的是为了对语音信号的高频部分进行加重,去除口唇辐射的影响,增加语音信号的高频成分。对于人工耳蜗产品而言,通过预加重,也可以进一步提高患者言语的清晰度,这一点对于人工耳蜗的使用效果也是非常重要的。
对预加重处理后的含噪语音信号估计和预加重处理后的噪声信号估计分别进行短时快速傅里叶变换,计算出功率谱。
将含噪语音信号估计的功率谱与噪声信号估计的功率谱相减,获得差值功率谱,即语音信号帧的功率谱,进一步计算得到语音信号的幅度谱估计;进一步,对预加重处理后的含噪语音信号估计s(n,i)和噪声信号估计v(n,i)进行幅度谱估计的具体过程包括:
含噪语音信号估计的频率特性为:S(k,i)=SFFT(s(n,i))=|S(k,i)|expjθ(k,i),0≤k≤N-1;其中,θ(k)表示含噪语音信号估计的相频特性函数;
噪声信号估计的频率特性为:其中,表示噪声信号估计的相频特性函数;
差值功率谱为:|Δ(k,i)|2=|S(k,i)|2-|V(k,i)|2,0≤k≤N-1;
语音信号的幅度谱估计为:
对所述语音信号的幅度谱估计取对数后与预定门限进行比较,将所述幅度谱估计中小于预定门限的部分置零;进一步,如图3所示,所述预定门限包括安静模式门限、正常模式门限、吵杂模式门限。
对置零判决处理后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换,并对相邻帧的短时逆傅里叶变换结果进行重叠相加,获得去噪后时域的纯净语音信号。进一步,对置零判决处理后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换的具体过程包括:
所述语音信号的幅度谱判决为:
语音信号的频谱估计为:S′(k,i)=Δ′(k,i)expjθ(k,i),其中,相位expjθ(k,i)取自含噪语音信号s(n,i)的频谱S(k,i);
短时逆傅里叶变换的结果为:s′(k,i)=real(ISFFT(Δ′(k,i)expjθ(k,i))),其中real为取实数运算。对应前面的帧移,逆傅里叶变换后的时域信号要进行重叠相加恢复到纯净语音信号。
本发明所述的双路麦克风语音降噪处理方法可以由图2a所示的方式由一路处理系统同时对两路麦克风语音信号进行处理,获得最终处理结果,也可以由图2b所示的方式由两路处理系统分别处理其中一路麦克风语音信号,获得最终处理结果。本发明的保护范围不限于处理两路麦克风语音信号的系统是一路还是两路,凡是利用本发明的降噪原理实现的方案都包括在本发明的保护范围内。
本实施例还提供一种双路麦克风语音降噪处理系统,该系统可以实现本发明所述的双路麦克风语音降噪处理方法,但该方法的实现装置包括但不限于本发明所述的系统。
如图4所示,所述双路麦克风语音降噪处理系统400包括:两个麦克风410,A/D采样模块420,分帧加窗模块430,含噪语音信号估计模块440,噪声信号估计模块450,预加重处理模块460,语音信号幅度谱获取模块470,门限过滤模块480,纯净语音信号获取模块490。
当本发明应用于人工耳蜗体外机上时,如图5所示,两个麦克风410(即双路麦克风)设置在人工耳蜗体外机上;一个为前麦克风411,另一个为后麦克风412;箭头方向为麦克风声孔指向,图5所示的前麦克风411的声管指向人工耳蜗体外机的前方,后麦克风412的声管指向人工耳蜗体外机的上方。本发明中的两个麦克风的风管指向不同,但本发明的保护范围不限于如图5所示的两路麦克风的具体风管指向。两个麦克风可以均为电容式麦克风,也可以为如MEMS麦克风等其他类型的麦克风,其中麦克风型号可以相同,也可以不同;当麦克风型号相同时,两个麦克风可以均为全向麦克风;当麦克风型号不同时,也可以为一个定向麦克风和一个全向麦克风。1000Hz-8000Hz频段,前麦克风411的灵敏度比后麦克风412的灵敏度平均要高2dB。所述两个麦克风可以均设置于人工耳蜗的体外机上,也可以设置在人工耳蜗体外机的任何合适位置。
A/D采样模块420与所述两个麦克风410相连,将两个麦克风接收到的两路原始语音信号进行A/D转换,获得两路数字语音数据。A/D采样模块420与所述麦克风模块410相连,对两路原始语音信号进行A/D采样,获得n时刻前麦克风输出的第一路数字语音数据s_1(n)和后麦克风输出的第二路数字语音数据v_1(n)。
分帧加窗模块430与所述语音芯片420相连,将所述两路数字语音数据进行分帧、加窗处理。进一步,所述分帧加窗模块430的模型函数为: 其中,为Hamming窗,i为第i帧数字语音数据,n为采样时刻,N为帧长。
含噪语音信号估计模块440与所述分帧加窗模块430相连,对分帧、加窗处理后的两路数字语音数据先做求和运算,再做平均处理获得含噪语音信号估计。进一步,所述含噪语音信号估计模块的模型函数为:s_3(n,i)=(s_2(n,i)+v_2(n,i))/2。
噪声信号估计模块450与所述分帧加窗模块430相连,对分帧、加窗处理后的两路数字语音数据先做求差运算,再做平均处理获得噪声信号估计。进一步,噪声信号估计模块的模型函数为:v_3(n,i)=(s_2(n,i)-v_2(n,i))/2。
预加重处理模块460与所述含噪语音信号估计模块440和噪声信号估计模块450分别相连,对所述含噪语音信号估计和噪声信号估计分别进行预加重处理。进一步,所述预加重处理模块460为一阶FIR高通数字滤波器,预加重处理模块的模型函数为:y(n)=x(n)-αx(n-1),其中α为预加重系数,0.9<α<1.0;s_3(n,i)和v_3(n,i)经过预加重后的输出记为s(n,i)和v(n,i)。
语音信号幅度谱获取模块470与所述预加重处理模块460相连,对预加重处理后的含噪语音信号估计和预加重处理后的噪声信号估计分别进行短时快速傅里叶变换,将获得的含噪语音信号估计的功率谱与噪声信号估计的功率谱相减,获得差值功率谱,进一步计算得到语音信号的幅度谱估计。进一步,如图6所示,所述语音信号幅度谱获取模块470包括:含噪语音信号估计的频率特性获取单元471,噪声信号估计的频率特性获取单元472,差值功率谱获取单元473,语音信号的幅度谱估计单元474;所述含噪语音信号估计的频率特性获取单元471的模型函数为:S(k,i)=SFFT(s(n,i))=|S(k,i)|expjθ(k,i),0≤k≤N-1;θ(k)表示含噪语音信号估计的相频特性函数;所述噪声信号估计的频率特性获取单元472的模型函数为: 表示噪声信号估计的相频特性函数;所述差值功率谱获取单元473的模型函数为:|Δ(k,i)|2=|S(k,i)|2-|V(k,i)|2,0≤k≤N-1;所述语音信号的幅度谱估计单元474的模型函数为:
门限过滤模块480与所述语音信号幅度谱获取模块470相连,对所述语音信号幅度谱估计取对数后与预定门限进行比较,将语音信号的幅度谱估计中小于预定门限的部分置零。进一步,如图7所示,所述门限过滤模块480包括:工作模式单元481,工作门限单元482,门限过滤单元483。工作模式单元481对“安静模式(对应门限1)”,“正常模式(对应门限2)”,“吵杂模式(对应门限3)”三种模式进行选择。工作门限单元482根据工作模式单元481选择的工作模式来确定相应的门限。这三个门限依次与工作模式单元481中的三种模式相对应。门限过滤单元483根据工作门限单元482的输出对语音信号幅度谱获取模块470的输出进行判决。所述门限过滤模块480的模型函数为:
纯净语音信号获取模块490与所述门限过滤模块480相连,对置零判决处理后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换,并对相邻帧的短时逆傅里叶变换结果进行重叠相加,获得去噪后时域的纯净语音信号。进一步,如图8所示,所述纯净语音信号获取模块490包括相连的语音信号的频谱估计单元491,短时逆傅里叶变换单元492,和重叠相加单元493;所述语音信号的频谱估计单元491的模型函数为:S′(k,i)=Δ′(k,i)expjθ(k,i),其中,相位expjθ(k,i)取自含噪语音信号s(n,i)的频谱S(k,i);短时逆傅里叶变换单元492的模型函数为:s′(k,i)=real(ISFFT(Δ′(k,i)expjθ(k,i))),其中real为取实数运算。重叠相加单元493对短时逆傅里叶变换单元492输出的相邻帧的s′(k,i)进行重叠相加,获得去噪后时域的纯净语音信号。
本发明中,一旦前后麦克风在耳背机上的摆放位置固定,本发明对前麦克风和后麦克风的接入是没有要求的,也就是说,一种情况是前麦克风作为“输入1”接入本系统,后麦克风作为“输入2”接入本系统,反之亦然。
本发明采用了双级降噪模式,在第一级降噪模式中,完成了对含噪语音信号以及噪声的初步估计;在第二级降噪模式中,通过巧妙结合传统的语音降噪算法,进一步对含噪语音进行精细处理。本发明在第一个降噪模式中,只使用了比较简单的加减运算,就实现了含噪语音以及噪声的估计,相比传统的谱相减算法中端点检测算法(如基于能量/过零率语音端点检测算法以及改进算法)来区分和定位含噪语音,大大降低了算法复杂度;另一方面,本发明对语音信号信噪比(SNR)不敏感,也就是说本发明对低信噪比(SNR)信号依然能取得较好的降噪效果。
此外,本发明在双麦克风输入的情况下巧妙的引入了比较经典的功率谱相减理论,由于本发明对噪声的估计是实时进行的,适用于平稳噪声和非平稳噪声,避开了在传统谱相减降噪算法中含噪信号噪声估计不准的缺陷,也避免了传统谱相减法带来的“音乐噪声”问题。
本发明可以根据实际环境情况设置“安静”、“正常”、“吵杂”三种工作模式,默认工作模式为“正常环境”模式,用户可以根据环境不同自由切换,这一点也是符合当前市场上助听产品或人工耳蜗产品的使用特点。
本发明主要的突出点是采用了“双麦克风”和“谱相减技术”,该种方法在助听器及人工耳蜗产品中还没发现有应用。主要原因在于:一方面,通常情况下,谱相减算法把语音寂静段获得的噪声信号作为当前含噪语音中的噪声信号进行估计,这就存在噪声失配的问题,不可避免的带来“音乐噪声”问题。而本发明所述的降噪方法和系统对噪声的估计是实时的,并且近乎接近于真实的噪声数据,再加上后面的三个可选的门限过滤,音乐噪声去除得非常干净,并且语音信号清晰度较高。另一方面,本发明只用到了快速傅里叶变换(FFT)算法,该算法理论和实际运用都比较成熟;相比小波变换、独立分量分析、盲源分离等算法,本发明所述算法的运算量小,易于在DSP上实现。
对于降噪效果,通常单麦克风降噪可以使SNR可以提高6dB左右,本发明所述的降噪算法使SNR提高15~20dB。
综上所述,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (13)
1.一种双路麦克风语音降噪处理方法,其特征在于,所述双路麦克风语音降噪处理方法包括:
将A/D采样后的两路麦克风数字语音数据进行分帧、加窗处理;
对分帧、加窗处理后的两路数字语音数据先做求和运算,再做平均处理获得含噪语音信号估计;对分帧、加窗处理后的两路数字语音数据先做求差运算,再做平均处理获得噪声信号估计;
对所述含噪语音信号估计和噪声信号估计分别进行预加重处理;
对预加重处理后的含噪语音信号估计和预加重处理后的噪声信号估计分别进行短时快速傅里叶变换,计算出功率谱;
将含噪语音信号估计的功率谱与噪声信号估计的功率谱相减,获得差值功率谱,即语音信号帧的功率谱,进一步计算得到语音信号的幅度谱估计;
对所述语音信号的幅度谱估计取对数后与预定门限进行比较,将所述幅度谱估计中小于预定门限的部分置零;
对置零判决处理后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换,并对相邻帧的短时逆傅里叶变换结果进行重叠相加,获得去噪后时域的纯净语音信号。
2.根据权利要求1所述的双路麦克风语音降噪处理方法,其特征在于:将所述两路数字语音数据进行分帧、加窗处理的具体过程包括:
对所述第一路数字语音数据s_1(n)和第二路数字语音数据v_1(n)进行分帧、加窗的过程为:
其中,n为采样时刻,i为第i帧数字语音数据,w(n)为窗函数,N为窗长。
3.根据权利要求2所述的双路麦克风语音降噪处理方法,其特征在于:所述含噪语音信号估计为s_3(n,i)=(s_2(n,i)+v_2(n,i))/2,所述噪声信号估计为v_3(n,i)=(s_2(n,i)-v_2(n,i))/2。
4.根据权利要求3所述的双路麦克风语音降噪处理方法,其特征在于:所述预加重处理采用一阶FIR高通数字滤波器实现,预加重差分方程为:y(n)=x(n)-αx(n-1),其中α为预加重系数,0.9<α<1.0;s_3(n,i)和v_3(n,i)经过预加重后的输出记为s(n,i)和v(n,i)。
5.根据权利要求4所述的双路麦克风语音降噪处理方法,其特征在于,对预加重处理后的含噪语音信号估计s(n,i)和噪声信号估计v(n,i)进行幅度谱估计的具体过程包括:
含噪语音信号估计的频率特性为:
S(k,i)=SFFT(s(n,i))=|S(k,i)|expjθ(k,i),0≤k≤N-1;
其中,θ(k,i)表示含噪语音信号估计的相频特性函数;
噪声信号估计的频率特性为:
其中,表示噪声信号估计的相频特性函数;
差值功率谱为:|Δ(k,i)|2=|S(k,i)|2-|V(k,i)|2,0≤k≤N-1;
语音信号的幅度谱估计为:
6.根据权利要求5所述的双路麦克风语音降噪处理方法,其特征在于,对置零判决处理后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换的具体过程包括:
所述语音信号的幅度谱判决为:
语音信号的频谱估计为:S′(k,i)=Δ′(k,i)expjθ(k,i),其中,相位expjθ(k,i)取自含噪语音信号s(n,i)的频谱S(k,i);
短时逆傅里叶变换的结果为:s′(k,i)=real(ISFFT(Δ′(k,i)expjθ(k,i))),其中real为取实数运算。
7.根据权利要求1所述的双路麦克风语音降噪处理方法,其特征在于:所述预定门限包括安静模式门限、正常模式门限、吵杂模式门限。
8.一种双路麦克风语音降噪处理系统,其特征在于,所述系统包括:
A/D采样模块,将双路麦克风输出的两路原始语音信号进行A/D采样,获得两路数字语音数据;
分帧加窗模块,与A/D采样模块相连,对所述两路数字语音数据进行分帧、加窗处理;
含噪语音信号估计模块,与所述分帧加窗模块相连,对分帧、加窗处理后的两路数字语音数据先做求和运算,再做平均处理获得含噪语音信号估计;
噪声信号估计模块,与所述分帧加窗模块相连,对分帧、加窗处理后的两路数字语音数据先做求差运算,再做平均处理获得噪声信号估计;
预加重处理模块,与所述含噪语音信号估计模块和噪声信号估计模块分别相连,对所述含噪语音信号估计和噪声信号估计分别进行预加重处理;
语音信号幅度谱获取模块,与所述预加重处理模块相连,对预加重处理后的含噪语音信号估计和预加重处理后的噪声信号估计分别进行短时快速傅里叶变换,将获得的含噪语音信号估计的功率谱与噪声信号估计的功率谱相减,获得差值功率谱,进一步计算得到语音信号的幅度谱估计;
门限过滤模块,与所述语音信号幅度谱获取模块相连,对所述语音信号幅度谱估计取对数后与预定门限进行比较,将语音信号的幅度谱估计中小于预定门限的部分置零;
纯净语音信号获取模块,与所述门限过滤模块相连,对置零判决处理后的语音信号的幅度谱估计和含噪语音信号的相位相乘的结果进行短时逆傅里叶变换,并对相邻帧的短时逆傅里叶变换结果进行重叠相加,获得去噪后时域的纯净语音信号。
9.根据权利要求8所述的双路麦克风语音降噪处理系统,其特征在于,所述分帧加窗模块的模型函数为:
其中,n为采样时刻,i为第i帧数字语音数据,w(n)为窗函数,N为窗长。
10.根据权利要求9所述的双路麦克风语音降噪处理系统,其特征在于:所述含噪语音信号估计模块的模型函数为:s_3(n,i)=(s_2(n,i)+v_2(n,i))/2;噪声信号估计模块的模型函数为:v_3(n,i)=(s_2(n,i)-v_2(n,i))/2。
11.根据权利要求10所述的双路麦克风语音降噪处理系统,其特征在于:所述预加重处理模块为一阶FIR高通数字滤波器,预加重处理模块的模型函数为:y(n)=x(n)-αx(n-1),其中α为预加重系数,0.9<α<1.0;s_3(n,i)和v_3(n,i)经过预加重后的输出记为s(n,i)和v(n,i)。
12.根据权利要求11所述的双路麦克风语音降噪处理系统,其特征在于,所述语音信号幅度谱获取模块包括:含噪语音信号估计的频率特性获取单元,噪声信号估计的频率特性获取单元,差值功率谱获取单元,语音信号的幅度谱估计单元;
所述含噪语音信号估计的频率特性获取单元的模型函数为:
S(k,i)=SFFT(s(n,i))=|S(k,i)|expjθ(k,i),0≤k≤N-1;
其中,θ(k,i)表示含噪语音信号估计的相频特性函数;
所述噪声信号估计的频率特性获取单元的模型函数为:
其中,表示噪声信号估计的相频特性函数;
所述差值功率谱获取单元的模型函数为:
|Δ(k,i)|2=|S(k,i)|2-|V(k,i)|2,0≤k≤N-1;
所述语音信号的幅度谱估计单元的模型函数为:
13.根据权利要求12所述的双路麦克风语音降噪处理系统,其特征在于:所述门限过滤模块的模型函数为:所述纯净语音信号获取模块包括相连的语音信号的频谱估计单元,短时逆傅里叶变换单元,重叠相加单元;
所述语音信号的频谱估计单元的模型函数为:S′(k,i)=Δ′(k,i)expjθ(k,i),其中,相位expjθ(k,i)取自含噪语音信号s(n,i)的频谱S(k,i);
短时逆傅里叶变换单元的模型函数为:s′(k,i)=real(ISFFT(Δ′(k,i)expjθ(k,i))),其中real为取实数运算;
重叠相加单元对短时逆傅里叶变换单元输出的相邻帧的s′(k,i)进行重叠相加,获得去噪后时域的纯净语音信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410042189.0A CN104810024A (zh) | 2014-01-28 | 2014-01-28 | 一种双路麦克风语音降噪处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410042189.0A CN104810024A (zh) | 2014-01-28 | 2014-01-28 | 一种双路麦克风语音降噪处理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104810024A true CN104810024A (zh) | 2015-07-29 |
Family
ID=53694811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410042189.0A Pending CN104810024A (zh) | 2014-01-28 | 2014-01-28 | 一种双路麦克风语音降噪处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104810024A (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106409297A (zh) * | 2016-10-18 | 2017-02-15 | 安徽天达网络科技有限公司 | 一种语音识别方法 |
CN107045778A (zh) * | 2017-04-26 | 2017-08-15 | 兰州交通大学 | 一种多功能噪音抵消系统 |
CN107103904A (zh) * | 2017-04-12 | 2017-08-29 | 奇瑞汽车股份有限公司 | 一种应用于车载语音识别的双麦克风降噪系统及降噪方法 |
CN107277654A (zh) * | 2017-07-05 | 2017-10-20 | 深圳市捷高电子科技有限公司 | 一种麦克风背景噪音消除的方法 |
CN107371079A (zh) * | 2017-04-17 | 2017-11-21 | 恒玄科技(上海)有限公司 | 一种耳机的双麦克降噪系统及降噪方法 |
CN107910013A (zh) * | 2017-11-10 | 2018-04-13 | 广东欧珀移动通信有限公司 | 一种语音信号的输出处理方法及装置 |
CN108109631A (zh) * | 2017-02-10 | 2018-06-01 | 深圳市启元数码科技有限公司 | 一种小体积双麦克风语音采集降噪模组及其降噪方法 |
CN109119093A (zh) * | 2018-10-30 | 2019-01-01 | Oppo广东移动通信有限公司 | 语音降噪方法、装置、存储介质及移动终端 |
CN109597657A (zh) * | 2017-09-29 | 2019-04-09 | 广州市动景计算机科技有限公司 | 针对目标应用的操作方法、装置及计算设备 |
CN109979477A (zh) * | 2019-03-12 | 2019-07-05 | 上海力声特医学科技有限公司 | 人工耳蜗的声音处理方法 |
CN110268471A (zh) * | 2017-01-26 | 2019-09-20 | 诺昂世通讯公司 | 具有嵌入式降噪的asr的方法和设备 |
CN110797041A (zh) * | 2019-10-21 | 2020-02-14 | 珠海市杰理科技股份有限公司 | 语音降噪处理方法、装置、计算机设备及存储介质 |
CN111863022A (zh) * | 2020-07-23 | 2020-10-30 | 中国科学技术大学 | 一种基于异型双麦克风阵列的儿童声音特征检测方法 |
CN111933171A (zh) * | 2020-09-21 | 2020-11-13 | 北京达佳互联信息技术有限公司 | 降噪方法及装置、电子设备、存储介质 |
CN112955951A (zh) * | 2018-11-15 | 2021-06-11 | 深圳市欢太科技有限公司 | 语音端点检测方法、装置、存储介质及电子设备 |
CN113077808A (zh) * | 2021-03-22 | 2021-07-06 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和用于语音处理的装置 |
CN113205823A (zh) * | 2021-04-12 | 2021-08-03 | 广东技术师范大学 | 一种肺音信号端点检测方法、系统及存储介质 |
CN113345433A (zh) * | 2021-05-30 | 2021-09-03 | 重庆长安汽车股份有限公司 | 一种车外语音交互系统 |
WO2023201811A1 (zh) * | 2022-04-21 | 2023-10-26 | 瑞声声学科技(深圳)有限公司 | Mems麦克风 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1348583A (zh) * | 1999-02-18 | 2002-05-08 | 安德烈电子公司 | 消除噪声的系统、方法和设备 |
CN101510426A (zh) * | 2009-03-23 | 2009-08-19 | 北京中星微电子有限公司 | 一种噪声消除方法及系统 |
CN101807404A (zh) * | 2010-03-04 | 2010-08-18 | 清华大学 | 一种电子耳蜗前端指向性语音增强的预处理系统 |
US8233651B1 (en) * | 2008-09-02 | 2012-07-31 | Advanced Bionics, Llc | Dual microphone EAS system that prevents feedback |
CN203724273U (zh) * | 2014-01-28 | 2014-07-23 | 上海力声特医学科技有限公司 | 一种人工耳蜗 |
-
2014
- 2014-01-28 CN CN201410042189.0A patent/CN104810024A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1348583A (zh) * | 1999-02-18 | 2002-05-08 | 安德烈电子公司 | 消除噪声的系统、方法和设备 |
US8233651B1 (en) * | 2008-09-02 | 2012-07-31 | Advanced Bionics, Llc | Dual microphone EAS system that prevents feedback |
CN101510426A (zh) * | 2009-03-23 | 2009-08-19 | 北京中星微电子有限公司 | 一种噪声消除方法及系统 |
CN101807404A (zh) * | 2010-03-04 | 2010-08-18 | 清华大学 | 一种电子耳蜗前端指向性语音增强的预处理系统 |
CN203724273U (zh) * | 2014-01-28 | 2014-07-23 | 上海力声特医学科技有限公司 | 一种人工耳蜗 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106409297A (zh) * | 2016-10-18 | 2017-02-15 | 安徽天达网络科技有限公司 | 一种语音识别方法 |
CN110268471B (zh) * | 2017-01-26 | 2023-05-02 | 赛伦斯运营公司 | 具有嵌入式降噪的asr的方法和设备 |
CN110268471A (zh) * | 2017-01-26 | 2019-09-20 | 诺昂世通讯公司 | 具有嵌入式降噪的asr的方法和设备 |
CN108109631A (zh) * | 2017-02-10 | 2018-06-01 | 深圳市启元数码科技有限公司 | 一种小体积双麦克风语音采集降噪模组及其降噪方法 |
CN107103904B (zh) * | 2017-04-12 | 2020-06-09 | 奇瑞汽车股份有限公司 | 一种应用于车载语音识别的双麦克风降噪系统及降噪方法 |
CN107103904A (zh) * | 2017-04-12 | 2017-08-29 | 奇瑞汽车股份有限公司 | 一种应用于车载语音识别的双麦克风降噪系统及降噪方法 |
CN107371079A (zh) * | 2017-04-17 | 2017-11-21 | 恒玄科技(上海)有限公司 | 一种耳机的双麦克降噪系统及降噪方法 |
CN107045778A (zh) * | 2017-04-26 | 2017-08-15 | 兰州交通大学 | 一种多功能噪音抵消系统 |
CN107277654A (zh) * | 2017-07-05 | 2017-10-20 | 深圳市捷高电子科技有限公司 | 一种麦克风背景噪音消除的方法 |
CN109597657B (zh) * | 2017-09-29 | 2022-04-29 | 阿里巴巴(中国)有限公司 | 针对目标应用的操作方法、装置及计算设备 |
CN109597657A (zh) * | 2017-09-29 | 2019-04-09 | 广州市动景计算机科技有限公司 | 针对目标应用的操作方法、装置及计算设备 |
CN107910013A (zh) * | 2017-11-10 | 2018-04-13 | 广东欧珀移动通信有限公司 | 一种语音信号的输出处理方法及装置 |
CN109119093A (zh) * | 2018-10-30 | 2019-01-01 | Oppo广东移动通信有限公司 | 语音降噪方法、装置、存储介质及移动终端 |
CN112955951A (zh) * | 2018-11-15 | 2021-06-11 | 深圳市欢太科技有限公司 | 语音端点检测方法、装置、存储介质及电子设备 |
CN109979477A (zh) * | 2019-03-12 | 2019-07-05 | 上海力声特医学科技有限公司 | 人工耳蜗的声音处理方法 |
CN110797041A (zh) * | 2019-10-21 | 2020-02-14 | 珠海市杰理科技股份有限公司 | 语音降噪处理方法、装置、计算机设备及存储介质 |
CN111863022A (zh) * | 2020-07-23 | 2020-10-30 | 中国科学技术大学 | 一种基于异型双麦克风阵列的儿童声音特征检测方法 |
CN111863022B (zh) * | 2020-07-23 | 2022-09-30 | 中国科学技术大学 | 一种基于异型双麦克风阵列的儿童声音特征检测方法 |
CN111933171A (zh) * | 2020-09-21 | 2020-11-13 | 北京达佳互联信息技术有限公司 | 降噪方法及装置、电子设备、存储介质 |
CN111933171B (zh) * | 2020-09-21 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 降噪方法及装置、电子设备、存储介质 |
WO2022198820A1 (zh) * | 2021-03-22 | 2022-09-29 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和用于语音处理的装置 |
CN113077808A (zh) * | 2021-03-22 | 2021-07-06 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和用于语音处理的装置 |
CN113077808B (zh) * | 2021-03-22 | 2024-04-26 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和用于语音处理的装置 |
CN113205823A (zh) * | 2021-04-12 | 2021-08-03 | 广东技术师范大学 | 一种肺音信号端点检测方法、系统及存储介质 |
CN113345433A (zh) * | 2021-05-30 | 2021-09-03 | 重庆长安汽车股份有限公司 | 一种车外语音交互系统 |
CN113345433B (zh) * | 2021-05-30 | 2023-03-14 | 重庆长安汽车股份有限公司 | 一种车外语音交互系统 |
WO2023201811A1 (zh) * | 2022-04-21 | 2023-10-26 | 瑞声声学科技(深圳)有限公司 | Mems麦克风 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104810024A (zh) | 一种双路麦克风语音降噪处理方法及系统 | |
CN103761974A (zh) | 一种人工耳蜗 | |
CN105741849B (zh) | 数字助听器中融合相位估计与人耳听觉特性的语音增强方法 | |
CN100535993C (zh) | 用于助听器的语音增强方法 | |
Wu et al. | A two-stage algorithm for one-microphone reverberant speech enhancement | |
CN103531204B (zh) | 语音增强方法 | |
CN106340292B (zh) | 一种基于连续噪声估计的语音增强方法 | |
Benesty et al. | Statistical methods for the enhancement of noisy speech | |
CN108766454A (zh) | 一种语音噪声抑制方法及装置 | |
CN102157156B (zh) | 一种单通道语音增强的方法和系统 | |
CN103325381B (zh) | 一种基于模糊隶属函数的语音分离方法 | |
CN109658949A (zh) | 一种基于深度神经网络的语音增强方法 | |
CN105225672B (zh) | 融合基频信息的双麦克风定向噪音抑制的系统及方法 | |
KR20220062598A (ko) | 오디오 신호 생성을 위한 시스템 및 방법 | |
CN108986832A (zh) | 基于语音出现概率和一致性的双耳语音去混响方法和装置 | |
Gerkmann et al. | Empirical distributions of DFT-domain speech coefficients based on estimated speech variances | |
CN105679330A (zh) | 基于改进子带信噪比估计的数字助听器降噪方法 | |
CN104064196B (zh) | 一种基于语音前端噪声消除的提高语音识别准确率的方法 | |
CN111986660A (zh) | 一种神经网络子带建模的单通道语音增强方法、系统及存储介质 | |
CN106653004A (zh) | 感知语谱规整耳蜗滤波系数的说话人识别特征提取方法 | |
CN106331969A (zh) | 基于统计语音和噪声模型的有噪声语音的增强 | |
WO2020024787A1 (zh) | 音乐噪声抑制方法及装置 | |
CN103475986A (zh) | 基于多分辨率小波的数字助听器语音增强方法 | |
Mesgarani et al. | Speech enhancement based on filtering the spectrotemporal modulations | |
CN102637438B (zh) | 一种语音滤波方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150729 |
|
RJ01 | Rejection of invention patent application after publication |