CN113870881B - 一种鲁棒哈默斯坦子带样条自适应回声消除方法 - Google Patents

一种鲁棒哈默斯坦子带样条自适应回声消除方法 Download PDF

Info

Publication number
CN113870881B
CN113870881B CN202111131576.8A CN202111131576A CN113870881B CN 113870881 B CN113870881 B CN 113870881B CN 202111131576 A CN202111131576 A CN 202111131576A CN 113870881 B CN113870881 B CN 113870881B
Authority
CN
China
Prior art keywords
spline
sub
signal
band
robust
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111131576.8A
Other languages
English (en)
Other versions
CN113870881A (zh
Inventor
于涛
李文奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202111131576.8A priority Critical patent/CN113870881B/zh
Publication of CN113870881A publication Critical patent/CN113870881A/zh
Application granted granted Critical
Publication of CN113870881B publication Critical patent/CN113870881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本发明公开了一种鲁棒哈默斯坦子带样条自适应回声消除方法，其步骤主要是：A、样条自适应滤波，远端语音输入信号x(n)通过样条非线性插值得到中间输出信号s(n)；B、s(n)经过子带自适应滤波器得到子带输出信号yj(k)，j为子带数，同时s(n)经过线性滤波得到输出信号y(n)；C、期望信号d(n)的子带分解信号dj(k)与yj(k)相减，得到误差信号ej(k)，同时得到误差信号e(n)＝d(n)‑y(n)；D、建立指数双曲余弦的鲁棒代价函数；E、利用随机梯度法，自适应更新滤波器权值和局部样条节点；F、迭代递归，重复A到E的步骤，直到通话结束。本发明方法能克服脉冲干扰带来的不利影响，利用子带结构解相关的优势，非线性回声消除效果好。

Description

一种鲁棒哈默斯坦子带样条自适应回声消除方法
技术领域
本发明属于声学的自适应回声消除领域，具体涉及一种鲁棒哈默斯坦子带样条自适应非线性回声消除方法。
背景技术
在进行免提通话、音视频会议等时，语音信号容易受到声学回声的干扰，这种回声信号通常来自扬声器与麦克风之间的回声路径影响，如果不采取措施对声学回声加以抵消，会对语音通话质量产生严重影响。近年来，自适应滤波器作为回声消除器在回声抵消中得到广泛的研究与应用，其基本原理是系统辨识，即利用自适应滤波器来辨识出回声路径，滤波输出回声信号，与实际回声信号相抵消，从而达到消除回声的目的。
然而，声学通信设备通常会导致回声路径中存在非线性畸变，这种非线性失真会导致线性自适应滤波器无法正常作用，因此针对非线性回声消除的场景，需要设计出非线性自适应滤波算法来进行有效的非线性回声抵消。
在用于非线性回声消除的自适应滤波算法中，文献1“Scarpiniti M,ComminielloD,Parisi R,Uncini A.Hammerstein uniform cubic spline adaptive filters:Learning and convergence properties[J].Signal Processing,2014,100:112-123.”提出的哈默斯坦样条自适应滤波算法灵活简单，并且易于实施。该方法采用非线性样条插值与线性滤波器的级联结构，在实际非线性系统辨识中具有广泛有效性。然而，该方法采用的均方误差代价函数对脉冲干扰不具有鲁棒性，因此不能克服脉冲干扰的影响。此外，当输入信号为高度相关的语音信号时，该方法收敛较慢。
发明内容
本发明的发明目的是提供一种鲁棒哈默斯坦子带样条自适应非线性回声消除方法，该方法能够抵抗脉冲干扰的影响，并能够利用子带结构加速收敛，非线性回声消除效果更好。
本发明为实现上述目的采用的技术方案是，一种鲁棒哈默斯坦子带样条自适应非线性回声消除方法，其步骤如下：
A、样条自适应滤波
远端麦克风采集到当前时刻n的语音输入信号x(n)，经过样条插值得到中间输出信号s(n)，s(n)＝uT(n)Cqi(n)；其中T表示转置运算，表示归一化横坐标向量，/>表示归一化横坐标，/>表示插值区间索引，Q为样条节点总数，C为样条基矩阵，qi(n)＝[qi(n),qi+1(n),qi+2(n),qi+3(n)]T表示局部样条节点向量，δ表示两个相邻样条节点之间的均匀间隔；
B、子带自适应滤波
通过分析滤波器Hj(z)对期望信号d(n)和中间输出信号s(n)进行子带分解，分别得到子带信号dj(n)和sj(n)，其中j＝1,2,...,N表示第j个分析滤波器索引，子带数目为N；
然后通过将sj(n)输入到权重向量为w(k)的线性滤波器中，得到子带输出信号yj(n)；
对于每个子带，对dj(n)和yj(n)用临界抽取来降低采样率，得到低采样率的子带信号dj(k)和yj(k)，其中sj(k)＝[sj(kN),sj(kN-1),...,sj(kN-M+1)]T，w(k)＝[w1(k),w2(k),...,wM(k)]T表示k时刻的线性滤波器权值向量，M是滤波器的阶数，变量n和k分别用来表示原始序列和抽取序列，其关系为n＝kN；
子带误差信号由ej(k)＝dj(k)-yj(k)计算得到；
当n＝kN时，复制w(k)到w(n)，得到w(n)＝[w1(n),w2(n),...,wM(n)]T，然后执行y(n)＝sT(n)w(n)，其中s(n)＝[s(n),s(n-1),...,s(n-M+1)]T；
C、非线性回声抵消
在当前时刻n下，期望信号d(n)与输出信号y(n)相减，得到误差信号e(n)，可以计算为e(n)＝d(n)-y(n)，将误差信号e(n)传送到远端；
D、建立鲁棒代价函数
对于线性部分，在当前时刻k，利用指数双曲余弦函数来建立鲁棒代价函数，描述为：
J(ej(k))＝1-exp[-cosh2(λej(k))]，
其中参数λ>0，代价函数对ej(k)求偏导得到：
f(ej(k))＝λexp[-cosh2(λej(k))]sinh[2λej(k)]，
同样，对于非线性部分，在当前时刻n，建立鲁棒代价函数，描述为：
J(e(n))＝1-exp[-cosh2(λe(n))]，
代价函数对e(n)求偏导得到：
f(e(n))＝λexp[-cosh2(λe(n))]sinh[2λe(n)]；
E、更新滤波器系数
利用随机梯度法，可得到线性滤波器权值w(k)和非线性局部样条节点qi(n)的自适应更新规则为：
qi(n+1)＝qi(n)+μqf(e(n))CTUi(n)w(n)，
其中μw和μq为步长参数，Ui(n)＝[ui(n),ui(n-1),...,ui(n-M+1)]是包含过去M个归一化横坐标向量的矩阵，如果向量ui(n-m),m＝0,1,...,M-1位于与当前输入x(n)关联的索引i区间内，设置ui(n-m)＝u(n-m)，否则设置ui(n-m)为零向量；
F、迭代递归，重复A到E的步骤，直至语音通话结束。
本发明的有益效果是：
一方面，本发明采用对脉冲干扰具有鲁棒性的指数双曲余弦函数作为代价函数，可以降低自适应算法对异常值的敏感性，从而获得非线性自适应方法对脉冲干扰的鲁棒性。
另一方面，本发明将子带结构应用到哈默斯坦样条自适应滤波器，克服了传统哈默斯坦样条自适应滤波器在高度相关的语音输入信号时收敛速度变慢的情况，具有更快的收敛速度，这得益于子带结构对高度相关的输入信号的解相关性，因此，在非线性回声消除中可获得更好的效果。
附图说明
图1是实验得到的语音输入信号图；
图2是高斯噪声环境下本发明方法与文献1方法的回波损耗增益图；
图3是脉冲噪声环境下本发明方法与文献1方法的回波损耗增益图。
具体实施方式
实施例：
本实施例中的鲁棒哈默斯坦子带样条自适应非线性回声消除方法，其具体步骤如下：
A、样条自适应滤波
远端麦克风采集到当前时刻n的语音输入信号x(n)，经过样条插值得到中间输出信号s(n)，s(n)＝uT(n)Cqi(n)；其中T表示转置运算，表示归一化横坐标向量，/>表示归一化横坐标，/>表示插值区间索引，Q为样条节点总数，C为样条基矩阵，qi(n)＝[qi(n),qi+1(n),qi+2(n),qi+3(n)]T表示局部样条节点向量，δ表示两个相邻样条节点之间的均匀间隔；
B、子带自适应滤波
通过分析滤波器Hj(z)对期望信号d(n)和中间输出信号s(n)进行子带分解，分别得到子带信号dj(n)和sj(n)，其中j＝1,2,...,N表示第j个分析滤波器索引，子带数目为N；
然后通过将sj(n)输入到权重向量为w(k)的线性滤波器中，得到子带输出信号yj(n)；
对于每个子带，对dj(n)和yj(n)用临界抽取来降低采样率，得到低采样率的子带信号dj(k)和yj(k)，其中sj(k)＝[sj(kN),sj(kN-1),...,sj(kN-M+1)]T，w(k)＝[w1(k),w2(k),...,wM(k)]T表示k时刻的线性滤波器权值向量，M是滤波器的阶数，变量n和k分别用来表示原始序列和抽取序列，其关系为n＝kN；
子带误差信号由ej(k)＝dj(k)-yj(k)计算得到；
当n＝kN时，复制w(k)到w(n)，得到w(n)＝[w1(n),w2(n),...,wM(n)]T，然后执行y(n)＝sT(n)w(n)，其中s(n)＝[s(n),s(n-1),...,s(n-M+1)]T；
C、非线性回声抵消
在当前时刻n下，期望信号d(n)与输出信号y(n)相减，得到误差信号e(n)，可以计算为e(n)＝d(n)-y(n)，将误差信号e(n)传送到远端；
D、建立鲁棒代价函数
对于线性部分，在当前时刻k，利用指数双曲余弦函数来建立鲁棒代价函数，描述为：
J(ej(k))＝1-exp[-cosh2(λej(k))]，
其中参数λ>0，代价函数对ej(k)求偏导得到：
f(ej(k))＝λexp[-cosh2(λej(k))]sinh[2λej(k)]，
同样，对于非线性部分，在当前时刻n，建立鲁棒代价函数，描述为：
J(e(n))＝1-exp[-cosh2(λe(n))]，
代价函数对e(n)求偏导得到：
f(e(n))＝λexp[-cosh2(λe(n))]sinh[2λe(n)]；
E、更新滤波器系数
利用随机梯度法，可得到线性滤波器权值w(k)和非线性局部样条节点qi(n)的自适应更新规则为：
qi(n+1)＝qi(n)+μqf(e(n))CTUi(n)w(n)，
其中μw和μq为步长参数，Ui(n)＝[ui(n),ui(n-1),...,ui(n-M+1)]是包含过去M个归一化横坐标向量的矩阵，如果向量ui(n-m),m＝0,1,...,M-1位于与当前输入x(n)关联的索引i区间内，设置ui(n-m)＝u(n-m)，否则设置ui(n-m)为零向量；
F、迭代递归，重复A到E的步骤，直至滤波结束，实现非线性回声消除。
数值仿真实验：
为验证本发明的有效性，进行了数值仿真实验，并与现有文献1方法进行对比。
数值仿真中，语音输入信号由实验得到，如图1所示，其采样频率为8000赫兹，样本长度为100000。扬声器和麦克风之间的声学脉冲响应在高2.5米，宽3.75米，长6.25米，温度20摄氏度，湿度50％的安静密闭房间内获得，被截断为512个样本。非线性回声通常表现为扬声器的非线性畸变，这种失真通过一个无记忆sigmoid函数来模拟。选择信噪比为30dB的高斯白噪声信号作为附加到系统输出的背景噪声。选择特征指数为1.2，散度参数为0.05的α稳定噪声作为附加到系统输出的脉冲噪声。
文献1方法的参数取值为：M＝512；μw＝μq＝0.002。
本发明方法的参数取值为：M＝512；μw＝μq＝0.02；N＝2；λ＝0.8。
回声消除实验中通常选择回波损耗增益(ERLE)作为回声消除效果的评价指标。回波损耗增益曲线的收敛速度越快，稳态值越高，自适应方法性能就越好，回声消除的效果也越好。
图2和图3分别是高斯噪声和脉冲噪声环境下，本发明方法与文献1方法的回波损耗增益曲线图。
从图2可以看出，在高斯噪声环境下，本发明方法和文献1方法都能很好收敛，在保持相同收敛速度的前提下，本发明方法的回波损耗增益值明显高于文献1的方法，这表明本发明方法具有更好的性能，获得了更好的非线性回声消除效果。
由图3可看出，在脉冲噪声环境下，文献1方法的回波损耗增益由于受到脉冲干扰的影响而无法收敛，而本发明方法依然能够很好收敛，这得益于本发明方法中所采用的指数双曲余弦函数代价函数对脉冲干扰的鲁棒性，因此，本发明方法的非线性回声消除效果更好。

Claims (1)

1.一种鲁棒哈默斯坦子带样条自适应回声消除方法，其步骤是：
A、样条自适应滤波
远端麦克风采集到当前时刻n的语音输入信号x(n)，经过样条插值得到中间输出信号s(n)，s(n)＝uT(n)Cqi(n)；其中T表示转置运算，表示归一化横坐标向量，表示归一化横坐标，/>表示插值区间索引，Q为样条节点总数，C为样条基矩阵，qi(n)＝[qi(n),qi+1(n),qi+2(n),qi+3(n)]T表示局部样条节点向量，δ表示两个相邻样条节点之间的均匀间隔；
B、子带自适应滤波
通过分析滤波器Hj(z)对期望信号d(n)和中间输出信号s(n)进行子带分解，分别得到子带信号dj(n)和sj(n)，其中j＝1,2,...,N表示第j个分析滤波器索引，子带数目为N；
然后通过将sj(n)输入到权重向量为w(k)的线性滤波器中，得到子带输出信号yj(n)；
对于每个子带，对dj(n)和yj(n)用临界抽取来降低采样率，得到低采样率的子带信号dj(k)和yj(k)，其中sj(k)＝[sj(kN),sj(kN-1),...,sj(kN-M+1)]T，w(k)＝[w1(k),w2(k),...,wM(k)]T表示k时刻的线性滤波器权值向量，M是滤波器的阶数，变量n和k分别用来表示原始序列和抽取序列，其关系为n＝kN；
子带误差信号由ej(k)＝dj(k)-yj(k)计算得到；
当n＝kN时，复制w(k)到w(n)，得到w(n)＝[w1(n),w2(n),...,wM(n)]T，然后执行y(n)＝sT(n)w(n)，其中s(n)＝[s(n),s(n-1),...,s(n-M+1)]T；
C、非线性回声抵消
在当前时刻n下，期望信号d(n)与输出信号y(n)相减，得到误差信号e(n)，计算为e(n)＝d(n)-y(n)，将误差信号e(n)传送到远端；
D、建立鲁棒代价函数
对于线性部分，在当前时刻k，利用指数双曲余弦函数来建立鲁棒代价函数，描述为：
J(ej(k))＝1-exp[-cosh2(λej(k))]，
其中参数λ>0，代价函数对ej(k)求偏导得到：
f(ej(k))＝λexp[-cosh2(λej(k))]sinh[2λej(k)]，
同样，对于非线性部分，在当前时刻n，建立鲁棒代价函数，描述为：
J(e(n))＝1-exp[-cosh2(λe(n))]，
代价函数对e(n)求偏导得到：
f(e(n))＝λexp[-cosh2(λe(n))]sinh[2λe(n)]；
E、更新滤波器系数
利用随机梯度法，得到线性滤波器权值w(k)和非线性局部样条节点qi(n)的自适应更新规则为：
qi(n+1)＝qi(n)+μqf(e(n))CTUi(n)w(n)，
其中μw和μq为步长参数，Ui(n)＝[ui(n),ui(n-1),...,ui(n-M+1)]是包含过去M个归一化横坐标向量的矩阵，如果向量ui(n-m),m＝0,1,...,M-1位于与当前输入x(n)关联的索引i区间内，设置ui(n-m)＝u(n-m)，否则设置ui(n-m)为零向量；
F、迭代递归，重复A到E的步骤，直至语音通话结束。
CN202111131576.8A 2021-09-26 2021-09-26 一种鲁棒哈默斯坦子带样条自适应回声消除方法 Active CN113870881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111131576.8A CN113870881B (zh) 2021-09-26 2021-09-26 一种鲁棒哈默斯坦子带样条自适应回声消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111131576.8A CN113870881B (zh) 2021-09-26 2021-09-26 一种鲁棒哈默斯坦子带样条自适应回声消除方法

Publications (2)

Publication Number Publication Date
CN113870881A CN113870881A (zh) 2021-12-31
CN113870881B true CN113870881B (zh) 2024-04-26

Family

ID=78990903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111131576.8A Active CN113870881B (zh) 2021-09-26 2021-09-26 一种鲁棒哈默斯坦子带样条自适应回声消除方法

Country Status (1)

Country Link
CN (1) CN113870881B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115208355B (zh) * 2022-02-22 2023-03-10 北京理工大学 鲁棒广义非线性样条自适应滤波方法及滤波器系统
CN117789691B (zh) * 2024-02-27 2024-05-03 苏州大学 一种用于电话通信的回声消除方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1526510A1 (en) * 2003-10-24 2005-04-27 Microsoft Corporation Systems and methods for echo cancellation with arbitrary playback sampling rates
CN101043560A (zh) * 2006-03-22 2007-09-26 北京大学深圳研究生院 回声消除器及回声消除方法
CN108780648A (zh) * 2016-03-18 2018-11-09 高通股份有限公司 用于在时间上失配的信号的音频处理
CN110233607A (zh) * 2019-05-28 2019-09-13 西安交通大学 基于最小误差熵的哈默斯坦型非线性样条自适应滤波方法
WO2021071970A1 (en) * 2019-10-11 2021-04-15 Plantronics, Inc. Hybrid noise suppression
CN112951249A (zh) * 2015-11-20 2021-06-11 高通股份有限公司 多重音频信号的编码

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1526510A1 (en) * 2003-10-24 2005-04-27 Microsoft Corporation Systems and methods for echo cancellation with arbitrary playback sampling rates
CN101043560A (zh) * 2006-03-22 2007-09-26 北京大学深圳研究生院 回声消除器及回声消除方法
CN112951249A (zh) * 2015-11-20 2021-06-11 高通股份有限公司 多重音频信号的编码
CN108780648A (zh) * 2016-03-18 2018-11-09 高通股份有限公司 用于在时间上失配的信号的音频处理
CN110233607A (zh) * 2019-05-28 2019-09-13 西安交通大学 基于最小误差熵的哈默斯坦型非线性样条自适应滤波方法
WO2021071970A1 (en) * 2019-10-11 2021-04-15 Plantronics, Inc. Hybrid noise suppression

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Performance analysis of Robust subband hammerstein spline adaptive filter";Yu Tao等;《Circuits systems and signal processing》;20240131;第43卷(第1期);第368-387页 *
语音通信系统中的自适应回声消除技术;台宏达;;计算机仿真;20150915(09);全文 *
非高斯噪声下非线性回声消除方法;杨瑞丽;郭莹;;通信技术;20180410(04);全文 *

Also Published As

Publication number Publication date
CN113870881A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113870881B (zh) 一种鲁棒哈默斯坦子带样条自适应回声消除方法
CN1719516B (zh) 自适应滤波装置以及自适应滤波方法
KR100714768B1 (ko) 통계적 적응 필터 제어기
Costa et al. Acoustic echo cancellation using nonlinear cascade filters
KR20040030817A (ko) 통신 시스템, 에코 제거 수단 및 에코 제거 방법
Huang et al. Practically efficient nonlinear acoustic echo cancellers using cascaded block RLS and FLMS adaptive filters
CN109102794A (zh) 基于凸组合的m估计成比例类仿射投影的回声消除方法
Mossi et al. An assessment of linear adaptive filter performance with nonlinear distortions
Pfeifenberger et al. Nonlinear Residual Echo Suppression Using a Recurrent Neural Network.
CN113114865A (zh) 一种组合函数链接型的核自应非线性回声消除方法
Schwarz et al. Combined nonlinear echo cancellation and residual echo suppression
JP3787088B2 (ja) 音響エコー消去方法、装置及び音響エコー消去プログラム
JP2000323962A (ja) 適応識別の方法と装置および、そのような方法を用いた適応反響消去器
CN115985278A (zh) 一种改进的凸组合解相关成比例自适应回声消除方法
JP4396449B2 (ja) 残響除去方法及びその装置
CN113873090B (zh) 一种稳健估计仿射投影样条自适应回声消除方法
CN111756943A (zh) 一种增广复值成比例子带自适应立体声学回声消除方法
Chandra et al. Performance Evaluation of Adaptive Algorithms for Monophonic Acoustic Echo Cancellation: A Technical
Merabti et al. Nonlinearity-robust linear acoustic echo canceller using the maximum correntropy criterion
CN116434765A (zh) 一种基于半二次准则的频域样条自适应回声消除的方法
Iwai et al. Acoustic echo and noise canceller using shared-error normalized least mean square algorithm
CN113409806B (zh) 一种基于反正切函数的零吸引回声消除方法
Hamidia et al. Effect of a signal decorrelation on adaptive filtering algorithms for acoustic echo cancellation
GB2329097A (en) Echo cancellers
Priyanka et al. Implementation and comparison of echo cancellation algorithms using adaptive filtering techniques in TMS320C6748 DSK

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant