CN111524523A - 基于声纹识别技术的仪器设备状态检测系统及其方法 - Google Patents

基于声纹识别技术的仪器设备状态检测系统及其方法 Download PDF

Info

Publication number
CN111524523A
CN111524523A CN202010336816.7A CN202010336816A CN111524523A CN 111524523 A CN111524523 A CN 111524523A CN 202010336816 A CN202010336816 A CN 202010336816A CN 111524523 A CN111524523 A CN 111524523A
Authority
CN
China
Prior art keywords
instrument
program
short
data set
voiceprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010336816.7A
Other languages
English (en)
Inventor
杨春勇
付尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN202010336816.7A priority Critical patent/CN111524523A/zh
Publication of CN111524523A publication Critical patent/CN111524523A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G10L15/05—Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于声纹识别技术的仪器设备状态检测系统及其方法，涉及语音信号处理技术领域。本系统是仪器设备（1）、声音传感器（2）和电脑（3）依次串行连接；电脑（3）是预处理程序（31）、特征提取程序32）、特征参考程序（33）和仪器工作状态判断结果（35）依次交互；标准数据集生成模块（34）和特征参考程序（33）比对。相较于现有技术，本发明的有益效果是：①使用AMDF算法增强非短时平稳和非周期声纹特征；②声音信号分频分类特征提取；③仪器设备声纹特征数据集创建。

Description

基于声纹识别技术的仪器设备状态检测系统及其方法
技术领域
本发明涉及语音信号处理技术领域，尤其涉及一种基于声纹识别技术的仪器设备状态检测系统及其方法。
背景技术
语音信号是声纹的特例。语音信号一般指人的语音，而声纹指广义上的声音信号，包括人的语音、动物语音以及仪器设备声音。然而，对人的语音信号进行识别的算法经过适当的修改和调整也能用于仪器设备的声纹识别。
仪器设备的声音信号识别相对于人的语音信号识别有一定区别。由于不具备短时平稳性和周期性也不具备语义，仪器设备的声纹识别更为困难。
目前，有使用梅尔倒谱系数识别仪器设备声纹的案例，但是识别准确度不够理想。有些对动物的声纹识别准确率较高的算法不适用于仪器设备的声纹识别。因为这些算法要求待检测的信号本身需要有短时平稳性，而仪器设备的声纹不具备这种特性。还有仅通过深度神经网络的方法对仪器设备进行声纹识别，然而，这种方法对于硬件的消耗较高，而且算法灵活性和系统稳定性较差，极易受噪声干扰。
发明内容
本发明的目的就在于克服现有技术存在的缺点和不足，提出一种基于声纹识别技术的仪器状态检测的系统及其方法，对仪器状态进行实时检测，避免不必要的损失，减少人力物力资源的浪费。
为实现上述目的，本发明的技术方案为：
一、系统
本系统包括待检测的仪器设备，设置有声音传感器和电脑；
待检测的仪器设备、声音传感器和电脑依次串行连接；
电脑包括预处理程序、特征提取程序、特征参考程序、标准数据集生成模块和仪器工作状态判断结果，预处理程序、特征提取程序、特征参考程序和仪器工作状态判断结果依次交互，标准数据集生成模块和特征参考程序比对；标准数据集生成模块包括依次交互的仪器设备不同工作状态下的声音信号、预处理程序、特征提取程序和模模式库训练与标准数据集生成程序。
二、方法
本方法包括以下步骤：
①采集待检测的仪器设备在不同工作状态下的声音信号；
②对步骤①中采集到的信号分别进行预处理，预处理步骤包括端点检测、预加重与去加重、分帧与加窗和短时平均幅度差算法处理；
③对步骤②中的信号分别进行特征提取；
④对于短时频率与人的语音信号接近的信号采用MFCC的方法进行特征提取，对于短时频率较高的信号采取LFCC的方式进行特征提取；
⑤将步骤④中的信号特征导入数据库，并进行模式库训练，获得标准数据集；
⑥在待检测的仪器设备工作时，通过物联网传感器实时采集设备声音；提取声音信号特征，并与标准库进行对比，最后输出检测结果。
相对于现有技术，本发明具有下列优点和积极效果：
①使用AMDF算法增强非短时平稳和非周期声纹特征：在传统的语音信号处理中，AMDF(Average Magnitude Difference Function，短时平均幅度差函数)算法用于信号的特征提取，然而本发明使用ADMF算法对仪器设备声音信号增强声纹特征，这种算法可以使原本短时周期性和平稳性不佳的信号具有更好的短时平稳性和周期性，从而更有利于特征提取。
②声音信号分频分类特征提取：传统语音特征提取用MFCC(Mel FrequencyCepstrum Coefficient，梅尔频率倒谱系数)的方式。然而，仪器设备的声音信号频率不如人的语音信号稳定，预处理后的仪器设备声音信号具有多个频段，而且频率相差较大。对频率较高的部分，采用LFCC(Linear Frequency Cepstrum Coefficient)的方法进行特征提取，仪器设备声音信号的其他频段采用MFCC的方式进行特征提取，这种特征提取方法可以有效提高整体系统的稳定性。
③仪器设备声纹特征数据集创建：以待检测的仪器设备的声纹特征为样本，创建仪器设备声纹特征数据集，这种方法可以减小识别错误率。
附图说明
图1是本系统的结构方框图；
图2是信号预处理算法的仿真实验图；
图3是信号特征提取的仿真实验图。
图中：
1—待检测的仪器设备；
2—声音传感器；
3—电脑，
31—预处理程序，
32—特征提取程序，
33—特征参考程序，
34—标准数据集生成模块，
341—仪器设备不同工作状态下的声音信号，
342—预处理程序，
343—特征提取程序，
344—模式库训练与标准数据集生成程序，
35—仪器工作状态判断结果。
具体实施方式
下面结合附图和实施例详细说明：
一、系统
1、总体
本系统包括待检测的仪器设备1，设置有声音传感器2和电脑3；
待检测的仪器设备1、声音传感器2和电脑3依次串行连接。
电脑3包括预处理程序31、特征提取程序32、特征参考程序33、标准数据集生成模块34和仪器工作状态判断结果35，预处理程序31、特征提取程序32、特征参考程序33和仪器工作状态判断结果35依次交互；标准数据集生成模块34和特征参考程序33比对；标准数据集生成模块34包括依次交互的仪器设备不同工作状态下的声音信号341、预处理程序342、特征提取程序343和模模式库训练与标准数据集生成程序344。
2、功能块
1)待检测的仪器设备1
实验室中需要维护的仪器设备。
2)声音传感器2
能够采集微弱声音信号的拾音器。
3、电脑3
安装有2014a或以上版本的MATLAB并能完美运行。
其内嵌有预处理程序31、特征提取程序32、特征参考程序33、标准数据集生成模块34和仪器设备工作状态判断结果35，其交互关系已前述。
(1)预处理程序31
所用算法为短时平均幅度差算法。
(2)特征提取程序32
所用算法为梅尔倒谱系数和线性倒谱系数法。
输入信号短时频率高于阈值时采用线性倒谱系数法进行特征提取，输入信号短时频率低于阈值时采用线性倒谱系数法进行特征提取。
(3)特征参考程序33
该程序实现的功能是将仪器设备在不同工作状态下的声纹特征与标准声纹特征数据集进行对比，并最终输出仪器设备工作状态检测结果。
(4)标准数据集生成模块34
其内嵌有依次交互的仪器设备不同工作状态下的声音信号341、预处理程序342、特征提取程序343和模式库训练与标准数据集生成程序344。
(4-1)仪器设备不同工作状态下的声音信号341
(4-2)预处理程序342
所用算法为短时平均幅度差算法。
(4-3)特征提取程序343
所用算法为梅尔倒谱系数和线性倒谱系数法，输入信号短时频率高于阈值时采用线性倒谱系数法进行特征提取，输入信号短时频率低于阈值时采用线性倒谱系数法进行特征提取。
(4-4)模式库训练与标准数据集生成程序344
以仪器设备不同工作状态下的声纹特征为测试集，训练模型，获得仪器设备声纹特征标准数据集。
(5)仪器设备工作状态判断结果35。
仪器设备实际工作时的声纹与标准声纹特征进行对比，输出仪器设备工作状态判断结果。
3、工作原理
1、预处理程序31使用AMDF算法增强非短时平稳和非周期声纹特征。在传统的语音信号处理中，AMDF(Average Magnitude Difference Function)算法用于信号的特征提取；然而本系统使用ADMF算法对仪器设备声音信号增强声纹特征；这种算法可以使原本短时周期性和平稳性不佳的信号具有更好的短时平稳性和周期性，从而更有利于特征提取。
2、特征提取程序32是声音信号分频分类特征提取。传统语音特征提取用MFCC(MelFrequency Cepstrum Coefficient)的方式。然而，仪器设备的声音信号频率不如人的语音信号稳定；预处理后的仪器设备声音信号具有多个频段，而且频率相差较大。对频率较高的部分，采用LFCC(Linear Frequency Cepstrum Coefficient)的方法进行特征提取；仪器设备声音信号的其他频段采用MFCC(Mel Frequency Cepstrum Coefficient)的方式进行特征提取；这种特征提取方法可以有效提高整体系统的稳定性。
3、标准数据集生成模块34是仪器设备声纹特征数据集创建。以待检测仪器设备的声纹特征为样本，创建仪器设备声纹特征数据集。这种方法可以减小识别错误率。
二、方法
操作步骤：
①采集待检测的仪器设备在不同工作状态下的声音信号。
②对声纹信号进行端点检测、重采样、归一化和加窗处理后，再进行短时平均幅度差处理。图2中，从上到下，4个波形图分别为原始声纹信号、声纹信号第一部分、短时声纹信号、经过短时平均幅度差处理后的短时声纹信号；短时平均幅度差算法可以让短时周期特征不明显的声纹信号体现出更好的短时周期特性。
短时平均幅度差算法的基本思路是：
定义原始信号为xn(m)，定义AMDF函数为Fn(k)；
其中Fn(k)＝|xn(0)-xn(0+k)|+|xn(1)-xn(1+k)|+...+|xn(N)-xn(N+k)|
这种预处理算法可以稀释掉少数样本点误差对整体系统的影响，提升整体系统抗噪声干扰的能力。
③对步骤②中预处理后的信号进行特征提取，对频率接近人语音信号的短时信号采用MFCC的方法进行特征提取，对于频率较高的短时信号采用LFCC的方法进行特征提取；两种特征提取算法的基本思路类似，区别主要在于滤波器的不同。
特征提取相关参数有：
A、声源特征h(k)；
B、与声源特征无关的随机信号e(k)；
C、声源发出的声音信号x(k)；
其中
Figure BDA0002466927240000061
特征提取算法基本思路为：
a、将原始声音信号求频谱可得：X(w)＝H(w)·E(w)；
b、两边取对数得：log(X(w))＝log(H(w)·E(w))；
c、化简得：log(X(w))＝log(H(w))+log(E(w))；
d、通过滤波的方式分离H(w)和E(w)；
e、取傅里叶反变换即可得到声源特征h(k)；
声源特征和随机信号分离效果如图3所示。
LFCC算法采用线性滤波器，MFCC算法采用梅尔滤波器，对于短时频率与人语音接近的信号采用MFCC(梅尔倒谱系数)进行特征提取，对于短时频率高于人语音的信号采用LFCC(线性倒谱系数)进行特征提取；
④将提取的声纹特征导入数据库，并进行模式库训练，生成标准模式库。
⑤用物联网传感器实时采集待检测设备的声纹信号。
⑥对待检测设备声纹信号进行预处理。
⑦计算待检测设备声纹信号的短时周期。
⑧对于频率接近于人语音的短时信号，采用MFCC(梅尔倒谱系数)进行特征提取；对于频率较高的短时信号，采用LFCC(线性倒谱系数)进行特征提取；
⑨将待检测设备的声纹特征与标准数据库进行对比，从而判断设备工作状态。
三、本发明主要的创新点有3个：
1、使用AMDF算法增强非短时平稳和非周期声纹特征。在传统的语音信号处理中，AMDF(Average Magnitude Difference Function)算法用于信号的特征提取。然而本文使用ADMF算法对仪器设备声音信号增强声纹特征。这种算法可以使原本短时周期性和平稳性不佳的信号具有更好的短时平稳性和周期性，从而更有利于特征提取。
2、声音信号分频分类特征提取。在传统语音信号处理中，MFCC(Mel FrequencyCepstrum Coefficient)通常用于人的语音信号特征提取。然而本文对于不同频段的信号采用不同的特征提取方式。高频率信号采用LFCC(Linear Frequency CepstrumCoefficient)的方法进行特征提取。对于其他频率的信号采用MFCC的方法进行特征提取。这种特征提取方法可以有效系统的可靠性。
3、仪器设备声纹特征数据集创建。以待检测仪器设备的声纹特征为样本，创建仪器设备声纹特征数据集。与不创建数据集相比，这种方法可以减小识别错误率。

Claims (3)

1.一种基于声纹识别技术的仪器设备状态检测系统，其特征在于：
包括待检测的仪器设备（1），设置有声音传感器（2）和电脑（3）；
待检测的仪器设备（1）、声音传感器（2）和电脑（3）依次串行连接；
电脑（3）包括预处理程序（31）、特征提取程序（32）、特征参考程序（33）、标准数据集生成模块（34）和仪器工作状态判断结果（35），预处理程序（31）、特征提取程序（32）、特征参考程序（33）和仪器工作状态判断结果（35）依次交互，标准数据集生成模块（34）和特征参考程序（33）比对；标准数据集生成模块（34）包括依次交互的仪器设备不同工作状态下的声音信号（341）、预处理程序（342）、特征提取程序（343）和模模式库训练与标准数据集生成程序（344）。
2.按权利要求1所述的仪器设备状态检测系统，其特征在于：
所述的预处理程序（31），其所用算法为短时平均幅度差算法；
所述的特征提取程序（32），所用算法为梅尔倒谱系数和线性倒谱系数法，输入信号短时频率高于阈值时采用线性倒谱系数法进行特征提取，输入信号短时频率低于阈值时采用线性倒谱系数法进行特征提取；
所述的预处理程序（342），其所用算法为短时平均幅度差算法；
所述的特征提取程序（343），其所用算法为梅尔倒谱系数和线性倒谱系数法，输入信号短时频率高于阈值时采用线性倒谱系数法进行特征提取，输入信号短时频率低于阈值时采用线性倒谱系数法进行特征提取；
所述的模式库训练与标准数据集生成程序（344），其以仪器设备不同工作状态下的声纹特征为测试集，训练模型，获得仪器设备声纹特征标准数据集。
3.按权利要求1或2所述仪器设备状态检测系统的检测方法，其特征在于：
①采集待检测的仪器设备在不同工作状态下的声音信号；
②对步骤①中采集到的信号分别进行预处理，预处理步骤包括端点检测、预加重与去加重、分帧与加窗和短时平均幅度差算法处理；
③对步骤②中的信号分别进行特征提取；
④对于短时频率与人的语音信号接近的信号采用MFCC的方法进行特征提取，对于短时频率较高的信号采取LFCC的方式进行特征提取；
⑤将步骤④中的信号特征导入数据库，并进行模式库训练，获得标准数据集；
⑥在待检测的仪器设备工作时，通过物联网传感器实时采集设备声音；提取声音信号特征，并与标准库进行对比，最后输出检测结果。
CN202010336816.7A 2020-04-26 2020-04-26 基于声纹识别技术的仪器设备状态检测系统及其方法 Pending CN111524523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010336816.7A CN111524523A (zh) 2020-04-26 2020-04-26 基于声纹识别技术的仪器设备状态检测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010336816.7A CN111524523A (zh) 2020-04-26 2020-04-26 基于声纹识别技术的仪器设备状态检测系统及其方法

Publications (1)

Publication Number Publication Date
CN111524523A true CN111524523A (zh) 2020-08-11

Family

ID=71910917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010336816.7A Pending CN111524523A (zh) 2020-04-26 2020-04-26 基于声纹识别技术的仪器设备状态检测系统及其方法

Country Status (1)

Country Link
CN (1) CN111524523A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116087339A (zh) * 2023-04-11 2023-05-09 中国科学院地质与地球物理研究所 一种基于智能声纹识别的近钻头岩性识别方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105244038A (zh) * 2015-09-30 2016-01-13 金陵科技学院 一种基于hmm的选矿设备故障异常音频分析与识别方法
CN106650576A (zh) * 2016-09-22 2017-05-10 中国矿业大学 一种基于噪声特征统计量的矿山设备健康状态判决方法
CN109357749A (zh) * 2018-09-04 2019-02-19 南京理工大学 一种基于dnn算法的电力设备音频信号分析方法
CN109856517A (zh) * 2019-03-29 2019-06-07 国家电网有限公司 一种特高压设备局部放电检测数据的判别方法
CN110867196A (zh) * 2019-12-03 2020-03-06 桂林理工大学 一种基于深度学习及声音识别的机器设备状态监测系统
CN110931022A (zh) * 2019-11-19 2020-03-27 天津大学 基于高低频动静特征的声纹识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105244038A (zh) * 2015-09-30 2016-01-13 金陵科技学院 一种基于hmm的选矿设备故障异常音频分析与识别方法
CN106650576A (zh) * 2016-09-22 2017-05-10 中国矿业大学 一种基于噪声特征统计量的矿山设备健康状态判决方法
CN109357749A (zh) * 2018-09-04 2019-02-19 南京理工大学 一种基于dnn算法的电力设备音频信号分析方法
CN109856517A (zh) * 2019-03-29 2019-06-07 国家电网有限公司 一种特高压设备局部放电检测数据的判别方法
CN110931022A (zh) * 2019-11-19 2020-03-27 天津大学 基于高低频动静特征的声纹识别方法
CN110867196A (zh) * 2019-12-03 2020-03-06 桂林理工大学 一种基于深度学习及声音识别的机器设备状态监测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王丰华等: "基于改进 MFCC 和 VQ 的变压器声纹识别模型", 《中国电机工程学报》 *
赵力: "语音信号处理", 《北京：机械工业出版社》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116087339A (zh) * 2023-04-11 2023-05-09 中国科学院地质与地球物理研究所 一种基于智能声纹识别的近钻头岩性识别方法和装置

Similar Documents

Publication Publication Date Title
CN103646649A (zh) 一种高效的语音检测方法
Venter et al. Automatic detection of African elephant (Loxodonta africana) infrasonic vocalisations from recordings
CN108305639B (zh) 语音情感识别方法、计算机可读存储介质、终端
CN108682432B (zh) 语音情感识别装置
CN113566948A (zh) 机器人化煤机故障音频识别及诊断方法
Chuangsuwanich et al. Robust Voice Activity Detector for Real World Applications Using Harmonicity and Modulation Frequency.
Zhu et al. Y-vector: Multiscale waveform encoder for speaker embedding
CN112542174A (zh) 基于vad的多维特征参数声纹识别方法
CN112331220A (zh) 一种基于深度学习的鸟类实时识别方法
Couvreur et al. Automatic noise recognition in urban environments based on artificial neural networks and hidden markov models
CN111524523A (zh) 基于声纹识别技术的仪器设备状态检测系统及其方法
CN113555038A (zh) 基于无监督领域对抗学习的说话人无关语音情感识别方法及系统
CN104036785A (zh) 语音信号的处理方法和装置、以及语音信号的分析系统
CN114187925A (zh) 一种基于语音特征的痴呆早期评估方法及装置
Joy et al. Deep Scattering Power Spectrum Features for Robust Speech Recognition.
Kaminski et al. Automatic speaker recognition using a unique personal feature vector and Gaussian Mixture Models
CN116312561A (zh) 一种电力调度系统人员声纹识别鉴权降噪和语音增强方法、系统及装置
CN110265049A (zh) 一种语音识别方法及语音识别系统
CN114898778A (zh) 基于注意力时频网络的语音情感识别方法及系统
CN114882906A (zh) 一种新型环境噪声识别方法及系统
CN112908343B (zh) 一种基于倒谱语谱图的鸟类物种数量的获取方法及系统
KR20180101057A (ko) 잡음에 강인한 음성 구간 검출 방법 및 장치
Gamulkiewicz et al. Wavelet based speech recognition
Yang et al. Research on Voiceprint recognition method of buried drainage pipe based on MFCC and GMM-HMM
CN109119085A (zh) 一种基于小波分析和超级向量的非对称文本相关的语音识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200811