CN116383739B - 基于域自适应的多模态数据融合的智能故障诊断方法 - Google Patents

基于域自适应的多模态数据融合的智能故障诊断方法 Download PDF

Info

Publication number
CN116383739B
CN116383739B CN202310325167.4A CN202310325167A CN116383739B CN 116383739 B CN116383739 B CN 116383739B CN 202310325167 A CN202310325167 A CN 202310325167A CN 116383739 B CN116383739 B CN 116383739B
Authority
CN
China
Prior art keywords
data
domain
signal
fault diagnosis
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310325167.4A
Other languages
English (en)
Other versions
CN116383739A (zh
Inventor
谢怡宁
石江涛
高聪
赵志超
朱银平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202310325167.4A priority Critical patent/CN116383739B/zh
Publication of CN116383739A publication Critical patent/CN116383739A/zh
Application granted granted Critical
Publication of CN116383739B publication Critical patent/CN116383739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/096Transfer learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00Data types
    • G06F2123/02Data types in the time domain, e.g. time-series data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
    • Y04S10/52Outage or fault management, e.g. fault detection or location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

基于域自适应的多模态数据融合的智能故障诊断系统,本发明涉及智能故障诊断、人工智能、深度学习、迁移学习。本发明是为了解决在变工况条件下对故障进行智能诊断的问题。系统包括:采集不同工况条件下的故障振动信号数据;对采集的数据通过快速傅里叶变换转为二维的频域图像;对已知数据样本打上真实标签;通过已知数据样本训练分类器;将目标数据和已知数据的特征进行对齐以减小差异;通过分类器对目标数据进行分类来实现智能故障诊断。本发明用于基于域自适应的多模态数据融合的智能故障诊断领域。

Description

基于域自适应的多模态数据融合的智能故障诊断方法
技术领域
本发明设计基于域自适应的多模态数据融合的智能故障诊断方法
背景技术
近几十年来,由旋转机械故障导致的事故时有发生。旋转机械作为机械设备的重要组成部分,如涡轮发动机、电动机、汽轮机等,在工业生产、航空航天、交通运输等领域扮演着十分重要的角色。旋转机械一旦出现故障,轻则会造成停工、财产损失等,重则会造成人员伤亡。实践表明,对旋转机械的运行状态进行实时监测和诊断有很强的现实需求和经济价值,能够提升设备的管理水平,延长设备的使用寿命,提前预判故障发生,有效防止因故障导致的非正常停工。轴承作为旋转机械传递动力的关键部件,其性能状态对旋转机械设备运行及效率具有重要的影响。据统计,在旋转机械的故障中轴承损坏故障约占41%,因此对轴承零部件开展故障诊断研究是旋转机械设备故障研究中的关键所在。
本发明首先对采集到的故障振动信号数据进行快速傅里叶变换预处理,通过模型对预处理后的图像与原始数据的特征进行提取,将提取后的特征进行融合,最终实现智能故障诊断。由于实际生产环境中,零件所处工作条件是变化的,因此模型在变化后的故障数据样本上的效果大幅度降低,针对此问题,本发明通过特征对齐来减少差异,最终实现故障分类。模型的输入源包括快速傅里叶变换后的频谱图和原始时域图,将提取后的特征进行相加融合,通过已知数据对分类器的性能进行训练,对目标数据的特征通过局部最大均值差异算法与已知数据的特征进行对齐,经过分类器对目标数据样本实现分类。本文提出了一种基于域自适应数据融合的智能故障诊断方法,该方法的泛化性能和鲁棒性很强,更具有实际应用价值。
发明内容
本发明的目的是为了解决在工况条件变化下故障诊断效果差的问题,而提出的一种基于域自适应的多模态数据融合的智能故障诊断方法。
上述发明目的主要是通过以下技术方案实现的:
S1、选取不同工况(转速,负载不同)的数据作为原始数据,下文用工况1,2分别代表;
S2、将原始信号通过快速傅里叶变换处理为二维图像;
S3、将一维时域数据和二维图像的特征进行融合;
跨域诊断步骤:
S4、将不同工况的数据作为输入源;
S5、通过工况1训练分类器;
S5、通过LMMD算法实现工况2与工况1数据特征的对齐,即可用步骤S5的分类器对工况2做故障诊断。
2、如权力要求1所述的基于迁移学习的多模态故障诊断方法,其特征在于,步骤S2中所述的快速傅里叶变换的原理及计算公式如下:
式中计算出来的是信号f(t)的连续频谱,ω代表频率,t代表时间,数据ω的取值为20000,因为快速傅里叶变换只能每次对有限数据长度进行变换,因此需要对数据进行信号截断,而截断后的信号会存在泄露,丢失部分信息,为了将泄露误差减少到最小程度,需要对信号进行加窗处理,加窗的实质是对原始时域信号与窗函数作乘积,这里,我们选取了汉宁窗处理,汉宁窗的计算公式如下:
时间t的取值范围为0<t<T,T为采样周期,对截取的信号进行加窗处理时,需要设定帧移和窗长,在此基础上,通过快速傅里叶变换为频域图。
3、如权力要求1所述的基于迁移学习的多模态故障诊断方法,其特征在于,步骤S3中的特征融合是将一维时域信号与频域图的特征进行融合,原始信号为一维时域图,但由于时域中的特征并不明显,因此通过快速傅里叶变换将时间域上的信号转换为频率域上的信号,随着域的不同,同一信号中所展现的特征也会发生变化,因此将时域图与频率图的特征进行融合,有利于获取代表信号的全面特征,我们进行的是特征融合,为了减少计算量,因此选取add操作,add操作公式如下:
式中X,Y代表两个通道的输入,c代表输入个数,*代表卷积操作,Ki为卷积核,通过对输入进行卷积操作,得到两个输入的特征向量,将得到的特征向量进行相加,add操作不会改变特征维度,只是对特征量进行求和。
4、如权力要求1所述的基于迁移学习的多模态故障诊断方法,其特征在于,步骤S4中的不同输入源分别为源域与目标域,其表示为:
Ds与Dt分别为源域样本和目标域样本/>的数据分布,其中m,n分别表示源域样本总数和目标域样本总数。源域与目标域同时作为网络的输入,我们将工况1作为源域,工况2作为目标域。
5、如权力要求1所述的基于迁移学习的多模态故障诊断方法,其特征在于,步骤S5中,将源域与目标域同时输入模型中,由于源域带有标签,通过源域的真实标签训练网络分类器,将目标域的特征与源域特征对齐之后,通过训练好的分类器对目标域数据进行分类。
6、如权力要求1所述的基于迁移学习的多模态故障诊断方法,其特征在于,步骤S5中的MMD公式如下:
式中H是具有特征核的再生核希尔伯特空间,ns代表源域样本总数,数值为2400,nt代表目标域样本总数,数值为960,φ(·)是从原始空间到再生核希尔伯特空间的非线性映射,特征核k(Xs,Xt)=<φ(Xs),φ(Xt)>,<·,·>表示两向量的内积,其变形为局部最大均值差异LMMD的计算公式如下:
其中C为故障类别数,其数值为6,和/>分别表示/>与/>属于类别c的权重,与/>的值为1,权重/>的计算公式如下:
代表第个类的向量,源域样本的真实标签通过one-hot向量来表示,目标域的标签通过网络预测的概率来作为伪标签。通过LMMD公式将源域样本与目标域样本的特征进行对齐,以此来达到识别目标域样本的作用。
发明效果
本发明针对在实际生产中复杂工况下的故障诊断问题,同时对原始数据进行了一个融合的操作,传统的深度学习模型在不同工况下的表现效果大大降低,同时传统的方法都是基于一种模态的数据进行诊断的,本发明将原始的数据通过快速傅里叶变换处理与一维的时序数据特征进行融合作为模型的特征数据,同时通过局部子域对齐算法将不同工况的数据差异减小或消除来达到同一模型可以同时诊断多种工况下的故障数据,这不仅减少了模型搭建的复杂性,同时更能符合实际生产中的要求。
附图说明
图1为本发明的流程示意图。
图2为本发明的系统结构示意图。
具体实施方式
为了使本发明的实施方式清楚明了,下面将结合附图对本发明实施方式具体说明。
本发明是为了解决实际生产中故障所处工况复杂的问题,图1为本发明的流程示意图,首先对原始的数据通过快速傅里叶变换进行预处理,将处理的图像数据与一维时序数据进行特征提取,将提取完的特征进行融合,融合后的特征会通过局部子域对齐算法减小差异,最后,模型会对对齐后的特征进行分类诊断。
图2所示为本系统模型训练诊断步骤:
1、对采集到的原始数据通过快速傅里叶变换处理为二维图像,傅里叶变换公式如下:
本次的数据采样频率为20000HZ,在处理中,是需要对连续的一维时序数据进行截断再处理,但截断后的信号会丢失部分信息,不利于后续的处理,因此在处理中需要加入窗函数,本发明所选为汉宁窗,其计算公式如下:
2、对处理后的图片通过模型提取特征,同时也对一维时序数据进行特征提取,两种模态的数据特征提取完成后进行融合,融合公式如下:
其操作是将两种特征向量的维度变为一致再进行相加操作融合。
3、由于两种工况下的数据差异比较明显,同一模型对不同数据的处理效果会大幅度降低,因此通过局部子域对齐算法将其差异减小,其公式如下:
这是对融合后的两种工况特征进行对齐,从而减小或消除差异以使同一模型可以处理多种工况下的数据。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明范围。

Claims (4)

1.基于域自适应的多模态数据融合的智能故障诊断方法,其特征在于,包括数据处理融合与跨域诊断:
数据处理融合包含步骤:
S1、选取不同工况的数据作为原始数据,下文用工况1,2分别代表;
S2、将一维原始信号分帧截取,对截取的信号数据进行快速傅里叶变换和加窗处理,最终拼接为固定大小的二维图像;
S3、将一维信号数据和二维图像同时作为模型的输入源,在并行的对齐层后进行两种数据类型的特征级融合;
步骤S3中的特征融合是将一维信号与二维图像的特征进行融合,原始信号为一维时域数据,但由于时域中的特征并不明显,因此通过快速傅里叶变换将时间域上的信号分帧加窗转换为频率域上的信号,最终拼接成一定大小的二维图像;随着域的不同,同一信号中所展现的特征也会发生变化,因此将一维信号与二维图的特征进行融合,有利于获取代表信号的全面特征,我们进行的是特征级融合,在特征对齐层后实现,为了减少计算量,因此选取add操作,此操作是将两个通道特征对齐后的向量相加融合,add操作公式如下:
式中X,Y代表两个通道的输入,c代表输入个数,*代表卷积操作,Ki为卷积核,通过对输入进行卷积操作,得到两个对应于输入数据特征对齐后的特征向量,将得到的特征向量进行相加,add操作不会改变特征维度,只是对特征量进行求和
跨域诊断步骤:
S4、将所有工况的一维信号和二维图像两种模态数据作为输入源;
S5、通过工况1训练并行的两个分类器,融合两个分类器的参数达到最优分类结果;
S6、通过两个并行的LMMD算法层实现工况2与工况1两个模态数据特征对齐,将对齐后的特征进行融合,即可用步骤S5的分类器对工况2做故障诊断;
步骤S6中的公式如下:
式中Η是具有特征核k的再生核希尔伯特空间,ns代表源域样本总数,数值为2400,nt代表目标域样本总数,数值为960,φ(·)是从原始空间到再生核希尔伯特空间的非线性映射,特征核k(Xs,Xt)=<φ(Xs),φ(Xt)>,<·,·>表示两向量的内积,其变形为局部最大均值差异LMMD的计算公式如下:
其中C为故障类别数,其数值为6,和/>分别表示/>与/>属于类别c的权重,此权重是两种模态数据的权重平均值,/>与/>的值为1,权重/>的计算公式如下:
yic代表第c个类的向量yi,源域样本的真实标签通过one-hot向量来表示,目标域的标签通过网络预测的概率来作为伪标签。
2.如权利要求1所述故障诊断方法,其特征在于,步骤S2中所述的快速傅里叶变换的原理及计算公式如下:
式中计算出来的是信号f(t)的连续频谱,ω代表频率,t代表时间,数据ω的取值为20000HZ,因为快速傅里叶变换只能每次对有限数据长度进行变换,因此需要对数据进行信号截断,而截断后的信号会存在泄露,丢失部分信息,为了将泄露误差减少到最小程度,需要对信号进行加窗处理,加窗的实质是对原始时域信号与窗函数作乘积,这里,我们选取了汉宁窗处理,汉宁窗的计算公式如下:
时间t的取值范围为0<t<T,T为采样周期,对截取的信号进行加窗处理时,需要设定帧移和窗长,在此基础上,通过快速傅里叶变换为频域图。
3.如权利要求1所述的故障诊断方法,其特征在于,步骤S4中的不同输入源分别为源域与目标域,其表示为:
Ds与Dt分别为源域样本和目标域样本/>的数据分布,其中m,n分别表示源域样本总数和目标域样本总数;源域与目标域同时作为网络的输入,我们将工况1作为源域,工况2作为目标域。
4.如权利要求1所述的故障诊断方法,其特征在于,步骤S5中,将源域与目标域两种模态数据作为输入源同时输入模型中,由于源域带有标签,通过源域的真实标签训练网络分类器,此分类器融合了并行的两个通道的参数,以此使分类器的性能达到最优;将目标域的特征与源域特征对齐并融合,通过训练好的分类器对目标域数据进行分类。
CN202310325167.4A 2023-03-30 2023-03-30 基于域自适应的多模态数据融合的智能故障诊断方法 Active CN116383739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310325167.4A CN116383739B (zh) 2023-03-30 2023-03-30 基于域自适应的多模态数据融合的智能故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310325167.4A CN116383739B (zh) 2023-03-30 2023-03-30 基于域自适应的多模态数据融合的智能故障诊断方法

Publications (2)

Publication Number Publication Date
CN116383739A CN116383739A (zh) 2023-07-04
CN116383739B true CN116383739B (zh) 2024-01-30

Family

ID=86972582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310325167.4A Active CN116383739B (zh) 2023-03-30 2023-03-30 基于域自适应的多模态数据融合的智能故障诊断方法

Country Status (1)

Country Link
CN (1) CN116383739B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116910493B (zh) * 2023-09-12 2023-12-08 山东能源数智云科技有限公司 基于多源特征提取的设备故障诊断模型的构建方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898634A (zh) * 2020-06-22 2020-11-06 西安交通大学 一种基于深度对抗域自适应的智能故障诊断方法
CN114048568A (zh) * 2021-11-17 2022-02-15 大连理工大学 一种基于多源迁移融合收缩框架的旋转机械故障诊断方法
CN114429150A (zh) * 2021-12-30 2022-05-03 哈尔滨理工大学 一种基于改进深度子域适应网络的变工况下滚动轴承故障诊断方法及系统
CN115563536A (zh) * 2022-09-28 2023-01-03 北京工业大学 基于子域自适应的滚动轴承故障诊断方法
CN115600150A (zh) * 2022-09-26 2023-01-13 郑州大学(Cn) 一种基于深度迁移学习的多模态齿轮箱故障诊断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898634A (zh) * 2020-06-22 2020-11-06 西安交通大学 一种基于深度对抗域自适应的智能故障诊断方法
CN114048568A (zh) * 2021-11-17 2022-02-15 大连理工大学 一种基于多源迁移融合收缩框架的旋转机械故障诊断方法
CN114429150A (zh) * 2021-12-30 2022-05-03 哈尔滨理工大学 一种基于改进深度子域适应网络的变工况下滚动轴承故障诊断方法及系统
CN115600150A (zh) * 2022-09-26 2023-01-13 郑州大学(Cn) 一种基于深度迁移学习的多模态齿轮箱故障诊断方法
CN115563536A (zh) * 2022-09-28 2023-01-03 北京工业大学 基于子域自适应的滚动轴承故障诊断方法

Also Published As

Publication number Publication date
CN116383739A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Surendran et al. Deep learning based intelligent industrial fault diagnosis model.
Zhang et al. Machinery fault diagnosis with imbalanced data using deep generative adversarial networks
CN111208427B (zh) 一种牵引电机故障诊断方法及装置
Zheng et al. Research on rolling bearing fault diagnosis of small dataset based on a new optimal transfer learning network
CN116383739B (zh) 基于域自适应的多模态数据融合的智能故障诊断方法
CN111125405A (zh) 电力监控图像异常检测方法和装置、电子设备及存储介质
Li et al. Deep domain adaptation with adversarial idea and coral alignment for transfer fault diagnosis of rolling bearing
CN112665852A (zh) 一种基于深度学习的变工况行星齿轮箱故障诊断方法及装置
CN116416497A (zh) 一种轴承故障诊断系统及方法
CN116010900A (zh) 基于自注意力机制的多尺度特征融合齿轮箱故障诊断方法
CN111488935A (zh) 一种基于神经网络统一建模的磨煤机故障诊断方法
CN112860183A (zh) 基于高阶矩匹配的多源蒸馏-迁移机械故障智能诊断方法
CN114048787B (zh) 一种基于Attention CNN模型的轴承故障实时智能诊断方法与系统
Liu et al. NTScatNet: An interpretable convolutional neural network for domain generalization diagnosis across different transmission paths
Choi et al. Comparison of motor fault diagnosis performance using RNN and K-means for data with disturbance
Wang et al. Cross-domain fault diagnosis of rotating machinery based on graph feature extraction
CN113780151A (zh) 一种双线性特征融合的轴承故障诊断方法及系统
CN116467568A (zh) 一种基于特征融合和无监督域自适应的轴承故障诊断方法
Li et al. Domain adaptive networks with limited data for rotating machinery fault diagnosis: a case of study of gears
CN112269778B (zh) 一种设备故障诊断方法
Zhou et al. Marine propulsion shaft system fault diagnosis method based on partly ensemble empirical mode decomposition and SVM
Li et al. An Improved LeNet-5 Convolutional Neural Network Supporting Condition-Based Maintenance and Fault Diagnosis of Bearings
Zou et al. A Bayesian Adaptive Resize-Residual Deep Learning Network for Fault Diagnosis of Rotating Machinery
Chen et al. A dual-view network for fault diagnosis in rotating machinery using unbalanced data
Hong et al. Adaptive fusion based on physics-constrained dictionary learning for fault diagnosis of rotating machinery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant