CN113792774B - 一种水中目标智能融合感知方法 - Google Patents

一种水中目标智能融合感知方法 Download PDF

Info

Publication number
CN113792774B
CN113792774B CN202111022610.8A CN202111022610A CN113792774B CN 113792774 B CN113792774 B CN 113792774B CN 202111022610 A CN202111022610 A CN 202111022610A CN 113792774 B CN113792774 B CN 113792774B
Authority
CN
China
Prior art keywords
fusion
neural network
underwater
matrix
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111022610.8A
Other languages
English (en)
Other versions
CN113792774A (zh
Inventor
王海燕
马石磊
申晓红
陈创
马高悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202111022610.8A priority Critical patent/CN113792774B/zh
Publication of CN113792774A publication Critical patent/CN113792774A/zh
Application granted granted Critical
Publication of CN113792774B publication Critical patent/CN113792774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明提供了一种水中目标智能融合感知方法,提取典型特征和深度特征并进行特征级融合,然后通过神经网路进行分类识别,并输出验证集的混淆矩阵和测试集的分类概率,计算出基本信度分配函数,最后通过证据融合理论进行决策级融合,实现对水中目标的智能融合感知。本发明将增强水中目标的感知能力,进一步提高各类水下探测识别系统性能,提高各类水下探测识别系统性能,可以使我方掌握各类水中目标的情况,从而更好地进行形势预判,掌握水下信息空间的制高点和主动权。

Description

一种水中目标智能融合感知方法
技术领域
本发明涉及水下信号处理领域,尤其是一种涉及水下信号感知,深度神经网络,声信号处理和信息融合等的方法。
背景技术
当前国际形势下的战场实际是信息之间的战场,拥有信息战场上的非对称优势就拥有实际战场上的主动权。随着水下各类传感器监测网和人工智能技术的快速发展,海洋战场情报信息获取逐渐呈现出智能化的新趋势。
信息融合理论起源于水下信号处理,对于水中目标融合感知问题的研究主要集中在水下不确定性信息的汇集和关联,水下信息融合结构和层次的定义优化,信息融合算法的有效性、鲁棒性、自适应性以及融合性能的评价等各个方面。水中目标融合感知研究中代表性的几种方法有Fisher判别分析法、主成分分析法、粗糙集理论、近似网格滤波法、小波分层图像融合法、粒子滤波法、双马尔可夫链模型法和基于熵规范的方法等。随着水中目标感知的智能化、快速化需求,越来越多的研究更加倾向于机器学习的理论方法。基于神经网络的传感器信息融合具有统一的内部知识表示形式,通过学习算法可将网络获得的传感器信息进行融合,便于实现知识自动获取及并行联想推理。
水中目标的各类物理场信号受海洋复杂环境因素的影响,呈现一定的不稳定性,表现为观测物理场信号受海洋信道的时-空-频变动态性、非线性和非高斯性,混响以及环境噪声等干扰和多径效应。单个传感器自身只能获取目标信息的一部分特性,加上海战中双方采取的多种电子对抗技术,导致传感器在获取过程中存在不确定因素,系统获取数据不精确、不完整和不可靠。上述诸种因素会导致仅靠单一传感器的水中目标识别系统因识别率低、鲁棒性差、可靠性不高而不能满足新形势下海战目标识别的要求。因此需利用不同类型传感器采集到的大量水中目标多维异构信息,结合深度神经网络与信息融合等智能方法,实现对水中目标的多级智能融合感知。
发明内容
为了克服现有技术的不足,本发明提供一种水中目标智能融合感知方法。针对单一传感器类型对水中目标识别系统因识别率低、鲁棒性差、可靠性不高的问题,本发明提出一种水中目标多物理场智能融合感知方法。提取典型特征和深度特征并进行特征级融合,然后通过神经网路进行分类识别,并输出验证集的混淆矩阵和测试集的分类概率,计算出基本信度分配函数。最后通过证据融合理论进行决策级融合,实现对水中目标的智能融合感知。本发明将对增强我国对敌方潜艇、军舰、UUV和蛙人等水中目标的感知能力,进一步提高各类水下探测识别系统性能,并为我国领海安全监测提供重要的理论和方法支撑。
本发明解决其技术问题所采用的技术方案的主要步骤如下:
第一步:传感器接收信号及预处理;
将不同物理场的L类传感器置于海洋环境中,获取水下k类目标的接收信号Xl,l=1,2,...L;对各传感器接收到的信号Xl进行时空统一和分帧预处理,得到预处理后的信号X;
第二步:信号特征提取及特征融合;
1)典型特征提取;
提取各信号X的时域、频域和统计域基础特征组成典型特征矩阵A;
2)深层特征提取
通过无监督自编码器提取X的深层特征组成深层特征矩阵B;
δ(X,E,D)=∑Dσ(∑EX)
式中E和D为自编码器网络参数,矩阵σ为非线性函数,通过使重构误差δ最小化训练自编码器网络,得到网络的参数E和D,进一步得到水中目标的深层特征向量B;
B=EX
3)特征级融合
通过串行融合方法将每个传感器的典型特征矩阵A和深层特征B合并为融合特征矩阵Q:
第三步:构建卷积神经网络
针对每个物理场构建具有多层卷积层和池化层的深度卷积神经网络分类器,则共有L个神经网络分类器,将融合特征矩阵Q作为卷积神经网络的输入,输出为水中目标类别标签及其概率值;
第四步:划分数据集并训练网络模型;
将各类目标的融合矩阵Q制作成数据集,将数据集划分成训练集、验证集和测试集,先用训练集对神经网络模型进行预训练,然后用验证集调节卷积神经网络的超参数,验证集分类正确率高于90%时,将此时的网络参数确定为神经网络模型的参数;
第五步:计算局部置信度;
通过每个神经网络分类器在验证集的最终分类混淆矩阵结果,计算每个分类器对每个分类结果的局部置信度:
其中cij表示i类被分类器判断成j类的样本数,k为水中目标的种类数,矩阵中的各个元素cij均通过验证集的分类混淆矩阵Cl获取;
第六步:计算基本信度分配函数;
在测试集进行神经网络分类,第l个分类器识别结果为第i类的输出概率Pl(i),通过验证集的局部置信度和测试集的输出概率计算基本信度分配函数:
ml(i)=Pl(i)Fl(i)
其中Fl(i)为第l个神经网络分类器中分类结果为第i类的局部置信度;
第七步:计算合成可信度;
通过证据融合理论计算不同物理场传感器的合成可信度:
其中N为可信度的归一化因子,
第八步:输出决策结果
最终决策级融合输出结果为使Z(i)最大的水下目标类别并输出水下目标类别/>的可信度为/>
实现水中目标多物理场智能融合感知。
所述第三步中卷积神经网络中,卷积层的过程用下式表示:
式中Y表示卷积操作之后的特征矩阵,fc()表示卷积层激活函数,Q表示输入的融合特征矩阵,W表式权重矩阵,B1表示卷积偏置项,表示卷积操作。
池化层过程用下式表示:
Z=βdown(Y)+B2
式中,down()表示将Y进行池化操作,β表示乘偏置,B2表示池化偏置项。
输出层采用softmax函数,将分类输出概率映射在[0,1]之间,分类输出概率归一化和为1。
所述第四步中,数据集按照7:2:1划分成训练集、验证集和测试集。
所述第四步中,验证集调节卷积神经网络的超参数为学习率、批大小和迭代次数三类。
本发明的有益效果在于提出一种针对水中目标的多物理场智能融合感知方法。通过特征融合及决策级融合实现对多物理场的信息融合,并利用深度神经网络的实现强鲁棒性的智能感知。本发明将对增强我国对敌方潜艇、UUV和蛙人等水中目标的感知能力,进一步提高各类水下探测识别系统性能,可以使我方掌握各类水中目标的情况,从而更好地进行形势预判,有针对性地做出各类海上布防,掌握水下信息空间的制高点和主动权。同时该方法成功的将多传感器融合感知方法应用在了水中目标感知中,对于海洋目标智能感知,水下异常目标探测和智慧海洋及海洋防御建设具有深远意义,也推动了人工智能技术在海洋领域的进一步发展与应用,为我国海军水下智能武器装备提供技术支撑,为我国海洋军事智能化打下坚实的基础。
附图说明
图1是本发明的总体方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
实施例如下:
第一步:传感器接收信号及预处理
将矢量声传感器、压差传感器、甚低频地震波3类传感器置于海洋环境中,获取水下蛙人、UUV和舰艇3类目标的接收信号X1,X2,X3。对各传感器接收到的信号进行时空统一和分帧预处理,可通过确知信号检测等方法实现各传感器采集的信号时刻同步,然后将各类信号进行时长为1s的分帧处理,还可以针对不同传感器采取一些滤波的方法进行相应去噪处理。例如:对矢量水听器的信号采用高通滤波器,对压差传感器的信号采用带通滤波器,对甚低频地震波传感器采用低通滤波器。
第二步:信号特征提取及特征融合。
1)典型特征提取
提取各信号的时域、频域和统计域等基础特征组成基础特征矩阵A。例如:峰谷差,线谱,连续谱,DEMON谱,维谱,MFCC特征,PLP特征等。
2)深层特征提取
通过无监督自编码器提取其深层特征组成深层特征矩阵B。
δ(X,E,D)=∑Dσ(∑EX)
式中E和D为自编码器网络参数,矩阵σ为非线性函数,通过使重构误差δ最小化来训练自编码器网络,得到网络的参数E和D,进一步得到水中目标的深层特征向量B;
B=EX
3)特征级融合
通过串行融合方法将每个传感器的典型特征矩阵A和深层特征B合并为融合特征矩阵Q:
第三步:构建卷积神经网络
构建具有多层卷积层和池化层的深度卷积神经网络,将融合特征矩阵Q作为卷积神经网络的输入,输出为水中目标类别标签及其概率值。
卷积层的过程用下式表示:
式中Y表示卷积操作之后的特征矩阵,Q表示输入的融合特征矩阵,W表式权重矩阵,B1表示卷积偏置项,fc()表示卷积层激活函数,表示卷积操作。
池化层过程可以用下式表示:
Z=βdown(Y)+B2
式中,down()表示将Y进行池化操作,β表示乘偏置,B2表示池化偏置项。
输出层采用softmax函数,将分类输出概率映射在[0,1]之间,分类输出概率归一化和为1。
可构建拥有4层卷积层,4层池化层,2层全连接层的卷积神经网络。卷积核均选用3*3,非线性激励函数选Relu函数,池化层选为2*2的平均池化。第一层全连接层拥有1024个节点,输出层采用softmax函数,输出节点给出分类概率。
第四步:划分数据集并训练网络模型
将数据集按照7:2:1划分成训练集、验证集和测试集。先用训练集训练神经网络模型,然后用验证集调节卷积神经网络的学习率、批次大小和迭代次数三类超参数,通过验证集分类正确率最高来确定神经网络的全部参数。学习率可选为0.0001-0.01,批次大小可选为10-30,迭代次数选为4-6次。
第五步:计算局部置信度
通过每个神经网络分类器在验证集的最终分类混淆矩阵结果,计算每个分类器对每个分类结果的局部置信度。
其中cij表示i类被分类器判断成j类的样本数,k为水中目标的种类数,矩阵中的各个元素cij均通过验证集的分类混淆矩阵Cl获取。
第六步:计算基本信度分配函数;
在测试集进行神经网络分类,第l个分类器识别结果为第i类的输出概率Pl(i),通过验证集的局部置信度和测试集的输出概率计算基本信度分配函数:
ml(i)=Pl(i)Fl(i)
其中Fl(i)为第l个神经网络分类器中分类结果为第i类的局部置信度。
第七步:计算合成可信度;
通过证据融合理论计算不同物理场传感器的合成可信度:
其中N为可信度的归一化因子,L为传感器的总类数,k为水中目标的总类数。
第八步:输出决策结果
最终决策级融合输出结果为使Z(i)最大的水下目标类别并输出水下目标类别/>的可信度为/>
实现水中目标多物理场智能融合感知。

Claims (6)

1.一种水中目标智能融合感知方法,其特征在于包括下述步骤:
第一步:传感器接收信号及预处理;
将不同物理场的L类传感器置于海洋环境中,获取水下k类目标的接收信号Xl,l=1,2,...L;对各传感器接收到的信号Xl进行时空统一和分帧预处理,得到预处理后的信号X;
第二步:信号特征提取及特征融合;
1)典型特征提取;
提取各信号X的时域、频域和统计域基础特征组成典型特征矩阵A;
2)深层特征提取
通过无监督自编码器提取X的深层特征组成深层特征矩阵B;
δ(X,E,D)=∑Dσ(∑EX)
式中E和D为自编码器网络参数,矩阵σ为非线性函数,通过使重构误差δ最小化训练自编码器网络,得到网络的参数E和D,进一步得到水中目标的深层特征向量B;
B=EX
3)特征级融合
通过串行融合方法将每个传感器的典型特征矩阵A和深层特征B合并为融合特征矩阵Q:
第三步:构建卷积神经网络
针对每个物理场构建具有多层卷积层和池化层的深度卷积神经网络分类器,则共有L个神经网络分类器,将融合特征矩阵Q作为卷积神经网络的输入,输出为水中目标类别标签及其概率值;
第四步:划分数据集并训练网络模型;
将各类目标的融合矩阵Q制作成数据集,将数据集划分成训练集、验证集和测试集,先用训练集对神经网络模型进行预训练,然后用验证集调节卷积神经网络的超参数,验证集分类正确率高于90%时,将此时的网络参数确定为神经网络模型的参数;
第五步:计算局部置信度;
通过每个神经网络分类器在验证集的最终分类混淆矩阵结果,计算每个分类器对每个分类结果的局部置信度:
其中cij表示i类被分类器判断成j类的样本数,k为水中目标的种类数,矩阵中的各个元素cij均通过验证集的分类混淆矩阵Cl获取;
第六步:计算基本信度分配函数;
在测试集进行神经网络分类,第l个分类器识别结果为第i类的输出概率Pl(i),通过验证集的局部置信度和测试集的输出概率计算基本信度分配函数:
ml(i)=Pl(i)Fl(i)
其中Fl(i)为第l个神经网络分类器中分类结果为第i类的局部置信度;
第七步:计算合成可信度;
通过证据融合理论计算不同物理场传感器的合成可信度:
其中N为可信度的归一化因子,
第八步:输出决策结果
最终决策级融合输出结果为使Z(i)最大的水下目标类别并输出水下目标类别/>的可信度为/>
实现水中目标多物理场智能融合感知。
2.根据权利要求1所述的水中目标智能融合感知方法,其特征在于:所述第三步中卷积神经网络中,卷积层的过程用下式表示:
式中Y表示卷积操作之后的特征矩阵,fc()表示卷积层激活函数,Q表示输入的融合特征矩阵,W表式权重矩阵,B1表示卷积偏置项,表示卷积操作。
3.根据权利要求1所述的水中目标智能融合感知方法,其特征在于:池化层过程用下式表示:
Z=βdown(Y)+B2
式中,down()表示将Y进行池化操作,β表示乘偏置,B2表示池化偏置项。
4.根据权利要求1所述的水中目标智能融合感知方法,其特征在于:输出层采用softmax函数,将分类输出概率映射在[0,1]之间,分类输出概率归一化和为1。
5.根据权利要求1所述的水中目标智能融合感知方法,其特征在于:所述第四步中,数据集按照7:2:1划分成训练集、验证集和测试集。
6.根据权利要求1所述的水中目标智能融合感知方法,其特征在于:所述第四步中,验证集调节卷积神经网络的超参数为学习率、批大小和迭代次数三类。
CN202111022610.8A 2021-09-01 2021-09-01 一种水中目标智能融合感知方法 Active CN113792774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111022610.8A CN113792774B (zh) 2021-09-01 2021-09-01 一种水中目标智能融合感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111022610.8A CN113792774B (zh) 2021-09-01 2021-09-01 一种水中目标智能融合感知方法

Publications (2)

Publication Number Publication Date
CN113792774A CN113792774A (zh) 2021-12-14
CN113792774B true CN113792774B (zh) 2024-01-12

Family

ID=78879437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111022610.8A Active CN113792774B (zh) 2021-09-01 2021-09-01 一种水中目标智能融合感知方法

Country Status (1)

Country Link
CN (1) CN113792774B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790076A (en) * 1995-08-28 1998-08-04 Sypniewski; Jozef Tracking sensor specially for computer applications
CN110007366A (zh) * 2019-03-04 2019-07-12 中国科学院深圳先进技术研究院 一种基于多传感器融合的生命搜寻方法以及系统
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112115822A (zh) * 2020-09-04 2020-12-22 西北工业大学 一种水下移动目标智能融合感知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790076A (en) * 1995-08-28 1998-08-04 Sypniewski; Jozef Tracking sensor specially for computer applications
CN110007366A (zh) * 2019-03-04 2019-07-12 中国科学院深圳先进技术研究院 一种基于多传感器融合的生命搜寻方法以及系统
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112115822A (zh) * 2020-09-04 2020-12-22 西北工业大学 一种水下移动目标智能融合感知方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Target localization based on weighted total least squares in underwater acoustic networks";Ling Wang et al.;《2019 IEEE International Conference on Signal Processing, Communications and Computing (ICSPCC)》;全文 *
《兵工学报》;马石磊等;"复杂海洋环境噪声下甚低频声信号检测方法";第41卷(第12期);全文 *
相关证据下的水中目标识别方法研究;王海燕, 贺一平, 申晓红, 田娜, 胡亮;探测与控制学报(第01期);全文 *

Also Published As

Publication number Publication date
CN113792774A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN112115822B (zh) 一种水下移动目标智能融合感知方法
CN110728360B (zh) 一种基于bp神经网络的微能源器件能量识别方法
CN112364779B (zh) 信号处理与深-浅网络多模型融合的水声目标识别方法
CN110109059B (zh) 一种基于深度学习网络的雷达辐射源信号识别方法
CN111582320B (zh) 一种基于半监督学习的动态个体识别方法
CN111238807A (zh) 一种行星齿轮箱故障诊断方法
CN114358123B (zh) 一种基于深度对抗迁移网络的广义开放集故障诊断方法
Wang et al. ia-PNCC: Noise Processing Method for Underwater Target Recognition Convolutional Neural Network.
CN114595732B (zh) 基于深度聚类的雷达辐射源分选方法
CN106251375A (zh) 一种通用隐写分析的深度学习堆栈式自动编码方法
CN111310719B (zh) 一种未知辐射源个体识别及检测的方法
CN114169377A (zh) 基于g-mscnn的有噪环境中滚动轴承故障诊断方法
Zhao et al. A novel deep fuzzy clustering neural network model and its application in rolling bearing fault recognition
CN112183582A (zh) 一种多特征融合的水下目标识别方法
CN114143040A (zh) 一种基于多通道特征重构的对抗信号检测方法
CN113707175B (zh) 基于特征分解分类器与自适应后处理的声学事件检测系统
CN113435276A (zh) 一种基于对抗残差网络的水声目标识别方法
CN113792774B (zh) 一种水中目标智能融合感知方法
CN110969203B (zh) 基于自相关和cam网络的hrrp数据去冗余方法
Pandey et al. A metaheuristic autoencoder deep learning model for intrusion detector system
CN113570041B (zh) 一种神经网络以及利用该神经网络压制海上光纤拖缆地震数据噪声的方法
Alouani et al. A spatio-temporal deep learning approach for underwater acoustic signals classification
CN116434074A (zh) 基于邻支互补显著性和多先验稀疏表征的目标识别方法
CN115314287A (zh) 一种基于深度聚类的对抗异常检测系统
CN115600134A (zh) 基于域动态对抗自适应的轴承迁移学习故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant