CN109376574B - 基于cnn的可拒判雷达hrrp目标识别方法 - Google Patents

基于cnn的可拒判雷达hrrp目标识别方法 Download PDF

Info

Publication number
CN109376574B
CN109376574B CN201810922087.6A CN201810922087A CN109376574B CN 109376574 B CN109376574 B CN 109376574B CN 201810922087 A CN201810922087 A CN 201810922087A CN 109376574 B CN109376574 B CN 109376574B
Authority
CN
China
Prior art keywords
layer
neural network
convolutional neural
resolution range
range profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810922087.6A
Other languages
English (en)
Other versions
CN109376574A (zh
Inventor
陈渤
赵倩茹
万锦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810922087.6A priority Critical patent/CN109376574B/zh
Publication of CN109376574A publication Critical patent/CN109376574A/zh
Application granted granted Critical
Publication of CN109376574B publication Critical patent/CN109376574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

一种基于CNN的可拒判雷达HRRP目标识别方法,其实现步骤为:(1)获取雷达高分辨距离像HRRP时频域特征数据;(2)选取训练样本集与测试样本集;(3)构建卷积神经网络;(4)设置卷积神经网络的可调节代价函数;(5)训练卷积神经网络;(6)获得卷积神经网络的输出结果;(7)判断重构误差是否大于门限值,若是,则对目标拒判,否则,得到识别结果。本发明引入多层卷积神经网络,提取出雷达HRRP数据时频域特征中的高维特征,能有效解决现有技术中目标特征信息量有限导致目标识别准确率不高的问题,同时对库外目标具有可调节的拒判能力,相比一般方法具有更好的目标识别性能。

Description

基于CNN的可拒判雷达HRRP目标识别方法
技术领域
本发明属于雷达技术领域,更进一步涉及雷达目标识别技术领域中的一种基于卷积神经网络CNN(Convolutional Neural Network)的可拒判雷达高分辨距离像HRRP(High-Resolution Range Profile)目标识别方法。本发明能够对雷达高分辨距离像数据进行雷达数据库外目标拒判,用于后续对库内目标的目标识别。
背景技术
雷达高分辨距离像(HRRP)包含丰富的雷达目标结构特征,并具有易于获取、存储和处理等优点,对雷达目标识别与分类十分有价值,已成为雷达自动目标识别领域研究的热点。卷积神经网络(CNN)是一种深度学习方法,避免了传统识别算法中复杂的特征提取和数据重建过程,可以充分利用数据高维特征,并且过程简便,已成为当前目标识别领域的研究热点。目前,现有针对雷达高分辨距离像数据的雷达目标识别方法有统计识别方法,核方法,基于字典学习、神经网络、深度学习的方法等。但这些现有方法往往没有充分利用HRRP数据的高维特征,导致用于识别的目标信息不够完整,并且往往不具备在识别前的拒判能力。
上海交通大学在其申请的专利文献“一种基于联合分类的雷达HRRP目标识别方法”(专利申请号201711419680.0,公开号108256436A)中公开了一种基于联合分类的雷达HRRP目标识别方法。该方法首先使用了PCA方法对训练与测试样本进行降维,并选择BP神经网络与支持向量机两种分类方法判断待识别目标是否为群目标,再使用MCC方法识别群目标中的单目标类别,能有效识别群目标类别,还可以对构成群目标的单目标种类进行再识别。该方法存在的不足之处是,只使用了浅层的神经网络对雷达HRRP数据的时域信息进行分析,其中涉及的方法不能充分利用数据的时频域信息提取出高维特征,限制了用于目标识别的特征信息量。
西安电子科技大学在其申请的专利文献“基于二维卷积神经网络的雷达高分辨距离像目标识别方法”(专利申请号201710838666.8,公开号107728142A)中公开了一种基于二维卷积网络的雷达高分辨距离像目标识别方法。该方法构建了可用于提取高维特征的二维卷积神经网络模型,获取雷达高分辨距离像数据作为样本集,利用训练样本集得到训练好的模型,用于雷达高分辨距离像目标识别。该方法存在的不足之处是,未充分利用提取出的高维特征实现目标识别前的拒判,在雷达高分辨距离像样本中存在库外异常目标的情况下缺乏可拒判能力,不具备有效的拒判性能,会降低目标识别准确率。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于卷积神经网络CNN的可拒判雷达高分辨距离像HRRP目标识别方法。
实现本发明目的的思路是,通过卷积神经网络,提取雷达HRRP数据的时频域特征中的高维特征;通过反卷积神经网络,对高维特征进行重构,根据重构后的结果与原始数据的时频域特征之间的误差进行目标识别前的拒判;通过Softmax分类器进行目标识别,得到目标识别结果。
为实现上述目的,本发明的具体实现步骤包括如下:
(1)获取雷达高分辨距离像HRRP时频域特征数据:
(1a)提取雷达回波在雷达视线上沿着距离维的幅度信息,作为高分辨距离像数据;
(1b)对雷达高分辨距离像数据进行预处理,得到高分辨距离像时频域特征数据;
(1c)分别为雷达目标数据库内的各个目标类别设置标签值;
(2)选取训练样本集与测试样本集:
从雷达高分辨距离像时频域特征数据中选取包含目标所有方位角域的样本数据,组成训练样本集,将其余数据组成测试样本集;
(3)构建卷积神经网络:
该卷积神经网络包括卷积编码器,反卷积解码器,分类器三部分;
(3a)搭建一个3层的卷积编码器,其结构依次为:第一卷积层→第二卷积层→第三卷积层;将预处理后的高分辨距离像时频域特征数据作为该卷积编码器的输入数据,并设置各层参数;
(3b)搭建一个3层的反卷积解码器,其结构依次为:第一反卷积层→第二反卷积层→第三反卷积层;将卷积编码器第三卷积层输出的特征映射图作为该反卷积解码器的输入数据,并设置各层参数;
(3c)搭建一个分类器,其结构依次为:全连接层→Softmax分类器层;将卷积编码器第三卷积层输出的特征映射图作为该分类器的输入数据,并设置各层参数;
(4)按照下式,设置卷积神经网络的可调节代价函数:
Figure GDA0002975742220000031
其中,E表示卷积神经网络的可调节代价函数,N表示训练样本的总数,Σ表示求和操作,n表示训练样本的序号,Q表示数据库内目标类别的总数,q表示目标类别的序号,t表示目标类别的标签值,t(n)表示第n个训练样本的类别的标签值,In(·)表示以自然常数e为底的对数操作,z表示输入分类器的特征映射图,
Figure GDA0002975742220000032
表示输入分类器的特征映射图z被分类为第q类目标的概率,λ表示用于调节目标识别与拒判比重的权重因子,E0表示反卷积解码器输出的重构后的样本与卷积神经网络的输入样本之间的重构误差;
(5)训练卷积神经网络:
(5a)将从均值为0、方差为0.01的高斯分布中随机采样的数组,作为卷积神经网络每一层的初始权值参数,该采样的数组的数目和维度与卷积神经网络中所有参数数目和维度相等;
(5b)将训练样本集输入到卷积神经网络;
(5c)利用批量梯度下降方法,分别计算卷积神经网络中卷积编码器,反卷积解码器,分类器的每一层的权值参数,得到训练好的卷积神经网络;
(6)获得卷积神经网络的输出结果:
(6a)将测试样本集输入训练好的卷积神经网络,通过卷积编码器提取雷达HRRP数据的时频域特征中的高维特征,得到测试样本的特征映射图;
(6b)将测试样本的特征映射图输入反卷积编码器,通过反卷积神经网络对高维特征进行重构,得到重构后的测试样本;
(6c)将测试样本的特征映射图输入分类器,得到测试样本被判定为雷达数据库内各个目标类别的概率值;
(7)根据重构与原始数据的时频域特征之间的误差进行目标识别前的拒判,判断反卷积解码器输出的重构后的样本与卷积神经网络的输入样本之间的重构误差是否大于门限值,若是,则执行步骤(8),否则,执行步骤(9);
(8)目标拒判:
对测试样本进行拒判,判定该测试样本的类别不在雷达数据库内;
(9)目标识别:
将测试样本最大概率值对应的目标类别作为雷达高分辨距离像样本的类别,得到目标识别结果。
本发明与现有技术相比具有如下优点:
第一,由于本发明方法使用了多层卷积神经网络,对雷达高分辨距离像HRRP数据的时频域信息进行分析,从数据的时频域信息中提取出高维特征,克服了现有技术由于目标识别的特征信息量有限,导致目标识别准确率不高的问题,使得本发明用于目标识别的特征信息更充分,更能反映目标的特性,提高了目标识别准确率。
第二,由于本发明方法使用了反卷积神经网络对提取出的雷达高分辨距离像HRRP高维特征进行重构,较为完整地还原了目标特征,在目标识别前,利用重构误差对库外异常目标进行拒判,克服了现有技术在雷达高分辨距离像样本中存在库外异常目标的情况下缺乏有效的拒判性能的问题,使得本发明中的目标识别方法具备较好的可拒判能力。
第三,由于本发明方法在训练卷积神经网络时使用了可调节代价函数,引入用于调节拒判与识别性能比重的权重因子,克服了现有技术不具备可拒判能力导致目标识别方法的性能不可调节的问题,使得本发明中的目标识别方法可以灵活地调节拒判与识别性能。
附图说明
图1是本发明的流程图;
图2是本发明用于验证拒判性能的仿真图;
图3是本发明用于验证拒判与识别性能具备可调节性的仿真图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照附图1,对本发明的具体步骤做进一步的描述。
步骤1,获取雷达高分辨距离像HRRP时频域特征数据。
提取雷达回波在雷达视线上沿着距离维的幅度信息,作为高分辨距离像数据。
对雷达高分辨距离像数据进行预处理,得到高分辨距离像时频域特征数据。
所述雷达高分辨距离像数据进行预处理的具体步骤如下:
第1步,按照下式,对雷达高分辨距离像数据进行二范数归一化处理:
Figure GDA0002975742220000051
其中,x1表示二范数归一化处理后的高分辨距离像数据,x表示高分辨距离像数据,||·||2表示求二范数操作。
第2步,按照下式,对二范数归一化处理后的雷达高分辨距离像数据进行重心对齐处理:
x2=I{F(x1)e-j{φ(W)-φ(C)·k}}
其中,x2表示重心对齐后的雷达高分辨距离像数据,I(·)表示逆快速傅里叶变换操作,F(·)表示快速傅里叶变换操作,e(·)表示以自然常数e为底的指数操作,j表示虚数单位符号,φ(W)表示二范数归一化处理后高分辨距离像数据的重心W对应的相位,φ(C)表示二范数归一化处理后高分辨距离像数据的中心C对应的相位,k表示二范数归一化处理后高分辨距离像数据的重心与中心之间的相对距离。
第3步,对重心对齐后的高分辨距离像数据求均值,再用重心对齐后的高分辨距离像数据减去均值,得到均值归一化后的高分辨距离像数据。
第4步,对均值归一化后的雷达高分辨距离像数据进行短时傅里叶变换,得到高分辨距离像时频域特征数据。
分别为雷达目标数据库内的各个目标类别设置标签值。
所述的设置标签值的方法如下:
分别将序号为1的高分辨距离像数据的标签记为d1,序号为2的高分辨距离像数据的标签记为d2、…、将序号为Q的高分辨距离像数据的标签记为dQ,d1取值为1,d2取值为2,…,dQ取值为Q,其中,Q表示数据库内目标类别的总个数。
步骤2,选取训练样本集与测试样本集。
从雷达高分辨距离像时频域特征数据中选取包含目标所有方位角域的样本数据,组成训练样本集,将其余数据组成测试样本集。
步骤3,构建卷积神经网络。
该卷积神经网络包括卷积编码器,反卷积解码器,分类器三部分。
构建一个3层的卷积编码器,其结构依次为:第一卷积层→第二卷积层→第三卷积层;将预处理后的高分辨距离像时频域特征数据作为该卷积编码器的输入数据,并设置各层参数。
所述的卷积编码器的各层参数设置如下:
第1步,将第一卷积层的编号设置为1,将第一卷积层的特征映射图数目设置为128,卷积核尺寸设置为32*6个距离单元,卷积核滑动步长为1个距离单元;该层的池化下采样核尺寸设置为1*2,下采样核滑动步长设置为2个距离单元。
第2步,将第一卷积层的编号设置为2,将第二卷积层的特征映射图数目设置为64,卷积核尺寸设置为1*9个距离单元,卷积核滑动步长为1个距离单元;该层的池化下采样核尺寸设置为1*2个距离单元,下采样核滑动步长设置为2个距离单元。
第3步,将第一卷积层的编号设置为3,将第三卷积层特征映射图数目设置为64,卷积核尺寸设置为1*9个距离单元,卷积核滑动步长为1个距离单元;该层的池化下采样核尺寸设置为1*2个距离单元,下采样核滑动步长设置为2个距离单元。
构建一个3层的反卷积解码器,其结构依次为:第一反卷积层→第二反卷积层→第三反卷积层;将卷积编码器第三卷积层输出的特征映射图作为该反卷积解码器的输入数据,并设置各层参数。
所述的反卷积解码器的各层参数设置如下:
第1步,将卷积编码器输出的特征映射图作为输入层的输入数据。
第2步,将第一反卷积层特征映射图数目设置为64,卷积核尺寸设置为1*9个距离单元,卷积核滑动步长为1个距离单元。
第3步,将第二反卷积层特征映射图数目设置为128,卷积核尺寸设置为1*9个距离单元,卷积核滑动步长为1个距离单元。
第4步,将第三反卷积层特征映射图数目设置为128,卷积核尺寸设置为32*6个距离单元,卷积核滑动步长为1个距离单元。
构建一个分类器,其结构依次为:全连接层→Softmax分类器层;将卷积编码器第三卷积层输出的特征映射图作为该分类器的输入数据,并设置各层参数。
所述的分类器的各层参数设置如下:
第1步,将卷积编码器输出的特征映射图作为输入层的输入数据。
第2步,将全连接层的特征映射图数目设置为64。
步骤4,按照下式,设置卷积神经网络的可调节代价函数:
Figure GDA0002975742220000071
其中,E表示卷积神经网络的可调节代价函数,N表示训练样本的总数,Σ表示求和操作,n表示训练样本的序号,Q表示数据库内目标类别的总数,q表示目标类别的序号,t表示目标类别的标签值,t(n)表示第n个训练样本的类别的标签值,In(·)表示以自然常数e为底的对数操作,z表示输入分类器的特征映射图,
Figure GDA0002975742220000072
表示输入分类器的特征映射图z被分类为第q类目标的概率,λ表示用于调节目标识别与拒判比重的权重因子,E0表示反卷积解码器输出的重构后的样本与卷积神经网络的输入样本之间的重构误差。
所述的反卷积解码器输出的重构后的样本与卷积神经网络的输入样本之间的重构误差的公式如下:
Figure GDA0002975742220000081
其中,h表示反卷积解码器输出的特征映射图,h(n)表示第n个训练样本经过反卷积解码器输出的特征映射图。
步骤5,训练卷积神经网络。
将从均值为0、方差为0.01的高斯分布中随机采样的数组,作为卷积神经网络每一层的初始权值参数,该采样的数组的数目和维度与卷积神经网络中所有参数数目和维度相等。
将训练样本集输入到卷积神经网络。
利用批量梯度下降方法,分别计算卷积神经网络中卷积编码器,反卷积解码器,分类器的每一层的权值参数,得到训练好的卷积神经网络。
所述批量梯度下降方法的具体步骤如下:
第1步,按照下式,计算卷积神经网络中每一层的激活值:
al=f(Wl·al-1+bl-1)
其中,l表示卷积神经网络中第l层,al表示卷积神经网络中第l层的激活值,f(·)表示激活函数,Wl表示卷积神经网络中第l层的权值,l-1表示卷积神经网络中第l层的前一个输入层,al-1表示卷积神经网络中第l层的前一个输入层的激活值,bl-1表示卷积神经网络中第l层的前一个输入层的偏置项。
第2步,按照下式,计算卷积神经网络中每一层的残差:
δl=(∑(Wl·δl+1))·f'(Wl-1·al-1)
其中,δl表示卷积神经网络中第l层的残差,l+1表示卷积神经网络中第l层的后一个输出层,δl+1表示卷积神经网络中第l层的后一个输出层的残差,f'(·)表示激活函数的导数,Wl-1表示卷积神经网络中第l层的前一个输入层的权值,al-1表示卷积神经网络中第l层的前一个输入层的激活值。
第3步,按照下式,计算卷积神经网络中每一层可调价代价函数关于权值与偏置项的偏导数:
Figure GDA0002975742220000091
Figure GDA0002975742220000092
其中,
Figure GDA0002975742220000093
表示求偏导操作,
Figure GDA0002975742220000094
表示对卷积神经网络中第l层的可调价代价函数E关于权值W的偏导数,
Figure GDA0002975742220000095
表示对卷积神经网络第l层的可调价代价函数E关于偏置项b的偏导数。
第4步,按照下式,计算更新后的卷积神经网络中每一层权值与偏置项的偏差值:
Figure GDA0002975742220000096
Figure GDA0002975742220000097
其中,:=表示更新赋值操作,ΔWl表示第l层权值的偏差值,Δbl表示第l层偏差项的偏差值。
第5步,按照下式,计算更新后的卷积神经网络中每一层的权值与偏置项:
Wl:=Wl-α[m(ΔWl)+Wl]
bl:=bl-α[m(Δbl)]
其中,α表示学习速率,m(·)表示对卷积神经网络中一层所有节点参数求均值的操作。
步骤6,获得卷积神经网络的输出结果。
将测试样本集输入训练好的卷积神经网络,通过卷积编码器提取雷达HRRP数据的时频域特征中的高维特征,得到测试样本的特征映射图。
将测试样本的特征映射图输入反卷积编码器,通过反卷积神经网络对高维特征进行重构,得到重构后的测试样本。
将测试样本的特征映射图输入分类器,得到测试样本被判定为雷达数据库内各个目标类别的概率值。
步骤7,根据重构与原始数据的时频域特征之间的误差进行目标识别前的拒判,判断反卷积解码器输出的重构后的样本与卷积神经网络的输入样本之间的重构误差是否大于门限值,若是,则执行步骤8,否则,执行步骤9;。
步骤8,目标拒判。
对测试样本进行拒判,判定该测试样本的类别不在雷达数据库内。
步骤9,目标识别。
将测试样本最大概率值对应的目标类别作为雷达高分辨距离像样本的类别,得到目标识别结果。
所述门限值的公式如下:
T=S[M·r]
其中,T表示门限值,M表示所有训练样本的个数,r表示雷达高分辨距离像目标识别的虚警率,S表示对所有训练样本对应的重构误差从小到大排序后的数组,S[M·r]表示数组S的第M·r个元素的值。
下面结合仿真实验对本发明做进一步的描述。
1.仿真条件:
本发明的仿真实验中所用的雷达数据库是3类飞机的高分辨距离像实测数据,3类飞机型号分别为雅克42(922),奖状(715),安26(507),获得的3类高分辨距离像数据,分别是雅克42(922)飞机的高分辨距离像数据,奖状(715)飞机的高分辨距离像数据,和安26(507)飞机的高分辨距离像数据。训练样本集中包含140000个训练样本,数据库内测试样本集中包含5200个测试样本,其中训练样本中含有第1类高分辨距离像数据52000个,第2类高分辨距离像数据52000个,第3类高分辨距离像数据36000个;数据库内测试样本集中含有第1类高分辨距离像数据2000个,第2类高分辨距离像数据2000个,第3类高分辨距离像数据1200个。数据库外的测试样本集中包含18000个卡车的高分辨距离像实测数据。
本发明的仿真实验的软件环境:操作系统为Linux 16.04版本,处理器为Intel(R)Core(TM)i7-4770k,处理器的主频率为4.00GHz;软件平台为:MatlabR2016b、Tensorflow1.3。
2.仿真内容与结果分析:
本发明的仿真实验包括三个,仿真实验1是用于验证本发明方法的识别性能,仿真实验2是用于验证本发明方法的拒判性能,仿真实验3是用于验证本发明方法的拒判与识别性能具备可调节性。
仿真实验1是采用本发明的方法与九种现有技术(基于最大相关分类器的目标识别方法,基于自适应高斯分类器的目标识别方法,基于线性支持向量机的目标识别方法,基于线性判别分析结合支持向量机的目标识别方法,基于主成分分析结合支持向量机的目标识别方法,基于深度置信网络的目标识别方法,基于栈式降噪自编码器的目标识别方法,基于栈式相关自编码器结合支持向量机的目标识别方法,基于时域卷积神经网络的目标识别方法)分别对仿真条件中所述的3类飞机的高分辨距离像测试样本进行目标识别。分别计算每种方法中目标识别结果的类别与其样本类别相符的测试样本个数与测试样本总数的比值,得到每种方法的目标识别准确率,结果如表1所示。
表1.十种方法的目标识别准确率一览表
方法 识别率(%)
最大相关分类器(MCC) 62.42
自适应高斯分类器(AGC) 85.63
线性支持向量机(LSVM) 86.70
线性判别分析结合支持向量机(LDA) 81.30
主成分分析结合支持向量机(PCA) 83.81
深度置信网络(DBN) 89.29
栈式降噪自编码器(SDAE) 90.42
栈式相关自编码器结合支持向量机(SCAE) 92.03
时域卷积神经网络(TCNN) 92.57
本发明方法 95.31
由表1可见,仿真实验1的十种方法中,本发明方法的识别准确率最高,为95.31%,显然本发明方法的目标识别性能显著优于其他九种方法。
仿真实验2是采用本发明中的方法与三种具有拒判性能的现有技术(基于K-均值聚类的目标识别方法,基于高斯内核主成分分析的目标识别方法,基于高斯内核支持向量域描述的目标识别方法)分别对仿真条件中所述的数据库内3类飞机的高分辨距离像测试样本与数据库外卡车的高分辨距离像测试样本,进行目标拒判。通过改变虚警率的取值,分别计算在不同虚警率下每种方法的检测率,所述检测率为没有被拒判的测试样本个数与数据库内测试样本总数的比值,由此得到的本次仿真实验的四种方法的拒判工作性能曲线图,如图2所示。图2中的横坐标表示虚警率的取值,步长为0.022,纵坐标表示检测率的取值。图2中以星号标示的曲线表示采用基于K-均值聚类的目标识别方法得到的拒判工作性能曲线图。以圆圈标示的曲线表示采用基于高斯内核主成分分析的目标识别方法得到的拒判工作性能曲线图。以三角标示的曲线表示采用基于高斯内核支持向量域描述的目标识别方法得到的拒判工作性能曲线图。以加号标示的曲线表示采用本发明的方法得到的拒判工作性能曲线图。拒判工作性能曲线与横坐标轴所覆盖的面积大小为AUC指标,可以表征目标拒判性能,其中AUC指标的取值越大,目标拒判性能越好。由图2中每种方法的拒判工作性能曲线图得到四种方法的AUC指标,如表2所示。
表2.四种方法的拒判性能指标一览表
方法 AUC值
K-均值聚类(K-means) 0.8128
高斯内核主成分分析(KPCA) 0.9335
高斯内核支持向量域描述(SVDD) 0.9385
本发明方法 0.9662
由表2可见,仿真实验2的四种方法中,本发明方法的AUC指标值最高,为0.9662,对应的拒判性能最好,因此本发明中目标识别方法的拒判性能显著优于其他三种方法。
仿真实验3是采用本发明中的方法,对仿真条件中所述的数据库内3类飞机的高分辨距离像测试样本与数据库外卡车的高分辨距离像测试样本,进行目标识别与拒判。通过改变卷积神经网络的可调节代价函数的权重因子λ,分别计算本发明方法的目标识别准确率与目标拒判准确率,所述的目标识别准确率为目标识别结果的类别与样本类别相符的测试样本个数与测试样本总数的比值,所述的目标拒判准确率为被拒判的测试样本个数与数据库外测试样本总数的比值,由此得到目标识别准确率曲线与标识别准确率曲线,如图3所示。图3中横坐标表示权重因子λ的取值,分别为10的-7次幂,10的-6次幂,…,10的2次幂,纵坐标表示准确率的取值。图3中,以星号标示的曲线表示采用本发明方法得到的目标拒判准确率曲线图,以圆圈标示的曲线表示采用本发明的方法得到的目标识别准确率曲线图。
由图3可见,本发明方法可以通过改变卷积神经网络的可调节代价函数的权重因子,灵活地调节拒判与识别性能。
通过实验1,可以得出本发明方法的识别性能优于现有技术。通过实验2,可以得出本发明方法的拒判性能优于现有技术。通过实验3,可以得出本发明方法的拒判与识别性能具备可调节性。
综上所述,本发明的仿真实验验证了本发明的正确性,有效性和可靠性。

Claims (8)

1.一种基于卷积神经网络CNN的可拒判雷达高分辨距离像HRRP目标识别方法,其特征在于,通过卷积神经网络,提取雷达HRRP数据时频域特征中的高维特征;通过反卷积神经网络,对高维特征进行重构,根据重构与原始数据的时频域特征之间的误差进行目标识别前的拒判;该方法的步骤包括如下:
(1)获取雷达高分辨距离像HRRP时频域特征数据:
(1a)提取雷达回波在雷达视线上沿着距离维的幅度信息,作为高分辨距离像数据;
(1b)对雷达高分辨距离像数据进行预处理,得到高分辨距离像时频域特征数据;
所述对雷达高分辨距离像数据进行预处理的具体步骤如下:
第1步,按照下式,对雷达高分辨距离像数据进行二范数归一化处理:
Figure FDA0002975742210000011
其中,x1表示二范数归一化处理后的高分辨距离像数据,x表示高分辨距离像数据,||·||2表示求二范数操作;
第2步,按照下式,对二范数归一化处理后的雷达高分辨距离像数据进行重心对齐处理:
x2=I{F(x1)e-j{φ(W)-φ(C)·k}}
其中,x2表示重心对齐后的雷达高分辨距离像数据,I(·)表示逆快速傅里叶变换操作,F(·)表示快速傅里叶变换操作,e(·)表示以自然常数e为底的指数操作,j表示虚数单位符号,φ(W)表示二范数归一化处理后高分辨距离像数据的重心W对应的相位,φ(C)表示二范数归一化处理后高分辨距离像数据的中心C对应的相位,k表示二范数归一化处理后高分辨距离像数据的重心与中心之间的相对距离;
第3步,对重心对齐后的高分辨距离像数据求均值,再用重心对齐后的高分辨距离像数据减去均值,得到均值归一化后的高分辨距离像数据;
第4步,对均值归一化后的雷达高分辨距离像数据进行短时傅里叶变换,得到高分辨距离像时频域特征数据;
(1c)分别为雷达目标数据库内的各个目标类别设置标签值;
(2)选取训练样本集与测试样本集:
从雷达高分辨距离像时频域特征数据中选取包含目标所有方位角域的样本数据,组成训练样本集,将其余数据组成测试样本集;
(3)构建卷积神经网络:
该卷积神经网络包括卷积编码器,反卷积解码器,分类器三部分;
(3a)搭建一个3层的卷积编码器,其结构依次为:第一卷积层→第二卷积层→第三卷积层;将预处理后的高分辨距离像时频域特征数据作为该卷积编码器的输入数据,并设置各层参数;
(3b)搭建一个3层的反卷积解码器,其结构依次为:第一反卷积层→第二反卷积层→第三反卷积层;将卷积编码器第三卷积层输出的特征映射图作为该反卷积解码器的输入数据,并设置各层参数;
(3c)搭建一个分类器,其结构依次为:全连接层→Softmax分类器层;将卷积编码器第三卷积层输出的特征映射图作为该分类器的输入数据,并设置各层参数;
(4)按照下式,设置卷积神经网络的可调节代价函数:
Figure FDA0002975742210000021
其中,E表示卷积神经网络的可调节代价函数,N表示训练样本的总数,Σ表示求和操作,n表示训练样本的序号,Q表示数据库内目标类别的总数,q表示目标类别的序号,t表示目标类别的标签值,t(n)表示第n个训练样本的类别的标签值,In(·)表示以自然常数e为底的对数操作,z表示输入分类器的特征映射图,
Figure FDA0002975742210000022
表示输入分类器的特征映射图z被分类为第q类目标的概率,λ表示用于调节目标识别与拒判比重的权重因子,E0表示反卷积解码器输出的重构后的样本与卷积神经网络的输入样本之间的重构误差;
(5)训练卷积神经网络:
(5a)将从均值为0、方差为0.01的高斯分布中随机采样的数组,作为卷积神经网络每一层的初始权值参数,该采样的数组的数目和维度与卷积神经网络中所有参数数目和维度相等;
(5b)将训练样本集输入到卷积神经网络;
(5c)利用批量梯度下降方法,分别计算卷积神经网络中卷积编码器,反卷积解码器,分类器的每一层的权值参数,得到训练好的卷积神经网络;
(6)获得卷积神经网络的输出结果:
(6a)将测试样本集输入训练好的卷积神经网络,通过卷积编码器提取雷达HRRP数据的时频域特征中的高维特征,得到测试样本的特征映射图;
(6b)将测试样本的特征映射图输入反卷积编码器,通过反卷积神经网络对高维特征进行重构,得到重构后的测试样本;
(6c)将测试样本的特征映射图输入分类器,得到测试样本被判定为雷达数据库内各个目标类别的概率值;
(7)根据重构与原始数据的时频域特征之间的误差进行目标识别前的拒判,判断反卷积解码器输出的重构后的样本与卷积神经网络的输入样本之间的重构误差是否大于门限值,若是,则执行步骤(8),否则,执行步骤(9);
(8)目标拒判:
对测试样本进行拒判,判定该测试样本的类别不在雷达数据库内;
(9)目标识别:
将测试样本最大概率值对应的目标类别作为雷达高分辨距离像样本的类别,得到目标识别结果。
2.根据权利要求1所述的基于卷积神经网络CNN的可拒判雷达高分辨距离像HRRP目标识别方法,其特征在于:步骤(1c)中所述的设置标签值的方法如下:
分别将序号为1的高分辨距离像数据的标签记为d1,序号为2的高分辨距离像数据的标签记为d2、…、将序号为Q的高分辨距离像数据的标签记为dQ,d1取值为1,d2取值为2,…,dQ取值为Q,其中,Q表示数据库内目标类别的总个数。
3.根据权利要求1所述的基于卷积神经网络CNN的可拒判雷达高分辨距离像HRRP目标识别方法,其特征在于:步骤(3a)中所述的卷积编码器的各层参数设置如下:
第1步,将第一卷积层的编号设置为1,将第一卷积层的特征映射图数目设置为128,卷积核尺寸设置为32*6个距离单元,卷积核滑动步长为1个距离单元;该层的池化下采样核尺寸设置为1*2,下采样核滑动步长设置为2个距离单元;
第2步,将第一卷积层的编号设置为2,将第二卷积层的特征映射图数目设置为64,卷积核尺寸设置为1*9个距离单元,卷积核滑动步长为1个距离单元;该层的池化下采样核尺寸设置为1*2个距离单元,下采样核滑动步长设置为2个距离单元;
第3步,将第一卷积层的编号设置为3,将第三卷积层特征映射图数目设置为64,卷积核尺寸设置为1*9个距离单元,卷积核滑动步长为1个距离单元;该层的池化下采样核尺寸设置为1*2个距离单元,下采样核滑动步长设置为2个距离单元。
4.根据权利要求1所述的基于卷积神经网络CNN的可拒判雷达高分辨距离像HRRP目标识别方法,其特征在于:步骤(3b)中所述的反卷积解码器的各层参数设置如下:
第1步,将卷积编码器输出的特征映射图作为输入层的输入数据;
第2步,将第一反卷积层特征映射图数目设置为64,卷积核尺寸设置为1*9个距离单元,卷积核滑动步长为1个距离单元;
第3步,将第二反卷积层特征映射图数目设置为128,卷积核尺寸设置为1*9个距离单元,卷积核滑动步长为1个距离单元;
第4步,将第三反卷积层特征映射图数目设置为128,卷积核尺寸设置为32*6个距离单元,卷积核滑动步长为1个距离单元。
5.根据权利要求1所述的基于卷积神经网络CNN的可拒判雷达高分辨距离像HRRP目标识别方法,其特征在于:步骤(3c)中所述的分类器的各层参数设置如下:
第1步,将卷积编码器输出的特征映射图作为输入层的输入数据;
第2步,将全连接层的特征映射图数目设置为64。
6.根据权利要求1所述的基于卷积神经网络CNN的可拒判雷达高分辨距离像HRRP目标识别方法,其特征在于:步骤(4)中所述的反卷积解码器输出的重构后的样本与卷积神经网络的输入样本之间的重构误差的公式如下:
Figure FDA0002975742210000051
其中,E0表示反卷积解码器输出的重构后的样本与卷积神经网络的输入样本之间的重构误差,h表示反卷积解码器输出的特征映射图,h(n)表示第n个训练样本经过反卷积解码器输出的特征映射图。
7.根据权利要求1所述的基于卷积神经网络CNN的可拒判雷达高分辨距离像HRRP目标识别方法,其特征在于:步骤(5c)中所述批量梯度下降方法的具体步骤如下:
第1步,按照下式,计算卷积神经网络中每一层的激活值:
al=f(Wl·al-1+bl-1)
其中,l表示卷积神经网络中第l层,al表示卷积神经网络中第l层的激活值,f(·)表示激活函数,Wl表示卷积神经网络中第l层的权值,l-1表示卷积神经网络中第l层的前一个输入层,al-1表示卷积神经网络中第l层的前一个输入层的激活值,bl-1表示卷积神经网络中第l层的前一个输入层的偏置项;
第2步,按照下式,计算卷积神经网络中每一层的残差:
δl=(∑(Wl·δl+1))·f'(Wl-1·al-1)
其中,δl表示卷积神经网络中第l层的残差,l+1表示卷积神经网络中第l层的后一个输出层,δl+1表示卷积神经网络中第l层的后一个输出层的残差,f'(·)表示激活函数的导数,Wl-1表示卷积神经网络中第l层的前一个输入层的权值,al-1表示卷积神经网络中第l层的前一个输入层的激活值;
第3步,按照下式,计算卷积神经网络中每一层可调价代价函数关于权值与偏置项的偏导数:
Figure FDA0002975742210000061
Figure FDA0002975742210000062
其中,
Figure FDA0002975742210000063
表示求偏导操作,
Figure FDA0002975742210000064
表示对卷积神经网络中第l层的可调价代价函数E关于权值W的偏导数,
Figure FDA0002975742210000065
表示对卷积神经网络第l层的可调价代价函数E关于偏置项b的偏导数;
第4步,按照下式,计算更新后的卷积神经网络中每一层权值与偏置项的偏差值:
Figure FDA0002975742210000066
Figure FDA0002975742210000067
其中,:=表示更新赋值操作,ΔWl表示第l层权值的偏差值,Δbl表示第l层偏差项的偏差值
第5步,按照下式,计算更新后的卷积神经网络中每一层的权值与偏置项:
Wl:=Wl-α[m(ΔWl)+Wl]
bl:=bl-α[m(Δbl)]
其中,α表示学习速率,m(·)表示对卷积神经网络中一层所有节点参数求均值的操作。
8.根据权利要求1所述的基于卷积神经网络CNN的可拒判雷达高分辨距离像HRRP目标识别方法,其特征在于:步骤(7)中所述门限值的公式如下:
T=S[M·r]
其中,T表示门限值,M表示所有训练样本的个数,r表示雷达高分辨距离像目标识别的虚警率,S表示对所有训练样本对应的重构误差从小到大排序后的数组,S[M·r]表示数组S的第M·r个元素的值。
CN201810922087.6A 2018-08-14 2018-08-14 基于cnn的可拒判雷达hrrp目标识别方法 Active CN109376574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810922087.6A CN109376574B (zh) 2018-08-14 2018-08-14 基于cnn的可拒判雷达hrrp目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810922087.6A CN109376574B (zh) 2018-08-14 2018-08-14 基于cnn的可拒判雷达hrrp目标识别方法

Publications (2)

Publication Number Publication Date
CN109376574A CN109376574A (zh) 2019-02-22
CN109376574B true CN109376574B (zh) 2021-05-14

Family

ID=65404499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810922087.6A Active CN109376574B (zh) 2018-08-14 2018-08-14 基于cnn的可拒判雷达hrrp目标识别方法

Country Status (1)

Country Link
CN (1) CN109376574B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977871B (zh) * 2019-03-27 2021-01-29 中国人民解放军战略支援部队航天工程大学 一种基于宽带雷达数据和gru神经网络的卫星目标识别方法
CN110018461B (zh) * 2019-04-16 2023-03-24 西安电子工程研究所 基于高分辨距离像和单脉冲测角的群目标识别方法
CN110033043B (zh) * 2019-04-16 2020-11-10 杭州电子科技大学 基于条件生成式对抗网络的雷达一维距离像拒判方法
CN110688957B (zh) * 2019-09-27 2023-06-30 腾讯科技(深圳)有限公司 应用于人脸识别的活体检测方法、装置及存储介质
CN110969121A (zh) * 2019-11-29 2020-04-07 长沙理工大学 一种基于深度学习的高分辨率雷达目标识别算法
CN111273288B (zh) * 2020-03-06 2022-05-24 电子科技大学 一种基于长短期记忆网络的雷达未知目标识别方法
CN112990279B (zh) * 2021-02-26 2021-11-30 西安电子科技大学 基于自动编码器的雷达高分辨距离像库外目标拒判方法
CN113109780B (zh) * 2021-03-02 2022-08-05 西安电子科技大学 基于复数密集连接神经网络的高分辨距离像目标识别方法
CN112904299B (zh) * 2021-03-03 2023-06-30 西安电子科技大学 基于深层类内分裂的雷达高分辨距离像开集目标识别方法
CN113126052A (zh) * 2021-03-08 2021-07-16 西安电子科技大学 基于逐级分段训练的高分辨距离像目标识别在线建库方法
CN112686896B (zh) * 2021-03-12 2021-07-06 苏州鼎纳自动化技术有限公司 基于分割网络的频域空间结合的玻璃缺陷检测方法
CN112946600B (zh) * 2021-03-17 2022-03-04 西安电子科技大学 基于wgan-gp的雷达hrrp数据库构建方法
CN112784930B (zh) * 2021-03-17 2022-03-04 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
CN112884084A (zh) * 2021-04-02 2021-06-01 湖南国天电子科技有限公司 一种雷达目标分类方法、装置、设备及可读存储介质
CN112966667B (zh) * 2021-04-06 2022-12-16 中国人民解放军海军航空大学 海面目标一维距离像降噪卷积神经网络识别方法
CN113239959B (zh) * 2021-04-09 2024-02-20 西安电子科技大学 基于解耦表征变分自编码机的雷达hrrp目标识别方法
CN113240081B (zh) * 2021-05-06 2022-03-22 西安电子科技大学 针对雷达载频变换的高分辨距离像目标稳健识别方法
CN113393932B (zh) * 2021-07-06 2022-11-25 重庆大学 一种帕金森病语音样本段多类型重构变换方法
CN114137518B (zh) * 2021-10-14 2024-07-12 西安电子科技大学 一种雷达高分辨距离像开集识别方法及装置
CN116720122B (zh) * 2023-08-10 2023-10-31 清华大学 基于多站频率捷变雷达的气动目标分类方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105116397A (zh) * 2015-08-25 2015-12-02 西安电子科技大学 基于mmfa模型的雷达高分辨率距离像目标识别方法
KR20160038464A (ko) * 2014-09-30 2016-04-07 국방과학연구소 고해상도 거리 측면도와 역합성 개구면 레이더 영상의 융합을 통한 표적 식별 방법 및 그 장치
CN107194433A (zh) * 2017-06-14 2017-09-22 电子科技大学 一种基于深度自编码网络的雷达一维距离像目标识别方法
CN107219510A (zh) * 2017-05-18 2017-09-29 西安电子科技大学 基于无限最大间隔线性判别投影模型的雷达目标识别方法
CN107728142A (zh) * 2017-09-18 2018-02-23 西安电子科技大学 基于二维卷积网络的雷达高分辨距离像目标识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160038464A (ko) * 2014-09-30 2016-04-07 국방과학연구소 고해상도 거리 측면도와 역합성 개구면 레이더 영상의 융합을 통한 표적 식별 방법 및 그 장치
CN105116397A (zh) * 2015-08-25 2015-12-02 西安电子科技大学 基于mmfa模型的雷达高分辨率距离像目标识别方法
CN107219510A (zh) * 2017-05-18 2017-09-29 西安电子科技大学 基于无限最大间隔线性判别投影模型的雷达目标识别方法
CN107194433A (zh) * 2017-06-14 2017-09-22 电子科技大学 一种基于深度自编码网络的雷达一维距离像目标识别方法
CN107728142A (zh) * 2017-09-18 2018-02-23 西安电子科技大学 基于二维卷积网络的雷达高分辨距离像目标识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep learning for HRRP-based target recognition in multistatic radar systems;Jarmo Lundén等;《2016 IEEE Radar Conference (RadarConf)》;20160609;第1-6页 *
Radar HRRP Target Recognition with Deep Networks;Bo Feng等;《Pattern Recognition》;20170131;第61卷;第379-393页 *
基于注意循环神经网络模型的雷达高分辨率距离像目标识别;徐彬等;《电子与信息学报》;20161231;第38卷(第12期);第2588-2995页 *
雷达HRRP自动目标识别算法;罗金玲等;《计算机与信息技术》;20101231;第48-50页 *

Also Published As

Publication number Publication date
CN109376574A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109376574B (zh) 基于cnn的可拒判雷达hrrp目标识别方法
CN107728142B (zh) 基于二维卷积网络的雷达高分辨距离像目标识别方法
CN110334741B (zh) 基于循环神经网络的雷达一维距离像识别方法
CN101908138B (zh) 基于噪声独立成分分析的合成孔径雷达图像目标识别方法
CN107728143B (zh) 基于一维卷积神经网络的雷达高分辨距离像目标识别方法
CN108764310B (zh) 基于多尺度多特征深度森林的sar目标识别方法
CN112784930B (zh) 基于cacgan的hrrp识别数据库样本扩充方法
CN112904299B (zh) 基于深层类内分裂的雷达高分辨距离像开集目标识别方法
CN105913081B (zh) 基于改进的PCAnet的SAR图像分类方法
CN108447057A (zh) 基于显著性和深度卷积网络的sar图像变化检测方法
CN112149524A (zh) 一种雷达信号分选识别方法、装置、探测器及存储介质
CN113239959B (zh) 基于解耦表征变分自编码机的雷达hrrp目标识别方法
CN116862878A (zh) 一种高反光胶水缺陷检测方法
CN105469060A (zh) 一种基于紧致性测度加权的舰船类型识别方法
CN110161480A (zh) 基于半监督深度概率模型的雷达目标识别方法
CN112946600B (zh) 基于wgan-gp的雷达hrrp数据库构建方法
CN118151119A (zh) 一种面向检索任务的毫米波雷达开集步态识别方法
CN112329798A (zh) 一种基于优化视觉词袋模型的图像场景分类方法
CN116894952A (zh) 一种基于复合采样集成的多类不平衡hrrp目标识别方法
CN112990279B (zh) 基于自动编码器的雷达高分辨距离像库外目标拒判方法
CN105373809B (zh) 基于非负最小二乘稀疏表示的sar目标识别方法
CN115205602A (zh) 基于最优传输距离函数的零样本sar目标识别方法
CN114818845A (zh) 一种噪声稳健的高分辨距离像特征选择方法
CN110135280B (zh) 一种基于稀疏表征分类的多视图sar自动目标识别方法
CN113673554B (zh) 一种基于宽度学习的雷达高分辨距离像目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant