CN110188628A - 一种基于深度学习模型的rd图像舰船目标识别方法 - Google Patents
一种基于深度学习模型的rd图像舰船目标识别方法 Download PDFInfo
- Publication number
- CN110188628A CN110188628A CN201910394049.2A CN201910394049A CN110188628A CN 110188628 A CN110188628 A CN 110188628A CN 201910394049 A CN201910394049 A CN 201910394049A CN 110188628 A CN110188628 A CN 110188628A
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- ssd
- loss
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习SSD模型的雷达RD图像舰船目标智能检测识别方法,首先构建RD图像舰船目标智能检测识别系统,所构建的系统包括:训练数据获取与标定模块、深度学习SSD识别算法搭建模块、适应RD图像的SSD算法优化模块,通过训练数据获取与标定模块,获取深度学习线下训练的大量舰船目标与干扰数据,并进行类型标定,深度学习SSD识别算法搭建模块根据已标定实验数据构建深度学习目标检测识别中的SSD网络模型,适应RD图像的SSD算法优化模块针对雷达RD图像的典型特征,对SSD网络结构进行参数调整、残差网络替代、迁移学习优化设计。本方法在识别概率与虚警概率上较传统识别算法均有较大提高,为复杂环境下海面舰船检测识别问题提供新的方案。
Description
技术领域
本发明涉及一种目标识别方法,特别是一种雷达RD图像舰船目标智能检测识别方法。
背景技术
目前雷达目标技术包括高分辨率目标一维距离像(HRRP)、SAR图像识别等内容。对海面高速运动的飞行器来说,雷达和目标的相对运动关系复杂,不仅包括飞行器的高机动,还包括完全未知的舰船目标运动状态,且会受到海情影响,这将导致成像结果出现距离向展宽和方位散焦,因此,距离—多普勒(Range-Doppler,RD)二维像常被用来作为飞行器雷达目标识别的重要数据来源。RD图像是相参雷达在探测海面运动目标时,对多个脉冲信号进行相参处理以获得的探测目标图像。传统的雷达目标识别算法首先对RD图像进行恒虚警检测处理;然后对舰船目标、杂波、岛屿、无源干扰等所占据的多个独立单元进行聚类处理;最后提取不同种类之间的目标有效特征,并进行目标分类识别。
在过去几年中,由深度学习研究发展延伸出来的人工智能技术,对各领域的信息处理技术都形成了不小的冲击,例如在光学图像处理中,深度学习很好地解决了图像特征自动提取的问题,在目标检测、分类与识别的各项任务中显示出卓越的性能。目前国内外将深度学习用于雷达图像处理的研究才刚刚起步,未来的飞行器希望利用深度学习技术,通过对目标、环境和干扰等特性的深入研究,深层次挖掘目标、欺骗式干扰在多维度上的微小差异,完成对复杂环境下海面舰船目标的智能识别。
发明内容
本发明目的在于提供雷达RD图像舰船目标智能检测识别方法,解决在复杂海面干扰环境下,现有的雷达无法对舰船目标进行准确识别的问题。
有鉴于此,本发明提供一种雷达RD图像舰船目标智能检测识别方法,其特征在于,其步骤为:第一步,获取与自动标定距离-多普勒(RD)图像训练数据,其获取深度学习线下训练的大量舰船目标与干扰数据,并进行类型标定;第二步,搭建深度学习SSD识别模型,其根据已标定的实验数据,构建深度学习目标检测识别中的SSD网络模型;第三步,优化适应RD图像的SSD算法,针对雷达RD图像的典型特征,对SSD网络结构进行参数调整。
本发明实现了以下显著的有益效果:
将深度学习技术用于雷达图像处理中,通过对目标、环境和干扰等特性的深入研究,深层次挖掘目标、欺骗式干扰在多维度上的微小差异,完成对复杂环境下海面舰船目标的智能识别,在提高目标识别率的同时降低检测虚警概率。
附图说明
图1是RD图像舰船目标智能检测识别系统框图。
具体实施方式
以下结合附图对本发明的具体实施方式做出详细说明。请参照图1,本发明的一种雷达RD图像舰船目标智能检测识别方法,包括:训练数据获取与标定、深度学习SSD识别算法搭建、适应RD图像的SSD算法优化,并给出识别结果。
本发明的一种雷达RD图像舰船目标智能检测识别方法的具体步骤为:
第一步构建RD图像舰船目标智能检测识别系统
RD图像舰船目标智能检测识别系统包括:训练数据获取与标定模块、深度学习SSD识别算法搭建模块、适应RD图像的SSD算法优化模块。
训练数据获取与标定模块的功能为:获取深度学习线下训练的大量舰船目标与干扰数据,并进行类型标定。
深度学习SSD识别模型搭建模块的功能为:根据已标定的实验数据,构建深度学习目标检测识别中的SSD网络模型。
适应RD图像的SSD算法优化模块的功能为:针对雷达RD图像的典型特征,对SSD网络结构进行参数优化设计。
第二步距离-多普勒图像训练数据获取与自动标定
实现实验数据的自动标定,先将回波数据通过脉压、相参积累等处理方式转化为包含目标时域、频域信息的RD图像数据,然后对于目标、干扰确定目标名称、中心点位置、长度、宽度以实现多幅图像的自动标定,对于运动目标则需要设定速度选项以实现自动标定。
第三步深度学习SSD识别模型搭建
SSD采用特征金字塔结构进行检测,它将检测转化为回归的思路,一次即可完成网络训练;算法采用了与于Faster RCNN中的锚点(anchor)机制相似的预置框(prior box),检测时在多个特征图上同时进行柔性最大值(softmax)分类和位置回归,算法的训练过程如下:
(1)构建损失函数(loss)
SSD的loss分为了置信损失(confidence loss)和定位损失(location loss)两部分,其中N是匹配到真实值(Ground Truth)的预置框数量,其中x可以写成代表第i个预置框与类别p的第j个真框相匹配的系数,c表示置信度,l表示预置框,g表示真框;α参数用于调整置信损失和定位损失之间的比例;SSD中的置信损失是典型的柔性最大值损失,即
其中代表第i个预置框匹配到了第j个类别为p的真框;表示第i个预置框是p类别的置信度,Pos表示正样本,Neg表示负样本。而定位损失是平滑的L1损失(smooth L1loss),即
其中其中(cx,cy,w,h)表示边框的左上角点x,y坐标,长,宽;表示真框,表示预置框,表示预测框与相对的默认框的偏移量。平滑L1损失函数为
(2)选择匹配策略
在训练时,真实框与默认框按照如下方式进行配对:
(a)首先,寻找与每一个真实框有最大的jaccard overlap的默认框,以保证每一个真实框与唯一的一个默认框对应起来,其中jaccard overlap表示交并比,即
A表示真实框,B表示默认框。
(b)之后将剩余还没有配对的默认框与任意一个真实框尝试配对,只要两者之间的jaccard overlap大于阈值,就认为配对,其中设置阈值为0.5。
第四步适应RD图像的SSD算法优化
(1)数据预处理
取相参积累后回波的幅度信息,忽略相位信息,并将幅度信息进行8比特量化,动态范围为0-255,对应到SSD网络中,将代表RGB的彩色图像转化为灰度图像进行处理,其图像的灰度值为幅度信息的量化结果;
(2)基于RD图的SSD网络结构调整
根据RD图像的尺寸对SSD网络的预置框进行修改,预置框就是一些目标的预选框,后续通过柔性最大值分类和边框回归获得真实目标的位置;算法以特征图上每个点的中点为中心,生成一些列同心的预置框,然后中心点的坐标会乘以步长,相当于从特征图位置映射回原图位置;每个特征图会设置两个参数min_size和max_size用于生成预置框,公式如下
求得的sk与两个参数对应,第一层特征图对应的min_size=s1,max_size=s2,第二层min_size=s2,max_size=s3,其他类推。其中smin和smax分别设为0.2和0.9,分别表示最底层和最高层尺度,中间层尺度用于均匀间隔,m是使用特征图的数量值为6。
算法会生成正方形和长方形两种预置框,正方形预置框的最小边长设为min_size,最大边长设为每个特征图上设置一个纵横比(aspectratio),会生成2个长宽为和的长方形,纵横比用ar表示,通常采用五种尺度,ar={1,2,3,1/2,1/3}。
针对RD图像的特点,通常距离维数据长度要远远多于多普勒维数据,因此生成的RD图多为瘦长的长方形,则按照原始尺度的纵横比生成的预置框不适用于RD图像。因此,针对RD图像的舰船智能化识别,对生成长方形的纵横比ar进行调整,将比例参数设置为4以便生成的边框能够更好包含目标图像,从而获得较高的检测精度。
至此,完成雷达RD图像舰船目标智能检测。
本发明实现了以下显著的有益效果:
将深度学习技术用于雷达图像处理中,通过对目标、环境和干扰等特性的深入研究,深层次挖掘目标、欺骗式干扰在多维度上的微小差异,完成对复杂环境下海面舰船目标的智能识别,在提高目标识别率的同时降低检测虚警概率。
Claims (5)
1.一种雷达RD图像舰船目标智能检测识别方法,其特征在于,其步骤为:
第一步,获取与自动标定距离-多普勒RD图像训练数据,其获取深度学习线下训练的大量舰船目标与干扰数据,并进行类型标定;
第二步,搭建深度学习SSD识别模型,其根据已标定的实验数据,构建深度学习目标检测识别中的SSD网络模型;
第三步,优化适应RD图像的SSD算法,针对雷达RD图像的典型特征,对SSD网络结构进行参数调整。
2.根据权利要求1所述的方法,其特征在于,
第一步,距离-多普勒图像训练数据获取与自动标定包括:实现实验数据的自动标定,先将回波数据通过脉压、相参积累等处理方式转化为包含目标时域、频域信息的RD图像数据,然后对于目标、干扰确定目标名称、中心点位置、长度、宽度以实现多幅图像的自动标定,对于运动目标则需要设定速度选项以实现自动标定。
3.根据权利要求2所述的方法,其特征在于,
第二步,搭建深度学习SSD识别模型包括:
SSD采用特征金字塔结构进行检测,它将检测转化为回归的思路,一次即可完成网络训练;算法采用了与于Faster RCNN中的锚点anchor机制相似的预置框prior box,检测时在多个特征图上同时进行柔性最大值softmax分类和位置回归,算法的训练过程如下:
(1)构建损失函数loss
SSD的loss分为了置信损失confidence loss和定位损失location loss两部分,其中N是匹配到真实值Ground Truth的预置框数量,其中x写成代表第i个预置框与类别p的第j个真框相匹配的系数,c表示置信度,l表示预置框,g表示真框;α参数用于调整置信损失和定位损失之间的比例;SSD中的置信损失是典型的柔性最大值损失,即
其中代表第i个预置框匹配到了第j个类别为p的真框;表示第i个预置框是p类别的置信度,Pos表示正样本,Neg表示负样本;而定位损失是平滑的L1损失smooth L1 loss,即
其中其中(cx,cy,w,h)表示边框的左上角点x,y坐标,长,宽;表示真框,表示预置框,表示预测框与相对的默认框的偏移量;平滑L1损失函数为
(2)选择匹配策略
在训练时,真实框与默认框按照如下方式进行配对:
(a)首先,寻找与每一个真实框有最大的jaccard overlap的默认框,以保证每一个真实框与唯一的一个默认框对应起来,其中jaccard overlap表示交并比,即
A表示真实框,B表示默认框;
(b)之后将剩余还没有配对的默认框与任意一个真实框尝试配对,只要两者之间的jaccard overlap大于阈值,就认为配对,其中设置阈值为0.5。
4.根据权利要求3所述的方法,其特征在于,
第三步适应RD图像的SSD算法优化
(1)数据预处理
取相参积累后回波的幅度信息,忽略相位信息,并将幅度信息进行8比特量化,动态范围为0-255,对应到SSD网络中,将代表RGB的彩色图像转化为灰度图像进行处理,其图像的灰度值为幅度信息的量化结果;
(2)基于RD图的SSD网络结构调整
根据RD图像的尺寸对SSD网络的预置框进行修改,预置框就是一些目标的预选框,后续通过柔性最大值分类和边框回归获得真实目标的位置;算法以特征图上每个点的中点为中心,生成一些列同心的预置框,然后中心点的坐标会乘以步长,相当于从特征图位置映射回原图位置;每个特征图会设置两个参数min_size和max_size用于生成预置框,公式如下
求得的sk与两个参数对应,第一层特征图对应的min_size=s1,max_size=s2,第二层min_size=s2,max_size=s3,其他类推;其中smin和smax分别设为0.2和0.9,分别表示最底层和最高层尺度,中间层尺度用于均匀间隔,m是使用特征图的数量值为6;
算法会生成正方形和长方形两种预置框,正方形预置框的最小边长设为min_size,最大边长设为每个特征图上设置一个纵横比aspect ratio,会生成2个长宽为和的长方形,纵横比用ar表示,通常采用五种尺度,ar={1,2,3,1/2,1/3}。
5.根据权利要求4所述的方法,其特征在于,
针对RD图像的舰船智能化识别,对生成长方形的纵横比ar进行调整,将比例参数设置为4以便生成的边框能够包含目标图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910394049.2A CN110188628A (zh) | 2019-05-13 | 2019-05-13 | 一种基于深度学习模型的rd图像舰船目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910394049.2A CN110188628A (zh) | 2019-05-13 | 2019-05-13 | 一种基于深度学习模型的rd图像舰船目标识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110188628A true CN110188628A (zh) | 2019-08-30 |
Family
ID=67716076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910394049.2A Pending CN110188628A (zh) | 2019-05-13 | 2019-05-13 | 一种基于深度学习模型的rd图像舰船目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110188628A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826514A (zh) * | 2019-11-13 | 2020-02-21 | 国网青海省电力公司海东供电公司 | 一种基于深度学习的施工现场违章智能识别方法 |
CN111045008A (zh) * | 2020-01-15 | 2020-04-21 | 深圳市华讯方舟微电子科技有限公司 | 基于展宽计算的车载毫米波雷达目标识别方法 |
CN111259808A (zh) * | 2020-01-17 | 2020-06-09 | 北京工业大学 | 一种基于改进ssd算法的交通标识的检测识别方法 |
CN112686887A (zh) * | 2021-01-27 | 2021-04-20 | 上海电气集团股份有限公司 | 混凝土表面裂纹的检测方法、系统、设备和介质 |
CN112711995A (zh) * | 2020-12-22 | 2021-04-27 | 中南大学 | 一种基于图像的海上目标识别方法 |
CN112750427A (zh) * | 2020-07-31 | 2021-05-04 | 清华大学深圳国际研究生院 | 一种图像处理方法、装置及存储介质 |
CN113239827A (zh) * | 2021-05-19 | 2021-08-10 | 平安科技(深圳)有限公司 | 基于深度学习的智能防撞方法、系统、设备及存储介质 |
CN113486898A (zh) * | 2021-07-08 | 2021-10-08 | 西安电子科技大学 | 一种基于改进ShuffleNet的雷达信号RD图像干扰辨识方法及系统 |
CN114708257A (zh) * | 2022-05-18 | 2022-07-05 | 中国科学院空天信息创新研究院 | Sar运动舰船目标检测方法及装置 |
CN116363435A (zh) * | 2023-04-03 | 2023-06-30 | 盐城工学院 | 一种基于深度学习的遥感图像目标检测系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105866775A (zh) * | 2016-03-28 | 2016-08-17 | 南京信息工程大学 | 一种基于全极化合成孔径雷达图像的海面溢油检测方法 |
CN107085733A (zh) * | 2017-05-15 | 2017-08-22 | 山东工商学院 | 基于cnn深度学习的近岸红外舰船识别方法 |
CN107728115A (zh) * | 2017-09-11 | 2018-02-23 | 电子科技大学 | 一种雷达目标成像后基于svm的背景干扰抑制方法 |
CN108197582A (zh) * | 2018-01-10 | 2018-06-22 | 武汉理工大学 | 基于深度学习的海事雷达图像处理方法 |
-
2019
- 2019-05-13 CN CN201910394049.2A patent/CN110188628A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105866775A (zh) * | 2016-03-28 | 2016-08-17 | 南京信息工程大学 | 一种基于全极化合成孔径雷达图像的海面溢油检测方法 |
CN107085733A (zh) * | 2017-05-15 | 2017-08-22 | 山东工商学院 | 基于cnn深度学习的近岸红外舰船识别方法 |
CN107728115A (zh) * | 2017-09-11 | 2018-02-23 | 电子科技大学 | 一种雷达目标成像后基于svm的背景干扰抑制方法 |
CN108197582A (zh) * | 2018-01-10 | 2018-06-22 | 武汉理工大学 | 基于深度学习的海事雷达图像处理方法 |
Non-Patent Citations (1)
Title |
---|
WEI LIU等: "SSD: Single Shot MultiBox Detector", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826514A (zh) * | 2019-11-13 | 2020-02-21 | 国网青海省电力公司海东供电公司 | 一种基于深度学习的施工现场违章智能识别方法 |
CN111045008A (zh) * | 2020-01-15 | 2020-04-21 | 深圳市华讯方舟微电子科技有限公司 | 基于展宽计算的车载毫米波雷达目标识别方法 |
CN111259808A (zh) * | 2020-01-17 | 2020-06-09 | 北京工业大学 | 一种基于改进ssd算法的交通标识的检测识别方法 |
CN112750427B (zh) * | 2020-07-31 | 2024-02-27 | 清华大学深圳国际研究生院 | 一种图像处理方法、装置及存储介质 |
CN112750427A (zh) * | 2020-07-31 | 2021-05-04 | 清华大学深圳国际研究生院 | 一种图像处理方法、装置及存储介质 |
CN112711995A (zh) * | 2020-12-22 | 2021-04-27 | 中南大学 | 一种基于图像的海上目标识别方法 |
CN112686887A (zh) * | 2021-01-27 | 2021-04-20 | 上海电气集团股份有限公司 | 混凝土表面裂纹的检测方法、系统、设备和介质 |
CN113239827A (zh) * | 2021-05-19 | 2021-08-10 | 平安科技(深圳)有限公司 | 基于深度学习的智能防撞方法、系统、设备及存储介质 |
CN113486898A (zh) * | 2021-07-08 | 2021-10-08 | 西安电子科技大学 | 一种基于改进ShuffleNet的雷达信号RD图像干扰辨识方法及系统 |
CN113486898B (zh) * | 2021-07-08 | 2024-05-31 | 西安电子科技大学 | 一种基于改进ShuffleNet的雷达信号RD图像干扰辨识方法及系统 |
CN114708257A (zh) * | 2022-05-18 | 2022-07-05 | 中国科学院空天信息创新研究院 | Sar运动舰船目标检测方法及装置 |
CN114708257B (zh) * | 2022-05-18 | 2022-08-16 | 中国科学院空天信息创新研究院 | Sar运动舰船目标检测方法及装置 |
CN116363435A (zh) * | 2023-04-03 | 2023-06-30 | 盐城工学院 | 一种基于深度学习的遥感图像目标检测系统及方法 |
CN116363435B (zh) * | 2023-04-03 | 2023-10-27 | 盐城工学院 | 一种基于深度学习的遥感图像目标检测系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110188628A (zh) | 一种基于深度学习模型的rd图像舰船目标识别方法 | |
CN108229404B (zh) | 一种基于深度学习的雷达回波信号目标识别方法 | |
CN108052940A (zh) | 基于深度学习的sar遥感图像水面目标检测方法 | |
Ji et al. | Seabed sediment classification using multibeam backscatter data based on the selecting optimal random forest model | |
CN108307767B (zh) | 适用于全自动除草机的障碍物检测避障系统及方法 | |
Zhu et al. | Projection shape template-based ship target recognition in TerraSAR-X images | |
CN103743452B (zh) | 非接触式液位测量系统 | |
CN108520511A (zh) | 一种基于鱼探仪的水下鱼类目标探测与识别方法 | |
CN103824093B (zh) | 一种基于kfda及svm的sar图像目标特征提取与识别方法 | |
CN110348356A (zh) | 一种基于深度光流网络的连续帧rd图像目标识别方法 | |
Zhou et al. | Adaptive model for the water depth bias correction of bathymetric LiDAR point cloud data | |
CN111709386B (zh) | 一种水下浅地层剖面图像底质分类方法及系统 | |
CN110161478B (zh) | 一种基于杂波功率谱密度自优化的波形设计方法 | |
CN112949380B (zh) | 一种基于激光雷达点云数据的智能水下目标识别系统 | |
CN107729926A (zh) | 一种基于高维空间变换的数据扩增方法、机器识别系统 | |
WO2019220474A1 (en) | Apparatus and method to classify full waveform data from retro-flected signals | |
CN108872982A (zh) | 雷达目标rcs近远场转换中多次散射特征的提取与校正处理方法 | |
CN111505649B (zh) | 一种拖曳式被动阵列声呐低信噪比舰船运动目标检测方法 | |
CN114638830B (zh) | 隧道钢筋识别模型的训练方法及隧道钢筋识别方法 | |
CN112816982A (zh) | 一种雷达目标检测方法 | |
CN116027349A (zh) | 基于激光雷达和侧扫声呐数据融合的珊瑚礁底质分类方法 | |
Wang et al. | An energy spectrum algorithm for wind direction retrieval from X-band marine radar image sequences | |
CN114722900A (zh) | 一种机载雷达测深浅海底质分类方法 | |
CN110059573A (zh) | 基于图像识别的野山参分级检定方法 | |
CN116338628A (zh) | 一种基于学习架构的激光雷达测深方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190830 |
|
RJ01 | Rejection of invention patent application after publication |