CN109886336A - 一种基于舰基图像的目标检测方法及系统 - Google Patents
一种基于舰基图像的目标检测方法及系统 Download PDFInfo
- Publication number
- CN109886336A CN109886336A CN201910129666.XA CN201910129666A CN109886336A CN 109886336 A CN109886336 A CN 109886336A CN 201910129666 A CN201910129666 A CN 201910129666A CN 109886336 A CN109886336 A CN 109886336A
- Authority
- CN
- China
- Prior art keywords
- image
- warship
- object detection
- target
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000003709 image segmentation Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000003064 k means clustering Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于舰基图像的目标检测方法及系统，属于图像处理检测的计算机视觉技术领域。本发明的基于舰基图像的目标检测方法，使用图像聚类法检测出舰基图像的海天线，即海面与天空区域的交界线，区分出大目标与小目标，小目标检测采用图像分割法，大目标检测基于神经网络的目标识别算法。该发明的基于舰基图像的目标检测方法能够实时获取图像范围内的目标信息，并且记录数据库，方便查询过往目标信息，有效的辅助了舰船安全航行驾驶，具有很好的推广应用价值。
Description
技术领域
本发明涉及图像处理检测的计算机视觉技术领域，具体提供一种基于舰基图像的目标检测方法及系统。
背景技术
目标检测技术是当代信息技术的重要研究领域。基于舰基图像目标检测能够实时有效的发现目标，为舰船安全航行提供有效的信息保障。
舰基图像背景主要为大海与蓝天。基于舰基图像的目标检测主要分为两部分：位于海天线上附近的小目标以及在海天线下的大目标。小目标背景为蓝天，背景单一，大目标背景为大海，容易受光、波浪的干扰，需要将目标检测分作大目标和小目标分别检测。以往基于图像的目标检测主要由人完成，该种方法效率较低，并容易出现错误。计算机具有存储信息量大，使用者获取信息方便快捷等优点，受到广泛的应用。伴随着计算机技术的快速发展，尤其是在计算机视觉和人工智能上取得了突破性进展，使得很多本应该由人力完成的工作可以由计算机完成，提高了目标检测的效率及精确性。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够实时获取图像范围内的目标信息，并且记录数据库，方便查询过往目标信息，有效的辅助了舰船安全航行驾驶的基于舰基图像的目标检测方法。
本发明进一步的技术任务是提供一种基于舰基图像的目标检测系统。
为实现上述目的，本发明提供了如下技术方案：
一种基于舰基图像的目标检测方法，该目标检测方法中，使用图像聚类法检测出舰基图像的海天线，即海面与天空区域的交界线，区分出大目标与小目标，小目标检测采用图像分割法，大目标检测基于神经网络的目标识别算法。
该基于舰基图像的目标检测方法，利用RGB图像处理获取信息不受天气影响，能够实时获取图像范围内的目标信息，并且记录数据库，方便查询过往目标信息，有效的辅助了舰船安全航行驾驶。
作为优选，该方法具体包括以下步骤：
S1、获取舰基RGB彩色图像，将舰基彩色图像由RGB颜色空间转为HIS颜色空间；
S2、根据HIS图像信息，计算每个像素点的特征向量，将图像聚类分成两类；
S3、对步骤S2中聚类后的图像进行二值化处理，得到二值图，拟合出海天线；
S4、对海天线上侧及附近的区域使用分割法分割出远处的小目标，并统计目标数量；
S5、对海天线下侧的区域，使用神经网络模型检测大目标，并统计目标数量。
步骤S1中，使用普通摄像头获取舰基RGB彩色图像。舰基图像的海天分割使用的是聚类的方法，为了更好地获取提取区域特征，将舰基彩色图由RGB颜色空间转为HIS颜色空间。
作为优选，步骤S2中，使用K-means聚类算法将图像聚成两类。
作为优选，步骤S2中，HIS图像信息包括图像饱和度、亮度及位置信息。
用色调、饱和度以及亮度信息表示的图像即为HIS颜色空间图像。根据HIS图像色调、饱和度、亮度信息，计算每个像素点的特征向量，使用K-means聚类算法将图像聚成两类。事先确定常数K，常数K意味着最终的聚类类别数。将事先输入的n个数据对象划分为K个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高，这是一种无监督学习过程。
将舰基HSI图像根据海天两种背景分割出两个区域，所以设置K＝2。背景主要分为海天两个区域，适合K＝2的K-means聚类分割。
K-means算法流程如下：假设分为(C1,C2,...,CK)类，目标是最小化平方误差E。
ui是Ci的均值向量，也被成为质心，包含HIS三个维度。K-means的中心思想：不断迭代寻找K个最优质心，直到质心收敛，即找到最优解。相应的将图像聚类分割为两类。
作为优选，步骤S3中，使用Hough变换检测二值图的交界边缘，拟合出海天线。
使用K-means聚类后将图像分割成两类，对分割后的图像进行二值化处理，得到相应二值图。使用Hough变换检测二值图的交界边缘，拟合出一条直线，即海天线。
作为优选，步骤S4中，对海天线上侧及附近的区域使用ISODATA算法聚类分割出远处的小目标。
聚类分割海天图使用的是K-means聚类算法，但是K-means算法有一个缺点，在聚类前必须事先指定聚类的类别个数K。K-means算法适合于分类数目已知的聚类，海天分割适用于K-means算法。对于多目标检测，由于目标的个数是不固定的，该算法不适用于海天线上侧的多目标物体聚类。
对海天线上侧及附近的区域使用ISODATA算法聚类分割出远处的小目标，并统计数量。ISODATA是一种不需要指定聚类个数的非监督学习算法。ISODATA算法加入了一些试探步骤，并且可以结合成人机交互的结构，使其能利用中间结果所取得的经验更好地进行分类。
作为优选，步骤S5中，对海天线下侧的区域，使用TargetDetecNet神经网络模型检测大目标。
对RGB图像海天线下侧的大目的检测，使用本发明提出的TargetDetecNet神经网络模型检测，并统计目标数量。
在使用神经网络TargetDetecNet之前，首先要搜集大量的各种各样的包含各类船只的舰基图片。将这些样本图片中的的舰船标注出来，作为训练TargetDetecNet的训练数据集。
TargetDetecNet网络包含特征提取层、池化层、候选框提取层以及全连接层。
一种基于舰基图像的目标检测系统，包括摄像模块、视频存储模块、计算模块和处理模块，所述摄像模块用于获取舰基RGB彩色图像；视频存储模块用于存储获取的舰基RGB彩色图像；计算模块用于将获取的图像分割成两类，即区分出大目标与小目标；处理模块用于将小目标检测采用图像分割法，大目标检测基于神经网络的目标识别算法。
作为优选，所述摄像模块采用普通摄像机，视屏存储模块采用视频存储设备，计算模块采用高性能计算机。
与现有技术相比，本发明的基于舰基图像的目标检测方法具有以下突出的有益效果：所述基于舰基图像的目标检测方法利用RGB图像处理获取信息不受天气影响，能够实时获取图像范围内的目标信息，并且记录数据库，方便查询过往目标信息，有效的辅助了舰船安全航行驾驶，具有良好的推广应用价值。
附图说明
图1是本发明所述基于舰基图像的目标检测方法的流程图。
具体实施方式
下面将结合附图和实施例，对本发明的基于舰基图像的目标检测方法及系统作进一步详细说明。
实施例
如图1所示，本发明的基于舰基图像的目标检测方法，该目标检测方法中，使用图像聚类法检测出舰基图像的海天线，即海面与天空区域的交界线，区分出大目标与小目标，小目标检测采用图像分割法，大目标检测基于神经网络的目标识别算法。
该方法具体包括以下步骤：
S1、获取舰基RGB彩色图像，将舰基彩色图像由RGB颜色空间转为HIS颜色空间。
该步骤使用普通摄像头获取舰基RGB彩色图像。舰基图像的海天分割使用的是聚类的方法，为了更好地获取提取区域特征，将舰基彩色图由RGB颜色空间转为HIS颜色空间。
S2、根据HIS图像信息，计算每个像素点的特征向量，将图像聚类分成两类。
使用K-means聚类算法将图像聚成两类。
用色调、饱和度以及亮度信息表示的图像即为HIS颜色空间图像。根据HIS图像色调、饱和度、亮度信息，计算每个像素点的特征向量，使用K-means聚类算法将图像聚成两类。事先确定常数K，常数K意味着最终的聚类类别数。将事先输入的n个数据对象划分为K个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高，这是一种无监督学习过程。
将舰基HSI图像根据海天两种背景分割出两个区域，所以设置K＝2。背景主要分为海天两个区域，适合K＝2的K-means聚类分割。
K-means算法流程如下：假设分为(C1,C2,...,CK)类，目标是最小化平方误差E。
ui是Ci的均值向量，也被成为质心，包含HIS三个维度。K-means的中心思想：不断迭代寻找K个最优质心，直到质心收敛，即找到最优解。相应的将图像聚类分割为两类。
S3、对步骤S2中聚类后的图像进行二值化处理，得到二值图，拟合出海天线。
使用K-means聚类后将图像分割成两类，对分割后的图像进行二值化处理，得到相应二值图。使用Hough变换检测二值图的交界边缘，拟合出一条直线，即海天线。
S4、对海天线上侧及附近的区域使用分割法分割出远处的小目标，并统计目标数量。
对海天线上侧及附近的区域使用ISODATA算法聚类分割出远处的小目标。
聚类分割海天图使用的是K-means聚类算法，但是K-means算法有一个缺点，在聚类前必须事先指定聚类的类别个数K。K-means算法适合于分类数目已知的聚类，海天分割适用于K-means算法。对于多目标检测，由于目标的个数是不固定的，该算法不适用于海天线上侧的多目标物体聚类。
对海天线上侧及附近的区域使用ISODATA算法聚类分割出远处的小目标，并统计数量。ISODATA是一种不需要指定聚类个数的非监督学习算法。ISODATA算法加入了一些试探步骤，并且可以结合成人机交互的结构，使其能利用中间结果所取得的经验更好地进行分类。
S5、对海天线下侧的区域，使用神经网络模型检测大目标，并统计目标数量。
对海天线下侧的区域，使用TargetDetecNet神经网络模型检测大目标。
对RGB图像海天线下侧的大目的检测，使用本发明提出的TargetDetecNet神经网络模型检测，并统计目标数量。
在使用神经网络TargetDetecNet之前，首先要搜集大量的各种各样的包含各类船只的舰基图片。将这些样本图片中的的舰船标注出来，作为训练TargetDetecNet的训练数据集。
TargetDetecNet网络包含特征提取层、池化层、候选框提取层以及全连接层。
本发明的基于舰基图像的目标检测系统，包括摄像模块、视频存储模块、计算模块和处理模块，所述摄像模块用于获取舰基RGB彩色图像；视频存储模块用于存储获取的舰基RGB彩色图像；计算模块用于将获取的图像分割成两类，即区分出大目标与小目标；处理模块用于将小目标检测采用图像分割法，大目标检测基于神经网络的目标识别算法。摄像模块采用普通摄像机，视屏存储模块采用视频存储设备，计算模块采用高性能计算机。
该基于舰基图像的目标检测系统实现基于舰基图像的目标检测，目标检测过程中，使用图像聚类法检测出舰基图像的海天线，即海面与天空区域的交界线，区分出大目标与小目标，小目标检测采用图像分割法，大目标检测基于神经网络的目标识别算法。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (9)
1.一种基于舰基图像的目标检测方法，其特征在于：该目标检测方法中，使用图像聚类法检测出舰基图像的海天线，即海面与天空区域的交界线，区分出大目标与小目标，小目标检测采用图像分割法，大目标检测基于神经网络的目标识别算法。
2.根据权利要求1所述的基于舰基图像的目标检测方法，其特征在于：该方法具体包括以下步骤：
S1、获取舰基RGB彩色图像，将舰基彩色图像由RGB颜色空间转为HIS颜色空间；
S2、根据HIS图像信息，计算每个像素点的特征向量，将图像聚类分成两类；
S3、对步骤S2中聚类后的图像进行二值化处理，得到二值图，拟合出海天线；
S4、对海天线上侧及附近的区域使用分割法分割出远处的小目标，并统计目标数量；
S5、对海天线下侧的区域，使用神经网络模型检测大目标，并统计目标数量。
3.根据权利要求2所述的基于舰基图像的目标检测方法，其特征在于：步骤S2中，使用K-means聚类算法将图像聚成两类。
4.根据权利要求3所述的基于舰基图像的目标检测方法，其特征在于：步骤S2中，HIS图像信息包括图像饱和度、亮度及位置信息。
5.根据权利要求4所述的基于舰基图像的目标检测方法，其特征在于：步骤S3中，使用Hough变换检测二值图的交界边缘，拟合出海天线。
6.根据权利要求5所述的基于舰基图像的目标检测方法，其特征在于：步骤S4中，对海天线上侧及附近的区域使用ISODATA算法聚类分割出远处的小目标。
7.根据权利要求6所述的基于舰基图像的目标检测方法，其特征在于：步骤S5中，对海天线下侧的区域，使用TargetDetecNet神经网络模型检测大目标。
8.一种基于舰基图像的目标检测系统，其特征在于：包括摄像模块、视频存储模块、计算模块和处理模块，所述摄像模块用于获取舰基RGB彩色图像；视频存储模块用于存储获取的舰基RGB彩色图像；计算模块用于将获取的图像分割成两类，即区分出大目标与小目标；处理模块用于将小目标检测采用图像分割法，大目标检测基于神经网络的目标识别算法。
9.根据权利要求8所述的基于舰基图像的目标检测系统，其特征在于：所述摄像模块采用普通摄像机，视屏存储模块采用视频存储设备，计算模块采用高性能计算机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910129666.XA CN109886336A (zh) | 2019-02-21 | 2019-02-21 | 一种基于舰基图像的目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910129666.XA CN109886336A (zh) | 2019-02-21 | 2019-02-21 | 一种基于舰基图像的目标检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109886336A true CN109886336A (zh) | 2019-06-14 |
Family
ID=66928676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910129666.XA Pending CN109886336A (zh) | 2019-02-21 | 2019-02-21 | 一种基于舰基图像的目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886336A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298271A (zh) * | 2019-06-17 | 2019-10-01 | 上海大学 | 基于关键点检测网络和空间约束混合模型的海水区域检测方法 |
| CN110705623A (zh) * | 2019-09-26 | 2020-01-17 | 哈尔滨工程大学 | 基于全卷积神经网络的海天线在线检测方法 |
| CN112308836A (zh) * | 2020-11-02 | 2021-02-02 | 创新奇智(上海)科技有限公司 | 角点检测方法、装置、电子设备及可读存储介质 |
| CN113642406A (zh) * | 2021-07-14 | 2021-11-12 | 广州市玄武无线科技股份有限公司 | 密集悬挂纸片的清点系统、方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102998001A (zh) * | 2012-12-18 | 2013-03-27 | 四川九洲电器集团有限责任公司 | 一种目标检测系统 |
| CN103473785A (zh) * | 2013-09-29 | 2013-12-25 | 哈尔滨工业大学 | 一种基于三值化图像聚类的快速多目标分割方法 |
| CN103985127A (zh) * | 2014-05-20 | 2014-08-13 | 成都信息工程学院 | 一种密集恒星背景的弱小目标检测方法及装置 |
| CN105184804A (zh) * | 2015-10-12 | 2015-12-23 | 上海海大技术转移有限公司 | 基于机载红外相机航拍图像的海面小目标检测方法 |
| CN106056581A (zh) * | 2016-05-23 | 2016-10-26 | 北京航空航天大学 | 一种利用改进模糊聚类算法提取红外行人目标的方法 |
| CN106530313A (zh) * | 2016-11-16 | 2017-03-22 | 上海大学 | 一种基于区域分割的海天线实时检测方法 |
| CN106952292A (zh) * | 2017-03-14 | 2017-07-14 | 哈尔滨工程大学 | 基于6自由度场景流聚类的3d运动目标检测方法 |
| CN108198198A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于小波变换和导向滤波的单帧红外小目标检测方法 |
| CN108229342A (zh) * | 2017-12-18 | 2018-06-29 | 西南技术物理研究所 | 一种海面舰船目标自动检测方法 |
-
2019
- 2019-02-21 CN CN201910129666.XA patent/CN109886336A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102998001A (zh) * | 2012-12-18 | 2013-03-27 | 四川九洲电器集团有限责任公司 | 一种目标检测系统 |
| CN103473785A (zh) * | 2013-09-29 | 2013-12-25 | 哈尔滨工业大学 | 一种基于三值化图像聚类的快速多目标分割方法 |
| CN103985127A (zh) * | 2014-05-20 | 2014-08-13 | 成都信息工程学院 | 一种密集恒星背景的弱小目标检测方法及装置 |
| CN105184804A (zh) * | 2015-10-12 | 2015-12-23 | 上海海大技术转移有限公司 | 基于机载红外相机航拍图像的海面小目标检测方法 |
| CN106056581A (zh) * | 2016-05-23 | 2016-10-26 | 北京航空航天大学 | 一种利用改进模糊聚类算法提取红外行人目标的方法 |
| CN106530313A (zh) * | 2016-11-16 | 2017-03-22 | 上海大学 | 一种基于区域分割的海天线实时检测方法 |
| CN106952292A (zh) * | 2017-03-14 | 2017-07-14 | 哈尔滨工程大学 | 基于6自由度场景流聚类的3d运动目标检测方法 |
| CN108229342A (zh) * | 2017-12-18 | 2018-06-29 | 西南技术物理研究所 | 一种海面舰船目标自动检测方法 |
| CN108198198A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于小波变换和导向滤波的单帧红外小目标检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| 吴湘霖等: "基于改进ISODATA的无先验扩展目标聚类分析算法", 《航空兵器》 * |
| 曾钰: "《SAR与光学影像融合的变化信息提取》", 30 June 2015 * |
| 杨爱明: "《水利水电测绘科技论文集2017》", 31 July 2017 * |
| 梅升阳等: "基于海天线引导与卷积神经网络的舰船目标检测", 《计算机与数字工程》 * |
| 魏铼等: "SAR影像海洋表面溢油检测方法与实现", 《遥感技术与应用》 * |
| 龚健雅: "《对地观测数据处理与分析研究进展》", 31 December 2007 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298271A (zh) * | 2019-06-17 | 2019-10-01 | 上海大学 | 基于关键点检测网络和空间约束混合模型的海水区域检测方法 |
| CN110705623A (zh) * | 2019-09-26 | 2020-01-17 | 哈尔滨工程大学 | 基于全卷积神经网络的海天线在线检测方法 |
| CN110705623B (zh) * | 2019-09-26 | 2022-08-02 | 哈尔滨工程大学 | 基于全卷积神经网络的海天线在线检测方法 |
| CN112308836A (zh) * | 2020-11-02 | 2021-02-02 | 创新奇智(上海)科技有限公司 | 角点检测方法、装置、电子设备及可读存储介质 |
| CN112308836B (zh) * | 2020-11-02 | 2022-10-04 | 创新奇智(上海)科技有限公司 | 角点检测方法、装置、电子设备及可读存储介质 |
| CN113642406A (zh) * | 2021-07-14 | 2021-11-12 | 广州市玄武无线科技股份有限公司 | 密集悬挂纸片的清点系统、方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110020651B (zh) | 基于深度学习网络的车牌检测定位方法 | |
| CN109886336A (zh) | 一种基于舰基图像的目标检测方法及系统 | |
| US9934591B2 (en) | Remote determination of quantity stored in containers in geographical region | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN106960446B (zh) | 一种面向无人艇应用的水面目标检测跟踪一体化方法 | |
| CN107610114B (zh) | 基于支持向量机的光学卫星遥感影像云雪雾检测方法 | |
| CN102999918B (zh) | 全景视频序列图像的多目标对象跟踪系统 | |
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
| CN111797653B (zh) | 基于高维图像的图像标注方法和装置 | |
| CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
| CN107392968B (zh) | 融合颜色对比图和颜色空间分布图的图像显著性检测方法 | |
| CN105493141B (zh) | 非结构化道路边界检测 | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| CN109410168A (zh) | 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法 | |
| CN106294705A (zh) | 一种批量遥感影像预处理方法 | |
| CN108629783A (zh) | 基于图像特征密度峰值搜索的图像分割方法、系统及介质 | |
| CN109492525B (zh) | 一种测量基站天线工程参数的方法 | |
| CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| CN106530313A (zh) | 一种基于区域分割的海天线实时检测方法 | |
| CN110992378B (zh) | 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统 | |
| Weyler et al. | In-field phenotyping based on crop leaf and plant instance segmentation | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN106203439B (zh) | 基于标志物多特征融合的无人机自动寻的着陆方法 | |
| CN109886170A (zh) | 一种钉螺智能检测识别与统计系统 | |
| CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |