CN109767444A - 一种基于无人机的裂缝检测方法 - Google Patents
一种基于无人机的裂缝检测方法 Download PDFInfo
- Publication number
- CN109767444A CN109767444A CN201910054361.7A CN201910054361A CN109767444A CN 109767444 A CN109767444 A CN 109767444A CN 201910054361 A CN201910054361 A CN 201910054361A CN 109767444 A CN109767444 A CN 109767444A
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned plane
- value
- convolution kernel
- assignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了一种基于无人机的裂缝检测方法，该方法：步骤S1、无人机通过三轴云台相机获取物体待检测区域的图像；步骤S2、无人机通过图像处理模块对获取的图像进行灰度变换形成灰度图；步骤S3、将灰度图中的相邻两个像素值进行相减，相减后的相邻两个像素值差异小于一预设值的全部赋值为0，相减后的相邻两个像素值差异大于所述预设值的全部赋值为255，并将重新赋值的图像像素存储到一矩阵中；步骤S4、将矩阵中的图像像素以图像的形式展现得到一赋值图像，将赋值图像进行图像腐蚀或者膨胀操作得最终图像；步骤S5、无人机通过无线图传发射机将最终图像发送至远程终端，远程终端通过最终图像来识别是否存在裂缝；本发明提高了设备裂缝的检测效率。
Description
技术领域
本发明涉及无人机设备技术领域，特别是一种基于无人机的裂缝检测方法。
背景技术
现有技术中一些设备长期暴露在潮湿的空气中会产生裂缝，如：起重机或者桥梁；该起重机金属机构材质热处理不当会造成应力集中，在使用吊运载荷过程中应力集中的部位长期承受拉应力是造成该起重机金属机构裂缝的主要原因。间接原因，第一，该设备为露天靠海边作业，空气较为潮湿，腐蚀锈蚀也容易产生裂缝；第二，该设备未设置起重量限制器，作业人员不合理操作比如斜拉、超载使设备处于不合理工作状态也是造成产发裂缝的原因；而该些裂缝要是没及时处理出现安全事故。现有的裂缝检测是进行人为爬上设备检测，或者无人机进行检测，但是现有的无人机仅仅是到待检测的区域进行拍照后直接将照片发送到远程终端，然后人工进行观察图片来检测是否有裂缝存在，这样检测效率并不高。
发明内容
为克服上述问题，本发明的目的是提供一种基于无人机的裂缝检测方法，提高了设备裂缝的检测效率。
本发明采用以下方案实现：一种基于无人机的裂缝检测方法，所述方法包括如下步骤：
步骤S1、无人机上升至需要检测的物体，无人机通过三轴云台相机获取物体待检测区域的图像；
步骤S2、无人机通过图像处理模块对获取的图像进行灰度变换形成灰度图；
步骤S3、将灰度图中的相邻两个像素值进行相减，相减后的相邻两个像素值差异小于一预设值的全部赋值为0，相减后的相邻两个像素值差异大于所述预设值的全部赋值为255，并将重新赋值的图像像素存储到一矩阵中；
步骤S4、将矩阵中的图像像素以图像的形式展现得到一赋值图像，将赋值图像进行图像腐蚀或者膨胀操作得到最终图像；
步骤S5、无人机通过无线图传发射机将最终图像发送至远程终端，远程终端通过最终图像来识别是否存在裂缝。
进一步的，所述步骤S1和S2之间还包括：步骤S10、把获取的图像进行滤波处理来消除孤立的噪声点，所述滤波处理采用中值滤波算法。
进一步的，所述将赋值图像进行图像腐蚀操作得到最终图像，具体为：定义一个卷积核A，所述卷积核A为任何的形状和大小，且卷积核A设置有一参考点；将卷积核A与赋值图像进行卷积，获得卷积核B覆盖区域的像素点最小值；将这个最小值赋值给参考点指定的像素，让图像中的高亮区域逐渐减小来使得图像中的裂缝处更加清晰。
进一步的，所述将赋值图像进行图像膨胀操作得到最终图像，具体为：定义一个卷积核B，所述卷积核B为任何的形状和大小，且卷积核B设置有一参考点；将卷积核B与赋值图像进行卷积，获得卷积核B覆盖区域的像素点最大值；将这个最大值赋值给参考点指定的像素，让图像中的高亮区域逐渐增长来使得图像中的裂缝处加大显示。
进一步的，所述无人机设置有光线传感器，所述无人机通过光线传感器进行自适应避光操作，具体为：无人机的光线传感器在户外不同的时间段获取并记录对应的光度值，为了保证无人机工作的可靠性，取多个光度值中最小值的光度值作为无人机三轴云台相机所处角度为正受太阳直射的光线值；如果，无人机工作时光线传感器获取的光度值大于所述最小值，则无人机旋转一设定的角度来避免三轴云台相机处于太阳光直射下。
本发明的有益效果在于：本发明通过三轴云台相机获取待检测区域的图像序列，无人机的图像处理模块利用序列图像之间的目标运动特性和单幅图像中的目标与背景的差异，来对物体裂缝进行自动检测，即图像处理直接在无人机中进行处理完成后发送至远程终端，远程终端无需人工进行观察图像即可进行识别物体是否存在裂缝，从而提高了工作效率。另外，本专利能自适应光照的变化并躲避强光的直射，从而提高了无人机进行图像获取的可靠性。
附图说明
图1是本发明的方法流程示意图。
图2是本发明实施例中获取的图像示意图。
图3是本发明实施例中图像经过灰度变换后得到的灰度图。
图4是本发明实施例中赋值图像的示意图。
图5是本发明实施例中赋值图像经过图像腐蚀后获得的最终图像。
具体实施方式
下面结合附图对本发明做进一步说明。
请参阅图1至图5所示，本发明提供了一种基于无人机的裂缝检测方法，所述方法包括如下步骤：
步骤S1、无人机上升至需要检测的物体，无人机通过三轴云台相机（如：Gopro三轴云台相机）获取物体待检测区域的图像；
步骤S2、无人机通过图像处理模块对获取的图像进行灰度变换形成灰度图；
步骤S3、将灰度图中的相邻两个像素值进行相减，相减后的相邻两个像素值差异小于一预设值的全部赋值为0，相减后的相邻两个像素值差异大于所述预设值的全部赋值为255，并将重新赋值的图像像素存储到一矩阵中；
如：一实施例：观察图3中的图像可以看出裂缝处的暗度是最暗的，对应的像素值也是最小的并且有着相关的连续性；
通过用相邻两个像素值相减的办法去寻找裂缝的位置
定义一个矩阵（该矩阵长度宽度皆与原图相同）用来储存相邻像素值相减后的值
1. 3. 1. 0. 254. 255. 2. 251. 255. 3. 253. 255. 1. 2.
0. 0. 1. 254. 254. 2. 253. 2. 1. 255. 2. 254. 1. 1.
255. 3. 255. 255. 255. 253. 1. 5. 1. 255. 254. 254. 2. 254.
3. 1. 252. 255. 1. 1. 1. 255. 253. 255. 0. 252. 3. 253.
1. 2. 255. 3. 254. 1. 255. 253. 5. 1. 2. 252. 2. 1.
0. 1. 254. 1. 1. 254. 5. 5. 254. 253. 6. 3. 0. 254.
1. 254. 1. 0. 255. 4. 7. 254. 254. 2. 255. 253. 251. 252.
1. 248. 1. 251. 250. 251. 252. 252. 1. 250. 250. 254. 0. 3.
254. 252. 5. 1. 1. 3. 253. 254. 253. 1. 255. 253. 254. 1.
252. 249. 2. 3. 0. 253. 3. 254. 253. 6. 249. 1. 1. 2.
1. 10. 5. 6. 8. 1. 255. 5. 1. 0. 255. 2. 5. 3.
3. 3. 2. 5. 6. 255. 4. 254. 11. 253. 9. 253. 252. 8.
1. 5. 252. 2. 0. 252. 0. 237. 235. 223. 4. 6. 2. 3.
255. 254. 1. 255. 3. 0. 3. 255. 254. 5. 251. 1. 0. 252.
3. 1. 1. 254. 1. 253. 2. 2. 252. 1. 255. 2. 2. 255.
可见如果相邻的像素值差异过大那么就是显示存在边缘过渡问题
将相邻像素值差异较小的数字全部转化为0，数字差异较大的全部转化为255
0. 0. 0. 0. 0. 0 255. 255. 255. 255. 0. 0. 0. 0.
0. 0. 255. 255. 255. 255. 255. 255. 255. 255. 255. 255. 0. 0.
255. 255. 0. 0. 0. 0. 0. 0. 255. 255. 0. 0. 255. 255.
0. 0. 0. 0. 0. 0. 255. 255. 0. 0. 255. 255. 255. 255.
0. 0. 255. 255. 255. 255. 0. 0. 0. 0. 255. 255. 0. 0.
0. 0. 255. 255. 255. 255. 0. 0. 0. 0. 0. 0. 255. 255.
255. 255. 0. 0. 255. 255. 255. 255. 255. 255. 0. 0. 0. 0.
255. 255. 255. 255. 0. 0. 0. 0. 255. 255. 0. 0. 0. 0.
0. 0. 0. 0. 0. 0. 0. 0. 255. 255. 0. 0. 255. 255.
0. 0. 0. 0. 255. 255. 255. 255. 255. 255. 255. 255. 0. 0.
0. 0. 0. 0. 0. 0. 255. 255. 0. 0. 255. 255. 0. 0.
0. 0. 0. 0. 255. 255. 255. 255. 255. 255. 255. 255. 255. 255.
0. 0. 255. 255. 255. 255. 255. 255. 0. 0. 0. 0. 0. 0.
0. 0. 255. 255. 0. 0. 255. 255. 255. 2555. 255. 255. 255. 255.
0. 0. 255. 255. 255. 255. 0. 0. 255. 255. 255. 255. 255. 255.
将该数组以图像的形式展示出来如图4所示，
步骤S4、将矩阵中的图像像素以图像的形式展现得到一赋值图像，将赋值图像进行图像腐蚀或者膨胀操作得到最终图像；
步骤S5、无人机通过无线图传发射机将最终图像发送至远程终端，远程终端通过最终图像来识别是否存在裂缝。
其中，本发明中，所述步骤S1和S2之间还包括：步骤S10、把获取的图像进行滤波处理来消除孤立的噪声点，所述滤波处理采用中值滤波算法。中值滤波算法是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列。二维中值滤波输出为g(x,y)=med{f(x-k,y-l),(k,l∈W)} ，其中，f(x,y)，g(x,y)分别为原始图像和处理后图像。W为二维模板，k,l是二维模板中的数值，W为二维模板通常为3*3，5*5区域，也可以是不同的的形状，如线状，圆形，十字形，圆环形等。
所述无人机飞行的工作原理：
根据流体力学的基本原理，流动慢的大气压强较大，而流动快的大气压强较小。由于机翼一般是不对称的，上表面比较凸，而下表面比较平（翼型），流过机翼上表面的气流就类似于较窄地方的流水，流速较快，而流过机翼下表面的气流正好相反，类似于较宽地方的流水，流速较上表面的气流慢。大气施加与机翼下表面的压力（方向向上）比施加于机翼上表面的压力（方向向下）大，二者的压力差便形成了升力。
所以对于通常所说的飞机，都是需要助跑，当飞机的速度达到一定大小时，飞机两翼所产生的升力才能抵消重力，从而实现飞行。
旋翼的升力飞机，直升机和旋翼机三种起飞原理是不同的。飞机依靠助跑来提供速度以达到足够的升力，而直升机依靠旋翼的控制旋转在不进行助跑的条件下实现垂直升降，直升机的旋转是动力系统提供的，而旋翼旋转会产生向上的升力和空气给旋翼的反作用力矩，在设计中需要提供平衡旋翼反作用扭矩的方法，通常有单旋翼加尾桨式（尾桨通常是垂直安装）、双旋翼纵列式（旋转方向相反以抵消反作用扭矩）等；而旋翼机则介于飞机和直升机之间，旋翼机的旋翼不与动力系统相连，由飞行过程中的前方气流吹动旋翼旋转产生升力（像大风车一样），即旋翼为自转式，传递到机身上的扭矩很小，无需专门抵消。而待设计的四旋翼飞行器实质上是属于直升机的范畴，需要由动力系统提供四个旋翼的旋转动力，同时旋翼旋转产生的扭矩需要进行抵消，因此本着结构简单控制方便，选择类似双旋翼纵列式加横列式的直升机模型，两个旋翼旋转方向与另外两个旋翼旋转方向必须相反以抵消陀螺效应和空机动力扭矩。
膨胀操作是图像中的高亮部分进行膨胀，领域扩张，效果图拥有比原图更大的高亮区域；即对裂缝进行扩大。
腐蚀操作是图像中的高亮部分被腐蚀掉，领域缩减，效果图拥有比原图更小的高亮区域；即对裂缝进行更加清晰的显示。
另外，所述将赋值图像进行图像腐蚀操作得到最终图像，具体为：定义一个卷积核A，所述卷积核A为任何的形状和大小，且卷积核A设置有一参考点；将卷积核A与赋值图像进行卷积，获得卷积核B覆盖区域的像素点最小值；将这个最小值赋值给参考点指定的像素，让图像中的高亮区域逐渐减小来使得图像中的裂缝处更加清晰。
所述将赋值图像进行图像膨胀操作得到最终图像，具体为：定义一个卷积核B，所述卷积核B为任何的形状和大小，且卷积核B设置有一参考点；将卷积核B与赋值图像进行卷积，获得卷积核B覆盖区域的像素点最大值；将这个最大值赋值给参考点指定的像素，让图像中的高亮区域逐渐增长来使得图像中的裂缝处加大显示。
在本发明中，所述无人机设置有光线传感器，所述无人机通过光线传感器进行自适应避光操作，具体为：无人机的光线传感器在户外不同的时间段获取并记录对应的光度值，为了保证无人机工作的可靠性，取多个光度值中最小值的光度值作为无人机三轴云台相机所处角度为正受太阳直射的光线值；如果，无人机工作时光线传感器获取的光度值大于所述最小值，则无人机旋转一设定的角度来避免三轴云台相机处于太阳光直射下。光线感应器是由两个组件即投光器及受光器所组成，利用投光器将光线由透镜将之聚焦，经传输而至受光器之透镜，再至接收感应器，接收感应器将收到之光线讯号转变成电信号，此电信讯号更可进一步作各种不同的开关及控制动作，其基本原理即对投光器受光器间之光线做遮蔽之动作所获得的信号加以运用以完成各种自动化控制。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (5)
1.一种基于无人机的裂缝检测方法，其特征在于：所述方法包括如下步骤：
步骤S1、无人机上升至需要检测的物体，无人机通过三轴云台相机获取物体待检测区域的图像；
步骤S2、无人机通过图像处理模块对获取的图像进行灰度变换形成灰度图；
步骤S3、将灰度图中的相邻两个像素值进行相减，相减后的相邻两个像素值差异小于一预设值的全部赋值为0，相减后的相邻两个像素值差异大于所述预设值的全部赋值为255，并将重新赋值的图像像素存储到一矩阵中；
步骤S4、将矩阵中的图像像素以图像的形式展现得到一赋值图像，将赋值图像进行图像腐蚀或者膨胀操作得到最终图像；
步骤S5、无人机通过无线图传发射机将最终图像发送至远程终端，远程终端通过最终图像来识别是否存在裂缝。
2.根据权利要求1所述的一种基于无人机的裂缝检测方法，其特征在于：所述步骤S1和S2之间还包括：步骤S10、把获取的图像进行滤波处理来消除孤立的噪声点，所述滤波处理采用中值滤波算法。
3.根据权利要求1所述的一种基于无人机的裂缝检测方法，其特征在于：所述将赋值图像进行图像腐蚀操作得到最终图像，具体为：定义一个卷积核A，所述卷积核A为任何的形状和大小，且卷积核A设置有一参考点；将卷积核A与赋值图像进行卷积，获得卷积核B覆盖区域的像素点最小值；将这个最小值赋值给参考点指定的像素，让图像中的高亮区域逐渐减小来使得图像中的裂缝处更加清晰。
4.根据权利要求1所述的一种基于无人机的裂缝检测方法，其特征在于：所述将赋值图像进行图像膨胀操作得到最终图像，具体为：定义一个卷积核B，所述卷积核B为任何的形状和大小，且卷积核B设置有一参考点；将卷积核B与赋值图像进行卷积，获得卷积核B覆盖区域的像素点最大值；将这个最大值赋值给参考点指定的像素，让图像中的高亮区域逐渐增长来使得图像中的裂缝处加大显示。
5.根据权利要求1所述的一种基于无人机的裂缝检测方法，其特征在于：所述无人机设置有光线传感器，所述无人机通过光线传感器进行自适应避光操作，具体为：无人机的光线传感器在户外不同的时间段获取并记录对应的光度值，为了保证无人机工作的可靠性，取多个光度值中最小值的光度值作为无人机三轴云台相机所处角度为正受太阳直射的光线值；如果，无人机工作时光线传感器获取的光度值大于所述最小值，则无人机旋转一设定的角度来避免三轴云台相机处于太阳光直射下。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910054361.7A CN109767444A (zh) | 2019-01-21 | 2019-01-21 | 一种基于无人机的裂缝检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910054361.7A CN109767444A (zh) | 2019-01-21 | 2019-01-21 | 一种基于无人机的裂缝检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109767444A true CN109767444A (zh) | 2019-05-17 |
Family
ID=66454865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910054361.7A Pending CN109767444A (zh) | 2019-01-21 | 2019-01-21 | 一种基于无人机的裂缝检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109767444A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111896549A (zh) * | 2020-08-05 | 2020-11-06 | 深圳瑞莱保核能技术发展有限公司 | 一种基于机器学习的建筑物裂缝监测系统和方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130034298A1 (en) * | 2011-08-04 | 2013-02-07 | University Of Southern California | Image-based crack detection |
| CN106205217A (zh) * | 2016-06-24 | 2016-12-07 | 华中科技大学 | 基于机器视觉的无人机自动检测方法及无人机管制方法 |
| CN106651872A (zh) * | 2016-11-23 | 2017-05-10 | 北京理工大学 | 基于Prewitt算子的路面裂缝识别方法及系统 |
| CN107862677A (zh) * | 2017-10-16 | 2018-03-30 | 中铁第四勘察设计院集团有限公司 | 一种基于梯度类间阈值算法的隧道衬砌裂缝识别方法及系统 |
| CN109035237A (zh) * | 2018-07-31 | 2018-12-18 | 南京邮电大学 | 一种风叶裂痕检测方法 |
| CN109187555A (zh) * | 2018-09-19 | 2019-01-11 | 苏州傲特欣智能科技有限公司 | 基于机器视觉的建筑外墙裂缝检测系统及方法 |
-
2019
- 2019-01-21 CN CN201910054361.7A patent/CN109767444A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130034298A1 (en) * | 2011-08-04 | 2013-02-07 | University Of Southern California | Image-based crack detection |
| CN106205217A (zh) * | 2016-06-24 | 2016-12-07 | 华中科技大学 | 基于机器视觉的无人机自动检测方法及无人机管制方法 |
| CN106651872A (zh) * | 2016-11-23 | 2017-05-10 | 北京理工大学 | 基于Prewitt算子的路面裂缝识别方法及系统 |
| CN107862677A (zh) * | 2017-10-16 | 2018-03-30 | 中铁第四勘察设计院集团有限公司 | 一种基于梯度类间阈值算法的隧道衬砌裂缝识别方法及系统 |
| CN109035237A (zh) * | 2018-07-31 | 2018-12-18 | 南京邮电大学 | 一种风叶裂痕检测方法 |
| CN109187555A (zh) * | 2018-09-19 | 2019-01-11 | 苏州傲特欣智能科技有限公司 | 基于机器视觉的建筑外墙裂缝检测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 祝晓羽: "基于视频图像特征信息提取技术的汽车牌号识别", 《万方学位论文数据库》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111896549A (zh) * | 2020-08-05 | 2020-11-06 | 深圳瑞莱保核能技术发展有限公司 | 一种基于机器学习的建筑物裂缝监测系统和方法 |
| CN111896549B (zh) * | 2020-08-05 | 2024-05-07 | 深圳瑞莱保核能技术发展有限公司 | 一种基于机器学习的建筑物裂缝监测系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Quater et al. | Light Unmanned Aerial Vehicles (UAVs) for cooperative inspection of PV plants | |
| Rahman et al. | CNN-based deep learning approach for micro-crack detection of solar panels | |
| Leva et al. | PV power plant inspection by UAS: Correlation between altitude and detection of defects on PV modules | |
| JP2017215239A (ja) | 太陽電池検査システム | |
| CN113284124B (zh) | 一种基于无人机视觉的光伏面板缺陷检测方法 | |
| CN109584222A (zh) | 一种基于无人机的光伏组件图像的故障分类及辨识方法 | |
| CN109060826B (zh) | 一种不停机的风电叶片检测装置 | |
| JP6276066B2 (ja) | 太陽電池アレイの異常通知装置 | |
| JP6414721B1 (ja) | 太陽電池モジュールのモニタリング方法、及び太陽電池モジュールモニタリングシステム | |
| CN106408605A (zh) | 一种基于颜色与纹理识别技术来判断光伏电池板是否肮脏的方法 | |
| CN107610090B (zh) | 一种光伏电池片表面栅线偏移的检测方法 | |
| CN107843600A (zh) | 一种多晶硅太阳能电池片外观手印缺陷检测的方法 | |
| CN109767444A (zh) | 一种基于无人机的裂缝检测方法 | |
| CN108830311A (zh) | 一种基于Adaboost的红外图像光伏阵列识别方法 | |
| CN113418925A (zh) | 一种基于卫星影像的光伏板异常目标检测系统及方法 | |
| Aghamohammadi et al. | Solar cell panel crack detection using particle swarm optimization algorithm | |
| Chindarkkar et al. | Deep learning based detection of cracks in electroluminescence images of fielded PV modules | |
| CN101676712A (zh) | 光学检测系统以及方法 | |
| CN107742283A (zh) | 一种电池片外观栅线粗细不均缺陷检测的方法 | |
| Lydia et al. | Analysis on solar panel crack detection using optimization techniques | |
| Özer et al. | An approach based on deep learning methods to detect the condition of solar panels in solar power plants | |
| CN112085694B (zh) | 一种人工智能自动巡检风能风机叶片系统 | |
| CN109668897A (zh) | 环状精密零件表面微型缺陷的视觉检测系统及其检测方法 | |
| JP6695581B1 (ja) | 汚れ検査装置、汚れ検査方法、及び、太陽光発電モジュールの管理方法 | |
| CN110766675B (zh) | 太阳能电池板缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190517 |