CN117876346A - 一种绝缘子自主红外三维视觉检测方法和边缘智能装置 - Google Patents
一种绝缘子自主红外三维视觉检测方法和边缘智能装置 Download PDFInfo
- Publication number
- CN117876346A CN117876346A CN202410061279.8A CN202410061279A CN117876346A CN 117876346 A CN117876346 A CN 117876346A CN 202410061279 A CN202410061279 A CN 202410061279A CN 117876346 A CN117876346 A CN 117876346A
- Authority
- CN
- China
- Prior art keywords
- infrared
- insulator
- data
- intelligent device
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 230000005855 radiation Effects 0.000 claims abstract description 13
- 210000005036 nerve Anatomy 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 claims description 6
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 238000011179 visual inspection Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000003331 infrared imaging Methods 0.000 abstract description 2
- 230000000877 morphologic effect Effects 0.000 abstract description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种绝缘子自主红外三维视觉检测方法和边缘智能装置，检测方法结合红外成像技术、三维建模技术和人工智能算法，通过边缘计算装置对数据进行实时处理和分析，利用深度学习、图像识别和模式识别等人工智能技术，对绝缘子拍摄多张红外图像和可见光图像传输给边缘智能装置，在边缘智能装置中利用视角合成神经辐射生成三维形态数据建模，从而对绝缘子进行全面、准确的分析和评估。本发明通过在边缘智能装置上部署训练好的模型和算法，能够实现高效的数据处理、视觉对准修正和温度异常检测，进一步提高检测的精度和效率。边缘智能装置不需要将数据传输到云端进行数据操作，避免了数据到云端进行处理而产生的延迟和成本。
Description
技术领域
本发明属于电力设备检测技术领域，具体涉及一种输电线路绝缘子自主红外三维视觉检测方法。
背景技术
随着电力行业的快速发展，输电线路的安全运行越来越受到重视。绝缘子作为输电线路的重要组成部分，其状态直接影响到电力系统的安全稳定。
目前，绝缘子检测大多通过人工拍摄目标图像，然后再利用获取到的图像来提取目标温度。人工拍摄方式受限于定位精度、镜头转动角度和操作人员的经验等因素，人工拍摄图像容易造成绝缘子目标脱离镜头范围，难以将目标完整拍摄，造成检测数据易出现偏差和检测精准低的问题。在数据处理上，绝缘子检测装置在运行过程中产生大量的数据，包括红外图像和三维数据等，传统方式采用将数据上传到云端，导致效率不足、延迟性高，无法高效及时地处理和分析这些大规模数据，如何利用这些数据来提升检测的效率和准确性，是当前需要解决的挑战之一。
因此，有必要开发一种新型的绝缘子检测方法和边缘智能装置，以提高绝缘子检测的准确性、及时性、高效化。
发明内容
本发明的目的在于提供一种绝缘子自主红外三维视觉检测方法，以解决背景技术中提出的问题。
为实现上述目的，本发明提供了一种绝缘子自主红外三维视觉检测方法，包括以下步骤：
S1、使用无人机红外摄像头对绝缘子从多个角度进行拍摄，从而获得绝缘子多个角度的红外图像和可见光图像数据；所述无人机红外摄像头将绝缘子多个角度的红外图像和可见光图像数据实时传输给飞控设备；
S2、当需要进行检测时，边缘智能装置获取飞控设备中的红外图像和可见光图像数据，边缘计算单元对采集的数据进行预处理；
S3、所述边缘智能装置利用视角合成神经辐射算法对预处理后的多个角度的红外图像和可见光图像数据进行三维建模，得到绝缘子的三维模型；
S4、提取绝缘子三维模型的关键特征，并将提取出来的关键特征数据扁平二维化；
S5、利用劣化检测算法对扁平二维化后的关键特征数据的状态进行检测；
S6、边缘智能装置将检测到的返回检测结果数据并显示。
进一步的，所述步骤S1具体为：使用无人机红外摄像头对绝缘子进行拍摄，并将拍摄到的图像数据通过所述飞控设备传输至所述边缘智能装置，所述边缘智能装置接收到图像数据后，边缘计算单元利用人工智能识别修正算法对所述红外图像进行数据分析，进而推算出摄像头的转动角度，根据摄像头转动角度对无人机红外摄像头进行矫正，多角度循环上述步骤，进而获取绝缘子多个角度的红外图像和可见光图像数据。
进一步的，所述步骤S2具体包括：所述边缘智能装置和遥控器之间利用串口通信协议进行通信；所述边缘智能装置和遥控器之间拥有数据接口传输和接收算法。
进一步的，所述步骤S3具体包括：
S3.1、所述边缘智能装置利用视角合成神经辐射算法将红外图像和可见光图像中的整个场景编码为神经网络的参数；
S3.2、所述视角合成神经辐射的输入为五维向量输出为四维向量(r，g，b，σ)；其中：
S3.3、令红外摄像头位于O点，光线方向是d，则光线的方程为r(t)＝O+td，其预测的像素颜色C(r)为：
公式(2)中T(t)表示的是透射到t点的光线比例，σ(t)dt表示的是在t点附近的一个小邻域内会挡住多少比例的光线比例，二者相乘就是到达t点且在t点被拦下的光线比例，再乘上该点对应的颜色c(r(t))是这个点对光线最终颜色的贡献；积分区间[tn，tf]表示射线与介质的最近交点tnear和最远交点tfart。
进一步的，所述步骤S4具体包括：
S4.1、准备一组由红外摄像头拍摄的绝缘子2D图像，并解算出每张图像对应的红外摄像头位姿参数；
S4.2、对一张绝缘子2D图像，从红外摄像头发出一条光线，该光线穿过图像进入场景，光线与图像的交点p的像素值I(p)是基准颜色；从改光线上离散采样得到若干个采样点，将这些采样点的空间坐标(x,y,z)和步骤S4.1解算出的对应的红外摄像头的姿态组合起来作为神经网络的输入；
S4.3、通过神经网络预测光线上每个采样点的颜色和密度，将其作离散和，近似计算对应光线的像素值I`(p)，将像素值I`(p)和光线颜色的真值I(p)比较计算误差和梯度；
S4.4、对同一目标绝缘子的多个角度红外图像的温度进行提取，与步骤S4.3进行校准，最终得出绝缘子检测结果和劣化位置。
本发明还提供一种输电线路绝缘子自主红外三维视觉检测的边缘智能装置，包括边缘计算单元、存储器、控制器和装置外壳体，所述边缘计算单元用于进行对采集的数据进行预处理和识别算法修正，所述存储器用于存储算法和处理程序，所述控制器用于进行计算和图像合成，所述边缘计算单元、所述存储器和所述控制器设置在所述装置外壳体内，所述边缘智能装置通过USB接口与所述飞控装置连接。
相比于现有技术，本发明具有以下有益效果：
(1)、本发明的一种利用人工智能技术的绝缘子自主红外三维视觉检测方法，结合红外成像技术、三维建模技术和人工智能算法，通过边缘计算装置对数据进行实时处理和分析，利用深度学习、图像识别和模式识别等人工智能技术，对绝缘子拍摄多张红外图像和可见光图像传输给边缘智能装置，在边缘智能装置中利用视角合成神经辐射生成三维形态数据建模，从而对绝缘子进行全面、准确的分析和评估。本发明通过在边缘智能装置上部署训练好的模型和算法，能够实现高效的数据处理、视觉对准修正和温度异常检测，进一步提高检测的精度和效率。
(2)、本发明的边缘智能装置具备存储数据存储、数据分析处理和识别检测功能，不需要将数据传输到云端进行数据操作，避免了数据到云端进行处理而产生的延迟和成本，该发明能够提升数据处理的及时性、保密性和高速化。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附
图中：
附图1是本发明一种绝缘子自主红外三维视觉检测方法的方法流程图；
附图2是本发明中计算棒的结构示意图。
具体实施方式
下面将结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
如图1所示，本实施例提供一种绝缘子自主红外三维视觉检测方法，包括以下步骤：
S1、利用无人机红外摄像头对绝缘子从多个角度进行拍摄，从而获得绝缘子多个角度的红外图像和可见光图像数据；具体为：利用无人机红外摄像头对绝缘子进行拍摄，并将拍摄到的图像数据通过飞控设备传输至边缘智能装置，边缘智能装置接收绝缘子的红图像后，边缘智能装置的边缘计算单元利用人工智能识别修正算法对红外图像进行数据分析，推算出对应镜头的转动角度，根据镜头转动角度对镜头进行矫正，多角度循环上述步骤，进而获取绝缘子多个角度的红外图像和可见光图像数据。
S2、当需要进行检测时，边缘智能装置获取飞控设备中的红外图像和可见光图像数据，边缘计算单元对采集的数据进行预处理；预处理包括降噪和增强处理；具体包括：边缘智能装置和遥控器之间利用串口通信协议进行通信；边缘智能装置和遥控器之间拥有数据接口传输和接收算法。
S3、边缘智能装置利用视角合成神经辐射算法对预处理后的红外图像和可见光图像数据进行多角度合成三维建模；本实施例使用视角合成神经辐射作为主干网络算法；具体包括：
S3.1、边缘智能装置利用视角合成神经辐射算法将红外图像和可见光图像中的整个场景编码为神经网络的参数，该神经网络的参数包括温度、角度、视觉、颜色和光线等。视角合成神经辐射算法从任意新的视角渲染场景，至少需要空间中每个点的RGB颜色和体密度σ，以及一个点(x,y,z)在红外摄像头不同视角下的颜色(r,g,b)和体密度σ；
S3.2、视角合成神经辐射的输入为五维向量输出为四维向量(r，g，b，σ)，且：
S3.3、令红外摄像头位于O点，光线方向是d，则光线的方程为r(t)＝O+td，其预测的像素颜色C(r)为：
公式(2)中T(t)表示的是透射到t点的光线比例，σ(t)dt表示的是在t点附近的一个小邻域内会挡住多少比例的光线比例，二者相乘就是到达t点且在t点被拦下的光线比例，再乘上该点对应的颜色c(r(t))是这个点对光线最终颜色的贡献；积分区间[tn，tf]表示射线与介质的最近交点tnear和最远交点tfart。
S4、提取绝缘子的关键特征，将数据扁平二维化；步骤S4具体包括：
S4.1、准备一组由红外摄像头拍摄的绝缘子2D图像，并解算出每张图像对应的红外摄像头位姿参数；
S4.2、对一张绝缘子2D图像，从红外摄像头发出一条光线，该光线穿过图像进入场景，光线与图像的交点p的像素值I(p)是基准颜色；从改光线上离散采样得到若干个采样点，将这些采样点的空间坐标(x,y,z)和步骤S4.1解算出的对应的红外摄像头的姿态组合起来作为神经网络的输入；
S4.3、通过神经网络预测光线上每个采样点的颜色和密度，将其作离散和，近似计算对应光线的像素值I`(p)，再将将像素值I`(p)和光线颜色的真值I(p)比较计算误差和梯度。
S4.4、对同一目标绝缘子的多个角度红外图像的温度进行提取，与步骤S4.3进行校准，可得出绝缘子检测结果和劣化位置。
S5、利用劣化检测算法对扁平二维化后的关键特征数据的状态进行检测。
S6、边缘智能装置将检测到的关键特征数据返回检测结果数据并显示。
结合参见图2，本发明实施例还提供一种输电线路绝缘子自主红外三维视觉检测的边缘智能装置，包括边缘计算单元、存储器、控制器和装置外壳体，边缘计算单元用于进行对采集的数据进行预处理和识别算法修正，存储器用于存储算法和处理程序，控制器用于进行计算和图像合成，边缘计算单元、存储器和控制器设置在装置外壳体内，边缘智能装置通过USB接口与飞控装置连接。该装置能够实时处理和传输检测数据，及时返回处理后的数据信息。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种绝缘子自主红外三维视觉检测方法，其特征在于，包括以下步骤：
S1、使用无人机红外摄像头对绝缘子从多个角度进行拍摄，从而获得绝缘子多个角度的红外图像和可见光图像数据；所述无人机红外摄像头将绝缘子多个角度的红外图像和可见光图像数据实时传输给飞控设备；
S2、当需要进行检测时，边缘智能装置获取飞控设备中的红外图像和可见光图像数据，边缘计算单元对采集的数据进行预处理；
S3、所述边缘智能装置利用视角合成神经辐射算法对预处理后的多个角度的红外图像和可见光图像数据进行三维建模，得到绝缘子的三维模型；
S4、提取绝缘子三维模型的关键特征，并将提取出来的关键特征数据扁平二维化；
S5、利用劣化检测算法对扁平二维化后的关键特征数据的状态进行检测；
S6、边缘智能装置将检测到的关键特征数据返回检测结果数据并显示。
2.根据权利要求1所述的绝缘子自主红外三维视觉检测方法，其特征在于，所述步骤S1具体为：使用无人机红外摄像头对绝缘子进行拍摄，并将拍摄到的图像数据通过所述飞控设备传输至所述边缘智能装置，所述边缘智能装置接收到图像数据后，边缘计算单元利用人工智能识别修正算法对所述红外图像进行数据分析，进而推算出摄像头的转动角度，根据摄像头转动角度对无人机红外摄像头进行矫正，多角度循环上述步骤，进而获取绝缘子多个角度的红外图像和可见光图像数据。
3.根据权利要求1所述的绝缘子自主红外三维视觉检测方法，其特征在于，所述步骤S2具体包括：所述边缘智能装置和遥控器之间利用串口通信协议进行通信；所述边缘智能装置和遥控器之间拥有数据接口传输和接收算法。
4.根据权利要求1所述的绝缘子自主红外三维视觉检测方法，其特征在于，所述步骤S3具体包括：
S3.1、所述边缘智能装置利用视角合成神经辐射算法将红外图像和可见光图像中的整个场景编码为神经网络的参数；
S3.2、所述视角合成神经辐射的输入为五维向量输出为四维向量(r，g，b，σ)；且：
S3.3、令红外摄像头位于O点，光线方向是d，则光线的方程为r(t)＝O+td，其预测的像素颜色C(r)为：
公式(2)中T(t)表示的是透射到t点的光线比例，σ(t)dt表示的是在t点附近的一个小邻域内会挡住多少比例的光线比例，二者相乘就是到达t点且在t点被拦下的光线比例，再乘上该点对应的颜色c(r(t))是这个点对光线最终颜色的贡献；积分区间[tn，tf]表示射线与介质的最近交点tnear和最远交点tfart。
5.根据权利要求1所述的绝缘子自主红外三维视觉检测方法，其特征在于，所述步骤S4具体包括：
S4.1、准备一组由红外摄像头拍摄的绝缘子2D图像，并解算出每张图像对应的红外摄像头位姿参数；
S4.2、对一张绝缘子2D图像，从红外摄像头发出一条光线，该光线穿过图像进入场景，光线与图像的交点p的像素值I(p)是基准颜色；从改光线上离散采样得到若干个采样点，将这些采样点的空间坐标(x,y,z)和步骤S4.1解算出的对应的红外摄像头的姿态组合起来作为神经网络的输入；
S4.3、通过神经网络预测光线上每个采样点的颜色和密度，将其作离散和，近似计算对应光线的像素值I`(p)，将像素值I`(p)和光线颜色的真值I(p)比较计算误差和梯度；
S4.4、对同一目标绝缘子的多个角度红外图像的温度进行提取，与步骤S4.3进行校准，最终得出绝缘子检测结果和劣化位置。
6.一种输电线路绝缘子自主红外三维视觉检测的边缘智能装置，其特征在于，包括边缘计算单元、存储器、控制器和装置外壳体，所述边缘计算单元用于进行对采集的数据进行预处理和识别算法修正，所述存储器用于存储算法和处理程序，所述控制器用于进行计算和图像合成，所述边缘计算单元、所述存储器和所述控制器设置在所述装置外壳体内，所述边缘智能装置通过USB接口与所述飞控装置连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410061279.8A CN117876346B (zh) | 2024-01-16 | 2024-01-16 | 一种绝缘子自主红外三维视觉检测方法和边缘智能装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410061279.8A CN117876346B (zh) | 2024-01-16 | 2024-01-16 | 一种绝缘子自主红外三维视觉检测方法和边缘智能装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876346A true CN117876346A (zh) | 2024-04-12 |
| CN117876346B CN117876346B (zh) | 2024-06-28 |
Family
ID=90591715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410061279.8A Active CN117876346B (zh) | 2024-01-16 | 2024-01-16 | 一种绝缘子自主红外三维视觉检测方法和边缘智能装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876346B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004941A (zh) * | 2022-01-04 | 2022-02-01 | 苏州浪潮智能科技有限公司 | 一种基于神经辐射场的室内场景三维重建系统及方法 |
| CN115631418A (zh) * | 2022-11-18 | 2023-01-20 | 北京百度网讯科技有限公司 | 图像处理方法、神经辐射场的训练方法和神经网络 |
| CN116071278A (zh) * | 2022-11-29 | 2023-05-05 | 西安交通大学 | 无人机航拍图像合成方法、系统、计算机设备及存储介质 |
| WO2023138471A1 (zh) * | 2022-01-24 | 2023-07-27 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
-
2024
- 2024-01-16 CN CN202410061279.8A patent/CN117876346B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004941A (zh) * | 2022-01-04 | 2022-02-01 | 苏州浪潮智能科技有限公司 | 一种基于神经辐射场的室内场景三维重建系统及方法 |
| WO2023138471A1 (zh) * | 2022-01-24 | 2023-07-27 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| CN115631418A (zh) * | 2022-11-18 | 2023-01-20 | 北京百度网讯科技有限公司 | 图像处理方法、神经辐射场的训练方法和神经网络 |
| CN116071278A (zh) * | 2022-11-29 | 2023-05-05 | 西安交通大学 | 无人机航拍图像合成方法、系统、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876346B (zh) | 2024-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292921B (zh) | 一种基于kinect相机的快速三维重建方法 | |
| CN110097553B (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN109344813B (zh) | 一种基于rgbd的目标识别和场景建模方法 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| Wu et al. | Passive measurement method of tree diameter at breast height using a smartphone | |
| CN107038718B (zh) | 雾霾环境下的深度计算方法 | |
| CN108665484B (zh) | 一种基于深度学习的危险源识别方法与系统 | |
| CN102706274A (zh) | 工业结构化场景中机器视觉精确定位机械零件的系统 | |
| CN113486697B (zh) | 基于空基多模态图像融合的森林烟火监测方法 | |
| WO2020135187A1 (zh) | 基于rgb_d和深度卷积网络的无人机识别定位系统和方法 | |
| CN109297978B (zh) | 基于双目成像的电力线路无人机巡检及缺陷智能诊断系统 | |
| CN113050074A (zh) | 无人驾驶环境感知中相机与激光雷达标定系统及标定方法 | |
| CN105739106A (zh) | 一种体感多视点大尺寸光场真三维显示装置及方法 | |
| CN104504691B (zh) | 基于低秩纹理的摄像机位置和姿态测量方法 | |
| Narayanan et al. | A multi-purpose realistic haze benchmark with quantifiable haze levels and ground truth | |
| CN110866548A (zh) | 输电线路绝缘子红外智能匹配识别与测距定位方法及系统 | |
| CN105139432B (zh) | 基于高斯模型的红外弱小目标图像仿真方法 | |
| CN117173601B (zh) | 光伏电站阵列热斑识别方法和系统 | |
| CN117876346B (zh) | 一种绝缘子自主红外三维视觉检测方法和边缘智能装置 | |
| CN117572885A (zh) | 基于无人机热红外相机的夜间追踪方法、系统及相关装置 | |
| Li et al. | Feature point extraction and tracking based on a local adaptive threshold | |
| Lin et al. | A multi-target detection framework for multirotor UAV | |
| CN116665077A (zh) | 基于ai识别技术的输电线路检测拍摄方法及其系统 | |
| CN112465736B (zh) | 一种用于港口船舶监控的红外视频图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |