CN112034878A - 基于无人机的电力巡检方法、装置和电子设备 - Google Patents
基于无人机的电力巡检方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112034878A CN112034878A CN202011220351.5A CN202011220351A CN112034878A CN 112034878 A CN112034878 A CN 112034878A CN 202011220351 A CN202011220351 A CN 202011220351A CN 112034878 A CN112034878 A CN 112034878A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- insulators
- unmanned aerial
- aerial vehicle
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000012212 insulator Substances 0.000 claims abstract description 160
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002040 inelastic incoherent neutron scattering Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种基于无人机的电力巡检方法、装置和电子设备，涉及无人机领域，其中，该方法包括获取目标电力线区域的三维点云；对三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；基于每个分类组中的两个绝缘子中心点连线的中点以及两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；基于每个分类组的拍摄点生成巡检路径。通过三维点云重构和分割，让无人机感知和识别环境，最终规划出合理的巡检路径，节省了人力，提高了效率，实现了无人机的自主巡检，缓解了现有技术中存在的巡检效率低下、人员配备冗余的问题。
Description
技术领域
本发明涉及无人机技术领域，具体而言，涉及一种基于无人机的电力巡检方法、装置和电子设备。
背景技术
近年来，电力线检测作为无人机的一种广泛应用受到广泛关注。随着生活和工业对电力需求的急剧增加，对电力线潜在威胁的有效和可靠的监测变得至关重要。因此，为了保证电网的安全运行，需要定期进行电力检查。
目前，现有技术中，针对电力线检测过程中的无人机是由人工操作的。操作者需要时刻注意无人机离电源线的安全距离，并对感兴趣的检查点进行拍照。人类仍然是执行这项任务的主体，而无人机更像是飞行的望远镜。由于操作人员的熟练程度不同，巡检效率也会受到影响，而且采集到的照片质量往往参差不齐。此外，统计数据显示，大量的崩溃是由手工操作错误造成的。
综上，现有的基于无人机的电力巡检方法存在以下问题：无人机线路巡检效率低下、人员配备冗余，无法达到无人机无人化巡检要求的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于无人机的电力巡检方法、装置和电子设备，以缓解现有技术中存在的无人机线路巡检效率低下、人员配备冗余，无法达到无人机无人化巡检要求的问题。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种基于无人机的电力巡检方法，包括：
获取目标电力线区域的三维点云；
对所述三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；
基于每个所述绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；其中每个分类组包括属于同一塔杆的同一层的同一侧的两个绝缘子；
基于每个分类组中的两个绝缘子中心点连线的中点以及所述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；
基于每个分类组的所述拍摄点，生成巡检路径。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述获取目标电力线区域的三维点云的步骤，包括：
基于激光雷达对电力线通道和塔架硬件扫描得到的激光雷达点云数据，生成目标电力线区域的三维点云。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对所述三维点云进行点云分割和聚类得到多个目标绝缘子中心点坐标的步骤，包括：
应用PoinCNN对三维点云进行点云分割，得到绝缘子点云；
应用密度聚类算法对绝缘子点云进行聚类，得到多个目标绝缘子的中心点。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述基于每个所述绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类的步骤，包括：
基于绝缘子的中心点与塔杆之间的距离小于塔杆的半径的规则，确定绝缘子所属的塔杆；
基于绝缘子的中心点所在的高度，确定绝缘子所在的塔层；
根据属于同一塔杆且属于同一层的每两个绝缘子的中心点与该两个绝缘子所属塔杆的与该两个绝缘子的中心点处于同一水平面处的塔杆中心点形成的夹角小于90度的规则，确定该两个绝缘子位于同一侧。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述基于激光雷达对电力线通道和塔架硬件扫描得到的激光雷达点云数据，生成目标电力线区域的三维点云的步骤，包括：
应用集成惯性导航算法计算飞行轨迹；
基于计算的飞行轨迹和采集的激光雷达点云数据对无人机的组合惯性导航系统和激光雷达进行参数校准；
基于校准的参数、飞行轨迹和激光雷达点云数据，生成三维点云。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：
确定无人机沿所述飞行轨迹的飞行高度。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：
应用光学变焦镜头在每个分类组的拍摄点对该分类组中的目标物体进行拍摄，得到每个分类组的目标图像。
结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：
应用人工智能识别技术将目标物体锁定在拍摄视场的预设范围内。
第二方面，本发明实施例还提供一种基于无人机的电力巡检装置，包括：
获取模块，用于获取目标电力线区域的三维点云；
分割模块，用于对所述三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；
分类模块，用于基于每个所述绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；其中每个分类组包括位于同一塔杆的同一层的同一侧的两个绝缘子；
确定模块，用于基于每个分类组中的两个绝缘子中心点连线的中点以及所述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；
生成模块，用于基于每个分类组的所述拍摄点，生成巡检路径。
第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一项所述的基于无人机的电力巡检方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式任一项所述的基于无人机的电力巡检方法的步骤。
本发明实施例带来了以下有益效果：本发明实施例提供的基于无人机的电力巡检方法、装置、电子设备和计算机可读存储介质，通过首先获取目标电力线区域的三维点云；然后对三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；并基于每个绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；其中每个分类组包括属于同一塔杆的同一层的同一侧的两个绝缘子；接着基于每个分类组中的两个绝缘子中心点连线的中点以及两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；最后，基于基于每个分类组的拍摄点，生成巡检路径。因此，本发明实施例提供的技术方案，通过三维点云重构和分割，让无人机感知和识别环境，最终规划出合理的巡检路径，从而有利于准确获取目标数据，节省了人力，提高了效率，实现了无人机的自主巡检，缓解了现有技术中存在的无人机线路巡检效率低下、人员配备冗余，无法达到无人机无人化巡检要求的问题。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种基于无人机的电力巡检方法的流程示意图；
图2示出了本发明实施例提供的一种点云分割的示意图；
图3示出了本发明实施例提供的一种绝缘子点云中绝缘子的中心点的示意图；
图4示出了本发明实施例提供的一种同塔同层判定的原理图；
图5示出了本发明实施例提供的一种同塔同侧判定的原理图；
图6示出了本发明实施例提供的一种拍摄点的确定原理图；
图7示出了本发明实施例提供的一种单塔巡检路径示意图；
图8示出了本发明实施例提供的另一种基于无人机的电力巡检方法的流程示意图；
图9示出了本发明实施例提供的一种拍摄视场（画面）的示意图；
图10示出了本发明实施例提供的一种多塔分类的示意图；
图11示出了本发明实施例提供的一种基于无人机的电力巡检装置的示意图；
图12示出了本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前，现有技术中，针对电力线检测过程中的无人机是由人工操作的。操作者需要时刻注意无人机离电源线的安全距离，并对感兴趣的检查点进行拍照。由于操作人员的熟练程度不同，巡检效率也会受到影响，而且采集到的照片质量往往参差不齐。此外，统计数据显示，大量的崩溃是由手工操作错误造成的，基于此，本发明实施例提供了一种基于无人机的电力巡检方法、装置和电子设备，可以改善巡检效率，能够缓解现有的基于无人机的电力巡检方法存在无人机线路巡检效率低下、人员配备冗余，无法达到无人机无人化巡检要求的问题。
第一实施例
图1示出了本发明实施例提供的一种基于无人机的电力巡检方法的流程示意图。
本发明实施例提供的基于无人机的电力巡检方法，可以应用于电力自动化巡检，由对应的设置在无人机上的电子设备（例如机载计算机）执行。
具体的，参照图1，该基于无人机的电力巡检方法包括以下步骤：
步骤S110，获取目标电力线区域的三维点云；
其中，三维点云是基于激光雷达采集的激光雷达数据生成的；三维点云包括电线点云、塔杆点云、绝缘子电源，还可以包括地面点云；三维点云包括至少一个电力塔杆（简称塔杆）点云和至少一个绝缘子点云。
可选的，上述步骤S110可以通过下列步骤执行：
1、基于激光雷达对电力线通道和塔架硬件扫描得到的激光雷达点云数据，生成目标电力线区域的三维点云。
具体的，无人机飞到目标电力线区域，首先利用激光雷达对电力线通道（又称为电力线走廊）和塔架硬件扫描，采集得到目标电力线区域的激光雷达点云数据，然后基于激光雷达点云数据生成目标电力线区域的三维点云。
其中，上述基于激光雷达对电力线通道和塔架硬件扫描得到的激光雷达点云数据，生成目标电力线区域的三维点云的过程中包括：
A应用集成惯性导航算法计算飞行轨迹；
例如采用集成惯性导航算法，根据给出的目标电力线区域坐标（例如区域中的至少一个塔杆的顶点坐标）计算到达目标电力线区域的飞行轨迹。
在一种实施方式中，可以使用NovAtel公司的Inertial Explorer软件提供的集成惯性导航算法计算飞行轨迹。
B基于计算的飞行轨迹和采集的激光雷达点云数据对无人机的组合惯性导航系统和激光雷达进行参数校准；
例如使用计算的轨迹和激光雷达数据去校准组合惯性导航系统(简称为IINS)和激光雷达之间的非本征（extrinsic，外部）参数。
C基于校准的参数、飞行轨迹和激光雷达点云数据，生成三维点云。
例如使用校准的非本征（extrinsic）参数、飞行轨迹数据和激光雷达数据融合成完整的三维点云。
需要指出的时，对于非本征参数的校准，可以首先根据物理安装计算非本征参数的初值，并根据初值融合点云。然后，对于点云中的每个点，到最近的邻域，并计算两者的距离。最后，计算所有距离的和，作为损失函数求最小值。
其中损失函数如下：
上式中，P为融合点云P = pi,P2,P3，••，Pk, k为点的个数，nearest (pi, P)表示点pi在点云P中找到的最近的点，dis(pi,pj)计算两点之间的欧氏距离，并根据点的重要性对距离进行加权，wi是激光雷达与pi之间距离的倒数，即wi表示权值，离激光雷达越近的点越重要，wi越大。
为了确保无人机在采集数据进行三维点云建模的安全性，该方法还可以包括：确定无人机沿所述飞行轨迹的飞行高度。
在一种实施方式中，可以首先基于激光雷达测量范围以及电力塔杆的高度确定上述飞行高度，然后基于所述飞行高度沿所述飞行轨迹飞行。
例如激光雷达测量范围可以达到200米，塔杆的高度通常是60米，这里可以将飞行高度可以设定在100米。在该100米高度下飞行的无人机能有效避开地面复杂障碍物，保证了无人机三维点云建模数据采集的安全性。
步骤S120，对三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；
这里点云分割的目的在于得到目标电力线区域中不同类型的点云，例如电线点云（Wire）、塔杆点云（Pylon）、绝缘子点云（Insulator）、地面点云（Ground）等；图2示出了一种点云分割图。
上述聚类的作用在于对绝缘子的点云进行分析，得到多个目标绝缘子的中心点。
在一种实施方式中，上述步骤S120可以包括以下步骤：
1）应用PoinCNN对三维点云进行点云分割，得到绝缘子点云；
具体的，通过激光雷达获取电力线的三维点云后，并在三维点云上自动分割电力线上的关键组件，这些关键组件通常被称为目标点。这里使用PoinCNN对电力线点云进行了精细分割。经过PoinCNN计算，将点云分为四部分，如图2所示。
2）应用密度聚类算法对绝缘子点云进行聚类，得到多个目标绝缘子的中心点。
通过密度聚类的方法，进一步对绝缘子的点云进行聚类分析，得到多个目标绝缘子（绝缘子串）的中心点。如图3所示，设Ii (x, y, z)为绝缘子中心点的坐标，其中图3中仅示意性的示出了两个绝缘子中心点I1和I2。
步骤S130，基于每个绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；其中每个分类组包括属于同一塔杆的同一层的同一侧的两个绝缘子；
上述的预设分类规则包括同层同侧规则，通过对塔上的绝缘子按同层同侧进行分类，得到无人机拍摄绝缘子的拍摄点（最佳航点）和云台角度。
在一种实施方式中，该步骤S130主要通过以下步骤实现：
（1）基于绝缘子的中心点与塔杆之间的距离小于塔杆的半径的规则，确定绝缘子所属的塔杆；
（2）基于绝缘子的中心点所在的高度，确定绝缘子所在的塔层；
（3）根据属于同一塔杆且属于同一层的每两个绝缘子的中心点与该两个绝缘子所属塔杆的与该两个绝缘子的中心点处于同一水平面处的塔杆中心点形成的夹角小于90度的规则，确定该两个绝缘子位于同一侧。
具体的，首先根据绝缘子中心点Ii与塔杆Ti之间的距离小于塔杆的半径Tr，可以确定绝缘子所属的塔杆。r
接着根据绝缘子中心点Ii的高度来区分绝缘子所在的塔层。如图4所示，根据高度进行判断可知Ia、Ib、Ic、Id为同层绝缘子。
最后，确定Ia、Ib、Ic、Id在绝缘体是否同侧。通过上述步骤（3）提供的角度判别的方式式进行区分。
这里随机选择一个绝缘子，假设A；参照图5，对绝缘子A和B 是否同侧进行判定，如果∠AOB < 90°，则绝缘子A和B在同一侧;否则绝缘子A和B在不同侧。
需要说明的式，随着绝缘子数量的增加，上述的区分规则也适用。
步骤S140，基于每个分类组中的两个绝缘子中心点连线的中点以及上述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；
在一种实施方式中，该步骤S140可以通过以下步骤执行：
基于无人机与塔杆的设定间距、每个分类组中的两个绝缘子中心点连线的中点以及所述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；每个分类组中的两个绝缘子中心点连线的中点以及所述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；
例如将每个分类组中的两个绝缘子中心点连线的中点以及所述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点连线后并反向延长设定间距得到无人机对该分类组的拍摄点。
为了便于理解，参照图6，这里无人机（Drone）和电力塔杆（Tower）之间的设定间距是10米，C是连接AB的绝缘子A和B的中心点Ia和Ib之间的中点。无人机对绝缘子A和B的拍摄点D是通过将塔的中心点O连接到中心C并延长10米得到的。
在同一侧和同一层中可能有多个绝缘子。根据角度计算规则进行云台转向计算，可以计算出各绝缘子的拍摄点（包括最佳拍摄角）。
其中，同一侧和相位上有多个绝缘子，云台转向计算公式如下：
Pitch i =arctan(|C(z)−I i (z)|/10)
Yaw i =arctan(|C(x)−I i (x)|/10) （3）
上列式子中，xi,yi,zi表示同侧同层中每一个绝缘子的中心点坐标；x,y,z为图6中C的坐标；Pitchi表示拍摄到绝缘子i的俯仰角度；Yawi表示拍摄到绝缘子i的航向角度；C(z) ，C(x)分别为图6中C的z坐标，x坐标；Ii(z)， Ii(x)分别为绝缘子i的z坐标，x坐标。
步骤S150，基于每个分类组的拍摄点，生成巡检路径。
例如将每个分类组的拍摄点按照从低到高再从高到低的方式连线，生成巡检路径。如图7所示，按照P0-P1-P2-P3-P4-P5-P6-P7生成的巡检路径进行电力塔巡视。
通过上述方式实现了单塔路径规划，即可以根据拍摄点完成整个塔杆的路径规划。
需要说明的是，在从低到高再从高到低的过程中，应当以确定的飞行高度越过塔顶，以确保无人机的安全。
本发明实施例提供的基于无人机的电力巡检方法，包括：获取目标电力线区域的三维点云；对所述三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；基于每个所述绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；其中每个分类组包括属于同一塔杆的同一层的同一侧的两个绝缘子；基于每个分类组中的两个绝缘子中心点连线的中点以及所述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；基于每个分类组的所述拍摄点，生成巡检路径。因此，本发明实施例提供的技术方案，通过三维点云重构和分割，让无人机感知和识别环境，最终规划出合理的巡检路径，从而有利于准确获取目标数据，节省了人力，提高了效率，实现了无人机的自主巡检，缓解了现有技术中存在的无人机线路巡检效率低下、人员配备冗余，无法达到无人机无人化巡检要求的问题。
第二实施例
图8示出了本发明实施例提供的另一种基于无人机的电力巡检方法的流程示意图。
参照图8，该基于无人机的电力巡检方法包括：
步骤S810，获取目标电力线区域的三维点云；
步骤S820，对三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；
步骤S830，基于每个绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；其中每个分类组包括属于同一塔杆的同一层的同一侧的两个绝缘子；
步骤S840，基于每个分类组中的两个绝缘子中心点连线的中点以及上述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；
步骤S850，基于每个分类组的拍摄点，生成巡检路径。
步骤S860，应用光学变焦镜头在每个分类组的拍摄点对该分类组中的目标物体进行拍摄，得到每个分类组的目标图像。
这里的目标物体例如可以是绝缘子。
考虑到实时动态差分法（Real-time kinematic，RTK，又称为载波相位差分）的定位精度和无人机的姿态存在一定的误差。此时，当无人机的光学变焦系数变大时，目标物体可能会移出视场。
为了解决上述问题，该方法还可以包括：
应用人工智能识别技术将目标物体锁定在拍摄视场的预设范围内。
例如，应用人工智能识别技术将目标物体锁定在拍摄视场的中心，此外，还可以使目标物体尽可能的填充整个拍摄画面。
通过增加了端侧人工智能识别的方法，将目标锁定在视场的中心，尽可能的填充整个画面。
在一种实施方式中，应用Faster R-CNN作为人工智能识别技术的检测网络，将目标物体(如绝缘子)锁定在视场中，通过缩放使目标占据整个画面的80%。并控制云台将自适应地旋转，使目标在视野的中心。
本申请通过Faster R-CNN可以在获取照片的过程中实时校准云台角度和拍摄场。
图9示出了光学变焦镜头的视场，其中w是画面的宽度，h是画面的高度，insuw表示绝缘子的宽度,insuh表示绝缘子的高度，B(x1,y1)表示绝缘子B的中心点的坐标,O (x0,y0)表示画面的中心坐标；devitation表示偏移量，percentage表示占比，可以根据公式(4)和公式(5)中的关系实时锁定目标物体（绝缘子B）。
上式中，wi即insuw，表示绝缘子的宽度；hi即insuh，表示绝缘子的高度。
考虑到三维点云可以包括多个塔杆点云，此时需要进行多塔路线规划；
有鉴于此，该方法还包括：基于多个塔杆的点云数据确定塔杆之间的相邻关系；基于同层和同侧绝缘子规则对塔杆进行分类。
例如，参照图10，对于塔杆T1和 T2按照同层和同侧绝缘子规则对塔杆进行分类，当P3 P11线段和P3 P12线段的正射影线相交时，线段两侧的绝缘子P11和P12处于塔杆的不同侧。否则，则处于同一侧。分类完成后，确定不同塔杆的路径。
需要指出的是，在无人机在多级杆塔线路规划时，可以按照多塔策略确定多塔杆的巡检路径，多塔策略主要包括以下原则：1、在任意两级电力塔间飞行时不能产生横跨线路；
2、在单级电力塔飞行时从左侧巡检到右侧，或者从右侧巡检到左侧，形成类似工字形的航线。
基于上述多塔策略，可以确定出图10中的一种多塔巡检路径为P12-P11-P3-P4，即无人机按照P12-P11-P3-P4的巡检路径进行电力塔巡检。
第三实施例
图11示出了本发明实施例提供的一种基于无人机的电力巡检装置的示意图。
参照图11，该基于无人机的电力巡检装置包括：获取模块901、分割模块902、分类模块903、确定模块904以及生成模块905；
其中，获取模块901用于获取目标电力线区域的三维点云；
分割模块902用于对所述三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；
分类模块903用于基于每个所述绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；其中每个分类组包括属于同一塔杆的同一层的同一侧的两个绝缘子；
确定模块904用于基于每个分类组中的两个绝缘子中心点连线的中点以及所述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；
生成模块905用于基于每个分类组的所述拍摄点，生成巡检路径。
在可选的实施方式中，获取模块901在获取目标电力线区域的三维点云时，用于基于激光雷达对电力线通道和塔架硬件扫描得到的激光雷达点云数据，生成目标电力线区域的三维点云。
在可选的实施方式中，获取模块901在基于激光雷达对电力线通道和塔架硬件扫描得到的激光雷达点云数据，生成目标电力线区域的三维点云时，用于应用集成惯性导航算法计算飞行轨迹；基于计算的飞行轨迹和采集的激光雷达点云数据对无人机的组合惯性导航系统和激光雷达进行参数校准；基于校准的参数、飞行轨迹和激光雷达点云数据，生成三维点云。
在可选的实施方式中，分割模块902在对所述三维点云进行点云分割和聚类得到多个目标绝缘子中心点坐标时，用于应用PoinCNN对三维点云进行点云分割，得到绝缘子点云；应用密度聚类算法对绝缘子点云进行聚类，得到多个目标绝缘子的中心点。
在可选的实施方式中，分类模块903在基于每个所述绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类时，用于基于绝缘子的中心点与塔杆之间的距离小于塔杆的半径的规则，确定绝缘子所属的塔杆；基于绝缘子的中心点所在的高度，确定绝缘子所在的塔层；根据属于同一塔杆且属于同一层的每两个绝缘子的中心点与该两个绝缘子所属塔杆的与该两个绝缘子的中心点处于同一水平面处的塔杆中心点形成的夹角小于90度的规则，确定该两个绝缘子位于同一侧。
在可选的实施方式中，所述装置还包括：高度确定模块，用于确定无人机沿所述飞行轨迹的飞行高度。
在可选的实施方式中，所述装置还包括：拍摄模块，用于应用光学变焦镜头在每个分类组的拍摄点对该分类组中的目标物体进行拍摄，得到每个分类组的目标图像。
在可选的实施方式中，所述装置还包括：锁定模块，用于应用人工智能识别技术将目标物体锁定在拍摄视场的预设范围内。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例提供的基于无人机的电力巡检装置，与上述实施例提供的基于无人机的电力巡检方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式提及的基于无人机的电力巡检方法的步骤。
参见图12所示的电子设备100的结构示意图，该电子设备包括：处理器10，存储器11，总线12和通信接口13，所述处理器10、通信接口13和存储器11通过总线12连接；处理器10用于执行存储器11中存储的可执行模块，例如计算机程序。
其中，存储器11可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口13（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接。
总线12可以是ISA总线、PCI总线或EISA总线等。图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器11用于存储程序，所述处理器10在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器10中，或者由处理器10实现。
处理器10可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器10中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器10可以是通用处理器，包括中央处理器（Central Processing Unit，简称CPU）、网络处理器（Network Processor，简称NP）等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该存储介质位于存储器11，处理器10读取存储器11中的信息，结合其硬件完成上述方法的步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述实施例中涉及的电力巡检方法的步骤。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于无人机的电力巡检方法，其特征在于，包括：
获取目标电力线区域的三维点云；
对所述三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；
基于每个所述绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；其中每个分类组包括属于同一塔杆的同一层的同一侧的两个绝缘子；
基于每个分类组中的两个绝缘子中心点连线的中点以及所述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；
基于每个分类组的所述拍摄点，生成巡检路径。
2.根据权利要求1所述的方法，其特征在于，所述获取目标电力线区域的三维点云的步骤，包括：
基于激光雷达对电力线通道和塔架硬件扫描得到的激光雷达点云数据，生成目标电力线区域的三维点云。
3.根据权利要求1所述的方法，其特征在于，所述对所述三维点云进行点云分割和聚类得到多个目标绝缘子中心点坐标的步骤，包括：
应用PoinCNN对三维点云进行点云分割，得到绝缘子点云；
应用密度聚类算法对绝缘子点云进行聚类，得到多个目标绝缘子的中心点。
4.根据权利要求1所述的方法，其特征在于，所述基于每个所述绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类的步骤，包括：
基于绝缘子的中心点与塔杆之间的距离小于塔杆的半径的规则，确定绝缘子所属的塔杆；
基于绝缘子的中心点所在的高度，确定绝缘子所在的塔层；
根据属于同一塔杆且属于同一层的每两个绝缘子的中心点与该两个绝缘子所属塔杆的与该两个绝缘子的中心点处于同一水平面处的塔杆中心点形成的夹角小于90度的规则，确定该两个绝缘子位于同一侧。
5.根据权利要求2所述的方法，其特征在于，所述基于激光雷达对电力线通道和塔架硬件扫描得到的激光雷达点云数据，生成目标电力线区域的三维点云的步骤，包括：
应用集成惯性导航算法计算飞行轨迹；
基于计算的飞行轨迹和采集的激光雷达点云数据对无人机的组合惯性导航系统和激光雷达进行参数校准；
基于校准的参数、飞行轨迹和激光雷达点云数据，生成三维点云。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
确定无人机沿所述飞行轨迹的飞行高度。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
应用光学变焦镜头在每个分类组的拍摄点对该分类组中的目标物体进行拍摄，得到每个分类组的目标图像。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
应用人工智能识别技术将目标物体锁定在拍摄视场的预设范围内。
9.一种基于无人机的电力巡检装置，其特征在于，包括：
获取模块，用于获取目标电力线区域的三维点云；
分割模块，用于对所述三维点云进行点云分割和聚类得到多个目标绝缘子的中心点；
分类模块，用于基于每个所述绝缘子的中心点按照预设分类规则对多个目标绝缘子进行分类，得到多个分类组；其中每个分类组包括位于同一塔杆的同一层的同一侧的两个绝缘子；
确定模块，用于基于每个分类组中的两个绝缘子中心点连线的中点以及所述两个绝缘子所属塔杆的与该中点处于同一水平面的塔杆中心点，确定无人机对每个分类组的拍摄点；
生成模块，用于基于每个分类组的所述拍摄点，生成巡检路径。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011220351.5A CN112034878B (zh) | 2020-11-05 | 2020-11-05 | 基于无人机的电力巡检方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011220351.5A CN112034878B (zh) | 2020-11-05 | 2020-11-05 | 基于无人机的电力巡检方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112034878A true CN112034878A (zh) | 2020-12-04 |
| CN112034878B CN112034878B (zh) | 2021-02-26 |
Family
ID=73572944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011220351.5A Active CN112034878B (zh) | 2020-11-05 | 2020-11-05 | 基于无人机的电力巡检方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112034878B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990235A (zh) * | 2021-05-06 | 2021-06-18 | 北京云圣智能科技有限责任公司 | 点云数据的处理方法、装置及电子设备 |
| CN112987781A (zh) * | 2021-02-05 | 2021-06-18 | 北京御航智能科技有限公司 | 一种无人机航线生成方法及装置 |
| CN113052274A (zh) * | 2021-06-02 | 2021-06-29 | 天津云圣智能科技有限责任公司 | 点云数据处理方法、装置及电子设备 |
| CN113205116A (zh) * | 2021-04-15 | 2021-08-03 | 江苏方天电力技术有限公司 | 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法 |
| CN113359864A (zh) * | 2021-07-29 | 2021-09-07 | 鄂尔多斯职业学院 | 一种无人机巡线航迹规划方法及其系统 |
| CN113778137A (zh) * | 2021-11-09 | 2021-12-10 | 北京数字绿土科技有限公司 | 输电线路的无人机自主巡检方法 |
| CN114677381A (zh) * | 2022-05-30 | 2022-06-28 | 天津云圣智能科技有限责任公司 | 绝缘子分割方法、装置、电子设备及计算机可读存储介质 |
| CN115311587A (zh) * | 2022-09-07 | 2022-11-08 | 无锡海纳智能科技有限公司 | 一种光伏电站巡检航点的智能生成方法 |
| CN115454142A (zh) * | 2022-10-17 | 2022-12-09 | 国网冀北电力有限公司承德供电公司 | 基于三维激光点云模型的无人机路径规划方法及装置 |
| CN117788901A (zh) * | 2023-12-22 | 2024-03-29 | 国网湖北省电力有限公司超高压公司 | 超高压检修作业路径评估方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007097505A1 (en) * | 2006-02-23 | 2007-08-30 | Ls Corp. | Device and method for coating wire rod of optic overhead earth wire |
| CN103177300A (zh) * | 2013-02-05 | 2013-06-26 | 中国能源建设集团广东省电力设计研究院 | 输电线路杆塔定位方法 |
| CN103473734A (zh) * | 2013-09-16 | 2013-12-25 | 南京大学 | 一种基于车载LiDAR数据的电力线提取与拟合方法 |
| CN106373130A (zh) * | 2016-10-24 | 2017-02-01 | 北京拓维思科技有限公司 | 导线悬挂点定位方法和装置 |
| CN106529029A (zh) * | 2016-10-25 | 2017-03-22 | 北京煜邦电力技术股份有限公司 | 输电线路杆塔的点云数据提取方法及装置 |
| CN110780681A (zh) * | 2019-11-26 | 2020-02-11 | 贵州电网有限责任公司 | 一种基于激光点云的无人机自主巡检绝缘子路径规划方法 |
-
2020
- 2020-11-05 CN CN202011220351.5A patent/CN112034878B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007097505A1 (en) * | 2006-02-23 | 2007-08-30 | Ls Corp. | Device and method for coating wire rod of optic overhead earth wire |
| CN103177300A (zh) * | 2013-02-05 | 2013-06-26 | 中国能源建设集团广东省电力设计研究院 | 输电线路杆塔定位方法 |
| CN103473734A (zh) * | 2013-09-16 | 2013-12-25 | 南京大学 | 一种基于车载LiDAR数据的电力线提取与拟合方法 |
| CN106373130A (zh) * | 2016-10-24 | 2017-02-01 | 北京拓维思科技有限公司 | 导线悬挂点定位方法和装置 |
| CN106529029A (zh) * | 2016-10-25 | 2017-03-22 | 北京煜邦电力技术股份有限公司 | 输电线路杆塔的点云数据提取方法及装置 |
| CN110780681A (zh) * | 2019-11-26 | 2020-02-11 | 贵州电网有限责任公司 | 一种基于激光点云的无人机自主巡检绝缘子路径规划方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112987781A (zh) * | 2021-02-05 | 2021-06-18 | 北京御航智能科技有限公司 | 一种无人机航线生成方法及装置 |
| CN113205116A (zh) * | 2021-04-15 | 2021-08-03 | 江苏方天电力技术有限公司 | 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法 |
| CN113205116B (zh) * | 2021-04-15 | 2024-02-02 | 江苏方天电力技术有限公司 | 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法 |
| CN112990235A (zh) * | 2021-05-06 | 2021-06-18 | 北京云圣智能科技有限责任公司 | 点云数据的处理方法、装置及电子设备 |
| CN112990235B (zh) * | 2021-05-06 | 2021-08-20 | 北京云圣智能科技有限责任公司 | 点云数据的处理方法、装置及电子设备 |
| CN113052274A (zh) * | 2021-06-02 | 2021-06-29 | 天津云圣智能科技有限责任公司 | 点云数据处理方法、装置及电子设备 |
| CN113052274B (zh) * | 2021-06-02 | 2021-09-07 | 天津云圣智能科技有限责任公司 | 点云数据处理方法、装置及电子设备 |
| CN113359864B (zh) * | 2021-07-29 | 2022-05-20 | 鄂尔多斯职业学院 | 一种无人机巡线航迹规划方法及其系统 |
| CN113359864A (zh) * | 2021-07-29 | 2021-09-07 | 鄂尔多斯职业学院 | 一种无人机巡线航迹规划方法及其系统 |
| CN113778137A (zh) * | 2021-11-09 | 2021-12-10 | 北京数字绿土科技有限公司 | 输电线路的无人机自主巡检方法 |
| CN114677381A (zh) * | 2022-05-30 | 2022-06-28 | 天津云圣智能科技有限责任公司 | 绝缘子分割方法、装置、电子设备及计算机可读存储介质 |
| CN114677381B (zh) * | 2022-05-30 | 2022-10-11 | 天津云圣智能科技有限责任公司 | 绝缘子分割方法、装置、电子设备及计算机可读存储介质 |
| CN115311587A (zh) * | 2022-09-07 | 2022-11-08 | 无锡海纳智能科技有限公司 | 一种光伏电站巡检航点的智能生成方法 |
| CN115311587B (zh) * | 2022-09-07 | 2024-05-31 | 无锡海纳智能科技有限公司 | 一种光伏电站巡检航点的智能生成方法 |
| CN115454142A (zh) * | 2022-10-17 | 2022-12-09 | 国网冀北电力有限公司承德供电公司 | 基于三维激光点云模型的无人机路径规划方法及装置 |
| CN117788901A (zh) * | 2023-12-22 | 2024-03-29 | 国网湖北省电力有限公司超高压公司 | 超高压检修作业路径评估方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112034878B (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112034878B (zh) | 基于无人机的电力巡检方法、装置和电子设备 | |
| CN110244750B (zh) | 一种无人机巡视路径规划方法及装置 | |
| He et al. | Research of multi-rotor UAVs detailed autonomous inspection technology of transmission lines based on route planning | |
| CN113494913A (zh) | 无人机电力巡检规划方法、装置、计算机设备和存储介质 | |
| CN108519094B (zh) | 局部路径规划方法及云处理端 | |
| CN112650218B (zh) | 一种基于碰撞检测的变电站巡检航线规划方法及装置 | |
| CN109447371A (zh) | 巡检路径规划方法、装置、电子设备及可读存储介质 | |
| CN111443730B (zh) | 一种用于输电线路巡检的无人机轨迹自动生成方法及装置 | |
| CN108844541A (zh) | 一种基于巡检场景的机巡路径规划方法 | |
| CN112154303B (zh) | 高精度地图定位方法、系统、平台及计算机可读存储介质 | |
| CN114020015A (zh) | 基于障碍物地图双向搜索的无人机路径规划系统及方法 | |
| CN113359808A (zh) | 一种无人机电力巡检多级路径规划方法及相关装置 | |
| CN114187297A (zh) | 一种输电线路风偏校核方法及校核系统 | |
| CN116880561A (zh) | 基于改进粒子群无人机路径规划安全增强的优化方法及系统 | |
| CN113222914A (zh) | 一种基于配准点云的树障隐患快速检测方法 | |
| CN117132915A (zh) | 一种基于点云自动分类的输电线路树障隐患分析方法 | |
| CN115629617A (zh) | 一种无人机塔杆巡检航线自动规划方法 | |
| CN114138020A (zh) | 一种对变电站无人机的航线进行校核的方法和装置 | |
| CN116483118A (zh) | 一种适用于导地线弧垂变化的无人机自主巡检航线自动生成方法 | |
| CN115825984A (zh) | 一种基于激光点云的输电线路巡检系统及巡检方法 | |
| Wang et al. | Coverage path planning design of mapping UAVs based on particle swarm optimization algorithm | |
| CN115793695A (zh) | 变电站巡视航线的生成方法及装置 | |
| CN115965790A (zh) | 一种基于布料模拟算法的倾斜摄影点云滤波方法 | |
| CN108332721B (zh) | 航空影像并行空三与递归式融合方法 | |
| JP7017606B2 (ja) | 飛行システム、飛行体、制御装置、及び、方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |