CN117710902B - 基于数据分析及标定物的输电导线风害监测方法及装置 - Google Patents
基于数据分析及标定物的输电导线风害监测方法及装置 Download PDFInfo
- Publication number
- CN117710902B CN117710902B CN202410160776.3A CN202410160776A CN117710902B CN 117710902 B CN117710902 B CN 117710902B CN 202410160776 A CN202410160776 A CN 202410160776A CN 117710902 B CN117710902 B CN 117710902B
- Authority
- CN
- China
- Prior art keywords
- power transmission
- target point
- galloping
- transmission wire
- wire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 179
- 238000012544 monitoring process Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000007405 data analysis Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 239000004020 conductor Substances 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 239000000463 material Substances 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000009434 installation Methods 0.000 abstract description 10
- 238000012806 monitoring device Methods 0.000 abstract description 10
- 230000033001 locomotion Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000002209 hydrophobic effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007605 air drying Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Electric Cable Installation (AREA)
Abstract
本发明属于输电导线监测特定计算模型的技术领域，更具体地，涉及一种基于数据分析及标定物的输电导线风害监测方法及装置。该方法包括：基于输电导线及输电导线的挂载杆塔构建O‑xyz空间坐标系，输电导线上固定安装有标定物；利用图像监测设备获取包含完整标定物的图像帧数据，用于输电导线舞动分析和输电导线脱冰跳跃分析；利用目标检测算法识别图像帧数据中的标定物，获取目标点所在边的边长所占像素数及在每一帧图像中的位置和像素数；计算输电导线的舞动参数和脱冰跳跃参数，并与相应阈值进行比较，以分析是否发生导线舞动或导线脱冰跳跃。本发明解决了现有技术中采用在导线上安装传感器的方式所存在的设备成本高、安装难度大等问题。
Description
技术领域
本发明属于输电导线监测特定计算模型的技术领域，更具体地，涉及一种基于数据分析及标定物的输电导线风害监测方法、装置、电子设备和存储介质。
背景技术
随着社会对用电质量要求逐步提高，对输电运检的智能化水平和实时性有了更高的要求。风会引起输电线路异动，包括导地线风偏、微风振动、次档距激荡、导线舞动、导线脱冰跳跃、横向碰击、跳线风偏等，均为输电运检重点关注项。
导线舞动和导线脱冰跳跃均为导线覆冰后发生的导线异动，这两种危害可能是导线非同一次覆冰后出现的不同异常，也可能是导线同一次覆冰后的不同阶段，其中常见情形是导线覆冰初期在风的续激励作用下，导线发生舞动，后随着舞动或其他导线运动导致的冰跟导线接触面松动、外层冰生长，叠加负荷变化、环境温度变化等，导致冰大面积突然脱落，引发脱冰跳跃。
监测方面，导线舞动因幅度较大，目前可实现在线监测，常用技术手段是在导线加装运动传感器，但该方法存在设备成本高，难以批量应用，另外传感器内部均有电路，带电安装容易受到电磁干扰，且安装后常发生因CT取电不稳定导致采集不到数据的情况。导线脱冰跳跃目前尚无成熟监测方案。
中国专利文献CN105181109A公开一种导线脱冰跳跃轨迹双目测量方法，首先将测量装置架设在与待测导线平行的位置，将测量装置与上位机连接形成测量系统，通过上位机计算，获取测量系统的内参数和结构参数；然后测量装置采用仰视姿态连续拍摄脱冰导线，通过上位机进行数据处理，完成两个相机与导线图像匹配点的立体匹配和匹配点的三维坐标计算；最后对数据处理后的计算结果进行坐标变换，显示出脱冰导线横向运动轨迹、纵向运动轨迹和轴心运动轨迹。该方法是利用两个相机来对导线进行脱冰跳跃监测，其缺陷是易受环境、光线等因素的影响，容易导致监测结果不稳定、甚至出现偏差。
中国专利文献CN114894091A公开一种双目视觉测距功能的线路监控装置及系统，结合双目三维视觉测距功能测量危险物体到导线的距离，结合导线舞动的幅度，对舞动的危险程度进行判断，并通过算法进行导线舞动的轨迹曲线拟合计算，舞动严重时，可通过装置上的摄像头对现场情况进行抓拍图片和拍摄视频记录，线路维护人员根据APP软件可及时查看舞动预警信息、现场图片和实时视频等。该方法虽然能实现导线的舞动监测，但是计算过程较为复杂，且应用成本高。
综上所述，如何提供一种高效、低成本、稳定的方式实现对输电线路导线舞动进行监测，并尽可能多的监测出其他风害类型，如导线脱冰跳跃，是目前本领域技术人员亟待解决的问题之一。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种基于数据分析及标定物的输电导线风害监测方法，用于在进行输电智能运检导线运行工况监测时，可以准确识别导线舞动、导线脱冰跳跃等，并计算导线舞动振幅及脱冰跳跃幅度，为运检人员提供可靠的数据支撑，以便对相关隐患及时处置。
本发明还公开一种加载有基于数据分析及标定物的输电导线风害监测方法的装置。
本发明详细的技术方案如下：
一种基于数据分析及标定物的输电导线风害监测方法，所述方法用于输电导线舞动监测，其包括：
步骤S1、基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，其中，所述输电导线上固定安装有标定物；
步骤S2、利用图像监测设备定时获取包含完整标定物的图像帧数据，以用于输电导线舞动分析；
步骤S3、利用目标检测算法对所述图像帧数据中的标定物进行识别，生成目标物识别框，选择所述目标物识别框任一边的中心点作为目标点，并记录所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数；
步骤S4、基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，计算输电导线的舞动参数，并结合输电导线舞动特性，将所述舞动参数与预设阈值范围进行比较：若所述舞动参数在所述预设阈值范围内，则判定输电导线发生舞动。
根据本发明优选的，所述步骤S1中，基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，具体包括：
以输电导线任一端杆塔的塔基为原点O，以该杆塔构建z轴，以输电导线在水平面上的投影构建y轴，以过原点O且同时垂直于y轴的直线构建x轴，构建O-xyz空间坐标系。
根据本发明优选的，所述步骤S1中，所述标定物为采用抗风材质制成的圆形标定物，且标定物上设有贯穿孔。
根据本发明优选的，所述步骤S3中，所述目标检测算法为训练好的yolov5目标检测模型；且所述步骤S3具体包括：
将所述图像帧数据输入所述目标检测算法中，生成目标物识别框；
将所述目标物识别框任一边的中心点作为目标点，并获取所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数。
根据本发明优选的，所述步骤S4中，基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，计算输电导线的舞动参数为：
式和/>中，/>表示输电导线的舞动振幅，/>表示输电导线的舞动频率，/>表示目标点处于最高点与最低点的平均像素差值，/>表示标定物的直径，/>表示目标点所在边的边长所占像素数，/>表示图像帧数据的帧率，/>表示目标点处于最低点时所有相邻最低点之间相差的平均帧数。
一种基于数据分析及标定物的输电导线风害监测方法，所述方法用于输电导线脱冰跳跃监测，其包括：
步骤S5、基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，其中，所述输电导线上固定安装有标定物；
步骤S6、利用图像监测设备连续获取包含完整标定物的图像帧数据，以用于输电导线脱冰跳跃分析；
步骤S7、利用目标检测算法对所述图像帧数据中的标定物进行识别，生成目标物识别框，选择所述目标物识别框任一边的中心点作为目标点，并记录所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数；
步骤S8、基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，计算输电导线的脱冰跳跃参数，并结合输电导线脱冰跳跃特性，将所述脱冰跳跃参数与预设阈值进行比较：若所述脱冰跳跃参数大于所述预设阈值，则判定输电导线发生脱冰跳跃。
根据本发明优选的，所述步骤S8中，基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，计算输电导线的脱冰跳跃参数为：
式中，/>表示目标点的跳跃幅度，/>表示目标点跳跃到最高点/>的像素数与T时刻之前所在位置的平均像素数之间的差值，/>表示标定物的直径，/>表示目标点所在边的边长所占像素数。
一种实现基于数据分析及标定物的输电导线风害监测方法的装置，所述装置包括：
构建模块，用于基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，其中，所述输电导线上固定安装有标定物；
获取模块，用于利用图像监测设备获取包含完整标定物的图像帧数据，以用于输电导线舞动分析和用于输电导线脱冰跳跃分析；
识别模块，用于利用目标检测算法对所述图像帧数据中的标定物进行识别，生成目标物识别框，选择所述目标物识别框任一边的中心点作为目标点，并记录所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数；
分析模块，用于基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，分别计算输电导线的舞动参数和输电导线的脱冰跳跃参数，并结合输电导线舞动特性，将所述舞动参数与预设阈值范围进行比较：若所述舞动参数在所述预设阈值范围内，则判定输电导线发生舞动；或结合输电导线脱冰跳跃特性，将所述脱冰跳跃参数与预设阈值进行比较：若所述脱冰跳跃参数大于所述预设阈值，则判定输电导线发生脱冰跳跃。
在本发明的另一个方面当中，还提供了一种电子设备，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的基于数据分析及标定物的输电导线风害监测方法。
在本发明的另一个方面当中，还提供了一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的基于数据分析及标定物的输电导线风害监测方法。
与现有技术相比，本发明的有益效果为：
（1）本发明提供的一种基于数据分析及标定物的输电导线风害监测方法，通过监测输电导线上固定安装的标定物的位置变化，来实现导线舞动监测以及导线脱冰跳跃监测，并结合输电导线舞动特性以及输电导线脱冰跳跃特性，计算输电导线的舞动参数和输电导线的脱冰跳跃参数，然后将舞动参数和脱冰跳跃参数分别与对应的阈值进行比较，以此分析判断是否发生导线舞动或导线脱冰跳跃，提升了智能运检水平，具有高效、低成本、稳定等优点。
（2）本发明相较人工巡检，能大幅减轻人力成本，提高监测实时性。
（3）本发明是基于标定物位置进行分析，内部没有电路，无需供电，稳定性极高，相较在导线加装倾角传感器或拉力传感器的方法，成本减少两个数量级，而且避开了传感器带电安装容易受到电磁干扰，且安装后数据采集不稳定的问题。
附图说明
图1是本发明实施例1中基于数据分析及标定物的输电导线舞动监测的流程图。
图2是本发明实施例2中基于数据分析及标定物的输电导线脱冰跳跃监测的流程图。
图3是本发明实施例1、2中利用图像监测设备获取图像帧数据的示意图。
图4是本发明实施例1、2中标定物所在平面α的示意图。
图5是本发明实施例1、2中生成的目标物识别框的示意图。
图6是本发明实施例1中输电导线发生舞动的运动轨迹示意图。
图7是本发明实施例2中输电导线发生脱冰跳跃的运动轨迹示意图。
具体实施方式
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
术语解释：
导线舞动：是指风对非圆截面导线产生的一种低频（约为0.1~3Hz）、大振幅的导线自激振动，最大振幅可以达到导线直径的5~300倍，是一种空气动力不稳定现象，由于其形态上下翻飞，形如龙舞，也称舞动。舞动的形成和发展与导线的覆冰、风激励以及线路的结构和参数有关。
导线脱冰跳跃：是指覆冰导线在气温升高、自然风力作用或人为振动敲击之下会产生不均匀脱冰或不同期脱冰，引起导线剧烈跳跃的现象。
以下结合具体实施例对本发明的基于数据分析及标定物的输电导线风害监测方法及装置作进一步说明。
实施例1、
参图1，本实施例提供一种基于数据分析及标定物的输电导线风害监测方法，所述方法用于输电导线舞动监测，其包括：
步骤S1、基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，其中，所述输电导线上固定安装有标定物。
具体地，本实施例中采用在输电导线上固定标定物，并通过判断标定物在空间中的位置是否发生了变化的方式来实现输电导线风害监测。其中，输电导线的风害类型包括导地线风偏、微风振动、次档距激荡、导线舞动、导线脱冰跳跃、横向碰击、跳线风偏等。在本实施例中，设置标定物主要用于输电导线舞动的监测。
参图5，本实施例中的标定物优选为圆形标定物，且固定安装在待监测的输电导线上。将标定物设计为圆形的优点是安装时无需调整角度，且在后续步骤中利用目标检测算法识别该标定物时，其目标物识别框的大小不受标定物旋转影响。同时，该标定物的制作材质优选采用醒目颜色、憎水、抗风材质，比如，该标定物可以是采用橙色抗风材质制成，并且可以在标定物上打上多个小贯穿孔用于减少风阻。
参图4，所述步骤S1中，为便于建模，可基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，具体包括：以输电导线任一端杆塔的塔基为原点O，以该杆塔构建z轴（杆塔顶端延伸方向为z轴正方向），以输电导线在水平面上的投影构建y轴（输电导线另一端的延伸方向为y轴正方向），以过原点O且同时垂直于y轴的直线构建x轴，从而构建O-xyz空间坐标系。
并且，在该空间中，存在一个平行于xoz平面且包含标定物的平面，将其确定为平面α，当输电导线发生舞动时，标定物将在该平面α内移动，因此，可通过分析标定物的某点在该平面α内的位置及运动轨迹，来实现输电导线舞动监测。
步骤S2、利用图像监测设备定时获取包含完整标定物的图像帧数据，以用于输电导线舞动分析。
具体地，根据不同季节、气象设定不同的图像采集策略，对高发风害隐患进行分析。在本实施例中，在冬季导线舞动易发区域，定时采集60s视频，用于导线舞动分析及参数计算。
参图3，本实施例中采用图像监测设备来定时获取图像帧数据，图像监测设备可以安装在标定物临近的杆塔上。图像帧数据中需包含完整的标定物，且为了利于后续目标检测，要求标定物的直径不小于30像素。
进一步地，根据标定物距图像监拍设备的距离不等，标定物的直径可以是10cm、15cm、20cm等。且经试验发现，最佳监拍距离为标定物距图像监拍设备60m~150m，过近标定物会超出监拍画面，过远标定物直径所占像素数会小于30像素，不利于目标检测，计算真实距离时误差会变大。
步骤S3、利用目标检测算法对所述图像帧数据中的标定物进行识别，生成目标物识别框，选择所述目标物识别框任一边的中心点作为目标点，并记录所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数。
具体地，本实施例中所述的目标检测算法优选采用训练好的yolov5目标检测模型。将所获取的图像帧数据输入到该目标检测模型中，目标检测模型识别所获取的图像帧数据中的标定物，并生成目标物识别框。
继续参照图5，本实施例中，目标物识别框的形状为正方形，为便于理解，此处可以在目标物识别框的各顶点从左上顶点起逆时针依次标定字母ABCD，并选择该目标物识别框的底部边框（即BC边）的中心点作为目标点M，便于观察和分析输电导线发生舞动时的位置变化。
同时，目标检测模型对输入的每张或每帧图片进行分析并记录相关数据，包括记录目标物识别框BC边的边长所占像素数以及目标点M在每一帧图片中的位置/>和像素数/>。
步骤S4、基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，计算输电导线的舞动参数，并结合输电导线舞动特性，将所述舞动参数与预设阈值范围进行比较：若所述舞动参数在所述预设阈值范围内，则判定输电导线发生舞动。
具体可参照图6，输电导线的舞动特性是：在标定物所在的平面α内，目标点M在O-xyz空间坐标系中沿z轴方向上下运动，运动频率为0.1~3Hz，振幅稳定且数值在0.1~6m；并且，在距图像监测设备60m~150m的输电导线上，其各处的运动振幅、频率一致，其波形基本呈正弦波，且在一个周期内，目标点M舞动的位置具有最高点和最低点。
此处需要说明的是，本实施例中的最高点和最低点分别定义为：如果某一帧图像中目标点M的位置比前后各3帧的位置均高，则为最高点；如果某一帧图像中目标点M的位置比前后各3帧的位置均低，则为最低点。
基于此，分析定时采集的60s视频的图像帧数据，用表示图像帧数据的帧率，一般图像监测设备常见的帧率值为25帧/秒。通过步骤S3已知目标点M所在BC边的边长所占像素数/>以及目标点M在图像帧数据的每一帧中的位置/>和像素数/>，假设目标点M在N个周期内舞动到最高点/>的平均像素数为/>、舞动到最低点/>的平均像素数为/>，则目标点M处于最高点/>与最低点/>的平均像素差值为/>；且在N个周期内目标点M处于最低点/>时所有相邻最低点之间相差的平均帧数为/>，则有：
式和/>中，/>表示输电导线的舞动振幅，/>表示输电导线的舞动频率，/>表示目标点M处于最高点/>与最低点/>的平均像素差值，/>表示标定物的直径，/>表示目标点M所在边的边长所占像素数，/>表示图像帧数据的帧率，/>表示目标点处于最低点时所有相邻最低点之间相差的平均帧数。
经计算，如果且/>，则判定为输电导线发生舞动；若振幅和频率/>不在预设阈值范围内，则判定输电导线为其他类型异动。
以下以某220kV线路为例对本实施例的导线舞动监测方法进行验证说明。某220kV线路存在大档距杆塔且部分区段容易覆冰，为保障输电线路安全稳定运行，需要对大档距导线运行工况进行监测。其中一个档距两级杆塔档距为290m。大号侧塔上安装有图像监测设备。在该点位使用本实施例所公开的方法进行导线舞动监测，为验证本实施例方法的有效性，在输电导线上安装了运动传感器，用于相互验证。
具体为：于2022.4.20在下相导线某分裂线上安装了直径=10cm的标定物，标定物为圆形、橙色、憎水、抗风材质，距离图像监测设备80m。同天用图像监测设备采集包含完整标定物的图像帧数据，图像分辨率为3264*2448，所采集图像中可清晰的看到标定物。
于2023.1.14 08:00-09:00对多次采集的图像帧数据进行分析，确认导线、地线均发生了覆冰。
自2023.1.14 09:00起，每小时采集60s视频进行导线舞动分析，视频帧率为25帧/秒。
以装有图像监测设备对侧杆塔的塔基为原点O，以该杆塔构建z轴，连接两杆塔水平方向（或输电导线在水平面上的投影）为y轴，以过原点O且同时垂直于y轴的直线构建x轴，构建O-xyz空间坐标系。设平行于xoz平面且包含标定物的平面为平面α。
使用训练好的yolov5目标检测模型对图像帧数据中的标定物进行识别，对每一帧图像进行分析并记录相关数据，目标物识别框为正方形，在目标物识别框的各顶点从左上顶点起逆时针依次标定ABCD，并将目标物识别框的底边BC边的中心点作为目标点M，记录目标物识别框BC边的边长所占像素数=43，以及记录目标点M在每一帧图片中的位置/>和像素数/>，进行数据分析，计算出在N个周期内目标点M处于最高点/>与最低点/>的平均像素差值，以及处于最低点/>时相差的平均帧数为/>。
对2023.1.14 09:00~2023.1.14 14:00期间内的6段视频图像进行计算分析，得到的值为2或3，/>的值为8.3~12.5Hz，该值不在0.1~3Hz这个范围内，因此判定不属于导线舞动，其特征跟微风振动接近。
对2023.1.14 15:00采集的视频图像进行分析，测的目标点M处于最高点与最低点/>的平均像素差值/>=533，处于最低点/>时相差的平均帧数为/>=12。
将上述数据代入公式和/>中计算得到：/>=0.62m，/>=2.1Hz，与导线舞动频率0.1~3Hz，振幅稳定且数值在0.1~6m相符，判定为导线舞动。目标点M的运动轨迹如图6所示。
基于运动传感器监测的方式同样监测到了导线舞动，同时间段导线舞动频率为2.1Hz，振幅为0.609m，振幅相差1.8%，从侧面验证了本实施例方法的有效性。
实施例2、
参图2，本实施例提供一种基于数据分析及标定物的输电导线风害监测方法，所述方法用于输电导线脱冰跳跃监测，其包括：
步骤S5、基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，其中，所述输电导线上固定安装有标定物。
其中，可继续参照图4和图5，所述的标定物与实施例1中的标定物结构形状相同、安装位置也相同，以及所构建的O-xyz空间坐标系也与实施例1中的相同，此处不再赘述。
同样地，构建好O-xyz空间坐标系之后，在该空间中，存在一个平行于xoz平面且包含标定物的平面，将其确定为平面α，当输电导线发生脱冰跳跃时，标定物将在该平面α内移动，因此，可通过分析标定物的某点在该平面α内的位置及运动轨迹，来实现输电导线的脱冰跳跃监测。
步骤S6、利用图像监测设备连续获取包含完整标定物的图像帧数据，以用于输电导线脱冰跳跃分析。
具体地，根据不同季节、气象设定不同的图像采集策略，对高发风害隐患进行分析。在本实施例中，在冬季导线覆冰后，在大风干燥天气对输电导线上的标定物进行连续监测，用于导线脱冰跳跃分析及计算。
可继续参照图3，图像监测设备的安装位置、以及其与标定物之间的距离设置均与实施例1中的相同，此处不再赘述。
步骤S7、利用目标检测算法对所述图像帧数据中的标定物进行识别，生成目标物识别框，选择所述目标物识别框任一边的中心点作为目标点，并记录所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数。
本实施例中，同样采用训练好的yolov5目标检测模型对图像帧数据中的标定物进行识别，并生成呈正方形的目标物识别框，在目标物识别框的各顶点从左上顶点起逆时针依次标定ABCD，并选择该目标物识别框的底部边框（即BC边）的中心点作为目标点M，便于观察和分析输电导线发生脱冰跳跃时的位置变化。其具体实现方式与实施例1中的相同，最终可得到目标物识别框BC边的边长所占像素数以及目标点M在每一帧图片中的位置和像素数。
本实施例中，与实施例1的区别在于，当输电导线于某一时刻发生脱冰时，目标点M将会于该时刻突然向上运动，且运动幅度较大，最后到达一个最高位置，之后在没有外力的干扰下，目标点M的运动幅度逐渐归零。因此，本实施例中所述的目标点M在每一帧图片中的位置及像素包括在最高位置的像素数以及发生脱冰跳跃这一刻之前所在位置的像素数。
步骤S8、基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，计算输电导线的脱冰跳跃参数，并结合输电导线脱冰跳跃特性，将所述脱冰跳跃参数与预设阈值进行比较：若所述脱冰跳跃参数大于所述预设阈值，则判定输电导线发生脱冰跳跃。
具体可参照图7，输电导线脱冰跳跃的特性是：在标定物所在的平面α内，目标点M于T时刻开始在O-xyz空间坐标系中沿z轴方向向上运动，该点距图像监测设备60~150m时，其跳跃幅度超过1m，之后开始上下反复运动，幅度逐渐归零，持续时间不超过60s；且在整个跳跃过程中，输电导线各处运动幅度不一致，目标点M跳跃的位置具有最高点。
此处需要说明的是，本实施例中的最高点定义为：如果某一帧图像中目标点M的位置比前后各3帧的位置均高，则为最高点。
基于此，对标定物连续监测，用表示图像帧数据的帧率，识别图像帧数据中标定物的目标点M的位置及像素并记录，包括目标点M跳跃到最高点/>时的像素数、以及目标点M于T时刻之前所在位置的像素数。假设目标点M跳跃到最高点/>时的像素数为/>，目标点M于T时刻之前所在位置的平均像素数为/>，则有目标点M跳跃到最高点/>的像素数/>与T时刻之前所在位置的平均像素数/>之间的差值为/>，此时若目标点M的跳跃幅度满足：
式中，/>表示目标点M的跳跃幅度，/>表示目标点M跳跃到最高点/>的像素数与T时刻之前所在位置的平均像素数之间的差值，/>表示标定物的直径，/>表示目标点M所在边的边长所占像素数；
且，目标点M于60s内停止运动，则判定为输电导线发生脱冰跳跃；若目标点M的跳跃幅度小于或等于，则判定输电导线为其他类型异动。
以下仍以某220kV线路为例对本实施例的导线脱冰跳跃监测方法进行验证说明。于2023.1.15运检人员研判，因天气转晴，空气湿度低，伴随有大风，导线覆冰很可能会脱落，需进行导线脱冰跳跃监测，以便对问题及时定位。
利用图像监测设备对标定物进行连续监测，帧率为25帧/秒，采集到包含完整标定物的图像帧数据，且图像中可清晰的看到标定物。
使用训练好的yolov5目标检测模型对图像帧数据中的标定物进行识别，对每一帧图像进行分析并记录相关数据，目标物识别框为正方形，在目标物识别框的各顶点从左上顶点起逆时针依次标定字母ABCD，并将目标物识别框的BC边的中心点作为目标点M，记录目标物识别框BC边的边长所占像素数=43。
于2023.1.15 10:57:23.360监测到该帧图像中目标点M的位置均高于前3帧图像中的位置，并于2023.1.15 10:57:26.120达到最高点，并计算出目标点M于最高点的像素数与2023.1.15 10:57:23.360这一时刻之前所在位置的平均像素数之间的差值为/>=520像素。经持续监测，目标点M于2023.1.15 10:58:06监测不到运动。
将上述数据代入公式中计算得到：/>=1.21m，大于预设阈值/>并结合目标点M运动后在43s即监测不到运动，判定输电导线发生脱冰跳跃。目标点M的运动轨迹如图7所示。
由于对比项中运动传感器缺少相应的计算模型，对短时导线异动判定为异常数据，未进行预警。最后经运检人员对视频回放确认，确定发生了导线脱冰跳跃。
在上述实施例中，分别对导线舞动监测和导线脱冰跳跃监测的实现过程进行了详细说明，且上述方法均取得了非常好的效果，提升了智能运检水平；相较人工巡检，能大幅减轻人力成本，提高监测实时性；同时，上述方法是基于标定物位置进行分析，内部没有电路，无需供电，稳定性极高，相较在导线加装倾角传感器或拉力传感器的方法，成本减少两个数量级，而且避开了传感器带电安装容易受到电磁干扰，且安装后数据采集不稳定的问题。
实施例3、
本实施例提供一种实现基于数据分析及标定物的输电导线风害监测方法的装置，所述装置包括：
构建模块，用于基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，其中，所述输电导线上固定安装有标定物；
获取模块，用于利用图像监测设备获取包含完整标定物的图像帧数据，以用于输电导线舞动分析和用于输电导线脱冰跳跃分析；
识别模块，用于利用目标检测算法对所述图像帧数据中的标定物进行识别，生成目标物识别框，选择所述目标物识别框任一边的中心点作为目标点，并记录所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数；
分析模块，用于基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，分别计算输电导线的舞动参数和输电导线的脱冰跳跃参数，并结合输电导线舞动特性，将所述舞动参数与预设阈值范围进行比较：若所述舞动参数在所述预设阈值范围内，则判定输电导线发生舞动；或结合输电导线脱冰跳跃特性，将所述脱冰跳跃参数与预设阈值进行比较：若所述脱冰跳跃参数大于所述预设阈值，则判定输电导线发生脱冰跳跃。
实施例4、
本实施例还提供一种电子设备，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的基于数据分析及标定物的输电导线风害监测方法。
在本实施例中，电子设备可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
实施例5、
本实施例还提供了一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的基于数据分析及标定物的输电导线风害监测方法。
具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本说明书的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种基于数据分析及标定物的输电导线风害监测方法，其特征在于，所述方法用于输电导线舞动监测，其包括：
S1：基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，其中，所述输电导线上固定安装有标定物；
S2：利用图像监测设备定时获取包含完整标定物的图像帧数据，以用于输电导线舞动分析；
S3：利用目标检测算法对所述图像帧数据中的标定物进行识别，生成目标物识别框，选择所述目标物识别框任一边的中心点作为目标点，并记录所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数；
S4：基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，计算输电导线的舞动参数，并结合输电导线舞动特性，将所述舞动参数与预设阈值范围进行比较：若所述舞动参数在所述预设阈值范围内，则判定输电导线发生舞动；
其中，所述输电导线的舞动参数为：
式和/>中，/>表示输电导线的舞动振幅，/>表示输电导线的舞动频率，/>表示目标点处于最高点与最低点的平均像素差值，/>表示标定物的直径，/>表示目标点所在边的边长所占像素数，/>表示图像帧数据的帧率，/>表示目标点处于最低点时所有相邻最低点之间相差的平均帧数。
2.根据权利要求1所述的基于数据分析及标定物的输电导线风害监测方法，其特征在于，所述步骤S1中，基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，具体包括：
以输电导线任一端杆塔的塔基为原点O，以该杆塔构建z轴，以输电导线在水平面上的投影构建y轴，以过原点O且同时垂直于y轴的直线构建x轴，构建O-xyz空间坐标系。
3.根据权利要求1所述的基于数据分析及标定物的输电导线风害监测方法，其特征在于，所述步骤S1中，所述标定物为采用抗风材质制成的圆形标定物，且标定物上设有贯穿孔。
4.根据权利要求1所述的基于数据分析及标定物的输电导线风害监测方法，其特征在于，所述步骤S3中，所述目标检测算法为训练好的yolov5目标检测模型；且所述步骤S3具体包括：
将所述图像帧数据输入所述目标检测算法中，生成目标物识别框；
将所述目标物识别框任一边的中心点作为目标点，并获取所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数。
5.一种基于数据分析及标定物的输电导线风害监测方法，其特征在于，所述方法用于输电导线脱冰跳跃监测，其包括：
S5：基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，其中，所述输电导线上固定安装有标定物；
S6：利用图像监测设备连续获取包含完整标定物的图像帧数据，以用于输电导线脱冰跳跃分析；
S7：利用目标检测算法对所述图像帧数据中的标定物进行识别，生成目标物识别框，选择所述目标物识别框任一边的中心点作为目标点，并记录所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数；
S8：基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，计算输电导线的脱冰跳跃参数，并结合输电导线脱冰跳跃特性，将所述脱冰跳跃参数与预设阈值进行比较：若所述脱冰跳跃参数大于所述预设阈值，则判定输电导线发生脱冰跳跃；
其中，所述输电导线的脱冰跳跃参数为：
式中，/>表示目标点的跳跃幅度，/>表示目标点跳跃到最高点/>的像素数与T时刻之前所在位置的平均像素数之间的差值，/>表示标定物的直径，/>表示目标点所在边的边长所占像素数。
6.一种实现基于数据分析及标定物的输电导线风害监测方法的装置，其特征在于，所述装置包括：
构建模块，用于基于输电导线以及所述输电导线的挂载杆塔构建O-xyz空间坐标系，其中，所述输电导线上固定安装有标定物；
获取模块，用于利用图像监测设备获取包含完整标定物的图像帧数据，以用于输电导线舞动分析和用于输电导线脱冰跳跃分析；
识别模块，用于利用目标检测算法对所述图像帧数据中的标定物进行识别，生成目标物识别框，选择所述目标物识别框任一边的中心点作为目标点，并记录所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数；
分析模块，用于基于所述目标点所在边的边长所占像素数以及所述目标点在所述图像帧数据的每一帧中的位置和像素数，分别计算输电导线的舞动参数和输电导线的脱冰跳跃参数，并结合输电导线舞动特性，将所述舞动参数与预设阈值范围进行比较：若所述舞动参数在所述预设阈值范围内，则判定输电导线发生舞动；或结合输电导线脱冰跳跃特性，将所述脱冰跳跃参数与预设阈值进行比较：若所述脱冰跳跃参数大于所述预设阈值，则判定输电导线发生脱冰跳跃；
其中，所述输电导线的舞动参数为：
式和/>中，/>表示输电导线的舞动振幅，/>表示输电导线的舞动频率，/>表示目标点处于最高点与最低点的平均像素差值，/>表示标定物的直径，/>表示目标点所在边的边长所占像素数，/>表示图像帧数据的帧率，/>表示目标点处于最低点时所有相邻最低点之间相差的平均帧数；
所述输电导线的脱冰跳跃参数为：
式中，/>表示目标点的跳跃幅度，/>表示目标点跳跃到最高点/>的像素数与T时刻之前所在位置的平均像素数之间的差值，/>表示标定物的直径，/>表示目标点所在边的边长所占像素数。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1至5中任一项所述的基于数据分析及标定物的输电导线风害监测方法。
8.一种机器可读存储介质，其特征在于，所述机器可读存储介质上存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1至5中任一项所述的基于数据分析及标定物的输电导线风害监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410160776.3A CN117710902B (zh) | 2024-02-05 | 2024-02-05 | 基于数据分析及标定物的输电导线风害监测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410160776.3A CN117710902B (zh) | 2024-02-05 | 2024-02-05 | 基于数据分析及标定物的输电导线风害监测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117710902A CN117710902A (zh) | 2024-03-15 |
| CN117710902B true CN117710902B (zh) | 2024-05-10 |
Family
ID=90159282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410160776.3A Active CN117710902B (zh) | 2024-02-05 | 2024-02-05 | 基于数据分析及标定物的输电导线风害监测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710902B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574390A (zh) * | 2014-12-29 | 2015-04-29 | 华北电力大学（保定） | 基于视频监测技术的输电导线舞动幅值及频率的计算方法 |
| CN113870220A (zh) * | 2021-09-28 | 2021-12-31 | 合肥工业大学 | 基于矩形图像检测的导线舞动在线监测方法及装置 |
| WO2022028135A1 (zh) * | 2020-08-06 | 2022-02-10 | 上海哔哩哔哩科技有限公司 | 在线体感斗舞方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075798A1 (en) * | 2016-09-14 | 2018-03-15 | Apple Inc. | External Compensation for Display on Mobile Device |
-
2024
- 2024-02-05 CN CN202410160776.3A patent/CN117710902B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574390A (zh) * | 2014-12-29 | 2015-04-29 | 华北电力大学（保定） | 基于视频监测技术的输电导线舞动幅值及频率的计算方法 |
| WO2022028135A1 (zh) * | 2020-08-06 | 2022-02-10 | 上海哔哩哔哩科技有限公司 | 在线体感斗舞方法、装置、计算机设备及存储介质 |
| CN113870220A (zh) * | 2021-09-28 | 2021-12-31 | 合肥工业大学 | 基于矩形图像检测的导线舞动在线监测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Wildfire Monitoring Technology of Transmission Lines Based on Himawari-8 Geostationary Meteorological Satellite;Weijie Chen;IEEE;20200409;全文 * |
| 基于输电线路在线巡视系统的智能预警系统研究;赵建青;姚瑶;邱玩辉;唐金锐;刘洪洁;李振宇;陈旭;谢敬;尹项根;;电力系统保护与控制;20131127(第23期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117710902A (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109958588B (zh) | 结冰预测方法、装置、存储介质、模型生成方法及装置 | |
| CN106919978B (zh) | 一种高铁接触网支撑装置零部件识别检测方法 | |
| US8724900B2 (en) | Method and apparatus for direct detection, location, analysis, identification, and reporting of vegetation clearance violations technical field | |
| CN117274818B (zh) | 一种输电线路弧垂监测及覆冰判断方法及装置 | |
| CN106683089A (zh) | 一种带约束配准的杆塔变形检测方法 | |
| CN103683086B (zh) | 运动雷暴风作用下输电线路风偏瞬态分析方法 | |
| CN104122560B (zh) | 一种输电线路广域冰情监测方法 | |
| CN106932084B (zh) | 基于机器双目视觉系统的输电导线风致振动模态测量方法 | |
| CN103698001B (zh) | 一种基于单目视觉分析方法的输电线路舞动监测方法 | |
| CN113532293B (zh) | 一种基于无人机的结构动位移测量方法及系统 | |
| CN109359882B (zh) | 一种台风灾害下输电线路跳闸风险评估方法 | |
| CN109100703A (zh) | 一种输电线路危险点检测方法及装置 | |
| CN117710902B (zh) | 基于数据分析及标定物的输电导线风害监测方法及装置 | |
| CN115275870A (zh) | 一种基于高空线路维护的巡检系统 | |
| CN115218801A (zh) | 基于机器视觉的风力发电机净空距离测量方法及装置 | |
| Lin et al. | Identification of icing thickness of transmission line based on strongly generalized convolutional neural network | |
| CN113674512B (zh) | 一种带电交叉跨越施工现场在线监测预警系统及方法 | |
| CN112561968B (zh) | 一种基于单目视觉的输电导线舞动监测方法及装置 | |
| US11847018B2 (en) | Method for utility infrastructure fault detection and monitoring | |
| CN115683020B (zh) | 输电线路覆冰厚度监测方法及装置、存储介质及设备 | |
| CN116046076A (zh) | 一种基于机器视觉技术的输电线路舞动在线检测系统 | |
| CN111307267A (zh) | 一种基于同心圆检测的导线舞动监测方法 | |
| CN103473709A (zh) | 一种电力线路运行状态与风险评估方法 | |
| CN117629079B (zh) | 基于数据分析及标定物的输电导线风偏监测方法及装置 | |
| CN105890739A (zh) | 一种输电导线舞动幅值的测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |