CN117726959B - 基于智能图像识别的无人机电力线路安全巡检系统及方法 - Google Patents
基于智能图像识别的无人机电力线路安全巡检系统及方法 Download PDFInfo
- Publication number
- CN117726959B CN117726959B CN202410178393.9A CN202410178393A CN117726959B CN 117726959 B CN117726959 B CN 117726959B CN 202410178393 A CN202410178393 A CN 202410178393A CN 117726959 B CN117726959 B CN 117726959B
- Authority
- CN
- China
- Prior art keywords
- power line
- aerial vehicle
- unmanned aerial
- inspection
- evaluation index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000011156 evaluation Methods 0.000 claims abstract description 70
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 130
- 238000012545 processing Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000005672 electromagnetic field Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 16
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000007664 blowing Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于智能图像识别的无人机电力线路安全巡检系统及方法。该基于智能图像识别的无人机电力线路安全巡检方法,包括以下步骤:获取外界气象数据,并分析气象干扰情况;通过无人机巡检进行图像采集及图像预处理;提取电力线路信息,结合气象干扰情况,分析电力线路负载情况;根据电力线路负载情况,对无人机巡检路径进行优化。本发明通过结合气象干扰评估指数,构建线路结构模型,实时更新电力线路权值,进而在重点巡检区域进行多次重点巡检,达到了考虑外界气象干扰因素,对无人机巡检路径进行优化的效果,解决了现有技术中存在无人机电力线路安全巡检过程中,存在未综合考虑外界气象干扰因素导致的无人机巡检路径优化出现偏差的问题。
Description
技术领域
本发明涉及无人机电力线路安全巡检技术领域,尤其涉及基于智能图像识别的无人机电力线路安全巡检系统及方法。
背景技术
随着电力系统规模的不断扩大和家庭电力设备数量的不断增加,对电力线路安全巡检的要求也愈发严格,传统的电力线路巡检通常依靠人工巡检,存在工作效率低下、安全风险高、覆盖范围有限等问题,近年来,计算机视觉技术以及深度学习技术不断被突破,传统的电力线路巡检方法被无人机巡检技术所替代,结合智能图像识别技术,无人机可以实现快速、高效的巡检,避免了人员直接接触高压线路的风险,同时可以获取更广泛的巡检范围和更完善的巡检数据。
现有的无人机电力线路巡检调度系统通过基于GIS的无人机电力线路巡检调度方法,通过调度终端对巡检的设备、人员、时间和线路进行调度,或是通过无人机载的摄像机拍摄的两个不同定位基站的图像,由图像处理计算机完成定位基站特征点识别和处理,建立无人机空间位置信息,实现基于无人机的智能图像识别技术,进行输电线路无人巡检。
例如公告号为:CN103824233B的发明专利公告的基于GIS的无人机电力线路巡检调度平台及方法,包括:调度服务器、人机交互模块、RFID读写器、身份证读取器、短信收发模块,配以基于GIS的无人机电力线路巡检调度方法,考虑巡检现场状态信息、设备信息和人员信息等要素,通过调度终端对巡检的设备、人员、时间和线路进行调度。
例如公开号为:CN113516708A的发明专利公开的一种基于图像识别与UWB定位融合的输电线路巡检无人机精确定位系统及方法,包括:一架装设UWB定位标签的无人机、一台数字摄像机、一台图像处理计算机、以及数个UWB定位基站组成;通过在两个杆塔之间的输电线路上安装四个空间位置已知的UWB定位基站,基站识别无人机上的定位标签发出的超宽带信号,根据UWB-TDOA(到达时间差)定位原理建立的无人机空间位置解算方法,得到无人机在输电线路物方坐标系中的空间位置;再通过无人机载的摄像机拍摄的两个不同定位基站的图像,由图像处理计算机完成定位基站特征点识别和处理,利用空间前方交会方法,得到无人机的物方坐标;再建立根据两种测量方法的误差,建立球形空间坐标模型,补偿和矫正无人机空间位置信息。
但本申请在实现本申请实施例中发明技术方案的过程中,发现上述技术至少存在如下技术问题:
现有技术中,配以基于GIS的无人机电力线路巡检调度方法,考虑巡检现场状态信息、设备信息和人员信息等要素,通过调度终端对巡检的设备、人员、时间和线路进行调度,或是根据UWB-TDOA(到达时间差)定位原理建立的无人机空间位置解算方法,得到无人机在输电线路物方坐标系中的空间位置,通过无人机载的摄像机拍摄的两个不同定位基站的图像,由图像处理计算机完成定位基站特征点识别和处理,利用空间前方交会方法,得到无人机的物方坐标,建立球形空间坐标模型,补偿和矫正无人机空间位置信息,但在无人机电力线路安全巡检过程中,存在未综合考虑外界气象干扰因素导致的无人机巡检路径优化出现偏差的问题。
发明内容
本申请实施例通过提供基于智能图像识别的无人机电力线路安全巡检系统及方法,解决了现有技术中,无人机电力线路安全巡检过程中,存在未综合考虑外界气象干扰因素导致的无人机巡检路径优化出现偏差的问题,实现了综合考虑外界气象干扰因素,对无人机巡检路径进行优化。
本申请实施例提供了一种基于智能图像识别的无人机电力线路安全巡检方法,包括以下步骤:获取外界气象数据,并分析气象干扰情况,所述气象数据包括外界风速、外界相对湿度以及电磁场强度;通过无人机巡检进行图像采集及图像预处理;提取电力线路信息,结合气象干扰情况,分析电力线路负载情况,所述电力线路信息包括电力线路长度、电路电压以及电路电流;根据电力线路负载情况,对无人机巡检路径进行优化。
进一步的,所述获取外界气象数据,并分析气象干扰情况,具体包括:每间隔一定周期,通过电力线路检测站点的传感器获取气象数据;对电力线路检测站点传感器以及传感器的周期进行编号;对气象数据进行数据预处理,构建气象干扰系数模型公式,并据其计算电力线路检测站点对应的气象干扰系数;结合气象干扰系数,构建电力线路气象干扰评估指数模型公式,计算得出各监测站点的电力线路对应电力线路气象干扰评估指数。
进一步的,所述数据预处理的具体分析方法为:从电力线路运行信息数据库获取预设历史周期的气象数据;对预设历史周期的气象数据进行数据处理,对所述气象数据中的重复数据进行剔除,得到第一清洗数据,并对所述第一清洗数据进行检测,识别并去除异常数据得到第二清洗数据,作为清洗后的预设周期的气象数据。
进一步的,所述通过无人机巡检进行图像采集及图像预处理具体包括:收集并存储无人机采集得到的电力线路图像数据信息;对采集得到的电力线路图像数据信息进行去噪处理,得出预处理后的电力线路图像数据信息;所述去噪处理具体包括根据电力线路图像窗口确定一个固定大小的正方形滤波模板,将滤波模板中心的像素值替换为该模板中所有像素的平均值,对电力线路图像中的每个像素都执行上述操作。
进一步的,所述分析电力线路负载情况具体包括:获取电力线路检测站点传感器收集得到的电路电压以及电路电流;从电力线路运行信息数据库获取各电力线路检测站点的变压器额定容量;每间隔一定周期,获取电力线路检测站点的传感器收集到的电路电压以及电路电流;构建电力线路负载评估指数模型公式,并计算各监测站点的电力线路对应电力线路负载评估指数;所述电力线路负载评估指数模型公式为:
式中,χij为第i个电力线路检测站点的传感器在第j个周期对应的电力线路负载评估指数,βij第i个电力线路检测站点的传感器在第j个周期对应的电力线路气象干扰评估指数,Uij表示为第i个电力线路检测站点的传感器在第j个周期对应的电路电压,Iij表示为第i个电力线路检测站点的传感器在第j个周期对应的电路电流,τ表示为设定的电路负载率对应的补偿比例值,Ci表示为第i个电力线路检测站点的变压器额定容量,i=1,2,3,...,n,n表示为输电线路检测站点的总数,j表示为周期的编号,j=1,2,3,...,m,m表示为周期的总数。
进一步的,所述对无人机巡检路径进行优化具体包括:结合无人机采集得到的电力线路图像数据信息,构建电力线路结构模型,分析得到电力线路结构评估指数;结合电力线路负载评估指数,更新各电力线路检测站点的路段权值;根据各电力线路检测站点的路段权值,规划无人机巡检路径,重点监测部分路段。
进一步的,所述电力线路结构评估指数的具体分析过程为:获取预处理后的电力线路图像数据信息;识别图像中的电力线路检测站点以及各检测站点所管辖的电力线路长度、位置信息,并提取出各电力线路检测站点所管辖的电力线路长度;根据所识别出的特征信息,构建电力线路结构模型;结合电力线路结构模型,构建电力线路结构评估指数模型公式,并计算各检测站点的电力线路对应的电力线路结构评估指数。
进一步的,所述更新各电力线路检测站点的路段权值具体包括:获取电力线路结构评估指数;计算各检测站点的电力线路对应的权值,并实时更新各电力线路检测站点的电力线路权值;其中,各检测站点的电力线路对应的权值的计算公式为:
式中,,Rij表示为第i个电力线路检测站点的电力线路在第j个周期对应的权值,γij表示为第i个电力线路检测站点的传感器在第j个周期对应的电力线路结构评估指数,i表示为电力线路检测站点的编号,i=1,2,3,...,n,n表示为输电线路检测站点的总数,j表示为周期的编号,j=1,2,3,...,m,m表示为周期的总数。
进一步的,所述根据各电力线路检测站点的路段权值,规划无人机巡检路径,重点监测部分路段包括:实时获取各电力线路检测站点的电力线路权值;对所获取的所有电力线路权值进行求和取平均,得到平均电力线路权值,并作为参照电力线路权值;根据参照电力线路权值,规划无人机巡检区域;若某电力线路检测站点的电力线路在该周期对应的权值不低于参照电力线路权值,则将所述某电力线路检测站点的电力线路作为无人机重点巡检区域;若某电力线路检测站点的电力线路在该周期对应的权值低于参照电力线路权值,则将所述某电力线路检测站点的电力线路作为无人机非重点巡检区域;根据所规划的无人机巡检区域,对其进行路径规划,安排无人机在重点巡检区域进行多次重点巡检。
本申请实施例提供了一种基于智能图像识别的无人机电力线路安全巡检系统,所述基于智能图像识别的无人机电力线路安全巡检系统包括:气象干扰情况分析模块:用于获取外界气象数据,并分析气象干扰情况,所述气象数据包括外界风速、外界相对湿度以及电磁场强度;无人机采集图像处理模块:用于通过无人机巡检进行图像采集及图像预处理;电力线路负载情况分析模块:用于提取电力线路信息,结合气象干扰情况,分析电力线路负载情况,所述电力线路信息包括电力线路长度、电路电压以及电路电流;无人机巡检路径优化模块:用于根据电力线路负载情况,对无人机巡检路径进行优化。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、通过获取电力线路检测站点的传感器收集到的气象数据,计算电力线路检测站点对应的气象干扰系数,结合气象干扰系数,得出各监测站点的电力线路对应电力线路气象干扰评估指数,获得气象干扰情况,间接得出各检测站点的电力线路对应的权值,从而根据电力线路权值,对无人机进行路径规划,进而实现了综合考虑外界气象干扰因素,从而在规划无人机巡检路径时考虑到出现的气象影响,避免优化后的巡检路径出现细微偏差,有效解决了现有技术中,无人机电力线路安全巡检过程中,存在未综合考虑外界气象干扰因素导致的无人机巡检路径优化出现偏差的问题。
2、通过预处理电力线路图像数据信息,识别图像中的电力线路检测站点以及各检测站点所管辖的电力线路长度、位置信息,并由此构建电力线路结构模型,计算得出各检测站点的电力线路对应的电力线路结构评估指数,从而得出各检测站点的电力线路对应的权值,进而实现了基于图像识别技术,构建电力线路结构模型,根据模型分析电力线路权值,根据权值实现巡检路径的自动优化,从而减轻人工巡检的负担,提高工作效率。
3、通过获取电力线路检测站点传感器收集得到的电路电压以及电路电流,构建电力线路负载评估指数模型公式,计算各监测站点的电力线路对应电力线路负载评估指数,从而获取实时电力线路负载情况,据此对巡检路径进行优化调整,进而实现了将负载较大的路段设置为重点巡检区域,从而提高巡检效率,确保对重要区域的充分覆盖。
附图说明
图1为本申请实施例提供的基于智能图像识别的无人机电力线路安全巡检方法流程图;
图2为本申请实施例提供的基于智能图像识别的无人机电力线路安全巡检系统的结构示意图。
具体实施方式
本申请实施例通过提供基于智能图像识别的无人机电力线路安全巡检系统及方法,解决了现有技术中,无人机电力线路安全巡检过程中,存在未综合考虑外界气象干扰因素导致的无人机巡检路径优化出现偏差的问题,通过构建气象干扰系数模型公式,并据其计算电力线路检测站点对应的气象干扰系数,据此得出各监测站点的电力线路对应电力线路气象干扰评估指数,获得气象干扰情况,并获取电力线路负载评估指数,综合分析获得电力线路结构评估指数,据此计算各检测站点的电力线路对应的权值,并分析得出参照电力线路权值,规划无人机巡检区域,实现了综合考虑外界气象干扰因素,对无人机巡检路径进行优化。
本申请实施例中的技术方案为解决上述,无人机电力线路安全巡检过程中,存在未综合考虑外界气象干扰因素导致的无人机巡检路径优化出现偏差的问题,总体思路如下:
通过获取电力线路检测站点的传感器收集到的外界风速、外界相对湿度以及电磁场强度,对预设历史周期的外界风速、外界相对湿度以及电磁场强度进行数据处理,计算电力线路检测站点对应的气象干扰系数,结合气象干扰系数,构建电力线路气象干扰评估指数模型公式,计算得出各监测站点的电力线路对应电力线路气象干扰评估指数,取电力线路检测站点的传感器收集到的电路电压以及电路电流,构建电力线路负载评估指数模型公式,据其计算各监测站点的电力线路对应电力线路负载评估指数,收集并存储无人机采集得到的电力线路图像数据信息,对采集得到的电力线路图像数据信息进行去噪处理,结合无人机采集得到的电力线路图像数据信息,构建电力线路结构模型,分析得到电力线路结构评估指数,更新各电力线路检测站点的路段权值,对所获取的所有电力线路权值进行求和取平均,得到平均电力线路权值,并作为参照电力线路权值,根据参照电力线路权值,规划无人机巡检区域,达到了综合考虑外界气象干扰因素,对无人机巡检路径进行优化。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示,为本申请实施例提供的基于智能图像识别的无人机电力线路安全巡检方法流程图,该方法应用于基于智能图像识别的无人机电力线路安全巡检系统中,该方法包括以下步骤:获取外界气象数据,并分析气象干扰情况,所述气象数据包括外界风速、外界相对湿度以及电磁场强度;通过无人机巡检进行图像采集及图像预处理;提取电力线路信息,结合气象干扰情况,分析电力线路负载情况,所述电力线路信息包括电力线路长度、电路电压以及电路电流;根据电力线路负载情况,对无人机巡检路径进行优化。
进一步的,获取外界气象数据,并分析气象干扰情况,具体包括:每间隔一定周期,通过电力线路检测站点的传感器获取气象数据;对电力线路检测站点传感器以及传感器的周期进行编号;对气象数据进行数据预处理,构建气象干扰系数模型公式,并据其计算电力线路检测站点对应的气象干扰系数;结合气象干扰系数,构建电力线路气象干扰评估指数模型公式,计算得出各监测站点的电力线路对应电力线路气象干扰评估指数。
在本实施例中,气象数据包括但不限于外界风速、外界相对湿度以及电磁场强度,还需考虑外界风向,电磁场强度包括但不限于地磁活动、雷电活动等对电力线路产生的电磁干扰;电力线路信息包括但不限于电力线路长度、电路电压以及电路电流,还需考虑电力线路的电阻、电抗、电容等因素,气象干扰系数的计算通常通过大量的历史气象数据,分析气象因素的变化规律,有助于建立更加准确的气象干扰系数模型,有助于提高气象干扰评估指数的可靠性,气象干扰系数模型公式为:
,式中,αij为第i个电力线路检测站点的传感器在第j个周期对应的气象干扰系数,Wij为第i个电力线路检测站点的传感器在第j个周期传感器收集的外界风速,RHij为第i个电力线路检测站点的传感器在第j个周期传感器收集的外界相对湿度,Eij为第i个电力线路检测站点的传感器在第j个周期传感器收集的电磁场强度,i表示为电力线路检测站点的编号,i=1,2,3,...,n,n表示为输电线路检测站点的总数,j表示为周期的编号,j=1,2,3,...,m,m表示为周期的总数,W'i为预设的第i个电力线路检测站点的传感器对应的外界风速参照值,RH'i为预设的第i个电力线路检测站点的传感器对应的外界相对湿度参照值,E'i为预设的第i个电力线路检测站点的传感器对应的电磁场强度参照值,ε1表示为预设的外界风速参照值对于输电线路的修正因子,ε2表示为预设的外界相对湿度参照值对于输电线路的修正因子,ε3表示为预设的电磁场强度参照值对于输电线路的修正因子,不同地区、不同季节、不同天气条件下,外界风速、相对湿度和电磁场强度的变化可能会有较大差异,设置修正因子可以使模型更具灵活性,适应不同情况下的电力线路分析和评估需求;电力线路气象干扰评估指数需要依赖实时气象因素的数据,例如风速、电磁场强度、相对湿度等,这些数据可以用来计算电力线路气象干扰评估指数,从而及时反映当前气象因素对电力线路负载的影响情况,电力线路气象干扰评估指数模型公式为:
式中,βij为第i个电力线路检测站点的传感器对应的电力线路气象干扰评估指数,φ1表示为外界风速在电力线路气象干扰评估指数中的权重占比值,φ2表示为外界相对湿度在电力线路气象干扰评估指数中的权重占比值,φ3表示为电磁场强度在电力线路气象干扰评估指数中的权重占比值,可以通过构建层次结构模型,利用专家判断或者问卷调查的方法,确定各因素的权重占比值。
进一步的,数据预处理的具体分析方法为:从电力线路运行信息数据库获取预设历史周期的气象数据;对预设历史周期的气象数据进行数据处理,对所述气象数据中的重复数据进行剔除,得到第一清洗数据,并对所述第一清洗数据进行检测,识别并去除异常数据得到第二清洗数据,作为清洗后的预设周期的气象数据。
在本实施例中,对外界风速、外界相对湿度和电磁场强度等数据进行预处理,可以使数据更加规范化和标准化,有利于后续气象干扰系数的计算和分析工作,提高计算的效率和精度。
进一步的,通过无人机巡检进行图像采集及图像预处理具体包括:收集并存储无人机采集得到的电力线路图像数据信息;对采集得到的电力线路图像数据信息进行去噪处理,得出预处理后的电力线路图像数据信息;所述去噪处理具体包括根据电力线路图像窗口确定一个固定大小的正方形滤波模板,将滤波模板中心的像素值替换为该模板中所有像素的平均值,对电力线路图像中的每个像素都执行上述操作。
在本实施例中,正方形滤波模板的大小一般情况下为电力线路图像窗口的电力线路图像数据可能受到各种干扰,例如电力线路本身的震动、风吹等因素,以及采集设备本身的噪声等,这些干扰会导致图像质量下降,去噪处理可以减少图像数据中的冗余信息和噪声,从而降低数据的传输和存储成本,改善后续分析和识别的准确性。
进一步的,分析电力线路负载情况具体包括:获取电力线路检测站点传感器收集得到的电路电压以及电路电流;从电力线路运行信息数据库获取各电力线路检测站点的变压器额定容量;每间隔一定周期,获取电力线路检测站点的传感器收集到的电路电压以及电路电流;构建电力线路负载评估指数模型公式,并计算各监测站点的电力线路对应电力线路负载评估指数,通过电力线路负载评估指数,可以对电力线路的负载情况进行综合评估,从而全面了解线路的负载状况,有助于优化线路的运行管理,可以及时发现线路的负载异常情况,有助于提高电网的安全性,减少线路的过负荷运行、降低线路事故风险;电力线路负载评估指数模型公式为:
式中,χij为第i个电力线路检测站点的传感器在第j个周期对应的电力线路负载评估指数,βij第i个电力线路检测站点的传感器在第j个周期对应的电力线路气象干扰评估指数,Uij表示为第i个电力线路检测站点的传感器在第j个周期对应的电路电压,Iij表示为第i个电力线路检测站点的传感器在第j个周期对应的电路电流,τ表示为设定的电路负载率对应的补偿比例值,Ci表示为第i个电力线路检测站点的变压器额定容量,i=1,2,3,...,n,n表示为输电线路检测站点的总数,j表示为周期的编号,j=1,2,3,...,m,m表示为周期的总数。
在本实施例中,电力线路实际负荷的计算公式通常为3*U*I,U表示为电力线路电压,I表示为电力线路电流,设定的电路负载率对应的补偿比例值,其作用在于考虑电力线路实际运行中的负载变化对线路自身的影响,以更准确地评估电力线路的负载情况。
进一步的,对无人机巡检路径进行优化具体包括:结合无人机采集得到的电力线路图像数据信息,构建电力线路结构模型,分析得到电力线路结构评估指数;结合电力线路负载评估指数,更新各电力线路检测站点的路段权值;根据各电力线路检测站点的路段权值,规划无人机巡检路径,重点监测部分路段。
在本实施例中,首先对无人机采集到的电力线路图像进行数据预处理,包括图像去噪、图像增强、边缘检测等处理,以提高图像的清晰度和质量,同时利用计算机视觉技术,对图像中的电力线路结构进行目标检测与定位,识别出电力杆、电力线路等关键元素的位置和形状信息,进而通过特征提取算法,提取电力线路结构中的特征点、特征线段等信息,并进行特征匹配,以建立电力线路结构中各个元素之间的空间关系,从而得到电力线路图像数据信息。
进一步的,电力线路结构评估指数的具体分析过程为:获取预处理后的电力线路图像数据信息;识别图像中的电力线路检测站点以及各检测站点所管辖的电力线路长度、位置信息,并提取出各电力线路检测站点所管辖的电力线路长度;根据所识别出的特征信息,构建电力线路结构模型;结合电力线路结构模型,构建电力线路结构评估指数模型公式,并计算各检测站点的电力线路对应的电力线路结构评估指数。
在本实施例中,电力线路结构评估指数,可以帮助电网运营人员更好地了解线路的负载情况,有助于优化线路的运行管理,包括合理调整负载、提高线路的利用率、减少线路的过负荷运行、规划无人机电力巡检路线,从而延长线路的使用寿命,电力线路结构评估指数模型公式为:
式中,γij表示为第i个电力线路检测站点的传感器在第j个周期对应的电力线路结构评估指数,li表示为第i个电力线路检测站点所管辖的电力线路长度,θ1表示为电力线路负载评估指数对应的占比权重值,θ2表示为电力线路长度对应的占比权重值,占比权重值可以基于各地区历史数据和实际案例,利用数据分析方法,如回归分析、主成分分析等,通过对电力线路长度和负载评估指数的数据进行统计分析,确定其对电力线路结构评估的影响程度,进而得到相应的权重值,e是自然常数。
进一步的,更新各电力线路检测站点的路段权值具体包括:获取电力线路结构评估指数;计算各检测站点的电力线路对应的权值,并实时更新各电力线路检测站点的电力线路权值;通过获得各检测站点的电力线路对应的权值,可以在无人机巡检路径规划中将重点放在对权值较高的线路进行巡检,从而优化巡检路径,提高巡检效率,各检测站点的电力线路对应的权值的计算公式为:
式中,Rij表示为第i个电力线路检测站点的电力线路在第j个周期对应的权值,γij表示为第i个电力线路检测站点的传感器在第j个周期对应的电力线路结构评估指数,i表示为电力线路检测站点的编号,i=1,2,3,...,n,n表示为输电线路检测站点的总数,j表示为周期的编号,j=1,2,3,...,m,m表示为周期的总数。检测站点的电力线路对应的权值越大,即越接近于1,说明该检测站点的电力线路在第j个周期中重要程度越高,反之,权值越小,即越接近于0,说明该检测站点的电力线路在第j个周期中重要程度越低。
在本实施例中,如电压等级、拓扑结构、线路类型等,这些因素可能会直接影响到线路的运行状态和安全性,故此需要电力线路结构评估指数对应的影响因子,用以提高路段权值的精准性和有效性。
进一步的,根据各电力线路检测站点的路段权值,规划无人机巡检路径,重点监测部分路段包括:实时获取各电力线路检测站点的电力线路权值;对所获取的所有电力线路权值进行求和取平均,得到平均电力线路权值,并作为参照电力线路权值;根据参照电力线路权值,规划无人机巡检区域;若某电力线路检测站点的电力线路在该周期对应的权值不低于参照电力线路权值,则将某电力线路检测站点的电力线路作为无人机重点巡检区域;若某电力线路检测站点的电力线路在该周期对应的权值低于参照电力线路权值,则将某电力线路检测站点的电力线路作为无人机非重点巡检区域;根据所规划的无人机巡检区域,对其进行路径规划,安排无人机在重点巡检区域进行多次重点巡检。
在本实施例中,根据电力线路权值划分无人机重点和非重点巡检区域,可以更有效地分配无人机巡检资源,着重对重点区域进行巡检,从而最大程度地提高巡检效率和效果,确保重点区域得到更多的关注和巡检频率,从而降低线路故障和事故的风险。
如图2所示,为本申请实施例提供的基于智能图像识别的无人机电力线路安全巡检系统的结构示意图,本申请实施例提供的基于智能图像识别的无人机电力线路安全巡检系统包括:气象干扰情况分析模块:用于获取外界气象数据,并分析气象干扰情况,所述气象数据包括外界风速、外界相对湿度以及电磁场强度;无人机采集图像处理模块:用于通过无人机巡检进行图像采集及图像预处理;电力线路负载情况分析模块:用于提取电力线路信息,结合气象干扰情况,分析电力线路负载情况,所述电力线路信息包括电力线路长度、电路电压以及电路电流;无人机巡检路径优化模块:用于根据电力线路负载情况,对无人机巡检路径进行优化。
上述本申请实施例中的技术方案,至少具有如下的技术效果或优点:相对于公告号为:CN103824233B公告的基于GIS的无人机电力线路巡检调度平台及方法,本申请实施例通过获取电力线路检测站点的传感器收集到的外界风速、外界相对湿度以及电磁场强度,对预设历史周期的外界风速、外界相对湿度以及电磁场强度进行数据处理,计算电力线路检测站点对应的气象干扰系数,结合气象干扰系数,得出各监测站点的电力线路对应电力线路气象干扰评估指数,获得气象干扰情况,间接得出各检测站点的电力线路对应的权值,从而根据电力线路权值,对无人机进行路径规划,进而实现了综合考虑外界气象干扰因素,对无人机巡检路径进行优化;相对于公开号为:CN113516708A公开的一种基于图像识别与UWB定位融合的输电线路巡检无人机精确定位系统及方法,本申请实施例通过预处理电力线路图像数据信息,识别图像中的电力线路检测站点以及各检测站点所管辖的电力线路长度、位置信息,并提取出各电力线路检测站点所管辖的电力线路长度,构建电力线路结构模型,计算得出各检测站点的电力线路对应的电力线路结构评估指数,从而计算得出各检测站点的电力线路对应的权值,进而实现了基于图像识别技术,构建电力线路结构模型,根据模型分析电力线路权值,而减轻人工巡检的负担,提高工作效率。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种基于智能图像识别的无人机电力线路安全巡检方法,其特征在于,包括以下步骤:
获取外界气象数据,并分析气象干扰情况,所述气象数据包括外界风速、外界相对湿度以及电磁场强度;
通过无人机巡检进行图像采集及图像预处理;
提取电力线路信息,结合气象干扰情况,分析电力线路负载情况,所述电力线路信息包括电力线路长度、电路电压以及电路电流;
根据电力线路负载情况,对无人机巡检路径进行优化;
所述获取外界气象数据,并分析气象干扰情况,具体包括:
每间隔一定周期,通过电力线路检测站点的传感器获取气象数据;
对电力线路检测站点传感器以及传感器的周期进行编号;
对气象数据进行数据预处理,构建气象干扰系数模型公式,并据其计算电力线路检测站点对应的气象干扰系数;
结合气象干扰系数,构建电力线路气象干扰评估指数模型公式,计算得出各监测站点的电力线路对应电力线路气象干扰评估指数;
气象干扰系数模型公式为:
,式中,αij为第i个电力线路检测站点的传感器在第j个周期对应的气象干扰系数,Wij为第i个电力线路检测站点的传感器在第j个周期传感器收集的外界风速,RHij为第i个电力线路检测站点的传感器在第j个周期传感器收集的外界相对湿度,Eij为第i个电力线路检测站点的传感器在第j个周期传感器收集的电磁场强度,i表示为电力线路检测站点的编号,i=1,2,3,...,n,n表示为输电线路检测站点的总数,j表示为周期的编号,j=1,2,3,...,m,m表示为周期的总数,Wi'为预设的第i个电力线路检测站点的传感器对应的外界风速参照值,RH'i为预设的第i个电力线路检测站点的传感器对应的外界相对湿度参照值,E'i为预设的第i个电力线路检测站点的传感器对应的电磁场强度参照值,ε1表示为预设的外界风速参照值对于输电线路的修正因子,ε2表示为预设的外界相对湿度参照值对于输电线路的修正因子,ε3表示为预设的电磁场强度参照值对于输电线路的修正因;
电力线路气象干扰评估指数模型公式为:
式中,βij为第i个电力线路检测站点的传感器对应的电力线路气象干扰评估指数,φ1表示为外界风速在电力线路气象干扰评估指数中的权重占比值,φ2表示为外界相对湿度在电力线路气象干扰评估指数中的权重占比值,φ3表示为电磁场强度在电力线路气象干扰评估指数中的权重占比值;
所述分析电力线路负载情况具体包括:
从电力线路运行信息数据库获取各电力线路检测站点的变压器额定容量;
每间隔一定周期,获取电力线路检测站点的传感器收集到的电路电压以及电路电流;
构建电力线路负载评估指数模型公式,并计算各监测站点的电力线路对应电力线路负载评估指数;
所述电力线路负载评估指数模型公式为:
式中,χij为第i个电力线路检测站点的传感器在第j个周期对应的电力线路负载评估指数,βij第i个电力线路检测站点的传感器在第j个周期对应的电力线路气象干扰评估指数,Uij表示为第i个电力线路检测站点的传感器在第j个周期对应的电路电压,Iij表示为第i个电力线路检测站点的传感器在第j个周期对应的电路电流,τ表示为设定的电路负载率对应的补偿比例值,Ci表示为第i个电力线路检测站点的变压器额定容量,i表示为电力线路检测站点的编号,i=1,2,3,...,n,n表示为输电线路检测站点的总数,j表示为周期的编号,j=1,2,3,...,m,m表示为周期的总数;
所述对无人机巡检路径进行优化具体包括:
结合无人机采集得到的电力线路图像数据信息,构建电力线路结构模型,分析得到电力线路结构评估指数;
结合电力线路负载评估指数,更新各电力线路检测站点的路段权值;
根据各电力线路检测站点的路段权值,规划无人机巡检路径,重点监测部分路段;
所述电力线路结构评估指数的具体分析过程为:
获取预处理后的电力线路图像数据信息;
识别图像中的电力线路检测站点以及各检测站点所管辖的电力线路长度、位置信息,并提取出各电力线路检测站点所管辖的电力线路长度;
根据所识别出的特征信息,构建电力线路结构模型;
结合电力线路结构模型,构建电力线路结构评估指数模型公式,并计算各检测站点的电力线路对应的电力线路结构评估指数;
所述更新各电力线路检测站点的路段权值具体包括:获取电力线路结构评估指数;计算各检测站点的电力线路对应的权值,并实时更新各电力线路检测站点的电力线路权值;其中,各检测站点的电力线路对应的权值的计算公式为:
式中,Rij表示为第i个电力线路检测站点的电力线路在第j个周期对应的权值,γij表示为第i个电力线路检测站点的传感器在第j个周期对应的电力线路结构评估指数,i表示为电力线路检测站点的编号,i=1,2,3,...,n,n表示为输电线路检测站点的总数,j表示为周期的编号,j=1,2,3,...,m,m表示为周期的总数。
2.如权利要求1所述基于智能图像识别的无人机电力线路安全巡检方法,其特征在于,所述数据预处理的具体分析方法为:
从电力线路运行信息数据库获取预设历史周期的气象数据;
对预设历史周期的气象数据进行数据处理,对所述气象数据中的重复数据进行剔除,得到第一清洗数据,并对所述第一清洗数据进行检测,识别并去除异常数据得到第二清洗数据,作为清洗后的预设周期的气象数据。
3.如权利要求1所述基于智能图像识别的无人机电力线路安全巡检方法,其特征在于,所述通过无人机巡检进行图像采集及图像预处理具体包括:
收集并存储无人机采集得到的电力线路图像数据信息;
对采集得到的电力线路图像数据信息的每个像素进行去噪处理,得出预处理后的电力线路图像数据信息;所述去噪处理具体包括根据电力线路图像窗口确定一个固定大小的正方形滤波模板,将滤波模板中心的像素值替换为该模板中所有像素的平均值。
4.如权利要求1所述基于智能图像识别的无人机电力线路安全巡检方法,其特征在于,所述根据各电力线路检测站点的路段权值,规划无人机巡检路径,重点监测部分路段包括:
实时获取各电力线路检测站点的电力线路权值;
对所获取的所有电力线路权值进行求和取平均,得到平均电力线路权值,并作为参照电力线路权值;
根据参照电力线路权值,规划无人机巡检区域;
若某电力线路检测站点的电力线路在该周期对应的权值不低于参照电力线路权值,则将所述某电力线路检测站点的电力线路作为无人机重点巡检区域;
若某电力线路检测站点的电力线路在该周期对应的权值低于参照电力线路权值,则将所述某电力线路检测站点的电力线路作为无人机非重点巡检区域;
根据所规划的无人机巡检区域,对其进行路径规划,安排无人机在重点巡检区域进行多次重点巡检。
5.一种采用如权利要求1-4中任意一项所述基于智能图像识别的无人机电力线路安全巡检方法的系统,其特征在于,所述基于智能图像识别的无人机电力线路安全巡检系统包括:
气象干扰情况分析模块:用于获取外界气象数据,并分析气象干扰情况,所述气象数据包括外界风速、外界相对湿度以及电磁场强度;
无人机采集图像处理模块:用于通过无人机巡检进行图像采集及图像预处理;
电力线路负载情况分析模块:用于提取电力线路信息,结合气象干扰情况,分析电力线路负载情况,所述电力线路信息包括电力线路长度、电路电压以及电路电流;
无人机巡检路径优化模块:用于根据电力线路负载情况,对无人机巡检路径进行优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410178393.9A CN117726959B (zh) | 2024-02-09 | 2024-02-09 | 基于智能图像识别的无人机电力线路安全巡检系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410178393.9A CN117726959B (zh) | 2024-02-09 | 2024-02-09 | 基于智能图像识别的无人机电力线路安全巡检系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117726959A CN117726959A (zh) | 2024-03-19 |
CN117726959B true CN117726959B (zh) | 2024-05-10 |
Family
ID=90207402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410178393.9A Active CN117726959B (zh) | 2024-02-09 | 2024-02-09 | 基于智能图像识别的无人机电力线路安全巡检系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117726959B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824340A (zh) * | 2014-03-07 | 2014-05-28 | 山东鲁能智能技术有限公司 | 无人机输电线路智能巡检系统及巡检方法 |
CN103823451A (zh) * | 2014-03-07 | 2014-05-28 | 国家电网公司 | 基于gis的无人机电力线路巡检集中调度系统及方法 |
CN111582697A (zh) * | 2020-04-29 | 2020-08-25 | 西安交通大学 | 一种配电网故障的评估与调度方法及系统 |
KR20210033584A (ko) * | 2019-09-18 | 2021-03-29 | 한국전력공사 | 전압안정도 지수를 활용한 부하차단 장치 |
CN113592128A (zh) * | 2021-04-28 | 2021-11-02 | 阜阳市福颖网络技术开发有限公司 | 一种大数据电网运行监测系统 |
CN114971173A (zh) * | 2022-04-18 | 2022-08-30 | 国网安徽省电力有限公司电力科学研究院 | 基于物联网技术的输电全景智慧管控平台 |
CN115407795A (zh) * | 2022-08-26 | 2022-11-29 | 江苏祥泰电力实业有限公司 | 一种无人机巡检数据智能驱动传输系统 |
CN115549292A (zh) * | 2022-09-02 | 2022-12-30 | 国网河北省电力有限公司 | 电网运行监测系统及其方法 |
KR20230035957A (ko) * | 2021-09-06 | 2023-03-14 | 주식회사 로비고스 | 무인 비행체를 활용한 송전선로 점검 시스템 |
CN116627178A (zh) * | 2023-06-30 | 2023-08-22 | 苏州物图数字科技有限公司 | 一种基于无人机影像智能分析的电力巡检方法 |
CN116683635A (zh) * | 2023-05-26 | 2023-09-01 | 国网安徽省电力有限公司信息通信分公司 | 一种电力巡检采集视频图像处理方法 |
CN116700357A (zh) * | 2023-08-07 | 2023-09-05 | 国网安徽省电力有限公司合肥供电公司 | 一种架空输电线路无人机编队智能巡检方法 |
CN116757465A (zh) * | 2023-04-21 | 2023-09-15 | 国网浙江省电力有限公司金华供电公司 | 一种基于双训练权重分配模型的线路风险评估方法及装置 |
CN117113044A (zh) * | 2023-09-08 | 2023-11-24 | 国网湖北省电力有限公司电力科学研究院 | 一种电网线损的智能预测分析方法及系统 |
CN117394337A (zh) * | 2023-10-24 | 2024-01-12 | 国网安徽省电力有限公司合肥供电公司 | 一种电网负荷预警方法及其系统 |
CN117477558A (zh) * | 2023-11-08 | 2024-01-30 | 国网安徽省电力有限公司合肥供电公司 | 一种基于电网负荷的预测方法及其系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8788244B2 (en) * | 2010-05-24 | 2014-07-22 | Washington State University | Systems and methods for global voltage security assessment in power systems |
CN112326686B (zh) * | 2020-11-02 | 2024-02-02 | 坝道工程医院(平舆) | 无人机智能巡航路面病害检测方法、无人机和检测系统 |
-
2024
- 2024-02-09 CN CN202410178393.9A patent/CN117726959B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824340A (zh) * | 2014-03-07 | 2014-05-28 | 山东鲁能智能技术有限公司 | 无人机输电线路智能巡检系统及巡检方法 |
CN103823451A (zh) * | 2014-03-07 | 2014-05-28 | 国家电网公司 | 基于gis的无人机电力线路巡检集中调度系统及方法 |
KR20210033584A (ko) * | 2019-09-18 | 2021-03-29 | 한국전력공사 | 전압안정도 지수를 활용한 부하차단 장치 |
CN111582697A (zh) * | 2020-04-29 | 2020-08-25 | 西安交通大学 | 一种配电网故障的评估与调度方法及系统 |
CN113592128A (zh) * | 2021-04-28 | 2021-11-02 | 阜阳市福颖网络技术开发有限公司 | 一种大数据电网运行监测系统 |
KR20230035957A (ko) * | 2021-09-06 | 2023-03-14 | 주식회사 로비고스 | 무인 비행체를 활용한 송전선로 점검 시스템 |
CN114971173A (zh) * | 2022-04-18 | 2022-08-30 | 国网安徽省电力有限公司电力科学研究院 | 基于物联网技术的输电全景智慧管控平台 |
CN115407795A (zh) * | 2022-08-26 | 2022-11-29 | 江苏祥泰电力实业有限公司 | 一种无人机巡检数据智能驱动传输系统 |
CN115549292A (zh) * | 2022-09-02 | 2022-12-30 | 国网河北省电力有限公司 | 电网运行监测系统及其方法 |
CN116757465A (zh) * | 2023-04-21 | 2023-09-15 | 国网浙江省电力有限公司金华供电公司 | 一种基于双训练权重分配模型的线路风险评估方法及装置 |
CN116683635A (zh) * | 2023-05-26 | 2023-09-01 | 国网安徽省电力有限公司信息通信分公司 | 一种电力巡检采集视频图像处理方法 |
CN116627178A (zh) * | 2023-06-30 | 2023-08-22 | 苏州物图数字科技有限公司 | 一种基于无人机影像智能分析的电力巡检方法 |
CN116700357A (zh) * | 2023-08-07 | 2023-09-05 | 国网安徽省电力有限公司合肥供电公司 | 一种架空输电线路无人机编队智能巡检方法 |
CN117113044A (zh) * | 2023-09-08 | 2023-11-24 | 国网湖北省电力有限公司电力科学研究院 | 一种电网线损的智能预测分析方法及系统 |
CN117394337A (zh) * | 2023-10-24 | 2024-01-12 | 国网安徽省电力有限公司合肥供电公司 | 一种电网负荷预警方法及其系统 |
CN117477558A (zh) * | 2023-11-08 | 2024-01-30 | 国网安徽省电力有限公司合肥供电公司 | 一种基于电网负荷的预测方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117726959A (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112734692A (zh) | 一种变电设备缺陷识别方法及装置 | |
CN108680833B (zh) | 基于无人机的复合绝缘子缺陷检测系统 | |
CN108537154A (zh) | 基于hog特征和机器学习的输电线路鸟巢识别方法 | |
CN110533331B (zh) | 一种基于输电线路数据挖掘的故障预警方法和系统 | |
CN108319649B (zh) | 一种提高水情水调数据质量的系统和方法 | |
CN110910440B (zh) | 一种基于电力影像数据的输电线路长度确定方法和系统 | |
CN206312210U (zh) | 一种配电网设备的状态评估系统 | |
CN117172414A (zh) | 一种基于bim技术的建筑幕墙施工管理系统 | |
CN110728300A (zh) | 基于道岔动作电流曲线识别故障类型的方法及系统 | |
CN112367400B (zh) | 一种边云协同的电力物联网智能巡检方法及系统 | |
CN115373403B (zh) | 一种建筑机械设备巡检服务系统 | |
CN113205039A (zh) | 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法 | |
CN115460647A (zh) | 基于eSIM卡和5G基站的物联网故障定位方法及系统 | |
CN117220441A (zh) | 基于全景监控下的信息监测智能预警方法 | |
CN115511367A (zh) | 生产线的质量智能管理系统 | |
CN112734637B (zh) | 一种导线温度监测的热红外图像处理方法和系统 | |
CN116629465B (zh) | 智能电网视频监控与风险预测响应系统 | |
CN116958841B (zh) | 基于图像识别的配电线路无人机巡检系统 | |
CN117726959B (zh) | 基于智能图像识别的无人机电力线路安全巡检系统及方法 | |
CN112215482A (zh) | 一种户变关系识别方法和装置 | |
CN114358165A (zh) | 基于多源数据融合的预防光伏组件接地故障的检测方法 | |
CN112683916A (zh) | 集电线路杆塔小金具缺失或安装错误的识别方法及装置 | |
CN117809297B (zh) | 基于三维重建的输电线路危险源智能识别方法 | |
CN115802013B (zh) | 基于智能照明的视频监控方法、装置、设备及存储介质 | |
CN113573169B (zh) | 无人机的配电箱数据读取及检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |