CN108961276A - 基于视觉伺服的配电线路巡检数据自动采集方法及系统 - Google Patents
基于视觉伺服的配电线路巡检数据自动采集方法及系统 Download PDFInfo
- Publication number
- CN108961276A CN108961276A CN201810301794.3A CN201810301794A CN108961276A CN 108961276 A CN108961276 A CN 108961276A CN 201810301794 A CN201810301794 A CN 201810301794A CN 108961276 A CN108961276 A CN 108961276A
- Authority
- CN
- China
- Prior art keywords
- line
- image
- straight
- electric pole
- shaft tower
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013480 data collection Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 230000000877 morphologic effect Effects 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010835 comparative analysis Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉伺服的配电线路巡检数据自动采集方法及系统，包括：数据采集系统初始化；对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置；对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。本发明提出的基于车载视觉伺服的配电线路巡检数据自动采集方法，取代人工携带设备现场采集，减轻了电力巡检人员的工作负担，提高了安全性。
Description
技术领域
本发明涉及配电线路巡检技术领域，尤其涉及一种基于视觉伺服的配电线路巡检数据自动采集方法及系统。
背景技术
配电线路是电力系统的重要组成部分，随着国民经济的发展和生活水平的提高，人们对配电网安全可靠运行提出了越来越高的要求。为了保证电网安全、可靠和经济运行，减少事故发生，保障各电力设备、线路、配电的运行可靠性，保证对配网设备及线路良好状况的有效分析和预测，各变电站、线路巡视人员需要定期进行线路和设备巡视。但这种人工巡视的方法，不仅效率低，而且线路的巡视质量无法控制，容易出现漏抄数据的现象。
随着我国电网信息化、智能化水平的不断提高，各种基于移动机器人和无人机的智能巡检系统在国内电力系统中开始推广应用，并取得了良好的效果，有效地提升了电网运行和管理的智能化水平。通过搭载图像采集设备，输电线路已采用无人机巡检方式实现了输电线路数据的自动采集和缺陷诊断。考虑到配电线路所在的环境比较复杂，线路很多架设在市区，并且高度比较低，无人机巡检方式具有很大的安全风险，只能通过车载采集设备的方式进行配电线路的自动巡检，目前尚未有相关配电线路的车载巡检数据自动采集和分析技术。
发明内容
本发明为了解决配电线路自动巡检过程中的数据采集问题，提出了一种基于视觉伺服的配电线路巡检数据自动采集方法及系统，本发明通过安装在车载云台上的可见光相机实现电力线和电杆的图像采集，采用直线检测算法进行配电线路电力线的检测，根据电力线在图像中的位置实时调整云台，实现电力线的跟踪和图像采集。采用深度学习算法进行图像中电杆顶部的检测和定位，基于目标的位置控制云台自上而下拍摄得到一系列的杆塔图像，利用图像拼接算法得到杆塔的全景图像。根据该视觉伺服系统，在采集可见光图像的同时完成杆塔上设备的红外图像采集和超声数据采集。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一目的是公开一种基于视觉伺服的配电线路巡检数据自动采集方法，包括以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
进一步地，所述的数据采集系统初始化，具体包括：
可见光摄像机连接、巡检线路信息配置以及巡检人员信息配置；
根据巡检配电线路的名称和巡检车辆GPS信息，判断线路与车辆的位置关系，自动调整车载云台，使可见光摄像机朝向线路方向；
通过调整云台的俯仰角，使得电力线出现在相机视野范围内。
进一步地，所述对采集到的图像进行直线分割，具体为：
将采集的图像由RGB三通道图像转化为单通道灰度图像，利用高斯滤波函数对图像进行去噪和平滑处理，得到滤波后的图像；
计算图像各像素点水平方向和垂直方向的梯度值，求得各像素点的总梯度值和方向；
将图像中的每一个像素点的梯度值与相邻像素点的梯度值进行比较，若当前像素点的梯度值大于其相邻像素点的梯度值，并大于设定的梯度阈值，将该像素点标记为锚点；
依照ED直线检测算法中的锚点搜索连接方法，将图像中的锚点连接成为直线线段。
进一步地，所述利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，具体为：
根据得到的直线段信息，滤除偏转角度大于设定阈值的直线，将剩余的直线线段放入集合S中；
对于集合S中的直线线段，选取其中一条直线线段L1，将直线线段L1与其余直线线段两两比较，将所有满足设定条件的直线线段放入到同一子集中；
然后选取直线线段L2，如果直线线段L2与直线线段L1满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段；判断得到的直线线段是否已经在子集中，如果不在，将其放入子集中；如果直线线段L2与直线线段L1不满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段放入子集中；
以此类推，所有直线线段判断完毕，得到L个满足条件的子集构成集合
利用最小二乘法将每个子集中的线段拟合为图像中的一条直线，该直线与图像的左右边缘相交，将所有拟合的直线放入集合Sline；
对拟合得到的直线进行分析，选取集合Sline中的一条直线LS1与其他直线进行两两比较，如果两直线在图像水平中心点处的纵坐标之差的绝对值在设定的区间之内，将直线放入集合中；
然后选取直线LS2，如果直线LS2与直线LS1满足设定条件，将直线LS2与其余直线两两比较，得到所有满足设定条件的直线；判断得到的直线是否已经在子集中，如果不在，将其放入子集中；如果直线LS2与直线LS1不满足设定条件，将直线LS2与其余直线两两比较，得到所有满足设定条件的直线放入子集中；
以此类推，所有直线线段判断完毕，得到N个满足条件的子集构成集合
如果集合中直线的数目与根据巡检线路的先验信息得到当前线路中电力线的数目一致，则集合中所包含的图像即为图像中真正的电力线；
计算集合中最上端和最下端两条直线的中心点纵坐标位置与图像中心点纵坐标的偏差，根据所述偏差确定云台调整角度。
进一步地，所述将满足设定条件的直线线段放入到同一集合SU中，其中设定条件具体为：
集合S中两直线线段中心点纵坐标之差的绝对值不大于设定的纵坐标阈值；并且，该两直线线段偏向角之差的绝对值不大于设定的偏向角阈值。
进一步地，所述对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，具体为：
预先对杆塔顶端部位进行图像采集，并进行人工标注及裁剪，将裁剪的图像归一化处理，生成目标训练正类样本和负类样本；
利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，确定电杆顶端位置；
根据电杆顶端位置进行云台调整，保证检测的电杆顶端区域中心点位于图像中心位置；
控制云台从当前位置自上而下以设定速度采集设定数量的图片，按采集的先后顺序将图片放入电杆图像序列，并根据巡检线路和当前GPS信息对电杆图像序列进行编号标注；
在电杆可见光图像采集的同时，打开红外热像仪和超声检查仪，采集电杆上附属设备的红外图像及超声数据。
进一步地，利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，具体为：
训练阶段：利用深度学习的Faster R-CNN框架联合训练得到区域提名网络模型和Fast R-CNN目标检测模型，完成模型的训练；
检测阶段：对采集的图像，取中间设定部分区域为感兴趣区域，对感兴趣区域由区域提名网络生成大量的候选区域框，对候选区域框进行非最大值抑制，保留得分较高的前n个候选区域框；
对候选区域框采用Fast R-CNN检测模型进行打分，根据网络打分值标注电杆顶端部位。
进一步地，所述采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接，具体为：
将采集的图像序列按采集时间先后进行排序，采用多尺度对比分析的显著性检测算法计算得到每一张电线杆图像的显著图；
提取当前图像的下半部分区域及下一张图像的上半部分区域为候选匹配区域，对两部分候选匹配区域进行ORB特征点的提取并完成特征点匹配，采用RANSAC算法进行误匹配点的剔除，根据匹配点计算两幅图像的投影变换矩阵；
按照上述方法分别计算图像序列中相邻图像间的投影变换矩阵；
选取基准图像，根据图像间的投影变换矩阵和拍摄顺序，求得所有图像最终的相机参数和构造参数，采用多段融合法拼接得到电线杆的全景图像。
本发明的第二目的是公开一种基于视觉伺服的配电线路巡检数据自动采集系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
本发明的第三目的是公开一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
与现有技术相比，本发明的有益效果是：
本发明提出了一种基于车载视觉伺服的配电线路巡检数据自动采集方法，利用图画线段检测算法和电力线形态学特征克服复杂背景的影响，实现了电力线快速、准确的检测，利用Faster RCNN模型结合GPS先验信息对杆塔顶端进行快速定位，并将采集得到的杆塔可见光图像拼接得到全景图像。本发明提出的方法可以在线实时的实现配电网架空电线及杆塔设备的可见光图像、红外图像及超声数据的自动采集，提升配电网巡检的自动化、智能化水平。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为电力线检测效果图；
图2为基于Faster R-CNN的杆塔顶端检测框架图；
图3为电杆拼接全景图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了解决背景技术中指出的现有技术的不足，本发明提出了一种基于视觉伺服的配电线路巡检数据自动采集方法，电力线检测效果图如图1所示，具体包括以下步骤：
(1)进行车载采集系统初始化，根据巡检线路及GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
配电线路采集系统初始化包括：可见光摄像机连接、巡检线路信息配置、巡检人员信息配置等，然后根据巡检配电线路的名称和巡检车辆GPS信息，判断线路与车辆的位置关系，自动调整车载云台，使得可见光摄像机朝向线路方向，人工确认当前可见光摄像机视野中是否包含配电线路。如果不在视野中，则微调云台的俯仰角，使得电力线出现在相机视野范围内。
(2)对可见光摄像机实时采集到的图像采用“边画”(edge drawing,ED)直线检测算法进行直线分割，得到二值化图像和检测的直线段信息；具体步骤包括：
(2-1)对当前可见光摄像机采集的图像由RGB三通道图像转化为单通道灰度图像，利用高斯滤波函数对图像进行去噪和平滑处理，得到滤波后的图像IG：
IG(x,y)＝G(x,y；σ)*I(x,y)
其中，I(x,y)为图像坐标点(x,y)的原始灰度值，IG(x,y)为该像素点经过滤波后的灰度值，G(x,y；σ)为高斯模板，σ＝0.75。
然后利用Sobel边缘检测算子计算得到图像各像素水平方向和垂直方向的梯度值Gx、Gy，根据下面公式求得各像素点的总梯度G和方向A：
A＝arctan(Gx/Gy)
(2-2)对图像中的每一个像素点(x,y)的梯度值与相邻的点梯度值进行比较，对于水平边缘，比较上下的相邻点梯度，对于垂直边缘，比较左右的相邻点梯度，若当前的梯度值大于其相邻的梯度值，并大于设定的梯度阈值GT，即满足下面条件时，该像素点标记为锚点；
或
(2-3)依照ED直线检测算法中的锚点搜索连接方法，将图像中的锚点连接成为直线线段。
(3)利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，将该位置实时反馈到云台控制系统，调整云台俯仰角，保证电力线在图像的中间部位；具体步骤包括：
(3-1)针对步骤(2)中检测得到的直线线段，滤除偏转角度大于阈值θT的直线，此处θT＝15°，将剩余的直线线段放入集合S中；
(3-2)将集合S中的直线线段两两比较，满足下述条件的直线线段放入到同一集合SU中，集合SU不唯一，形成集合L为满足下述设定条件的集合个数。
其中，yi和yj代表集合S中线段i和线段j的中心点纵坐标，θi和θj代表线段i和线段j的偏向角。ydiff为纵坐标阈值，设置为3；θdiff为偏向角阈值，设置为1.5°。
集合的形成过程具体为：
根据得到的直线段信息，滤除偏转角度大于设定阈值的直线，将剩余的直线线段放入集合S中；
对于集合S中的直线线段，选取其中一条直线线段L1，将直线线段L1与其余直线线段两两比较，将所有满足设定条件的直线线段放入到同一子集中；
然后选取直线线段L2，如果直线线段L2与直线线段L1满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段；判断得到的直线线段是否已经在子集中，如果不在，将其放入子集中；如果直线线段L2与直线线段L1不满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段放入子集中；
然后选取直线线段L3，如果直线线段L3与直线线段L1满足设定条件，将直线线段L3与其余直线线段两两比较，得到所有满足设定条件的直线线段；判断得到的直线线段是否已经在子集中，如果不在，将其放入子集中；如果直线线段L3与直线线段L1不满足设定条件，判断直线线段L3与直线线段L2是否满足设定条件，如果满足条件，判断得到的直线线段是否已经在子集中，如果不在，将其放入子集中；如果不满足条件，将得到的直线线段放入放入子集中；
以此类推，所有直线线段遍历完毕，得到L个满足条件的子集构成集合
利用最小二乘法将所有集合中的线段拟合为图像中的一条直线，该直线与图像的左右边缘相交，得到L条直线，构成集合Sline。
(3-3)对步骤(3-2)中拟合得到的直线进行分析，将满足下列条件的直线放入集合SL中，集合SL不唯一，形成集合N为满足下述设定条件的集合个数。
dmin≤|ym-yn|≤dmax
其中，ym和yn代表集合Sline中直线m和直线n在图像水平中心点处的纵坐标，dmin＝8，dmax＝30。根据巡检线路的先验信息得到当前线路中电力线的数目记为NUMp，统计集合中直线的数目记为NUMd，若当前集合中NUMd＝NUMp，该集合所包含的图像即为图像中真正的电力线。
集合的形成过程与上述形成的过程相同。
(3-4)计算集合中最上端和最下端两条直线的中心点纵坐标位置ymid，根据下面公式计算与图像中心点纵坐标ycenter的偏差Ld，其中ycenter＝图像的高度/2＝1280/2＝640。
Ld＝ymid-ycenter
根据下面公式调整云台的俯仰角，保证ymid位于ycenter附近。
θC＝QL
其中，θC为云台调整角度，Q为云台调整参数，此处Q＝0.0274，考虑到所用云台的精度，当Ld≤20时云台俯仰角可保持不变。
(4)根据车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行数据的采集，并启动杆塔检测模块；
根据巡检杆塔与巡检车辆的GPS信息，当巡检车辆沿着行驶方向距离检测杆塔10m时，巡检车进行减速或停车，控制云台沿着水平方向以1秒钟2°的速度转动，提取可见光相机拍摄的图像，并启动杆塔检测模块。
(5)根据深度学习技术的Faster R-CNN框架训练得到的模型，对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；具体步骤包括：
(5-1)利用车载可见光摄像机及人工手持相机对杆塔顶端部位进行图像采集，并进行人工标注及裁剪，将裁剪的图像归一化为32×32像素，共采集生成2500张目标训练正类样本，50000张负类样本，利用像素偏移和尺度缩放技术将目标训练正样本扩展到17500张；
(5-2)利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，如图2所示，包括：
训练阶段：利用深度学习的Faster R-CNN框架联合训练得到区域提名网络模型和Fast R-CNN目标检测模型，完成模型的训练。
检测阶段：对于车载摄像机拍摄的图像取中间2/3部分区域为感兴趣区域，对感兴趣区域由区域提名网络生成大量的候选区域框，对候选区域框进行非最大值抑制，保留得分较高的前100个框。对候选区域采用Fast R-CNN检测模型进行打分，根据网络打分值标注电杆顶端部位。
(5-3)根据(5-2)步骤中电杆顶端位置进行云台调整，保证检测的电杆顶端区域中心点位于图像中心位置。然后控制云台从当前位置自上而下以1°/s的速度从上到下采集10张图片，按采集的先后顺序放入电杆图像序列，并根据巡检线路和当前GPS信息对该序列进行编号标注。
(5-4)在电杆可见光图像采集的同时，打开红外热像仪和超声检查仪，采集电杆上附属设备的红外图像及超声数据。
(6)针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接；电线杆检测及拼接全景效果图如图3所示，具体步骤包括：
(6-1)将步骤(5)中采集的图像序列按采集时间先后进行排序，分别记为I1,I2,…,In，并采用多尺度对比分析的显著性检测算法计算得到每一张电线杆图像的显著图；
(6-2)提取当前图像的下半部分区域及下一张图像的上半部分区域为候选匹配区域，对两部分候选区域进行ORB特征点的提取并完成特征点匹配，采用RANSAC算法进行误匹配点的剔除，根据匹配点计算两幅图像的投影变换矩阵M1,2；
(6-3)按(6-2)方法分别计算图像序列中两两图像间的投影变换矩阵M2,3，Mn-1,n。
(6-4)以图像I1为基准，根据图像间的投影变换矩阵和拍摄顺序，求得所有图片最终的相机参数和构造参数，采用多段融合法拼接得到电线杆的全景图像。
本发明进一步公开了一种基于视觉伺服的配电线路巡检数据自动采集系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，包括以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
2.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述的数据采集系统初始化，具体包括：
可见光摄像机连接、巡检线路信息配置以及巡检人员信息配置；
根据巡检配电线路的名称和巡检车辆GPS信息，判断线路与车辆的位置关系，自动调整车载云台，使可见光摄像机朝向线路方向；
通过调整云台的俯仰角，使得电力线出现在相机视野范围内。
3.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述对采集到的图像进行直线分割，具体为：
将采集的图像由RGB三通道图像转化为单通道灰度图像，利用高斯滤波函数对图像进行去噪和平滑处理，得到滤波后的图像；
计算图像各像素点水平方向和垂直方向的梯度值，求得各像素点的总梯度值和方向；
将图像中的每一个像素点的梯度值与相邻像素点的梯度值进行比较，若当前像素点的梯度值大于其相邻像素点的梯度值，并大于设定的梯度阈值，将该像素点标记为锚点；
依照ED直线检测算法中的锚点搜索连接方法，将图像中的锚点连接成为直线线段。
4.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，具体为：
根据得到的直线段信息，滤除偏转角度大于设定阈值的直线，将剩余的直线线段放入集合S中；
对于集合S中的直线线段，选取其中一条直线线段L1，将直线线段L1与其余直线线段两两比较，将所有满足设定条件的直线线段放入到同一子集中；
然后选取直线线段L2，如果直线线段L2与直线线段L1满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段；判断得到的直线线段是否已经在子集中，如果不在，将其放入子集中；如果直线线段L2与直线线段L1不满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段放入子集中；
以此类推，所有直线线段判断完毕，得到L个满足条件的子集构成集合
利用最小二乘法将每个子集中的线段拟合为图像中的一条直线，该直线与图像的左右边缘相交，将所有拟合的直线放入集合Sline；
对拟合得到的直线进行分析，选取集合Sline中的一条直线LS1与其他直线进行两两比较，如果两直线在图像水平中心点处的纵坐标之差的绝对值在设定的区间之内，将直线放入集合中；
然后选取直线LS2，如果直线LS2与直线LS1满足设定条件，将直线LS2与其余直线两两比较，得到所有满足设定条件的直线；判断得到的直线是否已经在子集中，如果不在，将其放入子集中；如果直线LS2与直线LS1不满足设定条件，将直线LS2与其余直线两两比较，得到所有满足设定条件的直线放入子集中；
以此类推，所有直线线段判断完毕，得到N个满足条件的子集构成集合
如果集合中直线的数目与根据巡检线路的先验信息得到当前线路中电力线的数目一致，则集合中所包含的图像即为图像中真正的电力线；
计算集合中最上端和最下端两条直线的中心点纵坐标位置与图像中心点纵坐标的偏差，根据所述偏差确定云台调整角度。
5.如权利要求4所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述将满足设定条件的直线线段放入到同一集合SU中，其中设定条件具体为：
集合S中两直线线段中心点纵坐标之差的绝对值不大于设定的纵坐标阈值；并且，该两直线线段偏向角之差的绝对值不大于设定的偏向角阈值。
6.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，具体为：
预先对杆塔顶端部位进行图像采集，并进行人工标注及裁剪，将裁剪的图像归一化处理，生成目标训练正类样本和负类样本；
利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，确定电杆顶端位置；
根据电杆顶端位置进行云台调整，保证检测的电杆顶端区域中心点位于图像中心位置；
控制云台从当前位置自上而下以设定速度采集设定数量的图片，按采集的先后顺序将图片放入电杆图像序列，并根据巡检线路和当前GPS信息对电杆图像序列进行编号标注；
在电杆可见光图像采集的同时，打开红外热像仪和超声检查仪，采集电杆上附属设备的红外图像及超声数据。
7.如权利要求6所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，具体为：
训练阶段：利用深度学习的Faster R-CNN框架联合训练得到区域提名网络模型和FastR-CNN目标检测模型，完成模型的训练；
检测阶段：对采集的图像，取中间设定部分区域为感兴趣区域，对感兴趣区域由区域提名网络生成大量的候选区域框，对候选区域框进行非最大值抑制，保留得分较高的前n个候选区域框；
对候选区域框采用Fast R-CNN检测模型进行打分，根据网络打分值标注电杆顶端部位。
8.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接，具体为：
将采集的图像序列按采集时间先后进行排序，采用多尺度对比分析的显著性检测算法计算得到每一张电线杆图像的显著图；
提取当前图像的下半部分区域及下一张图像的上半部分区域为候选匹配区域，对两部分候选匹配区域进行ORB特征点的提取并完成特征点匹配，采用RANSAC算法进行误匹配点的剔除，根据匹配点计算两幅图像的投影变换矩阵；
按照上述方法分别计算图像序列中两两图像间的投影变换矩阵；
选取基准图像，根据图像间的投影变换矩阵和拍摄顺序，求得所有图像最终的相机参数和构造参数，采用多段融合法拼接得到电线杆的全景图像。
9.基于视觉伺服的配电线路巡检数据自动采集系统，其特征在于，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810301794.3A CN108961276B (zh) | 2018-04-04 | 2018-04-04 | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810301794.3A CN108961276B (zh) | 2018-04-04 | 2018-04-04 | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108961276A true CN108961276A (zh) | 2018-12-07 |
| CN108961276B CN108961276B (zh) | 2020-09-25 |
Family
ID=64498769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810301794.3A Active CN108961276B (zh) | 2018-04-04 | 2018-04-04 | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108961276B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711556A (zh) * | 2018-12-24 | 2019-05-03 | 中国南方电网有限责任公司 | 机巡数据处理方法、装置、网级服务器和省级服务器 |
| CN111829467A (zh) * | 2020-06-24 | 2020-10-27 | 国家电网有限公司技术学院分公司 | 一种基于接线角度和位置的接线评估方法及系统 |
| CN112102395A (zh) * | 2020-11-09 | 2020-12-18 | 广东科凯达智能机器人有限公司 | 一种基于机器视觉的自主巡检的方法 |
| CN116681935A (zh) * | 2023-05-31 | 2023-09-01 | 国家深海基地管理中心 | 一种深海热液喷口自主识别定位方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413150A (zh) * | 2013-06-28 | 2013-11-27 | 广东电网公司电力科学研究院 | 基于可见光影像对电力线路缺陷进行诊断的方法 |
| CN103942824A (zh) * | 2014-05-15 | 2014-07-23 | 厦门大学 | 一种三维点云直线特征提取方法 |
| CN106570863A (zh) * | 2016-10-25 | 2017-04-19 | 南方电网科学研究院有限责任公司 | 一种输电线路的检测方法及装置 |
| CN106683046A (zh) * | 2016-10-27 | 2017-05-17 | 山东省科学院情报研究所 | 用于警用无人机侦察取证的图像实时拼接方法 |
| CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
| US20180061011A1 (en) * | 2016-08-30 | 2018-03-01 | Adobe Systems Incorporated | Automatic orientation adjustment of spherical panorama digital images |
-
2018
- 2018-04-04 CN CN201810301794.3A patent/CN108961276B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413150A (zh) * | 2013-06-28 | 2013-11-27 | 广东电网公司电力科学研究院 | 基于可见光影像对电力线路缺陷进行诊断的方法 |
| CN103942824A (zh) * | 2014-05-15 | 2014-07-23 | 厦门大学 | 一种三维点云直线特征提取方法 |
| US20180061011A1 (en) * | 2016-08-30 | 2018-03-01 | Adobe Systems Incorporated | Automatic orientation adjustment of spherical panorama digital images |
| CN106570863A (zh) * | 2016-10-25 | 2017-04-19 | 南方电网科学研究院有限责任公司 | 一种输电线路的检测方法及装置 |
| CN106683046A (zh) * | 2016-10-27 | 2017-05-17 | 山东省科学院情报研究所 | 用于警用无人机侦察取证的图像实时拼接方法 |
| CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| CUNEYT AKINLAR等: "EDLines: A real-time line segment detector with a false detection control", 《PATTERN RECOGNITION LETTERS》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711556A (zh) * | 2018-12-24 | 2019-05-03 | 中国南方电网有限责任公司 | 机巡数据处理方法、装置、网级服务器和省级服务器 |
| CN111829467A (zh) * | 2020-06-24 | 2020-10-27 | 国家电网有限公司技术学院分公司 | 一种基于接线角度和位置的接线评估方法及系统 |
| CN112102395A (zh) * | 2020-11-09 | 2020-12-18 | 广东科凯达智能机器人有限公司 | 一种基于机器视觉的自主巡检的方法 |
| CN112102395B (zh) * | 2020-11-09 | 2022-05-20 | 广东科凯达智能机器人有限公司 | 一种基于机器视觉的自主巡检的方法 |
| CN116681935A (zh) * | 2023-05-31 | 2023-09-01 | 国家深海基地管理中心 | 一种深海热液喷口自主识别定位方法及系统 |
| CN116681935B (zh) * | 2023-05-31 | 2024-01-23 | 国家深海基地管理中心 | 一种深海热液喷口自主识别定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108961276B (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961276A (zh) | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 | |
| WO2022188379A1 (zh) | 服务于电力机器人的人工智能系统及方法 | |
| CN109657575B (zh) | 室外施工人员智能视频跟踪算法 | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
| CN105426905B (zh) | 基于梯度直方图和支持向量机的机器人障碍物识别方法 | |
| CN108875911A (zh) | 一种泊车位检测方法 | |
| Miao et al. | On-board lane detection system for intelligent vehicle based on monocular vision | |
| CN108447091A (zh) | 目标定位方法、装置、电子设备及存储介质 | |
| CN102622615B (zh) | 基于刀闸臂特征点间距离的刀闸状态合位可靠性判别方法 | |
| CN103413139A (zh) | 基于电力巡线红外巡检视频数据的电力设备异常发热检测方法 | |
| CN107977639A (zh) | 一种人脸清晰度判断方法 | |
| CN112327906A (zh) | 一种基于无人机的智能自动巡检系统 | |
| CN101726498B (zh) | 基于视觉仿生的铜带表面质量智能检测装置及方法 | |
| CN105022999A (zh) | 一种人码伴随实时采集系统 | |
| CN114841944B (zh) | 基于挂轨轨道机器人的尾矿坝表面形变巡检方法 | |
| CN114782626A (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
| CN102436578B (zh) | 狗脸特征检测器的形成方法、狗脸检测方法及装置 | |
| CN105931233A (zh) | 用于输电线路螺栓紧固机器人的螺栓搜索识别方法 | |
| CN106339722A (zh) | 一种线路刀闸状态监测方法及装置 | |
| CN112455676A (zh) | 一种光伏板健康状态智能监测分析系统及方法 | |
| CN206331472U (zh) | 一种基于人脸检测的互动机器人 | |
| CN114037895A (zh) | 一种无人机杆塔巡检图像识别方法 | |
| CN117274845A (zh) | 一种飞行无人机影像抓取方法、系统、设备及储存介质 | |
| CN112785564A (zh) | 一种基于机械臂的行人检测跟踪系统与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 250101 block B, Yinhe building, 2008 Xinjie street, hi tech Zone, Ji'nan, Shandong. Applicant after: Shandong Luneng Intelligent Technology Co., Ltd. Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant after: State Grid Corporation of China Address before: 250101 B block 626, Yinhe building, 2008 Xinjie street, Ji'nan high tech Zone, Shandong. Applicant before: Shandong Luneng Intelligent Technology Co., Ltd. Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant before: State Grid Corporation of China |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park) Applicant after: National Network Intelligent Technology Co., Ltd. Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant after: State Grid Corporation of China Address before: 250101 block B, Yinhe building, 2008 Xinjie street, hi tech Zone, Ji'nan, Shandong. Applicant before: Shandong Luneng Intelligent Technology Co., Ltd. Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant before: State Grid Corporation of China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201102 Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park) Patentee after: National Network Intelligent Technology Co.,Ltd. Address before: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park) Patentee before: National Network Intelligent Technology Co.,Ltd. Patentee before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co. Patentee before: STATE GRID CORPORATION OF CHINA |
|
| TR01 | Transfer of patent right |