CN112329584A - 基于机器视觉自动识别电网异物的方法及系统、设备 - Google Patents
基于机器视觉自动识别电网异物的方法及系统、设备 Download PDFInfo
- Publication number
- CN112329584A CN112329584A CN202011184674.3A CN202011184674A CN112329584A CN 112329584 A CN112329584 A CN 112329584A CN 202011184674 A CN202011184674 A CN 202011184674A CN 112329584 A CN112329584 A CN 112329584A
- Authority
- CN
- China
- Prior art keywords
- image
- moving target
- power grid
- optical flow
- flow field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003287 optical effect Effects 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000007689 inspection Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000005770 birds nest Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 235000005765 wild carrot Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于机器视觉自动识别电网异物的方法及系统、设备及存储介质，该方法包括：通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理；计算图像的光流场，对光流场进行阈值分割，得到运动目标的区域并统计运动目标的特征信息；根据Camshift算法对运动目标的区域进行特征提取、匹配和跟踪，自动检测识别运动目标。该方法提高了工作人员对线网维护保养的效率与精度，具有较好的适应性和抗干扰能力，且运用基于Kalman滤波改进的Camshift跟踪算法能够有效解决异物图像大面积颜色干扰和目标易受到遮挡时容易丢失跟踪目标的问题，并且改进算法的识别准确率和跟踪效果都有所提高。
Description
技术领域
本发明属于电网智能巡检领域，尤其涉及一种基于机器视觉自动识别电网异物的方法及系统、设备及存储介质。
背景技术
近年来随着轨道交通的发展，铁路的电气化覆盖率也不断提高，没有了电力供应的列车将会失去动力，不仅影响到列车的正常行驶而且对于客运专列还会影响旅客的体验，因此供配电线网作为是唯一供电设备，是轨道交通的“大动脉”。接触网是特殊形式的输电线，作为一个没有“保护层”的供电设备，它一般都是裸露在外，在大风季节，经常有异物被吹到接触网设备上，导致异物侵入设备限界，从而造成交通安全事故。城市轨道交通，高速铁路，地铁等，一旦遇到接触网悬挂异物的问题，引起接触网故障导致停电，造成的影响不可估量。
接触网有以下8种常见的侵害类型，即轻飘物侵害、广告牌侵害、侵限树木和危树侵害、上跨建筑物侵害、设备环境破坏造成的侵害、设备物理性受损的机械侵害、鸟类筑巢侵害、烟尘粉尘等污染侵害。其中由于大风天气，导致漂浮异物悬挂上接触网的现象特别严重，这类异物一般有气球、风筝、树枝、孔明灯、塑料袋、编织袋和海报等一系列面积或体积较小的轻质物品。
悬挂型异物的主要特性有质量轻容易随风漂浮，大多数物品燃点低，易缠绕等，这些异物可能引起弓网关系的恶化，因为它们侵入了供电设备的限界，使受电弓引流的质量变差，产生刮碰，降低弓网使用寿命，并会产生火花，拉弧从而引起安全事故。有些情况下还会造成供电短路、跳闸停电，耽误乘客的出行，甚至使行车安全受到威胁，引致的经济损失无法估算。
接触网悬挂异物时造成的后果和影响主要有以下几个方面：
(1)异物悬挂于接触网上对城市轨道交通有很大的影响，是一个重要的安全隐患，如果不及时清除还会影响在轨列车运行，严重时将直接导致运营中断。
(2)由于接触网在高处，工作人员不能直接操作，对悬挂的异物进行处理具有一定的难度，经常会出现即使使用绝缘设备也没能将异物清除的情况，有必要对接触网进行停电，再通过走线上塔的方式处置，处理不及时会影响列车高峰时段运营。
(3)当列车无法越过异物，或者在尝试越过异物的过程中，使列车供电系统受到影响造成列车不能正常行驶，而要进行大批乘客的疏散，将会对乘客及城市轨道交通运营服务有很大影响，导致服务质量下降，影响公司和企业品牌形象。
目前针对供配电线网异物检测与识别具有以下一些主要问题：
(1)传统的人工检测的运维模式，不适应轨道交通发展需要
传统的轨道交通运维模式，针对供配电线路巡检和异物检测与清除的任务，主要依靠的是人力；通过人工巡检，对轨道交通设备进行运检和对列车运行环境进行监测，遇到输电线路悬挂有异物的情况时，根据实际情况，选择带电处理或停电处理。随着轨道线路网的日益扩大，巡线的工作量也日益加大，单纯依靠人力的方法带来人力成本的剧增，检测识别效率的低下，此种模式显然不适应轨道交通系统发展需要。
(2)缺乏高效的自动识别方法，复杂动态背景下识别精度不高
随着飞行机器人与机器视觉的发展与应用，近年来利用无人机辅助电网巡检作业得到了广泛的应用和推广，通过机载视觉系统，可以发现高架桥设备的破损和电线上异物悬挂等问题。无人机巡检采集了大量的视频图像数据，传统的方法是通过人工进行辨别筛选，但是也存在工作量大，效率低，实时性差等缺点。随着人工智能和计算机视觉技术的发展，图像处理的精确度和性能也不断提高，利用计算机实时分析处理大量图像数据，有效提高电力系统运营维护的效率。轨道交通供配电线网沿着轨道架设，轨道通常铺设在城市之间，环境复杂多变，对图像处理带来一定的影响。并且由于无人机在非结构环境下进行图像采集，无法完全静止，自身的运动必然会导致拍摄的视频图像背景出现一定程度的模糊，因此对供配电线网悬挂异物的检测，实际上是一种复杂动态背景下运动目标检测。
(3)悬挂类异物的识别和检测研究较少
近几年，国内高校和研究机构在无人机巡检和异物检测技术方面也取得了不错的研究成果。但现有的输电线巡检技术和方法对于输电线图像检测，相关的研究主要集中在覆冰线路图像、输电线杆塔上附着鸟巢和绝缘子损坏情况的检测上，对于线路上的悬挂类异物的识别和检测的研究较少。主要的原因是异物的类型、颜色和形状多变，且轨道交通接触网的背景环境各不相同，想要找到一种适应性较强的且能够在复杂背景中精确定位异物的方法具有一定难度。
(4)异物监测模式仍以被动式任务为主
目前国内无人机巡检领域，对基于智能图像分析的输电线路异物检测研究相对较少，无人机辅助电力巡检，仅能完成被动监测任务，且需要人工远程操控，距离实现旋翼飞行机器人自主巡线还有很多问题需要深入研究。
发明内容
本发明所要解决的技术问题是：针对现有技术的问题，本发明提供了一种基于机器视觉可以自动识别异物的方法。
第一方面，本申请实施例提供了一种基于机器视觉自动识别电网异物的方法，所述方法包括：
通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理；
计算所述图像的光流场，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息；
根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪，自动检测识别所述运动目标。
第二方面，本申请实施例提供了一种基于机器视觉自动识别电网异物的系统，所述系统包括：
采集模块：用于通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理；
分割模块：用于计算所述图像的光流场，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息；
识别模块：用于根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪，自动检测识别所述运动目标。
第三方面，本申请实施例还提供了一种基于机器视觉自动识别电网异物的设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面所述的基于机器视觉自动识别电网异物的方法中的各个步骤。
第四方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的基于机器视觉自动识别电网异物的方法中的各个步骤。
本发明提供了一种基于机器视觉自动识别电网异物的方法，该方法包括：通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理；计算所述图像的光流场，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息；根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪，自动检测识别所述运动目标。该方法是一种精细化的巡检作业模式，提高了工作人员对线网维护保养的效率与精度，为下一步的异物清除提供技术基础，具有较好的适应性和抗干扰能力，且运用基于Kalman滤波改进的Camshift跟踪算法能够有效解决异物图像大面积颜色干扰和目标易受到遮挡时容易丢失跟踪目标的问题，并且改进算法的识别准确率和跟踪效果都有所提高。
附图说明
下面结合附图详述本发明的具体结构
图1为本发明的基于机器视觉自动识别电网异物的方法的流程示意图；
图2为本发明的基于机器视觉自动识别电网异物的方法的子流程示意图；
图3为本发明的基于机器视觉自动识别电网异物的方法的另一子流程示意图；
图4为本发明的基于机器视觉自动识别电网异物的方法的另一子流程示意图；
图5为本发明的基于机器视觉自动识别电网异物的方法的程序模块示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请实施例中基于机器视觉自动识别电网异物的方法中的流程示意图，本实施例中，基于机器视觉自动识别电网异物的方法包括：
步骤101、通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理。
其中，飞行机器采用的是旋冀飞行机器人，飞行机器动态巡检电网时，对图像优化和减振技术要求较高。因此旋翼飞行机器人配备了减振设备，视觉系统和多关节机械臂，在飞行机器上装备有视觉系统，视觉系统主要采集运动目标的图像，在本申请实施例中，运动目标也就是异物，采集了运动目标的图像时，将采集到的图像输出至嵌入式系统进行图像的评价，当图像符合要求时，将该图像发送至地面端，在地面端对回传回来的图像进行处理。
步骤102、计算所述图像的光流场，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息。
其中，在步骤101中，将图像返回至地面端进行处理后，先计算出图像的光流场，其中，光流场是指图像中所有像素点构成的一种二维(2D)瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影；计算出光流场后，对光流场进行阈值分割，依据光流的差异，区分出前景与背景，可得到图像中运动目标的区域，并统计图像中的运动目标的特征信息。其中阈值分割法是一种基于区域的图像分割技术，原理是把图像象素点分为若干类。图像阈值化分割是一种传统的最常用的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。
步骤103、根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪，自动检测识别所述运动目标。
其中，在步骤102中得到了运动目标的区域以及运动目标的特征后，可根据Camshift算法对运动目标区域进行特征提取并进行匹配跟踪，可以自动识别运动目标；其中，融合Kalman滤波算法对Camshift算法进行改进，Kalman算法的速度快、实时性强，是一种高效的递推状态估计算法，可以较准确地给出目标的位置和速度的预测值，基于融合Kalman滤波器的Camshift改进算法能利用目标运动趋势提前预测出下一帧目标的搜索区域，因此对快速运动目标的跟踪效果更好。当目标被遮挡时，使用Kalman预测值来确定目标位置，并根据运动趋势预测目标的搜索窗口，扩大目标的搜索范围，保证了目标再次出现时能快速捕捉。
本申请实施例提供的基于机器视觉自动识别电网异物的方法，该方法包括：通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理；计算所述图像的光流场，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息；根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪，自动检测识别所述运动目标。该方法是一种精细化的巡检作业模式，提高了工作人员对线网维护保养的效率与精度，为下一步的异物清除提供技术基础，具有较好的适应性和抗干扰能力，且运用基于Kalman滤波改进的Camshift跟踪算法能够有效解决异物图像大面积颜色干扰和目标易受到遮挡时容易丢失跟踪目标的问题，并且改进算法的识别准确率和跟踪效果都有所提高。
进一步的，基于上述实施例，参照图2，图2为本申请实施例中基于机器视觉自动识别电网异物的方法的子流程示意图，本实施例中，步骤101中将所述图像传输至嵌入式系统进行图像评价具体包括：
步骤201、若所述图像未达到预设的清晰度质量指标，则移动所述飞行机器的位置或由自适应算法调节视觉系统快门和光圈；
步骤202、直至拍摄到清晰图像。
其中，将图像传输至嵌入式系统进行评价时，若传输的图像未达到预设的清晰度质量指标时，就会移动飞行机器的位置，或者由飞行机器自适应的算法调节视觉系统的快门和光圈，直到传输的照片达到预设的清晰度为止，若未达到清晰度质量指标，则会一直拍摄。相机动态和静态的情况下由于相机的机器物理原因、光照环境变化等原因都可能导致成像质量较差，移动机器视觉经常因为相机采样速度或者处理器的处理速度跟不上移动速度，在一个快门时间内使得图像中的一些像素点发生移动和叠合现象，造成了图像的模糊。成像的质量是影响图像后续处理的重要因素。常见的成像质量影响因素有光照强度和方向、焦距、成像距离等，在自然光照下，图像成像质量会因光照条件不同而改变。旋翼飞行机器人在采集图像的过程中由于不可避免的浮动，导致拍摄距离会有一些偏差，造成对焦不准和画面模糊等现象，因此相机的运动是成像质量主要影响因素。
进一步的，基于上述实施例，参照图3，图3为本申请实施例中基于机器视觉自动识别电网异物的方法的另一子流程示意图，本实施例中，步骤102中计算所述图像的光流场具体包括：
步骤301、计算所述图像中的每个像素点运动的瞬时速度；
步骤302、根据所述图像中的像素点与三维空间中所述运动目标的点在某一时刻的对应关系，得到相邻帧之间所述运动目标的运动信息。
其中，将图像传输至地面端进行处理时，先计算图像中的每个像素点运动的瞬时速度，通过相邻帧图像中像素点运动的位移，除以间隔时间，由于时间很短，所以计算出的结果可以近似看作像素点的瞬时速度，因为图像中的像素点与三维空间里的运动目标是相对应的，利用图像中的像素点与三维空间中的运动目标的点在某一特定时刻的对应关系，计算出相邻帧之间的运动物体的运动信息，利用分析像素点的光流矢量能得到图像动态信息，因此光流场保留了图像动态信息，其中光流场包括了像素点的瞬时速度与图像动态信息。
进一步的，在本申请实施例中，计算所述图像的光流场还包括使用孟塞尔颜色系统进行显示光流场的图像。其中，当用旋翼飞行机器人视觉系统采集供配电线网相关视频图像时，接触网悬挂的异物距离相机最近，因此在成像时光流矢量运动速度快；背景景物与相机的距离最远，因此产生的光流矢量运动速度慢，发生运动的物体的光流矢量与背景光流矢量之间是存在差异的。使用阈值分割可以将整幅图片的光流矢量分成两个部分，即区分出背景与前景。在本申请中使用孟塞尔颜色系统(MunsellColor System)进行显示，光流场图像中不同颜色表示不同的运动方向，颜色的深浅就表示运动的快慢。以此可以从背景中分离出前景目标，确定目标区域。
进一步的，在本申请实施例中，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息还包括，通过形态学滤波对所述图像进行处理。其中，通过形态学滤波对图像进行处理后，最后会得到一个连通范围，便可以识别出目标区域并统计其特征信息。其中形态学滤波就是基于形状的一系列图像处理操作。
进一步的，基于上述实施例，参照图4，图4为本申请实施例中基于机器视觉自动识别电网异物的方法的另一子流程示意图，步骤101中所述通过飞行机器巡检电网包括：
步骤401、保持视觉系统与所述电网的接触网等高，并沿所述接触网水平方向匀速飞行采集所述接触网相关视频图像，并对所述视频图像进行处理；
步骤402、通过概率霍夫直线边缘检测提取所述接触网形态特征计算所述视频图像的偏转角度；
步骤403、对所述视频图像进行几何变换，定义运动目标检测区域。
其中，飞行机器飞行过程中保持与接触网等高，保持飞行机器的视觉系统对着接触网方向，沿着接触网方向水平匀速飞行采集接触网相关视频图像；然后基于接触网形态学特征设计了线性模板滤波和分段直方图均衡化处理的图像增强技术；接着，通过概率霍夫直线边缘检测提取接触网形态特征计算图像偏转角度，对图像进行几何变换改进视频图像采集系统的系统位置造成的随机误差，使图像区域里的接触网保持水平，定义运动目标的检测区域。
进一步的，在本实施例中，所述根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪包括，根据所述运动目标的运动趋势，预测所述运动目标下一帧出现的位置。其中，Kalman滤波算法可以对目标下一帧出现的位置进行预测，它的速度快、实时性强，是一种高效的递推状态估计算法，可以较准确地给出目标的位置和速度的预测值。引入Kalman滤波算法的改进Camshift算法，在目标跟踪过程中，可通过Kalman预测机制，得到目标运动趋势，以此修正下一帧搜索窗口的位置，从而能够跟踪快速运动的目标，而且当目标受到遮挡时也能短时间追踪到目标，提高了算法的鲁棒性。Kalman滤波器用于估计目标状态，这些目标状态序列是由每帧图像中的状态信息所构成，Kalman滤波器的输入是目标在图像前一时刻的目标位置和大小，这些参数构成了状态向量和测量向量。基于融合Kalman滤波器的Camshift改进算法能利用目标运动趋势提前预测出下一帧目标的搜索区域，因此对快速运动目标的跟踪效果更好。当目标被遮挡时，使用Kalman预测值来确定目标位置，并根据运动趋势预测目标的搜索窗口，扩大目标的搜索范围，保证了目标再次出现时能快速捕捉。
在本申请实施例中，本发明的具体实施步骤包括：
先使用飞行机器的视觉系统采集运动目标的检测区域；拍摄清晰的图像，并发送至地面端进行处理；计算图像中所有像素点的瞬时速度与图像的动态信息；对图像进行形态学滤波处理；对图像进行阈值分割，得到运动目标的区域和具体特征；通过改进的Camshift算法对目标区域进行特征提取、匹配和跟踪，最终确定自动检测识别出异物。
进一步的，本申请实施例还提供一种基于机器视觉自动识别电网异物的设备200，参照图5，图5位本申请实施例中基于机器视觉自动识别电网异物的设备模块示意图，本实施例中，上述基于机器视觉自动识别电网异物的设备包括：
采集模块501：用于通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理；
分割模块502：用于计算所述图像的光流场，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息；
识别模块503：用于根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪，自动检测识别所述运动目标。
本申请实施例提供的基于机器视觉自动识别电网异物的设备200，可以实现：通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理；计算所述图像的光流场，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息；根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪，自动检测识别所述运动目标。该方法是一种精细化的巡检作业模式，提高了工作人员对线网维护保养的效率与精度，为下一步的异物清除提供技术基础，具有较好的适应性和抗干扰能力，且运用基于Kalman滤波改进的Camshift跟踪算法能够有效解决异物图像大面积颜色干扰和目标易受到遮挡时容易丢失跟踪目标的问题，并且改进算法的识别准确率和跟踪效果都有所提高。
进一步的，本申请还提供一种基于机器视觉自动识别电网异物的设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于机器视觉自动识别电网异物的方法中的各个步骤。
进一步的，本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的基于机器视觉自动识别电网异物的方法中的各个步骤。
在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种基于机器视觉自动识别电网异物的方法及系统、设备及存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于机器视觉自动识别电网异物的方法，其特征在于，所述方法包括：
通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理；
计算所述图像的光流场，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息；
根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪，自动检测识别所述运动目标。
2.如权利要求1所述的方法，其特征在于，所述将所述图像传输至嵌入式系统进行图像评价包括：
若所述图像未达到预设的清晰度质量指标，则移动所述飞行机器的位置或由自适应算法调节视觉系统快门和光圈；
直至拍摄到清晰图像。
3.如权利要求2所述的方法，其特征在于，所述计算所述图像的光流场包括：
计算所述图像中的每个像素点运动的瞬时速度；
根据所述图像中的像素点与三维空间中所述运动目标的点在某一时刻的对应关系，得到相邻帧之间所述运动目标的运动信息。
4.如权利要求3所述的方法，其特征在于，所述计算所述图像的光流场还包括：
使用孟塞尔颜色系统进行显示光流场的图像。
5.如权利要求4所述的方法，其特征在于，所述对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息还包括：
通过形态学滤波对所述图像进行处理。
6.如权利要求5所述的方法，其特征在于，所述通过飞行机器巡检电网包括：
保持视觉系统与所述电网的接触网等高，并沿所述接触网水平方向匀速飞行采集所述接触网相关视频图像，并对所述视频图像进行处理；
通过概率霍夫直线边缘检测提取所述接触网形态特征计算所述视频图像的偏转角度；
对所述视频图像进行几何变换，定义运动目标检测区域。
7.如权利要求6所述的方法，其特征在于，所述根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪包括：
根据所述运动目标的运动趋势，预测所述运动目标下一帧出现的位置。
8.一种基于机器视觉自动识别电网异物的系统，其特征在于，所述系统包括：
采集模块：用于通过飞行机器巡检电网，由视觉系统采集运动目标的图像，将所述图像传输至嵌入式系统进行图像评价，再回传至地面端进行处理；
分割模块：用于计算所述图像的光流场，对所述光流场进行阈值分割，得到所述运动目标的区域并统计所述运动目标的特征信息；
识别模块：用于根据Camshift算法对所述运动目标的区域进行特征提取、匹配和跟踪，自动检测识别所述运动目标。
9.一种基于机器视觉自动识别电网异物设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的基于机器视觉自动识别电网异物的方法中的各个步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的基于机器视觉自动识别电网异物的方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011184674.3A CN112329584A (zh) | 2020-10-29 | 2020-10-29 | 基于机器视觉自动识别电网异物的方法及系统、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011184674.3A CN112329584A (zh) | 2020-10-29 | 2020-10-29 | 基于机器视觉自动识别电网异物的方法及系统、设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112329584A true CN112329584A (zh) | 2021-02-05 |
Family
ID=74297281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011184674.3A Pending CN112329584A (zh) | 2020-10-29 | 2020-10-29 | 基于机器视觉自动识别电网异物的方法及系统、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329584A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409303A (zh) * | 2021-07-14 | 2021-09-17 | 湖南工业大学 | 一种高速铁路接触网目标检测与跟踪方法 |
| CN113947731A (zh) * | 2021-12-21 | 2022-01-18 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
| CN115187869A (zh) * | 2022-09-08 | 2022-10-14 | 南昌理工学院 | 基于ai算法的高铁接触网设备巡检系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145851A (zh) * | 2017-04-28 | 2017-09-08 | 西南科技大学 | 建筑作业区危险源智能识别系统 |
| CN107680095A (zh) * | 2017-10-25 | 2018-02-09 | 哈尔滨理工大学 | 基于模板匹配与光流法的无人机图像的输电线路异物检测 |
| CN107801000A (zh) * | 2017-10-17 | 2018-03-13 | 国网江苏省电力公司盐城供电公司 | 一种输电线路防外破智能视频监控系统 |
| CN108037770A (zh) * | 2017-11-22 | 2018-05-15 | 国网山东省电力公司济宁供电公司 | 基于人工智能的无人机输电线路巡检系统和方法 |
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN109102523A (zh) * | 2018-07-13 | 2018-12-28 | 南京理工大学 | 一种运动目标检测和跟踪方法 |
| CN111814686A (zh) * | 2020-07-09 | 2020-10-23 | 国网山西省电力公司吕梁供电公司 | 一种基于视觉的输电线路识别及异物入侵在线检测方法 |
-
2020
- 2020-10-29 CN CN202011184674.3A patent/CN112329584A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN107145851A (zh) * | 2017-04-28 | 2017-09-08 | 西南科技大学 | 建筑作业区危险源智能识别系统 |
| CN107801000A (zh) * | 2017-10-17 | 2018-03-13 | 国网江苏省电力公司盐城供电公司 | 一种输电线路防外破智能视频监控系统 |
| CN107680095A (zh) * | 2017-10-25 | 2018-02-09 | 哈尔滨理工大学 | 基于模板匹配与光流法的无人机图像的输电线路异物检测 |
| CN108037770A (zh) * | 2017-11-22 | 2018-05-15 | 国网山东省电力公司济宁供电公司 | 基于人工智能的无人机输电线路巡检系统和方法 |
| CN109102523A (zh) * | 2018-07-13 | 2018-12-28 | 南京理工大学 | 一种运动目标检测和跟踪方法 |
| CN111814686A (zh) * | 2020-07-09 | 2020-10-23 | 国网山西省电力公司吕梁供电公司 | 一种基于视觉的输电线路识别及异物入侵在线检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈小龙;: "基于图像识别技术的变电站鸟巢智能辨识别技术研究与应用", 电子测试, no. 16, pages 50 - 51 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409303A (zh) * | 2021-07-14 | 2021-09-17 | 湖南工业大学 | 一种高速铁路接触网目标检测与跟踪方法 |
| CN113947731A (zh) * | 2021-12-21 | 2022-01-18 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
| CN113947731B (zh) * | 2021-12-21 | 2022-07-22 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
| CN115187869A (zh) * | 2022-09-08 | 2022-10-14 | 南昌理工学院 | 基于ai算法的高铁接触网设备巡检系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113744270B (zh) | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 | |
| CN108037770B (zh) | 基于人工智能的无人机输电线路巡检系统和方法 | |
| CN112329584A (zh) | 基于机器视觉自动识别电网异物的方法及系统、设备 | |
| Khan et al. | Unmanned aerial vehicle–based traffic analysis: Methodological framework for automated multivehicle trajectory extraction | |
| WO2018028103A1 (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN106447680B (zh) | 动态背景环境下雷达与视觉融合的目标检测与跟踪方法 | |
| CN101969548B (zh) | 基于双目摄像的主动视频获取方法及装置 | |
| CN107808123B (zh) | 图像可行域检测方法、电子设备、存储介质、检测系统 | |
| CN107145851A (zh) | 建筑作业区危险源智能识别系统 | |
| CN108230254A (zh) | 一种自适应场景切换的高速交通全车道线自动检测方法 | |
| CN106290388A (zh) | 一种绝缘子故障自动检测方法 | |
| CN113947731B (zh) | 一种基于接触网安全巡检的异物识别方法及系统 | |
| CN114240868A (zh) | 一种基于无人机的巡检分析系统及方法 | |
| CN108776974A (zh) | 一种适用于公共交通场景的实时目标跟踪方法 | |
| CN102073846A (zh) | 基于航拍图像的交通信息获取方法 | |
| CN111009008B (zh) | 一种基于自学习策略的机场飞机自动挂标方法 | |
| EP2813973B1 (en) | Method and system for processing video image | |
| CN105303162B (zh) | 一种基于目标建议算法的航拍图像绝缘子识别方法 | |
| CN103778645A (zh) | 一种基于图像的圆形目标实时跟踪方法 | |
| CN104570764A (zh) | 一种机载目标指示系统验证平台 | |
| Li et al. | The future application of transmission line automatic monitoring and deep learning technology based on vision | |
| Van Phat et al. | Deep4air: A novel deep learning framework for airport airside surveillance | |
| CN109684914A (zh) | 基于无人机影像智能识别方法 | |
| Yuliandoko et al. | Automatic vehicle counting using Raspberry pi and background subtractions method in the sidoarjo toll road |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |