CN106960178A - 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法 - Google Patents

绝缘子识别模型的训练方法以及绝缘子的识别与定位方法 Download PDF

Info

Publication number
CN106960178A
CN106960178A CN201710098806.2A CN201710098806A CN106960178A CN 106960178 A CN106960178 A CN 106960178A CN 201710098806 A CN201710098806 A CN 201710098806A CN 106960178 A CN106960178 A CN 106960178A
Authority
CN
China
Prior art keywords
insulator
image
subwindow
candidate
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710098806.2A
Other languages
English (en)
Other versions
CN106960178B (zh
Inventor
杨国栋
闫田田
梁自泽
李恩
常文凯
毛剑
毛一剑
徐大伟
龙腾
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201710098806.2A priority Critical patent/CN106960178B/zh
Publication of CN106960178A publication Critical patent/CN106960178A/zh
Application granted granted Critical
Publication of CN106960178B publication Critical patent/CN106960178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种绝缘子识别模型的训练方法以及绝缘子的识别与定位方法。本发明采集绝缘子的正、负样本，并提取HOG特征和LBP特征，通过PCA降维后串联形成融合特征，对LIBSVM进行训练得到绝缘子识别模型。在对绝缘子进行识别与定位时，利用最大类间方差法和形态学方法降待识别的原始图像进行预处理；在图像上滑动提取候选子窗口，并行计算融合特征，并利用训练生成的绝缘子识别模型进行识别；采用非极大值抑制算法进行窗口融合；对子窗口进行分组、取点、线性拟合，得到绝缘子的定位信息。本发明能够在直升机或巡线机器人航拍的高压输电线路视频中快速识别和定位各种尺度、各种旋转角度、各种透视角度的绝缘子。

Description

绝缘子识别模型的训练方法以及绝缘子的识别与定位方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种绝缘子识别模型的训练方法以及绝缘子的识别与定位方法。
背景技术
绝缘子是输电线路中的一个重要元件，因长期经受日晒雨淋，出现故障的几率较大，因此需要定期巡检。在直升机或巡线机器人巡检中，利用摄像机获取待检测绝缘子图像，通过计算机视觉、图像处理等技术实现绝缘子的识别和定位，进而可以进行状态监测和故障诊断。
传统的绝缘子识别方式主要是先经过图像分割，然后根据绝缘子的特征进行目标提取。绝缘子特征主要有伞盘的椭圆特性、伞盘间线条的平行性、伞盘边缘的跳变性等。传统识别方式对图像分割要求高，当绝缘子与背景环境十分相近时，识别绝缘子效率低。在分割后提取绝缘子特征时，随着绝缘子种类、旋转角度、透视角度的变化，特征变化很大。另外，采用人工提取的绝缘子特征通用性不好。
发明内容
为了解决现有技术中的上述问题，本发明提出了一种绝缘子识别模型的训练方法以及绝缘子的识别与定位方法，不但提高了复杂背景时的定位效率，而且针对不同种类、不同旋转角度和不同透视角度的绝缘子都能够精确识别和定位。
本发明提出一种绝缘子识别模型的训练方法，包括以下步骤：
步骤A1，获取绝缘子的局部图像作为正样本，获取绝缘子周围背景图像作为负样本；
步骤A2，对步骤A1所获取的各样本分别提取HOG(Histogram of OrientedGradient，方向梯度直方图)特征、LBP(Local Binary Pattern，局部二值模式)特征，用PCA(Principal Component Analysis，主成分分析法)进行降维，得到降维后的各样本的HOG特征向量、LBP特征向量；
步骤A3，对每个样本分别将HOG特征向量和LBP特征向量进行串行融合，形成各样本的融合特征；
步骤A4，根据各样本的融合特征，对支持向量机进行训练，得到绝缘子识别模型。
优选地，步骤A1中所述正样本，图像大小为预设的尺寸，包括不同种类、不同尺度、不同旋转角度和不同透视角度的绝缘子局部图像，每个样本图像中包含绝缘子的多个伞盘。
优选地，步骤A1中所述负样本，采用与正样本大小相同的背景图像，包括：电线、塔杆、草地、树林。
优选地，步骤A2中，提取LBP特征的具体方法为：
在输入图像上滑动提取块图像，提取各个块图像的旋转不变LBP特征，将所述各个块图像的旋转不变LBP特征串联，形成输入图像的LBP特征。
优选地，旋转不变LBP特征向量计算公式为：
其中，Dlbp表示LBP二值模式的种类数量；Sb表示块大小；lb表示块移动步长；w和h分别表示图像的宽度和高度。
优选地，步骤A4具体为：
根据各样本的融合特征和训练参数，对核函数为RBF(Radial Basis Function，径向基函数)的LIBSVM(LIBrary for Support Vector Machines，台湾大学林智仁教授开发的一套支持向量机的库)向量机进行训练，得到所述绝缘子识别模型；所述训练参数，经k-折交叉验证(k-fold crossValidation)后得到。
本发明同时提出一种绝缘子的识别与定位方法，具体包括以下步骤：
步骤B1，采用最大类间方差法和形态学方法将待识别的原始图像进行预处理，得到待检测图像；
步骤B2，在所述待检测图像上滑动提取候选子窗口，并利用所述绝缘子识别模型进行识别；
步骤B3，针对被识别为绝缘子图像的候选子窗口，采用非极大值抑制算法(Non-maximum suppression,NMS)进行窗口融合；
步骤B4，对融合后的子窗口，进行分组；计算出各组内绝缘子图像的中心线和宽度，并在所述待识别的原始图像中的对应位置进行标注。
优选地，步骤B1具体为：
步骤B11，根据预设的阈值，利用最大类间方差法(由日本学者大津(OTSU)于1979年提出的一种对图像进行二值化的高效算法，简称OTSU)将所述待识别的原始图像进行阈值分割，得到二值图像；
步骤B12，对步骤B11所得二值图像进行形态学闭操作，进一步去除背景元素；
步骤B13，将步骤B12中进一步去除背景元素后的二值图像进行反向操作，得到掩码图像；
步骤B14，将所述掩码图像与所述待识别的原始图像相乘得到所述待检测图像。
优选地，步骤B2具体为：
步骤B21，将所述待检测图像缩放为统一的预设尺寸；
步骤B22，在步骤B21所得图像上，滑动提取候选子窗口，并行计算提取到的各候选子窗口图像的融合特征；
步骤B23，将所述各候选子窗口图像的融合特征作为输入，利用所述绝缘子识别模型进行概率计算，得到各候选子窗口图像为绝缘子图像的概率；
步骤B24，判断步骤B23得到的所述概率，若所述概率大于预设的阈值，则对应的候选子窗口图像为绝缘子图像。
优选地，步骤B3所述采用非极大值抑制算法进行窗口融合，具体为：
对步骤B24中识别为绝缘子图像的候选子窗口，按所述概率从大到小排序；按所述概率从大到小的顺序遍历所有候选子窗口，计算相邻候选子窗口的重叠度；判断所述重叠度，若所述重叠度大于预设的阈值，则保留概率较大的候选子窗口，抑制概率较小的候选子窗口。
优选地，步骤B4具体为：
步骤B41，对步骤B3融合后的子窗口进行分组，若邻近子窗口有重叠，则分为一组；
步骤B42，g＝1；其中，g为组的序号；
步骤B43，比较组序号g与K值的大小，若g小于或等于K，则转至步骤B44；其中，K为经步骤B41分组后的子窗口组的数量；
步骤B44，判断第g组内子窗口的数量，若第g组内子窗口数量等于1，则根据该子窗口的位置和大小，在所述待识别的原始图像中绘制出绝缘子的位置框，g＝g+1，转至步骤B43；否则，转至步骤B45；
步骤B45，提取该组内所有子窗口的顶点坐标形成点向量，对提取的所述点向量进行线性拟合，得到该组内绝缘子的中心线；
步骤B46，统计该组内各点向量到中心线的距离，计算所述距离的平均值和最大值，将所述平均值和最大值进行线性组合，计算出该组内绝缘子的宽度；
步骤B47，根据该组内绝缘子的中心线和宽度，在所述待识别的原始图像中绘制该组内绝缘子的位置框；g＝g+1，转至步骤B43。
本发明采集绝缘子的正、负样本，并提取HOG特征和LBP特征，通过PCA降维后串联形成融合特征，对LIBSVM进行训练得到绝缘子识别模型。在对绝缘子进行识别与定位时，将待识别的原始图像进行预处理；在图像上滑动提取候选子窗口，并行计算各候选子窗口的融合特征，提高了计算速度；利用训练生成的绝缘子识别模型进行识别，采用非极大值抑制和线性拟合，得到绝缘子的定位信息。本发明能够在直升机或巡线机器人航拍的高压输电线路视频中实现绝缘子定位，能够快速识别和定位各种尺度、各种旋转角度、透视角度的绝缘子。
附图说明
图1为本实施例中绝缘子识别模型训练方法的流程示意图；
图2为本实施例中绝缘子正样本示意图；
图3为本实施例中绝缘子的识别与定位方法的流程示意图；
图4为本实施例中将待识别的一幅原始图像进行预处理的示例；
图5为本实施例中，绝缘子的识别与定位方法中步骤B4的具体流程示意图；
图6为本实施例中，步骤B4中同一组内子窗口数量大于1时，计算和定位绝缘子的方法示意图；
图7为本实施例中，识别和定位绝缘子的效果图示例。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明提出一种绝缘子识别模型的训练方法，如图1所示，包括以下步骤：
步骤A1，获取绝缘子的局部图像作为正样本，获取绝缘子周围背景图像作为负样本；
步骤A2，对步骤A1所获取的各样本分别提取HOG特征、LBP特征，用PCA进行降维，得到降维后的各样本的HOG特征向量、LBP特征向量；
步骤A3，对每个样本分别将HOG特征向量和LBP特征向量进行串行融合，形成各样本的融合特征；
步骤A4，根据各样本的融合特征，对支持向量机进行训练，得到绝缘子识别模型。
本实施例中，步骤A1中所述正样本，图像大小采用预设的尺寸64*64。航拍视频中的绝缘子由于其拍摄角度不固定，可能会出现任意角度、任意尺度和任意透视角度的绝缘子，若在图像中完整标注出绝缘子的位置，标注框可能会是横向长方形、纵向长方形、正方形等。而机器学习中训练样本要求大小固定，若将任意旋转角度的绝缘子伸缩为固定角度会发生形变，影响绝缘子模型的构建，同时将整个旋转绝缘子作为样本会包含较多的背景，同样影响模型的构建。为解决上述问题，针对绝缘子中心对称、由形状相同的绝缘子伞盘重复排列组成的形状特点，本发明所采用的正样本为航拍视频中绝缘子部件的局部子图像，每个样本图像包括绝缘子多个伞盘，并尽量包含各个种类、多个尺度、多个旋转角度和多个透视角度的绝缘子局部图像。如图2所示，提取了无人机航拍高压输电线路视频图像中绝缘子的局部子图像，包括不同种类、多个尺度、多个旋转角度、多个透视角度的绝缘子。
本实施例中，步骤A1中所述负样本，采用与正样本大小相同的背景图像，包括：电线、塔杆、草地、树林。
本实施例中，步骤A2中，提取LBP特征的具体方法为：
LBP特征向量计算时，采用旋转不变LBP，有36种二值模式，LBP半径为10，采样点个数为8。在输入图像上滑动提取块图像，采用OpenCV(Open Source Computer VisionLibrary，开源的计算机视觉库)中的parallel_for_并行函数，先对每个块图像按照半径大小进行边界填充得到块图像大小，然后提取每个块横纵坐标的旋转不变LBP值，再统计每个块图像的LBP特征向量，最后将每个块图像的特征向量串行形成输入图像的LBP特征，加快LBP的提取速度。
本实施例中，旋转不变LBP特征向量计算方法，如公式(1)所示：
其中，Dlbp表示LBP二值模式的种类数量；Sb表示块大小；lb表示块移动步长；w和h分别表示图像的宽度和高度。
本实施例中，步骤A4具体为：
采用适合小样本、二分类的LIBSVM，根据各样本的融合特征和训练参数，对核函数为RBF的LIBSVM向量机进行训练，得到所述绝缘子识别模型；采用k-折交叉验证优化惩罚因子C和gamma等参数。
本发明同时提出一种绝缘子的识别与定位方法，如图3所示，具体包括以下步骤：
步骤B1，采用最大类间方差法和形态学方法将待识别的原始图像进行预处理，得到待检测图像；
步骤B2，在所述待检测图像上滑动提取候选子窗口，并利用所述绝缘子识别模型进行识别；
步骤B3，针对被识别为绝缘子图像的候选子窗口，采用非极大值抑制算法进行窗口融合；
步骤B4，对融合后的子窗口，进行分组；计算出各组内绝缘子图像的中心线和宽度，并在所述待识别的原始图像中的对应位置进行标注。
本实施例中，步骤B1具体为：
步骤B11，根据预设的阈值，利用最大类间方差法将所述待识别的原始图像进行阈值分割，得到如图4中左上角所示的二值图像；
步骤B12，对步骤B11所得二值图像进行形态学闭操作，进一步去除细小的电线、塔杆等背景元素，得到如图4中右上角所示的图像；。
步骤B13，将步骤B12中进一步去除背景元素后的二值图像进行反向操作，得到如图4中左下角所示的掩码图像；
步骤B14，将所述掩码图像与所述待识别的原始图像相乘得到如图4中右下角所示的待检测图像；
从上面阈值分割结果中可以看出，当背景与绝缘子难以区分时，分割技术难以将完整的绝缘子分离出来，也就难以提取绝缘子的椭圆等特征，给绝缘子检测带来困难。本发明采用阈值分割、形态学处理只是为了减少候选子窗口的数目，整个绝缘子定位过程不过分依赖于分割技术。
经过上述预处理后，使得原图像中亮度高的天空，以及细小的背景元素的像素值变为0，当步骤B2中滑动窗口提取候选子窗口时，如果某个子窗口像素值全为0，可以不参与特征提取与绝缘子识别，加快识别速度。该方法对包含天空元素多的绝缘子图像识别有较快的提速作用，对于朝着地面方向拍摄的图像或背景复杂的图像没有提速作用。由于图像预处理阶段耗时少，不影响整个绝缘子的识别时间，因此该方法对大部分图像有效。
本实施例中，步骤B2具体为：
步骤B21，将所述待检测图像缩放为统一的预设尺寸320*240；
步骤B22，在步骤B21所得图像上，滑动提取候选子窗口(尺寸为64*64)，利用parallel_for_并行计算提取到的各候选子窗口图像的融合特征；
步骤B23，将所述各候选子窗口图像的融合特征作为输入，利用所述绝缘子识别模型进行概率计算，得到各候选子窗口图像为绝缘子图像的概率。
步骤B24，判断步骤B23得到的所述概率，若所述概率大于预设的阈值0.5，则对应的候选子窗口图像为绝缘子图像。
本实施例中，步骤B3所述采用非极大值抑制算法进行窗口融合，具体为：
对步骤B24中识别为绝缘子图像的候选子窗口，按所述概率从大到小排序；按所述概率从大到小的顺序遍历所有候选子窗口，计算相邻候选子窗口的重叠度；判断所述重叠度，若所述重叠度大于预设的阈值，则保留概率较大的候选子窗口，抑制概率较小的候选子窗口。能够减少重叠窗口的数目，为后边的窗口合并减少计算复杂度。
本实施例中，采集的正、负样本的预设尺寸为64*64，待检测的图像统一尺寸为320*240，采用滑动窗口法在待检测图像上提取64*64的子窗口，对子窗口用训练好的绝缘子识别模型判断是否为绝缘子。待检测图像统一尺寸，识别时在速度和准确度方面效果更优。在图像上得到的非极大值抑制后的最终候选子窗口为覆盖在绝缘子上的一系列正方形或矩形窗口，考虑同一幅图像中可能有一个或一个以上的绝缘子，因此，对最终候选子窗口进行分组，邻近窗口有重叠则分为一组，划分后的每一组都对应一个绝缘子。若某个组内只有一个子窗口，则该子窗口的位置即为对应绝缘子的位置；若某个组内有一个以上的子窗口，则选取这些子窗口的顶点坐标来综合确定绝缘子的位置。
本实施例中，如图5所示，步骤B4具体为：
步骤B41，对步骤B3融合后的子窗口进行分组，若邻近子窗口有重叠，则分为一组；
步骤B42，g＝1；其中，g为组的序号；
步骤B43，比较组序号g与K值的大小，若g小于或等于K，则转至步骤B44；其中，K为经步骤B41分组后的子窗口组的数量；
步骤B44，判断第g组内子窗口的数量，若第g组内子窗口数量等于1，则根据该子窗口的位置和大小，在所述待识别的原始图像中绘制出绝缘子的位置框，g＝g+1，转至步骤B43；否则，转至步骤B45；
步骤B45，提取该组内所有子窗口的顶点坐标形成点向量，对提取的所述点向量进行线性拟合，得到该组内绝缘子的中心线；
步骤B46，统计该组内各点向量到中心线的距离，计算所述距离的平均值和最大值，将所述平均值和最大值进行线性组合，计算出该组内绝缘子的宽度；
步骤B47，根据该组内绝缘子的中心线和宽度，在所述待识别的原始图像中绘制该组内绝缘子的位置框；g＝g+1，转至步骤B43。
如图6所示，左上角为有重叠关系的子窗口被划分到了同一个组内；右上角为获取该组内各子窗口的顶点坐标形成的点向量；左下角为通过最小二乘法对上述点向量进行线性拟合后，得到的绝缘子中心线；右下角为绘制出的绝缘子位置框。
如图7所示，为本实施例中绝缘子识别与定位后的效果图。对于右上角和右下角两种背景复杂、难以分割的图像，本发明依然可以准确检测出绝缘子，证明了本方法的有效性。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种绝缘子识别模型的训练方法，其特征在于，包括以下步骤：
步骤A1，获取绝缘子的局部图像作为正样本，获取绝缘子周围背景图像作为负样本；
步骤A2，对步骤A1所获取的各样本分别提取HOG特征、LBP特征，用PCA进行降维，得到降维后的各样本的HOG特征向量、LBP特征向量；
步骤A3，对每个样本分别将HOG特征向量和LBP特征向量进行串行融合，形成各样本的融合特征；
步骤A4，根据各样本的融合特征，对支持向量机进行训练，得到绝缘子识别模型。
2.根据权利要求1所述的方法，其特征在于，步骤A1中所述正样本，图像大小为预设的尺寸，包括不同种类、不同尺度、不同旋转角度和不同透视角度的绝缘子局部图像，每个样本图像中包含绝缘子的多个伞盘。
3.根据权利要求2所述的方法，其特征在于，步骤A1中所述负样本，采用与正样本大小相同的背景图像，包括：电线、塔杆、草地、树林。
4.根据权利要求1所述的方法，其特征在于，步骤A2中，提取LBP特征的具体方法为：
在输入图像上滑动提取块图像，提取各个块图像的旋转不变LBP特征，将所述各个块图像的旋转不变LBP特征串联，形成输入图像的LBP特征。
5.根据权利要求4所述的方法，其特征在于，旋转不变LBP特征向量计算公式为：
D = ( w - S b + l b ) ( h - S b + l b ) l b 2 × D l b p ,
其中，Dlbp表示LBP二值模式的种类数量；Sb表示块大小；lb表示块移动步长；w和h分别表示图像的宽度和高度。
6.根据权利要求1所述的方法，其特征在于，步骤A4具体为：
根据各样本的融合特征和训练参数，对核函数为RBF的LIBSVM向量机进行训练，得到所述绝缘子识别模型；所述训练参数，经k-折交叉验证后得到。
7.一种绝缘子的识别与定位方法，其特征在于，基于权利要求1～6中任一项所述方法训练生成的绝缘子识别模型，具体包括以下步骤：
步骤B1，采用最大类间方差法和形态学方法将待识别的原始图像进行预处理，得到待检测图像；
步骤B2，在所述待检测图像上滑动提取候选子窗口，并利用所述绝缘子识别模型进行识别；
步骤B3，针对被识别为绝缘子图像的候选子窗口，采用非极大值抑制算法进行窗口融合；
步骤B4，对融合后的子窗口，进行分组；计算出各组内绝缘子图像的中心线和宽度，并在所述待识别的原始图像中的对应位置进行标注。
8.根据权利要求7所述的方法，其特征在于，步骤B1具体为：
步骤B11，根据预设的阈值，利用最大类间方差法将所述待识别的原始图像进行阈值分割，得到二值图像；
步骤B12，对步骤B11所得二值图像进行形态学闭操作，进一步去除背景元素；
步骤B13，将步骤B12中进一步去除背景元素后的二值图像进行反向操作，得到掩码图像；
步骤B14，将所述掩码图像与所述待识别的原始图像相乘得到所述待检测图像。
9.根据权利要求8所述的方法，其特征在于，步骤B2具体为：
步骤B21，将所述待检测图像缩放为统一的预设尺寸；
步骤B22，在步骤B21所得图像上，滑动提取候选子窗口，并行计算提取到的各候选子窗口图像的融合特征；
步骤B23，将所述各候选子窗口图像的融合特征作为输入，利用所述绝缘子识别模型进行概率计算，得到各候选子窗口图像为绝缘子图像的概率；
步骤B24，判断步骤B23得到的所述概率，若所述概率大于预设的阈值，则对应的候选子窗口图像为绝缘子图像。
10.根据权利要求9所述的方法，其特征在于，步骤B3所述采用非极大值抑制算法进行窗口融合，具体为：
对步骤B24中识别为绝缘子图像的候选子窗口，按所述概率从大到小排序；按所述概率从大到小的顺序遍历所有候选子窗口，计算相邻候选子窗口的重叠度；判断所述重叠度，若所述重叠度大于预设的阈值，则保留概率较大的候选子窗口，抑制概率较小的候选子窗口。
11.根据权利要求10所述的方法，其特征在于，步骤B4具体为：
步骤B41，对步骤B3融合后的子窗口进行分组，若邻近子窗口有重叠，则分为一组；
步骤B42，g＝1；其中，g为组的序号；
步骤B43，比较组序号g与K值的大小，若g小于或等于K，则转至步骤B44；其中，K为经步骤B41分组后的子窗口组的数量；
步骤B44，判断第g组内子窗口的数量，若第g组内子窗口数量等于1，则根据该子窗口的位置和大小，在所述待识别的原始图像中绘制出绝缘子的位置框，g＝g+1，转至步骤B43；否则，转至步骤B45；
步骤B45，提取该组内所有子窗口的顶点坐标形成点向量，对提取的所述点向量进行线性拟合，得到该组内绝缘子的中心线；
步骤B46，统计该组内各点向量到中心线的距离，计算所述距离的平均值和最大值，将所述平均值和最大值进行线性组合，计算出该组内绝缘子的宽度；
步骤B47，根据该组内绝缘子的中心线和宽度，在所述待识别的原始图像中绘制该组内绝缘子的位置框；g＝g+1，转至步骤B43。
CN201710098806.2A 2017-02-23 2017-02-23 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法 Active CN106960178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710098806.2A CN106960178B (zh) 2017-02-23 2017-02-23 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710098806.2A CN106960178B (zh) 2017-02-23 2017-02-23 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法

Publications (2)

Publication Number Publication Date
CN106960178A true CN106960178A (zh) 2017-07-18
CN106960178B CN106960178B (zh) 2020-02-07

Family

ID=59481059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710098806.2A Active CN106960178B (zh) 2017-02-23 2017-02-23 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法

Country Status (1)

Country Link
CN (1) CN106960178B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766801A (zh) * 2017-09-28 2018-03-06 中国南方电网有限责任公司超高压输电公司检修试验中心 一种基于红外热点追踪的绝缘子识别方法及装置
CN110390344A (zh) * 2018-04-19 2019-10-29 华为技术有限公司 备选框更新方法及装置
CN110794861A (zh) * 2019-11-14 2020-02-14 国网山东省电力公司电力科学研究院 一种飞行上下线绝缘子串检测机器人自主落串方法及系统
CN111402215A (zh) * 2020-03-07 2020-07-10 西南交通大学 一种基于鲁棒主成分分析法的接触网绝缘子状态检测方法
CN111428748A (zh) * 2020-02-20 2020-07-17 重庆大学 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN112184746A (zh) * 2020-08-27 2021-01-05 西北工业大学 一种输电线绝缘子缺陷分析方法
CN112699794A (zh) * 2020-12-29 2021-04-23 哈尔滨市科佳通用机电股份有限公司 一种铁路货车轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
WO2021088101A1 (zh) * 2019-11-04 2021-05-14 中国科学院自动化研究所 基于改进的条件生成对抗网络的绝缘子分割方法
CN113205116A (zh) * 2021-04-15 2021-08-03 江苏方天电力技术有限公司 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488988A (zh) * 2013-09-06 2014-01-01 广东电网公司电力科学研究院 基于无人机巡线可见光影像的电力设备中绝缘子的提取方法
CN104021394A (zh) * 2014-06-05 2014-09-03 华北电力大学（保定） 基于Adaboost算法的绝缘子图像识别方法
JP2016005658A (ja) * 2015-09-04 2016-01-14 株式会社ユニバーサルエンターテインメント 遊技機
CN105354589A (zh) * 2015-10-08 2016-02-24 成都唐源电气有限责任公司 一种在接触网图像中智能识别绝缘子裂损的方法及系统
CN105528595A (zh) * 2016-02-01 2016-04-27 成都通甲优博科技有限责任公司 在无人机航拍图像中对输电线路绝缘子的识别定位方法
CN105787470A (zh) * 2016-03-25 2016-07-20 黑龙江省电力科学研究院 一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法
CN105976368A (zh) * 2016-04-28 2016-09-28 华北电力大学（保定） 一种绝缘子定位方法
US20160315461A1 (en) * 2015-04-23 2016-10-27 Bender Gmbh & Co. Kg Insulation monitoring device having voltage monitoring and underlying method
CN106127756A (zh) * 2016-06-21 2016-11-16 西安工程大学 一种基于多特征信息融合技术的绝缘子识别检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488988A (zh) * 2013-09-06 2014-01-01 广东电网公司电力科学研究院 基于无人机巡线可见光影像的电力设备中绝缘子的提取方法
CN104021394A (zh) * 2014-06-05 2014-09-03 华北电力大学（保定） 基于Adaboost算法的绝缘子图像识别方法
US20160315461A1 (en) * 2015-04-23 2016-10-27 Bender Gmbh & Co. Kg Insulation monitoring device having voltage monitoring and underlying method
JP2016005658A (ja) * 2015-09-04 2016-01-14 株式会社ユニバーサルエンターテインメント 遊技機
CN105354589A (zh) * 2015-10-08 2016-02-24 成都唐源电气有限责任公司 一种在接触网图像中智能识别绝缘子裂损的方法及系统
CN105528595A (zh) * 2016-02-01 2016-04-27 成都通甲优博科技有限责任公司 在无人机航拍图像中对输电线路绝缘子的识别定位方法
CN105787470A (zh) * 2016-03-25 2016-07-20 黑龙江省电力科学研究院 一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法
CN105976368A (zh) * 2016-04-28 2016-09-28 华北电力大学（保定） 一种绝缘子定位方法
CN106127756A (zh) * 2016-06-21 2016-11-16 西安工程大学 一种基于多特征信息融合技术的绝缘子识别检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WEI-GUO TONG等: "Extraction and Recognition of Insulator Based on Aerial Image", 《IEEE》 *
汤明文: "基于多特征信息融合的绝缘子状态检测与诊断技术研究", 《万方数据知识服务平台》 *
谢新文: "基于计算机视觉的电气化铁路绝缘子识别技术的研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
金立军等: "基于图像色彩特征融合的绝缘子污秽等级检测", 《同济大学学报（自然科学版）》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766801A (zh) * 2017-09-28 2018-03-06 中国南方电网有限责任公司超高压输电公司检修试验中心 一种基于红外热点追踪的绝缘子识别方法及装置
CN110390344A (zh) * 2018-04-19 2019-10-29 华为技术有限公司 备选框更新方法及装置
WO2021088101A1 (zh) * 2019-11-04 2021-05-14 中国科学院自动化研究所 基于改进的条件生成对抗网络的绝缘子分割方法
CN110794861A (zh) * 2019-11-14 2020-02-14 国网山东省电力公司电力科学研究院 一种飞行上下线绝缘子串检测机器人自主落串方法及系统
CN111428748A (zh) * 2020-02-20 2020-07-17 重庆大学 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN111402215A (zh) * 2020-03-07 2020-07-10 西南交通大学 一种基于鲁棒主成分分析法的接触网绝缘子状态检测方法
CN111402215B (zh) * 2020-03-07 2022-04-29 西南交通大学 一种基于鲁棒主成分分析法的接触网绝缘子状态检测方法
CN112184746A (zh) * 2020-08-27 2021-01-05 西北工业大学 一种输电线绝缘子缺陷分析方法
CN112699794A (zh) * 2020-12-29 2021-04-23 哈尔滨市科佳通用机电股份有限公司 一种铁路货车轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN112699794B (zh) * 2020-12-29 2021-09-14 哈尔滨市科佳通用机电股份有限公司 一种铁路货车轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN113205116A (zh) * 2021-04-15 2021-08-03 江苏方天电力技术有限公司 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法
CN113205116B (zh) * 2021-04-15 2024-02-02 江苏方天电力技术有限公司 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法

Also Published As

Publication number Publication date
CN106960178B (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN106960178A (zh) 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105760886B (zh) 一种基于目标识别与显著性检测的图像场景多对象分割方法
CN107679531A (zh) 基于深度学习的车牌识别方法、装置、设备及存储介质
CN105046197A (zh) 基于聚类的多模板行人检测方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN103310195B (zh) 车辆高分遥感图像的基于llc特征的弱监督识别方法
CN106778835A (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN103810503A (zh) 一种基于深度学习的自然图像中显著区域的检测方法
Shahab et al. How salient is scene text?
CN105469047A (zh) 基于无监督学习深度学习网络的中文检测方法及系统
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
CN104899892B (zh) 一种快速的星图图像星点提取方法
CN110599463B (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN110197494B (zh) 一种基于单目红外图像的受电弓接触点实时检测算法
CN110659550A (zh) 交通标志牌识别方法、装置、计算机设备和存储介质
Gallo et al. Robust angle invariant GAS meter reading
CN107369158A (zh) 基于rgb‑d图像的室内场景布局估计及目标区域提取方法
CN107330027A (zh) 一种弱监督的深度台标检测方法
CN103106409A (zh) 一种针对头肩检测的混合特征提取方法
CN105117740A (zh) 字体识别方法及装置
CN109919149A (zh) 基于物体检测模型的物体标注方法及相关设备
CN108932471B (zh) 一种车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant