CN114549407A - 基于x射线图像的耐张线夹压接缺陷程度判断方法 - Google Patents

基于x射线图像的耐张线夹压接缺陷程度判断方法 Download PDF

Info

Publication number
CN114549407A
CN114549407A CN202210025249.2A CN202210025249A CN114549407A CN 114549407 A CN114549407 A CN 114549407A CN 202210025249 A CN202210025249 A CN 202210025249A CN 114549407 A CN114549407 A CN 114549407A
Authority
CN
China
Prior art keywords
area
target detection
defect
network
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210025249.2A
Other languages
English (en)
Inventor
曲烽瑞
林杰
林静
陈旭
贲成
江少镇
卞佳音
徐宇翔
卢海
吴炅
林凯
徐研
万新
曾杰中
曾志武
刘飞
屈恩来
陈丽霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202210025249.2A priority Critical patent/CN114549407A/zh
Publication of CN114549407A publication Critical patent/CN114549407A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于X射线图像的耐张线夹压接缺陷程度判断方法，包括：获取耐张线夹的X射线图像；将X射线图像通过改进的目标检测模型faster‑rcnn将缺陷部分用检测框框出，其中，该改进的目标检测模型faster‑rcnn改进的地方有采用FPN网络获取不同尺度的特征图、采用RoI Align得到候选的特征图、采用三个级联的R‑CNN网络作为检测网络头部和采用soft‑nms筛选出各区域的目标检测框；对各区域的目标检测框按照分区进行图像处理以及缺陷程度的判断。本发明可有效快速地识别并判断耐张线夹的缺陷程度，以达到能够替代人工识别判断的效果。

Description

基于X射线图像的耐张线夹压接缺陷程度判断方法
技术领域
本发明涉及图像模式识别与计算机视觉的技术领域，尤其是指一种基于X射线图像的耐张线夹压接缺陷程度判断方法。
背景技术
架空输电线路中，导线的连接是关键项目。架空导线压接的质量非常重要，其保证了输电线路的正常运行，以及使输电线路具有一定的抗破坏能力。
架空输电线路对大截面钢芯铝绞线进行安装时，一般采用压接型耐张线夹进行压接安装。耐张线夹的作用是将导线固定在非直线杆塔的绝缘子串上，它既承受了导线的全部拉力,还承担着载流任务，此类金据一旦安装后，就不再拆除。耐张线夹压接质量的好坏直接关系到输电线路的安全稳定运行。它既承受了导线的全部拉力,还承担着载流任务。耐张线夹压接质量的好坏直接关系到输电线路的安全稳定运行。
耐张线夹是用于固定导线，以承受导线的张力，并且将导线挂至耐张串组或杆塔上的金具。耐张线夹一般用于转交，接续以及终端的连接。耐张线夹主要是由铝套管和钢锚两部分组成，通常通过液压的方法将铝管和钢锚，铝管和导线的部位进行压接成型。从而使得导线与耐张线夹组合结合成整体。铝管和钢锚，铝管与导线的进行压接的部位称为压接部位。通常将钢芯铝绞线耐张线夹为A、B、C三个区域。其中A区域是铝管和钢锚通过凹槽进行压接的部位；B区域是铝管和铝绞线的钢芯的非压区域；C区域是铝管和钢芯铝绞线的压接部分。A区域存在的主要缺陷有铝管和钢锚之间的欠压和漏压；B区域存在的主要缺陷有铝绞线的钢芯与钢锚接续管之间形成的空腔以及非压区域的积水；C区域存在的主要缺陷有铝绞线和铝管之间的漏压。
由于耐张线夹的压接属于隐蔽工程，受施工人员技能水平以及高空压接环境等因素的影响，输电线路中耐张线夹的压接质量往往难以得到保障，所以需要对耐张线夹的压接质量进行检测。
架空输电线耐张线夹压接质量的常用检测方法主要有：外观检测、尺寸检测、力学性能抽查检测等，这些方法在工程实际中得到了广泛的应用。但是对于钢锚是否存在毛刺，钢锚凹槽处铝管欠压等缺陷无法检出。
近些年来，国内开始将X射线无损检测技术应用到部分电器检测中，并且取得了良好的检测效果。随着X射线无损检测在电器设备检测中逐步推广，该技术也初步应用到了架空输电线路导线、钢芯、耐张线夹以及铝管的压接质量检测中，且得到了初步成效。利用X射线无损检测相比于传统方法提供了直观，方便的检测手段。
随着X光无损检测技术在耐张线夹压接质量检测应用，大量耐张线夹的X光图片需要人工进行识别并且判断是否存在缺陷。这需要大量的人力资源和时间资源。为了顺应国家电网提出的要设计开发多功能的智能设备以降低巡检成本与提高巡检效率的号召，发明一种精确度高的耐张线夹压接缺陷的检测方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于X射线图像的耐张线夹压接缺陷程度判断方法，主要利用改进的目标检测模型faster-rcnn，对原始图像中的多个区域进行缺陷的识别；再设计图像处理的方案，对多区域的缺陷程度按照抢修的要求进行判断，以达到快速、精准、批量识别及判断耐张线夹缺陷程度的目的，从而弥补人工检查和检测的缺点。
为实现上述目的，本发明所提供的技术方案为：基于X射线图像的耐张线夹压接缺陷程度判断方法，包括：
获取耐张线夹的X射线图像；
将X射线图像通过改进的目标检测模型faster-rcnn将缺陷部分用检测框框出，其中，该改进的目标检测模型faster-rcnn改进的地方有采用FPN网络获取不同尺度的特征图、采用RoI Align得到候选的特征图、采用三个级联的R-CNN网络作为检测网络头部和采用soft-nms筛选出各区域的目标检测框；
对各区域的目标检测框按照分区进行图像处理以及缺陷程度的判断；其中，图像处理包括直方图统计、二值化处理、掩码分割以及ostu大津法阈值，缺陷程度的判断是依据图像处理后的结果。
进一步，改进的目标检测模型faster-rcnn的结构包括4个主要部分：ResNet骨干网络、FPN网络、区域建议网络头部rpn_head、检测网络头部bbox_head；
通过改进的目标检测模型faster-rcnn将缺陷部分用检测框框出，包括以下过程：
将X射线图像输入ResNet骨干网络，生成多个分辨率不同的特征图；
将多个分辨率不同的特征图输入FPN网络，进行特征融合处理，输出多个不同尺度的特征图层；
将多个不同尺度的特征图层输入区域建议网络头部rpn_head，生成多个区域候选框；
将多个区域候选框输入检测网络头部bbox_head，输出压接缺陷的检测框。
进一步，所述ResNet骨干网络共有5个阶段，第一阶段记作C1，其输出为320×256×64，第二个阶段记作C2，其输出为160×128×256，第三阶段记作C3，其输出为80×64×512，第四阶段记作C4，其输出为40×32×1024，第五阶段记作C5，其输出为20×16×2048；将X射线图片输入到ResNet骨干网络，一共获得5个分辨率不同的特征图，按顺序记作C1-C5。
进一步，所述FPN网络用于进行特征图的特征融合，其结构自顶向下的过程采用上采样进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，融合之后接着采用3×3的卷积对每个融合结果进行卷积，目的是消除上采样的混叠效应，FPN网络输出5个不同尺度的特征图层。
进一步，所述区域建议网络头部rpn_head使用RoI Align生成候选框，包括：
在FPN网络输出的每个不同尺度的特征图层，分别定义大小为4×4、8×8、16×16、32×32、64×64的锚框，用anchor表示，另外每个特征图层都有3种长宽比：1:2、1:1、2:1，所以整个特征金字塔有15种规格的anchor；
前景类候选框的定义为与ground truth的IoU大于0.5的anchor；区域建议网络头部rpn_head结构分为两个分支，一个分支是通过softmax方法对所有的anchor框进行二分类来区分前景和背景，另一个分支是对anchor框进行坐标的回归，以获得精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框输入到后续的网络；
得到候选框之后接着使用RoI Align代替原本的RoI Pooling，相比ROI Pooling，ROI Align能保证候选框与提取出的特征之间的对齐性，从而大大提升了精度；将不同大小的候选框映射成固定的7×7特征矩阵，RoI Align得到的7×7个候选框特征输入到的检测网络头部bbox_head。
进一步，所述检测网络头部bbox_head采用三个级联的R-CNN网络以及soft-nms进行目标检测框以及目标检测框类别的输出，包括：
IoU阈值的设定分别是0.5、0.6、0.7，用一个R-CNN网络的输出去训练下一个R-CNN网络，不断优化检测与分割的结果；
每个R-CNN网络通过全连接层和softmax计算每个候选框具体属于哪个类别的概率向量，并再次利用边界框回归获得每个候选框的位置偏移量，用于回归得到更加精确的目标检测框；
最后检测分数前100的区域进行soft-nms筛选出最后的目标检测框。
进一步，所述目标检测框按照分区进行图像处理以及缺陷程度的判断，包括：
铝管和钢锚通过凹槽压接的部分记作A区域，对A区域进行图像处理以及缺陷程度的判断；
铝管和铝绞线的钢芯的非压区域的部分记作B区域，对B区域进行图像处理以及缺陷程度的判断；
铝管和铝绞线的压接部分记作C区域，对C区域进行图像处理以及缺陷程度的判断。
进一步，A区域的图像处理以及缺陷程度的判断，包括：
获取A区域的凹槽目标检测框，对目标检测框进行直方图分析，选择灰度值低的峰值加上15的阈度作为二值化的阈值，低于这个值阈值灰度设为0，高于这个阈值灰度设为255，对图像进行膨胀腐蚀，以便让A区域中的钢锚成像的灰度值都为0，最终，获得二值图像；
对获得的二值图像从第一列由上到下进行遍历，找出灰度值由255变成0的点p1，再找到灰度值由255变成0的点p2，同样再对最后一列由上到下进行遍历，找到同上的两点，记作p3、p4，将p1与p3进行连线，p2与p4进行连线，获得两条线；
对获得的两条线和二值图像左右边缘形成一个四边形，四边形之外的区域灰度值都设为0，再对二值图像进行腐蚀膨胀的形态学处理，此时形成一张掩码，且只有凹槽的区域的灰度值为255，最终，获得目标检测框的掩码区域；
对获取的目标检测框的掩码区域中的凹槽进行ostu大津法阈值分割，将凹槽变为二值图像，其中黑色表示为铝管部分，白色为欠压部分，对凹槽内的直方图进行统计来判断该凹槽是否为缺陷的凹槽，如果灰度值为0的像素数：灰度值为255的像素数≥1，则A区域存在需要处理的欠压缺陷，否则是不需要处理的欠压的缺陷。
进一步，B区域的图像处理以及缺陷程度的判断，包括：
按B区域正常类别和空腔类别将B区域的目标检测框进行分组；
对每组内的目标检测框进行遍历，如果每组只有一个目标检测框则无需做任何处理，一组中如果存在一个目标检测框包含另一个目标检测框的情况，则选择目标检测框较小的区域为该组类别的唯一的目标检测框，而后对所获取了B区域的正常区域和空腔区域的目标检测框，将目标检测框的边界框的横向长度进行比值，如果空腔区域横向长度：正常区域横向长度≥1时，则判断B区域存在空腔缺陷，否则B区域为正常不存在缺陷。
进一步，C区域的图像处理以及缺陷程度的判断，包括：
C区域的漏压部分存在不连续性，因此需要对C区域识别的多个漏压目标检测框的横向长度进行相加以及多个正常目标检测框的横向长度进行相加，如果漏压区域的目标检测框的横向总长度：正常区域的目标检测框的横向总长度≥1，则C区域可能存在需要处理的漏压缺陷，否则C区域不存在处理的漏压缺陷；
如果在上述步骤中判断的是可能存在需要处理的漏压缺陷，则判断该图像是否存在C区域边缘的目标检测框，如果存在则由可能存在变为一定存在需要处理的漏压缺陷，如果不存在还是为可能存在需要处理的漏压缺陷
本发明与现有技术相比，具有如下优点与有益效果：
1、通过对目标检测模型faster-rcnn进行改进，有效解决深度神经网络容易过拟合的缺点，并提高模型的准确性。
2、能够采用单一的网络类型直接输出耐张线夹的多个区域的缺陷类型，并且能够进行缺陷程度的判断以便更快地进行维护与维修。
3、改进的目标检测模型faster-rcnn相比传统图像分割精准度高、泛化性好，能够有效替代人工的识别和判断。
附图说明
图1为本发明方法的流程图。
图2为图像处理方法的流程图。
图3为目标检测的效果图，图中Anormal为A区正常目标检测框，Bnormal为B区正常目标检测框，Cnormal为C区正常目标检测框，Clouya为C区漏压目标检测框。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1至图3所示，本实施例所提供的基于X射线图像的耐张线夹压接缺陷程度判断方法，主要利用目标检测模型，对原始图像中的多个区域进行缺陷的识别，再设计图像处理的方案，对多区域的缺陷程度按照抢修的要求进行判断，以达到快速、精准、批量识别及判断耐张线夹缺陷程度的目的，从而弥补人工检查和检测的缺点，其具体情况如下：
1)设定无人机巡检路线，在有耐张线夹的位置进行X光无损检测成像。将得到的一定数量的X射线图像整理成数据集。并且对获得的图像进行图像预处理以便后续获得其特征，图像预处理包括去运动模糊和对比度增强算法。
2)对步骤1)中得到的图像使用标注软件进行多区域的标注。标注的时候一共分为9个部分，分别是A区域正常、A区域欠压、A区域漏压、B区域正常、B区域空腔、C区域正常、C区域漏压、C区域的边缘。
对标注好之后的图像整合为目标检测的数据集，并且该将数据集划分为训练集、验证集和测试集。
3)使用目标检测模型，对步骤2)中得到的训练集进行训练，反复调整训练时的超参数，直至在验证集上的loss指标、mAP指标都达到理想状态之后停止，得到所需的目标检测模型。并使用该目标检测模型对测试集进行测试，如果能够得到轮廓清晰，结构完整，重叠度少的识别框，则保留目标检测模型，否则，重复步骤3)。
4)使用步骤3)中得到的目标检测模型，对待检测的耐张线夹的X摄像图像进行目标检测。得到不同区域的类别的目标检测框。再用图像处理的方法对不同区域进行处理，根据缺陷定义的标准对耐张线夹的多个区域的缺陷程度进行判定。
在步骤1)中，无人机的X射线成像有时候会存在低对比的图片，以及无人机在悬停时抖动造成的模糊，因此采用对比度增强和去运动模糊的增强算法，使得图片更容易让目标检测模型识别。
在步骤2)中，A区域的标注为单个钢锚凹槽的标注，根据铝管和凹槽是否压接完全分为A区域正常、A区域欠压、A区域漏压三个类别，每个凹槽之间的标准框尽量不重叠。B区域的标注标准为铝绞线钢芯在钢锚接续管的位置，铝绞线钢芯在钢锚接续管的部分标注为B区域正常，钢锚接续管中没有铝绞线钢芯的部分标注为B区域空腔。B区域正常和B区域空腔标注的边界框不重合。C区域的标注标准为铝绞线和铝管的压接程度，将漏压的部分标注为C区域漏压，正常的部分标注为C区域正常。由于步骤1)中无人机无法将耐张线夹的三个区域都包含在一张图片中，因此有些图片只包含部分的C区域，这影响缺陷程度的判断。因此添加一个C区域边缘的识别，C区域的边缘是铝管末端与钢芯铝绞线压接的位置。标注后对数据进行扩充，包括：
a、随机图像旋转：旋转的角度在-20度到+20度之间随机选取；
b、随机图像裁剪：随机裁剪出整幅图像的五分之四；
c、随机水平翻转；
d、随机对比度与色彩转变。
在步骤3)中，采用的目标检测模型为Faster-rcnn，该模型是二阶段的目标检测模型，具有较高的精准性和实时性。在Faster-rcnn原有的框架上做了进一步的改进，包括以下步骤：
3.1)模型结构
输入图像为1660*1037*1；
整个模型结构分成4个主要部分：ResNet骨干网络、FPN网络、区域建议网络头部rpn_head、检测网络头部bbox_head，各部分具体含义如下：
ResNet骨干网络的主要作用是提取图片的特征图，所选择的网络是resnet50，resnet50共有5个阶段，第一阶段C1输出为320×256×64，第二个阶段C2输出为160×128×256，第三阶段C3输出为80×64×512，第四阶段C4输出为40×32×1024，第五阶段C5输出为20×16×2048；在网络结构中采用批量归一化层，并使用在ImageNet上的预训练模型进行初始化；
FPN网络(特征金字塔网络)的主要作用是融合高低层特征，其结构中自顶向下的过程采用上采样进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，融合之后接着采用3×3的卷积对每个融合结果进行卷积，目的是消除上采样的混叠效应，FPN网络输出5个不同尺度的特征图层；
区域建议网络头部rpn_head的主要作用是生成候选框，在FPN网络输出的每个不同尺度的特征图层，分别定义大小为4×4、8×8、16×16、32×32、64×64的锚框，用anchor表示，另外每个尺度层都有3种长宽比：1:2、1:1、2:1，所以整个特征金字塔有15种规格的anchor；前景类候选框的定义为与ground truth的IoU大于0.5的anchor；区域建议网络rpn结构分为两个分支，一个分支是通过softmax方法对所有的anchor框进行二分类来区分前景和背景，另一个分支是对anchor框进行坐标的回归，以获得精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框输入到后续的网络；
得到候选框之后接着使用RoI Align代替原本的RoI Pooling，相比ROI Pooling，ROI Align能保证候选框与提取出的特征之间的对齐性，从而大大提升了精度。将不同大小的候选框映射成固定的7×7特征矩阵，RoI Align得到的7×7个候选框特征输入到的检测网络头部bbox_head；
这里的检测网络头部bbox_head采用三个级联的R-CNN网络，IoU阈值的设定分别是0.5、0.6、0.7，用一个R-CNN网络的输出去训练下一个R-CNN网络，不断优化检测与分割的结果；每个R-CNN网络通过全连接层和softmax计算每个候选框具体属于哪个类别的概率向量，并再次利用边界框回归获得每个候选框的位置偏移量，用于回归得到更加精确的目标检测框，最后检测分数前100的区域进行soft-nms筛选出最后的目标检测框；
3.2)设置损失函数
训练过程的loss分为两部分，RPNloss和ROIloss。两个loss都分为分类损失和位置回归损失。分类损失采用交叉熵损失，位置回归损失采用L1Loss损失。
3.3)设置训练参数
除了ResNet骨干网络的参数使用ImageNet预训练模型初始化外，其他层皆采用均值为0，标注差为0.01的高斯分布进行初始化。设置实验优化器为SGD，动量momentum为0.9、学习率为0.0025、批次大小为32张。
3.4)保存模型
训练完成后，将目标检测模型的结构和权重保存起来。
4)使用待检测的X射线图像输入保存好的目标检测模型中。得到多个区域的目标检测框。对不同区域的缺陷程度进行识别和判断，其具体的步骤如下描述：
4.1)因为标注时B区域采取的标准不同，以及soft-nms的特性。有时图片会对同一个区域识别出两个目标检测框，其中一个目标检测框包含另一个目标检测框，考虑到后续的缺陷程度判判断，需要B区域的空腔区域以及正常区域的目标检测框数量都为1，因此需要对B区域的目标检测框进行后处理的筛选。筛选的步骤如下所示：
a、按B区域正常类别和B区域空腔类别将B区域的ROI进行分组。
b、对每组内的目标检测框进行遍历，如果每组只有一个目标检测框则无需做任何处理。一组中如果存在一个目标检测框包含另一个目标检测框的情况，则选择目标检测框较小的区域为该组类别的唯一的目标检测框。
c、由b获取了B区域的正常区域和空腔区域的目标检测框，将目标检测框的边界框的横向长度进行比值，如果空腔区域横向长度：正常区域横向长度≥1时，则判断B区域存在空腔缺陷。否则B区域为正常不存在缺陷。
4.2)由于A区域的判断标准是铝管压进钢锚凹槽的部分所占凹槽的比例大小，目标检测模型无法准确根据比例进行判断，有时将一个凹槽标为欠压和漏压两个目标检测框。因此需要得到A区域钢锚的凹槽目标检测框后进行传统图像处理。处理的步骤描述如下：
a、获取A区域的凹槽目标检测框，对目标检测框进行直方图分析，选择灰度值较低的峰值(该灰度值为钢锚在X射线图上的灰度值)再加上一定的阈度15作为二值化的阈值，低于这个值阈值灰度设为0，高于这个阈值灰度设为255。对图像进行膨胀腐蚀，以便让A区域中的钢锚成像的灰度值都为0。
b、对a中获得的二值图像从第一列由上到下进行遍历，找出灰度值由255变成0的点p1，再找到灰度值由255变成0的点p2。同样再对最后一列由上到下进行遍历，找到同上的两点，记作p3、p4。将p1与p3进行连线，p2与p4进行连线。
c、对b中得到的两条线和二值图像左右边缘形成一个四边形，四边形之外的区域灰度值都设为0，再对二值图像进行腐蚀膨胀的形态学处理，此时形成一张掩码，只有凹槽的区域的灰度值为255。
d、对获取的A区域的目标检测框掩码区域中的凹槽进行ostu大津法阈值分割，将凹槽变为二值图像，其中黑色表示为铝管部分，白色为欠压部分。对凹槽内的直方图进行统计即可。如果灰度值为0的像素数：灰度值为255的像素数≥1，则A区域存在需要处理的欠压缺陷，否则是不需要处理的欠压的缺陷。
4.3)由于X射线图像可能存在无法将C区域完整呈现在图像中的情况，因此当C区域没有完全呈现时是不能判断C区域是否存在缺陷的。对于C区域的缺陷程度的判断如下描述：
a、C区域的漏压部分存在不连续性，因此需要对C区域识别的漏压目标检测框的横向长度以及正常目标检测框的横向长度进行总和，如果漏压区域的目标检测框的横向总长度：正常区域的目标检测框的横向总长度≥1，则C区域可能存在需要处理的漏压缺陷，否则C区域不存在处理的漏压缺陷。
b、如果a中判断的是可能存在需要处理的漏压缺陷，则判断该图片是否有C边缘的目标检测框，如果有则可以由可能存在变为一定存在需要处理的漏压缺陷。如果不存在还是为可能存在需要处理的漏压缺陷。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，包括：
获取耐张线夹的X射线图像；
将X射线图像通过改进的目标检测模型faster-rcnn将缺陷部分用检测框框出，其中，该改进的目标检测模型faster-rcnn改进的地方有采用FPN网络获取不同尺度的特征图、采用RoIAlign得到候选的特征图、采用三个级联的R-CNN网络作为检测网络头部和采用soft-nms筛选出各区域的目标检测框；
对各区域的目标检测框按照分区进行图像处理以及缺陷程度的判断；其中，图像处理包括直方图统计、二值化处理、掩码分割以及ostu大津法阈值，缺陷程度的判断是依据图像处理后的结果。
2.根据权利要求1所述的基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，改进的目标检测模型faster-rcnn的结构包括4个主要部分：ResNet骨干网络、FPN网络、区域建议网络头部rpn_head和检测网络头部bbox_head；
通过改进的目标检测模型faster-rcnn将缺陷部分用检测框框出，包括以下过程：
将X射线图像输入ResNet骨干网络，生成多个分辨率不同的特征图；
将多个分辨率不同的特征图输入FPN网络，进行特征融合处理，输出多个不同尺度的特征图层；
将多个不同尺度的特征图层输入区域建议网络头部rpn_head，生成多个区域候选框；
将多个区域候选框输入检测网络头部bbox_head，输出压接缺陷的检测框。
3.根据权利要求2所述的基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，所述ResNet骨干网络共有5个阶段，第一阶段记作C1，其输出为320×256×64，第二个阶段记作C2，其输出为160×128×256，第三阶段记作C3，其输出为80×64×512，第四阶段记作C4，其输出为40×32×1024，第五阶段记作C5，其输出为20×16×2048；将X射线图片输入到ResNet骨干网络，一共获得5个分辨率不同的特征图，按顺序记作C1-C5。
4.根据权利要求2所述的基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，所述FPN网络用于进行特征图的特征融合，其结构自顶向下的过程采用上采样进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，融合之后接着采用3×3的卷积对每个融合结果进行卷积，目的是消除上采样的混叠效应，FPN网络输出5个不同尺度的特征图层。
5.根据权利要求2所述的基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，所述区域建议网络头部rpn_head使用RoIAlign生成候选框，包括：
在FPN网络输出的每个不同尺度的特征图层，分别定义大小为4×4、8×8、16×16、32×32、64×64的锚框，用anchor表示，另外每个特征图层都有3种长宽比：1:2、1:1、2:1，所以整个特征金字塔有15种规格的anchor；
前景类候选框的定义为与ground truth的IoU大于0.5的anchor；区域建议网络头部rpn_head结构分为两个分支，一个分支是通过softmax方法对所有的anchor框进行二分类来区分前景和背景，另一个分支是对anchor框进行坐标的回归，以获得精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框输入到后续的网络；
得到候选框之后接着使用RoI Align代替原本的RoI Pooling，相比ROI Pooling，ROIAlign能保证候选框与提取出的特征之间的对齐性，从而大大提升了精度；将不同大小的候选框映射成固定的7×7特征矩阵，RoI Align得到的7×7个候选框特征输入到的检测网络头部bbox_head。
6.根据权利要求2所述的基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，所述检测网络头部bbox_head采用三个级联的R-CNN网络以及soft-nms进行目标检测框以及目标检测框类别的输出，包括：
IoU阈值的设定分别是0.5、0.6、0.7，用一个R-CNN网络的输出去训练下一个R-CNN网络，不断优化检测与分割的结果；
每个R-CNN网络通过全连接层和softmax计算每个候选框具体属于哪个类别的概率向量，并再次利用边界框回归获得每个候选框的位置偏移量，用于回归得到更加精确的目标检测框；
最后检测分数前100的区域进行soft-nms筛选出最后的目标检测框。
7.根据权利要求1所述的基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，所述目标检测框按照分区进行图像处理以及缺陷程度的判断，包括：
铝管和钢锚通过凹槽压接的部分记作A区域，对A区域进行图像处理以及缺陷程度的判断；
铝管和铝绞线的钢芯的非压区域的部分记作B区域，对B区域进行图像处理以及缺陷程度的判断；
铝管和铝绞线的压接部分记作C区域，对C区域进行图像处理以及缺陷程度的判断。
8.根据权利要求7所述的基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，A区域的图像处理以及缺陷程度的判断，包括：
获取A区域的凹槽目标检测框，对目标检测框进行直方图分析，选择灰度值低的峰值加上15的阈度作为二值化的阈值，低于这个值阈值灰度设为0，高于这个阈值灰度设为255，对图像进行膨胀腐蚀，以便让A区域中的钢锚成像的灰度值都为0，最终，获得二值图像；
对获得的二值图像从第一列由上到下进行遍历，找出灰度值由255变成0的点p1，再找到灰度值由255变成0的点p2，同样再对最后一列由上到下进行遍历，找到同上的两点，记作p3、p4，将p1与p3进行连线，p2与p4进行连线，获得两条线；
对获得的两条线和二值图像左右边缘形成一个四边形，四边形之外的区域灰度值都设为0，再对二值图像进行腐蚀膨胀的形态学处理，此时形成一张掩码，且只有凹槽的区域的灰度值为255，最终，获得目标检测框的掩码区域；
对从X射线图像中获取的目标检测框的掩码区域中的凹槽进行ostu大津法阈值分割，将凹槽变为二值图像，其中黑色表示为铝管部分，白色为欠压部分，对凹槽内的直方图进行统计来判断该凹槽是否为缺陷的凹槽，如果灰度值为0的像素数：灰度值为255的像素数≥1，则A区域存在需要处理的欠压缺陷，否则是不需要处理的欠压的缺陷。
9.根据权利要求7所述的基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，B区域的图像处理以及缺陷程度的判断，包括：
按B区域正常类别和空腔类别将B区域的目标检测框进行分组；
对每组内的目标检测框进行遍历，如果每组只有一个目标检测框则无需做任何处理，一组中如果存在一个目标检测框包含另一个目标检测框的情况，则选择目标检测框较小的区域为该组类别的唯一的目标检测框，而后对所获取了B区域的正常区域和空腔区域的目标检测框，将目标检测框的边界框的横向长度进行比值，如果空腔区域横向长度：正常区域横向长度≥1时，则判断B区域存在空腔缺陷，否则B区域为正常不存在缺陷。
10.根据权利要求7所述的基于X射线图像的耐张线夹压接缺陷程度判断方法，其特征在于，C区域的图像处理以及缺陷程度的判断，包括：
C区域的漏压部分存在不连续性，因此需要对C区域识别的多个漏压目标检测框的横向长度进行相加以及多个正常目标检测框的横向长度进行相加，如果漏压区域的目标检测框的横向总长度：正常区域的目标检测框的横向总长度≥1，则C区域可能存在需要处理的漏压缺陷，否则C区域不存在处理的漏压缺陷；
如果在上述步骤中判断的是可能存在需要处理的漏压缺陷，则判断该图像是否存在C区域边缘的目标检测框，如果存在则由可能存在变为一定存在需要处理的漏压缺陷，如果不存在还是为可能存在需要处理的漏压缺陷。
CN202210025249.2A 2022-01-11 2022-01-11 基于x射线图像的耐张线夹压接缺陷程度判断方法 Pending CN114549407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210025249.2A CN114549407A (zh) 2022-01-11 2022-01-11 基于x射线图像的耐张线夹压接缺陷程度判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210025249.2A CN114549407A (zh) 2022-01-11 2022-01-11 基于x射线图像的耐张线夹压接缺陷程度判断方法

Publications (1)

Publication Number Publication Date
CN114549407A true CN114549407A (zh) 2022-05-27

Family

ID=81670024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210025249.2A Pending CN114549407A (zh) 2022-01-11 2022-01-11 基于x射线图像的耐张线夹压接缺陷程度判断方法

Country Status (1)

Country Link
CN (1) CN114549407A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723750A (zh) * 2022-06-07 2022-07-08 南昌大学 基于改进yolox算法的输电线路耐张线夹缺陷检测方法
CN115345480A (zh) * 2022-08-13 2022-11-15 国网安徽省电力有限公司经济技术研究院 一种基于数字化技术的架空输电线路监测预警方法
CN115984356A (zh) * 2023-03-20 2023-04-18 广东电网有限责任公司江门供电局 一种基于图像的导线压接间距测量方法及系统
CN117876330A (zh) * 2024-01-11 2024-04-12 广东粤电科试验检测技术有限公司 基于x射线图像识别的耐张线夹压接缺陷检测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723750A (zh) * 2022-06-07 2022-07-08 南昌大学 基于改进yolox算法的输电线路耐张线夹缺陷检测方法
CN115345480A (zh) * 2022-08-13 2022-11-15 国网安徽省电力有限公司经济技术研究院 一种基于数字化技术的架空输电线路监测预警方法
CN115984356A (zh) * 2023-03-20 2023-04-18 广东电网有限责任公司江门供电局 一种基于图像的导线压接间距测量方法及系统
CN115984356B (zh) * 2023-03-20 2023-06-30 广东电网有限责任公司江门供电局 一种基于图像的导线压接间距测量方法及系统
CN117876330A (zh) * 2024-01-11 2024-04-12 广东粤电科试验检测技术有限公司 基于x射线图像识别的耐张线夹压接缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN114549407A (zh) 基于x射线图像的耐张线夹压接缺陷程度判断方法
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
CN108230339B (zh) 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN114399672A (zh) 一种基于深度学习的铁路货车闸瓦故障检测方法
CN111783819B (zh) 小规模数据集上基于感兴趣区域训练改进的目标检测方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN112101138A (zh) 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN112215907A (zh) 一种焊缝缺陷自动提取方法
CN114049538A (zh) 基于udwgan++网络的机场裂缝图像对抗生成方法
TW202202831A (zh) 提高偵測隱形眼鏡邊緣缺陷與其他缺陷的電腦實施處理方法
CN114359286A (zh) 一种基于人工智能的绝缘子缺陷识别方法、设备及介质
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN111310899B (zh) 基于共生关系和小样本学习的电力缺陷识别方法
CN111369515A (zh) 一种基于计算机视觉的隧道水渍检测系统及方法
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
KR20210037199A (ko) 자동 분할 태깅 장치 및 이를 이용하여 학습된 손상영역 검출 장치
CN115115618A (zh) 基于x射线图像的耐张线夹压接缺陷判断方法
CN114898096A (zh) 一种人物图像的分割和标注方法及系统
CN113052820A (zh) 一种基于神经网络技术的电路设备缺陷识别方法
CN114049625B (zh) 基于新型图像收缩方法的多方向文本检测方法
CN113947567B (zh) 基于多任务学习的缺陷检测方法
CN113066075B (zh) 一种多图像融合的牛仔布瑕疵检测方法及装置
CN116579983A (zh) 基于旋转目标检测的耐张线夹缺陷判断方法
CN117576416B (zh) 工件边缘区域的检测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination