CN113902739B - Nut线夹缺陷识别方法、装置及设备、可读存储介质 - Google Patents

Nut线夹缺陷识别方法、装置及设备、可读存储介质 Download PDF

Info

Publication number
CN113902739B
CN113902739B CN202111448649.6A CN202111448649A CN113902739B CN 113902739 B CN113902739 B CN 113902739B CN 202111448649 A CN202111448649 A CN 202111448649A CN 113902739 B CN113902739 B CN 113902739B
Authority
CN
China
Prior art keywords
information
nut
convolution
layer
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111448649.6A
Other languages
English (en)
Other versions
CN113902739A (zh
Inventor
原瀚杰
何勇
董丽梦
张雨
陈亮
谭麒
姚健安
夏国飞
徐杞斌
罗建斌
董承熙
王一名
陆林
姜天杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202111448649.6A priority Critical patent/CN113902739B/zh
Publication of CN113902739A publication Critical patent/CN113902739A/zh
Application granted granted Critical
Publication of CN113902739B publication Critical patent/CN113902739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种NUT线夹缺陷识别方法、装置及设备、可读存储介质，方法包括：待检测图像信息通过设置在距离待检测NUT线夹预设范围内的摄像装置采集获得；根据预设的NUT线夹图像模板确定待检测图像信息中的NUT线夹区域；根据NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值；根据差异值识别NUT线夹的轮廓信息；将NUT线夹的轮廓信息、频谱信息及NUT线夹区域内的RGB信息输入到预先训练的神经网络模型中，识别NUT线夹是否存在缺陷。本方案在NUT线夹在损坏、弯曲、断裂情况下，基于多维度特征信息及神经网络模型识别NUT线夹是否存在缺陷，无需人工巡检，识别准确率高。

Description

NUT线夹缺陷识别方法、装置及设备、可读存储介质
技术领域
本发明涉及电力巡检技术领域，具体而言，涉及一种NUT线夹缺陷识别方法、装置及设备、可读存储介质。
背景技术
输电线路地处偏远，地理条件恶劣，为保障电网安全稳定运行，对输电线路开展巡视及检修是电力部门重要工作之一，而NUT线夹作为输电线的一个常用连接器件，直接作用于输电线路的正常工作。比如，NUT线夹是能固定在导线上的铁制或铝制金属附件，在运行中需要承受较大的拉力，还需要同时保证电气方面接触良好，在NUT线夹受到外力损坏、断裂，或者被撞变形的情况下，将对输电线路的正常工作造成不同程度的隐患，更甚者造成人员伤亡。因此，定期对输电线的NUT线夹缺陷进行识别是一项非常重要的工作。
现有的NUT线夹缺陷识别主要依靠巡检人员定期定时进行人工识别。然而，由于受到气候条件、环境因素、人员素质等多方面因素的制约，巡检质量和人员到位率无法保证；同时，由于电网建设及投运规模的不断增大，输电线路往往分布在偏远的山区，受限于人力物力，人工巡检方式往往无法对所有NUT线夹进行全面检查；另外，由于人工巡检过程完全依靠巡检人员的技术经验，对于经验相对较少的巡检人员来说，对NUT线夹缺陷的识别准确率无法得到保证。
发明内容
鉴于上述问题，本发明的目的在于提供一种NUT线夹缺陷识别方法、装置及设备、可读存储介质，以解决现有技术的不足。
根据本发明的一个实施方式，提供一种NUT线夹缺陷识别方法，该方法包括：
获取包含待检测NUT线夹的待检测图像信息，所述待检测图像信息通过设置在距离所述待检测NUT线夹预设范围内的摄像装置采集获得；
根据预设的NUT线夹图像模板确定所述待检测图像信息中的NUT线夹区域；
根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值；
根据所述差异值识别所述待检测NUT线夹的轮廓信息；
将所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到预先训练的神经网络模型中确定所述待检测NUT线夹是否存在缺陷。
在上述的NUT线夹缺陷识别方法中，所述NUT线夹图像模板中包括线夹标识、与该线夹标识对应的NUT线夹标准图像及该NUT线夹标准图像中的NUT线夹的参考区域；
相应地，所述根据预设的NUT线夹的图像模板确定所述待检测图像信息中的NUT线夹区域包括：
根据采集所述待检测图像信息的摄像装置的编号确定所述待检测NUT线夹的待匹配标识；
根据所述待匹配标识检索所述NUT线夹图像模板中的所有线夹标识，确定与该待匹配标识对应的NUT线夹标准图像；
计算所述待检测图像信息与所述NUT线夹标准图像之间的相似度；
在所述相似度大于或等于预设相似度阈值的情况下，根据所述NUT线夹标准图像中的NUT线夹的参考区域确定所述NUT线夹区域。
在上述的NUT线夹缺陷识别方法中，所述根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值包括：
将所述NUT线夹区域内的图像信号进行离散傅里叶变换后得到NUT线夹的频谱信息，所述频谱信息表征所述图像信号的灰度信息的变化程度；
将所述图像信号中各像素点对应的所述频谱信息作为所述差异值。
在上述的NUT线夹缺陷识别方法中，所述根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值包括：
将所述NUT线夹区域内的图像信号转换为灰度图像；
针对所述灰度图像中每一像素点，分别计算该像素点与其邻域内所有像素点之间的灰度差；
计算该像素点对应的所有的灰度差的均值，将该均值作为所述像素点的差异值。
在上述的NUT线夹缺陷识别方法中，所述根据所述差异值识别所述待检测NUT线夹的轮廓信息，包括：
将所述差异值送入预设滤波器过滤得到所述待检测NUT线夹的轮廓信息；所述预设滤波器通过对历史NUT线夹的轮廓信息进行学习得到。
在上述的NUT线夹缺陷识别方法中，所述神经网络模型包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层、第一全连接层及第二全连接层，其中，所述第一全连接层包含第一预设数量的神经元，所述第二全连接层包含第二预设数量的神经元；
相应地，所述将所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到神经网络模型中确定所述待检测NUT线夹是否存在缺陷包括：
根据所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息构建输入向量；
将所述输入向量输入到所述第一卷积层，通过所述第一卷积层对应的卷积核对所述输入向量进行卷积操作得到第一卷积特征信息，将该第一卷积特征信息输入非线性激活函数得到第一激活特征信息；
将所述第一激活特征信息输入到所述第一池化层进行降采样处理得到第一降采样特征信息；
将所述第一降采样特征信息送入所述第二卷积层，通过所述第二卷积层对应的卷积核对所述第一降采样特征信息进行卷积操作得到第二卷积特征信息，将该第二卷积特征信息输入所述非线性激活函数得到第二激活特征信息；
将所述第二激活特征信息输入到所述第二池化层进行降采样处理得到第二降采样特征信息；
将所述第二降采样特征信息输入到所述第三卷积层，通过所述第三卷积层对应的卷积核对所述第二降采样特征信息进行卷积操作得到第三卷积特征信息，将该第三卷积特征信息输入所述非线性激活函数得到第三激活特征信息；
将所述第三激活特征信息输入到所述第三池化层进行降采样处理得到第三降采样特征信息；
将所述第三降采样特征信息输入所述第一全连接层，通过所述第三降采样特征信息、所述第三降采样特征信息与所述第一预设数量的神经元中各神经元之间的权值计算第一全连接特征信息；
将所述第一全连接特征信息输入所述第二全连接层，通过所述第一全连接特征信息、所述第一全连接特征信息与所述第二预设数量的神经元中各神经元之间的权值计算第二全连接特征信息；
根据所述第二全连接特征信息确定所述待检测NUT线夹是否存在缺陷。
在上述的NUT线夹缺陷识别方法中，所述神经网络模型包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层、第一全连接层及第二全连接层，其中，所述第一全连接层包含第一预设数量的神经元，所述第二全连接层包含第二预设数量的神经元；
相应地，所述将所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到神经网络模型中确定所述待检测NUT线夹是否存在缺陷包括：
根据所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息构建输入向量；
将所述输入向量输入到所述第一卷积层，通过所述第一卷积层对应的卷积核对所述输入向量进行卷积操作得到第一卷积特征信息，将该第一卷积特征信息输入非线性激活函数得到第一激活特征信息；
将所述第一激活特征信息输入到所述第一池化层进行降采样处理得到第一降采样特征信息；
将所述第一降采样特征信息送入所述第二卷积层，通过所述第二卷积层对应的卷积核对所述第一降采样特征信息进行卷积操作得到第二卷积特征信息，将该第二卷积特征信息输入所述非线性激活函数得到第二激活特征信息；
将所述第二激活特征信息输入到所述第二池化层进行降采样处理得到第二降采样特征信息；
将所述第二降采样特征信息输入到所述第三卷积层，通过所述第三卷积层对应的卷积核对所述第二降采样特征信息进行卷积操作得到第三卷积特征信息，将该第三卷积特征信息输入所述非线性激活函数得到第三激活特征信息；
将所述第三激活特征信息输入到所述第三池化层进行降采样处理得到第三降采样特征信息；
将所述第三降采样特征信息及所述第二降采样特征信息进行叠加得到第四降采样特征信息，将所述第四降采样特征信息及所述第一降采样特征信息进行叠加得到第五降采样特征信息；
将所述第一降采样特征信息、所述第二降采样特征信息、所述第三降采样特征信息、所述第四降采样特征信息及所述第五降采样特征信息输入所述第一全连接层，通过所述第三降采样特征信息、所述第三降采样特征信息与所述第一预设数量的神经元中各神经元之间的权值计算第一全连接特征信息；
将所述第一全连接特征信息输入所述第二全连接层，通过所述第一全连接特征信息、所述第一全连接特征信息与所述第二预设数量的神经元中各神经元之间的权值计算第二全连接特征信息；
根据所述第二全连接特征信息确定所述待检测NUT线夹是否存在缺陷。
根据本发明的另一个实施方式，提供一种NUT线夹缺陷识别装置，该装置包括：
图像获取模块，用于获取包含所述待检测NUT线夹的待检测图像信息，所述待检测图像信息通过设置在距离所述待检测NUT线夹预设范围内的摄像装置采集获得；
区域确定模块，用于根据预设的NUT线夹图像模板确定所述待检测图像信息中的NUT线夹区域；
差异值计算模块，用于根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值；
轮廓识别模块，用于根据所述差异值识别所述待检测NUT线夹的轮廓信息；
缺陷确定模块，用于将所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到预先训练的神经网络模型中确定所述待检测NUT线夹是否存在缺陷。
根据本发明的再一个实施方式，提供一种NUT线夹缺陷识别设备，所述NUT线夹缺陷识别设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述NUT线夹缺陷识别设备执行上述的NUT线夹缺陷识别方法。
根据本发明的又一个实施方式，提供一种计算机可读存储介质，其存储有所述NUT线夹缺陷识别设备中所用的所述计算机程序。
本发明提供的技术方案可以包括如下有益效果：
本发明中一种NUT线夹缺陷识别方法，该方法包括：获取包含所述待检测NUT线夹的待检测图像信息，所述待检测图像信息通过设置在距离所述待检测NUT线夹预设范围内的摄像装置采集获得，通过预先设置在待检测NUT线夹附近的摄像装置采集待检测图像信息，无需人工现场采集；由于摄像装置的视野相对较大，采集的待检测图像信息中除了包含待检测NUT线夹之外，可能还会包含背景信息及变电站的铁搭信息等，因此，为了提高缺陷识别准确率，根据预设的NUT线夹图像模板确定所述待检测图像信息中的NUT线夹区域，后续针对NUT线夹区域内的图像信号进行处理，减少处理过程中的数据量，同时避免背景信息及铁搭信息等对识别结果的影响；根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值，通过差异值来表征图像信号中各像素点与其邻域像素点之间的灰度差；根据所述差异值识别所述待检测NUT线夹的轮廓信息；将所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到预先训练的神经网络模型中确定所述待检测NUT线夹是否存在缺陷，通过多维度的视角，利用神经网络模型来确定待检测NUT线夹是否存在缺陷，提高识别准确率，做到自动识别，无需人工现场巡检。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了一种NUT线夹缺陷识别方法的应用环境示意图；
图2示出了本发明第一实施例提供的一种NUT线夹缺陷识别方法的流程示意图；
图3示出了本发明第一实施例提供的一种邻域像素点的示意图；
图4示出了本发明第一实施例提供的一种神经网络模型的示意图；
图5示出了本发明第一实施例提供的另一种神经网络模型的示意图；
图6示出了本发明第二实施例提供的一种NUT线夹缺陷识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的NUT线夹缺陷识别主要依靠人工识别的方式，然而，受限于气候条件、环境因素、巡检人员素质及巡检人员技术经验等因素的制约，对NUT线夹缺陷识别的全面性及准确率无法得到保证。因此，本发明提供一种NUT线夹缺陷自动识别方案，能准确识别NUT线夹的缺陷，识别准确率高，无需人工巡检。
图1示出了一种NUT线夹缺陷识别方法的应用环境示意图。图1中，待检测NUT线夹20用于电力铁塔的导线固定，距离待检测NUT线夹20的预设范围内设置有摄像装置10，该预设范围可根据摄像装置10的拍摄视野进行设置，比如，在摄像装置10拍摄的照片中包含待检测NUT线夹20的情况下，所述摄像装置10所有可设置的区域均可以作为预设范围，之所以如此设置，是因为摄像装置10用来实时采集待检测NUT线夹20的待检测图像信息，本发明技术方案则通过获取到待检测图像信息后进行检测来识别NUT线夹缺陷。
当然，待检测NUT线夹20的应用场景不仅仅限于图1中的方式，比如还可以是设置在输电线的连接线路上，也就是说，只要是可通过摄像装置10采集到待检测NUT线夹20的待检测图像信息的场景均在本发明技术方案的应用场景中。
另外，摄像装置10还可以是移动的状态，比如，在无人机上搭载的摄像装置10，只要该摄像装置10能采集到完整的待检测NUT线夹的图像，摄像装置10的设置位置及设置方式均不受限定。
本实施例中，该摄像装置10可以为摄像头。在一些其他的实施例中，该摄像装置10还可以为摄像机、录像机等。
实施例1
图2示出了本发明第一实施例提供的一种NUT线夹缺陷识别方法的流程示意图。
该NUT线夹缺陷识别方法包括以下步骤：
在步骤S110中，获取包含所述待检测NUT线夹的待检测图像信息。
本实施例中，所述待检测图像信息通过设置在距离所述待检测NUT线夹预设范围内的摄像装置采集获得。
本发明实施例中，该预设范围可根据摄像装置的拍摄视野进行设置，也就是说，在摄像装置拍摄的照片中包含待检测NUT线夹的情况下，所述摄像装置所有可设置的区域均可以作为预设范围。比如，摄像装置在位置A可采集到包含待检测NUT线夹的待检测图像信息，则位置A属于预设范围内的一个位置点；又如，摄像装置在位置B不可以采集到包含待检测NUT线夹的待检测图像信息，但是在位置B上，通过调整摄像装置的镜头旋转角度后可采集到包含待检测NUT线夹的待检测图像信息，那么，位置B同样属于预设范围内的一个位置点；再如，摄像装置在位置C不可以采集到包含待检测NUT线夹的待检测图像信息，通过调整摄像头的镜头旋转角度后仍不能够采集到包含待检测NUT线夹的待检测图像信息，则位置C不属于预设范围。
在步骤S120中，根据预设的NUT线夹图像模板确定所述待检测图像信息中的NUT线夹区域。
具体地，为了更准确的聚焦待检测NUT线夹，提高检测效率，本实施例中首先在待检测图像信息中确定NUT线夹区域，后续的检测仅仅针对NUT线夹区域内的图像信号进行检测，待检测图像中除了NUT线夹区域的其他区域的图像信号均不进行后续检测，大大提高检测效率。
本实施例中，对于步骤S110中获取的待检测图像信息中存在的一些异常情况：比如，该待检测图像信息中仅包含部分待检测NUT线夹的情况，或者由于外力作用于摄像装置导致摄像装置无法拍摄待检测NUT线夹的情况，步骤S120还可以具备筛选的作用，即为了提高检测效率，通过步骤S120可以将上述的异常情况排除掉，仅仅对NUT线夹区域内的图像信号进行下一步的处理。
本实施例中，所述NUT线夹图像模板可以为：预先通过该待检测NUT线夹对应的摄像装置采集待检测NUT线夹的模板图片，通过人工的方式将该模板图片中的待检测NUT线夹的参考区域进行标注；并将该标注后的参考区域内的图像信号作为该待检测NUT线夹对应的NUT线夹的图像模板。
根据预设的NUT线夹图像模板确定所述待检测图像信息中的NUT线夹区域的步骤可以包括：
遍历待检测图像信息中的每一像素点，将该待检测图像信息中与图像模板之间的相似度大于或等于预设参考数值的区域作为NUT线夹区域。
比如，可在待检测图像信息中查找是否存在与图像模板之间相似度达到预设参考数值的区域，如果是则可将相似度达到预设参考数值的区域作为NUT线夹区域。
具体地，可以通过以下方式在待检测图像信息中查找是否存在与图像模板相似度达到预设数值的区域：
确定图像模板中像素点个数，及该图像模板中像素点排列的行值和列值，以该行值和列值作为一个检查窗口，设置移动步长，在该待检测图像信息中，将该检查窗口以上述设置的步长进行移动，对整个待检测图像进行像素点扫描。
比如，如果图像模板中包含的所有像素点共有5行5列，那么行值和列值均为5，可设置移动步长为1。将待检测图像信息视为一个像素点矩阵，那么从像素点矩阵的第一个像素点（第一行第一列的像素点）开始，第一轮扫描是在像素点矩阵中第1~5行及第1~5列的区域内的像素点进行扫描，如果该第1~5行及第1~5列的区域内的像素点和图像模板中的像素点之间的相似度小于预设数值，则从第一个像素点向后移动1个像素点，即从第二个像素点（第一行第二列的像素点）开始，继续选择5×5大小的像素点矩阵与图像模板内的像素点进行扫描确定第1~5行及第2~6列的区域内的像素点和图像模板中的像素点之间的相似度小于预设数值，继续执行上述扫描操作直至检测到待检测图像中扫描到与图像模板相似度达到预设参考数值的区域，或者该待检测图像所有像素点均遍历完成后停止执行。
另外，结合上文的例子来进一步解释相似度：在第1~5行及第1~5列的区域内的所有像素点中，针对每一像素点，确定该像素点的RGB值和图像模板中对应像素点的RGB值之间的差，将所有差值的均值的倒数作为该区域的相似度。
在一些其他的实施例中，所述NUT线夹图像模板中还可以包括线夹标识、与该线夹标识对应的NUT线夹标准图像及该NUT线夹标准图像中的NUT线夹的参考区域。
相应地，所述根据预设的NUT线夹的图像模板确定所述待检测图像信息中的NUT线夹区域包括：
根据采集所述待检测图像信息的摄像装置的编号确定所述待检测NUT线夹的待匹配标识；根据所述待匹配标识检索所述NUT线夹图像模板中的所有线夹标识，确定与该待匹配标识对应的NUT线夹标准图像；计算所述待检测图像信息与所述NUT线夹标准图像之间的相似度；在所述相似度大于或等于预设相似度阈值的情况下，根据所述NUT线夹标准图像中的NUT线夹的参考区域确定所述NUT线夹区域。
具体地，所述NUT线夹图像模板为通过摄像装置预先采集每一NUT线夹的图像并存储为NUT线夹标准图像，并将该NUT线夹标准图像发给巡检人员，巡检人员确定出该NUT线夹参考区域后存储。
更进一步地，为了确定更精准的NUT线夹区域，在还可以定时采集每一NUT线夹的图像信息作为校准图像，并将每一NUT线夹的校准图像与该NUT线夹的NUT线夹标准图像进行对比，如果该校准图像与NUT线夹标准图像之间的距离小于预设的距离阈值，则舍弃校准图像；如果该校准图像与NUT线夹标准图像之间的距离大于或等于距离阈值，则将校准图像作为该NUT线夹的新的NUT线夹标准图像，并重新巡发送给检人员确定出该新的NUT线夹标准图像的参考区域后存储。这样可以在摄像装置的位置或拍摄角度发生改变的情况下，依旧能准确定位到NUT线夹区域。
值得注意的是，该校准图像与NUT线夹标准图像之间的距离为校准图像中各像素点的像素值与NUT线夹标准图像中对应像素点的像素值之间的差值。
由于NUT线夹分布较广，在不同地区分布的NUT线夹可能不同，该NUT线夹应用场景也可能不同，因此，不同的NUT线夹预设的NUT线夹标准图像可能不同。所以需要在NUT线夹标准图像设置线夹标识，来明确该NUT线夹标准图像具体对应哪一个NUT线夹。
本实施例中，该线夹标识可以为用来采集该NUT线夹的图像信息的摄像装置的编号。
因此，在获取该待检测NUT线夹的待检测图像信息后，还可以获取采集该待检测图像信息的摄像装置的编号，通过该编号作为待匹配标识来检索NUT线夹图像模板中的所有线夹标识，将与该待匹配标识相同的线夹标识对应的图像作为该待检测NUT线夹的NUT线夹标准图像。
计算待检测图像信息与该待检测的NUT线夹对应的NUT线夹标准图像之间的相似度，如果相似度大于或等于预设相似度阈值则说明该待检测图像信息与该待检测的NUT线夹对应的NUT线夹标准图像之间比较相像，则可以依据NUT线夹标准图像中的参考区域，将待检测图像中与参考区域相对应的区域作为NUT线夹区域。
在步骤S130中，根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值。
本实施例中，步骤S130中的差异值表征某一像素点与其邻域像素点之间的差异的强弱度，如果某一相似点的灰度值与其邻域像素点的灰度值之间的差值越大，则差异值越大；反之差异值越小。本实施例中，所述某一像素点的邻域像素点包括：与该像素点在坐标上相邻的所有像素点均可称为邻域像素点。
如图3所示，如果一副图像中包含5×5的像素点矩阵，以“●”标识的像素点为例，“●”周围与其相邻的像素点包括4个，即“×”标识的4个像素点。另外，如果是像素点矩阵边缘的像素点，比如以“√”标识的像素点，其邻域的像素点包括2个，即以“＊”标识的2个像素点。
在本发明的实施例中，所述根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值包括：
将所述NUT线夹区域内的图像信号转换为灰度图像；针对所述灰度图像中每一像素点，分别计算该像素点与其邻域内所有像素点之间的灰度差；计算该像素点对应的所有的灰度差的均值，将该均值作为所述像素点的差异值。
具体地，可首先将所述NUT线夹区域内的图像信号转换为灰度图像，即将NUT线夹区域内的彩色图像信号转换为黑白图像。针对该灰度图像中每一个像素点，分别计算该像素点的灰度值与其每一个邻域的像素点的灰度值之间的差值，即灰度差。由于每一个像素点可能包含多个邻域像素点，因此，在确定一个像素点的差异值时，可以将该像素点与其所有邻域像素点之间的灰度差的均值作为该像素点的差异值。
在本发明的其他实施例中，所述根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值还可以包括：
将所述NUT线夹区域内的图像信号进行离散傅里叶变换后得到NUT线夹的频谱信息，所述频谱信息表征所述图像信号的灰度信息的变化程度；将所述图像信号中各像素点对应的所述频谱信息作为所述差异值。
具体地，图像的傅里叶变换是将图像从空间域转换到频率域，频率域即该像素点的频率的大小，频率表征图像中像素点灰度变化剧烈程度的指标。
因此，可以将所述NUT线夹区域的图像信号进行离散傅里叶变换后得到NUT线夹的频谱信息，在具体操作中，所述NUT线夹区域的图像信号进行离散傅里叶变换后得到明暗不一的亮点，该亮点的明暗程度即表征该亮点对应像素点与其邻域像素点之间的差异程度，差异度越高，亮点越亮，亮点对应的频率值也越高；反之则越低。
在步骤S140中，根据所述差异值识别所述待检测NUT线夹的轮廓信息。
在本发明实施例中，所述根据所述差异值识别所述待检测NUT线夹的轮廓信息：
将所述差异值送入预设滤波器过滤得到所述待检测NUT线夹的轮廓信息；所述预设滤波器通过对历史NUT线夹的轮廓信息进行学习得到。
具体地，所述预设滤波器可以为高通滤波器、低通滤波器或带通滤波器。所述预设滤波器是通过对历史NUT线夹的轮廓信息进行学习得到。比如，对历史NUT线夹的轮廓信息对应的差异值进行学习，得到能识别到历史NUT线夹的预测范围，将所述差异值处与所述预测范围进行匹配，若所述差异值处于所述预测范围内，则保留该像素点，若所述差异值未处于所述预测范围内，则删除所述像素点；将NUT线夹区域的图像信号的所有像素点均匹配完毕后，可筛选到该待检测NUT线夹对应的所有像素点，将所有像素点构成该待检测NUT线夹的轮廓信息。
本实施例中，该历史NUT线夹可表示用来学习预测范围的一组NUT线夹，比如，通过对该一组NUT线夹的轮廓信息进行学习，可以识别到用来表征NUT线夹的轮廓信息的差异值范围，不在该差异值范围的差异值，可以认为其对应的像素点不属于NTU线夹的轮廓信息。
值得注意的是，该差异值范围可以是一个数值范围；也可以是一条差异值基线模型，该基线模型中包含历史NUT线夹的轮廓信息中每一个像素点对应差异值的数值范围，将所述NUT线夹区域内的每一像素点的差异值均与差异值基线模型中的相应像素点对应的数值范围进行匹配，保留差异值处于所述数值范围的像素点，删除差异值未处于所述数值范围的像素点。
在步骤S150中，将所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到预先训练的神经网络模型中确定所述待检测NUT线夹是否存在缺陷。
为了提高NUT线夹缺陷识别的精度，本实施例中，可以通过多维度的特征来对NUT线夹缺陷进行识别，因此，将对NUT线夹缺陷识别产生影响的轮廓信息、差异值及NUT线夹区域内的图像信号的RGB信息均考虑在内。
本实施例中，通过人工智能的神经网络模型对所述待检测NUT线夹缺陷进行识别。
在本发明的一个实施例中，所述神经网络模型可以包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层、第一全连接层及第二全连接层，其中，所述第一全连接层包含第一预设数量的神经元，所述第二全连接层包含第二预设数量的神经元。参见图4，所有的卷积层和所有的池化层交替设置，即第一卷积层后是第一池化层，第一池化层后是第二卷积层，第二卷积层之后是第二池化层，第二池化层之后是第三卷积层，第三卷积层之后是第三池化层，第三池化层之后是第一全连接层，第一全连接层之后是第二全连接层。
相应地，所述将所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到神经网络模型中确定所述待检测NUT线夹是否存在缺陷包括：
根据所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息构建输入向量；将所述输入向量输入到所述第一卷积层，通过所述第一卷积层对应的卷积核对所述输入向量进行卷积操作得到第一卷积特征信息，将该第一卷积特征信息输入非线性激活函数得到第一激活特征信息；将所述第一激活特征信息输入到所述第一池化层进行降采样处理得到第一降采样特征信息；将所述第一降采样特征信息送入所述第二卷积层，通过所述第二卷积层对应的卷积核对所述第一降采样特征信息进行卷积操作得到第二卷积特征信息，将该第二卷积特征信息输入所述非线性激活函数得到第二激活特征信息；将所述第二激活特征信息输入到所述第二池化层进行降采样处理得到第二降采样特征信息；将所述第二降采样特征信息输入到所述第三卷积层，通过所述第三卷积层对应的卷积核对所述第二降采样特征信息进行卷积操作得到第三卷积特征信息，将该第三卷积特征信息输入所述非线性激活函数得到第三激活特征信息；将所述第三激活特征信息输入到所述第三池化层进行降采样处理得到第三降采样特征信息；将所述第三降采样特征信息输入所述第一全连接层，通过所述第三降采样特征信息、所述第三降采样特征信息与所述第一预设数量的神经元中各神经元之间的权值计算第一全连接特征信息；将所述第一全连接特征信息输入所述第二全连接层，通过所述第一全连接特征信息、所述第一全连接特征信息与所述第二预设数量的神经元中各神经元之间的权值计算第二全连接特征信息；根据所述第二全连接特征信息确定所述待检测NUT线夹是否存在缺陷。
具体地，所述输入向量包括第一子向量、第二子向量、第三子向量、第四子向量及第五子向量，第一子向量、第二子向量、第三子向量、第四子向量及第五子向量构造方式如下：
将步骤S140中筛选到轮廓信息构建第一子向量，该第一子向量表示如下：轮廓信息对应的像素点的向量值用1描述，该NUT线夹区域的图像信号中除轮廓信息对应像素点之外，其他剩余像素点均用0代替。
将NUT线夹区域内的图像信号中各像素点的差异值作为第二子向量的向量值。将NTU线夹区域内的图像信号中各像素点的R通道的像素值作为第三子向量的向量值；将NTU线夹区域内的图像信号中各像素点的G通道的像素值作为第四子向量的向量值；将NTU线夹区域内的图像信号中各像素点的B通道的像素值作为第五子向量的向量值。
如图4所示，分别将第一子向量、第二子向量、第三子向量、第四子向量及第五子向量输入到第一卷积层进行卷积操作，该卷积操作是为了提取输入向量中每一子向量中的特征；随着卷积层越来越多，提取的特征的层级越高，比如在第一卷积层提取的是第一子向量、第二子向量、第三子向量、第四子向量及第五子向量的背景特征，那么第二卷积层可能提取的是第一子向量、第二子向量、第三子向量、第四子向量及第五子向量中的边缘细节特征；第三卷积层提取的是第一子向量、第二子向量、第三子向量、第四子向量及第五子向量中的更为详细的线夹特征，逐层提升特征的层级，以提高NUT线夹缺陷识别方案的精度。
本实施例中，第一卷积层可以包括第一数量的卷积核，该第一数量的卷积核的尺寸可以相同。比如，第一卷积层可以包括32个11×11大小的卷积核，步长为3；假设第一子向量的尺寸为277×277，那么通过该32个11×11的卷积核以步长3对第一子向量进行卷积操作后，可以得到32个267×267大小的特征图；可以将第一子向量、第二子向量、第三子向量、第四子向量及第五子向量通过第一卷积层进行卷及操作后的特征图作为第一卷积特征信息。另外，值得注意的是，由于卷积操作的特性是在预定时间窗内的积分操作，基于上述卷积核积分的性质，使得在原本的第一子向量、第二子向量、第三子向量、第四子向量及第五子向量在第一卷积层进行卷积操作的过程中会被作为一个元素进行叠加。因此，将第一子向量、第二子向量、第三子向量、第四子向量及第五子向量在第一卷积层进行卷积操作后得到的特征图作为该第一卷积特征信息。
值得注意的是，卷积神经网络模型最大的特征就是其非线性的能力，可以通过该非线性的能力来描述各种场景。因此，在NUT线夹缺陷识别的复杂场景中，为了很好的描述该复杂场景，可以对第一卷积特征信息进行非线性操作，即将该第一卷积特征信息作为输入参数输入非线性激活函数得到第一激活特征信息。如图4，该非线性激活函数可以为Relu(●)，Relu(●)的表达式如下，其中，x为非线性激活函数可以为Relu(●)的输入参数：
Figure 743176DEST_PATH_IMAGE001
，
当然，在一些其他的实施例中，该非线性激活函数还可以为Sigmoid(●)函数、tanh（●）函数等等。
由于提取出的第一激活特征信息中仍旧包括大量的信息，而很多信息对NUT线夹缺陷识别并无很大作用，不利于高层特征的提取，因此，为了降低处理信息量，提取出更精确的高层特征信息，将第一激活特征信息送入第一池化层进行降采样处理，降低第一激活特征信息的特征空间。
本实施例中，所述第一池化层的降采样操作可以采取最大池化处理操作，即第一激活特征信息中的预设窗口内，保留最大值，该最大值往往属于特征比较明显的值。比如，在第一激活特征信息中，可以在2×2尺寸的窗口内的4个特征值中保留最大的值。
当然在一些其他的实施例证，该池化层的降采样操作还可以是平均池化处理操作，即在预设窗口内，保留该窗口内的所有特征值的平均值。
为了提取出更高层的特征信息，将第一降采样特征信息送入第二卷积层继续进行卷积操作，该第二卷积层的操作和第一卷积层的操作相同，不同的是第二卷积层可以包含第二数量的卷积核，该第二数量的卷积核的尺寸和步长可以和第一卷积层的卷积核的尺寸、步长不同。
值得注的是，在第二卷积层、第二池化层、第三卷积层、第三池化层的操作均与上述第一卷积层及第一池化层的操作相同，在此不再赘述。
在第三池化层下采样到更高级别的特征后，将第三降采样特征信息相继送入到第一全连接层及第二全连接层。该第一全连接层及第二全连接层即神经网络中的隐层，第一全连接层可以包含第一预设数量的神经元，第二全连接层可以包含第二预设数量的神经元，隐层的输入参数及第一全连接层中各神经元之间、第一全连接层中各神经元与第二全连接层中各神经元之间，第二全连接层中各神经元与输出层的输出参数之间均设置有权值，将所述第三降采样特征信息分别与第一全连接层各个神经元之间的权值进行加权求和运算后得到第一全连接特征信息，将第一全连接特征信息送入第二全连接层，将第一全连接特征信息和第二全连接层中各个神经元之间的权值进行加权求和运算得到第二全连接特征信息。值得注意的是，还可以将第一全连接特征信息作为输入参数输入到非线性激活函数进行非线性计算后再送入第二全连接层进行加权求和操作。
本实施例中，第一全连接层的操作可以通过下式表示：
Figure 818579DEST_PATH_IMAGE002
其中，
Figure 749626DEST_PATH_IMAGE003
为第一全连接特征信息，
Figure 707218DEST_PATH_IMAGE004
为第三降采样特征信息；
Figure 647492DEST_PATH_IMAGE005
为地三降采样特征信息与第一全连接层第i个神经元之间的权值；
Figure 108561DEST_PATH_IMAGE006
为偏置项，与神经网络模型中的层数量相关，通常设置为1；
Figure 741667DEST_PATH_IMAGE007
为第三降采样特征信息中特征图的个数，和第一卷积层中卷积核的个数、第二卷积层中卷积核的个数及第三卷积层中卷积核的个数相关。
第二全连接层的操作和第一全连接层的操作相同，区别仅在于：
一是第二全连接层的输入参数是第一全连接特征信息；
二是第二全连接层中神经元的数量和第一全连接层中神经元的数量可能不同；
三是第二全连接层中各神经元与第二全连接层中各神经元之间的权值，与第三降采样特征信息与第一全连接层中各神经元之间的权值可能不同。
值得注意的是，输出层的输出参数和NUT缺陷识别结果相关，比如，缺陷识别结果为是否两个选项的情况下，那么输出参数包含两个，即：是或否对应的概率值；如果缺陷识别结果为无缺陷、断裂权限、变形缺陷，那么输出参数包含三个，即无缺陷、断裂权限、变形缺陷对应的概率。在概率大于概率阈值的情况，可认为输出参数属于该概率对应结果的可能性较大。比如，在输出参数中是的概率为0.8，否的概率为0.2，且概率阈值为0.67，那么可认为该待检测NUT线夹存在缺陷。
进一步地，在本发明的其他实施例中，所述神经网络模型还可以包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层、第一全连接层及第二全连接层，其中，所述第一全连接层包含第一预设数量的神经元，所述第二全连接层包含第二预设数量的神经元；参见图5，所有的卷积层和所有的池化层交替设置，即第一卷积层后是第一池化层，第一池化层后是第二卷积层，第二卷积层之后是第二池化层，第二池化层之后是第三卷积层，第三卷积层之后是第三池化层，第三池化层之后是第一全连接层，第一全连接层之后是第二全连接层。
相应地，所述将所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到神经网络模型中确定所述待检测NUT线夹是否存在缺陷包括：
根据所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息构建输入向量；将所述输入向量输入到所述第一卷积层，通过所述第一卷积层对应的卷积核对所述输入向量进行卷积操作得到第一卷积特征信息，将该第一卷积特征信息输入非线性激活函数得到第一激活特征信息；将所述第一激活特征信息输入到所述第一池化层进行降采样处理得到第一降采样特征信息；将所述第一降采样特征信息送入所述第二卷积层，通过所述第二卷积层对应的卷积核对所述第一降采样特征信息进行卷积操作得到第二卷积特征信息，将该第二卷积特征信息输入所述非线性激活函数得到第二激活特征信息；将所述第二激活特征信息输入到所述第二池化层进行降采样处理得到第二降采样特征信息；将所述第二降采样特征信息输入到所述第三卷积层，通过所述第三卷积层对应的卷积核对所述第二降采样特征信息进行卷积操作得到第三卷积特征信息，将该第三卷积特征信息输入所述非线性激活函数得到第三激活特征信息；将所述第三激活特征信息输入到所述第三池化层进行降采样处理得到第三降采样特征信息；将所述第三降采样特征信息及所述第二降采样特征信息进行叠加得到第四降采样特征信息，将所述第四降采样特征信息及所述第一降采样特征信息进行叠加得到第五降采样特征信息；将所述第一降采样特征信息、所述第二降采样特征信息、所述第三降采样特征信息、所述第四降采样特征信息及所述第五降采样特征信息输入所述第一全连接层，通过所述第三降采样特征信息、所述第三降采样特征信息与所述第一预设数量的神经元中各神经元之间的权值计算第一全连接特征信息；将所述第一全连接特征信息输入所述第二全连接层，通过所述第一全连接特征信息、所述第一全连接特征信息与所述第二预设数量的神经元中各神经元之间的权值计算第二全连接特征信息；根据所述第二全连接特征信息确定所述待检测NUT线夹是否存在缺陷。
具体地，参见图5，该技术方案与图4的区别在于，在第一全连接层的输入向量中不仅包含了更高层级的特征，比如第二降采样特征信息及第三降采样特征信息，还包含了一些低层级的特征，比如第一降采样特征信息。每一降采样操作后滤除对输出结果影响相对较小的特征信息，但是该滤除的特征信息仍旧对输出结果产生影响，因此，在图5对应的技术方案中，融合了不同层级的特征，比如将第三降采样特征信息与第二降采样特征信息相加后得到第四降采样特征信息；将所述第四降采样特征信息及所述第一降采样特征信息进行叠加得到第五降采样特征信息。将所述第一降采样特征信息、所述第二降采样特征信息、所述第三降采样特征信息、所述第四降采样特征信息及所述第五降采样特征信息输入所述第一全连接层，通过全方面、多层级的特征信息进行融合来提高NUT线夹缺陷识别的精度。
在图5的方案中，各卷积层的操作、各池化层的操作、各全连接层的操作及输出结果确定均与图4方案中相同，在此不再赘述。
另外，上述的卷积神经网络模型是通过大量的样本通过有监督的方式进行预先训练的。训练过程如下：
预先采集大量的样本数据，比如1000组样本数据，每一条样本数据中包括用来训练的NUT线夹的图像及该用来训练的NUT线夹是否存在缺陷的标签。在训练过程中，将每一样本数据中图像通过步骤S120~S140中的提取NUT线夹区域、计算NUT线夹区域的图像信号的差异值及提取NUT线夹的轮廓信息操作后，将轮廓信息、差异值及NUT线夹区域内的RGB信息输入到初始化的神经网络模型得到中间训练结果，并根据该样本数据对应的中间训练结果与该样本数据中标签之间的差距来反向更新神经网络模型中的各权值，针对上述大量训练样本，重复执行上述的训练操作，直至样本数据的中间训练结果与该样本数据中标签之间的差距小于预设的训练阈值才停止训练，得到训练好的神经网络模型。
实施例2
图6示出了本发明第二实施例提供的一种NUT线夹缺陷识别装置的结构示意图。该NUT线夹缺陷识别装置30对应于实施例1中的NUT线夹缺陷识别方法，实施例1中的NUT线夹缺陷识别方法同样也适用于该NUT线夹缺陷识别装置30，在此不再赘述。
该NUT线夹缺陷识别装置30包括图像获取模块301、区域确定模块302、差异值计算模块303、轮廓识别模块304及缺陷确定模块305。
图像获取模块301，用于获取包含所述待检测NUT线夹的待检测图像信息，所述待检测图像信息通过设置在距离所述待检测NUT线夹预设范围内的摄像装置采集获得。
区域确定模块302，用于根据预设的NUT线夹图像模板确定所述待检测图像信息中的NUT线夹区域。
差异值计算模块303，用于根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值。
轮廓识别模块304，用于根据所述差异值识别所述NUT线夹的轮廓信息。
缺陷确定模块305，用于将所述NUT线夹的所述轮廓信息、所述频谱信息及所述NUT线夹区域内的RGB信息输入到预先训练的神经网络模型中确定所述NUT线夹是否存在缺陷。
本发明另一实施例还提供了一种NUT线夹缺陷识别设备，所述NUT线夹缺陷识别设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述NUT线夹缺陷识别设备执行上述的NUT线夹缺陷识别方法或上述的NUT线夹缺陷识别装置中各模块的功能。
存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本实施例还提供了一种计算机可读存储介质，用于储存上述的NUT线夹缺陷识别设备中所使用的NUT线夹缺陷识别方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种NUT线夹缺陷识别方法，其特征在于，该方法包括：
获取包含待检测NUT线夹的待检测图像信息，所述待检测图像信息通过设置在距离所述待检测NUT线夹预设范围内的摄像装置采集获得；
根据预设的NUT线夹图像模板确定所述待检测图像信息中的NUT线夹区域；
根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值；
根据所述差异值识别所述待检测NUT线夹的轮廓信息；
将所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到预先训练的神经网络模型中确定所述待检测NUT线夹是否存在缺陷；
所述神经网络模型包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层、第一全连接层及第二全连接层，其中，所述第一全连接层包含第一预设数量的神经元，所述第二全连接层包含第二预设数量的神经元；
相应地，所述将所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到神经网络模型中确定所述待检测NUT线夹是否存在缺陷包括：
根据所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息构建输入向量；
将所述输入向量输入到所述第一卷积层，通过所述第一卷积层对应的卷积核对所述输入向量进行卷积操作得到第一卷积特征信息，将该第一卷积特征信息输入非线性激活函数得到第一激活特征信息；
将所述第一激活特征信息输入到所述第一池化层进行降采样处理得到第一降采样特征信息；
将所述第一降采样特征信息送入所述第二卷积层，通过所述第二卷积层对应的卷积核对所述第一降采样特征信息进行卷积操作得到第二卷积特征信息，将该第二卷积特征信息输入所述非线性激活函数得到第二激活特征信息；
将所述第二激活特征信息输入到所述第二池化层进行降采样处理得到第二降采样特征信息；
将所述第二降采样特征信息输入到所述第三卷积层，通过所述第三卷积层对应的卷积核对所述第二降采样特征信息进行卷积操作得到第三卷积特征信息，将该第三卷积特征信息输入所述非线性激活函数得到第三激活特征信息；
将所述第三激活特征信息输入到所述第三池化层进行降采样处理得到第三降采样特征信息；
将所述第三降采样特征信息输入所述第一全连接层，通过所述第三降采样特征信息、所述第三降采样特征信息与所述第一预设数量的神经元中各神经元之间的权值计算第一全连接特征信息；
将所述第一全连接特征信息输入所述第二全连接层，通过所述第一全连接特征信息、所述第一全连接特征信息与所述第二预设数量的神经元中各神经元之间的权值计算第二全连接特征信息；
根据所述第二全连接特征信息确定所述待检测NUT线夹是否存在缺陷。
2.根据权利要求1所述的NUT线夹缺陷识别方法，其特征在于，所述NUT线夹图像模板中包括线夹标识、与该线夹标识对应的NUT线夹标准图像及该NUT线夹标准图像中的NUT线夹的参考区域；
相应地，所述根据预设的NUT线夹的图像模板确定所述待检测图像信息中的NUT线夹区域包括：
根据采集所述待检测图像信息的摄像装置的编号确定所述待检测NUT线夹的待匹配标识；
根据所述待匹配标识检索所述NUT线夹图像模板中的所有线夹标识，确定与该待匹配标识对应的NUT线夹标准图像；
计算所述待检测图像信息与所述NUT线夹标准图像之间的相似度；
在所述相似度大于或等于预设相似度阈值的情况下，根据所述NUT线夹标准图像中的NUT线夹的参考区域确定所述NUT线夹区域。
3.根据权利要求2所述的NUT线夹缺陷识别方法，其特征在于，所述根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值包括：
将所述NUT线夹区域内的图像信号进行离散傅里叶变换后得到NUT线夹的频谱信息，所述频谱信息表征所述图像信号的灰度信息的变化程度；
将所述图像信号中各像素点对应的所述频谱信息作为所述差异值。
4.根据权利要求3所述的NUT线夹缺陷识别方法，其特征在于，所述根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值包括：
将所述NUT线夹区域内的图像信号转换为灰度图像；
针对所述灰度图像中每一像素点，分别计算该像素点与其邻域内所有像素点之间的灰度差；
计算该像素点对应的所有的灰度差的均值，将该均值作为所述像素点的差异值。
5.根据权利要求1所述的NUT线夹缺陷识别方法，其特征在于，所述根据所述差异值识别所述NUT线夹的轮廓信息，包括：
将所述差异值送入预设滤波器过滤得到所述待检测NUT线夹的轮廓信息；所述预设滤波器通过对历史NUT线夹的轮廓信息进行学习得到。
6.根据权利要求1所述的NUT线夹缺陷识别方法，其特征在于，所述神经网络模型包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层、第一全连接层及第二全连接层，其中，所述第一全连接层包含第一预设数量的神经元，所述第二全连接层包含第二预设数量的神经元；
相应地，所述将所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到神经网络模型中确定所述待检测NUT线夹是否存在缺陷包括：
根据所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息构建输入向量；
将所述输入向量输入到所述第一卷积层，通过所述第一卷积层对应的卷积核对所述输入向量进行卷积操作得到第一卷积特征信息，将该第一卷积特征信息输入非线性激活函数得到第一激活特征信息；
将所述第一激活特征信息输入到所述第一池化层进行降采样处理得到第一降采样特征信息；
将所述第一降采样特征信息送入所述第二卷积层，通过所述第二卷积层对应的卷积核对所述第一降采样特征信息进行卷积操作得到第二卷积特征信息，将该第二卷积特征信息输入所述非线性激活函数得到第二激活特征信息；
将所述第二激活特征信息输入到所述第二池化层进行降采样处理得到第二降采样特征信息；
将所述第二降采样特征信息输入到所述第三卷积层，通过所述第三卷积层对应的卷积核对所述第二降采样特征信息进行卷积操作得到第三卷积特征信息，将该第三卷积特征信息输入所述非线性激活函数得到第三激活特征信息；
将所述第三激活特征信息输入到所述第三池化层进行降采样处理得到第三降采样特征信息；
将所述第三降采样特征信息及所述第二降采样特征信息进行叠加得到第四降采样特征信息，将所述第四降采样特征信息及所述第一降采样特征信息进行叠加得到第五降采样特征信息；
将所述第一降采样特征信息、所述第二降采样特征信息、所述第三降采样特征信息、所述第四降采样特征信息及所述第五降采样特征信息输入所述第一全连接层，通过所述第三降采样特征信息、所述第三降采样特征信息与所述第一预设数量的神经元中各神经元之间的权值计算第一全连接特征信息；
将所述第一全连接特征信息输入所述第二全连接层，通过所述第一全连接特征信息、所述第一全连接特征信息与所述第二预设数量的神经元中各神经元之间的权值计算第二全连接特征信息；
根据所述第二全连接特征信息确定所述待检测NUT线夹是否存在缺陷。
7.一种NUT线夹缺陷识别装置，其特征在于，该装置包括：
图像获取模块，用于获取包含待检测NUT线夹的待检测图像信息，所述待检测图像信息通过设置在距离所述待检测NUT线夹预设范围内的摄像装置采集获得；
区域确定模块，用于根据预设的NUT线夹图像模板确定所述待检测图像信息中的NUT线夹区域；
差异值计算模块，用于根据所述NUT线夹区域内的图像信号中的各像素点的灰度信息计算每一像素点与其邻域像素点的差异值；
轮廓识别模块，用于根据所述差异值识别所述待检测NUT线夹的轮廓信息；
神经网络模型包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层、第一全连接层及第二全连接层，其中，所述第一全连接层包含第一预设数量的神经元，所述第二全连接层包含第二预设数量的神经元；
缺陷确定模块，用于将所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息输入到预先训练的神经网络模型中确定所述待检测NUT线夹是否存在缺陷：根据所述NUT线夹的所述轮廓信息、所述差异值及所述NUT线夹区域内的RGB信息构建输入向量；将所述输入向量输入到所述第一卷积层，通过所述第一卷积层对应的卷积核对所述输入向量进行卷积操作得到第一卷积特征信息，将该第一卷积特征信息输入非线性激活函数得到第一激活特征信息；将所述第一激活特征信息输入到所述第一池化层进行降采样处理得到第一降采样特征信息；将所述第一降采样特征信息送入所述第二卷积层，通过所述第二卷积层对应的卷积核对所述第一降采样特征信息进行卷积操作得到第二卷积特征信息，将该第二卷积特征信息输入所述非线性激活函数得到第二激活特征信息；将所述第二激活特征信息输入到所述第二池化层进行降采样处理得到第二降采样特征信息；将所述第二降采样特征信息输入到所述第三卷积层，通过所述第三卷积层对应的卷积核对所述第二降采样特征信息进行卷积操作得到第三卷积特征信息，将该第三卷积特征信息输入所述非线性激活函数得到第三激活特征信息；将所述第三激活特征信息输入到所述第三池化层进行降采样处理得到第三降采样特征信息；将所述第三降采样特征信息输入所述第一全连接层，通过所述第三降采样特征信息、所述第三降采样特征信息与所述第一预设数量的神经元中各神经元之间的权值计算第一全连接特征信息；将所述第一全连接特征信息输入所述第二全连接层，通过所述第一全连接特征信息、所述第一全连接特征信息与所述第二预设数量的神经元中各神经元之间的权值计算第二全连接特征信息；根据所述第二全连接特征信息确定所述待检测NUT线夹是否存在缺陷。
8.一种NUT线夹缺陷识别设备，其特征在于，所述NUT线夹缺陷识别设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述NUT线夹缺陷识别设备执行权利要求1-6任一项所述的NUT线夹缺陷识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的NUT线夹缺陷识别方法。
CN202111448649.6A 2021-11-29 2021-11-29 Nut线夹缺陷识别方法、装置及设备、可读存储介质 Active CN113902739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111448649.6A CN113902739B (zh) 2021-11-29 2021-11-29 Nut线夹缺陷识别方法、装置及设备、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111448649.6A CN113902739B (zh) 2021-11-29 2021-11-29 Nut线夹缺陷识别方法、装置及设备、可读存储介质

Publications (2)

Publication Number Publication Date
CN113902739A CN113902739A (zh) 2022-01-07
CN113902739B true CN113902739B (zh) 2022-03-22

Family

ID=79195202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111448649.6A Active CN113902739B (zh) 2021-11-29 2021-11-29 Nut线夹缺陷识别方法、装置及设备、可读存储介质

Country Status (1)

Country Link
CN (1) CN113902739B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979184A (zh) * 2022-04-25 2022-08-30 佛山智优人科技有限公司 一种电气手工接线质量在线自动检查的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170037423A (ko) * 2015-09-25 2017-04-04 (주) 인텍플러스 핫 스탬핑 성형체의 검사장치
CN107977960A (zh) * 2017-11-24 2018-05-01 南京航空航天大学 一种基于改进的susan算子的轿车表面划痕检测算法
CN110378221A (zh) * 2019-06-14 2019-10-25 安徽南瑞继远电网技术有限公司 一种电网线夹自动检测与缺陷识别方法及装置
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电（上海）有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN112508939A (zh) * 2020-12-22 2021-03-16 郑州金惠计算机系统工程有限公司 法兰表面缺陷检测方法及系统和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105510440A (zh) * 2015-12-18 2016-04-20 广西电网有限责任公司电力科学研究院 一种电力线夹检测方法
CN106525918A (zh) * 2016-10-25 2017-03-22 广西电网有限责任公司电力科学研究院 一种电力线夹缺陷识别装置及方法
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170037423A (ko) * 2015-09-25 2017-04-04 (주) 인텍플러스 핫 스탬핑 성형체의 검사장치
CN107977960A (zh) * 2017-11-24 2018-05-01 南京航空航天大学 一种基于改进的susan算子的轿车表面划痕检测算法
CN110378221A (zh) * 2019-06-14 2019-10-25 安徽南瑞继远电网技术有限公司 一种电网线夹自动检测与缺陷识别方法及装置
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电（上海）有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN112508939A (zh) * 2020-12-22 2021-03-16 郑州金惠计算机系统工程有限公司 法兰表面缺陷检测方法及系统和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的滑动轴承缺陷检测系统设计;陈琦 等;《组合机床与自动化加工技术》;20170531;第92-95页 *

Also Published As

Publication number Publication date
CN113902739A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN111986240A (zh) 基于可见光和热成像数据融合的落水人员检测方法及系统
CN106778659B (zh) 一种车牌识别方法及装置
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
CN112396635B (zh) 一种基于多设备的复杂环境下多目标检测方法
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
CN113902739B (zh) Nut线夹缺陷识别方法、装置及设备、可读存储介质
CN108509826B (zh) 一种遥感影像的道路识别方法及其系统
CN115409814A (zh) 一种基于融合图像的光伏组件热斑检测方法及系统
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN104299234B (zh) 视频数据中雨场去除的方法和系统
CN117475327A (zh) 一种城市中基于遥感图像的多目标检测定位方法和系统
CN116612103B (zh) 一种基于机器视觉的建筑结构裂缝智能检测方法及其系统
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
House et al. Using deep learning to identify potential roof spaces for solar panels
CN117095246A (zh) 基于偏振成像的深度学习指针仪表读数识别方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN115393743A (zh) 基于双分支编解码网络的车辆检测方法、无人机、介质
CN114757941A (zh) 变电站设备缺陷的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant