CN114627119A - 基于视觉神经网络的外观缺陷智能识别系统及识别方法 - Google Patents
基于视觉神经网络的外观缺陷智能识别系统及识别方法 Download PDFInfo
- Publication number
- CN114627119A CN114627119A CN202210525381.XA CN202210525381A CN114627119A CN 114627119 A CN114627119 A CN 114627119A CN 202210525381 A CN202210525381 A CN 202210525381A CN 114627119 A CN114627119 A CN 114627119A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- power transformation
- neural network
- lifting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 85
- 230000000007 visual effect Effects 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 55
- 238000007689 inspection Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000000926 separation method Methods 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 9
- 238000004445 quantitative analysis Methods 0.000 claims description 9
- 238000003702 image correction Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 239000012535 impurity Substances 0.000 claims description 3
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000265 homogenisation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视觉神经网络的外观缺陷智能识别系统及识别方法，属于图像数据处理技术领域。其包括巡检装置，巡检装置包括底座，底座上安装有若干层的升降单元，且每层升降单元的边侧滑动安装有视觉采集车；升降单元包括升降柱、升降座，以及位于升降座与升降柱之间的高度调节机构；视觉采集车，包括U型的车体、以及安装于本体上伸缩轮和感知终端。本发明利用RGB色彩分离先对图像进行单一色彩通道处理，挑选得到该变电设备最佳表现方式；利用提出的缺陷等级演变算法得到纹理变化率；利用历史图像数据得到一个或多个缺陷等级形成的合集，作为视觉神经网络的训练模型；整个方法区别于现有的训练方式，更符合变电设备的识别要求。
Description
技术领域
本发明涉及一种基于视觉神经网络的外观缺陷智能识别系统及识别方法，属于图像数据处理技术领域。
背景技术
随着人工智能识别方法的出现，如采用视觉神经网络的办法以提高变电设备图像的准确性逐渐被本领域技术人员采纳。然而，需要依靠可靠的变电设备进行训练。如何提高变电设备图像的准确性成为识别系统首先要克服的一点。识别系统采用卷积运算等方式，提高缺陷识别的方法越来越容易造成训练模型的同质化，如何突破现有的识别模式，针对变电设备进行高匹配度计算，实现更好的缺陷识别效果，是目前电厂更愿意解决的攻坚难题。
发明内容
针对现有技术存在的上述缺陷，本发明提出了一种基于视觉神经网络的外观缺陷智能识别系统及识别方法，利用巡检装置校准图像使变电设备在图像中大小位置保持统一，优化识别方法使变电设备的训练避免同质化，更匹配电厂缺陷识别等级要求。
本发明所述的基于视觉神经网络的外观缺陷智能识别系统，包括巡检装置，巡检装置包括底座，底座上安装有若干层的升降单元，且每层升降单元的边侧滑动安装有视觉采集车；其中：
升降单元，包括升降柱、升降座，以及位于升降座与升降柱之间的高度调节机构；高度调节机构包括套接于升降柱上的轴套，以及自轴套倾斜安装于升降座表面的活动杆；升降座的边侧表面设置有配合视觉采集车设置的凸起及凹槽；
视觉采集车，包括U型的车体、以及安装于本体上伸缩轮和感知终端；车体附着于升降座的上表面，并通过伸缩轮沿升降座的下表面和侧面移动；感知终端安装于车体侧部并朝向变电设备。
优选地，所述升降单元之间收缩后，轴套下降且活动杆回缩；升降座回缩至最短距离时，车体之间相互接触。
优选地，所述视觉采集车内置有控制器、无线模块和电机，控制器通过电机驱动伸缩轮转动，车体沿升降座四周移动，使车体相对于变电设备发生相对运动，感知终端采集到变电设备的图像反馈至控制器；控制器通过无线模块将图像反馈给远程服务器，远程服务器分析图像后，将需要电机的驱动指令下发至控制器，保证感知终端满足图像拍摄的精准定位。
优选地，所述步骤S1的巡检装置的校正采集中，远程服务器采用B/S架构，包括图像校正单元、历史数据存储单元、图像纹理预测单元、缺陷等级管理单元，其中：
图像校正单元，用于接收感知终端采集的图片信息，并通过识别图像中变电设备的大小位置，精准下达电机移动的指令，保证感知终端精准采集到变电设备的图像；
历史数据存储单元，删除大小位置不符合要求的图像，保留采集符合要求的图像，并形成合集，便于后续进行预测和管理；
图像纹理预测单元，调取历史数据存储单元，对于图像中的像素纹理变化率进行预测，结合时间上的演变，给变电设备未来的缺陷等级所用时间进行预测；
缺陷等级管理单元，记录各个变电设备的所有缺陷等级，并形成对应的特征记录在原始图片上，便于视觉神经网络的学习。
优选地，所述步骤S1的巡检装置的校正采集中，升降座内置有配合高度调节机构上下移动的驱动电机，驱动电机与位于底部的底座内的控制板相连，控制板上安装有与远程服务器相连的无线芯片。
本发明系统的有益效果是：改进现有的巡检装置，利用巡检装置的高度调节机构、视觉采集车进行配合，对于感知终端进行两个自由度方向的调整，使识别系统要求的图像得到满足，保证变电设备在图像中大小位置保持统一。
本发明所述的基于视觉神经网络的外观缺陷智能识别系统的识别方法，包括如下步骤：
S1：巡检装置的校正采集：巡检装置采集图像后经由远程服务器进行位置纠正，纠正后的升降柱先经由高度调节机构进行垂直方向调整，再经过视觉采集车进行水平角度调整，调整后的感知终端距离变电设备更精准；同时利用该感知终端上下升降座上的相邻感知终端进行辅助拍摄；
S2：采集图像的预处理：经过校正后采集的图像中变电设备大小位置均保持统一，便于与历史数据进行对比；先通过RGB色彩分离对图像进行预处理，获取单一色彩通道的图像，并等比例缩放该变电设备处的区块，并进行形态处理；
形态处理即：先对图像进行二值化处理，并对二值化的图像设置一定的像素阈值去除杂质；
S3：历史图像数据纹理定量分析：利用相同变电设备在不同历史时期的图像纹理变化，获取变电设备变化率，预测图像中变电设备属于哪个缺陷等级的准确性，即：
远程服务器采集到的图像记录有不同缺陷等级的历史数据，通过形态处理后的图像中，某一缺陷等级下的像素演变成为下一缺陷等级的像素是确定的，捕捉到符合缺陷等级下的像素后，叠加上参考图像的演变时间，则得出纹理变化率；
S4: 缺陷等级合集的确定：远程服务器通过纹理定量分析后的图像进行分割处理，进而识别出图像中一个或多个变电设备，并对图像上的一个或多个缺陷设定一个或多个缺陷等级；将一个或多个缺陷等级形成合集，用于训练评估图像缺陷等级的视觉神经网络；以及基于视觉神经网络形成一个或多个缺陷等级的特征，并将该特征备注在相关图片上。
优选地，所述步骤S2的采集图像的预处理中，单一色彩通道的处理公式为：
D(z,m)＝[(zR-mR)2+(zG-mG)2+(zB-mB)2]1/2；
式中：D为z和m之间的距离，z，m分别为RGB颜色空间中的任一点，zR和mR分别为Z点和m点的红色像素点，zG和mG分别为Z点和m点的绿色像素点，zB和mB分别为Z点和m点的蓝色像素点，T为阈值。
优选地，所述步骤S3的历史图像数据纹理定量分析中，当图像输入到图像纹理预测单元时，视觉神经网络优先用训练评估图像缺陷等级的方式对图像中的纹理变化率进行分析。
优选地，所述步骤S4的缺陷等级合集的确定中，将特征备注在相关图片上，每个缺陷的形状、等级均被匹配或反应为真实的图像，包括变电设备的裂纹、锈蚀、油污、模糊图像。
本发明方法的有益效果是：本发明利用RGB色彩分离先对图像进行红色、绿色、蓝色等单一色彩通道处理，挑选得到该变电设备最佳表现方式；然后利用提出的缺陷等级演变算法得到纹理变化率；最终利用历史图像数据得到一个或多个缺陷等级形成的合集，最终作为视觉神经网络的训练模型；整个方法区别于现有的训练方式，更符合变电设备的识别要求，检测效果更高。
附图说明
图1是本发明系统巡检装置的剖视图。
图2是本发明系统视觉采集车的立体图。
图3是本发明方法原理流程框图。
图中：1、底座；2、升降柱；3、升降座；4、轴套；5、活动杆；6、凸起；7、凹槽；8、车体；9、伸缩轮；10、感知终端。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1：
本发明提出了一种基于视觉神经网络的外观缺陷智能识别系统及识别方法，利用巡检装置校准图像使变电设备在图像中大小位置保持统一，优化识别方法使变电设备的训练避免同质化，更匹配电厂缺陷识别等级要求。
如图1所示，本发明所述的基于视觉神经网络的外观缺陷智能识别系统，包括巡检装置，巡检装置包括底座1，底座1上安装有若干层的升降单元，且每层升降单元的边侧滑动安装有视觉采集车；其中：
升降单元，包括升降柱2、升降座3，以及位于升降座3与升降柱2之间的高度调节机构；高度调节机构包括套接于升降柱2上的轴套4，以及自轴套4倾斜安装于升降座3表面的活动杆5；升降座3的边侧表面设置有配合视觉采集车设置的凸起6及凹槽7；
如图2所示，视觉采集车，包括U型的车体8、以及安装于本体上伸缩轮9和感知终端10；车体8附着于升降座3的上表面，并通过伸缩轮9沿升降座3的下表面和侧面移动；感知终端10安装于车体8侧部并朝向变电设备。
优选地，所述升降单元之间收缩后，轴套4下降且活动杆5回缩；升降座3回缩至最短距离时，车体8之间相互接触。
优选地，所述视觉采集车内置有控制器、无线模块和电机，控制器通过电机驱动伸缩轮9转动，车体8沿升降座3四周移动，使车体8相对于变电设备发生相对运动，感知终端10采集到变电设备的图像反馈至控制器；控制器通过无线模块将图像反馈给远程服务器，远程服务器分析图像后，将需要电机的驱动指令下发至控制器，保证感知终端10满足图像拍摄的精准定位。
感知终端10由多状态量传感器、多通道信号同步采集系统、高性能控制和数据处理系统、多模态数据通信系统和高可靠供电系统等五个部分构成。可实现可见光图像、红外热成像、局部放电、声音、温度和湿度等关键状态量的综合监测和自动分析，是一套全方位、全时段、全协同的设备状态多参量感知预警装置。感知终端可把数据及边缘计算分析结果通过以太网、WIFI、LoRa等方式上传至接入节点，或者通过4G移动通信网络等方式发送至远程服务器，相关用户可通过手机终端APP或者PC浏览器进行远程监测，及时掌握设备状态和预警信息。
视觉采集车的设计是巡检车领域比较少见的装置，其可以沿既有的升降座3的四边任意设置，设置的个数和方向都是根据实际需要选择的；同时由于升降座3是多层的，在每一层上可以设置有多个，在相邻层上也可以设置有多个。设置上下两组升降座3配合时，可以实现意想不到的效果，例如实现双目立体视觉等。
本发明系统的有益效果是：改进现有的巡检装置，利用巡检装置的高度调节机构、视觉采集车进行配合，对于感知终端10进行两个自由度方向的调整，使识别系统要求的图像得到满足，保证变电设备在图像中大小位置保持统一。
本发明系统的使用过程如下：感知终端10拍摄的第一张图像传递至远程服务网识别位置不准确时，控制器收到电机的转数，则驱动车体8沿升降座3进行移动；甚至当高度依然不满足要求时，驱动电机自动驱动活动杆5升降；感知终端10移动到指定位置后，再次拍照传递给远程服务器后无误，则停止拍摄；使感知终端10继续移动至下一处变电设备处继续采集，直到所有厂区的变电设备均采集完毕为止。
实施例2：
如图3所示，本发明所述的基于视觉神经网络的外观缺陷智能识别系统的识别方法，包括如下步骤：
S1：巡检装置的校正采集：巡检装置采集图像后经由远程服务器进行位置纠正，纠正后的升降柱2先经由高度调节机构进行垂直方向调整，再经过视觉采集车进行水平角度调整，调整后的感知终端10距离变电设备更精准；同时利用该感知终端10上下升降座3上的相邻感知终端10进行辅助拍摄；
S2：采集图像的预处理：经过校正后采集的图像中变电设备大小位置均保持统一，便于与历史数据进行对比；先通过RGB色彩分离对图像进行预处理，获取单一色彩通道的图像，并等比例缩放该变电设备处的区块，并进行形态处理；
形态处理即：先对图像进行二值化处理，并对二值化的图像设置一定的像素阈值去除杂质；
S3：历史图像数据纹理定量分析：利用相同变电设备在不同历史时期的图像纹理变化，获取变电设备变化率，预测图像中变电设备属于哪个缺陷等级的准确性，即：
远程服务器采集到的图像记录有不同缺陷等级的历史数据，通过形态处理后的图像中，某一缺陷等级下的像素演变成为下一缺陷等级的像素是确定的，捕捉到符合缺陷等级下的像素后，叠加上参考图像的演变时间，则得出纹理变化率；
S4: 缺陷等级合集的确定：远程服务器通过纹理定量分析后的图像进行分割处理，进而识别出图像中一个或多个变电设备，并对图像上的一个或多个缺陷设定一个或多个缺陷等级；将一个或多个缺陷等级形成合集，用于训练评估图像缺陷等级的视觉神经网络；以及基于视觉神经网络形成一个或多个缺陷等级的特征，并将该特征备注在相关图片上。
所述步骤S1的巡检装置的校正采集中，远程服务器采用B/S架构，包括图像校正单元、历史数据存储单元、图像纹理预测单元、缺陷等级管理单元，其中：
图像校正单元，用于接收感知终端10采集的图片信息，并通过识别图像中变电设备的大小位置，精准下达电机移动的指令，保证感知终端10精准采集到变电设备的图像；
历史数据存储单元，删除大小位置不符合要求的图像，保留采集符合要求的图像，并形成合集，便于后续进行预测和管理；
图像纹理预测单元，调取历史数据存储单元，对于图像中的像素纹理变化率进行预测，结合时间上的演变，给变电设备未来的缺陷等级所用时间进行预测；
缺陷等级管理单元，记录各个变电设备的所有缺陷等级，并形成对应的特征记录在原始图片上，便于视觉神经网络的学习。
所述步骤S1的巡检装置的校正采集中，升降座3内置有配合高度调节机构上下移动的驱动电机，驱动电机与位于底部的底座1内的控制板相连，控制板上安装有与远程服务器相连的无线芯片。
所述步骤S2的采集图像的预处理中，单一色彩通道的处理公式为：
D(z,m)＝[(zR-mR)2+(zG-mG)2+(zB-mB)2]1/2；
式中：D为z和m之间的距离，z，m分别为RGB颜色空间中的任一点，zR和mR分别为Z点和m点的红色像素点，zG和mG分别为Z点和m点的绿色像素点，zB和mB分别为Z点和m点的蓝色像素点，T为阈值。
所述步骤S3的历史图像数据纹理定量分析中，当图像输入到图像纹理预测单元时，视觉神经网络优先用训练评估图像缺陷等级的方式对图像中的纹理变化率进行分析。
所述步骤S4的缺陷等级合集的确定中，将特征备注在相关图片上，每个缺陷的形状、等级均被匹配或反应为真实的图像，包括变电设备的裂纹、锈蚀、油污、模糊图像。
本发明方法的有益效果是：本发明利用RGB色彩分离先对图像进行红色、绿色、蓝色等单一色彩通道处理，挑选得到该变电设备最佳表现方式；然后利用提出的缺陷等级演变算法得到纹理变化率；最终利用历史图像数据得到一个或多个缺陷等级形成的合集，最终作为视觉神经网络的训练模型；整个方法区别于现有的训练方式，更符合变电设备的识别要求，检测效果更高。
需要说明的是：步骤S2中图像的预处理，一方面是因为变电设备颜色各异，另一方面也是缺陷的外轮廓深度不同，因此需要通过专门对于图像进行单一色相的选择，提高识别的速度。这也是不同于现有的图像处理技术的特点之一。
本发明可广泛运用于图像数据处理场合。
Claims (9)
1.一种基于视觉神经网络的外观缺陷智能识别系统，包括巡检装置，其特征在于，巡检装置包括底座(1)，底座(1)上安装有若干层的升降单元，且每层升降单元的边侧滑动安装有视觉采集车；其中：
升降单元，包括升降柱(2)、升降座(3)，以及位于升降座(3)与升降柱(2)之间的高度调节机构；高度调节机构包括套接于升降柱(2)上的轴套(4)，以及自轴套(4)倾斜安装于升降座(3)表面的活动杆(5)；升降座(3)的边侧表面设置有配合视觉采集车设置的凸起(6)及凹槽(7)；
视觉采集车，包括U型的车体(8)、以及安装于本体上伸缩轮(9)和感知终端(10)；车体(8)附着于升降座(3)的上表面，并通过伸缩轮(9)沿升降座(3)的下表面和侧面移动；感知终端(10)安装于车体(8)侧部并朝向变电设备。
2.根据权利要求1所述的基于视觉神经网络的外观缺陷智能识别系统，其特征在于，所述升降单元收缩后，轴套(4)下降且活动杆(5)回缩；升降座(3)回缩至最短距离时，车体(8)之间相互接触。
3.根据权利要求1所述的基于视觉神经网络的外观缺陷智能识别系统，其特征在于，所述视觉采集车内置有控制器、无线模块和电机，控制器通过电机驱动伸缩轮(9)转动，车体(8)沿升降座(3)四周移动，使车体(8)相对于变电设备发生相对运动，感知终端(10)采集到变电设备的图像反馈至控制器；控制器通过无线模块将图像反馈给远程服务器，远程服务器分析图像后，将需要电机的驱动指令下发至控制器，保证感知终端(10)满足图像拍摄的精准定位。
4.根据权利要求3所述的基于视觉神经网络的外观缺陷智能识别系统，其特征在于，所述远程服务器采用B/S架构，包括图像校正单元、历史数据存储单元、图像纹理预测单元、缺陷等级管理单元，其中：
图像校正单元，用于接收感知终端(10)采集的图片信息，并通过识别图像中变电设备的大小位置，精准下达电机移动的指令，保证感知终端(10)精准采集到变电设备的图像；
历史数据存储单元，删除大小位置不符合要求的图像，保留采集符合要求的图像，并形成合集，便于后续进行预测和管理；
图像纹理预测单元，调取历史数据存储单元，对于图像中的像素纹理变化率进行预测，结合时间上的演变，给变电设备未来的缺陷等级所用时间进行预测；
缺陷等级管理单元，记录各个变电设备的所有缺陷等级，并形成对应的特征记录在原始图片上，便于视觉神经网络的学习。
5.根据权利要求1所述的基于视觉神经网络的外观缺陷智能识别系统，其特征在于，所述升降座(3)内置有配合高度调节机构上下移动的驱动电机，驱动电机与位于底部的底座(1)内的控制板相连，控制板上安装有与远程服务器相连的无线芯片。
6.一种如权利要求1-5任意一项所述的基于视觉神经网络的外观缺陷智能识别系统的识别方法，其特征在于，包括如下步骤：
S1：巡检装置的校正采集：巡检装置采集图像后经由远程服务器进行位置纠正，纠正后的升降柱(2)先经由高度调节机构进行垂直方向调整，再经过视觉采集车进行水平角度调整，调整后的感知终端(10)距离变电设备更精准；同时利用该感知终端(10)上下升降座(3)上的相邻感知终端(10)进行辅助拍摄；
S2：采集图像的预处理：经过校正后采集的图像中变电设备大小位置均保持统一，便于与历史数据进行对比；先通过RGB色彩分离对图像进行预处理，获取单一色彩通道的图像，并等比例缩放该变电设备处的区块，并进行形态处理；
形态处理即：先对图像进行二值化处理，并对二值化的图像设置一定的像素阈值去除杂质；
S3：历史图像数据纹理定量分析：利用相同变电设备在不同历史时期的图像纹理变化，获取变电设备变化率，预测图像中变电设备属于哪个缺陷等级的准确性，即：
远程服务器采集到的图像记录有不同缺陷等级的历史数据，通过形态处理后的图像中，某一缺陷等级下的像素演变成为下一缺陷等级的像素是确定的，捕捉到符合缺陷等级下的像素后，叠加上参考图像的演变时间，则得出纹理变化率；
S4: 缺陷等级合集的确定：远程服务器通过纹理定量分析后的图像进行分割处理，进而识别出图像中一个或多个变电设备，并对图像上的一个或多个缺陷设定一个或多个缺陷等级；将一个或多个缺陷等级形成合集，用于训练评估图像缺陷等级的视觉神经网络；以及基于视觉神经网络形成一个或多个缺陷等级的特征，并将该特征备注在相关图片上。
7.根据权利要求6所述的基于视觉神经网络的外观缺陷智能识别系统的识别方法，其特征在于，所述步骤S2的采集图像的预处理中，单一色彩通道的处理公式为：
D(z,m)＝[(zR-mR)2+(zG-mG)2+(zB-mB)2]1/2；
式中：D为z和m之间的距离，z，m分别为RGB颜色空间中的任一点，zR和mR分别为Z点和m点的红色像素点，zG和mG分别为Z点和m点的绿色像素点，zB和mB分别为Z点和m点的蓝色像素点，T为阈值。
8.根据权利要求7所述的基于视觉神经网络的外观缺陷智能识别系统的识别方法，其特征在于，所述步骤S3的历史图像数据纹理定量分析中，当图像输入到图像纹理预测单元时，视觉神经网络优先用训练评估图像缺陷等级的方式对图像中的纹理变化率进行分析。
9.根据权利要求6所述的基于视觉神经网络的外观缺陷智能识别系统的识别方法，其特征在于，所述步骤S4的缺陷等级合集的确定中，将特征备注在相关图片上，每个缺陷的形状、等级均被匹配或反应为真实的图像，包括变电设备的裂纹、锈蚀、油污、模糊图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210525381.XA CN114627119B (zh) | 2022-05-16 | 2022-05-16 | 基于视觉神经网络的外观缺陷智能识别系统及识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210525381.XA CN114627119B (zh) | 2022-05-16 | 2022-05-16 | 基于视觉神经网络的外观缺陷智能识别系统及识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114627119A true CN114627119A (zh) | 2022-06-14 |
| CN114627119B CN114627119B (zh) | 2022-08-02 |
Family
ID=81907159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210525381.XA Active CN114627119B (zh) | 2022-05-16 | 2022-05-16 | 基于视觉神经网络的外观缺陷智能识别系统及识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627119B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291911A (zh) * | 2023-11-24 | 2023-12-26 | 山东通广电子股份有限公司 | 一种用于电力设备的缺陷检测方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106936218A (zh) * | 2017-05-15 | 2017-07-07 | 国家电网公司 | 基于物联网和智能巡检机器人的配电网综合监控系统 |
| CN108080286A (zh) * | 2017-12-16 | 2018-05-29 | 佛山市鼎翘五金有限公司 | 一种适用于钣金件自动化次品分离的检测装置 |
| CN110587629A (zh) * | 2019-10-15 | 2019-12-20 | 云南电网有限责任公司电力科学研究院 | 变电站巡检机器人、巡检方法及巡检机器人控制方法 |
| CN111307823A (zh) * | 2020-04-13 | 2020-06-19 | 国家电网有限公司 | 基于边云协同的变电设备典型视觉缺陷检测系统及方法 |
| CN112380907A (zh) * | 2020-10-20 | 2021-02-19 | 广东电网有限责任公司中山供电局 | 一种变电设备缺陷智能图像识别方法及其管理系统 |
| CN112910094A (zh) * | 2021-03-05 | 2021-06-04 | 国网河南省电力公司郑州供电公司 | 基于泛在电力物联网的变电站远方自动巡检系统及方法 |
| US20210192714A1 (en) * | 2019-12-19 | 2021-06-24 | Qeexo, Co. | Automated machine vision-based defect detection |
| CN113561199A (zh) * | 2021-08-04 | 2021-10-29 | 北京化工大学 | 一种带有升降式云台和机械臂的变电站巡检机器人 |
| WO2022021739A1 (zh) * | 2020-07-30 | 2022-02-03 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及系统 |
| CN114092473A (zh) * | 2022-01-19 | 2022-02-25 | 南京帝感智能科技有限公司 | 一种大型产品视觉巡检装置及系统 |
-
2022
- 2022-05-16 CN CN202210525381.XA patent/CN114627119B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106936218A (zh) * | 2017-05-15 | 2017-07-07 | 国家电网公司 | 基于物联网和智能巡检机器人的配电网综合监控系统 |
| CN108080286A (zh) * | 2017-12-16 | 2018-05-29 | 佛山市鼎翘五金有限公司 | 一种适用于钣金件自动化次品分离的检测装置 |
| CN110587629A (zh) * | 2019-10-15 | 2019-12-20 | 云南电网有限责任公司电力科学研究院 | 变电站巡检机器人、巡检方法及巡检机器人控制方法 |
| US20210192714A1 (en) * | 2019-12-19 | 2021-06-24 | Qeexo, Co. | Automated machine vision-based defect detection |
| CN111307823A (zh) * | 2020-04-13 | 2020-06-19 | 国家电网有限公司 | 基于边云协同的变电设备典型视觉缺陷检测系统及方法 |
| WO2022021739A1 (zh) * | 2020-07-30 | 2022-02-03 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及系统 |
| CN112380907A (zh) * | 2020-10-20 | 2021-02-19 | 广东电网有限责任公司中山供电局 | 一种变电设备缺陷智能图像识别方法及其管理系统 |
| CN112910094A (zh) * | 2021-03-05 | 2021-06-04 | 国网河南省电力公司郑州供电公司 | 基于泛在电力物联网的变电站远方自动巡检系统及方法 |
| CN113561199A (zh) * | 2021-08-04 | 2021-10-29 | 北京化工大学 | 一种带有升降式云台和机械臂的变电站巡检机器人 |
| CN114092473A (zh) * | 2022-01-19 | 2022-02-25 | 南京帝感智能科技有限公司 | 一种大型产品视觉巡检装置及系统 |
Non-Patent Citations (3)
| Title |
|---|
| LU SHOUYIN ET.AL: "Development of a mobile robot for substation equipment inspection", 《AUTOMATION OF ELECTRIC POWER SYSTEMS》 * |
| 徐海洋: "变电站设备表面缺陷图像识别关键技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 汤一平等: "立体全方位视觉传感器的设计", 《仪器仪表学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291911A (zh) * | 2023-11-24 | 2023-12-26 | 山东通广电子股份有限公司 | 一种用于电力设备的缺陷检测方法及系统 |
| CN117291911B (zh) * | 2023-11-24 | 2024-02-09 | 山东通广电子股份有限公司 | 一种用于电力设备的缺陷检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114627119B (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020199538A1 (zh) | 基于图像监控数据的桥梁关键构件病害预警系统及方法 | |
| CN108918539B (zh) | 一种隧道结构表观病害检测装置及方法 | |
| CN110297498A (zh) | 一种基于无线充电无人机的轨道巡检方法及系统 | |
| CN110562455B (zh) | 一种智能型无人机自动充电系统 | |
| CN109631776B (zh) | 一种高压输电线路导线结冰厚度自动测量方法 | |
| CN111460903B (zh) | 基于深度学习的田间西兰花长势监测系统及方法 | |
| CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
| CN104796612A (zh) | 高清雷达联动跟踪控制摄像系统及联动跟踪方法 | |
| CN107358627B (zh) | 基于Kinect相机的果实尺寸检测方法 | |
| CN104483326A (zh) | 基于深度信念网络的高压线绝缘子缺陷检测方法及系统 | |
| CN111260788A (zh) | 一种基于双目视觉的配电柜开关状态识别方法 | |
| CN114627119B (zh) | 基于视觉神经网络的外观缺陷智能识别系统及识别方法 | |
| CN109636787A (zh) | 一种基于深度学习的高精度实时电池点焊质量自动检测方法 | |
| CN112157642B (zh) | 一种用于配电室的无人巡检机器人 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN107014291A (zh) | 一种物料精密转载平台的视觉定位方法 | |
| CN111539303A (zh) | 基于单目视觉的车辆驾驶偏移预警方法 | |
| CN115115768A (zh) | 基于立体视觉的物体坐标识别系统及方法、装置、介质 | |
| CN107977959B (zh) | 一种适用于电力作业机器人的呼吸器状态识别方法 | |
| CN112634269A (zh) | 一种轨道车辆车体检测方法 | |
| CN116824347A (zh) | 一种基于深度学习的道路裂纹检测方法 | |
| CN111985435A (zh) | 一种基于机器视觉的无人机水域监测巡航方法 | |
| CN106846324B (zh) | 一种基于Kinect的非规则物体高度测量方法 | |
| CN118111422A (zh) | 一种基于机器视觉的敞车摘钩对象辨识与定位装置及方法 | |
| WO2022104798A1 (zh) | 基于5g的无人驾驶电子交警执勤系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Block C, Xidi Innovation Industrial Park, No. 5, Sanying Road, Fangzhen Town, Zhangdian District, Zibo City, Shandong Province 255022 Patentee after: Zibo Tongguang Electronics Co.,Ltd. Country or region after: China Address before: 255000 east area 807, R & D building, Xishou science and Technology Industrial Park, Sanying Road, Fangzhen Town, Zhangdian District, Zibo City, Shandong Province Patentee before: SHANDONG TONGGUANG ELECTRONICS Co.,Ltd. Country or region before: China |