CN115457017A - 一种导线缺陷检测方法、装置、计算机设备及存储介质 - Google Patents
一种导线缺陷检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115457017A CN115457017A CN202211198963.8A CN202211198963A CN115457017A CN 115457017 A CN115457017 A CN 115457017A CN 202211198963 A CN202211198963 A CN 202211198963A CN 115457017 A CN115457017 A CN 115457017A
- Authority
- CN
- China
- Prior art keywords
- image
- wire
- detected
- features
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种导线缺陷检测方法、装置、计算机设备及存储介质,其中,导线缺陷检测方法包括:获取包含有导线的待检测图像;将待检测图像输入预先训练好的导线检测模型,对待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像对应的二值化图像;对二值化图像进行特征提取;将提取到的特征与预设导线图像特征进行比较;若比较结果不一致则判定待检测图像中的导线存在缺陷。本发明可解决现有的输电导线缺陷检测方法出现误检、漏检风险较大的技术问题。
Description
技术领域
本发明实施例涉及图像识别领域,尤其涉及一种导线缺陷检测方法、装置、计算机设备及存储介质。
背景技术
为了保证电网可靠、稳定的供电,必须对配电线路进行实时监测,发现异常情况,及时采取相应的措施进行解决。导线是整个电网线路中的主要设备,负责电网中电能的传输,其安全运行关系到整个电网的稳定。
传统的输电线路导线缺陷的图像检测基于深度学习模型进行检测,由于受训练时客观条件所限,所训练出的深度学习模型出现误检、漏检风险较大。
发明内容
本申请提供了一种导线缺陷检测方法、装置、计算机设备及存储介质,来解决现有的输电导线缺陷检测方法出现误检、漏检风险较大的技术问题。
本发明第一方面提供了一种导线缺陷检测的方法,包括:获取包含有导线的待检测图像;将待检测图像输入预先训练好的导线检测模型,对待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像对应的二值化图像;对二值化图像进行特征提取;将提取到的特征与预设导线图像特征进行比较;若比较结果不一致则判定待检测图像中的导线存在缺陷。
本发明实施例提供的导线缺陷检测方法,通过将深度学习和机器学习相结合来实现的导线缺陷的识别检测,降低了单独利用深度学习模型进行检测的误检、漏检风险。
可选地,将待检测图像输入预先训练好的导线检测模型,对待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像对应的二值化图像,包括:将待检测图像输入预先训练好的导线识别子模型,对待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像;将目标区域图像输入预先训练好的导线分割子模型,对目标区域图像中的导线进行检测,输出导线所在的目标区域图像对应的二值化图像。
可选地,对二值化图像进行特征提取步骤之前,方法包括:对二值化图像进行去噪操作。
可选地,对二值化图像进行特征提取,包括:采用滑动窗口遍历二值化图像中每根导线;遍历每根导线的所有滑动窗口,并计算不同的滑动窗口的导线图像特征。
可选地,对二值化图像进行特征提取,包括:采用滑动窗口遍历二值化图像并对遍历到的每一个二值化图像进行背景过滤操作,得到过滤后的二值化图像;采用基于方向梯度直方图的多尺度滑动窗口对过滤后的二值化图像进行导线特征提取。
可选地,预设导线图像特征包括:导线信息熵和轴截面面积。
可选地,导线检测模型通过下述步骤训练得到:获取导线图像数据集;利用旋转边界框对导线图像数据集中包含的导线图像中进行标注;利用标注后的图像数据集对预设模型进行训练直至训练结果满足预设条件。
本发明第二方面提供了一种导线缺陷检测的装置,包括:第一获取模块,用于获取包含有导线的待检测图像;第一输入模块,用于将待检测图像输入预先训练好的导线检测模型,对待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像对应的二值化图像;第一提取模块,用于对二值化图像进行特征提取;第一比较模块,用于将提取到的特征与预设导线图像特征进行比较;第一判定模块,用于若比较结果不一致则判定待检测图像中的导线存在缺陷。
本发明提供的导线缺陷检测装置中各部件所执行的功能均已在上述第一方面任一方法实施例中得以应用,因此这里不再赘述。
本发明第三方面提供了一种计算机设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现上述第一方面的导线缺陷检测方法的步骤。
本发明第四方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使计算机执行如本发明第一方面提供的导线缺陷检测方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的导线缺陷检测方法的流程示意图;
图2为本发明一实施例提供的导线缺陷检测方法对应的场景示意图;
图3为本发明一实施例提供的导线缺陷检测方法的流程示意图;
图4为本发明实施例提供的一种导线缺陷检测装置的结构示意图;
图5为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
针对背景技术中所提及的技术问题,本发明实施例提供了一种导线缺陷检测方法,如图1所示,该方法的步骤包括:
步骤S110,获取包含有导线的待检测图像。
示例性地,包含有导线的待检测图像可以通过无人机采集得到。无人驾驶飞行器提供了一种安全、自主和有效的方式来检查检验电力系统部件缺陷而无需关闭配电系统。
步骤S120,将待检测图像输入预先训练好的导线检测模型,对待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像对应的二值化图像。
示例性地,该预先训练好的导线检测模型可以预先利用多种包含有不同类型、不同角度导线的图像样本集训练得到。通过训练好的导线检测模型可以对待检测图像中的导线进行准确识别与定位,并通过输出层输出导线所在的目标区域图对应的二值化图像。
步骤S130,对二值化图像进行特征提取。示例性地,二值化图像中白色表示导线部分,黑色表示背景部分。导线特征包括但不限于信息熵、轴截面面积、纹理以及形状底层等。
步骤S140,将提取到的特征与预设导线图像特征进行比较。
示例性地,预设导线图像特征与提取到的二值化图像特征部分或全部对应。将由步骤S130提取到的二值化图像特征,比如信息熵、轴截面面积、纹理以及形状底层等与预设导线图像特征逐一进行比较。其中,预设导线图像特征中具体所包括特征本实施例中不做限制,根据实际需要进行适应性设置。
步骤S150,若比较结果不一致则判定待检测图像中的导线存在缺陷。
示例性地,以提取到的二值化图像的特征包括导线的轴截面面积,预设导线图像特征包括导线轴截面面积为例。判断提取到的导线轴截面面积是否等于预设导线图像特征中导线轴截面面积,若二者不相等或差值超出预设误差范围时,则可以判定待检测图像中的导线存在缺陷。其中,导线缺陷包括但不限于断股、散股。
本发明实施例提供的导线缺陷检测方法,通过将深度学习和机器学习相结合来实现的导线缺陷的识别检测,降低了单独利用深度学习模型进行检测的误检、漏检风险。
作为本发明一可选实施方式,步骤S120,包括:
步骤S210,将待检测图像输入预先训练好的导线识别子模型,对待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像。
示例性地,导线识别子模型根据导线细长圆柱的几何特性,可以使用多尺度特征融合+旋转目标检测(Circular Smooth Label,CSL)算法进行识别。具体地,作为一可选实施方式,该导线识别子模型通过3通道、24个卷积层、2个全连接层,对输入的待检测图像处理到736×1280大小。不同尺度特征图随卷积层加深,在输入待检测图像上产生三种尺度特征图。对应的原始图像网格分别是大尺度32×32,中尺度16×16,小尺度8×8。本实施例所采用低层级的特征具有丰富的细节和定位信息,较高层级的特征具有丰富的语义特征,从低层级到高层级,细节信息不断减少,而语义信息不断增加,对于位置预测而言,需要更多的低层特征信息,对于类别预测而言,需要更多高层的局部信息,因此,基于图像金字塔的模式,使用上采样将高层特征与低层特征进行融合,获取不同尺度的特征图,用于位置和类别预测。
步骤S220,将目标区域图像输入预先训练好的导线分割子模型,对目标区域图像中的导线进行检测,输出导线所在的目标区域图像对应的二值化图像。
示例性地,导线分割子模型可以为语义分割模型。经过步骤S210在原图得到的导线目标区域作为语义分割模型输入数据。数据输入语义分割模型,首先进行卷积和池化下采样;然后反卷积进行上采样,裁剪之前的低层特征图(feature map),进行融合,再次上采样。重复这个过程,直到获得输出预设尺寸的特征图,如388×388×2的特征图。最后经过柔性最大传递函数(softmax)得到分割图(segment map),输出语义分割后的结果,即本实施例中的二值化图像。
本发明实施例提供的导线缺陷检测方法,由于传统常规检测模型中语义分割的任务是对输入的整张图像进行逐像素的分类,标记出像素级别的物体,在输电或者配网航拍图像中的物体通常是任意方向的,且分辨率很高。因此,直接使用语义分割检测会引起几个问题。首先,这种导线检测通常包含许多背景区域,如图2所示,图像中大约80%的区域属于背景区域。检测过程中存在过多的背景区域,不仅增加了分类任务的难度、耗时较长。其次,会受相似的背景干扰导致目标范围表示不准确的问题,即其提供的信息中位置信息和分类信息是有重叠的,即通过标记每个像素的分类,降低了检测精度。本实施例通过结合用于目标检测的导线识别子模型和用于语义分割的导线分割子模型的两级网络,语义分割网络作为第二级网络只对由第一级网络输出的目标区域图像进行识别和定位,可提升了识别和定位速率和精度。
作为本发明一可选实施方式,还包括:对二值化图像进行去噪操作。
示例性地,对二值化图像进行去噪操作,可以弱化导线分割子模型输出的二值化图像中带有的噪声,使得二值化图像中目标和背景分割更加清晰,提高并优化分割效果。本申请实施例对去噪处理方式不作限定,本领域技术人员可以根据实际需要确定。本实施例以形态学运算对二值化图像进行去噪操作为例。使用形态学运算,可以对预测结果中包含有孤立的噪点、孔洞提高并优化分割效果。具体地,卷积待处理图片,对当前非空的卷积位置(即核中为1对应的图片区域值至少一个为1),则对应的输出图像中对应的像元赋值为1,否则为0。具体如下,针对步骤S120或步骤S220得到的语义分割后导线区域,定义一个核结构元素3×3矩阵。首先使用开运算:先腐蚀再膨胀,腐蚀处理分离物体,用来消除小且无意义的目标物,同时会造成目标区域范围变小,图像的边界收缩这样可以去除导线区域背景中细小的噪声干扰。由于腐蚀处理会去除导线部分,为了防止这种现象,再进行一次闭运算:先膨胀再腐蚀,优化物体内部空洞。对于独立小物体,remove_small_objects效果较好;对于小物体相互又交错的,使用开运算+闭运算可以过滤图片中的噪声点得到前景物体(导线)的清晰轮廓。其它对二值化图像的去噪操作此处不再赘述,具体应用时可根据实际需要进行适应性选择。
本发明实施例提供的导线缺陷检测方法,通过形态学运算对导线分割子模型输出的二值化图像进行去噪处理,使得二值化图像的待检测目标轮廓更加清晰,提高并优化分割效果,便于后续对待检测目标缺陷的检测,提高检测精度和准确率。
作为本发明一可选实施方式,步骤S130,包括:
步骤S310,采用滑动窗口遍历二值化图像中每根导线。
示例性地,如图2所示,一张待检测图像中可能不仅仅包含一条导线,且每一根导线都需要检测到,所以首先需要检测二值化图像中的导线。具体地,作为一种可选的实施方式,可以利用直线检测方法确定二值化图像中的导线。然后采用滑动窗口遍历二值化图像中每根导线,进行特征提取。
步骤S320,遍历每根导线的所有滑动窗口,并计算不同的滑动窗口的导线图像特征。
示例性地,对于直线检测得到的每一根导线,遍历同一根导线上的所有窗口,计算不同窗口区域的导线特征,比如信息熵值和/或轴截面面积值等。本发明实施例提供的导线缺陷检测方法,通过滑动窗口对整幅图像都滑动,不会漏掉任何一个可能会出现导线缺陷的位置,漏检率低。
作为本发明一可选实施方式,步骤S130,包括:
步骤S410,采用滑动窗口遍历二值化图像并对遍历到的每一个二值化图像进行背景过滤操作,得到过滤后的二值化图像。
示例性地,以滑动窗口遍历图像,对整幅图片进行显著性检测,将显著性物体分割出来,即将导线区域和背景区域分割开。背景区域为非必要窗口,最后过滤非必要窗口,继而提高检测效率。
步骤S420,采用基于方向梯度直方图的多尺度滑动窗口对过滤后的二值化图像进行导线特征提取。
示例性地,采用方向梯度直方图(Histogram of Oriented Gradient,HOG)方法提取导线缺陷特征。对于直线检测得到的每一根导线,遍历同一根导线上的所有窗口,计算不同窗口区域的图像特征,如导线信息熵值以及轴截面面积值,找到存在异常特征值的窗口,分类器函数的运算结果最终能够判别出当前输入模型的配网导线数据是否为存在缺陷。
HOG方法操作对象是图像的局部边缘特征,没有旋转和尺度不变性(所以计算量小),而且计算图像每个像素的梯度(包括大小和方向)在捕获轮廓信息的同时进一步弱化光照的干扰,调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,所以其在图像几何和光学的变化方面都有很好的适应性,因此HOG方法是更适用于导线检测模型输出二值化图像或者进一步去噪后的二值化图像导线缺陷特征抽取。在这种条件下构造的特征向量该条件转化为最小,导线缺陷分类条件转化为最小。
传统机器学习算法通常采用对整幅图片以滑动窗口逐步检测的方法解决,这样会因检测非必要背景窗口过多而大大降低计算效率,故而本实施例采用多尺度滑动窗口图像检测导线的方法,如图3所示。多尺度滑动窗口会对整幅二值化图像中目标区域都滑动,不会漏掉任何一个可能会出现导线缺陷的位置,漏检率低。但是这种优势,是用巨大的搜索空间和时间消耗换来的。因此在对图像变换不同尺度的过程中两部分参数需要对应的设置,首先是窗口的大小比如384×384,再者是滑动的步长、特征连接的block块等。如step1~step5所示:
Step1.图像通过尺度变换,得到(如384×384)大小的目标图像;
Step2.将目标图像划分成小cells,滑动窗口在检测图片中滑动的尺寸为8×8;
Step3.统计每个cell的梯度直方图(不同梯度的个数),即可形成每个cell各像素点的梯度幅值和方向;
Step4.相邻的2个cell组成一个块,特征连接为一个16×16的block特征,并对其进行归一化;
Step5.所有block特征连接,构成缺陷图像的HOG特征,以384×384目标图像最终形成供分类使用的向量长度为79524特征向量。
同时为了提高检测效率,采用非极大值抑制(Non-Maximum Suppression,NMS)算法,NMS算法消除多余的框,找到最佳的物体检测的位置,选取那些邻域里分数最高的窗口,同时抑制那些分数低的窗口。最后介入分类器函数的运算结果最终能够判别出当前输入模型的配网导线数据是否为存在缺陷。
实验中,使用大小为576×576Dpi、384×384Dpi的图像,检测窗口数量分别减少了44.21%、34.96%,检测速率分别提高了9.30%、12.73%。实验结果表明,相比于传统检测方法,本申请方案提高了检测效率。
作为本发明一可选实施方式,预设导线图像特征包括:导线信息熵和轴截面面积。示例性地,为在导线区域中进一步判断出缺陷区域,分析存在断股缺陷处导线的特点,本实施例中用信息熵和轴截面面积作为区别导线正常或缺陷的图像特征。导线断股散股并非规律性地螺旋状缠绕,而是在缺陷处散开成散乱分布,有不同程度的松散或断开现象,形成散乱的细线分叉;在图像中具体表现为,在导线断股缺陷区域,导线沿轴向方向导线粗细受到影响,且断股点附近导线有凸起情况。
信息熵体现系统混乱或有序的程度,针对航拍的图像而言,包含断股散股缺陷的区域比正常的导线区域含有更多复杂的信息,因此熵值更大以提取出便于识别导线缺陷的特征。
一定长度的导线表现出细长圆柱的几何特性,轴截面是指通过导线的轴的截面,在平面图像中,导线的径向粗细等于轴截面的面积,正常的导线轴截面应保持不变。
因此,本申请方案通过在图像分割得到的二值化图像中计算窗口中白色区域的面积即计算导线轴截面面积,用信息熵和轴截面面积作为区别导线正常或缺陷的图像特征。选定了能够区分导线是否存在缺陷的特征后,接下来需针对区域图像进行分类,实现缺陷检测。
本发明实施例提供的导线缺陷检测方法,将导线缺陷的显著特征作为判断导线是否存在缺陷的依据,更加准确高效。
作为本发明一可选实施方式,导线检测模型训练步骤包括:
步骤S510,获取导线图像数据集。
本实施例中,步骤S510与上述实施例中的步骤S110类似,此处不再赘述。
步骤S520,利用旋转边界框对导线图像数据集中包含的导线图像中进行标注。
示例性地,如图2所示,对导线图像数据采用旋转目标信息方式,即采用旋转边界框进行标注,以便于后续导线目标检测。旋转目标的标注信息为(x,y,w,h,θ)五个参数唯一地确定任意一个旋转边界框,(x,y)表示的是边界框在图中的中心位置维度,(w,h)表示的是边界框的宽和高维度,(θ)表示的是旋转边界框的角度(angle)维度。在数据加载部分需要在标注(labels)原始数据(x,y,w,h)的基础上添加一个angle维度。每个尺度中,空间点上安排有三个先验框(锚框anchor),每个anchor分配边框坐标四个点x,y,w,h+θ,采用cv2.minAreaRect()函数,x轴顺时针旋转遇到最长边所经过的角度[0,180]针对输入图像736×1280,经目标框坐标变换后,得到所有网格中的目标框张量[1,57960,85],经过非极大值抑制NMS处理,去除小于置信度目标,IoU阈值,类别选择,剩下的就是图像中实际的预测目标参数(x,y,w,h,θ)和置信度conf。使用该技术的优势通过将角度的回归问题转换成了一个分类问题,限制预测结果的范围来消除这一问题,为下一步提供给语义分割模型训练和识别时的冗余信息就越少。先验越充分,网络的可学习方案就越少,有利于约束网络的训练方向和减少网络的收敛时间。
步骤S530,利用标注后的图像数据集对预设模型进行训练直至训练结果满足预设条件。
示例性地,本实施例基于深度学习,将步骤S520标注好的图像数据集输入到预设模型中进行训练,直至训练结果满足预设条件。具体地,比如直到能够获取包括全部导线的候选框时,得到训练好的目标检测模型。需要说明的是预设条件可以根据实际需要进行适应性设置,此处不做限制。
本发明实施例提供的导线缺陷检测方法,首先,旋转边界框可以精确定位图像中的物体,并且边界框几乎不包含背景区域,从而减少背景对物体分类的影响。其次,旋转边界框之间几乎没有重叠,从而可以更清晰地识别框内包含的物体。再通过透视变换,将四个点组成的平面转换成另四个点组成的一个平面,以此抠出导线区域再送入语义分割模型使用。综上所述,在图像缺陷检测任务中使用带有角度信息的旋转边界框再叠加语义分割模型可获得优越的性能。通过基于深度学习构建目标检测模型,实现了目标检测的智能化,提高待检测目标识别和定位的准确率。同时由于深度学习的自主学习能力,也提高了目标检测能力的鲁棒性。
图4为本发明一实施例提供的一种导线缺陷检测的装置,本实施例中的导线缺陷检测装置包括:
第一获取模块610,用于获取包含有导线的待检测图像。详细内容参见上述实施例中步骤S110的描述,在此不再赘述。
第一输入模块620,用于将待检测图像输入预先训练好的导线检测模型,对待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像对应的二值化图像。详细内容参见上述实施例中步骤S120的描述,在此不再赘述。
第一提取模块630,用于对二值化图像进行特征提取。详细内容参见上述实施例中步骤S130的描述,在此不再赘述。
第一比较模块640,用于将提取到的特征与预设导线图像特征进行比较。详细内容参见上述实施例中步骤S140的描述,在此不再赘述。
第一判定模块650,用于若比较结果不一致则判定待检测图像中的导线存在缺陷。详细内容参见上述实施例中步骤S150的描述,在此不再赘述。
作为本发明一可选实施装置,第一输入模块620,包括:
第一输入子模块,用于将待检测图像输入预先训练好的导线识别子模型,对待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像。详细内容参见上述实施例中步骤S210的描述,在此不再赘述。
第二输入子模块,用于将目标区域图像输入预先训练好的导线分割子模型,对目标区域图像中的导线进行检测,输出导线所在的目标区域图像对应的二值化图像。详细内容参见上述实施例中步骤S220的描述,在此不再赘述。
作为本发明一可选实施装置,还包括:对二值化图像进行去噪操作。
作为本发明一可选实施装置,第一提取模块630,包括:
第一遍历子模块,用于采用滑动窗口遍历二值化图像中每根导线。详细内容参见上述实施例中步骤S310的描述,在此不再赘述。
第二遍历子模块,用于遍历每根导线的所有滑动窗口,并计算不同的滑动窗口的导线图像特征。详细内容参见上述实施例中步骤S320的描述,在此不再赘述。
作为本发明一可选实施装置,第一提取模块630,包括:
第三遍历子模块,用于采用滑动窗口遍历二值化图像并对遍历到的每一个二值化图像进行背景过滤操作,得到过滤后的二值化图像。详细内容参见上述实施例中步骤S410的描述,在此不再赘述。
第一提取子模块,用于采用基于方向梯度直方图的多尺度滑动窗口对过滤后的二值化图像进行导线特征提取。详细内容参见上述实施例中步骤S420的描述,在此不再赘述。
作为本发明一可选实施装置,第一标注模块,包括:导线信息熵和轴截面面积。
作为本发明一可选实施装置,包括:
第二获取模块,用于获取导线图像数据集。详细内容参见上述实施例中步骤S510的描述,在此不再赘述。
标注模块,用于利用旋转边界框对导线图像数据集中包含的导线图像中进行标注。详细内容参见上述实施例中步骤S520的描述,在此不再赘述。
训练模块,用于利用标注后的图像数据集对预设模型进行训练直至训练结果满足预设条件。详细内容参见上述实施例中步骤S530的描述,在此不再赘述。
本发明实施例提供了一种计算机设备,如图5所示,该设备包括一个或多个处理器710以及存储器720,存储器720包括持久内存、易失内存和硬盘,图5中以一个处理器710为例。该设备还可以包括:输入装置730和输出装置740。
处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接,图5中以通过总线连接为例。
处理器710可以为中央处理器(Central Processing Unit,CPU)。处理器710还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器720可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据导线缺陷检测装置的使用所创建的数据等。此外,存储器720可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器720可选包括相对于处理器710远程设置的存储器,这些远程存储器可以通过网络连接至导线缺陷检测装置。输入装置730可接收用户输入的计算请求(或其他数字或字符信息),以及产生与导线缺陷检测装置有关的键信号输入。输出装置740可包括显示屏等显示设备,用以输出计算结果。
本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储计算机指令,计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的导线缺陷检测方法。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RandomAccess Memory,RAM),只读存储器(Read-Only Memory,ROM),可擦除可编辑只读存储器(Erasable Programmable Read-Only Memory,EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(Compact Disc Read-Only Memory,CDROM)。另外,计算机可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(Programmable Gate Array,PGA),现场可编程门阵列(Field Programmable Gate Array,FPGA)等。
在本说明书的描述中,参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本公开描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种导线缺陷检测方法,其特征在于,包括:
获取包含有导线的待检测图像;
将所述待检测图像输入预先训练好的导线检测模型,对所述待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像对应的二值化图像;
对所述二值化图像进行特征提取;
将提取到的特征与预设导线图像特征进行比较;
若比较结果不一致则判定所述待检测图像中的导线存在缺陷。
2.根据权利要求1所述的导线缺陷检测方法,其特征在于,所述将所述待检测图像输入预先训练好的导线检测模型,对所述待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像对应的二值化图像,包括:
将所述待检测图像输入预先训练好的导线识别子模型,对所述待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像;
将所述目标区域图像输入预先训练好的导线分割子模型,对所述目标区域图像中的导线进行检测,输出导线所在的目标区域图像对应的二值化图像。
3.根据权利要求1所述的导线缺陷检测方法,其特征在于,所述对所述二值化图像进行特征提取步骤之前,所述方法包括:
对所述二值化图像进行去噪操作。
4.根据权利要求1或3所述的导线缺陷检测方法,其特征在于,所述对所述二值化图像进行特征提取,包括:
采用滑动窗口遍历所述二值化图像中每根导线;
遍历每根导线的所有滑动窗口,并计算不同的滑动窗口的导线图像特征。
5.根据权利要求1或3所述的导线缺陷检测方法,其特征在于,所述对所述二值化图像进行特征提取,包括:
采用滑动窗口遍历所述二值化图像并对遍历到的每一个所述二值化图像进行背景过滤操作,得到过滤后的二值化图像;
采用基于方向梯度直方图的多尺度滑动窗口对所述过滤后的二值化图像进行导线特征提取。
6.根据权利要求1所述的导线缺陷检测方法,其特征在于,所述预设导线图像特征包括:导线信息熵和轴截面面积。
7.根据权利要求1所述的导线缺陷检测方法,其特征在于,所述导线检测模型通过下述步骤训练得到:
获取导线图像数据集;
利用旋转边界框对所述导线图像数据集中包含的导线图像中进行标注;
利用标注后的图像数据集对预设模型进行训练直至训练结果满足预设条件。
8.一种导线缺陷检测装置,其特征在于,包括:
第一获取模块,用于获取包含有导线的待检测图像;
第一输入模块,用于将所述待检测图像输入预先训练好的导线检测模型,对所述待检测图像中的导线进行识别和定位,输出导线所在的目标区域图像对应的二值化图像;
第一提取模块,用于对所述二值化图像进行特征提取;
第一比较模块,用于将提取到的特征与预设导线图像特征进行比较;
第一判定模块,用于若比较结果不一致则判定所述待检测图像中的导线存在缺陷。
9.一种计算机设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一项所述的导线缺陷检测方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的导线缺陷检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211198963.8A CN115457017A (zh) | 2022-09-29 | 2022-09-29 | 一种导线缺陷检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211198963.8A CN115457017A (zh) | 2022-09-29 | 2022-09-29 | 一种导线缺陷检测方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115457017A true CN115457017A (zh) | 2022-12-09 |
Family
ID=84307328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211198963.8A Pending CN115457017A (zh) | 2022-09-29 | 2022-09-29 | 一种导线缺陷检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115457017A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984268A (zh) * | 2023-03-20 | 2023-04-18 | 杭州百子尖科技股份有限公司 | 基于机器视觉的目标检测方法、装置、电子设备以及介质 |
CN116758040A (zh) * | 2023-06-26 | 2023-09-15 | 上海感图网络科技有限公司 | 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 |
-
2022
- 2022-09-29 CN CN202211198963.8A patent/CN115457017A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984268A (zh) * | 2023-03-20 | 2023-04-18 | 杭州百子尖科技股份有限公司 | 基于机器视觉的目标检测方法、装置、电子设备以及介质 |
CN116758040A (zh) * | 2023-06-26 | 2023-09-15 | 上海感图网络科技有限公司 | 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 |
CN116758040B (zh) * | 2023-06-26 | 2024-02-20 | 上海感图网络科技有限公司 | 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9552536B2 (en) | Image processing device, information storage device, and image processing method | |
JP5775225B2 (ja) | マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出 | |
CN111444921A (zh) | 划痕缺陷检测方法、装置、计算设备和存储介质 | |
CN115457017A (zh) | 一种导线缺陷检测方法、装置、计算机设备及存储介质 | |
KR101848019B1 (ko) | 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치 | |
EP3203417B1 (en) | Method for detecting texts included in an image and apparatus using the same | |
CN114581388A (zh) | 接触网零部件缺陷检测方法及装置 | |
CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
CN114937086B (zh) | 多图像目标检测的训练方法、检测方法及相关产品 | |
CN113610774A (zh) | 一种玻璃划痕缺陷检测方法、系统、装置及存储介质 | |
CN116030237A (zh) | 工业缺陷检测方法、装置及电子设备、存储介质 | |
CN108960247B (zh) | 图像显著性检测方法、装置以及电子设备 | |
CN114120138A (zh) | 一种遥感影像目标检测识别方法、装置、设备及介质 | |
CN111062347A (zh) | 一种自动驾驶中交通要素分割方法、电子设备及存储介质 | |
CN114283343A (zh) | 基于遥感卫星图像的地图更新方法、训练方法和设备 | |
CN114022865A (zh) | 基于车道线识别模型的图像处理方法、装置、设备和介质 | |
Sadique et al. | A comparative study of license plate detection and recognition techniques | |
CN112446231A (zh) | 一种人行横道检测方法、装置、计算机设备及存储介质 | |
CN116310316A (zh) | 一种基于交叉校验的电力架空导线检测方法 | |
CN115880228A (zh) | 多缺陷合并方法、装置、计算机设备及存储介质 | |
CN110580706A (zh) | 一种视频背景模型的提取方法及装置 | |
CN112614094B (zh) | 基于序列状态编码的绝缘子串异常定位识别方法 | |
CN111932515B (zh) | 产品残留类缺陷的短路检测方法及系统及缺陷分类系统 | |
CN114511862A (zh) | 表格识别方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |