CN117078689A - 一种基于机器视觉的线缆缺陷识别方法及系统 - Google Patents

一种基于机器视觉的线缆缺陷识别方法及系统 Download PDF

Info

Publication number
CN117078689A
CN117078689A CN202311342398.2A CN202311342398A CN117078689A CN 117078689 A CN117078689 A CN 117078689A CN 202311342398 A CN202311342398 A CN 202311342398A CN 117078689 A CN117078689 A CN 117078689A
Authority
CN
China
Prior art keywords
image
defect
result
defect detection
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311342398.2A
Other languages
English (en)
Other versions
CN117078689B (zh
Inventor
杨丽娜
杨立山
杨绪清
庄政曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Changsheng Electrical Equipment Technology Co ltd
Shenyang Hongyuan Magnet Wire Co ltd
Original Assignee
Shenyang Changsheng Electrical Equipment Technology Co ltd
Shenyang Hongyuan Magnet Wire Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Changsheng Electrical Equipment Technology Co ltd, Shenyang Hongyuan Magnet Wire Co ltd filed Critical Shenyang Changsheng Electrical Equipment Technology Co ltd
Priority to CN202311342398.2A priority Critical patent/CN117078689B/zh
Publication of CN117078689A publication Critical patent/CN117078689A/zh
Application granted granted Critical
Publication of CN117078689B publication Critical patent/CN117078689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于机器视觉的线缆缺陷识别方法及系统,涉及数据处理技术领域,该方法包括:根据第一视觉采集装置对目标线缆进行图像采集;对线缆图像集合进行分类,得到第一分类图像和第二分类图像;输入特征分离检测模型中,特征分离检测模型包括卷积分离层、采样传递层和回归输出层;输出基于第一分类图像的缺陷检测结果和基于第二分类图像的缺陷检测结果;输入混叠消除模型中进行处理,输出混叠消除后的第一缺陷定位结果和第二缺陷定位结果;根据第一缺陷定位结果和第二缺陷定位结果,输出缺陷指数等级。本发明解决了现有技术中存在线缆缺陷识别智能化程度低,识别准确度差的技术问题,达到了提高线缆识别效率,提升识别质量的技术效果。

Description

一种基于机器视觉的线缆缺陷识别方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于机器视觉的线缆缺陷识别方法及系统。
背景技术
随着各行各业对于线缆需求的增加,对于线缆质量的要求也在逐步提高。传统使用的对线缆进行缺陷识别的方法主要是依靠技术检测人员进行识别,不仅识别结果容易产生误差,而且识别的速度较低,识别结果的反馈周期较长。现有技术中存在线缆缺陷识别智能化程度低,识别准确度差的技术问题。
发明内容
本申请提供了一种基于机器视觉的线缆缺陷识别方法及系统,用于针对解决现有技术中存在线缆缺陷识别智能化程度低,识别准确度差的技术问题。
鉴于上述问题,本申请提供了一种基于机器视觉的线缆缺陷识别方法及系统。
本申请的第一个方面,提供了一种基于机器视觉的线缆缺陷识别方法,所述方法包括:
根据第一视觉采集装置对目标线缆进行图像采集,得到线缆图像集合;
对所述线缆图像集合进行分类,得到第一分类图像和第二分类图像,其中,所述第一分类图像包括所述目标线缆的表面缺陷检测图像,所述第二分类图像包括所述目标线缆的截面缺陷检测图像;
将所述第一分类图像和第二分类图像输入特征分离检测模型中,所述特征分离检测模型包括卷积分离层、采样传递层和回归输出层;
根据所述特征分离检测模型的所述卷积分离层、所述采样传递层和所述回归输出层,输出基于所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果;
将所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果,输入混叠消除模型中进行处理,输出混叠消除后的第一缺陷定位结果和第二缺陷定位结果;
根据所述第一缺陷定位结果和所述第二缺陷定位结果,输出缺陷指数等级。
本申请的第二个方面,提供了一种基于机器视觉的线缆缺陷识别系统,所述系统包括:
线缆图像获得模块,所述线缆图像获得模块用于根据第一视觉采集装置对目标线缆进行图像采集,得到线缆图像集合;
分类图像获得模块,所述分类图像获得模块用于对所述线缆图像集合进行分类,得到第一分类图像和第二分类图像,其中,所述第一分类图像包括所述目标线缆的表面缺陷检测图像,所述第二分类图像包括所述目标线缆的截面缺陷检测图像;
分类图像输入模块,所述分类图像输入模块用于将所述第一分类图像和第二分类图像输入特征分离检测模型中,所述特征分离检测模型包括卷积分离层、采样传递层和回归输出层;
缺陷检测结果输出模块,所述缺陷检测结果输出模块用于根据所述特征分离检测模型的所述卷积分离层、所述采样传递层和所述回归输出层,输出基于所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果;
缺陷定位结果输出模块,所述缺陷定位结果输出模块用于将所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果,输入混叠消除模型中进行处理,输出混叠消除后的第一缺陷定位结果和第二缺陷定位结果;
缺陷指数等级输出模块,所述缺陷指数等级输出模块用于根据所述第一缺陷定位结果和所述第二缺陷定位结果,输出缺陷指数等级。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请通过根据第一视觉采集装置对目标线缆进行图像采集,得到线缆图像集合,然后对线缆图像集合进行分类,得到第一分类图像和第二分类图像,其中,第一分类图像包括目标线缆的表面缺陷检测图像,第二分类图像包括目标线缆的截面缺陷检测图像,通过将第一分类图像和第二分类图像输入特征分离检测模型中,特征分离检测模型包括卷积分离层、采样传递层和回归输出层,然后根据特征分离检测模型的卷积分离层、采样传递层和回归输出层,输出基于第一分类图像的缺陷检测结果和基于第二分类图像的缺陷检测结果,然后将第一分类图像的缺陷检测结果和基于第二分类图像的缺陷检测结果,输入混叠消除模型中进行处理,输出混叠消除后的第一缺陷定位结果和第二缺陷定位结果,通过根据第一缺陷定位结果和第二缺陷定位结果,输出缺陷指数等级。达到了对线缆缺陷进行准确识别,并使用机器视觉技术从多维度对线缆缺陷进行可靠检测,提升识别效率的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于机器视觉的线缆缺陷识别方法流程示意图;
图2为本申请实施例提供的一种基于机器视觉的线缆缺陷识别方法中将分类回归结果作为第一分类图像的缺陷检测结果进行输出的流程示意图;
图3为本申请实施例提供的一种基于机器视觉的线缆缺陷识别方法中对N组重合缺陷检测结果进行混叠消除处理的流程示意图;
图4为本申请实施例提供的一种基于机器视觉的线缆缺陷识别系统结构示意图。
附图标记说明:线缆图像获得模块11,分类图像获得模块12,分类图像输入模块13,缺陷检测结果输出模块14,缺陷定位结果输出模块15,缺陷指数等级输出模块16。
具体实施方式
本申请通过提供了一种基于机器视觉的线缆缺陷识别方法及系统,用于针对解决现有技术中存在线缆缺陷识别智能化程度低,识别准确度差的技术问题。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
实施例一:如图1所示,本申请提供了一种基于机器视觉的线缆缺陷识别方法,其中,所述方法包括:
步骤S100:根据第一视觉采集装置对目标线缆进行图像采集,得到线缆图像集合;
步骤S200:对所述线缆图像集合进行分类,得到第一分类图像和第二分类图像,其中,所述第一分类图像包括所述目标线缆的表面缺陷检测图像,所述第二分类图像包括所述目标线缆的截面缺陷检测图像;
进一步的,本申请实施例步骤S100还包括:
步骤S110:根据所述目标线缆,确定图像采样点;
步骤S120:将所述图像采样点输入所述第一视觉采集装置的控制终端,对所述第一视觉采集装置进行转动控制,当控制所述第一视觉采集装置移动至所述图像采样点,获取第一初始图像;
步骤S130:根据所述第一初始图像对所述第一视觉采集装置进行标定,输出基于标定后的线缆图像。
在一个可能的实施例中,所述目标线缆是需要进行缺陷识别的任意电缆,在本申请中通过采用机器视觉的方式对目标线缆的缺陷进行快速稳定识别,实现提高识别的准确度和提升识别效率的目标。所述第一视觉采集装置是对目标线缆从全方位进行图像采集的设备,包括工业相机和光源等装置,优选的,对目标线缆的表面和截面进行图像采集,从而获得所述线缆图像集合。其中,所述线缆图像集合可以反映出目标线缆的表面和截面状态。
在本申请的实施例中,通过获取目标线缆的基础信息,包括目标线缆的直径、摆放角度和截面位置,从而确定使用第一视觉采集装置对目标线缆进行图像采集时的图像采样点。优选的,通过根据目标线缆的直径以及第一视觉采集装置中工业相机的采集范围,确定对目标线缆的表面进行图像采集的位置,将其设置为表面图像采样点。以及,通过根据摆放角度和截面位置确定对目标线缆的截面进行图像采集的位置,将其设置为截面图像采样点,根据表面图像采样点和截面图像采样点确定图像采样点。
具体而言,将所述图像采样点输入所述第一视觉采集装置的控制终端,根据图像采样点的位置基于所述控制终端对所述第一视觉采集装置进行转动控制,使第一视觉采集装置移动到图像采样点的位置,进行图像采集,从而获得第一初始图像。所述第一初始图像是根据目标线缆的基础信息确定的图像采样点采集到的图像,然后根据第一初始图像的图像质量对所述第一视觉采集装置的位置进行微调,从而使第一视觉采集装置可以输出高质量的线缆图像,也就是对所述第一视觉采集装置进行标定。进而,在标定后使用所述第一视觉采集装置对目标线缆进行图像采集,获得基于标定后的线缆图像。从而,实现了获得目标线缆高质量的图像,为后续缺陷识别提供可靠的基础分析图像的目标。
在一个可能的实施例中,通过以线缆图像集合中图像的检测对象,也就是目标线缆的表面还是截面为索引,对线缆图像集合进行二分类,获得第一分类图像和第二分类图像。其中,所述第一分类图像包括目标线缆的表面缺陷检测图像,所述第二分类图像包括目标线缆的截面缺陷检测图像。由此,实现了对基础分析图像进行划分降维,提高分析的准确性和效率的目标。
步骤S300:将所述第一分类图像和第二分类图像输入特征分离检测模型中,所述特征分离检测模型包括卷积分离层、采样传递层和回归输出层;
步骤S400:根据所述特征分离检测模型的所述卷积分离层、所述采样传递层和所述回归输出层,输出基于所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果;
进一步的,如图2所示,本申请实施例步骤S400还包括:
步骤S410:当所述特征分离检测模型的所述卷积分离层接收所根据所述特征分离检测模型的所述卷积分离层、所述采样传递层和所述回归输出层,输出基于所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果述第一分类图像,对所述第一分类图像进行卷积降维处理,输出基于所述第一分类图像的多层尺度变换结果;
步骤S420:将所述多层尺度变换结果输入至所述采样传递层中进行最近邻采样,并对每一层获取的特征进行传递,得到所述采样传递层输出的特征传递结果;
步骤S430:将所述特征传递结果输入所述回归输出层进行分类回归,得到分类回归结果,其中,所述分类回归结果包括缺陷分类结果;
步骤S440:将所述分类回归结果作为所述第一分类图像的缺陷检测结果进行输出。
进一步的,所述采样传递层接收所述多层尺度变换结果,将所述多层尺度变换结果中每一层的尺度变化结果与上一层的尺度变换结果进行融合,本申请实施例步骤S400还包括:
步骤S450:将第二层尺度变换结果得到的特征与第一层采样得到的特征图进行融合,得到第一近邻融合结果,以所述第一近邻融合结果作为所述第二层尺度变换结果的特征图,以此类推,输出基于底层尺度变换结果的特征传递结果。
在一个可能的实施例中,所述特征分离检测模型是用于对第一分类图像和第二分类图像中的特征进行分析提取,进而对目标线缆的缺陷进行智能化识别的功能模型,包括卷积分离层、采样传递层和回归输出层。所述卷积分离层用于对输入其中的图像进行降维处理的网络层,输入数据为第一分类图像时,输出基于第一分类图像的多层尺度变换结果;输入数据为第二分类图像时,输出固定变换尺度。优选的,在所述卷积分离层接收到分类图像后,先进行1*1的卷积降维,从而对图像进行降维。示例性的,1*1卷积降维是当输入为6x6x32时,1x1卷积的形式是1x1x32,只有一个1x1卷积核时,此时输出为6x6x1。从而减少需要分析的数据量。
在本申请的实施例中,所述多层尺度变换结果也就是使用所述卷积分离层对第一分类图像进行多层尺度变换,也就是通过不同大小的坐标缩放对第一分类图像进行卷积后获得的结果。由于第一分类图像包括目标线缆的表面缺陷检测图像,而目标线缆的表面通常为曲面,从所述第一视觉采集装置至所述目标线缆表面不同曲面的距离不同,因此,需要进行多层尺度变换,每层尺度变换的尺度不同。高层特征中包含了丰富的语义信息,通过将多层尺度变换结果输入采样传递层中进行最近邻采样,从而对每一层获取的特征进行传递,将高层特征中包含的语义信息传播到低层特征中,使低层特征也能够包含丰富的语义信息。
具体而言,所述采样传递层是对高层特征中包含的语义信息传递到低层特征中的网络层,在接收所述多层尺度变换结果的过程中,将所述多层尺度变换结果中每一层的尺度变化结果与上一层的尺度变化结果进行融合,也就是说,经过第一层尺度变换结果获得的特征生成第一层采样得到的能够反映目标线缆图像特征的特征图,从而将其与第二层尺度变换结果获得的特征进行融合,获得第一近邻融合结果。示例性的,第一层采样得到的特征图中存在线缆表面有一个纹理不均匀的区域特征,第二层尺度变换结果中获得的特征中存在2*2cm2的区域,经过融合后,获得的第一近邻融合结果为目标线缆存在一个2*2cm2的纹理不均匀区域。从而通过层层融合获得基于底层尺度变换结果的特征传递结果,获得能够反映目标线缆的表面缺陷特征的特征传递结果。
具体而言,所述回归输出层是用于对接收到的特征传递结果按照缺陷类别进行划分,如麻皮、裂纹、粒子、碳化物等缺陷类别对所述特征传递结果进行划分,从而获得所述分类回归结果,其中,分类回归结果包括缺陷分类结果。优选的,通过获得历史第一分类图像对应的历史特征传递结果和历史缺陷分类结果之间的映射关系,基于所述映射关系构建所述回归输出层。通过将特征传递结果输入所述回归输出层中,获得所述分类回归结果。进而,将所述分类回归结果作为所述第一分类图像的缺陷检测结果。
进一步的,本申请实施例步骤S400还包括:
步骤S460:当所述特征分离检测模型的所述卷积分离层接收所述第二分类图像,获取所述第二分类图像的像素距离,其中,所述像素距离为所述第一视觉采集装置与所述第二分类图像目标的空间像素距离;
步骤S470:以所述第二分类图像的像素距离作为卷积分离层的约束条件,得到固定变换尺度;
步骤S480:将所述固定变换尺度输入所述采样传递层中进行融合,得到所述采样传递层输出的特征传递结果。
在一个可能得实施例中,当所述特征分离检测的所述卷积分离层接收到第二分类图像后,获得第一视觉采集装置与所述第二分类图像目标的空间像素距离,将其设定为所述第二分类图像的像素距离。优选的,由于第二分类图像包括所述目标线缆的截面缺陷检测图像,而截面是一个平面,因此在卷积分离层的卷积变换中,变换尺度是固定的。在进行变换尺度的确定时,通过将第二分类图像的像素距离作为卷积分离层的约束条件,使设定的固定变换尺度在所述像素距离内。所述固定变换尺度是卷积分离层对第二分类图像进行卷积处理时的尺寸坐标变换范围,由工作人员自行设定,在此不做限制。通过将所述固定变换尺度输入所述采样传递层中进行特征融合,从而获得输出的特征传递结果。
步骤S500:将所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果,输入混叠消除模型中进行处理,输出混叠消除后的第一缺陷定位结果和第二缺陷定位结果;
进一步的,将所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果,输入混叠消除模型中进行处理,本申请实施例步骤S500还包括:
步骤S510:根据混叠消除模型中对所述第一分类图像的缺陷检测结果和所述第二分类图像的缺陷检测结果进行重复识别,得到N组重合缺陷检测结果,
其中,所述重合缺陷检测结果为所述目标线缆表征同一缺陷的检测结果,且每组重合缺陷检测结果中的图像所属不同类别,N为大于等于0的正整数;
步骤S520:对N组所述重合缺陷检测结果进行混叠消除处理,得到N个缺陷检测结果。
进一步的,如图3所示,对N组所述重合缺陷检测结果进行混叠消除处理,本申请实施例步骤S500还包括:
步骤S530:对N组所述重合缺陷检测结果中每组重合缺陷检测结果进行比对,得到缺陷检测数据质量、缺陷检测数据准确性以及缺陷检测数据清晰度;
步骤S540:以缺陷检测数据质量、缺陷检测数据准确性以及缺陷检测数据清晰度进行检测比对,获取N组第一消除检测结果;
步骤S550:根据N组所述第一消除检测结果对N组所述重合缺陷检测结果进行混叠消除处理。
在一个实施例中,所述混叠消除模型是对重合缺陷检测结果中的质量、准确性和清晰度不能满足要求的检测结果进行混合汇总,然后智能化消除的功能模型。通过使用所述混叠消除模型对所述第一分类图像的缺陷检测结果和所述第二分类图像的缺陷检测结果中重复的对同一缺陷进行检测的结果进行识别。所述重合缺陷检测结果为所述目标线缆表征同一缺陷的检测结果,且每组重合缺陷检测结果中的图像所属不同类别。
优选的,通过获取多个历史第一分类图像的缺陷检测结果、多个历史第二分类图像的缺陷检测结果和对应的M组历史重合缺陷检测结果,将其作为历史数据集,按照一定的划分比例对历史数据集进行划分,优选的,划分比例为6:2:2,获得训练集、验证集和测试集。使用所述训练集对基于卷积神经网络的混叠消除模型进行监督训练,直至训练至收敛。并将验证集中的多个历史第一分类图像的缺陷检测结果、多个历史第二分类图像的缺陷检测结果输入收敛的混叠消除模型中,获得多组验证历史重合缺陷检测结果,将其与验证集中的多组历史重合缺陷检测结果进行比对,将比对成功率作为准确度,判断是否符合预设准确度阈值,若符合,则验证通过。进而,通过测试集对混叠消除模型进行输出速度测试,判断是否满足预设输出速度阈值,若满足,则获得所述混叠消除模型。
在本申请的实施例中,通过利用所述混叠消除模型对接收的所述第一分类图像的缺陷检测结果和所述第二分类图像的缺陷检测结果进行重复识别,获得N组重合缺陷检测结果。通过对N组重合缺陷检测结果中每一组的重合缺陷检测进行比对,从数据质量、数据准确性和数据清晰度三个维度进行检测比对,并按照预设权重对三个维度的比对结果进行加权,根据加权计算结果判断添加进N组第一消除检测结果中的缺陷检测结果,也就是说将数据不够的缺陷检测结果添加进所述N组第一消除检测结果中。以N组第一消除检测结果与N组重合缺陷检测结果进行匹配,将匹配成功的缺陷检测结果进行剔除,从而对N组所述重合缺陷检测结果进行混叠消除处理。
在本申请的实施例中,通过经过所述混叠消除模型处理后的第一分类图像的缺陷检测结果和所述第二分类图像的缺陷检测结果中的检测出来的缺陷位置,确定所述第一缺陷定位和第二缺陷定位。其中,所述第一缺陷定位是对线缆表面中存在的缺陷位置进行确定后得到的位置。所述第二缺陷定位是对线缆截面中存在的缺陷位置进行确定后得到的位置。
步骤S600:根据所述第一缺陷定位结果和所述第二缺陷定位结果,输出缺陷指数等级。
在一个可能的实施例中,通过根据所述第一缺陷定位结果和所述第二缺陷定位结果确定缺陷位置和缺陷数量。所述缺陷指数等级是对目标线缆中的缺陷程度进行量化计算后获得的结果,优选的,通过根据预设权重,对确定的缺陷位置的重要程度和缺陷数量进行加权计算,从而获得所述缺陷指数等级。
综上所述,本申请实施例至少具有如下技术效果:
本申请通过采用视觉采集装置对目标线缆对应的图像进行采集,从而实现获得线缆缺陷识别的基础分析图像的目标,然后从目标线缆表面和目标线缆截面两个维度对获得的线缆图像集合进行划分,从而实现了对线缆进行不同角度缺陷识别的目标,然后利用智能化的特征分离检测模型,其中,特征分离检测模型中包括卷积分离层、采样传递层和回归输出层,每个网络层具有不同的功能,实现了对目标线缆缺陷进行智能化识别分析的目标,获得缺陷检测结果,然后利用混叠消除模型对缺陷检测结果进行混叠消除,从而获得第一缺陷定位结果和第二缺陷定位结果,获得缺陷指数等级。达到了对目标线缆的缺陷进行智能化识别,提高识别的准确度和效率的技术效果。
实施例二:基于与前述实施例中一种基于机器视觉的线缆缺陷识别方法相同的发明构思,如图4所示,本申请提供了一种基于机器视觉的线缆缺陷识别系统,本申请实施例中的系统与方法实施例基于同样的发明构思。其中,所述系统包括:
线缆图像获得模块11,所述线缆图像获得模块11用于根据第一视觉采集装置对目标线缆进行图像采集,得到线缆图像集合;
分类图像获得模块12,所述分类图像获得模块12用于对所述线缆图像集合进行分类,得到第一分类图像和第二分类图像,其中,所述第一分类图像包括所述目标线缆的表面缺陷检测图像,所述第二分类图像包括所述目标线缆的截面缺陷检测图像;
分类图像输入模块13,所述分类图像输入模块13用于将所述第一分类图像和第二分类图像输入特征分离检测模型中,所述特征分离检测模型包括卷积分离层、采样传递层和回归输出层;
缺陷检测结果输出模块14,所述缺陷检测结果输出模块14用于根据所述特征分离检测模型的所述卷积分离层、所述采样传递层和所述回归输出层,输出基于所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果;
缺陷定位结果输出模块15,所述缺陷定位结果输出模块15用于将所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果,输入混叠消除模型中进行处理,输出混叠消除后的第一缺陷定位结果和第二缺陷定位结果;
缺陷指数等级输出模块16,所述缺陷指数等级输出模块16用于根据所述第一缺陷定位结果和所述第二缺陷定位结果,输出缺陷指数等级。
进一步的,所述系统还包括:
尺度变换结果输出单元,所述尺度变换结果输出单元用于当所述特征分离检测模型的所述卷积分离层接收所述第一分类图像,对所述第一分类图像进行卷积降维处理,输出基于所述第一分类图像的多层尺度变换结果;
特征传递结果获得单元,所述特征传递结果获得单元用于将所述多层尺度变换结果输入至所述采样传递层中进行最近邻采样,并对每一层获取的特征进行传递,得到所述采样传递层输出的特征传递结果;
分类回归结果获得单元,所述分类回归结果获得单元用于将所述特征传递结果输入所述回归输出层进行分类回归,得到分类回归结果,其中,所述分类回归结果包括缺陷分类结果;
缺陷检测结果设定单元,所述缺陷检测结果设定单元用于将所述分类回归结果作为所述第一分类图像的缺陷检测结果进行输出。
进一步的,所述系统还包括:
传递结果输出单元,所述传递结果输出单元用于将第二层尺度变换结果得到的特征与第一层采样得到的特征图进行融合,得到第一近邻融合结果,以所述第一近邻融合结果作为所述第二层尺度变换结果的特征图,以此类推,输出基于底层尺度变换结果的特征传递结果。
进一步的,所述系统还包括:
像素距离获得单元,所述像素距离获得单元用于当所述特征分离检测模型的所述卷积分离层接收所述第二分类图像,获取所述第二分类图像的像素距离,其中,所述像素距离为所述第一视觉采集装置与所述第二分类图像目标的空间像素距离;
变换尺度获得单元,所述变换尺度获得单元用于以所述第二分类图像的像素距离作为卷积分离层的约束条件,得到固定变换尺度;
传递结果获得单元,所述传递结果获得单元用于将所述固定变换尺度输入所述采样传递层中进行融合,得到所述采样传递层输出的特征传递结果。
进一步的,所述系统还包括:
重复识别单元,所述重复识别单元用于根据混叠消除模型中对所述第一分类图像的缺陷检测结果和所述第二分类图像的缺陷检测结果进行重复识别,得到N组重合缺陷检测结果,
其中,所述重合缺陷检测结果为所述目标线缆表征同一缺陷的检测结果,且每组重合缺陷检测结果中的图像所属不同类别,N为大于等于0的正整数;
N个缺陷检测结果获得单元,所述N个缺陷检测结果获得单元用于对N组所述重合缺陷检测结果进行混叠消除处理,得到N个缺陷检测结果。
进一步的,所述系统还包括:
数据清晰度获得单元,所述数据清晰度获得单元用于对N组所述重合缺陷检测结果中每组重合缺陷检测结果进行比对,得到缺陷检测数据质量、缺陷检测数据准确性以及缺陷检测数据清晰度;
消除检测结果获得单元,所述消除检测结果获得单元用于以缺陷检测数据质量、缺陷检测数据准确性以及缺陷检测数据清晰度进行检测比对,获取N组第一消除检测结果;
混叠消除处理单元,所述混叠消除处理单元用于根据N组所述第一消除检测结果对N组所述重合缺陷检测结果进行混叠消除处理。
进一步的,所述系统还包括:
图像采样点确定单元,所述图像采样点确定单元用于根据所述目标线缆,确定图像采样点;
第一初始图像获得单元,所述第一初始图像获得单元用于将所述图像采样点输入所述第一视觉采集装置的控制终端,对所述第一视觉采集装置进行转动控制,当控制所述第一视觉采集装置移动至所述图像采样点,获取第一初始图像;
线缆图像输出单元,所述线缆图像输出单元用于根据所述第一初始图像对所述第一视觉采集装置进行标定,输出基于标定后的线缆图像。
需要说明的是,上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
本说明书和附图仅仅是本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。

Claims (8)

1.一种基于机器视觉的线缆缺陷识别方法,其特征在于,所述方法包括:
根据第一视觉采集装置对目标线缆进行图像采集,得到线缆图像集合;
对所述线缆图像集合进行分类,得到第一分类图像和第二分类图像,其中,所述第一分类图像包括所述目标线缆的表面缺陷检测图像,所述第二分类图像包括所述目标线缆的截面缺陷检测图像;
将所述第一分类图像和第二分类图像输入特征分离检测模型中,所述特征分离检测模型包括卷积分离层、采样传递层和回归输出层;
根据所述特征分离检测模型的所述卷积分离层、所述采样传递层和所述回归输出层,输出基于所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果;
将所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果,输入混叠消除模型中进行处理,输出混叠消除后的第一缺陷定位结果和第二缺陷定位结果;
根据所述第一缺陷定位结果和所述第二缺陷定位结果,输出缺陷指数等级。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
当所述特征分离检测模型的所述卷积分离层接收所述第一分类图像,对所述第一分类图像进行卷积降维处理,输出基于所述第一分类图像的多层尺度变换结果;
将所述多层尺度变换结果输入至所述采样传递层中进行最近邻采样,并对每一层获取的特征进行传递,得到所述采样传递层输出的特征传递结果;
将所述特征传递结果输入所述回归输出层进行分类回归,得到分类回归结果,其中,所述分类回归结果包括缺陷分类结果;
将所述分类回归结果作为所述第一分类图像的缺陷检测结果进行输出。
3.如权利要求2所述的方法,其特征在于,所述采样传递层接收所述多层尺度变换结果,将所述多层尺度变换结果中每一层的尺度变化结果与上一层的尺度变换结果进行融合,包括:
将第二层尺度变换结果得到的特征与第一层采样得到的特征图进行融合,得到第一近邻融合结果,以所述第一近邻融合结果作为所述第二层尺度变换结果的特征图,以此类推,输出基于底层尺度变换结果的特征传递结果。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
当所述特征分离检测模型的所述卷积分离层接收所述第二分类图像,获取所述第二分类图像的像素距离,其中,所述像素距离为所述第一视觉采集装置与所述第二分类图像目标的空间像素距离;
以所述第二分类图像的像素距离作为卷积分离层的约束条件,得到固定变换尺度;
将所述固定变换尺度输入所述采样传递层中进行融合,得到所述采样传递层输出的特征传递结果。
5.如权利要求1所述的方法,其特征在于,将所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果,输入混叠消除模型中进行处理,方法包括:
根据混叠消除模型中对所述第一分类图像的缺陷检测结果和所述第二分类图像的缺陷检测结果进行重复识别,得到N组重合缺陷检测结果,
其中,所述重合缺陷检测结果为所述目标线缆表征同一缺陷的检测结果,且每组重合缺陷检测结果中的图像所属不同类别,N为大于等于0的正整数;
对N组所述重合缺陷检测结果进行混叠消除处理,得到N个缺陷检测结果。
6.如权利要求5所述的方法,其特征在于,对N组所述重合缺陷检测结果进行混叠消除处理,方法包括:
对N组所述重合缺陷检测结果中每组重合缺陷检测结果进行比对,得到缺陷检测数据质量、缺陷检测数据准确性以及缺陷检测数据清晰度;
以缺陷检测数据质量、缺陷检测数据准确性以及缺陷检测数据清晰度进行检测比对,获取N组第一消除检测结果;
根据N组所述第一消除检测结果对N组所述重合缺陷检测结果进行混叠消除处理。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述目标线缆,确定图像采样点;
将所述图像采样点输入所述第一视觉采集装置的控制终端,对所述第一视觉采集装置进行转动控制,当控制所述第一视觉采集装置移动至所述图像采样点,获取第一初始图像;
根据所述第一初始图像对所述第一视觉采集装置进行标定,输出基于标定后的线缆图像。
8.一种基于机器视觉的线缆缺陷识别系统,其特征在于,所述系统包括:
线缆图像获得模块,所述线缆图像获得模块用于根据第一视觉采集装置对目标线缆进行图像采集,得到线缆图像集合;
分类图像获得模块,所述分类图像获得模块用于对所述线缆图像集合进行分类,得到第一分类图像和第二分类图像,其中,所述第一分类图像包括所述目标线缆的表面缺陷检测图像,所述第二分类图像包括所述目标线缆的截面缺陷检测图像;
分类图像输入模块,所述分类图像输入模块用于将所述第一分类图像和第二分类图像输入特征分离检测模型中,所述特征分离检测模型包括卷积分离层、采样传递层和回归输出层;
缺陷检测结果输出模块,所述缺陷检测结果输出模块用于根据所述特征分离检测模型的所述卷积分离层、所述采样传递层和所述回归输出层,输出基于所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果;
缺陷定位结果输出模块,所述缺陷定位结果输出模块用于将所述第一分类图像的缺陷检测结果和基于所述第二分类图像的缺陷检测结果,输入混叠消除模型中进行处理,输出混叠消除后的第一缺陷定位结果和第二缺陷定位结果;
缺陷指数等级输出模块,所述缺陷指数等级输出模块用于根据所述第一缺陷定位结果和所述第二缺陷定位结果,输出缺陷指数等级。
CN202311342398.2A 2023-10-17 2023-10-17 一种基于机器视觉的线缆缺陷识别方法及系统 Active CN117078689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311342398.2A CN117078689B (zh) 2023-10-17 2023-10-17 一种基于机器视觉的线缆缺陷识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311342398.2A CN117078689B (zh) 2023-10-17 2023-10-17 一种基于机器视觉的线缆缺陷识别方法及系统

Publications (2)

Publication Number Publication Date
CN117078689A true CN117078689A (zh) 2023-11-17
CN117078689B CN117078689B (zh) 2024-01-30

Family

ID=88717675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311342398.2A Active CN117078689B (zh) 2023-10-17 2023-10-17 一种基于机器视觉的线缆缺陷识别方法及系统

Country Status (1)

Country Link
CN (1) CN117078689B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993094A (zh) * 2019-03-26 2019-07-09 苏州富莱智能科技有限公司 基于机器视觉的材料缺陷智能检测系统及方法
CN111797890A (zh) * 2020-05-18 2020-10-20 中国电力科学研究院有限公司 一种用于检测输电线路设备缺陷的方法及系统
CN113610822A (zh) * 2021-08-13 2021-11-05 湖南大学 一种基于多尺度信息融合的表面缺陷检测方法
CN113838044A (zh) * 2021-09-30 2021-12-24 江西省通讯终端产业技术研究院有限公司 基于机器视觉的面板缺陷检测方法及系统
WO2022036953A1 (zh) * 2020-08-19 2022-02-24 上海商汤智能科技有限公司 缺陷检测方法和相关装置、设备、存储介质、计算机程序产品
CN114119526A (zh) * 2021-11-19 2022-03-01 江南大学 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法
CN114170230A (zh) * 2022-02-14 2022-03-11 清华大学 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置
CN114677338A (zh) * 2022-03-11 2022-06-28 河海大学 一种基于机器视觉的线缆表面缺陷实时检测方法和系统
CN114998183A (zh) * 2022-01-21 2022-09-02 重庆新久融科技有限公司 一种循环再生铝合金模板表面缺陷识别方法
CN115272330A (zh) * 2022-09-28 2022-11-01 深圳先进技术研究院 基于电池表面图像的缺陷检测方法、系统及相关设备
KR20220167826A (ko) * 2021-06-14 2022-12-22 크레플 주식회사 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템
CN116071315A (zh) * 2022-12-31 2023-05-05 聚光科技(杭州)股份有限公司 一种基于机器视觉的产品可视缺陷检测方法及系统
CN116400166A (zh) * 2023-03-27 2023-07-07 广西电网有限责任公司电力科学研究院 一种基于ewt的频域电力电缆缺陷检测方法
CN116563641A (zh) * 2023-05-30 2023-08-08 江西软件职业技术大学 一种基于小目标检测的表面缺陷识别方法及系统
WO2023155069A1 (zh) * 2022-02-16 2023-08-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的手机电池表面缺陷检测方法
CN116739963A (zh) * 2023-01-18 2023-09-12 中国电力科学研究院有限公司 一种基于多层级多尺度特征融合的电网设备缺陷检测方法
WO2023173598A1 (zh) * 2022-03-15 2023-09-21 中国华能集团清洁能源技术研究院有限公司 基于改进ssd模型的风机叶片缺陷检测方法及系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993094A (zh) * 2019-03-26 2019-07-09 苏州富莱智能科技有限公司 基于机器视觉的材料缺陷智能检测系统及方法
CN111797890A (zh) * 2020-05-18 2020-10-20 中国电力科学研究院有限公司 一种用于检测输电线路设备缺陷的方法及系统
WO2022036953A1 (zh) * 2020-08-19 2022-02-24 上海商汤智能科技有限公司 缺陷检测方法和相关装置、设备、存储介质、计算机程序产品
KR20220167826A (ko) * 2021-06-14 2022-12-22 크레플 주식회사 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템
CN113610822A (zh) * 2021-08-13 2021-11-05 湖南大学 一种基于多尺度信息融合的表面缺陷检测方法
CN113838044A (zh) * 2021-09-30 2021-12-24 江西省通讯终端产业技术研究院有限公司 基于机器视觉的面板缺陷检测方法及系统
CN114119526A (zh) * 2021-11-19 2022-03-01 江南大学 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法
CN114998183A (zh) * 2022-01-21 2022-09-02 重庆新久融科技有限公司 一种循环再生铝合金模板表面缺陷识别方法
CN114170230A (zh) * 2022-02-14 2022-03-11 清华大学 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置
WO2023155069A1 (zh) * 2022-02-16 2023-08-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的手机电池表面缺陷检测方法
CN114677338A (zh) * 2022-03-11 2022-06-28 河海大学 一种基于机器视觉的线缆表面缺陷实时检测方法和系统
WO2023173598A1 (zh) * 2022-03-15 2023-09-21 中国华能集团清洁能源技术研究院有限公司 基于改进ssd模型的风机叶片缺陷检测方法及系统
CN115272330A (zh) * 2022-09-28 2022-11-01 深圳先进技术研究院 基于电池表面图像的缺陷检测方法、系统及相关设备
CN116071315A (zh) * 2022-12-31 2023-05-05 聚光科技(杭州)股份有限公司 一种基于机器视觉的产品可视缺陷检测方法及系统
CN116739963A (zh) * 2023-01-18 2023-09-12 中国电力科学研究院有限公司 一种基于多层级多尺度特征融合的电网设备缺陷检测方法
CN116400166A (zh) * 2023-03-27 2023-07-07 广西电网有限责任公司电力科学研究院 一种基于ewt的频域电力电缆缺陷检测方法
CN116563641A (zh) * 2023-05-30 2023-08-08 江西软件职业技术大学 一种基于小目标检测的表面缺陷识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XINYUAN HUANG 等: "Surface damage detection for steel wire ropes using deep learning and computer vision techniques", 《ELSEVIER》 *
刘城: "基于机器视觉的高压电缆开线缺陷检测研究", 《硕士电子期刊》, no. 8 *
张之江 等: "基于改进YOLOv5的表面缺陷检测方法", 《控制工程》 *

Also Published As

Publication number Publication date
CN117078689B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN106504248B (zh) 基于计算机视觉的车辆损伤判别方法
CN111079640A (zh) 一种基于自动扩增样本的车型识别方法及系统
CN109389105B (zh) 一种基于多任务的虹膜检测和视角分类方法
CN112183166A (zh) 确定训练样本的方法、装置和电子设备
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN110910363A (zh) 基于机器视觉和深度学习的虚焊检测方法、系统及介质
CN111079847A (zh) 一种基于深度学习的遥感影像自动标注方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN112232375B (zh) 一种基于证据理论的未知类型目标识别方法
CN111340116A (zh) 一种转炉火焰识别方法、系统、电子设备及介质
Kovilpillai et al. An optimized deep learning approach to detect and classify defective tiles in production line for efficient industrial quality control
CN117078689B (zh) 一种基于机器视觉的线缆缺陷识别方法及系统
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
CN111460909A (zh) 基于视觉的货位管理方法和装置
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
CN115018910A (zh) 点云数据中目标的检测方法、装置和计算机可读存储介质
CN114898362A (zh) 一种基于神经网络的菌子图像分类方法
CN112348040B (zh) 模型训练方法、装置及设备
CN116109080B (zh) 一种基于bim与ar的建筑综合管理平台
CN115103441B (zh) 一种基于先验知识和迁移学习的定位方法
CN114925387B (zh) 基于端边云架构的分拣系统、方法、及可读存储介质
CN114419451B (zh) 电梯内外识别方法、装置、电子设备及存储介质
CN115496931B (zh) 一种工业机器人健康监测方法及系统
CN113239922B (zh) 一种虚拟现实空间定位特征点识别系统及识别方法
Hu et al. Fast-Speed Image Recognition System on Retail Commodity Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant