CN116645351A - 一种复杂场景的缺陷在线检测方法及系统 - Google Patents

一种复杂场景的缺陷在线检测方法及系统 Download PDF

Info

Publication number
CN116645351A
CN116645351A CN202310624058.2A CN202310624058A CN116645351A CN 116645351 A CN116645351 A CN 116645351A CN 202310624058 A CN202310624058 A CN 202310624058A CN 116645351 A CN116645351 A CN 116645351A
Authority
CN
China
Prior art keywords
image
matrix
super
pixel
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310624058.2A
Other languages
English (en)
Inventor
徐梦溪
韩磊
施建强
郑胜男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202310624058.2A priority Critical patent/CN116645351A/zh
Publication of CN116645351A publication Critical patent/CN116645351A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种复杂场景的缺陷在线检测方法及系统，涉及缺陷检测技术领域，该方法包括：启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像；对所述第一目标图像进行超像素分割，获取第一分割结果，所述第一分割结果包括N个超像素图像；对所述N个超像素图像进行特征提取，获取图像特征矩阵；将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像；通过预设优化方案对所述目标缺陷图像进行图像优化，得到在线检测结果，解决了现有技术中存在对于图像的处理效果不佳，进而导致缺陷检测效果不佳的技术问题，达到降低环境对缺陷检测的影响度，提升缺陷检测效果的技术效果。

Description

一种复杂场景的缺陷在线检测方法及系统
技术领域
本发明涉及缺陷检测技术领域，具体涉及一种复杂场景的缺陷在线检测方法及系统。
背景技术
缺陷检测是进行日常设备维护的重要手段，及时发现表面缺陷能够有效延长设备的使用寿命，随着机器视觉技术的发展，对于背景单一、环境简单下的缺陷检测效果较好，可以准确、有效检测出表面缺陷。但是对于复杂场景下的表面缺陷检测，由于检测环境的复杂，导致获取的图像不够清晰，且含有阴影等干扰因素，增加了缺陷检测的难度。
综上，现有技术中存在由于对复杂场景下的图像采集过程设置不合理，且对于图像的处理效果不佳，进而导致缺陷检测效果不佳的技术问题。
发明内容
本发明提供了一种复杂场景的缺陷在线检测方法及系统，用以解决现有技术中存在由于对复杂场景下的图像采集过程设置不合理，且对于图像的处理效果不佳，进而导致缺陷检测效果不佳的技术问题。
根据本发明的第一方面，提供了一种复杂场景的缺陷在线检测方法，包括：启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像，其中，所述第一光学检测仪器包括多个光束发射源和多个摄像头；对所述第一目标图像进行超像素分割，获取第一分割结果，所述第一分割结果包括N个超像素图像，N是大于0的整数；对所述N个超像素图像进行特征提取，获取图像特征矩阵；将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像；通过预设优化方案对所述目标缺陷图像进行图像优化，得到在线检测结果。
根据本发明的第二方面，提供了一种复杂场景的缺陷在线检测系统，包括：图像采集模块，所述图像采集模块用于启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像，其中，所述第一光学检测仪器包括多个光束发射源和多个摄像头；超像素分割模块，所述超像素分割模块用于对所述第一目标图像进行超像素分割，获取第一分割结果，所述第一分割结果包括N个超像素图像，N是大于0的整数；特征提取模块，所述特征提取模块用于对所述N个超像素图像进行特征提取，获取图像特征矩阵；缺陷检测模块，所述缺陷检测模块用于将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像；图像优化模块，所述图像优化模块用于通过预设优化方案对所述目标缺陷图像进行图像优化，得到在线检测结果。
根据本发明采用的一种复杂场景的缺陷在线检测方法，本发明启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像，其中，所述第一光学检测仪器包括多个光束发射源和多个摄像头，对所述第一目标图像进行超像素分割，获取第一分割结果，所述第一分割结果包括N个超像素图像，N是大于0的整数，对所述N个超像素图像进行特征提取，获取图像特征矩阵，将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像，通过预设优化方案对所述目标缺陷图像进行图像优化，得到在线检测结果，达到降低环境对缺陷检测的影响度，提升缺陷检测效果的技术效果。应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种复杂场景的缺陷在线检测方法的流程示意图；
图2为本发明实施例中获取第一目标图像的流程示意图；
图3为本发明实施例中获取图像特征矩阵的流程示意图；
图4为本发明实施例提供的一种复杂场景的缺陷在线检测系统的结构示意图。
附图标记说明：图像采集模块11，超像素分割模块12，特征提取模块13，缺陷检测模块14，图像优化模块15。
具体实施方式
以下结合附图对本发明的示范性实施例作出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了解决现有技术中存在由于对复杂场景下的图像采集过程设置不合理，且对于图像的处理效果不佳，进而导致缺陷检测效果不佳的技术问题，本发明的发明人经过创造性的劳动，得到了本发明的一种复杂场景的缺陷在线检测方法及系统。
实施例一
图1为本发明实施例提供的一种复杂场景的缺陷在线检测方法图，如图1所示，所述方法包括：
步骤S100：启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像，其中，所述第一光学检测仪器包括多个光束发射源和多个摄像头；
其中，如图2所示，本发明实施例步骤S100包括：
步骤S110：对所述第一待检目标进行实时光线强度信息采集；
步骤S120：获取所述第一待检目标的表面材料信息，根据所述表面材料信息进行光照反射性分析，获得光照反射强度系数；
步骤130：获取所述第一待检目标的尺寸信息；
步骤S40：根据所述实时光线强度信息、所述光照反射强度系数、所述尺寸信息对所述多个光束发射源和所述多个摄像头进行图像采集方案的确定；
步骤150：根据所述图像采集方案控制所述第一光学检测仪器进行图像数据采集，获取所述第一目标图像。
其中，本发明实施例步骤S140包括：
步骤S141：根据所述实时光线强度信息、所述光照反射强度系数对所述多个光束发射源进行光源强度和光源分布分析；
步骤S142：以图像阴影度作为目标函数，对所述光源强度分析结果和光源分布分析结果进行优化，获得优化后的光源强度信息和光源分布信息；
步骤S143：根据所述尺寸信息确定所述第一光学检测仪器的移动方向和移动速度；
步骤S144：以所述光源强度信息、所述光源分布信息、所述移动方向和移动速度组成所述图像采集方案。
具体而言，本实施例提供的一种复杂场景的缺陷在线检测方法可用于辅助进行日常设备的维护。复杂场景下光线较暗，如果直接进行图像采集，会导致采集到的图像模糊不清，无法提取出有用信息，进而导致缺陷检测效果较差，因此，需要通过第一光学检测仪器对第一待检目标进行图像数据采集，第一待检目标即为待进行缺陷检测的管道、零件等金属或者非金属类的物体，第一光学检测仪器是用于进行图像采集的设备，包括多个光束发射源和多个摄像头，可进行多角度的图像采集，具备自动采集、自动传输的功能。在进行图像采集时，可以根据环境光线以及第一待检目标的光学属性、尺寸等，设置光束发射源的光照强度和第一光学检测仪器的移动方案，从而提高第一目标图像的可用性。
具体地，对所述第一待检目标进行实时光线强度信息采集，实时光线强度信息即为第一待检目标所处的环境的光线明暗度；进一步获取所述第一待检目标的表面材料信息，表面材料信息包括金属、塑料等多种材料，具体需要根据实际情况确定，表面材料不同，对光的反射强度也不同，基于此进行光照反射性分析，获得光照反射强度系数，表征第一待检目标的表面材料对光的反射强度。获取所述第一待检目标的尺寸信息，尺寸信息即为第一待检目标的表面积的形状。
进一步根据所述实时光线强度信息、所述光照反射强度系数、所述尺寸信息对所述多个光束发射源和所述多个摄像头进行图像采集方案的确定，图像采集方案包括光源强度信息、光源分布信息、移动方向和移动速度，根据图像采集方案控制所述第一光学检测仪器进行图像数据采集，得到第一目标图像，保证图像采集的完整性和清晰度。
具体地，确定图像采集方案的过程如下：首先根据所述实时光线强度信息、所述光照反射强度系数对所述多个光束发射源进行光源强度和光源分布分析，通俗地讲，实时光线强度信息是指环境光线的明暗度，光照反射强度系数是指第一待检目标对光的反射强度，为了减少环境对图像的影响程度，使得获取的图像易于提取特征，需要通过多个光束发射源对第一待检目标进行光线照射，补偿环境光线，但是，通过多个光束发射源进行照射时，光照方向和光照强度设置不准确，会导致图像出现阴影，阴影会影响后续的图像特征提取，图像出现阴影的原因就是发出的光线过强，第一待检目标无法完全吸收发出的光线，因此，需要调节光线强度和光照方向，减少图像阴影。光源强度即为多个光束发射源所发出的光线强度，光源分布即为多个光束发射源的光照方向，比如交叉线光源，两个光源交叉照射，可以有效提高照射效果。具体地，获取多组光源强度分析结果和光源分布分析结果，以图像阴影度作为目标函数，图像阴影度即为图像中的阴影面积在整个图像中的比例，获取图像阴影度最小的光源强度分析结果和光源分布分析结果，作为光源强度信息和光源分布信息。
进一步根据所述尺寸信息确定所述第一光学检测仪器的移动方向和移动速度，简单来说，在进行缺陷检测时，第一待检目标的尺寸可能较大，比如一段管道，如果只在一个位置进行图像采集，只能提升第一光学检测仪器与第一待检目标之间的距离，但是这样得到的图像不利于进行缺陷特征的提取，因此，需要根据所述尺寸信息确定第一光学检测仪器的移动方向和移动速度，移动方向可以根据实际情况确定，移动速度是指一定时间周期下的移动距离，比如每隔5秒钟移动20公分，可以根据摄像头的拍摄频率确定移动时间周期，比如摄像头每隔3秒钟可以采集一次图像，就可以设为每隔3秒钟移动20公分。最后以所述光源强度信息、所述光源分布信息、所述移动方向和移动速度组成所述图像采集方案，后续根据所述图像采集方案控制第一光学检测仪器进行图像数据采集，提高图像采集的准确性，降低环境对缺陷检测的影响度。
步骤S200：对所述第一目标图像进行超像素分割，获取第一分割结果，所述第一分割结果包括N个超像素图像，N是大于0的整数；
其中，本发明实施例步骤S200包括：
步骤S210：对所述第一目标图像进行像素特征识别，获得像素识别结果；
步骤S220：对所述像素识别结果进行特征聚类，得到所述N个超像素图像；
步骤S230：将所述N个超像素图像作为所述第一分割结果。
具体而言，超像素是像素的集合，它是由图像中物理位置相邻和特征相似的若干像素形成的局部区域，超像素分割就是将第一目标图像中一些具有相似特征的像素聚集起来作为整体形成一个超像素图像的过程。
通俗地讲，第一目标图像中包含多个像素点，超像素分割就是对多个像素点进行聚类的过程，一个超像素图像中包含多个位置相邻且特征相似的像素点，基于此获取N个超像素图像，N是大于0的整数，比如一幅图像中可以分割出100个超像素图像，后续就以超像素图像作为最小单位进行图像处理，提升处理速度。在缺陷图像中，表面缺陷区域和无缺陷背景往往具有不同的颜色、纹理等特征，利用超像素分割能够有效地划分出缺陷区域。超像素分割算法可以自行选择，比如SLIC算法、SEEDS算法、LSC算法等，在进行超像素分割时，可以对超像素图像的数量进行限制，具体可以结合实际经验进行限定，比如限定N大于0且小于300，提高图像处理的效率。
具体地，对所述第一目标图像进行像素特征识别，像素特征识别是用于对第一目标图像进行像素点位置和像素点颜色识别像素识别结果包含所有像素点的位置特征和颜色特征，进一步对像素识别结果进行特征聚类，将像素点位置相邻、像素点颜色相似的像素点聚合到一起，得到所述N个超像素图像，每一个超像素图像中均包含多个相邻的像素点，将所述N个超像素图像作为所述第一分割结果，为后续的图像特征提取提供基础数据，同时提高图像处理效率。
步骤S300：对所述N个超像素图像进行特征提取，获取图像特征矩阵；
其中，如图3所示，本发明实施例步骤S300包括：
步骤S310：从所述N个超像素图像中提取第一超像素图像，对所述第一超像素图像进行颜色特征提取，获取第一颜色特征，所述第一颜色特征包括RGB颜色特征和HSV颜色特征；
步骤S320：对所述第一超像素图像进行滤波特征提取，获取第一图像纹理特征；
步骤S330：通过方向可控金字塔对所述第一超像素图像进行方向尺度特征提取，获得第一方向尺度特征；
步骤S340：以所述第一颜色特征、所述第一图像纹理特征、所述第一方向尺度特征组建第一超像素图像特征矩阵；
步骤S350：以此类推，获取所述N个超像素图像对应的N个超像素图像特征矩阵，作为所述图像特征矩阵。
具体而言，对所述N个超像素图像进行多维特征提取，多维特征包括颜色特征、频率特征、方向尺度特征，以多维特征提取结果组建图像特征矩阵。
具体地，从所述N个超像素图像中提取任一超像素图像作为第一超像素图像，对所述第一超像素图像进行颜色特征提取，获取第一颜色特征，所述第一颜色特征包括RGB颜色特征和HSV颜色特征，RGB颜色特征是指红、绿、蓝三种颜色的颜色值，HSV颜色特征是指色调和饱和度，每个超像素是由多个像素点组成，同一超像素图像内的多个像素点的颜色特征会有微小差异，对超像素图像内的多个像素点的颜色特征求平均值，以平均值作为该超像素图像的颜色特征。
滤波特征提取是通过Gabor滤波器进行特征提取，Gabor滤波器在对物体纹理特征的提取上表现较好。Gabor滤波器可对图像的亮度和对比度变化进行较好的描述，尤其适用于图像纹理的描述，因此，通过将第一超像素图像输入Gabor滤波器，可获取第一图像纹理特征，第一图像纹理特征即为第一超像素图像的亮度和对比度特征，同理，也取第一超像素图像内的多个像素点的亮度和对比度特征的平均值作为第一图像纹理特征。
通过方向可控金字塔对所述第一超像素图像进行方向尺度特征提取，获得第一方向尺度特征，方向可控金字塔是一种图像处理工具，通过方向可控金字塔的线性分解，一个图像被分解成一系列不同尺度、不同方向的图像子带。对图像采用2尺度6方向滤波，提取各超像素图像特征，可得到第一方向尺度特征。
以所述第一颜色特征、所述第一图像纹理特征、所述第一方向尺度特征组建第一超像素图像特征矩阵，具体来说，可以根据所述第一颜色特征、所述第一图像纹理特征、所述第一方向尺度特征中包含的特征数量，组建1×n或者1×n的特征矩阵作为第一超像素图像特征矩阵，n为特征数量；也可以根据第一颜色特征、所述第一图像纹理特征、所述第一方向尺度特征分别构建3个子特征矩阵，然后以3个子特征矩阵组成一个1×3或者3×1的第一超像素图像特征矩阵。需要说明的是，上述的特征类型和数量可以根据实际情况进行调整。以此类推，获取所述N个超像素图像对应的N个超像素图像特征矩阵，作为所述图像特征矩阵，为后续的缺陷检测提供数据支持。
步骤S400：将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像；
其中，本发明实施例步骤S400包括：
步骤S410：搭建所述缺陷检测模型，所述缺陷检测模型包括矩阵分解层、显著值计算层和目标缺陷图像提取层；
步骤S420：将所述图像特征矩阵输入所述矩阵分解层，获得低秩矩阵、稀疏矩阵和噪声矩阵；
步骤S430：将所述稀疏矩阵输入显著值计算层，获得所述N个超像素图像的N个图像显著值；
步骤S440：通过所述目标缺陷图像提取层对所述N个图像显著值按照由大到小进行顺序排序，获取图像显著值大于等于预设显著值的M个超像素图像作为所述目标缺陷图像，其中，M为大于0的正整数，且M≤N。
其中，本发明实施例步骤S420包括：
步骤S421：采集并获取与所述第一待检目标型号相同的缺陷图像集；
步骤S422：设置图像变换规则；
步骤S423：根据所述图像变换规则对所述缺陷图像集进行数据扩增，获取样本图像集；
步骤S424：对所述样本图像集进行特征提取，获取样本图像特征矩阵；
步骤S425：对所述样本图像矩阵进行矩阵分解，获得样本低秩矩阵、样本稀疏矩阵和样本噪声矩阵；
步骤S426：对所述样本图像集、所述样本低秩矩阵、所述样本稀疏矩阵和所述样本噪声矩阵进行数据标注后作为构建数据集进行所述矩阵分解层的构建；
步骤S427：将所述图像特征矩阵输入构建完成的所述矩阵分解层，获得所述低秩矩阵、所述稀疏矩阵和所述噪声矩阵。
具体而言，将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像，缺陷检测模型是机器学习中的神经网络模型，包括矩阵分解层、显著值计算层和目标缺陷图像提取层，目标缺陷图像是指从N个超像素图像中筛选出的M个超像素图像，M为大于0的正整数，且M≤N。
具体地，搭建所述缺陷检测模型，所述缺陷检测模型包括矩阵分解层、显著值计算层和目标缺陷图像提取层。矩阵分解层用于将所述图像特征矩阵分解为低秩矩阵、稀疏矩阵和噪声矩阵，其中，稀疏矩阵即为缺陷区域，低秩矩阵为无缺陷的区域，无缺陷的区域通常是强相关的，并位于一个低维的子空间中，因此无缺陷的区域可以用一个低秩矩阵来表示，然而，缺陷区域不同，可以将缺陷区域看作是显著的目标，用稀疏矩阵来表示，具体来说，可以选择图像分解算法(比如lsmad算法)，然后利用样本集对矩阵分解层进行训练验证，进一步将所述图像特征矩阵输入所述矩阵分解层，获得低秩矩阵、稀疏矩阵和噪声矩阵。
将所述稀疏矩阵输入显著值计算层，获得所述N个超像素图像的N个图像显著值，显著值计算公式如下，ai＝||di||，其中，ai表征第i个超像素的图像显著值，di表征第i超像素特征矩阵，||di||表征第i超像素特征矩阵的范数，范数就是向量的模，即向量各个元素平方和的1/2次方，也就是说，稀疏矩阵可用特征向量表示，计算向量的模作为N个图像显著值，显著值计算公式嵌入显著值计算层。
通过所述目标缺陷图像提取层对所述N个图像显著值按照由大到小进行顺序排序，获取图像显著值大于等于预设显著值的M个超像素图像作为所述目标缺陷图像，其中，M为大于0的正整数，且M≤N，也就是说，ai越大，则超像素di为缺陷区域的概率就越大，由此，工作人员可以根据实际情况进行预设显著值的设置，预设显著值是判断缺陷图像的参考数据，由此将图像显著值大于等于预设显著值的M个超像素图像作为所述目标缺陷图像，保证缺陷检测的准确性。
具体地，所述矩阵分解层的构建过程如下：采集并获取与所述第一待检目标型号相同(比如相同的管道、零件等)的缺陷图像集，缺陷图像集包括不同类型(比如：裂缝)、不同尺寸、不同形状的缺陷图像。根据实际情况设置图像变换规则，图像变换规则包括翻转、旋转、缩放、剪裁和变形等几何变换、颜色变换，以及添加噪声、模糊、擦除和填充等，或者按照一定的原则利用多个样本合成新的样本，具体可以自行设定，也就是说，缺陷图像集中的样本图像的数量过少，需要进行数据扩增。根据所述图像变换规则对所述缺陷图像集中的图像进行翻转、旋转、缩放、剪裁和变形等几何变换、颜色变换，以及添加噪声、模糊、擦除和填充等操作，实现对缺陷图像集的扩增，以扩增后的缺陷图像集作为样本图像集。
进一步利用与前述获取图像特征矩阵相同的方法，对所述样本图像集进行特征提取，获取样本图像特征矩阵，并对所述样本图像矩阵进行矩阵分解，获得样本低秩矩阵、样本稀疏矩阵和样本噪声矩阵。对所述样本图像集、所述样本低秩矩阵、所述样本稀疏矩阵和所述样本噪声矩阵进行数据标注后作为构建数据集进行所述矩阵分解层的构建，也就是说，所述样本图像集、所述样本低秩矩阵、所述样本稀疏矩阵和所述样本噪声矩阵具有一一对应关系，基于此，可对构建数据集进行数据划分，获得训练集和验证集，通过训练集中的数据对矩阵分解层进行训练，训练完成后，通过验证集中的数据对矩阵分解层的输出准确率进行验证，获得准确率符合要求的矩阵分解层。进而将所述图像特征矩阵输入构建完成的所述矩阵分解层，获得所述低秩矩阵、所述稀疏矩阵和所述噪声矩阵，为后续缺陷检测提供数据支持。
步骤S500：通过预设优化方案对所述目标缺陷图像进行图像优化，得到在线检测结果。
具体而言，图像优化是对缺陷图像进行增强，对无缺陷图像进行弱化的过程，基于此，可以提高缺陷检测的准确度。具体来说，前述获得了低秩矩阵、稀疏矩阵，低秩矩阵表示无缺陷区域，稀疏矩阵表示缺陷区域，利用与计算稀疏矩阵的图像显著值相同的方法，计算获得低秩矩阵的低秩显著值，低秩矩阵的低秩显著值一定小于稀疏矩阵的图像显著值，以低秩显著值远小于图像显著值为目标，对低秩矩阵、稀疏矩阵的特征值进行调整，以此作为预设优化方案，提高缺陷区域的显著值，同时降低无缺陷区域的显著值，以优化后的目标缺陷图像作为在线检测结果，提升了缺陷检测的效果。
基于上述分析可知，本发明提供了一种复杂场景的缺陷在线检测方法，在本实施例中，启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像，其中，所述第一光学检测仪器包括多个光束发射源和多个摄像头，对所述第一目标图像进行超像素分割，获取第一分割结果，所述第一分割结果包括N个超像素图像，N是大于0的整数，对所述N个超像素图像进行特征提取，获取图像特征矩阵，将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像，通过预设优化方案对所述目标缺陷图像进行图像优化，得到在线检测结果，达到降低环境对缺陷检测的影响度，提升缺陷检测效果的技术效果。
实施例二
基于与前述实施例中一种复杂场景的缺陷在线检测方法同样的发明构思，如图4所示，本发明还提供了一种复杂场景的缺陷在线检测系统，所述系统包括：
图像采集模块11，所述图像采集模块11用于启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像，其中，所述第一光学检测仪器包括多个光束发射源和多个摄像头；
超像素分割模块12，所述超像素分割模块12用于对所述第一目标图像进行超像素分割，获取第一分割结果，所述第一分割结果包括N个超像素图像，N是大于0的整数；
特征提取模块13，所述特征提取模块13用于对所述N个超像素图像进行特征提取，获取图像特征矩阵；
缺陷检测模块14，所述缺陷检测模块14用于将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像；
图像优化模块15，所述图像优化模块15用于通过预设优化方案对所述目标缺陷图像进行图像优化，得到在线检测结果。
进一步而言，所述系统还包括：
实时环境光线分析模块，所述实时环境光线分析模块用于对所述第一待检目标进行实时光线强度信息采集；
光照反射性分析模块，所述光照反射性分析模块用于获取所述第一待检目标的表面材料信息，根据所述表面材料信息进行光照反射性分析，获得光照反射强度系数；
尺寸信息获取模块，所述尺寸信息获取模块用于获取所述第一待检目标的尺寸信息；
图像采集方案确定模块，所述图像采集方案确定模块用于根据所述实时光线强度信息、所述光照反射强度系数、所述尺寸信息对所述多个光束发射源和所述多个摄像头进行图像采集方案的确定；
第一目标图像获取模块，所述第一目标图像获取模块用于根据所述图像采集方案控制所述第一光学检测仪器进行图像数据采集，获取所述第一目标图像。
进一步而言，所述系统还包括：
光束发射源分析模块，所述光束发射源分析模块用于根据所述实时光线强度信息、所述光照反射强度系数对所述多个光束发射源进行光源强度和光源分布分析；
光源分析优化模块，所述光源分析优化模块用于以图像阴影度作为目标函数，对所述光源强度分析结果和光源分布分析结果进行优化，获得优化后的光源强度信息和光源分布信息；
仪器移动分析模块，所述仪器移动分析模块用于根据所述尺寸信息确定所述第一光学检测仪器的移动方向和移动速度；
信息组合模块，所述信息组合模块用于以所述光源强度信息、所述光源分布信息、所述移动方向和移动速度组成所述图像采集方案。
进一步而言，所述系统还包括：
像素特征识别模块，所述像素特征识别模块用于对所述第一目标图像进行像素特征识别，获得像素识别结果；
特征聚类模块，所述特征聚类模块用于对所述像素识别结果进行特征聚类，得到所述N个超像素图像；
第一分割结果获取模块，所述第一分割结果获取模块用于将所述N个超像素图像作为所述第一分割结果。
进一步而言，所述系统还包括：
颜色特征提取模块，所述颜色特征提取模块用于从所述N个超像素图像中提取第一超像素图像，对所述第一超像素图像进行颜色特征提取，获取第一颜色特征，所述第一颜色特征包括RGB颜色特征和HSV颜色特征；
滤波特征提取模块，所述滤波特征提取模块用于对所述第一超像素图像进行滤波特征提取，获取第一图像纹理特征；
方向尺度特征提取模块，所述方向尺度特征提取模块用于通过方向可控金字塔对所述第一超像素图像进行方向尺度特征提取，获得第一方向尺度特征；
第一特征矩阵获取模块，所述第一特征矩阵获取模块用于以所述第一颜色特征、所述第一图像纹理特征、所述第一方向尺度特征组建第一超像素图像特征矩阵；
图像特征矩阵获取模块，所述图像特征矩阵获取模块用于以此类推，获取所述N个超像素图像对应的N个超像素图像特征矩阵，作为所述图像特征矩阵。
进一步而言，所述系统还包括：
缺陷检测模型搭建模块，所述缺陷检测模型搭建模块用于搭建所述缺陷检测模型，所述缺陷检测模型包括矩阵分解层、显著值计算层和目标缺陷图像提取层；
矩阵分解模块，所述矩阵分解模块用于将所述图像特征矩阵输入所述矩阵分解层，获得低秩矩阵、稀疏矩阵和噪声矩阵；
显著值计算模块，所述显著值计算模块用于将所述稀疏矩阵输入显著值计算层，获得所述N个超像素图像的N个图像显著值；
超像素筛选模块，所述超像素筛选模块用于通过所述目标缺陷图像提取层对所述N个图像显著值按照由大到小进行顺序排序，获取图像显著值大于等于预设显著值的M个超像素图像作为所述目标缺陷图像，其中，M为大于0的正整数，且M≤N。
进一步而言，所述系统还包括：
缺陷图像集获取模块，所述缺陷图像集获取模块用于采集并获取与所述第一待检目标型号相同的缺陷图像集；
图像变换规则设置模块，所述图像变换规则设置模块用于设置图像变换规则；
数据扩增模块，所述数据扩增模块用于根据所述图像变换规则对所述缺陷图像集进行数据扩增，获取样本图像集；
样本图像特征提取模块，所述样本图像特征提取模块用于对所述样本图像集进行特征提取，获取样本图像特征矩阵；
样本图像矩阵分解模块，所述样本图像矩阵分解模块用于对所述样本图像矩阵进行矩阵分解，获得样本低秩矩阵、样本稀疏矩阵和样本噪声矩阵；
矩阵分解层构建模块，所述矩阵分解层构建模块用于对所述样本图像集、所述样本低秩矩阵、所述样本稀疏矩阵和所述样本噪声矩阵进行数据标注后作为构建数据集进行所述矩阵分解层的构建；
第二矩阵分解模块，所述第二矩阵分解模块用于将所述图像特征矩阵输入构建完成的所述矩阵分解层，获得所述低秩矩阵、所述稀疏矩阵和所述噪声矩阵。
前述实施例一中的一种复杂场景的缺陷在线检测方法具体实例同样适用于本实施例的一种复杂场景的缺陷在线检测系统，通过前述对一种复杂场景的缺陷在线检测方法的详细描述，本领域技术人员可以清楚地知道本实施例中一种复杂场景的缺陷在线检测系统，所以为了说明书的简洁，在此不再详述。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行，也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所做的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种复杂场景的缺陷在线检测方法，其特征在于，所述方法包括：
启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像，其中，所述第一光学检测仪器包括多个光束发射源和多个摄像头；
对所述第一目标图像进行超像素分割，获取第一分割结果，所述第一分割结果包括N个超像素图像，N是大于0的整数；
对所述N个超像素图像进行特征提取，获取图像特征矩阵；
将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像；
通过预设优化方案对所述目标缺陷图像进行图像优化，得到在线检测结果。
2.如权利要求1所述的方法，其特征在于，所述启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像，包括：
对所述第一待检目标进行实时光线强度信息采集；
获取所述第一待检目标的表面材料信息，根据所述表面材料信息进行光照反射性分析，获得光照反射强度系数；
获取所述第一待检目标的尺寸信息；
根据所述实时光线强度信息、所述光照反射强度系数、所述尺寸信息对所述多个光束发射源和所述多个摄像头进行图像采集方案的确定；
根据所述图像采集方案控制所述第一光学检测仪器进行图像数据采集，获取所述第一目标图像。
3.如权利要求2所述的方法，其特征在于，根据所述实时光线强度信息、所述光照反射强度系数、所述尺寸信息对所述多个光束发射源和所述多个摄像头进行图像采集方案的确定，包括：
根据所述实时光线强度信息、所述光照反射强度系数对所述多个光束发射源进行光源强度和光源分布分析；
以图像阴影度作为目标函数，对所述光源强度分析结果和光源分布分析结果进行优化，获得优化后的光源强度信息和光源分布信息；
根据所述尺寸信息确定所述第一光学检测仪器的移动方向和移动速度；
以所述光源强度信息、所述光源分布信息、所述移动方向和移动速度组成所述图像采集方案。
4.如权利要求1所述的方法，其特征在于，所述对所述第一目标图像进行超像素分割，获取第一分割结果，包括：
对所述第一目标图像进行像素特征识别，获得像素识别结果；
对所述像素识别结果进行特征聚类，得到所述N个超像素图像；
将所述N个超像素图像作为所述第一分割结果。
5.如权利要求1所述的方法，其特征在于，所述对所述N个超像素图像进行特征提取，获取图像特征矩阵，包括：
从所述N个超像素图像中提取第一超像素图像，对所述第一超像素图像进行颜色特征提取，获取第一颜色特征，所述第一颜色特征包括RGB颜色特征和HSV颜色特征；
对所述第一超像素图像进行滤波特征提取，获取第一图像纹理特征；
通过方向可控金字塔对所述第一超像素图像进行方向尺度特征提取，获得第一方向尺度特征；
以所述第一颜色特征、所述第一图像纹理特征、所述第一方向尺度特征组建第一超像素图像特征矩阵；
以此类推，获取所述N个超像素图像对应的N个超像素图像特征矩阵，作为所述图像特征矩阵。
6.如权利要求1所述的方法，其特征在于，所述将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像，包括：
搭建所述缺陷检测模型，所述缺陷检测模型包括矩阵分解层、显著值计算层和目标缺陷图像提取层；
将所述图像特征矩阵输入所述矩阵分解层，获得低秩矩阵、稀疏矩阵和噪声矩阵；
将所述稀疏矩阵输入显著值计算层，获得所述N个超像素图像的N个图像显著值；
通过所述目标缺陷图像提取层对所述N个图像显著值按照由大到小进行顺序排序，获取图像显著值大于等于预设显著值的M个超像素图像作为所述目标缺陷图像，其中，M为大于0的正整数，且M≤N。
7.如权利要求6所述的方法，其特征在于，所述将所述图像特征矩阵输入所述矩阵分解层，获得低秩矩阵、稀疏矩阵和噪声矩阵，包括：
采集并获取与所述第一待检目标型号相同的缺陷图像集；
设置图像变换规则；
根据所述图像变换规则对所述缺陷图像集进行数据扩增，获取样本图像集；
对所述样本图像集进行特征提取，获取样本图像特征矩阵；
对所述样本图像矩阵进行矩阵分解，获得样本低秩矩阵、样本稀疏矩阵和样本噪声矩阵；
对所述样本图像集、所述样本低秩矩阵、所述样本稀疏矩阵和所述样本噪声矩阵进行数据标注后作为构建数据集进行所述矩阵分解层的构建；
将所述图像特征矩阵输入构建完成的所述矩阵分解层，获得所述低秩矩阵、所述稀疏矩阵和所述噪声矩阵。
8.一种复杂场景的缺陷在线检测系统，其特征在于，所述系统包括：
图像采集模块，所述图像采集模块用于启动第一光学检测仪器对第一待检目标进行图像数据采集，得到第一目标图像，其中，所述第一光学检测仪器包括多个光束发射源和多个摄像头；
超像素分割模块，所述超像素分割模块用于对所述第一目标图像进行超像素分割，获取第一分割结果，所述第一分割结果包括N个超像素图像，N是大于0的整数；
特征提取模块，所述特征提取模块用于对所述N个超像素图像进行特征提取，获取图像特征矩阵；
缺陷检测模块，所述缺陷检测模块用于将所述图像特征矩阵输入缺陷检测模型，输出目标缺陷图像；
图像优化模块，所述图像优化模块用于通过预设优化方案对所述目标缺陷图像进行图像优化，得到在线检测结果。
CN202310624058.2A 2023-05-30 2023-05-30 一种复杂场景的缺陷在线检测方法及系统 Pending CN116645351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310624058.2A CN116645351A (zh) 2023-05-30 2023-05-30 一种复杂场景的缺陷在线检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310624058.2A CN116645351A (zh) 2023-05-30 2023-05-30 一种复杂场景的缺陷在线检测方法及系统

Publications (1)

Publication Number Publication Date
CN116645351A true CN116645351A (zh) 2023-08-25

Family

ID=87639451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310624058.2A Pending CN116645351A (zh) 2023-05-30 2023-05-30 一种复杂场景的缺陷在线检测方法及系统

Country Status (1)

Country Link
CN (1) CN116645351A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117442973A (zh) * 2023-10-30 2024-01-26 深圳市梦作坊科技有限公司 一种游戏异常情况应急处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117442973A (zh) * 2023-10-30 2024-01-26 深圳市梦作坊科技有限公司 一种游戏异常情况应急处理方法
CN117442973B (zh) * 2023-10-30 2024-06-18 深圳市梦作坊科技有限公司 一种游戏异常情况应急处理方法

Similar Documents

Publication Publication Date Title
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN111667455B (zh) 一种刷具多种缺陷的ai检测方法
Mathavan et al. Use of a self-organizing map for crack detection in highly textured pavement images
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别系统与方法
CN112967255A (zh) 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法
CN113706490B (zh) 一种晶片缺陷检测方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN111914902B (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN112001901A (zh) 基于卷积神经网络的苹果缺陷检测方法及系统
CN110554052A (zh) 一种人造板表面缺陷检测方法及其系统
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN115908774A (zh) 一种基于机器视觉的变形物资的品质检测方法和装置
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN108022245A (zh) 基于面线基元关联模型的光伏面板模板自动生成方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN117115148B (zh) 基于5g技术的芯片表面缺陷智能识别方法
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN117351472A (zh) 烟叶信息检测方法、装置及电子设备
CN116797602A (zh) 一种用于工业产品检测的表面缺陷鉴定方法和装置
CN111597939A (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN116681677A (zh) 一种锂电池缺陷检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination