CN114549497B - 基于图像识别的走台板表面缺陷检测方法及人工智能系统 - Google Patents

基于图像识别的走台板表面缺陷检测方法及人工智能系统 Download PDF

Info

Publication number
CN114549497B
CN114549497B CN202210188585.9A CN202210188585A CN114549497B CN 114549497 B CN114549497 B CN 114549497B CN 202210188585 A CN202210188585 A CN 202210188585A CN 114549497 B CN114549497 B CN 114549497B
Authority
CN
China
Prior art keywords
image
walking board
pixel
pixel point
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210188585.9A
Other languages
English (en)
Other versions
CN114549497A (zh
Inventor
张步坤
程永宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Hengbang Machinery Manufacturing Co ltd
Original Assignee
Yangzhou Hengbang Machinery Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Hengbang Machinery Manufacturing Co ltd filed Critical Yangzhou Hengbang Machinery Manufacturing Co ltd
Priority to CN202210188585.9A priority Critical patent/CN114549497B/zh
Publication of CN114549497A publication Critical patent/CN114549497A/zh
Application granted granted Critical
Publication of CN114549497B publication Critical patent/CN114549497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像识别技术领域，具体涉及一种基于图像识别的走台板表面缺陷检测方法及人工智能系统。包括：采集走台板表面图像并进行预处理，得到走台板滤波图像；根据引导滤波函数的模型系数计算走台板整体轮廓图像；获取走台板细节图像，分别对走台板整体轮廓图像以及走台板细节图像进行显著处理得到走台板显著图像；对走台板显著图像进行超像素分割得到多个超像素块，计算两两超像素块的相似程度对超像素块进行分类；根据像素点的类别归属指标进行划分，根据划分后的超像素块得到走台板表面缺陷区域。本发明基于图像数据进行检测分析，提取走台板对应的显著图像，提高缺陷区域与正常区域的差异度，有效提高了走台板缺陷的检测精度。

Description

基于图像识别的走台板表面缺陷检测方法及人工智能系统
技术领域
本发明涉及图像识别领域，具体涉及一种基于图像识别的走台板表面缺陷检测方法及人工智能系统。
背景技术
走台板汽车车辆的一个重要附件，汽车等走台板是由薄钢板及槽钢组成，槽钢通常焊接在薄钢板的下部，以增强走台板的刚度和强度。走台板作为一种工程机械车辆的操作平台，主要是布置在起重机车架上，位于起重机底盘的两侧，对车辆起到承载和防护的作用，同时方便操作人员行走作业，为相关人员提供一个安全的行走通道，也能一定程度的美化车辆外观的作用。
当走台板表面出现划痕、裂纹、异常凸起凹陷等表面缺陷状况时，不仅影响走台板的外观质量，也会对走台板的使用寿命造成很大的影响，进一步将危害操作人员的人身安全，因此，走台板生产完成之后对其表面进行缺陷检测是防止走台板出现质量问题的关键一步。目前对于走台板表面缺陷检测大多精度不够高，且需要人为参与检测过程，误检率高，耗时长检测效率低下。
针对上述问题，本发明提出一种基于图像识别的走台板表面缺陷检测方法及人工智能系统，基于图像数据对走台板表面的缺陷特征进行提取，以实现对走台板表面的缺陷区域进行检测。
发明内容
本发明提供一种基于图像识别的走台板表面缺陷检测方法及人工智能系统，以解决现有的的问题，包括：
采集走台板表面图像并进行预处理，得到走台板滤波图像；根据引导滤波函数的模型系数计算走台板整体轮廓图像；获取走台板细节图像，分别对走台板整体轮廓图像以及走台板细节图像进行显著处理得到走台板显著图像；对走台板显著图像进行超像素分割得到多个超像素块，计算两两超像素块的相似程度对超像素块进行分类；根据像素点的类别归属指标进行划分，根据划分后后的超像素块得到走台板表面缺陷区域。
根据本发明提出的技术手段，通过图像数据对走台板表面进行缺陷检测，检测过程为全自动化，具有无接触性，可避免划伤表面，降低对走台板的二次损害。基于图像数据进行检测分析，提取走台板对应的显著图像，提高了缺陷区域与正常区域的差异度，在对显著图像进行超像素分割之后，进一步对像素点的归属类别进行计算，从而将超像素块精确进行划分，提高了检测效率的同时，大大提升了走台板缺陷状况的检测精度。
本发明采用如下技术方案，一种基于图像识别的走台板表面缺陷检测方法,包括：
采集走台板表面图像并进行预处理，得到走台板滤波图像；
根据引导滤波函数的模型系数计算走台板滤波图像中的整体轮廓图像；
根据走台板滤波图像和走台板整体轮廓图像获取走台板细节纹理图像，分别对走台板整体轮廓图像以及走台板细节纹理图像进行显著处理，根据显著处理后的走台板整体轮廓图像以及走台板细节纹理图像得到走台板显著图像；
对走台板显著图像进行超像素分割得到多个超像素块，计算两两超像素块的相似程度，当相似程度大于第一阈值时，将对应两两超像素块划分为同一类别；
获取各个类别的超像素块中每个像素点的梯度幅值，获取各个类别的超像素块的梯度均值，根据每个像素点的梯度幅值以及像素点所在超像素块的梯度均值计算每个像素点的类别归属指标；
根据每个像素点的类别归属指标对各个类别超像素块中的所有像素点进行划分，根据划分后的各个超像素块得到走台板表面缺陷区域。
进一步的，一种基于图像识别的走台板表面缺陷检测方法,根据引导滤波函数的模型系数计算走台板滤波图像中的整体轮廓图像的方法为：
建立代价函数计算引导滤波函数的模型系数，根据模型系数计算走台版滤波图像中的整体轮廓图像。
进一步的，一种基于图像识别的走台板表面缺陷检测方法，获取走台板整体轮廓图像后，还包括：
根据走台板滤波图像中每个像素点的梯度值构建像素点特征描述子，利用所述像素点特征描述子对所述代价函数进行优化，根据优化后的代价函数计算优化后的模型系数，根据优化后的模型系数计算最终走台板整体轮廓图像。
进一步的，一种基于图像识别的走台板表面缺陷检测方法，构建所述像素点特征描述子的方法为：
对走台板滤波图像进行边缘提取，得到走台板梯度信息图像，获取走台板梯度信息图像中每个像素点的梯度值，根据每个像素点的梯度值构建像素点特征描述子，表达式为：
Figure BDA0003524610660000031
其中，γ(i)为像素点i的特征描述子，S(i)为走台板梯度信息图像中像素点i的梯度值，S(j)为走台板梯度信息图像中像素点j的梯度值，M为走台板梯度信息图像中像素点的数量，τ为避免分母为零的模型参数。
进一步的，一种基于图像识别的走台板表面缺陷检测方法，优化后代价函数的表达式为：
Figure BDA0003524610660000032
其中，D(ak，bk)表示代价函数，I为引导图像，L代表走台板滤波图像，ak、bk是引导图像以像素点k为中心的局部窗口wk的模型系数，wk是包含像素点i的窗口，尺寸为w，γ(i)为第i个像素点的特征描述子，ε为调控系数。
进一步的，一种基于图像识别的走台板表面缺陷检测方法，计算最终走台板整体轮廓图像的表达式为：
Figure BDA0003524610660000033
其中，F′表示最终走台板整体轮廓图像，a′k、b′k表示优化后的模型系数，I(i)为引导图像，wk为包含像素点i的窗口，尺寸为w，N为窗口wk内包含的像素点的数量。
进一步的，一种基于图像识别的走台板表面缺陷检测方法，计算两两超像素块的相似程度的方法为：
根据超像素块内包含像素点的像素值计算超像素块对应的灰度共生矩阵，将其作为超像素块的特征参数矩阵Hk，根据两两特征参数矩阵中每一行向量的余弦相似度计算两两超像素块相似程度的表达式为：
Figure BDA0003524610660000041
其中，
Figure BDA0003524610660000042
代表超像素块1与第超像素块2的特征参数矩阵H1，H2的第一行向量对应的余弦相似度，R1，2代表超像素块1和超像素块2之间的相似程度，h表示特征参数矩阵中的第h行向量。
进一步的，一种基于图像识别的走台板表面缺陷检测方法，计算各个像素点的类别归属指标的方法为：
获取各个超像素块内每个像素点的梯度幅值，根据每个超像素块内所有像素点的梯度幅值得到该像素块对应的梯度均值，计算超像素块c内各像素点的类别归属指标：
Figure BDA0003524610660000043
其中
Figure BDA0003524610660000044
表示第i个像素点属于第c个超像素块的类别归属指标，gi表示第i个像素点的梯度幅值，
Figure BDA0003524610660000045
表示第c个超像素块的梯度均值。
进一步的，一种基于图像识别的走台板表面缺陷检测方法，根据每个像素点的类别归属指标对各个类别超像素块中的所有像素点进行划分，根据划分后的各个超像素块得到走台板表面缺陷区域的方法为：
当走台板显著图像中各个像素点在对应超像素块中的类别归属指标大于预设阈值时，将该像素点划分到对应超像素块区域中；
当存在像素点的类别归属指标低于预设阈值时，计算该像素点归属于其他像素块的类别归属指标，将对应像素点划分到类别归属指标序列中指标值最大对应的像素块中；
将包含像素点最多的超像素块作为正常的像素块，其他各个超像素块作为走台板表面的缺陷像素块，将各缺陷像素块对应的连通域作为走台板表面缺陷区域。
一种基于图像识别的走台板表面缺陷检测人工智能系统，包括图像采集模块、整体轮廓图像计算模块、图像显著处理模块、超像素分割模块、像素点分类指标计算模块以及缺陷区域检测模块；
图像采集模块，用于采集走台板表面图像并进行预处理，得到走台板滤波图像；
整体轮廓图像计算模块，用于接收图像采集模块中得到的走台板滤波图像，根据引导滤波函数的模型系数计算走台板滤波图像中的整体轮廓图像；
图像显著处理模块，用于根据走台板滤波图像和走台板整体轮廓图像获取走台板细节纹理图像，分别对走台板整体轮廓图像以及走台板细节纹理图像进行显著处理，根据显著处理后的走台板整体轮廓图像以及走台板细节纹理图像得到走台板显著图像；
超像素分割模块，用于接收图像显著处理模块中得到的走台板显著图像进行超像素分割，得到多个超像素块，计算两两超像素块的相似程度，当相似程度大于第一阈值时，将对应两两超像素块划分为同一类别；
像素点类别指标计算模块，获取各个类别的超像素块中每个像素点的梯度幅值，获取各个类别的超像素块的梯度均值，根据每个像素点的梯度幅值以及对应像素点所在超像素块的梯度均值计算每个像素点的类别归属指标；
缺陷区域检测模块，用于根据每个像素点的类别归属指标对各个类别超像素块中的所有像素点进行划分，根据划分后的各个超像素块得到走台板表面缺陷区域。
本发明的有益效果是：根据本发明提出的技术手段，通过图像数据对走台板表面进行缺陷检测，检测过程为全自动化，具有无接触性，可避免划伤表面，降低对走台板的二次损害。基于图像数据进行检测分析，提取走台板对应的显著图像，提高了缺陷区域与正常区域的差异度，在对显著图像进行超像素分割之后，进一步对像素点的归属类别进行计算，从而将超像素块精确进行划分，提高了检测效率的同时，大大提升了走台板缺陷状况的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种基于图像识别的走台板表面缺陷检测方法结构示意图；
图2为本发明实施例的一种基于图像识别的走台板表面缺陷检测人工智能系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，给出了本发明实施例的一种基于图像识别的走台板表面缺陷检测方法结构示意图，包括：
101.采集走台板表面图像并进行预处理，得到走台板滤波图像。
首先，本发明将设置图像采集设备，用于采集走台板表面的图像数据，其中，摄像头的拍摄范围及角度实施者根据实际情况自行调整。在此需要说明，相机拍摄范围能够覆盖待检测走台板，以便对其进行全面检测，或者实施者可设置多台相机对待检测走台板进行图像采集，然后通过图像融合技术将所相邻相机采集的图像数据进行融合处理，以获取待检测走台板的表面整体的图像数据，实施者采用多台相机对待检测走台板进行图像采集时，需保证相邻相机的拍摄范围有重叠部分，以便后续进行图像融合获取走台板表面的整体图像数据。
获取走台板表面图像后，本发明主要基于图像数据对走台板进行缺陷检测。在图像采集过程中，考虑到环境存在大量噪声且走台板表面的浮尘等都会对走台板图像的采集产生影响，因此，本发明将对采集的走台板图像数据进行滤波去噪处理，消除走台板表面图像的噪点，图像去噪处理方法有很多：均值滤波算法、中值滤波算法、高斯滤波以及双线性滤波等，可自行选取去噪算法，实现对走台板表面图像的去噪操作，获取去噪后的滤波图像。
102.根据引导滤波函数的模型系数计算走台板滤波图像中的整体轮廓图像。
本发明考虑到外在光照以及走台板表面发光等因素，都会导致采集的走台板图像与实际相比存在较大差异。为避免外界因素造成走台板缺陷检测精度降低等问题，本发明将对走台板表面图像进行显著性处理，以增加走台板表面缺陷的特征区别，作为走台板缺陷检测的图像数据，以准确提取缺陷区域。
图像数据包括整体轮廓图像F以及细节纹理图像W，为提高走台板滤波图像的显著处理效果，本发明将对走台板滤波图像进行分离，分别提取对应的整体轮廓图像和对应的细节纹理图像，后续分别进行不同的显著性处理过程，增加图像的显著处理效果。本发明将首先对走台板滤波图像对应的整体轮廓图像数据进行提取，走台板整体轮廓图像数据。
根据引导滤波可知，图像中的整体轮廓、边缘对应的图像数据F可以用线性模型进行计算，具体表示为：
Figure BDA0003524610660000071
其中，I(i)为引导图像，F为整体轮廓图像，ak、bk是引导图像以像素点k为中心的局部窗口wk的模型系数，wk是包含像素点i的窗口，尺寸为w。对输出图像两边同时取梯度函数时，
Figure BDA0003524610660000072
可以得出该局部线性模型可以确保当图像I存在梯度时，图像F也会有对应的梯度信息。
为确定最优的模型系数，根据引导滤波算法对窗口代价函数进行构建，所述代价函数的表达式为：
Figure BDA0003524610660000073
其中，ε为调控系数，L为走台板滤波图像，i表示第i个像素点，I为自定义的引导图像，ak、bk是引导图像以像素点k为中心的局部窗口wk的模型系数，wk是包含像素点i的窗口，尺寸为w。
基于最小二乘法对模型系数进行计算可得：
Figure BDA0003524610660000074
Figure BDA0003524610660000075
其中，μk、σk分别为引导图像在窗口wk内像素点的灰度均值和方差，
Figure BDA0003524610660000076
为输入图像在窗口内像素点的灰度均值，N为窗口wk内包含的像素点的数量。
计算走台板滤波图像中的整体轮廓图像的表达式为：
Figure BDA0003524610660000077
其中，F为走台板整体轮廓图像，ak、bk是引导图像以像素点k为中心的局部窗口wk的模型系数，I为自定义的引导图像，N为窗口wk内包含的像素点的数量。
为提高对走台板滤波图像的显著处理效果，本发明将对上述引导滤波过程进行优化，上述引导滤波过程对所有像素点均使用相同的调控系数ε，没有考虑到像素点之间的差异度，因此，为更好地凸显图像中的轮廓信息，保持图像中更加完整的边缘信息，本发明将对上述引导滤波的代价函数进行优化。
获取走台板整体轮廓图像数据后，还包括：
根据走台板滤波图像中每个像素点的梯度值构建像素点特征描述子，利用所述像素点特征描述子对所述代价函数进行优化，获取优化后的模型系数，根据优化后的模型系数计算最终走台板整体轮廓图像数据。
为凸显图像中的细节纹理信息，本发明将首先通过边缘检测算子对走台板滤波图像进行边缘信息提取，所述边缘检测算子有很多，实施者可自行选取，优选的本发明采用Sobel算子对走台板滤波图像进行边缘提取，获取对应的梯度信息图像S，S(i)代表梯度信息图像像素点i处的梯度值。
进一步本发明基于像素点的梯度值，构建像素点特征描述子，用于对边缘像素点特征信息进行增强，以便基于不同像素点的特征信息对其进行针对性的滤波处理，所述边缘像素点特征描述子具体为：
Figure BDA0003524610660000081
式中，M为走台板滤波图像像素点的数量，γ(i)为像素点i的特征描述子，S(i)为梯度信息图像S中像素点i的梯度值，S(j)为梯度信息图像S中像素点j的梯度值，j＝1，2，...，M为梯度信息图像各像素点的梯度值，τ为避免分母为零的模型参数，本发明取值为τ＝0.001。
根据本发明所建立的像素点特征描述子可知，当像素点为平滑像素点时，其对应特征描述子小于1，当像素点为梯度变化像素点也即边缘点时，本发明设置的特征描述子大于1，可基于像素点的特征信息针对性的对不同的像素点进行处理分析。
利用所述像素点特征描述子对所述代价函数进行优化的方法为：
Figure BDA0003524610660000091
其中，ε为调控系数，L为走台板滤波图像，i表示第i个像素点，I为自定义的引导图像，ak、bk是引导图像以像素点k为中心的局部窗口wk的模型系数，wk是包含像素点i的窗口，尺寸为w，γ(i)为像素点i的特征描述子。
通过不同像素点的特征描述子对引导滤波的代价函数进行调节，进一步实现对模型系数进行优化，得到优化的模型系数a′k、b′k，更加凸显图像中的边缘轮廓信息，更加准确的提取走台板整体轮廓图像信息。
则进一步计算最终走台板整体轮廓图像的表达式为：
Figure BDA0003524610660000092
其中，F′表示最终走台板整体轮廓图像，a′k、b′k表示优化后的模型系数，I(i)为引导图像，wk为包含像素点i的窗口，尺寸为w，N为窗口wk内包含的像素点的数量。
103.根据走台板滤波图像和走台板整体轮廓图像获取走台板细节纹理图像，分别对走台板整体轮廓图像以及走台板细节纹理图像进行显著处理，根据显著处理后的走台板整体轮廓图像以及走台板细节纹理图像得到走台板显著图像。
基于走台板滤波图像，对走台板表面对应的细节纹理图像进行计算：
W＝L-F′
其中，W为走台板细节纹理图像，L为走台板滤波图像，F′为优化后得到的最终走台板整体轮廓图像。
为增加走台板表面缺陷检测的精度，对于不同的图像数据本发明将采用不同的显著处理方法，对于整体轮廓图像，为使得其内的细节以及边缘信息更加突出，本发明采用直方图均衡化对其进行处理，以增加图像整体的对比度；对于所述细节纹理图像，为提高其内部的细节纹理信息，本发明将采用伽马变换算法对其进行处理，其中伽马变换参数取值为0.3，以提高细节纹理图像中较暗细节纹理的亮度信息，增加图像亮度的均匀程度。
最后，基于显著处理后的整体轮廓图像FXZ和细节纹理图像WXZ，本发明将获取最终显著处理后的走台板图像数据：
LXZ＝FXZ+WXZ
式中，LXZ(i)为最终显著性处理后的走台板显著图像，所述显著图像能有效突出走台板表面的缺陷区域和正常区域像素点的区别特征，便于对缺陷像素点进行准确检测。
104.对走台板显著图像进行超像素分割得到多个超像素块，计算两两超像素块的相似程度，当相似程度大于第一阈值时，将对应两两超像素块划分为同一类别。
对于每个超像素块，本发明将对其像素块特征参数进行提取，根据超像素块内包含像素点的像素值计算超像素块对应的灰度共生矩阵，为降低系统计算量，对走台板显著图像中像素点的像素值进行灰度等级划分，本发明将图像的灰度级均分为8个等级，对应各超像素块灰度共生矩阵维度大小为8*8，将其作为像素块的特征参数矩阵Hk，代表超像素块k的特征参数矩阵，用于表征超像素块内的像素分布情况。
计算两两超像素块的相似程度的方法为：
根据超像素块内包含像素点的像素值计算超像素块对应的灰度共生矩阵，将其作为超像素块的特征参数矩阵Hk，根据两两特征参数矩阵中每一行向量的余弦相似度计算两两超像素块相似程度，表达式为：
Figure BDA0003524610660000101
其中，
Figure BDA0003524610660000102
代表超像素块1与第超像素块2的特征参数矩阵H1，H2的第一行向量对应的余弦相似度，R1，2代表超像素块1和超像素块2之间的相似程度，h表示特征参数矩阵中的第h行向量。
本发明将对所述相似程度设定程度阈值RT＝0.85，将相似程度高于0.85的两个超像素块作为同一个类别的超像素块，实现超像素块的分类，为提高像素点的划分精度，实现缺陷像素点的准确检测，本发明将对分类后的超像素块进行迭代处理，重复进行上述步骤，直至任意两个超像素块的相似程度均不高于RT时，即停止超像素块的分类处理。至此，可得到最终分类后的各像素块，实现不同类别像素点划分。
105.获取各个类别的超像素块中每个像素点的梯度幅值，获取各个类别的超像素块的梯度均值，根据每个像素点的梯度幅值以及像素点所在超像素块的梯度均值计算每个像素点的类别归属指标。
为进一步提高缺陷像素点的检测精度，本发明对最终合并后获取的各像素块进行分析。
计算各个像素点的类别归属指标的方法为：
超像素块内各个像素点的梯度幅值，根据每个超像素块内所有像素点的梯度幅值得到该像素块对应的梯度均值，计算超像素块c内各像素点的类别归属指标：
Figure BDA0003524610660000111
其中
Figure BDA0003524610660000112
表示第i个像素点属于第c个超像素块的类别归属指标，gi表示第i个像素点的梯度幅值，
Figure BDA0003524610660000113
表示第c个超像素块的梯度均值。
106.根据每个像素点的类别归属指标对各个类别超像素块中的所有像素点进行划分，根据划分后的各个超像素块得到走台板表面缺陷区域
对走台板显著图像中所有像素点进行对应类别划分，得到走台板表面缺陷区域的方法为：
当走台板显著图像中各个像素点在对应超像素块中的类别归属指标大于预设阈值时，将该像素点划分到对应超像素块区域中；
当存在像素点的类别归属指标低于预设阈值时，计算该像素点归属于其他像素块的类别归属指标，将对应像素点划分到类别归属指标序列中指标值最大对应的超像素块中；
本发明设置当类别归属度指标低于0.6时，将认为对应像素点类别待定，需要对其进行分析以实现准确划分。
将包含像素点最多的超像素块作为正常的像素块，其他各个超像素块作为走台板表面的缺陷像素块，将各缺陷像素块对应的连通域作为走台板表面缺陷区域。
正常情况下，根据先验走台板表面的缺陷为各种类型的小区域缺陷，因此，本发明将包含像素点最多的像素块作为正常的像素块，对应走台板表面正常的区域，其他各像素块作为走台板表面的缺陷像素块，各缺陷像素块对应的连通域记为缺陷连通域，实现对走台板表面缺陷的检测识别。
如图2所示，给出了本发明实施例的一种基于图像识别的走台板表面缺陷检测人工智能系统，包括图像采集模块、整体轮廓图像计算模块、图像显著处理模块、超像素分割模块、像素点分类指标计算模块以及缺陷区域检测模块；
图像采集模块，用于采集走台板表面图像并进行预处理，得到走台板滤波图像；
整体轮廓图像计算模块，用于接收图像采集模块中得到的走台板滤波图像，根据引导滤波函数的模型系数计算走台板滤波图像中的整体轮廓图像；
图像显著处理模块，用于根据走台板滤波图像和走台板整体轮廓图像获取走台板细节纹理图像，分别对走台板整体轮廓图像以及走台板细节纹理图像进行显著处理，根据显著处理后的走台板整体轮廓图像以及走台板细节纹理图像得到走台板显著图像；
超像素分割模块，用于接收图像显著处理模块中得到的走台板显著图像进行超像素分割，得到多个超像素块，计算两两超像素块的相似程度，当相似程度大于第一阈值时，将对应两两超像素块划分为同一类别；
像素点类别指标计算模块，获取各个类别的超像素块中每个像素点的梯度幅值，获取各个类别的超像素块的梯度均值，根据每个像素点的梯度幅值以及对应像素点所在超像素块的梯度均值计算每个像素点的类别归属指标；
缺陷区域检测模块，用于根据每个像素点的类别归属指标对各个类别超像素块中的所有像素点进行划分，根据划分后的各个超像素块得到走台板表面缺陷区域。
根据本发明提出的技术手段，通过图像数据对走台板表面进行缺陷检测，检测过程为全自动化，具有无接触性，可避免划伤表面，降低对走台板的二次损害。基于图像数据进行检测分析，提取走台板对应的显著图像，提高了缺陷区域与正常区域的差异度，在对显著图像进行超像素分割之后，进一步对像素点的归属类别进行计算，从而将超像素块精确进行划分，提高了检测效率的同时，大大提升了走台板缺陷状况的检测精度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的走台板表面缺陷检测方法，其特征在于，包括：
采集走台板表面图像并进行预处理，得到走台板滤波图像；
根据引导滤波函数的模型系数计算走台板滤波图像中的整体轮廓图像；
根据走台板滤波图像和走台板整体轮廓图像获取走台板细节纹理图像，分别对走台板整体轮廓图像以及走台板细节纹理图像进行显著处理，根据显著处理后的走台板整体轮廓图像以及走台板细节纹理图像得到走台板显著图像；
对走台板显著图像进行超像素分割得到多个超像素块，计算两两超像素块的相似程度，当相似程度大于第一阈值时，将对应两两超像素块划分为同一类别；
获取各个类别的超像素块中每个像素点的梯度幅值，获取各个类别的超像素块的梯度均值，根据每个像素点的梯度幅值以及像素点所在超像素块的梯度均值计算每个像素点的类别归属指标；
根据每个像素点的类别归属指标对各个类别超像素块中的所有像素点进行划分，根据划分后的各个超像素块得到走台板表面缺陷区域。
2.根据权利要求1所述的一种基于图像识别的走台板表面缺陷检测方法，其特征在于，根据引导滤波函数的模型系数计算走台板滤波图像中的整体轮廓图像的方法为：
建立代价函数计算引导滤波函数的模型系数，根据模型系数计算走台版滤波图像中的整体轮廓图像。
3.根据权利要求2所述的一种基于图像识别的走台板表面缺陷检测方法，其特征在于，获取走台板整体轮廓图像后，还包括：
根据走台板滤波图像中每个像素点的梯度值构建像素点特征描述子，利用所述像素点特征描述子对所述代价函数进行优化，根据优化后的代价函数计算优化后的模型系数，根据优化后的模型系数计算最终走台板整体轮廓图像。
4.根据权利要求3所述的一种基于图像识别的走台板表面缺陷检测方法，其特征在于，构建所述像素点特征描述子的方法为：
对走台板滤波图像进行边缘提取，得到走台板梯度信息图像，获取走台板梯度信息图像中每个像素点的梯度值，根据每个像素点的梯度值构建像素点特征描述子，表达式为：
Figure FDA0003524610650000021
其中，γ(i)为像素点i的特征描述子，S(i)为走台板梯度信息图像中像素点i的梯度值，S(j)为走台板梯度信息图像中像素点j的梯度值，M为走台板梯度信息图像中像素点的数量，τ为避免分母为零的模型参数。
5.根据权利要求3所述的一种基于图像识别的走台板表面缺陷检测方法，其特征在于，优化后代价函数的表达式为：
Figure FDA0003524610650000022
其中，D(ak，bk)表示代价函数，I为引导图像，L代表走台板滤波图像，ak、bk是引导图像以像素点k为中心的局部窗口wk的模型系数，wk是包含像素点i的窗口，尺寸为w，γ(i)为第i个像素点的特征描述子，ε为调控系数。
6.根据权利要求3所述的一种基于图像识别的走台板表面缺陷检测方法，其特征在于，计算最终走台板整体轮廓图像的表达式为：
Figure FDA0003524610650000023
其中，F′表示最终走台板整体轮廓图像，a′k、b′k表示优化后的模型系数，I(i)为引导图像，wk为包含像素点i的窗口，尺寸为w，N为窗口wk内包含的像素点的数量。
7.根据权利要求1所述的一种基于图像识别的走台板表面缺陷检测方法，其特征在于，计算两两超像素块的相似程度的方法为：
根据超像素块内包含像素点的像素值计算超像素块对应的灰度共生矩阵，将其作为超像素块的特征参数矩阵Hk，根据两两特征参数矩阵中每一行向量的余弦相似度计算两两超像素块相似程度的表达式为：
Figure FDA0003524610650000024
其中，
Figure FDA0003524610650000025
代表超像素块1与第超像素块2的特征参数矩阵H1，H2的第一行向量对应的余弦相似度，R1，2代表超像素块1和超像素块2之间的相似程度，h表示特征参数矩阵中的第h行向量。
8.根据权利要求1所述的一种基于图像识别的走台板表面缺陷检测方法，其特征在于，计算各个像素点的类别归属指标的方法为：
获取各个超像素块内每个像素点的梯度幅值，根据每个超像素块内所有像素点的梯度幅值得到该像素块对应的梯度均值，计算超像素块c内各像素点的类别归属指标：
Figure FDA0003524610650000031
其中
Figure FDA0003524610650000032
表示第i个像素点属于第c个超像素块的类别归属指标，gi表示第i个像素点的梯度幅值，
Figure FDA0003524610650000033
表示第c个超像素块的梯度均值。
9.根据权利要求8所述的一种基于图像识别的走台板表面缺陷检测方法，其特征在于，根据每个像素点的类别归属指标对各个类别超像素块中的所有像素点进行划分，根据划分后的各个超像素块得到走台板表面缺陷区域的方法为：
当走台板显著图像中各个像素点在对应超像素块中的类别归属指标大于预设阈值时，将该像素点划分到对应超像素块区域中；
当存在像素点的类别归属指标低于预设阈值时，计算该像素点归属于其他像素块的类别归属指标，将对应像素点划分到类别归属指标序列中指标值最大对应的像素块中；
将包含像素点最多的超像素块作为正常的像素块，其他各个超像素块作为走台板表面的缺陷像素块，将各缺陷像素块对应的连通域作为走台板表面缺陷区域。
10.一种基于图像识别的走台板表面缺陷检测人工智能系统，其特征在于，包括图像采集模块、整体轮廓图像计算模块、图像显著处理模块、超像素分割模块、像素点分类指标计算模块以及缺陷区域检测模块；
图像采集模块，用于采集走台板表面图像并进行预处理，得到走台板滤波图像；
整体轮廓图像计算模块，用于接收图像采集模块中得到的走台板滤波图像，根据引导滤波函数的模型系数计算走台板滤波图像中的整体轮廓图像；
图像显著处理模块，用于根据走台板滤波图像和走台板整体轮廓图像获取走台板细节纹理图像，分别对走台板整体轮廓图像以及走台板细节纹理图像进行显著处理，根据显著处理后的走台板整体轮廓图像以及走台板细节纹理图像得到走台板显著图像；
超像素分割模块，用于接收图像显著处理模块中得到的走台板显著图像进行超像素分割，得到多个超像素块，计算两两超像素块的相似程度，当相似程度大于第一阈值时，将对应两两超像素块划分为同一类别；
像素点类别指标计算模块，获取各个类别的超像素块中每个像素点的梯度幅值，获取各个类别的超像素块的梯度均值，根据每个像素点的梯度幅值以及对应像素点所在超像素块的梯度均值计算每个像素点的类别归属指标；
缺陷区域检测模块，用于根据每个像素点的类别归属指标对各个类别超像素块中的所有像素点进行划分，根据划分后的各个超像素块得到走台板表面缺陷区域。
CN202210188585.9A 2022-02-28 2022-02-28 基于图像识别的走台板表面缺陷检测方法及人工智能系统 Active CN114549497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210188585.9A CN114549497B (zh) 2022-02-28 2022-02-28 基于图像识别的走台板表面缺陷检测方法及人工智能系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210188585.9A CN114549497B (zh) 2022-02-28 2022-02-28 基于图像识别的走台板表面缺陷检测方法及人工智能系统

Publications (2)

Publication Number Publication Date
CN114549497A CN114549497A (zh) 2022-05-27
CN114549497B true CN114549497B (zh) 2022-11-29

Family

ID=81679985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210188585.9A Active CN114549497B (zh) 2022-02-28 2022-02-28 基于图像识别的走台板表面缺陷检测方法及人工智能系统

Country Status (1)

Country Link
CN (1) CN114549497B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693676B (zh) * 2022-05-31 2022-08-19 南通市通州翔鹏纺织品有限公司 一种新材料纺织品漂白缺陷光学检测方法及装置
CN114937039B (zh) * 2022-07-21 2022-10-25 阿法龙(山东)科技有限公司 一种钢管缺陷智能检测方法
CN115063409B (zh) * 2022-07-28 2022-11-11 南通恒强轧辊有限公司 一种机械刀具表面材质检测方法及系统
CN115049657A (zh) * 2022-08-15 2022-09-13 启东晶尧光电科技有限公司 一种玻璃缺陷检测方法
CN115049835B (zh) * 2022-08-16 2022-11-29 众烁精密模架(南通)有限公司 基于压铸模具缺陷识别的数据预处理方法
CN115330792A (zh) * 2022-10-13 2022-11-11 南通润厚设备工程有限公司 一种基于人工智能的污水检测方法及系统
CN115797347B (zh) * 2023-02-06 2023-04-28 临沂农业科技职业学院(筹) 基于计算机视觉的自动化生产线异常监控方法
CN117541578B (zh) * 2024-01-04 2024-04-16 深圳市鑫显光电科技有限公司 一种高性能全视角液晶显示屏检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021015782A1 (en) * 2019-07-25 2021-01-28 Siemens Industry Software Inc. Image-based defect detections in additive manufacturing
CN112819845A (zh) * 2021-02-26 2021-05-18 华南理工大学 柔性封装基板轮廓、线宽线距缺陷检测方法及介质和设备
CN113781402A (zh) * 2021-08-19 2021-12-10 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN113989279A (zh) * 2021-12-24 2022-01-28 武汉华康龙兴工贸有限公司 基于人工智能及图像处理的塑料薄膜质量检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021015782A1 (en) * 2019-07-25 2021-01-28 Siemens Industry Software Inc. Image-based defect detections in additive manufacturing
CN112819845A (zh) * 2021-02-26 2021-05-18 华南理工大学 柔性封装基板轮廓、线宽线距缺陷检测方法及介质和设备
CN113781402A (zh) * 2021-08-19 2021-12-10 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN113989279A (zh) * 2021-12-24 2022-01-28 武汉华康龙兴工贸有限公司 基于人工智能及图像处理的塑料薄膜质量检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
光伏玻璃的缺陷显著图检测;王哲等;《计算机系统应用》;20180415(第04期);全文 *

Also Published As

Publication number Publication date
CN114549497A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN114549497B (zh) 基于图像识别的走台板表面缺陷检测方法及人工智能系统
CN113989279B (zh) 基于人工智能及图像处理的塑料薄膜质量检测方法
CN109507192B (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN116205919B (zh) 基于人工智能的五金零件生产质量检测方法及系统
CN110223266A (zh) 一种基于深度卷积神经网络的列车轮对踏面损伤故障诊断方法
CN114757900A (zh) 基于人工智能的纺织品缺陷类型识别方法
CN109472788B (zh) 一种飞机铆钉表面的伤痕检测方法
CN108416814B (zh) 一种菠萝头部的快速定位与识别方法及系统
CN113935666B (zh) 基于图像处理的建筑装饰墙面砖异常评估方法
CN112435235B (zh) 一种基于图像分析的籽棉含杂率检测方法
CN106780437B (zh) 一种快速qfn芯片塑封图像获取与放大方法
CN112258444A (zh) 一种电梯钢丝绳检测方法
CN111968082A (zh) 一种基于机器视觉的产品包装缺陷检测识别方法
CN114037691A (zh) 一种基于图像处理的碳纤维板裂纹检测方法
CN110728286B (zh) 一种基于火花图像的砂带磨削材料去除率识别方法
CN114332081B (zh) 基于图像处理的纺织品表面异常判定方法
CN112668725A (zh) 一种基于改进特征的金属洗手盆缺陷目标训练方法
CN116452506A (zh) 一种基于机器学习的井下煤矸石智能视觉识别分选方法
CN114612403B (zh) 一种上料皮带破损缺陷智能检测方法及系统
CN116524205A (zh) 一种污水曝气自动检测识别方法
CN112528740A (zh) 一种压板状态识别方法
CN116524269A (zh) 一种视觉识别检测系统
CN114943744A (zh) 基于局部Otsu阈值化的边缘检测方法
CN112184619A (zh) 一种基于深度学习的金属部件表面缺陷检测方法
CN114463814B (zh) 一种基于图像处理的快速证件照眼镜检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant