CN113538429A - 基于图像处理的机械零件表面缺陷检测方法 - Google Patents

基于图像处理的机械零件表面缺陷检测方法 Download PDF

Info

Publication number
CN113538429A
CN113538429A CN202111083642.9A CN202111083642A CN113538429A CN 113538429 A CN113538429 A CN 113538429A CN 202111083642 A CN202111083642 A CN 202111083642A CN 113538429 A CN113538429 A CN 113538429A
Authority
CN
China
Prior art keywords
image
detected
light source
acquiring
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111083642.9A
Other languages
English (en)
Other versions
CN113538429B (zh
Inventor
李锦莲
郑妙春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANTONGYOUYUAN ART DESIGN Co.,Ltd.
Original Assignee
Haimen Chuangrui Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haimen Chuangrui Machinery Co ltd filed Critical Haimen Chuangrui Machinery Co ltd
Priority to CN202111083642.9A priority Critical patent/CN113538429B/zh
Publication of CN113538429A publication Critical patent/CN113538429A/zh
Application granted granted Critical
Publication of CN113538429B publication Critical patent/CN113538429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及基于图像处理的机械零件表面缺陷检测方法。该方法包括：采集标准光源下机械零件的表面图像，获取表面图像的分割图像作为初步的缺陷检测结果；筛选出分割图像中的待检测区域，对待检测区域进行连通域提取并聚类，得到多个待检测区域集合；对于每个待检测区域集合，移动光源，采集第二表面图像，获取待检测区域集合在第二表面图像中的特征信息；根据特征信息得到缺陷显著性最大时对应的最佳光源；获取每个待检测区域集合在对应的最佳光源下的最佳图像组成融合图像，对融合图像进行语义分割得到第二分割图像，得到检测结果。本发明实施例能够对不同的缺陷自适应调节光源，得到准确的缺陷检测结果。

Description

基于图像处理的机械零件表面缺陷检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于图像处理的机械零件表面缺陷检测方法。
背景技术
在机械零件生产加工的过程中，由于生产设备故障、原材料混入杂物以及作业人员操作不当等原因均会在机械零件的表面产生缺陷。缺陷对机械零件的安全使用有很大的影响，为了保障机械零件自动化生产的产品质量以及使用时安全和寿命，对机械零件的表面进行缺陷检测是不可缺少的关键环节。
传统的自动化检测方法多基于机器视觉的技术，采集零件表面图像，进行相应图像处理进行表面缺陷提取。但缺陷情况往往受到光照等环境影响，仅仅通过图像信息很难全面分析表面缺陷，甚至有时根本采集不到缺陷信息，误报率和漏检率比较高。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图像处理的机械零件表面缺陷检测方法，所采用的技术方案具体如下：
本发明实施例提供一种基于图像处理的机械零件表面缺陷检测方法，该方法包括以下步骤：
采集竖直照射的标准光源下机械零件的表面图像，通过对所述表面图像进行语义分割得到以每个像素点属于缺陷的置信度作为像素值的分割图像，获取初步的缺陷检测结果；
根据所述置信度的大小筛选出所述分割图像中所述缺陷检测结果不准确的待检测区域，对所述待检测区域进行连通域提取并对提取的连通域进行聚类，得到多个待检测区域集合；
对于每个所述待检测区域集合，移动所述光源，采集第二表面图像，获取所述待检测区域集合在所述第二表面图像中的的特征信息；根据所述特征信息得到缺陷显著性最大时对应的最佳光源；所述特征信息包括亮度特征的变化、图像综合特征的变化以及复杂度；
获取每个所述待检测区域集合在对应的所述最佳光源下的最佳图像，将所有所述最佳图像对应像素值相加组成融合图像，对所述融合图像进行所述语义分割，得到第二分割图像，取所述分割图像和所述第二分割图像对应像素点的最大值组成检测结果图像，得到检测结果。
优选的，所述语义分割还包括以下步骤：
获取所述表面图像中每个像素点邻域内的灰度共生矩阵，计算所述灰度共生矩阵的信息熵，根据所述信息熵构建语义分割网络的损失函数。
优选的，所述置信度的获取方法为：
通过语义分割网络对所述表面图像中每个像素点进行二分类，得到每个像素点属于缺陷的置信度。
优选的，其特征在于，所述待检测区域的筛选方法为：
当所述置信度大于最小阈值且小于最大阈值时，所述置信度对应的像素点的检测结果不准确，将其像素值置为1，其余置为0，得到所述待检测区域。
优选的，所述待检测区域集合的获取步骤包括：
获取每个所述连通域的最小外接矩形，由所述最小外接矩形的方向和中心点坐标组成对应的连通域的特征向量；
根据所述特征向量对所有所述连通域进行距离聚类，得到聚类结果，每一类对应一个待检测区域集合。
优选的，所述亮度特征的变化的获取方法为：
将所述表面图像和所述第二表面图像分别转换至带有亮度的颜色空间，根据亮度通道得到光源变化前后的亮度特征图像，将其对应像素点的像素值相减，得到每个位置的亮度特征的变化。
优选的，所述图像综合特征的变化的获取步骤包括：
根据所述灰度共生矩阵获取每个位置的对比度；
获取所述第二表面图像中每个像素点邻域内的的第二灰度共生矩阵，并获取每个位置的第二对比度；
将所述第二对比度与所述对比度相减，获得每个位置的所述图像综合特征的变化。
优选的，所述复杂度的获取方法为：
计算所述第二灰度共生矩阵每个像素点的第二信息熵，以所述第二信息熵作为所述复杂度。
优选的，所述亮度特征图像的获取方法为：
通过不同位置参数的光源下的理想亮度特征训练神经网络，利用训练完成的神经网络根据当前光源的位置参数获取所述亮度特征图像。
本发明实施例至少具有如下有益效果：
通过对检测结果不准确的待检测区域调节光源，得到缺陷最显著时的最佳光源，在处于最佳光源时对其进行二次检测，得到检测结果。本发明实施例能够根据不同的缺陷缺陷自适应的调节光源参数，增强缺陷特征，降低像素点邻域内的信息熵，以得到准确的缺陷检测结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于图像处理的机械零件表面缺陷检测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的机械零件表面缺陷检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图像处理的机械零件表面缺陷检测方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的机械零件表面缺陷检测方法的步骤流程图，该方法包括以下步骤：
步骤S001，采集竖直照射的标准光源下机械零件的表面图像，通过对表面图像进行语义分割得到以每个像素点属于缺陷的置信度作为像素值的分割图像，获取初步的缺陷检测结果。
需要说明的是本发明实施例所使用的光源为光强恒定、位姿可随意变化的可移动光源；光源的位姿用在空间中的偏航角
Figure DEST_PATH_IMAGE002
、俯仰角
Figure DEST_PATH_IMAGE004
以及翻滚角
Figure DEST_PATH_IMAGE006
表示，即光源的位置参数为
Figure DEST_PATH_IMAGE008
，当该光源竖直向下照射机械零件时为标准光源；机械零件可以是齿轮、轴承等等。
具体的步骤包括：
1.获取表面图像中每个像素点邻域内的灰度共生矩阵，计算灰度共生矩阵的信息熵，根据信息熵构建语义分割网络的损失函数。
采集标准光源下机械零件表面的RGB图像，考虑到机械零件表面以及外界环境的复杂性会影响机械零件表面缺陷检测的准确性，对RGB图像中每一个像素点邻域范围内的复杂度进行量化，用于语义分割网络损失函数的构建。
本发明实施例用邻域范围内的信息熵
Figure DEST_PATH_IMAGE010
反映复杂度：设置每一个像素点的邻域范围为
Figure DEST_PATH_IMAGE012
的窗口，利用灰度共生矩阵获得每个像素点邻域范围内的熵值，记像素点
Figure DEST_PATH_IMAGE014
邻域范围内的熵值为
Figure DEST_PATH_IMAGE016
，由每一个像素点的信息熵，组成信息熵图像
Figure DEST_PATH_IMAGE018
。
作为一个示例，在本发明实施例中
Figure DEST_PATH_IMAGE020
取值为5。
需要说明的是，信息熵图像
Figure DEST_PATH_IMAGE022
与原始RGB图像大小相同。
每个像素点的熵值
Figure DEST_PATH_IMAGE024
反映了图像灰度分布的复杂程度，熵值越大，图像越复杂，对于表面缺陷检测而言得到准确的分割结果就越困难。
本发明实施例中语义分割网络的训练集为采集到的机械零件表面图像；标签数据集为人为对训练图像进行标注获得的，标注过程为：将缺陷区域的像素值置为1，其他区域的像素值置为0。根据信息熵设计的损失函数如下：
Figure DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE028
为图像的尺寸信息，
Figure DEST_PATH_IMAGE030
为RGB图像对应的信息熵图像
Figure 487800DEST_PATH_IMAGE022
中位置
Figure DEST_PATH_IMAGE032
的熵值，信息熵越大表示越复杂，对该像素点匹配的权重越大；
Figure DEST_PATH_IMAGE034
为标签数据中RGB图像上像素点
Figure 338949DEST_PATH_IMAGE032
属于缺陷区域的置信度，该值为0或1；为网络输出的RGB图像上像素点
Figure 504482DEST_PATH_IMAGE032
属于缺陷区域的置信度。
利用梯度下降法不断更新网络参数，当损失函数不再降低时完成训练。
2.通过语义分割网络对表面图像中每个像素点进行二分类，得到每个像素点属于缺陷的置信度。
完成训练的语义分割网络为Encoder-Decoder结构，输入为相机采集到的RGB图像，输出为机械零件表面缺陷的分割图像
Figure DEST_PATH_IMAGE036
。
具体的，通过语义分割网络对RGB图像中每一个像素点进行二分类，得到每个像素点属于缺陷的置信度
Figure DEST_PATH_IMAGE038
，以置信度作为对应像素点的像素值得到该分割图像，作为初步的缺陷检测结果。
步骤S002，根据置信度的大小筛选出分割图像中缺陷检测结果不准确的待检测区域，对待检测区域进行连通域提取并对提取的连通域进行聚类，得到多个待检测区域集合。
具体的步骤包括：
1.获取检测结果不准确的待检测区域。
当置信度大于最小阈值且小于最大阈值时，置信度对应的像素点的检测结果不准确，将其像素值置为1，其余置为0，得到待检测区域。
初步的缺陷检测结果
Figure DEST_PATH_IMAGE040
中像素点的数值表示属于缺陷的置信度，取值范围为
Figure DEST_PATH_IMAGE042
；越接近1表示当前像素点越有可能属于缺陷区域。设定置信度的最小阈值
Figure DEST_PATH_IMAGE044
和最大阈值
Figure DEST_PATH_IMAGE046
，当置信度
Figure DEST_PATH_IMAGE048
或
Figure DEST_PATH_IMAGE050
时，得到的缺陷检测结果为准确的；当置信度
Figure DEST_PATH_IMAGE052
时表示未得到准确的结果，需要对其进行进一步的检测。将初步的缺陷检测结果
Figure 964807DEST_PATH_IMAGE040
中
Figure 465058DEST_PATH_IMAGE052
的像素点的数值置为1，其余区域的像素值置为0，得到二值图像
Figure DEST_PATH_IMAGE054
，图中前景区域为待检测区域，即需要进一步检测的区域。
作为一个示例，本发明实施例中，最大阈值和最小阈值的经验取值为
Figure DEST_PATH_IMAGE056
。
2.获取待检测区域集合。
2.1对二值图像
Figure DEST_PATH_IMAGE058
进行连通域分析，获得其中所有连通域信息，获取每个连通域的最小外接矩形，由最小外接矩形的方向和中心点坐标组成对应的连通域的特征向量。
以第z个连通域为例进行特征提取，首先获得该连通域的最小外接矩形，获得最小外接矩形的左上角和右下角的连线与像素坐标系水平方向的夹角
Figure DEST_PATH_IMAGE060
，反映连通域的方向信息；获得该最小外接矩形的中心点坐标
Figure DEST_PATH_IMAGE062
，反映连通域的位置信息；得到该连通域的特征向量
Figure DEST_PATH_IMAGE064
。
2.2 根据特征向量对所有连通域进行距离聚类，得到聚类结果，每一类对应一个待检测区域集合。
利用距离聚类对所有的连通域进行聚类操作，定义连通域1与连通域2的距离公式为
Figure DEST_PATH_IMAGE066
，当两连通域之间的距离不大于距离阈值
Figure DEST_PATH_IMAGE068
时认为属于同一个簇；得到聚类结果。
作为一个示例，本发明实施例中距离阈值
Figure DEST_PATH_IMAGE070
取值为1。
在聚类结果中属于同一个簇内的所有连通域对应一个待检测区域集合，其中所有连通域的方向信息和位置信息近似，对应的最佳光源参数相同。
获得初步的检测结果中置信度差的区域作为待检测区域，该区域需要进一步检测，根据区域特征进行聚类，属于同一个簇的缺陷对应的最佳光源参数相同只需要调节一次光源即可，提升表面缺陷检测的效率。
步骤S003，对于每个待检测区域集合，移动光源，采集第二表面图像，获取待检测区域集合的特征信息；根据特征信息得到缺陷显著性最大时对应的最佳光源；特征信息包括亮度特征的变化、图像综合特征的变化以及第二表面图像的复杂度。
需要说明的是，随着光源位置参数的变化，采集到的特征信息也在发生变化，将特征信息的变化分解为：图像亮度特征的变化
Figure DEST_PATH_IMAGE072
以及图像纹理特征的变化
Figure DEST_PATH_IMAGE074
。通过改变光源参数使得图像纹理特征的变化
Figure 744730DEST_PATH_IMAGE074
更明显，增强缺陷的特征。
具体的步骤包括：
1.将表面图像和第二表面图像分别转换至带有亮度的颜色空间，根据亮度通道得到光源变化前后的亮度特征图像，将其对应像素点的像素值相减，得到每个位置的亮度特征的变化。
具体的，通过不同位置参数的光源下的理想亮度特征训练神经网络，利用训练完成的神经网络根据当前光源的位置参数获取亮度特征图像。
神经网络的结构为单
Figure DEST_PATH_IMAGE076
结构，输入为光源参数向量
Figure 615035DEST_PATH_IMAGE008
，输出为与原始RGB图像大小相同的亮度特征图像
Figure DEST_PATH_IMAGE078
，需要说明的是
Figure 151321DEST_PATH_IMAGE078
为亮度通道的灰度图，其中像素值代表对应位置的亮度。
神经网络的训练数据为不同光源位置参数，标签数据的获取方法如下：采集对应光源位置参数下的RGB图像，将RGB图像转换为HSI颜色空间中，需要说明的是HSI颜色空间中三个通道分别表示色相、饱和度以及亮度；将亮度通道作为当前光源参数对应的亮度特征图像
Figure 873289DEST_PATH_IMAGE078
。
得到训练数据集以及对应的标签数据
Figure DEST_PATH_IMAGE080
，设计损失函数为：
Figure DEST_PATH_IMAGE082
其中，
Figure 720766DEST_PATH_IMAGE028
为亮度特征图像的尺寸信息；
Figure DEST_PATH_IMAGE084
为网络输出的亮度图像中位置
Figure 454367DEST_PATH_IMAGE032
处的像素值，
Figure DEST_PATH_IMAGE086
为标签亮度图像中位置
Figure 898904DEST_PATH_IMAGE032
处的像素值。
利用梯度下降法完成训练，在推理阶段，根据光源参数即可得到图像的亮度特征
Figure 373748DEST_PATH_IMAGE078
。
为了避免图像亮度特征的变化对图像纹理特征变化的影响，获得各位置的亮度特征变化
Figure 949217DEST_PATH_IMAGE072
。记变化之前的光源位置参数为
Figure DEST_PATH_IMAGE088
，变化之后的光源位置参数为
Figure DEST_PATH_IMAGE090
，则光源变化之后位置
Figure 147111DEST_PATH_IMAGE014
的亮度特征变化为
Figure DEST_PATH_IMAGE092
。
2.获取图像综合特征的变化。
具体的，根据灰度共生矩阵获取每个位置的对比度；获取第二表面图像中每个像素点邻域内的的第二灰度共生矩阵，并获取每个位置的第二对比度；将第二对比度与对比度相减，获得每个位置的图像综合特征的变化。
本发明实施例利用灰度共生矩阵中的对比度
Figure DEST_PATH_IMAGE094
量化图像综合特征的变化。对比度
Figure 537117DEST_PATH_IMAGE094
反映了图像中局部变化的多少，反映了图像的清晰度和纹理的沟纹深浅，对比度大，纹理的沟纹越深，反差越大，效果越清晰；反之，对比度小，则沟纹浅，效果模糊。
需要说明的是，由于光源发生变化，而相机位置固定，相机采集的不同图像中的亮度特征发生变化，纹理特征也发生变化，因此，图像综合特征的变化包括亮度特征的变化和纹理特征的变化。获得光源变化前后每个像素点的对比度变化，位置
Figure 46727DEST_PATH_IMAGE014
处的对比度变化为
Figure DEST_PATH_IMAGE096
，对比度变大表示图像综合特征增强，相应的，图像综合特征的变化与亮度特征的变化和纹理特征的变化的关系为：
Figure DEST_PATH_IMAGE098
。
其中
Figure DEST_PATH_IMAGE100
表示光源更改之后的对比度，
Figure DEST_PATH_IMAGE102
表示更改之前的对比度，
Figure DEST_PATH_IMAGE104
表示纹理特征的变化。
3.获取第二表面图像的复杂度。
计算第二灰度共生矩阵每个像素点的第二信息熵
Figure DEST_PATH_IMAGE106
，以第二信息熵作为复杂度。
4.获取最佳光源。
为了保障光源在位置参数改变后，增强图像纹理特征的同时，降低外界环境对图像复杂度的影响，构建缺陷显著性的目标函数如下：
Figure DEST_PATH_IMAGE108
其中，
Figure DEST_PATH_IMAGE110
表示属于一个簇内的区域，即待检测区域集合
Figure 486540DEST_PATH_IMAGE110
。
第一部分
Figure DEST_PATH_IMAGE112
保障了图像纹理特征的增强，第二部分
Figure DEST_PATH_IMAGE114
确保降低了外界环境对图像复杂度的影响。
当光源的位置参数
Figure 335679DEST_PATH_IMAGE090
发生变化时，光源变化后采集的图像中的
Figure 243723DEST_PATH_IMAGE100
、
Figure DEST_PATH_IMAGE116
和
Figure 40296DEST_PATH_IMAGE106
都会相应地发生变化，位置参数为唯一的自变量，利用遗传算法获得最优的
Figure 19885DEST_PATH_IMAGE090
，作为当前待检测区域集合
Figure 972797DEST_PATH_IMAGE110
对应的最佳光源位置参数。
按照同样的方法，获取每个待检测区域集合的最佳光源的位置参数。
针对每个待检测区域集合的特征获得最佳的光源位置参数，增强图像的纹理特征，同时降低外界环境对图像复杂度的影响，得到特征明显的图像。
步骤S004，获取每个待检测区域集合在对应的最佳光源下的最佳图像，将所有最佳图像对应像素值相加组成融合图像，对融合图像进行语义分割，得到第二分割图像，取分割图像和第二分割图像对应像素点的最大值组成检测结果图像，得到检测结果。
具体的步骤包括：
步骤S003中已经获得每个待检测区域集合的最佳光源的位置参数，保留每个待检测区域集合在对应的最佳光源下的图像信息，以待检测区域集合
Figure 317322DEST_PATH_IMAGE110
为例，在其最佳光源下保留待检测区域集合
Figure 535945DEST_PATH_IMAGE110
内的图像信息，其他区域的像素值置为0，得到待检测区域集合
Figure 506175DEST_PATH_IMAGE110
的最佳图像
Figure DEST_PATH_IMAGE118
。按照相同的方法得到每个待检测区域集合的最佳图像，将所有的最佳图像通过对应位置的像素值相加进行融合得到优化后的融合图像
Figure DEST_PATH_IMAGE120
。
将缺陷特征明显的融合图像
Figure 530238DEST_PATH_IMAGE120
送入步骤S001中的语义分割网络，得到第二分割图像
Figure DEST_PATH_IMAGE122
，第二分割图像为根据明显的缺陷特征得到的缺陷检测结果，对于每个位置上的像素点，取分割图像
Figure 639140DEST_PATH_IMAGE040
和第二分割图像
Figure 548321DEST_PATH_IMAGE122
中更大的像素值作为检测结果图像中该位置处的像素值，得到最终精确的检测结果
Figure DEST_PATH_IMAGE124
。
综上所述，本发明实施例采集竖直照射的标准光源下机械零件的表面图像，通过对表面图像进行语义分割得到以每个像素点属于缺陷的置信度作为像素值的分割图像，获取初步的缺陷检测结果；根据置信度的大小筛选出分割图像中缺陷检测结果不准确的待检测区域，对待检测区域进行连通域提取并对提取的连通域进行聚类，得到多个待检测区域集合；对于每个待检测区域集合，移动光源，采集第二表面图像，获取待检测区域集合的特征信息；根据特征信息得到缺陷显著性最大时对应的最佳光源；特征信息包括亮度特征的变化、图像综合特征的变化以及第二表面图像的复杂度；获取每个待检测区域集合在对应的最佳光源下的最佳图像，将所有最佳图像对应像素值相加组成融合图像，对融合图像进行语义分割，得到第二分割图像，取分割图像和第二分割图像对应像素点的最大值组成检测结果图像，得到检测结果。本发明实施例能够对不同的缺陷自适应调节光源位置参数，得到增强缺陷特征的最佳光源，进而得到准确的缺陷检测结果。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于图像处理的机械零件表面缺陷检测方法，其特征在于，该方法包括以下步骤：
采集竖直照射的标准光源下机械零件的表面图像，获取所述表面图像中每个像素点邻域内的灰度共生矩阵，计算所述灰度共生矩阵的信息熵，根据所述信息熵构建语义分割网络的损失函数；通过对所述表面图像进行语义分割得到以每个像素点属于缺陷的置信度作为像素值的分割图像，获取初步的缺陷检测结果；
根据所述置信度的大小筛选出所述分割图像中所述缺陷检测结果不准确的待检测区域，对所述待检测区域进行连通域提取并对提取的连通域进行聚类，得到多个待检测区域集合；
对于每个所述待检测区域集合，移动所述光源，采集第二表面图像，获取所述待检测区域集合在所述第二表面图像中的特征信息；根据所述特征信息得到缺陷显著性最大时对应的最佳光源；所述特征信息包括亮度特征的变化、图像综合特征的变化以及复杂度；
其中，所述图像综合特征的变化的获取方法为：根据所述灰度共生矩阵获取每个位置的对比度；获取所述第二表面图像中每个像素点邻域内的的第二灰度共生矩阵，并获取每个位置的第二对比度；将所述第二对比度与所述对比度相减，获得每个位置的所述图像综合特征的变化；
其中，所述复杂度的获取方法为：计算所述第二灰度共生矩阵每个像素点的第二信息熵，以所述第二信息熵作为所述复杂度；
获取每个所述待检测区域集合在对应的所述最佳光源下的最佳图像，将所有所述最佳图像对应像素值相加组成融合图像，对所述融合图像进行所述语义分割，得到第二分割图像，取所述分割图像和所述第二分割图像对应像素点的最大值组成检测结果图像，得到检测结果。
2.根据权利要求1所述的方法，其特征在于，所述置信度的获取方法为：
通过语义分割网络对所述表面图像中每个像素点进行二分类，得到每个像素点属于缺陷的置信度。
3.根据权利要求1所述的方法，其特征在于，所述待检测区域的筛选方法为：
当所述置信度大于最小阈值且小于最大阈值时，所述置信度对应的像素点的检测结果不准确，将其像素值置为1，其余置为0，得到所述待检测区域。
4.根据权利要求1所述的方法，其特征在于，所述待检测区域集合的获取步骤包括：
获取每个所述连通域的最小外接矩形，由所述最小外接矩形的方向和中心点坐标组成对应的连通域的特征向量；
根据所述特征向量对所有所述连通域进行距离聚类，得到聚类结果，每一类对应一个待检测区域集合。
5.根据权利要求1所述的方法，其特征在于，所述亮度特征的变化的获取方法为：
将所述表面图像和所述第二表面图像分别转换至带有亮度的颜色空间，根据亮度通道得到光源变化前后的亮度特征图像，将其对应像素点的像素值相减，得到每个位置的亮度特征的变化。
6.根据权利要求5所述的方法，其特征在于，所述亮度特征图像的获取方法为：
通过不同位置参数的光源下的理想亮度特征训练神经网络，利用训练完成的神经网络根据当前光源的位置参数获取所述亮度特征图像。
CN202111083642.9A 2021-09-16 2021-09-16 基于图像处理的机械零件表面缺陷检测方法 Active CN113538429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083642.9A CN113538429B (zh) 2021-09-16 2021-09-16 基于图像处理的机械零件表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083642.9A CN113538429B (zh) 2021-09-16 2021-09-16 基于图像处理的机械零件表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113538429A true CN113538429A (zh) 2021-10-22
CN113538429B CN113538429B (zh) 2021-11-26

Family

ID=78093274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083642.9A Active CN113538429B (zh) 2021-09-16 2021-09-16 基于图像处理的机械零件表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113538429B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888536A (zh) * 2021-12-01 2022-01-04 武汉市利友印务有限公司 一种基于计算机视觉的印刷品重影检测方法及系统
CN113935999A (zh) * 2021-12-16 2022-01-14 武汉金源泰科技有限公司 一种基于图像处理的注塑缺陷检测方法
CN114049489A (zh) * 2022-01-13 2022-02-15 山东鹰联光电科技股份有限公司 一种光纤电缆护套破裂预警方法
CN114140679A (zh) * 2021-10-26 2022-03-04 中科慧远视觉技术(北京)有限公司 一种缺陷融合方法、装置、识别系统及存储介质
CN114219794A (zh) * 2021-12-17 2022-03-22 沭阳县桐盛木业制品厂(普通合伙) 基于机器视觉的刨花板表面质量评估方法及系统
CN114419048A (zh) * 2022-03-31 2022-04-29 启东亦大通自动化设备有限公司 基于图像处理的输送机在线检测方法及系统
CN114445348A (zh) * 2021-12-31 2022-05-06 扬州中卓泵业有限公司 基于光学手段的新材料水泵缺陷检测方法及系统
CN114565607A (zh) * 2022-04-01 2022-05-31 南通沐沐兴晨纺织品有限公司 基于神经网络的织物缺陷图像分割方法
CN114742786A (zh) * 2022-03-31 2022-07-12 南通申东冶金机械有限公司 基于人工智能的齿面磨粒磨损程度评估方法
CN114842011A (zh) * 2022-07-04 2022-08-02 启东万惠机械制造有限公司 基于图像处理的轴承磨损检测方法及系统
CN114937041A (zh) * 2022-07-25 2022-08-23 聊城市博源节能科技有限公司 一种汽车发动机油路铜套缺陷检测方法及系统
CN114972355A (zh) * 2022-08-02 2022-08-30 启东市海信机械有限公司 基于视觉感知的零部件表面缺陷定位及测量方法
CN115131346A (zh) * 2022-08-29 2022-09-30 江苏万容机械科技有限公司 基于人工智能的发酵罐加工工序检测方法及系统
CN115222733A (zh) * 2022-09-19 2022-10-21 山东金源不锈钢制品有限公司 基于图像识别的金属构件表面缺陷检测方法
CN115439663A (zh) * 2022-11-07 2022-12-06 山东经发孔府宴酒业有限公司 基于图像数据的荷香大曲质量识别方法
CN115797299A (zh) * 2022-12-05 2023-03-14 常宝新材料(苏州)有限公司 一种光学复合膜的缺陷检测方法
CN115830022A (zh) * 2023-02-15 2023-03-21 山东梁山酿酒总厂有限公司 基于机器视觉的过滤机滤网缺陷检测方法
CN115861314A (zh) * 2023-02-24 2023-03-28 克瑞科技(东莞)有限公司 一种无刷电机冲片筛选方法
CN115988151A (zh) * 2022-12-29 2023-04-18 南京图格医疗科技有限公司 一种使用低像素时钟实时处理视频的方法及系统
CN116523913A (zh) * 2023-07-03 2023-08-01 惠州市金思维科技有限公司 一种丝杆质量智能检测方法
CN116580026A (zh) * 2023-07-12 2023-08-11 深圳市致尚科技股份有限公司 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN116778431A (zh) * 2023-08-25 2023-09-19 青岛娄山河水务有限公司 基于计算机视觉的污泥处理自动监测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110773A (zh) * 2019-04-25 2019-08-09 武汉精立电子技术有限公司 一种图像语义分割目标的置信度计算方法
CN110717896A (zh) * 2019-09-24 2020-01-21 东北大学 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN111080636A (zh) * 2019-12-23 2020-04-28 杨静日 彩钢瓦表面缺陷的cnn语义分割自学习检测方法
CN112508939A (zh) * 2020-12-22 2021-03-16 郑州金惠计算机系统工程有限公司 法兰表面缺陷检测方法及系统和设备
CN112683912A (zh) * 2020-11-27 2021-04-20 成都数之联科技有限公司 一种布面缺陷视觉检测方法及其装置
CN112767413A (zh) * 2021-01-06 2021-05-07 武汉大学 综合区域连通和共生知识约束的遥感影像深度语义分割方法
CN113129288A (zh) * 2021-04-22 2021-07-16 安徽大学 一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置
CN113176270A (zh) * 2021-06-29 2021-07-27 中移(上海)信息通信科技有限公司 一种调光方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110773A (zh) * 2019-04-25 2019-08-09 武汉精立电子技术有限公司 一种图像语义分割目标的置信度计算方法
CN110717896A (zh) * 2019-09-24 2020-01-21 东北大学 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN111080636A (zh) * 2019-12-23 2020-04-28 杨静日 彩钢瓦表面缺陷的cnn语义分割自学习检测方法
CN112683912A (zh) * 2020-11-27 2021-04-20 成都数之联科技有限公司 一种布面缺陷视觉检测方法及其装置
CN112508939A (zh) * 2020-12-22 2021-03-16 郑州金惠计算机系统工程有限公司 法兰表面缺陷检测方法及系统和设备
CN112767413A (zh) * 2021-01-06 2021-05-07 武汉大学 综合区域连通和共生知识约束的遥感影像深度语义分割方法
CN113129288A (zh) * 2021-04-22 2021-07-16 安徽大学 一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置
CN113176270A (zh) * 2021-06-29 2021-07-27 中移(上海)信息通信科技有限公司 一种调光方法、装置及设备

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140679A (zh) * 2021-10-26 2022-03-04 中科慧远视觉技术(北京)有限公司 一种缺陷融合方法、装置、识别系统及存储介质
CN113888536A (zh) * 2021-12-01 2022-01-04 武汉市利友印务有限公司 一种基于计算机视觉的印刷品重影检测方法及系统
CN113935999A (zh) * 2021-12-16 2022-01-14 武汉金源泰科技有限公司 一种基于图像处理的注塑缺陷检测方法
CN114219794A (zh) * 2021-12-17 2022-03-22 沭阳县桐盛木业制品厂(普通合伙) 基于机器视觉的刨花板表面质量评估方法及系统
CN114445348A (zh) * 2021-12-31 2022-05-06 扬州中卓泵业有限公司 基于光学手段的新材料水泵缺陷检测方法及系统
CN114049489A (zh) * 2022-01-13 2022-02-15 山东鹰联光电科技股份有限公司 一种光纤电缆护套破裂预警方法
CN114049489B (zh) * 2022-01-13 2022-04-12 山东鹰联光电科技股份有限公司 一种光纤电缆护套破裂预警方法
CN114419048A (zh) * 2022-03-31 2022-04-29 启东亦大通自动化设备有限公司 基于图像处理的输送机在线检测方法及系统
CN114742786A (zh) * 2022-03-31 2022-07-12 南通申东冶金机械有限公司 基于人工智能的齿面磨粒磨损程度评估方法
CN114742786B (zh) * 2022-03-31 2023-08-29 山东西岳智能科技有限公司 基于人工智能的齿面磨粒磨损程度评估方法
CN114565607A (zh) * 2022-04-01 2022-05-31 南通沐沐兴晨纺织品有限公司 基于神经网络的织物缺陷图像分割方法
CN114842011A (zh) * 2022-07-04 2022-08-02 启东万惠机械制造有限公司 基于图像处理的轴承磨损检测方法及系统
CN114937041A (zh) * 2022-07-25 2022-08-23 聊城市博源节能科技有限公司 一种汽车发动机油路铜套缺陷检测方法及系统
CN114972355A (zh) * 2022-08-02 2022-08-30 启东市海信机械有限公司 基于视觉感知的零部件表面缺陷定位及测量方法
CN115131346A (zh) * 2022-08-29 2022-09-30 江苏万容机械科技有限公司 基于人工智能的发酵罐加工工序检测方法及系统
CN115222733A (zh) * 2022-09-19 2022-10-21 山东金源不锈钢制品有限公司 基于图像识别的金属构件表面缺陷检测方法
CN115222733B (zh) * 2022-09-19 2022-12-09 山东金源不锈钢制品有限公司 基于图像识别的金属构件表面缺陷检测方法
CN115439663A (zh) * 2022-11-07 2022-12-06 山东经发孔府宴酒业有限公司 基于图像数据的荷香大曲质量识别方法
CN115797299A (zh) * 2022-12-05 2023-03-14 常宝新材料(苏州)有限公司 一种光学复合膜的缺陷检测方法
CN115797299B (zh) * 2022-12-05 2023-09-01 常宝新材料(苏州)有限公司 一种光学复合膜的缺陷检测方法
CN115988151A (zh) * 2022-12-29 2023-04-18 南京图格医疗科技有限公司 一种使用低像素时钟实时处理视频的方法及系统
CN115830022A (zh) * 2023-02-15 2023-03-21 山东梁山酿酒总厂有限公司 基于机器视觉的过滤机滤网缺陷检测方法
CN115830022B (zh) * 2023-02-15 2023-04-28 山东梁山酿酒总厂有限公司 基于机器视觉的过滤机滤网缺陷检测方法
CN115861314A (zh) * 2023-02-24 2023-03-28 克瑞科技(东莞)有限公司 一种无刷电机冲片筛选方法
CN115861314B (zh) * 2023-02-24 2023-05-05 克瑞科技(东莞)有限公司 一种无刷电机冲片筛选方法
CN116523913A (zh) * 2023-07-03 2023-08-01 惠州市金思维科技有限公司 一种丝杆质量智能检测方法
CN116523913B (zh) * 2023-07-03 2023-11-03 惠州市金思维科技有限公司 一种丝杆质量智能检测方法
CN116580026A (zh) * 2023-07-12 2023-08-11 深圳市致尚科技股份有限公司 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN116580026B (zh) * 2023-07-12 2023-09-12 深圳市致尚科技股份有限公司 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN116778431A (zh) * 2023-08-25 2023-09-19 青岛娄山河水务有限公司 基于计算机视觉的污泥处理自动监测方法
CN116778431B (zh) * 2023-08-25 2023-11-10 青岛娄山河水务有限公司 基于计算机视觉的污泥处理自动监测方法

Also Published As

Publication number Publication date
CN113538429B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN113538429B (zh) 基于图像处理的机械零件表面缺陷检测方法
CN110274908B (zh) 缺陷检查装置、缺陷检查方法以及计算机可读记录介质
CN115082683B (zh) 一种基于图像处理的注塑缺陷检测方法
CN108961217B (zh) 一种基于正例训练的表面缺陷检测方法
CN108108761B (zh) 一种基于深度特征学习的快速交通信号灯检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN111161243B (zh) 基于样本增强的工业产品表面缺陷检测方法
CN108280823B (zh) 一种工业生产中光缆表面弱边缘瑕疵的检测方法及系统
WO2020137222A1 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN116205919B (zh) 基于人工智能的五金零件生产质量检测方法及系统
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN114897896B (zh) 基于灰度变换的建筑木材缺陷检测方法
CN109598681B (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN109332192A (zh) 一种用于易拉罐和饮料瓶分类的图像识别方法
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN116485785B (zh) 一种太阳能电池片的表面缺陷检测方法
CN114905712B (zh) 基于计算机视觉的注塑机械控制方法
CN117253024B (zh) 一种基于机器视觉的工业盐质检管控方法及系统
CN112884741B (zh) 一种基于图像相似性对比的印刷表观缺陷检测方法
CN110400320B (zh) 一种电润湿缺陷像素的分割方法
CN116542962A (zh) 一种基于改进Yolov5m模型光伏电池缺陷检测方法
CN115908261A (zh) 一种基于铸件x射线图像的缺陷评级方法及系统
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
CN114092462A (zh) 基于语义分割和目标检测融合模型的复合缺陷检测方法
CN115082449A (zh) 一种电子元器件缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220309

Address after: 226100 Fuxing Road, Yuet Lai Town, Haimen, Nantong, Jiangsu, 20

Patentee after: NANTONGYOUYUAN ART DESIGN Co.,Ltd.

Address before: 226000 group 10, Yuelai village, Yuelai Town, Haimen City, Nantong City, Jiangsu Province

Patentee before: Haimen chuangrui Machinery Co.,Ltd.

TR01 Transfer of patent right