CN115049641A - 一种用于机械零件异常检测的电数据处理方法及系统 - Google Patents

一种用于机械零件异常检测的电数据处理方法及系统 Download PDF

Info

Publication number
CN115049641A
CN115049641A CN202210953223.4A CN202210953223A CN115049641A CN 115049641 A CN115049641 A CN 115049641A CN 202210953223 A CN202210953223 A CN 202210953223A CN 115049641 A CN115049641 A CN 115049641A
Authority
CN
China
Prior art keywords
image
region
mechanical part
edge
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210953223.4A
Other languages
English (en)
Inventor
张丽霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qidong Pulimar Machinery Co ltd
Original Assignee
Qidong Pulimar Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qidong Pulimar Machinery Co ltd filed Critical Qidong Pulimar Machinery Co ltd
Priority to CN202210953223.4A priority Critical patent/CN115049641A/zh
Publication of CN115049641A publication Critical patent/CN115049641A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明公开了一种用于机械零件异常检测的电数据处理方法及系统，涉及缺陷检测领域。主要包括：对存在缺陷的机械零件的灰度图像进行标注获得二值标注图像；将存在缺陷的各机械零件的灰度图像及对应的各二值标注图像作为神经网络的训练集，并根据机械零件的灰度图像以及二值标注图像构造神经网络的训练过程的损失函数，完成对神经网络的训练；将待测机械零件的灰度图像输入至训练完成的神经网络中，将神经网络输出结果作为待测机械零件对应的边缘图像；根据待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，判断待测机械零件边缘是否存在缺陷。本发明实施例能够提高对机械零件的边缘部分存在的缺陷的检测精度。

Description

一种用于机械零件异常检测的电数据处理方法及系统
技术领域
本申请涉及缺陷检测领域，具体涉及一种用于机械零件异常检测的电数据处理方法及系统。
背景技术
机械零件及各种工业产品中，往往包含各种形状的边缘，机械产品的边缘部分的质量对机械产品的成品率具有重要影响，当机械产品的边缘出现毛刺、凹痕等缺陷时，将会导致机械零件的尺寸与设计尺寸存在较大差异，从而影响后续使用。
机械产品边缘缺陷检测主要是检测零件边缘的一致性，主要对机械零件边缘是否存在凸起毛刺、边缘缺失等进行检测。现有技术中对于机械零件边缘中存在的缺陷的检测，利用边缘检测算法获取机械零件的表面图像中边缘区域，进而利用边缘区域进行缺陷检测和判定。发明人在实现本发明实施例的过程中，发现背景技术中至少存在以下缺陷：常用的边缘检测算法得到的边缘图像中，易出现边缘检测不精确、边界轮廓模糊以及边缘过分割或欠分割等情况。
发明内容
针对上述技术问题，本发明实施例提供了一种用于机械零件异常检测的电数据处理方法及系统，通过构造损失函数对神经网络训练过程进行监督，能够获得更具显著性的机械零件的边缘图像，进而提高对机械零件的边缘部分中可能存在的缺陷的检测精度。
第一方面，本文发明实施例提出了一种用于机械零件异常检测的电数据处理方法，包括：
对存在缺陷的机械零件的灰度图像进行机械零件区域的像素点标注获得二值标注图像。
将存在缺陷的各机械零件的灰度图像及对应的各二值标注图像作为神经网络的训练集，并分别对神经网络训练过程中的输出图像进行相同大小区域划分，得到训练过程中输出图像中的各第一区域，以及二值标注图像中的各第二区域，将相对应的第一区域及第二区域组成区域对。
将交叉熵损失函数作为第一损失函数，并根据各区域对中第一区域及第二区域的协方差、像素均值及方差构造第二损失函数。
根据像素点分别在二值标注图像以及神经网络训练过程输出图像中对应位置的像素值构造第三损失函数，并对第一损失函数、第二损失函数以及第三损失函数进行加权求和，获得加权求和后的第四损失函数，以利用第四损失函数对神经网络的训练过程进行监督，完成对神经网络的训练。
将待测机械零件的灰度图像输入至训练完成的神经网络中，将神经网络输出结果作为待测机械零件对应的边缘图像，将正常机械零件图像对应的神经网络的输出结果作为标准边缘图像。
根据待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，判断待测机械零件边缘是否存在缺陷。
可选的，一种用于机械零件异常检测的电数据处理方法中，待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，包括：
Figure DEST_PATH_IMAGE001
式中，
Figure 614201DEST_PATH_IMAGE002
为待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，
Figure 286972DEST_PATH_IMAGE003
为边缘图像中图像块的数量，
Figure 820721DEST_PATH_IMAGE004
为待检测机械零件的边缘图像中第i个图像块与其在标准边缘图像中对应的图像块
Figure 16210DEST_PATH_IMAGE005
之间的灰度协方差。
Figure 836268DEST_PATH_IMAGE006
为待检测机械零件的边缘图像中第i个图像块的灰度标准差，
Figure 609052DEST_PATH_IMAGE007
为标准边缘图像中的图像块
Figure 821858DEST_PATH_IMAGE005
的灰度标准差，图像块
Figure 730909DEST_PATH_IMAGE005
为标准边缘图像中与待检测机械零件的边缘图像中第i个图像块所对应的图像块，
Figure 987446DEST_PATH_IMAGE008
为预设第一参数。
可选的，一种用于机械零件异常检测的电数据处理方法中，根据各区域对中第一区域及第二区域的协方差、像素均值及方差构造第二损失函数，包括：
Figure 981947DEST_PATH_IMAGE009
其中，
Figure 732866DEST_PATH_IMAGE010
为第二损失函数，
Figure 496422DEST_PATH_IMAGE011
为区域对的数量，
Figure 923861DEST_PATH_IMAGE012
为第
Figure 405658DEST_PATH_IMAGE013
个区域对中第一区域及第二区域的协方差，
Figure 694688DEST_PATH_IMAGE014
为第
Figure 578331DEST_PATH_IMAGE013
个区域对中第一区域中各像素点的像素均值，
Figure 445180DEST_PATH_IMAGE015
为第
Figure 289639DEST_PATH_IMAGE013
个区域对中第二区域中各像素点的像素均值，
Figure 772573DEST_PATH_IMAGE016
第
Figure 635356DEST_PATH_IMAGE013
个区域对中第一区域中各像素点的像素值方差，
Figure 279964DEST_PATH_IMAGE017
第
Figure 611719DEST_PATH_IMAGE013
个区域对中第二区域中各像素点的像素值方差，
Figure 367186DEST_PATH_IMAGE018
为预设第二参数，
Figure 350054DEST_PATH_IMAGE019
为预设第三参数。
可选的，一种用于机械零件异常检测的电数据处理方法中，各区域对中第一区域及第二区域的协方差，包括：
Figure 899984DEST_PATH_IMAGE020
其中，
Figure 984615DEST_PATH_IMAGE012
为第
Figure 668406DEST_PATH_IMAGE013
个区域对中第一区域及第二区域的协方差，
Figure 381147DEST_PATH_IMAGE021
为第
Figure 242924DEST_PATH_IMAGE013
个区域对中第一区域中第
Figure 673905DEST_PATH_IMAGE022
个像素点的像素值，
Figure 916316DEST_PATH_IMAGE014
为第
Figure 749142DEST_PATH_IMAGE013
个区域对中第一区域中各像素点的像素均值，
Figure 781820DEST_PATH_IMAGE023
为第
Figure 824732DEST_PATH_IMAGE013
个区域对中第二区域中第
Figure 725692DEST_PATH_IMAGE022
个像素点的像素值，
Figure 288391DEST_PATH_IMAGE015
为第
Figure 616604DEST_PATH_IMAGE013
个区域对中第二区域中各像素点的像素均值，
Figure 881232DEST_PATH_IMAGE024
为第一区域中像素点的数量。
可选的，一种用于机械零件异常检测的电数据处理方法中，各区域对中第一区域及第二区域的协方差，包括：
Figure 585883DEST_PATH_IMAGE020
其中，
Figure 3089DEST_PATH_IMAGE012
为第个区域对中第一区域及第二区域的协方差，
Figure 892417DEST_PATH_IMAGE021
为第
Figure 519707DEST_PATH_IMAGE013
个区域对中第一区域中第
Figure 637836DEST_PATH_IMAGE022
个像素点的像素值，
Figure 34182DEST_PATH_IMAGE026
为第
Figure 97340DEST_PATH_IMAGE013
个区域对中第一区域中各像素点的像素均值，
Figure 211927DEST_PATH_IMAGE023
为第
Figure 133747DEST_PATH_IMAGE013
个区域对中第二区域中第
Figure 384599DEST_PATH_IMAGE022
个像素点的像素值，
Figure 615729DEST_PATH_IMAGE015
为第
Figure 92978DEST_PATH_IMAGE013
个区域对中第二区域中各像素点的像素均值，
Figure 677543DEST_PATH_IMAGE024
为第一区域中像素点的数量。
可选的，一种用于机械零件异常检测的电数据处理方法中，根据像素点分别在二值标注图像以及神经网络训练过程输出图像中对应位置的像素值构造第三损失函数，包括：
Figure 438695DEST_PATH_IMAGE027
其中，
Figure 247251DEST_PATH_IMAGE028
为第三损失函数，
Figure 723713DEST_PATH_IMAGE029
为二值标注图像中像素值为1的像素点的数量，
Figure 846390DEST_PATH_IMAGE030
为二值标注图像中第j个像素值为1的像素点的像素值，
Figure 212780DEST_PATH_IMAGE031
为二值标注图像中第j个像素值为1的像素点在神经网络训练过程中输出图像中对应位置的像素值，
Figure 785713DEST_PATH_IMAGE032
为交运算。
可选的，一种用于机械零件异常检测的电数据处理方法中，对存在缺陷的机械零件的灰度图像进行机械零件区域的像素点标注前，所述方法还包括：
获取存在缺陷的机械零件的表面图像。
将表面图像中像素点在RGB三个通道中像素值的最大值，作为灰度图像中的像素点的灰度值。
可选的，一种用于机械零件异常检测的电数据处理方法中，二值标注图像中机械零件部分的像素值为1，且二值标注图像中机械零件以外部分的像素值为0。
可选的，一种用于机械零件异常检测的电数据处理方法中，根据待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，判断待测机械零件边缘是否存在缺陷，包括：
判断相似度是否大于预设相似性阈值，若判断结果为是，判定待测机械零件边缘不存在缺陷，若判断结果为否，判定待测机械零件边缘存在缺陷。
可选的，一种用于机械零件异常检测的电数据处理方法中，所述相似性阈值为0.75。
第二方面，本发明实施例提出了一种用于机械零件异常检测的电数据处理系统，包括：存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现本发明实施例中一种用于机械零件异常检测的电数据处理方法。
本发明实施例提供了一种用于机械零件异常检测的电数据处理方法及系统，相比于现有技术，本发明实施例的有益效果在于：通过构造损失函数对神经网络训练过程进行监督，能够获得更具显著性的机械零件的边缘图像，进而提高对机械零件的边缘部分中可能存在的缺陷的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种用于机械零件异常检测的电数据处理方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
机械零件及各种工业产品中，往往包含各种形状的边缘，机械产品的边缘部分的质量对机械产品的成品率具有重要影响，当机械产品的边缘出现毛刺、凹痕等缺陷时，将会导致机械零件的尺寸与设计尺寸存在较大差异，从而影响后续使用。
机械产品边缘缺陷检测主要是检测零件边缘的一致性，主要对机械零件边缘是否存在凸起毛刺、边缘缺失等进行检测。目前多是将零件放置在固定的工作台上进行人工检测，人工目视检测增大了劳动量，降低工作效率，且检测精度较低。
本发明实施例提供了一种用于机械零件异常检测的电数据处理方法，如图1所示，包括：
步骤S101、对存在缺陷的机械零件的灰度图像进行机械零件区域的像素点标注获得二值标注图像。
步骤S102、对神经网络进行训练，并对训练过程中神经网络的输出图像以及二值标注图像分别进行区域划分，获得划分后相对应的各区域对。
具体的，将存在缺陷的各机械零件的灰度图像及对应的各二值标注图像作为神经网络的训练集，并分别对神经网络训练过程中的输出图像进行相同大小区域划分，得到训练过程中输出图像中的各第一区域，以及二值标注图像中的各第二区域，将相对应的第一区域及第二区域组成区域对。
步骤S103、将交叉熵损失函数作为第一损失函数，并根据各区域对中第一区域及第二区域的协方差、像素均值及方差构造第二损失函数。
步骤S104、根据像素点分别在二值标注图像以及神经网络训练过程输出图像中对应位置的像素值构造第三损失函数，并对第一损失函数、第二损失函数以及第三损失函数进行加权求和，获得加权求和后的第四损失函数，以利用第四损失函数对神经网络的训练过程进行监督，完成对神经网络的训练。
步骤S105、将待测机械零件的灰度图像输入至训练完成的神经网络中，将神经网络输出结果作为待测机械零件对应的边缘图像，将正常机械零件图像对应的神经网络的输出结果作为标准边缘图像。
步骤S106、根据待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，判断待测机械零件边缘是否存在缺陷。
本发明实施例通过图像数据对零件边缘状况进行分析，实现对机械零件边缘信息的准确提取，作为进行边缘检测的基准数据，避免无关区域对零件边缘缺陷检测精度的影响，获取边缘图像之后，基于本发明所构建的边缘缺陷检测模型，能够实现对零件边缘缺陷的自动检测，本发明实施例具有对于机械零件中边缘部分的缺陷检测精度高、检测速度快且可有效避免人为检测的主观性等优点。
进一步的，步骤S101、对存在缺陷的机械零件的灰度图像进行机械零件区域的像素点标注获得二值标注图像。
首先，本发明实施例将设置图像采集设备，用于获得机械零件的灰度图像，其中，图像采集设备的拍摄范围及角度由实施者根据实际情况自行调整。拍摄过程中，拍摄范围能够覆盖待检测零件的全部轮廓，以便对其进行全面的检测。
本发明实施例中可以将图像采集设备部署于待检测零件的上方，采用俯视视角采集零件的表面图像，避免图像采集设备的视角对零件边缘部分的表面图像采集的不良影响，便于提高检测精度，且每次采集过程中各零件的位置信息保持固定，相机视角保持相同，避免因外界因素对零件边缘缺陷检测的影响。
可选的，对存在缺陷的机械零件的灰度图像进行机械零件区域的像素点标注前，还可以获取存在缺陷的机械零件的表面图像，将表面图像中像素点在RGB三个通道中像素值的最大值，作为灰度图像中的像素点的灰度值。
可选的，获取机械零件图像之后，还可以对机械零件图像进行去噪处理，同时结合自适应中值滤波算法对机械零件图像进行处理，避免将噪点误认为边缘毛刺等缺陷，降低噪声对边缘缺陷精度的影响。
图像去噪是指减少图像中造成的过程。现实中的图像会受到各种因素的影响而含有一定的噪声，噪声主要包括：椒盐噪声、加性噪声、乘性噪声以及高斯噪声。图像去噪的算法有很多，有基于偏微分热传导方程的，也有基于滤波的，其中基于滤波的以其速度快、算法成熟，因此使用较为广泛，常用的滤波去噪算法包括：中值滤波、均值滤波以及高斯滤波。
本发明实施例将对图像进行标签数据的制作，得到的二值标签图像中零件像素点的像素值置为1，其他像素点的像素值置为0，如此，能够对零件进行初步提取。
进一步的，步骤S102、对神经网络进行训练，并对训练过程中神经网络的输出图像以及二值标注图像分别进行区域划分，获得划分后相对应的各区域对。
具体的，将存在缺陷的各机械零件的灰度图像及对应的各二值标注图像作为神经网络的训练集，并分别对神经网络训练过程中的输出图像进行相同大小区域划分，得到训练过程中输出图像中的各第一区域，以及二值标注图像中的各第二区域，将相对应的第一区域及第二区域组成区域对。
本发明实施例将神经网络训练过程中的输出图像以及二值标注图像，分别分为多个对应的子区域，得到神经网络训练过程中的输出图像中的各第一区域，以及二值标注图像中的各第二区域，同时，将相对应的第一区域及第二区域组成区域对。如此，便于在后续过程中结合区域对中第一区域以及第二区域的特征构造损失函数。
进一步的，步骤S103、将交叉熵损失函数作为第一损失函数，并根据各区域对中第一区域及第二区域的协方差、像素均值及方差构造第二损失函数。
本发明实施例所采用的网络结构为Encoder-Decoder（编码器-译码器）的语义分割网络，将交叉熵损失函数作为第一损失函数
Figure 362188DEST_PATH_IMAGE033
，实现对零件图像数据中的机械零件像素点进行识别划分，便于对整个网络的最终的损失函数进行构建。
根据各区域对中第一区域及第二区域的协方差、像素均值及方差构造第二损失函数，包括：
Figure 163922DEST_PATH_IMAGE009
其中，
Figure 430824DEST_PATH_IMAGE010
为第二损失函数，
Figure 315603DEST_PATH_IMAGE011
为区域对的数量，
Figure 658335DEST_PATH_IMAGE012
为第
Figure 263760DEST_PATH_IMAGE013
个区域对中第一区域及第二区域的协方差，
Figure 463797DEST_PATH_IMAGE014
为第
Figure 112953DEST_PATH_IMAGE013
个区域对中第一区域中各像素点的像素均值，
Figure 539387DEST_PATH_IMAGE015
为第
Figure 807557DEST_PATH_IMAGE013
个区域对中第二区域中各像素点的像素均值，
Figure 986734DEST_PATH_IMAGE016
第
Figure 213316DEST_PATH_IMAGE013
个区域对中第一区域中各像素点的像素值方差，
Figure 861466DEST_PATH_IMAGE017
第
Figure 326470DEST_PATH_IMAGE013
个区域对中第二区域中各像素点的像素值方差，
Figure 501100DEST_PATH_IMAGE018
为预设第二参数，
Figure 413430DEST_PATH_IMAGE019
为预设第三参数。
需要说明的是，对于不包含边缘像素点的第二区域，其区域内部各像素点的像素值较为接近，因此，区域内部的各像素点的像素值的方差应该接近于0，相应的，与不包含边缘像素点的第二区域所对应的第一区域中各像素点的像素值的方差也应该接近于0。
相反，对于包含边缘像素点的第二区域，其区域内部各像素点的像素值相差较大，因此，区域内部的各像素点的像素值的方差较大，则与包含边缘像素点的第二区域所对应的第一区域中各像素点的方差也应该较大。
然而，在神经网络的训练初期，包含边缘像素点的第二区域所对应的第一区域中，可能还未包含应有的边缘像素点，使得该区域对在第二损失函数中对应的组成部分数值较大，随着训练过程的逐步深入，包含边缘像素点的第二区域所对应的第一区域中逐渐包括其应有的边缘像素点，从而使得第二损失函数逐渐减小，并最终使得所有区域对的综合损失最小。因此，利用本发明实施例所构建的损失函数，可以进一步提高边缘像素点的关注度，通过该损失函数对神经网络训练过程的监督，可保证各个区域的损失达到最小。
同时，作为一个示例，本发明实施例中
Figure 939089DEST_PATH_IMAGE034
，
Figure 424428DEST_PATH_IMAGE035
，
Figure 840847DEST_PATH_IMAGE018
与
Figure 143653DEST_PATH_IMAGE019
的设置的目的在于避免出现损失函数中分式的分母出现0的情况。
本发明实施例中各区域对中第一区域及第二区域的协方差，包括：
Figure 766395DEST_PATH_IMAGE020
其中，
Figure 180059DEST_PATH_IMAGE012
为第
Figure 188335DEST_PATH_IMAGE013
个区域对中第一区域及第二区域的协方差，
Figure 662042DEST_PATH_IMAGE021
为第
Figure 772080DEST_PATH_IMAGE013
个区域对中第一区域中第
Figure 848490DEST_PATH_IMAGE022
个像素点的像素值，
Figure 852218DEST_PATH_IMAGE014
为第
Figure 873657DEST_PATH_IMAGE013
个区域对中第一区域中各像素点的像素均值，
Figure 330046DEST_PATH_IMAGE023
为第
Figure 210146DEST_PATH_IMAGE013
个区域对中第二区域中第
Figure 68381DEST_PATH_IMAGE022
个像素点的像素值，
Figure 759256DEST_PATH_IMAGE015
为第
Figure 113662DEST_PATH_IMAGE013
个区域对中第二区域中各像素点的像素均值，
Figure 672819DEST_PATH_IMAGE024
为第一区域中像素点的数量。
进一步的，步骤S104、根据像素点分别在二值标注图像以及神经网络训练过程输出图像中对应位置的像素值构造第三损失函数，并对第一损失函数、第二损失函数以及第三损失函数进行加权求和，获得加权求和后的第四损失函数，以利用第四损失函数对神经网络的训练过程进行监督，完成对神经网络的训练。
首先，根据像素点分别在二值标注图像以及神经网络训练过程输出图像中对应位置的像素值构造第三损失函数，包括：
Figure 260927DEST_PATH_IMAGE036
其中，
Figure 981758DEST_PATH_IMAGE028
为第三损失函数，
Figure 537373DEST_PATH_IMAGE029
为二值标注图像中像素值为1的像素点的数量，
Figure 900221DEST_PATH_IMAGE030
为二值标注图像中第j个像素值为1的像素点的像素值，
Figure 608414DEST_PATH_IMAGE031
为二值标注图像中第j个像素值为1的像素点在神经网络训练过程中输出图像中对应位置的像素值，
Figure 890360DEST_PATH_IMAGE032
为交运算，即参与运算的两值相等时，运算结果为两者原本的值，否则，运算结果为0。第三损失函数越小，对于各像素点的预测结果越准确。
最后，对第一损失函数、第二损失函数以及第三损失函数进行加权求和，获得加权求和后的第四损失函数。如此，建立神经网络的损失函数，从而利用损失函数对整个网络结构的训练过程进行监督，以提取边缘轮廓增强的机械零件图像，网络最终的输出为边缘信息准确的二值图像。所述第四损失函数的获得过程包括：
Figure 808637DEST_PATH_IMAGE037
其中，
Figure 444018DEST_PATH_IMAGE038
为第四损失函数。
对整个神经网络进行监督训练，在此需要说明，网络的具体结构为编码器解码器结构，通过构建完成的损失函数对整个网络进行不断地训练监督，实现对神经网络的训练。如此，能够在后续过程中利用神经网络输出机械零件的边缘图像。
进一步的，步骤S105、将待测机械零件的灰度图像输入至训练完成的神经网络中，将神经网络输出结果作为待测机械零件对应的边缘图像，将正常机械零件图像对应的神经网络的输出结果作为标准边缘图像。
利用训练完成的神经网络，可实现对待检测机械零件中边缘部分的轮廓信息进行提取，获取待检测机械零件的边缘图像，以作为对边缘部分进行缺陷检测的基础。
常用的边缘检测算法易出现边缘检测不精确、边界轮廓模糊以及边缘过分割或欠分割等情况，同时通过本发明实施例训练完成的网络可实现对后续待检测机械零件边缘图像的快速提取，本发明实施例中所提取的边缘图像，相较于常规的边缘检测技术，能够使得机械零件中可能存在的边缘特征更加明显。
获取待检测机械零件边缘图像之后，本发明实施例将在边缘图像的基础上对零件中可能存在的边缘缺陷进行检测及识别。
首先，本发明实施例将选取边缘无缺陷的正常机械零件，通过本发明实施例中方法提取边缘图像的方法，获取与该正常机械零件所对应的边缘图像，并将该正常机械零件所对应的边缘图像作为标准边缘图像，利用其对待检测机械零件的边缘状况进行检测。
在此需要说明的是，所有机械零件图像采集过程中保持相同的视角，机械零件成像后在图像中的位置信息保持一致，避免因图像采集设备的视角不同对机械零件边缘缺陷检测精度的不良影响。
进一步的，步骤S106、根据待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，判断待测机械零件边缘是否存在缺陷。
本发明实施例将正常边缘图像以及待检测机械零件边缘图像分别划分为等大的多个的图像块，并基于各图像块对边缘图像与标准边缘图像的相似性进行分析，从而对待测机械零件的边缘缺陷状况进行判定。
边缘图像与标准边缘图像的相似性的获得过程包括：
Figure 6718DEST_PATH_IMAGE039
其中，
Figure 459565DEST_PATH_IMAGE002
为待检测机械零件边缘正常置信度，取值范围为[0,1]，
Figure 599559DEST_PATH_IMAGE003
为图像块的数量，
Figure 179576DEST_PATH_IMAGE004
为待检测零件边缘图像中图像块i与正常边缘图像中的图像块
Figure 986995DEST_PATH_IMAGE005
之间的灰度协方差，
Figure 613673DEST_PATH_IMAGE006
为待检测零件边缘图像中图像块i的灰度标准差，
Figure 240963DEST_PATH_IMAGE007
为正常边缘图像中的图像块
Figure 359092DEST_PATH_IMAGE005
的灰度标准差，
Figure 145651DEST_PATH_IMAGE008
为预设第一数值，作为一个示例，本发明实施例中预设第一数值为0.01。
待检测零件的边缘图像与标准边缘图像的相似性越小，待检测零件边缘中出现缺陷状况的可能性越高，具体的，判断相似度是否大于预设相似性阈值，若判断结果为是，判定待测机械零件边缘不存在缺陷，若判断结果为否，判定待测机械零件边缘存在缺陷。如此，能够实现对零件边缘部分的缺陷的自动检测，实施者可对边缘缺陷检测模型进行阈值设定，本发明实施例中预设相似性阈值为
Figure 815667DEST_PATH_IMAGE040
。
可选的，当待检测机械零件边缘缺陷检测模型函数值低于预设阈值时，机械零件的边缘存在缺陷，可以提醒有关工作人员或设备对该机械零件的边缘部分再次进行加工，以降低机械零件的次品率，从而保证后续使用效果，并防止在后续使用过程中引发安全事故。
基于与上述方法相同的发明构思，本实施例还提供了一种用于机械零件异常检测的电数据处理系统，本实施例中一种用于机械零件异常检测的电数据处理系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如一种用于机械零件异常检测的电数据处理方法实施例中所描述的对机械零件边缘中存在的缺陷的进行检测。
由于一种用于机械零件异常检测的电数据处理方法实施例中已经对机械零件边缘中存在的缺陷的进行检测的方法进行了说明，此处不再赘述。
综上所述，本发明实施例提供了一种用于机械零件异常检测的电数据处理方法及系统，相比于现有技术，通过构造损失函数对神经网络训练过程进行监督，能够获得更具显著性的机械零件的边缘图像，进而提高对机械零件的边缘部分中可能存在的缺陷的检测精度。
本发明中涉及诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本发明的方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
上述实施例仅仅是为清楚地说明所做的举例，并不构成对本发明的保护范围的限制。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (10)

1.一种用于机械零件异常检测的电数据处理方法，其特征在于，包括：
对存在缺陷的机械零件的灰度图像进行机械零件区域的像素点标注获得二值标注图像；
将存在缺陷的各机械零件的灰度图像及对应的各二值标注图像作为神经网络的训练集，并分别对神经网络训练过程中的输出图像进行相同大小区域划分，得到训练过程中输出图像中的各第一区域，以及二值标注图像中的各第二区域，将相对应的第一区域及第二区域组成区域对；
将交叉熵损失函数作为第一损失函数，并根据各区域对中第一区域及第二区域的协方差、像素均值及方差构造第二损失函数；
根据像素点分别在二值标注图像以及神经网络训练过程输出图像中对应位置的像素值构造第三损失函数，并对第一损失函数、第二损失函数以及第三损失函数进行加权求和，获得加权求和后的第四损失函数，以利用第四损失函数对神经网络的训练过程进行监督，完成对神经网络的训练；
将待测机械零件的灰度图像输入至训练完成的神经网络中，将神经网络输出结果作为待测机械零件对应的边缘图像，将正常机械零件图像对应的神经网络的输出结果作为标准边缘图像；
根据待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，判断待测机械零件边缘是否存在缺陷。
2.根据权利要求1所述的一种用于机械零件异常检测的电数据处理方法，其特征在于，待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，包括：
Figure 832060DEST_PATH_IMAGE001
式中，
Figure 795336DEST_PATH_IMAGE002
为待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，
Figure 889194DEST_PATH_IMAGE003
为边缘图像中图像块的数量，
Figure 279724DEST_PATH_IMAGE004
为待检测机械零件的边缘图像中第
Figure 357402DEST_PATH_IMAGE006
个图像块与其在标准边缘图像中对应的图像块
Figure 124370DEST_PATH_IMAGE007
之间的灰度协方差；
Figure 603893DEST_PATH_IMAGE008
为待检测机械零件的边缘图像中第i个图像块的灰度标准差，
Figure 669718DEST_PATH_IMAGE009
为标准边缘图像中的图像块
Figure 234692DEST_PATH_IMAGE007
的灰度标准差，图像块
Figure 539771DEST_PATH_IMAGE007
为标准边缘图像中与待检测机械零件的边缘图像中第
Figure 873801DEST_PATH_IMAGE010
个图像块所对应的图像块，
Figure 606133DEST_PATH_IMAGE011
为预设第一参数。
3.根据权利要求1所述的一种用于机械零件异常检测的电数据处理方法，其特征在于，根据各区域对中第一区域及第二区域的协方差、像素均值及方差构造第二损失函数，包括：
Figure 658403DEST_PATH_IMAGE012
其中，
Figure 501594DEST_PATH_IMAGE013
为第二损失函数，
Figure 955709DEST_PATH_IMAGE014
为区域对的数量，
Figure 360408DEST_PATH_IMAGE015
为第
Figure 165553DEST_PATH_IMAGE016
个区域对中第一区域及第二区域的协方差，
Figure 812435DEST_PATH_IMAGE017
为第
Figure 121056DEST_PATH_IMAGE016
个区域对中第一区域中各像素点的像素均值，
Figure 195192DEST_PATH_IMAGE018
为第
Figure 994957DEST_PATH_IMAGE016
个区域对中第二区域中各像素点的像素均值，
Figure 55317DEST_PATH_IMAGE019
第
Figure 343079DEST_PATH_IMAGE016
个区域对中第一区域中各像素点的像素值方差，
Figure 905559DEST_PATH_IMAGE020
第
Figure 544351DEST_PATH_IMAGE016
个区域对中第二区域中各像素点的像素值方差，
Figure 765991DEST_PATH_IMAGE021
为预设第二参数，
Figure 783626DEST_PATH_IMAGE022
为预设第三参数。
4.根据权利要求3所述的一种用于机械零件异常检测的电数据处理方法，其特征在于，各区域对中第一区域及第二区域的协方差，包括：
Figure 465143DEST_PATH_IMAGE023
，
Figure 201018DEST_PATH_IMAGE015
为第
Figure 993393DEST_PATH_IMAGE016
个区域对中第一区域及第二区域的协方差，
Figure 865534DEST_PATH_IMAGE024
为第
Figure 717953DEST_PATH_IMAGE016
个区域对中第一区域中第
Figure 941124DEST_PATH_IMAGE025
个像素点的像素值，
Figure 412556DEST_PATH_IMAGE017
为第
Figure 30882DEST_PATH_IMAGE016
个区域对中第一区域中各像素点的像素均值，
Figure 929568DEST_PATH_IMAGE026
为第
Figure 499089DEST_PATH_IMAGE016
个区域对中第二区域中第
Figure 508634DEST_PATH_IMAGE025
个像素点的像素值，
Figure 11159DEST_PATH_IMAGE018
为第
Figure 815167DEST_PATH_IMAGE028
个区域对中第二区域中各像素点的像素均值，
Figure 137564DEST_PATH_IMAGE029
为第一区域中像素点的数量。
5.根据权利要求1所述的一种用于机械零件异常检测的电数据处理方法，其特征在于，根据像素点分别在二值标注图像以及神经网络训练过程中输出图像中对应位置的像素值构造第三损失函数，包括：
Figure 685220DEST_PATH_IMAGE030
其中，
Figure 292786DEST_PATH_IMAGE031
为第三损失函数，
Figure 267695DEST_PATH_IMAGE032
为二值标注图像中像素值为1的像素点的数量，
Figure 77388DEST_PATH_IMAGE033
为二值标注图像中第j个像素值为1的像素点的像素值，
Figure 756631DEST_PATH_IMAGE034
为二值标注图像中第j个像素值为1的像素点在神经网络训练过程中输出图像中对应位置的像素值，
Figure 437011DEST_PATH_IMAGE035
为交运算。
6.根据权利要求1所述的一种用于机械零件异常检测的电数据处理方法，其特征在于，对存在缺陷的机械零件的灰度图像进行机械零件区域的像素点标注前，所述方法还包括：
获取存在缺陷的机械零件的表面图像；
将表面图像中像素点在RGB三个通道中像素值的最大值，作为灰度图像中的像素点的灰度值。
7.根据权利要求1所述的一种用于机械零件异常检测的电数据处理方法，其特征在于，二值标注图像中机械零件部分的像素值为1，且二值标注图像中机械零件以外部分的像素值为0。
8.根据权利要求1所述的一种用于机械零件异常检测的电数据处理方法，其特征在于，根据待测机械零件的边缘图像与标准边缘图像中各对应图像块的相似度，判断待测机械零件边缘是否存在缺陷，包括：
判断相似度是否大于预设相似性阈值，若判断结果为是，判定待测机械零件边缘不存在缺陷，若判断结果为否，判定待测机械零件边缘存在缺陷。
9.根据权利要求8所述的一种用于机械零件异常检测的电数据处理方法，其特征在于，所述相似性阈值为0.75。
10.一种用于机械零件异常检测的电数据处理系统，包括：存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如权利要求1-9中任一项所述的一种用于机械零件异常检测的电数据处理方法。
CN202210953223.4A 2022-08-10 2022-08-10 一种用于机械零件异常检测的电数据处理方法及系统 Pending CN115049641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210953223.4A CN115049641A (zh) 2022-08-10 2022-08-10 一种用于机械零件异常检测的电数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210953223.4A CN115049641A (zh) 2022-08-10 2022-08-10 一种用于机械零件异常检测的电数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN115049641A true CN115049641A (zh) 2022-09-13

Family

ID=83166535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210953223.4A Pending CN115049641A (zh) 2022-08-10 2022-08-10 一种用于机械零件异常检测的电数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN115049641A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386118A (zh) * 2023-04-17 2023-07-04 广州番禺职业技术学院 一种基于人像识别的粤剧匹配化妆系统及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767431A (zh) * 2018-12-29 2019-05-17 北京领邦智能装备股份公司 零件外观缺陷检测方法、装置、设备及可读存储介质
CN110148130A (zh) * 2019-05-27 2019-08-20 北京百度网讯科技有限公司 用于检测零件缺陷的方法和装置
CN113538432A (zh) * 2021-09-17 2021-10-22 南通蓝城机械科技有限公司 一种基于图像处理的零件缺陷检测方法及系统
CN114792316A (zh) * 2022-06-22 2022-07-26 山东鲁岳桥机械股份有限公司 一种盘刹车轴底板点焊缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767431A (zh) * 2018-12-29 2019-05-17 北京领邦智能装备股份公司 零件外观缺陷检测方法、装置、设备及可读存储介质
CN110148130A (zh) * 2019-05-27 2019-08-20 北京百度网讯科技有限公司 用于检测零件缺陷的方法和装置
CN113538432A (zh) * 2021-09-17 2021-10-22 南通蓝城机械科技有限公司 一种基于图像处理的零件缺陷检测方法及系统
CN114792316A (zh) * 2022-06-22 2022-07-26 山东鲁岳桥机械股份有限公司 一种盘刹车轴底板点焊缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386118A (zh) * 2023-04-17 2023-07-04 广州番禺职业技术学院 一种基于人像识别的粤剧匹配化妆系统及其方法
CN116386118B (zh) * 2023-04-17 2024-04-05 广州番禺职业技术学院 一种基于人像识别的粤剧匹配化妆系统及其方法

Similar Documents

Publication Publication Date Title
CN115082683B (zh) 一种基于图像处理的注塑缺陷检测方法
CN110930357B (zh) 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统
CN109444169B (zh) 一种轴承缺陷检测方法及系统
CN115082464A (zh) 除尘机焊接过程中焊缝数据的识别方法及系统
Wang et al. Surface defects detection using non-convex total variation regularized RPCA with kernelization
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN115526885A (zh) 一种产品图像缺陷检测方法、系统、装置及介质
CN115953373B (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
CN108288274B (zh) 模具检测方法、装置以及电子设备
CN115980050A (zh) 排水口的水质检测方法、装置、计算机设备及存储介质
CN116128873A (zh) 一种基于图像识别的轴承保持器检测方法、设备及介质
CN115049641A (zh) 一种用于机械零件异常检测的电数据处理方法及系统
CN116524205A (zh) 一种污水曝气自动检测识别方法
Kamani et al. Automatic paint defect detection and classification of car body
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN113435460A (zh) 一种亮晶颗粒灰岩图像的识别方法
CN102313740A (zh) 太阳能电池板裂痕检测方法
CN114202544B (zh) 一种基于自编码器的复杂工件缺陷检测方法
CN111192261A (zh) 一种镜片疵病类型识别的方法
CN112419304B (zh) 一种面向一维数据的多阶段目标检测方法及装置
CN115471684A (zh) 注塑工件模板匹配方法、电子设备及存储介质
CN114354631A (zh) 一种基于视觉的阀门毛坯表面缺陷检测方法
Aydin et al. A vision based inspection system using gaussian mixture model based interactive segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination