CN116678888A - 一种构件缺陷检测方法和装置 - Google Patents

一种构件缺陷检测方法和装置 Download PDF

Info

Publication number
CN116678888A
CN116678888A CN202310648177.1A CN202310648177A CN116678888A CN 116678888 A CN116678888 A CN 116678888A CN 202310648177 A CN202310648177 A CN 202310648177A CN 116678888 A CN116678888 A CN 116678888A
Authority
CN
China
Prior art keywords
component
image
detected
information
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310648177.1A
Other languages
English (en)
Inventor
张文涛
杨达坤
朱麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202310648177.1A priority Critical patent/CN116678888A/zh
Publication of CN116678888A publication Critical patent/CN116678888A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种构件缺陷检测方法和装置，方法包括，获得待检测图像；通过检测模型处理待检测图像，获得待检测图像中待测构件的构件信息，构件信息包括待测构件的构件类别和待测构件的轮廓信息，轮廓信息表征待检测图像的图像特征中网格点和待测构件的构件轮廓的相对方位关系；根据轮廓信息确定待测构件的轮廓点的位置信息；根据轮廓点的位置信息，和构件类别对应的参考构件轮廓，确定待测构件是否存在缺陷。

Description

一种构件缺陷检测方法和装置
技术领域
本申请属于图像识别技术领域，尤其涉及一种构件缺陷检测方法和装置。
背景技术
在工业生产场景中，一个产品通常需要由许多构件组装而成，所以，要保障产品质量满足要求，就需要检测组成产品的这些构件是否存在构件自身缺陷、自身装配位置缺陷、相对位置缺陷。
目前的一种缺陷检测的方式是，在产品的照片中识别各构件的轮廓，基于识别出的轮廓检测是否存在上述缺陷。
相关技术一般基于掩膜来检测图像中构件的轮廓，这种检测方法需要先用神经网络模型逐一检测图像中属于某构件的像素，获得由这些像素组成的掩膜，再逐一检测掩膜中每个像素是否位于掩膜的边缘，获得构件轮廓。这种方法需要对神经网络模型输出的掩膜进行二次处理，检测效率较低。
发明内容
为此，本申请公开如下技术方案：
本申请第一方面提供一种构件缺陷检测方法，包括：
获得待检测图像；
通过检测模型处理所述待检测图像，获得所述待检测图像中待测构件的构件信息，所述构件信息包括所述待测构件的构件类别和所述待测构件的轮廓信息，所述轮廓信息表征所述待检测图像的图像特征中网格点和所述待测构件的构件轮廓的相对方位关系；
根据所述轮廓信息确定所述待测构件的轮廓点的位置信息；
根据所述轮廓点的位置信息，和所述构件类别对应的参考构件轮廓，确定所述待测构件是否存在缺陷。
可选的，所述通过检测模型处理所述待检测图像，获得所述待检测图像中待测构件的构件信息，包括：
通过检测模型的多层特征提取网络提取得到所述待检测图像的多个图像特征；
通过所述检测模型的特征融合网络融合所述多个图像特征，得到所述待检测图像的融合图像特征；
利用所述检测模型的检测头检测所述待检测图像的融合图像特征，获得所述待检测图像中待测构件的构件信息。
可选的，检测所述待测构件的构件类别的过程，包括：
利用所述检测模型的检测头检测得到所述待检测图像的融合图像特征中多个网格点的分类概率，所述分类概率表示所述网格点对于预设类别的构件的概率；
对于所述网格点，将最大的所述分类概率对应的类别确定为所述待检测图像中待测构件的构件类别。
可选的，所述待测构件的轮廓信息，包括所述待检测图像的融合图像特征中多个网格点的射线长度信息，所述射线长度信息包括以所述网格点为原点，按预设角度间隔排列的多条射线的长度；
所述根据所述轮廓信息确定所述待测构件的轮廓点的位置信息，包括：
根据所述网格点的位置信息、所述角度间隔和所述网格点的射线长度信息，确定所述待测构件的轮廓点的位置信息。
可选的，所述根据所述轮廓点的位置信息，和所述构件类别对应的参考构件轮廓，检测所述待测构件是否存在缺陷，包括：
获得所述轮廓点的位置信息所形成预测构件轮廓对应的预测信息，以及所述构件类别对应的参考构件轮廓对应的参考信息，所述预测信息包括所述待测构件的预测构件轮廓、所述待测构件的预测所在区域和不同待测构件的预测相对位置中至少一者，所述参考信息包括所述待测构件的参考构件轮廓、所述待测构件的参考所在区域和不同待测构件的参考相对位置中至少一者；
根据同类型的所述参考信息和所述预测信息之间的匹配度，确定所述待测构件是否存在缺陷。
可选的，所述检测模型的训练过程包括：
通过所述检测模型的多层特征提取网络提取样本图像的多个图像特征；
通过所述检测模型的辅助训练网络处理所述样本图像的多个图像特征，得到所述样本图像的第一构件信息；
根据所述样本图像的所述第一构件信息、第二构件信息和第三构件信息，计算所述检测模型的模型损失，所述第二构件信息是预先在所述样本图像中标记的构件信息，所述第三构件信息是，所述检测模型的检测头根据所述样本图像的融合图像特征检测得到的构件信息，所述样本图像的融合图像特征由所述检测模型的特征融合网络融合所述样本图像的多个图像特征得到；
根据所述模型损失更新所述检测模型的参数。
可选的，所述通过所述检测模型的辅助训练网络处理所述样本图像的多个图像特征，得到所述样本图像的第一构件信息，包括：
利用所述辅助训练网络处理所述图像特征，得到备选第一构件信息；
根据所述备选第一构件信息和所述第二构件信息，计算得到所述备选第一构件信息对应的第一损失；
选择对应的第一损失最小的所述备选第一构件信息作为第一构件信息。
可选的，所述模型损失包括表征所述第二构件信息和所述第三构件信息的差异的检测头损失；
所述检测头损失至少包括第一轮廓损失和第一类别损失；
所述第一轮廓损失根据第二外接框和第三外接框确定，所述第二外接框为根据所述第二构件信息中轮廓信息确定的最小外接矩形框，所述第三外接框为根据所述第三构件信息中轮廓信息确定的最小外接矩形框；
所述第一类别损失根据所述第二构件信息的构件类别和所述第三构件信息的构件类别确定。
可选的，还包括：
获得备选图像；
利用所述检测模型处理所述备选图像，得到所述备选图像的第四构件信息；
根据所述备选图像的第四构件信息确定所述备选图像的备选样本损失，所述备选样本损失包括第二轮廓损失和第二类别损失，所述第二类别损失根据所述第四构件信息的构件类别和所述备选图像中预先标注的构件类别确定，所述第二轮廓损失根据所述第四构件信息对应的最小外接矩形框和预先标注的所述备选图像中最小外接矩形框确定；
选择备选样本损失最小的备选图像作为所述样本图像。
本申请第二方面提供一种构件缺陷检测装置，包括：
获得单元，用于获得待检测图像；
处理单元，用于通过检测模型处理所述待检测图像，获得所述待检测图像中待测构件的构件信息，所述构件信息包括所述待测构件的构件类别和所述待测构件的轮廓信息，所述轮廓信息表征所述待检测图像的图像特征中网格点和所述待测构件的构件轮廓的相对方位关系；
确定单元，用于根据所述轮廓信息确定所述待测构件的轮廓点的位置信息；
检测单元，用于根据所述轮廓点的位置信息，和所述构件类别对应的参考构件轮廓，检测所述待测构件是否存在缺陷。
本方案通过检测模型获得待检测图像的图像特征中网格点和待测构件的构件轮廓的相对方位关系，进而基于该相对方位关系确定待测构件的轮廓点的位置信息，基于轮廓点的位置信息就可以直接检测待测构件有无缺陷，而不需要对轮廓点的位置信息进行二次处理。所以，本方案能够提高对产品中构件缺陷的检测效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的一种构件缺陷检测方法的流程图；
图2是本申请实施例提供的一种轮廓信息的示意图；
图3是本申请实施例提供的一种根据轮廓点的位置信息形成预测构件轮廓的示意图；
图4是本申请实施例提供的一种检测模型的结构示意图；
图5是本申请实施例提供的一种检测模型的训练过程的流程图；
图6是本申请实施例提供的一种检测模型的检测结果对比示意图；
图7是本申请实施例提供的一种构件缺陷检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，为本申请实施例提供的一种构件缺陷检测方法的流程图，该方法可以包括如下步骤。
S101，获得待检测图像。
待检测图像的获得方式可以是，在一款产品上安装了一个或多个待测构件后，利用图像采集设备拍摄该产品上安装这些待测构件的部位，将获得的照片作为待检测图像。
图像采集设备，可以是摄像机，也可以是具有摄像功能的其他电子设备，例如具有摄像功能的移动终端。
示例性的，上述产品可以是手机，待测构件，可以是需要安装在手机上的传感器、按键或者散热件等。
在一些可选的实施例中，为了提高检测效率和准确度，可以在通过检测模型处理待检测图像之前，对待检测图像进行预处理，获得预处理后待检测图像。
在预处理步骤中，可以采用多种图像处理方式对待检测图像进行预处理，本实施例对具体的处理方式不做限定。下面说明几种在预处理步骤中可选的处理方式作为示例。
一种处理方式是，对待检测图像进行裁剪和缩放，使得裁剪和缩放后的待检测图像的尺寸，符合预设的尺寸范围。例如，检测模型在处理尺寸在x1至x2，y1至y2这一范围内的图像时准确度较高，则可以通过裁剪和缩放，使得待检测图像的尺寸落入该尺寸范围内。
一种处理方式是，对待检测图像进行降噪处理。受拍摄时环境因素影响，待检测图像中可能存在较多噪点，而噪点越多，检测模型的检测结果准确度就越低，为解决该问题，可以在预处理步骤识别待检测图像中噪点的数量，若噪点较多则采用相关技术中图像降噪的算法对待检测图像降噪，以减少噪点数量。
若执行了以上预处理步骤，则本实施例后续步骤中涉及的待检测图像，均指代预处理后待检测图像；若未执行预处理步骤，则后续步骤的待检测图像为步骤S101中获得的待检测图像。
S102，通过检测模型处理待检测图像，获得待检测图像中待测构件的构件信息，构件信息包括待测构件的构件类别和待测构件的轮廓信息。
轮廓信息表征待检测图像的图像特征中网格点和待测构件的构件轮廓的相对方位关系。
构件类别是用于说明待测构件的种类的标签。示例性的，当待测构件是手机上的构件时，待测构件的构件类别可以是“摄像头”、“闪光灯”和“侧面按键”等标签中的任意一种；当待测构件是笔记本电脑上的构件时，待测构件的类别可以是“键盘”、“触控板”、“屏幕”和“摄像头”等标签中任意一种。
轮廓信息可以有多种形式，本实施例对其具体形式不做限定，只要能够反映待检测图像的图像特征中网格点和构件轮廓的相对方位关系即可。
作为一种示例，轮廓信息可以包括待检测图像的图像特征中多个网格点的射线长度信息；图像特征中网格点的射线长度信息包括以该网格点为原点，按预设角度间隔排列的多条射线的长度，射线的长度，相当于沿射线的方向从原点到待测构件的构件轮廓之间的距离。
预设角度间隔可以根据实际情况设定，不做限定。示例性的，预设角度间隔可以设置为10°，30°。
请参见图2，为上述轮廓信息的示意图。可以看到，从0°开始，每隔30°就有一条以极坐标系的原点为起点，到达构件轮廓为止的射线，假设从0°开始沿逆时针顺序将这些射线的长度依记为d1，d2,……d12，那么原点的轮廓信息，可以记为(d1，d2,……d12)。
作为另一种示例，轮廓信息可以包括待检测图像的图像特征中多个网格点的轮廓坐标信息；图像特征中网格点的轮廓坐标信息，包括多个轮廓点在以该网格点为原点的直角坐标系下的坐标，轮廓点指代待检测图像中位于待测构件的轮廓上的像素点。
图像特征，可以理解为基于待检测图像中各像素确定的矩阵，该矩阵中各个元素的数值根据待检测图像中像素的像素值确定，一般的，待检测图像经过检测模型中一个或多个网络处理后，可以得到至少一个图像特征。
图像特征的网格点，就是指该图像特征中的元素。
S103，根据轮廓信息确定待测构件的轮廓点的位置信息。
轮廓点的位置信息，可以用轮廓点在待检测图像的图像坐标系下的坐标值来表示。图像坐标系，是指以待检测图像上某一指定像素点为原点建立的直角坐标系，该指定像素点可以是待检测图像中心的像素点、左上角的像素点、左下角的像素点、右下角的像素点和右上角的像素点中任意一者。
对于不同形式的轮廓信息，S103的具体实施方式有所不同。
续接S102中的示例，当轮廓信息是如图2所示的射线长度信息时，S103包括：
根据网格点的位置信息、角度间隔和网格点的射线长度信息，确定待测构件的轮廓点的位置信息。
网格点的位置信息，可以是待检测图像中该网格点对应的像素点在图像坐标系下的坐标值。在一些图像特征中，一个网格点有时可以对应多个像素点，这种情况下，网格点的位置信息，可以是该网格点对应的多个像素点中位于中心的像素点在图像坐标系下的坐标值。
将网格点的位置信息记为(xc，yc)，则射线长度信息中第i条射线对应的轮廓点的位置信息(xi，yi)可以用如下公式计算：
xi＝cos(θi)×di+xc；
yi＝sin(θi)×di+yc。
其中θi表示第i条射线的角度，di表示第i条射线的长度。
当轮廓信息是图像特征中多个网格点的轮廓坐标信息时，可以先根据网格点的位置信息，确定从以网格点为原点的坐标系到图像坐标系的变换关系，然后基于该变换关系对各个轮廓点在网格点为原点的坐标系下的坐标，变换为这些轮廓点在图像坐标系下的坐标，由此获得轮廓点的位置信息。
S104，根据轮廓点的位置信息，和构件类别对应的参考构件轮廓，确定待测构件是否存在缺陷。
S104的一种可选的实施方式是：
获得轮廓点的位置信息所形成预测构件轮廓对应的预测信息，以及构件类别对应的参考构件轮廓对应的参考信息，预测信息包括待测构件的预测构件轮廓、待测构件的预测所在区域和不同待测构件的预测相对位置中至少一者，参考信息包括待测构件的参考构件轮廓、待测构件的参考所在区域和不同待测构件的参考相对位置中至少一者；
根据同类型的参考信息和预测信息之间的匹配度，确定待测构件是否存在缺陷。
基于上述实施方式执行S104时，首先可以根据轮廓点的位置信息获得待预测构件的预测构件轮廓。请参见图3，为本实施例提供的根据轮廓点的位置信息形成预测构件轮廓的示意图。
从图3可以看出，根据轮廓点的位置信息，可以在待检测图像中确定出若干个轮廓点，然后在这些轮廓点的基础上拟合出一条曲线，这条曲线就可以视为待测构件的预测构件轮廓。
如前文所述，待测构件的轮廓信息，可以包括图像特征中多个网格点的轮廓信息，对应的，针对每一个网格点，通过S103均可以根据该网格点的轮廓信息，获得该网格点对应的轮廓点位置信息。
因此在根据轮廓点的位置信息获得预测构件轮廓时，可以先针对每一网格点，根据该网格点的轮廓信息在待检测图像中确定出该网格点对应的多个轮廓点，在拟合曲线的阶段，将各个网格点对应的轮廓点一并用于拟合。
可选的，也可以在多个网格点中按照预设的网格点选取规则选择一个网格点，在拟合曲线的阶段，仅根据选中的这个网格点对应的轮廓点进行拟合。
网格点选取规则可以根据实际情况设定，不做限定。作为示例，网格点选取规则可以是，通过各个网格点对应的轮廓点可分别直接得到对应轮廓曲线的最小外接矩形，利用非极大值抑制(NMS)算法过滤冗余的网格点，余下的网格点及其对应的轮廓点用于拟合轮廓。
待测构件的预测所在区域，反映了待测构件在产品上安装的位置，该信息可以用预测构件轮廓的最小外接矩形框表示，也可以用预测构件轮廓上若干个点的坐标表示。
不同待测构件之间的相对位置，可以包括相对方位和相对距离，相对方位可以用不同待测构件的轮廓的中心点的连线，和预设的参考线(例如可以是水平线)之间的夹角表示，相对距离，可以用上述连线的长度表示。
参考信息，可以理解为产品设计阶段针对该产品上各个待测构件指定的标准信息。待测构件的各项预测信息越接近参考信息，说明该产品上待测构件的安装情况越符合标准，该产品的质量越好，反之，各项预测信息越偏离参考信息，则产品质量越差，当两者的匹配度过低，偏离程度过大时，则可以认为该产品上安装的待测构件存在缺陷，该产品不合格。
可以理解，对于不同类别的构件，其参考信息可以不同，因此在执行S104时，可以根据构件类别，在多种预设的参考信息中，找到该构件类别对应的参考信息。
同类型的参考信息和预测信息之间的匹配度，包括预测构件轮廓和参考构件轮廓的轮廓匹配度、预测所在区域和参考所在区域的区域匹配度、以及预测相对位置和参考相对位置的相对位置匹配度中至少一者。
在确定待测构件是否存在缺陷时，可以判断上述匹配度是否大于对应的匹配度阈值，如果匹配度大于对应的匹配度阈值，则确定待测构件不存在缺陷，如果匹配度不大于对应的匹配度阈值，则确定待测构件存在对应的缺陷。
示例性的，若轮廓匹配度不大于对应的轮廓匹配度阈值，说明待测构件可能发生损坏而导致轮廓缺损，因此确定待测构件存在构件自身缺陷。
若区域匹配度不大于对应的区域匹配度阈值，说明待测构件在产品上安装的位置不符合相关标准，因此确定待测构件存在自身装配位置缺陷。
若相对位置匹配度不大于对应的相对位置匹配度阈值，说明产品上已安装的不同待测构件之间相对位置关系不符合标准，可能是相对方位不符合标准或者距离不符合标准，因此确定待测构件存在相对位置缺陷。
本实施例中，检测模型可以采用不同的结构。示例性的，本实施例所用的检测模型，可以是如图4所示的检测模型。
图4所示的检测模型包括多层特征提取网络，特征融合网络，检测头和辅助训练网络。其中辅助训练网络仅在检测模型的训练阶段使用，在S102中利用检测模型处理待检测图像时，辅助训练网络不工作。
多层特征提取网络由多个串联的卷积层组成，前一卷积层的输出作为后一卷积层的输入，该多层特征提取网络，可以采用相关技术中ShuffleNetV2、MobileNetV3或EfficientNet_Lite等轻量级网络结构，也可以采用其他网络结构。
多层特征提取网络中不同卷积层对应的参数可以相同也可以不同。示例性的，不同卷积层可以对应不同的滑动步长(stride)，以该网络包含三个卷积层为例，三个卷积层的滑动步长可以依次设定为8，16和32。
特征融合网络同样由多个串联的卷积层组成，并且不同卷积层之间可以互相传递数据，即前一卷积层的输出可以作为后一卷积层的输入，后一卷积层的输出也可以作为前一卷积层的输入。
特征融合网络可以采用相关技术中的路径聚合网络(Path AggregationNetwork，PAN)或者其他网络结构。
检测头包括两个并行的卷积层，其中一个卷积层用于根据特征融合网络输出的融合图像特征检测出待测构件的构件类别，另一个卷积层用于根据融合图像特征检测出轮廓信息。
当应用如图4所示的检测模型时，步骤S102可以包括：
A1，通过检测模型的多层特征提取网络提取得到待检测图像的多个图像特征；
A2，通过检测模型的特征融合网络融合多个图像特征，得到待检测图像的融合图像特征；
A3，利用检测模型的检测头检测待检测图像的融合图像特征，获得待检测图像中待测构件的构件信息。
在步骤A1中，待检测图像作为多层特征提取网络的首个卷积层的输入，之后多层特征提取网络中每一卷积层的输入均为前一卷积层的输出，每个卷积层均对输入的数据进行特征提取，获得该卷积层对应的一个图像特征，因此，通过多层特征提取网络可以提取得到待检测图像的多个图像特征。
在步骤A2中，特征融合网络的每一个卷积层均和多层特征提取网络中的一个卷积层对应。对于特征融合网络中的每一个卷积层，该卷积层可以接收多层特征提取网络中对应卷积层输出的图像特征，将该图像特征处理后向上和向下传输给特征融合网络中相邻的其他卷积层，最后该卷积层可以将多层特征提取网络提供的图像特征，以及特征融合网络中相邻的其他卷积层提供的处理过的图像特征融合，获得该卷积层对应的融合图像特征。
这样做的好处在于，可以将多层特征提取网络中不同卷积层输出的图像特征在特征融合网络中进行参数聚合，从而强化融合图像特征中待测构件的语义特征和定位特征，提高检测结果的准确度。
在步骤A3中，当存在多个融合图像特征时，检测头可以先将多个融合图像特征合并为单个融合图像特征，也可以针对每一个融合图像特征均执行步骤A3。
步骤A3中，检测头检测待测构件的构件类别的过程可以包括：
利用检测模型的检测头检测得到待检测图像的融合图像特征中多个网格点的分类概率，分类概率表示网格点对于预设类别的构件的概率；
将最大的分类概率对应的类别确定为待检测图像中待测构件的构件类别。
下面结合示例对检测构件类别的过程进行说明。
假设预设的构件类别包括“传感器”、“按键”和“散热件”，对于一个网格点，检测头输出的该网格点的分类概率可以包括P1，P2，P3和P4，其中P1至P3依次表示该网格点对于传感器的概率、按键的概率和散热件的概率，P4表示该网格点不对应任何构件轮廓，也就是该网格点对应背景的概率。
若一个网格点的P1为上述几个分类概率中的最大值，则可以认为该网格点对应的待测构件的构件类别为“传感器”，若最大值是P2，则可以认为构件类别为“按键”，以此类推。
本实施例所提供的检测模型，可以利用至少一个样本图像，以及样本图像对应的第二构件信息训练得到。
样本图像对应的第二构件信息，是通过人工标注或其他方式预先标记确定的构件信息。
请参见图5，为本申请实施例提供的一种利用样本图像训练检测模型的过程的流程图，该过程可以包括如下步骤。
S501，通过检测模型的多层特征提取网络提取样本图像的多个图像特征。
步骤S501的具体实施过程和步骤A1一致，不再赘述。
S502，通过检测模型的辅助训练网络处理样本图像的多个图像特征，得到样本图像的第一构件信息。
辅助训练网络可以由路径聚合网络和检测头组成。可选的，其中的路径聚合网络也可以替换为其他结构的网络，检测头可以由4组256通道的3x3卷积层组成。
在开始训练之前，可以按随机初始化的方式对辅助训练网络中的参数进行初始化，在训练过程中，辅助训练网络中的参数和检测模型中其他网络的参数一并在根据模型损失进行更新。
可选的，通过检测模型的辅助训练网络处理样本图像的多个图像特征，得到样本图像的第一构件信息，包括：
B1，利用辅助训练网络处理图像特征，得到备选第一构件信息；
B2，根据备选第一构件信息和第二构件信息，计算得到备选第一构件信息对应的第一损失；
B3，选择对应的第一损失最小的备选第一构件信息作为第一构件信息。
在步骤B1中，辅助训练网络通过处理图像特征，可以获得图像特征中每一网格点对应的备选第一构件信息。网格点对应的备选第一构件信息，包括该网格点对应的构件类别和轮廓信息。
备选第一构件信息对应的第一损失C，可以按照如下公式计算得到：
C＝α1·Ciou+α2·Ccls
其中，α1和α2为预设的权重参数。Ciou表示根据备选第一构件信息对应的构件轮廓的最小外接矩形框，和第二构件信息对应的真实构件轮廓的最小外接矩形框之间的偏差，备选第一构件信息对应的构件轮廓，是指根据备选第一构件信息中的轮廓信息确定的构件轮廓，第二构件信息对应的真实构件轮廓，是指根据第二构件信息的轮廓信息确定的构件轮廓，该损失值可以用两个最小外接矩形框的重合度的以自然数e为底的对数的负数表示，两个最小外接矩形框的重合度可以用两者的交集在两者的并集中所占比例表示。
Ccls表示备选第一构件信息和第二构件信息之间构件类别的差异，为了计算该损失，可以先将备选第一构件信息的构件类别和第二构件信息的构件类别均用向量表示。
示例性的，备选第一构件信息的构件类别可以表示为(P1，P2，P3，P4)，P1至P4的定义可以参见前文对检测构件类别的过程的说明，第二构件信息的构件类别可以表示为(S1，S2，S3，S4)，S1至S4中，有且仅有一项的值为1，其他项的值为0，S1至S3均对应一种预设的构件类别，S4对应背景，如果S1至S3中某一项为1，该网格点属于对应构件类别的构件，如果S4为1，说明该网格点属于背景。
在获得上述表示构件类别的向量后，就可以计算备选第一构件信息的向量和第二构件信息的向量之间的差距，根据差距确定Ccls。例如，向量之间的差距的度量方法可以是二元交叉熵，将利用此度量方法得到的值，确定为Ccls。
通过上述方式，可以获得一个损失矩阵，该损失矩阵中记录图像特征中各个网格点对应的备选第一构件信息的第一损失。
由此，执行B3时，可以从损失矩阵中确定选择最小的第一损失，将最小的第一损失对应的备选第一构件信息，确定为辅助训练网络输出的第一构件信息。
按照这种方法确定第一构件信息的好处在于，在所有网格点中，只有第一损失最小的网格点才被用于训练检测模型，因此实现动态标签分配，可以提高训练出的检测模型的准确度。
请参见图6，为基于该方法进行训练得到的检测模型的检测结果示意图。其中(1)为样本图像，(1)中的阴影部分为预先标注的待测构件的掩膜，该掩膜的边缘就是待测构件的真实构件轮廓。(2)是未按照该方法进行训练时，检测模型输出的检测结果的示意图，其中的预测构件轮廓1是根据检测模型输出的轮廓信息确定的预测构件轮廓；(3)是按照该方法进行训练时，检测模型输出的检测结果的示意图，其中的预测构件轮廓2是根据检测模型输出的轮廓信息确定的预测构件轮廓。
可以看出，在训练检测模型时利用上述方法确定第一构件信息，可以显著提高应用阶段检测模型输出的预测构件轮廓的准确度，获得更接近真实构件轮廓的预测构件轮廓。
S503，根据样本图像的第一构件信息、第二构件信息和第三构件信息，计算检测模型的模型损失。
第二构件信息是预先在样本图像中标记的构件信息，具体来说，第二构件信息可以包括通过人工标注等方式预先标注的真实构件类别和真实轮廓信息。
第三构件信息是，检测模型的检测头根据样本图像的融合图像特征检测得到的构件信息，样本图像的融合图像特征由检测模型的特征融合网络融合样本图像的多个图像特征得到。
第三构件信息的获得方式和步骤S102一致，不再赘述。
模型训练时，损失Loss可以根据检测头损失Loss1和辅助损失Loss2确定，其中检测头损失表征第二构件信息和第三构件信息的差异，辅助损失表征第二构件信息和第一构件信息的差异。
一种可选的确定模型损失的方式是，按如下公式对检测头损失和辅助损失进行计算，获得模型损失。
Loss＝Loss1+b1×Loss2。
其中b1为预设的权重参数。
检测头损失至少包括第一轮廓损失和第一类别损失；
第一轮廓损失(可以记为Lossmask_iou)根据第二外接框和第三外接框确定，第二外接框为根据第二构件信息中轮廓信息确定的最小外接矩形框，第三外接框为根据第三构件信息中轮廓信息确定的最小外接矩形框；
第一类别损失(可以记为Losscls)根据第二构件信息的构件类别和第三构件信息的构件类别确定。
确定第一轮廓损失的方法，可以和前文计算Ciou的方法一致，不再赘述。
确定第一类别损失的方法，可以和前文计算Ccls的方法一致，不再赘述。
进一步的，当轮廓信息具体为网格点的射线长度信息时，检测头损失还可以包括第一距离损失(记为Lossdis)。
第一距离损失的确定方法可以是：
首先，针对融合图像特征中每一网格点，计算该网格点的分类得分和最小外接得分，其中分类得分表征该网格点的分类概率和预先标注的真实构件类别之间的差距，差距越低，分类得分越高；最小外接得分表针该网格点对应的构件轮廓的最小外接矩形框和预先标注的真实构件轮廓的最小外接矩形框的相近程度，相近程度越高，最小外接得分越高，其中该网格点对应的构件轮廓，是指根据该网格点的轮廓信息确定的构件轮廓。
然后，在多个网格点中选择分类得分与最小外接得分之和最大的网格点，以选中的网格点的位置为原点，按预设的角度间隔确定多条从原点到真实构件轮廓的射线，并记录这些射线的长度作为目标射线长度。其中，按此方法确定的射线和射线长度信息中的射线一一对应且方向一致，也就是说，若射线长度信息包括从0°开始，间隔30°的多条射线的长度，则确定目标射线长度时也按此规律确定多条射线。
最后，针对同一条射线，计算预测射线长度信息中的射线长度和目标射线长度之间的偏差，并将多条射线的偏差汇总，得到第一距离损失。示例性的，假设按从0°开始，间隔30°的规律确定12条射线，依次记为射线1至射线12，那么计算第一距离损失时，可以依次计算射线1的目标射线长度和预测射线长度信息中射线1的长度之间的偏差，射线2的目标射线长度和预测射线长度信息中射线2的长度之间的偏差，以此类推，最后将12条射线的偏差汇总得到第一距离损失。
在一些实施例中，第一构件信息的射线长度信息可以包括检测头输出的长度概率分布，对于按一定角度间隔分布的每一条射线，该条射线的长度概率分布可以由多个离散的长度值和每一长度值对应的概率值组成，并且一条射线对应的多个概率值的和等于1，长度值及其对应的概率值表示该条射线的长度等于该长度值的概率大小。
这种情况下，对于每一条射线，可以先按照如下公式计算该射线的长度损失DFL：
DFL＝-((yi+1-y)log(Si)+(y-yi)log(Si+1))。
其中，y表示该条射线的目标射线长度，yi+1和yi分别表示该条射线的长度概率分布中，最接近目标射线长度的两个长度值，Si+1和Si分别表示这两个长度值对应的概率值，
获得每一条射线的长度损失后，将这些长度损失汇总，得到第一距离损失。
检测头损失，可以等于第一类别损失和第一轮廓损失之和，或者可以等于第一类别损失、第一轮廓损失与第一距离损失之和。
辅助损失，可以包括第二轮廓损失、第二类别损失和第二距离损失，具体的确定方法均可以参见确定第一轮廓损失、第一类别损失和第一距离损失的方法，只需将涉及的第三构件信息替换为辅助训练网络输出的第一构件信息即可，不再赘述。
S504，根据模型损失更新检测模型的参数。
在步骤S504中，可以基于相关技术中的梯度反向传播的方法，根据模型损失计算检测模型中各项参数的更新量，按照更新量更新对应的参数。
本实施例的有益效果在于，在训练阶段引入辅助训练网络，可以在训练时区分正负样本，并给图像特征的每个网格点位置赋予合适的学习目标，加强反向传播的过程中模型损失对检测模型中不同尺度的特征层(例如多层特征提取网络的特征融合网络)的监督作用，促使不同的构件聚焦于不同类型的特征，提高了检测模型的训练效率。
并且，利用辅助训练网络输出的和第二构件信息之间损失最小的第一构件信息对检测模型进行训练，可以使检测模型更容易从样本图像中提取出待测构件的特征，提高模型的准确度。
图5所示的流程可以重复多次执行，直到满足特定的收敛条件为止。
该收敛条件可以是，模型损失小于或等于预设的模型损失阈值，或者可以是，迭代次数大于或等于预设的迭代次数阈值。迭代次数，指代图5所示的流程被执行的次数。
在一些可选的实施例中，样本图像可以是任意选取的多张显示有至少一个构件的图像，也可以是按照如下方式从多张备选图像中选择的图像。
C1，获得备选图像；
C2，利用检测模型处理备选图像，得到备选图像的第四构件信息；
C3，根据备选图像的第四构件信息确定备选图像的备选样本损失，备选样本损失包括第二轮廓损失和第二类别损失，第二类别损失根据第四构件信息的构件类别和备选图像中预先标注的构件类别确定，第二轮廓损失根据第四构件信息对应的最小外接矩形框和预先标注的备选图像中最小外接矩形框确定；
C4，选择备选样本损失最小的备选图像作为样本图像。
步骤C1中，备选图像可以是任意选取的多帧显示有待测构件的图像。
步骤C2中第四构件信息的获得方式，和前述第三构件信息一致，即使用检测模型处理备选图像，由检测模型的检测头对特征融合网络输出的融合图像特征进行处理，获得备选图像的第四构件信息。
步骤C3中第二轮廓损失和第二类别损失的确定方法，和前文确定第一轮廓损失和第一类别损失的方法一致，不再赘述。
在一些可选的实施例中，也可以将多个备选图像按照备选样本损失从低到高排序，选择其中的前N个备选图像作为样本图像，N为预设的正整数。
在另一些可选的实施例中，还可以将多个备选图像中，备选样本损失小于一定阈值的备选图像选择作为样本图像。
按上述方法筛选用于训练的样本图像的好处在于，图像的损失过大有时可能是因为图像本身质量较差，例如待测构件显示不完整、图像模糊等原因导致，按上述方法进行筛选，可以选取图像质量较高的样本图像，使得在训练时检测模型的模型损失能更快的收敛，从而提高检测模型的训练效率。
根据本申请实施例提供的构件缺陷检测方法，本申请实施例还提供一种构件缺陷检测装置，请参见图7，为该装置的结构示意图，该装置可以包括如下单元。
获得单元701，用于获得待检测图像；
处理单元702，用于通过检测模型处理待检测图像，获得待检测图像中待测构件的构件信息，构件信息包括待测构件的构件类别和待测构件的轮廓信息，轮廓信息表征待检测图像的图像特征中网格点和待测构件的构件轮廓的相对方位关系；
确定单元703，用于根据轮廓信息确定待测构件的轮廓点的位置信息；
检测单元704，用于根据轮廓点的位置信息，和构件类别对应的参考构件轮廓，检测待测构件是否存在缺陷。
可选的，处理单元702通过检测模型处理待检测图像，获得待检测图像中待测构件的构件信息时，具体用于：
通过检测模型的多层特征提取网络提取得到待检测图像的多个图像特征；
通过检测模型的特征融合网络融合多个图像特征，得到待检测图像的融合图像特征；
利用检测模型的检测头检测待检测图像的融合图像特征，获得待检测图像中待测构件的构件信息。
可选的，处理单元702检测待测构件的构件类别的过程，包括：
利用检测模型的检测头检测得到待检测图像的融合图像特征中多个网格点的分类概率，分类概率表示网格点对于预设类别的构件的概率；
对于网格点，将最大的分类概率对应的类别确定为待检测图像中待测构件的构件类别。
可选的，待测构件的轮廓信息，包括待检测图像的融合图像特征中多个网格点的射线长度信息，射线长度信息包括以网格点为原点，按预设角度间隔排列的多条射线的长度；
确定单元703根据轮廓信息确定待测构件的轮廓点的位置信息时，具体用于：
根据网格点的位置信息、角度间隔和网格点的射线长度信息，确定待测构件的轮廓点的位置信息。
可选的，检测单元704根据轮廓点的位置信息，和构件类别对应的参考构件轮廓，检测待测构件是否存在缺陷时，具体用于：
获得轮廓点的位置信息所形成预测构件轮廓对应的预测信息，以及构件类别对应的参考构件轮廓对应的参考信息，预测信息包括待测构件的预测构件轮廓、待测构件的预测所在区域和不同待测构件的预测相对位置中至少一者，参考信息包括待测构件的参考构件轮廓、待测构件的参考所在区域和不同待测构件的参考相对位置中至少一者；
根据同类型的参考信息和预测信息之间的匹配度，确定待测构件是否存在缺陷。
可选的，该装置还包括训练单元705，用于训练检测模型，训练单元705训练检测模型的过程包括：
通过检测模型的多层特征提取网络提取样本图像的多个图像特征；
通过检测模型的辅助训练网络处理样本图像的多个图像特征，得到样本图像的第一构件信息；
根据样本图像的第一构件信息、第二构件信息和第三构件信息，计算检测模型的模型损失，第二构件信息是预先在样本图像中标记的构件信息，第三构件信息是，检测模型的检测头根据样本图像的融合图像特征检测得到的构件信息，样本图像的融合图像特征由检测模型的特征融合网络融合样本图像的多个图像特征得到；
根据模型损失更新检测模型的参数。
可选的，训练单元705通过检测模型的辅助训练网络处理样本图像的多个图像特征，得到样本图像的第一构件信息时，具体用于：
利用辅助训练网络处理图像特征，得到备选第一构件信息；
根据备选第一构件信息和第二构件信息，计算得到备选第一构件信息对应的第一损失；
选择对应的第一损失最小的备选第一构件信息作为第一构件信息。
可选的，模型损失包括表征第二构件信息和第三构件信息的差异的检测头损失；
检测头损失至少包括第一轮廓损失和第一类别损失；
第一轮廓损失根据第二外接框和第三外接框确定，第二外接框为根据第二构件信息中轮廓信息确定的最小外接矩形框，第三外接框为根据第三构件信息中轮廓信息确定的最小外接矩形框；
第一类别损失根据第二构件信息的构件类别和第三构件信息的构件类别确定。
可选的，训练单元705还用于：
获得备选图像；
利用检测模型处理备选图像，得到备选图像的第四构件信息；
根据备选图像的第四构件信息确定备选图像的备选样本损失，备选样本损失包括第二轮廓损失和第二类别损失，第二类别损失根据第四构件信息的构件类别和备选图像中预先标注的构件类别确定，第二轮廓损失根据第四构件信息对应的最小外接矩形框和预先标注的备选图像中最小外接矩形框确定；
选择备选样本损失最小的备选图像作为样本图像。
本实施例提供的构件缺陷检测装置，其具体工作原理可以参见本申请任一实施例提供的构件缺陷检测方法的相关步骤，不再赘述。
本实施例提供的检测装置，通过检测模型获得待检测图像的图像特征中网格点和待测构件的构件轮廓的相对方位关系，进而基于该相对方位关系确定待测构件的轮廓点的位置信息，基于轮廓点的位置信息就可以直接检测待测构件有无缺陷，而不需要对轮廓点的位置信息进行二次处理。所以，本方案能够提高对产品中构件缺陷的检测效率。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种构件缺陷检测方法，包括：
获得待检测图像；
通过检测模型处理所述待检测图像，获得所述待检测图像中待测构件的构件信息，所述构件信息包括所述待测构件的构件类别和所述待测构件的轮廓信息，所述轮廓信息表征所述待检测图像的图像特征中网格点和所述待测构件的构件轮廓的相对方位关系；
根据所述轮廓信息确定所述待测构件的轮廓点的位置信息；
根据所述轮廓点的位置信息，和所述构件类别对应的参考构件轮廓，确定所述待测构件是否存在缺陷。
2.根据权利要求1所述的方法，所述通过检测模型处理所述待检测图像，获得所述待检测图像中待测构件的构件信息，包括：
通过检测模型的多层特征提取网络提取得到所述待检测图像的多个图像特征；
通过所述检测模型的特征融合网络融合所述多个图像特征，得到所述待检测图像的融合图像特征；
利用所述检测模型的检测头检测所述待检测图像的融合图像特征，获得所述待检测图像中待测构件的构件信息。
3.根据权利要求2所述的方法，检测所述待测构件的构件类别的过程，包括：
利用所述检测模型的检测头检测得到所述待检测图像的融合图像特征中多个网格点的分类概率，所述分类概率表示所述网格点对于预设类别的构件的概率；
对于所述网格点，将最大的所述分类概率对应的类别确定为所述待检测图像中待测构件的构件类别。
4.根据权利要求2所述的方法，所述待测构件的轮廓信息，包括所述待检测图像的融合图像特征中多个网格点的射线长度信息，所述射线长度信息包括以所述网格点为原点，按预设角度间隔排列的多条射线的长度；
所述根据所述轮廓信息确定所述待测构件的轮廓点的位置信息，包括：
根据所述网格点的位置信息、所述角度间隔和所述网格点的射线长度信息，确定所述待测构件的轮廓点的位置信息。
5.根据权利要求1所述的方法，所述根据所述轮廓点的位置信息，和所述构件类别对应的参考构件轮廓，检测所述待测构件是否存在缺陷，包括：
获得所述轮廓点的位置信息所形成预测构件轮廓对应的预测信息，以及所述构件类别对应的参考构件轮廓对应的参考信息，所述预测信息包括所述待测构件的预测构件轮廓、所述待测构件的预测所在区域和不同待测构件的预测相对位置中至少一者，所述参考信息包括所述待测构件的参考构件轮廓、所述待测构件的参考所在区域和不同待测构件的参考相对位置中至少一者；
根据同类型的所述参考信息和所述预测信息之间的匹配度，确定所述待测构件是否存在缺陷。
6.根据权利要求2所述的方法，所述检测模型的训练过程包括：
通过所述检测模型的多层特征提取网络提取样本图像的多个图像特征；
通过所述检测模型的辅助训练网络处理所述样本图像的多个图像特征，得到所述样本图像的第一构件信息；
根据所述样本图像的所述第一构件信息、第二构件信息和第三构件信息，计算所述检测模型的模型损失，所述第二构件信息是预先在所述样本图像中标记的构件信息，所述第三构件信息是，所述检测模型的检测头根据所述样本图像的融合图像特征检测得到的构件信息，所述样本图像的融合图像特征由所述检测模型的特征融合网络融合所述样本图像的多个图像特征得到；
根据所述模型损失更新所述检测模型的参数。
7.根据权利要求6所述的方法，所述通过所述检测模型的辅助训练网络处理所述样本图像的多个图像特征，得到所述样本图像的第一构件信息，包括：
利用所述辅助训练网络处理所述图像特征，得到备选第一构件信息；
根据所述备选第一构件信息和所述第二构件信息，计算得到所述备选第一构件信息对应的第一损失；
选择对应的第一损失最小的所述备选第一构件信息作为第一构件信息。
8.根据权利要求6所述的方法，所述模型损失包括表征所述第二构件信息和所述第三构件信息的差异的检测头损失；
所述检测头损失至少包括第一轮廓损失和第一类别损失；
所述第一轮廓损失根据第二外接框和第三外接框确定，所述第二外接框为根据所述第二构件信息中轮廓信息确定的最小外接矩形框，所述第三外接框为根据所述第三构件信息中轮廓信息确定的最小外接矩形框；
所述第一类别损失根据所述第二构件信息的构件类别和所述第三构件信息的构件类别确定。
9.根据权利要求6所述的方法，还包括：
获得备选图像；
利用所述检测模型处理所述备选图像，得到所述备选图像的第四构件信息；
根据所述备选图像的第四构件信息确定所述备选图像的备选样本损失，所述备选样本损失包括第二轮廓损失和第二类别损失，所述第二类别损失根据所述第四构件信息的构件类别和所述备选图像中预先标注的构件类别确定，所述第二轮廓损失根据所述第四构件信息对应的最小外接矩形框和预先标注的所述备选图像中最小外接矩形框确定；
选择备选样本损失最小的备选图像作为所述样本图像。
10.一种构件缺陷检测装置，包括：
获得单元，用于获得待检测图像；
处理单元，用于通过检测模型处理所述待检测图像，获得所述待检测图像中待测构件的构件信息，所述构件信息包括所述待测构件的构件类别和所述待测构件的轮廓信息，所述轮廓信息表征所述待检测图像的图像特征中网格点和所述待测构件的构件轮廓的相对方位关系；
确定单元，用于根据所述轮廓信息确定所述待测构件的轮廓点的位置信息；
检测单元，用于根据所述轮廓点的位置信息，和所述构件类别对应的参考构件轮廓，检测所述待测构件是否存在缺陷。
CN202310648177.1A 2023-06-02 2023-06-02 一种构件缺陷检测方法和装置 Pending CN116678888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310648177.1A CN116678888A (zh) 2023-06-02 2023-06-02 一种构件缺陷检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310648177.1A CN116678888A (zh) 2023-06-02 2023-06-02 一种构件缺陷检测方法和装置

Publications (1)

Publication Number Publication Date
CN116678888A true CN116678888A (zh) 2023-09-01

Family

ID=87778573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310648177.1A Pending CN116678888A (zh) 2023-06-02 2023-06-02 一种构件缺陷检测方法和装置

Country Status (1)

Country Link
CN (1) CN116678888A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117347363A (zh) * 2023-12-01 2024-01-05 苏州元脑智能科技有限公司 一种质量检测装置以及服务器生产系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117347363A (zh) * 2023-12-01 2024-01-05 苏州元脑智能科技有限公司 一种质量检测装置以及服务器生产系统
CN117347363B (zh) * 2023-12-01 2024-03-01 苏州元脑智能科技有限公司 一种质量检测装置以及服务器生产系统

Similar Documents

Publication Publication Date Title
CN111339858B (zh) 一种基于神经网络的油气管道标志物识别方法
CN110930454B (zh) 一种基于边界框外关键点定位的六自由度位姿估计算法
CN110569901B (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN110570389B (zh) 车辆损伤识别方法及装置
US20230418250A1 (en) Operational inspection system and method for domain adaptive device
CN109815770B (zh) 二维码检测方法、装置及系统
WO2020047420A1 (en) Method and system for facilitating recognition of vehicle parts based on a neural network
TW202027007A (zh) 電腦執行的車輛定損方法及裝置
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
US11004204B2 (en) Segmentation-based damage detection
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN113378686A (zh) 一种基于目标中心点估计的两阶段遥感目标检测方法
CN113505726A (zh) 一种地图中的光伏组串识别与定位方法
CN116678888A (zh) 一种构件缺陷检测方法和装置
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN113496480A (zh) 一种焊缝图像缺陷的检测方法
CN114841255A (zh) 检测模型的训练方法、装置、设备、存储介质及程序产品
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
US20240161303A1 (en) Methods and apparatuses for auto segmentation using bounding box
CN116778362B (zh) 基于领域知识与深度学习的电力杆塔验收构件识别方法
CN117593301B (zh) 基于机器视觉的内存条损伤快速检测方法及系统
CN116188973B (zh) 认知生成机制裂缝检测方法
CN117690846B (zh) 太阳能硅片视觉检测方法、装置、设备及存储介质
CN117853826B (zh) 基于机器视觉的物体表面精度识别方法及相关设备
WO2021049119A1 (ja) 学習装置、学習方法及び学習プログラムが格納された非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination