CN112164025A - 螺纹连接件的缺陷检测方法及装置、电子设备和存储介质 - Google Patents

螺纹连接件的缺陷检测方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112164025A
CN112164025A CN202010898315.8A CN202010898315A CN112164025A CN 112164025 A CN112164025 A CN 112164025A CN 202010898315 A CN202010898315 A CN 202010898315A CN 112164025 A CN112164025 A CN 112164025A
Authority
CN
China
Prior art keywords
picture
segmentation
detected
pixel
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010898315.8A
Other languages
English (en)
Inventor
邵庆彬
费敬敬
杨凯
暴天鹏
吴立威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010898315.8A priority Critical patent/CN112164025A/zh
Publication of CN112164025A publication Critical patent/CN112164025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种螺纹连接件的缺陷检测方法及装置、电子设备和存储介质，该螺纹连接件的缺陷检测方法包括：电子设备对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图；对分割特征图进行缺陷识别，得到与分割特征图对应的特征向量；根据特征向量中定义为缺陷的维度确定至少一个子部件是否存在缺陷。本申请实施例可以定位螺纹连接件的缺陷位置。

Description

螺纹连接件的缺陷检测方法及装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种螺纹连接件的缺陷检测方法及装置、电子设备和存储介质。
背景技术
螺栓、螺母、螺钉、螺柱等螺纹连接件是一种将机械设备紧密连接起来的基础零件，目前已被广泛用于轨道交通、电力设备、汽车制造、建筑行业等多个制造业领域。受生产流程复杂多变，设备运行维护状况不一，实际生产出来的螺纹连接件存在一定比例的缺陷。
然而，目前的方案只能判断是否有缺陷，却无法对缺陷位置进行定位。
发明内容
本申请实施例提供一种螺纹连接件的缺陷检测方法及装置、电子设备和存储介质，可以定位螺纹连接件的缺陷位置。
本申请实施例的第一方面提供了一种螺纹连接件的缺陷检测方法，包括：
对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图；
对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量；
根据所述特征向量中定义为缺陷的维度确定所述至少一个子部件是否存在缺陷。
可选的，所述对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图，包括：
利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图。
可选的，所述对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量，包括：
利用训练好的缺陷识别网络对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量。
可选的，所述利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图，包括：
对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征；
对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图；
对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和包含至少一个子部件的分割特征图。
可选的，所述对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征，包括：
利用特征提取网络对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征。
可选的，所述对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图，包括：
利用特征融合网络对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图。
可选的，所述对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述包含至少一个子部件的分割特征图，包括：
根据有监督训练得到的特征类别标签信息对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述包含至少一个子部件的分割特征图，所述特征类别标签信息包括背景类别标签和所述螺纹连接件的各个子部件的类别标签。
可选的，所述根据所述特征向量中定义为缺陷的维度确定所述至少一个子部件是否存在缺陷，包括：
将所述特征向量中定义为缺陷的维度相加，得到所述至少一个子部件的缺陷分数，若所述缺陷分数大于目标阈值，确定所述至少一个子部件存在缺陷。
可选的，所述至少一个子部件包括螺栓头部、螺柱、螺母中的至少一个。
可选的，所述方法还包括：
判断所述待检测图片是否符合所述分割网络的图片输入要求；
若所待检测图片符合所述分割网络的图片输入要求，执行所述利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割的步骤。
可选的，所述方法还包括：
若所待检测图片不符合所述分割网络的图片输入要求，对所述待检测图片进行预处理，得到包含螺纹连接件的待检测图片。
可选的，所述对所述待检测图片进行预处理，得到包含螺纹连接件的待检测图片，包括：
将所述待检测图片的尺寸调整至所述分割网络的图片尺寸要求的特定尺寸，使用预训练网络的方差和均值对尺寸调整后的所述待检测图片进行归一化处理，得到包含螺纹连接件的待检测图片。
本申请实施例的第二方面提供了一种螺纹连接件的缺陷检测装置，包括：
分割单元，用于利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图；
缺陷识别单元，用于利用训练好的缺陷识别网络对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量，根据所述特征向量中定义为缺陷的维度确定所述至少一个子部件是否存在缺陷。
本申请实施例的第三方面提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例中，利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含螺纹连接件的至少一个子部件的分割特征图；利用训练好的缺陷识别网络对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量；根据所述特征向量中定义为缺陷的维度确定所述第一部分是否存在缺陷。
本申请实施例的螺纹连接件的缺陷检测方法，可以对包含螺纹连接件的待检测图片进行逐像素分割，将待检测图片中的螺纹连接件的各个子部件进行分割，得到螺纹连接件的各个子部件的分割特征图，对各个子部件的分割特征图进行缺陷识别，识别螺纹连接件的各个子部件是否存在缺陷，可以定位螺纹连接件的缺陷所在的子部件，从而定位螺纹连接件的缺陷位置，可以缩小缺陷所在的范围，便于快速找到缺陷。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种螺纹连接件的缺陷检测方法的流程示意图；
图2是本申请实施例提供的一种包含螺纹连接件的待检测图片进行逐像素分割的示意图；
图3是本申请实施例提供的另一种螺纹连接件的缺陷检测方法的流程示意图；
图4是本申请实施例提供的一种分割网络和缺陷识别网络的结构示意图；
图5为本申请实施例提供的一种螺纹连接件的缺陷检测装置的结构示意图；
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有运算能力的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，电子设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
请参阅图1，图1是本申请实施例提供的一种螺纹连接件的缺陷检测方法的流程示意图。如图1所示，该螺纹连接件的缺陷检测方法可以包括如下步骤。
101，电子设备对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图。
本申请实施例中，电子设备可以采用神经网络模型进行逐像素分割，也可以采用像素二值化处理进行逐像素分割。
可选的，步骤101可以包括如下步骤：
电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图。
神经网络模型可以是训练好的分割网络。训练好的分割网络可以包括训练好的语义分割网络，比如，训练好的全卷积网络(fully convolutional networks，FCN)、SegNet、U-Net、掩码-区域卷积神经网络(mask-region convolutional neural networks，Mask-RCNN)等深度学习模型。
在分割网络的训练过程中，分割网络可以通过大量的有监督样本(有缺陷的螺纹连接件的图片和无缺陷的螺纹连接件的图片)进行训练，对每个像素进行分类，逐像素计算(softmax)分类的损失，当训练的损失小于设定值时，确定该分割网络为训练好的分割网络。
螺纹连接件可以包含至少一个子部件，子部件可以是包括螺栓、螺柱、螺钉、螺母中的任一个，子部件也可以包括螺栓的一个部分，也可以说螺柱的一个部分，也可以是螺钉的一个部分，也可以是螺母的一个部分。螺栓可以包括六角头螺栓、方头螺栓、方颈螺栓等，螺柱可以包括双头螺柱、等长双头螺柱、手工焊用焊接螺柱、机动弧焊用焊接螺柱、贮能焊用焊接螺柱等，螺钉可以包括内六角螺钉、紧定螺钉、自攻螺钉等，螺母可以包括六角螺母、圆螺母等。上述螺纹连接件可以应用到高铁接触网、电力网、汽车生产线等需要用到螺纹连接件的地方。
一个实施例中，训练好的分割网络可以将待检测图片中的螺纹连接件按照子部件进行分割，得到各个包含子部件的分割特征图。每个分割特征图可以仅包含一个子部件，也可以同时包含两个或两个以上的子部件。
可选的，所述至少一个子部件包括螺栓头部、螺柱、螺母中的至少一个。
其中，螺纹连接件可以包括螺栓、螺柱和螺母，螺栓可以包括螺栓头部和螺柱。
可选的，所述至少一个子部件包括螺栓头部、有螺纹的螺杆、无螺纹的螺杆、螺母的正六棱柱部分、螺母的圆柱部分、螺钉的头部部分、螺钉的、螺杆部分中的至少一个。
螺纹连接件按照目前的常见类别可以分为螺柱、螺栓、螺钉、螺母。其中，螺栓一般和螺母配合使用。双头螺柱一头可埋入构件内，另一头连接另一零件，一般在被连接件不能或不便安装带头螺栓的情况下使用。螺钉是常见的紧固件，可单独使用，用于嵌入结构件中。
进一步的，螺栓还可以划分为螺栓的头部部分(即，螺栓头部)和螺栓的(带螺纹)螺杆部分(即，螺柱)。螺柱还可以划分为有螺纹的螺杆部分和无螺纹的螺杆部分。螺母划分为正六棱柱部分和圆柱部分。螺钉可以划分为螺钉的头部部分和螺钉的(带螺纹)螺杆部分。
如果待检测图片中的螺纹连接件包括螺栓、螺柱、螺钉、螺母的至少一种，则可以按照螺栓包括的螺栓的头部部分和螺栓的螺杆部分、螺柱包括的有螺纹的螺杆部分和无螺纹的螺杆部分、螺钉包括的螺钉的头部部分和螺钉的螺杆部分、螺母包括的正六棱柱部分和圆柱部分，将待检测图片中的螺纹连接件分为至少两个子部件。
如果检测图片中的螺纹连接件包括螺栓，则电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到螺栓的头部部分的分割特征图和螺栓的螺杆部分的分割特征图。
如果检测图片中的螺纹连接件包括螺柱，则电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到螺柱的有螺纹的螺杆部分的分割特征图和螺柱的无螺纹的螺杆部分的分割特征图。
如果检测图片中的螺纹连接件包括螺母，则电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到螺母的正六棱柱部分的分割特征图和螺母的圆柱部分的分割特征图。
如果检测图片中的螺纹连接件包括螺栓和螺柱，则电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到螺栓的头部部分的分割特征图、螺栓的螺杆部分的分割特征图、螺柱的有螺纹的螺杆部分的分割特征图和螺柱的无螺纹的螺杆部分的分割特征图。
如果检测图片中的螺纹连接件包括螺栓和螺母，则电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到螺栓的头部部分的分割特征图、螺栓的螺杆部分的分割特征图、螺母的正六棱柱部分的分割特征图和螺母的圆柱部分的分割特征图。
如果检测图片中的螺纹连接件包括螺柱和螺母，则电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到螺柱的有螺纹的螺杆部分的分割特征图和螺柱、无螺纹的螺杆部分的分割特征图、螺母的正六棱柱部分的分割特征图和螺母的圆柱部分的分割特征图。
如果检测图片中的螺纹连接件包括螺栓、螺柱和螺母，则电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到螺栓的头部部分的分割特征图、螺栓的螺杆部分的分割特征图、螺柱的有螺纹的螺杆部分的分割特征图、螺柱的无螺纹的螺杆部分的分割特征图、螺母的正六棱柱部分的分割特征图和螺母的圆柱部分的分割特征图。
待检测图片中除了包含螺纹连接件，也会包含其他背景，逐像素分割不仅可以将螺纹连接件的各个子部件进行分割，得到螺纹连接件的各个子部件的分割特征图，逐像素分割还可以将待检测图片的背景(即，待检测图片中不属于螺纹连接件的部分)进行分割，得到背景部分的分割特征图。
从分割特征图中可以清晰的区分螺纹连接件的各个子部件，比如，同一个部分的分割特征图的所有像素可以用同一种颜色进行标识，任意两个不同部分的分割特征图的像素的颜色不同。
逐像素分割是将待检测图片中的每个像素都划分为一个类别，将同一个类别的像素分割出来，组成该类别对应的分割特征图。请参阅图2，图2是本申请实施例提供的一种包含螺纹连接件的待检测图片进行逐像素分割的示意图。如图2所示，将包含螺纹连接件的待检测图片进行逐像素分割后，得到分割特征图，分割特征图中的螺纹连接件被分割成螺栓的螺杆部分、螺母的圆柱部分和螺母的正六棱柱部分。图2的分割特征图包括螺栓的螺杆部分的分割特征图、螺母的圆柱部分的分割特征图和螺母的正六棱柱部分的分割特征图，这三个部分的分割特征图的颜色深浅不同(螺栓的螺杆部分的颜色相对较浅，螺母的正六棱柱部分的颜色相对适中、螺母的圆柱部分的颜色相对最深)。
可选的，电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的第一部分的分割特征图，具体可以包括如下步骤：
电子设备对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征；
电子设备对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图；
电子设备对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述包含至少一个子部件的分割特征图。
其中，电子设备对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征，具体为：
电子设备利用特征提取网络对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征。
其中，电子设备对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图，具体为：
电子设备利用特征融合网络对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图。
其中，电子设备对对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述包含至少一个子部件的分割特征图，具体为：
电子设备根据有监督训练得到的特征类别标签信息对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述包含至少一个子部件的分割特征图，所述特征类别标签信息包括背景类别标签和所述螺纹连接件的各个子部件的类别标签。
本申请实施例中，分割网络可以包括特征提取网络和特征融合网络。特征提取网络可以包括残差网络，特征融合网络可以包括特征金字塔网络(feature pyramidnetworks，FPN)。
其中，残差网络用于对待检测图片进行特征提取，得到待检测图片的底层特征(也可以称为低层特征)和高层特征。残差网络可以解决网络层数增加产生的梯度消失、爆炸和网络退化问题。特征金字塔网络对残差网络提取的底层特征和高层特征进行融合，使得整个分割网络融合了不同分辨率、不同语义强度的特征，分割特征更加丰富，有利于后面的缺陷识别网络的分类。在分割过程中，分割网络可以学习到螺纹连接件的整体结构以及各个子部件的关系，同时分割网络在训练过程中，通过全图的逐像素的监督信息，分割网络的底层可以学习到更加丰富的底层特征。采用特征金字塔网络，可以对待检测图片的底层特征和高层特征进行融合，既可以学习到高级别的图片的整体语义信息，也可以学习到更加细节更加底层的特征，分割特征更加丰富，分割的效果较好，也有利于后面的缺陷识别网络的分类。
残差网络是一种深度卷积神经网络，残差网络的不同的深度分别对应于提取不同层次的特征信息，有低层特征，中层特征和高层特征，残差网络的卷积层越多，提取到的不同层次的信息会越多，而不同层次间的层次信息的组合也会越多。而对于卷积神经网络而言，不同深度对应着不同层次的语义特征，浅层网络分辨率高，学的更多是细节特征，深层网络分辨率低，学的更多是语义特征。
待检测图片的底层特征包括：待检测图片的轮廓、边缘、颜色、纹理和形状特征；待检测图片的高层特征包括待检测图片的整体信息。一般而言，底层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差，将两者高效融合，取其长处，可以提升分割网络的分割能力。
电子设备可以利用残差网络对包含螺纹连接件的待检测图片进行特征提取，待检测图片在残差网络在不同的卷积层输出不同的特征。比如，在较低的卷积层输出底层特征，在较高的卷积层输出高层特征。
电子设备利用特征金字塔网络对待检测图片的底层特征和高层特征的融合，待检测图片的特征图中的每个像素都具包含有融合后的特征，得到待检测图片的特征图。电子设备根据分割网络在有监督训练过程中得到的特征类别标签信息，对待检测图片的特征图进行逐像素分类，预测待检测图片中每个像素的类别，从而得到待检测图片的背景分割特征图和螺纹连接件包含的至少一个子部件的分割特征图。分割网络可以采用大量的有监督的包含螺纹连接件的训练样本图片进行训练，分割网路可以在训练过程中学习到像素级别的特征。特征类别标签信息可以包括：背景类别标签、螺纹连接件的各个子部件的类别标签(比如，螺纹连接件的各个子部件的类别标签可以包括：螺栓的头部部分的类别标签、螺栓的螺杆部分的类别标签、螺柱的有螺纹的螺杆部分的类别标签、螺柱的无螺纹的螺杆部分的类别标签、螺母的正六棱柱部分的类别标签和螺母的圆柱部分的类别标签、螺钉的头部部分的类别标签和螺钉的螺杆部分的类别标签)。
102，电子设备对分割特征图进行缺陷识别，得到与分割特征图对应的特征向量。
本申请实施例中，电子设备可以利用神经网络模型或传统的图像分割算法对分割特征图进行缺陷识别，得到与分割特征图对应的特征向量。
可选的，步骤102可以包括如下步骤：
电子设备利用训练好的缺陷识别网络对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量。
本申请实施例中，缺陷识别网络可以包括残差神经网络(residual neuralnetwork，ResNet)、可视化几何组网络(visual geometry group network，VGGNet)等决策网络。残差神经网络也可以简称为残差网络。VGGNet使用的全部都是3x3的小卷积核和2x2的池化核，通过不断加深网络来提升性能，VGGNet的泛化能力较好，在不同的图片数据集上都有良好的表现。
步骤102可以使用步骤101得到的包含至少一个子部件的分割特征图，对包含至少一个子部件的分割特征图进行进一步的分类，获得特征向量。缺陷识别网络和分割网络共享特征提取网络(比如，残差网络)。在训练的过程中，缺陷识别网络对于缺陷识别网络的底层的参数不进行更新，因为分割网络已经学习到底层的细节特征。缺陷识别网络只对高层的参数进行更新，学习更加高级的语义特征。在训练完成后，可以直接得到缺陷识别网络输出的特征向量，同时得到分割网络输出分割的结果图。
103，电子设备根据特征向量中定义为缺陷的维度确定第一部分是否存在缺陷。
本申请实施例中，特征向量可以包括多个维度，多个维度中有一些维度的数值代表缺陷的类别，另一些维度的数值代表没有缺陷的类别。举例来说，如果特征向量P1＝(a1，a2，a3，a4，a5)，如果该向量P1的第二维度、第三维度和第四维度分别代表缺陷的类别(比如，第二维度代表裂痕缺陷，第三维度代表孔缺陷，第四维度代表生锈缺陷)，其他维度代表没有缺陷的类别，则可以根据特征向量P1的第二维度、第三维度和第四维度的数值确定螺纹连接件的至少一个子部件是否存在缺陷。其中，P1中的每个维度的取值可以位于0～1之间(0代表无缺陷，数值越大，标识缺陷程度越大)。举例来说，螺纹连接件的至少一个子部件为螺栓的头部，如果a2，a3，a4均为0，则表示螺栓的头部没有缺陷。如果a2，a3，a4存在一个不为0，或者a2，a3，a4按照某种运算规则得到的数字大于某一阈值，则表明螺栓的头部存在缺陷。比如，如果a2，a3，a4分别乘以对应的加权系数后相加得到的数字大于某一阈值，则表明螺栓的头部存在缺陷，如果a2，a3，a4分别乘以对应的加权系数后相加得到的数字小于某一阈值，则表明螺栓的头部不存在缺陷。
如果螺纹连接件的某一个子部件(比如，第一子部件)存在缺陷，根据逐像素分割结果，则可以定位出包含螺纹连接件的待检测图片中螺纹连接件的第一子部件存在缺陷，从而对缺陷位置进行定位。
可选的，步骤103具体可以包括如下步骤：
(11)电子设备将特征向量中定义为缺陷的维度相加，得到至少一个子部件的缺陷分数；
(12)若缺陷分数大于目标阈值，电子设备确定至少一个子部件存在缺陷；
(13)若缺陷分数小于目标阈值，电子设备确定至少一个子部件不存在缺陷；
(14)若缺陷分数等于目标阈值，电子设备确定至少一个子部件存在缺陷或不存在缺陷。
本申请实施例中，举例来说，如果特征向量P1＝(a1，a2，a3，a4，a5)，如果该向量P1的第二维度、第三维度和第四维度分别代表缺陷的类别，则可以将a2、a3、a4相加，得到螺纹连接件的至少一个子部件的缺陷分数，若缺陷分数大于目标阈值，确定至少一个子部件分存在缺陷。比如，如果螺纹连接件的螺柱部分的缺陷分数大于目标阈值，则确定螺纹连接件的螺柱部分存在缺陷。
目标阈值可以预先进行设定并存储在电子设备的存储器(比如，非易失性存储器)中。
其中，步骤103可以是缺陷识别网络的一部分，可以通过缺陷识别网络直接输出螺纹连接件的缺陷分数，无需复杂的逻辑判断。
本申请实施例可以根据将特征向量中定义为缺陷的维度相加，得到至少一个子部件的缺陷分数，缺陷分数可以准确的反映至少一个子部件的缺陷程度，可以综合考量至少一个子部件的各种可能的缺陷，从而准确预测至少一个子部件是否存在缺陷。
本申请实施例中，对于缺陷识别网络输出的特征向量，可以将定义为缺陷的维度的分数相加，得到最后的缺陷分数。若缺陷分数大于给定阈值则认为给定图片出现缺陷，小于阈值则认为给定图片是无故障图片。
可选的，步骤103具体可以包括如下步骤：
(21)电子设备根据所述特征向量中定义为缺陷的维度计算所述至少一个子部件存在缺陷的概率；
(22)若所述至少一个子部件存在缺陷的概率大于设定阈值，电子设备确定所述至少一个子部件存在缺陷；
(23)若所述至少一个子部件存在缺陷的概率小于设定阈值，电子设备确定所述至少一个子部件不存在缺陷；
(24)若所述至少一个子部件存在缺陷的概率等于设定阈值，电子设备确定所述至少一个子部件存在缺陷或不存在缺陷。
本申请实施例中，电子设备根据所述特征向量中定义为缺陷的维度计算所述至少一个子部件存在缺陷的概率，具体为：
电子设备将特征向量中定义为缺陷的维度相加，得到至少一个子部件的缺陷分数，根据缺陷分数与缺陷概率的对应关系确定至少一个子部件存在缺陷的概率。
设定阈值可以预先进行设定并存储在电子设备的存储器(比如，非易失性存储器)中。
本申请实施例可以根据所述特征向量中定义为缺陷的维度计算所述至少一个子部件存在缺陷的概率，至少一个子部件存在缺陷的概率可以准确的反映至少一个子部件是否存在缺陷，可以综合考量至少一个子部件的各种可能的缺陷，从而准确预测至少一个子部件是否存在缺陷。
本申请实施例采用深度学习模型，相比传统方法在复杂场景下精度更高，能更好的适应不同光照、不同角度、不同分辨率等复杂情况。基于分割网络的方案比单纯的分类方案可以输出螺纹连接件的图片的逐像素分割结果，可解释性更好，便于持续分析和解决缺陷较难识别的样本。
分割网络可以输出螺纹连接件的各个子部件的特征图，不但可以学习高级别的图片整体语义信息，而且也可以学习到更加细节更加底层的特征，分割网络可以把螺纹连接件的各个子部件分割出来，泛化性能好。利用深度学习框架对螺纹连接件进行识别检测，相对于传统方法，无需手工设计复杂的特征。整体框架的可解释较好，给定一张螺纹连接件图片，就可以输出缺陷概率，同时又可以输出螺纹连接件的逐像素分割图，对缺陷的位置进行定位。
分割网络和缺陷识别网络的扩展性能好，上述网络可以及时进行迭代更新，能够迅速应对新出现的缺陷类别进行检测。如有新的缺陷，可以加入类别，然后加入训练，就可以输出这个类别对应的缺陷的分数或概率。
本申请实施例中，可以对包含螺纹连接件的待检测图片进行逐像素分割，将待检测图片中的螺纹连接件的各个子部件进行分割，得到螺纹连接件各个子部件的分割特征图，对各个子部件的分割特征图进行缺陷识别，识别螺纹连接件的各个子部件是否存在缺陷，可以定位螺纹连接件的缺陷所在的子部件，从而定位螺纹连接件的缺陷位置。
图1所示的方法可以应用于如下场景：在需要对螺纹连接件进行缺陷检测的场景中，可以利用图1所示的方法对螺纹连接件是否是缺陷图像进行判断。可以利用图1所示的方法输出螺纹连接件的逐像素分割图，对螺纹连接件的缺陷位置进行定位。可以利用图1所示的方法帮助改善螺纹连接件的缺陷检测效果，在其他方法的基础上进一步采用图1的方法进行缺陷检测。
图1所示的方法可以应用在工业缺陷检测。比如，高铁接触网的巡检，电力网络的巡检等。
请参阅图3，图3是本申请实施例提供的另一种螺纹连接件的缺陷检测方法的流程示意图。如图3所示，该螺纹连接件的缺陷检测方法可以包括如下步骤。
301，电子设备判断待检测图片是否符合分割网络的图片输入要求。若是，则执行步骤302～304；若否，则执行步骤305。
本申请实施例中，分割网络对图片的尺寸、是否归一化处理等具有一定的要求。如果不符合要求则执行步骤305，对待检测图片进行预处理。如果符合要求，则可以直接输入训练好的分割网络进行逐像素分割。其中，训练的分割网络与训练好的分割网络对输入的图片具有同样的要求，比如，在训练阶段，如果训练的分割网络需要对输入的用于训练的图片进行归一化，在测试阶段，训练好的分割网络同样需要对输入用于测试的图片进行归一化。
302，电子设备利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图。
303，电子设备利用训练好的缺陷识别网络对分割特征图进行缺陷识别，得到与分割特征图对应的特征向量。
304，电子设备根据特征向量中定义为缺陷的维度确定至少一个子部件是否存在缺陷。
其中，步骤302至步骤305的具体实施可以参见步骤101至步骤103的具体描述，此处不再赘述。
可选的，在检测出至少一个子部件存在缺陷的情况下，电子设备可以进行报警。比如，发出报警声。
305，电子设备对待检测图片进行预处理，得到包含螺纹连接件的待检测图片。
本申请实施例中，预处理可以包括对待检测图片的尺寸调整、对待检测图片进行归一化等。
对于包含螺纹连接件后的待检测图片，可以输入分割网络进行进一步的处理。在执行步骤305之后，可以继续执行步骤302～304。
可选的，步骤305可以包括如下步骤：
(31)电子设备将所述待检测图片的尺寸调整至所述分割网络的图片尺寸要求的特定尺寸；
(32)电子设备使用预训练网络的方差和均值对尺寸调整后的所述待检测图片进行归一化处理，得到包含螺纹连接件后的待检测图片。
本申请实施例中，待检测图片可以是直接拍摄的包含螺纹连接件的图片，还可以是从特定场景拍摄的包含螺纹连接件的图片。对于直接拍摄的待检测图片，待检测图片的尺寸适中，待检测图片中的螺纹连接件所占的比例大于预设比例阈值，则无需对待检测图片进行裁剪。对应从特定场景拍摄的待检测图片，待检测图片中的螺纹连接件所占的比例小于预设比例阈值，螺纹连接件比较小，需要先将螺纹连接件从场景大图(待检测图片)中裁剪出来。对于直接拍摄的包含螺纹连接件的图片或者裁剪出螺纹连接的图片，为了满足分割网络的图片输入要求，需要进行必要的图像预处理操作，包括调整图片大小至特定尺度，使用预训练网络的方差和均值对待检测图片进行归一化。
其中，预训练网络就是在一个更大的数据集(不一定是螺纹连接件的数据集)下进行预训练，均值和方差就是这个更大的数据集的均值和方差，均值和方差就是图像上一些比较共性的特征的平均值和方差。比如，假设特征x1范围在0-1之间，x2的范围在-1到1之间，x3范围在1-2之间，这些特征处于相似范围，所以会表现得很好，通过梯度下降法能够更直接地找到最小值，可以在梯度下降法中使用较大步长，这样可以帮助分割网络的学习算法运行得更快。如果一些特征在非常不同的取值范围内，如其中一个特征x1的取值从1到1000之间，另一个特征x2的取值从-1到1之间，这对分割网络的优化算法非常不利。此时，可以将待处理图片的特征x1的值减去预训练网络中该特征x1的均值，可以将待处理图片的特征x1的均值调整为0，将待处理图片的特征x1的方差调整与预训练网络中该特征x1的均值相同，从而实现对特征x1的归一化处理。类似的，对特征x2进行类似的归一化处理。
本申请实施例中，可以对包含螺纹连接件的待检测图片进行预处理，然后输入分割网络进行逐像素分割，将待检测图片中的螺纹连接件的子部件进行分割，得到螺纹连接件子部件的分割特征图，通过缺陷识别网络对子部件的分割特征图进行缺陷识别，识别螺纹连接件的子部件是否存在缺陷，可以定位螺纹连接件的缺陷所在的部分，从而定位螺纹连接件的缺陷位置。
请参阅图4，图4是本申请实施例提供的一种分割网络和缺陷识别网络的结构示意图。如图4所示，分割网络可以包括残差网络和特征金字塔网络。缺陷识别网络包括向量生成单元和缺陷识别单元。残差网络对包含螺纹连接件的待检测图片(待检测图片可以是经过预处理的图片)进行特征提取，特征金字塔网络对提取的底层特征和高层特征进行融合，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述螺纹连接件的某一个子部件的分割特征图。向量生成单元根据螺纹连接件的某一个子部件的分割特征图和残差网络提取的特征得到与某一个子部件的分割特征图对应的特征向量，缺陷识别单元根据特征向量中定义为缺陷的维度确定某一个子部件是否存在缺陷。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致的，请参阅图5，图5为本申请实施例提供的一种螺纹连接件的缺陷检测装置的结构示意图，该螺纹连接件的缺陷检测装置500应用于电子设备，该螺纹连接件的缺陷检测装置500可以包括分割单元501和缺陷识别单元502，其中：
分割单元501，用于对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图；
缺陷识别单元502，用于对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量，用于根据所述特征向量中定义为缺陷的维度确定所述至少一个子部件是否存在缺陷。
可选的，所述分割单元501对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图，具体为：利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图。
可选的，缺陷识别单元502对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量，具体为：利用训练好的缺陷识别网络对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量。
可选的，所述分割单元501利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图，具体为：对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征；对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图；对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述包含至少一个子部件的分割特征图。
可选的，所述分割单元501对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征，具体为：利用特征提取网络对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征。
可选的，所述分割单元501对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图，具体为：利用特征融合网络对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图。
可选的，所述分割单元501对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述包含至少一个子部件的分割特征图，具体为：根据有监督训练得到的特征类别标签信息对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述包含至少一个子部件的分割特征图，所述特征类别标签信息包括背景类别标签和所述螺纹连接件的各个子部件的类别标签。
可选的，所述缺陷识别单元502根据所述特征向量中定义为缺陷的维度确定所述至少一个子部件是否存在缺陷，具体为：将所述特征向量中定义为缺陷的维度相加，得到所述至少一个子部件的缺陷分数，若所述缺陷分数大于目标阈值，确定所述至少一个子部件存在缺陷。
可选的，所述缺陷识别单元502根据所述特征向量中定义为缺陷的维度确定所述至少一个子部件是否存在缺陷，具体为：根据所述特征向量中定义为缺陷的维度计算所述至少一个子部件存在缺陷的概率，若所述至少一个子部件存在缺陷的概率大于设定阈值，确定所述至少一个子部件存在缺陷。
可选的，所述至少一个子部件包括螺栓头部、螺柱、螺母中的至少一个。
其中，螺纹连接件可以包括螺栓、螺柱和螺母，螺栓可以包括螺栓头部和螺柱。
可选的，所述至少一个子部件包括螺栓头部、有螺纹的螺杆、无螺纹的螺杆、螺母的正六棱柱部分、螺母的圆柱部分、螺钉的头部部分、螺钉的、螺杆部分中的至少一个。
可选的，该缺陷检测装置500还可以包括判断单元503，其中：
判断单元503，用于判断所述待检测图片是否符合所述分割网络的图片输入要求；
分割单元501，用于在所述判断单元503判断结果为是的情况下，利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割。
可选的，该缺陷检测装置500还可以包括预处理单元504，其中：
预处理单元504，用于在所述判断单元503判断结果为否的情况下，对所述待检测图片进行预处理，得到包含螺纹连接件的待检测图片。
可选的，预处理单元504对所述待检测图片进行预处理，得到包含螺纹连接件的待检测图片，具体为：
将所述待检测图片的尺寸调整至所述分割网络的图片尺寸要求的特定尺寸，使用预训练网络的方差和均值对尺寸调整后的所述待检测图片进行归一化处理，得到包含螺纹连接件的待检测图片。
其中，本申请实施例中的分割单元501、缺陷识别单元502、判断单元503和预处理单元504可以是电子设备中的处理器。
本申请实施例中，可以对包含螺纹连接件的待检测图片进行逐像素分割，将待检测图片中的螺纹连接件的各个子部件进行分割，得到螺纹连接件的各个子部件的分割特征图，对各个子部件的分割特征图进行缺陷识别，识别螺纹连接件的各个子部件是否存在缺陷，可以定位螺纹连接件的缺陷所在的子部件，从而定位螺纹连接件的缺陷位置。
请参阅图6，图6是本申请实施例提供的一种电子设备的结构示意图，如图6所示，该电子设备600包括处理器601和存储器602，处理器601、存储器602可以通过通信总线603相互连接。通信总线603可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。通信总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器602用于存储计算机程序，计算机程序包括程序指令，处理器601被配置用于调用程序指令，上述程序包括用于执行图2所示的方法。
处理器601可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
存储器602可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
此外，该电子设备600还可以包括通信接口、天线等通用部件，在此不再详述。
本申请实施例中，可以对包含螺纹连接件的待检测图片进行逐像素分割，将待检测图片中的螺纹连接件的各个子部件进行分割，得到螺纹连接件的各个子部件的分割特征图，对各个子部件的分割特征图进行缺陷识别，识别螺纹连接件的各个子部件是否存在缺陷，可以定位螺纹连接件的缺陷所在的子部件，从而定位螺纹连接件的缺陷位置。
本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种螺纹连接件的缺陷检测方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种螺纹连接件的缺陷检测方法，其特征在于，包括：
对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图；
对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量；
根据所述特征向量中定义为缺陷的维度确定所述至少一个子部件是否存在缺陷。
2.根据权利要求1所述的方法，其特征在于，所述对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图，包括：
利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图。
3.根据权利要求2所述的方法，其特征在于，所述利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图，包括：
对包含螺纹连接件的待检测图片进行特征提取，得到所述待检测图片的底层特征和高层特征；
对所述底层特征和所述高层特征进行融合，得到所述待检测图片的特征图；
对所述待检测图片的特征图进行逐像素分类，预测所述待检测图片中每个像素的类别，得到所述待检测图片的背景分割特征图和所述包含至少一个子部件的分割特征图。
4.根据权利要求1所述的方法，其特征在于，所述对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量，包括：
利用训练好的缺陷识别网络对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量。
5.根据权利要求1所述的方法，其特征在于，所述根据所述特征向量中定义为缺陷的维度确定所述至少一个子部件是否存在缺陷，包括：
将所述特征向量中定义为缺陷的维度相加，得到所述至少一个子部件的缺陷分数，若所述缺陷分数大于目标阈值，确定所述至少一个子部件存在缺陷。
6.根据权利要求1所述的方法，其特征在于，所述至少一个子部件包括螺栓头部、螺柱、螺母中的至少一个。
7.根据权利要求1～6任一项所述的方法，其特征在于，所述方法还包括：
判断所述待检测图片是否符合所述分割网络的图片输入要求；
若所待检测图片符合所述分割网络的图片输入要求，执行所述利用训练好的分割网络对包含螺纹连接件的待检测图片进行逐像素分割的步骤。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
若所待检测图片不符合所述分割网络的图片输入要求，对所述待检测图片进行预处理，得到包含螺纹连接件的待检测图片。
9.根据权利要求8所述的方法，其特征在于，所述对所述待检测图片进行预处理，得到包含螺纹连接件的待检测图片，包括：
将所述待检测图片的尺寸调整至所述分割网络的图片尺寸要求的特定尺寸，使用预训练网络的方差和均值对尺寸调整后的所述待检测图片进行归一化处理，得到包含螺纹连接件的待检测图片。
10.一种螺纹连接件的缺陷检测装置，其特征在于，包括：
分割单元，用于对包含螺纹连接件的待检测图片进行逐像素分割，得到包含至少一个子部件的分割特征图；
缺陷识别单元，用于对所述分割特征图进行缺陷识别，得到与所述分割特征图对应的特征向量，根据所述特征向量中定义为缺陷的维度确定所述至少一个子部件是否存在缺陷。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～9任一项所述的方法。
CN202010898315.8A 2020-08-31 2020-08-31 螺纹连接件的缺陷检测方法及装置、电子设备和存储介质 Pending CN112164025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010898315.8A CN112164025A (zh) 2020-08-31 2020-08-31 螺纹连接件的缺陷检测方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010898315.8A CN112164025A (zh) 2020-08-31 2020-08-31 螺纹连接件的缺陷检测方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112164025A true CN112164025A (zh) 2021-01-01

Family

ID=73857443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010898315.8A Pending CN112164025A (zh) 2020-08-31 2020-08-31 螺纹连接件的缺陷检测方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112164025A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610854A (zh) * 2021-10-11 2021-11-05 深圳市商汤科技有限公司 一种线索缺陷检测方法、终端设备以及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610854A (zh) * 2021-10-11 2021-11-05 深圳市商汤科技有限公司 一种线索缺陷检测方法、终端设备以及计算机存储介质
CN113610854B (zh) * 2021-10-11 2022-04-01 深圳市商汤科技有限公司 一种线索缺陷检测方法、终端设备以及计算机存储介质

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN110232687B (zh) 一种电力巡检图像中带销螺栓缺陷的检测方法
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN106846362B (zh) 一种目标检测跟踪方法和装置
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
CN111415329A (zh) 一种基于深度学习的工件表面缺陷检测方法
CN110135514B (zh) 一种工件分类方法、装置、设备及介质
CN114549997B (zh) 一种基于区域特征提取的x光图像缺陷检测方法和装置
CN113592828B (zh) 基于工业内窥镜的无损检测方法及系统
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN111862013A (zh) 基于深度卷积神经网络的绝缘子检测方法、装置及设备
CN116030237A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN116228741A (zh) 一种pcba元器件缺陷检测方法及装置
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
Fernando et al. Automatic road traffic signs detection and recognition using ‘You Only Look Once’version 4 (YOLOv4)
CN112164025A (zh) 螺纹连接件的缺陷检测方法及装置、电子设备和存储介质
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
CN113592859B (zh) 一种基于深度学习的用于显示面板缺陷的分类方法
Bonnín-Pascual et al. A Saliency-Boosted Corrosion Detector for the Visual Inspection of Vessels.
CN111724352B (zh) 一种基于核密度估计的贴片led瑕疵标注方法
CN115497172B (zh) 钓鱼行为检测方法、装置及边缘处理设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination