CN111754505B - 辅料检测方法、装置、电子设备及存储介质 - Google Patents

辅料检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111754505B
CN111754505B CN202010623460.5A CN202010623460A CN111754505B CN 111754505 B CN111754505 B CN 111754505B CN 202010623460 A CN202010623460 A CN 202010623460A CN 111754505 B CN111754505 B CN 111754505B
Authority
CN
China
Prior art keywords
feature
image
auxiliary material
auxiliary
auxiliary materials
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010623460.5A
Other languages
English (en)
Other versions
CN111754505A (zh
Inventor
汤寅航
赵迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Chengdu Technology Co ltd
Original Assignee
Innovation Qizhi Chengdu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi Chengdu Technology Co ltd filed Critical Innovation Qizhi Chengdu Technology Co ltd
Priority to CN202010623460.5A priority Critical patent/CN111754505B/zh
Publication of CN111754505A publication Critical patent/CN111754505A/zh
Application granted granted Critical
Publication of CN111754505B publication Critical patent/CN111754505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种辅料检测方法、装置、电子设备及存储介质，涉及生产工艺检测技术领域。所述方法包括：基于待测图像中没有辅料的局部区域，对所述待测图像与模板图像进行特征匹配，获得特征图像；确定所述特征图像中的辅料对应的特征映射空间；在所述辅料对应的特征映射空间中，确定所述辅料的瑕疵类型。该方法基于待测图像中没有辅料的局部区域进行特征匹配与模板对齐，在不同的辅料对应的不同特征映射空间中进行辅料的瑕疵类型判定，提高了辅料瑕疵类型检测的准确性。

Description

辅料检测方法、装置、电子设备及存储介质
技术领域
本申请涉及生产工艺检测技术领域，具体而言，涉及一种辅料检测方法、装置、电子设备及存储介质。
背景技术
随着计算机以及图像识别技术的发展，除了基于人工操作和判断进行物料生产和检测外，在工业生产中逐渐引入图像识别技术进行生产工艺的自动化控制与检测。在实际工业生产中，例如电子产品辅料瑕疵的判定往往需要人工操作，通过与标准件的比对剔除不良品。而人工判定效率较低，且准确率受限于主观因素影响，易造成误判。而现有的自动化的辅料瑕疵判定方法中，由于电子产品辅料种类繁多，不同的辅料产生的瑕疵不尽相同，会对图像识别造成不利影响，在进行辅料瑕疵判定时存在准确性较差的问题。
发明内容
有鉴于此，本申请实施例的目的在于提供一种辅料检测方法、装置、电子设备及存储介质，以改善现有技术中存在的辅料瑕疵判定准确性较差的问题。
本申请实施例提供了一种辅料检测方法，所述方法包括：基于待测图像中没有辅料的局部区域，对所述待测图像与模板图像进行特征匹配，获得特征图像；确定所述特征图像中的辅料对应的特征映射空间；在所述辅料对应的特征映射空间中，确定所述辅料的瑕疵类型。
在上述实现方式中，基于没有辅料的局部区域进行特征匹配，避免辅料区域缺陷造成的特征点匹配错误，并且针对不同种类的辅料采用不同的特征映射空间进行瑕疵类型的判定，从而提高了辅料瑕疵类型判定的效率和准确性。
可选地，所述基于待测图像中没有辅料的局部区域，对所述待测图像与模板图像进行特征匹配，获得特征图像，包括：对所述待测图像和所述模板图像进行特征提取；获取所述待测图像中没有辅料的局部区域以及所述模板图像中与所述没有辅料的局部区域的对应区域的匹配特征点；基于所述匹配特征点将所述待测图像与所述模板图像进行对齐，将对齐后的特征提取图像作为所述特征图像。
在上述实现方式中，基于待测图像中没有辅料的局部区域以及所述模板图像中与所述没有辅料的局部区域进行特征匹配和对齐，能够避免辅料区域缺陷造成的特征点匹配错误，提高了辅料瑕疵类型判定的精确度。
可选地，在所述确定所述特征图像中的辅料对应的特征映射空间之前，所述方法还包括：基于预先采集的多种辅料的数据，采用指定类型的网络进行特征学习并生成所述辅料对应的特征映射空间，所述指定类型的网络包括：ResNet50网络。
在上述实现方式中，采用ResNet50网络或其他指定类型的网络生成不同种类辅料的特征映射空间，能够缓解神经网络模型中的梯度消失问题，从而提高了特征映射空间对辅料的适用性和准确性。
可选地，所述确定所述特征图像中的辅料对应的特征映射空间，包括：基于注意力机制确定所述特征图像中与所述辅料对应的相关区域；将所述辅料对应的相关区域的嵌入空间作为所述辅料对应的所述特征映射空间。
在上述实现方式中，基于注意力机制确定辅料对应的区域，从而确定特征映射空间，提高了确定辅料对应的特征映射空间的准确度。
可选地，所述确定所述辅料的瑕疵类型，包括：在所述辅料对应的特征映射空间中，提取所述辅料所处的局部区域的深度特征；在所述深度特征与所述模板图像中对应区域的特征相似度大于或等于预设阈值时，确定所述辅料无瑕疵；在所述深度特征与所述模板图像中对应区域的特征相似度小于所述预设阈值时，采用多种辅料瑕疵类型划分组合方式确定所述辅料的瑕疵类型。
在上述实现方式中，由于不同种类辅料对应不同的区域，且每个区域可能出现的瑕疵类别不同，通过多种辅料瑕疵类型划分组合方式针对不同瑕疵类型进行针对性的类型识别，从而进一步提高了辅料瑕疵类型判定的准确性。
可选地，所述采用多种辅料瑕疵类型划分组合方式确定所述辅料的瑕疵类型，包括：在所述辅料对应的特征映射空间中，采用基于深度学习的图像分类方式判定所述辅料是否存在辅料瑕疵类型中的漏贴、多贴、翘起和/或粘连气泡；在所述辅料对应的特征映射空间中，采用基于深度学习的图像语义分割技术以及规则辅助的方式判定所述辅料是否存在辅料瑕疵类型中的歪斜、偏移和/或破损。
在上述实现方式中，采用基于深度学习的图像分类方式、基于深度学习的图像语义分割技术以及规则辅助的方式等针对不同种类的瑕疵类型进行判定，提高了辅料检测方法的适用性和准确性。
可选地，所述在所述辅料对应的特征映射空间中，采用基于深度学习的图像语义分割技术以及规则辅助的方式判定所述辅料是否存在辅料瑕疵类型中的歪斜、偏移和/或破损，包括：在所述辅料对应的特征映射空间中，基于Deeplab语义分割网络训练获得语义分割模型；通过所述语义分割模型求取分割出的所述辅料的掩模的面积与所述模板图像对应区域的面积之比，基于所述面积之比进行歪斜、偏移和/或破损等辅料瑕疵类型判定。
在上述实现方式中，通过Deeplab语义分割网络进行歪斜、偏移和/或破损等辅料瑕疵类型判定，提高了该瑕疵类型的判定准确率。
本申请实施例还提供了一种辅料检测装置，所述装置包括：特征匹配模块，用于基于待测图像中没有辅料的局部区域，对所述待测图像与模板图像进行特征匹配，获得特征图像；特征映射空间确定模块，用于确定所述特征图像中的辅料对应的特征映射空间；瑕疵类型判定模块，用于在所述辅料对应的特征映射空间中，确定所述辅料的瑕疵类型。
在上述实现方式中，基于没有辅料的局部区域进行特征匹配，避免辅料区域缺陷造成的特征点匹配错误，并且针对不同种类的辅料采用不同的特征映射空间进行瑕疵类型的判定，从而提高了辅料瑕疵类型判定的效率和准确性。
可选地，所述特征匹配模块具体用于：对所述待测图像和所述模板图像进行特征提取；获取所述待测图像中没有辅料的局部区域以及所述模板图像中与所述没有辅料的局部区域的对应区域的匹配特征点；基于所述匹配特征点将所述待测图像与所述模板图像进行对齐，将对齐后的特征提取图像作为所述特征图像。
在上述实现方式中，基于待测图像中没有辅料的局部区域以及所述模板图像中与所述没有辅料的局部区域进行特征匹配和对齐，能够避免辅料区域缺陷造成的特征点匹配错误，提高了辅料瑕疵类型判定的精确度。
可选地，所述特征映射空间确定模块还用于：基于预先采集的多种辅料的数据，采用指定类型的网络进行特征学习并生成所述辅料对应的特征映射空间，所述指定类型的网络包括：ResNet50网络。
在上述实现方式中，采用ResNet50网络或其他指定类型的网络生成不同种类辅料的特征映射空间，能够缓解神经网络模型中的梯度消失问题，从而提高了特征映射空间对辅料的适用性和准确性。
可选地，所述特征映射空间确定模块具体用于：基于注意力机制确定所述特征图像中与所述辅料对应的相关区域；将所述辅料对应的相关区域的嵌入空间作为所述辅料对应的所述特征映射空间。
在上述实现方式中，基于注意力机制确定辅料对应的区域，从而确定特征映射空间，提高了确定辅料对应的特征映射空间的准确度。
可选地，所述瑕疵类型判定模块具体用于：在所述辅料对应的特征映射空间中，提取所述辅料所处的局部区域的深度特征；在所述深度特征与所述模板图像中对应区域的特征相似度大于或等于预设阈值时，确定所述辅料无瑕疵；在所述深度特征与所述模板图像中对应区域的特征相似度小于所述预设阈值时，采用多种辅料瑕疵类型划分组合方式确定所述辅料的瑕疵类型。
在上述实现方式中，由于不同种类辅料对应不同的区域，且每个区域可能出现的瑕疵类别不同，通过多种辅料瑕疵类型划分组合方式针对不同瑕疵类型进行针对性的类型识别，从而进一步提高了辅料瑕疵类型判定的准确性。
可选地，所述瑕疵类型判定模块具体还用于：在所述辅料对应的特征映射空间中，采用基于深度学习的图像分类方式判定所述辅料是否存在辅料瑕疵类型中的漏贴、多贴、翘起和/或粘连气泡；在所述辅料对应的特征映射空间中，采用基于深度学习的图像语义分割技术以及规则辅助的方式判定所述辅料是否存在辅料瑕疵类型中的歪斜、偏移和/或破损。
在上述实现方式中，采用基于深度学习的图像分类方式、基于深度学习的图像语义分割技术以及规则辅助的方式等针对不同种类的瑕疵类型进行判定，提高了辅料检测方法的适用性和准确性。
可选地，所述瑕疵类型判定模块具体还用于：在所述辅料对应的特征映射空间中，基于Deeplab语义分割网络训练获得语义分割模型；通过所述语义分割模型求取分割出的所述辅料的掩模的面积与所述模板图像对应区域的面积之比，基于所述面积之比进行歪斜、偏移和/或破损等辅料瑕疵类型判定。
在上述实现方式中，通过Deeplab语义分割网络进行歪斜、偏移和/或破损等辅料瑕疵类型判定，提高了该瑕疵类型的判定准确率。
本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种辅料检测方法的流程示意图；
图2为本申请实施例提供的一种特征匹配步骤的流程示意图；
图3为本申请实施例提供的一种辅料瑕疵判定步骤的流程图；
图4为本申请实施例提供的一种辅料检测装置的模块示意图。
图标：20－辅料检测装置；21－特征匹配模块；22－特征映射空间确定模块；23－瑕疵类型判定模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
经本申请人研究发现，现有的自动化的辅料瑕疵判定方法中，以笔记本辅料举例，由于笔记本辅料种类繁多，不同的辅料产生的瑕疵不尽相同，会对图像识别造成不利影响。例如，现有图像相似度判定通常将两张图像同时映射到全局嵌入空间，然后进行相似度度量。现有技术中的辅料瑕疵检测方法仅仅从图像的整体特征对图像进行判定，忽略了特定场景下图像局部区域的细节特征，从而使得相似度判定准确性不高，瑕疵识别准确性较差。
为了解决现有技术中存在的上述问题，本申请实施例提供了一种辅料检测方法。请参考图1，图1为本申请实施例提供的一种辅料检测方法的流程示意图。具体地，该辅料检测方法的步骤可以如下：
步骤S12：基于待测图像中没有辅料的局部区域，对待测图像与模板图像进行特征匹配，获得特征图像。
本实施例提供的辅料检测方法可以针对手机、平板、笔记本等电子产品的PCB硬板、FPC软板，以及手机或平板中框外壳、屏幕等贴装的各种规格的辅料使用。其中，辅料的种类通常有防水软垫、导电泡棉、导热硅胶、铜箔片、带胶导电布、zhidao高温胶纸、双面胶、PET(聚对苯二甲酸乙二醇酯)、钢片、FR－4(耐燃材料等级代号对应材料)等辅料。
可选地，上述待测图像可以是包括辅料的电子产品的外壳、屏幕等区域的图像，可以是基于人工或机器自动拍摄获得。
具体地，请参考图2，图2为本申请实施例提供的一种特征匹配步骤的流程示意图。步骤S12可以包括如下步骤：
步骤S121：对待测图像和模板图像进行特征提取。
其中，模板图像为电子产品包含辅料区域的正常状态下的标准图像，即模板图像中的辅料为没有瑕疵的标准状态，以用于和待测图像中的辅料进行对比。
可选地，在进行特征提取前，可以对待测图像和模板图像进行下采样，以使匹配搜索算法的搜索速度加快，提高后续特征匹配的速度。
图像的特征点可以简单的理解为图像中比较显著的点，如轮廓点、较暗区域中的亮点和较亮区域中的暗点等，特征提取则是提取图像中的特征点。可选地，本实施中的特征提取可以基于ORB特征提取算法进行，具体地，ORB算法定义基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。
其中，ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法。ORB算法分为两部分，分别是特征点提取和特征点描述。特征提取是由FAST(Featuresfrom Accelerated Segment Test)算法发展来的，特征点描述是根据BRIEF(BinaryRobust IndependentElementary Features)特征描述算法改进的。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化，从而使ORB特征提取算法的计算速度快，提高了特征提取效率。
应当理解的是，针对不同辅料瑕疵判定情况，本实施例还可以选用其他不同的特征提取算法。
步骤S122：获取待测图像中没有辅料的局部区域以及模板图像中与没有辅料的局部区域的对应区域的匹配特征点。
为了避免辅料区域缺陷造成的特征点匹配错误，本实施例将特征匹配区域由全图匹配更改为固定区域，该固定区域即为待测图像中没有辅料的局部区域。
步骤S123：基于匹配特征点将待测图像与模板图像进行对齐，将对齐后的特征提取图像作为特征图像。
ORB特征提取算法还获得特征点的描述子，基于特征点的特征点和描述子可以将待测图像和模板图像的特征点匹配和对齐，从而将待测图像和模板图像对齐。
此外，还可以通过其他的方式进行图像对齐，以笔记本电脑外壳辅料为例，将采集的训练用笔记本外壳图像进行外壳框的标注，然后利用BiseNet语义分割网络训练模型，提取外壳框的mask(掩模)，然后求取mask的最小外接矩形框，根据待测图像的最小外接矩形框的四个点与模板图像对应位置点的位置关系，求取仿射变换矩阵，从而实现待测图像与模板图像的对齐。
步骤S14：确定特征图像中的辅料对应的特征映射空间。
在获得特征图像并进行对齐后，在现有技术进行自动化瑕疵检测时通常是将两张图像同时映射到全局嵌入空间进行相似度比对，相似度低于一定阈值则认定该辅料区域存在瑕疵。以电子产品中的笔记本电脑为例，此任务场景中笔记本外壳辅料种类繁多，其出现的位置不固定，在采用将待测图像和模板图像的整张特征图像映射进全局嵌入空间进行相似度对比时，会对相似度对比准确造成一定影响。因此可根据辅料的种类选择不同的映射空间，在特定的空间计算辅料的相似性从而提升判别准确率。
具体地，全局嵌入空间指的是待测图像和模板图像的完整图嵌入数据，而各种辅料对应的特征映射空间则是该辅料对应的相关区域的嵌入空间。其中，嵌入空间则是指辅料对应的相关区域的图嵌入数据。
其中，由于电子产品上各个位置的辅料通常是固定的，辅料的种类可以该辅料区域在待测图像中的位置确定。
作为一种可选的实施方式，在进行辅料的对应特征映射空间确定时，还可以引入注意力机制：基于注意力机制确定特征图像中与辅料对应的相关区域；将辅料对应的相关区域的嵌入空间作为辅料对应的特征映射空间。
上述注意力机制在本实施中的原理是注意力机制能使得神经网络更多地关注到与特定辅料相关的特征，其实现一般是通过给图像不同部分分配不同的权重实现。
应当理解的是，在对辅料进行特征映射空间的匹配之前，需要生成不同辅料对应的特征映射空间。可选地，本实施例可以通过采集的各种辅料的数据，利用ResNet50网络进行特征学习，其学习目标是使得同一种辅料间的特征距离要尽可能小，不同辅料间的特征距离尽可能大，从而生成不同辅料的特征映射空间。从而在进行模型预测推理时，不同的辅料在其各自的特征映射空间做相似性判定。
步骤S16：在辅料对应的特征映射空间中，确定辅料的瑕疵类型。
不同种类辅料对应不同的区域，且每个区域可能出现的瑕疵类别不同。因此在类别划分阶段采用不同种类辅料独立训练的方式，能够更好地实现不同种类辅料的瑕疵准确判定。
作为一种可选的实施方式，请参考图3，图3为本申请实施例提供的一种辅料瑕疵判定步骤的流程图。本实施例基于相似度判定辅料是否存在瑕疵，其具体步骤可以如下：
步骤S161：在辅料对应的特征映射空间中，提取辅料所处的局部区域的深度特征。
传统的图像特征仅描述图像某一方面的信息，表达能力受到很大限制，图像的深度特征通过对图像的层层抽象表达，能够有效挖掘隐藏在图像内部的其他本质信息，具有更好的图像表达能力。可选地，本实施例中提取深度特征可以采用基于卷积神经网络的图像深度层次特征提取算法或其他深度特征提取算法。
步骤S162：在深度特征与模板图像中对应区域的特征相似度大于或等于预设阈值时，确定辅料无瑕疵。
待测图像的深度特征与模板图像中对应区域的特征相似度需要基于模板图像中对应区域的深度特征进行对比，因此在进行相似度比对前，还需要进行模板图像的深度特征提取。
可选地，本实施例中待测图像的深度特征与模板图像中对应区域的特征相似度可以基于明氏距离、切比雪夫距离、汉明距离、皮尔逊相关系数和余弦相似度等进行计算。以余弦相似度为例，计算待测图像的深度特征与模板图像中对应区域中对应的向量的余弦相似度，在其数值大于预设阈值时则认为待测图像中的辅料不存在瑕疵。其中，预设阈值可以根据不同辅料的以及电子设备情况进行灵活调整。
步骤S163：在深度特征与模板图像中对应区域的特征相似度小于预设阈值时，采用多种辅料瑕疵类型划分组合方式确定辅料的瑕疵类型。
具体地，上述“采用多种辅料瑕疵类型划分组合方式确定辅料的瑕疵类型”的步骤可以具体包括：
步骤S1631：在辅料对应的特征映射空间中，采用基于深度学习的图像分类方式判定辅料是否存在辅料瑕疵类型中的漏贴、多贴、翘起和/或粘连气泡。
可选地，由于辅料漏贴等瑕疵较为简单，上述基于深度学习的图像分类方式可以是采用MobileNet、ShuffleNet等轻量级网络模型对漏贴、多贴、正常等类别进行划分。
步骤S1632：在辅料对应的特征映射空间中，采用基于深度学习的图像语义分割技术以及规则辅助的方式判定辅料是否存在辅料瑕疵类型中的歪斜、偏移和/或破损。
可选地，针对较难鉴别的歪斜、偏移等瑕疵，上述基于深度学习的图像语义分割技术以及规则辅助的方式具体可以为：在辅料对应的特征映射空间中，基于Deeplab语义分割网络训练获得语义分割模型；通过语义分割模型求取分割出的辅料的掩模的面积与模板图像对应区域的面积之比，基于面积之比进行歪斜、偏移和/或破损等辅料瑕疵类型判定。
本申请实施例提供的上述辅料检测方法，通过引入特定局部区域嵌入空间选择，使得不同的辅料能够在特定的区域进行相似度判断和类别的划分，此外，设计了不同辅料瑕疵类别划分独立的模型，使得不同辅料瑕疵的判定互相不受影响，可以同时进行训练，在笔记本外壳辅料出现瑕疵时，更容易定位问题，从而提高了辅料瑕疵检测的效率和准确性。
为了配合本申请实施例提供的上述辅料检测方法，本申请实施例还提供了一种辅料检测装置20。请参考图4，图4为本申请实施例提供的一种辅料检测装置的模块示意图。
辅料检测装置20包括：
特征匹配模块21，用于基于待测图像中没有辅料的局部区域，对待测图像与模板图像进行特征匹配，获得特征图像；
特征映射空间确定模块22，用于确定特征图像中的辅料对应的特征映射空间；
瑕疵类型判定模块23，用于在辅料对应的特征映射空间中，确定辅料的瑕疵类型。
可选地，特征匹配模块21具体用于：对待测图像和模板图像进行特征提取；获取待测图像中没有辅料的局部区域以及模板图像中与没有辅料的局部区域的对应区域的匹配特征点；基于匹配特征点将待测图像与模板图像进行对齐，将对齐后的特征提取图像作为特征图像。
可选地，特征映射空间确定模块22还用于：基于预先采集的多种辅料的数据，采用指定类型的网络进行特征学习并生成辅料对应的特征映射空间，指定类型的网络包括：ResNet50网络。
可选地，特征映射空间确定模块22具体用于：基于注意力机制确定特征图像中与辅料对应的相关区域；将辅料对应的相关区域的嵌入空间作为辅料对应的特征映射空间。
可选地，瑕疵类型判定模块23具体用于：在辅料对应的特征映射空间中，提取辅料所处的局部区域的深度特征；在深度特征与模板图像中对应区域的特征相似度大于或等于预设阈值时，确定辅料无瑕疵；在深度特征与模板图像中对应区域的特征相似度小于预设阈值时，采用多种辅料瑕疵类型划分组合方式确定辅料的瑕疵类型。
可选地，瑕疵类型判定模块23具体还用于：在辅料对应的特征映射空间中，采用基于深度学习的图像分类方式判定辅料是否存在辅料瑕疵类型中的漏贴、多贴、翘起和/或粘连气泡；在辅料对应的特征映射空间中，采用基于深度学习的图像语义分割技术以及规则辅助的方式判定辅料是否存在辅料瑕疵类型中的歪斜、偏移和/或破损。
可选地，瑕疵类型判定模块23具体还用于：在辅料对应的特征映射空间中，基于Deeplab语义分割网络训练获得语义分割模型；通过语义分割模型求取分割出的辅料的掩模的面积与模板图像对应区域的面积之比，基于面积之比进行歪斜、偏移和/或破损等辅料瑕疵类型判定。
本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的辅料检测方法中任一项所述方法中的步骤。
应当理解是，该电子设备可以是个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。
本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行辅料检测方法中的步骤。
综上所述，本申请实施例提供了一种辅料检测方法、装置、电子设备及存储介质，所述方法包括：基于待测图像中没有辅料的局部区域，对所述待测图像与模板图像进行特征匹配，获得特征图像；确定所述特征图像中的辅料对应的特征映射空间；在所述辅料对应的特征映射空间中，确定所述辅料的瑕疵类型。
在上述实现方式中，基于没有辅料的局部区域进行特征匹配，避免辅料区域缺陷造成的特征点匹配错误，并且针对不同种类的辅料采用不同的特征映射空间进行瑕疵类型的判定，从而提高了辅料瑕疵类型判定的效率和准确性。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种辅料检测方法，其特征在于，所述方法包括：
基于待测图像中没有辅料的局部区域，对所述待测图像与模板图像进行特征匹配，获得特征图像；
确定所述特征图像中的辅料对应的特征映射空间；
在所述辅料对应的特征映射空间中，提取所述辅料所处的局部区域的深度特征；在所述深度特征与所述模板图像中对应区域的特征相似度大于或等于预设阈值时，确定所述辅料无瑕疵；在所述深度特征与所述模板图像中对应区域的特征相似度小于所述预设阈值时，采用多种辅料瑕疵类型划分组合方式确定辅料的瑕疵类型。
2.根据权利要求1所述的方法，其特征在于，所述基于待测图像中没有辅料的局部区域，对所述待测图像与模板图像进行特征匹配，获得特征图像，包括：
对所述待测图像和所述模板图像进行特征提取；
获取所述待测图像中没有辅料的局部区域以及所述模板图像中与所述没有辅料的局部区域的对应区域的匹配特征点；
基于所述匹配特征点将所述待测图像与所述模板图像进行对齐，将对齐后的特征提取图像作为所述特征图像。
3.根据权利要求1所述的方法，其特征在于，在所述确定所述特征图像中的辅料对应的特征映射空间之前，所述方法还包括：
基于预先采集的多种辅料的数据，采用指定类型的网络进行特征学习并生成所述辅料对应的特征映射空间，所述指定类型的网络包括：ResNet50网络。
4.根据权利要求1或3所述的方法，其特征在于，所述确定所述特征图像中的辅料对应的特征映射空间，包括：
基于注意力机制确定所述特征图像中与所述辅料对应的相关区域；
将所述辅料对应的相关区域的嵌入空间作为所述辅料对应的所述特征映射空间。
5.根据权利要求1所述的方法，其特征在于，所述采用多种辅料瑕疵类型划分组合方式确定所述辅料的瑕疵类型，包括：
在所述辅料对应的特征映射空间中，采用基于深度学习的图像分类方式判定所述辅料是否存在辅料瑕疵类型中的漏贴、多贴、翘起和/或粘连气泡；
在所述辅料对应的特征映射空间中，采用基于深度学习的图像语义分割技术以及规则辅助的方式判定所述辅料是否存在辅料瑕疵类型中的歪斜、偏移和/或破损。
6.根据权利要求5所述的方法，其特征在于，所述在所述辅料对应的特征映射空间中，采用基于深度学习的图像语义分割技术以及规则辅助的方式判定所述辅料是否存在辅料瑕疵类型中的歪斜、偏移和/或破损，包括：
在所述辅料对应的特征映射空间中，基于Deeplab语义分割网络训练获得语义分割模型；
通过所述语义分割模型求取分割出的所述辅料的掩模的面积与所述模板图像对应区域的面积之比，基于所述面积之比进行歪斜、偏移和/或破损等辅料瑕疵类型判定。
7.一种辅料检测装置，其特征在于，所述装置包括：
特征匹配模块，用于基于待测图像中没有辅料的局部区域，对所述待测图像与模板图像进行特征匹配，获得特征图像；
特征映射空间确定模块，用于确定所述特征图像中的辅料对应的特征映射空间；
瑕疵类型判定模块，用于在所述辅料对应的特征映射空间中，提取所述辅料所处的局部区域的深度特征；在所述深度特征与所述模板图像中对应区域的特征相似度大于或等于预设阈值时，确定所述辅料无瑕疵；在所述深度特征与所述模板图像中对应区域的特征相似度小于所述预设阈值时，采用多种辅料瑕疵类型划分组合方式确定辅料的瑕疵类型。
8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1－6中任一项所述方法中的步骤。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1－6任一项所述方法中的步骤。
CN202010623460.5A 2020-06-30 2020-06-30 辅料检测方法、装置、电子设备及存储介质 Active CN111754505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010623460.5A CN111754505B (zh) 2020-06-30 2020-06-30 辅料检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010623460.5A CN111754505B (zh) 2020-06-30 2020-06-30 辅料检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111754505A CN111754505A (zh) 2020-10-09
CN111754505B true CN111754505B (zh) 2024-03-15

Family

ID=72680329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010623460.5A Active CN111754505B (zh) 2020-06-30 2020-06-30 辅料检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111754505B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112649446B (zh) * 2020-11-12 2024-02-13 巨轮(广州)智能装备有限公司 一种fpc的检测方法、贴合方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007101359A (ja) * 2005-10-04 2007-04-19 Nippon Steel Corp 疵検出装置及び疵検出方法
JPWO2011158711A1 (ja) * 2010-06-14 2013-08-19 新日鐵住金株式会社 欠陥判別装置
CN106910207A (zh) * 2017-02-27 2017-06-30 网易（杭州）网络有限公司 用于识别图像局部区域的方法、装置及终端设备
CN109509172A (zh) * 2018-09-25 2019-03-22 无锡动视宫原科技有限公司 一种基于深度学习的液晶屏瑕疵检测方法及系统
CN110349135A (zh) * 2019-06-27 2019-10-18 歌尔股份有限公司 目标检测方法和装置
WO2020125495A1 (zh) * 2018-12-17 2020-06-25 中国科学院深圳先进技术研究院 一种全景分割方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5577722B2 (ja) * 2010-02-01 2014-08-27 三菱化学株式会社 電子写真感光体、電子写真カートリッジ、及び画像形成装置
CN106295629B (zh) * 2016-07-15 2018-06-15 北京市商汤科技开发有限公司 结构化文本检测方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007101359A (ja) * 2005-10-04 2007-04-19 Nippon Steel Corp 疵検出装置及び疵検出方法
JPWO2011158711A1 (ja) * 2010-06-14 2013-08-19 新日鐵住金株式会社 欠陥判別装置
CN106910207A (zh) * 2017-02-27 2017-06-30 网易（杭州）网络有限公司 用于识别图像局部区域的方法、装置及终端设备
CN109509172A (zh) * 2018-09-25 2019-03-22 无锡动视宫原科技有限公司 一种基于深度学习的液晶屏瑕疵检测方法及系统
WO2020125495A1 (zh) * 2018-12-17 2020-06-25 中国科学院深圳先进技术研究院 一种全景分割方法、装置及设备
CN110349135A (zh) * 2019-06-27 2019-10-18 歌尔股份有限公司 目标检测方法和装置

Also Published As

Publication number Publication date
CN111754505A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
CN110059596B (zh) 一种图像识别方法、装置、介质和电子设备
JP6476802B2 (ja) 情報処理装置及び情報処理方法
CN109447080B (zh) 一种字符识别方法及装置
Dutta et al. Multi-lingual text localization from camera captured images based on foreground homogenity analysis
US11600088B2 (en) Utilizing machine learning and image filtering techniques to detect and analyze handwritten text
CN111950566A (zh) 一种旋转不变的hog红外图像电力设备识别方法
CN112560971A (zh) 一种主动学习自迭代的图像分类方法和系统
CN116596875B (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
CN114266764A (zh) 一种印刷标签的字符完整性检测方法及其装置
CN111754505B (zh) 辅料检测方法、装置、电子设备及存储介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN112614117A (zh) 设备区域提取模型训练方法、设备区域提取方法及装置
Meena et al. Image splicing forgery detection using noise level estimation
Kanungo et al. Estimating degradation model parameters using neighborhood pattern distributions: An optimization approach
CN113034492A (zh) 一种印刷质量缺陷检测方法、存储介质
CN111507420A (zh) 轮胎信息获取方法、装置、计算机设备和存储介质
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
CN115222017A (zh) 对确定图像中的预定点的机器学习方法进行训练的方法和系统
CN114495108A (zh) 字符检测方法、装置、电子设备及可读介质
CN111599080B (zh) 拼接纸币的检测方法、装置、金融机具设备及存储介质
CN112560853A (zh) 图像处理的方法、装置及存储介质
CN112801960A (zh) 图像处理方法及装置、存储介质、电子设备
CN117853826B (zh) 基于机器视觉的物体表面精度识别方法及相关设备
CN117611917A (zh) 一种基于svm柔性电路板缺陷分类的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant