CN115222737A - 超晶板底漆检测方法、装置、电子设备及存储介质 - Google Patents

超晶板底漆检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115222737A
CN115222737A CN202211140547.2A CN202211140547A CN115222737A CN 115222737 A CN115222737 A CN 115222737A CN 202211140547 A CN202211140547 A CN 202211140547A CN 115222737 A CN115222737 A CN 115222737A
Authority
CN
China
Prior art keywords
superlattice
primer
image
feature extraction
extraction structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211140547.2A
Other languages
English (en)
Other versions
CN115222737B (zh
Inventor
王金桥
朱炳科
赵朝阳
陈盈盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Objecteye Beijing Technology Co Ltd
Original Assignee
Objecteye Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Objecteye Beijing Technology Co Ltd filed Critical Objecteye Beijing Technology Co Ltd
Priority to CN202211140547.2A priority Critical patent/CN115222737B/zh
Publication of CN115222737A publication Critical patent/CN115222737A/zh
Application granted granted Critical
Publication of CN115222737B publication Critical patent/CN115222737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30161—Wood; Lumber

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器视觉技术领域，提供一种超晶板底漆检测方法、装置、电子设备及存储介质，首先获取待检测超晶板的目标图像；然后将目标图像输入至底漆检测模型，得到底漆检测模型输出的待检测超晶板上是否附着有底漆的检测结果。由于采用了底漆检测模型，结合目标图像与预设超晶板图像的差异特征对待检测超晶板上是否附着有底漆进行自动检测，并可以提高检测效率，降低工作人员的工作量，节约人力成本。

Description

超晶板底漆检测方法、装置、电子设备及存储介质
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种超晶板底漆检测方法、装置、电子设备及存储介质。
背景技术
超晶板是橱柜设计中的最常用的木板材料，而底漆的有效附着能够有效保障超晶板的质量。因此，针对超晶板进行底漆有效附着质量检测是一件非常重要的工序。
现有技术中，超晶板底漆检测通常采用人工识别的方式实现，即通过工作人员观察超晶板上是否附着有底漆，这将大大增加检测所需的人力成本，也降低了检测效率。
为此，现急需提供一种超晶板底漆检测方法。
发明内容
本发明提供一种超晶板底漆检测方法、装置、电子设备及存储介质，用以解决现有技术中存在的缺陷。
本发明提供一种超晶板底漆检测方法，包括：
获取待检测超晶板的目标图像；
将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果；
其中，所述底漆检测模型基于携带有底漆标签的超晶板图像样本训练得到，所述底漆检测模型用于基于所述目标图像与预设超晶板图像的差异特征，确定所述检测结果，所述预设超晶板图像为附着有完整底漆的模板超晶板对应的图像。
根据本发明提供的一种超晶板底漆检测方法，所述将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果，具体包括：
将所述目标图像输入至所述底漆检测模型的第一路特征提取结构，得到所述第一路特征提取结构输出的所述目标图像中的第一图像特征；
将所述第一图像特征以及由所述底漆检测模型的第二路特征提取结构确定的所述预设超晶板图像中的第二图像特征输入至所述底漆检测模型的差异特征计算层，得到所述差异特征计算层输出的所述差异特征；
将所述差异特征输入至特征解析层，得到所述检测结果。
根据本发明提供的一种超晶板底漆检测方法，所述第一路特征提取结构以及所述第二路特征提取结构均仅包括单分支单元；所述底漆检测模型基于如下步骤训练得到：
基于所述超晶板图像样本，对初始模型进行训练，得到备选模型；所述备选模型包括第一路备选特征提取结构、第二路备选特征提取结构、所述差异特征计算层以及所述特征解析层；所述第一路备选特征提取结构以及所述第二路备选特征提取结构均包括多分支单元；
在所述第一路备选特征提取结构中的多分支单元内以及所述第二路备选特征提取结构中的多分支单元内分别进行线性组合，得到所述第一路特征提取结构以及所述第二路特征提取结构。
根据本发明提供的一种超晶板底漆检测方法，所述第一路备选特征提取结构中的多分支单元以及所述第二路备选特征提取结构中的多分支单元均包括卷积核大小不同的多个卷积层以及残差连接层，所述多个卷积层分别与所述残差连接层连接；
所述在所述第一路备选特征提取结构中的多分支单元内以及所述第二路备选特征提取结构中的多分支单元内分别进行线性组合，得到所述第一路特征提取结构以及所述第二路特征提取结构，具体包括：
对于所述第一路备选特征提取结构或所述第二路备选特征提取结构中的任一多分支单元，将所述任一多分支单元中的多个卷积层转化成卷积核大小相同的多个目标卷积层，将所述任一多分支单元中的残差连接层转换成模板矩阵大小与每个目标卷积层的卷积核大小相同的均值滤波器，并将所述多个目标卷积层与所述均值滤波器相加，得到所述第一路特征提取结构或所述第二路特征提取结构。
根据本发明提供的一种超晶板底漆检测方法，所述超晶板图像样本包括真实超晶板图像样本以及合成超晶板图像样本，所述真实超晶板图像样本包括纯色的第一真实超晶板图像样本以及带有纹理的第二真实超晶板图像样本，所述合成超晶板图像样本包括颜色合成超晶板图像样本以及纹理合成超晶板图像样本；
所述颜色合成超晶板图像样本基于对所述第一真实超晶板图像样本中的第一超晶板区域进行颜色抖动得到，所述纹理合成超晶板图像样本基于对所述第二真实超晶板图像样本中的第二超晶板区域的纹理特征与所述颜色合成超晶板图像样本中的第三超晶板区域进行融合得到。
根据本发明提供的一种超晶板底漆检测方法，所述纹理合成超晶板图像样本基于如下步骤确定：
在所述颜色合成超晶板图像样本中的背景区域上，基于预设比例，将所述纹理特征与所述第三超晶板区域进行融合，得到初步融合结果；
对所述初步融合结果进行导向滤波，得到所述纹理合成超晶板图像样本。
根据本发明提供的一种超晶板底漆检测方法，所述纹理特征基于局部二值模式算法提取得到。
本发明还提供一种超晶板底漆检测装置，包括：
图像获取模块，用于获取待检测超晶板的目标图像；
底漆检测模块，用于将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果；
其中，所述底漆检测模型基于携带有底漆标签的超晶板图像样本训练得到，所述底漆检测模型用于基于所述目标图像与预设超晶板图像的差异特征，确定所述检测结果，所述预设超晶板图像为附着有完整底漆的模板超晶板对应的图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的超晶板底漆检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的超晶板底漆检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的超晶板底漆检测方法。
本发明提供的超晶板底漆检测方法、装置、电子设备及存储介质，首先获取待检测超晶板的目标图像；然后将目标图像输入至底漆检测模型，得到底漆检测模型输出的待检测超晶板上是否附着有底漆的检测结果。由于采用了底漆检测模型，结合目标图像与预设超晶板图像的差异特征对待检测超晶板上是否附着有底漆进行自动检测，并可以提高检测效率，降低工作人员的工作量，节约人力成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的超晶板底漆检测方法的流程示意图；
图2是本发明提供的超晶板底漆检测方法中对底漆检测模型的结构示意图；
图3是本发明提供的超晶板底漆检测方法中对初始模型进行训练得到底漆检测模型的流程示意图；
图4是本发明提供的超晶板底漆检测方法中底漆检测模型的第一路特征提取结构以及第二路特征提取结构的结构示意图；
图5是本发明提供的超晶板底漆检测装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有技术中的超晶板底漆检测通常采用人工识别的方式实现，即通过工作人员观察超晶板上是否附着有底漆，这将大大增加检测所需的人力成本，也降低了检测效率。为此，提供一种自动化的超晶板底漆检测方法至关重要。但是，由于超晶板流水线是一个快速运输的过程，需要一个高效率的底漆检测算法进行实时检测，因此实现自动化的超晶板底漆检测方法的技术难点之一在于如何进行实时检测。基于此，本发明实施例中提供了一种超晶板底漆检测方法，以解决上述技术难点。
图1为本发明实施例中提供的超晶板底漆检测方法的流程示意图，如图1所示，该方法包括：
S1，获取待检测超晶板的目标图像；
S2，将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果；
其中，所述底漆检测模型基于携带有底漆标签的超晶板图像样本训练得到，所述底漆检测模型用于基于所述目标图像与预设超晶板图像的差异特征，确定所述检测结果，所述预设超晶板图像为附着有完整底漆的模板超晶板对应的图像。
具体地，本发明实施例中提供的超晶板底漆检测方法，其执行主体为超晶板底漆检测装置，该装置可以配置于服务器内，该服务器可以是本地服务器，也可以是云端服务器，本地服务器具体可以是计算机、平板电脑以及智能手机等，本发明实施例中对此不作具体限定。
首先执行步骤S1，获取待检测超晶板的目标图像，该待检测超晶板是指需要检测其上是否附着有底漆的超晶板。该目标图像可以通过普通相机、工业线阵相机、双目相机等图像采集装置采集得到，该图像采集装置可以固定安装于检测台上方。在需要获取目标图像时，将待检测超晶板放置于检测台上即可。
该图像采集装置与超晶板底漆检测装置可以通信连接，进而将采集到的目标图像发送至超晶板底漆检测装置，以使超晶板底漆检测装置获取到目标图像并执行后续步骤。
然后执行步骤S2，将目标图像输入至底漆检测模型，通过底漆检测模型对目标图像进行检测，进而得到底漆检测模型输出的检测结果。此处，该检测结果用于表征待检测超晶板上是否附着有底漆，检测结果可以包括待检测超晶板上附着有底漆或待检测超晶板上未附着有底漆。当检测结果包括待检测超晶板上附着有底漆时，检测结果还包括底漆的附着区域，该附着区域可以按像素进行标记得到。也就是说，通过该底漆检测模型，不仅可以检测出待检测超晶板上是否附着有底漆，还可以检测出待检测超晶板附着的底漆是否有缺陷，即是否附着有完整底漆，还是只是部分区域附着有底漆，还有底漆漏涂区域。进一步地，可以将检测结果分为有缺陷和无缺陷，有缺陷包括待检测超晶板上未附着有底漆或者虽然附着有底漆，但是并未附着有完整底漆，还有底漆漏涂区域；无缺陷包括待检测超晶板上附着有完整底漆。
本发明实施例中，采用的底漆检测模型可以通过携带有底漆标签的超晶板图像样本对初始模型进行训练得到。初始模型可以是神经网络模型，例如深度卷积神经网络模型等，也可以采用双流分支网络，此处不作具体限定。在对初始模型进行训练时，可以采用反向传播算法实现。训练得到的底漆检测模型可以采用前向传播原理实现从目标图像的输入到检测结果的输出的整个过程。
底漆标签可以是按像素标注得到的对应像素是否附着有底漆的标识，例如可以包括0或1，0可以表示对应像素附着有底漆，1可以表示对应像素未附着有底漆。底漆标签也可以用其他形式的标识进行表示，此处不作具体限定。
底漆标签可以存储于标注图中，每个超晶板图像样本均对应有一个标注图，每个标注图与对应的超晶板图像样本的像素数量一致，且每个标注图中各像素的像素值即为对应的超晶板图像样本中对应像素的底漆标签。
该底漆检测模型可以引入预设超晶板图像，并结合目标图像与预设超晶板图像的差异特征，确定出检测结果。预设超晶板图像为附着有完整底漆的模板超晶板对应的图像，该模板超晶板即无缺陷的超晶板。该底漆检测模型可以先分别提取出目标图像与预设超晶板图像的图像特征，并将二者的图像特征进行相减，即得到二者的差异特征，该差异特征可以用于表征目标图像与预设超晶板图像之间的差异信息，即目标图像相比于预设超晶板图像存在的不同。进而，根据该差异特征，确定出待检测超晶板对应的检测结果。
可以理解的是，该底漆检测模型可以预先提取出预设超晶板图像的图像特征并进行存储，后续对待检测超晶板进行底漆检测时直接利用该图像特征确定差异特征即可，如此可以提高检测效率。
本发明实施例中提供的超晶板底漆检测方法，首先获取待检测超晶板的目标图像；然后将目标图像输入至底漆检测模型，得到底漆检测模型输出的待检测超晶板上是否附着有底漆的检测结果。由于采用了底漆检测模型，结合目标图像与预设超晶板图像的差异特征对待检测超晶板上是否附着有底漆进行自动检测，并可以提高检测效率，降低工作人员的工作量，节约人力成本。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测方法，若检测结果为有缺陷，则认为该待检测超晶板为不合格产品，进而对该待检测超晶板进行报警，报警方式可以包括语音提示或检测页面闪烁，还可以通过报警灯提示工作人员，此处不作具体限定。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测方法，所述将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果，具体包括：
将所述目标图像输入至所述底漆检测模型的第一路特征提取结构，得到所述第一路特征提取结构输出的所述目标图像中的第一图像特征；
将所述第一图像特征以及由所述底漆检测模型的第二路特征提取结构确定的所述预设超晶板图像中的第二图像特征输入至所述底漆检测模型的差异特征计算层，得到所述差异特征计算层输出的所述差异特征；
将所述差异特征输入至特征解析层，得到所述检测结果。
具体地，图2为本发明实施例中提供的超晶板底漆检测方法中对底漆检测模型的结构示意图。如图2所示，底漆检测模型可以包括第一路特征提取结构1、第二路特征提取结构2、差异特征计算层3以及特征解析层4，第一路特征提取结构1与第二路特征提取结构2并列，且均与差异特征计算层3连接，差异特征计算层3与特征解析层4连接。由于底漆检测模型包含有两路特征提取结构，因此底漆检测模型的模型结构实际上是一种双流分支网络。第一路特征提取结构1的输入为待检测超晶板的目标图像，第二路特征提取结构2的输入为预设超晶板图像，最终由特征解析层4输出检测结果。
第一路特征提取结构可以用于对目标图像进行特征提取，进而得到目标图像中的 第一图像特征。第二路特征提取结构可以用于对预设超晶板图像进行特征提取，进而得到 预设超晶板图像中的第二图像特征。第二路特征提取结构的特征提取动作只需进行一次即 可，即将特征提取得到的第二图像特征进行存储，此后应用存储的第二图像特征进行差异 特征的计算即可。此处，第一图像特征与第二图像特征均可以为深度特征，可以分别表示为
Figure 991474DEST_PATH_IMAGE001
和
Figure 666169DEST_PATH_IMAGE002
。
本发明实施例中，第一路特征提取结构以及第二路特征提取结构既可以包括单分支单元，也可以包括多分支单元，二者可以共享结构权重。可以理解的是，单分支单元是指只有一个分支的单元，多分支单元是指包含有多个分支的单元，此处分支是由顺次连接的多个功能层构成的。
差异特征计算层可以将第一图像特征以及第二图像特征作为输入，并将输入的第 一图像特征以及第二图像特征进行差值计算，得到并输出差异特征。差异特征可以表示为
Figure 376505DEST_PATH_IMAGE003
，且有
Figure 744032DEST_PATH_IMAGE004
。
特征解析层可以将差异特征作为输入，并将输入的差异特征进行解析，得到并输出检测结果。该特征解析层可以包括两层卷积结构。
特征解析层还可以在确定检测结果之后，确定检测结果对应的彩色图像，得到并输出检测结果以及彩色图像。
例如，对于待检测超晶板的目标图像中的任一像素，若该像素附着有底漆，则该像素对应的检测结果可以通过第一取值进行表示；若该像素未附着有底漆，则该像素对应的检测结果可以通过第二取值进行表示。其中，第一取值、第二取值均可以根据需要进行设定，例如可以分别设定为0、1等，也可以为便于后续彩色图像的确定而直接将其采用RGB值的形式进行表示。
此后，可以根据第一取值、第二取值，确定出检测结果对应的彩色图像。例如，若第一取值、第二取值与RGB值无关，则可以认为是灰度值，此时可以通过预先设定的灰度值与RGB值之间的对应关系，确定各灰度值对应的RGB值，进而将各RGB值作为彩色图像的像素值即得到彩色图像。如此可以使用户快速确定目标图像中的检测结果，提高用户的可视化体验。
本发明实施例中，通过包含有双路特征提取结构的底漆检测模型，可以快速实现特征提取及差异特征的确定，进而提高检测效率。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测方法，所述第一路特征提取结构以及所述第二路特征提取结构均仅包括单分支单元；所述底漆检测模型基于如下步骤训练得到：
基于所述超晶板图像样本，对初始模型进行训练，得到备选模型；所述备选模型包括第一路备选特征提取结构、第二路备选特征提取结构、所述差异特征计算层以及所述特征解析层；所述第一路备选特征提取结构以及所述第二路备选特征提取结构均包括多分支单元；
在所述第一路备选特征提取结构中的多分支单元内以及所述第二路备选特征提取结构中的多分支单元内分别进行线性组合，得到所述第一路特征提取结构以及所述第二路特征提取结构。
具体地，本发明实施例中，第一路特征提取结构以及第二路特征提取结构均仅包括单分支单元，即不包括多分支单元。此时，第一路特征提取结构以及第二路特征提取结构均为单分支网络结构。
进而，在训练得到底漆检测模型的过程中，可以先根据超晶板图像样本，对初始模型进行训练，得到备选模型。
对初始模型的训练过程，可以包括如下过程：
将所述超晶板图像样本输入至初始模型的第一路初始特征提取结构，得到所述第一路初始特征提取结构输出的所述超晶板图像样本中的第三图像特征；
将所述预设超晶板图像输入至所述初始模型的第二路初始特征提取结构，得到所述第二路初始特征提取结构输出的所述预设超晶板图像中的第四图像特征；
将所述第三图像特征以及所述第四图像特征输入至所述初始模型的初始差异特征计算层，得到所述初始差异特征计算层输出的所述第三图像特征与所述第四图像特征之间的初始差异特征；
将所述初始差异特征输入至所述初始模型的初始特征解析层，得到所述初始特征解析层输出的所述超晶板图像样本的初始检测结果；
基于所述初始检测结果以及所述超晶板图像样本携带的底漆标签，计算所述初始模型的损失，并基于所述损失，对所述初始模型进行参数迭代，直至所述损失收敛，得到备选模型。
该备选模型包括第一路备选特征提取结构、第二路备选特征提取结构、差异特征计算层以及特征解析层。备选模型中的差异特征计算层以及特征解析层即为底漆检测模型中的差异特征计算层以及特征解析层。由于备选模型中的第一路备选特征提取结构以及第二路备选特征提取结构均包括多分支单元，通过多分支单元操作，可以使初始模型具有不同的感受野，提高对不同尺度的底漆漏涂区域的预测准确性。此时，第一路特征提取结构以及第二路特征提取结构均为多分支网络结构。
基于此，备选模型中的第一路备选特征提取结构以及第二路备选特征提取结构并不能直接作为底漆检测模型中的第一路特征提取结构以及第二路特征提取结构，而是需要经过处理过程才能得到第一路特征提取结构以及第二路特征提取结构。
上述涉及的处理过程可以包括：在第一路备选特征提取结构中的多分支单元内以及第二路备选特征提取结构中的多分支单元内分别进行线性组合，即将多分支单元中包括的多个分支的功能层进行线性组合，使其变为一个分支，进而可以将多分支单元变为单分支单元，即可分别得到第一路特征提取结构以及第二路特征提取结构。
备选模型中的第一路备选特征提取结构以及第二路备选特征提取结构分别用第一路特征提取结构以及第二路特征提取结构进行替换，即得到底漆检测模型。
本发明实施例中，通过引入在多分支单元内进行线性组合的方式，可以简化底漆检测模型中的第一路特征提取结构以及第二路特征提取结构，实现轻量化模型部署，在不降低模型的预测精度的同时，极大地提高模型的预测效率。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测方法，所述第一路备选特征提取结构中的多分支单元以及所述第二路备选特征提取结构中的多分支单元均包括卷积核大小不同的多个卷积层以及残差连接层，所述多个卷积层分别与所述残差连接层连接；
所述在所述第一路备选特征提取结构中的多分支单元内以及所述第二路备选特征提取结构中的多分支单元内分别进行线性组合，得到所述第一路特征提取结构以及所述第二路特征提取结构，具体包括：
对于所述第一路备选特征提取结构或所述第二路备选特征提取结构中的任一多分支单元，将所述任一多分支单元中的多个卷积层转化成卷积核大小相同的多个目标卷积层，将所述任一多分支单元中的残差连接层转换成模板矩阵大小与每个目标卷积层的卷积核大小相同的均值滤波器，并将所述多个目标卷积层与所述均值滤波器相加，得到所述第一路特征提取结构或所述第二路特征提取结构。
具体地，本发明实施例中，第一路备选特征提取结构中的多分支单元以及第二路备选特征提取结构中的多分支单元均包括卷积核大小不同的多个卷积层以及残差连接层，多个卷积层分别与残差连接层连接，即多分支单元中的功能层的类别可以包括卷积层和残差连接层。每个卷积层可以构成一个分支。此处，卷积层的数量可以根据需要进行设置，例如可以设置为2。
在第一路备选特征提取结构中的多分支单元内以及第二路备选特征提取结构中的多分支单元内分别进行线性组合时，对于第一路备选特征提取结构或第二路备选特征提取结构中的任一多分支单元，可以将任一多分支单元中的多个卷积层转化成卷积核大小相同的多个目标卷积层。例如，每个多分支单元均包括2个卷积层，其卷积核大小分别为1×1和3×3，可以设置目标卷积层的卷积核大小为3×3，即只需将卷积核大小为1×1的卷积层的卷积核采用填充0的方式转化为3×3，进而将其转化为目标卷积层。
然后，可以将任一多分支单元中的残差连接层转换成模板矩阵大小与每个目标卷积层的卷积核大小相同的均值滤波器，即也可以将残差连接层转换为3×3的均值滤波器。此后，可以将各个目标卷积层与均值滤波器在相应的位置相加，从而得到一个能够产生相同输出的等效核。对第一路备选特征提取结构中的所有多分支单元以及第二路备选特征提取结构中的所有多分支单元均进行上述线性组合过程之后，即可以得到第一路特征提取结构或第二路特征提取结构。
本发明实施例中，通过对多分支单元内的功能层进行线性组合，可以大大降低底漆检测模型中两路特征提取结构的复杂度，降低特征提取的计算量，提高特征提取效率。
由于超晶板底漆存在各种尺寸的底漆漏涂区域，需要一个可以容纳各种尺寸的底漆漏涂区域的底漆检测算法；而且超晶板存在各种各样的颜色以及各种各样的纹理，但是采集到的真实超晶板图像十分有限，这将导致模型训练样本不足，进而影响模型准确性。因此实现自动化的超晶板底漆检测方法的技术难点之二在于如何进行准确检测。基于此，本发明实施例中提供了一种超晶板底漆检测方法，以解决上述技术难点。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测方法，所述超晶板图像样本包括真实超晶板图像样本以及合成超晶板图像样本，所述真实超晶板图像样本包括纯色的第一真实超晶板图像样本以及带有纹理的第二真实超晶板图像样本，所述合成超晶板图像样本包括颜色合成超晶板图像样本以及纹理合成超晶板图像样本；
所述颜色合成超晶板图像样本基于对所述第一真实超晶板图像样本中的第一超晶板区域进行颜色抖动得到，所述纹理合成超晶板图像样本基于对所述第二真实超晶板图像样本中的第二超晶板区域的纹理特征与所述颜色合成超晶板图像样本中的第三超晶板区域进行融合得到。
具体地，本发明实施例中，在对初始模型进行训练时采用的超晶板图像样本可以包括真实超晶板图像样本以及合成超晶板图像样本，真实超晶板图像样本是指通过图像采集装置采集得到的超晶板样本的实际图像，该图像并非是合成的。真实超晶板图像样本携带的底漆标签可以通过对真实超晶板图像样本进行像素级标注得到。
真实超晶板图像样本可以包括纯色的第一真实超晶板图像样本以及带有纹理的第二真实超晶板图像样本，第一真实超晶板图像样本的颜色可以根据需要进行选择，只要是纯色即可。该第一真实超晶板图像样本是否带有纹理均可。第二真实超晶板图像样本带有的纹理样式也可以根据需要进行选择，其是否是纯色均可。
合成超晶板图像样本是指并非通过图像采集装置采集得到的、而是通过不同类型的真实超晶板图像样本合成得到。合成超晶板图像样本可以包括颜色合成超晶板图像样本以及纹理合成超晶板图像样本，颜色合成超晶板图像样本可以通过对第一真实超晶板图像样本中的第一超晶板区域进行颜色抖动得到。此处，可以先提取第一真实超晶板图像样本中的第一超晶板区域，即超晶板所覆盖的区域，去除第一真实超晶板图像样本中的非超晶板区域。然后对第一超晶板区域进行颜色抖动处理。
颜色抖动的实现方法可以包括：随机颜色抖动（Random Dither）、有序颜色抖动（Ordered Dither）和误差扩散（Error Diffusion）方法等，此处可以任选其中一种方法实现。
纹理合成超晶板图像样本基于对第二真实超晶板图像样本中的第二超晶板区域的纹理特征与颜色合成超晶板图像样本中的第三超晶板区域进行融合得到。即在确定纹理合成超晶板图像样本时，可以先提取第二真实超晶板图像样本中的第二超晶板区域以及颜色合成超晶板图像样本中的第三超晶板区域，然后通过纹理特征提取算法，提取第二超晶板区域的纹理特征，最后将纹理特征与第三超晶板区域进行随机融合，即可得到纹理合成超晶板图像样本。该纹理特征可以用于表征第二超晶板区域的完整细节信息。第三超晶板区域可以与第一超晶板区域相同。
本发明实施例中，在超晶板图像样本中包括有真实超晶板图像样本以及合成超晶板图像样本，可以提高训练样本中超晶板的颜色、纹理特征的随机性，进而增加训练样本的多样性，提高底漆检测模型的准确性和通用性。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测方法，所述纹理合成超晶板图像样本基于如下步骤确定：
在所述颜色合成超晶板图像样本中的背景区域上，基于预设比例，将所述纹理特征与所述第三超晶板区域进行融合，得到初步融合结果；
对所述初步融合结果进行导向滤波，得到所述纹理合成超晶板图像样本。
具体地，本发明实施例中，在确定纹理合成超晶板图像样本时，可以先确定纹理合成超晶板图像样本的背景区域，该背景区域可以是颜色合成超晶板图像样本中的背景区域。在该背景区域上，可以根据预设比例，将第二超晶板区域的纹理特征与第三超晶板区域进行融合，预设比例可以是纹理合成超晶板图像样本中超晶板区域与纹理特征所覆盖区域的占比，该预设比例可以是大于1的比值，例如可以是8:2，也可以是其他取值。融合后即得到初步融合结果。
此后，既可以直接将初步融合结果作为纹理合成超晶板图像样本，也可以对初步融合结果进行导向滤波（Guided Fliter），得到纹理合成超晶板图像样本。
本发明实施例中，通过导向滤波，可以使初步融合结果更加平滑，使融合效果更优，提高融合得到的纹理合成超晶板图像样本的真实性以及有效性。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测方法，所述纹理特征基于局部二值模式算法提取得到。
具体地，本发明实施例中，可以通过局部二值模式（Local Binary Pattern，LBP）算法，提取第一真实超晶板图像样本中的纹理特征。LBP算法中的LBP算子可以是基本LBP算子、圆形LBP算子、等价模式LBP算子以及旋转不变LBP算子中的一种。LBP算法通过LBP算子计算得到第一真实超晶板图像样本中每个像素的纹理特征。
以采用圆形LBP算子计算纹理特征为例，采样窗口为圆形，半径可以为一个或多个像素。在算法运行过程中，可以以第一真实超晶板图像样本中的任一像素作为采样窗口的圆心c。在采样窗口的圆周上进行采样，可以得到P个采样点。P的取值可以根据需要进行设置，此处不作具体限定，例如可以是8。
对于任一采样点p，若该采样点p落在第一真实超晶板图像样本中的某一像素a内时，该采样点p的像素值为像素a的像素值；若该采样点p落在病害区域图像中的像素边界时，则通过双线性插值来计算该采样点p的像素值。
得到n个采样点的像素值后分别与圆心c的像素值进行比较，若某一采样点的像素值大于等于圆心c的像素值，则置为1；若某一采样点的像素值小于圆心c的像素值，则置为0。如此便可以得到一组n位的二进制数，再将其转化为十进制，即LBP码。可以将该LBP码作为圆心c的纹理特征值，以此来反映圆心c的纹理信息。圆心c的纹理特征值可以表示为：
Figure 438188DEST_PATH_IMAGE005
其中，P代表圆周上采样点的总个数，R为圆周的半径，p为当前采样点，I(p)表示当 前采样点p的像素值，I(c)为圆心的像素值，
Figure 978890DEST_PATH_IMAGE006
为圆心c的坐标，
Figure 560044DEST_PATH_IMAGE007
为圆心c的纹理特征。
令
Figure 82162DEST_PATH_IMAGE008
，则
Figure 748766DEST_PATH_IMAGE009
的计算公式如下：
Figure 14531DEST_PATH_IMAGE010
本发明实施例中，纹理特征可以通过局部二值模式算法对第一真实超晶板图像样本进行纹理特征提取的方式得到，可以实现纹理特征的快速准确提取，保证后续融合得到的纹理合成超晶板图像样本中包含有纹理信息。
图3为本发明实施例中提供的超晶板底漆检测方法中对初始模型进行训练得到底漆检测模型的流程示意图。
如图3所示，该流程包括：
分别获取纯色的第一真实超晶板图像样本、对应的标签图、带有纹理的第二真实超晶板图像样本以及对应的标签图；
分别提取第一真实超晶板图像样本中的第一超晶板区域以及第二真实超晶板图像样本中的第二超晶板区域；
对第一超晶板区域进行颜色抖动，得到颜色合成超晶板图像样本；
基于局部二值模式算法提取第二超晶板区域的纹理特征；
在颜色合成超晶板图像样本中的背景区域上，基于预设比例，将第二超晶板区域的纹理特征与颜色合成超晶板图像样本中的第三超晶板区域进行融合，得到初步融合结果；
对初步融合结果进行导向滤波，得到纹理合成超晶板图像样本；
将第一真实超晶板图像样本、第二真实超晶板图像样本、颜色合成超晶板图像样本以及纹理合成超晶板图像样本作为训练样本，对初始模型进行训练，得到底漆检测模型。
图4为本发明实施例中提供的超晶板底漆检测方法中底漆检测模型的第一路特征提取结构以及第二路特征提取结构的结构示意图。如图4所示，第一路特征提取结构以及第二路特征提取结构均包括第一下采样结构41、上采样结构42以及第二下采样结构43。第一下采样结构41包括5个采样点数依次减少的采样模块，上采样结构42包括3个采样点数依次增多的采样模块，且第一下采样结构41中的后3个采样模块与上采样结构42中的3个采样模块按采样点数大小进行连接。第二下采样结构43包括3个采样点数依次减少的采样模块，且第二下采样结构43中的3个采样模块与上采样结构42中的3个采样模块按采样点数大小进行连接。最后，将第二下采样结构43中的3个采样模块得到的结果进行拼接，得到对应的图像特征。
图4还可以表示出，每个采样模块44均包含有多个采样单元45，每个采样单元45在训练过程中均为一个多分支单元，该多分支单元由一个3×3的卷积层46、一个1×1的卷积层47以及一个残差连接层48构成。训练结束后，在每个多分支单元内进行线性组合，使每个采样单元由多分支单元变为一个3×3的单分支单元49，进而得到第一路特征提取结构以及第二路特征提取结构。
综上所述，本发明实施例中提供的超晶板底漆检测方法，有以下优势：（1）通过模型轻量化部署方法，可以保证模型精度不损失的前提下，极大地提高模型的计算效率。（2）通过多分支单元，模型对于各种尺寸的底漆区域具有优越的鲁棒性，可以保证多种尺寸的底漆瑕疵的检出。（3）通过超晶板图像的融合方式生成训练样本，可以加强模型对于各种颜色以及各种纹路的超晶板的检测泛化性。
如图5所示，在上述实施例的基础上，本发明实施例中提供了一种超晶板底漆检测装置，包括：
图像获取模块51，用于获取待检测超晶板的目标图像；
底漆检测模块52，用于将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果；
其中，所述底漆检测模型基于携带有底漆标签的超晶板图像样本训练得到，所述底漆检测模型用于基于所述目标图像与预设超晶板图像的差异特征，确定所述检测结果，所述预设超晶板图像为附着有完整底漆的模板超晶板对应的图像。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测装置，所述底漆检测模块，具体用于：
将所述目标图像输入至所述底漆检测模型的第一路特征提取结构，得到所述第一路特征提取结构输出的所述目标图像中的第一图像特征；
将所述第一图像特征以及由所述底漆检测模型的第二路特征提取结构确定的所述预设超晶板图像中的第二图像特征输入至所述底漆检测模型的差异特征计算层，得到所述差异特征计算层输出的所述差异特征；
将所述差异特征输入至特征解析层，得到所述检测结果。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测装置，还包括训练模块，用于：
基于所述超晶板图像样本，对初始模型进行训练，得到备选模型；所述备选模型包括第一路备选特征提取结构、第二路备选特征提取结构、所述差异特征计算层以及所述特征解析层；所述第一路备选特征提取结构以及所述第二路备选特征提取结构均包括多分支单元；
在所述第一路备选特征提取结构中的多分支单元内以及所述第二路备选特征提取结构中的多分支单元内分别进行线性组合，得到所述第一路特征提取结构以及所述第二路特征提取结构。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测装置，所述第一路备选特征提取结构中的多分支单元以及所述第二路备选特征提取结构中的多分支单元均包括卷积核大小不同的多个卷积层以及残差连接层，所述多个卷积层分别与所述残差连接层连接；
所述训练模块，具体用于：
对于所述第一路备选特征提取结构或所述第二路备选特征提取结构中的任一多分支单元，将所述任一多分支单元中的多个卷积层转化成卷积核大小相同的多个目标卷积层，将所述任一多分支单元中的残差连接层转换成模板矩阵大小与每个目标卷积层的卷积核大小相同的均值滤波器，并将所述多个目标卷积层与所述均值滤波器相加，得到所述第一路特征提取结构或所述第二路特征提取结构。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测装置，所述超晶板图像样本包括真实超晶板图像样本以及合成超晶板图像样本，所述真实超晶板图像样本包括纯色的第一真实超晶板图像样本以及带有纹理的第二真实超晶板图像样本，所述合成超晶板图像样本包括颜色合成超晶板图像样本以及纹理合成超晶板图像样本；
所述颜色合成超晶板图像样本基于对所述第一真实超晶板图像样本中的第一超晶板区域进行颜色抖动得到，所述纹理合成超晶板图像样本基于对所述第二真实超晶板图像样本中的第二超晶板区域的纹理特征与所述颜色合成超晶板图像样本中的第三超晶板区域进行融合得到。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测装置，还包括图元样本合成模块，用于：
在所述颜色合成超晶板图像样本中的背景区域上，基于预设比例，将所述纹理特征与所述第三超晶板区域进行融合，得到初步融合结果；
对所述初步融合结果进行导向滤波，得到所述纹理合成超晶板图像样本。
在上述实施例的基础上，本发明实施例中提供的超晶板底漆检测装置，所述纹理特征基于局部二值模式算法提取得到。
具体地，本发明实施例中提供的超晶板底漆检测装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器（Processor）610、通信接口（Communications Interface）620、存储器（Memory）630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各实施例中提供的超晶板底漆检测方法，该方法包括：获取待检测超晶板的目标图像；将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果；其中，所述底漆检测模型基于携带有底漆标签的超晶板图像样本训练得到，所述底漆检测模型用于基于所述目标图像与预设超晶板图像的差异特征，确定所述检测结果，所述预设超晶板图像为附着有完整底漆的模板超晶板对应的图像。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的超晶板底漆检测方法，该方法包括：获取待检测超晶板的目标图像；将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果；其中，所述底漆检测模型基于携带有底漆标签的超晶板图像样本训练得到，所述底漆检测模型用于基于所述目标图像与预设超晶板图像的差异特征，确定所述检测结果，所述预设超晶板图像为附着有完整底漆的模板超晶板对应的图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的超晶板底漆检测方法，该方法包括：获取待检测超晶板的目标图像；将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果；其中，所述底漆检测模型基于携带有底漆标签的超晶板图像样本训练得到，所述底漆检测模型用于基于所述目标图像与预设超晶板图像的差异特征，确定所述检测结果，所述预设超晶板图像为附着有完整底漆的模板超晶板对应的图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种超晶板底漆检测方法，其特征在于，包括：
获取待检测超晶板的目标图像；
将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果；
其中，所述底漆检测模型基于携带有底漆标签的超晶板图像样本训练得到，所述底漆检测模型用于基于所述目标图像与预设超晶板图像的差异特征，确定所述检测结果，所述预设超晶板图像为附着有完整底漆的模板超晶板对应的图像。
2.根据权利要求1所述的超晶板底漆检测方法，其特征在于，所述将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果，具体包括：
将所述目标图像输入至所述底漆检测模型的第一路特征提取结构，得到所述第一路特征提取结构输出的所述目标图像中的第一图像特征；
将所述第一图像特征以及由所述底漆检测模型的第二路特征提取结构确定的所述预设超晶板图像中的第二图像特征输入至所述底漆检测模型的差异特征计算层，得到所述差异特征计算层输出的所述差异特征；
将所述差异特征输入至特征解析层，得到所述检测结果。
3.根据权利要求2所述的超晶板底漆检测方法，其特征在于，所述第一路特征提取结构以及所述第二路特征提取结构均仅包括单分支单元；所述底漆检测模型基于如下步骤训练得到：
基于所述超晶板图像样本，对初始模型进行训练，得到备选模型；所述备选模型包括第一路备选特征提取结构、第二路备选特征提取结构、所述差异特征计算层以及所述特征解析层；所述第一路备选特征提取结构以及所述第二路备选特征提取结构均包括多分支单元；
在所述第一路备选特征提取结构中的多分支单元内以及所述第二路备选特征提取结构中的多分支单元内分别进行线性组合，得到所述第一路特征提取结构以及所述第二路特征提取结构。
4.根据权利要求3所述的超晶板底漆检测方法，其特征在于，所述第一路备选特征提取结构中的多分支单元以及所述第二路备选特征提取结构中的多分支单元均包括卷积核大小不同的多个卷积层以及残差连接层，所述多个卷积层分别与所述残差连接层连接；
所述在所述第一路备选特征提取结构中的多分支单元内以及所述第二路备选特征提取结构中的多分支单元内分别进行线性组合，得到所述第一路特征提取结构以及所述第二路特征提取结构，具体包括：
对于所述第一路备选特征提取结构或所述第二路备选特征提取结构中的任一多分支单元，将所述任一多分支单元中的多个卷积层转化成卷积核大小相同的多个目标卷积层，将所述任一多分支单元中的残差连接层转换成模板矩阵大小与每个目标卷积层的卷积核大小相同的均值滤波器，并将所述多个目标卷积层与所述均值滤波器相加，得到所述第一路特征提取结构或所述第二路特征提取结构。
5.根据权利要求1-4中任一项所述的超晶板底漆检测方法，其特征在于，所述超晶板图像样本包括真实超晶板图像样本以及合成超晶板图像样本，所述真实超晶板图像样本包括纯色的第一真实超晶板图像样本以及带有纹理的第二真实超晶板图像样本，所述合成超晶板图像样本包括颜色合成超晶板图像样本以及纹理合成超晶板图像样本；
所述颜色合成超晶板图像样本基于对所述第一真实超晶板图像样本中的第一超晶板区域进行颜色抖动得到，所述纹理合成超晶板图像样本基于对所述第二真实超晶板图像样本中的第二超晶板区域的纹理特征与所述颜色合成超晶板图像样本中的第三超晶板区域进行融合得到。
6.根据权利要求5所述的超晶板底漆检测方法，其特征在于，所述纹理合成超晶板图像样本基于如下步骤确定：
在所述颜色合成超晶板图像样本中的背景区域上，基于预设比例，将所述纹理特征与所述第三超晶板区域进行融合，得到初步融合结果；
对所述初步融合结果进行导向滤波，得到所述纹理合成超晶板图像样本。
7.根据权利要求5所述的超晶板底漆检测方法，其特征在于，所述纹理特征基于局部二值模式算法提取得到。
8.一种超晶板底漆检测装置，其特征在于，包括：
图像获取模块，用于获取待检测超晶板的目标图像；
底漆检测模块，用于将所述目标图像输入至底漆检测模型，得到所述底漆检测模型输出的所述待检测超晶板上是否附着有底漆的检测结果；
其中，所述底漆检测模型基于携带有底漆标签的超晶板图像样本训练得到，所述底漆检测模型用于基于所述目标图像与预设超晶板图像的差异特征，确定所述检测结果，所述预设超晶板图像为附着有完整底漆的模板超晶板对应的图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的超晶板底漆检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的超晶板底漆检测方法。
CN202211140547.2A 2022-09-20 2022-09-20 超晶板底漆检测方法、装置、电子设备及存储介质 Active CN115222737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211140547.2A CN115222737B (zh) 2022-09-20 2022-09-20 超晶板底漆检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211140547.2A CN115222737B (zh) 2022-09-20 2022-09-20 超晶板底漆检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115222737A true CN115222737A (zh) 2022-10-21
CN115222737B CN115222737B (zh) 2023-03-17

Family

ID=83617488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211140547.2A Active CN115222737B (zh) 2022-09-20 2022-09-20 超晶板底漆检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115222737B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190257767A1 (en) * 2018-02-21 2019-08-22 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
CN111524100A (zh) * 2020-04-09 2020-08-11 武汉精立电子技术有限公司 一种缺陷图像样本生成方法、装置及面板缺陷检测方法
US20210073972A1 (en) * 2019-09-06 2021-03-11 Accenture Global Solutions Limited Intelligent defect detection from image data
US20210319546A1 (en) * 2020-04-10 2021-10-14 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
CN113658182A (zh) * 2021-10-21 2021-11-16 北京矩视智能科技有限公司 基于并行多分支特征融合的表面缺陷区域分割方法及装置
EP4024336A1 (en) * 2020-12-23 2022-07-06 Ricoh Company, Ltd. Neural network training method and apparatus, defect inspection method and apparatus, and non-transitory computer-readable medium
CN114910483A (zh) * 2022-07-15 2022-08-16 中科视语(北京)科技有限公司 超晶板质量检测装置、方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190257767A1 (en) * 2018-02-21 2019-08-22 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
US20210073972A1 (en) * 2019-09-06 2021-03-11 Accenture Global Solutions Limited Intelligent defect detection from image data
CN111524100A (zh) * 2020-04-09 2020-08-11 武汉精立电子技术有限公司 一种缺陷图像样本生成方法、装置及面板缺陷检测方法
US20210319546A1 (en) * 2020-04-10 2021-10-14 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
EP4024336A1 (en) * 2020-12-23 2022-07-06 Ricoh Company, Ltd. Neural network training method and apparatus, defect inspection method and apparatus, and non-transitory computer-readable medium
CN113658182A (zh) * 2021-10-21 2021-11-16 北京矩视智能科技有限公司 基于并行多分支特征融合的表面缺陷区域分割方法及装置
CN114910483A (zh) * 2022-07-15 2022-08-16 中科视语(北京)科技有限公司 超晶板质量检测装置、方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
应自炉等: "多特征融合的文档图像版面分析", 《中国图象图形学报》 *
桑宏强等: "改进卷积神经网络在工件表面缺陷检测中的应用", 《组合机床与自动化加工技术》 *
邱锡鹏: "《神经网络与深度学习》", 30 April 2020 *

Also Published As

Publication number Publication date
CN115222737B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
US20220036533A1 (en) Image defect detection method and apparatus, electronic device, storage medium and product
CN108734690B (zh) 一种视觉缺陷检测设备及其检测方法
CN108154105B (zh) 水下生物检测与识别方法、装置、服务器及终端设备
CN112465748B (zh) 基于神经网络的裂缝识别方法、装置、设备及存储介质
US9443297B2 (en) System and method for selective determination of point clouds
CN109840477B (zh) 基于特征变换的受遮挡人脸识别方法及装置
CN111986178A (zh) 产品缺陷检测方法、装置、电子设备和存储介质
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN114897864B (zh) 基于数模信息的工件检测及缺陷判断方法
CN110706224B (zh) 基于暗场图像的光学元件弱划痕检测方法、系统和装置
CN111738045B (zh) 一种图像检测方法、装置、电子设备及存储介质
JP7150468B2 (ja) 構造物劣化検出システム
CN113516651A (zh) 基于残差网络的焊接接头缺陷检测方法及装置
CN114419029A (zh) 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
CN114581646A (zh) 文本识别方法、装置、电子设备及存储介质
CN112614117A (zh) 设备区域提取模型训练方法、设备区域提取方法及装置
CN114842035A (zh) 基于深度学习的车牌脱敏方法、装置、设备及存储介质
CN115222737B (zh) 超晶板底漆检测方法、装置、电子设备及存储介质
CN111931558A (zh) 船舶类别识别方法及系统
CN110334818A (zh) 一种管路自动识别的方法及系统
CN110135523A (zh) 光谱重建模型的建立方法、系统、存储介质以及电子设备
CN113705567B (zh) 船舶裂纹检测方法、系统、设备及计算机可读存储介质
CN115457206A (zh) 三维模型生成方法、装置、设备及存储介质
CN114648686A (zh) 一种融合激光点云与rgb图像数据的逆光水面目标识别方法、系统及装置
CN113269761A (zh) 一种倒影检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant