CN111369550B - 图像配准与缺陷检测方法、模型、训练方法、装置及设备 - Google Patents

图像配准与缺陷检测方法、模型、训练方法、装置及设备 Download PDF

Info

Publication number
CN111369550B
CN111369550B CN202010168745.4A CN202010168745A CN111369550B CN 111369550 B CN111369550 B CN 111369550B CN 202010168745 A CN202010168745 A CN 202010168745A CN 111369550 B CN111369550 B CN 111369550B
Authority
CN
China
Prior art keywords
registration
picture
defect
feature map
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010168745.4A
Other languages
English (en)
Other versions
CN111369550A (zh
Inventor
黄家水
王忠强
唐永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Chengdu Technology Co ltd
Original Assignee
Innovation Qizhi Chengdu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi Chengdu Technology Co ltd filed Critical Innovation Qizhi Chengdu Technology Co ltd
Priority to CN202010168745.4A priority Critical patent/CN111369550B/zh
Publication of CN111369550A publication Critical patent/CN111369550A/zh
Application granted granted Critical
Publication of CN111369550B publication Critical patent/CN111369550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像配准与缺陷检测方法、模型、训练方法、装置及设备，通过将未进行缺陷标记的训练集图片输入图像配准与缺陷检测模型的编码器‑解码器网络中得到第一特征图，然后通过变换参数回归网络，得到配准参数；接着空间变换操作模块基于配准参数，对训练集图片和第一特征图进行空间变换，得到配准图片和配准特征图，将配准特征图输入语义分割网络，得到缺陷热力图。最后根据配准图片、缺陷热力图以及预设的基准图片计算网络损失，并进行反向传播更新参数。这样，即实现了无监督的机器学习，降低了缺陷检测的成本，拓宽了适用范围。此外，可以将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，还可在保持一致性的同时提高了准确度。

Description

图像配准与缺陷检测方法、模型、训练方法、装置及设备
技术领域
本申请涉及缺陷检测领域，具体而言，涉及一种图像配准与缺陷检测方法、模型、训练方法、装置及设备。
背景技术
在工业产品加工过程中，由于原材料、轧制设备和工艺等原因，使得生产出的工业产品往往不可避免会出现不同类型的缺陷，常见的缺陷包括划痕，气孔和夹杂物等，这些缺陷不仅影响产品的外观，还会降低产品的耐腐蚀性、耐磨性和疲劳强度等性能，给企业造成巨大的经济损失。如何在生产过程中自动检测出产品缺陷以控制和提高产品质量，是企业十分关注的问题。
目前，在工业产品缺陷检测的过程中，通常使用的是有监督的机器学习方法，即通过提供人工标注的准确分割结果的训练集图片训练得到一个缺陷检测模型，进而依据该缺陷检测模型进行缺陷检测。但是该方案，在训练缺陷检测模型时需要提供大量人力资源和时间资源来进行训练集图片的标注，极大地提高了实现产品缺陷检测的成本。
发明内容
本申请实施例的目的在于提供一种图像配准与缺陷检测方法、模型、训练方法、装置、设备及存储介质，用以解决目前的缺陷检测模型，需要提供大量人力资源和时间资源来进行训练集图片的标注，极大地提高了实现产品缺陷检测的成本的问题。
本申请实施例提供了一种图像配准与缺陷检测模型的训练方法，包括：
将未进行缺陷标记的训练集图片输入图像配准与缺陷检测模型的编码器-解码器网络中，以得到所述训练集图片的第一特征图；所述训练集图片中包括针对同一种对象拍摄得到的存在缺陷的图片和不存在缺陷的图片，且所述训练集图片为预设尺寸的灰度图片；将所述第一特征图输入所述图像配准与缺陷检测模型的变换参数回归网络，得到配准参数；所述图像配准与缺陷检测模型的空间变换操作模块基于所述配准参数，对所述训练集图片和所述第一特征图进行空间变换，得到所述训练集图片对应的配准图片和所述第一特征图对应的配准特征图；将所述配准特征图输入所述图像配准与缺陷检测模型的语义分割网络，得到所述配准特征图对应的缺陷热力图；根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失；所述基准图片为与所述训练集图片为同一种对象的不存在缺陷的灰度图片，且所述基准图片的尺寸与所述训练集图片的尺寸相同；根据所述网络损失的计算结果进行反向传播，更新所述图像配准与缺陷检测模型的参数。
在上述实现过程中，通过未进行缺陷标记的训练集图片即可实现对图像配准与缺陷检测模型的训练，通过编码器-解码器网络进行特征提取得到第一特征图，然后利用变换参数回归网络，得到配准参数，从而利用该配准参数即可得到各训练集图片配准图片以及各第一特征图对应的配准特征图。而基于配准特征图可以通过语义分割网络得到缺陷热力图，基于配准图片以及预设的基准图片即可确定出实际的缺陷位置，进而确定缺陷热力图的损失程度并进行反向传播，更新图像配准与缺陷检测模型的参数。这样，即实现了无监督的机器学习，工程师只需提供训练集图片，无需进行人工标注，因此节约了人力资源和时间资源，降低了实现产品缺陷检测的成本，拓宽了适用范围。此外，通过上述实现过程训练得到的图像配准与缺陷检测模型，可以在进行缺陷检测的同时，实现对于待检测图片的配准，这样，将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，同时二者可以互为参照，在保持一致性的同时提高了准确度。
进一步地，将所述第一特征图输入所述变换参数回归网络，得到配准参数，包括：通过所述变换参数回归网络的n个卷积与下采样层对所述第一特征图进行n次卷积与下采样操作，得到第二特征图；所述n个卷积与下采样层的通道数与所述第一特征图的通道数一致；所述n为大于等于1的正整数；将所述第二特征图依次通过第一全连接层和第二全连接层，得到所述配准参数；所述第二全连接层的大小等于所需的配准参数的个数。
在上述实现过程中，通过n个卷积与下采样层以及两个全连接层，可以有效得到配准所需参数，从而确保进行空间变换后得以得到相应的配准图片和配准特征图。
进一步地，所述语义分割网络包括：依次连接的k个卷积与下采样层，以及激活函数；所述k大于等于1；将所述配准特征图输入语义分割网络，得到所述配准特征图对应的缺陷热力图，包括：将所述配准特征图依次通过所述k个卷积与下采样层，得到第三特征图；使用所述激活函数对所述第三特征图进行处理，得到所述配准特征图对应的缺陷热力图。
在上述实现过程中，配准特征图依次通过k个卷积与下采样层后得到的第三特征图中，各尺度的特征信息得以汇集，使用激活函数进行处理后，即可得到表征缺陷情况的缺陷热力图。
进一步地，根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失，包括：按照下述损失函数计算网络损失：
Figure BDA0002407872900000031
式中：L(A,H,G)为根据所述配准图片、所述缺陷热力图以及预设的基准图片计算得到的网络损失；A表示配准图片、H表示缺陷热力图、G表示基准图片；p表示任一像素点，其在配准图片、缺陷热力图以及基准图片中的值表示为Ap、Hp与Gp；Png为缺陷热力图中热力值处于最高范围内的像素点集合；Pok为缺陷热力图中热力值处于最低范围内的像素点集合；|Pok|表示集合Pok中元素的个数，|Png|表示集合Png中元素的个数；λ为预设的权值。
在上述实现过程中，通过公式
Figure BDA0002407872900000041
Figure BDA0002407872900000042
来计算得到网络损失，可以可靠地预测当前图像配准与缺陷检测模型的可靠性，从而能够准确衡量出图像配准与缺陷检测模型是否足够用于进行缺陷检测。
进一步地，所述Png为缺陷热力图中热力值最高的x％的像素点构成的集合；Pok为缺陷热力图中热力值最低的y％的像素点构成的集合；所述x和y为大于0的常数。
在上述实现过程中，取缺陷热力图中热力值最高的x％的像素点以及缺陷热力图中热力值最低的y％的像素点来计算网络损失，可以在有效反映缺陷热力图中各像素点为缺陷点的准确度的同时，降低计算量，提高整个模型的训练效率。
本申请实施例还提供了一种图像配准与缺陷检测方法，应用于上述任一训练方法训练得到的图像配准与缺陷检测模型中，所述图像配准与缺陷检测方法包括：
接收待检测图片；所述图像配准与缺陷检测模型的输入编码器-解码器网络对所述待检测图片进行特征提取，得到所述待检测图片的第一特征图；将所述第一特征图输入所述图像配准与缺陷检测模型的变换参数回归网络，得到配准参数；所述图像配准与缺陷检测模型的空间变换操作模块使用所述配准参数，对所述待检测图片和所述第一特征图进行空间变换，得到所述待检测图片对应的配准图片和所述第一特征图对应的配准特征图；所述图像配准与缺陷检测模型的语义分割网络对所述配准特征图进行处理，得到所述配准特征图对应的缺陷热力图。
在上述实现过程中，可以在进行缺陷检测的同时，实现对于待检测图片的配准，将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，同时二者可以互为参照，在保持一致性的同时提高了准确度。
本申请实施例还提供了一种图像配准与缺陷检测模型，包括：
编码器-解码器网络，用于对待检测图片进行特征提取，得到所述待检测图片的第一特征图；变换参数回归网络，用于对所述第一特征图进行处理，得到配准参数；空间变换操作模块，用于使用所述配准参数，对所述待检测图片和所述第一特征图进行空间变换，得到所述待检测图片对应的配准图片和所述第一特征图对应的配准特征图；语义分割网络，用于对所述配准特征图进行处理，得到所述配准特征图对应的缺陷热力图。
上述图像配准与缺陷检测模型，可以在进行缺陷检测的同时，实现对于待检测图片的配准，将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，同时二者可以互为参照，在保持一致性的同时提高了准确度。
进一步地，所述变换参数回归网络包括：n个卷积与下采样层，用于对所述第一特征图进行n次卷积与下采样操作，得到第二特征图；所述n个卷积与下采样层的通道数与所述第一特征图的通道数一致；所述n为大于等于1的正整数；第一全连接层和第二全连接层，用于对所述第二特征图进行处理，得到所述配准参数；所述第二全连接层的大小等于所需的配准参数的个数。
进一步地，所述语义分割网络包括：依次连接的k个卷积与下采样层，用于对所述配准特征图进行卷积与下采样处理，得到第三特征图；所述k大于等于1；激活函数，用于对所述第三特征图进行处理，得到所述配准特征图对应的缺陷热力图。
本申请实施例还提供了一种图像配准与缺陷检测模型的训练装置，包括：
编码器-解码器网络模块，用于对未进行缺陷标记的训练集图片进行特征提取，得到所述训练集图片的第一特征图；所述训练集图片中包括针对同一种对象拍摄得到的存在缺陷的图片和不存在缺陷的图片，且所述训练集图片为预设尺寸的灰度图片；变换参数回归网络模块，用于对所述第一特征图进行处理，得到配准参数；空间变换操作模块模块，用于基于所述配准参数，对所述训练集图片和所述第一特征图进行空间变换，得到所述训练集图片对应的配准图片和所述第一特征图对应的配准特征图；语义分割网络模块，用于对所述配准特征图进行处理，得到所述配准特征图对应的缺陷热力图；损失函数模块，用于根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失；所述基准图片为与所述训练集图片为同一种对象的不存在缺陷的灰度图片，且所述基准图片的尺寸与所述训练集图片的尺寸相同；反向传播模块，用于根据所述网络损失的计算结果进行反向传播，更新前述各个模块的网络参数。
上述实现过程，实现了无监督的机器学习，工程师只需提供训练集图片，无需进行人工标注，因此节约了人力资源和时间资源，降低了实现产品缺陷检测的成本，拓宽了适用范围。此外，通过上述实现过程训练得到的图像配准与缺陷检测模型，可以在进行缺陷检测的同时，实现对于待检测图片的配准，这样，将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，同时二者可以互为参照，在保持一致性的同时提高了准确度。
本申请实施例还提供了一种电子设备，包括：图片采集接口、处理器、存储器及通信总线；所述图片采集接口用于获取训练集图片或待检测图片；所述通信总线用于实现所述图片采集接口、处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的一个或者多个程序，以实现上述任一种的图像配准与缺陷检测模型的训练方法，或实现上述的图像配准与缺陷检测方法。
本申请实施例中还提供了一种可读存储介质，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一种的图像配准与缺陷检测模型的训练方法，或实现上述的图像配准与缺陷检测方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像配准与缺陷检测模型的结构示意图；
图2为本申请实施例提供的一种编码器-解码器网络的结构示意图；
图3为本申请实施例提供的一种变换参数回归网络的结构示意图；
图4为本申请实施例提供的一种语义分割网络的结构示意图；
图5为本申请实施例提供的一种图像配准与缺陷检测模型的训练方法的流程示意图；
图6为本申请实施例提供的一种训练过程示意图；
图7为本申请实施例提供的一种编码器-解码器网络的处理过程的示意图；
图8为本申请实施例提供的一变换参数回归网络的处理过程的示意图；
图9为本申请实施例提供的一种语义分割过程的示意图；
图10为本申请实施例提供的一种图像配准与缺陷检测模型的训练装置的结构示意图；
图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
实施例一：
本申请实施例提供了一种图像配准与缺陷检测模型，参见图1所示，其包括编码器-解码器网络、变换参数回归网络、空间变换操作模块以及语义分割网络。其中：
编码器-解码器网络，用于对输入的图片进行特征提取，得到相应图片的第一特征图。
变换参数回归网络，用于对第一特征图进行处理，得到配准参数。
空间变换操作模块，用于使用配准参数，对输入的图片和第一特征图进行空间变换，得到输入的图片对应的配准图片和第一特征图对应的配准特征图。
语义分割网络，用于对配准特征图进行处理，得到配准特征图对应的缺陷热力图。
需要理解的是，缺陷热力图各像素点的值为0到1之间的值，反映各像素点处存在缺陷的概率，缺陷热力图中各像素点的值越靠近1，则表明该点位缺陷点的概率越大，缺陷热力图中各像素点的值越靠近0则表明该点位缺陷点的概率越小。此外，在显示时，不同数值显示出的颜色是不同，通常而言，各像素点的值越靠近0，则该像素点显示的颜色越接近于黑色，而各像素点的值越靠近0，则该像素点显示的颜色越接近于白色，因此通过缺陷热力图，工程师可以明确出哪些位置可能存在缺陷，从而实现缺陷检测。
在本申请实施例的一种可行实施方式中，编码器-解码器网络可以采用类似于U-Net网络的结构来实现，从而在进行特征提取时，能够保存每个尺度的特征信息，使得得到的第一特征图中能够包含所有尺度的信息，从而使得后续能更加准确地进行配准与缺陷检测的工作。
示例性的，可以参见图2所示，编码器-解码器网络包括两个64通道的卷积层、m个卷积与下采样层、m个卷积与上采样层、叠加层。其中：m为设定的正整数。
使用时，以m等于4为例，将1通道的图片(设图片的分辨率为X×X)通过一个64通道的卷积层；之后，通过4个卷积与下采样层来重复4次卷积与下采样操作，每次卷积的输出通道数为之前的两倍，每次下采样将特征图尺寸减半，最终生成X/16×X/16×1024的特征图；接着，通过一个卷积与上采样层来进行一次通道为512的卷积与一次上采样，得到X/8×X/8×512的特征图；然后，叠加层使用跳跃连接结构将X/8×X/8×512的特征图与之前对应分辨率的特征图叠加，再输入到下一个卷积与上采样层。叠加层会使用跳跃连接结构对每个卷积与上采样层输出的特征图与之前对应分辨率的特征图叠加，再输入到下一个卷积与上采样层，直至输入到最后一个卷积与上采样层为止。需要注意的是，各卷积与上采样层中，上一层的输入通道数为下一层的1/2；最后，将最后一个卷积与上采样层输出的特征图通过一个64通道的卷积层，得到第一特征图。这样，使得第一特征图中能够包含所有尺度的信息，从而使得后续能更加准确地进行配准与缺陷检测的工作。
需要说明的是，本申请实施例中所述的卷积与下采样层可以由一个卷积层与一个2×2的最大池化层构成，当然也可以由工程师根据实际需要设计为其余结构，只要能够实现卷积与下采样操作即可，本申请实施例中不做限定；类似的，每个卷积与上采样层可以由一个卷积层与一个双线性插值层(可实现双线性插值操作)构成，当然也可以由工程师根据实际需要设计为其余结构，只要能够实现卷积与上采样操作即可，本申请实施例中也不作限定。
在本申请实施例的一种可行实施方式中，可以参见图3所示，变换参数回归网络可以采用薄板样条变换模型，从而通过若干控制点对整幅图片进行变形。示例性的，变换参数回归网络可以包括：n个卷积与下采样层、第一全连接层和第二全连接层。使用时，将第一特征图通过n个卷积与下采样层，进行n次卷积与下采样操作，得到第二特征图；然后将第二特征图通过第一全连接层和第二全连接层，即得到配准参数。
需要注意的是，n为设定的大于等于1正整数，n个卷积与下采样层的通道数应当与编码器-解码器网络最终输出的第一特征图的通道数一致，以便于对第一特征图进行处理。
还需要注意的是，所需的配准参数的个数是与第一特征图的分辨率相关的，对于一个分辨率为X×X的图片，将其均匀划分为X/16×X/16的网格，因此共有(X/16+1)×(X/16+1)个控制点。由于需要为每个点计算二维坐标，因此一共需要计算((X/16+1)×(X/16+1))×2个参数。因此，第二全连接层的大小应当为((X/16+1)×(X/16+1))×2。
需要注意的是，变换参数回归网络是用于学习得到配准参数的网络，在学习到配准参数后，通过空间变换操作模块来执行空间变换操作即可实现相关配准操作。变换参数回归网络和空间变换操作模块合起来共同构成一个空间变换网络。
在本申请实施例的一种可行实施方式中，可以参见图4所示，语义分割网络可以包括依次连接的k个卷积与下采样层以及激活函数。使用时，可以将空间变换操作模块传来的对第一特征图进行配置后得到的配准特征图通过连接的k个卷积与下采样层得到第三特征图，然后使用激活函数对第三特征图进行处理，得到配准特征图对应的缺陷热力图。
需要注意的是，k为设定的大于等于1正整数，k个卷积与下采样层中的第一个卷积与下采样层的通道应当与配准特征图的通道数一致，而最后一个卷积与下采样层的通道数为1。示例性的，以配准特征图的通道数为64，k为3为例，可以设定依次连接的k个卷积与下采样层为通道数分别为64、32、1。
此外，在本申请实施例中，n、m、k的值可以由工程师根据实际需要进行设定。
此外，本申请实施例中卷积层可以采用3×3的卷积核，步长为1的卷积层来实现。当然，也可以根据实际需要采用其余规格的卷积层来实现，本申请实施例中不做限定。
需要说明的是，在本申请实施例中，要将上述模型运用到实际的缺陷检测过程中，需要先对模型进行训练，在训练完毕之后才能投入使用。在训练时，上述模型所处理的图片为训练集图片，而在使用时，所处理的图片即为待检测图片。
在本申请实施例中，可以通过无监督学习的方式可以训练得到上述图像配准与缺陷检测模型。在训练时，还需要用到损失函数并进行反向传播。训练过程可以参见图5所示，包括：
S501：将未进行缺陷标记的训练集图片输入图像配准与缺陷检测模型的编码器-解码器网络中，以得到训练集图片的第一特征图。
需要注意的是，训练集图片中包括针对同一种对象拍摄得到的存在缺陷的图片和不存在缺陷的图片，且训练集图片为预设尺寸的灰度图片。
还需要注意的是，本申请实施例中的训练集图片不需要进行缺陷标记，只需要确保针对同一种对象拍摄得到的图片得以处理为预设尺寸的灰度图片，以及训练集图片中包括有存在缺陷的图片和不存在缺陷的图片即可，因此节约了人力资源和时间资源，降低了实现产品缺陷检测的成本，拓宽了适用范围。
S502：将第一特征图输入图像配准与缺陷检测模型的变换参数回归网络，得到配准参数。
在变换参数回归网络的结构为图3所示的结构时，可以通过变换参数回归网络的n个卷积与下采样层对第一特征图进行n次卷积与下采样操作，得到第二特征图；然后将第二特征图依次通过第一全连接层和第二全连接层，即可得到配准参数。
S503：图像配准与缺陷检测模型的空间变换操作模块基于配准参数，对训练集图片和第一特征图进行空间变换，得到训练集图片对应的配准图片和第一特征图对应的配准特征图。
在本申请实施例中，空间变换操作模块可以根据变换参数回归网络得到的配准参数，使用薄板样条插值算法对训练集图片和第一特征图进行变换，得到对齐后的配准图片与对齐后的配准特征图。
S504：将配准特征图输入图像配准与缺陷检测模型的语义分割网络，得到配准特征图对应的缺陷热力图。
在语义分割网络的结构为图4所示的结构时，可以将配准特征图依次通过k个卷积与下采样层，得到第三特征图，进而使用激活函数(如sigmoid激活函数等)对第三特征图进行处理，即可得到配准特征图对应的缺陷热力图。
S505：根据配准图片、缺陷热力图以及预设的基准图片计算网络损失。
在本申请实施例中，基准图片为与训练集图片为同一对象的不存在缺陷的灰度图片，且基准图片的尺寸与训练集图片的尺寸相同。事实上，在本申请实施例中，可以在收集训练集图片时，从训练集图片中取出一张不存在缺陷的图片作为基准图片。
在本申请实施例的一种可行实施方式中，可以按照下述损失函数计算网络损失：
Figure BDA0002407872900000121
式中：L(A,H,G)为根据配准图片、缺陷热力图以及预设的基准图片计算得到的网络损失；A表示配准图片、H表示缺陷热力图、G表示基准图片；p表示任一像素点，其在配准图片、缺陷热力图以及基准图片中的值表示为Ap、Hp与Gp；Png为缺陷热力图中热力值处于最高范围内的像素点集合；Pok为缺陷热力图中热力值处于最低范围内的像素点集合；|Pok|表示集合Pok中元素的个数，|Png|表示集合Png中元素的个数；λ为预设的权值。
还需要说明的是，
Figure BDA0002407872900000131
表征按照求和符号后的公式计算所有p∈Pok时的值的和；类似的，
Figure BDA0002407872900000132
表征按照求和符号后的公式计算所有p∈Png时的值的和。示例性的，设Png中仅包含1和2两个值，那么
Figure BDA0002407872900000133
即为：(1-H1)+(1-H2)。
应当理解的是，基于配准图片以及预设的基准图片即可确定出实际的缺陷位置，上述损失函数基于得到的缺陷热力图，结合配准图片以及预设的基准图片之间的差值，所计算得到损失值可以有效反映出缺陷热力图所反映的缺陷与实际存在的缺陷相比的接近程度，从而有效衡量出当前图像配准与缺陷检测模型的可靠度。
还应当理解的是，前述损失函数中，λ的值可以由工程师根据实际需要进行设定，通常建议设定为大于1的常数，例如可以设定为5。
还应当理解的是，前述损失函数中，Png可以为缺陷热力图中热力值最高的x％的像素点构成的集合；Pok可以为缺陷热力图中热力值最低的y％的像素点构成的集合(x和y为大于0的常数)，从而在确保损失函数可以有效反映缺陷热力图中各像素点为缺陷点的准确度的同时，降低计算量，提高整个模型的训练效率。示例性的，Png可以为缺陷热力图中热力值最高的10％的像素点构成的集合；Pok可以为缺陷热力图中热力值最低的60％的像素点构成的集合。
值得注意的是，本申请实施例中的损失函数还可以采用其余能够基于配准图片以及预设的基准图片确定出实际的缺陷位置，并与缺陷热力图结合体现出缺陷热力图所反映的缺陷与实际存在的缺陷相比的接近程度的损失函数。例如，可以采用损失函数：
Figure BDA0002407872900000141
Figure BDA0002407872900000142
式中|Ap-Gp|表征Ap-Gp的绝对值，式中其余字符表征的内容与之前的损失函数一致，在此不再赘述。
S506：根据网络损失的计算结果进行反向传播，更新图像配准与缺陷检测模型的参数。
在本申请实施例中，若计算出的网络损失小于预设阈值，或者计算出的网络损失收敛，那么可以认为图像配准与缺陷检测模型训练成功。
需要注意的是，步骤S505和S506是训练过程中才存在的，在实际使用图像配准与缺陷检测模型进行缺陷检测的过程中，可以不进行网络损失的计算以及参数的更新。
在实际使用图像配准与缺陷检测模型进行缺陷检测时，可以对待检测的对象进行拍摄，并将拍摄得到的图片处理为预设尺寸的灰度图片(即待检测图片)，然后输入到训练好的图像配准与缺陷检测模型中。此时图像配准与缺陷检测模型即首先通过编码器-解码器网络对待检测图片进行特征提取，得到待检测图片的第一特征图；然后由变换参数回归网络对第一特征图进行处理，得到配准参数；接着空间变换操作模块使用该配准参数，即可对待检测图片和第一特征图进行空间变换，得到待检测图片对应的配准图片(此时即实现了对待检测图片的配准)和第一特征图对应的配准特征图；最后由语义分割网络对配准特征图进行处理，得到配准特征图对应的缺陷热力图。工程师根据该缺陷热力图即可确定出待检测的对象哪些位置可能存在缺陷。
通过本申请实施例所提供的图像配准与缺陷检测模型以及图像配准与缺陷检测模型的训练方法，实现了无监督的机器学习，工程师只需提供训练集图片，无需进行人工标注，因此节约了人力资源和时间资源，降低了实现产品缺陷检测的成本，拓宽了适用范围。此外，通过上述实现过程训练得到的图像配准与缺陷检测模型，可以在进行缺陷检测的同时，可以实现对于待检测图片的配准，这样，将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，同时二者可以互为参照，在保持一致性的同时提高了准确度。
实施例二：
基于实施例一的描述，本实施例以一种较具体的图像配准与缺陷检测模型的训练以及使用过程为例，对本申请实施例的方案做进一步示例说明。
本申请实施例中，训练过程可以参见图6所示。整个训练过程包括：
1、数据准备。收集一些同一产品在同一拍摄条件下拍摄的照片，并将它们缩放为512×512×1的灰度图片。存在缺陷的照片与不存在缺陷的照片都需要收集，并在无缺陷的照片中选择一张作为基准图片；对于除基准图片外的所有图片，执行以下操作2-7。
2、将每幅图片输入编码器-解码器网络，以生成供后续网络使用的第一特征图。
可以参见图7所示，首先，将1通道的训练图片通过64通道的卷积层；之后，重复4次卷积与下采样操作，每次卷积的输出通道数为之前的两倍，每次下采样将特征图尺寸减半，最终生成32×32×1024的特征图；接着，进行一次通道为512的卷积与一次上采样，得到64×64×512的特征图；然后，重复4次使用跳跃连接结构将特征图与之前对应分辨率的特征图叠加，进行输出通道数为输入通道数1/2的卷积与上采样操作；最后，通过一层64通道的卷积层，得到第一特征图。
3、通过变换参数回归网络计算用于配准的变换参数(即配准参数)。
在本申请实施例中，采用薄板样条变换模型作为变换参数回归网络，该薄板样条变换模型使用若干控制点对整幅图片进行变形。在本申请实施例中，对于512×512的图像，将其均匀划分为32×32的网格，因此共有33×33＝1089个控制点。由于需要为每个点计算二维坐标，因此一共需要计算1089×2＝2178个参数。如图8所示，首先对输入的第一特征图进行3次卷积与下采样操作，卷积与下采样操作中所涉及到的所有卷积层保持通道数不变；之后通过2层大小分别为8192与2178的全连接层，即得到所需的配准参数。
4、根据步骤3得到的配准参数(即控制点)，使用薄板样条插值算法对输入的训练图片与编码器-解码器网络输出的第一特征图进行空间变换，得到对齐后的配准图片与对齐后的配准特征图。
5、将对齐后的配准特征图输入语义分割网络，以生成缺陷热力图。
如图9所示，先将配准特征图通过输出通道分别为64、32、1的卷积层，最后使用sigmoid激活函数，即可得到1通道的缺陷热力图。缺陷热力图中每个像素的值在0到1之间，表示了该像素点为缺陷的可能性。
6、使用对齐后的配准图片A、缺陷热力图H与基准图片G计算网络损失。
配准图片A、缺陷热力图H与基准图片G的每个像素一一对应，设它们的所有像素的集合为P，任一像素p∈P在配准图片、缺陷热力图、基准图片中的值表示为Ap、Hp与Gp。将P中热力值最高的10％像素划分为集合Png，将热力值最低的60％像素划分为集合Ppk。损失函数如下：
Figure BDA0002407872900000161
其中|Pok|表示集合Pok中元素的个数，|Png|表示集合Png中元素的个数，λ＝5为损失项的权值。
7、对整个网络进行反向传播，以更新网络参数。
应当理解的是，在使用训练好的图像配准与缺陷检测模型进行缺陷检测时，所执行的步骤仅为前述步骤2-5，在得到配准图片与缺陷热力图后即可停止。且需要注意的是，在使用训练好的图像配准与缺陷检测模型进行缺陷检测时，输入的图片不再是收集的训练图片，而是针对待检测产品所拍摄，并处理为512×512×1灰度图片的待检测图片。
通过上述实现过程，工程师只需提供训练集图片，无需进行人工标注，因此节约了人力资源和时间资源，降低了实现产品缺陷检测的成本，拓宽了适用范围。
此外，本申请实施例使用了类似U-Net的编码器-解码器网络结构，该结构使用跳跃连接保存了每个尺度的特征信息，使得第一特征图中包含了所有尺度的信息，因此能加准确地进行配准与缺陷检测的工作。
此外，通过上述实现过程训练得到的图像配准与缺陷检测模型，可以在进行缺陷检测的同时，可以实现对于待检测图片的配准，这样，将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，同时二者可以互为参照，在保持一致性的同时提高了准确度。
实施例三：
基于同一发明构思，本申请实施例中还提供了一种图像配准与缺陷检测模型的训练装置。请参阅图10所示，图10示出了与图5所示的方法对应的训练装置100。应理解，训练装置100具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。训练装置100包括至少一个能以软件或固件的形式存储于存储器中或固化在训练装置100的操作系统中的软件功能模块。具体地：
参见图10所示，训练装置100包括：
编码器-解码器网络模块101，用于对未进行缺陷标记的训练集图片进行特征提取，得到训练集图片的第一特征图；训练集图片中包括针对同一种对象拍摄得到的存在缺陷的图片和不存在缺陷的图片，且训练集图片为预设尺寸的灰度图片；
变换参数回归网络模块102，用于对第一特征图进行处理，得到配准参数；
空间变换操作模块103，用于基于配准参数，对训练集图片和第一特征图进行空间变换，得到训练集图片对应的配准图片和第一特征图对应的配准特征图；
语义分割网络模块104，用于对配准特征图进行处理，得到配准特征图对应的缺陷热力图；
损失函数模块105，用于根据配准图片、缺陷热力图以及预设的基准图片计算网络损失；基准图片为与训练集图片为同一种对象的不存在缺陷的灰度图片，且基准图片的尺寸与训练集图片的尺寸相同；
反向传播模块106，用于根据网络损失的计算结果进行反向传播，更新前述各个模块的网络参数。
在本申请实施例的一种可行实施方式中，变换参数回归网络模块102具体用于通过变换参数回归网络模块102的n个卷积与下采样层对第一特征图进行n次卷积与下采样操作，得到第二特征图；n个卷积与下采样层的通道数与第一特征图的通道数一致；n为大于等于1的正整数；将第二特征图依次通过第一全连接层和第二全连接层，得到配准参数；第二全连接层的大小等于所需的配准参数的个数。
在本申请实施例的一种可行实施方式中，语义分割网络模块104包括依次连接的k个卷积与下采样层，以及激活函数。语义分割网络模块104具体用于将配准特征图依次通过k个卷积与下采样层，得到第三特征图；使用激活函数对第三特征图进行处理，得到配准特征图对应的缺陷热力图。
在本申请实施例的一种可行实施方式中，损失函数模块105具体用于按照下述损失函数计算网络损失：
Figure BDA0002407872900000181
式中：L(A,H,G)为根据配准图片、缺陷热力图以及预设的基准图片计算得到的网络损失；A表示配准图片、H表示缺陷热力图、G表示基准图片；p表示任一像素点，其在配准图片、缺陷热力图以及基准图片中的值表示为Ap、Hp与Gp；Png为缺陷热力图中热力值处于最高范围内的像素点集合；Pok为缺陷热力图中热力值处于最低范围内的像素点集合；|Ppk|表示集合Pok中元素的个数，|Png|表示集合Png中元素的个数；λ为预设的权值。
在上述可行实施方式中，Png为缺陷热力图中热力值最高的x％的像素点构成的集合；Pok为缺陷热力图中热力值最低的y％的像素点构成的集合；x和y为大于0的常数。
需要理解的是，出于描述简洁的考量，部分实施例一中描述过的内容在本实施例中不再赘述。
实施例四：
本实施例提供了一种电子设备，参见图11所示，其包括图片采集接口1101、处理器1102、存储器1103以及通信总线1104。其中：
图片采集接口1101用于获取训练集图片或待检测图片。
通信总线1104用于实现图片采集接口1101、处理器1102和存储器1103之间的连接通信。
处理器1102用于执行存储器1103中存储的一个或多个程序，以实现上述实施例一或实施例二中图像配准与缺陷检测模型的训练方法，或实现实施例一或实施例二中所述的使用图像配准与缺陷检测模型进行配准与缺陷检测的过程。
可以理解，图11所示的结构仅为示意，电子设备还可包括比图11中所示更多或者更少的组件，或者具有与图11所示不同的配置，例如还可以具有通信接口、显示屏等部件。
本实施例还提供了一种可读存储介质，如软盘、光盘、硬盘、闪存、U盘、SD(SecureDigital Memory Card，安全数码卡)卡、MMC(Multimedia Card，多媒体卡)卡等，在该可读存储介质中存储有实现上述各个步骤的一个或者多个程序，这一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例一或实施例二中图像配准与缺陷检测模型的训练方法，或实现实施例一或实施例二中所述的使用图像配准与缺陷检测模型进行配准与缺陷检测的过程。在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
在本文中，多个是指两个或两个以上。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种图像配准与缺陷检测模型的训练方法，其特征在于，包括：
将未进行缺陷标记的训练集图片输入图像配准与缺陷检测模型的编码器-解码器网络中，以得到所述训练集图片的第一特征图；所述训练集图片中包括针对同一种对象拍摄得到的存在缺陷的图片和不存在缺陷的图片，且所述训练集图片为预设尺寸的灰度图片；
将所述第一特征图输入所述图像配准与缺陷检测模型的变换参数回归网络，得到配准参数；
所述图像配准与缺陷检测模型的空间变换操作模块基于所述配准参数，对所述训练集图片和所述第一特征图进行空间变换，得到所述训练集图片对应的配准图片和所述第一特征图对应的配准特征图；
将所述配准特征图输入所述图像配准与缺陷检测模型的语义分割网络，得到所述配准特征图对应的缺陷热力图；
根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失；所述基准图片为与所述训练集图片为同一种对象的不存在缺陷的灰度图片，且所述基准图片的尺寸与所述训练集图片的尺寸相同；
根据所述网络损失的计算结果进行反向传播，更新所述图像配准与缺陷检测模型的参数；
根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失，包括：
按照下述损失函数计算网络损失：
Figure FDA0003808507610000021
式中：L(A,H,G)为根据所述配准图片、所述缺陷热力图以及预设的基准图片计算得到的网络损失；A表示配准图片、H表示缺陷热力图、G表示基准图片；p表示任一像素点，其在配准图片、缺陷热力图以及基准图片中的值表示为Ap、Hp与Gp；Png为缺陷热力图中热力值处于最高范围内的像素点集合；Pok为缺陷热力图中热力值处于最低范围内的像素点集合；|Pok|表示集合Pok中元素的个数，|Png|表示集合Png中元素的个数；λ为预设的权值。
2.如权利要求1所述的图像配准与缺陷检测模型的训练方法，其特征在于，将所述第一特征图输入所述变换参数回归网络，得到配准参数，包括：
通过所述变换参数回归网络的n个卷积与下采样层对所述第一特征图进行n次卷积与下采样操作，得到第二特征图；所述n个卷积与下采样层的通道数与所述第一特征图的通道数一致；所述n为大于等于1的正整数；
将所述第二特征图依次通过第一全连接层和第二全连接层，得到所述配准参数；所述第二全连接层的大小等于所需的配准参数的个数。
3.如权利要求1所述的图像配准与缺陷检测模型的训练方法，其特征在于，所述语义分割网络包括：依次连接的k个卷积与下采样层，以及激活函数；所述k大于等于1；
将所述配准特征图输入语义分割网络，得到所述配准特征图对应的缺陷热力图，包括：
将所述配准特征图依次通过所述k个卷积与下采样层，得到第三特征图；
使用所述激活函数对所述第三特征图进行处理，得到所述配准特征图对应的缺陷热力图。
4.如权利要求1所述的图像配准与缺陷检测模型的训练方法，其特征在于，所述Png为缺陷热力图中热力值最高的x％的像素点构成的集合；Pok为缺陷热力图中热力值最低的y％的像素点构成的集合；所述x和y为大于0的常数。
5.一种图像配准与缺陷检测方法，其特征在于，应用于如权利要求1-4任一项所述的方法训练得到的图像配准与缺陷检测模型中，所述图像配准与缺陷检测方法包括：
接收待检测图片；
所述图像配准与缺陷检测模型的输入编码器-解码器网络对所述待检测图片进行特征提取，得到所述待检测图片的第一特征图；
将所述第一特征图输入所述图像配准与缺陷检测模型的变换参数回归网络，得到配准参数；
所述图像配准与缺陷检测模型的空间变换操作模块使用所述配准参数，对所述待检测图片和所述第一特征图进行空间变换，得到所述待检测图片对应的配准图片和所述第一特征图对应的配准特征图；
所述图像配准与缺陷检测模型的语义分割网络对所述配准特征图进行处理，得到所述配准特征图对应的缺陷热力图。
6.一种图像配准与缺陷检测模型的训练装置，其特征在于，包括：
编码器-解码器网络模块，用于对未进行缺陷标记的训练集图片进行特征提取，得到所述训练集图片的第一特征图；所述训练集图片中包括针对同一种对象拍摄得到的存在缺陷的图片和不存在缺陷的图片，且所述训练集图片为预设尺寸的灰度图片；
变换参数回归网络模块，用于对所述第一特征图进行处理，得到配准参数；
空间变换操作模块，用于基于所述配准参数，对所述训练集图片和所述第一特征图进行空间变换，得到所述训练集图片对应的配准图片和所述第一特征图对应的配准特征图；
语义分割网络模块，用于对所述配准特征图进行处理，得到所述配准特征图对应的缺陷热力图；
损失函数模块，用于根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失；所述基准图片为与所述训练集图片为同一种对象的不存在缺陷的灰度图片，且所述基准图片的尺寸与所述训练集图片的尺寸相同；
反向传播模块，用于根据所述网络损失的计算结果进行反向传播，更新前述各个模块的网络参数；
所述损失函数模块具体用于：
按照下述损失函数计算网络损失：
Figure FDA0003808507610000041
式中：L(A,H,G)为根据所述配准图片、所述缺陷热力图以及预设的基准图片计算得到的网络损失；A表示配准图片、H表示缺陷热力图、G表示基准图片；p表示任一像素点，其在配准图片、缺陷热力图以及基准图片中的值表示为Ap、Hp与Gp；Png为缺陷热力图中热力值处于最高范围内的像素点集合；Pok为缺陷热力图中热力值处于最低范围内的像素点集合；|Pok|表示集合Pok中元素的个数，|Png|表示集合Png中元素的个数；λ为预设的权值。
7.一种电子设备，其特征在于，包括：图片采集接口、处理器、存储器及通信总线；
所述图片采集接口用于获取训练集图片或待检测图片；
所述通信总线用于实现所述图片采集接口、处理器和存储器之间的连接通信；
所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1-4中任一项所述的图像配准与缺陷检测模型的训练方法，或实现利要求5所述的图像配准与缺陷检测方法。
8.一种可读存储介质，其特征在于，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-4中任一项所述的图像配准与缺陷检测模型的训练方法，或实现利要求5所述的图像配准与缺陷检测方法。
CN202010168745.4A 2020-03-11 2020-03-11 图像配准与缺陷检测方法、模型、训练方法、装置及设备 Active CN111369550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010168745.4A CN111369550B (zh) 2020-03-11 2020-03-11 图像配准与缺陷检测方法、模型、训练方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010168745.4A CN111369550B (zh) 2020-03-11 2020-03-11 图像配准与缺陷检测方法、模型、训练方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111369550A CN111369550A (zh) 2020-07-03
CN111369550B true CN111369550B (zh) 2022-09-30

Family

ID=71211223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010168745.4A Active CN111369550B (zh) 2020-03-11 2020-03-11 图像配准与缺陷检测方法、模型、训练方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111369550B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723651A (zh) * 2020-12-22 2022-07-08 东方晶源微电子科技（北京）有限公司 缺陷检测模型训练方法和缺陷检测方法及装置和设备
CN112598718B (zh) * 2020-12-31 2022-07-12 北京深睿博联科技有限责任公司 一种无监督多视角多模态智能眼镜图像配准方法及装置
CN113160289B (zh) * 2021-03-31 2022-02-01 哈尔滨工业大学（深圳） 一种基于深度学习的工业印刷品图像配准方法及装置
CN113239930B (zh) * 2021-05-14 2024-04-05 广州广电运通金融电子股份有限公司 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN113689383B (zh) * 2021-07-27 2024-04-16 南京旭锐软件科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113469299B (zh) * 2021-09-06 2021-12-07 常州微亿智造科技有限公司 工业检测中的缺陷检测方法、缺陷检测装置
CN114529779B (zh) * 2021-12-31 2023-04-07 扬州市恒泰人防设备有限公司 一种人防门锈蚀状态检测系统及方法
CN114235759B (zh) * 2022-02-25 2022-06-14 季华实验室 缺陷检测方法、装置、设备及计算机可读存储介质
CN116503694B (zh) * 2023-06-28 2023-12-08 宁德时代新能源科技股份有限公司 模型训练方法、图像分割方法、装置和计算机设备
CN116758080A (zh) * 2023-08-18 2023-09-15 江苏森标科技有限公司 一种太阳能电池片丝网印刷缺陷检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018072326A1 (zh) * 2016-10-21 2018-04-26 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
CN109829891A (zh) * 2019-01-02 2019-05-31 浙江大学 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110766681A (zh) * 2019-10-28 2020-02-07 福建帝视信息科技有限公司 一种基于三重损失网络的竹条表面缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018072326A1 (zh) * 2016-10-21 2018-04-26 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
CN109829891A (zh) * 2019-01-02 2019-05-31 浙江大学 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110766681A (zh) * 2019-10-28 2020-02-07 福建帝视信息科技有限公司 一种基于三重损失网络的竹条表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的电路缺陷识别方法;何俊杰等;《福建电脑》;20180225(第02期);全文 *

Also Published As

Publication number Publication date
CN111369550A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111369550B (zh) 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN108664981B (zh) 显著图像提取方法及装置
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN109191424B (zh) 一种乳腺肿块检测与分类系统、计算机可读存储介质
CN111680690B (zh) 一种文字识别方法及装置
CN109685765B (zh) 一种基于卷积神经网络的x光片肺炎结果预测装置
CN107506792B (zh) 一种半监督的显著对象检测方法
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN112070137B (zh) 训练数据集的生成方法、目标对象检测方法及相关设备
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN111652297B (zh) 用于图像检测模型训练的故障图片生成方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN114581646A (zh) 文本识别方法、装置、电子设备及存储介质
WO2021105871A1 (en) An automatic 3d image reconstruction process from real-world 2d images
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN114067273A (zh) 一种夜间机场航站楼热成像显著人体分割检测方法
WO2021179822A1 (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN111563462A (zh) 图像元素的检测方法及装置
CN112699898B (zh) 一种基于多层特征融合的图像方向识别方法
CN115619678A (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN117593610B (zh) 图像识别网络训练及部署、识别方法、装置、设备及介质
JP7414540B2 (ja) 確率取得装置及び確率取得方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant