CN114581456B - 一种多图像分割模型的构建方法、图像检测方法及装置 - Google Patents

一种多图像分割模型的构建方法、图像检测方法及装置 Download PDF

Info

Publication number
CN114581456B
CN114581456B CN202210495980.1A CN202210495980A CN114581456B CN 114581456 B CN114581456 B CN 114581456B CN 202210495980 A CN202210495980 A CN 202210495980A CN 114581456 B CN114581456 B CN 114581456B
Authority
CN
China
Prior art keywords
feature
layer
image
fusion
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210495980.1A
Other languages
English (en)
Other versions
CN114581456A (zh
Inventor
曾利宏
杨洋
李杰明
翟爱亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co ltd filed Critical Shenzhen Huahan Weiye Technology Co ltd
Priority to CN202210495980.1A priority Critical patent/CN114581456B/zh
Publication of CN114581456A publication Critical patent/CN114581456A/zh
Application granted granted Critical
Publication of CN114581456B publication Critical patent/CN114581456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种多图像分割模型的构建方法、图像检测方法及装置。其中的构建方法包括：获取一组样本图像并分别输入到预设的分割网络；利用特征提取层对各个样本图像分别进行特征提取，得到不同网络层次的初始图像特征；利用特征融合层将不同网络层次的初始图像特征进行特征融合，得到高维图像特征；利用特征选择层对高维图像特征进行特征选择，得到低维图像特征；将低维图像特征结合分割网络对应的损失函数，通过迭代更新分割网络的网络参数以进行模型训练，直至损失函数收敛时得到多图像分割模型。技术方案对组内样本图像抽取特征并进行粗细融合，能够极大程度地保留图像中缺陷的位置信息，从而利用构建的图像分割模型对待检测图像进行精准分割。

Description

一种多图像分割模型的构建方法、图像检测方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种多图像分割模型的构建方法、图像检测方法及装置。
背景技术
在工业表面质量分析中，对于关键制造工艺节点以及产品形状各异、外形特征复杂、部件多层交织、表面曲度多样、表面折光反光等多样化的质检环境，利用基于视觉的工业缺陷智能检测技术，可以实现小样本、弱监督、背景多变等复杂条件下的表面缺陷精准检测，是实现工业提效降本的关键环节和技术。
在利用单一角度和光照强度对物体进行成像时，物体表面的部分区域可能无法显现或者没有全部呈现，无法成像区域是不能借助机器视觉技术自动化地检测工业生产中的产品缺陷，而采用人工进行现场检验则会导致费时费力的情况。因此，工业相机以光源多角度、多强度对物体拍摄，可以将工业生产的产品所具有的缺陷很好地成像出来，此时就可以利用相应技术高效率地检测产品缺陷。为适应于这一应用场景，多图像异常分割技术则应用而生。
目前基于机器视觉的多图像缺陷检测系统大多是基于模板（标准产品）特征对比的方法，该方法首先通过人工选取标准产品并进行多图像成像，然后分别计算这组成像的每一幅图像与待检测图像的对应的图像的特征相似性，根据相似度的大小不同检测出缺陷，最后综合这组图像的所有检测结果进而最终确定待检测物体的表面缺陷，以及表面缺陷所处的像素位置。基于模板特征匹配的检测方法需要标准产品的多图像成像，容易受噪声影响；而且，待检测物体成像的像素位置需较好地对齐标准图像，这就对物体成像所需的条件提出了较为苛刻的要求，会降低技术的应用范围，也会增加生产厂商的使用成本，并且需要大量的调参工作才能确定合适的检测阈值，也提高了使用者的技术门槛。此外，较小的表面缺陷与标准图像对应的特征之间具有较高的相似度，在保证缺陷检测率的同时，会导致误判率过高的情况发生，随着所需成像的光照角度、强度变化的增多，算法复杂性大幅提升，检测时间也随之增加，这种情况下会导致检测系统不能很好地满足工业生产的时限要求。
发明内容
本申请主要解决的技术问题是：如何提升多图像异常分割中的缺陷检测性能。为解决上述技术问题，本申请提供一种多图像分割模型的构建方法、图像检测方法及装置。
根据第一方面，一种实施例中提供一种多图像分割模型的构建方法，包括：获取一组样本图像并分别输入到预设的分割网络；所述分割网络具有特征提取层、特征融合层和特征选择层；利用所述特征提取层对各个所述样本图像分别进行特征提取，得到不同网络层次的初始图像特征；利用所述特征融合层将所述不同网络层次的初始图像特征进行特征融合，得到高维图像特征；利用所述特征选择层对所述高维图像特征进行特征选择，得到低维图像特征；将所述低维图像特征结合所述分割网络对应的损失函数，通过迭代更新所述分割网络的网络参数以进行模型训练，直至所述损失函数收敛时得到多图像分割模型。
所述利用所述特征提取层对各个所述样本图像分别进行特征提取，得到不同网络层次的初始图像特征，包括：将各个所述样本图像分别输入到所述特征提取层；在所述特征提取层内对输入的每个所述样本图像进行卷积、池化、全连接的多层处理，获得每层处理后的至少一个特征图；对所述特征图进行ReLU的激活处理以去除其中的负面特征；根据激活处理后留下的特征图形成不同网络层次的初始图像特征，且用公式表示为
α i,j = f j (X i )；
其中，X i 表示同一个组内的第i个样本图像，f j ( )表示第j层的特征提取处理，α i,j 表示第i个样本图像在第j层特征提取处理后的初始图像特征。
所述利用所述特征融合层将所述不同网络层次的初始图像特征进行特征融合，得到高维图像特征，包括：将所述不同网络层次的初始图像特征均输入到所述特征融合层；所述特征融合层包括特征粗融合层和特征细融合层；在所述特征粗融合层内，对各个所述样本图像分别对应的相同层次的初始图像特征进行同层的粗融合，得到不同网络层次的第一融合特征；其中，第j层对应的第一融合特征表示为β j ；在所述特征细融合层内，从最高层次开始，将每个层次的第一融合特征进行上采样后和低一个层次的第一融合特征进行特征相加，通过逐层递归融合每一层次的第一融合特征以进行跨层的细融合，得到不同网络层次的第二融合特征；其中，第j层对应的第二融合特征表示为γ j ；依据不同网络层次的第二融合特征形成所述高维图像特征。
在所述特征粗融合层内，对各个所述样本图像分别对应的相同层次的初始图像特征进行同层的粗融合，得到不同网络层次的第一融合特征，包括：将各个所述样本图像分别对应的相同层次的初始图像特征形成为第一特征组；在所述第一特征组的通道上以进行通道权重估计的处理，包括：对所述第一特征组内的每个初始图像特征分别进行全局平均池化和全局最大池化以得到两个特征向量，对这两个特征向量分别进行多层卷积处理和ReLU所组成网络层的学习处理，处理结果相加后被执行激活操作以得到最终通道参数，利用最终通道参数与所述第一特征组内的每个初始图像特征进行乘法操作，利用乘法操作后的特征图构建第二特征组；在所述第二特征组的空间上以进行空间权重估计的处理，包括：对所述第二特征组内的每个特征图分别进行通道级全局平均池化和全局最大池化，将两次的池化结果在对应的通道上进行合并操作，对合并操作的结果依次进行多层卷积处理和ReLU所组成网络层的学习处理，得到分辨率相一致的空间注意力特征图，利用空间注意力特征图与所述第二特征组中的每个特征图进行乘法操作，利用乘法操作后的特征图构建第三特征组；对所述第三特征组中的每个特征图在通道上进行特征相加处理，以及通过数据的批标准化处理以标准化每一层次的图像特征，对批标准化处理后图像特征进行卷积处理以统一特征维度，得到对应的第一融合特征；通过获取各个层次分别对应的第一融合特征得到不同网络层次的第一融合特征。
所述利用所述特征选择层对所述高维图像特征进行特征选择，得到低维图像特征，包括：将所述高维图像特征输入到所述特征选择层；在所述特征选择层内对所述高维图像特征进行卷积处理，通过降低图像维度并上采样特征图像至所述样本图像的大小，以得到低维图像特征；其中，第j层对应的低维图像特征表示为φ j 。
所述将所述低维图像特征结合所述分割网络对应的损失函数，通过迭代更新所述分割网络的网络参数以进行模型训练，包括：获取各个所述样本图像分别在第j层对应的低维图像特征，形成一组输出特征图且表示为F j (X)；将F j (X)参与到第一计算以得到第一函数结果，所述第一函数结果用公式表示为
Figure 329067DEST_PATH_IMAGE001
；
其中，n表示所述样本图像的数目，c表示类别，y c 表示标签，w c 表示类别权重且w c =(N—N c )/N，N为所述样本图像中的总像素数，N c 为类别为c的像素个数；将F j (X)参与到第二计算以得到第二函数结果，所述第二函数结果用公式表示为
Figure DEST_PATH_IMAGE002
；
其中，y表示标签图像；对所述第一函数结果和所述第二函数结果进行加权求和后构成所述分割网络对应的损失函数，所述分割网络对应的损失函数用公式表示为L= w 1 L 1+ w 2 L 2；其中，w 1和w 2均为预设的网络权重；通过所述分割网络对输入的各个所述样本图像的特征学习，对所述分割网络的网络参数进行迭代更新；在所述分割网络对应的损失函数达到收敛时，将训练完成的分割网络作为所述多图像分割模型。
在对所述分割网络的网络参数进行迭代更新的过程包括初始更新阶段和稳定更新阶段；获取所述分割网络对应的损失函数的函数值；在所述函数值大于预设阈值时进入所述初始更新阶段；在所述初始更新阶段中，冻结所述特征提取层的网络参数，仅更新所述特征融合层和所述特征选择层的网络参数；在所述函数值小于或等于预设阈值时进入所述稳定更新阶段；在所述稳定更新阶段中，解封所述特征提取层，同时更新所述特征提取层、所述特征融合层和所述特征选择层的网络参数。
根据第二方面，一种实施例中提供一种图像检测方法，包括：获取同一物体的多个待检测图像；所述多个待检测图像分别是所述物体的表面在不同光照角度和光照强度下的成像；将所述多个待检测图像输入至上述第一方面中依据所述的构建方法得到的多图像分割模型中，处理得到所述物体的表面的图像分割结果；根据所述图像分割结果确定所述物体的表面缺陷的位置和/或类型。
所述多图像分割模型对所述多个待检测图像的处理过程包括：对各个所述待检测图像分别进行特征提取，得到不同网络层次的第一图像特征；对各个所述待检测图像分别对应的相同层次的第一图像特征进行同层的粗融合，得到不同网络层次的第二图像特征；将每个层次对应的第二图像特征进行上采样后和低一个层次的第二图像特征进行特征相加，通过逐层递归融合每一层次的第二图像特征进行跨层的细融合，得到不同网络层次的第三图像特征；对所述第三图像特征进行特征选择，得到第四图像特征；所述第四图像特征用于形成所述物体的表面的图像分割结果。
根据第三方面，一种实施例中提供一种图像检测装置，包括：相机，用于通过取像得到物体的多个待检测图像；所述多个待检测图像分别是所述物体的表面在不同光照角度和光照强度下的成像；处理器，与所述相机连接，用于通过上述第二方面中所述的图像检测方法对所述多个待检测图像进行处理，得到所述物体的表面缺陷的位置和/或类型；显示器，与所述处理器连接，用于对所述物体的表面缺陷的位置和/或类型进行显示。
根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述第一方面中所述的构建方法，和上述第二方面中所述的图像检测方法。
本申请的有益效果是：
依据上述实施例的一种多图像分割模型的构建方法、图像检测方法及装置。其中的构建方法包括：获取一组样本图像并分别输入到预设的分割网络；利用特征提取层对各个样本图像分别进行特征提取，得到不同网络层次的初始图像特征；利用特征融合层将不同网络层次的初始图像特征进行特征融合，得到高维图像特征；利用特征选择层对高维图像特征进行特征选择，得到低维图像特征；将低维图像特征结合分割网络对应的损失函数，通过迭代更新分割网络的网络参数以进行模型训练，直至损失函数收敛时得到多图像分割模型。第一，技术方案对组内样本图像抽取特征并进行粗细融合，能够极大程度地保留图像中缺陷的位置信息，从而利用构建的图像分割模型对待检测图像进行精准分割；第二，技术方案通过将提取到的不同网络层次的特征进行跨层融合，可以更有效地捕获重要特征，不仅提升了图像检测算法的检测性能，还便于检测多尺度、多类别的缺陷；第三，技术方案采用深度学习的端到端技术，让训练、推理皆可一键自动完成，无需繁琐的参数调试步骤，如此拓宽了技术的应用场景，也大大提高了技术人员使用的便捷性。
附图说明
图1为本申请一种实施例中多图像分割模型的构建方法的流程图；
图2为图像特征融合处理的流程图；
图3为迭代更新网络参数的流程图；
图4为分割网络的结构示意图；
图5为分割网络的处理过程原理图之一；
图6为分割网络的处理过程原理图之二；
图7为特征提取过程的原理图；
图8为通道权重估计处理的原理图；
图9为空间权重估计处理的原理图；
图10为本申请一种实施例中图像检测方法的流程图；
图11为利用多图像分割模型对多个待检测图像进行处理的流程图；
图12为多图像分割模型的结构图；
图13为图像分割结果的示意图；
图14为本申请一种实施例中图像检测装置的结构图；
图15为本申请另一种实施例中图像检测装置的结构图。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
很多时候工业品的表面精确成像质量检测的关键，通常需要配合多个角度的光源或者多个相机组合成像，这就需要对同一物体的不同角度或者不同亮度获得的图像进行分析和处理。本申请为提升多图像异常分割中的缺陷检测性能，是将多个图像抽象为一组图像集合，最终输出一个分割结果。其中的多图像分割是一种用于检测工业产品在光照的不同角度和强度之下，成像的一组图像中所呈现的所有缺陷的机器视觉缺陷定位方法，在图像异常定位等领域有广泛且重要的应用；比如，生产厂商需要依赖产品缺陷的精确像素位置去指导相应产品的生产过程，从而提升产品质量。多图像异常分割技术不仅可以对组内所有图像的缺陷进行分割，并判断是否为异常，还可以给出缺陷所处的精确位置信息。
本申请的目的是解决同一物体在不同光照角度和强度成像的一组图像中，将分布于各张图像的缺陷协同分割的技术难题。基本思路是采用深度学习的思路进行分割网络的设计，首先通过特征提取器抽取组内图像的不同阶段的对应特征，设置多层网络层将相应特征完成初步的粗融合，然后执行下一步的特征细融合操作，再将所得到的高维特征映射成为低维特征，最后经过分类器对特征做出相应的判断。
下面将结合是一些实施例对本申请的技术方案进行详细说明。
实施例一、
请参考图1，本实施例中提供一种多图像分割模型的构建方法，主要包括步骤110-150，下面分别说明。
步骤110，获取一组样本图像并分别输入到预设的分割网络。这里的一组样本图像可以是同一物体在不同光照角度和强度成像条件下的一组图像，且每个样本图像中的异常特征（即物体表面缺陷区域的成像特征）的位置和类型已经被标注。比如，一组样本图像用X表示，具体包括X 1、X 2、X 3、X 4、… X i 等多个样本图像。
在一个具体实施例中，图4中展示了分割网络2的具体结构，其具有多层的网络架构，具体包括特征提取层21、特征融合层22和特征选择层23，其中各个网络层分别承担不同的图像数据处理任务。
步骤120，利用特征提取层21对各个样本图像分别进行特征提取，得到不同网络层次的初始图像特征。
比如图4，各个样本图像X 1、X 2、X 3、X 4分别输入到特征提取层21，由于特征提取层21具有多个网络层次的卷积、池化等处理环节，所以每个样本图像每经过一个网络层次就会得到对应尺度的图像特征，那么，每个样本图像经过多个网络层次的特征提取之后就会得到不同网络层次的初始图像特征。这里的初始图像特征可以是指颜色特征、纹理特征、形状特征或空间关系特征。
步骤130，利用特征融合层22将不同网络层次的初始图像特征进行特征融合，得到高维图像特征。
步骤140，利用特征选择层23对高维图像特征进行特征选择，得到低维图像特征。
步骤150，将低维图像特征结合分割网络2对应的损失函数，通过迭代更新分割网络2的网络参数以进行模型训练，直至损失函数收敛时得到多图像分割模型。参见图4，对于特征选择层23输出的低维图像特征，可以使用迭代更新模块24将低维图像特征输入到分割网络2对应的损失函数中，通过迭代计算来实现网络参数的更新。
在本实施例中，利用特征提取层21对各个样本图像分别进行特征提取的过程可参见图4和图7。
（1）将各个样本图像X={X 1、X 2、X 3、X 4}分别输入到特征提取层21，在特征提取层21内对输入的每个样本图像（如X i ）进行卷积、池化、全连接的多层处理，获得每层处理后的至少一个特征图。
（2）对每个特征图进行ReLU的激活处理以去除其中的负面特征。这里的ReLU是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。可以理解，去除每个特征图中负面特征的目的是消除负面特征对后续特征融合处理的影响。
（3）根据激活处理后留下的特征图形成不同网络层次的初始图像特征，且用公式表示为
α i,j = f j (X i )；
其中，X i 表示同一个组内的第i个样本图像，f j ( )表示第j层的特征提取处理，α i,j 表示第i个样本图像在第j层特征提取处理后的初始图像特征。
需要说明的是，特征提取层21可以采用图5中的CNN结构，即卷积神经网络的整体结构，比如常规的预训练网络的特征提取层。CNN结构可包括卷积层、降采样层、全链接层，每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。
在本实施例中，参见图2，上述的步骤130主要涉及图像特征的融合过程，具体可以包括步骤131-134，分别说明如下。
步骤131，将不同网络层次的初始图像特征均输入到图4中的特征融合层22。让特征融合层22中包括的特征粗融合层221先进行同层的特征粗融合处理，再让特征融合层22中包括的特征细融合层222进行跨层的特征细融合处理。
步骤132，在特征粗融合层221内，对各个样本图像分别对应的相同层次的初始图像特征进行同层的粗融合，得到不同网络层次的第一融合特征。其中，第j层对应的第一融合特征表示为β j 。
需要说明的是，特征粗融合层221可使用图5中的“SE+CA+Add+BN”的处理方式，其中的SE是指通道权重处理机制，CA是指空间权重处理机制，Add是指特征的加法处理，BN是指批标准化的处理方式。
在一个具体实施例中，对各个样本图像分别对应的相同层次的初始图像特征进行同层的粗融合时，同层粗融合处理的过程可描述如下。
（1）将组内各个样本图像分别对应的相同层次的初始图像特征形成为第一特征组。比如，每个层次对应的初始图像特征在组内batch_size（批量大小）的维度上执行concat操作（即合并数组以连接两个以上数组），从而形成为一组特征图并用第一特征组表示。可以理解，第一特征组内的各个初始图像特征具有相同的像素尺寸大小。
（2）在第一特征组的通道上以进行通道权重估计的处理，具体可以参见图8。首先，对第一特征组内的每个初始图像特征分别进行全局平均池化和全局最大池化以得到两个特征向量；然后，对这两个特征向量分别进行多层卷积处理和ReLU所组成网络层的学习处理（比如采用卷积+ReLU+卷积的处理方式），处理结果相加后被执行激活操作（比如处理结果执行Add的加法处理和Sigmoid的激活处理），如此可得到最终通道参数，该最终通道参数用于通过权重来表征最终通道的重要性。接下来，利用最终通道参数与第一特征组内的每个初始图像特征进行乘法操作（即Mul的乘法处理），利用乘法操作后的特征图构建第二特征组。其中，Sigmoid是经常被用作神经网络的激活函数，其变量往往映射到0至1之间。
（3）在第二特征组的空间上以进行空间权重估计的处理，具体可以参见图9。首先，对第二特征组内的每个特征图分别进行通道级全局平均池化和全局最大池化，将两次的池化结果在对应的通道上进行合并操作（比如Merg的处理方式）；然后，对合并操作的结果依次进行多层卷积处理和ReLU所组成网络层的学习处理（比如采用卷积+ReLU+卷积的处理方式），得到分辨率相一致的空间注意力特征图；接下来，利用空间注意力特征图与第二特征组中的每个特征图进行乘法操作（比如Mul的处理方式），利用乘法操作后的特征图构建第三特征组。
（4）对第三特征组中的每个特征图在通道上进行特征相加处理（比如执行Add的处理方式），以及通过数据的批标准化处理（比如采用Batch Normalization，简称BN，即批标准化的处理方式，目的是具有统一规格的数据并让机器学习更容易学习到数据之中的规律），从而标准化每一层次的图像特征，目的是避免图像特征发生偏移。然后，对批标准化处理后图像特征进行卷积处理（比如1×1的卷积操作）以统一特征维度，得到对应的第一融合特征。
（5）通过获取组内各个层次分别对应的第一融合特征，从而得到不同网络层次的第一融合特征，并将第j层对应的第一融合特征表示为β j 。
需要说明的是，在前述的同层粗融合处理的过程中，在通道上、空间上分别进行特征的权重估计处理，由此可加强特征图在通道、空间上的充分有效融合。
需要说明的是，特征粗融合层221的结构可以具体参考图6。如果将芯片表面为主的四个样本图像（用X表示）分别输入到特征提取层21，将特征提取层21输出的不同网络层次的初始图像特征（用α i,j 表示）输入到特征粗融合层221，在特征粗融合层221内经过SE、CA、Add、BN、Conv等一系列处理之后即可得到不同网络层次的第一融合特征，且分别表示为β 0、β 1、β 2、β 3。步骤133，在特征细融合层222内，从最高层次开始，将每个层次的第一融合特征进行上采样后和低一个层次的第一融合特征进行特征相加，通过逐层递归融合每一层次的第一融合特征以进行跨层的细融合，得到不同网络层次的第二融合特征。其中，第j层对应的第二融合特征可表示为γ j 。
需要说明的是，特征细融合层222可使用图5中的“Upsample+Add”的处理方式，其中的Upsample是指上采样处理，Add是指特征的加法处理。具体地，可从最高层的第一融合特征Feature map开始，经过Upsample的上采样2倍处理后与次高层次的第一融合特征之间进行Add的加法处理，这就得到次高层对应的第二融合特征，即γ 2。以此类推，不断地逐层融合各层特征，完成之后每一层都输出融合后的第二融合特征γ j 。
步骤134，依据不同网络层次的第二融合特征形成高维图像特征。
需要说明的是，特征细融合层222的结构可以具体参见图6。由特征粗融合层221输出的不同网络层次的第一融合特征（用β 0、β 1、β 2、β 3表示）被输入到特征细融合层222，在特征细融合层222内经过Up-sample、Add等一系列处理之后即可得到不同网络层次的第二融合特征，且分别表示为γ 0、γ 1、γ 2、γ 3。
在本实施例中，上述的步骤140主要涉及图像特征的选择过程，具体可是通过卷积处理的方式对高维图像特征进行特征选择，从而得到低维图像特征，该过程可具体描述为：
（1）将高维图像特征输入到图4中的特征选择层23。特征选择层23可使用图5中的“1×1Conv”的处理方式，其中的1×1Conv表示1×1的卷积处理。
（2）在特征选择层23内，对高维图像特征进行卷积处理，由于1×1Conv可实现卷积降维操作，所以通过降低图像维度并上采样特征图像至样本图像的大小，就可得到低维图像特征。其中，第j层对应的低维图像特征表示为φ j 。
需要说明的是，特征选择层23的结构可以具体参见图6。由特征细融合层222输出的不同网络层次的第二融合特征（用γ 0、γ 1、γ 2、γ 3表示）被输入到特征选择层23，在特征选择层23内经过1×1Conv等一系列处理之后即可得到不同层对应的低维图像特征，且分别表示为φ 0、φ 1、φ 2、φ 3。
在本实施例中，参见图3，上述的步骤140主要涉及迭代更新网络参数的过程，具体可以包括步骤151-154，分别说明如下。
步骤151，获取各个样本图像分别在第j层对应的低维图像特征，形成一组输出特征图且表示为F j (X)。
步骤152，将输出特征图F j (X)输入到分割网络对应的损失函数。
比如，将F j (X)参与到第一计算以得到第一函数结果，该第一函数结果用公式表示为
Figure 666114DEST_PATH_IMAGE003
；
其中，n表示一组样本图像中样本图像的数目，c表示类别，y c 表示标签，w c 表示类别权重且w c =(N—N c )/N，N为样本图像中的总像素数，N c 为类别为c的像素个数。
然后，将F j (X)参与到第二计算以得到第二函数结果，该第二函数结果用公式表示为
Figure 117956DEST_PATH_IMAGE002
；
其中，y表示标签图像。
接着，对第一函数结果L 1和第二函数结果L 2进行加权求和后构成图4中分割网络2对应的损失函数，该分割网络2对应的损失函数用公式表示为
L= w 1 L 1+ w 2 L 2；
其中，w 1和w 2均为预设的网络权重，可由用户根据实际需要而自主设定。
步骤153，通过分割网络2对输入的各个样本图像的特征学习，对分割网络的网络参数进行迭代更新。比如图4，在迭代更新模块24利用分割网络2的损失函数进行迭代计算的过程，如果损失函数L还未达到收敛，则就让特征提取层21、特征粗融合层221、特征细融合层222和特征选择层23均进行网络参数的更新。
步骤154，在分割网络2对应的损失函数达到收敛时，表示完成网络训练，则将训练完成的分割网络2作为多图像分割模型。
需要说明的是，在前述的方案中，是将同一物体的组内样本图像X 1、X 2、X 3、X 4、…X i （i>=2）分别输入进网络的特征提取层CNN，获得组内各张样本图像不同阶段的初始图像特征α i,j = f j (X i )。然后，对组内样本图像的每一层次对应初始图像特征使用权重估计机制执行通道和空间的粗融合操作并统一维度，获得不同网络层次的第一融合特征β j ，接着，将不同网络层次的第一融合特征β j 进行跨层细融合，之后将细融合完成的第二融合特征γ j 经过特征映射h后降维成低维特征φ j =h（β j ）。最后，就可以结合本申请中针对分割网络而所设计的损失函数进行训练，从而训练完成后得到多图像分割模型。该多图像分割模型用于在推理应用时直接输出分割图，完成多图像缺陷分割的任务。
在本实施例中，在对分割网络2的网络参数进行迭代更新的过程包括初始更新阶段和稳定更新阶段。在迭代更新过程中，可以获取分割网络2对应的损失函数L的函数值；在一种情况下，在判断函数值大于预设阈值时进入初始更新阶段；那么在初始更新阶段中，冻结特征提取层21的网络参数，仅更新特征融合层22（包括特征粗融合层221和特征细融合层222）和特征选择层23的网络参数。在另一种情况下，在函数值小于或等于预设阈值时进入稳定更新阶段；那么在稳定更新阶段中，解封特征提取层21，同时更新特征提取层21、特征融合层22和特征选择层23的网络参数。
需要说明的是，对于图4中的特征提取层21，可在初始更新阶段中参数加载预训练权重，从而在整体网络训练的前期参数保持冻结状态，不参与分割网络2的训练和参数的更新，分割网络2后续部分训练状态趋于稳定，即进入稳定更新阶段之后，特征提取层21开始解封，训练时参数正常更新。这样可使得分割网络2的训练调至最优，直至收敛。
本领域的技术人员可以理解，本实施例中的技术方案是对组内样本图像抽取特征并进行粗细融合，如此能够极大程度地保留图像中缺陷的位置信息，从而利用构建的图像分割模型对待检测图像进行精准分割。此外，本实施例中的技术方案通过将提取到的不同网络层次的特征进行跨层融合，可以更有效地捕获重要特征，不仅提升了图像检测算法的检测性能，还便于检测多尺度、多类别的缺陷。
实施例二、
在实施例一中公开的多图像分割模型的构建方法的基础上，本实施例是借助了多图像分割模型进行多个待检测图像的表面缺陷检测应用。
请参考图10，本实施例中公开一种图像检测方法，其主要包括步骤310-330，下面分别说明。
步骤310，获取同一物体的多个待检测图像。这里的多个待检测图像分别是该物体的表面在不同光照角度和光照强度下的成像。
需要说明的是，由于物体的表面往往存在灰尘、瑕疵、白点、划痕、污垢等缺陷，那么，在某个光照下拍摄获物体表面的图像时，该些缺陷将在对应的异常连续背景图案上进行展示或呈现。而且，可以使用CCD相机、CMOS相机，或者其它摄像机来完成待检测图像的获取工作。
步骤320，将多个待检测图像输入至一个多图像分割模型中，从而处理得到物体的表面的图像分割结果。这里的多图像分割模型可以是实施例一中使用公开的构建方法得到的多图像分割模型，多图像分割模型的结构可以具体参考图12，其包括特征提取层21、特征粗融合层221、特征细融合层222和特征选择层23。
步骤330，根据图像分割结果确定物体的表面缺陷的位置和/或类型。
在本实施例中，参见图11，上述的步骤320主要涉及多图像分割模型的图像处理过程，具体可以包括步骤321-325，分别说明如下。
步骤321，对各个待检测图像分别进行特征提取，得到不同网络层次的第一图像特征。
参见图12，可用Y 1、Y 2、Y 3、Y 4表示各个待检测图像，将各个待检测图像输入到特征提取层21，在特征提取层21内对输入的每个待检测图像进行卷积、池化、全连接的多层处理，获得每层处理后的至少一个特征图；然后，对每个特征图进行ReLU的激活处理以去除其中的负面特征，目的是消除负面特征对后续特征融合处理的影响；之后，根据激活处理后留下的特征图形成不同网络层次的第一图像特征。需要说明的是，对于特征提取的处理过程可以参考实施例一中关于特征提取层21的功能介绍。
步骤322，对各个待检测图像分别对应的相同层次的第一图像特征进行同层的粗融合，得到不同网络层次的第二图像特征。
参见图12，将各个待检测图像分别对应的相同层次的第一图像特征输入到特征粗融合层221内，使各个待检测图像分别对应的相同层次的第一图像特征形成为第一特征组，在第一特征组的通道上进行通道权重估计的处理后得到第二特征组，在第二特征组的空间上以进行空间权重估计的处理后得到第三特征组，对第三特征组中的每个特征图在通道上进行特征相加处理，以及通过数据的批标准化处理以标准化每一层次的图像特征，之后，对批标准化处理后图像特征进行卷积处理以统一特征维度，得到对应的第一融合特征；那么，通过获取各个层次分别对应的第一融合特征得到不同网络层次的第二图像特征。需要说明的是，对于同层粗融合的处理过程可以参考实施例一中关于特征粗融合层221的功能介绍。
步骤323，将每个层次对应的第二图像特征进行上采样后和低一个层次的第二图像特征进行特征相加，通过逐层递归融合每一层次的第二图像特征进行跨层的细融合，得到不同网络层次的第三图像特征。
参见图12，将每个层次对应的第二图像特征输入到特征细融合层222，通过特征细融合层222的处理即可得到对应层次的第三图像特征。需要说明的是，对于跨层细融合的处理过程可以参考实施例一中关于特征细融合层222的功能介绍。
步骤324，对第三图像特征进行特征选择，得到第四图像特征。
参见图12，将不同网络层次对应的第三图像特征输入到图12中的特征选择层23，特征选择层23可使用1×1的卷积处理对第三图像特征进行卷积降维操作，通过降低图像维度并上采样特征图像至待检测图像的大小，就可得到第四图像特征。需要说明的是，对于特征选择的处理过程可以参考实施例一中关于特征选择层23的功能介绍。
步骤325，由特征选择层23输出的第四图像特征即可用于形成物体的表面的图像分割结果。在图像分割结果中会对物体表面的缺陷（异常区域）进行显示。
需要说明的是，在得到物体的表面的图像分割结果之后，可利用图12中的分割模块25来实现图像中缺陷特征的进一步分割，从而确定物体表面的异常区域的详细信息。由于多图像分割模型会输出表面缺陷的像素位置信息和类型置信度，所以分割模块25就能够顺利确定物体的表面缺陷的位置和/或类型。
比如图13，将不同光照强度下获得的四个待检测图像分别输入到训练完成的多图像分割模型中，可得到Q1所示的图像分割结果，其中的白色图像块儿即为物体表面的缺陷成像，这样就可以准确地分割出缺陷特征。
本领域的技术人员可以理解，本实施例中的技术方案是使用深度学习技术，对组内多个待检测图像自动完成特征提取、融合、选择的操作，利用训练好的多图像分割模型推理物体表面的缺陷特征，解决了多图像异常分割的问题，利于提升工业品的检测质量，降低使用人员的技术要求，同时极大地提高了设备的部署效率。而且，本实施例中的技术方案通过特征提取层分别提取组内各待检测图像的不同网络层次的相应特征，获得网络浅层的低级特征表示和网络深层的高级特征表示，并进行粗融合和细融合，如此既可以保留物体表面缺陷所处的位置信息，又能获取特征的抽象语义信息，最终分割出大小不同、尺度不一的异常缺陷，提高了多图像分割模型对不同尺度缺陷的检测能力，实现了对物体缺陷的精准定位和类型判断。此外，本实施例中的技术方案通过多图像分割模型，以端到端的方式进行待检测图像的多层处理，无需手工设置阈值就可以同时检测多种类别的缺陷，从而满足工业检测要求，特别适宜对划痕、白点、变形、缺损等情形的缺陷检测。
实施例三、
在实施例二中公开的图像检测方法的基础上，本实施例中公开一种使用了图像检测方法的图像检测装置。
请参考图14，本实施例中公开一种图像检测装置，其主要包括相机41、处理器42和显示器43，下面分别说明。
相机41用于通过取像得到物体的多个待检测图像。这里的多个待检测图像分别是物体的表面在不同光照角度和光照强度下的成像，而且，可以使用CCD相机、CMOS相机或者其它摄像机来完成待检测图像的获取工作。
处理器42与相机41连接，用于实施例二中的图像检测方法对多个待检测图像进行处理，得到物体的表面缺陷的位置和/或类型。可以理解，处理器42的处理过程可以参考图10中的步骤310-330，这里不再详细说明。
显示器43与处理器42连接，用于对物体的表面缺陷的位置和/或类型进行显示。可以理解，通过显示器43来显示物体的表面缺陷的位置、类型等信息时，可让用户及时了解到物体的表面缺陷情况，从而对物体进行质量监管。
本领域的技术人员可以理解，利用实施例三时，存在以下技术优势：（1）通过深度学习技术构建的多图像分割模型可自动提取并融合待检测图像的相应特征，不需要传统图像处理中的模板图像，物体的成像位置也无需严格对齐，不仅减轻了生产厂商的设备投入，而且扩展了技术的应用场景和使用范围。（2）该方案可降低用户的技术门槛，用户只需对相应样本图像给出一些标签，通过分割网络的训练即可快速应用到待检测图像的使用场景中，不用进行繁琐的调参工作。（3）技术方案中通过设置的图像特征粗细两阶段融合方式，可让多图像分割模型应对不同尺度和多种类型的缺陷检测场景，提升检测水平的同时也降低了误检率。（4）本方案是以端到端的方式直接给出待检测图像的缺陷判断结果和相应的精确位置信息，融合阶段已完成组内所有待检测图像的特征整合，不需要使用组内待检测图像的单独结果，具有推理速度快、推理结果准确的应用优势。
实施例四、
在实施例二中公开的图像检测方法的基础上，本实施例中公开一种图像检测装置，该图像检测装置5包括存储器51和处理器52。
在本实施例中，存储器51和处理器52是图像检测装置5的主要部件，当然图像检测装置还可以包括一些与处理器52连接的检测组件和执行组件，具体可参考上面的实施例三，这里不再详细说明。
其中，存储器51可作为计算机可读存储介质，这里用于存储程序，该程序可以是实施例一中构建方法对应的程序代码，也可以是实施例二中图像检测方法对应的程序代码。
其中，处理器52与存储器51连接，用于执行存储器51中存储的程序以实现上面实施例一中公开的构建方法，还可以实现上面实施二中公开的图像检测方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本申请进行阐述，只是用于帮助理解本申请技术方案，并不用以限制本申请。对于所属技术领域的技术人员，依据本申请的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种多图像分割模型的构建方法，其特征在于，包括：
获取一组样本图像并分别输入到预设的分割网络；所述分割网络具有特征提取层、特征融合层和特征选择层；
利用所述特征提取层对各个所述样本图像分别进行特征提取，得到不同网络层次的初始图像特征；
利用所述特征融合层将所述不同网络层次的初始图像特征进行特征融合，得到高维图像特征；
利用所述特征选择层对所述高维图像特征进行特征选择，得到低维图像特征；
将所述低维图像特征结合所述分割网络对应的损失函数，通过迭代更新所述分割网络的网络参数以进行模型训练，直至所述损失函数收敛时得到多图像分割模型；
其中，所述利用所述特征融合层将所述不同网络层次的初始图像特征进行特征融合，得到高维图像特征，包括：
将所述不同网络层次的初始图像特征均输入到所述特征融合层；所述特征融合层包括特征粗融合层和特征细融合层；
在所述特征粗融合层内，对各个所述样本图像分别对应的相同层次的初始图像特征进行同层的粗融合，得到不同网络层次的第一融合特征；其中，第j层对应的第一融合特征表示为
β j ；
在所述特征细融合层内，从最高层次开始，将每个层次的第一融合特征进行上采样后和低一个层次的第一融合特征进行特征相加，通过逐层递归融合每一层次的第一融合特征以进行跨层的细融合，得到不同网络层次的第二融合特征；其中，第j层对应的第二融合特征表示为γ j ；
依据不同网络层次的第二融合特征形成所述高维图像特征。
2.如权利要求1所述的构建方法，其特征在于，所述利用所述特征提取层对各个所述样本图像分别进行特征提取，得到不同网络层次的初始图像特征，包括：
将各个所述样本图像分别输入到所述特征提取层；
在所述特征提取层内对输入的每个所述样本图像进行卷积、池化、全连接的多层处理，获得每层处理后的至少一个特征图；
对所述特征图进行ReLU的激活处理以去除其中的负面特征；
根据激活处理后留下的特征图形成不同网络层次的初始图像特征，且用公式表示为
α i,j = f j (X i )；
其中，X i 表示同一个组内的第i个样本图像，f j ( )表示第j层的特征提取处理，α i,j 表示第i个样本图像在第j层特征提取处理后的初始图像特征。
3.如权利要求1所述的构建方法，其特征在于，在所述特征粗融合层内，对各个所述样本图像分别对应的相同层次的初始图像特征进行同层的粗融合，得到不同网络层次的第一融合特征，包括：
将各个所述样本图像分别对应的相同层次的初始图像特征形成为第一特征组；
在所述第一特征组的通道上以进行通道权重估计的处理，包括：对所述第一特征组内的每个初始图像特征分别进行全局平均池化和全局最大池化以得到两个特征向量，对这两个特征向量分别进行多层卷积处理和ReLU所组成网络层的学习处理，处理结果相加后被执行激活操作以得到最终通道参数，利用最终通道参数与所述第一特征组内的每个初始图像特征进行乘法操作，利用乘法操作后的特征图构建第二特征组；
在所述第二特征组的空间上以进行空间权重估计的处理，包括：对所述第二特征组内的每个特征图分别进行通道级全局平均池化和全局最大池化，将两次的池化结果在对应的通道上进行合并操作，对合并操作的结果依次进行多层卷积处理和ReLU所组成网络层的学习处理，得到分辨率相一致的空间注意力特征图，利用空间注意力特征图与所述第二特征组中的每个特征图进行乘法操作，利用乘法操作后的特征图构建第三特征组；
对所述第三特征组中的每个特征图在通道上进行特征相加处理，以及通过数据的批标准化处理以标准化每一层次的图像特征，对批标准化处理后图像特征进行卷积处理以统一特征维度，得到对应的第一融合特征；
通过获取各个层次分别对应的第一融合特征，得到不同网络层次的第一融合特征。
4.如权利要求1所述的构建方法，其特征在于，所述利用所述特征选择层对所述高维图像特征进行特征选择，得到低维图像特征，包括：
将所述高维图像特征输入到所述特征选择层；
在所述特征选择层内对所述高维图像特征进行卷积处理，通过降低图像维度并上采样特征图像至所述样本图像的大小，以得到低维图像特征；其中，第j层对应的低维图像特征表示为φ j 。
5.如权利要求1-4中任一项所述的构建方法，其特征在于，所述将所述低维图像特征结合所述分割网络对应的损失函数，通过迭代更新所述分割网络的网络参数以进行模型训练，包括：
获取各个所述样本图像分别在第j层对应的低维图像特征，形成一组输出特征图且表示为F j (X)；
将F j (X)参与到第一计算以得到第一函数结果，所述第一函数结果用公式表示为
Figure 792714DEST_PATH_IMAGE001
；
其中，n表示所述样本图像的数目，c表示类别，y c 表示标签，w c 表示类别权重且w c =(N—N c )/N，N为所述样本图像中的总像素数，N c 为类别为c的像素个数；
将F j (X)参与到第二计算以得到第二函数结果，所述第二函数结果用公式表示为
Figure 984661DEST_PATH_IMAGE002
；
其中，y表示标签图像；
对所述第一函数结果和所述第二函数结果进行加权求和后构成所述分割网络对应的损失函数，所述分割网络对应的损失函数用公式表示为
L= w 1 L 1+ w 2 L 2；
其中，w 1和w 2均为预设的网络权重；
通过所述分割网络对输入的各个所述样本图像的特征学习，对所述分割网络的网络参数进行迭代更新；
在所述分割网络对应的损失函数达到收敛时，将训练完成的分割网络作为所述多图像分割模型。
6.如权利要求5中所述的构建方法，其特征在于，在对所述分割网络的网络参数进行迭代更新的过程包括初始更新阶段和稳定更新阶段；
获取所述分割网络对应的损失函数的函数值；
在所述函数值大于预设阈值时进入所述初始更新阶段；在所述初始更新阶段中，冻结所述特征提取层的网络参数，仅更新所述特征融合层和所述特征选择层的网络参数；
在所述函数值小于或等于预设阈值时进入所述稳定更新阶段；在所述稳定更新阶段中，解封所述特征提取层，同时更新所述特征提取层、所述特征融合层和所述特征选择层的网络参数。
7.一种图像检测方法，其特征在于，包括：
获取同一物体的多个待检测图像；所述多个待检测图像分别是所述物体的表面在不同光照角度和光照强度下的成像；
将所述多个待检测图像输入至所述权利要求1至6中依据任一项所述的构建方法得到的多图像分割模型中，处理得到所述物体的表面的图像分割结果；
根据所述图像分割结果确定所述物体的表面缺陷的位置和/或类型。
8.如权利要求7所述的图像检测方法，其特征在于，所述多图像分割模型对所述多个待检测图像的处理过程包括：
对各个所述待检测图像分别进行特征提取，得到不同网络层次的第一图像特征；
对各个所述待检测图像分别对应的相同层次的第一图像特征进行同层的粗融合，得到不同网络层次的第二图像特征；
将每个层次对应的第二图像特征进行上采样后和低一个层次的第二图像特征进行特征相加，通过逐层递归融合每一层次的第二图像特征进行跨层的细融合，得到不同网络层次的第三图像特征；
对所述第三图像特征进行特征选择，得到第四图像特征；所述第四图像特征用于形成所述物体的表面的图像分割结果。
9.一种图像检测装置，其特征在于，包括：
相机，用于通过取像得到物体的多个待检测图像；所述多个待检测图像分别是所述物体的表面在不同光照角度和光照强度下的成像；
处理器，与所述相机连接，用于通过权利要求7或8中所述的图像检测方法对所述多个待检测图像进行处理，得到所述物体的表面缺陷的位置和/或类型；
显示器，与所述处理器连接，用于对所述物体的表面缺陷的位置和/或类型进行显示。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-6中任一项所述的构建方法，和权利要求7-8中任一项所述的图像检测方法。
CN202210495980.1A 2022-05-09 2022-05-09 一种多图像分割模型的构建方法、图像检测方法及装置 Active CN114581456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210495980.1A CN114581456B (zh) 2022-05-09 2022-05-09 一种多图像分割模型的构建方法、图像检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210495980.1A CN114581456B (zh) 2022-05-09 2022-05-09 一种多图像分割模型的构建方法、图像检测方法及装置

Publications (2)

Publication Number Publication Date
CN114581456A CN114581456A (zh) 2022-06-03
CN114581456B true CN114581456B (zh) 2022-10-14

Family

ID=81769227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210495980.1A Active CN114581456B (zh) 2022-05-09 2022-05-09 一种多图像分割模型的构建方法、图像检测方法及装置

Country Status (1)

Country Link
CN (1) CN114581456B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631205B (zh) * 2022-12-01 2023-03-21 阿里巴巴（中国）有限公司 图像分割及模型训练的方法、装置及设备
CN115965856B (zh) * 2023-02-23 2023-05-30 深圳思谋信息科技有限公司 图像检测模型构建方法、装置、计算机设备及存储介质
CN117409285B (zh) * 2023-12-14 2024-04-05 先临三维科技股份有限公司 图像检测方法、装置及电子设备
CN118366011B (zh) * 2024-06-19 2024-09-06 温州电力建设有限公司 模型训练、地下电缆管道缺陷识别方法、产品及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084362A (zh) * 2020-08-07 2020-12-15 北京航空航天大学 一种基于层次化特征互补的图像哈希检索方法
CN113239954A (zh) * 2021-04-01 2021-08-10 河海大学 基于注意力机制的图像语义分割特征融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344933B (zh) * 2021-06-01 2022-05-03 电子科技大学 一种基于多层次特征融合网络的腺体细胞分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084362A (zh) * 2020-08-07 2020-12-15 北京航空航天大学 一种基于层次化特征互补的图像哈希检索方法
CN113239954A (zh) * 2021-04-01 2021-08-10 河海大学 基于注意力机制的图像语义分割特征融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割;徐胜军等;《光学精密工程》;20200715(第07期);全文 *

Also Published As

Publication number Publication date
CN114581456A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN114581456B (zh) 一种多图像分割模型的构建方法、图像检测方法及装置
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
US9633282B2 (en) Cross-trained convolutional neural networks using multimodal images
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN111126412B (zh) 基于特征金字塔网络的图像关键点检测方法
CN110852316A (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
CN109740539B (zh) 基于超限学习机和融合卷积网络的3d物体识别方法
CN113378976B (zh) 一种基于特征顶点组合的目标检测方法、可读存储介质
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN115294103B (zh) 一种基于语义分割的实时工业表面缺陷检测方法
CN112507853A (zh) 一种基于互注意力机制的跨模态行人重识别方法
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN111428664A (zh) 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法
CN113052170A (zh) 一种无约束场景下的小目标车牌识别方法
CN115994900A (zh) 基于迁移学习的无监督缺陷检测方法和系统、存储介质
CN117252926B (zh) 基于视觉定位的手机壳辅料智能装配控制系统
Wang et al. SIHRNet: a fully convolutional network for single image highlight removal with a real-world dataset
CN111882545A (zh) 基于双向信息传递及特征融合的织物疵点检测方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN115170456A (zh) 检测方法及相关设备
Rahmon et al. Evaluation of Different Decision Fusion Mechanisms for Robust Moving Object Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant