CN114170230B - 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置 - Google Patents

基于可变形卷积与特征融合的玻璃缺陷检测方法与装置 Download PDF

Info

Publication number
CN114170230B
CN114170230B CN202210132545.2A CN202210132545A CN114170230B CN 114170230 B CN114170230 B CN 114170230B CN 202210132545 A CN202210132545 A CN 202210132545A CN 114170230 B CN114170230 B CN 114170230B
Authority
CN
China
Prior art keywords
feature
defect
network
glass
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210132545.2A
Other languages
English (en)
Other versions
CN114170230A (zh
Inventor
黄必清
郝睿阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210132545.2A priority Critical patent/CN114170230B/zh
Publication of CN114170230A publication Critical patent/CN114170230A/zh
Application granted granted Critical
Publication of CN114170230B publication Critical patent/CN114170230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请涉及图像数据处理技术领域，特别涉及一种基于可变形卷积与特征融合的玻璃缺陷检测方法与装置，其中，方法包括：采集待检测玻璃的表面图像；将表面图像输入至预先训练的缺陷识别模型，确定待检测玻璃的实际缺陷，其中，预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到；基于实际缺陷生成待检测玻璃的目标抓取动作，按照目标抓取动作抓取待检测玻璃。由此，解决了由缺陷形状多样化造成的特征提取困难，以及缺陷尺度多样化造成的单尺度特征语义信息不足，导致无法实现对玻璃缺陷的高效准确检测等问题。

Description

基于可变形卷积与特征融合的玻璃缺陷检测方法与装置
技术领域
本申请涉及图像数据处理技术领域，特别涉及一种基于可变形卷积与特征融合的玻璃缺陷检测方法与装置。
背景技术
基于机器视觉的玻璃缺陷检测技术通常首先需要采集图像，再通过缺陷检测算法来实现玻璃缺陷检出的目的，其对于推动玻璃缺陷检测的自动化与智能化具有重要意义。传统的基于机器视觉的缺陷检测方法主要基于阈值分割算法、选择性搜索算法、支持向量机、最近邻算法、决策树算法和神经网络算法等来实现。上述方法虽然在特定任务、特定场景下取得了不错的结果，但存在阈值泛化能力不足、缺陷特征提取困难复杂、缺陷定位效率低等问题。
相关技术中，卷积神经网络（Convolution Neural Network，CNN）在解决图像分类与目标检测问题时体现了绝对的优势，因此在缺陷检测领域也受到了极大关注。然而，相关技术中快速的基于区域的卷积神经网络（Faster Region-based CNN，Faster R-CNN）在解决玻璃缺陷检测时则存在下列不足：提取的缺陷特征对于缺陷的复杂形状缺乏适应性，单尺度特征用于检测对于多尺度缺陷的检测效果不佳。
发明内容
本申请提供一种基于可变形卷积与特征融合的玻璃缺陷检测方法与装置，以解决相关技术中由缺陷形状多样化造成的特征提取困难，以及缺陷尺度多样化造成的单尺度特征语义信息不足，导致无法实现对玻璃缺陷的高效准确检测等问题。
本申请第一方面实施例提供一种基于可变形卷积与特征融合的玻璃缺陷检测方法，包括以下步骤：采集待检测玻璃的表面图像；将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，其中，所述预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到；基于所述实际缺陷生成所述待检测玻璃的目标抓取动作，按照所述目标抓取动作抓取所述待检测玻璃。
进一步地，所述将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，包括：将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图；将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔；将所述平衡特征金字塔输入至所述检测器网络，检测所述待检测玻璃的缺陷位置和缺陷类别。
进一步地，所述含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路，所述将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图，包括：将所述表面图像输入至所述可变形卷积变换通路，计算所述表面图像的空间采样位置的偏移量，并基于所述偏移量得到多尺度采样空间；通过所述自映射残差通路对所述表面图像进行梯度处理，并在所述多尺度采样空间中从梯度处理后的表面图像中提取所述多分辨率特征图。
进一步地，所述特征融合网络包括横向通路、自上而下通路与平衡特征通路，所述将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔，包括：通过所述横向通路对所述多分辨率特征图进行特征降维处理，生成降维特征图；通过所述自上而下通路对所述降维特征图进行上采样，并将上采样后的特征图与对应分辨率的特征图相加得到合并特征图；通过所述平衡特征通路将所有合并特征图缩放到统一分辨率，并相加得到重整特征图，从所述重整特征图中提取细化特征，并将基于所述细化特征恢复得到的特征图与所述合并特征图相加，得到所述平衡特征金字塔。
进一步地，所述检测器网络包括候选区域生成网络与候选区域检测网络，所述将所述平衡特征金字塔输入至所述检测器网络，检测所述待检测玻璃的缺陷位置和缺陷类别，包括：将所述平衡特征金字塔输入至所述候选区域生成网络，提取多个局部特征，并基于所述多个局部特征生成候选区域；将所述候选区域和所述平衡特征金字塔输入至所述候选区域检测网络，依据所述候选区域的尺寸选择相应的所述平衡特征金字塔的特征图，并将与所述候选区域对应的特征图映射为目标分辨率的特征图，基于所述目标分辨率的特征图对应的特征向量确定所述缺陷位置和所述缺陷类别。
进一步地，所述预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到，还包括：获取玻璃的历史图像数据集，对所述历史图像数据集中的玻璃的缺陷类别与缺陷位置进行标注，得到缺陷图像数据集；利用所述缺陷图像数据集对所述卷积神经网络、所述特征融合网络和所述检测器网络进行近似联合训练，得到所述缺陷识别模型。
本申请第二方面实施例提供一种基于可变形卷积与特征融合的玻璃缺陷检测装置，包括：采集模块，用于采集待检测玻璃的表面图像；检测模块，用于将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，其中，所述预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到；抓取模块，用于基于所述实际缺陷生成所述待检测玻璃的目标抓取动作，按照所述目标抓取动作抓取所述待检测玻璃。
进一步地，所述检测模块进一步用于将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图；将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔；将所述平衡特征金字塔输入至所述检测器网络，检测所述待检测玻璃的缺陷位置和缺陷类别。
进一步地，所述含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路，所述检测模块具体用于：将所述表面图像输入至所述可变形卷积变换通路，计算所述表面图像的空间采样位置的偏移量，并基于所述偏移量得到多尺度采样空间；通过所述自映射残差通路对所述表面图像进行梯度处理，并在所述多尺度采样空间中从梯度处理后的表面图像中提取所述多分辨率特征图。
进一步地，所述特征融合网络包括横向通路、自上而下通路与平衡特征通路，所述检测模块进一步用于通过所述横向通路对所述多分辨率特征图进行特征降维处理，生成降维特征图；通过所述自上而下通路对所述降维特征图进行上采样，并将上采样后的特征图与对应分辨率的特征图相加得到合并特征图；通过所述平衡特征通路将所有合并特征图缩放到统一分辨率，并相加得到重整特征图，从所述重整特征图中提取细化特征，并将基于所述细化特征恢复得到的特征图与所述合并特征图相加，得到所述平衡特征金字塔。
进一步地，所述检测器网络包括候选区域生成网络与候选区域检测网络，所述检测模块进一步用于将所述平衡特征金字塔输入至所述候选区域生成网络，提取多个局部特征，并基于所述多个局部特征生成候选区域；将所述候选区域和所述平衡特征金字塔输入至所述候选区域检测网络，依据所述候选区域的尺寸选择相应的所述平衡特征金字塔的特征图，并将与所述候选区域对应的特征图映射为目标分辨率的特征图，基于所述目标分辨率的特征图对应的特征向量确定所述缺陷位置和所述缺陷类别。
进一步地，还包括：训练模块，用于获取玻璃的历史图像数据集，对所述历史图像数据集中的玻璃的缺陷类别与缺陷位置进行标注，得到缺陷图像数据集；利用所述缺陷图像数据集对所述卷积神经网络、所述特征融合网络和所述检测器网络进行近似联合训练，得到所述缺陷识别模型。
由此，本申请至少具有如下有益效果：
通过由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到缺陷识别模型高效准确检测玻璃缺陷，通过可变形卷积来提升提取特征对缺陷形状的适应性，通过有效的特征融合手段来提升提取特征对缺陷尺度多样性的适应性，从而可以有效避免由缺陷形状多样化造成的特征提取困难，缺陷尺度多样化造成的单尺度特征语义信息不足等问题，提高缺陷玻璃抓取的准确性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例的基于可变形卷积与特征融合的玻璃缺陷检测方法的流程图；
图2为根据本申请具体实施例的基于可变形卷积与特征融合的玻璃缺陷检测方法的流程图；
图3为根据本申请实施例的可变形卷积网络单元的结构示意图；
图4为根据本申请实施例的特征融合网络示意图；
图5为根据本申请实施例的候选区域生成网络的结构示意图；
图6为根据本申请实施例的候选区域生成网络的结构示意图；
图7为根据本申请实施例的基于可变形卷积与特征融合的玻璃缺陷检测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于可变形卷积与特征融合的玻璃缺陷检测方法与装置。针对上述背景技术中提到的由缺陷形状多样化造成的特征提取困难，以及缺陷尺度多样化造成的单尺度特征语义信息不足，导致无法实现对玻璃缺陷的高效准确检测的问题，本申请提供了一种基于可变形卷积与特征融合的玻璃缺陷检测方法，在该方法中，通过由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到缺陷识别模型高效准确检测玻璃缺陷，通过可变形卷积来提升提取特征对缺陷形状的适应性，通过有效的特征融合手段来提升提取特征对缺陷尺度多样性的适应性，从而可以有效避免由缺陷形状多样化造成的特征提取困难，缺陷尺度多样化造成的单尺度特征语义信息不足等问题，提高缺陷玻璃抓取的准确性。
具体而言，图1为本申请实施例所提供的一种基于可变形卷积与特征融合的玻璃缺陷检测方法的流程示意图。
如图1所示，该基于可变形卷积与特征融合的玻璃缺陷检测方法包括以下步骤：
在步骤S101中，采集待检测玻璃的表面图像。
可以理解的是，本申请实施例可以通过图像采集装置扫描传送带上的玻璃得到玻璃表面图像，其中，图像采集装置采集到的数据为玻璃的局部清晰图像，作为模型训练的数据集时还需要包含缺陷的类别与位置信息。
具体而言，通过图像采集装置扫描传送带上的玻璃得到局部玻璃图像，其中所采集到局部玻璃图像的单像素对应到玻璃上的尺寸需大于某阈值，以形成清晰的图像来确保小尺寸缺陷的检测。
在步骤S102中，将表面图像输入至预先训练的缺陷识别模型，确定待检测玻璃的实际缺陷，其中，预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到。
可以理解的是，如图2所示，处于在线状态下采集到的局部玻璃图像将输入到缺陷识别模型进行检测，通过预先训练的缺陷识别模型进行缺陷检测，能够有效避免由缺陷形状多样化造成的特征提取困难，避免缺陷尺度多样化造成的单尺度特征语义信息不足问题，从而可以实现对玻璃缺陷的高效准确检测。其中，对于处于离线状态下采集的有缺陷的局部玻璃图像，可以存储在存储器中以形成缺陷图像数据集，训练缺陷识别模型。
其中，本申请实施例可以采用包含中央处理器、图形处理器以及大容量存储器在内的高性能计算设备，执行步骤S102的过程。
在本申请实施例中，将表面图像输入至预先训练的缺陷识别模型，确定待检测玻璃的实际缺陷，包括：将表面图像输入至含有可变形卷积的卷积神经网络，提取多分辨率特征图；将多分辨率特征图输入至特征融合网络，生成平衡特征金字塔；将平衡特征金字塔输入至检测器网络，检测待检测玻璃的缺陷位置和缺陷类别。
可以理解的是，本申请实施例可以利用含有可变形卷积的卷积神经网络从玻璃图像提取对缺陷形状有适应性的特征图，利用包含平衡特征金字塔的特征融合网络生成高质量的多分辨率特征图用于检测多尺度缺陷，利用检测器网络实现玻璃缺陷的定位和分类。
在本实施例中，含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路，将表面图像输入至含有可变形卷积的卷积神经网络，提取多分辨率特征图，包括：将表面图像输入至可变形卷积变换通路，计算表面图像的空间采样位置的偏移量，并基于偏移量得到多尺度采样空间；通过自映射残差通路对表面图像进行梯度处理，并在多尺度采样空间中从梯度处理后的表面图像中提取多分辨率特征图。
可以理解的是，本申请实施例可以通过含有可变形卷积的深度卷积神经网络来进行图像特征提取得到多分辨率的复杂高维特征图，其中，可变形卷积被用来使传统卷积更加适应缺陷复杂多样的形状，具体通过给空间采样位置附加额外计算的偏移量来增强传统卷积的对形状信息的建模；使用含有残差结构的卷积神经网络单元来解决神经网络模型的梯度消失问题。
需要说明的是，相关技术中卷积采样位置到卷积核中心的偏移量是固定的，即采样位置被固定为特定尺度的采样空间，因此对形状多样化的缺陷特征的适应性是不足的。
为此，本申请实施例将可变形卷积被添加到残差网络（ResNet）中以替换部分相关技术中的卷积，添加可变形卷积的残差网络单元为可变形卷积网络单元，如图3所示，图左侧为可变形卷积变换通路，右侧为自映射残差通路。假设输入特征图为x，对于输出特征图y中的每个位置p0，可变形卷积的计算方式为：y（P0）=∑Pn∈ΩW(Pn)x(P0+ Pn+ΔPn)，其中，Ω是固定采样位置到P0的相对位移Pn的集合，W是可学习的权重系数，ΔPn是真正的采样位置相对基本采样位置的偏移量，该偏移量也是通过一个卷积核尺度为3的常规卷积处理输入特征图x计算得到。
具体地，图3中k*k，c表示卷积核尺度为k，卷积核通道数为c的常规卷积；k*k，c，dc表示卷积核尺度为k，卷积核通道数为c的可变形卷积；输入输出特征图中的[length，width，channels]表示该特征图的长度为length，宽度为width，通道数为channels。
在本实施例中，特征融合网络包括横向通路、自上而下通路与平衡特征通路，将多分辨率特征图输入至特征融合网络，生成平衡特征金字塔，包括：通过横向通路对多分辨率特征图进行特征降维处理，生成降维特征图；通过自上而下通路对降维特征图进行上采样，并将上采样后的特征图与对应分辨率的特征图相加得到合并特征图；通过平衡特征通路将所有合并特征图缩放到统一分辨率，并相加得到重整特征图，从重整特征图中提取细化特征，并将基于细化特征恢复得到的特征图与合并特征图相加，得到平衡特征金字塔。
可以理解的是，本申请实施例可以使用横向通路来对多分辨率特征图进行特征降维；使用自上而下通路实现降维后特征图的合并；再对融合后特征图进行整合和细化得到平衡特征金字塔，从而可以通过含有平衡特征金字塔的特征融合网络形成含丰富语义信息的多分辨率特征图。
需要说明的是，含有丰富语义信息的多分辨率特征图有利于多尺度缺陷的检测，其中，高分辨率特征图适用于小尺度缺陷的检测，而低分辨率特征图适用于大尺度缺陷的检测。
具体而言，如图4所示，横向通路通过卷积核尺度为1的卷积层，对于上述实施例输出的多分辨率特征图进行特征降维到多分辨率特征图中最低的维度；自上而下通路通过上采样与相加的方式实现降维后不同分辨率特征图的合并，即低分辨率特征图先采用双线性插值方法进行2倍上采样，再与相应分辨率的特征图进行相加得到合并特征图；平衡特征通路通过对合并特征图的进一步整合细化得到平衡特征金字塔，即首先将合并特征图缩放到同一个分辨率并相加得到重整特征，再利用非局部注意力机制充分提取上述重整特征得到细化特征，最后将细化特征恢复到相应分辨率的特征图并与前述的合并特征图相加，即得到含有丰富语义信息的平衡特征金字塔。
在本实施例中，检测器网络包括候选区域生成网络与候选区域检测网络，将平衡特征金字塔输入至检测器网络，检测待检测玻璃的缺陷位置和缺陷类别，包括：将平衡特征金字塔输入至候选区域生成网络，提取多个局部特征，并基于多个局部特征生成候选区域；将候选区域和平衡特征金字塔输入至候选区域检测网络，依据候选区域的尺寸选择相应的平衡特征金字塔的特征图，并将与候选区域对应的特征图映射为目标分辨率的特征图，基于目标分辨率的特征图对应的特征向量确定缺陷位置和缺陷类别。
可以理解的是，本申请实施例可以通过检测器网络实现玻璃缺陷的定位和分类。检测器网络包括了候选区域生成网络与候选区域检测网络，其中，候选区域生成网络分析上述实施例输出的多分辨率特征图得到更有可能包含缺陷的局部区域，即候选区域；候选区域检测网络分析上述实施例输出的多分辨率特征图以及候选区域得到最终的缺陷类别与缺陷位置。
具体而言，候选区域生成网络用来产生更有可能包含缺陷的局部区域，即候选区域，其输入是上述实施例输出的多分辨率特征图。对于各分辨率的特征图，候选区域生成网络首先使用一个空间滑动窗口来获取局部特征，然后将特征输入到回归层和分类层两个并列的全连通层中。其中，在每个滑动窗口位置，候选区域生成网络同时预测多个锚点区域，具有一定大小和长宽比的锚点位于每个滑动窗口的中心。如图5所示，上述滑动窗和全连通层分别由3*3卷积层和1*1卷积层来实现。其中，候选区域生成网络的分类层用于对是否存在缺陷进行二分类，并不对缺陷的类别进行预测；图5中k*k，c表示卷积核尺度为k，卷积核通道数为c的常规卷积；ReLU表示线性整流激活函数；输入输出中的[length，width，channels]表示该特征图或输出的长度为length，宽度为width，通道数为channels。
候选区域检测网络用来对候选区域进行分类与进一步回归，其输入是上述实施例输出的多分辨率特征图以及候选区域生成网络产生的候选区域。如图6所示，为了充分利用多分辨率特征图与候选区域，首先将不同大小的候选区域与适当分辨率的特征图对应起来，其中，小尺度的候选区域对应到高分辨率的特征图，大尺度的候选区域对应到低分辨率的特征图；然后将各候选区域对应的特征映射为一个固定分辨率的特征图，其中特征映射方法通过候选区域联合层来实现；之后固定分辨率的特征图被展开成特征向量并送到两个线性整流函数激活的全连接层；最后利用回归层和分类层这两个并行的全连接层进行进一步的定位和最终缺陷分类，其中，缺陷类别用置信值表示，缺陷定位用框坐标表示。其中，候选区域检测网络的分类层除了对候选区域包含缺陷的类别进行分类，也对其是否包含缺陷进行分类，在实现环节是直接在缺陷类别中添加背景类；图6中flatten表示特征图展开成一维；fc，in channel，out channel表示输入维数为in channel，输出维数为out channel的全连接层；ReLU表示线性整流激活函数；图中所示输入为分辨率7*7，通道数为256的固定分辨率特征图。
在本实施例中，预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到，还包括：获取玻璃的历史图像数据集，对历史图像数据集中的玻璃的缺陷类别与缺陷位置进行标注，得到缺陷图像数据集；利用缺陷图像数据集对卷积神经网络、特征融合网络和检测器网络进行近似联合训练，得到缺陷识别模型。
需要说明的是，由于检测器网络中候选区域生成网络与候选区域检测网络共享多分辨率特征图，倘若独立训练这两个子网络，共享的部分网络（特征提取网络和特征融合网络）中的参数会被反复修改；近似联合训练方案被用来解决该问题。
可以理解的是，缺陷识别模型的训练是基于缺陷图像的历史数据通过误差反向传播方法实现，其中误差反向传播过程采用近似联合训练方法实现，具体地，基于可变形卷积与特征融合的玻璃缺陷识别模型的训练方法包括：获取图像采集设备采集到历史图像数据集，其中，图像数据需要对缺陷类别与缺陷位置进行标注；基于上述图像数据集，对上述实施例的卷积神经网络、特征融合网络和检测器网络在内的网络结构进行近似联合训练，以得到玻璃缺陷识别模型。
具体而言，在每次训练迭代中，在前向传播过程中训练候选区域检测网络时，将候选区域生成网络产生的候选区域视为固定的预训练好的候选区域。在反向传播中，候选区域生成网络损失与候选区域检测网络损失在各自子网络正常反向传播，在传播到共享网络前进行合并后再进行反向传播。上述近似联合训练方案易于实现，且可以产生良好效果。
玻璃缺陷识别模型的训练需要进行误差反向传播。候选区域生成网络与候选区域检测网络会分别产生损失，且这两个模块的损失均包括分类损失与回归损失。对于候选区域生成网络的分类任务，首先给每个锚点分配真值标签，然后计算真值标签与预测概率之间的对数损失作为候选区域生成网络的分类损失。对于候选区域检测网络的分类任务，首先将真值类别分配给每个候选区域，然后计算真值类别与预测置信度之间的对数损失作为候选区域检测网络的分类损失。对于两个网络的回归任务，首先参数化框回归结果和真值框的4个参数（框中心坐标及其宽度和高度），然后计算框回归结果参数与真值框参数之间的平滑L1损失，作为两个网络的回归损失。
在步骤S103中，基于实际缺陷生成待检测玻璃的目标抓取动作，按照目标抓取动作抓取待检测玻璃。
可以理解的是，本申请实施例可以利用自动化分流装置将含有缺陷且缺陷尺寸超过相应标准的玻璃抓取用于后续处理。
具体而言，本申请实施例可以通过自动化分流装置控制系统给出操纵机械手的控制信号，其中，自动化分流装置控制系统通过对比步骤S102输出的缺陷信息与相应标准或行业标准，判断是否需要执行分流，实现含缺陷玻璃的自动化分流。对于需要被分流的有缺陷玻璃，给出操纵机械手的控制信号实现缺陷玻璃的自动化分流。
下面将结合图2对基于可变形卷积与特征融合的玻璃缺陷检测方法进行阐述，具体包括：
线下阶段：通过图像采集设备采集到历史图像数据，并对历史图像数据进行标注，最终得到历史图像数据集D={[xi，yi，pi]}（i=1,2,…,N），其中xi表示局部玻璃图像，yi表示其含有的缺陷类别集合，pi表示其含有的缺陷位置集合；基于有标注的缺陷数据集，对玻璃缺陷识别模型进行端到端的近似联合训练。
在线阶段：实时地采集传送带上移动的局部玻璃图像；实时图像代入到训练好的玻璃缺陷识别模型中进行缺陷的分类与定位；对比上述缺陷检测结果以及相关国家标准或行业标准，控制自动化分流装置实现有缺陷玻璃的自动化分流。
由此，在具体应用时，能够扫描传送带上的玻璃得到高像素的局部玻璃表面图像；能够通过高性能计算设备高效地实现玻璃缺陷检测算法；能够通过自动化分流装置分流含有缺陷且缺陷尺寸超过相应标准的玻璃，用于后续处理。
综上，1）能够高效准确地实现玻璃缺陷检测目标，有效避免由不合理阈值分割造成的缺陷定位不准。本申请实施例可以不依赖于泛化性能较差的阈值定位方法、效率低下的空间搜索策略以及人工选择的复杂特征，使用先进的神经网络结构高效而准确地实现玻璃缺陷的分类与定位任务；
2）对玻璃缺陷形状多样性的适应性好。本申请实施例可以采用可变形卷积增强的深度卷积网络来提取玻璃图像的特征，通过可变形卷积来提升卷积神经网络对玻璃缺陷的复杂多样形状的适应性，其中，可变形卷积的引入使传统卷积更加适应缺陷的复杂多样的形状，通过给空间采样位置附加额外计算的偏移量来增强传统卷积的对形状信息的建模，能够有效适应玻璃缺陷的复杂多样的形状；
3）对玻璃缺陷多尺度特性的适应性好。本申请实施例可以采用含有平衡特征金字塔的特征融合网络形成含丰富语义信息的多分辨率特征图，能够通过含有平衡特征金字塔的特征融合网络生成高质量的多分辨率特征图来提升多尺度缺陷的检测性能，能够通过神经网络结构高效分析多分辨率特征图实现玻璃缺陷的检测，其中，利用整合细化的平衡特征增强了多分辨率特征的语义信息，能够有效提升多尺度缺陷的检测性能。
其次参照附图描述根据本申请实施例提出的基于可变形卷积与特征融合的玻璃缺陷检测装置。
图7是本申请实施例的基于可变形卷积与特征融合的玻璃缺陷检测装置的方框示意图。
如图7所示，该基于可变形卷积与特征融合的玻璃缺陷检测装置10包括：采集模块100、检测模块200和抓取模块300。
其中，采集模块100用于采集待检测玻璃的表面图像；检测模块200用于将表面图像输入至预先训练的缺陷识别模型，确定待检测玻璃的实际缺陷，其中，预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到；抓取模块300用于基于实际缺陷生成待检测玻璃的目标抓取动作，按照目标抓取动作抓取待检测玻璃。
进一步地，检测模块200进一步用于将表面图像输入至含有可变形卷积的卷积神经网络，提取多分辨率特征图；将多分辨率特征图输入至特征融合网络，生成平衡特征金字塔；将平衡特征金字塔输入至检测器网络，检测待检测玻璃的缺陷位置和缺陷类别。
进一步地，含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路，检测模块200具体用于：将表面图像输入至可变形卷积变换通路，计算表面图像的空间采样位置的偏移量，并基于偏移量得到多尺度采样空间；通过自映射残差通路对表面图像进行梯度处理，并在多尺度采样空间中从梯度处理后的表面图像中提取多分辨率特征图。
进一步地，特征融合网络包括横向通路、自上而下通路与平衡特征通路，检测模块200进一步用于通过横向通路对多分辨率特征图进行特征降维处理，生成降维特征图；通过自上而下通路对降维特征图进行上采样，并将上采样后的特征图与对应分辨率的特征图相加得到合并特征图；通过平衡特征通路将所有合并特征图缩放到统一分辨率，并相加得到重整特征图，从重整特征图中提取细化特征，并将基于细化特征恢复得到的特征图与合并特征图相加，得到平衡特征金字塔。
进一步地，检测器网络包括候选区域生成网络与候选区域检测网络，检测模块200进一步用于将平衡特征金字塔输入至候选区域生成网络，提取多个局部特征，并基于多个局部特征生成候选区域；将候选区域和平衡特征金字塔输入至候选区域检测网络，依据候选区域的尺寸选择相应的平衡特征金字塔的特征图，并将与候选区域对应的特征图映射为目标分辨率的特征图，基于目标分辨率的特征图对应的特征向量确定缺陷位置和缺陷类别。
进一步地，本申请实施例的装置10还包括：训练模块。其中，训练模块用于获取玻璃的历史图像数据集，对历史图像数据集中的玻璃的缺陷类别与缺陷位置进行标注，得到缺陷图像数据集；利用缺陷图像数据集对卷积神经网络、特征融合网络和检测器网络进行近似联合训练，得到缺陷识别模型。
需要说明的是，前述对基于可变形卷积与特征融合的玻璃缺陷检测方法实施例的解释说明也适用于该实施例的基于可变形卷积与特征融合的玻璃缺陷检测装置，此处不再赘述。
根据本申请实施例提出的基于可变形卷积与特征融合的玻璃缺陷检测装置，通过由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到缺陷识别模型高效准确检测玻璃缺陷，通过可变形卷积来提升提取特征对缺陷形状的适应性，通过有效的特征融合手段来提升提取特征对缺陷尺度多样性的适应性，从而可以有效避免由缺陷形状多样化造成的特征提取困难，缺陷尺度多样化造成的单尺度特征语义信息不足等问题，提高缺陷玻璃抓取的准确性。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于可变形卷积与特征融合的玻璃缺陷检测方法，其特征在于，包括以下步骤：
采集待检测玻璃的表面图像；
将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，其中，所述预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到；以及
基于所述实际缺陷生成所述待检测玻璃的目标抓取动作，按照所述目标抓取动作抓取所述待检测玻璃；
所述将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，包括：将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图；将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔；将所述平衡特征金字塔输入至所述检测器网络，检测所述待检测玻璃的缺陷位置和缺陷类别；
所述含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路，所述将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图，包括：将所述表面图像输入至所述可变形卷积变换通路，计算所述表面图像的空间采样位置的偏移量，并基于所述偏移量得到多尺度采样空间；通过所述自映射残差通路对所述表面图像进行梯度处理，并在所述多尺度采样空间中从梯度处理后的表面图像中提取所述多分辨率特征图；
所述特征融合网络包括横向通路、自上而下通路与平衡特征通路，所述将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔，包括：通过所述横向通路对所述多分辨率特征图进行特征降维处理，生成降维特征图；通过所述自上而下通路对所述降维特征图进行上采样，并将上采样后的特征图与对应分辨率的特征图相加得到合并特征图；通过所述平衡特征通路将所有合并特征图缩放到统一分辨率，并相加得到重整特征图，从所述重整特征图中提取细化特征，并将基于所述细化特征恢复得到的特征图与所述合并特征图相加，得到所述平衡特征金字塔；
所述检测器网络包括候选区域生成网络与候选区域检测网络，所述将所述平衡特征金字塔输入至所述检测器网络，检测所述待检测玻璃的缺陷位置和缺陷类别，包括：将所述平衡特征金字塔输入至所述候选区域生成网络，提取多个局部特征，并基于所述多个局部特征生成候选区域；将所述候选区域和所述平衡特征金字塔输入至所述候选区域检测网络，依据所述候选区域的尺寸选择相应的所述平衡特征金字塔的特征图，并将与所述候选区域对应的特征图映射为目标分辨率的特征图，基于所述目标分辨率的特征图对应的特征向量确定所述缺陷位置和所述缺陷类别。
2.根据权利要求1所述的方法，其特征在于，所述预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到，还包括：
获取玻璃的历史图像数据集，对所述历史图像数据集中的玻璃的缺陷类别与缺陷位置进行标注，得到缺陷图像数据集；
利用所述缺陷图像数据集对所述卷积神经网络、所述特征融合网络和所述检测器网络进行近似联合训练，得到所述缺陷识别模型。
3.一种基于可变形卷积与特征融合的玻璃缺陷检测装置，其特征在于，包括：
采集模块，用于采集待检测玻璃的表面图像；
检测模块，用于将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，其中，所述预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到；以及
抓取模块，用于基于所述实际缺陷生成所述待检测玻璃的目标抓取动作，按照所述目标抓取动作抓取所述待检测玻璃；
所述检测模块进一步用于将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图；将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔；将所述平衡特征金字塔输入至所述检测器网络，检测所述待检测玻璃的缺陷位置和缺陷类别；
所述含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路，所述检测模块具体用于：将所述表面图像输入至所述可变形卷积变换通路，计算所述表面图像的空间采样位置的偏移量，并基于所述偏移量得到多尺度采样空间；通过所述自映射残差通路对所述表面图像进行梯度处理，并在所述多尺度采样空间中从梯度处理后的表面图像中提取所述多分辨率特征图；
所述特征融合网络包括横向通路、自上而下通路与平衡特征通路，所述检测模块具体用于：通过所述横向通路对所述多分辨率特征图进行特征降维处理，生成降维特征图；通过所述自上而下通路对所述降维特征图进行上采样，并将上采样后的特征图与对应分辨率的特征图相加得到合并特征图；通过所述平衡特征通路将所有合并特征图缩放到统一分辨率，并相加得到重整特征图，从所述重整特征图中提取细化特征，并将基于所述细化特征恢复得到的特征图与所述合并特征图相加，得到所述平衡特征金字塔；
所述检测器网络包括候选区域生成网络与候选区域检测网络，所述检测模块具体用于：将所述平衡特征金字塔输入至所述候选区域生成网络，提取多个局部特征，并基于所述多个局部特征生成候选区域；将所述候选区域和所述平衡特征金字塔输入至所述候选区域检测网络，依据所述候选区域的尺寸选择相应的所述平衡特征金字塔的特征图，并将与所述候选区域对应的特征图映射为目标分辨率的特征图，基于所述目标分辨率的特征图对应的特征向量确定所述缺陷位置和所述缺陷类别。
4.根据权利要求3所述的装置，其特征在于，还包括：
训练模块，用于获取玻璃的历史图像数据集，对所述历史图像数据集中的玻璃的缺陷类别与缺陷位置进行标注，得到缺陷图像数据集；利用所述缺陷图像数据集对所述卷积神经网络、所述特征融合网络和所述检测器网络进行近似联合训练，得到所述缺陷识别模型。
CN202210132545.2A 2022-02-14 2022-02-14 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置 Active CN114170230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210132545.2A CN114170230B (zh) 2022-02-14 2022-02-14 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210132545.2A CN114170230B (zh) 2022-02-14 2022-02-14 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置

Publications (2)

Publication Number Publication Date
CN114170230A CN114170230A (zh) 2022-03-11
CN114170230B true CN114170230B (zh) 2022-04-29

Family

ID=80489858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210132545.2A Active CN114170230B (zh) 2022-02-14 2022-02-14 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置

Country Status (1)

Country Link
CN (1) CN114170230B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330754B (zh) * 2022-10-10 2022-12-23 楚大智能(武汉)技术研究院有限公司 玻璃瓶口缺陷检测方法、装置、设备及存储介质
CN117078689B (zh) * 2023-10-17 2024-01-30 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN112529005A (zh) * 2020-12-11 2021-03-19 西安电子科技大学 基于语义特征一致性监督金字塔网络的目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10115040B2 (en) * 2016-09-14 2018-10-30 Kla-Tencor Corporation Convolutional neural network-based mode selection and defect classification for image fusion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN112529005A (zh) * 2020-12-11 2021-03-19 西安电子科技大学 基于语义特征一致性监督金字塔网络的目标检测方法

Also Published As

Publication number Publication date
CN114170230A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN113674247B (zh) 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN110837778B (zh) 一种基于骨架关节点序列的交警指挥手势识别方法
CN114170230B (zh) 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置
CN110738673A (zh) 基于实例分割的视觉slam方法
CN111079674B (zh) 一种基于全局和局部信息融合的目标检测方法
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
CN111104903A (zh) 一种深度感知交通场景多目标检测方法和系统
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN116486219A (zh) 一种基于Transformer的区域预估与多层级特征融合抓取检测方法
Bansal et al. Enhancing Fashion Cloth Image Classification through Hybrid CNN-SVM Modeling: A Multi-Class Study
CN112949635B (zh) 一种基于特征增强和IoU感知的目标检测方法
Kanchana et al. Computer vision for autonomous driving
CN111476226B (zh) 一种文本定位方法、装置及模型训练方法
CN111882545B (zh) 基于双向信息传递及特征融合的织物疵点检测方法
CN115471833A (zh) 一种动态局部自注意力卷积网络点云分析系统及方法
CN114913504A (zh) 一种融合自注意力机制的遥感图像的车辆目标识别方法
CN113192018A (zh) 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法
Guo et al. Udtiri: An open-source road pothole detection benchmark suite
Rahman et al. LVLane: deep learning for lane detection and classification in challenging conditions
CN113223053A (zh) 一种基于孪生网络融合多层特征的无锚点目标跟踪方法
Xiong et al. Defect detection of biscuit packaging based on level set map
CN112508848B (zh) 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant