CN116091496B - 基于改进Faster-RCNN的缺陷检测方法及装置 - Google Patents

基于改进Faster-RCNN的缺陷检测方法及装置 Download PDF

Info

Publication number
CN116091496B
CN116091496B CN202310362211.9A CN202310362211A CN116091496B CN 116091496 B CN116091496 B CN 116091496B CN 202310362211 A CN202310362211 A CN 202310362211A CN 116091496 B CN116091496 B CN 116091496B
Authority
CN
China
Prior art keywords
feature map
attention
feature
channel
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310362211.9A
Other languages
English (en)
Other versions
CN116091496A (zh
Inventor
王凯
方超群
陈立名
田楷
胡江洪
曹彬
杨旭
贾明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fitow Tianjin Detection Technology Co Ltd
Original Assignee
Fitow Tianjin Detection Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fitow Tianjin Detection Technology Co Ltd filed Critical Fitow Tianjin Detection Technology Co Ltd
Priority to CN202310362211.9A priority Critical patent/CN116091496B/zh
Publication of CN116091496A publication Critical patent/CN116091496A/zh
Application granted granted Critical
Publication of CN116091496B publication Critical patent/CN116091496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于改进Faster‑RCNN的缺陷检测方法及装置，先获取冲压成品的待检测图像，再通过预先训练好的改进的Faster‑RCNN模型对待检测图像进行缺陷的检测，得到待检测图像的检测结果；其中，改进的Faster‑RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，主干网络包括特征提取模块，特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。采用本发明可以更好地识别出缺陷并将缺陷与正常区域区分开来，从而避免误检、漏检等问题。

Description

基于改进Faster-RCNN的缺陷检测方法及装置
技术领域
本发明涉及汽车内饰检测技术领域，尤其是涉及一种基于改进Faster-RCNN的缺陷检测方法及装置。
背景技术
目前，汽车冲压成品的检测方式通常包括人工目检的方式和线下通过视觉设备抽检的方式。对于人工目检的方式，由于冲压成品缺陷较多，且每个目检人员对缺陷理解不同，因此会造成检测标准不统一；此外，该方式的工作效率较低，且随检测数量增加和身体疲劳会不可避免地出现错判、漏检。对于线下通过视觉设备抽检的方式，需要搭建特定光学环境，基于条纹投影原理对部件进行测量，测定深度的准确度是正确分类缺陷的条件，且该技术仅适用于检测一些局部区域，因而该技术的缺陷主要包括：（1）冲压成品表面形态复杂，极大的干扰了通过分析条纹投影的方式来检测，使得设备误检率、设备维护难度和设备维护成本均会变高；（2）线下抽检的方式难以满足企业全面检测的检测需求。
随着生产制造业不断认识到使用深度学习技术进行缺陷检测的重要性，越来越多的企业开始选择使用人工智能进行缺陷的自动化检测。例如，可采用基于深度学习的目标检测算法Faster-RCNN进行缺陷的自动化检测，该算法更加关注物体局部区域，目标的整体相关性不高，而冲压成品的一些缺陷（如开裂、缩颈等）的特征与其周围正常区域的特征易混淆，若仅仅关注局部区域虽检出率会提升但也会产生误检问题，将会把正常区域误识别为缺陷。
发明内容
有鉴于此，本发明的目的在于提供一种基于改进Faster-RCNN的缺陷检测方法及装置，以缓解现有汽车冲压成品检测技术中存在的上述问题。
第一方面，本发明实施例提供了一种基于改进Faster-RCNN的缺陷检测方法，所述方法包括：获取冲压成品的待检测图像；通过预先训练好的改进的Faster-RCNN模型对所述待检测图像进行缺陷的检测，得到所述待检测图像的检测结果；其中，改进的Faster-RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，所述主干网络包括特征提取模块，所述特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。
第二方面，本发明实施例还提供一种基于改进Faster-RCNN的缺陷检测装置，所述装置包括：获取模块，用于获取冲压成品的待检测图像；检测模块，用于通过预先训练好的改进的Faster-RCNN模型对所述待检测图像进行缺陷的检测，得到所述待检测图像的检测结果；其中，改进的Faster-RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，所述主干网络包括特征提取模块，所述特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。
本发明实施例提供的一种基于改进Faster-RCNN的缺陷检测方法及装置，先获取冲压成品的待检测图像，再通过预先训练好的改进的Faster-RCNN模型对待检测图像进行缺陷的检测，得到待检测图像的检测结果；其中，改进的Faster-RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，主干网络包括特征提取模块，特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。采用上述技术，通过在主干网络的特征提取模块中加入注意力模块的方式对现有Faster-RCNN模型进行改进，可以使改进的Faster-RCNN模型在特征提取阶段便关注缺陷的整体信息，更好地识别出缺陷并将缺陷与正常区域区分开来，从而避免误检、漏检等问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于改进Faster-RCNN的缺陷检测方法的流程示意图；
图2为本发明实施例中改进的Faster-RCNN模型的结构示例图；
图3为本发明实施例中注意力模块的示例图；
图4为本发明实施例中GsoP-Net块与resnet50结合的结构示例图；
图5为本发明实施例中Faster-RCNN算法改进前后的其中一个检测结果对比图；
图6为本发明实施例中Faster-RCNN算法改进前后的另一个检测结果对比图；
图7为本发明实施例中一种基于改进Faster-RCNN的缺陷检测装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，汽车冲压成品的检测方式通常包括人工目检的方式和线下通过视觉设备抽检的方式。对于人工目检的方式，由于冲压成品缺陷较多，且每个目检人员对缺陷理解不同，因此会造成检测标准不统一；此外，该方式的工作效率较低，且随检测数量增加和身体疲劳会不可避免地出现错判、漏检。对于线下通过视觉设备抽检的方式，需要搭建特定光学环境，基于条纹投影原理对部件进行测量，测定深度的准确度是正确分类缺陷的条件，且该技术仅适用于检测一些局部区域，因而该技术的缺陷主要包括：（1）冲压成品表面形态复杂，极大的干扰了通过分析条纹投影的方式来检测，使得设备误检率、设备维护难度和设备维护成本均会变高；（2）线下抽检的方式难以满足企业全面检测的检测需求。
随着生产制造业不断认识到使用深度学习技术进行缺陷检测的重要性，越来越多的企业开始选择使用人工智能进行缺陷的自动化检测。例如，可采用基于深度学习的目标检测算法Faster-RCNN进行缺陷的自动化检测，该算法更加关注物体局部区域，目标的整体相关性不高，而冲压成品的一些缺陷（如开裂、缩颈等）的特征与其周围正常区域的特征易混淆，若仅仅关注局部区域虽检出率会提升但也会产生误检问题，将会把正常区域误识别为缺陷。
基于此，本发明实施提供的一种基于改进Faster-RCNN的缺陷检测方法及装置，可以缓解现有汽车冲压成品检测技术中存在的上述问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于改进Faster-RCNN的缺陷检测方法进行详细介绍，参见图1所示，该方法可以包括以下步骤：
步骤S102，获取冲压成品的待检测图像。
上述待检测图像可以是通过图像采集设备直接实时采集得到的图像，也可以是预先存储在存储设备中的图像，对此不进行限定。
步骤S104，通过预先训练好的改进的Faster-RCNN模型对待检测图像进行缺陷的检测，得到待检测图像的检测结果。
上述缺陷可以包括缩颈、开裂、褶皱等，对此不进行限定。
缩颈是在对材料进行模具冲压过程中由于拉应力超过了材料的强度极限而引起的。开裂是材料由于严重缩颈而呈现的透光裂开状态。褶皱是因材料厚度变化、压料力不足、材料受压缩变形而引起的。
参见图2所示，改进的Faster-RCNN模型可以包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，主干网络可以包括特征提取模块，特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。
本发明实施例提供的一种基于改进Faster-RCNN的缺陷检测方法，先获取冲压成品的待检测图像，再通过预先训练好的改进的Faster-RCNN模型对待检测图像进行缺陷的检测，得到待检测图像的检测结果；其中，改进的Faster-RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，主干网络包括特征提取模块，特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。采用上述技术，通过在主干网络的特征提取模块中加入注意力模块的方式对现有Faster-RCNN模型进行改进，可以使改进的Faster-RCNN模型在特征提取阶段便关注缺陷的整体信息，更好地识别出缺陷并将缺陷与正常区域区分开来，从而避免误检、漏检等问题。
作为一种可能的实施方式，每个上述注意力模块可以用于执行以下操作：
（11）对相应卷积块输出的输入特征图进行卷积操作，得到相应的注意力特征图；其中，注意力特征图的通道数小于输入特征图的通道数。
可按照以下公式对相应卷积块输出的输入特征图进行可变形卷积计算，得到相应的注意力特征图：
其中，I为3×3的可变形卷积核，为输入特征图的每个元素位置，/>为I的第i个点，/>为/>在输入特征图对应元素位置的偏移量，/>为/>在输入特征图对应元素位置偏移/>后在输入特征图上的值，/>为/>的权重，/>为输入特征图上以/>为中心的特征区域经过I一次滑动卷积后计算出的值，特征区域的尺寸与I的尺寸对应。
上述可变形卷积核与上述偏移量均为可学习的参数，通过滑动卷积与像素填充（padding）的方式可以使得到的注意力特征图的尺寸与输入特征图的尺寸相同。
对于开裂、缩颈、褶皱等特征狭长或分散性的冲压缺陷，经过训练的可变形卷积核的形态更加贴近于冲压缺陷的形态，可以适应不同冲压缺陷特征的形状、大小等几何形变，相比于采用普通卷积核进行卷积操作的方式可以从空间上更准确地提取出每个冲压缺陷的关键特征，从而提升了目标检测网络的空间注意力计算能力。
（12）计算注意力特征图的各个通道间的相关性，得到相应的协方差矩阵；其中，协方差矩阵中的每个元素用于表征每个通道与其自身或其他通道间的依赖关系。由于不同通道上的特征图对于目标检测网络的重要程度不同，这里通过计算通道之间的相关性，相关性高的那些通道会更加重要，因此目标检测网络会将注意力集中到那些相关性高的特征通道上。
示例性地，可先获取注意力特征图的各个通道的特征图，再将注意力特征图的每个通道的特征图转换成相应的列向量，之后按照以下公式计算注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差：
其中，fi为第i个通道的特征图对应的列向量，fj为第j个通道的特征图对应的列向量，为第i个通道的特征图对应的列向量中元素的均值，/>为第j个通道的特征图对应的列向量中元素的均值，/>，/>，/>为第i个通道的特征图对应的列向量中第k个元素的值，/>为第j个通道的特征图对应的列向量中第k个元素的值，w和h分别为特征图的宽和高；
之后基于注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差，构建注意力特征图对应的协方差矩阵如下：
∑
其中，∑为协方差矩阵，c为注意力特征图的通道数。
（13）对协方差矩阵进行线性卷积操作，得到相应的特征向量。
示例性地，接续前例，可通过线性卷积将c×c的协方差矩阵变换成1×4c的特征向量。
（14）对特征向量进行非线性激活操作，得到相应的权重向量。
示例性地，接续前例，可通过非线性激活将1×4c的特征向量变换成1×c’的权重向量；其中，c’为输入特征图的通道数。
（15）将输入特征图与权重向量点乘，得到相应的输出特征图；其中，输出特征图的尺寸与输入特征图的尺寸相同。
上述权重向量是一个可学习的参数，经过目标检测网络的训练后，权重向量会对输入特征图包含更多冲压缺陷信息的通道的特征图产生更大的激活，从而有助于目标检测网络更好的区分缺陷目标。
为了便于理解，在此以图3为例对注意力模块工作的具体步骤进行示例性描述如下。参见图3所示，注意力模块可按照以下步骤进行：
步骤1，将w’×h’×c’的输入特征图通过1×1的卷积核降维成w’×h’×c的注意力特征图。
其中，c’和c分别为输入特征图和注意力特征图的通道数，注意力特征图的c个通道的特征图都具有冲压缺陷的相关特征。
步骤2，计算注意力特征图的各个通道间的相关性（即对应缺陷在各个通道上的相关性），得到c×c的协方差矩阵。
例如，对于w’×h’×c的注意力特征图，可将第i个通道的特征图Fi拉直成w’×h’×1的列向量fi，之后按照上述协方差计算公式计算得到fi与其自身或其他通道的列向量之间的协方差，依次类推可计算出每个通道的列向量与其自身或其他通道的列向量之间的协方差，之后可采用上述构建协方差矩阵的方式构建出c×c的协方差矩阵。
步骤3，使用线性卷积将c×c的协方差矩阵变换成1×4c的特征向量。
步骤4，通过非线性激活将1×4c的特征向量变换成1×c’的权重向量。
步骤5，将权重向量的每个元素通过点乘的形式与注意力特征图的每个通道的特征图一一对应相乘，得到w’×h’×c’的输出特征图，输出特征图的不同通道的特征图会对冲压缺陷产生不同大小的响应，完成了通道注意力计算，输出具备通道注意力的特征图。
所以，包含缺陷的特征图通过注意力模块后，将对包含冲压缺陷重要信息（即能代表冲压缺陷的重要特征，例如，开裂所具有的裂开、透光、裂缝边缘不平整等特征，缩颈所具有的黑白相间、呈线状排列等特征，褶皱所具有的表层凹凸不平等特征）的通道产生更大的激活，使得改进的Faster-RCNN模型对特征信息含量低、较难辨别的目标有更强的区分能力，而冲压的缩颈缺陷和开裂缺陷由于与冲压成品自身的正常形态特征相似，因此通过注意力模块可增强模型对包含缺陷重要信息的通道的感知能力，从而更好的区分目标与背景特征。
作为一种可能的实施方式，上述基于改进Faster-RCNN的缺陷检测方法还可以包括以下步骤：
（21）获取冲压成品的初始缺陷图像集；其中，初始缺陷图像集中的每个缺陷图像均包含至少一个缺陷。
（22）为每个缺陷图像人工标注缺陷信息，得到相应的标注图像；其中，缺陷信息包括缺陷类别的标签和缺陷的位置信息。
（23）将得到的全部标注图像组成初始标注图像集，并根据各个缺陷类别的标签数量将初始标注图像集分成第一标注图像集和第二标注图像集；其中，第一标注图像集的标签数量大于第二标注图像集的标签数量。
（24）按照预设比例将第一标注图像集和第二标注图像集分别分成训练集和验证集。
基于上述（21）至（24），改进的Faster-RCNN模型的训练步骤可以包括：用训练集对改进的Faster-RCNN模型进行迭代训练，并用验证集对改进的Faster-RCNN模型的性能进行验证以调整每次训练的超参数。
为了便于理解，在此以某一具体应用为例对上述基于改进Faster-RCNN的缺陷检测方法进行示例性描述如下：
步骤一，构建检测算法的训练集和验证集。
拍摄冲压成品各型号的缺陷图像，根据需求与缺陷特征定义缺陷类别包括：开裂、缩颈、褶皱等。通过人工标注的方式标明每个缺陷图像中的缺陷类别和缺陷最大外接矩形的位置坐标（如矩形左下角坐标、矩形右上角坐标、矩形中心坐标等），得到相应的标注图像，并将得到的这些标注图像保存为标注文件。根据各个缺陷类别的标签数量，按10:1的比例将得到的这些标注图像划分为第一标注图像集和第二标注图像集。按10:1的比例将第一标注图像集和第二标注图像集分别划分为训练集和验证集。
步骤二，构建改进的目标检测网络。
采用Faster-RCNN作为目标检测网络的基础架构，在此基础上结合冲压成品的缺陷形态特性，在Faster-RCNN的主干网络结构的ResNet50特征提取层中不同卷积块的尾部分别嵌入具有注意力机制的GSoP-Net块作为注意力模块。将GSoP-Net块嵌入到主干网络结构中的目的是可以从Faster-RCNN的头部网络开始就对输入图像整体张量之间的相关性建模，充分利用输入图像中的上下文信息。GSoP-Net块的具体工作过程可参考前文中的步骤1至步骤5，对此不再赘述。
具体地，输入图像首先通过ResNet50特征提取层中的GSoP-Net块将对应卷积块的尾部提取到的信息（即特征图）经过一次注意力计算，然后再传入下一个卷积块；随后将ResNet50特征提取层中的最后一个卷积块输出的特征图输入进区域建议网络（RPN）；然后通过RPN区分出输入图像中的目标（即缺陷）与背景（即正常区域）并同时进行每个目标的初步边界框位置回归，从而输出每个目标的边界框建议（位置坐标）信息；最后在头部网络对输入图像中的每个目标进行最终类别分类和最终边界框位置回归，从而输出每个目标的类别和边界框位置坐标。在特征图经过嵌有GSoP-Net块的resnet50特征提取层处理后，输出的特征信息将比原始resnet50输出的特征信息更集中于目标本身，从而汇聚更多的目标信息并降低冗余信息的干扰，提升了目标检测网络对于包含目标（如开裂、缩颈等形态狭长的易与正常区域混淆的缺陷）的特征图的通道关注度。
GsoP-Net块与resnet50结合的结构如图4所示，将四个GsoP-Net块（即GsoPblock）分别嵌入到四组不同cfg块（即cfg[0] blocks、cfg[1]blocks、cfg[2] blocks和cfg[3]blocks）的尾部，这四组cfg块的循环次数分别为3次、4次、6次和3次。
步骤三，训练改进的目标检测网络。
用训练集对改进的目标检测网络进行迭代训练，并用验证集反复评测目标检测网络的性能，改动和调整每次训练的超参数，直至训练完成后得到训练好的改进的目标检测网络。
步骤四，通过训练好的改进的目标检测网络对冲压成品的待检测图像进行缺陷的检测，得到待检测图像的检测结果。
为了验证改进的目标检测网络的有效性，在此将准确率(Precision) 和召回率(Recall)作为性能评测指标，使用验证集中的995张图像对比了改进的目标检测网和传统Faster-RCNN各自的性能评测结果及检测结果。
准确率 ＝ (TP + TN) / (TP + TN +FP + FN)，召回率 ＝ TP / (TP + FN)，其中，TP (1 Positive)代表将缺陷预测为缺陷的数量，TN (1 Negative) 代表将正常区域预测为正常区域的数量，FP (0 Positive) 代表将正常区域预测为缺陷的数量，FN(0Negative)代表将缺陷预测为正常区域的数量。
表1和表2分别示出了改进的目标检测网络和传统Faster-RCNN的性能评测结果。从表1和表2中可以看出，改进的目标检测网络准确率和召回率均相比于传统Faster-RCNN有所提升。
表1 改进的目标检测网络的性能评测结果
表2 传统Faster-RCNN的性能评测结果
图5示出了改进的目标检测网络和传统Faster-RCNN的其中一个检测结果，其中图5（a）和图5（b）分别为改进的目标检测网络和传统Faster-RCNN的缺陷检出情况，其中用“SJ”表示缩颈、用“KL”表示开裂。根据图5可以看出，改进的目标检测网络正确检出了缩颈（置信度为0.86）且未检出开裂，但传统Faster-RCNN误检出了缩颈（置信度为0.66）和开裂（置信度为0.73），因而改进的目标检测网络避免了正常区域中类似缩颈、开裂的特征的误检。
图6示出了改进的目标检测网络和传统Faster-RCNN的另一个检测结果，其中图6（a）和图6（b）分别为改进的目标检测网络和传统Faster-RCNN的缺陷检出情况，其中用“SJ”表示缩颈、用“KL”表示开裂。根据图6可以看出，改进的目标检测网络正确检出了缩颈和开裂（置信度分别为0.72和0.92），传统Faster-RCNN并未检出缩颈和开裂，因而改进的目标检测网络可以较好的检出冲压成品上的缺陷，且可正确区分出开裂与缩颈。
考虑到要检测的缺陷如开裂、缩颈等极易与正常区域相混的特点，直接使用传统Faster-RCNN不足以满足检测要求，上述基于改进Faster-RCNN的缺陷检测方法在传统Faster-RCNN架构的基础上进行了改良，具体在ResNet50特征提取层中添加了Gsop-Net块，使得目标检测网络在前端即可通过计算协方差矩阵来表示出特征图各个通道之间的依赖关系，从而实现了通道注意力，提高了神经网络的非线性能力，使得神经网络可以更好地表征出高维空间中各类别的复杂边界、以及高效地捕获全局上下文信息。以上改进非常适用于冲压成品各类缺陷的特征信息提取，使得提取出的类别信息更加突出，大大提升了冲压成品缺陷的检出率；且改进后的网络所提取的特征信息更加丰富，使得不同类缺陷的特征差别更大，缓解了缩颈、开裂与正常区域难区分的问题，并降低了误检率。
在上述基于改进Faster-RCNN的缺陷检测方法的基础上，本发明实施例还提供一种基于改进Faster-RCNN的缺陷检测装置，参见图7所示，该装置可以包括以下模块：
获取模块702，用于获取冲压成品的待检测图像。
检测模块704，用于通过预先训练好的改进的Faster-RCNN模型对待检测图像进行缺陷的检测，得到待检测图像的检测结果；其中，改进的Faster-RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，主干网络包括特征提取模块，特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。
本发明实施例提供的一种基于改进Faster-RCNN的缺陷检测装置，先获取冲压成品的待检测图像，再通过预先训练好的改进的Faster-RCNN模型对待检测图像进行缺陷的检测，得到待检测图像的检测结果；其中，改进的Faster-RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，主干网络包括特征提取模块，特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。采用上述技术，通过在主干网络的特征提取模块中加入注意力模块的方式对现有Faster-RCNN模型进行改进，可以使改进的Faster-RCNN模型在特征提取阶段便关注缺陷的整体信息，更好地识别出缺陷并将缺陷与正常区域区分开来，从而避免误检、漏检等问题。
每个注意力模块可以用于：对相应卷积块输出的输入特征图进行卷积操作，得到相应的注意力特征图；计算所述注意力特征图的各个通道间的相关性，得到相应的协方差矩阵；其中，所述协方差矩阵中的每个元素用于表征每个通道与其自身或其他通道间的依赖关系；对所述协方差矩阵进行线性卷积操作，得到相应的特征向量；对所述特征向量进行非线性激活操作，得到相应的权重向量；将所述输入特征图与所述权重向量点乘，得到相应的输出特征图；其中，所述输出特征图的尺寸与所述输入特征图的尺寸相同。
每个注意力模块还可以用于：按照以下公式对相应卷积块输出的输入特征图进行可变形卷积计算，得到相应的注意力特征图：；其中，I为3×3的可变形卷积核，/>为输入特征图的每个元素位置，/>为I的第i个点，/>为/>在输入特征图对应元素位置的偏移量，/>为/>在输入特征图对应元素位置偏移/>后在输入特征图上的值，/>为/>的权重，/>为输入特征图上以/>为中心的特征区域经过I一次滑动卷积后计算出的值，特征区域的尺寸与I的尺寸对应。
每个注意力模块还可以用于：获取所述注意力特征图的各个通道的特征图；将所述注意力特征图的每个通道的特征图转换成相应的列向量；按照以下公式计算所述注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差：；其中，fi为第i个通道的特征图对应的列向量，fj为第j个通道的特征图对应的列向量，/>为第i个通道的特征图对应的列向量中元素的均值，/>为第j个通道的特征图对应的列向量中元素的均值，，/>，/>为第i个通道的特征图对应的列向量中第k个元素的值，/>为第j个通道的特征图对应的列向量中第k个元素的值，w和h分别为特征图的宽和高；基于所述注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差，构建所述注意力特征图对应的协方差矩阵如下： ∑/>；其中，∑为协方差矩阵，c为所述注意力特征图的通道数。
上述获取模块702还可以用于：获取冲压成品的初始缺陷图像集；其中，所述初始缺陷图像集中的每个缺陷图像均包含至少一个缺陷。
参见图7所示，该装置还可以包括：
标注模块706，用于为每个缺陷图像人工标注缺陷信息，得到相应的标注图像；其中，所述缺陷信息包括缺陷类别的标签和缺陷的位置信息。
第一划分模块708，用于将得到的全部标注图像组成初始标注图像集，并根据各个缺陷类别的标签数量将所述初始标注图像集分成第一标注图像集和第二标注图像集；其中，所述第一标注图像集的标签数量大于所述第二标注图像集的标签数量。
第二划分模块710，用于按照预设比例将所述第一标注图像集和所述第二标注图像集分别分成训练集和验证集。
训练模块712，用于用训练集对改进的Faster-RCNN模型进行迭代训练，并用验证集对改进的Faster-RCNN模型的性能进行验证以调整每次训练的超参数。
本发明实施例所提供的基于改进Faster-RCNN的缺陷检测装置，其实现原理及产生的技术效果和前述基于改进Faster-RCNN的缺陷检测方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (3)

1.一种基于改进Faster-RCNN的缺陷检测方法，其特征在于，所述方法包括：
获取汽车冲压成品的待检测图像；
通过预先训练好的改进的Faster-RCNN模型对所述待检测图像进行缺陷的检测，得到所述待检测图像的检测结果；其中，改进的Faster-RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，所述主干网络包括特征提取模块，所述特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块；所述缺陷包括以下中至少之一：缩颈、开裂、褶皱；
所述特征提取模块包括ResNet50特征提取层，四个所述注意力模块分别嵌入到ResNet50特征提取层中cfg[0]块、cfg[1]块、cfg[2]块和cfg[3]块各自的尾部；所述注意力模块采用GsoP-Net块；每个所述注意力模块用于：
对相应卷积块输出的输入特征图进行卷积操作，得到相应的注意力特征图；
计算所述注意力特征图的各个通道间的相关性，得到相应的协方差矩阵；其中，所述协方差矩阵中的每个元素用于表征每个通道与其自身或其他通道间的依赖关系；
对所述协方差矩阵进行线性卷积操作，得到相应的特征向量；
对所述特征向量进行非线性激活操作，得到相应的权重向量；
将所述输入特征图与所述权重向量点乘，得到相应的输出特征图；其中，所述输出特征图的尺寸与所述输入特征图的尺寸相同；
计算所述注意力特征图的各个通道间的相关性，得到相应的协方差矩阵的步骤包括：
获取所述注意力特征图的各个通道的特征图；
将所述注意力特征图的每个通道的特征图转换成相应的列向量；
按照以下公式计算所述注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差：
其中，fi为第i个通道的特征图对应的列向量，fj为第j个通道的特征图对应的列向量，为第i个通道的特征图对应的列向量中元素的均值，/>为第j个通道的特征图对应的列向量中元素的均值，/>，/>，/>为第i个通道的特征图对应的列向量中第k个元素的值，/>为第j个通道的特征图对应的列向量中第k个元素的值，w和h分别为特征图的宽和高；
基于所述注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差，构建所述注意力特征图对应的协方差矩阵如下：
∑
其中，∑为协方差矩阵，c为所述注意力特征图的通道数；所述注意力特征图的每个通道的特征图各自具有所述缺陷的特征；
对所述协方差矩阵进行线性卷积操作，得到相应的特征向量的步骤包括：
通过线性卷积将c×c的协方差矩阵变换成1×4c的特征向量；
对所述特征向量进行非线性激活操作，得到相应的权重向量的步骤包括：
通过非线性激活将1×4c的特征向量变换成1×c’的权重向量；其中，c’为输入特征图的通道数；
对相应卷积块输出的输入特征图进行卷积操作，得到相应的注意力特征图的步骤包括：
按照以下公式对相应卷积块输出的输入特征图进行可变形卷积计算，得到相应的注意力特征图：
其中，I为3×3的可变形卷积核，为输入特征图的每个元素位置，/>为I的第i个点，为/>在输入特征图对应元素位置的偏移量，/>为/>在输入特征图对应元素位置偏移/>后在输入特征图上的值，/>为/>的权重，/>为输入特征图上以/>为中心的特征区域经过I一次滑动卷积后计算出的值，特征区域的尺寸与I的尺寸对应。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取汽车冲压成品的初始缺陷图像集；其中，所述初始缺陷图像集中的每个缺陷图像均包含至少一个缺陷；
为每个缺陷图像人工标注缺陷信息，得到相应的标注图像；其中，所述缺陷信息包括缺陷类别的标签和缺陷的位置信息；
将得到的全部标注图像组成初始标注图像集，并根据各个缺陷类别的标签数量将所述初始标注图像集分成第一标注图像集和第二标注图像集；其中，所述第一标注图像集的标签数量大于所述第二标注图像集的标签数量；
按照预设比例将所述第一标注图像集和所述第二标注图像集分别分成训练集和验证集；
改进的Faster-RCNN模型的训练步骤包括：
用训练集对改进的Faster-RCNN模型进行迭代训练，并用验证集对改进的Faster-RCNN模型的性能进行验证以调整每次训练的超参数。
3.一种基于改进Faster-RCNN的缺陷检测装置，其特征在于，所述装置包括：
获取模块，用于获取汽车冲压成品的待检测图像；
检测模块，用于通过预先训练好的改进的Faster-RCNN模型对所述待检测图像进行缺陷的检测，得到所述待检测图像的检测结果；其中，改进的Faster-RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，所述主干网络包括特征提取模块，所述特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块；所述缺陷包括以下中至少之一：缩颈、开裂、褶皱；
所述特征提取模块包括ResNet50特征提取层，四个所述注意力模块分别嵌入到ResNet50特征提取层中cfg[0]块、cfg[1]块、cfg[2]块和cfg[3]块各自的尾部；所述注意力模块采用GsoP-Net块；每个所述注意力模块用于：
对相应卷积块输出的输入特征图进行卷积操作，得到相应的注意力特征图；
计算所述注意力特征图的各个通道间的相关性，得到相应的协方差矩阵；其中，所述协方差矩阵中的每个元素用于表征每个通道与其自身或其他通道间的依赖关系；
对所述协方差矩阵进行线性卷积操作，得到相应的特征向量；
对所述特征向量进行非线性激活操作，得到相应的权重向量；
将所述输入特征图与所述权重向量点乘，得到相应的输出特征图；其中，所述输出特征图的尺寸与所述输入特征图的尺寸相同；
每个所述注意力模块还用于：获取所述注意力特征图的各个通道的特征图；将所述注意力特征图的每个通道的特征图转换成相应的列向量；按照以下公式计算所述注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差：；其中，fi为第i个通道的特征图对应的列向量，fj为第j个通道的特征图对应的列向量，/>为第i个通道的特征图对应的列向量中元素的均值，/>为第j个通道的特征图对应的列向量中元素的均值，，/>，/>为第i个通道的特征图对应的列向量中第k个元素的值，/>为第j个通道的特征图对应的列向量中第k个元素的值，w和h分别为特征图的宽和高；基于所述注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差，构建所述注意力特征图对应的协方差矩阵如下： ∑/>；其中，∑为协方差矩阵，c为所述注意力特征图的通道数；所述注意力特征图的每个通道的特征图各自具有所述缺陷的特征；
每个所述注意力模块还用于：通过线性卷积将c×c的协方差矩阵变换成1×4c的特征向量；
每个所述注意力模块还用于：通过非线性激活将1×4c的特征向量变换成1×c’的权重向量；其中，c’为输入特征图的通道数；
每个所述注意力模块还用于：按照以下公式对相应卷积块输出的输入特征图进行可变形卷积计算，得到相应的注意力特征图：；其中，I为3×3的可变形卷积核，/>为输入特征图的每个元素位置，/>为I的第i个点，/>为/>在输入特征图对应元素位置的偏移量，/>为/>在输入特征图对应元素位置偏移/>后在输入特征图上的值，/>为/>的权重，/>为输入特征图上以/>为中心的特征区域经过I一次滑动卷积后计算出的值，特征区域的尺寸与I的尺寸对应。
CN202310362211.9A 2023-04-07 2023-04-07 基于改进Faster-RCNN的缺陷检测方法及装置 Active CN116091496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310362211.9A CN116091496B (zh) 2023-04-07 2023-04-07 基于改进Faster-RCNN的缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310362211.9A CN116091496B (zh) 2023-04-07 2023-04-07 基于改进Faster-RCNN的缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN116091496A CN116091496A (zh) 2023-05-09
CN116091496B true CN116091496B (zh) 2023-11-24

Family

ID=86202895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310362211.9A Active CN116091496B (zh) 2023-04-07 2023-04-07 基于改进Faster-RCNN的缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN116091496B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665138B (zh) * 2023-08-01 2023-11-07 临朐弘泰汽车配件有限公司 一种汽车配件冲压加工视觉检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598861A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN111814611A (zh) * 2020-06-24 2020-10-23 重庆邮电大学 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统
CN112950546A (zh) * 2021-02-03 2021-06-11 中南民族大学 一种钡餐造影图像的食道癌检测方法及系统
CN113160139A (zh) * 2021-03-24 2021-07-23 华南理工大学 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法
CN113674247A (zh) * 2021-08-23 2021-11-19 河北工业大学 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN114004978A (zh) * 2021-11-04 2022-02-01 昆明理工大学 一种基于注意力机制和可变形卷积的点云目标检测方法
CN114821804A (zh) * 2022-05-18 2022-07-29 江苏奥斯汀光电科技股份有限公司 基于注意力机制的图卷积神经网络的动作识别方法
CN115359571A (zh) * 2022-09-01 2022-11-18 厦门信息技术应用创新研究院有限公司 一种在线跨通道交互式并行蒸馏架构姿态预估方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598861A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN111814611A (zh) * 2020-06-24 2020-10-23 重庆邮电大学 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统
CN112950546A (zh) * 2021-02-03 2021-06-11 中南民族大学 一种钡餐造影图像的食道癌检测方法及系统
CN113160139A (zh) * 2021-03-24 2021-07-23 华南理工大学 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法
CN113674247A (zh) * 2021-08-23 2021-11-19 河北工业大学 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN114004978A (zh) * 2021-11-04 2022-02-01 昆明理工大学 一种基于注意力机制和可变形卷积的点云目标检测方法
CN114821804A (zh) * 2022-05-18 2022-07-29 江苏奥斯汀光电科技股份有限公司 基于注意力机制的图卷积神经网络的动作识别方法
CN115359571A (zh) * 2022-09-01 2022-11-18 厦门信息技术应用创新研究院有限公司 一种在线跨通道交互式并行蒸馏架构姿态预估方法及装置

Also Published As

Publication number Publication date
CN116091496A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
AU2020100705A4 (en) A helmet detection method with lightweight backbone based on yolov3 network
TWI729405B (zh) 優化損傷檢測結果的方法及裝置
CN106778586B (zh) 离线手写签名鉴别方法及系统
WO2021000524A1 (zh) 孔位保护门检测方法、装置、计算机设备和存储介质
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN110503054B (zh) 文本图像的处理方法及装置
CN109934278B (zh) 一种信息增益混合邻域粗糙集的高维度特征选择方法
CN116091496B (zh) 基于改进Faster-RCNN的缺陷检测方法及装置
CN110503102A (zh) 车辆识别码检测方法、装置、计算机设备和存储介质
Xie et al. Fabric defect detection method combing image pyramid and direction template
CN111753873A (zh) 一种图像检测方法和装置
CN116798036B (zh) 用于识别和校验答题卡客观题识别结果的方法及装置
CN110766075A (zh) 轮胎区域图像比对方法、装置、计算机设备和存储介质
CN113793332A (zh) 一种实验仪器缺陷识别分类方法及系统
JP5298552B2 (ja) 判別装置、判別方法及びプログラム
CN116030056A (zh) 一种钢表面裂缝的检测方法及系统
CN117197085A (zh) 基于改进YOLOv8网络的公路快检图像路面病害检测方法
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
JP6504682B2 (ja) 部品種類自動判別方法及び部品種類自動判別システム並びに画像処理用部品データ作成方法及び画像処理用部品データ作成システム
US11244206B2 (en) Image normalization for facial analysis
CN112001388B (zh) 一种基于YOLOv3改进模型的用于检测PCB中圆形目标的方法
CN114494765A (zh) 真假烟鉴别点的识别方法、装置、电子设备及存储介质
CN111046883A (zh) 一种基于古钱币图像的智能评估方法及系统
CN118052809A (zh) 一种考虑提示学习的零样本点云异常检测方法及系统
CN117227144A (zh) 智能化吹塑生产线及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant