CN113269237A - 基于注意力机制的装配体变化检测方法、设备和介质 - Google Patents

基于注意力机制的装配体变化检测方法、设备和介质 Download PDF

Info

Publication number
CN113269237A
CN113269237A CN202110507300.9A CN202110507300A CN113269237A CN 113269237 A CN113269237 A CN 113269237A CN 202110507300 A CN202110507300 A CN 202110507300A CN 113269237 A CN113269237 A CN 113269237A
Authority
CN
China
Prior art keywords
assembly
feature
change
attention mechanism
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110507300.9A
Other languages
English (en)
Other versions
CN113269237B (zh
Inventor
陈成军
李长治
李东年
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202110507300.9A priority Critical patent/CN113269237B/zh
Priority to CA3121440A priority patent/CA3121440C/en
Priority to US17/342,592 priority patent/US11630972B2/en
Publication of CN113269237A publication Critical patent/CN113269237A/zh
Application granted granted Critical
Publication of CN113269237B publication Critical patent/CN113269237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于注意力机制的装配体变化检测方法，包括以下步骤：建立装配体的三维模型，对三维模型中各零件添加标签，设定若干个装配节点，获取各装配节点下的三维模型在不同视角下的深度图像，并获取各装配节点新增零件的变化标签图像；选取前后两时刻不同视角下的两张深度图像作为训练样本；将训练样本依次经过语义融合、特征提取、注意力机制处理以及度量学习，对检测模型进行训练，不断选取训练样本对检测模型进行训练，保存训练过程中相似度最优的模型参数，完成训练；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中装配体新增零件的变化图像。

Description

基于注意力机制的装配体变化检测方法、设备和介质
技术领域
本发明涉及基于注意力机制的装配体多视角变化检测方法，属于计算机视觉和智能制造技术领域。
背景技术
计算机视觉对智能制造业升级具有重要意义，尤其是深度学习网络的大量涌现促进了现代工业的发展。在大规模个性化定制生产组装过程中，产品类型的不断变化将增加组装产品的难度。在复杂装配体零部件装配过程中，若未能及时检测到新装配的零部件正确与否，则会影响到机械产品的质量和装配效率。因此，在机械类装配体装配过程中，从多视角检测每个装配步骤新装配零部件，将有助于获取机械装配过程的相关信息，并及时发现其中错误，进而实现错误快速定位，提高机械产品的生产效率，保障机械产品质量水平，对机械类装配体的装配过程智能检测具有重要研究价值。
图像变化检测能够根据两张不同时间、不同视角的图像，判断图像状态的差异。图像变化检测目前主要应用于卫星图像和航拍图像研究中，对农业调查、自然灾害检测、森林资源监测等方面具有重要实用价值。传统的变化检测方法主要包含三步流程：1)输入两张需要检测分析的图像；2)使用差异算子或其他方法获得差异图；3)分析差异图的数据差异获得变化区域。对于传统的变化检测方法，性能的好坏依赖于差异图的形成，而差异图的形成又有较大的噪声干扰，所以无法得到较高的精度。
当前，随着深度学习技术蓬勃发展，深度学习已经被引入到变化检测中，提出了许多基于深度学习的变化检测算法，并取得了良好效果。但是在这些方法中，主要是针对遥感卫星图像和航拍图像相似视角的变化检测。目前，对于机械类装配体的多视角变化检测的研究很少，这主要是因为相对于卫星图像，机械零件结构较为复杂、遮挡严重、视角变化大、零部件的颜色和纹理信息单一等特点，难以对其装配过程进行变化检测，同时缺少对应的数据集。
发明内容
为了解决上述现有技术中存在的问题，本发明提出了一种基于注意力机制的装配体变化检测方法、设备和介质，能够在装配体装配过程中进行变化检测。
本发明的技术方案如下：
技术方案一：
一种基于注意力机制的装配体变化检测方法，包括以下步骤：
建立数据集；建立装配体的三维模型，对三维模型中各零件添加标签，依据给定的装配体的装配步骤确定若干个装配节点，分别对各装配节点下的三维模型进行成像处理，获取各装配节点下的三维模型在不同视角下的深度图像，并根据零件的标签获取各装配节点新增零件的变化标签图像；
训练检测模型；选取前后两相邻装配节点的三维模型在不同视角下的两张深度图像作为训练样本；分别对两深度图像进行语义分割获得语义图像，将两语义图像与对应的深度图像进行像素融合，得到两张融合图像；分别对两张融合图像进行特征提取，获取对应的两张初始特征图；通过注意力机制分别收集两张初始特征图的上下文信息，并根据上下文信息捕获初始特征图的全局位置依赖性，得到对应的两张注意力特征图；计算两张注意力特征图之间的欧式距离，并生成特征距离图，根据特征距离图输出变化图像；定义损失函数计算变化图像与变化标签图像之间的相似度，不断选取训练样本对检测模型进行训练，保存训练过程中相似度最优的模型参数，完成训练；
变化检测；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中装配体新增零件的变化图像。
进一步的，在所述对两张融合图像进行特征提取，获取对应的两张初始特征图的步骤中，特征提取的方法具体为：
对输入的融合图像进行3×3卷积，利用RepVGG分类网络的四个stage阶段提取输入图像的特征；
在RepVGG分类网络的每个stage阶段后嵌入注意力机制，分别得到四组特征映射，分别对四组特征映射进行1×1卷积后，再将特征映射的通道尺寸都转换为P1，P1设定为前两组特征映射的通道尺寸平均值；
将后三个stage阶段特征映射的特征图尺寸统一上采样为第一个stage阶段的特征图尺寸大小，对得到的四组特征图进行通道的串联融合，并将融合后的特征图依次进行3×3卷积和1×1卷积获得初始特征图。
进一步的，在所述RepVGG分类网络中嵌入的注意力机制与所述收集两张初始特征图的上下文信息步骤中使用的注意力机制相同，该注意力机制包括两个阶段：
在第一个阶段，通过自注意力算法，在保存原有特征信息的情况下收集特征信息水平和垂直方向的上下文信息，得到原有特征信息的横纵交叉路径；
在第二个阶段，再次通过自注意力算法，从所述横纵交叉路径获取其他上下文信息，得到特征图的全局位置依赖性。
进一步的，所述计算两张注意力特征图之间的欧式距离，并生成特征距离图，根据特征距离图输出变化图像的具体步骤为：
首先通过双线性插值将两张输入的注意力特征图的尺寸调整为与最初输入的深度图像的尺寸大小相同；
计算尺寸调整后的两张注意力特征图之间的欧式距离，并生成特征距离图；
根据特征距离图中距离信息，设定变化阈值，通过变化阈值和距离信息将深度图像区域划分为变化区域和未变区域，据此输出后一装配节点相对于前一装配节点的变化图像。
进一步的，所述损失函数具体为：
Figure BDA0003058940030000041
其中，d＝||an-bn||2，表示两个训练样本的映射向量之间的欧式距离，y为通过变化标签图像获取的标签值，y＝1代表相似，y＝0则代表不相似，N为训练样本像素点的个数，margin为人为设定的阈值。
技术方案二：
一种基于注意力机制的装配体变化检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施例所述的一种基于注意力机制的装配体变化检测方法。
技术方案三：
一种基于注意力机制的装配体变化检测介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本发明任一实施例所述的一种基于注意力机制的装配体变化检测方法。
本发明具有如下有益效果：
本发明设计了包含语义融合模块、特征提取模块、注意力模块、度量学习模块的检测模型。其中，语义融合模块用于融合语义图像和深度图像获得融合图像，进而丰富图像特征信息；特征提取模块提取融合图像的高维语义信息和低维空间信息获得初始特征图；注意力模块从初始特征图中快速聚焦于当前任务的关键信息，进而获得最终特征图；度量学习模块根据最终特征图的特征信息计算特征间的距离大小以获得变化区域，通过变化区域输出装配体前后装配节点的变化图像，利用变化图像可以监测装配体装配过程中的漏装、错装以及装配步骤。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例检测模型的示意图；
图3为本发明实施例中特征提取模块的示例图；
图4为本发明实施例中注意力模块的示例图；
图5为本发明实施例中训练样本的示例图；
图6为本发明实施例中，模型输出的变化图像与真实的变化标签图像的示例图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一：
参见图1，一种基于注意力机制的装配体变化检测方法，包括以下步骤：
建立数据集；通过SolidWorks软件建立机械装配体的三维模型，对三维模型中各零件添加标签，本实施例中，对零件添加的标签为颜色标记，设定m个装配节点，m-1个装配步骤，每个步骤装配一个零零件，然后将机械装配体的三维模型加载到深度图像和彩色图像成像软件中，设定虚拟摄像机分别对各装配节点的不同角度进行成像处理，获取各装配节点下的三维模型在不同视角下的深度图像和彩色图像，并利用彩色图像的颜色标记生成各装配节点新装配的零件的变化标签图像；
训练检测模型；选取前一装配节点的三维模型在一视角下的深度图像以及后一装配节点的三维模型在不同视角下的深度图像作为一组训练样本；
参见图2，本实施例中，检测模型包括四个模块：语义融合模块、特征提取模块、注意力模块以及度量学习模块；
首先将训练样本输入至语义融合模块，语义融合模块包括语义分割网络和像素融合网络，首先通过语义分割网络分别对两张深度图像进行语义分割获得对应的两张语义图像，再通过像素融合网络将两张语义图像分别与其对应的深度图像进行像素融合，得到两张融合图像；本实施例中，语义分割网络(如FCN、U-Net等)用于分割装配体零件，将不同视角的深度图像输入到语义分割网络得到语义图像。像素融合网络采用像素级图像融合方法将语义图像和深度图像按一定的像素比例值融合，从而在融合语义信息的条件下尽量保存深度信息，增加了图像特征信息量。
通过特征提取模块分别对两张融合图像进行特征提取，本实施例设计了多尺度特征提取融合机制，融合高维语义信息和低维空间信息以增加特征的信息量，获取对应的两张初始特征图；
通过注意力模块，利用注意力机制分别收集两张初始特征图的上下文信息，并根据上下文信息捕获初始特征图的全局位置依赖性，得到对应的两张注意力特征图；
通过度量模块，首先计算两张注意力特征图之间的欧式距离，并生成特征距离图，根据特征距离图输出变化图像；定义损失函数计算变化图像与后一装配节点的变化标签图像之间的相似度，不断选取训练样本对检测模型进行训练，保存训练过程中相似度最优的模型参数，完成训练；
变化检测；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中装配体新增零件的变化图像。
本实施例设计了包含语义融合模块、特征提取模块、注意力模块、度量学习模块的检测模型。其中，语义融合模块用于融合语义图像和深度图像获得融合图像，进而丰富图像特征信息；特征提取模块提取融合图像的高维语义信息和低维空间信息获得初始特征图；注意力模块从初始特征图中快速聚焦于当前任务的关键信息，进而获得最终特征图；度量学习模块根据最终特征图的特征信息计算特征间的距离大小以获得变化区域，通过变化区域输出装配体前后装配节点的变化图像，利用变化图像可以监测装配体装配过程中的漏装、错装以及装配步骤是否正确。
实施例二：
参见图3，本实施例提出了一种特征提取模块的具体实现方式：
首先对输入的融合图像进行3×3卷积，利用RepVGG分类网络的四个stage阶段提取输入图像的特征；
在RepVGG分类网络的每个stage阶段后嵌入注意力机制，分别得到四组特征映射，分别对四组特征映射进行1×1卷积后，再将特征映射的通道尺寸都转换为P1，P1设定为前两组特征映射的通道尺寸平均值；
将后三个stage阶段特征映射的特征图尺寸统一上采样为第一个stage阶段的特征图尺寸大小，对得到的四组特征图进行通道的串联融合，并将融合后的特征图依次进行3×3卷积和1×1卷积获得初始特征图。由于采用多尺度特征融合机制，得到的融合后特征图信息量较大，不利于模块速度和精度的提升，通过这二个卷积层能够有效降低通道维度，充分利用融合后的特征信息，生成更具区分性的特征量。
进一步的，参见图4，在所述RepVGG分类网络中嵌入的注意力机制与所述注意力模块使用的注意力机制相同，本实施例提出了一种注意力机制的具体实现方式，该注意力机制包括两个阶段：
在第一个阶段即Self-attention 1，通过Self-attention自注意力算法，在保存原有特征信息的情况下收集特征信息水平和垂直方向的上下文信息，得到包含原有特征信息的横纵交叉路径的初始注意力特征图；
在第二个阶段即Self-attention 2，将产生的初始注意力特征图馈送给Self-attention 2，再次通过Self-attention自注意力算法，从所述横纵交叉路径获取其他上下文信息，得到特征图的全局位置依赖性。在Self-attention 1阶段和Self-attention 2阶段共享每个特征向量参数值，只需两次Self-attention算法便可捕获全局位置依赖性，输出最终注意力特征图中的每个位置都可以从所有像素中收集信息。注意力模块有助于在众多的输入信息中快速聚焦于当前任务关键信息，降低无关信息，并显著提高任务的处理效率和准确性
进一步的，本实施例提出了一种度量学习模块的具体实现方式：
该模块通过学习从输入数据到映射空间的非线性转换，对于相似样本的映射向量趋向于更近，而相异样本的映射向量彼此趋向于远离。为此，本专利采用对比损失函数来定义映射向量的较小距离和较大距离来实现映射空间中的每个变化。对比损失函数L为：
Figure BDA0003058940030000101
其中d＝||an-bn||2，代表两个样本映射向量的欧氏距离，y为通过变化标签图像获取的标签值，y＝1代表预测出的变化图像与真实的变化标签图像对应的像素点的像素值相似或匹配，y＝0则代表不匹配，N为训练样本像素点的个数，margin为设定的阈值，这里设定为1。该损失函数可以理解为两步骤，一步是计算两个训练样本的距离信息，也就是前后两张图像的特征差异信息。第二步是根据这个差异信息，即预测的变化图像与真实的变化标签图像的实际差异信息进行对比。
具体过程中，首先给定不同时刻、不同视角的双时相特征图，通过双线性插值将每个特征图的大小调整为与输入的图像大小相同。然后计算尺寸调整后的特征图之间的欧式距离，以生成特征距离图
Figure BDA0003058940030000102
其中W0，H0分别为输入图像的高度和宽度。在训练阶段，通过上述定义的对比损失函数学习并不断更新网络参数，生成变化掩码并保存最优模块。在测试阶段，根据训练网络所保存的最优模型，通过设定固定阈值获得变化区域B：
Figure BDA0003058940030000103
其中i,j(1≤i≤W0,1≤j≤H0)，表示特征距离图D的宽和高索引，θ为分离变化区域设定的固定阈值，在这里设定为1。
基于变化区域B输出装配过程的场景变化图像。如图5和图6所示，图5中展示了一组训练样本，即装配体的三维模型在前后时刻两相邻装配节点的深度图像的示例图；图6中，左边为根据图5中两深度图像输出的变化图像，右边为根据装配节点得到的实际变化标签图像；通过损失函数计算相似度，不断选取训练样本对模型进行迭代训练，使模型输出的变化图像逐渐匹配变化标签图像。
实施例三：
一种基于注意力机制的装配体变化检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施例所述的一种基于注意力机制的装配体变化检测方法。
实施例四：
一种基于注意力机制的装配体变化检测介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本发明任一实施例所述的一种基于注意力机制的装配体变化检测方法。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于注意力机制的装配体变化检测方法，其特征在于，包括以下步骤：
建立数据集；建立装配体的三维模型，对三维模型中各零件添加标签，依据给定的装配体的装配步骤确定若干个装配节点，分别对各装配节点下的三维模型进行成像处理，获取各装配节点下的三维模型在不同视角下的深度图像，并根据零件的标签获取各装配节点新增零件的变化标签图像；
训练检测模型；选取前后两相邻装配节点的三维模型在不同视角下的两张深度图像作为训练样本；分别对两深度图像进行语义分割获得语义图像，将两语义图像与对应的深度图像进行像素融合，得到两张融合图像；分别对两张融合图像进行特征提取，获取对应的两张初始特征图；通过注意力机制分别收集两张初始特征图的上下文信息，并根据上下文信息捕获初始特征图的全局位置依赖性，得到对应的两张注意力特征图；计算两张注意力特征图之间的欧式距离，并生成特征距离图，根据特征距离图输出变化图像；定义损失函数计算变化图像与变化标签图像之间的相似度，不断选取训练样本对检测模型进行训练，保存训练过程中相似度最优的模型参数，完成训练；
变化检测；获取待检测的装配体装配过程中前后两装配节点的深度图像，输入至训练好的检测模型中，输出装配过程中装配体新增零件的变化图像。
2.根据权利要求1所述的一种基于注意力机制的装配体变化检测方法，其特征在于，在所述对两张融合图像进行特征提取，获取对应的两张初始特征图的步骤中，特征提取的方法具体为：
对输入的融合图像进行3×3卷积，利用RepVGG分类网络的四个stage阶段提取输入图像的特征；
在RepVGG分类网络的每个stage阶段后嵌入注意力机制，分别得到四组特征映射，分别对四组特征映射进行1×1卷积后，再将特征映射的通道尺寸都转换为P1，P1设定为前两组特征映射的通道尺寸平均值；
将后三个stage阶段特征映射的特征图尺寸统一上采样为第一个stage阶段的特征图尺寸大小，对得到的四组特征图进行通道的串联融合，并将融合后的特征图依次进行3×3卷积和1×1卷积获得初始特征图。
3.根据权利要求2所述的一种基于注意力机制的装配体变化检测方法，其特征在于，在所述RepVGG分类网络中嵌入的注意力机制与所述收集两张初始特征图的上下文信息步骤中使用的注意力机制相同，该注意力机制包括两个阶段：
在第一个阶段，通过自注意力算法，在保存原有特征信息的情况下收集特征信息水平和垂直方向的上下文信息，得到原有特征信息的横纵交叉路径；
在第二个阶段，再次通过自注意力算法，从所述横纵交叉路径获取其他上下文信息，得到特征图的全局位置依赖性。
4.根据权利要求1所述的一种基于注意力机制的装配体变化检测方法，其特征在于，所述计算两张注意力特征图之间的欧式距离，并生成特征距离图，根据特征距离图输出变化图像的具体步骤为：
首先通过双线性插值将两张输入的注意力特征图的尺寸调整为与最初输入的深度图像的尺寸大小相同；
计算尺寸调整后的两张注意力特征图之间的欧式距离，并生成特征距离图；
根据特征距离图中距离信息，设定变化阈值，通过变化阈值和距离信息将深度图像区域划分为变化区域和未变区域，据此输出后一装配节点相对于前一装配节点的变化图像。
5.根据权利要求1所述的一种基于注意力机制的装配体变化检测方法，其特征在于，所述损失函数具体为：
Figure FDA0003058940020000031
其中，d＝||an-bn||2，表示两个训练样本的映射向量之间的欧式距离，y为通过变化标签图像获取的标签值，y＝1代表相似，y＝0则代表不相似，N为训练样本像素点的个数，margin为人为设定的阈值。
6.一种基于注意力机制的装配体变化检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的一种基于注意力机制的装配体变化检测方法。
7.一种基于注意力机制的装配体变化检测介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的一种基于注意力机制的装配体变化检测方法。
CN202110507300.9A 2021-05-10 2021-05-10 基于注意力机制的装配体变化检测方法、设备和介质 Active CN113269237B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110507300.9A CN113269237B (zh) 2021-05-10 2021-05-10 基于注意力机制的装配体变化检测方法、设备和介质
CA3121440A CA3121440C (en) 2021-05-10 2021-06-08 Assembly body change detection method, device and medium based on attention mechanism
US17/342,592 US11630972B2 (en) 2021-05-10 2021-06-09 Assembly body change detection method, device and medium based on attention mechanism

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110507300.9A CN113269237B (zh) 2021-05-10 2021-05-10 基于注意力机制的装配体变化检测方法、设备和介质

Publications (2)

Publication Number Publication Date
CN113269237A true CN113269237A (zh) 2021-08-17
CN113269237B CN113269237B (zh) 2022-12-27

Family

ID=77230275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110507300.9A Active CN113269237B (zh) 2021-05-10 2021-05-10 基于注意力机制的装配体变化检测方法、设备和介质

Country Status (3)

Country Link
US (1) US11630972B2 (zh)
CN (1) CN113269237B (zh)
CA (1) CA3121440C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019578A (zh) * 2022-05-18 2022-09-06 湖南铁道职业技术学院 一种部件拆装实训方法及系统
CN116205856A (zh) * 2023-02-01 2023-06-02 哈尔滨市科佳通用机电股份有限公司 基于深度学习的人力制动机轴链折断故障检测方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020255227A1 (ja) * 2019-06-17 2020-12-24 日本電信電話株式会社 学習装置、検索装置、学習方法、検索方法、学習プログラム、及び検索プログラム
CN115033998B (zh) * 2022-07-13 2023-02-21 北京航空航天大学 一种面向机械零部件的个性化2d数据集构建方法
CN115239515B (zh) * 2022-07-28 2023-04-07 德玛克(长兴)精密机械有限公司 用于机械部件的精密智能化加工制造系统及其制造方法
CN115761815B (zh) * 2023-01-10 2023-04-25 合肥中科类脑智能技术有限公司 人体检测模型的训练方法及人体检测方法、设备、介质
CN116052007B (zh) * 2023-03-30 2023-08-11 山东锋士信息技术有限公司 一种融合时间和空间信息的遥感图像变化检测方法
CN116343045B (zh) * 2023-03-30 2024-03-19 南京理工大学 基于YOLO v5的轻量化SAR图像舰船目标检测方法
CN116091848B (zh) * 2023-04-03 2023-07-04 青岛创新奇智科技集团股份有限公司 试管分类方法、装置、设备及存储介质
CN116452983B (zh) * 2023-06-12 2023-10-10 合肥工业大学 一种基于无人机航拍影像的国土地貌变化快速发现方法
CN116665019B (zh) * 2023-07-31 2023-09-29 山东交通学院 一种用于车辆重识别的多轴交互多维度注意力网络
CN117036756B (zh) * 2023-08-08 2024-04-05 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 基于变分自动编码器的遥感图像匹配方法及系统
CN116881704B (zh) * 2023-09-06 2023-11-14 北京新亚盛创电气技术有限公司 电网运行状态的预警方法及系统
CN116958907B (zh) * 2023-09-18 2023-12-26 四川泓宝润业工程技术有限公司 一种输气管道周边隐患目标巡检方法及系统
CN117671432B (zh) * 2024-01-31 2024-05-07 苏州元脑智能科技有限公司 变化分析模型训练方法、装置、电子设备及存储介质
CN117808807B (zh) * 2024-02-29 2024-05-14 中国人民解放军国防科技大学 光学卫星遥感图像实例级变化检测方法
CN118313737B (zh) * 2024-06-11 2024-09-03 国网浙江省电力有限公司宁波供电公司 基于数字孪生技术的带电作业仿真评估方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111274892A (zh) * 2020-01-14 2020-06-12 北京科技大学 一种鲁棒的遥感影像变化检测方法及系统
CN111445474A (zh) * 2020-05-25 2020-07-24 南京信息工程大学 基于双向复注意力深度网络的肾脏ct图像分割方法
CN111476714A (zh) * 2020-03-30 2020-07-31 清华大学 基于psv神经网络的跨尺度图像拼接方法及装置
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
CN112288750A (zh) * 2020-11-20 2021-01-29 青岛理工大学 一种基于深度学习网络的机械装配体图像分割方法和设备
CN112488025A (zh) * 2020-12-10 2021-03-12 武汉大学 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107667380A (zh) * 2015-06-05 2018-02-06 西门子公司 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统
US10452960B1 (en) * 2018-10-01 2019-10-22 Texas Instruments Incorporated Image classification
US10755128B2 (en) * 2018-12-18 2020-08-25 Slyce Acquisition Inc. Scene and user-input context aided visual search
CA3158287A1 (en) * 2019-11-12 2021-05-20 Brian Pugh Method and system for scene image modification

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111274892A (zh) * 2020-01-14 2020-06-12 北京科技大学 一种鲁棒的遥感影像变化检测方法及系统
CN111476714A (zh) * 2020-03-30 2020-07-31 清华大学 基于psv神经网络的跨尺度图像拼接方法及装置
CN111445474A (zh) * 2020-05-25 2020-07-24 南京信息工程大学 基于双向复注意力深度网络的肾脏ct图像分割方法
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN112288750A (zh) * 2020-11-20 2021-01-29 青岛理工大学 一种基于深度学习网络的机械装配体图像分割方法和设备
CN112488025A (zh) * 2020-12-10 2021-03-12 武汉大学 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENGJUN CHEN等: "Monitoring of Assembly Process Using Deep Learning Technology", 《SENSORS》 *
HAO CHEN等: "A Spatial-Temporal Attention-Based Method and a New Dataset for Remote Sensing Image Change Detection", 《REMOTE SENSING》 *
ZILONG HUANG等: "CCNet: Criss-Cross Attention for Semantic Segmentation", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
田中可: "基于深度图像的零件识别及装配监测研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》 *
网友技术挖掘者: "RepVGG算法详解", 《CSDN》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019578A (zh) * 2022-05-18 2022-09-06 湖南铁道职业技术学院 一种部件拆装实训方法及系统
CN116205856A (zh) * 2023-02-01 2023-06-02 哈尔滨市科佳通用机电股份有限公司 基于深度学习的人力制动机轴链折断故障检测方法及系统
CN116205856B (zh) * 2023-02-01 2023-09-08 哈尔滨市科佳通用机电股份有限公司 基于深度学习的人力制动机轴链折断故障检测方法及系统

Also Published As

Publication number Publication date
CA3121440C (en) 2023-11-07
US11630972B2 (en) 2023-04-18
US20220358334A1 (en) 2022-11-10
CN113269237B (zh) 2022-12-27
CA3121440A1 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113269237B (zh) 基于注意力机制的装配体变化检测方法、设备和介质
US11900628B2 (en) Stereo matching method and apparatus, image processing apparatus, and training method therefor
Uhrig et al. Sparsity invariant cnns
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
CN109165540B (zh) 一种基于先验候选框选择策略的行人搜索方法和装置
CN113762358B (zh) 一种基于相对深度训练的半监督学习三维重建方法
US7561732B1 (en) Method and apparatus for three-dimensional shape estimation using constrained disparity propagation
CN111402237A (zh) 基于时空级联自编码器的视频图像异常检测方法及系统
CN111105451B (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
CN114519853B (zh) 一种基于多模态融合的三维目标检测方法及系统
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN114429555A (zh) 由粗到细的图像稠密匹配方法、系统、设备及存储介质
CN110310305A (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN114140623A (zh) 一种图像特征点提取方法及系统
CN112907569A (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
CN116311218A (zh) 基于自注意力特征融合的带噪植株点云语义分割方法及系统
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
Huang et al. ES-Net: An efficient stereo matching network
CN115049833A (zh) 一种基于局部特征增强和相似性度量的点云部件分割方法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114792417A (zh) 模型训练方法、图像识别方法、装置、设备及存储介质
CN118097268A (zh) 一种基于监控场景的长尾目标检测方法
CN116823816B (zh) 一种基于安防监控静态存储器的检测设备及检测方法
CN113723468B (zh) 一种三维点云的物体检测方法
Li et al. Automatic reconstruction and modeling of dormant jujube trees using three-view image constraints for intelligent pruning applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant