CN117115478A - 一种基于双流孪生网络的装配防错检测方法 - Google Patents

一种基于双流孪生网络的装配防错检测方法 Download PDF

Info

Publication number
CN117115478A
CN117115478A CN202310956191.8A CN202310956191A CN117115478A CN 117115478 A CN117115478 A CN 117115478A CN 202310956191 A CN202310956191 A CN 202310956191A CN 117115478 A CN117115478 A CN 117115478A
Authority
CN
China
Prior art keywords
image
assembly
error
detection
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310956191.8A
Other languages
English (en)
Other versions
CN117115478B (zh
Inventor
李大伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202310956191.8A priority Critical patent/CN117115478B/zh
Publication of CN117115478A publication Critical patent/CN117115478A/zh
Application granted granted Critical
Publication of CN117115478B publication Critical patent/CN117115478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双流孪生网络的装配防错检测方法，包括：提取正确装配局部图像；对提取的正确装配局部图像进行旋转变换，各图像与模板图像组成一组正确装配图像与模板图像的图像组对；模拟错误装配场景并构建错误装配图像与模板图像的图像组对，结合正确装配图像与模板图像的图像组对形成产品装配要素防错检测预训练数据集合；构建用于产品装配要素防错检测的双流孪生检测网络模型；基于预训练数据集合对双流孪生检测网络模型进行训练，并生成训练权重模型；将训练生成的网络权重模型进行迁移，输入待检测图像和模板图像实现多类产品装配过程要素防错检测。本发明有效提升了装配要素防错检测的准确性、效率与可靠性。

Description

一种基于双流孪生网络的装配防错检测方法
技术领域
本发明属于工业制造产品装配质量检测技术领域，具体涉及一种基于双流孪生网络的装配防错检测方法。
背景技术
工业制造正从传统离散的制造模式向着自动化、智能化的方向发展，产品功能丰富化、质量优越化、信息智能化。产品生产过程主要包括材料、零件制造、装配、检验、出厂等环节，产品装配作为影响产品最终质量的关键一环，其装配质量对产品最终的出厂质量具有至关重要的作用。为了保障产品生产质量，装配质量检测是产品生产制造过程中必不可少。
现阶段工业产品装配质量检测主要依靠人工目视的方式进行检查，检测效率低、精度差且主观性强，难以执行统一的装配质量检验标准，导致产品出厂质量一致性难保证，对产品最终的质量具有一定的影响。产品装配要素多，人工检测效率低下，一直严重阻碍着较为复杂产品制造质量与效率的提升。
随着机器视觉、图像处理、人工智能等技术的快速发展，此类技术已广泛应用于汽车、航空航天、轨道交通、电子信息等众多生产制造行业中，大大提升了生产制造领域的自动化与智能化水平，保障了产品生产质量、效率与可靠性，为制造业高质量快速发展提供了技术支撑。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于双流孪生网络的装配防错检测方法，构建的双流孪生网络模型可提取模板图像和待检测图像的高维语义特征，通过抽象表征和对比度量，可准确度量待检测装配要素的相似性程度，从而判断待检测对象的装配准确性与可靠性，避免了因人工目视检查导致的漏检、错检等问题，有效提升了装配要素防错检测的准确性、效率与可靠性，精确、高效的解决了产品制造装配过程中因要素错误导致的产品质量问题，保障了产品制造质量的稳定性与可靠性。
为实现上述技术目的，本发明采取的技术方案为：
一种基于双流孪生网络的装配防错检测方法，包括：
步骤1：对全局图像进行局部区域搜索以及局部区域与模板图像的特征相似性度量，提取正确装配局部图像；
步骤2：对步骤1中提取的正确装配局部图像进行旋转变换，各图像与模板图像组成一组正确装配图像与模板图像的图像组对；
步骤3：模拟错误装配场景并构建错误装配图像与模板图像的图像组对，结合正确装配图像与模板图像的图像组对形成产品装配要素防错检测预训练数据集合；
步骤4：构建用于产品装配要素防错检测的双流孪生检测网络模型；
步骤5：基于步骤3构建的预训练数据集合对步骤4构建的双流孪生检测网络模型进行训练，并生成训练权重模型；
步骤6：将步骤5训练生成的网络权重模型进行迁移，输入待检测图像和模板图像实现多类产品装配过程要素防错检测。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤1包括：
步骤1.1：获取待检测局部装配要素的模板图像It，在全局图像I中进行粗粒度局部区域搜索，采用改进的局部归一化评价模型Ncc进行It与粗粒度局部区域图像的特征相似性度量，提取与模板图像It特征相似性最高的粗粒度局部区域图像，作为装配要素粗定位的局部区域图像Ii；
其中模板图像为装配要素正确装配的图像；
步骤1.2：针对装配要素粗定位的局部区域图像Ii，在Ii中进行细粒度局部区域搜索，采用相似度评价模型Ncc2进行细粒度局部区域图像与It特征相似性度量，最终提取与图像It相似度最高的细粒度局部区域图像，实现装配要素精确定位，与图像It相似度最高的细粒度局部区域图像即为正确装配局部图像Id。
上述的步骤1.1中改进的局部归一化评价模型Ncc1如下：
其中，Cov(Xr,Yr)表示r通道下Xr,Yr图像的协方差；
Cov(Xg,Yg)表示g通道下Xg,Yg图像协方差；
Cov(Xb,Yb)表示b通道下Xb,Yb图像的协方差；
Var(·)表示图像自身方差；
Xr,Yr分别表示X和Y图像的r通道分离图像结果；Xg,Yg分别表示X和Y图像的g通道下分离图像结果；Xb,Yb分别表示X和Y图像的b通道下分离图像结果；
X和Y图像为待特征相似性度量的图像；
δr、δg和δb表示图像在r、g、b通道下相似数量权重分量。
上述的步骤1.2中相似度评价模型Ncc2如下：
其中，
Cov(Xh,Yh)表示h通道下Xh,Yh图像的协方差；
Cov(Xs,Ys)表示s通道下Xs,Ys图像的协方差；
Cov(Xv,Yv)表示v通道下Xv,Yv图像的协方差；
Var(·)表示图像自身方差；
Xh,Yh表示X和Y图像的hsv空间下h通道分离图像结果；
Xs,Ys表示X和Y图像的hsv空间下s通道分离图像结果；
Xv,Yv表示X和Y图像的hsv空间下v通道分离图像结果；
δh、δs和δs表示图像在不同色度、饱和度和亮度下相似数量权重分量。
上述的步骤2将步骤1中提取的正确装配局部图像Id按照逆时针方向旋转不同角度，获取Id不同视角下的旋转变换效果，每一角度图像与模板图像组成一组正确装配图像与模板图像的图像组对。
上述的步骤3包括：
步骤3.1：模拟不同类型装配产品的不同装配要素在错装、漏装情况下的装配情况；
步骤3.2：针对步骤3.1所模拟装配情况下的装配要素进行拍照，获取错误装配图像与错误装配图像的图像组对；
步骤3.3：错误装配图像与错误装配图像的图像组对结合正确装配图像与模板图像的图像组对，形成最终产品装配要素防错检测预训练数据集合。
上述的步骤4构建的双流孪生检测网络模型包括用于模板图像和待检测图像特征提取主干网络结构，主干网络结构的多层网络特征融合及相似性度量机制，以及多层次特征加权损失函数。
上述的多层次特征加权损失函数Lfusion具体如下：
其中，Xij、Yij表示X，Y图像学习得到的张量在(i,j)坐标局下的部特征；
n表示参与损失计算的特征层数；
m表示参数计算的维度数。
上述的步骤6具体包括：
步骤6.1：获取模板图像及待检测图像；
步骤6.2：将步骤5训练生成的训练权重模型作为具体应用阶段模型迭代的预训练权重，训练迭代具体应用阶段模型；
步骤6.4：将训练后的具体应用阶段模型部署在机器视觉装配防错检测系统进行装配防错检测，检测过程中，实时分析给出待检测图像正确装配百分比；
步骤6.5：将正确装配百分比与阈值比较，大于阈值则给出装配正确的判定结果，否则给出装配错误的判定结果。
本发明具有以下有益效果：
1、本发明装配要素防错检测全程无人员参与，排除了因人为主观因素导致的错检和漏检问题，一致性好；本发明提出的评价模型可以充分利用图像不同颜色通道信息进行图像匹配，大大提升图像局部搜索准确性、可靠性与效率；
2、本发明构建用于模型预训练的产品装配要素防错检测预训练数据集合，避免了因待检测产品数据采集困难或样本不足的问题；
3、本发明对全局图像进行局部区域搜索以及局部区域与模板图像的特征相似性度量，提取正确装配局部图像，实现待检测要素全局快速搜索定位，实现基于模板图像的待检测要素的快速查询与定位；
4、本发明基于双流孪生网络模型进行装配要素防错检测，提出了基于多层特征融合的装配要素防错度量机制，设计了多层次特征加权的网络训练损失函数，大大提升了模型鲁邦性能与可靠性。
附图说明
图1是本发明基于双流孪生网络的装配防错检测流程图；
图2是本发明装配要素全局快速搜索原理图；
图3是本发明双流孪生网络结构图；
图4是本发明装配要素防错检测结果示例图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
一种基于双流孪生网络的装配防错检测方法，其特征在于，包括：
步骤1：对全局图像进行局部区域搜索以及局部区域与模板图像的特征相似性度量，提取正确装配局部图像；
步骤1中通过全局快速搜索，构建局部装配要素快速配准模型，如图2所示；
步骤1.1：获取待检测局部装配要素的模板图像It，在全局图像I中采用步长(h1,v1)如(3,3)进行粗粒度局部区域快速搜索，采用改进的局部归一化评价模型Ncc进行It与粗粒度局部区域图像的特征相似性度量，提取与模板图像It特征相似性最高的粗粒度局部区域图像，作为装配要素粗定位的局部区域图像Ii；
其中模板图像为装配要素正确装配的图像；
其中改进的局部归一化评价模型Ncc1如下：
其中，X,Y表示待进行特征相似性度量的两图像；
Cov(Xr,Yr)表示r通道下Xr,Yr图像的协方差；
Cov(Xg,Yg)表示g通道下Xg,Yg图像协方差；
Cov(Xb,Yb)表示b通道下Xb,Yb图像的协方差；
Var(·)表示图像自身方差；
Xr,Yr分别表示X和Y图像的r通道分离图像结果；Xg,Yg分别表示X和Y图像的g通道下分离图像结果；Xb,Yb分别表示X和Y图像的b通道下分离图像结果；
X和Y图像为待特征相似性度量的图像；
δr、δg和δb表示图像在r、g、b通道下相似数量权重分量。
实施例中通过大量测试实验得到δr＝1.1，δr＝0.9，δb＝1.0。
步骤1.2：针对装配要素粗定位的局部区域图像Ii，采用步长(h2,v2)如(3,3)在Ii中进行细粒度局部区域搜索，采用相似度评价模型Ncc2进行细粒度局部区域图像与It特征相似性度量，最终提取与图像It相似度最高的细粒度局部区域图像，实现装配要素精确定位，与图像It相似度最高的细粒度局部区域图像即为正确装配局部图像Id，为进一步实现图像装配要素防错识别提供特征定位基础。
其中，Ncc2如下：
其中，
Cov(Xh,Yh)表示h通道下Xh,Yh图像的协方差；
Cov(Xs,Ys)表示s通道下Xs,Ys图像的协方差；
Cov(Xv,Yv)表示v通道下Xv,Yv图像的协方差；
Var(·)表示图像自身方差；
Xh,Yh表示X和Y图像的hsv空间下h通道分离图像结果；
Xs,Ys表示X和Y图像的hsv空间下s通道分离图像结果；
Xv,Yv表示X和Y图像的hsv空间下v通道分离图像结果；
δh、δs和δs表示图像在不同色度、饱和度和亮度下相似数量权重分量。
实施例中，通过大量测试实验得到δh＝0.8，δs＝1.1，δs＝1.1。
步骤2：对步骤1中提取的正确装配局部图像进行旋转变换，各图像与模板图像组成一组正确装配图像与模板图像的图像组对；
步骤2具体包括：
步骤2.1：选取步骤1中提取的正确装配局部图像Id作为待检测对象；
步骤2.2：将Id按照逆时针方向旋转θ角度，获取Id不同视角下的旋转变换效果，每一角度图像与模板图像组成一组正确装配图像与模板图像的图像组对。本发明实施例中，选取旋转角度θ为45°，90°，135°，180°，225°，270°和325°。
图像在采集过程中难以保证与模板图像角度的一致性，为了模拟显示场景图像拍摄情况，将原始图像进行不同角度旋转，模拟出不同角度下的拍摄情况，利用这些图像与模板图像进行进一步分析，扩展原始数据样本的多样性，提升模型训练鲁棒性。
将图像按照不同角度旋转后，扩展出不同的训练图像对，提升了模型训练过程中的鲁棒性和多样性。保障了相似度量的准确性。
步骤3：构建产品装配要素防错检测预训练数据集合；
构建用于双流孪生网络模型训练的局部装配要素数据库，具体包括：
步骤3.1：模拟不同类型装配产品的不同装配要素在错装、漏装情况下的装配情况；
步骤3.2：针对步骤3.1所模拟装配情况下的装配要素进行拍照，获取错误装配图像与错误装配图像的图像组对；
步骤3.3：错误装配图像与错误装配图像的图像组对结合正确装配图像与模板图像的图像组对，形成最终产品装配要素防错检测预训练数据集合。
通过采集多种产品、多种类型装配要素正确装配图像与错误装配图像的图像组对，形成最终产品装配要素防错检测预训练数据集合，并将预训练数据集合按照8:1:1划分为训练集、验证集和测试集。
步骤3构建了基于多类型局部装配及非装配要素的相似性度量数据库(产品装配要素防错检测预训练数据集合)，其检测类型多样，可满足多种类型产品装配要素防错迁移学习。
步骤4：构建用于产品装配要素防错检测的双流孪生检测网络模型；
设计用于装配要素防错的双流孪生检测网络模型，如图3所示，具体包括：
步骤4.1：设计用于模板图像(装配要素正确装配的图像)和待检测图像的特征提取主干网络结构；该主干网络包含两个特征提取分支，每个分支含有11层卷积模块，每个卷积模块均含有卷积、池化、归一化及激活操作；
步骤4.2：设计多层网络特征融合机制：将双流孪生网络中学习得到的两分支特征的第5层提取出来融合得到融合特征1，将双流孪生网络中学习得到的两分支特征的第9层提取出来融合得到融合特征2，将双流孪生网络中学习得到的两分支特征的第11层提取出来融合得到融合特征3，将得到的三个融合特征进行回归操作，学习得到最终度量结果；
步骤4.3：设计模型训练损失函数。
步骤4.2特点在于：双流孪生网络多层特征加权融合度量机制，大大提升特征表征语义性，促进了模型整体泛化性能与可靠性；
步骤4.3具体为：构建了多层次特征加权损失函数Lfusion，该损失函数充分考虑了不同层次特征对模型最终表现效果的作用大小与内在机理，该损失函数具体如下：
其中，Xij、Yij表示X，Y图像学习得到的张量在(i,j)坐标局下的部特征；
n表示参与损失计算的特征层数；
m表示参数计算的维度数。
所述步骤4设计了一种基于多层次度量评价的双流孪生网络模型，该模型采用多层次网络特征融合加权的模式进行要素防错检测度量，保障学习特征的可靠性与稳定性，提升装配要素防错的准确性。
步骤5：基于步骤3构建的预训练数据集合对步骤4构建的双流孪生检测网络模型进行训练，并生成训练权重模型，具体包括：
采用步骤3构建的预训练数据集合，对步骤4设计的双流孪生检测网络模型进行训练，并生成训练权重；
训练过程中训练学习率rate设置0.001；batchsize设置为16；迭代次数n设置为10000。
步骤6：将步骤5训练生成的网络权重模型进行迁移，输入待检测图像和模板图像实现多类产品装配过程要素防错检测；
步骤6基于迁移模型进行装配要素防错检测，并基于少量待检测对象样本进行模型微调，以进一步提升双流孪生网络模型针对装配要素防错检测的准确性与可靠性，具体包括：
步骤6.1：针对模板图像及待检测图像；
步骤6.2：将步骤5训练生成的训练权重作为具体应用阶段模型迭代的预训练权重；
步骤6.3：训练迭代模型，提升模型针对具体应用对象的准确性与可靠性。
步骤6.4：将模型部署在机器视觉装配防错检测系统，检测过程中，实时分析给出待检测图像正确装配百分比；其中机器视觉是为了拍摄模板图像和待检测图像，然后输入模型进行相似性度量，整体都属于机器视觉范畴；
步骤6.5：根据经验值，设置判定装配要素正确与错误的阈值ε，并给出装配正确与错误的最终判定结果：
将正确装配百分比与阈值ε比较，大于阈值ε则给出装配正确的判定结果，否则给出装配错误的判定结果，如图4所示。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于双流孪生网络的装配防错检测方法，其特征在于，包括：
步骤1：对全局图像进行局部区域搜索以及局部区域与模板图像的特征相似性度量，提取正确装配局部图像；
步骤2：对步骤1中提取的正确装配局部图像进行旋转变换，各图像与模板图像组成一组正确装配图像与模板图像的图像组对；
步骤3：模拟错误装配场景并构建错误装配图像与模板图像的图像组对，结合正确装配图像与模板图像的图像组对形成产品装配要素防错检测预训练数据集合；
步骤4：构建用于产品装配要素防错检测的双流孪生检测网络模型；
步骤5：基于步骤3构建的预训练数据集合对步骤4构建的双流孪生检测网络模型进行训练，并生成训练权重模型；
步骤6：将步骤5训练生成的网络权重模型进行迁移，输入待检测图像和模板图像实现多类产品装配过程要素防错检测。
2.根据权利要求1所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤1包括：
步骤1.1：获取待检测局部装配要素的模板图像It，在全局图像I中进行粗粒度局部区域搜索，采用改进的局部归一化评价模型Ncc进行It与粗粒度局部区域图像的特征相似性度量，提取与模板图像It特征相似性最高的粗粒度局部区域图像，作为装配要素粗定位的局部区域图像Ii；
其中模板图像为装配要素正确装配的图像；
步骤1.2：针对装配要素粗定位的局部区域图像Ii，在Ii中进行细粒度局部区域搜索，采用相似度评价模型Ncc2进行细粒度局部区域图像与It特征相似性度量，最终提取与图像It相似度最高的细粒度局部区域图像，实现装配要素精确定位，与图像It相似度最高的细粒度局部区域图像即为正确装配局部图像Id。
3.根据权利要求2所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤1.1中改进的局部归一化评价模型Ncc1如下：
其中，Cov(Xr,Yr)表示r通道下Xr,Yr图像的协方差；
Cov(Xg,Yg)表示g通道下Xg,Yg图像协方差；
Cov(Xb,Yb)表示b通道下Xb,Yb图像的协方差；
Var(·)表示图像自身方差；
Xr,Yr分别表示X和Y图像的r通道分离图像结果；Xg,Yg分别表示X和Y图像的g通道下分离图像结果；Xb,Yb分别表示X和Y图像的b通道下分离图像结果；
X和Y图像为待特征相似性度量的图像；
δr、δg和δb表示图像在r、g、b通道下相似数量权重分量。
4.根据权利要求2所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤1.2中相似度评价模型Ncc2如下：
其中，
Cov(Xh,Yh)表示h通道下Xh,Yh图像的协方差；
Cov(Xs,Ys)表示s通道下Xs,Ys图像的协方差；
Cov(Xv,Yv)表示v通道下Xv,Yv图像的协方差；
Var(·)表示图像自身方差；
Xh,Yh表示X和Y图像的hsv空间下h通道分离图像结果；
Xs,Ys表示X和Y图像的hsv空间下s通道分离图像结果；
Xv,Yv表示X和Y图像的hsv空间下v通道分离图像结果；
δ、δs和δs表示图像在不同色度、饱和度和亮度下相似数量权重分量。
5.根据权利要求1所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤2将步骤1中提取的正确装配局部图像Id按照逆时针方向旋转不同角度，获取Id不同视角下的旋转变换效果，每一角度图像与模板图像组成一组正确装配图像与模板图像的图像组对。
6.根据权利要求1所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤3包括：
步骤3.1：模拟不同类型装配产品的不同装配要素在错装、漏装情况下的装配情况；
步骤3.2：针对步骤3.1所模拟装配情况下的装配要素进行拍照，获取错误装配图像与错误装配图像的图像组对；
步骤3.3：错误装配图像与错误装配图像的图像组对结合正确装配图像与模板图像的图像组对，形成最终产品装配要素防错检测预训练数据集合。
7.根据权利要求1所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤4构建的双流孪生检测网络模型包括用于模板图像和待检测图像特征提取主干网络结构，主干网络结构的多层网络特征融合及相似性度量机制，以及多层次特征加权损失函数。
8.根据权利要求7所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述多层次特征加权损失函数Lfusion具体如下：
其中，Xij、Yij表示X，Y图像学习得到的张量在(i,j)坐标局下的部特征；
n表示参与损失计算的特征层数；
m表示参数计算的维度数。
9.根据权利要求1所述的一种基于双流孪生网络的装配防错检测方法，其特征在于，所述步骤6具体包括：
步骤6.1：获取模板图像及待检测图像；
步骤6.2：将步骤5训练生成的训练权重模型作为具体应用阶段模型迭代的预训练权重，训练迭代具体应用阶段模型；
步骤6.4：将训练后的具体应用阶段模型部署在机器视觉装配防错检测系统，以步骤6.1的模板图像及待检测图像为输入，进行装配防错检测，检测过程中，实时分析给出待检测图像正确装配百分比；
步骤6.5：将正确装配百分比与阈值比较，大于阈值则给出装配正确的判定结果，否则给出装配错误的判定结果。
CN202310956191.8A 2023-08-01 2023-08-01 一种基于双流孪生网络的装配防错检测方法 Active CN117115478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310956191.8A CN117115478B (zh) 2023-08-01 2023-08-01 一种基于双流孪生网络的装配防错检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310956191.8A CN117115478B (zh) 2023-08-01 2023-08-01 一种基于双流孪生网络的装配防错检测方法

Publications (2)

Publication Number Publication Date
CN117115478A true CN117115478A (zh) 2023-11-24
CN117115478B CN117115478B (zh) 2024-08-02

Family

ID=88793349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310956191.8A Active CN117115478B (zh) 2023-08-01 2023-08-01 一种基于双流孪生网络的装配防错检测方法

Country Status (1)

Country Link
CN (1) CN117115478B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150186422A1 (en) * 2012-08-10 2015-07-02 Konica Minolta, Inc. Image processing apparatus, image processing method, and image processing program
CN112084364A (zh) * 2020-09-11 2020-12-15 苏州科达科技股份有限公司 对象分析方法、局部图像搜索方法、设备及存储介质
CN112446900A (zh) * 2019-09-03 2021-03-05 中国科学院长春光学精密机械与物理研究所 孪生神经网络目标跟踪方法及系统
CN115115950A (zh) * 2022-05-19 2022-09-27 云南电网有限责任公司输电分公司 一种基于图像直方图特征的无人机图像查重方法
CN115345842A (zh) * 2022-08-08 2022-11-15 南京耘瞳科技有限公司 一种基于深度学习的汽车关键部件相似比对方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150186422A1 (en) * 2012-08-10 2015-07-02 Konica Minolta, Inc. Image processing apparatus, image processing method, and image processing program
CN112446900A (zh) * 2019-09-03 2021-03-05 中国科学院长春光学精密机械与物理研究所 孪生神经网络目标跟踪方法及系统
CN112084364A (zh) * 2020-09-11 2020-12-15 苏州科达科技股份有限公司 对象分析方法、局部图像搜索方法、设备及存储介质
CN115115950A (zh) * 2022-05-19 2022-09-27 云南电网有限责任公司输电分公司 一种基于图像直方图特征的无人机图像查重方法
CN115345842A (zh) * 2022-08-08 2022-11-15 南京耘瞳科技有限公司 一种基于深度学习的汽车关键部件相似比对方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHAO B ET AL: "Diversified visual attention networks for fine-grained object classification", IEEE TRANSACTIONS ON MULTIMEDIA, vol. 19, no. 6, 31 December 2017 (2017-12-31), pages 1245 - 1256, XP011649605, DOI: 10.1109/TMM.2017.2648498 *
杨娟 等: "区域建议网络的细粒度车型识别", 中国图象图形学报, no. 6, 16 June 2018 (2018-06-16), pages 63 - 71 *

Also Published As

Publication number Publication date
CN117115478B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN112950606B (zh) 一种基于小样本的手机屏幕缺陷分割方法
CN109961421A (zh) 数据生成装置、数据生成方法以及数据生成记录介质
CN107590498A (zh) 一种基于字符分割级联二分类器的自适应汽车仪表检测方法
CN107909053B (zh) 一种基于等级学习级联卷积神经网络的人脸检测方法
CN114139444B (zh) 一种基于机器学习的近海海表温度反演方法
CN107016396B (zh) 一种装配连接件图像特征深度学习与识别方法
CN108764134A (zh) 一种适用于巡检机器人的多类型仪表自动定位与识别方法
CN109344845A (zh) 一种基于Triplet深度神经网络结构的特征匹配方法
CN114037653A (zh) 基于二阶段知识蒸馏的工业机器视觉缺陷检测方法和系统
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN114219762A (zh) 基于图像修复的缺陷检测方法
CN116188432A (zh) 缺陷检测模型的训练方法、装置及电子设备
KR101782364B1 (ko) 케이평균군집화를 통한 학습기반의 비전검사 방법
CN116958021A (zh) 基于人工智能的产品缺陷识别方法、相关装置和介质
CN112967292B (zh) 一种针对电商产品的自动抠图与评分方法及系统
CN117115478B (zh) 一种基于双流孪生网络的装配防错检测方法
CN110717602A (zh) 一种基于噪音数据的机器学习模型鲁棒性评估方法
CN113838040A (zh) 一种针对彩色纹理织物缺陷区域的检测方法
CN116310285B (zh) 一种基于深度学习的指针式仪表自动读数方法及系统
CN108090905B (zh) 产线异常的判断方法及系统
CN114187272A (zh) 一种基于深度学习的工业零件表面缺陷检测方法
CN117523363A (zh) 基于特征金字塔融合的晶圆图缺陷模式识别方法
CN113222950B (zh) 表面缺陷检测模型训练方法、表面缺陷检测方法及系统
CN115205275A (zh) 基于深度学习算法的表面缺陷检测方法
CN116664494A (zh) 一种基于模板对比的表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant