CN114399624A - 基于孪生网络的双目视觉图像焊缝位置匹配方法 - Google Patents

基于孪生网络的双目视觉图像焊缝位置匹配方法 Download PDF

Info

Publication number
CN114399624A
CN114399624A CN202210059050.1A CN202210059050A CN114399624A CN 114399624 A CN114399624 A CN 114399624A CN 202210059050 A CN202210059050 A CN 202210059050A CN 114399624 A CN114399624 A CN 114399624A
Authority
CN
China
Prior art keywords
network
distribution
image
twin network
twin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210059050.1A
Other languages
English (en)
Inventor
李公法
张铁石
孙楠楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Star Industrial Design Jiangsu Co ltd
Original Assignee
China Star Industrial Design Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Star Industrial Design Jiangsu Co ltd filed Critical China Star Industrial Design Jiangsu Co ltd
Priority to CN202210059050.1A priority Critical patent/CN114399624A/zh
Publication of CN114399624A publication Critical patent/CN114399624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理与智能交互技术领域，公开了一种基于孪生网络的双目视觉图像焊缝位置匹配方法，所述的方法包括：提取双目相机所采集的左右视图并进行预处理；使用全卷积神经网络对输入图像进行特征提取，得到小尺度特征图；使用通道间注意力机制对特征图中的特征进行加权；将左右视图进行匹配，使用孪生网络得到相关性分布；通过使用改进的KL‑divergence与相似性网络求解相关分布与样本标签分布相似度；对孪生网络的损失函数进行了进一步的改进，利用公共数据集对网络进行训练，得到基于孪生网络的焊缝位置匹配模型；利用基于孪生网络的焊缝位置匹配模型进行焊缝定位。通过本申请，可以实现焊缝位置的准确识别，从而提高加工质量。

Description

基于孪生网络的双目视觉图像焊缝位置匹配方法
技术领域
本发明涉及图像处理与智能交互技术领域，具体涉及一种基于孪生网络的双目视觉图像焊缝位置匹配方法。
背景技术
随着制造业逐渐转型，由原来的人工操控机械升级为智能制造，焊接机器人的使用性和功能性也逐步提升。而焊接机器人是从事焊接(包括切割与喷涂)的工业机器人。根据国际标准化组织(ISO)工业机器人属于标准焊接机器人的定义，工业机器人是一种多用途的、可重复编程的自动控制操作机(Manipulator)，具有三个或更多可编程的轴，用于工业自动化领域。为了适应不同的用途，机器人最后一个轴的机械接口，通常是一个连接法兰，可接装不同工具或称末端执行器。焊接机器人就是在工业机器人的末轴法兰装接焊钳或焊(割)枪的，使之能进行焊接，切割或热喷涂。
由于焊接是一个高度非线性、多变量、多种不确定因素作用的过程，使得控制焊缝成形质量极为困难。实现稳定、优质、高效的焊接是应用焊接机器人的意义所在也是机器人焊接领域研究的重要课题。为了克服上述因素对焊接质量的影响，机器人焊接领域迫切需要将控制技术、信息和传感技术、人工智能等多学科知识进行融合，实现焊接初始位置的自主识别、焊缝实时跟踪、焊接参数自适应调节等功能，以确保焊接质量和提高焊接效率。因此，需要一种利用孪生网络计算双目相机视差之间的相关分布从而估计焊缝位置的算法。
发明内容
本发明的目的在于提供一种基于孪生网络的双目视觉图像焊缝位置匹配方法，以解决上述背景技术中所提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于孪生网络的双目视觉图像焊缝位置匹配方法，所述的方法包括：
提取双目相机所采集的左右视图并进行预处理，所述的预处理为在每幅图像上建立均匀分布的16个块；
使用全卷积神经网络对输入图像进行特征提取，得到小尺度特征图；
使用通道间注意力机制对特征图中的特征进行加权；
将左右视图进行匹配，使用孪生网络得到相关性分布，认定左右视图中的一个视图的特征图为原始图像，则另一个视图的特征图为匹配图像，建立原始图像中每一个块与匹配图像中所有的块的相关性，得到16*16的相关性矩阵，并通过非线性函数将其转换为相关性分布；
通过使用改进的KL-divergence与相似性网络求解相关分布与样本标签分布相似度；
对孪生网络的损失函数进行了进一步的改进，利用公共数据集对网络进行训练，得到基于孪生网络的焊缝位置匹配模型；
利用基于孪生网络的焊缝位置匹配模型进行焊缝定位。
作为本发明进一步的方案，在利用全卷积网络对每个块进行特征提取的过程中，集中得到尺寸较小的特征图，特征图中的每一个像素都对应输入图像的一个块。
作为本发明进一步的方案，所述的通道间注意力机制方法为Squeeze-and-Excitation单元，通过Squeeze-and-Excitation单元使得在学习过程中，聚焦关键特征而忽略次要特征，以此来提高学习效率，将卷积网络的输出特征通过压缩到通道维，从而生成权重，最后将权重与对应通道相乘得到加权后的特征。
作为本发明进一步的方案，利用孪生网络建立相关分布
Figure BDA0003477414110000038
的过程中，同时认定输入相同图像对这一特殊情况得到的矩阵——单位矩阵，即转换后概率分布不变，这种分布称之为标签分布ζ，其中为使孪生网络的输出能建立相关分布
Figure BDA0003477414110000031
需要满足以下条件：
(1)输入图像相同时，
Figure BDA0003477414110000032
等于ζ；
(2)对应块的相关性越强，概率值越大；
(3)概率化后，
Figure BDA0003477414110000033
中的每一个元素的值域为[0,1]，且每行元素累加为1；
(4)输入图像对越相似，越接
Figure BDA0003477414110000034
近ζ。
作为本发明进一步的方案，在孪生网络的建立过程中，包括：
Figure BDA0003477414110000035
Figure BDA0003477414110000036
对于(1)，使用减法运算得到基本相关矩阵，其中行和列分别代表块在原始图像和匹配图像中的位置坐标，元素值代表着相关性，此时，相关性越强，元素值越小，输入图像相同时，相关性最强，元素值为0，对于(2)，使用式(1)高斯函数进行值域空间的变换，同时高斯函数增加了整体的非线性，对于(3)，使用softmax函数，式(2)，沿矩阵行方向对基本相关矩阵进行概率化，得到相关分布
Figure BDA0003477414110000037
对相关矩阵概率化的过程，可以视为分类问题，即对于原始图像中的每一个块进行分类，对应类别则是匹配图像的块。
作为本发明进一步的方案，改进的KL-divergence包括对使用坐标对差异值进行加权，而只有分布φ和ζ的单峰附近位置的差异值会被加权，其它位置则被屏蔽，最后通过积分，衡量分布之间的相似程度，由于图像上的坐标具有不同的方向性，分别按照不同方向进行加权，使用曼哈顿距离计算总距离，如式(3)所示：
Figure BDA0003477414110000041
D越小表示分布ζ越接近于分布φ，d越大表示分布ζ与分布φ差异越大。。
作为本发明进一步的方案，相似性网络Similar_network使用全链接网络，求解条件概率P(S|φ)，如式(4)：
P(S|φ)＝Similar_network(φ) (4)；
用相关分布φ与标签分布ζ的残差值代替φ作为输入。
作为本发明进一步的方案，损失函数的设计包括，使孪生网络的损失函数具有高内聚、低耦合特点，能够最大化类间差异，最小化类内差异，本文所设计的损失函数如式(5)所示：
loss＝binary_crossentry(label,output)+NCE_loss(label,ζ,φ) (5)；
损失函数由两部分组成，其中前半部分是经典的二分类损失函数binary_crossentry，仅通过标签和输出进行学习，由于输出属于分类任务结果，所以主要训练相似性网络中的参数，属于对显示约束进行学习，后半部分是孪生网络的NCE_loss函数。
作为本发明进一步的方案，所述的孪生网络的NCE_loss函数，如式(6)：
NCE_loss＝(1-label)×distance+label×max(margin-distance,0) (6)；
其中distance代表分布ζ与φ之间的差异性，margin代表差异的边界，只有当差异性在一定范围内，函数才进行优化，当差异性超过范围，使用常量表示差异性，在实验中margin取1，NCE_loss使用了标签和中间变量进行学习，由于中间变量更偏向于进行提取差异信息的任务，所以主要训练特征提取器中的参数，属于对隐式约束进行学习。
作为本发明进一步的方案，将成对的左右视图输入网络框架模型中，使用欧氏距离匹配算法对比分析，得出焊缝位置匹配模型。
与现有技术相比，本发明的有益效果是：
1)利用卷积神经网络提取每个图像的特征，利用通道间注意力机制对特征进行加权，使用孪生网络对特征图构造相关分布，通过改进KL-divergence对概率分布进行相似度比较，最后改进损失函数，提高整个网络的学习效果；然后，从概率分布的角度出发对输入进行建模，通过比较学习输入的相似性与差异性，从而估计图像之间的相似度，得到图像之间的匹配关系，进而实现对焊缝位置的估计；
2)本发明通过对KL-divergence进行改进，此处需要解释为什么采用概率分布进行相似度比较可调高神经网络的学习效果……。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中的一些实施例。
图1为本发明一种实施例提供的基于孪生网络的双目视觉图像焊缝位置匹配方法的流程示意图；
图2为本发明中SE单元的结构示意图；
图3为本发明一种实施例中提供的基于孪生网络的双目视觉图像焊缝位置匹配方法网络模型示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合具体实施例对本发明的具体实现进行详细描述：
随着制造业逐渐转型，由原来的人工操控机械升级为智能制造，焊接机器人的使用性和功能性也逐步提升，由于焊接是一个高度非线性、多变量、多种不确定因素作用的过程，使得控制焊缝成形质量极为困难。实现稳定、优质、高效的焊接是应用焊接机器人的意义所在也是机器人焊接领域研究的重要课题。为了克服上述因素对焊接质量的影响，机器人焊接领域迫切需要将控制技术、信息和传感技术、人工智能等多学科知识进行融合，实现焊接初始位置的自主识别、焊缝实时跟踪、焊接参数自适应调节等功能，以确保焊接质量和提高焊接效率。因此，需要一种利用孪生网络计算双目相机视差之间的相关分布从而估计焊缝位置的算法。
本发明通过利用卷积神经网络提取每个图像的特征，利用通道间注意力机制对特征进行加权，使用孪生网络对特征图构造相关分布，通过改进KL-divergence对概率分布进行相似度比较，最后改进损失函数，提高整个网络的学习效果。从概率分布的角度出发对输入进行建模，通过比较学习输入的相似性与差异性，从而估计图像之间的相似度，得到图像之间的匹配关系，进而实现对焊缝位置的估计。
图1示出了本发明中的一种基于孪生网络的双目视觉图像焊缝位置匹配方法，所述的一种基于孪生网络的双目视觉图像焊缝位置匹配方法应用于能够实时连接互联网的设备，该设备可以是手机、平板电脑和计算机等可以通信的设备，此处不做具体限定，所述的基于孪生网络的双目视觉图像焊缝位置匹配方法详述如下：
在步骤S100中，提取双目相机所采集的左右视图并进行预处理，所述的预处理为在每幅图像上建立均匀分布的16(4*4)个块；
在步骤S200中，使用全卷积神经网络对输入图像进行特征提取，得到小尺度特征图；
在步骤S300中，使用通道间注意力机制对特征图中的特征进行加权；
在步骤S400中，将左右视图进行匹配，使用孪生网络得到相关性分布，认定左右视图中的一个视图的特征图为原始图像，则另一个视图的特征图为匹配图像，建立原始图像中每一个块与匹配图像中所有的块的相关性，得到16*16的相关性矩阵，并通过非线性函数将其转换为相关性分布；
在步骤S500中，通过使用改进的KL-divergence与相似性网络求解相关分布与样本标签分布相似度；
在步骤S700中，对孪生网络的损失函数进行了进一步的改进，利用公共数据集对网络进行训练，得到基于孪生网络的焊缝位置匹配模型；
在步骤S800中，利用基于孪生网络的焊缝位置匹配模型进行焊缝定位。
在本发明另一种优选的实施例中，所述的在利用全卷积网络对每个块进行特征提取的过程中，集中得到尺寸较小的特征图，特征图中的每一个像素都对应输入图像的一个块。
孪生神经网络(Siamese neural network)，又名双生神经网络，是基于两个人工神经网络建立的耦合构架。孪生神经网络以两个样本为输入，输出其嵌入高维度空间的表征，以比较两个样本的相似程度。狭义的孪生神经网络由两个结构相同，且权重共享的神经网络拼接而成。广义的孪生神经网络或“伪孪生神经网络(pseudo-siamese network)”，可由任意两个神经网拼接而成。孪生神经网络通常具有深度结构，可由卷积神经网络、循环神经网络等组成。
在监督学习范式下，孪生神经网络会最大化不同标签的表征，并最小化相同标签的表征。在自监督或非监督学习范式下，孪生神经网络可以最小化原输入和干扰输入(例如原始图像和该图像的裁减)间的表征。
孪生神经网络可以进行小样本/单样本学习(one-shot learning)，且不容易被错误样本干扰，因此可用于对容错率要求严格的模式识别问题，例如人像识别、指纹识别、目标追踪等。
孪生神经网络包含两个子网络，子网络各自接收一个输入，将其映射至高维特征空间，并输出对应的表征。通过计算两个表征的距离，例如欧式距离，使用者可以比较两个输入的相似程度。孪生神经网络的子网络可以是卷积神经网络或循环神经网络，其权重可以由能量函数或分类损失优化。
可以理解的是，如图2所示，在本实施例另一种情况中，所述的通道间注意力机制方法为Squeeze-and-Excitation单元，通过Squeeze-and-Excitation单元(简称SE)使得在学习过程中，聚焦关键特征而忽略次要特征，以此来提高学习效率，将卷积网络的输出特征通过压缩到通道维，从而生成权重，最后将权重与对应通道相乘得到加权后的特征。
在机器学习、模式识别和图像处理中，特征提取从初始的一组测量数据开始，并建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的学习和泛化步骤，并且在某些情况下带来更好的可解释性。特征提取与降维有关。特征的好坏对泛化能力有至关重要的影响。对某一模式的组测量值进行变换，以突出该模式具有代表性特征的一种方法。通过影像分析和变换，以提取所需特征的方法。
至今为止特征没有万能和精确的定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”，也即是同一场景的不同图像所提取的特征应该是相同的。
如图3所示，在本实施例另一种情况中，还包括步骤S600，建立相似性计算网络，学习相关分布与标准分布差异与相似度的关系，并且在利用孪生网络建立相关分布
Figure BDA0003477414110000091
的过程中，同时认定输入相同图像对这一特殊情况得到的矩阵——单位矩阵，即转换后概率分布不变，这种分布称之为标签分布ζ，其中为使孪生网络的输出能建立相关分布
Figure BDA0003477414110000092
需要满足以下条件：
(1)输入图像相同时，
Figure BDA0003477414110000093
等于ζ；
(2)对应块的相关性越强，概率值越大；
(3)概率化后，
Figure BDA0003477414110000101
中的每一个元素的值域为[0,1]，且每行元素累加为1；
(4)输入图像对越相似，越接
Figure BDA0003477414110000102
近ζ；
在孪生网络的建立过程中，包括：
Figure BDA0003477414110000103
Figure BDA0003477414110000104
对于(1)，使用减法运算得到基本相关矩阵，其中行和列分别代表块在原始图像和匹配图像中的位置坐标，元素值代表着相关性，此时，相关性越强，元素值越小，输入图像相同时，相关性最强，元素值为0，对于(2)，使用式(1)高斯函数进行值域空间的变换，同时高斯函数增加了整体的非线性，对于(3)，使用s ftmax函数，式(2)，沿矩阵行方向对基本相关矩阵进行概率化，得到相关分布
Figure BDA0003477414110000105
对相关矩阵概率化的过程，可以视为分类问题，即对于原始图像中的每一个块进行分类，对应类别则是匹配图像的块。
如下表所示，为本发明实施例中提供的一种孪生网络架构，
Figure BDA0003477414110000106
Figure BDA0003477414110000111
在本发明其中一个优选的实施例中，改进的KL-divergence包括对使用坐标对差异值进行加权，而只有分布φ和ζ的单峰附近位置的差异值会被加权，其它位置则被屏蔽，最后通过积分，衡量分布之间的相似程度，由于图像上的坐标具有不同的方向性，分别按照不同方向进行加权，使用曼哈顿距离计算总距离，如式(3)所示：
Figure BDA0003477414110000112
D越小表示分布ζ越接近于分布φ，d越大表示分布ζ与分布φ差异越大。。
在本实施例的一种情况中，相似性网络Similar_network使用全链接网络，求解条件概率P(S|φ)，如式(4)：
P(S|φ)＝Similar_network(φ) (4)；
用相关分布φ与标签分布ζ的残差值代替φ作为输入。
曼哈顿距离(Manhattan Distance)又称之为出租车几何，是使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和。
在本实施例的另一种情况中，损失函数的设计包括，使孪生网络的损失函数具有高内聚、低耦合特点，能够最大化类间差异，最小化类内差异，本文所设计的损失函数如式(5)所示：
loss＝binary_crossentry(label,output)+NCE_loss(label,ζ,φ) (5)；
损失函数由两部分组成，其中前半部分是经典的二分类损失函数binary_crossentry，仅通过标签和输出进行学习，由于输出属于分类任务结果，所以主要训练相似性网络中的参数，属于对显示约束进行学习，后半部分是孪生网络的NCE_loss函数。
值得注意的是，在本实施例另一种情况中，所述的孪生网络的NCE_loss函数，如式(6)：
NCE_loss＝(1-label)×distance+label×max(margin-distance,0) (6)；
其中distance代表分布ζ与φ之间的差异性，margin代表差异的边界，只有当差异性在一定范围内，函数才进行优化，当差异性超过范围，使用常量表示差异性，在实验中margin取1，NCE_loss使用了标签和中间变量进行学习，由于中间变量更偏向于进行提取差异信息的任务，所以主要训练特征提取器中的参数，属于对隐式约束进行学习。
并且，可以理解的是将成对的左右视图输入网络框架模型中，可以使用欧氏距离匹配算法对比分析，得出焊缝位置匹配模型。
所述一种基于孪生网络的双目视觉图像焊缝位置匹配方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述一种基于孪生网络的双目视觉图像焊缝位置匹配方法的功能。
处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(Read-Only Memory，ROM)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，所述的方法包括：
提取双目相机所采集的左右视图并进行预处理，所述的预处理为在每幅图像上建立均匀分布的16个块；
使用全卷积神经网络对输入图像进行特征提取，得到小尺度特征图；
使用通道间注意力机制对特征图中的特征进行加权；
将左右视图进行匹配，使用孪生网络得到相关性分布，认定左右视图中的一个视图的特征图为原始图像，则另一个视图的特征图为匹配图像，建立原始图像中每一个块与匹配图像中所有的块的相关性，得到16*16的相关性矩阵，并通过非线性函数将其转换为相关性分布；
通过使用KL-divergence与相似性网络求解相关分布与样本标签分布相似度；
对孪生网络的损失函数利用公共数据集对网络进行训练，得到基于孪生网络的焊缝位置匹配模型；
利用基于孪生网络的焊缝位置匹配模型进行焊缝定位。
2.根据权利要求1所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，在利用全卷积网络对每个块进行特征提取的过程中，集中得到尺寸较小的特征图，特征图中的每一个像素都对应输入图像的一个块。
3.根据权利要求2所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，所述的通道间注意力机制方法为Squeeze-and-Excitation单元，通过Squeeze-and-Excitation单元使得在学习过程中，聚焦关键特征而忽略次要特征，以提高学习效率，将卷积网络的输出特征通过压缩到通道维，从而生成权重，最后将权重与对应通道相乘得到加权后的特征。
4.根据权利要求3所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，利用孪生网络建立相关分布
Figure FDA0003477414100000026
的过程中，同时认定输入相同图像得到单位矩阵，即转换后概率分布不变，设定为标签分布ζ，其中为使孪生网络的输出能建立相关分布
Figure FDA0003477414100000027
需要满足以下条件：
(1)输入图像相同时，
Figure FDA0003477414100000021
等于ζ；
(2)对应块的相关性越强，概率值越大；
(3)概率化后，
Figure FDA0003477414100000022
中的每一个元素的值域为[0,1]，且每行元素累加为1；
(4)输入图像对越相似，越接
Figure FDA0003477414100000023
近ζ。
5.根据权利要求4所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，在孪生网络的建立过程中，包括：
Figure FDA0003477414100000024
Figure FDA0003477414100000025
上式中，Xi、Xj、X分别表示……，i、j、k分别表示……；
对于条件(1)，使用减法运算得到基本相关矩阵，其中行和列分别代表块在原始图像和匹配图像中的位置坐标，元素值代表着相关性，此时，相关性越强，元素值越小，输入图像相同时，相关性最强，元素值为0；对于条件(2)，使用式(1)高斯函数进行值域空间的变换，同时高斯函数增加了整体的非线性；对于条件(3)，使用式(2)的softmax函数，沿矩阵行方向对基本相关矩阵进行概率化，得到相关分布
Figure FDA0003477414100000031
即对于原始图像中的每一个块进行分类，对应类别则是匹配图像的块。
6.根据权利要求5所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，改进的KL-divergence包括对使用坐标对差异值进行加权，而只有分布φ和ζ的单峰附近位置的差异值会被加权，其它位置则被屏蔽，最后通过积分，衡量分布之间的相似程度，由于图像上的坐标具有不同的方向性，分别按照不同方向进行加权，使用曼哈顿距离计算总距离，如式(3)所示：
Figure FDA0003477414100000032
D越小表示分布ζ越接近于分布φ，d越大表示分布ζ与分布φ差异越大；其中，x、y、p(x)、p(y)、q(x)、q(y)分别表示……。
7.根据权利要求6所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，相似性网络Similar_network使用全链接网络，求解条件概率P(S|φ)，如式(4)：
P(S|φ)＝Similar_network(φ) (4)；
用相关分布φ与标签分布ζ的残差值代替φ作为输入。
8.根据权利要求7所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，损失函数的设计包括，使孪生网络的损失函数具有高内聚、低耦合特点，能够最大化类间差异，最小化类内差异，本文所设计的损失函数如式(5)所示：
loss＝binary_crossentry(label,output)+NCE_loss(label,ζ,φ) (5)；
损失函数由两部分组成，其中前半部分是经典的二分类损失函数binary_crossentry，仅通过标签和输出进行学习，由于输出属于分类任务结果，所以主要训练相似性网络中的参数，属于对显示约束进行学习，后半部分是孪生网络的NCE_loss函数；式(5)中，label、output分别表示……。
9.根据权利要求8所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，所述的孪生网络的NCE_loss函数，如式(6)：
NCE_loss＝(1-label)×distance+label×max(margin-distance,0) (6)；
其中distance代表分布ζ与φ之间的差异性，margin代表差异的边界，只有当差异性在一定范围内，函数才进行优化，当差异性超过范围，使用常量表示差异性。
10.根据权利要求9所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，将成对的左右视图输入网络框架模型中，使用欧氏距离匹配算法对比分析，得出焊缝位置匹配模型。
CN202210059050.1A 2022-01-19 2022-01-19 基于孪生网络的双目视觉图像焊缝位置匹配方法 Pending CN114399624A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210059050.1A CN114399624A (zh) 2022-01-19 2022-01-19 基于孪生网络的双目视觉图像焊缝位置匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210059050.1A CN114399624A (zh) 2022-01-19 2022-01-19 基于孪生网络的双目视觉图像焊缝位置匹配方法

Publications (1)

Publication Number Publication Date
CN114399624A true CN114399624A (zh) 2022-04-26

Family

ID=81230571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210059050.1A Pending CN114399624A (zh) 2022-01-19 2022-01-19 基于孪生网络的双目视觉图像焊缝位置匹配方法

Country Status (1)

Country Link
CN (1) CN114399624A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861595A (zh) * 2022-11-18 2023-03-28 华中科技大学 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN117115167A (zh) * 2023-10-24 2023-11-24 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统
CN117943256A (zh) * 2024-03-27 2024-04-30 海斯坦普汽车组件(北京)有限公司 一种自适应涂胶工艺控制方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861595A (zh) * 2022-11-18 2023-03-28 华中科技大学 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN115861595B (zh) * 2022-11-18 2024-05-24 华中科技大学 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN117115167A (zh) * 2023-10-24 2023-11-24 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统
CN117115167B (zh) * 2023-10-24 2023-12-29 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统
CN117943256A (zh) * 2024-03-27 2024-04-30 海斯坦普汽车组件(北京)有限公司 一种自适应涂胶工艺控制方法及系统

Similar Documents

Publication Publication Date Title
CN114399624A (zh) 基于孪生网络的双目视觉图像焊缝位置匹配方法
CN111737458B (zh) 基于注意力机制的意图识别方法、装置、设备及存储介质
EP3971772B1 (en) Model training method and apparatus, and terminal and storage medium
Martinel et al. Kernelized saliency-based person re-identification through multiple metric learning
Arnold et al. Fast and robust registration of partially overlapping point clouds
Ren et al. General traffic sign recognition by feature matching
Ying Analytical analysis and feedback linearization tracking control of the general Takagi-Sugeno fuzzy dynamic systems
Zhang et al. Corner detection using Gabor filters
Song et al. BS2T: Bottleneck spatial–spectral transformer for hyperspectral image classification
WO2017155602A1 (en) Systems and methods for normalizing an image
Gams et al. Deep encoder-decoder networks for mapping raw images to dynamic movement primitives
Barbole et al. A review on fruit detection and segmentation techniques in agricultural field
Fan et al. An integrated hand-object dense pose estimation approach with explicit occlusion awareness for human-robot collaborative disassembly
Shukla et al. Generative model based robotic grasp pose prediction with limited dataset
Batchuluun et al. Region-based removal of thermal reflection using pruned fully convolutional network
Yang et al. Non-rigid point set registration via global and local constraints
CN105224941A (zh) 对象辨识与定位方法
Lin et al. A novel robust algorithm for position and orientation detection based on cascaded deep neural network
Bohnsack et al. Efficient Representation of Biochemical Structures for Supervised and Unsupervised Machine Learning Models Using Multi-Sensoric Embeddings.
CN111415384B (zh) 一种基于深度学习的工业图像组件精准定位系统
Sun et al. Invariant 2D object recognition using eigenvalues of covariance matrices, re-sampling and autocorrelation
De Vylder et al. A non-rigid registration method for multispectral imaging of plants
Tuba et al. Rigid image registration by bare bones fireworks algorithm
Bouchene Bayesian optimization of histogram of oriented gradients (HOG) parameters for facial recognition
Ranjan et al. Recent CNN advancements for stratification of hyperspectral images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination