CN113269235B - 一种基于无监督学习的装配体变化检测方法及设备 - Google Patents

一种基于无监督学习的装配体变化检测方法及设备 Download PDF

Info

Publication number
CN113269235B
CN113269235B CN202110506000.9A CN202110506000A CN113269235B CN 113269235 B CN113269235 B CN 113269235B CN 202110506000 A CN202110506000 A CN 202110506000A CN 113269235 B CN113269235 B CN 113269235B
Authority
CN
China
Prior art keywords
difference
feature
information
image
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110506000.9A
Other languages
English (en)
Other versions
CN113269235A (zh
Inventor
陈成军
李长治
史宏思
李东年
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202110506000.9A priority Critical patent/CN113269235B/zh
Publication of CN113269235A publication Critical patent/CN113269235A/zh
Application granted granted Critical
Publication of CN113269235B publication Critical patent/CN113269235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明涉及一种基于无监督学习的装配体变化检测方法，包括如下步骤：构建包括若干个差异特征信息的数据集：获取若干组双时相图像；获取每一组双时相图像的差异特征信息；生成每个差异特征信息的伪标签；利用所述若干个差异特征信息及其对应的伪标签，迭代训练所述分类器；获取所述待检测双时相图像的差异特征信息，并将差异特征信息输入至训练好的分类器，分类器输出装配体的变化类型。本发明通过生成伪标签，实现无监督学习的装配体变化检测，提高效率，节省时间和人工成本。

Description

一种基于无监督学习的装配体变化检测方法及设备
技术领域
本发明涉及一种基于无监督学习的装配体变化检测方法及设备，属于计算机图像识别和智能制造技术领域。
背景技术
在机械类装配体装配过程中，需要按照给定的装配步骤依次进行组装。每完成一个装配步骤，通过图像变化检测方法，检测装配体中的新增零部件，以识别装配体的变化情况，能及时发现装配过程中的错误，进而实现错误快速定位，提高机械产品的生产效率，保障机械产品质量水平。其中，图像变化检测方法旨在通过在不同时间获取的相同区域上分析两个或若干个图像来突出显示改变的区域，已广泛用于多种领域中。图像变化检测通常通过深度学习算法实现，深度学习方法分为有监督和无监督两类。有监督深度学习方法学习效率高，但需要对海量的数据集进行人工标记，浪费大量的时间和精力。无监督变化检测方法可直接从未标记的数据集中直接学习特征，节省了大量时间与成本。
在机械领域中，尤其是关于机械体装配过程变化检测的应用研究较少，尚未有基于无监督学习的装配体变化检测方法。且机械零件结构较为复杂，遮挡严重，零部件的颜色和纹理信息单调，难以对其装配过程进行变化检测，同时缺少对应的数据集。
CN112288750A的专利《一种基于深度学习网络的机械装配体图像分割方法和设备》公开了：通过深度学习网络构建由编码器网络和解码器网络组成的机械装配体轻量化语义分割模型；建立机械装配体数据集；将机械装配体数据集中的深度图像输入到编码器网络中进行特征提取，获取高信息质量的特征图；将高信息质量的特征图输入至解码器网络中，恢复图像大小并进行特征融合，得到多维分割图；根据多维分割图与对应的标签图像之间的误差，更新编码器网络中的参数；利用训练集中的深度图像，迭代执行上述步骤，直到达到预设的训练次数；测试后输出机械装配体轻量化语义分割模型；利用训练好的机械装配体轻量化语义分割模型进行图像分割，分割出机械装配体的各零件。但该专利为有监督深度学习，需要手工标注数据形成数据集。
发明内容
为了解决上述现有技术中存在的问题，本发明提供一种基于无监督学习的装配体变化检测方法，通过生成伪标签，实现无监督学习的装配体变化检测，提高效率，节省时间和人工成本。
本发明的技术方案如下：
技术方案一：
一种基于无监督学习的装配体变化检测方法，包括如下步骤：
构建包括若干个差异特征信息的数据集：获取若干组双时相图像，所述双时相图像包括装配体前一时刻图像和装配体后一时刻图像；获取每一组双时相图像的差异特征信息，所述差异特征信息中包括若干个差异特征向量；
生成伪标签：对差异特征信息中的所有差异特征向量进行聚类分析，得到每个差异特征信息的伪标签；
构建并训练分类器：构建分类器；利用所述若干个差异特征信息及其对应的伪标签，迭代训练所述分类器；
获取装配体变化类型：获取待检测双时相图像；获取所述待检测双时相图像的差异特征信息，并将差异特征信息输入至训练好的分类器，分类器输出装配体的变化类型。
进一步的，所述差异特征信息的获取步骤具体为：
对所述装配体前一时刻图像进行卷积操作，得到第一特征信息；对所述装配体后一时刻图像进行卷积操作，得到第二特征信息；
对所述第一特征信息和第二特征信息进行差分处理，得到特征图；将特征图输入至激活函数，得到差异图像；
通过自编码算法提取所述差异图像的差异特征信息。
进一步的，所述第一特征信息和第二特征信息均包括低级特征信息和高级特征信息；
所述特征图的获取步骤具体为：
对第一特征信息和第二特征信息的低级特征信息进行差分处理和上采样处理，得到第一差分结果；对第一特征信息和第二特征信息的高级特征信息进行差分处理，得到第二差分结果；对第一差分结果和第二差分结果进行特征融合和特征提取，得到所述特征图。
进一步的，还包括对所述差异特征信息进行优化：
遍历所述差异图像中每个像素，对每次访问的像素，将其与其他像素之间的距离进行加权，得到注意力图像；利用自编码算法提取注意力图像的差异特征信息。
进一步的，所述获取伪标签具体为：
对差异特征信息中的所有差异特征向量进行聚类分析，得到若干个表征变化区域的第一差异特征向量类、若干个表征不变区域的第二差异特征向量类和若干个表征图像噪声的第三差异特征向量类；计算各第一差异特征向量类和各第二差异特征向量类的可信度；选择可信度最高的第一差异特征向量类和第二差异特征向量类为所述差异特征信息对应的伪标签。
进一步的，所述可信度E的计算公式为：
Figure BDA0003058458170000041
Figure BDA0003058458170000042
其中，μ表示差异特征向量类C的均值向量；Xi表示差异特征向量类C中第i个差异特征向量(i＝1、2……n)。
技术方案二：
一种基于无监督学习的装配体变化检测设备，包括图像差异分析模块、伪标签生成模块和分类器；
所述图像差异分析模块分别与伪标签生成模块和分类器通信连接；所述伪标签生成模块与分类器通信连接；
所述图像差异分析模块获取数据集中每一组双时相图像的差异特征信息，并将其输入至伪标签生成模块和分类器；所述双时相图像包括装配体前一时刻图像和装配体后一时刻图像；所述差异特征信息中包括若干个差异特征向量；
所述图像差异分析模块获取待检测双时相图像的差异特征信息并将其输入至分类器；
所述伪标签生成模块对差异特征信息中的所有差异特征向量进行聚类分析，得到每个差异特征信息并将其输入至分类器；
所述分类器根据所述由数据集得到的若干个差异特征信息及其对应的伪标签，进行迭代训练；训练好的分类器根据待检测双时相图像的差异特征信息，输出装配体的变化类型。
进一步的，所述图像差异分析模块包括差异特征提取模块、注意力模块、自编码模块；
所述差异特征提取模块对所述装配体前一时刻图像进行卷积操作，得到第一特征信息；对所述装配体后一时刻图像进行卷积操作，得到第二特征信息；对所述第一特征信息和第二特征信息进行差分处理，得到特征图；将特征图输入至激活函数，得到差异图像；
所述注意力模块遍历所述差异图像中每个像素，对每次访问的像素，将其与其他像素之间的距离进行加权，得到注意力图像；
所述自编码模块提取注意力图像的差异特征信息。
进一步的，所述差异特征提取模块包括用于获取所述第一特征信息和第二特征信息的特征提取器、用于获取所述差异图像的特征比较器；所述第一特征信息和第二特征信息均包括低级特征信息和高级特征信息；
所述特征提取器包括若干层卷积层；先后将装配体前一时刻图像和装配体后一时刻图像输入至特征提取器，通过低层卷积层得到第一特征信息的低级特征信息和第二特征信息的低级特征信息；通过高层卷积层得到输出第一特征信息的高级特征信息和第二特征信息的高级特征信息；
所述特征比较器包括若干层比较层和激活层；低层比较层对第一特征信息的低级特征信息和第二特征信息的低级特征信息进行差分处理和上采样处理，得到第一差分结果并将其输出至高层比较层；高层比较层对第一特征信息的高级特征信息和第二特征信息的高级特征信息进行差分处理，得到第二差分结果，再对第一差分结果和第二差分结果进行特征融合和特征提取得到特征图；将特征图输入至激活层，得到差异图像。
进一步的，所述伪标签生成模块对差异特征信息中的所有差异特征向量进行聚类分析，得到若干个表征变化区域的第一差异特征向量类、若干个表征不变区域的第二差异特征向量类和若干个表征图像噪声的第三差异特征向量类；并计算各第一差异特征向量类和各第二差异特征向量类的可信度；选择可信度最高的第一差异特征向量类和第二差异特征向量类为所述差异特征信息对应的伪标签。
本发明具有如下有益效果：
1、本发明通过生成伪标签，实现无监督学习的装配体变化检测，提高效率，节省时间和人工成本。
2、本发明通过聚类算法得到表征变化区域的第一差异特征向量类和表征不变区域的第二差异特征向量类并将其作为标签，引导训练分类器；其中通过划分第三差异特征向量类去除背景干扰并削弱斑点噪声的影响，提高生成伪标签的正确率。
3、本发明中高层卷积层的感受野比较大，其得到的高级特征信息的语义信息表达能力强，但缺乏空间几何细节；低层卷积层的感受野比较小，其得到的低级特征信息的空间几何细节信息表达能力强，但是语义信息表达能力弱。考虑到不同层的网络提取优势不同，所以为了充分利用低级特征信息和高级特征信息，多次进行差分处理和特征融合，以获得更优的差异图像。
4、本发明对差异图像中每个像素与其余像素之间的位置距离进行加权，使最突出的特征区域具有更高的概率，能减少离散点的噪声影响，获得更有显著性差异的注意力图像。
5、本发明通过自编码算法学习高维度的注意力图像中的典型特征，得到低维度的差异特征信息，分类器对低维度的差异特征信息进行分类，分类器计算复杂度降低。
附图说明
图1为本发明所述方法流程图；
图2为本发明所述各模块连接关系图；
图3本发明所述方法流程图；
图4为本发明中差异特征提取模块示意图；
图5为本发明中特征比较器示意图；
图6为本发明中注意力模块示意图；
图7为本发明中自编码器模块示意图；
图8和图9为处于不同装配节点的装配体三维模型示意图；
图10为前一时刻装配体深度图像；
图11为后一时刻装配体深度图像；
图12为由图10和图11得到的注意力图像。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
如图1所示，一种基于无监督学习的装配体变化检测方法，包括如下步骤：
S1、构建包括若干个差异特征信息的数据集：
首先，通过SolidWorks建立机械装配体的三维模型，并设定m个装配节点，m-1个装配步骤，每个步骤在装配体上装配一个零部件。
然后，将机械装配体的三维模型加载到深度图像成像软件中，设定虚拟摄像机在各装配节点拍摄装配体，得到装配体的若干组双时相图像。所述双时相图像包括装配体前一时刻图像和装配体后一时刻图像。
通过图像差异分析模块提取每一组双时相图像的差异特征信息，所述差异特征信息中包括若干个差异特征向量。
S2、生成伪标签：伪标签生成模块对差异特征信息中的所有差异特征向量进行聚类分析,得到若干个表征变化区域的第一差异特征向量类、若干个表征不变区域的第二差异特征向量类和若干个表征图像噪声(图像噪声包括背景干扰、斑点噪声等)的第三差异特征向量类；计算各第一差异特征向量类和各第二差异特征向量类的可信度；选择可信度最高的第一差异特征向量类和第二差异特征向量类为所述差异特征信息对应的伪标签。
例如，图8中机械装配体三维模型处于第2个装配节点、图9中机械装配体三维模型处于第3个装配节点；利用虚拟摄像机在深度图像成像软件分别拍摄图8和图9中装配体，得到一组双时相深度图像即图10和图11；通过本发明所述方法得到注意力图像即图12。图12中111标示白色部分为第一差异特征向量类，112标示白色部分为第三差异特征向量类，黑色部分为第二差异特征向量类。
利用卷积神经网络构建分类器；训练并测试分类器：将数据集划分为训练集和测试集；利用训练集及其对应的伪标签，迭代训练所述分类器，以优化分类器中的参数，直至达到设定的训练迭代次数。利用测试集及其对应的伪标签，测试分类器的正确率。
获取装配体变化类型：获取待检测双时相图像；获取所述待检测双时相图像的差异特征信息，并将差异特征信息输入至训练好的分类器，分类器输出装配体的变化类型。
本实施例的进步之处在于通过生成伪标签，实现无监督学习的装配体变化检测，提高效率，节省时间和人工成本。
实施例二
进一步的，如图2至图7所示，在本实施例中构建包括差异特征提取模块、注意力模块、自编码模块的图像差异分析模块。
差异特征提取模块包括特征提取器和特征比较器：
特征提取器为基于权重共享的卷积神经网络VGG-16，VGG-16(视觉几何群网络)中低层卷积层提取图像的低级特征信息，高层卷积层在低级特征信息的基础上进一步提取高级特征信息(VGG-16中靠近输入层的卷积层为低层卷积层，靠近输出层的卷积层为高层卷积层)。输入装配体前一时刻图像至VGG-16，得到第一特征信息。在本实施例中，第一特征信息中包括三个低级特征信息和三个高级特征信息。同理，输入装配体后一时刻图像至VGG-16，得到包括三个低级特征信息和三个高级特征信息的第二特征信息。
如图4所示，特征比较器包括六个比较层、三个卷积层(每一卷积层内嵌有一激活函数ReLU)。将第一特征信息的低级特征信息和第二特征信息的低级特征信息，或第一特征信息的高级特征信息和第二特征信息的高级特征信息输入至比较层。
具体的，第一个比较层对第一特征信息的低级特征信息和第二特征信息的低级特征信息进行差分处理和上采样处理，得到差分结果并将其输出至下一比较层。之后每一比较层(除第一个比较层)对VGG-16卷积层输入的第一特征信息的低级特征信息和第二特征信息的低级特征信息或第一特征信息的高级特征信息和第二特征信息的高级特征信息进行差分处理，将差分处理后数据与上一比较层输入的差分结果进行特征融合，并再次经上采样处理后得到新的差分结果输入至下一比较层，如图5所示。最后一个比较层输出的差分结果即为特征图，将特征图输入至所述三个卷积层(卷积层用于对特征图进行降噪，并通过激活函数进行非线性转换)，得到差异图像P。
注意力模块如图6所示，注意力模块对差异图像P进行优化得到注意力图像P’：
将差异图像P分别输入至三个1×1卷积层，得到特征图Q、特征图K和特征图V。
对特征图Q和K进行Affinity运算(亲和力运算，Affinity运算属于公知常识，在此不再赘述)生成注意力图A；对特征图V进行特征自适应，以保留原始特征信息。最后，将注意力图A和特征图V通过Aggregation操作(聚合操作，Aggregation操作属于公知常识，在此不再赘述)聚合上下文信息，以增强局部特征表示，最终获得更有显著性差异的注意力图像P’。
如图7所示，自编码器模块包括编码器(Encoder)和解码器(Decoder)。
将注意力图像P’作为输入向量X输入至编码器，编码器对输入向量X进行编码以获得潜在的特征信息h(X)，编码过程如下：
h(X)＝f(WX+b)
解码器利用特征信息h(X)对输入向量X进行重构，并使重构结果
Figure BDA0003058458170000112
(即差异特征信息)尽可能接近原始输入X(即注意力图像)，则重构后的差异特征信息保留了注意力图像中绝大部分特征信息，解码过程如下：
Figure BDA0003058458170000111
自编码器模块采用的自编码器算法为无监督学习算法，其中的W、W′、b和b′为训练参数，训练参数的具体数值在迭代训练中更新。
实际应用时，根据不同装配体变化检测的具体需求，可采用堆叠式自编码器、降噪式自编码器、堆叠降噪式自编码器、稀疏式自编码器、模糊式自编码器和反射式自编码器等自编码方法。
本实施例的进步之处在：
1、高层卷积层的感受野比较大，其得到的高级特征信息的语义信息表达能力强，但缺乏空间几何细节；低层卷积层的感受野比较小，其得到的低级特征信息的空间几何细节信息表达能力强，但是语义信息表达能力弱。考虑到不同层的网络提取优势不同，所以为了充分利用低级特征信息和高级特征信息，多次进行差分处理和特征融合，以获得更优的差异图像。
2、对差异图像中每个像素与其余像素之间的位置距离进行加权，使最突出的特征区域具有更高的概率，能减少离散点的噪声影响，获得更有显著性差异的注意力图像。
3、通过自编码算法学习高维度的注意力图像中的典型特征，得到低维度的差异特征信息，分类器对低维度的差异特征信息进行分类，分类器计算复杂度降低，能够极大程度上减少分类器所需的训练时间和响应时间。
实施例三
进一步的，所述伪标签生成模块为聚类分析模块。聚类分析模块利用FCM算法(模糊C均值算法)或其他聚类分析算法，将差异特征信息中的相似的差异特征向量划分为一类，得到若干个表征变化区域的第一差异特征向量类、若干个表征不变区域的第二差异特征向量类和若干个表征图像噪声(图像噪声包括背景干扰和斑点噪声等)的第三差异特征向量类。通过模糊隶属度值矩阵更新聚类中心，以最大限度地提高内部相似性的同时最小化群集间相似性，这将有助于保留更多图像细节并提高变化检测的准确性。
本实施例的进步之处在于，通过聚类算法得到表征变化区域的第一差异特征向量类和表征不变区域的第二差异特征向量类并将其作为标签，引导训练分类器；其中通过划分第三差异特征向量类去除背景干扰并削弱斑点噪声的影响，提高生成伪标签的正确率。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于无监督学习的装配体变化检测方法，其特征在于，包括如下步骤：
构建包括若干个差异特征信息的数据集：获取若干组双时相图像，所述双时相图像包括装配体前一时刻图像和装配体后一时刻图像；获取每一组双时相图像的差异特征信息，所述差异特征信息中包括若干个差异特征向量；所述差异特征信息的获取步骤具体为：
对所述装配体前一时刻图像进行卷积操作，得到第一特征信息；对所述装配体后一时刻图像进行卷积操作，得到第二特征信息；
对所述第一特征信息和第二特征信息进行差分处理，得到特征图；将特征图输入至激活函数，得到差异图像；
遍历所述差异图像中每个像素，对每次访问的像素，将其与差异图像中其他像素之间的距离进行加权，得到注意力图像；
通过自编码算法提取所述差异图像的若干个差异特征向量，得到差异特征信息；
生成伪标签：对差异特征信息中的所有差异特征向量进行聚类分析，得到每个差异特征信息的伪标签；所述获取伪标签具体为：
对差异特征信息中的所有差异特征向量进行聚类分析，得到若干个表征变化区域的第一差异特征向量类、若干个表征不变区域的第二差异特征向量类和若干个表征图像噪声的第三差异特征向量类；计算各第一差异特征向量类和各第二差异特征向量类的可信度；选择可信度最高的第一差异特征向量类和第二差异特征向量类为所述差异特征信息对应的伪标签；
所述可信度E的计算公式为：
Figure FDA0003897401600000021
Figure FDA0003897401600000022
其中，μ表示差异特征向量类C的均值向量；xi表示差异特征向量类C中第i个差异特征向量，i＝1、2……n；
构建并训练分类器：构建分类器；利用所述若干个差异特征信息及其对应的伪标签，迭代训练所述分类器；
获取装配体变化类型：获取待检测双时相图像；获取所述待检测双时相图像的差异特征信息，并将差异特征信息输入至训练好的分类器，分类器输出装配体的变化类型。
2.根据权利要求1所述的一种基于无监督学习的装配体变化检测方法，其特征在于，所述第一特征信息和第二特征信息均包括低级特征信息和高级特征信息；
所述特征图的获取步骤具体为：
对第一特征信息和第二特征信息的低级特征信息进行差分处理和上采样处理，得到第一差分结果；对第一特征信息和第二特征信息的高级特征信息进行差分处理，得到第二差分结果；对第一差分结果和第二差分结果进行特征融合和特征提取，得到所述特征图。
3.一种基于无监督学习的装配体变化检测设备，其特征在于，包括图像差异分析模块、伪标签生成模块和分类器；
所述图像差异分析模块分别与伪标签生成模块和分类器通信连接；所述伪标签生成模块与分类器通信连接；
所述图像差异分析模块获取数据集中每一组双时相图像的差异特征信息，并将其输入至伪标签生成模块和分类器；所述双时相图像包括装配体前一时刻图像和装配体后一时刻图像；所述差异特征信息中包括若干个差异特征向量；
所述图像差异分析模块包括差异特征提取模块、注意力模块、自编码模块；
所述差异特征提取模块对所述装配体前一时刻图像进行卷积操作，得到第一特征信息；对所述装配体后一时刻图像进行卷积操作，得到第二特征信息；对所述第一特征信息和第二特征信息进行差分处理，得到特征图；将特征图输入至激活函数，得到差异图像；
所述注意力模块遍历所述差异图像中每个像素，对每次访问的像素，将其与其他像素之间的距离进行加权，得到注意力图像；
所述自编码模块提取注意力图像的若干个差异特征向量，得到差异特征信息；
所述图像差异分析模块获取待检测双时相图像的差异特征信息并将其输入至分类器；
所述伪标签生成模块对差异特征信息中的所有差异特征向量进行聚类分析，得到每个差异特征信息的伪标签并将其输入至分类器；
所述获取伪标签具体为：
对差异特征信息中的所有差异特征向量进行聚类分析，得到若干个表征变化区域的第一差异特征向量类、若干个表征不变区域的第二差异特征向量类和若干个表征图像噪声的第三差异特征向量类；计算各第一差异特征向量类和各第二差异特征向量类的可信度；选择可信度最高的第一差异特征向量类和第二差异特征向量类为所述差异特征信息对应的伪标签；所述可信度E的计算公式为：
Figure FDA0003897401600000041
Figure FDA0003897401600000042
其中，μ表示差异特征向量类C的均值向量；xi表示差异特征向量类C中第i个差异特征向量，i＝1、2……n；
所述分类器根据由数据集得到的若干个差异特征信息及其对应的伪标签，进行迭代训练；训练好的分类器根据待检测双时相图像的差异特征信息，输出装配体的变化类型。
4.根据权利要求3所述的一种基于无监督学习的装配体变化检测设备，其特征在于，所述差异特征提取模块包括用于获取所述第一特征信息和第二特征信息的特征提取器、用于获取所述差异图像的特征比较器；所述第一特征信息和第二特征信息均包括低级特征信息和高级特征信息；
所述特征提取器包括若干层卷积层；先后将装配体前一时刻图像和装配体后一时刻图像输入至特征提取器，通过低层卷积层得到第一特征信息的低级特征信息和第二特征信息的低级特征信息；通过高层卷积层得到输出第一特征信息的高级特征信息和第二特征信息的高级特征信息；
所述特征比较器包括若干层比较层和激活层；低层比较层对第一特征信息的低级特征信息和第二特征信息的低级特征信息进行差分处理和上采样处理，得到第一差分结果并将其输出至高层比较层；高层比较层对第一特征信息的高级特征信息和第二特征信息的高级特征信息进行差分处理，得到第二差分结果，再对第一差分结果和第二差分结果进行特征融合和特征提取得到特征图；将特征图输入至激活层，得到差异图像。
CN202110506000.9A 2021-05-10 2021-05-10 一种基于无监督学习的装配体变化检测方法及设备 Active CN113269235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110506000.9A CN113269235B (zh) 2021-05-10 2021-05-10 一种基于无监督学习的装配体变化检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110506000.9A CN113269235B (zh) 2021-05-10 2021-05-10 一种基于无监督学习的装配体变化检测方法及设备

Publications (2)

Publication Number Publication Date
CN113269235A CN113269235A (zh) 2021-08-17
CN113269235B true CN113269235B (zh) 2022-12-27

Family

ID=77230238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110506000.9A Active CN113269235B (zh) 2021-05-10 2021-05-10 一种基于无监督学习的装配体变化检测方法及设备

Country Status (1)

Country Link
CN (1) CN113269235B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140826A (zh) * 2021-12-03 2022-03-04 北京交通大学 一种基于相机特征分离的目标重识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205807A (zh) * 2015-08-19 2015-12-30 西安电子科技大学 基于稀疏自动编码机的遥感图像变化检测方法
CN108171119A (zh) * 2017-12-08 2018-06-15 西安电子科技大学 基于残差网络的sar图像变化检测方法
CN108564585A (zh) * 2018-04-27 2018-09-21 福建师范大学 一种基于自组织映射与深度神经网络的图像变化检测方法
US10885336B1 (en) * 2018-01-13 2021-01-05 Digimarc Corporation Object identification and device communication through image and audio signals
CN112288750A (zh) * 2020-11-20 2021-01-29 青岛理工大学 一种基于深度学习网络的机械装配体图像分割方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2883091C (en) * 2011-08-25 2020-02-25 Cornell University Retinal encoder for machine vision
KR20160115682A (ko) * 2015-03-25 2016-10-06 삼성전자주식회사 대상에 대하여 공간적으로 가변하는 오토 포커싱을 가능하게 하는 방법 및 이를 이용하는 촬상 시스템
CN114424167A (zh) * 2019-05-06 2022-04-29 强力物联网投资组合2016有限公司 用于促进工业物联网系统智能开发的平台
CN110207951B (zh) * 2019-05-23 2020-09-08 北京航空航天大学 一种基于视觉的飞机线缆支架装配状态检测方法
CN110889461B (zh) * 2019-12-09 2023-04-28 华南理工大学 一种面向机箱装配质量检测的图像多特征提取与分类方法
CN111640104B (zh) * 2020-05-29 2023-11-24 研祥智慧物联科技有限公司 一种螺钉装配的视觉检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205807A (zh) * 2015-08-19 2015-12-30 西安电子科技大学 基于稀疏自动编码机的遥感图像变化检测方法
CN108171119A (zh) * 2017-12-08 2018-06-15 西安电子科技大学 基于残差网络的sar图像变化检测方法
US10885336B1 (en) * 2018-01-13 2021-01-05 Digimarc Corporation Object identification and device communication through image and audio signals
CN108564585A (zh) * 2018-04-27 2018-09-21 福建师范大学 一种基于自组织映射与深度神经网络的图像变化检测方法
CN112288750A (zh) * 2020-11-20 2021-01-29 青岛理工大学 一种基于深度学习网络的机械装配体图像分割方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Spatial-Temporal Attention-Based Method anda New Dataset for Remote Sensing Image Change Detection;Hao Chen et al.;《Remote sensing》;20200522;正文第1-10页，图2 *

Also Published As

Publication number Publication date
CN113269235A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN110232341B (zh) 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN111950649B (zh) 基于注意力机制与胶囊网络的低照度图像分类方法
CN111259904B (zh) 一种基于深度学习和聚类的语义图像分割方法及系统
Venugopal Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN112560865B (zh) 一种室外大场景下点云的语义分割方法
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
Feng et al. Bag of visual words model with deep spatial features for geographical scene classification
CN109711411B (zh) 一种基于胶囊神经元的图像分割识别方法
CN113203566A (zh) 一种基于一维数据增强和cnn的电机轴承故障诊断方法
CN114220154A (zh) 一种基于深度学习的微表情特征提取与识别方法
Xu et al. Face expression recognition based on convolutional neural network
CN114612660A (zh) 一种基于多特征融合点云分割的三维建模方法
CN115294563A (zh) 一种基于Transformer的增强了局部语义学习能力的3D点云分析方法及装置
Zhang et al. Image target recognition model of multi-channel structure convolutional neural network training automatic encoder
CN113269235B (zh) 一种基于无监督学习的装配体变化检测方法及设备
CN110263855B (zh) 一种利用共基胶囊投影进行图像分类的方法
CN114511785A (zh) 基于瓶颈注意力模块的遥感图像云检测方法及系统
Khellal et al. Convolutional neural network features comparison between back-propagation and extreme learning machine
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN115995040A (zh) 一种基于多尺度网络的sar图像小样本目标识别方法
CN115272696A (zh) 一种基于自适应卷积和局部几何信息的点云语义分割方法
CN112365456B (zh) 基于三维点云数据的变电站设备分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant