CN112215262A - 基于自监督对比学习的图像深度聚类方法及系统 - Google Patents

基于自监督对比学习的图像深度聚类方法及系统 Download PDF

Info

Publication number
CN112215262A
CN112215262A CN202010996960.3A CN202010996960A CN112215262A CN 112215262 A CN112215262 A CN 112215262A CN 202010996960 A CN202010996960 A CN 202010996960A CN 112215262 A CN112215262 A CN 112215262A
Authority
CN
China
Prior art keywords
embedding
network
teacher
sample
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010996960.3A
Other languages
English (en)
Other versions
CN112215262B (zh
Inventor
朱军
蔡淙崴
李崇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010996960.3A priority Critical patent/CN112215262B/zh
Publication of CN112215262A publication Critical patent/CN112215262A/zh
Application granted granted Critical
Publication of CN112215262B publication Critical patent/CN112215262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

基于自监督对比学习的图像深度聚类方法及系统，利用对比学习来提升嵌入的判别性，在不给定人类标注下，对比学习通过判别样本，能为语义相似的样本学到余弦相似度高、且判别性强的嵌入。在此基础上，本技术方案挖掘能简化学习过程的子任务，而由于同样类别样本的类内差异小于不同类样本，根据样本的类别来决定子任务是其中一种最自然的划分方式。因此，对比混合专家系统鼓励高度专业化专家，每个专家善于处理特定类别的样本，自然地得到好的聚类结果。同时，对比混合专家系统优化单一项目标函数，不需要预训练或正则项等处理便可防止聚类退化，可以应用于更加复杂图像的无监督聚类任务。

Description

基于自监督对比学习的图像深度聚类方法及系统
技术领域
本发明涉及机器学习技术领域，具体涉及一种基于自监督对比学习的图像深度聚类方法及系统。
背景技术
目前，无监督聚类是深度神经网络的具备挑战性的困难之一，由于标注大量的数据需要高昂的费用和密集的人力，且标注的质量难以保证，往往需要聚类将数据划分成不同的子集，才能挖掘数据集内部的结构特性。
现阶段经典的聚类例如：k均值算法、谱聚类和层次聚类等方法在处理高维数据时效果不甚理想。在深度学习快速发展下，许多研究尝试结合经典聚类和深度学习方法，旨在利用深层神经网络提取特征，再直接或间接使用经典聚类方法来划分提取的特征，一般称为深度聚类方法。然而，直接合并两类方法通常效果不理想，甚至模型会退化到将所有样本分到单一类。因此需要繁琐的启发式技巧来避免聚类退化的问题，包含但不限于加入预训练、数据重构、多任务学习和额外正则项等。
现有技术中，基于概率的深度聚类方法提供了一个系统化的解决方案，能简洁有效地防止退化解，但已有方法限制了模型的判别性。基于深度生成模型的方法尝试为数据潜在表示引入一个混合高斯分布的先验来建模多模态数据，但在学习数据生成过程浪费模型性能。而判别式聚类直接学习输入数据到聚类标签的映射，通常效果优于深度生成方法，尽管判别式方法计算效率高，直接输出低维的聚类标签迫使模型丢弃样本粒度的信息，限制了特征学习和聚类的表现。已有的概率方法在简单的图片数据集上(如MNIST)聚类表现良好，但是由于模型判别性不足，在较复杂的图片数据集上表现不佳。
鉴于概率深度聚类方法判别性的不足，亟需一种能够提高概率聚类的判别性，以处理更加复杂的数据集的技术方案。
发明内容
为此，本发明实施例提供一种基于自监督对比学习的图像深度聚类方法及系统，可以提高概率聚类的判别性，以处理更加复杂的数据集，在不需要额外的启发式技巧下，有效避免聚类退化解，显著地提高了深度神经网络在图像聚类任务上的表现。
为了实现上述目的，本发明提供如下技术方案：第一方面，提供一种基于自监督对比学习的图像深度聚类方法，图像划分有样本集、训练集和测试集，该基于自监督对比学习的图像深度聚类方法包括以下步骤：
(1)对样本集中的每个样本赋予一个索引值，并将所述索引值作为对应样本的自监督标签；所述训练集包括样本、未知聚类标签及所述自监督标签；通过所述训练集训练对比混合专家系统；
(2)通过最大马氏距离分布初始化门控函数的簇嵌入，并随机初始化所述对比混合专家系统的簇嵌入；
(3)对于所述样本集中的每个样本，采用学生网络和教师网络进行样本嵌入提取；将所述学生网络提取的样本嵌入记为学生嵌入，将所述教师网络提取的样本嵌入记为教师嵌入，并将所述学生嵌入和教师嵌入的L2范数均约束为一；
(4)利用门控网络提取门控嵌入，将所述门控嵌入的L2范数均约束为一；
(5)预设一个维持队列，通过所述维持队列动态保存所述教师网络的输出；
(6)获取子专家模型的输出概率，并获取门控函数的输出概率；
(7)利用变分分布获取证据下界，将所述证据下界作为目标函数；
(8)以随机梯度上升更新所述学生网络和门控网络中的参数以及对比混合专家系统的簇嵌入；
(9)通过所述学生网络中参数的指数移动平均值对所述教师网络进行更新；
(10)获取所述样本集中的样本硬划分，所述硬划分中选取变分分布概率最大的维度作为样本的聚类预测，更新所述对比混合专家系统的簇嵌入；
(11)重复步骤(3)至步骤(10)直至所述对比混合专家系统收敛；在测试阶段，使用最后一轮步骤(10)的聚类标签当做最终预测；所述测试集包括样本和真实的类别标签；使用所述测试集验证所述对比混合专家系统的性能。
作为基于自监督对比学习的图像深度聚类方法的优选方案，步骤(1)中，赋予索引值的所述样本集未进行标注，样本集包括来自K个类别的样本。
作为基于自监督对比学习的图像深度聚类方法的优选方案，步骤(1)中，对样本集中的每个样本赋予的索引值之间互相不同。
作为基于自监督对比学习的图像深度聚类方法的优选方案，步骤(3)中，对于所述样本集中的每个样本，采用学生网络和教师网络各提取K个d维的样本嵌入；将所述学生网络提取的K个d维的样本嵌入记为学生嵌入，将所述教师网络提取的K个d维的样本嵌入记为教师嵌入。
作为基于自监督对比学习的图像深度聚类方法的优选方案，步骤(4)中，利用门控网络提取一个d维的门控嵌入，将所有d维嵌入的L2范数均约束为一。
作为基于自监督对比学习的图像深度聚类方法的优选方案，步骤(3)中，所述门控网络和学生网络共享一个提取特征的深度神经网络，门控网络和学生网络各自有独立的输出层。
作为基于自监督对比学习的图像深度聚类方法的优选方案，步骤(5)中，每当获取新的教师嵌入后，将新的教师嵌入放入所述维持队列，同时将最旧的教师嵌入删除。
作为基于自监督对比学习的图像深度聚类方法的优选方案，步骤(6)中，将每个对比混合专家系统的输出概率定义为一个非参数化的softmax分类器，其中分子和分母分别为未归一化模型和一个归一化项；
所述未归一化模型为两组内积和的指数函数，分别为所述学生嵌入与教师嵌入间的内积，以及门控嵌入与教师嵌入间的内积；
所述归一化项利用所述维持队列中的教师嵌入来提供近似值，所述门控函数接受样本为输入，输出为一个非参数化的softmax分类器，softmax函数的输入为一个K维的向量，每一维为一个簇嵌入和门控嵌入的内积。
作为基于自监督对比学习的图像深度聚类方法的优选方案，步骤(10)中，将所述子专家模型的簇嵌入更新为该簇分配到的教师嵌入和，并归一化簇嵌入的L2范数至一。
第二方面，本发明提供一种基于自监督对比学习的图像深度聚类系统，图像划分有样本集、训练集和测试集，该基于自监督对比学习的图像深度聚类系统包括：
索引值赋予模块，用于对样本集中的每个样本赋予一个索引值，并将所述索引值作为对应样本的自监督标签；所述训练集包括样本、未知聚类标签及所述自监督标签；通过所述训练集训练对比混合专家系统；
簇嵌入初始化模块，用于通过最大马氏距离分布初始化门控函数的簇嵌入，并随机初始化所述对比混合专家系统的簇嵌入；
样本嵌入提取模块，用于对所述样本集中的每个样本，采用学生网络和教师网络进行样本嵌入提取；将所述学生网络提取的样本嵌入记为学生嵌入，将所述教师网络提取的样本嵌入记为教师嵌入，并将所述学生嵌入和教师嵌入的L2范数均约束为一；
门控嵌入处理模块，用于利用门控网络提取门控嵌入，将所述门控嵌入的L2范数均约束为一；
维持队列模块，用于预设一个维持队列，通过所述维持队列动态保存所述教师网络的输出；
概率输出模块，用于获取子专家模型的输出概率，并获取门控函数的输出概率；
目标函数模块，用于利用变分分布获取证据下界，将所述证据下界作为目标函数；
第一更新模块，用于以随机梯度上升更新所述学生网络和门控网络中的参数以及对比混合专家系统的簇嵌入；
第二更新模块，用于通过所述学生网络中参数的指数移动平均值对所述教师网络进行更新；
硬划分处理模块，用于获取所述样本集中的样本硬划分，所述硬划分中选取变分分布概率最大的维度作为样本的聚类预测，更新所述对比混合专家系统的簇嵌入；
测试验证模块，用于使用所述测试集验证所述对比混合专家系统的性能。
作为基于自监督对比学习的图像深度聚类系统的优选方案，所述索引值赋予模块赋予索引值的所述样本集未进行标注，样本集包括来自K个类别的样本。
作为基于自监督对比学习的图像深度聚类系统的优选方案，所述索引值赋予模块对样本集中的每个样本赋予的索引值之间互相不同。
作为基于自监督对比学习的图像深度聚类系统的优选方案，所述样本嵌入提取模块对于所述样本集中的每个样本，采用学生网络和教师网络各提取K个d维的样本嵌入；样本嵌入提取模块将所述学生网络提取的K个d维的样本嵌入记为学生嵌入，将所述教师网络提取的K个d维的样本嵌入记为教师嵌入。
作为基于自监督对比学习的图像深度聚类系统的优选方案，所述门控嵌入处理模块利用门控网络提取一个d维的门控嵌入，将所有d维嵌入的L2范数均约束为一。
作为基于自监督对比学习的图像深度聚类系统的优选方案，所述门控网络和学生网络共享一个提取特征的深度神经网络，门控网络和学生网络各自有独立的输出层。
作为基于自监督对比学习的图像深度聚类系统的优选方案，所述维持队列模块每当获取新的教师嵌入后，将新的教师嵌入放入所述维持队列，同时将最旧的教师嵌入删除。
作为基于自监督对比学习的图像深度聚类系统的优选方案，所述概率输出模块将每个对比混合专家系统的输出概率定义为一个非参数化的softmax分类器，其中分子和分母分别为未归一化模型和一个归一化项；
所述未归一化模型为两组内积和的指数函数，分别为所述学生嵌入与教师嵌入间的内积，以及门控嵌入与教师嵌入间的内积；
所述归一化项利用所述维持队列中的教师嵌入来提供近似值，所述门控函数接受样本为输入，输出为一个非参数化的softmax分类器，softmax函数的输入为一个K维的向量，每一维为一个簇嵌入和门控嵌入的内积。
作为基于自监督对比学习的图像深度聚类系统的优选方案，所述硬划分处理模块将所述子专家模型的簇嵌入更新为该簇分配到的教师嵌入和，并归一化簇嵌入的L2范数至一。
第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储用于基于自监督对比学习的图像深度聚类的程序代码，所述程序代码包括用于执行第一方面或其任意可能的实现方式中的基于自监督对比学习的图像深度聚类方法的指令。
第四方面，提供一种电子设备，所述电子设备包括处理器，所述处理器与存储介质耦合，当所述处理器执行存储介质中的指令时，使得所述电子设备执行第一方面或其任意可能的实现方式中的基于自监督对比学习的图像深度聚类方法。
本发明技术方案利用对比学习来提升嵌入的判别性，在不给定人类标注下，对比学习通过判别样本，能为语义相似的样本学到余弦相似度高、且判别性强的嵌入。在此基础上，本技术方案挖掘能简化学习过程的子任务，而由于同样类别样本的类内差异小于不同类样本，根据样本的类别来决定子任务是其中一种最自然的划分方式。因此，对比混合专家系统鼓励高度专业化专家，每个专家善于处理特定类别的样本，自然地得到好的聚类结果。同时，对比混合专家系统优化单一项目标函数，不需要预训练或正则项等处理便可防止聚类退化，可以应用于更加复杂图像的无监督聚类任务。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例中提供的基于自监督对比学习的图像深度聚类方法流程示意图；
图2为本发明实施例中提供的基于自监督对比学习的图像深度聚类系统示意图；
图3为用于实施根据本发明实施方式的方法和系统的计算机的示意性框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1，提供提供一种基于自监督对比学习的图像深度聚类方法，图像划分有样本集、训练集和测试集，该基于自监督对比学习的图像深度聚类方法包括以下步骤：
S1：对样本集中的每个样本赋予一个索引值，并将所述索引值作为对应样本的自监督标签；所述训练集包括样本、未知聚类标签及所述自监督标签；通过所述训练集训练对比混合专家系统；
S2：通过最大马氏距离分布初始化门控函数的簇嵌入，并随机初始化所述对比混合专家系统的簇嵌入；
S3：对于所述样本集中的每个样本，采用学生网络和教师网络进行样本嵌入提取；将所述学生网络提取的样本嵌入记为学生嵌入，将所述教师网络提取的样本嵌入记为教师嵌入，并将所述学生嵌入和教师嵌入的L2范数均约束为一；
S4：利用门控网络提取门控嵌入，将所述门控嵌入的L2范数均约束为一；
S5：预设一个维持队列，通过所述维持队列动态保存所述教师网络的输出；
S6：获取子专家模型的输出概率，并获取门控函数的输出概率；
S7：利用变分分布获取证据下界，将所述证据下界作为目标函数；
S8：以随机梯度上升更新所述学生网络和门控网络中的参数以及对比混合专家系统的簇嵌入；
S9：通过所述学生网络中参数的指数移动平均值对所述教师网络进行更新；
S10：获取所述样本集中的样本硬划分，所述硬划分中选取变分分布概率最大的维度作为样本的聚类预测，更新所述对比混合专家系统的簇嵌入；
S11：重复步骤S3至步骤S10直至所述对比混合专家系统收敛；在测试阶段，使用最后一轮步骤S10的聚类标签当做最终预测；所述测试集包括样本和真实的类别标签；使用所述测试集验证所述对比混合专家系统的性能。
具体的，步骤S1中，赋予索引值的所述样本集未进行标注，样本集包括来自K个类别的样本。步骤S1中，对样本集中的每个样本赋予的索引值之间互相不同。设定一个无标注的样本集
Figure BDA0002692924740000081
令真实但未知的类别标签为
Figure BDA0002692924740000082
其中zn∈[K]：＝{1,2,…,K}，K为已知的聚类个数。
对于每个样本都赋予一个索引值yn∈[N]：＝{1,2,…,N}作为自监督标签，标签集合以
Figure BDA0002692924740000084
表示，其中索引值不重复，训练集包含样本、未知聚类标签以及自监督标签，利用分类自监督标签来训练对比混合专家系统，而测试集包含样本和真实的类别标签。
通过最大马氏距离分布初始化门控函数的簇嵌入
Figure BDA0002692924740000083
并随机初始化所述对比混合专家系统的簇嵌入
Figure BDA0002692924740000091
具体的，步骤S3中，对于所述样本集中的每个样本，采用学生网络和教师网络各提取K个d维的样本嵌入；将所述学生网络提取的K个d维的样本嵌入记为学生嵌入，将所述教师网络提取的K个d维的样本嵌入记为教师嵌入。步骤S3中，所述门控网络和学生网络共享一个提取特征的深度神经网络，门控网络和学生网络各自有独立的输出层。步骤S4中，利用门控网络提取一个d维的门控嵌入，将所有d维嵌入的L2范数均约束为一。
对于样本集中所有xn，利用学生网络fθ、教师网络fθ′和门控网络gψ依次来提取样本嵌入
Figure BDA0002692924740000092
和
Figure BDA0002692924740000093
所有d维嵌入的L2范数均约束为一，d最佳取做128，另外，学生网络和门控网络共享一个提取特征的深度神经网络，而各自有独立的输出层。
具体的，步骤S5中，每当获取新的教师嵌入后，将新的教师嵌入放入所述维持队列，同时将最旧的教师嵌入删除。通过一个维持队列
Figure BDA0002692924740000094
来动态保存教师网络的输出，每当计算新的教师嵌入后，将新的嵌入放入队列，同时将最旧的嵌入删除。
步骤S6中，将每个对比混合专家系统的输出概率定义为一个非参数化的softmax分类器，其中分子和分母分别为未归一化模型和一个归一化项；所述未归一化模型为两组内积和的指数函数，分别为所述学生嵌入与教师嵌入间的内积，以及门控嵌入与教师嵌入间的内积；所述归一化项利用所述维持队列中的教师嵌入来提供近似值，所述门控函数接受样本为输入，输出为一个非参数化的softmax分类器，softmax函数的输入为一个K维的向量，每一维为一个簇嵌入和门控嵌入的内积。
具体的，计算对比混合专家系统的输出概率：
Figure BDA0002692924740000095
利用维持队列近似归一化项：
Figure BDA0002692924740000101
计算门控函数的输出概率：
Figure BDA0002692924740000102
利用变分分布：
Figure BDA0002692924740000103
计算证据下界
Figure BDA0002692924740000104
作为目标函数；以随机梯度上升更新学生网络fθ和门控网络gψ中的参数以及专家的簇嵌入
Figure BDA0002692924740000105
利用学生网络参数的指数移动平均来更新教师网络，即θ′←mθ′+(1-m)，m取做0.999；
计算样本的硬划分
Figure BDA0002692924740000106
对于所有k，更新专家的簇嵌入
Figure BDA0002692924740000107
其中
Figure BDA0002692924740000108
步骤S10中，将所述子专家模型的簇嵌入更新为该簇分配到的教师嵌入和，并归一化簇嵌入的L2范数至一。在测试阶段，使用最后的
Figure BDA0002692924740000109
做为样本xn的聚类标签的最终预测。
使用本发明的技术方案，在三个彩色图像数据集CIFAR-10、CIFAR-100以及STL-10上进行测试，在CIFAR-100的测试中使用了其20个超类作为真实的聚类标签。在图片聚类任务上，本发明在CIFAR-10、CIFAR-100和STL-10数据集上的聚类准确度分别得到了83.4、41.7和65.7的结果，大幅超过世界领先水平的70.0、32.7和61.1。
综上所述，本发明为提升概率聚类的判别性，提出了对比混合专家系统，每个专家专门处理一部分数据的自监督学习任务，门控函数则根据样本来选出最适合的专家，可以有效学习到具有语义信息的嵌入，并推断样本的聚类标签，在不需要额外的启发式技巧下，该方法能有效避免聚类退化解，本发明显著地提高了深度神经网络在聚类任务上的表现。
实施例2
参见图2，提供一种基于自监督对比学习的图像深度聚类系统，图像划分有样本集、训练集和测试集，该基于自监督对比学习的图像深度聚类系统包括：
索引值赋予模块1，用于对样本集中的每个样本赋予一个索引值，并将所述索引值作为对应样本的自监督标签；所述训练集包括样本、未知聚类标签及所述自监督标签；通过所述训练集训练对比混合专家系统；
簇嵌入初始化模块2，用于通过最大马氏距离分布初始化门控函数的簇嵌入，并随机初始化所述对比混合专家系统的簇嵌入；
样本嵌入提取模块3，用于对所述样本集中的每个样本，采用学生网络和教师网络进行样本嵌入提取；将所述学生网络提取的样本嵌入记为学生嵌入，将所述教师网络提取的样本嵌入记为教师嵌入，并将所述学生嵌入和教师嵌入的L2范数均约束为一；
门控嵌入处理模块4，用于利用门控网络提取门控嵌入，将所述门控嵌入的L2范数均约束为一；
维持队列模块5，用于预设一个维持队列，通过所述维持队列动态保存所述教师网络的输出；
概率输出模块6，用于获取子专家模型的输出概率，并获取门控函数的输出概率；
目标函数模块7，用于利用变分分布获取证据下界，将所述证据下界作为目标函数；
第一更新模块8，用于以随机梯度上升更新所述学生网络和门控网络中的参数以及对比混合专家系统的簇嵌入；
第二更新模块9，用于通过所述学生网络中参数的指数移动平均值对所述教师网络进行更新；
硬划分处理模块10，用于获取所述样本集中的样本硬划分，所述硬划分中选取变分分布概率最大的维度作为样本的聚类预测，更新所述对比混合专家系统的簇嵌入；
测试验证模块11，用于使用所述测试集验证所述对比混合专家系统的性能。
具体的，所述索引值赋予模块1赋予索引值的所述样本集未进行标注，样本集包括来自K个类别的样本。所述索引值赋予模块1对样本集中的每个样本赋予的索引值之间互相不同。
具体的，所述样本嵌入提取模块3对于所述样本集中的每个样本，采用学生网络和教师网络各提取K个d维的样本嵌入；样本嵌入提取模块3将所述学生网络提取的K个d维的样本嵌入记为学生嵌入，将所述教师网络提取的K个d维的样本嵌入记为教师嵌入。
具体的，所述门控嵌入处理模块4利用门控网络提取一个d维的门控嵌入，将所有d维嵌入的L2范数均约束为一。所述门控网络和学生网络共享一个提取特征的深度神经网络，门控网络和学生网络各自有独立的输出层。
具体的，所述维持队列模块5每当获取新的教师嵌入后，将新的教师嵌入放入所述维持队列，同时将最旧的教师嵌入删除。
具体的，所述概率输出模块6将每个对比混合专家系统的输出概率定义为一个非参数化的softmax分类器，其中分子和分母分别为未归一化模型和一个归一化项；
所述未归一化模型为两组内积和的指数函数，分别为所述学生嵌入与教师嵌入间的内积，以及门控嵌入与教师嵌入间的内积；
所述归一化项利用所述维持队列中的教师嵌入来提供近似值，所述门控函数接受样本为输入，输出为一个非参数化的softmax分类器，softmax函数的输入为一个K维的向量，每一维为一个簇嵌入和门控嵌入的内积。
具体的，所述硬划分处理模块10将所述子专家模型的簇嵌入更新为该簇分配到的教师嵌入和，并归一化簇嵌入的L2范数至一。
需要说明的是，上述系统各模块/单元之间的信息交互、执行过程等内容，由于与本申请实施例中的方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述。
实施例3
提供一种计算机可读存储介质，所述计算机可读存储介质中存储用于基于自监督对比学习的图像深度聚类的程序代码，所述程序代码包括用于执行实施例1或其任意可能的实现方式中的基于自监督对比学习的图像深度聚类方法的指令。
计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(SolidStateDisk、SSD))等。
实施例4
参见图3，提供一种电子设备，所述电子设备包括处理器，所述处理器与存储介质耦合，当所述处理器执行存储介质中的指令时，使得所述电子设备执行实施例1或其任意可能的实现方式中的基于自监督对比学习的图像深度聚类方法。
具体的，处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于所述处理器之外，独立存在。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机1200程序产品的形式实现。所述计算机1200程序产品包括一个或多个计算机1200指令。在计算机1200上加载和执行所述计算机1200程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机1200可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机1200指令可以存储在计算机1200可读存储介质中，或者从一个计算机1200可读存储介质向另一个计算机1200可读存储介质传输，例如，所述计算机1200指令可以从一个网站站点、计算机1200、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机1200、服务器或数据中心进行传输。
具体的，参见图3，示出了可用于实施根据本发明实施方式的方法和系统的计算机的示意性框图，在图3中，中央处理单元(CPU)1201根据只读存储器(ROM)1202中存储的程序或从存储部分1208加载到随机存取存储器(RAM)1203的程序执行各种处理。在RAM 1203中，还根据需要存储当CPU 1201执行各种处理等等时所需的数据。CPU 1201、ROM 1202和RAM1203经由总线1204彼此连接。输入/输出接口1205也连接到总线1204。
下述部件连接到输入/输出接口1205：输入部分1206(包括键盘、鼠标等等)、输出部分1207(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1208(包括硬盘等)、通信部分1209(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1209经由网络比如因特网执行通信处理。根据需要，驱动器1210也可连接到输入/输出接口1205。可拆卸介质1211比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1210上，使得从中读出的计算机程序根据需要被安装到存储部分1208中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1211安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图3所示的其中存储有程序的、与设备相分离地分发以向用户提供程序的可拆卸介质1211。可拆卸介质1211的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1202、存储部分1208中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
综上，在根据本公开的实施例中，本公开提供了如下方案，但不限于此：
1.基于自监督对比学习的图像深度聚类方法，图像划分有样本集、训练集和测试集，其特征在于，包括以下步骤：
(1)对样本集中的每个样本赋予一个索引值，并将所述索引值作为对应样本的自监督标签；所述训练集包括样本、未知聚类标签及所述自监督标签；通过所述训练集训练对比混合专家系统；
(2)通过最大马氏距离分布初始化门控函数的簇嵌入，并随机初始化所述对比混合专家系统的簇嵌入；
(3)对于所述样本集中的每个样本，采用学生网络和教师网络进行样本嵌入提取；将所述学生网络提取的样本嵌入记为学生嵌入，将所述教师网络提取的样本嵌入记为教师嵌入，并将所述学生嵌入和教师嵌入的L2范数均约束为一；
(4)利用门控网络提取门控嵌入，将所述门控嵌入的L2范数均约束为一；
(5)预设一个维持队列，通过所述维持队列动态保存所述教师网络的输出；
(6)获取子专家模型的输出概率，并获取门控函数的输出概率；
(7)利用变分分布获取证据下界，将所述证据下界作为目标函数；
(8)以随机梯度上升更新所述学生网络和门控网络中的参数以及对比混合专家系统的簇嵌入；
(9)通过所述学生网络中参数的指数移动平均值对所述教师网络进行更新；
(10)获取所述样本集中的样本硬划分，所述硬划分中选取变分分布概率最大的维度作为样本的聚类预测，更新所述对比混合专家系统的簇嵌入；
(11)重复步骤(3)至步骤(10)直至所述对比混合专家系统收敛；在测试阶段，使用最后一轮步骤(10)的聚类标签当做最终预测；所述测试集包括样本和真实的类别标签；使用所述测试集验证所述对比混合专家系统的性能。
2.根据方案1所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(1)中，赋予索引值的所述样本集未进行标注，样本集包括来自K个类别的样本。
3.根据方案1所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(1)中，对样本集中的每个样本赋予的索引值之间互相不同。
4.根据方案1所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(3)中，对于所述样本集中的每个样本，采用学生网络和教师网络各提取K个d维的样本嵌入；将所述学生网络提取的K个d维的样本嵌入记为学生嵌入，将所述教师网络提取的K个d维的样本嵌入记为教师嵌入。
5.根据方案4所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(4)中，利用门控网络提取一个d维的门控嵌入，将所有d维嵌入的L2范数均约束为一。
6.根据方案5所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(3)中，所述门控网络和学生网络共享一个提取特征的深度神经网络，门控网络和学生网络各自有独立的输出层。
7.根据方案1所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(5)中，每当获取新的教师嵌入后，将新的教师嵌入放入所述维持队列，同时将最旧的教师嵌入删除。
8.根据方案1所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(6)中，将每个对比混合专家系统的输出概率定义为一个非参数化的softmax分类器，其中分子和分母分别为未归一化模型和一个归一化项；
所述未归一化模型为两组内积和的指数函数，分别为所述学生嵌入与教师嵌入间的内积，以及门控嵌入与教师嵌入间的内积；
所述归一化项利用所述维持队列中的教师嵌入来提供近似值，所述门控函数接受样本为输入，输出为一个非参数化的softmax分类器，softmax函数的输入为一个K维的向量，每一维为一个簇嵌入和门控嵌入的内积。
9.根据方案1所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(10)中，将所述子专家模型的簇嵌入更新为该簇分配到的教师嵌入和，并归一化簇嵌入的L2范数至一。
10.基于自监督对比学习的图像深度聚类系统，图像划分有样本集、训练集和测试集，其特征在于，包括：
索引值赋予模块，用于对样本集中的每个样本赋予一个索引值，并将所述索引值作为对应样本的自监督标签；所述训练集包括样本、未知聚类标签及所述自监督标签；通过所述训练集训练对比混合专家系统；
簇嵌入初始化模块，用于通过最大马氏距离分布初始化门控函数的簇嵌入，并随机初始化所述对比混合专家系统的簇嵌入；
样本嵌入提取模块，用于对所述样本集中的每个样本，采用学生网络和教师网络进行样本嵌入提取；将所述学生网络提取的样本嵌入记为学生嵌入，将所述教师网络提取的样本嵌入记为教师嵌入，并将所述学生嵌入和教师嵌入的L2范数均约束为一；
门控嵌入处理模块，用于利用门控网络提取门控嵌入，将所述门控嵌入的L2范数均约束为一；
维持队列模块，用于预设一个维持队列，通过所述维持队列动态保存所述教师网络的输出；
概率输出模块，用于获取子专家模型的输出概率，并获取门控函数的输出概率；
目标函数模块，用于利用变分分布获取证据下界，将所述证据下界作为目标函数；
第一更新模块，用于以随机梯度上升更新所述学生网络和门控网络中的参数以及对比混合专家系统的簇嵌入；
第二更新模块，用于通过所述学生网络中参数的指数移动平均值对所述教师网络进行更新；
硬划分处理模块，用于获取所述样本集中的样本硬划分，所述硬划分中选取变分分布概率最大的维度作为样本的聚类预测，更新所述对比混合专家系统的簇嵌入；
测试验证模块，用于使用所述测试集验证所述对比混合专家系统的性能。
11.根据方案10所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述索引值赋予模块赋予索引值的所述样本集未进行标注，样本集包括来自K个类别的样本。
12.根据方案10所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述索引值赋予模块对样本集中的每个样本赋予的索引值之间互相不同。
13.根据方案10所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述样本嵌入提取模块对于所述样本集中的每个样本，采用学生网络和教师网络各提取K个d维的样本嵌入；样本嵌入提取模块将所述学生网络提取的K个d维的样本嵌入记为学生嵌入，将所述教师网络提取的K个d维的样本嵌入记为教师嵌入。
14.根据方案13所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述门控嵌入处理模块利用门控网络提取一个d维的门控嵌入，将所有d维嵌入的L2范数均约束为一。
15.根据方案14所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述门控网络和学生网络共享一个提取特征的深度神经网络，门控网络和学生网络各自有独立的输出层。
16.根据方案10所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述维持队列模块每当获取新的教师嵌入后，将新的教师嵌入放入所述维持队列，同时将最旧的教师嵌入删除。
17.根据方案10所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述概率输出模块将每个对比混合专家系统的输出概率定义为一个非参数化的softmax分类器，其中分子和分母分别为未归一化模型和一个归一化项；
所述未归一化模型为两组内积和的指数函数，分别为所述学生嵌入与教师嵌入间的内积，以及门控嵌入与教师嵌入间的内积；
所述归一化项利用所述维持队列中的教师嵌入来提供近似值，所述门控函数接受样本为输入，输出为一个非参数化的softmax分类器，softmax函数的输入为一个K维的向量，每一维为一个簇嵌入和门控嵌入的内积。
18.根据方案10所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述硬划分处理模块将所述子专家模型的簇嵌入更新为该簇分配到的教师嵌入和，并归一化簇嵌入的L2范数至一。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储用于基于自监督对比学习的图像深度聚类的程序代码，所述程序代码包括用于执行方案1至9中任一项所述的基于自监督对比学习的图像深度聚类方法的指令。
20.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器与存储介质耦合，当所述处理器执行存储介质中的指令时，使得所述电子设备执行方案1至9中任一项所述的基于自监督对比学习的图像深度聚类方法。

Claims (10)

1.基于自监督对比学习的图像深度聚类方法，图像划分有样本集、训练集和测试集，其特征在于，包括以下步骤：
(1)对样本集中的每个样本赋予一个索引值，并将所述索引值作为对应样本的自监督标签；所述训练集包括样本、未知聚类标签及所述自监督标签；通过所述训练集训练对比混合专家系统；
(2)通过最大马氏距离分布初始化门控函数的簇嵌入，并随机初始化所述对比混合专家系统的簇嵌入；
(3)对于所述样本集中的每个样本，采用学生网络和教师网络进行样本嵌入提取；将所述学生网络提取的样本嵌入记为学生嵌入，将所述教师网络提取的样本嵌入记为教师嵌入，并将所述学生嵌入和教师嵌入的L2范数均约束为一；
(4)利用门控网络提取门控嵌入，将所述门控嵌入的L2范数均约束为一；
(5)预设一个维持队列，通过所述维持队列动态保存所述教师网络的输出；
(6)获取子专家模型的输出概率，并获取门控函数的输出概率；
(7)利用变分分布获取证据下界，将所述证据下界作为目标函数；
(8)以随机梯度上升更新所述学生网络和门控网络中的参数以及对比混合专家系统的簇嵌入；
(9)通过所述学生网络中参数的指数移动平均值对所述教师网络进行更新；
(10)获取所述样本集中的样本硬划分，所述硬划分中选取变分分布概率最大的维度作为样本的聚类预测，更新所述对比混合专家系统的簇嵌入；
(11)重复步骤(3)至步骤(10)直至所述对比混合专家系统收敛；在测试阶段，使用最后一轮步骤(10)的聚类标签当做最终预测；所述测试集包括样本和真实的类别标签；使用所述测试集验证所述对比混合专家系统的性能。
2.根据权利要求1所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(1)中，赋予索引值的所述样本集未进行标注，样本集包括来自K个类别的样本；
步骤(1)中，对样本集中的每个样本赋予的索引值之间互相不同。
3.根据权利要求1所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(3)中，对于所述样本集中的每个样本，采用学生网络和教师网络各提取K个d维的样本嵌入；将所述学生网络提取的K个d维的样本嵌入记为学生嵌入，将所述教师网络提取的K个d维的样本嵌入记为教师嵌入；
步骤(4)中，利用门控网络提取一个d维的门控嵌入，将所有d维嵌入的L2范数均约束为一。
4.根据权利要求3所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(3)中，所述门控网络和学生网络共享一个提取特征的深度神经网络，门控网络和学生网络各自有独立的输出层。
5.根据权利要求1所述的基于自监督对比学习的图像深度聚类方法，其特征在于，步骤(5)中，每当获取新的教师嵌入后，将新的教师嵌入放入所述维持队列，同时将最旧的教师嵌入删除；
步骤(6)中，将每个对比混合专家系统的输出概率定义为一个非参数化的softmax分类器，其中分子和分母分别为未归一化模型和一个归一化项；
所述未归一化模型为两组内积和的指数函数，分别为所述学生嵌入与教师嵌入间的内积，以及门控嵌入与教师嵌入间的内积；
所述归一化项利用所述维持队列中的教师嵌入来提供近似值，所述门控函数接受样本为输入，输出为一个非参数化的softmax分类器，softmax函数的输入为一个K维的向量，每一维为一个簇嵌入和门控嵌入的内积；
步骤(10)中，将所述子专家模型的簇嵌入更新为该簇分配到的教师嵌入和，并归一化簇嵌入的L2范数至一。
6.基于自监督对比学习的图像深度聚类系统，图像划分有样本集、训练集和测试集，其特征在于，包括：
索引值赋予模块，用于对样本集中的每个样本赋予一个索引值，并将所述索引值作为对应样本的自监督标签；所述训练集包括样本、未知聚类标签及所述自监督标签；通过所述训练集训练对比混合专家系统；
簇嵌入初始化模块，用于通过最大马氏距离分布初始化门控函数的簇嵌入，并随机初始化所述对比混合专家系统的簇嵌入；
样本嵌入提取模块，用于对所述样本集中的每个样本，采用学生网络和教师网络进行样本嵌入提取；将所述学生网络提取的样本嵌入记为学生嵌入，将所述教师网络提取的样本嵌入记为教师嵌入，并将所述学生嵌入和教师嵌入的L2范数均约束为一；
门控嵌入处理模块，用于利用门控网络提取门控嵌入，将所述门控嵌入的L2范数均约束为一；
维持队列模块，用于预设一个维持队列，通过所述维持队列动态保存所述教师网络的输出；
概率输出模块，用于获取子专家模型的输出概率，并获取门控函数的输出概率；
目标函数模块，用于利用变分分布获取证据下界，将所述证据下界作为目标函数；
第一更新模块，用于以随机梯度上升更新所述学生网络和门控网络中的参数以及对比混合专家系统的簇嵌入；
第二更新模块，用于通过所述学生网络中参数的指数移动平均值对所述教师网络进行更新；
硬划分处理模块，用于获取所述样本集中的样本硬划分，所述硬划分中选取变分分布概率最大的维度作为样本的聚类预测，更新所述对比混合专家系统的簇嵌入；
测试验证模块，用于使用所述测试集验证所述对比混合专家系统的性能。
7.根据权利要求6所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述索引值赋予模块赋予索引值的所述样本集未进行标注，样本集包括来自K个类别的样本；
所述索引值赋予模块对样本集中的每个样本赋予的索引值之间互相不同；
所述样本嵌入提取模块对于所述样本集中的每个样本，采用学生网络和教师网络各提取K个d维的样本嵌入；样本嵌入提取模块将所述学生网络提取的K个d维的样本嵌入记为学生嵌入，将所述教师网络提取的K个d维的样本嵌入记为教师嵌入；
所述门控嵌入处理模块利用门控网络提取一个d维的门控嵌入，将所有d维嵌入的L2范数均约束为一；
所述门控网络和学生网络共享一个提取特征的深度神经网络，门控网络和学生网络各自有独立的输出层。
8.根据权利要求6所述的基于自监督对比学习的图像深度聚类系统，其特征在于，所述维持队列模块每当获取新的教师嵌入后，将新的教师嵌入放入所述维持队列，同时将最旧的教师嵌入删除；
所述概率输出模块将每个对比混合专家系统的输出概率定义为一个非参数化的softmax分类器，其中分子和分母分别为未归一化模型和一个归一化项；
所述未归一化模型为两组内积和的指数函数，分别为所述学生嵌入与教师嵌入间的内积，以及门控嵌入与教师嵌入间的内积；
所述归一化项利用所述维持队列中的教师嵌入来提供近似值，所述门控函数接受样本为输入，输出为一个非参数化的softmax分类器，softmax函数的输入为一个K维的向量，每一维为一个簇嵌入和门控嵌入的内积；
所述硬划分处理模块将所述子专家模型的簇嵌入更新为该簇分配到的教师嵌入和，并归一化簇嵌入的L2范数至一。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储用于基于自监督对比学习的图像深度聚类的程序代码，所述程序代码包括用于执行权利要求1至5中任一项所述的基于自监督对比学习的图像深度聚类方法的指令。
10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器与存储介质耦合，当所述处理器执行存储介质中的指令时，使得所述电子设备执行权利要求1至5中任一项所述的基于自监督对比学习的图像深度聚类方法。
CN202010996960.3A 2020-09-21 2020-09-21 基于自监督对比学习的图像深度聚类方法及系统 Active CN112215262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010996960.3A CN112215262B (zh) 2020-09-21 2020-09-21 基于自监督对比学习的图像深度聚类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010996960.3A CN112215262B (zh) 2020-09-21 2020-09-21 基于自监督对比学习的图像深度聚类方法及系统

Publications (2)

Publication Number Publication Date
CN112215262A true CN112215262A (zh) 2021-01-12
CN112215262B CN112215262B (zh) 2022-12-09

Family

ID=74049819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010996960.3A Active CN112215262B (zh) 2020-09-21 2020-09-21 基于自监督对比学习的图像深度聚类方法及系统

Country Status (1)

Country Link
CN (1) CN112215262B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668718A (zh) * 2021-01-19 2021-04-16 北京市商汤科技开发有限公司 神经网络训练方法、装置、电子设备以及存储介质
CN112965890A (zh) * 2021-03-10 2021-06-15 中国民航信息网络股份有限公司 一种数据处理方法及相关设备
CN112991330A (zh) * 2021-04-19 2021-06-18 征图新视(江苏)科技股份有限公司 基于知识蒸馏的正样本工业缺陷检测方法
CN113516181A (zh) * 2021-07-01 2021-10-19 北京航空航天大学 一种数字病理图像的表征学习方法
CN114821206A (zh) * 2022-06-30 2022-07-29 山东建筑大学 基于对抗互补特征的多模态图像融合分类方法与系统
CN117093884A (zh) * 2023-09-27 2023-11-21 北京大学 基于层次聚类的多模态对比学习样本构建方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN111062495A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 机器学习方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN111062495A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 机器学习方法及相关装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668718A (zh) * 2021-01-19 2021-04-16 北京市商汤科技开发有限公司 神经网络训练方法、装置、电子设备以及存储介质
CN112965890A (zh) * 2021-03-10 2021-06-15 中国民航信息网络股份有限公司 一种数据处理方法及相关设备
CN112991330A (zh) * 2021-04-19 2021-06-18 征图新视(江苏)科技股份有限公司 基于知识蒸馏的正样本工业缺陷检测方法
CN112991330B (zh) * 2021-04-19 2021-08-13 征图新视(江苏)科技股份有限公司 基于知识蒸馏的正样本工业缺陷检测方法
CN113516181A (zh) * 2021-07-01 2021-10-19 北京航空航天大学 一种数字病理图像的表征学习方法
CN113516181B (zh) * 2021-07-01 2024-03-15 北京航空航天大学 一种数字病理图像的表征学习方法
CN114821206A (zh) * 2022-06-30 2022-07-29 山东建筑大学 基于对抗互补特征的多模态图像融合分类方法与系统
CN114821206B (zh) * 2022-06-30 2022-09-13 山东建筑大学 基于对抗互补特征的多模态图像融合分类方法与系统
CN117093884A (zh) * 2023-09-27 2023-11-21 北京大学 基于层次聚类的多模态对比学习样本构建方法及系统
CN117093884B (zh) * 2023-09-27 2023-12-29 北京大学 基于层次聚类的多模态对比学习样本构建方法及系统

Also Published As

Publication number Publication date
CN112215262B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN112215262B (zh) 基于自监督对比学习的图像深度聚类方法及系统
Malsiner-Walli et al. Model-based clustering based on sparse finite Gaussian mixtures
CN109583332B (zh) 人脸识别方法、人脸识别系统、介质及电子设备
CN111738172B (zh) 基于特征对抗学习和自相似性聚类的跨域目标重识别方法
Stejić et al. Genetic algorithm-based relevance feedback for image retrieval using local similarity patterns
CN111444342B (zh) 一种基于多重弱监督集成的短文本分类方法
CN101877064B (zh) 图像分类方法及图像分类装置
CN114930352A (zh) 训练图像分类模型的方法
CN110807086B (zh) 文本数据标注方法及装置、存储介质、电子设备
Zhu et al. Weighting scheme for image retrieval based on bag‐of‐visual‐words
CN110008365B (zh) 一种图像处理方法、装置、设备及可读存储介质
Niu et al. Knowledge-based topic model for unsupervised object discovery and localization
Boutell et al. Multi-label Semantic Scene Classfication
CN112668482A (zh) 人脸识别训练方法、装置、计算机设备及存储介质
CN113837307A (zh) 数据相似度计算方法、装置、可读介质及电子设备
Gurcan et al. Computerized pathological image analysis for neuroblastoma prognosis
US10956129B1 (en) Using genetic programming to create generic building blocks
Gao et al. An improved XGBoost based on weighted column subsampling for object classification
Sunitha et al. Novel content based medical image retrieval based on BoVW classification method
Ghazouani et al. Towards non-data-hungry and fully-automated diagnosis of breast cancer from mammographic images
Zamzami et al. Proportional data modeling via selection and estimation of a finite mixture of scaled Dirichlet distributions
CN113222018B (zh) 一种图像分类方法
Assiroj et al. Measuring memetic algorithm performance on image fingerprints dataset
CN112883216B (zh) 基于扰动一致性自集成的半监督图像检索方法及装置
CN114818686A (zh) 基于人工智能的文本推荐方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant