CN112784893B - 图像数据的聚类方法、装置、电子设备及存储介质 - Google Patents

图像数据的聚类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112784893B
CN112784893B CN202110057367.7A CN202110057367A CN112784893B CN 112784893 B CN112784893 B CN 112784893B CN 202110057367 A CN202110057367 A CN 202110057367A CN 112784893 B CN112784893 B CN 112784893B
Authority
CN
China
Prior art keywords
image
similarity
samples
class
classes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110057367.7A
Other languages
English (en)
Other versions
CN112784893A (zh
Inventor
赵暐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Publication of CN112784893A publication Critical patent/CN112784893A/zh
Application granted granted Critical
Publication of CN112784893B publication Critical patent/CN112784893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出了图像数据的聚类方法、装置、电子设备及存储介质。其中，一种图像数据的聚类方法，包括：获取待聚类的样本集合中样本的第一特征；根据样本的第一特征，确定样本集合中样本之间的相似度，得到第一相似度矩阵；基于第一相似度矩阵，对样本的第一特征进行图信息传递，得到样本的第二特征；根据样本的第二特征，确定样本集合中样本之间的相似度，得到第二相似度矩阵；基于第二相似度矩阵，将相似度高于相似度阈值的样本进行聚类，得到类的集合。该图像数据的聚类方法能够避免将样本两两聚合生成二叉树和对二叉树进一步层次划分的麻烦和人工标记样本的麻烦，并能够直接生成多层次的聚类结果。

Description

图像数据的聚类方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，特别涉及图像数据的聚类方法、装置、电子设备及存储介质。
背景技术
随着计算机视觉领域的快速发展，图像数据内部的层次化结构越来越受到重视，数据在不同的层次中具有不同的语义划分，通过挖掘这种不同层次的语义划分可以挖掘出数据中更深层次的概念，从而能够更进一步的分析数据，挖掘出针对不同情况有不同用处的语义概念，进而方便对图像的进一步识别。
目前，挖掘层次化概念的方案主要分为两大类：第一类为层次化分类方案；另一类是层次化聚类方案。前者利用层次化标记结合监督算法得到对能够对数据层次化划分的模型，后者则直接利用数据本身的信息通过数据之间的关系利用无监督策略得到数据的层次化划分。
然而，层次化分类算法需要大量的层次化标记，人工成本非常高。层次化聚类方案，计算两两样本之间的距离，然后对距离进行排序，将具有最小距离的样本对合为一个群体，然后不断的进行两两聚合直到数据合为一个整体。此外，当多次聚合后，在需要对比的元素为两个群体时，层次化聚类方案通常要完全计算两个群体内所有样本对之间的距离，然后得到两个群体之间的距离。这个过程需要不断的进行两两样本比较，计算花费高，并且只能构建二叉树形结构，在最终得到层次聚类结果时，还需要人为划分或者利用额外算法对树形结构进行划分得到最终的层次聚类结果。
发明内容
本申请提出了图像数据的聚类方法、装置、电子设备及存储介质，能够避免将样本两两聚合生成二叉树和对二叉树进一步层次划分的麻烦和人工标记样本的麻烦，并能够直接生成多层次的聚类结果，即能够直接生成数据的层次结构。
根据本申请一个方面，提供一种图像数据的聚类方法，包括：
获取待聚类的样本集合中样本的第一特征；
根据样本的第一特征，确定样本集合中样本之间的相似度，得到第一相似度矩阵；
基于第一相似度矩阵，对样本的第一特征进行图信息传递，得到样本的第二特征，其中，所述样本的第二特征用于替代第一特征并作为样本的特征表达；
根据样本的第二特征，确定样本集合中样本之间的相似度，得到第二相似度矩阵；
基于第二相似度矩阵，将相似度高于相似度阈值的样本进行聚类，得到类的集合。
在一些实施例中，在执行所述根据样本的第一特征，确定样本集合中样本之间的相似度，得到第一相似度矩阵的步骤之前，所述聚类方法进一步包括：
对样本的第一特征进行归一化处理，得到归一化处理后的样本的第一特征。
在一些实施例中，所述对样本的特征进行归一化处理，得到归一化处理后的样本的特征，包括：
确定样本集合中样本的特征的均值和标准差；
对于样本集合中任一个样本，确定该样本的特征与均值之差，并将所述差与标准差的比值作为归一化处理后该样本的特征。
在一些实施例中，在执行所述基于第一相似度矩阵，对样本的第一特征进行图信息传递，得到样本的第二特征的步骤之前，所述聚类方法进一步包括：
对第一相似度矩阵进行稀疏化处理，得到经过稀疏化的第一相似度矩阵。
在一些实施例中，所述对第一相似度矩阵进行稀疏化处理，得到经过稀疏化的第一相似度矩阵，包括：
对于样本集合中任一个样本相关的相似度，保留排名靠前的预定数量的相似度，并将其他相似度置零，以得到所述经过稀疏化的第一相似度矩阵。
在一些实施例中，所述基于第一相似度矩阵，对样本的第一特征进行图信息传递处理，得到样本的第二特征，包括：
根据所述样本集合和所述第一相似度矩阵，建立样本集合的图结构，其中，图结构中图节点表示样本，两个图节点之间的连接边表示两个图节点之间的非零的相似度；
对于图结构中具有连接边的任一个图节点，将第一相似度矩阵的预定次方与该样本的第一特征的乘积作为该样本的第二特征。
在一些实施例中，所述基于第二相似度矩阵，将相似度高于相似度阈值的样本进行聚类，得到类的集合，包括：
在所述图结构中，搜索具有连接边，并且在第二相似度矩阵中相似度高于相似度阈值的两个图节点，并将搜索到的两个图节点聚合为同一个类，以得到所述类的集合。
在一些实施例中，所述待聚类的样本集合为图像集合，在执行所述基于第二相似度矩阵，将相似度高于相似度阈值的样本进行聚类，得到类的集合的步骤后，所述聚类方法进一步包括：
对于所述类的集合中任一个类，将该类中样本的第二特征的均值作为该类的特征；
统计所述类的集合中各类的样本数量；
将所述类的集合中样本数量达到数量阈值的类作为核心类，并将样本数量未达到数量阈值的类作为离散类；
对于任一个离散类，将该离散类的样本合并到与该离散类相似度最高的核心类中，并更新合并离散类后的核心类的特征；
判断核心类的数量与所述样本集合中样本数量是否不同以及核心类的数量是否超过1；
在核心类的数量与所述样本集合中样本数量不同并且核心类的数量超过1时，将核心类的集合作为更新后的样本集合，并继续执行所述根据样本的第一特征，确定样本集合中样本之间的相似度，得到第一相似度矩阵的步骤。
在一些实施例中，在将核心类的集合作为样本集合，执行所述基于第二相似度矩阵，将相似度高于相似度阈值的样本进行聚类，得到类的集合的步骤后，所述聚类方法进一步包括：
判断类的数量与样本集合中样本数量是否不同以及类的集合中类的数量是否超过1；
在类的数量与样本集合中样本数量不同并且类的数量超过1时，将类的集合作为更新后的样本集合，并继续执行所述根据样本的第一特征，确定样本集合中样本之间的相似度，得到第一相似度矩阵的步骤。
在一些实施例中，聚类方法进一步包括：
对于所述类的集合中每个类，生成该类的类别标识；
根据所述类别标识，查询所述类别标识对应的类中图像数据；
获取待分类的图像的特征，将待分类的图像的特征与类的集合中每个类的特征进行匹配，并将匹配度最高的类的类别标识作为待分类的图像的类别标识。
根据本申请一个方面，提供一种图像数据的聚类装置，包括：
特征获取单元，获取待聚类的样本集合中样本的第一特征；
第一相似度获取单元，根据样本的第一特征，确定样本集合中样本之间的相似度，得到第一相似度矩阵；
图处理单元，基于第一相似度矩阵，对样本的第一特征进行图信息传递，得到样本的第二特征，其中，所述样本的第二特征用于替代第一特征并作为样本的特征表达；
第二相似度获取单元，根据样本的第二特征，确定样本集合中样本之间的相似度，得到第二相似度矩阵；
聚类单元，基于第二相似度矩阵，将相似度高于相似度阈值的样本进行聚类，得到类的集合。
根据本申请一个方面，提供一种电子设备，包括：
存储器；
处理器；
程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行图像数据的聚类方法的指令。
根据本申请一个方面，提供一种存储介质，存储有程序，所述程序包括指令，其特征在于，所述指令当由电子设备执行时，使得所述电子设备执行图像数据的聚类方法。
综上，根据本申请实施例的聚类方案，通过图信息传递方式调整样本的特征表达，能够使得相似度越高的样本之间的相似度增强程度越高，从而能够加速样本的聚合过程。在此基础上，聚类方案基于第二特征对应的第二相似度矩阵，对样本集合进行准确和高效率的聚类。另外，聚类方案的执行结果(类的集合)可以作为更新后的样本集合并多次执行聚类方案，以便自动生成图像数据多层次的聚类结果。根据本申请的实施例，通过多次执行聚类方案，能够避免将样本两两聚合生成二叉树和对二叉树进一步层次划分的麻烦和避免人工标记样本的麻烦，能够准确、高效率的直接生成多层次的聚类结果，即能够直接生成数据的层次结构，从而提高了对图像数据进行多层次聚类的方便性。
附图说明
图1示出了根据本申请一些实施例的应用场景的示意图；
图2示出了根据本申请一些实施例的图像数据的聚类方法200的流程图；
图3示出了根据本申请一些实施例的图像数据的聚类方法300的流程图；
图4示出了根据本申请一些实施例的归一化处理的方法400的流程图；
图5示出了根据本申请一些实施例的图信息传递的方法500的流程图；
图6示出了根据本申请一些实施例的图结构的示意图；
图7示出了根据本申请一些实施例的层次化聚类结果的示意图；
图8示出了根据本申请一些实施例的一种图像数据的聚类装置800的示意图；
图9示出了根据本申请一些实施例的电子设备的示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。
图1示出了根据本申请一些实施例的应用场景的示意图。
如图1所示，应用场景示出了图像集合110和电子设备120。这里，图像集合110为未进行类别标记的图像的集合。电子设备120可以对图像集合110进行层次化的聚类处理。其中，不同的层表示不同的类别含义。电子设备120例如为笔记本电脑、服务器、网络硬盘录像机等各种能够进行聚类处理的设备，本申请对此不做限制。
下面结合图2对本申请的聚类方案进行说明。
图2示出了根据本申请一些实施例的图像数据的聚类方法200的流程图。聚类方法200例如可以由电子设备120执行。
如图2所示，在步骤S201中，获取待聚类的样本集合中样本的第一特征。这里，样本集合例如为图像集合。步骤S201例如可以采用用于特征提取的深度学习模型等方式对样本进行特征提取。这里，步骤S201获取的第一特征例如可以表示为一维或二维的特征向量。
在步骤S202中，根据样本的第一特征，确定样本集合中样本之间的相似度，得到第一相似度矩阵。步骤S202例如可以基于余弦相似性等方式确定样本之间的相似度。另外，一个样本与自身的相似度为1。
在步骤S203中，基于第一相似度矩阵，对样本的第一特征进行图信息传递，得到样本的第二特征。其中，样本的第二特征用于替代第一特征并作为样本的特征表达。图信息传递可以对样本的特征表达进行调整。图像信息传递为使得相似度越高的样本之间相似度增强程度越高的操作。
在步骤S204中，根据样本的第二特征，确定样本集合中样本之间的相似度，得到第二相似度矩阵。
在步骤S205中，基于第二相似度矩阵，将相似度高于相似度阈值的样本进行聚类，得到类的集合。
综上，根据本申请实施例的聚类方法200，通过图信息传递方式调整样本的特征表达，能够使得相似度越高的样本之间的相似度增强程度越高，从而能够加速样本的聚合过程。在此基础上，聚类方法200基于第二特征对应的第二相似度矩阵，对样本集合进行准确和高效率的聚类。另外，方法200的执行结果(类的集合)可以作为更新后的样本集合并多次执行方法200，以便自动生成图像数据多层次的聚类结果。根据本申请的实施例，通过多次执行方法200，能够避免将样本两两聚合生成二叉树和对二叉树进一步层次划分的麻烦和避免人工标记样本的麻烦，能够准确、高效率的直接生成多层次的聚类结果，即能够直接生成数据的层次结构和，从而提高了对图像数据进行多层次聚类的方便性。
图3示出了根据本申请一些实施例的图像数据的聚类方法300的流程图。聚类方法300例如可以由电子设备120执行。
如图3所示，在步骤S301中，获取待聚类的样本集合中样本的第一特征。这里，样本集合例如为图像集合。步骤S301例如可以采用用于特征提取的深度学习模型等方式对样本进行特征提取。这里，步骤S301获取的第一特征例如可以表示为一维或二维的特征向量。
在步骤S302中，对样本的第一特征进行归一化处理，得到归一化处理后的样本的第一特征。这里，通过归一化处理，S302可以使得不同样本中相似之处的特征表达更接近，以便提高聚类的准确性。
在一些实施例中，步骤S302可以实施为方法400。
如图4所示，在步骤S401中，确定样本集合中样本的特征的均值和标准差。
在步骤S402中，对于样本集合中任一个样本，确定该样本的特征与均值之差，并将该差与标准差的比值作为归一化处理后该样本的特征。
例如，样本的特征可以表示为F，样本集合中所有样本的特征的均值为mean(F)，标准差为std(F)。步骤S402可以根据下述方式对样本的特征进行归一化处理。
F＝(F-mean(F))/std(F)
综上，方法400能够基于均差和标准差调整样本的特征表示，以便于不同样本中相似之处的特征表达更接近，从而提高聚类的准确性。
在步骤S303中，根据样本的第一特征，确定样本集合中样本之间的相似度，得到第一相似度矩阵。步骤S303例如可以基于余弦相似性等方式确定样本之间的相似度。另外，一个样本与自身的相似度为1。
例如，第一相似度矩阵为A。A＝cossim(F)。cossim(F)表示计算相似度的过程。
A的数据示例为：
其中，矩阵A中行号表示为i，列号表示为j，i和j的取值范围相同，Aij代表样本i和样本j之间的相似性。
在步骤S304中，对第一相似度矩阵进行稀疏化处理，得到稀疏化的第一相似度矩阵。这里，通过对相似度矩阵进行稀疏化处理，能够减少矩阵的存储空间，从而提高聚类的效率。
在一些实施例中，对于样本集合中任一个样本相关的相似度，步骤S304保留排名靠前的预定数量的相似度，并将其他相似度置零，以得到经过稀疏化的第一相似度矩阵。
例如，与样本i相关的相似度为第一相似度矩阵中的第i行，预定数量例如为k，这里k可以根据样本集合的规模进行设定，例如为100。步骤S304可以保留排名靠前的k个相似度(即值最大的k个值)，其他相似度置零。
需要说明的是，相似度低的样本可以被认为属于不同的类。因此，通过稀疏化处理，步骤S304可以提高聚类的效率，并且不会影响聚类的准确度。
在步骤S305中，基于第一相似度矩阵，对样本的第一特征进行图信息传递，得到样本的第二特征。其中，样本的第二特征用于替代第一特征并作为样本的特征表达。图信息传递可以对样本的特征表达进行调整。图像信息传递为使得相似度越高的样本之间相似度增强程度越高的操作。对样本的第一特征进行图信息传递使得相似度越高的样本之间的相似度增强程度越高。换言之，通过对第一特征进行图信息传递，步骤S305可以调整样本之间的相似度。调整效果为：相似度越高的样本之间的相似度增强程度越高。例如，对于样本a1和a2，基于第一特征确定的二者的相似度为b1，而基于第二确定的二者的相似度为b2。通过图信息传递，步骤S204可以使得b2值大于b1，并且，b1值越大，b2值的增强程度越高。
在一些实施例中，步骤S305可以实施为方法500。
如图5所示，在步骤S501中，根据样本集合和第一相似度矩阵，建立样本集合的图结构。其中，图结构中图节点表示样本，两个图节点之间的连接边表示两个图节点之间的非零的相似度。例如，样本集合对应的图结构为G。
G＝(V,E)
其中V为图节点，E为图结构的连接边。样本的第一特征定为图节点的特征，样本之间的第一相似度矩阵A就表示图结构的连接关系E。
例如，图6示出了图结构600的示意图。图6示意性标出了图节点a1至a4。其中，a1至a3具有连接边。而a4没有连接边。图节点a1至a3代表的各样本与其他样本具有非零相似度。而图节点a4代表的样本与其他图节点相似度为零。
在步骤S502中，对于图结构中具有连接边的任一个图节点，将第一相似度矩阵的预定次方与该样本的第一特征的乘积作为该样本的第二特征。
需要说明的是，由于步骤S304的稀疏化处理，步骤S305在执行方法500时，能够避免对不具有连接边的图节点进行计算处理(即图信息传递)，从而能够提高执行效率。
在一些实施例中，步骤S502可以根据下述方式利用图信息传递来处理图节点的第一特征：
其中，γ为预定次方，例如可以被设置为1，当然也可以设置为其他值。F为第一特征，为第二特征。
综上，通过图信息传递方式，可以对样本的特征表达进行调整，能够使得相似度越高的样本之间的相似度增强程度越高，进而便于加速样本的聚合和准确对样本进行聚类。
在步骤S306中，根据样本的第二特征，确定样本集合中样本之间的相似度，得到第二相似度矩阵。
例如，基于样本的第二特征步骤S306可以生成第二相似度矩阵/>
在步骤S307中，基于第二相似度矩阵，将相似度高于相似度阈值的样本进行聚类，得到类的集合。
在一些实施例中，步骤S307可以在图结构中，搜索具有连接边，并且在第二相似度矩阵中相似度高于相似度阈值的两个图节点，并将搜索到的两个图节点聚合为同一个类，以得到类的集合。这里，一个类也可以称为一个群体。相似度阈值可以根据场景需要进行设定，例如为0.5。
另外说明的是，方法300在执行步骤S301时，待聚类的样本集合为图像集合。在执行步骤S307之后，方法300还可以执行步骤S308。
在步骤S308中，对于类的集合中任一个类，将该类中样本的第二特征的均值作为该类的特征。例如，类的特征Fl可以表示为：
其中，Ni为第i个类包含的图节点数量，Fj为对应第j个样本的特征表示，即第二特征。
在步骤S309中，统计所类的集合中各类的样本数量。
在步骤S310中，将类的集合中样本数量达到数量阈值的类作为核心类，并将样本数量未达到数量阈值的类作为离散类。这里，数量阈值可以根据样本集合的规模进行设定，例如为100。
在步骤S311中，对于任一个离散类，将该离散类的样本合并到与该离散类相似度最高的核心类中，并更新合并离散类后的核心类的特征。这里，更新核心类的特征就是重新计算核心类中样本的第二特征的均值。
综上，通过步骤S308-309，方法300能够使得离散的样本(即离散类的样本)快速进行聚合。这样，在大规模样本数据的场景中，方法300通过将离散类和核心类合并，能够提高样本聚合的效率。这里，从图像数据进行第一次聚类得到的类的集合可以认为是一个基本概念层次的集合。例如，对大量图像进行聚类，得到的核心类的集合包括飞机的集合、船的集合、摩托的集合、卡车的集合等等。
另外，步骤S301-S309可以认为是一次聚类的执行过程。
在步骤S312中，判断核心类的数量与样本集合中样本数量是否不同以及核心类的数量是否超过1。这里，步骤S312可以判断是否需要再执行一次聚类过程。如果核心类的数量与样本集合中样本数量相同以及核心类的数量未超过1，则不需要继续进行聚类，可以结束方法300的执行流程。
在步骤S312确定核心类的数量与样本集合中样本数量不同并且核心类的数量超过1时，方法可以执行步骤S313，将核心类的集合作为更新后的样本集合，并继续执行步骤S314-S320。这里，步骤S314-S320的执行过程与S302-S308类似，这里不再赘述。
在步骤S321中，判断类的数量与样本集合中样本数量是否不同以及类的集合中类的数量是否超过1。
在步骤S321确定类的数量与样本集合中样本数量不同并且类的数量超过1时，方法300可以执行步骤S322，将类的集合作为更新后的样本集合。方法300可以继续执行步骤S314-S321,即继续下一次聚类过程。
综上，方法300通过多次循环执行聚类过程，可以避免二叉树需要额外的层次划分的麻烦，能够直接生成数据的层次结构。
在一些实施例中，方法300还可以执行步骤S323，对于类的集合中每个类，生成该类的类别标识。这里，步骤S301可以针对每次聚类的执行过程生成的类进行定义，确定每个类对应的类别标识(也可以称为类别名称或者类别概念)。例如，步骤S323可以根据用户输入确定每个类的类别标识。综上，在直接生成数据的层次结构的基础上，本申请实施例还可以直接确定每个层次中类的类别标识，即能够直接对图像进行不同层次概念的识别。
在步骤S324中，根据类别标识，查询类别标识对应的类中图像数据。在需要某一类的图像时，本申请实施例可以通过步骤S324，查询与类别标识对应的图像。
在步骤S325中，获取待分类的图像的特征，将待分类的图像的特征与类的集合中每个类的特征进行匹配，并将匹配度最高的类的类别标识作为待分类的图像的类别标识。这里，将待分类的图像的特征与一个类的特征匹配的方式例如确定特征相似度。
这里，基于方法300生成的一层或多层次的聚类结果，本申请实施例可以实现对待分类的图像的归类，即识别图像的类别。
为了更形象说明本申请实施例的聚类方案的聚类效果，下面以cifar10图像数据的识别和人脸识别为例进行说明。
以cifar10图像数据的识别为例，方法300可以将图像数据作为样本集合，这里，样本集合例如为1000。通过执行步骤S301-S307，本申请实施例可以得到一个类的集合。例如，类的集合包括12个类，分别为类A1至A12。每个类包含样本集合的一部分样本。对于类A1至A12，通过步骤S308，本申请实施例可以确定类A1至A12中每个类的特征。通过步骤S309，本申请实施例可以确定类A1至A12中每个类的样本数量。通过步骤S310，本申请实施例可以确定类A1至A10中每个类的样本数量达到数量阈值，而A11和A12中每个类的样本数量低于数量阈值，因此将类A1至A10确定为核心类，以及将A11和A12确定为离散类。通过步骤S311，本申请实施例可以将类A1至A10合并到核心类中。例如，A11与A12的相似度最高，因此本申请实施例可以将A11合并到A2中。类似的，将A12合并到A5中。另外，更新类A2和A5的特征。综上，通过步骤S301-S311，本申请实施例可以得到第一次聚类结果(即第一层聚类结果)，即类A1至A10。
通过步骤S312，本申请实施例可以确定核心类的数量(A1至A10共10个)与样本集合中样本数量(例如1000个)不同，并且核心类的数量超过1，因此可以针对A1至A10执行步骤S313，即将A1至A10作为更新后的样本集合。在此基础上，针对A1至A10执行第二次的聚类操作。通过步骤S314-S319，本申请实施例可以得到类的集合B1至B5。其中，类B1包括样本A1和A2。类B2包括样本A3和A4。类B3包括样本A5和A6。类B4包括样本A7和A8。类B5包括样本A9和A10。通过步骤S320，本申请实施例可以得到B1至B5中每个类的特征。综上，通过步骤S313-S320，本申请实施例可以生成第二次的聚类结果(第二层的聚类结果)，即B1至B5。
通过步骤S321，本申请实施例确定类的数量(B1至B5共5个)与样本集合中样本数量(A1至A10共10个)不同，并且，类的数量超过1。因此，本申请实施例可以执行步骤S322，将类B1至B5作为更新后的样本集合。在此基础上，针对样本集合B1至B5，本申请实施例可以继续执行步骤S313-S320，得到第三层的聚类结果，即类C1和C2。以此类推，本申请实施例可以继续进行下一层的聚类操作。
以上述生成的3层聚类结果为例，本申请实施例可以通过步骤S323，确定每层聚类结果中类的类别标识。如图7所示，第一层聚类结果中的类A1至A10，对应的类别标识分别为飞机、船、摩托、卡车、鸟、青蛙、猫、狗、鹿和马。这里，每个类别标识可以认为是对一个类的概念定义。第一层聚类结果对应的类别标识可以认为是针对第一层聚类结果生成的新的层次概念。第二层聚类结果中的类B1至B5,对应的类别标识分别为交通工具、路上交通工具、其他动物、小型哺乳动物、中型哺乳动物。第三层聚类结果中的类C1和C2，分别对应的类别标识分别为交通工具和动物。
另外说明的是，如果采用二叉树聚类方式。针对1000个样本生成的聚类结果为一个二叉树，深度例如为10。二叉树聚类方式还需要考虑如何对二叉树的不同层进行分类。例如，将第3层的每个节点选定为第一层的分类结果，将第5层的每个节点选定为第二层的分类结果。换言之，二叉树聚类方式无法避免需要根据二叉树聚类结果进一步划分层次的麻烦。
综上，通过方法300，本申请实施例可以将原始样本集合(例如1000个图像样本)，直接生成多个层次的聚类结果，而不需要对样本进行人工标记，也可以避免二叉树层次划分的麻烦。另外，本申请实施列还可以直接确定每个层次的聚类结果中类的类别标识，即直接对对图像进行不同层次概念的识别。例如，针对一个图像，本申请实施例可以确定该图像属于第一层聚类结果的卡车，也属于第二层聚类结果中的路上交通工具，也属于第三层聚类结果中的路上交通工具。
图8示出了根据本申请一些实施例的一种图像数据的聚类装置800的示意图。装置800例如可以部署在电子设备120中。
装置800包括：特征获取单元801、第一相似度获取单元802、图处理单元803、第二相似度获取单元804和聚类单元805。
特征获取单元801，获取待聚类的样本集合中样本的第一特征。
第一相似度获取单元802，根据样本的第一特征，确定样本集合中样本之间的相似度，得到第一相似度矩阵。
图处理单元803，基于第一相似度矩阵，对样本的第一特征进行图信息传递，得到样本的第二特征。其中，样本的第二特征用于替代第一特征并作为样本的特征表达。
第二相似度获取单元804，根据样本的第二特征，确定样本集合中样本之间的相似度，得到第二相似度矩阵。
聚类单元805，基于第二相似度矩阵，将相似度高于相似度阈值的样本进行聚类，得到类的集合。
综上，根据本申请实施例的聚类装置800，通过图信息传递方式调整样本的特征表达，能够使得相似度越高的样本之间的相似度增强程度越高，从而能够加速样本的聚合过程。在此基础上，聚类装置800基于第二特征对应的第二相似度矩阵，对样本集合进行准确和高效率的聚类。另外，聚类装置800的执行结果(类的集合)可以作为更新后的样本集合并多次执行聚类过程，以便自动生成图像数据多层次的聚类结果。根据本申请的实施例，通过多次执行聚类，能够避免将样本两两聚合生成二叉树和对二叉树进一步层次划分的麻烦和避免人工标记样本的麻烦，能够准确、高效率的直接生成多层次的聚类结果，即能够直接生成数据的层次结构，从而提高了对图像数据进行多层次聚类的方便性。
另外说明的是，装置800更具体的实施方式与方法300类似，这里不再赘述。
图9示出了根据本申请一些实施例的电子设备的示意图。如图9所示，该电子设备包括一个或者多个处理器(CPU)902、通信模块904、存储器906、用户接口910，以及用于互联这些组件的通信总线908。
处理器902可通过通信模块904接收和发送数据以实现网络通信和/或本地通信。
用户接口910包括输出设备912和输入设备914。
存储器906可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器906存储处理器902可执行的指令集，包括：
操作系统916，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
应用918，包括用于实现上述方案的各种程序。这种程序能够实现上述各实例中的处理流程，比如可以包括图像数据的聚类方法200或300。
另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和\或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有程序。该程序包括指令，所述指令当由处理器执行时，使得电子设备执行根据本申请的图像数据的聚类方法200或300。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述确定对象之间关系信息的方法的硬件也可以构成本申请。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种图像数据的聚类方法，其特征在于，包括：
获取待聚类的图像样本集合中图像样本的第一特征；
根据图像样本的第一特征，确定图像样本集合中图像样本之间的相似度，得到第一相似度矩阵；其中，对于图像样本集合中任一个图像样本相关的相似度，保留排名靠前的预定数量的相似度，并将其他相似度置零，以得到经过稀疏化的第一相似度矩阵；
根据所述图像样本集合和所述第一相似度矩阵，建立图像样本集合的图结构；其中，图结构中图节点表示图像样本，两个图节点之间的连接边表示两个图节点之间的非零的相似度；
对于图结构中具有连接边的任一个图节点，将第一相似度矩阵的预定次方与该图像样本的第一特征的乘积作为该图像样本的第二特征；其中，所述图像样本的第二特征用于替代第一特征并作为图像样本的特征表达；
根据图像样本的第二特征，确定图像样本集合中图像样本之间的相似度，得到第二相似度矩阵；
基于第二相似度矩阵，将相似度高于相似度阈值的图像样本进行聚类，得到图像类的集合；
将所述图像类的集合作为更新后的图像样本集合，将图像类作为所述图像样本，返回执行获取所述第一特征的步骤；
其中，在首次执行所述基于第二相似度矩阵，将相似度高于相似度阈值的图像样本进行聚类，得到图像类的集合的步骤后、在执行所述将所述图像类的集合作为更新后的图像样本集合之前，所述聚类方法进一步包括：
对于所述图像类的集合中任一个类，将该类中样本的第二特征的均值作为该类的特征；
统计所述图像类的集合中各图像类的图像样本数量；
将所述图像类的集合中图像样本数量达到数量阈值的图像类作为核心类，并将图像样本数量未达到数量阈值的图像类作为离散类；
对于任一个离散类，将该离散类的图像样本合并到与该离散类相似度最高的核心类中，并更新合并离散类后的核心类的特征；
判断核心类的数量与所述图像样本集合中图像样本数量是否不同以及核心类的数量是否超过1；
在核心类的数量与所述图像样本集合中图像样本数量不同并且核心类的数量超过1时，继续执行所述将所述图像类的集合作为更新后的图像样本集合的步骤；
所述将所述图像类的集合作为更新后的图像样本集合，包括：将核心类的集合作为所述更新后的图像样本集合。
2.如权利要求1所述的聚类方法，其特征在于，在执行所述根据图像样本的第一特征，确定图像样本集合中图像样本之间的相似度，得到第一相似度矩阵的步骤之前，所述聚类方法进一步包括：
对图像样本的第一特征进行归一化处理，得到归一化处理后的图像样本的第一特征。
3.如权利要求2所述的聚类方法，其特征在于，所述对图像样本的特征进行归一化处理，得到归一化处理后的图像样本的特征，包括：
确定图像样本集合中图像样本的特征的均值和标准差；
对于图像样本集合中任一个图像样本，确定该图像样本的特征与均值之差，并将所述差与标准差的比值作为归一化处理后该图像样本的特征。
4.如权利要求1所述的聚类方法，其特征在于，所述基于第二相似度矩阵，将相似度高于相似度阈值的图像样本进行聚类，得到图像类的集合，包括：
在所述图结构中，搜索具有连接边，并且在第二相似度矩阵中相似度高于相似度阈值的两个图节点，并将搜索到的两个图节点聚合为同一个图像类，以得到所述图像类的集合。
5.如权利要求1所述的聚类方法，其特征在于，在将核心类的集合作为图像样本集合，第N次执行所述基于第二相似度矩阵，将相似度高于相似度阈值的图像样本进行聚类，得到图像类的集合的步骤后、在执行所述将所述图像类的集合作为更新后的图像样本集合之前，所述聚类方法进一步包括：
判断图像类的数量与图像样本集合中图像样本数量是否不同以及图像类的集合中图像类的数量是否超过1；
在图像类的数量与图像样本集合中图像样本数量不同并且图像类的数量超过1时，继续执行所述将图像类的集合作为更新后的图像样本集合的步骤；
其中，N>1。
6.如权利要求1所述的聚类方法，其特征在于，进一步包括：
对于所述图像类的集合中每个图像类，生成该图像类的类别标识；
根据所述类别标识，查询所述类别标识对应的图像类中图像数据；
获取待分类的图像的特征，将待分类的图像的特征与图像类的集合中每个图像类的特征进行匹配，并将匹配度最高的图像类的类别标识作为待分类的图像的类别标识。
7.一种图像数据的聚类装置，其特征在于，包括：
特征获取单元，获取待聚类的样本集合中图像样本的第一特征；
第一相似度获取单元，根据图像样本的第一特征，确定图像样本集合中图像样本之间的相似度，得到第一相似度矩阵；其中，对于图像样本集合中任一个图像样本相关的相似度，保留排名靠前的预定数量的相似度，并将其他相似度置零，以得到经过稀疏化的第一相似度矩阵；
图处理单元，根据所述图像样本集合和所述第一相似度矩阵，建立图像样本集合的图结构；其中，图结构中图节点表示图像样本，两个图节点之间的连接边表示两个图节点之间的非零的相似度；对于图结构中具有连接边的任一个图节点，将第一相似度矩阵的预定次方与该图像样本的第一特征的乘积作为该样本的第二特征；其中，所述图像样本的第二特征用于替代第一特征并作为图像样本的特征表达；
第二相似度获取单元，根据图像样本的第二特征，确定图像样本集合中图像样本之间的相似度，得到第二相似度矩阵；
聚类单元，基于第二相似度矩阵，将相似度高于相似度阈值的图像样本进行聚类，得到图像类的集合；将所述图像类的集合作为更新后的图像样本集合，将图像类作为所述图像样本，输出给所述特征获取单元，用于执行获取所述第一特征的步骤；
其中，在首次执行所述基于第二相似度矩阵，将相似度高于相似度阈值的图像样本进行聚类，得到图像类的集合的步骤后、在执行所述将所述图像类的集合作为更新后的图像样本集合之前，所述聚类单元进一步用于：
对于所述图像类的集合中任一个类，将该类中样本的第二特征的均值作为该类的特征；
统计所述图像类的集合中各图像类的图像样本数量；
将所述图像类的集合中图像样本数量达到数量阈值的图像类作为核心类，并将图像样本数量未达到数量阈值的图像类作为离散类；
对于任一个离散类，将该离散类的图像样本合并到与该离散类相似度最高的核心类中，并更新合并离散类后的核心类的特征；
判断核心类的数量与所述图像样本集合中图像样本数量是否不同以及核心类的数量是否超过1；
在核心类的数量与所述图像样本集合中图像样本数量不同并且核心类的数量超过1时，继续执行所述将所述图像类的集合作为更新后的图像样本集合的步骤；
所述将所述图像类的集合作为更新后的图像样本集合，包括：将核心类的集合作为所述更新后的图像样本集合。
8.一种电子设备，其特征在于，包括：
存储器；
处理器；
程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行权利要求1-6中任一项所述的图像数据的聚类方法的指令。
9.一种存储介质，存储有程序，所述程序包括指令，其特征在于，所述指令当由电子设备执行时，使得所述电子设备执行如权利要求1-6中任一项所述的图像数据的聚类方法。
CN202110057367.7A 2020-12-29 2021-01-15 图像数据的聚类方法、装置、电子设备及存储介质 Active CN112784893B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011591227 2020-12-29
CN202011591227X 2020-12-29

Publications (2)

Publication Number Publication Date
CN112784893A CN112784893A (zh) 2021-05-11
CN112784893B true CN112784893B (zh) 2024-03-01

Family

ID=75757046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110057367.7A Active CN112784893B (zh) 2020-12-29 2021-01-15 图像数据的聚类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112784893B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114444619B (zh) * 2022-04-02 2022-07-26 北京百度网讯科技有限公司 样本生成方法、训练方法、数据处理方法以及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001073428A1 (en) * 2000-03-27 2001-10-04 Ramot University Authority For Applied Research & Industrial Development Ltd. Method and system for clustering data
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
WO2018014717A1 (zh) * 2016-07-22 2018-01-25 北京市商汤科技开发有限公司 聚类方法、装置及电子设备
CN108229674A (zh) * 2017-02-21 2018-06-29 北京市商汤科技开发有限公司 聚类用神经网络的训练方法和装置、聚类方法和装置
CN108647297A (zh) * 2018-05-08 2018-10-12 山东师范大学 一种共享近邻优化的密度峰值聚类中心选取方法和系统
CN110490227A (zh) * 2019-07-09 2019-11-22 武汉理工大学 一种基于特征转换的少样本图像分类方法
CN112001414A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 聚类方法、设备及计算机存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164713B (zh) * 2011-12-12 2016-04-06 阿里巴巴集团控股有限公司 图像分类方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001073428A1 (en) * 2000-03-27 2001-10-04 Ramot University Authority For Applied Research & Industrial Development Ltd. Method and system for clustering data
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
WO2018014717A1 (zh) * 2016-07-22 2018-01-25 北京市商汤科技开发有限公司 聚类方法、装置及电子设备
CN108229674A (zh) * 2017-02-21 2018-06-29 北京市商汤科技开发有限公司 聚类用神经网络的训练方法和装置、聚类方法和装置
CN108647297A (zh) * 2018-05-08 2018-10-12 山东师范大学 一种共享近邻优化的密度峰值聚类中心选取方法和系统
CN110490227A (zh) * 2019-07-09 2019-11-22 武汉理工大学 一种基于特征转换的少样本图像分类方法
CN112001414A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 聚类方法、设备及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Spectral Clustering by Joint Spectral Embedding and Spectral Rotation;Yanwei Pang等;IEEE Transactions on Cybernetics;20181003;第50卷(第1期);247-258 *
基于距离度量学习的集成谱聚类;牛科;张小琴;贾郭军;;计算机工程;20150115(第01期);213-216，250 *

Also Published As

Publication number Publication date
CN112784893A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
Ibrahim et al. Cluster representation of the structural description of images for effective classification
Song et al. On learning to localize objects with minimal supervision
CN108804641B (zh) 一种文本相似度的计算方法、装置、设备和存储介质
Socher et al. Zero-shot learning through cross-modal transfer
CN109359725B (zh) 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质
Gattupalli et al. Weakly supervised deep image hashing through tag embeddings
US20170344822A1 (en) Semantic representation of the content of an image
CN107273505B (zh) 基于非参数贝叶斯模型的监督跨模态哈希检索方法
US20240037750A1 (en) Generating improved panoptic segmented digital images based on panoptic segmentation neural networks that utilize exemplar unknown object classes
CN113918753A (zh) 基于人工智能的图像检索方法及相关设备
CN109034248B (zh) 一种基于深度学习的含噪声标签图像的分类方法
Mei et al. Coherent image annotation by learning semantic distance
CN110008365B (zh) 一种图像处理方法、装置、设备及可读存储介质
CN114329029B (zh) 对象检索方法、装置、设备及计算机存储介质
Venkatraman et al. MapReduce neural network framework for efficient content based image retrieval from large datasets in the cloud
Li et al. Fusing semantic aspects for image annotation and retrieval
CN110569289A (zh) 基于大数据的列数据处理方法、设备及介质
CN113704534A (zh) 图像处理方法、装置及计算机设备
CN112784893B (zh) 图像数据的聚类方法、装置、电子设备及存储介质
CN112214570A (zh) 一种基于对抗投影学习哈希的跨模态检索方法及装置
CN118250169A (zh) 一种网络资产类别推荐方法、设备及储存介质
TWI452477B (zh) 以模糊相似度與ｋ最近鄰居法為基礎之多標籤文件分類方法
Gao et al. An improved XGBoost based on weighted column subsampling for object classification
Kim et al. Support Vector Machine Learning for Region‐Based Image Retrieval with Relevance Feedback
Yu et al. A classifier chain algorithm with k-means for multi-label classification on clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant