CN112508130A - 聚类方法及装置、电子设备和存储介质 - Google Patents

聚类方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112508130A
CN112508130A CN202011566702.8A CN202011566702A CN112508130A CN 112508130 A CN112508130 A CN 112508130A CN 202011566702 A CN202011566702 A CN 202011566702A CN 112508130 A CN112508130 A CN 112508130A
Authority
CN
China
Prior art keywords
similarity
clustering
samples
images
clustered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011566702.8A
Other languages
English (en)
Inventor
唐诗翔
陈大鹏
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime Group Ltd
Original Assignee
Sensetime Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd filed Critical Sensetime Group Ltd
Priority to CN202011566702.8A priority Critical patent/CN112508130A/zh
Publication of CN112508130A publication Critical patent/CN112508130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提出了一种聚类方法及装置、电子设备和存储介质中，该方法包括：获取用于校正人脸特征相似度的神经网络，所述神经网络是基于困难样本训练得到；所述困难样本是至少一个类别人脸数据集中的样本；基于所述神经网络对待聚类图像进行处理，得出所述待聚类图像的人脸特征的相似度校正值；利用所述相似度校正值对特征相似度进行校正，得到校正后的特征相似度；所述特征相似度表示所述待聚类图像与对应类别图像的人脸特征的相似度；基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果。

Description

聚类方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机视觉处理技术，尤其涉及一种聚类方法及装置、电子设备和存储介质。
背景技术
在相关技术中，聚类是数据挖掘的重要步骤之一。通过聚类，可以发掘数据中的结构，并提取有效信息用于进一步分析。
然而，相关技术中，由于人脸特征具有较复杂的分布，可能导致人脸聚类模型不能适应于各类人脸(例如：老人、小孩、黑种人等)的聚类，即，存在人脸聚类模型对部分类型的人脸聚类精度较低的问题。
发明内容
本公开实施例期望提供聚类处理的技术方案。
本公开实施例提供了一种聚类方法，所述方法包括：
获取用于校正人脸特征相似度的神经网络，所述神经网络是基于困难样本训练得到；所述困难样本是至少一个类别人脸数据集中的样本；
基于所述神经网络对待聚类图像进行处理，得出所述待聚类图像的人脸特征的相似度校正值；
利用所述相似度校正值对特征相似度进行校正，得到校正后的特征相似度；所述特征相似度表示所述待聚类图像与对应类别图像的人脸特征的相似度；
基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与对应类别图像的聚类结果。
在一些实施例中，所述方法还包括：
获取需要进行人脸聚类的多个类别人脸数据集的样本和所述多个类别人脸数据集的样本中每个样本的标注信息；
确定第一相似度阈值，其中，所述第一相似度阈值表示使所述多个类别人脸数据集的样本的聚类结果的精度达到设定精度指标的相似度阈值；
基于所述第一相似度阈值，对所述各样本进行聚类处理，得到所述多个类别人脸数据集的样本的聚类结果；
基于所述多个类别人脸数据集的样本的聚类结果确定满足设定条件的样本，在所述满足设定条件的样本中确定出所述困难样本，所述设定条件包括：样本的聚类结果与样本的标注信息不同。
在一些实施例中，所述确定第一相似度阈值，包括：
基于预先确定的多个相似度阈值的每个相似度阈值，并对所述各样本进行聚类处理，得到所述每个相似度阈值对应的聚类结果；
基于所述每个相似度阈值对应的聚类结果，确定聚类的精度达到设定精度指标的多个第二相似度阈值；
在所述多个第二相似度阈值中，确定最大的相似度阈值为第一相似度阈值。
在一些实施例中，所述在满足设定条件的样本中确定出所述困难样本，包括：
采用正负样本平衡的方式，在所述满足设定条件的样本中确定出所述困难样本，其中，所述困难样本包括正样本和负样本，所述正样本表示标注为同一个人脸的一对样本图像，所述负样本表示标注为不同人脸的一对样本图像。
在一些实施例中，所述神经网络是基于困难样本训练得到的，包括：
将所述困难样本输入至所述神经网络；
利用所述神经网络对所述困难样本进行处理，得到所述困难样本的处理结果，所述困难样本的处理结果表示所述困难样本中人脸特征的相似度校正值；
根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，调整所述神经网络的网络参数值。
在一些实施例中，所述根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，调整所述神经网络的网络参数值，包括：
根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，确定所述神经网络的合页损失；
根据所述合页损失，调整所述神经网络的网络参数值。
在一些实施例中，所述方法还包括：
获取需要进行人脸聚类的多个类别人脸数据集的样本和所述多个类别人脸数据集的样本中每个样本的标注信息；
确定第一相似度阈值，其中，所述第一相似度阈值表示使所述多个类别人脸数据集的样本的聚类结果的精度达到设定精度指标的相似度阈值；
所述根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，确定所述神经网络的合页损失，包括：
根据所述困难样本的处理结果、预先获取的所述困难样本的标注信息和所述第一相似度阈值，确定所述神经网络的合页损失。
在一些实施例中，所述基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像的聚类结果，包括：
基于所述校正后的特征相似度，采用人脸聚类方法对所述待聚类图像进行聚类处理，得到所述待聚类图像与对应类别图像的聚类结果，其中，不同类别的待聚类图像对应的校正后的特征相似度不同。
本公开实施例提供了另一种聚类方法，所述方法包括：
获取用于得到特征相似度的神经网络，其中，所述神经网络是基于困难样本训练得到，所述困难样本是至少一个类别人脸数据集中的样本；所述特征相似度表示待聚类图像与对应类别图像的人脸特征的相似度；
基于所述神经网络对所述待聚类图像进行处理，得出所述特征相似度；其中，所述特征相似度是根据不同类别人脸特征的相似度校正值得到的；
基于所述特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与对应类别图像的聚类结果。
本公开实施例还提供了一种聚类装置，所述装置包括：
第一获取模块，用于获取用于校正人脸特征相似度的神经网络，所述神经网络是基于困难样本训练得到；所述困难样本是至少一个类别人脸数据集中的样本；
第一处理模块，用于基于所述神经网络对待聚类图像进行处理，得出所述待聚类图像的人脸特征的相似度校正值；
第二处理模块，用于利用所述相似度校正值对特征相似度进行校正，得到校正后的特征相似度；所述特征相似度表示所述待聚类图像与对应类别图像的人脸特征的相似度；
第三处理模块，用于基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果。
本公开实施例还提供了另一种聚类装置，所述装置包括：
第二获取模块，用于获取用于得到特征相似度的神经网络，其中，所述神经网络是基于困难样本训练得到，所述困难样本是至少一个类别人脸数据集中的样本；所述特征相似度表示待聚类图像与对应类别图像的人脸特征的相似度；
第四处理模块，用于基于所述神经网络对所述待聚类图像进行处理，得出所述特征相似度，其中，所述特征相似度是根据不同类别人脸特征的相似度校正值得到的；
第五处理模块，用于基于所述特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果。
本公开实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序以执行上述任意一种聚类方法。
本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种聚类方法。
本公开实施例提出的聚类方法、装置、电子设备和计算机存储介质中，获取用于校正人脸特征相似度的神经网络，所述神经网络是基于困难样本训练得到；所述困难样本是至少一个类别人脸数据集中的样本；基于所述神经网络对待聚类图像进行处理，得出所述待聚类图像的人脸特征的相似度校正值；利用所述相似度校正值对特征相似度进行校正，得到校正后的特征相似度；所述特征相似度表示所述待聚类图像与对应类别图像的人脸特征的相似度；基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果。如此，在本公开实施例中，由于可以基于校正人脸特征相似度的神经网络，对待聚类人脸图像的人脸特征的相似度进行校正，并基于校正处理后的相似度对带聚类图像进行聚类处理；也就是说，对于各种类型的待聚类人脸图像，均可以基于神经网络校正人脸特征相似度，通过人脸特征相似度的校正，有利于提升人脸聚类的聚类精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的一种聚类方法的流程图；
图2A为本公开实施例中神经网络的结构示意图；
图2B为本公开实施例中卷积层的结构示意图；
图3为本公开实施例的神经网络训练方法的流程图；
图4为本公开实施例的另一种聚类方法的流程图；
图5为本公开实施例的一种聚类装置的组成结构示意图；
图6为本公开实施例的另一种聚类装置的组成结构示意图；
图7为本公开实施例的电子设备的结构示意图。
具体实施方式
以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如，本公开实施例提供的聚类方法包含了一系列的步骤，但是本公开实施例提供的聚类方法不限于所记载的步骤，同样地，本公开实施例提供的聚类装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开实施例可以应用于终端和/或服务器组成的计算机系统中，并可以与众多其它通用或专用计算系统环境或配置一起操作。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等，服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
在相关技术中，由于训练数据的不均衡，以及人脸特征具有较复杂的分布，可能导致人脸聚类方法的聚类精度较低。相关技术中，主要采用两种聚类方法来实现人脸聚类。
第一种聚类方法：以具有噪声的基于密度的聚类(Density-Based SpatialClustering of Applications with Noise，DBSCAN)方法为代表的聚类方法。
DBSCAN方法进行聚类的主要过程为：首选任意选取一个特征点，然后找到与这个特征点距离小于等于扫描半径(eps)的所有的特征。如果与特征点的距离在eps之内的特征点个数小于最小包含点数(min_samples)，那么这个特征点被标记为噪声。如果距离在eps之内的特征点个数大于min_samples，则这个点被标记为核心样本，并被分配一个新的簇标签；然后访问该特征点的所有邻居(距离eps以内)。如果它们还没有被分配一个簇，那么就将刚刚创建的新的簇标签分配给它们。如果它们是核心样本，那么就依次访问其邻居，以此类推。簇逐渐增大，直到在簇的eps距离内没有更多的核心样本为止。
在实际应用中，可以根据两个特征点之间的相似度计算两个特征点之间的距离，两个特征点之间的相似度与两个特征点之间的距离成负相关，例如，可以参照公式(1)得出两个特征点之间的距离：
dist＝1-2*sim (1)
其中，sim表示两个特征点之间的相似度，dist表示两个特征点之间的距离。
在应用DBSCAN方法进行人脸聚类时，可以将eps作为dist，并根据上述公式(1)计算得出sim，将计算得出的sim作为相似度阈值；然后，可以基于相似度阈值判断两个特征点是否归为同一类；在相似度阈值较高时，若同一个人的人脸特征分布比较分散(即特征点之间的距离较远)，则同一个的人脸特征无法归为同一类；在相似度阈值较低时，若不同人的人脸特征距离较近，则可能导致不同人的人脸特征被归为同一类；总之，DBSCAN方法无法适用于各种场景的人脸聚类。
可以看出，在应用DBSCAN方法进行人脸聚类时，DBSCAN方法的聚类精度依赖于相似度阈值这个超参数，对于某一类型的人脸，如果相似度阈值设置的不够准确，则BSCAN方法的聚类精度较低。
第二种聚类方法：以学习聚类(Learnt Clustering)为代表的基于图卷积的聚类方法。
以学习聚类(Learnt Clustering)为代表的基于图卷积的聚类方法存在用时较长和聚类精度较低的问题。
针对上述技术问题，在本公开的一些实施例中，提出了一种聚类方法，本公开实施例可以应用于视频监控等领域。应用本公开实施例的聚类方法，可以对各种场景的人脸进行准确地人脸聚类。
图1为本公开实施例的一种聚类方法的流程图，如图1所示，该流程可以包括：
步骤101：获取用于校正人脸特征相似度的神经网络，所述神经网络是基于困难样本训练得到；所述困难样本是至少一个类别人脸数据集中的样本。
本公开实施例中，困难样本表示为满足设定条件的样本，设定条件包括样本的聚类结果与样本的标注信息不同，即，困难样本表示不能得出正确的聚类结果的样本，困难样本可以是从预设的至少一个类别人脸数据集中选取得出的样本。示例性地，至少一个类别人脸数据集可以是小孩人脸数据集、成年人人脸数据集、黑种人人脸数据集等，本公开实施例对此并不进行限定。
本公开的一些实施例中，困难样本可以包括正样本和/或负样本，其中，正样本表示标注为同一个人脸的一对样本图像，对正样本进行聚类后，可以得到正样本的聚类结果，正样本的聚类结果表示正样本中的一对样本图像不归为同一类，可见，上述正样本的聚类结果与上述正样本的标注信息不同，即，上述正样本满足设定条件；负样本表示标注为不同人脸的一对样本图像，对负样本进行聚类后，可以得到负样本的聚类结果，负样本的聚类结果表示负样本中的一对样本图像归为同一类；可见，上述负样本的聚类结果与上述负样本的标注信息不同，即，上述负样本满足设定条件。
本公开的一些实施例中，困难样本可以是人脸聚类方法中使用的样本，人脸聚类方法可以是基于密度的聚类方法或基于图卷积的聚类方法。
本公开实施例中，上述神经网络可以是基于深度学习模型的网络；这里，并不对上述神经网络的结构进行限定，例如，上述神经网络可以是具有两层卷积层的神经网络。
图2A为本公开实施例中神经网络的结构示意图，如图2A所示，可以预先对困难样本提取特征，将提取的特征通过重设尺寸(Resize)操作变换至固定大小，将Resize操作后的特征依次通过第一卷积层、第二卷积层、第一线性层(Linear layer)、激活层(Relulayer)、第二线性层处理，得到困难样本的处理结果。
图2B为本公开实施例中卷积层的结构示意图，如图2B所示，可以将卷积层的输入数据依次通过卷积、批归一化(BN)和激活处理后，便可以得到卷积层的输出数据；这里，卷积处理的作用是感知特征不同维度之间的关系，批归一化处理的作用是对特征每一个维度的分布进行正规化处理。
在本公开实施例中，利用上述神经网络对困难样本进行处理，可以得到困难样本的处理结果；上述神经网络可以是得出人脸特征的相似度校正值的神经网络，困难样本的处理结果表示困难样本中人脸特征的相似度校正值。
步骤102：基于所述神经网络对待聚类图像进行处理，得出所述待聚类图像的人脸特征的相似度校正值。
本公开实施例中，待聚类图像可以包括至少一个人脸图像；在实际应用中，可以从本地存储区域或网络获取待聚类图像，例如，待聚类图像可以为通过移动终端或相机等拍摄的图像；待聚类图像的格式可以是联合图像专家小组(Joint Photographic ExpertsGroup，JPEG)、位图(Bitmap，BMP)、便携式网络图形(Portable Network Graphics，PNG)或其他格式；需要说明的是，这里仅仅是对待聚类图像的格式和来源进行了举例说明，本公开实施例并不对待聚类图像的格式和来源进行限定。
步骤103：利用所述相似度校正值对特征相似度进行校正，得到校正后的特征相似度；所述特征相似度表示所述待聚类图像与对应类别图像的人脸特征的相似度。
本公开实施例中，可以利用人脸聚类方法对待聚类图像进行处理，可以得到上述特征相似度。
步骤104：基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与对应类别图像的聚类结果。
本公开实施例中，可以基于所述校正后的特征相似度，采用人脸聚类方法对所述待聚类图像进行聚类处理，得到所述待聚类图像与对应类别图像的聚类结果，其中，不同类别的待聚类图像对应的校正后的特征相似度不同。
在实际应用中，步骤101至步骤104可以利用电子设备中的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种；在一些实施例中，步骤101至步骤104还可以利用上述处理器结合图像处理单元(Graphics Processing Unit，GPU)实现，如此，可以进一步提高聚类处理的速度。
可以看出，在本公开实施例中，可以基于校正人脸特征相似度的神经网络，对待聚类人脸图像的人脸特征的相似度进行校正，并基于校正处理后的相似度对带聚类图像进行聚类处理；也就是说，对于各种类型的待聚类人脸图像，均可以基于神经网络校正人脸特征相似度，通过人脸特征相似度的校正，有利于提升人脸聚类的聚类精度。进一步地，本公开实施例可以结合已有的人脸聚类方法实现，具有可扩展和易于实现的特点。
在一些实施例中，困难样本可以是通过以下方式获取的：
获取需要进行人脸聚类的多个类别人脸数据集的样本和多个类别人脸数据集的样本中每个样本的标注信息。
确定第一相似度阈值，其中，第一相似度阈值表示使多个类别人脸数据集的样本的聚类结果的精度达到设定精度指标的相似度阈值。
基于第一相似度阈值，对所述多个类别人脸数据集的样本进行聚类处理，得到所述多个类别人脸数据集的样本的聚类结果；
基于所述多个类别人脸数据集的样本的聚类结果确定满足设定条件的样本，在所述满足设定条件的样本中确定出所述困难样本，所述设定条件包括：样本的聚类结果与样本的标注信息不同。
本公开实施例中，在获取多个类别人脸数据集的样本后，可以对多个类别人脸数据集的样本的每个样本进行标注，得到每个样本的标注信息；上述每个样本的标注信息表示每个样本对应的人脸标识；这里，人脸标识可以是人脸对应的身份信息。可以看出，基于上述每个样本的标注信息，可以确定上述多个类别人脸数据集的样本中任意两个样本是否为同一个人的人脸图像。
本公开实施例中，可以根据聚类结果与对应的标注信息的差异，确定聚类结果的精度；聚类结果与对应的标注信息的差异越小，则聚类结果的精度越高。
本公开实施例中，设定精度指标为预先设置的指标，具体可以根据实际应用需求设置。
在一种实施方式中，确定第一相似度阈值，可以包括：基于预先确定的多个相似度阈值的每个相似度阈值，对所述各样本进行聚类处理，得到所述每个相似度阈值对应的聚类结果；基于所述每个相似度阈值对应的聚类结果，确定聚类的精度达到设定精度指标的多个第二相似度阈值；在多个第二相似度阈值中，确定最大的相似度阈值为第一相似度阈值。
在一些实施例中，预先确定的多个相似度阈值可以包括从小到大排列的相似度阈值，这里，从小到大排列的相似度阈值的相邻间隔可以相等，也可以不相等；预先确定的多个相似度阈值中的最小值和最大值可以根据实际应用需求进行确定，从小到大排列的相似度阈值的相邻间隔也可以预先设置。
例如，预先确定的多个相似度阈值的最小值为0.1，预先确定的多个相似度阈值的最大值为0.9，从小到大排列的相似度阈值的相邻间隔均为0.01；也就是说，本公开实施例中，可以从0.1到0.9，按照步长为0.01来遍历选取多个相似度阈值。
本公开实施例中，在得到预先确定的多个相似度阈值后，可以针对多个相似度阈值的每个相似度阈值进行聚类，可以理解的是，对于不同的相似度阈值，得到的聚类结果是不同的。
本公开实施例中，可以基于每个相似度阈值对应的聚类结果，确定每个相似度阈值对应的聚类精度，然后可以根据每个相似度阈值对应的聚类精度，确定出聚类的精度达到设定精度指标的多个第二相似度阈值；在得出多个第二相似度阈值后，可以选取最大的相似度阈值为第一相似度阈值。
可以看出，本公开实施例可以实现从任意的数据集中搜索困难样本；进一步地，由于采用第一相似度阈值进行人脸聚类，可以聚类的精度达到设定精度指标，因而，基于第一相似度阈值得出的多个样本的聚类结果是达到设定精度指标的聚类结果，在此基础上，基于多个样本的聚类结果确定出的困难样本更能反映人脸聚类方法的缺陷，进而，基于多个样本的聚类结果确定出的困难样本训练神经网络，可以是训练完成的神经网络更加准确地校正人脸特征相似度。
本公开实施例中，由于第一相似度阈值是多个第二相似度阈值中最大的相似度阈值，并且采用第二相似度阈值进行人脸聚类，可以使聚类的精度达到设定精度指标，因而，基于第一相似度阈值得出的多个样本的聚类结果是达到设定精度指标的聚类结果，在此基础上，基于多个样本的聚类结果确定出的困难样本更能反映人脸聚类方法的缺陷，进而，基于多个样本的聚类结果确定出的困难样本训练神经网络，可以是训练完成的神经网络更加准确地校正人脸特征相似度。
在一些实施例中，在满足设定条件的样本中确定出所述困难样本，可以包括：采用正负样本平衡的方式，在所述满足设定条件的样本中确定出所述困难样本，其中，所述困难样本包括正样本和负样本。
本公开实施例中，正负样本平衡的方式表示正样本和负样本的比例在设定比例范围内，这里，设定比例范围可以是40％至60％；也就是说，在困难样本中年，正样本和负样本的数量较为接近。
可以理解地，如果困难样本中正样本的个数远大于负样本的个数，则训练完成的神经网络更倾向于标注为同一个人脸的一对图像的人脸特征相似度校正，对标注为不同人脸的一对图像的人脸特征相似度校正的能力可能不足；反之，如果困难样本中负样本的个数远大于正样本的个数，则训练完成的神经网络更倾向于标注为不同人脸的一对图像的人脸特征相似度校正，对标注为同一人脸的一对图像的人脸特征相似度校正的能力可能不足；相对地，本公开实施例采用正负样本平衡的方式，在所述满足设定条件的样本中确定出所述困难样本，可以使训练完成的神经网络具有较高的针对不同人脸一对图像的人脸特征相似度校正能力、以及相同人脸的一对图像的人脸特征相似度校正能力。
下面通过附图示例性地说明上述神经网络的训练过程。
图3为本公开实施例的神经网络训练方法的流程图，如图3所示，该流程可以包括：
步骤301：获取困难样本。
本公开实施例中，本步骤的实现方式已经在前述实施例中作出说明，这里不再赘述。
步骤302：将困难样本输入至所述神经网络；利用神经网络对困难样本进行处理，得到困难样本的处理结果。
步骤303：根据困难样本的处理结果和预先获取的困难样本的标注信息，调整所述神经网络的网络参数值。
这里，可以根据困难样本的处理结果和预先获取的困难样本的标注信息确定神经网络的损失，然后根据神经网络的损失，调整神经网络的网络参数值。
在一些实施例中，可以根据困难样本的处理结果和预先获取的困难样本的标注信息，确定神经网络的合页损失(Hinge Loss)；然后可以根据神经网络的合页损失，调整所述神经网络的网络参数值。
在一些实施例中，可以通过以下方式确定所述神经网络的合页损失：
根据所述困难样本的处理结果、预先获取的所述困难样本的标注信息和所述第一相似度阈值，确定所述神经网络的合页损失。
在一些实施例中，困难样本的处理结果表示困难样本中人脸特征的相似度校正值，在此情况下，合页损失可以通过公式(2)计算得出。
L＝max(0,margin-yij(xi Txj-σi-σj-bias)) (2)
其中，L表示合页损失，margin可以是经验性设置的数值，例如，margin＝0.1；xi和xj表示困难样本中一对图像的人脸特征，xi Txj表示xi和xj之间的相似度，yij表示xi和xj对应的标注信息，在xi和xj为属于同一个人脸的特征时，yij＝1；在xi和xj为属于不同人脸的特征时，yij＝-1；σi表示xi对应的相似度校正值，σj表示xj对应的相似度校正值，σi与σj之和表示困难样本中一对图像的人脸特征的相似度校正值；i和j均为大于或等于1的整数，且i不等于j；bias表示上述第一相似度阈值。
步骤304：判断网络参数值调整后的神经网络是否满足训练结束条件，如果否，则重新执行步骤301至步骤304；如果是，则执行步骤305。
本公开实施例中，训练结束条件可以是训练神经网络时的迭代次数达到设定次数，或者，网络参数值调整后的神经网络的损失小于设定损失；这里，设定次数和设定损失可以是预先设置的。
在一些实施例中，在神经网络的损失为上述合页损失，且困难样本的处理结果表示困难样本中人脸特征的相似度校正值的情况下，当xi和xj为属于不同人脸的特征时，yij＝-1，因而在xi Txj-σi-σj-bias小于-margin时，上述合页损失的值为0，也就是说，此时不需要再对σi与σj进行优化，可以认为网络参数值调整后的神经网络满足训练结束条件；当xi和xj为属于同一个人脸的特征时，yij＝1，因而在xi Txj-σi-σj-bias大于margin时，上述合页损失的值为0，也就是说，此时不需要再对σi与σj进行优化，可以认为网络参数值调整后的神经网络满足训练结束条件。
步骤305：将网络参数值调整后的神经网络作为训练完成的神经网络。
在实际应用中，步骤301至步骤305可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
可以看出，在本公开实施例中，通过预先训练神经网络，可以使训练完成的神经网络能够较为准确地校正人脸特征的相似度，进而，在校正人脸特征的相似度的基础上，有利于提升后续人脸聚类的聚类精度。
在一些实施例中，可以通过公式(3)计算得出待聚类图像中人脸特征的相似度。
Figure BDA0002861879100000151
其中，sij表示特征相似度，
Figure BDA0002861879100000152
表示校正后的特征相似度。
可以看出，本公开实施例中，无论待聚类人脸图像属于何种类型的人脸图像，均可以利用预先训练的神经网络对待聚类图像中人脸特征的相似度进行校正，并基于校正后的特征相似度进行人脸聚类，也就是说，本公开实施例可以基于待聚类图像中人脸特征自适应地校正人脸特征的相似度，从而针对各类人脸图像，均可以通过校正人脸特征的相似度的方式提高人脸聚类精度，即，本公开实施例可以适应于各类人脸的聚类。
基于前述实施例记载的内容，通过一个示例对本公开实施例的技术方案进行进一步说明。
在一些实施例中，利用大量的成年黄种人的图像训练的人脸聚类方法能够较好地实现成年黄种人的人脸聚类，但是不能很好地实现老人，小孩和黑人的人脸聚类。
针对该技术问题，在本公开实施例中，可以预先获取一个带有标注信息的数据集Db，然后可以从数据集Db选取出困难样本，以进行神经网络的训练；困难样本是至少一个类别人脸数据集中的样本。
在一些实施例中，从数据集Db选取出困难样本可以是通过以下方式实现的：
从0.1到0.9，按照步长为0.01来遍历选取多个相似度阈值；针对数据集Db，可以基于DBSCAN聚类方法选取人脸图像的特征对；针对每个相似度阈值，均可以采用DBSCAN聚类方法进行聚类处理，得出特征对的预测结果，这里，如果特征对的相似度大于或等于相似度阈值，则特征对的预测结果为正对(属于同一个人脸的特征)，反之，如果特征对的相似度小于相似度阈值，则特征对的预测结果为负对(属于不同人脸的特征)；然后，可以根据特征对的标注信息与预测结果的差异，确定DBSCAN聚类方法的人脸聚类的错误率，这里，DBSCAN聚类方法的人脸聚类的错误率越低，则DBSCAN聚类方法的人脸聚类精度越高。
在各个相似度阈值中，确定出使DBSCAN方法的人脸聚类的错误率最低的相似度阈值，作为上述第一相似度阈值。
基于第一相似度阈值，并按照前述实施例记载的方法获取困难样本。
在一些实施例中，可以获取老人人脸图像的数据集Dold、小孩人脸图像的数据集Dchild、黑人人脸图像的数据集Dblack和普遍情况下的人脸图像(可以是各类人脸的人脸图像)的数据集Dgeneral；在基于困难样本得到训练完成的神经网络后，可以基于训练完成的神经网络对数据集Dold、数据集Dchild、数据集Dblack和数据集Dgeneral中的人脸图像的人脸特征相似度进行校正，并基于校正后的校正后的特征相似度进行DBSCAN聚类；例如，在判断两张黑人的人脸图像是否属于同一个人时，可以基于本公开实施例的方法对这两张黑人的人脸特征相似度进行校正，并基于校正后的校正后的人脸特征的相似度进行DBSCAN聚类。
在前述实施例记载的内容的基础上，本公开实施例还提出了另一种图像处理方法，图4为本公开实施例的另一种聚类方法的流程图，如图4所示，该流程可以包括：
步骤401：获取用于得到特征相似度的神经网络，其中，所述神经网络是基于困难样本训练得到，所述困难样本是至少一个类别人脸数据集中的样本；所述特征相似度表示待聚类图像与对应类别图像的人脸特征的相似度。
在本公开实施例中，利用上述神经网络对困难样本进行处理，可以得到困难样本的处理结果；上述神经网络可以是得出人脸特征的相似度的神经网络，困难样本的处理结果表示困难样本中人脸特征的相似度。
步骤402：基于所述神经网络对所述待聚类图像进行处理，得出所述特征相似度，其中，所述特征相似度是根据不同类别人脸特征的相似度校正值得到的。
本公开实施例中，可以根据前述实施例记载的内容得出不同类别人脸特征的相似度校正值。然后，可以利用神经网络对待聚类图像以及待聚类图像对应的相似度校正值进行处理，得出上述特征相似度。
步骤403：基于所述特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与对应类别图像的聚类结果。
本公开实施例中，可以利用人脸聚类方法对待聚类图像进行聚类处理，得到待聚类图像中人脸特征的初始相似度；然后，可以利用上述特征相似度替换待聚类图像中人脸特征的初始相似度；然后，可以基于上述特征相似度，采用人脸聚类方法对待聚类图像进行聚类处理，得到待聚类图像与对应类别图像的聚类结果。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
在前述实施例提出的聚类方法的基础上，本公开实施例提出了一种聚类装置。
图5为本公开实施例的一种聚类装置的组成结构示意图，如图5所示，该装置可以包括第一获取模块500、第一处理模块501、第二处理模块502和第三处理模块503，其中，
第一获取模块500，用于获取用于校正人脸特征相似度的神经网络，所述神经网络是基于困难样本训练得到；所述困难样本是至少一个类别人脸数据集中的样本；
第一处理模块501，用于基于所述神经网络对待聚类图像进行处理，得出所述待聚类图像的人脸特征的相似度校正值；
第二处理模块502，用于利用所述相似度校正值对特征相似度进行校正，得到校正后的特征相似度；所述特征相似度表示所述待聚类图像与对应类别图像的人脸特征的相似度；
第三处理模块503，用于基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果。
在一些实施例中，所述第一获取模块500，还用于：
获取需要进行人脸聚类的多个类别人脸数据集的样本和所述多个类别人脸数据集的样本中每个样本的标注信息；
确定第一相似度阈值，其中，所述第一相似度阈值表示使所述多个类别人脸数据集的样本的聚类结果的精度达到设定精度指标的相似度阈值；
基于所述第一相似度阈值，对所述多个类别人脸数据集的样本进行聚类处理，得到所述多个类别人脸数据集的样本的聚类结果；
基于所述多个类别人脸数据集的样本的聚类结果确定满足设定条件的样本，在所述满足设定条件的样本中确定出所述困难样本，所述设定条件包括：样本的聚类结果与样本的标注信息不同。
在一些实施例中，所述第一获取模块500，用于确定第一相似度阈值，包括：
基于预先确定的多个相似度阈值的每个相似度阈值，对所述各样本进行聚类处理，得到所述每个相似度阈值对应的聚类结果；
基于所述每个相似度阈值对应的聚类结果，确定聚类的精度达到设定精度指标的多个第二相似度阈值；
在所述多个第二相似度阈值中，确定最大的相似度阈值为第一相似度阈值。
在一些实施例中，所述第一获取模块500，用于在满足设定条件的样本中确定出所述困难样本，包括：
采用正负样本平衡的方式，在所述满足设定条件的样本中确定出所述困难样本，其中，所述困难样本包括正样本和负样本，所述正样本表示标注为同一个人脸的一对样本图像，所述负样本表示标注为不同人脸的一对样本图像。
在一些实施例中，所述装置还包括第一训练模块，所述第一训练模块，用于：
将所述困难样本输入至所述神经网络；
利用所述神经网络对所述困难样本进行处理，得到所述困难样本的处理结果，所述困难样本的处理结果表示所述困难样本中人脸特征的相似度校正值；
根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，调整所述神经网络的网络参数值。
在一些实施例中，所述第一训练模块，用于根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，调整所述神经网络的网络参数值，包括：
根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，确定所述神经网络的合页损失；
根据所述合页损失，调整所述神经网络的网络参数值。
在一些实施例中，所述第一训练模块，还用于：
获取需要进行人脸聚类的多个类别人脸数据集的样本和所述多个类别人脸数据集的样本中每个样本的标注信息；
确定第一相似度阈值，其中，所述第一相似度阈值表示使所述多个类别人脸数据集的样本的聚类结果的精度达到设定精度指标的相似度阈值；
在一些实施例中，所述第一训练模块，用于根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，确定所述神经网络的合页损失，包括：
根据所述困难样本的处理结果、预先获取的所述困难样本的标注信息和所述第一相似度阈值，确定所述神经网络的合页损失。
在一些实施例中，所述第三处理模块503，用于基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与对应类别图像的聚类结果，包括：
基于所述校正后的特征相似度，采用所述人脸聚类方法对所述待聚类图像进行聚类处理，得到所述待聚类图像与对应类别图像的聚类结果，其中，不同类别的待聚类图像对应的校正后的特征相似度不同。
在前述实施例提出的聚类方法的基础上，本公开实施例提出了另一种聚类装置。
图6为本公开实施例的另一种聚类装置的组成结构示意图，如图6所示，该装置可以包括第二获取模块600、第四处理模块601和第五处理模块602，其中，
第二获取模块600，用于获取用于得到特征相似度的神经网络，其中，所述神经网络是基于困难样本训练得到，所述困难样本是至少一个类别人脸数据集中的样本；所述特征相似度表示待聚类图像与对应类别图像的人脸特征的相似度；
第四处理模块601，用于基于所述神经网络对所述待聚类图像进行处理，得出所述特征相似度，其中，所述特征相似度是根据不同类别人脸特征的相似度校正值得到的。
第五处理模块602，用于基于所述特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果
在一些实施例中，所述第二获取模块600，还用于：
获取需要进行人脸聚类的多个类别人脸数据集的样本和所述多个类别人脸数据集的样本中每个样本的标注信息；
确定第一相似度阈值，其中，所述第一相似度阈值表示使所述多个类别人脸数据集的样本的聚类结果的精度达到设定精度指标的相似度阈值；
基于所述第一相似度阈值，对所述多个类别人脸数据集的样本进行聚类处理，得到所述多个类别人脸数据集的样本的聚类结果；
基于所述多个类别人脸数据集的样本的聚类结果确定满足设定条件的样本，在所述满足设定条件的样本中确定出所述困难样本，所述设定条件包括：样本的聚类结果与样本的标注信息不同。
在一些实施例中，所述第二获取模块600，用于确定第一相似度阈值，包括：
基于预先确定的多个相似度阈值的每个相似度阈值，对所述各样本进行聚类处理，得到所述每个相似度阈值对应的聚类结果；
基于所述每个相似度阈值对应的聚类结果，确定聚类的精度达到设定精度指标的多个第二相似度阈值；
在所述多个第二相似度阈值中，确定最大的相似度阈值为第一相似度阈值。
在一些实施例中，所述第二获取模块600，用于在满足设定条件的样本中确定出所述困难样本，包括：
采用正负样本平衡的方式，在所述满足设定条件的样本中确定出所述困难样本，其中，所述困难样本包括正样本和负样本，所述正样本表示标注为同一个人脸的一对样本图像，所述负样本表示标注为不同人脸的一对样本图像。
在一些实施例中，所述装置还包括第二训练模块，所述第二训练模块，用于：
将所述困难样本输入至所述神经网络；
利用所述神经网络对所述困难样本进行处理，得到所述困难样本的处理结果；
根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，调整所述神经网络的网络参数值。
在一些实施例中，所述第二训练模块，用于根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，调整所述神经网络的网络参数值，包括：
根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，确定所述神经网络的合页损失；
根据所述合页损失，调整所述神经网络的网络参数值。
在一些实施例中，所述第二训练模块，还用于：
获取需要进行人脸聚类的多个类别人脸数据集的样本和所述多个类别人脸数据集的样本中每个样本的标注信息；
确定第一相似度阈值，其中，所述第一相似度阈值表示使所述多个类别人脸数据集的样本的聚类结果的精度达到设定精度指标的相似度阈值；
在一些实施例中，所述第二训练模块，用于根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，确定所述神经网络的合页损失，包括：
根据所述困难样本的处理结果、预先获取的所述困难样本的标注信息和所述第一相似度阈值，确定所述神经网络的合页损失。
实际应用中，第一获取模块500、第一处理模块501、第二处理模块502、第三处理模块503、第二获取模块600、第四处理模块601和第五处理模块602均可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲，本实施例中的一种聚类方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种聚类方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种聚类方法。
基于前述实施例相同的技术构思，参见图7，其示出了本公开实施例提供的一种电子设备7，可以包括：存储器701和处理器702；其中，
所述存储器701，用于存储计算机程序和数据；
所述处理器702，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种聚类方法。
在实际应用中，上述存储器701可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器702提供指令和数据。
上述处理器702可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述
本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (13)

1.一种聚类方法，其特征在于，所述方法包括：
获取用于校正人脸特征相似度的神经网络，其中，所述神经网络是基于困难样本训练得到，所述困难样本是至少一个类别人脸数据集中的样本；
基于所述神经网络对待聚类图像进行处理，得出所述待聚类图像的人脸特征的相似度校正值；
利用所述相似度校正值对特征相似度进行校正，得到校正后的特征相似度，所述特征相似度表示所述待聚类图像与对应类别图像的人脸特征的相似度；
基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取需要进行人脸聚类的多个类别人脸数据集的样本和所述多个类别人脸数据集的样本中每个样本的标注信息；
确定第一相似度阈值，其中，所述第一相似度阈值表示使所述多个类别人脸数据集的样本的聚类结果的精度达到设定精度指标的相似度阈值；
基于所述第一相似度阈值，对所述多个类别人脸数据集的样本进行聚类处理，得到所述多个类别人脸数据集的样本的聚类结果；
基于所述多个类别人脸数据集的样本的聚类结果确定满足设定条件的样本，在所述满足设定条件的样本中确定出所述困难样本，所述设定条件包括：样本的聚类结果与样本的标注信息不同。
3.根据权利要求2所述的方法，其特征在于，所述确定第一相似度阈值，包括：
基于预先确定的多个相似度阈值的每个相似度阈值，对所述各样本进行聚类处理，得到所述每个相似度阈值对应的聚类结果；
基于所述每个相似度阈值对应的聚类结果，确定聚类的精度达到设定精度指标的多个第二相似度阈值；
在所述多个第二相似度阈值中，确定最大的相似度阈值为第一相似度阈值。
4.根据权利要求2所述的方法，其特征在于，所述在满足设定条件的样本中确定出所述困难样本，包括：
采用正负样本平衡的方式，在所述满足设定条件的样本中确定出所述困难样本，其中，所述困难样本包括正样本和负样本，所述正样本表示标注为同一个人脸的一对样本图像，所述负样本表示标注为不同人脸的一对样本图像。
5.根据权利要求1所述的方法，其特征在于，所述神经网络是基于困难样本训练得到的，包括：
将所述困难样本输入至所述神经网络；
利用所述神经网络对所述困难样本进行处理，得到所述困难样本的处理结果，所述困难样本的处理结果表示所述困难样本中人脸特征的相似度校正值；
根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，调整所述神经网络的网络参数值。
6.根据权利要求5所述的方法，其特征在于，所述根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，调整所述神经网络的网络参数值，包括：
根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，确定所述神经网络的合页损失；
根据所述合页损失，调整所述神经网络的网络参数值。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取需要进行人脸聚类的多个类别人脸数据集的样本和所述多个类别人脸数据集的样本中每个样本的标注信息；
确定第一相似度阈值，其中，所述第一相似度阈值表示使所述多个类别人脸数据集的样本的聚类结果的精度达到设定精度指标的相似度阈值；
所述根据所述困难样本的处理结果和预先获取的所述困难样本的标注信息，确定所述神经网络的合页损失，包括：
根据所述困难样本的处理结果、预先获取的所述困难样本的标注信息和所述第一相似度阈值，确定所述神经网络的合页损失。
8.根据权利要求1所述的方法，其特征在于，所述基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像的聚类结果，包括：
基于所述校正后的特征相似度，采用人脸聚类方法对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果，其中，不同类别的待聚类图像对应的校正后的特征相似度不同。
9.一种聚类方法，其特征在于，所述方法包括：
获取用于得到特征相似度的神经网络，其中，所述神经网络是基于困难样本训练得到，所述困难样本是至少一个类别人脸数据集中的样本；所述特征相似度表示待聚类图像与对应类别图像的人脸特征的相似度；
基于所述神经网络对所述待聚类图像进行处理，得出所述特征相似度，其中，所述特征相似度是根据不同类别人脸特征的相似度校正值得到的；
基于所述特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果。
10.一种聚类装置，其特征在于，所述装置包括：
第一获取模块，用于获取用于校正人脸特征相似度的神经网络，所述神经网络是基于困难样本训练得到；所述困难样本是至少一个类别人脸数据集中的样本；
第一处理模块，用于基于所述神经网络对待聚类图像进行处理，得出所述待聚类图像的人脸特征的相似度校正值；
第二处理模块，用于利用所述相似度校正值对特征相似度进行校正，得到校正后的特征相似度；所述特征相似度表示所述待聚类图像与对应类别图像的人脸特征的相似度；
第三处理模块，用于基于所述校正后的特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果。
11.一种聚类装置，其特征在于，所述装置包括：
第二获取模块，用于获取用于得到特征相似度的神经网络，其中，所述神经网络是基于困难样本训练得到；所述困难样本是至少一个类别人脸数据集中的样本；所述特征相似度表示待聚类图像与对应类别图像的人脸特征的相似度；
第四处理模块，用于基于所述神经网络对所述待聚类图像进行处理，得出所述特征相似度；其中，所述特征相似度是根据不同类别人脸特征的相似度校正值得到的；
第五处理模块，用于基于所述特征相似度，对所述待聚类图像进行聚类处理，得到所述待聚类图像与所述对应类别图像的聚类结果。
12.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序以执行权利要求1至9任一项所述的聚类方法。
13.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述的聚类方法。
CN202011566702.8A 2020-12-25 2020-12-25 聚类方法及装置、电子设备和存储介质 Pending CN112508130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011566702.8A CN112508130A (zh) 2020-12-25 2020-12-25 聚类方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011566702.8A CN112508130A (zh) 2020-12-25 2020-12-25 聚类方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112508130A true CN112508130A (zh) 2021-03-16

Family

ID=74923536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011566702.8A Pending CN112508130A (zh) 2020-12-25 2020-12-25 聚类方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112508130A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663648A (zh) * 2023-04-23 2023-08-29 北京大学 模型训练方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
CN106202329A (zh) * 2016-07-01 2016-12-07 北京市商汤科技开发有限公司 样本数据处理、数据识别方法和装置、计算机设备
CN108805048A (zh) * 2018-05-25 2018-11-13 腾讯科技（深圳）有限公司 一种人脸识别模型的调整方法、装置和存储介质
WO2019127924A1 (zh) * 2017-12-29 2019-07-04 深圳云天励飞技术有限公司 样本权重分配方法、模型训练方法、电子设备及存储介质
CN110084149A (zh) * 2019-04-09 2019-08-02 南京邮电大学 一种基于难样本四元组动态边界损失函数的人脸验证方法
CN110210535A (zh) * 2019-05-21 2019-09-06 北京市商汤科技开发有限公司 神经网络训练方法及装置以及图像处理方法及装置
CN110610197A (zh) * 2019-08-19 2019-12-24 北京迈格威科技有限公司 一种困难样本挖掘和模型训练方法、装置和电子设备
CN111598004A (zh) * 2020-05-18 2020-08-28 北京星闪世图科技有限公司 一种渐进增强自学习的无监督跨领域行人再识别方法
CN111814717A (zh) * 2020-07-17 2020-10-23 腾讯科技（深圳）有限公司 人脸识别方法、装置及电子设备
CN111881757A (zh) * 2020-06-29 2020-11-03 浪潮电子信息产业股份有限公司 一种行人重识别方法、装置、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
CN106202329A (zh) * 2016-07-01 2016-12-07 北京市商汤科技开发有限公司 样本数据处理、数据识别方法和装置、计算机设备
WO2019127924A1 (zh) * 2017-12-29 2019-07-04 深圳云天励飞技术有限公司 样本权重分配方法、模型训练方法、电子设备及存储介质
CN108805048A (zh) * 2018-05-25 2018-11-13 腾讯科技（深圳）有限公司 一种人脸识别模型的调整方法、装置和存储介质
CN110084149A (zh) * 2019-04-09 2019-08-02 南京邮电大学 一种基于难样本四元组动态边界损失函数的人脸验证方法
CN110210535A (zh) * 2019-05-21 2019-09-06 北京市商汤科技开发有限公司 神经网络训练方法及装置以及图像处理方法及装置
CN110610197A (zh) * 2019-08-19 2019-12-24 北京迈格威科技有限公司 一种困难样本挖掘和模型训练方法、装置和电子设备
CN111598004A (zh) * 2020-05-18 2020-08-28 北京星闪世图科技有限公司 一种渐进增强自学习的无监督跨领域行人再识别方法
CN111881757A (zh) * 2020-06-29 2020-11-03 浪潮电子信息产业股份有限公司 一种行人重识别方法、装置、设备及介质
CN111814717A (zh) * 2020-07-17 2020-10-23 腾讯科技（深圳）有限公司 人脸识别方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈莹;陈湟康;: "基于多模态生成对抗网络和三元组损失的说话人识别", 电子与信息学报, no. 02, 15 February 2020 (2020-02-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663648A (zh) * 2023-04-23 2023-08-29 北京大学 模型训练方法、装置、设备及存储介质
CN116663648B (zh) * 2023-04-23 2024-04-02 北京大学 模型训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11645571B2 (en) Scheduling in a dataset management system
US11210595B2 (en) System and method for selective use of examples
CN112990280B (zh) 面向图像大数据的类增量分类方法、系统、装置及介质
CN110866530A (zh) 一种字符图像识别方法、装置及电子设备
WO2023125654A1 (zh) 人脸识别模型的训练方法、装置、电子设备及存储介质
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN113065525A (zh) 年龄识别模型训练方法、人脸年龄识别方法及相关装置
CN113554175A (zh) 一种知识图谱构建方法、装置、可读存储介质及终端设备
CN110929532B (zh) 数据处理方法、装置、设备及存储介质
KR20220116110A (ko) 인공 신경망의 추론 데이터에 대한 신뢰도를 판단하는 방법
CN112508130A (zh) 聚类方法及装置、电子设备和存储介质
CN114255381A (zh) 图像识别模型的训练方法、图像识别方法、装置及介质
CN111191781A (zh) 训练神经网络的方法、对象识别方法和设备以及介质
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
CN113762005A (zh) 特征选择模型的训练、对象分类方法、装置、设备及介质
CN116645719A (zh) 一种瞳孔和虹膜定位方法、装置、电子设备及存储介质
CN112446428B (zh) 一种图像数据处理方法及装置
US20240062064A1 (en) Artificial Intelligence Computing Systems for Efficiently Learning Underlying Features of Data
CN116310557A (zh) 基于动态类原型生成机制的类增量学习方法及产品
CN113361304A (zh) 一种基于表情识别的服务评价方法，装置及存储设备
CN116956171A (zh) 基于ai模型的分类方法、装置、设备及存储介质
CN117216395A (zh) 一种内容推荐方法、装置及电子设备和存储介质
CN117132754A (zh) 边界框分布模型的训练、目标检测方法及装置
CN113469932A (zh) 信息处理的方法、电子设备和介质
Hendrikse SOS, lost in a high dimensional space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination