CN110232331B - 一种在线人脸聚类的方法及系统 - Google Patents

一种在线人脸聚类的方法及系统 Download PDF

Info

Publication number
CN110232331B
CN110232331B CN201910434590.1A CN201910434590A CN110232331B CN 110232331 B CN110232331 B CN 110232331B CN 201910434590 A CN201910434590 A CN 201910434590A CN 110232331 B CN110232331 B CN 110232331B
Authority
CN
China
Prior art keywords
face
cluster
library
clusters
feature vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910434590.1A
Other languages
English (en)
Other versions
CN110232331A (zh
Inventor
蔡晔
甘海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910434590.1A priority Critical patent/CN110232331B/zh
Publication of CN110232331A publication Critical patent/CN110232331A/zh
Application granted granted Critical
Publication of CN110232331B publication Critical patent/CN110232331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种在线人脸聚类的方法及系统。一种在线人脸聚类的方法包括：对原始视频的图像帧进行人脸检测，得到人脸图片；通过深度学习模型提取所述人脸图片的人脸特征向量；提取所述人脸图片中的人脸属性；将所述人脸特征向量分配到预设的第一人脸簇库中，得到更新后的第二人脸簇库；对所述第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇库。本发明实施例的技术方案，实现了实时采集数据场景下的在线人脸聚类，提高了人脸聚类的准确性。

Description

一种在线人脸聚类的方法及系统
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种在线人脸聚类的方法及系统。
背景技术
随着计算机技术的快速发展，人脸检索得到越来越多的应用，由于大数据的不断发展，仅仅使用人脸检索无法满足大数据下的检索，所以在检索之前，通常先对数据进行聚类，数据按属性聚到不同簇，在检索过程中，先在簇间进行比较，再对合适的簇进行检索，这样可以大大减少检索时间。
目前，对人脸进行聚类往往使用线下聚类，即对历史监控数据库中的人脸数据进行聚类，在实时采集数据的场景下，当需要对新采集的人脸进行聚类时，由于数据库中的人脸数据是历史数据，所以对新采集的人脸进行聚类的准确性不高。
发明内容
本发明实施例提供在线人脸聚类的方法及系统，以实现实时采集数据场景下的在线人脸聚类，提高了人脸聚类的准确性。
本发明第一方面提供一种在线人脸聚类的方法，包括：
对原始视频的图像帧进行人脸检测，得到人脸图片；
通过深度学习模型提取所述人脸图片的人脸特征向量；
提取所述人脸图片中的人脸属性；
将所述人脸特征向量分配到预设的第一人脸簇库中，得到更新后的第二人脸簇库；
对所述第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇库。
基于本发明第一方面，在第一种可能的实施方式中，所述将所述人脸特征向量分配到预设的第一人脸簇库中包括：
将所述人脸特征向量分别与所述第一人脸簇库中所有人脸簇的簇中心计算欧氏距离，确定与所述人脸特征向量的欧氏距离最小的第一人脸簇；
判断所述第一人脸簇中是否存在与所述人脸特征向量对应的人脸位于同一图像帧且不属于同一人脸的特征向量；
若不存在，则将所述人脸特征向量分配到所述第一人脸簇；
若存在，则在所述第一人脸簇库中创建第二人脸簇，将所述人脸特征向量分配到所述第二人脸簇。
基于本发明第一方面或者本发明第一方面的第一种可能的实施方式，在第二种可能的实施方式中，所述对所述第二人脸簇库中的人脸簇进行分裂或者合并包括：
计算所述第二人脸簇库中任意一个人脸簇的簇容量，若所述簇容量大于预设容量阈值，则对所述任意一个人脸簇进行分裂；
计算所述第二人脸簇库中任意两个人脸簇的簇间距离，若所述簇间距离小于预设距离阈值，则对所述任意两个人脸簇进行合并。
基于本发明第一方面的第二种可能的实施方式，在第三种可能的实施方式中，所述任意一个人脸簇的簇中心为M维向量，M为正整数，所述计算所述第二人脸簇库中任意一个人脸簇的簇容量，若所述簇容量大于预设容量阈值，则对所述任意一个人脸簇进行分裂包括：
计算所述任意一个人脸簇分别在M个维度的簇容量；
若第i维度的簇容量大于所述预设容量阈值，则将所述任意一个人脸簇的簇中心在所述第i维度分别加上和减去超参数，以得到第一分裂人脸簇的簇中心和第二分裂人脸簇的簇中心，其中，i为不大于M的正整数；
计算所述任意一个人脸簇中所有特征向量分别与所述第一分裂人脸簇的簇中心和所述第二分裂人脸簇的簇中心的欧氏距离；
按照最小欧式距离将所述任意一个人脸簇中所有特征向量分配到所述第一分裂人脸簇或者所述第二分裂人脸簇。
基于本发明第一方面的第三种可能的实施方式，在第四种可能的实施方式中，所述第二人脸簇库中有N个人脸簇，N为正整数，所述计算所述任意一个人脸簇分别在M个维度的簇容量的公式为：
Figure BDA0002070122700000031
其中，δij为第j个人脸簇在第i维度的簇容量，nj为第j个人脸簇中特征向量的个数，xi为特征向量在第i维度的值，zij为第j个人脸簇的簇中心在第i维度的值，j为不大于N的正整数。
基于本发明第一方面的第二种可能的实施方式，在第五种可能的实施方式中，所述计算所述第二人脸簇库中任意两个人脸簇的簇间距离，若所述簇间距离小于预设距离阈值，则对所述任意两个人脸簇进行合并包括：
计算所述任意两个人脸簇的簇中心的欧氏距离；
若所述任意两个人脸簇的簇中心的欧氏距离小于所述预设距离阈值，则对所述任意两个人脸簇进行合并，以得到合并人脸簇，其中，计算所述合并人脸簇的簇中心的公式为：
Figure BDA0002070122700000032
其中，zab为所述合并人脸簇的簇中心，na和nb分别为所述任意两个人脸簇中特征向量的个数，za和zb分别为所述任意两个人脸簇的簇中心。
基于本发明第一方面，在第六种可能的实施方式中，按照所述人脸属性对所述第三人脸簇库中所有人脸簇的特征向量进行分类，以给所述第三人脸簇库中所有人脸簇的特征向量标识上不同类别的标签；
其中，所述人脸属性包括年龄、性别、脸型类别、胡子类别、眼睛类别、眉毛类别、鼻子类别、嘴型类别。
基于本发明第一方面，在第七种可能的实施方式中，所述对原始视频的图像帧进行人脸检测之前，包括：
获取监控装置的原始视频；
对所述原始视频进行解码得到所述原始视频的图像帧。
基于本发明第一方面的第七种可能的实施方式，在第八种可能的实施方式中，所述对原始视频的图像帧进行人脸检测之后，包括：
对检测到的人脸进行跟踪；
对跟踪过程得到的所述人脸的多个照片进行选择。
本发明第二方面提供了一种在线人脸聚类的系统，包括：
检测单元，用于对原始视频的图像帧进行人脸检测，得到人脸图片；
特征向量提取单元，用于通过深度学习模型提取所述人脸图片的人脸特征向量；
属性提取单元，用于提取所述人脸图片中的人脸属性；
在线聚类单元，用于将所述人脸特征向量分配到预设的第一人脸簇库中，得到更新后的第二人脸簇库；对所述第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇库。
可以看到，通过本发明提供的在线人脸聚类的方法及系统，在实时采集数据的场景下，获取原始视频，然后对原始视频的图像帧进行人脸检测，得到人脸图片，通过深度学习模型提取人脸图片的人脸特征向量，提取人脸图片中的人脸属性，将人脸特征向量分配到预设的第一人脸簇库中，得到更新后的第二人脸簇库，对第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇，这样，可以实时对新采集的人脸进行聚类，并更新数据库中的人脸数据，实现在线人脸聚类，在聚类过程中，对数据库中的人脸簇进行分裂或者合并，可以更准确地将不同属性的人脸聚到不同的簇，提高了人脸聚类的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种在线人脸聚类的方法的流程图；
图2为本发明实施例提供的另一种在线人脸聚类的方法的流程图；
图3为本发明实施例提供的一种在线人脸聚类的系统的结构示意图；
图4为本发明实施例提供的另一种在线人脸聚类的系统的结构示意图；
图5为本发明实施例提供的一种在线人脸聚类的系统的原理示意图。
具体实施方式
本发明实施例提供在线人脸聚类的方法及系统，以实现实时采集数据场景下的在线人脸聚类，提高了人脸聚类的准确性。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供的在线人脸聚类的方法，可实现实时采集数据场景下的在线人脸聚类，例如在监控场景下，获取监控装置的原始视频，对原始视频进行解码得到图像帧，对图像帧进行人脸检测并保存检测到的人脸图片，使用深度学习模型提取人脸图片的人脸特征向量，人脸特征向量可以很好表征人脸，并且越相似的人脸的人脸特征向量在向量空间距离就越近，提取人脸图片的人脸属性，包括年龄、性别、脸型类别、胡子类别、眼睛类别、眉毛类别、鼻子类别、嘴型类别等，将人脸特征向量分配到已创建人脸簇库中的已存在的人脸簇或者新创建的人脸簇中，以实现人脸聚类，在聚类过程中，对现存的所有人脸簇进行分裂或者合并，从而更准确的控制距离近的人脸特征向量处于同一人脸簇内，提高人脸在线聚类的准确性，并且，在所有人脸簇内按照人脸属性对簇内所有人脸特征向量进行分类，提高人脸聚类的准确性。
首先参见图1，图1为本发明实施例提供的一种在线人脸聚类的方法的流程图。其中，如图1所示，本发明实施例提供的一种在线人脸聚类的方法可以包括：
101、对原始视频的图像帧进行人脸检测，得到人脸图片。
可选的，在实时监控场景下，在对原始视频的图像帧进行人脸检测之前，先获取监控装置的原始视频，对原始视频进行解码得到原始视频的图像帧，得到图像帧后，对图像帧进行人脸检测，得到人脸图片。
可选的，在对图像帧进行人脸检测时，检测出人脸和人脸关键点，检测人脸包括检测人脸的区域坐标和人脸得分，人脸的区域坐标用于后续从图像帧中截取人脸，检测人脸关键点具体包括根据输入的人脸图片，识别出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点的坐标，检测人脸关键点用于人脸对齐，通过人脸关键点检测得到人脸的关键点坐标，然后根据人脸的关键点坐标调整人脸的角度，使人脸对齐。
可选的，对图像帧进行人脸检测后，对检测到的人脸进行跟踪，直到人脸消失，对跟踪过程得到的同一人脸的多个照片进行选择，根据人脸得分、人脸大小和人脸模糊度选择出最优的人脸图片。
102、通过深度学习模型提取所述人脸图片的人脸特征向量。
其中，人脸特征向量可以很好表征人脸，越相似的人脸的人脸特征向量在向量空间距离就越近。
可选的，深度学习模型可以采用Insightface模型。
103、提取所述人脸图片中的人脸属性。
可选的，人脸属性包括年龄、性别、脸型类别、胡子类别、眼睛类别、眉毛类别、鼻子类别、嘴型类别。
可选的，可以使用Resnet模型提取人脸图片中的人脸属性。
104、将所述人脸特征向量分配到预设的第一人脸簇库中，得到更新后的第二人脸簇库。
其中，预设的第一人脸簇库为已创建的人脸簇库。
可选的，可以根据同帧约束条件将人脸特征向量分配到预设的第一人脸簇中，使用同帧约束条件来约束人脸在线聚类的过程，实现实时采集数据环境下的人脸聚类，并且减少人脸在线聚类的时间复杂度，具体过程为：
将人脸特征向量分别与第一人脸簇库中所有人脸簇的簇中心计算欧氏距离，其中，欧氏距离也叫做欧几里得度量(euclidean metric)，是一个距离定义，指在m维空间中两个点之间的真实距离，在二维和三维空间中的欧氏距离就是两点之间的实际距离；
确定与人脸特征向量的欧氏距离最小的第一人脸簇；
判断第一人脸簇中是否存在与人脸特征向量对应的人脸位于同一图像帧且不属于同一人脸的特征向量；
若不存在，则将人脸特征向量分配到第一人脸簇；
若存在，则在第一人脸簇库中创建第二人脸簇，将人脸特征向量分配到第二人脸簇。
105、对所述第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇库。
其中，第二人脸簇库即为将检测到的人脸的人脸特征向量分配到第一人脸簇库后，得到的更新后的人脸簇库。
可选的，对第二人脸簇库中的人脸簇进行分裂的方法可以是：
对第二人脸簇库中每个人脸簇进行计算，以确定是否需要进行分裂，其中，对第二人脸簇库中任意一个人脸簇进行计算的过程包括，计算第二人脸簇库中任意一个人脸簇的簇容量，若簇容量大于预设容量阈值，则对该任意一个人脸簇进行分裂。
进一步可选的，第二人脸簇库中任意一个人脸簇的簇中心为M维向量，M为正整数，计算第二人脸簇库中任意一个人脸簇的簇容量，若簇容量大于预设容量阈值，则对任意一个人脸簇进行分裂包括：
计算任意一个人脸簇分别在M个维度的簇容量；
若第i维度的簇容量大于预设容量阈值，则将该任意一个人脸簇的簇中心在该第i维度分别加上和减去超参数，以得到第一分裂人脸簇的簇中心和第二分裂人脸簇的簇中心，其中，i为不大于M的正整数；
计算该任意一个人脸簇中所有特征向量分别与该第一分裂人脸簇的簇中心和该第二分裂人脸簇的簇中心的欧氏距离；
按照最小欧式距离将该任意一个人脸簇中所有特征向量分配到该第一分裂人脸簇或者该第二分裂人脸簇。
进一步可选的，第二人脸簇库中有N个人脸簇，N为正整数，计算任意一个人脸簇分别在M个维度的簇容量的公式为：
Figure BDA0002070122700000071
其中，δij为第j个人脸簇在第i维度的簇容量，nj为第j个人脸簇中特征向量的个数，xi为特征向量在第i维度的值，zij为第j个人脸簇的簇中心在第i维度的值，j为不大于N的正整数。
可选的，对第二人脸簇库中的人脸簇进行合并的方法可以是：
对第二人脸簇库中每两个人脸簇进行计算，以确定是否需要进行合并，其中，对第二人脸簇库中任意两个人脸簇进行计算的过程包括，计算第二人脸簇库中任意两个人脸簇的簇间距离，若簇间距离小于预设距离阈值，则对该任意两个人脸簇进行合并。
进一步可选的，计算第二人脸簇库中任意两个人脸簇的簇间距离，若簇间距离小于预设距离阈值，则对任意两个人脸簇进行合并包括：
计算任意两个人脸簇的簇中心的欧氏距离；
若该任意两个人脸簇的簇中心的欧氏距离小于预设距离阈值，则对该任意两个人脸簇进行合并，以得到合并人脸簇，其中，计算该合并人脸簇的簇中心的公式为：
Figure BDA0002070122700000081
其中，zab为该合并人脸簇的簇中心，na和nb分别为该任意两个人脸簇中特征向量的个数，za和zb分别为该任意两个人脸簇的簇中心。
可选的，得到更新后的第三人脸簇库后，按照人脸属性对第三人脸簇库中所有人脸簇的特征向量进行分类，以给第三人脸簇库中所有人脸簇的特征向量标识上不同类别的标签；
其中，人脸属性包括年龄、性别、脸型类别、胡子类别、眼睛类别、眉毛类别、鼻子类别、嘴型类别。
进一步可选的，年龄分为少年、青年、中年、老年，性别分为男、女，脸型类别分为丰满的、双下巴、高颧骨、瓜子脸，胡子类别分为有胡子、没胡子，眼睛类别分为戴眼镜、没戴眼镜，眉毛类别分为柳叶眉、浓眉，鼻子类别分为尖鼻子、大鼻子，嘴型类别分为大嘴唇、涂口红。
参见图2，图2为本发明实施例提供的另一种在线人脸聚类的方法的流程图。其中，如图2所示，本发明实施例提供的另一种在线人脸聚类的方法可以包括：
201、在实时监控场景下，获取监控装置的原始视频。
202、对原始视频进行解码得到原始视频的图像帧，对图像帧进行人脸检测。
可选的，在对图像帧进行人脸检测时，检测出人脸和人脸关键点，检测人脸包括检测人脸的区域坐标和人脸得分，人脸的区域坐标用于后续从图像帧中截取人脸，检测人脸关键点具体包括根据输入的人脸图片，识别出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点的坐标，检测人脸关键点用于人脸对齐，通过人脸关键点检测得到人脸的关键点坐标，然后根据人脸的关键点坐标调整人脸的角度，使人脸对齐。
203、对检测到的人脸进行跟踪，对跟踪过程得到的同一人脸的多个照片选择出最优的人脸图片。
对图像帧进行人脸检测后，对检测到的人脸进行跟踪，直到人脸消失，对跟踪过程得到的同一人脸的多个照片进行选择，根据人脸得分、人脸大小和人脸模糊度选择出最优的人脸图片。
204、通过深度学习模型提取人脸图片的人脸特征向量。
其中，人脸特征向量可以很好表征人脸，越相似的人脸的人脸特征向量在向量空间距离就越近。
可选的，深度学习模型可以采用Insightface模型。
205、提取人脸图片中的人脸属性。
可选的，人脸属性包括年龄、性别、脸型类别、胡子类别、眼睛类别、眉毛类别、鼻子类别、嘴型类别。
可选的，可以使用Resnet模型提取人脸图片中的人脸属性。
206、将人脸特征向量分别与预设的第一人脸簇库中所有人脸簇的簇中心计算欧氏距离，确定与人脸特征向量的欧氏距离最小的第一人脸簇。
其中，预设的第一人脸簇库为已创建的人脸簇库，欧氏距离也叫做欧几里得度量(euclidean metric)，是一个距离定义，指在m维空间中两个点之间的真实距离，在二维和三维空间中的欧氏距离就是两点之间的实际距离。
207、判断第一人脸簇中是否存在与人脸特征向量对应的人脸位于同一图像帧且不属于同一人脸的特征向量。
根据同帧约束条件将人脸特征向量分配到预设的第一人脸簇中，使用同帧约束条件来约束人脸在线聚类的过程，实现实时采集数据环境下的人脸聚类，并且减少人脸在线聚类的时间复杂度。
208、若不存在，则将人脸特征向量分配到第一人脸簇。
209、若存在，则在第一人脸簇库中创建第二人脸簇，将人脸特征向量分配到第二人脸簇。
210、更新第一人脸簇库，得到第二人脸簇库。
其中，第二人脸簇库即为将检测到的人脸的人脸特征向量分配到第一人脸簇库后，得到的更新后的人脸簇库。
211、对第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇库。
可选的，对第二人脸簇库中的人脸簇进行分裂的方法可以是：
对第二人脸簇库中每个人脸簇进行计算，以确定是否需要进行分裂，其中，对第二人脸簇库中任意一个人脸簇进行计算的过程包括，计算第二人脸簇库中任意一个人脸簇的簇容量，若簇容量大于预设容量阈值，则对该任意一个人脸簇进行分裂。
进一步可选的，第二人脸簇库中任意一个人脸簇的簇中心为M维向量，M为正整数，计算第二人脸簇库中任意一个人脸簇的簇容量，若簇容量大于预设容量阈值，则对任意一个人脸簇进行分裂包括：
计算任意一个人脸簇分别在M个维度的簇容量；
若第i维度的簇容量大于预设容量阈值，则将该任意一个人脸簇的簇中心在该第i维度分别加上和减去超参数，以得到第一分裂人脸簇的簇中心和第二分裂人脸簇的簇中心，其中，i为不大于M的正整数；
计算该任意一个人脸簇中所有特征向量分别与该第一分裂人脸簇的簇中心和该第二分裂人脸簇的簇中心的欧氏距离；
按照最小欧式距离将该任意一个人脸簇中所有特征向量分配到该第一分裂人脸簇或者该第二分裂人脸簇。
进一步可选的，第二人脸簇库中有N个人脸簇，N为正整数，计算任意一个人脸簇分别在M个维度的簇容量的公式为：
Figure BDA0002070122700000101
其中，δij为第j个人脸簇在第i维度的簇容量，nj为第j个人脸簇中特征向量的个数，xi为特征向量在第i维度的值，zij为第j个人脸簇的簇中心在第i维度的值，j为不大于N的正整数。
可选的，对第二人脸簇库中的人脸簇进行合并的方法可以是：
对第二人脸簇库中每两个人脸簇进行计算，以确定是否需要进行合并，其中，对第二人脸簇库中任意两个人脸簇进行计算的过程包括，计算第二人脸簇库中任意两个人脸簇的簇间距离，若簇间距离小于预设距离阈值，则对该任意两个人脸簇进行合并。
进一步可选的，计算第二人脸簇库中任意两个人脸簇的簇间距离，若簇间距离小于预设距离阈值，则对任意两个人脸簇进行合并包括：
计算任意两个人脸簇的簇中心的欧氏距离；
若该任意两个人脸簇的簇中心的欧氏距离小于预设距离阈值，则对该任意两个人脸簇进行合并，以得到合并人脸簇，其中，计算该合并人脸簇的簇中心的公式为：
Figure BDA0002070122700000111
其中，zab为该合并人脸簇的簇中心，na和nb分别为该任意两个人脸簇中特征向量的个数，za和zb分别为该任意两个人脸簇的簇中心。
212、按照人脸属性对第三人脸簇库中所有人脸簇的特征向量进行分类，以给第三人脸簇库中所有人脸簇的特征向量标识上不同类别的标签。
其中，人脸属性包括年龄、性别、脸型类别、胡子类别、眼睛类别、眉毛类别、鼻子类别、嘴型类别。
进一步可选的，年龄分为少年、青年、中年、老年，性别分为男、女，脸型类别分为丰满的、双下巴、高颧骨、瓜子脸，胡子类别分为有胡子、没胡子，眼睛类别分为戴眼镜、没戴眼镜，眉毛类别分为柳叶眉、浓眉，鼻子类别分为尖鼻子、大鼻子，嘴型类别分为大嘴唇、涂口红。
参见图3，图3为本发明实施例提供的一种在线人脸聚类的系统300的结构示意图，本发明实施例提供的一种在线人脸聚类的系统300可以包括：检测单元301、特征向量提取单元302、属性提取单元303和在线聚类单元304；
其中，检测单元301，用于对原始视频的图像帧进行人脸检测，得到人脸图片；
特征向量提取单元302，用于通过深度学习模型提取所述人脸图片的人脸特征向量；
属性提取单元303，用于提取所述人脸图片中的人脸属性；
在线聚类单元304，用于将所述人脸特征向量分配到预设的第一人脸簇库中，得到更新后的第二人脸簇库；对所述第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇库。
可选的，在将所述人脸特征向量分配到预设的第一人脸簇库中的步骤中，在线聚类单元304具体用于：
将所述人脸特征向量分别与所述第一人脸簇库中所有人脸簇的簇中心计算欧氏距离，确定与所述人脸特征向量的欧氏距离最小的第一人脸簇；
判断所述第一人脸簇中是否存在与所述人脸特征向量对应的人脸位于同一图像帧且不属于同一人脸的特征向量；
若不存在，则将所述人脸特征向量分配到所述第一人脸簇；
若存在，则在所述第一人脸簇库中创建第二人脸簇，将所述人脸特征向量分配到所述第二人脸簇。
可选的，在对所述第二人脸簇库中的人脸簇进行分裂或者合并的步骤中，在线聚类单元304具体用于：
计算所述第二人脸簇库中任意一个人脸簇的簇容量，若所述簇容量大于预设容量阈值，则对所述任意一个人脸簇进行分裂；
计算所述第二人脸簇库中任意两个人脸簇的簇间距离，若所述簇间距离小于预设距离阈值，则对所述任意两个人脸簇进行合并。
进一步可选的，所述任意一个人脸簇的簇中心为M维向量，M为正整数，在计算所述第二人脸簇库中任意一个人脸簇的簇容量，若所述簇容量大于预设容量阈值，则对所述任意一个人脸簇进行分裂的步骤中，在线聚类单元304具体用于：
计算所述任意一个人脸簇分别在M个维度的簇容量；
若第i维度的簇容量大于所述预设容量阈值，则将所述任意一个人脸簇的簇中心在所述第i维度分别加上和减去超参数，以得到第一分裂人脸簇的簇中心和第二分裂人脸簇的簇中心，其中，i为不大于M的正整数；
计算所述任意一个人脸簇中所有特征向量分别与所述第一分裂人脸簇的簇中心和所述第二分裂人脸簇的簇中心的欧氏距离；
按照最小欧式距离将所述任意一个人脸簇中所有特征向量分配到所述第一分裂人脸簇或者所述第二分裂人脸簇。
可选的，所述第二人脸簇库中有N个人脸簇，N为正整数，所述计算所述任意一个人脸簇分别在M个维度的簇容量的公式为：
Figure BDA0002070122700000131
其中，δij为第j个人脸簇在第i维度的簇容量，nj为第j个人脸簇中特征向量的个数，xi为特征向量在第i维度的值，zij为第j个人脸簇的簇中心在第i维度的值，j为不大于N的正整数。
进一步可选的，在计算所述第二人脸簇库中任意两个人脸簇的簇间距离，若所述簇间距离小于预设距离阈值，则对所述任意两个人脸簇进行合并的步骤中，在线聚类单元304具体用于：
计算所述任意两个人脸簇的簇中心的欧氏距离；
若所述任意两个人脸簇的簇中心的欧氏距离小于所述预设距离阈值，则对所述任意两个人脸簇进行合并，以得到合并人脸簇，其中，计算所述合并人脸簇的簇中心的公式为：
Figure BDA0002070122700000132
其中，zab为所述合并人脸簇的簇中心，na和nb分别为所述任意两个人脸簇中特征向量的个数，za和zb分别为所述任意两个人脸簇的簇中心。
参见图4，图4为本发明实施例提供的另一种在线人脸聚类的系统400的结构示意图，本发明实施例提供的另一种在线人脸聚类的系统400可以包括：视频解码单元401、检测单元402、跟踪单元403、选择单元404、特征向量提取单元405、属性提取单元406、在线聚类单元407和分类单元408；
其中，视频解码单元401，用于获取监控装置的原始视频，对所述原始视频进行解码得到所述原始视频的图像帧；
检测单元402，用于对原始视频的图像帧进行人脸检测，得到人脸图片；
跟踪单元403，用于对检测到的人脸进行跟踪；
选择单元404，用于对跟踪过程得到的所述人脸的多个照片进行选择；
特征向量提取单元405，用于通过深度学习模型提取所述人脸图片的人脸特征向量；
属性提取单元406，用于提取所述人脸图片中的人脸属性；
在线聚类单元407，用于将所述人脸特征向量分配到预设的第一人脸簇库中，得到更新后的第二人脸簇库；对所述第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇库；
分类单元408，用于按照所述人脸属性对所述第三人脸簇库中所有人脸簇的特征向量进行分类，以给所述第三人脸簇库中所有人脸簇的特征向量标识上不同类别的标签；
其中，所述人脸属性包括年龄、性别、脸型类别、胡子类别、眼睛类别、眉毛类别、鼻子类别、嘴型类别。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种在线人脸聚类的方法，其特征在于，包括：
对原始视频的图像帧进行人脸检测，得到人脸图片；
通过深度学习模型提取所述人脸图片的人脸特征向量；
提取所述人脸图片中的人脸属性；
将所述人脸特征向量分配到预设的第一人脸簇库中，得到更新后的第二人脸簇库，包括：将所述人脸特征向量分别与所述第一人脸簇库中所有人脸簇的簇中心计算欧氏距离，确定与所述人脸特征向量的欧氏距离最小的第一人脸簇；判断所述第一人脸簇中是否存在与所述人脸特征向量对应的人脸位于同一图像帧且不属于同一人脸的特征向量；若不存在，则将所述人脸特征向量分配到所述第一人脸簇；若存在，则在所述第一人脸簇库中创建第二人脸簇，将所述人脸特征向量分配到所述第二人脸簇；
对所述第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇库，包括：计算所述第二人脸簇库中任意一个人脸簇的簇容量，所述任意一个人脸簇的簇中心为M维向量，M为正整数，若第i维度的簇容量大于预设容量阈值，则将所述任意一个人脸簇的簇中心在所述第i维度分别加上和减去超参数，以得到第一分裂人脸簇的簇中心和第二分裂人脸簇的簇中心，其中，i为不大于M的正整数；计算所述任意一个人脸簇中所有特征向量分别与所述第一分裂人脸簇的簇中心和所述第二分裂人脸簇的簇中心的欧氏距离；按照最小欧式距离将所述任意一个人脸簇中所有特征向量分配到所述第一分裂人脸簇或者所述第二分裂人脸簇；或者，计算所述第二人脸簇库中任意两个人脸簇的簇中心的欧氏距离；若所述任意两个人脸簇的簇中心的欧氏距离小于预设距离阈值，则对所述任意两个人脸簇进行合并，以得到合并人脸簇，其中，计算所述合并人脸簇的簇中心的公式为：
Figure FDA0003739993150000011
其中，zab为所述合并人脸簇的簇中心，na和nb分别为所述任意两个人脸簇中特征向量的个数，za和zb分别为所述任意两个人脸簇的簇中心；
按照所述人脸属性对所述第三人脸簇库中所有人脸簇的特征向量进行分类，以给所述第三人脸簇库中所有人脸簇的特征向量标识上不同类别的标签；
其中，所述人脸属性包括年龄、性别、脸型类别、胡子类别、眼睛类别、眉毛类别、鼻子类别、嘴型类别。
2.根据权利要求1所述的方法，其特征在于，所述第二人脸簇库中有N个人脸簇，N为正整数，所述计算所述任意一个人脸簇分别在M个维度的簇容量的公式为：
Figure FDA0003739993150000021
其中，δij为第j个人脸簇在第i维度的簇容量，nj为第j个人脸簇中特征向量的个数，xi为特征向量在第i维度的值，zij为第j个人脸簇的簇中心在第i维度的值，j为不大于N的正整数。
3.根据权利要求1所述的方法，其特征在于，所述对原始视频的图像帧进行人脸检测之前，包括：
获取监控装置的原始视频；
对所述原始视频进行解码得到所述原始视频的图像帧。
4.根据权利要求3所述的方法，其特征在于，所述对原始视频的图像帧进行人脸检测之后，包括：
对检测到的人脸进行跟踪；
对跟踪过程得到的所述人脸的多个照片进行选择。
5.一种在线人脸聚类的系统，其特征在于，所述系统包括：
检测单元，用于对原始视频的图像帧进行人脸检测，得到人脸图片；
特征向量提取单元，用于通过深度学习模型提取所述人脸图片的人脸特征向量；
属性提取单元，用于提取所述人脸图片中的人脸属性；
在线聚类单元，用于将所述人脸特征向量分配到预设的第一人脸簇库中，得到更新后的第二人脸簇库，包括：将所述人脸特征向量分别与所述第一人脸簇库中所有人脸簇的簇中心计算欧氏距离，确定与所述人脸特征向量的欧氏距离最小的第一人脸簇；判断所述第一人脸簇中是否存在与所述人脸特征向量对应的人脸位于同一图像帧且不属于同一人脸的特征向量；若不存在，则将所述人脸特征向量分配到所述第一人脸簇；若存在，则在所述第一人脸簇库中创建第二人脸簇，将所述人脸特征向量分配到所述第二人脸簇；
所述在线聚类单元，还用于对所述第二人脸簇库中的人脸簇进行分裂或者合并，得到更新后的第三人脸簇库，包括：计算所述第二人脸簇库中任意一个人脸簇的簇容量，所述任意一个人脸簇的簇中心为M维向量，M为正整数，若第i维度的簇容量大于预设容量阈值，则将所述任意一个人脸簇的簇中心在所述第i维度分别加上和减去超参数，以得到第一分裂人脸簇的簇中心和第二分裂人脸簇的簇中心，其中，i为不大于M的正整数；计算所述任意一个人脸簇中所有特征向量分别与所述第一分裂人脸簇的簇中心和所述第二分裂人脸簇的簇中心的欧氏距离；按照最小欧式距离将所述任意一个人脸簇中所有特征向量分配到所述第一分裂人脸簇或者所述第二分裂人脸簇；或者，计算所述第二人脸簇库中任意两个人脸簇的簇中心的欧氏距离；若所述任意两个人脸簇的簇中心的欧氏距离小于预设距离阈值，则对所述任意两个人脸簇进行合并，以得到合并人脸簇，其中，计算所述合并人脸簇的簇中心的公式为：
Figure FDA0003739993150000031
其中，zab为所述合并人脸簇的簇中心，na和nb分别为所述任意两个人脸簇中特征向量的个数，za和zb分别为所述任意两个人脸簇的簇中心；
分类单元，用于按照所述人脸属性对所述第三人脸簇库中所有人脸簇的特征向量进行分类，以给所述第三人脸簇库中所有人脸簇的特征向量标识上不同类别的标签；其中，所述人脸属性包括年龄、性别、脸型类别、胡子类别、眼睛类别、眉毛类别、鼻子类别、嘴型类别。
6.根据权利要求5所述的系统，其特征在于，还包括：
视频解码单元，用于获取监控装置的原始视频，对所述原始视频进行解码得到所述原始视频的图像帧；
跟踪单元，用于对检测到的人脸进行跟踪；
选择单元，用于对跟踪过程得到的所述人脸的多个照片进行选择。
CN201910434590.1A 2019-05-23 2019-05-23 一种在线人脸聚类的方法及系统 Active CN110232331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910434590.1A CN110232331B (zh) 2019-05-23 2019-05-23 一种在线人脸聚类的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910434590.1A CN110232331B (zh) 2019-05-23 2019-05-23 一种在线人脸聚类的方法及系统

Publications (2)

Publication Number Publication Date
CN110232331A CN110232331A (zh) 2019-09-13
CN110232331B true CN110232331B (zh) 2022-09-27

Family

ID=67861555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910434590.1A Active CN110232331B (zh) 2019-05-23 2019-05-23 一种在线人脸聚类的方法及系统

Country Status (1)

Country Link
CN (1) CN110232331B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020232697A1 (zh) * 2019-05-23 2020-11-26 深圳大学 一种在线人脸聚类的方法及系统
CN111242040B (zh) * 2020-01-15 2022-08-02 佳都科技集团股份有限公司 一种动态人脸聚类方法、装置、设备和存储介质
CN111310725A (zh) * 2020-03-13 2020-06-19 恒睿(重庆)人工智能技术研究院有限公司 一种对象识别方法、系统、机器可读介质及设备
CN111797691A (zh) * 2020-06-03 2020-10-20 力引万物(深圳)科技有限公司 提高人脸识别准确率的方法及处理子系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824053A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种人脸图像的性别标注方法及人脸性别检测方法
CN104252616A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 人脸标注方法、装置及设备
CN105809189A (zh) * 2016-03-02 2016-07-27 中国科学院遥感与数字地球研究所 时间序列影像处理方法
CN106778501A (zh) * 2016-11-21 2017-05-31 武汉科技大学 基于压缩跟踪与ihdr增量学习的视频人脸在线识别方法
CN107729815A (zh) * 2017-09-15 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN109447112A (zh) * 2018-09-21 2019-03-08 深圳市深网视界科技有限公司 一种人像聚类方法、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093212B (zh) * 2013-01-28 2015-11-18 北京信息科技大学 基于人脸检测和跟踪截取人脸图像的方法和装置
CN109003028B (zh) * 2018-07-17 2022-05-27 北京百度网讯科技有限公司 用于划分物流区域的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252616A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 人脸标注方法、装置及设备
CN103824053A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种人脸图像的性别标注方法及人脸性别检测方法
CN105809189A (zh) * 2016-03-02 2016-07-27 中国科学院遥感与数字地球研究所 时间序列影像处理方法
CN106778501A (zh) * 2016-11-21 2017-05-31 武汉科技大学 基于压缩跟踪与ihdr增量学习的视频人脸在线识别方法
CN107729815A (zh) * 2017-09-15 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN109447112A (zh) * 2018-09-21 2019-03-08 深圳市深网视界科技有限公司 一种人像聚类方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN110232331A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN110232331B (zh) 一种在线人脸聚类的方法及系统
US10915741B2 (en) Time domain action detecting methods and system, electronic devices, and computer storage medium
US10049262B2 (en) Method and system for extracting characteristic of three-dimensional face image
Wang et al. Isolated sign language recognition with grassmann covariance matrices
JP4273359B2 (ja) 年齢推定システム及び年齢推定方法
US10140508B2 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
US20170161591A1 (en) System and method for deep-learning based object tracking
EP3229171A1 (en) Method and device for determining identity identifier of human face in human face image, and terminal
CN104680121B (zh) 一种人脸图像的处理方法及装置
CN112381782B (zh) 人脸图像质量评估方法、装置、计算机设备及存储介质
WO2012013711A2 (en) Semantic parsing of objects in video
US11126827B2 (en) Method and system for image identification
Xian et al. Evaluation of low-level features for real-world surveillance event detection
CN107392105B (zh) 一种基于反向协同显著区域特征的表情识别方法
Paul et al. Extraction of facial feature points using cumulative histogram
CN107103311A (zh) 一种连续手语的识别方法及其装置
KR20150089370A (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
CN115497124A (zh) 身份识别方法和装置及存储介质
WO2020232697A1 (zh) 一种在线人脸聚类的方法及系统
CN108647629A (zh) 一种图像识别定位方法、视频中图像轨迹识别方法和装置
CN112749605A (zh) 身份识别方法、系统和设备
Al-agha et al. Geometric-based feature extraction and classification for emotion expressions of 3D video film
Karungaru et al. Face recognition in colour images using neural networks and genetic algorithms
CN115115976A (zh) 视频处理方法、装置、电子设备及存储介质
Gurkan et al. Evaluation of human and machine face detection using a novel distinctive human appearance dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant