CN112488072A - 一种人脸样本集获取方法、系统及设备 - Google Patents
一种人脸样本集获取方法、系统及设备 Download PDFInfo
- Publication number
- CN112488072A CN112488072A CN202011520727.4A CN202011520727A CN112488072A CN 112488072 A CN112488072 A CN 112488072A CN 202011520727 A CN202011520727 A CN 202011520727A CN 112488072 A CN112488072 A CN 112488072A
- Authority
- CN
- China
- Prior art keywords
- face
- picture
- character
- objects
- face picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000002372 labelling Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 52
- 238000005286 illumination Methods 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 description 8
- 230000036544 posture Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸样本集获取方法、系统及设备，本发明通过分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，获得每个人物对象的最终人脸图片集，提取每个人物对象最终人脸图片集中的人脸特征并进行标注，得到人脸样本集。本发明实施例在获得人脸样本集的过程中不需要人为参与，通过计算人脸图片间的相似度对人脸图片集进行合并以及通过对人脸特征提取从而实现对每个对象的人脸图片进行标注，减轻手工标注的人力成本，提高了图像的标注效率。
Description
技术领域
本发明涉及人脸识别领域，尤其涉及一种人脸样本集获取方法、系统及设备。
背景技术
目前，随着互联网和手机终端的快速发展，互联网已经渗透入人们生活的方方面面之中。在短视频软件层出不穷的情况下，越来越多的人民群众开始热衷于发布自己的生活短视频到网络端，这对人脸识别而言是个巨大的机遇，若能够充分的利用这些海量的网络资源，将其应用到人脸识别的数据集中的话，对于人脸识别技术的提升具有重要的意义。
人脸识别作为当前安防领域的关键技术，对于识别准确率有着很高的要求。当前主流的人脸识别技术都是基于深度学习方法，使用卷积神经网络训练出一个特征提取器，最后计算人脸之间的距离，进而判断人脸是否匹配。人脸识别的高准确率非常依赖于大批量的人脸数据，但使用人工处理大量的人脸数据，标注成本非常昂贵，而当前短视频的蓬勃发展给人脸数据的采集提供了极大的便利，若能够充分的利用短视频的数据，并结合人脸相关的算法自动化生成人脸图片样本，将有利于人脸识别技术的发展。
目前对人脸进行标注的方法通常为以下几种：
1)在固定环境下，拍摄人脸各种不同的角度以及表情。
对于人脸数据的采集，通常依赖于固定的视频录制设备，在同样的环境下录制多姿态人脸，保存成一个视频，并利用人脸检测算法提取该视频中的人脸样本，生成一个新的ID，此方法适用于少量数据的情形。
2)在开放环境下，人员配合监控设备进行拍摄。
在真实的监控环境下，一个或多个人员在该场景下模拟规定的动作，对人脸数据进行采集，之后再对监控视频进行人工标注。
3)图片搜索引擎检索名人脸数据，或从影视视频中截取。
在各大搜索引擎下载网络上的名人明星图片或影视作品，这是目前公开数据集常用方案。
然而，目前的人脸标注方法具有以下不足：
固定环境下的方案对于人脸的采集环境太过单一，难以满足实际场景中复杂环境的影响；并且录制的人脸大小固定，难以满足实际场景中对于人脸的多尺度需求；对于人脸的姿态、角度变化不够丰富，导致大量的相似人脸样本。
开放场景下的方案需要耗费巨大的人力物力资源，且数据集制作周期很长。
搜索引擎检索方案下载的名人明星图片与实际场景的图片差别很大，会影响最终的人脸识别模型的泛化能力。
发明内容
本发明提供了一种人脸样本集获取方法、系统及设备，本发明在获得人脸样本集的过程中不需要人为参与，减轻手工标注的人力成本，提高了图像的标注效率。
为了解决上述技术问题，本发明实施例提供了一种人脸样本集获取方法，包括以下步骤：
分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集；其中，所述视频集包括多个短视频；每个第一对象图像合集包括多个人物对象各自对应的人脸图片集；
根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的多张人脸图片；
分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。
优选的，分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集的具体过程如下：
对每个短视频中的每一帧进行人脸检测，得到每一帧中每个人物的人脸框；
提取每个短视频中每一帧中每个人物的人脸框的人脸特征，采用人脸跟踪算法对每个短视频中每一帧的人脸特征进行跟踪，将在同一短视频内跟踪到的具有相同人脸特征的每一帧保存为同一人物对象的人脸图片集，得到每个短视频对应的第一对象脸图片合集。
优选的，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集的具体过程如下：
计算每个短视频第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，当任意一个人物对象对应的人脸图片集与其他人物对象对应的人脸图片集的相似度大于预先设置的第一阈值时，则将此两个人物对象所对应的人脸图片集进行合并；
计算所有短视频中各个人物对象所对应的人脸图片集之间的相似度，当不同短视频之间任意两个人物对象所对应的人脸图片集之间的相似度大于预先设置的第二阈值时，将此两个人物对象所对应的人脸图片集作为同一人物对象对应的子集进行合并，当所有短视频中的各个人物对象都完成合并时，得到每个人物对象对应的第二对象图片合集。
优选的，所述人脸图片集之间的相似度为人脸图片集之间的余弦距离。
优选的，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集的具体过程为：
从每个人物对象对应的第二对象图片合集中选择出人脸图片数目最多的子集，将其作为每个人物对象的最终人脸图片集。
优选的，分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集的具体过程为：
分别采用人脸姿态估计算法、人脸属性识别算法以及人脸区域明度算法提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，根据提取到的人脸特征，依次将每一张人脸图片标记为难样本或易样本，从而获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集
优选的，人脸姿态估计算法用于提取出每一张人脸图片的人脸是正脸还是侧脸；人脸属性识别算法用于提取出每一张人脸图片的人脸性别、表情、是否戴口罩以及是否戴墨镜；人脸区域明度算法用于计算出每一张人脸图片的明度平均值，根据明度平均值判定该人脸图片是否为强光照人脸或低光照人脸。
优选的，若每个对象的最终人脸图片集中的人脸图片具有侧脸、戴口罩、戴墨镜、强光照人脸以及低光照人脸其中一个特征，则将该人脸图片标记为难样本，否则标记为易样本。
为了进一步对本发明的方案进行说明，本发明还提供了一种人脸样本集获取系统，包括图片合集生成模块、合并模块以及标注模块；
图片合集生成模块用于分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集；其中，所述视频集包括多个短视频；每个第一对象图像合集包括多个人物对象各自对应的人脸图片集；
合并模块用于根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，从而获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的人脸图片；
标注模块用于分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。
为了进一步对本发明的方案进行说明，本发明还提供了一种人脸样本集获取设备，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的一种人脸样本集获取方法。
相比于现有技术，本发明实施例具有如下有益效果：
1、本发明通过分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，获得每个人物对象的最终人脸图片集，提取每个人物对象最终人脸图片集中的人脸特征并进行标注，得到人脸样本集。本发明实施例在获得人脸样本集的过程中不需要人为参与，通过计算人脸图片间的相似度对人脸图片集进行合并以及通过对人脸特征提取从而实现对每个对象的人脸图片进行标注，减轻手工标注的人力成本，提高了图像的标注效率。
2、本发明实施例在对每个对象的人脸图片的进行标注过程中，通过人脸姿态估计算法、人脸属性识别算法以及人脸区域明度算法提取出每一张人脸图片的特征，包括每一张人脸是正脸还是侧脸，每一张人脸图片的人脸性别、表情、是否戴口罩以及是否戴墨镜，每一张人脸图片是否为强光照人脸或低光照人脸；从而能够对每张人脸图片进行更细粒度的划分，大大提高了人脸图片标注的准确性。
附图说明
图1：为本发明实施例提供的一种人脸样本集获取方法、系统及设备的方法流程图。
图2：为本发明实施例根据关键词从网络中下载的短视频的示例图。
图3：为本发明实施例单个人物对象的人脸图片集生成示例图。
图4：为本发明实施例不同人物对象的合并策略示意图。
图5：为本发明实施例不同视频之间的合并策略示意图。
图6：为本发明实施例提供的一种人脸样本集获取方法、系统及设备的方法流程图。
图7：为本发明实施例得到每个人物对象的最终人脸图片集的示意图。
图8：为本发明实施例提取出每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并对每一张人脸图片进行标注的流程图。
图9：为本发明实施例提供的一种人脸样本集获取方法、系统及设备的系统结构图。
图10：为本发明实施例提供的一种人脸样本集获取方法、系统及设备的设备框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的一种人脸样本集获取方法，所述方法适用于预先根据关键词从网络中下载的短视频，需要进一步说明的是，由于短视频平台中的短视频类型多样复杂，以下列举几种情形：
有的短视频平台用户多数录制第一人称视角的作品，此为首选数据；
有的短视频平台用户会自导自演，拍小型电视剧，人数较多，但人员较为固定，此为备选数据；
有的短视频平台用户只拍摄别人或只拍摄风景，极少自拍，此为不需要的数据；
有的短视频平台用户只转发视频，视频大多数跟最近热点相关，涉及最近的国家大事、热门话题、明星轶事等，此为需要进行清洗的数据；
有的短视频平台用户喜欢发表动漫、游戏相关的视频，此为较难清洗的数据。
因此在下载视频之前，需要确定短视频内容的类型，从而在一定程度上过滤掉大部分多数不需要的短视频，在本实施例中，根据关键词预先从网络中下载多个短视频，如图2所示。
本发明实施例提供的一种人脸样本集获取方法，包括以下步骤：
S101：由于每个短视频是都由一组连续的帧序列组成，因此，对短视频的处理可以转化为对短视频的每一帧进行处理；首先，分别对视频集中每个短视频的每一帧进行人脸检测，若不存在人脸，则跳至下一帧，由于短视频可能不仅限于单张人脸，因此需要使用跟踪算法对多个人物对象进行跟踪，根据跟踪的人物对象建立子文件夹，子文件夹保存目标人物对象所对应的人脸图片，至此单个视频被转化为不同人物对象各自对应的人脸图片集，如图3所示，从而得到该短视频对应的第一对象图片合集；
S102：然而，对于多个人物对象所对应的人脸图片集并不唯一，即短视频有别于监控视频最重要的一点是短视频的画面不具有连续性，短视频存在多个视频视角的交叉切换，跟踪算法受到极大的影响，导致同一人物对象所对应的人脸图片集由于视频画面的转换被分成不同人物对象所对应的人脸图片集。因此，需要对多个不同人物对象对应的人脸图片集进行合并，通过计算每个短视频中每每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的多张人脸图片，如图4、图5所示。
S103：在得到每个对象的最终人脸图片集后，分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。
本发明实施例通过分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，获得每个人物对象的最终人脸图片集，提取每个人物对象最终人脸图片集中的人脸特征并进行标注，得到人脸样本集。本发明实施例在获得人脸样本集的过程中不需要人为参与，通过计算人脸图片间的相似度对人脸图片集进行合并以及通过对人脸特征提取从而实现对每个对象的人脸图片进行标注，减轻手工标注的人力成本，提高了图像的标注效率。
实施例二
请参照图6，为本发明实施例提供的一种人脸样本集获取方法，所述方法适用于预先根据关键词从网络中下载的多个短视频，包括以下步骤：
S201：由于每个短视频是都由一组连续的帧序列组成，因此，对短视频的处理可以转化为对短视频的每一帧进行处理；首先，分别对视频集中每个短视频的每一帧进行人脸检测，若不存在人脸，则跳至下一帧，由于短视频可能不仅限于单张人脸，因此需要使用跟踪算法对多个人物对象进行跟踪，根据跟踪的人物对象建立子文件夹，子文件夹保存目标人物对象所对应的人脸图片，至此单个视频被转化为不同人物对象各自对应的人脸图片集，如图3所示，从而得到该短视频对应的第一对象图片合集；
需要进一步说明的是，分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集的具体过程如下：
对每个短视频中的每一帧进行人脸检测，得到每一帧中每个人物的人脸框；
人脸检测算法可采用现有的人脸检测算法，常见的人脸检测算法基本是一个“扫描”加“判别”的过程，即算法在图像范围内扫描，再逐个判定候选区域是否是人脸的过程。因此人脸检测算法的计算速度会跟图像尺寸、图像内容相关。在本实施例中，可以通过设置“输入图像尺寸”、或“最小脸尺寸限制”、或“人脸数量上限”的方式来加速算法。在本实施例中，基于深度学习的方法训练人脸检测算法(如MTCNN，CenterFace，LFFD等)。通过读取每个短视频的每一帧，对每一帧进行预处理，并输入至人脸检测算法模型中，人脸检测算法模型输出每一帧中的人脸坐标(左上角[x1、y1]坐标和右下角[x2、y2]坐标)和该人脸的置信度。
提取每个短视频中每一帧中每个人物的人脸框的人脸特征，采用人脸跟踪算法对每个短视频中每一帧的人脸特征进行跟踪，将在同一短视频内跟踪到的具有相同人脸特征的每一帧保存为同一人物对象的人脸图片集，得到每个短视频对应的第一对象脸图片合集。需要进一步说明的是，在本实施例中，使用ResNet系列骨干网络训练人脸特征提取器，检测上一步中每一帧中每个人物的人脸框并进行预处理，将每个人物的人脸框的像素(包含人脸的像素)输入至人脸特征提取模型中，该人脸特征提取模型自动提取人脸的特征，输出为一个固定维度的特征向量。
S202：然而，对于多个人物对象所对应的人脸图片集并不唯一，即短视频有别于监控视频最重要的一点是短视频的画面不具有连续性，短视频存在多个视频视角的交叉切换，跟踪算法受到极大的影响，导致同一人物对象所对应的人脸图片集由于视频画面的转换被分成不同人物对象所对应的人脸图片集。因此，需要对多个不同人物对象对应的人脸图片集进行合并，通过计算每个短视频中每每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，从每个人物对象对应的第二对象图片合集中选择出人脸图片数目最多的子集，将其作为每个人物对象的最终人脸图片集，如图7所示，其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的多张人脸图片；
需要进一步说明的是，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集的具体过程如下：
计算每个短视频第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，当任意一个人物对象对应的人脸图片集与其他人物对象对应的人脸图片集的相似度大于预先设置的第一阈值时，则将此两个人物对象所对应的人脸图片集进行合并；
计算所有短视频中各个人物对象所对应的人脸图片集之间的相似度，当不同短视频之间任意两个人物对象所对应的人脸图片集之间的相似度大于预先设置的第二阈值时，将此两个人物对象所对应的人脸图片集作为同一人物对象对应的子集进行合并，当所有短视频中的各个人物对象都完成合并时，得到每个人物对象对应的第二对象图片合集。
用来表征人脸之间的距离有欧式距离和余弦相似度，本实施例中以余弦相似度举例，余弦相似度，也称为余弦距离，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。当两个向量直接的夹角θ趋向0时，两个向量越接近，差异就越小。此时cosθ≈1，即越接近1值时，说明人脸越相似。在本实施例中，将将每个人物对象所对应的人脸图片集之间的余弦距离作为相似度，余弦距离计算如下：
其中，A、B分别表示同一人脸图片集中A图片的人脸特征以及B图片的人脸特征，i为图片的第i个特征维度，n为图片的特征维度。
S203：在得到每个对象的最终人脸图片集后，分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。
需要进一步说明的是，分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集的具体过程为：
分别采用人脸姿态估计算法、人脸属性识别算法以及人脸区域明度算法提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，根据提取到的人脸特征，依次将每一张人脸图片标记为难样本或易样本，从而获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集；
由于每个人物对象的最终人脸图片集可能存在较大的差异性，如不同视频下的拍摄场景不同，光照不一致以及人脸的角度多变性(即正脸与侧脸)等会影响图片集的质量。因此，分别采用如下三种策略对图片进行分类：采用人脸姿态估计算法、人脸属性识别算法以及人脸区域明度算法提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，根据人脸特征将每一张人脸图片标记为难样本或易样本，如图8所示。
其中，人脸姿态估计算法用于提取出每一张人脸图片的人脸是正脸还是侧脸；人脸姿态估计算法，主要用以估计每一张人脸图片的人脸的三维欧拉角。姿态估计可用于许多业务场景，比如在人脸识别系统的中，姿态估计可以辅助进行输入样本的筛选；在一些需要人脸朝向作为重要业务依据的场景中，人脸姿态算法也是不可或缺的，比如疲劳驾驶产品中驾驶员的左顾右盼检测。在本实施例中，提取一张人脸图片的人脸中只包含人脸的图像像素，对只包含人脸的图像像进行预处理，预处理后将其输入至人脸姿态估计模型中，人脸姿态估计模型输出每一张人脸图片的人脸三维欧拉角，基于该角度来对人脸类型进行判断，为正脸或者为侧脸。
人脸姿态估计的算法，其大致可分为两类：一类是通过2D标定信息来估计3D姿态信息的算法，如先计算人脸的关键点，然后选取一个参考系(平均正脸的关键点)，计算关键点和参考系的变换矩阵，然后通过迭代优化的算法来估计人脸的姿态(可参考Opencv中的SolvePnP算法)；另一类就是通过数据驱动的方式训练一个回归器，由该回归器对输入人脸的块进行一个直接的预测。
人脸属性识别算法用于提取出每一张人脸图片的人脸性别、表情、是否戴口罩以及是否戴墨镜；人脸区域明度算法用于计算出每一张人脸图片的明度平均值，根据明度平均值判定该人脸图片是否为强光照人脸或低光照人脸。人脸区域明度算法的具体过程为：
将RGB人脸图片转化为HSV，提取明度V，计算该人脸区域内的明度平均值，计算公式如下：
其中，m代表总像素值，v代表人脸区域的明度，face代表人脸区域的RGB数据，i代表第i个像素。同样地，需要预先设置一个区间表示正常光照下的人脸，小于该区间的下界表示低光照的人脸，大于该区间的上界表示强光照的人脸，并以文件名的形式标注好。
在提取到每个对象的最终人脸图片集中的人脸图片的特征后，若每个人物对象的最终人脸图片集中的人脸图片具有侧脸、戴口罩、戴墨镜、强光照人脸以及低光照人脸其中一个特征，则将该人脸图片标记为难样本，否则标记为易样本。
从而获得每个人物对象对应的人脸样本集，每个人物对象对应的样本集包括有难样本集以及易样本集，继而获得所有人物对象的人脸样本总集。
本发明实施例在对每个对象的人脸图片的进行标注过程中，通过人脸姿态估计算法、人脸属性识别算法以及人脸区域明度算法提取出每一张人脸图片的特征，从而能够对每张人脸图片进行更细粒度的划分，大大提高了人脸图片标注的准确性。
本发明实施例通过分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，获得每个人物对象的最终人脸图片集，提取每个人物对象最终人脸图片集中的人脸特征并进行标注，得到人脸样本集。本发明实施例在获得人脸样本集的过程中不需要人为参与，通过计算人脸图片间的相似度对人脸图片集进行合并以及通过对人脸特征提取从而实现对每个对象的人脸图片进行标注，减轻手工标注的人力成本，提高了图像的标注效率。
实施例三
为了进一步对本发明进行描述，如图9所示，本实施例还提供了一种人脸样本集获取系统，包括图片合集生成模块301、合并模块302以及标注模块303；
图片合集生成模块301用于分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集；其中，所述视频集包括多个短视频；每个第一对象图像合集包括多个人物对象各自对应的人脸图片集；
合并模块302用于根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，从而获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的人脸图片；
标注模块303用于分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。
为了进一步对本发明进行描述，本实施例还提供了一种人脸样本集获取设备，如图10所示，一种人脸样本集获取设备40，所述设备包括处理器400以及存储器401；
所述存储器401用于存储程序代码402，并将所述程序代码402传输给所述处理器；
所述处理器400用于根据所述程序代码402中的指令执行上述的一种人脸样本集获取方法实施例中的步骤。
示例性的，所述计算机程序402可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器401中，并由所述处理器400执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序402在所述终端设备40中的执行过程。
所述终端设备40可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器400、存储器401。本领域技术人员可以理解，图10仅仅是终端设备40的示例，并不构成对终端设备40的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器400可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器401可以是所述终端设备40的内部存储单元，例如终端设备40的硬盘或内存。所述存储器401也可以是所述终端设备40的外部存储设备，例如所述终端设备40上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器401还可以既包括所述终端设备40的内部存储单元也包括外部存储设备。所述存储器401用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器401还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸样本集获取方法，其特征在于，包括：
分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集；其中，所述视频集包括多个短视频；每个第一对象图像合集包括多个人物对象各自对应的人脸图片集；
根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的多张人脸图片；
分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。
2.根据权利要求1所述的一种人脸样本集获取方法，其特征在于，分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集的具体过程如下：
对每个短视频中的每一帧进行人脸检测，得到每一帧中每个人物的人脸框；
提取每个短视频中每一帧中每个人物的人脸框的人脸特征，采用人脸跟踪算法对每个短视频中每一帧的人脸特征进行跟踪，将在同一短视频内跟踪到的具有相同人脸特征的每一帧保存为同一人物对象的人脸图片集，得到每个短视频对应的第一对象脸图片合集。
3.根据权利要求1所述的一种人脸样本集获取方法，其特征在于，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集的具体过程如下：
计算每个短视频第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，当任意一个人物对象对应的人脸图片集与其他人物对象对应的人脸图片集的相似度大于预先设置的第一阈值时，则将此两个人物对象所对应的人脸图片集进行合并；
计算所有短视频中各个人物对象所对应的人脸图片集之间的相似度，当不同短视频之间任意两个人物对象所对应的人脸图片集之间的相似度大于预先设置的第二阈值时，将此两个人物对象所对应的人脸图片集作为同一人物对象对应的子集进行合并，当所有短视频中的各个人物对象都完成合并时，得到每个人物对象对应的第二对象图片合集。
4.根据权利要求3所述的一种人脸样本集获取方法，其特征在于，所述人脸图片集之间的相似度为人脸图片集之间的余弦距离。
5.根据权利要求4所述的一种人脸样本集获取方法，其特征在于，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集的具体过程为：
从每个人物对象对应的第二对象图片合集中选择出人脸图片数目最多的子集，将其作为每个人物对象的最终人脸图片集。
6.根据权利要求1至5任一项所述的一种人脸样本集获取方法，其特征在于，分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集的具体过程为：
分别采用人脸姿态估计算法、人脸属性识别算法以及人脸区域明度算法提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，根据提取到的人脸特征，依次将每一张人脸图片标记为难样本或易样本，从而获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。
7.根据权利要求6所述的一种人脸样本集获取方法，其特征在于，人脸姿态估计算法用于提取出每一张人脸图片的人脸是正脸还是侧脸；人脸属性识别算法用于提取出每一张人脸图片的人脸性别、表情、是否戴口罩以及是否戴墨镜；人脸区域明度算法用于计算出每一张人脸图片的明度平均值，根据明度平均值判定该人脸图片是否为强光照人脸或低光照人脸。
8.根据权利要求7所述的一种人脸样本集获取方法，其特征在于，若每个对象的最终人脸图片集中的人脸图片具有侧脸、戴口罩、戴墨镜、强光照人脸以及低光照人脸其中一个特征，则将该人脸图片标记为难样本，否则标记为易样本。
9.一种人脸样本集获取系统，其特征在于，包括图片合集生成模块、合并模块以及标注模块；
图片合集生成模块用于分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集；其中，所述视频集包括多个短视频；每个第一对象图像合集包括多个人物对象各自对应的人脸图片集；
合并模块用于根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，从而获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的人脸图片；
标注模块用于分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。
10.一种人脸样本集获取设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1至权利要求8中任一项所述的一种人脸样本集获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011520727.4A CN112488072A (zh) | 2020-12-21 | 2020-12-21 | 一种人脸样本集获取方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011520727.4A CN112488072A (zh) | 2020-12-21 | 2020-12-21 | 一种人脸样本集获取方法、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112488072A true CN112488072A (zh) | 2021-03-12 |
Family
ID=74915035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011520727.4A Pending CN112488072A (zh) | 2020-12-21 | 2020-12-21 | 一种人脸样本集获取方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488072A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762200A (zh) * | 2021-09-16 | 2021-12-07 | 深圳大学 | 基于lffd的口罩检测方法 |
| CN114944003A (zh) * | 2022-06-24 | 2022-08-26 | 广联达科技股份有限公司 | 人脸识别方法、装置、计算机设备和可读存储介质 |
| CN116033259A (zh) * | 2022-12-20 | 2023-04-28 | 浙江力石科技股份有限公司 | 生成短视频方法、装置、计算机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503691A (zh) * | 2016-11-10 | 2017-03-15 | 广州视源电子科技股份有限公司 | 一种人脸图片的身份标注方法和装置 |
| CN109190532A (zh) * | 2018-08-21 | 2019-01-11 | 北京深瞐科技有限公司 | 一种基于云边融合的人脸识别方法、装置及系统 |
| CN109598223A (zh) * | 2018-11-26 | 2019-04-09 | 北京洛必达科技有限公司 | 基于视频获取目标人物的方法和装置 |
| CN109684913A (zh) * | 2018-11-09 | 2019-04-26 | 长沙小钴科技有限公司 | 一种基于社区发现聚类的视频人脸标注方法和系统 |
| CN111914649A (zh) * | 2020-07-01 | 2020-11-10 | 珠海大横琴科技发展有限公司 | 人脸识别的方法及装置、电子设备、存储介质 |
-
2020
- 2020-12-21 CN CN202011520727.4A patent/CN112488072A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503691A (zh) * | 2016-11-10 | 2017-03-15 | 广州视源电子科技股份有限公司 | 一种人脸图片的身份标注方法和装置 |
| CN109190532A (zh) * | 2018-08-21 | 2019-01-11 | 北京深瞐科技有限公司 | 一种基于云边融合的人脸识别方法、装置及系统 |
| CN109684913A (zh) * | 2018-11-09 | 2019-04-26 | 长沙小钴科技有限公司 | 一种基于社区发现聚类的视频人脸标注方法和系统 |
| CN109598223A (zh) * | 2018-11-26 | 2019-04-09 | 北京洛必达科技有限公司 | 基于视频获取目标人物的方法和装置 |
| CN111914649A (zh) * | 2020-07-01 | 2020-11-10 | 珠海大横琴科技发展有限公司 | 人脸识别的方法及装置、电子设备、存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762200A (zh) * | 2021-09-16 | 2021-12-07 | 深圳大学 | 基于lffd的口罩检测方法 |
| CN113762200B (zh) * | 2021-09-16 | 2023-06-30 | 深圳大学 | 基于lffd的口罩检测方法 |
| CN114944003A (zh) * | 2022-06-24 | 2022-08-26 | 广联达科技股份有限公司 | 人脸识别方法、装置、计算机设备和可读存储介质 |
| CN116033259A (zh) * | 2022-12-20 | 2023-04-28 | 浙江力石科技股份有限公司 | 生成短视频方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| Rossler et al. | Faceforensics++: Learning to detect manipulated facial images | |
| CN110235138B (zh) | 用于外观搜索的系统和方法 | |
| Ruiz et al. | Fine-grained head pose estimation without keypoints | |
| CN110163079B (zh) | 视频检测方法及装置、计算机可读介质和电子设备 | |
| US8750573B2 (en) | Hand gesture detection | |
| US8792722B2 (en) | Hand gesture detection | |
| US20140257995A1 (en) | Method, device, and system for playing video advertisement | |
| CN112488072A (zh) | 一种人脸样本集获取方法、系统及设备 | |
| CN111209897B (zh) | 视频处理的方法、装置和存储介质 | |
| US20220172476A1 (en) | Video similarity detection method, apparatus, and device | |
| Mahmood et al. | Automatic player detection and identification for sports entertainment applications | |
| CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
| CN109413510B (zh) | 视频摘要生成方法和装置、电子设备、计算机存储介质 | |
| Zhang et al. | Coarse-to-fine object detection in unmanned aerial vehicle imagery using lightweight convolutional neural network and deep motion saliency | |
| US11423630B1 (en) | Three-dimensional body composition from two-dimensional images | |
| CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
| CN112446342A (zh) | 关键帧识别模型训练方法、识别方法及装置 | |
| CN113627402B (zh) | 一种图像识别方法及相关装置 | |
| CN112084812A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| Xu et al. | Identity-constrained noise modeling with metric learning for face anti-spoofing | |
| CN113688839B (zh) | 视频处理方法及装置、电子设备、计算机可读存储介质 | |
| Ranganatha et al. | Development of Robust Multiple Face Tracking Algorithm and Novel Performance Evaluation Metrics for Different Background Video Sequences | |
| CN115457620A (zh) | 用户表情识别方法、装置、计算机设备及存储介质 | |
| CN111507421A (zh) | 一种基于视频的情感识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 510000 Room 601, building a, No. 23, Nanxiang Second Road, Huangpu District, Guangzhou, Guangdong Applicant after: GUANGZHOU HAIGE XINGHANG INFORMATION TECHNOLOGY CO.,LTD. Address before: 510000 room 3009, No.5, Wangjiang 2nd Street, Nansha District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU HAIGE XINGHANG INFORMATION TECHNOLOGY CO.,LTD. |
|
| CB02 | Change of applicant information |