CN111832522B - 人脸数据集的构建方法、系统及计算机可读存储介质 - Google Patents
人脸数据集的构建方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111832522B CN111832522B CN202010713730.1A CN202010713730A CN111832522B CN 111832522 B CN111832522 B CN 111832522B CN 202010713730 A CN202010713730 A CN 202010713730A CN 111832522 B CN111832522 B CN 111832522B
- Authority
- CN
- China
- Prior art keywords
- data
- face
- face data
- feature
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 59
- 238000005192 partition Methods 0.000 claims abstract description 201
- 230000004927 fusion Effects 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000002372 labelling Methods 0.000 claims abstract description 44
- 238000001514 detection method Methods 0.000 claims description 47
- 239000013598 vector Substances 0.000 claims description 22
- 238000009432 framing Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000013499 data model Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸数据集的构建方法、系统及计算机可读存储介质，该方法的步骤包括：获取视频数据源，基于视频数据源确定各个时间分区中的人脸数据，并基于人脸数据提取视频数据源中对应的特征信息和属性信息；基于特征信息和属性信息确定各个时间分区中人脸数据对应的标注数据，并基于各个标注数据确定各个时间分区对应的融合特征；基于融合特征确定各个时间分区中的共同数据类，并基于共同数据类构建人脸数据对应的人脸数据集。本发明通过获取视频数据源，确定人脸数据、特征信息和属性信息，基于特征信息和属性信息确定各个时间分区中标注数据和融合特征，从而构建人脸数据集，从而提升了人脸数据集构建效率、以及人脸数据的多样性。
Description
技术领域
本发明涉及人脸标注识别领域，尤其涉及视频流的人脸检测、提取、聚类标注等技术领域，尤其涉及一种人脸数据集的构建方法、系统及计算机可读存储介质。
背景技术
目前人脸数据集构建方法主要有网络名人的人脸数据集构建方法和固定受试者的人脸数据集构建方法，固定受试者的人脸数据集构建方法主要是在封闭式受限环境下，针对特定的任务而构建的，这种方法构建的人脸数据集中人脸数据规模小、构建周期长以及耗费成本高。网络名人的人脸数据集构建方法中的人脸数据主要来源于明星、运动员等其他公众人物，可通过爬虫技术获取人脸数据构建人脸数据集，但是通过爬虫技术爬取的人脸数据质量差别大、筛选成本较高，由此可知，目前人脸数据集构建方法的构建效率低、以及人脸数据的多样性低。
发明内容
本发明的主要目的在于提供一种人脸数据集的构建方法、系统及计算机可读存储介质，旨在解决目前人脸数据集构建方法的构建效率低、以及人脸数据的多样性低的技术问题。
为实现上述目的，本发明提供一种人脸数据集的构建方法，所述人脸数据集的构建方法包括以下步骤：
获取视频数据源，基于所述视频数据源确定各个时间分区中的人脸数据，并基于所述人脸数据提取所述视频数据源中对应的特征信息和属性信息；
基于所述特征信息和所述属性信息确定各个所述时间分区中人脸数据对应的标注数据，并基于各个所述标注数据确定各个所述时间分区对应的融合特征；
基于所述融合特征确定各个所述时间分区中的共同数据类，并基于所述共同数据类构建所述人脸数据对应的人脸数据集。
可选地，所述基于所述融合特征确定各个所述时间分区中的共同数据类，并基于所述共同数据类构建所述人脸数据对应的人脸数据集的步骤包括：
在各个所述时间分区中获取相邻时间分区，并在所述融合特征中确定所述相邻时间分区对应的第一融合特征和第二融合特征；
基于所述第一融合特征和所述第二融合特征将所述相邻时间分区对应的人脸数据进行区间聚类，确定所述相邻时间分区对应的共同数据类；
获取所述共同数据类的候选结果，基于所述候选结果构建所述人脸数据对应的人脸数据集。
可选地，所述获取所述共同数据类的候选结果，基于所述候选结果构建所述人脸数据对应的人脸数据集的步骤包括：
获取所述共同数据类的候选结果，并通过第一预设检测方式检测所述候选结果是否为预设候选结果；
若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则通过预设构建方式构建所述人脸数据对应的人脸数据集。
可选地，所述若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则通过预设构建方式构建所述人脸数据对应的人脸数据集的步骤包括
若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则获取所述共同数据类中的各个第一人脸数据，并检测在各个所述第一人脸数据中是否存在第一目标人脸数据，其中，所述第一目标人脸数据对应的数据个数是否大于预设个数；
若检测到存在所述第一目标人脸数据，则确定所述第一目标人脸数据对应的属性，并将各个所述第一目标人脸数据进行整理并标注，构建所述人脸数据对应的人脸数据集。
可选地，所述基于所述特征信息和所述属性信息确定各个所述时间分区中人脸数据对应的标注数据，并基于各个所述标注数据确定各个所述时间分区对应的融合特征的步骤包括：
基于所述属性信息将所述特征信息进行属性划分，得到各个所述时间分区对应的各个属性分区，基于各个所述属性分区确定对应的第三融合特征；
基于各个所述第三融合特征确定第四融合特征，并基于所述第四融合特征将各个所述时间分区中的人脸数据进行区内聚类标注，得到各个所述时间分区对应的标注数据；
通过第二预设检测方式检测所述标注数据的数据特性，基于检测结果调整各个所述时间分区对应的标注数据，基于调整后的标注数据确定各个所述时间分区对应的融合特征。
可选地，所述基于各个所述属性分区确定对应的第三融合特征的步骤包括：
将各个所述属性分区中的各个所述特征信息进行两两对比，得到对应的相似度，并检测所述相似度是否大于或者等于预设相似度阈值；
若检测到所述相似度大于或者等于所述预设相似度阈值，则获取所述相似度对应的第一特征信息的第一特征编号和第二特征信息的第二特征编号，得到特征编号对；
将各个所述属性分区中的各个所述特征编号对进行串接，得到各个所述属性分区对应的特征类，基于所述特征类确定第三融合特征。
可选地，所述基于所述第四融合特征将各个所述时间分区中的人脸数据进行区内聚类标注，得到各个所述时间分区对应的标注数据的步骤包括：
基于所述第四融合特征获取各个所述时间分区中的第三特征信息，以及获取所述第三特征信息对应第三特征编号，并基于各个所述第三特征编号确定各个所述时间分区中的第二人脸数据；
将各个所述时间分区中的第二人脸数据进行区内聚类，并将区内聚类后的各个所述第二人脸数据标注为同类序列，得到各个所述时间分区对应的标注数据。
可选地，所述获取视频数据源，基于所述视频数据源确定各个时间分区中的人脸数据，并基于所述人脸数据提取所述视频数据源中对应的特征信息和属性信息的步骤包括：
获取所述视频数据源，间隔预设帧数截取所述视频数据源，得到所述视频数据源对应的分帧数据，并检测各个所述时间分区中的各个所述分帧数据是否存在目标分帧数据，其中，所述目标分帧数据中包含有人脸图像；
若检测到存在所述目标分帧数据，则基于所述目标分帧数据确定所述视频数据源中各个所述时间分区的各个人脸数据，并将各个所述人脸数据输入预设数据模型中，得到各个所述人脸数据对应的质量分值；
检测在各个所述人脸数据中是否存在第二目标人脸数据，其中所述第二目标人脸数据对应的质量分值大于或者等于预设分数值；
若检测到存在所述第二目标人脸数据，则基于所述第二目标人脸数据提取所述视频数据源中对应的特征信息和属性信息。
此外，为实现上述目的，本发明还提供一种人脸数据集的构建系统，所述人脸数据集的构建系统包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的人脸数据集的构建程序，所述人脸数据集的构建程序被所述处理器完成时实现如上所述的人脸数据集的构建方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸数据集的构建程序，所述人脸数据集的构建程序被处理器完成时实现如上所述的人脸数据集的构建方法的步骤。
本发明实现通过获取视频数据源，然后基于视频数据源确定对应的人脸数据，并基于人脸数据提取视频数据源中对应的特征信息和属性信息，基于特征信息和属性信息确定各个时间分区中人脸数据对应的标注数据，并基于各个标注数据确定各个时间分区对应的融合特征，基于融合特征确定各个时间分区中的共同数据类，并基于共同数据类构建人脸数据对应的人脸数据集。由此可知，本发明在确定人脸数据的过程中，通过获取视频数据源，基于视频数据源确定对应的人脸数据的，在视频数据源中包含有人脸各种姿态、人脸连贯动作信息和人脸各异表情等等，从而提升了基于视频数据源得到的人脸数据的多样性。在构建人脸数据集的过程中，是基于特征信息和属性信息，确定各个时间分区中人脸数据对应的标注数据，并基于各个标注数据确定各个时间分区对应的融合特征和各个时间分区中的共同数据类，最后基于共同数据类构建人脸数据对应的人脸数据集的，由此可知，通过特征信息和属性信息进行人脸数据标注，从而节省了人工成本。按照各个时间分区对人脸数据进行标注，基于各个时间分区中标注数据进行构建人脸数据对应的人脸数据集，从而减少了标注的时间，从而提升了人脸数据集构建的构建效率。
附图说明
图1是本发明人脸数据集的构建方法第一实施例的流程示意图；
图2是本发明人脸数据集的构建方法第一实施例的高维人脸特征向量示意图；
图3是本发明人脸数据集的构建方法第一实施例的聚类标注流程示意图；
图4是本发明人脸数据集的构建方法第一实施例的同类特征融合过程示意图；
图5是本发明人脸数据集的构建方法第一实施例的构建人脸集流程示意图；
图6是本发明人脸数据集的构建方法第二实施例的人脸数据获取流程示意图；
图7是本发明人脸数据集的构建装置较佳的结构示意图；
图8是本发明实施例方案涉及的硬件运行环境的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种人脸数据集的构建方法，参照图1至图5，图1为本发明人脸数据集的构建方法第一实施例的流程示意图；图2是本发明人脸数据集的构建方法第一实施例的高维人脸特征向量示意图；图3是本发明人脸数据集的构建方法第一实施例的聚类标注流程示意图；图4是本发明人脸数据集的构建方法第一实施例的同类特征融合过程示意图；图5是本发明人脸数据集的构建方法第一实施例的构建人脸集流程示意图；图6是本发明人脸数据集的构建方法第二实施例的人脸数据获取流程示意图。
本发明实施例提供了人脸数据集的构建方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。
人脸数据集的构建方法包括:
步骤S10，获取视频数据源，基于所述视频数据源确定各个时间分区中的人脸数据，并基于所述人脸数据提取所述视频数据源中对应的特征信息和属性信息。
数据构建系统通过无线网络获取各个场景服务器中的视频数据源，然后将视频数据源每隔预设帧数截取一次，得到视频数据源中对应帧数的视频图像，接着每隔预设时间长度保存一次截取的所有视频图像，得到各个时间分区的视频图像，再接着通过预设检测方式检测各个时间分区中的各个视频图像是否存在人脸特征，若检测到存在人脸特征，数据构建系统则将包含有人脸特征对应的视频图像进行保存，若检测到不存在人脸特征，数据构建系统将不包含有人脸特征对应的视频图像删除，最后将各个时间分区中包含有人脸特征的视频图像进行剪裁，得到各个时间分区中的人脸数据，最后将各个时间分区中的人脸数据通过深度学习网络，提取到各个时间分区中各个人脸数据对应的特征信息和属性信息。
其中，各个场景包括但不限制于商场、地铁站、火车站和机场。预设帧数和预设时间长度可根据实际情况设定，本实施例不作限制。视频数据源的视频格式包括但不限制于RMVB(可变比特率)格式、MPEG(Moving Picture Experts Group，动态图像专家组)格式和AVI(Audio Video Interleaved，音频视频交错格式)格式。预设检测方式包括但不限制于人工辅助检测方式、系统智能检测方式和dlib(机器学习算法呼入图像处理工具类库)人脸检测库检测方式。视频图像即为人脸数据的原始图像数据。人脸数据是以人脸图像的形式保存的，人脸数据的数据格式包括但不限制于JPEG(Joint Photographic Experts Group，连续色调静止图像)格式、BMP(位图)格式和PNG(无损压缩位图格式)格式。特征信息是高维人脸特征向量，参考图2，图2本实施例的高维人脸特征向量示意图。属性信息包括但不限制于质量分值、性别、是否戴眼镜、倾斜角和发型。
需要说明的是，在本实施例中，主要是构建亚洲人的人脸数据集，因此在获取视频数据源时，选择亚洲人的视频数据作为视频数据源。
步骤S20，基于所述特征信息和所述属性信息确定各个所述时间分区中人脸数据对应的标注数据，并基于各个所述标注数据确定各个所述时间分区对应的融合特征。
数据构建系统根据属性信息中的人脸属性将特征信息划分到不同的属性分区中，将同一个属性分区中相似的特征信息进行合并，并将同一个时间分区中相似的特征信息进行合并，然后再将不同时间分区中相似的特征信息进行合并，再将合并后的特征信息进行标注，得到各个时间分区中人脸数据对应的标注数据，最后检测各个标注数据的数据类型，根据检测结果确定是否需要将标注数据再次合并，计算合并后的标注数据，得到对应的融合特征。
进一步地，所述步骤S20包括：
步骤a，基于所述属性信息将所述特征信息进行属性划分，得到各个所述时间分区对应的各个属性分区，基于各个所述属性分区确定对应的第三融合特征；
步骤b，基于各个所述第三融合特征确定第四融合特征，并基于所述第四融合特征将各个所述时间分区中的人脸数据进行区内聚类标注，得到各个所述时间分区对应的标注数据；
步骤c，通过第二预设检测方式检测所述标注数据的数据特性，基于检测结果调整各个所述时间分区对应的标注数据，基于调整后的标注数据确定各个所述时间分区对应的融合特征。
具体地，参考图3，图3是本实施例的聚类标注流程示意图，数据构建系统根据属性信息中的人脸属性将特征信息划分到不同的属性分区中，得到各个时间分区对应的各个属性分区，然后将同一时间分区中各个属性分区的特征信息进行对比，将各个属性分区中的同一类特征信息进行合并，得到第一合并特征编号，接着根据共同特征编号将所有第一合并特征编号进行串接，得到各个属性分区中不同类的特征信息，最后计算各个属性分区中各类特征信息得到第三融合特征。数据构建系统得到同一时间分区中各个属性分区的第三融合特征后，将同一个时间分区中的所有第三融合特征进行对比，将同一时间分区中的同一类第三融合特征进行合并，得到第二合并特征编号，接着根据共同特征编号将所有第二合并特征编号进行串接，得到同一时间分区中不同类的第三融合特征，最后计算同一时间分区中各类第三融合特征得到第四融合特征，根据第四融合特征将同一时间分区中的同一类人脸数据进行同类标注，得到各个时间分区对应的标注数据，并将同类标注数据保存到同一个文件。数据构建系统得到同一时间分区中的第四融合特征后，通过预设检测方式检测各个时间分区中标注数据中的数据特性，检测标注数据中的数据为多人混一类或者一人分多类，根据检测结果调整各个时间分区中的标注数据，最后计算得到调整后标注数据的融合特征。
其中，特征编号是特征数据的身份标识，每个特征信息都有其唯一固定的特征编号，特征编号的变现方式包括但不限制于字母和数字。需要说明的是，同一属性分区中的所有人脸属性都相同。属性分区是指Spark(基于内存计算的大数据并行计算框架)分布式计算框架的分区。
进一步地，多人混一类检测主要根据图片空间关系和人脸属性规则来对每一类人脸数据进行检测，筛选出可能的混入类。具体的检测规则如下，第一类规则为若同一原始图像数据中多个人脸数据聚类为一个人脸数据，则确定聚类结果存在多人混一类现象。第二类规则为若人脸数据的最早出现和最晚出现的时间间隔大于设定时间范围，则很大概率确定存在多人混一类现象。第三类规则为若同一类人脸数据的人脸属性存在差异的时，则很大概率确定存在多人混一类现象，通过检测为多人混一类，则将人脸数据分开。需要说明的是，第一类规则为确定规则，即若确定属于第一类规则时，则肯定为多人混一类。第二类规则和第三类规则是可能规则，即若确定属于第二类规则或者第三类规则时，只是很大概率确定是多人混一类，并不能完全确定。
进一步地，一人分多类检测通过获取人脸数据中的特征信息，计算每类人脸数据的融合特征，通过设定多个预设相似度阈值调整再次聚类标注，输出同一人脸数据的多类结果，根据输出的候选结果进行人工判别，将实际为一类的进行合并。
进一步地，所述步骤a包括：
步骤d，将各个所述属性分区中的各个所述特征信息进行两两对比，得到对应的相似度，并检测所述相似度是否大于或者等于预设相似度阈值；
步骤e，若检测到所述相似度大于或者等于所述预设相似度阈值，则获取所述相似度对应的第一特征信息的第一特征编号和第二特征信息的第二特征编号，得到特征编号对；
步骤f，将各个所述属性分区中的各个所述特征编号对进行串接，得到各个所述属性分区对应的特征类，基于所述特征类确定第三融合特征。
具体地，数据构建系统将各个所述属性分区中的各个特征信息进行两两对比，得到对应的相似度，然后检测相似度是否大于或者等于预设相似度阈值，若检测到相似度大于或者等于所述预设相似度阈值，数据构建系统则获取该相似度对应的第一特征信息的第一特征编号和第二特征信息的第二特征编号，将第一特征编号和第二特征编号进行合并，得到特征编号对，接着将各个属性分区中的各个特征编号对进行串接，得到各个属性分区对应的特征类，通过预设计算方式计算各个属性分区中的特征类，得到第三融合特征。其中，预设相似度阈值根据实际情况设定，本实施例不作限制。预设计算方式包括但不限制于加权求和、相乘求积和相除求商。
进一步地，基于第三融合特征确定第四融合特征的方法和本实施例的方法一样。参考图4，图4是本实施例的同类特征融合过程示意图，即计算融合特征的过程，以每类中所有特征信息的加权平均值作为融合特征，每一个特征信息的权重都是相同的，都为1。
在本实施例中，比如，预设相似度阈值为0.92，特征编号的变现形式为英文字母，在一属性分区内有特征编号分别为a、b和c等等的特征信息，分别为特征信息a、特征信息b和特征信息c等等，其中，数据构建系统对比特征信息a和特征信息b，得到的相似度为0.3，对比特征信息a和特征信息c得到的相似度为0.95，则将则特征编号a和c进行合并，得到特征编号对(a，c)。在该属性分区还有其他的特征编号对为(b，f)、(c，e)、(d，f)和(a，g)，数据构建系统将(a，c)、(b，f)、(c，e)、(d，f)和(a，g)进行串接，得到两个特征类S1{a，c，e，g}和S2{b，d，f}，并计算特征类S1的融合特征为f1，f1等于(a+c+e+g)/4，计算特征类S2的融合特征为f2，f2等于(b+d+f)/3。
进一步地，所述步骤b包括：
步骤g，基于所述第四融合特征获取各个所述时间分区中的第三特征信息，以及获取所述第三特征信息对应第三特征编号，并基于各个所述第三特征编号确定各个所述时间分区中的第二人脸数据；
步骤h，将各个所述时间分区中的第二人脸数据进行区内聚类，并将区内聚类后的各个所述第二人脸数据标注为同类序列，得到各个所述时间分区对应的标注数据。
具体地，数据构建系统在得到第四融合特征后，根据第四融合特征中的各个特征信息在各个时间分区中获取对应的第三特征信息，并获取第三特征信息对应的第三特征编号，根据第三特征编号在各个时间分区中获取对应的第二人脸数据，将各个时间分区中的第二人脸数据进行聚类，将同一类的第二人脸数据标注为同类序列，得到各个时间分区对应的标注数据，并将同类标注数据保存到同一个文件。
步骤S30，基于所述融合特征确定各个所述时间分区中的共同数据类，并基于所述共同数据类构建所述人脸数据对应的人脸数据集。
数据构建系统获取各个时间分区的融合特征，将各个时间分区的融合特征进行对比，得到各个时间分区的融合特征对应的相似度，根据相似度和预设相似度阈值确定各个时间分区中的共同数据类，然后检测共同数据类的个数是否为一类，若检测到共同数据类的个数为一类，则将共同数据类中的融合特征进行合并，构建人脸数据对应的人脸数据集。
进一步地，所述步骤S30包括：
步骤i，在各个所述时间分区中获取相邻时间分区，并在所述融合特征中确定所述相邻时间分区对应的第一融合特征和第二融合特征；
步骤j，基于所述第一融合特征和所述第二融合特征将所述相邻时间分区对应的人脸数据进行区间聚类，确定所述相邻时间分区对应的共同数据类；
步骤k，获取所述共同数据类的候选结果，基于所述候选结果构建所述人脸数据对应的人脸数据集。
具体地，数据构建系统在各个时间分区中获取连续且相邻的两个时间分区，并将相邻的两个时间分区进行分区组合，然后在融合特征中确定该相邻的两个时间分区对应的第一融合特征和第二融合特征，将第一融合特征和第二融合特征进行对比，得到对应的相似度，并设定多个预设相似度阈值，通过该相似度和多个预设相似度阈值进行比较，确定第一融合特征和第二融合特征对应的共同数据类，然后检测共同数据类的候选结果，根据候选结果确定是否需要再次合并第一融合特征和第二融合中的人脸数据，构建人脸数据对应的人脸数据集。
需要说明的是在现实场景中，一个人在某一摄像头前的活动时间一般在一分钟以内，若时间分区以分钟级别(如2分钟、5分钟等)划分，大部分都在两个分区内。若一个人在摄像头前长时间逗留，可能跨连续两个或者两个以上的时间分区，可以通过时间分区间的连续性解决。例如：时间分区a、时间分区b和时间分区c为三个连续时间分区，时间分区a内的a1类和时间分区b内的b2类相似，时间分区b内的b2类与时间分区c内的c3内相似，若三者通过预设检测方式检测为同一类，数据构建系统则将a1、b2和c3人脸数据进行聚类。
进一步地，所述步骤k包括：
步骤l，获取所述共同数据类的候选结果，并通过第一预设检测方式检测所述候选结果是否为预设候选结果；
步骤m，若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则通过预设构建方式构建所述人脸数据对应的人脸数据集。
具体地，数据构建系统获取共同数据类的候选结果，并通过第一预设检测方式检测候选结果是否为预设候选结果，若通过检测到候选结果为预设候选结果，数据构建系统则确定第一融合特征和第二融合特征为同一类，则将第一融合特征和第二融合特征的共同数据类进行合并，构建人脸数据集。其中，预设候选结果根据需求设定，本实施例不作限制。需要说明的是，在本实施例中，预设候选结果可为两个或者两个以上融合特征为同一类。
进一步地，所述步骤m包括：
步骤n，若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则获取所述共同数据类中的各个第一人脸数据，并检测在各个所述第一人脸数据中是否存在第一目标人脸数据，其中，所述第一目标人脸数据对应的数据个数是否大于预设个数；
步骤o，若检测到存在所述第一目标人脸数据，则确定所述第一目标人脸数据对应的属性，并将各个所述第一目标人脸数据进行整理并标注，构建所述人脸数据对应的人脸数据集。
具体地，数据构建系统若检测到候选结果为预设候选结果，则获取共同数据类中的各个第一人脸数据，并检测在各个第一人脸数据中是否存在数据个数大于预设个数的第一目标人脸数据，若检测到存在第一目标人脸数据，数据构建系统则确定第一目标人脸数据对应的属性，并将各个第一目标人脸数据进行重新命名，然后指定各个第一目标人脸数据的存储路径，最后以人脸数据名、人脸数据存储路径、人脸数据类别和人脸属性的格式标注人脸数据，构建人脸数据对应的人脸数据集。其中，人脸数据的命名方式可自行定义。存储路径包括但不限制于服务器或分布式文件系统。
进一步地，参照图5，图5是本实施例的构建人脸集流程示意图，数据构建系统先获取视频数据源(数据流)，然后通过对视频数据进行数据分帧(视频人脸预处理)，得到人脸数据，然后将人脸数据通过特征提取模型和属性提取模型(图片服务器)提取特征信息(高维特征向量)和属性信息，将特征信息和属性信息通过区内聚类标注和预设检测方式(区内人工辅助检测)得到标注数据，接着计算标注数据的融合特征，在通过区间聚类标注和区间人工辅助检测将融合特征再次聚类，最后合并人脸数据(合并归类)，构建人脸数据集(归档数据集)。
本实施例实现通过获取视频数据源，然后基于视频数据源确定对应的人脸数据，并基于人脸数据提取视频数据源中对应的特征信息和属性信息，基于特征信息和属性信息确定各个时间分区中人脸数据对应的标注数据，并基于各个标注数据确定各个时间分区对应的融合特征，基于融合特征确定各个时间分区中的共同数据类，并基于共同数据类构建人脸数据对应的人脸数据集。由此可知，本发明在确定人脸数据的过程中，通过获取视频数据源，基于视频数据源确定对应的人脸数据的，在视频数据源中包含有人脸各种姿态、人脸连贯动作信息和人脸各异表情等等，从而提升了基于视频数据源得到的人脸数据的多样性。在构建人脸数据集的过程中，是基于特征信息和属性信息，确定各个时间分区中人脸数据对应的标注数据，并基于各个标注数据确定各个时间分区对应的融合特征和各个时间分区中的共同数据类，最后基于共同数据类构建人脸数据对应的人脸数据集的，由此可知，通过特征信息和属性信息进行人脸数据标注，从而节省了人工成本。按照各个时间分区对人脸数据进行标注，基于各个时间分区中标注数据进行构建人脸数据对应的人脸数据集，从而减少了标注的时间，从而提升了人脸数据集构建的构建效率。
进一步地，提出本发明人脸数据集的构建方法第二实施例。
所述人脸数据集的构建方法第二实施例与所述人脸数据集的构建方法第一施例的区别在于，所述人脸数据集的构建方法还包括：
进一步地，所述步骤S10包括：
步骤p，获取所述视频数据源，间隔预设帧数截取所述视频数据源，得到所述视频数据源对应的分帧数据，并检测各个所述时间分区中的各个所述分帧数据是否存在目标分帧数据，其中，所述目标分帧数据中包含有人脸图像；
步骤q，若检测到存在所述目标分帧数据，则基于所述目标分帧数据确定所述视频数据源中各个所述时间分区的各个人脸数据，并将各个所述人脸数据输入预设数据模型中，得到各个所述人脸数据对应的质量分值；
步骤r，检测在各个所述人脸数据中是否存在第二目标人脸数据，其中所述第二目标人脸数据对应的质量分值大于或者等于预设分数值；
步骤s，若检测到存在所述第二目标人脸数据，则基于所述第二目标人脸数据提取所述视频数据源中对应的特征信息和属性信息。
具体地，参照图6，图6为本实施例的人脸数据获取流程示意图，数据构建系统通过无线网络获取各个场景服务器中的视频数据源(视频数据流)，通过预设时间长度将视频数据源分成多个时间分区的视频数据源，然后通过opencv(基于BSD(Berkeley SoftwareDistribution，伯克利软件套件)跨平台计算机视觉和机器学习软件库)间隔预设帧数截取一次各个时间分区中的视频数据源，得到各个时间分区中视频数据源对应的分帧数据(分帧图像)，基于时间分区对应的视频帧数和预设帧数，并通过预设计算公式计算时间分区分帧数据的数据个数，并将分帧数据按照截取的时间先后顺序进行编号，接着通过dlib人脸检测库在各个时间分区的分帧数据中检测是否包含有人脸图像(人脸区域)的目标分帧数据，若检测到该目标分帧数据，数据构建系统则将该目标分帧数据从分帧数据中提取，得到各个时间分区的目标分帧数据，并将截取(裁剪保存)出目标分帧数据中的人脸图像，得到各个时间分区的人脸数据(人脸图片集)，再接着将各个时间分区中的人脸数据输入特征提取模型和属性提取模型，得到各个人脸数据对应的质量分值，以及特征信息和属性信息，并在各个质量分值中检测是否存在质量分值大于或者等于预设分值，若在各个质量分值中检测到存在质量分值大于或者等于预设分值，数据构建系统则在各个时间分区中的人脸数据将质量分值大于或者等于预设分值对应的第二目标人脸数据提取出来，将质量分值小于预设分值对应的人脸数据删除，最后提取各个第二目标人脸数据对应的特征信息和属性信息，将提取后的特征信息和属性信息确定为视频数据源中的特征信息和属性信息。其中，视频帧数即视频数据源的数据长度。预设分值和预设计算公式可根据需求设定，本实施例不作限制。特征提取模型和属性提取模型是预先根据需求训练的，本实施例不作限制。
需要说明的是，在输入特征提取模型和属性提取模型后得到属性信息是除去质量分值之外的人脸属性。
在本实施例中，比如，预设时间长度为2分钟，视频数据源的长度为10分钟，数据构建系统则将视频数据源分成5个时间分区，每个时间分区对应的视频数据源的时间长度为2分钟。再比如，数据格式为JPEG，预设时间长度即时间分区T为2分钟，预设帧数i为5，视频帧数v为100，数据构建系统则根据v/i的计算公式得到时间分区T为2分钟内分帧数据的数据个数s为20，并按照时间的先后顺序将分帧数据进行编码，得到image-1.jpg、image-2.jpg、image-3.jpg至image-20.jpg。
本实施例通过获取视频数据源，间隔预设帧数截取视频数据源，得到视频数据源对应的分帧数据，并检测各个时间分区中的各个分帧数据是否存在目标分帧数据，其中，目标分帧数据中包含有人脸图像，若检测到存在目标分帧数据，则基于目标分帧数据确定视频数据源中各个时间分区的各个人脸数据，并将各个人脸数据输入预设数据模型中，得到各个人脸数据对应的质量分值，检测在各个人脸数据中是否存在第二目标人脸数据，其中第二目标人脸数据对应的质量分值大于或者等于预设分数值，若检测到存在第二目标人脸数据，则基于第二目标人脸数据提取视频数据源中对应的特征信息和属性信息。由此可知，本实施例通过获取各个场景的视频数据源，截图视频数据源中包包含人脸图像的人脸数据，然后通过将人脸数据输入特征提取模型和属性提取模型中，根据质量分值确定第二目标人脸数据，然后确定第二目标人脸数据对应的特征信息和属性信息，从而丰富了人脸姿态和表情，再者通过使用人脸的空间和属性信息进行人脸检测，从而提升了人脸数据的多样性，以及提升了人脸数据集构建的构建效率。
此外，本发明还提供一种人脸数据集的构建装置，参照图7，所述人脸数据集的构建装置包括：
获取模块10，用于获取视频数据源；
确定模块20，用于基于所述视频数据源确定各个时间分区中的人脸数据；
提取模块30，用于基于所述人脸数据提取所述视频数据源中对应的特征信息和属性信息；
所述确定模块20还用于基于所述特征信息和所述属性信息确定各个所述时间分区中人脸数据对应的标注数据，并基于各个所述标注数据确定各个所述时间分区对应的融合特征；基于所述融合特征确定各个所述时间分区中的共同数据类；
构建模块40，用于基于所述共同数据类构建所述人脸数据对应的人脸数据集。
进一步地，所述获取模块10还用于在各个所述时间分区中获取相邻时间分区；
所述确定模块20还用于在所述融合特征中确定所述相邻时间分区对应的第一融合特征和第二融合特征。
进一步地，所述构建模块40还包括：
聚类单元，用于基于所述第一融合特征和所述第二融合特征将所述相邻时间分区对应的人脸数据进行区间聚类，确定所述相邻时间分区对应的共同数据类。
进一步地，所述获取模块10还用于获取所述共同数据类的候选结果；
所述构建模块40还用于基于所述候选结果构建所述人脸数据对应的人脸数据集。
进一步地，所述获取模块10还用于获取所述共同数据类的候选结果。
进一步地，所述构建模块40还包括：
第一检测单元，用于通过第一预设检测方式检测所述候选结果是否为预设候选结果。
进一步地，所述构建模块40还用于若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则通过预设构建方式构建所述人脸数据对应的人脸数据集。
进一步地，所述获取模块10还用于若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则获取所述共同数据类中的各个第一人脸数据；
所述第一检测单元还用于检测在各个所述第一人脸数据中是否存在第一目标人脸数据，其中，所述第一目标人脸数据对应的数据个数是否大于预设个数；
所述确定模块20还用于若检测到存在所述第一目标人脸数据，则确定所述第一目标人脸数据对应的属性；
所述构建模块40还用于将各个所述第一目标人脸数据进行整理并标注，构建所述人脸数据对应的人脸数据集。
进一步地，所述确定模块20还包括：
划分单元，用于基于所述属性信息将所述特征信息进行属性划分，得到各个所述时间分区对应的各个属性分区。
进一步地，所述确定模块20还用于基于各个所述属性分区确定对应的第三融合特征；基于各个所述第三融合特征确定第四融合特征。
进一步地，所述确定模块20还包括：
标注单元，用于基于所述第四融合特征将各个所述时间分区中的人脸数据进行区内聚类标注，得到各个所述时间分区对应的标注数据；
第二检测单元，用于通过第二预设检测方式检测所述标注数据的数据特性；
调整单元，用于基于检测结果调整各个所述时间分区对应的标注数据。
进一步地，所述确定模块20还用于基于调整后的标注数据确定各个所述时间分区对应的融合特征。
进一步地，所述确定模块20还包括：
对比单元，用于将各个所述属性分区中的各个所述特征信息进行两两对比，得到对应的相似度；
第三检测单元，用于检测所述相似度是否大于或者等于预设相似度阈值。
进一步地，所述获取模块10还用于若检测到所述相似度大于或者等于所述预设相似度阈值，则获取所述相似度对应的第一特征信息的第一特征编号和第二特征信息的第二特征编号，得到特征编号对。
进一步地，所述确定模块20还包括：
串接单元，用于将各个所述属性分区中的各个所述特征编号对进行串接，得到各个所述属性分区对应的特征类。
进一步地，所述确定模块20还用于基于所述特征类确定第三融合特征。
进一步地，所述获取模块10还用于基于所述第四融合特征获取各个所述时间分区中的第三特征信息，以及获取所述第三特征信息对应第三特征编号；
所述确定模块20还用于基于各个所述第三特征编号确定各个所述时间分区中的第二人脸数据；
所述聚类单元还用于将各个所述时间分区中的第二人脸数据进行区内聚类；
所述标注单元还用于将区内聚类后的各个所述第二人脸数据标注为同类序列，得到各个所述时间分区对应的标注数据。
进一步地，所述获取模块10还用于获取所述视频数据源。
进一步地，所述确定模块20还包括：
截取单元，用于间隔预设帧数截取所述视频数据源，得到所述视频数据源对应的分帧数据；
第四检测单元，用于检测各个所述时间分区中的各个所述分帧数据是否存在目标分帧数据，其中，所述目标分帧数据中包含有人脸图像。
进一步地，所述确定模块20还用于若检测到存在所述目标分帧数据，则基于所述目标分帧数据确定所述视频数据源中各个所述时间分区的各个人脸数据。
进一步地，所述提取模块30还包括：
输入单元，用于将各个所述人脸数据输入预设数据模型中，得到各个所述人脸数据对应的质量分值；
第五检测单元，用于检测在各个所述人脸数据中是否存在第二目标人脸数据，其中所述第二目标人脸数据对应的质量分值大于或者等于预设分数值。
进一步地，所述提取模块30还用于若检测到存在所述第二目标人脸数据，则基于所述第二目标人脸数据提取所述视频数据源中对应的特征信息和属性信息。
本发明基于人脸数据集的构建装置具体实施方式与上述基于人脸数据集的构建方法各实施例基本相同，在此不再赘述。
此外，本发明还提供一种人脸数据集的构建系统。如图8所示，图8是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图8即可为人脸数据集的构建系统的硬件运行环境的结构示意图。
如图8所示，该人脸数据集的构建系统可以包括：处理器1001，例如CPU(CentralProcessing Unit，中央处理器)，存储器1005，用户接口1003，网络接口1004，通信总线1002。通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(board)，可选用户接口1003还可以包括标准的有线接口(如USB(Universal Serial Bus，通用串行总线)接口)、无线接口(如蓝牙接口)。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI((Wireless-Fidelity))接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，人脸数据集的构建系统还可以包括RF(Radio Frequency，射频)电路，传感器、WiFi模块等等。
本领域技术人员可以理解，图8中示出的人脸数据集的构建系统结构并不构成对人脸数据集的构建系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作设备、网络通信模块、用户接口模块以及人脸数据集的构建程序。其中，操作设备是管理和控制人脸数据集的构建系统硬件和软件资源的程序，支持人脸数据集的构建程序以及其它软件或程序的运行。
在图所示的人脸数据集的构建系统中，用户接口1003主要用于PC电脑，以供用户通过人工辅助检测人脸数据；网络接口1004主要用于数据构建系统，以与PC电脑进行数据通信；处理器1001可以用于调用存储器1005中存储的人脸数据集的构建程序，并完成如上所述的人脸数据集的构建系统的控制方法的步骤。
本发明人脸数据集的构建系统具体实施方式与上述人脸数据集的构建方法各实施例基本相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸数据集的构建程序，所述人脸数据集的构建程序被处理器完成时实现如上所述的人脸数据集的构建方法的步骤。
本发明计算机可读存储介质具体实施方式与上述人脸数据集的构建方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的数据下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多数据下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件货物的形式体现出来，该计算机软件货物存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台人脸数据集的构建系统完成本发明各个实施例所述的方法。
Claims (9)
1.一种人脸数据集的构建方法，其特征在于，所述人脸数据集的构建方法包括以下步骤：
获取视频数据源，基于所述视频数据源确定各个时间分区中的人脸数据，并基于所述人脸数据提取所述视频数据源中对应的人脸特征向量和属性信息；
基于所述人脸特征向量和所述属性信息确定各个所述时间分区中人脸数据对应的标注数据，并基于各个所述标注数据确定各个所述时间分区对应的融合特征；
基于所述融合特征确定各个所述时间分区中的共同数据类，并基于所述共同数据类构建所述人脸数据对应的人脸数据集；
所述基于所述人脸特征向量和所述属性信息确定各个所述时间分区中人脸数据对应的标注数据，并基于各个所述标注数据确定各个所述时间分区对应的融合特征的步骤包括：
基于所述属性信息将所述人脸特征向量进行属性划分，得到各个所述时间分区对应的各个属性分区，基于各个所述属性分区确定对应的第三融合特征；
基于各个所述第三融合特征确定第四融合特征，并基于所述第四融合特征将各个所述时间分区中的人脸数据进行区内聚类标注，得到各个所述时间分区对应的标注数据；
通过第二预设检测方式检测所述标注数据的数据特性，基于检测结果调整各个所述时间分区对应的标注数据，基于调整后的标注数据确定各个所述时间分区对应的融合特征；
所述基于各个所述属性分区确定对应的第三融合特征的步骤包括：
将各个所述属性分区中的人脸特征向量进行对比，并将各个所述属性分区中的同一类人脸特征向量进行合并，得到第一合并特征编号；
将所述第一合并特征编号进行串联，得到各个所述属性分区中各类人脸特征向量；
计算各个所述属性分区中各类人脸特征向量，得到所述第三融合特征；
所述基于各个所述第三融合特征确定第四融合特征的步骤包括：
将同一时间分区中的所述第三融合特征进行对比，并将所述同一时间分区中的同一类第三融合特征进行合并，得到第二合并特征编号；
将所述第二合并特征编号进行串联，得到所述同一时间分区中各类第三融合特征；
计算所述同一时间分区中各类第三融合特征，得到所述第四融合特征；
其中，所述基于调整后的标注数据确定各个所述时间分区对应的融合特征是以每类中所有人脸特征向量的加权平均值作为融合特征，每一个人脸特征向量的权重都是相同的，都为1。
2.如权利要求1所述的人脸数据集的构建方法，其特征在于，所述基于所述融合特征确定各个所述时间分区中的共同数据类，并基于所述共同数据类构建所述人脸数据对应的人脸数据集的步骤包括：
在各个所述时间分区中获取相邻时间分区，并在所述融合特征中确定所述相邻时间分区对应的第一融合特征和第二融合特征；
基于所述第一融合特征和所述第二融合特征将所述相邻时间分区对应的人脸数据进行区间聚类，确定所述相邻时间分区对应的共同数据类；
获取所述共同数据类的候选结果，基于所述候选结果构建所述人脸数据对应的人脸数据集。
3.如权利要求2所述的人脸数据集的构建方法，其特征在于，所述获取所述共同数据类的候选结果，基于所述候选结果构建所述人脸数据对应的人脸数据集的步骤包括：
获取所述共同数据类的候选结果，并通过第一预设检测方式检测所述候选结果是否为预设候选结果；
若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则通过预设构建方式构建所述人脸数据对应的人脸数据集。
4.如权利要求3所述的人脸数据集的构建方法，其特征在于，所述若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则通过预设构建方式构建所述人脸数据对应的人脸数据集的步骤包括：
若通过所述第一预设检测方式检测到候选结果为所述预设候选结果，则获取所述共同数据类中的各个第一人脸数据，并检测在各个所述第一人脸数据中是否存在第一目标人脸数据，进一步地，判断所述第一目标人脸数据对应的数据个数是否大于预设个数；
若检测到存在所述第一目标人脸数据，则确定所述第一目标人脸数据对应的属性，并将各个所述第一目标人脸数据进行整理并标注，构建所述人脸数据对应的人脸数据集。
5.如权利要求1所述的人脸数据集的构建方法，其特征在于，所述基于各个所述属性分区确定对应的第三融合特征的步骤包括：
将各个所述属性分区中的各个所述人脸特征向量进行两两对比，得到对应的相似度，并检测所述相似度是否大于或者等于预设相似度阈值；
若检测到所述相似度大于或者等于所述预设相似度阈值，则获取所述相似度对应的第一人脸特征向量的第一特征编号和第二人脸特征向量的第二特征编号，得到特征编号对；
将各个所述属性分区中的各个所述特征编号对进行串接，得到各个所述属性分区对应的特征类，基于所述特征类确定第三融合特征。
6.如权利要求1所述的人脸数据集的构建方法，其特征在于，所述基于所述第四融合特征将各个所述时间分区中的人脸数据进行区内聚类标注，得到各个所述时间分区对应的标注数据的步骤包括：
基于所述第四融合特征获取各个所述时间分区中的第三人脸特征向量，以及获取所述第三人脸特征向量对应第三特征编号，并基于各个所述第三特征编号确定各个所述时间分区中的第二人脸数据；
将各个所述时间分区中的第二人脸数据进行区内聚类，并将区内聚类后的各个所述第二人脸数据标注为同类序列，得到各个所述时间分区对应的标注数据。
7.如权利要求1至6任一项所述的人脸数据集的构建方法，其特征在于，所述获取视频数据源，基于所述视频数据源确定各个时间分区中的人脸数据，并基于所述人脸数据提取所述视频数据源中对应的人脸特征向量和属性信息的步骤包括：
获取所述视频数据源，间隔预设帧数截取所述视频数据源，得到所述视频数据源对应的分帧数据，并检测各个所述时间分区中的各个所述分帧数据是否存在目标分帧数据，其中，所述目标分帧数据中包含有人脸图像；
若检测到存在所述目标分帧数据，则基于所述目标分帧数据确定所述视频数据源中各个所述时间分区的各个人脸数据，并将各个所述人脸数据输入预设数据模型中，得到各个所述人脸数据对应的质量分值；
检测在各个所述人脸数据中是否存在第二目标人脸数据，其中，所述第二目标人脸数据对应的质量分值大于或者等于预设分数值；
若检测到存在所述第二目标人脸数据，则基于所述第二目标人脸数据提取所述视频数据源中对应的人脸特征向量和属性信息。
8.一种人脸数据集的构建系统，其特征在于，所述人脸数据集的构建系统包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的人脸数据集的构建程序，所述人脸数据集的构建程序被所述处理器完成时实现如权利要求1至7中任一项所述的人脸数据集的构建方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸数据集的构建程序，所述人脸数据集的构建程序被处理器完成时实现如权利要求1至7中任一项所述的人脸数据集的构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010713730.1A CN111832522B (zh) | 2020-07-21 | 2020-07-21 | 人脸数据集的构建方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010713730.1A CN111832522B (zh) | 2020-07-21 | 2020-07-21 | 人脸数据集的构建方法、系统及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832522A CN111832522A (zh) | 2020-10-27 |
| CN111832522B true CN111832522B (zh) | 2024-02-27 |
Family
ID=72926433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010713730.1A Active CN111832522B (zh) | 2020-07-21 | 2020-07-21 | 人脸数据集的构建方法、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832522B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108319888A (zh) * | 2017-01-17 | 2018-07-24 | 阿里巴巴集团控股有限公司 | 视频类型的识别方法及装置、计算机终端 |
| CN109684913A (zh) * | 2018-11-09 | 2019-04-26 | 长沙小钴科技有限公司 | 一种基于社区发现聚类的视频人脸标注方法和系统 |
| CN109948447A (zh) * | 2019-02-21 | 2019-06-28 | 山东科技大学 | 基于视频图像识别的人物网络关系发现及演化呈现方法 |
| CN110070037A (zh) * | 2019-04-22 | 2019-07-30 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN110443109A (zh) * | 2019-06-11 | 2019-11-12 | 万翼科技有限公司 | 异常行为监控处理方法、装置、计算机设备和存储介质 |
| CN110516586A (zh) * | 2019-08-23 | 2019-11-29 | 深圳力维智联技术有限公司 | 一种人脸图像聚类方法、系统、产品及介质 |
| WO2020037898A1 (zh) * | 2018-08-23 | 2020-02-27 | 平安科技（深圳）有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
| CN111160124A (zh) * | 2019-12-11 | 2020-05-15 | 浙江大学 | 一种基于知识重组的深度模型定制方法 |
| CN111401294A (zh) * | 2020-03-27 | 2020-07-10 | 山东财经大学 | 基于自适应特征融合的多任务人脸属性分类方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10242282B2 (en) * | 2017-03-20 | 2019-03-26 | Conduent Business Services, Llc | Video redaction method and system |
-
2020
- 2020-07-21 CN CN202010713730.1A patent/CN111832522B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108319888A (zh) * | 2017-01-17 | 2018-07-24 | 阿里巴巴集团控股有限公司 | 视频类型的识别方法及装置、计算机终端 |
| WO2020037898A1 (zh) * | 2018-08-23 | 2020-02-27 | 平安科技（深圳）有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
| CN109684913A (zh) * | 2018-11-09 | 2019-04-26 | 长沙小钴科技有限公司 | 一种基于社区发现聚类的视频人脸标注方法和系统 |
| CN109948447A (zh) * | 2019-02-21 | 2019-06-28 | 山东科技大学 | 基于视频图像识别的人物网络关系发现及演化呈现方法 |
| CN110070037A (zh) * | 2019-04-22 | 2019-07-30 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN110443109A (zh) * | 2019-06-11 | 2019-11-12 | 万翼科技有限公司 | 异常行为监控处理方法、装置、计算机设备和存储介质 |
| CN110516586A (zh) * | 2019-08-23 | 2019-11-29 | 深圳力维智联技术有限公司 | 一种人脸图像聚类方法、系统、产品及介质 |
| CN111160124A (zh) * | 2019-12-11 | 2020-05-15 | 浙江大学 | 一种基于知识重组的深度模型定制方法 |
| CN111401294A (zh) * | 2020-03-27 | 2020-07-10 | 山东财经大学 | 基于自适应特征融合的多任务人脸属性分类方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Rajeev Ranjan等.A Fast and Accurate System for Face Detection,Identification, and Verification.《arXiv》.2018,第1-16页. * |
| 人脸智能:从技术概念到商用落地;吕超;《中国安防》(第3期);第51-55页 * |
| 基于深度学习的动态人脸识别方法;何元烈 等;《计算机工程与设计》;第40卷(第11期);第3299-3305页 * |
| 遮挡人脸检测方法研究进展;刘淇缘 等;《计算机工程与设计》;第56卷(第13期);第33-46页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832522A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10915741B2 (en) | Time domain action detecting methods and system, electronic devices, and computer storage medium | |
| US20220230420A1 (en) | Artificial intelligence-based object detection method and apparatus, device, and storage medium | |
| US9679201B2 (en) | Semantic parsing of objects in video | |
| CN103824053B (zh) | 一种人脸图像的性别标注方法及人脸性别检测方法 | |
| EP2568429A1 (en) | Method and system for pushing individual advertisement based on user interest learning | |
| US20140257995A1 (en) | Method, device, and system for playing video advertisement | |
| Avgerinakis et al. | Recognition of activities of daily living for smart home environments | |
| JP5067310B2 (ja) | 字幕領域抽出装置、字幕領域抽出方法および字幕領域抽出プログラム | |
| CN109829428B (zh) | 基于改进YOLOv2的视频图像行人检测方法及系统 | |
| CN111814620A (zh) | 人脸图像质量评价模型建立方法、优选方法、介质及装置 | |
| CN110232331B (zh) | 一种在线人脸聚类的方法及系统 | |
| CN105183758A (zh) | 一种连续记录视频、影像的内容识别方法 | |
| CN112232199A (zh) | 基于深度学习的佩戴口罩检测方法 | |
| US20210201090A1 (en) | Method and apparatus for image processing and image classification | |
| CN112084812B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN113301382B (zh) | 视频处理方法、设备、介质及程序产品 | |
| CN111832522B (zh) | 人脸数据集的构建方法、系统及计算机可读存储介质 | |
| US20220076005A1 (en) | Person authentication apparatus, control method, and non-transitory storage medium | |
| US11749021B2 (en) | Retrieval device, control method, and non-transitory storage medium | |
| CN113627542A (zh) | 一种事件信息处理方法、服务器及存储介质 | |
| CN113709584A (zh) | 视频划分方法、装置、服务器、终端及存储介质 | |
| US10810744B2 (en) | Image processing device, image processing method and image processing program | |
| KR20200005853A (ko) | 심층 구조 학습 기반 사람 계수 방법 및 시스템 | |
| US11954145B2 (en) | Methods, systems, and media for image searching | |
| Srividhya et al. | Deep Learning based Telugu Video Text Detection using Video Coding Over Digital Transmission |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |