CN108345847B - 一种人脸图像标签数据生成系统及其方法 - Google Patents

Abstract

本发明公开了一种人脸图像标签数据生成系统及其方法，系统包括：若干像素等级的图像采集设备、标签数据生成设备和人脸设备设备，方法包括：通过采集同一人的不同像素等级的人脸数据，进一步筛选出预定数量的清晰人脸帧图像，对筛选出的人脸帧图像提取特征值，进一步与该人的标签数据进行对应存储；在识别人脸时，根据待识别人脸图像的采集设备的设备信息，提供对应像素等级的人脸特征值组进行对比，在对比通过后，输出对应的标签数据。其中，人脸数据和待识别人脸数据为短视频或图片；标签数据为个人身份信息。通过本发明的系统或方法，可彻底解决异源人脸识别精度差的问题，提高现有人脸识别精度，实现对现有安防监控设备的全像素兼容。

Description

一种人脸图像标签数据生成系统及其方法

技术领域

本发明涉及人脸识别领域，尤其是一种人脸图像标签数据生成系统及其方法。

背景技术

经过多年的研究和发展，人脸识别技术已日趋成熟。可以看到，基于深度学习的人脸图像识别系统目前已经广泛应用于金融、安防、身份认证等行业，但是，在我国，成像设备类型特别多，主流的按像素区分：100万像素，200万像素，300万像素，500万像素，700万像素，1000万像素以上等。考虑到存储能力的原因，目前在安防行业，主要是采用200万像素的摄像头居多。

而现有的人脸识别算法，基本上是用同等级像素采集下来的人脸去做动态身份识别，如200万像素摄像头采集下来的人脸，经过模型训练，去识别200万或300万或100万像素的摄像头采集到的人脸，这种同级像素人脸识别准确率非常高，一般定义为同源识别，即识别和被识别摄像头像素差异在2.5倍以内；但如果用200万像素采集下来的人脸训练出的模型去识别1000万像素以上的人脸采集图片，或者用1000万像素成像设备采集下来的人脸，经过模型训练，去识别200万像素安防摄像头，识别准确率都非常低，一般定义为异源识别，即识别和被识别像素差别在2.5倍以上。

经过业界大量的测试，目前同源识别准确率一般在97%以上，而异源识别准确率只有55%以下，在安防行业，人脸识别精度至少大于90%，才有真正意义。解决异源识别准确度低的问题，也是人脸识别在安防行业中的痛点问题。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种人脸图像标签数据生成系统及其方法，以解决异源识别准确度低的问题。

本发明采用的技术方案如下：

一种人脸图像标签数据生成系统，该系统包括：

若干像素等级的图像采集设备，用于单次采集同一人的不同像素等级的人脸数据；

标签数据生成设备，用于分别对若干像素等级的图像采集设备所采集的人脸数据进行人脸特征提取，生成若干像素等级的人脸特征值组；并将对应于同一人的若干像素等级的人脸特征值组与对应该人的标签数据对应存储，生成对应于若干人的若干组人脸标签数据；即以对应同一人的若干像素等级的人脸特征值组与对应该人的标签数据对应存储为一组人脸标签数据，以同样的方式，存储对应于若干人的若干组人脸标签数据；

人脸识别设备，用于对包含待识别人脸图像的待识别人脸数据进行人脸特征提取，得到待识别人脸特征值；还获取采集待识别人脸数据的图像采集设备的设备信息；还根据获取的设备信息，将待识别人脸特征值与标签数据生成设备生成的若干组人脸标签数据中，对应获取的设备信息的像素等级的人脸特征值组进行对比，在与人脸特征值组对比通过时，从人脸标签数据中，获取对应对比通过的人脸特征值组的标签数据进行输出。

上述若干像素等级连续，且每一像素等级的像素最大值优选不超过像素最小值的5倍，各采集人脸数据的图像采集设备的像素值优选为其所对应像素等级的中间值。

上述方案中，即以对应于人的标签数据作为根节点，对应于该人的若干像素等级的人脸特征值组为若干叶节点，即构建为若干像素等级的人脸特征值组对应于同一标签数据，无需对每一像素等级的人脸特征值组构建重复的标签数据；根据采集待识别人脸数据的图像采集设备的设备信息所对应的像素等级，在众多叶节点中进行匹配，在匹配叶节点通过后，输出该叶节点对应的根节点信息，即标签数据。

作为一种实施方式，上述人脸数据为短视频或若干张人脸图像，标签数据生成设备对人脸数据进行人脸特征提取具体为：

若人脸数据为短视频，则标签数据生成设备提取人脸数据中，预定数量一的清晰度达到预定要求的人脸帧图像；分别对提取的人脸帧图像进行人脸特征提取；

若人脸数据为若干张人脸图像，则标签数据生成设备从人脸数据中，筛选出预定数量二的清晰度达到预定要求的人脸图像；分别对筛选出的人脸图像进行人脸特征提取。

作为一种实施方式，上述待识别人脸数据为短视频或人脸图像，人脸识别设备对待识别人脸数据进行人脸特征提取具体为：

若待识别人脸数据为短视频，则人脸识别设备提取待识别人脸数据中，预定数量三的待识别人脸帧图像；分别对提取的待识别人脸帧图像进行人脸特征提取；

若待识别人脸数据为人脸图像，则人脸识别设备对待识别人脸数据进行特征提取。

作为进一步的实施方式，上述标签数据为个人身份信息。

作为进一步的优选，上述个人身份信息包括：身份证信息、社交账户信息、联系方式信息或犯罪信息中的一条或多条。

为解决上述全部或部分问题，本发明提供了一种人脸图像标签数据生成方法，该方法包括以下步骤：

S10：采集同一人在若干不同像素等级的人脸数据；

S20：分别对若干像素等级的人脸数据进行特征值提取，生成若干像素等级的人脸特征值组；

S30：将同一人的若干像素等级的人脸特征值组与该人的标签数据对应存储，生成一组人脸标签数据；

S40：以S10-S30的步骤，生成若干组人脸标签数据，构建完成异源特征值库；

S50：接收待识别人脸数据；

S60：对待识别人脸数据进行特征提取，得到待识别人脸特征值；和并行的：

S70：判断采集待识别人脸数据的图像采集设备的设备信息；

S80：将待识别人脸特征值与：异源特征值库中，对应设备信息的像素等级的人脸特征值组进行对比，在与人脸特征值组对比通过时，输出对应对比通过的人脸特征值组的标签数据。

即通过构建标签数据为根节点，对应该根节点构建若干像素等级的人脸特征值组为叶节点，对应同一人的根节点和若干叶节点作为一组人脸标签数据，通过丰富人脸标签数据的数量，构建出异源特征值库；在需要识别人脸时，获取到待识别人脸数据对应采集设备的设备信息，根据该设备信息，对应选择相应像素等级的叶节点进行对比，在对比通过某叶节点时，输出该叶节点对应的根节点信息，即标签数据。

上述方法中，若干像素等级连续，且每一像素等级的像素最大值优选不超过像素最小值的5倍，S10中，各采集的人脸数据的像素值优选为其所对应像素等级的中间值。

作为一种实施方式，上述S10采集的人脸数据为短视频或若干张人脸图像，S20中，对人脸数据进行特征值提取具体为：

若人脸数据为短视频，则提取人脸数据中，预定数量四的清晰度达到预定要求的人脸帧图像；分别对提取的人脸帧图像进行人脸特征提取；

若人脸数据为若干张人脸图像，则从人脸数据中，筛选出预定数量五的清晰度达到预定要求的人脸图像；分别对筛选出的人脸图像进行人脸特征提取。

作为一种实施方式，上述S50接收的待识别人脸数据为短视频或人脸图像，S60中，对待识别人脸数据进行特征提取具体为：

若待识别人脸数据为短视频，则提取待识别人脸数据中，预定数量六的待识别人脸帧图像；分别对提取的待识别人脸帧图像进行人脸特征提取；

若待识别人脸数据为人脸图像，则对待识别人脸数据进行特征提取。

作为进一步的实施方式，上述方法中，标签数据为个人身份信息。

作为进一步优选，上述方法中，个人身份信息包括：身份证信息、社交账户信息、联系方式信息或犯罪信息中的一条或多条。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

通过本发明的方案，构建出标签数据与其对应的若干像素等级的人脸特征值组的异源特征值库，明确了根标签数据与叶标签数据感知信息之间的关系，进而通过合理的构建方式，完成对市场安防行业全像素范围内的精准人脸设别，解决安防领域中异源人脸识别精准度差的问题。同时，本方案还实现基于短视频的异源特征值库的构建，丰富了标准人脸源，提高了特征值库与人脸的匹配度，进而提高了匹配的准确性。进一步的，本方案还实现基于简单图像或者短视频的人脸识别，丰富了人脸识别场景。同时，本发明在构建完成异源特征值库后，后期仅需仅需简单数据更新，即可实现本发明方案的长期适用。更进一步，本发明方案还整合了个人的唯一标识信息，实现对特定人员的自动搜寻和跟踪。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是人脸图像标签数据生成系统构造的一个实施例。

图2是人脸图像标签数据生成系统运行的一个实施例。

图3是人脸图像标签数据生成方法的流程图。

图4是人脸标签数据的数据结构图。

图中，10为基准人员，20为待识别人脸，101-103分别为像素等级I-像素等级III的图像采集设备，104为监控设备，300为标签数据生成设备，400为人脸识别设备。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1和2所示，本实施例一公开了一种人脸图像标签数据生成系统，其包括：三个像素等级（其它数量像素等级同理）的图像采集设备101、102和103，用于单次采集同一基准人员10的三个像素等级的人脸数据，该三个像素等级依次为：100万-500万（不含）像素，500万-1000万（不含）像素和1000万及以上像素；

标签数据生成设备300，用于分别对三个像素等级的图像采集设备101-103所采集的人脸数据进行人脸特征提取，生成三个像素等级的人脸特征值组；

系统还包括读取对应人员标签数据的身份读卡器201，标签数据生成设备300还将对应于同一人的三个像素等级的人脸特征值组与身份读卡器201读取对应该人的标签数据对应存储，生成一组人脸标签数据，以相同方法，生成对应于若干人的若干组人脸标签数据；

人脸识别设备400，用于对监控设备104采集的包含待识别人脸20的待识别人脸数据进行人脸特征提取，得到待识别人脸特征值；还获取采集待识别人脸数据的监控设备104的设备信息；还根据获取的设备信息，将待识别人脸特征值与标签数据生成设备300生成的若干组人脸标签数据中，对应获取的（监控设备的）设备信息的像素等级的人脸特征值组进行对比，在与人脸特征值组对比通过时，从人脸标签数据中，获取对应对比通过的人脸特征值组的标签数据进行输出。

具体的，上述各像素等级的图像采集设备的像素值选用所对应等级的像素范围的中间值，在上述实施例中，像素等级I的图像采集设备101选用200万或250万像素的图像采集设备（如摄像机），像素等级II的图像采集设备102选用750万或800万像素的图像采集设备，像素等级III的图像采集设备103选用1000万或1200万像素的图像采集设备。同理，也可分为四个像素等级（或其它数量的像素等级）：100万-400万（不含）像素，400万-800万（不含）像素，800万-1200万（不含）像素，1200万及以上像素，其人脸标签数据组的构建方式（图像采集设备的选取、人脸特征值组与标签数据的对应存储等）相同，此处不再累述。

在一个实施例中，上述人脸数据为短视频或若干张人脸图像，标签数据生成设备300对人脸数据进行人脸特征提取具体为：

若人脸数据为短视频，则标签数据生成设备300提取人脸数据中，预定数量一的清晰度达到预定要求的人脸帧图像；分别对提取的人脸帧图像进行人脸特征提取；

若人脸数据为若干张人脸图像，则标签数据生成设备300从人脸数据中，筛选出预定数量二的清晰度达到预定要求的人脸图像；分别对筛选出的人脸图像进行人脸特征提取。

在一个具体实施例中，上述实施例中标签数据生成设备300从短视频中提取7-20帧清晰度达到预定要求的人脸帧图像，优选为7帧、10帧或15帧，其中，7帧的选择可保证在一方面保证选取的人脸帧图像所包含的特征值涵盖了对应的人脸特征，另一方面减小提取的人脸帧图像的数量，以减小特征值提取的计算量，即实现了对人脸特征值覆盖和特征值提取计算量的平衡，对于10帧或15帧人脸帧图像，则实现了对人脸特征覆盖的丰富，进一步提高人脸识别效果；或者从若干张人脸图像中，筛选7-20张清晰度达到预定要求的人脸图像（优选7张、10张或15张），其中，若人脸数据包含的若干张人脸图像的数量达不到筛选值，则选取全部人脸图像。

在一个实施例中，实施例一中待识别人脸数据为短视频或人脸图像，人脸识别设备400对待识别人脸数据进行人脸特征提取具体为：

若待识别人脸数据为短视频，则人脸识别设备提取待识别人脸数据中，预定数量三的待识别人脸帧图像；分别对提取的待识别人脸帧图像进行人脸特征提取；

若待识别人脸数据为人脸图像，则人脸识别设备对待识别人脸数据进行特征提取。

在一个具体实施例中，上述实施中的人脸识别设备400从短视频中提取与标签数据生成设备300从图像采集设备100-103任一采集的短视频中提取的人脸帧图像等量（在上述实施例中，为7-20帧，优选7帧、10或15帧）的，较为清晰的待识别人脸帧图像。若待识别人脸数据为人脸图像，则直接选取同与标签数据生成设备300在人脸数据为人脸图像时，选取的人脸图像的数量，较为清晰的待识别人脸图像（待识别人脸图像数量足够多），或者选用全部待识别人脸图像（待识别人脸图像数量较少）。

在一个实施例中，上述实施例的标签数据，选用具有唯一代表性的个人身份信息，以保证人脸识别结果输出的唯一指代性。

在一个具体实施例中，上述个人身份信息包括身份证信息、社交账户信息、联系方式信息或犯罪信息中的一条或多条。例如在公安户籍登记或者追逃应用场景，个人身份信息包括身份证信息（包括指纹信息）、联系方式和犯罪信息；在公共交通（机场、车站）安检应用场景，个人身份信息包括身份证信息、联系方式和个人征信信息。

如图3所示，本实施例公开了一种人脸图像标签数据生成方法，该方法包括以下步骤：

S10：采集同一人在若干不同像素等级的人脸数据；

S20：分别对若干像素等级的人脸数据进行特征值提取，生成若干像素等级的人脸特征值组；

S30：将同一人的若干像素等级的人脸特征值组与该人的标签数据对应存储，生成一组人脸标签数据；

S40：以S10-S30的步骤，生成若干组人脸标签数据，构建完成异源特征值库；

S50：接收待识别人脸数据；

S60：对待识别人脸数据进行特征提取，得到待识别人脸特征值；和并行的：

S70：判断采集待识别人脸数据的图像采集设备的设备信息；

S80：将待识别人脸特征值与：异源特征值库中，对应设备信息的像素等级的人脸特征值组进行对比，在与人脸特征值组对比通过时，输出对应对比通过的人脸特征值组的标签数据。

如图4所示，上述实施例所构建的异源特征值库的数据结构为：以标签数据作为根节点，对应该标签数据的人员在各像素等级下人脸图像的人脸特征值组为叶节点进行对应存储。通过该构造方法，实现同时对于不同像素等级的关联，即完成了异源识别的基础构建。

在一个实施例中，上述S10采集的人脸数据为短视频或若干张人脸图像，S20中，对人脸数据进行特征值提取具体为：

若人脸数据为短视频，则提取人脸数据中，预定数量四的清晰度达到预定要求的人脸帧图像；分别对提取的人脸帧图像进行人脸特征提取；

若人脸数据为若干张人脸图像，则从人脸数据中，筛选出预定数量五的清晰度达到预定要求的人脸图像；分别对筛选出的人脸图像进行人脸特征提取。

在一个具体实施例中，上述实施例的S20对于短视频的人脸数据，提取7-20帧清晰度达到预定要求的人脸帧图像，优选为7帧、10帧或15帧；对于图片格式的人脸数据，筛选7-20张（优选7张、10张或15张）清晰度达到预定要求的人脸图像，其中，若人脸数据包含的若干张人脸图像的数量达不到筛选值，则选取全部人脸图像。

在一个实施例中，上述实施例的S50接收的待识别人脸数据为短视频或人脸图像，S60中，对待识别人脸数据进行特征提取具体为：

若待识别人脸数据为短视频，则提取待识别人脸数据中，预定数量六的待识别人脸帧图像；分别对提取的待识别人脸帧图像进行人脸特征提取；

若待识别人脸数据为人脸图像，则对待识别人脸数据进行特征提取。

在一个具体实施例中，上述S60对于短视频格式的待识别人脸数据，提取同S20中对于一个像素等级的短视频格式的人脸数据提取的帧图像数量相等的（在上述实施例中，为7-20帧，优选7帧、10或15帧），较为清晰的待识别人脸帧图像；若待识别人脸数据为人脸图像，则直接选取同与S20中对于图片格式人脸数据选取量相等的，较为清晰的待识别人脸图像（待识别人脸图像数量足够多），或者选用全部待识别人脸图像（待识别人脸图像数量较少）。

在一个实施例中，上述实施例的标签数据，选用具有唯一代表性的个人身份信息，以保证人脸识别结果输出的唯一指代性。

在一个具体实施例中，上述个人身份信息包括身份证信息、社交账户信息、联系方式信息或犯罪信息中的一条或多条。例如在公安户籍登记或者追逃应用场景，个人身份信息包括身份证信息（包括指纹信息）、联系方式和犯罪信息；在公共交通（机场、车站）安检应用场景，个人身份信息包括身份证信息、联系方式和个人征信信息。

本实施具体公开了上述各实施例中，人脸（帧）图像的特征值提取方法和人脸图像清晰度的判断方法（即清晰图像的筛选方法）。对于人脸图像的特征值提取方法，可选用现有常规人脸识别技术中的特征值提取方法，例如基于PCA的图像数据特征提取，Fisher鉴别分析方法，或者以核方法为代表的非线性特征提取方法。对于人脸图像的清晰度判别方法，同样可选用常规的清晰度判别技术，例如采用灰度变化函数，该技术对于聚焦图像（清晰图像）比离焦图像（模糊图像）包含更多的灰度变化，通过分析判断图像的灰度变化曲线，即可筛区分出清晰的图像；或者选用梯度函数（如灰度梯度能量函数、Robert梯度函数或拉布拉斯算子），该技术在图像处理中，可以用来进行边缘提取，聚集越好（清晰度越高），图像边缘越锋利，具有更大的图像梯度值，通过图像的灰度梯度，即可筛选出清晰图像；或者选用图像灰度熵函数，该技术对聚焦良好（清晰度高）图像的信息熵要大于离焦图像（模糊图像）的信息熵，通过设定和判断图像的信息熵，即可筛选出满足要求清晰度的人脸（帧）图像。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种人脸图像标签数据生成系统，其特征在于，该系统包括：

若干像素等级的图像采集设备，用于单次采集同一人的不同像素等级的人脸数据；所述若干张像素等级连续，且每一像素等级的像素最大值不超过像素最小值的5倍；

标签数据生成设备，用于分别对所述若干像素等级的图像采集设备所采集的人脸数据进行人脸特征提取，生成若干像素等级的人脸特征值组；并将对应于同一人的所述若干像素等级的人脸特征值组与对应该人的标签数据对应存储，生成对应于若干人的若干组人脸标签数据；以标签数据作为根节点，对应该标签数据的人员在各像素等级下人脸图像的人脸特征值组为叶节点进行对应存储，实现同时对于不同像素等级的关联，完成异源识别的基础构建；

人脸识别设备，用于对包含待识别人脸图像的待识别人脸数据进行人脸特征提取，得到待识别人脸特征值；还获取采集所述待识别人脸数据的图像采集设备的设备信息；还根据所述获取的设备信息，将所述待识别人脸特征值与所述标签数据生成设备生成的所述若干组人脸标签数据中，对应所述获取的设备信息的像素等级的人脸特征值组进行对比，在与所述人脸特征值组对比通过时，从所述人脸标签数据中，获取对应所述对比通过的人脸特征值组的标签数据进行输出。

2.如权利要求1所述的系统，其特征在于，所述人脸数据为短视频或若干张人脸图像，所述标签数据生成设备对所述人脸数据进行人脸特征提取具体为：

若所述人脸数据为短视频，则所述标签数据生成设备提取所述人脸数据中，预定数量一的清晰度达到预定要求的人脸帧图像；分别对所述提取的人脸帧图像进行人脸特征提取；

若所述人脸数据为若干张人脸图像，则所述标签数据生成设备从所述人脸数据中，筛选出预定数量二的清晰度达到预定要求的人脸图像；分别对所述筛选出的人脸图像进行人脸特征提取。

3.如权利要求1所述的系统，其特征在于，所述待识别人脸数据为短视频或人脸图像，所述人脸识别设备对所述待识别人脸数据进行人脸特征提取具体为：

若所述待识别人脸数据为短视频，则所述人脸识别设备提取所述待识别人脸数据中，预定数量三的待识别人脸帧图像；分别对所述提取的待识别人脸帧图像进行人脸特征提取；

若所述待识别人脸数据为人脸图像，则所述人脸识别设备对所述待识别人脸数据进行特征提取。

4.如权利要求1-3任一所述的系统，其特征在于，所述标签数据为个人身份信息。

5.如权利要求4所述的系统，其特征在于，所述个人身份信息包括：身份证信息、社交账户信息、联系方式信息或犯罪信息中的一条或多条。

6.一种人脸图像标签数据生成方法，其特征在于，该方法包括：

S10：采集同一人在若干不同像素等级的人脸数据；所述若干张像素等级连续，且每一像素等级的像素最大值不超过像素最小值的5倍；

S20：分别对所述若干像素等级的人脸数据进行特征值提取，生成若干像素等级的人脸特征值组；

S30：将同一人的所述若干像素等级的人脸特征值组与该人的标签数据对应存储，生成一组人脸标签数据；

S40：以S10-S30的步骤，生成若干组人脸标签数据，构建完成异源特征值库；以标签数据作为根节点，对应该标签数据的人员在各像素等级下人脸图像的人脸特征值组为叶节点进行对应存储，实现同时对于不同像素等级的关联，完成异源识别的基础构建；

S50：接收待识别人脸数据；

S60：对所述待识别人脸数据进行特征提取，得到待识别人脸特征值；和并行的：

S70：判断采集所述待识别人脸数据的图像采集设备的设备信息；

S80：将所述待识别人脸特征值与：所述异源特征值库中，对应所述设备信息的像素等级的人脸特征值组进行对比，在与所述人脸特征值组对比通过时，输出对应所述对比通过的人脸特征值组的标签数据。

7.如权利要求6所述的方法，其特征在于，所述S10采集的所述人脸数据为短视频或若干张人脸图像，所述S20中，对人脸数据进行特征值提取具体为：

若所述人脸数据为短视频，则提取所述人脸数据中，预定数量四的清晰度达到预定要求的人脸帧图像；分别对所述提取的人脸帧图像进行人脸特征提取；

若所述人脸数据为若干张人脸图像，则从所述人脸数据中，筛选出预定数量五的清晰度达到预定要求的人脸图像；分别对所述筛选出的人脸图像进行人脸特征提取。

8.如权利要求6所述的方法，其特征在于，所述S50接收的所述待识别人脸数据为短视频或人脸图像，所述S60中，对所述待识别人脸数据进行特征提取具体为：

若所述待识别人脸数据为短视频，则提取所述待识别人脸数据中，预定数量六的待识别人脸帧图像；分别对所述提取的待识别人脸帧图像进行人脸特征提取；

若所述待识别人脸数据为人脸图像，则对所述待识别人脸数据进行特征提取。

9.如权利要求6-8任一所述的方法，其特征在于，所述标签数据为个人身份信息。

10.如权利要求9所述的方法，其特征在于，所述个人身份信息包括：身份证信息、社交账户信息、联系方式信息或犯罪信息中的一条或多条。

Images