CN109740457B

CN109740457B - 一种人脸识别算法评测方法

Info

Publication number: CN109740457B
Application number: CN201811566144.8A
Authority: CN
Inventors: 王伟莉; 沈磊; 朱佳丽
Original assignee: Hangzhou Arcvideo Technology Co ltd
Current assignee: Hangzhou Arcvideo Technology Co ltd
Priority date: 2018-12-20
Filing date: 2018-12-20
Publication date: 2021-07-13
Anticipated expiration: 2038-12-20
Also published as: CN109740457A

Abstract

本发明公开了一种人脸识别算法评测方法。它对接所测试的算法系统，对人脸数据进行标注修正确认，并给出测试报告，具体操作步骤如下：（1）被测人脸算法系统输出各测试素材的人脸信息；（2）通过输入模块对接被测人脸算法系统，读取算法识别出的各测试素材的人脸信息；（3）通过推荐模块对算法检测出的所有人脸的名称进行推荐标注；（4）通过修正模块对被测人脸算法系统输出数据的修正操作；（5）通过数据统计模块统计被测人脸算法系统精准度相关数据。本发明的有益效果是：测试过程中测试素材可以灵活添加不受限，减少了算法测试的环节和人力投入，极大提升算法测试的效率。

Description

一种人脸识别算法评测方法

技术领域

本发明涉及应用人脸识别能力相关技术领域，尤其是指一种人脸识别算法评测方法。

背景技术

不同的人脸识别算法，在人脸的识别提取上具有不同的能力水平。为了评估算法的能力水平，需要使用大量已标注过人脸信息的素材来测试算法，通过比对算法识别提取出的人脸信息跟事先标注的人脸信息，评估出算法的能力水平。

针对每个测试素材需要标注的人脸信息包括视频里有哪些人脸，每个人脸出现在哪些镜头里等。因为视频文件的海量以及视频内容的丰富性，人脸标注工作是一个耗时耗力但又不可少的环节。目前除了人工标注视频人脸信息，已有一些半自动化的方法，如：基于海量人脸数据库进行人脸提取和自动聚类推荐，再人工排错确认形成一份准确的标识文件。半自动化标注的方法减少了人工一张张标注人脸的低效，但不管是人工标注还是半自动化标注，都需要在算法测试前完成测试视频的人脸标注工作；如果测试过程中需要添加新的测试素材，得先停止测试工作花时间标注完视频的人脸信息再继续测试。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种提升算法测试效率的人脸识别算法评测方法。

为了实现上述目的，本发明采用以下技术方案：

一种人脸识别算法评测方法，对接所测试的算法系统，对人脸数据进行标注修正确认，并给出测试报告，具体操作步骤如下：

（1）被测人脸算法系统输出各测试素材的人脸信息；

（2）通过输入模块对接被测人脸算法系统，读取算法识别出的各测试素材的人脸信息；

（3）通过推荐模块对算法检测出的所有人脸的名称进行推荐标注；

（4）通过修正模块对被测人脸算法系统输出数据的修正操作；

（5）通过数据统计模块统计被测人脸算法系统精准度相关数据。

对于算法来说，因为算法自身能力的局限，从测试素材里检测出的人脸可能不是真人脸，有些人脸可能未被检测出来；对于检测出的人脸，算法本身并不能识别出每张脸具体是谁，只有结合海量的人脸库数据，通过相似度比对，才能识别出每张脸具体是谁，并且识别结果也可能是错的。因此算法提取的人脸信息都需要进行确认，不管是通过人工确认还是通过人脸标识文件进行比对确认。对于传统的人脸标注系统，人工标注一张张脸耗时耗力；半自动化标注先聚类后人工排错需要有专门的聚类和排错操作。上面两种方法，都需要在测试之前针对每个测试素材专门标注生成一份人工标注文件；在测试过程中需要增加新测试素材的话，需要等这些测试文件标注完后测试才能继续，人力和效率上都存在很大的浪费。本发明不需要在测试前先完成测试素材的人脸标注工作，只要在算法测试过程中，基于算法的人脸识别结果，结合系统的自动推荐功能，增加一小部分人力进行人脸信息的标注和修正，在测试后即可给出算法能力的各类指标值，又可自动生成一份针对视频素材的人脸标识文件，因此测试过程中测试素材可以灵活添加不受限，减少了算法测试的环节和人力投入，极大提升算法测试的效率。

作为优选，在步骤（2）中，在输入模块里，如果给每个测试素材配置了对应的人脸标识文件，直接执行步骤（5），数据统计模块即可汇总统计出该素材的算法测试报告；如果不给每个测试素材配置了对应的人脸标识文件，则执行步骤（3）。

作为优选，在步骤（3）中，从被测人脸算法系统获取的人脸信息，如果不带有人名标识，则在推荐模块进行一张张脸名称的标注和确认；如果人脸已带有人名标识，则在推荐模块进行确认操作；标注和确认的过程中推荐模块会进行人脸名称的动态推荐，以减少标注的工作量。

作为优选，推荐模块进行标注和确认的具体流程如下：

（a）试人员标注确认完一张没有名称的人脸的名称；

（b）系统自动比对所有未标注或未确认的人脸和该刚标注确认完的人脸的相似度，如果相似度大于指定阈值，则自动将这些未标注或未确认的相似度大于指定阈值的人脸名称标注为刚标注确认完的人脸名称；对于之前已确认完的人脸信息，则不再进行动态推荐修改；

（c）测试人员对已有人名推荐但未确认的人脸进行确认：如果已有名称是错误的，则进行修改确认；如果已有名称是对的，只需要确认即可；

（d）如果已有名称是错误的，在测试人员进行修改确认后，系统执行步骤（b）；

（e）重复上述步骤完成所有人脸的标注确认。

作为优选，在步骤（4）中，当测试人员在修正模块里对人脸信息进行修正时，系统会记录每项操作并分析其性质：（i）标识为非人脸的操作，记录为错误识别；（ii）添加操作记录为漏识；（iii）删除操作记录为多识别；（iv）修改操作记录为错误识别；修正完成后，即可得到被测人脸算法系统针对该测试素材的漏识、错识、多识数据；同时得到一份准确的人脸标识文件。

作为优选，得到的人脸标识文件后续在输入模块里进行输入，当测试人员再对对应视频素材进行测试时，不需要再在修正模块里进行人脸删除、添加、修改操作，此人脸标识文件同时也是数据统计模块统计精准度的基准数据文档。

作为优选，在步骤（5）中，数据统计模块针对一个具体的测试素材，主要计算逻辑如下：

1）读取修正模块对该素材的修正数据，即漏识、错识、多识数据；

2）读取该素材的人脸标识文件；

3）比对算法的识别结果和标注文件的不同数据，计算出精准度数值；

4）比对系统里保存的旧版本的精准度数据，输出新旧版本的精准度数据和比较结果。

作为优选，在步骤2）中，人脸标识文件为在输入模块里输入人脸标识文件，或者是修正模块里生成的人脸标注文件。

本发明的有益效果是：测试过程中测试素材可以灵活添加不受限，减少了算法测试的环节和人力投入，极大提升算法测试的效率。

附图说明

图1是本发明的方法流程图；

图2是推荐模块中标注和确认的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1所述的实施例中，一种人脸识别算法评测方法，对接所测试的算法系统，对人脸数据进行标注修正确认，并给出测试报告，具体操作步骤如下：

（1）被测人脸算法系统输出各测试素材的人脸信息；

（2）通过输入模块对接被测人脸算法系统，读取算法识别出的各测试素材的人脸信息；在输入模块里，如果给每个测试素材配置了对应的人脸标识文件，直接执行步骤（5），数据统计模块即可汇总统计出该素材的算法测试报告；如果不给每个测试素材配置了对应的人脸标识文件，则执行步骤（3）；

因为本方法的主要发明内容就是不需要提前提供视频的人脸标识文件，所以输入模块里并不需要针对每个测试素材配置人脸标识文件。

（3）通过推荐模块对算法检测出的所有人脸的名称进行推荐标注；从被测人脸算法系统获取的人脸信息，如果不带有人名标识，则在推荐模块进行一张张脸名称的标注和确认；如果人脸已带有人名标识，则在推荐模块进行确认操作；标注和确认的过程中推荐模块会进行人脸名称的动态推荐，以减少标注的工作量；

其中，如图2所示，推荐模块进行标注和确认的具体流程如下：

（a）试人员标注确认完一张没有名称的人脸的名称；

（e）重复上述步骤完成所有人脸的标注确认。

（4）通过修正模块对被测人脸算法系统输出数据的修正操作；通过推荐模块，人脸都有了名称，但人脸有可能是少的，可能不是真人脸，出现的时间片段可能是不对的等，修正模块即实现了对被测系统输出的人脸信息进行修正的功能。（i）对于错识为人脸的非人脸，标记为非人脸；（ii）对于漏识的人脸，进行添加；（iii）对于重复识别的人脸，进行删除；（iv）对于不准确的时间片段信息，进行修改。相对于已有的纯人脸标注系统和测试系统，修正模块是结合了测试和标注的关键点，因为修正模块是对被测人脸算法系统输出数据的修正操作，如果被测系统的精准度越高，则输出数据的准确性越高，需要的人工修正的工作量就越少。当被测系统的精准度很差时，只要进行粗略的人脸校对即可了解系统精准度的大体水平，没必要事先标注好人脸信息进行测试，因此只有当系统精准度达到一定水平后，才有必要预先标注人脸信息进行精准测试。

当测试人员在修正模块里对人脸信息进行修正时，系统会记录每项操作并分析其性质：（i）标识为非人脸的操作，记录为错误识别；（ii）添加操作记录为漏识；（iii）删除操作记录为多识别；（iv）修改操作记录为错误识别；修正完成后，即可得到被测人脸算法系统针对该测试素材的漏识、错识、多识数据；同时得到一份准确的人脸标识文件；得到的人脸标识文件后续在输入模块里进行输入，当测试人员再对对应视频素材进行测试时，不需要再在修正模块里进行人脸删除、添加、修改操作，此人脸标识文件同时也是数据统计模块统计精准度的基准数据文档；

（5）通过数据统计模块统计被测人脸算法系统精准度相关数据；

其中，数据统计模块针对一个具体的测试素材，主要计算逻辑如下：

2）读取该素材的人脸标识文件；人脸标识文件为在输入模块里输入人脸标识文件，或者是修正模块里生成的人脸标注文件；

对于算法来说，因为算法自身能力的局限，从测试素材里检测出的人脸可能不是真人脸，有些人脸可能未被检测出来；对于检测出的人脸，算法本身并不能识别出每张脸具体是谁，只有结合海量的人脸库数据，通过相似度比对，才能识别出每张脸具体是谁，并且识别结果也可能是错的。因此算法提取的人脸信息都需要进行确认，不管是通过人工确认还是通过人脸标识文件进行比对确认。

对于传统的人脸标注系统，人工标注一张张脸耗时耗力；半自动化标注先聚类后人工排错需要有专门的聚类和排错操作。上面两种方法，都需要在测试之前针对每个测试素材专门标注生成一份人工标注文件；在测试过程中需要增加新测试素材的话，需要等这些测试文件标注完后测试才能继续，人力和效率上都存在很大的浪费。

相对于传统流程，本发明可以减少环节，减少人力，提高测试的效率：

1．在标识确认人脸信息的过程中，系统可以动态推荐生成人脸的人名信息，人工简单标注确认即可。

2．在测试的过程中，基于被测系统的输出，通过一小部分人工修正工作，即可在完成测试的同时生成一份测试素材的人工标注文件。

3．基于不同的算法精准度测试需求，推荐模块和修正模块可以增加更多维度的推荐和修正，能力扩展灵活。

本发明不需要在测试前先完成测试素材的人脸标注工作，只要在算法测试过程中，基于算法的人脸识别结果，结合系统的自动推荐功能，增加一小部分人力进行人脸信息的标注和修正，在测试后即可给出算法能力的各类指标值，又可自动生成一份针对视频素材的人脸标识文件，因此测试过程中测试素材可以灵活添加不受限，减少了算法测试的环节和人力投入，极大提升算法测试的效率。

Claims

1.一种人脸识别算法评测方法，其特征是，对接所测试的算法系统，对人脸数据进行标注修正确认，并给出测试报告，具体操作步骤如下：

（1）被测人脸算法系统输出各测试素材的人脸信息；

（3）通过推荐模块对算法检测出的所有人脸的名称进行推荐标注；从被测人脸算法系统获取的人脸信息，如果不带有人名标识，则在推荐模块进行一张张人脸名称的标注和确认；如果人脸已带有人名标识，则在推荐模块进行确认操作；标注和确认的过程中推荐模块会进行人脸名称的动态推荐，以减少标注的工作量；推荐模块进行标注和确认的具体流程如下：

（a）测试人员标注确认完一张没有名称的人脸的名称；

（b）系统自动比对所有未标注或未确认的人脸和该标注确认完的人脸的相似度，如果相似度大于指定阈值，则自动将这些未标注或未确认的相似度大于指定阈值的人脸名称标注为刚标注确认完的人脸名称；对于之前已确认完的人脸信息，则不再进行动态推荐修改；

（e）重复上述步骤完成所有人脸的标注确认；

（4）通过修正模块对被测人脸算法系统输出数据的修正操作；当测试人员在修正模块里对人脸信息进行修正时，系统会记录每项操作并分析其性质：（i）标识为非人脸的操作，记录为错误识别；（ii）添加操作记录为漏识；（iii）删除操作记录为多识别；（iv）修改操作记录为错误识别；修正完成后，即可得到被测人脸算法系统针对该测试素材的漏识、错识、多识数据；同时得到一份准确的人脸标识文件；

2.根据权利要求1所述的一种人脸识别算法评测方法，其特征是，在步骤（2）中，在输入模块里，如果给每个测试素材配置了对应的人脸标识文件，直接执行步骤（5），数据统计模块即可汇总统计出该素材的算法测试报告；如果不给每个测试素材配置了对应的人脸标识文件，则执行步骤（3）。

3.根据权利要求1所述的一种人脸识别算法评测方法，其特征是，得到的人脸标识文件后续在输入模块里进行输入，当测试人员再对对应视频素材进行测试时，不需要再在修正模块里进行人脸删除、添加、修改操作，此人脸标识文件同时也是数据统计模块统计精准度的基准数据文档。

4.根据权利要求1所述的一种人脸识别算法评测方法，其特征是，在步骤（5）中，数据统计模块针对一个具体的测试素材，主要计算逻辑如下：

2）读取该素材的人脸标识文件；

5.根据权利要求4所述的一种人脸识别算法评测方法，其特征是，在步骤2）中，人脸标识文件为在输入模块里输入人脸标识文件，或者是修正模块里生成的人脸标注文件。