CN101615196A - 千万级一对多人脸识别产品的测试系统与测试方法 - Google Patents

千万级一对多人脸识别产品的测试系统与测试方法 Download PDF

Info

Publication number
CN101615196A
CN101615196A CN200910089906A CN200910089906A CN101615196A CN 101615196 A CN101615196 A CN 101615196A CN 200910089906 A CN200910089906 A CN 200910089906A CN 200910089906 A CN200910089906 A CN 200910089906A CN 101615196 A CN101615196 A CN 101615196A
Authority
CN
China
Prior art keywords
comparison
test
face recognition
feature templates
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910089906A
Other languages
English (en)
Inventor
田青
宛根训
田强
李建勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vimicro Corp
First Research Institute of Ministry of Public Security
Original Assignee
Vimicro Corp
First Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp, First Research Institute of Ministry of Public Security filed Critical Vimicro Corp
Priority to CN200910089906A priority Critical patent/CN101615196A/zh
Publication of CN101615196A publication Critical patent/CN101615196A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明千万级一对多人脸识别产品的测试系统，其中特征模板提取单元、图像数据存储单元和模板数据存储单元分别相互连接，比对请求单元与比对单元相连，比对单元与模板数据存储单元和结果数据存储单元分别相互连接。各单元分别为一台计算机或由通过网络连接的多个计算机组成。比对单元设置一对多特征比对模板。本发明还提供了千万级一对多人脸识别产品的测试方法，其优点是：该测试系统各单元均是模块化的结构，既独立又可以任意组合、多机多进程并行测试，可扩展性强。采用相同的测试接口协议和比对结果存储协议，一次测试可以获得各阶段(各模块)的测试结果，也可以获取汇总的测试结果，测试千万级一对多人脸识别产品的性能快速、准确、全面。

Description

千万级一对多人脸识别产品的测试系统与测试方法
技术领域
本发明涉及计算机生物特征识别领域，尤其是涉及一种千万级一对多人脸识别产品的测试系统与测试方法。
背景技术
随着生物特征技术的发展，人脸识别技术已经从原型系统逐渐走向了商用，国内外都出现了专业的商业人脸识别系统与产品。人脸识别技术主要包括一对一验证和一对多识别，一对多人脸识别是一个人脸样本与需查询的多(或N)个人脸样本进行比对，根据用户要求返回比对相似度由大到小排序靠前的一个或多个样本。人脸识别技术应用主要包括一对一验证应用和一对多识别应用。
千万级一对多人脸识别产品属于一对多识别应用的一种，其中千万级是指查询名单N为千万的数量级，属于超大数据量的人脸识别系统。为保证快速的识别效率，千万级人脸识别产品在软件硬件配置、样本分布、网络环境、比对技术等方面都有区别于一般一对多人脸识别的识别技术和数据管理，因此千万级人脸识别产品是集人脸识别技术、数据库管理、分布式运算、计算机网络等多方面的综合产品。我国由于人口基数大，在公共安全行业需要千万级一对多人脸识别产品。
国内一对多人脸识别产品的测试查询样本通常是十万、百万级，测试样本基本上在单台计算机或服务器上完成，而千万级一对多人脸识别产品一方面由于其识别比对技术复杂，另一方面产品涉及网络、数据库、负载处理等多领域技术，因此在国内外还没有千万级规模的人脸识别产品的测试。
因此，千万级一对多人脸识别产品的测试系统和测试方法对快速、准确、全面地反映千万级一对多人脸识别产品的各项性能具有重要意义。
发明内容
本发明的目的在于提供一种千万级一对多人脸识别产品测试系统和测试方法，从性能优劣、硬件资源消耗、负载压力及系统应用性对不同人脸识别产品进行统一客观的评测，该系统在快速完成千万级人脸识别产品的各项测试内容的同时，还可以获得从一百万到一千万的各阶段的各项测试指标。该测试系统具有可扩展性，测试样本数可以从几十万、几百万到几千万。
本发明提供的千万级一对多人脸识别产品的测试系统，包括计算机结构和数据库结构，所述计算机结构和数据库结构设置：
一个图像数据存储单元及与其相连的图像数据库：用于存储测试人脸识别产品的所有图像样本；
一个模板数据存储单元及与其相连的模板数据库：用于存储被测人脸识别产品生成的特征模板；
一个结果数据存储单元及与其相连的结果数据库：用于存储被测人脸识别产品比对的结果数据；
一个特征模板提取单元：用于提取所述图像数据库中测试图像样本的特征模板，特征模板提取完成后，把特征模板通过所述模板数据存储单元存储到所述模板数据库中；
一个比对请求单元：用于发送查询指令；
一个比对单元：用于将所述模板数据库中的特征模板数据加载到本地内存中，同时接受所述比对请求单元发送的查询指令，在本地进行比对，在比对完成后把比对结果数据通过所述结果数据存储单元存储到所述结果数据库中；
所述特征模板提取单元与所述图像数据存储单元和模板数据存储单元分别相互连接，所述比对请求单元与所述比对单元相连，所述比对单元与所述模板数据存储单元和结果数据存储单元分别相互连接；
其中，所述比对单元设置一对多特征比对模板，所述一对多特征比对模板用于获取至少包括查询时间、内存加载时间、正确报警率、查全率和漏报率的测试指标。
本发明千万级一对多人脸识别测试系统，其中所述图像数据存储单元、模板数据存储单元、结果数据存储单元、特征模板提取单元、比对单元、比对请求单元分别为一台计算机或由通过网络连接的多个计算机组成。
本发明千万级一对多人脸识别测试系统，其中每个所述特征模板提取单元设置用于同时运行多个建模进程的若干个计算机，每个建模进程分别提取所述图像数据库中被测图像样本的特征模板，并存储到所述模板数据存储单元。
本发明千万级一对多人脸识别测试系统，其中所述比对单元存储到所述结果存储单元中的比对结果数据采用统一的比对结果存储协议，包括所有计算机的比对结果数据和汇总后的比对结果数据。
本发明千万级一对多人脸识别测试系统的优点是：由于特征模板提取单元和比对单元均由多个计算机组成，在测试过程进行特征模板提取时，采取多机多进程并行运算的模式，而且每个计算机同时运行多个建模进程。在进行特征比对时，采取多机并行比对的方式，比对单元中所有计算机同时进行比对，这大大加快了比对速度。同时，本发明特征模板提取单元和比对单元均是模块化的结构，彼此相互独立，二者可以分开独立运行。在对多个人脸识别产品进行测试过程中，可以在一个被测人脸识别产品在进行特征模板比对时，另外一个被测人脸识别产品进行特征模板提取，又节省了测试时间。由于各个单元都采用独立的模块，因而系统灵活、可扩展性强，通过适当减少或增加各个单元计算机数量，可以完成十万级、百万级、千万级的一对多人脸识别产品测试。由于在采用了相同的比对结果存储协议，同时各个比对单元的比对都是独立运行的，因而通过一次测试既可以获得各阶段的测试结果，同时还可以获取汇总的测试结果。
附图说明
下面结合附图对本发明进行进一步的描述。
图1是本发明千万级一对多人脸识别产品的测试系统的方框图；
图2是本发明千万级一对多人脸识别产品的测试方法流程图。
具体实施方式
本发明中，人脸识别产品测试的基本术语如下：
1)登录
特征模板提取单元对图像样本进行特征提取的过程。
2)拒登
登录过程中，特征模板提取单元不能正常提取特征。
3)拒登率
拒登次数占登录总数的比例，用百分比表示。
4)登录时间
单次登录所花费的时间，用毫秒表示(ms)。
5)比对
两个人脸特征进行比较的过程。
6)匹配相似度
特征比对的输出结果，代表参与比对的两个特征文件的相似程度。其值用0.00～1.00的单精度浮点数表示，该数字愈大表示比对相似程度愈大，该数字愈小表示比对相似程度愈小。
7)比对时间
单次比对所花费的时间，用毫秒表示(ms)。
8)特征模板大小
单个人脸图像特征模板所占用的存储空间，用字节表示(Byte)。
9)模板加载时间
人脸识别产品从特征模板库中把特征模板加载到本地比对单元计算机内存所花费的时间，用分钟表示。
10)查询时间
输入一个查询样本，在目标集中完成一次查询，并输出比对结果所花费的时间，用毫秒表示(ms)。
11)查中、查全
对于任一个查询样本Pi，目标库中包含同一身份的mi幅照片，查询后返回的前N个查询结果(相似分最大的前N个样本)中包含目标库中同一身份的ni(0≤ni≤mi)幅照片，如果ni≥1则称为查中，如果ni＝mi则称为查全。
参照图1，本发明千万级一对多人脸识别产品的测试系统中对测试图像样本、特征模板、比对结果数据都采用数据库来存储和管理。本发明千万级一对多人脸识别产品的测试系统设置有：
图像数据存储单元1及与其相连的图像数据库10：用于存储测试人脸识别产品所有的图像样本；
模板数据存储单元2及与其相连的模板数据库20：用于存储被测人脸识别产品生成的特征模板；
结果数据存储单元3及与其相连的结果数据库30：用于存储被测人脸识别产品比对的结果数据；
特征模板提取单元4：用于提取图像数据库10中被测图像样本的特征模板，特征模板提取完成后，把特征模板通过模板数据存储单元2存储到模板数据库20中；
比对请求单元6：用于发送比对指令，将比对任务发送到比对单元5；
一个比对单元5：用于将模板数据库20中的特征模板数据加载到本地内存中，同时接受比对请求单元6发送的比对指令，在本地进行比对，在比对完成后把比对结果数据通过结果数据存储单元3存储到结果数据库30中；
特征模板提取单元4与所述图像数据存储单元1和模板数据存储单元2分别相互连接，比对请求单元6与比对单元5相连，比对单元5与模板数据存储单元2和结果数据存储单元3分别相互连接。其中：
每个特征模板提取单元4设置用于同时运行多个建模进程的若干个计算机，每个建模进程分别提取图像数据库10中被测图像样本的特征模板，并存储到模板数据存储单元2中。
比对单元5设置一对多特征比对模板，在一对多特征比对模板的比对过程中，通过记录比对模板加载时间、查询起始时间、查询结束时间，获取包括查询速度、内存加载时间等相关测试指标。比对单元5存储到所述结果存储单元3中的比对结果数据采用统一的比对结果存储协议，包括所有计算机的比对结果数据和汇总后的比对结果数据，在对比对结果进行分析后，获取正确报警率、查全率、漏报率等相关测试指标。
在本发明千万级一对多人脸识别产品的测试系统中，图像数据存储单元1、模板数据存储单元2、结果数据存储单元3、特征模板提取单元4、比对单元5、比对请求单元6分别为一台计算机或由通过网络连接的多个计算机组成。
参照图2，本发明千万级一对多人脸识别产品的测试方法包括以下步骤：
●建库步骤40
挑选测试样本，组建测试样本库，并把测试样本库存放到图像数据库中。
●被测产品提交步骤50；
被测产品按照测试协议提交到测试系统，测试协议主要包括测试接口协议和比对结果存储协议。
●特征模板提取步骤60；
被测产品对测试样本库中目标库图像进行特征模板提取，并把特征模板存储到模板数据库中；
●特征模板加载步骤70；
被测产品从模板数据库中把特征模板平均加载到比对单元计算机的本地内存；
●比对步骤80；
用待测人脸识别产品对测试样本库进行比对识别，得到比对结果，并把比对结果存储到结果数据库中。
●结果统计步骤90；
对比对步骤生成的比对结果进行统计，计算测试指标，绘制性能曲线。
本发明中特征模板提取单元4中所有计算机都通过FRCreateTemplate接口协议从图像数据存储单元1相连的图像数据库10中获取被测图像样本，并生成特征模板，比对请求单元6通过FRGetCode接口协议获取被测人脸识别算法或产品的代码，通过FRLoadGallery接口协议驱动比对单元5从模板数据单元2中加载特征模板数据，并通过FR1ToNMatching接口协议发送比对请求，驱动比对单元5进行比对。
如图2所示结合图1，下面以对两个一对多人脸识别产品的测试实施例来说明本发明千万级一对多人脸识别产品的测试过程。
在步骤40中，首先建立测试样本库，并把测试样本输入到图1中图像数据存储单元1相连的图像数据库10中。建立测试样本库，首先把测试样本库分为目标库、查询库A和查询库B三部分，然后把查询库A中被测人员的图像在去相关性后均匀分布在目标库中。其中目标库是已知身份人员图像库。查询库A和查询库B是两个不同的测试子集，它们提供给人脸识别产品进行识别测试的图像子库。查询库A中被测人员必须在目标库中至少有一幅图像，即查询库A人员是目标库中人员的一部分。查询库B中被测人员必须保证不在目标库内，即查询库B人员和目标库中所有人员互不包含。
在步骤50中，被测的人脸识别产品按照测试协议提交到测试系统，并在测试系统上进行参数配置。测试协议主要包括测试接口协议和结果数据存储协议。测试接口协议如下表所示：
  名称   说明   返回值
  FRGetCode   人脸识别产品标识，测试前预先分配给厂家的编号   识别算法标识
FRCreateTemplate   从图像样本文件中提取特征，形成特征模板文件，并把生成的特征模板文件存储到模板数据库中   返回样本质量评估分，负数表示抽取特征失败
FR1ToNMatching   输入的一个图像样本文件和加载到比对单元本地内存的多个特征模板文件进行一对多比对，并把比对结果按照比对结果存储协议输出到结果数据库中   成功返回1，失败返回错误码
FRLoadGallery   服务程序，把目标库特征模板加载到比对单元本地内存中   模板数和模板加载需要的时间
在步骤60中，被测人脸识别产品开始进行特征模板提取过程。针对千万级这样大规模的测试，系统采用多机多进程并行的方式进行特征模板提取以加快建模速度。如图1所示，特征模板提取单元4的每个计算机同时运行多个建模进程，每个建模进程从图像数据存储单元1相连的图像数据库10中获取所有目标库图像数据，并调用被测产品的模板特征提取接口(FRCreateTemplat)，把图像数据传递给被测产品，被测产品在特征提取完成后，把特征模板数据文件存储到模数据存储单元3相连的模板数据库30中。如果特征模板提取单元有M个计算机，每个计算机同时运行N个建模进程，每个建模进程每秒平均进行抽取特征模板数目为P个，那么整个建模服务器平均每秒建模数目为N×M×P个。在建模过程中，不同的人脸识别产品由于对系统硬件资源有不同的消耗，再加上数据库流量、网络速度的制约，不同的人脸识别产品每秒建模总数目N×M×P会有一个峰值，该值越大，建模速度越快。
在特征模板提取过程中，记录登录总时间、登录的图像总数、测试样本库的图像总数目、总登录次数、特征模板所占用的存储空间，为计算据的入库率、登录时间、模板大小等指标作准备。
在步骤70中，被测人脸识别产品进行特征模板加载，加载过程如下：
在图1中，比对请求单元6调用服务接口(FRLoadGallery)，使被测产品首先驱动比对单元5，从模板数据库20中把将要进行一对多比对的目标库特征模板平均加载到比对单元5中每个比对计算机本地的内存中。特征模板加载到比对单元计算机本地内存的过程中，要求被测产品把特征模板均匀分配到各个比对计算机本地内存中。
加载完成后，被测人脸识别产品正式接受比对请求单元6提交的一对多请求。在特征模板加载过程中记录特征模板加载时间来计算系统模板加载指标。
在步骤80中，被测人脸识别产品进行比对查询，比对过程如下：
在图1中，比对请求单元6首先从图像数据库10中把需要比对的查询库A和查询库B中的图像数据下载下来，然后调用一对多比对接口(FR1To1Matching)，把该图像数据传递给被测产品，被测产品在接收到图像数据后，首先进行特征提取，然后调用比对单元5把待比对的该图像的特征模板和比对单元5中5各个比对计算机本地内存中加载的特征模板进行一对多比对，并在一对多比对结束后，把比对单元5中各个比对计算机中各自的比对结果和汇总后的比对结果写入结果数据存储单元3，并存储到结果数据库30中。
假设特征模板数据有M个，比对单元有N个比对计算机，则每个比对计算机加载模板数目为M/N个，比对步骤完成后，生产的比对结果有N+1个，其中各个比对计算机独立的比对结果有N个，最终的比对结果有一个。在进行结果分析时，如果只统计各个独立的比对结果，可以得到在M/N规模图像数据的测试结果；如果统计任意两个比对计算机的比对结果，可以得到2M/N规模图像数据的测试结果；同样如果统计任意P(P＜N)个比对计算机的比对结果，可以得到PM/N规模图像数据的测试结果；如果统计所有N个比对计算机的比对结果，可以得到M规模图像数据的测试结果。因而，通过这种阶段性测试的方法，一次测试可以得到任意子规模图像数据的测试结果。
为了便于对比对结果数据进行管理，要求所有被测人脸识别产品生成的比对结果按照比对结果存储协议规定的数据结构存储，详见下表所示：
  描述   值  数据类型   字节数
  文件标识  FRT_FLAG  char   8
  厂商编号  0000～9999  char   4
  相似值总数  M(相似度总数为M)  unsigned long   8
  Top1_T_ID  记录号(相似度排名第一的图像的ID记录号)  long   8
  相似分  (相似度排名第一的相似度分数)  float   sizeof(float)
  …   …
  TopM_T_ID  记录号(相似度排名第M的图像的ID记录号)  long   8
  相似分  (相似度排名第M的相似度分数)  float   sizeof(float)
  文件标识  FRT_FLAG  char   8
其中，相似度取值范围为一个0～1.00的浮点数，输出文件大小是：24+M*(sizeof(float)+8)个字节。
在一对多比对过程中记录查询总时间、查询总次数为计算查询速度、入库率等指标做准备。
在步骤90中，对在上述步骤60，70，80过程中记录的相关数据和对比对后的比对结果进行分析，统计比对单元中各个比对计算机的比对结果，并计算相应的测试指标、绘制相应性能曲线；统计比对单元中任意两个比对计算机的汇总结果，并计算相应的测试指标、绘制相应性能曲线；依此类推，统计比对单元中任意三个、…、和所有比对计算机的汇总结果，并计算相应的测试指标、绘制相应性能曲线。
相关测试指标公式如下所示：
1)登录时间＝登录总时间/总的登录次数(登录时间精确到0.1ms)
2)查询时间＝查询总时间/总的查询次数
3)入库率＝登录成功的图像总数目/总的图像数目×100％
4)模板内存大小
单个特征模板占用的内存数目，单位字节。
5)首选识别率
首选识别率＝同一个人的两幅不同图像匹配相似度值排在第一位的次数/总的查询次数×100％
6)N选识别率
N选识别率＝同一个人的两幅不同图像匹配相似度值排在前N位的次数/总的查询次数×100％
7)查全率
查全率＝查中次数/总的查询次数×100％。
8)正确报警率
正确报警率＝系统正确报警的次数/总报警次数×100％
9)漏报率
漏报率＝查询集A中没有报警的人数/查询集A中的人数×100％
以下是本实施例对两个一对多人脸识别产品的测试结果：
  指标   产品1   产品2
  入库率   98.97％   99.99％
  建模时间   0.45264秒/幅   0.55584秒/幅
  模板大小   5912字节   5844字节
  模板加载时间   2小时19分钟   1小时34分钟
  查询速度   1585.7毫秒   329.3秒
识别率：
  项目   首选识别率   5选识别率   10选识别率   20选识别率   50选识别率   100选识别率
 产品1   66.73％   72.54％   74.68％   76.77％   79.48％   81.47％
 产品2   92.81％   94.53％   94.97％   95.39％   95.87％   96.16％
查全率：
  项目  5选查全率   10选查全率   20选查全率   50选查全率  100选查全率
 产品1   72.54％   74.68％   76.77％   79.48％   81.47％
 产品2   96.60％   97.65％   0.9805％   0.9887％   0.9943％
正确报警率：
  项目   错误报警率在1％时正确报警率   错误报警率在1％时正确报警率   错误报警率在1％时正确报警率   错误报警率在1％时正确报警率   错误报警率在1％时正确报警率
 产品1   30.390％   41.692％   48.102％   52.755％   56.323％
 产品2   87.558％   88.727％   89.317％   89.804％   90.184％
本发明中特征模板提取单元和比对单元均由多个计算机组成，测试过程中进行特征模板提取时，采取多机多进程并行运算的模式，而且每个计算机同时运行多个建模进程；在进行特征比对时，采取多机并行比对的方式，比对单元中所有计算机同时进行比对，这大大加快了比对速度。同时，本发明特征模板提取单元和比对单元均是模块化的结构，彼此相互独立，二者可以分开独立运行。在对多个人脸识别产品进行测试过程中，可以在一个被测人脸识别产品在进行特征模板比对时，另外一个被测人脸识别产品进行特征模板提取，又节省了测试时间。
本发明中的测试方法中由于查询库A中对应人员的图像样本均匀分布在目标库中，在特征模板加载到本地内存时，比对单元各个比对计算机平均加载目标库对应的所有特征模板，比对单元各个计算机生成本地比对结果和汇总后的比对结果。在进行比对结果统计时，可用统计比对单元中各个比对计算机的比对结果、统计任意两个比对计算机的汇总结果、任意三个、…、和所有比对计算机的汇总结果，并计算相应的测试指标、绘制相应性能曲线。
上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计方案前提下，本领域中普通工程技术人员对本发明的技术方案做出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (9)

1.一种千万级一对多人脸识别产品的测试系统，包括计算机结构和数据库结构，其特征在于，所述计算机结构和数据库结构设置：
一个图像数据存储单元(1)及与其相连的图像数据库(10)：用于存储测试人脸识别产品的所有图像样本；
一个模板数据存储单元(2)及与其相连的模板数据库(20)：用于存储被测人脸识别产品生成的特征模板；
一个结果数据存储单元(3)及与其相连的结果数据库(30)：用于存储被测人脸识别产品比对的结果数据；
一个特征模板提取单元(4)：用于提取所述图像数据库(10)中被测图像样本的特征模板，特征模板提取完成后，把特征模板通过所述模板数据存储单元(2)存储到所述模板数据库(20)中；
一个比对请求单元(6)：用于发送比对指令；
一个比对单元(5)：用于将所述模板数据库(20)中的特征模板数据装载到本地内存中，同时接受所述比对请求单元(6)发送的比对指令，在本地进行比对，在比对完成后把比对结果数据通过所述结果数据存储单元(3)存储到所述结果数据库(30)中；
所述特征模板提取单元(4)与所述图像数据存储单元(1)和模板数据存储单元(2)分别相互连接，所述比对请求单元(6)与所述比对单元(5)相连，所述比对单元(5)与所述模板数据存储单元(2)和结果数据存储单元(3)分别相互连接；
其中，所述比对单元(5)设置一对多特征比对模板，所述一对多特征比对模板用于获取至少包括查询速度、内存加载时间、正确报警率、查全率和漏报率的测试指标。
2.根据权利要求1所述的千万级一对多人脸识别产品的测试结构，其特征在于，图像数据存储单元(1)、模板数据存储单元(2)、结果数据存储单元(3)、特征模板提取单元(4)、比对单元(5)、比对请求单元(6)分别为一台计算机或由通过网络连接的多个计算机组成。
3.根据权利要求1或2所述的千万级一对多人脸识别产品的测试系统，其特征在于，其中每个所述特征模板提取单元(4)设置用于同时运行多个建模进程的若干个计算机，每个建模进程分别提取所述图像数据库(10)中被测图像样本的特征模板，并存储到所述模板数据存储单元(2)。
4.根据权利要求3所述的千万级一对多人脸识别产品的测试系统，其特征在于，其中所述比对单元(5)存储到所述结果存储单元(3)中的比对结果数据按照比对结果协议规定采用统一数据结构存储包括所有计算机的比对结果数据和汇总后的比对结果数据。
5.一种千万级一对多人脸识别产品的测试方法，包括：
建库步骤，挑选测试样本，组件测试样本库，并把测试样本库存放到图像数据库中；
被测产品提交步骤，被测产品按照测试协议提交到测试系统，测试协议主要包括测试接口协议和比对结果存储协议；
特征模板提取步骤，被测产品对测试样本库中目标库图像进行特征模板提取，并把特征模板存储到模板数据库中；
特征模板加载步骤，被测产品从模板数据库中把特征模板平均加载到比对单元计算机的本地内存；
比对步骤，用待测人脸识别产品对测试样本库进行比对，得到比对结果，并把比对结果存储到结果数据库中；
结果统计步骤，对比对步骤生成的比对结果进行统计，计算测试指标，绘制性能曲线。
6.根据权力要求5所述的千万级一对多人脸识别产品测试方法，其特征在于：在所述建库步骤中，所述测试样本库设置目标库、查询库A和查询库B，查询库A中被测人员至少有一幅图像在目标库中，查询库B中被测人员不在目标库内，查询库A中被测人员的图像在去相关性后均匀分布在目标库中。
7.根据权力要求6所述的千万级一对多人脸识别产品测试方法，其特征在于：在所述特征模板加载步骤中，被测产品的特征模板均匀分配到各个比对计算机本地内存中。
8.根据权力要求7所述的千万级一对多人脸识别产品测试方法，其特征在于：在所述比对步骤中，比对单元中每个比对计算机把各自的比对结果和总汇后的比对结果按照测比对结果存储协议规定的数据结构存储到结果数据存储单元中的结果数据库中。
9.根据权力要求8所述的千万级一对多人脸识别产品测试方法，其特征在于：在所述结果统计步骤中统计比对单元中各个比对计算机的比对结果，并计算相应的测试指标、绘制相应性能曲线；统计比对单元中任意两个比对计算机的汇总结果，并计算相应的测试指标、绘制相应性能曲线；依次类推，统计所有比对计算机的汇总结果，并计算相应的测试指标、绘制相应性能曲线。
CN200910089906A 2009-07-28 2009-07-28 千万级一对多人脸识别产品的测试系统与测试方法 Pending CN101615196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200910089906A CN101615196A (zh) 2009-07-28 2009-07-28 千万级一对多人脸识别产品的测试系统与测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910089906A CN101615196A (zh) 2009-07-28 2009-07-28 千万级一对多人脸识别产品的测试系统与测试方法

Publications (1)

Publication Number Publication Date
CN101615196A true CN101615196A (zh) 2009-12-30

Family

ID=41494838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910089906A Pending CN101615196A (zh) 2009-07-28 2009-07-28 千万级一对多人脸识别产品的测试系统与测试方法

Country Status (1)

Country Link
CN (1) CN101615196A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591863A (zh) * 2011-01-06 2012-07-18 上海银晨智能识别科技有限公司 比对系统中的数据处理方法及装置
CN103810663A (zh) * 2013-11-18 2014-05-21 北京航天金盾科技有限公司 一种基于人像识别的人口数据清理方法
CN104097611A (zh) * 2014-07-30 2014-10-15 中山艺展装饰工程有限公司 基于人脸识别技术多重身份验证的汽车防盗系统
CN104298753A (zh) * 2014-10-17 2015-01-21 重庆市云日信息技术有限公司 基于人脸图像处理的人才测评方法
CN104866839A (zh) * 2015-06-03 2015-08-26 北京释码大华科技有限公司 一种用于测试虹膜识别设备性能的测试装置和方法
CN106778684A (zh) * 2017-01-12 2017-05-31 易视腾科技股份有限公司 深度神经网络训练方法及人脸识别方法
CN107977647A (zh) * 2017-12-20 2018-05-01 上海依图网络科技有限公司 一种适合公安实战的人脸识别算法评测方法
CN108235769A (zh) * 2018-01-15 2018-06-29 福建联迪商用设备有限公司 一种人脸识别设备的性能测试方法及测试装置
CN108874657A (zh) * 2017-07-18 2018-11-23 北京旷视科技有限公司 对人脸识别主机进行测试的方法、装置及计算机存储介质
CN109446081A (zh) * 2018-10-22 2019-03-08 江苏满运软件科技有限公司 用于html5网页的测试方法、系统、设备以及介质
CN109492523A (zh) * 2018-09-17 2019-03-19 深圳壹账通智能科技有限公司 人脸识别系统性能测试方法、装置、设备和存储介质
CN109558833A (zh) * 2018-11-28 2019-04-02 厦门市巨龙信息科技有限公司 一种人脸识别算法评测方法以及装置
CN109740457A (zh) * 2018-12-20 2019-05-10 杭州当虹科技股份有限公司 一种人脸识别算法评测方法
CN109783692A (zh) * 2019-01-08 2019-05-21 深圳英飞拓科技股份有限公司 一种快数据和慢数据结合的目标特征码比对方法和装置
CN113255599A (zh) * 2021-06-29 2021-08-13 成都考拉悠然科技有限公司 一种自定义人流量测试人脸布控率系统及其方法
WO2022001096A1 (zh) * 2020-06-30 2022-01-06 公安部第三研究所 一种面向人脸识别设备检测的人脸测试数据库管理系统及方法
CN115601799A (zh) * 2022-09-09 2023-01-13 广州市盛通建设工程质量检测有限公司（Cn） 一种基于人脸识别的评测方法、系统、设备及存储介质

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591863A (zh) * 2011-01-06 2012-07-18 上海银晨智能识别科技有限公司 比对系统中的数据处理方法及装置
CN103810663A (zh) * 2013-11-18 2014-05-21 北京航天金盾科技有限公司 一种基于人像识别的人口数据清理方法
CN103810663B (zh) * 2013-11-18 2017-09-26 北京航天金盾科技有限公司 一种基于人像识别的人口数据清理方法
CN104097611A (zh) * 2014-07-30 2014-10-15 中山艺展装饰工程有限公司 基于人脸识别技术多重身份验证的汽车防盗系统
CN104298753A (zh) * 2014-10-17 2015-01-21 重庆市云日信息技术有限公司 基于人脸图像处理的人才测评方法
CN104298753B (zh) * 2014-10-17 2017-07-28 重庆市云日信息技术有限公司 基于人脸图像处理的人才测评方法
CN104866839A (zh) * 2015-06-03 2015-08-26 北京释码大华科技有限公司 一种用于测试虹膜识别设备性能的测试装置和方法
CN106778684A (zh) * 2017-01-12 2017-05-31 易视腾科技股份有限公司 深度神经网络训练方法及人脸识别方法
CN108874657A (zh) * 2017-07-18 2018-11-23 北京旷视科技有限公司 对人脸识别主机进行测试的方法、装置及计算机存储介质
CN107977647A (zh) * 2017-12-20 2018-05-01 上海依图网络科技有限公司 一种适合公安实战的人脸识别算法评测方法
CN107977647B (zh) * 2017-12-20 2020-09-04 上海依图网络科技有限公司 一种适合公安实战的人脸识别算法评测方法
CN108235769B (zh) * 2018-01-15 2020-01-21 福建联迪商用设备有限公司 一种人脸识别设备的性能测试方法及测试装置
CN108235769A (zh) * 2018-01-15 2018-06-29 福建联迪商用设备有限公司 一种人脸识别设备的性能测试方法及测试装置
CN109492523A (zh) * 2018-09-17 2019-03-19 深圳壹账通智能科技有限公司 人脸识别系统性能测试方法、装置、设备和存储介质
CN109446081A (zh) * 2018-10-22 2019-03-08 江苏满运软件科技有限公司 用于html5网页的测试方法、系统、设备以及介质
CN109558833A (zh) * 2018-11-28 2019-04-02 厦门市巨龙信息科技有限公司 一种人脸识别算法评测方法以及装置
CN109740457B (zh) * 2018-12-20 2021-07-13 杭州当虹科技股份有限公司 一种人脸识别算法评测方法
CN109740457A (zh) * 2018-12-20 2019-05-10 杭州当虹科技股份有限公司 一种人脸识别算法评测方法
CN109783692A (zh) * 2019-01-08 2019-05-21 深圳英飞拓科技股份有限公司 一种快数据和慢数据结合的目标特征码比对方法和装置
CN109783692B (zh) * 2019-01-08 2021-12-31 深圳英飞拓科技股份有限公司 一种快数据和慢数据结合的目标特征码比对方法和装置
WO2022001096A1 (zh) * 2020-06-30 2022-01-06 公安部第三研究所 一种面向人脸识别设备检测的人脸测试数据库管理系统及方法
CN113255599A (zh) * 2021-06-29 2021-08-13 成都考拉悠然科技有限公司 一种自定义人流量测试人脸布控率系统及其方法
CN115601799A (zh) * 2022-09-09 2023-01-13 广州市盛通建设工程质量检测有限公司（Cn） 一种基于人脸识别的评测方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN101615196A (zh) 千万级一对多人脸识别产品的测试系统与测试方法
Jiang et al. Dimboost: Boosting gradient boosting decision tree to higher dimensions
CN104572122A (zh) 一种软件应用数据的生成装置及方法
CN112882699B (zh) 基于流程配置引擎的业务处理方法、装置、设备及介质
CN112100219B (zh) 基于数据库查询处理的报表生成方法、装置、设备和介质
CN101908015A (zh) 一种基于构件生成测试案例的装置及方法
CN114119058B (zh) 用户画像模型的构建方法、设备及存储介质
KR101035038B1 (ko) 분류기의 동적 결합에 의한 대용량 분류기 자동 생성 시스템 및 방법
CN109740129B (zh) 基于区块链的报表生成方法、装置、设备及可读存储介质
CN111427911A (zh) 数据查询方法、装置、计算机设备和存储介质
CN115760258A (zh) 投标文件智能生成方法、系统、计算机装置和存储介质
CN112667612A (zh) 一种数据质量检核方法、装置、电子设备及存储介质
CN113672692B (zh) 数据处理方法、装置、计算机设备和存储介质
CN111767192A (zh) 基于人工智能的业务数据检测方法、装置、设备和介质
CN114741368A (zh) 基于人工智能的日志数据统计方法及相关设备
CN112860850B (zh) 人机交互方法、装置、设备及存储介质
CA3144122A1 (en) Data verifying method, device and system
CN111723129B (zh) 报表生成方法、报表生成装置和电子设备
CN111859985A (zh) Ai客服模型测试方法、装置、电子设备及存储介质
CN112836041A (zh) 人员关系分析方法、装置、设备及存储介质
Retnowo Multithread to Accelerate Process Data Sync Using MapReduce Model Programming
CN116049700B (zh) 基于多模态的运检班组画像生成方法及装置
CN111753331B (zh) 数据漂白方法和装置
CN115529219B (zh) 告警分析方法、装置、计算机可读存储介质及电子设备
CN115795135A (zh) 新增对象的重复检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20091230