CN106934328A - 一种人脸检测算法的评估方法及装置 - Google Patents

一种人脸检测算法的评估方法及装置 Download PDF

Info

Publication number
CN106934328A
CN106934328A CN201511023206.7A CN201511023206A CN106934328A CN 106934328 A CN106934328 A CN 106934328A CN 201511023206 A CN201511023206 A CN 201511023206A CN 106934328 A CN106934328 A CN 106934328A
Authority
CN
China
Prior art keywords
face
rate
facial image
image sample
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511023206.7A
Other languages
English (en)
Inventor
陈书楷
杨奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Central Intelligent Information Technology Co., Ltd.
Original Assignee
Xiamen Zhongkong Biological Recognition Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Zhongkong Biological Recognition Information Technology Co Ltd filed Critical Xiamen Zhongkong Biological Recognition Information Technology Co Ltd
Priority to CN201511023206.7A priority Critical patent/CN106934328A/zh
Publication of CN106934328A publication Critical patent/CN106934328A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种人脸检测算法的评估方法及装置,用于确保人脸图像检测的准确率。本发明实施例方法包括:获取待评估的人脸检测算法,利用所述人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果;其中,所述性能检测结果包括人脸检测率、人脸虚警率、人脸拒识率和人脸误检率;判断所述性能检测结果是否符合预设条件;当所述性能检测结果符合预设条件时,确定所述人脸检测算法适用于检测人脸图像;利用所述人脸检测算法,对待检测图像进行人脸检测,所述待检测图像为人脸图像或者非人脸图像。

Description

一种人脸检测算法的评估方法及装置
技术领域
本发明涉及计算机信息处理技术领域,具体涉及一种人脸检测算法的评估方法及装置。
背景技术
人脸检测(Face Detection)是自动人脸识别系统中的一个关键环节,主要实现的是在一张图像上寻找人脸。人脸检测中需要克服两方面难点:一方面是由于人脸内在变化引起的细节变化,如不同表情下的眼、嘴等变化,或者是头发、眼睛等对人脸的遮挡;二方面是外在条件所引起的人脸变化,如不同成像角度造成人脸的多姿态,光照影响造成的图像亮度、对比度的变化和阴影等,以及摄像设备的成像条件如焦距、成像距离等。
目前,人脸检测算法比较多,但是其算法性能的优劣各有不同,当算法性能太差时,会导致较高的误检率等。在人脸检测算法运用在人脸图像检测之前,都会经过算法性能评估,以确保算法性能。
发明内容
本发明实施例提供了一种人脸检测算法的评估方法及装置,以确保人脸图像检测的准确率。
本发明第一方面提供了一种人脸检测算法的评估方法,可包括:
获取待评估的人脸检测算法,利用所述人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果;其中,所述性能检测结果包括人脸检测率、人脸虚警率、人脸拒识率和人脸误检率;
判断所述性能检测结果是否符合预设条件;
当所述性能检测结果符合预设条件时,确定所述人脸检测算法适用于检测人脸图像;
利用所述人脸检测算法,对待检测图像进行人脸检测,所述待检测图像为人脸图像或者非人脸图像。
可以看出,在本发明实施例中在某一个人脸检测算法准备启用之前,通过对该人脸检测算法进行性能评估。首先,获取到待评估的人脸检测算法,利用人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果,性能检测结果主要包括人脸检测率、人脸虚警率、人脸拒识率和人脸误检率,其中,在性能检测结果符合预设条件时,确定人脸检测算法适用于检测人脸图像,进而可以利用该人脸检测算法去检测待检测人脸图像,以确保人脸检测的准确率。
在本发明一些实施例中,所述利用所述人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果包括:利用所述人脸检测算法检测人脸测试库中的人脸图像样本,得到所述人脸检测率和所述人脸虚警率,以及检测非人脸测试库中的非人脸图像样本,得到所述人脸拒识率和所述人脸误检率,结合所述人脸检测率、所述人脸虚警率、所述人脸拒识率和所述人脸误检率得到所述性能检测结果。
在本发明一些实施例中,所述人脸检测率的计算公式为:
所述人脸虚警率的计算公式为:
其中,所述TPR为人脸检测率,所述FPR为人脸误检率,所述Hits为在人脸图像样本上检测到与人脸图像样本上的标注相符合的人脸图像样本的数量,所述Missed1为在人脸图像样本上没有检测到人脸的数量,所述False1为在人脸图像样本上检测到与人脸图像样本上的标注不符合的人脸图像样本的数量;
所述人脸拒识率的计算公式为:
所述人脸误检率的计算公式如下:
其中,所述MFR为人脸拒识率,所述FFR人脸误检率,所述False2为在非人脸图像样本上检测到人脸的数量,所述Missed2为在非人脸图像样本上没有检测到人脸的数量,所述ImgNum为非人脸图像样本的总数。
在本发明一些实施例中,所述Hits和Missed1根据Logval获取得到,所述Logval用于表示检测的人脸图像样本与人脸图像样本中的标注的符合情况,其中,当Logval=1时,所述Hits加1,当所述Logval=0时,所述Missed1加1;
所述Logval计算公式如下:
其中,所述A(L)表示人脸图像样本中实际的人脸矩形面积,所述A(D)表示在人脸图像样本中检测到的人脸矩形面积,所述S(D,L)为人脸区域匹配度,A(D)∩A(L)为检测到的人脸区域与人脸图像样本中标注的人脸区域的重叠区域,A(D)∪A(L)为检测到的人脸区域和人脸图像样本中标注的人脸区域相并后的总区域。
可选地,上述X在[0,1]期间内取值,在S(D,L)越接近1时,说明从人脸图像样本中检测到人脸区域的准确性越可靠,使得性能检测结果符合预设条件的越少,以确保用于人脸检测的人脸检测算法的可信度得到保障。
在本发明一些实施例中,所述判断所述性能检测结果是否符合预设条件包括:判断所述人脸检测率是否大于或者等于第一预设值,且所述人脸虚警率是否小于或者等于第二预设值;和/或,判断所述人脸拒识率是否大于或等于第三预设值,且所述人脸误检率是否小于或等于第四预设值。
在本发明一些实施例总,所述当所述性能检测结果符合预设条件时,确定所述人脸检测算法适用于检测人脸图像包括:当所述人脸检测率大于或者等于第一预设值且人脸虚警率小于或者等于第二预设值时,和/或,当所述人脸拒识率大于或等于第三预设值且所述人脸误检率小于或等于第四预设值时,确定所述人脸检测算法适用于检测人脸图像。
本发明第二方面提供了一种人脸检测算法的评估装置,可包括:
测试样本模块,用于获取待评估的人脸检测算法;
算法检测模块,用于利用所述人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果;其中,所述性能检测结果包括人脸检测率、人脸虚警率、人脸拒识率和人脸误检率;
算法评估模块,用于判断所述性能检测结果是否符合预设条件,当所述性能检测结果符合预设条件时,确定所述人脸检测算法适用于检测人脸图像;
图像检测模块,用于利用所述人脸检测算法,对待检测图像进行人脸检测,所述待检测图像为人脸图像或者非人脸图像。
在本发明一些实施例中,上述算法检测模块具体用于,利用所述人脸检测算法检测人脸测试库中的人脸图像样本,得到所述人脸检测率和所述人脸虚警率,以及检测非人脸测试库中的非人脸图像样本,得到所述人脸拒识率和所述人脸误检率,结合所述人脸检测率、所述人脸虚警率、所述人脸拒识率和所述人脸误检率得到所述性能检测结果。
在本发明一些实施例中,上述算法检测模块具体用于,利用上述人脸检测算法检测人脸测试库中的人脸图像样本,得到上述人脸检测率和上述人脸虚警率,以及检测非人脸测试库中的非人脸图像样本,得到上述人脸拒识率和上述人脸误检率,结合上述人脸检测率、上述人脸虚警率、上述人脸拒识率和上述人脸误检率得到上述性能检测结果。
在本发明一些实施例中,上述人脸检测率的计算公式为:
上述人脸虚警率的计算公式为:
其中,上述TPR为人脸检测率,上述FPR为人脸误检率,上述Hits为在人脸图像样本上检测到与人脸图像样本上的标注相符合的人脸图像样本的数量,上述Missed1为在人脸图像样本上没有检测到人脸的数量,上述False1为在人脸图像样本上检测到与人脸图像样本上的标注不符合的人脸图像样本的数量;
上述人脸拒识率的计算公式为:
上述人脸误检率的计算公式如下:
其中,上述MFR为人脸拒识率,上述FFR为人脸误检率,上述False2为在非人脸图像样本上检测到人脸的数量,上述Missed2为在非人脸图像样本上没有检测到人脸的数量,上述ImgNum为非人脸图像样本的总数。
在本发明一些实施例中,上述Hits和Missed1根据Logval获取得到,上述Logval用于表示检测的人脸图像样本与人脸图像样本中的标注的符合情况,其中,当Logval=1时,上述Hits加1,当上述Logval=0时,上述Missed1加1;
上述Logval计算公式如下:
其中,上述A(L)表示人脸图像样本中实际的人脸矩形面积,上述A(D)表示在人脸图像样本中检测到的人脸矩形面积,上述S(D,L)表示人脸区域匹配度。
可选地,上述X在[0,1]期间内取值,在S(D,L)越接近1时,说明从人脸图像样本中检测到人脸区域的准确性越可靠,使得性能检测结果符合预设条件的越少,以确保用于人脸检测的人脸检测算法的可信度得到保障。
在本发明一些实施例中,上述算法评估模块具体用于,判断上述人脸检测率是否大于或者等于第一预设值,且上述人脸虚警率是否小于或者等于第二预设值;和/或,判断上述人脸拒识率是否大于或等于第三预设值,且上述人脸误检率小于或等于第四预设值。
在本发明一些实施例中,上述算法评估模块具体用于,当上述人脸检测率大于或者等于第一预设值且人脸虚警率小于或者等于第二预设值时,和/或,当上述人脸拒识率大于或等于第三预设值且上述人脸误检率小于或等于第四预设值时,确定上述人脸检测算法适用于检测人脸图像。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸检测算法的评估方法的流程示意图;
图2为本发明一些实施例提供的ROC曲线图;
图3为本发明另一些实施例提供的ROC曲线图;
图4为本发明另一些实施例提供的ROC曲线图;
图5为本发明一些实施例提供的MFR与FFR的坐标系图;
图6为本发明一些实施例提供的人脸检测算法的评估装置的结构示意图。
具体实施方式
下面将结合本发明实施例的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种人脸检测算法的评估方法,用于对人脸检测算法进行评估,以确保人脸检测的准确率。本发明还提供了一种人脸检测算法的评估方法对应的装置。
本发明实施例提供的人脸检测算法的评估方法可以适用于评估各种人脸检测算法,包括比较常见的开源代码Pico算法,欧洲一个研究团队提供的IFface算法,深圳市中控生物识别技术有限公司提供的ZKface算法,当然,还可以适用于其他人脸检测算法,如Adaboost算法、cart算法等。本发明实施例中将会以ZKface算法、Pico算法和IFface算法作为例子进行详细介绍。
在本发明实施例中对人脸检测算法进行性能评估,主要使用该人脸检测算法去检测人脸测试库中的人脸图像样本(人脸图像样本集)和非人脸测试库中的非人脸图像样本(非人脸图像样本集)。人脸测试库和非人脸测试库可以从国内外公开的人脸或非人脸数据库中选取。对于人脸测试库的人脸图像样本,每幅人脸图像样本只包含一张人脸,对人的年龄、性别、民族、肤色、体型和身高等情况无限制要求,对于人脸姿态无限制要求,对于人脸图像样本受光照变化无限制要求,对于人脸遮挡情况有限制要求,如遮挡区域不大于整张人脸的一半。对于非人脸测试库的非人脸图像样本,每幅非人脸图像样本不能包含人脸。人脸图像样本集和非人脸图像样本集的总量不能少于3个,其中,非人脸图像样本集的个数不能少于1个,并且,每个样本集中所包括的样本不少于1500张,也就是说,人脸图像样本包括3000张及以上,非人脸图像样本包括1500张及以上。
其中,人脸测试库使用的是红外单张人脸测试库face3库、FDDB单张人脸测试库wild-2003库和MPLAB单张人脸测试库GENKI-SZSL库。非人脸测试库使用scenery库。使用待评估的人脸检测算法分别去检测红外单张人脸测试库face3库、FDDB单张人脸测试库wild-2003库和MPLAB单张人脸测试库GENKI-SZSL库中的人脸图像样本,具体是检测人脸检测率(True PositiveRate,简称TPR)和人脸虚警率(False Positive Rate,简称FPR)。然后使用待评估的人脸检测算法去检测非人脸测试库使用scenery库中的非人脸图像样本,具体是检测人脸拒识率(Missed Face Rate,简称MFR)和人脸误检率(FalseFace Rate,简称FFR)。TPR、FPR、MFR和FFR能够反映人脸检测算法的性能,从而能够评估该人脸检测算法的优势。
下面将以具体实施例,详细介绍本发明的技术方案。
请参阅图1,图1为本发明实施例提供的人脸检测算法的评估方法的流程示意图;如图1所示,一种人脸检测算法的评估方法可包括:
101、获取待评估的人脸检测算法,利用所述人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果;其中,所述性能检测结果包括人脸检测率、人脸虚警率、人脸拒识率和人脸误检率;
根据上述介绍,在一些实施例中步骤101包括:利用所述人脸检测算法检测人脸测试库中的人脸图像样本,得到所述人脸检测率和所述人脸虚警率,以及检测非人脸测试库中的非人脸图像样本,得到所述人脸拒识率和所述人脸误检率,结合所述人脸检测率、所述人脸虚警率、所述人脸拒识率和所述人脸误检率得到所述性能检测结果。
需要说明,在利用待评估的人脸检测算法对人脸图像样本进行检测时,需要记录以下几个参数:
检测总数,记录被检测的人脸图像样本的总数;
人脸检测数量(Hits),在人脸图像样本上能够检测出来与人脸图像样本上的标注相符合的人脸图像样本的数量;
人脸漏检数量(Missed1),在人脸图像样本上没有检测到人脸的数量;
人脸误检数量(False1),在人脸图像样本上检测到与人脸图像样本上的标注不符合的人脸图像样本的数量。
其中,检测总数等于Hits和Missed1的总数。
基于上述几个参数,那么TPR的计算公式如下:
FPR的计算公式如下:
同样,在利用待评估的人脸检测算法对非人脸图像样本进行检测时,记录以下几个参数:
检测总数(ImgNum),为非人脸图像样本的总数;
人脸漏检数量(Missed2),为在非人脸图像样本上没有检测到人脸的数量;
人脸误检数量(False2),为在非人脸图像样本上检测到人脸的数量。
基于上述几个参数,那么MFR的计算公式如下:
FFR的计算公式如下:
其中,在上述记录Hits和Missed时,主要根据下面公式进行记录:
其中,所述A(L)表示人脸图像样本中实际的人脸矩形面积,所述A(D)表示在人脸图像样本中检测到的人脸矩形面积,所述S(D,L)为人脸区域匹配度,A(D)∩A(L)为检测到的人脸区域与人脸图像样本中标注的人脸区域的重叠区域,A(D)∪A(L)为检测到的人脸区域和人脸图像样本中标注的人脸区域相并后的总区域。
可选地,上述X在[0,1]期间内取值,在S(D,L)越接近1时,说明从人脸图像样本中检测到人脸区域的准确性越可靠,使得性能检测结果符合预设条件的越少,以确保用于人脸检测的人脸检测算法的可信度得到保障。
也就是说,若对某张人脸图像样本进行检测(该人脸图像样本会有标注指示该人脸图像样本中人脸的矩形面积,对于人脸图像样本中的标注所指示的人脸矩形面积肯定会大于整张人脸图像样本的面积的一半,具体人脸矩形面积视实际情况而定),若检测到人脸图像样本的人脸矩形面积A(D)与该人脸图像样本中标注的人脸矩形面积A(L)的重叠区域,与A(D)和A(L)的和的比值大于X,则说明检测到与人脸图像样本标注相符合,反之,则说明检测到与人脸图像样本标注不符合。在符合时,将Logval取值为1,则Hits加1,在不符合时,将Logval取值为0,则Missed1加1。
102、判断所述性能检测结果是否符合预设条件;
需要说明,在步骤102中判断性能检测结果是否符合预设条件是指对其中TPR、FPR、MFR和FFR的判断。
其中包括判断所述人脸检测率是否大于或者等于第一预设值,且所述人脸虚警率是否小于或者等于第二预设值;和/或,判断所述人脸拒识率是否大于或等于第三预设值,且所述人脸误检率是否小于或等于第四预设值。
103、当所述性能检测结果符合预设条件时,确定所述人脸检测算法适用于检测人脸图像;
具体地,在人脸检测率大于或者等于第一预设值且人脸虚警率小于或者等于第二预设值时,和/或,人脸拒识率大于或等于第三预设值且人脸误检率小于或等于第四预设值时,确定人脸检测算法适用于检测人脸图像。
也就是说,预设条件为人脸检测算法的人脸检测率大于或者等于第一预设值且人脸虚警率小于或者等于第二预设值,或者是人脸检测算法的人脸拒识率大于或等于第三预设值且所述人脸误检率小于或等于第四预设值,或者是同时满足人脸检测算法的人脸检测率大于或者等于第一预设值且人脸虚警率小于或者等于第二预设值,和人脸检测算法的人脸拒识率大于或等于第三预设值且所述人脸误检率小于或等于第四预设值。
其中,第一预设值、第二预设值、第三预设值和第四预设值的取值范围,以及确定方式将在后续介绍,在此不再赘述。
104、利用所述人脸检测算法,对待检测图像进行人脸检测,所述待检测图像为人脸图像或者非人脸图像。
可以看出,在本发明实施例中在某一个人脸检测算法准备启用之前,通过对该人脸检测算法进行性能评估。首先,获取到待评估的人脸检测算法,利用人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果,性能检测结果主要包括人脸检测率、人脸虚警率、人脸拒识率和人脸误检率,其中,在性能检测结果符合预设条件时,确定人脸检测算法适用于检测人脸图像,进而可以利用该人脸检测算法去检测待检测人脸图像,以确保人脸检测的准确率。
下面将以ZKface算法、Pico算法和IFface算法为例,对本发明实施例提供的检测算法的评估方法进行进一步介绍。
依次利用ZKface算法、Pico算法和IFface算法,按照图1所示的步骤对人脸图像样本和非人脸图像样本进行检测,检测结果分为如下4种情况:
第1种:在对红外单张人脸测试库face3库的人脸图像样本进行检测时,IFace算法的TPR为91.770%,FPR为6.895%;ZKface算法的TPR为99.307%,FPR为0.287%;Pico算法的TPR为91.009%,FPR为10.259%。
第2种:在对FDDB单张人脸测试库wild-2003库的人脸图像样本进行检测时,IFace算法的TPR为24.760%,FPR为31.414%;ZKface算法的TPR为96.417%,FPR为0.000%;Pico算法的TPR为79.974%,FPR为20.346%。
第3种:在对MPLAB单张人脸测试库GENKI-SZSL库的人脸图像样本进行检测时,IFace算法的TPR为25.514%,FPR为3.114%;ZKface算法的TPR为78.486%,FPR为1.343%;Pico算法的TPR为51.943%,FPR为6.514%。
第4种:在对scenery库中的非人脸图像样本进行检测时,IFace算法的MFR为99.789%,FFR为0.211%;ZKface算法的MFR为100.000%,FFR为0.000%;Pico算法的MFR为100.000%,FPR为0.000%。
采用特征曲线(receiver operating characteristic curve,简称ROC)对上述三种算法的情况进行分析(主要是对三种算法用于检测人脸图像样本得到的检测结果进行分析),其中,横坐标为FPR,纵坐标为TPR,上述三种算法中FPR值与横坐标建立对应关系采用如下公式:
MiN(detinx,ImgNum-1)
TPR值与纵坐标建立对应关系采用如下公式
MiN(refinx,ImgNum-1)
其中,refinx=Max(refinx,detinx),detinx=Conf×(ImgNum/Maxconf)。
其中,MiN和Max分别表示最小值和最大值,detinx为检测到人脸的人脸图像样本的索引(若检测某一个人脸图像样本时,在该人脸图像样本中检测到人脸,给该人脸图像样本的索引赋值),refinx为人脸图像样本中标注的索引(每个人脸测试库的人脸图像样本都对应一个索引),其初始值为0。Conf为当前被检测到的人脸图样样本的置信度,Maxconf为在检测所有人脸图像样本中最大的置信度。置信度是指置信度也称为可靠度,或置信水平、置信系数,即在抽样对总体参数作出估计时,由于样本的随机性,其结论总是不确定的。因此,采用一种概率的陈述方法,也就是数理统计中的区间估计法,即估计值与总体参数在一定允许的误差范围以内,其相应的概率有多大,这个相应的概率称作置信度。
根据上述坐标建立关系,第1种检测结果对应的ROC曲线如图2所示,第2种检测结果对应的ROC曲线如图3所示,第3种检测结果对应的ROC曲线如图4所示。从图2、图3和图4可以看出,ROC曲线下面积越大,TPR准确率越高。
根据图2、图3和图4的ROC曲线可以看出如下性能评估:
a)当TPR≥95%,FPR≤3%时,判定人脸检测算法性能较优;
b)当90%≤TPR<95%,3%<FPR≤11%时,判定人脸检测算法性能为良;
c)当75%≤TPR<90%,11%<FPR≤20%时,判定人脸检测算法性能一般;
d)当TPR<75%,FPR>20%时,判定人脸检测算法性能为差。
根据该判定方式,对第1种检测结果判断如下:
序号 人脸检测算法 TPR检测结果 FPR检测结果 性能判定
1 IFace 91.770% 6.895%
2 ZKface 99.307% 0.287%
3 Pico 91.009% 10.259%
根据该判定方式,对第2种检测结果判断如下:
序号 人脸检测算法 TPR检测结果 FPR检测结果 性能判定
1 IFace 24.760% 31.414%
2 ZKface 96.417% 0.000%
3 Pico 79.974% 20.346% 一般
根据该判定方式,对第3种检测结果判断如下:
序号 人脸检测算法 TPR检测结果 FPR检测结果 性能判定
1 IFace 25.514% 3.114%
2 ZKface 78.486% 1.343% 一般
3 Pico 51.943% 6.514%
以MFR为纵坐标,FFR为横坐标,对第4种检测结果建立坐标如图5所示,在图5可以看出,MFR/FFR图上点越靠左上角,MFR准确率越高。
结合图5,对于非人脸图像样本的性能评估如下:
a)当MFR≥99%,FFR≤1%时,判定人脸检测算法性能为优;
b)当95%≤MFR<99%时,1%<FFR≤5%时,判定人脸检测算法性能为良;
c)当90%≤MFR<95%时,5%<FFR≤10%时,判定人脸检测算法性能一般;
d)当MFR<90%,FFR>10%时,判定人脸检测算法性能差。
根据该判断方式,对第4种检测结果判断如下:
结合上述检测,可以知道在人脸测试库进行性能测试中,ZKface算法性能最好,其次是Pico算法,在非人脸测试库库进行性能测试中,ZKface和Pico算法最好。最后结论是ZKface算法性能最好,其次是Pico算法,而IFace算法性能一般。
根据上述评估方法,可以对上述三种人脸检测算法之外的其它人脸检测算法进行评估,以得到更多的检测结果,结合一定数量的检测结果,得到用于人脸检测算法的评估方法中的多个预设值,比如,第一预设值取值为75%,第二预设值取值为20%,第三预设值取值为90%,第四预设值取值为10%。也就是说当人脸检测率大于或等于75%且人脸虚警率小于或等于20%,和/或当人脸拒识率大于或等于90%且人脸误检率小于或等于10%时,认为人脸检测算法可以适用于人脸检测。
可以看出,可以根据本发明实施例提供的人脸检测算法的评估方法对任何的人脸检测算法进行评估,然后根据评估的结果决定是否将该人脸检测算法运用到实际检测工作中。当然,可以在确保人脸检测算法的性能达到良以上才进行运用,以确保人脸检测的准确率。
请参阅图6,图6为本发明实施例提供的人脸检测算法的评估装置的结构示意图;如图6所示,一种人脸检测算法的评估装置可包括:
测试样本模块610,用于获取待评估的人脸检测算法;
算法检测模块620,用于利用所述人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果;其中,所述性能检测结果包括人脸检测率、人脸虚警率、人脸拒识率和人脸误检率;
算法评估模块630,用于判断所述性能检测结果是否符合预设条件,当所述性能检测结果符合预设条件时,确定所述人脸检测算法适用于检测人脸图像;
图像检测模块640,用于利用所述人脸检测算法,对待检测图像进行人脸检测,所述待检测图像为人脸图像或者非人脸图像。
在本发明一些实施例中,上述算法检测模块620具体用于,利用所述人脸检测算法检测人脸测试库中的人脸图像样本,得到所述人脸检测率和所述人脸虚警率,以及检测非人脸测试库中的非人脸图像样本,得到所述人脸拒识率和所述人脸误检率,结合所述人脸检测率、所述人脸虚警率、所述人脸拒识率和所述人脸误检率得到所述性能检测结果。
其中,在本发明一些实施例中,所述人脸检测率的计算公式为:
所述人脸虚警率的计算公式为:
所述TPR为人脸检测率,所述FPR为人脸误检率,所述Hits为在人脸图像样本上检测到与人脸图像样本上的标注相符合的人脸图像样本的数量,所述Missed1为在人脸图像样本上没有检测到人脸的数量,所述False1为在人脸图像样本上检测到与人脸图像样本上的标注不符合的人脸图像样本的数量;
所述人脸拒识率的计算公式为:
所述人脸误检率的计算公式如下:
其中,所述MFR为人脸拒识率,所述FFR为人脸误检率,所述False2为在非人脸图像样本上检测到人脸的数量,所述Missed2为在非人脸图像样本上没有检测到人脸的数量,所述ImgNum为非人脸图像样本的总数。
其中,在上述记录Hits和Missed时,主要根据下面公式进行记录:
其中,所述A(L)表示人脸图像样本中实际的人脸矩形面积,所述A(D)表示在人脸图像样本中检测到的人脸矩形面积,所述S(D,L)为人脸区域匹配度,A(D)∩A(L)为检测到的人脸区域与人脸图像样本中标注的人脸区域的重叠区域,A(D)∪A(L)为检测到的人脸区域和人脸图像样本中标注的人脸区域相并后的总区域。
可选地,上述X在[0,1]期间内取值,在S(D,L)越接近1时,说明从人脸图像样本中检测到人脸区域的准确性越可靠,使得性能检测结果符合预设条件的越少,以确保用于人脸检测的人脸检测算法的可信度得到保障。
在本发明一些实施例中,上述算法评估模块具体630具体用于,判断所述人脸检测率是否大于或者等于第一预设值,且所述人脸虚警率是否小于或者等于第二预设值;和/或,判断所述人脸拒识率是否大于或等于第三预设值,且所述人脸误检率是否小于或等于第四预设值。
在本发明一些实施例中,上述算法评估模块具体630具体用于,当所述人脸检测率大于或者等于第一预设值且人脸虚警率小于或者等于第二预设值时,和/或,当所述人脸拒识率大于或等于第三预设值且所述人脸误检率小于或等于第四预设值时,确定所述人脸检测算法适用于检测人脸图像。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明所提供的一种人脸检测算法的评估方法及装置进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种人脸检测算法的评估方法,其特征在于,包括:
获取待评估的人脸检测算法,利用所述人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果;其中,所述性能检测结果包括人脸检测率、人脸虚警率、人脸拒识率和人脸误检率;
判断所述性能检测结果是否符合预设条件;
当所述性能检测结果符合预设条件时,确定所述人脸检测算法适用于检测人脸图像;
利用所述人脸检测算法,对待检测图像进行人脸检测,所述待检测图像为人脸图像或者非人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述利用所述人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果包括:
利用所述人脸检测算法检测人脸测试库中的人脸图像样本,得到所述人脸检测率和所述人脸虚警率,以及检测非人脸测试库中的非人脸图像样本,得到所述人脸拒识率和所述人脸误检率,结合所述人脸检测率、所述人脸虚警率、所述人脸拒识率和所述人脸误检率得到所述性能检测结果。
3.根据权利要求2所述的方法,其特征在于,
所述人脸检测率的计算公式为:
T P R = H i t s H i t s + M i s s e d 1 &times; 100 %
所述人脸虚警率的计算公式为:
F P R = F a l s e 1 H i t s + M i s s e d 1 &times; 100 %
其中,所述TPR为人脸检测率,所述FPR为人脸误检率,所述Hits为在人脸图像样本上检测到与人脸图像样本上的标注相符合的人脸图像样本的数量,所述Missed1为在人脸图像样本上没有检测到人脸的数量,所述False1为在人脸图像样本上检测到与人脸图像样本上的标注不符合的人脸图像样本的数量;
所述人脸拒识率的计算公式为:
M F R = M i s s e d 2 Im g N u m &times; 100 %
所述人脸误检率的计算公式如下:
F F R = F a l s e 2 Im g N u m &times; 100 %
其中,所述MFR为人脸拒识率,所述FFR为人脸误检率,所述False2为在非人脸图像样本上检测到人脸的数量,所述Missed2为在非人脸图像样本上没有检测到人脸的数量,所述ImgNum为非人脸图像样本的总数。
4.根据权利要求3所述的方法,其特征在于,所述Hits和Missed1根据Logval获取得到,所述Logval用于表示检测到的人脸图像样本与人脸图像样本中的标注的符合情况,其中,当Logval=1时,所述Hits加1,当所述Logval=0时,所述Missed1加1;
所述Logval计算公式如下:
L o g v a l = 1 , S ( D , L ) > X 0 , S ( D , L ) &le; X
S ( D , L ) = A ( D ) &cap; A ( L ) A ( D ) &cup; A ( L )
其中,所述A(L)表示人脸图像样本标注的人脸矩形面积,所述A(D)表示在人脸图像样本中检测到的人脸矩形面积,所述S(D,L)为人脸区域匹配度,A(D)∩A(L)为检测到的人脸区域与人脸图像样本中标注的人脸区域的重叠区域,A(D)∪A(L)为检测到的人脸区域和人脸图像样本中标注的人脸区域相并后的总区域。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述判断所述性能检测结果是否符合预设条件包括:
判断所述人脸检测率是否大于或者等于第一预设值,且所述人脸虚警率是否小于或者等于第二预设值;和/或,
判断所述人脸拒识率是否大于或等于第三预设值,且所述人脸误检率是否小于或等于第四预设值。
6.根据权利要求5所述的方法,其特征在于,所述当所述性能检测结果符合预设条件时,确定所述人脸检测算法适用于检测人脸图像包括:
当所述人脸检测率大于或者等于第一预设值且人脸虚警率小于或者等于第二预设值时,和/或,当所述人脸拒识率大于或等于第三预设值且所述人脸误检率小于或等于第四预设值时,确定所述人脸检测算法适用于检测人脸图像。
7.一种人脸检测算法的评估装置,其特征在于,包括:
测试样本模块,用于获取待评估的人脸检测算法;
算法检测模块,用于利用所述人脸检测算法检测人脸测试库中的人脸图像样本和非人脸测试库中的非人脸图像样本,得到性能检测结果;其中,所述性能检测结果包括人脸检测率、人脸虚警率、人脸拒识率和人脸误检率;
算法评估模块,用于判断所述性能检测结果是否符合预设条件,当所述性能检测结果符合预设条件时,确定所述人脸检测算法适用于检测人脸图像;
图像检测模块,用于利用所述人脸检测算法,对待检测图像进行人脸检测,所述待检测图像为人脸图像或者非人脸图像。
8.根据权利要求7所述的装置,其特征在于,
所述算法检测模块具体用于,利用所述人脸检测算法检测人脸测试库中的人脸图像样本,得到所述人脸检测率和所述人脸虚警率,以及检测非人脸测试库中的非人脸图像样本,得到所述人脸拒识率和所述人脸误检率,结合所述人脸检测率、所述人脸虚警率、所述人脸拒识率和所述人脸误检率得到所述性能检测结果。
9.根据权利要求8所述的装置,其特征在于,
所述人脸检测率的计算公式为:
T P R = H i t s H i t s + M i s s e d 1 &times; 100 %
所述人脸虚警率的计算公式为:
F P R = F a l s e 1 H i t s + M i s s e d 1 &times; 100 %
其中,所述TPR为人脸检测率,所述FPR为人脸误检率,所述Hits为在人脸图像样本上检测到与人脸图像样本上的标注相符合的人脸图像样本的数量,所述Missed1为在人脸图像样本上没有检测到人脸的数量,所述False1为在人脸图像样本上检测到与人脸图像样本上的标注不符合的人脸图像样本的数量;
所述人脸拒识率的计算公式为:
M F R = M i s s e d 2 Im g N u m &times; 100 %
所述人脸误检率的计算公式如下:
F F R = F a l s e 2 Im g N u m &times; 100 %
其中,所述MFR为人脸拒识率,所述FFR为人脸误检率,所述False2为在非人脸图像样本上检测到人脸的数量,所述Missed2为在非人脸图像样本上没有检测到人脸的数量,所述ImgNum为非人脸图像样本的总数。
10.根据权利要求9所述的装置,其特征在于,
所述Hits和Missed1根据Logval获取得到,所述Logval用于表示检测的人脸图像样本与人脸图像样本中的标注的符合情况,其中,当Logval=1时,所述Hits加1,当所述Logval=0时,所述Missed1加1;
所述Logval计算公式如下:
L o g v a l = 1 , S ( D , L ) > X 0 , S ( D , L ) &le; X
S ( D , L ) = A ( D ) &cap; A ( L ) A ( D ) &cup; A ( L )
其中,所述A(L)表示人脸图像样本中实际的人脸矩形面积,所述A(D)表示在人脸图像样本中检测到的人脸矩形面积,所述S(D,L)表示人脸区域匹配度。
11.根据权利要求7~10任一项所述的装置,其特征在于,
所述算法评估模块具体用于,判断所述人脸检测率是否大于或者等于第一预设值,且所述人脸虚警率是否小于或者等于第二预设值;和/或,判断所述人脸拒识率是否大于或等于第三预设值,且所述人脸误检率小于或等于第四预设值。
12.根据权利要求11所述的装置,其特征在于,
所述算法评估模块具体用于,当所述人脸检测率大于或者等于第一预设值且人脸虚警率小于或者等于第二预设值时,和/或,当所述人脸拒识率大于或等于第三预设值且所述人脸误检率小于或等于第四预设值时,确定所述人脸检测算法适用于检测人脸图像。
CN201511023206.7A 2015-12-30 2015-12-30 一种人脸检测算法的评估方法及装置 Pending CN106934328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511023206.7A CN106934328A (zh) 2015-12-30 2015-12-30 一种人脸检测算法的评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511023206.7A CN106934328A (zh) 2015-12-30 2015-12-30 一种人脸检测算法的评估方法及装置

Publications (1)

Publication Number Publication Date
CN106934328A true CN106934328A (zh) 2017-07-07

Family

ID=59441813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511023206.7A Pending CN106934328A (zh) 2015-12-30 2015-12-30 一种人脸检测算法的评估方法及装置

Country Status (1)

Country Link
CN (1) CN106934328A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829600A (zh) * 2018-06-15 2018-11-16 Oppo(重庆)智能科技有限公司 算法库的测试方法、装置、存储介质和电子设备
CN108875474A (zh) * 2017-07-18 2018-11-23 北京旷视科技有限公司 评估人脸识别算法的方法、装置及计算机存储介质
CN108874657A (zh) * 2017-07-18 2018-11-23 北京旷视科技有限公司 对人脸识别主机进行测试的方法、装置及计算机存储介质
CN109063617A (zh) * 2018-07-24 2018-12-21 高新兴科技集团股份有限公司 一种人脸识别算法的分析方法及工具
CN109145752A (zh) * 2018-07-23 2019-01-04 北京百度网讯科技有限公司 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN109472223A (zh) * 2018-10-26 2019-03-15 博康智能信息技术有限公司 一种人脸识别方法和装置
CN109492523A (zh) * 2018-09-17 2019-03-19 深圳壹账通智能科技有限公司 人脸识别系统性能测试方法、装置、设备和存储介质
CN110334722A (zh) * 2019-03-29 2019-10-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和存储介质
CN110335611A (zh) * 2019-07-15 2019-10-15 易诚高科(大连)科技有限公司 一种基于质量维度的声纹识别算法评估方法
CN111738349A (zh) * 2020-06-29 2020-10-02 重庆紫光华山智安科技有限公司 目标检测算法的检测效果评估方法、装置、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1808465A (zh) * 2005-01-21 2006-07-26 中国科学院计算技术研究所 一种人脸检测系统的评测方法及评测系统
US20070242861A1 (en) * 2006-03-30 2007-10-18 Fujifilm Corporation Image display apparatus, image-taking apparatus and image display method
CN103778409A (zh) * 2014-01-02 2014-05-07 深圳市元轩科技发展有限公司 基于人脸特征数据挖掘的人脸识别方法与装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1808465A (zh) * 2005-01-21 2006-07-26 中国科学院计算技术研究所 一种人脸检测系统的评测方法及评测系统
US20070242861A1 (en) * 2006-03-30 2007-10-18 Fujifilm Corporation Image display apparatus, image-taking apparatus and image display method
CN103778409A (zh) * 2014-01-02 2014-05-07 深圳市元轩科技发展有限公司 基于人脸特征数据挖掘的人脸识别方法与装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于鲲: ""人脸检测与识别相关技术研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
徐光柱 等: "《实用性目标检测与跟踪算法原理及应用》", 30 April 2015 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875474A (zh) * 2017-07-18 2018-11-23 北京旷视科技有限公司 评估人脸识别算法的方法、装置及计算机存储介质
CN108874657A (zh) * 2017-07-18 2018-11-23 北京旷视科技有限公司 对人脸识别主机进行测试的方法、装置及计算机存储介质
CN108829600A (zh) * 2018-06-15 2018-11-16 Oppo(重庆)智能科技有限公司 算法库的测试方法、装置、存储介质和电子设备
CN108829600B (zh) * 2018-06-15 2022-03-25 Oppo(重庆)智能科技有限公司 算法库的测试方法、装置、存储介质和电子设备
CN109145752A (zh) * 2018-07-23 2019-01-04 北京百度网讯科技有限公司 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN109063617A (zh) * 2018-07-24 2018-12-21 高新兴科技集团股份有限公司 一种人脸识别算法的分析方法及工具
CN109492523A (zh) * 2018-09-17 2019-03-19 深圳壹账通智能科技有限公司 人脸识别系统性能测试方法、装置、设备和存储介质
CN109472223A (zh) * 2018-10-26 2019-03-15 博康智能信息技术有限公司 一种人脸识别方法和装置
CN110334722A (zh) * 2019-03-29 2019-10-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和存储介质
CN110334722B (zh) * 2019-03-29 2022-07-05 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和存储介质
CN110335611A (zh) * 2019-07-15 2019-10-15 易诚高科(大连)科技有限公司 一种基于质量维度的声纹识别算法评估方法
CN111738349A (zh) * 2020-06-29 2020-10-02 重庆紫光华山智安科技有限公司 目标检测算法的检测效果评估方法、装置、存储介质及设备
CN111738349B (zh) * 2020-06-29 2023-05-02 重庆紫光华山智安科技有限公司 目标检测算法的检测效果评估方法、装置、存储介质及设备

Similar Documents

Publication Publication Date Title
CN106934328A (zh) 一种人脸检测算法的评估方法及装置
EP2546782B1 (en) Liveness detection
CN105631439B (zh) 人脸图像处理方法和装置
EP2713307B1 (en) Liveness detection
CN102483851B (zh) 用于突起面部特征识别的方法和装置
CN109214373B (zh) 一种用于考勤的人脸识别系统及方法
CN105956572A (zh) 一种基于卷积神经网络的活体人脸检测方法
CN108765470A (zh) 一种针对目标遮挡改进的kcf跟踪算法
CN107451510A (zh) 活体检测方法和活体检测系统
WO2016084072A1 (en) Anti-spoofing system and methods useful in conjunction therewith
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN106846362A (zh) 一种目标检测跟踪方法和装置
CN107578021A (zh) 基于深度学习网络的行人检测方法、装置及系统
CN110348385B (zh) 活体人脸识别方法和装置
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN107256410A (zh) 对类镜像图像分类的方法及装置
CN110378258A (zh) 一种基于图像的车辆座椅信息检测方法及设备
CN105740752B (zh) 敏感图片过滤方法和系统
CN109145752A (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
Panetta et al. LQM: Localized quality measure for fingerprint image enhancement
CN117035034A (zh) 一种可视化和可解释性检测免疫的深度学习后门攻击方法
CN110688875B (zh) 人脸质量评估网络训练方法、人脸质量评估方法及装置
CN110174711A (zh) 终端设备及其异物检测结果评价方法、计算机存储介质
CN111222374A (zh) 测谎数据处理方法、装置、计算机设备和存储介质
CN109871729A (zh) 身份识别方法和身份识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170824

Address after: 361008, Xiamen three software park, Fujian Province, 8 North Street, room 2001

Applicant after: Xiamen Central Intelligent Information Technology Co., Ltd.

Address before: 361000 Fujian province Xiamen software park two sunrise Road No. 32 403 unit 02 District

Applicant before: XIAMEN ZHONGKONG BIOLOGICAL RECOGNITION INFORMATION TECHNOLOGY CO., LTD.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 1301, No.132, Fengqi Road, phase III, software park, Xiamen City, Fujian Province

Applicant after: Xiamen Entropy Technology Co., Ltd

Address before: 361008 room 8, 2001 North Avenue, Xiamen Software Park, Fujian, three

Applicant before: XIAMEN ZKTECO BIOMETRIC IDENTIFICATION TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170707