CN111783663A - 一种用于人证核验设备性能检测的算法测评系统及检测方法 - Google Patents

一种用于人证核验设备性能检测的算法测评系统及检测方法 Download PDF

Info

Publication number
CN111783663A
CN111783663A CN202010623037.5A CN202010623037A CN111783663A CN 111783663 A CN111783663 A CN 111783663A CN 202010623037 A CN202010623037 A CN 202010623037A CN 111783663 A CN111783663 A CN 111783663A
Authority
CN
China
Prior art keywords
module
test
equipment
face
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010623037.5A
Other languages
English (en)
Inventor
刘彩霞
谢芳艺
韩峰
焦志皓
丁磊
冯宗伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Research Institute of the Ministry of Public Security
Original Assignee
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Research Institute of the Ministry of Public Security filed Critical Third Research Institute of the Ministry of Public Security
Priority to CN202010623037.5A priority Critical patent/CN111783663A/zh
Publication of CN111783663A publication Critical patent/CN111783663A/zh
Priority to US18/014,043 priority patent/US20230267715A1/en
Priority to PCT/CN2021/074024 priority patent/WO2022001097A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/33User authentication using certificates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种用于人证核验设备性能检测的算法测评系统及检测方法,算法测评系统整体由数据库调用模块、数据预处理模块、设备接口调试模块、自动化测试模块、质量评判模块、数据集管理模块、图像算法模块和信息统计模块共同构成。基于本算法测评系统及检测方法,可按配置规则调用大规模人脸测试数据库与预处理后的设备现场采集人脸数据库,依次推送人脸数据至被检设备进行人脸识别,通过测试函数接口调用控制并获取被检设备的特征提取与特征比对等测试结果,实现可兼顾人证核验设备软硬件因素的人脸识别性能指标检测。

Description

一种用于人证核验设备性能检测的算法测评系统及检测方法
技术领域
本发明涉及人证核验设备或人证核验设备的性能指标检测技术,具体涉及人证核验设备或人证核验设备的人脸识别性能“错误接受率(FAR)和错误拒绝率(FRR)”指标的检测技术。
背景技术
人脸识别技术作为生物特征识别领域中最常见的一类生物特征识别模式,近年来在多个行业领域得到了规模化应用。基于人脸识别技术对识别对象和其证件照片或/和所持证件芯片内电子照片进行比对,验证被核查人员与其所持证件信息或其声称的身份信息是否一致的人证核验设备作为诸多人脸识别应用中的一种典型设备类型,广泛应用于出入境旅客身份验证、重要场所访客身份验证、宾旅馆入住人员身份验证、金融业金融业务身份验证、社保人员身份验证和考场考生身份验证等需要进行人员身份验证及管理控制的场合,以实现对相关人员的身份核查,达到安全防范之目的。
因实际使用环境的特殊性,用户对该类设备人脸识别性能的期望值相应较高,因此,也对该类设备所使用的人脸识别技术提出了较高要求。基于需求驱动,我国生物特征识别市场规模高速增长,人脸识别产品相关研发企事业单位不断涌现,生产的人证核验设备产品质量也出现了良莠不齐的问题。因此,急需有效手段合理评价该类设备的人脸识别性能。
发明内容
本发明设计了一种用于人证核验设备人脸识别性能指标检测的算法测评系统,并给出了使用该算法测评系统进行人证核验设备人脸识别性能指标检测的检测方法。基于本发明给出的算法测评系统和检测方法,能够对人证核验设备的人脸识别性能进行有效且准确的测试评价。
本发明设计的算法测评系统及检测方法适用于通过人脸识别技术进行人证核验的各类设备,既适用于被核验人员与其所持证件信息进行一致性比对的设备类型,也适用于被核验人员与其声称的身份信息进行一致性比对的设备类型。其中,所持证件信息包括二代居民身份证、护照、社会保障卡、人民警察证、学生证、工作证、访客证等关联人员人脸照片信息的所有证件,声称的身份信息包括人员姓名、身份证号、社会保障卡号、人民警察警号、学生证号、工作证号、访客证号等可追溯关联人员人脸照片信息的所有信息。
本发明设计的用于人证核验设备性能检测的算法测评系统,包括数据库调用模块、数据预处理模块、设备接口调试模块、自动化测试模块、质量评判模块、数据集管理模块、图像算法模块;
所述设备接口调试模块可通过被检设备厂商提供的API动态链接库文件与算法配置文件对被检设备进行接口函数调试,用于所述自动化检测工具模块进行自动化测试过程中推送目标集与探测集中的人脸图像至被检设备上运行人脸识别算法,并获取测试结果;
所述测试数据库调用模块、数据预处理模块与数据集管理模块配合形成系统的数据集来源,可用于下载大规模的人脸测试数据库和/或采集预处理现场人脸测试数据库;
所述自动化测试模块在计算机或服务器环境下用于通过测试程序调用被检设备上运行的人脸识别算法进行“错误接受率(FAR)和错误拒绝率(FRR)”性能指标检测;
所述质量评判模块通过调用图像算法模块对被检设备采集到的现场活体人脸图像,并可同时对被检设备采集到的证件可视化人脸图像进人脸图像质量评判性能指标检测。
此外,所述测评系统中还包括用于对用户进行件层级权限管理的功能模块,所述功能模块包括用户登录模块、项目登记模块、用户管理模块中的一种或多种。
所述测评系统中包括对测试结果进行数据分析处理的信息统计模块,所述信息统计模块包括测试结果模块、项目管理模块、项目统计模块、算法统计模块中的一种或多种。
所述系统中的自动化测试模块与设备接口调用模块、数据预处理模块、数据库调用模块、以及数据集管理模块配合对被检设备进行“错误接受率(FAR)和错误拒绝率(FRR)”性能检测。
所述设备接口调用模块获取被检设备的人脸识别算法测试接口;所述数据预处理模块将被检设备现场采集的人脸图像经预处理后作为本次测试数据库中的现场采集数据库;所述数据调用模块调用下载本次测试所需数据库;所述数据集管理模块设置数据安全机制管理本次测试的总测试数据库,所述自动化测试模块调用以上模块实现“错误接受率(FAR)和错误拒绝率(FRR)”性能检测。
所述质量评判模块与设备接口调用模块、数据预处理模块、以及图像算法模块配合对被检设备现场采集的人脸图像进行图像质量评判。
所述设备接口调用模块获取并上传被检设备现场采集的活体人脸图像、证件照片或证件可视人脸图像;所述数据预处理模块对设备接口调用模块获取的图像进行人脸检测等测试;所述图像质量评判模块通过调用图像算法模块对上传图像进行人脸图像质量评判,所述图像算法模块对被检设备导出的现场采集的人脸图像按照设定的技术要求进行自动化测试,所述的质量评判模块配合所述的图像算法模块产生的数据进行分析处理,给出符合性评判。
本发明提供的用于人证核验设备性能检测的检测方法,包括:
利用下载的大规模人脸测试数据库与预处理后的设备现场采集数据库,按配置规则依次推送至被检设备进行人脸算法运行;
通过测试函数接口调用控制并获取被检设备的特征提取与特征比对等测试结果,实现性能指标检测;
所述检测方法包括对被检设备的人脸图像质量性能检测,包括:
通过图像算法按设定技术要求对现场采集的活体人脸图像进行自动化测试,再通过质量评判模块分析处理得出图像质量评判结果;
通过图像算法按设定技术要求对采集到的证件可视人脸图像进行自动化测试,再通过质量评判模块分析处理得出图像质量评判结果。
所述检测方法中按数据安全机制下载测试数据库,按照配置规则依次推送至被检设备进行人脸算法运行,并参考映射关系实现人脸图像数据加密与脱敏使用。保障调用的人脸测试数据库中的人脸数据不能在被测设备中被导出后二次利用,进而保障人脸测试数据库中的人脸数据的安全使用。
进一步地,所述检测方法包括各类人证核验设备的错误接受率(FAR)和错误拒绝率(FRR)性能指标测试的具体检测步骤。
本发明设计的算法测评系统和检测方法能够实现人证核验设备的人脸图像质量、“错误接受率(FAR)和错误拒绝率(FRR)”性能指标的智能化、自动化检测,降低该类检测工作的人员技术能力要求和人力成本投入,大幅提高检测效率。
再者,本发明给出的检测方法在评价人证核验设备人脸识别算法性能的同时,综合考量了人证核验设备硬件设施对识别性能的影响。在具体检验检测应用时,可支持千万级别及以上规模的测试数据库,支持多平台多线程同步运行,在保障测试数据库中的人脸信息数据的安全使用的前提下,实现了测试过程的智能化和自动化,测试流程的规范化和透明化,测试结果的直观化和可追溯化,不仅大幅提升了检测效率,还提高了人证核验设备性能测试结果的公正性和合理性,对促进人证核验设备的技术进步,推动人证核验设备的进一步广泛应用具有重要意义。
另外,本算法测评系统及检测方法适用于通过人脸识别技术进行人证核验的各类设备,既适用于被核验人员与其所持证件信息进行一致性比对的设备类型,也适用于被核验人员与其声称的身份信息进行一致性比对的设备类型。其中,所持证件信息包括二代居民身份证、护照、社会保障卡、人民警察证、学生证、工作证、访客证等关联人员人脸照片信息的所有证件,声称的身份信息包括人员姓名、身份证号、社会保障卡号、人民警察警号、学生证号、工作证号、访客证号等可追溯关联人员人脸照片信息的所有信息。
另外,本算法测评系统及检测方法可兼容多类操作系统,支持多线程运行并支持离线自动化测试,可应用于宾旅馆业人证核验设备、出入口人脸识别设备、人脸识别门禁一体机、人脸识别闸机、人脸识别卡口摄像机、人脸识别考勤机、人脸识别支付系统等各类利用人脸生物特征进行身份鉴别的产品检测。基于本算法测评系统的检测方法在最大限度地保障人证核验设备性能测试结果科学公正的同时,能够极大地简化测试操作过程,显著提升人证核验设备检测效率。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明的算法测评系统结构示意图;
图2为本发明的算法测评系统逻辑关系图;
图3为本发明的算法测评系统对应检测方法流程图;
图4为本发明的检测方法中关于人脸图像质量性能指标测试流程图;
图5为本发明的算法测试系统对应的人脸数据安全机制示意图;
图6为本发明的检测方法中错误接受率(FAR)和错误拒绝率(FRR)性能指标自动化测试流程图。
具体实施方式
为了使本发明设计的算法测评系统及检测方法所实现的技术手段、创作特征、达成目的与功效易于理解,下面结合具体图示,进一步阐述本发明。
随着人脸识别算法的公开测试库规模越来越大,结合设备实际使用情况,测试库规模一般达到万级别及以上。为此,设备性能测试难以实现大批量真实人员的测试方式,现有的20名人员真人实测的测试方案无法适应对人证核验设备或1:1人证核验设备进行高效且有效的性能检测。
因此,本发明设计一套兼顾人证核验设备的算法及硬件性能综合考量的算法测评系统及依托该系统进行人脸识别性能指标评价的检测方法。
图1为本发明的人证核验设备性能指标检测的算法测评系统结构示意图。
如图1所示,本系统基于B/S架构,以web访问操作实现测评功能。系统组成包括测试操作端(PC端)100和测试服务器(SERVER端)200,同时配合存储服务器(SERVER端)300来实施。
在一些具体实施方式中,该测试操作端(PC端)100由相应的PC构成,其以web形式访问测试服务器(SERVER端)200,并向用户提供测试操作WEB界面,同时在测试WEB操作界面(PC端)100上包括数据库调用模块110、数据预处理模块120、设备接口调试模块130、自动化测试模块140、质量评判模块150、测试结果模块160、用户登录模块170、项目登记模块180等功能模块,通过这些功能模块使得用户在可视化界面上对被检设备进行测试操作实现相关性能指标检测。
与之相配合,在测试服务器(SERVER端)200中运行有用户管理模块210、项目管理模块220、数据集管理模块230、图像算法模块240、项目统计模块250、算法统计模块等功能模块。本测试服务器(SERVER端)200可用于与存有人脸测试数据库的存储服务器(SERVER端)300进行交互实现数据集与检测过程的综合化管理。
图2为本发明的算法测评系统的逻辑关系图。
如图2所示,本实例方案中的设备接口调试模块130位于测试WEB界面(PC端)100,用于与被检设备400进行测试接口调试。该设备接口调试模块130可通过设备厂商提供的API动态链接库与算法配置文件实现测试接口函数调用,对接自动化测试模块确保推送目标集与探测集中的人脸图像至被检设备上运行人脸识别算法后获取测试结果。
本方案中的数据库调用模块110与数据预处理模块120运行于测试WEB界面(PC端)100,而数据集管理模块230运行于测试服务器(SERVER端)200;同时三个模块之间相互配合形成算法测评系统的测试数据库来源。
作为举例,这里的测试数据库来源可包括下载的大规模人脸测试数据库与现场采集人脸数据库。其中大规模人脸测试数据库通过测试服务器200与存储服务器(SERVER端)300交互下载获取;现场采集人脸数据库通过PC端100与被检设备400进行测试接口调用获取。
其中,现场采集人脸数据库的人脸数据为使用被检设备现场采集的测试人员人脸图像并经过数据预处理模块120进行预处理。
数据库调用模块110为本次检测准备从存储服务器按配置规则批量下载的数据集,其包括目标集和探测集。
数据集管理模块230可对数据预处理模块准备的现场采集的人脸图像形成的数据集进行管理。具体的实例中,数据集管理模块230依据当次检测需求确认的数据规模,从测试数据库按百分比下载相应的数据集,汇总下载的数据集和现场采集的数据集并以单人的数据集为单元集中处理。
作为举例,这三个功能模块之间还采用数据安全机制实现测试数据库的访问权限与监督管控作用,可在自动化测试过程中对测试数据库出现数据集异常进行反馈与新增数据集上传。
本方案中的自动化测试模块140运行于PC端,与数据库调用模块110和设备接口调试模块130对接配合,用于被检设备的错误接受率(FAR)和错误拒绝率(FRR)性能指标检测。
其中,设备接口调试模块130用于将算法测评系统与被检设备进行接口通讯调试,并按自动化测试模块140所设定的测试步骤依次采用测试程序调用被检设备的人脸识别算法对应接口函数,实现数据交互。作为举例,这里的接口函数至少包括初始化算法、特征长度获取、特征提取、特征比对并返回相似度、查询、释放算法资源及版本信息获取等功能接口函数。
而自动化测试模块140配合数据集管理模块230将单人数据集中对应目标集和探测集中的人脸图像分别通过设备接口调试模块130依次依据测试程序调用不同的接口函数获取被测设备的算法运行数据,并按“错误接受率(FAR)和错误拒绝率(FRR)”性能测试方法对获取的结果进行数据处理,实现“错误接受率(FAR)和错误拒绝率(FRR)”性能指标检测。
本方案中的质量评判模块150运行于PC端,其与数据预处理模块120以及运行于测试服务器(SERVER端)200的图像算法模块240对接配合,通过图像算法模块240对被检设备采集到的现场活体人脸图像和证件可视化人脸图像进行质量评判。
这里的图像算法模块240用于对人脸图像按照相应标准中相关技术要求进行符合性测试,其中包括图像格式、人脸遮挡情况、两眼间距、姿态、脸部区域等指标。
作为举例,图像算法模块240用于对被检设备导出的现场采集的人脸图像按照设定标准技术要求进行自动化测试,而质量评判模块150配合图像算法模块产生的数据进行分析处理,给出符合性评判。
作为举例,(1)图像算法模块对从被检设备导出的现场采集的活体人脸图像进行自动化测试,给出图像格式、遮挡情况、两眼间距、姿态和脸部区域等用于探测集中的人脸识别图像的参数;质量评判模块获取这些参数,依据GB/T35678-2017规定的对应指标进行评判;
(2)图像算法模块对从被检设备导出的现场采集的可视化人脸图像进行自动化测试,给出图像格式、遮挡情况、两眼间距、姿态和脸部区域等用于目标集中的人脸识别图像的参数;质量评判模块获取这些参数,依据GB/T35678-2017规定的对应指标进行评判;
(3)图像算法模块对从被检设备导出的现场采集的证件照片进行自动化测试,给出图像格式、遮挡情况、两眼间距、姿态和脸部区域等用于目标集中的人脸识别图像的参数;质量评判模块获取这些参数,依据GB/T 35678-2017规定的对应指标进行评判。
本方案中的用户登录模块180与项目登记模块170运行于PC端,其与运行于测试服务器(SERVER端)200的用户管理模块250与项目管理模块220对接配合,用于系统对用户按项目、算法与测试情况等条件层级权限管理。
作为举例,本用户管理模块250可用于对测试系统的用户进行管理,并分配使用权限,其中包括超级管理员、数据管理员、测试工程师等用户。
不同权限的用户使用用户登录模块180进入测试系统,所使用的模块不同。如超级管理员具有最高权限,可访问并使用全部模块;数据管理员对数据集进行管理,可访问数据预处理模块、数据库调用模块、数据集管理模块、项目管理模块等涉及数据的管理类模块;测试工程师对图像质量进行评判和进行“错误接受率(FAR)和错误拒绝率(FRR)”性能测试,可访问数据预处理模块、数据库调用模块、图像算法模块、质量评判模块、设备接口调用模块、自动化测试模块。
项目管理模块220对每台被检设备进行测试管理,由超级管理员管理,测试工程师仅可查看。项目登录管理是由测试工程师根据被检设备创建项目,启动测试任务,开展图像质量评判和“错误接受率(FAR)和错误拒绝率(FRR)”性能测试。
本方案中的测试结果模块160运行于PC端,其与运行于测试服务器(SERVER端)200的项目统计模块250与算法统计模块260对接配合,用于测试结果的数据分析处理,按项目与算法不同进行分类分层级统计管理。
作为举例,本测试结果模块160对每台被检设备通过自动化测试模块和图像质量评判模块得出的测试数据进行汇总管理。
项目统计模块250以被检设备为单元进行管理,每台被检设备开展多次不同要求的图像质量评判和“错误接受率(FAR)和错误拒绝率(FRR)”性能测试的测试次数,作为测试任务。算法统计模块260以测试任务为单元,对每次图像质量评判和“错误接受率(FAR)和错误拒绝率(FRR)”性能测试的测试数据进行管理。本方案中项目统计管理和算法统计管理的数据来自于测试结果模块,按上述单元不同进行区分。
按照本发明给出的用于人证核验设备性能检测的算法测评系统及检测方法,用户可方便地利用下载的大规模人脸测试数据库与预处理后的设备现场采集数据库按配置规则依次推送至被检设备进行人脸算法运行,再通过测试函数接口调用控制并获取被检设备的特征提取与特征比对等测试结果,实现人脸图像质量、错误接受率(FAR)和错误拒绝率(FRR)等性能指标检测。从而有效且高效地评价人证核验设备的人脸识别性能。
使用本算法测评系统及检测方法对人证核验设备进行关于错误接受率(FAR)和错误拒绝率(FRR)性能指标检测时,具体操作步骤及实施方案如下:
1)初始化算法测评系统,启动存储服务器、测试服务器并与测试计算机连接;
2)核查厂商提供的被检设备的dll文件和算法配置文件,启动被检设备;
3)查询并记录被检设备的人脸识别比对阈值等预设参数;
4)依据被检设备的“错误接受率(FAR)和错误拒绝率(FRR)”性能等级要求,选取测试数据库的规模,确认所需测试用人员数量,即目标集中不重复的测试人员数量和探测集中的测试人脸图像数量;
5)基于测试数据库规模,按配比规则确定现场采集数据集的数量和下载人脸测试数据库中的数据集的数量。
6)使用数据预处理模块准备现场采集的人脸数据集;
7)使用数据库调用模块,按照标准规定的样本分布要求配置规则从人脸测试数据库中下载数据集;
8)测试系统与被检设备建立连接,使用设备接口调用模块调试接口,确保接口函数调用与数据交互成功;
9)启动自动化测试模块,配合设备接口调用模块与数据集管理模块完成测试前准备;
10)开展测试第一阶段:特征提取。自动化测试模块驱动设备接口调用模块初始化,调用被检设备的特征提取接口函数,分别对数据集管理模块所管理的测试数据库中的目标集和探测集进行每一张人脸图像特征提取,特征提取的实施由被检设备的人脸识别算法运行。自动测试模块分别对目标机和探测集的人脸特征文件库、样本总数量、成功提取次数及其对应身份标识等信息进行分析处理,核对两个数据集对应关系并记录存储;
11)开展测试第二阶段:特征比对。自动化测试模块驱动设备接口调用模块初始化,调用被检设备的特征比对接口函数,将探测集的特征数据与目标集的特征数据通过被检设备的人脸识别算法进行特征比对。自动化测试模块获取特征比对结果,分析处理相似度值精确到0.0001的每次比对的相似度及其对应数据信息;
12)开展测试第三阶段:“错误接受率(FAR)和错误拒绝率(FRR)”性能测试结果计算。自动化测试模块将获取的数据进行综合分析,依据公式计算“FAR”和“FRR”,按标准等级要求,进行符合性评判,并得出被检设备的性能测试结果与ROC曲线。
下面针对本实例给出的用于人证核验设备性能检测的算法测评系统,举例说明一下其对人证核验设备性能指标进行检测的实施过程。
图3所示为本实例基于算法测评系统对人证核验设备性能指标进行检测的实施流程。其主要包括以下步骤:
(1)根据用户操作初始化所述的算法测评系统。
(2)按用户权限要求使用对应用户账户登录系统。
(3)新建项目,输入被检设备的厂商信息与设备信息,上传设备的算法配置文件与相关技术资料;同时,可按厂商与设备名称检索历史记录,自动填写项目信息。
(4)测试接口调试,选择设备的动态链接库与算法配置文件,验证被检设备的接口是否符合如《安全防范人脸识别应用人证核验设备通用技术要求》等相关行业标准与规范中规定的测试接口要求,作为举例,这里至少包括初始化算法、特征长度获取、特征提取、特征比对并返回相似度、查询、算法资源与版本信息获取等功能。
(5)根据所检测的性能指标要求,若为人脸图像质量的性能检测,则进入步骤(6);若为使用错误接受率(FAR)和错误拒绝率(FRR)的性能检测,进入步骤(7)。
(6)算法测评系统根据与人证核验设备有关性能指标要求,通过使用位于PC端的数据预处理模块与质量评判模块和位于测试服务器(SERVER端)的图像算法模块联动进行人脸图像质量检测。
(7)检测系统根据与人体安全检查设备有关的性能指标要求,通过使用位于PC端的自动化测试模块与测试结果模块进行错误接受率(FAR)和错误拒绝率(FRR)检测。
(8)按检测要求完成每次检测项目测试后生成测试结果,计算并统计形成报表并上传至存储服务器。
(9)审核测试过程中可能出现的下载测试数据库中数据异常情况并上报至存储服务器;审核现场采集数据库,确认无误后上传至存储服务器。
(10)根据设备应用需求,访问存储服务器,查询项目与算法统计结果。
在一种较优选的实施方式中,本检测方案可通过算法测评系统中的设备接口调用模块、数据预处理模块、图像质量评判模块、图像算法模块等功能模块来配合,实现根据与人证核验设备有关性能指标要求,对待测试设备进行人脸图像质量检测。
作为举例,在实现时,设备接口调用模块获取被检设备现场采集活体人脸图像、证件照片或证件可视人脸图像,并将获取的图像上传至测试服务器(SERVER端)。与之配合的,数据预处理模块对设备接口调用模块所获取的图像进行人脸检测等测试。图像质量评判模块通过调用图像算法模块对上传图像(这里上传的图像为直接来自被检设备导出的人脸图像,具体实现时其可通过被检设备的软件导出,也可用U盘或网口直接传到测试计算机存储路径中,图像算法模块直接访问存储文件夹中的人脸图像即可)进行人脸图像质量评判,输出结果至PC端。
据此,本实例通过算法测评系统来对人证核验设备进行关于人脸图像质量性能指标试验操作,主要由如下步骤来实现(参见图4):
(6.1)初始化系统,由PC端(计算机)操作WEB界面进入数据预处理模块界面。
(6.2)通过设备接口调试模块调用被检设备现场采集活体人脸图像,以FTP方式上传至PC端,获取现场活体人脸图像。
(6.2)与测试服务器(SERVER端)中的图像算法模块对接运行,启动图像质量评判模块,对现场采集的活体人脸图像进行评判。
(6.3)针对人脸图像质量性能指标要求之一:采集到的现场活体人脸图像符合GB/T 35678-2017中4.2的相关技术要求。由图像质量评判模块通过对获取的人脸图像进行比对,并判断设备是否符合该项性能指标要求;且自动生成单次项目测试结果并存储上传。
(6.4)针对人脸图像质量性能指标要求之二:采集到的证件可视人脸图像符合GB/T 35678-2017中4.2的相关技术要求。由图像质量评判模块通过对获取的人脸图像进行比对,并判断设备是否符合该项性能指标要求。且自动生成单次项目测试结果并存储上传。
在一种较优选的实施方式中,本检测方案可通过算法测评系统中的设备接口调用模块、数据预处理模块、数据库调用模块、自动化测试模块、数据集管理等功能模块对接配合来对被检设备进行“错误接受率(FAR)和错误拒绝率(FRR)”性能检测。
其中设备接口调用模块用于获取被检设备的人脸算法测试所需的接口,至少包括初始化算法、特征长度获取、特征提取、特征比对并返回相似度、查询、释放算法资源及版本信息获取等。
数据预处理模块针对被检设备现场采集的人脸图像作为本次测试数据库中的现场采集数据库。其中,测试数据库包括现场采集的数据集和下载的数据集;而现场采集的数据集由数据预处理模块直接从被检设备获得;下载的数据集由数据库调用模块从存储服务器获得。
数据调用模块实现本次测试数据库中测试数据库下载,规模可达万级及以上。作为举例,存储服务器存储的人脸测试库,可用数据库调用模块直接访问下载。
数据集管理模块设置数据安全机制管理本次测试的总测试数据库,如图5所示。
自动化测试模块调用上述的设备接口调用模块、数据预处理模块、数据库调用模块、以及数据集管理对接配合实现“FAR和FRR”测试。
据此,本实例通过算法测评系统来对人证核验设备进行关于“错误接受率(FAR)和错误拒绝率(FRR)”性能指标试验操作具体包括以下步骤(参见图6):
(7.1)查询并记录设备的人脸识别比对阈值等预设参数.
(7.2)初始化系统,进入数据库调用模块;依据设备的错误接受率和错误拒绝率等级要求,选择相应数据配比与规模的测试库。
(7.3)采用厂商提供的动态链接库(.dll文件)通过设备接口调用模块对被检设备接口调试,实现至少包括初始化算法、特征长度获取、特征提取、特征比对并返回相似度、查询、释放算法资源及版本信息获取等接口调用。
(7.3)进入数据预处理模块,对现场采集的人脸图像,按测试库要求以现场活体人脸图像在目标集中占不少于2%比例进行数据配比。
(7.4)将两个来源的数据库通过数据集管理模块综合获取本次项目测试用的测试数据库。
(7.5)通过设备函数接口调用模块调用测试接口函数,对存储于PC端的本次测试数据库中目标集中每张样本图像,推送至被检设备进行特征值提取,依次调用特征提取接口获取并保存人脸特征文件库1,记录目标集样本总数N、特征提取成功样本总数C1和目标集每个样本图像的身份标识信息。
(7.6)通过设备函数接口调用模块调用测试接口函数,对存储于PC端的本次测试数据库中探测集中每张人脸图像,推送至被检设备进行特征值提取,依次调用特征提取接口获取并保存人脸特征文件库2,记录探测集样本总数M、特征提取成功样本总数C2和探测集每个人脸图像的身份标识信息。
(7.7)核对步骤(7.5)和步骤(7.6)结果的一一对应管理,确认数量及身份标识保持一致。
(7.8)通过设备函数接口调用模块调用测试接口函数,将目标集人脸特征文件库1、探测集人脸特征文件库2读取到内存中,探测集每张人脸图像的特征数据和目标集每张样本图像的特征数据以一组数据逐一调用特征比对函数比对,人脸识别算法在被测设备中运行;记录N×M个比对相似度,相似度值范围为0.0~1.0(相似度值精确到小数点后4位),相似度值越大相似程度越高。
(7.9)记录的N×M个比对相似度中,所有同一人比对相似度放入相似度集S1,所有非同一人比对放入相似度集S2。相似度集S1中相似度小于阈值T的元素数为错误拒绝数,记为NR;相似度集S2中相似度大于阈值T的元素数为错误接受数,记为NA
(7.10)“错误接受率FAR和错误拒绝率FRR”的性能指标要求分为基本级和增强级两个等级,不同等级的设备应分别符合以下要求:
a)基本级设备:在同一设定阈值条件下,错误接受率(FAR)小于等于0.1%时,错误拒绝率(FRR)小于等于5%;
b)增强级设备:在同一设定阈值条件下,错误接受率(FAR)小于等于0.01%时,错误拒绝率(FRR)小于等于5%。
据此,统计所有特征比对结果,分别按公式(1)和公式(2)计算输出在设备预设人脸比对相似度阈值下的错误接受率FAR和错误拒绝率FRR。且自动生成单次项目测试结果并存储上传,依据其计算结果分别判断设备是否符合对应性能指标要求。
Figure BDA0002563709780000141
Figure BDA0002563709780000142
其中,目标集和探测集特征提取失败率都为0%时,特征文件库1的C1=N,特征文件库2的C2=M;特征提取失败率不为0%时,则将(N-C1)和(M-C2)作为“特征提取失败”的数量都计入NA和NR
由上实例可知,本发明给出的人证核验设备性能检测方案,在具体检验检测应用时,可支持千万级别及以上规模的测试数据库,支持多平台多线程同步运行,在保障测试数据库中的人脸信息数据的安全使用的前提下,实现了测试过程的智能化和自动化,测试流程的规范化和透明化,测试结果的直观化和可追溯化,不仅大幅提升了检测效率,还提高了人证核验设备性能测试结果的公正性和合理性,对促进人证核验设备的技术进步,推动人证核验设备的进一步广泛应用具有重要意义。
上述本发明的方法,或特定系统单元、或其部份单元,可以通过程序代码布设于硬盘、光盘片、或智能型手机、计算机等电子装置,当电子装置加载程序代码且执行程序代码时,相应电子装置成为用以实现本发明的装置。上述本发明的方法与测试数据库信息亦能以程序代码型态透过网络等进行传送,当程序代码被电子装置(如智能型手机)接收、加载且执行,相应电子装置成为用以实现本发明的远程装置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (11)

1.用于人证核验设备性能检测的算法测评系统,其特征在于,包括数据库调用模块、数据预处理模块、设备接口调试模块、自动化测试模块、质量评判模块、数据集管理模块、图像算法模块;
所述设备接口调试模块可通过被检设备厂商提供的API动态链接库文件与算法配置文件对被检设备进行接口函数调试,用于所述自动化检测工具模块进行自动化测试过程中推送目标集与探测集中的人脸图像至被检设备上运行人脸识别算法,并获取测试结果;
所述测试数据库调用模块、数据预处理模块与数据集管理模块配合形成系统的数据集来源,可用于下载大规模的人脸测试数据库和/或采集预处理现场人脸测试数据库;
所述自动化测试模块在计算机或服务器环境下用于通过测试程序调用被检设备上运行的人脸识别算法进行“错误接受率(FAR)和错误拒绝率(FRR)”性能指标检测;
所述质量评判模块通过调用图像算法模块对被检设备采集到的现场活体人脸图像,并可同时对被检设备采集到的证件可视化人脸图像进人脸图像质量评判性能指标检测。
2.根据权利要求1所述的用于人证核验设备性能检测的算法测评系统,其特征在于,所述测评系统中还包括用于对用户进行层级权限管理的功能模块,所述功能模块包括用户登录模块、项目登记模块、用户管理模块中的一种或多种。
3.根据权利要求1所述的用于人证核验设备性能检测的算法测评系统,其特征在于,所述测评系统中包括对测试结果进行数据分析处理的信息统计模块,所述信息统计模块包括测试结果模块、项目管理模块、项目统计模块、算法统计模块中的一种或多种。
4.根据权利要求1所述的用于人证核验设备性能检测的算法测评系统,其特征在于,所述系统中的自动化测试模块与设备接口调用模块、数据预处理模块、数据库调用模块以及数据集管理模块配合对被检设备进行“错误接受率(FAR)和错误拒绝率(FRR)”性能检测。
5.根据权利要求4所述的用于人证核验设备性能检测的算法测评系统,其特征在于,所述设备接口调用模块获取被检设备的人脸识别算法测试接口;所述数据预处理模块将被检设备现场采集的人脸图像经预处理后作为本次测试数据库中的现场采集数据库;所述数据调用模块调用下载本次测试所需数据库;所述数据集管理模块设置数据安全机制管理本次测试的总测试数据库,所述自动化测试模块调用以上模块实现“错误接受率(FAR)和错误拒绝率(FRR)”性能检测。
6.根据权利要求1所述的用于人证核验设备性能检测的算法测评系统,其特征在于,所述质量评判模块与设备接口调用模块、数据预处理模块、以及图像算法模块配合对被检设备现场采集的人脸图像进行图像质量评判。
7.根据权利要求6所述的用于人证核验设备性能检测的算法测评系统,其特征在于,所述设备接口调用模块获取并上传被检设备现场采集的活体人脸图像、证件照片或证件可视人脸图像;所述数据预处理模块对设备接口调用模块获取的图像进行人脸检测等测试;所述图像质量评判模块通过调用图像算法模块对上传图像进行人脸图像质量评判,所述图像算法模块对被检设备导出的现场采集的人脸图像按照设定的技术要求进行自动化测试,所述的质量评判模块配合所述的图像算法模块产生的数据进行分析处理,给出符合性评判。
8.用于人证核验设备性能检测的检测方法,其特征在于,包括:
利用下载的大规模人脸测试数据库与预处理后的设备现场采集数据库,按配置规则依次推送至被检设备进行人脸算法运行;
通过测试函数接口调用控制并获取被检设备的特征提取与特征比对等测试结果,实现性能指标检测。
9.根据权利要求8所述的用于人证核验设备性能检测的检测方法,其特征在于,所述检测方法包括对被检设备采集的人脸图像进行图像质量性能检测,包括:
通过图像算法按设定技术要求对现场采集的活体人脸图像进行自动化测试,再通过质量评判模块分析处理得出图像质量评判结果;
通过图像算法按设定技术要求对采集到的证件可视人脸图像进行自动化测试,再通过质量评判模块分析处理得出图像质量评判结果。
10.根据权利要求8所述的用于人证核验设备性能检测的检测方法,其特征在于,所述检测方法中按数据安全机制下载测试数据库,按照配置规则依次推送至被检设备进行人脸算法运行,并参考映射关系实现人脸图像数据加密与脱敏使用。保障调用的人脸测试数据库中的人脸数据不能在被测设备中被导出后二次利用,进而保障人脸测试数据库中的人脸数据的安全使用。
11.根据权利要求8所述的用于人证核验设备性能检测的检测方法,其特征在于,所述检测方法包括人证核验设备的错误接受率(FAR)和错误拒绝率(FRR)性能指标测试的具体检测步骤。
CN202010623037.5A 2020-06-30 2020-06-30 一种用于人证核验设备性能检测的算法测评系统及检测方法 Pending CN111783663A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010623037.5A CN111783663A (zh) 2020-06-30 2020-06-30 一种用于人证核验设备性能检测的算法测评系统及检测方法
US18/014,043 US20230267715A1 (en) 2020-06-30 2021-01-28 Algorithm evaluation system and test method for performance test of person and certificate verification device
PCT/CN2021/074024 WO2022001097A1 (zh) 2020-06-30 2021-01-28 一种用于人证核验设备性能检测的算法测评系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010623037.5A CN111783663A (zh) 2020-06-30 2020-06-30 一种用于人证核验设备性能检测的算法测评系统及检测方法

Publications (1)

Publication Number Publication Date
CN111783663A true CN111783663A (zh) 2020-10-16

Family

ID=72760499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010623037.5A Pending CN111783663A (zh) 2020-06-30 2020-06-30 一种用于人证核验设备性能检测的算法测评系统及检测方法

Country Status (3)

Country Link
US (1) US20230267715A1 (zh)
CN (1) CN111783663A (zh)
WO (1) WO2022001097A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800840A (zh) * 2020-12-28 2021-05-14 上海万雍科技股份有限公司 一种人脸识别管理系统和方法
CN113158771A (zh) * 2021-03-04 2021-07-23 厦门立林科技有限公司 一种社区人员信息采集方法及系统和应用
CN113255599A (zh) * 2021-06-29 2021-08-13 成都考拉悠然科技有限公司 一种自定义人流量测试人脸布控率系统及其方法
CN113705389A (zh) * 2021-08-13 2021-11-26 北京市商汤科技开发有限公司 人脸识别模组测试方法、装置、存储介质及电子设备
CN113792662A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN113792661A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
WO2022001097A1 (zh) * 2020-06-30 2022-01-06 公安部第三研究所 一种用于人证核验设备性能检测的算法测评系统及检测方法
CN115601799A (zh) * 2022-09-09 2023-01-13 广州市盛通建设工程质量检测有限公司(Cn) 一种基于人脸识别的评测方法、系统、设备及存储介质
CN113792661B (zh) * 2021-09-15 2024-06-11 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136024A (zh) * 2010-01-27 2011-07-27 中国科学院自动化研究所 生物特征识别性能测评和诊断优化系统
CN111241945A (zh) * 2019-12-31 2020-06-05 杭州艾芯智能科技有限公司 人脸识别性能的测试方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703693B1 (ko) * 2005-01-13 2007-04-05 삼성전자주식회사 얼굴 인식 시스템 및 방법
WO2015122789A1 (en) * 2014-02-11 2015-08-20 3Divi Company Facial recognition and user authentication method
CN108985166A (zh) * 2018-06-14 2018-12-11 深圳市商汤科技有限公司 身份验证方法及装置、电子设备和存储介质
CN210015436U (zh) * 2019-07-03 2020-02-04 北京旷视科技有限公司 一种人证测试系统
CN110532856A (zh) * 2019-07-16 2019-12-03 公安部第一研究所 一种多算法融合的人脸识别方法
CN111783663A (zh) * 2020-06-30 2020-10-16 公安部第三研究所 一种用于人证核验设备性能检测的算法测评系统及检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136024A (zh) * 2010-01-27 2011-07-27 中国科学院自动化研究所 生物特征识别性能测评和诊断优化系统
CN111241945A (zh) * 2019-12-31 2020-06-05 杭州艾芯智能科技有限公司 人脸识别性能的测试方法、装置、计算机设备及存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022001097A1 (zh) * 2020-06-30 2022-01-06 公安部第三研究所 一种用于人证核验设备性能检测的算法测评系统及检测方法
CN112800840A (zh) * 2020-12-28 2021-05-14 上海万雍科技股份有限公司 一种人脸识别管理系统和方法
CN112800840B (zh) * 2020-12-28 2022-07-01 上海万雍科技股份有限公司 一种人脸识别管理系统和方法
CN113158771A (zh) * 2021-03-04 2021-07-23 厦门立林科技有限公司 一种社区人员信息采集方法及系统和应用
CN113158771B (zh) * 2021-03-04 2023-11-10 厦门立林科技有限公司 一种社区人员信息采集方法及系统和应用
CN113255599A (zh) * 2021-06-29 2021-08-13 成都考拉悠然科技有限公司 一种自定义人流量测试人脸布控率系统及其方法
CN113705389A (zh) * 2021-08-13 2021-11-26 北京市商汤科技开发有限公司 人脸识别模组测试方法、装置、存储介质及电子设备
CN113792662A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN113792661A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN113792662B (zh) * 2021-09-15 2024-05-21 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN113792661B (zh) * 2021-09-15 2024-06-11 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN115601799A (zh) * 2022-09-09 2023-01-13 广州市盛通建设工程质量检测有限公司(Cn) 一种基于人脸识别的评测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
US20230267715A1 (en) 2023-08-24
WO2022001097A1 (zh) 2022-01-06

Similar Documents

Publication Publication Date Title
CN111783663A (zh) 一种用于人证核验设备性能检测的算法测评系统及检测方法
CN109902780A (zh) 基于多模态人脸识别的人证合一核验终端和系统及方法
CN102890776A (zh) 通过面部表情调取表情图释的方法
CN111782835A (zh) 一种面向人脸识别设备检测的人脸测试数据库管理系统及方法
CN109982037A (zh) 智能巡检装置
CN111767192B (zh) 基于人工智能的业务数据检测方法、装置、设备和介质
CN111934906A (zh) 等级保护的人工智能测评方法、客户端及系统
US11144773B2 (en) System for characterizing biometric station metrics with genericized biometric information
CN106201887B (zh) 一种离线数据任务的验证方法及装置
CN117171694B (zh) 一种基于ai技术的配电场景安全识别系统
CN207816895U (zh) 安检装置与系统
CN116308366A (zh) 一种支付安全监控处理方法、系统及存储介质
Popov Use of system diversity as tool for identification
Garris et al. NIST fingerprint evaluations and developments
CN111881437B (zh) 基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统
CN115063921A (zh) 一种工地智能闸机系统及搭建方法
CN113839956A (zh) 数据安全评估方法、装置、设备及存储介质
KR20060068796A (ko) 얼굴인식 시스템의 성능시험 방법 및 시스템
CN114120509A (zh) 基于融合识别技术的区域准入授权装置
CN114386019A (zh) 安检操作记录方法、装置、电子设备及计算机可读介质
Waili et al. Advanced Voting System Using Fingerprint
CN111597524A (zh) 一种用于封样抽检人员的验证方法及系统
CN109034212B (zh) 一种终端生物识别性能测试方法及装置
CN110288056A (zh) 一种用于土木建筑工程试验仪器设备动态监管装置
CN111046890A (zh) 通信系统、服务器、基于传感器的设备识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination