CN106874306B - 人口信息人像比对系统关键性能指标评测方法 - Google Patents

人口信息人像比对系统关键性能指标评测方法 Download PDF

Info

Publication number
CN106874306B
CN106874306B CN201510926666.4A CN201510926666A CN106874306B CN 106874306 B CN106874306 B CN 106874306B CN 201510926666 A CN201510926666 A CN 201510926666A CN 106874306 B CN106874306 B CN 106874306B
Authority
CN
China
Prior art keywords
comparison
portrait
modeling
library
population
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510926666.4A
Other languages
English (en)
Other versions
CN106874306A (zh
Inventor
唐玉建
范英
郝瑞朝
陈洁
张照星
魏静
汤滔
李银波
邹继文
陶勇
孟祥翠
乔晓光
杨川川
井伟峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ministry Of Public Security Household Policies Management Research Center
Aisino Corp
Original Assignee
Ministry Of Public Security Household Policies Management Research Center
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ministry Of Public Security Household Policies Management Research Center, Aisino Corp filed Critical Ministry Of Public Security Household Policies Management Research Center
Priority to CN201510926666.4A priority Critical patent/CN106874306B/zh
Publication of CN106874306A publication Critical patent/CN106874306A/zh
Application granted granted Critical
Publication of CN106874306B publication Critical patent/CN106874306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种人口信息人像比对系统关键性能指标评测方法，定义抽取人像比对数据的参数；根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库；根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，并从测试库中删除存在的探测库中的照片，将探测库中的照片及非人像照片分区存入测试库；对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；对建模后的不同单位的人像比对算法及引擎分别进行人像比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；对不同单位的人像比对算法及引擎的评测结果进行统计和评分，并生成评测报告。

Description

人口信息人像比对系统关键性能指标评测方法
技术领域
本发明涉及人口管理领域，具体而言，涉及一种人口信息人像比对系统关键性能指标评测方法。
背景技术
为解决虚假身份、多重户口、一人多证、漂白身份等历史遗留问题，公安部部级人口信息人像比对系统将建立超12亿人口规模的人像比对引擎，为公正客观地评价人像比对算法及引擎的可行性和关键技术性能指标，必须建立一套标准的、完整的评测指标体系和相应的评测系统，现行的人像比对评测方法不能满足大规模查重比对优化的业务需求。
通过公安部部级人口信息管理系统高效提取评测数据，建立面向大规模查重比对优化的人像比对技术评测指标体系及评测系统，并利用其对比对算法及引擎进行评测，为各比对算法及引擎在实际业务中的应用提供指标依据，为公安部部级人口信息人像比对系统项目的算法选型提供检测平台，为地方人像比对系统的算法选型、升级改造提供技术标准。
发明内容
本发明提供一种人口信息人像比对系统关键性能指标评测方法，用以克服现有技术中存在的至少一个问题。
为达到上述目的，本发明提供了一种人口信息人像比对系统关键性能指标评测方法，包括以下步骤：
定义抽取人像比对数据的参数；
根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库，其中所抽取的每条人口数据包含间隔设定时间的两张人像照片；
根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，并从测试库中删除存在的探测库中的照片，将探测库中的照片及非人像照片分区存入测试库；
对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；
对建模后的不同单位的人像比对算法及引擎分别进行模板比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；
对不同单位的人像比对算法及引擎的评测结果进行统计和评分，并生成评测报告。
进一步地，每条人口数据包含两张人像照片的间隔设定时间为5年以上。
进一步地，所述第一数量为20万，所述第二数量为1亿。
进一步地，如果在建模过程中出现异常，则记录异常问题及异常时间，并进行建模重置。
进一步地，如果在比对过程中出现异常，则记录异常问题及异常时间，并进行比对重置或建模重置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的人口信息人像比对系统关键性能指标评测方法中的数据抽取流程图；
图2为本发明一个实施例的人口信息人像比对系统关键性能指标评测方法中的算法评测流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一个实施例的人口信息人像比对系统关键性能指标评测方法中的数据抽取流程图；图2为本发明一个实施例的人口信息人像比对系统关键性能指标评测方法中的算法评测流程图。以下结合附图对本发明进行详细说明。
人口信息人像比对系统关键性能指标评测方法集Java EE技术之所长，采用B/S构架的软件体系架构。系统以人像识别系列标准为参照，以人像比对算法及引擎关键技术性能指标建设为核心，评测指标、指标权重、指标计算及评分公式经过实际测试、结合标准、经过专家评审讨论给出。充分考虑系统安全性、可靠性，构建高效、灵活、易扩展的人像比对评测平台，实现了评测数据抽取、评测指标方案自定义、建模及比对阶段指标计算、建模及比对阶段指标系统评分、评测结果分析等核心功能。
本方法主要分为数据抽取、评测指标定义、人像比对算法及引擎评测、结果计算处理，包括数据库接口授权、人像建模、模板比对、数据处理四部分，数据库接口授权为控制受测单位在评测过程中对数据库的访问权限，通过人为或接口获得数据库连接，以记录受测单位准确的建模开始及结束时间、比对开始及结束时间，建模时间与比对时间是衡量人像比对算法及引擎主要性能的关键指标。人像建模包括人像照片及非人像照片建模，为了衡量人像比对算法及引擎真实的照片建模成功率。模板比对包括模板读取加载内存及完成模板比对时间，主要验证人像比对算法及引擎在大规模数据下的比对策略及比对准确率。数据处理在模板数据、比对结果数据下计算各项指标值、对应的指标评分，为人像比对算法及引擎的指标优劣提供分析、选型依据。
评测数据符合实际业务场景，能够真实反应评测指标的关键技术性能，评测数据抽取通过公安部部级人口信息管理系统获取，受测的人像比对算法及引擎主要应用于公安部部级人口信息管理系统的户籍查重清理业务，评测数据按照性别、年龄、民族等条件参数抽取，具有代表性，能够为人像比对算法及引擎的选型提供有力依据。
人像算法及引擎的评测在统一的评测环境上、同样的评测数据进行，保证了受测单位的公平公正，评测流程以评测登记开始，创建评测数据库用户，人像建模、人像比对、结果存储到环境重置为循环，在规定的评测周期内完成评测，逾期自动结束评测。
大规模评测数据：通过公安部部级人口信息管理系统12亿人口规模的数据中抽取1亿测试库数据、20万探测库数据，组成评测比对数据，将完成20万对1亿的交叉比对，总计20万亿的比对次数。评测数据将按年龄、性别、民族等条件通过比例参数抽取并平均分配到测试数据库服务器上，探测库数据要求照片时间间隔5年以上，抽取的数据经过人像比对多次筛选按照相似度区间进行分类，满足数据规模的同时符合数据质量要求，以验证人像比对算法的性能、准确性等关键技术指标。
数据抽取流程：评测数据分六步进行数据抽取，第一步数据统计，统计公安部部级人口信息管理系统各个条件比例下的实际值，根据实际值调整条件参数比例；第二步抽取测试库数据，按照条件参数比例进行抽取；第三步抽取探测库数据，按照条件参数比例进行抽取；第四步处理探测库数据，经过多次人像比对算法进行比对，去除重复及不合规数据；第五步清理测试库数据，插入探测库数据，根据公民身份号码+姓名关联清除相同数据。第六步数据统计，统计抽取后的测试库及探测库条件参数下的实际值。
算法评测流程：评测中心可分六步进行算法评测，第一步初始化评测环境及评测数据，提供统一的评测设备及规定的评测周期；第二步评测受理，登记受测单位信息及评测算法信息；第三步受测单位准备评测软件环境部署调试，创建数据库环境；第四步受测单位开始评测，由评测单位记录评测开始时间、建模开始结束时间、比对开始结束时间，受测单位按照标准调用接口、存储数据；第五步评测中心另存备份受测单位数据记录，重置评测环境，进入下一步，评测串行进行；第六步评测中心待所有算法评测完成后，统计计算评测结果，并对结果进行分析评分，出评测报告。
本发明一个实施例的人口信息人像比对系统关键性能指标评测方法包括以下步骤：
定义抽取人像比对数据的参数；
根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库，其中所抽取的每条人口数据包含间隔设定时间的两张人像照片；
根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，并从测试库中删除存在的探测库中的照片，将探测库中的照片及非人像照片分区存入测试库；
测试库与探测库照片均来源于部级人口库，照片会存在重复的可能，需要将测试库与探测库进行筛选，去掉测试库中存在的重复数据，探测库中包含间隔设定时间的两张人像照片，其中一张放入测试库，一张留存探测库，为检测人像比对算法及引擎的n(n为自然数)选匹配率指标。非人像照片为检测人像比对算法及引擎的错误建模率指标。
对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；
对建模后的不同单位的人像比对算法及引擎分别进行模板比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；
对不同单位的人像比对算法及引擎的评测结果进行统计和评分，并生成评测报告。
进一步地，每条人口数据包含两张人像照片的间隔设定时间为5年以上。
进一步地，所述第一数量为20万，所述第二数量为1亿。
进一步地，如果在建模过程中出现异常，则记录异常问题及异常时间，并进行建模重置。
进一步地，如果在比对过程中出现异常，则记录异常问题及异常时间，并进行比对重置或建模重置。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (3)

1.人口信息人像比对系统关键性能指标评测方法，其特征在于，包括以下步骤：
定义抽取人像比对数据的参数；
根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库，其中所抽取的每条人口数据包含间隔设定时间的两张人像照片；
根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，测试库与探测库照片会存在重复的可能，需要将测试库与探测库进行筛选，去掉测试库中存在的重复数据，将探测库中的照片及非人像照片分区存入测试库；
探测库中包含间隔设定时间的两张人像照片，其中一张放入测试库，一张留存探测库，用来检测人像比对算法及引擎的n选匹配率指标,其中n为自然数；非人像照片用来检测人像比对算法及引擎的错误建模率指标；
对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；
对建模后的不同单位的人像比对算法及引擎分别进行模板比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；
对不同单位的人像比对算法及引擎的评测结果进行统计和评分，并生成评测报告；
如果在建模的过程中出现异常，则记录异常问题及异常时间，并进行建模重置；如果在比对过程中出现异常，则记录异常问题及异常时间，并进行比对重置或建模重置。
2.根据权利要求1所述的人口信息人像比对系统关键性能指标评测方法，其特征在于，每条人口数据包含两张人像照片的间隔设定时间为5年以上。
3.根据权利要求1所述的人口信息人像比对系统关键性能指标评测方法，其特征在于，所述第一数量为20万，所述第二数量为1亿。
CN201510926666.4A 2015-12-14 2015-12-14 人口信息人像比对系统关键性能指标评测方法 Active CN106874306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510926666.4A CN106874306B (zh) 2015-12-14 2015-12-14 人口信息人像比对系统关键性能指标评测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510926666.4A CN106874306B (zh) 2015-12-14 2015-12-14 人口信息人像比对系统关键性能指标评测方法

Publications (2)

Publication Number Publication Date
CN106874306A CN106874306A (zh) 2017-06-20
CN106874306B true CN106874306B (zh) 2020-10-09

Family

ID=59177731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510926666.4A Active CN106874306B (zh) 2015-12-14 2015-12-14 人口信息人像比对系统关键性能指标评测方法

Country Status (1)

Country Link
CN (1) CN106874306B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918976B (zh) * 2017-12-13 2021-04-02 航天信息股份有限公司 一种人像比对算法融合方法及其装置
CN109934060A (zh) * 2017-12-15 2019-06-25 航天信息股份有限公司 一种指纹比对系统的关键性能指标的测评系统和方法
CN109218131B (zh) * 2018-09-03 2022-03-29 平安医疗健康管理股份有限公司 网络监控方法、装置、计算机设备和存储介质
CN111913871A (zh) * 2019-05-10 2020-11-10 中国信息通信研究院 一种基于深度学习的肺结节检出软件测试方法
CN111782835B (zh) * 2020-06-30 2024-02-27 公安部第三研究所 一种面向人脸识别设备检测的人脸测试数据库管理系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110089A (zh) * 2007-09-04 2008-01-23 华为技术有限公司 一种数据挖掘和建模的方法及系统
CN101169798A (zh) * 2007-12-06 2008-04-30 中国电信股份有限公司 一种数据挖掘系统和方法
CN101312544A (zh) * 2008-06-25 2008-11-26 厦门大学 面向无线网络的视频质量自动评测系统及其评测方法
CN101609500A (zh) * 2008-12-01 2009-12-23 公安部第一研究所 出入境数字人像相片质量评估方法
CN102867231A (zh) * 2012-08-22 2013-01-09 北京航天金盾科技有限公司 具有人像、指纹比对功能的居民身份证制证系统及方法
CN105095329A (zh) * 2014-11-20 2015-11-25 北京航天金盾科技有限公司 一种人口数据校核方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450785B2 (en) * 2003-01-22 2008-11-11 Hewlett-Packard Development Company, L.P. Method and device for sorting similar images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110089A (zh) * 2007-09-04 2008-01-23 华为技术有限公司 一种数据挖掘和建模的方法及系统
CN101169798A (zh) * 2007-12-06 2008-04-30 中国电信股份有限公司 一种数据挖掘系统和方法
CN101312544A (zh) * 2008-06-25 2008-11-26 厦门大学 面向无线网络的视频质量自动评测系统及其评测方法
CN101609500A (zh) * 2008-12-01 2009-12-23 公安部第一研究所 出入境数字人像相片质量评估方法
CN102867231A (zh) * 2012-08-22 2013-01-09 北京航天金盾科技有限公司 具有人像、指纹比对功能的居民身份证制证系统及方法
CN105095329A (zh) * 2014-11-20 2015-11-25 北京航天金盾科技有限公司 一种人口数据校核方法

Also Published As

Publication number Publication date
CN106874306A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106874306B (zh) 人口信息人像比对系统关键性能指标评测方法
De Weerdt et al. A robust F-measure for evaluating discovered process models
CN109615116A (zh) 一种电信诈骗事件检测方法和检测系统
CN110992167A (zh) 银行客户业务意图识别方法及装置
CN110336838B (zh) 账号异常检测方法、装置、终端及存储介质
CN113010389A (zh) 一种训练方法、故障预测方法、相关装置及设备
CN110798709B (zh) 视频处理方法和装置、存储介质及电子装置
CN109816200A (zh) 任务推送方法、装置、计算机设备和存储介质
CN109063433B (zh) 虚假用户的识别方法、装置及可读存储介质
CN109766697A (zh) 应用于Linux系统的漏洞扫描方法、存储介质、设备及系统
CN111930726B (zh) 基于离线表单的等级保护测评数据采集、分析方法及系统
CN112446637A (zh) 一种建筑施工质量安全在线风险检测方法及系统
CN111062486A (zh) 一种评价数据的特征分布和置信度的方法及装置
CN114072808A (zh) 用于控制制造过程的分类模型
CN111325255B (zh) 特定人群圈定方法、装置、电子设备及存储介质
CN112561713A (zh) 一种保险行业理赔反欺诈识别方法及装置
CN110263618A (zh) 一种核身模型的迭代方法和装置
CN116302870A (zh) 基于进化图的机械硬盘健康评估方法、系统和存储介质
CN111651652B (zh) 基于人工智能的情感倾向识别方法、装置、设备及介质
CN114519437A (zh) 一种基于云的故障诊断分析及报修的微服务方法及系统
CN112860527A (zh) 应用服务器的故障监测方法及装置
CN113239075A (zh) 一种施工数据自检方法及系统
CN112015648A (zh) 基于自动化脚本的测试方法、装置、计算机设备和介质
CN112990147A (zh) 一种涉政图像的识别方法、装置、电子设备及存储介质
CN113703923B (zh) 一种业务问题的识别方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Tang Yujian

Inventor after: Tao Yong

Inventor after: Meng Xiangcui

Inventor after: Qiao Xiaoguang

Inventor after: Yang Chuanchuan

Inventor after: Jing Weifeng

Inventor after: Fan Ying

Inventor after: Hao Ruichao

Inventor after: Chen Jie

Inventor after: Zhang Zhaoxing

Inventor after: Wei Jing

Inventor after: Tang Tao

Inventor after: Li Yinbo

Inventor after: Zou Jiwen

Inventor before: Tang Yujian

Inventor before: Fan Ying

Inventor before: Meng Xiangcui

Inventor before: Qiao Xiaoguang

Inventor before: Yang Chuanchuan

Inventor before: Jing Weifeng

Inventor before: Tang Tao

Inventor before: Hao Ruichao

Inventor before: Chen Jie

Inventor before: Zhang Zhaoxing

Inventor before: Wei Jing

Inventor before: Li Yinbo

Inventor before: Zou Jiwen

Inventor before: Tao Yong

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant