CN110287356A - 一种用于人脸识别算法引擎的评测、调用方法和系统 - Google Patents
一种用于人脸识别算法引擎的评测、调用方法和系统 Download PDFInfo
- Publication number
- CN110287356A CN110287356A CN201910410942.XA CN201910410942A CN110287356A CN 110287356 A CN110287356 A CN 110287356A CN 201910410942 A CN201910410942 A CN 201910410942A CN 110287356 A CN110287356 A CN 110287356A
- Authority
- CN
- China
- Prior art keywords
- engine
- algorithm engine
- algorithm
- accuracy
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 254
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012360 testing method Methods 0.000 title claims abstract description 56
- 238000011156 evaluation Methods 0.000 title claims abstract description 29
- 239000000126 substance Substances 0.000 claims abstract description 7
- 238000012806 monitoring device Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明给出了一种用于人脸识别算法引擎的评测、调用方法和系统，包括将算法引擎的调用方式和算法引擎的输出内容格式转换为统一的调用方式和统一的内容格式，利用监控设备获取的抓拍图分别使用不同的算法引擎进行人脸识别，根据匹配命中情况对算法引擎进行准确性评分，根据算法引擎的耗时和比对失败率对算法引擎进行性能评分，将算法引擎的准确性和性能进行量化计算，利用准确性评分和性能评分进行加权求和获得算法引擎的综合评分，并生成算法引擎的评测报告。根据综合得分对引擎进行评测、调用，充分发挥各引擎的优势，实现对算法引擎的合理调用。
Description
技术领域
本发明涉及算法引擎评测领域，尤其是一种用于人脸识别算法引擎的评测、调用方法和系统。
背景技术
目前大部份的人脸检测系统主要是通过引入一家人脸识别算法引擎进行人脸识别，一般情况下通过静态图片拍照后再识别人脸，然后再与预先设置好的人脸图进行对比。该系统很大程度上受限于选用的人脸识别算法引擎的准确性，若人脸识别算法引擎的准确性不高，会影响人脸检测系统的使用。
现在算法引擎的提存在以下问题：供调度方式和定义数据内容格式不统一，比对结果准确性没有长期和在线动态的评估方式，无法实现集成对各家算法引擎进行获取达到归一化输出，无法根据归一化结果进行在线评估引擎能力情况。
发明内容
本发明提出了一种用于人脸识别算法引擎的评测、调用方法和系统。
在一个方面，本发明提出了一种用于人脸识别算法引擎的评测方法，包括以下步骤：
S1：将算法引擎的调用方式和算法引擎的输出内容格式转换为统一的调用方式和统一的内容格式；
S2：利用监控设备获取的抓拍图分别使用不同的算法引擎进行人脸识别，根据匹配命中情况对算法引擎进行准确性评分；
S3：根据算法引擎的耗时和比对失败率对算法引擎进行性能评分；
S4：将算法引擎的准确性和性能进行量化计算，利用准确性评分和性能评分进行加权求和获得算法引擎的综合评分，并生成算法引擎的评测报告。
在可选实施例中，内容格式包括人员标识ID、比对相似度和比对顺序排名。通过内容格式的统一，保证多个引擎输出的内容的一致性，能够更加直观的对各算法引擎进行评测。
在可选实施例中，算法引擎的调用方式包括http调用和/或tcp调用。多种调用方式的可选择性可以根据不同应用需求提高评测的效率。
在可选实施例中，步骤S2具体包括以下步骤：
S21：利用抓拍图与算法引擎的重点库中的人脸图进行比对，根据命中情况进行重点库的准确性评分；
S22：利用抓拍图与算法引擎的常住人口库的人脸图进行比对，根据命中情况进行常住人口库的准确性评分；
S23：利用抓拍图与算法引擎的证件照进行比对，根据命中情况进行人证一致性的评分。
在可选实施例中，准确性评分的方法具体为：利用算法引擎调用内容格式得到抓拍图的人员标识ID集合，结合抓拍地点、抓拍时间匹配，根据匹配命中的顺序排名进行评分。利用人员ID、地点和时间的结合进行匹配判断，使准确性的评分更加的合理。
在可选实施例中，算法引擎的人员标识ID集合中，与抓拍图匹配命中的人员标识ID的排名越靠前，评分越高。将评分结果转换为排名，可以更加直观的获得各算法引擎的评测结果。
在可选实施例中，若多人命中或没有人命中，则当前抓拍图的识别结果视为无效，进入下一张抓拍图的识别。
在可选实施例中，人证一致性评分的具体方法为：在算法引擎中对同一人的证件照和现场照进行比较，判断相似度阈值，相似度阈值大于算法引擎的阈值则得分。利用同一人的人证相似度阈值对比可以直接获得各引擎之间的一致性情况，数据结果简单可靠。
在可选实施例中，重点库的准确性评分、常住人口库的准确性评分和人证一致性的评分进行加权求和，形成算法引擎的准确性评分结果。通过加权求和得到的准确性评分作为准确性评分结果能够更全面的体现各算法引擎的准确性具体情况。
在可选实施例中，算法引擎的耗时和失败率与性能评分成反比。失败率和耗时能够较为直观的体现算法引擎的性能，将性能转换为具体的数值便于评测。
在可选的实施例中，评测报告的内容包括算法引擎的准确性评分及排名、性能评分及排名、综合评分及排名、耗时、失败次数和相似度阈值。通过多方面的数据生成评测报告，评测结果更加的全面。
根据本发明的另一方面，提出了一种用于人脸识别算法引擎的调用方法，包括如上文的用于人脸识别算法引擎的评测方法，该方法还包括：
利用算法引擎的重点库、常住人口库和人证一致的准确性评分排名，选取评分排名前三的算法引擎中的一个进行对应准确性项目的人脸识别任务；
利用算法引擎的综合评分排名，选取评分排名前三的算法引擎中的一个进行综合项目的人脸识别任务；
在处理多任务的人脸识别中，利用算法引擎的单项和/或综合评分排名，调用单项和/或综合评分排名前三的算法引擎配合进行人脸识别。
根据本发明的第三方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时上述方法。
根据本发明的第四方面，提出一种用于人脸识别算法引擎的评测系统，该系统包括：
格式统一单元，配置用于将算法引擎的调用方式和算法引擎的输出内容格式转换为统一的调用方式和统一的内容格式；
准确性评测单元，配置用于利用监控设备获取的抓拍图分别使用不同的算法引擎进行人脸识别，根据匹配命中情况对算法引擎进行准确性评分；
性能评测单元，配置用于根据算法引擎的耗时和比对失败率对算法引擎进行性能评分；
评测报告生成单元，配置用于将算法引擎的准确性和性能进行量化计算，利用准确性评分和性能评分进行加权求和获得算法引擎的综合评分，并生成算法引擎的评测报告。
在具体的实施例中，准确性评测单元具体包括：
重点库评测单元，配置用于利用抓拍图与算法引擎的重点库中的人脸图进行比对，根据命中情况进行准确性评分；
常住人口库评测单元，配置用于利用抓拍图与算法引擎的常住人口库的人脸图进行比对，根据命中情况进行准确性评分；
人证一致评测单元，配置用于利用抓拍图与算法引擎的证件照进行比对，根据命中情况进行人证一致性的评分。
根据本发明的第五方面，提出了一种用于人脸识别算法引擎的调用系统，包括如上文的人脸识别算法引擎评测系统，还包括调用系统：配置于利用算法引擎的重点库、常住人口库和人证一致的准确性评分排名，选取评分排名前三的算法引擎中的一个进行对应准确性项目的人脸识别任务；利用算法引擎的综合评分排名，选取评分排名前三的算法引擎中的一个进行综合项目的人脸识别任务；在处理多任务的人脸识别中，利用算法引擎准确性和/或综合评分排名，调用对应准确性项目和/或综合评分排名前三的算法引擎配合进行多任务的人脸识别任务。
本发明通过统一算法引擎的调用方式和算法引擎的输出内容格式，进而利用监控设备获取的抓拍图分别使用不同的算法引擎进行人脸识别，根据匹配命中情况对算法引擎的重点库、常住人口库和人证一致进行准确性评测并获得准确性的评分，同时根据算法引擎的耗时和比对失败率对算法引擎进行性能评分，将算法引擎的准确性和性能进行量化计算，利用准确性评分和性能评分进行加权求和获得算法引擎的综合评分，最终生成算法引擎的评测报告。根据综合得分对人脸识别算法引擎进行评测和调用，可以充分发挥各人脸识别算法引擎的优势，通过多个算法引擎之间的交互配合可以实现人脸识别工作的效率最优化。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明的一个实施例的用于人脸识别算法引擎的评测方法的流程图；
图2是本发明的一个具体的实施例的用于人脸识别算法引擎准确性的评测方法的流程图；
图3是本发明的一个实施例的用于人脸识别算法引擎的调用方法的流程图；
图4是本发明的一个实施例的用于人脸识别算法引擎的评测系统的框架图；
图5是本发明的一个实施例的用于人脸识别算法引擎的调用系统的框架图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本发明的一个实施例的用于人脸识别算法引擎的评测方法，图1示出了根据本发明的实施例的用于人脸识别算法引擎的评测方法的流程图。如图1所示，该方法包括以下步骤：
S101：将算法引擎的调用方式和算法引擎的输出内容格式转换为统一的调用方式和统一的内容格式。根据不同算法引擎提供http调用和tcp调用等方式进行封装统一到http的调用方式。应当认识到，也可根据不同算法引擎提供http调用和tcp调用等方式进行封装统一到tcp的调用方式进行调度。
在具体的实施例中，不同算法引擎的内容格式具体包括标识人员的标识ID、比对相似度和比对顺序排名，将不同算法引擎的内容格式统一有利于直接对人脸识别算法引擎的相同项目的识别结果进行比对，使评测的结果更加的准确。
S102：利用监控设获取的抓拍图分别使用不同的算法引擎进行人脸识别，根据匹配命中情况对算法引擎进行准确性评分。从视频监控设备中获取抓拍图，与算法引擎中的人员静态图片相比，通过算法引擎识别出来的前N名人员的相似度进行排序，得到人员标识ID集合，并结合抓拍地点、抓拍时间进行匹配，根据人员标识ID集合中的命中情况进行评分。
在具体的实施例中，具体的评分可依据各算法引擎的人员标识ID集合中命中的人员标识ID在集合中的排名来设定，例如某算法引擎的标识ID集合中的首位人员标识ID命中，则该算法引擎的准确性评分记为5分，集合中第2-5位命中，则记为1分，其余位置不得分。若出现人员标识ID集合中没有匹配或者出现多个标识ID匹配，则记为识别无效，进入下一张抓拍图的识别。
S103：根据算法引擎的耗时和比对失败率对算法引擎进行性能评分。通过计算各算法引擎识别多张抓拍图的平均耗时和比对失败率对算法引擎的性能进行评测，失败率具体表现为比对失败次数与比对总次数的比值，可根据需要设定算法引擎获取结果平均耗时在一定时间内所对应的分值和失败率数值相应的分值，例如平均耗时1秒内的算法引擎记为10分，1(包含)到3秒记为5分，3(包含)秒以上记为2分，失败率在万分之一记为10分，万分之一(包含)至万分之五记为5分，大于等于万分之五则不计分。
S104：将算法引擎的准确性和性能进行量化计算，利用准确性评分和性能评分进行加权求和获得算法引擎的综合评分，并生成算法引擎的评测报告。具体可以根据实际应用设定准确性和性能的权重，例如将准确性的权重设定为80％，性能占比20％。通过准确性和性能的综合评测，对人脸识别算法引擎进行综合评分，评测报告的内容具体包括算法引擎的准确性评分情况、耗时、比对失败率、比对次数等在评测过程中产生的相关数据，全面客观的对算法引擎进行评测。
根据综合评分对人脸识别算法引擎进行评测，可以实现对多家人脸识别算法引擎进行在线实时评测，获得的评测报告可以作为选择算法引擎的参考依据，也可作为平台综合比对能力备选引擎储备参考，在算法引擎的调度上也具有相当重要的参考意义。
图2示出了本发明的一个具体的实施例的用于人脸识别算法引擎准确性的评测方法的流程图。该方法具体包括以下步骤：
S201：利用所述抓拍图与所述算法引擎的重点库中的人脸图进行比对，根据命中情况进行所述重点库的准确性评分。重点库是算法引擎中重要性较高的数据库，可作为准确性的一个重点进行评测，其准确性在很大程度上决定了整个算法引擎的识别准确性。
在具体的实施例中，根据不同算法引擎提供http调用和tcp调用等方式进行封装到统一的http方式进行调度，根据不同算法引擎的重点库调用1比N进行人员身份识别比对返回数据格式进行处理封装到统一内容格式，内容包含识别人员标识ID、比对相似度、比对顺序排名，取实时抓拍图片数据(包含抓拍地点、抓拍时间、抓拍人脸图片数据)通过封装后统一内容格式接口，获取不同算法引擎调用回来内容(人员标识ID、比对相似度、比对顺序排名)的首位人员标识ID进行合并去重，得到人员标识ID集合，通过抓拍地点、抓拍时间、人员标识ID集合到人员时空进行匹配，人员标识ID集合中有人匹配成功，根据匹配成功人员标识ID对多家算法引擎进行评分，按照匹配成功人员标识ID在各家算法引擎比对顺序排名获取得分，例如评分标准首位命中得5分，2-5位命中得1分，其余不得分，计分结束，重新循环进行下一张抓拍图比对评分。
S202：利用所述抓拍图与所述算法引擎的常住人口库的人脸图进行比对，根据命中情况进行所述常住人口库的准确性评分。常住人口库的准确性评测能够全面的代表该算法引擎的准确性，常住人口库的数量庞大，按照人员标识ID集合排名命中评分标准相比重点库宽松。
在具体的实施例中，根据不同算法引擎提供http调用和tcp调用等方式进行封装到统一的http方式进行调度，根据不同算法引擎的常住人口库调用1比N进行人员身份识别比对返回数据格式进行处理封装到统一内容格式，内容包含识别人员标识ID、比对相似度、比对顺序排名，取实时抓拍图片数据(包含抓拍地点、抓拍时间、抓拍人脸图片数据)通过封装后统一内容格式接口，获取不同算法引擎调用回来内容(人员标识ID、比对相似度、比对顺序排名)的首位人员标识ID进行合并去重，得到人员标识ID集合，通过抓拍地点、抓拍时间、人员标识ID集合到人员时空进行匹配，人员标识ID集合中有人匹配成功，根据这个匹配成功人员标识ID对多家算法引擎进行评分，按照匹配成功人员标识ID在各家算法引擎比对顺序排名获取得分，例如评分标准首位命中得5分，2-10位命中得2分，11-20位命中得1分，其余不得分，计分结束，重新循环第三步进行下一张抓拍图比对评分。
S203：利用所述抓拍图与所述算法引擎的证件照进行比对，根据命中情况进行人证一致性的评分。人证一致的评测能够对算法引擎的准确性评测进行补充，使准确性评测的结果更加全面。
在具体的实施例中，根据不同算法引擎提供http调用和tcp调用等方式进行封装到统一的http方式进行调度，根据不同算法引擎调用1比1进行比对返回数据格式进行处理封装到统一内容格式，内容包含比对相似度，取实时人证一致一组数据的证件照和现场照片，通过封装后统一内容格式接口，获取不同算法引擎调用回来内容比对相似度，利用不同算法引擎提供同一人阈值进行比较获得人证一致的评分，例如相似度阈值大于算法引擎厂商阈值得1分,否则不得分，重新循环本步骤进行下一组比对评分。
在具体的实施例中，人脸识别算法引擎的准确性评分为重点库的准确性评分、常住人口库的准确性评分和人证一致准确性评分的加权叠加，例如，可以设定算法引擎的准确性评分＝35*(引擎重点人员比对分总得分/重点人员比对次数*5)+30*(引擎人员底库比对总得分/人员底库比对次数*5)+15*(引擎人证比对总得分/人证比对次数*1)。利用多张抓拍图进行准确性的评测可以使评测结果更加的准确，同时结合重点库、常住人口库和人证一致的准确性评测，最终确定的准确性评分也更能够体现算法引擎的准确性识别情况。
图3示出了根据本发明的一个实施例的用于人脸识别算法引擎的调用方法的流程图。该方法具体包括以下步骤：
S301：如图1所示的用于人脸识别算法引擎的评测方法。利用上述方法生成人脸识别算法引擎的评测报告，获得各算法引擎的准确性评分、排名、综合评分和综合排名等数据，作为算法引擎调用的数据基础。
S302：利用算法引擎的重点库、常住人口库和人证一致的准确性评分排名，选取评分排名前三的算法引擎中的一个进行对应准确性项目的人脸识别任务。根据实际人脸识别的任务需要，选择重点库、常住人口库和人证一致三个项目中的一个进行对应的人脸识别任务。例如，在进行证件相关图片的人脸识别任务中，可直接选择各算法引擎中人证一致准确性排名前三中的一个进行人脸识别任务，可以保证人脸识别任务准确性。
S303：利用算法引擎的综合评分排名，选取评分排名前三的算法引擎中的一个进行综合项目的人脸识别任务。人脸识别任务的综合评分排名，可以综合准确性和性能对算法引擎进行选择，综合考虑算法引擎和耗时、失败率和准确性，可以用于对准确性和性能都有要求的综合性的人脸识别任务。
S304：在处理多任务的人脸识别中，利用算法引擎准确性和/或综合评分排名，调用对应准确性项目和/或综合评分排名前三的算法引擎配合进行多任务的人脸识别任务。通过各算法引擎的交互配合可以进一步提升人脸识别任务的效率，利用算法引擎的各项准确性和综合排名情况，可以有选择性的进行人脸识别算法引擎的调用，可实现多个算法引擎的交互使用，调用各项排名前三的算法引擎搭配进行相应项目的人脸识别任务，最大程度的提升人脸识别的效率。
图4示出了根据本发明的另一实施例的用于人脸识别算法引擎的评测系统。该系统具体包括格式统一单元401、准确性评测单元402、性能评测单元403和评测报告生成单元404。
在具体的实施例中，格式统一单元401，配置用于将算法引擎的调用方式和算法引擎的输出内容格式转换为统一的调用方式和统一的内容格式；准确性评测单元402，配置用于利用监控设备获取的抓拍图分别使用不同的算法引擎进行人脸识别，根据匹配命中情况对算法引擎进行准确性评分；性能评测单元403，配置用于根据算法引擎的耗时和比对失败率对算法引擎进行性能评分；评测报告生成单元404，配置用于将算法引擎的准确性和性能进行量化计算，利用准确性评分和性能评分进行加权求和获得算法引擎的综合评分，并生成算法引擎的评测报告。
在具体的实施例中，准确性评测单元402包括重点库评测单元4021、常住人口库评测单元4022和人证一致评测单元4023。
其中，重点库评测单元4021，配置用于利用抓拍图与算法引擎的重点库中的人脸图进行比对，根据命中情况进行准确性评分；常住人口库评测单元4022，配置用于利用抓拍图与算法引擎的常住人口库的人脸图进行比对，根据命中情况进行准确性评分；人证一致评测单元4023，配置用于利用抓拍图与算法引擎的证件照进行比对，根据命中情况进行人证一致性的评分。通过重点库评测单元4021、常住人口库评测单元4022和人证一致评测单元4023综合实现算法引擎的准确性评测。
根据本发明的实施例的用于人脸识别算法引擎的调用系统。图5示出了根据本发明的实施例的用于人脸识别算法引擎的调用系统。如图5所示，该系统包括评测系统501和调用系统502。
评测系统501，包括如图4所示的人脸识别算法引擎的评测系统，用于生成算法引擎的评测报告供调用系统502作为数据基础。
调用系统502，配置于利用算法引擎的重点库、常住人口库和人证一致的准确性评分排名，选取评分排名前三的算法引擎中的一个进行对应准确性项目的人脸识别任务；利用算法引擎的综合评分排名，选取评分排名前三的算法引擎中的一个进行综合项目的人脸识别任务；在处理多任务的人脸识别中，利用算法引擎准确性和/或综合评分排名，调用对应准确性项目和/或综合评分排名前三的算法引擎配合进行多任务的人脸识别任务。通过调用系统可以实现人脸识别算法引擎的调用和交互配合，充分利用各算法引擎的优势进行人脸识别任务，能够很大程度地提升人脸识别任务的效率。
该系统的各个单元可以在专用硬件上实施，也可以在通用的可编程逻辑器件中实施，或者由软硬件组合体来实施。
本发明的实施例还涉及一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上文中的方法。该计算机程序包含用于执行流程图所示的方法的程序代码。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。
下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。图6示出的终端设备或服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
根据本发明的一种用于人脸识别算法引擎的评测、调用方法和系统，通过将算法引擎的调用方式和输出内容转换为统一的调用方式和内容格式，进而对算法引擎的准确性、性能进行综合评测，准确性评测具体包括对重点库、常住人口库、人证一致的准确性评测，加权叠加生成准确性评分结果，并结合性能评分获得算法引擎的综合评分数据并生成包括各项数据和综合数据评测报告。解决了现有算法引擎提供的调度方式和定义数据内容格式不统一，比对结果准确性没有长期和在线动态的评估方式，无法实现集成对各算法引擎进行获取达到归一化输出的缺点。进行合理评测，充分发挥了各引擎的优势特点，一方面可以为作为人脸识别算法引擎调用的基础，另一方面也可为人脸识别平台的综合比对能力进行备选引擎的储备。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (16)
1.一种用于人脸识别算法引擎的评测方法，其特征在于，包括以下步骤：
S1：将算法引擎的调用方式和所述算法引擎的输出内容格式转换为统一的调用方式和统一的内容格式；
S2：利用监控设备获取的抓拍图分别使用不同的所述算法引擎进行人脸识别，根据匹配命中情况对所述算法引擎进行准确性评分；
S3：根据所述算法引擎的耗时和比对失败率对所述算法引擎进行性能评分；
S4：将所述算法引擎的准确性和性能进行量化计算，利用所述准确性评分和所述性能评分进行加权求和获得所述算法引擎的综合评分，并生成所述算法引擎的评测报告。
2.根据权利要求1所述的用于人脸识别算法引擎的评测方法，其特征在于，所述内容格式包括人员标识ID、比对相似度和比对顺序排名。
3.根据权利要求1所述的用于人脸识别算法引擎的评测方法，其特征在于，所述算法引擎的调用方式包括http调用和tcp调用。
4.根据权利要求1所述的用于人脸识别算法引擎的评测方法，其特征在于，所述步骤S2具体包括以下步骤：
S21：利用所述抓拍图与所述算法引擎的重点库中的人脸图进行比对，根据命中情况进行所述重点库的准确性评分；
S22：利用所述抓拍图与所述算法引擎的常住人口库的人脸图进行比对，根据命中情况进行所述常住人口库的准确性评分；
S23：利用所述抓拍图与所述算法引擎的证件照进行比对，根据命中情况进行人证一致性的评分。
5.根据权利要求4所述的用于人脸识别算法引擎的评测方法，其特征在于，所述准确性评分的方法具体为：利用所述算法引擎调用内容格式得到所述抓拍图的人员标识ID集合，结合抓拍地点、抓拍时间匹配，根据匹配命中的顺序排名进行评分。
6.根据权利要求5所述的用于人脸识别算法引擎的评测方法，其特征在于，在所述算法引擎的人员标识ID集合中，与所述抓拍图匹配命中的人员标识ID的所述排名越靠前，评分越高。
7.根据权利要求4所述的用于人脸识别算法引擎的评测方法，其特征在于，若多人命中或没有人命中，则当前所述抓拍图的识别结果视为无效，进入下一张所述抓拍图的识别。
8.根据权利要求4所述的用于人脸识别算法引擎的评测方法，其特征在于，所述人证一致性评分的具体方法为：在所述算法引擎中对同一人的证件照和现场照进行比较，判断相似度阈值，所述相似度阈值大于算法引擎的阈值则得分。
9.根据权利要求4所述的用于人脸识别算法引擎的评测方法，其特征在于，所述重点库的准确性评分、所述常住人口库的准确性评分和所述人证一致性的评分进行加权求和，形成所述算法引擎的准确性评分结果。
10.根据权利要求1所述的用于人脸识别算法引擎的评测方法，其特征在于，所述算法引擎的耗时和所述失败率与所述性能评分成反比。
11.根据权利要求1所述的用于人脸识别算法引擎的评测方法，其特征在于，所述评测报告的内容包括所述算法引擎的准确性评分及排名、性能评分及排名、综合评分及排名、耗时、失败次数和相似度阈值。
12.一种用于人脸识别算法引擎的调用方法，其特征在于，包括权利要求1至11中的任一项所述的方法，还包括以下方法：
利用所述算法引擎的重点库、常住人口库和人证一致的准确性评分排名，选取评分排名前三的所述算法引擎中的一个进行对应准确性项目的人脸识别任务；
利用所述算法引擎的综合评分排名，选取评分排名前三的所述算法引擎中的一个进行所述综合项目的人脸识别任务；
在处理多任务的人脸识别中，利用所述算法引擎准确性和/或综合评分排名，调用所述对应准确性项目和/或综合评分排名前三的所述算法引擎配合进行人脸识别。
13.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至11中任一项所述的方法。
14.一种用于人脸识别算法引擎的评测系统，其特征在于，包括：
格式统一单元，配置用于将算法引擎的调用方式和所述算法引擎的输出内容格式转换为统一的调用方式和统一的内容格式；
准确性评测单元，配置用于利用监控设备获取的抓拍图分别使用不同的所述算法引擎进行人脸识别，根据匹配命中情况对所述算法引擎进行准确性评分；
性能评测单元，配置用于根据所述算法引擎的耗时和比对失败率对所述算法引擎进行性能评分；
评测报告生成单元，配置用于将所述算法引擎的准确性和性能进行量化计算，利用所述准确性评分和所述性能评分进行加权求和获得所述算法引擎的综合评分，并生成所述算法引擎的评测报告。
15.根据权利要求14所述的用于人脸识别算法引擎的评测系统，其特征在于，所述准确性评测单元具体包括：
重点库评测单元，配置用于利用所述抓拍图与所述算法引擎的重点库中的人脸图进行比对，根据命中情况进行准确性评分；
常住人口库评测单元，配置用于利用所述抓拍图与所述算法引擎的常住人口库的人脸图进行比对，根据命中情况进行准确性评分；
人证一致评测单元，配置用于利用所述抓拍图与所述算法引擎的证件照进行比对，根据命中情况进行人证一致性的评分。
16.一种用于人脸识别算法引擎的调用系统，其特征在于，包括如权利要求14至15中的任一项所述的系统，还包括调用系统：配置于利用所述算法引擎的单项的评分排名，选取评分排名前三的所述算法引擎中的一个进行所述单项的人脸识别任务；利用所述算法引擎的综合评分排名，选取评分排名前三的所述算法引擎中的一个进行所述综合人脸识别任务；在处理多任务的人脸识别中，利用所述算法引擎的单项和/或综合评分排名，调用所述单项和/或综合评分排名前三的所述算法引擎配合进行人脸识别。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910410942.XA CN110287356A (zh) | 2019-05-16 | 2019-05-16 | 一种用于人脸识别算法引擎的评测、调用方法和系统 |
| PCT/CN2019/096568 WO2020228129A1 (zh) | 2019-05-16 | 2019-07-18 | 一种用于人脸识别算法引擎的评测、调用方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910410942.XA CN110287356A (zh) | 2019-05-16 | 2019-05-16 | 一种用于人脸识别算法引擎的评测、调用方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110287356A true CN110287356A (zh) | 2019-09-27 |
Family
ID=68002101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910410942.XA Pending CN110287356A (zh) | 2019-05-16 | 2019-05-16 | 一种用于人脸识别算法引擎的评测、调用方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110287356A (zh) |
| WO (1) | WO2020228129A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308070A (zh) * | 2020-10-30 | 2021-02-02 | 深圳前海微众银行股份有限公司 | 证件信息的识别方法及装置、设备和计算机可读存储介质 |
| CN115357517A (zh) * | 2022-10-20 | 2022-11-18 | 征图新视(江苏)科技股份有限公司 | 机器视觉底层算法的开发优劣性的评测方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114918659B (zh) * | 2022-06-29 | 2024-01-16 | 中国电子科技集团公司第十四研究所 | 一种接头组件装配的柔性高精度控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1808465A (zh) * | 2005-01-21 | 2006-07-26 | 中国科学院计算技术研究所 | 一种人脸检测系统的评测方法及评测系统 |
| WO2008067475A1 (en) * | 2006-12-01 | 2008-06-05 | Google Inc. | Identifying images using face recognition |
| CN108875474A (zh) * | 2017-07-18 | 2018-11-23 | 北京旷视科技有限公司 | 评估人脸识别算法的方法、装置及计算机存储介质 |
| CN109740457A (zh) * | 2018-12-20 | 2019-05-10 | 杭州当虹科技股份有限公司 | 一种人脸识别算法评测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558833A (zh) * | 2018-11-28 | 2019-04-02 | 厦门市巨龙信息科技有限公司 | 一种人脸识别算法评测方法以及装置 |
-
2019
- 2019-05-16 CN CN201910410942.XA patent/CN110287356A/zh active Pending
- 2019-07-18 WO PCT/CN2019/096568 patent/WO2020228129A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1808465A (zh) * | 2005-01-21 | 2006-07-26 | 中国科学院计算技术研究所 | 一种人脸检测系统的评测方法及评测系统 |
| WO2008067475A1 (en) * | 2006-12-01 | 2008-06-05 | Google Inc. | Identifying images using face recognition |
| CN108875474A (zh) * | 2017-07-18 | 2018-11-23 | 北京旷视科技有限公司 | 评估人脸识别算法的方法、装置及计算机存储介质 |
| CN109740457A (zh) * | 2018-12-20 | 2019-05-10 | 杭州当虹科技股份有限公司 | 一种人脸识别算法评测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 佚名: "浅谈FRVT人脸识别测评", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/42492955》 * |
| 张晓华: "人脸识别系统评测方法及实践", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308070A (zh) * | 2020-10-30 | 2021-02-02 | 深圳前海微众银行股份有限公司 | 证件信息的识别方法及装置、设备和计算机可读存储介质 |
| CN112308070B (zh) * | 2020-10-30 | 2024-04-26 | 深圳前海微众银行股份有限公司 | 证件信息的识别方法及装置、设备和计算机可读存储介质 |
| CN115357517A (zh) * | 2022-10-20 | 2022-11-18 | 征图新视(江苏)科技股份有限公司 | 机器视觉底层算法的开发优劣性的评测方法 |
| CN115357517B (zh) * | 2022-10-20 | 2022-12-30 | 征图新视(江苏)科技股份有限公司 | 机器视觉底层算法的开发优劣性的评测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020228129A1 (zh) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508681A (zh) | 生成人体关键点检测模型的方法和装置 | |
| CN108776808A (zh) | 一种用于检测钢包溶蚀缺陷的方法和装置 | |
| CN110287356A (zh) | 一种用于人脸识别算法引擎的评测、调用方法和系统 | |
| CN110618982B (zh) | 一种多源异构数据的处理方法、装置、介质及电子设备 | |
| CN105589783A (zh) | 应用程序卡顿问题数据获取方法及装置 | |
| US11151364B2 (en) | Video image overlay of an event performance | |
| CN109376267A (zh) | 用于生成模型的方法和装置 | |
| CN109688428A (zh) | 视频评论生成方法和装置 | |
| US20140357976A1 (en) | Mental state analysis using an application programming interface | |
| CN110505534A (zh) | 监控视频处理方法、装置及存储介质 | |
| CN112509690A (zh) | 用于控制质量的方法、装置、设备和存储介质 | |
| WO2012109330A1 (en) | Content storage management in cameras | |
| CN114003473B (zh) | 一种页面操作行为的回溯方法、装置及电子设备 | |
| CN110096420A (zh) | 一种数据处理方法、系统和装置 | |
| CN112184138B (zh) | 结合rpa和ai的电网工单处理方法、装置及电子设备 | |
| CN112346845A (zh) | 编码任务的调度方法、装置、设备及存储介质 | |
| CN109102324B (zh) | 模型训练方法、基于模型的红包物料铺设预测方法及装置 | |
| CN109271929A (zh) | 检测方法和装置 | |
| CN110781180A (zh) | 一种数据筛选方法和数据筛选装置 | |
| CN109815448A (zh) | 幻灯片生成方法及装置 | |
| CN108399401A (zh) | 用于检测人脸图像的方法和装置 | |
| CN109583475A (zh) | 异常信息的监测方法及装置 | |
| CN108062416A (zh) | 用于在地图上生成标签的方法和装置 | |
| CN110086894B (zh) | 人员关联信息挖掘方法、通讯推荐方法及相关装置 | |
| CN109086828A (zh) | 用于检测电池极片的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190927 |