CN113780228A - 人证比对方法、系统、终端及介质 - Google Patents

Abstract

本发明提供了一种人证比对方法及系统，包括：在服务器端分别训练及量化人脸检测模型、面部特征点检测模型和人脸识别模型后，集成到端侧芯片上；在端侧：分别采集用户图像信息和用户的身份证图像信息；将图像信息并行输入至人脸检测模型、面部特征点检测模型和人脸识别模型，得到图像信息特征提取结果；对图像信息特征提取结果进行特征比对，得到人证比对结果；其中：图像信息、人脸检测结果、面部特征点检测结果以及特征提取结果分别采用时间阻塞队列的方式进行存储。同时提供了一种相应的终端及介质。本发明在端侧进行人证比对，降低了对网络的需求，并且通过多进程并列和时间阻塞队列提高数据处理过程，进而提高了人证识别比对的效率。

Description

人证比对方法、系统、终端及介质

技术领域

本发明涉及人证比对技术领域，具体地，涉及一种人证比对方法、系统、终端及介质。

背景技术

人证比对作为安全可靠的人脸识别与身份证识别检测技术，能够有效确定本人与身份证上的信息是否一致。就目前中国国情而言，人口众多，人员流动性大，社会安全面临着重大的压力，通过人证比对技术能够有效地降低安全风险。因此人证比对技术已广泛应用于收费站口的人脸身份证比对、火车站/机场的人证比对等多种应用场景中。

现有的人证比对技术，通常为一种云端人证比对技术，即基于服务器端的人证比对识别服务程序，将该服务部署在自己的服务器上(云端服务器或者本地服务器)，部署完成后，通过应用接口调用识别服务，上传身份证图片及人脸图片在服务器端完成识别和比对后，返回识别的证件信息及比对结果。但是这种云端人证比对技术，对网络要求较高，无法达到实时运行的效果。

在人证比对技术中，由于使用的人脸识别技术通常采用深度卷积神经网络实现，而深度神经网络复杂度高、参数量大，使得如果直接将其集成到端侧端时，需要使用更好的硬件资源才可以达到实时的效果，否则仍然无法满足实时运行的要求。

经过检索发现：

公开号为CN110766412A、公开日为2020年2月7日的中国发明专利申请《人证比对方法、系统、移动终端和存储介质》，公开了一种人证比对方法、系统、移动终端和存储介质，该人证比对方法包括：获取目标人员的证件照片；拍摄所述目标人员的人脸照片；提取所述目标人员的证件照片中的人脸特征和所述目标人员的人脸照片中人脸特征；根据所述证件照片的人脸特征和所述人脸照片的人脸特征进行匹配，根据所述匹配的结果判断人证比对是否成功。本发明具有如下优点：人证比对操作简单、效率高。该方法仍然需要依赖网络，没有真正的实现端侧运行；且在火车站/机场等场合所获取的数据量较大，该方法无法保证数据的高效处理，进而无法满足实时运行的要求。

公开号为CN106991390A、公开日为2017年7月28日的中国发明专利申请《一种基于深度学习的手持人证比对系统及方法》，包括身份证信息读取模块，用于采集持证人现场照片的图像采集模块，人脸识别模块，人证比对模块和显示模块。系统通过身份证信息读取模块读取证件信息，读取到身份证证件信息后调用图像采集模块对持证人的脸部进行抓拍，人脸识别模块用于对照片进行图像预处理，人脸检测和人脸对齐，人证比对模块用于提取人脸特征并比对特征值，显示模块用于显示采集的持证人照片，身份证信息，操作提醒以及比对结果。本发明内置的人脸检测和识别模块拟采用基于深度学习的算法。目前，基于深度学习的人脸识别算法已经被证明在人脸识别领域比传统的人脸识别算法具有更高的精度。但是该方法仍然只适用于数据量较小的应用场景，对于火车站/机场等场合所获取的数据量较大，该方法无法保证数据的高效处理，进而无法满足实时运行的要求。同时，该方法由于采用了深度学习算法，对硬件资源的要求较高，否则也无法满足在高精度的要求下达到实时运行的效果。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种人证比对方法、系统、终端及介质。

根据本发明的一个方面，提供了一种人证比对方法，包括：

在服务器端分别训练人脸检测初始模型、面部特征点检测初始模型和人脸识别初始模型并进行参数量化，得到相应的人脸检测模型、面部特征点检测模型和人脸识别模型；

将得到的所述人脸检测模型、面部特征点检测模型和人脸识别模型集成到端侧芯片上；

在端侧端：

分别采集用户图像信息和用户的身份证图像信息；

将所述用户图像信息和所述身份证图像信息并行输入至所述人脸检测模型进行人脸检测，分别得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果；

将所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果并行输入至所述面部特征点检测模型进行特征点检测，分别得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果；

将所述用户图像信息面部特征点检测结果和所述身份证图像信息面部特征点检测结果并行输入至所述人脸识别模型进行特征提取，分别得到用户图像信息特征提取结果和身份证图像信息特征提取结果；

根据所述用户图像信息特征提取结果和所述身份证图像信息特征提取结果进行特征比对，得到人证比对结果；

其中：图像信息、人脸检测结果、面部特征点检测结果以及特征提取结果分别采用时间阻塞队列的方式进行存储。

优选地，所述采用时间阻塞队列的方式进行存储，包括：

定义一个队列，初始状态下所述队列为空，并输出队列为空信号；

根据所述队列为空信号，将所需存储的数据按照时间顺序依次写入至所述队列中；

当所述队列中有数据但没有存满时，分别输出用于继续写入的队列不满信号和用于提取数据的队列有数据信号；当所述队列存满时，输出队列为满信号，停止将所述图像信息写入至所述队列中；根据所述队列中数据的时间ID信息，对比当前的时间，删除不满足当前时间设定间隔的数据，此时所述队列重新变为有数据但没有存满的状态；重复执行该过程，直至完成这一工作阶段内的数据存储工作。

优选地，所述分别采集用户图像信息和用户的身份证图像信息，包括：

从摄像头RTSP流上获取用户图像信息并进行数据格式转换，然后存储至预先定义好的用户图像信息时间阻塞队列；

通过身份证读取器获取身份证上的用户头像数据作为身份证图像信息并进行数据格式转换，然后存储至预先定义好的身份证图像信息时间阻塞队列中。

优选地，所述将所述用户图像信息和所述身份证图像信息并行输入至所述人脸检测模型进行人脸检测，分别得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果，包括：

将得到的所述用户图像信息和身份证图像信息并行送入至所述人脸检测模型，得到图像信息中若干个人脸的位置坐标，并根据所述位置坐标获得对应的所述人脸的矩形边框，得到所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果。

优选地，所述将所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果并行输入至所述面部特征点检测模型进行特征点检测，分别得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果，包括：

将得到的所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果并行输入至所述面部特征点检测模型，得到每一个人脸检测结果上的多个坐标点；将所述多个坐标点对应到标准人脸坐标上，对所述人脸检测结果进行归一化操作，得到所述用户图像信息面部特征点检测结果和所述身份证图像信息面部特征点检测结果。

优选地，所述根据所述用户图像信息特征提取结果和所述身份证图像信息特征提取结果进行特征比对，包括：

当身份证图像信息特征时间阻塞队列没有数据，用户图像信息特征时间阻塞队列保存着当前时间内的最新用户图像信息特征时，一旦身份证图像信息特征时间阻塞队列中有数据进来，立即执行与用户图像信息特征时间阻塞队列中的实时最新用户图像信息特征进行比对，并返回比对结果；

当身份证图像信息特征时间阻塞队列和用户图像信息特征时间阻塞队列同时有数据时，立即执行特征比对，并返回比对结果。

优选地，所述比对结果包括：

当特征比对的分数结果大于设定的阈值，则返回的比对结果包括：比对的分数和比对成功的图像对；

当在给定的时间内特征比对的分数结果一直小于设定的阈值，则返回的比对结果包括：给定时间内分数最高的图像对和比对的分数。

优选地，所述参数量化采用int8量化。

优选地，所述端侧芯片采用RK3399Pro芯片。

优选地，所述并行输入采用多线程并发执行的方式实现。

优选地，该方法还包括：将所述用户图像信息、用户的身份证图像信息和/或人证比对结果存入共享内存。

根据本发明的另一个方面，提供了一种人证比对系统，包括：布置于服务器端的模型训练模块以及布置于端侧端的人证比对模块和信息存储模块；其中：

所述模型训练模块，包括：

模型训练子模块，该子模块用于分别训练人脸检测初始模型、面部特征点检测初始模型和人脸识别初始模型；

模型量化子模块，该子模块用于对训练后的初始模型的参数进行量化，得到相应的人脸检测模型、面部特征点检测模型和人脸识别模型；

所述人证比对模块，包括：

信息采集子模块，该子模块用于分别采集用户图像信息和用户的身份证图像信息；

信息比对子模块，该子模块包括集成的人脸检测模型、面部特征点检测模型和人脸识别模型，用于将所述用户图像信息和所述身份证图像信息并行输入至所述人脸检测模型进行人脸检测，分别得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果；将所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果并行输入至所述面部特征点检测模型进行特征点检测，分别得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果；将所述用户图像信息面部特征点检测结果和所述身份证图像信息面部特征点检测结果并行输入至所述人脸识别模型进行特征提取，分别得到用户图像信息特征提取结果和身份证图像信息特征提取结果；根据所述用户图像信息特征提取结果和所述身份证图像信息特征提取结果进行特征比对，得到人证比对结果；

所述信息存储模块，采用时间阻塞队列的方式，用于分别存储图像信息、人脸检测结果、面部特征点检测结果以及特征提取结果。

优选地，所述信息采集子模块，包括用于采集用户图像信息的摄像头和用于获取用户的身份证图像信息的身份证读取器。

优选地，所述端侧端采用RK3399Pro芯片作为端侧芯片，所述量化后的相应模型集成于所述端侧芯片上。

优选地，所述模型量化子模块对训练后的初始模型的参数进行int8量化。

优选地，所述信息比对子模块采用多线程并发执行的方式进行并行输入。

根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项所述的方法，或，运行上述任一项所述的系统。

根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项所述的方法，或，运行上述任一项所述的系统。

由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

本发明提供的人证比对方法、系统、终端及介质，在端侧进行人证比对，降低了对网络的需求，提高了人证识别比对的效率。

本发明提供的人证比对方法、系统、终端及介质，通过多进程并列和时间阻塞队列，加快了数据处理过程，进而提高了人证识别比对的效率。

本发明提供的人证比对方法、系统、终端及介质，结合人脸检测、面部特征点检测和人脸识别技术，实现对多种应用场景的人证比对智能化应用。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中人证比对方法流程图。

图2为本发明一优选实施例中人证比对方法流程图。

图3为本发明一优选实施例中RK3399Pro芯片运行示意图。

图4为本发明一优选实施例中时间阻塞队列存储数据的过程示意图。

图5为本发明一优选实施例中用户图像数据和身份证图像数据的数据转换、人脸检测和面部特征点检测、人脸识别过程示意图。

图6为本发明一优选实施例中特征比对示意图。

图7为本发明一实施例中人证比对系统的组成模块示意图。

图8为本发明一优选实施例中人证比对系统的工作模式示意图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

图1为本发明一实施例提供的人证比对方法的流程图。

如图1所示，该实施例提供的人证比对方法，可以包括如下步骤：

S100，在服务器端分别训练人脸检测初始模型、面部特征点检测初始模型和人脸识别初始模型并进行参数量化，得到相应的人脸检测模型、面部特征点检测模型和人脸识别模型；

S200，将得到的人脸检测模型、面部特征点检测模型和人脸识别模型集成到端侧芯片上；

在端侧端：

S300，分别采集用户图像信息和用户的身份证图像信息；

S400，将用户图像信息和身份证图像信息并行输入至人脸检测模型进行人脸检测，分别得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果；

S500，将用户图像信息人脸检测结果和身份证图像信息人脸检测结果并行输入至面部特征点检测模型进行特征点检测，分别得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果；

S600，将用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果并行输入至人脸识别模型进行特征提取，分别得到用户图像信息特征提取结果和身份证图像信息特征提取结果；

S700，根据用户图像信息特征提取结果和身份证图像信息特征提取结果进行特征比对，得到人证比对结果；

其中：图像信息、人脸检测结果、面部特征点检测结果以及特征提取结果分别采用时间阻塞队列的方式进行存储。

在该实施例中，作为一优选实施例，采用时间阻塞队列的方式进行存储，可以包括如下步骤：

S1，定义一个队列，初始状态下队列为空，并输出队列为空信号；

S2，根据队列为空信号，将所需存储的数据按照时间顺序依次写入至队列中；

S3，当队列中有数据但没有存满时，分别输出用于继续写入的队列不满信号和用于提取数据的队列有数据信号；当队列存满时，输出队列为满信号，停止将图像信息写入至队列中；根据队列中数据的时间ID信息，对比当前的时间，删除不满足当前时间设定间隔的数据，此时队列重新变为有数据但没有存满的状态；重复执行该过程，直至完成这一工作阶段内的数据存储工作。

在该实施例的S100中，作为一优选实施例，参数量化方法，可以采用int8量化。

在该实施例的S200中，作为一优选实施例，端侧芯片可以采用RK3399Pro芯片。

在该实施例的S300中，作为一优选实施例，分别采集用户图像信息和用户的身份证图像信息，可以包括如下步骤：

S301，从摄像头RTSP流上获取用户图像信息并进行数据格式转换，然后存储至预先定义好的用户图像信息时间阻塞队列；

S302，通过身份证读取器获取身份证上的用户头像数据作为身份证图像信息并进行数据格式转换，然后存储至预先定义好的身份证图像信息时间阻塞队列中。

在该实施例的S400中，作为一优选实施例，将用户图像信息和身份证图像信息并行输入至人脸检测模型进行人脸检测，分别得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果，可以包括如下步骤：

将得到的用户图像信息和身份证图像信息并行送入至人脸检测模型，得到图像信息中若干个人脸的位置坐标，并根据位置坐标获得对应的人脸的矩形边框，得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果。

在该实施例的S500中，作为一优选实施例，将用户图像信息人脸检测结果和身份证图像信息人脸检测结果并行输入至面部特征点检测模型进行特征点检测，分别得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果，可以包括如下步骤：

将得到的用户图像信息人脸检测结果和身份证图像信息人脸检测结果并行输入至面部特征点检测模型，得到每一个人脸检测结果上的多个坐标点；将多个坐标点对应到标准人脸坐标上，对人脸检测结果进行归一化操作，得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果。

在该实施例的S700中，作为一优选实施例，根据用户图像信息特征提取结果和身份证图像信息特征提取结果进行特征比对，可以包括如下步骤：

当身份证图像信息特征时间阻塞队列没有数据，用户图像信息特征时间阻塞队列保存着当前时间内的最新用户图像信息特征时，一旦身份证图像信息特征时间阻塞队列中有数据进来，立即执行与用户图像信息特征时间阻塞队列中的实时最新用户图像信息特征进行比对，并返回比对结果；

当身份证图像信息特征时间阻塞队列和用户图像信息特征时间阻塞队列同时有数据时，立即执行特征比对，并返回比对结果。

在该实施例的S700中，作为一优选实施例，比对结果可以包括如下两部分：

当特征比对的分数结果大于设定的阈值，则返回的比对结果包括：比对的分数和比对成功的图像对；

当在给定的时间内特征比对的分数结果一直小于设定的阈值，则返回的比对结果包括：给定时间内分数最高的图像对和比对的分数。

在该实施例的S400～S600中，作为一优选实施例，并行输入采用多线程并发执行的方式实现。

在该实施例中，作为一优选实施例，该方法还包括：将用户图像信息、用户的身份证图像信息和/或人证比对结果存入共享内存。

图2为本发明一优选实施例提供的人证比对方法的流程图。

如图2所示，该优选实施例提供的人证比对方法，主要包括如下两部分：

第一部分：服务器端的模型训练；

第二部分：端侧端的模型集成；

通过在服务器端训练人脸检测、面部特征点检测和人脸识别模型后，分别对模型进行量化，将量化好的模型再移植到端侧端，配合输入图像和输出结果，完成整个人证比对的过程。

下面对该优选实施例提供的技术方案进一步详细描述如下。

该优选实施例提供的人证比对方法，具体包括如下步骤：

步骤1，在服务器上分别训练人脸检测初始模型、面部特征点检测初始模型和人脸识别初始模型，并进行测试；

步骤2，对训练后的初始模型的参数进行量化并进行相应的模型精度测试，得到，得到相应的人脸检测模型、面部特征点检测模型和人脸识别模型；

步骤3，将得到的人脸检测模型、面部特征点检测模型和人脸识别模型移植到端侧芯片上；

步骤4，在端侧，分别通过摄像头采集用户图像信息和通过身份证读取器读取用户身份证图像信息，并将这两部分图像信息并行输入至人脸检测模型进行人脸检测，并将得到的人脸检测结果并行输入至面部特征点检测模型，得到的面部特征点检测结果并行输入至人脸识别模型，最终得到特征提取结果；在该步骤中，获取的两部分图像信息、得到的人脸检测结果、面部特征点检测结果以及特征提取结果分别采用时间阻塞队列的方式进行存储；

步骤5，根据得到的用户图像信息的特征提取结果和身份证图像信息的特征提取结果，分别进行特征比对，最终得到人证比对结果。

在该优选实施例的步骤1中，作为一优选实施例，在服务器上训练人脸检测、面部特征点检测和人脸识别初始模型，训练完毕后在服务器上完成对应的测试。

在该优选实施例的步骤2中，作为一优选实施例，对步骤1中得到的初始模型参数进行int8量化，在不影响模型性能的情况下减小模型的参数量，能够提升模型的运行速度，得到人脸检测、面部特征点检测和人脸识别模型；进一步地，对应的进行int8量化后模型的精度测试。

在该优选实施例的步骤3中，作为一优选实施例，将量化后的模型移植到端侧芯片上，在移植过程中引入了时间阻塞队列和多线程并行工作机制。

在该优选实施例中，作为一具体应用实例，端侧芯片可以采用RK3399Pro。

采用RK3399Pro芯片，主要考量如下：

紧跟国产化的潮流，现阶段无论是芯片自主研发的国产化，还是使用者使用芯片的国产化，都是端侧芯片的趋势。因此，本实施例优选国产自主研发的RK3399Pro芯片；

本实施例所提供的人证比对方法中，包含三个算法模型：人脸检测模型、面部特征点检测模型和人脸识别模型，由于算法模型数目不多，且已经经过层层优化，对端侧端硬件的要求并不是很高，RK3399Pro芯片可以满足对这三种算法实时性运行的要求。

RK3399Pro芯片提供了模型可以在其上运行的接口RKNN-API,该接口是连接RK3399Pro硬件部分和使用者程序的桥梁，使用者在使用时，并不需要关注芯片底层的硬件程序接口，只需要调用API提供的接口就可以实现算法模型在端侧上的运行。如图3所示。

在该优选实施例的步骤4中，作为一优选实施例，在端侧的应用过程中，模型的输入源有两个部分：摄像头采集的用户图像信息和身份证读取器读取的用户身份证图像信息，将这两个部分输入到集成好的包含上述三个模型的端侧系统中，身份证图像识别进程和摄像头人脸识别进程并列执行，整个过程中数据的存储(包括流入和流出过程中的存储)均采用时间阻塞队列的方式。

在该优选实施例的步骤5中，作为一优选实施例，在提取完特征后进行特征的比对和结果返回，得到的人证比对结果包括：比对成功信息和未比对成功信息，完成匹配阶段的过程。

该优选实施例提供的人证比对方法，可以达到实时响应，用户在接近端侧时就开始采集用户图像信息，并等待用户身份证响应，当身份证图像信息输入到端侧时，立刻开始执行比对过程，比对成功则返回比对结果和比对成功的图像对，若在给定时间内没有比对成功，则返回未比对成功信息。

在该优选实施例提供的人证比对方法中，每个步骤的结果都是透明的，例如：从摄像头RTSP(实时流协议)流抓拍的用户图像数据、从身份证读取器上读取到的身份证图像信息、人脸检测和面部特征点检测的结果、特征提取结果等，可以很方便的从存储的数据中获取所需数据。

在该优选实施例提供的人证比对方法中，使用时间阻塞队列来存储数据，所以模型在终端芯片(例如RK3399Pro)上占用的硬件资源将特别小，可以极大的节省硬件资源用于其他应用程序开发。

在该优选实施例提供的人证比对方法中，模型输入源有两个：摄像头RTSP流的用户图像信息和身份证读取器读取的身份证图像信息，这两个输入源需要在模型中并行工作，通过采用多线程并发执行的方式完成这一并行工作，大大提升了系统的运行效率，提升用户的体验。

在该优选实施例提供的人证比对方法中，模型超参数对使用者来说是透明的，使用者可以根据自己的需求设置合适的超参数。

在该优选实施例中，人脸检测模型、面部特征点检测模型和人脸识别模型分别采用深度神经网络算法(模型)实现。

下面详细介绍端侧端的模型集成部分，该部分也是实现人证比对的核心部分。

一、时间阻塞队列的构造

在人证比对的实现过程中，采用时间阻塞队列来存储中间数据，这些中间数据包括：摄像机RTSP流抓拍的用户图像信息时间阻塞队列、身份证读取器读取的身份证图像信息时间阻塞队列、用户图像信息特征时间阻塞队列以及身份证图像信息特征时间阻塞队列，这些中间数据对上层应用和开发者来说是透明的。时间阻塞队列的优势在于：

(1)队列按照先进先出的方式存储数据和取出数据，在应用过程中，不需要关注队列内部的数据存储形式和队列的构造形式，只需要给队列送数据和取数据，这样不仅可以方便程序的构建，也大大简化了程序的复杂度；

(2)时间存储队列的提出在这种情况下：队列中数据存满，不进行数据取出时，队列不再进行过新数据的写入，这会使得队列中存储的数据一直是某个时间段的数据，这并不符合本发明实施例的数据存储要求，本发明实施例要求队列中的数据一直要保持该时间段的最新数据。因此，本发明实施例提出时间阻塞队列，时间阻塞队列可以保证该队列中的数据一直是本时间段最新的数据。

时间阻塞队列存储数据的过程如图4所示，其详细过程如下步骤：

步骤(1)，定义一个队列，此时队列为空，将“队列为空”信号广播给调用该队列的程序；

步骤(2)，队列写入程序收到“队列为空”信号后，将数据按照时间顺序依次送入到定义好的队列中；

步骤(3)，队列中有数据但没有存满，会将“队列不满”信号继续广播给写入队列的程序，同时将“队列有数据”信号广播给调用取出队列的程序；

步骤(4)，当队列存满时，队列将“队列为满”信号广播写入队列的程序，写入队列的程序停止将数据写入到队列中，若此时取出队列的程序没有取出数据，则队列一直处于满的状态，如果这种状态持续时间长的话，队列中一直存储的是先前时间段内的数据，这并不满足本发明实施例的设定，因此按照队列中数据的时间ID信息，对比当前的时间，删除掉不满足当前时间设定间隔的数据；

步骤(5)，在进行时间队列的判断后，将“队列不满”信号广播给写入队列的程序，程序将数据继续写入到队列中；

步骤(6)，继续步骤(4)和步骤(5)的过程，直至完成这一工作阶段内的数据存储工作。

二、特征提取

特征提取包括：用户图像数据和身份证图像数据的数据转换、人脸检测和面部特征点检测、人脸识别，该阶段使用四个线程来组织，如图5所示。

结合时间阻塞队列，下面将详细介绍这四个线程：

(1)线程1，从摄像头RTSP流上取出用户图像数据，将用户图像数据从YUV的格式转换为RGB三通道的形式，一方面将转换后的图像写入共享内存中，供其他程序或开发者调用，另一方面将其送入到预先定义好的用户图像数据时间阻塞队列(用户图像信息时间阻塞队列)中，供后续程序使用；

(2)线程2，跟线程1的功能相同，不同的是从身份证读取器上读取身份证上的用户头像数据(即身份证图像数据)，并将其写入共享内存以及送入到预先定义好的身份证图像数据时间阻塞队列(即身份证图像信息时间阻塞队列)中；

线程1中的用户图像数据时间阻塞队列和线程2中的身份证图像数据时间阻塞队列的功能相同，都是用来存储图像数据。不同的是：

①若摄像头的fps设为10fps，也就是1秒钟可以放入到用户图像数据时间阻塞队列中的图像个数是10个，1分钟的话可以放10*60＝600张，若阻塞队列的尺寸设为100的话，将会严重造成队列的休眠，所以使用时间阻塞队列，通过时间来判断队列中的数据，让队列中的数据时刻保持最新。时间阻塞队列在摄像头数据存储的优势显而易见；

②对于身份证图像数据时间阻塞队列，由于在应用过程中，用户的身份证图像数据在进入到队列后就随时完成后续的操作，所以身份证图像数据时间阻塞队列的数据可以不用过多关注。

(3)线程3，对用户图像数据时间阻塞队列中的图像进行人脸检测、面部特征点检测和特征提取：

人脸检测：将得到的用户图像数据和身份证图像数据并行送入人脸检测模型中，得到图像中人脸的位置坐标，位置坐标采用两个点来表示，分别表示人脸矩形的左上角和右下角，若一张图中存在多张人脸，则会得到多个人脸坐标。在本发明实施例提供的人证比对方法中，只关注每张用户图像中人脸面积最大的四个人脸，将这四个人脸送入到后续的处理中；

面部特征点检测：将得到的四个人脸输入至面部特征点检测模型，检测人脸上的五个坐标点，这个五个坐标点包含：左眼的位置、右眼的位置、鼻尖的位置、两个嘴角的位置，根据这五个关键点的坐标将其对应到标准人脸坐标上，完成人脸的归一化操作；

特征提取：将归一化后的人脸送入到人脸识别模型中，提取人脸的特征。

将提取到的用户图像数据的人脸特征写入到用户图像数据时间阻塞队列中，供后续调用。

(4)线程4，线程4的功能和线程3的功能相同，用来处理身份证图像数据时间阻塞队列中的数据，不同的是在人脸检测阶段，由于身份证上的人脸个数只有一个，所以只取一个人脸进入到后续的面部特征点检测和特征提取阶段。

三、特征比对和结果返回

基于用户图像信息特征时间阻塞队列和身份证图像信息特征时间阻塞队列，进行特征比对，将特征比对的结果返回，如图6所示。在特征比对阶段，存在着两种情况：

(1)身份证图像信息特征时间阻塞队列还没有数据时，用户图像信息特征时间阻塞队列已经存满，并且一直存在着数据等待，此时如上述时间阻塞队列需要使用当前时间判断摄像头图像队列中的时间信息，使得用户图像信息特征时间阻塞队列保存着当前时间内的最新用户图像信息。一旦身份证图像信息特征时间阻塞队列中有数据进来，立即执行和用户图像信息特征时间阻塞队列中的实时最新用户图像进行特征比对，并返回结果。

(2)当身份证图像信息特征时间阻塞队列和用户图像信息特征时间阻塞队列同时有数据时，立即执行特征比对工作。

根据设定的阈值，对两个特征队列的特征进行比对，在比对过程中，会存在如下两种结果：

(1)身份证图像信息特征时间阻塞队列中的特征依次和用户图像信息特征时间阻塞队列中的特征进行比对，若特征比对的分数结果大于设定的阈值，则返回比对的分数、比对成功的图像对；

(2)身份证图像信息特征时间阻塞队列中的特征依次和用户图像信息特征时间阻塞队列中的特征进行比对，若在给定的时间内一直没有出现匹配成功的图像对，也就是说比对的分数结果一直小于设定的阈值，则返回给定时间内分数最高的图像对和比对的分数。

将比对的结果写入共享内存中，方便开发者和上层应用的调用。

四、模型超参数的设置

模型含有多个超参数，表1列出了这些超参数，表中总结性介绍了这些超参数的含义和建议设定的值，可以根据需求自行设置。

图7为本发明一实施例提供的人证比对系统组成模块示意图。

如图7所示，该实施例提供的人证比对系统，可以包括：布置于服务器端的模型训练模块以及布置于端侧端的人证比对模块和信息存储模块；其中：

模型训练模块，包括：

模型训练子模块，该子模块用于分别训练人脸检测初始模型、面部特征点检测初始模型和人脸识别初始模型；

模型量化子模块，该子模块用于对训练后的初始模型的参数进行量化，得到相应的人脸检测模型、面部特征点检测模型和人脸识别模型；

人证比对模块，包括：

信息采集子模块，该子模块用于分别采集用户图像信息和用户的身份证图像信息；

信息比对子模块，该子模块包括集成的人脸检测模型、面部特征点检测模型和人脸识别模型，用于将用户图像信息和身份证图像信息并行输入至人脸检测模型进行人脸检测，分别得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果；将用户图像信息人脸检测结果和身份证图像信息人脸检测结果并行输入至面部特征点检测模型进行特征点检测，分别得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果；将用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果并行输入至人脸识别模型进行特征提取，分别得到用户图像信息特征提取结果和身份证图像信息特征提取结果；根据用户图像信息特征提取结果和身份证图像信息特征提取结果进行特征比对，得到人证比对结果；

信息存储模块，采用时间阻塞队列的方式，用于分别存储图像信息、人脸检测结果、面部特征点检测结果以及特征提取结果。

在该实施例中，作为一优选实施例，信息采集子模块，包括用于采集用户图像信息的摄像头和用于获取用户的身份证图像信息的身份证读取器；

在该实施例中，作为一优选实施例，端侧端采用RK3399Pro芯片作为端侧芯片，量化后的相应模型集成于端侧芯片上。

在该实施例中，作为一优选实施例，模型量化子模块对训练后的初始模型的参数进行int8量化。

在该实施例中，作为一优选实施例，信息比对子模块采用多线程并发执行的方式进行并行输入。

在该实施例中，作为一优选实施例，还包括共享内存模块，该模块用于存储用户图像信息、用户的身份证图像信息和/或人证比对结果，以供开发者和上层应用的调用。

需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。

该实施例提供的人证比对系统，其工作模式如图8所示。其工作过程可参考本发明上述实施例提供的人证比对方法，此处不再赘述。

本发明一实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行上述实施例中任一项的方法，或，运行上述实施例中任一项的系统。

本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述实施例中任一项的方法，或，运行上述实施例中任一项的系统。

在上述两个实施例中，可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic RandomAccess Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明上述实施例提供的人证比对方法、系统、终端及介质，可以在公开数据集以及现实场景下采样的数据集上进行训练和测试，提高了模型的精度以及现实场景下的泛化能力。

本发明上述实施例提供的人证比对方法、系统、终端及介质，通过在服务器端训练模型，并将得到准确率较高的模型集成到端侧，降低了对网络的需求，提高了人证识别比对的效率。

本发明上述实施例提供的人证比对方法、系统、终端及介质，通过对模型的量化，使得模型在保持已有精度的基础上可以轻松集成到端侧端，降低了对硬件的要求。

本发明上述实施例提供的人证比对方法、系统、终端及介质，将模型集成到端侧，由于不再受到网络限制，在满足高精度的要求下可以达到实时运行的效果，运行时间变短，实时性更好。

本发明上述实施例提供的人证比对方法、系统、终端及介质，通过多进程并列和时间阻塞队列，加快了数据处理过程，进而提高了人证识别比对的效率。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种人证比对方法，其特征在于，包括：

在服务器端分别训练人脸检测初始模型、面部特征点检测初始模型和人脸识别初始模型并进行参数量化，得到相应的人脸检测模型、面部特征点检测模型和人脸识别模型；

将得到的所述人脸检测模型、面部特征点检测模型和人脸识别模型集成到端侧芯片上；

在端侧端：

分别采集用户图像信息和用户的身份证图像信息；

将所述用户图像信息和所述身份证图像信息并行输入至所述人脸检测模型进行人脸检测，分别得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果；

将所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果并行输入至所述面部特征点检测模型进行特征点检测，分别得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果；

将所述用户图像信息面部特征点检测结果和所述身份证图像信息面部特征点检测结果并行输入至所述人脸识别模型进行特征提取，分别得到用户图像信息特征提取结果和身份证图像信息特征提取结果；

根据所述用户图像信息特征提取结果和所述身份证图像信息特征提取结果进行特征比对，得到人证比对结果；

其中：图像信息、人脸检测结果、面部特征点检测结果以及特征提取结果分别采用时间阻塞队列的方式进行存储。

2.根据权利要求1所述的人证比对方法，其特征在于，所述采用时间阻塞队列的方式进行存储，包括：

定义一个队列，初始状态下所述队列为空，并输出队列为空信号；

根据所述队列为空信号，将所需存储的数据按照时间顺序依次写入至所述队列中；

当所述队列中有数据但没有存满时，分别输出用于继续写入的队列不满信号和用于提取数据的队列有数据信号；当所述队列存满时，输出队列为满信号，停止将所述图像信息写入至所述队列中；根据所述队列中数据的时间ID信息，对比当前的时间，删除不满足当前时间设定间隔的数据，此时所述队列重新变为有数据但没有存满的状态；重复执行该过程，直至完成这一工作阶段内的数据存储工作。

3.根据权利要求1所述的人证比对方法，其特征在于，所述分别采集用户图像信息和用户的身份证图像信息，包括：

从摄像头RTSP流上获取用户图像信息并进行数据格式转换，然后存储至预先定义好的用户图像信息时间阻塞队列；

通过身份证读取器获取身份证上的用户头像数据作为身份证图像信息并进行数据格式转换，然后存储至预先定义好的身份证图像信息时间阻塞队列中。

4.根据权利要求1所述的人证比对方法，其特征在于，所述将所述用户图像信息和所述身份证图像信息并行输入至所述人脸检测模型进行人脸检测，分别得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果，包括：

将得到的所述用户图像信息和身份证图像信息并行送入至所述人脸检测模型，得到图像信息中若干个人脸的位置坐标，并根据所述位置坐标获得对应的所述人脸的矩形边框，得到所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果。

5.根据权利要求1所述的人证比对方法，其特征在于，所述将所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果并行输入至所述面部特征点检测模型进行特征点检测，分别得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果，包括：

将得到的所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果并行输入至所述面部特征点检测模型，得到每一个人脸检测结果上的多个坐标点；将所述多个坐标点对应到标准人脸坐标上，对所述人脸检测结果进行归一化操作，得到所述用户图像信息面部特征点检测结果和所述身份证图像信息面部特征点检测结果。

6.根据权利要求1所述的人证比对方法，其特征在于，所述根据所述用户图像信息特征提取结果和所述身份证图像信息特征提取结果进行特征比对，包括：

当身份证图像信息特征时间阻塞队列没有数据，用户图像信息特征时间阻塞队列保存着当前时间内的最新用户图像信息特征时，一旦身份证图像信息特征时间阻塞队列中有数据进来，立即执行与用户图像信息特征时间阻塞队列中的实时最新用户图像信息特征进行比对，并返回比对结果；

当身份证图像信息特征时间阻塞队列和用户图像信息特征时间阻塞队列同时有数据时，立即执行特征比对，并返回比对结果；

所述比对结果包括：

当特征比对的分数结果大于设定的阈值，则返回的比对结果包括：比对的分数和比对成功的图像对；

当在给定的时间内特征比对的分数结果一直小于设定的阈值，则返回的比对结果包括：给定时间内分数最高的图像对和比对的分数。

7.根据权利要求1-6中任一项所述的人证比对方法，其特征在于，还包括如下任意一项或任意多项：

-所述参数量化采用int8量化；

-所述端侧芯片采用RK3399Pro芯片；

-所述并行输入采用多线程并发执行的方式实现；

-将所述用户图像信息、用户的身份证图像信息和/或人证比对结果存入共享内存。

8.一种人证比对系统，其特征在于，包括：布置于服务器端的模型训练模块以及布置于端侧端的人证比对模块和信息存储模块；其中：

所述模型训练模块，包括：

模型训练子模块，该子模块用于分别训练人脸检测初始模型、面部特征点检测初始模型和人脸识别初始模型；

模型量化子模块，该子模块用于对训练后的初始模型的参数进行量化，得到相应的人脸检测模型、面部特征点检测模型和人脸识别模型；

所述人证比对模块，包括：

信息采集子模块，该子模块用于分别采集用户图像信息和用户的身份证图像信息；

信息比对子模块，该子模块包括集成的人脸检测模型、面部特征点检测模型和人脸识别模型，用于将所述用户图像信息和所述身份证图像信息并行输入至所述人脸检测模型进行人脸检测，分别得到用户图像信息人脸检测结果和身份证图像信息人脸检测结果；将所述用户图像信息人脸检测结果和所述身份证图像信息人脸检测结果并行输入至所述面部特征点检测模型进行特征点检测，分别得到用户图像信息面部特征点检测结果和身份证图像信息面部特征点检测结果；将所述用户图像信息面部特征点检测结果和所述身份证图像信息面部特征点检测结果并行输入至所述人脸识别模型进行特征提取，分别得到用户图像信息特征提取结果和身份证图像信息特征提取结果；根据所述用户图像信息特征提取结果和所述身份证图像信息特征提取结果进行特征比对，得到人证比对结果；

所述信息存储模块，采用时间阻塞队列的方式，用于分别存储图像信息、人脸检测结果、面部特征点检测结果以及特征提取结果。

9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。

Images