CN116055211A - 基于神经网络用于身份识别并自动登录应用的方法与系统 - Google Patents

Abstract

本发明提出了一种基于神经网络用于身份识别并自动登录应用的方法与系统，涉及神经网络身份识别领域。本发明通过获取待测图像，对待测图像调用一种自动检测一维条形码、二维码和人脸框的分类与定位方法来获取目标框位置以及目标类别，通过对坐标ROI区域图像的数据解析获得载有人员身份信息的字符串，将载有人员身份信息的字符串封装成报文信息，将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验，若人员身份信息核验通过，则自动登录人员的账户信息并赋予其相应的权限，若人员身份信息核验未通过，则发出提示，以实现工作人员非接触式自动登录应用系统的功能。

Description

基于神经网络用于身份识别并自动登录应用的方法与系统

技术领域

本发明涉及神经网络身份识别领域，具体而言，涉及基于神经网络用于身份识别并自动登录应用的方法与系统。

背景技术

近年来，随着工业自动化需求的增长，工业生产逐渐向智能化升级。目前，在身份自动识别领域，公开的常用的方法是人脸识别或指纹识别或刷卡识别,刷卡识别存在被人顶替的风险，因此，人脸识别与指纹识别方式更加安全可靠。但最近几年由于疫情当下，指纹识别涉及到众多人员对公用设备或物品的直接接触，在安全卫生方面欠缺一定的安全保障，因而无接触式身份识别方式的需求量大规模爆发。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于神经网络用于身份识别并自动登录应用的方法与系统，通过提供多通道应用系统登录方式，能够使得用户员通过无接触方式快捷登录内网应用系统并实时享受其被赋予的权限。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种自动检测一维条形码、二维码和人脸框的分类与定位方法，包括以下步骤：

获取YUV格式的待测图像，所述待测图像的像素点为3*M*N。将像素点为3*M*N的待测图像转化为像素点为12*(M/2)*(N/2)的图像。对像素点为12*(M/2)*(N/2)的图像进行处理得到：b1：256*(M/16)*(N/16)特征图。b2：512*(M/32)*(N/32)特征图。b3：1024*(M/64)*(N/64)特征图。对b1、b2和b3进行融合处理，预测出目标框的位置后对齐进行删除与合并处理，并输出目标框位置以及目标类别。

基于第一方面，在本发明的一些实施例中，还包括基于yolov5的网络结构，将C3模块替换为MoblieOne并将MoblieOne3x3卷积换为1x1卷积以提升检测速度。

基于第一方面，在本发明的一些实施例中，还包括基于yolov5的loss，增加L1损失以约束模型参数稀疏化。

第二方面，本申请实施例提供一种基于神经网络用于身份识别并自动登录应用的方法，包括以下步骤：

获取待测图像，对待测图像调用上述的一种自动检测一维条形码、二维码和人脸框的分类与定位方法来获取目标框位置以及目标类别。若待测图像的目标类别为一维条形码和二维码，则根据一维码和二维码的目标框位置获取ROI图像并用仿射变换法对图像进行校正处理，调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串。若待检测图像的目标类别为人脸框，用卷积神经网络回归出人脸68个关键点，通过BP神经网络求出人脸欧拉角并判断人脸角度是否过大，若人脸角度在允许范围内，则进行人脸对齐处理，先通过PNP算法求出68个人脸关键点映射成标准人脸关键点的变换矩阵，再将人脸图像乘以变换矩阵后得到的新图像作为基于MobileNet网络的输入数据，输出512维的人脸特征数据，并将获得的人脸特征数据按Base64编码转为载有人员身份信息的字符串。将载有人员身份信息的字符串封装成报文信息。将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验。若人员身份信息核验通过，则自动登录人员的账户信息并赋予其相应的权限，若人员身份信息核验未通过，则发出提示。

基于第二方面，在本发明的一些实施例中，所述调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串的步骤具体包括：

若待检测图像的目标类别为一维条形码，则调用Zxing解码器得到字符串。若待检测图像的目标类别为二维码，则调用ZBar解码器得到字符串。

基于第二方面，在本发明的一些实施例中，所述将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验的步骤具体包括：

若是一维条形码信息，则对一维条形码解码所得字符串与一维码信息底库的每一条信息记录进行逐字比对，完全一致则表明匹配成功。若是二维码信息，则对二维码解码所得字符串与二维码信息底库的每一条信息记录进行逐字比对，完全一致则表明匹配成功。若是人脸信息，先调用base64解码程序，把base64编码的字符串转为float数组(512维特征向量)，归一化以后再调用OpenBLAS的矩阵乘法快速计算所采集图像的人脸特征向量与底库的人脸特征向量之间的余弦距离，用最大的余弦距离值大于某个阈值来判断底库中是否存在人员能与所采集图像上的人匹配成功。

第三方面，本申请实施例提供一种基于神经网络用于身份识别并自动登录应用的系统，其包括：

处理模块：用于获取待测图像，对待测图像调用上述的一种自动检测一维条形码、二维码和人脸框的分类与定位方法来获取目标框位置以及目标类别。一维条形码、二维码的解码模块：用于若待测图像的目标类别为一维条形码和二维码，则根据一维码和二维码的目标框位置获取ROI图像并用仿射变换法对图像进行校正处理，调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串。人脸特征提取算法模块：用于若待检测图像的目标类别为人脸框，用卷积神经网络回归出人脸68个关键点，通过BP神经网络求出人脸欧拉角并判断人脸角度是否过大，若人脸角度在允许范围内，则进行人脸对齐处理，先通过PNP算法求出68个人脸关键点映射成标准人脸关键点的变换矩阵，再将人脸图像乘以变换矩阵后得到的新图像作为基于MobileNet网络的输入数据，输出512维的人脸特征数据，并将获得的人脸特征数据按Base64编码转为载有人员身份信息的字符串。报文模块：用于将获得的载有人员身份信息的字符串封装成报文信息。比对核验模块：用于将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验。赋予模块：用于若人员身份信息核验通过，则自动登录人员的账户信息并赋予其相应的权限，若人员身份信息核验未通过，则发出提示。

基于第三方面，在本发明的一些实施例中，还包括数据管理模块，用于信息管理系统与服务程序进行通讯实现数据交互。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

获取YUV格式的待测图像，对待测图像进行处理以获得目标框位置以及目标类别，提高了工作用户在高效方便快捷方面的体验感，实现了无接触方式，在疫情当下能够降低交叉感染的风险，同时还满足了不方便录入人脸信息的内网特殊重要工作人员的保密需求，能够实现集一维条形码、二维码和人脸三种途径于一体的身份核验与应用系统自动登录功能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明一种自动检测一维条形码、二维码和人脸框的分类与定位方法的流程图；

图2为本发明一种基于神经网络用于身份识别并自动登录应用的方法的流程图；

图3为本发明将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验的具体流程图；

图4为本发明调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串的步骤的具体流程图；

图5为本发明将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验的步骤的具体流程图；

图6为本发明一种基于神经网络用于身份识别并自动登录应用的系统的结构框图；

图7为本发明数据管理模块具体使用的交互图。

图标：1、处理模块；2、一维条形码、二维码的解码模块；3、人脸特征提取算法模块；4、报文模块；5、比对核验模块；6、赋予模块；7、数据管理模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

实施例1

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

请参照图1，本发明实施例提供一种自动检测一维条形码、二维码和人脸框的分类与定位方法，其包括以下步骤：

步骤S101：获取YUV格式的待测图像，所述待测图像的像素点为3*M*N。

上述步骤中，使用3D模型转2D的方法生成二维码和条形码的样本，即采用少量标真实样本加构建3D纹理贴图生成3D场景样本，设置不同的环境条件得到复合场景图，复合场景图根据相机模型对应的变换矩阵进行计算(即3D到2D的坐标变换)得到投影图信息，即标注信息(二维码或者条形码的坐标)，最后将生成的样本图像转为YUV格式，由于3个子像素构成一个整体，使得其中生成的样本图的像素点为3*M*N，为后续的数据处理和分析提供原始数据支撑。

步骤S102：将像素点为3*M*N的待测图像转化为像素点为12*(M/2)*(N/2)的图像。

上述步骤中，采用隔列采样加上拼接的方法将高分辨率图像转化为按通道方向进行叠加的低分辨率的图，减少计算量的同时不丢失数据信息量。对于三通道的图像而言，该过程的实质是将其他两个通道上的像素点按照一定规则叠加到另一个通道上，将3*M*N的图转化为12*(M/2)*(N/2)的图，像素点数目一致，相当于4个3*(M/2)*(N/2)图在第一个通道上进行叠加所得的图，使得图像经过该处理在卷积运算过程中计算量得到降低。

步骤S103：对像素点为12*(M/2)*(N/2)的图像进行处理得到：b1：256*(M/16)*(N/16)特征图、b2：512*(M/32)*(N/32)特征图、b3：1024*(M/64)*(N/64)特征图。

上述步骤中，b1：256*(M/16)*(N/16)特征图适用于大目标，b2：512*(M/32)*(N/32)特征图适用于中等目标，b3：1024*(M/64)*(N/64)特征图适用于小目标。本方法根据训练样本和预设的瘦身比例，自动筛选出预设网络有效的通道，为每层网络的每个通道都设置通道权重系数(初始化为1.0)，在最后的代价函数加上L1泛数正则化约束，稀疏化学习参数，部分参数在训练过程中趋向于均值为0的高斯分布，相应的学习参数按照从小到大排列(α1≤α2≤α3≤…≤αn)。再根据预设值瘦身系数γ(0<γ≤1)计算出瘦身的宽度m＝[γ*n]，其中m为8的倍数时计算效率较高，重新计算m＝(m+7)&0xfffff8，选取前m个大小的通道，忽略排最前面的n-m个通道，因为接近0的参数意义不大可选择性去掉，使得对每一层含有参数的层都做同样的选择，选出的通道设置通道系数为1.0，未被选择的通道设置为0，使得每一层的通道都动态的被选择出来，从而达到了近似瘦身γ倍网络大小的目的，使得减少计算量。

步骤S104：对b1、b2和b3进行融合处理，预测出目标框的位置后对齐进行删除与合并处理，并输出目标框位置以及目标类别。

上述步骤中，将b1、b2和b3进行融合处理，使得不同特征之间的优势互补，使得能更好的表达结构并且更加的直观，预测出待测图像中的目标框的位置后，将目标框对齐然后进行删除与合并的处理，使得输出的目标框位置以及目标类别更加准确。

在本发明的一些实施例中，还包括基于yolov5的网络结构，将C3模块替换为MoblieOne并将MoblieOne3x3卷积换为1x1卷积以提升检测速度。

所述实施例中，C3层是一个卷积层，第三层使用5*5大小的过滤器16个，步长s＝1，padding＝0。即：由16个特征图FeatureMap构成，特征图中每个神经元与输入中5*5的邻域相连，输出得到的特征图大小为10*10*16。MoblieOne主要通过RepVGG中引入的重参数化操作，去除残差结构，将模型转换为VGG风格的直筒型网络，将3x3卷积换为1x1卷积以实现推理加速。

在本发明的一些实施例中，还包括基于yolov5的loss，增加L1损失以约束模型参数稀疏化。

实施例2

请参照图2和图3，本发明实施例提供一种基于神经网络用于身份识别并自动登录应用的方法，其包括以下步骤：

步骤S201：获取待测图像，对待测图像调用上述的一种自动检测一维条形码、二维码和人脸框的分类与定位方法来获取目标框位置以及目标类别。

上述步骤中，通过使用IMx335图像传感器采集待测图像，使用3D模型转2D的方法生成二维码和条形码的样本，即采用少量标真实样本加构建3D纹理贴图生成3D场景样本，设置不同的环境条件得到复合场景图，复合场景图根据相机模型对应的变换矩阵进行计算得到投影图信息，即标注信息，二维码或一维条形码的坐标，最后将生成的样本图像转为YUV格式，将原始图像传输给主控Hi3516-dv300芯片。其中IMx335图像传感器具有拍摄画面细腻，成像比一般的1080P更高质量的优点，使得采集到的人员身份信息更加清晰，减少后续识别误差。Hi3516-dv300芯片作为专用摄像机，在低码率、高画质和低功耗等方面引领行业水平，使得后续对原始图像进行处理能够更加准确快速。

步骤S202：若待测图像的目标类别为一维条形码和二维码，则根据一维码和二维码的目标框位置获取ROI图像并用仿射变换法对图像进行校正处理，调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串。

上述步骤中，类别目标包含三种方式，分别是一维条形码信息、二维码信息和人脸信息，若待测图像的目标类别是一维条形码信息和二维码信息，则根据一维条形码和二维码的目标框位置获取对应的ROI图像，通过仿射变换法对图像进行校正处理。其中仿射变换又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间，其具有平直性的优点，在图像配准、图像纠正和纹理纠正方面具有实用性。通过对图像进行校正处理，为后续调用相应的解码程序进行解码提供原始数据支撑，使得解码能够正常准确的进行。

其中，如图4所示，所述调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串的步骤具体包括：

步骤S301：若待检测图像的目标类别为一维条形码，则调用Zxing解码器得到字符串。

上述步骤中，ZXing解码器为开放源码，可以使用C++实现的多种格式的1D/2D条码图像处理库，其包含了联系到其他语言的端口，可以完成一维条形码的扫描及解码，对一维条形码使用ZXing解码器以使得解码结果更加准确。

步骤S302：若待检测图像的目标类别为二维码，则调用ZBar解码器得到字符串。

上述步骤中，ZBar阅读器是一个开源软件，适用于读取不同来源的二维码，其通过对图像进行线性扫描，将每个像素视为单个光传感器的样本，数据在飞行中被扫描、解码和组装，对二维码使用ZBar解码器以使得解码结果更加准确。

步骤S203：若待检测图像的目标类别为人脸框，用卷积神经网络回归出人脸68个关键点，通过BP神经网络求出人脸欧拉角并判断人脸角度是否过大，若人脸角度在允许范围内，则进行人脸对齐处理，先通过PNP算法求出68个人脸关键点映射成标准人脸关键点的变换矩阵，再将人脸图像乘以变换矩阵后得到的新图像作为基于MobileNet网络的输入数据，输出512维的人脸特征数据，并将获得的人脸特征数据按Base64编码转为载有人员身份信息的字符串。

上述步骤中，使用Imglab工具标注带有特征点的人脸作为训练人脸特征点模型的样本。Base64格式的图片是文本格式，占用内存小，其编码的字符串更适合不同平台、不同语言的传输，对人脸特征向量使用Base64编码使得传输方便且解码也更容易。

步骤S204：将载有人员身份信息的字符串封装成报文信息。

上述步骤中，将一维条形码通过Zxing解码器解码得到的载有人员身份信息的字符串、二维码通过Zbar解码器解码得到的载有人员身份信息的字符串和人脸通过人脸特征提取数据按Base64编码转为载有人员身份信息的字符串封装成报文信息，并通过USB或RJ45等硬件通讯接口发送给主机。其中字符串报文具有使用简单和便于理解的特点，为后续进行对比查找提供原始数据支撑，使得人员身份信息核验能够更加准确。

步骤S205：将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验。

上述步骤中，主机需要安装并加载与采集设备相对应的操作系统的驱动，在操作系统上运行信息管理系统的服务程序。应用端通过Http接口向服务程序发送获取主机内核缓冲区报文信息的请求。服务程序接收到请求，调用包含系统调用的接口进入主机内核层获取缓冲区的报文信息，根据报文信息，可以获取载有类别为一维条形码或二维码或人脸信息的字符串。如果是一维条形码，则对一维条形码数据库进行精确查找，通过查找结果来核验人员身份信息；如果是二维码，则对二维码数据库进行精确查找，通过查找结果来核验人员身份信息；如果是人脸则需先经Base64解码得到二进制的人脸特征向量，人脸特征向量再通过与人脸特征数据库进行相似度比对来核验人员身份信息。核验结束后服务程序将人员身份信息核验结果发送给应用端，使得应用端能够接收到人员身份信息核验结果，并做出更加准确的判断。

相应地，请参阅图5，所述将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验的步骤具体包括：

步骤S401：若是一维条形码信息，则对一维条形码解码所得字符串与一维码信息底库的每一条信息记录进行逐字比对，完全一致则表明匹配成功。

上述步骤中，若目标框ROI图像区域检测为一维条形码，则对一维条形码进行解码，将解码得到的字符串与一维条形码信息底库的每一条信息记录进行逐字对比，当对比结果完全一致时，则表明匹配成功，使得对比结果更加准确，避免发生误判的情况。

步骤S402：若是二维码信息，则对二维码解码所得字符串与二维码信息底库的每一条信息记录进行逐字比对，完全一致则表明匹配成功。

上述步骤中，若目标框ROI图像区域检测二维码，则对二维码进行解码，将解码得到的字符串与二维码信息底库的每一条信息记录进行逐字对比，当对比结果完全一致时，则表明匹配成功，使得对比结果更加准确，避免发生误判的情况。

步骤S403：若是人脸信息，则采用OpenBLAS的矩阵乘法快速计算所采集图像的人脸特征向量与底库的人脸特征向量之间的余弦距离，用最大的余弦距离值是否大于阈值来判断底库中是否存在人员能与所采集图像上的人匹配成功。

上述步骤中，人脸特征底库保存的是所有注册人员的人脸特征向量，摄像头采集图像上人脸框区域人脸特征数据也为向量，所以采用OpenBLAS的矩阵乘法来计算采集图像的人脸特征向量与底库的人脸特征向量之间的余弦距离，越接近1，说明越相似，这里根据经验，大于等于阈值说明成功匹配上。

步骤S206：若人员身份信息核验通过，则自动登录人员的账户信息并赋予其相应的权限，若人员身份信息核验未通过，则发出提示。

上述步骤中，若一维条形码解码得到的字符串与一维条形码信息底库的每一条信息记录完全一致时，二维码解码得到的字符串与二维码信息底库的每一条信息记录完全一致时，采用OpenBLAS的矩阵乘法得出的余弦距离值大于阈值时，则表明人员身份信息核验通过，此时自动登录人员的账户信息并赋予人员的相应的权限，使得能够实现无接触方式快捷登录。若人员身份信息核验未通过时，则发出预设的核验未通过提示，使得用户作出调整进行二次核验。

实施例3

请参阅图6，本申请实施例提供了一种基于神经网络用于身份识别并自动登录应用的系统，其包括：

处理模块1：用于获取待测图像，对待测图像调用上述的一种自动检测一维条形码、二维码和人脸框的分类与定位方法来获取目标框位置以及目标类别。一维条形码、二维码的解码模块2：用于若待测图像的目标类别为一维条形码和二维码，则根据一维码和二维码的目标框位置获取ROI图像并用仿射变换法对图像进行校正处理，调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串。人脸特征提取算法模块3：用于若待检测图像的目标类别为人脸框，用卷积神经网络回归出人脸68个关键点，通过BP神经网络求出人脸欧拉角并判断人脸角度是否过大，若人脸角度在允许范围内，则进行人脸对齐处理，先通过PNP算法求出68个人脸关键点映射成标准人脸关键点的变换矩阵，再将人脸图像乘以变换矩阵后得到的新图像作为基于MobileNet网络的输入数据，输出512维的人脸特征数据，并将获得的人脸特征数据按Base64编码转为载有人员身份信息的字符串。报文模块4：用于将获得的载有人员身份信息的字符串封装成报文信息。比对核验模块5：用于将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验。赋予模块6：用于若人员身份信息核验通过，则自动登录人员的账户信息并赋予其相应的权限，若人员身份信息核验未通过，则发出提示。

上述系统具体实现过程请参照实施例2中提供的一种基于神经网络用于身份识别并自动登录应用的方法，在此不再赘述。

请参阅图7，还包括数据管理模块7，用于信息管理系统与服务程序进行通讯实现数据交互。

所述实施例中，信息管理系统前端通过Http接口与运行在主机的服务程序进行通讯实现数据交互，使得管理员登录前端系统可实现注册、修改、删除、查询等功能。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种自动检测一维条形码、二维码和人脸框的分类与定位方法，其特征在于，包括以下步骤：

获取YUV格式的待测图像，所述待测图像的像素点为3*M*N；

将像素点为3*M*N的待测图像转化为像素点为12*(M/2)*(N/2)的图像；

对像素点为12*(M/2)*(N/2)的图像进行处理得到：

b1：256*(M/16)*(N/16)特征图；

b2：512*(M/32)*(N/32)特征图；

b3：1024*(M/64)*(N/64)特征图；

对b1、b2和b3进行融合处理，预测出目标框的位置后对齐进行删除与合并处理，并输出目标框位置以及目标类别。

2.根据权利要求1所述的一种自动检测一维条形码、二维码和人脸框的分类与定位方法，其特征在于，还包括基于yolov5的网络结构，将C3模块替换为MoblieOne并将MoblieOne3x3卷积换为1x1卷积以提升检测速度。

3.根据权利要求1所述的一种自动检测一维条形码、二维码和人脸框的分类与定位方法，其特征在于，还包括基于yolov5的loss，增加L1损失以约束模型参数稀疏化。

4.一种基于神经网络用于身份识别并自动登录应用的方法，其特征在于，包括以下步骤：

获取待测图像，对待测图像调用权利要求1-3任一项所述的一种自动检测一维条形码、二维码和人脸框的分类与定位方法来获取目标框位置以及目标类别；

若待测图像的目标类别为一维条形码和二维码，则根据一维码和二维码的目标框位置获取ROI图像并用仿射变换法对图像进行校正处理，调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串；

若待检测图像的目标类别为人脸框，用卷积神经网络回归出人脸68个关键点，通过BP神经网络求出人脸欧拉角并判断人脸角度是否过大，若人脸角度在允许范围内，则进行人脸对齐处理，先通过PNP算法求出68个人脸关键点映射成标准人脸关键点的变换矩阵，再将人脸图像乘以变换矩阵后得到的新图像作为基于MobileNet网络的输入数据，输出512维的人脸特征数据，并将获得的人脸特征数据按Base64编码转为载有人员身份信息的字符串；

将载有人员身份信息的字符串封装成报文信息；

将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验；

若人员身份信息核验通过，则自动登录人员的账户信息并赋予其相应的权限，若人员身份信息核验未通过，则发出提示。

5.根据权利要求4所述的一种基于神经网络用于身份识别并自动登录应用的方法，其特征在于，所述调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串的步骤具体包括：

若待检测图像的目标类别为一维条形码，则调用Zxing解码器得到字符串；

若待检测图像的目标类别为二维码，则调用ZBar解码器得到字符串。

6.根据权利要求4所述的一种基于神经网络用于身份识别并自动登录应用的方法，其特征在于，所述将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验的步骤具体包括：

若是一维条形码信息，则对一维条形码解码所得字符串与一维码信息底库的每一条信息记录进行逐字比对，完全一致则表明匹配成功；

若是二维码信息，则对二维码解码所得字符串与二维码信息底库的每一条信息记录进行逐字比对，完全一致则表明匹配成功；

若是人脸信息，先调用base64解码程序，把base64编码的字符串转为float数组(512维特征向量)，归一化以后再调用OpenBLAS的矩阵乘法快速计算所采集图像的人脸特征向量与底库的人脸特征向量之间的余弦距离，用最大的余弦距离值大于某个阈值来判断底库中是否存在人员能与所采集图像上的人匹配成功。

7.一种基于神经网络用于身份识别并自动登录应用的系统，其特征在于，包括：

处理模块：用于获取待测图像，对待测图像调用权利要求1-3任一项所述的一种自动检测一维条形码、二维码和人脸框的分类与定位方法来获取目标框位置以及目标类别；

一维条形码、二维码的解码模块：用于若待测图像的目标类别为一维条形码和二维码，则根据一维码和二维码的目标框位置获取ROI图像并用仿射变换法对图像进行校正处理，调用相应的解码程序进行正确解码以获得载有人员身份信息的字符串；

人脸特征提取算法模块：用于若待检测图像的目标类别为人脸框，用卷积神经网络回归出人脸68个关键点，通过BP神经网络求出人脸欧拉角并判断人脸角度是否过大，若人脸角度在允许范围内，则进行人脸对齐处理，先通过PNP算法求出68个人脸关键点映射成标准人脸关键点的变换矩阵，再将人脸图像乘以变换矩阵后得到的新图像作为基于MobileNet网络的输入数据，输出512维的人脸特征数据，并将获得的人脸特征数据按Base64编码转为载有人员身份信息的字符串；

报文模块：用于将获得的载有人员身份信息的字符串封装成报文信息；

比对核验模块：用于将报文信息中的字符串与预设的数据库进行对比查找并进行人员身份信息核验；

赋予模块：用于若人员身份信息核验通过，则自动登录人员的账户信息并赋予其相应的权限，若人员身份信息核验未通过，则发出提示。

8.根据权利要求7所述的一种基于神经网络用于身份识别并自动登录应用的系统，其特征在于，还包括数据管理模块，用于信息管理系统与服务程序进行通讯实现数据交互。

Images