CN110866234A - 一种基于多生物特征的身份验证系统 - Google Patents

Abstract

本发明公开了一种基于多生物特征的身份验证系统，包括：通用身份验证系统框架，包括采用远程过程调用协议进行通信的服务端模块和客户端模块，当生物特征验证模块增加特征单元时，为特征单元的客户端模块和服务端模块的函数功能提供统一实现方式；生物特征验证模块，包括依据框架增加的两种以上的特征单元，每个特征单元通过不同生物特征进行身份验证；验证精度调整模块，通过设置生物特征验证模块的验证逻辑，调整系统的身份验证精度，包括基础精度、高精度和低精度。采用前述系统，能够在保证身份验证的准确率、安全性的前提下，根据需求灵活调整身份验证精度，提升了身份验证系统在增减生物特征用于身份验证时的灵活性。

Description

一种基于多生物特征的身份验证系统

技术领域

本发明涉及身份识别领域，尤其涉及一种基于多生物特征的身份验证系统。

背景技术

随着数字化以及信息技术的发展，身份识别已成为人们日常生活中经常遇到的问题，尤其是对高准确率身份识别的需要日益增长。传统的身份认证方式，例如：通过口令、密码、身份证等进行身份识别，存在易遗忘、易破解、携带不便等缺点，因而面临着严峻的考验。而生物特征是人所特有的信息，具有不会遗失、不易伪造以及随身携带的特点。因此，基于生物特征的身份鉴定技术显示出前所未有的优越性，近年来已成为国际上的研究热点。

所谓基于生物特征的身份鉴定技术，是指利用人体固有的生理特征或行为特征来进行个人身份鉴定的计算机技术。生理特征与生俱来，多是先天性的，常用于身份鉴定的生理特征包括人脸、指纹、掌纹、虹膜等；行为特征习惯使然，多是后天性的，常用于身份鉴定的行为特征包括语音、步态、笔迹、击键动作等。基于生物特征的身份鉴定可分为两类：基于生物特征的身份验证和基于生物特征的身份识别。其中，基于生物特征的身份验证是通过将输入的生物特征和系统数据库中的模板进行一对一的比对来鉴定用户身份，其目的是确定用户是否为他所声明的身份；基于生物特征的身份识别是通过将输入的生物特征与系统数据库中的模板进行一对多的比较来鉴别用户身份，其目的是确定用户的身份。

可用于身份鉴定的生物特征应该具备以下特点：

(1)普遍性：每个人都应该具有这种生物特征；

(2)唯一性：每个人拥有的生物特征应该互不相同；

(3)稳定性：生物特征的采集不随气候、环境等条件的变化而变化，并且所选择的生物特征在一段较长的时间内几乎是不变的；

(4)可采集性：所选择的生物特征应该方便采集。

迄今为止，还没有任何一种生物特征可以在在满足以上特点的条件下又能达到造价低、安全性高等要求，每种生物特征都存在局限性。例如：人脸会因表情、姿势、光照、年龄、化妆、意外伤害等因素而变化；低质量的指纹图像存在脏区、疤痕等难以采集的情况；而虹膜或声音会随着健康状况的变化而变化，这些都影响了身份识别系统的准确率。因此，每种基于单个生物特征的身份鉴别系统都有各自的优缺点，适用于不同的范围。鉴于单个生物特征的身份认证系统所能达到的准确率是有限的，在对安全有严格要求的应用领域中，人们往往通过融合多种生物特征来实现高精度的识别系统。结合多种生理和行为特征进行身份认证，以提高系统的精度和可靠性，无疑是身份鉴别领域发展的必然趋势，这样的系统称为多生物特征身份识别系统。

但是，对于一个基于多生物特征的身份识别系统，在添加新的生物特征时，现有的基于多生物特征的身份识别系统需要做整体架构的调整和改变，这无疑给项目开发人员带来了很大的难点，且每次新加一种生物特征就要重新调整结构，调整过程中会出现很多重复的工作，造成调整效率较低。此外，还容易造成不同生物特征间的矛盾冲突，导致逻辑混乱。

发明内容

本发明提供了一种基于多生物特征的身份验证系统，以解决现有的身份验证系统在增减生物特征用于身份验证时，需要对系统进行整体架构的调整和改变，导致无法灵活增减生物特征用于身份验证这一问题。

本发明实施例公开一种基于多生物特征的身份验证系统，所述系统包括：通用身份验证系统框架、生物特征验证模块以及验证精度调整模块；

所述通用身份验证系统框架，包括服务端模块和客户端模块，所述服务端模块和客户端模块之间采用远程过程调用协议进行通信，当所述生物特征验证模块增加特征单元时，所述通用身份验证系统框架为特征单元的客户端模块和服务端模块的函数功能提供统一实现方式；

所述生物特征验证模块，包括依据所述通用身份验证系统框架增加的两种以上的特征单元，每个所述特征单元通过不同生物特征进行身份验证；

所述验证精度调整模块，用于通过设置所述生物特征验证模块的验证逻辑，调整所述身份验证系统的身份验证精度，所述身份验证精度包括基础身份验证精度、高身份验证精度和低身份验证精度。

进一步地，在一种实现方式中，当所述生物特征验证模块增加特征单元时，所述通用身份验证系统框架为特征单元的客户端模块和服务端模块的函数功能提供统一实现方式，包括：

定义远程过程调用协议的统一实现方式，所述特征单元编写相应的proto3代码，生成适用远程过程调用协议的客户端模块和服务端模块；

定义所述特征单元的函数功能的统一实现方式，所述特征单元按照proto3接口形式整合通用身份验证系统框架的函数功能，所述函数功能包括注册功能、识别功能和验证功能。

进一步地，在一种实现方式中，若所述身份验证精度为基础身份验证精度，所述生物特征验证模块包括第一特征单元、第二特征单元和第三特征单元，所述第三特征单元代指新增的特征单元；

所述验证精度调整模块设置第一特征单元用于注册第一生物特征和识别第一生物特征，通过识别第一生物特征获得第一识别结果，所述第一识别结果包括第一用户ID；

所述验证精度调整模块设置第二特征单元用于注册第二生物特征，同时结合所述第一用户ID验证第二生物特征获得第一验证结果，根据所述第一验证结果比对第一特征单元的识别结果是否准确；

所述验证精度调整模块设置第三特征单元用于注册第三生物特征，同时结合所述第一用户ID验证第三生物特征获得第二验证结果，根据所述第二验证结果比对第一特征单元的识别结果是否准确；

若所述验证精度调整模块比对第一验证结果与第一识别结果，以及比对所述第二验证结果与第一识别结果的均确认第一特征单元的第一识别结果准确，所述身份验证系统的基础精度验证结果为验证通过。

进一步地，在一种实现方式中，若所述身份验证精度为高身份验证精度，所述生物特征验证模块包括第一特征单元、第二特征单元和第三特征单元，所述通用身份验证模块中的第三特征单元代指新增的特征单元；

所述验证精度调整模块设置第一特征单元用于注册第一生物特征和验证第一生物特征，通过识别第一生物特征获得第二识别结果，所述第二识别结果包括第二用户ID；

所述验证精度调整模块设置第一特征单元用于注册第二生物特征和验证第二生物特征，通过识别第二生物特征获得第三识别结果，所述第三识别结果包括第三用户ID；

所述验证精度调整模块设置第一特征单元用于注册第三生物特征和验证第三生物特征，通过识别第三生物特征获得第四识别结果，所述第四识别结果包括第四用户ID；

所述验证精度调整模块设置第一特征单元、第二特征单元和第三特征单元之间的验证逻辑为“与”，即只有所述第二识别结果、第三识别结果与第四识别结果均为识别通过，且所述第二用户ID、第三用户ID与第四用户ID一致时，所述身份验证系统的高精度验证结果为验证通过。

进一步地，在一种实现方式中，若所述身份验证精度为低身份验证精度，所述生物特征验证模块包括第一特征单元、第二特征单元和第三特征单元，所述通用身份验证模块中的第三特征单元代指新增的特征单元；

所述验证精度调整模块设置第一特征单元、第二特征单元和第三特征单元之间的验证逻辑为“或”，即只要当第五识别结果、第六识别结果与第七识别结果之中任一为识别通过时，所述身份验证系统的低精度验证结果为验证通过。

进一步地，在一种实现方式中，

所述身份验证系统框架包括功能接口模块，所述功能接口模块包括：

定义单元，用于编写接口定义文件，根据所述生物特征定义通用功能和结构化数据，所述通用功能是根据所述生物特征进行身份验证时需要的功能，所述结构化数据是在通用功能中用到的数据的结构；

编译单元，用于将所述定义单元中的接口定义文件编译为程序。

进一步地，在一种实现方式中，

当所述第一特征单元为人脸识别单元时，所述第一特征单元包括：

第一训练单元，用于通过使用人脸数据集，训练得到深度学习模型并将模型参数存储在系统中；

第一注册单元，用于将每个采集的人脸图像和与所述人脸图像相应的用户ID作为一个新用户的人脸信息，将所述人脸图像输入到所述深度学习模型中输出得到新用户的人脸特征向量，并将所述人脸特征向量作为已注册人脸信息存储到数据库中；

第一结果返回单元，用于将每个采集的人脸图像与已注册人脸信息进行比对，获得比对的相似度分数，获取较高的相似度分数对应的已注册人脸信息，处理所述对应的已注册人脸信息后获得人脸识别结果，并将所述人脸识别结果返回至客户端模块；

所述第一结果返回单元包括：

第一判断子单元，用于计算所述人脸图像与已注册人脸信息的相似度分数，并判断所述相似度分数是否大于或等于相似度阈值；

获取子单元，用于当所述相似度大于或等于相似度阈值，按照分数值由高到低顺序获取前5个匹配的已注册人脸数据；

第一返回子单元，用于当所述相似度小于相似度阈值，返回包含未注册提示的人脸识别结果至客户端模块；

第一计算子单元，用于获取使用频率较高的已注册人脸信息，即高频率人脸信息；

存储子单元，用于将所述高频率人脸信息存储于客户端模块，将非高频率人脸信息存储于服务端模块，在进行人脸比对时，先将所述人脸图像和存储于客户端模块的特征向量比对，若所述客户端模块无待检测人的已注册人脸信息，则转到服务端模块进一步验证。

进一步地，在一种实现方式中，

当所述第二特征单元为声纹识别单元时，所述第二特征单元包括：

第二训练单元，用于通过使用语音数据集，训练得到通用背景语音模型；

第二注册单元，用于在每次注册人脸信息后，将采集的语音信息转换为一维数组传输至服务端模块，经过处理后得到梅尔频率倒谱系数的声音特征向量，并将所述声音特征向量经过高斯混合模型处理后得到高斯混合模型参数，所述高斯混合模型参数即已注册声纹信息，与同一用户ID相应的已注册人脸信息共同存储在数据库中；

第二结果返回单元，用于采集并识别语音信息后提取语音信息的梅尔频率倒谱系数特征，将所述梅尔频率倒谱系数特征与已注册声纹信息比对，获得声纹验证结果；

所述第二结果返回单元包括：

转换子单元，用于将所述语音信息转换为一维数组；

处理子单元，用于将所述一维数组处理为与所述声音特征向量相同维度的向量；

第二计算子单元，用于将所述向量与每个已注册用户的声音特征向量进行比对，获得比对得分；

第二判断子单元，用于选取比对得分最高的已注册用户的用户ID，判断所述用户ID与人脸信息所对应的用户ID是否一致；

第二返回子单元，用于当所述用户ID与人脸信息所对应的用户ID一致，返回身份验证通过信息。

现有的身份验证系统在增减生物特征用于身份验证时，需要对系统进行整体架构的调整和改变，导致无法灵活增减生物特征用于身份验证。而采用本发明所述的系统，利用gRPC和LevelDB数据库搭建系统框架，设计了一种可扩展性强的身份验证系统框架，为新增生物特征用于身份验证留下来合理方便的接口，新增的生物特征只需要按照接口的要求定义好输入输出即可嵌入到身份验证系统中，因此相对于现有技术，在保证身份验证的准确率、安全性的前提下，根据需求灵活调整身份验证精度，提升了身份验证系统在增减生物特征用于身份验证时的灵活性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例部分提供的一种基于多生物特征的身份验证系统的前端界面示意图；

图2为本发明实施例部分提供的一种基于多生物特征的身份验证方法中身份验证精度为基础身份验证精度时的身份验证的流程示意图；

图3为本发明实施例部分提供的一种基于多生物特征的身份验证方法中身份验证精度为高身份验证精度时的身份验证的流程示意图；

图4为本发明实施例部分提供的一种基于多生物特征的身份验证方法身份验证精度为低身份验证精度时的身份验证的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例公开一种基于多生物特征的身份验证系统，本系统应用于根据需求灵活调整身份验证精度的场景。当身份验证系统中的生物特征较为单一，不足以进行高精度的身份验证时，能够增加新的生物特征，只有每个生物特征的验证结果均符合要求才能最终通过身份验证，从而提高身份验证的精度。例如，本系统应用于住宅的门锁时需要很高的安全性，可以采用高身份验证精度模式，只有每个生物特征的验证结果均为验证通过时才可放行，确保开门的人为住户。或者，当身份验证系统中的生物特征的种类充足，而对身份验证的精度要求不高时，在所有生物特征中任意一个生物特征的验证结果符合要求即可通过身份验证，从而降低身份验证的精度。例如，本系统应用于小区大门门禁时，为了使门禁具有安防作用，同时又能保证用户流畅的通过门禁而不至于在门禁处被限制而影响通行效率，可以采用低身份验证精度模式，只要任意一个生物特征的验证结果为验证通过时即可放行，在保证一定准确率的情况下，方便业主进入小区。

本发明实施例所述的一种基于多生物特征的身份验证系统，包括：通用身份验证系统框架、生物特征验证模块以及验证精度调整模块；

所述通用身份验证系统框架，包括服务端模块和客户端模块，所述服务端模块和客户端模块之间采用远程过程调用协议进行通信，当所述生物特征验证模块增加特征单元时，所述通用身份验证系统框架为特征单元的客户端模块和服务端模块的函数功能提供统一实现方式。本实施例中，所述服务端模块即后端，所述客户端模块即前端。

所述生物特征验证模块，包括依据所述通用身份验证系统框架增加的两种以上的特征单元，每个所述特征单元通过不同生物特征进行身份验证；本实施例中，所述特征单元的数量为大于或等于三的正整数，即所述生物特征验证模块至少包括第一特征单元、第二特征单元和第三特征单元，所述第三特征单元可代指至少一个新增的特征单元。

所述验证精度调整模块，用于通过设置所述生物特征验证模块的验证逻辑，调整所述身份验证系统的身份验证精度，所述身份验证精度包括基础身份验证精度、高身份验证精度和低身份验证精度。

现有的身份验证系统在增减生物特征用于身份验证时，需要对系统进行整体架构的调整和改变，导致无法灵活增减生物特征用于身份验证。而采用本发明所述的基于多生物特征的身份验证系统，利用gRPC和LevelDB数据库搭建系统框架，设计了一种可扩展性强的身份验证系统框架，为新的生物特征加入留下来合理方便的接口，新的生物特征只需要按照接口的要求定义好输入输出即可嵌入到身份验证系统中，因此相对于现有技术，提升了身份验证系统在增减生物特征用于身份验证时的灵活性。

本发明实施例所述的一种基于多生物特征的身份验证系统中，当所述生物特征验证模块增加特征单元时，所述通用身份验证系统框架为特征单元的客户端模块和服务端模块的函数功能提供统一实现方式，包括：

定义远程过程调用协议的统一实现方式，所述特征单元编写相应的proto3代码，生成适用远程过程调用协议的客户端模块和服务端模块；

定义所述特征单元的函数功能的统一实现方式，所述特征单元按照proto3接口形式整合通用身份验证系统框架的函数功能，所述函数功能包括注册功能、识别功能和验证功能。

本发明实施例所述的一种基于多生物特征的身份验证系统中，若所述身份验证精度为基础身份验证精度，所述生物特征验证模块包括第一特征单元、第二特征单元和第三特征单元，所述第三特征单元代指新增的特征单元；

所述验证精度调整模块设置第一特征单元用于注册第一生物特征和识别第一生物特征，通过识别第一生物特征获得第一识别结果，所述第一识别结果包括第一用户ID；

所述验证精度调整模块设置第二特征单元用于注册第二生物特征，同时结合所述第一用户ID验证第二生物特征获得第一验证结果，根据所述第一验证结果比对第一特征单元的识别结果是否准确；

所述验证精度调整模块设置第三特征单元用于注册第三生物特征，同时结合所述第一用户ID验证第三生物特征获得第二验证结果，根据所述第二验证结果比对第一特征单元的识别结果是否准确；

若所述验证精度调整模块比对第一验证结果与第一识别结果，以及比对所述第二验证结果与第一识别结果的均确认第一特征单元的第一识别结果准确，所述身份验证系统的基础精度验证结果为验证通过。

本发明实施例所述的一种基于多生物特征的身份验证系统中，若所述身份验证精度为高身份验证精度，所述生物特征验证模块包括第一特征单元、第二特征单元和第三特征单元，所述第三特征单元代指新增的特征单元；

所述验证精度调整模块设置第一特征单元用于注册第一生物特征和验证第一生物特征，通过识别第一生物特征获得第二识别结果，所述第二识别结果包括第二用户ID；

所述验证精度调整模块设置第一特征单元用于注册第二生物特征和验证第二生物特征，通过识别第二生物特征获得第三识别结果，所述第三识别结果包括第三用户ID；

所述验证精度调整模块设置第一特征单元用于注册第三生物特征和验证第三生物特征，通过识别第三生物特征获得第四识别结果，所述第四识别结果包括第四用户ID；

所述验证精度调整模块设置第一特征单元、第二特征单元和第三特征单元之间的验证逻辑为“与”，即只有所述第二识别结果、第三识别结果与第四识别结果均为识别通过，且所述第二用户ID、第三用户ID与第四用户ID一致时，所述身份验证系统的高精度验证结果为验证通过。

本发明实施例所述的一种基于多生物特征的身份验证系统中，若所述身份验证精度为低身份验证精度，所述生物特征验证模块包括第一特征单元、第二特征单元和第三特征单元，所述第三特征单元代指新增的特征单元；

具体的，本实施例中，所述验证精度调整模块设置第一特征单元用于注册第一生物特征和验证第一生物特征，通过识别第一生物特征获得第五识别结果，所述第五识别结果包括第五用户ID；

所述验证精度调整模块设置第一特征单元用于注册第二生物特征和验证第二生物特征，通过识别第二生物特征获得第六识别结果，所述第六识别结果包括第六用户ID；

所述验证精度调整模块设置第一特征单元用于注册第三生物特征和验证第三生物特征，通过识别第三生物特征获得第七识别结果，所述第七识别结果包括第七用户ID；

所述验证精度调整模块设置第一特征单元、第二特征单元和第三特征单元之间的验证逻辑为“或”，即只要当第五识别结果、第六识别结果与第七识别结果之中任一为识别通过时，所述身份验证系统的低精度验证结果为验证通过。

本发明实施例所述的一种基于多生物特征的身份验证系统中，所述身份验证系统框架包括功能接口模块，所述功能接口模块包括：

定义单元，用于编写接口定义文件，根据所述生物特征定义通用功能和结构化数据，所述通用功能是根据所述生物特征进行身份验证时需要的功能，所述结构化数据是在通用功能中用到的数据的结构；

编译单元，用于将所述定义单元中的接口定义文件编译为程序。

本发明实施例所述的一种基于多生物特征的身份验证系统中，当所述第一特征单元为人脸识别单元时，所述第一特征单元包括：

第一训练单元，用于通过使用人脸数据集，训练得到深度学习模型并将模型参数存储在系统中；

第一注册单元，用于将每个采集的人脸图像和与所述人脸图像相应的用户ID作为一个新用户的人脸信息，将所述人脸图像输入到所述深度学习模型中输出得到新用户的人脸特征向量，并将所述人脸特征向量作为已注册人脸信息存储到数据库中；

第一结果返回单元，用于将每个采集的人脸图像与已注册人脸信息进行比对，获得比对的相似度分数，获取较高的相似度分数对应的已注册人脸信息，处理所述对应的已注册人脸信息后获得人脸识别结果，并将所述人脸识别结果返回至客户端模块；

所述第一结果返回单元包括：

第一判断子单元，用于计算所述人脸图像与已注册人脸信息的相似度分数，并判断所述相似度分数是否大于或等于相似度阈值；

获取子单元，用于当所述相似度大于或等于相似度阈值，按照分数值由高到低顺序获取前5个匹配的已注册人脸数据；

第一返回子单元，用于当所述相似度小于相似度阈值，返回包含未注册提示的人脸识别结果至客户端模块；

第一计算子单元，用于获取使用频率较高的已注册人脸信息，即高频率人脸信息；

存储子单元，用于将所述高频率人脸信息存储于客户端模块，将非高频率人脸信息存储于服务端模块，在进行人脸比对时，先将所述人脸图像和存储于客户端模块的特征向量比对，若所述客户端模块无待检测人的已注册人脸信息，则转到服务端模块进一步验证。

本发明实施例所述的一种基于多生物特征的身份验证系统中，当所述第二特征单元为声纹识别单元时，所述第二特征单元包括：

第二训练单元，用于通过使用语音数据集，训练得到通用背景语音模型；

第二注册单元，用于在每次注册人脸信息后，将采集的语音信息转换为一维数组传输至服务端模块，经过处理后得到梅尔频率倒谱系数的声音特征向量，并将所述声音特征向量经过高斯混合模型处理后得到高斯混合模型参数，所述高斯混合模型参数即已注册声纹信息，与同一用户ID相应的已注册人脸信息共同存储在数据库中；

第二结果返回单元，用于采集并识别语音信息后提取语音信息的梅尔频率倒谱系数特征，将所述梅尔频率倒谱系数特征与已注册声纹信息比对，获得声纹验证结果；

所述第二结果返回单元包括：

转换子单元，用于将所述语音信息转换为一维数组；

处理子单元，用于将所述一维数组处理为与所述声音特征向量相同维度的向量；

第二计算子单元，用于将所述向量与每个已注册用户的声音特征向量进行比对，获得比对得分；

第二判断子单元，用于选取比对得分最高的已注册用户的用户ID，判断所述用户ID与人脸信息所对应的用户ID是否一致；

第二返回子单元，用于当所述用户ID与人脸信息所对应的用户ID一致，返回身份验证通过信息。

此外，本实施例中，若第一特征单元为人脸识别单元，第二特征单元为声纹识别单元，则第三特征单元可以设置为其他生物特征单元，如步态识别单元、虹膜识别单元等。

通过本实施例所述的一种基于多生物特征的身份验证系统，利用gRPC和LevelDB数据库搭建系统框架，设计了一种可扩展性强的身份验证系统框架，为新的生物特征加入留下了合理方便的接口，新的生物特征只需要按照接口的要求定义好输入输出即可嵌入到身份验证系统中，因此相对于现有技术，提升了身份验证系统在增减生物特征用于身份验证时的灵活性。

此外，人脸识别部分结合了当下工程上效果领先的Sphereface算法，针对实际应用中遇到的各种问题，设计了RINC-Face框架，在实际应用中取得了很好的效果；声纹识别部分，针对实际需要，结合3D卷积神经网络模型，设计了RINC-Voice算法框架，达到了很高的识别率。将人脸识别结果与声纹识别结果合理结合，抛弃简单的将二者结果进行逻辑“与”操作，而是结合中间结果和用户ID等信息输出最后判断结果，达到高可靠性身份验证的目标。

此外，本发明实施例还公开了一种基于多生物特征的身份验证方法，如图2、图3和图4所示，是本发明实施例部分提供的一种基于多生物特征的身份验证方法在基础身份验证精度、高身份验证精度以及低身份验证精度场景下的流程示意图，这三种验证精度场景下共同包括以下步骤：

步骤101，训练模型，所述模型包括人脸识别单元、声纹识别单元和第三特征单元的模型；

步骤102，通过摄像头采集用户的人脸图像，对所述人脸图像进行识别，判断所述用户是否为已注册用户；

具体的，本步骤中，计算所述人脸图像的特征向量与已注册人脸特征向量的距离，即相似度分数，并判断所述相似度分数是否大于或等于相似度阈值，若小于相似度阈值，则向前端发送“人脸验证未通过”信息，反之得到相似度分数最高的用户ID，其中相似度阈值的设置分应用场景的不同情况设定，若对人脸验证精度要求很高，则可将相似度阈值设置得较高，相反，若对人脸验证精度要求不高，则可将相似度阈值设置得低一些。

在所述步骤102后，还包括：若人脸识别结果为该用户为未注册用户，则前端界面不作任何显示，同时向后端返回未验证通过结果。本实施例中，所述前端即客户端模块，所述后端即服务端模块。

步骤103，若人脸识别结果为该用户为已注册用户，则将人脸识别出的用户ID发送到声纹验证阶段；

步骤104，前端界面显示动态生成的数字，通过前端的语音采集装置对语音进行采集，将所述语音以数组的形式发送到后端；

具体的，本步骤中，如图1所示，为本发明实施例部分提供的一种基于多生物特征的身份验证系统的前端界面示意图，前端显示出动态生成的8位数字，用户读出8位数字，前端的语音采集装置采集5秒的语音信息，所述语音信息经过前端处理变成一维数组发送到后端。

步骤105，后端对所述语音信息进行识别，判断所述语音信息是否和动态生成的数字一致；

在所述步骤104后，还包括：若所述语音信息和动态生成的数字不一致，则将“识别失败”的提示信息发送到前端界面，所述前端界面再次显示动态生成数字，在前端的语音采集装置对语音信息进行采集，将所述语音信息以数组的形式发送到后端之后，回到所述步骤104的操作。

步骤106，若所述语音信息和动态生成的数字一致，则将所述语音信息以数组的形式发送到声纹识别环节，后端对所述数组进行声纹识别，将所述数组与已注册的声纹信息进行逐个比对，根据高斯混合模型计算每个已注册声纹的得分，获得声纹验证结果，具体的，若所述得分大于等于预设得分阈值，则声纹识别结果为已注册人员；

具体的，本步骤中，能够根据验证声纹验证精度的需求调整预设得分阈值，如果需要让声纹验证精度高一些，就把预设得分阈值设置为较高值，反之设置为较低值。神经网络模型将所述5秒的语音信息处理成和注册语音同样维度的向量，与注册的语音信息对比，得到对于每个已注册用户的得分，选取得分最高的用户ID。

在所述步骤105后，还包括：若所述得分小于预设得分阈值，则声纹识别结果为未注册声纹，将“声纹验证未通过”的提示信息发送到前端界面，返回所述步骤104的操作。

步骤107，若后端对所有识别都通过，则将“验证通过”的提示信息发送到前端界面，若有某个特征单元的识别未通过，则将“验证未通过”的提示信息发送到前端界面。

当添加新的生物特征用于第三特征单元时，第三特征单元需要实现远程过程调用协议(Remote Procedure Call，RPC)以及所述框架中规定的注册和验证功能；所述实现RPC协议，包括新的特征单元编写相应的proto3代码，生成RPC的客户端和服务端，用于前后端的数据传输；所述实现框架中规定的注册和验证功能，包括按照proto3接口形式整合所述注册和验证功能。

因此，当用于该身份验证系统的生物特征较为单一，不足以进行高精度的身份验证时，能够通过增加新的生物特征用于第三特征单元，将身份验证精度调整为高验证精度的模式，在该模式下，只有每个生物特征的验证均符合要求才能最终通过身份验证，从而提高身份验证的精度，其具体步骤如上所述。

或者，当用于该身份验证系统验证的生物特征较多，而对身份验证的精度要求不高时，在所有生物特征中任意一个生物特征的验证符合要求即可通过身份验证，从而降低身份验证的精度。此种方案适用于对精度要求相对不高的场景，比如在小区门禁处，由于经常出现通过门禁的用户流量较大的情况，为了使门禁在具有安防作用的前提下，同时保证用户通过门禁的通行效率，只要用户通过人脸特征单元、声纹特征单元或第三特征单元的任一身份验证即可放行，因此提供多种验证方式不失为一种好的解决方案。

具体的，对于精度要求不高的情况，即低身份验证精度的模式下，包括以下步骤：

步骤201：训练模型，所述模型包括人脸识别单元和声纹特征单元；

步骤202：通过摄像头采集人脸图像，通过麦克风采集声纹信息，将人脸图像和声纹信息转化成数组传到服务端模块；

步骤203：进行人脸识别，声纹识别，只要二者有一种验证方式通过，则向前端发送“验证通过”信息。

本实施例中，上述低身份验证精度的模式下的步骤还包括训练、采集以及识别第三特征单元的步骤，具体的，训练、采集以及识别第三特征的步骤可根据第三特征单元的具体生物特征灵活调整。

本实施例中，通用身份验证系统框架(RINC-ID)具有通用化和标准化的功能接口，为系统中的人脸识别单元(RINC-Face)和声纹识别单元(RINC-Voice)提供合理的逻辑功能实现，将生物特征验证系统中常用到的流程接口化，如注册、识别和修改用户。还考虑到很多已经集成的和将来可以集成的深度学习模型所需要的功能，使得对新模型的兼容性更好，能够跟第三方框架良好的耦合。

本系统需要抽象的功能包括：1)注册2)识别。

RINC-ID应用了高性能、通用的开源RPC框架gRPC，基于ProtoBuf(ProtocolBuffers)序列化协议开发，且支持众多开发语言，本系统使用Python语言实现，使用LevelDB非关系型数据库存储系统来管理用户数据，所述用户数据包括个人信息、图片和音频等，使用Plyvel，一个快速且功能丰富的LevelDB Python接口管理数据库。

针对每个生物特征的身份验证方式，需要按照系统需求定制数据结构，按照ProtoBuf协议定制数据结构的流程如下：

1)使用proto3语言编写接口定义文件(IDL)temp.proto，定义程序中需要处理的结构化数据和方法，在protobuf中，结构化数据被称为Message。这些方法指通用框架所要求的层次的功能性方法，结构化数据则是在方法中用到的所需数据的结构，比如针对声纹识别单元中，需要的通用功能包括注册和识别等，而注册方法需要的输入数据结构需要根据程序需求定制，这里包括注册用户ID，声音等信息，本发明中定义此数据结构类为RegisterInfo，注册结构的返回信息包括注册过程是否成功和注册用户ID，本发明中定义为RegisterResult。

2)用IDL编译器把步骤a)中的proto文件编译成python程序，得到temp_pb2.py和temp_pb2_grpc.py，前者包含了proto中数据结构的定义，后者包含了函数的定义，这两个模块就作为客户端和服务端通用的数据结构和函数模块，两端都需要保存保留他们的存根，用于数据结构定义对象和函数调用。

本实施例中，身份验证的系统输入流程如下：

步骤301，前端采集系统需要输入数据，例如声纹识别环节需要的输入是人的声音，那么就需要采集一段说话人语音，同时还要输入个人信息等数据，通过RPC将此语音序列化，发送到服务端，系统将个人信息、语音和图片等数据存储在LevelDB数据库中，作为身份验证系统的输入；

步骤302，身份验证系统利用前端发过来的输入进行处理，包括注册、识别以及存储到数据库等功能，将结果通过RPC传到前端，显示在前端的交互页面上。

本实施例中，人脸识别单元RINC-Face：是一个完整的深度学习模型，所以在使用前涉及到模型的训练过程，在人脸的注册和识别阶段便直接使用训练好的神经网络作为表示器，将人脸图片表示成一个固定维数的向量，下面部分讲述人脸识别的训练、注册和识别的具体步骤：

步骤401，训练：

使用相关人脸数据集，比如LFW人脸数据集，按照Sphereface的训练过程训练得到sphereface模型，存储模型参数，用于之后的特征表示；

步骤402，注册：

用系统前端传过来的人脸图像和用户ID作为一个新用户的人脸信息，将人脸图像经过所述深度学习模型处理得到一个向量，将该向量存储到LevelDB数据库中，作为新用户的人脸属性向量；

步骤403，识别：

识别的步骤分为两步，第一步计算待识别人脸图像与已经注册的人脸图像进行对比；第二步将对比结果进行二次处理，得到更加精确的识别结果。

前端持续将检测到的人脸数据发送到后端，后端对每一张人脸数据都计算一个相似度分数，系统设置了相似度阈值，若待识别的人脸图像与库内已经注册的人脸图像相似度小于相似度阈值，则返回结果为“未注册人脸”；若待识别的人脸图像与库内以及注册的人脸图像的相似度大于相似度阈值，按照从大到小的顺序取前5个匹配的已注册人脸数据；

本实施例中，在计算待识别人脸图像与已注册人脸图像的相似度分数时要考虑一个问题，当人数在千人级以内时，计算这种相似度分数的时间还是可以接受的，但是随着人数的增加，计算Top 5人脸的时间也线性增加，当达到万人级时，计算延迟就成为一个不得不考虑的问题了，否则会因为延迟过高影响用户体验。本系统的解决方案是利用哈希编码，将特征向量经过哈希映射，得到一个更加便于检索的向量，在特征向量检索的过程中，大大提高检索效率。

本系统还提供了另外一种用于加快检索的策略，即将系统使用频率高的用户的人脸等数据存储在本地，而其他数据存储在服务端上，这样对于经常使用系统的人来说，能大大提升其使用体验。

经过检索得到了前5个已注册人脸，而后再与待识别人脸计算Joint Bayes，其目的是使得识别的结果更加准确，因为在识别过程中，可能出现多张人脸与待识别人脸的相似度相差很小，而Joint Bayes可以放大这种微小的差异。

根据最后的分值大小，给出人脸识别的结果，此结果用于声纹识别。

本实施例中，声纹识别单元RINC-Voice：对于声纹识别单元本发明经过了由传统方法向深度学习方法的迭代改进，应用当下效果最好的3D卷积神经网络模型，对声纹的特征做了有效的提取，使得声纹识别的准确率更高，实际用效果更好。

此模型也是一个深度学习模型，因此在系统中使用同样需要三步。

步骤501，训练：

模型训练可以采用VoxCeleb1或者VoxCeleb2数据集，前者包含了1251个人的100000条语音数据，后者包含了6112个人的上百万条语音数据，训练语音的数量越多，对于模型的训练效果越好，但是考虑到实际计算资源情况，本系统只能训练VoxCeleb1数据集。

训练好模型之后，在用应的过程中，同样分为注册和识别两步：

步骤502，注册：

系统前端对于语音进行采集，注册阶段，系统前端会要求用户在相对安静的环境下读一段30秒的语音，注册的语音时长越长，识别的时候效果就会越好。前端将30秒的语音转换成一维数组，传给服务端，数组经过服务端的网络模型处理后得到特征向量，将向量存储在LevelDB中，连同人脸数据、个人信息作为此人的完整注册信息。

步骤503，识别：

系统前端给出动态生成的8位数字，用户读出8位数字，前端采集5秒的语音信息，经过前端处理变成一维数组发送到后端，神经网络模型将此5秒的语音信息处理成和注册语音同样维度的向量，与注册的语音信息对比，得到对于每个已注册用户的得分，选取得分最高的用户ID，此用户ID与人脸识别的用户ID做对比，若两个用户ID相同，表示身份验证系统验证通过。此外，本申请所述一种基于多生物特征的身份验证系统在运行前需要进行预处理，即需要下载好人脸识别的权重模型和声纹识别的训练用音频，人脸识别在光线强度不同的情况下效果不同，可以通过调节相关参数的方式来进行调整，声纹识别在噪音大的情况下识别结果会有误差，但是可以通过过滤噪音的方式在前端进行预处理。

本发明的前端只需要一个python文件，运行此文件即可产生具有明确指示的页面，使用者只需要按照逻辑和提示进行操作就可以控制系统完成注册和识别的过程。

前端对于人脸的图像和说话人语音进行了序列化处理，因为RPC的数据传输时要求序列化的数据，并且序列化可以加快数据的传输，同时保留保留原始数据信息。

在具体的预处理实施过程中，还有很多的实施细节，包括以下步骤：

步骤601，后端：启动RINC-ID框架，开启守护进程，监听指定端口，对前端发来的数据进行处理；

步骤602，前端给出提示，用户按照提示进行操作；

步骤603，若用户执行注册操作，则前端提示填写用户基本信息并采集人脸照片，用户按下“取照片”将照片发送到后端服务端，服务端对照片进行注册操作，返回注册结果信息，即“人脸注册成功”或者“人脸注册失败”；

步骤604，人脸注册结束后需要采集用户的声纹信息，前端给出提示要采集30秒语音，并给出一段文字作为提示材料供用户朗读，30秒时间结束后前端将序列化后的数组发送到后端服务端，后端完成声纹注册功能，将注册结果返回到签单界面，即“声纹注册成功”或“声纹注册失败”；

步骤605，若人脸注册和声纹注册过程都完成，则前端界面给出“注册成功”提示；

步骤606，若用户执行识别操作，则前端界面跳转到识别环节，前端实时采集人脸数据并实时将人脸序列化后的数据发送到后端，后端不断对人脸数据进行识别，返回每次识别的结果，并将结果在前端页面显示；

步骤607，当人脸识别结果为已注册人员时，前端界面开始进行声纹识别操作，前端的系统在声音大于一定分贝时进行录音，将得到的语音序列化后发送到后端进行识别，返回识别结果，前端对声纹识别结果进行显示；

步骤608，若最终的识别结果为“验证成功”则系统完成一次识别流程，若验证不成功，则前端界面继续进行人脸数据和声纹数据的采集。

对于一个基于多生物特征的身份识别系统，在添加新的生物特征时，现有的基于多生物特征的身份识别系统需要做整体架构的调整和改变，这无疑给项目开发人员带来了很大的难点，且每次新加一种生物特征就要重新调整结构，调整过程中会出现很多重复的工作，造成调整效率较低。此外，还容易造成不同生物特征间的矛盾冲突，导致逻辑混乱。

而采用本发明所述的系统，利用gRPC和LevelDB数据库搭建系统框架，设计了一种可扩展性强的身份验证系统框架，本发明创新地提出了身份验证系统框架RINC-ID，此系统高度的可扩展性为当下多生物特征的身份验证系统提供了高效整合的机会。为新增生物特征用于本系统留下了合理方便的接口，新增的生物特征只需要按照接口的要求定义好输入输出即可嵌入到身份验证系统中，因此相对于现有技术，提升了身份验证系统在增减生物特征用于身份验证时的灵活性。

此外，本系统独特的验证流程，将人脸识别结果与声纹识别结果合理结合，抛弃简单的将二者结果进行逻辑“与”操作，而是结合中间结果和用户ID等信息输出最后判断结果。人脸识别部分结合了当下工程上效果领先的Sphereface算法，针对实际应用中遇到的各种问题，设计了RINC-Face框架，在实际应用中取得了很好的效果；声纹识别部分，针对实际需要，结合3D卷积神经网络模型，设计了RINC-Voice算法框架，达到了很高的识别率。两个部分通过合理的逻辑结合，以及以第三特征单元作为补充，能够在保证身份验证的准确率、安全性的前提下，根据需求灵活调整身份验证精度，提升了身份验证系统在增减生物特征用于身份验证时的灵活性。目前国内外对于多种身份特征结合验证的系统还很少，验证准确率和便捷性低下、验证逻辑不够合理，在这种现状下，本产品作为第三或者补充的验证方式，有很好的经济效益和应用前景，为社会带来更安全的身份验证系统。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种基于多生物特征的身份验证系统的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.一种基于多生物特征的身份验证系统，其特征在于，所述系统包括：通用身份验证系统框架、生物特征验证模块以及验证精度调整模块；

所述通用身份验证系统框架，包括服务端模块和客户端模块，所述服务端模块和客户端模块之间采用远程过程调用协议进行通信，当所述生物特征验证模块增加特征单元时，所述通用身份验证系统框架为特征单元的客户端模块和服务端模块的函数功能提供统一实现方式；

所述生物特征验证模块，包括依据所述通用身份验证系统框架增加的两种以上的特征单元，每个所述特征单元通过不同生物特征进行身份验证；

所述验证精度调整模块，用于通过设置所述生物特征验证模块的验证逻辑，调整所述身份验证系统的身份验证精度，所述身份验证精度包括基础身份验证精度、高身份验证精度和低身份验证精度。

2.根据权利要求1所述的一种基于多生物特征的身份验证系统，其特征在于，当所述生物特征验证模块增加特征单元时，所述通用身份验证系统框架为特征单元的客户端模块和服务端模块的函数功能提供统一实现方式，包括：

定义远程过程调用协议的统一实现方式，所述特征单元编写相应的proto3代码，生成适用远程过程调用协议的客户端模块和服务端模块；

定义所述特征单元的函数功能的统一实现方式，所述特征单元按照proto3接口形式整合通用身份验证系统框架的函数功能，所述函数功能包括注册功能、识别功能和验证功能。

3.根据权利要求1或2所述的一种基于多生物特征的身份验证系统，其特征在于，

若所述身份验证精度为基础身份验证精度，所述生物特征验证模块包括第一特征单元、第二特征单元和第三特征单元，所述第三特征单元代指新增的特征单元；

所述验证精度调整模块设置第一特征单元用于注册第一生物特征和识别第一生物特征，通过识别第一生物特征获得第一识别结果，所述第一识别结果包括第一用户ID；

所述验证精度调整模块设置第二特征单元用于注册第二生物特征，同时结合所述第一用户ID验证第二生物特征获得第一验证结果，根据所述第一验证结果比对第一特征单元的识别结果是否准确；

所述验证精度调整模块设置第三特征单元用于注册第三生物特征，同时结合所述第一用户ID验证第三生物特征获得第二验证结果，根据所述第二验证结果比对第一特征单元的识别结果是否准确；

若所述验证精度调整模块比对第一验证结果与第一识别结果，以及比对所述第二验证结果与第一识别结果的均确认第一特征单元的第一识别结果准确，所述身份验证系统的基础精度验证结果为验证通过。

4.根据权利要求1或2所述的一种基于多生物特征的身份验证系统，其特征在于，

若所述身份验证精度为高身份验证精度，所述生物特征验证模块包括第一特征单元、第二特征单元和第三特征单元，所述第三特征单元代指新增的特征单元；

所述验证精度调整模块设置第一特征单元用于注册第一生物特征和验证第一生物特征，通过识别第一生物特征获得第二识别结果，所述第二识别结果包括第二用户ID；

所述验证精度调整模块设置第一特征单元用于注册第二生物特征和验证第二生物特征，通过识别第二生物特征获得第三识别结果，所述第三识别结果包括第三用户ID；

所述验证精度调整模块设置第一特征单元用于注册第三生物特征和验证第三生物特征，通过识别第三生物特征获得第四识别结果，所述第四识别结果包括第四用户ID；

所述验证精度调整模块设置第一特征单元、第二特征单元和第三特征单元之间的验证逻辑为“与”，即只有所述第二识别结果、第三识别结果与第四识别结果均为识别通过，且所述第二用户ID、第三用户ID与第四用户ID一致时，所述身份验证系统的高精度验证结果为验证通过。

5.根据权利要求1或2所述的一种基于多生物特征的身份验证系统，其特征在于，

若所述身份验证精度为低身份验证精度，所述生物特征验证模块包括第一特征单元、第二特征单元和第三特征单元，所述第三特征单元代指新增的特征单元；

所述验证精度调整模块设置第一特征单元、第二特征单元和第三特征单元之间的验证逻辑为“或”，即只要当第五识别结果、第六识别结果与第七识别结果之中任一为识别通过时，所述身份验证系统的低精度验证结果为验证通过。

6.根据权利要求1或2所述的一种基于多生物特征的身份验证系统，其特征在于，所述身份验证系统框架包括功能接口模块，所述功能接口模块包括：

定义单元，用于编写接口定义文件，根据所述生物特征定义通用功能和结构化数据，所述通用功能是根据所述生物特征进行身份验证时需要的功能，所述结构化数据是在通用功能中用到的数据的结构；

编译单元，用于将所述定义单元中的接口定义文件编译为程序。

7.根据权利要求3所述的一种基于多生物特征的身份验证系统，其特征在于，当所述第一特征单元为人脸识别单元时，所述第一特征单元包括：

第一训练单元，用于通过使用人脸数据集，训练得到深度学习模型并将模型参数存储在系统中；

第一注册单元，用于将每个采集的人脸图像和与所述人脸图像相应的用户ID作为一个新用户的人脸信息，将所述人脸图像输入到所述深度学习模型中输出得到新用户的人脸特征向量，并将所述人脸特征向量作为已注册人脸信息存储到数据库中；

第一结果返回单元，用于将每个采集的人脸图像与已注册人脸信息进行比对，获得比对的相似度分数，获取较高的相似度分数对应的已注册人脸信息，处理所述对应的已注册人脸信息后获得人脸识别结果，并将所述人脸识别结果返回至客户端模块；

所述第一结果返回单元包括：

第一判断子单元，用于计算所述人脸图像与已注册人脸信息的相似度分数，并判断所述相似度分数是否大于或等于相似度阈值；

获取子单元，用于当所述相似度大于或等于相似度阈值，按照分数值由高到低顺序获取前5个匹配的已注册人脸数据；

第一返回子单元，用于当所述相似度小于相似度阈值，返回包含未注册提示的人脸识别结果至客户端模块；

第一计算子单元，用于获取使用频率较高的已注册人脸信息，即高频率人脸信息；

存储子单元，用于将所述高频率人脸信息存储于客户端模块，将非高频率人脸信息存储于服务端模块，在进行人脸比对时，先将所述人脸图像和存储于客户端模块的特征向量比对，若所述客户端模块无待检测人的已注册人脸信息，则转到服务端模块进一步验证。

8.根据权利要求7所述的一种基于多生物特征的身份验证系统，其特征在于，当所述第二特征单元为声纹识别单元时，所述第二特征单元包括：

第二训练单元，用于通过使用语音数据集，训练得到通用背景语音模型；

第二注册单元，用于在每次注册人脸信息后，将采集的语音信息转换为一维数组传输至服务端模块，经过处理后得到梅尔频率倒谱系数的声音特征向量，并将所述声音特征向量经过高斯混合模型处理后得到高斯混合模型参数，所述高斯混合模型参数即已注册声纹信息，与同一用户ID相应的已注册人脸信息共同存储在数据库中；

第二结果返回单元，用于采集并识别语音信息后提取语音信息的梅尔频率倒谱系数特征，将所述梅尔频率倒谱系数特征与已注册声纹信息比对，获得声纹验证结果；

所述第二结果返回单元包括：

转换子单元，用于将所述语音信息转换为一维数组；

处理子单元，用于将所述一维数组处理为与所述声音特征向量相同维度的向量；

第二计算子单元，用于将所述向量与每个已注册用户的声音特征向量进行比对，获得比对得分；

第二判断子单元，用于选取比对得分最高的已注册用户的用户ID，判断所述用户ID与人脸信息所对应的用户ID是否一致；

第二返回子单元，用于当所述用户ID与人脸信息所对应的用户ID一致，返回身份验证通过信息。

Images