CN103634118B - 基于证卡和复合生物特征识别的生存认证方法 - Google Patents

Abstract

本发明公开了一种基于证卡和复合生物特征识别的生存认证方法，采用服务器群进行识别，可以整合计算资源，减少了人工审核，提高人员远程身份和生存认证的效率，进一步通过人脸和声纹的识别，并进一步结合两者的复合识别，能够更好的解决生存识别的问题，从而降低了造假的可能性。

Description

基于证卡和复合生物特征识别的生存认证方法

技术领域

本发明针对社会保障金管理存在的一些问题，提出一种社会保障金管理中人员身份认证的方法，属于计算机系统设计的领域。

背景技术

随着我国经济的快速发展，劳动和社会保障事业有了突飞猛进的发展，社会保险信息化改革也有了长足的进展，然而伴随着社会保险金支付的社会化发放，社会保障金冒领问题日益突出，逐渐引起各方面的热切关注。

社会保障金冒领问题是我国社保业务中急需解决的问题，也是一个世界性难题。生存证明、单位或医院证明十分容易伪造，已不能满足社会保险业务的身份认证的需求，因此，迫切需要一种高效、快捷、方便的身份认证手段来减少社会保障金的流失。

目前，为解决社会保障金冒领的问题，全国各地应用的技术方案各有不同，这些方案要解决的核心问题主要包括身份认证、生存认证和异地认证等。通过身份认证和生存认证，核实离退休人员的资格审核，解决社会保障金的冒领、骗领问题，在离退休人员死亡的情况下及时停止社会保障金的发放；另外还需要解决离退休人员的异地身份认证问题，保证离退休人员在退休后离开原工作地点的情况下，仍然能够方便进行身份及生存认证，及时领取社会保障金。

目前在各地社会保障金管理中，普遍采用的身份与生存认证方式包括：一是社保大厅直接认证，由离退休人员本人持相关证件到社保机构服务大厅办理；二是街道社区协助认证，由街道社区组织离退休人员进行现场认证；三是单位组织集中认证；四通过邮寄方式进行离退休人员的异地认证；五是社保机构派人上门认证，主要是针对行动不便的离退休人员，需要社保机构上门办理认证。这些认证方式主要采用的技术方案有：定期拍照、指纹/指静脉认证、人脸识别、声纹识别等。

这些身份与生存认证方式存在如下缺点：

1.权威性低：街道社区、单位等组织的信誉可能比较差，容易发生造假事件；另外，外地邮寄方式的异地认证更容易造假。

2.可靠性差： 单一的人脸识别和声纹识别对光线声音环境要求较高，识别率低，可靠性差。

3.成本高：这几种认证方式都有较高的成本，无论去社保大厅办理、单位社区组织、邮寄，还是上门认证，都会造成极大的人力、物力的消耗。

4.唯一性差：由工作人员辨认离退人员的出错率高，特别是身份证的照片不够清晰，毁容或距使用时间较长，长相已经发生变化时，很难辨认离退人员是否和证件一致。

5.易造假：指纹识别和人脸识别很容易造假，例如使用照片和人造指纹很容易通过验证。

因此，社会保障金管理迫切需要一种远程网络认证的方法，来降低成本，提高可靠性，增加权威性和唯一性；本发明提出一种基于声纹和人脸复合远程身份认证方法，能有效的解决以上问题。满足社会保障金管理的权威性与唯一性、生存认证、方便快捷、异地认证、特殊对象认证等需求。

发明内容

本发明的目的在于提出一种基于证卡和复合生物特征识别的生存认证方法，提高人员远程身份和生存认证的效率，并降低造假的可能性。

本发明采用以下技术方案：

一种基于证卡和复合生物特征识别的生存认证方法，配置服务器群和由该服务器群支持的网络，以及接入该网络的验证终端；

其中服务器群设有人脸、声纹和人脸声纹融合的数据库，从而，所述生存认证方法包括以下步骤：

1）验证终端采集用户的人脸和声纹信息，发送给服务器群；

2）服务器群对发送过来的人脸和声纹信息调用人脸、声纹数据库分别进行识别；

3）然后调用人脸声纹融合的数据库对步骤2）人脸和声纹信息识别的结果进行融合识别；

4）将识别结果反馈给终端。

从上述方案可以看出，依据本发明，采用服务器群进行识别，可以整合计算资源，减少了人工审核，提高人员远程身份和生存认证的效率，进一步通过人脸和声纹的识别，并进一步结合两者的复合识别，能够更好的解决生存识别的问题，从而降低了造假的可能性。

上述基于证卡和复合生物特征识别的生存认证方法，执行步骤2）和步骤3）进行识别，若重复多次不能通过识别，则服务器群启动在线工作人员识别。

上述基于证卡和复合生物特征识别的生存认证方法，用户通过验证中断首次登陆时，读取当前用户的二代身份证信息，进而将读取的二代身份证信息以密文的方式发送到服务器群；

服务器群根据获得的二代身份证信息中生日判断是否在社保金管理范围内，若是，则生成一条用户数据，若不是则提示当前用户不再设包金管理范围并退出；

其中所述用户数据中的人脸验证信息包括二代身份证照片，从而基于单训练样本进行人脸识别。

上述基于证卡和复合生物特征识别的生存认证方法，基于单训练样本进行人脸识别时，采用主成分分析算法进行人脸识别，得到欧式距离和人脸特征值；

进而，对验证终端采集的人脸进行欧式距离的归一化处理，若欧式距离在给定的阈值范围内，则进一步进行声纹识别，否则重新进行当前用户的人脸提取，进行新的识别，重复识别的次数若超过设定的次数，则专由在线工作人员进行识别。

上述基于证卡和复合生物特征识别的生存认证方法，当人脸识别通过后，则服务器群执行人脸识别的自学习，更新人脸数据库对应的数据。

上述基于证卡和复合生物特征识别的生存认证方法，人脸和声纹的融合识别基于自动加权算法进行融合。

上述基于证卡和复合生物特征识别的生存认证方法，人脸和声纹的融合识别为基于Bayes理论和Neyman-Pearson准则的融合识别算法进行融合识别。

上述基于证卡和复合生物特征识别的生存认证方法，每次识别后服务器群都添加相应的识别记录。

附图说明

图1为用户首次登陆系统流程图。

图2为系统登录方法示例的流程图。

图3为基于证卡和复合生物特征识别的生存认证方法流程图。

具体实施方式

概括地，提高人员远程身份和生存认证的效率，降低认证成本，方便人员操作，降低造假的可能性，是当前生存认证的方向。

一个概括的技术方案：

本方法实现的系统应包括服务器群支持的验证网络，即由该验证网络进行远程识别，进而在客户端配置专用终端或普通终端。其中，专用终端应该具有二代身份证读取模块、人脸识别模块、声纹识别模块、网络模块和存储信息模块，普通终端应包括网络模块和人脸声纹获取模块，如可视电话、个人计算机等。所有终端在下文中统称终端。

由于这些类型的终端都是现有技术，如二代身份证读卡器，再嵌入声音和视频采集设备，即便没有成型的产品，也可以通过简单的叠加实现，可以使用现有集成度比较高的二代身份证读卡器，也可以对现有的集成度不高的二代身份证读卡器二次开发。

那么识别方法包含以下步骤：

Step-1：终端接入验证网络，连接服务器，并判断终端类型；

判断终端类型基于硬件的识别方法进行识别，当前已经是非常成熟的技术，在此不再赘述。

Step-2：用户通过终端使用证卡或录入身份证号的方式登录系统；

Step-3：终端使用人脸识别模块和声纹识别模块采集人脸和声纹信息，并发送给服务器；

这里的识别，可以基于如视频采集设备进行采集，音频采集设备进行采集，其目的是采集到人脸信息和音频信息。以下的步骤为对所采集信息的识别。

Step-4：进行人脸识别；

通常先进行人脸识别，然后再进行声纹识别，最后进行融合识别，人脸相比于声音变化较小，但在不同的时域，人的声音相比于人脸具有相对稳定性，但总体上人脸的变动要小于声音的变动。

Step-5：进行随机文本的声纹识别；

采用随机文本进行识别可以降低做假的可能性。

Step-6：人脸和声纹的融合识别；

Step-7：服务器将识别结果给用户反馈，服务器端添加本次识别的识别记录。

与现有技术进行比较，采用人脸识别和声纹识别的复合身份认证，能够有效的进行生存认证。上文体现出一定的交互性，而现有方案中并存在这种交互性，交互性的存在有利于提高识别的准确性。

在以下内容中以下以一个具体实施例进行描述本发明的实施过程，但本发明不仅限于该实施例。本发明的内容涵盖任何在本发明核心内容上做修改、等效、替换的各种方案。

本发明由服务器集群和终端组成。服务器群安装在中心机房，终端遍布全国各地，通过服务器群支持的网络接入。终端和服务器对关键信息采用密文传输，以确保终端和服务器群的数据安全。

用户在首次登录系统时，专用终端机具通过第二代居民身份证（下文称为二代证）读取模块读取二代证身份信息，并将二代证信息以密文的形式发送到服务器，服务器获取到二代身份证信息后，根据二代证信息建立相应的用户，并采集用户信息。

二代证信息已为公知，由于不涉及本案的相关内容，对此不再赘述。

后续登录系统时，用户可选择某种终端（如可视电话、个人电脑、专用终端等）录入或选择身份证信息进行登录系统。

识别的具体过程如下：

若用户在第一次使用第二代居民身份证登陆系统时，基于证卡和复合生物特征识别的生存认证信息采集过程如图1所示：

1）终端获取二代证信息，并以密文的形式发送给服务器，服务器根据二代证信息中的生日信息判断用户是否在社保金管理范围，若在，则建立用户账号，在一些实施例中，用户帐号可以绑定电话号码或者其他联系方式，并执行步骤2）；否则，提示用户不在社保金管理范围并退出系统。

2）终端根据服务器发回的首次登陆反馈信息，启动摄像头，提示用户将头部对准摄像头进行人脸采集，采用红外摄像头进行人脸图像或视频采集，重点关注人脸图像的几何特征，进行特征提取，采用单训练样本人脸识别方法，将提取到的人脸特征和二代身份证人脸信息特征进行比对，此处可采用主成分分析（PCA，Principal Component Analysis，又叫主元分析）算法进行人脸识别，得到欧氏距离和人脸特征值；

这里的单训练样本中的样本可以是二代身份证信息中的用户照片作为样本，也可以以现场采集的照片作为样本，一方为样本时，另一方即为被比对的对象。

关于PCA是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将高维数据投影到较低维空间。给定 n 个变量的 m 个观察值，形成一个 n ′ m 的数据矩阵， n 通常比较大。对于一个由多个变量描述的复杂事物，人们难以认识，那么是否可以抓住事物主要方面进行重点分析呢？如果事物的主要方面刚好体现在几个主要变量上，只需要将这几个变量分离出来，进行详细分析。但是，在一般情况下，并不能直接找出这样的关键变量。这时可以用原有变量的线性组合来表示事物的主要方面， PCA 就是这样一种分析方法。

PCA 主要用于数据降维，对于一系列例子的特征组成的多维向量，多维向量里的某些元素本身没有区分性，比如某个元素在所有的例子中都为1，或者与1差距不大，那么这个元素本身就没有区分性，用它做特征来区分，贡献会非常小。所以目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使特征留下的都是“精品”，而且计算量也变小了。 对于一个k维的特征来说，相当于它的每一维特征与其他维都是正交的（相当于在多维坐标系中，坐标轴都是垂直的），那么我们可以变化这些维的坐标系，从而使这个特征在某些维上方差大，而在某些维上方差很小。例如，一个45度倾斜的椭圆，在第一坐标系，如果按照x,y坐标来投影，这些点的x和y的属性很难用于区分他们，因为他们在x,y轴上坐标变化的方差都差不多，我们无法根据这个点的某个x属性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小，所以可以考虑只保留这些点的长轴属性，来区分椭圆上的点，这样，区分性比x,y轴的方法要好。

PCA 的目标是寻找 r （ r<n ）个新变量，使它们反映事物的主要特征，压缩原有数据矩阵的规模。每个新变量是原有变量的线性组合，体现原有变量的综合效果，具有一定的实际含义。这 r 个新变量称为“主成分”，它们可以在很大程度上反映原来 n 个变量的影响，并且这些新变量是互不相关的，也是正交的。通过主成分分析，压缩数据空间，将多元数据的特征在低维空间里直观地表示出来。例如，将多个时间点、多个实验条件下的基因表达谱数据（ N 维）表示为 3维空间中的一个点，即将数据的维数从 RN 降到 R3 。

3）对人脸的欧式距离进行归一化处理，若欧式距离在指定的阀值范围内，执行步骤4），否则重复步骤2），重复不超过N次，若到达N次尚未成功，终端提示用户联系后台在线工作人员，由工作人员确认。

4）终端将人脸特征信息和归一化的欧式距离发送给服务器，服务器接收到此信息后，建立用户的人脸信息库；

5）终端开启声纹采集设备，提示用户根据系统给出的随机文本进行声纹采集，对采集到的声纹进行特征提取，并将声纹特征信息发送给服务器，服务器根据声纹特征值和身份证信息建立用户声纹特征库。

若用户在非首次使用第二代居民身份证登陆系统时，系统登录有多种形式，本实施例以以下三种形式为例，本发明不限次三种登录形式，如图2所示：

若采用视频电话的形式登录系统，可根据系统提示选择和本电话号码绑定的所有人员的身份信息，一个电话可以绑定多个人的信息，也可进行身份证号的手工录入。

若采用个人电脑登录系统，由于个人电脑操作方面，所以采用手工录入个人身份证号的方式登录系统。

若采用专用终端登录系统，可以选择刷取二代证的方式登录系统，也可手工录入身份证号的方式登录系统。

身份证信息登录系统后，系统会以声音、图文或其组合的形式显示用户的姓名、身份证号等基本信息，待用户确认后进行后续的认证过程。

若用户在非首次使用第二代居民身份证登陆系统时，基于证卡和复合生物特征识别的生存认证过程如图3所示：

a)服务器根据二代证信息查询服务中是否存储有该用户的人脸和声纹信息，若有执行b)，否则执行执行首次登陆系统的步骤；

b)终端提示用户将头部对准摄像头进行人脸采集，采用红外摄像头进行人脸图像或视频采集，并将采集得到的人脸信息发送给服务器；

c)服务器截取人脸信息的部分帧数据，重点关注人脸图像的几何特征，进行特征提取，利用服务器中该用户的人脸信息库采用主成分分析（PCA）算法进行人脸识别，得到人脸特征值和人脸欧式距离，若欧式距离在指定的阀值范围内，执行步骤d)；否则重复步骤b)和c)，重复不超过N次，若到达N次尚未成功，则记录这N次人脸识别的平均欧式距离，执行Step-5；

d)服务器将人脸识别结果发送给终端，服务器将这次人脸识别的特征值进行更新自学习，进一步提升辨识效果，服务器记录本次认证结果；

e)终端提示用户进行声纹识别，终端随机生成一段语音，用户跟读终端的语音，重复几次后，终端将采集到的声纹信息发送给服务器；

f)服务器从语音的音素、时域、频域等多个声纹特征空间提取声纹特征，通过数据融合算法，得到多特征融合的特征值，根据提取的特征值，并采用GMM（Gaussian Mixture Model）算法进行声纹识别，得到声纹识别概率，若声纹识别概率在指定的阀值范围内，执行步骤g)；否则重复步骤e)和f)，重复不超过N次，若到达N次尚未成功，则记录这N次声纹识别的平均概率，执行h)；

g)服务器将声纹识别结果发送给终端，服务器将这次声纹识别的特征值进行更新自学习，进一步提升辨识效果，服务器记录本次认证结果；

h)根据以上步骤得到人脸识别结果和声纹识别结果，采用基于自动加权的Bayes理论和Neyman-Pearson准则的融合识别方法进行融合识别。其中利用Logistic模型构造人脸和声纹的权值，即人脸识别结果越接近1，它的权值越大，人脸识别结果越接近0，它的权值越小；同样，声纹识别的结果越接近1，它的权值越大，声纹识别结果越接近0，它的权值越小，且他们的权值之和为1。若融合的识别的结果在预订值值域内则执行步骤i)，否则终端提示用户联系后台在线工作人员，由工作人员确认；

i)根据识别结果，系统进行自我学习，并更新终端中的用户信息，终端以语音或图文的形式提示用户认证结果。

关于加权，首先了解一个概念，即权重，权重是一个相对的概念，是针对某一指标而言。某一指标的权重是指该指标在整体评价中的相对重要程度。在人脸和声音的融合识别中，两者的权重可以一样，也可以根据不同年龄段在现有识别方法中，哪种识别率更高而提高哪一识别方法的权重，也就是根据年龄段区分权重的方法。

那么加权，例如其中3出现6次，4出现3次，2出现1次．6、3、1就叫权数。这种方法叫加权法。通过这个简单的例子本领域的技术人员对此可以比较容易理解。

加权方法比较多，比如加权平均，或者其他的加权算法，在本案中都不影响融合识别的最终效果。

该发明解决方案的优点是：

利用证卡信息中的人脸信息作为人脸识别的建立人脸信息库的基础，可以省去人工审核的步骤，节约成本和工作量；

采用人脸和声纹信息的识别，将有效解决生存验证问题；

人脸和声纹的融合识别的自动加权的图形符合Logistic模型的三维形式，在这两种生物特征的任一方发生较大变化时对融合识别结果产生的影响较小，但当这两种生物特征的识别结果都有一定的下降时，将进入拒识域，由在线工作人员处理；当这两种生物特征的识别结果都有很低时，系统会判定不是本人操作。这样当人员由于某种原因某一生物特征发生变化时，可以在无人干预的情况下可以顺利的通过系统；当十分相似的人员进行系统识别时，会落入拒识域，有工作人员介入；当完全无关的人员进行系统识别时，系统会自动拒绝。

Logistic模型核心是logistic回归，又称logistic回归分析，主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率，等等。所生成图形的直观性比较好。

基于Bayes理论的融合识别方法的决策规则为：

（1）；

基于Neyman-Pearson准则的融合识别方法的决策规则为：

（2）；

参数由公式（3）确定。

（3）；

其中a为系统限定错误的概率。

其中，S₁代表人脸信息，S₂代表声纹信息，H₁代表身份匹配，H₀代表身份不匹配，P(H₀)代表不匹配的概率，P(H₁)代表匹配的概率，P（S_i/H₀）为在特征S_i下身份不匹配的概率密度函数，P（S_i/H₁）为在特征S_i下身份匹配的概率密度函数，公式中P（S₁ ，S₂ /H₀）和P（S₁ ，S₂ /H₁）分别为

（4）；

（5）。

Claims (7)

1.一种基于证卡和复合生物特征识别的生存认证方法，其特征在于，配置服务器群和由该服务器群支持的网络，以及接入该网络的验证终端；

其中服务器群设有人脸、声纹和人脸声纹融合的数据库，从而，所述生存认证方法包括以下步骤：

1）验证终端采集用户的人脸和声纹信息，发送给服务器群；

2）服务器群对发送过来的人脸和声纹信息调用人脸、声纹数据库分别进行识别；

3）然后调用人脸声纹融合的数据库对步骤2）人脸和声纹信息识别的结果进行融合识别；

4）将识别结果反馈给终端；

用户通过验证终端首次登陆时，读取当前用户的二代身份证信息，进而将读取的二代身份证信息以密文的方式发送到服务器群；

服务器群根据获得的二代身份证信息中生日判断是否在社保金管理范围内，若是，则生成一条用户数据，若不是则提示当前用户不在社保金管理范围并退出；

其中所述用户数据中的人脸验证信息包括二代身份证照片，从而基于单训练样本进行人脸识别。

2.根据权利要求1所述的基于证卡和复合生物特征识别的生存认证方法，其特征在于，执行步骤2）和步骤3）进行识别，若重复多次不能通过识别，则服务器群启动在线工作人员识别。

3.根据权利要求1所述的基于证卡和复合生物特征识别的生存认证方法，其特征在于，基于单训练样本进行人脸识别时，采用主成分分析算法进行人脸识别，得到欧式距离和人脸特征值；

进而，对验证终端采集的人脸进行欧式距离的归一化处理，若欧式距离在给定的阈值范围内，则进一步进行声纹识别，否则重新进行当前用户的人脸提取，进行新的识别，重复识别的次数若超过设定的次数，则转由在线工作人员进行识别。

4.根据权利要求3所述的基于证卡和复合生物特征识别的生存认证方法，其特征在于，当人脸识别通过后，则服务器群执行人脸识别的自学习，更新人脸数据库对应的数据。

5.根据权利要求1所述的基于证卡和复合生物特征识别的生存认证方法，其特征在于，人脸和声纹的融合识别基于自动加权算法进行融合。

6.根据权利要求5所述的基于证卡和复合生物特征识别的生存认证方法，其特征在于，人脸和声纹的融合识别为基于Bayes理论和Neyman-Pearson准则的融合识别算法进行融合识别。

7.根据权利要求1所述的基于证卡和复合生物特征识别的生存认证方法，其特征在于，每次识别后服务器群都添加相应的识别记录。