CN113553890A - 多模态生物特征融合方法、装置、存储介质及设备 - Google Patents

Abstract

本发明公开了一种多模态生物特征融合方法、装置、存储介质及设备，属于生物识别领域。本发明获取同一用户的两种生物特征并分别进行识别，均识别成功后获得对识别有影响的要素信息。当一种生物特征与生物特征模板的要素信息的差异度超过设定的程度，且满足另一种生物特征与对应生物特征模板的相似度高于预设阈值和/或两种生物特征的要素信息部分或全部相同时，将生物特征与生物特征模板进行融合。该预设阈值高于另一种生物特征识别成功所要求的相似度。本发明使用符合要求的不同数据来源的生物特征对生物特征模板进行融合，增加了生物特征模板的多样性，并且避免把误识的生物特征融入到原始生物特征模板当中，确保融合后的生物特征模板安全准确。

Description

多模态生物特征融合方法、装置、存储介质及设备

技术领域

本发明涉及生物识别领域，特别是指一种多模态生物特征融合方法、装置、计算机可读存储介质及设备。

背景技术

生物识别技术是通过计算机与光学、声学、生物传感器和生物统计学原理等高科技手段密切结合，利用人体固有的生理特性(如指纹、人脸、虹膜等)和行为特征(如笔迹、声音、步态等)来进行个人身份的鉴定。

以人脸识别技术和虹膜识别技术为例，人脸识别技术已经成为目前最主流的生物识别技术，其易用性和数据样本的丰富性是其他生物识别技术所无法比拟的。虹膜作为重要的身份识别特征，具有终身唯一性、稳定性、可采集性以及非侵犯性等优点，是身份识别研究与应用发展的必然趋势。因此，人脸识别和虹膜识别技术是目前较主流的生物识别技术。

人脸/虹膜识别主要包括生物特征的注册和验证/识别两部分。注册过程预先进行的注册用户，采集得到用户的人脸/虹膜模板并存储。一次注册后，即可以多次进行验证/识别。识别过程采集用户的人脸/虹膜图像，并与人脸/虹膜模板进行比对，比对通过则人脸/虹膜识别成功。

然而人脸/虹膜注册时和识别时的环境和设备等可能不一致，同一个人的人脸/虹膜在不同的环境和设备下采集到的数据并不一致，导致用户在进行人脸/虹膜识别的时候，识别成功率降低。现有技术中采用动态模板融合的方式去完善模板数据，在验证/识别过程中，当人脸/虹膜识别成功时，将识别成功的人脸/虹膜数据与模板数据进行融合，得到新的模板数据。具体的融合方式可以参见中国专利文献CN110827366A(本专利文献只为举例说明，不用于限制本发明中的融合方式)。

但现有技术这种动态模板融合的方式也带来了风险，一旦在验证/识别过程中发生了误识，将与模板数据不是同一个人的人脸/虹膜数据误认为是同一个人，很容易把错误的数据融入原始模板，造成了误识的风险加剧，很有可能导致识别一错再错。

发明内容

为解决现有技术中容易把错误的数据融入原始模板，造成误识风险加剧的问题，本发明提供一种多模态生物特征融合方法、装置、计算机可读存储介质及设备，使用符合要求的不同数据来源的生物特征对生物特征模板进行融合更新，增加了生物特征模板的多样性，使得生物特征模板的信息更加丰富完善，并且避免把误识的生物特征融入到原始生物特征模板当中，确保融合后的生物特征模板安全准确。

本发明提供技术方案如下：

第一方面，本发明提供一种多模态生物特征融合方法，所述方法包括：

获取同一用户的两种生物特征，并分别与对应的生物特征模板进行识别；

在每种生物特征都识别成功后，对每种生物特征进行数据分析，获得对识别有影响的生物特征的要素信息；

对于其中一种生物特征，当所述生物特征的要素信息与对应生物特征模板的要素信息的差异度超过设定的程度，且满足另一种生物特征与对应生物特征模板的相似度高于预设阈值和/或两种生物特征的要素信息部分或全部相同时，将生物特征与对应的生物特征模板进行融合；

其中，所述预设阈值高于所述另一种生物特征识别成功时所要求的相似度。

进一步的，所述两种生物特征分别为人脸特征和虹膜特征。

进一步的，人脸镜头和虹膜镜头同时安装在云台上，所述获取同一用户的两种生物特征，包括：

获取通过人脸镜头采集的第一人脸图像；

对所述第一人脸图像进行人眼定位获得人眼坐标，根据所述人眼坐标与预设人眼参考坐标计算所述云台的第一转动角度，并使得云台根据第一转动角度进行转动；

所述云台根据第一转动角度进行转动时，获取通过虹膜镜头采集的第一虹膜图像；

对所述第一虹膜图像进行虹膜定位获得虹膜坐标，根据所述虹膜坐标与预设虹膜参考坐标计算所述云台的第二转动角度，并使得云台根据第二转动角度进行转动；

当所述云台旋转到第二转动角度时，获取通过人脸镜头和虹膜镜头分别采集的人脸图像和虹膜图像；

对所述人脸图像和虹膜图像进行特征提取，得到所述人脸特征和虹膜特征。

进一步的，所述方法还包括：

将生物特征与对应的生物特征模板进行融合，获得辅助生物特征模板；

将生物特征与对应的生物特征模板和辅助生物特征模板分别进行比对，根据两种比对结果判断识别是否成功。

进一步的，当生物特征与对应的生物特征模板的比对分值及生物特征与对应的与辅助生物特征模板的比对分值的差值小于预设值时，将所述生物特征模板替换为辅助生物特征模板。

进一步的，获取生物特征时，同时获取生物特征对应的采集条件；进行识别时，选用与生物特征具有相同采集条件的生物特征模板，对生物特征进行识别。

进一步的，所述人脸特征的要素信息包括：是否佩戴眼镜/口罩，是否留胡须，人脸拍摄角度，两眼之间像素数，眼部区域的微整形，眼部区域的纹理或斑块；

所述虹膜特征的要素信息包括：虹膜直径像素数，瞳孔伸缩比例，是否佩戴眼镜/隐形眼镜/美瞳，眼部区域的微整形，眼部区域的纹理或斑块。

第二方面，本发明提供一种多模态生物特征融合装置，所述装置包括：

识别模块，用于获取同一用户的两种生物特征，并分别与对应的生物特征模板进行识别；

要素信息获取模块，用于在每种生物特征都识别成功后，对每种生物特征进行数据分析，获得对识别有影响的生物特征的要素信息；

融合模块，用于对于其中一种生物特征，当所述生物特征的要素信息与对应生物特征模板的要素信息的差异度超过设定的程度，且满足另一种生物特征与对应生物特征模板的相似度高于预设阈值和/或两种生物特征的要素信息部分或全部相同时，将生物特征与对应的生物特征模板进行融合；

其中，所述预设阈值高于所述另一种生物特征识别成功时所要求的相似度。

进一步的，所述两种生物特征分别为人脸特征和虹膜特征。

进一步的，人脸镜头和虹膜镜头同时安装在云台上，所述识别模块包括：

第一获取单元，用于获取通过人脸镜头采集的第一人脸图像；

第一转动角度计算单元，用于对所述第一人脸图像进行人眼定位获得人眼坐标，根据所述人眼坐标与预设人眼参考坐标计算所述云台的第一转动角度，并使得云台根据第一转动角度进行转动；

第二获取单元，用于所述云台根据第一转动角度进行转动时，获取通过虹膜镜头采集的第一虹膜图像；

第二转动角度计算单元，用于对所述第一虹膜图像进行虹膜定位获得虹膜坐标，根据所述虹膜坐标与预设虹膜参考坐标计算所述云台的第二转动角度，并使得云台根据第二转动角度进行转动；

第三获取单元，用于当所述云台旋转到第二转动角度时，获取通过人脸镜头和虹膜镜头分别采集的人脸图像和虹膜图像；

特征提取单元，用于对所述人脸图像和虹膜图像进行特征提取，得到所述人脸特征和虹膜特征。

进一步的，所述装置还包括：

辅助生物特征模板获取模块，用于将生物特征与对应的生物特征模板进行融合，获得辅助生物特征模板；

所述识别模块还用于将生物特征与对应的生物特征模板和辅助生物特征模板分别进行比对，根据两种比对结果判断识别是否成功。

进一步的，所述装置还包括：

替换模块，用于当生物特征与对应的生物特征模板的比对分值及生物特征与对应的与辅助生物特征模板的比对分值的差值小于预设值时，将所述生物特征模板替换为辅助生物特征模板。

进一步的，所述识别模块中，获取生物特征时，同时获取生物特征对应的采集条件；进行识别时，选用与生物特征具有相同采集条件的生物特征模板，对生物特征进行识别。

进一步的，所述人脸特征的要素信息包括：是否佩戴眼镜/口罩，是否留胡须，人脸拍摄角度，两眼之间像素数，眼部区域的微整形，眼部区域的纹理或斑块；

所述虹膜特征的要素信息包括：虹膜直径像素数，瞳孔伸缩比例，是否佩戴眼镜/隐形眼镜/美瞳，眼部区域的微整形，眼部区域的纹理或斑块。

第三方面，本发明提供一种用于多模态生物特征融合的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的多模态生物特征融合方法的步骤。

第四方面，本发明提供一种用于多模态生物特征融合的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的多模态生物特征融合方法的步骤。

本发明具有以下有益效果：

本发明能够使用符合要的不同数据来源的生物特征对生物特征模板进行融合更新，增加了生物特征模板的多样性，使得生物特征模板的信息更加丰富完善，有益于帮助用户在不同的采集设备，不同的应用环境下，可以安全便捷的完成身份认证，提高了识别的通过率。本发明分析生物特征是否和生物特征模板存在差异化，并且不能单一差异化的维度去分析一种生物特征，而是需要多维度的去分析生物特征的合法性，通过另一种生物进行交叉验证，确保生物特征是真实有效的本人信息，而非误识信息，避免了传统的特征模板进行融合时，把误识的生物特征融入到原始生物特征模板当中，确保融合后的生物特征模板安全准确，防止一错再错。

附图说明

图1为本发明的多模态生物特征融合方法一个示例的流程图；

图2为图1所示的多模态生物特征融合方法的示例中步骤S100的流程图；

图3为本发明的多模态生物特征融合方法另一个示例的流程图；

图4为本发明的多模态生物特征融合装置一个示例的示意图；

图5为图4所示的多模态生物特征融合装置的示例中识别模块的示意图；

图6为本发明的多模态生物特征融合装置另一个示例的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施例提供了一种多模态生物特征融合方法，如图1所示，该方法包括：

S100：获取同一用户的两种生物特征，并分别与对应的生物特征模板进行识别。

本发明不限制两种生物特征的种类，两种生物特征可以是人脸特征和虹膜特征，也可以是指纹特征和指静脉特征，还可以是左眼虹膜特征和右眼虹膜特征等。

本发明也不限制两种生物特征的获取方法，以人脸特征和虹膜特征为例，可以通过人脸镜头和虹膜镜头采集人脸图像和虹膜图像并进行特征提取，得到人脸特征和虹膜特征。采集时，可以采集单幅图像，也可以是采集视频，并从视频中得到多帧图像。

本发明中，两种生物特征可以是同时获取的，也可以不是同时获取的，只要保证两种生物均来自同一个人即可。其中，同时获取两种生物特征是更优选的实施方式。

本发明也不限制生物特征的提取方式，例如可以通过卷积神经网络(Convolutional Neural Networks,CNN)等方式自动提取特征。

获取两种生物特征后，对两种生物特征分别进行识别，识别时，将每种生物特征与预先存储的对应的生物特征模板进行特征比对，得到比对分值，该比对分值表示生物特征与对应的生物特征模板的相似度，将比对分值与预先设置的比对阈值进行比较，判断识别成功与否。

一般的，比对分值越高，生物特征与生物特征模板的相似度越高，若比对分值大于比对阈值，则识别成功。当然，根据不同的比对分值设置策略，也存在比对分值越低，生物特征与生物特征模板的相似度越高的情况，此时若比对分值小于比对阈值，则识别成功。

S200：在每种生物特征都识别成功后，对每种生物特征进行数据分析，获得对识别有影响的生物特征的要素信息。

要素信息是指生物特征中(也就是生物图像上)对生物特征识别有影响的点。下面以人脸特征和虹膜特征为例进行说明：

人脸特征的要素信息一般是指是否佩戴眼镜/口罩，是否留胡须，人脸拍摄角度，两眼之间像素数大小(代表离镜头的不同距离)等日常生活中经常会遇到的不同场景下的要素信息，这些要素信息会影响人脸比对的比对分值以及比对结果等，对人脸对识别有影响。

虹膜特征的要素信息一般是指虹膜直径像素数多少(不同的镜头和拍摄距离，像素数会有偏差)，瞳孔伸缩比例大小(不同的光照环境会有不同的体现)，是否佩戴眼镜/隐形眼镜/美瞳等日常生活中虹膜识别过程中经常会遇到的外界干扰因素产生的要素信息，这些要素信息会影响虹膜比对的比对分值以及比对结果等，对虹膜对识别有影响。

要素信息能够反映生物特征采集时的外界干扰、环境以及生物特征本身的差异(例如有整形后导致的差异，或者疲劳程度不同导致的面部或眼部的颜色皱纹等差异等)，本发明并不限制前述举例的要素信息，任何能够影响生物特征识别的要素都可以作为要素信息。

要素信息的种类可以事先设定，在获取要素信息时，对生物特征进行图像处理等数据分析，获取要素信息，数据分析的具体方式本发明不做限定。

S300：对于其中一种生物特征，当所述生物特征的要素信息与对应生物特征模板的要素信息的差异度超过设定的程度，且满足另一种生物特征与对应生物特征模板的相似度高于预设阈值和/或两种生物特征的要素信息部分或全部相同时，将生物特征与对应的生物特征模板进行融合；

其中，所述预设阈值高于所述另一种生物特征识别成功时所要求的相似度。

前述的S200中，每种生物特征都识别成功后，说明每种生物特征与对应的生物特征模板是来自于同一用户，可以考虑将生物特征与对应的生物特征模板进行融合。

但是，如果这样就直接融合，出错的可能比较大。因为在识别过程中，一般比对阈值越高，则将与生物特征模板不是同一用户的生物特征误认为是同一用户的可能性越小，但是比对阈值又不能过高，否则会导致即使是同一用户，被拒绝的可能性也比较大，影响正常使用。

可见，在识别过程中，为保证正常的使用，比对阈值不能过高，这就存在不是同一用户的生物特征被误识为同一用户的风险，一旦在识别过程中发生了误识，将与生物特征模板不是同一用户的生物特征误认为是同一用户，很容易把错误的生物特征融入原始生物特征模板中，造成了误识的风险加剧，很有可能导致识别一错再错。

因此，本发明还需要通过如下条件确定最终是否进行融合：

1、一种生物特征的要素信息与对应生物特征模板的要素信息的差异度超过设定的程度。

2、另一种生物特征与对应生物特征模板的相似度高于预设阈值，所述预设阈值高于所述另一种生物特征识别成功时所要求的相似度。

3、两种生物特征的要素信息部分或全部相同。

上述3条同时满足1、2，或同时满足1、3，或同时满足1、2、3，则将上述的一种生物特征与对应的生物特征模板进行融合。

下面以具体示例进行详细说明：

该示例中，两种生物特征分别为人脸特征和虹膜特征为例，所述的一种生物特征为人脸特征，所述的另一种生物特征为虹膜特征。所述的一种生物特征为虹膜特征，所述的另一种生物特征为人脸特征的情况与本示例类似，不再具体阐述。其他的情况，比如两种生物特征分别为指纹特征和指静脉特征，或者两种生物特征分别为左眼虹膜特征和右眼虹膜脉特征等情况，也与本示例类似，也不再具体阐述。

1、人脸特征的要素信息与人脸特征模板的要素信息的差异度超过设定的程度。

在将人脸特征与人脸特征模板进行融合时，如果人脸特征与人脸特征模板几乎没有差异，那么说明人脸特征与人脸特征模板采集时的外界干扰、环境以及采集的人脸特征本身等基本相同，两者没有差异，那么也就没有进行融合的必要，因为融合后对人脸特征模板的数据丰富度几乎没有提升。所以，只有当人脸特征与人脸特征模板存在差异时，才考虑进行数据融合。

随即就引出了如何判断存在差异，本发明通过人脸特征与人脸特征模板的要素信息进行比较，判断人脸特征与人脸特征模板是否存在差异。当人脸特征与人脸特征模板的要素信息的差异超过设定的程度时，认为两者存在差异，可以考虑进行数据融合。

例如，人脸特征的要素信息是佩戴了眼镜，而人脸特征模板的要素信息是未佩戴眼镜，则这是一个差异点。当差异点的数量达到设定的数量时，即认为两者的差异度达到了设定的程度，设定的数量可以是一个或多个，根据需要进行设定。

可见，本发明通过要素信息的差异度保证了生物特征与生物特征存在差异，有融合的必要。

2、虹膜特征与虹膜特征模板的相似度高于预设阈值，该预设阈值高于虹膜特征识别成功时所要求的相似度。

由前述，在人脸识别过程中，人脸比对阈值不能过高，而对人脸特征模板进行数据融合时，如果融合后的人脸特征模板错误，会导致后续识别的一系列错误。因此，人脸特征模板融合时，对错误的容忍更低。对此，一个简单的解决办法是设置另一个更高的阈值，人脸识别成功后，人脸的比对分值再与这个更高的阈值进行比较，比较通过后进行融合。

但是，将人脸特征融合进人脸特征模板时，不仅要保证人脸特征与人脸特征模板来自于同一用户，还要保证人脸特征与人脸特征模板具有差异。通过设置更高的阈值，虽然能够一定程度上保证人脸特征与人脸特征模板要来自于同一用户，但是，人脸比对分值越高，人脸特征与人脸特征模板就越相似，其差异就越小(要素信息的差异度越小)，越没有融合的必要，反之亦然。也就是说，保证人脸特征与人脸特征模板来自于同一用户和保证人脸特征与人脸特征模板具有差异是互相矛盾的，只能做出一方面的取舍，而不能两者兼顾，现有技术不能解决这种矛盾的问题。

本发明中，通过虹膜特征与虹膜特征模板的相似度高于预设阈值来保证人脸特征与人脸特征模板来自于同一用户，具体说明如下：

虹膜特征进行识别时，将虹膜特征与虹膜特征模板进行特征比对，得到一个比对分值，记为虹膜比对分值，该比虹膜对分值表示虹膜特征与虹膜特征模板的相似度，如果虹膜比对分值高于虹膜比对阈值，则虹膜识别成功。

本发明中，如果该相似度较高，达到了预设阈值，那么就可以认为虹膜特征与虹膜特征模板是来自于同一用户，又因为人脸特征与虹膜特征都是采集自同一用户的，人脸特征模板与虹膜特征模板也都是同一个用户的，因此也就能保证人脸特征与人脸特征模板来自于同一用户。

另外，前述S100中示出了同时获取两种生物特征是更优选的实施方式，更强的保证人脸特征与虹膜特征同时来自于同一用户，防止作假，最大程度的保证人脸特征与人脸特征模板来自于同一用户。

并且，本发明要求预设阈值高于虹膜特征识别成功时所要求的相似度，例如可以高于10％。虹膜特征识别成功时所要求的相似度也就是前述的虹膜比对阈值，因为虹膜识别可能会存在误识，所以本发明设置的预设阈值高于虹膜比对阈值，使得虹膜特征与虹膜特征模板的相似度更高，尽量减少误识的可能，能够很好地保证虹膜特征与虹膜特征模板是来自于同一用户，进而很好地确保人脸特征与人脸特征模板来自于同一用户。

可见，本发明通过本条(2、虹膜特征与虹膜特征模板的相似度高于预设阈值，该预设阈值高于虹膜特征识别成功时所要求的相似度)保证人脸特征与人脸特征模板来自于同一用户。结合前述的第1条(人脸特征的要素信息与人脸特征模板的要素信息的差异度超过设定的程度)保证了人脸特征与人脸特征模板具有差异。并且，虹膜特征与虹膜特征模板的相似度高，不会导致人脸特征的要素信息与人脸特征模板的要素信息的差异度低。因此，本发明使用虹膜识别对人脸特征融合做交叉验证，很好地解决了前述的保证人脸特征与人脸特征模板来自于同一用户和保证人脸特征与人脸特征模板具有差异互相矛盾的问题。

3、人脸特征和虹膜特征的要素信息部分或全部相同。

在实际使用时，经常会发现有些要素信息的变化是同时出现在人脸图像和虹膜图像上，比如：

a、人脸特征中两眼间像素数增加，对应的虹膜特征中虹膜直径像素数增加。

b、人脸特征和虹膜特征中均显示佩戴有眼镜/美瞳。

c、人脸特征和虹膜特征中眼部区域均产生新的纹理或斑块信息。

d、人脸特征和特征图像中均显示割了双眼皮、扩了眼角、垫高鼻梁等眼部区域的微整形手术。

这类要素信息的增加，或多或少都会影响到正常的人脸/虹膜识别结果，但是如果说此类要素信息同时出现在同一时间抓拍到的人脸图像和虹膜图像当中，可信度是比较高的，可以保证人脸特征与虹膜特征同时来自于同一用户。又因为步骤S200中，人脸特征和虹膜特征都识别成功了，所以能够保证人脸特征、人脸特征模板、虹膜特征和虹膜特征模板都来自于同一用户。

如果此时同时满足第1条(人脸特征的要素信息与人脸特征模板的要素信息的差异度超过设定的程度)保证了人脸特征与人脸特征模板具有差异，那么就可以将人脸特征与人脸特征模板进行融合。

另外，如果同时满足1、2、3，也可以将人脸特征与人脸特征模板进行融合。

综上所述：

本发明获取同一用户的两种生物特征，并分别与对应的生物特征模板进行识别，都识别成功后，获得对识别有影响的生物特征的要素信息。当其中一种生物特征的要素信息与其生物特征模板的要素信息的差异度超过设定的程度时，通过另一种生物特征进行交叉验证，将生物特征与对应的生物特征模板进行融合。交叉参考时，需要满足另一种生物特征与对应生物特征模板的相似度高于预设阈值和/或两种生物特征的要素信息部分或全部相同，并且该预设阈值高于另一种生物特征识别成功时所要求的相似度。

本发明能够使用符合要的不同数据来源的生物特征对生物特征模板进行融合更新，增加了生物特征模板的多样性，使得生物特征模板的信息更加丰富完善，有益于帮助用户在不同的采集设备，不同的应用环境下，可以安全便捷的完成身份认证，提高了识别的通过率。本发明分析生物特征是否和生物特征模板存在差异化，并且不能单一差异化的维度去分析一种生物特征，而是需要多维度的去分析生物特征的合法性，通过另一种生物进行交叉验证，确保生物特征是真实有效的本人信息，而非误识信息，避免了传统的特征模板进行融合时，把误识的生物特征融入到原始生物特征模板当中，确保融合后的生物特征模板安全准确，防止一错再错。

当两种生物特征分别为人脸特征和虹膜特征时，通过人脸镜头和虹膜镜头采集人脸图像和虹膜图像，并提取得到人脸特征和虹膜特征。

采集虹膜图像的过程中，需要快速而准确地对用户进行虹膜信息抓拍，但是每个人的虹膜区域较小(直径大约1cm)，且对虹膜区域捕捉的像素数较大(大约20pixel/mm)。所以，传统虹膜采集设备在采集虹膜过程中，都会面临景深小、范围小、配合度高的问题。

本发明的人脸镜头和虹膜镜头同时安装在云台上，可以上下和/或左右转动，其中人脸镜头的视场角比较大，虹膜镜头的视场角比较小。

本发明不限定云台的具体结构，例如可以是通过步进电机控制的电动二维云台(可以上下和左右转动)，也可以是简单的转轴(只能上下或左右转动)，转轴通过步进电机控制。

本发明的人脸镜头和虹膜镜头可以同时开启，同时实时采集人脸图像和人虹膜图像，也可以在满足条件之后再决定开启某个镜头。

相应的，如图2所示，前述的S100中，获取同一用户的两种生物特征，包括：

S110：获取通过人脸镜头采集的第一人脸图像。

S120：对所述第一人脸图像进行人眼定位获得人眼坐标，根据所述人眼坐标与预设人眼参考坐标计算所述云台的第一转动角度，并使得云台根据第一转动角度进行转动。

由前述，人脸镜头的视场角比较大，第一人脸图像更容易检测到人眼，因此本发明首先根据第一人脸图像上的眼睛坐标初步计算云台的转动角度，即为第一转动角度。

预设人眼参考坐标是预先确定的，在该预设人眼参考坐标的空间位置处能够采集得到完整、清晰且人眼位置在图片中间部位的虹膜图像。定位得到人眼位置坐标后，根据人眼位置坐标与预设人眼参考坐标之间的像素差，换算成步进电机需要旋转的角度，即第一转动角度，发送转动指令给电机，电机按照第一转动角度转动。

具体的，云台可以进行二维转动时，分别根据人眼位置横纵坐标与参考横纵坐标之间的像素差，计算得到横向转动角度和纵向转动角度；云台只能上下或左右一维转动(因为本发明大多数情况下是为了适应不同身高的用户，因此一维转动一般是上下转动)时，根据人眼位置的横坐标或纵坐标与参考横坐标或纵坐标之间的像素差，计算得到横向转动角度或纵向转动角度。

S130：所述云台根据第一转动角度进行转动时，获取通过虹膜镜头采集的第一虹膜图像。

S140：对所述第一虹膜图像进行虹膜定位获得虹膜坐标，根据所述虹膜坐标与预设虹膜参考坐标计算所述云台的第二转动角度，并使得云台根据第二转动角度进行转动。

虽然虹膜镜头的视场角比较小，但是其分辨率较高，虹膜的坐标更精确，因此在云台转动的过程中，若在第一虹膜图像上发现虹膜，则根据第一虹膜图像对转动角度进行修正，得到第二转动角度，云台按照第二转动角度进行转动，可以使得云台转动后的位置更加精确。

预设虹膜参考坐标是预先确定的，在该预设虹膜参考坐标的空间位置处能够采集得到完整、清晰且人眼位置在图片中间部位的虹膜图像。预设虹膜参考坐标和预设人眼参考坐标对应的实际空间位置是同一个位置，但是由于预设虹膜参考坐标是基于虹膜图像设置的，预设人眼参考坐标是基于人脸图像设置的，而虹膜图像和人脸图像的大小及分辨率不同，因此预设虹膜参考坐标和预设人眼参考坐标的具体数值可能不同。

S150：当所述云台旋转到第二转动角度时，获取通过人脸镜头和虹膜镜头分别采集的人脸图像和虹膜图像。

本发明利用可同时旋转的人脸镜头和虹膜镜头，采用了二次定位的方法，人脸镜头一次快速定位，虹膜镜头二次准确定位，可以快速、准确的实现用户身高和位置的适配，帮助不同身高/距离的用户快速完成虹膜信息采集，几乎无需任何配合，让用户几乎无感知的情况下准确的完成人脸/虹膜信息的采集。

S160：对所述人脸图像和虹膜图像进行特征提取，得到所述人脸特征和虹膜特征。

如图3所示，本发明的方法还包括：

S400：将生物特征与对应的生物特征模板进行融合，获得辅助生物特征模板。

S100中，进行识别时，将生物特征与对应的生物特征模板和辅助生物特征模板分别进行比对，根据两种比对结果判断识别是否成功。

前述的生物特征与对应的生物特征模板和辅助生物特征模板分别进行比对，是基于尊重原始注册的生物特征模板的原则，新融合后的生物特征模板刚开始只能作为辅助模板进行使用，后续进行生物识别比对的时候，原始生物特征模板和新融合后的生物特征模板都需要进行比对。

本发明的方法还包括S500，如图3所示：

S500：当生物特征与对应的生物特征模板的比对分值及生物特征与对应的与辅助生物特征模板的比对分值的差值小于预设值时，将所述生物特征模板替换为辅助生物特征模板。

生物特征与生物特征模板和辅助生物特征模板的比对分值的差值小于预设值，说明辅助生物特征模板稳定可靠，可以将生物特征模板替换为辅助生物特征模板。当然，也可以不替换，将辅助生物特征模板与生物特征模板同时存在使用。

本发明还可以预先存储有生物特征模板的采集条件，该采集条件可以包括采集设备信息和环境信息。

基于此，S100中，在获取生物特征时，同时获取生物特征对应的采集条件。

如果是本地识别比对，获取的生物特征及其采集条件在本机的内存上进行存储或识别。如果是比对服务器远程识别比对，则将生物特征及其采集条件一起上传到比对服务器。

进行识别时，选用与生物特征具有相同采集条件的生物特征模板，对生物特征进行识别，尽量满足同源数据互比的原则，有效的提高识别成功率。

本发明能够融合不同设备、环境、应用场景的信息，提高了身份认证的安全性和识别成功率。

实施例2：

本发明实施例提供了一种多模态生物特征融合装置，如图4所示，该装置包括：

识别模块1，用于获取同一用户的两种生物特征，并分别与对应的生物特征模板进行识别。

要素信息获取模块2，用于在每种生物特征都识别成功后，对每种生物特征进行数据分析，获得对识别有影响的生物特征的要素信息。

融合模块3，用于对于其中一种生物特征，当生物特征的要素信息与对应生物特征模板的要素信息的差异度超过设定的程度，且满足另一种生物特征与对应生物特征模板的相似度高于预设阈值和/或两种生物特征的要素信息部分或全部相同时，将生物特征与对应的生物特征模板进行融合；

其中，预设阈值高于另一种生物特征识别成功时所要求的相似度。

本发明能够使用符合要的不同数据来源的生物特征对生物特征模板进行融合更新，增加了生物特征模板的多样性，使得生物特征模板的信息更加丰富完善，有益于帮助用户在不同的采集设备，不同的应用环境下，可以安全便捷的完成身份认证，提高了识别的通过率。本发明分析生物特征是否和生物特征模板存在差异化，并且不能单一差异化的维度去分析一种生物特征，而是需要多维度的去分析生物特征的合法性，通过另一种生物进行交叉验证，确保生物特征是真实有效的本人信息，而非误识信息，避免了传统的特征模板进行融合时，把误识的生物特征融入到原始生物特征模板当中，确保融合后的生物特征模板安全准确，防止一错再错。

前述的两种生物特征分别为人脸特征和虹膜特征。

本发明通过人脸镜头和虹膜镜头采集人脸图像和虹膜图像，并提取得到人脸特征和虹膜特征，人脸镜头和虹膜镜头同时安装在云台上，如图5所示，前述的识别模块1包括：

第一获取单元11，用于获取通过人脸镜头采集的第一人脸图像。

第一转动角度计算单元12，用于对第一人脸图像进行人眼定位获得人眼坐标，根据人眼坐标与预设人眼参考坐标计算云台的第一转动角度，并使得云台根据第一转动角度进行转动。

第二获取单元13，用于云台根据第一转动角度进行转动时，获取通过虹膜镜头采集的第一虹膜图像。

第二转动角度计算单元14，用于对第一虹膜图像进行虹膜定位获得虹膜坐标，根据虹膜坐标与预设虹膜参考坐标计算云台的第二转动角度，并使得云台根据第二转动角度进行转动。

第三获取单元15，用于当云台旋转到第二转动角度时，获取通过人脸镜头和虹膜镜头分别采集的人脸图像和虹膜图像。

特征提取单元16，用于对人脸图像和虹膜图像进行特征提取，得到人脸特征和虹膜特征。

如图6所示，本发明的装置还包括：

辅助生物特征模板获取模块4，用于将生物特征与对应的生物特征模板进行融合，获得辅助生物特征模板。

前述的识别模块1还用于：将生物特征与对应的生物特征模板和辅助生物特征模板分别进行比对，根据两种比对结果判断识别是否成功。

替换模块5，用于当生物特征与对应的生物特征模板的比对分值及生物特征与对应的与辅助生物特征模板的比对分值的差值小于预设值时，将生物特征模板替换为辅助生物特征模板。

识别模块1中，获取生物特征时，同时获取生物特征对应的采集条件；进行识别时，选用与生物特征具有相同采集条件的生物特征模板，对生物特征进行识别。

所述的人脸特征的要素信息包括：是否佩戴眼镜/口罩，是否留胡须，人脸拍摄角度，两眼之间像素数，眼部区域的微整形，眼部区域的纹理或斑块；

所述的虹膜特征的要素信息包括：虹膜直径像素数，瞳孔伸缩比例，是否佩戴眼镜/隐形眼镜/美瞳，眼部区域的微整形，眼部区域的纹理或斑块。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。

实施例3：

本说明书提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于多模态生物特征融合的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的多模态生物特征融合方法的步骤。

本发明能够使用符合要的不同数据来源的生物特征对生物特征模板进行融合更新，增加了生物特征模板的多样性，使得生物特征模板的信息更加丰富完善，有益于帮助用户在不同的采集设备，不同的应用环境下，可以安全便捷的完成身份认证，提高了识别的通过率。本发明分析生物特征是否和生物特征模板存在差异化，并且不能单一差异化的维度去分析一种生物特征，而是需要多维度的去分析生物特征的合法性，通过另一种生物进行交叉验证，确保生物特征是真实有效的本人信息，而非误识信息，避免了传统的特征模板进行融合时，把误识的生物特征融入到原始生物特征模板当中，确保融合后的生物特征模板安全准确，防止一错再错。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

上述所述的装置根据方法实施例1的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。

实施例4：

本发明还提供一种用于多模态生物特征融合的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述多模态生物特征融合的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述多模态生物特征融合方法的步骤。

本发明能够使用符合要的不同数据来源的生物特征对生物特征模板进行融合更新，增加了生物特征模板的多样性，使得生物特征模板的信息更加丰富完善，有益于帮助用户在不同的采集设备，不同的应用环境下，可以安全便捷的完成身份认证，提高了识别的通过率。本发明分析生物特征是否和生物特征模板存在差异化，并且不能单一差异化的维度去分析一种生物特征，而是需要多维度的去分析生物特征的合法性，通过另一种生物进行交叉验证，确保生物特征是真实有效的本人信息，而非误识信息，避免了传统的特征模板进行融合时，把误识的生物特征融入到原始生物特征模板当中，确保融合后的生物特征模板安全准确，防止一错再错。

上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。

需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种多模态生物特征融合方法，其特征在于，所述方法包括：

获取同一用户的两种生物特征，并分别与对应的生物特征模板进行识别；

在每种生物特征都识别成功后，对每种生物特征进行数据分析，获得对识别有影响的生物特征的要素信息；

对于其中一种生物特征，当所述生物特征的要素信息与对应生物特征模板的要素信息的差异度超过设定的程度，且满足另一种生物特征与对应生物特征模板的相似度高于预设阈值和/或两种生物特征的要素信息部分或全部相同时，将生物特征与对应的生物特征模板进行融合；

其中，所述预设阈值高于所述另一种生物特征识别成功时所要求的相似度。

2.根据权利要求1所述的多模态生物特征融合方法，其特征在于，所述两种生物特征分别为人脸特征和虹膜特征。

3.根据权利要求2所述的多模态生物特征融合方法，其特征在于，人脸镜头和虹膜镜头同时安装在云台上，所述获取同一用户的两种生物特征，包括：

获取通过人脸镜头采集的第一人脸图像；

对所述第一人脸图像进行人眼定位获得人眼坐标，根据所述人眼坐标与预设人眼参考坐标计算所述云台的第一转动角度，并使得云台根据第一转动角度进行转动；

所述云台根据第一转动角度进行转动时，获取通过虹膜镜头采集的第一虹膜图像；

对所述第一虹膜图像进行虹膜定位获得虹膜坐标，根据所述虹膜坐标与预设虹膜参考坐标计算所述云台的第二转动角度，并使得云台根据第二转动角度进行转动；

当所述云台旋转到第二转动角度时，获取通过人脸镜头和虹膜镜头分别采集的人脸图像和虹膜图像；

对所述人脸图像和虹膜图像进行特征提取，得到所述人脸特征和虹膜特征。

4.根据权利要求1所述的多模态生物特征融合方法，其特征在于，所述方法还包括：

将生物特征与对应的生物特征模板进行融合，获得辅助生物特征模板；

将生物特征与对应的生物特征模板和辅助生物特征模板分别进行比对，根据两种比对结果判断识别是否成功。

5.根据权利要求4所述的多模态生物特征融合方法，其特征在于，当生物特征与对应的生物特征模板的比对分值及生物特征与对应的与辅助生物特征模板的比对分值的差值小于预设值时，将所述生物特征模板替换为辅助生物特征模板。

6.根据权利要求2-5任一项所述的多模态生物特征融合方法，其特征在于，获取生物特征时，同时获取生物特征对应的采集条件；进行识别时，选用与生物特征具有相同采集条件的生物特征模板，对生物特征进行识别。

7.根据权利要求6所述的多模态生物特征融合方法，其特征在于，所述人脸特征的要素信息包括：是否佩戴眼镜/口罩，是否留胡须，人脸拍摄角度，两眼之间像素数，眼部区域的微整形，眼部区域的纹理或斑块；

所述虹膜特征的要素信息包括：虹膜直径像素数，瞳孔伸缩比例，是否佩戴眼镜/隐形眼镜/美瞳，眼部区域的微整形，眼部区域的纹理或斑块。

8.一种多模态生物特征融合装置，其特征在于，所述装置包括：

识别模块，用于获取同一用户的两种生物特征，并分别与对应的生物特征模板进行识别；

要素信息获取模块，用于在每种生物特征都识别成功后，对每种生物特征进行数据分析，获得对识别有影响的生物特征的要素信息；

融合模块，用于对于其中一种生物特征，当所述生物特征的要素信息与对应生物特征模板的要素信息的差异度超过设定的程度，且满足另一种生物特征与对应生物特征模板的相似度高于预设阈值和/或两种生物特征的要素信息部分或全部相同时，将生物特征与对应的生物特征模板进行融合；

其中，所述预设阈值高于所述另一种生物特征识别成功时所要求的相似度。

9.一种用于多模态生物特征融合的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-7任一所述多模态生物特征融合方法的步骤。

10.一种用于多模态生物特征融合的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7中任意一项所述多模态生物特征融合方法的步骤。

Images