CN111937005A - 生物特征识别方法、装置、设备及存储介质 - Google Patents

Abstract

本公开实施例提供了一种基于多模态融合的生物特征识别方法，其中，方法包括：确定不同模态的生物特征的第一识别结果；根据不同模态的权重及第一识别结果，确定出生物特征的第二识别结果。

Description

生物特征识别方法、装置、设备及存储介质

技术领域

本公开涉及图像处理技术领域但不限于图像处理技术领域，尤其涉及一种生物特征识别方法、装置、设备及存储介质。

背景技术

随着人们对身份鉴别的准确性、可靠性要求的日益提高，传统的密码和磁卡等身份认证方式因容易被盗用和伪造等原因已远远不能满足人们的需求。而以指纹、人脸、虹膜、静脉、声纹，行为等为代表的生物特征以其具有唯一性(即任意两人的特征不同)、稳健性(即特征不随时间变化)、可采集性(即特征可以定量采集)、高可信度和高准确度等特点，在身份认证中发挥着越来越重要的作用，越来越受到重视。

相关技术中，生物特征识别可能会受到场景的限制。比如对于指纹识别来说，部分人的指纹是不适合用来做指纹识别的；对于人脸识别来说，人脸识别的性能对于周围环境有一定的要求。比如在强光或者暗光的情况下人脸识别的性能会受到影响。生物特征识别仍然存在识别准确率低的问题。

发明内容

本公开实施例公开了一种基于多模态融合的生物特征识别方法，其中，所述方法包括：

确定不同模态的生物特征的第一识别结果；

根据不同模态的权重及所述第一识别结果，确定出所述生物特征的第二识别结果。

在一个实施例中，所述不同模态，包括：

至少一个第一模态和至少一个第二模态；

其中，所述第一模态的第一权重，高于所述第二模态的第二权重。

在一个实施例中，所述方法，还包括：

根据配置信息确定所述第一模态；

或者，

根据所述生物特征的关联信息，确定所述第一模态。

在一个实施例中，所述根据配置信息确定所述第一模态，包括：

根据所述配置信息包含的多个模态的优先级，确定至少一个所述第一模态。

在一个实施例中，所述方法，还包括：

根据检测的调整指令，更新所述配置信息。

在一个实施例中，所述根据所述生物特征的关联信息确定所述第一模态，包括：

根据所述生物特征对应业务的安全等级信息确定所述第一模态。

在一个实施例中，所述根据所述生物特征的关联信息确定所述第一模态，包括：

根据所述生物特征的采集环境的环境参数信息确定所述第一模态。

在一个实施例中，所述根据不同模态的权重及所述第一识别结果，确定出所述生物特征的第二识别结果，包括：

响应于生物特征对应的业务的安全等级大于等级阈值且在所述第一模态和所述第二模态下的所述第一识别结果为通过，确定出所述生物特征的所述第二识别结果为通过；

或者，

响应于生物特征对应的业务的安全等级小于等级阈值且在所述第一模态下的所述第一识别结果为通过，确定出所述生物特征的所述第二识别结果为通过。

在一个实施例中，所述根据不同模态的权重及所述第一识别结果，确定出所述生物特征的第二识别结果，包括：

针对所述生物特征在所述第一模态和所述第二模态下获得的分值按照权重进行加权求和，获得总分值；

根据所述总分值确定出所述生物特征的第二识别结果。

在一个实施例中，所述方法，还包括：

根据所述不同模态的单个所述模态的样本数量与所述不同模态的样本总数量的比值，确定所述不同模态的每个所述模态的所述权重；

或者，

根据所述不同模态的单个所述模态的特征数量与所述不同模态的特征总数量的比值，确定所述不同模态的每个所述模态的所述权重。

根据本公开实施例的第二方面，提供一种基于多模态融合的生物特征识别装置，其中，所述装置包括确定模块，其中，

所述确定模块，被配置为：确定不同模态的生物特征的第一识别结果；根据不同模态的权重及所述第一识别结果，确定出所述生物特征的第二识别结果。

在一个实施例中，所述确定模块，还被配置为：所述不同模态，包括：

至少一个第一模态和至少一个第二模态；

其中，所述第一模态的第一权重，高于所述第二模态的第二权重。

在一个实施例中，所述确定模块，还被配置为：

根据配置信息确定所述第一模态；

或者，

根据所述生物特征的关联信息，确定所述第一模态。

在一个实施例中，所述确定模块，还被配置为：

根据所述配置信息包含的多个模态的优先级，确定至少一个所述第一模态。

在一个实施例中，所述装置还包括更新模块，其中，所述更新模块，被配置为：

根据检测的调整指令，更新所述配置信息。

在一个实施例中，所述确定模块还被配置为：

根据所述生物特征对应业务的安全等级信息确定所述第一模态。

在一个实施例中，所述确定模块，还被配置为：

根据所述所述生物特征的采集环境的环境参数信息确定所述第一模态。

在一个实施例中，所述确定模块，还被配置为：

响应于生物特征对应的业务的安全等级大于等级阈值且在所述第一模态和所述第二模态下的所述第一识别结果为通过，确定出所述生物特征的所述第二识别结果为通过；

或者，

响应于生物特征对应的业务的安全等级小于等级阈值且在所述第一模态下的所述第一识别结果为通过，确定出所述生物特征的所述第二识别结果为通过。

在一个实施例中，所述确定模块，还被配置为：

针对所述生物特征在所述第一模态和所述第二模态下获得的分值按照权重进行加权求和，获得总分值；

根据所述总分值确定出所述生物特征的第二识别结果。

在一个实施例中，所述确定模块，还被配置为：

根据所述不同模态的单个所述模态的样本数量与所述不同模态的样本总数量的比值，确定所述不同模态的每个所述模态的所述权重；

或者，

根据所述不同模态的单个所述模态的特征数量与所述不同模态的特征总数量的比值，确定所述不同模态的每个所述模态的所述权重。

根据本公开实施例的第三方面，提供一种设备，所述设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为：用于运行所述可执行指令时，实现本公开任意实施例所述的方法。

根据本公开实施例的第四方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行程序，所述可执行程序被处理器执行时实现本公开任意实施例所述的方法。

本公开实施例中，确定不同模态的生物特征的第一识别结果；根据不同模态的权重及所述第一识别结果，确定出所述生物特征的第二识别结果。这里，不同的所述模态都对应有一个权重，每个权重都能够准确反映该模态的所述生物特征的第一识别结果对确定所述第二识别结果的影响。如此，相较于只能根据单个模态的所述第一识别结果确定所述第二识别结果，根据不同模态的权重及所述第一识别结果确定出的所述第二识别结果会更加准确。

附图说明

图1是根据一示例性实施例一种基于多模态融合的生物特征识别方法的流程图。

图2是根据一示例性实施例一种基于多模态融合的生物特征识别方法的流程图。

图3是根据一示例性实施例一种基于多模态融合的生物特征识别方法的流程图。

图4是根据一示例性实施例一种基于多模态融合的生物特征识别方法的流程图。

图5是根据一示例性实施例一种基于多模态融合的生物特征识别方法的流程图。

图6是根据一示例性实施例一种基于多模态融合的生物特征识别方法的流程图。

图7是根据一示例性实施例一种基于多模态融合的生物特征识别方法的流程图。

图8是根据一示例性实施例一种基于多模态融合的生物特征识别方法的流程图。

图9是根据一示例性实施例一种基于多模态融合的生物特征识别方法的流程图。

图10是根据一示例性实施例一种基于多模态融合的生物特征识别装置的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开实施例的一些方面相一致的装置和方法的例子。

在本公开实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开实施例。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

出于简洁和便于理解的目的，本文在表征大小关系时，所使用的术语为“大于”或“小于”。但对于本领域技术人员来说，可以理解：术语“大于”也涵盖了“大于等于”的含义，“小于”也涵盖了“小于等于”的含义。

为了方便对本公开任一实施例的理解，首先，针对生物特征识别进行说明。

生物特征识别是指为了进行身份识别而采用自动技术对个体生理特征或个人行为特点进行提取，并将这些特征或特点同数据库中已有的模板数据进行比对，从而完成身份认证识别的过程。理论上，所有具有普遍性、唯一性、稳健性、可采集性的生理特征和个人行为特点统称为生物特征。与传统的识别方式不同，生物特征识别是利用人类自身的个体特性进行身份认证。通用生物特征识别系统应包含数据采集、数据存储、比对和决策等子系统。

生物特征识别技术涉及内容广泛。包括指纹、人脸、虹膜、静脉、声纹、姿态等多种识别方式。识别过程涉及到数据采集、数据处理、图形图像识别、比对算法、软件设计等多项技术。目前各种基于生物特征识别技术的软硬件产品和行业应用解决方案在金融、人社、公共安全、教育等领域得到了广泛应用。

针对生物特征识别，提出了通过多模态融合的方法来进一步提高生物特征识别的安全性以及可用性。生物特征的多模态融合一般可以分为样本级融合、特征级融合、分数级融合和决策级融合四个层级。其中，样本级融合是指每个单一生物特征识别过程输出一组样本，将多组生物特征样本数据融合为一个样本。特征级融合是指每个单一生物特征识别过程输出一组特征，将多组生物特征融合为一个特征集或者特征向量。分数级融合是指每个单一生物特征识别过程通常输出单一匹配分数，也可能是多个分数。将多个生物特征识别分数融合成一个分数或决策，然后与系统接受阈值进行比较。决策级融合是指每个单一生物特征识别过程输出一个布尔值。利用混合算法如和与或，或者采用更多参数。如输入样本质量分数将结果进行融合。

如图1所示，本实施例中提供一种基于多模态融合的生物特征识别方法，其中，该方法包括：

步骤11，确定不同模态的生物特征的第一识别结果；

步骤12，根据不同模态的权重及第一识别结果，确定出生物特征的第二识别结果。

该方法可以是应用于终端中，该终端可以是但不限于是手机、可穿戴设备、车载终端、路侧单元(RSU，Road Side Unit)、智能家居终端、工业用传感设备和/或医疗设备等。在一个实施例中，该终端可以包括生物特征识别模块。该生物特征识别模块可以通过输入的生物特征图像识别目标对象。这里，该终端可以具有多个输入通道，每个输入通道可以用于识别预设模态的生物特征图像。综合各个模态的第一识别结果，获得最终的第二识别结果，从而实现多模态的生物特征识别。

在一些实施例中，生物特征可以包括：指纹、虹膜、静脉特征和/或人脸特征等能够反映生物体的体表特征、体内肌肉、骨骼或皮肤等生物组织特点的特征。

在另一些实施例中，生物特征可以是决定于用户肢体，但是并非是用户肢体的特征。例如，摆手的轨迹特征、低头或仰头的特征。

在一些实施例中，生物特征也可以是指纹、人脸、虹膜、静脉、声纹和姿态等特征中的2种或者2种以上特征的组合。例如，生物特征可以是人脸和虹膜特征的组合。

在一个实施例中，生物特征可以通过特征值表示。可以是利用特征向量表征生物特征，其中，每个特征向量包括多个特征值。例如，生物特征为人的姿态特征，用于表征该姿态特征的特征向量可以是A＝{a、b、c、d}，其中，a、b、c、d为人的姿态特征的特征值。这里，不同的生物特征的特征向量不同。

在一个实施例中，生物特征的识别可以是比较待识别生物特征与目标生物特征是否相似。当待识别生物特征与目标生物特征相似时，确定待识别生物特征为目标生物特征。这里，不同的生物特征的相似度可以通过计算两个生物特征的特征向量对应的欧式距离获得。例如，生物特征M的特征向量为M＝{m1、m2、m3、m4}，生物特征N的特征向量N＝{n1，n2，n3，n4}，则生物特征M和生物特征N的相似度可以表示为

在一个实施例中，不同模态的生物特征可以为在不同场景下获得的生物特征图像。不同场景下获得的生物特征图像可以是在不同的光照下、不同的拍摄角度下、不同的镜头设置(近距离和远距离)下和/或不同的拍摄场地(办公室、银行、小区等)拍摄的生物特征图像。例如，可见光人脸图像、近红外人脸图像、可见光虹膜图像、近红外虹膜图像。

在一个实施例中，身份认证时，不同模态的人脸图像包括但不限于：基于可见光生成的人脸图像、基于红外光生成的人脸图像、基于热成像原理生成的人脸图像、基于测距原理生成的景深人脸图像、基于动画合成原理生成的人脸图像以及基于手绘生成的人脸图像等。

在一个实施例中，终端可以是人脸识别锁，当有人靠近人脸识别锁时，人脸识别锁会采集人的人脸图像。该人脸图像包括基于可见光生成的人脸图像a、基于红外光生成的人脸图像b和基于热成像原理生成的人脸图像c。人脸识别锁事先存储有目标对象的基于可见光生成的人脸图像A、基于红外光生成的人脸图像B和基于热成像原理生成的人脸图像C。人脸识别锁会将采集到的的人脸图像a与人脸图像A做比对，获得对应的第一识别结果，即，相似度X1为70％。人脸识别锁会将采集到的人脸图像b与人脸图像B做比对，获得对应的第一识别结果，即，相似度X2为80％。人脸识别锁将采集到的人脸图像c与人脸图像C做比对，获得对应的第一识别结果，即，相似度X3为95％。人脸识别锁基于X1、X2和X3确定第二识别结果，即，平均相似度为82％。由于82％大于设置的相似度阈值80％，人脸识别锁确定靠近的人为目标对象，可以执行开锁操作。

在一个实施例中，不同模态的权重可以是预先设置的。该权重用于表征该模态的生物特征的第一识别结果对最终的第二识别结果的影响。这里，不同模态的权重可以是根据生物特征识别的实验结果确定的。例如，身份识别的实验中，基于可见光的人脸图像的识别准确率为60％，基于可见光的指纹图像的识别准确率为80％，基于可见光的虹膜图像的识别准确率为95％。在身份识别的应用中，则可以设置基于可见光的人脸图像对应的模态的权重为60％；可以设置基于可见光的指纹图像对应的模态的权重为80％；可以设置基于可见光的人脸图像对应的模态的权重为95％。这里，权重大于设置阈值的模态为第一模态，除第一模态之外的其余模态为第二模态。这里，在身份识别中，不同的模态都对应有一个权重，每个权重都能够准确反映该模态的生物特征的第一识别结果对确定第二识别结果的影响。当权重大时，该权重对应的模态的生物特征的第一识别结果对确定第二识别结果的影响大；当权重小时，该权重对应的模态的生物特征的第一识别结果对确定第二识别结果的影响小。如此，由于综合了不同模态下的第一识别结果对第二识别结果的影响，确定出的第二识别结果会更加准确。

在一个实施例中，不同的模态可以是包括第一模态和第二模态。这里，第一模态的权值大于第二模态的权值。由于第一模态的权值大于第二模态的权值，第一模态的生物特征的第一识别结果对确定第二识别结果的影响大，第二模态的生物特征的第一识别结果对确定第二识别结果的影响小。如此，在应用中，可以将识别准确率高的模态设置为第一模态，将识别准确率低的模态设置为第二模态，这样，会获得准确率更高的第二识别结果。例如，在身份识别中，四个模态分别为基于可见光生成的人脸图像、基于红外光生成的人脸图像、基于热成像原理生成的人脸图像和基于测距原理生成的景深人脸图像对应的模态。其中，基于红外光生成的人脸图像和基于测距原理生成的景深人脸图像在进行识别时的准确率更高，则可以将基于红外光生成的人脸图像和基于测距原理生成的景深人脸图像对应的模态设置为第一模态，将基于可见光生成的人脸图像和基于热成像原理生成的人脸图像对应的模态设置为第二模态，如此，身份识别的第二识别结果会更加准确。

在一个实施例中，终端为智能识别考勤机，不同模态的生物特征图像包括基于红外光的人脸图像、基于红外光的虹膜图像和基于红外光的指纹图像，对应的模态的权重分别为60％、70％和85％。身份识别过程中，基于红外光的人脸图像的第一识别结果为相似度X1＝0.7；基于红外光的虹膜图像的第一识别结果为相似度X2＝0.8；基于红外光的指纹图像的第一识别结果为相似度X3＝0.8。则最终的第二识别结果为T＝0.7×60％+0.8×70％+0.8×70％＝1.54，由于1.54大于身份识别阈值1，通过身份认证，智能识别考勤机完成生物特征的身份认证。这里，基于红外光的指纹图像对应的模态的权重为85％，权重相较于红外光的人脸图像和基于红外光的虹膜图像对应的模态的权重占比较大，对应的第一识别结果对确定第二识别结果的影响相较于基于红外光的人脸图像、基于红外光的虹膜图像对应的第一识别结果对确定第二识别结果的影响大。由于基于红外光的指纹图像识别相对基于红外光的人脸图像识别和基于红外光的虹膜图像识别的准确率会更高，上述权重的设置会使得第二识别结果的准确率会更高。

本公开实施例中，不同的模态都对应有一个权重，每个权重都能够准确反映该模态的生物特征的第一识别结果对确定第二识别结果的影响。如此，相较于只能根据单个模态的所述第一识别结果确定所述第二识别结果，根据不同模态的权重及第一识别结果确定出的第二识别结果会更加准确。

在一个实施例中，不同模态，包括：

至少一个第一模态和至少一个第二模态；

其中，第一模态的第一权重，高于第二模态的第二权重。

在一个实施例中，生物特征识别需要使用多个模态。这里，可以事先设置多个模态中的至少一个为第一模态，则多个模态中除第一模态之外的模态可以为第二模态。

在一个实施例中，各个模态的权重可以预先设定。在一个实施例中，第一权重可以设置在数值范围A内；第二权重可以设置在数值范围B内。其中，数值范围A内的数值大于数值范围B内的数值。例如，数值范围A为70％至100％之间；数值范围B为40％至70％之间。第一模态的第一权重设置为90％，第二模态的第二权重设置为65％。这里，权重的具体取值可以是根据实验结果获得的。例如，身份识别的实验中，基于可见光的人脸图像的识别准确率为65％，基于可见光的指纹图像的识别准确率为90％，则可以设置基于可见光的人脸图像对应的模态的权重设置为65％；可以设置基于可见光的指纹图像对应的模态的权重设置为90％。

在一个实施例中，第一权重和第二权重都设置在数值范围C内。例如，数值范围为0至1，第一权重和第二权重都设置在0至1之间，其中，第一权重大于第二权重。比如，第一权重可以设置为95％，第二权重可以设置为77％。

在一个实施例中，各个模态的权重可以是根据识别场景设定的。例如，在光线不好的环境中进行身份识别时，可以将基于可见光的人脸图像对应模态的权重设置为50％，将基于红外光的指纹图像对应模态的权重设置为90％。这样，由于光线不好，基于可见光的人脸图像受光照影响大，基于可见光的人脸图像识别的输出结果的准确率会比较低。由于基于红外光的指纹图像受光照影响小，基于红外光的人脸图像识别的输出结果的准确率会比较高。将可见光的人脸图像对应的模态的权重设置为大于基于红外光的指纹图像对应模态的权重可以提升生物特征识别的第二识别结果的准确率。

在一个实施例中，根据生物特征的采集环境的环境参数确定第一模态和第二模态。这里，采集环境可以是采集生物特征的采集设备所处的环境。这里，采集环境的环境参数可以是光照、湿度和/或温度等参数。

在一个实施例中，包括两个不同模态，两个不同模态分别为基于可见光的人脸图像和基于红外光的指纹图像。当生物特征的采集环境的的光照信息满足光照条件时(例如在室外)，可以确定基于可见光的人脸图像的模态的权重为A，确定基于红外光的指纹图像的模态的权重为B，其中，A>B。即确定基于可见光的人脸图像为第一模态，确定基于红外光的指纹图像为第二模态。这里，由于生物特征采集环境的光照信息满足光照条件，基于可见光的人脸图像的模态进行识别的第一识别结果会更加准确，将基于可见光的人脸图像的模态对应的权值设置为A，可以使得第二识别结果会更加准确。

在一个实施例中，包括两个不同模态，两个不同模态分别为基于可见光的人脸图像和基于红外光的指纹图像。当生物特征的采集环境的的光照信息不满足光照条件时(例如在室内)，可以确定基于可见光的人脸图像的模态的权重为A，确定基于红外光的指纹图像的模态的权重为B，其中，A<B。即确定基于可见光的人脸图像为第二模态，确定基于红外光的指纹图像为第一模态。这里，由于生物特征采集环境的光照信息满足光照条件，基于可见光的人脸图像的模态进行识别的第一识别结果会变差，将基于可见光的人脸图像的模态对应的权值设置为A，可以使得第二识别结果会更加准确。

如图2所示，本实施例中提供一种基于多模态融合的生物特征识别方法，其中，该方法，还包括：

步骤21，根据配置信息确定第一模态；

或者，

根据生物特征的关联信息，确定第一模态。

在一个实施例中，生物特征识别系统在出厂设置时，就通过配置信息配置了第一模态，终端根据配置信息可以确定第一模态。这里，配置第一模态可以是配置模态的权重大于设置阈值。例如，当模态的权重被配置为大于80％时，该模态被配置为第一模态；当模态的权重被配置为小于80％时，该模态被配置为第二模态。这里，配置信息可以包括各个模态的权重信息。

在一个实施例中，可以设置多个第一模态。例如，模态A的权重为90％，模态B的权重为85％，模态C的权重为60％。这里，如果设置阈值为80％，这模态A和模态B为第一模态，模态C为第二模态。

在一个实施例中，模态被配置为第一模态后，第一模态不能被用户更改为第二模态。这里，可以是模态的权重被配置后，用户不能对模态的权重进行更改。

在一个实施例中，模态被配置为第一模态后，第一模态能被用户更改为第二模态。这里，可以是模态的权重被配置后，用户能对模态的权重进行更改。例如，终端根据配置信息初始配置的模态A的权重为90％，模态B的权重为85％，模态C的权重为60％。这里，用户可以对各个模态的权重进行更改，更改后的模态A的权重为60％，模态B的权重为50％，模态C的权重为50％。这里，用户更改第二模态可以是更改初始的配置信息。

在一个实施例中，生物特征的关联信息可以是生物特征的采集设备所处位置、所处环境和/或生物特征对应的业务等相关联的信息。例如，所处位置可以是处于室内或者室外；所处环境可以是光照环境、温度环境和/或湿度环境等。业务可以是安全等级大于设置等级阈值的支付业务，也可以是安全等级小于设置等级阈值的考勤打卡业务。这里，生物特征对应的业务可以是利用生物进行身份识别通过验证后允许用户使用的业务。例如，支付业务、考勤打卡业务和智能开锁业务等。

在一个实施例中，用户可以设置生物特征的关联信息。例如，用户可以设置生物特征的关联信息为生物特征的采集设备所处环境的光照信息。这样，当生物特征的采集设备所处环境的光照信息满足光照条件时，确定基于可见光的人脸图像为第一模态；当生物特征的采集设备所处环境的信息例如光照条件不满足光照条件时，确定基于红外光的指纹图像为第一模态。再比如，用户可以设置生物特征的关联信息为生物特征的采集设备所处位置的信息。这样，当生物特征的采集设备所处位置为室外时，确定基于可见光的人脸图像为第一模态；当生物特征的采集设备所处位置为室内时，确定基于红外光的指纹图像为第一模态。

如图3所示，本实施例中提供一种基于多模态融合的生物特征识别方法，其中，步骤21中，根据配置信息确定第一模态，包括：

步骤31，根据配置信息包含的多个模态的优先级，确定至少一个第一模态。

在一个实施例中，利用人脸进行身份认证。多个模态中的每个模态都对应设置有一个优先级。例如，配置信息包含4个模态的优先级。四个模态分别为基于可见光生成的人脸图像、基于红外光生成的人脸图像、基于热成像原理生成的人脸图像和基于测距原理生成的景深人脸图像。四个模态的优先级分别为第一优先级、第二优先级、第三优先级和第四优先级。这样，可以按照优先级的顺序将优先级在前的一个或者多个模态确定为第一模态。例如将优先级为第一优先级的基于可见光生成的人脸图像和基于红外光生成的人脸图像确定为第一模态。这里，多个模态中除第一模态之外的模态可以确定为第二模态。

在一个实施例中，多个模态的优先级可以是事先设置好的，用户不可以对优先级的顺序进行更改。

在一个实施例中，多个模态的优先级可以是事先设置好的，但是，用户可以对优先级的顺序进行更改。这里，用户对优先级的顺序进行更改可以是对配置信息中的优先级信息进行更改。

在一个实施例中，根据各个模态的识别准确率确定优先级。例如，人脸识别的四个模态包括基于可见光生成的人脸图像、基于红外光生成的人脸图像、基于热成像原理生成的人脸图像和基于测距原理生成的景深人脸图像。室内的人脸识别门锁在进行身份识别时，识别准确率从高到低的顺序分别对应是基于红外光生成的人脸图像、基于测距原理生成的景深人脸图像、基于热成像原理生成的人脸图像和基于可见光生成的人脸图像。则可以确定优先级从高到低的模态分别为基于红外光生成的人脸图像、基于测距原理生成的景深人脸图像、基于热成像原理生成的人脸图像和基于可见光生成的人脸图像。在一个实施例中，将高优先级的模态设置为第一模态。由于第一模态为高优先级的模态，该模态下的识别具有准确率更高的第一识别结果，且第一模态可以配置更高的权值。如此，根据优先级确定第一模态，能够获得准确率更高的第二识别结果。

如图4所示，本实施例中提供一种基于多模态融合的生物特征识别方法，其中，该方法，还包括：

步骤41，根据检测的调整指令，更新配置信息。

在一个实施例中，检测的调整指令可以是终端接收到的用户的操作指令。例如，调整指令可以是用户调整第一模态的操作指令。调整指令还可以是用户调整模态的优先级的操作指令。

在一个实施例中，调整指令为用户调整第一模态的操作指令。根据初始配置信息确定的第一模态为四个模态。四个模态分别为基于可见光生成的人脸图像、基于红外光生成的人脸图像、基于热成像原理生成的人脸图像和基于测距原理生成的景深人脸图像。在根据检测的调整指令，更新配置信息后，将第一模态的四个模态调整为三个模态。三个模态分别为基于可见光生成的人脸图像、基于红外光生成的人脸图像和基于热成像原理生成的人脸图像。

在一个实施例中，调整指令为用户调整模态的优先级的操作指令。初始配置信息包含4个模态的优先级。四个模态分别为基于可见光生成的人脸图像、基于红外光生成的人脸图像、基于热成像原理生成的人脸图像和基于测距原理生成的景深人脸图像。四个模态的优先级依次为第一优先级、第二优先级、第三优先级和第四优先级。在根据检测的调整指令，更新配置信息后，对四个模态的优先级进行了更新，调整后的四个模态的优先级依次为第二优先级、第一优先级、第三优先级和第四优先级。

如图5所示，本实施例中提供一种基于多模态融合的生物特征识别方法，其中，步骤21中，根据生物特征的关联信息确定第一模态，包括：

步骤51，根据生物特征对应业务的安全等级信息确定第一模态。

在一个实施例中，业务可以是业务的安全等级大于设置等级阈值的支付业务，也可以是业务的安全等级小于设置等级阈值的考勤打卡业务。

在一个实施例中，在身份识别中，多个模态包括可基于见光的人脸图像、基于红外光的人脸图像、基于红外光的指纹图像和基于可见光的姿态图像。生物特征对应业务的安全等级大于设置等级阈值。则可以将识别准确率高的红外光人脸图像和红外光指纹图像设置为第一模态。

在一个实施例中，在身份识别中，多个模态包括可见光人脸图像、红外光人脸图像、红外光指纹图像和可见光姿态图像。生物特征对应业务的安全等级小于设置等级阈值。则可以将识别准确率低的基于可见光的人脸图像和基于可见光的姿态图像设置为第一模态。

如图6所示，本实施例中提供一种基于多模态融合的生物特征识别方法，其中，步骤21中，根据生物特征的关联信息确定第一模态，包括：

步骤61，根据生物特征的采集环境的环境参数信息确定第一模态。

在一个实施例中，生物特征的采集环境的环境参数信息可以是生物特征的采集设备所处位置和/或所处环境等相关联的信息。例如，所处位置可以是处于室内或者室外；所处环境可以是光照环境、温度环境和/或湿度环境等。在一个实施例中，用户可以设置生物特征的关联信息。例如，用户可以设置生物特征的关联信息为生物特征的采集设备所处环境的光照信息。这样，当生物特征的采集设备所处环境的光照信息满足光照条件时，确定基于可见光的人脸图像为第一模态；当生物特征的采集设备所处环境的信息例如光照条件不满足光照条件时，确定基于红外光的指纹图像为第一模态。再比如，用户可以设置生物特征的关联信息为生物特征的采集设备所处位置的信息。这样，当生物特征的采集设备所处位置为室外时，确定基于可见光的人脸图像为第一模态；当生物特征的采集设备所处位置为室内时，确定基于红外光的指纹图像为第一模态。

如图7所示，本实施例中提供一种基于多模态融合的生物特征识别方法，其中，步骤12中，根据不同模态的权重及第一识别结果，确定出生物特征的第二识别结果，包括：

步骤71，响应于生物特征对应的业务的安全等级大于等级阈值且在第一模态和第二模态下的第一识别结果为通过，确定出生物特征的第二识别结果为通过；

或者，

响应于生物特征对应的业务的安全等级小于等级阈值且在第一模态下的第一识别结果为通过，确定出生物特征的第二识别结果为通过。

在一个实施例中，在身份识别中，四个模态分别为基于可见光生成的人脸图像、基于红外光生成的人脸图像、基于热成像原理生成的人脸图像和基于测距原理生成的景深人脸图像。其中，基于红外光生成的人脸图像和基于测距原理生成的景深人脸图像的模态为第一模态；基于可见光生成的人脸图像和基于热成像原理生成的人脸图像的模态为第二模态。生物特征对应的业务的安全等级大于等级阈值。则当在四个模态下的身份识别结果都为通过时，确定身份识别的第二识别结果通过。这里，由于生物特征对应的业务的安全等级大于等级阈值，为安全等级高的业务，需要综合各个模态下的第一识别结果确定第二识别结果，如此，确定的第二识别结果将更加可靠真实，才能满足高安全等级的要求。

在一个实施例中，在身份识别中，四个模态分别为基于可见光生成的人脸图像、基于红外光生成的人脸图像、基于热成像原理生成的人脸图像和基于测距原理生成的景深人脸图像。其中，基于红外光生成的人脸图像和基于热成像原理生成的人脸图像对应的模态为第一模态。生物特征对应的业务的安全等级小于等级阈值。则当基于红外光生成的人脸图像和基于热成像原理生成的人脸图像的身份识别结果为通过时，确定身份识别的第二识别结果通过。这里，由于生物特征对应的业务的安全等级小于等级阈值，为安全等级低的业务，在不需要综合各个模态下的第一识别结果的情况下基于第一模态下的第一识别结果就可以确定第二识别结果，能够满足低安全等级的要求，识别更加快速高效。

如图8所示，本实施例中提供一种基于多模态融合的生物特征识别方法，其中，步骤12中，根据不同模态的权重及第一识别结果，确定出生物特征的第二识别结果，包括：

步骤81，针对生物特征在第一模态和第二模态下获得的分值按照权重进行加权求和，获得总分值；

步骤82，根据总分值确定出生物特征的第二识别结果。

在一个实施例中，在身份识别中，四个模态分别为基于可见光生成的人脸图像、基于红外光生成的人脸图像、基于热成像原理生成的人脸图像和基于测距原理生成的景深人脸图像。其中，基于热成像原理生成的人脸图像和基于测距原理生成的景深人脸图像的模态为第一模态；基于可见光生成的人脸图像和基于基于红外光生成的人脸图像的模态为第二模态。基于可见光生成的人脸图像获得的分值为7分，基于红外光生成的人脸图像获得的分值为8分，基于热成像原理生成的人脸图像获得的分值为9分，基于测距原理生成的景深人脸图像获得的分值为6分。四个模态对应的权重分别为30％、50％、60％和80％。则按照权重进行加权求和后的总分值为X＝7×30％+8×50％+9×60％+6×80％＝16.3，如果总分值16.3大于身份识别设置阈值15，则身份识别中生物特征的第二识别结果为通过。

如图9所示，本实施例中提供一种基于多模态融合的生物特征识别方法，其中，该方法，还包括：

步骤91，根据不同模态的单个模态的样本数量与不同模态的样本总数量的比值，确定不同模态的每个模态的权重；

或者，

根据不同模态的单个模态的特征数量与不同模态的特征总数量的比值，确定不同模态的每个模态的权重。

在一个实施例中，在身份识别中，不同模态包括四个模态，分别为模态A、模态B、模态C和模态D。模态A的样本数量为10，模态B的样本数量为20，模态C的样本数量为30，模态D的样本数量为40。总样本数量为100。则模态A的权重可以设置为10％，模态B的权重可以设置为20％，模态C的权重可以设置为30％，模态D的样本数量可以设置为40％。

在一个实施例中，在身份识别中，包括四个模态，分别为模态A、模态B、模态C和模态D，在模态A下获得的特征数量为2，在模态B下获得的特征数量为1，在模态C下获得的特征数量为3，在模态D下获得的特征数量为4。总特征数量为10。则模态A的权重可以设置为20％，模态B的权重可以设置为10％，模态C的权重可以设置为30％，模态D的样本数量可以设置为40％。这里，根据模态的样本数量或者特征数量确定权重值，能够更加真实地反映出各个模态的第一识别结果对第二识别结果的影响，能够获得更加准确的第二识别结果。

如图10所示，本实施例中提供一种基于多模态融合的生物特征识别装置，其中，装置包括确定模块101，其中，

确定模块101，被配置为：确定不同模态的生物特征的第一识别结果；根据不同模态的权重及第一识别结果，确定出生物特征的第二识别结果。

在一个实施例中，确定模块101，还被配置为：不同模态，包括：

至少一个第一模态和至少一个第二模态；

其中，第一模态的第一权重，高于第二模态的第二权重。

在一个实施例中，确定模块101，还被配置为：

根据配置信息确定第一模态；

或者，

根据生物特征的关联信息，确定第一模态。

在一个实施例中，确定模块101，还被配置为：

根据配置信息包含的多个模态的优先级，确定至少一个第一模态。

在一个实施例中，装置还包括更新模块，其中，更新模块102，被配置为：

根据检测的调整指令，更新配置信息。

在一个实施例中，确定模块101，还被配置为：

根据生物特征对应业务的安全等级信息确定第一模态。

在一个实施例中，确定模块101，还被配置为：

根据生物特征的采集环境的环境参数信息确定第一模态。

在一个实施例中，确定模块101，还被配置为：

响应于生物特征对应的业务的安全等级大于等级阈值且在第一模态和第二模态下的第一识别结果为通过，确定出生物特征的第二识别结果为通过；

或者，

响应于生物特征对应的业务的安全等级小于等级阈值且在第一模态下的第一识别结果为通过，确定出生物特征的第二识别结果为通过。

在一个实施例中，确定模块101，还被配置为：

针对生物特征在第一模态和第二模态下获得的分值按照权重进行加权求和，获得总分值；

根据总分值确定出生物特征的第二识别结果。

在一个实施例中，确定模块101，还被配置为：

根据所述不同模态的单个所述模态的样本数量与所述不同模态的样本总数量的比值，确定所述不同模态的每个所述模态的所述权重；

或者，

根据所述不同模态的单个所述模态的特征数量与所述不同模态的特征总数量的比值，确定所述不同模态的每个所述模态的所述权重。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例提供一种设备，设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为：用于运行可执行指令时，实现应用于本公开任意实施例的方法。

其中，处理器可包括各种类型的存储介质，该存储介质为非临时性计算机存储介质，在设备掉电之后能够继续记忆存储其上的信息。

处理器可以通过总线等与存储器连接，用于读取存储器上存储的可执行程序。

本公开实施例还提供一种计算机存储介质，其中，计算机存储介质存储有计算机可执行程序，可执行程序被处理器执行时实现本公开任意实施例的方法。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (22)

1.一种基于多模态融合的生物特征识别方法，其中，所述方法包括：

确定不同模态的生物特征的第一识别结果；

根据不同模态的权重及所述第一识别结果，确定出所述生物特征的第二识别结果。

2.根据权利要求1所述的方法，其中，所述不同模态，包括：

至少一个第一模态和至少一个第二模态；

其中，所述第一模态的第一权重，高于所述第二模态的第二权重。

3.根据权利要求1所述的方法，其中，所述方法，还包括：

根据配置信息确定所述第一模态；

或者，

根据所述生物特征的关联信息，确定所述第一模态。

4.根据权利要求3所述的方法，其中，所述根据配置信息确定所述第一模态，包括：

根据所述配置信息包含的多个模态的优先级，确定至少一个所述第一模态。

5.根据权利要求4所述的方法，其中，所述方法，还包括：

根据检测的调整指令，更新所述配置信息。

6.根据权利要求3所述的方法，其中，所述根据所述生物特征的关联信息确定所述第一模态，包括：

根据所述生物特征对应业务的安全等级信息确定所述第一模态。

7.根据权利要去3所述的方法，其中，所述根据所述生物特征的关联信息确定所述第一模态，包括：

根据所述生物特征的采集环境的环境参数信息确定所述第一模态。

8.根据权利要求2所述的方法，其中，所述根据不同模态的权重及所述第一识别结果，确定出所述生物特征的第二识别结果，包括：

响应于生物特征对应的业务的安全等级大于等级阈值且在所述第一模态和所述第二模态下的所述第一识别结果为通过，确定出所述生物特征的所述第二识别结果为通过；

或者，

响应于生物特征对应的业务的安全等级小于等级阈值且在所述第一模态下的所述第一识别结果为通过，确定出所述生物特征的所述第二识别结果为通过。

9.根据权利要求2所述的方法，其中，所述根据不同模态的权重及所述第一识别结果，确定出所述生物特征的第二识别结果，包括：

针对所述生物特征在所述第一模态和所述第二模态下获得的分值按照权重进行加权求和，获得总分值；

根据所述总分值确定出所述生物特征的第二识别结果。

10.根据权利要求1所述的方法，其中，所述方法，还包括：

根据所述不同模态的单个所述模态的样本数量与所述不同模态的样本总数量的比值，确定所述不同模态的每个所述模态的所述权重；

或者，

根据所述不同模态的单个所述模态的特征数量与所述不同模态的特征总数量的比值，确定所述不同模态的每个所述模态的所述权重。

11.一种基于多模态融合的生物特征识别装置，其中，所述装置包括确定模块，其中，

所述确定模块，被配置为：确定不同模态的生物特征的第一识别结果；根据不同模态的权重及所述第一识别结果，确定出所述生物特征的第二识别结果。

12.根据权利要求11所述的装置，其中，所述确定模块，还被配置为：所述不同模态，包括：

至少一个第一模态和至少一个第二模态；

其中，所述第一模态的第一权重，高于所述第二模态的第二权重。

13.根据权利要求11所述的装置，其中，所述确定模块，还被配置为：

根据配置信息确定所述第一模态；

或者，

根据所述生物特征的关联信息，确定所述第一模态。

14.根据权利要求13所述的装置，其中，所述确定模块，还被配置为：

根据所述配置信息包含的多个模态的优先级，确定至少一个所述第一模态。

15.根据权利要求14所述的装置，其中，所述装置还包括更新模块，其中，所述更新模块，被配置为：

根据检测的调整指令，更新所述配置信息。

16.根据权利要求13所述的装置，其中，所述确定模块还被配置为：

根据所述生物特征对应业务的安全等级信息确定所述第一模态。

17.根据权利要去13所述的装置，其中，所述确定模块，还被配置为：

根据所述所述生物特征的采集环境的环境参数信息确定所述第一模态。

18.根据权利要求12所述的装置，其中，所述确定模块，还被配置为：

响应于生物特征对应的业务的安全等级大于等级阈值且在所述第一模态和所述第二模态下的所述第一识别结果为通过，确定出所述生物特征的所述第二识别结果为通过；

或者，

响应于生物特征对应的业务的安全等级小于等级阈值且在所述第一模态下的所述第一识别结果为通过，确定出所述生物特征的所述第二识别结果为通过。

19.根据权利要求12所述的装置，其中，所述确定模块，还被配置为：

针对所述生物特征在所述第一模态和所述第二模态下获得的分值按照权重进行加权求和，获得总分值；

根据所述总分值确定出所述生物特征的第二识别结果。

20.根据权利要求11所述的装置，其中，所述确定模块，还被配置为：

根据所述不同模态的单个所述模态的样本数量与所述不同模态的样本总数量的比值，确定所述不同模态的每个所述模态的所述权重；

或者，

根据所述不同模态的单个所述模态的特征数量与所述不同模态的特征总数量的比值，确定所述不同模态的每个所述模态的所述权重。

21.一种用户设备，其中，所述用户设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为：用于运行所述可执行指令时，实现权利要求1至10任一项所述的方法。

22.一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行程序，所述可执行程序被处理器执行时实现权利要求1至10任一项所述的方法。

Images