CN114332905A - 生物特征多模态融合识别方法、装置、存储介质及设备 - Google Patents

生物特征多模态融合识别方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN114332905A
CN114332905A CN202011027159.4A CN202011027159A CN114332905A CN 114332905 A CN114332905 A CN 114332905A CN 202011027159 A CN202011027159 A CN 202011027159A CN 114332905 A CN114332905 A CN 114332905A
Authority
CN
China
Prior art keywords
modality
score
comparison
threshold
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011027159.4A
Other languages
English (en)
Inventor
孙飞
杨春林
郭秀花
江武明
周军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eyes Intelligent Technology Co ltd
Beijing Eyecool Technology Co Ltd
Original Assignee
Beijing Eyes Intelligent Technology Co ltd
Beijing Eyecool Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eyes Intelligent Technology Co ltd, Beijing Eyecool Technology Co Ltd filed Critical Beijing Eyes Intelligent Technology Co ltd
Priority to CN202011027159.4A priority Critical patent/CN114332905A/zh
Priority to PCT/CN2021/120243 priority patent/WO2022063219A1/zh
Publication of CN114332905A publication Critical patent/CN114332905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种生物特征多模态融合识别方法、装置、存储介质及设备，属于生物识别领域。在多模态识别中根据后一模态的生物特征图像的质量分数调整后一模态的比对阈值；当后一模态的比对分数不小于调整后的后一模态的比对阈值，且后一模态的生物特征图像的质量分数不小于后一模态的决策阈值时，判断识别通过或进行后续模态的识别；否则，将已识别的所有模态的比对分数融合得到融合分数；根据融合分数判断识别通过或进行后续模态的识别。本发明根据生物特征图像的质量分数高低，动态调整比对阈值，并且利用生物特征图像的质量分数对识别结果进行辅助决策，同时结合比对分数融合，逐步增大身份认证的概率，提高生物识别身份识别的安全性和可靠性。

Description

生物特征多模态融合识别方法、装置、存储介质及设备
技术领域
本发明涉及生物识别领域，特别是指一种生物特征多模态融合识别方法、装置、存储介质及设备。
背景技术
生物识别技术通过计算机与光学、声学、生物传感器和生物统计学原理等高科技手段密切结合，利用人体固有的生理特性如指纹、人脸、虹膜、指静脉等来进行个人身份的鉴定。
随着对社会安全和身份鉴别准确性和可靠性要求的日益提升，单一生物特征识别在准确性和可靠性方面的局限性日益突出，已远不能满足产品和技术发展的需要。当前，多模态生物特征识别被认为是一个最具有潜力和优势的有研究方向。多模态生物特征识别可以有效的利用不同模态间的独立性进一步提高识别率，使得融合后的结果的准确性可以高于任何一个单模态。
现有技术中生物特征多模态融合方法的一种方法如下：其中P1、P2、P3是几种生物特征图像，R1、R2、R3分别是与P1、P2、P3对应的生物特征模板，在识别过程中，将P1和R1进行比对，得到比对分数S1，如果比对分数S1大于阈值T1，则调整P2对应的比对阈值获得调整后的比对阈值T2，例如将原比对阈值的分值调低，反之，如果比对分数S1小于阈值T1，则将原比对阈值T2的分值调高。
根据P1的比对分数对P2的比对阈值调整获得比对阈值T2后，将P2与R2进行比对，得到比对分数S2，根据比对分数S2对P3的原比对阈值T3进行调整，获得调整后P3对应的比对阈值T3，例如，如果比对分数S2大于比对阈值T2，则调整P3对应的原比对阈值T3，例如，将原比对阈值T3的分值调低，反之，如果比对分数S2小于阈值T2，则将原比对阈值T3的分值调高，之后将P3与R3进行比对，得到比对分数S3，如果S3大于调整后获得的比对阈值T3，则认为比对通过，身份识别成功，否则，认为比对不通过，身份识别失败。
也即现有技术根据前一种生物特征的比对结果，调整后续生物特征比对的比对阈值，这种方法虽然使得后一种生物特征比对更容易些，能够提高比对通过率，但是通过前一种生物特征的比对结果决定后一种生物特征的比对阈值的方法具有不确定性，比对阈值调高、调低的幅度很难把握，导致生物识别身份识别的安全性和可靠性不佳。
发明内容
为解决现有技术的多模态生物特征识别中对比对阈值的调整具有不确定性的技术问题，本发明提供一种生物特征多模态融合识别方法、装置、存储介质及设备，根据生物特征图像的质量分数高低，动态调整比对阈值，并且利用生物特征图像的质量分数对识别结果进行辅助决策，同时结合比对分数融合，逐步增大身份认证的概率，提高生物识别身份识别的安全性和可靠性。
本发明提供技术方案如下：
第一方面，本发明提供一种生物特征多模态融合识别方法，所述方法包括：
依次对每个模态的生物特征图像进行识别；
在当前模态的比对分数不小于当前模态的最低阈值时，根据后一模态的生物特征图像的质量分数调整后一模态的比对阈值；
当后一模态的比对分数不小于后一模态的最低阈值和调整后的后一模态的比对阈值，且后一模态的生物特征图像的质量分数不小于后一模态的决策阈值时，判断识别通过或进行后续模态的识别；
当后一模态的比对分数不小于后一模态的最低阈值，且后一模态的比对分数小于后一模态调整后的比对阈值或后一模态的生物特征图像的质量分数小于后一模态的决策阈值时，将已识别的所有模态的比对分数融合得到融合分数；
当融合分数不小于相应的融合分数阈值时，判断识别通过或进行后续模态的识别。
进一步的，对于任一模态，其最低阈值低于该模态正常识别通过时的阈值。
进一步的，对于任一模态，该模态的生物特征图像的质量分数越高，则该模态的比对阈值调整的越高。
进一步的，对于任一模态，该模态的比对阈值通过如下方式调整：
将该模态的生物特征图像的质量分数分为三个区间段[0，Qmin)、[Qmin，Qref)、[Qref，Qmax]；其中，Qmin、Qref和Qmax分别为该模态的生物特征图像的最低质量分数、参考质量分数和最大质量分数；
若该模态的生物特征图像的质量分数位于[0，Qmin)内，则将该模态的生物特征图像舍弃；
若该模态的生物特征图像的质量分数位于[Qmin，Qref)内，则该模态的比对阈值不变；
若该模态的生物特征图像的质量分数位于[Qref，Qmax]内，则该模态的比对阈值随着该模态的生物特征图像的质量分数的升高而提高；其计算公式为：
T＝Tmin+(Tmax-Tmin)*f((Q-Qref)/(QMax-Qref))
其中，Q∈[Qmin，Qmax]
Figure BDA0002702465180000031
进一步的，所述依次对每个模态的生物特征图像进行识别，包括：
将第一模态的生物特征图像与第一模态的生物特征模板进行识别，得到第一模态的比对分数，并判断第一模态的比对分数是否不小于第一模态的最低阈值，若是，执行下一步，否则判断识别不通过；
计算第二模态的生物特征图像的质量分数，并根据所述第二模态的生物特征图像的质量分数调整第二模态的比对阈值，其中，若第二模态的生物特征图像的质量分数越高，则第二模态的比对阈值越高；
将第二模态的生物特征图像与第二模态的生物特征模板进行识别，得到第二模态的比对分数，并判断第二模态的比对分数是否不小于第二模态的最低阈值，若是，执行下一步，否则判断识别不通过；
判断是否同时满足第二模态的比对分数不小于调整后的第二模态的比对阈值且第二模态的生物特征图像的质量分数不小于第二模态的决策阈值，若同时满足，则判断识别通过，否则执行下一步；
将第一模态的比对分数和第二模态的比对分数融合得到第一融合分数，并判断所述第一融合分数是否小于第一融合分数阈值，若是，则判断识别不通过；
若所述第一融合分数不小于第一融合分数阈值，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
进一步的，所述依次对每个模态的生物特征图像进行识别，包括：
将第一模态的生物特征图像与第一模态的生物特征模板进行识别，得到第一模态的比对分数，并判断第一模态的比对分数是否不小于第一模态的最低阈值，若是，执行下一步，否则判断识别不通过；
计算第二模态的生物特征图像的质量分数，并根据所述第二模态的生物特征图像的质量分数调整第二模态的比对阈值，其中，若第二模态的生物特征图像的质量分数越高，则第二模态的比对阈值越高；
将第二模态的生物特征图像与第二模态的生物特征模板进行识别，得到第二模态的比对分数，并判断第二模态的比对分数是否不小于第二模态的最低阈值，若是，执行下一步，否则判断识别不通过；
判断是否同时满足第二模态的比对分数不小于调整后的第二模态的比对阈值且第二模态的生物特征图像的质量分数不小于第二模态的决策阈值，若同时满足，则判断识别通过，否则执行下一步；
将第一模态的比对分数和第二模态的比对分数融合得到第一融合分数，并判断所述第一融合分数是否不小于第一融合分数阈值，若是，则执行下一步，否则判断识别不通过；
计算第三模态的生物特征图像的质量分数，并根据所述第三模态的生物特征图像的质量分数调整第三模态的比对阈值，其中，若第三模态的生物特征图像的质量分数越高，则第三模态的比对阈值越高；
将第三模态的生物特征图像与第三模态的生物特征模板进行识别，得到第三模态的比对分数，并判断第三模态的比对分数是否不小于第三模态的最低阈值，若是，执行下一步，否则判断识别不通过；
判断是否同时满足第三模态的比对分数不小于调整后的第三模态的比对阈值且第三模态的生物特征图像的质量分数不小于第三模态的决策阈值，若同时满足，则判断识别通过，否则执行下一步；
将第一模态的比对分数、第二模态的比对分数和第三模态的比对分数融合得到第二融合分数，并判断所述第二融合分数是否小于第二融合分数阈值，若是，则判断识别不通过；
若所述第二融合分数不小于第二融合分数阈值，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
第二方面，本发明提供一种生物特征多模态融合识别装置，所述装置包括：
多模态识别模块，用于依次对每个模态的生物特征图像进行识别；
比对阈值调整模块，用于在当前模态的比对分数不小于当前模态的最低阈值时，根据后一模态的生物特征图像的质量分数调整后一模态的比对阈值；
第一判断模块，用于当后一模态的比对分数不小于后一模态的最低阈值和调整后的后一模态的比对阈值，且后一模态的生物特征图像的质量分数不小于后一模态的决策阈值时，判断识别通过或进行后续模态的识别；
第二判断模块，用于当后一模态的比对分数不小于后一模态的最低阈值，且后一模态的比对分数小于后一模态调整后的比对阈值或后一模态的生物特征图像的质量分数小于后一模态的决策阈值时，将已识别的所有模态的比对分数融合得到融合分数；
融合模块，用于当融合分数不小于相应的融合分数阈值时，判断识别通过或进行后续模态的识别。
进一步的，对于任一模态，其最低阈值低于该模态正常识别通过时的阈值。
进一步的，对于任一模态，该模态的生物特征图像的质量分数越高，则该模态的比对阈值调整的越高。
进一步的，对于任一模态，该模态的比对阈值通过如下方式调整：
将该模态的生物特征图像的质量分数分为三个区间段[0，Qmin)、[Qmin，Qref)、[Qref，Qmax]；其中，Qmin、Qref和Qmax分别为该模态的生物特征图像的最低质量分数、参考质量分数和最大质量分数；
若该模态的生物特征图像的质量分数位于[0，Qmin)内，则将该模态的生物特征图像舍弃；
若该模态的生物特征图像的质量分数位于[Qmin，Qref)内，则该模态的比对阈值不变；
若该模态的生物特征图像的质量分数位于[Qref，Qmax]内，则该模态的比对阈值随着该模态的生物特征图像的质量分数的升高而提高；其计算公式为：
T＝Tmin+(Tmax-Tmin)*f((Q-Qref)/(QMax-Qref))
其中，Q∈[Qmin，Qmax]
Figure BDA0002702465180000061
进一步的，所述装置包括：
第一识别单元，用于将第一模态的生物特征图像与第一模态的生物特征模板进行识别，得到第一模态的比对分数，并判断第一模态的比对分数是否不小于第一模态的最低阈值，若是，执行第一调整单元，否则判断识别不通过。
第一调整单元，用于计算第二模态的生物特征图像的质量分数，并根据所述第二模态的生物特征图像的质量分数调整第二模态的比对阈值，其中，若第二模态的生物特征图像的质量分数越高，则第二模态的比对阈值越高。
第二识别单元，用于将第二模态的生物特征图像与第二模态的生物特征模板进行识别，得到第二模态的比对分数，并判断第二模态的比对分数是否不小于第二模态的最低阈值，若是，执行第一判断单元，否则判断识别不通过。
第一判断单元，用于判断是否同时满足第二模态的比对分数不小于调整后的第二模态的比对阈值且第二模态的生物特征图像的质量分数不小于第二模态的决策阈值，若同时满足，则判断识别通过，否则执行第一融合单元；
第一融合单元，用于将第一模态的比对分数和第二模态的比对分数融合得到第一融合分数，并判断所述第一融合分数是否小于第一融合分数阈值，若是，则判断识别不通过。
第二判断单元，用于若所述第一融合分数不小于第一融合分数阈值，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
进一步的，所述装置包括：
第三识别单元，用于将第一模态的生物特征图像与第一模态的生物特征模板进行识别，得到第一模态的比对分数，并判断第一模态的比对分数是否不小于第一模态的最低阈值，若是，执行第二调整单元，否则判断识别不通过。
第二调整单元，用于计算第二模态的生物特征图像的质量分数，并根据所述第二模态的生物特征图像的质量分数调整第二模态的比对阈值，其中，若第二模态的生物特征图像的质量分数越高，则第二模态的比对阈值越高。
第四识别单元，用于将第二模态的生物特征图像与第二模态的生物特征模板进行识别，得到第二模态的比对分数，并判断第二模态的比对分数是否不小于第二模态的最低阈值，若是，执行第三判断单元，否则判断识别不通过；
第三判断单元，用于判断是否同时满足第二模态的比对分数不小于调整后的第二模态的比对阈值且第二模态的生物特征图像的质量分数不小于第二模态的决策阈值，若同时满足，则判断识别通过，否则执行第二融合单元。
第二融合单元，用于将第一模态的比对分数和第二模态的比对分数融合得到第一融合分数，并判断所述第一融合分数是否不小于第一融合分数阈值，若是，则执行第三调整单元，否则判断识别不通过。
第三调整单元，计算第三模态的生物特征图像的质量分数，并根据所述第三模态的生物特征图像的质量分数调整第三模态的比对阈值，其中，若第三模态的生物特征图像的质量分数越高，则第三模态的比对阈值越高。
第五识别单元，用于将第三模态的生物特征图像与第三模态的生物特征模板进行识别，得到第三模态的比对分数，并判断第三模态的比对分数是否不小于第三模态的最低阈值，若是，执行第四判断单元，否则判断识别不通过。
第四判断单元，用于判断是否同时满足第三模态的比对分数不小于调整后的第三模态的比对阈值且第三模态的生物特征图像的质量分数不小于第三模态的决策阈值，若同时满足，则判断识别通过，否则执行第三融合单元。
第三融合单元，用于将第一模态的比对分数、第二模态的比对分数和第三模态的比对分数融合得到第二融合分数，并判断所述第二融合分数是否小于第二融合分数阈值，若是，则判断识别不通过；
第五判断单元，用于若所述第二融合分数不小于第二融合分数阈值，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
第三方面，本发明提供一种用于生物特征多模态融合识别的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的生物特征多模态融合识别方法的步骤。
第四方面，本发明提供一种用于生物特征多模态融合识别的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的生物特征多模态融合识别方法的步骤。
本发明具有以下有益效果：
本发明首先根据生物特征图像的质量分数高低，动态调整比对阈值，并且还利用生物特征图像的质量分数对识别结果进行辅助决策，同时结合比对分数融合，逐步增大身份认证的概率，提高生物识别身份识别的安全性和可靠性。
附图说明
图1为本发明的生物特征多模态融合识别方法的流程图；
图2为图1所述的生物特征多模态融合识别方法一个具体示例的流程图；
图3为图1所述的生物特征多模态融合识别方法另一个具体示例的流程图；
图4为本发明的生物特征多模态融合识别装置的示意图；
图5为图4所述的生物特征多模态融合识别装置一个具体示例的示意图；
图6为图4所述的生物特征多模态融合识别装置另一个具体示例的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明实施例提供了一种生物特征多模态融合识别方法，如图1所示，该方法包括：
S100：依次对每个模态的生物特征图像进行识别。
本步骤用于获取多个模态的生物特征图像，并按照时间顺序依次对每个模态的生物特征图像进行识别，即多模态识别。
S110：在当前模态的比对分数不小于当前模态的最低阈值时，根据后一模态的生物特征图像的质量分数调整后一模态的比对阈值。
某一模态的最低阈值为低于该模态正常识别通过时设置的阈值分数，例如，正常情况下大于等于70分则认为识别通过，本实施例中设置为最低阈值小于70分，例如最低阈值设置为60分，低于最低阈值直接判定为识别不通过，这样能够防止真正的用户由于环境、图像效用、晃动等因素导致的误判。
本发明在当前模态的比对分数不小于该模态的最低阈值时，计算后一模态的生物特征图像的质量分数，并根据后一模态的生物特征图像的质量分数调整后一模态的比对阈值。
对于任一模态，该模态的生物特征图像的质量分数越高，则该模态的比对阈值调整的越高。
本发明根据后续模态的生物特征图像的质量分数自适应调整比对阈值，根据质量分数高低，对应调整比对阈值的幅度，在多模态生物识别的过程中逐步增大身份认证的概率，提高生物识别身份识别的安全性和可靠性。
S120：当后一模态的比对分数不小于后一模态的最低阈值和调整后的后一模态的比对阈值，且后一模态的生物特征图像的质量分数不小于后一模态的决策阈值时，判断识别通过或进行后续模态的识别。
S130：当后一模态的比对分数不小于后一模态的最低阈值，且后一模态的比对分数小于后一模态调整后的比对阈值或后一模态的生物特征图像的质量分数小于后一模态的决策阈值时，将已识别的所有模态的比对分数融合得到融合分数。
S140：当融合分数不小于相应的融合分数阈值时，判断识别通过或进行后续模态的识别。
本步骤中，如果融合分数不小于相应的融合分数阈值，且不存在还未识别的模态，则判断识别通过，若还存在未识别的模态，则进行后续模态的识别。
本发明首先根据生物特征图像的质量分数高低，动态调整比对阈值，并且还利用生物特征图像的质量分数对识别结果进行辅助决策，同时结合比对分数融合，逐步增大身份认证的概率，提高生物识别身份识别的安全性和可靠性。
本发明中，对于任一模态，该模态的比对阈值通过如下方式调整：
将该模态的生物特征图像的质量分数分为三个区间段[0，Qmin)、[Qmin，Qref)、[Qref，Qmax]；其中，Qmin、Qref和Qmax分别为该模态的生物特征图像的最低质量分数、参考质量分数和最大质量分数。
最低质量分数分别Qmin对应于最低阈值Tmin，最大质量分数Qmax对应于最高阈值Tmax。
若该模态的生物特征图像的质量分数位于[0，Qmin)内，认为P2/P3的质量不过关，则可以将该模态的生物特征图像舍弃。
若该模态的生物特征图像的质量分数位于[Qmin，Qref)内，认为生物特征图像的质量处于不确定状态，则该模态的比对阈值不变，即不对该模态的比对阈值进行调整。
若该模态的生物特征图像的质量分数Q位于[Qref，Qmax]内，则该模态的比对阈值T随着该模态的生物特征图像的质量分数Q的升高而提高。
质量分数在[Qref，Qmax]之间时，认为生物特征图像的质量符合要求，随着生物特征图像增大，比对阈值也增大；
其计算公式为：
T＝Tmin+(Tmax-Tmin)*f((Q-Qref)/(QMax-Qref))
其中，Q∈[Qmin，Qmax]
Figure BDA0002702465180000121
本发明不限制多种模态的生物特征图像的种类，其可以包括人脸图像、指纹图像、虹膜图像和/或指静脉图像等。
基于一个具体示例，如图2所示，前述的方法包括：
S10：将第一模态的生物特征图像P1与第一模态的生物特征模板R1进行识别，得到第一模态的比对分数S1，并判断第一模态的比对分数S1是否不小于第一模态的最低阈值T1min，若是，执行S20，否则判断识别不通过。
P1为代表人类个体身份标识的生物特征图像，可包括人脸、指纹、虹膜、指静脉之一，可通过专用的图像采集设备的高清摄像头、指静脉采集头等对应采集这些生物特征图像。R1为模板库中预先存储的该用户的该种生物特征的注册模板。
在本步骤中，将获取的第一模态的生物特征图像P1与模板库中与预先存储的该用户的该种生物特征注册模板R1进行相似度比对，获得第一模态的比对分数S1。
第一模态的最低阈值T1min为低于P1正常识别通过时设置的阈值分数，例如，正常情况下S1大于等于70分则认为识别通过，本实施例中T1min小于70分，例如T1min设置为60分，这样能够防止真正的用户由于环境、图像效用、晃动等因素导致的误判。
当用户的第一模态的比对分数S1小于60分时，判断当前用户的生物特征图像匹配失败，识别不通过，否则继续执行步骤S20。
S20：计算第二模态的生物特征图像P2的质量分数Q2，并根据第二模态的生物特征图像的质量分数Q2调整第二模态的比对阈值T2，其中，若第二模态的生物特征图像的质量分数Q2越高，则第二模态的比对阈值T2越高，反之，如果Q2越低，则T2越低。
在本步骤中，当S1大于等于T1min时，需要进一步通过图像质量算法运算分析P2的质量分数Q2，并根据质量分数Q2相应的调整比对阈值T2。
S30：将第二模态的生物特征图像P2与第二模态的生物特征模板R2进行识别，得到第二模态的比对分数S2，并判断第二模态的比对分数S2是否不小于第二模态的最低阈值T2min，若是，执行S40，否则判断识别不通过。
在本步骤中，当第一模态的生物特征图像P1比对完成，并且根据第二模态的生物特征图像P2的质量分数Q2调整该生物特征的比对阈值T2后，将第二模态的生物特征图像P2与模板库中预先存储的该用户的生物特征注册模板R2进行相似度比对，获得比对分数S2。
第二模态的最低阈值T2min为低于P2正常识别通过时设置的阈值分数，例如，正常情况下S2大于等于80分则认为识别通过，本实施例中T2min小于80分，例如T2min为70分，这样设置能够防止真正的用户由于环境、图像效用、晃动等因素导致的误判。
当用户的第二模态的比对分数S2小于70分时，判断当前用户的生物特征图像匹配失败，否则继续执行步骤S40。
需要说明的是，T1min和T2min可以相同，也可以不同。例如，当P1为人脸图像，P2为虹膜图像时，T1min可以设置为60分，由于虹膜的比对精度较高，因此T2min可以大于T1min，例如将T2min设置为70分。
S40：判断是否同时满足第二模态的比对分数S2不小于调整后的第二模态的比对阈值T2且第二模态的生物特征图像的质量分数Q2不小于第二模态的决策阈值Q，若同时满足，则判断识别通过，否则执行S50。
本步骤中，当第二模态的比对分数S2大于等于第二模态的最低阈值T2min时，需要进一步判断第二模态的比对分数S2是否大于等于调整后的第二比对阈值T2，以防止误识别，如果大于等于，则进一步判断P2的质量分数Q2是否大于等于第二模态的决策阈值，该决策阈值为设置的质量分数阈值，如果大于等于，则判断识别通过。
判断P2的质量分数Q2是否大于等于Q的目的是判断根据Q2调整得到的第二比对阈值T2的可靠性，若果大于等于，则调整后的T2可靠，认为识别通过。
S50：将第一模态的比对分数S1和第二模态的比对分数S2融合得到第一融合分数S12，并判断第一融合分数是否小于第一融合分数阈值T12，若是，则判断识别不通过。
在本步骤中，将P1对应的比对分数S1和P2对应的比对分数S2进行融合，获得第一融合分数阈值T12。
在融合时，可以将S1和S2构建一个特征向量，之后将特征向量输入分类器中得到融合分数，其中，分类器可以是决策树分类器、神经网络、支持向量机、K最近邻分类器以及随机森林分类器等。
S60：若第一融合分数S12不小于第一融合分数阈值T12，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
基于另一个具体示例，如图3所示，前述的方法包括：
S10’：将第一模态的生物特征图像P1与第一模态的生物特征模板R1进行识别，得到第一模态的比对分数S1，并判断第一模态的比对分数S1是否不小于第一模态的最低阈值T1min，若是，执行S20’，否则判断识别不通过。
S20’：计算第二模态的生物特征图像P2的质量分数Q2，并根据第二模态的生物特征图像的质量分数Q2调整第二模态的比对阈值T2，其中，若第二模态的生物特征图像的质量分数Q2越高，则第二模态的比对阈值T2越高。
S30’：将第二模态的生物特征图像P2与第二模态的生物特征模板R2进行识别，得到第二模态的比对分数S2，并判断第二模态的比对分数S2是否不小于第二模态的最低阈值T2min，若是，执行S40’，否则判断识别不通过。
S40’：判断是否同时满足第二模态的比对分数S2不小于调整后的第二模态的比对阈值T2且第二模态的生物特征图像的质量分数Q2不小于第二模态的决策阈值QT2，若同时满足，则判断识别通过，否则执行S50’。
S50’：将第一模态的比对分数S1和第二模态的比对分数S2融合得到第一融合分数S12，并判断第一融合分数是否不小于第一融合分数阈值T12，若是，则执行S60’，否则判断识别不通过。
S60’：计算第三模态的生物特征图像P3的质量分数Q3，并根据第三模态的生物特征图像的质量分数Q3调整第三模态的比对阈值T3，其中，若第三模态的生物特征图像的质量分数Q3越高，则第三模态的比对阈值T3越高。
S70’：将第三模态的生物特征图像P3与第三模态的生物特征模板R3进行识别，得到第三比模态的对分数S3，并判断第三模态的比对分数S3是否不小于第三模态的最低阈值T3min，若是，执行S80’，否则判断识别不通过。
S80’：判断是否同时满足第三模态的比对分数S3不小于调整后的第三模态的比对阈值T3且第三的模态生物特征图像的质量分数Q3不小于第三模态的决策阈值QT3，若同时满足，则判断识别通过，否则执行S90’。
S90’：将第一模态的比对分数S1、第二模态的比对分数S2和第三模态的比对分数S3融合得到第二融合分数S123，并判断第二融合分数S123是否小于第二融合分数阈值T123，若是，则判断识别不通过。
S100’：若第二融合分数S123不小于第二融合分数阈值T123，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
实施例2：
本发明实施例提供了一种生物特征多模态融合识别装置，该装置包括：
多模态识别模块100，用于依次对每个模态的生物特征图像进行识别。
比对阈值调整模块110，用于在当前模态的比对分数不小于当前模态的最低阈值时，根据后一模态的生物特征图像的质量分数调整后一模态的比对阈值。
第一判断模块120，用于当后一模态的比对分数不小于后一模态的最低阈值和调整后的后一模态的比对阈值，且后一模态的生物特征图像的质量分数不小于后一模态的决策阈值时，判断识别通过或进行后续模态的识别。
第二判断模块130，用于当后一模态的比对分数不小于后一模态的最低阈值，且后一模态的比对分数小于后一模态调整后的比对阈值或后一模态的生物特征图像的质量分数小于后一模态的决策阈值时，将已识别的所有模态的比对分数融合得到融合分数。
融合模块140，用于当融合分数不小于相应的融合分数阈值时，判断识别通过或进行后续模态的识别。
本发明首先根据生物特征图像的质量分数高低，动态调整比对阈值，并且还利用生物特征图像的质量分数对识别结果进行辅助决策，同时结合比对分数融合，逐步增大身份认证的概率，提高生物识别身份识别的安全性和可靠性。
对于任一模态，其最低阈值低于该模态正常识别通过时的阈值。
而且，对于任一模态，该模态的生物特征图像的质量分数越高，则该模态的比对阈值调整的越高。
对于任一模态，该模态的比对阈值通过如下方式调整：
将该模态的生物特征图像的质量分数分为三个区间段[0，Qmin)、[Qmin，Qref)、[Qref，Qmax]；其中，Qmin、Qref和Qmax分别为该模态的生物特征图像的最低质量分数、参考质量分数和最大质量分数。
若该模态的生物特征图像的质量分数位于[0，Qmin)内，则将该模态的生物特征图像舍弃。
若该模态的生物特征图像的质量分数位于[Qmin，Qref)内，则该模态的比对阈值不变。
若该模态的生物特征图像的质量分数位于[Qref，Qmax]内，则该模态的比对阈值随着该模态的生物特征图像的质量分数的升高而提高。
基于一个具体是示例，如图5所示，前述的装置包括：
第一识别单元10，用于将第一模态的生物特征图像与第一模态的生物特征模板进行识别，得到第一模态的比对分数，并判断第一模态的比对分数是否不小于第一模态的最低阈值，若是，执行第一调整单元20，否则判断识别不通过。
第一调整单元20，用于计算第二模态的生物特征图像的质量分数，并根据所述第二模态的生物特征图像的质量分数调整第二模态的比对阈值，其中，若第二模态的生物特征图像的质量分数越高，则第二模态的比对阈值越高。
第二识别单元30，用于将第二模态的生物特征图像与第二模态的生物特征模板进行识别，得到第二模态的比对分数，并判断第二模态的比对分数是否不小于第二模态的最低阈值，若是，执行第一判断单元40，否则判断识别不通过。
第一判断单元40，用于判断是否同时满足第二模态的比对分数不小于调整后的第二模态的比对阈值且第二模态的生物特征图像的质量分数不小于第二模态的决策阈值，若同时满足，则判断识别通过，否则执行第一融合单元50；
第一融合单元50，用于将第一模态的比对分数和第二模态的比对分数融合得到第一融合分数，并判断所述第一融合分数是否小于第一融合分数阈值，若是，则判断识别不通过。
第二判断单元60，用于若所述第一融合分数不小于第一融合分数阈值，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
基于另一个具体是示例，如图6所示，前述的装置包括：
第三识别单元10’，用于将第一模态的生物特征图像与第一模态的生物特征模板进行识别，得到第一模态的比对分数，并判断第一模态的比对分数是否不小于第一模态的最低阈值，若是，执行第二调整单元20’，否则判断识别不通过。
第二调整单元20’，用于计算第二模态的生物特征图像的质量分数，并根据所述第二模态的生物特征图像的质量分数调整第二模态的比对阈值，其中，若第二模态的生物特征图像的质量分数越高，则第二模态的比对阈值越高。
第四识别单元30’，用于将第二模态的生物特征图像与第二模态的生物特征模板进行识别，得到第二模态的比对分数，并判断第二模态的比对分数是否不小于第二模态的最低阈值，若是，执行第三判断单元40’，否则判断识别不通过；
第三判断单元40’，用于判断是否同时满足第二模态的比对分数不小于调整后的第二模态的比对阈值且第二模态的生物特征图像的质量分数不小于第二模态的决策阈值，若同时满足，则判断识别通过，否则执行第二融合单元50’。
第二融合单元50’，用于将第一模态的比对分数和第二模态的比对分数融合得到第一融合分数，并判断所述第一融合分数是否不小于第一融合分数阈值，若是，则执行第三调整单元60’，否则判断识别不通过。
第三调整单元60’，计算第三模态的生物特征图像的质量分数，并根据所述第三模态的生物特征图像的质量分数调整第三模态的比对阈值，其中，若第三模态的生物特征图像的质量分数越高，则第三模态的比对阈值越高。
第五识别单元70’，用于将第三模态的生物特征图像与第三模态的生物特征模板进行识别，得到第三模态的比对分数，并判断第三模态的比对分数是否不小于第三模态的最低阈值，若是，执行第四判断单元80’，否则判断识别不通过。
第四判断单元80’，用于判断是否同时满足第三模态的比对分数不小于调整后的第三模态的比对阈值且第三模态的生物特征图像的质量分数不小于第三模态的决策阈值，若同时满足，则判断识别通过，否则执行第三融合单元90’。
第三融合单元90’，用于将第一模态的比对分数、第二模态的比对分数和第三模态的比对分数融合得到第二融合分数，并判断所述第二融合分数是否小于第二融合分数阈值，若是，则判断识别不通过；
第五判断单元100’，用于若所述第二融合分数不小于第二融合分数阈值，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
本发明不限制多种模态的生物特征图像的种类，其可以包括人脸图像、指纹图像、虹膜图像和/或指静脉图像。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。
实施例3：
本说明书提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于生物特征多模态融合识别的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的生物特征多模态融合识别方法的步骤。
本发明首先根据生物特征图像的质量分数高低，动态调整比对阈值，并且还利用生物特征图像的质量分数对识别结果进行辅助决策，同时结合比对分数融合，逐步增大身份认证的概率，提高生物识别身份识别的安全性和可靠性。
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
上述所述的装置根据方法实施例1的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。
实施例4：
本发明还提供一种用于生物特征多模态融合识别的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于生物特征多模态融合识别的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述生物特征多模态融合识别方法的步骤。
本发明首先根据生物特征图像的质量分数高低，动态调整比对阈值，并且还利用生物特征图像的质量分数对识别结果进行辅助决策，同时结合比对分数融合，逐步增大身份认证的概率，提高生物识别身份识别的安全性和可靠性。
上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。
需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种生物特征多模态融合识别方法，其特征在于，所述方法包括：
依次对每个模态的生物特征图像进行识别；
在当前模态的比对分数不小于当前模态的最低阈值时，根据后一模态的生物特征图像的质量分数调整后一模态的比对阈值；
当后一模态的比对分数不小于后一模态的最低阈值和调整后的后一模态的比对阈值，且后一模态的生物特征图像的质量分数不小于后一模态的决策阈值时，判断识别通过或进行后续模态的识别；
当后一模态的比对分数不小于后一模态的最低阈值，且后一模态的比对分数小于后一模态调整后的比对阈值或后一模态的生物特征图像的质量分数小于后一模态的决策阈值时，将已识别的所有模态的比对分数融合得到融合分数；
当融合分数不小于相应的融合分数阈值时，判断识别通过或进行后续模态的识别。
2.根据权利要求1所述的生物特征多模态融合识别方法，其特征在于，对于任一模态，其最低阈值低于该模态正常识别通过时的阈值。
3.根据权利要求1所述的生物特征多模态融合识别方法，其特征在于，对于任一模态，该模态的生物特征图像的质量分数越高，则该模态的比对阈值调整的越高。
4.根据权利要求3所述的生物特征多模态融合识别方法，其特征在于，对于任一模态，该模态的比对阈值通过如下方式调整：
将该模态的生物特征图像的质量分数分为三个区间段[0，Qmin)、[Qmin，Qref)、[Qref，Qmax]；其中，Qmin、Qref和Qmax分别为该模态的生物特征图像的最低质量分数、参考质量分数和最大质量分数；
若该模态的生物特征图像的质量分数位于[0，Qmin)内，则将该模态的生物特征图像舍弃；
若该模态的生物特征图像的质量分数位于[Qmin，Qref)内，则该模态的比对阈值不变；
若该模态的生物特征图像的质量分数位于[Qref，Qmax]内，则该模态的比对阈值随着该模态的生物特征图像的质量分数的升高而提高；其计算公式为：
T＝Tmin+(Tmax-Tmin)*f((Q-Qref)/(QMax-Qref))
其中，Q∈[Qmin，Qmax]
Figure FDA0002702465170000021
5.根据权利要求1-4任一所述的生物特征多模态融合识别方法，其特征在于，所述依次对每个模态的生物特征图像进行识别，包括：
将第一模态的生物特征图像与第一模态的生物特征模板进行识别，得到第一模态的比对分数，并判断第一模态的比对分数是否不小于第一模态的最低阈值，若是，执行下一步，否则判断识别不通过；
计算第二模态的生物特征图像的质量分数，并根据所述第二模态的生物特征图像的质量分数调整第二模态的比对阈值，其中，若第二模态的生物特征图像的质量分数越高，则第二模态的比对阈值越高；
将第二模态的生物特征图像与第二模态的生物特征模板进行识别，得到第二模态的比对分数，并判断第二模态的比对分数是否不小于第二模态的最低阈值，若是，执行下一步，否则判断识别不通过；
判断是否同时满足第二模态的比对分数不小于调整后的第二模态的比对阈值且第二模态的生物特征图像的质量分数不小于第二模态的决策阈值，若同时满足，则判断识别通过，否则执行下一步；
将第一模态的比对分数和第二模态的比对分数融合得到第一融合分数，并判断所述第一融合分数是否小于第一融合分数阈值，若是，则判断识别不通过；
若所述第一融合分数不小于第一融合分数阈值，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
6.根据权利要求1-4任一所述的生物特征多模态融合识别方法，其特征在于，所述依次对每个模态的生物特征图像进行识别，包括：
将第一模态的生物特征图像与第一模态的生物特征模板进行识别，得到第一模态的比对分数，并判断第一模态的比对分数是否不小于第一模态的最低阈值，若是，执行下一步，否则判断识别不通过；
计算第二模态的生物特征图像的质量分数，并根据所述第二模态的生物特征图像的质量分数调整第二模态的比对阈值，其中，若第二模态的生物特征图像的质量分数越高，则第二模态的比对阈值越高；
将第二模态的生物特征图像与第二模态的生物特征模板进行识别，得到第二模态的比对分数，并判断第二模态的比对分数是否不小于第二模态的最低阈值，若是，执行下一步，否则判断识别不通过；
判断是否同时满足第二模态的比对分数不小于调整后的第二模态的比对阈值且第二模态的生物特征图像的质量分数不小于第二模态的决策阈值，若同时满足，则判断识别通过，否则执行下一步；
将第一模态的比对分数和第二模态的比对分数融合得到第一融合分数，并判断所述第一融合分数是否不小于第一融合分数阈值，若是，则执行下一步，否则判断识别不通过；
计算第三模态的生物特征图像的质量分数，并根据所述第三模态的生物特征图像的质量分数调整第三模态的比对阈值，其中，若第三模态的生物特征图像的质量分数越高，则第三模态的比对阈值越高；
将第三模态的生物特征图像与第三模态的生物特征模板进行识别，得到第三模态的比对分数，并判断第三模态的比对分数是否不小于第三模态的最低阈值，若是，执行下一步，否则判断识别不通过；
判断是否同时满足第三模态的比对分数不小于调整后的第三模态的比对阈值且第三模态的生物特征图像的质量分数不小于第三模态的决策阈值，若同时满足，则判断识别通过，否则执行下一步；
将第一模态的比对分数、第二模态的比对分数和第三模态的比对分数融合得到第二融合分数，并判断所述第二融合分数是否小于第二融合分数阈值，若是，则判断识别不通过；
若所述第二融合分数不小于第二融合分数阈值，且不存在还未识别的模态，则判断识别通过，否则进行后续模态的识别。
7.一种生物特征多模态融合识别装置，其特征在于，所述装置包括：
多模态识别模块，用于依次对每个模态的生物特征图像进行识别；
比对阈值调整模块，用于在当前模态的比对分数不小于当前模态的最低阈值时，根据后一模态的生物特征图像的质量分数调整后一模态的比对阈值；
第一判断模块，用于当后一模态的比对分数不小于后一模态的最低阈值和调整后的后一模态的比对阈值，且后一模态的生物特征图像的质量分数不小于后一模态的决策阈值时，判断识别通过或进行后续模态的识别；
第二判断模块，用于当后一模态的比对分数不小于后一模态的最低阈值，且后一模态的比对分数小于后一模态调整后的比对阈值或后一模态的生物特征图像的质量分数小于后一模态的决策阈值时，将已识别的所有模态的比对分数融合得到融合分数；
融合模块，用于当融合分数不小于相应的融合分数阈值时，判断识别通过或进行后续模态的识别。
8.根据权利要求7所述的生物特征多模态融合识别装置，其特征在于，对于任一模态，该模态的生物特征图像的质量分数越高，则该模态的比对阈值调整的越高。
9.一种用于生物特征多模态融合识别的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-6任一所述生物特征多模态融合识别方法的步骤。
10.一种用于生物特征多模态融合识别的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-6中任意一项所述生物特征多模态融合识别方法的步骤。
CN202011027159.4A 2020-09-25 2020-09-25 生物特征多模态融合识别方法、装置、存储介质及设备 Pending CN114332905A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011027159.4A CN114332905A (zh) 2020-09-25 2020-09-25 生物特征多模态融合识别方法、装置、存储介质及设备
PCT/CN2021/120243 WO2022063219A1 (zh) 2020-09-25 2021-09-24 生物特征多模态融合识别方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011027159.4A CN114332905A (zh) 2020-09-25 2020-09-25 生物特征多模态融合识别方法、装置、存储介质及设备

Publications (1)

Publication Number Publication Date
CN114332905A true CN114332905A (zh) 2022-04-12

Family

ID=80846241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011027159.4A Pending CN114332905A (zh) 2020-09-25 2020-09-25 生物特征多模态融合识别方法、装置、存储介质及设备

Country Status (2)

Country Link
CN (1) CN114332905A (zh)
WO (1) WO2022063219A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863517A (zh) * 2022-04-22 2022-08-05 支付宝(杭州)信息技术有限公司 一种面部识别中的风险控制方法、装置以及设备
CN114863517B (zh) * 2022-04-22 2024-06-07 支付宝(杭州)信息技术有限公司 一种面部识别中的风险控制方法、装置以及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2523149B1 (en) * 2011-05-11 2023-01-11 Tata Consultancy Services Ltd. A method and system for association and decision fusion of multimodal inputs
KR101986241B1 (ko) * 2017-06-19 2019-09-30 한국인터넷진흥원 생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법
CN110197098A (zh) * 2018-02-26 2019-09-03 上海聚虹光电科技有限公司 基于人脸和虹膜特征的身份认证方法
CN109360197B (zh) * 2018-09-30 2021-07-09 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
CN109614881B (zh) * 2018-11-19 2021-04-27 中国地质大学（武汉） 可自适应调节阈值的生物识别认证方法、设备及存储设备
CN110335377B (zh) * 2019-05-24 2022-05-13 深圳绿米联创科技有限公司 指纹验证方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863517A (zh) * 2022-04-22 2022-08-05 支付宝(杭州)信息技术有限公司 一种面部识别中的风险控制方法、装置以及设备
CN114863517B (zh) * 2022-04-22 2024-06-07 支付宝(杭州)信息技术有限公司 一种面部识别中的风险控制方法、装置以及设备

Also Published As

Publication number Publication date
WO2022063219A1 (zh) 2022-03-31

Similar Documents

Publication Publication Date Title
JP6798798B2 (ja) ユーザ認証のためのデータを更新する方法及び装置
KR20170016231A (ko) 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
US9213886B2 (en) Method and device for notification of facial recognition environment, and computer-readable recording medium for executing method
US9208375B2 (en) Face recognition mechanism
Gunasekaran et al. Deep multimodal biometric recognition using contourlet derivative weighted rank fusion with human face, fingerprint and iris images
US9563821B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
US10922399B2 (en) Authentication verification using soft biometric traits
KR102427853B1 (ko) 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
CN111292092A (zh) 刷脸支付方法、装置及电子设备
CN111160251B (zh) 一种活体识别方法及装置
CN114519898A (zh) 生物特征多模态融合识别方法、装置、存储介质及设备
CN114783070A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
KR100467152B1 (ko) 얼굴인식시스템에서 개인 인증 방법
KR102253757B1 (ko) 얼굴 영상의 생체 감지 장치 및 방법
CN113822308B (zh) 多模态生物识别的比对分数融合方法、装置、介质及设备
CN114332905A (zh) 生物特征多模态融合识别方法、装置、存储介质及设备
CN111753583A (zh) 一种识别方法及装置
CN114529732A (zh) 生物特征多模态融合识别方法、装置、存储介质及设备
KR101240901B1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN114596638A (zh) 人脸活体检测方法、装置及存储介质
Nigam et al. Finger knuckle-based multi-biometric authentication systems
Nguyen et al. User re-identification using clothing information for smartphones
Gnanasivam et al. Ear and fingerprint biometrics for personal identification
CN113361554B (zh) 生物特征识别多模态融合方法、装置、存储介质及设备
CN117155583B (zh) 非完整信息深度融合的多模态身份认证方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination