CN112989299A - 一种交互式身份识别方法、系统、设备及介质 - Google Patents

一种交互式身份识别方法、系统、设备及介质 Download PDF

Info

Publication number
CN112989299A
CN112989299A CN202110267859.9A CN202110267859A CN112989299A CN 112989299 A CN112989299 A CN 112989299A CN 202110267859 A CN202110267859 A CN 202110267859A CN 112989299 A CN112989299 A CN 112989299A
Authority
CN
China
Prior art keywords
detected
authentication
target image
identity
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110267859.9A
Other languages
English (en)
Inventor
张泽宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Original Assignee
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd filed Critical Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority to CN202110267859.9A priority Critical patent/CN112989299A/zh
Publication of CN112989299A publication Critical patent/CN112989299A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明提供一种交互式身份识别方法、系统、设备及介质，通过对单帧或多帧目标图像进行检测；若目标图像中存在待检测对象，则判断目标图像是否还存在人脸，并在目标图像存在人脸时，对符合目标条件的目标图像进行人脸识别认证，确定待检测对象的身份；以及在目标图像不存在人脸，或存在人脸的目标图像不符合目标条件时，利用实时或预先生成的认证材料对待检测对象进行交互认证，确定待检测对象的身份；若目标图像中不存在待检测对象，则结束身份识别。本发明整合了语音与知识库等多种形势的信息，在进行身份识别时更加准确、智能和不容易被攻击。同时，本发明问答对与语音结合的方式进行交互验证，使身份识别结果的可信度更高。

Description

一种交互式身份识别方法、系统、设备及介质
技术领域
本发明涉及图像识别技术领域，特别是涉及一种交互式身份识别方法、系统、设备及介质。
背景技术
在许多场合都需要进行身份识别，比如公司门禁、信贷审核等。进行身份识别的传统方法一般是本人携带相关证件，比如身份证或者工牌等，然后由人工进行审核；这种方法识别速度比较慢，并且需要投入更多的人力。而目前现有的只基于人脸的身份识别系统存在易受光线亮度、拍照角度以及部分遮挡等问题的影响，且还可能被视频照片等“假脸”攻击。因此，使用纯人脸识别算法的方法在实际场景中仍然有一些不可靠的因素。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种交互式身份识别方法、系统、设备及介质，用于解决现有技术中身份识别存在的问题。
为实现上述目的及其他相关目的，本发明提供一种交互式身份识别方法，包括以下步骤：
获取目标图像，所述目标图像至少包括有待检测对象；
对所述待检测对象进行人脸识别，确定所述待检测对象的身份；
若无法识别，或者识别结果不符合目标条件时，对所述待检测对象进行交互认证，确定所述待检测对象的身份。
可选地，若所述目标图像不存在人脸，或存在人脸的目标图像不符合目标条件，则获取所述待检测对象在当前时刻提供的第一认证信息，并根据所述第一认证信息判断所述待检测对象在预设知识库中是否存在注册信息；
若所述预设知识库中存在所述待检测对象的注册信息，则基于所述待检测对象的注册信息随机生成一个或多个问答对，并将所述一个或多个问答对作为认证材料；以及利用所述认证材料对所述待检测对象进行交互认证，在所述待检测对象通过认证后，将所述认证材料对应的身份信息作为所述待检测对象的身份信息，完成对所述待检测对象的身份识别；其中，所述问答对包括一个或多个问题、以及与所述一个或多个问题对应的答案；
若所述预设知识库中不存在所述待检测对象的注册信息，则结束对所述待检测对象的身份识别。
可选地，在生成所述认证材料后，以文字和/或音频方式输出所述认证材料中的一个或多个问题，并获取所述待检测对象针对所述一个或多个问题回答的第二认证信息；
将所述待检测对象回答的第二认证信息与所述认证材料中的答案进行比对，若所述第二认证信息与对应的答案完全匹配，则将所述认证材料对应的身份信息作为所述待检测对象的身份信息；若所述第二认证信息与所述认证材料中的答案不完全匹配，则结束对所述待检测对象的身份识别。
可选地，所述第一认证信息包括以下至少之一：文字、音频、视频；
和/或，所述第二认证信息包括以下至少之一：文字、音频、视频。
可选地，还包括利用YOLO和/或faster rcnn检测网络对所述目标图像进行检测，确定所述目标图像是否存在待检测对象；
和/或，在所述目标图像存在人脸时，还包括利用Retinaface和/或MTCNN检测网络对所述人脸进行质量评估，获取所述目标图像的质量分；
若所述目标图像的图像质量分未超过预设阈值，则该目标图像不符合所述目标条件。
本发明还提供一种交互式身份识别系统，包括有：
图像检测模块，用于对单帧或多帧目标图像进行检测，确定所述目标图像中是否存在待检测对象和/或人脸；若检测出所述目标图像中不存在待检测对象，则结束身份识别；
人脸识别认证模块，用于在所述目标图像存在待检测对象和人脸时，对符合目标条件的目标图像进行人脸识别认证，确定所述待检测对象的身份；
交互认证模块，用于在所述目标图像不存在人脸，或存在人脸的目标图像不符合目标条件时，对所述待检测对象进行交互认证，确定所述待检测对象的身份。
可选地，若所述目标图像不存在人脸，或存在人脸的目标图像不符合目标条件，则由所述交互认证模块获取所述待检测对象在当前时刻提供的第一认证信息，并根据所述第一认证信息判断所述待检测对象在预设知识库中是否存在注册信息；
若所述预设知识库中存在所述待检测对象的注册信息，则基于所述待检测对象的注册信息随机生成一个或多个问答对，并将所述一个或多个问答对作为认证材料；以及利用所述认证材料对所述待检测对象进行交互认证，在所述待检测对象通过认证后，将所述认证材料对应的身份信息作为所述待检测对象的身份信息，完成对所述待检测对象的身份识别；其中，所述问答对包括一个或多个问题、以及与所述一个或多个问题对应的答案；
若所述预设知识库中不存在所述待检测对象的注册信息，则结束对所述待检测对象的身份识别。
可选地，还包括在生成所述认证材料后，利用人机交互设备以文字和/或音频方式输出所述认证材料中的一个或多个问题，并通过所述人机交互设备获取所述待检测对象针对所述一个或多个问题回答的第二认证信息；
将所述待检测对象回答的第二认证信息与所述认证材料中的答案进行比对，若所述第二认证信息与对应的答案完全匹配，则将所述认证材料对应的身份信息作为所述待检测对象的身份信息；若所述第二认证信息与所述认证材料中的答案不完全匹配，则结束对所述待检测对象的身份识别。
本发明还提供一种交互式身份识别设备，包括有：
图像采集单元，用于采集一个或多个场景下的单帧或多帧目标图像；
图像检测单元，用于检测所述单帧或多帧目标图像，确定所述目标图像中是否存在待检测对象和/或人脸；若检测出所述目标图像中不存在待检测对象，则结束身份识别；
人脸识别认证单元，用于在所述目标图像存在待检测对象和人脸时，对符合目标条件的目标图像进行人脸识别认证，确定所述待检测对象的身份；
交互认证单元，用于在所述目标图像不存在人脸，或存在人脸的目标图像不符合目标条件时，对所述待检测对象进行交互认证，确定所述待检测对象的身份。
本发明还提供一种人机交互设备，应用于上述中的任一系统，包括有：
发射器，用于通过文字、音频和/或视频输出一个或多个问题；
接收器，用于接收所述待检测对象提供的第一认证信息，以及接收待检测对象输入的第二认证信息；所述第一认证信息包括以下至少之一：文字、音频、视频，所述第二认证信息包括所述待检测对象针对所述一个或多个问题回答的文字、音频和/或视频。
本发明还提供一种计算机设备，包括：
一个或多个处理器；和
存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。
本发明还提供一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。
如上所述，本发明提供一种交互式身份识别方法、系统、设备及介质，具有以下有益效果：通过对单帧或多帧目标图像进行检测；若目标图像中存在待检测对象，则判断目标图像是否还存在人脸，并在目标图像存在人脸时，对质量分超过预设阈值的目标图像进行人脸识别认证，确定待检测对象的身份；以及在目标图像不存在人脸，或存在人脸的目标图像的质量分低于预设阈值时，利用实时或预先生成的认证材料对待检测对象进行交互认证，确定待检测对象的身份；若目标图像中不存在待检测对象，则结束身份识别。本发明针对现有技术存在的问题，设计了一种基于多模态知识融合的进行身份识别的技术方案，不仅可以解决人脸识别技术在拍摄角度不同或者有遮挡等无法得到高质量人脸图像的场景下不能准确地进行身份识别的问题；而且本发明还整合了语音与知识库等多种形势的信息，在进行身份识别时更加准确、智能和不容易被攻击。同时，本发明将人脸和知识库等多模态信息综合起来用于身份验证，不仅解决了在进行身份识别时，“攻击”对象使用视频、照片等假脸方式进行假脸“攻击”时无法准确进行身份识别的问题，而且还能够提高身份识别结果的稳定性。并且，本发明基于知识库产生问答对，以及结合语音方式进行交互验证，使得身份识别结果的可信度更高。
附图说明
图1为一实施例提供的交互式身份识别方法流程示意图；
图2为一实施例提供的语音交互验证的原理示意图；
图3为一实施例提供的人机交互设备的硬件结构示意图；
图4为另一实施例提供的交互式身份识别方法流程示意图；
图5为一实施例提供的交互式身份识别系统的硬件结构示意图；
图6为一实施例提供的交互式身份识别设备的硬件结构示意图；
图7为一实施例提供的终端设备的硬件结构示意图；
图8为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10 图像检测模块
M20 人脸识别认证模块
M30 交互认证模块
D10 图像采集单元
D20 图像检测单元
D30 人脸识别认证单元
D40 交互认证单元
100 发射器
200 接收器
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 音频组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
知识库，是指包括待验证个体的各种属性信息和个体之间关系的数据库。
问答对(或问答对QA)，指的是一个问题和对应回答的组合；其中问答对QA的问题用于对待识别或待检测的人进行提问，问答对QA的答案用于验证待检测对象根据问答对QA的问题所做出的回答。
请参阅图1所示，本发明提供一种交互式身份识别方法，包括以下步骤：
S100，对单帧或多帧目标图像进行检测；其中，目标图像来源于目标场景或目标场合下监控摄像头拍摄的视频或图像，或者从监控视频中截取的帧图像。目标场景或目标场合可以根据实际情况进行确定，例如公司门禁场景或场合、小区门禁场景或场合、信贷审核场景或场合等。
S100-1，若目标图像中存在待检测对象，则判断目标图像是否还存在人脸，并在目标图像存在人脸时，对质量分超过预设阈值的目标图像进行人脸识别认证，确定待检测对象的身份；以及在目标图像不存在人脸，或存在人脸的目标图像的质量分低于预设阈值时，利用从知识库中实时或预先生成的认证材料对待检测对象进行交互认证，确定待检测对象的身份；
S100-2，若目标图像中不存在待检测对象，则结束身份识别。
本方法针对现有技术存在的问题，设计了一种基于多模态知识融合的进行身份识别的技术方案，不仅可以解决人脸识别技术在拍摄角度不同或者有遮挡等无法得到高质量人脸图像的场景下不能准确地进行身份识别的问题；而且本方法还整合了语音与知识库等多种形势的信息，在进行身份识别时更加准确、智能和不容易被攻击。同时，本方法将人脸和知识库等多模态信息综合起来用于身份验证，不仅解决了在进行身份识别时，“攻击”对象使用视频、照片等假脸方式进行假脸“攻击”时无法准确进行身份识别的问题，而且还能够提高身份识别结果的稳定性。并且，本方法基于知识库产生问答对，以及结合语音方式进行交互验证，使得身份识别结果的可信度更高。本申请中的待检测对象根据应用环境或应用场景的不同，其检测对象的身份也不同；例如，在公司门禁中进行身份识别时，待检测对象可以是公司人员或者访问公司的客户等；在信贷审核中进行身份识别时，待检测对象可以是借款人员或放款人员等。
在一示例性实施例中，若目标图像不存在人脸，或存在人脸的目标图像的质量分低于预设阈值时，则获取待检测对象在当前时刻提供的第一认证信息，并根据该第一认证信息判断待检测对象在预设知识库中是否存在注册信息。若预设知识库中存在待检测对象的注册信息，则基于待检测对象的注册信息随机生成一个或多个问答对，并将一个或多个问答对作为认证材料；以及利用认证材料与待检测对象进行交互认证，在待检测对象通过认证后，将认证材料对应的身份信息作为待检测对象的身份信息，完成对待检测对象的身份识别；其中，问答对包括问题与对应的答案。若预设知识库中未注册待检测对象的身份信息，则结束对待检测对象的身份识别。具体地，在生成认证材料后，本申请实施例可以以文字和/或音频方式输出认证材料中的一个或多个问题，并获取待检测对象回答的文字和/或音频信息；将文字和/或音频信息与对应的答案进行比对，若文字和/或音频信息与对应的答案完全匹配，则将认证材料对应的身份信息作为待检测对象的身份信息；若文字和/或音频信息与认证材料中的答案不完全匹配，则结束对待检测对象的身份识别。例如认证材料可以是根据知识库中待检测人员预先注册的信息而随机生成一个或多个问答对QA。其中，第一认证信息包括但不限于：文字、音频和/或视频等。
作为一示例，在公司门禁进行人员身份识别时，若目标图像不存在人脸时，则通过人机交互设备获取待检测人员在当前时刻以文字、音频和/或视频提供的自我介绍信息，并根据待检测人员在当前时刻提供的自我介绍信息判断待检测人员是否在预设的知识库中存在注册信息，如果预设的知识库中不存在待检测人员的注册信息，则认为待检测人员的身份验证失败，认定待检测人员非该公司的人员。如果预设的知识库中存在待检测人员的注册信息，则根据待检测人员的注册信息随机生成一个或多个问答对QA，然后利用生成的一个或多个问答对QA与待检测人员进行语音交互，对待检测人员进行身份识别。例如，根据待检测人员注册信息中的姓名、家庭住址、电话号码、工作岗位等属性信息来生成关于姓名和家庭住址的问答对QA，然后以语音方式输出问答对QA中的一个或多个问题，并获取待检测人员针对问答对QA中的问题所回答的音频信息；将获取的音频信息与问答对QA中问题所对应的答案进行比对，若获取的待检测人员回答的音频信息与问答对QA中问题所对应的答案完全匹配，则认为该待检测人员通过身份认证，属于该公司的人员；此时将问答对QA对应的身份信息作为该待检测人员的身份信息；若获取的音频信息与认证材料中的答案不完全匹配，则认为该待检测人员未通过身份认证，不属于该公司的人员，并结束对该待检测人员的身份识别。其中，语音交互验证的原理如图2所示。本申请实施例中的人机交互设备，包括有：发射器，用于以文字和/或音频方式输出实时或预先生成一个或多个问题；接收器，用于接收待检测对象输入的文字和/或音频信息；所述文字和/或音频信息包括所述待检测对象针对所述一个或多个问题回答的文字和/或音频信息。例如，本申请实施例可以将手机作为人机交互设备、PAD终端设备作为人机交互式设备、监控摄像头作为人机交互设备等；人机交互设备的结构示意图如图3所示。本实施例中的自我介绍信息即为一些实施例中的第一认证信息。
作为另一示例，在公司门禁进行人员身份识别时，若存在人脸的目标图像的质量分低于预设阈值时，则通过人机交互设备获取待检测人员在当前时刻以文字、音频和/或视频提供的自我介绍信息，并根据待检测人员在当前时刻提供的自我介绍信息判断待检测人员是否在预设的知识库中存在注册信息，如果预设的知识库中不存在待检测人员的注册信息，则认为待检测人员的身份验证失败，认定待检测人员非该公司的人员。如果预设的知识库中存在待检测人员的注册信息，则根据待检测人员的注册信息随机生成一个或多个问答对QA，然后利用生成的一个或多个问答对QA与待检测人员进行文本交互，对待检测人员进行身份识别。例如，根据待检测人员注册信息中的姓名、家庭住址、电话号码、工作岗位等属性信息来生成关于姓名和家庭住址的问答对QA，然后以文本方式输出问答对QA中的一个或多个问题，并获取待检测人员针对问答对QA中的问题所回答的文本信息；将获取的文本信息与问答对QA中问题所对应的答案进行比对，若获取的待检测人员回答的文本信息与问答对QA中问题所对应的答案完全匹配，则认为该待检测人员通过身份认证，属于该公司的人员；此时将问答对QA对应的身份信息作为该待检测人员的身份信息；若获取的文本信息与认证材料中的答案不完全匹配，则认为该待检测人员未通过身份认证，不属于该公司的人员，并结束对该待检测人员的身份识别。本申请实施例中的人机交互设备，包括有：发射器，用于通过文字、音频和/或视频来输出实时或预先生成的一个或多个问题；接收器，用于接收待检测对象输入的第二认证信息，以及接收待检测对象提供的第一认证信息；第一认证信息包括以下至少之一：文字、音频、视频，第二认证信息包括待检测对象针对实时或预先生成的一个或多个问题所回答出的文字、音频和/或视频。例如，本申请实施例可以将手机作为人机交互设备、PAD终端设备作为人机交互式设备、监控摄像头作为人机交互设备等；人机交互设备的结构示意图如图3所示。本实施例中的自我介绍信息即为一些实施例中的第一认证信息。
根据上述记载，在一示例性实施例中，可以利用YOLO和/或faster rcnn检测网络对目标图像进行检测，确定目标图像是否存在待检测对象。通过检测目标图像是否存在待检测对象，可以判断是否还需要进行身份识别，若目标图像中不存在待检测对象，则不需要再进行身份识别，若目标图像中存在待检测对象，则对待检测对象进行身份识别。和/或，在目标图像存在人脸时，还可以利用Retinaface和/或MTCNN(Multi-task Convolutionalneural networks)检测网络对人脸进行质量评估，获取目标图像的质量分。通过Retinaface和/或MTCNN检测网络目标图像进行人脸检测，不仅可以判断目标图像是否存在人脸，还可以在目标图像存在人脸时得到人脸图像质量分后；并且根据图像质量分可以判断出目标图像中人脸的质量，从而方便本申请实施例确定是利用人脸图像直接进行身份识别还是利用文字和/或语音验证方式进行身份识别，所以本申请实施例可以将人脸和知识库等多模态信息综合起来用于身份验证，能够提高身份识别结果的稳定性。
如图2至图4所示，本方法提供一种在公司门禁场景下对待检测人员进行交互式身份识别的具体实施过程，包括有：
采集公司门前的监控摄像头拍摄的视频或图像，利用YOLO和/或faster rcnn检测网络对监控摄像头拍摄的图像或从拍摄的视频中截取的帧图像进行行人检测，判断监控摄像头拍摄的视频或图像是否存在行人。如果检测到有行人，则进行下一步；如果没有检测到行人，则结束对当前次视频或图像的身份识别，并在1～2秒后重新进行行人检测。
如果监控摄像头内的视频或图像存在行人，则利用Retinaface和/或MTCNN检测网络对当前的行人图像进行人脸检测，确定当前的行人图像是否存在人脸；并在检测到当前行人的人脸时，对当前人脸图像进行质量评估，获取当前人脸图像的质量分，并判断当前行人图像是否可以用于进行高置信度的人脸识别。如果当前行人图像的质量分高于预设的分数阈值，例如当前行人图像的质量分高于0.7，则认为当前行人图像可以用于进行人脸识别，则利用人脸识别认证的方法对当前行人图像进行身份识别；如果当前行人图像不存在人脸，或者当前行人图像的质量分低于预设的分数阈值，例如当前行人图像的质量分低于0.7，则认为当前行人图像不可以用于进行人脸识别，则基于知识库的交互式语音验证。
获取当前行人在当前时刻以文字、音频和/或视频提供的自我介绍信息，并根据当前行人在当前时刻提供的自我介绍信息判断当前行人是否在预设的知识库中存在注册信息，如果预设的知识库中不存在当前行人的注册信息，则对当前行人的身份验证失败，认定当前行人非该公司的人员。如果预设的知识库中存在当前行人的注册信息，则根据当前行人的注册信息随机实时生成一个或多个问答对QA，然后利用生成的一个或多个问答对QA与当前行人进行语音交互，对当前行人进行身份识别。例如，根据当前行人注册信息中的姓名、家庭住址、电话号码、工作岗位等属性信息来生成关于姓名和家庭住址的问答对QA，然后利用监控摄像头以语音方式输出问答对QA中的一个或多个问题，并利用监控摄像头获取当前行人针对问答对QA中的问题所回答的音频信息；将获取的音频信息与问答对QA中问题所对应的答案进行比对，若获取的当前行人回答的音频信息与问答对QA中问题所对应的答案完全匹配，则认为该当前行人通过身份认证，属于该公司的人员；此时将问答对QA对应的身份信息作为该当前行人的身份信息；若获取的音频信息与认证材料中的答案不完全匹配，则认为该当前行人未通过身份认证，不属于该公司的人员，并结束对该当前行人的身份识别。其中，语音交互验证的原理如图2所示。本实施例中的自我介绍信息即为一些实施例中的第一认证信息。
本申请实施例可以将人脸和知识库等多模态信息综合起来用于身份验证，不仅能够解决“攻击”对象使用视频、照片等假脸方式进行假脸“攻击”时无法准确进行身份识别的问题；而且还可以提高身份识别结果的稳定性；同时本申请实施例基于知识库产生问答对，并且通过语音方式进行交互验证，使得身份识别结果的可信度更高。
综上所述，本方法针对现有技术存在的问题，设计了一种基于多模态知识融合的进行身份识别的技术方案，首先对单帧或多帧目标图像进行检测；若目标图像中存在待检测对象，则判断目标图像是否还存在人脸，并在目标图像存在人脸时，对质量分超过预设阈值的目标图像进行人脸识别认证，确定待检测对象的身份；以及在目标图像不存在人脸，或存在人脸的目标图像的质量分低于预设阈值时，利用从知识库中实时或预先生成的认证材料对待检测对象进行交互认证，确定待检测对象的身份；若目标图像中不存在待检测对象，则结束身份识别。本方法不仅可以解决人脸识别技术在拍摄角度不同或者有遮挡等无法得到高质量人脸图像的场景下不能准确地进行身份识别的问题；而且本方法还整合了语音与知识库等多种形势的信息，在进行身份识别时更加准确、智能和不容易被攻击。同时，本方法将人脸和知识库等多模态信息综合起来用于身份验证，不仅解决了在进行身份识别时，“攻击”对象使用视频、照片等假脸方式进行假脸“攻击”时无法准确进行身份识别的问题，而且还能够提高身份识别结果的稳定性。并且，本方法基于知识库产生问答对，以及结合语音方式进行交互验证，使得身份识别结果的可信度更高。其中，该交互式身份识别方法可以应用或设置在监控摄像头中。
如图5所示，本发明还提供一种交互式身份识别系统，包括有：
图像检测模块M10，用于对单帧或多帧目标图像进行检测，确定目标图像中是否存在待检测对象和/或人脸；若检测出目标图像中不存在待检测对象，则结束身份识别；
人脸识别认证模块M20，用于在目标图像存在待检测对象和人脸时，对质量分超过预设阈值的目标图像进行人脸识别认证，确定待检测对象的身份；
交互认证模块M30，用于在目标图像不存在人脸，或存在人脸的目标图像的质量分低于预设阈值时，利用实时或预先生成的认证材料对待检测对象进行交互认证，确定待检测对象的身份。
本系统针对现有技术存在的问题，设计了一种基于多模态知识融合的进行身份识别的技术方案，不仅可以解决人脸识别技术在拍摄角度不同或者有遮挡等无法得到高质量人脸图像的场景下不能准确地进行身份识别的问题；而且本系统还整合了语音与知识库等多种形势的信息，在进行身份识别时更加准确、智能和不容易被攻击。同时，本系统将人脸和知识库等多模态信息综合起来用于身份验证，不仅解决了在进行身份识别时，“攻击”对象使用视频、照片等假脸方式进行假脸“攻击”时无法准确进行身份识别的问题，而且还能够提高身份识别结果的稳定性。并且，本系统基于知识库产生问答对，以及结合语音方式进行交互验证，使得身份识别结果的可信度更高。本申请中的待检测对象根据应用环境或应用场景的不同，其检测对象的身份也不同；例如，在公司门禁中进行身份识别时，待检测对象可以是公司人员或者访问公司的客户等；在信贷审核中进行身份识别时，待检测对象可以是借款人员或放款人员等。
在一示例性实施例中，若目标图像不存在人脸，或存在人脸的目标图像的质量分低于预设阈值时，则获取待检测对象在当前时刻提供的第一认证信息，并根据该第一认证信息判断待检测对象在预设知识库中是否存在注册信息。若预设知识库中存在待检测对象的注册信息，则基于待检测对象的注册信息随机生成一个或多个问答对，并将一个或多个问答对作为认证材料；以及利用认证材料与待检测对象进行交互认证，在待检测对象通过认证后，将认证材料对应的身份信息作为待检测对象的身份信息，完成对待检测对象的身份识别；其中，问答对包括问题与对应的答案。若预设知识库中未注册待检测对象的身份信息，则结束对待检测对象的身份识别。具体地，在生成认证材料后，本申请实施例可以以文字和/或音频方式输出认证材料中的一个或多个问题，并获取待检测对象回答的文字和/或音频信息；将文字和/或音频信息与对应的答案进行比对，若文字和/或音频信息与对应的答案完全匹配，则将认证材料对应的身份信息作为待检测对象的身份信息；若文字和/或音频信息与认证材料中的答案不完全匹配，则结束对待检测对象的身份识别。例如认证材料可以是根据知识库中待检测人员预先注册的信息而随机生成一个或多个问答对QA。其中，第一认证信息包括但不限于：文字、音频和/或视频等。
作为一示例，在公司门禁进行人员身份识别时，若目标图像不存在人脸时，则通过人机交互设备获取待检测人员在当前时刻以文字、音频和/或视频提供的自我介绍信息，并根据待检测人员在当前时刻提供的自我介绍信息判断待检测人员是否在预设的知识库中存在注册信息，如果预设的知识库中不存在待检测人员的注册信息，则认为待检测人员的身份验证失败，认定待检测人员非该公司的人员。如果预设的知识库中存在待检测人员的注册信息，则根据待检测人员的注册信息随机生成一个或多个问答对QA，然后利用生成的一个或多个问答对QA与待检测人员进行语音交互，对待检测人员进行身份识别。例如，根据待检测人员注册信息中的姓名、家庭住址、电话号码、工作岗位等属性信息来生成关于姓名和家庭住址的问答对QA，然后以语音方式输出问答对QA中的一个或多个问题，并获取待检测人员针对问答对QA中的问题所回答的音频信息；将获取的音频信息与问答对QA中问题所对应的答案进行比对，若获取的待检测人员回答的音频信息与问答对QA中问题所对应的答案完全匹配，则认为该待检测人员通过身份认证，属于该公司的人员；此时将问答对QA对应的身份信息作为该待检测人员的身份信息；若获取的音频信息与认证材料中的答案不完全匹配，则认为该待检测人员未通过身份认证，不属于该公司的人员，并结束对该待检测人员的身份识别。其中，语音交互验证的原理如图2所示。本申请实施例中的人机交互设备，包括有：发射器，用于通过文字、音频和/或视频来输出实时或预先生成的一个或多个问题；接收器，用于接收待检测对象输入的第二认证信息，以及接收待检测对象提供的第一认证信息；第一认证信息包括以下至少之一：文字、音频、视频，第二认证信息包括待检测对象针对实时或预先生成的一个或多个问题所回答出的文字、音频和/或视频。例如，本申请实施例可以将手机作为人机交互设备、PAD终端设备作为人机交互式设备、监控摄像头作为人机交互设备等；人机交互设备的结构示意图如图3所示。本实施例中的自我介绍信息即为一些实施例中的第一认证信息。
作为另一示例，在公司门禁进行人员身份识别时，若存在人脸的目标图像的质量分低于预设阈值时，则通过人机交互设备获取待检测人员在当前时刻以文字、音频和/或视频提供的自我介绍信息，并根据待检测人员在当前时刻提供的自我介绍信息判断待检测人员是否在预设的知识库中存在注册信息，如果预设的知识库中不存在待检测人员的注册信息，则认为待检测人员的身份验证失败，认定待检测人员非该公司的人员。如果预设的知识库中存在待检测人员的注册信息，则根据待检测人员的注册信息随机生成一个或多个问答对QA，然后利用生成的一个或多个问答对QA与待检测人员进行文本交互，对待检测人员进行身份识别。例如，根据待检测人员注册信息中的姓名、家庭住址、电话号码、工作岗位等属性信息来生成关于姓名和家庭住址的问答对QA，然后以文本方式输出问答对QA中的一个或多个问题，并获取待检测人员针对问答对QA中的问题所回答的文本信息；将获取的文本信息与问答对QA中问题所对应的答案进行比对，若获取的待检测人员回答的文本信息与问答对QA中问题所对应的答案完全匹配，则认为该待检测人员通过身份认证，属于该公司的人员；此时将问答对QA对应的身份信息作为该待检测人员的身份信息；若获取的文本信息与认证材料中的答案不完全匹配，则认为该待检测人员未通过身份认证，不属于该公司的人员，并结束对该待检测人员的身份识别。本申请实施例中的人机交互设备，包括有：发射器，用于通过文字、音频和/或视频来输出实时或预先生成的一个或多个问题；接收器，用于接收待检测对象输入的文第二认证信息，以及接收待检测对象提供的第一认证信息；所述第一认证信息包括以下至少之一：文字、音频、视频，所述第二认证信息包括所述待检测对象针对所述一个或多个问题回答的文字、音频和/或视频。例如，本申请实施例可以将手机作为人机交互设备、PAD终端设备作为人机交互式设备、监控摄像头作为人机交互设备等；人机交互设备的结构示意图如图3所示。本实施例中的自我介绍信息即为一些实施例中的第一认证信息。
根据上述记载，在一示例性实施例中，可以利用YOLO和/或faster rcnn检测网络对目标图像进行检测，确定目标图像是否存在待检测对象。通过检测目标图像是否存在待检测对象，可以判断是否还需要进行身份识别，若目标图像中不存在待检测对象，则不需要再进行身份识别，若目标图像中存在待检测对象，则对待检测对象进行身份识别。和/或，在目标图像存在人脸时，还可以利用Retinaface和/或MTCNN(Multi-task Convolutionalneural networks)检测网络对人脸进行质量评估，获取目标图像的质量分。通过Retinaface和/或MTCNN检测网络目标图像进行人脸检测，不仅可以判断目标图像是否存在人脸，还可以在目标图像存在人脸时得到人脸图像质量分后；并且根据图像质量分可以判断出目标图像中人脸的质量，从而方便本申请实施例确定是利用人脸图像直接进行身份识别还是利用文字和/或语音验证方式进行身份识别，所以本申请实施例可以将人脸和知识库等多模态信息综合起来用于身份验证，能够提高身份识别结果的稳定性。
在一具体实施例中，本系统提供一种在公司门禁场景下对待检测人员进行交互式身份识别的具体实施过程，包括有：
采集公司门前的监控摄像头拍摄的视频或图像，利用YOLO和/或faster rcnn检测网络对监控摄像头拍摄的图像或从拍摄的视频中截取的帧图像进行行人检测，判断监控摄像头拍摄的视频或图像是否存在行人。如果检测到有行人，则进行下一步；如果没有检测到行人，则结束对当前次视频或图像的身份识别，并在1～2秒后重新进行行人检测。
如果监控摄像头内的视频或图像存在行人，则利用Retinaface和/或MTCNN检测网络对当前的行人图像进行人脸检测，确定当前的行人图像是否存在人脸；并在检测到当前行人的人脸时，对当前人脸图像进行质量评估，获取当前人脸图像的质量分，并判断当前行人图像是否可以用于进行高置信度的人脸识别。如果当前行人图像的质量分高于预设的分数阈值，例如当前行人图像的质量分高于0.7，则认为当前行人图像可以用于进行人脸识别，则利用人脸识别认证的方法对当前行人图像进行身份识别；如果当前行人图像不存在人脸，或者当前行人图像的质量分低于预设的分数阈值，例如当前行人图像的质量分低于0.7，则认为当前行人图像不可以用于进行人脸识别，则基于知识库的交互式语音验证。
获取当前行人在当前时刻以文字、音频和/或视频提供的自我介绍信息，并根据当前行人在当前时刻提供的自我介绍信息判断当前行人是否在预设的知识库中存在注册信息，如果预设的知识库中不存在当前行人的注册信息，则对当前行人的身份验证失败，认定当前行人非该公司的人员。如果预设的知识库中存在当前行人的注册信息，则根据当前行人的注册信息随机实时生成一个或多个问答对QA，然后利用生成的一个或多个问答对QA与当前行人进行语音交互，对当前行人进行身份识别。例如，根据当前行人注册信息中的姓名、家庭住址、电话号码、工作岗位等属性信息来生成关于姓名和家庭住址的问答对QA，然后利用监控摄像头以语音方式输出问答对QA中的一个或多个问题，并利用监控摄像头获取当前行人针对问答对QA中的问题所回答的音频信息；将获取的音频信息与问答对QA中问题所对应的答案进行比对，若获取的当前行人回答的音频信息与问答对QA中问题所对应的答案完全匹配，则认为该当前行人通过身份认证，属于该公司的人员；此时将问答对QA对应的身份信息作为该当前行人的身份信息；若获取的音频信息与认证材料中的答案不完全匹配，则认为该当前行人未通过身份认证，不属于该公司的人员，并结束对该当前行人的身份识别。其中，语音交互验证的原理如图2所示。本实施例中的自我介绍信息即为一些实施例中的第一认证信息。
本申请实施例可以将人脸和知识库等多模态信息综合起来用于身份验证，不仅能够解决“攻击”对象使用视频、照片等假脸方式进行假脸“攻击”时无法准确进行身份识别的问题；而且还可以提高身份识别结果的稳定性；同时本申请实施例基于知识库产生问答对，并且通过语音方式进行交互验证，使得身份识别结果的可信度更高。
综上所述，本系统针对现有技术存在的问题，设计了一种基于多模态知识融合的进行身份识别的技术方案，首先对单帧或多帧目标图像进行检测；若目标图像中存在待检测对象，则判断目标图像是否还存在人脸，并在目标图像存在人脸时，对质量分超过预设阈值的目标图像进行人脸识别认证，确定待检测对象的身份；以及在目标图像不存在人脸，或存在人脸的目标图像的质量分低于预设阈值时，利用从知识库中实时或预先生成的认证材料对待检测对象进行交互认证，确定待检测对象的身份；若目标图像中不存在待检测对象，则结束身份识别。本系统不仅可以解决人脸识别技术在拍摄角度不同或者有遮挡等无法得到高质量人脸图像的场景下不能准确地进行身份识别的问题；而且本系统还整合了语音与知识库等多种形势的信息，在进行身份识别时更加准确、智能和不容易被攻击。同时，本系统将人脸和知识库等多模态信息综合起来用于身份验证，不仅解决了在进行身份识别时，“攻击”对象使用视频、照片等假脸方式进行假脸“攻击”时无法准确进行身份识别的问题，而且还能够提高身份识别结果的稳定性。并且，本系统基于知识库产生问答对，以及结合语音方式进行交互验证，使得身份识别结果的可信度更高。其中，该交互式身份识别系统可以应用或设置在监控摄像头中。
如图3所示，本发明还提供一种人机交互设备，包括有：
发射器100，用于通过文字、音频和/或视频来输出实时或预先生成的一个或多个问题；
接收器200，用于接收待检测对象输入的第二认证信息，以及接收所述待检测对象提供的第一认证信息；其中，第一认证信息包括以下至少之一：文字、音频、视频，第二认证信息包括待检测对象针对实时或预先生成的一个或多个问题所回答出的文字、音频和/或视频。
该人机交互设备应用于上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。作为示例，本申请实施例中的人机交互设备可以是监控摄像头、手机、PAD终端、智能穿戴设备等能实现人机交互的终端或设备。
如图6所示，本发明还提供一种交互式身份识别设备，包括有：
图像采集单元D10，用于采集一个或多个场景下的单帧或多帧目标图像；
图像检测单元D20，用于检测单帧或多帧目标图像，确定目标图像中是否存在待检测对象和/或人脸；若检测出目标图像中不存在待检测对象，则结束身份识别；
人脸识别认证单元D30，用于在目标图像存在待检测对象和人脸时，对质量分超过预设阈值的目标图像进行人脸识别认证，确定待检测对象的身份；
交互认证单元D40，用于在目标图像不存在人脸，或存在人脸的目标图像的质量分低于预设阈值时，利用实时或预先生成的认证材料对待检测对象进行交互认证，确定待检测对象的身份。
在本实施例中，该交互式身份识别设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。作为示例，该交互式身份识别设备可以是监控摄像头，或者该交互式身份识别设备可以应用或设置在监控摄像头中。
本申请实施例还提供了一种计算机设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中交互式身份识别方法所包含步骤的指令(instructions)。
图7为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图8为本申请的另一个实施例提供的终端设备的硬件结构示意图。图8是对图7在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图8实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图7实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种交互式身份识别方法，其特征在于，包括以下步骤：
获取目标图像，所述目标图像至少包括有待检测对象；
对所述待检测对象进行人脸识别，确定所述待检测对象的身份；
若无法识别，或者识别结果不符合目标条件时，对所述待检测对象进行交互认证，确定所述待检测对象的身份。
2.根据权利要求1所述的交互式身份识别方法，其特征在于，若所述目标图像不存在人脸，或存在人脸的目标图像不符合目标条件，则获取所述待检测对象在当前时刻提供的第一认证信息，并根据所述第一认证信息判断所述待检测对象在预设知识库中是否存在注册信息；
若所述预设知识库中存在所述待检测对象的注册信息，则基于所述待检测对象的注册信息随机生成一个或多个问答对，并将所述一个或多个问答对作为认证材料；以及利用所述认证材料对所述待检测对象进行交互认证，在所述待检测对象通过认证后，将所述认证材料对应的身份信息作为所述待检测对象的身份信息，完成对所述待检测对象的身份识别；其中，所述问答对包括一个或多个问题、以及与所述一个或多个问题对应的答案；
若所述预设知识库中不存在所述待检测对象的注册信息，则结束对所述待检测对象的身份识别。
3.根据权利要求2所述的交互式身份识别方法，其特征在于，在生成所述认证材料后，以文字和/或音频方式输出所述认证材料中的一个或多个问题，并获取所述待检测对象针对所述一个或多个问题回答的第二认证信息；
将所述待检测对象回答的第二认证信息与所述认证材料中的答案进行比对，若所述第二认证信息与对应的答案完全匹配，则将所述认证材料对应的身份信息作为所述待检测对象的身份信息；若所述第二认证信息与所述认证材料中的答案不完全匹配，则结束对所述待检测对象的身份识别。
4.根据权利要求3所述的交互式身份识别方法，其特征在于，所述第一认证信息包括以下至少之一：文字、音频、视频；
和/或，所述第二认证信息包括以下至少之一：文字、音频、视频。
5.根据权利要求1所述的交互式身份识别方法，其特征在于，还包括利用YOLO和/或faster rcnn检测网络对所述目标图像进行检测，确定所述目标图像是否存在待检测对象；
和/或，在所述目标图像存在人脸时，还包括利用Retinaface和/或MTCNN检测网络对所述人脸进行质量评估，获取所述目标图像的质量分；
若所述目标图像的图像质量分未超过预设阈值，则该目标图像不符合所述目标条件。
6.一种交互式身份识别系统，其特征在于，包括有：
图像检测模块，用于对单帧或多帧目标图像进行检测，确定所述目标图像中是否存在待检测对象和/或人脸；若检测出所述目标图像中不存在待检测对象，则结束身份识别；
人脸识别认证模块，用于在所述目标图像存在待检测对象和人脸时，对符合目标条件的目标图像进行人脸识别认证，确定所述待检测对象的身份；
交互认证模块，用于在所述目标图像不存在人脸，或存在人脸的目标图像不符合目标条件时，对所述待检测对象进行交互认证，确定所述待检测对象的身份。
7.根据权利要求6所述的交互式身份识别系统，其特征在于，若所述目标图像不存在人脸，或存在人脸的目标图像不符合目标条件，则由所述交互认证模块获取所述待检测对象在当前时刻提供的第一认证信息，并根据所述第一认证信息判断所述待检测对象在预设知识库中是否存在注册信息；
若所述预设知识库中存在所述待检测对象的注册信息，则基于所述待检测对象的注册信息随机生成一个或多个问答对，并将所述一个或多个问答对作为认证材料；以及利用所述认证材料对所述待检测对象进行交互认证，在所述待检测对象通过认证后，将所述认证材料对应的身份信息作为所述待检测对象的身份信息，完成对所述待检测对象的身份识别；其中，所述问答对包括一个或多个问题、以及与所述一个或多个问题对应的答案；
若所述预设知识库中不存在所述待检测对象的注册信息，则结束对所述待检测对象的身份识别。
8.根据权利要求7所述的交互式身份识别系统，其特征在于，还包括在生成所述认证材料后，利用人机交互设备以文字和/或音频方式输出所述认证材料中的一个或多个问题，并通过所述人机交互设备获取所述待检测对象针对所述一个或多个问题回答的第二认证信息；
将所述待检测对象回答的第二认证信息与所述认证材料中的答案进行比对，若所述第二认证信息与对应的答案完全匹配，则将所述认证材料对应的身份信息作为所述待检测对象的身份信息；若所述第二认证信息与所述认证材料中的答案不完全匹配，则结束对所述待检测对象的身份识别。
9.一种交互式身份识别设备，其特征在于，包括有：
图像采集单元，用于采集一个或多个场景下的单帧或多帧目标图像；
图像检测单元，用于检测所述单帧或多帧目标图像，确定所述目标图像中是否存在待检测对象和/或人脸；若检测出所述目标图像中不存在待检测对象，则结束身份识别；
人脸识别认证单元，用于在所述目标图像存在待检测对象和人脸时，对符合目标条件的目标图像进行人脸识别认证，确定所述待检测对象的身份；
交互认证单元，用于在所述目标图像不存在人脸，或存在人脸的目标图像不符合目标条件时，对所述待检测对象进行交互认证，确定所述待检测对象的身份。
10.一种人机交互设备，应用于权利要求6至8中的任一系统中，其特征在于，包括有：
发射器，用于通过文字、音频和/或视频输出一个或多个问题；
接收器，用于接收所述待检测对象提供的第一认证信息，以及接收待检测对象输入的第二认证信息；所述第一认证信息包括以下至少之一：文字、音频、视频，所述第二认证信息包括所述待检测对象针对所述一个或多个问题回答的文字、音频和/或视频。
11.一种计算机设备，其特征在于，包括：
一个或多个处理器；和
存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-5中任意一项所述的方法。
12.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-5中任意一项所述的方法。
CN202110267859.9A 2021-03-11 2021-03-11 一种交互式身份识别方法、系统、设备及介质 Pending CN112989299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110267859.9A CN112989299A (zh) 2021-03-11 2021-03-11 一种交互式身份识别方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110267859.9A CN112989299A (zh) 2021-03-11 2021-03-11 一种交互式身份识别方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN112989299A true CN112989299A (zh) 2021-06-18

Family

ID=76334590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110267859.9A Pending CN112989299A (zh) 2021-03-11 2021-03-11 一种交互式身份识别方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112989299A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114780932A (zh) * 2022-06-21 2022-07-22 中铁电气化局集团有限公司 管理三化平台的跨区块链数据交互验证方法、系统及设备
CN115083004A (zh) * 2022-08-23 2022-09-20 浙江大华技术股份有限公司 一种身份识别方法、装置和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697514A (zh) * 2009-10-22 2010-04-21 中兴通讯股份有限公司 一种身份验证的方法及系统
CN104036780A (zh) * 2013-03-05 2014-09-10 阿里巴巴集团控股有限公司 一种人机识别方法及系统
CN109711129A (zh) * 2018-12-15 2019-05-03 深圳壹账通智能科技有限公司 基于声纹识别的登录验证方法、装置、设备及存储介质
CN111181981A (zh) * 2019-12-31 2020-05-19 联想(北京)有限公司 一种处理方法、装置及计算机设备
CN111400687A (zh) * 2020-03-09 2020-07-10 京东数字科技控股有限公司 鉴权方法、装置和机器人
CN111552944A (zh) * 2020-04-28 2020-08-18 成都新潮传媒集团有限公司 一种登录验证方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697514A (zh) * 2009-10-22 2010-04-21 中兴通讯股份有限公司 一种身份验证的方法及系统
CN104036780A (zh) * 2013-03-05 2014-09-10 阿里巴巴集团控股有限公司 一种人机识别方法及系统
CN109711129A (zh) * 2018-12-15 2019-05-03 深圳壹账通智能科技有限公司 基于声纹识别的登录验证方法、装置、设备及存储介质
CN111181981A (zh) * 2019-12-31 2020-05-19 联想(北京)有限公司 一种处理方法、装置及计算机设备
CN111400687A (zh) * 2020-03-09 2020-07-10 京东数字科技控股有限公司 鉴权方法、装置和机器人
CN111552944A (zh) * 2020-04-28 2020-08-18 成都新潮传媒集团有限公司 一种登录验证方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114780932A (zh) * 2022-06-21 2022-07-22 中铁电气化局集团有限公司 管理三化平台的跨区块链数据交互验证方法、系统及设备
CN114780932B (zh) * 2022-06-21 2022-09-02 中铁电气化局集团有限公司 管理三化平台的跨区块链数据交互验证方法、系统及设备
CN115083004A (zh) * 2022-08-23 2022-09-20 浙江大华技术股份有限公司 一种身份识别方法、装置和计算机可读存储介质
CN115083004B (zh) * 2022-08-23 2022-11-22 浙江大华技术股份有限公司 一种身份识别方法、装置和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN104270404B (zh) 一种基于终端标识的登录方法及装置
US20170372298A1 (en) Method and apparatus for activating virtual card
US20170053149A1 (en) Method and apparatus for fingerprint identification
CN104899490B (zh) 一种终端定位方法及用户终端
US20200279120A1 (en) Method, apparatus and system for liveness detection, electronic device, and storage medium
CN107230066B (zh) 一种支付方法以及装置、计算机装置、可读存储介质
CN105426730A (zh) 登录验证处理方法、装置及终端设备
EP3176719A1 (en) Methods and devices for acquiring certification document
CN104778416A (zh) 一种信息隐藏方法及终端
CN112989299A (zh) 一种交互式身份识别方法、系统、设备及介质
CN105894042A (zh) 检测证件图像遮挡的方法和装置
CN111695509A (zh) 一种身份验证方法、装置、机器可读介质及设备
CN107622246B (zh) 人脸识别方法及相关产品
CN108363939A (zh) 特征图像的获取方法及获取装置、用户认证方法
CN111626229A (zh) 一种对象管理方法、装置、机器可读介质及设备
US20220270352A1 (en) Methods, apparatuses, devices, storage media and program products for determining performance parameters
CN111291638A (zh) 一种对象比对方法、系统、设备及介质
CN112699811B (zh) 活体检测方法、装置、设备、储存介质及程序产品
CN111079119B (zh) 验证方法、装置、设备及存储介质
CN113077262A (zh) 一种餐饮结算方法、装置、系统、机器可读介质及设备
CN111104873A (zh) 一种多图像处理装置协同的人脸识别方法、系统、设备和介质
CN111353414A (zh) 一种身份识别方法、系统、机器可读介质及设备
CN112446704A (zh) 一种安全交易管理方法及安全交易管理装置
KR20130082980A (ko) 얼굴인식 기반 사용자 맞춤형 추천 시스템
CN116311573A (zh) 选煤厂签到的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618

RJ01 Rejection of invention patent application after publication