CN112288398A - 面签验证方法、装置、计算机设备及存储介质 - Google Patents

面签验证方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112288398A
CN112288398A CN202011182020.7A CN202011182020A CN112288398A CN 112288398 A CN112288398 A CN 112288398A CN 202011182020 A CN202011182020 A CN 202011182020A CN 112288398 A CN112288398 A CN 112288398A
Authority
CN
China
Prior art keywords
face
information
result
video
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011182020.7A
Other languages
English (en)
Inventor
陈欢欢
林城彬
上官承阳
张开
林森
马万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Trust Co Ltd
Original Assignee
Ping An Trust Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Trust Co Ltd filed Critical Ping An Trust Co Ltd
Priority to CN202011182020.7A priority Critical patent/CN112288398A/zh
Publication of CN112288398A publication Critical patent/CN112288398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及数据处理领域，本发明公开了一种面签验证方法、装置、计算机设备及存储介质，所述方法包括：接收到面签请求；根据身份信息对用户进行身份验证，并获取身份识别结果；在身份识别结果为身份验证通过时，获取面签待确认信息，通过语音识别技术和人脸锁定识别技术，对视频信息进行验证，得到面签双录结果；在面签双录结果为通过之后，接收到用户跟读收集数据；根据身份识别结果和面签双录结果，生成面签结果清单，将用户跟读收集数据、面签跟读信息和面签结果清单加密压缩得到面签验证数据，并存储；将接收到面签验证结果通知至用户。本发明实现了通过身份验证、双录面签及视频验证进行自动面签，提高了面签识别准确率及安全性。

Description

面签验证方法、装置、计算机设备及存储介质
技术领域
本发明涉及大数据的数据处理领域，尤其涉及一种面签验证方法、装置、计算机设备及存储介质。
背景技术
面签是指面签者携带合法有效证件原件、手章及其他所需身份信息进行面谈及签字的手续，在现有技术中，往往需要客服人员与面签者进行面对面或者视频进行面签，而面签审核都是由专业的审核人员进行人工审核，整个面签流程时间跨度长，同时随着用户申请量的增加，以及不法分子的欺诈手段层出不穷，对于审核人员的工作量和难度也随着提高，如果审核出错就会影响真正面签者的合法权益，以及出现面签产品的风险，因此，导致面签者的等待时间长，无法满足面签者的及时性要求，和导致客服人员的人工服务和审核人员的审核成本增加，面签效率低下。
发明内容
本发明提供一种面签验证方法、装置、计算机设备及存储介质，实现了通过身份验证、双录面签及视频验证进行自动面签，提高了面签识别准确率及安全性，大大缩短了面签周期，极大节省了成本，提高了面签效率。
一种面签验证方法，包括：
接收到用户确认的面签请求，所述面签请求包括面签流程信息、身份信息和面签跟读信息；
根据所述身份信息对所述用户进行身份验证，并获取身份识别结果；
在所述身份识别结果为身份验证通过时，获取与所述面签流程信息中的每一流程对应的面签待确认信息，通过语音识别技术和人脸锁定识别技术，对与各所述流程对应的视频信息进行验证，得到面签双录结果；所述视频信息为用户针对各所述面签待确认信息现场回答的录像视频；
在所述面签双录结果为通过之后，接收到用户跟读收集数据；所述用户跟读收集数据是指录制的所述用户现场跟读所述面签跟读信息的视频数据；
根据所述身份识别结果和所述面签双录结果，生成面签结果清单，将所述用户跟读收集数据、所述面签跟读信息和所述面签结果清单加密压缩得到面签验证数据，并存储所述面签验证数据；
接收到面签验证结果，并将所述面签验证结果通知至所述用户；所述面签验证结果是指对所述面签验证数据进行视频验证获得；所述面签验证结果表征了针对所述面签请求进行的面签验证是否通过。
一种面签验证装置，包括：
接收模块，用于接收到用户确认的面签请求，所述面签请求包括面签流程信息、身份信息和面签跟读信息；
获取模块，用于根据所述身份信息对所述用户进行身份验证，并获取身份识别结果；
识别模块，用于在所述身份识别结果为身份验证通过时，获取与所述面签流程信息中的每一流程对应的面签待确认信息，通过语音识别技术和人脸锁定识别技术，对与各所述流程对应的视频信息进行验证，得到面签双录结果；所述视频信息为用户针对各所述面签待确认信息现场回答的录像视频；
通过模块，用于在所述面签双录结果为通过之后，接收到用户跟读收集数据；所述用户跟读收集数据是指录制的所述用户现场跟读所述面签跟读信息的视频数据；
生成模块，用于根据所述身份识别结果和所述面签双录结果，生成面签结果清单，将所述用户跟读收集数据、所述面签跟读信息和所述面签结果清单加密压缩得到面签验证数据，并存储所述面签验证数据；
通知模块，用于接收到面签验证结果，并将所述面签验证结果通知至所述用户；所述面签验证结果是指对所述面签验证数据进行视频验证获得；所述面签验证结果表征了针对所述面签请求进行的面签验证是否通过。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述面签验证方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述面签验证方法的步骤。
本发明提供的面签验证方法、装置、计算机设备及存储介质，通过接收到用户确认的面签请求，所述面签请求包括所述面签流程信息、所述身份信息和所述面签跟读信息；根据所述身份信息对所述用户进行身份验证，并获取身份识别结果；在所述身份识别结果为身份验证通过时，获取与所述面签流程信息中的每一流程对应的面签待确认信息，通过语音识别技术和人脸锁定识别技术，对与各所述流程对应的视频信息进行验证，得到面签双录结果；在所述面签双录结果为通过之后，接收到录制的所述用户现场跟读所述面签跟读信息的用户跟读收集数据；根据所述身份识别结果和所述面签双录结果，生成面签结果清单，将所述用户跟读收集数据、所述面签跟读信息和所述面签结果清单加密压缩得到面签验证数据，并存储所述面签验证数据；接收到面签验证结果，并将所述面签验证结果通知至所述用户，如此，实现了自动对用户的身份进行验证，在身份验证通过后，通过语音识别技术和人脸锁定识别技术进行面签双录(录音录屏)验证，并在双录验证通过后，录制用户跟读收集数据，生成面签结果清单，以及加密压缩获得面签验证数据并将其存储，对所述面签验证数据进行视频验证后获得面签验证结果，并通知用户，因此，实现了通过身份验证、双录面签及视频验证进行自动面签，提高了面签识别准确率及安全性，大大缩短了面签周期，极大节省了成本，提高了面签效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中面签验证方法的应用环境示意图；
图2是本发明一实施例中面签验证方法的流程图；
图3是本发明一实施例中面签验证方法的步骤S20的流程图；
图4是本发明一实施例中面签验证方法的步骤S60的流程图；
图5是本发明一实施例中面签验证装置的原理框图；
图6是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的面签验证方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种面签验证方法，其技术方案主要包括以下步骤S10-S60：
S10，接收到用户确认的面签请求，所述面签请求包括面签流程信息、身份信息和面签跟读信息。
可理解地，用户开始进行面签时触发所述面签请求，所述面签请求包括面签流程信息、身份信息和面签跟读信息，即所述面签请求中包含有所述面签流程信息、所述身份信息和所述面签跟读信息，所述面签流程信息为面签过程中涉及每一环节的流程信息，所述面签流程信息包括用户标识，所述用户标识为用户的身份证号码，所述身份信息为用户的基本身份以提供给面签申请的信息，比如姓名、性别、籍贯等等，所述面签跟读信息为面签过程中需要用户跟读的信息，所述面签跟读信息可以根据需求设置为文本类、视频类或者音频类的信息。
S20，根据所述身份信息对所述用户进行身份验证，并获取身份识别结果。
可理解地，通过获取所述身份信息中的身份证正反面信息，通过OCR技术，对所述身份证正反面信息进行识别及提取，得到待核对身份证信息，所述OCR(Optical CharacterRecognition，光学字符识别)技术是指电子设备(例如扫描仪或数码相机)检查图像上的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的技术，通过所述OCR技术，在所述身份证正面图像中识别出分别与姓名、性别、民族、出生、住址和公民身份号码对应的身份信息，在所述身份证反面图像中识别出分别与签发机关和有效期限对应的机构信息，并通过活体检测获取所述用户的待识别人脸信息，所述活体检测是在一种确定对象真实生理特征的方法，能通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人的操作，在所述活体检测过程中提取出所述待识别人脸信息，所述待识别人脸信息为采集到用户的正面人脸的图像，通过访问身份验证机构，所述身份验证机构可以为与所述机构信息对应的且被授权访问的机构服务器，也可以为与所述机构信息对应的且授权认可的第三方机构服务器，从所述身份验证机构中获取与所述用户标识对应的身份证留样信息和人脸留样信息，所述身份验证机构存储有用户办理身份证所填写的所述身份留样信息和头像拍照的所述人脸留样信息，将所述待核对身份证信息和所述身份证留样信息进行比对，得到所述身份证识别结果，同时将所述待识别人脸信息和所述人脸留样信息进行相似度比对，得到所述人脸比对结果，并根据所述身份证识别结果以及所述人脸比对结果生成身份识别结果，所述身份识别结果包括身份验证通过和身份验证失败，所述身份证识别结果包括通过和不通过，所述人脸比对结果包括通过和不通过。
在一实施例中，如图3所示，所述步骤S20中，即所述根据所述身份信息对所述用户进行身份验证，并获取身份识别结果，包括：
S201，获取所述身份信息中的身份证正反面信息，通过OCR技术，对所述身份证正反面信息进行识别及提取，得到待核对身份证信息并触发活体检测请求。
可理解地，所述身份信息包括所述身份证正反面信息，所述身份证正反面信息为用户上传的身份证正面和反面的图像，所述身份证正反面信息包括身份证正面图像和身份证反面图像，所述OCR(Optical Character Recognition，光学字符识别)技术是指电子设备(例如扫描仪或数码相机)检查图像上的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的技术，所述识别过程为：首先，通过YOLO(YouOnly Look Once)算法识别出含有人脸区域的目标头像和含有国徽的国徽区域，将含有所述目标头像的所述身份证正反面信息确定为所述身份证正面图像，同时将含有所述国徽区域的所述身份证正反面信息确定为所述身份证反面图像，如果未识别出所述身份证正面图像和/或所述身份证反面图像，就反馈所述身份证正反面信息异常，需要重新上传身份证正反面信息；然后，通过OCR技术，在所述身份证正面图像中识别出分别与姓名、性别、民族、出生、住址和公民身份号码对应的身份信息，在所述身份证反面图像中识别出分别与签发机关和有效期限对应的机构信息。
其中，所述提取的过程为在所述身份证正面图像中提取出所述目标头像，并运用伽马变换增强所述目标头像，将增强后的所述目标头像确定为头像信息，将所述身份信息、所述机构信息和所述头像信息确定为所述待核对身份证信息，并自动触发所述活体检测请求，所述活体检测请求为需对用户进行活体检测而发出的请求并开始进行活体检测，所述活体检测是在一种确定对象真实生理特征的方法，能通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人的操作。
S202，在所述用户完成活体检测之后，获取在活体检测过程中采集的所述用户的待识别人脸信息。
可理解地，在所述用户进行活体检测过程中，会采集到含有所述用户的关键点为眼、眉毛、鼻、口、的所述待识别人脸信息，并在完成所述活体检测之后，获取所述待识别人脸信息。
其中，在采集过程中，采集到多个含有所述关键点的正面人脸的图像，对从所有所述正脸图像进行灰度处理，并对经过灰度处理后的所述正脸图像进行边缘识别，将识别出边缘清晰的所述正脸图像确定为所述待识别人脸信息，即对所有经过灰度处理后的所述正脸图像中检测边缘线，并检测边缘线上的所有边缘点邻近的其他边缘点个数并计算所有边缘点邻近的其他边缘点个数的均方差，将最小的均方差对应的所述正脸图像确定为所述待识别人脸信息，说明所述待识别人脸信息为清晰度最高的正面人脸的图像。
S203，自身份验证机构中获取与所述面签流程信息中的用户标识对应的身份证留样信息和人脸留样信息，将所述待核对身份证信息和所述身份证留样信息进行比对，得到所述身份证识别结果，同时将所述待识别人脸信息和所述人脸留样信息进行相似度比对，得到所述人脸比对结果。
可理解地，所述身份验证机构可以为与所述机构信息对应的且被授权访问的机构服务器，也可以为与所述机构信息对应的且授权认可的第三方机构服务器，例如：机构信息中的签发机关为南山公安局，则身份验证机构可以为南山公安局或国家公安局的服务器(可被授权访问)，从所述身份验证机构中获取与所述用户标识对应的所述身份留样信息和所述人脸留样信息，所述身份验证机构存储有用户办理身份证所填写的所述身份留样信息和头像拍照的所述人脸留样信息，所述面签流程信息包括用户标识，所述用户标识为用户的身份证号码。
其中，将所述待核对身份证信息和所述身份证留样信息中相同属性的内容进行比对，所述属性包括姓名、性别、民族、出生、住址、公民身份号码、签发机关和有效期限，即将所述待核对身份证信息中的“姓名”和所述身份证留样信息中的“姓名”进行比对，将所述待核对身份证信息中的“民族”和所述身份证留样信息中的“民族”进行比对等等，如果任一所述属性的比对结果为不一致，就确定所述身份证识别结果为不通过，只有所有所述属性的比对结果均一致，才确定所述身份证识别结果为通过；将所述待识别人脸信息和所述人脸留样信息进行相似度比对，即将所述待识别人脸信息和所述人脸留样信息同时输入预设的人脸比对模型中，所述人脸比对模型提取所述待识别人脸信息的人脸特征和所述人脸留样信息的人脸特征，通过计算所述待识别人脸信息的人脸特征和所述人脸留样信息的人脸特征之间的余弦距离，从而得出两者之间的相似度值，如果该相似度值大于预设的相似度阈值(80％)，则将所述人脸比对结果确定为通过，如果该相似度小于所述相似度阈值，则将所述人脸比对结果确定为不通过。
S204，根据所述身份证识别结果以及所述人脸比对结果生成身份识别结果。
可理解地，在所述身份证结果和所述人脸比对结果均为通过时，则生成所述身份识别结果为身份验证通过，在所述身份证结果和所述人脸比对结果中任一为不通过时，则生成所述身份识别结果为身份验证失败。
本发明实现了通过获取所述身份信息中的身份证正反面信息，通过OCR技术，对所述身份证正反面信息进行识别及提取，得到待核对身份证信息并自动触发活体检测请求；在所述用户完成活体检测之后，获取在活体检测过程中采集的所述用户的待识别人脸信息；自身份验证机构中获取与所述面签流程信息中的用户标识对应的身份证留样信息和人脸留样信息，将所述待核对身份证信息和所述身份证留样信息进行比对，得到所述身份证识别结果，同时将所述待识别人脸信息和所述人脸留样信息进行相似度比对，得到所述人脸比对结果；根据所述身份证识别结果以及所述人脸比对结果生成身份识别结果，如此，实现了通过OCR技术进行身份证信息提取，自动触发活体检测并采集待识别人脸信息，自身份验证机构中获取身份证留样信息和人脸留样信息，将身份证信息与身份证留样信息进行比对得到身份证识别结果，将待识别人脸信息和人脸留样信息进行相似度比对得到人脸比对结果，从而得到身份识别结果，因此，通过OCR技术、活体检测及相似度比对进行身份验证，提高了身份验证的准确性和可靠性，并节省了成本，提高了效率。
在一实施例中，所述步骤S20之后，即所述获取身份识别结果之后，还包括：
S70，在所述身份识别结果为身份验证失败时，弹出验证失败信息并提示用户重新进行身份验证。
可理解地，若所述身份识别结果为身份验证失败，说明在面签的过程中并不是用户本人，存在伪装用户的风险，就弹出验证失败信息，并且提示用户重新进行身份验证，如果检测到重新进行身份验证的次数超过了预设次数，就停止面签验证，以及提示用户需要进行人工服务进行身份验证，以确保用户的合法权益不受侵犯。
S30，在所述身份识别结果为身份验证通过时，获取与所述面签流程信息中的每一流程对应的面签待确认信息，通过语音识别技术和人脸锁定识别技术，对与各所述流程对应的视频信息进行验证，得到面签双录结果；所述视频信息为用户针对各所述面签待确认信息现场回答的录像视频。
可理解地，在所述身份识别结果为身份验证通过时，播报所述面签流程信息中的所述流程的面签待确认信息，并获取用户在预设时长之内回答所述面签待确认信息的现场录像视频；对所述现场录像视频进行音频提取，得到确认语音信息，同时对所述现场录像视频进行图像提取，得到确认视频图像；通过语音识别技术对所述确认语音信息进行识别，得到语音结果，同时通过人脸锁定识别技术，对所述确认视频图像进行人脸锁定识别，得到人脸锁定结果；根据所述语音结果和所述人脸锁定结果，确定与所述流程对应的确认结果；根据所述面签流程信息中的流程的所述确认结果，确定所述面签双录结果。
其中，所述语音识别技术(ASR，Automatic Speech Recognition)是以语音为研究对象，通过语音信号处理和模式自动识别出语音中的文字，所述识别的过程为所述语音转换模型对所述确认语音信息进行声音分帧，将声音分帧后的每一帧进行特征提取，提取出每一帧的包含声音信息的特征向量，在将每一特征向量进行声学模型的转换，转成与其对应的音素向量，通过字典库中查找每一个音素向量对应的中文或者英文，再通过语音模型识别出字与字之间或者词语与词语之间的相互关联的概率，最后得出最高概率的文本，即所述语音结果为通过将所述确认语音信息输入所述语音转换模型后进行识别后输出的文本内容；所述人脸锁定技术为对多个人脸区域图像进行对比，通过计算方差识别出该多个人脸区域图像是否属于同一人且非静态图像(都属于同一行为状态，图像之间无动态变化)的识别技术，运用所述人脸锁定识别技术进行识别的处理过程包括通过将所述待识别人脸信息和所有所述确认视频图像输入人脸锁定检测模型，对所有所述确认视频图像进行视频帧抽取，得到多个视频帧图像，提取所述待识别人脸信息和各所述视频帧图像中的人脸区域图像，对各所述人脸区域图像进行人脸特征提取以及特征偏差分析，得到偏差值，根据所述偏差值和偏差预设范围，确定所述人脸锁定结果。
在一实施例中，所述步骤S30中，即所述通过语音识别技术和人脸锁定识别技术，对与各所述流程对应的视频信息进行验证，得到面签双录结果，包括：
S301，播报所述面签流程信息中的所述流程的面签待确认信息，并获取用户在预设时长之内回答所述面签待确认信息的现场录像视频。
可理解地，所述面签流程信息包括多个流程，每一所述流程均与一个播报序号关联，根据所述播报序号，顺次播报与所述播报序号对应的所述流程的所述面签待确认信息，各所述流程的所述面签待确认信息中包含的内容由人工设定，所述面签待确认信息可以为音频文件，也可以为文本文件，在识别出所述面签待确认信息为音频文件时，则直接播报该音频文件，在识别出所述面签待确认信息为文本文件时，则通过语音合成技术，所述语音合成技术简称为TTS，指将文本文件进行实时转换成真人普通话的音频文件的技术，将所述面签待确认信息中的文本内容转换成语音文件，再播报该语音文件。
其中，在播报完所述面签流程信息中的所述流程的面签待确认信息之后，开始进行视频录制，用户在预设时长之内回答所述面签待确认信息，所述预设时长可以根据需求设定，从而获得与所述面签待确认信息对应的所述现场录像视频。
S302，对所述现场录像视频进行音频提取，得到确认语音信息，同时对所述现场录像视频进行图像提取，得到确认视频图像。
可理解地，通过从所述现场录像视频中分离出现场音频文件，对所述现场音频文件进行去噪音处理，并将去噪后的所述现场音频文件的首尾无波动的内容去除，保留用户真正响应的音频内容，得到所述确认语音信息。
其中，对所述现场录像视频进行图像提取，提取的过程为根据所述现场音频文件在所述现场录像视频中的时间轴的范围内截取一段视频，再对该段视频按照每一帧抽取图像，得到至少一个所述确认视频图像。
S303，通过语音识别技术对所述确认语音信息进行识别，得到语音结果，同时通过人脸锁定识别技术，对所述确认视频图像进行人脸锁定识别，得到人脸锁定结果。
可理解地，通过语音识别技术对所述确认语音信息进行识别的过程为将所述确认语音信息输入预设的语音转换模型，通过所述语音转换模型对所述确认语音信息进行识别，所述语音转换模型为训练完成的神经网络模型，所述语音转换模型通过语音识别技术实现了将所述确认语音信息识别出与所述确认语音信息中的内容对应的文本，所述语音识别技术(ASR，Automatic Speech Recognition)是以语音为研究对象，通过语音信号处理和模式自动识别出语音中的文字，所述识别的过程为所述语音转换模型对所述确认语音信息进行声音分帧，将声音分帧后的每一帧进行特征提取，提取出每一帧的包含声音信息的特征向量，在将每一特征向量进行声学模型的转换，转成与其对应的音素向量，通过字典库中查找每一个音素向量对应的中文或者英文，再通过语音模型识别出字与字之间或者词语与词语之间的相互关联的概率，最后得出最高概率的文本，即所述语音结果为通过将所述确认语音信息输入所述语音转换模型后进行识别后输出的文本内容，所述语音结果包括通过和不通过。
其中，对所述确认视频图像进行人脸锁定识别的过程为运用所述人脸锁定识别技术进行识别的处理过程，所述人脸锁定技术为对多个人脸区域图像进行对比，通过计算方差识别出该多个人脸区域图像是否属于同一人且非静态图像(都属于同一行为状态，图像之间无动态变化)的识别技术，运用所述人脸锁定识别技术进行识别的处理过程包括通过将所述待识别人脸信息和所有所述确认视频图像输入人脸锁定检测模型，对所有所述确认视频图像进行视频帧抽取，得到多个视频帧图像，提取所述待识别人脸信息和各所述视频帧图像中的人脸区域图像，对各所述人脸区域图像进行人脸特征提取以及特征偏差分析，得到偏差值，根据所述偏差值和偏差预设范围，确定所述人脸锁定结果，所述人脸锁定结果包括通过和不通过。
在一实施例中，所述步骤S303中，即所述通过人脸锁定识别技术，对所述确认视频图像进行人脸锁定识别，得到人脸锁定结果，包括：
S3031，将所述待识别人脸信息和所有所述确认视频图像输入人脸锁定检测模型。
可理解地，所述人脸锁定检测模型为训练完成深度神经网络模型，所述人脸锁定检测模型能够实现自动识别在双录过程中的用户是否为同一人且识别出通过照片进行的欺诈行为，所述人脸锁定检测模型通过对人脸区域的人脸特征进行提取并进行偏差分析，从而输出锁定同一人脸且非静态图像的识别结果。
S3032，通过人脸锁定检测模型对所有所述确认视频图像进行视频帧抽取，得到至少一个视频帧图像。
可理解地，通过人脸锁定检测模型对所有所述确认视频图像进行按预设的抽取原则进行抽取，所述抽取原则可以根据需求设定，比如抽取原则为每隔24帧(约1秒)抽取出一个确认视频图像，或者每隔12帧(约0.5秒)抽取出一个确认视频图像等等，从而将抽取出的所述确认视频图像确定为所述视频帧图像。
S3033，通过所述人脸锁定检测模型提取所述待识别人脸信息和各所述视频帧图像中的人脸区域图像。
可理解地，通过所述人脸锁定检测模型中的YOLO模型识别出所述待识别人脸信息和各所述视频帧图像中的人脸区域图像，所述YOLO模型为目标检测模型，能够识别出含有人的眼、鼻子、嘴巴的目标事物。
S3034，通过所述人脸锁定检测模型对各所述人脸区域图像进行人脸特征提取以及特征偏差分析，得到偏差值。
可理解地，通过所述人脸锁定检测模型对各所述人脸区域图像进行人脸特征提取，所述人脸特征提取为通过将各所述人脸区域图像输入卷积层进行卷积，从而提取所述人脸特征，所述人脸特征为与人脸的眼、鼻子、嘴巴等相关的特征，所述卷积层包括第一卷积(3×3×32卷积核、一个激活层和一个3×3池化层)、第二卷积(3×3×64卷积核、一个激活层和一个3×3池化层)、第三卷积(3×3×64卷积核、一个激活层和一个2×2池化层)、第四卷积(2×2×128卷积核和一个激活层)和第五卷积(1×1×256卷积核)，通过所述卷积层的所述人脸特征提取之后得到一个256个具有所述人脸特征的特征向量值的特征向量矩阵，即得到与所述人脸区域图像对应的特征向量矩阵，通过对各所述特征向量矩阵进行特征偏差分析，所述特征偏差分析为通过所述特征向量矩阵计算出与其对应的人脸特征值，将所有所述人脸特征值构成一个一维的数组，对该数组进行方差分析，即将与所述待识别人脸信息对应的人脸区域图像对应的人脸特征值确定为均值，将数值中的除了该均值的其他人脸特征值计算出该数组的方差值，将该方差值确定为所述偏差值。
其中，所述人脸特征值为：
Figure BDA0002750438310000161
其中，xi为特征向量矩阵中的第i个特征向量值，wi为特征向量矩阵中第i个特征向量值的权重，bi为特征向量矩阵中第i个特征向量值设定的误差值。
S3035，根据所述偏差值和偏差预设范围，确定所述人脸锁定结果。
可理解地，判断所述偏差值是否落入所述偏差预设值的范围中，如果所述偏差值小于所述偏差预设范围中的下限值时，则说明在验证过程中使用的是用户的静态图像，属于欺诈行为，如果所述偏差值大于所述偏差预设范围中的上限值时，则说明双录面签验证过程中不是同一个用户或者在验证过程中变换过人进行验证，以上两种情况都说明验证失败，将所述人脸锁定结果确定为不通过，只有所述偏差值在所述偏差预设范围内，才能说明验证成功，将所述人脸锁定结果确定为通过。
本发明实现了通过视频帧提取、人脸区域识别、人脸特征提取及特征偏差分析，完成确认视频图像的人脸锁定结果，保证了在验证过程中用户一直在现场确认，提高了面签准确性、可靠性和安全性，节省了人工成本，以及提高了面签效率。
S304，根据所述语音结果和所述人脸锁定结果，确定与所述流程对应的确认结果。
可理解地，只有在所述语音结果和所述人脸锁定结果均为通过时，才确定与所述流程对应的所述确认结果为通过，即表明所述面签流程信息中的该流程验证通过，在所述语音结果和/或所述人脸锁定结果为不通过时，确定与所述流程对应的所述确认结果为不通过，即表明所述面签流程信息中的该流程验证失败。
S305，若与所述面签流程信息中的任一所述流程对应的所述确认结果为不通过，确定所述面签双录结果为不通过。
可理解地，只要出现了所述面签流程信息中的任一流程的所述确认结果为不通过时，就确定所述面签双录结果为不通过，即表征了所述面签双录验证失败。
S306，若与所述面签流程信息中的所有所述流程对应的所述确认结果均为通过，确定所述面签双录结果为通过。
可理解地，在所述面签流程信息中的所有所述流程的确认结果都为通过时，则确定所述面签双录结果为通过，即表征了所述面签双录验证成功。
本发明实现了通过播报所述面签流程信息中的所述流程的面签待确认信息，并获取用户在预设时长之内回答所述面签待确认信息的现场录像视频；对所述现场录像视频进行音频提取，得到确认语音信息，同时对所述现场录像视频进行图像提取，得到确认视频图像；通过语音识别技术对所述确认语音信息进行识别，得到语音结果，同时通过人脸锁定识别技术，对所述确认视频图像进行人脸锁定识别，得到人脸锁定结果；从而确定与所述流程对应的确认结果；若任一所述流程对应的所述确认结果为不通过，将所述面签双录结果确定为不通过；若所有所述流程对应的所述确认结果均为通过，将所述面签双录结果确定为通过，如此，实现了通过语音识别技术和人脸锁定识别技术，对各面签流程进行双录面签验证，提高了面签准确性、可靠性和安全性，节省了人工成本，以及提高了面签效率。
S40，在所述面签双录结果为通过之后，接收到用户跟读收集数据；所述用户跟读收集数据是指录制的所述用户现场跟读所述面签跟读信息的视频数据。
可理解地，如果所述面签双录结果为通过时，接收到所有所述用户跟读收集数据，所述用户跟读收集数据是指录制的所述用户现场跟读所述面签跟读信息的视频数据。
S50，根据所述身份识别结果和所述面签双录结果，生成面签结果清单，将所述用户跟读收集数据、所述面签跟读信息和所述面签结果清单加密压缩得到面签验证数据，并存储所述面签验证数据。
可理解地，根据所述身份识别结果和所述面签双录结果，生成所述面签结果清单，所述面签结果清单中包括了所述用户标识、所述待识别人脸信息、所述身份识别结果和所述面签双录结果，将所述用户跟读收集数据、所述面签跟读信息和所述面签结果清单加密压缩得到面签验证数据，并存储所述面签验证数据，即可以将所述面签验证数据存储至云服务器中或者区块链中。
需要强调的是，为进一步保证上述面签验证数据的私密和安全性，上述面签验证数据还可以存储于区块链的节点中。
其中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。区块链提供的去中心化的完全分布式DNS服务通过网络中各个节点之间的点对点数据传输服务就能实现域名的查询和解析，可用于确保某个重要的基础设施的操作系统和固件没有被篡改，可以监控软件的状态和完整性，发现不良的篡改，并确保所传输的数据没用经过篡改，将所述面签验证数据存储在区块链中，能够确保面签验证数据的私密和安全性。
其中，所述加密压缩的过程为先运用和H264压缩算法对所述用户跟读收集数据、所述面签跟读信息和所述面签结果清单一起打包压缩，再运用RSA算法(公钥加密算法)对压缩后的文件加密的过程，所述H264压缩算法应用于高压缩高质量和支持多种网络的流媒体传输中，指对于一段变化不大的视频图像画面，先编码出一个完整的图像帧A，随后的图像帧B就不编码全部图像，只写入与图像帧A的差别，这样图像帧B的大小就只有完整图像帧A的1/10或更小，图像帧B之后的图像帧C如果变化不大，我们可以继续以参考图像帧B的方式编码图像帧C，不断循环下去的压缩过程；所述RSA算法为生成密钥对，根据密钥对加密生成密文。
S60，接收到面签验证结果，并将所述面签验证结果通知至所述用户；所述面签验证结果是指对所述面签验证数据进行视频验证获得；所述面签验证结果表征了针对所述面签请求进行的面签验证是否通过。
可理解地，在接收到所述面签验证结果之后，将所述面签验证结果通知至所述用户，所述通知方式可以根据需求设定，比如通过短信或者应用程序界面中的即时信息等等，所述面签验证结果表征了针对所述面签请求进行的面签验证是否通过，所述视频验证的过程为对所述面签验证数据进行解密和解压得到用户跟读还原数据、跟读还原信息和验证还原清单；将所述用户跟读还原数据拆分出跟读音频文件和跟读视频文件，通过所述跟读语音检测模型对所述跟读音频文件进行语音识别以及与所述跟读还原信息进行对比，得到跟读语音识别结果，同时通过所述跟读视频检测模型对所述跟读视频文件中的跟读图像进行人脸区域检测以及与所述待识别人脸信息进行人脸比对，得到跟读视频识别结果，根据所述面签结果清单、所述跟读语音识别结果和所述跟读视频识别结果进行验证的过程，在所述身份识别结果、所述面签双录结果、所述跟读语音识别结果和所述跟读视频识别结果均为通过时，确定所述面签验证结果为通过，否则所述面签验证结果为不通过。
本发明实现了自动对用户的身份进行验证，在身份验证通过后，通过语音识别技术和人脸锁定识别技术进行面签双录(录音录屏)验证，并在双录验证通过后，录制用户跟读收集数据，生成面签结果清单，以及加密压缩获得面签验证数据并将其存储，对所述面签验证数据进行视频验证后获得面签验证结果，并通知用户，因此，实现了通过身份验证、双录面签及视频验证进行自动面签，提高了面签识别准确率及安全性，大大缩短了面签周期，极大节省了成本，提高了面签效率。
在一实施例中，如图4所示，所述步骤S60中，即所述接收到面签验证结果，包括：
S601，对所述面签验证数据进行解密和解压，获得用户跟读还原数据、跟读还原信息和验证还原清单。
可理解地，对所述面签验证数据进行解密和解压，所述解密为运用所述RAS算法，通过所述密钥对中的私密进行解密生成明文，在运用H264解压算法对生成的明文进行解压，所述解压的过程为通过熵编码、反向量化、反向DCT(离散余弦变换，discrete cosinetransform)和去区块滤波(DBF，deblocking filter)的阶段性解压，解压后得到所述用户跟读还原数据、所述跟读还原信息和所述验证还原清单，所述用户跟读还原数据与所述用户跟读收集数据对应，所述跟读还原信息与所述面签跟读信息对应，所述验证还原清单与所述面签结果清单对应。
其中，所述熵编码的过程识别出一种独立于介质的具体特征的进行无损数据压缩的方案，比如识别确定出霍夫曼编码，算术编码，行程编码等等，所述反向量化的过程为霍夫曼编码的反向过程，离散余弦变换(DCT)的基本思路是将图像分解为8×8的子块或16×16的子块，并对每一个子块进行单独的DCT变换，然后对变换结果进行量化、编码，DCT变换可以消除图像的空间冗余，所述反向离散余弦变换为所述离散余弦变换的反向过程，所述去区块滤波(deblocking filter)是一种减少在区块边界产生视觉上瑕疵的滤波器。
S602，将所述用户跟读还原数据拆分出跟读音频文件和跟读视频文件。
可理解地，所述用户跟读还原数据与所述用户跟读收集数据对应，即所述用户跟读还原数据为所述用户跟读收集数据经过加密压缩后再经过解密解压之后获得，将所述用户跟读还原数据拆分成所述跟读音频文件和所述跟读视频文件。
S603，将所述跟读音频文件和所述跟读还原信息输入跟读语音检测模型，同时将所述待识别人脸信息和所述跟读视频文件输入跟读视频检测模型。
可理解地，所述验证还原清单包括所述待识别人脸信息，所述跟读语音检测模型为将音频文件识别出文本内容，将识别出的文本内容与输入的文本信息进行对比，检测出两者是否相匹配的神经网络模型，所述跟读视频检测模型为将视频文件中的人脸与输入的人脸图像进行人脸比对，识别出视频文件中的人脸是否与输入的人脸图像相匹配，输出识别结果的神经网络模型。
S604，通过所述跟读语音检测模型对所述跟读音频文件进行语音识别以及与所述跟读还原信息进行对比，得到跟读语音识别结果，同时通过所述跟读视频检测模型对所述跟读视频文件中的跟读图像进行人脸区域检测以及与所述待识别人脸信息进行人脸比对，得到跟读视频识别结果。
可理解地，通过所述跟读语音检测模型运用所述语音识别技术对所述跟读音频文件进行语音识别，识别出所述跟读音频文件中的文本内容，再将该文本内容与所述跟读还原信息进行文本相似度比对，所述文本相似度比对的算法可以根据需求设定，所述文本相似度比对的算法优选为余弦相似度比对算法，经过所述文本相似度比对获得的相似度值，根据该相似度值是否大于预设的相似度阈值，确定出所述语音识别结果是否为通过，同时通过所述跟读视频检测模型对所述跟读视频文件中的跟读图像进行人脸区域检测，提取出所述跟读图像的人脸区域，并将该人脸区域与所述待识别人脸信息进行人脸比对，获得人脸比对相似度值，根据人脸比对相似度值是否大于预设的人脸相似度阈值，确定出所述跟读视频识别结果是否为通过。
在一实施例中，所述步骤S604中，即所述通过所述跟读视频检测模型对所述跟读视频文件中的跟读图像进行人脸区域检测以及与所述待识别人脸信息进行人脸比对，得到跟读视频识别结果，包括：
S6041，通过所述跟读视频检测模型对所述跟读视频文件进行图像抽取，得到至少一个所述跟读图像。
可理解地，所述图像抽取的过程可以根据需求设定，可以为在所述跟读视频文件的中间帧抽取图像，也可以在所述跟读视频文件中平均抽取固定间隔的图像。
S6042，通过所述跟读视频检测模型对所述跟读图像进行人脸检测，识别出跟读人脸区域图像。
可理解地，所述跟读视频检测模型为训练完成的神经网络模型，所述跟读视频检测模型的网络结构可以根据需求设定，比如所述跟读视频检测模型的网络结构可以为DAN(Deep Alignment Network)模型的网络结构，所述DAN模型可以有效的克服头部姿态以及初始化带来的问题，从而得到更好的检测效果，所述人脸检测为通过级联提取的方式检测的人脸的关键点并且通过引入关键点热图进行人脸区域特征提取，从而获得更为精确的定位人脸区域，所述关键点热图为通过级联的中心衰减计算出最大的值对应的关键点的集合形成的图像，所述人脸区域特征为与人脸的眼、鼻子、嘴巴等关键点轮廓相关的特征，通过对所述跟读图像进行人脸检测，从而识别出所述跟读人脸区域图像，所述跟读人脸区域图像为所述跟读图像中提取的人脸的区域的图像。
S6043，通过所述跟读视频检测模型将所述跟读人脸区域图像和所述待识别人脸信息进行人脸比对，得到与所述跟读图像对应的跟读图像识别结果。
可理解地，通过所述跟读视频检测模型将所述跟读人脸区域图像与所述待识别人脸信息进行人脸比对，获得人脸比对相似度值，根据人脸比对相似度值是否大于预设的人脸相似度阈值，确定出与所述跟读图像对应的跟读图像识别结果是否为通过。
S6044，根据所有所述跟读图像识别结果确定出所述跟读视频识别结果。
可理解地，在所有所述跟读图像识别结果均通过时，则生成所述跟读视频识别结果为通过，在所有所述跟读图像识别结果中任意一个为不通过时，则生成所述跟读视频识别结果为不通过。
本发明实现了通过所述跟读视频检测模型对所述跟读视频文件进行图像抽取，得到至少一个所述跟读图像；对所述跟读图像进行人脸检测，识别出跟读人脸区域图像；将所述跟读人脸区域图像和所述待识别人脸信息进行人脸比对，得到与所述跟读图像对应的跟读图像识别结果；根据所有所述跟读图像识别结果确定出所述跟读视频识别结果，如此，实现了通过图像抽取和人脸比对进行跟读视频识别，提高了面签准确性、可靠性和安全性，节省了人工成本，以及提高了面签效率。
S605，接收所述面签验证结果；所述面签验证结果为根据所述面签结果清单、所述跟读语音识别结果和所述跟读视频识别结果进行确定后发出。
可理解地，所述面签结果清单包括所述身份识别结果和所述面签双录结果，在所述身份识别结果、所述面签双录结果、所述跟读语音识别结果和所述跟读视频识别结果均为通过时，确定所述面签验证结果为通过，即表征了针对所述面签请求进行的面签验证成功。
在一实施例中，可以将所述面签验证数据上传至云端服务器，由云端服务器执行以上步骤S601至S604，增加面签的安全性。
本发明实现了对所述面签验证数据进行解密和解压，获得用户跟读还原数据、跟读还原信息和验证还原清单；将所述用户跟读还原数据拆分出跟读音频文件和跟读视频文件；将所述跟读音频文件和所述跟读还原信息输入跟读语音检测模型，同时将所述待识别人脸信息和所述跟读视频文件输入跟读视频检测模型；通过所述跟读语音检测模型对所述跟读音频文件进行语音识别以及与所述跟读还原信息进行对比，得到跟读语音识别结果，同时通过所述跟读视频检测模型对所述跟读视频文件中的跟读图像进行人脸区域检测以及与所述待识别人脸信息进行人脸比对，得到跟读视频识别结果；接收所述面签验证结果；所述面签验证结果为根据所述面签结果清单、所述跟读语音识别结果和所述跟读视频识别结果进行确定后发出，如此，实现了通过解密和解压，以及拆分出跟读音频文件和跟读视频文件，并通过语音识别确定出跟读语音识别结果和通过人脸比对确定出跟读视频识别结果，最终得到面签验证结果，因此，实现了基于语音识别和人脸比对的跟读视频的面签验证，提高了面签准确性、可靠性和安全性，节省了人工成本，以及提高了面签效率。
在一实施例中，提供一种面签验证装置，该面签验证装置与上述实施例中面签验证方法一一对应。如图5所示，该面签验证装置包括接收模块11、获取模块12、识别模块13、通过模块14、生成模块15和通知模块16。各功能模块详细说明如下：
接收模块11，用于接收到用户确认的面签请求，所述面签请求包括面签流程信息、身份信息和面签跟读信息；
获取模块12，用于根据所述身份信息对所述用户进行身份验证，并获取身份识别结果；
识别模块13，用于在所述身份识别结果为身份验证通过时，获取与所述面签流程信息中的每一流程对应的面签待确认信息，通过语音识别技术和人脸锁定识别技术，对与各所述流程对应的视频信息进行验证，得到面签双录结果；所述视频信息为用户针对各所述面签待确认信息现场回答的录像视频；
通过模块14，用于在所述面签双录结果为通过之后，接收到用户跟读收集数据；所述用户跟读收集数据是指录制的所述用户现场跟读所述面签跟读信息的视频数据；
生成模块15，用于根据所述身份识别结果和所述面签双录结果，生成面签结果清单，将所述用户跟读收集数据、所述面签跟读信息和所述面签结果清单加密压缩得到面签验证数据，并存储所述面签验证数据；
通知模块16，用于接收到面签验证结果，并将所述面签验证结果通知至所述用户；所述面签验证结果是指对所述面签验证数据进行视频验证获得；所述面签验证结果表征了针对所述面签请求进行的面签验证是否通过。
关于面签验证装置的具体限定可以参见上文中对于面签验证方法的限定，在此不再赘述。上述面签验证装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面签验证方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中面签验证方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中面签验证方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面签验证方法，其特征在于，包括：
接收到用户确认的面签请求，所述面签请求包括面签流程信息、身份信息和面签跟读信息；
根据所述身份信息对所述用户进行身份验证，并获取身份识别结果；
在所述身份识别结果为身份验证通过时，获取与所述面签流程信息中的每一流程对应的面签待确认信息，通过语音识别技术和人脸锁定识别技术，对与各所述流程对应的视频信息进行验证，得到面签双录结果；所述视频信息为用户针对各所述面签待确认信息现场回答的录像视频；
在所述面签双录结果为通过之后，接收到用户跟读收集数据；所述用户跟读收集数据是指录制的所述用户现场跟读所述面签跟读信息的视频数据；
根据所述身份识别结果和所述面签双录结果，生成面签结果清单，将所述用户跟读收集数据、所述面签跟读信息和所述面签结果清单加密压缩得到面签验证数据，并存储所述面签验证数据；
接收到面签验证结果，并将所述面签验证结果通知至所述用户；所述面签验证结果是指对所述面签验证数据进行视频验证获得；所述面签验证结果表征了针对所述面签请求进行的面签验证是否通过。
2.如权利要求1所述的面签验证方法，其特征在于，所述根据所述身份信息对所述用户进行身份验证，并获取身份识别结果，包括：
获取所述身份信息中的身份证正反面信息，通过OCR技术，对所述身份证正反面信息进行识别及提取，得到待核对身份证信息并触发活体检测请求；
在所述用户完成活体检测之后，获取在活体检测过程中采集的所述用户的待识别人脸信息；
自身份验证机构中获取与所述面签流程信息中的用户标识对应的身份证留样信息和人脸留样信息，将所述待核对身份证信息和所述身份证留样信息进行比对，得到所述身份证识别结果，同时将所述待识别人脸信息和所述人脸留样信息进行相似度比对，得到所述人脸比对结果；
根据所述身份证识别结果以及所述人脸比对结果生成身份识别结果。
3.如权利要求2所述的面签验证方法，其特征在于，所述通过语音识别技术和人脸锁定识别技术，对与各所述流程对应的视频信息进行验证，得到面签双录结果，包括：
播报所述面签流程信息中的所述流程的面签待确认信息，并获取用户在预设时长之内回答所述面签待确认信息的现场录像视频；
对所述现场录像视频进行音频提取，得到确认语音信息，同时对所述现场录像视频进行图像提取，得到确认视频图像；
通过语音识别技术对所述确认语音信息进行识别，得到语音结果，同时通过人脸锁定识别技术，对所述确认视频图像进行人脸锁定识别，得到人脸锁定结果；
根据所述语音结果和所述人脸锁定结果，确定与所述流程对应的确认结果；
若与所述面签流程信息中的任一所述流程对应的所述确认结果为不通过，确定所述面签双录结果为不通过；
若与所述面签流程信息中的所有所述流程对应的所述确认结果均为通过，确定所述面签双录结果为通过。
4.如权利要求3所述的面签验证方法，其特征在于，所述通过人脸锁定识别技术，对所述确认视频图像进行人脸锁定识别，得到人脸锁定结果，包括：
将所述待识别人脸信息和所有所述确认视频图像输入人脸锁定检测模型；
通过人脸锁定检测模型对所有所述确认视频图像进行视频帧抽取，得到至少一个视频帧图像；
通过所述人脸锁定检测模型提取所述待识别人脸信息和各所述视频帧图像中的人脸区域图像；
通过所述人脸锁定检测模型对各所述人脸区域图像进行人脸特征提取以及特征偏差分析，得到偏差值；
根据所述偏差值和偏差预设范围，确定所述人脸锁定结果。
5.如权利要求2所述的面签验证方法，其特征在于，所述接收到面签验证结果，包括：
对所述面签验证数据进行解密和解压，获得用户跟读还原数据、跟读还原信息和验证还原清单；
将所述用户跟读还原数据拆分出跟读音频文件和跟读视频文件；
将所述跟读音频文件和所述跟读还原信息输入跟读语音检测模型，同时将所述待识别人脸信息和所述跟读视频文件输入跟读视频检测模型；
通过所述跟读语音检测模型对所述跟读音频文件进行语音识别以及与所述跟读还原信息进行对比，得到跟读语音识别结果，同时通过所述跟读视频检测模型对所述跟读视频文件中的跟读图像进行人脸区域检测以及与所述待识别人脸信息进行人脸比对，得到跟读视频识别结果；
接收所述面签验证结果；所述面签验证结果为根据所述面签结果清单、所述跟读语音识别结果和所述跟读视频识别结果进行确定后发出。
6.如权利要求5所述的面签验证方法，其特征在于，所述通过所述跟读视频检测模型对所述跟读视频文件中的跟读图像进行人脸区域检测以及与所述待识别人脸信息进行人脸比对，得到跟读视频识别结果，包括：
通过所述跟读视频检测模型对所述跟读视频文件进行图像抽取，得到至少一个所述跟读图像；
通过所述跟读视频检测模型对所述跟读图像进行人脸检测，识别出跟读人脸区域图像；
通过所述跟读视频检测模型将所述跟读人脸区域图像和所述待识别人脸信息进行人脸比对，得到与所述跟读图像对应的跟读图像识别结果；
根据所有所述跟读图像识别结果确定出所述跟读视频识别结果。
7.如权利要求1所述的面签验证方法，其特征在于，所述获取身份识别结果之后，还包括：
在所述身份识别结果为身份验证失败时，弹出验证失败信息并提示用户重新进行身份验证。
8.一种面签验证装置，其特征在于，包括：
接收模块，用于接收到用户确认的面签请求，所述面签请求包括面签流程信息、身份信息和面签跟读信息；
获取模块，用于根据所述身份信息对所述用户进行身份验证，并获取身份识别结果；
识别模块，用于在所述身份识别结果为身份验证通过时，获取与所述面签流程信息中的每一流程对应的面签待确认信息，通过语音识别技术和人脸锁定识别技术，对与各所述流程对应的视频信息进行验证，得到面签双录结果；所述视频信息为用户针对各所述面签待确认信息现场回答的录像视频；
通过模块，用于在所述面签双录结果为通过之后，接收到用户跟读收集数据；所述用户跟读收集数据是指录制的所述用户现场跟读所述面签跟读信息的视频数据；
生成模块，用于根据所述身份识别结果和所述面签双录结果，生成面签结果清单，将所述用户跟读收集数据、所述面签跟读信息和所述面签结果清单加密压缩得到面签验证数据，并存储所述面签验证数据；
通知模块，用于接收到面签验证结果，并将所述面签验证结果通知至所述用户；所述面签验证结果是指对所述面签验证数据进行视频验证获得；所述面签验证结果表征了针对所述面签请求进行的面签验证是否通过。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述面签验证方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述面签验证方法。
CN202011182020.7A 2020-10-29 2020-10-29 面签验证方法、装置、计算机设备及存储介质 Pending CN112288398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011182020.7A CN112288398A (zh) 2020-10-29 2020-10-29 面签验证方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011182020.7A CN112288398A (zh) 2020-10-29 2020-10-29 面签验证方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112288398A true CN112288398A (zh) 2021-01-29

Family

ID=74354269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011182020.7A Pending CN112288398A (zh) 2020-10-29 2020-10-29 面签验证方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112288398A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818175A (zh) * 2021-02-07 2021-05-18 中国矿业大学 一种厂区工作人员搜索方法及人员识别模型的训练方法
CN113032758A (zh) * 2021-03-26 2021-06-25 平安银行股份有限公司 视讯问答流程的身份识别方法、装置、设备及存储介质
CN113052087A (zh) * 2021-03-29 2021-06-29 杭州京威盛智能科技有限公司 基于yolov5模型的人脸识别方法
CN113362184A (zh) * 2021-05-24 2021-09-07 平安科技（深圳）有限公司 基于签署用印的面签验证方法、装置、计算机设备及介质
CN113592630A (zh) * 2021-08-02 2021-11-02 中国银行股份有限公司 基于区块链的信用卡面签方法及装置
CN114092121A (zh) * 2022-01-18 2022-02-25 成都车晓科技有限公司 基于大数据及图像识别技术的远程面签方法及系统
CN114677634A (zh) * 2022-05-30 2022-06-28 成都新希望金融信息有限公司 面签识别方法、装置、电子设备及存储介质
CN115189911A (zh) * 2022-05-30 2022-10-14 平安科技（深圳）有限公司 面签文件的生成方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171463A (zh) * 2017-12-01 2018-06-15 平安科技（深圳）有限公司 一种远程面签方法、电子装置及计算机可读存储介质
CN109117688A (zh) * 2017-06-22 2019-01-01 腾讯科技（深圳）有限公司 身份认证方法、装置及移动终端
CN110555330A (zh) * 2018-05-30 2019-12-10 百度在线网络技术（北京）有限公司 图像面签方法、装置、计算机设备及存储介质
CN110557376A (zh) * 2019-08-01 2019-12-10 平安科技（深圳）有限公司 电子合同签署方法、装置、计算机设备及存储介质
CN111784498A (zh) * 2020-06-22 2020-10-16 北京海益同展信息科技有限公司 身份认证方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117688A (zh) * 2017-06-22 2019-01-01 腾讯科技（深圳）有限公司 身份认证方法、装置及移动终端
CN108171463A (zh) * 2017-12-01 2018-06-15 平安科技（深圳）有限公司 一种远程面签方法、电子装置及计算机可读存储介质
CN110555330A (zh) * 2018-05-30 2019-12-10 百度在线网络技术（北京）有限公司 图像面签方法、装置、计算机设备及存储介质
CN110557376A (zh) * 2019-08-01 2019-12-10 平安科技（深圳）有限公司 电子合同签署方法、装置、计算机设备及存储介质
CN111784498A (zh) * 2020-06-22 2020-10-16 北京海益同展信息科技有限公司 身份认证方法、装置、电子设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818175A (zh) * 2021-02-07 2021-05-18 中国矿业大学 一种厂区工作人员搜索方法及人员识别模型的训练方法
CN112818175B (zh) * 2021-02-07 2023-09-01 中国矿业大学 一种厂区工作人员搜索方法及人员识别模型的训练方法
CN113032758A (zh) * 2021-03-26 2021-06-25 平安银行股份有限公司 视讯问答流程的身份识别方法、装置、设备及存储介质
CN113052087A (zh) * 2021-03-29 2021-06-29 杭州京威盛智能科技有限公司 基于yolov5模型的人脸识别方法
CN113362184A (zh) * 2021-05-24 2021-09-07 平安科技（深圳）有限公司 基于签署用印的面签验证方法、装置、计算机设备及介质
CN113362184B (zh) * 2021-05-24 2023-10-27 平安科技（深圳）有限公司 基于签署用印的面签验证方法、装置、计算机设备及介质
CN113592630A (zh) * 2021-08-02 2021-11-02 中国银行股份有限公司 基于区块链的信用卡面签方法及装置
CN114092121A (zh) * 2022-01-18 2022-02-25 成都车晓科技有限公司 基于大数据及图像识别技术的远程面签方法及系统
CN114677634A (zh) * 2022-05-30 2022-06-28 成都新希望金融信息有限公司 面签识别方法、装置、电子设备及存储介质
CN114677634B (zh) * 2022-05-30 2022-09-27 成都新希望金融信息有限公司 面签识别方法、装置、电子设备及存储介质
CN115189911A (zh) * 2022-05-30 2022-10-14 平安科技（深圳）有限公司 面签文件的生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112288398A (zh) 面签验证方法、装置、计算机设备及存储介质
US11108546B2 (en) Biometric verification of a blockchain database transaction contributor
RU2718226C2 (ru) Системы и способы безопасного обращения с биометрическими данными
JP4616335B2 (ja) 認証サーバ装置及び端末装置及び認証システム及び認証方法
US20220029799A1 (en) System and method for creating one or more hashes for biometric authentication in real-time
US10313338B2 (en) Authentication method and device using a single-use password including biometric image information
US9213811B2 (en) Methods and systems for improving the security of secret authentication data during authentication transactions
CN110557376A (zh) 电子合同签署方法、装置、计算机设备及存储介质
US20140283022A1 (en) Methods and sysems for improving the security of secret authentication data during authentication transactions
US20140020058A1 (en) Methods and systems for improving the security of secret authentication data during authentication transactions
CN116383793B (zh) 人脸数据处理方法、装置、电子设备和计算机可读介质
JP7236042B2 (ja) 準同型暗号を用いた顔認証のアプリケーション
CN114596639A (zh) 一种生物特征识别方法、装置、电子设备及存储介质
WO2023142453A1 (zh) 生物特征识别方法、服务器以及客户端
CN116756750A (zh) 医疗敏感数据采集脱敏方法
CN112367314B (zh) 身份认证的方法、装置、计算设备和介质
Rieger et al. Efficient iris sample data protection using selective jpeg2000 encryption of normalised texture
CN108921085B (zh) 身份验证方法、装置及设备
CN113362184A (zh) 基于签署用印的面签验证方法、装置、计算机设备及介质
CN109003190B (zh) 一种核保方法、计算机可读存储介质及终端设备
Koteswari et al. vc of IRIS Images for ATM Banking
KR20040074358A (ko) 신분증 위변조 검증 방법
CN113052609B (zh) 用于自动取款机的安全防控方法、装置、电子设备和介质
CN109299945B (zh) 一种基于生物识别算法的身份验证的方法及装置
Li et al. Privacy protection based on binary fingerprint compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination