CN111027987A

CN111027987A - 自助实时音视频远程面签方法、系统、装置及可存储介质

Info

Publication number: CN111027987A
Application number: CN201911213222.0A
Authority: CN
Inventors: 周波
Original assignee: Zhejiang Huifu Network Technology Co Ltd
Current assignee: Zhejiang Huifu Network Technology Co Ltd
Priority date: 2019-12-02
Filing date: 2019-12-02
Publication date: 2020-04-17

Abstract

本申请公开了一种自助实时音视频远程面签方法、系统、装置及可存储介质，本发明提供的远程视频系统，通过自动身份核实以及实时远程视频就可以完成面签，极大的减小了人为因素的错误，提高了安全性，提高了银行人员面签效率；本发明提供的机器面签系统，在没有面签经理的情况下，客户可以自助完成面签工作，减少了客户的等待时间，减少客户的时间成本，减轻了银行的负担。

Description

自助实时音视频远程面签方法、系统、装置及可存储介质

技术领域

本申请涉及视频面签技术领域，尤其涉及一种自助实时音视频远程面签方法、系统、装置及可存储介质。

背景技术

随着银行业务信息化不断提高，互联网金融在银行业务中的应用越来越多。互联网金融，是通过将先进的信息化技术运用到金融业务中，使得银行业务人员能够实时获得大量与客户相关的重要信息，从而便于操作，提高效率。互联网金融技术起源于近几年，是在银行人员做业务需要的基础上发展起来的。互联网金融的建立，不会对银行业务人员提高要求—为了提高业务的安全与效率，只需要手机操作就可以。虽然其背后的技术含量很高，可是对用户来说，只是非常简单、人性化的操作，不会增加业务人员的难度。

由于互联网金融系统需要与很多银行系统对接，因此也就存在许多缺陷。比如目前的面签就存在以下缺陷：(1)银行经理需要和客户面对面进行确认，客户资料没带齐需要多次来银行确认；(2)银行面签经理时间和客户的时间比较难一致；(3)各个支行不能共享资源进行合理的安排面签客户。

发明内容

为了解决上述技术问题，本申请实施例提供一种自助实时音视频远程面签方法、系统、装置及可存储介质。

本申请实施例第一方面提供了一种自助实时音视频远程面签方法，可包括：

获取远程视频面签中的图像数据，进行人像判定；

获取面签过程中的视频数据，其中视频数据包括对面签者的数据库问题随机抽取问答；

将整个面签过程的所有数据以报告形式生成。

进一步地，所述获取远程视频面签中的图像数据，进行人像判定包括：

获取人脸图像信息，数据库调取公安网纹照片进行比对，在相似率在预设阈值之上记为通过。

进一步地，所述获取远程视频面签中的图像数据，进行人像判定还包括：

获取面签人的多角度视频图像数据，鉴定是否是真人。

进一步地，所述获取面签过程中的视频数据，其中视频数据包括对面签者的数据库问题随机抽取问答包括：

采用远程通话方式进行实时录像，并根据数据库中的组合进行随机的组合形成本次面签所需要回答的问题，将整个问答问题的视频数据保存至后台并审核。

本申请实施例第二方面提供了一种自助实时音视频远程面签系统，包括：

信息填写单元，用于获取当前面签人的基本信息数据；

人脸识别单元，用于获取远程视频面签中的人脸图像数据，对面签人身份与实时视频图像的人脸数据进行比对；

面签问题抽选单元，用于从数据库中随机抽选若干问题供面签者回答，将整个问答过程的视频传输到审核端，进行在线或离线审阅。

进一步地，还包括：

活体检测单元，用于在通过人脸识别单元的检测后检测当前的面签人是否是真人，若为真人进入面前问题抽选单元。

进一步地，所述人脸识别单元包括：获取人脸图像信息，调取公安网纹照片进行比对，在相似率在预设阈值之上记为通过，在进行比对时，采集至少三张动作照片与公安网纹照片进行对比，将其中最大的相似率的数值进行判定。

进一步地，所述面签问题抽选单元包括：从问题数据库中随机抽选若干问题并结合必答问题进行视频面签问题回答，将整个过程的视频数据保存至后台。

第三方面，本申请实施例提供了一种面签装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现第一方面的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述第一方面的方法。

本申请实施例通过远程视频就可以完成面签工作，其中还包括人脸识别和活体检测机制，保证必须是客户本人，从而提高了安全性，提高了银行人员面签效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种面签方法的流程图；

图2是发明远程面签系统的结构示意图；

图3是本发明机器智能面签方法的流程图；

图4是本申请实施例所示的匹配的过程示例图；

图5是本申请实施例提供的一种面签装置的结构示意图；

图6是正则表达式对应的FSM状态转移示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到 [所描述条件或事件]”。

如图1所示，是本申请所涉及的一种自助实时音视频远程面签方法的流程图，具体包括：

101：获取远程视频面签中的图像数据，进行人像判定；

可以理解的是：获取人脸图像信息，数据库调取公安网纹照片进行比对，在相似率在预设阈值之上记为通过。获取面签人的多角度视频图像数据，鉴定是否是真人。

102：获取面签过程中的视频数据，其中视频数据包括对面签者的数据库问题随机抽取问答；

可以理解的是：采用远程通话方式进行实时录像，并根据数据库中的组合进行随机的组合形成本次面签所需要回答的问题，将整个问答问题的视频数据保存至后台并审核。

103：将整个面签过程的所有数据以报告形式生成。

本申请实施例还提供一种自助实时音视频远程面签系统，该系统用于执行前述任一项上述识别方法。具体地，包括：信息填写单元 310、人脸识别单元320、活体检测单元330和面签问题抽选单元340。

信息填写单元310，用于获取当前面签人的基本信息数据；

人脸识别单元320，用于获取远程视频面签中的人脸图像数据，对面签人身份与实时视频图像的人脸数据进行比对。

活体检测单元330，用于在通过人脸识别单元的检测后检测当前的面签人是否是真人，若为真人进入面前问题抽选单元。

面签问题抽选单元340，用于从数据库中随机抽选若干问题供面签者回答，将整个问答过程的视频传输到审核端，进行在线或离线审阅。

上述人脸识别单元320包括：获取人脸图像信息，调取公安网纹照片进行比对，在相似率在预设阈值之上记为通过，在进行比对时，采集至少三张动作照片与公安网纹照片进行对比，将其中最大的相似率的数值进行判定。

上述面签问题抽选单元340包括：从问题数据库中随机抽选若干问题并结合必答问题进行视频面签问题回答，将整个过程的视频数据保存至后台。

本发明的第一个目的是提供一种远程视频面签方法，通过远程视频就可以完成面签工作，其中还包括人脸识别和活体检测机制，保证必须是客户本人，从而提高了安全性，提高了银行人员面签效率。

实现本发明第一个目的的技术方案是，远程视频面签系统，包括人像比对、活体检测、视频通话、视频录制、评估和保存面签报告，人像比对是将面签人人脸拍照下来和面签人公安网纹照片进行比对，活体检测是保证面签人必须是真人且必须是本人，视频通话保证面签经理可以对面签客户进行问题抽查，确保信息的完整无误，最后通话视频会被录制下来作为凭证，面签经理根据对面签客户的提问来评估面签客户的真实性，最后生成面签报告。

作为一个具体的实施例，人像比对为组合多家人像比对算法得出的结果。视频通话模块采用网易云实时音视频机制。

本发明的第二个目的是提供机器智能面签方法。实现本发明第二个目的的技术方案是：机器智能面签方法包括以下步骤：

①填写面签人的个人信息；

②发起面签进行人脸识别；

③判断人脸识别度是否正常，若否会返回步骤①，若为是则进行下一步；

④进行活体检测；

⑤判断是否为本人，若为否则返回上一步，若为是则进行下一步；

⑥机器开始抽查问题询问客户，进行面签；

⑦判断抽查问题是否正确，若为否则返回上一步，若为是则进行下一步。

⑧保存机器智能面签的视频和面签报告。

其中，步骤⑦中的判断抽查问题是否正确算法具体为：

I、获取后台设置的面签问题；

II、将必问问题和抽查问题组合起来；

III、将组合后的问题按顺序一个个问面签人；

IV、面签回答之后通过语音识别技术读取面签人回答的信息；

V、将面签人回答的信息比对面签人实际信息；

VI、判断是否符合。

其中，步骤I中设置的问题是带字段标签的，这个标签和业务字段对应，在获取问题的时候就替换成了业务字段数据。

步骤II中抽查问题是在若干个选问问题中抽查需要的问题个数，需要的问题是后台设置好的值。

步骤IV中面签人回答的信息识别出来之后，需要用正则进行关键信息提取。

本申请中，正则表达式主要采用FSM算法。

给定正则表达式a(bb)+a，其中+表示匹配前面的子表达式一次或多次，所以字符串abba或abbbba都能被这个模式所匹配。

该正则表达式对应的FSM状态转移如图6所示，该FSM中，圈代表不同的状态。读入字符串时，就从一个状态进入另一个状态。FSM 有开始和匹配(匹配)两种特殊状态，分别位于头部和尾部。

如图4所示的是匹配的过程示例图，该状态机结束于最后一个状态，这是一个匹配成功的状态。若状态机结束于非匹配成功状态，那么匹配失败。如果在运行过程中，没有办法到达其他状态，那么状态机提前结束。

本发明提供的远程视频系统，通过自动身份核实以及实时远程视频就可以完成面签，极大的减小了人为因素的错误，提高了安全性，提高了银行人员面签效率。本发明提供的机器面签系统，在没有面签经理的情况下，客户可以自助完成面签工作，减少了客户的等待时间，减少客户的时间成本，减轻了银行的负担。

图5是本申请实施例提供的一种面签设备的结构示意图。该对象检测设备4000包括处理器41，还可以包括输入装置42、输出装置 43和存储器44。该输入装置42、输出装置43、存储器44和处理器 41之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(random access memory， RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图2仅仅示出了对象检测设备的简化设计。在实际应用中，动作识别装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的动作识别装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)) 或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read 至only memory，ROM)，或随机存储存储器(random access memory， RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

如图2-3所示，以app作为实施例，其界面上可以包括手机app、面签信息、人像识别、活体检测、视频面签、机器面签、视频保存和生成报告，与系统相匹配。

其使用方法，包括以下步骤：

①打开app。

②填写面签信息包括身份证正反面、意向金额、意向车型、选择前后置摄像头。

③发起面签，进行人脸识别。

④人脸识别成功之后，进入活体检测，活体检测的算法如下：

I.读取三张人脸动作照片

II.将三张照片与面签人在派出所存留的网纹照片进行比对

III.获得每张照片的相似度值

IV.去三张照片中最大相似度值

V.如果相似度大于80％则通过，否则需要重新进行活体检测

相似度比对主要采用：分块对比。

分块对比作为一种优化思路，让一张大图片的匹配变成许多小图片的匹配，这样可以使结果更为精确。

向量距离的计算，目前常用的算法是欧几里德距离算法。

将欲识别图片用以上算法到派出所存留的网纹照片进行分别匹配，得到多个相似度。我们让每个相似度乘以一个权重再先加，得出总相似度，总相似度最高的就是识别结果。

⑤判断活体检测是否成功，若为否则返回上一步，若为是则进行下一步。

⑥获取面签问题进行提问。

⑦客户回单机器所提问题。

⑧判断所回答问题是否正确，若为否则返回⑥，若为是则进行下一步

⑨完成提问之后，可以查看面签视频，判断视频是否有问题，若为否则返回②，若为是则进行下一步

⑩提交录制视频和报告。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。

Claims

1.一种自助实时音视频远程面签方法，其特征在于，包括：

获取远程视频面签中的图像数据，进行人像判定；

将整个面签过程的所有数据以报告形式生成。

2.根据权利要求1所述的自助实时音视频远程面签方法，其特征在于，

所述获取远程视频面签中的图像数据，进行人像判定包括：

3.根据权利要求2所述的自助实时音视频远程面签方法，其特征在于，

所述获取远程视频面签中的图像数据，进行人像判定还包括：

获取面签人的多角度视频图像数据，鉴定是否是真人。

4.根据权利要求2所述的自助实时音视频远程面签方法，其特征在于，

所述获取面签过程中的视频数据，其中视频数据包括对面签者的数据库问题随机抽取问答包括：

5.一种自助实时音视频远程面签系统，其特征在于，包括：

信息填写单元，用于获取当前面签人的基本信息数据；

6.根据权利要求5所述的自助实时音视频远程面签系统，其特征在于，

还包括：

7.根据权利要求6述的自助实时音视频远程面签系统，其特征在于，

所述人脸识别单元包括：获取人脸图像信息，调取公安网纹照片进行比对，在相似率在预设阈值之上记为通过，在进行比对时，采集至少三张动作照片与公安网纹照片进行对比，将其中最大的相似率的数值进行判定。

8.根据权利要求7述的自助实时音视频远程面签系统，其特征在于，

所述面签问题抽选单元包括：从问题数据库中随机抽选若干问题并结合必答问题进行视频面签问题回答，将整个过程的视频数据保存至后台。

9.一种面签装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1-4任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-4任意一项所述的方法。