CN115457441A - 进行远程视频面签的风险识别方法 - Google Patents

Abstract

本申请提供了一种进行远程视频面签的风险识别方法，所述方法包括：接收客户端发送的实时视频；得到目标用户在视频中的图像中的位置；计算图像边缘ORB特征点的光流向量并获取大于第一预设数值的ORB特征点的数量；当数量大于第二预设数值，判断拍摄装置在晃动并计算补偿向量；计算所述当前图像ORB特征点的光流向量值；利用补偿向量计算得到图像ORB特征点的光流向量值；将相同光流向量值的ORB特征点划分为多个向量簇；用边界框标识每个向量簇并获取每一边界框的位置并计算与目标用户的位置之间的距离；当大于预设距离阈值时，则判断为所述用户未处于安全环境，并发送预警信息至业务端以进行告警。本申请提高了远程视频面签的安全性。

Description

进行远程视频面签的风险识别方法

技术领域

本发明涉及银行的远程视频面签领域，尤其涉及一种进行远程视频面签的风险识别方法。

背景技术

目前的银行个人贷款远程视频面签业务场景是，用户处于相对封闭的环境，坐席人员对用户提交的个人申请贷款信息进行合规性和风险性地排查，对于有问题或不完善的信息会让客户回答并录入系统，整个视频过程中，监管要求必须由客户独立口述完成，对于客户面核环境中出现的可疑移动物体，需要人工排查和询问，以此保证线上面核风险问题的尽查尽调。面对较多的业务流程，坐席人员很难时刻关注客户的视频环境，且坐席工作素质能力参差不齐，很难做到全检全查，若工作人员漏查错查，可能会造成风险客户贷款的发生，继而变成坏账。目前的业务场景中采用基于微表情的端到端模型方法来识别客户风险，准确率不能保证，可解释性不强。

发明内容

本发明提供了一种进行远程视频面签的风险识别方法。本申请提高了远程视频面签的安全性

本发明第一方面提供一种进行远程视频面签的风险识别方法。该方法包括：接收客户端发送的对目标用户拍摄的实时视频，所述视频由拍摄装置拍摄；对所述视频的若干视频帧中的目标用户和目标用户周围的背景进行分割得到目标用户在当前图像中的位置；提取所述当前图像的边缘的ORB特征点得到边缘ORB特征点，并计算所述边缘ORB特征点的光流向量得到边缘光流向量值；获取所述边缘光流向量值大于第一预设数值的ORB特征点的数量；当所述数量大于第二预设数值，判断所述拍摄装置在晃动并应用预设算法计算对所述晃动进行补偿的补偿向量；提取所述当前图像的ORB特征点得到图像ORB特征点，并计算所述图像ORB特征点的光流向量值得到待定光流向量值；利用补偿向量对所述待定光流向量值进行补偿得到图像ORB特征点的光流向量值；将相同光流向量值的ORB特征点划分为一个向量簇得到一个或者多个向量簇；用每一边界框标识一个向量簇并获取每一边界框的位置；计算每一边界框的位置与目标用户的位置之间的距离；若出现所述距离大于预设距离阈值时，则判断为所述目标用户未处于安全的封闭空间，并发送预警信息至业务端以对当前面签进程进行告警。

本发明第二方面提供一种计算机设备，其特征在于，所述计算机设备包括：

计算机可读存储介质，用于存储程序指令；

处理器，用于执行所述程序指令以实现所述的进行远程视频面签的风险识别方法。

本发明第三方面提供一种进行远程视频面签的风险识别平台，其特征在于，所述进行远程视频面签的风险识别平台用于实现所述进行远程视频面签的风险识别方法，所述平台包括：

客户端；

业务端；

服务器端，包括：

存储器，用于存储计算机程序指令，

处理器，用于执行所述计算机程序指令以实现所述的进行远程视频面签的风险识别方法。

本申请通过获取与用户进行远程视频中的视频帧，提取视频帧边缘的ORB特征点，并根据ORB特征点的光路向量数值判断拍摄装置是否晃动。当拍摄装置晃动时，对图像中的ORB特征点的光流向量值进行向量补偿，在通过计算图像中所有的ORB特征点的光流向量数值，获取数值相同的特征点划分为多个物体，并用边界框标识所述多个物体，通过分析所述多个物体与目标用户之间的距离判断用户所处环境是否安全。相较于现有的深度学习算法，提取ORB特征点计算量更少，并结合拍摄装置是否晃动，提高了判断的准确性和贷款进程的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本申请第一实施例提供的进行远程视频面签的风险识别方法的系统架构示意图。

图2为本申请第一实施例提供的进行远程视频面签的风险识别方法的流程图。

图3为本申请第一实施例提供的ORB特征点的示意图。

图4为本申请实施例提供的用边界框标识的目标用户和物体的示意图。

图5为本申请实施例提供的进行远程视频面签的风险识别方法的计算机设备内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，如下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

本申请提供了一种进行远程视频面签的风险识别方法。所述方法应用于后端服务器，如图1所示，所述服务器1与客户端服务器2和业务端服务器3进行通讯连接。所述客户端服务器可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。所述客户端服务器上安装有拍摄装置，用于在进行远程视频面签的过程中拍摄目标用户；所述拍摄装置还可以设置于客户端服务器的外部，通络网络进行连接通讯。所述后端服务器用于处理所述视频，并将预警信息发送至客户端服务器和业务端服务器。

请结合参看图2，其为本申请第一实施例提供的进行远程视频面签的风险识别方法的流程图。该进行远程视频面签的风险识别方法包括步骤S101-S111。

步骤S101，接收客户端发送的对目标用户拍摄的实时视频，所述视频由拍摄装置拍摄。在客户想通过银行进行贷款时，银行的工作人员会问客户一些个人信息，例如贷款的用途，贷款人的经济状况等，由于疫情或者贷款人的个人原因需要通过视频的方式进行面签时，工作人员要对贷款人的面前过程进行风险管理，客户和工作人员可以通过银行的APP中的远程视频功能进行远程视频面签。所述拍摄装置可以为手机端的前置摄像头、电脑的摄像头、可以与客户端进行通讯连接的摄像装置，例如，可以与手机端进行通讯的摄像机。

例如，当周先生需要和银行的工作人员进行远程视频面签时，进入手机端的口袋APP中，点击远程视频功能的按钮向工作人员申请远程视频，手机端将所述请求发送至后端服务器，后端服务器将所述请求发送至业务端。通过手机端的前置摄像头，手机端可以将周先生和周先生周围环境实时发送至后端服务器，以使后端服务器对周先生的周围的环境进行分析。

步骤S102，对所述视频的若干视频帧中的目标用户和目标用户周围的背景进行分割得到目标用户在当前图像中的位置。后端从客户端获取的视频由若干视频帧组成，每个视频帧中目标用户都会做出不同的动作，所处位置也会在当前画面中变化，所述目标用户在当前图像中的位置为目标用户活动的大致位置。通过前背景分离技术、人脸识别技术和先验知识获取目标用户的大致活动范围，所述先验知识包括目标用户的在图像中大致所占比例。

例如，在周先生和工作人员进行远程视频的开始阶段，获取视频帧，通过人脸识别技术获取周先生的人脸位置，再通过先验知识，例如，周先生在视频帧中所占比例的大小，周先生在视频帧中可能出现的位置，例如，胳膊的抖动，前后位置的移动等，获取周先生在当前视频帧中出现的大致位置，例如一个视频帧的大小是50乘50cm，客户处于居中位置，所占大小大约为25乘25cm。

步骤S103，提取所述当前图像的边缘的ORB特征点得到边缘ORB特征点，并计算所述边缘ORB特征点的光流向量得到边缘光流向量值。ORB算法用来对图像中的关键点快速创建特征向量，假设视频帧中的物体都是刚性物体，各个部分的运动向量相同，通过对图像中的关键点创建特征向量可以区分不同的物体。关键点即图像中突出的小区域，比如角点，比如它们具有像素值急剧的深色和浅色变化的特征。所述角点可以理解为极值点，如图3所示，例如，图像中的线段的终点4、物体轮廓线5、连接点6等。所述特征点是能够在含有相同场景或目标的相似图像中以一种相同的或至少非常相似的不变形式表示图像或目标，对于同一个物体或场景，从不同的角度采集多幅图片，如果相同的地方能够被识别出来是相同的，则这些点或块称为特征点。获取图像边缘的特征点和角点，例如光线照射引起物体表面亮度不同，图像边缘的物体在图像上会有很多角点，物体表面不光滑也会有很多角点，获取图像的边缘的特征点并计算所述边缘特征点的特征向量。图像中，目标用户在图像中间移动，图像边缘的物体在较为封闭的环境下处于静止状态，则图像边缘的物体上的特征点的运动向量趋于零。

例如，周先生在客厅中与目标用户进行视频，客厅中有沙发、洗衣机、电视机等，在获取的视频帧中，周先生处于视频的中间位置，视频图像的边缘有沙发、洗衣机等物体，由于洗衣机、电视机等物体表面会有很多边框，通过所述边框可以获取图像边缘的角点或特征点，并计算这些角点或特征点在视频帧中的特征向量。

步骤S104，获取所述边缘光流向量值大于第一预设数值的ORB特征点的数量。当拍摄目标用户的拍摄装置晃动时，视频帧边缘的物体的运动向量远大于零，将物体运动向量分解为的相对地面的水平方向和垂直方向的运动向量，设置水平方向的阈值为0.01m/s，垂直方向的阈值为0.01m/s，当图像边缘的特征点的水平方向和垂直方向的运动向量都超过阈值时，则判断为所述特征点超过预设运动向量阈值，获取图像边缘特征点的运动向量数值大于所述预设运动向量阈值的数量，或者计算数值大于预设阈值的特征点在边缘特征点中的比例。

例如，周先生通过电脑端的摄像头与工作人员进行视频，电脑端不易移动，则视频帧边缘的特征点的运动向量趋于零，可能由于室内通风会使图像边缘的特征点发生轻微位移，例如窗帘的轻微移动，但是边缘特征点的大部分的特征向量都趋于零，假如图像边缘有200个特征点，其中运动向量数值趋于零的特征点有150 个，则运动向量大于阈值的特征点占所有特征点中的比例为四分之一。

例如，周先生通过手机的前端摄像头与工作人员进行视频，周先生是用手拿着手机，在视频过程由于周先生的移动会产生手机端晃动，则图像边缘的特征点会随着手机端的晃动而产生运动向量，假如图像边缘有200个特征点，其中运动向量超过阈值的有180个，则运动向量大于阈值的特征点占所有特征点的比例的百分之九十。

步骤S105，当所述数量大于第二预设数值，判断所述拍摄装置在晃动并应用预设算法计算对所述晃动进行补偿的补偿向量。当图像边缘的光流向量数值大于预设阈值的ORB特征点的数量大于一定数量，则判断拍摄装置运动，或者大于预设阈值ORB特征点的数量占图像边缘所有ORB特征点的比例大于预设比例值，所述一定数量和预设比例值由开发人员设置为所述第二预设数值。应用RANSAC算法计算由于拍摄装置晃动的产生的补偿向量，例如，拍摄装置相对于初始位置的运动向量为先向左移动1cm后，在向上移动2cm，则补偿向量为先向下移动2cm，再像右移动1cm;补偿向量的数值和方向与拍摄装置运动的数值和方向相反。

若补偿后特征点的光流向量数值过小例如每秒几微米，则可以忽略此特征点。

例如，当时周先生再视频过程中进行活动时，视频帧边缘的特征点会有大部分的特征点的光流向量值远大于零，若周先生的手机向上平移了4cm后又向左平移了3cm，则计算周先生的手机的补偿向量为先向右平移了3cm后又向下平移了4cm。

步骤S106，提取所述当前图像的ORB特征点得到图像ORB特征点，并计算所述图像ORB特征点的光流向量值得到待定光流向量值。提取当前图像中所有的ORB特征点，包括目标用户和目标用户所在的背景的ORB特征点，计算图像中所有的ORB特征点的光流向量数值。

例如，周先生在视频的过程中，计算周先生的每一处特征点和背景中的特征点的光流向量数值，例如，若环境背景中有其他人的出现，有纸条、本子、背影等，计算背景中突然出现的特征点和已经存在的特征点的全部特征向量数值。因为拍摄装置在晃动，则图像中的所有特征点的光流向量数值还会受到拍摄装置的移动的影响，为待定特征向量数值。

步骤S107，利用补偿向量对所述待定光流向量值进行补偿得到图像ORB特征点的光流向量值。对当前计算得到的待定光流向量进行向量数值的补偿得到假设拍摄装置没有在晃动时，图像中的所有物体的光流向量值。

例如，周先生应用手机在客厅进行视频，周先生不可能是静止不动的，手机一定会产生晃动，图像中的周先生，客厅中的桌子，茶几，电视机这些不动的物体也会因为手机的晃动产生大于零的光流向量数值，将计算得到的补偿向量对图像中的桌子、茶几、客厅等的光流向量值进行补偿，使环境中原本不动的物体的光流向量数值为零。

步骤S108，将相同光流向量值的ORB特征点划分为一个向量簇得到一个或者多个向量簇。应用CLIQUE聚类方法将图像中的光流向量数值相同的特征点划分为一个向量簇。对每一帧图像进行图像处理和人脸识别算法、先验知识等技术对目标客户的活动范围进行大致判断，根据若干帧图像得到目标客户的大致运动范围，若在环境中还检测到很多不同的运动向量数值的向量，则可获得多个向量簇，例如有其他人给目标用户传递纸条，有其他人的背影多次出现在视频图像中。

步骤S109，用每一边界框标识一个向量簇并获取每一边界框的位置。所述边界框为矩形框。在图像的检测任务中，需要同时预测物体和位置，所述矩形框可以将相同光流向量数值的向量圈起来并可以输出矩形框的位置。例如，背景图像中有陌生人甲，物体乙，物体丙，则用4个边界框将目标用户和陌生人甲、物体甲、物体乙和物体丙标识出来，并获取边界框在图像中位置数据。

步骤S110，计算每一边界框的位置与目标用户的位置之间的距离。获取边界框的位置数据后，如图4所示，若有边界框7包含边界框8的情况，则忽略边界框8，当边界框面积过小。例如小于10mm乘以10mm，可以忽略边界框，不对其进行分析和处理，根据若干视频帧在图像中确定目标用户9的大致位置，和若干物体，例如，陌生人甲10，物体乙11，物体丙12与目标用户9之间的距离。

步骤S111，若出现所述距离大于预设距离阈值时，则判断为所述目标用户未处于安全的封闭空间，并发送预警信息至业务端以对当前面签进程进行告警。

当边界框标识的物体与目标物体的距离较远时，判断物体为危险物体，当前目标用户可能处于危险环境下，例如被胁迫进行贷款或者在陌生人的指引下进行贷款，后端发送预警信息至业务端以通知工作人员当前视频进程可能存在危险，需要人工处理。所述预警信息可以为业务端闪灯或者发送邮件的方式，工作人员可以对目标用户进行定位，必要时可以通知警方进行干预。

后端在判断出环境危险时，还要发送语音以提示目标用户当前环境不稳定，是否考虑换一个环境，或调整环境。

当边界框标识的物体与目标物体的距离较近时，可以视为目标用户的自身的移动。

在目标用户与工作人员进行视频的过程中，实时获取新的视频帧，若背景图像中有新的物体进入，则视频帧中会有新的ORB特征点，将一个图像中的所有的ORB特征点的最大数量设置为1500个，若图像中的ORB特征点的数量过多时，对特征点进行去重和稀疏化以使特征点不超过预设特征点数值。

本申请还提供一种计算机设备900，请结合参看图5，其为本申请第一实施例提供的计算机设备900的内部结构示意图。进一步的，该计算机嵌入式设备为HUD。计算机设备900至少包括存储器901、处理器902。具体地，存储器901，用于存储进行远程视频面签的风险识别方法的程序指令。处理器902，用于执行程序指令以使计算机设备900实现上述的进行远程视频面签的风险识别方法。

其中，存储器901至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器901不仅可以用于存储安装于计算机设备900的应用软件及各类数据，例如，进行远程视频面签的风险识别方法的控制指令等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器902在一些实施例中可以是中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器901中存储的程序指令或处理数据。具体地，处理器902执行进行远程视频面签的风险识别方法的程序指令以控制计算机设备900实现进行远程视频面签的风险识别方法。

进一步地，总线903可以是外设部件互连标准总线(peripheral componentinterconnect，简称PCI)或扩展工业标准结构总线(extended industry standardarchitecture，简称EISA)等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，计算机设备900还可以包括显示组件904。显示组件904可以是LED（Light Emitting Diode，发光二极管）显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示组件904也可以适当的称为显示装置或显示单元，用于显示在计算机设备900中处理的信息以及用于显示可视化的用户界面。

进一步地，计算机设备900还可以包括通信组件905，通信组件905可选的可以包括有线通信组件和/或无线通信组件（如WI-FI通信组件、蓝牙通信组件等），通常用于在计算机设备900与其他计算机设备之间建立通信连接。

图5仅示出了具有组件901-905以及实现进行远程视频面签的风险识别方法的程序指令的计算机设备900，本领域技术人员可以理解的是，图5示出的结构并不构成对计算机设备900的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，具体地，计算机设备900的处理器902执行进行远程视频面签的风险识别方法的程序指令以控制计算机设备900实现可运动物体的运动轨迹的预测方法的详细过程。可以参考上述方法实施例中的对应过程，在此不再赘述。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

以上所列举的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (10)

1.一种进行远程视频面签的风险识别方法，其特征在于，所述方法包括：

接收客户端发送的对目标用户拍摄的实时视频，所述视频由拍摄装置拍摄；

对所述视频的若干视频帧中的目标用户和目标用户周围的背景进行分割得到目标用户在当前图像中的位置；

提取所述当前图像的边缘的ORB特征点得到边缘ORB特征点，并计算所述边缘ORB特征点的光流向量得到边缘光流向量值；

获取所述边缘光流向量值大于第一预设数值的ORB特征点的数量；

当所述数量大于第二预设数值，判断所述拍摄装置在晃动并应用预设算法计算对所述晃动进行补偿的补偿向量；

提取所述当前图像的ORB特征点得到图像ORB特征点，并计算所述图像ORB特征点的光流向量值得到待定光流向量值；

利用补偿向量对所述待定光流向量值进行补偿得到图像ORB特征点的光流向量值；

将相同光流向量值的ORB特征点划分为一个向量簇得到一个或者多个向量簇；

用每一边界框标识一个向量簇并获取每一边界框的位置；

计算每一边界框的位置与目标用户的位置之间的距离；

若出现所述距离大于预设距离阈值时，则判断为所述目标用户未处于安全的封闭空间，并发送预警信息至业务端以对当前面签进程进行告警。

2.如权利要求1所述的进行远程视频面签的风险识别方法，其特征在于，所述方法包括：

若每一边界框的位置与目标用户的位置之间的距离都小于预设距离阈值，则判断为所述目标用户处于安全的封闭空间。

3.如权利要求1所述的进行远程视频面签的风险识别方法，其特征在于，所述方法还包括：

根据所述每一边界框的位置对所述每一边界框进行去冗和融合操作得到若干边界框。

4.如权利要求1所述的进行远程视频面签的风险识别方法，其特征在于，所述方法还包括：

根据所述若干边框的位置数据信息对所述若干边界框进行去冗和融合操作得到若干边界框。

5.如权利要求1所述的进行远程视频面签的风险识别方法，其特征在于，所述方法还包括：

当所述数量大于第二预设数值，判断所述拍摄装置处于静止状态；

提取所述当前图像的ORB特征点得到图像ORB特征点，并计算所述图像ORB特征点的光流向量值得到光流向量值；

将相同光流向量值的ORB特征点划分为一个向量簇得到一个或者多个向量簇；

用每一边界框标识一个向量簇并获取每一边界框的位置；

计算每一边界框的位置与目标用户的位置之间的距离；

若出现所述距离大于预设距离阈值时，则判断为所述目标用户未处于安全的封闭空间，并发送预警信息至业务端以对当前面签进程进行告警。

6.如权利要求1所述的进行远程视频面签的风险识别方法，其特征在于，所述方法还包括：

实时接收客户端发送的新的视频并提取所述新的视频的图像ORB特征点得到若干新的ORB特征点；

根据预设条件对所述若干新的ORB特征点进行去重和稀疏化。

7.如权利要求1所述的进行远程视频面签的风险识别方法，其特征在于，所述方法还包括：

计算所述图像的ORB的光流向量值得到图像中的ORB光流向量值；

获取所述光流向量值小于第三预设数值的ORB特征点；

在所述图像中去除所述光流向量值小于第三预设数值的ORB特征点。

8.如权利要求1所述的进行远程视频面签的风险识别方法，其特征在于，所述方法还包括：

当判断为所述目标用户未处于安全的封闭空间，发送预警信息至客户端以提示目标用户调整当前所处环境。

9.一种计算机设备，其特征在于，所述计算机设备包括：

计算机可读存储介质，用于存储程序指令；

处理器，用于执行所述程序指令以实现如权利要求1至8 中任意一项所述的进行远程视频面签的风险识别方法。

10.一种进行远程视频面签的风险识别平台，其特征在于，所述进行远程视频面签的风险识别平台用于实现所述进行远程视频面签的风险识别方法，所述平台包括：

客户端；

业务端；

后端服务器端，包括：

存储器，用于存储计算机程序指令，

处理器，用于执行所述计算机程序指令以实现如权利要求1~8任一项所述的进行远程视频面签的风险识别方法。

Images