CN108717663B - 基于微表情的面签欺诈判断方法、装置、设备及介质 - Google Patents

基于微表情的面签欺诈判断方法、装置、设备及介质 Download PDF

Info

Publication number
CN108717663B
CN108717663B CN201810485627.9A CN201810485627A CN108717663B CN 108717663 B CN108717663 B CN 108717663B CN 201810485627 A CN201810485627 A CN 201810485627A CN 108717663 B CN108717663 B CN 108717663B
Authority
CN
China
Prior art keywords
micro
expression
fraud
facial
microexpressive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810485627.9A
Other languages
English (en)
Other versions
CN108717663A (zh
Inventor
臧磊
傅婧
郭鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201810485627.9A priority Critical patent/CN108717663B/zh
Publication of CN108717663A publication Critical patent/CN108717663A/zh
Application granted granted Critical
Publication of CN108717663B publication Critical patent/CN108717663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03Credit; Loans; Processing thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于微表情的面签欺诈判断方法、装置、设备及可读存储介质,该方法包括:通过智能眼镜设备对当前面签用户的微表情视频流进行实时采集,微表情视频流包括当前面签用户问答过程的微表情;提取微表情欺诈识别模型,并根据微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果;根据微表情分析结果生成欺诈判断结论,并根据欺诈判断结论分析面签调整建议,将欺诈判断结论及面签调整建议显示在智能眼镜设备。本发明能够对欺诈进行检测,降低了人工审核的工作量,根据检测结果生成面签调整建议,并将欺诈分析结果和面签调整建议展示在智能眼镜,审核人员不需要关注其他设备,有利于提高面签审核的效率和准确率。

Description

基于微表情的面签欺诈判断方法、装置、设备及介质
技术领域
本发明涉及面签欺诈技术领域,尤其涉及一种基于微表情的面签欺诈判断方法、装置、设备及计算机可读存储介质。
背景技术
目前市面上金融机构在向贷款申请人进行放款审核时,是由有经验和能力的审批人员对贷款申请人根据其提供的信贷资料进行一对一的面审、面签;在这个过程当中,审批人员根据申请人的回答判断申请人是否有在说谎和欺诈。
但在实际中,有经验和能力的审批人员的人数较少,人工审核的效率低,从而无法及时的对大量信贷申请作出及时地处理;同时,人工面核往往难以识别申请人口述造假的情况,面审规律易被黑中介绕过,导致无法识别出欺诈行为,提高了坏账率。并且,为了动态监控申请人的微表情,往往需要借助独立摄像头设备进行拍摄,在PC或者平板电脑上显示结果,审核人员在和申请人沟通时,还要不断留意电脑上的识别结果变化,调整问题策略,客户和用户体验均不佳,导致审核效率不高。
发明内容
本发明的主要目的在于提出一种基于微表情的面签欺诈判断方法、装置、设备及计算机可读存储介质,旨在提高信贷审核的效率和准确率。
为实现上述目的,本发明提供一种基于微表情的面签欺诈判断方法,所述方法包括:
通过智能眼镜设备对当前面签用户的微表情视频流进行实时采集,所述微表情视频流包括所述当前面签用户问答过程的微表情;
提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果;
根据所述微表情分析结果生成欺诈判断结论,并根据所述欺诈判断结论分析面签调整建议,将所述欺诈判断结论及面签调整建议显示在智能眼镜设备的显示界面。
此外,为实现上述目的,本发明还提供一种基于微表情的面签欺诈判断装置,所述基于微表情的面签欺诈判断装置包括:
采集模块,用于通过智能眼镜设备对当前面签用户的微表情视频流进行实时采集,所述微表情视频流包括所述当前面签用户问答过程的微表情;
提取模块,用于提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果;
生成模块,用于根据所述微表情分析结果生成欺诈判断结论,并根据所述欺诈判断结论分析面签调整建议,将所述欺诈判断结论及面签调整建议显示在智能眼镜设备的显示界面。
此外,为实现上述目的,本发明还提供一种基于微表情的面签欺诈判断设备,所述基于微表情的面签欺诈判断设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的基于微表情的面签欺诈判断程序,其中所述基于微表情的面签欺诈判断程序被所述处理器执行时,实现如上所述的基于微表情的面签欺诈判断方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于微表情的面签欺诈判断程序,其中所述基于微表情的面签欺诈判断程序被处理器执行时,实现如上所述的基于微表情的面签欺诈判断方法的步骤。
本发明提出的基于微表情的面签欺诈判断方法、装置、设备及计算机可读存储介质,通过智能眼镜设备对当前面签用户的微表情视频流进行实时采集,所述微表情视频流包括所述当前面签用户问答过程的微表情;提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对采集到的用户表情视频流进行微表情分析,获得微表情分析结果;根据所述微表情分析结果生成欺诈判断结论,从而对欺诈进行检测,降低了人工审核的工作量,并根据所述欺诈判断结论分析面签调整建议,将所述欺诈判断结论及面签调整建议显示在智能眼镜设备的显示界面,审核人员不需要关注其他设备,有利于提高信贷审核的效率和准确率。
附图说明
图1为本发明基于微表情的面签欺诈判断方法第一实施例的流程示意图;
图2为本发明基于微表情的面签欺诈判断方法第二实施例中提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对采集到的用表情视频流进行微表情分析,获得微表情分析结果的步骤的一细化流程示意图;
图3为本发明基于微表情的面签欺诈判断方法根据所述面签微表情样本集构建微表情欺诈识别模型的步骤的细化流程示意图;
图4为本发明基于微表情的面签欺诈判断方法第二实施例中获取面签微表情样本集,并根据所述面签微表情样本集构建微表情欺诈识别模型的步骤的细化流程示意图;
图5为本发明基于微表情的面签欺诈判断方法第二实施例中提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对采集到的用表情视频流进行微表情分析,获得微表情分析结果的步骤的另一细化流程示意图;
图6为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于微表情的面签欺诈判断方法。
参照图1,图1为本发明基于微表情的面签欺诈判断方法第一实施例的流程示意图。
在本实施例中,该方法包括:
步骤S10,通过智能眼镜设备对当前面签用户的微表情视频流进行实时采集,所述微表情视频流包括所述当前面签用户问答过程的微表情;
在本实施例中,本实施例中的面签欺诈判断方法由智能眼镜设备实现,为了便于面签人员获取面签欺诈的分析结论,可以将面签欺诈的分析结论通过智能眼镜设备进行显示,面签人员可佩戴所述智能眼镜设备,不需要留意其他设备上面签欺诈识别结果变化;在进行面签欺诈判断前,首先通过智能眼镜设备对当前面签用户微表情视频流进行实时采集,所述用户微表情视频流包括所述当前面签用户问答过程的微表情。
步骤S20,提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果;
在采集得到当前面签用户的用户表情视频流之后,即可提取预先构建的微表情欺诈识别模型,并根据所述微表情欺诈识别模型对采集到的用户表情视频流进行微表情分析,获得微表情分析结果,具体的,对于该表情视频流,可能会包括一些无用的视频数据,例如视频开头、结尾,问题间隔等,对于这些视频数据可能是不需要对进行识别的,为了降低识别量,提高识别效率,可剪去这些视频片段;同时,还可以对表情视频流的画面进行人体区域识别(或者是人脸区域识别),裁剪掉其它区域,获得微表情图像。在得到微表情图像时,将根据微表情图像的特征在欺诈识别模型的坐标系中绘制对应的识别特征点;然后根据所述识别特征点和最近分隔函数的位置关系,确定该识别特征点所在的区域,从而根据识别特征点所在的区域确定该微表情图像的图像属性,并根据图像属性得到原始视频流的微表情识别结论,例如是当识别特征点处于正例区域时,则该识别特征点的图像属性为真实,则表情视频流的微表情识别结论可以为真实。而在具体实施中,从表情视频流获得的微表情图像可以是多张的,而这些微表情图像的属性也可以是不同的,此时可以是在欺诈识别模型中定义输出规则,以在图像属性不一致时给出一个识别结果,例如,该规则是当真实属性的微表情图像在所有微表情图像中的比例达到一个阈值(例如80%)时,则输出微表情真实的识别结果。当然,还可以是其它的输出规则。
进一步地,所述步骤S20之前的步骤,还包括:
步骤S40,获取面签微表情样本集,并根据所述面签微表情样本集构建微表情欺诈识别模型。
在提取微表情欺诈识别模型,需要预先建立所述微表情欺诈识别模型,因此首先需要建立用于训练模型的微表情样本集,该样本集中包括有历史贷款记录中各申请人在进行贷款审核时的微表情图像和/或视频,同时还根据其贷款记录对微表情图像和/或视频的真实性进行了标记,如回答某个问题时的瞳孔突然放大,目光飘忽为欺骗特征等;然后使用该样本集中的数据对初始机器学习模型进行训练,获得微表情欺诈识别模型,其中,对于该机器学习的过程,可以是通过神经网络、遗传算法、支持向量机等多种方式实现。
本实施例中,考虑到人的微表情数据量庞大,若要获取到各种类型的微表情样本数据用于进行模型训练,则会增大工作量,因此本案可采用linear-svm(线性-支持向量机)的方式进行建模。linear-svm是一种有监督的线性分类算法,属于判别模型的一种(不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类);linear-svm基于几何间隔最大化原理,认为存在最大几何间隔的分类面为最优分类面,因此是考虑分类面上(局部边界线附近)的点,即linear-svm不直接依赖于数据分布,从而可在一定限度上降低微表情样本数据不足对模型准确率的不利影响。为训练欺诈识别模型,首先要获取到微表情数据集;考虑到在实际使用过程中是对申请人的视频流进行判断,因此该微表情数据集中的样本数据可以是视频数据,这些视频数据包括正例样本和负例样本。
进一步地,参照图2,所述步骤S40中的根据所述面签微表情样本集构建微表情欺诈识别模型包括:
步骤S41,根据预设识别要求定义样本属性,并根据所述样本属性对所述面签微表情样本集的微表情样本进行分类;
步骤S42,以预设比例在所述面签微表情样本集的各类微表情样本中抽取一次训练样本,并在预设坐标系中绘制所述一次训练样本对应的一次特征点;
步骤S43,根据所述样本特征点的位置和对应的样本属性对所述预设坐标系进行区域划分,并根据区域划分情况获取对应的最近分隔函数;
步骤S44,以所述预设比例在所述面签微表情样本集的各类微表情样本中抽取迭代训练样本,并在预设坐标系中绘制所述迭代训练样本对应的迭代特征点;
步骤S45,通过所述迭代特征点对所述最近分隔函数进行迭代调整,直至所述最近分隔函数的正确分隔率达到预设阈值,获得微表情欺诈识别模型。
在进行训练时,先建立一个初始模型,然后根据识别要求定义样本属性,例如,本实施例中对于微表情欺诈识别模型的识别要求为二分,即判断每个样本微表情的含义是真实还是欺诈,则每个样本的属性需要为确定的一个结果(真实或欺诈)。值得说明的是,考虑到微表情的多样性,同一个微表情在不同人的身上可能会有不同的含义,同时可能会存在某种微表情是难以判断或确定其真实含义的,因此对于该识别模型也还可以是多分的分类器,例如,该样本属性包括真实、完全欺诈和疑似欺诈,然后通过该三分样本训练得到三分的微表情欺诈识别模型。本实施例中,为了描述的方便,以二分为例(真实和欺诈)进行说明,其中,真实样本可称为正例样本,欺诈样本可称为负例样本。在定义了微表情样本的二分属性后,即将微表情样本分成了两大类。此时,可在样本数据中随机抽取若干比例正例样本和负例样本(例如40%正例样本+全部负例样本)作为一次训练样本,利用该这些一次训练样本对初始模型进行训练:在预设坐标系中绘制出各一次训练样本对应的一次特征点,然后根据样本的属性(正例和负例)以及特征点所在的位置对预设坐标系进行区域,得到正例区域和负例区域;然后根据区域的划分情况可得出若干个分隔函数,然后可在这些分隔函数中确定一个最近分隔函数;其中,在一次训练中,该最近分隔函数可以是随机确定,或者通过某些约束条件进行确定。在进行了一次训练后,可再次从微表情样本集中抽取相同比例样本作为迭代样本,并在该预设坐标系中绘制该迭代特征点,并利用这些迭代特征点对最近分隔函数不断进行调整,从而对微表情欺诈识别模型不断进行迭代训练,直至其对样本的正确分隔率(识别成功率)达到预设阈值,即认为训练完成,获得微表情欺诈识别模型。值得说明的是,该预设坐标系,可以是二维坐标系,此时最近分隔函数对应图像为一条直线;而由于微表情的复杂性,该预设坐标系也可能是三维以上(此处“以上”包括本数)的坐标系,也就是说,对于二维坐标系下的特征点,可能需要通过核函数(例如径函数)将其投影至高维度坐标系中,再根据各高纬度特征点获取高纬度坐标系下的分隔超平面函数(即分隔函数对应图像为一个超平面)。
步骤S30,根据所述微表情分析结果生成欺诈判断结论,并根据所述欺诈判断结论分析面签调整建议,将所述欺诈判断结论及面签调整建议显示在智能眼镜设备的显示界面。
在获得微表情分析结果之后,可以对所述微表情进一步进行分析,比如将所述微表情分析结果中为真实的问题数量与微表情分析结果对应的问题总数进行相比,获得微表情分析中结果为真实的比例,然后将微表情分析中结果为真实的比例与预设比例进行对比,从而获得欺诈判断结论,具体地,若微表情分析中结果为真实的比例大于预设比例,则确定欺诈判断结论为当前面签用户不存在欺诈,否则,确定欺诈判断结论为当前面签用户存在欺诈。在获得欺诈判断结论之后,进一步根据所述欺诈判断结论分析面签调整建议,将所述欺诈判断结论及面签调整建议显示在智能眼镜设备的显示界面,以便面签审核人员根据输出的建议对当前面签进行调整。
进一步地,所述步骤S30中的根据所述欺诈判断结论分析面签调整建议包括:
若所述欺诈判断结论为当前面签用户存在欺诈,则提取所述微表情分析结果为不真实的结果;
提取所述微表情分析结果为不真实的结果对应的用户问答问题,并提取与所述用户问答问题相关联的预设问答问题,并将提取到的预设问答问题作为面签调整建议。
具体地,若所述欺诈判断结论为当前面签用户存在欺诈,则提取所述微表情分析结果为不真实的结果,即在进行微表情识别时,结论为微表情不真实的结果;然后提取所述微表情分析结果为不真实的结果对应的用户问答问题,并提取与所述用户问答问题相关联的预设问答问题,在本实施例中,可以预先建立相关问答问题的关联关系,比如身份信息包括年龄、出生日期等,则年龄与出生日期为相关的问答问题,此时可以将年龄与出生日期进行关联,然后将提取到的预设问答问题作为面签调整建议,比如在当前面签用户在回答年龄时,微表情分析的结果为不真实,即认为当前面签用户没有将年龄如实相告,为了排除外部因素对微表情结果的影响,比如陌生环境造成当前面签用户紧张,从而导致微表情有变化,进一步提高审核的准确性,可以进一步提取与年龄相关联的问答问题,并通过智能眼镜设备将提取到的问答问题进行显示,以便面签审核人员对当前面签用户进行再次提问,从而避免外部因素,如陌生环境等对微表情分析结果造成误差。
本实施例提出的基于微表情的面签欺诈判断方法,通过智能眼镜设备对当前面签用户表情视频流进行实时采集,所述用户表情视频流包括所述当前面签用户问答过程的微表情;提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对采集到的用户表情视频流进行微表情分析,获得微表情分析结果;根据所述微表情分析结果生成欺诈判断结论,从而对欺诈进行检测,降低了人工审核的工作量,并根据所述欺诈判断结论分析面签调整建议,将所述欺诈判断结论及面签调整建议显示在智能眼镜设备的显示界面,审核人员不需要关注其他设备,有利于提高信贷审核的效率和准确率。
进一步地,参照图3,基于本发明基于微表情的面签欺诈判断方法第一实施提出本发明基于微表情的面签欺诈判断方法第二实施例。
在本实施例中,所述步骤S20包括:
步骤S21,提取微表情欺诈识别模型,根据面签问答涉及的题目类型对所述视频流进行片段切分,获得类型视频流;
本实施例中,在使用包括若干类型识别子模型的微表情欺诈识别模型进行信贷审核时,可以是由多个类型识别子模型共同进行识别的。具体的,在获取到原始视频流时,首先会根据信贷问答类型对原始视频流进行片段切分,获得若干段类型视频流,例如身份类视频流、家庭关系类视频流、工作类视频流和贷款意愿类视频流。其中,对于片段切分的过程,可以是借助语音识别实现的,例如,对于每一个信贷问题,都会有一个问题编号,工作人员或相关信贷设备在向申请人进行提问时,会语音说出该问题编号(例如,身份类问题A1,家庭关系类问题B3等);信贷终端在获得原始视频流时,可根据该问题编号确定视频切分的节点,并进行片段切分。此外,还可以是拍摄申请人的信贷作答录像时,直接进行片段标记,信贷终端在获得原始视频流时,可根据片段标记直接进行片段切分。当然,还可以是通过其它方式进行切分。
步骤S22,将所述类型视频流输入到微表情欺诈识别模型的各个对应的子模型中;
步骤S23,通过所述子模型从各类型视频流中提取微表情特征,并根据微表情特征在预设坐标系中绘制出对应的特征点;
获得类型视频流之后,即可将类型视频流分别输入至对应的类型识别子模型中,通过所述子模型从各类型视频流中提取微表情图像的特征,将根据微表情图像的特征在欺诈识别子模型的坐标系中绘制对应的识别特征点;
步骤S24,根据所述特征点与训练分隔线的位置关系判断所述特征点的属性,获得微表情分析结果。
然后根据所述识别特征点和训练分隔线中最近分隔函数的位置关系,确定该识别特征点所在的区域,从而根据识别特征点所在的区域确定该微表情图像的图像属性,并根据图像属性得到微表情视频流的微表情分析结果,例如是当识别特征点处于正例区域时,则该识别特征点的图像属性为真实,则微表情视频流的微表情分析结果可以为真实。而在具体实施中,从微表情视频流获得的微表情图像可以是多张的,而这些微表情图像的属性也可以是不同的,此时可以是在欺诈识别模型中定义输出规则,以在图像属性不一致时给出一个识别结果,例如,该规则是当真实属性的微表情图像在所有微表情图像中的比例达到一个阈值(例如80%)时,则输出微表情真实的识别结果。当然,还可以是其它的输出规则。
进一步地,参照图4,基于本发明基于微表情的面签欺诈判断方法第一实施提出本发明基于微表情的面签欺诈判断方法第三实施例。
在本实施例中,所述步骤S40包括:
步骤S46,获取面审微表情样本集,并根据面审问答类型对所述面审微表情样本集的微表情样本进行分类,获得类型微表情样本;
本实施例中,考虑到审核过程中申请人可能需要回答不同类型的问题,而申请人同一个微表情(微动作)在回答不同类型的问题可能会具有不同的含义。因此,为了准确判断微表情(微动作)的真实含义,在构建微表情识别模型和审核过程可结合问题类型进行。具体的,在获取微表情样本集时,可以根据样本涉及的问答类型对微表情样本进行分类,得到若干类的类型微表情样本,例如包括身份类问题样本、家庭关系类问题样本、工作类问题样本和贷款意愿类问题样本,当然也可以根据其它情况进行其它分类。
步骤S47,根据所述类型微表情样本分别构建类型识别子模型,并将所述类型识别子模型封装得到微表情识别模型。
在对微表情样本分类完成时,可用每一类的类型微表情样本分别构建对应的类型识别子模型。其中,对于每一个类型识别子模型的构建过程可参照步骤S40的内容,此处不再赘述。在类型识别子模型构建完成时,即将若干类型识别子模型进行入口封装,定义对应的输入流向规则;其中,该流向规则可以是根据将要待识别图像的问题类型定义的,也就是说,在进行识别时根据待识别图像的问题类型确定该待识别图像将输入哪一个类型识别子模型;在入口封装完成时,即得到了一个包括若干类型识别子模型的微表情欺诈识别模型,并使用该微表情欺诈识别模型进行信贷审核。
进一步地,参照图5,基于本发明基于微表情的面签欺诈判断方法第三实施提出本发明基于微表情的面签欺诈判断方法第四实施例。
在本实施例中,所述步骤S20还包括:
步骤S25,根据所述信贷问答类型对所述表情视频流进行片段切分,获得类型视频流;
本实施例中,在使用包括若干类型识别子模型的微表情欺诈识别模型进行审核时,可以是由多个类型识别子模型共同进行识别的。具体的,在获取到微表情视频流时,首先会根据问答类型对微表情视频流进行片段切分,获得若干段类型视频流,例如身份类视频流、家庭关系类视频流、工作类视频流和贷款意愿类视频流。其中,对于片段切分的过程,可以是借助语音识别实现的,例如,对于每一个问答问题,都会有一个问题编号,工作人员或相关设备在向申请人进行提问时,会语音说出该问题编号(例如,身份类问题A1,家庭关系类问题B3等);审核终端在获得微表情视频流时,可根据该问题编号确定视频切分的节点,并进行片段切分。此外,还可以是拍摄申请人的信贷作答录像时,直接进行片段标记,审核终端在获得微表情视频流时,可根据片段标记直接进行片段切分。当然,还可以是通过其它方式进行切分。
步骤S26,将所述类型视频流分别输入至对应的类型识别子模型进行微表情识别,获得类型识别结论;
步骤S27,汇总所述类型识别结论,并根据所述类型识别结论生成微表情识别结论。
获得类型视频流时,即可将类型视频流分别输入至对应的类型识别子模型进行微表情识别,并获得对应的类型识别结论。
本实施例中,在获得类型识别结论时,需要将这些类型识别结论进行汇总,并生成一个完整的微表情识别结论。
进一步的,由于不同类型视频流识别的类型识别结论可能是不一致的,因此需要定义一个汇总规则,以根据这些类型识别结论生成一个确定的微表情识别结论。本实施例中可以通过加权计算真实值进行汇总和生成微表情识别结论的。具体的,对于每一类信贷问答,都具有各自的加权比重,例如身份类视频流比重0.2、家庭关系类视频流0.1、工作类视频流0.3和贷款意愿类视频流0.3;而每一个类型识别子模型给出的类型识别结论中包括了一个类型真实评估值,代表申请人在回答该类问题时微表情所代表的答复可信度,其中二分的类型识别子模型,真实对应的评估值可以为1,欺诈可以为0;当然还可以是以连续分段的方式,例如评估值为0到100,其中评估值小于60为欺诈,60分以上为真实,评估值越高,答复越可信;在得到每个类型识别子模型给出的类型真实评估值时,可根据问答类型对类型真实评估值分配加权权重,然后根据所述类型真实评估值和加权权重计算出微表情视频流的微表情真实值,用以表示微表情视频流整体可信度;当该微表情真实值大于某个阈值时,则认为微表情视频流的整体微表情可信。当然,还可以根据贷款业务的特点,设置不同的汇总规则,例如,对于某些额度较大的贷款业务,需要所有的类型识别结论均为真实时,方认为微表情视频流的整体微表情可信。
本发明进一步提供一种基于微表情的面签欺诈判断装置,所述基于微表情的面签欺诈判断装置包括:
采集模块,用于通过智能眼镜设备对当前面签用户的微表情视频流进行实时采集,所述微表情视频流包括所述当前面签用户问答过程的微表情;
提取模块,用于提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果;
生成模块,用于根据所述微表情分析结果生成欺诈判断结论,并根据所述欺诈判断结论分析面签调整建议,将所述欺诈判断结论及面签调整建议显示在智能眼镜设备的显示界面。
本发明基于微表情的面签欺诈判断装置的具体实施例与上述基于微表情的面签欺诈判断方法各实施例基本相同,在此不作赘述。
本发明实施例进一步提供一种基于微表情的面签欺诈判断设备。
参照图6,图6为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图6所示,该基于微表情的面签欺诈判断设备可以包括:处理器1001,例如CPU,网络接口1002,用户接口1003,存储器1004。这些组件之间的连接通信可以通过通信总线实现。网络接口1002可选的可以包括标准的有线接口(用于连接有线网络)、无线接口(如WI-FI接口、蓝牙接口、红外线接口等,用于连接无线网络)。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口(例如用于连接有线键盘、有线鼠标等)和/或无线接口(例如用于连接无线键盘、无线鼠标)。存储器1004可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
可选地,该基于微表情的面签欺诈判断设备还可以包括摄像头、RF(RadioFrequency,射频)电路,传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解,图中示出的基于微表情的面签欺诈判断设备结构并不构成对基于微表情的面签欺诈判断设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图6所示,作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块、用户接口模块以及基于微表情的面签欺诈判断程序。其中,操作系统是管理和控制基于微表情的面签欺诈判断设备硬件与软件资源的程序,支持网络通信模块、用户接口模块、基于微表情的面签欺诈判断程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1002;用户接口模块用于管理和控制用户接口1003。
在图6所示的基于微表情的面签欺诈判断设备中,网络接口1002主要用于连接数据库,与数据库进行数据通信;用户接口1003主要用于连接客户端(可以理解为用户端),与客户端进行数据通信,如通过窗口展示信息给客户端,或者接收客户端发送的操作信息;而处理器1001可以用于执行存储器1004中存储的基于微表情的面签欺诈判断程序,以实现如上述的基于微表情的面签欺诈判断方法各个实施例的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述的基于微表情的面签欺诈判断方法各个实施例的步骤。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于微表情的面签欺诈判断方法,其特征在于,所述方法包括以下步骤:
通过智能眼镜设备对当前面签用户的微表情视频流进行实时采集,所述微表情视频流包括所述当前面签用户问答过程的微表情;
提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果;
根据所述微表情分析结果生成欺诈判断结论,并根据所述欺诈判断结论分析面签调整建议,将所述欺诈判断结论及面签调整建议显示在智能眼镜设备的显示界面;
所述提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果的步骤之前,还包括:
根据预设识别要求定义样本属性,并根据所述样本属性对面签微表情样本集的微表情样本进行分类;
以预设比例在所述面签微表情样本集的各类微表情样本中抽取一次训练样本,并在预设坐标系中绘制所述一次训练样本对应的一次特征点;
根据样本特征点的位置和对应的样本属性对所述预设坐标系进行区域划分,并根据区域划分情况获取对应的最近分隔函数;
以所述预设比例在所述面签微表情样本集的各类微表情样本中抽取迭代训练样本,并在预设坐标系中绘制所述迭代训练样本对应的迭代特征点;
通过所述迭代特征点对所述最近分隔函数进行迭代调整,直至所述最近分隔函数的正确分隔率达到预设阈值,获得微表情欺诈识别模型。
2.如权利要求1所述的基于微表情的面签欺诈判断方法,其特征在于,所述提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果的步骤包括:
提取微表情欺诈识别模型,根据面签问答涉及的题目类型对所述微表情视频流进行片段切分,获得类型视频流;
将所述类型视频流输入到微表情欺诈识别模型的各个对应的子模型中;
通过所述子模型从各类型视频流中提取微表情特征,并根据微表情特征在预设坐标系中绘制出对应的特征点;
根据所述特征点与训练分隔线的位置关系判断所述特征点的属性,获得微表情分析结果。
3.如权利要求1所述的基于微表情的面签欺诈判断方法,其特征在于,所述提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果的步骤之前,还包括:
获取面签微表情样本集,并根据所述面签微表情样本集构建微表情欺诈识别模型。
4.如权利要求3所述的基于微表情的面签欺诈判断方法,其特征在于,所述获取面签微表情样本集,并根据所述面签微表情样本集构建微表情欺诈识别模型的步骤包括:
获取面审微表情样本集,并根据面审问答类型对所述面审微表情样本集的微表情样本进行分类,获得类型微表情样本;
根据所述类型微表情样本分别构建类型识别子模型,并将所述类型识别子模型封装得到微表情识别模型。
5.如权利要求4所述的基于微表情的面签欺诈判断方法,其特征在于,所述提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对采集到的微表情视频流进行微表情分析,获得微表情分析结果的步骤包括:
根据信贷问答类型对所述微表情视频流进行片段切分,获得类型视频流;
将所述类型视频流分别输入至对应的类型识别子模型进行微表情识别,获得类型识别结论;
汇总所述类型识别结论,并根据所述类型识别结论生成微表情识别结论。
6.如权利要求1所述的基于微表情的面签欺诈判断方法,其特征在于,所述根据所述欺诈判断结论分析面签调整建议的步骤包括:
若所述欺诈判断结论为当前面签用户存在欺诈,则提取所述微表情分析结果为不真实的结果;
提取所述微表情分析结果为不真实的结果对应的用户问答问题,并提取与所述用户问答问题相关联的预设问答问题,并将提取到的预设问答问题作为面签调整建议。
7.一种基于微表情的面签欺诈判断装置,其特征在于,所述基于微表情的面签欺诈判断装置包括:
采集模块,用于通过智能眼镜设备对当前面签用户的微表情视频流进行实时采集,所述微表情视频流包括所述当前面签用户问答过程的微表情;
提取模块,用于提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果;
生成模块,用于根据所述微表情分析结果生成欺诈判断结论,并根据所述欺诈判断结论分析面签调整建议,将所述欺诈判断结论及面签调整建议显示在智能眼镜设备的显示界面;
所述提取微表情欺诈识别模型,并根据所述微表情欺诈识别模型对所述微表情视频流进行微表情分析,获得微表情分析结果的步骤之前,还包括:根据预设识别要求定义样本属性,并根据所述样本属性对面签微表情样本集的微表情样本进行分类;以预设比例在所述面签微表情样本集的各类微表情样本中抽取一次训练样本,并在预设坐标系中绘制所述一次训练样本对应的一次特征点;根据样本特征点的位置和对应的样本属性对所述预设坐标系进行区域划分,并根据区域划分情况获取对应的最近分隔函数;以所述预设比例在所述面签微表情样本集的各类微表情样本中抽取迭代训练样本,并在预设坐标系中绘制所述迭代训练样本对应的迭代特征点;通过所述迭代特征点对所述最近分隔函数进行迭代调整,直至所述最近分隔函数的正确分隔率达到预设阈值,获得微表情欺诈识别模型。
8.一种基于微表情的面签欺诈判断设备,其特征在于,所述基于微表情的面签欺诈判断设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的基于微表情的面签欺诈判断程序,其中所述基于微表情的面签欺诈判断程序被所述处理器执行时,实现如权利要求1至6中任一项所述的基于微表情的面签欺诈判断方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于微表情的面签欺诈判断程序,其中所述基于微表情的面签欺诈判断程序被处理器执行时,实现如权利要求1至6中任一项所述的基于微表情的面签欺诈判断方法的步骤。
CN201810485627.9A 2018-05-18 2018-05-18 基于微表情的面签欺诈判断方法、装置、设备及介质 Active CN108717663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810485627.9A CN108717663B (zh) 2018-05-18 2018-05-18 基于微表情的面签欺诈判断方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810485627.9A CN108717663B (zh) 2018-05-18 2018-05-18 基于微表情的面签欺诈判断方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN108717663A CN108717663A (zh) 2018-10-30
CN108717663B true CN108717663B (zh) 2023-06-09

Family

ID=63900067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810485627.9A Active CN108717663B (zh) 2018-05-18 2018-05-18 基于微表情的面签欺诈判断方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN108717663B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509088A (zh) * 2018-12-15 2019-03-22 深圳壹账通智能科技有限公司 基于微表情识别的贷款审核方法、装置、设备及介质
CN109766491A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 商品搜索方法、装置、计算机设备和存储介质
CN109767321A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 问答过程优化方法、装置、计算机设备和存储介质
CN109766772A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 风险控制方法、装置、计算机设备和存储介质
CN109766917A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 面试视频数据处理方法、装置、计算机设备和存储介质
CN109697666A (zh) * 2018-12-18 2019-04-30 深圳壹账通智能科技有限公司 风险预警方法、装置、计算机设备和存储介质
CN109711982A (zh) * 2019-01-04 2019-05-03 深圳壹账通智能科技有限公司 面核提问方法、装置、计算机设备和可读存储介质
CN109816518A (zh) * 2019-01-04 2019-05-28 深圳壹账通智能科技有限公司 面核结果获取方法、装置、计算机设备和可读存储介质
CN111126124A (zh) * 2019-10-12 2020-05-08 深圳壹账通智能科技有限公司 多方视频的用户身份验证方法、装置及计算机设备
CN110909622A (zh) * 2019-10-31 2020-03-24 中国科学院深圳先进技术研究院 微表情识别金融风控方法及系统
CN112541411A (zh) * 2020-11-30 2021-03-23 中国工商银行股份有限公司 线上视频反欺诈识别方法及装置
CN114677634B (zh) * 2022-05-30 2022-09-27 成都新希望金融信息有限公司 面签识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065122A (zh) * 2012-12-21 2013-04-24 西北工业大学 基于面部动作单元组合特征的人脸表情识别方法
CN107067228A (zh) * 2017-03-31 2017-08-18 南京钧元网络科技有限公司 一种手持式认证智能审核系统及其审核方法
CN107704834A (zh) * 2017-10-13 2018-02-16 上海壹账通金融科技有限公司 微表情面审辅助方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065122A (zh) * 2012-12-21 2013-04-24 西北工业大学 基于面部动作单元组合特征的人脸表情识别方法
CN107067228A (zh) * 2017-03-31 2017-08-18 南京钧元网络科技有限公司 一种手持式认证智能审核系统及其审核方法
CN107704834A (zh) * 2017-10-13 2018-02-16 上海壹账通金融科技有限公司 微表情面审辅助方法、装置及存储介质

Also Published As

Publication number Publication date
CN108717663A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
CN108717663B (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
CN108765131B (zh) 基于微表情的信贷审核方法、装置、终端及可读存储介质
US10685329B2 (en) Model-driven evaluator bias detection
TWI731297B (zh) 一種風險預測方法、存儲介質和伺服器
US10019653B2 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
US20160070956A1 (en) Method and Apparatus for Generating Facial Feature Verification Model
WO2021190086A1 (zh) 面审风险控制方法、装置、计算机设备及存储介质
US11126827B2 (en) Method and system for image identification
CN110796089B (zh) 用于训练换脸模型的方法和设备
CN104346503A (zh) 一种基于人脸图像的情感健康监控方法及手机
WO2019228040A1 (zh) 一种面部图像评分方法及摄像机
US10592733B1 (en) Computer-implemented systems and methods for evaluating speech dialog system engagement via video
US10997609B1 (en) Biometric based user identity verification
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
KR20210155303A (ko) 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법
CN104091173A (zh) 一种基于网络摄像机的性别识别方法及装置
CN113762107A (zh) 对象状态评估方法、装置、电子设备及可读存储介质
US11699162B2 (en) System and method for generating a modified design creative
US20170309040A1 (en) Method and device for positioning human eyes
KR102581415B1 (ko) 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법
RU2768797C1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео
CN115565097A (zh) 交易场景人员行为是否合规检测方法及装置
CN113327212B (zh) 人脸驱动、模型的训练方法、装置、电子设备及存储介质
CN112766824B (zh) 数据处理方法、装置、电子设备及存储介质
KR20220016529A (ko) 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1258876

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant