CN114565448A - 基于视频识别的贷款风险信息挖掘方法 - Google Patents

基于视频识别的贷款风险信息挖掘方法 Download PDF

Info

Publication number
CN114565448A
CN114565448A CN202210187147.0A CN202210187147A CN114565448A CN 114565448 A CN114565448 A CN 114565448A CN 202210187147 A CN202210187147 A CN 202210187147A CN 114565448 A CN114565448 A CN 114565448A
Authority
CN
China
Prior art keywords
face
micro
video
expression
loan risk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210187147.0A
Other languages
English (en)
Inventor
杨赛
顾全林
曹攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xishang Bank Co ltd
Original Assignee
Wuxi Xishang Bank Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xishang Bank Co ltd filed Critical Wuxi Xishang Bank Co ltd
Priority to CN202210187147.0A priority Critical patent/CN114565448A/zh
Publication of CN114565448A publication Critical patent/CN114565448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及贷款风险信息挖掘技术领域，具体公开了一种基于视频识别的贷款风险信息挖掘方法，其中，包括：获取贷款申请者的面审视频，并对面审视频进行预处理；提取预处理后的面审视频中带有微表情感兴趣区域的光流图像；根据无锚框时序动作检测算法对光流图像中的微表情感兴趣区域进行识别，获得微表情的类别及微表情的置信度；提取预处理后的面审视频中带有显著性变量感兴趣区域的图像；对显著性变量感兴趣区域进行识别，获得显著性变量识别结果，其中显著性变量至少包括年龄、衣着暴露度和人脸配合度；根据微表情的类别、微表情的置信度及显著性变量识别结果获得贷款风险评分结果。本发明提供的实现了从多维角度挖掘贷款风险信息的目标。

Description

基于视频识别的贷款风险信息挖掘方法
技术领域
本发明涉及贷款风险信息挖掘技术领域，尤其涉及一种基于视频识别的贷款风险信息挖掘方法。
背景技术
随着经济的发展和居民收入的增多，人们对衣食住行的需求也逐渐发生着从量到质的转变，消费贷、个人经营贷等以互联网为载体的个人金融贷款业务的需求也在逐年增长。互联网金融个人贷款，又称零售信贷业务，具有笔数多、单笔金额小、贷款人信息复杂度高等特性。一方面，零售信贷业务关系到民生，为个人提供贷款服务是银行等公共服务机构需行使的社会责任；另一方面，因个人业务千人千面的复杂性，骗贷、逾期还款等问题层出不穷。因此，建设完备的贷前风险识别风控体系尤为重要。
传统的零售信贷业务对贷款人的评估多是基于征信、社保的缴存、消费记录、面审等指标。然而，对于部分申请个人贷款业务的群体(包括小微企业店主、农民工和应届毕业生等)，这部分可查的信息较少，甚至几乎为零。如何在此基础信息之外挖掘更多维、可靠的信息，是银行风控模型部门探索的方向。
因此，如何能够通过多维角度挖掘贷款风险信息从而进行贷款风险评估预警成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种基于视频识别的贷款风险信息挖掘方法，解决相关技术中存在的贷款风险信心挖掘的维度单一等问题。
作为本发明的一个方面，提供一种基于视频识别的贷款风险信息挖掘方法，其中，包括：
获取贷款申请者的面审视频，并对所述面审视频进行预处理；
提取预处理后的面审视频中带有微表情感兴趣区域的光流图像；
根据无锚框时序动作检测算法对所述光流图像中的微表情感兴趣区域进行识别，获得微表情的类别及微表情的置信度；
提取预处理后的面审视频中带有显著性变量感兴趣区域的图像；
对所述显著性变量感兴趣区域进行识别，获得显著性变量识别结果，其中所述显著性变量至少包括年龄、衣着暴露度和人脸配合度；
根据所述微表情的类别、微表情的置信度及所述显著性变量识别结果获得贷款风险评分结果。
进一步地，获取贷款申请者的面审视频，并对所述面审视频进行预处理，包括：
根据人脸检测工具对所述面审视频逐帧进行人脸检测，获得人脸坐标框和人脸关键点，所述人脸关键点包括眼睛、鼻子和嘴角；
根据衣着检测工具对所述面审视频进行衣着检测，获得衣着检测序列。
进一步地，获取贷款申请者的面审视频，并对所述面审视频进行预处理，还包括：
根据所述人脸坐标框和人脸关键点对人脸进行归一化处理，得到矫正后的人脸图像。
进一步地，提取预处理后的面审视频中带有微表情感兴趣区域的光流图像，包括：
提取矫正后的人脸图像中的稠密度光流；
读取所述稠密度光流中的光流分量，并进行合并处理得到微表情光流特征集。
进一步地，根据无锚框时序动作检测算法对所述光流图像中的微表情感兴趣区域进行识别，获得微表情的类别及微表情的置信度，包括：
对所述微表情光流特征集进行微表情特征提取；
根据无锚预测模块对提取的特征获得时间边界特征；
对所述时间边界特征进行精细预测，获得动作边界特征；
根据所述时间边界特征和所述动作边界特征进行微表情识别，获得微表情的类别及微表情的置信度。
进一步地，根据衣着检测工具对所述面审视频进行衣着检测，获得衣着检测序列，包括：
根据基于YOLOv4训练得到的衣着检测模型对所述面审视频中的衣着位置区域进行衣着检测，其中所述衣着位置区域包括从肩膀到跨部的坐标；
对所述面审视频逐帧进行衣着检测，并进行归一化处理，得到衣着序列。
进一步地，对所述显著性变量感兴趣区域进行识别，获得显著性变量识别结果，包括：
根据衣着暴露度识别模型对所述衣着序列进行识别，得到衣着暴露度预测序列；
对所述衣着暴露度预测序列计算平均值，得到平均衣着暴露度。
进一步地，对所述显著性变量感兴趣区域进行识别，获得显著性变量识别结果，包括：
将矫正后的人脸图像输入至年龄识别模型，得到年龄预测集；
计算所述年龄预测集中的年龄与真实年龄的平均年龄差。
进一步地，对所述显著性变量感兴趣区域进行识别，获得显著性变量识别结果，包括：
将矫正后的人脸图像输入至人脸配合度识别模型，得到人脸配合度预测集；
计算所述人脸配合度预测集中配合人脸的占比，其中所述配合人脸为面部遮挡≤20％，且面部俯仰/偏航角≤45°的人脸。
进一步地，根据所述微表情的类别、微表情的置信度及所述显著性变量识别结果获得贷款风险评分结果，包括：
将所述微表情的类别、微表情的置信度及所述显著性变量识别结果均作为贷款风险评分的变量；
根据贷款业务类型分别对不同的贷款风险评分的变量赋值不同的权重；
根据贷款风险评分的变量及其对应的权重获得贷款风险评分结果。
本发明提供的基于视频识别的贷款风险信息挖掘方法，通过将时序的面审视频进行预处理，获取表情感兴趣区域的光流图像，载入基于学习显著性边界特征的无锚框时序动作检测算法AFSD(Anchor-Free Saliency-based Detector)预测微表情出现的时间段、类别和置信度，关键风险变量的检测方法通过构建显著性变量识别，包括年龄识别模型、衣着暴漏度识别模型、人脸配合度识别模型来提取风险变量。这种基于视频识别的贷款风险信息挖掘方法实现了从多维角度挖掘贷款风险信息的目标，能够对贷款风险信息进行评估，提高贷款风险信息评估效率。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明提供的基于视频识别的贷款风险信息挖掘方法的流程图。
图2为本发明提供的视频图像预处理流程图。
图3为本发明提供的微表情识别示意图。
图4为本发明提供的基于视频识别的贷款风险信息挖掘方法的具体实施例流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
当前，微表情是一种真实情绪反映的自发式表情，它无法伪造也无法抑制，持续时间在1/25s～1/3s左右。利用图像识别技术捕捉微表情变化，并识别其属性，用于在贷款业务的视频审核中，判断贷款人有无存在说谎、骗贷的风险。这种微表情的识别技术可作为风控体系一种新的变量维度。
另外，根据大数据风险分析显示，在进行视频面审时，申请人的更为年轻的面貌、更为正式的着装对于贷款的风险评估具有正相关作用。刻意的遮挡(如口罩、墨镜等)、不配合的面部动作对于贷款的风险评估具有负相关作用。因此，这种显著性变量也可以作为贷款申请者的一种新的变量维度来评估贷款风险。
在本实施例中提供了一种基于视频识别的贷款风险信息挖掘方法，图1是根据本发明实施例提供的基于视频识别的贷款风险信息挖掘方法的流程图，如图1所示，包括：
S110、获取贷款申请者的面审视频，并对所述面审视频进行预处理；
在本发明实施例中，具体地，包括：
根据人脸检测工具对所述面审视频逐帧进行人脸检测，获得人脸坐标框和人脸关键点，所述人脸关键点包括眼睛、鼻子和嘴角；
根据衣着检测工具对所述面审视频进行衣着检测，获得衣着检测序列。
具体地，如图2所示，所述人脸检测工具具体可以包括RetinaFace，根据RetinaFace(Single-stage Dense Face Localisation in the Wild)对视频S＝{src1,...,srcN}逐帧进行人脸检测得到人脸坐标框bbox＝{bbox1,...,bboxN}和5点人脸关键点lmk＝{lmk1,...,lmkN}。
在本发明实施例中，所述5点人脸关键点包括：两个眼睛、两个嘴角和一个鼻子。
为了减少因摄像头抖动或人脸摆动的影响，根据所述人脸坐标框和人脸关键点对人脸进行归一化处理，得到矫正后的人脸图像。
需要将所有的人脸都归一化到相同的尺度和正视角度上，依据人脸关键点lmki做5点的人脸对齐，得到矫正后的人脸图像
Figure BDA0003523181610000041
其中，lmki为第i帧人脸关键点，N为视频的总帧数，T为面审视频的时长。
在本发明实施例中，所述根据衣着检测工具对所述面审视频进行衣着检测，获得衣着检测序列，包括：
根据基于YOLOv4训练得到的衣着检测模型对所述面审视频中的衣着位置区域进行衣着检测，其中所述衣着位置区域包括从肩膀到跨部的坐标；
对所述面审视频逐帧进行衣着检测，并进行归一化处理，得到衣着序列。
具体地，训练基于YOLOv4的衣着检测模型，衣着的位置区域为上半身的坐标(从肩膀到胯部)；对视频S＝{src1,...,srcN}逐帧进衣着检测，并进行归一化，得到衣着序列
Figure BDA0003523181610000042
S120、提取预处理后的面审视频中带有微表情感兴趣区域的光流图像；
在本发明实施例中，包括：
提取矫正后的人脸图像中的稠密度光流；
读取所述稠密度光流中的光流分量，并进行合并处理得到微表情光流特征集。
具体地，利用open-mmlab/denseflow提取Sf的TV-L1稠密度光流
Figure BDA0003523181610000043
光流提取的步长k为数据集中微表情平均长度的一半，如公式(1)所示，[fi x,fi y]为i帧在x/y方向的光流分量；
Figure BDA0003523181610000051
读取i帧在x/y方向的光流分量[fi x,fi y]，将其合并为一张光流特征图
Figure BDA0003523181610000052
如公式(2)所示，批量处理F得到微表情光流特征集F'＝{f0',...,fi',...,f′N},
Figure BDA0003523181610000053
fi'＝np.stack([fi x[:,:,0],fi y[:,:,0]],-1) (2)
批处理微表情视频集，得到微表情光流特征集合Γ，如公式(3)所示。其中，X为光流特征，j为第j段视频，Y为视频对应的微表情标签，
Figure BDA0003523181610000054
为视频种微表情的开始时间和结束时间段，yt为当前时间点的类别。
Figure BDA0003523181610000055
S130、根据无锚框时序动作检测算法对所述光流图像中的微表情感兴趣区域进行识别，获得微表情的类别及微表情的置信度；
在本发明实施例中，具体可以包括：
对所述微表情光流特征集进行微表情特征提取；
根据无锚预测模块对提取的特征获得时间边界特征；
对所述时间边界特征进行精细预测，获得动作边界特征；
根据所述时间边界特征和所述动作边界特征进行微表情识别，获得微表情的类别及微表情的置信度。
在本发明实施例中，如图3所示，首先进行特征提取。输入微表情光流特征集，通过I3D(Two-Stream Inflated 3D ConvNet)网络提取特征，该特征沿最后三个维度展平为一维特征序列。这样的序列可以包含整个视频的时间和空间信息。然后，使用一个包含多个时间卷积的特征金字塔网络以合并空间维度，并在不同级别聚合时间维度。进一步利用金字塔特征生成具有基本无锚预测模块的粗略动作提名序列。对于每个动作提名序列，预测的时间区域用于通过边界池获得显著的边界特征。边界特征与特征金字塔一起被用以时间回归和微表情动作分类。
其次，进行粗糙预测。构建一个基本的无锚预测模块来获得粗略的时间边界，即anchor-free的第一阶段，对于每个金字塔层，预测每个时间点上的左右边界距离，以及该动作提名序列的类别(例如，对于第l-th FPN层特征
Figure BDA0003523181610000056
首先将其投影到两个隐空间
Figure BDA0003523181610000057
和
Figure BDA0003523181610000058
中，分别用两个时间卷积的两个分支进行定位和分类。
Figure BDA0003523181610000059
和
Figure BDA00035231816100000510
均通过在所有FPN层之间共享的一层时间卷积进行处理，以获得位置i的粗略开始和结束边界距离
Figure BDA00035231816100000511
及类别得分yi。可以得到第l-th层第i-th时间步的开始和结束时间，如公式(4)所示；
Figure BDA0003523181610000061
再次，进行精细预测。边界特征在时间动作定位中具有重要的作用。然而，由于不同的动作实例可能有不同的长度，且感受野有限，很难通过几个简单的时间卷积来获得所有动作提名的边界信息。使用了一个基于显著性的细化模块，根据粗糙预测中的每个动作提名，寻找到最显著的边界特征，用这个特征来优化每个动作提名的边界位置，并且得到精细预测的分类，最后还会输出该动作提名的置信度来表示该预测的质量。该模块主要是利用了当前FPN层的特征和帧级特征结合来获取动作边界相关特征，这里两个特征结合是为了获取粗粒度与细粒度的特征。在动作边界特征floc提取部分使用了边界池化操作，对于给定的某个粗糙的边界，该操作会在动作提名序列两段的一个范围内寻找最大值作为对应时间点上的显著性特征。为了确保找到的最大值能代表该动作提名的显著性边界特征，进一步提出了边界一致性学习损失函数(Boundary Consiscency Learning)，该损失函数包括两部分：激活指导学习以及边界对比学习。
具体地，激活指导学习就是利用动作开始与结束标签作为ground-truth并指导特征的学习。首先将FPN特征或者帧级特征做tanh和mean操作将其通道(channel)转换为1，值范围为[0,1]，如公式(5)所示，σ和GN分别表示ReLU和组归一化，fs和fe分别为通过卷积层将floc投射到分别对开始和结束活动敏感的两个潜在空间：
Figure BDA0003523181610000062
边界对比学习(Boundary Contrastive Learning)借鉴了对比学习的思想。在训练过程中随机将一段输入根据前景进行切割，使用triplet loss来优化结果。
最后进行微表情识别，微表情识别输出包括出现的微表情时间段、类别(积极、消极)、置信度。一方面，微表情类别
Figure BDA0003523181610000063
(积极、消极)和置信度
Figure BDA0003523181610000064
可作为评分卡的重要变量；另一方面，输出结果可做为风控的另一个参考依据，当出现消极的微表情且置信度位于模糊的阈值区域时，风控审核人员可根据时间段和类别做二次人工审核，作为自动审核的一个辅助手段。
S140、提取预处理后的面审视频中带有显著性变量感兴趣区域的图像；
在本发明实施例中，如前文所述，对矫正后的人脸图像进行显著性变量感兴趣区域的提取。
S150、对所述显著性变量感兴趣区域进行识别，获得显著性变量识别结果，其中所述显著性变量至少包括年龄、衣着暴露度和人脸配合度。
在本发明实施例中，具体可以包括：
将矫正后的人脸图像输入至年龄识别模型，得到年龄预测集；
计算所述年龄预测集中的年龄与真实年龄的平均年龄差。
将矫正后的人脸图像Sf载入年龄识别模型，得到年龄的预测集Zage＝{age1,...,agei,...,ageN},age∈[0,100]；
计算在视频中预测的年龄与真实年龄age的平均年龄差ΔZage，如公式(5)所示：
Figure BDA0003523181610000071
具体地，根据衣着暴露度识别模型对所述衣着序列进行识别，得到衣着暴露度预测序列；
对所述衣着暴露度预测序列计算平均值，得到平均衣着暴露度。
训练衣着暴漏度识别模型，模型为基于mobilenetv2的5分类识别模型，衣着暴漏度划分按照{(0,20],(20,40],(40,60],(60,80],(80,100]}划分；
将衣着序列载入衣着暴漏度识别模型中，得到衣着暴露度预测序列Z'dress＝{dress1,...,dressi,...,dressN},dress∈{0,4}，对序列的识别结果求平均，得到平均衣着暴漏度Zdress。
Figure BDA0003523181610000072
具体地，将矫正后的人脸图像输入至人脸配合度识别模型，得到人脸配合度预测集；
计算所述人脸配合度预测集中配合人脸的占比，其中所述配合人脸为面部遮挡≤20％，且面部俯仰/偏航角≤45°的人脸。
以矫正后的人脸图像
Figure BDA0003523181610000073
作为输入，训练人脸配合度识别模型，模型为基于mobilenetv2的2分类识别模型，样本标签划分按照：正样本(面部遮挡≤20％，面部俯仰/偏航角≤45°)，反之则为负样本；
将人脸图像Sf载入人脸配合度识别模型，得到人脸配合度预测集Z'fit＝{fit1,...,fiti,...,fitN},fit∈{0,1}，计算中Z'fit正样本(配合人脸)的占比Zfit；
Figure BDA0003523181610000074
S160、根据所述微表情的类别、微表情的置信度及所述显著性变量识别结果获得贷款风险评分结果。
在本发明实施例中，具体包括：
将所述微表情的类别、微表情的置信度及所述显著性变量识别结果均作为贷款风险评分的变量；
根据贷款业务类型分别对不同的贷款风险评分的变量赋值不同的权重；
根据贷款风险评分的变量及其对应的权重获得贷款风险评分结果。
具体地，所述贷款风险评分方式可以通过构建反欺诈评分卡的方式来实现。
例如，如图4所示，根据自身的业务需要来分配各变量(微表情类别(积极、消极)和所属的置信度、预测的平均年龄差、预测的平均衣着暴漏度，以及配合人脸占比)的权重，基于此作为构建反欺诈评分卡的多维度变量，用于未来一段时间内违约/逾期/失联概率的预测。
其中，各变量权重系数的划分根据实际业务场景下的大数据分析来设定。如在小额经营贷的中，申请者多为小微企业主或法人等，在衣着上更为职业化，年龄差较小，因此就需要降低平均衣着暴漏度上的权重，增加年龄差上的权重，在这里我分别设置为{ω1＝0.4,ω2＝0.15,ω3＝0.05,ω4＝0.1}。在工程车车抵贷场景中，申请者多为从事工程业务的人员，由于长期的外部工作对视觉年龄的影响较大，在穿着是更为随意，因此需要增加平均衣着暴漏度上的权重，降低年龄差的权重，在这里权重分别设置为{ω1＝0.4,ω2＝0.1,ω3＝0.1,ω4＝0.1}。各变量在反欺诈评分卡的加权得分计算公式如(8)所示。
Figure BDA0003523181610000081
综上，本发明实施例提供的基于视频识别的贷款风险信息挖掘方法，通过将时序的面审视频进行预处理，获取表情感兴趣区域的光流图像，载入基于学习显著性边界特征的无锚框时序动作检测算法AFSD(Anchor-Free Saliency-based Detector)预测微表情出现的时间段、类别和置信度，关键风险变量的检测方法通过构建显著性变量识别，包括年龄识别模型、衣着暴漏度识别模型、人脸配合度识别模型来提取风险变量。这种基于视频识别的贷款风险信息挖掘方法实现了从多维角度挖掘贷款风险信息的目标，能够对贷款风险信息进行评估，提高贷款风险信息评估效率。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于视频识别的贷款风险信息挖掘方法，其特征在于，包括：
获取贷款申请者的面审视频，并对所述面审视频进行预处理；
提取预处理后的面审视频中带有微表情感兴趣区域的光流图像；
根据无锚框时序动作检测算法对所述光流图像中的微表情感兴趣区域进行识别，获得微表情的类别及微表情的置信度；
提取预处理后的面审视频中带有显著性变量感兴趣区域的图像；
对所述显著性变量感兴趣区域进行识别，获得显著性变量识别结果，其中所述显著性变量至少包括年龄、衣着暴露度和人脸配合度；
根据所述微表情的类别、微表情的置信度及所述显著性变量识别结果获得贷款风险评分结果。
2.根据权利要求1所述的基于视频识别的贷款风险信息挖掘方法，其特征在于，获取贷款申请者的面审视频，并对所述面审视频进行预处理，包括：
根据人脸检测工具对所述面审视频逐帧进行人脸检测，获得人脸坐标框和人脸关键点，所述人脸关键点包括眼睛、鼻子和嘴角；
根据衣着检测工具对所述面审视频进行衣着检测，获得衣着检测序列。
3.根据权利要求2所述的基于视频识别的贷款风险信息挖掘方法，其特征在于，获取贷款申请者的面审视频，并对所述面审视频进行预处理，还包括：
根据所述人脸坐标框和人脸关键点对人脸进行归一化处理，得到矫正后的人脸图像。
4.根据权利要求3所述的基于视频识别的贷款风险信息挖掘方法，其特征在于，提取预处理后的面审视频中带有微表情感兴趣区域的光流图像，包括：
提取矫正后的人脸图像中的稠密度光流；
读取所述稠密度光流中的光流分量，并进行合并处理得到微表情光流特征集。
5.根据权利要求4所述的基于视频识别的贷款风险信息挖掘方法，其特征在于，根据无锚框时序动作检测算法对所述光流图像中的微表情感兴趣区域进行识别，获得微表情的类别及微表情的置信度，包括：
对所述微表情光流特征集进行微表情特征提取；
根据无锚预测模块对提取的特征获得时间边界特征；
对所述时间边界特征进行精细预测，获得动作边界特征；
根据所述时间边界特征和所述动作边界特征进行微表情识别，获得微表情的类别及微表情的置信度。
6.根据权利要求3所述的基于视频识别的贷款风险信息挖掘方法，其特征在于，根据衣着检测工具对所述面审视频进行衣着检测，获得衣着检测序列，包括：
根据基于YOLOv4训练得到的衣着检测模型对所述面审视频中的衣着位置区域进行衣着检测，其中所述衣着位置区域包括从肩膀到跨部的坐标；
对所述面审视频逐帧进行衣着检测，并进行归一化处理，得到衣着序列。
7.根据权利要求6所述的基于视频识别的贷款风险信息挖掘方法，其特征在于，对所述显著性变量感兴趣区域进行识别，获得显著性变量识别结果，包括：
根据衣着暴露度识别模型对所述衣着序列进行识别，得到衣着暴露度预测序列；
对所述衣着暴露度预测序列计算平均值，得到平均衣着暴露度。
8.根据权利要求3所述的基于视频识别的贷款风险信息挖掘方法，其特征在于，对所述显著性变量感兴趣区域进行识别，获得显著性变量识别结果，包括：
将矫正后的人脸图像输入至年龄识别模型，得到年龄预测集；
计算所述年龄预测集中的年龄与真实年龄的平均年龄差。
9.根据权利要求3所述的基于视频识别的贷款风险信息挖掘方法，其特征在于，对所述显著性变量感兴趣区域进行识别，获得显著性变量识别结果，包括：
将矫正后的人脸图像输入至人脸配合度识别模型，得到人脸配合度预测集；
计算所述人脸配合度预测集中配合人脸的占比，其中所述配合人脸为面部遮挡≤20%，且面部俯仰/偏航角≤45°的人脸。
10.根据权利要求1所述的基于视频识别的贷款风险信息挖掘方法，其特征在于，根据所述微表情的类别、微表情的置信度及所述显著性变量识别结果获得贷款风险评分结果，包括：
将所述微表情的类别、微表情的置信度及所述显著性变量识别结果均作为贷款风险评分的变量；
根据贷款业务类型分别对不同的贷款风险评分的变量赋值不同的权重；
根据贷款风险评分的变量及其对应的权重获得贷款风险评分结果。
CN202210187147.0A 2022-02-28 2022-02-28 基于视频识别的贷款风险信息挖掘方法 Pending CN114565448A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210187147.0A CN114565448A (zh) 2022-02-28 2022-02-28 基于视频识别的贷款风险信息挖掘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210187147.0A CN114565448A (zh) 2022-02-28 2022-02-28 基于视频识别的贷款风险信息挖掘方法

Publications (1)

Publication Number Publication Date
CN114565448A true CN114565448A (zh) 2022-05-31

Family

ID=81715434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210187147.0A Pending CN114565448A (zh) 2022-02-28 2022-02-28 基于视频识别的贷款风险信息挖掘方法

Country Status (1)

Country Link
CN (1) CN114565448A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953239A (zh) * 2023-03-15 2023-04-11 无锡锡商银行股份有限公司 一种基于多频流网络模型的面审视频场景评估方法
CN115983986A (zh) * 2023-03-20 2023-04-18 无锡锡商银行股份有限公司 一种针对视频面审人像的衣着暴露等级识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953239A (zh) * 2023-03-15 2023-04-11 无锡锡商银行股份有限公司 一种基于多频流网络模型的面审视频场景评估方法
CN115983986A (zh) * 2023-03-20 2023-04-18 无锡锡商银行股份有限公司 一种针对视频面审人像的衣着暴露等级识别方法
CN115983986B (zh) * 2023-03-20 2023-07-14 无锡锡商银行股份有限公司 一种针对视频面审人像的衣着暴露等级识别方法

Similar Documents

Publication Publication Date Title
CN100423020C (zh) 一种基于结构主元分析的人脸识别方法
CN101030244B (zh) 基于人体生理图像中排序测度特征的自动身份识别方法
Perez et al. Methodological improvement on local Gabor face recognition based on feature selection and enhanced Borda count
CN101558431B (zh) 脸认证设备
US8345921B1 (en) Object detection with false positive filtering
CN112215180B (zh) 一种活体检测方法及装置
CN108256459A (zh) 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
Gizatdinova et al. Feature-based detection of facial landmarks from neutral and expressive facial images
CN110363183A (zh) 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
CN101142584A (zh) 面部特征检测的方法
CN114565448A (zh) 基于视频识别的贷款风险信息挖掘方法
Ghosh et al. Feature selection for facial emotion recognition using late hill-climbing based memetic algorithm
CN101714212A (zh) 信息处理设备和方法、程序以及记录介质
CN113033519B (zh) 活体检测方法、估算网络处理方法、装置和计算机设备
CN110520865A (zh) 人脸识别的方法、装置和电子设备
Hebbale et al. Real time COVID-19 facemask detection using deep learning
Gupta et al. Single attribute and multi attribute facial gender and age estimation
Sakthimohan et al. Detection and Recognition of Face Using Deep Learning
CN110532838A (zh) 对象检测装置和方法及存储介质
Wazirali et al. Hybrid Feature Extractions and CNN for Enhanced Periocular Identification During Covid-19.
Lamsal et al. Effects of the Unscented Kalman filter process for high performance face detector
Pathak et al. Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching
Singh et al. Fingerprint identification using modified capsule network
Sivapriyan et al. Analysis of facial recognition techniques
Modak et al. A Novel Multimodal Biometric Authentication Framework Using Rule-Based ANFIS Based on Hybrid Level Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination