CN110321789A - 基于生物特征识别面试欺诈的方法及相关设备 - Google Patents

基于生物特征识别面试欺诈的方法及相关设备 Download PDF

Info

Publication number
CN110321789A
CN110321789A CN201910425366.6A CN201910425366A CN110321789A CN 110321789 A CN110321789 A CN 110321789A CN 201910425366 A CN201910425366 A CN 201910425366A CN 110321789 A CN110321789 A CN 110321789A
Authority
CN
China
Prior art keywords
interviewee
key point
interview
fraud
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910425366.6A
Other languages
English (en)
Inventor
邹晓晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN201910425366.6A priority Critical patent/CN110321789A/zh
Publication of CN110321789A publication Critical patent/CN110321789A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Abstract

本申请涉及生物识别技术领域，尤其涉及一种基于生物特征识别面试欺诈的方法及相关设备，包括：接收所述面试者终端上传的面试者人脸图像，提取所述人脸图像中的关键点；发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流；截取所述视频流中的关键帧，提取所述关键帧中的音频信息；根据所述音频信息，确定所述人脸关键点的预期位置；提取所述关键帧中的图像信息，根据所述图像信息，得到所述人脸关键点的实际位置；将所述预期位置与所述实际位置进行比较，若两者的误差大于预设阈值，则标记所述面试者终端存在欺诈，否则不标记。本申请有效的防止了在远程面试过程中，两个人进行双簧欺诈的现象。

Description

基于生物特征识别面试欺诈的方法及相关设备
技术领域
本申请涉及生物识别技术领域，尤其涉及一种基于生物特征识别面试欺诈的方法及相关设备。
背景技术
面试过程是企业进行招聘的主要手段，在互联网大力发展的今天，往往采用远程面试的方式对求职者进行筛选。通过远程面试的方式可以降低大量的人力物力，同时可以采用计算机智能面试的方式对求职者进行考核。
但是，在远程面试过程中，存在着面试欺诈的现象，尤其是采用双人配合答题这种类似双簧的方式对面试过程进行欺诈，从而获得对求职者有利的面试结果。
发明内容
基于此，有必要针对远程面试过程中存在的双簧欺诈的问题，提供一种基于生物特征识别面试欺诈的方法及相关设备。
一种基于生物特征识别面试欺诈的方法，包括：
接收所述面试者终端上传的面试者人脸图像，提取所述人脸图像中的关键点；
发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流；
截取所述视频流中的关键帧，提取所述关键帧中的音频信息；
根据所述音频信息，确定所述人脸关键点的预期位置；
提取所述关键帧中的图像信息，根据所述图像信息，得到所述人脸关键点的实际位置；
将所述预期位置与所述实际位置进行比较，若两者的误差大于预设阈值，则标记所述面试者终端存在欺诈，否则不标记。
在一个可能的实施例中，所述提取所述人脸图像中的关键点，包括：
将所述人脸图像划分成数个区域子块，对每一个所述区域子块采用哈雾haar分类器进行原始haar-like特征提取；
对所述原始haar-like特征采用迭代算法进行强化训练，得到强化分类处理后的强化haar-like特征；
将每一个所述区域子块的所述强化haar-like特征进行聚类后得到所述人脸关键点。
在一个可能的实施例中，所述发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流之后，所述方法还包括：
将所述视频流进行YUV三分量转换；
提取所述视频流各帧图像中各像素的U分量，对所述U分量的进行加权求和；
将所述加权求和的结果与预期像素值进行比较，若所述加权求和的结果与预期像素值的差值在误差阈值以内，则不进行降噪，否则对所述视频流进行低通滤波降噪。
在一个可能的实施例中，所述根据所述音频信息，确定所述人脸关键点的预期位置，包括：
将所述人脸关键点对应的参数入参到三维人脸模型中，生成面试者虚拟面部图；
提取所述音频信息中的音频特征，根据所述音频特征，得到所述虚拟面部图中嘴部运动轨迹；
截取所述嘴部运动轨迹对应的嘴角关键点的起始位置和终止位置作为所述预期位置。
在一个可能的实施例中，所述截取所述视频流中的关键帧，包括：
将所述视频流分割成数个子段，计算所述子段的任一帧与所述子段内其他所有帧之间的播放时间间隔，以播放时间间隔最小值对应的帧作为所述子段的关键帧；
汇总所有所述子段的关键帧得到所述视频流的关键帧。
在一个可能的实施例中，所述提取所述关键帧中的图像信息，根据所述图像信息，得到所述人脸关键点的实际位置，包括：
提取所述关键帧中的图像信息，从所述图像信息抽取出鼻尖关键点的位置信息；
根据所述鼻尖关键点信息，确定所述图像信息中面试者头部左右转动的角度；
根据所述头部左右转动的角度，确定所述人脸关键点中嘴角关键点的实际位置。
在一个可能的实施例中，所述提取所述音频信息中的音频特征，根据所述音频特征，得到所述虚拟面部图中嘴部运动轨迹，包括：
根据预设的嘴部关键点提取算法，从所述面试者虚拟面部图中提取嘴部关键点；
归一化所述嘴部关键点，得到增强关键点；
根据所述音频特征点，得到所述音频的播放频率和播放时嘴部运动幅度，拟合所述播放频率和所述嘴部运动幅度后，得到所述虚拟面部图中嘴部运动轨迹。
在一个可能的实施例中，一种基于生物特征识别面试欺诈的装置，其特征在于，包括以下模块：
收发模块，设置为接收所述面试者终端上传的面试者人脸图像；发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流；
处理模块，设置为提取所述人脸图像中的关键点；截取所述视频流中的关键帧，提取所述关键帧中的音频信息；根据所述音频信息，确定所述人脸关键点的预期位置；提取所述关键帧中的图像信息，根据所述图像信息，得到所述人脸关键点的实际位置；将所述预期位置与所述实际位置进行比较，若两者的误差大于预设阈值，则标记所述面试者终端存在欺诈，否则不标记。
一种计算机设备，所述设备包括：至少一个处理器、存储器和收发器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行上述基于生物特征识别面试欺诈的方法。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于生物特征识别面试欺诈的方法的步骤。
与现有机制相比，本申请通过在面试过程中对面试者的图像关键点位移和面试者音频进行比对，从而有效的防止了在远程面试过程中，两个人进行双簧欺诈的现象。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。
图1为本申请在一个实施例中的一种基于生物特征识别面试欺诈的方法的整体流程图；
图2为本申请在一个实施例中的一种基于生物特征识别面试欺诈的方法中的人脸关键点提取过程示意图；
图3为本申请在一个实施例中的一种基于生物特征识别面试欺诈的方法中的预期位置确定过程示意图；
图4为本申请在一个实施例中的一种基于生物特征识别面试欺诈的方法中的实际位置确定过程示意图；
图5为本申请在一个实施例中的一种基于生物特征识别面试欺诈的装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本申请在一个实施例中的一种基于生物特征识别面试欺诈的方法的整体流程图，如图1所示，一种基于生物特征识别面试欺诈的方法，包括以下步骤：
S1、接收所述面试者终端上传的面试者人脸图像，提取所述人脸图像中的关键点；
具体的，在接收所述面试者终端上传的面试者人脸图像之前，还可以对面试者终端进行权限识别，如获取面试者提交的我要面试请求，展示授权弹窗，提示所述面试者授权登录答题系统；当所述面试者未授权登录答题系统时，拒绝登录答题系统，展示未授权提示页面；当所述面试者授权登录答题系统时，展示成功登录页面，成功登录页面包括立即进入按钮，面试者可通过点击立即进入按钮，快速进入答题系统。
在本步骤中，对于面试者人脸图像中的关键点提取可以采用ASM算法、Dlib算法等。在对面试者人脸图像进行关键点提取时，首先要求面试者正对图像采集端口，其中图像采集可以采用CCD相机等，在进行采集时可以采用连拍的方式以降低单次拍照可能导致的图像清晰度低的问题。
S2、发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流；
具体的，获取所述面试者终端的IP地址，根据所述IP地址从预设的面试题目数据库中抽取出所述IP地址对应的面试题目类型。比如，面试者终端的IP地址为198.125.235，对应的面试题目类型为销售经理，则从面试销售经理的试题库中随机抽取出一套题目作为该面试者终端的操作者所要回答的题目。
在接收面试者终端上传的视频流时，可以先发送一端测试语音作为视频流录入的指令。如随机生成一段固定数位的数字，提示面试者朗读；获取面试者的朗读语音，并重复提示面试者朗读直至采集多次朗读语音，优选为三次；对朗读语音信息识别，将识别出的语音发送至面试者终端，若面试者终端确认，则开始接收面试者终端的视频流，否则重新识别语音直到面试者终端确认。
S3、截取所述视频流中的关键帧，提取所述关键帧中的音频信息；
其中，关键帧的概念来源于传统的卡通片制作。在早期Walt Disney的制作室，熟练的动画师设计卡通片中的关键画面，也即所谓的关键帧，然后由一般的动画师设计中间帧。在三维计算机动画中，中间帧的生成由计算机来完成，插值代替了设计中间帧的动画师。所有影响画面图象的参数都可成为关键帧的参数，如位置、旋转角、纹理的参数等。关键帧技术是计算机动画中最基本并且运用最广泛的方法。
在一个实施例中，所述截取所述视频流中的关键帧，包括：
将所述视频流分割成数个子段，计算所述子段的任一帧与所述子段内其他所有帧之间的播放时间间隔，以播放时间间隔最小值对应的帧作为所述子段的关键帧；
汇总所有所述子段的关键帧得到所述视频流的关键帧。
S4、根据所述音频信息，确定所述人脸关键点的预期位置；
具体的，本步骤的具体实施方式可以参见图3。图3为本申请在一个实施例中的一种基于生物特征识别面试欺诈的方法中的预期位置确定过程示意图，如图所示，包括：
S41、将所述人脸关键点对应的参数入参到三维人脸模型中，生成面试者虚拟面部图；
其中，三维人脸模型是一个面部的三维图像，在这个三维图像预先设置好了五官的位置。在进行面试者虚拟面部图合成时，只需根据人脸关键点的位置对三维图像预先设置好了五官的位置进行调整就可以得到需要的面试者虚拟面部图。比如，在三维图像中，两个嘴角间的距离为10，而通过人脸关键点识别后得到的左嘴角关键点到右嘴角关键点的距离为9，则调整三维图像中的嘴角间的距离至9。
S42、提取所述音频信息中的音频特征，根据所述音频特征，得到所述虚拟面部图中嘴部运动轨迹；
其中，音频特征是指在面试者回答面试问题时，音轨中的特征点，比如，以音强作为参考值，当音轨中，某一个音强大于预设音强阈值，则该音强对应的语音就作为一个音频特征。音频特征可以反映出面试者嘴部开合的幅度，因此汇总所有音频特征就可以得到所述虚拟面部图中嘴部运动轨迹。
S43、截取所述嘴部运动轨迹对应的嘴角关键点的起始位置和终止位置作为所述预期位置。
本实施例，利用音频特征分析，从而准确的得到虚拟面部图中嘴部移动情况，从而有效的防止了面试者进行欺诈。
S5、提取所述关键帧中的图像信息，根据所述图像信息，得到所述人脸关键点的实际位置；
具体的，本步骤的具体实施方式可以参见图4。图4为本申请在一个实施例中的一种基于生物特征识别面试欺诈的方法中的实际位置确定过程示意图，包括：
S51、提取所述关键帧中的图像信息，从所述图像信息抽取出鼻尖关键点的位置信息；
具体的，提取额头的关键点A，还有下巴的关键点B，并且左侧嘴角的关键点C，和右侧嘴角的关键点D；上述关键点的提取方式可以采用python框架下的dlib算法进行提取。
分别连接两个嘴角关键点C和D，连接关键点A和关键点B得到交叉于交叉点P，交叉点P为使用者的人脸图像中鼻子位置。
S52、根据所述鼻尖关键点信息，确定所述图像信息中面试者头部左右转动的角度；
具体的，记录初始状态S1中交叉点P的位置P1，再记录终止状态S2中交叉点P的位置P2，计算P1和P2的差值得到鼻尖移动的距离，以鼻尖移动距离为弦长，计算得到面试者头部移动的角度。
S53、根据所述头部左右转动的角度，确定所述人脸关键点中嘴角关键点的实际位置。
具体的，连接鼻尖关键点P到嘴角关键点C得到线段M，连接鼻尖关键点P和下巴关键点A得到线段N，连接下巴关键点A和嘴角关键点C得到线段Q，线段M、N、Q构成一个三角形，测量M和Q的夹角，根据夹角的余弦值得到头部转动角度和嘴角移动位置的对应关系，即头部转动的角度值对应的弧度值乘以所述余弦值为嘴角关键点的移动距离。进而得到嘴角的实际位置。
本实施例，通过对面试者面部关键点的精准计算，从而准确的获得了视屏中实际人脸的移动轨迹，从而加强了比对的精确度。
S6、将所述预期位置与所述实际位置进行比较，若两者的误差大于预设阈值，则标记所述面试者终端存在欺诈，否则不标记。
具体的，在计算预期位置和实际位置的误差时可以将预期位置和实际位置均放在同一个三维坐标系下，然后根据预期位置的坐标和实际位置的坐标之间的距离差值，得到误差。
本实施例，通过在面试过程中对面试者的图像关键点位移和面试者音频进行比对，从而有效的防止了在远程面试过程中，两个人进行双簧欺诈的现象。
图2为本申请在一个实施例中的一种基于生物特征识别面试欺诈的方法中的人脸关键点提取过程示意图，如图所示，所述提取所述人脸图像中的关键点，包括：
S21、将所述人脸图像划分成数个区域子块，对每一个所述区域子块采用哈雾haar分类器进行原始haar-like特征提取；
其中，Haar分类器由Haar特征提取、离散强分类器、强分类级联器组成。核心思想是提取人脸的Haar特征，使用积分图对特征进行快速计算，然后挑选出少量关键特征，送入由强分类器组成的级联分类器进行迭代训练。
在本实施例中，使用haar分类器对原始haar-like特征提取进行提取时，对常用的积分图进行改进，改进后的积分图公式为：
ii(x,y)＝∑i(x,y)·σ+(1-σ)∫i(x,y)dxdy，式子中，i(x,y)表示坐标(x,y)点处的像素值，ii(x,y)表示积分图取值，σ表示间断参数。不同于传统的积分图计算公式，在本积分图计算公式中引入间断参数，可以根据人脸图像中不同部位的梯度变化进行分别计算，即在梯度没有发生变化的区域可以使用积分计算的方式得到积分图数值，而对于梯度发生变化的区域则使用求和的方式得到积分图，采用本公式计算可以大大提升haar分类器的分类效率。
S22、对所述原始haar-like特征采用迭代算法进行强化训练，得到强化分类处理后的强化haar-like特征；
其中，迭代算法可以采用Lloyd算法，MacQueen算法、牛顿迭代算法等，在进行迭代时将原始haar-like特征中相类似的特征进行合并以得到强化haar-like特征。
在一个实施例中，所述对所述原始haar-like特征采用迭代算法进行强化训练，得到强化分类处理后的强化haar-like特征，包括：
将所述原始haar-like特征进行随机划分成数个训练样本组，赋予所述训练样本组中的训练样本以不同的权重；
其中，训练样本的权重可以根据训练样本在训练样本组中位置进行赋予，即排序在首位的训练样本的权重最大，排在末位的训练样本的权重最小。
对所述权重最大的训练样本进行第一次迭代后得到首最优样本；
具体的，在进行迭代时可以采用的迭代算法为梯度下降算法、近牛顿迭代算法等。
计算个所述训练样本与所述一次最优样本之间的差值，根据所述差值对所述训练样本进行迭代；
对所述首最优样本进行再次迭代得到次最优样本，将所述次最优样本作为新的首最优样本，对所述训练样本进行迭代，直到迭代后所有训练样本之间的差值均小于误差阈值后，得到数个最优弱分类器；
级联数个所述最优弱分类器，得到一强分类器，采用所述强分类器对所述原始haar-like特征进行强化分类处理后的得到强化haar-like特征。
其中，级联(cascade)在计算机科学里指多个对象之间的映射关系，建立数据之间的级联关系提高管理效率。将多个最优弱分类器进行级联后，提取最优弱分类器之间的共性分类参数后得到强分类器。在本实施例中，还可以将数个强分类器进行级联后得到强分类器组，以增强haar-like特征的识别效果。
S23、将每一个所述区域子块的所述强化haar-like特征进行聚类后得到所述人脸关键点。
具体的，应用Adaboost统计算法对所述强化haar-like特征中的权重进行叠加，叠加后在每一个区域子块中形成人脸五官分类的人脸关键点，比如鼻尖的位置、嘴角的位置等等。
本实施例，通过强化haar-like特征，从而能够准确的确定需要进行人脸识别的人脸关键点，从而提升了人脸移动时的位置和距离精度。
在其中一个实施例中，所述发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流之后，所述方法还包括：
将所述视频流进行YUV三分量转换；
其中，YUV(亦称YCrCb)是被欧洲电视系统所采用的一种颜色编码方法(属于PAL)。YUV主要用于优化彩色视频信号的传输，使其向后兼容老式黑白电视。与RGB视频信号传输相比，它最大的优点在于只需占用极少的带宽(RGB要求三个独立的视频信号同时传输)。"Y"表示明亮度(Lumina nce或Luma)，也就是灰阶值；是个基带信号。而"U"和"V"表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。U和V不是基带信号，它俩是被正交调制了的。"亮度"是通过RGB输入信号来创建的，方法是将RGB信号的特定部分叠加到一起。"色度"则定义了颜色的两个方面-色调与饱和度，分别用Cr和CB来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而CB反映的是RGB输入信号蓝色部分与RGB信号亮度值之同的差异。通过运算，YUV三分量可以还原出R(红)，G(绿)，B(兰)。
提取所述视频流各帧图像中各像素的U分量，对所述U分量的进行加权求和；
将所述加权求和的结果与预期像素值进行比较，若所述加权求和的结果与预期像素值的差值在误差阈值以内，则不进行降噪，否则对所述视频流进行低通滤波降噪。
其中，低通滤波(Low-pass filter)是一种过滤方式，规则为低频信号能正常通过，而超过设定临界值的高频信号则被阻隔、减弱。但是阻隔、减弱的幅度则会依据不同的频率以及不同的滤波程序(目的)而改变。从而达到降噪的目的。
本实施例，通过对视频流进行区分后降噪，从而避免了因为视频流中的噪点影像反欺诈鉴别的准确度。
在其中一个实施例中，所述提取所述音频信息中的音频特征，根据所述音频特征，得到所述虚拟面部图中嘴部运动轨迹，包括：
根据预设的嘴部关键点提取算法，从所述面试者虚拟面部图中提取嘴部关键点；
其中，预设的嘴部特征提取算法为dlib算法。
归一化所述嘴部关键点，得到增强关键点；
具体的，在归一化嘴部特征点采用区域聚类的方式，由于嘴部是对称结构，因此将嘴部划分为左上、左下、右上和右下四个区域，以划分区域的直线作为坐标轴，建立一坐标系，对坐标中四个区域中的任意一个区域中的关键点进行聚类增强。具体的增强方式是，计算两个关键点之间的距离，若距离小于预设阈值，则以这连个关键点连线的线段中点作为一个增强关键点。这样可以减少需要进行计算的关键点数量。
根据所述音频特征点，得到所述音频的播放频率和播放时嘴部运动幅度，拟合所述播放频率和所述嘴部运动幅度后，得到所述虚拟面部图中嘴部运动轨迹。
本实施例，通过对嘴部关键点进行归一化增强处理，从而准确的获得了虚拟面部图中模拟嘴部运动轨迹，达到了利用声音确定嘴部运动轨迹的目的，从而在进行反欺诈时，能够与图像中的嘴部运动轨迹进行准确比较，提升反欺诈的准确率。
在一个实施例中，提出了一种基于生物特征识别面试欺诈的装置，如图4所示，包括以下模块：
收发模块，设置为接收所述面试者终端上传的面试者人脸图像；发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流；
处理模块，设置为提取所述人脸图像中的关键点；截取所述视频流中的关键帧，提取所述关键帧中的音频信息；根据所述音频信息，确定所述人脸关键点的预期位置；提取所述关键帧中的图像信息，根据所述图像信息，得到所述人脸关键点的实际位置；将所述预期位置与所述实际位置进行比较，若两者的误差大于预设阈值，则标记所述面试者终端存在欺诈，否则不标记。
处理模块可用于控制所述收发模块的收发操作。所述基于生物特征识别面试欺诈的装置具有实现对应于上述图1-图4所对应的实施例中提供的基于生物特征识别面试欺诈的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
在一个实施例中，提出了一种计算机设备，至少一个处理器、存储器和收发器；
其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行上述各实施例中的所述基于生物特征识别面试欺诈的方法的步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中的所述基于生物特征识别面试欺诈的方法的步骤。其中，所述存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请一些示例性实施例，其中描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于生物特征识别面试欺诈的方法，其特征在于，包括：
接收所述面试者终端上传的面试者人脸图像，提取所述人脸图像中的关键点；
发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流；
截取所述视频流中的关键帧，提取所述关键帧中的音频信息；
根据所述音频信息，确定所述人脸关键点的预期位置；
提取所述关键帧中的图像信息，根据所述图像信息，得到所述人脸关键点的实际位置；
将所述预期位置与所述实际位置进行比较，若两者的误差大于预设阈值，则标记所述面试者终端存在欺诈，否则不标记。
2.根据权利要求1所述的基于生物特征识别面试欺诈的方法，其特征在于，所述提取所述人脸图像中的关键点，包括：
将所述人脸图像划分成数个区域子块，对每一个所述区域子块采用哈雾haar分类器进行原始haar-like特征提取；
对所述原始haar-like特征采用迭代算法进行强化训练，得到强化分类处理后的强化haar-like特征；
将每一个所述区域子块的所述强化haar-like特征进行聚类后得到所述人脸关键点。
3.根据权利要求1所述的基于生物特征识别面试欺诈的方法，其特征在于，所述发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流之后，所述方法还包括：
将所述视频流进行YUV三分量转换；
提取所述视频流各帧图像中各像素的U分量，对所述U分量的进行加权求和；
将所述加权求和的结果与预期像素值进行比较，若所述加权求和的结果与预期像素值的差值在误差阈值以内，则不进行降噪，否则对所述视频流进行低通滤波降噪。
4.根据权利要求1所述的基于生物特征识别面试欺诈的方法，其特征在于，所述根据所述音频信息，确定所述人脸关键点的预期位置，包括：
将所述人脸关键点对应的参数入参到三维人脸模型中，生成面试者虚拟面部图；
提取所述音频信息中的音频特征，根据所述音频特征，得到所述虚拟面部图中嘴部运动轨迹；
截取所述嘴部运动轨迹对应的嘴角关键点的起始位置和终止位置作为所述预期位置。
5.根据权利要求1所述的基于生物特征识别面试欺诈的方法，其特征在于，所述截取所述视频流中的关键帧，包括：
将所述视频流分割成数个子段，计算所述子段的任一帧与所述子段内其他所有帧之间的播放时间间隔，以播放时间间隔最小值对应的帧作为所述子段的关键帧；
汇总所有所述子段的关键帧得到所述视频流的关键帧。
6.根据权利要求1所述的基于生物特征识别面试欺诈的方法，其特征在于，所述提取所述关键帧中的图像信息，根据所述图像信息，得到所述人脸关键点的实际位置，包括：
提取所述关键帧中的图像信息，从所述图像信息抽取出鼻尖关键点的位置信息；
根据所述鼻尖关键点信息，确定所述图像信息中面试者头部左右转动的角度；
根据所述头部左右转动的角度，确定所述人脸关键点中嘴角关键点的实际位置。
7.根据权利要求4所述的基于生物特征识别面试欺诈的方法，其特征在于，所述提取所述音频信息中的音频特征，根据所述音频特征，得到所述虚拟面部图中嘴部运动轨迹，包括：
根据预设的嘴部关键点提取算法，从所述面试者虚拟面部图中提取嘴部关键点；
归一化所述嘴部关键点，得到增强关键点；
根据所述音频特征点，得到所述音频的播放频率和播放时嘴部运动幅度，拟合所述播放频率和所述嘴部运动幅度后，得到所述虚拟面部图中嘴部运动轨迹。
8.一种基于生物特征识别面试欺诈的装置，其特征在于，包括以下模块：
收发模块，设置为接收所述面试者终端上传的面试者人脸图像；发送面试题目至所述面试者终端，接收所述面试者终端上传的面试者回答所述面试题目时的视频流；
处理模块，设置为提取所述人脸图像中的关键点；截取所述视频流中的关键帧，提取所述关键帧中的音频信息；根据所述音频信息，确定所述人脸关键点的预期位置；提取所述关键帧中的图像信息，根据所述图像信息，得到所述人脸关键点的实际位置；将所述预期位置与所述实际位置进行比较，若两者的误差大于预设阈值，则标记所述面试者终端存在欺诈，否则不标记。
9.一种计算机设备，其特征在于，所述设备包括：
至少一个处理器、存储器和收发器；
其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-7中任一项所述基于生物特征识别面试欺诈的方法。
10.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述基于生物特征识别面试欺诈的方法的步骤。
CN201910425366.6A 2019-05-21 2019-05-21 基于生物特征识别面试欺诈的方法及相关设备 Pending CN110321789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910425366.6A CN110321789A (zh) 2019-05-21 2019-05-21 基于生物特征识别面试欺诈的方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910425366.6A CN110321789A (zh) 2019-05-21 2019-05-21 基于生物特征识别面试欺诈的方法及相关设备

Publications (1)

Publication Number Publication Date
CN110321789A true CN110321789A (zh) 2019-10-11

Family

ID=68113166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910425366.6A Pending CN110321789A (zh) 2019-05-21 2019-05-21 基于生物特征识别面试欺诈的方法及相关设备

Country Status (1)

Country Link
CN (1) CN110321789A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259822A (zh) * 2020-01-19 2020-06-09 杭州微洱网络科技有限公司 针对电商图像中模特脖颈关键点的检测方法
CN111326175A (zh) * 2020-02-18 2020-06-23 维沃移动通信有限公司 一种对话者的提示方法及穿戴设备
CN114648315A (zh) * 2022-05-09 2022-06-21 北京全景智招科技有限公司 虚拟面试的方法、装置、设备及存储介质
CN116071811A (zh) * 2023-04-06 2023-05-05 中国工商银行股份有限公司 人脸信息验证方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080260212A1 (en) * 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity
JP2014010686A (ja) * 2012-06-29 2014-01-20 Secom Co Ltd 顔画像認証装置
CN109697666A (zh) * 2018-12-18 2019-04-30 深圳壹账通智能科技有限公司 风险预警方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080260212A1 (en) * 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity
JP2014010686A (ja) * 2012-06-29 2014-01-20 Secom Co Ltd 顔画像認証装置
CN109697666A (zh) * 2018-12-18 2019-04-30 深圳壹账通智能科技有限公司 风险预警方法、装置、计算机设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259822A (zh) * 2020-01-19 2020-06-09 杭州微洱网络科技有限公司 针对电商图像中模特脖颈关键点的检测方法
CN111326175A (zh) * 2020-02-18 2020-06-23 维沃移动通信有限公司 一种对话者的提示方法及穿戴设备
CN114648315A (zh) * 2022-05-09 2022-06-21 北京全景智招科技有限公司 虚拟面试的方法、装置、设备及存储介质
CN116071811A (zh) * 2023-04-06 2023-05-05 中国工商银行股份有限公司 人脸信息验证方法及装置

Similar Documents

Publication Publication Date Title
CN110321789A (zh) 基于生物特征识别面试欺诈的方法及相关设备
CN106204779B (zh) 基于多人脸数据采集策略和深度学习的课堂考勤方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
WO2020151489A1 (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
KR102449841B1 (ko) 타겟의 검측 방법 및 장치
JP2894113B2 (ja) 画像クラスタリング装置
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
Marcel et al. Improving face verification using skin color information
CN108765131A (zh) 基于微表情的信贷审核方法、装置、终端及可读存储介质
CN108416250A (zh) 人数统计方法及装置
CN106982426A (zh) 一种远程实现旧卡实名制的方法与系统
US20070174272A1 (en) Facial Recognition in Groups
CN105359162A (zh) 用于图像中的与脸部有关的选择和处理的图像掩模
CN107766811A (zh) 一种基于复杂流型结构的人脸识别方法及系统
WO2021139171A1 (zh) 人脸增强识别方法、装置、设备及存储介质
CN112926506B (zh) 一种基于卷积神经网络的非受控人脸检测方法及系统
CN108389224A (zh) 图像处理方法及装置、电子设备和存储介质
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN111209818A (zh) 视频个体识别方法、系统、设备及可读存储介质
CN110032970A (zh) 高准确率的活体检测方法、装置、计算机设备及存储介质
González-Soler et al. On the impact of different fabrication materials on fingerprint presentation attack detection
US20180247431A1 (en) Process, system and apparatus for machine colour characterisation of digital media
CN109409305A (zh) 一种人脸图像清晰度评价方法及装置
TW201742006A (zh) 場線之擷取重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination