CN111898569B - 基于活体检测的人脸辨识方法 - Google Patents

基于活体检测的人脸辨识方法 Download PDF

Info

Publication number
CN111898569B
CN111898569B CN202010775800.6A CN202010775800A CN111898569B CN 111898569 B CN111898569 B CN 111898569B CN 202010775800 A CN202010775800 A CN 202010775800A CN 111898569 B CN111898569 B CN 111898569B
Authority
CN
China
Prior art keywords
characteristic
points
area
feature points
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010775800.6A
Other languages
English (en)
Other versions
CN111898569A (zh
Inventor
许志宇
唐郑熠
刘寅杰
乔羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian University of Technology
Original Assignee
Fujian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian University of Technology filed Critical Fujian University of Technology
Priority to CN202010775800.6A priority Critical patent/CN111898569B/zh
Publication of CN111898569A publication Critical patent/CN111898569A/zh
Application granted granted Critical
Publication of CN111898569B publication Critical patent/CN111898569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开基于活体检测的人脸辨识方法，通过识别身份证上证件号和人像图片，并从人像图片和视频人脸图像上分别选取对应的特征点构建人脸模型，进而基于各自特征点之间的距离的比例进行对比得到人脸图像与身份证上人像图片的对比误差值；对比误差值大于设定阈值则判定身份不一致；判定身份识别通过开始活体检测；活体检测时在机器界面中要求用户按预先设定的指令执行相应的动作，进而通过检测视频中用户的嘴部和眼部是否有开闭以对视频中的人像进行活体检测，最终结合身份识别对用户的身份与身份证上的信息是否匹配进行判断。本发明不仅对视频中的人像和身份证上的信息进行匹配，并且还可以对视频中的人像进行活体检测，防止出现用户信息被盗用而通过身分识别的情况。

Description

基于活体检测的人脸辨识方法
技术领域
本发明涉及人脸识别技术领域，尤其涉及基于活体检测的人脸辨识方法。
背景技术
人脸识别产品可广泛应用于金融、司法、军队、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等领域。并且随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在更多的领域。
现有的人脸特征提取方法存在前期需要大量的训练人脸图来保证所建立的三维人脸模型的准确性，且该建模算法复杂度较高，并不适用于大部分的人脸识别系统等缺点；而结合图像预处理、边缘检测及积分投影的几何特征信息提取方法，存在前期需要获取人脸特征点的位置信息，图像处理步骤繁琐且定位的特征点准确度不高等缺点。
发明内容
本发明的目的在于提供基于活体检测的人脸辨识方法。
本发明采用的技术方案是：
基于活体检测的人脸辨识方法，其包括以下步骤：
步骤1，利用摄像头获取身份证图像和人脸图像；
步骤2，提取身份证上的证件号，并依照证件号归档存储身份证图像和人脸图像；
步骤3，分别对人脸图像和身份证上人像图片提取若干反映人脸特征的特征点，特征点包括脸型轮廓特征点、眉形特征点、眼型特征点、鼻型特征点和嘴型特征点；
步骤4，基于人脸戴口罩或未戴口罩各自模型中所选取的特征点之间的距离的比例，先处存至数据库中再进行对比得到人脸图像与身份证上人像图片的对比误差值；
步骤5，判断对比误差值是否大于设定阈值；是则，判定身份不一致；否则，判定身份识别通过并执行步骤6开始活体检测；
步骤6，从摄像头拍摄的视频中分别截取一个以上指定区域的图像；
步骤7，从指定区域的图像中选定若干反应动作状态的特征点，
步骤8，根据指定区域特征点构建对应指定区域面积参数，并计算测试人员动作行为时随着时间变化的应指定区域面积变化曲线，
步骤9，根据指定区域面积变化曲线，判断测试人员是否根据指令做出相应的动作行为。
作为一种优选实施方式，进一步地，步骤2的具体步骤为：
步骤2-1，提取身份证上的证件号，并依照证件号查询数据库是否已有建档；是则，执行步骤2-2；否则，依照证件号建档以存储身份证图像和人脸图像；
步骤2-2，将现有的身份证的人像图片和人脸图像与已有的身份证的人像图片和人脸图像的交叉比对；当交叉比对判定位一致时，以现有的身份证的人像图片和人脸图像更新数据并执行步骤3；当交叉比对不一致时，判定身份不一致备份现有的身份证的人像图片和人脸图像同时告知测试人员。
作为一种优选实施方式，步骤3中利用DLIB进行人脸的面罩覆盖建立人脸模型。
作为一种优选实施方式，进一步地，步骤4的具体步骤为：
步骤4-1，从所有特征点的两两连线段中选取一基准线段和至少10个特征线段；
步骤4-2，将至少10个特征线段的长度分别除以基准线段长度得出至少10个特征结果并存储至数据库；
步骤4-3，将人像图片和人脸图像的至少10个特征结果分别对应相减之后进行平方，再将得到的计算结果求和，最后将求和所得到的结果进行开方得到对比误差值。
作为一种优选实施方式，进一步地，步骤4中基准线段选取眉间线段；至少10个特征线段以鼻梁中段为界分为上特征区域和下特征区域；上特征区域和下特征区域分别具有5个以上特征线段。
作为一种优选实施方式，进一步地，特征线段有25个，其中上特征区域包括14特征线段，下特征区域包括11特征线段。
作为一种优选实施方式，进一步地，当测试人员未佩戴口罩时，步骤5则计算获取上特征区和下特征区的特征线段对应的特征结果；当测试人员佩戴口罩时，步骤5则仅计算上特征区域的特征线段对应的特征结果。
作为一种优选实施方式，进一步地，步骤5的步骤5的设定阈值为0.2，当然本领域技术人员可以根据当前具体情况，为设定阈值选取适当的数值。
作为一种优选实施方式，进一步地，步骤6中指定区域为眼睛或者眼睛和嘴巴。
作为一种优选实施方式，进一步地，步骤7中涉及在嘴巴图像选定嘴巴特征点时，嘴巴特征点包括一组左右嘴角特征点以及三组以上的上下嘴唇特征点，每组上下嘴唇特征点间隔选取且上下嘴唇对应位置各选取一个特征点；
涉及在眼睛图像选定眼睛特征点时，眼睛特征点包括一组左右眼角特征点以及二组以上的上下眼睑特征点，每组上下眼睑特征点间隔选取且上下眼睑对应位置各选取一个特征点。
作为一种优选实施方式，进一步地，步骤8中涉及嘴巴面积变化曲线的计算步骤如下：
步骤8-1-1，从三组以上的上下嘴唇特征点选取一组上下嘴唇特征点作为当前组上下嘴唇特征点；
步骤8-1-2，由一组左右嘴角特征点和当前组上下嘴唇特征点四个点依次连线形成不规则四边形，不规则四边形由该组左右嘴角特征点连线分割形成上嘴三角形和下嘴三角形；
步骤8-1-3，分别计算上嘴三角形的面积分量和下嘴三角形的面积分量；
步骤8-1-4，综合计算得到当前上下嘴唇特征点对应的不规则四边形的面积分量。
步骤8-1-5，判定是否所有组的上下嘴唇特征点应的不规则四边形的面积分量均；是则，选取其一组未计算对应面积分量的上下嘴唇特征点作为当前组上下嘴唇特征点并执行步骤8-1-2；否则，执行步骤8-1-6；
步骤8-1-6，将所有组的上下嘴唇特征点对应的面积分量的总和绘制形成嘴巴面积变化曲线；
涉及眼睛面积变化曲线的计算步骤如下：
步骤8-2-1，从三组以上的上下眼睑特征点选取一组上下眼睑特征点作为当前组上下眼睑特征点；
步骤8-2-2，由一组左右眼角特征点和当前组上下眼睑特征点四个点依次连线形成不规则四边形，不规则四边形由该组左右眼角特征点连线分割形成上眼三角形和下眼三角形；
步骤8-2-3，分别计算上眼三角形的面积分量和下眼三角形的面积分量；
步骤8-2-4，综合计算得到当前上下眼睑特征点对应的不规则四边形的面积分量。
步骤8-2-5，判定是否所有组的上下眼睑特征点应的不规则四边形的面积分量均；是则，选取其一组未计算对应面积分量的上下眼睑特征点作为当前组上下眼睑特征点并执行步骤8-2-2；否则，执行步骤8-2-6；
步骤8-2-6，将所有组的上下眼睑特征点对应的面积分量的总和绘制形成眼睛面积变化曲线。
作为一种优选实施方式，进一步地，步骤10具体地步骤为：
步骤10-1，基于预设的嘴巴开闭阈值和眼睛开闭阈值，分别判断眼睛的开眼和闭眼以及嘴巴的张嘴和闭嘴动作；
步骤10-2，将判断的测试人员的动作行为与指令动作相比较是否一致；动作一致时，判断当前测试人员为活体并验证通过；否则活体验证失败并告知测试人员。
本发明采用以上技术方案，通过光学字符识别OCR技术识别身份证上证件号、人名、民族、性别、出生年月和家庭住址，并存于数据库。并从身份证的人像图片和视频人脸图像上分别选取对应的特征点构建人脸模型，进而基于各自人脸模型中特征点之间的距离的比例进行对比得到人脸图像与身份证上人像图片的对比误差值；判断对比误差值是否大于设定阈值；是则，判定身份不一致；否则，判定身份识别通过开始活体检测；活体检测时在机器界面中要求用户按预先设定的指令执行相应的动作(例如读出预先设定的一句话或给予相应的眨眼或者张嘴闭嘴的提示)，进而通过检测视频中用户的嘴部和眼部是否有开闭运动来判断视频中的人脸时照片还是真人以对视频中的人像进行活体检测，最终结合身份识别对用户的身份与身份证上的信息是否匹配进行判断。本发明不仅对视频中的人像和身份证上的信息进行匹配，并且还可以对视频中的人像进行活体检测，防止出现用户信息被盗用而通过身分识别的情况。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明实施例中68个特征点的选取示意图；
图2为本发明实施例中特征线段的选取示意图；
图3为本发明实施例中嘴部中间面积分量计算示意图；
图4为本发明实施例中嘴部右侧面积分量计算示意图；
图5为本发明实施例中嘴部左侧面积分量计算示意图；
图6为本发明实施例中眼睛左侧面积分量计算示意图；
图7为本发明实施例中眼睛右侧面积分量计算示意图；
图8为本发明实施例中嘴部面积参数变化曲线示意图；
图9为本发明实施例中眼睛面积参数变化曲线示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
如图1至图9之一所示，本发明公开了基于活体检测的人脸辨识方法，其包括以下步骤：
步骤1，利用摄像头获取身份证图像和人脸图像；
步骤2，提取身份证上的证件号，并依照证件号归档存储身份证图像和人脸图像；
步骤3，分别对人脸图像和身份证上人像图片提取若干反映人脸特征的特征点，特征点包括脸型轮廓特征点、眉形特征点、眼型特征点、鼻型特征点和嘴型特征点；
步骤4，基于各自人脸模型中特征点之间的距离的比例进行对比得到人脸图像与身份证上人像图片的对比误差值；
步骤5，判断对比误差值是否大于设定阈值；是则，判定身份不一致；否则，判定身份识别通过并执行步骤6开始活体检测；
步骤6，从摄像头拍摄的视频中分别截取一个以上指定区域的图像；
步骤7，从指定区域的图像中选定若干反应动作状态的特征点，
步骤8，根据指定区域特征点构建对应指定区域面积参数，并计算测试人员动作行为时随着时间变化的应指定区域面积变化曲线，
步骤9，根据指定区域面积变化曲线，判断测试人员是否根据指令做出相应的动作行为。
作为一种优选实施方式，进一步地，步骤2的具体步骤为：
步骤2-1，提取身份证上的证件号，并依照证件号查询数据库是否已有建档；是则，执行步骤2-2；否则，依照证件号建档以存储身份证图像和人脸图像；
步骤2-2，将现有的身份证的人像图片和人脸图像与已有的身份证的人像图片和人脸图像的交叉比对；当交叉比对判定位一致时，以现有的身份证的人像图片和人脸图像更新数据并执行步骤3；当交叉比对不一致时，判定身份不一致备份现有的身份证的人像图片和人脸图像同时告知测试人员。
作为一种优选实施方式，进一步地，步骤3中利用DLIB进行人脸的面罩覆盖建立人脸模型。
作为一种优选实施方式，进一步地，步骤4的具体步骤为：
步骤4-1，从所有特征点的两两连线段中选取一基准线段和至少10个特征线段；
步骤4-2，将至少10个特征线段的长度分别除以基准线段长度得出至少10个特征结果；
步骤4-3，将人像图片和人脸图像的至少10个特征结果分别对应相减之后进行平方，再将得到的计算结果求和，最后将求和所得到的结果进行开方得到对比误差值。
作为一种优选实施方式，进一步地，步骤4中基准线段选取眉间线段；至少10个特征线段以鼻梁中段为界分为上特征区域和下特征区域；上特征区域和下特征区域分别具有5个以上特征线段。
作为一种优选实施方式，进一步地，特征线段有25个，其中上特征区域包括14特征线段，下特征区域包括11特征线段。
作为一种优选实施方式，进一步地，当测试人员佩戴口罩时，步骤5则计算获取上特征区和下特征区的特征线段对应的特征结果；当测试人员佩戴口罩时，步骤5则仅计算上特征区域的特征线段对应的特征结果。
作为一种优选实施方式，进一步地，步骤5的设定阈值选取为0.2。
作为一种优选实施方式，进一步地，步骤6中指定区域为眼睛或者眼睛和嘴巴。
作为一种优选实施方式，进一步地，步骤7中涉及在嘴巴图像选定嘴巴特征点时，嘴巴特征点包括一组左右嘴角特征点以及三组以上的上下嘴唇特征点，每组上下嘴唇特征点间隔选取且上下嘴唇对应位置各选取一个特征点；
涉及在眼睛图像选定眼睛特征点时，眼睛特征点包括一组左右眼角特征点以及二组以上的上下眼睑特征点，每组上下眼睑特征点间隔选取且上下眼睑对应位置各选取一个特征点。
作为一种优选实施方式，进一步地，步骤8中涉及嘴巴面积变化曲线的计算步骤如下：
步骤8-1-1，从三组以上的上下嘴唇特征点选取一组上下嘴唇特征点作为当前组上下嘴唇特征点；
步骤8-1-2，由一组左右嘴角特征点和当前组上下嘴唇特征点四个点依次连线形成不规则四边形，不规则四边形由该组左右嘴角特征点连线分割形成上嘴三角形和下嘴三角形；
步骤8-1-3，分别计算上嘴三角形的面积分量和下嘴三角形的面积分量；
步骤8-1-4，综合计算得到当前上下嘴唇特征点对应的不规则四边形的面积分量。
步骤8-1-5，判定是否所有组的上下嘴唇特征点应的不规则四边形的面积分量均；是则，选取其一组未计算对应面积分量的上下嘴唇特征点作为当前组上下嘴唇特征点并执行步骤8-1-2；否则，执行步骤8-1-6；
步骤8-1-6，将所有组的上下嘴唇特征点对应的面积分量的总和绘制形成嘴巴面积变化曲线；
涉及眼睛面积变化曲线的计算步骤如下：
步骤8-2-1，从三组以上的上下眼睑特征点选取一组上下眼睑特征点作为当前组上下眼睑特征点；
步骤8-2-2，由一组左右眼角特征点和当前组上下眼睑特征点四个点依次连线形成不规则四边形，不规则四边形由该组左右眼角特征点连线分割形成上眼三角形和下眼三角形；
步骤8-2-3，分别计算上眼三角形的面积分量和下眼三角形的面积分量；
步骤8-2-4，综合计算得到当前上下眼睑特征点对应的不规则四边形的面积分量。
步骤8-2-5，判定是否所有组的上下眼睑特征点应的不规则四边形的面积分量均；是则，选取其一组未计算对应面积分量的上下眼睑特征点作为当前组上下眼睑特征点并执行步骤8-2-2；否则，执行步骤8-2-6；
步骤8-2-6，将所有组的上下眼睑特征点对应的面积分量的总和绘制形成眼睛面积变化曲线。
作为一种优选实施方式，进一步地，步骤10具体地步骤为：
步骤10-1，基于预设的嘴巴开闭阈值和眼睛开闭阈值，分别判断眼睛的开眼和闭眼以及嘴巴的张嘴和闭嘴动作；
步骤10-2，将判断的测试人员的动作行为与指令动作相比较是否一致；动作一致时，判断当前测试人员为活体并验证通过；否则活体验证失败并告知测试人员。
下面就本发明的具体工作原理举例说明：
本发明的人脸识别判断过程主要分为两大块，1、判断摄像头截取到的视频中的人是否与身份证上的人是同一人，2、根据眼睛和/或嘴巴的开闭来判断摄像头中的人是否活人。
一、人脸身份识别部分：
本发明使用dlib与opencv对人脸识别进行探测，第一步，利用摄像头保存身份证信息的视频。第二步，读取视频中身份证上的证件号与人脸信息，创建用户的文件夹并以身份证号命名。第三步，保存视频中每一帧图像，提取图像中用户的人脸信息后，将其保存到已创建的用户文件中，如图1所示为自动提取到的身份证上信息。
进一步地，得到用户身份证的信息后，对身份证上的人像图片进行特征提取。作用一种可行实施方式，本发明利用Dlib进行人脸的面罩覆盖，建立人脸模型，并从中提取68个特征点。
如图1所示，提取得到人脸图像的68个特征点后，考虑到实际应用中用户在视频中的面部不一定是正对屏幕，有可能存在仰头和低头现象使得人脸图像有一定角度的倾斜，或者可能存在佩戴口罩的情形。因此不失一般性，本发明针对有无佩戴口罩的情形对比本发明的人脸模型的检测进行详细说明。
如图2所示，基于68个特征点选取其中眉间线段p22-p23作为基准线段。同时以鼻梁中段为界将人脸模型的特征点分为上特征区域和下特征区域；不失一般性，同时保持识别的可靠性，本实施例中从特征点的两两连线中选出25个特征线段，其中上特征区域包括14特征线段，下特征区域包括11特征线段。
作为一种优选实施方式，进一步地，当测试人员未佩戴口罩时，计算获取上特征区和下特征区的特征线段对应的特征结果；当测试人员佩戴口罩时，仅计算上特征区域的特征线段对应的特征结果。
具体地，未戴口罩时的对比误差的计算及比对：
上特征区域的14个特征线段包含：p18-p27、p18-p22、p23-p27、p18-p37、p22-p40、p23-p43、p27-p46、p37-p40、p40-p43、p43-p46、p1-p37、p46-p17、p40-p31、p43-p31。
下特征区域的11个特征线段包含：p1-p31、p17-p31、p31-p49、p31-p55、p1-p49、p17-p55、p49-p9、p55-p9、p49-p55、p1-p9、p17-p9。
上特征区和下特征区的特征线段总计25个特征线段的长度，以P22-P23之间的距离作为基准线段长度，分别将25个数值除以这个基准线段长度，得出25个特征结果。
进而，将人脸图像和身份证的人像图片中的特征向量分别含有的25个特征结果数值分别一一对应相减之后进行平方，再将25个得到的计算结果求和，最后将所得到的结果进行开方作为最终的对比误差值；
最后，判断对比误差值是否大于设定阈值；是则，判定身份不一致；否则，判定身份识别通过并开始活体检测。
戴口罩时的对比误差的计算及比对：
上半部分的14个特征线段包含：p18-p27、p18-p22、p23-p27、p18-p37、p22-p40、p23-p43、p27-p46、p37-p40、p40-p43、p43-p46、p1-p37、p46-p17、p40-p31、p43-p31。
上特征区共有14个数值，以眉间P22-P23之间的距离作为基准线段长度，分别将14个特征线段的数值除以这个基准线段长度，得出14个特征结果。
将两张戴口罩的人脸的特征向量中分别含有的14个数值(上半部分)分别一一对应相减之后进行平方，再将14个得到的计算结果求和，最后将所得到的结果进行开方作为最终的对比误差值；
最后，判断对比误差值是否大于设定阈值；是则，判定身份不一致；否则，判定身份识别通过并开始活体检测。
二、活体检测部分：
本发明的活体检测最多可包括两部分：判断嘴部的闭合和判断眼睛的闭合，具体如下：
(1)、判断嘴部的闭合
如图3所示，选取嘴部周围的8个点。嘴部的闭合检测由三部分组成。
1.1、M13M15M17M19M13(嘴部中间面积分量)
根据M13M15M17和M13M19M18分别构成了两个不规则的三角形，这两块三角形组合成一个不规则的四边形M13M15M17M19M13。
SM13M15M17M19M13＝＝S1+S2  (3)
1.2、M13M14M17M20M13(嘴部右侧面积分量)
根据M13M14M17与M13M19M17分别又构成了两个的三角形，这两个三角形则组成第二个特殊的区域面积，如图4所示：
SM13M14M17M20M13＝＝S3+S4  (8)
1.3、M13M16M17M18M13(嘴部左侧面积分量)
根据点M13M16M17与点M13M18M17分别又构成了两个的三角形，并且由他们组成第三个特殊的区域面积，如图5所示：
SM13M16M17M18M13＝S5+S6  (13)
如图8所示，根据三块特殊区域的面积的总和绘制对应的参数变化曲线，最后根据所设阀值的对比进行张嘴和闭嘴的动作判断。
S嘴＝SM13M15M17M19M13+SM13M14M17M20M13+SM13M16M17M18M13  (16)
(2)、判断眼睛的闭合：
从摄像头获取一帧的人脸图像，之后截取眼部获取6个特征点，同样根据眼睛上六个特征点E1、E2、E3、E4、E5、E6可以达到对眼睛张眼闭眼的动作行为判断。根据指令测试人员需要做出相应的闭眼和长眼的动作行为，眼参数会随着时间的改变而变化，根据眼参数变化曲线图中的数据，判断测试人员是否根据指令做出相应的动作行为。
2.1、E1E3E4E5E1(眼部左侧面积分量)
如图6所示，根据E1E3E4和E4E5E1分别构成了两个不规则的三角形，这两块三角形组合成一个不规则的四边形E1E3E4E5E1。
SE1E3E4E5E1＝S7+S8  (19)
2.2、E1E2E4E6E1(眼部右侧面积分量)
如图7所示，根据特征点分别构成了两个不规则的三角形，这两块三角形组合成了一个不规则的四边形，属于对于眼睛的两个特殊区域面积的其中一个
SE1E2E4E6E1＝＝S9+510  (24)
如图9所示，根据2块特殊区域的面积的总和S总绘制对应的参数变化曲线，最后根据所设阀值的对比进行睁眼和闭眼的动作判断。
S眼＝SE1E3E4E5E1+SE1E2E4E6E1  (27)
最后，基于预设的嘴巴开闭阈值和眼睛开闭阈值，分别判断眼睛的开眼和闭眼以及嘴巴的张嘴和闭嘴动作；进而将判断的测试人员的动作行为与指令动作相比较是否一致；动作一致时，判断当前测试人员为活体并验证通过；否则活体验证失败并告知测试人员。
本发明采用以上技术方案，通过光学字符识别OCR技术识别身份证上证件号、人名、民族、性别、出生年月和家庭住址，并存于数据库。并从身份证的人像图片和视频人脸图像上分别选取对应的特征点构建人脸模型，进而基于各自人脸模型中特征点之间的距离的比例进行对比得到人脸图像与身份证上人像图片的对比误差值；判断对比误差值是否大于设定阈值；是则，判定身份不一致；否则，判定身份识别通过开始活体检测；活体检测时在机器界面中要求用户按预先设定的指令执行相应的动作(例如读出预先设定的一句话或给予相应的眨眼或者张嘴闭嘴的提示)，进而通过检测视频中用户的嘴部和眼部是否有开闭运动来判断视频中的人脸时照片还是真人以对视频中的人像进行活体检测，最终结合身份识别对用户的身份与身份证上的信息是否匹配进行判断。本发明不仅对视频中的人像和身份证上的信息进行匹配，并且还可以对视频中的人像进行活体检测，防止出现用户信息被盗用而通过身分识别的情况。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (7)

1.基于活体检测的人脸辨识方法，其特征在于：其包括以下步骤：
步骤1，利用摄像头获取身份证图像和人脸图像；
步骤2，提取身份证上的证件号，并依照证件号归档存储身份证图像和人脸图像；
步骤3，分别对人脸图像和身份证上人像图片提取若干反映人脸特征的特征点，特征点包括脸型轮廓特征点、眉形特征点、眼型特征点、鼻型特征点和嘴型特征点；
步骤4，基于人脸戴口罩或未戴口罩各自模型中所选取的特征点之间的距离的比例，先储存至数据库中再进行对比得到人脸图像与身份证上人像图片的对比误差值；
步骤5，判断对比误差值是否大于设定阈值；是则，判定身份不一致；否则，判定身份识别通过并执行步骤6开始活体检测；
步骤6，从摄像头拍摄的视频中分别截取一个以上指定区域的图像；指定区域为眼睛，或者指定区域为眼睛和嘴巴；
步骤7，从指定区域的图像中选定若干反应动作状态的特征点；在嘴巴图像选定嘴巴特征点时，嘴巴特征点包括一组左右嘴角特征点以及三组以上的上下嘴唇特征点，左右嘴角的对应位置选取一组左右嘴角特征点，每组上下嘴唇特征点间隔选取且上下嘴唇对应位置各选取一个特征点；
涉及在眼睛图像选定眼睛特征点时，眼睛特征点包括一组左右眼角特征点以及二组以上的上下眼睑特征点，左右眼角的对应位置选取一组左右眼角特征点，每组上下眼睑特征点间隔选取且上下眼睑对应位置各选取一个特征点；
步骤8，根据指定区域特征点构建对应指定区域面积参数，并计算测试人员动作行为时随着时间变化的对应指定区域面积变化曲线；涉及嘴巴面积变化曲线的计算步骤如下：
步骤8-1-1，从三组以上的上下嘴唇特征点选取一组上下嘴唇特征点作为当前组上下嘴唇特征点；
步骤8-1-2，由一组左右嘴角特征点和当前组上下嘴唇特征点四个点依次连线形成不规则四边形，不规则四边形由该组左右嘴角特征点连线分割形成上嘴三角形和下嘴三角形；
步骤8-1-3，分别计算上嘴三角形的面积分量和下嘴三角形的面积分量；
步骤8-1-4，综合计算得到当前上下嘴唇特征点对应的不规则四边形的面积分量；
步骤8-1-5，判定是否所有组的上下嘴唇特征点对应的不规则四边形的面积分量均计算完成；是则，选取其一组未计算对应面积分量的上下嘴唇特征点作为当前组上下嘴唇特征点并执行步骤8-1-2；否则，执行步骤8-1-6；
步骤8-1-6，将所有组的上下嘴唇特征点对应的面积分量的总和绘制形成嘴巴面积变化曲线；
涉及眼睛面积变化曲线的计算步骤如下：
步骤8-2-1，从三组以上的上下眼睑特征点选取一组上下眼睑特征点作为当前组上下眼睑特征点；
步骤8-2-2，由一组左右眼角特征点和当前组上下眼睑特征点四个点依次连线形成不规则四边形，不规则四边形由该组左右眼角特征点连线分割形成上眼三角形和下眼三角形；
步骤8-2-3，分别计算上眼三角形的面积分量和下眼三角形的面积分量；
步骤8-2-4，综合计算得到当前上下眼睑特征点对应的不规则四边形的面积分量；
步骤8-2-5，判定是否所有组的上下眼睑特征点对应的不规则四边形的面积分量均计算完成；是则，选取其一组未计算对应面积分量的上下眼睑特征点作为当前组上下眼睑特征点并执行步骤8-2-2；否则，执行步骤8-2-6；
步骤8-2-6，将所有组的上下眼睑特征点对应的面积分量的总和绘制形成眼睛面积变化曲线；
步骤9，根据指定区域面积变化曲线，判断测试人员是否根据指令做出相应的动作行为。
2.根据权利要求1所述的基于活体检测的人脸辨识方法，其特征在于：步骤2的具体步骤为：
步骤2-1，提取身份证上的证件号，并依照证件号查询数据库是否已有建档；是则，执行步骤2-2；否则，依照证件号建档以存储身份证图像和人脸图像；
步骤2-2，将现有的身份证的人像图片和人脸图像与已有的身份证的人像图片和人脸图像的交叉比对；当交叉比对判定位一致时，以现有的身份证的人像图片和人脸图像更新数据并执行步骤3；当交叉比对不一致时，判定身份不一致备份现有的身份证的人像图片和人脸图像同时告知测试人员。
3.根据权利要求1所述的基于活体检测的人脸辨识方法，其特征在于：步骤4的具体步骤为：
步骤4-1，从所有特征点的两两连线段中选取一基准线段和至少10个特征线段；
步骤4-2，将至少10个特征线段的长度分别除以基准线段长度得出至少10个特征结果并存储到数据库；
步骤4-3，将人像图片和人脸图像的至少10个特征结果分别对应相减之后进行平方，再将得到的计算结果求和，最后将求和所得到的结果进行开方得到对比误差值。
4.根据权利要求3所述的基于活体检测的人脸辨识方法，其特征在于：步骤4中基准线段选取眉间线段；至少10个特征线段以鼻梁中段为界分为上特征区域和下特征区域；上特征区域和下特征区域分别具有5个以上特征线段。
5.根据权利要求4所述的基于活体检测的人脸辨识方法，其特征在于：当测试人员未佩戴口罩时，步骤5则计算获取上特征区和下特征区的特征线段对应的特征结果；当测试人员佩戴口罩时，步骤5则仅计算上特征区域的特征线段对应的特征结果。
6.根据权利要求1所述的基于活体检测的人脸辨识方法，其特征在于：步骤5的设定阈值为0.2。
7.根据权利要求1所述的基于活体检测的人脸辨识方法，所述方法还包括步骤10，其特征在于：步骤10具体的步骤为：
步骤10-1，基于预设的嘴巴开闭阈值和眼睛开闭阈值，分别判断眼睛的开眼和闭眼以及嘴巴的张嘴和闭嘴动作；
步骤10-2，将判断的测试人员的动作行为与指令动作相比较是否一致；动作一致时，判断当前测试人员为活体并验证通过；否则活体验证失败并告知测试人员。
CN202010775800.6A 2020-08-05 2020-08-05 基于活体检测的人脸辨识方法 Active CN111898569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010775800.6A CN111898569B (zh) 2020-08-05 2020-08-05 基于活体检测的人脸辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010775800.6A CN111898569B (zh) 2020-08-05 2020-08-05 基于活体检测的人脸辨识方法

Publications (2)

Publication Number Publication Date
CN111898569A CN111898569A (zh) 2020-11-06
CN111898569B true CN111898569B (zh) 2023-05-09

Family

ID=73246490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010775800.6A Active CN111898569B (zh) 2020-08-05 2020-08-05 基于活体检测的人脸辨识方法

Country Status (1)

Country Link
CN (1) CN111898569B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241521A (zh) * 2020-12-04 2021-01-19 北京远鉴信息技术有限公司 爆破音的身份验证方法、装置、电子设备及介质
CN113609959A (zh) * 2021-04-16 2021-11-05 六度云计算有限公司 一种人脸活体检测方法和装置
CN113326776A (zh) * 2021-05-31 2021-08-31 重庆广播电视大学重庆工商职业学院 基于计算机视觉的考场检测装置
CN113420667B (zh) * 2021-06-23 2022-08-02 工银科技有限公司 人脸活体检测方法、装置、设备及介质
CN113627300A (zh) * 2021-08-02 2021-11-09 中电福富信息科技有限公司 基于深度学习的人脸识别与活体检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935438A (zh) * 2015-05-28 2015-09-23 北京旷视科技有限公司 用于身份验证的方法和装置
CN105550671A (zh) * 2016-01-28 2016-05-04 北京麦芯科技有限公司 一种人脸识别的方法及装置
CN106446831A (zh) * 2016-09-24 2017-02-22 南昌欧菲生物识别技术有限公司 一种人脸识别方法及装置
CN109635021A (zh) * 2018-10-30 2019-04-16 平安科技（深圳）有限公司 一种基于人体检测的数据信息录入方法、装置及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292290B (zh) * 2017-07-17 2021-02-19 Oppo广东移动通信有限公司 人脸活体识别方法及相关产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935438A (zh) * 2015-05-28 2015-09-23 北京旷视科技有限公司 用于身份验证的方法和装置
CN105550671A (zh) * 2016-01-28 2016-05-04 北京麦芯科技有限公司 一种人脸识别的方法及装置
CN106446831A (zh) * 2016-09-24 2017-02-22 南昌欧菲生物识别技术有限公司 一种人脸识别方法及装置
CN109635021A (zh) * 2018-10-30 2019-04-16 平安科技（深圳）有限公司 一种基于人体检测的数据信息录入方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于哈尔小波分解和等价局部2值模式的人脸防欺骗算法;李冰 等;南开大学学报(自然科学版);第51卷(第03期);第37-43页 *

Also Published As

Publication number Publication date
CN111898569A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN111898569B (zh) 基于活体检测的人脸辨识方法
CN111310624A (zh) 遮挡识别方法、装置、计算机设备及存储介质
CN106960202A (zh) 一种基于可见光与红外图像融合的笑脸识别方法
Bhoi et al. Template matching based eye detection in facial image
US8682073B2 (en) Method of pupil segmentation
WO1994023390A1 (en) Apparatus for identifying person
CN103778406B (zh) 对象检测方法及设备
US20110116707A1 (en) Method for grouping 3d models to classify constitution
CN110956114A (zh) 人脸活体检测方法、装置、检测系统及存储介质
CN106570447A (zh) 基于灰度直方图匹配的人脸照片太阳镜自动去除方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN111353404A (zh) 一种人脸识别方法、装置及设备
CN113302619B (zh) 目标区域评估和特征点评估的系统和方法
Niese et al. Emotion recognition based on 2d-3d facial feature extraction from color image sequences
CN111222433A (zh) 自动人脸稽核方法、系统、设备及可读存储介质
KR102137060B1 (ko) 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
CN114241542A (zh) 基于图像拼接的人脸识别方法
CN106156739A (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
CN111274851A (zh) 一种活体检测方法及装置
CN112818899A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
Hu et al. A large-scale database for less cooperative iris recognition
Montazeri et al. Automatic extraction of eye field from a gray intensity image using intensity filtering and hybrid projection function
CN108009532A (zh) 基于3d成像的身份识别方法及终端
CN113436735A (zh) 基于人脸结构度量的体重指数预测方法、设备和存储介质
Vezzetti et al. Application of geometry to rgb images for facial landmark localisation-a preliminary approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant