CN110705530A - 基于活体识别的同一人脸框确认方法、装置、设备及介质 - Google Patents

基于活体识别的同一人脸框确认方法、装置、设备及介质 Download PDF

Info

Publication number
CN110705530A
CN110705530A CN201911278183.2A CN201911278183A CN110705530A CN 110705530 A CN110705530 A CN 110705530A CN 201911278183 A CN201911278183 A CN 201911278183A CN 110705530 A CN110705530 A CN 110705530A
Authority
CN
China
Prior art keywords
face frame
face
image
area ratio
nir image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911278183.2A
Other languages
English (en)
Other versions
CN110705530B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Wisdom Electronic Technology Co Ltd
Original Assignee
Zhuhai Wisdom Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Wisdom Electronic Technology Co Ltd filed Critical Zhuhai Wisdom Electronic Technology Co Ltd
Priority to CN201911278183.2A priority Critical patent/CN110705530B/zh
Publication of CN110705530A publication Critical patent/CN110705530A/zh
Application granted granted Critical
Publication of CN110705530B publication Critical patent/CN110705530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机技术领域，提供了一种基于活体识别的同一人脸框确认方法、装置、设备及存储介质，该方法包括：从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，该RGB图像和该NIR图像由同一双目摄像头拍摄得到，通过训练好的人脸框预测模型预测该第一人脸框在对应NIR图像中的对应第三人脸框，计算该第三人脸框与该第二人脸框的重叠像素面积比，当该重叠像素面积比大于预设的面积比阈值时，确定该第一人脸框与该第二人脸框对应同一活体人脸，从而提高了人脸活体识别的准确性和识别效率。

Description

基于活体识别的同一人脸框确认方法、装置、设备及介质
技术领域
本发明属于计算机技术领域，尤其涉及一种基于活体识别的同一人脸框确认方法、装置、设备及存储介质。
背景技术
双目摄像头一个很重要的应用领域是人脸活体识别系统中的活体识别，在双目人脸活体识别系统中，RGB 图像的人脸用于和注册人脸库比对，以确认是否是在册人员，NIR图像的人脸用于活体识别，以防止各种假体人脸的攻击。当一个非在册人员拿着一张在册人员的人脸图片靠近自己的脸的时候，如果在识别时未将RGB 图像中的人脸位置与该人脸在 NIR 图像中的人脸位置进行准确地匹配，则会出现在册的假体RGB人脸和攻击者的NIR人脸被认为是同一活体人脸，从而同时欺骗了人脸识别模块和活体识别模块，导致攻击成功。无论是在测人员、攻击者、假体人脸图像，其在双目摄像头两个图像中的人脸位置准确匹配的程度，都会影响到攻击行为的拦截成功率。如果通过将RGB 和 NIR人脸进行比对来确认是同一活体人脸，那么将大幅增加系统开销，同时，由于RGB图像反应的是自然光，NIR图像反应的材质，两者在成像上差异很大，因此对人脸比对算法的要求很高。
发明内容
本发明的目的在于提供一种基于活体识别的同一人脸框确认方法、装置、设备及存储介质，旨在解决由于现有技术中人脸活体识别准确性不高而导致的安全性低的问题。
一方面，本发明提供一种基于活体识别的同一人脸框确认方法，所述方法包括下述步骤：
从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，所述RGB图像和所述NIR图像由同一双目摄像头拍摄得到；
通过训练好的人脸框预测模型预测所述第一人脸框在对应NIR图像中的对应第三人脸框；
计算所述第三人脸框与所述第二人脸框的重叠像素面积比，当所述重叠像素面积比大于预设的面积比阈值时，确定所述第一人脸框与所述第二人脸框对应同一活体人脸。
优选地，通过训练好的人脸框预测模型预测所述第一人脸框在对应NIR图像中的对应第三人脸框的步骤之前，包括：
获取所述双目摄像头的工作距离区间，将所述工作距离区间均分成若干等距的距离刻度；
在每个所述距离刻度对应的RGB图像和NIR图像的重叠区域中，水平方向以预设的第一步长、垂直方向以预设的第二步长移动样本人脸，并获取移动一个步长后所述样本人脸在RGB 图像中的人脸框和在NIR图像中的人脸框，根据获取到的所述样本人脸在RGB 图像的人脸框和在NIR图像的人脸框生成人脸框样本集；
根据所述人脸框样本集对所述人脸框预测模型进行训练，获得训练好的人脸框预测模型。
优选地，所述人脸框预测模型为：
Figure 100002_DEST_PATH_IMAGE001
，
Figure 100002_DEST_PATH_IMAGE003
，
其中，、
Figure 100002_DEST_PATH_IMAGE007
表示RGB图像中人脸框的坐标，
Figure 100002_DEST_PATH_IMAGE009
、
Figure 100002_DEST_PATH_IMAGE011
表示RGB图像中人脸框的宽和 高；
Figure 100002_DEST_PATH_IMAGE013
、
Figure 100002_DEST_PATH_IMAGE015
表示NIR图像中人脸框的坐标，、
Figure 100002_DEST_PATH_IMAGE019
表示NIR图像中人脸框的宽和高，
Figure 100002_DEST_PATH_IMAGE021
为 系数，
Figure 100002_DEST_PATH_IMAGE023
为常数，
Figure 100002_DEST_PATH_IMAGE025
表示NIR图像中的人脸框。
优选地，所述重叠像素面积比的计算方式为：
Figure 100002_DEST_PATH_IMAGE027
， 其中，
Figure 100002_DEST_PATH_IMAGE029
表示重叠像素面积比，
Figure 100002_DEST_PATH_IMAGE031
表示所述第一人脸框的像素面积，
Figure 100002_DEST_PATH_IMAGE033
表示所述第三人脸框的像素面积，
Figure 100002_DEST_PATH_IMAGE035
表示所述第二人脸框和所述 第三人脸框的重叠像素面积。
优选地，所述面积比阈值为0.5。
另一方面，本发明提供了一种基于活体识别的同一人脸框确认装置，所述装置包括：
人脸框获取单元，用于从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，所述RGB图像和所述NIR图像由同一双目摄像头拍摄得到；
人脸框预测单元，用于通过训练好的人脸框预测模型预测所述第一人脸框在对应NIR图像中的对应第三人脸框；以及
人脸确定单元，用于计算所述第三人脸框与所述第二人脸框的重叠像素面积比，当所述重叠像素面积比大于预设的面积比阈值时，确定所述第一人脸框与所述第二人脸框对应同一活体人脸。
优选地，所述装置还包括：
距离刻度确定单元，用于获取所述双目摄像头的工作距离区间，将所述工作距离区间均分成若干等距的距离刻度；
样本获取单元，用于在每个所述距离刻度对应的RGB图像和NIR图像的重叠区域中，水平方向以预设的第一步长、垂直方向以预设的第二步长移动样本人脸，并获取移动一个步长后所述样本人脸在RGB 图像中的人脸框和在NIR图像中的人脸框，根据获取到的所述样本人脸在RGB 图像的人脸框和在NIR图像的人脸框生成人脸框样本集；以及
模型训练单元，用于根据所述人脸框样本集对所述人脸框预测模型进行训练，获得训练好的人脸框预测模型。
优选地，所述重叠像素面积比的计算方式为：
Figure 304974DEST_PATH_IMAGE027
， 其中，表示重叠像素面积比，
Figure 764303DEST_PATH_IMAGE031
表示所述第一人脸框的像素面积，
Figure 644665DEST_PATH_IMAGE033
表示所述第三人脸框的像素面积，
Figure 100002_DEST_PATH_IMAGE037
表示所述第二人脸框和所述 第三人脸框的重叠像素面积。
另一方面，本发明还提供了一种人脸识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，该RGB图像和该NIR图像由同一双目摄像头拍摄得到，通过训练好的人脸框预测模型预测该第一人脸框在对应NIR图像中的对应第三人脸框，计算该第三人脸框与该第二人脸框的重叠像素面积比，当该重叠像素面积比大于预设的面积比阈值时，确定该第一人脸框与该第二人脸框对应同一活体人脸，从而提高了人脸活体识别的准确性和识别效率。
附图说明
图1是本发明实施例一提供的基于活体识别的同一人脸框确认方法的实现流程图；
图2是本发明实施例二提供的基于活体识别的同一人脸框确认方法中人脸框预测模型的训练实现流程图；
图3是本发明实施例二提供的样本人脸移动过程示例；
图4是本发明实施例三提供的基于活体识别的同一人脸框确认装置的结构示意图；以及
图5是本发明实施例五提供的人脸识别设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的基于活体识别的同一人脸框确认方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框。
本发明实施例适用于人脸识别设备，该人脸识别设备具有双目摄像头，该双目摄像头的第一摄像头用于获取RGB(R(red，红色)、G(green，绿色)、B(blue，蓝色)，色彩模式）图像，该双目摄像头的第二摄像头用于获取NIR（Near Infrared，近红外）图像。
在本发明实施例中，从包含人脸框标识的RGB图像中获取人脸框，为了便于描述，将该人脸框记为第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，为了便于描述，将该人脸框记为第二人脸框，其中，该RGB图像和该NIR图像由同一双目摄像头拍摄得到。
在步骤S102中，通过训练好的人脸框预测模型预测该第一人脸框在对应的NIR图像中的对应第三人脸框。
在本发明实施例中，人脸框预测模型为多元非线性回归模型：
Figure 537666DEST_PATH_IMAGE001
，
，
其中，
Figure 361582DEST_PATH_IMAGE005
、表示RGB图像中人脸框的坐标，
Figure 104727DEST_PATH_IMAGE009
、
Figure DEST_PATH_IMAGE039
表示RGB图像中人脸框的宽和 高；
Figure 707878DEST_PATH_IMAGE040
、
Figure 275257DEST_PATH_IMAGE015
表示NIR图像中人脸框的坐标，
Figure 74586DEST_PATH_IMAGE017
、
Figure 676599DEST_PATH_IMAGE019
表示NIR图像中人脸框的宽和高，
Figure DEST_PATH_IMAGE041
为 系数，
Figure 716231DEST_PATH_IMAGE023
为常数，
Figure 20173DEST_PATH_IMAGE025
表示NIR图像中的人脸框。
在通过训练好的人脸框预测模型预测该第一人脸框在对应的NIR图像中的对应第 三人脸框之前，需要对该人脸框预测模型进行训练，对系数
Figure 108346DEST_PATH_IMAGE041
进行求解，人脸框预测模型的 训练方法可参考实施例二，在此不作赘述。
在通过训练好的人脸框预测模型预测该第一人脸框在对应的NIR图像中的对应第 三人脸框时，将从包含人脸框标识的RGB图像中获取到的第一人脸框
Figure DEST_PATH_IMAGE043
输入到该人脸框预测模型中，即可预测该第一人脸框在对 应NIR图像中的对应第三人脸框。
在步骤S103中，计算该第三人脸框与该第二人脸框的重叠像素面积比，当该重叠像素面积比大于预设的面积比阈值时，确定该第一人脸框与该第二人脸框对应同一活体人脸。
在本发明实施例中， 第二人脸框的像素面积用
Figure 759087DEST_PATH_IMAGE031
表示，第三人脸框的像 素面积为
Figure 301058DEST_PATH_IMAGE033
，第二人脸框和第三人脸框的重叠像素面积用
Figure DEST_PATH_IMAGE045
表示， 第二人脸框与第三人脸框重叠像素面积比用
Figure 989660DEST_PATH_IMAGE046
表示，则第二人脸框与第三人脸框重叠像 素面积比
Figure DEST_PATH_IMAGE047
，判断该重叠面积比是否大于面积比阈值， 是则，表明该第一人脸框与该第二人脸框均由同一真实人脸图像成像得到，从而确定该第 一人脸框与该第二人脸框对应同一活体人脸，否则，表明该第一人脸框与该第二人脸框并 不是由同一真实人脸图像成像得到，即该第一人脸框或该第二人脸框对应有攻击人脸，从 而确定该第一人脸框与该第二人脸框不对应同一活体人脸。优选地，该面积比阈值为0.5， 以保证识别的准确性。
在本发明实施例中，从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，该RGB图像和该NIR图像由同一双目摄像头拍摄得到，通过训练好的人脸框预测模型预测该第一人脸框在对应NIR图像中的对应第三人脸框，计算该第三人脸框与该第二人脸框的重叠像素面积比，当该重叠像素面积比大于预设的面积比阈值时，确定该第一人脸框与该第二人脸框对应同一活体人脸，从而通过该第三人脸框与该第二人脸框的重叠像素面积比与面积比阈值的比较结果，确定该第一人脸框与该第二人脸框是否对应同一活体人脸，从而避免了通过将RGB的人脸图像和NIR的人脸图像进行大运算量的图像比对，简单、高效地解决了人脸活体识别中的人脸身份同一性问题，提高了人脸活体识别的准确性和识别效率。
实施例二：
图2示出了本发明实施例二提供的基于活体识别的同一人脸框确认方法中人脸框预测模型的训练实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
S201：获取该双目摄像头的工作距离区间，将该工作距离区间均分成若干等距的距离刻度。
在本发明实施例中，可以根据应用场景需求，设定该双目摄像头的最小工作距离
Figure DEST_PATH_IMAGE049
，以及该双目摄像头的最大工作距离为
Figure DEST_PATH_IMAGE051
，将该工作距离区间均分成
Figure DEST_PATH_IMAGE053
等分，得到
Figure DEST_PATH_IMAGE055
个距离刻度
Figure DEST_PATH_IMAGE057
。
S202：在每个该距离刻度对应的RGB图像和NIR图像的重叠区域中，水平方向以预设的第一步长、垂直方向以预设的第二步长移动样本人脸，并获取移动一个步长后该样本人脸在RGB 图像中的人脸框和在NIR图像中的人脸框，根据获取到的该样本人脸在RGB 图像的人脸框和在NIR图像的人脸框生成人脸框样本集。
在本发明实施例中，在每个该距离刻度对应的RGB图像和NIR图像的重叠区域 中，水平方向以预设的第一步长、垂直方向以预设的第二步长移动样本人脸，并获取水平方 向或垂直方向移动一个步长后该样本人脸在RGB 图像中的人脸框和在NIR图像中的人脸 框，以从三个维度遍历人脸活体识别的工作距离区间内的人脸框，进而得到该样本人脸在 RGB图像中和NIR图像中的人脸框样本集。可以在距离刻度
Figure DEST_PATH_IMAGE059
所在RBG图像和NIR图像的重 叠区域中，水平方向以预设的第一步长、垂直方向以预设的第二步长从左上角将样本人脸 移动至右下角，如图3所示的样本人脸移动过程示例，图3中ABCD表示RGB图像与NIR图像的 图像重叠区域，AE为第一步长，AN为第二步长，AFIK为左上角样本人脸的人脸框，EGHJ为移 动第一步长后的样本人脸的人脸框，NOML为移动第二步长后的样本人脸的人脸框，PQCR为 移动至右下角的样本人脸的人脸框。
在水平方向或者垂直方向移动一个步长后，获取样本人脸在RBG图像和NIR 图像 的位置和大小，样本人脸在RBG图像中移动n个步长后在RGB图像中的人脸框的位置和大小 用
Figure DEST_PATH_IMAGE061
表示，样本人脸在RBG图像中移动n个步长后在NIR图像中的人 脸框的位置和大小用
Figure DEST_PATH_IMAGE063
表示，其中，
Figure 358817DEST_PATH_IMAGE005
，和
Figure DEST_PATH_IMAGE065
、
Figure 880376DEST_PATH_IMAGE015
分别表示 RGB图像和NIR图像中的人脸框左上角的坐标，
Figure 295177DEST_PATH_IMAGE009
，
Figure 50775DEST_PATH_IMAGE066
和、
Figure 98496DEST_PATH_IMAGE019
分别表示RGB图像和NIR 图像中的人脸框的宽和高，从而形成一个人脸框样本集
Figure DEST_PATH_IMAGE069
，，其中，
Figure DEST_PATH_IMAGE073
表示移动n个步长后得到的一组配对人脸框。
S203：根据该人脸框样本集对该人脸框预测模型进行训练，获得训练好的人脸框预测模型。
具体地，设定
Figure DEST_PATH_IMAGE075
，
Figure 332163DEST_PATH_IMAGE076
将该人脸框预测模型转化为矩阵表示：
Figure 617782DEST_PATH_IMAGE078
对于中所有的配对人脸框，设定
Figure 531828DEST_PATH_IMAGE080
，
Figure 818453DEST_PATH_IMAGE082
，则有
Figure 692999DEST_PATH_IMAGE084
。
对
Figure 774088DEST_PATH_IMAGE086
进行QR分解：
Figure 734084DEST_PATH_IMAGE088
，
则有
Figure 168608DEST_PATH_IMAGE090
，
得到
Figure DEST_PATH_IMAGE092
，作为最终的人脸框预测模型的 系数，将该系数代入到人脸框预测模型，进而得到训练好的人脸框预测模型，从而通过最小 二乘法求解得到该活体人脸在RGB图像和NIR图像位置框的映射关系。
实施例三：
图4示出了本发明实施例三提供的基于活体识别的同一人脸框确认装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
人脸框获取单元41，用于从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，该RGB图像和该NIR图像由同一双目摄像头拍摄得到；
人脸框预测单元42，用于通过训练好的人脸框预测模型预测该第一人脸框在对应NIR图像中的对应第三人脸框；以及
人脸确定单元43，用于计算该第三人脸框与该第二人脸框的重叠像素面积比，当该重叠像素面积比大于预设的面积比阈值时，确定该第一人脸框与该第二人脸框对应同一活体人脸。
优选地，该装置还包括：
距离刻度确定单元，用于获取该双目摄像头的工作距离区间，将该工作距离区间均分成若干等距的距离刻度；
样本获取单元，用于在每个该距离刻度对应的RGB图像和NIR图像的重叠区域中，水平方向以预设的第一步长、垂直方向以预设的第二步长移动样本人脸，并获取移动一个步长后该样本人脸在RGB 图像中的人脸框和在NIR图像中的人脸框，根据获取到的该样本人脸在RGB 图像的人脸框和在NIR图像的人脸框生成人脸框样本集；以及
模型训练单元，用于根据该人脸框样本集对该人脸框预测模型进行训练，获得训练好的人脸框预测模型。
优选地，该人脸框预测模型为：
Figure 237276DEST_PATH_IMAGE001
，
Figure 754845DEST_PATH_IMAGE038
，
其中，
Figure 202138DEST_PATH_IMAGE005
、表示RGB图像中人脸框的坐标，、表示RGB图像中人脸框的宽和 高；
Figure 568342DEST_PATH_IMAGE040
、表示NIR图像中人脸框的坐标，、
Figure 563477DEST_PATH_IMAGE019
表示NIR图像中人脸框的宽和高，
Figure 985362DEST_PATH_IMAGE041
为 系数，
Figure 221171DEST_PATH_IMAGE023
为常数，
Figure 44902DEST_PATH_IMAGE025
表示NIR图像中的人脸框。
优选地，该重叠像素面积比的计算方式为： ， 其中，
Figure 984356DEST_PATH_IMAGE029
表示重叠像素面积比，
Figure 758277DEST_PATH_IMAGE031
表示该第一人脸框的像素面积，
Figure 436514DEST_PATH_IMAGE033
表示该第三人脸框的像素面积，
Figure 637689DEST_PATH_IMAGE035
表示该第二人脸框和该第三人脸框的重叠像 素面积。
优选地，该面积比阈值为0.5。
在本发明实施例中，基于活体识别的同一人脸框确认装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。基于活体识别的同一人脸框确认装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。
实施例四：
图5示出了本发明实施例四提供的人脸识别设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的人脸识别设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述各方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能，例如图4所示单元41至43的功能。
在本发明实施例中，从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，该RGB图像和该NIR图像由同一双目摄像头拍摄得到，通过训练好的人脸框预测模型预测该第一人脸框在对应NIR图像中的对应第三人脸框，计算该第三人脸框与该第二人脸框的重叠像素面积比，当该重叠像素面积比大于预设的面积比阈值时，确定该第一人脸框与该第二人脸框对应同一活体人脸，从而提高了人脸活体识别的准确性和识别效率。
实施例五：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S103。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图4所示单元41至43的功能。
在本发明实施例中，从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，该RGB图像和该NIR图像由同一双目摄像头拍摄得到，通过训练好的人脸框预测模型预测该第一人脸框在对应NIR图像中的对应第三人脸框，计算该第三人脸框与该第二人脸框的重叠像素面积比，当该重叠像素面积比大于预设的面积比阈值时，确定该第一人脸框与该第二人脸框对应同一活体人脸，从而提高了人脸活体识别的准确性和识别效率。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于活体识别的同一人脸框确认方法，其特征在于，所述方法包括下述步骤：
从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，所述RGB图像和所述NIR图像由同一双目摄像头拍摄得到；
通过训练好的人脸框预测模型预测所述第一人脸框在对应NIR图像中的对应第三人脸框；
计算所述第三人脸框与所述第二人脸框的重叠像素面积比，当所述重叠像素面积比大于预设的面积比阈值时，确定所述第一人脸框与所述第二人脸框对应同一活体人脸。
2.如权利要求1所述的方法，其特征在于，通过训练好的人脸框预测模型预测所述第一人脸框在对应NIR图像中的对应第三人脸框的步骤之前，包括：
获取所述双目摄像头的工作距离区间，将所述工作距离区间均分成若干等距的距离刻度；
在每个所述距离刻度对应的RGB图像和NIR图像的重叠区域中，水平方向以预设的第一步长、垂直方向以预设的第二步长移动样本人脸，并获取移动一个步长后所述样本人脸在RGB 图像中的人脸框和在NIR图像中的人脸框，根据获取到的所述样本人脸在RGB 图像的人脸框和在NIR图像的人脸框生成人脸框样本集；
根据所述人脸框样本集对所述人脸框预测模型进行训练，获得训练好的人脸框预测模型。
3.如权利要求1所述的方法，其特征在于，所述人脸框预测模型为：
Figure DEST_PATH_IMAGE001
，
Figure DEST_PATH_IMAGE003
，
其中，
Figure DEST_PATH_IMAGE005
、
Figure DEST_PATH_IMAGE007
表示RGB图像中人脸框的坐标，
Figure DEST_PATH_IMAGE009
、
Figure DEST_PATH_IMAGE011
表示RGB图像中人脸框的宽和 高；
Figure DEST_PATH_IMAGE013
、
Figure DEST_PATH_IMAGE015
表示NIR图像中人脸框的坐标，
Figure DEST_PATH_IMAGE017
、表示NIR图像中人脸框的宽和高，
Figure DEST_PATH_IMAGE021
为 系数，为常数，
Figure DEST_PATH_IMAGE025
表示NIR图像中的人脸框。
4.如权利要求1所述的方法，其特征在于，所述重叠像素面积比的计算方式为：
Figure DEST_PATH_IMAGE027
，其中，
Figure DEST_PATH_IMAGE029
表示重叠像素面积比，
Figure DEST_PATH_IMAGE031
表示 所述第一人脸框的像素面积，
Figure DEST_PATH_IMAGE033
表示所述第三人脸框的像素面积，表示所述第二人脸框和所述第三人脸框的重叠像素面积。
5.如权利要求4所述的方法，其特征在于，所述面积比阈值为0.5。
6.一种基于活体识别的同一人脸框确认装置，其特征在于，所述装置包括：
人脸框获取单元，用于从包含人脸框标识的RGB图像中获取第一人脸框，从包含人脸框标识的NIR图像中获取第二人脸框，所述RGB图像和所述NIR图像由同一双目摄像头拍摄得到；
人脸框预测单元，用于通过训练好的人脸框预测模型预测所述第一人脸框在对应NIR图像中的对应第三人脸框；以及
人脸确定单元，用于计算所述第三人脸框与所述第二人脸框的重叠像素面积比，当所述重叠像素面积比大于预设的面积比阈值时，确定所述第一人脸框与所述第二人脸框对应同一活体人脸。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
距离刻度确定单元，用于获取所述双目摄像头的工作距离区间，将所述工作距离区间均分成若干等距的距离刻度；
样本获取单元，用于在每个所述距离刻度对应的RGB图像和NIR图像的重叠区域中，水平方向以预设的第一步长、垂直方向以预设的第二步长移动样本人脸，并获取移动一个步长后所述样本人脸在RGB 图像中的人脸框和在NIR图像中的人脸框，根据获取到的所述样本人脸在RGB 图像的人脸框和在NIR图像的人脸框生成人脸框样本集；以及
模型训练单元，用于根据所述人脸框样本集对所述人脸框预测模型进行训练，获得训练好的人脸框预测模型。
8.如权利要求6所述的装置，其特征在于，所述重叠像素面积比的计算方式为：
Figure 398927DEST_PATH_IMAGE027
，其中，
Figure 710960DEST_PATH_IMAGE029
表示重叠像素面积比，
Figure 961813DEST_PATH_IMAGE031
表示 所述第一人脸框的像素面积，
Figure 103862DEST_PATH_IMAGE033
表示所述第三人脸框的像素面积， 表示所述第二人脸框和所述第三人脸框的重叠像素面积。
9.一种人脸识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述方法的步骤。
CN201911278183.2A 2019-12-13 2019-12-13 双目活体识别同一人脸框的方法、装置、设备及存储介质 Active CN110705530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911278183.2A CN110705530B (zh) 2019-12-13 2019-12-13 双目活体识别同一人脸框的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911278183.2A CN110705530B (zh) 2019-12-13 2019-12-13 双目活体识别同一人脸框的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110705530A true CN110705530A (zh) 2020-01-17
CN110705530B CN110705530B (zh) 2020-05-15

Family

ID=69208098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911278183.2A Active CN110705530B (zh) 2019-12-13 2019-12-13 双目活体识别同一人脸框的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110705530B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132000A (zh) * 2020-09-18 2020-12-25 睿云联(厦门)网络通讯技术有限公司 一种活体检测方法、装置、计算机可读介质及电子设备
CN112580578A (zh) * 2020-12-28 2021-03-30 珠海亿智电子科技有限公司 双目活体摄像头人脸测距方法及系统
CN112836598A (zh) * 2021-01-18 2021-05-25 盛视科技股份有限公司 生物特征识别方法、装置及系统
CN113390515A (zh) * 2021-07-06 2021-09-14 新疆爱华盈通信息技术有限公司 基于双摄像头的多人移动测温方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590430A (zh) * 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
CN107992811A (zh) * 2017-11-27 2018-05-04 北京小米移动软件有限公司 人脸识别方法及装置
CN109002786A (zh) * 2018-07-06 2018-12-14 深圳市富士智能系统有限公司 人脸检测方法、设备及计算机可读存储介质
CN109359634A (zh) * 2018-12-11 2019-02-19 西安第六镜网络科技有限公司 一种基于双目摄像机的人脸活体检测方法
CN109543640A (zh) * 2018-11-29 2019-03-29 中国科学院重庆绿色智能技术研究院 一种基于图像转换的活体检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590430A (zh) * 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
CN107992811A (zh) * 2017-11-27 2018-05-04 北京小米移动软件有限公司 人脸识别方法及装置
CN109002786A (zh) * 2018-07-06 2018-12-14 深圳市富士智能系统有限公司 人脸检测方法、设备及计算机可读存储介质
CN109543640A (zh) * 2018-11-29 2019-03-29 中国科学院重庆绿色智能技术研究院 一种基于图像转换的活体检测方法
CN109359634A (zh) * 2018-12-11 2019-02-19 西安第六镜网络科技有限公司 一种基于双目摄像机的人脸活体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏玮 等: "基于Haar_like EB特征与帧间约束的视频人脸定量检测", 《计算机工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132000A (zh) * 2020-09-18 2020-12-25 睿云联(厦门)网络通讯技术有限公司 一种活体检测方法、装置、计算机可读介质及电子设备
CN112132000B (zh) * 2020-09-18 2024-01-23 睿云联(厦门)网络通讯技术有限公司 一种活体检测方法、装置、计算机可读介质及电子设备
CN112580578A (zh) * 2020-12-28 2021-03-30 珠海亿智电子科技有限公司 双目活体摄像头人脸测距方法及系统
CN112836598A (zh) * 2021-01-18 2021-05-25 盛视科技股份有限公司 生物特征识别方法、装置及系统
CN113390515A (zh) * 2021-07-06 2021-09-14 新疆爱华盈通信息技术有限公司 基于双摄像头的多人移动测温方法
CN113390515B (zh) * 2021-07-06 2023-03-28 新疆爱华盈通信息技术有限公司 基于双摄像头的多人移动测温方法

Also Published As

Publication number Publication date
CN110705530B (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN110705530B (zh) 双目活体识别同一人脸框的方法、装置、设备及存储介质
JP6793151B2 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN109948441B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN109948439B (zh) 一种活体检测方法、系统及终端设备
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
CN110059579B (zh) 用于活体检验的方法和装置，电子设备和存储介质
CN113902657A (zh) 图像拼接方法、装置和电子设备
CN113822982A (zh) 一种人体三维模型构建方法、装置、电子设备及存储介质
CN113344986A (zh) 点云配准结果的评估方法、装置、设备及存储介质
CN112017231A (zh) 基于单目摄像头的人体体重识别方法、装置及存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN112116714A (zh) 基于二维图像生成房间结构模型的方法及装置
CN112561986A (zh) 巡检机器人云台的二次对准方法、装置、设备和存储介质
CN110807409A (zh) 人群密度检测模型训练方法和人群密度检测方法
CN111160220A (zh) 一种基于深度学习的包裹检测方法、装置、存储介质
CN113570530A (zh) 图像融合方法、装置、计算机可读存储介质和电子设备
CN111091031A (zh) 目标对象选取方法和人脸解锁方法
JP2022133378A (ja) 顔生体検出方法、装置、電子機器、及び記憶媒体
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
CN109636867B (zh) 图像处理方法、装置及电子设备
KR101797814B1 (ko) 이미지 비교 알고리즘에 기반한 소아 교육용 학습 장치 및 방법
CN111488779A (zh) 视频图像超分辨率重建方法、装置、服务器及存储介质
Bermejo et al. FacialSCDnet: a deep learning approach for the estimation of subject-to-camera distance in facial photographs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant