CN108509868B - 一种基于光场相机的人脸识别系统及方法 - Google Patents

一种基于光场相机的人脸识别系统及方法 Download PDF

Info

Publication number
CN108509868B
CN108509868B CN201810201088.1A CN201810201088A CN108509868B CN 108509868 B CN108509868 B CN 108509868B CN 201810201088 A CN201810201088 A CN 201810201088A CN 108509868 B CN108509868 B CN 108509868B
Authority
CN
China
Prior art keywords
face
cameras
images
face recognition
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810201088.1A
Other languages
English (en)
Other versions
CN108509868A (zh
Inventor
邓竑杰
曹炎亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Roombanker Technology Co ltd
Original Assignee
Hangzhou Roombanker Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Roombanker Technology Co ltd filed Critical Hangzhou Roombanker Technology Co ltd
Priority to CN201810201088.1A priority Critical patent/CN108509868B/zh
Publication of CN108509868A publication Critical patent/CN108509868A/zh
Application granted granted Critical
Publication of CN108509868B publication Critical patent/CN108509868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于光场相机的人脸识别系统及方法。现有技术中一般采用单目普通相机机械人脸识别，存在识别度低、无法有效区分真人和照片、安全性低的问题。系统包括图像采集端和数据处理端，图像采集端包括两个摄像头，数据处理端包括处理单元、人脸识别单元和人脸特征库单元，两个摄像头分别连接到处理单元，人脸识别单元、人脸特征库单元分别与处理单元相连。人脸识别方法采用两个摄像头采集人脸图像，进行人脸特征值匹配，获得人脸的深度信息，判断是否为立体人脸，最后与人脸特征库单元内人脸特征信息进行比较，识别出人脸。本发明使得人脸识别为立体的人脸识别，更加容易区分真人和照片图像，人脸识别准确度更高，安全性更好。

Description

一种基于光场相机的人脸识别系统及方法
技术领域
本发明涉及一种人脸识别技术领域，尤其是涉及一种基于光场相机的人脸识别系统及方法。
背景技术
传统的人脸识别系统中都是基于单目普通相机人脸识别。传统的人脸识别通过预处理提供图像质量。然后对图像进行人脸检测，当检测到人脸后分割出人脸区域，对人脸进行预处理，如直方图均衡化、降噪、锐化等，再对预处理后的人脸图像进行特征值提取。分类器对特征值进行分类后再与模板图像进行匹配计算。而在现实环境中往往图像的采集都会遇到例如光照、姿态、人脸表情、遮挡、低质量图像等问题，大大的降低了人脸的识别度。随着互联网的快速发展，往往个人图像信息也更加容易获得，传统的人脸识别是无法有效区分真人和照片图像，安全性得不到保证。
发明内容
本发明主要是解决现有技术中一般采用单目普通相机机械人脸识别，存在识别度低、无法有效区分真人和照片、安全性低的问题，提供了一种基于光场相机的人脸识别系统及方法。
本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于光场相机的人脸识别系统，包括图像采集端和数据处理端，图像采集端包括两个摄像头，两个摄像头并排设置，据处理端包括采集人脸特征点的处理单元、人脸识别单元和人脸特征库单元，两个摄像头分别连接到处理单元上，人脸识别单元、人脸特征库单元分别与处理单元相连。本发明采用两个摄像头采集人脸图像进行人脸识别，相比采用单个摄像头，两个摄像头使得人脸识别为立体的人脸识别，能更加容易区分真人和照片图像，使得人脸识别准确度更高，安全性更好。
作为一种优选方案，所述摄像头为光场相机。
一种基于光场相机的人脸识别方法，包括以下步骤：
S1.对摄像头镜头进行校准，获得两个摄像头的相对位置信息；
S2.通过两个摄像头采集人脸图像；获得左右两个摄像头拍摄的图像。
S3.确定人脸区域；
S4.基于人脸图像进行人脸特征值匹配；
S5.根据匹配的特征值获得人脸的深度信息；
S6.根据光线信息判断是否为立体人脸；
S7.若为立体人脸，将人脸深度信息与人脸特征库单元内人脸特征信息进行比较，识别出人脸。本发明结合光场相机对人脸进行识别，通过双目特性获得人脸图像的三维信息，基于2D人脸图像进行匹配获取人脸特征值，利用光场信息判断立体人脸，再通过比较识别出人脸，本发明解决了普通3D人脸识别的单一性问题，提高了人脸的识别度。
步骤S1中对摄像头进行校准的过程包括：
获取左右两摄像头的位置公式：
xc1＝s1xw+t1
xc2＝s2xw+t2
根据两摄像头的位置公式计算出
s＝s1s2 -1
t＝t1-r1r2 -1t2
获得左摄像头对于右摄像头的位置信息s和r。
作为一种优选方案，步骤S3中确定人脸区域过程为：将位于左边摄像头采集图像视为左图，右边摄像头采集图像视为右图，在左图中设定人脸的区域，再根据两个摄像头的相对位置信息获得右图中人脸的区域。
作为一种优选方案，步骤S4中人脸特征值匹配的过程包括：
S41.根据对极约束对两个摄像头采集到的两个图像进行水平平行校正；将两个摄像头的图像进行水平校正，使得同一个点在两个摄像头所成图像中的行一样。通过对极约束进行验证，确定同一个点在两个摄像头所成图像中的行，这样就把二维的点匹配简化成一维匹配。
S42.将两个图像对应分成若干块，设定小窗口从左到右遍历块，将每个块分成若干单行排列的子块
S43.对两个图像内对应的子块采用SAD算法进行计算，获得两个图像对应的子块内像素之差的绝对值之和，计算公式为：
Figure BDA0001594517210000031
其中l1(x+i,y+j)为第一个图像子块内像素点的像素值，l2(x+i+d,y+j)为第二个图像子块内像素点的像素值，d为相对应子块内像素之间的距离；
S44.对两个图像对应块的SAD(x,y,d)进行比较，选择数值最小的SAD(x,y,d)，将其对应的两个图像上的子块视为其所在块的最佳匹配点。
作为一种优选方案，步骤S5中人脸的深度信息获得过程包括：
S51.在每个最佳匹配点对应的两个图像上的子块内取相同位置的像素点横坐标；
S52.将每个最佳匹配点两个子块的横坐标相减，获得人脸区域的深度差信息，将深度差信息映射到三维坐标中获得人脸的深度信息。即人脸的三维特征。
作为一种优选方案，步骤S6中根据光线信息判断是否为立体人脸的过程包括：
S61.在人脸鼻子的区域内根据获得的人脸区域的深度差信息，寻找出三对深度差距最大的像素点；
S62.根据景深距离利用三角函数计算出每一对两个像素点的光线夹角R1；根据光场相机中获取的相应像素点的光线角度同时能计算出两像素点之间的光线夹角R2；将R1与R2相减，根据(|R1-R2|)/(R1+R2)计算出立体的人脸的可信度；
S63.设定可信度阈值，将计算出的可信度与可信度阈值进行对比，若可信度值小于阈值则判断不是立体人脸，若可信度值大于阈值则判断是立体人脸。
因此，本发明的优点是：采用两个摄像头采集人脸图像进行人脸识别，相比采用单个摄像头，两个摄像头使得人脸识别为立体的人脸识别，能更加容易区分真人和照片图像，使得人脸识别准确度更高，安全性更好。解决了普通3D人脸识别的单一性问题，提高了人脸的识别度。
附图说明
附图1是本发明的一种结构框示图。
1-图像采集端 2-数据处理端 11-摄像头 21-处理单元 22-人脸特征库单元23-人脸识别单元。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例一种基于光场相机的人脸识别系统，如图1所示，包括图像采集端1和数据处理端2，图像采集端包括两个摄像头，摄像头为光场相机，两个摄像头并排设置。数据处理端包括采集人脸特征点的处理单元21、人脸识别单元23和人脸特征库单元22，两个摄像头分别连接到处理单元上，人脸识别单元、人脸特征库单元分别与处理单元相连。
一种基于光场相机的人脸识别方法，包括以下步骤：
S1.对摄像头镜头进行校准，获得两个摄像头的相对位置信息，过程包括：
S11.获取左右两摄像头的位置公式：
xc1＝s1xw+t1
xc2＝s2xw+t2
S12.根据两摄像头的位置公式计算出
s＝s1s2 -1
t＝t1-r1r2 -1t2
获得左摄像头对于右摄像头的位置信息s和r。
S2.通过两个摄像头采集人脸图像；将位于左边摄像头采集图像视为左图，右边摄像头采集图像视为右图。
S3.确定人脸区域；在左图中设定人脸的区域，再根据两个摄像头的相对位置信息获得右图中人脸的区域。
S4.基于人脸图像进行人脸特征值匹配；过程包括：
S41.根据对极约束对两个摄像头采集到的两个图像进行水平平行校正；
S42.将两个图像对应分成若干块，设定小窗口从左到右遍历块，将每个块分成若干单行排列的子块；
S43.对两个图像内对应子块采用SAD算法进行计算，获得两个图像对应的子块内像素之差的绝对值之和，计算公式为：
Figure BDA0001594517210000061
其中l1(x+i,y+j)为第一个图像子块内像素点的像素值，l2(x+i+d,y+j)为第二个图像子块内像素点的像素值，d为相对应子块内像素之间的距离；
S44.对两个图像对应块的SAD(x,y,d)进行比较，选择数值最小的SAD(x,y,d)，将其对应的两个图像上的子块视为其所在块的最佳匹配点。
S5.根据匹配的特征值获得人脸的深度信息；过程包括：
S51.在每个最佳匹配点对应的两个图像上的子块内取相同位置的像素点横坐标；
S52.将每个最佳匹配点两个子块的横坐标相减，获得人脸区域的深度差信息，将深度差信息映射到三维坐标中获得人脸的深度信息。
S6.根据光线信息判断是否为立体人脸；过程包括：
S61.在人脸鼻子的区域内根据获得的人脸区域的深度差信息，寻找出三对深度差距最大的像素点；
S62.根据景深距离利用三角函数计算出每一对两个像素点的光线夹角R1；根据光场相机中获取的相应像素点的光线角度同时能计算出两像素点之间的光线夹角R2；将R1与R2相减，根据(|R1-R2|)/(R1+R2)计算出立体的人脸的可信度；
S63.设定可信度阈值，将计算出的可信度与可信度阈值进行对比，若可信度值小于阈值则判断不是立体人脸，若可信度值大于阈值则判断是立体人脸。
S7.若为立体人脸，将人脸深度信息与人脸特征库单元内人脸特征信息进行比较，识别出人脸。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了图像采集端、数据处理端、摄像头、处理单元等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (4)

1.一种基于光场相机的人脸识别方法，采用一种基于光场相机的人脸识别系统，系统包括图像采集端和数据处理端，图像采集端包括两个摄像头，两个摄像头并排设置，数据处理端包括采集人脸特征点的处理单元、人脸识别单元和人脸特征库单元，两个摄像头分别连接到处理单元上，人脸识别单元、人脸特征库单元分别与处理单元相连，所述摄像头为光场相机；其特征是包括以下步骤：
S1.对摄像头镜头进行校准，获得两个摄像头的相对位置信息；
S2.通过两个摄像头采集人脸图像；
S3.确定人脸区域；
S4.基于人脸图像进行人脸特征值匹配；
S5.根据匹配的特征值获得人脸的深度信息；
S6.根据光线信息判断是否为立体人脸；过程包括：
S61.在人脸鼻子的区域内根据获得的人脸区域的深度差信息，寻找出三对深度差距最大的像素点；
S62.根据景深距离利用三角函数计算出每一对两个像素点的光线夹角R1；根据光场相机中获取的相应像素点的光线角度同时能计算出两像素点之间的光线夹角R2；将R1与R2相减，根据(|R1-R2|)/(R1+R2)计算出立体的人脸的可信度；
S63.设定可信度阈值，将计算出的可信度与可信度阈值进行对比，若可信度值小于阈值则判断不是立体人脸，若可信度值大于阈值则判断是立体人脸；
S7.若为立体人脸，将人脸深度信息与人脸特征库单元内人脸特征信息进行比较，识别出人脸。
2.根据权利要求1所述的一种基于光场相机的人脸识别方法，其特征是步骤S3中确定人脸区域过程为：将位于左边摄像头采集图像视为左图，右边摄像头采集图像视为右图，在左图中设定人脸的区域，再根据两个摄像头的相对位置信息获得右图中人脸的区域。
3.根据权利要求1所述的一种基于光场相机的人脸识别方法，其特征是步骤S4中人脸特征值匹配的过程包括：
S41.根据对极约束对两个摄像头采集到的两个图像进行水平平行校正；
S42.将两个图像对应分成若干块，设定小窗口从左到右遍历块，将每个块分成若干单行排列的子块；
S43.对两个图像内对应子块采用SAD算法进行计算，获得两个图像对应的子块内像素之差的绝对值之和，计算公式为：
Figure FDA0002475158300000021
其中l1(x+i,y+j)为第一个图像子块内像素点的像素值，l2(x+i+d,y+j)为第二个图像子块内像素点的像素值，d为相对应子块内像素之间的距离；
S44.对两个图像对应块的SAD(x,y,d)进行比较，选择数值最小的SAD(x,y,d)，将其对应的两个图像上的子块视为其所在块的最佳匹配点。
4.根据权利要求3所述的一种基于光场相机的人脸识别方法，其特征是步骤S5中人脸的深度信息获得过程包括：
S51.在每个最佳匹配点对应的两个图像上的子块内取相同位置的像素点横坐标；
S52.将每个最佳匹配点两个子块的横坐标相减，获得人脸区域的深度差信息，将深度差信息映射到三维坐标中获得人脸的深度信息。
CN201810201088.1A 2018-03-12 2018-03-12 一种基于光场相机的人脸识别系统及方法 Active CN108509868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810201088.1A CN108509868B (zh) 2018-03-12 2018-03-12 一种基于光场相机的人脸识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810201088.1A CN108509868B (zh) 2018-03-12 2018-03-12 一种基于光场相机的人脸识别系统及方法

Publications (2)

Publication Number Publication Date
CN108509868A CN108509868A (zh) 2018-09-07
CN108509868B true CN108509868B (zh) 2020-08-04

Family

ID=63376415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810201088.1A Active CN108509868B (zh) 2018-03-12 2018-03-12 一种基于光场相机的人脸识别系统及方法

Country Status (1)

Country Link
CN (1) CN108509868B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685014A (zh) * 2018-12-25 2019-04-26 努比亚技术有限公司 面部识别方法、装置、移动终端及存储介质
CN112464727A (zh) * 2020-11-03 2021-03-09 电子科技大学 一种基于光场相机的自适应人脸识别方法
CN114973346B (zh) * 2021-02-26 2024-04-16 四川星网易视信息技术有限公司 一种基于ai技术的智能人脸识别安防系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530599A (zh) * 2013-04-17 2014-01-22 Tcl集团股份有限公司 一种真实人脸和图片人脸的区别方法和系统
CN105574525A (zh) * 2015-12-18 2016-05-11 天津中科智能识别产业技术研究院有限公司 一种复杂场景多模态生物特征图像获取方法及其装置
CN106407914A (zh) * 2016-08-31 2017-02-15 北京旷视科技有限公司 用于检测人脸的方法、装置和远程柜员机系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101053253B1 (ko) * 2009-09-01 2011-08-02 (주)실리콘화일 3차원 정보를 이용한 얼굴 인식 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530599A (zh) * 2013-04-17 2014-01-22 Tcl集团股份有限公司 一种真实人脸和图片人脸的区别方法和系统
CN105574525A (zh) * 2015-12-18 2016-05-11 天津中科智能识别产业技术研究院有限公司 一种复杂场景多模态生物特征图像获取方法及其装置
CN106407914A (zh) * 2016-08-31 2017-02-15 北京旷视科技有限公司 用于检测人脸的方法、装置和远程柜员机系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Depth Inference using Binocular and Monocular Cues;Xinqing Guo 等;《http://arxiv.org/pdf/1711.10729v1.pdf》;20171129;第1-10页 *
基于OpenCV的三维重建研究与实现;孙潇;《中国优秀硕士学位论文全文数据库信息科技辑》;20130415(第4期);正文第9-10,26-29,31-37,43-46页 *

Also Published As

Publication number Publication date
CN108509868A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN104933389B (zh) 一种基于指静脉的身份识别方法和装置
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
US20230418389A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
US20180165511A1 (en) Three-dimensional facial recognition method and system
WO2019056988A1 (zh) 人脸识别方法及装置、计算机设备
CN108509868B (zh) 一种基于光场相机的人脸识别系统及方法
US8578299B2 (en) Method and computing device in a system for motion detection
KR101139389B1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
CN111209820B (zh) 人脸活体检测方法、系统、设备及可读存储介质
TWI721786B (zh) 人臉校驗方法、裝置、伺服器及可讀儲存媒介
US9036920B2 (en) Method of detecting feature points of an object in a system for motion detection
CN108257165A (zh) 图像立体匹配方法、双目视觉设备
CN106881716A (zh) 基于3d摄像头机器人的人体跟随方法及系统
US20150131853A1 (en) Stereo matching system and method for generating disparity map using same
RU2370817C2 (ru) Система и способ отслеживания объекта
US8615136B2 (en) Computing device and method for motion detection
Abd Manap et al. Disparity refinement based on depth image layers separation for stereo matching algorithms
CN111738241B (zh) 基于双摄像头的瞳孔检测方法及装置
JP2008242833A5 (zh)
Gada et al. Object recognition for the visually impaired
CN111126246A (zh) 基于3d点云几何特征的人脸活体检测方法
Chowdhury et al. Fast window based stereo matching for 3D scene reconstruction.
CN114581522A (zh) 一种支撑点搜索的单目视觉室内定位方法
CN115063524A (zh) 一种3d人脸识别的重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant