CN109635682A - 一种人脸识别装置和方法 - Google Patents

一种人脸识别装置和方法 Download PDF

Info

Publication number
CN109635682A
CN109635682A CN201811421725.2A CN201811421725A CN109635682A CN 109635682 A CN109635682 A CN 109635682A CN 201811421725 A CN201811421725 A CN 201811421725A CN 109635682 A CN109635682 A CN 109635682A
Authority
CN
China
Prior art keywords
face
region
structure light
module
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811421725.2A
Other languages
English (en)
Other versions
CN109635682B (zh
Inventor
余学儒
李琛
王鹏飞
段杰斌
王修翠
傅豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai IC R&D Center Co Ltd
Original Assignee
Shanghai Integrated Circuit Research and Development Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Integrated Circuit Research and Development Center Co Ltd filed Critical Shanghai Integrated Circuit Research and Development Center Co Ltd
Priority to CN201811421725.2A priority Critical patent/CN109635682B/zh
Publication of CN109635682A publication Critical patent/CN109635682A/zh
Application granted granted Critical
Publication of CN109635682B publication Critical patent/CN109635682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明公开了一种人脸识别方法，包括如下步骤：S01：分别获取待识别人脸的可见光图像和结构光图像；S02：采用可见光图像和结构光图像进行人脸定位：S03：分别在可见光图像和结构光图像中提取最小人脸区域；S04：将分别将可见光图像和结构光图像进行矫正、配准和压缩；S05：在压缩之后的可见光图像和结构光图像中最小人脸区域进行人脸特征提取；S06：分别计算可见光图像和结构光图像中人脸特征与存储信息中人脸特征的相似度；S07：计算可见光图像和结构光图像的总相似度，判断待识别人脸与存储信息不是同一个人。本发明公开的一种人脸识别装置和方法，充分利用结构光和可见光彼此优势互补，提高人脸识别的准确性。

Description

一种人脸识别装置和方法
技术领域
本发明涉及数据识别领域，具体涉及一种人脸识别装置和方法。
背景技术
人脸识别系统的研究始于20世纪60年代，真正进入初级的应用阶段则在90年代后期。人脸识别系统成功的关键在于是否拥有尖端的核心算法，使得识别结果具有实用化的识别率和识别速度。所以人脸识别系统是人工智能、机器识别、机器学习、模型理论、专家系统、视频图像处理等众多专业技术的集大成者，其核心技术的实现，展现了弱人工智能向强人工智能的转化，同时也具有较高的技术壁垒。
传统的人脸识别技术主要是基于可见光图像的人脸识别，但这种方式有着难以克服的缺陷，尤其在环境复杂、或者光照发生变化时，识别效果会急剧下降，且可见光图像人脸识别无法区分真实人脸与照片人脸。迅速发展起来的一种解决方案是基于主动近红外图像的多光源人脸识别技术。结构光技术作为近红外图像成像技术的一种，体积小，便于集成，若能应用在人脸识别领域，有望改善可见光人脸识别的弊端。
发明内容
本发明所要解决的技术问题是提供一种人脸识别装置和方法，能够建立结构光和可见光的交互信息，使得人脸特征刻画得更为准确，充分利用结构光和可见光彼此优势互补，提高人脸识别的准确性。
为了实现上述目的，本发明采用如下技术方案：一种人脸识别方法，包括如下步骤：
S01：分别获取待识别人脸的可见光图像和结构光图像；
S02：采用可见光图像和结构光图像进行人脸定位，并判断待识别人脸与镜头之间的距离是否在可识别范围内，若在可识别范围内，继续步骤S03；若不在可识别范围内，调整待识别人脸位置，继续步骤S01：
S03：分别在可见光图像和结构光图像中提取最小人脸区域；
S04：将可见光图像进行矫正，并对可见光图像和结构光图像中的最小人脸区域进行配准，使得最小人脸区域为正脸方向，将配准之后的可见光图像和结构光图像压缩成标准大小；
S05：在压缩之后的可见光图像和结构光图像中最小人脸区域进行人脸特征提取；
S06：分别计算可见光图像和结构光图像中各个人脸特征与存储信息中对应人脸特征的相似度；
S07：计算可见光图像和结构光图像中人脸特征与存储信息中人脸特征的总相似度，当总相似度大于等于相似度阈值时，判断待识别人脸与存储信息为同一个人；当总相似度小于相似度阈值时，判断待识别人脸与存储信息不是同一个人。
进一步地，所述步骤S02中人脸定位具体包括：在可见光图像中采用区域A圈出人脸位置，计算质心，并将该质心位置对应在结构光图像中。
进一步地，所述步骤S02判断待识别人脸与镜头之间的距离的方法为：在结构光图像中，以上述对应过来的质心为参考基准点，在结构光图像上圈出区域B，计算区域B的平均深度；当平均深度小于最小距离阈值时，提示人脸距离镜头过近；当平均深度大于最大距离阈值时，提示人脸距离镜头过远。
进一步地，所述步骤S03中在结构光图像中提取最小人脸区域的方法为：
S031：将可见光图像中的区域A扩大为A’，并将扩大之后的区域A’转移至结构光图像中，形成区域A”；所述区域B包含在区域A”中，将结构光图像中位于区域A”之内并且深度函数g(x,y)大于0的区域标记为n，所述深度函数g(x,y)从所述结构光图像中获得；结构光图像中标记为n并且连通的区域为连通区Ⅰ；对各个连通区Ⅰ进行面积统计，当连通区Ⅰ的面积小于区域阈值时，将该连通区Ⅰ标记为m，定义标记为m的连通区Ⅰ的深度函数为0，剩余的连通区Ⅰ的深度函数值保持不变，形成新的深度函数f(x,y)；
S032：将深度函数f(x,y)的相对高度和相对高度的梯度信息二值化，分别形成相对高度矩阵A(x,y)和相对高度的梯度信息矩阵B(x,y)；将A(x,y)和B(x,y)进行与操作形成矩阵C(x,y)，其中，矩阵C(x,y)为二值图函数，对应0和1两个值；
S033：对矩阵C(x,y)中等于1的区域进行连通区标记，形成连通区Ⅱ，并统计各个连通区Ⅱ的面积；当面积大于连通阈值的连通区Ⅱ的个数为1时，将该连通区Ⅱ标记为含有最小人脸区域的连通区Ⅲ；当面积大于连通阈值的连通区Ⅱ的个数大于1时，根据质心坐标以及各个连通区Ⅱ的平均深度确定含有最小人脸区域的连通区Ⅲ；
S034：对所述连通区Ⅲ分别进行膨胀和腐蚀，经过膨胀和腐蚀之后的连通区Ⅲ对应的矩阵C(x,y)转变为二值图函数D(x,y)，其中，二值图函数D(x,y)对应0和1两个值；针对所述连通区Ⅲ中D(x,y)等于0的区域，定义该区域的深度函数为0；针对所述连通区Ⅲ中D(x,y)等于1的区域，定义该区域的深度函数为h(x,y)，且h(x,y)的深度函数值等于g(x,y)中对应位置的深度函数值，并且连通区Ⅲ中D(x,y)等于1的区域为最小人脸区域。
进一步地，所述相对高度矩阵A(x,y)＝f(x,y)>0；所述相对高度的梯度信息矩阵其中，thr表示高度阈值；所述矩阵C(x,y)＝A(x,y)&B(x,y)，其中，&表示与操作。
进一步地，所述步骤S04中对可见光图像进行矫正包括：当可见光图像中人脸轮廓的坐标位于所述结构光图像中的最小人脸区域时，不做矫正；当可见光图像中人脸轮廓的坐标位于所述结构光图像中的最小人脸区域之外时，将可见光图像中该坐标确定为背景。
进一步地，所述步骤S04中对可见光图像和结构光图像中的最小人脸区域进行配准的方法为：根据最小人脸区域中双眼坐标计算旋转角与旋转中心，将人脸通过仿射变换配准至正脸方向。
进一步地，所述总相似度其中，ak表示可见光图像或结构图像的其中一个人脸特征与存储信息中对应人脸特征的相似度，wk表示ak对应的权重。
本发明提供的一种人脸识别装置，包括可见光传感器、可见光人脸定位模块、可见光人脸提取模块、可见光人脸矫正模块、可见光人脸配准模块、可见光人脸特征提取模块、结构光传感器、结构光人脸定位模块、结构光人脸提取模块、结构光人脸配准模块、结构光人脸特征提取模块、相似度计算模块和相似度阈值判断模块；
所述可见光传感器将拍摄的可见光图像传递给所述可见光人脸定位模块进行人脸定位，再将定位之后的可见光图像传递至所述可见光提取模块中提取最小人脸区域，并将提取之后的可见光图像依次传递至所述可见光人脸矫正模块和可见光人脸配准模块中进行矫正和配准，矫正配准之后的可见光图像传递至所述可见光人脸提取特征模块进行人脸特征提取；
所述结构光传感器将拍摄的结构光图像传递给所述结构光人脸定位模块进行人脸定位，再将定位之后的结构光图像传递至所述结构光提取模块中提取最小人脸区域，并将提取之后的结构光图像传递至所述结构光人脸配准模块中进行配准，配准之后的结构光图像传递至所述结构光人脸提取特征模块进行人脸特征提取；
所述相似度计算模块的输入端口连接所述可见光人脸提取特征模块和结构光人脸提取特征模块，输出端口连接所述阈值判断模块；所述可见光人脸提取特征模块和结构光人脸提取特征模块提取的人脸特征传输至所述相似度计算模块进行计算，所述阈值判断模块判断拍摄的图像与存储信息是否为同一个人。本发明的有益效果为：本发明通过建立结构光与可见光的交互信息，使人脸特征刻画得更为精确，充分利用结构光与可见光的优势弥补彼此特征提取的劣势部分。同时本方案能有效提取结构光图像中的人脸部分，在光照环境稳定的情况下，结合结构光与可见光的识别结果可进一步降低人脸识别的错误概率。
附图说明
附图1为本发明一种人脸识别的方法流程图。
附图2为本发明一种人脸识别装置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。
本发明主要针对可见光人脸识别受到环境、光照影响，特征提取差异较大且无法区分真人与照片的问题，提出结合近红外图像的多光源人脸识别技术。
如附图1所示，本发明提供的一种人脸识别方法，包括如下步骤：
S01：分别获取待识别人脸的可见光图像和结构光图像。其中，通过CMOS图像传感器获取可见光图像。经过结构光技术编码的近红外传感器获取结构光图像中的深度信息，并保存为灰度图像。
S02：采用可见光图像和结构光图像进行人脸定位，并判断待识别人脸与镜头之间的距离是否在可识别范围内，若在可识别范围内，继续步骤S03；若不在可识别范围内，调整待识别人脸位置，继续步骤S01。
具体地，人脸定位可以在可见光图像中采用区域A圈出人脸位置，计算质心，并将该质心位置对应在结构光图像中。
判断待识别人脸与镜头之间的距离的方法为：在结构光图像中，以上述对应过来的质心为参考基准点，在结构光图像上圈出区域B，计算区域B的平均深度；当平均深度小于最小距离阈值时，提示人脸距离镜头过近；当平均深度大于最大距离阈值时，提示人脸距离镜头过远。距离阈值为提前涉及好的距离区间，可以根据经验确定出能够进行人脸识别的镜头与人脸之间的距离，该距离区间的最大值为最大距离阈值，该距离区间的最小值为最小区间阈值，即超出该距离区间时，本发明中人脸识别装置和方法便不再适用或适用结果不准确。
S03：分别在可见光图像和结构光图像中提取最小人脸区域。
其中，在可见光图像中提取最小人脸区域的方法为：在可见光图像中利用68特征点方法提取最小人脸区域。或者可以采用现有技术中人脸圈定提取的其他方法在可见光图像中提取出最小人脸区域。
其中，在结构光图像中提取最小人脸区域的方法为：
S031：将可见光图像中的区域A扩大为A’，并将扩大之后的区域A’转移至结构光图像中，形成区域A”；所述区域B包含在区域A”中，将结构光图像中位于区域A”之内并且深度函数g(x,y)大于0的区域标记为n，所述深度函数g(x,y)从所述结构光图像中获得；结构光图像中标记为n并且连通的区域为连通区Ⅰ；对各个连通区Ⅰ进行面积统计，当连通区Ⅰ的面积小于区域阈值时，将该连通区Ⅰ标记为m，定义标记为m的连通区Ⅰ的深度函数为0，剩余的连通区Ⅰ的深度函数值保持不变，形成新的深度函数f(x,y)；
区域阈值指的是提前确定好的一个面积值，当连通区Ⅰ的面积小于该区域阈值时，说明其为人脸区域之外的背景或其他噪音干扰，在后续处理中需要被屏蔽掉。其中，区域A可以为矩形框，区域B可以为正方形框。
S032：将深度函数f(x,y)的相对高度和相对高度的梯度信息二值化，分别形成相对高度矩阵A(x,y)和相对高度的梯度信息矩阵B(x,y)；将A(x,y)和B(x,y)进行与操作形成矩阵C(x,y)。相对高度矩阵A(x,y)＝f(x,y)>0；相对高度的梯度信息矩阵其中，thr表示高度阈值，为提前确定好的一个高度值，只有小于等于该高度值的相对高度的梯度信息才会被收集在矩阵B(x,y)中；矩阵C(x,y)＝A(x,y)&B(x,y)，其中，&表示与操作。此时矩阵C(x,y)为二值图函数，对应0和1两个值。
S033：对矩阵C(x,y)中等于1的区域进行连通区标记，形成连通区Ⅱ，并统计各个连通区Ⅱ的面积，选取面积大于连通阈值的连通区Ⅱ；其中，连通阈值和上述区域阈值的概念类似，也是提前设定好的面积值，当连通区Ⅱ的面积小于该设定的连通阈值时，该连通区Ⅱ为噪声干扰或者背景噪音，在人脸识别的时候不考虑该连通区Ⅱ。
当面积大于连通阈值的连通区Ⅱ的个数为1时，将该连通区Ⅱ标记为含有最小人脸区域的连通区Ⅲ；当面积大于连通阈值的连通区Ⅱ的个数大于1时，根据质心坐标以及各个连通区Ⅱ的平均深度确定含有最小人脸区域的连通区Ⅲ；具体地，可以通过计算连通区Ⅱ的平均高度和，删除异常平面，选择质心坐标最接近图像上方的区域作为含有最小人脸区域的连通区Ⅲ。
S034：对所述连通区Ⅲ分别进行膨胀和腐蚀，经过膨胀和腐蚀之后的连通区Ⅲ对应的矩阵C(x,y)转变为二值图函数D(x,y)，其中，二值图函数D(x,y)对应0和1两个值；针对所述连通区Ⅲ中D(x,y)等于0的区域，定义该区域的深度函数为0；针对所述连通区Ⅲ中D(x,y)等于1的区域，定义该区域的深度函数为h(x,y)，且h(x,y)的深度函数值等于g(x,y)中对应位置的深度函数值，并且连通区Ⅲ中D(x,y)等于1的区域为最小人脸区域。
确定好最小人脸区域之后，由于在上述确定该区域的计算过程中可能会丢失部分数据；例如眉毛或者眼睛相关的数据，在含有最小人脸区域的连通区Ⅲ中进行膨胀腐蚀操作，补全连通区Ⅲ中的人脸信息，补全之后的二值图通过填充像素变为深度图，方便后续进行人脸特征提取。
S04：将可见光图像进行矫正，对可见光图像和结构光图像中的最小人脸区域进行配准，使得最小人脸区域为正脸方向，将配准之后的可见光图像和结构光图像压缩成标准大小。根据最小人脸区域中双眼坐标计算旋转角与旋转中心，将人脸通过仿射变换配准至正脸方向。
其中，对于可见光图像，在已知近红外传感器与可见光传感器位置的条件下，可通过深度图距离和坐标换算可见光图像中相应点的坐标。遍历可见光图像68点坐标中外廓线坐标，当该坐标在结构光图像中对应坐标为非人脸区域时，局部搜索矫正因背景造成的可见光图像中的人脸外廓线以外区域，对可见光图像进行背景矫正。之后根据双眼坐标计算旋转角θ与旋转中心，将人脸通过仿射变换配准至正脸方向，并压缩成Height×Width的标准像素大小。
对于结构光图像，根据可见光图像人脸定位框矫正人脸上边框，即裁剪刘海，通过旋转角θ与旋转中心将人脸通过仿射变换配准至正脸方向，并压缩成Height×Width的标准像素大小。
S05：在压缩之后的可见光图像和结构光图像中最小人脸区域进行人脸特征提取。包括人脸全图、五官等位置子图片提取有效的人脸特征。人脸特征可以现有技术中任意的能够表征个人信息的特征，比如眉间距、眼间距、脸部轮廓大小等等相关的人脸特征。提取之后的人脸特征进行标准化存储。
S06：分别计算可见光图像和结构光图像中各个人脸特征与存储信息中对应人脸特征的相似度。具体包括计算可见光图像和结构光图像中各个人脸特征与存储信息中人脸的相似度。
S07：计算可见光图像和结构光图像中人脸特征与存储信息中人脸特征的总相似度，当总相似度大于等于相似度阈值时，判断待识别人脸与存储信息为同一个人；当总相似度小于相似度阈值时，判断待识别人脸与存储信息不是同一个人。其中，总相似度其中，ak表示可见光图像或结构图像的其中一个人脸特征与存储信息中对应人脸特征的相似度，wk表示ak对应的权重。
如附图2所示，本发明提供的一种人脸识别装置，包括可见光传感器、可见光人脸定位模块、可见光人脸提取模块、可见光人脸矫正模块、可见光人脸配准模块、可见光人脸特征提取模块、结构光传感器、结构光人脸定位模块、结构光人脸提取模块、结构光人脸配准模块、结构光人脸特征提取模块、相似度计算模块和相似度阈值判断模块。
可见光传感器将拍摄的可见光图像传递给可见光人脸定位模块进行人脸定位，再将定位之后的可见光图像传递至可见光提取模块中提取最小人脸区域，并将提取之后的可见光图像依次传递至可见光人脸矫正模块和可见光拍准模块中进行矫正和配准，矫正配准之后的可见光图像传递至可见光人脸提取特征模块进行人脸特征提取；
结构光传感器将拍摄的结构光图像传递给结构光人脸定位模块进行人脸定位，再将定位之后的结构光图像传递至结构光提取模块中提取最小人脸区域，并将提取之后的结构光图像传递至结构光配准模块中进行配准，配准之后的结构光图像传递至结构光人脸提取特征模块进行人脸特征提取；
相似度计算模块的输入端口连接可见光人脸提取特征模块和结构光人脸提取特征模块，输出端口连接阈值判断模块；可见光人脸提取特征模块和结构光人脸提取特征模块提取的人脸特征传输至相似度计算模块进行计算，阈值判断模块判断拍摄的图像与存储信息是否为同一个人。
值得说明的是：如附图2所示。本发明装置中可见光人脸定位模块、可见光人脸提取模块、可见光人脸矫正模块、可见光人脸配准模块、结构光人脸定位模块、结构光人脸提取模块和结构光人脸配准模块之间是互通的，在定位、提取、矫正和配准的过程中，彼此的结果是共享的，例如，结构光人脸定位模块需要使用可见光人脸定位模块的定位结果进行深度信息的判断，结构光人脸提取模块协助提取可见光人脸外轮廓；可见光人脸配准模块为结构光人脸配准模块提供旋转角。也就是说，本发明张可见光图像处理部分和结构光图像处理部分并不是分别进行的，而是优劣势互补的状态，每一步处理都是两个图像相互辅助的结果。
本发明中可见光图像人脸定位可以采用68特征点的主动形状模型进行。由于人脸识别仅需要人脸部分，背景部分可视为人脸识别的噪声部分，可利用68点特征点将人脸外廓线标记，并对外廓线以外置为0，但人脸外廓线在背景存在条纹时受到显著干扰，而深度信息在人脸外廓线位置会形成显著落差，所以可以通过结构光深度信息的人脸外廓线对可见光图像人脸部分进行精细切割。但是在深度信息层面，由于人脸起伏特征不明显，单纯依靠深度信息本身，较难在复杂场景下定位人脸位置。所以可以通过可见光人脸定位部分初步判定人脸所在深度平面；并通过形态学算法分离出人脸结构光信息。
本发明通过建立结构光与可见光的交互信息，使人脸特征刻画得更为精确，充分利用结构光与可见光的优势弥补彼此特征提取的劣势部分。同时本方案能有效提取结构光图像中的人脸部分，在光照环境稳定的情况下，结合结构光与可见光的识别结果可进一步降低人脸识别的错误概率。
以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。

Claims (9)

1.一种人脸识别方法，其特征在于，包括如下步骤：
S01：分别获取待识别人脸的可见光图像和结构光图像；
S02：采用可见光图像和结构光图像进行人脸定位，并判断待识别人脸与镜头之间的距离是否在可识别范围内，若在可识别范围内，继续步骤S03；若不在可识别范围内，调整待识别人脸位置，继续步骤S01：
S03：分别在可见光图像和结构光图像中提取最小人脸区域；
S04：将可见光图像进行矫正，并对可见光图像和结构光图像中的最小人脸区域进行配准，使得最小人脸区域为正脸方向，将配准之后的可见光图像和结构光图像压缩成标准大小；
S05：在压缩之后的可见光图像和结构光图像中最小人脸区域进行人脸特征提取；
S06：分别计算可见光图像和结构光图像中各个人脸特征与存储信息中对应人脸特征的相似度；
S07：计算可见光图像和结构光图像中人脸特征与存储信息中人脸特征的总相似度，当总相似度大于等于相似度阈值时，判断待识别人脸与存储信息为同一个人；当总相似度小于相似度阈值时，判断待识别人脸与存储信息不是同一个人。
2.根据权利要求1所述的一种人脸识别方法，其特征在于，所述步骤S02中人脸定位具体包括：在可见光图像中采用区域A圈出人脸位置，计算质心，并将该质心位置对应在结构光图像中。
3.根据权利要求2所述的一种人脸识别方法，其特征在于，所述步骤S02判断待识别人脸与镜头之间的距离的方法为：在结构光图像中，以上述对应过来的质心为参考基准点，在结构光图像上圈出区域B，计算区域B的平均深度；当平均深度小于最小距离阈值时，提示人脸距离镜头过近；当平均深度大于最大距离阈值时，提示人脸距离镜头过远。
4.根据权利要求3所述的一种人脸识别方法，其特征在于，所述步骤S03中在结构光图像中提取最小人脸区域的方法为：
S031：将可见光图像中的区域A扩大为A’，并将扩大之后的区域A’转移至结构光图像中，形成区域A”；所述区域B包含在区域A”中，将结构光图像中位于区域A”之内并且深度函数g(x,y)大于0的区域标记为n，所述深度函数g(x,y)从所述结构光图像中获得；结构光图像中标记为n并且连通的区域为连通区Ⅰ；对各个连通区Ⅰ进行面积统计，当连通区Ⅰ的面积小于区域阈值时，将该连通区Ⅰ标记为m，定义标记为m的连通区Ⅰ的深度函数为0，剩余的连通区Ⅰ的深度函数值保持不变，形成新的深度函数f(x,y)；
S032：将深度函数f(x,y)的相对高度和相对高度的梯度信息二值化，分别形成相对高度矩阵A(x,y)和相对高度的梯度信息矩阵B(x,y)；将A(x,y)和B(x,y)进行与操作形成矩阵C(x,y)，其中，矩阵C(x,y)为二值图函数，对应0和1两个值；
S033：对矩阵C(x,y)中等于1的区域进行连通区标记，形成连通区Ⅱ，并统计各个连通区Ⅱ的面积；当面积大于连通阈值的连通区Ⅱ的个数为1时，将该连通区Ⅱ标记为含有最小人脸区域的连通区Ⅲ；当面积大于连通阈值的连通区Ⅱ的个数大于1时，根据质心坐标以及各个连通区Ⅱ的平均深度确定含有最小人脸区域的连通区Ⅲ；
S034：对所述连通区Ⅲ分别进行膨胀和腐蚀，经过膨胀和腐蚀之后的连通区Ⅲ对应的矩阵C(x,y)转变为二值图函数D(x,y)，其中，二值图函数D(x,y)对应0和1两个值；针对所述连通区Ⅲ中D(x,y)等于0的区域，定义该区域的深度函数为0；针对所述连通区Ⅲ中D(x,y)等于1的区域，定义该区域的深度函数为h(x,y)，且h(x,y)的深度函数值等于g(x,y)中对应位置的深度函数值，并且连通区Ⅲ中D(x,y)等于1的区域为最小人脸区域。
5.根据权利要求4所述的一种人脸识别方法，其特征在于，所述相对高度矩阵A(x,y)＝f(x,y)>0；所述相对高度的梯度信息矩阵其中，thr表示高度阈值；所述矩阵C(x,y)＝A(x,y)&B(x,y)，其中，&表示与操作。
6.根据权利要求1所述的一种人脸识别方法，其特征在于，所述步骤S04中对可见光图像进行矫正包括：当可见光图像中人脸轮廓的坐标位于所述结构光图像中的最小人脸区域时，不做矫正；当可见光图像中人脸轮廓的坐标位于所述结构光图像中的最小人脸区域之外时，将可见光图像中该坐标确定为背景。
7.根据权利要求1所述的一种人脸识别方法，其特征在于，所述步骤S04中对可见光图像和结构光图像中的最小人脸区域进行配准的方法为：根据最小人脸区域中双眼坐标计算旋转角与旋转中心，将人脸通过仿射变换配准至正脸方向。
8.根据权利要求1所述的一种人脸识别方法，其特征在于，所述总相似度其中，ak表示可见光图像或结构图像的其中一个人脸特征与存储信息中对应人脸特征的相似度，wk表示ak对应的权重。
9.一种人脸识别装置，其特征在于，包括可见光传感器、可见光人脸定位模块、可见光人脸提取模块、可见光人脸矫正模块、可见光人脸配准模块、可见光人脸特征提取模块、结构光传感器、结构光人脸定位模块、结构光人脸提取模块、结构光人脸配准模块、结构光人脸特征提取模块、相似度计算模块和相似度阈值判断模块；
所述可见光传感器将拍摄的可见光图像传递给所述可见光人脸定位模块进行人脸定位，再将定位之后的可见光图像传递至所述可见光提取模块中提取最小人脸区域，并将提取之后的可见光图像依次传递至所述可见光人脸矫正模块和可见光人脸配准模块中进行矫正和配准，矫正配准之后的可见光图像传递至所述可见光人脸提取特征模块进行人脸特征提取；
所述结构光传感器将拍摄的结构光图像传递给所述结构光人脸定位模块进行人脸定位，再将定位之后的结构光图像传递至所述结构光提取模块中提取最小人脸区域，并将提取之后的结构光图像传递至所述结构光人脸配准模块中进行配准，配准之后的结构光图像传递至所述结构光人脸提取特征模块进行人脸特征提取；
所述相似度计算模块的输入端口连接所述可见光人脸提取特征模块和结构光人脸提取特征模块，输出端口连接所述阈值判断模块；所述可见光人脸提取特征模块和结构光人脸提取特征模块提取的人脸特征传输至所述相似度计算模块进行计算，所述阈值判断模块判断拍摄的图像与存储信息是否为同一个人。
CN201811421725.2A 2018-11-26 2018-11-26 一种人脸识别装置和方法 Active CN109635682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811421725.2A CN109635682B (zh) 2018-11-26 2018-11-26 一种人脸识别装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811421725.2A CN109635682B (zh) 2018-11-26 2018-11-26 一种人脸识别装置和方法

Publications (2)

Publication Number Publication Date
CN109635682A true CN109635682A (zh) 2019-04-16
CN109635682B CN109635682B (zh) 2021-09-14

Family

ID=66069535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811421725.2A Active CN109635682B (zh) 2018-11-26 2018-11-26 一种人脸识别装置和方法

Country Status (1)

Country Link
CN (1) CN109635682B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532992A (zh) * 2019-09-04 2019-12-03 深圳市捷顺科技实业股份有限公司 一种基于可见光和近红外的人脸识别方法
CN112183481A (zh) * 2020-10-29 2021-01-05 中国科学院计算技术研究所厦门数据智能研究院 一种基于结构光摄像头的3d人脸识别方法
CN113111762A (zh) * 2021-04-07 2021-07-13 瑞芯微电子股份有限公司 一种人脸识别方法、检测方法、介质及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US20090279790A1 (en) * 2008-05-09 2009-11-12 Burge Mark J Multispectral iris fusion for enhancement and interoperability
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
JP2014185917A (ja) * 2013-03-22 2014-10-02 Nikon Corp 撮像装置
US20160181226A1 (en) * 2014-12-22 2016-06-23 Google Inc. Stacked semiconductor chip rgbz sensor
CN106485202A (zh) * 2016-09-18 2017-03-08 南京工程学院 非约束人脸识别系统及方法
CN106570904A (zh) * 2016-10-25 2017-04-19 大连理工大学 一种基于Xtion摄像头的多目标相对位姿识别方法
CN107169483A (zh) * 2017-07-12 2017-09-15 深圳奥比中光科技有限公司 基于人脸识别的任务执行
CN107748869A (zh) * 2017-10-26 2018-03-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107784292A (zh) * 2017-11-08 2018-03-09 北方工业大学 基于阵列镜头的驾驶员疲劳状态识别方法
CN108537187A (zh) * 2017-12-04 2018-09-14 深圳奥比中光科技有限公司 任务执行方法、终端设备及计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279790A1 (en) * 2008-05-09 2009-11-12 Burge Mark J Multispectral iris fusion for enhancement and interoperability
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
JP2014185917A (ja) * 2013-03-22 2014-10-02 Nikon Corp 撮像装置
US20160181226A1 (en) * 2014-12-22 2016-06-23 Google Inc. Stacked semiconductor chip rgbz sensor
CN106485202A (zh) * 2016-09-18 2017-03-08 南京工程学院 非约束人脸识别系统及方法
CN106570904A (zh) * 2016-10-25 2017-04-19 大连理工大学 一种基于Xtion摄像头的多目标相对位姿识别方法
CN107169483A (zh) * 2017-07-12 2017-09-15 深圳奥比中光科技有限公司 基于人脸识别的任务执行
CN107748869A (zh) * 2017-10-26 2018-03-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107784292A (zh) * 2017-11-08 2018-03-09 北方工业大学 基于阵列镜头的驾驶员疲劳状态识别方法
CN108537187A (zh) * 2017-12-04 2018-09-14 深圳奥比中光科技有限公司 任务执行方法、终端设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAT TIEN NGUYEN 等: "Combining Deep and Handcrafted Image Features for Presentation Attack Detection in Face Recognition Systems Using Visible-Light Camera Sensors", 《SENSORS》 *
潘志鹏: "面结构光三维测量系统标定方法研究", 《中国优秀硕士学位全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532992A (zh) * 2019-09-04 2019-12-03 深圳市捷顺科技实业股份有限公司 一种基于可见光和近红外的人脸识别方法
CN112183481A (zh) * 2020-10-29 2021-01-05 中国科学院计算技术研究所厦门数据智能研究院 一种基于结构光摄像头的3d人脸识别方法
CN112183481B (zh) * 2020-10-29 2022-05-20 中科(厦门)数据智能研究院 一种基于结构光摄像头的3d人脸识别方法
CN113111762A (zh) * 2021-04-07 2021-07-13 瑞芯微电子股份有限公司 一种人脸识别方法、检测方法、介质及电子设备
CN113111762B (zh) * 2021-04-07 2024-04-05 瑞芯微电子股份有限公司 一种人脸识别方法、检测方法、介质及电子设备

Also Published As

Publication number Publication date
CN109635682B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
US8374422B2 (en) Face expressions identification
CN108764058B (zh) 一种基于热成像效应的双摄像头人脸活体检测方法
JP4307496B2 (ja) 顔部位検出装置及びプログラム
KR102462818B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN107330371A (zh) 3d脸部模型的脸部表情的获取方法、装置和存储装置
WO2020253062A1 (zh) 一种图像边界的检测方法及装置
CN109087328A (zh) 基于计算机视觉的羽毛球落点位置预测方法
CN110309782A (zh) 一种基于红外与可见光双目系统的活体人脸检测方法
KR101035055B1 (ko) 이종 카메라를 이용한 객체 추적 시스템 및 방법
CN109635682A (zh) 一种人脸识别装置和方法
JP2013178816A (ja) 画像処理装置、撮像装置、画像処理方法
CN104794449B (zh) 基于人体hog特征的步态能量图获取及身份识别方法
CN103902958A (zh) 人脸识别的方法
CN112317962B (zh) 一种用于隐形矫治器生产的打标系统及其方法
KR101640014B1 (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
CN110462625B (zh) 面部识别装置
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN107992845A (zh) 一种面部识别辨伪方法及装置、计算机设备
CN107862298B (zh) 一种基于红外摄像装置下眨眼的活体检测方法
CN112232204A (zh) 基于红外图像的活体检测方法
CN111860394A (zh) 一种基于姿态估计和动作检测的动作活体识别方法
JP3970573B2 (ja) 顔画像認識装置および方法
CN109977794A (zh) 一种用深度神经网络进行人脸识别的方法
CN111881841B (zh) 一种基于双目视觉的人脸检测识别方法
JP4146751B2 (ja) 顔識別装置、顔識別方法及び顔識別プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant