CN109635682B - 一种人脸识别装置和方法 - Google Patents
一种人脸识别装置和方法 Download PDFInfo
- Publication number
- CN109635682B CN109635682B CN201811421725.2A CN201811421725A CN109635682B CN 109635682 B CN109635682 B CN 109635682B CN 201811421725 A CN201811421725 A CN 201811421725A CN 109635682 B CN109635682 B CN 109635682B
- Authority
- CN
- China
- Prior art keywords
- face
- light image
- visible light
- structured light
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本发明公开了一种人脸识别方法,包括如下步骤:S01:分别获取待识别人脸的可见光图像和结构光图像;S02:采用可见光图像和结构光图像进行人脸定位:S03:分别在可见光图像和结构光图像中提取最小人脸区域;S04:将分别将可见光图像和结构光图像进行矫正、配准和压缩;S05:在压缩之后的可见光图像和结构光图像中最小人脸区域进行人脸特征提取;S06:分别计算可见光图像和结构光图像中人脸特征与存储信息中人脸特征的相似度;S07:计算可见光图像和结构光图像的总相似度,判断待识别人脸与存储信息不是同一个人。本发明公开的一种人脸识别装置和方法,充分利用结构光和可见光彼此优势互补,提高人脸识别的准确性。
Description
技术领域
本发明涉及数据识别领域,具体涉及一种人脸识别装置和方法。
背景技术
人脸识别系统的研究始于20世纪60年代,真正进入初级的应用阶段则在90年代后期。人脸识别系统成功的关键在于是否拥有尖端的核心算法,使得识别结果具有实用化的识别率和识别速度。所以人脸识别系统是人工智能、机器识别、机器学习、模型理论、专家系统、视频图像处理等众多专业技术的集大成者,其核心技术的实现,展现了弱人工智能向强人工智能的转化,同时也具有较高的技术壁垒。
传统的人脸识别技术主要是基于可见光图像的人脸识别,但这种方式有着难以克服的缺陷,尤其在环境复杂、或者光照发生变化时,识别效果会急剧下降,且可见光图像人脸识别无法区分真实人脸与照片人脸。迅速发展起来的一种解决方案是基于主动近红外图像的多光源人脸识别技术。结构光技术作为近红外图像成像技术的一种,体积小,便于集成,若能应用在人脸识别领域,有望改善可见光人脸识别的弊端。
发明内容
本发明所要解决的技术问题是提供一种人脸识别装置和方法,能够建立结构光和可见光的交互信息,使得人脸特征刻画得更为准确,充分利用结构光和可见光彼此优势互补,提高人脸识别的准确性。
为了实现上述目的,本发明采用如下技术方案:一种人脸识别方法,包括如下步骤:
S01:分别获取待识别人脸的可见光图像和结构光图像;
S02:采用可见光图像和结构光图像进行人脸定位,并判断待识别人脸与镜头之间的距离是否在可识别范围内,若在可识别范围内,继续步骤S03;若不在可识别范围内,调整待识别人脸位置,继续步骤S01:
S03:分别在可见光图像和结构光图像中提取最小人脸区域;
S04:将可见光图像进行矫正,并对可见光图像和结构光图像中的最小人脸区域进行配准,使得最小人脸区域为正脸方向,将配准之后的可见光图像和结构光图像压缩成标准大小;
S05:在压缩之后的可见光图像和结构光图像中最小人脸区域进行人脸特征提取;
S06:分别计算可见光图像和结构光图像中各个人脸特征与存储信息中对应人脸特征的相似度;
S07:计算可见光图像和结构光图像中人脸特征与存储信息中人脸特征的总相似度,当总相似度大于等于相似度阈值时,判断待识别人脸与存储信息为同一个人;当总相似度小于相似度阈值时,判断待识别人脸与存储信息不是同一个人。
进一步地,所述步骤S02中人脸定位具体包括:在可见光图像中采用区域A圈出人脸位置,计算质心,并将该质心位置对应在结构光图像中。
进一步地,所述步骤S02判断待识别人脸与镜头之间的距离的方法为:在结构光图像中,以上述对应过来的质心为参考基准点,在结构光图像上圈出区域B,计算区域B的平均深度;当平均深度小于最小距离阈值时,提示人脸距离镜头过近;当平均深度大于最大距离阈值时,提示人脸距离镜头过远。
进一步地,所述步骤S03中在结构光图像中提取最小人脸区域的方法为:
S031:将可见光图像中的区域A扩大为A’,并将扩大之后的区域A’转移至结构光图像中,形成区域A”;所述区域B包含在区域A”中,将结构光图像中位于区域A”之内并且深度函数g(x,y)大于0的区域标记为n,所述深度函数g(x,y)从所述结构光图像中获得;结构光图像中标记为n并且连通的区域为连通区Ⅰ;对各个连通区Ⅰ进行面积统计,当连通区Ⅰ的面积小于区域阈值时,将该连通区Ⅰ标记为m,定义标记为m的连通区Ⅰ的深度函数为0,剩余的连通区Ⅰ的深度函数值保持不变,形成新的深度函数f(x,y);
S032:将深度函数f(x,y)的相对高度和相对高度的梯度信息二值化,分别形成相对高度矩阵A(x,y)和相对高度的梯度信息矩阵B(x,y);将A(x,y)和B(x,y)进行与操作形成矩阵C(x,y),其中,矩阵C(x,y)为二值图函数,对应0和1两个值;
S033:对矩阵C(x,y)中等于1的区域进行连通区标记,形成连通区Ⅱ,并统计各个连通区Ⅱ的面积;当面积大于连通阈值的连通区Ⅱ的个数为1时,将该连通区Ⅱ标记为含有最小人脸区域的连通区Ⅲ;当面积大于连通阈值的连通区Ⅱ的个数大于1时,根据质心坐标以及各个连通区Ⅱ的平均深度确定含有最小人脸区域的连通区Ⅲ;
S034:对所述连通区Ⅲ分别进行膨胀和腐蚀,经过膨胀和腐蚀之后的连通区Ⅲ对应的矩阵C(x,y)转变为二值图函数D(x,y),其中,二值图函数D(x,y)对应0和1两个值;针对所述连通区Ⅲ中D(x,y)等于0的区域,定义该区域的深度函数为0;针对所述连通区Ⅲ中D(x,y)等于1的区域,定义该区域的深度函数为h(x,y),且h(x,y)的深度函数值等于g(x,y)中对应位置的深度函数值,并且连通区Ⅲ中D(x,y)等于1的区域为最小人脸区域。
进一步地,所述步骤S04中对可见光图像进行矫正包括:当可见光图像中人脸轮廓的坐标位于所述结构光图像中的最小人脸区域时,不做矫正;当可见光图像中人脸轮廓的坐标位于所述结构光图像中的最小人脸区域之外时,将可见光图像中该坐标确定为背景。
进一步地,所述步骤S04中对可见光图像和结构光图像中的最小人脸区域进行配准的方法为:根据最小人脸区域中双眼坐标计算旋转角与旋转中心,将人脸通过仿射变换配准至正脸方向。
本发明提供的一种人脸识别装置,包括可见光传感器、可见光人脸定位模块、可见光人脸提取模块、可见光人脸矫正模块、可见光人脸配准模块、可见光人脸特征提取模块、结构光传感器、结构光人脸定位模块、结构光人脸提取模块、结构光人脸配准模块、结构光人脸特征提取模块、相似度计算模块和相似度阈值判断模块;
所述可见光传感器将拍摄的可见光图像传递给所述可见光人脸定位模块进行人脸定位,再将定位之后的可见光图像传递至所述可见光提取模块中提取最小人脸区域,并将提取之后的可见光图像依次传递至所述可见光人脸矫正模块和可见光人脸配准模块中进行矫正和配准,矫正配准之后的可见光图像传递至所述可见光人脸提取特征模块进行人脸特征提取;
所述结构光传感器将拍摄的结构光图像传递给所述结构光人脸定位模块进行人脸定位,再将定位之后的结构光图像传递至所述结构光提取模块中提取最小人脸区域,并将提取之后的结构光图像传递至所述结构光人脸配准模块中进行配准,配准之后的结构光图像传递至所述结构光人脸提取特征模块进行人脸特征提取;
所述相似度计算模块的输入端口连接所述可见光人脸提取特征模块和结构光人脸提取特征模块,输出端口连接所述阈值判断模块;所述可见光人脸提取特征模块和结构光人脸提取特征模块提取的人脸特征传输至所述相似度计算模块进行计算,所述阈值判断模块判断拍摄的图像与存储信息是否为同一个人。本发明的有益效果为:本发明通过建立结构光与可见光的交互信息,使人脸特征刻画得更为精确,充分利用结构光与可见光的优势弥补彼此特征提取的劣势部分。同时本方案能有效提取结构光图像中的人脸部分,在光照环境稳定的情况下,结合结构光与可见光的识别结果可进一步降低人脸识别的错误概率。
附图说明
附图1为本发明一种人脸识别的方法流程图。
附图2为本发明一种人脸识别装置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明的具体实施方式做进一步的详细说明。
本发明主要针对可见光人脸识别受到环境、光照影响,特征提取差异较大且无法区分真人与照片的问题,提出结合近红外图像的多光源人脸识别技术。
如附图1所示,本发明提供的一种人脸识别方法,包括如下步骤:
S01:分别获取待识别人脸的可见光图像和结构光图像。其中,通过CMOS图像传感器获取可见光图像。经过结构光技术编码的近红外传感器获取结构光图像中的深度信息,并保存为灰度图像。
S02:采用可见光图像和结构光图像进行人脸定位,并判断待识别人脸与镜头之间的距离是否在可识别范围内,若在可识别范围内,继续步骤S03;若不在可识别范围内,调整待识别人脸位置,继续步骤S01。
具体地,人脸定位可以在可见光图像中采用区域A圈出人脸位置,计算质心,并将该质心位置对应在结构光图像中。
判断待识别人脸与镜头之间的距离的方法为:在结构光图像中,以上述对应过来的质心为参考基准点,在结构光图像上圈出区域B,计算区域B的平均深度;当平均深度小于最小距离阈值时,提示人脸距离镜头过近;当平均深度大于最大距离阈值时,提示人脸距离镜头过远。距离阈值为提前涉及好的距离区间,可以根据经验确定出能够进行人脸识别的镜头与人脸之间的距离,该距离区间的最大值为最大距离阈值,该距离区间的最小值为最小区间阈值,即超出该距离区间时,本发明中人脸识别装置和方法便不再适用或适用结果不准确。
S03:分别在可见光图像和结构光图像中提取最小人脸区域。
其中,在可见光图像中提取最小人脸区域的方法为:在可见光图像中利用68特征点方法提取最小人脸区域。或者可以采用现有技术中人脸圈定提取的其他方法在可见光图像中提取出最小人脸区域。
其中,在结构光图像中提取最小人脸区域的方法为:
S031:将可见光图像中的区域A扩大为A’,并将扩大之后的区域A’转移至结构光图像中,形成区域A”;所述区域B包含在区域A”中,将结构光图像中位于区域A”之内并且深度函数g(x,y)大于0的区域标记为n,所述深度函数g(x,y)从所述结构光图像中获得;结构光图像中标记为n并且连通的区域为连通区Ⅰ;对各个连通区Ⅰ进行面积统计,当连通区Ⅰ的面积小于区域阈值时,将该连通区Ⅰ标记为m,定义标记为m的连通区Ⅰ的深度函数为0,剩余的连通区Ⅰ的深度函数值保持不变,形成新的深度函数f(x,y);
区域阈值指的是提前确定好的一个面积值,当连通区Ⅰ的面积小于该区域阈值时,说明其为人脸区域之外的背景或其他噪音干扰,在后续处理中需要被屏蔽掉。其中,区域A可以为矩形框,区域B可以为正方形框。
S032:将深度函数f(x,y)的相对高度和相对高度的梯度信息二值化,分别形成相对高度矩阵A(x,y)和相对高度的梯度信息矩阵B(x,y);将A(x,y)和B(x,y)进行与操作形成矩阵C(x,y)。相对高度矩阵A(x,y)=f(x,y)>0;相对高度的梯度信息矩阵其中,thr表示高度阈值,为提前确定好的一个高度值,只有小于等于该高度值的相对高度的梯度信息才会被收集在矩阵B(x,y)中;矩阵C(x,y)=A(x,y)&B(x,y),其中,&表示与操作。此时矩阵C(x,y)为二值图函数,对应0和1两个值。
S033:对矩阵C(x,y)中等于1的区域进行连通区标记,形成连通区Ⅱ,并统计各个连通区Ⅱ的面积,选取面积大于连通阈值的连通区Ⅱ;其中,连通阈值和上述区域阈值的概念类似,也是提前设定好的面积值,当连通区Ⅱ的面积小于该设定的连通阈值时,该连通区Ⅱ为噪声干扰或者背景噪音,在人脸识别的时候不考虑该连通区Ⅱ。
当面积大于连通阈值的连通区Ⅱ的个数为1时,将该连通区Ⅱ标记为含有最小人脸区域的连通区Ⅲ;当面积大于连通阈值的连通区Ⅱ的个数大于1时,根据质心坐标以及各个连通区Ⅱ的平均深度确定含有最小人脸区域的连通区Ⅲ;具体地,可以通过计算连通区Ⅱ的平均高度和,删除异常平面,选择质心坐标最接近图像上方的区域作为含有最小人脸区域的连通区Ⅲ。
S034:对所述连通区Ⅲ分别进行膨胀和腐蚀,经过膨胀和腐蚀之后的连通区Ⅲ对应的矩阵C(x,y)转变为二值图函数D(x,y),其中,二值图函数D(x,y)对应0和1两个值;针对所述连通区Ⅲ中D(x,y)等于0的区域,定义该区域的深度函数为0;针对所述连通区Ⅲ中D(x,y)等于1的区域,定义该区域的深度函数为h(x,y),且h(x,y)的深度函数值等于g(x,y)中对应位置的深度函数值,并且连通区Ⅲ中D(x,y)等于1的区域为最小人脸区域。
确定好最小人脸区域之后,由于在上述确定该区域的计算过程中可能会丢失部分数据;例如眉毛或者眼睛相关的数据,在含有最小人脸区域的连通区Ⅲ中进行膨胀腐蚀操作,补全连通区Ⅲ中的人脸信息,补全之后的二值图通过填充像素变为深度图,方便后续进行人脸特征提取。
S04:将可见光图像进行矫正,对可见光图像和结构光图像中的最小人脸区域进行配准,使得最小人脸区域为正脸方向,将配准之后的可见光图像和结构光图像压缩成标准大小。根据最小人脸区域中双眼坐标计算旋转角与旋转中心,将人脸通过仿射变换配准至正脸方向。
其中,对于可见光图像,在已知近红外传感器与可见光传感器位置的条件下,可通过深度图距离和坐标换算可见光图像中相应点的坐标。遍历可见光图像68点坐标中外廓线坐标,当该坐标在结构光图像中对应坐标为非人脸区域时,局部搜索矫正因背景造成的可见光图像中的人脸外廓线以外区域,对可见光图像进行背景矫正。之后根据双眼坐标计算旋转角θ与旋转中心,将人脸通过仿射变换配准至正脸方向,并压缩成Height×Width的标准像素大小。
对于结构光图像,根据可见光图像人脸定位框矫正人脸上边框,即裁剪刘海,通过旋转角θ与旋转中心将人脸通过仿射变换配准至正脸方向,并压缩成Height×Width的标准像素大小。
S05:在压缩之后的可见光图像和结构光图像中最小人脸区域进行人脸特征提取。包括人脸全图、五官等位置子图片提取有效的人脸特征。人脸特征可以现有技术中任意的能够表征个人信息的特征,比如眉间距、眼间距、脸部轮廓大小等等相关的人脸特征。提取之后的人脸特征进行标准化存储。
S06:分别计算可见光图像和结构光图像中各个人脸特征与存储信息中对应人脸特征的相似度。具体包括计算可见光图像和结构光图像中各个人脸特征与存储信息中人脸的相似度。
S07:计算可见光图像和结构光图像中人脸特征与存储信息中人脸特征的总相似度,当总相似度大于等于相似度阈值时,判断待识别人脸与存储信息为同一个人;当总相似度小于相似度阈值时,判断待识别人脸与存储信息不是同一个人。其中,总相似度其中,ak表示可见光图像或结构图像的其中一个人脸特征与存储信息中对应人脸特征的相似度,wk表示ak对应的权重。
如附图2所示,本发明提供的一种人脸识别装置,包括可见光传感器、可见光人脸定位模块、可见光人脸提取模块、可见光人脸矫正模块、可见光人脸配准模块、可见光人脸特征提取模块、结构光传感器、结构光人脸定位模块、结构光人脸提取模块、结构光人脸配准模块、结构光人脸特征提取模块、相似度计算模块和相似度阈值判断模块。
可见光传感器将拍摄的可见光图像传递给可见光人脸定位模块进行人脸定位,再将定位之后的可见光图像传递至可见光提取模块中提取最小人脸区域,并将提取之后的可见光图像依次传递至可见光人脸矫正模块和可见光拍准模块中进行矫正和配准,矫正配准之后的可见光图像传递至可见光人脸提取特征模块进行人脸特征提取;
结构光传感器将拍摄的结构光图像传递给结构光人脸定位模块进行人脸定位,再将定位之后的结构光图像传递至结构光提取模块中提取最小人脸区域,并将提取之后的结构光图像传递至结构光配准模块中进行配准,配准之后的结构光图像传递至结构光人脸提取特征模块进行人脸特征提取;
相似度计算模块的输入端口连接可见光人脸提取特征模块和结构光人脸提取特征模块,输出端口连接阈值判断模块;可见光人脸提取特征模块和结构光人脸提取特征模块提取的人脸特征传输至相似度计算模块进行计算,阈值判断模块判断拍摄的图像与存储信息是否为同一个人。
值得说明的是:如附图2所示。本发明装置中可见光人脸定位模块、可见光人脸提取模块、可见光人脸矫正模块、可见光人脸配准模块、结构光人脸定位模块、结构光人脸提取模块和结构光人脸配准模块之间是互通的,在定位、提取、矫正和配准的过程中,彼此的结果是共享的,例如,结构光人脸定位模块需要使用可见光人脸定位模块的定位结果进行深度信息的判断,结构光人脸提取模块协助提取可见光人脸外轮廓;可见光人脸配准模块为结构光人脸配准模块提供旋转角。也就是说,本发明张可见光图像处理部分和结构光图像处理部分并不是分别进行的,而是优劣势互补的状态,每一步处理都是两个图像相互辅助的结果。
本发明中可见光图像人脸定位可以采用68特征点的主动形状模型进行。由于人脸识别仅需要人脸部分,背景部分可视为人脸识别的噪声部分,可利用68点特征点将人脸外廓线标记,并对外廓线以外置为0,但人脸外廓线在背景存在条纹时受到显著干扰,而深度信息在人脸外廓线位置会形成显著落差,所以可以通过结构光深度信息的人脸外廓线对可见光图像人脸部分进行精细切割。但是在深度信息层面,由于人脸起伏特征不明显,单纯依靠深度信息本身,较难在复杂场景下定位人脸位置。所以可以通过可见光人脸定位部分初步判定人脸所在深度平面;并通过形态学算法分离出人脸结构光信息。
本发明通过建立结构光与可见光的交互信息,使人脸特征刻画得更为精确,充分利用结构光与可见光的优势弥补彼此特征提取的劣势部分。同时本方案能有效提取结构光图像中的人脸部分,在光照环境稳定的情况下,结合结构光与可见光的识别结果可进一步降低人脸识别的错误概率。
以上所述仅为本发明的优选实施例,所述实施例并非用于限制本发明的专利保护范围,因此凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明所附权利要求的保护范围内。
Claims (7)
1.一种人脸识别方法,其特征在于,包括如下步骤:
S01:分别获取待识别人脸的可见光图像和结构光图像;
S02:采用可见光图像和结构光图像进行人脸定位,并判断待识别人脸与镜头之间的距离是否在可识别范围内,若在可识别范围内,继续步骤S03;若不在可识别范围内,调整待识别人脸位置,继续步骤S01:
其中,人脸定位具体包括:在可见光图像中采用区域A圈出人脸位置,计算质心,并将该质心位置对应在结构光图像中;
其中,判断待识别人脸与镜头之间的距离的方法为:在结构光图像中,以上述对应过来的质心为参考基准点,在结构光图像上圈出区域B,计算区域B的平均深度;当平均深度小于最小距离阈值时,提示人脸距离镜头过近;当平均深度大于最大距离阈值时,提示人脸距离镜头过远;
S03:分别在可见光图像和结构光图像中提取最小人脸区域;
S04:将可见光图像进行矫正,并对可见光图像和结构光图像中的最小人脸区域进行配准,使得最小人脸区域为正脸方向,将配准之后的可见光图像和结构光图像压缩成标准大小;
S05:在压缩之后的可见光图像和结构光图像中最小人脸区域进行人脸特征提取;
S06:分别计算可见光图像和结构光图像中各个人脸特征与存储信息中对应人脸特征的相似度;
S07:计算可见光图像和结构光图像中人脸特征与存储信息中人脸特征的总相似度,当总相似度大于等于相似度阈值时,判断待识别人脸与存储信息为同一个人;当总相似度小于相似度阈值时,判断待识别人脸与存储信息不是同一个人。
2.根据权利要求1所述的一种人脸识别方法,其特征在于,所述步骤S03中在结构光图像中提取最小人脸区域的方法为:
S031:将可见光图像中的区域A扩大为A’,并将扩大之后的区域A’转移至结构光图像中,形成区域A”;所述区域B包含在区域A”中,将结构光图像中位于区域A”之内并且深度函数g(x,y)大于0的区域标记为n,所述深度函数g(x,y)从所述结构光图像中获得;结构光图像中标记为n并且连通的区域为连通区Ⅰ;对各个连通区Ⅰ进行面积统计,当连通区Ⅰ的面积小于区域阈值时,将该连通区Ⅰ标记为m,定义标记为m的连通区Ⅰ的深度函数为0,剩余的连通区Ⅰ的深度函数值保持不变,形成新的深度函数f(x,y);
S032:将深度函数f(x,y)的相对高度和相对高度的梯度信息二值化,分别形成相对高度矩阵A(x,y)和相对高度的梯度信息矩阵B(x,y);将A(x,y)和B(x,y)进行与操作形成矩阵C(x,y),其中,矩阵C(x,y)为二值图函数,对应0和1两个值;
S033:对矩阵C(x,y)中等于1的区域进行连通区标记,形成连通区Ⅱ,并统计各个连通区Ⅱ的面积;当面积大于连通阈值的连通区Ⅱ的个数为1时,将该连通区Ⅱ标记为含有最小人脸区域的连通区Ⅲ;当面积大于连通阈值的连通区Ⅱ的个数大于1时,根据质心坐标以及各个连通区Ⅱ的平均深度确定含有最小人脸区域的连通区Ⅲ;
S034:对所述连通区Ⅲ分别进行膨胀和腐蚀,经过膨胀和腐蚀之后的连通区Ⅲ对应的矩阵C(x,y)转变为二值图函数D(x,y),其中,二值图函数D(x,y)对应0和1两个值;针对所述连通区Ⅲ中D(x,y)等于0的区域,定义该区域的深度函数值为0;针对所述连通区Ⅲ中D(x,y)等于1的区域,定义该区域的深度函数为h(x,y),且h(x,y)的深度函数值等于g(x,y)中对应位置的深度函数值,并且连通区Ⅲ中D(x,y)等于1的区域为最小人脸区域。
4.根据权利要求1所述的一种人脸识别方法,其特征在于,所述步骤S04中对可见光图像进行矫正包括:当可见光图像中人脸轮廓的坐标位于所述结构光图像中的最小人脸区域时,不做矫正;当可见光图像中人脸轮廓的坐标位于所述结构光图像中的最小人脸区域之外时,将可见光图像中该坐标确定为背景。
5.根据权利要求1所述的一种人脸识别方法,其特征在于,所述步骤S04中对可见光图像和结构光图像中的最小人脸区域进行配准的方法为:根据最小人脸区域中双眼坐标计算旋转角与旋转中心,将人脸通过仿射变换配准至正脸方向。
7.一种人脸识别装置,其特征在于,包括可见光传感器、可见光人脸定位模块、可见光人脸提取模块、可见光人脸矫正模块、可见光人脸配准模块、可见光人脸提取特征模块、结构光传感器、结构光人脸定位模块、结构光人脸提取模块、结构光人脸配准模块、结构光人脸提取特征模块、相似度计算模块和阈值判断模块;
所述可见光传感器和结构光传感器分别获取待识别人脸的可见光图像和结构光图像;所述可见光人脸定位模块和结构光人脸定位模块分别对可见光图像和结构光图像进行人脸定位;并判断待识别人脸与镜头之间的距离是否在可识别范围内,若在可识别范围内,则将可见光图像和结构光图像传输至可见光人脸提取模块和结构光人脸提取模块;若不在可识别范围内,调整待识别人脸位置,所述可见光传感器和结构光传感器继续分别获取待识别人脸的可见光图像和结构光图像;其中,人脸定位具体包括:在可见光图像中采用区域A圈出人脸位置,计算质心,并将该质心位置对应在结构光图像中;其中,判断待识别人脸与镜头之间的距离的方法为:在结构光图像中,以上述对应过来的质心为参考基准点,在结构光图像上圈出区域B,计算区域B的平均深度;当平均深度小于最小距离阈值时,提示人脸距离镜头过近;当平均深度大于最大距离阈值时,提示人脸距离镜头过远;
所述可见光人脸提取模块和结构光人脸提取模块分别在可见光图像和结构光图像中提取最小人脸区域;所述可见光人脸矫正模块将可见光图像进行矫正,所述可见光人脸配准模块和结构光人脸配准模块对可见光图像和结构光图像中的最小人脸区域进行配准,使得最小人脸区域为正脸方向,将配准之后的可见光图像和结构光图像压缩成标准大小;所述可见光人脸提取特征模块和结构光人脸提取特征模块在压缩之后的可见光图像和结构光图像中最小人脸区域进行人脸特征提取;所述相似度计算模块分别计算可见光图像和结构光图像中各个人脸特征与存储信息中对应人脸特征的相似度;以及可见光图像和结构光图像中人脸特征与存储信息中人脸特征的总相似度,并传输至阈值判断模块,所述阈值判断模块判断拍摄的图像与存储信息是否为同一个人:当总相似度大于等于相似度阈值时,判断待识别人脸与存储信息为同一个人;当总相似度小于相似度阈值时,判断待识别人脸与存储信息不是同一个人。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811421725.2A CN109635682B (zh) | 2018-11-26 | 2018-11-26 | 一种人脸识别装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811421725.2A CN109635682B (zh) | 2018-11-26 | 2018-11-26 | 一种人脸识别装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109635682A CN109635682A (zh) | 2019-04-16 |
CN109635682B true CN109635682B (zh) | 2021-09-14 |
Family
ID=66069535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811421725.2A Active CN109635682B (zh) | 2018-11-26 | 2018-11-26 | 一种人脸识别装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109635682B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532992B (zh) * | 2019-09-04 | 2023-01-10 | 深圳市捷顺科技实业股份有限公司 | 一种基于可见光和近红外的人脸识别方法 |
CN112183481B (zh) * | 2020-10-29 | 2022-05-20 | 中科(厦门)数据智能研究院 | 一种基于结构光摄像头的3d人脸识别方法 |
CN113111762B (zh) * | 2021-04-07 | 2024-04-05 | 瑞芯微电子股份有限公司 | 一种人脸识别方法、检测方法、介质及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101404060A (zh) * | 2008-11-10 | 2009-04-08 | 北京航空航天大学 | 一种基于可见光与近红外Gabor信息融合的人脸识别方法 |
CN103390164A (zh) * | 2012-05-10 | 2013-11-13 | 南京理工大学 | 基于深度图像的对象检测方法及其实现装置 |
JP2014185917A (ja) * | 2013-03-22 | 2014-10-02 | Nikon Corp | 撮像装置 |
CN106485202A (zh) * | 2016-09-18 | 2017-03-08 | 南京工程学院 | 非约束人脸识别系统及方法 |
CN107169483A (zh) * | 2017-07-12 | 2017-09-15 | 深圳奥比中光科技有限公司 | 基于人脸识别的任务执行 |
CN107748869A (zh) * | 2017-10-26 | 2018-03-02 | 深圳奥比中光科技有限公司 | 3d人脸身份认证方法与装置 |
CN108537187A (zh) * | 2017-12-04 | 2018-09-14 | 深圳奥比中光科技有限公司 | 任务执行方法、终端设备及计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8345936B2 (en) * | 2008-05-09 | 2013-01-01 | Noblis, Inc. | Multispectral iris fusion for enhancement and interoperability |
US9508681B2 (en) * | 2014-12-22 | 2016-11-29 | Google Inc. | Stacked semiconductor chip RGBZ sensor |
CN106570904B (zh) * | 2016-10-25 | 2019-04-09 | 大连理工大学 | 一种基于Xtion摄像头的多目标相对位姿识别方法 |
CN107784292A (zh) * | 2017-11-08 | 2018-03-09 | 北方工业大学 | 基于阵列镜头的驾驶员疲劳状态识别方法 |
-
2018
- 2018-11-26 CN CN201811421725.2A patent/CN109635682B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101404060A (zh) * | 2008-11-10 | 2009-04-08 | 北京航空航天大学 | 一种基于可见光与近红外Gabor信息融合的人脸识别方法 |
CN103390164A (zh) * | 2012-05-10 | 2013-11-13 | 南京理工大学 | 基于深度图像的对象检测方法及其实现装置 |
JP2014185917A (ja) * | 2013-03-22 | 2014-10-02 | Nikon Corp | 撮像装置 |
CN106485202A (zh) * | 2016-09-18 | 2017-03-08 | 南京工程学院 | 非约束人脸识别系统及方法 |
CN107169483A (zh) * | 2017-07-12 | 2017-09-15 | 深圳奥比中光科技有限公司 | 基于人脸识别的任务执行 |
CN107748869A (zh) * | 2017-10-26 | 2018-03-02 | 深圳奥比中光科技有限公司 | 3d人脸身份认证方法与装置 |
CN108537187A (zh) * | 2017-12-04 | 2018-09-14 | 深圳奥比中光科技有限公司 | 任务执行方法、终端设备及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
Combining Deep and Handcrafted Image Features for Presentation Attack Detection in Face Recognition Systems Using Visible-Light Camera Sensors;Dat Tien Nguyen 等;《SENSORS》;20180330;全文 * |
面结构光三维测量系统标定方法研究;潘志鹏;《中国优秀硕士学位全文数据库 信息科技辑》;20180930;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109635682A (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229362B (zh) | 一种基于门禁系统的双目人脸识别活体检测方法 | |
US8374422B2 (en) | Face expressions identification | |
CN108764071B (zh) | 一种基于红外和可见光图像的真实人脸检测方法及装置 | |
JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
EP2426642B1 (en) | Method, device and system for motion detection | |
US9036917B2 (en) | Image recognition based on patterns of local regions | |
KR102462818B1 (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
CN109635682B (zh) | 一种人脸识别装置和方法 | |
US20090262989A1 (en) | Image processing apparatus and method | |
JP2010176380A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
CN108537131B (zh) | 一种基于人脸特征点和光流场的人脸识别活体检测方法 | |
JP2005056387A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
CN109359577B (zh) | 一种基于机器学习的复杂背景下人数检测系统 | |
CN104573634A (zh) | 一种三维人脸识别方法 | |
EP3905104B1 (en) | Living body detection method and device | |
CN106881716A (zh) | 基于3d摄像头机器人的人体跟随方法及系统 | |
CN112200056B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
CN112257641A (zh) | 一种人脸识别活体检测方法 | |
CN111639580A (zh) | 一种结合特征分离模型和视角转换模型的步态识别方法 | |
CN116309607A (zh) | 基于机器视觉的船艇式智能水上救援平台 | |
KR101053253B1 (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
CN115035546A (zh) | 三维人体姿态检测方法、装置及电子设备 | |
CN113128428B (zh) | 基于深度图预测的活体检测方法和相关设备 | |
CN105335717B (zh) | 基于智能移动终端视频抖动分析的人脸识别系统 | |
CN112613430B (zh) | 一种基于深度迁移学习的步态识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |