CN105335722B - 一种基于深度图像信息的检测系统及方法 - Google Patents
一种基于深度图像信息的检测系统及方法 Download PDFInfo
- Publication number
- CN105335722B CN105335722B CN201510728999.6A CN201510728999A CN105335722B CN 105335722 B CN105335722 B CN 105335722B CN 201510728999 A CN201510728999 A CN 201510728999A CN 105335722 B CN105335722 B CN 105335722B
- Authority
- CN
- China
- Prior art keywords
- detected
- target area
- depth image
- depth
- living body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Abstract
本发明实施例公开了一种基于深度图像信息的检测系统及方法,该系统包括:摄像装置,所述摄像装置用于获取待测对象的深度图像,提取装置,所述提取装置基于所述深度图像提取待测对象的目标区域,并获取所述目标区域的特征点信息;以及检测装置,所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体。应用本发明实施例提供的方案进行人脸识别,能够避免他人用照片、视频等非活体对象冒充本人通过成人脸识别。
Description
技术领域
本发明涉及图像识别技术领域,特别涉及一种基于深度图像信息的检测系统及方法。
背景技术
人脸识别技术广泛应用于身份验证系统中。目前基于图像的人脸识别能够较为准确的从图像中识别出人脸,通过结合人脸数据库进行匹配查询,从而确定人脸身份。由于缺乏对图像来源的判定,此类系统无法判定被检测的对象是否为本人。当图像输入为包含人脸的静止图片,或者连续视频时,系统确定的是图片或视频中的人脸身份,而非现实中真实的身份,因此会存在冒充和欺骗等潜在危险。这类系统主要的问题在于缺少活体检测环节,无法判定当前图像是否来自真实的人还是预先制作的人脸素材。
目前存在一些系统,通过引入活体检测环节,从而避免了上述问题。这些系统的活体检测主要分为被动式和交互式两种。通常的被动式方法通过连续发射高频闪光脉冲,激发人脸局部的光照反射,例如闪疃和皮肤光泽变化。由于图片或胶片的反光比较均匀,而真实的人脸反光则呈现不均匀分布。通过比较闪光前后的人脸反光变化,从而确定当前人脸是来自真实的人,还是来自预先制作的素材。交互式方法则通过要求被检测对象执行指定动作,如转头、眨眼等,或者与系统进行简单对话,来完成活体的检测。无论是被动式还是交互式方法,都存在用户体验不够友好的问题。被动式闪光可能会造成用户眼睛不适,并且在不同的光照条件,例如强烈的日光下,可能会造成闪光效果对比不明显甚至失效的情况。而交互式方法增加了额外的用户操作,导致系统使用起来比较复杂。对于一些频繁出入的门禁检测系统,大量的重复性操作也会降低用户体验的友好性。
发明内容
本发明实施例公开了一种基于深度图像信息的检测系统及方法,以提高人脸识别的准确性,简化识别过程。
为达到上述目的,本发明实施例公开了一种基于深度图像信息的检测系统,所述系统包括:
摄像装置,所述摄像装置用于获取待测对象的深度图像;
提取装置,所述提取装置基于所述深度图像提取待测对象的目标区域,并获取所述目标区域的特征点信息;以及
检测装置,所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体。
可选的,所述摄像装置按照预设采样频率采集待测对象的采样点信息,基于所述采样点信息形成所述深度图像。
可选的,所述采样点信息包括采样点位置索引信息及采样点深度信息。
可选的,所述系统还包括:
预处理装置,用于对所述摄像装置获取的深度图像进行图像预处理。
可选的,所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体,包括:
对所述目标区域进行二维归一化处理,将其转换到统一尺寸描述空间;以及
通过计算变换矩阵,将所述特征点映射到统一的标准位置。
可选的,所述对所述目标区域进行二维归一化处理,包括:
分别应用一维的离散的梯度模板[-1,0,1]T和[-1,0,1]于水平及垂直方向对所述深度图像进行卷积计算,计算梯度向量Gx(x,y)及Gy(x,y):
且计算幅度G(x,y)及方向α(x,y):
α(x,y)=arctan(Gy(x,y)/Gx(x,y))。
可选的,所述对所述目标区域进行二维归一化处理,还包括:
将图像分成若干分块,在每个分块内建立9个方向的分块直方图,块内每个象素以梯度幅度作为权重对直方图进行投票,得到该分块的HoG特征描述子,把所有直方图串联成一个特征向量。
可选的,所述对所述目标区域进行二维归一化处理,包括:
定义F(x,y)=d为标准三维模型函数,其中x及y为垂直平面座标,d为深度值;
对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x,y)=d;
计算F与G的距离||F-G||2:
其中{(x,y):x0≤x≤x1,y0≤y≤y1}为归一化后的区域。
可选的,所述检测所述待测对象是否为活体,包括:
判断F与G的距离||F-G||2是否低于预设阀值,若是,则判断所述待测对象为活体,否则所述待测对象为非活体。
为达到上述目的,本发明实施例还公开了一种基于深度图像信息的检测系统,所述系统包括:
摄像装置,所述摄像装置用于获取待测对象的深度图像及辅助图像;
提取装置,所述提取装置基于所述深度图像及所述辅助图像提取待测对象的目标区域,并获取所述目标区域的特征点信息;以及
检测装置,所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体。
可选的,所述摄像装置按照预设采样频率采集待测对象的采样点信息,基于所述采样点信息形成所述深度图像。
可选的,所述采样点信息包括采样点位置索引信息及采样点深度信息。
可选的,所述系统还包括:
预处理装置,用于对所述摄像装置获取的深度图像及辅助图像进行图像预处理。
可选的,所述系统还包括:
校准装置,用于对所述摄像装置获取的深度图像及辅助图像进行图像校准,形成一致的空间几何坐标。
可选的,所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体,包括:
对所述目标区域进行二维归一化处理,将其转换到统一尺寸描述空间;以及
通过计算变换矩阵,将所述特征点映射到统一的标准位置。
为达到上述目的,本发明实施例还公开了一种基于深度图像信息的检测方法,所述方法包括:
获取待测对象的深度图像;
基于所述深度图像提取待测对象的目标区域,并获取所述目标区域的特征点信息;以及
基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体。
可选的,所述摄像装置按照预设采样频率采集待测对象的采样点信息,基于所述采样点信息形成所述深度图像。
可选的,所述采样点信息包括采样点位置索引信息及采样点深度信息。
可选的,对所述摄像装置获取的深度图像进行图像预处理。
可选的,所述基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体,包括:
对所述目标区域进行二维归一化处理,将其转换到统一尺寸描述空间;以及
通过计算变换矩阵,将所述特征点映射到统一的标准位置。
可选的,所述对所述目标区域进行二维归一化处理,包括:
分别应用一维的离散的梯度模板[-1,0,1]T和[-1,0,1]于水平及垂直方向对所述深度图像进行卷积计算,计算梯度向量Gx(x,y)及Gy(x,y):
且计算幅度G(x,y)及方向α(x,y):
α(x,y)=arctan(Gy(x,y)/Gx(x,y))。
可选的,所述对所述目标区域进行二维归一化处理,还包括:
将图像分成若干分块,在每个分块内建立9个方向的分块直方图,块内每个象素以梯度幅度作为权重对直方图进行投票,得到该分块的HoG特征描述子,把所有直方图串联成一个特征向量。
可选的,所述对所述目标区域进行二维归一化处理,包括:
定义F(x,y)=d为标准三维模型函数,其中x及y为垂直平面座标,d为深度值;
对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x,y)=d;
计算F与G的距离||F-G||2:
其中{(x,y):x0≤x≤x1,y0≤y≤y1}为归一化后的区域。
可选的,所述检测所述待测对象是否为活体,包括:
判断F与G的距离||F-G||2是否低于预设阀值,若是,则判断所述待测对象为活体,否则所述待测对象为非活体。
为达到上述目的,本发明实施例还公开了一种基于深度图像信息的检测方法,所述方法包括:
获取待测对象的深度图像及辅助图像;
基于所述深度图像及所述辅助图像提取待测对象的目标区域,并获取所述目标区域的特征点信息;以及
基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体。
可选的,所述摄像装置按照预设采样频率采集待测对象的采样点信息,基于所述采样点信息形成所述深度图像。
可选的,所述采样点信息包括采样点位置索引信息及采样点深度信息。
可选的,所述方法还包括:
对所述摄像装置获取的深度图像及辅助图像进行图像预处理。
可选的,所述方法还包括:
对所述摄像装置获取的深度图像及辅助图像进行图像校准,形成一致的空间几何坐标。
可选的,所述基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体,包括:
对所述目标区域进行二维归一化处理,将其转换到统一尺寸描述空间;以及
通过计算变换矩阵,将所述特征点映射到统一的标准位置。
由以上可见,本发明实施例提供的方案中,获取当前人脸在三维空间中的深度信息,提取人脸的深度特征。通过与机器学习获得的人脸深度模型进行匹配比较,确定当前提取的深度特征是否符合真实的人脸深度,从而判定当前人脸图像是否来自真实的人。由于人脸深度特征包含多个维度的信息,即使是进行折叠或者变形处理的人脸图片,本专利也能准确的判定其为非活体。由于深度信息不依赖于光照,不受环境光照的影响,系统鲁棒性好。此外,深度信息的获取并不需要用户任何操作或是交互,保证了系统的静默和无侵入式优点,能够提供友好的用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于深度图像信息的检测系统结构示意图;
图2为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图;
图3为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图;
图4为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图;
图5为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图;
图6为本发明实施例提供的一种基于深度图像信息的检测方法流程图;
图7为本发明实施例提供的另一种基于深度图像信息的检测方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的基于深度图像信息的检测系统结构示意图,该系统10包括:
摄像装置101,所述摄像装置用于获取待测对象的深度图像。
具体的,系统获取深度图像信息,描述了人脸在三维空间,按照一定空间采样率描述的人脸深度信息。深度信息通常描述为一组三维空间的点云,其中的两维描述了采样点位置索引,另外一维则描述了采样点位置的深度值。深度图像信息可以采用多种方法和设备来获取。在一种实施例中,通过深度摄像机获取深度信息。深度摄像机可以是基于时间飞逝时间TOF计算--通过计算光线发射与反射光线的时间差,获得深度信息,也可以是基于结构光的方式计算--向空间中发射一定结构分布的光图,例如均匀光斑,通过比较结构光图的变形,获得空间的深度信息。在另外一种实施例中,通过双目光学摄像头同时拍摄,计算由于摄像头空间位置差而产生的图像位差,从而得到深度信息。
提取装置102,所述提取装置基于所述深度图像提取待测对象的目标区域,并获取所述目标区域的特征点信息。
人脸检测及关键点检测,在深度信息上,利用简单方法判断人面出现区域,并从人脸区域中,提取描述人脸的关键点信息。
检测装置103,所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体。
采用深度空间人脸归一化模块。对提取装置102提取的二维人脸区域进行二维归一化处理,将其转换到统一尺寸描述空间。正规化方法通过计算变换矩阵,把人脸关键点映射到同一的标准位置,从而把人脸图像变换到标准大小。
作为一种实施方式,在归一化的深度人脸图像上(I)提取方向梯度直方图特征。分别应用一维的离散的梯度模板[-1,0,1]T和[-1,0,1]于水平及垂直方向对图像进行卷积计算,计算梯度向量Gx(x,y)及Gy(x,y):
且计算幅度G(x,y)及方向α(x,y):
α(x,y)=arctan(Gy(x,y)/Gx(x,y))
将图像分成若于分块,在每个分块内建立9个方向的分块直方图,块内每个象素以梯度幅度作为权重对直方图进行投票,得到该分块的HoG特征描述子。最后把所有直方图串联成一个特征向量。在本发明中设定相邻分块的重叠面积1/2。其他适用的特征包括但不限于:对整张脸或在某些关键点附近提取像素值、LBP、Gabor、傅里叶变换、SIFT、SURF等。
利用机器学习的模型建立活体和非活体的支持向量机分类器。本系统的模型利用大量人脸和非人脸(如人脸的打印照片、手机或平板电脑屏幕上的人脸)数据(一百万张)进行训练。其他合适的机器学习算法包含,但不限于人工神经网络、决策树、随机森林、卷积神经网络等。
作为另外一种实施方式,进行深度模型对比。定义F(x,y)=d为标准人脸三维模型函数,其中x及y为垂直平面座标,d为深度值。对二十一个关键点用拉朗格日插值法(Lagrange Interpolation)得到该帧的人脸三维函数G(x,y)=d。计算F与G的距离||F-G||2:
其中{(x,y):x0≤x≤x1,y0≤y≤y1}为归一化后的区域。
若距离低于阀值则判断为活体,否则为非活体。为了降低计算复杂度,上述距离可用如下的离散公式求得近似值:
其中D=|F-G|2,[x0,x0]及[y0,y1]均分为m及n个区间,长度分别为h及k。基于可并行性,上述公式可利用多线程进行加速。
多帧分数整合及判决。若加权平均得分大于阀值,则判断为真人,否则为假。
作为另外一种实施方式,参见图2,系统10还包括:
预处理装置104,用于对所述摄像装置获取的深度图像进行图像预处理。
所述预处理装置104对从摄像装置101操作中获取的深度信息,进行包括但不限于去噪声、模糊化、插值等图像预处理操作。此一操作能大大提高最后判断的准确度。
图3为本发明实施例提供的另一种基于深度图像信息的检测系统结构示意图,该系统20包括:
摄像装置201,所述摄像装置用于获取待测对象的深度图像及辅助图像。
具体的,系统获取深度图像信息,描述了人脸在三维空间,按照一定空间采样率描述的人脸深度信息。深度信息通常描述为一组三维空间的点云,其中的两维描述了采样点位置索引,另外一维则描述了采样点位置的深度值。深度图像信息可以采用多种方法和设备来获取。在一种实施例中,通过深度摄像机获取深度信息。深度摄像机可以是基于时间飞逝时间TOF计算--通过计算光线发射与反射光线的时间差,获得深度信息,也可以是基于结构光的方式计算--向空间中发射一定结构分布的光图,例如均匀光斑,通过比较结构光图的变形,获得空间的深度信息。在另外一种实施例中,通过双目光学摄像头同时拍摄,计算由于摄像头空间位置差而产生的图像位差,从而得到深度信息。
提取装置202,所述提取装置基于所述深度图像及所述辅助图像提取待测对象的目标区域,并获取所述目标区域的特征点信息。
人脸检测及关键点检测,在深度信息上,利用简单方法判断人面出现区域,并从人脸区域中,提取描述人脸的关键点信息。
检测装置203,所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体。
采用深度空间人脸归一化模块。对提取装置202提取的二维人脸区域进行二维归一化处理,将其转换到统一尺寸描述空间。正规化方法通过计算变换矩阵,把人脸关键点映射到同一的标准位置,从而把人脸图像变换到标准大小。
作为一种实施方式,在归一化的深度人脸图像上(I)提取方向梯度直方图特征。分别应用一维的离散的梯度模板[-1,0,1]T和[-1,0,1]于水平及垂直方向对图像进行卷积计算,计算梯度向量Gx(x,y)及Gy(x,y):
且计算幅度G(x,y)及方向α(x,y):
α(x,y)=arctan(Gy(x,y)/Gx(x,y))
将图像分成若于分块,在每个分块内建立9个方向的分块直方图,块内每个象素以梯度幅度作为权重对直方图进行投票,得到该分块的HoG特征描述子。最后把所有直方图串联成一个特征向量。在本发明中设定相邻分块的重叠面积1/2。其他适用的特征包括但不限于:对整张脸或在某些关键点附近提取像素值、LBP、Gabor、傅里叶变换、SIFT、SURF等。
利用机器学习的模型建立活体和非活体的支持向量机分类器。本系统的模型利用大量人脸和非人脸(如人脸的打印照片、手机或平板电脑屏幕上的人脸)数据(一百万张)进行训练。其他合适的机器学习算法包含,但不限于人工神经网络、决策树、随机森林、卷积神经网络等。
作为另外一种实施方式,进行深度模型对比。定义F(x,y)=d为标准人脸三维模型函数,其中x及y为垂直平面座标,d为深度值。对二十一个关键点用拉朗格日插值法(Lagrange Interpolation)得到该帧的人脸三维函数G(x,y)=d。计算F与G的距离||F-G||2:
其中{(x,y):x0≤x≤x1,y0≤y≤y1}为归一化后的区域。
若距离低于阀值则判断为活体,否则为非活体。为了降低计算复杂度,上述距离可用如下的离散公式求得近似值:
其中D=|F-G|2,[x0,x0]及[y0,y1]均分为m及n个区间,长度分别为h及k。基于可并行性,上述公式可利用多线程进行加速。
多帧分数整合及判决。若加权平均得分大于阀值,则判断为真人,否则为假。
作为另外一种实施方式,参见图4,系统20还包括:
预处理装置204,用于对所述摄像装置获取的深度图像进行图像预处理。
所述预处理装置204对从摄像装置201操作中获取的深度信息,进行包括但不限于去噪声、模糊化、插值等图像预处理操作。此一操作能大大提高最后判断的准确度。
作为另外一种实施方式,参见图5,系统20还包括:
校准装置205,用于对所述摄像装置获取的深度图像及辅助图像进行图像校准,形成一致的空间几何坐标。
经过校准装置处理后,几何一致性能确保在普通图像上的操作皆可应用到深度空间座标。
图6为本发明实施例提供的一种基于深度图像信息的检测方法流程示意图,该方法包括:
S101:系统获取深度图像信息,描述了人脸在三维空间,按照一定空间采样率描述的人脸深度信息。深度信息通常描述为一组三维空间的点云,其中的两维描述了采样点位置索引,另外一维则描述了采样点位置的深度值。深度图像信息可以采用多种方法和设备来获取。在一种实施例中,通过深度摄像机获取深度信息。深度摄像机可以是基于时间飞逝时间TOF计算一通过计算光线发射与反射光线的时间差,获得深度信息,也可以是基于结构光的方式计算一向空间中发射一定结构分布的光图,例如均匀光斑,通过比较结构光图的变形,获得空间的深度信息。在另外一种实施例中,通过双目光学摄像头同时拍摄,计算由于摄像头空间位置差而产生的图像位差,从而得到深度信息。
S102:对从S101操作中获取的深度信息,进行包括但不限于去噪声、模糊化、插值等图像预处理操作,此一操作能大大提高最后判断的准确度。
S103:人脸检测及关键点检测。在深度信息上,利用简单方法判断人面出现区域,并从人脸区域中,提取描述人脸的关键点信息。
S104:深度空间人脸归一化模块。对S103提取的二维人脸区域进行进行二维归一化处理,将其转换到统一尺寸描述空间。正规化方法通过计算变换矩阵,把人脸关键点映射到同一的标准位置,从而把人脸图像变换到标准大小。
S105:进行活体判断。
α(x,y)=arctan(Gy(x,y)/Gx(x,y))
将图像分成若于分块,在每个分块内建立9个方向的分块直方图,块内每个象素以梯度幅度作为权重对直方图进行投票,得到该分块的HoG特征描述子。最后把所有直方图串联成一个特征向量。在本发明中设定相邻分块的重叠面积1/2。其他适用的特征包括但不限于:对整张脸或在某些关键点附近提取像素值、LBP、Gabor、傅里叶变换、SIFT、SURF等。
利用机器学习的模型建立活体和非活体的支持向量机分类器。本系统的模型利用大量人脸和非人脸(如人脸的打印照片、手机或平板电脑屏幕上的人脸)数据(一百万张)进行训练。其他合适的机器学习算法包含,但不限于人工神经网络、决策树、随机森林、卷积神经网络等。
作为另外一个实施例,进行深度模型对比。定义F(x,y)=d为标准人脸三维模型函数,其中x及y为垂直平面座标,d为深度值。对二十一个关键点用拉朗格日插值法(LagrangeInterpolation)得到该帧的人脸三维函数G(x,y)=d。计算F与G的距离||F-G||2:
其中{(x,y):x0≤x≤x1,y0≤y≤y1}为归一化后的区域。
若距离低于阀值则判断为活体,否则为非活体。为了降低计算复杂度,上述距离可用如下的离散公式求得近似值:
其中D=|F-G|2,[x0,x0]及[y0,y1]均分为m及n个区间,长度分别为h及k。基于可并行性,上述公式可利用多线程进行加速。
S106:多帧分数整合及判决。若加权平均得分大于阀值,则判断为真人,否则为假。
图7为本发明实施例提供的另一种基于深度图像信息的检测方法流程示意图,除了包含图6实施方式中的步骤外,该方法还包括:
S201:输入与深度图像对应的普通图像(102)。普通图像可以包含但不限于灰度图像、彩色图像或红外图像,来源包含但不限于网络摄像头、监控摄像头。
S202:在进行人脸检测前,对普通图像进行包括但不限于缩放、裁剪、去噪声、模糊化等。
S203:人脸检测及关键点检测模块。对于处理后的普通图像进行人脸检测,定位人脸出现的二维座标区域,然后对区域进行人脸关键点提取。此模块提取的关键点将与S103步骤的关键点计算区氏距离,若大于阈值则使用此模块的结果,否则使用S103的结果。
S204:人脸归一化模块。S108提取的二维人脸区域大小尺寸并非固定,所以对其进行二维归一化,转换至一个固定尺寸。归一化方法通过计算变换矩阵,讲人脸关键点映射到标准位置,并把人脸图像变换到标准大小。
S205:特征提取模块。在普通图人像上提取人脸特征。本申请试用DeephiddenIDentity features。其他适用特征包括但不限于HoG、LBP、SIFT及HAAR等。提取的特征会串联至S105方法中的深度特征,供机器学习算法的训练模型。
S206:采用图像校准模块,对深度图像与普通图像进行几何校准,达至一致的空间几何座标。几何一致性能确保步骤S203、S204、S205在普通图像上的操作皆可应用到深度空间座标。
本申请方案中的深度摄像头用于直接输出深度信息,该深度摄像图可以是多种形式的深度摄像头(如kinect,realsense等品牌的摄像头)。双目摄像头则可以使任何能够利用双摄像头重建深度信息的摄像设备,在此不作具体限定。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (22)
1.一种基于深度图像信息的检测系统,其特征在于,所述系统包括:
摄像装置,所述摄像装置用于获取待测对象的深度图像;
提取装置,所述提取装置基于所述深度图像提取待测对象的目标区域,并获取所述目标区域的特征点信息;以及
检测装置,所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体;
所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体,包括:
对所述目标区域进行二维归一化处理,将其转换到统一尺寸描述空间;以及
通过计算变换矩阵,将所述特征点映射到统一的标准位置;
所述对所述目标区域进行二维归一化处理,包括:
定义F(x,y)=d为标准三维模型函数,其中x及y为垂直平面座标,d为深度值;
对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x,y)=d;
计算F与G的距离||F-G||2:
其中{(x,y):x0≤x≤x1,y0≤y≤y1}为归一化后的区域。
所述检测所述待测对象是否为活体,包括:
判断F与G的距离||F-G||2是否低于预设阀值,若是,则判断所述待测对象为活体,否则所述待测对象为非活体。
2.根据权利要求1所述的系统,其特征在于:
所述摄像装置按照预设采样频率采集待测对象的采样点信息,基于所述采样点信息形成所述深度图像。
3.根据权利要求2所述的系统,其特征在于:
所述采样点信息包括采样点位置索引信息及采样点深度信息。
4.根据权利要求1所述的系统,其特征在于,所述系统还包括:
预处理装置,用于对所述摄像装置获取的深度图像进行图像预处理。
6.根据权利要求5所述的系统,其特征在,所述对所述目标区域进行二维归一化处理,还包括:
将图像分成若干分块,在毎个分块内建立9个方向的分块直方图,块内毎个象素以梯度幅度作为权重对直方图进行投票,得到该分块的HoG特征描述子,把所有直方图串联成一个特征向量。
7.一种基于深度图像信息的检测系统,其特征在于,所述系统包括:
摄像装置,所述摄像装置用于获取待测对象的深度图像及辅助图像;
提取装置,所述提取装置基于所述深度图像及所述辅助图像提取待测对象的目标区域,并获取所述目标区域的特征点信息;以及
检测装置,所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体;
所述检测装置基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体,包括:
对所述目标区域进行二维归一化处理,将其转换到统一尺寸描述空间;以及
通过计算变换矩阵,将所述特征点映射到统一的标准位置;
所述对所述目标区域进行二维归一化处理,包括:
定义F(x,y)=d为标准三维模型函数,其中x及y为垂直平面座标,d为深度值;
对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x,y)=d;
计算F与G的距离||F-G||2:
其中{(x,y):x0≤x≤x1,y0≤y≤y1}为归一化后的区域。
所述检测所述待测对象是否为活体,包括:
判断F与G的距离||F-G||2是否低于预设阀值,若是,则判断所述待测对象为活体,否则所述待测对象为非活体。
8.根据权利要求7所述的系统,其特征在于:
所述摄像装置按照预设采样频率采集待测对象的采样点信息,基于所述采样点信息形成所述深度图像。
9.根据权利要求8所述的系统,其特征在于:
所述采样点信息包括采样点位置索引信息及采样点深度信息。
10.根据权利要求7所述的系统,其特征在于,所述系统还包括:
预处理装置,用于对所述摄像装置获取的深度图像及辅助图像进行图像预处理。
11.根据权利要求7所述的系统,其特征在于,所述系统还包括:
校准装置,用于对所述摄像装置获取的深度图像及辅助图像进行图像校准,形成一致的空间几何坐标。
12.一种基于深度图像信息的检测方法,其特征在于,所述方法包括:
获取待测对象的深度图像;
基于所述深度图像提取待测对象的目标区域,并获取所述目标区域的特征点信息;以及
基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体;
所述基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体,包括:
对所述目标区域进行二维归一化处理,将其转换到统一尺寸描述空间;以及
通过计算变换矩阵,将所述特征点映射到统一的标准位置;
所述对所述目标区域进行二维归一化处理,包括:
定义F(x,y)=d为标准三维模型函数,其中x及y为垂直平面座标,d为深度值;
对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x,y)=d;
计算F与G的距离||F-G||2:
其中{(x,y):x0≤x≤x1,y0≤y≤y1}为归一化后的区域。
所述检测所述待测对象是否为活体,包括:
判断F与G的距离||F-G||2是否低于预设阀值,若是,则判断所述待测对象为活体,否则所述待测对象为非活体。
13.根据权利要求12所述的方法,其特征在于:
所述摄像装置按照预设采样频率采集待测对象的采样点信息,基于所述采样点信息形成所述深度图像。
14.根据权利要求13所述的方法,其特征在于:
所述采样点信息包括采样点位置索引信息及采样点深度信息。
15.根据权利要求12所述的方法,其特征在于,所述方法还包括:
对所述摄像装置获取的深度图像进行图像预处理。
17.根据权利要求16所述的方法,其特征在,所述对所述目标区域进行二维归一化处理,还包括:
将图像分成若干分块,在毎个分块内建立9个方向的分块直方图,块内毎个象素以梯度幅度作为权重对直方图进行投票,得到该分块的HoG特征描述子,把所有直方图串联成一个特征向量。
18.一种基于深度图像信息的检测方法,其特征在于,所述方法包括:
获取待测对象的深度图像及辅助图像;
基于所述深度图像及所述辅助图像提取待测对象的目标区域,并获取所述目标区域的特征点信息;以及
基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体;
所述基于所述目标区域及所述特征点信息,检测所述待测对象是否为活体,包括:
对所述目标区域进行二维归一化处理,将其转换到统一尺寸描述空间;以及
通过计算变换矩阵,将所述特征点映射到统一的标准位置;
所述对所述目标区域进行二维归一化处理,包括:
定义F(x,y)=d为标准三维模型函数,其中x及y为垂直平面座标,d为深度值;
对二十一个关键点用拉朗格日插值法得到该帧的三维函数G(x,y)=d;
计算F与G的距离||F-G||2:
其中{(x,y):x0≤x≤x1,y0≤y≤y1}为归一化后的区域。
所述检测所述待测对象是否为活体,包括:
判断F与G的距离||F-G||2是否低于预设阀值,若是,则判断所述待测对象为活体,否则所述待测对象为非活体。
19.根据权利要求18所述的方法,其特征在于:
所述摄像装置按照预设采样频率采集待测对象的采样点信息,基于所述采样点信息形成所述深度图像。
20.根据权利要求19所述的方法,其特征在于:
所述采样点信息包括采样点位置索引信息及采样点深度信息。
21.根据权利要求18所述的方法,其特征在于,所述方法还包括:
对所述摄像装置获取的深度图像及辅助图像进行图像预处理。
22.根据权利要求18所述的方法,其特征在于,所述方法还包括:
对所述摄像装置获取的深度图像及辅助图像进行图像校准,形成一致的空间几何坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510728999.6A CN105335722B (zh) | 2015-10-30 | 2015-10-30 | 一种基于深度图像信息的检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510728999.6A CN105335722B (zh) | 2015-10-30 | 2015-10-30 | 一种基于深度图像信息的检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105335722A CN105335722A (zh) | 2016-02-17 |
CN105335722B true CN105335722B (zh) | 2021-02-02 |
Family
ID=55286238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510728999.6A Active CN105335722B (zh) | 2015-10-30 | 2015-10-30 | 一种基于深度图像信息的检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105335722B (zh) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107316346A (zh) * | 2016-04-27 | 2017-11-03 | 阿里巴巴集团控股有限公司 | 电子票据的取票方法和装置 |
CN107451510B (zh) * | 2016-05-30 | 2023-07-21 | 北京旷视科技有限公司 | 活体检测方法和活体检测系统 |
CN106667496B (zh) * | 2017-02-10 | 2020-05-05 | 广州帕克西软件开发有限公司 | 一种面部数据测量方法及装置 |
CN106991377B (zh) * | 2017-03-09 | 2020-06-05 | Oppo广东移动通信有限公司 | 结合深度信息的人脸识别方法、人脸识别装置和电子装置 |
CN108734057A (zh) * | 2017-04-18 | 2018-11-02 | 北京旷视科技有限公司 | 活体检测的方法、装置及计算机存储介质 |
CN107368778A (zh) * | 2017-06-02 | 2017-11-21 | 深圳奥比中光科技有限公司 | 人脸表情的捕捉方法、装置及存储装置 |
CN107423712B (zh) * | 2017-07-28 | 2021-05-14 | 南京华捷艾米软件科技有限公司 | 一种3d人脸识别方法 |
CN107590463A (zh) | 2017-09-12 | 2018-01-16 | 广东欧珀移动通信有限公司 | 人脸识别方法及相关产品 |
CN107748869B (zh) | 2017-10-26 | 2021-01-22 | 奥比中光科技集团股份有限公司 | 3d人脸身份认证方法与装置 |
CN107633165B (zh) * | 2017-10-26 | 2021-11-19 | 奥比中光科技集团股份有限公司 | 3d人脸身份认证方法与装置 |
CN107992797B (zh) * | 2017-11-02 | 2022-02-08 | 中控智慧科技股份有限公司 | 人脸识别方法及相关装置 |
CN108171204B (zh) * | 2018-01-17 | 2019-09-17 | 百度在线网络技术(北京)有限公司 | 检测方法和装置 |
CN108764052B (zh) | 2018-04-28 | 2020-09-11 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
US10956714B2 (en) | 2018-05-18 | 2021-03-23 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting living body, electronic device, and storage medium |
CN108764091B (zh) * | 2018-05-18 | 2020-11-17 | 北京市商汤科技开发有限公司 | 活体检测方法及装置、电子设备和存储介质 |
WO2019228097A1 (zh) | 2018-05-29 | 2019-12-05 | Oppo广东移动通信有限公司 | 验证系统、电子装置、验证方法、计算机可读存储介质及计算机设备 |
CN108763902A (zh) * | 2018-05-29 | 2018-11-06 | Oppo广东移动通信有限公司 | 验证方法、验证系统、终端、计算机设备和可读存储介质 |
CN108776786A (zh) * | 2018-06-04 | 2018-11-09 | 北京京东金融科技控股有限公司 | 用于生成用户真伪识别模型的方法和装置 |
CN108921070B (zh) * | 2018-06-22 | 2021-06-22 | 北京旷视科技有限公司 | 图像处理方法、模型训练方法及对应装置 |
CN109086691B (zh) * | 2018-07-16 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 一种三维脸部活体检测方法、脸部认证识别方法及装置 |
CN108549887B (zh) * | 2018-07-23 | 2021-07-30 | 北京智芯原动科技有限公司 | 一种活体人脸检测方法及装置 |
CN109117755B (zh) * | 2018-07-25 | 2021-04-30 | 北京飞搜科技有限公司 | 一种人脸活体检测方法、系统和设备 |
CN110852134A (zh) * | 2018-07-27 | 2020-02-28 | 北京市商汤科技开发有限公司 | 活体检测方法、装置及系统、电子设备和存储介质 |
CN110853127A (zh) * | 2018-08-20 | 2020-02-28 | 浙江宇视科技有限公司 | 图像处理方法、装置及设备 |
CN109325472B (zh) * | 2018-11-01 | 2022-05-27 | 四川大学 | 一种基于深度信息的人脸活体检测方法 |
CN109684924B (zh) * | 2018-11-21 | 2022-01-14 | 奥比中光科技集团股份有限公司 | 人脸活体检测方法及设备 |
CN111382592B (zh) | 2018-12-27 | 2023-09-29 | 杭州海康威视数字技术股份有限公司 | 活体检测方法和设备 |
CN109948439B (zh) * | 2019-02-13 | 2023-10-31 | 平安科技(深圳)有限公司 | 一种活体检测方法、系统及终端设备 |
CN110197464A (zh) * | 2019-05-24 | 2019-09-03 | 清华大学 | 深度相机深度图实时去噪方法和装置 |
CN110544335B (zh) * | 2019-08-30 | 2020-12-29 | 北京市商汤科技开发有限公司 | 目标识别系统及方法、电子设备和存储介质 |
CN112668370B (zh) * | 2019-10-16 | 2023-08-25 | 杭州海康威视数字技术股份有限公司 | 一种基于深度图像的生物特征活体识别检测方法、装置 |
CN114556268B (zh) * | 2019-11-20 | 2023-10-27 | Oppo广东移动通信有限公司 | 一种姿势识别方法及装置、存储介质 |
CN111031278B (zh) * | 2019-11-25 | 2021-02-05 | 广州恒龙信息技术有限公司 | 一种基于结构光和tof的监控方法和系统 |
CN110942032B (zh) * | 2019-11-27 | 2022-07-15 | 深圳市商汤科技有限公司 | 活体检测方法及装置、存储介质 |
CN112861587B (zh) * | 2019-11-28 | 2024-03-26 | 杭州萤石软件有限公司 | 一种活体检测的方法、装置 |
CN111401331B (zh) * | 2020-04-27 | 2022-04-05 | 支付宝(杭州)信息技术有限公司 | 人脸识别方法及装置 |
CN114140839B (zh) * | 2020-08-14 | 2024-02-23 | 腾讯科技(深圳)有限公司 | 用于人脸识别的图像发送方法、装置、设备及存储介质 |
CN112232109A (zh) * | 2020-08-31 | 2021-01-15 | 深圳奥比中光科技有限公司 | 一种活体人脸检测方法及系统 |
CN113780262A (zh) * | 2021-08-28 | 2021-12-10 | 特斯联科技集团有限公司 | 人脸识别智能光照补偿方法、装置、设备及系统 |
CN113903084A (zh) * | 2021-10-13 | 2022-01-07 | 深圳前海微众银行股份有限公司 | 活体检测方法、设备、可读存储介质及计算机程序产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102122390A (zh) * | 2011-01-25 | 2011-07-13 | 于仕琪 | 基于深度图像进行人体检测的方法 |
CN102803991A (zh) * | 2009-06-03 | 2012-11-28 | 学校法人中部大学 | 物体检测设备 |
CN103390164A (zh) * | 2012-05-10 | 2013-11-13 | 南京理工大学 | 基于深度图像的对象检测方法及其实现装置 |
CN104268138A (zh) * | 2014-05-15 | 2015-01-07 | 西安工业大学 | 融合深度图和三维模型的人体运动捕捉方法 |
CN204481940U (zh) * | 2015-04-07 | 2015-07-15 | 北京市商汤科技开发有限公司 | 双目摄像头拍照移动终端 |
CN104850850A (zh) * | 2015-04-05 | 2015-08-19 | 中国传媒大学 | 一种结合形状和颜色的双目立体视觉图像特征提取方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6002782A (en) * | 1997-11-12 | 1999-12-14 | Unisys Corporation | System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model |
CN101159015B (zh) * | 2007-11-08 | 2010-12-08 | 清华大学 | 一种二维人脸图像的识别方法 |
CN100514353C (zh) * | 2007-11-26 | 2009-07-15 | 清华大学 | 一种基于人脸生理性运动的活体检测方法及系统 |
KR101590763B1 (ko) * | 2009-06-10 | 2016-02-02 | 삼성전자주식회사 | Depth map 오브젝트의 영역 확장을 이용한 3d 영상 생성 장치 및 방법 |
CN102323817A (zh) * | 2011-06-07 | 2012-01-18 | 上海大学 | 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法 |
CN103679118B (zh) * | 2012-09-07 | 2017-06-16 | 汉王科技股份有限公司 | 一种人脸活体检测方法及系统 |
CN103440479B (zh) * | 2013-08-29 | 2016-12-28 | 湖北微模式科技发展有限公司 | 一种活体人脸检测方法与系统 |
CN105023010B (zh) * | 2015-08-17 | 2018-11-06 | 中国科学院半导体研究所 | 一种人脸活体检测方法及系统 |
CN109086691B (zh) * | 2018-07-16 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 一种三维脸部活体检测方法、脸部认证识别方法及装置 |
-
2015
- 2015-10-30 CN CN201510728999.6A patent/CN105335722B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102803991A (zh) * | 2009-06-03 | 2012-11-28 | 学校法人中部大学 | 物体检测设备 |
CN102122390A (zh) * | 2011-01-25 | 2011-07-13 | 于仕琪 | 基于深度图像进行人体检测的方法 |
CN103390164A (zh) * | 2012-05-10 | 2013-11-13 | 南京理工大学 | 基于深度图像的对象检测方法及其实现装置 |
CN104268138A (zh) * | 2014-05-15 | 2015-01-07 | 西安工业大学 | 融合深度图和三维模型的人体运动捕捉方法 |
CN104850850A (zh) * | 2015-04-05 | 2015-08-19 | 中国传媒大学 | 一种结合形状和颜色的双目立体视觉图像特征提取方法 |
CN204481940U (zh) * | 2015-04-07 | 2015-07-15 | 北京市商汤科技开发有限公司 | 双目摄像头拍照移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN105335722A (zh) | 2016-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105335722B (zh) | 一种基于深度图像信息的检测系统及方法 | |
KR102596897B1 (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
US9818023B2 (en) | Enhanced face detection using depth information | |
US10198623B2 (en) | Three-dimensional facial recognition method and system | |
CN109558764B (zh) | 人脸识别方法及装置、计算机设备 | |
US10262190B2 (en) | Method, system, and computer program product for recognizing face | |
CN105740775B (zh) | 一种三维人脸活体识别方法及其装置 | |
CN106372629B (zh) | 一种活体检测方法和装置 | |
US7925093B2 (en) | Image recognition apparatus | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
WO2019071664A1 (zh) | 结合深度信息的人脸识别方法、装置及存储介质 | |
CN104915656B (zh) | 一种基于双目视觉测量技术的快速人脸识别方法 | |
CN105740778B (zh) | 一种改进的三维人脸活体检测方法及其装置 | |
US10915739B2 (en) | Face recognition device, face recognition method, and computer readable storage medium | |
JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
CN108416291B (zh) | 人脸检测识别方法、装置和系统 | |
KR20130048076A (ko) | 얼굴 인식 장치 및 그 제어방법 | |
US11682231B2 (en) | Living body detection method and device | |
CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及系统 | |
CN110647782A (zh) | 三维人脸重建与多姿态人脸识别方法及装置 | |
Borghi et al. | Face Verification from Depth using Privileged Information. | |
Sajid et al. | The role of facial asymmetry in recognizing age-separated face images | |
CN108875488B (zh) | 对象跟踪方法、对象跟踪装置以及计算机可读存储介质 | |
CN113243015B (zh) | 视频监控系统 | |
CN113128320A (zh) | 基于tof相机的人脸活体检测方法、检测装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |