CN115909446B - 一种双目人脸活体判别方法、装置及存储介质 - Google Patents
一种双目人脸活体判别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115909446B CN115909446B CN202211417945.4A CN202211417945A CN115909446B CN 115909446 B CN115909446 B CN 115909446B CN 202211417945 A CN202211417945 A CN 202211417945A CN 115909446 B CN115909446 B CN 115909446B
- Authority
- CN
- China
- Prior art keywords
- parallax
- map
- input image
- probability map
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种双目人脸活体判别方法、装置及存储介质,其中方法包括:获取双目摄像头的左输入图像和右输入图像,获取与左输入图像对应的左视差概率图以及与右输入图像对应的右视差概率图;根据左输入图像和左视差概率图生成右视角的伪右输入视图,根据右输入图像和右视差概率图生成左视角的伪左输入视图;根据输入图像、视差概率图和伪输入视图对模型进行训练,实现自监督的模型训练;采集待识别图像,将待识别图像输入训练后的模型中,获得视差概率图,根据视差概率图获取深度图,根据深度图获取活体判别结果。本发明在模型训练阶段摆脱了对深度图标签的依赖,实现了自监督的模型训练。本发明可广泛应用于图像处理领域。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种双目人脸活体判别方法、装置及存储介质。
背景技术
随着人脸识别技术被广泛应用到如线上支付等网络交易领域,并向着自动化、无人工化的趋势发展,支付方式变得更加便利,但随之而来的安全问题也成了一个需要迫切解决的问题。为了自动地、高效地辨别传感器所捕获的图像的真伪、抵抗欺骗攻击以确保系统安全,活体判别也获得了越来越多的关注。
面对高清打印攻击、屏幕重播攻击时,单目深度重构主要依据光学成像的透视原理及统计假设,根据场景中灰度变化导出物体轮廓及表面,由影到形从而推断场景中的物体深度,这种方法受到单一图像所能提供信息的局限性,无法定量确定位置信息。
根据双目图像获取深度信息是计算机视觉领域的经典问题,传统方法在该领域已经有了较好的表现,其对各种应用场景都有等价的视差估计能力,但是基于传统方法的双目深度重构方案需要根据相机参数进行内外参畸变矫正,而在实际应用中,由于每台设备的内外参都会有差异,传统方法会带来难以承受的矫正开销。
随着深度学习技术的发展,由神经网络估计图像的深度信息也成为了一种有效的解决方案。而大部分方法大多是有监督的,即要求数据集包含输入的人脸图像和对应的深度真值来支撑魔性训练。而要想让图像含深度真值非常困难,一般需要精密的深度测量设备和移动平台来获取,代价非常高昂;也有方法使用已训练好的模型来提供伪深度标签,但这种方法的性能往往较低。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一,本发明的目的在于提供一种双目人脸活体判别方法、装置及存储介质。
本发明所采用的技术方案是:
一种双目人脸活体判别方法,
包括以下步骤:
获取双目摄像头的左输入图像和右输入图像,根据左输入图像和右输入图像,获取与左输入图像对应的左视差概率图以及与右输入图像对应的右视差概率图;
根据左输入图像和左视差概率图生成右视角的伪右输入视图,根据右输入图像和右视差概率图生成左视角的伪左输入视图;
根据输入图像、视差概率图和伪输入视图对模型进行训练,实现自监督的模型训练;这里的模型指的是任意的深度神经网络模型;
采集待识别图像,将待识别图像输入训练后的模型中,获得视差概率图,根据视差概率图获取深度图,根据深度图获取活体判别结果。
进一步地,视差概率图D用于表示输入图上像素点在不同视差值上的概率分布;
对于其中一图像上的任意像素点pi,j,若将该像素点在另一图像上的相对位移表示为一个概率,则用表示在(i,j)位置的像素点视差为d的概率,设视差d的取值范围为d∈[0,n],则有/>
进一步地,根据视差概率图D获得视差图P,根据视差图P实现深度图的重构,表达式如下:
其中,B为基线距离,f为焦距。
进一步地,通过以下方式实现单目输入图像与视差概率图生成另一视角的伪输入视图:
对任意像素点pi,j,该像素点的视差为d的概率表示为获得视差概率图;
将该视差概率图对应的单目视图Li,j根据视差值d平移后得到则另一视角在视差d处的像素值表示为:
在不同视差值下的估计另一输入图像Ri,j上每一个像素的位置与像素值,得到另一视角的完整重构图,公式表达如下:
进一步地,所述根据输入图像、视差概率图和伪输入视图对模型进行训练,实现自监督的模型训练,包括:
通过比对输入图像和伪输入视图来对模型进行训练;
根据视差概率图获取视差图;
训练过程中,引入视差梯度平滑损失函数,通过输入图像与视差概率图的梯度连续性的对比来监督模型训练;引入局部自相似性损失,通过输入图像与伪输入视图的自身形状、结构信息上的相似性来监督模型训练。
进一步地,所述引入局部自相似性损失,通过输入图像与伪输入视图的自身形状、结构信息上的相似性来监督模型训练,包括:
先分别将输入图像与伪输入图像拆分为40x40的大图块,再以大图块中每个像素为中心取5x5的小图块,根据大图块和小图块计算差方和,根据差方和获取局部自相似性描述符,再通过对比输入图像与伪输入图像的局部自相似性描述符的一致性来监督模型训练;
其中,局部自相似性描述符的计算公式如下:
其中,SSDq(x,y)代表(x,y)处小图块与以q为中心的小图块的差方和,varnoise表示可接受的光照扰动的常数,varauto(q)表示以q为中心、半径为1的范围内图块差值的最大方差。
进一步地,所述引入视差梯度平滑损失函数,通过输入图像与视差图的梯度连续性的对比来监督模型训练,包括:
引入视差梯度平滑损失函数,先根据索贝尔算子分别获取输入图像与视差图的一阶梯度,再通过对比输入图像与视差图的平滑连续区域梯度的连续性来监督模型训练:
在输入图像中梯度平滑连续的区域中,损失函数监督视差概率图的梯度也平滑连续,以防止梯度图出现跳变,从而降低视差概率图的不连续性,缓解视差概率图在低纹理区域中,因大量像素值相同而导致视差匹配失败的问题,公式表达如下:
WDGLi,j=Sobel(Di,j)(1-Sobel(Li,j))
WDGLi,j=0
式中,WDGLi,j表示梯度加权视差图,即对应输入图像平滑区域的部分视差图;,Sobel(Di,j)表示视差图的一阶梯度图,Sobel(Li,j)表示输入图像的一阶梯度图。
进一步地,所述将待识别图像输入训练后的模型中,获得视差概率图,根据视差概率图获取深度图,根据深度图获取活体判别结果,包括:
将待识别的双目图像输入模型后,由模型生成双目对应的视差概率图,再将视差概率图转化为深度图;
由深度图的平均值作为活体判别最终的判别分数,根据判别分数判断摄像头所拍摄的人脸图像是否来自真实人脸。
本发明所采用的另一技术方案是:
一种双目人脸活体判别装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是:
一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是:本发明在模型训练阶段摆脱了对深度图标签的依赖,实现了自监督的模型训练;不依靠深度图也能实现高精度的人脸活体判别,从而摆脱对价格高昂的结构光传感器等深度图生成设备的依赖,有效降低方案落地成本。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案,下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员而言,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种双目人脸活体判别方法的步骤流程图;
图2是本发明实施例中基于深度重构的自监督双目人脸活体判别方法的示意图;
图3是本发明实施例中局部自相似性描述符的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
基于可见光图像的深度重构方案环境适应性差,在夜晚、走廊等光强较弱的场景下难以获得清晰的图片,而结构光相机不仅对易受光照变化干扰,成本也较高。为了在获得在全场景下都有良好性能,成本低廉便于落地部署的活体判别模型,近红外摄像头是一个良好的选择。但是,近红外图像具有低纹理的特性,也就是说,在人脸皮肤光滑的区域,近红外图像往往会丢失部分纹理特征,从而在进行视差匹配的时候难以找到匹配点,从而在深度图上产生空洞。为此,本发明采用了视差平滑损失与图片局部自相似性来同时监督深度重构,以使模型能够获得较为完整的深度图像。同时,为了摆脱对深度图标签的依赖,本发明采用了自监督的深度估计方案,通过输入的双目图像,计算出视差概率图进行立体匹配,从而得到输入人脸图像的深度信息。因为打印、重播类型的攻击并不具有深度信息,由此本发明方法可以有效地拒绝这些类型的攻击。
如图1和图2所示,本实施例提供一种双目人脸活体判别方法,包括以下步骤:
S1、获取双目摄像头的左输入图像和右输入图像,根据左输入图像和右输入图像,获取与左输入图像对应的左视差概率图以及与右输入图像对应的右视差概率图。
在本实施例中,同时将左右视角的近红外双目图像作为输入,由神经网络生成双目视图各自对应的视差概率图,该视差概率图则表示了输入图上像素点在不同视差值上的概率分布。
具体来说,对任意像素点pi,j,若将该点在另一图像上的相对位移表示为一个概率,则可以用表示在(i,j)位置的像素点视差为d的概率,设视差d的取值范围为d∈[0,n],则有/>
根据视差概率图获取视差图:
视差概率图中每一层根据视差值平移并乘以对应视差后得到一张视差期望图,将所有视差期望图叠加后是则可以得到视差图。具体公式为下式:
最终由视差图P、基线距离B和焦距f,就可以根据下式实现深度图的重构:
作为一种可选的实施方式,采用神经网络获取视差概率图,包括:
通过输入双目人脸图像,神经网络模型输出d张特征图,统称为视差概率图,视差概率图中每一层特征图对应一个视差值dx,该层特征图内的元素值则代表图上各点的视差等于dx的概率。再通过步骤S2,可以生成伪输入图像,而对比输入图像与伪生成图像,则可以实现自监督下神经网络端到端的训练。在训练完成后,对任意输入的左右输入视图,神经网络都可以生成对应的左右视差概率图。
S2、根据左输入图像和左视差概率图生成右视角的伪右输入视图,根据右输入图像和右视差概率图生成左视角的伪左输入视图。
由左输入视图与其对应的视差图生成右视角的伪右输入视图,由右输入视图与其对应的视差图生成左视角的伪左输入视图,通过对比伪输入图与原输入图则可以监督模型训练,摆脱训练时对深度图的依赖,实现自监督的模型训练。
作为可选的实施方式,单目视图与视差概率图生成另一视角的伪输入图像,包括:
对任意像素点pi,j,该点视差为d的概率表示为再将该视差概率图对应的单目视图Li,j根据视差值d平移并后得到/>则另一视角在视差d处的像素值可以表示为/>同理,在不同视差值下的估计另一视角图像Ri,j上每一个像素的位置与像素值,就可以得到另一视角的完整重构图,公式如下:
S3、根据输入图像、视差概率图和伪输入视图对模型进行训练,实现自监督的模型训练。
在训练过程中,引入视差梯度平滑损失函数,通过输入图像与视差图梯度连续性的对比来监督模型训练,并引入局部自相似性损失函数,通过输入图像与伪输入图像自身形状、结构等信息上的相似性来监督模型训练。使用原输入图与伪输入图的对比实现模型自监督的训练,并由引入的辅助损失函数监督模型改善生成的视差概率图。
在视差匹配时,传统方法是根据寻找一定区域像素内相同的颜色值来进行匹配,而近红外图片低纹理的特性会导致一定区域内出现大量同色像素点,导致像素点难以正确匹配。
参见图3,在本实施例的算法中引入局部自相似性损失函数,使得模型在视差匹配过程中,除了通过颜色值寻找匹配点之外,还通过对比输入图像与上一步生成的伪输入图像自身形状、结构等上下文结构信息上的相似性来监督模型训练。具体来说,就是先将图像拆分为40x40的大图块,再以图块中每个像素为中心取5x5的小图块,并将小图块与大图块计算差方和,并根据下式将差方和转换为局部自相似性描述符。具体公式如下:
其中,SSDq(x,y)代表(x,y)处小图块与以q为中心的小图块的差方和,varnoise,varauto(q)分别代表了一个表示可接受的光照扰动的常数,和一个以q为中心的半径为1范围内图块差值的最大方差。
以像素q为中心的局部自相似性描述符Sq相较单个像素值,能够包含更丰富的信息(如颜色,边缘等)。通过对比输入视图的局部自相似性描述符与伪输入视图的局部自相似性描述符,可以监督模型生成更准确的伪输入图,也就是使视差图的精度进一步提高。
同时,在本实施例算法中引入视差梯度平滑损失函数,先根据索贝尔算子获取图像的一阶梯度,再通过对比输入图像与视差图平滑连续区域梯度的连续性来监督模型训练。具体来说,在输入图像中梯度平滑连续的区域,该损失函数监督视差图的梯度也平滑连续,防止梯度图出现跳变,从而降低视差图的不连续性,缓解视差图在低纹理区域,因大量像素值相同而导致视差匹配失败的问题。具体公式如下:
WDGLi,j=Sobel(Di,j)(1-Sobel(Li,j))
WDGLi,j→0
使用原输入图与伪输入图的均方误差监督模型训练,实现模型自监督的训练。同时,通过输入视图的局部自相似性描述符与伪输入视图的局部自相似性描述符的均方误差监督模型训练,并通过输入图像与视差图平滑连续区域梯度一致性来监督模型训练。通过上述两个辅助损失函数,共同提高模型的密集深度重构准确度。
S4、采集待识别图像,将待识别图像输入训练后的模型中,获得视差概率图,根据视差概率图获取深度图,根据深度图获取活体判别结果。
将双目图像输入模型后,由模型生成对应的视差概率图,再将视差概率图转化为深度图,由深度图的平均值作为活体判别最终的判别分数,判断摄像头所拍摄的人脸图像是自真实人脸还是来自照片、视频等平面攻击人脸,分数高则认为是真实人脸,分数低则认为是攻击人脸。
综上所述,本实施例相对于现有技术,具有如下优点及有益效果:
(1)本发明提供了一种双目活体判别方案,可以解决常规单目活体方案难以解决的攻击类型,如高清打印、高清视频重播攻击等攻击类型。相较于基于单目深度重构的方案,本发明的方案则具有更好的判别精度和可信度,因为单目深度重构主要基于估计,而非实际深度,可信度、精度都较低。
(2)本发明提供了一种自监督的模型训练方案。现有开源的数据集并无带深度的双目人脸活体数据集,且深度标签获取代价高昂、伪深度标签(如PRNet生成)效果不佳,本发明的方案则可以摆脱对深度图的依赖,不依靠深度图也能实现高精度的人脸活体判别。对应的,本发明实例在训练阶段可以摆脱对深度图的依赖,不依靠深度图也能实现高精度的人脸活体判别,从而摆脱对价格高昂的结构光传感器等深度图生成设备的依赖,有效降低方案落地成本。
(3)本发明在模型训练中使用了视差梯度平滑损失与局部自相似损失。在进行视差匹配以获得视差值的过程中,传统方法主要通过对比两像素之间的像素值来进行匹配,然而在人脸皮肤光滑区域,尤其是近红外图像下的该区域,存在明显的低纹理特性,即周围的像素值都非常接近,对视差匹配带来了巨大的挑战,从而进一步导致该区域深度重构失败,在稠密深度图上出现空洞。而我们提出的视差梯度平滑损失可以仅仅监督输入图像中光滑的区域,促使视差图的该区域梯度也趋于平滑,防止视差图中该区域出现梯度跳变,即防止空洞出现。此外,局部自相似性损失则将图片拆成许多图块,并通过一个局部自相似性描述子来描述每个图块中心像素与该图块中其他像素的关系。据此,则可以通过该描述子来描述图块中存在的像素值之外的纹理等上下文信息,从而提高视差匹配能力,减少视差匹配失败的情况,减少空洞产生。基于此,两种损失函数可以协助模型提高深度重构能力,在面对低纹理区域时也能实现高精度的稠密深度重构,减少该区域深度重构失败的情况,从而进一步提高模型的活体判别性能。
本实施例提供一种双目人脸活体判别装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现图1所示方法。
本实施例的一种双目人脸活体判别装置,可执行本发明方法实施例所提供的一种双目人脸活体判别方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质,存储有可执行本发明方法实施例图1所示的一种双目人脸活体判别方法的指令或程序,当运行该指令或程序时,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于上述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种双目人脸活体判别方法,其特征在于,包括以下步骤:
获取双目摄像头的左输入图像和右输入图像,根据左输入图像和右输入图像,获取与左输入图像对应的左视差概率图以及与右输入图像对应的右视差概率图;
根据左输入图像和左视差概率图生成右视角的伪右输入视图,根据右输入图像和右视差概率图生成左视角的伪左输入视图;
根据输入图像、视差概率图和伪输入视图对模型进行训练,实现自监督的模型训练;
采集待识别图像,将待识别图像输入训练后的模型中,获得视差概率图,根据视差概率图获取深度图,根据深度图获取活体判别结果;
所述根据输入图像、视差概率图和伪输入视图对模型进行训练,实现自监督的模型训练,包括:
通过比对输入图像和伪输入视图来对模型进行训练;
根据视差概率图获取视差图;
训练过程中,引入视差梯度平滑损失函数,通过输入图像与视差图的梯度连续性的对比来监督模型训练;引入局部自相似性损失,通过输入图像与伪输入视图的自身形状、结构信息上的相似性来监督模型训练;
所述引入视差梯度平滑损失函数,通过输入图像与视差图的梯度连续性的对比来监督模型训练,包括:
引入视差梯度平滑损失函数,先根据索贝尔算子分别获取输入图像与视差图的一阶梯度,再通过对比输入图像与视差图的平滑连续区域梯度的连续性来监督模型训练:
在输入图像中梯度平滑连续的区域中,损失函数监督视差概率图的梯度也平滑连续,以防止梯度图出现跳变,从而降低视差概率图的不连续性,缓解视差概率图在低纹理区域中,因大量像素值相同而导致视差匹配失败的问题,公式表达如下:
WDGLi,j=Sobel(Di,j)(1-Sobel(Li,j))
WDGLi,j→0
式中,WDGLi,j表示梯度加权视差图,即对应输入图像平滑区域的部分视差图;Sobel(Di,j)表示视差图的一阶梯度图,Sobel(Li,j)表示输入图像的一阶梯度图。
2.根据权利要求1所述的一种双目人脸活体判别方法,其特征在于,视差概率图D用于表示输入图上像素点在不同视差值上的概率分布;
对于其中一图像上的任意像素点pi,j,若将该像素点在另一图像上的相对位移表示为一个概率,则用表示在(i,j)位置的像素点视差为d的概率,设视差d的取值范围为d∈[0,n],则有/>
3.根据权利要求2所述的一种双目人脸活体判别方法,其特征在于,根据视差概率图D获得视差图P,根据视差图P实现深度图的重构,表达式如下:
其中,B为基线距离,f为焦距。
4.根据权利要求1所述的一种双目人脸活体判别方法,其特征在于,通过以下方式实现单目输入图像与视差概率图生成另一视角的伪输入视图:
对任意像素点pi,j,该像素点的视差为d的概率表示为获得视差概率图;将该视差概率图对应的单目视图Li,j根据视差值d平移后得到/>则另一视角在视差d处的像素值表示为:
在不同视差值下的估计另一输入图像Ri,j上每一个像素的位置与像素值,得到另一视角的完整重构图,公式表达如下:
5.根据权利要求1所述的一种双目人脸活体判别方法,其特征在于,所述引入局部自相似性损失,通过输入图像与伪输入视图的自身形状、结构信息上的相似性来监督模型训练,包括:
先分别将输入图像与伪输入图像拆分为40x40的大图块,再以大图块中每个像素为中心取5x5的小图块,根据大图块和小图块计算差方和,根据差方和获取局部自相似性描述符,再通过对比输入图像与伪输入图像的局部自相似性描述符的一致性来监督模型训练;
其中,局部自相似性描述符的计算公式如下:
其中,SSDq(x,y)代表(x,y)处小图块与以q为中心的小图块的差方和,varnoise表示可接受的光照扰动的常数,varauto(q)表示以q为中心、半径为1的范围内图块差值的最大方差。
6.根据权利要求1所述的一种双目人脸活体判别方法,其特征在于,所述将待识别图像输入训练后的模型中,获得视差概率图,根据视差概率图获取深度图,根据深度图获取活体判别结果,包括:
将待识别的双目图像输入模型后,由模型生成双目对应的视差概率图,再将视差概率图转化为深度图;
由深度图的平均值作为活体判别最终的判别分数,根据判别分数判断摄像头所拍摄的人脸图像是否来自真实人脸。
7.一种双目人脸活体判别装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现权利要求1-6任一项所述方法。
8.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-6任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211417945.4A CN115909446B (zh) | 2022-11-14 | 2022-11-14 | 一种双目人脸活体判别方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211417945.4A CN115909446B (zh) | 2022-11-14 | 2022-11-14 | 一种双目人脸活体判别方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115909446A CN115909446A (zh) | 2023-04-04 |
CN115909446B true CN115909446B (zh) | 2023-07-18 |
Family
ID=86486413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211417945.4A Active CN115909446B (zh) | 2022-11-14 | 2022-11-14 | 一种双目人脸活体判别方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115909446B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108961327A (zh) * | 2018-05-22 | 2018-12-07 | 深圳市商汤科技有限公司 | 一种单目深度估计方法及其装置、设备和存储介质 |
CN111292425A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于单双目混合数据集的视图合成方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10956714B2 (en) * | 2018-05-18 | 2021-03-23 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting living body, electronic device, and storage medium |
-
2022
- 2022-11-14 CN CN202211417945.4A patent/CN115909446B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108961327A (zh) * | 2018-05-22 | 2018-12-07 | 深圳市商汤科技有限公司 | 一种单目深度估计方法及其装置、设备和存储介质 |
CN111292425A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于单双目混合数据集的视图合成方法 |
Non-Patent Citations (1)
Title |
---|
基于双目视觉技术的海水生物毒性监测方法研究;马然;曹煊;王小红;张天鹏;张丽;;山东科学;第29卷(第5期);第9-16页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115909446A (zh) | 2023-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1588327B1 (en) | Full depth map acquisition | |
US9177381B2 (en) | Depth estimate determination, systems and methods | |
KR101537174B1 (ko) | 스테레오스코픽 영상에서의 주요 객체 검출 방법 | |
CN113689540B (zh) | 基于rgb视频的物体重建方法和装置 | |
CN105404888B (zh) | 结合颜色和深度信息的显著性目标检测方法 | |
Smith et al. | Stereo matching with nonparametric smoothness priors in feature space | |
Messai et al. | Adaboost neural network and cyclopean view for no-reference stereoscopic image quality assessment | |
CN112785705A (zh) | 一种位姿获取方法、装置及移动设备 | |
Zhang et al. | Robust stereo matching with surface normal prediction | |
Jiao et al. | Color image-guided boundary-inconsistent region refinement for stereo matching | |
US10504235B2 (en) | Method for generating three dimensional images | |
Wang et al. | Improving deep stereo network generalization with geometric priors | |
CN112465735A (zh) | 行人检测方法、装置及计算机可读存储介质 | |
CN115909446B (zh) | 一种双目人脸活体判别方法、装置及存储介质 | |
CN116563807A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
Salih et al. | Depth estimation using monocular cues from single image | |
CN112884817B (zh) | 稠密光流计算方法、装置、电子设备以及存储介质 | |
CN113989345A (zh) | 一种深度图像处理方法、系统和电子设备 | |
Gallo et al. | Neural disparity computation for dense two-frame stereo correspondence | |
Liu et al. | A novel method for stereo matching using Gabor Feature Image and Confidence Mask | |
CN108305269B (zh) | 一种双目图像的图像分割方法及系统 | |
Zhou et al. | Salient object detection via reliability‐based depth compactness and depth contrast | |
Miljković et al. | Vehicle Distance Estimation Based on Stereo Camera System with Implementation on a Real ADAS Board | |
Zihao et al. | Disparity refinement based on least square support vector machine for stereo matching | |
Ji et al. | Mixed reality depth contour occlusion using binocular similarity matching and three-dimensional contour optimisation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |