CN109934168B - 人脸图像映射方法及装置 - Google Patents
人脸图像映射方法及装置 Download PDFInfo
- Publication number
- CN109934168B CN109934168B CN201910189888.0A CN201910189888A CN109934168B CN 109934168 B CN109934168 B CN 109934168B CN 201910189888 A CN201910189888 A CN 201910189888A CN 109934168 B CN109934168 B CN 109934168B
- Authority
- CN
- China
- Prior art keywords
- target
- feature point
- dimensional
- dimensional information
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请是关于一种人脸图像映射方法及装置,其中,该人脸图像映射方法包括:获取图像中的目标人脸区域,在预设的三维模型上,标识出与目标人脸区域中目标特征点对应的映射特征点,确定映射特征点的三维信息和目标特征点的二维信息之间的转换关系,基于转换关系,将目标人脸区域的信息映射至三维模型。通过本申请实施例提供的技术方案,实现了将目标人脸区域映射至三维模型上。
Description
技术领域
本申请涉及计算机视觉的技术领域,尤其涉及人脸图像映射方法及装置。
背景技术
随着手机、平板电脑等移动设备的广泛普及,移动设备的功能也越来越多,其中,拍摄功能成为一项日常的基本功能。AR(Augmented Reality,增强现实技术)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动,AR技术是建立在拍摄功能的基础上的,对于AR应用来说,将移动设备所采集到的图像映射到三维模型上,能够极大增加AR应用的体验。
在日常拍摄中,尤其以人像拍摄较为频繁,而目前针对AR的应用中,主要是对建筑物、环境的映射,如何实现将人脸图像映射至三维模型上是亟待解决的问题。
发明内容
为克服相关技术中存在的问题,本申请提供一种人脸图像映射方法及装置。
根据本申请实施例的第一方面,提供一种人脸图像映射方法,包括:
获取图像中的目标人脸区域;
在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点;
确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的转换关系;
基于所述转换关系,将所述目标人脸区域映射的信息至所述三维模型。
可选地,所述基于所述转换关系,将所述目标人脸区域的信息映射至所述三维模型,包括:
检测所述目标人脸区域中指定特征点的二维信息;
将所述目标人脸区域中所述指定特征点的二维信息,按照所述转换关系,转换为所述指定特征点的三维信息,并确定所述三维信息表示的所述三维模型上的对应特征点;
针对每一所述指定特征点,获取该指定特征点在所述目标人脸区域中的纹理信息,将所获取的纹理信息映射至该指定特征点的对应特征点上,得到映射后的三维模型。
可选地,所述确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的转换关系,包括:
将所述映射特征点的三维信息以及所述目标特征点的二维信息,分别代入预设的目标函数中,得到转换函数,其中,所述转换函数用于表示所述目标人脸区域中特征点的二维信息与所述三维模型上该特征点的三维信息之间的转换关系:
其中,C(X)表示所述目标函数,m表示所述目标特征点的数量,Mj表示第j个映射特征点的三维信息,Uj表示第j个目标特征点的二维信息,X(Uj)为所述转换函数,Ω表示所述目标人脸区域中的二维信息的范围,u和v均为转换函数的参量,ε为预设参数。
可选地,所述目标人脸区域中所述目标特征点的二维信息根据以下方式确定:
在所述目标人脸区域中的人脸在三维坐标系中的翻滚角不为0的情况下,对所述目标人脸区域进行旋转,以使得所述目标人脸区域中人脸的翻滚角为0,检测旋转后的所述目标人脸区域中的所述目标特征点,并确定每一目标特征点的二维信息;
在所述目标人脸区域中的人脸在三维坐标系中的翻滚角为0的情况下,检测所述目标人脸区域中的所述目标特征点,并确定每一目标特征点的二维信息。
可选地,所述在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点,包括:
从所述目标人脸区域所包括的所述目标特征点中确定预设特征点;
在预设的三维模型上,标识出与所述预设特征点对应的映射特征点。
可选地,所述从所述目标人脸区域所包括的所述目标特征点中确定预设特征点,包括:
确定所述目标人脸区域中每一预设特征点的二维坐标;
从所确定的二维坐标中获取最小横坐标值、最小纵坐标值、最大横坐标值和最大纵坐标值;
由所述最小横坐标值和所述最小纵坐标值确定第一坐标,由所述最小横坐标值和所述最大纵坐标值确定第二坐标,由所述最大横坐标值和所述最小纵坐标值确定第三坐标,由所述最大横坐标值和所述最大纵坐标值确定第四坐标,并将所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标所确定的区域,作为所述目标人脸区域。
可选地,所述获取图像中的目标人脸区域,包括:
对所述图像进行人脸检测;
在所述图像中仅包含一个人脸区域的情况下,将该人脸区域确定为目标人脸区域;
在所述图像中包含有至少两个人脸区域的情况下,从所述至少两个人脸区域中选取一个人脸区域作为目标人脸区域。
可选地,所述从所述至少两个人脸区域中选取一个人脸区域作为目标人脸区域,包括:
在基于所述三维模型的三维坐标系中,检测每一人脸区域中人脸的偏航角、俯仰角和翻滚角,计算每一人脸区域对应的偏航角的绝对值、俯仰角的绝对值以及翻滚角的绝对值三者之和,并将和最小的人脸区域确定为目标人脸区域;或者,
在基于所述三维模型的三维坐标系中,检测人脸区域中人脸的偏航角、俯仰角和翻滚角,并判断所检测的偏航角是否小于第一角度阈值且所检测的俯仰角是否小于第二角度阈值,如果所检测的偏航角小于所述第一角度阈值、且所检测的俯仰角小于所述第二角度阈值,则将所述人脸区域确定为目标人脸区域;或者,
检测每一人脸区域中所包括的第一指定特征点,将包含所述第一指定特征点最多的人脸区域确定为目标人脸区域;或者,
按照预设顺序对所述至少两个人脸区域进行检测,将首次检测到的包含有第二指定特征点的人脸区域,确定为目标人脸区域。
根据本申请实施例的第二方面,提供一种人脸图像映射装置,包括:
获取模块,用于获取图像中的目标人脸区域;
标识模块,用于在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点;
确定模块,用于确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的转换关系;
映射模块,用于基于所述转换关系,将所述目标人脸区域的信息映射至所述三维模型。
可选地,所述映射模块具体用于:
检测所述目标人脸区域中指定特征点的二维信息;
将所述目标人脸区域中所述指定特征点的二维信息,按照所述转换关系,转换为所述指定特征点的三维信息,并确定所述三维信息表示的所述三维模型上的对应特征点;
针对每一所述指定特征点,获取该指定特征点在所述目标人脸区域中的纹理信息,将所获取的纹理信息映射至该指定特征点的对应特征点上,得到映射后的三维模型。
可选地,所述确定模块具体用于:
将所述映射特征点的三维信息以及所述目标特征点的二维信息,分别代入预设的目标函数中,得到转换函数,其中,所述转换函数用于表示所述目标人脸区域中特征点的二维信息与所述三维模型上该特征点的三维信息之间的转换关系:
其中,C(X)表示所述目标函数,m表示所述目标特征点的数量,Mj表示第j个映射特征点的三维信息,Uj表示第j个目标特征点的二维信息,X(Uj)为所述转换函数,Ω表示所述目标人脸区域中的二维信息的范围,u和v均为转换函数的参量,ε为预设参数。
可选地,所述目标人脸区域中所述目标特征点的二维信息根据以下方式确定:
在所述目标人脸区域中的人脸在三维坐标系中的翻滚角不为0的情况下,对所述目标人脸区域进行旋转,以使得所述目标人脸区域中人脸的翻滚角为0,检测旋转后的所述目标人脸区域中的所述目标特征点,并确定每一目标特征点的二维信息;
在所述目标人脸区域中的人脸在三维坐标系中的翻滚角为0的情况下,检测所述目标人脸区域中的所述目标特征点,并确定每一目标特征点的二维信息。
可选地,所述标识模块包括:
第一确定子模块,用于从所述目标人脸区域所包括的所述目标特征点中确定预设特征点;
标识子模块,用于在预设的三维模型上,标识出与所述预设特征点对应的映射特征点。
可选地,所述第一确定子模块具体用于:
确定所述目标人脸区域中每一预设特征点的二维坐标;
从所确定的二维坐标中获取最小横坐标值、最小纵坐标值、最大横坐标值和最大纵坐标值;
由所述最小横坐标值和所述最小纵坐标值确定第一坐标,由所述最小横坐标值和所述最大纵坐标值确定第二坐标,由所述最大横坐标值和所述最小纵坐标值确定第三坐标,由所述最大横坐标值和所述最大纵坐标值确定第四坐标,并将所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标所确定的区域,作为所述目标人脸区域。
可选地,所述获取模块包括:
检测子模块,用于对所述图像进行人脸检测;
第二确定子模块,用于在所述图像中仅包含一个人脸区域的情况下,将该人脸区域确定为目标人脸区域;
选取子模块,用于在所述图像中包含有至少两个人脸区域的情况下,从所述至少两个人脸区域中选取一个人脸区域作为目标人脸区域。
可选地,所述选取子模块具体用于:
在基于所述三维模型的三维坐标系中,检测每一人脸区域中人脸的偏航角、俯仰角和翻滚角,计算每一人脸区域对应的偏航角的绝对值、俯仰角的绝对值以及翻滚角的绝对值三者之和,并将和最小的人脸区域确定为目标人脸区域;或者,
在基于所述三维模型的三维坐标系中,检测人脸区域中人脸的偏航角、俯仰角和翻滚角,并判断所检测的偏航角是否小于第一角度阈值且所检测的俯仰角是否小于第二角度阈值,如果所检测的偏航角小于所述第一角度阈值、且所检测的俯仰角小于所述第二角度阈值,则将所述人脸区域确定为目标人脸区域;或者,
检测每一人脸区域中所包括的第一指定特征点,将包含所述第一指定特征点最多的人脸区域确定为目标人脸区域;或者,
按照预设顺序对所述至少两个人脸区域进行检测,将首次检测到的包含有第二指定特征点的人脸区域,确定为目标人脸区域。
根据本申请实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取图像中的目标人脸区域;
在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点;
确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的转换关系;
基于所述转换关系,将所述目标人脸区域映射至所述三维模型。
根据本申请实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种人脸图像映射方法,所述方法包括:
获取图像中的目标人脸区域;
在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点;
确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的转换关系;
基于所述转换关系,将所述目标人脸区域映射至所述三维模型。
根据本申请实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品用于被运行以执行上述人脸图像映射方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:从图像中确定目标人脸区域,在预设的三维模型上,标识出与目标人脸区域中目标特征点对应的映射特征点,确定映射特征点的三维信息和目标特征点的二维信息之间的的转换关系,基于转换关系,将目标人脸区域的信息映射至三维模型。这样,实现了将目标人脸区域映射至三维模型上。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种人脸图像映射方法的流程图。
图2是根据一示例性实施例示出的人脸的一种示意图。
图3是根据一示例性实施例示出的人脸区域中关键点的一种示意图。
图4是根据一示例性实施例示出的一种映射示意图。
图5是根据一示例性实施例示出的对人脸区域进行旋转的一种示意图。
图6是根据一示例性实施例示出的一种人脸图像装置的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
为了解决如何将人脸图像映射至三维模型上的问题,本申请实施例提供了一种人脸图像映射方法及装置,其中,本申请实施例提供的人脸图像映射方法包括:
获取图像中的目标人脸区域;
在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点;
确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的的转换关系;
基于所述转换关系,将所述目标人脸区域的信息映射至所述三维模型。
通过本申请实施例提供的人脸图像映射方法,实现了将目标人脸区域映射至三维模型上。
下面首先对本申请实施例提供的人脸图像映射方法进行介绍,图1是根据一示例性实施例示出的一种人脸图像方法的流程图,该人脸图像映射方法可以应用于AR(Augmented Reality,增强现实技术)设备,还可以是应用于具有AR功能的摄像设备,摄像设备可以是摄像机、相机等。如图1所示,该人脸图像映射方法包括以下步骤。
S101,获取图像中的目标人脸区域。
其中,图像可以是自定义确定的,所确定的图像为需要映射到三维模型上的图像。该图像中包括有至少一个人脸区域,可以利用人脸识别的方式从图像中获取人脸图像。所确定出的目标人脸区域为需要映射到三维模型上的图像区域。
一种实施方式中,获取图像,并对所获取的图像进行人脸检测。其中,图像可以是摄像设备根据透视投影所得到的,还可以是从已生成的图像中获得的。除了上述两种获取方法,还可以是其他的获取方式,在此不作限定。
人脸检测可以对图像中所包含的人脸进行检测,并确定出图像中的每一人脸区域。在完成对图像的人脸检测之后,可以获取该图像中所包含的人脸,并确定出每一人脸的人脸区域。
在获取图像中的人脸之后,当图像中仅包含一个人脸时,即从该图像中仅能确定出一个人脸区域,则可以直接将所确定出的人脸区域作为目标人脸区域。当图像中包含有至少两个人脸时,即可以从该图像中确定出至少两个人脸区域,则可以从该至少两个人脸区域中选取一个人脸作为目标人脸区域,目标人脸区域中的人脸即为映射至三维模型上的人脸。
从至少两个人脸区域中选取一个人脸区域作为目标人脸区域的第一种实现方式中,在基于三维模型的三维坐标系中,检测每一人脸区域中人脸的偏航角、俯仰角和翻滚角,其中,三维坐标系为X轴、Y轴和Z轴形成的空间直角坐标系,在三维坐标系中标准正面人脸如图2所示。
结合图4,对偏航角、俯仰角和翻滚角进行介绍。偏航角是标准正面人脸的朝向与Y轴之间的角,可以用yaw表示;俯仰角是标准正面人脸的朝向与X轴之间的角,可以用pitch表示;翻滚角是标准正面人脸的朝向与Z轴之间的角,可以用roll表示。例如,当人脸区域中人脸如图2所示的情况下,该人脸的偏航角为0,俯仰角为0,翻滚角也为0。
在检测出每一人脸区域中人脸的偏航角、俯仰角和翻滚角之后,针对每一人脸区域中的人脸,可以得到偏航角的绝对值,俯仰角的绝对值以及翻滚角的绝对值,并计算偏航角的绝对值,俯仰角的绝对值以及翻滚角的绝对值三者之和,这样,每一人脸区域可以对应有一个绝对值之和。绝对值之和越小,表示该绝对值之和对应的人脸的角度与标准正面人脸的角度更接近;绝对值之和越大,表示该绝对值之和对应的人脸的角度与标准正面人脸的角度相差越大。
例如,人脸的偏航角为0,俯仰角为0,翻滚角也为0,则该人脸对应的绝对值之和为0,表示该人脸的角度即为标准正向人脸的角度。
在计算出每一人脸区域对应的绝对值之和后,可以选取绝对值之和最小的人脸区域,该人脸区域中的人脸可以认为是所检测到的人脸中最接近标准正面人脸的角度的人脸,因此,可以将该绝对值之和最小的人脸区域确定为目标人脸区域。
第二种实现方式中,在基于三维模型的三维坐标系中,检测每一人脸区域中人脸的偏航角、俯仰角和翻滚角。针对同一人脸区域,判断该人脸区域的偏航角是否小于第一角度阈值,且该人脸区域的俯仰角是否小于第二角度阈值。
其中,第一角度阈值是针对偏航角的阈值,第一角度阈值可以是自定义设定的。第二角度阈值是针对俯仰角的阈值,第二角度阈值可以是自定义设定的。第一角度阈值与第二角度阈值可以相同,也可以不相同,在此不作限定。
针对同一人脸区域,在该人脸区域的偏航角小于第一角度阈值,且俯仰角小于第二角度阈值的情况下,表示该人脸区域中显示的人脸占完整人脸的比例较大,则可以将该人脸区域确定为目标人脸区域。
当存在以下三种情况中的任一种时,表示该人脸区域中显示的人脸占完整人脸的比例较小,则不能将该人脸区域确定为目标人脸区域:
第一种情况:该人脸区域的偏航角不小于第一角度阈值,且俯仰角小于第二角度阈值;第二种情况:该人脸区域的偏航角小于第一角度阈值,且俯仰角不小于第二角度阈值;第三种情况:该人脸区域的偏航角不小于第一角度阈值,且俯仰角不小于第二角度阈值。
例如,人脸区域中人脸的偏航角为90度,则该人脸区域中所显示的人脸为完整人脸的一半,当第一角度阈值为10度时,则可以判定该人脸区域中的偏航角大于第一角度阈值,则不能将该人脸区域确定为目标人脸区域。
第三种实现方式中,在确定出图像中的人脸区域之后,可以对每一人脸区域进行关键点检测,即检测出每一人脸区域中所包括的第一指定特征点。
其中,所需检测的第一指定特征点的数量可以是自定义的,所需检测的第一指定特征点可以是预设的,且可以是自定义设定的。一种实现方式中,人脸区域中关键的部位是五官,则可以将五官周围的点设定为第一指定特征点,例如,将眼角的点作为第一指定特征点,将鼻头的点作为第一指定特征点,将嘴角的点作为第一指定特征点。在设定第一指定特征点后,对每一人脸区域进行检测时,则检测该人脸区域中是否存在所设定的第一指定特征点。
例如,如图3所示的人脸图像,所标注的点为设定的第一指定特征点。当对人脸区域进行第一指定特征点检测时,即检测该人脸区域中是否存在图3中的第一指定特征点。
在完成对各人脸区域的第一指定特征点检测之后,即可以确定出每一人脸区域中所包含的第一指定特征点数量,可以认为,人脸区域包含的第一指定特征点越多,表示该人脸区域中显示的人脸的完整程度越高,即占完整人脸的比例越大。基于此,可以将包含第一指定特征点最多的人脸区域确定为目标人脸区域。
第四种实现方式中,图像中包括至少两个人脸区域的情况下,可以按照预设顺序,依次对每一个人脸区域进行检测,检测人脸区域中的第二指定特征点,并统计所检测到的第二指定特征点的数量。其中,预设顺序可以是自定义设定的,例如,预设顺序是从上到下、从左到右的顺序,则按照从上到下、从左到右的顺序依次检测人脸区域。
当首次检测到包含有第二指定特征点的人脸区域时,则可以将该人脸区域确定为目标人脸区域,不再继续对其他的人脸区域进行检测。其中,第二指定特征点可以是自定义设定的。
以图3为例,图3中标识的点为第二指定特征点,则当首次检测到包含标识的第二指定特征点的人脸区域时,将该人脸区域确定为目标人脸区域。
通过本实现方式选取目标人脸区域,将首次检测到的包含有第二指定特征点的人脸区域确定为目标人脸区域,可以不用对所有人脸区域进行检测,节省了检测时间,提高了图像处理的效率。
从至少两个人脸区域中选取一个人脸区域作为目标人脸区域的实现方式并不仅限于以上四种,还可以采用其他的方式选取,在此不作限定。
S102,在预设的三维模型上,标识出与目标人脸区域中目标特征点对应的映射特征点。
其中,目标人脸区域中的目标特征点可以是自定义设定的,例如,目标特征点可以是图3中所标识的全部特征点,还可以是图3中所标识的部分特征点。
其中,三维模型可以是自定义的,三维模型用于更立体地呈现人脸图像。对于目标人脸区域中的每一目标特征点,均可以在三维模型中找到对应的映射特征点,可以认为,目标特征点与映射特征点的数量相同,目标特征点与映射特征点是一一对应的。一种实现方式中,三维模型可以是AR场景下的三维模型,还可以是其他场景下的三维模型,在此不作赘述。
以图3为例,所设定的目标特征点为图3上所标识的所有特征点,包括脸部轮廓的特征点、嘴巴的特征点、鼻子的特征点、眼睛的特征点和眉毛的特征点,则在三维模型上可以标识出目标特征点对应的映射特征点:脸部轮廓的特征点、嘴巴的特征点、鼻子的特征点、眼睛的特征点和眉毛的特征点。
一种实施方式中,在获取到目标人脸区域之后,可以从目标人脸区域所包括的目标特征点中确定预设特征点,在预设的三维模型上,标识出与预设特征点对应的映射特征点。
其中,预设特征点是从目标特征点中选取的,预设特征点可以从目标特征点中自定义选取的。可以将全部目标特征点确定为预设特征点,还可以将部分目标特征点确定为预设特征点,在此不作限定。
一种实现方式,可以将预设特征点确定的区域作为待映射区域,该待映射区域即为映射至三维模型上的图像区域。具体地,可以从目标人脸区域中确定包含目标特征点的区域,并将该区域作为待映射区域,也就是说,待映射区域中包括所有的目标特征点。
在从目标人脸区域中确定出待映射区域后,在预设的三维模型上标识出与待映射区域中目标特征点对应的映射特征点。这样,在确定转换关系后,基于转换关系在进行映射时可以将映射区域映射至三维模型。
在该实施方式中,从目标人脸区域中确定出包含目标特征点的待映射区域,可以认为待映射区域所包含的特征均目标人脸区域中的重点特征,例如,嘴巴、鼻子、眼睛、眉毛等。这样,在进行映射时可以只将目标人脸区域中的重点特征映射至三维模型上,而对于目标人脸区域中相对来说非重要的特征则可以不进行映射处理,这样,可以减小执行该实施方式的设备的计算处理量,进而提高设备进行映射处理的效率。
一种实施方式中,上述实施方式中,从目标人脸区域所包括的目标特征点中确定预设特征点的步骤,可以包括如下步骤。
可以从目标人脸区域中确定每一预设特征点的二维坐标,在确定出每一预设特征点的二维坐标后,可以从所确定的二维坐标中获取最小横坐标值、最小纵坐标值、最大横坐标值和最大纵坐标值,其中,可以用xmin表示最小横坐标值,可以用ymin表示最小纵坐标值,可以用xmax表示最大横坐标值,可以用ymax表示最大纵坐标值。
可以由最小横坐标值和最小纵坐标值确定第一坐标,即为(xmin,ymin)。可以由最小横坐标值和最大纵坐标值确定第二坐标,即为(xmin,ymax)。可以由最大横坐标值和最小纵坐标值确定第三坐标,即为(xmax,ymin)。可以由最大横坐标值和最大纵坐标值确定第四坐标,即为(xmax,ymax)。将第一坐标、第二坐标、第三坐标和第四坐标所确定的区域作为待映射区域,即第一坐标与第二坐标之间的连线1,第二坐标与第三坐标之间的连线2,第三坐标与第四坐标之间的连线3,第四坐标与第一坐标之间的连线4,连线1、连线2、连线3和连线4所组成的封闭区域即为目标人脸区域。一种实现方式,将预设特征点确定的区域作为待映射区域的情况下,连线1、连线2、连线3和连线4所组成的封闭区域为待映射区域。
S103,确定映射特征点的三维信息和目标特征点的二维信息之间的转换关系。
该转换关系用于对映射特征点的三维信息和目标特征点的二维信息之间进行转换,其中,对于转换的映射特征点和目标特征点是相对应的。例如,目标人脸区域中的鼻尖特征点为目标特征点,则该目标特征点对应的映射特征点为三维模型上的鼻尖特征点,目标人脸区域中的鼻尖特征点的二维信息,可以通过转换关系转换成为三维模型上的鼻尖特征点的三维信息,或者,三维模型上的鼻尖特征点的三维信息,可以通过转换关系转换成为目标人脸区域中的鼻尖特征点的二维信息。
一种实施方式中,确定映射特征点的三维信息和目标特征点的二维信息之间的转换关系(步骤S103),可以包括如下步骤。
将映射特征点的三维信息以及目标特征点的二维信息,分别代入预设的目标函数中,得到转换函数:
其中,C(X)表示目标函数,m表示目标特征点的数量,Mj表示第j个映射特征点的三维信息,Uj表示第j个目标特征点的二维信息,X(Uj)为转换函数,Ω表示目标人脸区域中的二维信息的范围,u和v均为转换函数的参量,ε为预设参数。
其中,目标函数可以是自定义设定的已知函数。转换函数用于表示目标人脸区域中特征点的二维信息与三维模型上该特征点的三维信息之间的转换关系,将目标特征点的二维信息Uj代入至转换函数X(Uj)中即可计算出映射特征点的三维信息。
在得到转换函数后,利用该转换函数可以计算目标人脸区域中的二维信息以及三维模型上映射特征点的三维信息。对于目标人脸区域中的每一个二维信息,均可以计算出对应的三维信息,该三维信息即表征在三维模型上对应的映射特征点。在将目标人脸区域中的每一个目标特征点找到对应的映射特征点之后,即可以确定出目标特征点的二维信息与三维模型上映射特征点的三维信息的转换关系。
例如,目标特征点包括特征点1、特征点2、……特征点20,则在目标人脸区域中确定该20个目标特征点的二维信息,将该20个目标特征点的二维信息确定为U1、U2、…U20。在三维模型上标识出该20个目标特征点的三维信息,将该20个目标特征点的三维信息确定为M1、M2、…M20。将所确定的U1、U2、…U20以及M1、M2、…M20对应代入上式中,即可计算出转换函数X(Uj)。
一种实施方式中,目标人脸区域中目标特征点的二维信息可以根据以下方式确定,其中,根据目标人脸区域中的人脸在三维坐标系中的翻滚角是否为0的情况,可以分为两种情况,下面就两种情况分别展开说明。
第一种情况,在目标人脸区域中的人脸在三维坐标系中的翻滚角不为0的情况下,对目标人脸区域进行旋转,以使得目标人脸区域中人脸的翻滚角为0,检测旋转后的目标人脸区域中的目标特征点,并确定每一目标特征点的二维信息。
其中,在目标人脸区域中的人脸在三维坐标系中的翻滚角不为0的情况下,可以认为,图像中显示的人脸是歪的,如图5所示,左图中的人脸在三维坐标系中的翻滚角不为0。在这种情况下,可以对目标人脸区域进行旋转,以使得目标人脸区域中人脸的翻滚角为0。
以图5为例,左图为在旋转之前的目标人脸区域,此时该目标人脸区域中人脸是歪的,即翻滚角不为0,则对左图中的目标人脸区域进行旋转,得到右图的目标人脸区域。旋转后的目标人脸区域中人脸是正的,即该人脸的翻滚角为0。
其中,对翻滚角不为0的目标人脸区域进行旋转的实现方式可以是通过旋转矩阵的方式,还可以通过其他方式进行旋转,在此不作限定。
在得到旋转后的目标人脸区域之后,可以检测旋转后的目标人脸区域中的目标特征点,并确定每一目标特征点的二维信息。
第二种情况,在目标人脸区域中的人脸在三维坐标系中的翻滚角为0的情况下,检测目标人脸区域中的目标特征点,并确定每一目标特征点的二维信息。
在目标人脸区域中的人脸在三维坐标系中的翻滚角为0的情况下,图像中显示的人脸是正的,如图5所示,右图中的人脸在三维坐标系中的翻滚角为0。此时,可以直接检测检目标人脸区域中的目标特征点,并确定每一目标特征点的二维信息。
S104,基于转换关系,将目标人脸区域的信息映射至三维模型。
具体地,将目标人脸区域中的每一特征点的颜色信息,映射至三维模型上该特征点的三维信息表示的对应特征点,也就是说,目标人脸区域中的每一特征点与该特征点的对应特征点的颜色信息一致。
其中,映射的方式可以是信息替换,具体地,在目标人脸区域中获取特征点的信息之后,将三维模型上该特征点所对应的对应特征点的信息替换为所获取的信息,在完成替换之后,该对应特征点的信息与目标人脸区域中该特征点的信息一致。其中,进行替换的信息可以为颜色信息。
例如,目标人脸区域中的一个特征点为鼻尖的特征点,该特征点对应的三维模型上的对应特征点也是鼻尖的特征点,若获取到目标人脸区域中鼻尖的特征点的颜色信息为RGB值:R值为255、G值为192、B值为203,则将该特征点的RGB值映射至三维模型上的对应特征点时,将对应特征点的RGB值替换为该特征点的RGB值,在完成替换之后,该对应特征点的RGB值与上述特征点的RGB值一样:R值为255、G值为192、B值为203。
如图4所示,待映射的图像中包括目标人脸区域,该目标人脸区域中人脸的偏航角为0,翻滚角为0,俯仰角为0,将目标人脸区域映射至三维模型后,该三维模型上展示出目标人脸区域中的人脸。
一种实施方式中,可以检测目标人脸区域中指定特征点的二维信息,并将目标人脸区域中指定特征点的二维信息按照转换关系,转换为指定特征点的三维信息,并确定三维信息表示的三维模型上的对应特征点,针对每一指定特征点,获取该指定特征点在目标人脸区域中的纹理信息,将所获取的纹理信息映射至该指定特征点的对应特征点上,得到映射后的三维模型。
其中,指定特征点可以是目标人脸区域中的全部特征点,还可以是目标人脸区域中的部分特征点。特征点的纹理信息可以是颜色信息,颜色信息可以是RGB值、灰度值、像素值、BGR值、YUV信息、YcbCr信息等。
以图3为例,针对在人脸的鼻尖上标识为99的特征点,该特征点在目标人脸区域中的二维坐标为(a1,b1),在三维模型上该特征点的三维坐标为(a2,b2,c2),则在将目标人脸区域映射至三维模型时,是将目标人脸区域中坐标为(a1,b1)的点的RGB值,映射至三维模型上坐标为(a2,b2,c1)的点,在完成映射后,坐标为(a2,b2,c1)的点的RGB值即为坐标为(a1,b1)的点的RGB值。在完成全部特征点的映射后,得到映射后的三维模型,三维模型上展示出图3中的人脸。
通过本申请实施例提供的技术方案,从图像中确定目标人脸区域,在预设的三维模型上,标识出与目标人脸区域中目标特征点对应的映射特征点,确定映射特征点的三维信息和目标特征点的二维信息之间的的转换关系,基于转换关系,将目标人脸区域映射至三维模型。这样,实现了将目标人脸区域映射至三维模型上。
相应于上述人脸图像映射方法实施例,本申请实施例还提供一种人脸图像映射装置。图6是根据一示例性实施例示出的一种人脸图像映射装置框图。参照图6,该人脸图像映射装置包括获取模块610、标识模块620、确定模块630和映射模块640。
获取模块610,用于获取图像中的目标人脸区域;
标识模块620,用于在预设的三维模型上,标识出与目标人脸区域中目标特征点对应的映射特征点;
确定模块630,用于确定映射特征点的三维信息和目标特征点的二维信息之间的转换关系;
映射模块640,用于基于转换关系,将目标人脸区域的信息映射至三维模型。
一种实施方式中,映射模块640具体用于:
检测目标人脸区域中指定特征点的二维信息;
将目标人脸区域中指定特征点的二维信息,按照转换关系,转换为指定特征点的三维信息,并确定三维信息表示的三维模型上的对应特征点;
针对每一指定特征点,获取该指定特征点在目标人脸区域中的纹理信息,将所获取的纹理信息映射至该指定特征点的对应特征点上,得到映射后的三维模型。
一种实施方式中,确定模块630具体用于:
将映射特征点的三维信息以及目标特征点的二维信息,分别代入预设的目标函数中,得到转换函数,其中,转换函数用于表示目标人脸区域中特征点的二维信息与三维模型上该特征点的三维信息之间的转换关系:
其中,C(X)表示所述目标函数,m表示目标特征点的数量,Mj表示第j个映射特征点的三维信息,Uj表示第j个目标特征点的二维信息,X(Uj)为转换函数,Ω表示目标人脸区域中的二维信息的范围,u和v均为转换函数的参量,ε为预设参数。
一种实施方式中,目标人脸区域中目标特征点的二维信息根据以下方式确定:
在目标人脸区域中的人脸在三维坐标系中的翻滚角不为0的情况下,对目标人脸区域进行旋转,以使得目标人脸区域中人脸的翻滚角为0,检测旋转后的目标人脸区域中的目标特征点,并确定每一目标特征点的二维信息;
在目标人脸区域中的人脸在三维坐标系中的翻滚角为0的情况下,检测目标人脸区域中的目标特征点,并确定每一目标特征点的二维信息。
一种实施方式中,标识模块620可以包括:
第一确定子模块,用于从目标人脸区域所包括的目标特征点中确定预设特征点;
标识子模块,用于在预设的三维模型上,标识出与预设特征点对应的映射特征点。
一种实施方式中,第一确定子模块具体用于:
确定目标人脸区域中每一预设特征点的二维坐标;
从所确定的二维坐标中获取最小横坐标值、最小纵坐标值、最大横坐标值和最大纵坐标值;
由最小横坐标值和最小纵坐标值确定第一坐标,由最小横坐标值和最大纵坐标值确定第二坐标,由最大横坐标值和最小纵坐标值确定第三坐标,由最大横坐标值和最大纵坐标值确定第四坐标,并将第一坐标、第二坐标、第三坐标和第四坐标所确定的区域,作为目标人脸区域。
一种实施方式中,获取模块610可以包括:
检测子模块,用于对图像进行人脸检测;
第二确定子模块,用于在图像中仅包含一个人脸区域的情况下,将该人脸区域确定为目标人脸区域;
选取子模块,用于在图像中包含有至少两个人脸区域的情况下,从至少两个人脸区域中选取一个人脸区域作为目标人脸区域。
一种实施方式中,选取子模块具体用于:
在基于三维模型的三维坐标系中,检测每一人脸区域中人脸的偏航角、俯仰角和翻滚角,计算每一人脸区域对应的偏航角的绝对值、俯仰角的绝对值以及翻滚角的绝对值三者之和,并将和最小的人脸区域确定为目标人脸区域;或者,
在基于三维模型的三维坐标系中,检测人脸区域中人脸的偏航角、俯仰角和翻滚角,并判断所检测的偏航角是否小于第一角度阈值且所检测的俯仰角是否小于第二角度阈值,如果所检测的偏航角小于所述第一角度阈值、且所检测的俯仰角小于第二角度阈值,则将人脸区域确定为目标人脸区域;或者,
检测每一人脸区域中所包括的第一指定特征点,将包含第一指定特征点最多的人脸区域确定为目标人脸区域;或者,
按照预设顺序对至少两个人脸区域进行检测,将首次检测到的包含有第二指定特征点的人脸区域,确定为目标人脸区域。
通过本申请实施例提供的技术方案,从图像中确定目标人脸区域,在预设的三维模型上,标识出与目标人脸区域中目标特征点对应的映射特征点,确定映射特征点的三维信息和目标特征点的二维信息之间的的转换关系,基于转换关系,将目标人脸区域映射至三维模型。这样,实现了将目标人脸区域映射至三维模型上。
相应于上述人脸图像映射方法实施例,本申请实施例还提供一种电子设备。图7是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备可以是摄像机、像机、移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图7,电子设备可以包括以下一个或多个组件:处理组件702,存储器704,电力组件706,多媒体组件708,音频组件710,输入/输出(I/O)的接口712,传感器组件714,以及通信组件716。
处理组件702通常控制电子设备的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件702可以包括一个或多个模块,便于处理组件702和其他组件之间的交互。例如,处理组件702可以包括多媒体模块,以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在电子设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件706为电子设备的各种组件提供电力。电源组件706可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如,音频组件710包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中,音频组件710还包括一个扬声器,用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器,用于为电子设备提供各个方面的状态评估。例如,传感器组件714可以检测到电子设备的打开/关闭状态,组件的相对定位,例如所述组件为电子设备的显示器和小键盘,传感器组件714还可以检测电子设备或电子设备一个组件的位置改变,用户与电子设备接触的存在或不存在,电子设备方位或加速/减速和电子设备的温度变化。传感器组件714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件714还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件716被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件716还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器704,上述指令可由电子设备的处理器720执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
相应于上述人脸图像映射方法实施例,本申请实施例还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种人脸图像映射方法的步骤。
相应于上述人脸图像映射方法实施例,本申请实施例还提供一种计算机程序产品,用于执行上述一种人脸图像映射方法的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (16)
1.一种人脸图像映射方法,其特征在于,包括:
获取图像中的目标人脸区域;
在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点;
确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的转换关系,其中,将所述映射特征点的三维信息以及所述目标特征点的二维信息,分别代入预设的目标函数中,得到转换函数,其中,所述转换函数用于表示所述目标人脸区域中特征点的二维信息与所述三维模型上该特征点的三维信息之间的转换关系:
其中,C(X)表示目标函数,m表示目标特征点的数量,Mj表示第j个映射特征点的三维信息,Uj表示第j个目标特征点的二维信息,X(Uj)为转换函数,Ω表示目标人脸区域中的二维信息的范围,u和v均为转换函数的参量,ε为预设参数;
基于所述转换关系,将所述目标人脸区域的信息映射至所述三维模型。
2.根据权利要求1所述的方法,其特征在于,所述基于所述转换关系,将所述目标人脸区域的信息映射至所述三维模型,包括:
检测所述目标人脸区域中指定特征点的二维信息;
将所述目标人脸区域中所述指定特征点的二维信息,按照所述转换关系,转换为所述指定特征点的三维信息,并确定所述三维信息表示的所述三维模型上的对应特征点;
针对每一所述指定特征点,获取该指定特征点在所述目标人脸区域中的纹理信息,将所获取的纹理信息映射至该指定特征点的对应特征点上,得到映射后的三维模型。
3.根据权利要求1所述的方法,其特征在于,所述目标人脸区域中所述目标特征点的二维信息根据以下方式确定:
在所述目标人脸区域中的人脸在三维坐标系中的翻滚角不为0的情况下,对所述目标人脸区域进行旋转,以使得所述目标人脸区域中人脸的翻滚角为0,检测旋转后的所述目标人脸区域中的所述目标特征点,并确定每一目标特征点的二维信息;
在所述目标人脸区域中的人脸在三维坐标系中的翻滚角为0的情况下,检测所述目标人脸区域中的所述目标特征点,并确定每一目标特征点的二维信息。
4.根据权利要求1所述的方法,其特征在于,所述在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点,包括:
从所述目标人脸区域所包括的所述目标特征点中确定预设特征点;
在预设的三维模型上,标识出与所述预设特征点对应的映射特征点。
5.根据权利要求4所述的方法,其特征在于,所述从所述目标人脸区域所包括的所述目标特征点中确定预设特征点,包括:
确定所述目标人脸区域中每一预设特征点的二维坐标;
从所确定的二维坐标中获取最小横坐标值、最小纵坐标值、最大横坐标值和最大纵坐标值;
由所述最小横坐标值和所述最小纵坐标值确定第一坐标,由所述最小横坐标值和所述最大纵坐标值确定第二坐标,由所述最大横坐标值和所述最小纵坐标值确定第三坐标,由所述最大横坐标值和所述最大纵坐标值确定第四坐标,并将所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标所确定的区域,作为所述目标人脸区域。
6.根据权利要求1所述的方法,其特征在于,所述获取图像中的目标人脸区域,包括:
对所述图像进行人脸检测;
在所述图像中仅包含一个人脸区域的情况下,将该人脸区域确定为目标人脸区域;
在所述图像中包含有至少两个人脸区域的情况下,从所述至少两个人脸区域中选取一个人脸区域作为目标人脸区域。
7.根据权利要求6所述的方法,其特征在于,所述从所述至少两个人脸区域中选取一个人脸区域作为目标人脸区域,包括:
在基于所述三维模型的三维坐标系中,检测每一人脸区域中人脸的偏航角、俯仰角和翻滚角,计算每一人脸区域对应的偏航角的绝对值、俯仰角的绝对值以及翻滚角的绝对值三者之和,并将和最小的人脸区域确定为目标人脸区域;或者,
在基于所述三维模型的三维坐标系中,检测人脸区域中人脸的偏航角、俯仰角和翻滚角,并判断所检测的偏航角是否小于第一角度阈值且所检测的俯仰角是否小于第二角度阈值,如果所检测的偏航角小于所述第一角度阈值、且所检测的俯仰角小于所述第二角度阈值,则将所述人脸区域确定为目标人脸区域;或者,
检测每一人脸区域中所包括的第一指定特征点,将包含所述第一指定特征点最多的人脸区域确定为目标人脸区域;或者,
按照预设顺序对所述至少两个人脸区域进行检测,将首次检测到的包含有第二指定特征点的人脸区域,确定为目标人脸区域。
8.一种人脸图像映射装置,其特征在于,包括:
获取模块,用于获取图像中的目标人脸区域;
标识模块,用于在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点;
确定模块,用于确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的转换关系,其中,将所述映射特征点的三维信息以及所述目标特征点的二维信息,分别代入预设的目标函数中,得到转换函数,其中,所述转换函数用于表示所述目标人脸区域中特征点的二维信息与所述三维模型上该特征点的三维信息之间的转换关系:
其中,C(X)表示目标函数,m表示目标特征点的数量,Mj表示第j个映射特征点的三维信息,Uj表示第j个目标特征点的二维信息,X(Uj)为转换函数,Ω表示目标人脸区域中的二维信息的范围,u和v均为转换函数的参量,ε为预设参数;
映射模块,用于基于所述转换关系,将所述目标人脸区域的信息映射至所述三维模型。
9.根据权利要求8所述的装置,其特征在于,所述映射模块具体用于:
检测所述目标人脸区域中指定特征点的二维信息;
将所述目标人脸区域中所述指定特征点的二维信息,按照所述转换关系,转换为所述指定特征点的三维信息,并确定所述三维信息表示的所述三维模型上的对应特征点;
针对每一所述指定特征点,获取该指定特征点在所述目标人脸区域中的纹理信息,将所获取的纹理信息映射至该指定特征点的对应特征点上,得到映射后的三维模型。
10.根据权利要求8所述的装置,其特征在于,所述目标人脸区域中所述目标特征点的二维信息根据以下方式确定:
在所述目标人脸区域中的人脸在三维坐标系中的翻滚角不为0的情况下,对所述目标人脸区域进行旋转,以使得所述目标人脸区域中人脸的翻滚角为0,检测旋转后的所述目标人脸区域中的所述目标特征点,并确定每一目标特征点的二维信息;
在所述目标人脸区域中的人脸在三维坐标系中的翻滚角为0的情况下,检测所述目标人脸区域中的所述目标特征点,并确定每一目标特征点的二维信息。
11.根据权利要求8所述的装置,其特征在于,所述标识模块包括:
第一确定子模块,用于从所述目标人脸区域所包括的所述目标特征点中确定预设特征点;
标识子模块,用于在预设的三维模型上,标识出与所述预设特征点对应的映射特征点。
12.根据权利要求11所述的装置,其特征在于,所述第一确定子模块具体用于:
确定所述目标人脸区域中每一预设特征点的二维坐标;
从所确定的二维坐标中获取最小横坐标值、最小纵坐标值、最大横坐标值和最大纵坐标值;
由所述最小横坐标值和所述最小纵坐标值确定第一坐标,由所述最小横坐标值和所述最大纵坐标值确定第二坐标,由所述最大横坐标值和所述最小纵坐标值确定第三坐标,由所述最大横坐标值和所述最大纵坐标值确定第四坐标,并将所述第一坐标、所述第二坐标、所述第三坐标和所述第四坐标所确定的区域,作为所述目标人脸区域。
13.根据权利要求8所述的装置,其特征在于,所述获取模块包括:
检测子模块,用于对所述图像进行人脸检测;
第二确定子模块,用于在所述图像中仅包含一个人脸区域的情况下,将该人脸区域确定为目标人脸区域;
选取子模块,用于在所述图像中包含有至少两个人脸区域的情况下,从所述至少两个人脸区域中选取一个人脸区域作为目标人脸区域。
14.根据权利要求13所述的装置,其特征在于,所述选取子模块具体用于:
在基于所述三维模型的三维坐标系中,检测每一人脸区域中人脸的偏航角、俯仰角和翻滚角,计算每一人脸区域对应的偏航角的绝对值、俯仰角的绝对值以及翻滚角的绝对值三者之和,并将和最小的人脸区域确定为目标人脸区域;或者,
在基于所述三维模型的三维坐标系中,检测人脸区域中人脸的偏航角、俯仰角和翻滚角,并判断所检测的偏航角是否小于第一角度阈值且所检测的俯仰角是否小于第二角度阈值,如果所检测的偏航角小于所述第一角度阈值、且所检测的俯仰角小于所述第二角度阈值,则将所述人脸区域确定为目标人脸区域;或者,
检测每一人脸区域中所包括的第一指定特征点,将包含所述第一指定特征点最多的人脸区域确定为目标人脸区域;或者,
按照预设顺序对所述至少两个人脸区域进行检测,将首次检测到的包含有第二指定特征点的人脸区域,确定为目标人脸区域。
15.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取图像中的目标人脸区域;
在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点;
确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的转换关系,其中,将所述映射特征点的三维信息以及所述目标特征点的二维信息,分别代入预设的目标函数中,得到转换函数,其中,所述转换函数用于表示所述目标人脸区域中特征点的二维信息与所述三维模型上该特征点的三维信息之间的转换关系:
其中,C(X)表示目标函数,m表示目标特征点的数量,Mj表示第j个映射特征点的三维信息,Uj表示第j个目标特征点的二维信息,X(Uj)为转换函数,Ω表示目标人脸区域中的二维信息的范围,u和v均为转换函数的参量,ε为预设参数;
基于所述转换关系,将所述目标人脸区域映射至所述三维模型。
16.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种人脸图像映射方法,所述方法包括:
获取图像中的目标人脸区域;
在预设的三维模型上,标识出与所述目标人脸区域中目标特征点对应的映射特征点;
确定所述映射特征点的三维信息和所述目标特征点的二维信息之间的转换关系,其中,将所述映射特征点的三维信息以及所述目标特征点的二维信息,分别代入预设的目标函数中,得到转换函数,其中,所述转换函数用于表示所述目标人脸区域中特征点的二维信息与所述三维模型上该特征点的三维信息之间的转换关系:
其中,C(X)表示目标函数,m表示目标特征点的数量,Mj表示第j个映射特征点的三维信息,Uj表示第j个目标特征点的二维信息,X(Uj)为转换函数,Ω表示目标人脸区域中的二维信息的范围,u和v均为转换函数的参量,ε为预设参数;
基于所述转换关系,将所述目标人脸区域映射至所述三维模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910189888.0A CN109934168B (zh) | 2019-03-13 | 2019-03-13 | 人脸图像映射方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910189888.0A CN109934168B (zh) | 2019-03-13 | 2019-03-13 | 人脸图像映射方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109934168A CN109934168A (zh) | 2019-06-25 |
CN109934168B true CN109934168B (zh) | 2020-12-11 |
Family
ID=66986771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910189888.0A Active CN109934168B (zh) | 2019-03-13 | 2019-03-13 | 人脸图像映射方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109934168B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111159751A (zh) * | 2019-12-03 | 2020-05-15 | 深圳博脑医疗科技有限公司 | 三维影像的去隐私化处理方法、装置和终端设备 |
CN112363621B (zh) * | 2020-11-13 | 2024-05-14 | 北京达佳互联信息技术有限公司 | 一种终端控制方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156537A (zh) * | 2010-02-11 | 2011-08-17 | 三星电子株式会社 | 一种头部姿态检测设备及方法 |
CN108376421A (zh) * | 2018-02-28 | 2018-08-07 | 浙江神造科技有限公司 | 一种基于阴影恢复形状法生成人脸三维模型的方法 |
CN109086727A (zh) * | 2018-08-10 | 2018-12-25 | 北京奇艺世纪科技有限公司 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9747495B2 (en) * | 2012-03-06 | 2017-08-29 | Adobe Systems Incorporated | Systems and methods for creating and distributing modifiable animated video messages |
-
2019
- 2019-03-13 CN CN201910189888.0A patent/CN109934168B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156537A (zh) * | 2010-02-11 | 2011-08-17 | 三星电子株式会社 | 一种头部姿态检测设备及方法 |
CN108376421A (zh) * | 2018-02-28 | 2018-08-07 | 浙江神造科技有限公司 | 一种基于阴影恢复形状法生成人脸三维模型的方法 |
CN109086727A (zh) * | 2018-08-10 | 2018-12-25 | 北京奇艺世纪科技有限公司 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
Non-Patent Citations (1)
Title |
---|
"基于头部运动分析的考场内异常行为检测";李永恒;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115(第01期);第24,38页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109934168A (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110675310B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
US11636653B2 (en) | Method and apparatus for synthesizing virtual and real objects | |
CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
CN108470322B (zh) | 处理人脸图像的方法、装置及可读存储介质 | |
CN107944367B (zh) | 人脸关键点检测方法及装置 | |
CN107958223B (zh) | 人脸识别方法及装置、移动设备、计算机可读存储介质 | |
CN109672830B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP2016531362A (ja) | 肌色調整方法、肌色調整装置、プログラム及び記録媒体 | |
US11308692B2 (en) | Method and device for processing image, and storage medium | |
CN113643356B (zh) | 相机位姿确定、虚拟物体显示方法、装置及电子设备 | |
CN109325908B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN109978996B (zh) | 生成表情三维模型的方法、装置、终端及存储介质 | |
CN112738420B (zh) | 特效实现方法、装置、电子设备和存储介质 | |
CN110782532A (zh) | 图像生成方法、生成装置、电子设备及存储介质 | |
CN109934168B (zh) | 人脸图像映射方法及装置 | |
CN112541400A (zh) | 基于视线估计的行为识别方法及装置、电子设备、存储介质 | |
CN112331158B (zh) | 终端显示调节方法、装置、设备及存储介质 | |
US9665925B2 (en) | Method and terminal device for retargeting images | |
CN107239758B (zh) | 人脸关键点定位的方法及装置 | |
CN115100253A (zh) | 图像对比方法、装置、电子设备及存储介质 | |
EP3905660A1 (en) | Method and device for shooting image, and storage medium | |
CN113706430A (zh) | 一种图像处理方法、装置和用于图像处理的装置 | |
CN109949212B (zh) | 图像映射方法、装置、电子设备及存储介质 | |
WO2024040398A1 (zh) | 矫正函数的生成、图像矫正方法及装置 | |
WO2023206475A1 (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |