CN108876704A - 人脸图像变形的方法、装置及计算机存储介质 - Google Patents

人脸图像变形的方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN108876704A
CN108876704A CN201710557034.4A CN201710557034A CN108876704A CN 108876704 A CN108876704 A CN 108876704A CN 201710557034 A CN201710557034 A CN 201710557034A CN 108876704 A CN108876704 A CN 108876704A
Authority
CN
China
Prior art keywords
information
location information
deformation
key point
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710557034.4A
Other languages
English (en)
Other versions
CN108876704B (zh
Inventor
范浩强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Maigewei Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201710557034.4A priority Critical patent/CN108876704B/zh
Publication of CN108876704A publication Critical patent/CN108876704A/zh
Application granted granted Critical
Publication of CN108876704B publication Critical patent/CN108876704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种人脸图像变形的方法、装置及计算机存储介质,该方法包括:获取输入图像,并确定所述输入图像中的人脸区域;确定所述人脸区域中的关键点信息,所述关键点信息包括关键点的深度信息;根据所述关键点信息,确定所述人脸区域中的与变形相关的各个像素的第一位置信息,所述第一位置信息包括所述像素的深度信息;根据所述第一位置信息和变形参数,得到所述像素在变形后的第二位置信息;根据所述第二位置信息,得到所述输入图像在变形后的输出图像。由此可见,本发明实施例在图像变形的过程中,充分考虑人脸的深度信息,能够得到更加协调、真实的变形效果。

Description

人脸图像变形的方法、装置及计算机存储介质
技术领域
本发明涉及图像识别领域,更具体地涉及一种人脸图像变形的方法、装置及计算机存储介质。
背景技术
图像变形是按照一定的规则将一幅图像变为另一幅图像,在各个领域均有广泛的应用,如医学图像处理、相机滤镜、相册效果等。图像变形需实现像素点的几何位置的变换,目前常用的方法是基于二维(2D)位置的对应,例如通过嵌入网格,并改变网格的形状来实现变形。然而这些方法对于人脸图像上的变形会产生不协调感。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种人脸图像变形的方法、装置及计算机存储介质,能够得到协调的变形效果。
根据本发明的第一方面,提供了一种人脸图像变形的方法,包括:
获取输入图像,并确定所述输入图像中的人脸区域;
确定所述人脸区域中的关键点信息,所述关键点信息包括关键点的深度信息;
根据所述关键点信息,确定所述人脸区域中的与变形相关的各个像素的第一位置信息,所述第一位置信息包括所述像素的深度信息;
根据所述第一位置信息和变形参数,得到所述像素在变形后的第二位置信息;
根据所述第二位置信息,得到所述输入图像在变形后的输出图像。
示例性地,所述确定所述人脸区域中的关键点信息,包括:
利用人脸关键点检测算法,得到所述人脸区域中的所述关键点信息。
示例性地,所述根据所述关键点信息,确定所述人脸区域中的与变形相关的各个像素的第一位置信息,包括:
将所述关键点信息输入至预先训练好的反卷积神经网络,得到所述人脸区域中的与变形相关的各个像素的所述第一位置信息。
示例性地,其中所述变形参数包括三维移动距离参数、图像放大参数以及畸变程度参数,
所述根据所述第一位置信息和变形参数,得到所述像素在变形后的第二位置信息,包括:
根据所述第一位置信息、所述三维移动距离参数以及所述图像放大参数,得到三维移动重投影坐标信息;
根据所述三维移动重投影坐标信息和所述畸变程度参数,通过畸变计算得到所述第二位置信息。
示例性地,若所述第一位置信息表示为(x,y,z),所述三维移动重投影坐标信息表示为(x1,y1,z1),所述第二位置信息表示为(x2,y2),则满足:
z1=z-z0×q,x1=x×z/z1×f,y1=y×z/z1×f,以及
x2=x1×(1+a×r),y2=y1×(1+a×r),
其中,q为所述三维移动距离参数,f为所述图像放大参数,a为所述畸变程度参数,z0表示所有像素的深度信息的最小值,r=x12+y12
第二方面,提供了一种人脸图像变形的装置,包括:
获取模块,用于获取输入图像;
人脸区域确定模块,用于确定所述输入图像中的人脸区域;
关键点信息确定模块,用于确定所述人脸区域中的关键点信息,所述关键点信息包括关键点的深度信息;
深度估计模块,用于根据所述关键点信息,确定所述人脸区域中的与变形相关的各个像素的第一位置信息,所述第一位置信息包括所述像素的深度信息;
处理模块,用于根据所述第一位置信息和变形参数,得到所述像素在变形后的第二位置信息;
输出模块,用于根据所述第二位置信息,得到所述输入图像在变形后的输出图像。
示例性地,所述关键点信息确定模块,具体用于:
利用人脸关键点检测算法,得到所述人脸区域中的所述关键点信息。
示例性地,所述深度估计模块,具体用于:
将所述关键点信息输入至预先训练好的反卷积神经网络,得到所述人脸区域中的与变形相关的各个像素的所述第一位置信息。
示例性地,其中所述变形参数包括三维移动距离参数、图像放大参数以及畸变程度参数,所述处理模块,具体用于:
根据所述第一位置信息、所述三维移动距离参数以及所述图像放大参数,得到三维移动重投影坐标信息;
根据所述三维移动重投影坐标信息和所述畸变程度参数,通过畸变计算得到所述第二位置信息。
示例性地,若所述第一位置信息表示为(x,y,z),所述三维移动重投影坐标信息表示为(x1,y1,z1),所述第二位置信息表示为(x2,y2),则满足:
z1=z-z0×q,x1=x×z/z1×f,y1=y×z/z1×f,以及
x2=x1×(1+a×r),y2=y1×(1+a×r),
其中,q为所述三维移动距离参数,f为所述图像放大参数,a为所述畸变程度参数,z0表示所有像素的深度信息的最小值,r=x12+y12
该装置能够用于实现前述第一方面及其各种示例的人脸图像变形的方法。
第三方面,提供了一种人脸图像变形的装置,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面及各个示例所述方法的步骤。
第四方面,提供了一种计算机存储介质,其上存储有计算机程序,所述程序被处理器执行时实现第一方面及各个示例所述方法的步骤。
由此可见,本发明实施例在图像变形的过程中,通过由二维图像确定人脸区域中包括深度信息的关键点信息,由关键点信息确定包括深度信息的各个像素的位置信息并基于该位置信息进行变形操作,由于充分考虑人脸的深度信息,能够得到更加协调、真实的变形效果。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图;
图2是本发明实施例的人脸图像变形的方法的一个示意性流程图;
图3是本发明实施例的人脸图像变形的方法的另一个示意性流程图;
图4是本发明实施例的人脸区域中的关键点的一个示意图;
图5是本发明实施例的人脸图像变形的装置的一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备,图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或更多个处理器102、一个或更多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或更多个非图像传感器114,这些组件通过总线系统112和/或其它形式互连。应当注意,图1所示的电子设备10的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括CPU 1021和GPU 1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,例如现场可编程门阵列(Field-Programmable GateArray,FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine,ARM)等,并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或更多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory,RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory,ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或更多个计算机程序指令,处理器102可以运行所述程序指令,以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或更多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或更多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意,图1所示的电子设备10的组件和结构只是示例性的,尽管图1示出的电子设备10包括多个不同的装置,但是根据需要,其中的一些装置可以不是必须的,其中的一些装置的数量可以更多等等,本发明对此不限定。
图2是本发明实施例的人脸图像变形的方法的一个示意性流程图。图2所示的方法可以包括:
S101,获取输入图像,并确定所述输入图像中的人脸区域。
示例性地,输入图像可以是图像采集装置预先或实时采集的,输入图像也可以是从存储器中获取的,输入图像也可以是从其他的装置接收的,本发明对此不限定。其中,所述输入图像为二维图像。其中,图像采集装置可以是图1所示的图像传感器110。
示例性地,在获取输入图像后,可以使用人脸检测算法判断该输入图像中是否存在人脸区域。其中,人脸检测算法可以为预先训练好的卷积神经网络(ConvolutionalNeural Network,CNN)人脸检测器。
如果经判断确定该输入图像中不存在人脸区域,则可以重新获取输入图像,如图3所示。如果经判断确定该输入图像中存在人脸区域,则可以执行S102。
示例性地,S101中所确定的人脸区域可以表示为人脸区域在所述输入图像中的二维位置坐标。例如,人脸区域中的像素A的二维位置坐标为(x,y)。
S102,确定所述人脸区域中的关键点信息,所述关键点信息包括关键点的深度信息。
示例性地,可以利用人脸关键点检测算法,得到所述人脸区域中的所述关键点信息。
关键点的数量可以为m个(m为正整数),相应地,关键点信息可以表示为三元组(x[i],y[i],z[i])集合,1≤i≤m。其中,(x[i],y[i],z[i])表示m个关键点中第i个关键点的位置坐标,其中的z[i]为深度信息。
本发明实施例对关键点的数量不作限定,例如,m=5,如图4所示,关键点包括鼻尖、左眼、右眼、左嘴角和右嘴角。应注意,关键点的数量也可以为其他值,例如,m=7等等。
S103,根据所述关键点信息,确定所述人脸区域中的与变形相关的各个像素的第一位置信息,所述第一位置信息包括所述像素的深度信息。
其中,与变形相关的各个像素,可以为人脸区域中的全部像素,也可以为人脸区域中的部分像素,在此并不进行限定。
示例性地,根据所述关键点信息确定所述人脸区域中的与变形相关的各个像素的第一位置信息的方法可以为:将所述关键点信息输入至预先训练好的反卷积神经网络(Deconvolutional Neural Network),得到所述人脸区域中与变形相关的各个像素的所述第一位置信息。即,利用预先训练好的反卷积神经网络,把三维关键点上的深度信息拓展为人脸区域中的与变形相关的各个像素的深度信息。
示例性地,可以在S101之前,基于多个样本图像,通过训练得到该反卷积神经网络。
由此可见,在S103中,可以估计出整个人脸区域的深度信息。另外,应注意,也可以利用其他的方法得到整个人脸区域的深度信息,例如,可以利用矢量城市变换(vectorcity transform)算法,根据所述关键点信息得到所述人脸区域中的与变形相关的各个像素的所述第一位置信息。在本发明的实施例中,通过利用预先训练好的反卷积神经网络得到人脸区域中的与变形相关的各个像素的深度信息,相对于采用矢量城市变换算法等其他方法,具有更好的变换效果。
示例性地,在S103中,所得到的整个人脸区域的深度信息可以通过深度图进行表示。也就是说,S103可以认为是:确定该人脸区域的深度图,如图3所示。
示例性地,在S103中,也可以得到人脸区域附近区域的深度信息等。
S104,根据所述第一位置信息和变形参数,得到所述像素在变形后的第二位置信息。
示例性地,可以根据所需的变形效果,依据相机成像原理,根据第一位置信息得到第二位置信息。其中,第一位置信息包括深度信息,第二位置信息为变形后的二维位置信息。
作为一个示例,若所需的变形效果为鱼眼效果,即输出图像为具有鱼眼效果的图像。那么S104可以包括:根据所述第一位置信息,得到三维移动重投影坐标信息;根据所述三维移动重投影坐标信息,通过畸变计算得到所述第二位置信息。
可以针对人脸区域中的每个像素,根据该第一位置信息,计算得到三维移动重投影坐标信息,进一步再根据该三维移动重投影坐标信息,得到第二位置信息。
示例性地,变形参数包括三维移动距离参数、图像放大参数以及畸变程度参数。则S104可以包括:根据所述第一位置信息、所述三维移动距离参数以及所述图像放大参数,得到三维移动重投影坐标信息;根据所述三维移动重投影坐标信息和所述畸变程度参数,通过畸变计算得到所述第二位置信息。
具体地,对于人脸区域中的某个像素(假设为像素A),假设该像素A在输入图像中的二维位置坐标为(x,y)。若在S103中所得到的该像素A的深度信息为z,那么,该像素A的第一位置信息可以表示为(x,y,z)。
在S104中,所计算得到的三维移动重投影坐标信息可以表示为(x1,y1,z1),满足z1=z-z0×q,x1=x×z/z1×f,y1=y×z/z1×f。其中,q为三维移动距离参数,f为图像放大参数,z0表示所有像素的深度信息的最小值。也就是说,z0可以是S103得到的深度图中所有深度信息的最小值,或者可理解为z0是所有第一位置信息中的深度信息的最小值。示例性地,三维移动重投影坐标信息也可以称为变焦后的位置信息。
其中,q可以为预先确定的参数或者是用户可调整的参数,一般地,0<q<1。其中,f可以为预先设置好的参数或者可以根据其他的参数(如q)进行调整,举例来说,f=1-q。
由于x1/x=y1/y=z/z1×f,可以将z/z1×f称为坐标的缩放量。由于不同的像素的深度信息(z)不同,从而坐标的缩放量z/z1×f也不相同,因此可以更真实地模拟图像的鱼眼变形效果。
进一步地,可以基于三维移动重投影坐标信息(x1,y1,z1)进行球形畸变计算,从而得到第二位置信息。假设第二位置信息表示为(x2,y2),那么x2=x1×(1+a×r),y2=y1×(1+a×r)。其中,r=x12+y12,a为畸变程度参数,例如,a为可调整的参数。
这样,便可以得到变形后的位置信息,也就是说,对于在输入图像中二维坐标为(x,y)的像素A,其在变形后的图像中的二维坐标为(x2,y2)。
类似地,可以得到输入图像中的所有像素在变形后的二维坐标。
在本发明的实施例中,可以根据所需的变形效果预先设定变形参数,并基于第一位置信息与该变形参数,得到变形后的第二位置信息,能够确保得到的第二位置信息更加贴合所需的变形效果。
S105,根据所述第二位置信息,得到所述输入图像在变形后的输出图像。
具体地,将输入图像中的像素映射至与其对应的第二位置信息,从而得到输出图像。
例如,将在输入图像中二维坐标为(x,y)的像素A映射至二维坐标(x2,y2)。参照该过程完成所有像素的映射之后,便可以得到输出图像,即具有鱼眼效果的变形图像。
由此可见,本发明实施例在图像变形的过程中,通过由二维图像确定人脸区域中包括深度信息的关键点信息,由关键点信息确定包括深度信息的各个像素的位置信息并基于该位置信息进行变形操作,由于充分考虑人脸的深度信息,能够得到更加协调、真实的变形效果。
图5是本发明实施例的人脸图像变形的装置的一个示意性框图。图5所示的装置50包括:获取模块501、人脸区域确定模块502、关键点信息确定模块503、深度估计模块504、处理模块505、输出模块506。
获取模块501,用于获取输入图像;
人脸区域确定模块502,用于确定获取模块501获取的所述输入图像中的人脸区域;
关键点信息确定模块503,用于确定人脸区域确定模块502确定的所述人脸区域中的关键点信息,所述关键点信息包括关键点的深度信息;
深度估计模块504,用于根据关键点信息确定模块503确定的所述关键点信息,确定所述人脸区域中的与变形相关的各个像素的第一位置信息,所述第一位置信息包括所述像素的深度信息;
处理模块505,用于根据深度估计模块504确定的所述第一位置信息和变形参数,得到所述像素在变形后的第二位置信息;
输出模块506,用于根据处理模块505得到的所述第二位置信息,得到所述输入图像在变形后的输出图像。
示例性地,关键点信息确定模块503可以具体用于:利用人脸关键点检测算法,得到所述人脸区域中的所述关键点信息。
示例性地,深度估计模块504可以具体用于:将所述关键点信息输入至预先训练好的反卷积神经网络,得到所述人脸区域中的与变形相关的各个像素的所述第一位置信息。
示例性地,其中所述变形参数包括三维移动距离参数、图像放大参数以及畸变程度参数,处理模块505可以具体用于:根据所述第一位置信息、所述三维移动距离参数以及所述图像放大参数,得到三维移动重投影坐标信息;根据所述三维移动重投影坐标信息和所述畸变程度参数,通过畸变计算得到所述第二位置信息。
示例性地,若所述第一位置信息表示为(x,y,z),所述三维移动重投影坐标信息表示为(x1,y1,z1),所述第二位置信息表示为(x2,y2),则满足:
z1=z-z0×q,x1=x×z/z1×f,y1=y×z/z1×f,以及
x2=x1×(1+a×r),y2=y1×(1+a×r),
其中,q为所述三维移动距离参数,f为所述图像放大参数,a为所述畸变程度参数,z0表示所有像素的深度信息的最小值,r=x12+y12
图5所示的装置50能够实现前述图2或图3所示的人脸图像变形的方法,为避免重复,这里不再赘述。
另外,本发明实施例还提供了另一种人脸图像变形的装置,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,处理器执行所述程序时实现前述图2或图3所示方法的步骤。
另外,本发明实施例还提供了一种电子设备,该电子设备可以包括图5所示的装置50。该电子设备可以实现前述图2或图3所示的方法。
另外,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序。当所述计算机程序由处理器执行时,可以实现前述图2或图3所示方法的步骤。例如,该计算机存储介质为计算机可读存储介质。
由此可见,本发明实施例在图像变形的过程中,通过由二维图像确定人脸区域中包括深度信息的关键点信息,由关键点信息确定包括深度信息的各个像素位置信息并基于该位置信息进行变形操作,由于充分考虑人脸的深度信息,能够得到更加协调、真实的变形效果。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种人脸图像变形的方法,其特征在于,包括:
获取输入图像,并确定所述输入图像中的人脸区域;
确定所述人脸区域中的关键点信息,所述关键点信息包括关键点的深度信息;
根据所述关键点信息,确定所述人脸区域中的与变形相关的各个像素的第一位置信息,所述第一位置信息包括所述像素的深度信息;
根据所述第一位置信息和变形参数,得到所述像素在变形后的第二位置信息;
根据所述第二位置信息,得到所述输入图像在变形后的输出图像。
2.根据权利要求1所述的方法,其特征在于,所述确定所述人脸区域中的关键点信息,包括:
利用人脸关键点检测算法,得到所述人脸区域中的所述关键点信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述关键点信息,确定所述人脸区域中的与变形相关的各个像素的第一位置信息,包括:
将所述关键点信息输入至预先训练好的反卷积神经网络,得到所述人脸区域中的与变形相关的各个像素的所述第一位置信息。
4.根据权利要求1所述的方法,其特征在于,其中所述变形参数包括三维移动距离参数、图像放大参数以及畸变程度参数,所述根据所述第一位置信息和变形参数,得到所述像素在变形后的第二位置信息,包括:
根据所述第一位置信息、所述三维移动距离参数以及所述图像放大参数,得到三维移动重投影坐标信息;
根据所述三维移动重投影坐标信息和所述畸变程度参数,通过畸变计算得到所述第二位置信息。
5.根据权利要求4所述的方法,其特征在于,若所述第一位置信息表示为(x,y,z),所述三维移动重投影坐标信息表示为(x1,y1,z1),所述第二位置信息表示为(x2,y2),则满足:
z1=z-z0×q,x1=x×z/z1×f,y1=y×z/z1×f,以及
x2=x1×(1+a×r),y2=y1×(1+a×r),
其中,q为所述三维移动距离参数,f为所述图像放大参数,a为所述畸变程度参数,z0表示所有像素的深度信息的最小值,r=x12+y12
6.一种人脸图像变形的装置,其特征在于,包括:
获取模块,用于获取输入图像;
人脸区域确定模块,用于确定所述输入图像中的人脸区域;
关键点信息确定模块,用于确定所述人脸区域中的关键点信息,所述关键点信息包括关键点的深度信息;
深度估计模块,用于根据所述关键点信息,确定所述人脸区域中的与变形相关的各个像素的第一位置信息,所述第一位置信息包括所述像素的深度信息;
处理模块,用于根据所述第一位置信息和变形参数,得到所述像素在变形后的第二位置信息;
输出模块,用于根据所述第二位置信息,得到所述输入图像在变形后的输出图像。
7.根据权利要求6所述的装置,其特征在于,所述关键点信息确定模块,具体用于:
利用人脸关键点检测算法,得到所述人脸区域中的所述关键点信息。
8.根据权利要求6所述的装置,其特征在于,所述深度估计模块,具体用于:
将所述关键点信息输入至预先训练好的反卷积神经网络,得到所述人脸区域中的与变形相关的各个像素的所述第一位置信息。
9.根据权利要求6所述的装置,其特征在于,其中所述变形参数包括三维移动距离参数、图像放大参数以及畸变程度参数,所述处理模块,具体用于:
根据所述第一位置信息、所述三维移动距离参数以及所述图像放大参数,得到三维移动重投影坐标信息;
根据所述三维移动重投影坐标信息和所述畸变程度参数,通过畸变计算得到所述第二位置信息。
10.根据权利要求9所述的装置,其特征在于,若所述第一位置信息表示为(x,y,z),所述三维移动重投影坐标信息表示为(x1,y1,z1),所述第二位置信息表示为(x2,y2),则满足:
z1=z-z0×q,x1=x×z/z1×f,y1=y×z/z1×f,以及
x2=x1×(1+a×r),y2=y1×(1+a×r),
其中,q为所述三维移动距离参数,f为所述图像放大参数,a为所述畸变程度参数,z0表示所有像素的深度信息的最小值,r=x12+y12
11.一种人脸图像变形的装置,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述程序时执行权利要求1至5中任一项所述方法的步骤。
12.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器运行时执行权利要求1至5中任一项所述方法的步骤。
CN201710557034.4A 2017-07-10 2017-07-10 人脸图像变形的方法、装置及计算机存储介质 Active CN108876704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710557034.4A CN108876704B (zh) 2017-07-10 2017-07-10 人脸图像变形的方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710557034.4A CN108876704B (zh) 2017-07-10 2017-07-10 人脸图像变形的方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN108876704A true CN108876704A (zh) 2018-11-23
CN108876704B CN108876704B (zh) 2022-03-04

Family

ID=64325406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710557034.4A Active CN108876704B (zh) 2017-07-10 2017-07-10 人脸图像变形的方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN108876704B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934766A (zh) * 2019-03-06 2019-06-25 北京市商汤科技开发有限公司 一种图像处理方法及装置
CN109993067A (zh) * 2019-03-07 2019-07-09 北京旷视科技有限公司 面部关键点提取方法、装置、计算机设备和存储介质
WO2020151456A1 (zh) * 2019-01-25 2020-07-30 北京字节跳动网络技术有限公司 动物脸部的图像处理方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797474A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 电子游戏中玩家快速置入方法
US20110116720A1 (en) * 2009-11-17 2011-05-19 Samsung Electronics Co., Ltd. Method and apparatus for image processing
CN103208133A (zh) * 2013-04-02 2013-07-17 浙江大学 一种图像中人脸胖瘦的调整方法
CN104322060A (zh) * 2012-03-28 2015-01-28 英特尔公司 用于深度图的低等待时间变形的系统、方法和计算机程序产品
WO2016107638A1 (en) * 2014-12-29 2016-07-07 Keylemon Sa An image face processing method and apparatus
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797474A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 电子游戏中玩家快速置入方法
US20110116720A1 (en) * 2009-11-17 2011-05-19 Samsung Electronics Co., Ltd. Method and apparatus for image processing
CN104322060A (zh) * 2012-03-28 2015-01-28 英特尔公司 用于深度图的低等待时间变形的系统、方法和计算机程序产品
CN103208133A (zh) * 2013-04-02 2013-07-17 浙江大学 一种图像中人脸胖瘦的调整方法
WO2016107638A1 (en) * 2014-12-29 2016-07-07 Keylemon Sa An image face processing method and apparatus
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUN GONG: "A two-stage estimation method for depth estimation of facial landmarks", 《IEEE INTERNATIONAL CONFERENCE ON IDENTITY, SECURITY AND BEHAVIOR ANALYSIS (ISBA 2015)》 *
王守觉等: "图像变形计算方法及其应用", 《计算机辅助设计与图形学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020151456A1 (zh) * 2019-01-25 2020-07-30 北京字节跳动网络技术有限公司 动物脸部的图像处理方法和装置
GB2595094A (en) * 2019-01-25 2021-11-17 Beijing Bytedance Network Tech Co Ltd Method and device for processing image having animal face
GB2595094B (en) * 2019-01-25 2023-03-08 Beijing Bytedance Network Tech Co Ltd Method and device for processing image having animal face
CN109934766A (zh) * 2019-03-06 2019-06-25 北京市商汤科技开发有限公司 一种图像处理方法及装置
CN109934766B (zh) * 2019-03-06 2021-11-30 北京市商汤科技开发有限公司 一种图像处理方法及装置
US11244449B2 (en) 2019-03-06 2022-02-08 Beijing Sensetime Technology Development Co., Ltd. Image processing methods and apparatuses
CN109993067A (zh) * 2019-03-07 2019-07-09 北京旷视科技有限公司 面部关键点提取方法、装置、计算机设备和存储介质
CN109993067B (zh) * 2019-03-07 2022-01-28 北京旷视科技有限公司 面部关键点提取方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN108876704B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN107564080B (zh) 一种人脸图像的替换系统
CN109584327B (zh) 人脸老化模拟方法、装置以及设备
CN110555796A (zh) 图像调整方法、装置、存储介质以及设备
JP2018511874A (ja) 3次元モデリング方法及び装置
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN110555812A (zh) 图像调整方法、装置和计算机设备
CN108876704A (zh) 人脸图像变形的方法、装置及计算机存储介质
JP5911292B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN109165571B (zh) 用于插入图像的方法和装置
CN111105366A (zh) 图像处理方法和装置、终端设备及存储介质
CN114424239A (zh) 用于光线追踪应用中的循环模糊的去噪技术
EP3309750B1 (en) Image processing apparatus and image processing method
CN110458954B (zh) 一种等高线生成方法、装置及设备
CN106657848A (zh) 一种投影方法及电子设备
CN106803284A (zh) 构建脸部的三维图像的方法及装置
US10861174B2 (en) Selective 3D registration
CN113544732A (zh) 面部上的透视缩短失真校正
CN114170367B (zh) 无限视距椎状热图渲染的方法、装置、存储介质和设备
KR20180034387A (ko) 가상 객체와의 상호 작용을 위한 방법 및 장치
JP2023079211A (ja) イメージ処理装置及び方法
CN115861403A (zh) 一种非接触式物体体积测量方法、装置、电子设备及介质
CN112634439B (zh) 一种3d信息展示方法及装置
CN111862287A (zh) 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant