CN103593870A - 一种基于人脸的图像处理装置及其方法 - Google Patents

一种基于人脸的图像处理装置及其方法 Download PDF

Info

Publication number
CN103593870A
CN103593870A CN201310562258.6A CN201310562258A CN103593870A CN 103593870 A CN103593870 A CN 103593870A CN 201310562258 A CN201310562258 A CN 201310562258A CN 103593870 A CN103593870 A CN 103593870A
Authority
CN
China
Prior art keywords
face
point
dimensional
people
primitive man
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310562258.6A
Other languages
English (en)
Other versions
CN103593870B (zh
Inventor
俞天力
冉阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU MORPX TECHNOLOGY Co Ltd
Original Assignee
HANGZHOU MORPX TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU MORPX TECHNOLOGY Co Ltd filed Critical HANGZHOU MORPX TECHNOLOGY Co Ltd
Priority to CN201310562258.6A priority Critical patent/CN103593870B/zh
Publication of CN103593870A publication Critical patent/CN103593870A/zh
Application granted granted Critical
Publication of CN103593870B publication Critical patent/CN103593870B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于人脸的图像处理装置及其方法。装置包括：特征点定位单元，对获取的原始人脸和模板人脸进行特征点定位；三维向量模型建立单元，根据人脸训练集二维特征点建立通用的人脸三维特征向量模型；三维重建与拍摄角度估计单元，通过通用三维人脸特征向量模型以及原始人脸和模板人脸特征点，重建原始人脸和模板人脸三维人脸模型和原始人脸的拍摄角度；人脸表情匹配单元，利用原始人脸和模板人脸三维人脸模型，通过三维点的距离匹配，从不同表情模版人脸中挑选出表情最接近原始人脸的作为目标人脸；低失真变形单元，用于利用拍摄角度在三维空间将原始人脸变形到目标人脸。其可以实现人脸的不失真美化，并不受限于拍摄角度和位置。

Description

一种基于人脸的图像处理装置及其方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于人脸的图像处理装置及其方法。
背景技术
随着网络技术和数字图像获取技术的方展，人们需要将拍摄的图片或者视频传送到网络上，而对于拍摄的人像往往需要进行一定的美化和处理。但是，现有的人像处理技术需要一定的专业技能，因此现有技术出现了一些无需专业技能即可对图像中的人脸进行美化的图像处理工具。但是，现有技术中的基于人脸的图像处理工具虽然实现了人脸的美化，但是处理的图像容易出现过渡失真，破坏原有人脸的脸型。并且，现有的基于人脸的图像处理工具受限于拍摄角度和位置的限制，无法对人脸进行不失真的美化。
发明内容
有鉴于此，本发明提供一种基于人脸的图像处理装置及其方法，其可以实现人脸的不失真美化，并不受限于拍摄角度和位置。
本发明提供一种基于人脸的图像处理装置，包括：
特征点定位单元，用于对获取的原始人脸和模板人脸进行特征点定位；
三维向量模型建立单元，用于根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型；
三维重建与拍摄角度估计单元，用于通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度；
人脸表情匹配单元，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸；
低失真变形单元，用于利用拍摄角度在三维空间将原始人脸变形到目标人脸。
进一步地，本发明所述特征点定位单元，通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
进一步地，本发明所述三维向量模型建立单元包括：
矩阵生成模块，用于收集二维数据构成观测数据矩阵W的训练标注集；
矩阵分解模块，用于根据观测数据矩阵W分解出三维基向量矩阵B；
模型建立模块，用于根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
进一步地，本发明所述三维重建与拍摄角度估计单元包括：
三维重建模块，用于根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型；
拍摄角度估计模块，用于标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
进一步地，本发明所述低失真变形单元包括:
坐标对齐模块，用于将目标人脸的三维点坐标同原始人脸的三维点坐标对齐；
变形点获得模块，用于根据原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点；
变形计算模块，用于将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
进一步地，本发明所述变形计算模块采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
本发明还提供一种基于人脸的图像处理方法，包括：
步骤A，对获取的原始人脸和模板人脸进行特征点定位；
步骤B，根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型；
步骤C，通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度；
步骤D，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸；
步骤E，利用拍摄角度在三维空间将原始人脸变形到目标人脸。
进一步地，本发明所述步骤A是通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
进一步地，本发明所述步骤B包括：
步骤B1，收集二维数据构成观测数据矩阵W的训练标注集；
步骤B2，根据观测数据矩阵W分解出三维基向量矩阵B；
步骤B3，根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
进一步地，本发明所述步骤C包括：
步骤C1，根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型；
步骤C2，标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
进一步地，本发明所述步骤E包括:
步骤E1，将目标人脸的三维点坐标同原始人脸的三维点坐标对齐；
步骤E2，根据估计的原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点；
步骤E3，将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
进一步地，本发明所述步骤E3中采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
由以上技术方案可见，本发明通过三维向量模型建立单元建立通用的三维人脸特征向量模型，利用三维重建与拍摄角度估计单元重建原始人脸和模板人脸的三维人脸模型和拍摄角度，选取最接近原始人脸的模板人脸作为目标人脸，在三维空间将原始人脸变形到目标人脸。由上述可知，本发明的人脸匹配和变形都在三维空间进行，而不是在图像平面的二维空间进行，因此并不受输入人脸图片或视频的拍摄角度和位置的限制，实现不失真的人脸美化。
附图说明
图1是本发明基于人脸的图像处理装置的逻辑结构图；
图2是本发明基于人脸的图像处理方法的流程图。
具体实施方式
现代研究表明，人脸五官的位置、相对比例、脸型等在很大程度上决定了其美丑。本发明可以自动对人脸进行美化，可以将一个人脸的五官位置和脸型调整到与另一个模版人脸的五官位置和脸型相似，从而达到美化的目的。本发明对初始人脸的拍摄角度和位置没有限制，因此可以被应用于各种照片，甚至视频图像上。
参看图1，本发明一种基于人脸的图像处理装置，包括：
特征点定位单元，用于对获取的原始人脸和模板人脸进行特征点定位。
三维向量模型建立单元，用于根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型。
三维重建与拍摄角度估计单元，用于通过通用的三维人脸特征向量模型，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度。
人脸表情匹配单元，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸。
低失真变形单元，用于利用拍摄角度在三维空间将原始人脸变形到目标人脸。
进一步地，本发明所述特征点定位单元，为了最大程度地保证定位的准确性，通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；由于实时性的原因，通过自动定位的方式对原始人脸进行特征点定位。
特征点定位单元需要定位的人脸特征点包括眼角、眉毛、鼻子、嘴巴、外脸轮廓等。目前对于人脸特征点定位通常采用Active Appearance Model算法和Supervised Decent Model算法，这些算法都提供人脸上60-70个特征点的定位，在具体实现中可以根据情况选用一个算法。
进一步地，本发明所述三维向量模型建立单元包括：
矩阵生成模块，用于收集二维数据构成观测数据矩阵W的训练标注集。
对于训练标注集和模版集（模板人脸的集合），为了最大程度地保证数据的准确性，可以采取人工标注或者人工加计算机辅助标注的方式。
收集一系列训练标注集用作训练的人脸库，一般选取几千个不同角度，表情，和人物的人脸，所述标注集的所有二维数据构成一个观测数据矩阵W，根据现有技术论文A Closed-Form Solution to Non-Rigid Shape and MotionRecovery（International Journal of Computer Vision67(2),233–246,2006，JingXiao,Jin-xiang Chai,Takeo Kanade）的算法，这个观测数据矩阵W是由摄像机参数矩阵和线性系数对角矩阵的乘积M和三维基向量矩阵B的乘积构成：
W=M*B   (1)
其中，W是2f x p维的观测数据矩阵，M是2f x3k维的矩阵，是摄像机参数矩阵和线性系数对角矩阵的乘积，B是3k x p维的三维基向量矩阵。其中，k是基向量的数目，f是标注集里的图片数目，p是人脸特征点的数目，均为自然数。
矩阵分解模块，用于根据观测数据矩阵W分解出三维基向量矩阵B。
由于观测数据矩阵W是由两个低阶矩阵的乘积构成，因此可以用矩阵分解的方法将其分解成两个矩阵，从而获得三维基向量矩阵B。
模型建立模块，用于根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
为了从人脸特征点的二维分布直接计算摄像机角度和人脸的三维模型，必须构建符合大多数人脸的三维先验模型，以便从有限（通常是一桢）的二维分布数据提取出三维信息。通常做法是，假设三维人脸特征点是存在于一个低维度的子空间，所有不同人脸的三维特征点分布都可以用一系列三维特征向量的线性组合来合成，矩阵分解模块获得特征向量基Bi，那么，任何一个人脸三维特征点分布T就可以表示成为：
T＝ΣＣi×Ｂi   (2)
其中T为所有人脸特征点在三维的坐标，C为待求解的线性系数对角矩阵，B为基向量矩阵。公式（2）中的T即为建立的通用的三维人脸特征向量模型，可以根据公式（2）建立原始人脸和模板人脸的三维人脸特征向量模型。
进一步地，本发明所述三维重建与拍摄角度估计单元包括：
三维重建模块，用于根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型。
由于经过模型建立模块中的公式（2）获得了通用的三维人脸特征向量模型T，而特征点定位单元获取了原始人脸和模板人脸的特征点，因此可以建立原始人脸和模板人脸的三维人脸模型。
在获得了三维基向量矩阵B之后，任何一幅人脸图片的观测数据矩阵W'（2x p维），都可以写成摄像机参数矩阵M'（2x3维），三维基向量矩阵B(3k x p)和线性系数对角矩阵C（k x k）的乘积组成。
W′＝M′*C*B
由于三维基向量矩阵B已经从矩阵分解模块获得，现在一共有（6+K）个未知的参数（参数矩阵M'有2x3个参数，对角矩阵C有K个参数），而观测数据矩阵W'有2*p个约束，所以一般可以用双线性的最小二乘法求解获得摄像机参数矩阵M'和线性系数对角矩阵C。在得到线性系数对角矩阵C之后，原始人脸和模板人脸的三维人脸特征向量模型T即可用公式（2）计算得到。
拍摄角度估计模块，用于标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
由于各个人脸胖瘦长短不一，与摄像机在不同角度拍摄形成的变形效果相似，因此摄像机角度和线性系数对角矩阵C有一定的数学歧义，单单采用最小二乘法求解得出的拍摄角度（由2x3摄像机参数矩阵M'决定）可能与真实角度有一定的差距。通过观察发现，人的鼻子部分在摄像机的不同角度会有不同的影像，因此可以根据鼻子在照片中的样子确定对摄像机角度的约束。由鼻子的影像获得摄像机的角度可以通过标注一部分鼻子的图像数据和它相对应的摄像机角度，然后利用机器学习的方法训练出一个从鼻子的图像数据到摄像机角度的对应函数。利用这个对应函数可以生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
人脸表情匹配单元则由于输入原始人脸图像可能表情各异，如果使用表情差异比较大的模版人脸图像，会对加入不必要的表情变化，同时加大不失真变形的难度，因此根据当前原始人脸的表情选择一个合适的模版人脸非常重要。由于人脸模型库里通常有模版人物的多张不同表情的照片作为模板人脸，因此可以从人脸模型库获得同一模版人物的多种不同表情的模板人脸，比如微笑，严肃，说话等等。三维重建与拍摄角度估计单元将原始人脸和模板人脸在三维空间内重建，建立原始人脸和模板人脸的三维人脸模型，利用原始人脸和模板人脸的三维模型，通过三维点的距离匹配，可以从不同表情的模版人脸中挑选出一个表情最近接近原始人脸的模板人脸作为目标人脸，如以下公式所示：
S＝argmin Si|-Sti|∈A
其中A是人脸模版的不同表情集合，S为选取的最优表情的人脸特征点的三维坐标。
进一步地，本发明所述低失真变形单元包括:
坐标对齐模块，用于将目标人脸的三维点坐标同原始人脸的三维点坐标对齐。
变形点获得模块，用于根据估计的原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点。
变形计算模块，用于将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
但是由于人脸五官对于变形失真非常敏感，稍有过度变形就会破坏人脸的美观，针对这种情况，本发明将变形的约束分为两大类，一种是点对点的约束，一种是点对线的约束。点对点的约束，是指起始点在变型以后必须到达目标点，点对线的约束，是指起始点只要在变形之后到达目标线就可以了，不需要固定在一个点。这两种约束是针对人脸上两种不同的特征点来设计的。对于眼角，嘴角，鼻尖和鼻侧等主特征点可以用点对点的约束，而对于其他的非主特征点，比如脸颊上，嘴唇，眼帘上的特征点，它们的目的只是确定相应曲线的横向位置，因此不需要做到点对点对应。相反，如果采用点对点对应的变型，就会在有些情况下引入不必要的变形，从而破坏人脸的美感。
对于点对线的约束的实现，必须将其转换为点对点的约束，才可以用现成的图像变形算法。
进一步地，本发明所述变形计算模块采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小，实际上这是为了让人脸能够更加自然地进行变形。比如说，对于脸颊上的一个特征点，它的目标是目标人脸上的脸颊线，但是对于究竟位移到哪个点并没有实际的要求，这时候，就要根据其他相邻点的位移目标，比如说眼角的位移作为参考，同时带动脸颊上点沿目标线进行同步位移，这样可以避免过度的脸部拉伸，造成失真。
至于实现上述两个条件的算法，本发明采取步骤：
将起始变形点投射到目标线上，找到对应点；
计算对应点在切线上所需要的位移，这个位移应该是邻近点到点约束的位移的加权平均，并投射到切线方向；
沿切线方向从对应点加上从步骤B中估计的位移量，确定最终目标点。
在将所有的点到线约束都转换成点到点约束之后，就可以用通用的图像变形算法将原始人脸变形到目标人脸了。
参看图2，相对于上述装置，本发明还提供一种基于人脸的图像处理方法，包括：
步骤A，对获取的原始人脸和模板人脸进行特征点定位。
步骤B，根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型。
步骤C，通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度。
步骤D，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸。
步骤E，利用拍摄角度在三维空间将原始人脸变形到目标人脸。
所述步骤A是通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
特征点定位单元需要定位的人脸特征点包括眼角、眉毛、鼻子、嘴巴、外脸轮廓等。目前对于人脸特征点定位通常采用Active Appearance Model算法和Supervised Decent Model算法，这些算法都提供人脸上60-70个特征点的定位，在具体实现中可以根据情况选用一个算法。
所述步骤B包括：
步骤B1，收集二维数据构成观测数据矩阵W的训练标注集。
步骤B2，根据观测数据矩阵W分解出三维基向量矩阵B。
步骤B3，根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
所述步骤C包括：
步骤C1，根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型。
步骤C2，标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
所述步骤E包括:
步骤E1，将目标人脸的三维点坐标同原始人脸的三维点坐标对齐。
步骤E2，根据估计的原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点。
步骤E3，将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
所述步骤E3中采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种基于人脸的图像处理装置，其特征在于，包括：
特征点定位单元，用于对获取的原始人脸和模板人脸进行特征点定位；
三维向量模型建立单元，用于根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型；
三维重建与拍摄角度估计单元，用于通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度；
人脸表情匹配单元，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸；
低失真变形单元，用于利用拍摄角度在三维空间将原始人脸变形到目标人脸。
2.根据权利要求1所述的装置，其特征在于，所述特征点定位单元，通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
3.根据权利要求1所述的装置，其特征在于，所述三维向量模型建立单元包括：
矩阵生成模块，用于收集二维数据构成观测数据矩阵W的训练标注集；
矩阵分解模块，用于根据观测数据矩阵W分解出三维基向量矩阵B；
模型建立模块，用于根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
4.根据权利要求1所述的装置，其特征在于，所述三维重建与拍摄角度估计单元包括：
三维重建模块，用于根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型；
拍摄角度估计模块，用于标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
5.根据权利要求1所述的装置，其特征在于，所述低失真变形单元包括:
坐标对齐模块，用于将目标人脸的三维点坐标同原始人脸的三维点坐标对齐；
变形点获得模块，用于根据原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点；
变形计算模块，用于将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
6.根据权利要求5所述的装置，其特征在于，所述变形计算模块采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
7.一种基于人脸的图像处理方法，其特征在于，包括：
步骤A，对获取的原始人脸和模板人脸进行特征点定位；
步骤B，根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型；
步骤C，通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度；
步骤D，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸；
步骤E，利用拍摄角度在三维空间将原始人脸变形到目标人脸。
8.根据权利要求7所述的方法，其特征在于，所述步骤A是通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
9.根据权利要求7所述的方法，其特征在于，所述步骤B包括：
步骤B1，收集二维数据构成观测数据矩阵W的训练标注集；
步骤B2，根据观测数据矩阵W分解出三维基向量矩阵B；
步骤B3，根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
10.根据权利要求7所述的方法，其特征在于，所述步骤C包括：
步骤C1，根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型；
步骤C2，标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
11.根据权利要求7所述的方法，其特征在于，所述步骤E包括:
步骤E1，将目标人脸的三维点坐标同原始人脸的三维点坐标对齐；
步骤E2，根据估计的原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点；
步骤E3，将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
12.根据权利要求11所述的方法，其特征在于，所述步骤E3中采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
CN201310562258.6A 2013-11-12 2013-11-12 一种基于人脸的图像处理装置及其方法 Expired - Fee Related CN103593870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310562258.6A CN103593870B (zh) 2013-11-12 2013-11-12 一种基于人脸的图像处理装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310562258.6A CN103593870B (zh) 2013-11-12 2013-11-12 一种基于人脸的图像处理装置及其方法

Publications (2)

Publication Number Publication Date
CN103593870A true CN103593870A (zh) 2014-02-19
CN103593870B CN103593870B (zh) 2016-08-17

Family

ID=50083994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310562258.6A Expired - Fee Related CN103593870B (zh) 2013-11-12 2013-11-12 一种基于人脸的图像处理装置及其方法

Country Status (1)

Country Link
CN (1) CN103593870B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN104123562A (zh) * 2014-07-10 2014-10-29 华东师范大学 一种基于双目视觉的人体面部表情识别方法及其装置
WO2015192369A1 (en) * 2014-06-20 2015-12-23 Intel Corporation 3d face model reconstruction apparatus and method
CN105405104A (zh) * 2015-09-24 2016-03-16 华为技术有限公司 一种人脸图像校正的方法及装置
CN106327588A (zh) * 2015-07-01 2017-01-11 中兴通讯股份有限公司 智能终端及其图像处理方法和装置
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107564049A (zh) * 2017-09-08 2018-01-09 北京达佳互联信息技术有限公司 人脸模型重建方法、装置以及存储介质、计算机设备
CN107995428A (zh) * 2017-12-21 2018-05-04 广东欧珀移动通信有限公司 图像处理方法、装置及存储介质和移动终端
CN108510581A (zh) * 2018-03-30 2018-09-07 盎锐（上海）信息科技有限公司 数据获取方法及模型生成装置
CN108537880A (zh) * 2018-03-30 2018-09-14 盎锐（上海）信息科技有限公司 具有图像比较功能的数据获取方法及模型生成装置
CN109377556A (zh) * 2018-11-22 2019-02-22 厦门美图之家科技有限公司 人脸图像特征处理方法及装置
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
CN110796075A (zh) * 2019-10-28 2020-02-14 深圳前海微众银行股份有限公司 人脸多样性数据获取方法、装置、设备及可读存储介质
WO2020037863A1 (zh) * 2018-08-24 2020-02-27 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
WO2020042720A1 (zh) * 2018-08-28 2020-03-05 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN112836904A (zh) * 2021-04-07 2021-05-25 复旦大学附属中山医院 基于人脸特征点的身体质量指数预测方法
CN114581978A (zh) * 2022-02-28 2022-06-03 支付宝(杭州)信息技术有限公司 人脸识别的方法和系统
CN115115781A (zh) * 2022-07-01 2022-09-27 郑州航空工业管理学院 一种云协同的图像处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060280380A1 (en) * 2005-06-14 2006-12-14 Fuji Photo Film Co., Ltd. Apparatus, method, and program for image processing
CN101916454A (zh) * 2010-04-08 2010-12-15 董洪伟 基于网格变形和连续优化的高分辨率人脸重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060280380A1 (en) * 2005-06-14 2006-12-14 Fuji Photo Film Co., Ltd. Apparatus, method, and program for image processing
CN101916454A (zh) * 2010-04-08 2010-12-15 董洪伟 基于网格变形和连续优化的高分辨率人脸重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭晋斌: ""基于流行运动群不变量的非刚体重建方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01, 15 January 2013 (2013-01-15) *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015192369A1 (en) * 2014-06-20 2015-12-23 Intel Corporation 3d face model reconstruction apparatus and method
CN104036546B (zh) * 2014-06-30 2017-01-11 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN104123562A (zh) * 2014-07-10 2014-10-29 华东师范大学 一种基于双目视觉的人体面部表情识别方法及其装置
CN106327588A (zh) * 2015-07-01 2017-01-11 中兴通讯股份有限公司 智能终端及其图像处理方法和装置
CN105405104B (zh) * 2015-09-24 2018-05-29 华为技术有限公司 一种人脸图像校正的方法及装置
CN105405104A (zh) * 2015-09-24 2016-03-16 华为技术有限公司 一种人脸图像校正的方法及装置
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN106920274B (zh) * 2017-01-20 2020-09-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107564049B (zh) * 2017-09-08 2019-03-29 北京达佳互联信息技术有限公司 人脸模型重建方法、装置以及存储介质、计算机设备
CN107564049A (zh) * 2017-09-08 2018-01-09 北京达佳互联信息技术有限公司 人脸模型重建方法、装置以及存储介质、计算机设备
CN107995428A (zh) * 2017-12-21 2018-05-04 广东欧珀移动通信有限公司 图像处理方法、装置及存储介质和移动终端
CN107995428B (zh) * 2017-12-21 2020-02-07 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质和移动终端
CN108537880A (zh) * 2018-03-30 2018-09-14 盎锐（上海）信息科技有限公司 具有图像比较功能的数据获取方法及模型生成装置
CN108510581A (zh) * 2018-03-30 2018-09-07 盎锐（上海）信息科技有限公司 数据获取方法及模型生成装置
WO2020037863A1 (zh) * 2018-08-24 2020-02-27 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
US11170554B2 (en) 2018-08-24 2021-11-09 Beijing Bytedance Network Technology Co., Ltd. Three-dimensional face image reconstruction method and device, and computer readable storage medium
WO2020042720A1 (zh) * 2018-08-28 2020-03-05 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
US11302064B2 (en) 2018-08-28 2022-04-12 Tencent Technology (Shenzhen) Company Limited Method and apparatus for reconstructing three-dimensional model of human body, and storage medium
CN109377556A (zh) * 2018-11-22 2019-02-22 厦门美图之家科技有限公司 人脸图像特征处理方法及装置
CN109377556B (zh) * 2018-11-22 2022-11-01 厦门美图之家科技有限公司 人脸图像特征处理方法及装置
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
CN109377544B (zh) * 2018-11-30 2022-12-23 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
CN110796075A (zh) * 2019-10-28 2020-02-14 深圳前海微众银行股份有限公司 人脸多样性数据获取方法、装置、设备及可读存储介质
CN110796075B (zh) * 2019-10-28 2024-02-02 深圳前海微众银行股份有限公司 人脸多样性数据获取方法、装置、设备及可读存储介质
CN112836904A (zh) * 2021-04-07 2021-05-25 复旦大学附属中山医院 基于人脸特征点的身体质量指数预测方法
CN114581978A (zh) * 2022-02-28 2022-06-03 支付宝(杭州)信息技术有限公司 人脸识别的方法和系统
CN115115781A (zh) * 2022-07-01 2022-09-27 郑州航空工业管理学院 一种云协同的图像处理方法及系统

Also Published As

Publication number Publication date
CN103593870B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN103593870A (zh) 一种基于人脸的图像处理装置及其方法
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
US11600013B2 (en) Facial features tracker with advanced training for natural rendering of human faces in real-time
CN110807836B (zh) 三维人脸模型的生成方法、装置、设备及介质
CN108876879B (zh) 人脸动画实现的方法、装置、计算机设备及存储介质
Ren et al. Depth camera based hand gesture recognition and its applications in human-computer-interaction
Cao et al. 3D shape regression for real-time facial animation
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN106778628A (zh) 一种基于tof深度相机的面部表情捕捉方法
CN107657664B (zh) 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
CN109919141A (zh) 一种基于骨架姿态的行人再识别方法
CN101303772A (zh) 一种基于单幅图像的非线性三维人脸建模方法
Jeni et al. The first 3d face alignment in the wild (3dfaw) challenge
CN101916454A (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
US20220292772A1 (en) Methods and systems for constructing facial position map
CN104008564A (zh) 一种人脸表情克隆方法
Shu et al. Kinship-guided age progression
CN110796719A (zh) 一种实时人脸表情重建方法
CN102567716A (zh) 一种人脸合成系统及实现方法
EP4214685A1 (en) Methods and systems for forming personalized 3d head and facial models
WO2022197429A1 (en) Methods and systems for extracting color from facial image
CN113822174B (zh) 视线估计的方法、电子设备及存储介质
CN114049442A (zh) 三维人脸视线计算方法
CN111768476A (zh) 一种基于网格变形的表情动画重定向方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160817

CF01 Termination of patent right due to non-payment of annual fee