CN103593870B - 一种基于人脸的图像处理装置及其方法 - Google Patents
一种基于人脸的图像处理装置及其方法 Download PDFInfo
- Publication number
- CN103593870B CN103593870B CN201310562258.6A CN201310562258A CN103593870B CN 103593870 B CN103593870 B CN 103593870B CN 201310562258 A CN201310562258 A CN 201310562258A CN 103593870 B CN103593870 B CN 103593870B
- Authority
- CN
- China
- Prior art keywords
- face
- point
- dimensional
- original
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 title claims abstract description 13
- 230000014509 gene expression Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000008921 facial expression Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 61
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011121 hardwood Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于人脸的图像处理装置及其方法。装置包括：特征点定位单元，对获取的原始人脸和模板人脸进行特征点定位；三维向量模型建立单元，根据人脸训练集二维特征点建立通用的人脸三维特征向量模型；三维重建与拍摄角度估计单元，通过通用三维人脸特征向量模型以及原始人脸和模板人脸特征点，重建原始人脸和模板人脸三维人脸模型和原始人脸的拍摄角度；人脸表情匹配单元，利用原始人脸和模板人脸三维人脸模型，通过三维点的距离匹配，从不同表情模版人脸中挑选出表情最接近原始人脸的作为目标人脸；低失真变形单元，用于利用拍摄角度在三维空间将原始人脸变形到目标人脸。其可以实现人脸的不失真美化，并不受限于拍摄角度和位置。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于人脸的图像处理装置及其方法。
背景技术
随着网络技术和数字图像获取技术的方展，人们需要将拍摄的图片或者视频传送到网络上，而对于拍摄的人像往往需要进行一定的美化和处理。但是，现有的人像处理技术需要一定的专业技能，因此现有技术出现了一些无需专业技能即可对图像中的人脸进行美化的图像处理工具。但是，现有技术中的基于人脸的图像处理工具虽然实现了人脸的美化，但是处理的图像容易出现过渡失真，破坏原有人脸的脸型。并且，现有的基于人脸的图像处理工具受限于拍摄角度和位置的限制，无法对人脸进行不失真的美化。
发明内容
有鉴于此，本发明提供一种基于人脸的图像处理装置及其方法，其可以实现人脸的不失真美化，并不受限于拍摄角度和位置。
本发明提供一种基于人脸的图像处理装置，包括：
特征点定位单元，用于对获取的原始人脸和模板人脸进行特征点定位；
三维向量模型建立单元，用于根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型；
三维重建与拍摄角度估计单元，用于通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度；
人脸表情匹配单元，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸；
低失真变形单元，用于利用拍摄角度在三维空间将原始人脸变形到目标人脸。
进一步地，本发明所述特征点定位单元，通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
进一步地，本发明所述三维向量模型建立单元包括：
矩阵生成模块，用于收集二维数据构成观测数据矩阵W的训练标注集；
矩阵分解模块，用于根据观测数据矩阵W分解出三维基向量矩阵B；
模型建立模块，用于根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
进一步地，本发明所述三维重建与拍摄角度估计单元包括：
三维重建模块，用于根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型；
拍摄角度估计模块，用于标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
进一步地，本发明所述低失真变形单元包括:
坐标对齐模块，用于将目标人脸的三维点坐标同原始人脸的三维点坐标对齐；
变形点获得模块，用于根据原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点；
变形计算模块，用于将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
进一步地，本发明所述变形计算模块采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
本发明还提供一种基于人脸的图像处理方法，包括：
步骤A，对获取的原始人脸和模板人脸进行特征点定位；
步骤B，根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型；
步骤C，通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度；
步骤D，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸；
步骤E，利用拍摄角度在三维空间将原始人脸变形到目标人脸。
进一步地，本发明所述步骤A是通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
进一步地，本发明所述步骤B包括：
步骤B1，收集二维数据构成观测数据矩阵W的训练标注集；
步骤B2，根据观测数据矩阵W分解出三维基向量矩阵B；
步骤B3，根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
进一步地，本发明所述步骤C包括：
步骤C1，根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型；
步骤C2，标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
进一步地，本发明所述步骤E包括:
步骤E1，将目标人脸的三维点坐标同原始人脸的三维点坐标对齐；
步骤E2，根据估计的原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点；
步骤E3，将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
进一步地，本发明所述步骤E3中采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
由以上技术方案可见，本发明通过三维向量模型建立单元建立通用的三维人脸特征向量模型，利用三维重建与拍摄角度估计单元重建原始人脸和模板人脸的三维人脸模型和拍摄角度，选取最接近原始人脸的模板人脸作为目标人脸，在三维空间将原始人脸变形到目标人脸。由上述可知，本发明的人脸匹配和变形都在三维空间进行，而不是在图像平面的二维空间进行，因此并不受输入人脸图片或视频的拍摄角度和位置的限制，实现不失真的人脸美化。
附图说明
图1是本发明基于人脸的图像处理装置的逻辑结构图；
图2是本发明基于人脸的图像处理方法的流程图。
具体实施方式
现代研究表明，人脸五官的位置、相对比例、脸型等在很大程度上决定了其美丑。本发明可以自动对人脸进行美化，可以将一个人脸的五官位置和脸型调整到与另一个模版人脸的五官位置和脸型相似，从而达到美化的目的。本发明对初始人脸的拍摄角度和位置没有限制，因此可以被应用于各种照片，甚至视频图像上。
参看图1，本发明一种基于人脸的图像处理装置，包括：
特征点定位单元，用于对获取的原始人脸和模板人脸进行特征点定位。
三维向量模型建立单元，用于根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型。
三维重建与拍摄角度估计单元，用于通过通用的三维人脸特征向量模型，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度。
人脸表情匹配单元，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸。
低失真变形单元，用于利用拍摄角度在三维空间将原始人脸变形到目标人脸。
进一步地，本发明所述特征点定位单元，为了最大程度地保证定位的准确性，通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；由于实时性的原因，通过自动定位的方式对原始人脸进行特征点定位。
特征点定位单元需要定位的人脸特征点包括眼角、眉毛、鼻子、嘴巴、外脸轮廓等。目前对于人脸特征点定位通常采用Active Appearance Model算法和Supervised Decent Model算法，这些算法都提供人脸上60-70个特征点的定位，在具体实现中可以根据情况选用一个算法。
进一步地，本发明所述三维向量模型建立单元包括：
矩阵生成模块，用于收集二维数据构成观测数据矩阵W的训练标注集。
对于训练标注集和模版集（模板人脸的集合），为了最大程度地保证数据的准确性，可以采取人工标注或者人工加计算机辅助标注的方式。
收集一系列训练标注集用作训练的人脸库，一般选取几千个不同角度，表情，和人物的人脸，所述标注集的所有二维数据构成一个观测数据矩阵W，根据现有技术论文A Closed-Form Solution to Non-Rigid Shape and MotionRecovery（International Journal of Computer Vision67(2),233–246,2006，JingXiao,Jin-xiang Chai,Takeo Kanade）的算法，这个观测数据矩阵W是由摄像机参数矩阵和线性系数对角矩阵的乘积M和三维基向量矩阵B的乘积构成：
W=M*B (1)
其中，W是2f x p维的观测数据矩阵，M是2f x3k维的矩阵，是摄像机参数矩阵和线性系数对角矩阵的乘积，B是3k x p维的三维基向量矩阵。其中，k是基向量的数目，f是标注集里的图片数目，p是人脸特征点的数目，均为自然数。
矩阵分解模块，用于根据观测数据矩阵W分解出三维基向量矩阵B。
由于观测数据矩阵W是由两个低阶矩阵的乘积构成，因此可以用矩阵分解的方法将其分解成两个矩阵，从而获得三维基向量矩阵B。
模型建立模块，用于根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
为了从人脸特征点的二维分布直接计算摄像机角度和人脸的三维模型，必须构建符合大多数人脸的三维先验模型，以便从有限（通常是一桢）的二维分布数据提取出三维信息。通常做法是，假设三维人脸特征点是存在于一个低维度的子空间，所有不同人脸的三维特征点分布都可以用一系列三维特征向量的线性组合来合成，矩阵分解模块获得特征向量基Bi，那么，任何一个人脸三维特征点分布T就可以表示成为：
T＝ΣＣi×Ｂi (2)
其中T为所有人脸特征点在三维的坐标，C为待求解的线性系数对角矩阵，B为基向量矩阵。公式（2）中的T即为建立的通用的三维人脸特征向量模型，可以根据公式（2）建立原始人脸和模板人脸的三维人脸特征向量模型。
进一步地，本发明所述三维重建与拍摄角度估计单元包括：
三维重建模块，用于根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型。
由于经过模型建立模块中的公式（2）获得了通用的三维人脸特征向量模型T，而特征点定位单元获取了原始人脸和模板人脸的特征点，因此可以建立原始人脸和模板人脸的三维人脸模型。
在获得了三维基向量矩阵B之后，任何一幅人脸图片的观测数据矩阵W'（2x p维），都可以写成摄像机参数矩阵M'（2x3维），三维基向量矩阵B(3k x p)和线性系数对角矩阵C（k x k）的乘积组成。
W′＝M′*C*B
由于三维基向量矩阵B已经从矩阵分解模块获得，现在一共有（6+K）个未知的参数（参数矩阵M'有2x3个参数，对角矩阵C有K个参数），而观测数据矩阵W'有2*p个约束，所以一般可以用双线性的最小二乘法求解获得摄像机参数矩阵M'和线性系数对角矩阵C。在得到线性系数对角矩阵C之后，原始人脸和模板人脸的三维人脸特征向量模型T即可用公式（2）计算得到。
拍摄角度估计模块，用于标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
由于各个人脸胖瘦长短不一，与摄像机在不同角度拍摄形成的变形效果相似，因此摄像机角度和线性系数对角矩阵C有一定的数学歧义，单单采用最小二乘法求解得出的拍摄角度（由2x3摄像机参数矩阵M'决定）可能与真实角度有一定的差距。通过观察发现，人的鼻子部分在摄像机的不同角度会有不同的影像，因此可以根据鼻子在照片中的样子确定对摄像机角度的约束。由鼻子的影像获得摄像机的角度可以通过标注一部分鼻子的图像数据和它相对应的摄像机角度，然后利用机器学习的方法训练出一个从鼻子的图像数据到摄像机角度的对应函数。利用这个对应函数可以生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
人脸表情匹配单元则由于输入原始人脸图像可能表情各异，如果使用表情差异比较大的模版人脸图像，会对加入不必要的表情变化，同时加大不失真变形的难度，因此根据当前原始人脸的表情选择一个合适的模版人脸非常重要。由于人脸模型库里通常有模版人物的多张不同表情的照片作为模板人脸，因此可以从人脸模型库获得同一模版人物的多种不同表情的模板人脸，比如微笑，严肃，说话等等。三维重建与拍摄角度估计单元将原始人脸和模板人脸在三维空间内重建，建立原始人脸和模板人脸的三维人脸模型，利用原始人脸和模板人脸的三维模型，通过三维点的距离匹配，可以从不同表情的模版人脸中挑选出一个表情最近接近原始人脸的模板人脸作为目标人脸，如以下公式所示：
S＝argmin Si|-Sti|∈A
其中A是人脸模版的不同表情集合，S为选取的最优表情的人脸特征点的三维坐标。
进一步地，本发明所述低失真变形单元包括:
坐标对齐模块，用于将目标人脸的三维点坐标同原始人脸的三维点坐标对齐。
变形点获得模块，用于根据估计的原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点。
变形计算模块，用于将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
但是由于人脸五官对于变形失真非常敏感，稍有过度变形就会破坏人脸的美观，针对这种情况，本发明将变形的约束分为两大类，一种是点对点的约束，一种是点对线的约束。点对点的约束，是指起始点在变型以后必须到达目标点，点对线的约束，是指起始点只要在变形之后到达目标线就可以了，不需要固定在一个点。这两种约束是针对人脸上两种不同的特征点来设计的。对于眼角，嘴角，鼻尖和鼻侧等主特征点可以用点对点的约束，而对于其他的非主特征点，比如脸颊上，嘴唇，眼帘上的特征点，它们的目的只是确定相应曲线的横向位置，因此不需要做到点对点对应。相反，如果采用点对点对应的变型，就会在有些情况下引入不必要的变形，从而破坏人脸的美感。
对于点对线的约束的实现，必须将其转换为点对点的约束，才可以用现成的图像变形算法。
进一步地，本发明所述变形计算模块采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小，实际上这是为了让人脸能够更加自然地进行变形。比如说，对于脸颊上的一个特征点，它的目标是目标人脸上的脸颊线，但是对于究竟位移到哪个点并没有实际的要求，这时候，就要根据其他相邻点的位移目标，比如说眼角的位移作为参考，同时带动脸颊上点沿目标线进行同步位移，这样可以避免过度的脸部拉伸，造成失真。
至于实现上述两个条件的算法，本发明采取步骤：
将起始变形点投射到目标线上，找到对应点；
计算对应点在切线上所需要的位移，这个位移应该是邻近点到点约束的位移的加权平均，并投射到切线方向；
沿切线方向从对应点加上从步骤B中估计的位移量，确定最终目标点。
在将所有的点到线约束都转换成点到点约束之后，就可以用通用的图像变形算法将原始人脸变形到目标人脸了。
参看图2，相对于上述装置，本发明还提供一种基于人脸的图像处理方法，包括：
步骤A，对获取的原始人脸和模板人脸进行特征点定位。
步骤B，根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型。
步骤C，通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度。
步骤D，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸。
步骤E，利用拍摄角度在三维空间将原始人脸变形到目标人脸。
所述步骤A是通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
特征点定位单元需要定位的人脸特征点包括眼角、眉毛、鼻子、嘴巴、外脸轮廓等。目前对于人脸特征点定位通常采用Active Appearance Model算法和Supervised Decent Model算法，这些算法都提供人脸上60-70个特征点的定位，在具体实现中可以根据情况选用一个算法。
所述步骤B包括：
步骤B1，收集二维数据构成观测数据矩阵W的训练标注集。
步骤B2，根据观测数据矩阵W分解出三维基向量矩阵B。
步骤B3，根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
所述步骤C包括：
步骤C1，根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型。
步骤C2，标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
所述步骤E包括:
步骤E1，将目标人脸的三维点坐标同原始人脸的三维点坐标对齐。
步骤E2，根据估计的原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点。
步骤E3，将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
所述步骤E3中采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种基于人脸的图像处理装置，其特征在于，包括：
特征点定位单元，用于对获取的原始人脸和模板人脸进行特征点定位；
三维向量模型建立单元，用于根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型；
三维重建与拍摄角度估计单元，用于通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度；
人脸表情匹配单元，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸；
低失真变形单元，用于利用拍摄角度在三维空间将原始人脸变形到目标人脸；
其中，所述三维重建与拍摄角度估计单元包括：
三维重建模块，用于根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型；
拍摄角度估计模块，用于标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
2.根据权利要求1所述的装置，其特征在于，所述特征点定位单元，通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
3.根据权利要求1所述的装置，其特征在于，所述三维向量模型建立单元包括：
矩阵生成模块，用于收集二维数据构成观测数据矩阵W的训练标注集；
矩阵分解模块，用于根据观测数据矩阵W分解出三维基向量矩阵B；
模型建立模块，用于根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
4.根据权利要求1所述的装置，其特征在于，所述低失真变形单元包括:
坐标对齐模块，用于将目标人脸的三维点坐标同原始人脸的三维点坐标对齐；
变形点获得模块，用于根据原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点；
变形计算模块，用于将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
5.根据权利要求4所述的装置，其特征在于，所述变形计算模块采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
6.一种基于人脸的图像处理方法，其特征在于，包括：
步骤A，对获取的原始人脸和模板人脸进行特征点定位；
步骤B，根据一个人脸训练集的二维特征点建立通用的人脸的三维特征向量模型；
步骤C，通过通用的三维人脸特征向量模型以及原始人脸和模板人脸的特征点，重建原始人脸和模板人脸的三维人脸模型和原始人脸的拍摄角度；
步骤D，利用原始人脸和模板人脸的三维人脸模型，通过三维点的距离匹配，从不同表情的模版人脸中挑选出表情最接近原始人脸的作为目标人脸；
步骤E，利用拍摄角度在三维空间将原始人脸变形到目标人脸；
其中，所述步骤C包括：
步骤C1，根据通用的三维人脸特征向量模型建立原始人脸和模板人脸的三维人脸模型；
步骤C2，标注鼻子图像数据及其相对应的摄像机角度，获得鼻子图像数据到摄像机角度的对应函数，并利用所述函数生成对摄像机角度的约束条件，得到原始人脸的拍摄角度。
7.根据权利要求6所述的方法，其特征在于，所述步骤A是通过自动定位或者自动定位结合人工辅助定位的方式对模板人脸进行特征点定位；通过自动定位的方式对原始人脸进行特征点定位。
8.根据权利要求6所述的方法，其特征在于，所述步骤B包括：
步骤B1，收集二维数据构成观测数据矩阵W的训练标注集；
步骤B2，根据观测数据矩阵W分解出三维基向量矩阵B；
步骤B3，根据三维基向量矩阵B建立通用的三维人脸特征向量模型。
9.根据权利要求6所述的方法，其特征在于，所述步骤E包括:
步骤E1，将目标人脸的三维点坐标同原始人脸的三维点坐标对齐；
步骤E2，根据估计的原始人脸的拍摄角度，将目标人脸的三维点坐标投射到原始人脸的图像平面，作为目标变形点；特征点定位单元获取的原始人脸的特征点位置为起始变形点；
步骤E3，将原始人脸的主特征点采用点对点的约束变形到目标变形点，对原始人脸的非主特征点采用点对线的约束变形到目标变形点。
10.根据权利要求9所述的方法，其特征在于，所述步骤E3中采用点对线约束变形到的目标变形点须在约束线上且与其他点对点约束变形到的目标变形点造成的变形最小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310562258.6A CN103593870B (zh) | 2013-11-12 | 2013-11-12 | 一种基于人脸的图像处理装置及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310562258.6A CN103593870B (zh) | 2013-11-12 | 2013-11-12 | 一种基于人脸的图像处理装置及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103593870A CN103593870A (zh) | 2014-02-19 |
| CN103593870B true CN103593870B (zh) | 2016-08-17 |
Family
ID=50083994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310562258.6A Expired - Fee Related CN103593870B (zh) | 2013-11-12 | 2013-11-12 | 一种基于人脸的图像处理装置及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103593870B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9679412B2 (en) * | 2014-06-20 | 2017-06-13 | Intel Corporation | 3D face model reconstruction apparatus and method |
| CN104036546B (zh) * | 2014-06-30 | 2017-01-11 | 清华大学 | 一种基于自适应形变模型的任意视角人脸三维重构方法 |
| CN104123562A (zh) * | 2014-07-10 | 2014-10-29 | 华东师范大学 | 一种基于双目视觉的人体面部表情识别方法及其装置 |
| CN106327588B (zh) * | 2015-07-01 | 2022-04-29 | 中兴通讯股份有限公司 | 智能终端及其图像处理方法和装置 |
| CN105405104B (zh) * | 2015-09-24 | 2018-05-29 | 华为技术有限公司 | 一种人脸图像校正的方法及装置 |
| CN106920274B (zh) * | 2017-01-20 | 2020-09-04 | 南京开为网络科技有限公司 | 移动端2d关键点快速转换为3d融合变形的人脸建模方法 |
| CN107564049B (zh) * | 2017-09-08 | 2019-03-29 | 北京达佳互联信息技术有限公司 | 人脸模型重建方法、装置以及存储介质、计算机设备 |
| CN107995428B (zh) * | 2017-12-21 | 2020-02-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置及存储介质和移动终端 |
| CN108510581A (zh) * | 2018-03-30 | 2018-09-07 | 盎锐（上海）信息科技有限公司 | 数据获取方法及模型生成装置 |
| CN108537880A (zh) * | 2018-03-30 | 2018-09-14 | 盎锐（上海）信息科技有限公司 | 具有图像比较功能的数据获取方法及模型生成装置 |
| CN109191507B (zh) | 2018-08-24 | 2019-11-05 | 北京字节跳动网络技术有限公司 | 三维人脸图像重建方法、装置和计算机可读存储介质 |
| CN109285215B (zh) * | 2018-08-28 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 一种人体三维模型重建方法、装置和存储介质 |
| CN109377556B (zh) * | 2018-11-22 | 2022-11-01 | 厦门美图之家科技有限公司 | 人脸图像特征处理方法及装置 |
| CN109377544B (zh) * | 2018-11-30 | 2022-12-23 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
| CN110796075B (zh) * | 2019-10-28 | 2024-02-02 | 深圳前海微众银行股份有限公司 | 人脸多样性数据获取方法、装置、设备及可读存储介质 |
| CN112836904A (zh) * | 2021-04-07 | 2021-05-25 | 复旦大学附属中山医院 | 基于人脸特征点的身体质量指数预测方法 |
| CN114581978A (zh) * | 2022-02-28 | 2022-06-03 | 支付宝(杭州)信息技术有限公司 | 人脸识别的方法和系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006350498A (ja) * | 2005-06-14 | 2006-12-28 | Fujifilm Holdings Corp | 画像処理装置および方法並びにプログラム |
-
2013
- 2013-11-12 CN CN201310562258.6A patent/CN103593870B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于流行运动群不变量的非刚体重建方法研究";郭晋斌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130115(第01期);论文摘要 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103593870A (zh) | 2014-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103593870B (zh) | 一种基于人脸的图像处理装置及其方法 | |
| US20200334853A1 (en) | Facial features tracker with advanced training for natural rendering of human faces in real-time | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| CN106067190B (zh) | 一种基于单幅图像的快速人脸三维模型生成和变换方法 | |
| Cao et al. | 3D shape regression for real-time facial animation | |
| JP7015152B2 (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
| JP4950787B2 (ja) | 画像処理装置及びその方法 | |
| Cong et al. | Fully automatic generation of anatomical face simulation models | |
| US20150347833A1 (en) | Noncontact Biometrics with Small Footprint | |
| US20130101164A1 (en) | Method of real-time cropping of a real entity recorded in a video sequence | |
| CN109919141A (zh) | 一种基于骨架姿态的行人再识别方法 | |
| CN104794722A (zh) | 利用单个Kinect计算着装人体三维净体模型的方法 | |
| CN103208133A (zh) | 一种图像中人脸胖瘦的调整方法 | |
| CN105427385A (zh) | 一种基于多层形变模型的高保真人脸三维重建方法 | |
| CN101916454A (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| CN110074788B (zh) | 一种基于机器学习的身体数据获取方法和装置 | |
| CN106780713A (zh) | 一种基于单幅照片的三维人脸建模方法及系统 | |
| CN103745206B (zh) | 一种人脸识别方法及系统 | |
| CN108305321B (zh) | 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置 | |
| CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| CN112102480A (zh) | 图像数据处理方法、装置、设备以及介质 | |
| Cao et al. | Sesdf: Self-evolved signed distance field for implicit 3d clothed human reconstruction | |
| Darujati et al. | Facial motion capture with 3D active appearance models | |
| CN111768476A (zh) | 一种基于网格变形的表情动画重定向方法及系统 | |
| CN111881807A (zh) | 基于人脸建模及表情追踪的vr会议控制系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160817 |