CN107680155A - 一种基于三维变形模型的面部拟合方法 - Google Patents
一种基于三维变形模型的面部拟合方法 Download PDFInfo
- Publication number
- CN107680155A CN107680155A CN201711022551.8A CN201711022551A CN107680155A CN 107680155 A CN107680155 A CN 107680155A CN 201711022551 A CN201711022551 A CN 201711022551A CN 107680155 A CN107680155 A CN 107680155A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msub
- mtr
- mtable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000001815 facial effect Effects 0.000 title claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 24
- 238000000513 principal component analysis Methods 0.000 claims abstract description 8
- 238000013519 translation Methods 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 2
- 230000000873 masking effect Effects 0.000 abstract 1
- 238000004088 simulation Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明中提出的一种基于三维变形模型的面部拟合方法，其主要内容包括：3D变形模型、缩放正交投影、透视相机模型和来自标记的形状，其过程为，先由形状参数确定三维变形模型的顶点位置，形状由使用主成分分析从数据中的线性子空间模型描述，接着使用轴向矢量对旋转矩阵进行参数化，再使间距距离恒定，模拟缺乏校准信息，最后假设标记对应于变形模型中顶点，找到形状、姿态和相机参数，最小化所有标记上的平方距离之和；引入正交和透视情况的目标函数，将它们表达为可分离的非线性最小二乘问题。本发明将模型拟合作为可分离的非线性最小二乘问题，解决了光线、形状遮蔽等带来的一系列问题，有效地模拟了缺乏校准信息，使面部拟合更加快速、精准。
Description
技术领域
本发明涉及面部拟合领域，尤其是涉及了一种基于三维变形模型的面部拟合方法。
背景技术
随着社会的发展，各方面对快速有效地自动身份验证的要求日益迫切。利用面部拟合技术进行人脸检测、人脸表征、人脸鉴别、表情和姿态分析、生理分类等具有直接、友好、方便的优点，易于为用户所接受。面部拟合技术可以自动处理多人种面部特征，被广泛于各个领域，如人脸识别系统、医学、电影电视剧、广告、计算机动画、游戏、视频会议以及可视电话、人机交互等。在公共安全领域，以面部拟合为基础的人脸重建和识别技术对公安刑侦、预防犯罪等方面有着越来越大且难以忽视的作用，它可以在机场、火车站、商场等公共场合迅速有效地识别出可疑人员，预防恐怖活动、暴力犯罪等严重威胁公共安全的事件发生，保护公共安全。然而，传统的面部拟合技术仍存在形状遮蔽、无法消除光线对面部拟合的影响，使面部拟合相关技术的应用难以推广。
本发明提出了一种基于三维变形模型的面部拟合方法，先由形状参数确定三维变形模型的顶点位置，形状由使用主成分分析从数据中的线性子空间模型描述，接着使用轴向矢量对旋转矩阵进行参数化，再使间距距离恒定，模拟缺乏校准信息，最后假设标记对应于变形模型中顶点，找到形状、姿态和相机参数，最小化所有标记上的平方距离之和；引入正交和透视情况的目标函数，将它们表达为可分离的非线性最小二乘问题。本发明将模型拟合作为可分离的非线性最小二乘问题，解决了光线、形状遮蔽等带来的一系列问题，有效地模拟了缺乏校准信息，使面部拟合更加快速、精准。
发明内容
针对存在形状遮蔽、无法消除光线对面部拟合有影响的问题，本发明的目的在于提供一种基于三维变形模型的面部拟合方法，先由形状参数确定三维变形模型的顶点位置，形状由使用主成分分析从数据中的线性子空间模型描述，接着使用轴向矢量对旋转矩阵进行参数化，再使间距距离恒定，模拟缺乏校准信息，最后假设标记对应于变形模型中顶点，找到形状、姿态和相机参数，最小化所有标记上的平方距离之和；引入正交和透视情况的目标函数，将它们表达为可分离的非线性最小二乘问题。
为解决上述问题，本发明提供一种基于三维变形模型的面部拟合方法，其主要内容包括：
(一)3D变形模型；
(二)缩放正交投影；
(三)透视相机模型；
(四)来自标记的形状。
其中，所述的3D变形模型，3D变形模型是一个可变形网格，其顶点位置s(α)由形状参数确定，形状由使用主成分分析(PCA)从数据中学习的线性子空间模型描述；因此，与训练数据相同类的任何对象的形状可以近似为：
其中，包含S个保留的主成分，是平均形状，矢量包含N个顶点的坐标，堆叠形成长向量：s＝[u1 v1 w1 … uN vN wN]T；因此，第i个顶点由下式给出：vi＝[s3i-2 s3i-1 s3i]T。
其中，所述的缩放正交投影，假设物体上的深度变化相对于从相机到对象的平均距离较小，在该假设下，3D点v＝[u v w]T到2D点x＝[x y]T的投影由下式给出： 其不取决于点与相机的距离，而仅在由相机的焦距与相机到对象的平均距离比率给出的均匀尺度上：
SOP[v,R,t2d,s]＝sPRv+st2d (2)
其中，
上式是投影矩阵，姿态参数R∈SO(3),和分别是旋转矩阵、2D平移和刻度；为了将优化约束到有效的旋转矩阵，使用的轴向矢量R(r)对旋转矩阵进行参数化。
其中，所述的透视相机模型，3D点v＝[u v w]T到2D点的非线性透视投影x＝[x y]T，针孔相机模型x＝针孔其中R∈SO(3)是旋转矩阵，[tx ty tz]T是涉及模型和摄像机坐标(外在参数)的3D平移向量；矩阵：
包含相机的固有参数，即f和(cx,xy)；假定主点是已知的，并且通过其唯一的未知K(f)来限制内在矩阵；在重新缩放每个图像之前，相机距离是变化的，使间距距离恒定，有效地模拟了缺乏校准信息；这种非线性投影可以通过使用均匀表示法和以线性方式写为：
其中，γ是任意缩放因子。
其中，所述的来自标记的形状，假设已经观察到L二维标记位置x＝[xi yi]T(i＝1,…,L)；不失一般性，假设第i个标记对应于变形模型中的第i个顶点；用表示包含对应于L标记(即Q的前3L行)的行的Q子矩阵；
目标是找到形状、姿态和相机参数，当投影到2D时，最小化所有标记上的平方距离之和；引入正交和透视情况的目标函数，然后将它们表达为可分离的非线性最小二乘问题。
进一步地，所述的标记，指在变形模型中2D位置和对应顶点都已知的点；利用它可以将3D变形模型拟合为一组2D标记；来自标记的形状包括正交目标函数、透视目标函数、可分离非线性最小二乘法和透视模糊。
进一步地，所述的正交目标函数，在正交的情况下，力求尽量减少以下目标函数：
残差在形状参数、平移向量和尺度上都是线性的，而在旋转矢量中是非线性的。
进一步地，所述的透视目标函数，在透视的情况下，力求尽量减少以下目标函数：
针孔
由于透视投影，所有参数和非凸的目标是非线性的；然而，可以使用直接线性变换(DLT)将问题转换为线性变换；
从公式(1)和(5)，每个标记点有一个线性相似关系：
其中，～表示与非零标量乘法相同；重写为共线条件：
其中，0＝[0 0 0]T和[·]×是交叉积矩阵：
这意味着每个标记点产生的未知形状参数α和平移向量t3d是三个线性方程。
进一步地，所述的可分离非线性最小二乘法，两个目标函数可以写成一个可分离的非线性最小二乘法(SNLS)形式，即在一些参数(包括形状)中是线性的，而在其余部分是非线性的；这种特殊形式的最小二乘问题可以比一般最小二乘问题更易解决，并且当原始问题发散时可以收敛；通过仅在非线性参数中优化非线性最小二乘问题来解决SNLS问题，因此问题维数降低，需要初始猜测的参数数量减少。
进一步地，所述的透视模糊，解决上述优化问题，可以给出2D标记位置的面部姿态和形状的最小二乘估计；对于透视情况，存在与被摄体相机距离相关的附加自由度，即，tz；如果不是将tz与其他参数一起进行优化，将其固定为某个选定的值k，则可以获得不同的形状和姿态参数：
给定2D标记观测值，因此有一个连续的(非线性)空间解决方案α*(k)作为被摄物体距离的函数；如果除最佳值之外的值k的平均投影误差仍然小于标记检测器的容差，则形状恢复不明确。
附图说明
图1是本发明一种基于三维变形模型的面部拟合方法的系统框架图。
图2是本发明一种基于三维变形模型的面部拟合方法的来自标记的形状的框架图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于三维变形模型的面部拟合方法的系统框架图。主要包括3D变形模型，缩放正交投影，透视相机模型和来自标记的形状。
3D变形模型，3D变形模型是一个可变形网格，其顶点位置s(α)由形状参数确定，形状由使用主成分分析(PCA)从数据中学习的线性子空间模型描述；因此，与训练数据相同类的任何对象的形状可以近似为：
其中，包含S个保留的主成分，是平均形状，矢量包含N个顶点的坐标，堆叠形成长向量：s＝[u1 v1 w1 … uN vN wN]T；因此，第i个顶点由下式给出：vi＝[s3i-2 s3i-1 s3i]T。
缩放正交投影，假设物体上的深度变化相对于从相机到对象的平均距离较小，在该假设下，3D点v＝[u v w]T到2D点x＝[x y]T的投影由下式给出：其不取决于点与相机的距离，而仅在由相机的焦距与相机到对象的平均距离比率给出的均匀尺度上：
SOP[v,R,t2d,s]＝sPRv+st2d (2)
其中，
上式是投影矩阵，姿态参数R∈SO(3),和分别是旋转矩阵、2D平移和刻度；为了将优化约束到有效的旋转矩阵，使用的轴向矢量R(r)对旋转矩阵进行参数化。
透视相机模型，3D点v＝[u v w]T到2D点的非线性透视投影x＝[x y]T，针孔相机模型x＝针孔其中R∈SO(3)是旋转矩阵，[tx ty tz]T是涉及模型和摄像机坐标(外在参数)的3D平移向量；矩阵：
包含相机的固有参数，即f和(cx,cy)；假定主点是已知的，并且通过其唯一的未知K(f)来限制内在矩阵；在重新缩放每个图像之前，相机距离是变化的，使间距距离恒定，有效地模拟了缺乏校准信息；这种非线性投影可以通过使用均匀表示法和以线性方式写为：
其中，γ是任意缩放因子。
图2是本发明一种基于三维变形模型的面部拟合方法的来自标记的形状的框架图。假设已经观察到L二维标记位置x＝[xi yi]T(i＝1,…,L)；不失一般性，假设第i个标记对应于变形模型中的第i个顶点；用表示包含对应于L标记(即Q的前3L行)的行的Q子矩阵；
目标是找到形状、姿态和相机参数，当投影到2D时，最小化所有标记上的平方距离之和；引入正交和透视情况的目标函数，然后将它们表达为可分离的非线性最小二乘问题。
标记是指在变形模型中2D位置和对应顶点都已知的点；利用它可以将3D变形模型拟合为一组2D标记；来自标记的形状包括正交目标函数、透视目标函数、可分离非线性最小二乘法和透视模糊。
正交目标函数，在正交的情况下，力求尽量减少以下目标函数：
残差在形状参数、平移向量和尺度上都是线性的，而在旋转矢量中是非线性的。
透视目标函数，在透视的情况下，力求尽量减少以下目标函数：
针孔
由于透视投影，所有参数和非凸的目标是非线性的；然而，可以使用直接线性变换(DLT)将问题转换为线性变换；
从公式(1)和(5)，每个标记点有一个线性相似关系：
其中，～表示与非零标量乘法相同；重写为共线条件：
其中，0＝[0 0 0]T和[·]×是交叉积矩阵：
这意味着每个标记点产生的未知形状参数α和平移向量t3d是三个线性方程。
可分离非线性最小二乘法，两个目标函数可以写成一个可分离的非线性最小二乘法(SNLS)形式，即在一些参数(包括形状)中是线性的，而在其余部分是非线性的；这种特殊形式的最小二乘问题可以比一般最小二乘问题更易解决，并且当原始问题发散时可以收敛；通过仅在非线性参数中优化非线性最小二乘问题来解决SNLS问题，因此问题维数降低，需要初始猜测的参数数量减少。
透视模糊，解决上述优化问题，可以给出2D标记位置的面部姿态和形状的最小二乘估计；对于透视情况，存在与被摄体相机距离相关的附加自由度，即，tz；如果不是将tz与其他参数一起进行优化，将其固定为某个选定的值k，则可以获得不同的形状和姿态参数：
给定2D标记观测值，因此有一个连续的(非线性)空间解决方案α*(k)作为被摄物体距离的函数；如果除最佳值之外的值k的平均投影误差仍然小于标记检测器的容差，则形状恢复不明确。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于三维变形模型的面部拟合方法，其特征在于，主要包括3D变形模型(一)；缩放正交投影(二)；透视相机模型(三)；来自标记的形状(四)。
2.基于权利要求书1所述的3D变形模型(一)，其特征在于，3D变形模型是一个可变形网格，其顶点位置s(α)由形状参数确定，形状由使用主成分分析(PCA)从数据中学习的线性子空间模型描述；因此，与训练数据相同类的任何对象的形状可以近似为：
<mrow>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>Q</mi>
<mi>&alpha;</mi>
<mo>+</mo>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，包含S个保留的主成分，是平均形状，矢量包含N个顶点的坐标，堆叠形成长向量：s＝[u1 v1 w1 … uN vN wN]T；因此，第i个顶点由下式给出：vi＝[s3i-2 s3i-1 s3i]T。
3.基于权利要求书1所述的缩放正交投影(二)，其特征在于，假设物体上的深度变化相对于从相机到对象的平均距离较小，在该假设下，3D点v＝[u v w]T到2D点x＝[x y]T的投影由下式给出：其不取决于点与相机的距离，而仅在由相机的焦距与相机到对象的平均距离比率给出的均匀尺度上：
SOP[v,R,t2d,s]＝sPRv+st2d (2)
其中，
<mrow>
<mi>P</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
上式是投影矩阵，姿态参数R∈SO(3),和分别是旋转矩阵、2D平移和刻度；为了将优化约束到有效的旋转矩阵，使用的轴向矢量R(r)对旋转矩阵进行参数化。
4.基于权利要求书1所述的透视相机模型(三)，其特征在于，3D点v＝[u v w]T到2D点的非线性透视投影x＝[x y]T，针孔相机模型其中R∈SO(3)是旋转矩阵，[tx ty tz]T是涉及模型和摄像机坐标(外在参数)的3D平移向量；矩阵：
<mrow>
<mi>K</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>f</mi>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mi>f</mi>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
包含相机的固有参数，即f和(cx,cy)；假定主点是已知的，并且通过其唯一的未知K(f)来限制内在矩阵；在重新缩放每个图像之前，相机距离是变化的，使间距距离恒定，有效地模拟了缺乏校准信息；这种非线性投影可以通过使用均匀表示法和以线性方式写为：
<mrow>
<mi>&gamma;</mi>
<mover>
<mi>x</mi>
<mo>~</mo>
</mover>
<mo>=</mo>
<mi>K</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
</mtd>
<mtd>
<msub>
<mi>t</mi>
<mrow>
<mn>3</mn>
<mi>d</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mover>
<mi>v</mi>
<mo>~</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，γ是任意缩放因子。
5.基于权利要求书1所述的来自标记的形状(四)，其特征在于，假设已经观察到L二维标记位置x＝[xi yi]T(i＝1,…,L)；不失一般性，假设第i个标记对应于变形模型中的第i个顶点；用表示包含对应于L标记(即Q的前3L行)的行的Q子矩阵；
目标是找到形状、姿态和相机参数，当投影到2D时，最小化所有标记上的平方距离之和；引入正交和透视情况的目标函数，然后将它们表达为可分离的非线性最小二乘问题。
6.基于权利要求书5所述的标记，其特征在于，指在变形模型中2D位置和对应顶点都已知的点；利用它可以将3D变形模型拟合为一组2D标记；来自标记的形状包括正交目标函数、透视目标函数、可分离非线性最小二乘法和透视模糊。
7.基于权利要求书6所述的正交目标函数，其特征在于，在正交的情况下，力求尽量减少以下目标函数：
<mrow>
<msub>
<mi>&epsiv;</mi>
<mrow>
<mi>o</mi>
<mi>r</mi>
<mi>t</mi>
<mi>h</mi>
<mi>o</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>,</mo>
<msub>
<mi>t</mi>
<mrow>
<mn>2</mn>
<mi>d</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>s</mi>
<mo>,</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>L</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>S</mi>
<mi>O</mi>
<mi>P</mi>
<mo>&lsqb;</mo>
<msub>
<mi>Q</mi>
<mi>i</mi>
</msub>
<mi>&alpha;</mi>
<mo>+</mo>
<msub>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msub>
<mi>t</mi>
<mrow>
<mn>2</mn>
<mi>d</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>s</mi>
<mo>&rsqb;</mo>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
残差在形状参数、平移向量和尺度上都是线性的，而在旋转矢量中是非线性的。
8.基于权利要求书6所述的透视目标函数，其特征在于，在透视的情况下，力求尽量减少以下目标函数：
由于透视投影，所有参数和非凸的目标是非线性的；然而，可以使用直接线性变换(DLT)将问题转换为线性变换；
从公式(1)和(5)，每个标记点有一个线性相似关系：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>~</mo>
<mi>K</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
</mtd>
<mtd>
<mi>t</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Q</mi>
<mi>i</mi>
</msub>
<mi>&alpha;</mi>
<mo>+</mo>
<msub>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，～表示与非零标量乘法相同；重写为共线条件：
<mrow>
<msub>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>&times;</mo>
</msub>
<mi>K</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
</mtd>
<mtd>
<mi>t</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Q</mi>
<mi>i</mi>
</msub>
<mi>&alpha;</mi>
<mo>+</mo>
<msub>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mn>0</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，0＝[0 0 0]T和[·]×是交叉积矩阵：
<mrow>
<msub>
<mrow>
<mo>&lsqb;</mo>
<mi>x</mi>
<mo>&rsqb;</mo>
</mrow>
<mo>&times;</mo>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>3</mn>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
这意味着每个标记点产生的未知形状参数α和平移向量t3d是三个线性方程。
9.基于权利要求书6所述的可分离非线性最小二乘法，其特征在于，两个目标函数可以写成一个可分离的非线性最小二乘法(SNLS)形式，即在一些参数(包括形状)中是线性的，而在其余部分是非线性的；这种特殊形式的最小二乘问题可以比一般最小二乘问题更易解决，并且当原始问题发散时可以收敛；通过仅在非线性参数中优化非线性最小二乘问题来解决SNLS问题，因此问题维数降低，需要初始猜测的参数数量减少。
10.基于权利要求书6所述的透视模糊，其特征在于，解决上述优化问题，可以给出2D标记位置的面部姿态和形状的最小二乘估计；对于透视情况，存在与被摄体相机距离相关的附加自由度，即，tz；如果不是将tz与其他参数一起进行优化，将其固定为某个选定的值k，则可以获得不同的形状和姿态参数：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>&alpha;</mi>
<mo>*</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>arg</mi>
<mi>&alpha;</mi>
</msub>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>r</mi>
<mo>,</mo>
<msub>
<mi>t</mi>
<mrow>
<mn>3</mn>
<mi>d</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>f</mi>
<mo>,</mo>
<mi>&alpha;</mi>
</mrow>
</munder>
<msub>
<mi>&epsiv;</mi>
<mrow>
<mi>p</mi>
<mi>e</mi>
<mi>r</mi>
<mi>s</mi>
<mi>p</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>,</mo>
<msub>
<mi>t</mi>
<mrow>
<mn>3</mn>
<mi>d</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>f</mi>
<mo>,</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>t</mi>
<mi>z</mi>
</msub>
<mo>=</mo>
<mi>k</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
给定2D标记观测值，因此有一个连续的(非线性)空间解决方案α*(k)作为被摄物体距离的函数；如果除最佳值之外的值k的平均投影误差仍然小于标记检测器的容差，则形状恢复不明确。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711022551.8A CN107680155A (zh) | 2017-10-27 | 2017-10-27 | 一种基于三维变形模型的面部拟合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711022551.8A CN107680155A (zh) | 2017-10-27 | 2017-10-27 | 一种基于三维变形模型的面部拟合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107680155A true CN107680155A (zh) | 2018-02-09 |
Family
ID=61141713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711022551.8A Withdrawn CN107680155A (zh) | 2017-10-27 | 2017-10-27 | 一种基于三维变形模型的面部拟合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107680155A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636847A (zh) * | 2018-12-11 | 2019-04-16 | 南京航空航天大学 | 一种基于单张照片的相机外部参数解算方法 |
| CN111557022A (zh) * | 2018-12-10 | 2020-08-18 | 三星电子株式会社 | 二维图像处理方法及执行所述方法的设备 |
| US11893681B2 (en) | 2018-12-10 | 2024-02-06 | Samsung Electronics Co., Ltd. | Method for processing two-dimensional image and device for executing method |
-
2017
- 2017-10-27 CN CN201711022551.8A patent/CN107680155A/zh not_active Withdrawn
Non-Patent Citations (1)
| Title |
|---|
| ANIL BAS等: "What does 2D geometric information really tell us about 3D face shape", 《ARXIV(HTTPS://ARXIV.ORG/ABS/1708.06703V2)》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111557022A (zh) * | 2018-12-10 | 2020-08-18 | 三星电子株式会社 | 二维图像处理方法及执行所述方法的设备 |
| US11893681B2 (en) | 2018-12-10 | 2024-02-06 | Samsung Electronics Co., Ltd. | Method for processing two-dimensional image and device for executing method |
| CN111557022B (zh) * | 2018-12-10 | 2024-05-14 | 三星电子株式会社 | 二维图像处理方法及执行所述方法的设备 |
| CN109636847A (zh) * | 2018-12-11 | 2019-04-16 | 南京航空航天大学 | 一种基于单张照片的相机外部参数解算方法 |
| CN109636847B (zh) * | 2018-12-11 | 2023-03-21 | 南京航空航天大学 | 一种基于单张照片的相机外部参数解算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112418074B (zh) | 一种基于自注意力的耦合姿态人脸识别方法 | |
| Feixas et al. | A unified information-theoretic framework for viewpoint selection and mesh saliency | |
| Wang et al. | Joint learning of visual attributes, object classes and visual saliency | |
| CN112509115B (zh) | 序列图像动态场景三维时变无约束重建方法及系统 | |
| CN107944428B (zh) | 一种基于超像素集的室内场景语义标注方法 | |
| Gerke et al. | Soccer player recognition using spatial constellation features and jersey number recognition | |
| CN105719352B (zh) | 人脸三维点云超分辨率融合方法及应用其的数据处理装置 | |
| CN112102294B (zh) | 生成对抗网络的训练方法及装置、图像配准方法及装置 | |
| CN104899563A (zh) | 一种二维人脸关键特征点定位方法及系统 | |
| CN105405116B (zh) | 一种基于图割的立体匹配方法 | |
| CN110490959B (zh) | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 | |
| US20230351724A1 (en) | Systems and Methods for Object Detection Including Pose and Size Estimation | |
| CN107680155A (zh) | 一种基于三维变形模型的面部拟合方法 | |
| CN104537705A (zh) | 基于增强现实的移动平台三维生物分子展示系统和方法 | |
| CN110096961A (zh) | 一种超像素级别的室内场景语义标注方法 | |
| CN115661246A (zh) | 一种基于自监督学习的姿态估计方法 | |
| CN106096516A (zh) | 一种三维目标跟踪的方法及装置 | |
| EP3185212A1 (en) | Dynamic particle filter parameterization | |
| Tang et al. | Lsm: Learning subspace minimization for low-level vision | |
| CN117115555A (zh) | 一种基于噪声数据的半监督三维目标检测方法 | |
| Feng | Mask RCNN-based single shot multibox detector for gesture recognition in physical education | |
| CN114612545A (zh) | 图像分析方法及相关模型的训练方法、装置、设备和介质 | |
| McIlroy et al. | Kinectrack: 3d pose estimation using a projected dense dot pattern | |
| Cyganek | An analysis of the road signs classification based on the higher-order singular value decomposition of the deformable pattern tensors | |
| Zhu et al. | Human pose estimation with multiple mixture parts model based on upper body categories |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180209 |