CN104361630B - 一种人脸表面光场的获取方法 - Google Patents
一种人脸表面光场的获取方法 Download PDFInfo
- Publication number
- CN104361630B CN104361630B CN201410561805.3A CN201410561805A CN104361630B CN 104361630 B CN104361630 B CN 104361630B CN 201410561805 A CN201410561805 A CN 201410561805A CN 104361630 B CN104361630 B CN 104361630B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- point
- face model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸表面光场的获取方法，其能够避免直接利用激光扫描仪扫描得到的模型、操作容易、成本低、数据量大大减小。这种人脸表面光场的获取方法，结合基于微分坐标的Laplacian网格变形与计算机视觉原理，基于多视点图像将一般人脸模型变形到特定人脸模型，所述一般人脸模型为从网上下载的人头模型处理得到，特定人脸模型为所拍摄的多视点图像中人的人脸模型，然后权衡多视点图像上的颜色值将其配置到特定人脸模型上相对应的点来获取光场数据。
Description
技术领域
本发明属于多媒体技术与计算机图形学的技术领域，具体地涉及一种人脸表面光场的获取方法。
背景技术
光场的概念最早出现在计算机图形学中，Gershun在其经典文章“三维空间光的无线电特性”里正式使用“光场”这个术语，用以描述光在三维空间中的辐射传输特性。光场描述空间中任意点在给定方向上的辐射度，是一个五维函数I(x,y,z,θ,φ)，其中(x,y,z)描述点的位置，(θ,φ)描述当前光辐射度值对应的光线方向。光场的优势在于其绘制时间独立于场景复杂度，可以表现任意光照效果，并且可以针对场景独立获取。由于相机观察角度和成像平面空间的约束，基于图像的光场数据在一定深度范围内具有模糊现象，为此研究人员提出利用表面几何的逼近形式对光场进行重采样，称为表面光场。
表面光场是这样一个函数：定义在从一个三维网格结构顶点发出的任意光线上的辐射度，表面光场有助于减少深度场效应，允许相机设置在逼近表面以外的任何区域，同时也适合重建复杂光照环境下明亮物体的虚拟图像。表面光场的重建是一个非常困难的问题，人们对其进行了大量的研究，但没有得出一个简洁的模型。重建的步骤主要分为两步：
第一，原始数据的获取，在这个阶段中获得以三角网格的形式存放通过三维扫描设备获得的几何信息，得到物体的采样图像，通过计算机视觉或者手工标定的方法将图像对齐到网格上。
第二，数据重采样，对原始数据按照三角形的边进行分组，然后对“三角形对”对应的纹理片进行重采样处理，形成表面光场数据的近似表示，这种近似表示的形式就是一系列的二维矩阵。
以前的方法基本上都是通过激光扫描仪获得模型，激光扫描仪所提取物体表面数据虽然非常精确，但造价十分昂贵，而且激光探头的面积往往较小，数据量大；这就造成了重建成本高，对于表面积较大的物体需要多次扫描，产生的海量数据处理起来非常困难。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种人脸表面光场的获取方法，其能够避免直接利用激光扫描仪扫描得到的模型、操作容易、成本低、数据量大大减小。
本发明的技术解决方案是：这种人脸表面光场的获取方法，结合基于微分坐标的Laplacian网格变形与计算机视觉原理，基于多视点图像将一般人脸模型变形到特定人脸模型，所述一般人脸模型为从网上下载的人头模型(该人头模型是由Morgan McGuire和Guedis Cardenas发行的，网址为http://graphics.cs.williams.edu/data/)处理得到，特定人脸模型为所拍摄的多视点图像中人的人脸模型，然后权衡多视点图像上的颜色值将其配置到特定人脸模型上相对应的点来获取光场数据。
本发明针对人脸模型数据的特殊性改进基于微分坐标的Laplacian网格变形技术，利用稀疏多视点图像来实现一般人脸模型到多视点图像中特定人脸模型的变形，所以能够避免直接利用激光扫描仪扫描得到的模型，从而操作容易、成本低、数据量大大减小。
附图说明
图1是根据本发明的人脸表面光场的获取方法的流程示意图。
具体实施方式
本发明的人脸表面光场的获取方法，结合基于微分坐标的Laplacian网格变形与计算机视觉原理，基于多视点图像将一般人脸模型变形到特定人脸模型，所述一般人脸模型为从网上下载的人头模型(该人头模型是由Morgan McGuire和Guedis Cardenas发行的，网址为http://graphics.cs.williams.edu/data/)处理得到，特定人脸模型为所拍摄的多视点图像中人的人脸模型，然后权衡多视点图像上的颜色值将其配置到特定人脸模型上相对应的点来获取光场数据。
本发明针对人脸模型数据的特殊性改进基于微分坐标的Laplacian网格变形技术，利用稀疏多视点图像来实现一般人脸模型到多视点图像中特定人脸模型的变形，所以能够避免直接利用激光扫描仪扫描得到的模型，从而操作容易、成本低、数据量大大减小。
优选地，这种方法包括以下步骤：
(1)将一般人脸模型保存为PLY多边形文件格式；
(2)将步骤(1)的一般人脸模型变形到多视点图像中的特定人脸模型；
(3)计算步骤(2)所得特定人脸模型的表面光场数据。
优选地，所述步骤(2)包括以下分步骤：
(2.1)多视点图像中特征点选择与匹配，依据MPEG-4标准定义的人脸参数FDP(facial animation parameter)来手工进行标记，最后总共标记点为76个特征点对；
(2.2)一般人脸模型与多视点图像的人脸空间位置初始对齐；
(2.3)基于Laplacian网格变形方法对一般人脸模型进行变形；
(2.4)优化所述步骤(2.3)变形后的模型。
优选地，所述分步骤(2.2)包括以下分步骤：
(2.2.1)在步骤(2.1)中标记的特征点对中选取人脸区域中不发生或发生很小非刚性运动的点，算出其在世界坐标系中的三维坐标m(xm，ym，zm)，选取的点集记为M＝{mi|i＝1，...，L}，L为所选点个数，其相对应在一般人脸模型上的点为n(xn，yn，zn)，点集合记为N＝{ni|i＝1，...，L}，L为对应点个数；
(2.2.2)设集合M和N各自中心为mo和no，
(2.2.3)集合中的点关于中心点的位移向量分别表示为Ai＝mi-mo，Bi＝ni-no，这样模型初始对齐所需变换归结为集合中心点mo和no之间的平移变换和中心位移向量集合A＝{Ai|i＝1，...，L}和B＝{Bi|i＝1，...，L}的缩放旋转变换Tsr，根据公式(3)求出：
(2.2.4)设分别表示将mo平移到一般人脸模型坐标系原点、将世界坐标系原点平移到no的变换；
(2.2.5)根据公式(4)进行对齐变换
优选地，所述分步骤(2.3)包括以下分步骤：
(2.3.1)令M＝(V，E，F)为具有n个顶点的三角网格。V表示顶点集，E表示边集，F表示面集，vi＝(xi，yi，zi)∈V为笛卡尔坐标系下的点，vi的微分坐标δi定义为公式(5)
其中N(i)＝{j|(i，j)∈E}，di＝|N(i)|为N(i)的个数；
(2.3.2)根据公式(6)定义中间矩阵
令D为对角矩阵，Dii＝di，则L＝I-D-1A，LS＝DL＝D-A
Lv＝δ (8)
矩阵L和LS叫做拓扑Laplacian矩阵；
(2.3.3)根据公式(9)计算变形后的模型
优选地，所述分步骤(2.4)包括以下分步骤：
(2.4.1)将步骤(2.3)变形得到的特定人脸模型投影到多视点图像上，找到不准确点；
(2.4.2)将这些不准确点作为新特征点vi，标记其在各视点图上的位置，计算这些位置点在世界坐标系中的坐标，记为di，所有点集记为D，这样就找到一组新的位置约束vi＝di，其中di∈D；
(2.4.3)新特征点对加入到公式(9)得到公式(10)，重新根据公式(10)求解
优选地，所述步骤(3)包括以下分步骤：
(3.1)对特定人脸模型进行网格重采样；
(3.2)计算特定人脸模型表面光场数据。
优选地，所述步骤(3.1)包括以下分步骤：
(3.1.1)将网格模型的三角面片分别投影到不同视点的图像上；
(3.1.2)分别计算其在每个视点图像上的面积si，i＝0，1，...，n；
(3.1.3)根据公式(11)计算
其中τ为系数，τ＝2；
(3.1.4)根据公式(12)在三角面片上进行插值：
P＝c1V1+c2V2+c3V3 (12)
其中c1＝m/(N-1)，c2＝n/(N-1)，c3＝1-c1-c2，m＝0，1，...，N-n，V1，V2，V3为三角面片的顶点。
优选地，所述分步骤(3.2)包括以下步骤：
(3.2.1)离散的表面光场用矩阵Fm×n表示，其中m是顶点个数，n为视点方向的个数，矩阵元素记为fi，j，i∈{1，2，...m}，j∈{1，2，...n}，网模型的网格点i被配置为其在j视点图像上相对应点的颜色值，这样就得到值fi，j
为了验证本发明，利用所获得光场数据渲染出所拍摄视角的图像来与真实拍摄图像做对比。
依据光场数据渲染j视点的图像时依据公式(13)计算。
其中wi为视点j与光场数据中已记录的光线强度对应方向之间角度的余弦值，渲染结果很好。在实验中，所需一般人脸模型为从网上下载的一般人头模型(该人头模型是由Morgan McGuire和Guedis Cardenas发行的，网址为http://graphics.cs.williams.edu/data/)处理得到，处理后格式为PLY格式，点数为5529，面数为10856，实验所采用的多视点图像为特定环境下拍摄的6张图像。特征点根据MPEG-4中FDA最终标记了76个。从一般人脸到特定人脸的变形优化后的模型的正面截图，可以看出将一般模型变形为多视点图像中的特定人脸模型。特定人脸模型重采样后网格点数增加为1660968个，所以本发明最后计算的表面光场即为矩阵F1660968×6,渲染得到的图也十分接近真实拍摄的图像。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (4)
1.一种人脸表面光场的获取方法，其特征在于，结合基于微分坐标的Laplacian网格变形与计算机视觉原理，基于多视点图像将一般人脸模型变形到特定人脸模型，所述一般人脸模型为从网上下载的人头模型处理得到，特定人脸模型为多视点图像中人的人脸模型，然后权衡多视点图像上的颜色值将其配置到特定人脸模型上相对应的点来获取光场数据；
包括以下步骤：
(1)将一般人脸模型保存为PLY多边形文件格式；
(2)将步骤(1)的一般人脸模型变形到多视点图像中的特定人脸模型；
(3)计算步骤(2)所得特定人脸模型的表面光场数据；
所述步骤(2)包括以下分步骤：
(2.1)多视点图像中特征点选择与匹配，依据MPEG-4标准定义的人脸参数FDP来手工进行标记；
(2.2)一般人脸模型与多视点图像的人脸空间位置初始对齐；
(2.3)基于Laplacian网格变形方法对一般人脸模型进行变形；
(2.4)优化所述步骤(2.3)变形后的模型；
所述分步骤(2.2)包括以下分步骤：
(2.2.1)在步骤(2.1)中标记的特征点对中选取人脸区域中不发生或发生很小非刚性运动的点，算出其在世界坐标系中的三维坐标m(xm，ym，zm)，选取的点集记为M＝{mi|i＝1，...，L}，L为所选点个数，其相对应在一般人脸模型上的点为n(xn，yn，zn)，点集合记为N＝{ni|i＝1，...，L}，L为对应点个数；
(2.2.2)设集合M和N各自中心为mo和no，
<mrow>
<msub>
<mi>m</mi>
<mi>o</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>L</mi>
</msubsup>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>L</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>n</mi>
<mi>o</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>L</mi>
</msubsup>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>L</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
(2.2.3)集合中的点关于中心点的位移向量分别表示为Ai＝mi-mo,Bi＝ni-no,这样模型初始对齐所需变换归结为集合中心点mo和no之间的平移变换和中心位移向量集合A＝{Ai|i＝1，...，L}和B＝{Bi|i＝1，...，L}的缩放旋转变换Tsr，根据公式(3)求出：
<mrow>
<mi>arg</mi>
<mi>min</mi>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>L</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>B</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>T</mi>
<mrow>
<mi>s</mi>
<mi>r</mi>
</mrow>
</msub>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
(2.2.4)设分别表示将mo平移到一般人脸模型坐标系原点、将世界坐标系原点平移到no的变换；
(2.2.5)根据公式(4)进行对齐变换
<mrow>
<mi>T</mi>
<mo>=</mo>
<msub>
<mi>T</mi>
<mrow>
<mo>-</mo>
<msub>
<mi>M</mi>
<mn>0</mn>
</msub>
</mrow>
</msub>
<msub>
<mi>T</mi>
<mrow>
<mi>s</mi>
<mi>r</mi>
</mrow>
</msub>
<msub>
<mi>T</mi>
<msub>
<mi>N</mi>
<mn>0</mn>
</msub>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
所述分步骤(2.3)包括以下分步骤：
(2.3.1)令M＝(V，E，F)为具有n个顶点的三角网格，V表示顶点集,E表示边集，F表示面集，vi＝(xi，yi，zi)∈V为笛卡尔坐标系下的点，vi的微分坐标δi定义为公式(5)
<mrow>
<msub>
<mi>&delta;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>&delta;</mi>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>&delta;</mi>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
</mfrac>
<msub>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中N(i)＝{j|(i，j)∈E}，di＝|N(i)|为N(i)的个数；
(2.3.2)根据公式(6)定义中间矩阵
<mrow>
<msub>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>E</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
令D为对角矩阵，Dii＝di，则L＝I-D-1A，LS＝DL＝D-A
<mrow>
<msub>
<mrow>
<mo>(</mo>
<msub>
<mi>L</mi>
<mi>s</mi>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>j</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>E</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
Lv＝δ (8)
矩阵L和LS叫做拓扑Laplacian矩阵；
(2.3.3)根据公式(9)计算变形后的模型
<mrow>
<mover>
<mi>v</mi>
<mo>~</mo>
</mover>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>min</mi>
<mi>v</mi>
</munder>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<mi>L</mi>
<mi>v</mi>
<mo>-</mo>
<mi>&delta;</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mi>C</mi>
</mrow>
</msub>
<msup>
<mi>&omega;</mi>
<mn>2</mn>
</msup>
<msup>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
所述分步骤(2.4)包括以下分步骤：
(2.4.1)将步骤(2.3)变形得到的特定人脸模型投影到多视点图像上，找到不准确点；
(2.4.2)将这些不准确点作为新特征点vi，标记其在各视点图上的位置，计算这些位置点在世界坐标系中的坐标，记为di，所有点集记为D，这样就找到一组新的位置约束vi＝di，其中di∈D；
(2.4.3)新特征点对加入到公式(9)得到公式(10)，重新根据公式(10)求解
<mrow>
<mover>
<mi>v</mi>
<mo>~</mo>
</mover>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>min</mi>
<mi>v</mi>
</munder>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<mi>L</mi>
<mi>v</mi>
<mo>-</mo>
<mi>&delta;</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mi>C</mi>
</mrow>
</msub>
<msup>
<mi>&omega;</mi>
<mn>2</mn>
</msup>
<msup>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mi>D</mi>
</mrow>
</msub>
<msup>
<mi>&omega;</mi>
<mn>2</mn>
</msup>
<msup>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
2.根据权利要求1所述的人脸表面光场的获取方法，其特征在于，所述步骤(3)包括以下分步骤：
(3.1)对特定人脸模型进行网格重采样；
(3.2)计算特定人脸模型表面光场数据。
3.根据权利要求2所述的人脸表面光场的获取方法，其特征在于，所述分步骤(3.1)包括以下分步骤：
(3.1.1)将网格模型的三角面片分别投影到不同视点的图像上；
(3.1.2)分别计算其在每个视点图像上的面积si，i＝0，1，...，n；
(3.1.3)根据公式(11)计算
<mrow>
<mi>N</mi>
<mo>=</mo>
<mo>&lsqb;</mo>
<msqrt>
<mrow>
<mi>&tau;</mi>
<munder>
<mi>max</mi>
<mi>i</mi>
</munder>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
</mrow>
</msqrt>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
其中τ为系数，τ＝2；
(3.1.4)根据公式(12)在三角面片上进行插值：
P＝c1V1+c2V2+c3V3 (12)
其中c1＝m/(N-1),c2＝n/(N-1),c3＝1-c1-c2,m＝0，1，...，N-n,V1，V2，V3为三角面片的顶点。
4.根据权利要求3所述的人脸表面光场的获取方法，其特征在于，所述分步骤(3.2)包括以下步骤：
(3.2.1)离散的表面光场用矩阵Fm×n表示，其中m是顶点个数，n为视点方向的个数，矩阵元素记为fi，j，i∈{1，2，...m}，j∈{1，2，...n},模型的网格点i被配置为其在j视点图像上相对应点的颜色值，这样就得到值fi，j。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410561805.3A CN104361630B (zh) | 2014-10-21 | 2014-10-21 | 一种人脸表面光场的获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410561805.3A CN104361630B (zh) | 2014-10-21 | 2014-10-21 | 一种人脸表面光场的获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104361630A CN104361630A (zh) | 2015-02-18 |
| CN104361630B true CN104361630B (zh) | 2017-10-03 |
Family
ID=52528888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410561805.3A Active CN104361630B (zh) | 2014-10-21 | 2014-10-21 | 一种人脸表面光场的获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104361630B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976431B (zh) * | 2016-05-23 | 2019-01-22 | 北京信息科技大学 | 一种基于旋转光场的三维表面重构方法 |
| CN106952302B (zh) * | 2017-02-14 | 2019-12-13 | 深圳奥比中光科技有限公司 | 人体模型自动创建方法及三维试衣系统 |
| CN109166176B (zh) * | 2018-08-23 | 2020-07-07 | 百度在线网络技术（北京）有限公司 | 三维人脸图像的生成方法与装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
-
2014
- 2014-10-21 CN CN201410561805.3A patent/CN104361630B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| Real-Time Surface Light-field Capture for Augmentation of Planar Specular Surfaces;Jan Jachnik等;《IEEE International Symposium on Mixed and Augmented Reality 2012 Science and Technology Proceedings》;20121108;第91-97页 * |
| 基于网格变形的从图像重建三维人脸;董洪伟;《计算机辅助设计与图形学学报》;20120731;第24卷(第7期);第932-940页 * |
| 面向移动设备的动态目标的光场渲染技术研究;程龙;《中国博士学位论文全文数据库信息科技辑（月刊）》;20090915;第1-71页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104361630A (zh) | 2015-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106803267B (zh) | 基于Kinect的室内场景三维重建方法 | |
| CN104376552B (zh) | 一种3d模型与二维图像的虚实配准方法 | |
| CN111476242B (zh) | 一种激光点云语义分割方法及装置 | |
| CN109272537A (zh) | 一种基于结构光的全景点云配准方法 | |
| CN110349247A (zh) | 一种基于语义理解的室内场景cad三维重建方法 | |
| CN102842148A (zh) | 一种无标记运动捕捉及场景重建方法及装置 | |
| CN108986221A (zh) | 一种基于模板人脸逼近的不规范三维人脸网格纹理方法 | |
| CN113313828B (zh) | 基于单图片本征图像分解的三维重建方法与系统 | |
| CN104574432A (zh) | 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 | |
| CN104361630B (zh) | 一种人脸表面光场的获取方法 | |
| CN104157000B (zh) | 模型表面法线的计算方法 | |
| Lin et al. | Vision system for fast 3-D model reconstruction | |
| CN109461197B (zh) | 一种基于球面uv和重投影的云实时绘制优化方法 | |
| Sandnes | Sketching 3D immersed experiences rapidly by hand through 2D cross sections | |
| CN106157321A (zh) | 基于平面表面高动态范围图像的真实点光源位置测算方法 | |
| Xu et al. | Robust and accurate depth estimation by fusing lidar and stereo | |
| Li et al. | An occlusion detection algorithm for 3d texture reconstruction of multi-view images | |
| CN104537704A (zh) | 一种鸟类躯干模型的羽毛实时动态生成方法 | |
| CN114723915A (zh) | 一种基于多视红外的稠密点云生成方法 | |
| Wu | Research on the application of computer virtual reality technology in museum cultural relics exhibition hall | |
| CN109887076B (zh) | 根据视角变化的人脸三维模型建立方法及装置 | |
| CN107845130A (zh) | 一种环境三维重构方法 | |
| Cheng | Retracted: Application of VR computer image technology in 3D virtualization of sports human science | |
| Fan et al. | Voxel grid performer: efficient radiance fields generalization for human novel view synthesis | |
| CN115329697B (zh) | 仿三维线路图生成方法、装置、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |