CN103606183A - 一种基于随机三角形纹理的四维重构的方法 - Google Patents

Abstract

本发明公开了一种基于随机三角形纹理的四维重构的方法。一是生成随机的三角形纹理，将纹理印到纸、布等对象的表面上；二是使用标定的两个同步相机拍摄变形表面的动态过程，获得两个同步的图像序列；三是提出一种在图像上稳定地检测三角形的方法，使用该方法检测两个同步的图像序列中每个图像上的三角形；四是根据提出的基于全局与局部相结合的三角形描述符和三角形极线约束方法，匹配第一帧图像上的三角形，并根据三角形匹配的结果将第一帧进行三维重建，根据三维重建的信息生成每个三角形的局部拓扑结构；最后是在两个同步的图像序列中追踪三角形，根据第一帧的对应关系重建所追踪的当前帧，并且利用局部拓扑结构检测并修复出现的错误。

Description

一种基于随机三角形纹理的四维重构的方法

技术领域

本发明属于计算机视觉领域，具体是涉及一种基于随机三角形纹理的四维重构的方法。

技术背景

近些年来，在医学领域、力学领域、动画制作、游戏以及一些其他的虚拟现实领域，对于动态变形表面的精确的、生动的模拟与可视化的需求越来越迫切。例如在动画或者游戏领域，需要获取旗帜、窗帘等生动而精确的动态过程模型，在力学领域，需要研究薄膜材料的动态物力特性，这些应用都需要获取动态物体的四维数据。这是计算机视觉中的一个难题，目前比较实用的方法就是通过摄像机拍摄动态物体的运动过程，然后通过图像处理的手段，来获取四维数据。

近些年来，也有一些学者提出了一些方法，主要包括两类：一类是无标记的方法，另一类是有标记的方法。无标记的方法（[1]M.Salzmann,R.Hartley,and P.Fua.Convexoptimization for deformable surface3-d tracking.In Proceedings of IEEEInternational Conference on Computer Vision,Rio deJaneiro,Brazil,2007.，[2]F.Huguet and F.Devernay.A variational method for scene flow estimation from stereosequences.In Proc.Intl.Conf.on Computer Vision,Rio de Janeiro,Brasil,Oct.2007.IEEE.[3]Y.Furukawa and J.Ponce.dense3D motion capture for human faces.In IEEEConference on Computer Vision and Pattern Recognition,2009.CVPR2009,pages1674–1681,2009.）不需要在物体表面印纹理，而是使用自然纹理，使用起来比较方便。但是这种方法往往都是通过优化进行的，计算复杂度高，并且在处理比较长的视频时会有较大的累积误差，精度不够，所以在进行精确测量时，这类方法并不实用。

有标记的方法（[4]S.Park and J.Hodgins.Capturing and animating skin deformationin human motion.ACM Transactions on Graphics(TOG),25(3):889,2006.[5]R.White,A.obay,and D.Forsyth.Cloth capture.In ACM SIGGRAPH2005Sketches,page37.ACM,2005.）需要在物体表面印上特殊的纹理，然后根据算法进行匹配和追踪这些特殊的纹理，从而获得物体的四维数据，这种方法虽然使用起来有点麻烦，但是不会产生累积误差，并且精度也会很高，非常的稳定。目前的有标记方法中，一类主要的方法就是在物体表面印彩色编码的纹理，然后根据彩色编码进行左右匹配和前后帧的追踪。但是这种彩色纹理容易受到光照和相机性能的影响，产生颜色失真，这使得在图像匹配时，产生一定的难度，并且不够准确。

发明内容

针对现有技术的不足，本发明的目的是提出一种鲁棒的，没有累积误差的动态表面四维重构方法。

为达到上述目的的，本发明的技术方案是：一种基于随机三角形纹理的四维重构的方法，包含以下步骤：

步骤1：生成随机的三角形纹理；

步骤2：在图像上检测三角形；

步骤3：匹配第一帧中的三角形，并对其三维重构；

步骤4：计算局部三角形拓扑；

步骤5：在图像序列中追踪三角形；

步骤6：基于局部拓扑结构检测错误与恢复。

其中，步骤1所述的生成随机的三角形纹理，包含以下步骤：

首先在图像上生成若干可控的随机点；

然后将生成的随机点进行三角化，根据三角化的结果在黑图像上使用白色画三角形的边；

最后将三角形图像转印到物体的表面上。

步骤2所述的在图像上检测三角形，包含以下步骤：

首先根据自适应的图像二值化方法，将图像进行二值化，生成二值图像；

接着在二值图像上检测三角形连通区域，根据连通区域计算三角形的重心；

然后只保留连通区域的边缘点，其他的点丢掉，在连通区域的边缘点中，计算每个被检测点的N个邻居，然后计算该点与其N个邻居点分别到重心点的距离，如果该被检测的点到重心的距离大于其N个邻居点到重心的距离，该点就是一个三角形的角点。

步骤3所述的匹配第一帧中的三角形，包含以下步骤：

首先以每个三角形的重心为极点，以从重心开始，经由三个顶点的三条射线为极轴，建立三个极坐标系，在每个极坐标系中建立一个3×16的48维的直方图来描述局部三角形的分布情况；对于每个48维的直方图，其径向增量为r/3，r是一个预先设定的值，角度增量为π/8；

接着在每个极坐标系中，根据局部邻居三角形的重心相对于极点的距离，和相对于极轴的角度，在相应的直方图槽中累加；

最后将形成的三个48维的向量按照三角形顶点的顺时针方向集成在一起形成一个128维的局部三角形描述符，左右图像便可以根据三角形描述符进行匹配。

步骤6所述的基于局部拓扑结构检测错误与恢复是根据在第一帧中生成的局部拓扑结构信息，检测每一帧重建的三角形，判断其是否符合拓扑结构；如果有差别，就将该被检测的三角形列入错误列表；在错误列表中的三角形，会利用局部拓扑信息进行修复，从而取得较好的四维重建效果。

所述的局部拓扑结构是根据步骤3第一帧中的三维重构结果生成，其包括每个空间三角形的邻居三角形、每个三角形的三个边长、三角形的顶点到邻居顶点的距离，在重建出第一帧之后，后续的帧都是通过追踪两个图像序列中的三角形而得到的。

模拟的和实际的实验表明，利用本发明的方法能够稳定地获取四维数据，并且非常的精确，能够有效地用于动画、游戏建模，或者力学特性的研究。

附图说明

图1：本发明基于随机三角形纹理的四维重构的过程图。

图2：生成的随机点和随机三角形的图示。

图3：在图像上检测三角形的过程图示。

图4：从三角形的连通区域的边缘中提取三角形三个顶点的图示。

图5：三角形极线约束的图示。

图6：创建三角形局部描述符的图示。

具体实施方式

下面结合附图1对本发明的内容作进一步的详细介绍。

第一步，生成随机的三角形纹理

首先在黑色的图像上产生随机的点，通过控制产生的点之间的距离，来控制随机三角形的大小，以便产生的大小适合的三角形；然后通过三角化的算法对产生的随机点进行三角化；最后根据三角化的结果在黑色图像上用白色画线。具体生成随机点和三角形的结果如图2所示，具体生成随机三角形纹理的算法步骤如下：

1.设置随机点的生成范围；

2.随机生成第一个点并且加到集合ST中；

3.设置控制三角形边长的参数D1和D2；

4.do

5.产生一个新的随机点Pnew；

6.计算从Pnew到集合ST中点的最大距离dmax,和最小距离dmin；

7.if dmin>D1&&dmax<D2then；

8.将Pnew放到ST中；

9.else

10.丢弃Pnew；

11.until没有合适的点产生；

12.对ST中的所有点进行三角化；

13.根据三角化的结果在黑色的图像上，使用白色的边画线；

14.将生成的纹理转印到物体的表面上。

第二步，在图像上检测三角形

首先在原始图像上，使用局部自适应二值化的方法进行二值化，得到二值图像。之所以使用局部自适应二值化方法，是因为在表面的运动过程中会由于遮挡等原告因引起局部光照的变化，如果使用一个固定的域值进行二值化，将会产生错误。然后，在二值图像上检测三角形连通区域，并计算三角形连通区域的重心和连通区域的边界点。接下来，检测三角形的顶点，其具体方法如下：找到每个边界点P的N个邻居点Pn，并计算P与Pn到达重心的距离，如果P点到重心的距离大于它的N个邻居到重心的距离，则P是一个候选的三角形顶点。这样便能检测到所有的候选三角形顶点，但是在这些候选点中，也可能存在噪声点，如果是噪声点，必须将其删除。最后，在所用的候选三角形顶点中，计算候选顶点中的任意三个点组成的三角形面积，找到组成三角形的面积最大的三个点，即为顶点。这样便可以使用三角形的三个顶点和一个重心来标识三角形。可以通过这种方法，检测到图像序列中每个图像上的三角形。见图3和图4所示。

第三步，匹配第一帧中的三角形，并对其三维重构

在匹配第一帧中的三角形时，采用两种手段：三角形的极线约束，和全局与局部相结合的三角形描述符。给定左边图像上的一个三角形，在右边图像上存在四条极线，这四条极线分别对应左边三角形的三个顶点和一个重心，见图5。首先通过这四条极线过滤掉很多错误的三角形，保留下可能的三角形集合ST。接下来，创建每个三角形的全局与局部相结合的三角形描述符，根据全局与局部相结合的三角形描述符可以在集合ST找到精确对应的三角形。全局与局部相结合的三角形描述符如公式（1）所示：

$F=\left[\begin{array}{c}\mathrm{\&omega;L}\\ (1-\mathrm{\&omega;})G\end{array}\right]---\left(1\right)$

其中L是一个144维的局部描述符，G是一个28维的全局描述符，ω是权重。创建局部描述符的过程如图6所示。局部描述符的具体细节如下：以每个三角形的重心为极点，以从重心开始，经由三个顶点的三条射线为极轴，建立三个极坐标系。在每个极坐标系中建立一个3×16的48维的直方图来描述局部三角形的分布情况。对于每个48维的直方图，其径向增量为r/3，r是一个预先设定的值，角度增量为π/8。在每个极坐标系中，根据局部邻居三角形的重心相对于极点的距离，和相对于极轴的角度，在相应的直方图槽中累加。最后将形成的三个48维的向量按照三角形顶点的顺时针方向集成在一起形成一个128维的局部三角形描述符。全局描述符的创建方法如下：采用类似shape context的思想，建立7×4的直方图，径向增量是：

其中r是图像的对角线长度，角度增量是在找到第一帧的三角形对应关系之后，将其三维重构。

第四步，局部三角形拓扑

计算每个三角形的三维的局部拓扑，可以表示成（2）式，其中r为第r帧，k表示第k个三角形，X表示每个三角形的邻居三角形的数量，H表示一个三角形顶点的邻居顶点的个数，

表示第k个三角形的第x个邻居，

表示第k个三角形的i和j两个顶点之间的边长，

表示第k个三角形的第i个顶点到其第h个邻居的距离。因为三角形比较小，所以测地线距离约等于欧式距离，假设在整个动态过程中，三角形的拓扑结构不变。这是后面进行错误检测和恢复的重要依据。

$\begin{array}{c}L3{\mathrm{TT}}_r^k=\{{\mathrm{NI}}_x^k,D_{\mathrm{ij}}^k,d_{i,h}^k,|x\&Element;\{1,...,X\},i,j\&Element;\left\{\mathrm{1,2,3}\right\},\\ i\&NotEqual;j,h\&Element;\{1,...,H\}\}\end{array}---\left(2\right)$

第五步，在图像序列中追踪三角形

首先，根据三角形的重心确定前后两帧三角形的对应关系，然后根据顶点之间的斜率关系确定前后两个三角形之间对应的顶点。具体如下面的公式，其中SL(·,·)表示由两个点决定的直线的斜率，

表示第1个相机中第k1帧的第n1个三角形的第i个顶点，

表示第k1+1个帧中第n3个三角形的第i个顶点。（i,j,k）^*表示找到的第k1+1帧中的三角形与第k1中对应三角形的三个顶点的顺序。

$\begin{array}{c}{(i,j,k)}^{*}=\arg \underset{i,j,k}{\min }\left(\right|\left|\mathrm{SL}(V_1^{(1,k1,n1)},V_2^{(1,k1,n1)})\right)-\\ \mathrm{SL}\left(V_i^{(1,k1+1,n3)}\right),V_j^{(1,k1+1,n3)\left|\right|+}\\ \left|\right|\mathrm{SL}(V_2^{(1,k1,n1)},V_3^{(1,k1,n1)})-\\ \mathrm{SL}(V_j^{(1,k1+1,n3)},V_k^{(1,k1+1,n3)})\left|\right|\\ +\left|\right|\mathrm{SL}(V_1^{(1,k1,n1)},V_3^{(1,k1,n1)})-\\ \mathrm{SL}(V_i^{(1,k1+1,n3)},V_k^{(1,k1+1,n3)}|\left|\right),\\ i,j,k\&Element;\left\{\mathrm{1,2,3}\right\},i\&NotEqual;j,j\&NotEqual;k,i\&NotEqual;k.\end{array}---\left(3\right)$

第六步，追踪错误与恢复

在左右两个图像序列中，追踪到三角形之后，进行三维重建。在此过程中，可能会发生一些错误。我们首先根据在第一帧中建立的局部三角形拓扑结构检测错误，之后，再根据局部三角形拓扑结构其进行错误恢复。具体的描述如公式(7)所示。在恢复错误时，我们将错误分成两类，第一类是由于三角形在一个相机中不可见而产生的错误，第二类错误是因为三角形在两个相机均不可见而产生的错误。对第一类错误的恢复如公式(4)所示，其中dist(·,·)表示两个点之间的距离,l_ki()表示从相机光心出发经过图像上第k个三角形的第i个顶点的直线，是一个参数方程，λ_ki表示该参数方程的参数。NV_kij表示第k个三角形的第i个顶点的第j个邻居顶点。

$\begin{array}{c}{f}_1\left({\mathrm{\&lambda;}}_{k1:k3}\right)=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{(\mathrm{dist}(l_{\mathrm{ki}}\left({\mathrm{\&lambda;}}_{\mathrm{ki}}\right),{\mathrm{NV}}_{\mathrm{kij}})-d_{\mathrm{kij}})}^2+\\ \underset{(i,j)\&Element;\{\left(\mathrm{1,2}\right),\left(\mathrm{2,3}\right),\left(\mathrm{1,3}\right)\}}{\mathrm{\&Sigma;}}{(\mathrm{dist}(l_{\mathrm{ki}}\left({\mathrm{\&lambda;}}_{\mathrm{ki}}\right),l_{\mathrm{ki}}\left({\mathrm{\&lambda;}}_{\mathrm{kj}}\right))-D_{\mathrm{kij}})}^2.\end{array}---\left(4\right)$

对第二类错误的恢复如公式(5)所示，其中E_(c,k,i)表示是第c帧的第k个三角形的第i个顶点的估计值，是根据前一帧的坐标值以及其邻居的运动情况来进行估计，如公式（6）。

$\begin{array}{c}{f}_2\left(k\right)=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{(\mathrm{dist}(E_{(c,k,i)},{\mathrm{NV}}_{\mathrm{kij}})-d_{\mathrm{kij}})}^2+\\ \underset{(i,j)\&Element;\{\left(\mathrm{1,2}\right),\left(\mathrm{2,3}\right),\left(\mathrm{1,3}\right)\}}{\mathrm{\&Sigma;}}{(\mathrm{dist}(E_{(c,k,i)},E_{(c,k,j)})-D_{\mathrm{kij}})}^2.\end{array}---\left(5\right)$

在公式（6）中，m_kij表示第k个三角形的第i个顶点的第j个邻居顶点的运动。ω_kij表示权重，与距离成反比。

$E_{(c,k,i)}=V_{(c-1,k,i)}+\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{ij}}\&CenterDot;m_{\mathrm{kij}}---\left(6\right)$

最后通过优化(7)式，得到参数方程的参数，这里假设一个错误的洞具有p个第一类错误，有q个第二类错误，所以参数的个数为n=3*p个。

${\mathrm{\&lambda;}}_{1:n}^{*}=\arg \underset{{\mathrm{\&lambda;}}_{1:n}}{\min }(\underset{p}{\mathrm{\&Sigma;}}{f}_1\left({\mathrm{\&lambda;}}_{p1:p3}\right)+\underset{q}{\mathrm{\&Sigma;}}{f}_2\left(q\right))---\left(7\right).$

Claims (6)

1.一种基于随机三角形纹理的四维重构的方法，其特征在于包含以下步骤：

步骤1：生成随机的三角形纹理；

步骤2：在图像上检测三角形；

步骤3：匹配第一帧中的三角形，并对其三维重构；

步骤4：计算局部三角形拓扑；

步骤5：在图像序列中追踪三角形；

步骤6：基于局部拓扑结构检测错误与恢复。

2.根据权利要求1所述的一种基于随机三角形纹理的四维重构的方法，其特征在于步骤1所述的生成随机的三角形纹理包含以下步骤：

首先在图像上生成若干可控的随机点；

然后将生成的随机点进行三角化，根据三角化的结果在黑图像上使用白色画三角形的边；

最后将三角形图像转印到物体的表面上。

3.根据权利要求1所述的一种基于随机三角形纹理的四维重构的方法，其特征在于步骤2所述的在图像上检测三角形，包含以下步骤：

首先根据自适应的图像二值化方法，将图像进行二值化，生成二值图像；

接着在二值图像上检测三角形连通区域，根据连通区域计算三角形的重心；

然后只保留连通区域的边缘点，其他的点丢掉，在连通区域的边缘点中，计算每个被检测点的N个邻居，然后计算该点与其N个邻居点分别到重心点的距离，如果该被检测的点到重心的距离大于其N个邻居点到重心的距离，该点就是一个三角形的角点。

4.根据权利要求1所述的一种基于随机三角形纹理的四维重构的方法，其特征在于步骤3所述的匹配第一帧中的三角形包含以下步骤：

首先以每个三角形的重心为极点，以从重心开始，经由三个顶点的三条射线为极轴，建立三个极坐标系，在每个极坐标系中建立一个3×16的48维的直方图来描述局部三角形的分布情况；对于每个48维的直方图，其径向增量为r/3，r是一个预先设定的值，角度增量为π/8；

接着在每个极坐标系中，根据局部邻居三角形的重心相对于极点的距离，和相对于极轴的角度，在相应的直方图槽中累加；

最后将形成的三个48维的向量按照三角形顶点的顺时针方向集成在一起形成一个128维的局部三角形描述符，左右图像便可以根据三角形描述符进行匹配。

5.根据权利要求1所述的一种基于随机三角形纹理的四维重构的方法，其特征在于步骤6所述的基于局部拓扑结构检测错误与恢复是根据在第一帧中生成的局部拓扑结构信息，检测每一帧重建的三角形，判断其是否符合拓扑结构；如果有差别，就将该被检测的三角形列入错误列表；在错误列表中的三角形，会利用局部拓扑信息进行修复，从而取得较好的四维重建效果。

6.根据权利要求1或5所述的一种基于随机三角形纹理的四维重构的方法，其特征在于所述的局部拓扑结构是根据权利要求1步骤3第一帧中的三维重构结果生成，其包括每个空间三角形的邻居三角形、每个三角形的三个边长、三角形的顶点到邻居顶点的距离，在重建出第一帧之后，后续的帧都是通过追踪两个图像序列中的三角形而得到的。

Images