CN103258344A - 一种植物三维重建中纹理的自动提取方法 - Google Patents

Abstract

本发明公开了一种植物三维重建中纹理的自动提取方法，其特征在于，包括如下步骤：（1）初始状态：构造植物图片中物体的三维模型，模型由三角形构成，对植物图片的平面纹理进行采样，根据自然光序列进行图像平面到模型平面的映射，得到纹理图片；（2）对采样后的纹理图片进行矫正单应性估计，然后根据优化的单应性对扭曲的纹理图片进行形状矫正；（3）通过强高光反射提取域附近的颜色直线，根据统计信息补偿获取的光照颜色；（4）将模型三角形分成多个小三角形，通过三角形定点的3D位置来计算每个三角形的法向量；（5）建立小三角形与三角形矩阵的颜色关联。

Description

一种植物三维重建中纹理的自动提取方法

技术领域

本发明涉及植物纹理提取领域，具体地讲，涉及一种植物三维重建中纹理的自动提取方法。 

背景技术

通过图像进行自动3D建模是计算机视觉领域的极具挑战性的研究课题，该课题对于诸多应用领域是非常重要的，例如虚拟环境、辅助设计、增强现实等等。目前已经有一些基于图像的建模方法，这些方法的主要着眼点是场景的表示，例如，Baillard and Zisserman用一个平面集合，而Debevec等人则组合使用了一些方法。 

考虑到虚拟环境的工作量问题，本发明通过采集图片中植物平面上的纹理构建场景，通过对植物的平面进行识别、分割，从而用平面构建树叶、树干以及树枝，目前已经存在的方法通常包括两个步骤：（1）通过较少的植物特征（如点、线等）进行重建，如同自动采用Structure-from-Motion技术照相。（2）选择场景模型并估计其参数，第一步通过将植物的特征进行聚类，使其成为更高层次的原始几何特征，如在输入图像中识别边等。第二步对这些模型参数进行优化组合，降低预测到的边的差异。 

发明内容

本发明提供了一种植物三维重建中纹理的自动提取方法，高效地自动进行纹理采样、图像校正与纹理映射的方法。 

一种植物三维重建中纹理的自动提取方法，其特征在于，包括如下步骤： 

（1）初始状态：构造植物图片中物体的三维模型，模型由三角形构成，对植物图片的平面纹理进行采样，根据自然光序列进行图像平面到模型平面的映射，得到纹理图片； 

（2）对采样后的纹理图片进行矫正单应性估计，然后根据优化的单应性对扭曲的纹理图片进行形状矫正； 

（3）通过强高光反射提取域附近的颜色直线，根据统计信息补偿获取的光照颜色； 

（4）将模型三角形分成多个小三角形，通过三角形定点的3D位置来计算每个三角形的法向量； 

（5）建立小三角形与三角形矩阵的颜色关联。 

作为对本技术方案的进一步限定，所述步骤（1）包括如下步骤： 

(1.1)根据自然光序列进行平面到平面的临时映射，产生一个虚拟视图以及所有的目标平面

（1.2）在图像平面

中通过线段构造单个平面图像，将其作为一个封闭的多边形链提取边界，通过对多边形链进行内插值，形成一个连续的外形轮廓，即在图像平面

内构造一个平面的外形边界； 

（1.3）将形成连续的外形轮廓映射成目标平面

的一个轮廓模型，从而取代自然光图像平面中的每个平面的真实轮廓外形； 

（1.4）重复步骤（1.2）-（1.3），形成所有包围目标平面的轮廓，对于包围平面轮廓的每个点为p_i，原图像平面对应的点为Q_i，对来自图像平面的Q_i相应的三原色进行采样。 

作为对本技术方案的进一步限定，所述步骤（2）包括如下步骤： 

（2.1）根据三角形的顶点边界线构造源四边形； 

（2.2）对每个源四边形构造一个相应的目标四边形以便对矫正单应性进行估计； 

（2.3）目标平面四边形的高度与矫正前的源四边形的高度相同，通过矫正后的平面图像内的纹理尺寸进行统一准确地描述； 

（2.4）目标四边形的位置与目标四边形的形心位置相同，可以基于平面图像中的源四边形的位置进行估计； 

（2.5）目标四边形的水平位置可以基于图像四边形的宽度来确定，垂直位置可以基于图像中植物的高度来确定。 

作为对本技术方案的进一步限定，所述步骤（3）包括如下步骤： 

（3.1）一个包含高光反射的相同颜色域在rg空间中形成一条线，即颜色线； 

（3.2）当标绘多个颜色域时，这些线在rg空间的某点相交，估计光照颜色作为点的坐标，则可以得到直线公式g=a′r+b′，其中a′与b′通过随机光(s^R,s^G,s^B)^T定义，漫反射为

则根据通过点(p_r,p_g)的直线获得(p_r,p_g)，从而得到最终的光照颜色(s^R,s^G,s^B)^T。 

作为对本技术方案的进一步限定，所述步骤（4）的三角形法线的计算过程为： 

（4.1）先通过三角形顶点的3D位置来计算每个三角形形状法向量; 

（4.2）根据平均相邻面片的法向量计算每个三角形的平滑法向量； 

（4.3）依据三角形顶点相邻的三角形的加权法向量平均值来计算该三角形的每个顶点的法向量。 

作为对本技术方案的进一步限定，所述的纹理映射，先给每个三角形建立一个n×n像素的矩阵，然后将n(n+1)/2个小区域的颜色关联这些三角形到矩阵的左上部分三角形。 

与现有技术相比，本发明的优点和积极效果是：本发明对植物图片中的三维平面进行纹理采样；对采样平面进行图像矫正，包括形状矫正与颜色矫正两个步骤；对模型三角形进行纹理映射，包含三角形法线计算与纹理映射两个步骤。本发明对于大规模自然环境建模包括数字城市、虚拟仿真、植物展示等应用，本发明提供的方法能够自动提取植物纹理，提高植物模型构建的效率、降低成本，同时也可应用于其他模型三维重建时的纹理自动提取。 

附图说明

图1为本发明优选实施例的方法流程图。 

图2是形状矫正示意图，(a)为源四边形，(b)为目标四边形。 

图3是颜色直线的相交示意图。 

图4是法向量的计算示意图。 

具体实施方式

下面结合附图和优选实施例对本发明作更进一步的详细描述。 

参见图1，本发明具体步骤包括： 

（1）初始状态：图片的平面经过了识别，本发明重点是针对识别后纹理的自动化提取，因而首先对平面上的纹理进行采样，根据自然光序列进行图像平面到模型平面的映射； 

（2）对采样后的纹理图片进行矫正单应性估计，然后根据优化的单应性对 扭曲的图像进行形状矫正； 

（3）通过强高光反射提取域附近的颜色直线，统计了沿着高光方向的强度在阈值区域之外选择n个像素，计算每个像素然后通过最小乘方方法得到一条n个像素的颜色线。如果高光反射的每个区域都得到了颜色线，则可以用最小乘方方法获得交点(p_r,p_g)。光照颜色(s^R,s^G,s^B)^T的成分比例通过(p_r,p_g,1-p_r-p_g)^T给出，从而补偿获取的光照颜色； 

（4）将模型三角形分成多个小三角形，通过三角形顶点的3D位置来计算每个三角形的法向量，然后通过平均相邻面片的法向量计算每个三角形的平滑法向量。最后通过考虑三角形顶点相邻的三角形的加权法向量平均值计算该三角形的每个顶点的法向量； 

（5）给每个三角形建立一个n×n像素的矩阵，然后将n(n+1)/2个小区域的颜色关联这些三角形到矩阵的左上部分三角形，考虑到遮挡以及摄影相关的问题，对其中的每个可见小区域都确定来自纹理贴图的最合理的颜色。 

所述的纹理采样，其过程为： 

给定一个自然光平面序列图像I_τ(p),τ=0…T-1，则图片的相应颜色序列Q_i可以描述为： 

Q_i=I_τ(p)   (1) 

其中p_i为目标上的可见点P_i在图像上的投影，对于目标上的所有点，纹理采样就相当于解上述公式，通过3D 2D映射进行求解，使用点P_i来获得图像中相一致的点p_i。 

本发明提出了一种新的方法，该方法对平面图像采样时避免了使用3D形状模型以及额外的校准数据，其主要思想是根据自然光序列I_τ(p)进行平面到平面的临时映射，每个映射成平面

中的点p_i的3D目标点P_i也同样位于目标平面

内，因此目标平面与图像中的平面

相对应，可以通过上述公式对

进 行计算，并对

的轮廓线上所有的点进行纹理采样。此时，通过图像的光照强度模型就得到一个目标实体的虚拟视图，通过将平面轮廓进行变形补偿以适应图像中的每个平面。所需的补偿最后通过平面索引进行获取，在r=0时，平面映射问题的相似算法如下： 

(1)根据光照模型，产生一个虚拟视图以及所有的平面

(2)通过线段构造单个平面图像，然后将其作为一个封闭的多边形链提取边界。通过对多线形链进行内插值形成一个连续的外形轮廓。 

(3)用一个活跃的轮廓模型注册连续的轮廓外形，从而取代自然光图像中的每个平面的真实轮廓外形。 

(4)包围所有平面的轮廓，然后，包围轮廓的每个点p_i，对来自这些平面的Q_i相应的三原色进行采样。 

所述的图像矫正，主要分为形状矫正与颜色矫正两部分。 

所述的形状矫正，主要是通过四边形的相应信息来矫正变形平面图像，对每个构造出来的四边形，首先对其矫正单应性进行估计，然后根据优化后的单应性对扭曲的平面图像进行矫正。 

本发明通过顶点边界线构造源四边形，通常四边形顶点可以作为顶点边界线的结束点，但是有的点可能存在突出或凹进问题，这些特征点就会偏离两个端点之间的线段，因此，本发明基于识别顶点边界如调整两条边界线交叉点的位置来修正直线，从而确定四边形的顶点。 

由于透视图捕捉过程损害了线段之间的几何关系，因此，本发明构造目标四边形基于源四边形与其近似四边形内的特征数量，通常四边形的高宽比例是大致不变的。 

源四边形中的平面图像首先基于相关组件分析进行统计，四边形的边与相邻四边形的边使用公用边界。目标四边形中的高宽比例如下： 

l_q=n·h_q   (2) 

参数l_q与h_q为目标四边形的长与高，n为源四边形的特征点，通常为各种纯色区域。 

通过若干源四边形与目标四边形对，可以用四点算法对单应性进行多次矫正，根据四点的一致性，变形视图与平面图像正视图之间的单应性可以估计如下： 

H=A^-1·R   (3) 

这里H为单应矩阵，矩阵A,R通过四点一致性进行构造，这三个矩阵可以写为如下形式： 

$H=\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\end{array}\right],$ $A=\left[\begin{array}{cccccccc}-x_1& -y_1& -1& 0& 0& 0& {x^{\′}}_1\·x_1& {x^{\′}}_1\·y_1\\ 0& 0& 0& -x_1& -y_1& -1& {y^{\′}}_1\·x_1& {y^{\′}}_1\·y_1\\ -x_2& -y_2& -1& 0& 0& 0& {x^{\′}}_2\·x_2& {x^{\′}}_2\·y_2\\ 0& 0& 0& -x_2& -y_2& -1& {y^{\′}}_2\·x_2& {y^{\′}}_2\·y_2\\ -x_3& -y_3& -1& 0& 0& 0& {x^{\′}}_3\·x_3& {x^{\′}}_3\·y_3\\ 0& 0& 0& -x_3& -y_3& -1& {y^{\′}}_3\·x_3& {y^{\′}}_3\·y_3\\ -x_4& -y_4& -1& 0& 0& 0& {x^{\′}}_4\·x_4& {x^{\′}}_4\·y_4\\ 0& 0& 0& -x_4& -y_4& -1& {y^{\′}}_4\·x_4& {y^{\′}}_4\·y_4\end{array}\right],$ $R=\left[\begin{array}{c}{x^{\′}}_1\\ {y^{\′}}_1\\ {x^{\′}}_2\\ {y^{\′}}_2\\ {x^{\′}}_3\\ {y^{\′}}_3\\ {x^{\′}}_4\\ {y^{\′}}_4\end{array}\right]---\left(4\right)$

其中单应矩阵可以用向量形式进行描述，四点一致性(x_i,y_i),(x′_i,y′_i),i=1,…,4,可以看作源四边形与目标四边形的四个顶点。 

由于特征提取与特征处理过程引入了误差，估计的源四边形位置也包含着误差，因此必须设置股则来选择单应性以便优化矫正过程，由于树叶纹理的最上面的点在理想状态下应该位于矫正后的图像平面中的多个水平线段上，垂直边界应位于多个垂直线段中，将异常函数定义为： 

$J=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{abs}\left(\frac{S_{I_i}}{S_{\mathrm{avg}}}\right)+\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{abs}\left(\frac{{\mathrm{ptx}}_j-{\mathrm{pbx}}_j}{{\mathrm{Dist}}_{\mathrm{avg}}}\right)---\left(5\right)$

其中m为水平线段的数量，n为识别出的垂直边界的数量，S_li为第i个矫正后的水平线段的方向，S_avg为方向均值，ptx_j与pbx_j表示第j个矫正后垂直边界顶点的水平坐标，

为边界顶点的水平方向法向距离。 

公式(5)中右边的第一部分表示矫正后水平线的法线方向，理想状态下为0，第二部分是指在垂直边界线中顶点的法线方向，理想状态下也为0。 

优化的单应性相应地由最小化公式(5)中的函数来确定。 

所述的颜色矫正，首先将一副RGB图像的颜色顶点通过二色映射模型进行表达如下： 

$\left(\begin{array}{c}R\\ G\\ B\end{array}\right)=w_d\left(\begin{array}{c}{\mathrm{\β}}_d^R{s}^R\\ {\mathrm{\β}}_d^G{s}^G\\ {\mathrm{\β}}_d^B{s}^B\end{array}\right)+w_s{\mathrm{\β}}_s\left(\begin{array}{c}{s}^R\\ s^G\\ s^B\end{array}\right)---\left(6\right)$

第一与第二项表示漫反射与高光成分，相应地，w_d与w_s为漫反射与高光的权值，β_d与β_s为漫反射与高光项，(s^R,s^G,s^B)^T表示随机光的RGB成分，照明颜色通过获取公式(6)中的(s^R,s^G,s^B)^T进行估计，假设高光反射已经排除了随机光的颜色成分。 

令RGB颜色空间中规范化的颜色r,g为： 

$r=\frac{R}{R+G+B},g=\frac{G}{R+G+B}---\left(7\right)$

一个相同颜色的域包含高光反射在rg空间中形成一条先（颜色线），当标绘多个颜色域时，这些线在rg空间的某点相交，估计光照颜色作为点的坐标，则可以得到直线公式(7)来替代(6)。 

g=a′r+b′   (8) 

公式(8)中，a′andb′通过随机光(s^R,s^G,s^B)^T定义，漫反射为

通过点(p_r,p_g)的每条直线为： 

$p_r=\frac{S_R}{S^R+S^G+S^B},p_g=\frac{S^G}{S^R+S^G+S^B}---\left(9\right)$

从而获得(p_r,p_g)，光照颜色(s^R,s^G,s^B)^T可以通过公式(9)进行计算。 

本发明通过强高光反射提取域附近的颜色直线，首先，通过阈值识别高强度反射域。由于在每个颜色图像像素点上可以获取变化强度值域颜色值的鼻梁，本发明不仅基于强度本身进行限定，而且还可以通过比例。因此，本发明统计了沿着高光方向的强度（如左下侧的区域），然后在阈值区域之外选择n个像素。 

本发明计算每个像素然后通过最小乘方方法得到一条n个像素的颜色线。如果高光反射的每个区域都得到了颜色线，则可以用最小乘方方法获得交点(p_r,p_g)。光照颜色(s^R,s^G,s^B)^T的成分比例通过(p_r,p_g,1-p_r-p_g)^T给出。 

最后，本发明补偿获取的光照颜色，通过下式修改颜色： 

$\left(\begin{array}{c}{R}_{\mathrm{new}}\\ G_{\mathrm{new}}\\ B_{\mathrm{new}}\end{array}\right)=\left(\begin{array}{c}\frac{p_g}{p_r}R\\ G\\ \frac{p_g}{1-p_r-p_g}B\end{array}\right)---\left(10\right)$

所述的纹理映射包含两个步骤，三角形的法线计算以及纹理映射。本发明通过将三角形分成诸多小区域来处理三角形，考虑到遮挡以及摄影相关的问题，对其中的每个可见小区域都确定来自纹理贴图的最合理的颜色。结合纹理分配策略，本发明也考虑纹理贴图的构造以及存储问题，从而显示纹理映射后的模型。 

所述的三角形法线计算对于提高每个小区域的纹理质量是非常直观重要的。法向量应该尽可能平滑以便减少纹理重构中的人为因素如在两个相邻区域由于选择图像的不同而造成的纹理急剧突变等。本发明采用的策略如下：首先通过三角形顶点的3D位置来计算每个三角形形状法向量，然后通过平均相邻面片的法向量计算每个三角形的平滑法向量。最后，通过考虑三角形顶 点相邻的三角形的加权法向量平均值计算该三角形的每个顶点的法向量。 

为了给三角形内部的小区域分配一个法向量，本发明用Phong标准插值进行计算，该方法对于本发明的目的来说已经足够精确了，因为顶点法向量间的角度非常小。这意味着小区域的发现由三角形顶点法向量的线性插值来决定。 

所述的纹理映射就是将处理好的纹理映射到各个三角形上，首先分析一个给定的平面区域如何与一种颜色相关联，也就是如何对三角形细分成的小区域进行采样，，三角形经过处理后其尺寸已经非常相似了，本发明在每条边上都进行n段细分，从而进行有条不紊地采样。因此每个三角形有n(n+l)/2个小区域，为了确定n的大小，首先将每个3D三角形投影到图像上，此时三角形具有最大的面积，然后测量该三角形的边拥有的像素数，最终将这些三角形的边长进行平均。 

所有小区域的颜色都必须存储在标准计算机图形系统的纹理映射模板中，本发明给每个三角形建立一个n×n像素的矩阵，然后将n(n+1)/2个小区域的颜色关联这些三角形到矩阵的左上部分三角形。这个三角形部分可以视为一个3D三角形纹理的仿射变换，通过这种方法，任意形状的平面三角形的最长边被映射到右上三角形的对角线上，然后仅仅通过将母体添加到单个文件中获得整个纹理映射，这些文件的顺序与三角形在数据结构中的顺序相同。 

结合图1，本发明由纹理采样、图像矫正（包括形状矫正与颜色矫正）、纹理映射（包括三角形法线计算与纹理映射）等模块组成。本发明先在平面内对纹理进行采样，将图像的形状与颜色进行校正，再通过将平面细分为多个三角形，对三角形进行法线计算，再将校正后的纹理进行映射。 

结合图2，对每个源四边形，必须构造一个相应的目标四边形以便对矫正单应性进行估计。目标四边形的高度与矫正前的源四边形的高度相同，可以通过矫正后的平面图像内的纹理尺寸进行统一准确地描述，目标四边形的长 度可以通过公式(2)中估计的长宽比进行确定。目标四边形的位置与目标四边形的形心位置相同，可以基于平面图像中的源四边形的位置进行估计。另外，目标四边形的水平位置可以基于图像四边形的宽度来确定，垂直位置可以基于图像植物的高度来确定，将植物与地面交线定为x=0，图2(b)显示了一个构造完成的目标四边形，源四边形为图2(a)显示的四边形。 

结合图3，一个相同颜色的域包含高光反射在rg空间中形成一条先（颜色线），当标绘多个颜色域时，这些线在rg空间的某点相交，估计光照颜色作为点的坐标，则可以得到直线公式g=a′r+b′，其中a′与b′通过随机光(s^R,s^G,s^B)^T定义，漫反射为

则根据通过点(p_r,p_g)的直线获得(p_r,p_g)，从而得到最终的光照颜色(s^R,s^G,s^B)^T。 

结合图4，在计算三角形的法向量时，先通过三角形顶点的3D位置来计算每个三角形形状法向量，该根据平均相邻面片的法向量计算每个三角形的平滑法向量。最终依据三角形顶点相邻的三角形的加权法向量平均值来计算该三角形的每个顶点的法向量。 

当然，上述说明并非对本发明的限制，本发明也不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也属于本发明的保护范围。 

Claims (6)

1.一种植物三维重建中纹理的自动提取方法，其特征在于，包括如下步骤：

（1）初始状态：构造植物图片中物体的三维模型，模型由三角形构成，对植物图片的平面纹理进行采样，根据自然光序列进行图像平面到模型平面的映射，得到纹理图片；

（2）对采样后的纹理图片进行矫正单应性估计，然后根据优化的单应性对扭曲的纹理图片进行形状矫正；

（3）通过强高光反射提取域附近的颜色直线，根据统计信息补偿获取的光照颜色；

（4）将模型三角形分成多个小三角形，通过三角形定点的3D位置来计算每个三角形的法向量；

（5）建立小三角形与三角形矩阵的颜色关联。

2.根据权利要求1所述的植物三维重建中纹理的自动提取方法，其特征在于，所述步骤（1）包括如下步骤：

(1.1)根据自然光序列进行平面到平面的临时映射，产生一个虚拟视图以及所有的目标平面

（1.2）在图像平面

中通过线段构造单个平面图像，将其作为一个封闭的多边形链提取边界，通过对多边形链进行内插值，形成一个连续的外形轮廓，即在图像平面

内构造一个平面的外形边界；

（1.3）将形成连续的外形轮廓映射成目标平面

的一个轮廓模型，从而取代自然光图像平面中的每个平面的真实轮廓外形；

（1.4）重复步骤（1.2）-（1.3），形成所有包围目标平面的轮廓，对于包围平面轮廓的每个点为p_i，原图像平面对应的点为Q_i，对来自图像平面的Q_i相应的三原色进行采样。

3.根据权利要求2所述的植物三维重建中纹理的自动提取方法，其特征在于，所述步骤（2）包括如下步骤：

（2.1）根据三角形的顶点边界线构造源四边形；

（2.2）对每个源四边形构造一个相应的目标四边形以便对矫正单应性进行估计；

（2.3）目标平面四边形的高度与矫正前的源四边形的高度相同，通过矫正后的平面图像内的纹理尺寸进行统一准确地描述；

（2.4）目标四边形的位置与目标四边形的形心位置相同，可以基于平面图像中的源四边形的位置进行估计；

（2.5）目标四边形的水平位置可以基于图像四边形的宽度来确定，垂直位置可以基于图像中植物的高度来确定。

4.根据权利要求2所述的植物三维重建中纹理的自动提取方法，其特征在于，所述步骤（3）包括如下步骤：

（3.1）一个包含高光反射的相同颜色域在rg空间中形成一条线，即颜色线；

（3.2）当标绘多个颜色域时，这些线在rg空间的某点相交，估计光照颜色作为点的坐标，则可以得到直线公式g=a′r+b′，其中a′与b′通过随机光(s^R,s^G,s^B)^T定义，漫反射为

则根据通过点(p_r,p_g)的直线获得(p_r,p_g)，从而得到最终的光照颜色(s^R,s^G,s^B)^T。

5.根据权利要求2所述的植物三维重建中纹理的自动提取方法，其特征在于，所述步骤（4）的三角形法线的计算过程为：

（4.1）先通过三角形顶点的3D位置来计算每个三角形形状法向量;

（4.2）根据平均相邻面片的法向量计算每个三角形的平滑法向量；

（4.3）依据三角形顶点相邻的三角形的加权法向量平均值来计算该三角形的每个顶点的法向量。

6.根据权利要求2所述的植物三维重建中纹理的自动提取方法，其特征在于，所述的纹理映射，先给每个三角形建立一个n×n像素的矩阵，然后将n(n+1)/2个小区域的颜色关联这些三角形到矩阵的左上部分三角形。

Images