CN103839289A - 一种基于稀疏图像的真实树交互式建模方法 - Google Patents

Abstract

本发明涉及一种基于稀疏图像的真实树交互式建模方法，交互式枝干提取与重建模块从输入的覆盖树90°角的n幅图像序列出发，在图像1中交互式编辑并存储各级树枝结点二维中心位置与直径数据，建立树枝层次结构，再以中间图像2～n-1为参考，寻找图像1中的主枝在图像n上的对应位置并标记，然后在图像n上交互式编辑确定图像1中各级树枝结点对应的深度信息；根据提取的树枝结点二维中心位置、深度与粗度信息，并基于树枝空间包围盒进行透视校正；所述树叶生成模块根据植物学中的叶序规则，生成最终的三维模型。本发明重建后的树模型与真实树形态接近且能够较好地保持树枝的拓扑结构，实现一般精确级别的树的三维重建。

Description

一种基于稀疏图像的真实树交互式建模方法

技术领域

本发明涉及计算机图形学领域，尤其涉及一种基于稀疏图像的真实树交互式建模方法。

背景技术

树是地球上最普遍存在的自然景物之一，真实环境中树的三维建模在虚拟现实、景观设计、三维动画与游戏、数字农业等领域具有广泛的应用价值。在虚拟现实、景观设计、三维动画与游戏等领域，引入真实树的三维模型可极大增强场景的真实感与沉浸感；在农林业领域，建立真实树的三维模型可避免农林业实验中手工测量树参数，如胸径、树高、拓扑结构等的低效性与低准确性，也可为机器人采摘、机器人喷药、虚拟修剪等提供重要的空间信息。然而，由于树几何结构的复杂性和形态的多样性，真实环境中树的三维重建一直是计算机图形学和虚拟植物研究中的挑战性问题。

现有技术中的有效建模方法包括基于规则的方法、交互式建模方法、基于图像的方法和基于激光扫描点云的方法。

其中，基于规则的方法能简单快速产生不同树型的树，但存在语法规则抽象，模型的产生规则式较难被非专业用户掌握，且很难得到真实环境中特定树木的三维模型；交互式建模方法由用户勾勒出树模型的二维形状然后交互式编辑生成树的三维模型，该方法为用户提供了便利的编辑控件，即使对树的几何规则不太熟悉的用户也能建立高质量的树模型，但提出的方法未考虑在多幅真实树照片上的交互式编辑；基于图像的方法即从真实世界拍摄的树图像或图像序列出发重建树的三维信息，该方法能较好体现真实树的三维轮廓信息，但对图像数量(≥16幅)和拍摄角度(≥120°)有较严格的要求；基于激光扫描点云的方法是直接通过激光扫描仪器获取树的点云数据，然后实现树的三维重建，该方法重建精度高，但获取的点云数据后期需经过去噪、背景消除、配准及拓扑重构等复杂处理流程，此外激光扫描设备存在价格偏高、对环境光敏感、处理速度慢等缺点。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本创作。

发明内容

本发明的目的在于提供一种基于稀疏图像的真实树交互式建模方法，用以克服上述技术缺陷。

为实现上述目的，本发明提供一种基于稀疏图像的真实树交互式建模方法，

其基于稀疏图像的交互式树重建系统，该系统包括交互式枝干提取与重建模块、几何建模与透视校正模块、树叶生成模块；

所述交互式枝干提取与重建模块从输入的覆盖树90°角的n幅图像序列出发，在图像1中交互式编辑并存储各级树枝结点二维中心位置与直径数据，建立树枝层次结构，再以中间图像2～n-1为参考，寻找图像1中的主枝在图像n上的对应位置并标记，然后在图像n上交互式编辑确定图像1中各级树枝结点对应的深度信息；

根据提取的树枝结点二维中心位置、深度与粗度信息，所述几何建模与透视校正模块采用广义圆柱体绘制各级三维树枝，并基于树枝空间包围盒进行透视校正；

所述树叶生成模块根据植物学中的叶序规则，在各级树枝上添加树叶，生成最终的三维模型。

进一步，该具体过程为：

步骤a，图像采集；

步骤b，交互式枝干信息的提取与重建，在图像中提取各级树枝位置与粗度信息；

步骤c，几何重建与透视校正；

步骤d，树叶生成。

进一步，上述步骤a的具体过程为：

步骤a1，用10m钢卷尺从树干底部开始测量相差约90°角且与目标距离相等的位置1和位置n，确保在位置1和位置n处数码相机能捕捉到树的全貌；

步骤a2，从位置1到位置n处手持相机间隔一定角度拍摄图像；

步骤a3，在后期处理过程中，将主要对图像1和图像n进行交互式编辑，提取各级树枝结点中心位置与粗度信息。

进一步，在上述步骤b中，交互式枝干提取过程为：

步骤b1，绘制关键结点；

步骤b2，捕捉编辑结点；

步骤b3，结点插入与删除；在两个相邻结点间的线段上可添加新结点；或者删除某结点；

步骤b4，编辑直径；

步骤b5，分支插入与删除；选中某一结点后，完成分支的添加，分支上第一个结点的直径预设与父结点直径相同，最后一个结点的直径预设为一个接近0的数值，中间结点直径采用上述步骤b4中线性法则自动求出；

步骤b6，样条插值与颜色设定；采用三次埃尔米特样条以实现相邻结点p_i与p_i+1间的光滑插值，计算过程如下述公式，

$\left\{\begin{array}{c}{p}_i\left(t\right)=({2t}^3-{3t}^2+1)p_i+(t^3-{2t}^2+t)m_i-({2t}^3-{3t}^2)p_{i+1}+(t^3-t^2)m_{i+1}\\ m_i=(p_{i+1}-p_{i-1})/2\\ m_{i+1}=(p_{i+2}-p_i)/2\end{array}\right.$

式中，p_i-1、p_i、p_i+1和p_i+2表示相邻4个结点的位置信息，m_i和m_i+1表示切线向量，t为[0，1]间的参数值。

步骤b7，缩放与平移。

进一步，在上述步骤b中，标记生成与匹配过程为：

步骤b81，确定图像1上的某一树枝结点i的坐标(x_1i，y_1i)中的高度y_1i与图像n中的高度一致；

步骤b82，对图像1中建立的树结构进行先序遍历并对离树干较近的主枝标记，第1层树枝标记为″B″+″结点序号″，第k层树枝标记为″父结点树枝名″+″-子结点序号″，并在对应树枝中间结点位置(x_1c，y_1c)处显示，其中c=n/2，n为该树枝上结点总数；

步骤b83，基于交互式图像序列显示和移动标记，借助中间图像，寻找标记枝条在不同图像上的位置，直到在图像n上找到该标记对应的新位置(z_2c，y_2c)；

步骤b84，根据图像1中的主枝位置信息(x_1i，y_1i)和图像n中主枝标记中心位置(z_2c，y_2c)采用下述公式预计算图像n主枝上其余结点的位置信息(z_2i，y_2i)(1≤i≤n，i≠c)：

$z_{2i}=(y_{1i}-y_{11})\frac{z_{2c}-x_{11}}{y_{2c}-y_{11}}+x_{11}$

y_2i=y_1i

采用上述交互式编辑方法调整主枝，完成树枝深度信息的提取。

进一步，在上述步骤c中，

结合图像1树枝结点位置(x_1i，y_1i)与图像n结点位置(z_2i，y_2i)，最终该结点三维空间位置信息可表示为(x_1i，(y_1i+y_2i/2，z_2i)，对应树枝粗度直接采用图像1中提取的直径di；

对应最小点坐标和最大点坐标分别记为bMin(x，y，z)与bMax(x，y，z)，基于包围盒对近处树枝进行缩小、对远处树枝进行放大便可抵消两次透视变换后造成的畸变，校正后的树枝三维坐标位置p(x，y，z)与直径d可表示为：

$p_0=\mathrm{bMin}+\left[\begin{array}{ccc}0.5& 0& 0\\ 0& s_1& 0\\ 0& 0& 0.5\end{array}\right](\mathrm{bMax}-\mathrm{bMin})$

$p=p_0+\left[\begin{array}{ccc}1+\frac{s_2(\mathrm{bMax}.z-p.z)}{\mathrm{bMax}.z-\mathrm{bMin}.z}& 0& 0\\ 0& 1+\frac{s_2(\mathrm{bMax}.z-p.z)}{\mathrm{bMax}.z-\mathrm{bMin}.z}& 0\\ 0& 0& 1+\frac{s_2(p.x-\mathrm{bMin}.x)}{\mathrm{bMax}.x-\mathrm{bMin}.x}\end{array}\right](p-p_0)$

$d=d[1+\frac{s_2(\mathrm{bMax}.z-p.z)}{\mathrm{bMax}.z-\mathrm{bMin}.z}]$

其中，0≤s₁≤1为高度方向位移缩放因子，0≤s₂≤2为透视校正因子。

进一步，在上述步骤d中，

在完成树枝三维结构重建后，基于植物学叶序规则实现树叶的添加，选择黄金分割角137.5°，在某一树枝从结点pi处添加n-i片树叶的算法描述如下：

步骤d1，设初始树叶叶柄端点在原点，叶片初始法向量为LN，叶柄方向向量为LV，树枝结点pj处方向向量为PV(i≤j≤n)，树叶到树枝结点p_j处的变换矩阵为M_j；

步骤d2，初始化M_j为单位矩阵；

叶柄与树枝间夹角α=LV.Angle(PV)；

叶柄与树枝所形成平面法向量LPN=||LV×PV||；

垂直于树枝的叶柄投影法向量：

LPV=||PVcos(α)-LV||；

叶片法向量与叶柄投影法向量夹角：

β=LN.Angle(LPV)；

叶片法向量与叶柄投影法向量形成平面法向量：

SN=||LN×LPV||；

叶柄绕树枝旋转角度

γ=137.5×π/180×(j-i)+random()×π/6，-0.5＜random()＜0.5；

树叶绕向量LPN旋转α度使叶柄与树枝重合：

M_j=LPN.Rotate(α)；

绕向量SN旋转β度使叶片法向量朝向树枝：

M_j=SN.Rotate(β)×M_j；

绕向量LPN旋转75度使叶柄与树枝分开：

M_j=LPN.Rotate(5π/12)×M_j；

再绕树枝方向以约137.5°增量旋转γ度：

M_j＝PV.Rotate(γ)×M_j；

最后平移该树叶至树枝结点p_j处：

M_j＝M_j.Translate(p_j)；

步骤d3，根据旋转矩阵M_j，在OpenGL中调用glMultMatrixd(M_j)完成矩阵变换后绘制树叶。

进一步，上述步骤a2中，所述树图像数目n均在6到9之间，拍摄最大覆盖角度为90°。

进一步，在上述步骤b81中，

以图像1上提取的树干结点序列(x_1i，y_1i)为参考，并选取树干与树干上最大树枝的交叉点M₁(x₁₁，y₁₁)、M₂(x₁₄，y₁₄)和M₃(x_1n，y_1n)作为3个特征点，图像1上的树干结点坐标映射到图像n的新坐标设为(z_2i，y_2i)，且满足：

z_2i=x₁₁，y_2i=y_1i

则映射后的树干位置和高度与图像n中的树干不匹配，通过交互式校正图像n直到图像1中的三个特征点均能在图像n上找到匹配位置结束。

进一步，在上述步骤b4中，

每个结点除位置信息外，还对应一个直径信息，捕捉到绿色标记后可调整两个绿色标记点的间距，为提高直径调整效率，在调整某一树枝第一个结点直径d₁或最后一个结点直径d_n时，中间第i个结点的直径d_i将按照线性关系自动调整为d₁+(d_n-d₁)×dis_i1/dis_n1，

其中dis_i1和dis_n1分别对应结点1到结点i之间的线段长度及整个树枝的长度；若调整中间结点直径将不改变其它结点直径信息。

与现有技术相比较本发明的有益效果在于：第一，数据采集简单，在户外，尤其是果园，很难绕某棵树进行全方位、等距离的高密度图像采集，本发明仅需手持数码相机采集6到9幅树图像，拍摄最大覆盖角度仅为90度；

第二，交互性好，用户不需了解相关植物学规则或图形学原理，采用鼠标+键盘的交互式操作即可完成重建；

第三，在交互式重建效率方面，本文重建所需时间在55min-125min之间；

第四，重建后的树模型能较好保存真实树的拓扑结构。

本发明提出的重建方法对图像采集数量与拍摄角度要求低，并充分利用获取图像的高分辨率特征，采用直观的交互式提取方法获取相差90°图像上的枝干位置与粗度信息，并找到树枝间的对应关系，最后对生成的几何模型进行透视校正，并按照植物学规则添加树叶，试验结果表明，重建后的树模型与真实树形态接近且能够较好地保持树枝的拓扑结构，从而实现了一般精确级别的树的三维重建。

本发明所述方法与工具针对的目标用户主要包括三维游戏、动画、园林及景观设计人员，可在一定程度上满足植物学和农学的相关试验研究。生成的真实树模型可用于虚拟修剪试验，避免非专业人员直接在真实树上修剪造成的不可逆破坏；此外，也可应用于植物学中树的拓扑结构分析研究。

附图说明

图1为本发明基于稀疏图像的真实树交互式建模方法的流程图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。

本发明基于计算机视觉、图形学和植物学相关原理，建立了基于稀疏图像的交互式树重建系统，本系统包括交互式枝干提取与重建模块、几何建模与透视校正模块、树叶生成模块。

所述交互式枝干提取与重建模块从输入的覆盖树90°角的n幅图像序列出发，在图像1中交互式编辑并存储各级树枝结点二维中心位置与直径数据，建立树枝层次结构，再以中间图像2～n-1为参考，寻找图像1中的主枝在图像n上的对应位置并标记，然后在图像n上交互式编辑确定图像1中各级树枝结点对应的深度信息；根据提取的树枝结点二维中心位置、深度与粗度信息，所述几何建模与透视校正模块采用广义圆柱体绘制各级三维树枝，并基于树枝空间包围盒进行透视校正；所述树叶生成模块根据植物学中的叶序规则，在各级树枝上添加树叶，生成最终的三维模型。

请参阅图1所示，其为本发明基于稀疏图像的真实树交互式建模方法的流程图，该具体过程为：

步骤a，图像采集；该具体过程为：

步骤a1，用10m钢卷尺从树干底部开始测量相差约90°角且与目标距离相等的位置1和位置n，确保在位置1和位置n处数码相机能捕捉到树的全貌；

步骤a2，从位置1到位置n处手持相机间隔一定角度拍摄图像；由于位置2到位置n-1处的图像仅作中间参考图像，拍摄过程中只需大致估计旋转角度和距离即可，从而简化了采集过程。

本发明中涉及到的所有试验用树图像数目n均在6到9之间，拍摄最大覆盖角度为90°；一般在户外采集树图像，由于树与树之间的遮挡，很难绕某棵树进行360°全方位、高密度的图像采集，因此上述方法较适用于户外树与树间存在遮挡的情况。

步骤a3，在后期处理过程中，将主要对图像1和图像n进行交互式编辑，提取各级树枝结点中心位置与粗度信息；高分辨率的图像有助于对细节树枝的识别，本发明采用的数码相机为索尼HDR-CX760E型，图像分辨率为3680×6544。

步骤b，交互式枝干信息的提取与重建，在图像中提取各级树枝位置与粗度信息；本发明采取交互式编辑方法，该方法通过交互式添加、删除、移动、缩放树枝结点及分支信息，便可在图像上提取各级树枝并建立对应层次结构。

其中，交互式枝干提取过程为：

步骤b1，绘制关键结点；

步骤b2，捕捉编辑结点；

步骤b3，结点插入与删除；在两个相邻结点间的线段上可添加新结点；或者删除某结点；

步骤b4，编辑直径；每个结点除位置信息外，还对应一个直径信息，捕捉到绿色标记后可调整两个绿色标记点的间距，为提高直径调整效率，在调整某一树枝第一个结点直径d₁或最后一个结点直径d_n时，中间第i个结点的直径d_i将按照线性关系自动调整为d₁+(d_n-d₁)×dis_i1/dis_n1，

其中disi1和dis_n1分别对应结点1到结点i之间的线段长度及整个树枝的长度；若调整中间结点直径将不改变其它结点直径信息。

步骤b5，分支插入与删除；选中某一结点后，完成分支的添加，分支上第一个结点的直径预设与父结点直径相同，最后一个结点的直径预设为一个接近0的数值，中间结点直径采用上述步骤b4中线性法则自动求出，进一步简化了直径调整的操作；此外，选定某一树枝后，可删除该分支及该分支上所有子分支。

步骤b6，样条插值与颜色设定；直接连接关键结点得到的折线段不能体现树枝的自然形态，为产生树枝光滑曲线效果，本发明采用三次埃尔米特样条以实现相邻结点p_i与p_i+1间的光滑插值，计算过程如下述公式(1)，

$\left\{\begin{array}{c}{p}_i\left(t\right)=({2t}^3-{3t}^2+1)p_i+(t^3-{2t}^2+t)m_i-({2t}^3-{3t}^2)p_{i+1}+(t^3-t^2)m_{i+1}\\ m_i=(p_{i+1}-p_{i-1})/2\\ m_{i+1}=(p_{i+2}-p_i)/2\end{array}\right.---\left(1\right)$

式中，p_i-1、p_i、p_i+1和p_i+2表示相邻4个结点的位置信息，m_i和m_i+1表示切线向量，t为[0，1]间的参数值。

步骤b7，缩放与平移。由于图像分辨率较高而屏幕分辨率有限，为便于对细节树枝的有效识别与提取，进行缩放与平移。

结合上述步骤，可有效提取图像1上树枝中心位置与直径信息，并建立对应层次结构关系。

标记生成与匹配过程为：

步骤b81，确定图像1上的某一树枝结点i的坐标(x_1i，y_1i)中的高度y_1i与图像n中的高度一致；

由于相机旋转角度及拍摄过程中的误差，即使在与目标距离相等的位置，不同图像中树的位置与大小均有一定差别，因此需要对图像n的形状进行调整基于图像n校正后的图像必定是经过平移、旋转和缩放等组合变换后的结果。

在发明中，在图像1和图像n中手动选择3个匹配点，然后交互式平移、旋转和缩放图像n，直到图像1和图像n中的3个匹配点位置和高度保持一致。

本实施例中，以图像1上提取的树干结点序列(x_1i，y_1i)为参考，并选取树干与树干上最大树枝的交叉点M₁(x₁₁，y₁₁)、M₂(x₁₄，y₁₄)和M₃(x_1n，y_1n)作为3个特征点，图像1上的树干结点坐标映射到图像n的新坐标设为(z_2i，y_2i)，且满足：

z_2i=x₁₁，y_2i=y_1i      (2)

则映射后的树干位置和高度与图像n中的树干不匹配，为此系统提供了可对图像进行平移、旋转、非对称缩放等操作的基本功能，通过交互式校正图像n，直到图像1中的三个特征点均能在图像n上找到匹配位置结束。

对图像n进行交互式校正后，为建立与图像1中主枝的匹配关系，本发明采用交互式标记主枝方法实现，对于细枝部分，则直接在图像n中寻找对应位置，提高了匹配效率。

步骤b82,对图像1中建立的树结构进行先序遍历并对离树干较近的主枝标记，第1层树枝标记为″B″+″结点序号″，第k层树枝标记为″父结点树枝名″+″-子结点序号″，并在对应树枝中间结点位置(x_1c，y_1c)处显示，其中c=n/2(n为该树枝上结点总数)；

步骤b83，基于交互式图像序列显示和移动标记，借助中间图像，寻找标记枝条在不同图像上的位置，直到在图像n上找到该标记对应的新位置(z_2c，y_2c)；

步骤b84,根据图像1中的主枝位置信息(x_1i，y_1i)和图像n中主枝标记中心位置(z_2c，y_2c)采用下述公式(3)预计算图像n主枝上其余结点的位置信息(z_2i，y_2i)(1≤i≤n，i≠c)：

$z_{2i}=(y_{1i}-y_{11})\frac{z_{2c}-x_{11}}{y_{2c}-y_{11}}+x_{11---\left(3\right)}$

y_2i＝y_1i

采用上述交互式编辑方法调整主枝，主枝位置的确定将很大程度上决定树的三维形态，对于细枝部分，可不借助中间图像直接在图像n上就近位置寻找对应树枝，完成树枝深度信息的提取。

步骤c，几何重建与透视校正；

结合图像1树枝结点位置(x_1i，y_1i)与图像n结点位置(z_2i，y_2i)，最终该结点三维空间位置信息可表示为(x_1i(y_1i+y_2i)/2，z_2i)，对应树枝粗度直接采用图像1中提取的直径di。

为实现树枝的几何重建，本发明在OpenG L环境下采用了广义圆柱体(Generalized Cylinder)进行绘制，本发明提出了一种近似校正方法，该方法通过交互式调整少量参数即可取得较好的校正效果。

对应最小点坐标和最大点坐标分别记为bMin(x，y，z)与bMax(x，y，z)，基于包围盒对近处树枝进行缩小、对远处树枝进行放大便可抵消两次透视变换后造成的畸变，校正后的树枝三维坐标位置p(x，y，z)与直径d可表示为：

$p_0=\mathrm{bMin}+\left[\begin{array}{ccc}0.5& 0& 0\\ 0& s_1& 0\\ 0& 0& 0.5\end{array}\right](\mathrm{bMax}-\mathrm{bMin})$

$p=p_0+\left[\begin{array}{ccc}1+\frac{s_2(\mathrm{bMax}.z-p.z)}{\mathrm{bMax}.z-\mathrm{bMin}.z}& 0& 0\\ 0& 1+\frac{s_2(\mathrm{bMax}.z-p.z)}{\mathrm{bMax}.z-\mathrm{bMin}.z}& 0\\ 0& 0& 1+\frac{s_2(p.x-\mathrm{bMin}.x)}{\mathrm{bMax}.x-\mathrm{bMin}.x}\end{array}\right](p-p_0)---\left(4\right)$

$d=d[1+\frac{s_2(\mathrm{bMax}.z-p.z)}{\mathrm{bMax}.z-\mathrm{bMin}.z}]$

其中，0≤s₁≤1为高度方向位移缩放因子，0≤s₂≤2为透视校正因子。

步骤d，树叶生成；

由于树叶数量大、目标小且几何结构复杂，即使采用交互式方法也很难识别。在完成树枝三维结构重建后，本发明基于植物学叶序规则实现了树叶的添加。在植物学中，不同树种对应叶序可大致分为旋生、二列生和对生三种，以旋生为例，选择黄金分割角137.5°，在某一树枝从结点pi处添加n-i片树叶的算法描述如下：

步骤d1，设初始树叶叶柄端点在原点，叶片初始法向量为LN，叶柄方向向量为LV，树枝结点pj处方向向量为PV(i≤j≤n)，树叶到树枝结点p_j处的变换矩阵为M_j；

步骤d2，初始化M_j为单位矩阵；

叶柄与树枝间夹角α=LV.Angle(PV)；

叶柄与树枝所形成平面法向量LPN=||LV×PV||；

垂直于树枝的叶柄投影法向量：

LPV＝||PVcos(α)-LV||；

叶片法向量与叶柄投影法向量夹角：

β＝LN.Angle(LPV)；

叶片法向量与叶柄投影法向量形成平面法向量：

SN＝||LN×LPV||；

叶柄绕树枝旋转角度

γ＝137.5×π/180×(j-i)+random()×π/6，-0.5＜random()＜0.5；

树叶绕向量LPN旋转α度使叶柄与树枝重合：

M_j＝LPN.Rotate(α)；

绕向量SN旋转β度使叶片法向量朝向树枝：

M_j＝SN.Rotate(β)×M_j；

绕向量LPN旋转75度使叶柄与树枝分开：

M_j＝LPN.Rotate(5π/12)×M_j；

再绕树枝方向以约137.5°增量旋转γ度：

M_j＝PV.Rotate(γ)×M_j；

最后平移该树叶至树枝结点p_j处：

M_j＝M_j.Translate(p_j)；

步骤d3，根据旋转矩阵M_j，在OpenGL中调用glMultMatrixd(M_j)完成矩阵变换后绘制树叶。

树叶二列生与对生算法与上述算法类似。

本发明提出的重建方法对图像采集数量与拍摄角度要求低，并充分利用获取图像的高分辨率特征，采用直观的交互式提取方法获取相差90°图像上的枝干位置与粗度信息，并找到树枝间的对应关系，最后对生成的几何模型进行透视校正，并按照植物学规则添加树叶，试验结果表明，重建后的树模型与真实树形态接近且能够较好地保持树枝的拓扑结构，从而实现了一般精确级别的树的三维重建。

位置1和位置n处拍摄图像时相机位姿的确定对树的高精确三维重建非常重要，一方面将结合激光扫描设备获取的实测数据或相机标定方法，采用自动或半自动方式，建立更高精确级别的树模型；另一方面，拟结合基于视频的或基于物理的方法，将树的静态模型扩展为动态模型。

本发明所述方法与工具针对的目标用户主要包括三维游戏、动画、园林及景观设计人员，可在一定程度上满足植物学和农学的相关试验研究。生成的真实树模型可用于虚拟修剪试验，避免非专业人员直接在真实树上修剪造成的不可逆破坏；此外，也可应用于植物学中树的拓扑结构分析研究。

本发明具有下述有益效果：第一，数据采集简单，在户外，尤其是果园，很难绕某棵树进行全方位、等距离的高密度图像采集，本发明仅需手持数码相机采集6到9幅树图像，拍摄最大覆盖角度仅为90度；

第二，交互性好，用户不需了解相关植物学规则或图形学原理，采用鼠标+键盘的交互式操作即可完成重建；

第三，在交互式重建效率方面，本文重建所需时间在55min-125min之间；

第四，重建后的树模型能较好保存真实树的拓扑结构。

以上所述仅为本发明的较佳实施例，对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (10)

1.一种基于稀疏图像的真实树交互式建模方法，其特征在于，其基于稀疏图像的交互式树重建系统，该系统包括交互式枝干提取与重建模块、几何建模与透视校正模块、树叶生成模块；

所述交互式枝干提取与重建模块从输入的覆盖树90°角的n幅图像序列出发，在图像1中交互式编辑并存储各级树枝结点二维中心位置与直径数据，建立树枝层次结构，再以中间图像2～n-1为参考，寻找图像1中的主枝在图像n上的对应位置并标记，然后在图像n上交互式编辑确定图像1中各级树枝结点对应的深度信息；

根据提取的树枝结点二维中心位置、深度与粗度信息，所述几何建模与透视校正模块采用广义圆柱体绘制各级三维树枝，并基于树枝空间包围盒进行透视校正；

所述树叶生成模块根据植物学中的叶序规则，在各级树枝上添加树叶，生成最终的三维模型。

2.根据权利要求1所述的基于稀疏图像的真实树交互式建模方法，其特征在于，该具体过程为：

步骤a，图像采集；

步骤b，交互式枝干信息的提取与重建，在图像中提取各级树枝位置与粗度信息；

步骤c，几何重建与透视校正；

步骤d，树叶生成。

3.根据权利要求1或2所述的基于稀疏图像的真实树交互式建模方法，其特征在于，上述步骤a的具体过程为：

步骤a1，用10m钢卷尺从树干底部开始测量相差约90°角且与目标距离相等的位置1和位置n，确保在位置1和位置n处数码相机能捕捉到树的全貌；

步骤a2，从位置1到位置n处手持相机间隔一定角度拍摄图像；

步骤a3，在后期处理过程中，将主要对图像1和图像n进行交互式编辑，提取各级树枝结点中心位置与粗度信息。

4.根据权利要求3所述的基于稀疏图像的真实树交互式建模方法，其特征在于，在上述步骤b中，交互式枝干提取过程为：

步骤b1，绘制关键结点；

步骤b2，捕捉编辑结点；

步骤b3，结点插入与删除；在两个相邻结点间的线段上可添加新结点；或者删除某结点；

步骤b4，编辑直径；

步骤b5，分支插入与删除；选中某一结点后，完成分支的添加，分支上第一个结点的直径预设与父结点直径相同，最后一个结点的直径预设为一个接近0的数值，中间结点直径采用上述步骤b4中线性法则自动求出；

步骤b6，样条插值与颜色设定；采用三次埃尔米特样条以实现相邻结点p_i与p_i+1间的光滑插值，计算过程如下述公式，

$\left\{\begin{array}{c}{p}_i\left(t\right)=({2t}^3-{3t}^2+1)p_i+(t^3-{2t}^2+t)m_i-({2t}^3-{3t}^2)p_{i+1}+(t^3-t^2)m_{i+1}\\ m_i=(p_{i+1}-p_{i-1})/2\\ m_{i+1}=(p_{i+2}-p_i)/2\end{array}\right.$

式中，p_i-1、p_i、p_i+1和p_i+2表示相邻4个结点的位置信息，m_i和m_i+1表示切线向量，t为[0，1]间的参数值。

步骤b7，缩放与平移。

5.根据权利要求4所述的基于稀疏图像的真实树交互式建模方法，其特征在于，在上述步骤b中，标记生成与匹配过程为；

步骤b81，确定图像1上的某一树枝结点i的坐标(x_1i，y_1i)中的高度y_1i与图像n中的高度一致；

步骤b82，对图像1中建立的树结构进行先序遍历并对离树干较近的主枝标记，第1层树枝标记为″B″+″结点序号″，第k层树枝标记为″父结点树枝名″+″-子结点序号″，并在对应树枝中间结点位置(x_1c，y_1c)处显示，其中c=n/2，n为该树枝上结点总数；

步骤b83，基于交互式图像序列显示和移动标记，借助中间图像，寻找标记枝条在不同图像上的位置，直到在图像n上找到该标记对应的新位置(z_2c，y_2c)；

步骤b84，根据图像1中的主枝位置信息(x_1i，y_1i)和图像n中主枝标记中心位置(z_2c，y_2c)采用下述公式预计算图像n主枝上其余结点的位置信息(z_2i，y_2i)(1≤i≤n，i≠c)：

$z_{2i}=(y_{1i}-y_{11})\frac{z_{2c}-x_{11}}{y_{2c}-y_{11}}+x_{11}$

y_2i=y_1i

采用上述交互式编辑方法调整主枝，完成树枝深度信息的提取。

6.根据权利要求3所述的基于稀疏图像的真实树交互式建模方法，其特征在于，在上述步骤c中，

结合图像1树枝结点位置(x_1i，y_1i)与图像n结点位置(z_2i，y_2i)，最终该结点三维空间位置信息可表示为(x_1i，(y_1i+y_2i)/2，z_2i)，对应树枝粗度直接采用图像1中提取的直径di；

对应最小点坐标和最大点坐标分别记为bMin(x，y，z)与bMax(x，y，z)，基于包围盒对近处树枝进行缩小、对远处树枝进行放大便可抵消两次透视变换后造成的畸变，校正后的树枝三维坐标位置p（x，y，z)与直径d可表示为：

$p_0=\mathrm{bMin}+\left[\begin{array}{ccc}0.5& 0& 0\\ 0& s_1& 0\\ 0& 0& 0.5\end{array}\right](\mathrm{bMax}-\mathrm{bMin})$

$p=p_0+\left[\begin{array}{ccc}1+\frac{s_2(\mathrm{bMax}.z-p.z)}{\mathrm{bMax}.z-\mathrm{bMin}.z}& 0& 0\\ 0& 1+\frac{s_2(\mathrm{bMax}.z-p.z)}{\mathrm{bMax}.z-\mathrm{bMin}.z}& 0\\ 0& 0& 1+\frac{s_2(p.x-\mathrm{bMin}.x)}{\mathrm{bMax}.x-\mathrm{bMin}.x}\end{array}\right](p-p_0)$

$d=d[1+\frac{s_2(\mathrm{bMax}.z-p.z)}{\mathrm{bMax}.z-\mathrm{bMin}.z}]$

其中，0≤s₁≤1为高度方向位移缩放因子，0≤s₂≤2为透视校正因子。

7.根据权利要求6所述的基于稀疏图像的真实树交互式建模方法，其特征在于，在上述步骤d中，

在完成树枝三维结构重建后，基于植物学叶序规则实现树叶的添加，选择黄金分割角137.5°，在某一树枝从结点pi处添加n-i片树叶的算法描述如下：

步骤d1，设初始树叶叶柄端点在原点，叶片初始法向量为LN，叶柄方向向量为LV，树枝结点pj处方向向量为PV(i≤j≤n)，树叶到树枝结点p_j处的变换矩阵为M_j；

步骤d2，初始化M_j为单位矩阵；

叶柄与树枝间夹角α=LV.Angle(PV)；

叶柄与树枝所形成平面法向量LPN=||LV×PV||；

垂直于树枝的叶柄投影法向量：

LPV=||PVcos(α)-LV||；

叶片法向量与叶柄投影法向量夹角：

β=LN.Angle(LPV)；

叶片法向量与叶柄投影法向量形成平面法向量：

SN=||LN×LPV||；

叶柄绕树枝旋转角度

γ=137.5×π/180×(j-i)+random()×；π/6，-0.5＜random()＜0.5；

树叶绕向量LPN旋转α度使叶柄与树枝重合：

M_j=LPN.Rotate(α)；

绕向量SN旋转β度使叶片法向量朝向树枝：

M_j=SN.Rotate(β)×M_j；

绕向量LPN旋转75度使叶柄与树枝分开：

M_j=LPN.Rotate(5π/12)×M_j；

再绕树枝方向以约137.5°增量旋转γ度：

M_j=PV.Rotate(γ)×M_j；

最后平移该树叶至树枝结点p_j处：

M_j=M_j.Translate(p_j)；

步骤d3，根据旋转矩阵M_j，在OpenGL中调用glMultMatrixd(M_j)完成矩阵变换后绘制树叶。

8.根据权利要求3所述的基于稀疏图像的真实树交互式建模方法，其特征在于，上述步骤a2中，所述树图像数目n均在6到9之间，拍摄最大覆盖角度为90°。

9.根据权利要求5所述的基于稀疏图像的真实树交互式建模方法，其特征在于，在上述步骤b81中，

以图像1上提取的树干结点序列(x_1i，y_1i)为参考，并选取树干与树干上最大树枝的交叉点M₁(x₁₁，y₁₁)、M₂(x₁₄，y₁₄)和M₃(x_1n，y_1n)作为3个特征点，图像1上的树干结点坐标映射到图像n的新坐标设为(z_2i，y_2i)，且满足：

z_2i=x₁₁，y_2i=y_1i

则映射后的树干位置和高度与图像n中的树干不匹配，通过交互式校正图像n直到图像1中的三个特征点均能在图像n上找到匹配位置结束。

10.根据权利要求4所述的基于稀疏图像的真实树交互式建模方法，其特征在于，在上述步骤b4中，

每个结点除位置信息外，还对应一个直径信息，捕捉到绿色标记后可调整两个绿色标记点的间距，为提高直径调整效率，在调整某一树枝第一个结点直径d₁或最后一个结点直径d_n时，中间第i个结点的直径d_i将按照线性关系自动调整为d₁+(d_n-d₁)×dis_i1/dis_n1，

其中dis_i1和dis_n1分别对应结点1到结点i之间的线段长度及整个树枝的长度；若调整中间结点直径将不改变其它结点直径信息。

Images