CN103646421B - 基于增强型PyrLK光流法的树木轻量化3D重建方法 - Google Patents

Abstract

本发明公开了一种基于增强型PyrLK光流法的树木轻量化3D重建方法，首先，为了克服传统金字塔LK光流法不支持特征点旋转以及不具有双向匹配性的缺点，对PyrLK光流法进行支持仿射变换和反向追踪的增强，并给出实例说明了增强后的鲁棒性。其次，利用三维体素泛洪和线性拟合的方法抽取完备的树木骨架。然后，基于纵向和横向枝干的合并对树木骨架进行指定程度的轻量化，以适应Web轻量级应用的要求。再然后，还提出了一个客观的树木建模还原度评价方法。最后，为了获得完全符合用户需要的树木模型，还提出了基于用户交互的模型完善方法。采用本发明可获得轻量化更好准确度更高的3D树木模型。

Description

基于增强型PyrLK光流法的树木轻量化3D重建方法

技术领域

本发明涉及一种基于多张图片的树木轻量化建模，尤其涉及的是一种基于增强型PyrLK(金字塔光流法)光流法的树木轻量化3D重建方法。

背景技术

树木作为大自然中最常见的物种，在虚拟场景中的应用十分广泛，已经涉及到生活的方方面面。比如房地产模型、虚拟现实、电脑游戏、建筑工程、城市建模、场景漫游等。随着越来越多的虚拟场景的需要，能否高效而准确的对树木进行建模，直接决定了这些应用的真实感和竞争力。

主流的手工建模、激光扫描仪重建等树木建模的方法虽然能够得到比较精确的树木模型，但是需要专业人员，并且耗时长、设备昂贵，因此不适宜进行一般用途的建模。而单纯靠分形或事先定义好的规则进行树木的虚拟生长，又背离了真实树木的形态，导致所建出的模型过于简单，形态结构单一，不符合当今应用对真实感的需求。

为了克服上述问题，目前常用的方法是基于图像对树木进行重建，从真实的树木图像中重建出具有高真实感的树木模型。其主要依靠SIFT方法来进行特征点的匹配，然而由于树木结构之间的遮挡性，以及风扰动等因素，导致SIFT特征匹配有过多丢失，很难进行正确的匹配。在重建出点云模型后，主流的骨架抽取方法是3D瘦化，但是3D瘦化不仅对点云的密度要求比较高，而且在得到骨架以后在恢复树木枝干时容易出现二义性。其次，由于树木结构复杂，如何对重建出的树木模型进行进一步的轻量化也是一个难点。最后，大多数基于图像的树木建模方法只是给出极少方向的投影与树木照片的对比图，试图靠用户来分别它们的相似度，缺乏一个量化的方法。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种基于增强型PyrLK光流法的树木轻量化3D重建方法，旨在解决现有的基于图像进行树木建模的方法特征匹配不准确，骨架抽取方式操作要求高的问题。

本发明的技术方案如下：

一种基于增强型PyrLK光流法的树木轻量化3D重建方法，其包括以下步骤：

步骤S1：采用PyrLK光流法进行仿射变换扩展对获取的多张图片进行图像的特征匹配，并将得到的匹配点进行反向追踪，提高匹配的准确性；

步骤S2：特征匹配后，基于多张图片进行树木的三维重建，得到完整的树木空间点云模型；

步骤S3：根据该点云的空间分布，并结合树木自底向上的自然生长规律和分形的逻辑结构特征，利用三维体素泛洪和线性拟合的方法抽取完备的树木骨架；

步骤S4：对抽取的骨架基于用户交互的模型进行改善和轻量化；

步骤S5：分别计算输入图像序列的信息量、三维重建的还原度和骨架抽取的还原度对模型进行质量评估，获得轻量化和准确的模型。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，反向追踪的方法是：在进行特征匹配的两图像中进行，分别为图像1和图像2，设u点为图像1中的起始点，图像2中的v点为通过PyrLK光流法找到的图像1中u点的匹配点，而u’点为图像2中v点通过反向的PyrLK光流法找到的图像1中的匹配点，具体为采用公式：d＝||u’-u||，判断d是否小于σ，其中，d表示u点和u’点的距离，σ为距离阈值，当d<σ时，则称点u与点v真正匹配，否则称点u与点v伪匹配或单向匹配，对于伪匹配的点对，将对其进行剔除。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，在进行反向追踪后，要进一步对每个点对进行相似度的计算，并统计其相似度的平均值，对低于相似度平均值的点对进行剔除。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，在获取了精确的点云模型之后，需要将模型的存储方式由密集的点云转化为逻辑的树形父子结构。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，具体为：每个节点表示树枝的起点，存储着该节点的空间位置、半径和该节点的父子节点信息以及兄弟节点信息，一个节点和它的一个子节点形成一个空间线段，若干空间线段组成一条连续的树枝。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，进行体素化泛洪是将离散的点的数据组织形式转化为连续的体素的组织形式，主要分为三步:步骤A：求得点云包围盒即找到包围点云模型中所有点的最小的长方体；步骤B：包围盒空间分块即根据上一步得到长方体，进行空间分块，每个分块为一个小的立方体，即体素；步骤C：进行点云索引即对于每一个非空的体素，进行点云的索引，确定三维体素模型。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，在确定了三维体素模型以后，便需要从根到叶，自底向上地对树的骨架结构进行生长，将体素模型中点的分布作用于骨架的分支以形成骨架模型。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，骨架形成的具体方法是：将根节点置为当前节点，对其进行三维泛洪，首先对其相邻的26个体素进行泛洪，若体素不为空，则将其加入邻域范围，若为空，则停止向该方向进行迭代；同时将加入邻域范围的体素置为无效，表示其已经参与了泛洪，不再参与骨架的重建；然后进行下一次迭代，对新加入的体素进行26方向的泛洪，并把有效的体素加入到邻域范围；接着比较两次迭代体素增加的比例，如果低于设置的阈值，则停止迭代，当前的邻域范围即为三维泛洪得到的当前节点的邻域范围，在得到邻域以后，根据邻域内的体素获取到邻域内的点云分布运用最小二乘法进行线性拟合的方法抽取骨架。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，运用最小二乘法进行线性拟合的方法抽取骨架，具体包括以下步骤：步骤S321：首先选择一个点云密度的阈值，对于密度小于阈值的方向，忽略其对产生分支的可能，只对点云密度大于阈值的方向，看作分支方向；步骤S322：根据最小二乘的方法，拟合出将要产生分支的方向；步骤S323：对于半径的获取的方法是对树木半径进行线性地递减，即r＝cR，其中r为子枝半径，R是父枝半径，c为一个线性倍数；步骤S324：继续采用拟合的办法从真实的点云中抽取出树木的半径和长度。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，从真实的点云中抽取出树木的半径和长度的方法为：统计某分支方向上的点集到拟合直线的距离，并计算出平均距离d_avg，拟合出的半径为R＝2×d_avg，统计某分支方向上点集到直线的投影长度，记它们的平均投影长度为l_avg，拟合出的枝干长度为L＝2×l_avg。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，提出了分别从纵向和横向对树枝进行合并的方法，以去掉一些只是起到微调作用的枝干，实现轻量化。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，纵向合并指的是从父到子，从根到叶进行纵向递归式的合并，若当前节点与其父节点和子节点的夹角小于所设定的阈值，那么则将该节点去掉，并将其子节点连接到其父节点；若该节点的子节点数目不只一个，则不对它进行合并操作。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，横向合并指的是对非常靠近的叶子节点进行合并，只对叶子节点进行合并，不再是使用角度来衡量两个子枝的靠近程度，而是使用子节点间的欧式距离来表示。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，分别计算输入图像序列的信息量、三维重建的还原度和骨架抽取的还原度对模型进行质量评估的具体方法为：模型M的建模还原度Q定义如下：

建模还原度Q的取值范围为[0,1]，0表示没有还原出任何树木几何信息，1表示准确还原出整棵树木的几何信息，I为图片序列信息量，R_3d为三维重建还原度，R_s为骨架抽取还原度。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，给出图像序列信息量的数学定义如下：

$I=1-{\&lsqb;\frac{a}{b}\&rsqb;}^n$

其中，图片序列信息量I的取值范围为[0,1]；当I＝0时表示图片序列并不包含树木信息，当I＝1时表示图片序列能完全表达空间树木的几何信息，a，b都是正数且a<b，具体数值需要对不同树木进行实验之后才能得到。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，给出三维重建还原度的数学定义式：

$R_{3d}=\frac{1}{n}\underset{i=1}{\overset{n}{\&Sigma;}}\frac{P_i}{P_i+O_i}$

上式中的n表示图像的数量；P_i表示点云模型投影到第i张图片上在树木轮廓中的点的数量；O_i表示点云模型投影到第i张图像上在树木轮廓外的点的数量；P_i+O_i自然就表示点云模型中点的总数量；P_i/P_i+O_i表示点云投影到第i张图片上的击中率，R_3d值区间为[0,1]。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，计算骨架抽取的还原度采取的做法是将骨架的树形逻辑信息用圆台和球进行堆叠从而将其转化为三维的表示，具体的做法是对骨架中的每个节点，根据其半径构造出一个球体；然后对于每个父子关系，用一个圆台来表示其枝干，圆台的底半径等于父节点的半径，圆台的顶半径等于子节点的半径；然后对于每个点云模型中的点，用数学公式判断其是否存在于骨架的三维表示中的球体或圆台中，如果存在，则表示匹配成功，否则表示匹配失败；最后用成功点数与总点数的比值来表示骨架抽取的还原度。

所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，给出的数学定义式如下：

$R_s=\frac{S}{N}$

其中，S表示匹配成功的点数，而N表示点云模型的总点数，Rs的值区间为[0,1]。

本发明的有益效果：本发明为了克服传统金字塔LK光流法不支持特征点旋转以及不具有双向匹配性的缺点，对PyrLK光流法进行支持仿射变换和反向追踪的增强，并给出实例说明了增强后的鲁棒性；其次，利用三维体素泛洪和线性拟合的方法抽取完备的树木骨架；然后，基于纵向和横向枝干的合并对树木骨架进行指定程度的轻量化，以适应Web轻量级应用的要求；再然后，还提出了一个客观的树木建模还原度评价方法；最后，为了获得完全符合用户需要的树木模型，同时还提出了基于用户交互的模型完善方法。

附图说明

图1是本发明提供的重建方法流程图。

图2是本发明中提供的增强型金字塔光流法的流程图。

图3a是点云模型最小长方体示意图。

图3b是点云模型中体素示意图。

图3c是点云模型中点云索引示意图。

图4a、4b、4c表示三维体素泛洪确定邻域的示意图。

图5表示多种子点并发泛洪确定邻域的示意图。

图6为多种子点并发体素泛洪确定邻域范围的发明流程图。

图7a、7b、7c表示树枝纵向合并过程示意图。

图8是基于端点距离的枝干横向合并的方法流程图。

图9a、9b、9c、9d表示纵向合并和横向合并联合使用的过程示意图。

图10a、10b、10c表示通过用户交互的方法指引泛洪算法的进一步完善的效果示意图。

图11为实施例一中正面投影树木从树木原图到树木轻量化骨架模型图的效果示意图。

图12为实施例一中侧面投影树木从树木原图到树木轻量化骨架模型图的效果示意图。

图13为实施例二中正面投影树木从树木原图到树木轻量化骨架模型图的效果示意图。

图14为实施例二中侧面投影树木从树木原图到树木轻量化骨架模型图的效果示意图。

图15为实施例三中正面投影树木从树木原图到树木轻量化骨架模型图的效果示意图。

图16为实施例三中侧面投影树木从树木原图到树木轻量化骨架模型图的效果示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。

参见图1，本发明提供的一种基于增强型PyrLK光流法的树木轻量化3D重建方法，主要包括以下步骤：

步骤S1：采用PyrLK光流法进行仿射变换对获取的多张图片进行图像的特征匹配，并将得到的匹配点进行反向追踪，提高匹配的准确性；

步骤S2：特征匹配后，基于多张图片进行树木的三维重建，得到完整的树木空间点云模型；

步骤S3：根据该点云的空间分布，并结合树木自底向上的自然生长规律和分形的逻辑结构特征，利用三维体素泛洪和线性拟合的方法抽取完备的树木骨架；

步骤S4：对抽取的骨架基于用户交互的模型进行改善和轻量化；

步骤S5：分别计算输入图像序列的信息量、三维重建的还原度和骨架抽取的还原度对模型进行质量评估。

其中，对于步骤S1是本发明主要改进点之一。由于主流的SIFT匹配由于树木的结构浮躁，自身遮挡、风扰动等因素，实验效果不理想，因此本发明采用了PyrLK光流法来替代SIFT进行特征点的匹配。

虽然，PyrLK光流法相较SIFT特征点匹配有一定优势，能够很好的解决几乎任何像素块大小由平移主导的匹配。但是传统的PyrLK光流法，具有相当大的局限性，主要表现在:1、传统的PyrLK光流法只支持特征点间的平移变换，因为相邻的两帧图像要求在空间形成一定的夹角进行拍摄，这样在两帧图像上，也一定会产生由空间旋转投影过后带来的平面旋转。而这样的变换在PyrLK光流算法里是无法解决的，因为PyrLK只是简单的将点的匹配依赖于点的平移，从而导致其适用和推广受到了很大的局限。2、没有给出一个对于匹配点是否合格的验证机制，导致匹配对的可信度下降。

为了突破PyrLK光流法的局限性，本发明给出了基于仿射变换和反向追踪的PyrLK光流法，该方法很好的解决了以上两个问题，保证了其适用性和可信度。首先是对PyrLK光流算法进行由平移变换到放射变换的扩展；其次是采用反向追踪，确定两个点真正的匹配。

反向追踪的具体方法是：在进行特征匹配的两图像中进行，分别为图像1和图像2，设u点为图像1中的起始点，图像2中的v点为通过PyrLK光流法找到的图像1中u点的匹配点。而u’点为以图像2中v点通过反向的PyrLK光流法找到的图像1中的匹配点。d为||u’-u||，表示该两个点的距离，σ为距离阈值。当d<σ时，则称点u与点v真正匹配。否则称点u与点v伪匹配或单向匹配。对于伪匹配的点对，这里将对其进行剔除，以免影响算法的正确性与鲁棒性。

在进行了反向追踪之后，可以得到真相似的匹配点对，但是为了进一步提高算法的鲁棒性，这里采用中值过滤的方法，将“相似度”低于平均值的匹配点对进行进一步的剔除。这样做可以避免虽然通过金字塔光流法找到的相对位置满足匹配条件，但其实周围像素值并不匹配的情况。这里，我们这里以归一化相关系数来定义两个点之间的相似度:

$Similarity(x,y)=\frac{{\&Sigma;}_{x^{\&prime;},y^{\&prime;}}\left(T^{\&prime;}\right(x^{\&prime;},y^{\&prime;})\&CenterDot;I^{\&prime;}(x+x^{\&prime;},y+y^{\&prime;}\left)\right)}{\sqrt{{\&Sigma;}_{x^{\&prime;},y^{\&prime;}}{T}^{\&prime;}{(x^{\&prime;},y^{\&prime;})}^2\&CenterDot;{\&Sigma;}_{x^{\&prime;},y^{\&prime;}}{I}^{\&prime;}{(x+x^{\&prime;},y+y^{\&prime;})}^2}}$

其中T(x,y)和I(x,y)分别表示两个图像中的对应小块区域上某点的像素值。(x’,y’)表示原图像上的某点，(x+x’,y+y’)表示经过光流向量(x,y)后得到的目标块上的点。

它表示了两幅图像上两个点的周围一个小块间的相似程度。所以在进行反向追踪后，需进一步对每个点对进行相似度的计算，并统计其相似度的平均值，对低于相似度平均值的点对进行剔除。具体步骤参见图2。

特征匹配后，基于多张图片进行树木的三维重建，得到完整的树木空间点云模型，在获取了精确的点云模型之后，出于后续轻量化的考虑，需要将模型的存储方式由密集的点云转化为逻辑的父子结构。用树形的数据结构来表达现实的树结构，相对于面片结构，树形结构也是一种更为轻量化的存储方式。每个节点表示树枝的起点，存储着该节点的空间位置、半径和该节点的父子节点信息以及兄弟信息。一个节点和它的一个子节点形成一个空间线段，若干空间线段组成一条连续的树枝。从树的生长规律入手，从根节点往子节点生长。生长的依据则为当前节点所在邻域内的空间点云分布，节点邻域大小由步长来控制，步长会探索式地递增，直到达到了增长的阈值，邻域大小才确定下来。然后从其点云分布拟合出各个分支的方向，从而生长出新的子节点，并递归地生长下去直到点云的边界。

三维重建得到的结果是一个点云模型，该模型中的点数量庞大，不适于后续的邻域搜索，因此我们需要对点云进行体素化处理即进行三维体素泛洪。所谓体素化，就是将离散的点的数据组织形式转化为连续的体素的组织形式。它主要分为三步:步骤A：求得点云包围盒即找到包围点云模型中所有点的最小的长方体，参见图3a；步骤B：包围盒空间分块即根据上一步得到长方体，进行空间分块，每个分块为一个小的立方体，即体素，参见图3b；步骤C：进行点云索引即对于每一个非空的体素，进行点云的索引，参见图3c。

在将点云模型转化为体素模型以后，对于点云的邻域搜索便转化为了对于空间临近体素的搜索，体素的位置就反映了点集的位置，因此不用每次搜索都遍历整个点云，而是只用将步长范围体素中的点集遍历即可。由于体素是我们处理的基本单位，所以体素的大小也直接决定了体素模型的精度，因此，在确保非空体素的空间连续性和效率允许的基础上，建议让体素尽可能的小，以保证模型的精度。

在确定了三维体素模型以后，便需要从根到叶，自底向上地对树的骨架结构进行生长。生长的依据是已经得到的体素模型，将体素模型中点的分布作用于骨架的分支，便可以张成骨架模型。

骨架形成的具体方法是：将根节点置为当前节点，对其进行三维泛洪，首先对其相邻的26个体素进行泛洪，若体素不为空，则将其加入邻域范围，若为空，则停止向该方向进行迭代。同时将加入邻域范围的体素置为无效，表示其已经参与了泛洪，不再参与骨架的重建，这样不仅可以对算法的结束有一个很好的约束条件，同时也可以减少重复处理的次数，加快算法的完成。然后进行下一次迭代，对新加入的体素进行26方向的泛洪，并把有效的体素加入到邻域范围。接着比较两次迭代体素增加的比例，如果低于设置的阈值，则停止迭代，当前的邻域范围即为三维泛洪得到的当前节点的邻域范围。

参见图4，其展示了三维体素泛洪确定邻域的步骤，三张图都延空间z轴正向投影到2D平面。图4a为其初始状态，即邻域范围为当前体素。其中中间白色方格区域表示邻域范围，白色方格外的深灰色区域表示未探索区域，浅灰色区域表示空的体素，而有白色阴影区域表示已经在之前的枝干邻域。图4b表示体素泛洪经过一次迭代以后的状态，因为体素泛洪只会对与当前邻域范围相邻的未探索区域(白色方格外的深灰色方块)进行扩展，所以图4a只会向白色箭头指向的体素进行扩展，从而得到图4b。在得到新的邻域后，首先会计算所新增的点的数量与之前的数量的比值有没有低于阈值，如果低于阈值，则停止邻域的扩张。最后将得到图4c中的邻域范围。

由于树木有多个节点，所以确定节点间的泛洪顺序十分重要。因为泛洪算法对泛洪过的区域不再进行泛洪，因此需要将各个节点之间的相互影响降到最低。我们通过广度优先的方法，按层级对体素进行泛洪，这样就避免了子节点的泛洪影响到叔父节点的泛洪。同时，对于同一层级的体素，将其视为多个种子点，并采取并发的泛洪，也就是同时对它们进行泛洪，这样既提高了泛洪的效率，也使得同层级间的体素之间的影响降到最小。

图5给出了多种子点并发泛洪确定邻域的示意图。其中外延浅色方块为未泛洪体素，深色的方块表示已泛洪体素，小深色区的小亮点为当前的种子点。由图可见，当前的种子点为树木的相同层级上的节点，即广度优先的并发泛洪。多种子点并发体素泛洪确定邻域范围的具体步骤参见图6。

在得到邻域以后，根据邻域内的体素获取到邻域内的点云分布。从点云内抽取骨架的方法很多，由于探讨的是树木建模，树枝在一个不大的邻域内可以近似为一条直线，所以本发明运用最小二乘法进行线性拟合的方法抽取骨架，具体包括以下步骤：

步骤S321：选择一个点云密度的阈值，对于密度小于阈值的方向，忽略其对产生分支的可能，只对点云密度大于阈值的方向，看作分支方向。

这样可以很好的排除一些“噪声”数据或三维重建的误差导致的错误数据对树木骨架的影响。

步骤S322：根据最小二乘的方法，拟合出将要产生分支的方向。

此时得到的方向并不含长度和半径信息，这不足以完成树木枝干的恢复。

步骤S323：对于半径的获取的方法是对树木半径进行线性地递减，即r＝cR，其中r为子枝半径，R是父枝半径，c为一个线性倍数。

这个倍数可以固定，也可以进行随机的扰动从而增进多样性。根据达芬奇总结的树木父子枝直径的关系公式：求的子枝半径，其中D为父枝直径，d_i为第i个子枝的直径，n为子枝的数量。然而基于上述两种基于规则的半径生成办法虽然简化了对于半径的生成方式，然而生成的树木半径过于单一，缺乏真实感。并且对于长度的获取，并没有一个很好的基于规则的方法。

步骤S324：继续采用拟合的办法从真实的点云中抽取出树木的半径r和长度l。

由于经过重建和后期处理的点云基于枝干是均与分布的，因此可以统计某分支方向上的点集到拟合直线的距离，并计算出平均距离d_avg，那么拟合出的半径为R＝2×d_avg。同理，统计某分支方向上点集到直线的投影长度，记它们的平均投影长度为l_avg，那么拟合出的枝干长度为L＝2×l_avg。这样，就通过拟合的方法，得到了枝干的方向，半径和长度，由此可以恢复出极具真实感的树木骨架模型。

用基于多方向迭代与步长探索得到的三维树木骨架是很细致和准确的，尽管它相对于用3DSMAX等建模工具手工建模得到的面片模型已经大大的轻量化了。但是如果应用是用于大规模的树木建模，有必要根据应用需求进一步进行轻量化处理。树枝的结构其实只由核心的一些枝干组成，其他的枝干只是对其结构进行微调。所以在要求进一步轻量化的前提下，提出了分别从纵向和横向对树枝进行合并的方法，以去掉一些只是起到微调作用的枝干。这种方法在尽可能保证真实感不过多丢失的前提下对树枝进行简化操作，以适应更广泛的Web应用领域。

纵向合并指的是从父到子，从根到叶进行纵向递归式的合并。若当前节点与其父节点和子节点的夹角小于所设定的阈值，那么则将该节点去掉，并将其子节点连接到其父节点。若该节点的子节点数目不只一个，则不对它进行合并操作，因为将该节点的所有子节点加到该节点的父节点上去有违真实感。

参见图7，其展示了树枝纵向合并过程。图7a为输入的树枝骨架，并且当前节点为B，其父节点为A，且只有唯一的子节点C。设合并角度阈值为α，假设AB,BC之间的夹角b小于合并阈值α，那么将B剔除，并将C作为A的子节点。同理，在图7b中，若夹角c小于阈值α，那么也将AC和CD合并。在图7c中，由于节点D有两个孩子，所以不对其进行合并操作。

横向合并指的是对非常靠近的叶子节点进行合并。只对叶子节点进行合并，是因为非叶子节点下面都有若干棵子树，若对它们进行合并，必须对它们下面的子树也进行合并。而合并子树显然就使得真实感下降很大，因为这不只是局部微调，而是若干子树的变动。对于横向合并，不再是使用角度来衡量两个子枝的靠近程度，而是使用子节点间的欧式距离来表示，因为合并两个角度相差小但是长度相差大的子枝也会导致真实感的大幅下降。基于端点距离的枝干横向合并的具体方法步骤参见图8。

然而，纵向合并和横向合并单独使用时都具有很大的局限性，因为纵向合并只能对具有单个孩子并且没有兄弟的节点进行纵向递归地调用，而横向合并又只能对叶子节点进行兄弟级别的合并。但是将两种合并方法联合使用，将可以从整体上对树木进行微调操作，图9对这一想法进行了演示。图9a中经过纵向的AB,BC合并得到图9b。图9b中由于C有两个子节点，无法进行纵向合并，所以考虑进行横向合并CD,CE，并得到图9c。最后进行一次纵向合并得到图9d。

对于一个通过建模获得的树木模型，如果没有一个客观的量化评价指标，就无法从客观的角度反馈树木模型的还原度和各个步骤算法的可行性。对于本发明的基于图像序列的树木建模方法，建模的输入是在自然环境下拍摄的树木图片序列，输出是三维的骨架模型。因此，判断三维模型和投影照片的相似程度是评价建模质量的核心。然而，大多数基于图像的树木建模方法只给出了输入图片和建模结果在少量角度的渲染效果，试图让观察者从肉眼观察其相似度。但是这种方法是主观的，因观察者的不同可能会有不同的评价结果，这显然不是一个好的评价方法。

为了客观、量化地评价基于图像序列的建模质量，本发明提出了一套完整的评价方法。然而，仅仅凭借照片无法完全表达出其所在环境的信息，比如环境光照，因为遮挡而产生的阴影信息等，因此我们的评价方法将不针对模型的纹理和颜色信息，仅仅对模型的几何信息和照片中的几何信息的匹配程度进行量化分析。

设树木模型M由n张从不同角度拍摄的同一棵树的图片序列I₁···I_n，经过基于图像的三维重建，骨架抽取的方法进行建模所获得。那么模型M的建模还原度Q定义如下：

建模还原度Q的取值范围为[0,1]，0表示没有还原出任何树木几何信息，1表示准确还原出整棵树木的几何信息。这里将建模还原度Q考虑由3个部分组成，为此也引入了三个新的概念：图片序列信息量I，三维重建还原度R_3d，以及骨架抽取还原度R_s。这三个分量的取值范围都为[0,1]，它们的乘积即为总的建模还原度Q。

一个信息量大的图片序列应该满足以下三个要求：1、图片数量多：图片数量多也就意味着拍摄角度多，因为一张图片代表着一个角度。2、角度跨度大：跨度大指需要对树木进行全方位的拍摄。3、角度分布均匀：若图片只是密集的集中在一个角度区间，就算图片再多，也无法完整地表达整棵树的信息，所以若在角度多和跨度大的情况下还满足分布均匀，那么就能很完整地携带树木的信息。由于从平面的2D图像很难得到其空间角度拍摄情况，因此在这里我们简化其定义，将关注点放在图片数量上来，对于图片跨度和角度的均匀分布，我们默认拍摄者在拍摄过程中采用均匀的角度偏差来进行360°的拍摄。

根据以上的分析，给出图像序列信息量的数学定义如下：

$I=1-{\&lsqb;\frac{a}{b}\&rsqb;}^n$

其中，图片序列信息量I的取值范围为[0,1]。当I＝0时表示图片序列并不包含树木信息，当I＝1时表示图片序列能完全表达空间树木的几何信息。a,b都是正数且a<b，具体数值需要对不同树木进行实验之后才能得到。尽管a和b因树木特点不同而不同，但是它始终满足前文提出的信息量增长速度的特点，即先快后慢。

对于一个给定的图片序列，所用三维重建方法所得到的点云模型的与实际的树木在几何形状上的相似度如何，由三维重建还原度R_3d来定义。实际树木的几何信息被记录在输入的图像序列中，所以想要计算点云模型和实际树木的相似度，就需要对点云模型和图片序列进行比较。然而对于三维的点云信息和二维的图片信息，无法进行直接地比较。一个比较直观的想法，是对三维的点云进行投影，投影的角度由三维重建过程中的照相机几何标定步骤给出。

由于不考虑模型纹理和颜色信息，在空间点被投影到平面以后，只关注其是否在对应角度图片的树木轮廓内。所以对输入的树木图片序列，需要先获得其轮廓图，并将其转化为二值图像。树木上的点值为1，而树木外的点值为0。对于每一个点云模型中的点，按对应角度投影，获得其在对应图片上的坐标值，并且在其二值图像上确定其值，若为1，则表明匹配成功，否则匹配失败。最后统计出匹配成功的总的比例，作为三维重建的还原度。

根据以上分析，给出三维重建还原度的数学定义式：

$R_{3d}=\frac{1}{n}\underset{i=1}{\overset{n}{\&Sigma;}}\frac{P_i}{P_i+O_i}$

上式中的n表示图像的数量，P_i表示点云模型投影到第i张图片上在树木轮廓中的点的数量，O_i表示点云模型投影到第i张图像上在树木轮廓外的点的数量，因此P_i+O_i自然就表示点云模型中点的总数量。P_i/P_i+O_i表示点云投影到第i张图片上的击中率。最后对每张图像的击中率求平均，作为总的三维重建的还原度。其值区间为[0,1]。

骨架抽取是基于三维点云模型进行的，因此计算骨架抽取的还原度的输入是重建出的点云模型和抽取出的骨架模型。由于点云模型是三维的点的集合，而抽取出的骨架模型却是一个记录着树形结构的逻辑信息，它们无法进行直接的比较。这里采取的做法是将骨架的树形逻辑信息用圆台和球进行堆叠从而将其转化为三维的表示。

具体的做法是对骨架中的每个节点，根据其半径构造出一个球体。然后对于每个父子关系，用一个圆台来表示其枝干，圆台的底半径等于父节点的半径，圆台的顶半径等于子节点的半径。然后对于每个点云模型中的点，用数学公式判断其是否存在于骨架的三维表示中的球体或圆台中，如果存在，则表示匹配成功，否则表示匹配失败。最后用成功点数与总点数的比值来表示骨架抽取的还原度。定义如下：

$R_s=\frac{S}{N}$

其中S表示匹配成功的点数，而N表示点云模型的总点数。Rs的值区间为[0,1]。注意，若用经过枝干合并轻量化处理的骨架进行骨架抽取还原度计算，其值必定会比直接从点云中抽取出来的模型要小，因为模型经过简化后，与原点云模型的匹配度也必将降低。目标只是尽可能在还原度降低不多的情况下，对骨架进行尽可能多的轻量化。

将图片序列信息量I、三维重建还原度R3d和骨架抽取还原度Rs代入建模还原度Q的定义式中，可以得到建模还原度的计算式：

$Q=(1-{\&lsqb;\frac{a}{b}\&rsqb;}^n)\&CenterDot;\frac{1}{n}\underset{i=1}{\overset{n}{\&Sigma;}}\frac{P_i}{P_i+O_i}\&CenterDot;\frac{S}{N}$

采用上述方法可以大大地提高最终模型与具体需求之间的耦合度，以得到最符合需求的树木轻量化模型。

本发明提出的用户交互平台至少包含:

(1)加载树木点云文件:将树木点云文件加载入内存以供算法操作。

(2)显示骨架模型:显示恢复的骨架模型。

(3)显示点云模型:显示加载的点云模型。

(4)显示体素模型:显示基于加载点云的体素模型。

(5)节点编辑:对树木模型的节点进行一系列的编辑，比如插入，删除，移动，旋转等。

(6)模型轻量化:根据本发明的轻量化算法对以恢复模型进行可视化的轻量化。

(7)三维体素泛洪:由用户引导本发明提出的三维体素泛洪算法，以得到更加精确的结果。

有了这些基本的交互功能，可以对本发明提出的骨架抽取算法进行进一步的完善。由于依靠自动化骨架抽取算法不可能100％的恢复出树木的骨架信息，它可能带有一定的骨架缺失，因此有必要依靠少量的人工交互与指引，进一步完善算法中的缺失部分，从而得到一个完整的骨架模型。这里的人工指引并不是指的逐个节点的手工编辑，而是对某些缺失的骨架给出一个方向的指引，使得其在缺失方向上重新进行泛洪，而自动化地补全缺失的信息。这种方式比起手工对缺失的骨架进行建模效率高出许多，因为用户只要给出一个缺失的方向即可。

图10展示了通过用户交互的方法指引泛洪算法的进一步完善的过程。如图10a，该树木模型已经经过了前面的骨架抽取步骤。然而与点云模型相对比，发现当前节点处仍有部分的枝干丢失。经过分析，该枝干丢失可能的原因主要是骨架抽取算法的分支判定条件并没有将当前分支判定进去。一种可行的办法是调整分支条件的参数，但是这对于用户来说并不是一种很好的解决办法，因为在实际应用中，要用户去了解一个算法内部的参数是不大可能的。因此本发明提出了基于用户交互与指引的方法，用户只需要从缺失枝干的父枝干出发，引出一个子节点，而泛洪算法将由该子节点开始继续探索该缺失部分。图10b给出了一个用户指引生成的节点，因此泛洪算法将继续从该子节点开始，恢复该缺失枝条的骨架。最终的恢复结果如图10c所示。其中白色球体代表当前节点，浅色区域代表点云，深色区域代表已抽取骨架，灰色区域代表通过用户交互恢复出来的枝条。

可见，基于用户交互对算法进行快捷而方便的指引，相较于让用户逐个节点去进行完善，这种方法对于缺失枝干的恢复具有重要意义。首先，该方法只用引出一个节点作为新的种子点，泛洪算法就可以递归性地恢复整个枝干，这比起让用户去逐个节点的编辑，大大的节省了建模的时间；同时，由于运用介绍的骨架抽取算法所抽取出的骨架已经大部分的还原了原始骨架，因此需要的用户交互只是及其少量的，这就保证了建模还是由自动化的方法主导的，有着很好的便捷性；最后，若用户对于最终恢复的模型还有局部需要微调，则可以配合前面的模型编辑功能进行编辑，这种编辑是建立在已经成型的树木骨架的基础上的，因此比起从头开始建模，也是更加方便和快捷的方式。

本发明还提供了一具体实验实例：

这里还给出了每个图片序列三维重建出的点云模型、从点云模型中直接抽取的骨架模型以及经过枝干合并方法轻量化得到的骨架模型。为了从直观上比较重建模型和图片序列的相似度，从正面和侧面对所得模型进行投影，以方便从二维的视角判断其相似程度。图11和图12分别给出了树木样本1在正面投影和侧面投影的比对情况。图13和图14分别给出了树木样本2在正面投影和侧面投影的比对情况。图15和图16分别给出了树木样本3在正面投影和侧面投影的比对情况(图中从左到右依次为树木原图、树木点云模型图、树木骨架模型图、树木轻量化骨架模型图)。

可以看出，无论从正面还是侧面，通过本发明轻量化建模方法所得到的树木模型都具有很高的还原性。由于树木1和树木的细小枝干比较多，所以对于其细节部分的还原度还有待提升。但是类似树木3这种不含太多细小枝干的树木，可以给出很高的还原度。从另一方面来看，由于本发明的方法是轻量化建模，对于细小的枝干的舍弃也是无法避免的，所以从总体来看本发明方法对于真实树木的轻量化建模效果还是十分客观的。

表1分别对图片序列信息量、三维重建还原度、骨架抽取还原度以及总的还原度给出了量化的实验计算结果。注意，图片序列信息量的计算，根据实验所得的最佳a/b＝0.8的结果来进行计算。从表中可以看出，树木样本3的还原度最高，而树木样本2的还原度最低。分别比较它们的三维重建还原度和骨架抽取还原度可以看出，图片数量的越多，样本结构越简单，则三维还原度的还原度就越高。而对于树木结构复杂的树木，骨架抽取是一个难点，因为树木分支结构的复杂性容易引起骨架抽取的二义性从而导致抽取不准确，所以对于样本3这样结构简单的树木来说，骨架抽取还原度最高，而对于结构最复杂，细枝最多的样本2来说，骨架抽取还原度最低。

表1:树木样本还原度统计

表2从轻量化的角度，对比了三个树木样本从三维重建得到的点云数据文件的体积、骨架抽取后得到的文件体积和经过轻量化以后得到的文件体积。从表中可以看出，三个样本从点云数据到骨架数据体积都大大的减小了，对于以KB为单位的骨架体积，已经可以普及到一般的Web应用来。对于后一步轻量化的步骤，主要是为了满足更高的应用需求，可以看出，对于骨架结构中细枝较多的样本1和样本2，其轻量化所减小的模型体积比例要大于结构简单的样本3，这是因为模型的轻量化主要是建立在对树木结构进行简化，而本来就比较简单的结构，这种轻量化的程度就会减弱。

表2:树木建模各阶段文件体积对比

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，包括以下步骤：

步骤S1：采用PyrLK光流法进行仿射变换扩展对获取的多张图片进行图像的特征匹配，并将得到的匹配点进行反向追踪，提高匹配的准确性；

步骤S2：特征匹配后，基于多张图片进行树木的三维重建，得到完整的树木空间点云模型；

步骤S3：根据该点云的空间分布，并结合树木自底向上的自然生长规律和分形的逻辑结构特征，利用三维体素泛洪和线性拟合的方法抽取完备的树木骨架；

步骤S4：对抽取的骨架基于用户交互的模型进行改善，以及分别从纵向和横向对树枝进行合并，去掉一些只是起到微调作用的枝干，实现轻量化；

步骤S5：分别计算输入图像序列的信息量、三维重建的还原度和骨架抽取的还原度对模型进行质量评估，获得轻量化和准确的模型。

2.根据权利要求1所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，反向追踪的方法是：在进行特征匹配的两图像中进行，分别为图像1和图像2，设u点为图像1中的起始点，图像2中的v点为通过PyrLK光流法找到的图像1中u点的匹配点，而u’点为图像2中v点通过反向的PyrLK光流法找到的图像1中的匹配点，具体为采用公式：d＝||u’-u||，判断d是否小于σ，其中，d表示u点和u’点的距离，σ为距离阈值，当d<σ时，则称点u与点v真正匹配，否则称点u与点v伪匹配或单向匹配，对于伪匹配的点对，将对其进行剔除，并且在进行反向追踪后，要进一步对每个点对进行相似度的计算，并统计其相似度的平均值，对低于相似度平均值的点对进行剔除。

3.根据权利要求1或2所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，在获取了精确的点云模型之后，需要将模型的存储方式由密集的点云转化为逻辑的树形父子结构，具体为：每个节点表示树枝的起点，存储着该节点的空间位置、半径和该节点的父子节点信息以及兄弟节点信息，一个节点和它的一个子节点形成一个空间线段，若干空间线段组成一条连续的树枝。

4.根据权利要求3所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，进行体素化泛洪是将离散的点的数据组织形式转化为连续的体素的组织形式，主要分为三步:步骤A：求得点云包围盒即找到包围点云模型中所有点的最小的长方体；步骤B：包围盒空间分块即根据上一步得到长方体，进行空间分块，每个分块为一个小的立方体，即体素；步骤C：进行点云索引即对于每一个非空的体素，进行点云的索引，确定三维体素模型。

5.根据权利要求4所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，骨架形成的具体方法是：将根节点置为当前节点，对其进行三维泛洪，首先对其相邻的26个体素进行泛洪，若体素不为空，则将其加入邻域范围，若为空，则停止向为空的体素所在方向进行迭代；同时将加入邻域范围的体素置为无效，表示其已经参与了泛洪，不再参与骨架的重建；然后进行下一次迭代，对新加入的体素进行26个方向的泛洪，并把有效的体素加入到邻域范围；接着比较两次迭代体素增加的比例，如果低于设置的阈值，则停止迭代，当前的邻域范围即为三维泛洪得到的当前节点的邻域范围，在得到邻域以后，根据邻域内的体素获取到邻域内的点云分布运用最小二乘法进行线性拟合的方法抽取骨架。

6.根据权利要求5所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，运用最小二乘法进行线性拟合的方法抽取骨架，具体包括以下步骤：步骤S321：首先选择一个点云密度的阈值，对于密度小于阈值的方向，忽略其对产生分支的可能，只对点云密度大于阈值的方向，看作分支方向；步骤S322：根据最小二乘的方法，拟合出将要产生分支的方向；步骤S323：对于半径的获取的方法是对树木半径进行线性地递减，即r＝cR，其中r为子枝半径，R是父枝半径，c为一个线性倍数；步骤S324：继续采用拟合的办法从真实的点云中抽取出树木的半径和长度。

7.根据权利要求6所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，从真实的点云中抽取出树木的半径和长度的方法为：统计某分支方向上的点集到拟合直线的距离，并计算出平均距离d_avg，拟合出的半径为R＝2×d_avg，统计某分支方向上点集到直线的投影长度，记它们的平均投影长度为l_avg，拟合出的枝干长度为L＝2×l_avg。

8.根据权利要求7所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，纵向合并指的是从父到子，从根到叶进行纵向递归式的合并，若当前节点与其父节点和子节点的夹角小于所设定的阈值，那么则将该节点去掉，并将其子节点连接到其父节点；若该节点的子节点数目不只一个，则不对它进行合并操作；横向合并指的是对非常靠近的叶子节点进行合并，只对叶子节点进行合并，不再是使用角度来衡量两个子枝的靠近程度，而是使用子节点间的欧式距离来表示。

9.根据权利要求8所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，分别计算输入图像序列的信息量、三维重建的还原度和骨架抽取的还原度对模型进行质量评估的具体方法为：模型M的建模还原度Q定义如下：

Q＝I·R_3d·R_s

建模还原度Q的取值范围为[0,1]，0表示没有还原出任何树木几何信息，1表示准确还原出整棵树木的几何信息，I为图片序列信息量，R_3d为三维重建还原度，R_s为骨架抽取还原度。

10.根据权利要求9所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，给出图像序列信息量的数学定义如下：

$I=1-{\&lsqb;\frac{a}{b}\&rsqb;}^n$

其中，图片序列信息量I的取值范围为[0,1]；当I＝0时表示图片序列并不包含树木信息，当I＝1时表示图片序列能完全表达空间树木的几何信息，a，b都是正数且a<b，具体数值需要对不同树木进行实验之后才能得到；

给出三维重建还原度的数学定义式：

$R_{3d}=\frac{1}{n}\underset{i=1}{\overset{n}{\&Sigma;}}\frac{P_i}{P_i+O_i}$

上式中的n表示图像的数量；P_i表示点云模型投影到第i张图片上在树木轮廓中的点的数量；O_i表示点云模型投影到第i张图像上在树木轮廓外的点的数量；P_i+O_i自然就表示点云模型中点的总数量；P_i/P_i+O_i表示点云投影到第i张图片上的击中率，R_3d值区间为[0,1]；给出骨架抽取还原度的数学定义式如下：

$R_s=\frac{S}{N}$

其中，S表示匹配成功的点数，而N表示点云模型的总点数，Rs的值区间为[0,1]。