CN113792357B - 树木生长模型构建方法及计算机存储介质 - Google Patents

Abstract

本发明提出了一种树木生长模型构建方法及计算机存储介质。该方法为：输入树图像；原子分支元素的定位和识别：采用目标检测器检测所述树图像的原子分支，并自动定位和描述原子分支的位置、大小和方向，得到整个树木的拓扑结构；构建最小分支实例树:连接相邻有效的分支实例构成无向分支骨架图，利用分支实例边界框之间的对向距离过滤无效分支边，破除环状边以构建最小分支实例树以表示树骨架图；L系统语法推导:根据生成的最小分支实例树生成L系统初始语法，通过语法合并算法和语法压缩算法，生成L系统紧凑语法，完成树木生长模型构建。该方法能够识别输入树图像的分支几何结构，并推导出L系统语法，辅助重建二维树模型和三维树模型。

Description

树木生长模型构建方法及计算机存储介质

技术领域

本发明涉及计算机领域，具体涉及一种树木生长模型构建方法及计算机存储介质。

背景技术

树木模型在景观设计、地理模拟、虚拟现实和其他三维图形领域都有广泛的应用。树木模型不仅可以用于生产逼真的计算机图形，还可以用来预测植物群落的发展变化，在农作物种植和灾害防治上产生巨大的经济和社会效益。然而由于树木结构的复杂性，创建树木模型是具有挑战性的研究课题。

广泛使用的树木建模方法大致可分为四类：1)基于某种特定规则的过程建模，比如L系统规则，以并行方式迭代地重写字符串的所有符号，产生线性分形结构，模拟植物的分支形态。重建出的植物形态和生长过程，对环境敏感，会在不断变化的条件中改变其形态。2)采用交互式软件重建，比如3D MAX和PlantLab，用户以更直观的输入方式创作，利用强大的渲染引擎创建出更精细的模型。3)从现有的真实数据重建。从激光扫描仪扫描到的树木点云重建出树木。从拍摄的多角度照片中，通过多目立体视觉的方法重建出真实的树木模型。基于草图的树木重建以用户输入的手势或者笔触为基础，再现出相应的模型。4)逆向建模的方法。逆向建模对输入树模型进行反向建模，从全局信息自动推导出树木模型的参数化规则。

基于规则的过程建模是一种以快速且可扩展的方式创建树木模型的有效方法。过程建模根据一组输入参数，利用程序或者过程自动生成各种各样的树木模型，大大节省时间和人力，并且能够模拟树木与环境的交互。过程建模可进行数据压缩：一个相当复杂的树木模型由一个紧凑的过程模型和一组参数来表示，而实际的模型只在需要时生成。过程建模不需要存储树木模型的数据，只需运行指令即可生成模型。过程建模方法可进行数据放大，一组简单的输入参数或者一组程序模型的生成规则产生多种多样形态的树木模型。此外，用户可以设置规则的随机性，从一组输入参数中创建几何体变体。比如使用同一组规则，改变树木的分支角度或者迭代次数，生成大量的树木模型，它们都是相同的树种，但是每个模型都具有独特的结构和形状。

但是基于规则的方法通常都非常复杂，规则由一组非直观的规则或者输入参数定义，要求用户操作复杂的规则和参数。定义这些树木模型的规则和参数也是一项困难的任务，这需要一定的学习成本，要求建模者对技术内部的深入了解。同时这些规则和参数对输出的影响是难以预测的，对规则或参数的微小修改可能导致树木结构产生巨大的变化，需要研究人员反复试验，一定程度上阻碍了交互使用。

通常对单个树模型进行手动建模可提供良好的结果，但是在需要生成大量且详细的树模型情况下，通过规则手动创建树木模型是一个非常复杂和费时的过程，需要专业人士参与，参数修改和调整需要大量尝试。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种树木生长模型构建方法及计算机存储介质。

为了实现本发明的上述目的，本发明提供了一种树木生长模型构建方法,包括以下步骤：

输入树图像；

原子分支元素的定位和识别：采用目标检测器检测所述树图像的原子分支，并自动定位和描述原子分支的位置、大小和方向，得到整个树木的拓扑结构；

构建最小分支实例树:连接相邻有效的分支实例构成无向分支骨架图，利用分支实例边界框之间的对向距离过滤无效分支边，破除环状边以构建最小分支实例树以表示树骨架图；

L系统语法推导:根据生成的最小分支实例树生成L系统初始语法，通过语法合并算法从初始语法中根据全局几何信息，推断出L系统形状语法；采用语法压缩算法，合并相似规则，检测L系统形状语法中的递归结构，添加随机信息，生成L系统紧凑语法，获取树木生长形态。

该方法能够识别输入树图像的分支几何结构，并推导出L系统语法，辅助重建二维树模型和三维树模型，实现从图像中自动构建树木生长规则，较其他的L系统语义推导算法，推理时间更短，准确度也更高。

该树木生长模型构建方法的优先方案：定位识别分支时，所述目标检测器采用水平锚定框和旋转锚定框两种边界框，以粗粒度到细粒度逐步回归的方式提取旋转不变特性以检测旋转目标。这提高了密集小目标的检测性能，能更快速和更高准确率的检测目标。

该树木生长模型构建方法的优先方案：所述目标检测器的整体网络结构包括计算输入图像特征映射的特征金字塔模块(FPN)、特征细化模块(FRM)、分类子网和回归子网；

从单个分辨率的输入图像构建自顶向下和横向连接的特征金字塔模块(FPN)，通过进行卷积特征映射来学习多尺度特征；

所述特征金字塔模块(FPN)中每一个P层分别与分类子网、回归子网连接；

分类子网对输出的卷积对象进行分类，预测出锚定框对应的目标类的概率；

回归子网执行卷积对象的边界框回归，将水平锚定框的偏移量回归到旋转边界框；

特征细化模块用于从旋转边框中提取区域不变特征。

特征金字塔模块用来学习多尺度对象，采用从粗到细逐步回归的方式检测旋转目标，通过提取对象的旋转不变特性来提高密集小目标的检测性能。

该树木生长模型构建方法的优先方案：特征细化模块对于特征图上的每一个特征点，对应旋转边界框的四个边框点和一个中心点的坐标，通过双线性插值的方法在特征图上得到相应的特征向量，再将五个特征向量相加作为新的特征向量，遍历所有特征点之后，将重构后的特征图加入到原始特征图中，重建出新的特征图。这提高了分类和回归的精度，能获得更精确的特征向量。

该树木生长模型构建方法的优先方案：目标检测器的损失函数为：其中，

L_reg(t'_n,t_n)＝L_smooth-l1(t'_θ,t_θ)-IoU(t'_{x,y,w,h,θ},t_{x,y,w,h,θ})；

对于每一个锚定框，t'_n表示预测的坐标偏移向量，t_n表示真实的目标向量，回归损失函数计算t'_n和t_n之间的角度smooth L1损失函数和与IoU函数值，其中N表示锚定框数量，y_n用于区分前景和背景，前景y_n＝1，背景y_n＝0，IoU表示预测框PB与真实框RGT之间IoU值，x,y是边框中心点的坐标，w,h是边框的宽度和长度，θ是与x轴的夹角，t'_{x,y,w,h,θ}表示t'_x,t'_y,t'_w,t'_h,t'_θ中任意一个，t_{x,y,w,h,θ}表示t_x,t_y,t_w,t_h,t_θ中任意一个；

|t'_θ-t_θ|表示获取向量的模，λ₁，λ₂控制损失函数的权重，

分类损失函数中L_f为焦点损失，计算每一个锚定框和焦点损失之和的平均值。

该损失函数解决了图像中前景和背景之间不平衡的问题，降低了训练过程中大量易分类样本的影响，引导了模型关注较少的难分类样本，提高了对难分类样本的特征识别提取能力，加入IoU因子解决了角度不连续问题，使得边界框回归到更加精确的旋转方向。

该树木生长模型构建方法的优先方案：过滤无效边的方法为：计算相邻的两个分支边界框的对向距离其中，/> c_a和c_b分别为两个分支边界框中心，θ_a和θ_b分别为两个分支边界框与y轴的角度，h_a和h_b分别为两个分支边界框的边框高度，/>表示向量/>的长度，/>表示向量的长度；

当相邻的两个分支边界框的对向距离超过设置距离阈值时，认定所述两个分支之间的边为无效边。这样可以过滤掉大部分无效边。

该树木生长模型构建方法的优先方案：消除环状边的方法为：第一，用DFS算法搜索无向分支骨架图判断是否有环；第二步，如果存在环，对后向边进行标识并从已标识为后向边中的相关每个顶点开始，以递归方式搜索得到图中的最小环；第三步，通过减小长度来对环进行排序，使用破环算法消去环中的边。这样可以破除无向图循环。

该树木生长模型构建方法的优先方案：语法合并算法为：对最小分支实例树执行贪婪搜索，找到最大重复子树，根据L系统初始语法提出出重复子树中语法，得到L系统形状语法。

语法压缩算法为：压缩语法函数R(L^s,L^*)＝(C(L^s)-C(L^*))+dis(L^s,L^*)，L^*表示最后的紧凑语法，L^s表示L系统形状语法，C(L^s)表示语法L^s中符号的数量，C(L^*)表示语法L^*中符号的数量，dis(L^s,L^*)表示从形状语法转换到最终语法的估计编缉距离，包括字符串替换、插入、删除，使用动态规划计算最小编缉距离；采用贪婪优化算法寻求语法压缩函数的最优解，生成所有可能的合并规则对，计算两个规则对之间的压缩语法函数，选择最小成本的两个规则合并直到函数值不再减小。

本发明还提出了一种计算机存储介质，所述存储介质存储有至少一可执行指令，所述可执行指令使处理器执行如上述的树木生长模型构建方法对应的操作。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是基于图像推导L系统的树木生长模型构建方法流程图；

图2是多尺度锚定框示意图；

图3是边界框回归示意图；

图4是无效边过滤流程示意图；

图5是分支间对向距离示意图；

图6是无向图中环路检查和破除流程图；

图7是DFS搜索中的树边和后向边；

图8是无向图中的无弦环和非无弦环；

图9是语法合并第一轮搜索示意图；

图10是语法合并第二轮搜索示意图；

图11是推导出的L系统语法示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种树木生长模型构建方法,该方法基于图像推导L系统进行树木生长规则重建，具体分为三大步骤：分支的识别与定位、最小分支实例树构建和L系统语法推导。

如图1所示，本方法首先输入树图像。

然后定位识别原子分支元素，在定位识别原子分支元素时，采用目标检测器检测所述树图像的原子分支，并自动定位和描述原子分支的位置、大小和方向，得到整个树木的拓扑结构。

再构建最小分支实例树，具体为:连接相邻有效的分支实例构成无向分支骨架图，利用分支实例边界框之间的对向距离过滤无效分支边，破除环状边以构建最小分支实例树以表示树骨架图。

最后进行L系统语法推导，具体为:根据生成的最小分支实例树生成L系统初始语法，通过语法合并算法从初始语法中根据全局几何信息，推断出L系统形状语法；采用语法压缩算法，合并相似规则，检测L系统形状语法中的递归结构，添加随机信息，生成L系统紧凑语法，获取树木生长形态，完成树木生长模型构建。

下面对该方法进行详细的介绍。

树木结构可以看成是由不同的原子分支模版通过旋转、平移和缩放变换生成的。目标检测器定位和识别出这些原子分支的位置和类别，从而推断出整个树木的拓扑结构。在本实施例中，在定位识别分支时，目标检测器采用水平锚定框HA和旋转锚定框RA两种边界框，以粗粒度到细粒度逐步回归的方式提取旋转不变特性以检测旋转目标，通过提取旋转不变特性来提高密集小目标的检测性能，使用焦点损失解决训练图像中目标和背景不平衡的问题，在损失函数中加入交并比(IoU)因子来解决边框回归过程中的角度不连续问题，估计更加精确的旋转。

本实施例中所采用的目标检测器的整体网络结构包括计算输入图像特征映射的特征金字塔模块FPN、特征细化模块FRM、分类子网和回归子网。

本实施例中目标检测器优选但不限于为单级旋转目标检测器R3Det。从单个分辨率的输入图像构建自顶向下和横向连接的特征金字塔模块FPN，通过进行卷积特征映射来学习多尺度特征。特征金字塔conv3-conv5层自上而下和横向连接构成P3-P5层，FPN中的P6通过在conv5层应用3*3步卷积核以步长为2的卷积得到，在P6层上应用3*3步卷积核以步长为2的Relu激活函数得到P7，特征金字塔模块FPN中每一个P层分别与分类子网、回归子网连接。分类子网对输出的卷积对象进行分类，预测出锚定框对应的目标类的概率。回归子网执行卷积对象的边界框回归，将水平锚定框的偏移量回归到旋转边界框。特征细化模块用于从旋转边框中提取区域不变特征，来提高边界框的准确度。

在图片中预先定义了一组不同大小和纵横比的水平锚定框HA，对边界框进行分类和回归，以便覆盖不同形状的对象。将水平锚定框HA定义在特征金字塔层{p3，p4，p5，p6，p7}分别像素的区域。特征图上的每一个点生成一组锚定框，规模大小scale＝{2⁰,2^1/3,2^{2 /3}}，长宽比例ratio＝{1:2,1:1,2:1}，不同大小和长宽比组合生成九个水平的矩形框。如图2所示，特征图上的一个点，对应原图的九个锚定框，这样就可以类比多尺度的分支对象。

分类子网是为每个位置的锚定框预测属于每个类别概率的全连接层。分类子网从给定的FPN层获得256通道的特征映射图，应用4个3*3的卷积层和256的过滤器，接着通过reLU激活函数和3*3的卷积层，最后使用sigmoid激活函数预测分类的概率。

目标检测不仅要解决对象的分类，还要解决对象的准确定位问题，利用边界框回归方法获得准确的位置，将每个锚定框的偏移量回归到附近的地面真实边框。回归子网的结构与分类子网相似，最终每个位置输出4*9个线性偏移量，用于预测锚定框与真实边界框RGT之间的相对偏移。

在旋转对象的目标检测中，使用水平锚定框HA以更快的速度识别出多个对象，但是会导致边界框和对象之间的错位问题。旋转锚定框RA在检测密集的旋转物体场景中更有优势，但是需要大量具有不同尺度、角度和纵横比的锚定框，这在分类和回归中的计算量是非常大的。考虑到这两者的优点，第一阶段的回归子网从水平锚定框HA回归到旋转锚定框RA，从粗到细以更快的速度和更高的准确率检测目标。

图3表示从水平锚定框HA到旋转锚定框RA的转换过程。回归子网的目的是找出一种几何变换，将水平锚定框HA回归到一个跟旋转真实边界框RGT更加接近的旋转锚定框RA。当水平锚定框HA和旋转真实边界框RGT差距较小的，认为是一种线性缩放变换。

生成的旋转锚定框RA表示为R＝{x_r,y_r,w_r,h_r,θ_r}，x_r代表旋转锚定框RA边框中心点的x坐标，y_r代表旋转锚定框RA边框中心点的y坐标，w_r代表旋转锚定框RA边框的宽度，h_r代表旋转锚定框RA边框的高度，θ_r代表旋转锚定框RA的旋转角度。旋转真实边界框RGT表示为G＝{x^*,y^*,w^*,h^*,θ^*}，水平锚定框HA表示为H＝{x_h,y_h,w_h,h_h,θ_h}，x^*代表旋转真实边界框RGT边框中心点的x坐标，y^*代表旋转真实边界框RGT边框中心点的y坐标，w^*代表旋转真实边界框RGT边框的宽度，h^*代表旋转真实边界框RGT边框的高度，θ^*代表旋转真实边界框RGT的旋转角度，x_h代表水平锚定框HA边框中心点的x坐标，y_h代表水平锚定框HA边框中心点的y坐标，w_h代表水平锚定框HA边框的宽度，h_h代表水平锚定框HA边框的高度，θ_h代表水平锚定框HA的旋转角度。寻找一种平移和缩放变换F，使得F(H)＝R≈G，旋转边界框的回归表示为：

对x，y坐标偏移量除以长宽表示尺度不变性，运算符log表示缩放尺度的非负性，t_x为旋转真实边界框RGT与水平锚定框HA在X方向上平移变换的大小，t_y为旋转真实边界框RGT与水平锚定框HA在y方向上平移变换的大小，t_w为旋转真实边界框RGT与水平锚定框HA在宽度上缩放的大小，t_h为旋转真实边界框RGT与水平锚定框HA在高度上缩放的大小；t_θ为旋转真实边界框RGT与水平锚定框HA在旋转角度上的大小；t'_x为旋转锚定框RA与水平锚定框HA在X方向上平移变换的大小，t'_y为旋转锚定框RA与水平锚定框HA在y方向上平移变换的大小,t'_w为旋转锚定框RA与水平锚定框HA在宽度上缩放的大小，t'_h为旋转锚定框RA与水平锚定框HA在高度上缩放的大小，t'_θ为旋转锚定框RA与水平锚定框HA在旋转角度上的大小。通过线性回归获得变换参数，目标函数表示为：

φ(H)表示输入的特征向量，w_*是要学习的参数,d_*(H)是得到的预测值，为了让预训练值与真实变换/>差距最小，L1损失函数表示为：i指当前计算所处的第i个卷积层；*表示x，y，w，h，θ之中任意一个,表示第i层的t_x,t_y,t_w,t_h,t_θ中任意一个。

利用最小二乘法或者梯度下降算法进行求解函数优化目标公式：

λ为权重常数，N为锚定框数量。

特征细化模块用于从旋转边框中提取区域不变特征，提高分类和回归的精度，相当于一个位置修正阶段，将图3中的旋转锚定框RA调整到更接近旋转真实边界框RGT。本实施例提出了一种重构特征图的方法实现特征对齐：对于特征图上的每一个特征点，对应旋转锚定框RA的四个边框点和一个中心点的坐标，通过双线性插值的方法在特征图上得到相应的特征向量，再将五个特征向量相加作为新的特征向量，遍历所有特征点之后，将重构后的特征图加入到原始特征图中，重建出新的特征图。

为了解决图像中前景和背景之间不平衡的问题，本实施例采用焦点损失来处理类失衡的问题，通过降低训练过程中大量易分类样本的影响，引导模型关注那些较少的难分类样本。具体地，通过增加一个权重因子使训练集中在困难样本的识别上，以降低易分类样本的权重和提高困难样本的权重。定义样本的概率估计：其中y表示二分类中是否为正样本，y＝1表示为正样本，y＝-1表示为负样本，p表示为正样本时的概率估计。

定义二分类的交叉熵损失函数为：H(p^t)＝-log(p^t)，当易分类的背景负样本(p^t>0.5)数量较多，分类困难样本较少时，易分类背景样本的损失构成了大部分的交叉熵损失，压倒性地抵消困难样本的交叉熵损失，主导了梯度。定义焦点损失为：参数α控制正负样本对总损失函数的共享权重，范围是0到1，设置一个参数/>控制易分类样本损失权重下降的速度，/>为实数，当/>时，焦点损失为交叉熵损失，/>越大，权重因子的影响越大。

本实施例中，在损失函数中引入IoU因子，将IoU比例作为损失函数来衡量目标检测器的准确度，对不同物体的形状和多尺度具有鲁棒性，能够快速收敛，同时IoU作为检测性能的评价指标，加入到损失函数中实现统一。

计算预测边框与对应的真实边框之间的相交程度，公式为相交区域除以并集区域。公式为：当PB和RGT之间无交集时，IoU值为0，当PB和RGT之间完全重合的时候IoU值为1，PB与RGT的相关度越高，IoU的分值越高。本实施例中定义如果PB与RGT的IoU分值大于0.5，PB被指定为真实边框，IoU在[0,0.4]之间，则将PB指定为背景，如果在[0.4,0.5]之间，PB在训练过程中被忽略。

综上，目标检测器的损失函数为：

即总的Loss函数表示坐标回归损失和分类损失之和，其中，/>x,y是边框中心点的坐标，w,h是边框的宽度和长度，θ是边框与x轴的夹角，t'_{x,y,w,h,θ}表示t'_x,t'_y,t'_w,t'_h,t'_θ中任意一个，t_{x,y,w,h,θ}表示t_x,t_y,t_w,t_h,t_θ中任意一个，对于每一个锚定框，t'_n表示预测的坐标偏移向量，t_n表示真实的目标向量，回归损失函数计算t'_n和t_n之间的角度smooth L1损失函数和与IoU函数值，其中N表示锚定框数量，y_n用于区分前景和背景，前景y_n＝1，背景y_n＝0，IoU表示预测框PB与真实框RGT之间IoU值；|t'_θ-t_θ|表示获取向量的模，λ₁，λ₂控制损失函数的权重，分类损失函数中L_f为焦点损失，计算每一个锚定框和焦点损失之和的平均值。

在完成了定位识别分支后，将散列在空间中的分支实例表示成节点，节点位置对应为边界框的中心位置，连接相邻实例构成无向分支图，从中生成最小分支实例树表示树骨架的拓扑结构。

最小分支实例树的几何定义是无向分支图的连通子图，包含图中的所有节点和节点数量减一条边。若从最小分支实例树的边中减去一条，就会变成非连通图，若增加一条边，则必定成环。

过滤无效边

检测到的每个分支的边界框，如图4所示，如何将散落在空间中的分支实例连接生成最小分支实例树呢？假定树模型是L系统语法生成的，所以相邻分支以海龟解释顺序进行连接，选择相邻的分支实例进行连接生成无向分支图，这样可以保证生成的无向图符合树的结构形态。存在这样的情况，两个分支的边界框重叠，但是这两个分支在海龟解释顺序并不相邻，它们的关系不是父子，它们之间的实例不应该被连接，根据分支特性，实际上需要相连的实例是父子关系，它们的边界框之间的距离和方向差异非常大。为了避免连接不相关的实例，本实施方式定义了一个分支间的对向距离，描述相邻的两个分支边界框的邻近程度，用于预测连接两个分支的可能性，以过滤大部分无效边。

分支间的对向距离如图5所示，计算相邻的两个分支边界框的对向距离其中，/> c_a和c_b分别为两个分支边界框中心，θ_a和θ_b分别为两个分支边界框与y轴的角度，h_a和h_b分别为两个分支边界框的边框高度，/>表示向量/>的长度，/>表示向量/>的长度。对向距离值越大，两个边界框越邻近，连接两个边界框的可能性越大，因此，当相邻的两个分支边界框的对向距离超过设置距离阈值时，认定所述两个分支之间的边为无效边。将其余的分支实例连接生成无向分支图。

无向图循环破除，如图6所示。

即使对向距离能够过滤大部分无效边，但是由于分支结构之间非常紧密，无向分支图中还是可能存在环，而带有循环的无向分支图不能进行语法推导，因此需检测无向图中的环，破除无向图循环。

检测无向图中的环使用深度优先遍历DFS，DFS算法尽可能深的遍历节点。如果算法搜索过程中遇到已经访问过的节点，那么表示存在环。如图7所示，在无向图中进行DFS算法所产生的深度优先树中，存在两种边，即树边和后向边：

树边：节点2是因从节点1对边(1,2)的深度搜索而首先被发现，则边(1,2)是一条树边，比如图中的T边。

后向边：从节点5对边(5,2)的深度搜索发现节点2，节点2已经被访问过，但是5的子孙后代还没有被访问完，2是5的祖先，则边(5,2)是一条后向边，如图中的B边。在有环的情况下存在后向边。

检测和去除无向分支图中环的算法分为三步：第一，用DFS算法搜索无向图判断是否有环；第二步，如果存在环，通过从已标识为后向边中的相关每个顶点开始，以递归方式搜索得到图中的最小环；第三步，通过减小长度来对环进行排序，使用破环算法消去环中的边。

首先DFS搜索是否存在环。选择一个与当前节点相邻的未访问节点，然后访问该节点。继续访问相邻的节点访问，如果已经访问完了，或者没有相邻的节点，则算法将回溯到先前的节点，并沿着该节点的所有尚未访问的邻居节点继续访问。一旦访问了所有可达节点，该算法就会从所有剩余的未发现的节点中进行选择，并继续遍历。访问所有节点后，DFS算法完成。

在DFS的过程中，如果搜索发现了一个已访问的节点，则表示存在一种循环。用颜色标记来表示访问过程中节点的状态，用于跟踪发现了哪些节点。白色标记尚未发现的节点，灰色标记搜索过程中发现的相邻未访问节点，黑色节点标记搜索结束之后的节点。黑色节点与任何白色节点都不相邻。在搜索过程中，边也会被着色，用于判断是否出现环。

如果图中存在环，那么从后向边中的节点开始递归遍历，寻找图中所有存在的环路径集合。然后执行一些后续处理，去除环中一些冗余的环，构建最小环路集合。在搜索过程中，可能存在路径相反的两个路径，表示的是同一个环，比如“ABCDE”和“EDCBA”，去除环路中相反的那个环。删除每一个环路径中重复的节点，比如“DCBAD”。调整环路径的表示方式，第一个节点为最小节点，表示成“ABCD”。对环路集合进行排序，去除环路径中相同的环。然后去除图中的非无弦环。无弦环的定义是该环中没有两个顶点通过不属于该环的边连接，如图8所示，ABCD代表无弦环，DEFG代表非无弦环。无弦环是一个理想环，它代表环只有一个孔洞。去除非无弦环保证检测出环的最小性，进行高斯消去以保留最小循环基础。

已经检测到了无向分支图中的最小环，下一步使用破环算法去除无向图中的环。搜索图中y轴坐标最小的节点为根节点，为了不误删除环中表示分支的边，选择距离根节点最远的边删除。三个节点和三个以上节点的环，破环采用不同的算法，如果是三个点直接删除离根节点最远端的点，如果是三个以上的点，则需要不断地循环计算删除点。

根据以上算法最终得到最小分支实例树，该树以y轴坐标最小的分支为根节点，包含所有的分支实例节点且任意两个节点都有路径。

无向图循环破除后就得到了最小分支实例树，接下来就需要根据最小分支实例树逆向推导出L系统语法。

本实施例利用分支几何结构和语法本身的特性，指导L系统语法推导。首先根据最小分支实例树的几何信息，以根节点为海龟解释初始状态，生成L系统初始语法。

本实施例提出了一种语法合并算法，从初始语法中根据全局几何信息，推断出L系统形状语法。最后，检测L系统语法中的递归和添加随机信息，生成L系统紧凑语法。

跟之前的L系统语法推导算法相比，本实施例所提出的算法没有任何的限定条件，无需假设字母表长度固定，也没有限定L系统的长度。本实施例中的L系统推导算法考虑全局几何结构引导L系统的推断，相比于字符串的文字类信息，海龟解释绘制的二维分支图形携带了更多的空间几何信息来指导L系统语法的推理。下面进行详细的介绍。

语法合并算法

假定相邻分支实例通过海龟运动以顺序的方式进行连接，利用树节点的边，在父节点的局部坐标系中表示每个子分支的位置长度和方向，提取出海龟解释的初始语法。从根节点开始，根据每个节点与前驱节点的距离和角度，可以直接写出初始L系统语法L^t，然后利用语法合并算法生成形状语法。如图9-11所示，

根据最小分支实例树的海龟解释生成L系统初始语法，F(d)表示从前驱节点到当前节点到画一条长度为d的直线，+(θ)和-(θ)表示从前驱节点向左或者向右转θ的角度到达当前节点。

根据海龟解释直接生成的初始语法一般很长，包含长度和角度信息，非常混杂，从初始L系统语法字符串中很难看出形状信息。

本实施例提出了一种语法合并算法，利用贪心搜索的方法寻找最小生成实例树中的最大重复子树。通过对最小分支实例树执行贪婪搜索，找到最大重复子树b1、b2和b3，如图9所示，则初始形状语法L^t可以表示为：X＝F(2.4)[+(79.0)F(1.2)b1][-(84.0)F(1.3)b2]F(1.7)F(1.8)b3，

每个子树b1、b2和b3的L系统语法分别表示为：

然后把b1、b2和b3分别当成子树，从中搜索最大重复子树。对于b1，可以看成包含c1、c2和c3三个最大重复子树构成。对于b2，可以看成包含c4、c5和c6三个最大重复子树构成。对于b3，可以看成包含c7、c8和c9三个最大重复子树构成，如图10所示。那么子树b1、b2和b3表示为：

再向下细分，以c1、c2、c3、c4、c5、c6、c7、c8、c9为子树，搜索最大重复子树，发现就是它本身，然后停止搜索。L系统语法分别表示为：

在搜寻最大重复子树时，相同重复的子树，由于方向和不同，也有可能具有不同的语法参数。因此，首先聚类相同符号的相应规则和在规则中的位置，然后平均每个集群的不同实例，以消除上一步骤分支检测的误差以及参数预测不准确而引起的噪声。平均每个b类子树和c类子树的角度和长度，推导出形状L系统语L^s，如图11所示。

整个搜索过程表示为语法合并算法。最小语法函数G(L^s)用来控制语法重复次数和长度，搜索和替换符号直到函数值不再减小。在此步骤，不考虑规则的参数，比如分支的角度和长度，因为它不影响树的几何形状，扩展的字符串对应相同的拓扑结构。最小语法函数表示为：

L^s表示形状语法。w∈[0.0,1.0],该参数控制合并之后是重复次数多且长度短的规则，还是重复次数少且长度长的规则；w为0表示查找所有长度为1的字符串规则，为1表示将所有语法编码为一个规则。C(L)表示语法中符号的数量，N(L)计算语法中重复规则出现的次数。为了使语法重复次数和长度达到平衡，将w设置为0.5，检测重复次数最多的大子字符串，推理出更大的规则。当G(L^s)不再减小时停止搜索，推理出L系统形状语法。

语法合并算法伪代码如下：

/>

语法压缩算法

至此已经推断出代表分支结构的L系统形状语法，按照这个语法，能够精确地再现分支结构，也能够看出L系统的重写功能。但是形状语法的功能有限，只能再现输入图像。逆向建模还要一个重要的功能是指导和控制内容生成，编辑规则生成多样性的模型。本实施例提出了一个语法压缩算法，通过合并相似规则，检测语法中的递归结构，添加非确定性规则来进一步紧凑规则，生成更加泛化的L系统紧凑语法。

语法压缩有两个主要的挑战：第一，压缩会产生更精简的语法，也有可能产生无意义的语法，因此需要有效的度量标准来衡量合并的必要性；第二，合语法搜索可能无限期地持续下去，将合并至一个语法，产生几何变化较大的树模型，因此需要参数指导压缩。本实施例提出了一种基于语法本身的压缩策略，通过计算两个合并语法的编辑距离来指导语法生成。

L^*表示最后的紧凑语法，L^s表示上述生成的形状语法，通过计算最小化两个语法之间的编辑距离，最小化压缩语法函数来生成最终的语法。压缩语法函数表示为:R(L^s,L^*)＝(C(L^s)-C(L^*))+dis(L^s,L^*)，通过输入参数计算语法，当合并规则时，语法长度将变小，编辑距离将会变大。dis(L^s,L^*)表示从形状语法转换到最终语法的估计编辑距离，包括字符串替换、插入、删除，使用动态规划计算最小编辑距离。采用贪婪优化算法寻求语法压缩函数的最优解，生成所有可能的合并规则对，计算两个规则对之间的压缩语法函数，选择最小成本的两个规则合并直到函数值不再减小。

语法压缩算法伪代码如下：

按照语法压缩函数进行优化，从形状语法输出最小L系统紧凑语法，如图10中所示。从整个L系统语法推导算法流程可以看出，从包含41个字符的长字符串L系统初始语法，到使用语法合并算法生成L系统形状语法，包含24个字符，再到使用语法压缩算法生成包含12个字符的L系统紧凑语法。语法长度被大大压缩，整个输入树图像压缩到一行L系统语法来表示。

算法有效性验证：通过定性和定量的评估方法验证目标检测器和L系统语义推导算法的鲁棒性和有效性。

二维和三维树重建实验扩展应用：根据推理得到的L系统规则，使用语法编辑生成多种多样的二维树模型，以及辅助三维树模型重建。实验表明，上述方法能从输入的树图像中推导出准确的L系统规则和参数，并且能够有效地辅助二维和三维树模型的重建。

本申请还提出了一种计算机存储介质的实施例：所述存储介质存储有至少一可执行指令，所述可执行指令使处理器执行如上述的树木生长模型构建方法对应的操作。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种树木生长模型构建方法,其特征在于，包括以下步骤：

输入树图像；

原子分支元素的定位和识别：采用目标检测器检测所述树图像的原子分支，并自动定位和描述原子分支的位置、大小和方向，得到整个树木的拓扑结构；所述目标检测器采用水平锚定框和旋转锚定框两种边界框，以粗粒度到细粒度逐步回归的方式提取旋转不变特性以检测旋转目标；

目标检测器的损失函数为：其中，

L_reg(t'_n,t_n)＝L_smooth-l1(t'_θ,t_θ)-IoU(t′_{x,y,w,h,θ},t_{x,y,w,h,θ})；

对于每一个锚定框，t'_n表示预测的坐标偏移向量，t_n表示真实的目标向量，回归损失函数计算t'_n和t_n之间的角度smooth L1损失函数和与IoU函数值，其中N表示锚定框数量，y_n用于区分前景和背景，前景y_n＝1，背景y_n＝0，IoU表示预测框PB与真实框RGT之间IoU值，x,y是边框中心点的坐标，w,h是边框的宽度和长度，θ是与x轴的夹角，t′_{x,y,w,h,θ}表示t'_x,t'_y,t'_w,t'_h,t'_θ中任意一个，t_{x,y,w,h,θ}表示t_x,t_y,t_w,t_h,t_θ中任意一个；

|t'_θ-t_θ|表示获取向量的模，λ₁，λ₂控制损失函数的权重，

分类损失函数中L_f为焦点损失，计算每一个锚定框和焦点损失之和的平均值；

构建最小分支实例树:连接相邻有效的分支实例构成无向分支骨架图，利用分支实例边界框之间的对向距离过滤无效分支边，破除环状边以构建最小分支实例树以表示树骨架图；

过滤无效分支边的步骤为：计算相邻的两个分支边界框的对向距离其中，/>c_a和c_b分别为两个分支边界框中心，θ_a和θ_b分别为两个分支边界框与y轴的角度，h_a和h_b分别为两个分支边界框的边框高度，/>表示向量/>的长度，/>表示向量/>的长度；

当相邻的两个分支边界框的对向距离超过设置距离阈值时，认定所述两个分支之间的边为无效分支边；

L系统语法推导:根据生成的最小分支实例树生成L系统初始语法，通过语法合并算法从初始语法中根据全局几何信息，推断出L系统形状语法；采用语法压缩算法，合并相似规则，检测L系统形状语法中的递归结构，添加随机信息，生成L系统紧凑语法，获取树木生长形态。

2.根据权利要求1所述的树木生长模型构建方法,其特征在于，所述目标检测器的整体网络结构包括计算输入图像特征映射的特征金字塔模块FPN、特征细化模块FRM、分类子网和回归子网；

从单个分辨率的输入图像构建自顶向下和横向连接的特征金字塔模块FPN，通过进行卷积特征映射来学习多尺度特征；

所述特征金字塔模块FPN中每一个P层分别与分类子网、回归子网连接；

分类子网对输出的卷积对象进行分类，预测出锚定框对应的目标类的概率；

回归子网执行卷积对象的边界框回归，将水平锚定框的偏移量回归到旋转边界框；

特征细化模块用于从旋转边框中提取区域不变特征。

3.根据权利要求2所述的树木生长模型构建方法,其特征在于，特征细化模块对于特征图上的每一个特征点，对应旋转边界框的四个边框点和一个中心点的坐标，通过双线性插值的方法在特征图上得到相应的特征向量，再将五个特征向量相加作为新的特征向量，遍历所有特征点之后，将重构后的特征图加入到原始特征图中，重建出新的特征图。

4.根据权利要求1所述的树木生长模型构建方法,其特征在于，消除环状边的方法为：第一，用DFS算法搜索无向分支骨架图判断是否有环；第二步，如果存在环，对后向边进行标识并从已标识为后向边中的相关每个顶点开始，以递归方式搜索得到图中的最小环；第三步，通过减小长度来对环进行排序，使用破环算法消去环中的边。

5.根据权利要求1所述的树木生长模型构建方法,其特征在于，语法合并算法为：对最小分支实例树执行贪婪搜索，找到最大重复子树，根据L系统初始语法提出出重复子树中语法，得到L系统形状语法。

6.根据权利要求1所述的树木生长模型构建方法,其特征在于，语法压缩算法为：压缩语法函数R(L^s,L^*)＝(C(L^s)-C(L^*))+dis(L^s,L^*)，L^*表示最后的紧凑语法，L^s表示L系统形状语法，C(L^s)表示语法L^s中符号的数量，C(L^*)表示语法L^*中符号的数量，dis(L^s,L^*)表示从形状语法转换到最终语法的估计编缉距离，包括字符串替换、插入、删除，使用动态规划计算最小编缉距离；采用贪婪优化算法寻求语法压缩函数的最优解，生成所有可能的合并规则对，计算两个规则对之间的压缩语法函数，选择最小成本的两个规则合并直到函数值不再减小。

7.一种计算机存储介质，其特征在于，所述存储介质存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-6任一项所述的树木生长模型构建方法对应的操作。