CN113838188A - 基于单幅图像的树木建模方法、树木建模装置、设备 - Google Patents

Abstract

本发明公开了一种基于单幅图像的树木建模方法、树木建模装置、设备。树木建模方法包括：获取待重建单幅树木图像的树木边缘图和可见枝干图；将所述树木边缘图和所述可见枝干图输入到预先训练好的条件生成对抗网络中，得到树木的轮廓深度图和枝干深度图；根据所述轮廓深度图得到轮廓点云数据，并根据所述枝干深度图构建得到枝干三维骨架；将所述轮廓点云数据和所述枝干三维骨架作为约束条件，按照预定的自组织过程式建模方法生成所述待重建单幅树木图像的三维树木模型。该建模方法针对不规则轮廓的树木能取得良好的建模效果，通过条件生成对抗网络能较准确地获取树木轮廓的深度数据，采用过程式建模方法有利于恢复缺失的树木细节枝干的信息。

Description

基于单幅图像的树木建模方法、树木建模装置、设备

技术领域

本发明属于计算机图形技术领域，具体地讲，涉及一种基于单幅图像的树木建模方法、树木建模装置、计算机可读存储介质、计算机设备。

背景技术

在过去的几年中已经提出了许多树建模方法，包括过程式树木建模和从照片或激光扫描中重建树模型。过程式树木建模可以合成虚拟树模型，而树重建方法则是生成真实世界的树模型。为了重建真实树的真实模型，收集输入数据的成本十分高昂且耗时，例如使用激光扫描仪获取三维点云或从真实树周围的不同视图仔细拍摄大量照片。基于单幅图像的树重建技术仅以一张图像作为输入，极大地简化了真实树重建对输入数据的要求，从而为仅从树的单个图像生成真实树模型提供了可行的解决方案。

基于单幅图像的树重建的关键是从单幅图像中恢复出三维信息，并依据恢复出的三维信息重构出与图像对应的三维植物模型。然而，从单幅图像进行准确的三维重建通常是一个病态的问题，因此以往的基于单幅图像的树建模方法通常使用一些先验知识来推断三维树的形状，并根据预定于的先验知识指导三维植物模型的生成过程。目前基于单幅图像的技术，其假设树木正面轮廓和侧面轮廓具有高度的相似性，因此深度的获取是将图像中的树轮廓旋转近似90°获取的。这种基于图像建模方法使用非常简单二维到三维的转换规则，具体而言其因假设了正面轮廓和侧面轮廓具有相似性，因此其只能对非常规则的植物起到较好的建模效果，对于正面和侧面轮廓差异非常大的植物无法取得较好的结果。

发明内容

(一)本发明所要解决的技术问题

本发明解决的技术问题是：如何提供一种基于具有不规则轮廓的单幅图像的树木建模方法。

(二)本发明所采用的技术方案

一种基于单幅图像的树木建模方法，所述树木建模方法包括：

获取待重建单幅树木图像的树木边缘图和可见枝干图；

将所述树木边缘图和所述可见枝干图输入到预先训练好的条件生成对抗网络中，得到树木的轮廓深度图和枝干深度图；

根据所述轮廓深度图得到轮廓点云数据，并根据所述枝干深度图构建得到枝干三维骨架；

将所述轮廓点云数据和所述枝干三维骨架作为约束条件，按照预定的自组织过程式建模方法生成所述待重建单幅树木图像的三维树木模型。

优选地，所述待重建单幅树木图像为拍摄得到的真实树木二维图像，所述获取待重建单幅树木图像的树木边缘图的方法包括：

从所述待重建单幅树木图像中分割出树木区域图像；

对所述树木区域图像进行边缘提取，获得所述树木边缘图。

优选地，获取待重建单幅树木图像绘制的可见枝干图的方法包括为：

根据用户在显示有所述待重建单幅树木图像的图像编辑器上添加的枝干笔画生成所述可见枝干图。

优选地，所述树木建模方法还包括：

生成提醒用户在显示有所述待重建单幅树木图像的图像编辑器上添加的枝干笔画的指令。

或者，所述待重建单幅树木图像为用户绘制的虚拟树木二维图像，获取待重建单幅树木图像的树木边缘图和可见枝干图的方法包括：

根据用户在图像编辑器上绘制待重建单幅树木图像时的绘制笔画生成树木边缘图和可见枝干图。

优选地，预训练的所述条件生成对抗网络包括预训练的第一条件生成对抗网络和预训练的第二条件生成对抗网络，将所述树木边缘图和所述可见枝干图输入到预先训练好的条件生成对抗网络中，得到轮廓深度图和枝干深度图的方法为：将所述树木边缘图输入到所述第一条件生成对抗网络，得到轮廓深度图，将所述可见枝干图输入到所述第二条件生成对抗网络，得到枝干深度图。

本申请还公开了一种基于单幅图像的树木建模装置，所述树木建模装置包括：

获取单元，用于获取待重建单幅树木图像的树木边缘图和可见枝干图；

预训练的条件生成对抗网络，用于根据所述树木边缘图和所述可见枝干图得到轮廓深度图和枝干深度图；

恢复单元，用于根据所述轮廓深度图得到轮廓点云数据并根据所述枝干深度图构建得到枝干三维骨架；

重建单元，用于在所述轮廓点云数据和所述枝干三维骨架的约束条件下，按照预定的自组织过程式建模方法生成所述待重建单幅树木图像的三维树木模型。

本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有基于单幅图像的树木建模程序，所述基于单幅图像的树木建模程序被处理器执行时实现上述的基于单幅图像的树木建模方法。

本申请还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的基于单幅图像的树木建模程序，所述基于单幅图像的树木建模程序被处理器执行时实现上述的基于单幅图像的树木建模方法。

(三)有益效果

本发明公开了一种基于单幅图像的树木建模方法、树木建模装置、设备，相对于传统的树木建模方法，具有如下技术效果：

本方法具体使用了三维树模型库学习三维树结构的先验知识，从而推断单幅树木图像的深度信息，这样得到的深度信息是基于已有数据推测出来的，克服了从单幅图像中推测树木深度不自然的问题，且针对不同轮廓的树木均能取得良好效果，因此能够更为有效地对树木深度信息进行推测，使得最终重建出的树木模型效果更好。

同时，结合自组织过程式建模方法，有利于恢复树木细节枝干信息。

附图说明

图1为本发明的实施例一的基于单幅图像的树木建模方法的流程图；

图2为本发明的实施例一的基于单幅图像的树木建模方法的过程示意图；

图3为本发明的实施例一的利用真实树木二维图像构建树木模型的示意图；

图4为本发明的实施例一的利用虚拟树木二维图像构建树木模型的示意图；

图5为本发明的实施例一的可见枝干构建示意图；

图6为本发明的实施例一的自组织过程式建模方法的示意图；

图7为本发明的实施例一的树木模型迭代构建示意图；

图8为本发明的实施例三的树木建模装置的原理框架图；

图9为本发明的实施例四的计算机设备示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在详细描述本申请的各个实施例之前，首先简单描述本申请的发明构思：利用单幅树木图像进行重建时，关键是如何根据单幅树木图像获取到深度数据，现有技术的处理方法是，假设树木正面轮廓和侧面轮廓具有高度相似性，将单幅图像进行旋转并根据二维至三维的转换规则，获得深度信息，然而面对具有不规则轮廓的图像时，并不能准确地恢复出深度数据。为此，本申请基于深度学习的思想，采用预先训练好的条件生成对抗网络根据树木的边缘图和可见枝干图生成树木的轮廓深度图和枝干深度图，进一步根据轮廓深度图和枝干深度图恢复得到轮廓点云数据和枝干三维骨架，最后结合自组织过程式建模方法进行子树生长，构建三维树木模型。该建模方法针对不规则轮廓的树木也能取得良好的建模效果，一方面通过条件生成对抗网络能较准确地获取树木轮廓的深度数据，另一方面采用过程式建模方法构建树木细节枝干的信息，例如枝干重叠、树叶遮挡等原因造成的细节信息缺失。

具体地，如图1和图2所示，本实施例一的基于单幅图像的树木建模方法包括如下步骤：

步骤S10：获取待重建单幅树木图像的树木边缘图和可见枝干图。

步骤S20：将树木边缘图和可见枝干图输入到预先训练好的条件生成对抗网络中，得到树木的轮廓深度图和枝干深度图。

步骤S30：根据轮廓深度图得到轮廓点云数据，并根据枝干深度图构建得到枝干三维骨架。

步骤S40：将轮廓点云数据和枝干三维骨架作为约束条件，按照预定的自组织过程式建模方法生成待重建单幅树木图像的三维树木模型。

其中，条件生成对抗网络包括两部分，分别是针对树木轮廓边缘图的第一条件生成对抗网络和针对树木可见枝干图的第二条件生成对抗网络，在建模之前训练条件生成对抗网络，主要包括数据集的生成步骤和网络训练步骤。

具体来说，第一条件生成对抗网络所需要的每份训练数据样本包括树木轮廓边缘图和树木轮廓深度图，由于深度学习训练过程需要用到大量数据样本，如果采用真实树木图像来提取训练数据，需要耗费巨大成本，因此本实施例一采用虚拟树木图像来提取训练数据。首先采用过程式建模方法生成若干树木模型，对于每个树木模型的正面以及背面采用虚拟相机进行正交投影拍摄得到树木模型的两张深度图，利用一幅RGB图像的R和G通道分别保存两张深度图，即得到树木轮廓深度图。使用canny算法对该渲染得到虚拟树木图像进行边缘提取，得到树木轮廓边缘图，将树木轮廓深度图以及树木轮廓边缘图作为一个数据样本，用于训练第一条件生成对抗网络。类似地，第二条件生成对抗网络所需要的每份训练数据样本包括枝干边缘图和枝干深度图采用过程式建模方法生成若干树木模型后，仅显示可见枝干骨架，从正面拍摄得到可见枝干骨架的枝干深度图，接着从枝干深度图生成遮罩图像，具体是将枝干深度图中有深度信息的像素设置为黑色像素(R＝0，G＝0，B＝0)。

进一步地，第一条件生成对抗网络和第二条件生成对抗网络均包括生成器和判别器，生成器用于生成以假乱真的深度图像，而判别器可以判断生成的深度图像的真实度，通过不断迭代，使生成样本越来越接近真实样本。网络的训练方法是交替式的训练方法。以第一条件生成对抗网络为例，生成器的输入为树木轮廓边缘图，判别器的输入为树木轮廓深度图和生成器根据树木轮廓边缘图得到的输出图像，判别器计算得到交叉熵损失，根据交叉熵损失根据判别器和生成器的网络参数，条件生成对抗网络的训练过程为本领域技术人员熟知，在此不进行赘述。

在训练完成之后可以对图像进行预测，具体来说步骤S10中的待重建单幅树木图像包括两种类型，分别是真实树木二维图像和虚拟树木二维图像。

对于待重建单幅树木图像为真实树木二维图像的情形，获取待重建单幅树木图像的边缘图的方法包括：从待重建单幅树木图像中分割出树木区域图像；对树木区域图像进行边缘提取，获得树木边缘图。具体地，首先加载不同格式的待重建单幅树木图像到系统中并可视化地显示出来，图像文件的加载使用QT的标准的文件流实现。加载图像之后先对图像进行分割，将树木区域分割出来并将分割出的树木图像缩放至256*256分辨率，然后进行图像的轮廓提取得到树木轮廓的边缘图。其中，分割算法采用交互式的分割算法，边缘图的提取使用Canny检测器实现。如图3所示，图3中左起第一幅图为真实树木二维图像，进一步地，根据用户在显示有待重建单幅树木图像的图像编辑器上添加的枝干笔画生成可见枝干图。这里可以采用交互式方法，例如可在具有图像编辑功能的显示器上显示待重建单幅树木图像，用于在显示器上描绘跟待重建单幅树木图像相匹配的枝干笔画，进一步根据枝干笔画生成可见枝干图。其中，在获取并加载待重建单幅树木图像之后，还可以生成提醒用户在显示有待重建单幅树木图像的图像编辑器上添加的枝干笔画的指令，指令形式可以是语音或文字，这样可以增加交互性。

对于待重建单幅树木图像为虚拟树木二维图像的情形，获取待重建单幅树木图像的树木边缘图和可见枝干图的方法包括：根据用户在图像编辑器上绘制待重建单幅树木图像时的绘制笔画生成树木边缘图和可见枝干图。具体来说，如图4所示，图4中左起第一幅图为用户绘制的虚拟树木二维图像，用户可以在图像编辑器上绘制任意形状的树木图像，绘制完成之后，根据绘制笔画可以提取出树木边缘图和可见枝干图，其中该提取过程可采用现有技术，本领域技术人员已熟知，在此不进行赘述。将用户绘制的树木图像作为待重建单幅树木图像，极大地提高了交互性。

在步骤S20中，将树木边缘图输入到第一条件生成对抗网络，得到轮廓深度图，将可见枝干图输入到所述第二条件生成对抗网络，得到枝干深度图。

在步骤S30中，从轮廓深度图恢复得到轮廓点云数据的具有过程为本领域的常用技术。主要过程如下：由于生成的轮廓深度图一般存在噪声，这会使恢复出的点云数据具有较大的噪声，因此需要对生成的轮廓深度图进行去噪操作。根据观察，这些噪声主要存在于轮廓边界的边缘处，因此在去噪过程中检测轮廓深度图的边界点是否是孤立点，或者边界点是否与其附近的点的深度偏差较大，若是则认为边界点是噪声点，以此去除噪声。在最终恢复出的点云模型之后，再使用k近邻搜索算法进行去除孤立点操作，以得到干净的点云数据。此外，由于后续树木生成算法中需要密集的点云数据，因此对轮廓点云数据进行填充，具体处理为对轮廓深度图的R值和G值之间进行等间隔插值。

进一步地，如图5所示，根据枝干深度图构建得到枝干三维骨架的过程如下：

枝干深度图提供了不同枝干的深度，用户绘制的可见枝干图蕴含了枝干之间的连通关系。

为了获得连通的三维骨架，首先找到用户绘制的图像T中最下方且颜色不为白色像素开始，应用宽度优先搜索遍历图像，探索半径为3*3，探索到相同颜色的像素表明是同一个枝干的不同像素，探索到不同颜色的像素则表明发现了一个连接到当前像素的另一个枝干。探索使用一个队列记录被访问到的像素列表，并记录已经发现的枝干列表。这些分支通过它们的颜色来标识，并且每个分支都维护着节点列表，可见枝干图中对应像素的坐标和对应的枝干深度图中的深度共同构成了节点的三维坐标。搜索结束后，重构出连通图表示的枝干三维骨架。

具体地，在步骤S40中，在轮廓点云数据和枝干三维骨架的约束条件，按照预定的自组织过程式建模方法生成待重建单幅树木图像的三维树木模型。由于条件生成对抗网络难以学习到树木枝干细节信息，例如在训练过程中，因树木枝干遮挡、重叠等原因造成造成部分深度信息缺失，导致训练样本存在缺陷，条件生成对抗网络难以预测这一部分深度信息，而采用自组织过程式建模方法正好能弥补这一缺点。自组织过程式建模方法为本领域的常用方法，主要原理如下：自组织过程式建模方法的核心是空间殖民算法，模拟生长的树枝对空间的竞争。增长空间由一组标记点表示，在本实施例一中，采用插值之后的轮廓点云数据表示生长空间。树木的初始枝干骨架为步骤S30得到的枝干三维骨架，在初始枝干骨架的基础上进行自组织的迭代生长过程。为了更好地解释自组织的迭代生长过程，首先解释一些自组织过程式建模的相关的定义。如图6所示，最基本的概念是节点，它是着生叶子或者芽的地方，按芽的位置分可以分为顶芽和侧芽。着生在枝条或主干顶端的芽是顶芽，生长在枝条侧面的芽是侧芽；两个相邻的节点之间的部分称为节间，表示一段生长的枝干；一个生长基元表示由一个节点一个节间以及节点附着的芽组合而成。

迭代构建过程如下：从初始枝干骨架中的顶芽位置开始生成一系列生长基元，一个生长基元包含一个节点位置和一个方向，对于每一个生长基元使用一个椎体区域探索标记点，如果存在标记点则表示能够在该区域空间内能够生成该生长基元。同时，每一个生长基元都是通过前一个生长基元的方向和长度获取的。将新生成的生长基元中的侧芽作为顶芽进行下一次迭代生长。经过多次迭代后，当整个树木枝干无法在该空间中继续生成新的生长基元时迭代结束，这时生成的三维树木模型外观轮廓能够很好地符合轮廓点云。图7示出了一种树木模型的迭代构建过程。

进一步地，如图8所示，本实施例二还公开了一种基于单幅图像的树木建模装置，树木建模装置包括获取单元100、预训练的条件生成对抗网络200、恢复单元300和重建单元400。获取单元100用于获取待重建单幅树木图像的树木边缘图和可见枝干图；预训练的条件生成对抗网络200用于根据树木边缘图和可见枝干图得到轮廓深度图和枝干深度图；恢复单元300用于根据轮廓深度图得到轮廓点云数据并根据枝干深度图构建得到枝干三维骨架；重建单元400用于在轮廓点云数据和枝干三维骨架的约束条件下，按照预定的自组织过程式建模方法生成待重建单幅树木图像的三维树木模型。

其中，获取单元100还用于从待重建单幅树木图像中分割出树木区域图像，对树木区域图像进行边缘提取，获得树木边缘图。获取单元100还用于生成提醒用户在显示有待重建单幅树木图像的图像编辑器上添加的枝干笔画的指令以及获取根据用户在显示有待重建单幅树木图像的图像编辑器上添加的枝干笔画生成的可见枝干图。

在另一实施方式中，获取单元100还用于根据用户在图像编辑器上绘制待重建单幅树木图像时的绘制笔画生成树木边缘图和可见枝干图。

获取单元100、预训练的条件生成对抗网络200、恢复单元300和重建单元400的具体处理过程可参照实施例一的相关描述，在此不进行赘述。

本实施例三还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有基于单幅图像的树木建模程序，所述基于单幅图像的树木建模程序被处理器执行时实现上述的基于单幅图像的树木建模方法。

本申请的另一实施例还公开了一种计算机设备，在硬件层面，如图9所示，该终端包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。所述计算机可读存储介质11上存储有基于单幅图像的树木建模程序，所述基于单幅图像的树木建模程序被处理器执行时实现上述的基于单幅图像的树木建模方法。

计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。

Claims (9)

1.一种基于单幅图像的树木建模方法，其特征在于，所述树木建模方法包括：

获取待重建单幅树木图像的树木边缘图和可见枝干图；

将所述树木边缘图和所述可见枝干图输入到预先训练好的条件生成对抗网络中，得到树木的轮廓深度图和枝干深度图；

根据所述轮廓深度图得到轮廓点云数据，并根据所述枝干深度图构建得到枝干三维骨架；

将所述轮廓点云数据和所述枝干三维骨架作为约束条件，按照预定的自组织过程式建模方法生成所述待重建单幅树木图像的三维树木模型。

2.根据权利要求1所述的基于单幅图像的树木建模方法，其特征在于，所述待重建单幅树木图像为拍摄得到的真实树木二维图像，所述获取待重建单幅树木图像的树木边缘图的方法包括：

从所述待重建单幅树木图像中分割出树木区域图像；

对所述树木区域图像进行边缘提取，获得所述树木边缘图。

3.根据权利要求2所述的基于单幅图像的树木建模方法，其特征在于，获取待重建单幅树木图像绘制的可见枝干图的方法包括为：

根据用户在显示有所述待重建单幅树木图像的图像编辑器上添加的枝干笔画生成所述可见枝干图。

4.根据权利要求2所述的基于单幅图像的树木建模方法，其特征在于，所述树木建模方法还包括：

生成提醒用户在显示有所述待重建单幅树木图像的图像编辑器上添加的枝干笔画的指令。

5.根据权利要求1所述的基于单幅图像的树木建模方法，其特征在于，所述待重建单幅树木图像为用户绘制的虚拟树木二维图像，获取待重建单幅树木图像的树木边缘图和可见枝干图的方法包括：

根据用户在图像编辑器上绘制待重建单幅树木图像时的绘制笔画生成树木边缘图和可见枝干图。

6.根据权利要求1所述的基于单幅图像的树木建模方法，其特征在于，预训练的所述条件生成对抗网络包括预训练的第一条件生成对抗网络和预训练的第二条件生成对抗网络，将所述树木边缘图和所述可见枝干图输入到预先训练好的条件生成对抗网络中，得到轮廓深度图和枝干深度图的方法为：将所述树木边缘图输入到所述第一条件生成对抗网络，得到轮廓深度图，将所述可见枝干图输入到所述第二条件生成对抗网络，得到枝干深度图。

7.一种基于单幅图像的树木建模装置，其特征在于，所述树木建模装置包括：

获取单元，用于获取待重建单幅树木图像的树木边缘图和可见枝干图；

预训练的条件生成对抗网络，用于根据所述树木边缘图和所述可见枝干图得到轮廓深度图和枝干深度图；

恢复单元，用于根据所述轮廓深度图得到轮廓点云数据并根据所述枝干深度图构建得到枝干三维骨架；

重建单元，用于在所述轮廓点云数据和所述枝干三维骨架的约束条件下，按照预定的自组织过程式建模方法生成所述待重建单幅树木图像的三维树木模型。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于单幅图像的树木建模程序，所述基于单幅图像的树木建模程序被处理器执行时实现权利要求1至6任一项所述的基于单幅图像的树木建模方法。

9.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的基于单幅图像的树木建模程序，所述基于单幅图像的树木建模程序被处理器执行时实现权利要求1至6任一项所述的基于单幅图像的树木建模方法。

Images