CN109285217A - 基于多视角图像的过程式植物模型重建方法 - Google Patents
基于多视角图像的过程式植物模型重建方法 Download PDFInfo
- Publication number
- CN109285217A CN109285217A CN201811052482.XA CN201811052482A CN109285217A CN 109285217 A CN109285217 A CN 109285217A CN 201811052482 A CN201811052482 A CN 201811052482A CN 109285217 A CN109285217 A CN 109285217A
- Authority
- CN
- China
- Prior art keywords
- plant
- growth
- model
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000008569 process Effects 0.000 title abstract description 12
- 230000012010 growth Effects 0.000 claims abstract description 101
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 230000008635 plant growth Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 18
- 230000035784 germination Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000001427 coherent effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract 1
- 241000196324 Embryophyta Species 0.000 description 112
- 230000006870 function Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008636 plant growth process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000208140 Acer Species 0.000 description 1
- 235000004422 Acer negundo Nutrition 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 240000006413 Prunus persica var. persica Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于植物建模及计算机图形处理技术领域，具体涉及一种基于多视角图像的过程式植物模型重建方法，旨在解决现有方法构建植物模型与真实数据间误差较大，精度不高的问题，本方法包括：获取植物多视角图片信息；基于颜色和几何一致性的稠密深度估计；多视角深度信息融合的三维点云数据获取；通过预先构建的枝干结构生长参数表示模型并采用所述三维点云数据约束植物生长，构建所述植物的三维树枝结构模型。本发明为从多视角的图像重建出完整的树木模型提供了解决方案，获取的点云和模型与原始图像具有很高的吻合度，巧妙地结合了植物过程式建模与数据驱动的植物重建方法，不仅能够保证模型的精度，同时也能够保持植物的生物学意义。
Description
技术领域
本发明属于植物建模及计算机图形处理技术领域，尤其是涉及一种基于多视角图像的过程式植物模型重建方法。
背景技术
植物的精确三维重建和生长建模具有很高的科研价值。尽管近年来在植物建模领域涌现出了诸多的新算法，建模的精度和效率都有了很大的提高，但是植物建模依然存在很多问题：一方面，不管是通过三维扫描还是视觉方法的植物重建精度有限，而且这类工作只关注于植物静态的三维几何结构，并不考虑植物生长过程中的动态几何演变；另一方面，目前对于植物的动态几何建模，还只是基于植物机理进行虚拟生长建模，少见基于真实测量数据的植物生长建模。
近年来植物建模研究可大体分为三类：基于视觉和扫描数据的精确重建、基于规则语法的过程建模、基于交互或草图的近似建模。随着对植物细节和重建精度要求的不断提高，近年来基于图像的植物重建得到了越来越多研究人员的重视。基于图像的植物重建方法输入一幅或多幅图像，利用一些先验知识和规则生成与原始输入图像比较相似的树木模型。基于多幅图像的植物重建方法是对从不同角度拍摄的一系列图像进行算法处理重构出植物的三维模型。Quan206(L.Quan,P.Tan,G.Zeng,L.Yuan,J.Wang,and S.B.Kang,“Image-based plant modeling,”ACM Trans.on Graphics,vol.25,no.3,2006,pp.599–604)利用计算机视觉领域的structure from motion技术恢复出多幅图像的三维点云信息，利用可变形曲面技术建立每个叶片模型，同时加以手工辅助构建枝干。该方法能够生成真实感较强的植物模型，但是由于该方法需要手工辅助建立枝干，而且该方法通常只适用于大页片的灌木重建，无法处理小叶片的树木重建。目前基于图像的植物重建方法的缺点主要有：(1)自动化程度不够，需要人工交互；(2)只能处理单个植物；(3)一种方法只适用于一类植物，缺乏通用的方法。此外，基于图像和视觉的植物重建方法的困难主要在于从二维到三维变换的二义性。
相对于基于图像的方法，三维激光扫描仪直接获取大地空间的三维数据信息，而不是从图像换算出来的，因此，可以避免基于图像重建植物时从二维到三维变换的二义性。近几年，扫描仪器的大幅降价使得我们可以快速并低成本地获取高质量的三维数据。Livny2010(Y.Livny,F.Yan,M.Olson,B.Chen,H.Zhang and J.El-Sana,“AutomaticReconstruction of Tree Skeletal Structures from Point Clouds,”ACMTrans.Graph.vol.29,no.151,pp.1C8,2010.)提出了一种基于全局拟合优化的方法提取点云数据的骨架结构，该方法非常鲁棒，但在遮挡严重的情况下仍然无法准确地重构出主枝和树冠的骨架。Guo2017(J.Guo,Z.Cheng,S.Xu,and X.Zhang.2017.Realistic proceduralplant modeling guided by 3D point cloud.ACM SIGGRAPH 2017Posters)利用扫描点云数据，采用过程式建模的方法重建得到植物模型。尽管目前基于激光扫描数据进行重建已经有不少工作，但是通常扫描设备比较昂贵，而且操作不方便。本发明对Guo2017方法进行了扩展，首先通过计算多视角图像的深度图提取出三维点云，然后设计更加精确和有效的生长规则来约束植物的重建过程。
另外，基于交互的植物重建立足于发挥用户主动性，弥补纯粹自动方法智能性不足时候出现的失误。通常基于单幅图像或点云数据、通过界面交互、勾画草图等方式辅助植物特征提取和模型编辑，从而实现快速植物重建。此类方法重建植物更便捷，方法灵活性强，但适用的树木种类有限、树枝形态单一，需要进一步优化植物模型形态。另外，基于草图的重建需要用户的交互，对于复杂的植物整株重建耗时耗力，同样没有考虑到真实数据，一般不能达到植物的精细重建要求。
发明内容
为了解决现有技术中的上述问题，即为了解决现有方法构建植物模型与真实数据间误差较大，精度不高的问题，本发明提出了一种基于多视角图像的过程式植物模型重建方法，包括以下步骤：
步骤S1、获取植物的采集图像集合，并进行预处理；所述采集图像集合中包括至少所述植物两个视角的拍摄图像；
步骤S2，基于采集图像集合中的图像，构建所述植物的三维点云数据；
步骤S3，将所述三维点云数据沿竖直方向投影形成投影点的聚类，选取距离该聚类重心点最近的点作为所述植物的第一根节点；
步骤S4，基于所述第一根节点，以及预先构建的所述植物对应植物类别的枝干结构生长参数表示模型，并采用所述三维点云数据约束植物生长，构建所述植物的三维树枝结构模型；
步骤S5，基于所述三维点云数据，对所述三维树枝结构模型进行特定树叶模型和/或花模型的添加；所述特定树叶模型为预先构建所述植物对应植物类别的树叶模型和/或花模型。
在一些优选实施例中，步骤S2中，在“构建所述植物的三维点云数据”之前包括基于颜色和几何一致性的稠密深度估计，其步骤包括：
步骤S211，基于颜色一致性对所述采集图像集合中图像序列进行初始深度估计；
步骤S212，采用彩色图像分割技术，通过几何相干的方法对所估计的初始深度进行优化。
在一些优选实施例中，步骤S211中“进行初始深度估计”的方法为：
通过两个相邻图像对应相机参数Ii、Ij之间的转换矩阵，确定Ii中的每个像素点p在Ij中对应的像素点；
Ii、Ij之间的转换矩阵为
其中，K是相机内参矩阵，R为相机旋转矩阵，C是相机的中心点，Ii、Ij分别表示为{Ki，Ri，Ci}和{Kj，Rj，Cj}，参数v＝-nTX，n为法向量，X为当前三维坐标。
在一些优选实施例中，步骤S212中“对所估计的初始深度进行优化”，其方法为：
通过标准图割方法来最小化如下函数来确定图像中每个像素点的深度d，
其中，d为要计算得到的深度值，n为法向量，dp为代表对像素p可积分，τ为图像颜色一致性系数，λ为图像分割的重要度系数，Ωi为图像分割块，m(p，(d，n))为基于像素点p匹配损失的图片一致性，为在每个分块上的深度损失。
在一些优选实施例中，所述三维点云数据的构建方法包括：
步骤S221，结合图片一致性和几何相关约束，定义每个像素点给出深度似然性L(p，(di，ni))，
L(p，(di，ni))＝∑i′m(p，(di，ni))mv(p，p’，(di’，nj’))
其中，mv(p，p’，(di’，ni’))为作为约束条件的几何相关性，di为像素p在图像i上的深度值，ni为像素p在图像i上的法向量，i′为图像i的相邻图像，p’为p在图像i′上的对应像素，di’为pi的深度值，ni’为pi的法向量；
步骤S222，通过标准图割方法来最小化如下函数对深度d再次计算，
其中，u(p)为一个指示函数。
在一些优选实施例中，所述植物对应植物类别的枝干结构生长参数表示模型，其枝干结构生长参数信息包括植物高度、节间距长度、侧倾角、分枝角度、生长速率、半径系数。
在一些优选实施例中，所述植物对应植物类别的枝干结构生长参数表示模型中，将所述枝干结构生长参数信息集成于一个基于规则的生长系统中，该系统包括四个基本规则：
(1)从一个根节点Seed(p,v)出发，将根节点设为未来主枝的顶芽A(p,v)；其中p为根节点位置坐标、v为其生长方向；
(2)在一次生长循环过程中，从顶芽生成一系列生长基元Metamer(p′，v′)；其中p′为新的生长基元的位置坐标，v′为新的生长基元的生长方向；
(3)每个生长基元的位置通过前一个生长基元的方向和长度计算获取，前一个生长基元的生长方向根据该生长基于与其母枝之间的侧倾角来计算；
(4)每个生长基元被包括一个节间距和一个侧芽，其中侧芽的生长方向由参数分枝角度来计算；新长出的侧芽做为顶芽，进行下一次的生长循环。
在一些优选实施例中，步骤S3中在计算所述聚类重心点之前，包括投影点的过滤，其方法为：
计算每个投影点的密度信息，根据预设的密度阈值去除密度低于所述密度阈值的点。
在一些优选实施例中，步骤S4“构建所述植物的三维树枝结构模型”中，
发芽点生长方向的计算方法如下
其中，为处于半径为di的锥形区域内的点与该发芽点之间的单位法向量；di为影响距离；
发芽点的生长距离通过Logistic生长方程计算。
在一些优选实施例中，所述特定树叶模型包括从天然树叶的照片获得的树叶纹理。
本发明采用数据约束的过程式植物重建新方法，从获取的真实图像和点云数据出发，计算和提取植物的生长参数，设计一种参数化的植物生长规则，并使用真实数据来引导和约束植物的过程式建模，改变了以往植物生成模型中手工交互过多，工作量大，结果不够准确的状况，完整地恢复了树枝形状，又符合生物学特征的模拟出大量叶子与花，使重建模型在准确的基础上获得了较高的真实感。
附图说明
图1是本发明基于多视角图像的过程式植物模型重建方法的流程示意图；
图2是本发明一个实施例中植物模型重建关键过程的数据及效果展示；
图3是在参数化植物表示中所使用的术语定义说明图；
图4是根据本发明方法重建出的三个模型示例；
图5是根据本发明方法重建出的多根植物模型示例；
图6是根据本发明与现有技术的结果对比图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。
需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。
本发明提出的一种基于多视角图像的过程式植物模型重建方法，如图1所示，包括以下步骤：
步骤S1、获取植物的采集图像集合，并进行预处理；所述采集图像集合中包括至少所述植物两个视角的拍摄图像；
步骤S2，基于采集图像集合中的图像，构建所述植物的三维点云数据；
步骤S3，将所述三维点云数据沿竖直方向投影形成投影点的聚类，选取距离该聚类重心点最近的点作为所述植物的第一根节点；
步骤S4，基于所述第一根节点，以及预先构建的所述植物对应植物类别的枝干结构生长参数表示模型，并采用所述三维点云数据约束植物生长，构建所述植物的三维树枝结构模型；
步骤S5，基于所述三维点云数据，对所述三维树枝结构模型进行特定树叶模型和/或花模型的添加；所述特定树叶模型为预先构建所述植物对应植物类别的树叶模型和/或花模型。
本发明一个实施例中植物模型重建关键过程的数据及效果展示如图2所示，从左到右依次为：采集的植物图像、深度图、重建的三维点云、生长得到的植物骨架和添加叶子的完整植物模型。
本发明预先设定的内容包括枝干结构生长参数化表示的设定、枝干结构生长参数表示模型，下面分别对两部分内容进行详细描述。
1、枝干结构生长参数化表示的设定
为了更好地解释本发明的方法，本发明首先解释一些相关的定义。在分层组织的植物结构中，最基本的概念是节点(node)，它是一截枝干或者一片叶子着生的地方；两个相邻的节点之间的部分称为节间距(internode)；按芽的着生位置分可以分为顶芽和侧芽.着生在枝条或主干顶端的芽是顶芽(apical bud)，着生在枝条侧面或侧枝侧面的芽是侧芽(lateral bud)；一个生长基元(metamer)是由一个节点、一段节间距和相应的侧芽构成的。这些定义可参考附图3。
本发明创建一个参数化的骨架结构，其功能足以产生各种植物物种。存在用于提取分支结构的各种过程建模方法，并且理论上，任何参数驱动的方法都可以集成到本发明的框架中。然而，由于本发明的建模方法是由实际数据引导的，因此许多参数对本发明来说是多余的，例如环境和芽命运参数。因此，本发明提出一种枝干结构生长参数表示模型，用于定义植物的枝干结构，这些参数包括：植物高度、节间距长度、侧倾角、分枝角度、生长速率、半径系数。本发明通过测量多个真实的植物，预先生成这些参数并将平均值存储在物种库中。从重建的植物的三维点云数据中，本发明能够估计植物主干直径droot，然后运用达芬奇异速生长规则来获得其它树枝部分的估计。给出父节点的直径dp，那么每个孩子节点的直径可以通过下面的方法来表示:
其中是该子节点所对应的枝干的总长度，是子节点cj所对应的枝干的总长度，γ是指数系数。
2、枝干结构生长参数表示模型
将上述枝干结构生长参数表示模型集成到一个基于规则的生长系统中。具体地，我们的实现基于L系统，它被广泛应用于植物生长过程的研究，其本质是一种字符重写系统或形式化语言方法。我们的L系统设计如下：
规则1.Seed(p，v)→A(p，v)
规则2.A(p，v)→{Metamer(p′，v′)*}A(p″，v″)
规则3.Metamer(p，v)→Internode(p，v)L(p′，v′)
规则4.L(p，v)→A(p′，v′)
在该系统中，基于规则1，从一个根节点Seed(p,v)出发，将根节点设为未来主枝的顶芽A(p,v)；其中p为根节点位置坐标、v为其生长方向；基于规则2，在一次生长循环过程中，从顶芽生成一系列生长基元Metamer(p′，v′)，其中*号代表一系列生长基元，A(p″，v″)为新的顶芽，p′、v′分别为新的生长基于的位置坐标和生长方向，p″、v″分别为新的顶芽的位置坐标和生长方向；基于规则3，每个生长基元的位置通过前一个生长基元的方向和长度计算获取，前一个生长基元的生长方向根据该基元与其母枝之间的侧倾角来计算，Internode(p，v)为一小节树枝，L(p′，v′)为该小节树枝的长度；基于规则4，每个生长基元被包括一个节间距和一个侧芽，其中侧芽的生长方向由参数分枝角度来计算，新长出的侧芽做为顶芽；进行下一次的生长循环。
下面结合本发明的一种实施例对本发明技术方案进行详细描述。
步骤A100，获取植物的采集图像集合，并进行预处理；所述采集图像集合中包括至少所述植物两个视角的拍摄图像。
在本发明中，假设植物保持静止不动，我们仅使用单个摄像机对不同角度的同一棵植物进行多视角的拍摄。为提高后续的点云重建效率，我们从采集的运动影像中选择一个关键帧图像集合。为了确保重建精度，邻的关键帧之间基线距离不宜太小，同时为了确保图像对中有较多的重合内容，基线距离又不能太大。在本发明中，当相邻的两个图像相对于植物的旋转角度为10度时，可以获得较好的重建效果。
步骤A200，基于颜色一致性对所述采集图像集合中图像序列进行初始深度估计。
给定一个图像序列，通过采用开源的运动推断结构技术(SFM)可以可靠地估计摄像机参数。为了进行精确的深度估计，我们引入迭代优化方法，首先基于光照一致性初始化深度图，然后通过几何相干的方法重新确定深度。首先对深度进行初始化。我们定义了两个相邻图像对的相机参数Ii,Ij为{Ki，Ri，Ci}和{Kj，Rj，Cj}，其中K是内参矩阵，R为旋转矩阵，C是相机的中心点。那么Ii,Ij之间的转换矩阵可以表示成如下形式：
其中参数v＝-nTX，是根据法向量n和当前三维坐标X决定的。对于在Ii中的每个像素点p，我们能够运用这个转换矩阵H(d，n)在Ij中找到对应的像素点。然后运用PatchMatch立体方法，我们结合mean-shift分割和图像一致性来定义深度估计值。通过标准图割方法来最小化函数ε1(d，n)来确定图像中每个像素点的深度d
我们把每块分割Ωi作为一个3D的平面来处理，m(p，(d，n))是基于像素点p匹配损失的图片一致性，表示在每个分块上的深度损失，保证了分块上有一个紧凑的深度值，d为要计算得到的深度值，n为法向量，dp为代表对像素p可积分，τ为图像颜色一致性系数，λ为图像分割的重要度系数。
步骤A300，采用彩色图像分割技术，通过几何相干的方法对所估计的初始深度进行优化。
由于深度计算的误差，图像之间重叠区域的深度，可能出现不一致的情况，所以优化是必要的。结合图片一致性和几何相关约束，我们对每个像素点给出深度似然性L(p，(di，ni))的定义如下：
L(p，(di，ni))＝∑i′m(p，(di，ni))mv(p，p’，(di’，ni’))
其中几何相关性mv(p，p′，(di′，ni′))作为一个约束di为像素p在图像i上的深度值，ni为像素p在图像i上的法向量，i′为图像i的相邻图像，p’为p在图像i′上的对应像素，di’为pi的深度值，ni’为pi的法向量。
通过标准图割方法来最小化函数ε2(d，n)对深度d进行再次计算，
其中u(p)作为一个指示函数。为了更高效和精确地进行优化，我们运用standardgraph cuts(标准图割)方法来最小化上面的函数。另外，值得注意的是高质量植物深度图应该具有平滑的细节结构。因此我们运用了一个导向性的过滤算法来进一步优化深度图，使得最后优化的深度图能够捕捉到详细的边缘不连续性并还原植物的轮廓。
步骤A400，将所述三维点云数据沿竖直方向投影形成投影点的聚类，选取距离该聚类重心点最近的点作为所述植物的第一根节点。、
从俯视图的角度来看，每株植物的点云一般是以它的主干信息为中心的分布的，我们将所有的点云数据沿竖直方向投影到地平面(一般是y＝0平面)，每株植物的点云会形成一个聚类。然后我们计算每个投影点的密度信息，每个点的密度信息是指在一定的邻域内所包含的投影点的数目。然后，我们设定一个阈值去除那些密度低的点，剩余的点将会根据每株植物的位置形成一个个的聚类。对于每一类的点，我们计算该类的重心点。最后，我们在原始点云中，寻找与每类的重心点最近的那个点作为每株植物的根节点。
步骤A500，基于所述第一根节点，以及预先构建的所述植物对应植物类别的枝干结构生长参数表示模型，并采用所述三维点云数据约束植物生长，构建所述植物的三维树枝结构模型。
每株植物的根节点位置确定好之后，我们根据预先设定的参数信息，采用重建得到的真实三维数据来约束植物的生长。具体来说，我们假设每个发芽点周围都有一个半径为dk的球形区域和一个半径为di的锥形区域，其中dk称为杀死距离，di称为影响距离。位于杀死距离之内的点云不会对该发芽点的生长产生影响，而位于锥形区域内部并且在影响距离之内的点云会决定该发芽点的生长。因此在生长过程中，我们在每个发芽点附近建立一个体素结构，并定义这样的锥形区域，然后计算每个处于锥形区域内的点与该发芽点之间的单位法向量进而计算该发芽点最终生长方向
其中n为有效数据点的数目。另外，该发芽点的生长距离为该发芽点到所有有点数据点的重心之间的距离。
上面方案假设获取的点云数据是均匀且随机分布的，而且认为在每个年龄段，植物的生长速率是相同的。但是，在实际应用中，获取的点云具有噪声、重叠、采样不均匀等缺点。另外，在一个植物的生长过程中，往往在早期阶段生长比较快，然后随着年龄的增加，生长能力会逐渐下降。为了模拟这一现象，我们对上述的方案进行改进，引入一种Logistic生长方程来计算每个阶段发芽点的生长距离。Logistic生长方程定义如下：
其中，t是生长迭代次数，X(t)在时间t时刻植物的高度，Xm是植物的高度，初始高度设为X0＝2(本实施例中采用2，其他实施例中也可以采用其他优选数值)，ρ0是初始的生长速率。对上述公式求导，得到在每个阶段植物的生长速率ρ：
然后，生长速率ρ决定了影响距离的大小di＝ρ·s，其中s是参数节间距的长度。
我们发现枝条上的点通常在树枝生长过程中比叶子上的点有更大的影响权重。因此，我们赋予了每个点两种属性：位置和权重。为了计算每个点pi的属性，我们先用主成分析的方法以及存储最大特征值对应的特征向量然后我们查找pi附近，统计与pi有相似位置和特征值的点pj:
‖pi-pj‖2＜εD
其中我们计算两个点之间的欧式距离判断是否小于预设上限εD，以及两个单位向量之间的点积是否大于预设下限εA，这里我们设置εD为3cm，εA为0.9。符合上面条件的相似邻点数目将表示成wi，作为点pi由其位置和主方向确定的密度。最后，我们可以确定某个顶芽具体的生长方向的计算表示为：其中是顶芽的延伸方向，作为向性矢量。最优方向 α和β为预设的权重系数，本实施例中分别设置为1.6和0.3。
至此，已经创建了植物的三维树枝结构模型。
步骤A600，基于所述三维点云数据，对所述三维树枝结构模型进行特定树叶模型和/或花模型的添加；所述特定树叶模型为预先构建所述植物对应植物类别的树叶模型和/或花模型。
首先使用一组广义圆柱重建植物分支的多边形模型。为了估计每个节点的圆柱半径，我们根据之前描述的异速生长规则来推断每个节点处骨架的直径。最后，为了完成植物模型，我们根据特定的植物种类并将不同的树叶添加到所述三维网格模型细枝的末端，从而实现树木三维模型的完整重建。另外，我们添加从天然树叶的照片获得的纹理，以增强视觉外观。
图4是采用本发明的方法从多视角的图片数据中重建出的完整三维树木模型，其包含了主枝以及树叶(花)，从左到右依次为原始图片、计算出的点云、加上叶片的植物模型。从图4中可以看到，重建的树木模型与输入的点云形状非常一致，主枝上的点云与重建的模型实现了很好的吻合，这说明了本发明的主枝重建无论是骨架点位置还是半径都是准确的。本发明的方法对不同的树种的泛化能力也很强，从桃树到枫树不同形状和花叶的重建合成都有很好的适应性。图5是本发明对具有多根植物的建模结果，可以看出我们的方法也可以取得很好的重建效果。
图6是本发明与Livny2010(Y.Livny,F.Yan,M.Olson,B.Chen,H.Zhang and J.El-Sana,“Automatic Reconstruction of Tree Skeletal Structures from PointClouds,”ACM Trans.Graph.vol.29,no.151,pp.1C8,2010.)方法的对比，左上角是重建得到的点云，第一行中间的局部放大图和第二行左边的图是Livny2010方法的结果，第一行右边的局部放大图和第二行右边的图是本发明的结果。通过对比可以看出本发明的建模结果与原始的点云数据更为吻合，而且我们的树枝伸展更加自然合理。
上述实验结果和基于多视角图片的真实树木模型重建的方法，可以用于农林业测量、树木保护、数字娱乐及虚拟场景模拟等应用领域，具有较高的实际应用价值。
以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。
需要说明的是，本文中涉及到的流程图或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。
需要说明的是：附图中的标记和文字只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。
本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于多视角图像的过程式植物模型重建方法，其特征在于，包括以下步骤：
步骤S1、获取植物的采集图像集合，并进行预处理；所述采集图像集合中包括至少所述植物两个视角的拍摄图像；
步骤S2，基于采集图像集合中的图像，构建所述植物的三维点云数据；
步骤S3，将所述三维点云数据沿竖直方向投影形成投影点的聚类，选取距离该聚类重心点最近的点作为所述植物的第一根节点；
步骤S4，基于所述第一根节点，以及预先构建的所述植物对应植物类别的枝干结构生长参数表示模型，并采用所述三维点云数据约束植物生长，构建所述植物的三维树枝结构模型；
步骤S5，基于所述三维点云数据，对所述三维树枝结构模型进行特定树叶模型和/或花模型的添加；所述特定树叶模型为预先构建所述植物对应植物类别的树叶模型和/或花模型。
2.根据权利要求1所述的基于多视角图像的过程式植物模型重建方法，其特征在于，步骤S2中，在“构建所述植物的三维点云数据”之前包括基于颜色和几何一致性的稠密深度估计，其步骤包括：
步骤S211，基于颜色一致性对所述采集图像集合中图像序列进行初始深度估计；
步骤S212，采用彩色图像分割技术，通过几何相干的方法对所估计的初始深度进行优化。
3.根据权利要求2所述的基于多视角图像的过程式植物模型重建方法，其特征在于，步骤S211中“进行初始深度估计”的方法为：
通过两个相邻图像对应相机参数Ii、Ij之间的转换矩阵，确定Ii中的每个像素点p在Ij中对应的像素点；
Ii、Ij之间的转换矩阵为
其中，K是相机内参矩阵，R为相机旋转矩阵，C是相机的中心点，Ii、Ij分别表示为{Ki,Ri,Ci}和{Kj,Rj,Cj}，参数v＝-nTX，n为法向量，X为当前三维坐标。
4.根据权利要求3所述的基于多视角图像的过程式植物模型重建方法，其特征在于，步骤S212中“对所估计的初始深度进行优化”，其方法为：通过标准图割方法来最小化函数ε1(d,n)来确定图像中每个像素点的深度d，
其中，d为要计算得到的深度值，n为法向量，dp为代表对像素p可积分，τ为图像颜色一致性系数，λ为图像分割的重要度系数，Ωi为图像分割块，m(p,(d,n))为基于像素点p匹配损失的图片一致性，为在每个分块上的深度损失。
5.根据权利要求4所述的基于多视角图像的过程式植物模型重建方法，其特征在于，所述三维点云数据的构建方法包括：
步骤S221，结合图片一致性和几何相关约束，定义每个像素点给出深度似然性L(p,(di,ni))，
L(p,(di,ni))＝∑i′m(p,(di,ni))mv(p,p’,(di’,ni’))
其中，mv(p,p’,(di’,ni’))为作为约束条件的几何相关性，di为像素p在图像i上的深度值，ni为像素p在图像i上的法向量，i′为图像i的相邻图像，p’为p在图像i′上的对应像素，di’为pi的深度值，ni’为pi的法向量；
步骤S222，通过标准图割方法来最小化函数ε2(d,n)来对深度d进行再次计算，
其中，u(p)为一个指示函数。
6.根据权利要求1-5任一项所述的基于多视角图像的过程式植物模型重建方法，其特征在于，所述植物对应植物类别的枝干结构生长参数表示模型，其枝干结构生长参数信息包括植物高度、节间距长度、侧倾角、分枝角度、生长速率、半径系数。
7.根据权利要求1-5任一项所述的基于多视角图像的过程式植物模型重建方法，其特征在于，所述植物对应植物类别的枝干结构生长参数表示模型中，将所述枝干结构生长参数信息集成于一个基于规则的生长系统中，该系统包括四个基本规则：
(1)从一个根节点Seed(p,v)出发，将根节点设为未来主枝的顶芽A(p,v)；其中p为根节点位置坐标、v为其生长方向；
(2)在一次生长循环过程中，从顶芽生成一系列生长基元Metamer(p′,v′)；其中p′为新的生长基元的位置坐标，v′为新的生长基元的生长方向；
(3)每个生长基元的位置通过前一个生长基元的方向和长度计算获取，前一个生长基元的生长方向根据该生长基于与其母枝之间的侧倾角来计算；
(4)每个生长基元被包括一个节间距和一个侧芽，其中侧芽的生长方向由参数分枝角度来计算；新长出的侧芽做为顶芽，进行下一次的生长循环。
8.根据权利要求7所述的基于多视角图像的过程式植物模型重建方法，其特征在于，步骤S3中在计算所述聚类重心点之前，包括投影点的过滤，其方法为：
计算每个投影点的密度信息，根据预设的密度阈值去除密度低于所述密度阈值的点。
9.根据权利要求7所述的基于多视角图像的过程式植物模型重建方法，其特征在于，步骤S4“构建所述植物的三维树枝结构模型”中，
发芽点生长方向的计算方法如下
其中，为处于半径为di的锥形区域内的点与该发芽点之间的单位法向量；di为影响距离；
发芽点的生长距离通过Logistic生长方程计算。
10.根据权利要求7所述的基于多视角图像的过程式植物模型重建方法，其特征在于，所述特定树叶模型包括从天然树叶的照片获得的树叶纹理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811052482.XA CN109285217B (zh) | 2018-09-10 | 2018-09-10 | 基于多视角图像的过程式植物模型重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811052482.XA CN109285217B (zh) | 2018-09-10 | 2018-09-10 | 基于多视角图像的过程式植物模型重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109285217A true CN109285217A (zh) | 2019-01-29 |
| CN109285217B CN109285217B (zh) | 2021-01-29 |
Family
ID=65181164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811052482.XA Active CN109285217B (zh) | 2018-09-10 | 2018-09-10 | 基于多视角图像的过程式植物模型重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109285217B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109901553A (zh) * | 2019-03-13 | 2019-06-18 | 东北大学 | 基于多视角的异构工业大数据协同建模过程故障监测方法 |
| CN110443842A (zh) * | 2019-07-24 | 2019-11-12 | 大连理工大学 | 基于视角融合的深度图预测方法 |
| CN111402405A (zh) * | 2020-03-23 | 2020-07-10 | 北京工业大学 | 一种基于注意力机制的多视角图像三维重建方法 |
| CN111462301A (zh) * | 2020-03-05 | 2020-07-28 | 清华大学 | 用于多视图植物三维重建的生成模型的构建方法 |
| CN111524214A (zh) * | 2020-06-04 | 2020-08-11 | 广州西山居世游网络科技有限公司 | 一种植被生物群落的制作方法及装置 |
| CN111814303A (zh) * | 2020-05-28 | 2020-10-23 | 西南交通大学 | 一种植物根系力学模型构建方法、装置及电子设备 |
| CN113207212A (zh) * | 2021-04-22 | 2021-08-03 | 常州纺织服装职业技术学院 | 一种用于引导植物生长方向的照明控制方法和装置 |
| CN113689553A (zh) * | 2021-08-31 | 2021-11-23 | 济南大学 | 电力系统中输电塔的快速人机交互动态建模方法及系统 |
| CN113781431A (zh) * | 2021-09-10 | 2021-12-10 | 福州大学 | 基于城市点云数据的绿视率计算方法 |
| CN114332268A (zh) * | 2021-11-19 | 2022-04-12 | 青海师范大学 | 基于L-System的土族盘绣图案生成方法 |
| CN114897951A (zh) * | 2022-05-30 | 2022-08-12 | 中国测绘科学研究院 | 聚合多视角深度信息的单张光场影像深度估计方法及系统 |
| CN115937454A (zh) * | 2023-01-09 | 2023-04-07 | 航天宏图信息技术股份有限公司 | 一种在大规模城市场景中自动摆放树木模型的方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101051386A (zh) * | 2007-05-23 | 2007-10-10 | 北京航空航天大学 | 多幅深度图像的精确配准方法 |
| CN101639947A (zh) * | 2009-08-26 | 2010-02-03 | 北京农业信息技术研究中心 | 基于图像的植物三维形态测量与重建方法及系统 |
| CN101783016A (zh) * | 2009-12-16 | 2010-07-21 | 中国科学院自动化研究所 | 一种基于形状分析的树冠外形提取方法 |
| CN105405162A (zh) * | 2015-10-16 | 2016-03-16 | 北京师范大学 | 基于局部结构和方向感知的树点云三维重建方法 |
| CN106447762A (zh) * | 2015-08-07 | 2017-02-22 | 中国科学院深圳先进技术研究院 | 基于光场信息的三维重建方法及系统 |
| CN106791768A (zh) * | 2016-12-16 | 2017-05-31 | 浙江大学 | 一种基于图割优化的深度图帧率提升方法 |
-
2018
- 2018-09-10 CN CN201811052482.XA patent/CN109285217B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101051386A (zh) * | 2007-05-23 | 2007-10-10 | 北京航空航天大学 | 多幅深度图像的精确配准方法 |
| CN101639947A (zh) * | 2009-08-26 | 2010-02-03 | 北京农业信息技术研究中心 | 基于图像的植物三维形态测量与重建方法及系统 |
| CN101783016A (zh) * | 2009-12-16 | 2010-07-21 | 中国科学院自动化研究所 | 一种基于形状分析的树冠外形提取方法 |
| CN106447762A (zh) * | 2015-08-07 | 2017-02-22 | 中国科学院深圳先进技术研究院 | 基于光场信息的三维重建方法及系统 |
| CN105405162A (zh) * | 2015-10-16 | 2016-03-16 | 北京师范大学 | 基于局部结构和方向感知的树点云三维重建方法 |
| CN106791768A (zh) * | 2016-12-16 | 2017-05-31 | 浙江大学 | 一种基于图割优化的深度图帧率提升方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIANWEI GUO, ZHANGLIN CHENG, SHIBIAO XU, ETC: "Realistic Procedural Plant Modeling Guided by 3D Point Cloud", 《ACM SIGGRAPH》 * |
| 清楼小刘: "颜色一致性项", 《HTTPS://BLOG.CSDN.NET/QQ_33826977/ARTICLE/DETAILS/79816786》 * |
| 胡鹏程，郭焱，李保国，等: "基于多视角立体视觉的植株三维重建与精度评估", 《农业工程学报》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109901553A (zh) * | 2019-03-13 | 2019-06-18 | 东北大学 | 基于多视角的异构工业大数据协同建模过程故障监测方法 |
| CN110443842A (zh) * | 2019-07-24 | 2019-11-12 | 大连理工大学 | 基于视角融合的深度图预测方法 |
| CN111462301A (zh) * | 2020-03-05 | 2020-07-28 | 清华大学 | 用于多视图植物三维重建的生成模型的构建方法 |
| CN111462301B (zh) * | 2020-03-05 | 2022-10-28 | 清华大学 | 用于多视图植物三维重建的生成模型的构建方法 |
| CN111402405A (zh) * | 2020-03-23 | 2020-07-10 | 北京工业大学 | 一种基于注意力机制的多视角图像三维重建方法 |
| CN111814303B (zh) * | 2020-05-28 | 2022-09-30 | 成都理工大学 | 一种植物根系力学模型构建方法、装置及电子设备 |
| CN111814303A (zh) * | 2020-05-28 | 2020-10-23 | 西南交通大学 | 一种植物根系力学模型构建方法、装置及电子设备 |
| CN111524214A (zh) * | 2020-06-04 | 2020-08-11 | 广州西山居世游网络科技有限公司 | 一种植被生物群落的制作方法及装置 |
| CN111524214B (zh) * | 2020-06-04 | 2023-07-21 | 广州西山居网络科技有限公司 | 一种植被生物群落的制作方法及装置 |
| CN113207212A (zh) * | 2021-04-22 | 2021-08-03 | 常州纺织服装职业技术学院 | 一种用于引导植物生长方向的照明控制方法和装置 |
| CN113689553A (zh) * | 2021-08-31 | 2021-11-23 | 济南大学 | 电力系统中输电塔的快速人机交互动态建模方法及系统 |
| CN113689553B (zh) * | 2021-08-31 | 2024-03-01 | 济南大学 | 电力系统中输电塔的快速人机交互动态建模方法及系统 |
| CN113781431A (zh) * | 2021-09-10 | 2021-12-10 | 福州大学 | 基于城市点云数据的绿视率计算方法 |
| CN113781431B (zh) * | 2021-09-10 | 2023-09-29 | 福州大学 | 基于城市点云数据的绿视率计算方法 |
| CN114332268A (zh) * | 2021-11-19 | 2022-04-12 | 青海师范大学 | 基于L-System的土族盘绣图案生成方法 |
| CN114897951A (zh) * | 2022-05-30 | 2022-08-12 | 中国测绘科学研究院 | 聚合多视角深度信息的单张光场影像深度估计方法及系统 |
| CN114897951B (zh) * | 2022-05-30 | 2023-02-28 | 中国测绘科学研究院 | 聚合多视角深度信息的单张光场影像深度估计方法及系统 |
| CN115937454A (zh) * | 2023-01-09 | 2023-04-07 | 航天宏图信息技术股份有限公司 | 一种在大规模城市场景中自动摆放树木模型的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109285217B (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109285217B (zh) | 基于多视角图像的过程式植物模型重建方法 | |
| Guo et al. | Realistic procedural plant modeling from multiple view images | |
| Hu et al. | Efficient tree modeling from airborne LiDAR point clouds | |
| Livny et al. | Automatic reconstruction of tree skeletal structures from point clouds | |
| Jalba et al. | Surface and curve skeletonization of large 3D models on the GPU | |
| Zhang et al. | Data-driven synthetic modeling of trees | |
| Isokane et al. | Probabilistic plant modeling via multi-view image-to-image translation | |
| WO2015149302A1 (zh) | 基于点云与数据驱动的树木模型重建方法 | |
| Xie et al. | Tree modeling with real tree-parts examples | |
| Hu et al. | Capturing braided hairstyles | |
| CN111583408B (zh) | 基于手绘草图的人体三维建模系统 | |
| Liu et al. | Single image tree reconstruction via adversarial network | |
| Lopez et al. | Modeling complex unfoliaged trees from a sparse set of images | |
| Li et al. | A single view leaf reconstruction method based on the fusion of ResNet and differentiable render in plant growth digital twin system | |
| Wan et al. | Variational surface reconstruction based on delaunay triangulation and graph cut | |
| Kang et al. | Image-based modeling of plants and trees | |
| CN110660132A (zh) | 一种三维模型构建方法及其装置 | |
| Elyan et al. | Reconstruction of 3D human facial images using partial differential equations. | |
| Guénard et al. | Reconstructing plants in 3D from a single image using analysis-by-synthesis | |
| Gong | Application and Practice of Artificial Intelligence Technology in Interior Design | |
| CN115375839A (zh) | 一种基于深度学习的多视角头发建模方法及系统 | |
| Ma et al. | Modeling plants with sensor data | |
| Chaudhry et al. | Modelling and Simulation of Lily flowers using PDE Surfaces | |
| Lopez et al. | Robust image-based 3-d modeling of root architecture | |
| Chaudhury et al. | Geometry reconstruction of plants |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |