CN106355642B

CN106355642B - 一种基于深度图的绿色叶子的三维重建方法

Info

Publication number: CN106355642B
Application number: CN201610784097.9A
Authority: CN
Inventors: 盛斌; 孔博源
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2019-04-02
Anticipated expiration: 2036-08-31
Also published as: CN106355642A

Abstract

本发明涉及一种基于深度图的绿色叶子的三维重建方法，用于根据叶子的颜色图和低质量的深度图对绿色叶子进行三维重建，所述方法包括下列步骤：获取颜色图中的绿色部分；去除得到的颜色图中的绿色部分的背景色的干扰；利用深度图中的深度信息对去除背景色干扰的颜色图进行优化，得到优化后的颜色图；利用优化后的颜色图对叶子的深度图进行优化；根据优化后的深度图和颜色图对叶子进行三维重建。与现有技术相比，本发明建模效果好、所需额外信息少、手段简便以及运算量小等优点。

Description

一种基于深度图的绿色叶子的三维重建方法

技术领域

本发明涉及深度恢复和三维重建领域，尤其是涉及一种基于深度图的绿色叶子的三维重建方法。

背景技术

深度恢复是计算机图形学里面的重要内容，在三维重建、手势识别、信息采样记录等方面有着极其广泛的应用。目前经典的深度恢复主要分为两类：基于无深度信息图片的深度恢复和对已有的不精确的深度图的深度优化。

在第一类深度恢复方法中，最传统经典的方法是立体成像(stereo imaging)。其原理主要是基于摄像机成像的几何模型，利用多张已经拍摄好的图片，来计算出摄像头的参数，再进行矫正变换，然后对多张图进行图像匹配，最后利用重投影生成深度图。

在第二类深度恢复方法中，来自天津大学的杨敬钰教授发表了论文“Color-Guided Depth Recovery From RGB-D Data Using an Adaptive AutoregressiveModel”，论文中提出了一种基于已有深度图利用颜色信息和深度信息相结合的深度优化方法。

对绿色植物尤其是叶子、草等对深度信息敏感的物体来说，第一类深度恢复方法难度很大，而且精度不高。第二类深度恢复方法又需要精度较高的深度图，所需成本较高且不易实现。

发明内容

本发明的目的是针对上述问题提供一种基于深度图的绿色叶子的三维重建方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度图的绿色叶子的三维重建方法，用于根据叶子的颜色图和低质量的深度图对绿色叶子进行三维重建，所述方法包括下列步骤：

1)获取颜色图中的绿色部分；

2)去除步骤1)中得到的颜色图中的绿色部分的背景色的干扰；

3)利用深度图中的深度信息对步骤2)中去除背景色干扰的颜色图进行优化，得到优化后的颜色图；

4)利用优化后的颜色图对叶子的深度图进行优化；

5)根据优化后的深度图和颜色图对叶子进行三维重建。

所述步骤1)具体为：

11)定义RGB颜色空间内，绿色G通道的值大于R通道和B通道的值；

12)遍历颜色图中的所有像素，获得颜色图中的绿色部分。

所述去除背景色的干扰的方法包括对颜色图进行腐蚀和对颜色图进行膨胀。

所述步骤3)具体为：

31)识别步骤2)中去除背景色干扰的叶子的颜色图中已识别出的像素点周围的像素点；

32)判断该像素点的深度信息和原像素的深度信息的差是否小于阈值，若是则进入步骤33)，若否则舍弃该像素点；

33)将该像素点作为叶子的一个像素点添加到叶子的颜色图中，并将该像素点作为已识别出的像素点；

34)判断是否遍历了全部的已识别出的像素点，若是则结束识别，得到优化后的颜色图，若否则返回步骤31)。

所述步骤4)具体为：

41)提取深度图中叶子周围的深度信息，丢弃背景及其他深度信息；

42)将叶子优化后的颜色图上的每一个像素点作为窗口中心，建立窗口；

43)对于步骤42)中的每一个像素点，利用AR模型的变形优化该像素点的深度信息，得到优化的深度图。

所述窗口的大小为31×31。

所述步骤5)具体为：

51)根据叶子的颜色信息和与颜色信息对应的优化后的深度图，建立叶子的点云模型；

52)根据叶子的点云模型对叶子进行三维重建。

与现有技术相比，本发明具有以下有益效果：

(1)根据叶子的颜色信息和已有的深度图来对叶子的深度信息进行优化，进而可以实现对叶子的三维重建，在深度图精度有限的情况也可以实现叶子的三维重建。

(2)由于本发明对于深度图的精度要求不高，因此本发明的适用范围广且所耗成本低，便于实现和推广。

(3)获取颜色图中的绿色部分的过程中，定义G通道的值大于R通道和B通道的值，这种定义方式对绿色的提取效果较好，且能更加符合人眼识别的结果。

(4)在优化叶子的颜色信息的过程中，采用了递归的方法识别叶子颜色图中的像素点，整个过程中对非叶子部分的像素点的考察很少，一般情况不大于本身叶子部分的二分之一，因此识别速度快，提升了整体建模的速度。

(5)对深度图进行优化过程中，首先丢弃了背景及其他深度信息，这些信息对于优化深度图是没有用处的，丢弃这些信息可以减小计算量。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明提供了一种基于深度图的绿色叶子的三维重建方法，用于根据叶子的颜色图和低质量的深度图对绿色叶子进行三维重建，该方法包括下列步骤：

1)获取颜色图中的绿色部分；

2)去除步骤1)中得到的颜色图中的绿色部分的背景色的干扰；

4)利用优化后的颜色图对叶子的深度图进行优化；

5)根据优化后的深度图和颜色图对叶子进行三维重建。

上述方法的具体步骤为：

第一步、获取拍摄所得颜色图的绿色部分。这个步骤获得颜色图的所有绿色部分，遍历图中所有像素获得绿色部分，并保存。这里图像的颜色空间RGB,绿色定义为G通道的值大于R通道以及B通道的值。这种定义对绿色的提取有较好的效果，能很好的符合人眼识别的结果

第二步、去除背景中的噪音颜色。由于在现实情况下，拍摄场景中除了叶子还有其他绿色部分，因此在这个步骤中需要将这些背景的噪声去除，通过对颜色图片进行腐蚀和膨胀，可以去除大多数背景的噪声。

第三步、根据深度信息优化叶子的颜色信息，由于叶子本身并不完全只是由绿色成分构成，实际上，大部分叶子都会有非绿色成分，并且拍摄环境中的光照条件也会使得原本为绿色的部分在颜色图中转变为非绿色部分，单纯的用叶子的颜色来恢复叶子是不够的，所有在本步骤中采用深度图进一步完善叶子深度。

首先先识别第二步识别出来的叶子，对于每一片叶子上已经识别出来的像素点，考察该像素点周围的像素，如果该像素的深度信息和原像素的深度信息的小于一定的阈值，则将其作为叶子的一个像素点添加得到叶子的颜色信息中，并在之后检查时，检查添加进去的像素点，考察方法不变。这个过程采用里递归的方法，整个过程中对非叶子部分的像素点的考察十分少，一般情况下不会大于本身叶子部分的二分之一，因此这个过程可以很快的进行

第四步、根据叶子的轮廓颜色信息优化深度图。在实验过程中我们采用的是realsense camera，该摄像头获得的深度图尺寸为640X480，且深度图有很多缺失信息，由于深度信息的不准确，对后面叶子的建模会有较大影响。因此在本步骤中对深度图进行优化。

首先先对深度图进行预处理：提取出深度图中叶子周围的深度信息，并丢弃背景及其他深度信息，由于优化叶子的深度信息时，背景及其他深度信息是无用信息，因此丢弃这部分深度信息可以减小计算量。

其次对每一个叶子上的每一个像素点取一个31X31的窗口，该像素点为窗口中心，对于该像素点用AR模型的变形对其深度信息进行优化。

AR模型为对于原始深度图D⁰，求深度图D使得

其中

在这里，我们使用的的AR模型基于颜色，其中a_x,y是关于颜色的反函数分布。

反函数的形式为由于该反函数的特地，使得颜色相近的权值较大，在实际操作中有较好的效果，对于零点的处理，我们使得当x＝0时，权值的比重相对其他最大。

最后，对上述优化过程进行循环，使得最终的深度图有更好的效果。

第五步、基于以上的步骤，对叶子的信息进行提取，对于与每个颜色信息，我们对于提取相对的深度信息，最终可以得到叶子的一个点云模型。在此基础上可以对叶子模型进行操作，比如轮廓提取。

根据上述步骤，对于收集到的叶子颜色图和深度图进行测试，其中颜色图的尺寸为1920×1080，最终显示叶子建模效果较好，全局深度图恢复效果也较好。

Claims

1.一种基于深度图的绿色叶子的三维重建方法，用于根据叶子的颜色图和低质量的深度图对绿色叶子进行三维重建，其特征在于，所述方法包括下列步骤：

1)获取颜色图中的绿色部分，

2)去除步骤1)中得到的颜色图中的绿色部分的背景色的干扰，

3)利用深度图中的深度信息对步骤2)中去除背景色干扰的颜色图进行优化，得到优化后的颜色图，

4)利用优化后的颜色图对叶子的深度图进行优化，

5)根据优化后的深度图和颜色图对叶子进行三维重建；

所述步骤3)具体为：

31)识别步骤2)中去除背景色干扰的叶子的颜色图中已识别出的像素点周围的像素点，

32)判断该像素点的深度信息和原像素的深度信息的差是否小于阈值，若是则进入步骤33)，若否则舍弃该像素点，

33)将该像素点作为叶子的一个像素点添加到叶子的颜色图中，并将该像素点作为已识别出的像素点，

34)判断是否遍历了全部的已识别出的像素点，若是则结束识别，得到优化后的颜色图，若否则返回步骤31)；

所述步骤4)具体为：

41)提取深度图中叶子周围的深度信息，丢弃背景及其他深度信息，

42)将叶子优化后的颜色图上的每一个像素点作为窗口中心，建立窗口，

43)对于步骤42)中的每一个像素点，利用AR模型的变形优化该像素点的深度信息，得到优化的深度图；

所述窗口的大小为31×31；

所述步骤5)具体为：

51)根据叶子的颜色信息和与颜色信息对应的优化后的深度图，建立叶子的点云模型，

52)根据叶子的点云模型对叶子进行三维重建。

2.根据权利要求1所述的基于深度图的绿色叶子的三维重建方法，其特征在于，所述步骤1)具体为：

12)遍历颜色图中的所有像素，获得颜色图中的绿色部分。

3.根据权利要求1所述的基于深度图的绿色叶子的三维重建方法，其特征在于，所述去除背景色的干扰的方法包括对颜色图进行腐蚀和对颜色图进行膨胀。