CN101706968B - 基于图像的果树枝干三维模型重建方法 - Google Patents

Abstract

本发明公开了一种基于图像的果树枝干三维模型重建方法，通过采集装置采集当前视野下果树枝干图像的颜色信息值和对应的空间位置坐标值；对果树枝干图像进行细线化处理、剪枝处理和树枝的线段化处理；对处理的图像进行多线段拟合减少建模数据，将果树枝干形态分解成若干具有单一形态的模块；对各单一形态的模块进行组合完成建模。本发明减少了建模中的大部分冗余数据，缩短建模时间，减少错误的发生，可根据实际需要调整模块的精度和模块之间连接关系以达到随时控制和调整模型的精确度，满足采摘机器人避障要求。

Description

基于图像的果树枝干三维模型重建方法

技术领域

本发明涉及三维模型重建的方法，特指一种基于模块化、使用图像处理技术和图形学原理对果树枝干进行三维模型快速精确重建的方法。

背景技术

农产品的采摘是一项劳动强度大、消耗时间长的作业，目前，已采用水果采摘机器人避开果树枝干摘取果实。由于果树个体形态千差万别，对水果采摘机器人要求预知果实和障碍物(主要为果树枝干)三维场景，建立障碍物三维信息库，实现真实到虚拟场景的映射，这就需要对果树枝干三维模型进行快速重建，为满足避障要求，所建模型必须具有准确的空间精度；为了能适应果园场景的不断变化，所建模型必须满足实时要求。

2009年8月熊壮等人的《动态三维树实时仿真设计与实现》基于SpeedTree几何与图像混合绘制技术的动态三维树木的建模、渲染设计及与3D引擎衔接的方案，为树木实时建模提供了全新的新的思路；但是该方法目的在于构建虚拟环境，而构造树木的依据并不是真实场景的特定树木，不存在空间位置精确性描述的要求。

申请号为200810101400.6，名称为“三维扫描仪及其三维模型重构方法”的专利，采用的技术方法是：设计一种光栅扫描设备，提出了多次采集数据进行拼接以得到三维模型的方法。这种方法的缺陷是：由于计算步骤复杂，无法实时生成目标场景，也不适合在自然场景使用。

申请号为200610050797.1，名称为“基于双相机的小型场景三维重建方法及其装置”的专利，采用的技术方法是：基于双相机的小型场景三维重建方法，这种方法的缺陷是：适合特殊场合，且无法提供快速、实时建模方法和手段。

从以上公知技术可知：现有技术无法为水果采摘机器人提供既可以精确建模，又可以实现实时映射的方法和手段，满足在自然场景下果实采摘实时避障要求。

发明内容

鉴于现有技术的不足，本发明旨在提供一种基于图像的果树枝干三维模型重建方法，可在自然场景下实现对果树枝干的快速、精确和实时映射。

本发明采用的技术方案是：

1)通过采集装置采集当前视野下果树枝干图像的颜色信息值和对应的空间位置坐标值；

2)对果树枝干图像进行细线化处理、剪枝处理和树枝的线段化处理；具体是：将果树枝干图像进行二值化处理，将经二值化处理后的图像转化为距离图像，进行细线化处理，将距离图像数据和细线化后图像数据结合得到果树枝干中心线距离值，再与采集得到的空间位置坐标值结合，得到中心线每一点空间坐标以及对应的果树枝干半径，对果树枝干分枝连接的节点进行分离处理，使其成为若干互不相连的枝条，将果树枝干枝条长度与枝条半径的比值设为阈值T1，根据阈值T1进行剪枝处理；剪枝处理的方法是：

①图像顺次扫描，找到细线化图的非0点，判断该点周围八邻域非0点个数n：n＞1继续扫描图像；n＝1，则设该点为初始点，设果树枝干坐标值及半径为{(x′，y′，z′)，R′}，扫描得到的八邻域中的非0点设为终点，记录这两点的图像位置及两点对应的半径(R′，R″)最大值R；

②对终点进行八邻域扫描，判断终点八邻域非0点个数n1：n1＝2，设扫描得到的新点为终点，记录该点的图像位置，并用该点对应的树干中心坐标及对应半径值更新{(x″，y″，z″)，R″}，重复进行步骤②；

③根据起始点和终点的坐标值求出起始点到终点距离d，若d＜T1×R，则将本次循环中记录的所有点置为0点，即执行剪枝处理；否则回到步骤①；

3)对处理的图像进行多线段拟合减少建模数据，将果树枝干形态分解成若干具有单一形态的模块；

4)对各单一形态的模块进行组合完成建模，建模方法为：

①从存储的数据中读取两空间点坐标值(x′，y′，z′)，(x″，y″，z″)及对应的果树枝干半径R′、R″，将原坐标置为齐次坐标，即数据变为{(x′，y′，z′，1)，R′，(x″，y″，z″，1)，R″}，求出R′和R″的最大值设为R，并求出这一组数据中的两点空间距离的值D；

②根据求等分点的公式，将所得的所有等分点数据经过变换矩阵处理，得到描述{(x′，y′，z′)，R′，(x″，y″，z″)，R″}所对应的果树枝干的圆柱体两端面圆的等分顶点坐标值；

③将得到的圆柱体等分点坐标值顶点数据按照三维模型存储格式存储，生成一个模块；

④判断图像处理的数据是否已经读取完毕，如果否，返回步骤①进行下一模块的建模直至完成。

本发明根据非结构化自然场景中果树复杂形态的特点，将果树结构分段简化形成基本模块，再进行拼接建模，这种模块化建模的最大优点就是减少建模中的大部分冗余数据，缩短建模时间，减少错误的发生，同时可以根据实际需要调整模块的精度和模块之间连接关系以达到随时控制和调整模型的精确度，满足采摘机器人避障要求。

附图说明

图1为本发明建模总流程图。

图2为只保留枝干的果树实体样例图。

图3为细线化后果树枝干图。

图4为断枝、短枝剪除处理流程图。

图5为多线段拟合图。

图6为多线段拟合流程图。

图7为模块化建模流程图。

图8为空间坐标系中模块P′P″经过绕x轴旋转φ角、绕y轴旋转θ角的变换示意图。

图9为最终建模结果图。

具体实施方式

本发明主要由硬件装置和软件系统组成，硬件装置由双目相机组成立体视觉系统作为采集装置，采集的果树枝干的图像信息包括当前视野下的颜色信息值(R，G，B)以及对应的空间位置坐标值(x，y，z)。软件系统分为两部分：一是图像处理部分，二是图形重建部分。基于水果采摘机器人避障要求，场景图像为果树，先将树枝和交叉的枝干通过图像的细线化处理、剪枝处理，再进行树枝的线段化处理，并进行线段多线段拟合减少建模数据，据此将复杂的果树形态分解成若干可控的具有单一形态的模块；最后在完成基本模块的建模后，对模块进行组合以完成建模。

在避障过程中树叶的柔软性不会损害机械手臂，一般不作为障碍物处理，因此采集数据信息后，可以根据树叶、树干的颜色差异将树叶去除，只保留如图2所示的枝干图像。流程如图1所示，提取枝干后的图像进行二值化处理，然后转化成距离图像，将距离图像数据和细线化后图像数据结合得到枝干中心线距离值，再与前期采集得到的空间位置坐标数据结合，得到中心线每一点空间坐标以及对应的枝干半径。为减少数据运算量，将枝干中心线剪除短枝去除赘点，得到可以表示树木拓扑结构的关键点坐标及对应半径。根据关键点坐标可以计算出圆柱体的高度以及空间变换矩阵，而半径信息可以得到圆柱体两端面圆的十二等分点坐标值，这两者结合可以得出模型顶点坐标值，对这些坐标值按照三维格式存储即可以得到完整树木枝干模型。

本发明具体步骤如下：

对树枝图像进行处理的具体方法为：

1)将由得到的图2图像进行二值化处理，背景设为0，枝干设为1；

2)将经二值化处理后的图像转化为距离图像，再进行细线化处理，处理结果如图3所示。记录细线化处理保留下来的每一像素点在距离图像中的距离值d。并根据每一对应的像素点坐标值求出单位像素所代表的实际距离m。设由采集装置得到的对应点的空间坐标为(x，y，z)，可以得到该点所对应的枝干中心坐标值为(x，y，z-md)，该处的枝干半径R＝md；即将距离图像中像素距离值d和比例系数m相乘，得到树枝实际半径。在模型纵向精度方向确定树木的拓扑结构。纵向精度定义为：建立的虚拟模型和树枝实际生长方式的拟合程度。得到的树木图像具有严密的拓扑结构，如果完全按照这种拓扑结构进行建模，所建立的模型固然真实，但是其建模时间必然增加，不能达到实时建模的目的。因此本发明对树木分枝连接的节点进行分离处理，使其成为若干互不相连的枝条。并通过设定阈值T1(T1＞2，T1的实际意义是树枝枝条长度与枝条半径的比值)，去除虚假短枝。T1取值越大，被剪的短枝越长，较长的短树枝就会被去掉，影响模型精度，本发明取T1＝4。当计算出枝干半径R后，设定T1×R为评判虚假短枝的阈值，进行断枝、短枝剪除处理，将与半径长度类似的短枝去除，具体方法如图4为：

①图像顺次扫描，找到细线化图的非0点，判断该点周围八邻域非0点个数n：n＞1继续扫描图像；n＝1，则设该点为初始点，设坐标值及半径为{(x′，y′，z′)，R′}，扫描得到的八邻域中的非0点设为终点，坐标值及半径为{(x″，y″，z″)，R″}，并且记录这两点的图像位置及两点对应的半径(R′，R″)最大值R；

②对终点进行八邻域扫描，并判断终点八邻域非0点个数n1：n1＝2，则设扫描得到的新点为终点，记录该点的图像位置，并用该点对应的树干中心坐标及对应半径值更新{(x″，y″，z″)，R″}，重复进行上述步骤②；

③根据起始点和终点的坐标值求出起始点到终点距离d，若d＜T1×R，则将本次循环中记录的所有点置为0点，即：执行剪枝处理；否则回到上述步骤①。

如图5，为保证建模精确性，建立评价函数，通过对已分段的各枝条进行多线段拟合，仅选择建模必要的空间点，将各枝条拆分成多个基本模块分别建模。模块化的处理使得建模具有通用性，可以大大提高建模速度。具体方法如图6所示为：

①图像顺次扫描，找到细线化图的非0点，判断8邻域中是否存在非0点：如果存在，记录8邻域中的非0点位置和个数，如果非0点个数大于2，则继续顺次扫描，如果非0点个数小于等于2，则作为枝干的起始点，并记录该处的坐标值和枝干半径(x′，y′，z′)和R′，起始点在图像的位置置为0；

②得到的像素点8邻域中，如果非0点个数不等于2，记录枝干数据{(x′，y′，z′)，R′，(x″，y″，z″)，R″}，并将该像素点置为0，回到上述步骤①；如果非0点个数为2则进行③；

③得到新的非0点位置后，将细线化图中(x″，y″，z″)标示的点置0，并将该坐标点标记为中间点，用新点位置坐标和半径更新(x″，y″，z″)和R″；

④确定起始点(x′，y′，z′)和终点(x″，y″，z″)两点在图像中所处位置，并确定由步骤③所得到的中间点位置，根据纵向精度的要求，设定阈值为T，根据点的位置值，判定每一中间点到起始点与终点连线的最远距离。如图5中，有一段起点为A终点为D的待拟合曲线AD。此时，曲线AB上点到线段AB最远距离为d1，曲线AC到线段AC最远距离为d2。当d1＜T时，扫描8邻域进行②，继续顺次扫描，并将扫描得到的新点替代原来终点，当更新的终点到C时，曲线AC上的点到线段AC最远距离d2＞T，结束扫描；将起点位置A用B点替代，重复上述过程，最终用线段AB和BD拟合曲线AD；否则进行步骤⑤；

⑤存储一组枝干数据{(x′，y′，z′)，R′，(x″，y″，z″)，R″}，如图5中记录A点和B点的空间坐标及对应半径作为一组数据；同理，存储B点和D点的空间坐标及对应半径作为下一组数据，进行上述步骤①，直至整幅图像扫描结束。

在完成图像顺次扫描后，可以得到所有的符合纵向精确度要求的枝干中心线两端点的空间坐标以及对应枝干的半径。

横向精度的定义为：棱柱的边数。在使用棱柱逼近圆柱时，棱柱的边数越多横向精确度越高。由于果树枝干一般为圆柱形，因此在经过图像处理得到半径和空间位置后，可以确定果树枝干的形状。根据横向精度的要求，在这里选用12棱柱进行建模。

建模步骤为如图7所示：

1)从存储的数据中读取一组数据，设为{(x′，y′，z′)，R′，(x″，y″，z″)，R″}，根据上文可以得知，{(x′，y′，z′)，R′，(x″，y″，z″)，R″}表示两空间点坐标值(x′，y′，z′)，(x″，y″，z″)及对应的树枝半径R′、R″，将原坐标置为齐次坐标，即数据变为{(x′，y′，z′，1)，R′，(x″，y″，z″，1)，R″}，求出R′和R″的最大值设为R，并求出这一组数据中的两点空间距离的值D(D为分段后树木枝干圆柱体的高度，即图5中线段AB和BD的空间距离)为：

$D=\sqrt{{(x^{\′}-x^{\′\′})}^2+{(y^{\′}-y^{\′\′})}^2+{(z^{\′}-z^{\′\′})}^2};$

2)根据求十二等分点的公式，圆柱起点端面圆的十二等分点P_n′分别为：

${P_n}^{\′}=(R\cos \left(\frac{5+n}{6}\right)\mathrm{\π},0,R\sin \left(\frac{5+n}{6}\right)\mathrm{\π},1)$

其中：n∈{1，2，3…，12}

圆柱终点端面圆的十二等分点P_n″分别为：

${P_n}^{\′\′}=(R\cos \left(\frac{5+n}{6}\right)\mathrm{\π},D,R\sin \left(\frac{5+n}{6}\right)\mathrm{\π},1)$

其中：n∈{1，2，3…，12}

3)将2)所得的所有等分点数据经过以下变换矩阵的处理：

$\left|\begin{array}{cccc}\cos \mathrm{\θ}& 0& \sin \mathrm{\θ}& 0\\ \sin \mathrm{\φ}\×\sin \mathrm{\θ}& \cos \mathrm{\φ}& -\sin \mathrm{\φ}\×\cos \mathrm{\θ}& 0\\ -\cos \mathrm{\φ}\×\sin \mathrm{\θ}& \sin \mathrm{\φ}& \cos \mathrm{\φ}\×\cos \mathrm{\θ}& 0\\ x^{\′}& y^{\′}& z^{\′}& 1\end{array}\right|$

其中：绕x轴旋转φ角，绕y轴旋转θ角，如图8所示为：

$\cos \mathrm{\θ}=\frac{x^{\′\′}-x^{\′}}{2R},$ $\sin \mathrm{\θ}=\frac{y^{\′}-y^{\′\′}}{2R}$

$\sin \mathrm{\φ}=\frac{{\left(\frac{x^{\′}+x^{\′\′}}{2}\right)}^2+{\left(\frac{y^{\′}+y^{\′\′}}{2}\right)}^2+{(\frac{z^{\′}+z^{\′\′}}{2}-R)}^2-\frac{D^2}{4}-R^2}{\mathrm{DR}},$

$\cos \mathrm{\φ}=\sqrt{1-{\sin }^2\mathrm{\φ}}$

即可以得到可以描述{(x′，y′，z′)，R′，(x″，y″，z″)，R″}所对应的枝干的圆柱体两端面圆的十二等分顶点坐标值。

4)根据建模的要求，将步骤3)得到的圆柱体十二等分点坐标值共二十四个顶点数据按照三维模型存储格式存储，生成一个模块，完成一组数据的建模，并判断图像处理的数据是否已经读取完毕，如果否，则返回步骤1)进行下一模块的建模；如果是，则已经完成建模，建模结果图见图9，图9为iv格式下所有模块组合的三维模型。

Claims (1)

1.一种基于图像的果树枝干三维模型重建方法，其特征是采用如下步骤：

1)通过采集装置采集当前视野下果树枝干图像的颜色信息值和对应的空间位置坐标值；

2)对果树枝干图像进行细线化处理、剪枝处理和树枝的线段化处理；具体是：将果树枝干图像进行二值化处理，将经二值化处理后的图像转化为距离图像，进行细线化处理，将距离图像数据和细线化后图像数据结合得到果树枝干中心线距离值，再与采集得到的空间位置坐标值结合，得到中心线每一点空间坐标以及对应的果树枝干半径，对果树枝干分枝连接的节点进行分离处理，使其成为若干互不相连的枝条，将果树枝干枝条长度与枝条半径的比值设为阈值T1，根据阈值T1进行剪枝处理；剪枝处理的方法是：

①图像顺次扫描，找到细线化图的非0点，判断该点周围八邻域非0点个数n：n＞1继续扫描图像；n＝1，则设该点为初始点，设果树枝干初始点坐标值及半径为{(x′，y′，z′)，R′}，扫描得到的八邻域中的非0点设为终点，终点坐标值及半径为{(x″，y″，z″)，R″}，记录这两点的图像位置及两点对应的半径(R′，R″)最大值R；

②对终点进行八邻域扫描，判断终点八邻域非0点个数n1：n1＝2，设扫描得到的新点为终点，记录该点的图像位置，并用该点对应的树干中心坐标及对应半径值更新{(x″，y″，z″)，R″}，重复进行步骤②；

③根据起始点和终点的坐标值求出起始点到终点距离d，若d＜T1×R，则将本次循环中记录的所有点置为0点，即执行剪枝处理；否则回到步骤①；

3)对处理的图像进行多线段拟合减少建模数据，将果树枝干形态分解成若干具有单一形态的模块；

4)对各单一形态的模块进行组合完成建模，建模方法为：

①从存储的数据中读取两空间点坐标值(x′，y′，z′)，(x″，y″，z″)及对应的果树枝干半径R′、R″，将原坐标置为齐次坐标，即数据变为{(x′，y′，z′，1)，R′，(x″，y″，z″，1)，R″}，求出R′和R″的最大值设为R，并求出这一组数据中的两点空间距离的值D；

②根据求等分点的公式，将所得的所有等分点数据经过变换矩阵处理，得到描述{(x′，y′，z′)，R′，(x″，y″，z″)，R″}所对应的果树枝干的圆柱体两端面圆的等分顶点坐标值；

③将得到的圆柱体等分点坐标值顶点数据按照三维模型存储格式存储，生成一个模块；

④判断图像处理的数据是否已经读取完毕，如果否，返回步骤①进行下一模块的建模直至完成。

Images