CN103077559B - 基于序列图像的果穗三维重建方法 - Google Patents

Abstract

本发明提供了一种基于序列图像的果穗三维重建方法，方法包括：S1、获取预定数目的果穗图像，并对所述果穗图像进行预处理，得到果穗外轮廓图像，所述果穗图像携带三维果穗信息；S2、对所述果穗外轮廓图像进行校正；S3、根据校正后的所述果穗外轮廓图像，获得所述果穗的轮廓图像，建立轮廓点三维坐标系；S4、对轮廓点集进行插值或采样，建立所述果穗的三维表面网格模型；S5、根据所述果穗三维表面网格模型，计算所述果穗的表面积和体积，并根据所述果穗图像携带的三维果穗信息，建立三维果穗模型。通过上述方法，基于序列图像快速恢复出果穗的三维表面网格模型，进而计算出精确的果穗性状指标，并建立了具有真实效果的三维果穗模型。

Description

基于序列图像的果穗三维重建方法

技术领域

本发明涉及计算机图像处理技术领域，特别涉及一种基于序列图像的果穗三维重建方法。

背景技术

随着农业信息化技术的快速发展，农产品的三维数字化受到广泛重视。应用三维造型技术建立农产品的三维可视化模型，不仅有利于农业科研人员进行品种观察和分析，而且有利于农业产品的推广与虚拟展示，促进现代农业向定量化、可视化方向发展。

基于图像的三维重建，是虚拟现实的重要研究方向之一，它利用相机从不同角度拍摄图像，结合相机内外参数重建出拍摄物体的三维模型。该方法数据获取方便，具有成本低、自动化程度高的特点。

三维重建得到的模型，可用于计算常规方法难以直接测定的物体形态结构指标参数，比如物体表面积、体积以及物体上任意特征位置的空间距离等。进行纹理贴图后的三维模型，具有较强真实感，可用于虚拟展示和三维动画制作。

果穗三维重建，包括手工测量果穗形态参数进行重建、使用三维激光扫描仪得到果穗表面点云进行表面重建和通过拍摄多张果穗图像进行三维重建等方法。第一种方法采用手工测量果穗三维结构形态，存在获取的数据点集有限、物体表面坐标精度较差、纹理图像与三维果穗模型难以吻合等问题，仅适合非常简单的果穗三维重建；第二种方法可以获得果穗表面的精确三维点云，但缺点是难以直接得到果穗表面的颜色纹理属性，并且操作复杂，得到的点云数据庞大，需要大量后期处理工作。相较而言，基于图像的果穗三维重建，数据获取简单方便，获取的果穗图像不仅包含了果穗和籽粒的形态结构，也包含了果穗的颜色纹理属性，由于目前没有基于序列图像的果穗三维重建方法，因此上述方法为果穗三维重建、定量计算和可视化提供了数据基础。

发明内容

（一）解决的技术问题

本发明解决的技术问题是提出一种基于序列图像的果穗三维重建方法，使得果穗的三维重建更简单、真实。

（二）技术方案

本发明提出了一种基于序列图像的果穗三维重建方法，所述方法包括：

S1、获取预定数目的果穗图像，并对所述果穗图像进行预处理，得到果穗外轮廓图像，所述果穗图像携带三维果穗信息；

S2、对所述果穗外轮廓图像进行校正；

S3、根据校正后的所述果穗外轮廓图像，获得所述果穗的轮廓图像，并建立轮廓点三维坐标系；

S4、对轮廓点集进行插值或采样，建立所述果穗的三维表面网格模型；

S5、根据所述果穗三维表面网格模型，计算所述果穗的表面积和体积，并根据所述果穗图像携带的三维果穗信息，建立三维果穗模型。

优选地，步骤S1中所述获取果穗图像具体包括：

S11、将果穗固定在旋转轴预定点，利用相机在预定位置处拍摄果穗，得到第一张果穗图像；

S12、将果穗沿旋转轴旋转预定角度，利用相机在所述预定位置处拍摄果穗，得到第二张果穗图像；

S13、重复步骤S12，当获取到所述预定数目的所述果穗图像时结束。

优选地，所述预定数目至少为两张。

优选地，若所述预定数目为两张，则获取的所述果穗图像为两张正交图像；

若所述预定数目为大于等于三张，则获取的所述果穗图像中有两张为正交图像。

优选地，步骤S1中对所述果穗图像进行预处理具体包括：

S14、确定所述果穗图像的背景阈值；

S15、根据所述背景阈值确定所述果穗外轮廓图像。

优选地，步骤S2具体包括：

S21、计算所述果穗外轮廓图像的有向包围盒；

S22、根据所述有向包围盒建立所述果穗的局部坐标系；

S23、通过旋转使得所述果穗的中心轴垂直于水平线，并将所述果穗外轮廓图像中所述果穗的高度缩放为标准高度。

优选地，步骤S23中所述标准高度通过以下公式获得：

$H=\frac{H_1+H_2}{2}$

其中，H为标准高度；H₁为所述果穗与相机的距离为最小时所述果穗外轮廓图像上所述果穗的高度；H₂为在H₁时的所述果穗旋转180度后所述果穗外轮廓图像上所述果穗的高度；所述最小距离为当所述果穗围绕旋转轴旋转过程中所述果穗与相机的距离最小时的距离。

优选地，步骤S3具体包括：

S31、对校正后的所述果穗外轮廓图像提取果穗的轮廓，得到所述果穗的轮廓图像；

S32、将所述果穗的轮廓图像中的轮廓点分裂为左轮廓点集、右轮廓点集和中心点集；

S33、利用两张正交图像中所述果穗的中心点集确定所述果穗的三维中心轴；

S34、根据所述果穗图像的拍摄角度建立所述果穗的所述轮廓图像的轮廓点三维坐标系。

优选地，步骤S4具体包括：

S41、对所述果穗的所述轮廓图像的纵剖面轮廓进行插值或采样，得到纵剖面轮廓点集；

S42、对所述果穗的所述轮廓图像的横剖面轮廓进行插值或采样，得到横剖面轮廓点集；

S43、根据纵剖面轮廓点与横剖面轮廓点的对应关系，将轮廓点依次连接为三角形，得到三角化果穗三维表面网格模型。

（三）有益效果

本发明利用果穗的三维形状特征，基于序列图像恢复出果穗的三维中心轴，将所有图像上果穗轮廓标转为三维果穗的表面轮廓，再通过采样方法得到指定规模的果穗表面网格节点数，最后轮廓点相邻对应关系建立果穗表面网格模型，用于果穗性状计算和真实感显示。本发明提出的方法简单易用，可基于序列图像快速恢复出果穗的三维表面模型，进而计算传统方法难以精确测量的果穗性状指标；通过纹理贴图方式，建立的三维果穗模型具有真实的形态。

附图说明

图1为本发明方法流程图；

图2为本发明序列图像获取方法示意图；

图3为本发明根据正交图像的轮廓决定出果穗中心轴的示意图；

图4为本发明重建的轮廓点三维坐标示意图；

图5为本发明果穗表面轮廓点集；

图6为本发明三维果穗模型。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提出了一种基于序列图像的果穗三维重建方法，方法流程图如图1所示，本实施例以对玉米果穗的三维重建为例，所述方法包括：

S1、获取预定数目的果穗图像，并对所述果穗图像进行预处理，得到果穗外轮廓图像，所述果穗图像携带三维果穗信息；

S2、对所述果穗外轮廓图像进行校正；

S3、根据校正后的所述果穗外轮廓图像，获得所述果穗的轮廓图像，并建立轮廓点三维坐标系；

S4、对轮廓点集进行插值或采样，建立所述果穗的三维表面网格模型；

S5、根据所述果穗三维表面网格模型，计算所述果穗的表面积和体积，并根据所述果穗图像携带的三维果穗信息，建立三维果穗模型。

步骤S1中所述获取果穗图像具体包括：

S11、将果穗固定在旋转轴预定点，利用相机在预定位置处拍摄果穗，得到第一张果穗图像；

S12、将果穗沿旋转轴旋转预定角度，利用相机在所述预定位置处拍摄果穗，得到第二张果穗图像；

S13、重复步骤S12，当获取到所述预定数目的所述果穗图像时结束。

图像获取，是从指定角度拍摄正交果穗图像，拍摄方法如图2所示。其中，果穗固定在旋转轴O点，设其垂直方向为Z轴，过O点垂直于Z轴的平面确定X轴、Y轴；相机与O点距离为a，高度为b。图像拍摄角度是指从当前位置拍摄开始，将果穗沿旋转轴旋转预定角度后拍摄下一张图像。三维重建所需图像数量至少为2张，图像拍摄之间夹角尽量大。若所述预设数目为两张图像，即仅用两张图像进行果穗三维重建，则最佳拍摄角度是90度，即两张图像正交；若所述预定数目为大于等于三张，则获取的所述果穗图像中有两张为正交图像。

步骤S1中对所述果穗图像进行预处理具体包括：

S14、确定所述果穗图像的背景阈值；

S15、根据所述背景阈值确定所述果穗外轮廓图像。

图像预处理，是指首先将拍摄得到的果穗图像（该图像为RGB图像）转换为值域为[0，255]的灰度图像，进而确定所述果穗图像的背景阈值，然后结合运用形态学运算确定果穗的外轮廓，得到果穗外轮廓图像。

其中，背景阈值可使用最大类间方差方法计算得到，也可根据经验人工指定高于背景的强度值，该阈值用于确定果穗整体相对于背景的像素边界。

结合形态学运算建立果穗外轮廓，是首先利用背景阈值对灰度图像进行二值化运算，再使用膨胀操作填充果穗中孔洞，使用腐蚀操作删除孤岛和恢复果穗的外轮廓。形态学运算的结果是使图像中每个果穗区域具有唯一的外轮廓，即果穗外轮廓内部完全填充为默认标记值（255）。

步骤S2具体包括：

S21、计算所述果穗外轮廓图像的有向包围盒；其中，有向包围盒为最贴近果穗边界的长方形。

S22、根据所述有向包围盒建立所述果穗的局部坐标系；其中，果穗的局部坐标系，是以果穗的有向包围盒的长轴方向作为果穗的中心轴方向，即Z轴，以有向包围盒的一个短轴作为X轴，视为果穗径向，建立坐标系，其坐标系原点位于该短轴的中心点。

S23、通过旋转使得所述果穗的中心轴垂直于水平线，并将所述果穗外轮廓图像中所述果穗的高度缩放为标准高度；其中图像旋转具体为：首先计算Z轴与图像高度方向的夹角，然后将对应的果穗图像旋转该角度，使得果穗中心轴方向垂直于水平方向；图像缩放，指将图像上的果穗放大/缩小到标准高度。其中标准高度为H，是指图像中果穗进行轴向畸变纠正后的高度。标准高度的计算如图2所示，所述标准高度通过以下公式获得：

$H=\frac{H_1+H_2}{2}$

其中，H为标准高度；H₁为所述果穗与相机的距离为最小时所述果穗外轮廓图像上所述果穗的高度；H₂为在H₁时的所述果穗旋转180度后所述果穗外轮廓图像上所述果穗的高度；所述最小距离为当所述果穗围绕旋转轴旋转过程中所述果穗与相机的距离最小时的距离。

果穗图像放大/缩小到标准高度的简单方法是，是以果穗图像底部P4为基准，将果穗图像从高度为H1等比线性缩小到高度H，将高度为H2的果穗等比线性放大到高度H。其中等比线性缩放，是指按照高度缩放比例等比缩放整个果穗图像。

步骤S3具体包括：

S31、对校正后的所述果穗外轮廓图像提取果穗的轮廓，得到所述果穗的轮廓图像；

其中，提取果穗的轮廓是指提取出每张果穗外轮廓图像中果穗与背景之间的连续边界像素，使用传统目标轮廓生成方法得到。

S32、将所述果穗的轮廓图像中的轮廓点分裂为左轮廓点集、右轮廓点集和中心点集；

其中对于轮廓点分裂，是指首先从轮廓像素点中找到在Z轴坐标方向上的极值点，设为Zmin和Zmax；然后对位于极值范围内的每个Z轴坐标，从轮廓像素点中检索出具有该坐标值的所有像素Pixels(Z)，再从Pixels(Z)中确定出相距最远（图像宽度方向上距离最大）的两个像素，作为该Z轴坐标对应的果穗左右轮廓点，进而根据左右轮廓点集计算出对应果穗的中心点集。

S33、利用两张正交图像中所述果穗的中心点集确定所述果穗的三维中心轴；其中，设第一张图像中心点坐标为（X，0，Z），其对应的正交图像中心点坐标为（0，Y，Z），在每个Z轴位置，果穗三维中心轴的坐标（X，Y，Z）。如图3所示，图3显示了根据正交图像的轮廓决定出果穗中心轴的示意图，在两张正交图像上其果穗中心轴上点集重合。

S34、根据所述果穗图像的拍摄角度建立所述果穗的所述轮廓图像的轮廓点三维坐标系。

重建轮廓点三维坐标如图4所示，在每个Z轴坐标位置得到果穗的剖面图，其中图像C1对应的轮廓点分别为C11和C12，其正交图像C2上轮廓点为C21和C22，这些轮廓的坐标由果穗中心轴坐标O决定和修改；同理，所有其他输入图像的轮廓点，由每张果穗图像与第一张果穗图像的拍摄角度α决定。

修改坐标后的来自所有图像的轮廓点分布在果穗中心轴周围，因此，输入图像越多，拍摄角度越合理，得到的果穗三维轮廓表示的细节越丰富。

步骤S4具体包括：

S41、对所述果穗的所述轮廓图像的纵剖面轮廓进行插值或采样，得到纵剖面轮廓点集；

S42、对所述果穗的所述轮廓图像的横剖面轮廓进行插值或采样，得到横剖面轮廓点集；

S43、根据纵剖面轮廓点与横剖面轮廓点的对应关系，将轮廓点依次连接为三角形，得到三角化果穗三维表面网格模型。

在果穗Z轴的每个位置的横剖面上均得到一组轮廓点集，由于获取的果穗图像往往有限，根据建模精度要求对轮廓点集进行重新规划，即插值或者采样。其中，轮廓插值，是在给定的轮廓点基础上，新生成若干点，使得轮廓能够表达更加精细的模型；轮廓采样，是缩减轮廓点数量，以适应不需要精细建模的应用。

从所有获取的果穗图像中得到的果穗轮廓点可以分为两类：纵剖面轮廓和横剖面轮廓。其中纵剖面轮廓，是指直接从图像中得到的果穗沿果穗中心轴的纵剖面轮廓；横剖面轮廓，是指经过果穗中心轴、垂直于Z的果穗剖面轮廓。轮廓点规划分别在两类轮廓上进行，首先对纵剖面轮廓进行采样或者插值，生成新的纵剖面轮廓点集，其中左轮廓点、右轮廓点以及中心轴点数量相等；再进行横剖面轮廓点规划，对于每个中心轴节点，取得其横截面上所有已知轮廓点，进行采样或者插值，生成新的横剖面轮廓点集；基于最后得到的所有轮廓点集，重建出果穗三维表面网格模型。如图5所示，图5显示了重新规划后的果穗表面点集。

其中，为了使构建的果穗表面网格性状更好，要求获取的果穗图像为等角度拍摄，并且获取的果穗图像越多，越能满足果穗真实表面形状。

果穗表面三维重建，是根据果穗的每个横剖面轮廓点以及纵剖面轮廓点的对应关系，将轮廓点依次连接为三角形，最后得到完全三角化表示的果穗三维表面网格模型。其中每个横剖面轮廓节点与相邻横剖面轮廓节点，采用距离最近相连原则。

步骤S5具体包括：

重建后的果穗表面网格模型，可以计算出常规方法难以精确计算的果穗表面积和体积。其中果穗表面积等于模型中所有三角形面积之和；果穗体积计算，是在表面网格基础上利用推进波前法向内插入节点生成完全有四面体网格表示模型，通过累计所有四面体体积得到果穗体积。其中，推进波前法是一种基于表面三角网格通过内插节点生成四面体网格模型的方法。

获取的果穗图像不仅提供了三维果穗的形状信息，也提供了颜色纹理信息。获取的果穗图像均可作为果穗三维模型的表面纹理图像，图像的纹理坐标由指定网格在该图像上的投影决定。最后得到的果穗三维表面网格模型的纹理来自于不同果穗图像，使得重建出的三维玉米果穗具有较强真实感。如图6所示，使用不同纹理图像得到的三维果穗模型。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (3)

1.一种基于序列图像的果穗三维重建方法，其特征在于，所述方法包括：

S1、获取预定数目的果穗图像，并对所述果穗图像进行预处理，得到果穗外轮廓图像，所述果穗图像携带三维果穗信息；

S2、对所述果穗外轮廓图像进行校正；

S3、根据校正后的所述果穗外轮廓图像，获得所述果穗的轮廓图像，并建立轮廓点三维坐标系；

S4、对轮廓点集进行插值或采样，建立所述果穗的三维表面网格模型；

S5、根据所述果穗三维表面网格模型，计算所述果穗的表面积和体积，并根据所述果穗图像携带的三维果穗信息，建立三维果穗模型；

步骤S1中所述获取果穗图像具体包括：

S11、将果穗固定在旋转轴预定点，利用相机在预定位置处拍摄果穗，得到第一张果穗图像；

S12、将果穗沿旋转轴旋转预定角度，利用相机在所述预定位置处拍摄果穗，得到第二张果穗图像；

S13、重复步骤S12，当获取到所述预定数目的所述果穗图像时结束；

步骤S1中，若所述预定数目为两张，则获取的所述果穗图像为两张正交图像；若所述预定数目为大于等于三张，则获取的所述果穗图像中有两张为正交图像；

步骤S2具体包括：

S21、计算所述果穗外轮廓图像的有向包围盒；

S22、根据所述有向包围盒建立所述果穗的局部坐标系；

S23、通过旋转使得所述果穗的中心轴垂直于水平线，并将所述果穗外轮廓图像中所述果穗的高度缩放为标准高度；

步骤S23中所述标准高度通过以下公式获得：

$H=\frac{H_1+H_2}{2}$

其中，H为标准高度；H₁为所述果穗与相机为最小距离时所述果穗外轮廓图像上所述果穗的高度；H₂为在H₁时的所述果穗旋转180度后所述果穗外轮廓图像上所述果穗的高度；所述最小距离为当所述果穗围绕旋转轴旋转过程中所述果穗与相机的距离最小时的距离；

步骤S3具体包括：

S31、对校正后的所述果穗外轮廓图像提取果穗的轮廓，得到所述果穗的轮廓图像；

S32、将所述果穗的轮廓图像中的轮廓点集分裂为左轮廓点集、右轮廓点集和中心点集；

S33、利用两张正交图像中所述果穗的中心点集确定所述果穗的三维中心轴；

S34、根据所述果穗图像的拍摄角度建立所述果穗的所述轮廓图像的轮廓点三维坐标系；

步骤S4具体包括：

S41、对所述果穗的所述轮廓图像的纵剖面轮廓进行插值或采样，得到纵剖面轮廓点集；

S42、对所述果穗的所述轮廓图像的横剖面轮廓进行插值或采样，得到横剖面轮廓点集；

S43、根据纵剖面轮廓点与横剖面轮廓点的对应关系，将轮廓点依次连接为三角形，得到三角化果穗三维表面网格模型；

步骤S5中，果穗表面积等于所述果穗三维表面网格模型中所有三角形面积之和；果穗体积是在所述果穗三维表面网格模型的基础上利用推进波前法向内插入节点生成完全有四面体网格表示模型，并通过累计所有四面体体积得到的。

2.根据权利要求1所述的方法，其特征在于，所述预定数目至少为两张。

3.根据权利要求1所述的方法，其特征在于，步骤S1中对所述果穗图像进行预处理具体包括：

S14、确定所述果穗图像的背景阈值；

S15、根据所述背景阈值确定所述果穗外轮廓图像。