CN116051783A - 一种基于多视角的大豆植株三维重建与形状分析方法 - Google Patents

Abstract

本发明公开了一种基于多视角的大豆植株三维重建与形状分析方法，方法为：设计并搭建封闭式豆株立体扫描仪，拍摄指定角度的大豆植株图片得到豆株初始数据集；进行数据预处理得到优化数据集；采用SFM算法和MVS算法获取豆株稠密点云，通过点云分割算法提取豆株的株型结构数据，并使用泊松重建算法测量大豆叶的表型数据；基于豆株稠密点云及豆株株型结构数据，构建三维模型数据库及豆株特征数据库并提供API接口。本方法通过搭建封闭式豆株立体扫描仪拍摄多角度的大豆植株图片，采用SFM算法和MVS算法获取豆株稠密点云，再通过点云分割算法和泊松重建算法提取豆株的各体尺特征数据，并构建数据库，为大豆植株的种子培育及生长研究提供了可靠的数据支持。

Description

一种基于多视角的大豆植株三维重建与形状分析方法

技术领域

本发明属于三维图形重建及大豆植株分析的技术领域，具体涉及一种基于多视角的大豆植株三维重建与形状分析方法。

背景技术

尽管大豆品种的生产潜力受多方面因素的影响，但其中理想的株型结构(如株高、节数、叶柄长度及夹角、叶面积、朝向及叶子空间分布等)起着决定性作用，水稻、小麦和玉米等作物通过株型改良大幅度提高产量是成功的例子。随着人工成本增加、规模化标准化的高密度种植、以及对育种研发周期降低的实际需求，使得通过自动优化植株三维形态结构设计理想株型预测模型，以培育高产品种变得必要且迫切。为此，如何对大豆植株的三维形态结构、重要器官、器官之间的关联等内容精准建模与自动定量分析显得尤为重要，同时对大豆植株精准化管理、指导大豆分支设计育种等具有重要意义。

以往的植物形态信息主要依靠目测或者其他人工测量方法，存在主观性强、误差大、测量速度慢等不足。近年来，随着采集设备和深度学习的迅猛发展，各种粒度的三维植被建模任务，如大型树木的真实感重建、花草叶子重构、小型农作物生长模拟等取得了长足发展；植被三维重建作为机器视觉领域的一项关键任务，成为现实世界场景三维数字化不可或缺的一部分，长期以来受到学界和工业界广泛关注。

现有的植被三维重建方法包括基于模型重建、基于图像重建、基于激光扫描重建等方法。基于模型的重建方法主要是利用植物的主要器官特征形态变化和拓扑结构演变，提取出植株的生长过程规律，最终动态模拟植物结构形态变化的建模方法，但由于植物生长规则较为复杂，模拟植物生长规律获得的模型与实际难以一致，进而导致结果有所偏差；基于图像的重建方法基于二维图像获取图像的深度信息和点云，但是该方法耗时长，对于部分复杂性较高的植物也具有一定局限性；基于激光扫描的重建方法，通过主动发射激光来测量物体的外表信息，从而构建植物的三维模型，虽然这种方法重建精度较高，且不受光照的影响，但缺点也很明显，激光扫描耗时长，成本高，同时使用三维扫描仪专业性较强，不利于普及。

因此现有方法直接应用于大豆植株精准三维形态结构重建任务时仍存在着较大的不足，主要原因在于：与玉米、小麦等作物相比，大豆植株株型各异，茎干细小，冠层结构复杂，叶片密集，且器官之间存在遮挡，导致无论何种建模方法，都会存在信息断开和缺失，给完整建模带来极大挑战。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于多视角的大豆植株三维重建与形状分析方法，本方法通过搭建封闭式豆株立体扫描仪拍摄多角度的大豆植株图片，采用SFM算法和MVS算法获取豆株稠密点云，再通过点云分割算法和泊松重建算法提取豆株的各体尺特征数据，并构建数据库，为大豆植株的种子培育及生长研究提供了可靠的数据支持。

为了达到上述目的，本发明提供一种基于多视角的大豆植株三维重建与形状分析方法，包括下述步骤：

设计并搭建封闭式豆株立体扫描仪，拍摄指定角度的大豆植株图片并记录每张图片的角度，得到豆株初始数据集；

对豆株初始数据集进行数据预处理，得到优化数据集；

采用SFM算法和MVS算法进行三维重建，从优化数据集中获取豆株稠密点云，通过点云分割算法从豆株稠密点云中提取豆株的株型结构数据，并使用泊松重建算法测量大豆叶的表型数据；

基于豆株稠密点云及豆株的株型结果数据，构建三维模型数据库及豆株特征数据库，并提供API接口，用于数据下载及查询。

作为优选的技术方案，所述封闭式豆株立体扫描仪包括光度传感器、温湿度传感器、红外传感器、LED光源、雾化转置、旋转转盘、相机、遮光布、陀螺仪、可调相机支架、LED屏幕、转盘控制器、主控制器、扫描仪支架、无线传输模块及转盘支撑架；

所述主控制器包括电源输入、降压模块、单片机、光源控制电路、无线传输电路、屏幕控制电路、控制继电器、温湿度控制电路、光度控制电路、串口及交互按键；所述主控制器的单片机通过引脚分别与主控器的电源输入、降压模块、光源控制电路、无线传输电路、屏幕控制电路、控制继电器、温湿度控制电路、光度控制电路、串口及交互按键进行连接；所述主控制器的光源控制电路与LED光源进行连接；所述主控制器的屏幕控制电路与LED屏幕进行连接；所述主控制器的控制继电器分别与旋转转盘和雾化装置进行连接；所述主控制器的温湿度控制电路与温湿度传感器进行连接；所述主控制器的光度控制电路与光度传感器进行连接；所述主控制器的无线传输电路与无线传输模块进行连接；

所述转盘控制器包括电源输入、降压模块、单片机、无线传输电路、串口、红外控制电路、陀螺仪控制电路和一路继电器；所述转盘控制器的单片机通过引脚分别与转盘控制器的电源输入、降压模块、无线传输电路、串口、红外控制电路、陀螺仪控制电路和一路继电器进行连接；所述转盘控制器的红外控制电路与红外传感器进行连接；所述转盘控制器的陀螺仪控制电路与陀螺仪进行连接；所述转盘控制器的一路继电器与相机进行连接；所述转盘控制器的无线传输电路与无线模块进行连接；

所述主控制器置于扫描仪支架上；所述光度传感器、温湿度传感器、LED光源和雾化装置设置于扫描仪支架的顶部；所述相机可拆卸安装于可调相机支架上；所述旋转转盘固定安装于转盘支撑架上；所述主控制器通过无线传输模块与转盘控制器无线连接，进行通信；所述可调相机支架、LED屏幕、红外传感器、转盘控制器、陀螺仪和无线传输模块均置于旋转转盘上；所述遮光布覆盖于扫描仪支架上，用于遮蔽封闭式豆株立体扫描仪；

所述主控制器用于控制封闭式豆株立体扫描仪的开始与停止；

所述光度传感器用于检测封闭式豆株立体扫描仪内部的亮度；

所述温湿度传感器用于实时监测封闭式豆株立体扫描仪内部的温度和湿度；

所述LED光源用于调节封闭式豆株立体扫描仪内部的亮度；

所述雾化装置用于调节封闭式豆株立体扫描仪内部的温度和湿度；

所述主控制器的控制继电器用于控制旋转转盘和雾化装置；

所述交互按键通过无线传输模块控制旋转转盘复位和停止；

所述LED屏幕用于显示温度、湿度、亮度和陀螺仪信息；

所述红外传感器用于检测旋转转盘位置；

所述一路继电器用于控制旋转转盘和相机；

所述陀螺仪用于获取旋转转盘的偏航角姿态信息。

作为优选的技术方案，所述得到豆株初始数据集，具体为：

拍摄前，将大豆植株放置于旋转转盘上，打开主控制器开关，封闭式豆株立体扫描仪通过主控制器的单片机采集温湿度传感器信息来判断当前扫描环境的温度和湿度是否在豆株生长的适宜范围，若当前扫描环境温度或湿度超过豆株生长的适宜温湿度，则主控制器的单片机通过控制继电器来控制雾化装置来调节温度和湿度；若调节后检测到当前扫描环境的温度和湿度在适宜范围内，则控制雾化装置停止工作；

接着使用光度传感器来检测当前扫描环境的亮度，若当前扫描环境的亮度超过或低于豆株生长的适宜亮度范围时，主控制器的单片机通过光源控制电路来控制LED光源的亮度，使每次扫描环境的光照强度保持一致；

当扫描环境的湿度、温度和光度符合要求时，接通转盘控制器；

转盘控制器的一路继电器控制旋转转盘开始转动，若转盘控制器接收到主控制器的拍照指令，则转盘控制器的一路继电器使旋转转盘停止转动，再控制相机进行拍照，得到豆株初始数据集。

作为优选的技术方案，所述对豆株初始数据集进行数据预处理，得到优化数据集，具体为：

使用二阶的泰勒展开式描述优化数据集中豆株图像的径向畸变，表示为：

其中，是畸变矫正前的像素坐标，(x_c,y_c)表示在理想情况下无畸变时的像素坐标，k₁和k₂为径向畸变系数；

在考虑径向畸变情况下，由于定义的像素坐标系原点与图像坐标系原点不重合，假设像素坐标系原点在图像坐标系下的坐标为(u₀,v₀)，每个像素点在图像坐标系x轴、y轴方向的尺寸为：d_x、d_y，且像素点在实际图像坐标系下的坐标为于是可得到像素点在像素坐标系下的坐标为：

进一步转化为：

同理，在理想情况下即无径向畸变现象下，豆株图像中该点在矫正后像素坐标系下的坐标表示为：

其中，(u,v)表示在无畸变情况下该像素点在像素坐标系下的坐标；

将式(3)和式(4)带入式(1)，得到理想情况下与径向畸变情况下的对应关系，表示为：

对式(4)使用最小二乘法估计得到径向畸变系数k₁、k₂；

依据求取的径向畸变系数，对采集到的豆株初始数据集进行径向畸变的矫正，得到优化后的数据集：

其中，P^′表示豆株初始数据集中豆株图像的像素矩阵，P表示优化后的图像数据集。

作为优选的技术方案，所述采用SFM算法和MVS算法进行三维重建，从优化数据集中获取豆株稠密点云，具体为：

首先使用SFM算法来获取豆株的稀疏点云，包括：

①使用SIFT算法从优化数据集的每幅图像中检测特征点，获得特征点集；

②在特征点集中选择特征点匹配对数最多的相邻两幅图像作为初始图像对，利用RANSAC算法计算初始图像对的基础矩阵、相机参数和投影矩阵，重建已匹配特征点并进行集束调整；加入新的图像，将匹配质量高的图像连接起来，构建一个图像连接图；

③得到图像连接图之后选取初始两帧图像的一对视角进行重建，根据初始两帧图像获取Tracks并对Tracks滤波，通过三角量测来计算初始的三维点坐标，并进行捆绑调整优化当前的相机姿态和三维点坐标；所述视角选取时，要求初始两帧图像的匹配点足够多且基线足够长；

④得到优化的相机姿态和三维点坐标后，进行Tracks重建，利用PnP获取更多相机姿态，新建Tracks并对Tracks进行滤波，在添加新图像时进行捆绑调整优化，得到豆株稀疏点云；

接着使用MVS算法来获取豆株稠密点云，包括：

①为每一幅豆株稀疏点云选择邻域图像构成立体图像对，利用邻域图像来进行深度重建；

②计算每幅豆株稀疏点云的深度图，再进行深度图融合，获得豆株稠密点云。

作为优选的技术方案，所述采用SFM算法和MVS算法进行三维重建，从优化数据集中获取豆株稠密点云，具体为：

首先使用SFM算法来获取豆株的稀疏点云，包括：

①使用SIFT算法从优化数据集的每幅图像中检测特征点，获得特征点集；

②在特征点集中选择特征点匹配对数最多的相邻两幅图像作为初始图像对，利用RANSAC算法计算初始图像对的基础矩阵、相机参数和投影矩阵，重建已匹配特征点并进行集束调整；加入新的图像，将匹配质量高的图像连接起来，构建一个图像连接图；

③得到图像连接图之后选取初始两帧图像的一对视角进行重建，根据初始两帧图像获取Tracks并对Tracks滤波，通过三角量测来计算初始的三维点坐标，并进行捆绑调整优化当前的相机姿态和三维点坐标；所述视角选取时，要求初始两帧图像的匹配点足够多且基线足够长；

④得到优化的相机姿态和三维点坐标后，进行Tracks重建，利用PnP获取更多相机姿态，新建Tracks并对Tracks进行滤波，在添加新图像时进行捆绑调整优化，得到豆株稀疏点云；

接着使用MVS算法来获取豆株稠密点云，包括：

①为每一幅豆株稀疏点云选择邻域图像构成立体图像对，利用邻域图像来进行深度重建；

②计算每幅豆株稀疏点云的深度图，再进行深度图融合，获得豆株稠密点云。

作为优选的技术方案，所述利用RANSAC算法计算初始图像对的基础矩阵，具体为：

①从初始图像对中随机采取8对匹配点并且利用8点法来求解基础矩阵F；

②利用获得的基础矩阵来计算每对匹配点的误差，结合Sampson distance来判断匹配点是否是内点，公式为：

d(x₁,x₂)<τ  (5)

其中，(x₁,x₂)表示图像对中对应的匹配点，d(x₁,x₂)表示图像对的相似性，τ表示设定的阈值，F表示基础矩阵；

③重复上述步骤，获取内点最多的结果，并对其中的内点重新执行步骤②；

所述利用RANSAC算法计算初始图像对的相机参数，具体为：

①利用基础矩阵和本征矩阵之间的转换关系获得本征矩阵，并对本征矩阵进行分解得到奇异值矩阵后重构本征矩阵，公式为：

A＝Udiag(σ₁,σ₂,0)V^T  (8)

其中，E表示本征矩阵，K₁表示相机在某一视角下对应的空间坐标系，K₂表示相机在另一视角下对应的空间坐标系，A表示奇异值矩阵，U、V均表示正交矩阵，其中U是左奇异向量，是EE^T的特征向量，V是右奇异向量，是E^TE的特征向量，[σ₁,σ₂,0]^T为本征矩阵的奇异值；

②根据重构本征矩阵恢复相机的运动参数R、t，公式为：

t₁＝UZU^T R₁＝UWV^T  (10)

t₂＝-UZU^T R₂＝UWV^T  (11)

其中，Z为W为

③对t₁、t₂任意一个参数取负号进行求解，得到解集；

④在8对匹配点中，再随机代入一个点到解集中，得到相机的运动参数R、t；

所述利用RANSAC算法计算初始图像对的投影矩阵，具体为：

①根据特征匹配点的个数n，计算采样次数C(n,8)；

②随机采样一对图像，利用三角量测计算三维点坐标，具体为：

设第i个相机的投影矩阵为：

其中，P_i1、P_i2和P_i3均为1×4的向量，代表投影矩阵的一部分；此时，三维空间中三维点的齐次坐标为：

X＝[x,y,z,1]^T  (13)

其中，三维点在第i个视图中的坐标为：

x_i＝[x_i,y_i,1]^T  (14)

根据投影方程：

d_jx_i＝P_iX  (15)

式(15)两侧同时叉乘x_i，得：

x_i×(P_iX)＝0 (16)

即：

由于式(17)中第3个方程与前2个方程线性相关，即：

由上式(18)可知，一个点提供两个约束；己知在三维空间中，一个三维点有3个自由度，至少需要2对点；因此有：

将采样的一对图像代入式(19)中，得到的最小二乘意义下的最优解，即三维点坐标；

③将计算获得的三维点坐标投影到其他图像中，计算重投影误差，统计内点个数；

④重复②和③直到满足采样次数，选择内点数最多的三维点坐标；

⑤利用所有内点重新计算三维点坐标。

作为优选的技术方案，所述捆绑调整优化的目标函数为：

其中，n为三维点个数，m为相机数量，X_ij表示第i个三维点在第j台相机中是否可见，

表示第i个三维点在第j台相机中的观测点，u_ij表示第i个三维点在第j台相机中投影点，C_j表示第j台相机的参数，X_i表示第i个三维点的坐标；所述相机的参数包括焦距f_j、径向畸变系数、旋转矩阵R_j，平移向量t_j；

所述利用PnP获取更多相机姿态，具体为：

选取初始两幅图像，利用三角量测计算出三维点，设图像上的投影点坐标为

[u、v、1]^T，空间中计算出的三维点坐标为[X、Y、Z、1]^T；

根据计算出的三维点还原出其他图像对应的相机位姿，公式为：

其中，投影矩阵为

公式展开得：

变换得：

X^Tr₁-X^Tr₃u＝0

X^Tr₂-X^Tr₃v＝0

已知有N个特征点，列得方程为：

求解得到相机姿态R、t。

作为优选的技术方案，所述豆株的株型结构数据包括叶片的大小与形状、叶子的空间分布、枝干结构及叶片之间的重叠度；所述大豆叶的表型属性数据包括叶宽、叶长和叶片面积；

所述通过点云分割算法从豆株稠密点云中提取豆株的株型结构数据，具体为：

①基于局部拟合法计算输入的豆株稠密点云中各点的法向量及曲率值；

②按照曲率值大小对豆株稠密点云中各点进行排序，选取曲率值最小的点作为初始种子点加入到区域点集合；

③基于KD-Tree搜索种子点的k个邻域点，依次计算邻域点的法线与当前种子点的法线之间的夹角，若夹角小于设定的夹角阈值，则继续判断邻域点的曲率值是否小于设定的曲率阈值；

④若满足步骤③中的两个判断条件，则将该点加入当前区域点集合，并将该点从原始点云中去除；当余下的点云数据没有符合条件的点时，一个面区域划分完成；

⑤重复步骤②-④，将所有符合条件的点云数据进行划分，直至剩余点云个数小于设定的最小分割平面点数时停止；

所述使用泊松重建算法测量大豆叶的表型数据，具体为：

①采用泊松重建算法对单个叶片点云进行重建，得到水密性曲面；

②删除水密性曲面中的冗余网格，具体为：在水密性曲面顶点中搜索与豆株稠密点云距离最近的点，若距离小于距离阈值，则该点保留；若距离大于距离阈值，则删除该顶点，重建叶片的水密性曲面，并对叶片的水密性曲面边缘进行优化得到每个叶片的重建曲面；

③提取大豆叶的表型属性数据：从叶片重建曲面上拾取叶尖和叶基点，以叶基点所在的竖直方向构建其虚拟主茎；依次对叶片进行分割，构建矢状面和冠状面，寻找左右部分顶点到矢状面和上下部分顶点到冠状面距离最远的点，并将与叶基点同侧的到冠状面最远的点替换为叶基点，最后在叶片上搜索两点间最短路径并投影到矢状面和冠状面，从投影曲线计算得到叶宽和叶长；单个叶片的面积即为重建曲面中各个三角面片的面积之和。

作为优选的技术方案，所述获得豆株稠密点云后，对豆株稠密点云进行进一步的优化，具体为：

使用离群点滤波器和半径搜索滤波器对获得的豆株稠密点云中的噪声及离群点进行去除，得到最终豆株稠密点云。

作为优选的技术方案，所述三维模型数据库用于存储点云模型文件，并提供点云模型API接口，用于外部设备读取点云模型文件及在线查询；

所述豆株特征数据库用于存储豆株各体尺特征数据，并提供豆株数据API接口，用于外部设备读取豆株各体尺特征数据及在线查询；

所述豆株各体尺特征数据包括株型、株高、节数、叶柄位置、朝向、叶柄间夹角、叶柄与茎的夹角、叶片整体空间布局、大豆冠幅、叶倾角、叶长、叶宽、叶片面积、叶形状及叶片之间的重叠度。

本发明与现有技术相比，具有如下优点和有益效果：

1、与现有技术相比，本发明设计及搭建的封闭式豆株立体扫描仪具有智能化程度高、稳定性能好、占用体积小，不受时间空间限制的优点；封闭式豆株立体扫描仪采用全自动全封闭采集，不易受外界风场干扰；内置亮度传感器可调节光源，保证内部光源恒定，可实现全天不受限制拍摄；温湿度传感器检测环境温湿度，并通过雾化装置使内部达到豆苗适宜的环境，保证数据的准确有效；同时封闭式豆株立体扫描仪操作简单，采集数据时不需要研究人员进入扫描仪内部采集，减少了工作人员人为操作带来的误差。

2、与现有的技术相比，本发明考虑了相机径向畸变的影响，通过求解径向畸变数据来对采集的数据进行优化处理，减小了数据误差，提高了数据的准确性。

3、与现有技术相比，本发明对大豆植株三维重建的点云质量好、精确度高；通过SFM算法和MVS算法获取大豆植株的稠密点云，再利用离群点滤波器和半径搜索滤波器去除稠密点云中的离群点和噪声，优化获得高质量点云，显著提高了检测效率。

4、与现有技术相比，本发明通过定量分析获取大豆植株的各体尺特征数据，再构建数据库，存储点云模型文件及豆株各体尺特征数据，同时提供API接口，实现在线查询以及数据下载等功能，有利于数据共享，并为大豆植株的种子培育及生长发育研究提供了数据支撑。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于多视角的大豆植株三维重建与形状分析方法的整体流程图；

图2为本发明实施例中封闭式豆株立体扫描仪的结构示意图；

图3为本发明实施例中主控制器的PCB电路图；

图4为本发明实施例中主控制器中各部件的电路原理图；

图5为本发明实施例中转盘控制器的PCB电路图；

图6为本发明实施例中转盘控制器中各部件的电路原理图；

图7为本发明实施例中获取豆株稠密点云的流程图；

图8为本发明实施例中提取豆株的株型结构数据的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

如图1所示，本实施例一种基于多视角的大豆植株三维重建与形状分析方法，包括下述步骤：

S1、设计并搭建封闭式豆株立体扫描仪，拍摄指定角度的大豆植株图片并记录每张图片的角度，得到豆株初始数据集；

本发明采用自行研制的可调节光源全自动的封闭式豆株立体扫描仪进行拍摄时，要求处于完全封闭的拍摄环境中，排除自然风的干扰；通过内置LED光源调节光源，排除环境光源因素，保证拍摄光线恒定，减少外界光照影响，同时实现全天不受时间限制的数据采集，如图2所示，封闭式豆株立体扫描仪的结构包括光度传感器(1)、温湿度传感器(2)、LED光源(3)、雾化转置(4)、旋转转盘(5)、相机(6)、遮光布(7)、陀螺仪(8)、可调相机支架(9)、LED屏幕(10)、转盘控制器(11)、主控制器(12)、扫描仪支架(13)、无线传输模块(14)、红外传感器(15)及转盘支撑架(16)；

其中，如图3和图4所示，主控制器(12)包括电源输入(P1)、降压模块(S1、U2)、单片机(U1)、光源控制电路(U3、P3、P4)、无线传输电路(U4)、屏幕控制电路(U5)、控制继电器(P2)、温湿度控制电路(P6)、光度控制电路(P7)、串口(P5)及交互按键(K1～K6)；在主控制器中，单片机(U1)通过引脚分别与电源输入(P1)、降压模块(S1、U2)、光源控制电路(U3、P3、P4)、无线传输电路(U4)、屏幕控制电路(U5)、控制继电器(P2)、温湿度控制电路(P6)、光度控制电路(P7)、串口(P5)及交互按键(K1～K6)进行连接；光源控制电路(U3、P3、P4)与LED光源进行连接；屏幕控制电路(U5)与LED屏幕进行连接；控制继电器(P2)分别与旋转转盘和雾化装置进行连接；温湿度控制电路(P6)与温湿度传感器进行连接；光度控制电路(P7)与光度传感器进行连接；无线传输电路(U4)与无线传输模块进行连接。

如图5和图6所示，转盘控制器(11)包括电源输入(P8)、降压模块(S2、U7)、单片机(U6)、无线传输电路(U8)、串口(P9)、红外控制电路(P10)、陀螺仪控制电路(U9)和一路继电器(P11)；在转盘控制器中，单片机(U6)通过引脚分别与电源输入(P8)、降压模块(S2、U7)、无线传输电路(U8)、串口(P9)、红外控制电路(P10)、陀螺仪控制电路(U9)和一路继电器(P11)进行连接；红外控制电路(P10)与红外传感器进行连接；陀螺仪控制电路(U9)与陀螺仪进行连接；一路继电器(P11)与相机进行连接；无线传输电路(U8)与无线传输模块进行连接。

其中，主控制器(12)置于扫描仪支架上(13)；光度传感器(1)、温湿度传感器(2)、LED光源(3)和雾化装置(4)设置于扫描仪支架(13)的顶部；相机(6)可拆卸安装于可调相机支架(9)上；旋转转盘(5)固定安装于转盘支撑架(16)上；主控制器(12)通过无线传输模块(14)与转盘控制器(11)无线连接，进行通信；可调相机支架(9)、LED屏幕()、红外传感器(15)、转盘控制器(11)、陀螺仪(8)和无线传输模块(14)均置于旋转转盘上；遮光布(7)覆盖于扫描仪支架(13)上，用于遮蔽封闭式豆株立体扫描仪；主控制器(12)用于控制封闭式豆株立体扫描仪的开始与停止；光度传感器(1)用于检测封闭式豆株立体扫描仪内部的亮度；温湿度传感器(2)用于实时监测封闭式豆株立体扫描仪内部的温度和湿度；LED光源(3)用于调节封闭式豆株立体扫描仪内部的亮度；雾化装置(4)用于调节封闭式豆株立体扫描仪内部的温度和湿度；主控制器的控制继电器(P2)用于控制旋转转盘(5)和雾化装置(4)；交互按键(K1～K6)通过无线传输模块控制旋转转盘复位和停止；LED屏幕(10)用于显示温度、湿度、亮度和陀螺仪等信息；红外传感器(15)用于检测旋转转盘位置；一路继电器(P11)用于控制旋转转盘和相机；陀螺仪(8)用于获取旋转转盘的偏航角姿态信息。

本实施例中，主控制器的电源输入采用24V电源输入，降压模块将24V的电压降至5V，主控制器的单片机采用stm32f1c8t6单片机，主控制器的无线传输电路采用NRF24L101芯片，LED屏幕大小为1.3寸，光源控制电路采用A4950芯片；转盘控制器的电源输入采用12V直流电压作为输入，降压模块将12V的电压降至5V，转盘控制器的单片机也采用stm32f1c8t6单片机，转盘控制器的无线传输电路亦采用NRF24L101芯片，一路继电器采用220V三相异步交流电机，陀螺仪采用GY931陀螺仪来获取水平转角信息。

搭建好封闭式豆株立体扫描仪后使用其拍摄大豆植株图片，得到豆株初始数据集，具体步骤为：

拍摄前，将大豆植株放置于旋转转盘(5)上，启动主控制器，封闭式豆株立体扫描仪通过主控制器的单片机采集温湿度传感器(2)信息来判断当前扫描环境的温度和湿度是否在豆株生长的适宜范围，若当前扫描环境温度或湿度超过豆株生长的适宜温湿度，则主控制器的单片机通过控制继电器来控制雾化装置(4)来调节温度和湿度；若调节后检测到当前扫描环境的温度和湿度在适宜范围内，则控制雾化装置停止工作；

接着使用光度传感器(1)来检测当前扫描环境的亮度，若当前扫描环境的亮度超过或低于豆株生长的适宜亮度范围时，主控制器的单片机通过光源控制电路来控制LED光源(3)的亮度，使得扫描环境亮度保持一致；

当扫描环境的湿度、温度和光度符合要求时，接通转盘控制器(11)；

转盘控制器的一路继电器控制旋转转盘(5)开始转动，若转盘控制器接收到主控制器的拍照指令，则转盘控制器的一路继电器使旋转转盘停止转动，再控制相机进行拍照，得到豆株初始数据集。

S2、对豆株初始数据集进行数据预处理，得到优化数据集；

在实际的采集到的大豆植株图片过程中，会不可避免地形成透镜畸变，特别是径向畸变；径向畸变会使得图像中的直线变弯曲，并且越靠近图像边缘，畸变的程度越高；因此，需要计算其径向畸变系数来对相机采集到的数据进行预处理，减少实验误差，具体为：

使用二阶的泰勒展开式来描述优化数据集中豆株图像的径向畸变，表示为：

其中，是畸变矫正前的像素坐标，(x_c,y_c)表示在理想情况下无畸变时的像素坐标，k₁和k₂为径向畸变系数。

在考虑径向畸变情况下，由于定义的像素坐标系原点与图像坐标系原点不重合，假设像素坐标系原点在图像坐标系下的坐标为(u₀,v₀),每个像素点在图像坐标系x轴、y轴方向的尺寸为：d_x、d_y，且像点在实际图像坐标系下的坐标为于是可得到像点在像素坐标系下的坐标为：

再进一步转化为：

同理，在理想情况下即无径向畸变现象下，豆株图像中该点在矫正后像素坐标系下的坐标表示为：

其中，(u,v)表示在无畸变情况下该像素点在像素坐标系下的坐标；

将式(3)和式(4)带入式(1)，得到理想情况下与径向畸变情况下的对应关系，表示为：

对式(4)使用最小二乘法估计得到径向畸变系数k₁、k₂；

依据求取的径向畸变系数，对采集到的豆株初始数据集进行径向畸变的矫正，得到优化后的数据集：

其中，P′表示豆株初始数据集中豆株图像的像素矩阵，P表示优化后的图像数据集。

S3、采用SFM算法和MVS算法进行三维重建，从优化数据集中获取豆株稠密点云，通过点云分割算法从豆株稠密点云中提取豆株的株型结构数据，并使用泊松重建算法测量大豆叶的表型数据；

S31、得到优化数据集后，需要使用SFM算法和MVS算法获取豆株稠密点云，如图7所示，具体为：

S311、使用SIFT算法从优化数据集的每幅图像中检测特征点，获得特征点集；

S312、在特征点集中选择特征点匹配对数最多的相邻两幅图像作为初始图像对，利用RANSAC算法计算初始图像对的基础矩阵、相机参数和投影矩阵，重建已匹配特征点并进行集束调整；加入新的图像，将匹配质量高的图像连接起来，构建一个图像连接图；

其中，利用RANSAC算法计算初始图像对的基础矩阵，具体为：

①从初始图像对中随机采取8对匹配点并且利用8点法来求解基础矩阵F；

②利用获得的基础矩阵来计算每对匹配点的误差，结合Sampson distance来判断匹配点是否是内点，公式为：

d(x₁,x₂)<τ  (5)

其中，(x₁,x₂)表示图像对中对应的匹配点，d(x₁,x₂)表示图像对的相似性，τ表示设定的阈值，F表示基础矩阵；

③重复上述步骤，获取内点最多的结果，并对其中的内点重新执行步骤②。

利用RANSAC算法计算初始图像对的相机参数，具体为：

①利用基础矩阵和本征矩阵之间的转换关系获得本征矩阵，并对本征矩阵进行分解得到奇异值矩阵后重构本征矩阵，公式为：

A＝Udiag(σ₁,σ₂,0)V^T  (8)

其中，E表示本征矩阵，K₁表示相机在某一视角下对应的空间坐标系，K₂表示相机在另一视角下对应的空间坐标系，A表示奇异值矩阵，U、V均表示正交矩阵，其中U是左奇异向量，是EE^T的特征向量，V是右奇异向量，是E^TE的特征向量，[σ₁,σ₂,0]^T为本征矩阵的奇异值；

②根据重构本征矩阵恢复相机的运动参数R、t，公式为：

t₁＝UZU^T R₁＝UWV^T  (10)

t₂＝-UZU^T R₂＝UWV^T  (11)

其中，Z为W为

③对t₁、t₂任意一个参数取负号进行求解，得到解集；

④在8对匹配点中，再随机代入一个点到解集中，得到相机的运动参数R、t；

由于E和-E等价，所以对任意一个t取负号，也会得到同样的结果，一共存在4个可能的解，随机将一个点带入到四种解中，检测该点在两个拍摄角度下的深度，可得正确得解；

最后，需要计算初始图像对的投影矩阵；由于使用单目相机进行三维重建，仅仅是通过单张图像，无法获得二维图像中每一个像素的深度信息；在己知相机参数和图像中匹配点坐标的情况下，恢复出匹配点的三维坐标，则可以辅助求取图像的深度信息；利用RANSAC算法计算初始图像对的投影矩阵，具体为：

①根据特征匹配点的个数n，计算采样次数C(n,8)；

②随机采样一对图像，利用三角量测计算三维点坐标，具体为：

设第i个相机的投影矩阵为：

其中，P_i1、P_i2和P_i3均为1×4的向量，代表投影矩阵的一部分；此时，三维空间中的三维点的齐次坐标为：

X＝[x,y,z,1]^T  (13)

其中，三维点在第i个视图中的坐标为：

x_i＝[x_i,y_i,1]^T  (14)

在此基础上构建三角量测数学模型；在己知相机姿态和特征匹配点位置的情况下，可以获取到三维空间中的一道从相机发出的射线，射线上所有的三维点都投影到图像该点上；因此，获得该特征匹配点的前提是获得多张图像的匹配点和相机姿态，从而获得多个射线求得相交点；当然，这仅仅是理想情况下，现实中由于相机姿态和匹配的误差，往往多条射线不会相交于一点，这就需要寻找在有误差的情况下最优解：

根据投影方程：

d_jx_i＝P_iX  (15)

上式(15)两侧同时叉乘x_i，得：

x_i×(P_iX)＝0 (16)

即：

因为上式(17)中第3个方程与前2个方程线性相关，即：

由上式(18)可知，一个点提供两个约束；己知在三维空间中，一个三维点由3个自由度，至少需要2对点；因此有：

显然，上式是一个超定方程，也就是说，当获取的图像多于两对时，得到的是一个最小二乘意义下的最优解；当然，现实中由于存在外点的情况，最小二乘所获得的最优解会受到外点的影响而导致误差变大；将采样的一对图像代入式(19)中，得到的最小二乘意义下的最优解，即三维点坐标；

③将计算获得的三维点坐标投影到其他图像中，计算重投影误差，统计内点个数；

④重复②和③直到满足采样次数，选择内点数最多的三维点坐标；

⑤利用所有内点重新计算三维点坐标。

S313、得到图像连接图之后选取初始两帧图像的一对视角进行重建，根据初始两帧图像获取Tracks并对Tracks滤波，通过三角量测来计算初始的三维点坐标，并进行捆绑调整优化当前的相机姿态和三维点坐标；

选取视角是整个三维重建的基础，因此选择最初的两帧图像的视角有如下要求：初始两帧图像选择的匹配点足够多，一般要大于50；且基线足够长，三角量测的角度要多于5°，也就是说，所有匹配点三角量测角度的平均值要足够大；满足纯旋转的情况的匹配点足够少；成功三角化的匹配对要高于一定比例。

捆绑调整优化也简称为BA优化，实质上是对相机姿态和三维点进行一个整体的非线性优化，其数学模型和优化目标函数为：

其中，n为三维点个数，m为相机数量，X_ij表示第i个三维点在第j台相机中是否可见，表示第i个三维点在第j台相机中的观测点，u_ij表示第i个三维点在第j台相机中投影点，C_j表示第j台相机的参数，X_i表示第i个三维点的坐标；所述相机的参数包括焦距f_j、径向畸变系数、旋转矩阵R_j，平移向量t_j；这个问题是一个非凸优化问题，所以最终求解的值是一个局部最优解。

S314、得到优化的相机姿态和三维点坐标后，进行Tracks重建，利用PnP获取更多相机姿态，新建Tracks并对Tracks进行滤波，在添加新图像时进行捆绑调整优化，得到豆株稀疏点云；

PnP是为了求解3D点到2D点对运动，已知三维空间点和图像上空间点对应的投影位置，求解相机位姿的方法，具体为：

首先选取初始两幅图像利用三角量测还原出三维点，设图像上的投影点坐标为[u、v、1]^T，空间中计算出的三维点坐标为[X、Y、Z、1]^T；

再根据计算出的三维点还原出其他图像对应的相机位姿，公式为：

其中，投影矩阵为

公式展开得：

变换得：

X^Tr₁-X^Tr₃u＝0

X^Tr₂-X^Tr₃v＝0

已知有N个特征点，列得方程为：

由于投影方程一共有12个自由度，因为尺度不变性去掉一个自由度，仍然有11个自由度；因此，至少需要6对点来实现矩阵的线性求解；当匹配点多于6对时，也可使用SVD等方法来对超定方程求最小二乘解；获取到投影矩阵之后，使用QR分解获取K,R,t，得到相机姿态R、t。

接着就是使用MVS算法来获取豆株稠密点云：

S315、为每幅豆株稀疏点云选择邻域图像构成立体图像对，利用邻域图像来进行深度重建；

S316、计算每幅豆株稀疏点云的深度图，再进行深度图融合，获得豆株稠密点云。

在此过程中，会产生部分的噪声和离群点，因此要对豆株稠密点云进一步优化，去除噪声和离群点，运用离群点滤波器StatisticalOutlierRemoval和半径搜索滤波器RadiusOutlierRemoval两种方式，将离群点去除获得最终的豆株稠密点云。

S32、通过点云分割算法从豆株稠密点云中提取豆株的株型结构数据，并使用泊松重建算法测量大豆叶的表型数据；其中，豆株的株型结构数据包括叶片的大小与形状、叶子的空间分布、枝干结构及叶片之间的重叠度等；大豆叶子的表型数据包括叶宽、叶长和叶片面积等；

如图8所示，通过点云分割算法从豆株稠密点云中提取豆株的株型结构数据，具体为：

①基于局部拟合法计算输入的豆株稠密点云中各点的法向量及曲率值；

②按照曲率值大小对豆株稠密点云中各点进行排序，选取曲率值最小的点作为初始种子点加入到区域点集合；

③基于KD-Tree搜索种子点的k个邻域点，依次计算邻域点的法线与当前种子点的法线之间的夹角，若夹角小于设定的夹角阈值，则继续判断邻域点的曲率值是否小于设定的曲率阈值；

④若满足步骤③中的两个判断条件，则将该点加入当前区域点集合，并将该点从原始点云中去除；当余下的点云数据没有符合条件的点时，一个面区域划分完成；

⑤重复步骤②-④，将所有符合条件的点云数据进行划分，直至剩余点云个数小于设定的最小分割平面点数时停止。

接着使用泊松重建算法测量大豆叶的表型数据，具体为：

①采用泊松重建算法对单个叶片点云进行重建，得到水密性曲面；

②删除水密性曲面中的冗余网格，具体为：在水密性曲面顶点中搜索与豆株稠密点云距离最近的点，若距离小于距离阈值，则该点保留；若距离大于距离阈值，则删除该顶点，重建叶片的水密性曲面，并对边缘进行优化得到每个叶片的重建曲面；

③提取大豆叶的表型属性数据：从叶片重建曲面上拾取叶尖和叶基点，以叶基点所在的竖直方向(Z轴方向)构建其虚拟主茎；依次对叶片进行分割，构建矢状面和冠状面，寻找左右部分顶点到矢状面和上下部分顶点到冠状面距离最远的点，并将与叶基点同侧的到冠状面最远的点替换为叶基点，最后在叶片上搜索两点间最短路径并投影到矢状面和冠状面，从投影曲线计算得到叶宽和叶长；单个叶片的面积即为重建曲面中各个三角面片的面积之和。

S4、基于豆株稠密点云及豆株的株型结构数据，构建三维模型数据库及豆株特征数据库，并提供API接口，用于数据下载及查询。

其中，三维模型数据库用于存储点云模型文件，并提供点云模型API接口，用于外部设备读取点云模型文件及在线查询等；豆株特征数据库用于存储豆株各体尺特征数据，并提供豆株数据API接口，用于外部设备读取豆株各体尺特征数据及在线查询等；

获取点云模型文件后，自动测量大豆植株的特征，并分类得出大豆植株各体尺特征数据，包括但不限于株型、株高、节数、叶柄位置、朝向、叶柄间夹角、叶柄与茎的夹角、叶片整体空间布局、大豆冠幅、叶倾角、叶长、叶宽、叶片面积、叶形状及叶片之间的重叠度等。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于多视角的大豆植株三维重建与形状分析方法，其特征在于，包括下述步骤：

设计并搭建封闭式豆株立体扫描仪，拍摄指定角度的大豆植株图片并记录每张图片的角度，得到豆株初始数据集；

对豆株初始数据集进行数据预处理，得到优化数据集；

采用SFM算法和MVS算法进行三维重建，从优化数据集中获取豆株稠密点云，通过点云分割算法从豆株稠密点云中提取豆株的株型结构数据，并使用泊松重建算法测量大豆叶的表型数据；

基于豆株稠密点云及豆株的株型结果数据，构建三维模型数据库及豆株特征数据库，并提供API接口，用于数据下载及查询。

2.根据权利要求1所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述封闭式豆株立体扫描仪包括光度传感器、温湿度传感器、红外传感器、LED光源、雾化转置、旋转转盘、相机、遮光布、陀螺仪、可调相机支架、LED屏幕、转盘控制器、主控制器、扫描仪支架、无线传输模块、及转盘支撑架；

所述主控制器包括电源输入、降压模块、单片机、光源控制电路、无线传输电路、屏幕控制电路、控制继电器、温湿度控制电路、光度控制电路、串口及交互按键；所述主控制器的单片机通过引脚分别与主控器的电源输入、降压模块、光源控制电路、无线传输电路、屏幕控制电路、控制继电器、温湿度控制电路、光度控制电路、串口及交互按键进行连接；所述主控制器的光源控制电路与LED光源进行连接；所述主控制器的屏幕控制电路与LED屏幕进行连接；所述主控制器的控制继电器分别与旋转转盘和雾化装置进行连接；所述主控制器的温湿度控制电路与温湿度传感器进行连接；所述主控制器的光度控制电路与光度传感器进行连接；所述主控制器的无线传输电路与无线传输模块进行连接；

所述转盘控制器包括电源输入、降压模块、单片机、无线传输电路、串口、红外控制电路、陀螺仪控制电路和一路继电器；所述转盘控制器的单片机通过引脚分别与转盘控制器的电源输入、降压模块、无线传输电路、串口、红外控制电路、陀螺仪控制电路和一路继电器进行连接；所述转盘控制器的红外控制电路与红外传感器进行连接；所述转盘控制器的陀螺仪控制电路与陀螺仪进行连接；所述转盘控制器的一路继电器与相机进行连接；所述转盘控制器的无线传输电路与无线模块进行连接；

所述主控制器置于扫描仪支架上；所述光度传感器、温湿度传感器、LED光源和雾化装置设置于扫描仪支架的顶部；所述相机可拆卸安装于可调相机支架上；所述旋转转盘固定安装于转盘支撑架上；所述主控制器通过无线传输模块与转盘控制器无线连接，进行通信；所述可调相机支架、LED屏幕、红外传感器、转盘控制器、陀螺仪和无线传输模块均置于旋转转盘上；所述遮光布覆盖于扫描仪支架上，用于遮蔽封闭式豆株立体扫描仪；

所述主控制器用于控制封闭式豆株立体扫描仪的开始与停止；

所述光度传感器用于检测封闭式豆株立体扫描仪内部的亮度；

所述温湿度传感器用于实时监测封闭式豆株立体扫描仪内部的温度和湿度；

所述LED光源用于调节封闭式豆株立体扫描仪内部的亮度；

所述雾化装置用于调节封闭式豆株立体扫描仪内部的温度和湿度；

所述主控制器的控制继电器用于控制旋转转盘和雾化装置；

所述交互按键通过无线传输模块控制旋转转盘复位和停止；

所述LED屏幕用于显示温度、湿度、亮度和陀螺仪信息；

所述红外传感器用于检测旋转转盘位置；

所述一路继电器用于控制旋转转盘和相机；

所述陀螺仪用于获取旋转转盘的偏航角姿态信息。

3.根据权利要求2所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述得到豆株初始数据集，具体为：

拍摄前，将大豆植株放置于旋转转盘上，打开主控制器开关，封闭式豆株立体扫描仪通过主控制器的单片机采集温湿度传感器信息来判断当前扫描环境的温度和湿度是否在豆株生长的适宜范围，若当前扫描环境温度或湿度超过豆株生长的适宜温湿度，则主控制器的单片机通过控制继电器来控制雾化装置来调节温度和湿度；若调节后检测到当前扫描环境的温度和湿度在适宜范围内，则控制雾化装置停止工作；

接着使用光度传感器来检测当前扫描环境的亮度，若当前扫描环境的亮度超过或低于豆株生长的适宜亮度范围时，主控制器的单片机通过光源控制电路来控制LED光源的亮度，使每次扫描环境的光照强度保持一致；

当扫描环境的湿度、温度和光度符合要求时，接通转盘控制器；

转盘控制器的一路继电器控制旋转转盘开始转动，若转盘控制器接收到主控制器的拍照指令，则转盘控制器的一路继电器使旋转转盘停止转动，再控制相机进行拍照，得到豆株初始数据集。

4.根据权利要求3所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述对豆株初始数据集进行数据预处理，得到优化数据集，具体为：

使用二阶的泰勒展开式描述优化数据集中豆株图像的径向畸变，表示为：

其中，

是畸变矫正前的像素坐标，(x_c,y_c)表示在理想情况下无畸变时的像素坐标，k₁和k₂为径向畸变系数；

在考虑径向畸变情况下，由于定义的像素坐标系原点与图像坐标系原点不重合，假设像素坐标系原点在图像坐标系下的坐标为(u₀,v₀)，每个像素点在图像坐标系x轴、y轴方向的尺寸为：d_x、d_y，且像素点在实际图像坐标系下的坐标为

于是可得到像素点在像素坐标系下的坐标

为：

进一步转化为：

同理，在理想情况下即无径向畸变现象下，豆株图像中该点在矫正后像素坐标系下的坐标表示为：

其中，(u,v)表示在无畸变情况下该像素点在像素坐标系下的坐标；

将式(3)和式(4)带入式(1)，得到理想情况下与径向畸变情况下的对应关系，表示为：

对式(4)使用最小二乘法估计得到径向畸变系数k₁、k₂；

依据求取的径向畸变系数，对采集到的豆株初始数据集进行径向畸变的矫正，得到优化后的数据集：

其中，P′表示豆株初始数据集中豆株图像的像素矩阵，P表示优化后的图像数据集。

5.根据权利要求4所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述采用SFM算法和MVS算法进行三维重建，从优化数据集中获取豆株稠密点云，具体为：

首先使用SFM算法来获取豆株的稀疏点云，包括：

①使用SIFT算法从优化数据集的每幅图像中检测特征点，获得特征点集；

②在特征点集中选择特征点匹配对数最多的相邻两幅图像作为初始图像对，利用RANSAC算法计算初始图像对的基础矩阵、相机参数和投影矩阵，重建已匹配特征点并进行集束调整；加入新的图像，将匹配质量高的图像连接起来，构建一个图像连接图；

③得到图像连接图之后选取初始两帧图像的一对视角进行重建，根据初始两帧图像获取Tracks并对Tracks滤波，通过三角量测来计算初始的三维点坐标，并进行捆绑调整优化当前的相机姿态和三维点坐标；所述视角选取时，要求初始两帧图像的匹配点足够多且基线足够长；

④得到优化的相机姿态和三维点坐标后，进行Tracks重建，利用PnP获取更多相机姿态，新建Tracks并对Tracks进行滤波，在添加新图像时进行捆绑调整优化，得到豆株稀疏点云；

接着使用MVS算法来获取豆株稠密点云，包括：

①为每一幅豆株稀疏点云选择邻域图像构成立体图像对，利用邻域图像来进行深度重建；

②计算每幅豆株稀疏点云的深度图，再进行深度图融合，获得豆株稠密点云。

6.根据权利要求5所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述利用RANSAC算法计算初始图像对的基础矩阵，具体为：

①从初始图像对中随机采取8对匹配点并且利用8点法来求解基础矩阵F；

②利用获得的基础矩阵来计算每对匹配点的误差，结合Sampson distance来判断匹配点是否是内点，公式为：

d(x₁,x₂)<τ    (5)

其中，(x₁,x₂)表示图像对中对应的匹配点，d(x₁,x₂)表示图像对的相似性，τ表示设定的阈值，F表示基础矩阵；

③重复上述步骤，获取内点最多的结果，并对其中的内点重新执行步骤②；

所述利用RANSAC算法计算初始图像对的相机参数，具体为：

①利用基础矩阵和本征矩阵之间的转换关系获得本征矩阵，并对本征矩阵进行分解得到奇异值矩阵后重构本征矩阵，公式为：

A＝Udiag(σ₁,σ₂,0)V^T    (8)

其中，E表示本征矩阵，K₁表示相机在某一视角下对应的空间坐标系，K₂表示相机在另一视角下对应的空间坐标系，A表示奇异值矩阵，U、V均表示正交矩阵，其中U是左奇异向量，是EE^T的特征向量，V是右奇异向量，是E^TE的特征向量，[σ₁,σ₂,0]^T为本征矩阵的奇异值；

②根据重构本征矩阵恢复相机的运动参数R、t，公式为：

t₁＝UZU^T R₁＝UWV^T    (10)

t₂＝-UZU^T R₂＝UWV^T    (11)

其中，Z为

W为

③对t₁、t₂任意一个参数取负号进行求解，得到解集；

④在8对匹配点中，再随机代入一个点到解集中，得到相机的运动参数R、t；

所述利用RANSAC算法计算初始图像对的投影矩阵，具体为：

①根据特征匹配点的个数n，计算采样次数C(n,8)；

②随机采样一对图像，利用三角量测计算三维点坐标，具体为：

设第i个相机的投影矩阵为：

其中，P_i1、P_i2和P_i3均为1×4的向量，代表投影矩阵的一部分；此时，三维空间中三维点的齐次坐标为：

X＝[x,y,z,1]^T    (13)

其中，三维点在第i个视图中的坐标为：

x_i＝[x_i,y_i,1]^T    (14)

根据投影方程：

d_jx_i＝P_iX    (15)

式(15)两侧同时叉乘x_i，得：

x_i×(P_iX)＝0    (16)

即：

由于式(17)中第3个方程与前2个方程线性相关，即：

由上式(18)可知，一个点提供两个约束；己知在三维空间中，一个三维点有3个自由度，至少需要2对点；因此有：

将采样的一对图像代入式(19)中，得到的最小二乘意义下的最优解，即三维点坐标；

③将计算获得的三维点坐标投影到其他图像中，计算重投影误差，统计内点个数；

④重复②和③直到满足采样次数，选择内点数最多的三维点坐标；

⑤利用所有内点重新计算三维点坐标。

7.根据权利要求6所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述捆绑调整优化的目标函数为：

其中，n为三维点个数，m为相机数量，X_ij表示第i个三维点在第j台相机中是否可见，

表示第i个三维点在第j台相机中的观测点，u_ij表示第i个三维点在第j台相机中投影点，C_j表示第j台相机的参数，X_i表示第i个三维点的坐标；所述相机的参数包括焦距f_j、径向畸变系数、旋转矩阵R_j，平移向量t_j；

所述利用PnP获取更多相机姿态，具体为：

选取初始两幅图像，利用三角量测计算出三维点，设图像上的投影点坐标为[u、v、1]^T，空间中计算出的三维点坐标为[X、Y、Z、1]^T；

根据计算出的三维点还原出其他图像对应的相机位姿，公式为：

其中，投影矩阵为

公式展开得：

变换得：

X^Tr₁-X^Tr₃u＝0

X^Tr₂-X^Tr₃v＝0

已知有N个特征点，列得方程为：

求解得到相机姿态R、t。

8.根据权利要求7所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述豆株的株型结构数据包括叶片的大小与形状、叶子的空间分布、枝干结构及叶片之间的重叠度；所述大豆叶的表型属性数据包括叶宽、叶长和叶片面积；

所述通过点云分割算法从豆株稠密点云中提取豆株的株型结构数据，具体为：

①基于局部拟合法计算输入的豆株稠密点云中各点的法向量及曲率值；

②按照曲率值大小对豆株稠密点云中各点进行排序，选取曲率值最小的点作为初始种子点加入到区域点集合；

③基于KD-Tree搜索种子点的k个邻域点，依次计算邻域点的法线与当前种子点的法线之间的夹角，若夹角小于设定的夹角阈值，则继续判断邻域点的曲率值是否小于设定的曲率阈值；

④若满足步骤③中的两个判断条件，则将该点加入当前区域点集合，并将该点从原始点云中去除；当余下的点云数据没有符合条件的点时，一个面区域划分完成；

⑤重复步骤②-④，将所有符合条件的点云数据进行划分，直至剩余点云个数小于设定的最小分割平面点数时停止；

所述使用泊松重建算法测量大豆叶的表型数据，具体为：

①采用泊松重建算法对单个叶片点云进行重建，得到水密性曲面；

②删除水密性曲面中的冗余网格，具体为：在水密性曲面顶点中搜索与豆株稠密点云距离最近的点，若距离小于距离阈值，则该点保留；若距离大于距离阈值，则删除该顶点，重建叶片的水密性曲面，并对叶片的水密性曲面边缘进行优化得到每个叶片的重建曲面；

③提取大豆叶的表型属性数据：从叶片重建曲面上拾取叶尖和叶基点，以叶基点所在的竖直方向构建其虚拟主茎；依次对叶片进行分割，构建矢状面和冠状面，寻找左右部分顶点到矢状面和上下部分顶点到冠状面距离最远的点，并将与叶基点同侧的到冠状面最远的点替换为叶基点，最后在叶片上搜索两点间最短路径并投影到矢状面和冠状面，从投影曲线计算得到叶宽和叶长；单个叶片的面积即为重建曲面中各个三角面片的面积之和。

9.根据权利要求5所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述获得豆株稠密点云后，对豆株稠密点云进行进一步的优化，具体为：

使用离群点滤波器和半径搜索滤波器对获得的豆株稠密点云中的噪声及离群点进行去除，得到最终豆株稠密点云。

10.根据权利要求1所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述三维模型数据库用于存储点云模型文件，并提供点云模型API接口，用于外部设备读取点云模型文件及在线查询；

所述豆株特征数据库用于存储豆株各体尺特征数据，并提供豆株数据API接口，用于外部设备读取豆株各体尺特征数据及在线查询；

所述豆株各体尺特征数据包括株型、株高、节数、叶柄位置、朝向、叶柄间夹角、叶柄与茎的夹角、叶片整体空间布局、大豆冠幅、叶倾角、叶长、叶宽、叶片面积、叶形状及叶片之间的重叠度。

Images