CN115375842A

CN115375842A - 一种植株三维重建方法、终端及存储介质

Info

Publication number: CN115375842A
Application number: CN202210997343.4A
Authority: CN
Inventors: 彭业萍; 许啸寅; 杨明斌
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2022-08-19
Filing date: 2022-08-19
Publication date: 2022-11-22

Abstract

本发明公开了一种植株三维重建方法、终端及存储介质，方法包括：获取双目采集平台采集的植株多视角图像，对采集的植株多视角图像进行预处理；根据视觉三维重建方法将双目视觉应用于运动恢复结构中，利用处理后的植株多视角图像重建温室植株三维点云；分析温室植株三维点云的噪声分布规律，融合点云滤波算法对温室植株三维点云进行滤波处理，得到滤波后的点云模型；根据点云处理技术从滤波后的点云模型中提取目标植株的结构特征参数，以实现目标植株的无接触测量。本发明通过双目视觉图像序列的特征点提取与匹配，构造植株的三维模型，实现植株物理结构参数提取，为植株的生长状态可视化监测及育种栽培技术提升提供有效依据。

Description

一种植株三维重建方法、终端及存储介质

技术领域

本发明涉及计算机视觉技术领域，尤其涉及的是一种植株三维重建方法、终端及存储介质。

背景技术

农业是国民经济的基本保障，发展农业科技创新体系，建设智慧农业，是我国加快实现农业现代化的战略决策。加快发展现代农业，需提高农业育种、栽培、监测和管理等技术水平，实现农业系统的自动化和智能化管理。其中，农业生物育种是培育优良作物品种的重要手段，现已迈入智能设计农业育种4.0时代。植株的培育过程需持续关注培育环境的变化，观察植株生长状况，筛选出优质品种的植株，提高成活率和高品质率。在这一过程中，温度、湿度、光强等环境变量可利用相应的传感器进行测定且相关应用较为成熟。但在植株的生长状态监测环节，获取当前植株的表型性状信息仍需人工判断和手动测量的方式，这样的方法会导致结果易受人为误差和主观因素的影响，不仅会给农业科研人员增添工作量，还降低了育种效率。因此在培育栽植过程中引入准确、无损、自动化的生长状态监测系统对温室植株栽培具有重要意义。

植株作物信息的快速采集和分析是进行精准农业生产的先决条件和基础。伴随着新一代信息技术的发展，使得高精度、自动化提取植株结构特征成为可能，而植株三维重建技术就是实现监测植株生长状态、获取植株结构信息的一种重要技术手段。三维重建是将三维目标实体，经过传感器数据采集与处理、点云配准等处理步骤，转为计算机可显示识别的数字形式的一种关键技术，同时也是一种信息感知的形式，且所建立的数字模型可被用来处理、分析与辅助决策。该技术在工业、医疗、自动驾驶等诸多领。

目前，基于生长规则、基于三维数字化仪、基于三维激光扫描仪和基于机器视觉的方法是实现植株三维重建的重要手段。其中，基于生长规则的方法是通过分析植株生长过程中枝叶拓扑结构的变化规律来实现植株三维形态的模拟，但由于植株生长的规则比较繁多，因此其仿真效果与实际存在较大偏差。基于三维数字化仪的方法重建精度高，但由于该方法使用的是接触式测量传感器，需使用仪器探头与植株表面接触，存在损伤植物的危险，并且设备操作流程复杂，不能满足无损、高效的植株监测需求。基于三维激光扫描仪的方法可利用点云配准技术实现植株三维重建，所使用的传感器具有采样频率高、测距准确的特点，同时带来了高成本的代价，难以大范围推广。基于机器视觉的方法是指利用相机获取植株图像，通过特征提取、立体匹配等方法处理植株图像实现目标植株的三维重建。所使用的成像传感器具有成本低、操作灵活等特点，可获取丰富的植株及环境信息，监测所获得的数据具有客观性，能满足无损、高效的监测需求，因此基于机器视觉的方法得到极大发展和应用。但如何快速有效地获取植物数据源并实现植物的三维重建，且从数字模型中精确地提取植株表型结构参数，仍是数字化植物和作物育种栽培研究的难点和热点。

因此，现有技术还有待改进。

发明内容

本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种植株三维重建方法、终端及存储介质，以解决现有的植株三维重建方式精度低和成本高的技术问题。

本发明解决技术问题所采用的技术方案如下：

第一方面，本发明提供一种植株三维重建方法，包括：

获取双目采集平台采集的植株多视角图像，对采集的植株多视角图像进行预处理，得到处理后的植株多视角图像；

根据视觉三维重建方法将双目视觉应用于运动恢复结构中，利用所述处理后的植株多视角图像重建温室植株三维点云；

分析所述温室植株三维点云的噪声分布规律，融合点云滤波算法对所述温室植株三维点云进行滤波处理，得到滤波后的点云模型；

根据点云处理技术从所述滤波后的点云模型中提取目标植株的结构特征参数，以实现所述目标植株的无接触测量。

第二方面，本发明还提供一种终端，包括：处理器以及存储器，所述存储器存储有植株三维重建程序，所述植株三维重建程序被所述处理器执行时用于实现如第一方面所述的植株三维重建方法的操作。

第三方面，本发明还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有植株三维重建程序，所述植株三维重建程序被处理器执行时用于实现如第一方面所述的植株三维重建方法的操作。

本发明采用上述技术方案具有以下效果：

本发明通过搭建图像采集平台，探究分析图像采集的距离和角度等因素对重建结果的影响，为三维重建提供可行数据集；并且，研究基于视觉的三维重建方法，将双目视觉应用到运动恢复结构方法中，构建具有真实尺度的全局点云；在具有尺度信息的植株点云基础上，研究点云滤波算法消除噪声干扰，利用点云处理从模型中直接提取植株的结构特征参数；本发明通过双目视觉图像序列的特征点提取与匹配，构造植株的三维模型，实现植株物理结构参数提取，为植株的生长状态可视化监测及育种栽培技术提升提供有效依据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明的一种实现方式中植株三维重建方法的流程图。

图2是本发明的一种实现方式中图像采集平台的示意图。

图3是本发明的一种实现方式中深度距离与深度误差的关系图。

图4是本发明的一种实现方式中植株重建示意图。

图5是本发明的一种实现方式中植株点云与图像位姿示意图。

图6是本发明的一种实现方式中植株的全局三维点云示意图。

图7是本发明的一种实现方式中半径滤波过程的点云变化示意图。

图8是本发明的一种实现方式中不同体素尺寸的滤波结果示意图。

图9是本发明的一种实现方式中终端的功能原理图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

示例性方法

如图1所示，本发明实施例提供一种植株三维重建方法，包括以下步骤：

步骤S100，获取双目采集平台采集的植株多视角图像，对采集的植株多视角图像进行预处理，得到处理后的植株多视角图像。

在本实施例中，为快速构建植株的三维数字化模型，准确提取植株的结构特征，提高植株栽培监测系统的自动化水平，本实施例提出了一种基于双目视觉运动恢复结构的温室植株三维重建与结构特征提取方法。通过双目视觉图像序列的特征点提取与匹配，构造植株的三维模型，实现植株物理结构参数提取，为植株的生长状态可视化监测及育种栽培技术提升提供有效依据，具有重要学术意义和工程应用价值。

本实施例以常见温室植株为实验对象，开展基于双目视觉运动恢复结构的温室植株三维重建与结构特征提取方法研究。首先搭建图像采集平台，探究分析图像采集的距离和角度等因素对重建结果的影响，为三维重建提供可行数据集；研究基于视觉的三维重建方法，将双目视觉应用到运动恢复结构方法中，构建具有真实尺度的全局点云；在具有尺度信息的植株点云基础上，研究点云滤波算法消除噪声干扰，利用点云处理从模型中直接提取植株的结构特征参数。

本实施例针对图像采集具有随机性、产生数据冗余的问题，搭建了一个植株360°图像采集平台，获得植株多视角图像采集方法，为植株三维重建算法提供合适的图像数据，使采集工作摆脱人为手持相机的依赖，实现数据的自动化采集；针对单目三维重建具有尺寸不确定性的问题，提出了基于双目视觉运动恢复结构的植株三维重建方法，可直接构建出具有真实尺度的植株三维点云，减少点云尺度变换的数据处理步骤；研究了基于点云处理的植株关键结构特征提取方法，分析植株点云噪声的分布规律，融合点云滤波算法提高了点云模型质量，结合点云处理方法提取了植株高度、冠层宽度、树干胸径与叶片长度与宽度等多项特征参数，实现无接触高效的测量。

具体地，本实施例的一种实现方式中，步骤S100包括以下步骤：

步骤S101，通过双目相机对放置在平台托盘上的植株进行图像采集，并通过控制台控制图像数据的存储参数和相机的拍摄模式；

步骤S102，通过所述控制台控制所述双目相机的旋转参数，以角速度模式或角度模式进行旋转拍摄，得到所述植株多视角图像。

在本实施例中，获取植株多视角下的图像信息，是进行植株三维重建、建立其数字化模型的前提条件。通过设计搭建一个可适应不同大小植株的图像采集平台，实现高效采集植株的图像数据集。因此，本实施例设计并搭建一个便携式图像采集平台，采集目标植株的多视角图像数据，并分析双目相机的测距精度以及探究植株图像的采集方法。

为适应不同大小的植株和图像采集需求，设计的温室植株双目图像采集平台须具备可调节、拆卸、移动等的特点。基于此考虑，本实施例搭建了一个便携式可调节的双目视觉图像采集平台，能够用于对目标植株等待重建物体进行图像采集工作，整体结构如图2所示，该平台可围绕放置在中心的植株进行旋转拍摄，实现目标植株多视角图像数据的采集。

具体地，所搭建的平台主要由图像采集、旋转控制、硬件承重等部分结构组成。图像采集部分主要由双目相机、相机支架与笔记本控制台组成，利用双目相机对放置在平台托盘上的盆栽植株进行图像采集，可通过笔记本控制台控制存储图像数据的参数和控制相机的拍照模式。相机支架适配多种相机机型并支持多角度手动调节，图像采集支持点拍、连拍和视频录制等模式。旋转控制部分由操作台、电机、齿轮等部件构成，可利用操作台设置旋转参数控制步进电机带动齿轮进行旋转，支持两种旋转模式，其中“角速度”模式以所设定的角速度进行顺时针或逆时针方向旋转，“角度”模式将旋转至所设定的角度后停止。

硬件承重包含支撑臂和承重托盘两部分，支撑臂部分由水平臂、垂直支架和斜侧固定架单元组成，可根据实验场景、植株大小调节支架位置。承重托盘部分由植株承载台、配重平衡托盘与笔记本托盘组成，植株承载台位于平台中心用来放置植株，在支撑臂旋转过程保持不动；配重平衡托盘由水平臂与之相连，用于平衡平台重量；笔记本托盘用于放置功能为控制和储存的笔记本。

图像采集时先将植株置于植株承载平台上，调整双目相机至合适的位置，设置图像采集模式，通过操作台旋钮设置旋转角速度并按下旋转按钮启动电机旋转，同时启动相机拍照。待完成图像采集后，依次停止图像采集和电机旋转。

为使图像采集装置能够适应不同类型植株，植株承载平台的负载重量被设计为100kg，支架亦可根据植物体积大小进行调节，满足大部分盆栽植株重量和尺寸的要求，高度为0.1m～0.6m；水平臂的长度为0.3m～0.6m；旋转驱动的角速度为0.1°/s～30°/s。

本实施例中利用到的双目相机是一个集成式标准彩色版的小觅双目摄像头，该相机支持全局快门、双目帧同步，使得左右相机同步触发图像采集单元，获得相同时刻下的左右图像数据，该双目相机的帧率分别为2560×800@10/20/30fps，该双目相机的像素尺寸为3.0um*3.0um。

相机模型一般以针孔成像模型为主，在实际的物理世界中，一个空间中的三维点会经过四个坐标系之间的变换，被投影至成像平面上形成像素点，依次分别为世界坐标系、相机坐标系、图像坐标系与像素坐标系。它们的坐标变换如式(1)所示：

式中，K为

表示内参数矩阵，R_cw、t_cw分别表示相机坐标系与世界坐标系之间变换的旋转矩阵和平移向量，f_x、f_y分别表示在x和y方向上的(像素)焦距，u、v分别表示图像中心的横坐标和纵坐标。

具体地，本实施例的一种实现方式中，步骤S100还包括以下步骤：

步骤S103，获取所述双目相机中各相机的内参数和畸变系数；

步骤S104，确定所述双目相机的相对旋转矩阵和相对平移向量；

步骤S105，根据各相机的内参数和畸变系数、所述相对旋转矩阵和所述相对平移向量对所述双目相机进行标定，得到标定结果；

步骤S106，根据所述标定结果对采集的植株多视角图像进行畸变矫正、基线校准以及计算像素点空间坐标处理，得到所述处理后的植株多视角图像。

在相机设计和制造过程当中，由于精度偏差和组装工艺等因素，相机会存在镜头畸变的情况。而相机镜头的畸变系数是对图像形变的描述，须进行标定和校正。畸变主要有两种形式，分别为径向畸变和切向畸变。其中径向畸变是由于在成像平面前方放置透镜产生的，当像素点距离图像中心越远，所带有的畸变越大；切向畸变则是因为相机在组装过程中其透镜元件与成像传感器平面不平行而产生的。这两种畸变可分别由式(2)和式(3)进行描述：

式中，k₁、k₂、k₃、p₁、p₂为需要标定的畸变系数。

进一步地，相机外参数是指相机坐标系与世界坐标系之间的坐标转换关系。在双目相机的系统中一般是根据左相机光心建立参考坐标系，需标定右相机坐标系相对于左相机的变换关系，包括平移向量t与旋转矩阵R。

本实施例中选取相机的图像分辨率为2560×800，单位为像素，利用MATLAB双目标定工具箱完成标定工作。

进一步地，利用标定结果可对后续拍摄的图像对进行畸变校正、基线校准和计算像素点空间坐标。在双目系统中，像素点三维坐标的计算可通过相似三角形计算得到。基线B和焦距f通过标定得到，左右图像的像素点可由匹配获得，则深度信息可由式(4)计算得到：

由式(4)可知，深度Z的精度主要受基线、焦距和匹配精度的影响。

具体地，本实施例的一种实现方式中，步骤S106包括以下步骤：

步骤S106a，确定所述双目相机的像素点深度误差；

步骤S106b，根据理论误模型建立误匹配视差与所述像素点深度误差之间的关系；

步骤S106c，根据所述关系和所述标定结果确定实际深度误差值；

步骤S106d，根据所述实际深度误差值对采集的植株多视角图像进行畸变矫正、基线校准以及计算像素点空间坐标处理。

在本实施例中，理论误差模型建立误匹配视差与深度误差的关系。首先令视差d＝x_l-x_r，视差误差为Δd＝Δx_l-Δx_r，可得产生具有误差的深度值为：

结合式(4)和式(5)，可得误匹配导致的视差误差Δd与深度误差ΔZ的关系式，为：

由式(6)可发现，当误差Δd一定时，物体点距离相机越远，深度误差越大。结合本实施例中所使用的双目相机及其标定参数，分析深度误差的理论值，如图3所示，图中曲线分别表示误差为2个和1个像素下不同深度距离与深度误差的关系变化曲线。

如图3所示，在测距超过400mm时，1个像素误差会导致约3mm的深度误差，2个像素误差则引起超过5mm的深度误差。所以结合相机参数，为保证左右图像共同区域的重合度以及植株三维重建的精度，将深度误差控制在5mm附近，即相机与植株的距离被保持在400mm以内。

在基于图像的三维重建算法中，输入的图像数量越多，所重建出模型的细节纹理会更为丰富，同时也会导致数据采集和算法重建的效率急剧下降，且数据存储量快速上升。本实施例在搭建的图像采集平台基础上，探究植株图像的高效采集方法。首先，利用温室植株双目图像采集平台，设计多组不同角速度的图像采集实验并进行对比分析，结果为：在角速度超过24°/s时图像中植株部分出现模糊情况，当超过30°/s时植株与背景均出现模糊的情况，会影响后续图像重建精度。为保证旋转的安全性和图像数据的质量，建议角速度控制在18°/s以内。

为减少图像数量，提升三维重建效率的同时保证温室植株三维重建的效果，需保证多视图之间具有一定的重叠度，因此相邻两个视角应确定最小和合适的拍摄角度以帮助匹配更佳的图像数量。为此，实验采集一棵温室栽培植株(光瓜栗)的图像数据，进行图像采集角度与三维重建结果分析。该棵温室植株树干直径约3.2cm，调节图像采集旋转平台的相机距离植株约20cm，以约9/s的角速度旋转一周对植株进行多视角拍摄，共采集309帧图像对。利用运动恢复结构算法进行植株的三维重建，结果为：当相邻图像采集角度在24°以内时，实验对象的树干均可被重建。而当相邻图像采集角度超过24°时出现了重建失败。

以24°的角度间隔，共15组图像对，三维重建结果如图4所示，其中图4中(a)为树干实物图，图4中(b)为重建结果三维点云，图5中(a)为点云正视图，图5中(b)为点云俯视图。

由实验结果可得，针对树干直径为3.2cm的植株在本实验平台，可最少使用15帧完成重建，所构建点云纹理清晰，能有效反映目标植株的形态特征。考虑到采集系统和重建算法的稳定性，可以把图像采集角度控制在15°左右。

本实施例中设计并搭建了一个多视角双目图像采集平台，可采集植株的多视角双目图像数据集。通过对硬件双目相机进行标定分析，得到误匹配误差与深度误差的关系曲线，当相机与植株之间的距离小于400mm，可将深度误差控制在5mm附近。并针对平台进行图像采集和植株重建实验，得出最大旋转角速度和拍摄间隔角度分别为30°/s与24°，当平台旋转角速度和拍摄间隔角度为18°/s与15°时，可获得逼真的模型效果，为后续植株三维重建提供有效的图像数据。

如图1所示，在本发明实施例的一种实现方式中，植株三维重建方法还包括以下步骤：

步骤S200，根据视觉三维重建方法将双目视觉应用于运动恢复结构中，利用所述处理后的植株多视角图像重建温室植株三维点云。

在本实施例中，在植株培育过程中，三维信息相较于其他二维图像等信息，能更为直观反映植株的生长状态。本实施例中研究了基于双目视觉运动恢复结构的温室植株三维重建方法，利用采集到的多视角双目图像数据集作为输入，可重建得到具备真实尺度信息的植株三维点云模型，为后续植株特征参量的提取奠定基础。

具体地，本实施例的一种实现方式中，步骤S200包括以下步骤：

步骤S201，采用SIFT特征点提取算法提取所述多视角图像中的图像特征，并进行图像匹配，得到特征点的匹配关系；

步骤S202，基于所述特征点的匹配关系估计出双目图像的姿态情况，得到相邻图像对之间的空间关系；

步骤S203，利用半全局立体匹配方法，对左右图像进行视差图的构建，结合相机标定参数计算每个像素点的空间坐标，形成植物的局部点云；

步骤S204，根据图像位姿参数将所有局部点云变换至世界坐标系中，构建具有真实尺度的整体植株的三维点云。

单目相机的三维重建具有尺度不确定性，需借助标尺、控制点等参考物恢复真实尺度。针对此问题，本实施例提出基于双目视觉运动恢复结构的温室植株三维重建方法，仅需一个标定好的双目相机，即可重建出具有真实尺度的植株三维点云。

首先利用双目相机采集目标植物的多视角双目图像序列，进而进行图像畸变校正和立体校正等预处理操作，然后采用SIFT(Scale-invariant Feature Transform)特征点提取算法的提取图像特征并进行图像匹配，建立相邻图像对之间的空间关系，最后利用随机抽样一致算法(Random Sample Consensus,RANSAC)对特征点匹配进行优化，加入更多的双目图像立体几何约束保证匹配准确性。基于特征点的匹配关系可估计出双目图像的姿态情况，得到相邻图像对之间的空间关系。接着，利用半全局立体匹配方法，对左右图像进行视差图的构建，结合相机标定参数计算每个像素点的空间坐标，形成植物的局部点云。根据图像位姿参数将所有局部点云变换至世界坐标系中，实现具有真实尺度的整体植株三维重建。

具体地，本实施例的一种实现方式中，步骤S200之前包括以下步骤：

步骤S201a，对树叶图像进行超绿特征的提取，基于预设算法遍历每个像素进行计算，得到超绿特征图；

步骤S201b，利用阈值分割方法对所述超绿特征图进行分割，在图像中计算前景区域与背景区域间的类间方差，根据所述类间方差对应的阈值确定分割阈值；

步骤S201c，根据所述分割阈值对所述树叶图像进行分割，去除所述树叶图像中的背景部分，保留温室植株的主体部分。

在温室植株培育中，栽培环境包含室外的温室棚或室内的实验室，而温室棚与实验室存在较大的环境差异，可能对三维重建结果造成影响。因此，为提升算法的鲁棒性，可在图像预处理步骤考虑引入目标检测、识别与分割环节，将目标植株从背景中分离，降低背景因素的干扰从而提高重建模型的效果。

目前，在图像分割领域具有多种的分割算法，而通过观察温室植株图像可发现，当绿色物体投影至图像时，像素RGB(Red，Green，Blue)三通道中的绿色明显比其他两个通道的灰度值大。

因此，可考虑通过图像增强增大绿色分量与其他两个分量的对比度，获得绿色特征图，再通过阈值分割分离出树叶部分。本实施例中采用了基于超绿特征的图像分割方法实现对图像进行树叶与背景的分离。首先，对树叶图像进行超绿特征的提取，可基于式(7)遍历每个像素进行计算：

式中，ExG代表超绿特征图，R、G、B分别代表彩色图像的红、绿、蓝通道图像灰度值。经过计算后，可得超绿特征图，绿色分量元素得到有效的增强。

接着可利用阈值分割方法对超绿特征图进行分割。在此采用最大类间方差法(OTSU)来提取合适的分割阈值。最大类间方差法，又称大津算法，是一种自适应的分割方法，可用于分割图像的前景与背景区域。该算法会在图像中计算前景区域与背景区域间的类间方差，当方差为最大值时所对应的阈值即为最合适的分割阈值。具体计算过程如下：

(1)超绿特征图为单通道图像，其灰度级数为M＝256，因此可定义灰度分布范围为[0,M-1]；构建灰度分布直方图，统计每一级灰度值出现的概率，计算如下所示：

式中，P_i代表灰度级为i的概率，n_i表示图像中灰度级为i的像素点个数，N为图像中像素点总数。

(2)计算类间方差σ²。假设图像的最佳阈值为T，此时阈值将超绿特征图分为前景和背景区域。定义前景区域上灰度级的概率和为ω₁，平均灰度值为u₁；背景区域上灰度级的概率和为ω₂，平均灰度值为u₂。计算式如下所示：

则此时类间方差为σ²＝ω₁ω₂(u₁-u₂)²。

(3)遍历阈值T∈[0,255]，记录每个灰度级下的类间方差。当类间方差最大时，取其对应的阈值T即为最佳分割阈值。

二维图像是三维空间实景在成像传感器上的投影，为利用每一帧图像的信息来重建三维实景中的目标植株，需获取每一帧图像在空间中的位姿关系，并把它们变换至同一个三维坐标系中。因此，本实施例中通过双目图像的特征点提取与匹配，并加入双目图像几何约束优化特征点匹配，然后利用迭代最近邻算法求解图像的空间位置关系。

在图像处理领域，特征点主要位于图像中灰度值剧烈变化或者边缘曲率较大的区域，能够有效反映图像所携带的本质特征，帮助计算机标记图像中的目标对象，因此特征点被广泛应用于图像匹配中。SIFT特征点在三维重建领域中已经被验证为可行，它对输入图像建立了不同尺度下和不同模糊核下的图像空间，在此空间上提取特征点，并赋予特征点具有标识性的描述子，最后可利用描述子进行特征点的匹配。SIFT算法具有尺度、旋转的不变性，并对光照、噪声等影响也具有较强的鲁棒性。该特征点的提取主要有四个步骤：尺度空间下的极值检测、特征点的定位、特征点方向的确定、特征点的描述子提取：

1)尺度空间下的极值检测：

首先利用高斯模糊构建具有尺度空间的高斯金字塔。一个尺度可变的高斯核与一幅输入图像的卷积操作，如式(10)所示，可构建该帧图像的尺度空间：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (10)

式中，L(x,y,σ)表示该图像的尺度空间；G(x,y,σ)表示高斯核；σ为标准差；I(x,y)是输入图像；(x,y)是输入图像的像素点坐标；*代表卷积操作。

高斯滤波核G(x,y,σ)表示如下：

不同尺度处理后的图像，结合降采样，完成高斯金字塔的构建和尺度空间的建立。但在SIFT算法中，特征点的选取并不是直接在高斯金字塔上进行，而是在高斯差分金子塔上。SIFT算法利用高斯差分(Difference-of-Gaussian,DoG)去近似代替尺度归一化的高斯拉普拉斯(Scale-normalized Laplacian of Gaussian)，从而获得更高的计算效率。计算式如下：

由式(12)可得，高斯差分是由同一组相邻层做差分得到，对每一组都进行这一操作，即可构成高斯差分金字塔。SIFT的特征点提取在高斯差分金字塔中进行识别和提取，需先识别DoG中的局部空间极值点，即查询点要与周围26个邻域点进行响应值的比较，当查询点的响应值为最大值或者最小值(即极值)时，会被认为是特征点的候选点。由于高斯差分金字塔中每一组的最上和最下层缺少邻域，所以极值点的检测只在每一组中的中部进行。

2)特征点的定位

完成极值检测找到特征点的候选对象后，需通过对候选点的位置、尺度和主曲率比等数据进行拟合，得到更为精确的特征点。这一步骤中，考虑到特征点是不连续的离散点，所以会对候选点位置进行三维二次函数拟合，得到一个更为精确的极值点位置，有效提高特征点的匹配稳定性。

首先，对尺度空间函数D(x,y,σ)利用泰勒公式进行展开，保留二次项，即可得：

式中，X代表特征点(x,y,σ)^T，

是梯度算子，ΔX表示特征点的偏移量。

令式(13)等于零，可计算得到

并代入可得极值点X对应的DoG值为：

由于对比度对环境和传感器等噪声敏感的影响，所以一般情况下需设定阈值。当|D(X)|的极值点小于所设阈值时，则删除该点，否则保留。

除了剔除低对比度造成弱响应的像素点外，还需消除边缘响应。因为即使沿着边缘的位置不易被确定，高斯差分函数也会在边缘处有很强的响应。考虑到高斯差分函数中，一个不稳定的极值点具有以下特点：在横跨边缘的区域具有较大的主曲率，而在垂直边缘的方向则明显减小。基于此，SIFT采用Hessian矩阵来处理主曲率问题，Hessian表示如下：

由Hessian矩阵的特征值和D(x,y,σ)的主曲率是呈现比例关系的，所以不需要准确计算出矩阵的特征值，可假设矩阵的较大特征值为α，而其较小特征值为β，并令α＝rβ。结合矩阵的迹Τr(H)和行列式Det(H)，对式(15)做如下的变换：

可由式(16)来判断边缘响应点是否稳定，当该值越大表明矩阵的两个特征值的比值越大，即该点的两个方向梯度值差异大，属于边缘不稳定点，此时该点应该被剔除。r的阈值一般设定为10。

3)特征点方向的确定

经过前两步所提取和筛选后的关键点，可被认为是稳健的特征点。为了应对图像存在旋转的情况，需要确定特征点的主要方向，以其方向为基准来提取特征点的描述子，可有效使特征点在匹配中具有更好的鲁棒性。

对于检测到的特征点，会先计算并统计其周边邻域点的梯度幅值m(x,y)和方向θ(x,y)，计算公式如式(17)和式(18)所示；由各个方向的梯度幅值和，构成方向直方图，将梯度峰值所在方向作为特征点的主方向，超过峰值80％的梯度所在方向作为特征的辅方向，提高提取方向的稳定性。

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/L((x+1,y)-L(x-1,y))) (18)

4)特征点描述子的提取

通过以上步骤得到了特征点及其方向后，还需对每一个特征点进行描述，即生成一个特征向量来描述记录它自身与局部邻域点所贡献的信息，使其可以应对光照、视角等环境或传感器的变化，还能保持较高的可识别性。

在这一步中，首先选取特征点邻域的图像块，将其根据所计算到的主方向以特征点为中心进行旋转，旋转变换式如式(19)所示：

在图像旋转的基础上，以特征点为中心，把其邻域附近16×16的像素划分为4×4共16个小区域。小区域内的每个像素都计算其梯度幅值和方向，计算方式与步骤3)中计算特征点方向的方法一致。每个小区域会有8个梯度方向与相应的幅值，将其向量化后会得到一个8维的向量。特征点周围共有16个小区域，则SIFT特征点描述子是一个16×8共128维的特征向量。为应对光照变化，最后需将该128维向量进行归一化。

对温室棚内的植株图像进行SIFT特征点的提取，根据提取结果可以得到，SIFT特征点可在树叶、树干图像中被成功提取，较为均匀地分布在图像各个区域，如树叶、树干、土壤以及环境杂物上。同时与树叶上的特征点相比，树干上的特征点数量明显更多、分布也更为密集。所有特征点均分布在图像边缘或颜色变化明显处，表明SIFT特征点可适用于温室植株图像。

特征点匹配是利用描述子的相似性度量来对不同图像中的特征点建立一对一的关系。对两组双目图像对(共四幅图像)提取各自的SIFT特征点，接着进行三次特征点匹配，分别是两次左右图像之间的特征点匹配以及一次不同时刻左视图之间特征点的匹配。

在SIFT算法中，采用的是欧式距离来度量两个特征点的匹配程度。对于一幅待匹配图像中存在一个特征点描述子r＝(r₁,r₂,...,r₁₂₈)，同时目标图像特征点描述子集合中某一描述子向量为t_i＝(r_i1,r_i2,...,r_i128)，则它们之间的相似性度量欧氏距离为：

假设目标集合中描述子t_m与r的欧式距离d(r,t_m)最小，另一描述子t_n与r的欧式距离d(r,t_n)为第二小距离，则当满足d(r,t_m)/d(r,t_n)＜Threshold_dist时，描述子t_m对应的特征点与描述子r匹配成功，否则描述子r在目标集合中找不到特征点与之匹配。可初步剔除不具有较好辨识度的特征点，提高特征点的鲁棒性。

为进一步提高匹配的鲁棒性，在上述操作基础上，结合双目图像的几何特点加入新的匹配约束。

同时，考虑到双目视差生成三维点的精度受到相机的基线和焦距的影响，随着物体特征点到相机的距离越远，该特征点坐标的精度会逐渐变差。因此，应剔除图像背景上的特征点，保留目标物体—植物上的前景特征点。所以在前面匹配的基础上，特征点的匹配关系应当还需满足|x_L-x_R|＜Threshold_y的水平约束条件。

最终经过RANSAC随机抽样一致算法过滤误匹配点，根据SIFT特征点的提取与匹配的结果可以得到，SIFT特征点在四幅图像中均被成功匹配，且左右图像的特征点位于图像的同一水平上。匹配成功的图像特征点均没有出现在环境背景中，而是分布在目标植株物体上，表明SIFT特征点的匹配以及本实施例加入的双目图像匹配优化方法在温室植株图像的特征点匹配中是有效的。

完成四张图像特征点的匹配任务后，通过三角化两组双目图像的SIFT特征点，获得两组3D点集；这两组3D点集经过“匹配2”环节可建立起3D-3D的对应关系。

完成了SIFT特征点的提取与匹配后，得到了两组一一对应的3D点集，可利用迭代最近邻算法(Iterative Closest Point,ICP)中的奇异值分解(Singular ValueDecomposition,SVD)方法进行求解两组图像的空间位置关系。该图像的空间位置关系包括了3×3的旋转矩阵与3×1的平移向量。

假设两个3D点的集合分别为p＝{p₁,p₂,...,p_N}、p'＝{p'₁,p'₂,...,p'_N}，可构建一个最小二乘问题，如式(21)所示，来估计两个集合之间的旋转矩阵和平移向量：

式中，R表示3×3的旋转矩阵，T表示3×1的平移向量，N为3D点集合的元素个数，p_i、p_i'分别是集合p和p'的第i个元素。

首先，可定义两个3D点集合的质心计算如下所示：

式中，p_Centroid、p'_Centroid分别是集合p和p'的质心坐标。即可得两个3D点集合去质心坐标为：

q_i＝p_i-p_Centroid,q'_i＝p'_i-p'_Centroid (23)

式中，q_i、q_i'分别是集合p_i和p_i'第i个元素的去质心坐标。

结合两个点集的质心坐标和去质心坐标可对式(2)中同时求旋转矩阵和平移向量的问题进行解耦，得到：

T＝p_Centroid-Rp'_Centroid (25)

可见，最初的最小二乘问题被转化为先求旋转矩阵再求平移向量。因此可把式(23)中关于旋转矩阵R的误差项进行展开，可得：

与旋转矩阵R有关的参数项为第二和第三项，而同时由于R为正交矩阵，满足R^TR＝I，所以旋转矩阵R并不影响第二项q'_i ^TR^TRq'_i。因此，上式中只需关注第三个参数项即可，即误差项变为：

式中，tr(·)表示矩阵的迹。

接下来便可通过奇异值分解的方法求出该问题的最优旋转矩阵R，可定义新矩阵：

对该矩阵做奇异值分解，即：

W_3×3＝UΣV^T (29)

式中，U、V是3×3的矩阵，Σ为3×3的奇异值对角阵。可得最优的旋转矩阵R：

R＝UV^T (30)

当UV^T的行列式小于零时，需取最优旋转矩阵R＝-UV^T。估计出旋转矩阵后，便可根据式(25)求出平移向量T，从而完成两组图像空间位置关系的求解。

因所构建的植株点云模型应含有丰富的颜色和密集点的信息，仅靠稀疏的特征点不足以反映植株的生长状态，因此本实施例中使用双目相机，采用立体匹配和点云拼接的方法，实现植株的全局点云构建。

立体匹配是在具有重叠区域的立体图像对中查找同名点，以获得视差图。结合视差图与相机参数，并利用相应的几何知识，可生成具有丰富信息的温室植株局部稠密点云。半全局立体匹配方法则整合了局部和全局算法各自的优势，能在合理的时间内得到与全局方法相媲美的匹配精度。本实例亦在左右图像对中采用了半全局立体块匹配的方法。

1)代价计算

在该环节中，目的是构造一个三维W×H×D大小的代价空间C，其中W表示图像的宽，H表示图像的高，D表示视差搜索范围，该代价空间每个元C(x,y,d)存放着左图像像素点(x,y)与右图像像素点(x-d,y)之间的相关性度量值。

本实施例采用了基于互信息的方法来衡量两个像素点之间的相关性，互信息是一种利用左右图像的各自熵以及联合熵来定义的代价计算方法，能够应对明暗的环境变化，但由于计算复杂且需多次迭代的因素导致效率不高。因此在本实施例算法中采用BT(Birchfield与Tomasi)的方法代替。

对输入的左右图像使用Sobel的水平算子处理，计算结果图像的BT代价值，同时也对输入的原图像直接计算BT代价值，将二者的代价值进行融合计算并构建成块(Block)处理，从而形成三维代价体。BT代价空间C_BT的计算式如下所示：

式中，I^max(x,y)、I^min(x,y),分别表示像素点(x,y)邻域的最大值和最小值，即：

2)代价聚合

代价聚合主要是对代价计算所得到的代价体C进行优化以获得更好质量的代价体。在SGM方法中，定义了一个能量函数：

式中，D代表视差图，p表示像素点(x,y)，D_p代表像素点(x,y)的视差，q是像素点p的邻域像素；P₁、P₂分别较小惩罚项与较大惩罚项；T[·]是一个函数运算符，当参数成立则为1，否则为0。

优化上式的能量函数需耗费大量的计算量。为高效求解该优化问题，SGM借助了动态规划的思想，通过像素邻域多条一维路径上的像素视差代价值逼近原优化问题中的二维最优解。新的代价体元素计算式如下所示：

式中，S(p,d)表示优化后代价空间S中像素点p在视差d下的代价值，r代表聚合路径，L_r(p,d)表示视差为d时，像素点p在路径r上的最小代价值。

聚合路径为4个方向、8个方向或16个方向。路径代价值L_r(p,d)则由式(33)计算得到。

3)视差计算

经过代价聚合步骤，代价空间C被优化为能够更为准确反映像素之间颜色和视差相关性的新的代价空间S。

4)视差优化

对每个像素点进行视差计算步骤，即可得到一张(与左图像对应的)视差图。但由于噪声、遮挡或重复纹理等因素影响，视差图中会存在误匹配或精度不足的情况，为提高视差图的精度，还需进一步优化视差图。一般采用左右一致性检测(Left-Right Check)方法对可能存在的误匹配关系进行检测和剔除。该方法是建立在立体匹配唯一性的基础上，即左图像的某像素点在右图像中只有一个对应的同名点，保证二者之间是唯一性关系。首先会以同样的方法计算出右图像对应的视差图D_R；然后记录左图像某像素点的视差值，记为D_{L_p}，在该视差下，可得到右图像中的对应像素点，并记录右图像像素点的视差值，记为D_{R_q}。若二者的差值小于等于1，则认为该像素点匹配成功，否则为误匹配点，计算式如下所示：

式中，D_p代表像素点p的视差值，D_invalid则表示无效的视差值。

除左右一致性检测外，还会进行小连通区域的剔除和子像素视差的提取。在小连通区域剔除中，认为小区域的点可能是重复纹理或弱纹理导致的误匹配造成的。因此，需要剔除视差图中极小块的连通区域，将视差置为无效，连通区域一般定义为视差与邻域视差的差值在1以内的区域。在子像素视差提取中，是将视差进行细化，保留小数点后的数值使得视差更为准确。一般采用二次曲线拟合方法提取准确的视差值。

得到视差图后，即可结合双目相机的标定参数与几何理论，可计算出每个像素点的三维坐标，表达式为：

式中，b表示基线长度，(u₀,v₀)为图像中心的坐标，f_x是在x方向的(像素)焦距，(u,v)为左图像中像素点的图像坐标，d表示该像素点的视差值。

由三类图像帧的结果可看出，被重建的点云中叶子、树干、土壤等细节纹理丰富，表明该立体匹配算法均能有效构建植株图像的视差图，生成较高质量的植株局部点云。

经过上述步骤可得到每一帧图像对的图像位姿与相应的局部点云信息，可通过点云拼接构建温室植株的全局三维点云。以第一帧图像对的位姿建立世界坐标系，其余各帧图像的位姿与点云将被变换到世界坐标系中，转换式如下所示：

式中，R_wc、T_wc分别表示在该帧的相机坐标系中三维点云与世界坐标系的转换关系。

每一个三维点经过坐标变换后，便可完成温室植株全局点云的构建，点云中每个点由一个6维的列向量表示，记为(X,Y,Z,R,G,B)^T，前三项表示点的坐标，后三项表示点的颜色信息。如图6所示，为所重建的植株全局三维点云，图片右下角的“2D”表示采集的平面图像，“3D”表示所构建的三维点云，可观察到树叶和树干的形态特征和纹理信息在点云中得到很好呈现，说明该重建方法可有效恢复植株的三维形貌特征。

至此，本实施例中介绍了基于双目视觉运动恢复结构的温室植株三维重建方法，通过提取SIFT特征点和优化匹配约束，完成了四幅图像的特征点的提取与匹配，并求解出相邻图像之间的空间位置关系。通过半全局立体匹配技术生成视差图，结合相机几何理论，计算每个像素点的三维坐标。将所有图像的位姿与植株局部点云统一到一个坐标系中，完成了植株的三维重建。

步骤S300，分析所述温室植株三维点云的噪声分布规律，融合点云滤波算法对所述温室植株三维点云进行滤波处理，得到滤波后的点云模型。

在本实施例中，经过植株三维重建可得到具有丰富特征信息的点云模型，便可进行植株结构特征参量的提取。本实施例中研究基于三维点云的温室植株结构特征提取方法，先分析植株点云噪声的分布规律，采用点云滤波算法提高点云模型质量；在优化后的点云模型上利用点云处理方法提取植株高度、冠层宽度、树干胸径与叶片长度与宽度等多项特征参数。

具体地，在本实施例的一种实现方式中，步骤S300包括以下步骤：

步骤S301，将所述温室植株三维点云输入至统计滤波器中；

步骤S302，设置邻域搜索点数量与标准差的倍数；

步骤S303，对所述温室植株三维点云中的每个查询点计算对应的邻域平均距离；

步骤S304，计算全局平均距离的平均值和标准差，并得到距离区间阈值；

步骤S305，判断查询点邻域内的平均距离是否在所述距离区间阈值内；

步骤S306，若是，则保留所述查询点，剔除偏离主体较远的离群点；

步骤S307，利用点云半径滤波的方法对主体点云附近的无关点进行剔除，得到所述滤波后的点云模型。

在本实施例中，在三维重建过程中受到外界环境、图像采集、匹配算法等因素的影响，获得植株的点云数据会存在着偏离主体点云的离群点，可发现离群点在植株三维点云中主要有两种分布情况：

(1)远离主体点云；

(2)稀疏分布在主体点云附近。

基于这种噪声点的特性，可先对点云采用统计滤波的方法剔除偏离主体较远的离群点，再利用点云半径滤波的方法对主体点云附近的无关点进行剔除。

植株主体点云具有分布集中、较高密度的显著特点。基于此，可利用数学中统计学原理的统计滤波算法，能有效地对远离主体目标点云的离群点进行剔除。其主要原理是对所有查询点的各自局部邻域点云进行统计分析，基于欧氏距离建立该局部点云的高斯分布，并计算全局距离平均值和方差，最后根据设定的阈值对离群点进行剔除。

假设所建立植株点云的数据集为X＝{x₁,x₂,...,x_n}，其中n为输入点云数量。对于每一个查询点x_i，可计算其到K个邻近点的平均距离，用S_i来表示，计算式如下所示：

式中，K表示所设定的临近点数量阈值；x_ik表示x_i邻域的第k个邻近点。令u和σ分别表示全局点云高斯分布的均值和标准差，记为S(u,σ)，可由以下计算式得到：

除设定临近点数量阈值K来控制邻域范围大小以外，还需设置标准差倍数std来控制判断离群点条件的严苛程度。当植株点云中的查询点与其邻域点的距离不在区间(u-std×σ，u+std×σ)时，该点会被认为是离群点并被剔除。当两个参数阈值设置合理时，可得到高质量的滤波去噪效果。具体流程包括：

1)将点云输入到统计滤波器中；

2)设置统计滤波参数：邻域搜索点数量K与标准差的倍数std；

3)对植株点云中的每个查询点计算它们的邻域平均距离；

4)计算全局平均距离的平均值和标准差，并得到距离区间阈值；

5)判断查询点邻域内的平均距离是否在区间阈值内，在则被保留，否则被剔除。

根据统计滤波前后植株点云可发现通过统计滤波后滤除大量的噪声点，保留的点云更为贴合温室植株的三维形貌，有效提高植株点云质量，但同时还发现结果点云中还由部分噪声残留，须利用下列计算得到的半径滤波进行滤除。

在统计滤波后，依旧会存在一些离群点分布在主体点云附近。半径滤波算法可更为全面地去剔除离群点，从而得到一个更高质量的三维点云数据。半径滤波的基本原理是对点云中每个点进行邻域半径搜索，当邻域点数量超过一定数量时，说明该点属于主体点云的一部分会保留该点，否则该点会被剔除。

第一，输入需要进行半径滤波的植株三维点云；

第二，根据该点云的尺寸情况去设置相应合适的搜索半径阈值r和邻域内点的个数阈值k；

第三，遍历源点云中的每个点(查询点)，搜索其半径r的球型体内的点，统计数量；

第四，判断球内点的数量是否满足大于所设定阈值k的条件，如果满足，则说明该点附近密度较大、数量多，被认为是点云模型主体内的点，否则认为该查询点为离群点，需将其剔除。

半径滤波前后的植株点云如图7所示，图7中(a)为带噪声的输入源点云，图7中(b)为识别到的噪声点，图7中(c)是被剔除的噪声点，图7中(d)为半径滤波的结果点云，其中第一行为点云赋予了颜色信息。可发现通过半径滤波后滤除了少量分布在主体点云周边的噪声点，最后得到一个质量更佳的温室植株点云。

步骤S400，根据点云处理技术从所述滤波后的点云模型中提取目标植株的结构特征参数，以实现所述目标植株的无接触测量。

在本实施例中，所建立植株三维点云中三维点的数量多，存在冗余现象，会占用大量的存储空间，同时也会大大降低信息提取算法的运行效率。因此在点云处理、信息提取步骤前，须引入体素滤波，降低点云密度。三维点云的体素滤波，能够在保持三维点集的形状特征不变的基础上，使用体素化网格的方法实现下采样，减少点云数据量，降低点云的数量级，可有效提高后续的形状识别、特征提取等算法的速度。

具体地，在本实施例的一种实现方式中，步骤S400包括以下步骤：

步骤S401，通过体素滤波的方法对输入的温室植株三维点云构建一个三维的体素栅格，计算每个小体素栅格内部所有三维点的重心，通过所述重心替换对应栅格内的点；

步骤S402，获取所述温室植株三维点云在垂直方向上的植株高度，并获取在水平方向上的冠层宽度；

步骤S403，采取标记截取、圆柱拟合的方法提取所述温室植株三维点云的多处茎干的胸径；

步骤S404，采用构建包围盒的方法提取所述温室植株三维点云叶片的生理长度与宽度；

步骤S405，存储及输出所述温室植株三维点云的植株的结构特征参数。

体素滤波的方法，第一步先对输入的三维点云构建一个三维的体素栅格，类似于一个三维的空间立方体集合；第二步是计算每个小体素栅格内部所有三维点的重心，用这一重心去替换这个小栅格内的点，从而实现数据的下采样。

以一片树叶点云为样例，通过设定不同的体素尺寸，对比不同的体素尺寸下的形状特征与点数量变化情况，效果图如图8所示。

由于植株原始点云中点与点之间的距离大于0.3mm，因此可发现当体素边长尺寸为0.3mm时点云数量没有发现变化。而当体素边长尺寸为0.5mm时，叶片点云数量下降至15458，比原点云减少了31％，而形状特征没有发生明显变化。而当体素边长尺寸为0.7mm时，对比图8中(c)与图8中(d)可发现点云变得显著稀疏了。因此经过对比分析，确定体素滤波边长尺寸为0.5mm，在每次重建结束进行以0.5×0.5×0.5mm³为体素尺寸进行体素滤波，可在减少点云冗余量的同时，保留其形状特征。

本实施例通过上述技术方案达到以下技术效果：

本实施例通过搭建图像采集平台，探究分析图像采集的距离和角度等因素对重建结果的影响，为三维重建提供可行数据集；并且，研究基于视觉的三维重建方法，将双目视觉应用到运动恢复结构方法中，构建具有真实尺度的全局点云；在具有尺度信息的植株点云基础上，研究点云滤波算法消除噪声干扰，利用点云处理从模型中直接提取植株的结构特征参数；本实施例通过双目视觉图像序列的特征点提取与匹配，构造植株的三维模型，实现植株物理结构参数提取，为植株的生长状态可视化监测及育种栽培技术提升提供有效依据。

示例性设备

基于上述实施例，本发明还提供一种终端，包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，所述处理器用于提供计算和控制能力；所述存储器包括存储介质以及内存储器；所述存储介质存储有操作系统和计算机程序；所述内存储器为所述存储介质中的操作系统和计算机程序的运行提供环境；所述接口用于连接外部设备，例如，移动终端以及计算机等设备；所述显示屏用于显示相应的信息；所述通讯模块用于与云端服务器或移动终端进行通讯。

所述计算机程序被所述处理器执行时用以实现一种植株三维重建方法的操作。

在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，所述存储器存储有植株三维重建程序，所述植株三维重建程序被所述处理器执行时用于实现如上所述的植株三维重建方法的操作。

在一个实施例中，提供了一种存储介质，其中，所述存储介质存储有植株三维重建程序，所述植株三维重建程序被所述处理器执行时用于实现如上所述的植株三维重建方法的操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。

综上，本发明提供了一种植株三维重建方法、终端及存储介质，方法包括：获取双目采集平台采集的植株多视角图像，对采集的植株多视角图像进行预处理；根据视觉三维重建方法将双目视觉应用于运动恢复结构中，利用处理后的植株多视角图像重建温室植株三维点云；分析温室植株三维点云的噪声分布规律，融合点云滤波算法对温室植株三维点云进行滤波处理，得到滤波后的点云模型；根据点云处理技术从滤波后的点云模型中提取目标植株的结构特征参数，以实现目标植株的无接触测量。本发明通过双目视觉图像序列的特征点提取与匹配，构造植株的三维模型，实现植株物理结构参数提取，为植株的生长状态可视化监测及育种栽培技术提升提供有效依据。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种植株三维重建方法，其特征在于，包括：

2.根据权利要求1所述的植株三维重建方法，其特征在于，所述获取双目采集平台采集的植株多视角图像，包括：

通过双目相机对放置在平台托盘上的植株进行图像采集，并通过控制台控制图像数据的存储参数和相机的拍摄模式；

通过所述控制台控制所述双目相机的旋转参数，以角速度模式或角度模式进行旋转拍摄，得到所述植株多视角图像。

3.根据权利要求2所述的植株三维重建方法，其特征在于，对采集的植株多视角图像进行预处理，包括：

获取所述双目相机中各相机的内参数和畸变系数；

确定所述双目相机的相对旋转矩阵和相对平移向量；

根据各相机的内参数和畸变系数、所述相对旋转矩阵和所述相对平移向量对所述双目相机进行标定，得到标定结果；

根据所述标定结果对采集的植株多视角图像进行畸变矫正、基线校准以及计算像素点空间坐标处理，得到所述处理后的植株多视角图像。

4.根据权利要求3所述的植株三维重建方法，其特征在于，所述根据标定结果对采集的植株多视角图像进行畸变矫正、基线校准以及计算像素点空间坐标处理，包括：

确定所述双目相机的像素点深度误差；

根据理论误模型建立误匹配视差与所述像素点深度误差之间的关系；

根据所述关系和所述标定结果确定实际深度误差值；

根据所述实际深度误差值对采集的植株多视角图像进行畸变矫正、基线校准以及计算像素点空间坐标处理。

5.根据权利要求1所述的植株三维重建方法，其特征在于，所述根据视觉三维重建方法将双目视觉应用于运动恢复结构中，利用所述处理后的植株多视角图像重建温室植株三维点云，包括：

采用SIFT特征点提取算法提取所述多视角图像中的图像特征，并进行图像匹配，得到特征点的匹配关系；

基于所述特征点的匹配关系估计出双目图像的姿态情况，得到相邻图像对之间的空间关系；

利用半全局立体匹配方法，对左右图像进行视差图的构建，结合相机标定参数计算每个像素点的空间坐标，形成植物的局部点云；

根据图像位姿参数将所有局部点云变换至世界坐标系中，构建具有真实尺度的整体植株的三维点云。

6.根据权利要求5所述的植株三维重建方法，其特征在于，所述采用SIFT特征点提取算法提取所述多视角图像中的图像特征，并进行图像匹配，得到特征点的匹配关系，之前还包括：

对树叶图像进行超绿特征的提取，基于预设算法遍历每个像素进行计算，得到超绿特征图；

利用阈值分割方法对所述超绿特征图进行分割，在图像中计算前景区域与背景区域间的类间方差，根据所述类间方差对应的阈值确定分割阈值；

根据所述分割阈值对所述树叶图像进行分割，去除所述树叶图像中的背景部分，保留温室植株的主体部分。

7.根据权利要求1所述的植株三维重建方法，其特征在于，所述分析所述温室植株三维点云的噪声分布规律，融合点云滤波算法对所述温室植株三维点云进行滤波处理，得到滤波后的点云模型，包括：

将所述温室植株三维点云输入至统计滤波器中；

设置邻域搜索点数量与标准差的倍数；

对所述温室植株三维点云中的每个查询点计算对应的邻域平均距离；

计算全局平均距离的平均值和标准差，并得到距离区间阈值；

判断查询点邻域内的平均距离是否在所述距离区间阈值内；

若是，则保留所述查询点，剔除偏离主体较远的离群点；

利用点云半径滤波的方法对主体点云附近的无关点进行剔除，得到所述滤波后的点云模型。

8.根据权利要求1所述的植株三维重建方法，其特征在于，所述根据点云处理技术从所述滤波后的点云模型中提取目标植株的结构特征参数，以实现所述目标植株的无接触测量，包括：

通过体素滤波的方法对输入的温室植株三维点云构建一个三维的体素栅格，计算每个小体素栅格内部所有三维点的重心，通过所述重心替换对应栅格内的点；

获取所述温室植株三维点云在垂直方向上的植株高度，并获取在水平方向上的冠层宽度；

采取标记截取、圆柱拟合的方法提取所述温室植株三维点云的多处茎干的胸径；

采用构建包围盒的方法提取所述温室植株三维点云叶片的生理长度与宽度；

存储及输出所述温室植株三维点云的植株的结构特征参数。

9.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有植株三维重建程序，所述植株三维重建程序被所述处理器执行时用于实现如权利要求1-8中任意一项所述的植株三维重建方法的操作。

10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质存储有植株三维重建程序，所述植株三维重建程序被处理器执行时用于实现如权利要求1-8中任意一项所述的植株三维重建方法的操作。