CN109556511A - 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统 - Google Patents

Abstract

本发明旨在提供一种悬架式高通量温室植物表型测量系统。测量系统安装于悬架式支架上，悬架式支架可实现三轴移动，以满足全生长周期植物表型原位测量需求。测量系统主要有三个TOF相机组成，分别采集各个视角下RGB‑D图像，通过TOF相机内部参数，将深度图转换为三维点云图。通过棋盘标定，获得三个视角的旋转矩阵和平移矩阵，选定参考视角，将其他两个视角的三维点云进行坐标变换，实现三个视角的三维点云坐标统一坐标系，并进行迭代最近点法ICP精确配准，实现温室植物三维点云模型精确重构。该发明测量系统具有精度高、速度快、适用性强的高通量温室植物表型原位测量系统。

Description

一种基于多视角RGB-D融合技术的悬架式高通量温室植物表 型测量系统

技术领域

本发明涉及高通量温室植物表型测量领域，尤其是一种基于多视角RGB-D融合技术的悬架式高通量温室植物表型测量系统。

背景技术

全球粮食安全是人类面临的主要挑战之一，要解决粮食安全问题，除了维护生态环境和保障耕种面积，最有效的措施是开发利用优良的作物品种和先进的栽培技术，而与之相关的作物品种资源鉴定、遗传育种、功能基因组学和植物生物学等方面的研究基本都涉及到对大量的作物表型的鉴别与分析。随着近年来生物技术及基因组学研究的不断发展，尤其是测序技术的飞速发展，多种作物的全基因组测序已经完成，但是传统的表型研究方法具有低效率、低维度、低分辨率、低通量和主观性强等缺点，这些缺陷导致有关表型组学的研究数据已无法满足对基因型、环境和表型之间关系的解析，同时也限制了对作物全部基因功能的全面注释和分析，高通量的作物表型测量技术是破译作物基因和环境互作密码的关键核心技术，已成为制约作物功能基因组学和作物分子育种研究领域发展的新瓶颈。温室环境具有可控性，温室植物表型测量技术是解析基因型、环境和表型之间关系的关键技术。因此，高通量温室植物表型测量技术的研究对保障我国粮食安全和促进农业可持续发展具有非常重要的意义。随着传感器技术的发展，可通过计算机图形图像处理的途径实现植物信息自动监测，植物属于非刚性测量对象，最佳测量方式为原位测量，本发明研发一种基于多视角RGB-D融合技术的悬架式高通量温室植物表型测量系统，可以提高温室植物表型测量系统自动化水平，将加速解决温室植物表型高效、精准、可靠测量问题，提高温室植物表型测量效率、精度和适用性，对促进我国作物分子育种和植物功能基因组学等学科领域的发展具有重要意义。

发明内容

本发明旨在提供一种悬架式高通量温室植物表型测量系统。测量系统安装于悬架式支架上，悬架式支架可实现三轴移动，以满足全生长周期植物表型原位测量需求。测量系统主要有三个TOF相机组成，分别采集各个视角下RGB-D图像，通过TOF相机内部参数，将深度图转换为三维点云图。通过棋盘标定，获得三个视角的旋转矩阵和平移矩阵，选定参考视角，将其他两个视角的三维点云进行坐标变换，实现三个视角的三维点云坐标统一坐标系，并进行迭代最近点法ICP精确配准，实现温室植物三维点云模型精确重构。根据植物三维点云模型，计算植物三维几何形态信息：植株高度、最大宽幅、体积、表面积、叶面积等植物表型参数。该发明测量系统具有精度高、速度快、适用性强的高通量温室植物表型原位测量系统。

为实现上述目的，本发明提供如下技术方案：基于多视角RGB-D融合技术的悬架式高通量温室植物表型测量系统，主要由悬架式支架、三轴滑轨移动系统、三个TOF相机、三个激光测距传感器、限位开关、控制器、图形工作站、植物表型测量软件以及测量系统控制柜等组成。悬架式支架为Y形滑轨结构，在三个滑轨上安装有万向支架，三个TOF相机分别安装于万向支架上，可实现TOF相机的位置调节。在温室横梁下方安装三轴滑轨移动控制系统，悬架式支架安装于三轴滑轨上，实现横轴(X轴)、纵轴(Z轴)、以及垂直(Y轴)三个方向的移动，测量系统通过三轴移动控制器，实现温室植物表型原位高通量测量。三轴滑轨移动系统，分别由三个步进电机控制，步进电机驱动器信号线连接至控制器，并且悬架式支架上安装有三个激光测量传感器，激光测量器信号线连接至控制器，实现支架的三轴精确定位。三个TOF相机，实现三个视角的RGB-D图像采集功能。在滑轨X轴、Y轴和Z轴两端均设置有限位保护开关，实现悬架式测量系统的位姿控制保护功能。TOF相机通过USB线缆连接至图形工作站，采用软件触发方式。测量系统控制柜安装于悬架式支架侧面，控制柜中主要包括：开关电源、控制器、继电器、步进电机驱动器以及图像工作站等。温室植物表型测量软件安装于图形工作站上，控制器通过过RS232线连接至图形工作站。

作为本发明的进一步方案：所述多视角RGB-D融合技术，采用温室植物多视角RGB-D图像高速同时采集方案，解决了由于植物晃动引起的重建误差问题，实现非刚体植物精确重建，提高了植物表型测量系统的集成度以及测量效率。根据三个视角的初始标定结果，得到各个视角点云的相对旋转矩阵R和位移矩阵T，实现各个视角的点云坐标系统一，多视角点云的快速粗配准，并与参考坐标系点云进行迭代最近点算法ICP配准，实现植物点云高速重建，为温室植物表型高通量测量奠定基础。当多视角TOF相机的相对位置没有变时，不需要重复标定，极大的简化了测量系统工作流程。

作为本发明的进一步方案：所述悬架式支架，采用Y形滑轨结构，并且安装于温室横梁下方的三轴滑轨上。测量系统中的三个TOF相机安装于Y形滑轨上，可以调节相机的位置，并且测量系统安装于三轴滑轨上，悬架式支架上均安装有激光测距传感器，可以精确控制测量系统在温室中的位置，满足全生长周期温室植物表型全景高通量测量。

与现有技术相比，本发明的有益效果是：悬架式温室植物表型高通量测量系统，采用多视角同步测量方式，通过多视角三维点云坐标系统一变换，实现多视角点云粗配准，并结合迭代最近点算法ICP配准，实现植物三维点云精确重建，为植物表型测量奠定了良好基础。多视角测量系统与三轴滑轨移动控制系统结合，实现测量系统位置的精确控制，使得测量系统满足全生长周期植物表型测量，极大的提高了现有测量系统的集成度以及自动化水平，实现温室植物非刚体原位高通量测量。本测量系统解决了温室植物表型高效、精准、可靠原位测量问题，提高了温室植物表型测量效率、精度和适用性，对促进我国设施园艺信息化、数字化、精准化及智能化管理具有重要意义，并且加速我国作物分子育种和植物功能基因组学等学科领域的发展具有重要意义。

附图说明

图1为悬架式高通量温室植物表型测量系统结构图(XZ轴)；

图2为悬架式支架结构图(XZ轴)

图3为多视角RGB-D融合流程图；

图4为三个视角点云图；

图5为植物冠层高度计算图；

图6为植物冠层最大宽幅计算图；

图7为植物冠层表面积计算图；

图8为植物冠层外包围体积计算图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1：测量系统1，植物2，Z轴滑轨3，X轴滑轨4。

如图1所示，本发明悬架式高通量温室植物表型测量系统，安装于温室顶部横梁下方的三轴滑轨上，X轴滑轨实现测量系统横向移动，Z轴滑轨实现测量系统纵向移动，Y轴滑轨实现测量系统高度调节，三轴滑轨分别由三个伺服电机控制，与激光测距传感器结合，实现测量系统精确定位。在滑轨X轴、Y轴和Z轴两端均设置有限位保护开关，实现悬架式测量系统的位姿控制保护功能。测量系统按照设定路线，遍历温室所有植物上方，采集多视角RGB-D图像，实现温室植物表型高通量原位测量。

如图2所示，悬架式支架为Y形滑轨结构，在三个滑轨上安装有万向支架，三个TOF相机分别安装于万向支架上，可实现TOF相机的位置调节。三个TOF相机，实现三个视角的RGB-D图像采集功能。TOF相机通过USB线缆连接至图形工作站，采用软件触发方式。通过棋盘标定，获得三个TOF相机的相对旋转矩阵和位移矩阵，为三个视角点云的坐标系统一奠定基础。当三个TOF相机的相对位置没有改变时，不需要重复标定，简化了测量系统的测量流程。测量系统控制柜安装于悬架式支架侧面，控制柜中主要包括：开关电源、控制器、继电器、电机驱动器以及图像工作站等。温室植物表型测量软件安装于图形工作站上，控制器通过过RS232线连接至图形工作站。

如图3所示，多视角RGB-D融合主要流程：首先初始化测量参数，主要包括测量系统测量高度、步进距离、相机内参、TOF相机相对旋转矩阵与位移矩阵等参数。当测量系统到达待测植物上方时，三个TOF相机采集RGB-D图像，根据相机内部参数，将各个视角的RGBD图像转为三维点云图，对各个视角的三维点云图进行包围盒分割，去除不相关的点云信息，并进行离群点去除预处理，然后选定参考坐标定，根据相机的相对旋转矩阵和位移矩阵，进行三个视角的点云坐标系统一处理。多视角点云坐标性统一后，将其他两个视角的点云与参考坐标性点云进行迭代最近点算法ICP配准，实现多视角三维点云精确重建，最后根据三维点云信息，计算植物表型信息。

RGB-D融合算法如下所述：

通过TOF相机采集RGB-D图像，根据公式(1)将二维深度图D(i，j)转换为三维点云图。

式中(x，y，z)为三维点云图坐标，i为二维深度图的行坐标，j为二维深度图的列坐标，D(i，j)为深度为在坐标(i，j)处的值，(c_x，c_y)为主点坐标，(f_x，f_y)为焦距。

由于植物为非刚体测量对象，本发明采用多个视角的RGB-D图像，实现植物三维点云高速重建，不需要旋转植物，减少植物晃动引起的重建误差。以三个视角RGB-D图像重建为例，阐述其实现原理，具体原理如下：

在不同的测量位置(三个视角)采集温室植物RGB-D图像，各个视角下采集的三维点云坐标公式，如公式(2)～(4)所示。

式中：(x₁，y₁，z₁)为第一视角坐标系下的三维点云坐标，(X_w，Y_w，Z_w)为世界坐标系的坐标，R₁为世界坐标系的坐标相对于第一视角坐标系旋转矩阵，t₁为世界坐标系的坐标相对于第一视角坐标位移矩阵；(x₂，y₂，z₂)为第二视角坐标系下的三维点云坐标，R₂为世界坐标系的坐标相对于第二视角坐标系旋转矩阵，t₂为世界坐标系的坐标相对于第二视角坐标位移矩阵；(x₃，y₃，z₃)为第三视角坐标系下的三维点云坐标，R₃为世界坐标系的坐标相对于第三视角坐标系旋转矩阵，t₃为世界坐标系的坐标相对于第三视角坐标位移矩阵；R₁、t₁、R₂、t₂、R₃、t₃是通过棋盘标定板标定获得。

根据公式(2)～(4)，求得第一视角坐标系下点云坐标变换至第二视角坐标系下，如式(5)，以及第三视角坐标系下点云坐标变换至第二视角坐标系下，如式(6)。

根据公式(5)～(6)，可知第一视角相对于第二视角的点云坐标旋转矩阵R₁₂，如式(7)，以及位移矩阵t₁₂，如式(8)；第三视角相对于第二视角的点云坐标旋转矩阵R₃₂，如式(9)，以及位移矩阵t₃₂，如式(10)。

R₁₂＝R₂R₁ ^-1 (7)

t₁₂＝t₂-R₂R₁ ^-1t₁ (8)

R₃₂＝R₂R₃ ^-1 (9)

t₃₂＝t₂-R₂R₃ ^-1t₃ (10)

根据上述三维点云坐标系变换，可实现三个视角下的三维点云坐标系统一，如式(11)和(12)，分别为第一视角变换至参考坐标系(第二视角)的变换公式，以及第三视角变换至参考坐标系(第二视角)的变换公式。

根据上述三维点云坐标系变换，可知公式(3)、(11)以及(12)实现了统一坐标系。

此时，三个视角三维点云已经实现了粗配准，再将(x₁₂，y₁₂，z₁₂)与(x₂，y₂，z₂)进行迭代最近点算法ICP配准，以及(x₃₂，y₃₂，z₃₂)与(x₂，y₂，z₂)进行迭代最近点算法ICP配准。

两个三维点集X₁(参考点集)和X₂(原始点云)，ICP方法的配准步骤如下：

第一步，计算X₂中的每一个点在X₁点集中的对应近点；

第二步，求得使上述对应点对平均距离最小的刚体变换，求得平移参数和旋转参数；

第三步，对X₂使用上一步求得的平移和旋转参数，得到新的变换点集；

第四步，如果新的变换点集与参考点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的X₂继续迭代，直到达到目标函数的要求。

如图4所示，分别为三个视角点云统一坐标系后的结果图，如图4(a)，V₁₂为TOF相机1的点云变换图；如图4(b)，V₂为TOF相机2的点云图(参考点云)；如图4(c)，V₃₂为TOF相机3的点云变换图；如图4(d)，为V₁₂和V₂的与操作效果图；如图4(e)，为V₁₂和V₂的ICP配准结果图；如图4(f)，为V₁₂、V₂与V₃₂的ICP配准结果图。

根据上述流程，实现植物三维点云精确重建，在重建的植物三维点云模型基础上，计算植株高度、最大宽幅、表面积、体积等植物表型参数，具体计算方法如下：

如图5所示，根据三维点云最高点Y坐标最大点，计算的得到植物高度，减去栽培盆高度，得到植物高度(根部以上部分)。

如图6所示，根据植物三维点云在XOZ平面上的投影，搜索边界距离最远的两个点，并计算两点距离，该距离为植物冠层最大宽幅。

如图7所示，植物三维点云进行网格化处理，计算网格面积，得到植物三维表面积。

如图8所示，植物三维点云为外边界包络图，计算得到植物体积。

在本发明中采用多视角点云融合技术，实现植物三维点云模型重建的方法与系统。在三维点云模型基础上，进行三维点云模型几何形态学计算，得到植物各种表型参数。

在植物三维形态信息计算后，完成所测区域植物表型测量，则三轴移动系统移至下一个测量区，进行后续植物表型测量，直至遍历所有植物，实现高通量温室植物表型测量。

Claims (1)

1.一种基于多视角RGB-D融合技术的悬架式高通量温室植物表型测量系统，其特征在于，包括悬架式支架、三轴滑轨移动系统、三个TOF相机、三个激光测距传感器、限位开关、控制器、图形工作站、植物表型测量软件以及测量系统控制柜；悬架式支架为Y形滑轨结构，在三个滑轨上安装有万向支架，三个TOF相机分别安装于万向支架上，可实现TOF相机的位置调节；在温室横梁下方安装三轴滑轨移动控制系统，悬架式支架安装于三轴滑轨上，实现横轴(X轴)、纵轴(Z轴)、以及垂直(Y轴)三个方向的移动，测量系统通过三轴移动控制器，实现温室植物表型原位高通量测量；三轴滑轨移动系统，分别由三个步进电机控制，步进电机驱动器信号线连接至控制器，并且悬架式支架上安装有三个激光测量传感器，激光测量器信号线连接至控制器，实现支架的三轴精确定位；三个TOF相机，实现三个视角的RGB-D图像采集功能；在滑轨X轴、Y轴和Z轴两端均设置有限位保护开关，实现悬架式测量系统的位姿控制保护功能；TOF相机通过USB线缆连接至图形工作站，采用软件触发方式。测量系统控制柜安装于悬架式支架侧面，控制柜中主要包括：开关电源、控制器、继电器、步进电机驱动器以及图像工作站；温室植物表型测量软件安装于图形工作站上，控制器通过过RS232线连接至图形工作站；

三个视角的RGB-D图像采集主要流程：首先初始化测量参数，主要包括测量系统测量高度、步进距离、相机内参、TOF相机相对旋转矩阵与位移矩阵等参数；当测量系统到达待测植物上方时，三个TOF相机采集RGB-D图像，根据相机内部参数，将各个视角的RGBD图像转为三维点云图，对各个视角的三维点云图进行包围盒分割，去除不相关的点云信息，并进行离群点去除预处理，然后选定参考坐标定，根据相机的相对旋转矩阵和位移矩阵，进行三个视角的点云坐标系统一处理；多视角点云坐标性统一后，将其他两个视角的点云与参考坐标性点云进行迭代最近点算法ICP配准，实现多视角三维点云精确重建，最后根据三维点云信息，计算植物表型信息；

RGB-D融合算法如下所述：

通过TOF相机采集RGB-D图像，根据公式(1)将二维深度图D(i，j)转换为三维点云图。

式中(x，y，z)为三维点云图坐标，i为二维深度图的行坐标，j为二维深度图的列坐标，D(i，j)为深度为在坐标(i，j)处的值，(c_x，c_y)为主点坐标，(f_x，f_y)为焦距；

由于植物为非刚体测量对象，本发明采用多个视角的RGB-D图像，实现植物三维点云高速重建，不需要旋转植物，减少植物晃动引起的重建误差；以三个视角RGB-D图像重建为例，阐述其实现原理，具体原理如下：

在不同的测量位置(三个视角)采集温室植物RGB-D图像，各个视角下采集的三维点云坐标公式，如公式(2)～(4)所示：

式中：(x₁，y₁，z₁)为第一视角坐标系下的三维点云坐标，(X_w，Y_w，Z_w)为世界坐标系的坐标，R₁为世界坐标系的坐标相对于第一视角坐标系旋转矩阵，t₁为世界坐标系的坐标相对于第一视角坐标位移矩阵；(x₂，y₂，z₂)为第二视角坐标系下的三维点云坐标，R₂为世界坐标系的坐标相对于第二视角坐标系旋转矩阵，t₂为世界坐标系的坐标相对于第二视角坐标位移矩阵；(x₃，y₃，z₃)为第三视角坐标系下的三维点云坐标，R₃为世界坐标系的坐标相对于第三视角坐标系旋转矩阵，t₃为世界坐标系的坐标相对于第三视角坐标位移矩阵；R₁、t₁、R₂、t₂、R₃、t₃是通过棋盘标定板标定获得；

根据公式(2)～(4)，求得第一视角坐标系下点云坐标变换至第二视角坐标系下，如式(5)，以及第三视角坐标系下点云坐标变换至第二视角坐标系下，如式(6)：

根据公式(5)～(6)，可知第一视角相对于第二视角的点云坐标旋转矩阵R₁₂，如式(7)，以及位移矩阵t₁₂，如式(8)；第三视角相对于第二视角的点云坐标旋转矩阵R₃₂，如式(9)，以及位移矩阵t₃₂，如式(10)；

R₁₂＝R₂R₁ ^-1 (7)

t₁₂＝t₂-R₂R₁ ^-1t₁ (8)

R₃₂＝R₂R₃ ^-1 (9)

t₃₂＝t₂-R₂R₃ ^-1t₃ (10)

根据上述三维点云坐标系变换，可实现三个视角下的三维点云坐标系统一，如式(11)和(12)，分别为第一视角变换至参考坐标系(第二视角)的变换公式，以及第三视角变换至参考坐标系(第二视角)的变换公式；

根据上述三维点云坐标系变换，可知公式(3)、(11)以及(12)实现了统一坐标系；

此时，三个视角三维点云已经实现了粗配准，再将(x₁₂，y₁₂，z₁₂)与(x₂，y₂，z₂)进行迭代最近点算法ICP配准，以及(x₃₂，y₃₂，z₃₂)与(x₂，y₂，z₂)进行迭代最近点算法ICP配准；

两个三维点集X₁(参考点集)和X₂(原始点云)，ICP方法的配准步骤如下：

第一步，计算X₂中的每一个点在X₁点集中的对应近点；

第二步，求得使上述对应点对平均距离最小的刚体变换，求得平移参数和旋转参数；

第三步，对X₂使用上一步求得的平移和旋转参数，得到新的变换点集；

第四步，如果新的变换点集与参考点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的X₂继续迭代，直到达到目标函数的要求。