CN107860366A - 一种基于多光谱空间雕刻技术的移动式温室作物信息测量与诊断系统 - Google Patents

Abstract

本发明公开了一种基于多光谱空间雕刻技术的移动式温室作物信息测量与诊断系统，包括磁导航移动平台，所述磁导航移动平台安装有磁导航传感器、多光谱相机、CCD相机、RGB LED可调光源、精密旋台、滑轨、激光测距传感器、成像系统控制柜、车载服务器以及作物信息测量与诊断软件。

Description

一种基于多光谱空间雕刻技术的移动式温室作物信息测量与 诊断系统

技术领域

本发明涉及温室作物信息测量领域，尤其是一种基于多光谱空间雕刻技术的移动式温室作物信息测量与诊断系统。

背景技术

随着现代精准农业的发展，在作物生长环境控制、灌溉、施肥、病虫害防治、作物品质监测、产量测量等生产管理环节中，作物信息已成为现代精准农业生产管理的重要决策依据。因此，作物信息测量技术对促进我国现代精准农业的发展具有非常重要的意义。传统温室作物信息测量是依赖人工测量，不仅工作量大，耗时，而且测量结果容易受环境条件和主观因素的影响，测量误差比较大。随着自动化技术、机器视觉技术以及机器人技术在作物信息测量领域的应用，高通量、精准高效的作物信息测量技术已经得到了快速发展。目前国际最为先进的温室作物信息测量平台，需要配备大规模作物自动传送系统，将待测量作物依次传送至测量室，实现温室植物工厂高通量作物信息测量，该平台需要在固定的光环境暗箱中测量作物信息，并且成本非常昂贵、维护工作量大，这种平台模式无法在我国大范围推广应用。近年来，我国温室作物栽培得到了飞速发展，但是温室作物栽培配套智能化农机装备研究处于刚起步阶段，目前我国高通量温室作物信息测量系统方面的研究还非常少，尤其是可移动式温室作物信息测量平台还没有相关装备。因此，提高我国温室作物信息测量系统的便携性、适用性、准确性、稳定性和高效性是非常迫切的，对我国现代精准农业发展具有重要意义，就需要设计一种适用于我国国情的移动式温室作物信息测量与诊断系统。

发明内容

本发明旨在提供一种移动式温室作物信息测量与诊断系统，实现捕获多视角温室作物图像以及冠层多光谱图像，基于空间雕刻原理与诊断模型实现温室作物三维形态信息与生理信息测量，移动式测量平台实现温室作物全景测量，且具有精度高、速度快、适用性强的移动式温室作物信息测量与诊断系统。

为实现上述目的，本发明提供如下技术方案：基于多光谱空间雕刻技术的移动式温室作物信息测量与诊断系统，包括磁导航移动平台，所述磁导航移动平台安装有磁导航传感器、多光谱相机、CCD相机、RGB LED可调光源、精密旋台、滑轨、激光测距传感器、成像系统控制柜、车载服务器以及作物信息测量与诊断软件等。磁导航传感器分别安装于移动平台底部两侧轮中间，并且在温室地面布置磁条和工作位磁条。多光谱相机安装于移动平台顶部中间位置，视角垂直向下，6个CCD相机安装于移动平台顶部圆盘支架上，呈现圆形等间距分布，即相互间隔60℃。RGB LED可调光源安装于移动平台顶部和两侧，顶部LED光源呈圆形状，多光谱相机固定在顶部LED光源圆中心位置，6个CCD相机安装于顶部LED光源圆边，相互间隔60℃。精度旋台用于驱动顶部LED光源和相机旋转，旋转角由步进电机精确控制。移动平台顶部RGB LED光源、多光谱相机、CCD相机、旋台驱动步进电机以及激光测距传感器集成于一体的成像系统，安装于移动平台两侧的滑轨上，滑轨通过步进电机驱动，实现顶部成像系统的上下测量高度调节。2个激光测距传感器分别安装于移动平台的前端和后端，用于测量移动平台的地面坐标信息。成像系统控制柜安装于移动平台侧面，控制柜中主要包括：蓄电池、控制器、继电器、步进电机驱动器、信号中继器等。车载服务器安装于移动平台侧面，成像系统控制柜上方，主要包括车载工控机和显示器等。作物信息测量与诊断软件安装于车载服务器上，多路CCD传感器通过USB线连接至服务器上，成像室控制器通过RS232线连接至服务器上。

作为本发明的进一步方案：所述磁导航移动平台，采用磁导航原理，实现移动式温室作物信息测量与诊断，通过多个工作位的独立测量，实现温室作物信息全景测量。

作为本发明的进一步方案：所述磁导航移动平台，采用激光测距传感器，实现移动测量平台的X、Y和Z轴向精准定位，通过测量系统位置信息，实现温室作物信息全景视场图生成。

作为本发明的进一步方案：所述磁导航移动平台，集成多光谱相机和多个CCD相机，通过多光谱相机采集温室作物冠层图像，实现作物生理信息诊断。通过顶部多个呈圆环分布的CCD相机，实现多个角度对作物成像。采用空间雕刻原理，雕刻出作物三维点云模型，提取其三维形态信息参数。

作为本发明的进一步方案：所述磁导航传感器，采用多点磁导航传感器，能够识别温室地面磁条状态(不同宽度的磁条)，并且采用2个磁导航传感器，实现直行、工作位、左转弯、右转弯、起点/终点等状态识别。

作为本发明的进一步方案：所述CCD传感器，采用多传感器同步触发方式，实现作物多视角同步成像，减少了多视角成像时间，并且旋台能够精确控制CCD传感器旋转角度，实现任意数量视角下作物图像捕获，该方案适用于复杂三维形态的作物三维高速重建与信息测量。

作为本发明的进一步方案：所述RGB LED可调光源，采用RGB LED光带安装于长方形无边框铝合金灯箱中，面板采用白色匀光板。光源采用脉冲宽度调制技术，通过R、G、B三通道的占空比调节，实现LED光源色彩调节，通过电位器，实现LED光源强度0～100％调节，顶部LED光源和两侧LED光源为CCD相机和多光谱相机提供均匀的、合适的成像光源。

与现有技术相比，本发明的有益效果是：移动式温室作物信息测量与诊断系统，采用磁导航，实现移动平台精确、可靠和自动化全景测量温室作物信息，并结合激光测距传感器，实现移动测量平台的三轴向精准定位，实现温室作物信息全景视场图生成。测量系统光源设计为顶部RGB LED光源和两个侧面RGB LED光源，在遮挡外部环境光的情况下，同时给成像系统提供一个光照均匀的成像环境。测量系统集成多光谱相机和CCD相机，实现作物生理信息诊断，同时采用多个CCD传感器同步触发方式，并结合精密旋台，实现任意数量视觉的作物高速成像，同时获取作物深度信息以及颜色信息，满足复杂三维形态的作物三维高速重建与形态信息无损测量，该系统顶部成像系统高度可以调节，能够适用于温室作物信息周期性测量，该系统测量精度高、速度快、适用性强，值得大力推广。

附图说明

图1为移动式温室作物信息测量系统磁导航温室地面布置图；

图2为移动式温室作物信息测量系统结构图(YZ轴)；

图3为移动式温室作物信息测量系统结构图(XZ轴)；

图4为移动式温室作物信息测量系统结构图(XY轴)；

图5位移动式温室作物信息测量系统控制电路原理图；

图6为移动式温室作物信息测量系统软件流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1：温室入口1，温室墙体2，直行磁条3，停止位磁条4，工作位磁条5，移动式温室作物信息测量平台6，作物7，栽培架8。

图2：移动式温室作物信息测量平台铝型材框架9，后端激光测距传感器10，平台右侧后轮11，前端激光测距传感器12，平台右侧前轮13，右侧磁导航传感器14，右侧滑轨15，控制柜16，车载服务器17，多光谱相机18，成像系统支架19，右侧RGB LED光源20，顶部RGB LED光源21，成像系统高度传感器22。

图3：移动平台顶部遮光板23，成像系统左侧支架24，成像系统右侧支架25，CCD相机26，CCD相机27，CCD相机28，CCD相机29，CCD相机30，CCD相机31，左侧RGB LED光源32，平台左侧后轮33，左侧遮光板34，右侧遮光板35，温室作物36。

如图1所示，本发明移动式温室作物信息测量系统采用磁导航方式，在温室地面铺设磁条，采用多点磁导航传感器，实现不同宽度磁条识别。磁条分为3种宽度，分别为直行磁条、工作位磁条和停止位磁条。移动平台采用四轮驱动方式，在底部两侧安装有磁导航传感器，根据两侧的传感器信息实现不同的移动平台工作状态：(1)两侧均为停止位磁条，表示为起点或终点，起点时为启动信号，终点时为停止信号；(2)两侧均为直行磁条，表示为直行信号；(3)两侧均为工作位磁条，表示为测量信号，停止并进行作物信息测量，测量完毕后继续直行；(4)左侧为停止位磁条，右侧为工作位磁条，表示为左转弯信号，当右侧到达下一个工作位磁条时，停止并进行作物信息测量，测量完毕后继续直行；(5)右侧为停止位磁条，左侧为工作位磁条，表示为右转弯信号，当左侧到达下一个工作位磁条时，停止并进行作物信息测量，测量完毕后继续直行。移动平台根据磁导航传感器测量信息，实现移动平台精确、可靠和自动化全景测量温室作物信息。移动平台安装有3个激光测距传感器，实现移动测量平台的三轴向精准定位，实现温室作物信息全景视场图生成。

如图2所示，本发明移动式测量系统采用铝型材框架结构，呈长方体结构。顶部和两个侧面采用遮挡板封闭，减少外部环境光对测量系统的干扰作用。顶部和两侧均安装有RGBLED光源，可实现光源波段与光强调节，为测量系统提供成像光源。移动测量系统采用步进电机驱动四轮轮毂。在测量系统前端和后端各安装有一个激光测距传感器，实现移动测量系统的平面坐标测量。在测量系统底部两侧均安装有磁导航传感器，实现测量系统路径自主规划，自动测量整个温室所有工作位的作物信息。测量系统顶部安装有成像系统主要包括1个多光谱相机和6个CCD相机，成像系统、顶部RGB LED光源以及1个激光测距传感器安装于两侧滑轨支架上，通过滑轨实现成像系统测量高度调节，实现不同高度的温室作物信息测量。

如图3所示，本发明成像系统主要包括1个多光谱相机和6个CCD相机。多光谱相机实现温室作物冠层图像采集，实现作物生理信息诊断。6个CCD相机成圆形等距安装，相互间隔60°，实现不同视角作物成像。顶部成像系统可实现单轴旋转，通过步进电机精确控制其旋转角度，旋转角度为0～60°，所以6个CCD相机可实现任意数量视角下作物成像，实现复杂作物三维重建与三维形态信息测量。移动式测量系统左侧安装有控制柜和车载服务器，实现传感器信号采集、自主移动控制、光源控制、成像控制以及作物信息计算等功能。温室作物位于移动测量系统正下方，根据作物高度，通过两侧滑轨实现成像系统高度调节。

如图4所示，本发明顶部RGB LED光源设计为圆形状，两侧RGB LED光源设计为长方形，侧面LED光源分别采用两块LED光源，其光源中间安装有滑轨。1个多光谱相机安装于LED光源面板上方圆心位置，其镜头垂直向下。6个CCD相机通过万向支架安装于LED光源面板下方，CCD相机投影视角一致，等间距安装于顶部LED光源圆边。两侧RGBLED光源安装于两侧遮光板内侧，减少外面环境光对测量系统的干扰，并为成像系统提供光源。

如图5所示，本发明采用24VDC蓄电池给测量系统控制器与车载服务器供电。控制器输入端主要包括：前端激光测距传感器D1、后端激光测距传感器D2、高度激光测距传感器D3、左侧磁导航传感器D4、右侧磁导航传感器D5、左侧滑轨上限位开关SQ1、左侧滑轨下限位开关SQ2、右侧滑轨上限位开关SQ3、右侧滑轨下限位开关SQ4、精密旋台零位SQ5、精密旋台限位SQ6，信号线分别接入控制器输入端X1～X11。输出端主要包括：精密旋转电机M1、滑轨步进电机M2、左轮电机M3、右轮电机M4、顶部LED光源、2个侧面LED光源，其中精密旋转电机M1、滑轨步进电机M2、左轮电机M3和右轮电机分别采用步进电机驱动器MD1、MD2、MD3和MD4驱动；顶部RGB LED光源和2个侧面RGB LED光源分别采用3个RGB分控器LA1、LA2和LA3控制，侧面LED光源分为2块，其供电方式为并联。测量系统控制器通过RS232通讯线连接至车载服务器。顶部多光谱相机C0和CCD相机C1～C6分别通过USB通讯线连接至车载服务器。

如图6所示，本发明采用多光谱成像技术，实现温室作物生理信息诊断，通过多光谱图像信息和作物生理信息诊断模型，实现生理信息诊断。采用空间雕刻技术，实现温室作物三维重建，在测量系统工作前需要对不同视角下工业相机进行标定，获得相机矩阵。温室作物信息与诊断测量系统主要工作流程：首先初始化各项参数，主要包括光源参数，角度参数和相机参数，其中光源参数通过PWM调控方式，RGB三通道根据不同的占空比脉冲，形成不同的波段的光源，为成像系统提供光源；角度参数为人为设置参数，即采集图像的视角数量，如采集视角间隔为30°，共计12个视角(每个相机采集2个视角图像)，那么旋台在零位处采集图像后，还要旋转1次，旋转30°，采集各个视角下作物图像，成像系统可通过旋台实现0～60°调节，6个CCD相机可实现0～360°全圆周任意视角图像采集；相机参数为标定的相机矩阵，主要由相机内部参数和外部参参数构成，标定不同高度情况下，形成相机矩阵库，实现任意测量高度调用。初始化参数后，启动LED光源，主要包括顶部LED光源和两个侧面光源，调节滑轨步进电机，在滑轨支架上安装有激光测距传感器，高度测量通过激光测距传感器信号实现，使得多光谱相机和CCD相机达到预先设置的成像高度。顶部成像系统通过精密旋台初始化至零位，等待测量信号。测量系统准备完毕后，启动移动式测量系统，执行直行信号，检测是否到达工作位，如到达工作位，则判断是否为停止工作位，若是停止工作位，则温室作物信息采集流程完成；若不是停止工作位，则启动多视角成像流程。多视角成像流程，首先同步触发多光谱相机C0和CCD相机C1～C6，然后通过顶部旋台调节成像系统角度，调节后同步触发C1～C6，根据角度数量，调节C1～C6的成像视角数量，完成图像采集后，判断是否为转弯工位，若是，则执行左转弯或有转弯信号，转弯完成后，启动多视角成像流程；若不是，则跳转至直行信号。信息采集流程完成后，启动作物信息计算流程，依次读取各个工作位的图像，车载服务器根据采集的多视角作物图像，进行二元掩膜识别，然后创建3D立方体网络，根据各个视角下的二元掩膜对立方体进行空间雕刻，将不属于作物区域雕刻掉。当空间雕刻完成后，进行表面颜色恢复处理，实现作物三维点云模型重建。根据作物三维点云模型，计算作物体积、高度、幅宽等三维形态参数；根据各个测量工位的多光谱图像和生理信息诊断模型，实现生理信息诊断。信息计算完成后，显示、存储与发布作物三维形态信息和生理信息参数。当各个测量工作作物信息计算完成后，生成温室作物全景视场图和作物信息表，完成整个测量流程。

Claims (1)

1.一种基于多光谱空间雕刻技术的移动式温室作物信息测量与诊断系统，其特征在于，包括磁导航移动平台，所述磁导航移动平台安装有磁导航传感器、多光谱相机、CCD相机、RGB LED可调光源、精密旋台、滑轨、激光测距传感器、成像系统控制柜、车载服务器以及作物信息测量与诊断软件等；

磁导航传感器分别安装于移动平台底部两侧轮中间，并且在温室地面布置磁条和工作位磁条；多光谱相机安装于移动平台顶部中间位置，视角垂直向下，6个CCD相机安装于移动平台顶部圆盘支架上，呈现圆形等间距分布，即相互间隔60℃；RGB LED可调光源安装于移动平台顶部和两侧，顶部LED光源呈圆形状，多光谱相机固定在顶部LED光源圆中心位置，6个CCD相机安装于顶部LED光源圆边，相互间隔60℃；精度旋台用于驱动顶部LED光源和相机旋转，旋转角由步进电机精确控制；移动平台顶部RGB LED光源、多光谱相机、CCD相机、旋台驱动步进电机以及激光测距传感器集成于一体的成像系统，安装于移动平台两侧的滑轨上，滑轨通过步进电机驱动，实现顶部成像系统的上下测量高度调节；2个激光测距传感器分别安装于移动平台的前端和后端，用于测量移动平台的地面坐标信息；成像系统控制柜安装于移动平台侧面，控制柜中主要包括：蓄电池、控制器、继电器、步进电机驱动器、信号中继器等；车载服务器安装于移动平台侧面，成像系统控制柜上方，主要包括车载工控机和显示器等；作物信息测量与诊断软件安装于车载服务器上，多路CCD传感器通过USB线连接至服务器上，成像室控制器通过RS232线连接至服务器上。

所述磁导航移动平台，采用磁导航原理，实现移动式温室作物信息测量与诊断，通过多个工作位的独立测量，实现温室作物信息全景测量；

所述磁导航移动平台，采用激光测距传感器，实现移动测量平台的X、Y和Z轴向精准定位，通过测量系统位置信息，实现温室作物信息全景视场图生成；

所述磁导航移动平台，集成多光谱相机和多个CCD相机，通过多光谱相机采集温室作物冠层图像，实现作物生理信息诊断，通过顶部多个呈圆环分布的CCD相机，实现多个角度对作物成像；采用空间雕刻原理，雕刻出作物三维点云模型，提取其三维形态信息参数；

所述磁导航传感器，采用多点磁导航传感器，能够识别温室地面磁条状态，并且采用2个磁导航传感器，实现直行、工作位、左转弯、右转弯、起点/终点等状态识别；

所述CCD传感器，采用多传感器同步触发方式，实现作物多视角同步成像，减少了多视角成像时间，并且旋台能够精确控制CCD传感器旋转角度，实现任意数量视角下作物图像捕获，该方案适用于复杂三维形态的作物三维高速重建与信息测量；

所述RGB LED可调光源，采用RGB LED光带安装于长方形无边框铝合金灯箱中，面板采用白色匀光板，光源采用脉冲宽度调制技术，通过R、G、B三通道的占空比调节，实现LED光源色彩调节，通过电位器，实现LED光源强度0～100％调节，顶部LED光源和两侧LED光源为CCD相机和多光谱相机提供均匀的、合适的成像光源；

采用空间雕刻技术，实现温室作物三维重建，在测量系统工作前需要对不同视角下工业相机进行标定，获得相机矩阵，温室作物信息与诊断测量系统主要工作流程：首先初始化各项参数，主要包括光源参数，角度参数和相机参数，其中光源参数通过PWM调控方式，RGB三通道根据不同的占空比脉冲，形成不同的波段的光源，为成像系统提供光源；角度参数为人为设置参数，即采集图像的视角数量，如采集视角间隔为30°，共计12个视角(每个相机采集2个视角图像)，那么旋台在零位处采集图像后，还要旋转1次，旋转30°，采集各个视角下作物图像，成像系统可通过旋台实现0～60°调节，6个CCD相机可实现0～360°全圆周任意视角图像采集；相机参数为标定的相机矩阵，主要由相机内部参数和外部参参数构成，标定不同高度情况下，形成相机矩阵库，实现任意测量高度调用；初始化参数后，启动LED光源，主要包括顶部LED光源和两个侧面光源，调节滑轨步进电机，在滑轨支架上安装有激光测距传感器，高度测量通过激光测距传感器信号实现，使得多光谱相机和CCD相机达到预先设置的成像高度；顶部成像系统通过精密旋台初始化至零位，等待测量信号。测量系统准备完毕后，启动移动式测量系统，执行直行信号，检测是否到达工作位，如到达工作位，则判断是否为停止工作位，若是停止工作位，则温室作物信息采集流程完成；若不是停止工作位，则启动多视角成像流程；多视角成像流程，首先同步触发多光谱相机C0和CCD相机C1～C6，然后通过顶部旋台调节成像系统角度，调节后同步触发C1～C6，根据角度数量，调节C1～C6的成像视角数量，完成图像采集后，判断是否为转弯工位，若是，则执行左转弯或有转弯信号，转弯完成后，启动多视角成像流程；若不是，则跳转至直行信号。信息采集流程完成后，启动作物信息计算流程，依次读取各个工作位的图像，车载服务器根据采集的多视角作物图像，进行二元掩膜识别，然后创建3D立方体网络，根据各个视角下的二元掩膜对立方体进行空间雕刻，将不属于作物区域雕刻掉；当空间雕刻完成后，进行表面颜色恢复处理，实现作物三维点云模型重建；根据作物三维点云模型，计算作物体积、高度、幅宽等三维形态参数；根据各个测量工位的多光谱图像和生理信息诊断模型，实现生理信息诊断；信息计算完成后，显示、存储与发布作物三维形态信息和生理信息参数，当各个测量工作作物信息计算完成后，生成温室作物全景视场图和作物信息表，完成整个测量流程。