CN107869962B - 一种基于空间雕刻技术的高通量设施作物三维形态信息测量系统 - Google Patents

Abstract

本发明公开了一种基于空间雕刻技术的高通量设施作物三维形态信息测量系统，其特征在于，包括成像室，所述成像室采用铝型材构建，为长方体结构，六面封闭，成像室内安装有RGB LED可调光源、视觉传感器、精密旋台、滑轨平台、激光测距传感器、光幕传感器、成像系统控制柜、服务器电脑以及作物三维形态信息测量图像处理软件。

Description

一种基于空间雕刻技术的高通量设施作物三维形态信息测量 系统

技术领域

本发明涉及作物三维形态信息测量领域，尤其是一种高通量设施作物三维形态信息测量系统。

背景技术

随着我国设施农业的发展，我国已是世界设施园艺第一生产大国，由于作物信息是设施园艺栽培实现智能化管理的重要依据，所以作物信息的高效、精准、可靠测量是设施园艺智能化装备急需解决的关键问题之一。设施作物三维形态信息主要包括植株三维形态信息和植株器官三维形态信息。所涉及的具体植株三维形态信息主要包括株高、株宽、体积、总叶面积、分蘖数等，具体植株器官三维形态信息主要包括果实数量、果实体积、果实直径、花朵数量、花朵体积、茎秆直径、叶面积等。传统作物三维形态信息测量主要靠人工测量和目测等方式获取，存在速度慢、强度大、主观性强、误差大等缺陷。在作物三维形态信息测量技术方面，目前有立体视觉、线激光三维扫描、2D/3D激光雷达、多视角立体成像等技术的作物三维信息形态测量方法。但是，多数产品只局限于结构简单、理想化的初期幼苗单体、整株作物或局部器官的三维形态信息测量，并且三维形态测量速度比较慢。此外，由于作物信息在生长周期内三维形态信息变化比较大，并且生长环境复杂，导致作物信息计算方法精度低和适用性弱，多数作物形态信息特征计算方法仅适用于特定生长阶段的作物信息测量，无法满足设施园艺智能化装备对全生长周期大规模作物三维形态信息高通量测量的需要，同时高通量作物三维形态信息测量技术的滞后也已成为制约作物功能基因组学和分子育种发展的瓶颈。因此，提高作物三维形态信息测量方法的效率、精度和适用性是作物形态信息测量系统需要解决的关键问题。鉴于高通量作物三维形态信息测量技术的重要性，对设施园艺栽培、作物分子育种等领域的发展具有重要的研究意义，就需要设计一种能够高效、精准、适用性强的作物三维形态信息测量设备。

发明内容

本发明旨在提供一种多视觉传感器同步触发，实现多视角作物图像捕获，能够适用于复杂三维形态作物三维高速重建与信息测量，具有高速获取作物三维形态信息的能力，且具有精度高、速度快、适用性强的高通量设施作物三维形态信息测量系统。

为实现上述目的，本发明提供如下技术方案：

基于空间雕刻技术的高通量设施作物三维形态信息测量系统，包括成像室，所述成像室采用铝型材构建，为长方体结构(六面封闭)，成像室内安装有RGB LED可调光源、视觉传感器、精密旋台、滑轨平台、激光测距传感器、光幕传感器、成像系统控制柜、服务器电脑以及作物三维形态信息测量图像处理软件等。RGB LED可调光源安装于成像室顶部和两侧(z轴向)。1个视觉传感器安装于成像室顶部，其余6个视觉传感器安装于滑轨平台支架上，成圆形等间距分布。滑轨平台安装于成像室中间两侧(z轴向)，激光测距传感器安装于滑轨平台支架下方，滑轨平台上下两端均安装有限位保护开关。光幕传感器安装于成像室入口两侧(z轴向)。成像室两侧(x轴向)均安装有电动移门。成像系统控制柜安装于成像室侧面(z轴向，外侧)，控制柜中主要包括：空气开关、电源模块、控制器、继电器、步进电机驱动器、信号中继器等。作物三维形态测量图像处理软件安装于服务器电脑上，多路视觉传感器通过USB线连接至服务器上，成像室控制器通过RS232线连接至服务器上。

作为本发明的进一步方案：所述RGB LED可调光源，采用RGB LED光带安装于长方形无边框铝合金灯箱中，面板采用白色匀光板。光源采用脉冲宽度调制技术，可实现光源强度和色彩调节，为视觉传感器提供均匀的、合适的成像光源。

作为本发明的进一步方案：所述视觉传感器，均匀等距安装于圆环支架上，采用多传感器同步触发方式，实现作物多视角同步成像，减少了多视角成像时间，该方案适用于复杂三维形态的作物三维高速重建与信息测量。

作为本发明的进一步方案：所述精密旋台，安装于成像室中间位置，采用步进电机驱动方式，作物放置在旋台上，精确控制作物旋转角度，同时捕获多视角作物图像，实现任意数量视角下作物图像捕获。

作为本发明的进一步方案：所述滑轨平台，采用步进电机驱动方式，且安装有上下限位保护和激光测距传感器，实现视觉传感器成像高度精确调节，满足作物三维形态周期性测量需求。

作为本发明的进一步方案：所述作物三维形态信息测量图像处理软件，采用空间雕刻原理，从多个角度对作物进行成像，每一个图像中都能检测到被测作物，并提取出一个二元掩膜，将二元掩膜根据测量时的视角投射到一个完整的数据立方体上，然后把那些不属于作物的部分被雕刻掉。随着投射的影像的不断增加，立方体越来越多的部分被雕刻掉，直到只剩下真正的3D作物。最后根据作物三维点云模型，提取其三维形态信息参数。

与现有技术相比，本发明的有益效果是：高通量设施作物三维形态信息测量系统，采用多视觉传感器同步触发方式，并结合精密旋台单轴运动，实现任意数量视觉的作物高速成像，同时获取作物深度信息以及颜色信息，满足复杂三维形态的作物三维高速重建与形态信息无损测量，该系统视觉传感器高度可以调节，能够适用于作物三维形态信息周期性测量。该系统测量精度高、速度快、适用性强，值得大力推广。

附图说明

图1为高通量设施作物三维形态信息测量系统成像室结构图(YZ轴)；

图2为高通量设施作物三维形态信息测量系统成像室结构图(XY轴)；

图3为高通量设施作物三维形态信息测量系统控制电路原理图；

图4为高通量设施作物三维形态信息测量系统软件流程图；

图5为视觉传感器多视角成像投影矩阵示意图；

图6为作物多视角掩膜识别示意图；

图7为1个视角下原图与二元掩膜图；

图8为1个视角空间雕刻作物三维点云效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明高通量设施作物三维形态信息测量系统是现代化植物工厂的核心设备，实现作物三维形态自动化高通量测量功能，其运行需要外围自动化传送系统配合使用，即传送系统将作物传送至成像室测量区。在本发明中仅对高通量设施作物三维形态信息测量系统实施例进行详细说明，自动化传送系统不在本发明申请保护范围内。

图1：成像室1，顶部LED光源2，侧面LED光源13，侧面LED光源24，测量系统控制柜5，滑轨16，步进电机17，下限位开关18，上限位开关19，激光测距传感器10，滑轨11，步进电机12，下限位开关13，上限位开关14，激光测量传感器15，自动化传送系统16，滑轨支架17，滑轨支架18，精密旋台19，作物20，万向支架21，工业相机22，工业相机23，工业相机24，工业相机25，工业相机26，工业相机27，支架28，工业相机29，伸缩杆30，电动移门开限位开关31，电动移门限位开关32。

图2：顶部LED光源33，侧面LED光源模块34，侧面LED光源模块35，步进电机36，滑轨37，工业相机圆形支架38，光幕传感器39，入口处电动移门40，出口处电动移门41，测量系统控制柜42，自动化传送系统43。

如图1所示，本发明成像室采用铝型材框架结构，成长方体形状，六面均采用铝板封闭，内侧采用亚光白色贴，其中X轴向两侧铝板安装在电动滑轨上，可打开与关闭，其余四面均为固定封闭面。成像室内安装有7个工业相机，其中1个安装于成像室顶部中间位置，其余6个工业相机均匀等距安装于圆环支架上，圆环支架固定在两侧滑轨支架上，滑轨支架安装在两侧滑轨上。两侧滑轨支架下方均安装有激光测距传感器，实现圆环支架高度测量与水平调整功能。两侧滑轨均采用步进电机驱动，实现成像高度精确调节功能。在两侧滑轨上端均安装有上限位开关，下端均安装有下限位开关，起到限位保护功能。圆环支架上的工业相机均采用万向支架连接，可实现角度调节功能。顶部工业相机连接在伸缩杆上，可以调节顶部相机的成像高度。顶部LED光源采用整块光源，中心区域设计与圆环状，用于安装顶部LED光源。两侧LED光源分别采用两块LED光源拼接，中间区域安装滑轨。成像室底部为自动化传送系统，当作物传送至旋台上方时，旋台根据设定旋转间隔角度和数量，实现作物角度精确旋转，同时工业相机采集各个视角下的作物图像。成像室控制柜安装于成像室外面测量。7个工业相机通过USB线连接测量系统服务器电脑，8个限位开关信号(滑轨上下限位各2个，X轴向两侧电动移门各2个，共8个)、1个旋台零位检测信号、2路激光测距传感器信号、2个光幕传感器信号、5个LED光源模块(顶部1个，Z轴向两侧各2个，共5个)电源线、3个步进电机驱动信号(精密旋台1个，滑轨步进电机2个，共3个)，2个直流电机驱动信号(电动移门2个)，均连接至测量系统控制器上，具体连接方式在图3中详细说明。

如图2所示，本发明成像室X轴向左右两侧采用电动移门，当自动传送系统将作物传送至成像室成像区域时，关闭两侧移门，使得成像室有一个固定的成像光环境。成像结束后，打开电动移门，将作物传送至作物架上，等待下一个作物成像流程。在Z轴向两侧的LED光源，采用拼装方式，侧面LED光源分为两块，在两块LED光源中间安装了滑轨，实现成像高度调节。光幕传感器安装在成像室X轴向入口处，实现作物轮廓测量功能。

如图3所示，本发明采用220VAC转24VDC开关电源给测量系统控制器供电。输入端主要包括：激光测距传感器D1、激光测距传感器D2、光幕传感器发射端D3、光幕传感器接接收端D4、左侧滑轨上限位开关SQ1、左侧滑轨下限位开关SQ2、右侧滑轨上限位开关SQ3、右侧滑轨下限位开关SQ4、电动移门入口处开限位SQ5、电动移门入口处关限位SQ6、电动移门出口处开限位SQ7、电动移门出口处关限位SQ8、精密旋台零位SQ9，信号线分别接入控制器输入端X1～X13。输出端主要包括：精密旋台电机M1、滑轨步进电机M2、滑轨步进电机M3、顶部LED光源、2个侧面LED光源、以及2个电动移门电机，其中精密旋台电机M1、滑轨步进电机M2和滑轨步进电机M3分别采用步进电机驱动器MD1、MD2和MD3驱动；顶部LED光源和2个侧面LED光源分别采用3个RGB分控器LA1、LA2和LA3控制，侧面LED光源分为2块，其供电方式为并联；2个电动移门电机采用控制24VDC直接驱动的直流电机。测量系统控制器通过RS232通讯线连接至服务器电脑端。顶部工业相机C0和圆环支架上的6个工业相机C1～C6分别通过USB通讯线连接至服务器电脑端。

如图4所示，本发明采用空间雕刻原理实现作物三维重建，在测量系统工作前需要对不同视角下工业相机进行标定，获得相机矩阵。设施作物三维形态测量系统主要工作流程：首先初始化各项参数，主要包括光源参数，角度参数和相机参数，其中光源参数通过PWM调控方式，RGB三通道根据不同的占空比脉冲，形成不同的光源颜色；角度参数为人为设置参数，即采集图像的视角数量，如采集视角间隔为20°，共计18个视角(每个相机采集3个视角图像)，那么旋台在零位处采集图像后，还要旋转2次，每次旋转20°，采集各个视角下作物图像；相机参数为标定的相机矩阵，主要由相机内部参数和外部参参数构成。初始化参数后，启动LED光源，主要包括顶部LED光源和两个侧面光源，调节滑轨步进电机1和电机2，使得工业相机达到预先设置的成像高度，高度测量通过激光测距传感器信号实现，在滑轨支架两端均安装有激光测距传感器，保持圆环支架水平。精密旋台初始化至零位，然后等待作物测量信号，即作物在自动化传送系统上，传送至成像室旁的待检测区时，进行作物三维形态测量。首先打开成像室入口移门，传送系统将待测量作物传送至成像区，然后关闭成像室入口移门，关闭后启动多视角成像流程。首先同步触发工业相机C0～C7，然后旋台步进电机根据旋转间隔，实现旋台角度调节，当到达测量角时，同步触发工业相机C1～C6，根据角度数量，判断是否再次调节旋台角度。当所有测量角图像都采集完成后，服务器根据采集的多视角作物图像，进行二元掩膜识别，然后创建3D立方体网络，根据各个视角下的二元掩膜对立方体进行空间雕刻，将不属于作物区域雕刻掉。当空间雕刻完成后，进行表面颜色恢复处理，实现作物三维点云模型重建。根据作物三维点云模型，计算作物体积、高度、幅宽等三维形态参数，然后显示与存储作物三维形态信息参数。测量完毕后，打开成像室出口移门，传送系统将作物传送至栽培架上，然后关闭成像室出口移门，并等待下一个待测量作物的信号。

如图5所示，为测量间隔10°时各个相机的雕刻场景图，主要包括相机的位置、图像以及雕刻对象的重心坐标信息。

如图6所示，为测量间隔10°时相机采集的各个视角下的作物图像掩膜识别。

如图7所示，为在某一个视角下，对立方体网络进行空间雕刻的效果图，其中左图为一个相机视角雕刻立方体的视角图，右图为单个视角雕刻的结果图。

如图8所示，为多视角空间雕刻的效果图。

Claims (1)

1.一种基于空间雕刻技术的高通量设施作物三维形态信息测量系统，其特征在于，包括成像室，所述成像室采用铝型材构建，为长方体结构，六面封闭，成像室内安装有RGB LED可调光源、视觉传感器、精密旋台、滑轨平台、激光测距传感器、光幕传感器、成像系统控制柜、服务器电脑以及作物三维形态信息测量图像处理软件；

RGB LED可调光源安装于成像室顶部和两侧，即z轴向，1个视觉传感器安装于成像室顶部，其余6个视觉传感器安装于滑轨平台支架上，成圆形等间距分布，滑轨平台安装于成像室中间两侧，即z轴向，激光测距传感器安装于滑轨平台支架下方，滑轨平台上下两端均安装有限位保护开关，光幕传感器安装于成像室入口两侧，即z轴向，成像室两侧，即x轴向,均安装有电动移门，成像系统控制柜安装于成像室侧面即z轴向的外侧，控制柜中主要包括：空气开关、电源模块、控制器、继电器、步进电机驱动器、信号中继器；作物三维形态测量图像处理软件安装于服务器电脑上，多路视觉传感器通过USB线连接至服务器上，成像室控制器通过RS232线连接至服务器上；

所述RGB LED可调光源，采用RGB LED光带安装于长方形无边框铝合金灯箱中，面板采用白色匀光板，光源采用脉冲宽度调制技术，实现光源强度和色彩调节，为视觉传感器提供均匀的、合适的成像光源；

所述视觉传感器，均匀等距安装于圆环支架上，圆环支架上的工业相机均采用万向支架连接，实现角度调节功能，顶部工业相机连接到伸缩杆上，调节顶部相机的成像高度，采用多传感器同步触发方式，实现作物多视角同步成像，减少了多视角成像时间，适用于复杂三维形态的作物三维高速重建与信息测量；

所述精密旋台，安装于成像室中间位置，采用步进电机驱动方式，作物放置在旋台上，精确控制作物旋转角度，同时捕获多视角作物图像，实现任意数量视角下作物图像捕获；

所述滑轨平台，采用步进电机驱动方式，且安装有上下限位保护和激光测距传感器，实现视觉传感器成像高度精确调节，满足作物三维形态周期性测量需求；

采用空间雕刻原理实现作物三维重建，在测量系统工作前需要对不同视角下工业相机进行标定，获得相机矩阵；设施作物三维形态测量系统主要工作流程：首先初始化各项参数，主要包括光源参数，角度参数和相机参数，其中光源参数通过PWM调控方式，RGB三通道根据不同的占空比脉冲，形成不同的光源颜色；角度参数为人为设置参数，即采集图像的视角数量，采集视角间隔为20°，共计18个视角，那么旋台在零位处采集图像后，还要旋转2次，每次旋转20°，采集各个视角下作物图像；相机参数为标定的相机矩阵，主要由相机内部参数和外部参数构成，初始化参数后，启动LED光源，主要包括顶部LED光源和两个侧面光源，调节滑轨步进电机1和电机2，使得工业相机达到预先设置的成像高度，高度测量通过激光测距传感器信号实现，在滑轨支架两端均安装有激光测距传感器，保持圆环支架水平，精密旋台初始化至零位，然后等待作物测量信号，即作物在自动化传送系统上，传送至成像室旁的待检测区时，进行作物三维形态测量，首先打开成像室入口移门，传送系统将待测量作物传送至成像区，然后关闭成像室入口移门，关闭后启动多视角成像流程；首先同步触发工业相机C0～C7，然后旋台步进电机根据旋转间隔，实现旋台角度调节，当到达测量角时，同步触发工业相机C1～C6，根据角度数量，判断是否再次调节旋台角度；当所有测量角图像都采集完成后，服务器根据采集的多视角作物图像，进行二元掩膜识别，然后创建3D立方体网络，根据各个视角下的二元掩膜对立方体进行空间雕刻，将不属于作物区域雕刻掉，当空间雕刻完成后，进行表面颜色恢复处理，实现作物三维点云模型重建；根据作物三维点云模型，计算作物体积、高度、幅宽三维形态参数，然后显示与存储作物三维形态信息参数，测量完毕后，打开成像室出口移门，传送系统将作物传送至栽培架上，然后关闭成像室出口移门，并等待下一个待测量作物的信号。

Images