CN110637644B - 面向苗床盆栽的设施花卉搬运协同作业控制方法 - Google Patents

Abstract

本发明公开了面向苗床盆栽的设施花卉搬运协同作业控制方法，属于设施农业领域。所述方法涉及的装置包括移动搬运装置和跨间转移装置，移动搬运装置利用3D相机和红外激光测距仪实现花卉的精确定位，控制抓手将栽培床上的花卉抓取，伸缩杆将花卉搬运起来，随着移动搬运装置的往复运动，实现花卉从栽培床到供盆机构的搬运；跨间转移装置可与移动搬运装置分离，实现行间转移，从而使移动搬运装置作用于多个栽培床。本发明可以实现花卉自动搬运，结构与方法简单可靠。

Description

面向苗床盆栽的设施花卉搬运协同作业控制方法

技术领域

本发明属于设施农业领域，通过3D相机对花卉进行精准定位，实现花卉盆栽的搬运、替换、补盆，同时也可以实现装置的跨间转移和温室移动喷灌机的快速换装。

背景技术

目前我国设施农业管理粗放、技术措施落实不到位、智能化水平低，导致单位生产效率低、投入产出比不高，且设施农业以传统经验生产为主，缺乏量化指标和配套集成技术，产品总体产量低。当前我国设施农业的平均产量仅为国外1/3-1/2，且设施农业生产仍以人力为主，劳动强度大，人均管理面积仅为美国、加拿大等发达国家的1/10。根据农业部公布的2016年度花卉产业数据，花卉盆栽种植面积和产值分别增加了9.67％、11.13％，但是设施栽培尤其是温室栽培面积下降了13.44％，这与世界花卉产业由露地栽培向高效规模化设施栽培发展的趋势相悖，也与整个设施园艺产业的快速增长趋势相反。究其原因，主要由于设施花卉生产过程中缺少机械化、自动化和智能化生产的技术和装备，从而导致设施花卉生产的劳动力成本和生产成本增加。

当前国内外对温室花卉的搬运进行了很多的研究，现有技术公开了一种体积小得花卉搬运小车，方便在温室大棚中进行移动，但是需要人工拖拽小车并且可运载的花卉数量较少；现有技术通过吊钩挂装在温室内桁架之间的轨道，安装一载运小车，其不足之处是小车不能实现自动化，且只能单行作业。

发明内容

针对现有技术的不足，本发明提出了面向苗床盆栽的设施花卉搬运协同作业控制方法，实现花卉的从花卉运载车到栽培床的往复搬运；同时，采用3D相机确定花卉位置并监测花卉的生长状况，对生长态势不好的花卉进行替换；另外，3D相机能够监测并确定花卉的搬运高度，所以此装置可以适用于不同高度的栽培床；抓手装置还可以实现与喷灌机的快速换装，所以装置不占用空间，应用范围广。

本发明是通过以下技术方案实现上述技术目的的。

面向苗床盆栽的设施花卉搬运协同作业控制方法，3D相机根据实时视觉信息获取花卉的位置信息，控制器根据花卉的位置信息控制移动搬运装置移动，实现沿既定轨迹运动的供盆机构和栽培床之间的花卉搬运。

进一步，所述位置信息包括供盆机构或栽培床中单颗花卉最高点距离3D相机镜头的高度h₁，供盆机构或栽培床距离3D相机镜头的高度h以及花卉图像分割后的边缘位置与摄像头X方向的距离l₁、l₃，红外激光测距仪到花卉的距离l₂。

进一步，所述移动搬运装置包括轨道A，轨道A与轨道B可分离对接，轨道A上设有可移动的承载板A，承载板A下端设有3D相机及伸缩杆，伸缩杆下端安装抓手，抓手下端设有红外激光测距仪。

更进一步，所述抓手可与外部水源连通的喷嘴替换，完成移动喷灌机的安装。

更进一步，所述轨道B安装在吊装架上，吊装架固定在轴B下端，轴B两端能够沿轨道C移动，轴B由电机B驱动。

进一步，所述花卉搬运后，3D相机由建立的花卉生长模型确认长势不好的花卉，进行替补盆。

更进一步，所述花卉生长模型的建立过程为：

3D相机采集花卉的可见光图像和深度图像，进行单株花卉的图像分割，取单株花卉边缘多个拐点坐标(x_b1，y_b1)，(x_b2，y_b2)…(x_bi，y_bi)计算单株花卉的花冠的叶面积：

…

通过深度图像得到单株花卉的株高为H，则花卉生长模型为：

其中Δ为比较系数。

更进一步，所述图像分割的具体方法为：

步骤1)：根据深度图像确定花卉最高点的位置(x₀,y₀)，以此位置的像素点作为阈值；

步骤2)：将可见光图像转化为灰度图像，依次遍历(x₀,y₀)周围的像素，并与阈值比较，取四个小于阈值的像素对应的坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；

步骤3)：分别计算(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)到(x₀,y₀)的距离r_i，i＝1，2，3，4；

步骤4)：取r_i中的最大值r，以(x₀,y₀)为圆心r为半径进行图像分割；

步骤5)：取下一个花卉最高点，重复步骤(1)-(4)完成图像分割。

进一步，所述花卉生长模型、实时视觉信息、供盆机构运动、移动搬运装置移动的协调配置系统为：

y＝Cx+Dp+Fw

z＝Gy

e＝y-y_r

其中：系统状态向量x∈Rⁿ，Rⁿ为n维状态空间；系统输入向量p∈R^m，包括花卉生长模型、实时视觉信息，R^m为m维状态空间；系统输出量包括y∈R¹、z∈R¹，分别为移动搬运装置的位置信息、供盆机构的位置信息，R¹为1维状态空间；干扰项w∈R^p，R^p为p维状态空间；理论参考输入y_r∈R¹；e是系统的实际输出和参考输入之间的偏差，A、B、C、D、E、F、G为相关系数。

本发明具有的有益效果是：本发明利用抓手、伸缩杆、3D相机、电机、红外激光测距仪等组成花卉搬运协同作业控制系统；采用基于深度图像的阈值分割获取花卉的边缘位置信息，建立基于花冠叶面积与株高的花卉生长模型；构建融合花卉生长信息、实时视觉信息和供盆机构运动、移动搬运装置运动的动态参量模型，实现作业目标物识别、作业机构路径规划与运动、供盆机构运动补偿的协同作业控制；此系统能实现温室大棚中多个花盆从花盆供盆机构和栽培床之间的搬运；搬运移动装置可以和移动喷灌机实现快速换装；移动抓手的间距可以根据花卉不同生长阶段的需要进行人工调节；基于3D的花卉位置识别精确度高，同时也可以监测花卉的生长状况。

附图说明

图1为面向苗床盆栽的设施花卉搬运控制系统示意图；

图2为移动搬运装置示意图；

图3为承载板以及电机示意图；

图4为跨间转移装置示意图；

图5为抓手安装示意图；

图6为换装喷灌机示意图；

图7为3D相机识别过程示意图；

图8为移动搬运装置在供盆机构上3D相机确定的位置参数示意图；

图9为移动搬运装置在供盆机构上红外激光测距仪确定的位置参数示意图；

图10为移动搬运装置在栽培床上3D相机确定的位置参数示意图；

图11为移动搬运运行流程图。

图中：1-跨间转移装置，2-移动搬运装置，3-花卉，4-栽培床，5-控制箱，6-滚轮A，7-电机A，8-3D相机，9-连接杆，10-伸缩杆，11-安装板A，12-可变抓手，13-限位开关A，14-轴A，15-轴套A，16-齿轮，17-承载板A，18-轨道A，19-接口，20-承载板B，21-电机B，22-轴套B，23-轨道B，24-限位开关B，25-滚轮B，26-轨道C，27-吊装架，28-安装槽口，29-安装板B，30-喷嘴，31-红外激光测距仪，32-轴B，33-供盆机构。

具体实施方式

下面结合附图和具体实施方式，对本发明的技术方案作进一步详细说明。

参照图1，面向苗床盆栽的设施花卉协同作业控制系统，包括跨间转移装置1、移动搬运装置2、栽培床4、控制箱5和供盆机构33，工作过程中，跨间转移装置1与移动搬运装置2配合，移动搬运装置2抓取栽培床4和供盆机构33上的花卉，栽培床4设有控制箱5，控制箱5中设有花卉搬运启动按钮、花卉搬运停止按钮、跨间转移启动按钮、跨间转移前进按钮、跨间转移后退按钮、移动喷灌启动按钮、移动喷灌停止按钮、替换补盆启动按钮、替换补盆停止按钮。

如图4所示，跨间转移装置1由承载板B20、电机B21、限位开关B24、轨道C26、轨道B23、吊装架27、轴B32、轴套B22、滚轮B25构成，四个轴套B22将承载板B20固定在轴B32上，承载板B20上安装有电机B21，电机B21的电机轴与轴B32的齿轮啮合，轴B32两端分别通过滚轮B25卡在轨道C26上，轨道C26由温室支架支撑，轴B32下端固定吊装架27，吊装架27上安装限位开关B24，吊装架27上安装有轨道B23。

如图2、3所示，移动搬运装置2包括轨道A18、限位开关A13、滚轮A6、电机A7、轴套A15、承载板A17、轴A14、3D相机8、连接杆9、伸缩杆10、安装板A11、可变抓手12、红外激光测距仪31构成，轨道A18在接口19处与轨道B23对接，轨道A18与轨道B23可分离，轨道A18末端设有限位开关A13，四个轴套A15将承载板A17固定在轴A14上，滚轮A6安装在轴A14的两侧并卡在轨道A18上，承载板A17上安装有电机A7，电机A7的电机轴与滚轮A6上的齿轮16啮合，承载板A17下端固定连接连接杆9，连接杆9连接伸缩杆10，伸缩杆10下端通过安装板A11安装可变抓手12，具体为：安装板A11上加工有如图5所示的安装槽口28，安装槽口28中安装可变抓手12，可变抓手12内部两侧设有弹簧，可以抓取直径在一定范围内的花卉3，安装板A11下端设有红外激光测距仪31；如图6所示，伸缩杆10下端还可以通过安装板B29安装喷嘴30，喷嘴30设有电磁阀，喷嘴30通过管道与外部水源连通。

下面将具体描述设施花卉协同作业控制系统的工作过程：

如图7所示，平行于移动搬运装置2运动方向且远离跨间转移装置1的方向为X的正方向、垂直于移动搬运装置2运动且指向图内方向为Y的正方向、垂直向下的方向为Z的正方向。

一、如图11所示，移动搬运的运行过程(该过程是将供盆机构33上的花卉搬运至栽培床4上)

步骤(1)，按下控制箱5中的花卉搬运启动按钮，移动搬运装置2开始沿-X方向运动，带着3D相机8采集图像；

步骤(2)，3D相机8检测到沿既定轨迹运动的供盆机构33上的花卉3，记录当前位置，并以当前位置为坐标系原点，3D相机8进行可见光图像和深度图像的获取，将图像发送给控制器进行图像分割，得到供盆机构33中单颗花卉最高点距离3D相机8镜头的高度h₁，供盆机构33距离3D相机8镜头的高度h，以及花卉3图像分割的边缘位置与摄像头X方向的距离l₁，从而确定花卉的位置信息(图8)，并发送给控制箱5，控制箱的控制器采用李亚普诺夫方法引入残差与逼近误差和的上界函数的自适应补偿项，以最小误差驱动电机A7，使移动搬运装置2沿3D相机8的-X方向移动l₁；

3D相机8将位置信息的数字量传递给控制箱5，控制箱5中的控制器输出脉冲信号给移动搬运装置2，实现精确定位；采用李亚普诺夫参数模型判断系统的稳定性，再根据稳定性判据进行位置补偿。

移动搬运装置2的李亚普诺夫函数运动方程：

V＝G(x，y)

李亚普诺夫函数V在相空间邻域D中的关于系统的全导数为：

(x_a1，y_a1)，(x_a2，y_a2)...(x_ai，y_ai)为图像分割获取的边缘位置坐标，t为移动搬运装置2运动时间，如果全导数

是正的(即对于D中所有

则方程是不稳定的，则重新进行图像分割。

步骤(3)：控制器控制伸缩杆10伸长到极限位置，红外激光测距仪31检测到花卉的距离l₂(图9)，移动搬运装置2在电机A7的驱动下移动l₂，可变抓手12将供盆机构6中花卉3抓取；

步骤(4)：伸缩杆10收缩(h-h₁)的距离，花卉随伸缩杆10的收缩而升起；

步骤(5)：电机A7在控制器的输出信号作用下反向转动，移动搬运装置2沿3D相机8X方向移动，将花卉放置在栽培床4上，此时有两种情况，第一种情况是移动搬运装置2搬运第一批花卉，如果移动搬运装置2沿3D相机8X方向运动，且3D相机8在这一过程中并没有监测到花卉，承载板A17触碰到限位开关A13，电机A7将停止转动，伸缩杆10伸长(h-h₁)的距离，将花卉放置在栽培床4上；第二种情况，3D相机8检测到花卉，记录当前位置，并以当前位置为新的坐标系原点，并确定花卉图像分割的边缘位置与3D相机8的X方向的距离l₃(图10)，电机A7驱动移动搬运装置2沿摄像头X方向移动l₃，伸缩杆10伸长(h-h₁)的距离，将花卉放置在栽培床4上；

步骤(6)：重复上述过程，当栽培床4上放满花卉以后，先后按下的控制箱5的花卉搬运停止按钮和跨间转移启动按钮，移动搬运装置2开始沿-X方向运动；

步骤(7)：滚轮A6触碰到限位开关B24时，电机A7停止转动；

步骤(8)：按下控制箱5的跨间转移前进或后退按钮，电机B21转动，带动跨间转移装置1在轨道C26上移动，轨道A18与轨道B23分离，直至接口19与下一移动搬运装置2的轨道对齐；

步骤(9)：再次按下控制箱5花卉搬运启动按钮开始下一栽培床的花卉搬运。

供盆机构33按照控制器预先设定的轨迹运动，依据PID控制实现行走的导航与路线纠正：

其中：K_p为比例控制参数，K_I为积分控制参数，K_D为微分控制参数，u(k)为供盆机构的输出量；

Δu(k)＝K_p*[e(k)-e(k-1)]+K_I*e(k)+KD*[e(k)-2e(k-1)+e(k-2)]

其中：Δu(k)为输出变化量，偏移值e(k)由循迹偏离位置决定，当偏离位置为“正中”时，偏离e(k)＝0；当行进往右偏离，偏离值为正值；当行进往左偏离，偏离值为负值。

二、花卉的监测与替换补盆过程：

步骤(1)：按下控制箱5的花卉替换补盆启动按钮，移动搬运装置2开始沿X方向运动；

步骤(2)：3D相机8检测到花卉时，记录当前位置，并以当前位置为坐标原点，然后进行可见光图像和深度图像的获取，利用可见光图像进行图像分割计算花冠的叶面积，深度图像测定花卉株高，以花冠叶面积和花卉株高建立花卉生长模型并与数据库对比，确定生长态势不好的花卉，同时利用单株花卉图像分割获取的边缘位置信息，确定长势不好的花卉的图像分割的边缘位置与3D相机的X方向的距离l₃，控制器根据位置信息使移动搬运装置2沿X方向移动l₃的距离；

花卉生长模型具体为：

①根据可见光图像和深度图像，进行单株花卉的图像分割，计算单株花卉的花冠的叶面积：

取单株花卉边缘多个拐点坐标(x_b1，y_b1)，(x_b2，y_b2)…(x_bi，y_bi),单株花卉的面积为：

…

②通过深度图像得到单株花卉的株高为H，则花卉生长模型为：

本实施例比较系数Δ＝0.991，当Δ过大或过小时为生长态势差的花卉。

步骤(3)：控制器发送信号使伸缩杆10伸长到极限位置，红外激光测距仪31检测可变抓手12到花卉3盆栽的距离l₂，移动搬运装置2在电机A7的驱动下移动l₂，可变抓手12将栽培床4上花卉3抓取；

步骤(4)：花卉3放置在供盆机构33中的过程同移动搬运的步骤(4)-(5)；

步骤(5)：补盆时抓取供盆机构33上的花卉同移动搬运的步骤(1)-(3)；

步骤(6)：控制器根据步骤(2)获取的边缘位置信息，发送信息给电机A7，电机A7带动移动搬运装置2移动到对应的位置，将花卉放置在该位置。

上述过程中，图像分割的具体方法为：

步骤1)：根据3D相机8获取的深度图像，确定花卉最高点的位置(x₀,y₀)，以此位置的像素点作为阈值；

步骤2)：将可见光图像转化为灰度图像，依次遍历(x₀,y₀)周围的像素，并与阈值比较，取四个小于阈值的像素对应的坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；

步骤3)：分别计算(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)到(x₀,y₀)的距离r_i，i＝1，2，3，4；

步骤4)：取r_i中的最大值r，以(x₀,y₀)为圆心r为半径进行图像分割；

步骤5)：取下一个花卉最高点，重复步骤(1)-(4)完成图像分割。

三、移动喷灌过程：

步骤(1)：将安装板A11拆下，安装上带有喷嘴30的安装板B29；

步骤(2)：按下控制箱5的移动喷灌启动按钮，移动搬运装置2在电机A7带动下沿X方向运动；

步骤(3)：3D相机8进行花卉可见光图像和深度图像的获取，利用获取的数据进行图像分割，最终得到单颗花卉最高点距离3D相机8镜头的高度h₁，栽培床距离3D相机8镜头的高度h，同时移动伸缩杆收缩(h-h₁)的距离；

步骤(4)：根据3D相机8可视范围内的分割单株花卉的面积大小，判断栽培床4上花卉分布的密集程度，根据密集程度来调节喷嘴30电磁阀的开合大小，使喷嘴30出水量符合花卉的生长与排列疏密程度；

步骤(5)：承载板A17触碰到限位开关A13，电机A7反转带动移动搬运装置2开始沿-X方向运动，直至触碰到限位开关B24，以此实现喷灌机对花卉的往复喷洒；

步骤(7)：按下控制箱5的移动喷灌机停止按钮，电机A7停止转动。

3D相机8进行可见光图像和深度图像的获取时，采用的实时视觉位置信息参量模型为：

由于花卉的背景复杂，采用改进谱残差模型对目标候选窗口区域进行处理，消除纹理响应，加强边缘轮廓的梯度显著性，以便建立相应的梯度图。

对目标候选区域进行处理，采用高斯平滑滤波：

f_σ(x，y)＝f(x，y)*g_σ(x，y)

其中：f_σ(x，y)为滤波后的区域函数，f(x，y)为选取的区域函数，g_σ(x，y)为高斯函数；

在目标候选区域梯度图内取N*N的邻域，将其转换成频域，再对频域取对数，获得对数谱：

logW(u，v)＝logA(u，v)+i*P(u，v)

其中：W(u，v)为傅里叶频谱，A(u，v)为幅度谱，i*P(u，v)为相位谱；

将幅度谱转化为对数谱，再对对数谱进行线性空间滤波，将对数谱与滤波对数谱作差得到残余谱：

L(u，v)＝log(A(u，v))

R(u，v)＝L(u，v)-h*L(u，v)

其中：R(u，v)为残余谱；L(u，v)为对数谱；

将残余谱作为实时视觉位置信息参量模型。

本发明花卉生长信息、实时视觉信息、供盆机构运动、移动搬运装置运动的协调配置的鲁棒控制系统设计为：

y＝Cx+Dp+Fw

z＝Gy

e＝y-y_r

其中：系统状态向量x∈Rⁿ，Rⁿ为n维状态空间；系统输入向量p∈R^m，包括花卉生长信息、实时视觉信息，R^m为m维状态空间；y∈R¹，是输出向量移动搬运装置的位置信息，R¹为1维状态空间；w∈R^p，为干扰项(图像分割时出现叶片重复遮挡)，R^p为p维状态空间；理论参考输入y_r∈R¹；z∈R¹，是输出向量供盆机构的位置信息；e反应了系统的实际输出和参考输入之间的偏差，A、B、C、D、E、F、G为相关系数，R为实数。

通过获取的花卉生长信息和实时视觉信息，根据鲁棒控制系统对移动搬运装置和供盆机构的运动进行矫正以减少运动误差。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化和修改，并不影响本发明的实质内容。在不冲突的情况下，本申请实施例中的特征可以任意相互组合。

Claims (4)

1.面向苗床盆栽的设施花卉搬运协同作业控制方法，其特征在于，3D相机（8）根据实时视觉信息获取花卉的位置信息，控制器根据花卉的位置信息控制移动搬运装置（2）移动，实现沿既定轨迹运动的供盆机构（33）和栽培床（4）之间的花卉搬运；

所述花卉搬运后，3D相机（8）由建立的花卉生长模型确认长势不好的花卉，进行替补盆；

实时视觉信息、供盆机构运动、移动搬运装置移动及花卉生长模型的协调配置系统为：

其中：系统状态向量

，

为n维状态空间；系统输入向量

，包括花卉生长模型、实时视觉信息，

为m维状态空间；系统输出量包括

、

，分别为移动搬运装置的位置信息、供盆机构的位置信息，

为1维状态空间；干扰项

，

为p维状态空间；理论参考输入

；e是系统的实际输出和参考输入之间的偏差，A、B、C、D、E、F、G为相关系数；

所述位置信息包括供盆机构（33）或栽培床（4）中单颗花卉最高点距离3D相机（8）镜头的高度h ₁，供盆机构（33）或栽培床（4）距离3D相机（8）镜头的高度h以及花卉（3）图像分割后的边缘位置与摄像头X方向的距离l ₁、l ₃，红外激光测距仪（31）到花卉的距离l ₂；

所述移动搬运装置（2）包括轨道A（18），轨道A（18）与轨道B（23）可分离对接，轨道A（18）上设有可移动的承载板A（17），承载板A（17）下端设有3D相机（8）及伸缩杆（10），伸缩杆（10）下端安装抓手（12），抓手（12）下端设有红外激光测距仪（31）；

所述花卉生长模型的建立过程为：

3D相机（8）采集花卉的可见光图像和深度图像，进行单株花卉的图像分割，取单株花卉边缘多个拐点坐标（x_b1，y_b1），（x_b2，y_b2）…（x_bi，y_bi）计算单株花卉的花冠的叶面积：

通过深度图像得到单株花卉的株高为H，则花卉生长模型为：

其中

为比较系数。

2.根据权利要求1所述的面向苗床盆栽的设施花卉搬运协同作业控制方法，其特征在于，所述抓手（12）可与外部水源连通的喷嘴（30）替换，完成移动喷灌机的安装。

3.根据权利要求1所述的面向苗床盆栽的设施花卉搬运协同作业控制方法，其特征在于，所述轨道B（23）安装在吊装架（27）上，吊装架（27）固定在轴B（32）下端，轴B（32）两端能够沿轨道C（26）移动，轴B（32）由电机B（21）驱动。

4.根据权利要求1所述的面向苗床盆栽的设施花卉搬运协同作业控制方法，其特征在于，所述图像分割的具体方法为：

步骤1）：根据深度图像确定花卉最高点的位置（x₀,y₀），以此位置的像素点作为阈值；

步骤2）：将可见光图像转化为灰度图像，依次遍历（x₀,y₀）周围的像素，并与阈值比较，取四个小于阈值的像素对应的坐标（x₁,y₁）、（x₂,y₂）、（x₃,y₃）、（x₄,y₄）；

步骤3）：分别计算（x₁,y₁）、（x₂,y₂）、（x₃,y₃）、（x₄,y₄）到（x₀,y₀）的距离r_i，i=1，2，3，4；

步骤4）：取r_i中的最大值r，以（x₀,y₀）为圆心r为半径进行图像分割；

步骤5）：取下一个花卉最高点，重复步骤1）-4）完成图像分割。

Images