CN112673858A - 一种基于机器视觉的穴盘种苗低损移植方法 - Google Patents

Abstract

本发明公开一种基于机器视觉的穴盘种苗低损移植方法，包括下列步骤：步骤一、获取种苗图像；步骤二、提取种苗轮廓；步骤三、求轮廓极值点坐标；步骤四、坐标转换；步骤五、计算安全点坐标；步骤六、机械手快速运动到安全点；步骤七、取苗；步骤八、运苗；步骤九、放苗。本发明，通过创新，改变了种苗移植机的结构，提高了移植作业效率，同时有效防止了移植种苗时取苗针对种苗的损伤；具体分析如下：通过移植机械手进行改进，将机械手结构调整为三部分，上部的气缸、设置在气缸基座上的取苗针和设置在气缸活塞杆上的挡苗组件，取苗时，移植机械手采取沿侧边水平运动，侧挡板挡住种苗叶片，有效防止取苗针损伤种苗叶片。

Description

一种基于机器视觉的穴盘种苗低损移植方法

技术领域

本发明属于穴盘种苗移栽技术领域，具体涉及一种基于机器视觉的穴盘种苗低损移植方法。

背景技术

穴盘育苗技术是欧美国家20世纪70年代兴起的一项新的育苗技术，穴盘育苗技术是采用不同规格的穴盘做容器，以草炭、蛭石、椰子皮等材料为基质，对种子进行培育，是一次成苗的现代化体系。穴盘的大小几乎都相同，但有不同的格数，根据不同的作物选择不同格数的穴盘。当作物在穴盘中长到一定程度的时候，就需要将作物移植到低密度、大空间的栽培槽中，这时就需要穴盘种苗移植装置。穴盘种苗移植装置是针对蔬菜和花卉幼苗进行移植的装置。在国外，荷兰、美国等国家穴盘种苗移植技术发展已较为成熟，其移植对象主要是盆栽花卉种苗，设施水培蔬菜生产过程中种苗移植作业主要采用人工，人工移植作业不仅劳动强度大、效率低、损伤较大且移植质量不稳定，人工成本也在逐年攀升。

由于种苗移植作业主要采用人工作业，劳动强度大且移植效率低，近年来，中国设施园艺装备虽不断发展，但机械水平还相对落后，严重缺乏应用于主要生产环节的机械化装备。由于在开发研制高效可靠的移植设备时，低损移植是移植作业中的关键所在。目前移植机械手的研究主要是在种苗移植过程中末端执行器对穴盘种苗的基质抓取作业性能，作业时移植机械手通常在种苗的正上方进行作业，对枝叶宽大的种苗，移植机械手在下移过程中容易损伤种苗，降低了移植存活率。

发明内容

本发明的目的是针对上述问题，提供一种基于机器视觉的穴盘种苗低损移植方法。该方法通过机器视觉获取种苗的高度和边缘信息，移植机械手采取沿种苗侧边下移，移至与穴盘高度平齐，然后水平运动到移植作业位置，可以有效地防止压伤种苗。

为实现上述目的，本发明采用如下技术方案：一种基于机器视觉的穴盘种苗低损移植方法，包括下列步骤：

步骤一、获取待移植穴盘种苗的种苗图像；

步骤二、对步骤一获取的种苗图像进行种苗轮廓提取；具体提取方法如下：

S21、将步骤一获得的种苗图像转换为HSV格式的种苗图像；S22、对步骤S21得到的种苗图像，采用inRange函数判断种苗图像中每一个像素是否在[lowerb，upperb]之间；如果结果为是，在输出图像相应像素位置填入255，如果结果为否，在输出图像相应像素位置填入0，此时获得的图像为二值图像；其中lowerb为提取颜色的低值，upperb为提取颜色的高值；S23、对步骤S22得到的二值图像，采用中值滤波进行处理，获取种苗轮廓；

步骤三、对步骤二得到的种苗轮廓求极值点坐标；

步骤四、将步骤三得到的极值点坐标转换为对应的现实世界坐标；

步骤五、根据步骤四所得现实世界坐标，进一步计算出移植机械手应到达的安全点的世界坐标；

步骤六、伺服电机驱动移植机械手运动到步骤五所计算得到的安全点的世界坐标位置；

步骤七、移植机械手进行取苗作业，取苗时取苗针插入穴盘种苗基质；

步骤八、伺服电机驱动移植机械手将穴盘种苗运送到栽培槽；

步骤九、移植机械手将穴盘种苗放入栽培槽，从而完成穴盘种苗低损移植。

进一步优化，所述步骤五中，具体计算方法如下：步骤四所得极值点对应的现实世界坐标为一列穴盘种苗的上极值点A和右极值点B，提取上极值点A的Yw值和右极值点B的Xw值，并分别加2mm，作为XwOwYw平面的安全点的世界坐标，Zw与取苗作业点的Z值相同。

进一步优化，步骤一中，采用深度相机获取待移植的种苗图像。

进一步优化，所述步骤一中，具体操作方法如下：将深度相机放置在离种苗90mm处，深度相机应正对即将移植的种苗列，深度相机高度应与种苗高度保持一致，深度相机的视野中应包含即将移植的种苗列的所有种苗，保证在相机视野中除种苗外无其它绿色物品干扰；获取图像方式为实时获取，一列种苗移植完成后，深度相机由伺服电机驱动运动至下一种苗列获取图像，直至穴盘种苗全部移植完成，深度相机返回第一列所在位置。

进一步优化，所述步骤二中，对步骤二得到的种苗轮廓求极值点坐标，具体方法如下：S31、采用cv2.findContours()函数检索图像中的外轮廓；S32、采用cv2.boundingRect()函数用一个最小矩形将找到的外轮廓形状包起来，返回x、y、w和h四个值，(x，y)是矩阵左上角的坐标，w、h是矩阵的宽和高；若一幅图像中出现多个连通域，则取与矩形相交的极值点坐标。

进一步优化，移植机械手包括设置在气缸基座上的取苗针和设置在气缸推杆上的挡苗组件，挡苗组件包括水平设置的下推板和设置在下推板一端的侧挡板，侧挡板的一侧端面与下推板的端部垂直连接，其另一侧端面用于推动穴盘种苗叶片，以将穴盘种苗与取苗针隔离开，所述步骤七中，具体操作方法如下：S71、气缸驱动移植机械手匀速向下运动到作业点水平位置；S72、伺服电机驱动移植机械手沿水平方向匀速向前，侧挡板的另一侧端面推动种苗叶片到达作业点运动，保证取苗针在插入基质时不会对穴盘种苗造成损伤；S73、取苗针插入穴盘种苗的基质；S74、垂直向上取出穴盘种苗，运动至安全点，完成取苗作业。

进一步优化，步骤九中，具体操作方法如下：将穴盘种苗放入栽培槽，随着气缸推杆的推动，下推板向下推动将穴盘种苗推下，穴盘种苗脱离取苗针落入栽培槽中，进而完成放苗作业。

进一步优化，步骤九后，穴盘种苗放入栽培槽后，移植机械手需要回归原点进行重新定位，以保证随着移植工作次数的增加，移植机械手位置偏差不会逐渐叠加增大。

本发明的有益效果是：

1、本发明，通过创新，改变了种苗移植机械手的结构，提高了移植作业效率，同时有效防止了移植种苗时取苗针对种苗的损伤；具体分析如下：通过移植机械手进行改进，将机械手结构调整为三部分，上部的气缸、设置在气缸基座上的取苗针和设置在气缸活塞杆上的挡苗组件，取苗时，移植机械手采取沿侧边水平运动，侧挡板挡住种苗叶片，有效防止取苗针损伤种苗叶片。放苗作业时，气缸推杆推动下推板并带动侧挡板向下运动，侧挡板挡住了取苗针的下部，有效防止取苗针取出时损伤种苗叶片。

2、优化种苗移植方法，本方案采用机器视觉通过深度相机获取图像；再对图像进行色彩空间颜色特征提取；采用中值滤波对图像进行降噪处理，获得种苗轮廓图像；在该图像上绘制最小矩形包含所有轮廓，有效避免输出多个极值点；经过坐标转换后，求得安全点坐标，使机械手以最快速度到达安全点，既不会损伤种苗，又提升了移植作业的效率；本方案中通过采用机器视觉获取种苗的高度和边缘信息，从而给机械手设定安全点，机械手可以快速运动至安全点而不会损伤种苗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的基于机器视觉的穴盘种苗低损移植的方法流程图。

图2为本发明实施例中的世界坐标系到图像坐标系的转换关系示意图。

图3为本发明实施例中的基于机器视觉的穴盘种苗低损移植的方法示意图。

图4为本发明实施例中的移植机械手的结构示意图。

图中标记：1、伺服电机，2、安装板，3、滑轮，4、驱动轴，5、滑块，6、L形连接件，7、气缸，8、气缸推杆，9、下推板，10、侧挡板，11、取苗针，12、穴盘种苗，13、栽培槽，14、深度相机，15、相机滑轨。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

如图1所示：本实施例提供一种基于机器视觉的穴盘种苗低损移植方法，包括下列步骤：S1.获取待移植穴盘种苗12的种苗图像；将深度相机14放置在离种苗90mm处，深度相机14应正对即将移植的种苗列，相机高度应与种苗高度保持一致，深度相机14的视野中应包含即将移植的种苗列的所有种苗，保证在相机视野中除种苗外无其它绿色物品干扰；获取图像方式为实时获取，一列种苗移植完成后，深度相机14由电机驱动，并沿相机滑轨15运动至下一种苗列获取图像，直至穴盘种苗12全部移植完成，深度相机14返回第一列所在位置。

S2.对步骤S1获取的种苗图像进行种苗轮廓提取；具体为采用HSV色彩空间颜色特征提取，具体提取方法如下：S21.将步骤S1获得的图像转换为HSV格式的图像；S22.对步骤S21得到的图像，采用inRange函数判断图像中每一个像素是否在[lowerb，upperb]之间，注意集合的开闭。如果结果为是，那么在输出图像相应像素位置填入255，反之则填入0，此时获得的图像为二值图像。其中lowerb为提取颜色的低值，upperb为提取颜色的高值。S23.对步骤S22得到的二值图像，采用中值滤波处理，该方法在消除噪声的同时能保留图像的边缘细节，从而得到种苗的轮廓。

S3.对步骤S2得到的种苗轮廓求极值点坐标；具体步骤包括：S31.采用cv2.findContours()函数检索图像中的外轮廓；S32.为防止一幅图像中出现多个连通域，使求得的极值点不准确。采用cv2.boundingRect()函数用一个最小矩形将找到的形状包起来，返回x、y、w、h四个值，(x，y)是矩阵左上角的坐标，w、h是矩阵的宽和高。如有多个连通域，则取与矩形相交的极值点。S33.该低损移植方法中，移植机械手从所获取图像的右侧进行作业，故采用下列函数求得轮廓的上极值点和右极值点即可。如有多个连通域，则取与矩形相交的极值点。

rightmost＝tuple(cnt[cnt[:,:,0].argmax()][0])

topmost＝tuple(cnt[cnt[:,:,1].argmin()][0])

S4.将步骤S3得到的极值点坐标转换为对应的现实世界坐标；具体步骤包括：S41.将像素坐标(u,v)转换为相机坐标(Xc,Yc,Zc)，转换关系如下：

Zc＝depth

其中depth为像素点对应的深度，由深度相机14获得；f_x，f_y为深度相机14的焦距，cx，cy为深度相机14的主点；

S42.将相机坐标转换为现实世界坐标，转换关系如下：

其中R为旋转矩阵，T为平移矩阵，现实世界坐标的原点在移植机械手的两个取苗针11针尖下端头连线的中点位置。

在上述步骤中，深度相机14从种苗被移植一侧开始拍摄种苗图像，每次拍摄一排穴盘种苗12的侧边图像，经过图像处理，获取穴盘种苗12侧边最边缘点与最高点，根据两点的像素坐标进行单排种苗的最高点与最侧边点的定位，获取两点的现实世界坐标，根据该坐标进行移植机械手的路径规划，判断出合适的插入位置，使移植机械手在移植过程中可在保证运动轨迹最短的情况下，避免对种苗叶与茎的损伤，使种苗移植机械手对种苗的损坏降低到最小。

S5.根据步骤S4所得极值点世界坐标，进一步计算出移植机械手到达的安全点S的世界坐标；

步骤S4所得极值点为一列种苗的上极值点A和右极值点B，提取上极值点的Yw值和右极值点的Xw值，并分别加2mm，作为XwOwYw平面的安全点坐标，Zw与取苗作业点Z的值相同，一列种苗共12株，共输出12个安全坐标点。其中穴盘种苗12的位置已知，故取苗作业点已知。

S6.伺服电机1驱动移植机械手快速运动到步骤S5计算得到的安全点坐标位置；

具体的，伺服电机1驱动6个移植机械手快速运动到靠近相机的前6个安全点坐标。在安全点以外范围机械手快速运动，可以节约时间提高效率。

S7.移植机械手进行取苗作业；取苗时取苗针11插入穴盘种苗12基质，具体步骤包括：

S71.移植机械手匀速向下运动到作业点水平位置P；S72.移植机械手从水平方向匀速向前，侧挡板10推动种苗叶片到作业点Z，运动过程中末端执行器上的侧挡板10有效防止取苗针11损伤种苗茎叶；S73.取苗针11插入基质；S74.垂直向上取出种苗，运动至安全点，完成取苗操作。

S8.移植机械手将穴盘种苗12运送到栽培槽13；具体是由伺服电机1驱动移植机械手运动，使移植机械手到达放苗作业点H。

S9.移植机械手将种苗放入栽培槽13，具体为气缸7推动下推板9向下推出，使穴盘种苗12脱离取苗针11，落入栽培槽13中，该过程中侧挡板10挡住了取苗针11的下部，有效防止取苗针11取出时损伤种苗。从而完成穴盘种苗12的低损移植。每运作一次，移植机械手需要回归原点进行定位，以减少移植机械手的重复误差。如果不重新定位，直接持续进行下一轮的取苗动作的话，随着移植工作次数的增加，移植机械手位置的偏差也会越来越大，这样会导致取苗的位置出现偏差对苗造成损坏。

图2为本发明中世界坐标系到图像坐标系的转换关系示意图。具体方法为：采用深度相机14获取的图像，包含了像素点的深度信息，像素坐标(u,v)可通过以下公式转换为相机坐标(Xc,Yc,Zc)。

Zc＝depth

其中depth为像素点对应的深度，由深度相机获得；f_x，f_y为深度相机的焦距，c_x，c_y为深度相机的主点，均为相机内参。

再将相机坐标坐标(Xc,Yc,Zc)转换为世界坐标(Xw,Yw,Zw)。转换关系如下：

其中R为旋转矩阵，T为平移矩阵，世界坐标的原点在机械手末端执行器的中点位置。

如图3所示，深度相机14获取待移植穴盘种苗12列图像，然后对获取的种苗图像进行种苗轮廓提取处理；再求得一列种苗中的上极值点A和右极值点B；经过坐标变换，求得安全点S的世界坐标；移植机械手由伺服电机1驱动快速运动至安全点S；匀速垂直向下运动至水平点P，从水平方向匀速向前，侧挡板10推动种苗叶片到作业点Z，取苗针11插入基质，然后垂直向上取出种苗，运动至安全点，完成取苗操作；移植机械手由伺服电机1驱动将穴盘种苗12运送到栽培槽13，使移植机械手到达放苗作业点H；移植机械手的气缸7带动下推板9向下推出，使穴盘种苗12脱离取苗针11，落入栽培槽13中，该过程中侧挡板10挡住了取苗针11的下部，在放苗过程中，有效防止取苗针11取出时损伤种苗。从而完成穴盘种苗12低损移植。6个移植机械手之间间距固定，苗孔之间的间距固定，多个并列设置的栽培槽13之间的间距固定，故多机械手同时作业时，计算出偏移值即可。其中深度相机14通过底部的滚轮滑动设置在相机滑轨15上。

如图4所示，移植机械手包括设置在气缸基座上的取苗针11和设置在气缸推杆8上的挡苗组件，挡苗组件包括水平设置的下推板9和设置在下推板9一端的侧挡板10，侧挡板10的一侧端面与下推板9的端部垂直连接，侧挡板10另一侧端面用于向一侧推动穴盘种苗12的叶片，以将穴盘种苗12与取苗针11很好地进行隔离开，在取苗和放苗作业中，有效防止取苗针11损伤种苗茎叶。放苗作业中侧挡板10挡住取苗针11的下部，有效防止取苗针11取出时损伤种苗茎叶。取苗针11是取苗作业中的关键部件，种苗依靠取苗针11进行移植；放苗过程中，气缸7推动下推板9和侧挡板10向下移动，使种苗和取苗针11分离，从而完成种苗低损移植作业，安装板2上固定有伺服电机1，用于驱动移植机械手的进行位置移动，在伺服电机1的驱动轴4上安装有滑轮3，在滑轮3的下方的安装板2上设置有滑块5，取苗机械手通过滑轮3设置在带轮轨道上，并通过滑块5与线性滑轨相连接，以提高移植机械手位置调节的精准度，安装板2的下方通过L形连接件6与气缸7的基座固定连接。

本发明提供的这种基于机器视觉的穴盘种苗低损移植方法，采用机器视觉通过深度相机14获取图像；再对图像进行色彩空间颜色特征提取；采用中值滤波对图像进行降噪处理，获得种苗轮廓图像；在该图像上绘制最小矩形包含所有轮廓，有效避免输出多个极值点；经过坐标转换后，求得安全点坐标，使移植机械手以最快速度到达安全点，也不会损伤种苗，提升了移植作业的效率；取苗作业采取从侧边水平作业，挡苗组件结合机械手运动路径，有效防止取苗针11损伤种苗的茎叶；放苗作业采取气缸7推动下推板9带动侧挡板10向下运动，该过程中侧挡板10挡住了取苗针11的下部，在放苗过程中，有效防止取苗针11取出时损伤种苗的茎叶。该种苗低损移植方法结合了机器视觉和末端执行器结构设计，该方法降低了末端执行器对种苗茎叶的损伤。

为了使得该装置具有更好的效果，进一步优化本方案，本方案中的移植机械手是双排交叉式的设计，移植机械手前后交错放置，但两个相对交叉设置的移植机械手的取苗针的中心点都在一条直线上，这样的设计可以减少机械手之间的干涉。其次，由于多列栽培槽并排设置在传送机构上，单次完成移植作业后栽培槽需要带动前移，多次位置移动的微小变化的叠加，由于栽培槽的位置误差从而难以将种苗精准放置进入圆形苗孔中，可设置如下结构：在传送带两侧边框上分别设置有的升降气缸，升降气缸的推杆向上，在两个推杆之间架设有横梁，横梁上对应下方每列栽培槽均设置有圆柱形定位头，定位头与苗孔直径匹配，定位头的上端通过连接部与横梁连接，单次放苗步骤后，对移植机械手进行原点重新定位步骤，同时位于栽培槽的苗孔中定位头，在升降气缸带动下，定位头从苗孔中脱离，栽培槽在传送带的带动下向前移动至下个位置后，定位头会再次进入苗孔对栽培槽定位固定，以实现移植动作的连续正常化运行。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于机器视觉的穴盘种苗低损移植方法，其特征在于，包括下列步骤：

步骤一、获取待移植穴盘种苗的种苗图像；

步骤二、对步骤一获取的种苗图像进行种苗轮廓提取；具体提取方法如下：

S21、将步骤一获得的种苗图像转换为HSV格式的种苗图像；

S22、对步骤S21得到的种苗图像，采用inRange函数判断种苗图像中每一个像素是否在[lowerb，upperb]之间；如果结果为是，在输出图像相应像素位置填入255，如果结果为否，在输出图像相应像素位置填入0，此时获得的图像为二值图像；其中lowerb为提取颜色的低值，upperb为提取颜色的高值；

S23、对步骤S22得到的二值图像，采用中值滤波进行处理，获取种苗轮廓；

步骤三、对步骤二得到的种苗轮廓求极值点坐标；

步骤四、将步骤三得到的极值点坐标转换为对应的现实世界坐标；

步骤五、根据步骤四所得现实世界坐标，进一步计算出移植机械手应到达的安全点的世界坐标；

步骤六、伺服电机驱动移植机械手运动到步骤五所计算得到的安全点的世界坐标位置；

步骤七、移植机械手进行取苗作业，取苗时取苗针插入穴盘种苗基质；

步骤八、伺服电机驱动移植机械手将穴盘种苗运送到栽培槽；

步骤九、移植机械手将穴盘种苗放入栽培槽，从而完成穴盘种苗低损移植。

2.如权利要求1所述的一种基于机器视觉的穴盘种苗低损移植方法，其特征在于：所述步骤五中，具体计算方法如下：步骤四所得极值点对应的现实世界坐标为一列穴盘种苗的上极值点A和右极值点B，提取上极值点A的Yw值和右极值点B的Xw值，并分别加2mm，作为XwOwYw平面的安全点的世界坐标，Zw与取苗作业点的Z值相同。

3.如权利要求2所述的一种基于机器视觉的穴盘种苗低损移植方法，其特征在于：步骤一中，采用深度相机获取待移植的种苗图像。

4.如权利要求3所述的一种基于机器视觉的穴盘种苗低损移植方法，其特征在于：

所述步骤一中，具体操作方法如下：将深度相机放置在离种苗90mm处，深度相机应正对即将移植的种苗列，深度相机高度应与种苗高度保持一致，深度相机的视野中应包含即将移植的种苗列的所有种苗，保证在相机视野中除种苗外无其它绿色物品干扰；获取图像方式为实时获取，一列种苗移植完成后，深度相机由伺服电机驱动运动至下一种苗列获取图像，直至穴盘种苗全部移植完成，深度相机返回第一列所在位置。

5.如权利要求4所述的一种基于机器视觉的穴盘种苗低损移植方法，其特征在于：所述步骤二中，对步骤二得到的种苗轮廓求极值点坐标，具体方法如下：

S31、采用cv2.findContours()函数检索图像中的外轮廓；

S32、采用cv2.boundingRect()函数用一个最小矩形将找到的外轮廓形状包起来，返回x、y、w和h四个值，（x，y）是矩阵左上角的坐标，w、h是矩阵的宽和高；若一幅图像中出现多个连通域，则取与矩形相交的极值点坐标。

6.如权利要求1所述的一种基于机器视觉的穴盘种苗低损移植方法，其特征在于：移植机械手包括设置在气缸基座上的取苗针和设置在气缸推杆上的挡苗组件，挡苗组件包括水平设置的下推板和设置在下推板一端的侧挡板，侧挡板的一侧端面与下推板的端部垂直连接，其另一侧端面用于推动穴盘种苗叶片，以将穴盘种苗与取苗针隔离开，所述步骤七中，具体操作方法如下：

S71、气缸驱动移植机械手匀速向下运动到作业点水平位置；

S72、伺服电机驱动移植机械手沿水平方向匀速向前，侧挡板的另一侧端面推动种苗叶片到达作业点运动，保证取苗针在插入基质时不会对穴盘种苗造成损伤；

S73、取苗针插入穴盘种苗的基质；

S74、垂直向上取出穴盘种苗，运动至安全点，完成取苗作业。

7.如权利要求6所述的一种基于机器视觉的穴盘种苗低损移植方法，其特征在于；步骤九中，具体操作方法如下：将穴盘种苗放入栽培槽，随着气缸推杆的推动，下推板向下推动将穴盘种苗推下，穴盘种苗脱离取苗针落入栽培槽中，进而完成放苗作业。

8.如权利要求7所述的一种基于机器视觉的穴盘种苗低损移植方法，其特征在于；步骤九后，穴盘种苗放入栽培槽后，移植机械手需要回归原点进行重新定位，以保证随着移植工作次数的增加，移植机械手位置偏差不会逐渐叠加增大。

Images