CN109682326A - 基于深度图像的钵苗直立度检测装置及检测方法 - Google Patents

Abstract

基于深度图像的钵苗直立度检测装置，包括与移栽机挂接的机架、设置在机架上的行走轮和控制箱；机架内具有检测空间，检测空间的前、后各设有一个供钵苗进出的通道口，并在通道口位置设置由多个竖条组成的遮蔽帘，在检测空间内部设有检测钵苗位置的传感器、采集钵苗深度图像的深度相机和光源；所述控制箱设置于机架的外表面，控制箱外部设有开关和报警模块，控制箱内部设有控制器、图像处理模块和图像采集卡，所述两台深度相机、光源和图像采集卡构成图像采集模块。本发明基于深度图像进行钵苗图像处理，降低了环境噪声的影响，减少了图像处理工作量，智能化程度高，直立度检测速度快、准确度高，完全满足田间移栽钵苗直立度检测作业要求。

Description

基于深度图像的钵苗直立度检测装置及检测方法

技术领域

本发明属于钵苗移栽机械领域，具体涉及基于深度图像的钵苗直立度检测装置及检测方法。

背景技术

钵苗直立度是指钵苗移栽后的直立状态，用钵苗茎秆与地面的夹角T来评价，一般地T越接近90°越好。对于棉花和玉米的栽植，T≤30°为倒伏，30°＜T≤70°定为合格， T＞70°视为优良；对于蔬菜、烟叶和甜菜钵苗的移栽T≤45°为倒伏；45°＜T≤70°定为合格， T＞70°视为优良。钵苗直立度是衡量移栽机性能最重要的指标之一，它直接影响到移栽的质量，进而影响到钵苗的抗逆性和作物的单产等多项参数。随着我国移栽技术的发展，越来越多的经济作物和大宗作物采用移栽种植方式，但目前对于移栽过程中钵苗栽植姿态的研究在国内还很少见，在钵苗直立度检测系统与装置的研发方面也很薄弱。为了控制移栽质量提高移栽钵苗成活率，钵苗直立度检测显得尤为重要，因此迫切需要一种移栽机栽植钵苗直立度检测装置及方法，能够实现与移栽机匹配使用，实现钵苗直立度实时检测与反馈。

发明内容

本发明的目的是提供一种基于深度图像的钵苗直立度检测装置及方法，解决目前移栽机栽植过程中钵苗直立度检测问题。

为了实现上述目的，本发明解决上述技术问题采用的技术方案是：

基于深度图像的钵苗直立度检测装置，包括与移栽机挂接的机架、设置在机架上的行走轮和控制箱；所述机架内具有检测空间，检测空间的前、后各设有一个供钵苗进出的通道口，并在通道口位置设置由多个竖条组成的遮蔽帘，在检测空间内部设有检测钵苗位置的传感器、采集钵苗深度图像的深度相机和光源；所述的传感器与光源设置于检测空间的顶面，所述的深度相机具有两台，安装在检测空间的侧面，分别从相垂直的两个方向对进入图像采集位置的钵苗进行深度图像的采集；所述控制箱设置于机架的外表面，控制箱外部设有开关和报警模块，控制箱内部设有控制器、图像处理模块和图像采集卡，所述传感器和报警模块分别连接控制器的信号输入端和信号输出端，所述两台深度相机、光源和图像采集卡构成图像采集模块，图像处理模块包括图像算法处理器和角度逻辑判断电路，控制器和图像采集模块、图像处理模块相串联，以发送信号给图像采集模块进行钵苗深度图像的采集和发送，图像处理模块将处理后得到的钵苗直立度结果反馈给控制器。

所述机架由顶部安装板、左安装板、右安装板、前安装板和后安装板连接围成，左安装板和右安装板为两个竖板，并作为装置的两个支架，顶部安装板为横置在两个支架之间的横板，前安装板和后安装板为两个竖板，在装置前进方向上前后安装，前安装板和后安装板的高度为左安装板或右安装板高度的一半，所述遮蔽帘安装在前安装板和后安装板的下端。

所述行走轮安装在左安装板和右安装板的底部。

所述光源设有2个，对称安装在顶部安装板上，所述传感器为光电传感器，设置2个，并列安装在顶部安装板的中心，并位于两个光源之间。

所述深度相机的镜头与所在安装板的夹角为20°-35°。

所述机架顶部设有呈品字形布置的三个连接件，以实现与移栽机的挂接。

基于深度图像的钵苗直立度检测方法，该方法利用权利要求1所述的基于深度图像的钵苗直立度检测装置进行，包括如下步骤：

步骤一：钵苗直立度检测装置在移栽机牵引下工作，由所述的传感器首先检测钵苗是否到达图像采集位置；

步骤二：钵苗深度图像采集：当钵苗到达图像采集位置时，图像采集模块采集钵苗深度图像，并发送到图像处理模块；

步骤三：钵苗直立度检测：图像处理模块接收到钵苗深度图像后，首先使用形态学处理中的开操作对采集到的钵苗深度图像进行预处理，预处理时先进行腐蚀操作，再进行膨胀操作，增强图像的整体亮度；采用中值滤波法，在最大限度保留原图像有效信息的前提下，去除钵苗深度图像的边缘毛刺，使图像更加平滑；然后，通过固定阈值分割将钵苗与背景分离出来，将钵苗茎秆图像拟合成直线进行钵苗直立度测量；

步骤四：直立度判断与提示：图像处理模块将步骤三得到的钵苗主茎秆角度通过角度逻辑判断电路进行判断，并将信号传递给控制器；当直立度超出设定角度范围时，控制器启动报警模块报警。

以上方法中，在图像处理模块利用中值滤波法对钵苗深度图像处理时，采用9×9模板对图像中像素值为0的点进行滤波。

以上方法中，开操作是先对图像进行腐蚀操作，再进行膨胀操作；可以去除图像中较小（相对于结构元素）的明亮细节，并保证整体的灰度级和较大（相对于结构元素）的明亮区域不变；先进行腐蚀能去除图像小的细节，再进行膨胀会增加图像的亮度，但不会引入再次引入腐蚀操作去除的小细节，在保证图像尺寸不变的前提下去除人为引入的噪声。

本发明的有益效果是：本发明结构简单，能够实现与移栽机匹配使用；基于深度图像进行钵苗图像处理，降低了环境噪声的影响，减少了图像处理工作量；采用两个在垂直方向上设置的深度相机采集图像，避免了因钵苗倾斜方向造成的直立度误判情况；采用先腐蚀后膨胀的开操作对深度图像进行预处理，通过中值滤波对深度图像进行降噪圆滑处理，运用阈值分割将钵苗图像分割出来并生成二值化图像，用霍夫变换进行钵苗茎秆直线检测，得到钵苗直立度；最后通过逻辑判断得到钵苗倾斜角度。此外，还可根据事先设定的角度实现钵苗直立度不合格报警。本发明智能化程度高，直立度检测速度快、准确度高，完全满足田间移栽钵苗直立度检测作业要求。

附图说明

图1是本发明所述装置的结构示意图；

图2是本发明所述装置去掉前安装板后的内部结构示意图；

图3是本发明检测流程图；

图中标记：1、行走地轮，2、遮光帘，3、前安装板，4、顶部安装板，5、连接件，6、蜂鸣器，7、提示灯，8、控制箱，9、开关，10、深度相机S₁，11、右安装板，12、后安装板，13、光源，14、深度相机S₂，15、光电传感器16、左安装板，201、钵苗感知模块，202、图像采集模块，203、图像处理模块，204、控制器，205、报警模块。

具体实施方式

下面结合附图1至附图3，通过具体的实施方式，对本发明的技术方案作进一步的说明。

本发明提供了一种基于深度图像的钵苗直立度检测装置及方法，装置匹配移栽机进行工作，对移栽后的钵苗进行直立度检测。在以下描述中，所涉及的“前”、“后”、“左”、“右”均是以移栽机前进方向为基准，移栽机前进方向为“前”，反之为“后”。

如图1、2所示，一种基于深度图像的钵苗直立度检测装置，包括通过三点悬挂与移栽机挂接的机架、行走地轮1、控制箱8；机架上设有检测系统和用于与移栽机后部挂接的连接件5，所述连接件为3个，且呈品字形布局，使装置可以更加稳定的与移栽机挂接；所述的机架由顶部安装板4、左安装板16、右安装板11、前安装板3和后安装板12围成，以形成容纳钵苗并对钵苗直立度检测的检测空间，所述前安装板3、后安装板12在竖直方向的长度为左、右安装板（16、11）的一半，且前、后安装板（3、12）均靠近顶部安装板4安装，形成钵苗进出检测空间的通道口，使得钵苗可以经该通道口通过装置，便于在检测空间内被采集图像；机架上还设有检测钵苗位置的光电传感器15、采集钵苗深度图像的深度相机S₁、S₂（10、14）、提供均匀光照的光源13、遮光除尘的遮蔽帘2；所述的光电传感器15为2个，光源13为2个，共同设置于顶部安装板4下表面，2个光电传感器15安装在顶部安装板4下表面的中心位置，2个光源13安装在光电传感器15两侧，光源13采用柔光光源，最大程度的减少因光照不均造成的图像噪声；所述的深度相机S₁、S₂（10、14）分别安装于后安装板12和右安装板11的内表面，且深度相机S₂14安装在后安装板12中下部位置，深度相机S₁10安装在右安装板11的中部，两深度相机S₁、S₂（10、14）的镜头与所在的安装板成20°-35°夹角，深度相机S₁、S₂（10、14）的安装位置也可根据移栽钵苗的高度进行调节，便于采集到容易进行直立度检测的钵苗深度图像；所述的遮蔽帘2采用条状软塑料制成，设置于前、后安装板（3、12）最下端，在不影响钵苗进出装置的同时又能够遮光挡尘；控制箱8设有开关9、蜂鸣器6、提示灯7；所述的控制箱8设置于左安装板16外表面，所述的蜂鸣器6、提示灯7设置于控制箱8顶部，蜂鸣器6、提示灯7共同作为检测系统的报警模块，所述的开关9设置于控制箱8正面。

上述结构的安装位置，均可根据实际作业情况进行调整。

如图3所示，所述的检测系统包括钵苗感知模块201、图像采集模块202、图像处理模块203、控制器204、报警模块205。所述的钵苗感知模块201包括光电传感器C1、光电传感器C2；所述的图像采集模块202包括光源13、深度相机S1、深度相机S2、图像采集卡；所述的图像处理模块203包括图像算法处理器、角度逻辑判断电路；所述的控制器204可选用PLC、单片机、树莓派系统；所述的报警模块205包括蜂鸣器6、提示灯7。

所述的光电传感器C1、C2即上述装置部分中的光电传感器15，并采用E3F-DS30C4光电传感器；所述深度相机S1、S2即上述装置部分中的深度相机S₁、S₂（10、14），并采用kinect深度相机；所述光源13可采用斐帆2017定制光源；所述的图像采集卡采用天创TC300N1图像采集卡；所述的图像算法处理器采用微型电脑即可。

所述的图像处理模块203和图像采集卡均安装在所述的控制箱8内。

利用所述的移栽机栽植钵苗直立度检测装置进行钵苗直立度检测的方法，包括以下步骤：

步骤一：该装置在移栽机牵引下工作，钵苗通过装置正下方时触发光电传感器C1、C2，输出信号传递到控制器204，判断钵苗是否到达合适的图像采集位置；

步骤二：钵苗深度图像采集：控制器204接收到钵苗处于图像采集位置后，依次发送信号到光源、深度相机S1、S2；此时，光源首先打开，深度相机S1、S2同时采集钵苗深度图像，通过图像采集卡将两张图片发送给图像算法处理器；

步骤三：钵苗直立度检测：图像算法处理器首先进行开操作对采集到的钵苗深度图像进行预处理，预处理过程与原理如下：

(1)、深度图像腐蚀：用d对函数f进行深度腐蚀表示为，定义为

其中，（i，j）是钵苗深度图像中任意像素点的坐标，分别是输入钵苗图像和结构的元素，和分别为f和d的定义域，和必须在f的定义域内，x和y必须在d的定义域内，这能保证结构元素覆盖到图像区域的最小值，腐蚀得到的结果是使图像相对于原始图像在一定程度上尺寸减小、明亮部位被减弱。

(2)、深度图像膨胀：膨胀处理是腐蚀的反操作，定义式如下

其中，（i，j）是钵苗深度图像中任意像素点的坐标，分别是输入钵苗图像和结构的元素，和分别为f和d的定义域，和必须在f的定义域内，x和y必须在d的定义域内，这能保证结构元素覆盖到图像区域的最大值，经膨胀处理的图像结果是有双重的；如果的元素为正，输出结果会比原始输入图像更亮；此外，的值和形状决定了图像暗的部分被减弱或消除；最后得到的结果是使输入图像亮的部分更亮，输出的图像尺寸页有所增大。

（3）对图像进行中值滤波处理：中值滤波是把数字图像或数字序列中一点的值用该点邻域中几个值的中值来代替，让像素值更接近真实值，消除孤立噪声点，使图像更加平滑。本发明采用二维中值滤波，输出式为：

其中，分别为输入图像和输出图像，W为二维模板，本发明采用9×9模板对图像0值点进行滤波，如下表所示：

在滤波之前，首先判断该点像素值是否为0，若为0则进行滤波，可以最大程度的保留了图像的有效信息。

（4）采用阈值分割对图像进行处理：通过钵苗与背景特性不同，选择合适的阈值，将钵苗从背景中分离出来，表达关系式如下：

其中，T为设定的阈值，钵苗图像元素，背景图像元素，快捷的把钵苗图像与背景分割出来，此时图像变为二值化图像。

（5）将钵苗茎秆图像拟合成直线进行钵苗直立度测量：采用霍夫变换进行钵苗茎秆直线检测，对于平面上的任一点，在极坐标中都会有一条曲线与之对应，在平面内直线方程表示为；若平面一条直线上的所有点在极坐标系下用曲线表示出来，这些曲线会相交于一点，该交点即对应该直线方程。利用图像算法处理器将像素值为1的钵苗图像的任一点表示成极坐标中的一条曲线，求出所有交点及相交于该点的次数，设置交点次数阈值，筛选出合适的即得到拟合直线的方程和斜率。

步骤四：直立度判断与提示：图像处理模块203将得到的钵苗主茎秆角度通过角度逻辑判断电路进行判断，并将信号传递给控制器；当直立度超出设定角度范围时，蜂鸣器和提示灯启动报警。具体方法如下：

经图像算法处理器得到由深度相机S1、S2采集到的两个相垂直方向上的钵苗倾斜角度，经角度逻辑判断电路进行处理；以两个方向上的钵苗倾斜角度较小的为准，与设定的角度进行比较判断，出现不合格情况时，将判断结果信号传递给控制器204，控制器204发送信号到蜂鸣器6和提示灯7发出报警。

以上方法中，开操作是先对图像进行腐蚀操作，再进行膨胀操作；可以去除图像中较小（相对于结构元素）的明亮细节，并保证整体的灰度级和较大（相对于结构元素）的明亮区域不变；先进行腐蚀能去除图像小的细节，再进行膨胀会增加图像的亮度，但不会引入再次引入腐蚀操作去除的小细节，在保证图像尺寸不变的前提下去除人为引入的噪声。

Claims (8)

1.基于深度图像的钵苗直立度检测装置，其特征在于：包括与移栽机挂接的机架、设置在机架上的行走轮和控制箱；所述机架内具有检测空间，检测空间的前、后各设有一个供钵苗进出的通道口，并在通道口位置设置由多个竖条组成的遮蔽帘，在检测空间内部设有检测钵苗位置的传感器、采集钵苗深度图像的深度相机和光源；所述的传感器与光源设置于检测空间的顶面，所述的深度相机具有两台，安装在检测空间的侧面，分别从相垂直的两个方向对进入图像采集位置的钵苗进行深度图像的采集；所述控制箱设置于机架的外表面，控制箱外部设有开关和报警模块，控制箱内部设有控制器、图像处理模块和图像采集卡，所述传感器和报警模块分别连接控制器的信号输入端和信号输出端，所述两台深度相机、光源和图像采集卡构成图像采集模块，图像处理模块包括图像算法处理器和角度逻辑判断电路，控制器和图像采集模块、图像处理模块相串联，以发送信号给图像采集模块进行钵苗深度图像的采集和发送，图像处理模块将处理后得到的钵苗直立度结果反馈给控制器。

2.根据权利要求1所述的基于深度图像的钵苗直立度检测装置，其特征在于：所述机架由顶部安装板、左安装板、右安装板、前安装板和后安装板连接围成，左安装板和右安装板为两个竖板，并作为装置的两个支架，顶部安装板为横置在两个支架之间的横板，前安装板和后安装板为两个竖板，在装置前进方向上前后安装，前安装板和后安装板的高度为左安装板或右安装板高度的一半，所述遮蔽帘安装在前安装板和后安装板的下端。

3.根据权利要求2所述的基于深度图像的钵苗直立度检测装置，其特征在于：所述行走轮安装在左安装板和右安装板的底部。

4.根据权利要求2所述的基于深度图像的钵苗直立度检测装置，其特征在于：所述光源设有2个，对称安装在顶部安装板上，所述传感器为光电传感器，设置2个，并列安装在顶部安装板的中心，并位于两个光源之间。

5.根据权利要求2所述的基于深度图像的钵苗直立度检测装置，其特征在于：所述深度相机的镜头与所在安装板的夹角为20°-35°。

6.根据权利要求1所述的一种基于深度图像的钵苗直立度检测装置，其特征在于：所述机架顶部设有呈品字形布置的三个连接件，以实现与移栽机的挂接。

7.基于深度图像的钵苗直立度检测方法，其特征在于，该方法利用权利要求1所述的基于深度图像的钵苗直立度检测装置进行，包括如下步骤：

步骤一：钵苗直立度检测装置在移栽机牵引下工作，由所述的传感器首先检测钵苗是否到达图像采集位置；

步骤二：钵苗深度图像采集：当钵苗到达图像采集位置时，图像采集模块采集钵苗深度图像，并发送到图像处理模块；

步骤三：钵苗直立度检测：图像处理模块接收到钵苗深度图像后，首先使用形态学处理中的开操作对采集到的钵苗深度图像进行预处理，预处理时先进行腐蚀操作，再进行膨胀操作，增强图像的整体亮度；采用中值滤波法，在最大限度保留原图像有效信息的前提下，去除钵苗深度图像的边缘毛刺，使图像更加平滑；然后，通过固定阈值分割将钵苗与背景分离出来，将钵苗茎秆图像拟合成直线进行钵苗直立度测量；

步骤四：直立度判断与提示：图像处理模块将步骤三得到的钵苗主茎秆角度通过角度逻辑判断电路进行判断，并将信号传递给控制器；当直立度超出设定角度范围时，控制器启动报警模块报警。

8.根据权利要求7所述的基于深度图像的钵苗直立度检测方法，其特征在于，在图像处理模块利用中值滤波法对钵苗深度图像处理时，采用9×9模板对图像中像素值为0的点进行滤波。