CN109580617B - 果树冠层靶标快速识别装置、方法、计算设备及存储介质 - Google Patents

Abstract

本发明公开了一种果树冠层靶标快速识别装置、方法、计算设备及存储介质，所述装置包括壳体、第一摄像头、第二摄像头、第一超声波传感器、第二超声波传感器、三轴加速度传感器和图像处理器，所述第一摄像头、第二摄像头、第一超声波传感器和第二超声波传感器设置在壳体上，且第一摄像头和第一超声波传感器对准第一边方向，第二摄像头和第二超声波传感器对准与第一边相反的第二边果树，所述三轴加速度传感器设置在壳体内，所述图像处理器分别与第一摄像头、第二摄像头、第一超声波传感器、第二超声波传感器、三轴加速度传感器连接。本发明可以大大减少图像数据量，从而加速图像处理时间，实现果树冠层靶标的快速识别，扩大了装置使用和适用范围。

Description

果树冠层靶标快速识别装置、方法、计算设备及存储介质

技术领域

本发明涉及一种果树冠层靶标快速识别装置、方法、计算设备及存储介质，属于果树冠层靶标识别领域。

背景技术

农药化肥的过量施用，导致土壤板结，水资源污染，生态环境受到严重影响。为了降低农药消耗，果园施药机械需要采用対靶喷雾的方式，即喷头前方有果树冠层靶标，喷头喷药，当没有果树冠层靶标时，喷头停止喷药，从而降低农药过量施用。

対靶喷雾的关键技术是实现果树冠层靶标的快速识别，目前普遍采用的靶标探测方式有超声波传感器，红外传感器，光谱检测，激光测距传感器，2维线扫激光雷达，其中基于图像的冠层靶标识别方法是当前采用的比较多的主流技术，但是目前采用的图像处理方法都是对拍摄的整张图片进行处理，导致处理时间过长，无法实现靶标的快速识别和提取，使得现有的基于图像处理的対靶施药喷雾机实用性较低，较难推广应用。

公开号为CN 105211034A的中国发明专利申请公开了“一种车载式林木三维彩色成像对靶喷雾方法”，但该申请的方案是对拍摄到的整张图像进行处理，计算量较大，实时性不高，没有涉及到基于图像裁剪的快速识别处理方法。

公开号为CN 107402590A的中国发明专利申请公开了“基于机器视觉的无人驾驶喷雾系统”，该该申请采用图像采集模块进行图像采集，但没有涉及图像快速处理识别算法。

因此，提供一种实用的果树冠层靶标快速识别装置具有重要的意义。

发明内容

本发明的第一个目的是为了解决上述现有技术的缺陷，提供一种果树冠层靶标快速识别装置，该装置通过裁剪摄像头拍摄的果树图像，可以大大减少图像数据量，从而加速图像处理时间，实现果树冠层靶标的快速识别，扩大了装置使用和适用范围。

本发明的第二个目的在于提供一种果树冠层靶标快速识别方法。

本发明的第三个目的在于提供一种计算设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种果树冠层靶标快速识别装置，所述装置包括壳体、第一摄像头、第二摄像头、第一超声波传感器、第二超声波传感器、三轴加速度传感器和图像处理器，所述第一摄像头、第二摄像头、第一超声波传感器和第二超声波传感器设置在壳体上，且第一摄像头和第一超声波传感器对准第一边方向，第二摄像头和第二超声波传感器对准第二边方向，所述三轴加速度传感器设置在壳体内；其中，所述第一边方向与第二边方向相反；

所述图像处理器分别与第一摄像头、第二摄像头、第一超声波传感器、第二超声波传感器、三轴加速度传感器连接，用于根据第一超声波传感器测量的第一边果树与壳体之间的距离、第二超声波传感器测量的第二边果树与壳体之间的距离以及三轴加速度传感器计算得到的壳体移动距离，对第一摄像头拍摄的第一边果树图像和第二摄像头拍摄的第二边果树图像进行裁剪，识别得到果树冠层靶标对象。

进一步的，所述图像处理器设置在壳体内。

进一步的，所述壳体内设有电源模块和蓄电池，所述蓄电池与电源模块连接，所述电源模块用于给装置供电。

进一步的，所述电源模块在接入外部电源时，电源模块对蓄电池充电，电源模块在没有接入外部电源时，电源模块切换为蓄电池供电。

本发明的第二个目的可以通过采取如下技术方案达到：

一种果树冠层靶标快速识别方法，所述方法包括：

获取壳体上第一摄像头拍摄的第一边果树图像，以及壳体上第二摄像头拍摄的第二边果树图像；其中，所述第一边方向与第二边方向相反；

获取壳体上第一超声波传感器测量的第一边果树与壳体之间的距离，以及壳体上第二超声波传感器测量的第二边果树与壳体之间的距离；

获取壳体内三轴加速度传感器计算得到的壳体移动距离；

根据第一边果树与壳体之间的距离、第二边果树与壳体之间的距离以及壳体移动距离，对第一边果树图像和第二边果树图像进行裁剪，识别得到果树冠层靶标对象。

进一步的，所述对第一边果树图像和第二边果树图像进行裁剪，识别得到果树冠层靶标对象，具体包括：

对第一边果树图像和第二边果树图像进行裁剪，得到条形图像；

对所述条形图像采用超绿算法进行处理，得到灰度条形图像；

对所述灰度条形图像采用最大类间方差算法进行图像二值化处理，将像素值为255的区域作为识别得到的果树冠层靶标对象。

进一步的，所述壳体移动距离，采用下式计算：

其中：

p和q分别对应三轴轴加速度传感器的第p次采样和第q次采样，a_i表示第i个采样时刻的壳体移动方向的加速度采样值，l表示第l次图像采集，t_sa表示三轴加速度传感器采样时间间隔，_sc表示图像采集时间间隔。

进一步的，所述对第一边果树图像和第二边果树图像进行裁剪中，第一边果树图像截取的像素点横轴坐标范围为：

第二边果树图像截取的像素点横轴坐标范围为：

其中：

c₁表示将第一边果树图像裁剪出的条形图像的一半宽度，c₂表示将第二边果树图像裁剪出的条形图像的一半宽度，d_{1_sonar}表示第一边果树与壳体之间的距离，d_{2_sonar}表示第二边果树与壳体之间的距离，d_L表示摄像头芯片靶面宽度大小，d表示壳体的移动距离，L表示为图像的宽度。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的果树冠层靶标快速识别方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的果树冠层靶标快速识别方法。

本发明相对于现有技术具有如下的有益效果：

1、本发明可以根据两边果树与壳体之间的距离以及壳体移动距离，对两个摄像头采集到的两边果树图像进行裁剪处理，大大减少了图像数据量，显著提高了图像处理速度，从而实现果树冠层靶标的快速识别。

2、本发明装置不需要昂贵的图像处理器也可以实现，具有结构简单、安装方便、计算量小、易于使用等优点。

附图说明

图1为本发明实施例1的果树冠层靶标快速识别装置的结构示意图。

图2为本发明实施例1的果树冠层靶标快速识别方法的流程图。

图3为本发明实施例2的计算设备的结构框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

如图1所示，本实施例提供了一种果树冠层靶标快速识别装置，该装置包括壳体101、第一摄像头102、第二摄像头103、第一超声波传感器104、第二超声波传感器105、三轴加速度传感器106和图像处理器107。

所述第一摄像头102和第二摄像头103优选采用CMOS或者CCD传感器的数字摄像头，第一摄像头102和第二摄像头103设置在壳体101上，具体设置在壳体101顶部的左右两边，其中第一摄像头102对准左边方向，用于拍摄左边果树108的图像，第二摄像头103对准右边方向，用于拍摄右边果树109的图像。

所述第一超声波传感器104和第二超声波传感器105均为超声波测距传感器，第一超声波传感器104和第二超声波传感器105设置在壳体101上，具体设置在壳体101的左右两侧，其中第一超声波传感器104对准左边方向，用于测量左边果树108与壳体101之间的距离，第二超声波传感器105对准右边方向，用于测量右边果树109与壳体101之间的距离。

所述三轴加速度传感器106设置在壳体101内，用于获取壳体101的移动距离，具体获取壳体101在z轴方向上的移动距离，移动距离的测定如下：

三轴加速度传感器第n次采样时，壳体101的移动速度v_i为：

其中，v_i以米为单位，a_i表示第i个采样时刻的z轴加速度采样值，t_sa表示三轴加速度传感器采样时间间隔，以秒为单位。

在第j次采样时刻到第j+k次采样时刻，壳体101的移动距离d_k为：

其中，d_k以米为单位，t_sc表示图像采集时间间隔，以秒为单位。

进一步地，所述壳体101内设有电源模块110和蓄电池111，蓄电池111与电源模块110连接，电源模块1110用于给装置供电；电源模块110在接入外部电源时，电源模块110对蓄电池111充电，电源模块110在没有接入外部电源时，电源模块110切换为蓄电池111供电。

所述图像处理器107可以设置在壳体101内，也可以设置在壳体101外，本实施例设置在壳体101内，其分别与第一摄像头102、第二摄像头103、第一超声波传感器104、第二超声波传感器105、三轴加速度传感器106连接，用于根据左边果树108与壳体101之间的距离、右边果树109与壳体101之间的距离以及壳体101移动距离，对左边果树108图像和右边果树109进行裁剪，识别得到果树冠层靶标对象；其中，对左边果树108图像和右边果树109进行裁剪，识别得到果树冠层靶标对象，具体为：对左边果树108图像和右边果树109进行裁剪，去除多余的图像数据，获得条形图像，接着条形图像进行图像分割处理，提取出果树冠层图像，进而识别得到果树冠层靶标对象。

本实施例还提供了一种果树冠层靶标快速识别方法，如图2所示，该方法通过上述图像处理器实现，包括以下步骤：

S201、获取第一摄像头拍摄的左边果树图像，以及第二摄像头拍摄的右边果树图像。

在第l次图像采集时，第一摄像头和第二摄像头同时对左边果树和右边果树的图像进行拍摄，摄像头焦距为r，以米为单位，摄像头芯片靶面尺寸为d_L×d_H，d_L表示芯片靶面宽度大小，以米为单位，d_H表示芯片靶面高度大小，以米为单位，采集得到的图像大小为L×H，其中L为图像的宽，以像素为单位，H为图像的高，以像素为单位，图像采集时间间隔为t_sc。

S202、获取第一超声波传感器测量的左边果树与壳体之间的距离，以及第二超声波传感器测量的右边果树与壳体之间的距离。

第一超声波传感器测量的左边果树与壳体之间的距离为d_{1_sonar}，以米为单位，第二超声波传感器测量的右边果树与壳体之间的距离为d_{2_sonar}，以米为单位。

S203、获取三轴加速度传感器计算得到的壳体移动距离。

具体地，壳体的移动距离，即壳体沿z轴前进的距离，其采用下式计算：

其中：

p和q分别对应三轴轴加速度传感器的第p次采样和第q次采样，a_i表示第i个采样时刻的z轴加速度采样值，l表示第l次图像采集，t_sa表示三轴加速度传感器采样时间间隔，_sc表示图像采集时间间隔。

S204、根据左边果树与壳体之间的距离、右边果树与壳体之间的距离以及壳体移动距离，对左边果树图像和右边果树图像进行裁剪，识别得到果树冠层靶标对象。

具体地，对左边果树图像和右边果树图像进行裁剪中，左边果树图像截取的像素点横轴坐标范围为：

右边果树图像截取的像素点横轴坐标范围为：

其中：

c₁表示将左边果树图像裁剪出的条形图像的一半宽度，c₂表示将右边果树图像裁剪出的条形图像的一半宽度，d_{1_sonar}表示左边果树与壳体之间的距离，d_{2_sonar}表示右边果树与壳体之间的距离，d_L表示摄像头芯片靶面宽度大小，d表示壳体的移动距离，L表示为图像的宽度。

进一步地，所述对左边果树图像和右边果树图像进行裁剪，识别得到果树冠层靶标对象，具体包括：

1)对左边果树图像和右边果树图像进行裁剪，得到条形图像。

2)对所述条形图像采用超绿算法进行处理，得到灰度条形图像。

g(i,j)＝g_r(i,j)+2g_g(i,j)+g_b(i,j)

其中，g_r(i,j)、g_g(i,j)、g_b(i,j)分别表示条形图像中每个像素对应的红色、绿色、蓝色分量，g(i,j)表示灰度值。

3)对所述灰度条形图像采用最大类间方差算法进行图像二值化处理，将像素值为255的区域作为识别得到的果树冠层靶标对象。

本领域技术人员可以理解，实现上述方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。

应当注意，尽管在附图中以特定顺序描述了上述方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

可以理解，从另一个角度看，果树的位置可以位于前后两边，此时壳体101沿x轴方向前进，第一摄像头102和第二摄像头103拍摄的分别是前边的果树图像和后边的果树图像，第一超声波传感器104和第二超声波传感器105测量的分别是前边果树与壳体101之间的距离，第二超声波传感器105测量的分别是后边果树与壳体101之间的距离，三轴加速度传感器106获取的是壳体101在x轴方向上的移动距离。

实施例2：

本实施例提供了一种计算设备，如图3所示，该计算设备为计算机，其包括通过系统总线301连接的处理器302、存储器、输入装置303、显示器304和网络接口305。其中，处理器302用于提供计算和控制能力，可以作为实施例1的图像处理器，存储器包括非易失性存储介质306和内存储器307，该非易失性存储介质306存储有操作系统、计算机程序和数据库，该内存储器307为非易失性存储介质306中的操作系统和计算机程序的运行提供环境，计算机程序被处理器302执行时，实现上述实施例1的果树冠层靶标快速识别方法，如下：

获取壳体上第一摄像头拍摄的左边果树图像，以及壳体上第二摄像头拍摄的右边果树图像；

获取壳体上第一超声波传感器测量的左边果树与壳体之间的距离，以及壳体上第二超声波传感器测量的右边果树与壳体之间的距离；

获取壳体内三轴加速度传感器计算得到的壳体移动距离；

根据左边果树与壳体之间的距离、右边果树与壳体之间的距离以及壳体移动距离，对左边果树图像和右边果树图像进行裁剪，识别得到果树冠层靶标对象。

实施例3：

本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时，实现上述实施例1的果树冠层靶标快速识别方法，如下：

获取壳体上第一摄像头拍摄的左边果树图像，以及壳体上第二摄像头拍摄的右边果树图像；

获取壳体上第一超声波传感器测量的左边果树与壳体之间的距离，以及壳体上第二超声波传感器测量的右边果树与壳体之间的距离；

获取壳体内三轴加速度传感器计算得到的壳体移动距离；

根据左边果树与壳体之间的距离、右边果树与壳体之间的距离以及壳体移动距离，对对左边果树图像和右边果树图像进行裁剪，识别得到果树冠层靶标对象。

本实施例的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。

综上所述，本发明可以根据两边果树与壳体之间的距离以及壳体移动距离，对两个摄像头采集到的两边果树图像进行裁剪处理，大大减少了图像数据量，显著提高了图像处理速度，从而实现果树冠层靶标的快速识别；此外，本发明装置不需要昂贵的图像处理器也可以实现，具有结构简单、安装方便、计算量小、易于使用等优点。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (9)

1.一种果树冠层靶标快速识别装置，其特征在于，所述装置包括壳体、第一摄像头、第二摄像头、第一超声波传感器、第二超声波传感器、三轴加速度传感器和图像处理器，所述第一摄像头、第二摄像头、第一超声波传感器和第二超声波传感器设置在壳体上，且第一摄像头和第一超声波传感器对准第一边方向，第二摄像头和第二超声波传感器对准第二边方向，所述三轴加速度传感器设置在壳体内；其中，所述第一边方向与第二边方向相反；

所述图像处理器分别与第一摄像头、第二摄像头、第一超声波传感器、第二超声波传感器、三轴加速度传感器连接，用于根据第一超声波传感器测量的第一边果树与壳体之间的距离、第二超声波传感器测量的第二边果树与壳体之间的距离以及三轴加速度传感器计算得到的壳体移动距离，对第一摄像头拍摄的第一边果树图像和第二摄像头拍摄的第二边果树图像进行裁剪，识别得到果树冠层靶标对象；其中，所述对第一边果树图像和第二边果树图像进行裁剪，识别得到果树冠层靶标对象，具体包括：

对第一边果树图像和第二边果树图像进行裁剪，得到条形图像；

对所述条形图像采用超绿算法进行处理，得到灰度条形图像；

对所述灰度条形图像采用最大类间方差算法进行图像二值化处理，将像素值为255的区域作为识别得到的果树冠层靶标对象。

2.根据权利要求1所述的果树冠层靶标快速识别装置，其特征在于，所述图像处理器设置在壳体内。

3.根据权利要求1-2任一项所述的果树冠层靶标快速识别装置，其特征在于，所述壳体内设有电源模块和蓄电池，所述蓄电池与电源模块连接，所述电源模块用于给装置供电。

4.根据权利要求3所述的果树冠层靶标快速识别装置，其特征在于，所述电源模块在接入外部电源时，电源模块对蓄电池充电，电源模块在没有接入外部电源时，电源模块切换为蓄电池供电。

5.一种果树冠层靶标快速识别方法，其特征在于，所述方法包括：

获取壳体上第一摄像头拍摄的第一边果树图像，以及壳体上第二摄像头拍摄的第二边果树图像；其中，所述第一边方向与第二边方向相反；

获取壳体上第一超声波传感器测量的第一边果树与壳体之间的距离，以及壳体上第二超声波传感器测量的第二边果树与壳体之间的距离；

获取壳体内三轴加速度传感器计算得到的壳体移动距离；

根据第一边果树与壳体之间的距离、第二边果树与壳体之间的距离以及壳体移动距离，对第一边果树图像和第二边果树图像进行裁剪，识别得到果树冠层靶标对象；

所述对第一边果树图像和第二边果树图像进行裁剪，识别得到果树冠层靶标对象，具体包括：

对第一边果树图像和第二边果树图像进行裁剪，得到条形图像；

对所述条形图像采用超绿算法进行处理，得到灰度条形图像；

对所述灰度条形图像采用最大类间方差算法进行图像二值化处理，将像素值为255的区域作为识别得到的果树冠层靶标对象。

6.根据权利要求5所述的果树冠层靶标快速识别方法，其特征在于，所述壳体移动距离，采用下式计算：

其中：

p和q分别对应三轴轴加速度传感器的第p次采样和第q次采样，a_i表示第i个采样时刻的壳体移动方向的加速度采样值，l表示第l次图像采集，t_sa表示三轴加速度传感器采样时间间隔，t_sc表示图像采集时间间隔。

7.根据权利要求5所述的果树冠层靶标快速识别方法，其特征在于，所述对第一边果树图像和第二边果树图像进行裁剪中，第一边果树图像截取的像素点横轴坐标范围为：

第二边果树图像截取的像素点横轴坐标范围为：

其中：

c₁表示将第一边果树图像裁剪出的条形图像的一半宽度，c₂表示将第二边果树图像裁剪出的条形图像的一半宽度，d_{1_sonar}表示第一边果树与壳体之间的距离，d_{2_sonar}表示第二边果树与壳体之间的距离，d_L表示摄像头芯片靶面宽度大小，d表示壳体的移动距离，L表示为图像的宽度。

8.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求5-7任一项所述的果树冠层靶标快速识别方法。

9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求5-7任一项所述的果树冠层靶标快速识别方法。

Images