CN113575111B - 温室番茄的实时识别定位和智能采摘装置 - Google Patents

Abstract

本发明公开了温室番茄的实时识别定位和智能采摘装置，包括小车本体、摄像头模块、主控模块、抓取模块和附加功能拓展模块；摄像头模块设置于抓取模块上，小车本体上设置附加功能拓展模块和主控模块；实现了对番茄果实进行智能识别、精确定位和无损抓取。

Description

温室番茄的实时识别定位和智能采摘装置

技术领域

本发明涉及细胞生物学领域，特别是温室番茄的实时识别定位和智能采摘装置。

背景技术

随着生产技术的发展，果蔬种植规模逐渐扩大，果蔬的采摘效率是影响农业生产效率的重要因素，而传统的果蔬采摘过程对农业人口的依赖性非常严重，并且果蔬受到环境与养分吸收的影响，成熟周期不一致，使得人力采摘周期长，从而劳动成本增加，经济效益滑坡；另一方面，人工采摘活动受体力、工作环境条件等影响，采摘效率低；传统的采摘工具也存在对果蔬的损害、环境污染等问题，所以实现果蔬采摘的机械化、自动化、智能化是当下采摘过程研究的关键问题之一。随着机器人技术的广泛应用与发展，农业机器人能够在艰苦的环境下完成连续、重复、单调的采摘劳动，而且可以实现采摘过程中定位识别、移动抓取等精细化操作，极大地提高了果蔬采摘效率。而衡量果蔬采摘机器人性能的关键指标有：对成熟果蔬的采摘效率、识别定位能力、避障能力、对采摘果蔬造成破坏的几率、采摘多样性等，所以，针对番茄的定位、识别、采摘、搬运、分拣、码垛、打包等多方面的作业任务，研发一种对番茄进行准确实时识别定位，并且减少番茄在采摘过程中损伤率的智能采摘装置，实现采摘的高自由度和准确度，对减少劳动力的使用，增加经济效益，提高生产质量和采摘品质具有重大意义。

发明内容

为解决现有技术中存在的问题，本发明提供了温室番茄的实时识别定位和智能采摘装置，实现了对番茄果实进行智能识别、精确定位和无损抓取。

本发明提供了一种技术方案，温室番茄的实时识别定位和智能采摘装置，包括小车本体、摄像头模块、主控模块、抓取模块和附加功能拓展模块；摄像头模块设置于抓取模块上，小车本体上设置附加功能拓展模块和主控模块。

优选地，抓取模块包括舵机1、舵机2、舵机3、舵机4、舵机5、舵机6、舵机7；舵机1控制在小车本体的底部回转，舵机2、舵机3控制小车本体大臂俯仰，舵机4个控制小车本体中臂回转，舵机5控制小车本体的小臂回、舵机6控制小车本体的小臂俯仰，舵机7控制小车本体的机械爪子抓取。

优选地，摄像头模块包括搭载OV5640模组、800万无畸变镜头的OpenMV-4H7 Plus智能摄像头8及其连接的外设部分。

优选地，附加功能拓展模块包括加超声波模块、红外避障模块、JY61倾斜角度传感器；小车本体的底盘及机械臂的基础上增加超声波模块、红外避障模块、JY61倾斜角度传感器通过参数返回各传感器的参数实现自动避障、规划小车路线、防侧翻功能。

优选地，主控模块包括STM32F103RB为主控芯片的开发板、锂电池；STM32F103RB为主控芯片的开发板分别连接锂电池、与摄像头模块的摄像头、抓取模块的舵机、附加功能模块的JY61倾斜角度传感器所有传感器以及本模块内的20A大功率H桥直流有刷电机驱动板直接相连，并通过电机驱动板间接操控37电机。

优选地，温室番茄的实时识别定位和智能采摘装置的系统，包括四大系统，四大系统为主控系统、识别与测控系统、定位系统和抓取系统；

其中，摄像头模块通过识别与测控系统与定位系统实现番茄果实的识别与定位，主控模块控制舵机模块通过抓取系统实现果实抓取，并控制附加功能模块实现装置移动以辅助四大系统的运行。

优选地，识别与测控系统的流程包括以下步骤：

步骤一：使用摄像头获得实时图像并使用大小为3×3且σ＝3的二维高斯平滑滤波器与每张输入图像卷积，用确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，进而得到输出图像；

步骤二：依次对图像使用erode和dilate函数进行腐蚀和膨胀处理，完成开运算；

步骤三：再对梯度图像实施阈值化处理，减少图像的过分割；

步骤四：在获取最佳阈值后，本装置使用Edge Impulse在线网站训练在Tensorflow框架下对番茄果实图像采取Mobile net神经网络训练，得到能识别番茄果实的神经网络模型；

步骤五：将训练好的番茄模型在OPENMV IDE中调用，并调用颜色识别及圆形识别函数，采用颜色+圆形+神经网络的三识别综合系统识别果实，并对番茄果实图像进行框取；

步骤六：将Openmv摄像头实时界面信息通过图传拓展版发送至上位机端，便于实时监控和调试。

优选地，定位系统的流程包括以下步骤：

步骤一：利用单目摄像头测距方法通过OpenMV内置函数测取镜头与番茄果实之间的直线距离；

步骤二：判断中心点位置，并用内置函数进行边缘获取像素点，并设定在番茄果实二值图像当中，用1表示玉米狩粒的图像区域：用0表示背景区域；

步骤三：通过扫描法对番茄果实二值图像进行扫描，计算出番茄果实图像中像素点为1的点的个数，再进行求和处理求得总数即为番茄面积，其公式为：

其中M，N代表二值化后图像的长宽像素，S为番茄果实面积；

步骤四：计算番茄果实的周长值，即非对角线方向累加像素点为1的边缘像素点，对角线方向运用邻域连通法以

个像素递增方式进行边缘像素点距离的计算进而求得周长

由于像素交叠的现象会改变像素点的像素值测量，通过以下表达式进行像素值修正，减少试验误差，最终求得实际周长

步骤五：将最优参数通过串口以中断形式发送至主控模块，供抓取系统使用。

优选地，抓取系统的流程包括以下步骤：

步骤一：抓取系统采用增量数字PID控制算法闭环控制机械臂上各舵机运行角度，结合最优路径相应参数完成抓取动作；

步骤二：随着舵机扭矩增加机械爪的抓取力度也不断增加，通过薄膜压力传感器对压力的量化与反馈完成压力精准控制，最终实现番茄果实的无损抓取。

优选地，主控系统的流程包括以下步骤：

步骤一：主控系统通过调节PWM波的占空控制机器人运动，

步骤二：待到指定位置依次开启识别与测控系统、定位系统、抓取系统，最终在主控系统的帮助下实现本发明的全部功能。

本发明温室番茄的实时识别定位和智能采摘装置的有益效果如下：

本发明对番茄进行准确实时识别定位，并且减少番茄在采摘过程中损伤率，，实现采摘的高自由度和准确度，减少劳动力的使用，增加经济效益，提高生产质量和采摘品质。

附图说明

图1为小车硬件结构示意图。

图2为小车基本构架侧视图。

图3为小车基本构架正视图。

图4为识别与测控系统流程图。

图5为定位系统流程图。

图6为抓取系统流程图。

附图标记：1-舵机1、2-舵机2、3-舵机3、4-舵机4、5-舵机5、6-舵机6、7-舵机7、8-摄像头、9-电机的履带式底盘、10-硅胶材料、11-电阻式薄膜压力传感器。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

为实现对番茄果实进行智能识别、精确定位和无损抓取，本发明提供一款基于OpenMV-4与STM32F103RB为主芯片的履带式智能采摘机器人。

本发明使用OpenMV-4智能摄像头作为识别终端，通过与7度机械臂的同步移动完成对番茄果实的识别和定位，并完成对果实图像数据信息的处理和发送。使用STM32作为机器人控制终端，用来完成以电机、舵机控制为主的基本功能，并通过增加薄膜压力传感器、超声波模块、红外传感器模块、JY61倾斜角度传感器等一系列传感器，实现抓取力度控制、自动避障、自动寻迹、防侧翻等一系列功能。该发明具有高识别成功率、实时精确定位、采摘损伤率较低等特点，可实现番茄果实的实时识别定位与智能采摘。

为实现上述目的，本发明提供如下技术方案：本发明将硬件部分分为摄像头模块、主控模块、抓取模块、功能拓展模块四个模块，如图1所示。

抓取模块

抓取模块为7度自由度机械臂带手爪装置，即7个HM-MS10舵机驱动，舵机其参数如下：净重60g，机构极限角度180°，齿轮材料为金属齿轮，工作电压为5-7.4V，工作频率为50-330HZ，脉波宽度范围500-2500u sec，空载转速为0.16sec/60°(6V)，0.14sec/60°(7.2v)空载电流为80MA(6V)，100MA(7.2V)，停止扭力15kg*cm(6V),20kg*cm(7.2V)，停止电流为4MA(6V),5MA(7.2V)。

舵机1控制在底部回转，舵机2、舵机3控制大臂俯仰、舵机4个控制中臂回转，舵机5控制小臂回、舵机6控制小臂俯仰，舵机7控制机械爪子抓取，共计7个自由度。如图2所示。

将机械臂与小车底盘相连接后形成小车基本构架如图3(正视图)。

作为果实的直接接触部件，机械手爪使用硅胶材料10附着表面，减少抓取动作对果实的损伤。并在机械爪内壁附着FSR402电阻式薄膜压力传感器11，通过抓取果时薄膜压力传感器的动态参数反馈控制抓取力度，完成抓取动作。

摄像头模块

本发明的摄像头模块由搭载OV5640模组、800万无畸变镜头的OpenMV-4H7 Plus智能摄像头8其连接的外设部分组成。

相关外设采用OpenMV传感器扩展板进行与STM32的串口通信、OpenMV测距扩展板进行避障处理、OpenMV无线图传扩展板完成操作界面网络端可视化。

附加功能模块

本发明在底盘及机械臂的基础上增加超声波模块、红外避障模块、JY61倾斜角度传感器通过参数返回各传感器的参数实现自动避障、规划小车路线、防侧翻功能。

主控模块

底盘为带有12V 37电机的履带式底盘9，采用微型直流减速电机，型号为HM-37GB520，电机尺寸为37*58m，出轴尺寸为6*15mm，重量280g，可用直流12V/24V电压，0.5A电流，功率为10W，转速39-300转

以STM32F103RB为主控芯片的开发板是本发明的核心控制系统，其由11.1V的5400mAh锂电池供电，与摄像头模块的摄像头、抓取模块的舵机、附加功能模块的所有传感器以及本模块内的20A大功率H桥直流有刷电机驱动板直接相连，并通过电机驱动板间接操控37电机。

本发明的电源供给STM32开发板的电压经内部器件降为5V，供给电机驱动板的电压为11.1V，通过降压模块将电压降为3.7V给摄像头模块供电。

本发明提供如下技术方案：本发明将软件部分分为主控系统、识别与测控系统、定位系统、抓取系统四个系统，其中摄像头模块通过识别与测控系统与定位系统实现番茄果实的识别与定位，主控模块控制舵机模块通过抓取系统实现果实抓取，并控制附加功能模块实现装置移动以辅助四大系统的运行。

识别与测控系统

本部分由摄像头模块获取图像，并完成番茄果实的识别并将信息用于定位系统

具体工作流程：OPENMV IDE软件中编写程序以实现如下功能。

1)使用摄像头获得实时图像并使用大小为3×3且σ＝3的二维高斯平滑滤波器与每张输入图像卷积，用确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，进而得到输出图像。

2)依次对图像使用erode和dilate函数进行腐蚀和膨胀处理，完成开运算。

再对梯度图像实施阈值化处理，减少图像的过分割：

4)在获取最佳阈值后，本装置使用Edge Impulse在线网站训练在Tensorflow框架下对番茄果实图像采取Mobile net神经网络训练，得到能识别番茄果实的神经网络模型。

5)将训练好的番茄模型在OPENMV IDE中调用，并调用颜色识别及圆形识别函数，采用颜色+圆形+神经网络的三识别综合系统识别果实，并对番茄果实图像进行框取。

6)将Openmv摄像头实时界面信息通过图传拓展版发送至上位机端，便于实时监控和调试，测控与识别系统流程如图4所示。

定位系统

本部分在框取处理识别后的番茄果实图像后获得每个果实的直线距离、中心位置、半径大小、面积等关键位置参数，将机械手坐标与番茄坐标进行平面映射，并建立空间坐标系，并通过串口通信传将输参数给主控模块。

1)利用单目摄像头测距方法通过OpenMV内置函数测取镜头与番茄果实之间的直线距离。

2)判断中心点位置，并用内置函数进行边缘获取像素点，并设定在番茄果实二值图像当中，用1表示玉米狩粒的图像区域：用0表示背景区域。

3)通过扫描法对番茄果实二值图像进行扫描，计算出番茄果实图像中像素点为1的点的个数，再进行求和处理求得总数即为番茄面积，其公式为：

其中M，N代表二值化后图像的长宽像素，S为番茄果实面积。

4)计算番茄果实的周长值，即非对角线方向累加像素点为1的边缘像素点，对角线方向运用邻域连通法以

个像素递增方式进行边缘像素点距离的计算进而求得周长

由于像素交叠的现象会改变像素点的像素值测量，通过以下表达式进行像素值修正，减少试验误差，最终求得实际周长

5)将最优参数通过串口以中断形式发送至主控模块，供抓取系统使用。定位系统流程如图5所示。

抓取系统

本系统在获取番茄位置、周长、面积参数后，由主控模块控制舵机模块通过抓取系统完成抓取动作。

抓取系统采用增量数字PID控制算法闭环控制机械臂上各舵机运行角度，结合最优路径相应参数完成抓取动作。随着舵机扭矩增加机械爪的抓取力度也不断增加，通过薄膜压力传感器对压力的量化与反馈完成压力精准控制，最终实现番茄果实的无损抓取。抓取系统流程如图6所示。

主控系统

主控系统以主控模块为基础是本发明的核心系统，通过调用其它三个系统及相应模块实现本发明的全部功能。

主控系统通过调节PWM波的占空控制机器人运动，待到指定位置依次开启识别与测控系统、定位系统、抓取系统，最终在主控系统的帮助下实现本发明的全部功能。

作为本发明的进一步方案：

本发明将小车设为位置寻找、果实寻找、果实抓取三种状态，分别对应状态标志位的0、1、2，并使用两个附加功能模块中的红外传感器分别安装在小车前端底部用于循迹。

在温室植株两侧布置与机器人底盘下的红外传感器等间距的两条黑线，在番茄对应位置粘贴长宽各3cm的白纸作为中断源。

番茄位置采用外部中断触发方式进行检测，当底部红外传感器未检测到黑线即触发中断，再次前进4cm后若检测到黑线，即开启果实寻找状态，进行番茄果实识别、定位，再通过主控模块和抓取模块配合完成抓取路径规划及无损抓取方案的实施，当无可抓取果实后，重新前进寻找标定位置点。

Claims (1)

1.温室番茄的实时识别定位和智能采摘装置，其特征在于，包括小车本体、摄像头模块、主控模块、抓取模块和附加功能拓展模块；所述摄像头模块设置于抓取模块上，所述小车本体上设置附加功能拓展模块和主控模块；

所述抓取模块包括舵机1、舵机2、舵机3、舵机4、舵机5、舵机6、舵机7；所述舵机1控制在小车本体的底部回转，所述舵机2、舵机3控制小车本体大臂俯仰，舵机4个控制小车本体中臂回转，舵机5控制小车本体的小臂回、舵机6控制小车本体的小臂俯仰，舵机7控制小车本体的机械爪子抓取；

所述摄像头模块包括搭载OV5640模组、800万无畸变镜头的OpenMV-4H7 Plus智能摄像头8及其连接的外设部分；

所述附加功能拓展模块包括加超声波模块、红外避障模块、JY61倾斜角度传感器；小车本体的底盘及机械臂的基础上增加超声波模块、红外避障模块、JY61倾斜角度传感器通过参数返回各传感器的参数实现自动避障、规划小车路线、防侧翻功能；

所述主控模块包括STM32F103RB为主控芯片的开发板、锂电池；所述STM32F103RB为主控芯片的开发板分别连接锂电池、与摄像头模块的摄像头、抓取模块的舵机、附加功能模块的JY61倾斜角度传感器所有传感器以及本模块内的20A大功率H桥直流有刷电机驱动板直接相连，并通过电机驱动板间接操控37电机；

其系统包括四大系统，四大系统为主控系统、识别与测控系统、定位系统和抓取系统；

其中，摄像头模块通过识别与测控系统与定位系统实现番茄果实的识别与定位，主控模块控制舵机模块通过抓取系统实现果实抓取，并控制附加功能模块实现装置移动以辅助四大系统的运行；

所述识别与测控系统的流程包括以下步骤：

步骤一：使用摄像头获得实时图像并使用大小为3×3且σ＝3的二维高斯平滑滤波器与每张输入图像卷积，用确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，进而得到输出图像；

步骤二：依次对图像使用erode和dilate函数进行腐蚀和膨胀处理，完成开运算；

步骤三：再对梯度图像实施阈值化处理，减少图像的过分割；

步骤四：在获取最佳阈值后，本装置使用Edge Impulse在线网站训练在Tensorflow框架下对番茄果实图像采取Mobile net神经网络训练，得到能识别番茄果实的神经网络模型；

步骤五：将训练好的番茄模型在OPENMV IDE中调用，并调用颜色识别及圆形识别函数，采用颜色+圆形+神经网络的三识别综合系统识别果实，并对番茄果实图像进行框取；

步骤六：将Openmv摄像头实时界面信息通过图传拓展版发送至上位机端，便于实时监控和调试；

所述定位系统的流程包括以下步骤：

步骤一：利用单目摄像头测距方法通过OpenMV内置函数测取镜头与番茄果实之间的直线距离；

步骤二：判断中心点位置，并用内置函数进行边缘获取像素点，并设定在番茄果实二值图像当中，用1表示玉米狩粒的图像区域：用0表示背景区域；

步骤三：通过扫描法对番茄果实二值图像进行扫描，计算出番茄果实图像中像素点为1的点的个数，再进行求和处理求得总数即为番茄面积，其公式为：

其中，M，N代表二值化后图像的长宽像素，S为番茄果实面积；

步骤四：计算番茄果实的周长值，即非对角线方向累加像素点为1的边缘像素点，对角线方向运用邻域连通法以

个像素递增方式进行边缘像素点距离的计算进而求得周长

由于像素交叠的现象会改变像素点的像素值测量，通过以下表达式进行像素值修正，减少试验误差，最终求得实际周长

步骤五：将最优参数通过串口以中断形式发送至主控模块，供抓取系统使用；

所述抓取系统的流程包括以下步骤：

步骤一：抓取系统采用增量数字PID控制算法闭环控制机械臂上各舵机运行角度，结合最优路径相应参数完成抓取动作；

步骤二：随着舵机扭矩增加机械爪的抓取力度也不断增加，通过薄膜压力传感器对压力的量化与反馈完成压力精准控制，最终实现番茄果实的无损抓取；

所述主控系统的流程包括以下步骤：

步骤一：主控系统通过调节PWM波的占空控制机器人运动，

步骤二：待到指定位置依次开启识别与测控系统、定位系统、抓取系统，最终在主控系统的帮助下实现本装置 的全部功能。

Images