CN114600641A - 基于图像识别技术的草莓采摘机及其采摘方法 - Google Patents

Abstract

本发明公开一种基于图像识别技术的草莓采摘机及其采摘方法，包括固定机架，固定机架由两个相对设置的侧支架连接组成，在两个侧支架之间设置有升降架；在升降架内设置有水平移动架；水平移动架的两端设置有用于和第二滑轨连接的滑块Ⅱ，在升降架上设置有水平丝杠组件Ⅰ，水平丝杠组件Ⅰ用于带动水平移动架沿第一水平方向移动，在水平移动架的下方设置有水平丝杠组件Ⅱ，水平丝杠组件Ⅱ用于带动采摘臂沿与第二水平方向移动，第二水平方向与第一水平方向相垂直；本装置主要涉及成熟草莓识别技术与末端执行器设计两方面，采用基于摄像机的视觉图像识别技术通过相应的算法实现颜色识别；末端执行器完成草莓的夹持及草莓梗的切断。

Description

基于图像识别技术的草莓采摘机及其采摘方法

技术领域

本发明属于草莓采摘作业的自动化技术领域，具体涉及一种基于图像识别技术的草莓采摘机及其采摘方法。

背景技术

草莓是我国生产和销售最为广泛的鲜食果品之一，深受消费者喜爱，我国草莓年产量更是超过全球草莓生产总量的三分之一。但目前草莓采摘主要是依靠人工完成，用于采摘作业的时间占到生产总时间的40%－50%，劳动强度大、效率低，采摘成本较高，在当下农业劳动力急缺、农业劳动力成本骤升的背景下，实现采摘作业自动化已经成为设施农业发展的迫切需求。草莓种植模式主要分为高垄栽培、架式栽培两种，不同的栽培模式其识别与采摘原理差异较大，本方案基于高垄栽培草莓为背景设计，高垄栽培是将草莓种在20～30cm高的垄地上，果实垂在垄地两侧斜面上生长，通过抬高栽培高度达到扩大土壤表面积、增强通风、节省用水、防止果实污染的目的，从而有效提高草莓的产量和品质，同时垄间设置的过道可方便田间管理作业的实施。高垄栽培草莓果实分布较为随机、果实密度低、果实间易相互遮蔽且采摘地形崎岖，由于高垄栽培农业环境的极度复杂性，采摘成为作物生产中劳动力耗费最大且最难以实现机械化作业的环节，同时也得到了越来越多研究人员的关注，近几十年来草莓自动采摘技术也得到了迅速发展，日本、美国、中国等国家均研究出不同类型的草莓自动采摘设备，但针对高垄栽培的草莓，目前还没有真正意义能够上大规模投入使用的草莓采摘机，因此有必要对草莓自动采摘设备进行更加深入的研究，以简化其结构、提高其适用性及推广性。

发明内容

本发明的目的是为了解决上述现有技术上存在的问题，提供基于图像识别技术的草莓采摘机及其采摘方法，本装置主要涉及成熟草莓识别技术与末端执行器设计两方面，其中草莓识别技术采用基于摄像机的视觉图像识别技术，通过相应的算法实现颜色识别；末端执行器为各类机械手，完成草莓的夹持及草莓梗的切断。

为实现上述目的，本发明采用如下技术方案：基于图像识别技术的草莓采摘机，包括固定机架，固定机架由两个相对设置的侧支架连接组成，在两个侧支架的立柱上竖直设置有第一滑轨，在两个侧支架之间滑动设置有升降架；所述升降架上设置有用于和第一滑轨连接的滑块Ⅰ，在其中一侧的侧支架上设置有用于带动升降架上下移动升降丝杠组件；所述升降架上水平设置有第二滑轨，在升降架内设置有水平移动架；所述水平移动架的两端设置有用于和第二滑轨连接的滑块Ⅱ，在升降架上设置有水平丝杠组件Ⅰ，所述水平丝杠组件Ⅰ用于带动水平移动架沿第一水平方向移动，在水平移动架的下方设置有水平丝杠组件Ⅱ，所述水平丝杠组件Ⅱ用于带动采摘臂沿与第二水平方向移动，第二水平方向与第一水平方向相垂直；所述采摘机械臂包括机械手电机和竖直丝杠，机械手电机的输出轴与竖直丝杠固定连接，在竖直丝杠的外部螺纹连接有套筒，所述套筒下端部两侧转动式设置有机械夹臂，两个机械夹臂能够相对开合，机械夹臂的中段通过连杆与套筒连接，连杆的两端均为铰接式连接，机械夹臂的开合端固定设置有采摘手。

作为优选方案，所述采摘手包括分别固定设置在两个机械夹臂上的夹持切断部Ⅰ和夹持切断部Ⅱ，夹持切断部Ⅰ和夹持切断部Ⅱ包括夹爪外壳，在两个夹爪外壳内相对设置有夹块，所述夹持切断部Ⅰ的其中一侧壁外设置有刀头，所述夹持切断部Ⅱ的侧壁外设置有与所述刀头配合的刀槽，或所述夹持切断部Ⅱ的其中一侧壁外设置有刀头，所述夹持切断部Ⅰ的其中一侧壁外设置有与所述刀头配合的刀槽。

作为优选方案，所述水平丝杠组件Ⅱ包括水平移动电机Ⅱ、水平丝杠Ⅱ和移动螺纹座Ⅱ，所述水平丝杠Ⅱ横向设置，其两端与水平移动架的底部设置的转动支撑座连接，移动螺纹座Ⅱ安装在水平丝杠Ⅱ上并与其螺纹配合，在移动螺纹座Ⅱ的下方固定设置有所述采摘机械臂。

作为优选方案，所述侧支架的两个立柱上均设置有摄像装置，所述摄像装置的摄像头斜向下设置。

作为优选方案，所述夹块内设置有去蒂机构，所述去蒂机构包括自动切刀组件和夹块刀槽，自动切刀组件和夹块刀槽分别相对设置在两个夹块的内部空腔内，在夹块的对接端面上形成有槽口Ⅰ，所述槽口Ⅰ设置在远离刀头的一侧并靠近边缘设置，槽口Ⅰ为倾斜设置或竖直设置，自动切刀组件用于当采摘机械臂移动至草莓放置区后，自动切刀组件由夹块的槽口Ⅰ处弹出，用于切除草莓梗。

作为优选方案，还包括卷辊机构，所述卷辊机构包括第一卷辊组件和第二卷辊组件，第一卷辊组件和第二卷辊组件分别设置在两个夹块的内部空腔中，第一卷辊组件和第二卷辊组件可由夹块的槽口Ⅱ处伸出或缩回，第一卷辊组件和第二卷辊组件收缩时，第一卷辊组件和第二卷辊组件完全进入槽口Ⅱ内，当第一卷辊组件和第二卷辊组件由槽口Ⅱ伸出并抵靠时，用于实现卷辊机构对草莓梗的夹持，并实现两夹块的相对分离。

作为优选方案，所述夹爪外壳与机械夹臂连接的一端面的两侧形成有挡边，两个所述挡边之间形成有滑动空间，所述机械夹臂的端部固定设置有安装板，安装板位于两个挡边之间并可沿滑动空间靠近或远离夹爪外壳。

作为优选方案，所述安装板端面设置有若干贯通的导向孔，在夹爪外壳的外壁上形成有与导向孔对应的导向柱，所述导向柱的一端对应插装在导向孔中，在导向柱的外端部形成有限位头，可以防止导向柱与安装板脱离，在导向柱上穿设有第二弹簧，第二弹簧位于安装板和夹爪外壳之间，当第一卷辊组件和第二卷辊组件相对抵靠后并进一步伸出，两个夹块会向后压缩第二弹簧，使得两夹块实现分离。

作为优选方案，所述槽口Ⅰ的外缘斜边处形成有倒角斜面，两个夹块接触时，两侧的倒角斜面形成间隙。

本发明的目的之二是提供一种基于图像识别技术的草莓采摘机的草莓采摘方法，具体步骤如下：

步骤一、草莓采摘机到达采摘位后，首先由双摄像头对待采摘草莓进行图像采集，

步骤二、通过MATLAB将摄像头采集到的RGB图像转换为Lab图像，转换之后对各通道进行提取，得到的灰度图；

步骤三、通过高斯滤波方法对图像进行处理以去除图像中的噪声；

步骤四、基于阈值的分割方法对处理后的图像进行分割处理，提取草莓的轮廓图像，以实现对草莓的识别；

步骤五、通过图像识别对草莓的成熟度进行判定，确定草莓采摘点坐标和草莓空间坐标；

确定草莓采摘点坐标步骤包括：首先通过MATLAB中的边缘检测算法提取草莓图像的边缘轮廓，然后利用转动惯量法对对称轴进行提取，草莓轮廓与对称轴相交于底部、顶部两个端点；采摘点的位置确定在对称轴上，并距离草莓顶部端点20-50mm；

确定草莓空间坐标步骤包括：草莓采摘机使用双目视觉进行草莓空间坐标定位，在完成草莓识别后需获取成熟草莓的三维空间位置信息方能由采摘手进行采摘，具体步骤如下：首先需要对摄像头进行标定，获取左右摄像头的内外参数；通过相应算法对两台摄像头的成像平面重新投影进行立体矫正；然后进行立体匹配，在两个摄像头拍摄到的两个不同视角图像中寻找对应点，确定草莓采摘点的三维坐标信息，并将确定的采摘点三维坐标发送至控制系统。

步骤六、采摘手依据获取的采摘点位置信息进入待采摘位置，进而夹持草莓梗并切断草莓梗，最后夹持草莓梗将草莓放入收集篮中。

有益效果

其一、本方案，利用成熟草莓识别技术与末端执行器设计两方面有机结合，其中草莓识别技术采用基于摄像机的视觉图像识别技术，通过相应的算法实现颜色识别；末端执行器采用机械手，完成草莓的夹持及草莓梗的切断。本方案可实现高垄种植草莓自动化采摘。采摘手采用丝杠滑块-连杆机械结构，结构简单，对采摘环境适应性好，采摘作业设计为夹持-切断二级结构，采摘效果可靠。本设计中重点考虑采摘机中草莓识别定位及采摘手的设计，由于采摘环境相对复杂，采摘机搭载平台及采摘控制系统在采摘机设计时也应综合考虑，同时提高了采摘机的通用性。

其二、本方案特别设置自动切刀组件，自动切刀组件与夹刀组件相对设置，当草莓机械臂将草莓运送至收集区后，自动切刀组件失电，弹簧将推动自动切刀弹出进入刀槽中，从而实现草莓采摘和果蒂去除一次完成，避免人工剪切果蒂造成的草莓果损耗和采摘成本的增加。

其三、本方案，考虑到在草莓梗被自动切刀组件切断后，需要进一步实现草莓果和剪切后的果蒂的分离，因此在自动切刀组件的一侧形成有倒角结构，两个倒角结构相对设置，倒角在两接触的夹块边缘形成的间隙，当草莓梗被切断后，由于倒角间隙的存在，夹块实际上实现了与草莓果的分离，草莓果可自然从夹持块上脱落至收集区，而夹持块夹持草莓梗，将其丢至果蒂收集区，从而实现草莓果和草莓梗的分离，然后继续下个草莓的采摘。

其四、本方案，提供一种草莓采摘方法，采摘机利用基于视差原理的双目视觉识别图像、确定草莓空间坐标，通过提取草莓轮廓及中心轴定位采摘点位置，识别精度高，定位简单，具体分析如下：其一、通过对所得到的L、a、b三幅单通道图像的观察和分析，在a通道的灰度图像中，目标果实与背景的灰度差异较大，草莓与背景的对比要强于另外两个通道，因此后续的图像处理将以a通道灰度图像为基础。其二、为了减少误差，提高识别精度，降低从相对复杂的背景图像中识别草莓的难度，需要对图像进行处理以去除图像中的噪声。其三、对处理后的图像进行分割处理，提取草莓的轮廓图像，以实现对草莓的识别，其四、完成分割后的草莓图像边缘并不整齐，有些地方还存在孔洞，将影响定位精度，所以需要对其进行平滑、填充孔洞等处理，使分割出的草莓图像更加精准。其五、摄像头在安装过程中可能会存在安装误差，因此为了减小误差并实现更加精确的定位，应通过相应算法对两台摄像头的成像平面重新投影进行立体矫正，进行立体匹配，再由执行机构实现草莓的采摘。采用该方法采摘草莓克服了地形和光照等条件对草莓采摘的影响，有效提升了草莓采摘的成功率。

附图说明

图1为本发明草莓采摘机的立体图；

图2为本发明草莓采摘机的正视图；

图3为本发明升降架和水平移动架的结构图；

图4为本发明中采摘臂的结构图；

图5为本发明采摘手的第一种实施方式的结构图；

图6为本发明采摘手的第二种实施方式的俯视图；

图7为本发明采摘手第二种实施方式的立体图；

图8为去蒂机构的结构图；

图9为卷辊机构的结构图；

图10为图7中夹块的局部示意图；

图11为草莓采摘机工作示意；

图12为草莓采摘机工作流程图；

图13为草莓采摘原理示意图；

图14为草莓夹持切断示意图；

图15为基于RGB模式的图像提取图；

图16为基于Lab模式图像提取图；

图17为高斯滤波前后对比图；

图18为Otsu阈值分割前后对比图；

图19图像优化处理及边缘提取图；

图中标记：1、固定机架，11、侧支架，12、第一滑轨，13、升降丝杠组件，2、升降架，21、滑块Ⅰ，22、第二滑轨，23、水平丝杠组件Ⅰ，231、水平丝杠电机Ⅰ，232、水平丝杠Ⅰ，233、移动螺栓座Ⅰ，3、水平移动架，31、水平丝杠组件Ⅱ，311、水平移动电机Ⅱ，312、水平丝杠Ⅱ，313、移动螺纹座Ⅱ，314、滑杆，315、支撑座，4、采摘臂，41、机械手电机，42、竖直丝杠，421、丝杠套，43、套筒，431、铰接头，432、机械夹臂，4321、安装板，4322、导向柱，4323、第二弹簧，433、连杆，5、采摘手，51、夹持切断部Ⅰ，511、刀头，52、夹持切断部Ⅱ，521、刀槽，53、夹块，531、卷辊组件，5311、卷轴伸缩电机，5312、卷轴架，5313、伸缩卷轴、5314、微型电机，532、切蒂组件，533、槽口Ⅰ，534、槽口Ⅱ，535、自动切刀组件，5351、自动刀头，5352、刀刃座，5353、伸缩杆，5354、第一弹簧，5355、电磁铁，536、夹块刀槽，537、距离传感器，538、倒角斜面，54、夹爪外壳，61、第一卷辊组件，611、第一伸缩推杆，612、第一伸缩架，613、驱动卷辊，614、卷辊电机，62、第二卷辊组件，621、第二伸缩推杆，622、第二伸缩架，623、从动卷辊，7、收集篮，8、摄像装置。9、小车，10、草莓果，20、草莓梗，30、高垄。

具体实施方式

以下通过示例性的实施方式对本发明进行具体描述。然而应当理解，在没有进一步叙述的情况下，一个实施方式中的元件、结构和特征也可以有益的结合到其它实施方式中。

如图1-3所示，本实施例的基于图像识别技术的草莓采摘机，包括由两个相对设置的侧支架11连接组成固定机架1、升降架2和水平移动架3，其中固定机架1内侧设置有竖直设置的第一滑轨12，侧支架11的两个立柱上均设置有摄像装置8，摄像装置8的四个摄像头斜向下设置。在两个侧支架11之间设置有升降架2，升降架2上设置滑块Ⅰ21，滑块Ⅰ21和第一滑轨12匹配连接，使得升降架2可以实现在固定机架1上的升降移动，在其中一侧的侧支架11上设置有用于带动升降架2上下移动升降丝杠组件13；在升降架2内侧设置有水平设置的第二滑轨22，在升降架2内设置有水平移动架3，水平移动架3的两端分别设置有滑块Ⅱ，滑块Ⅱ和第二滑轨22匹配连接，使得水平移动架3可以实现在升降架2上的水平移动调节，在水平移动架3上设置有采摘机械臂4，采摘机械臂4通过上述驱动机构的控制，可以根据检测到的草莓的三维空间，带动采摘手5抵达待采摘草莓的三维空间位置。

本方案，草莓采摘机工作示意如图11所示，采摘机以小车9为运载平台，横跨草莓生长高垄30，对其操作区域内的成熟草莓进行采摘。其工作流程如图12所示，草莓采摘机到达采摘位后，首先由双摄像头对待采摘草莓图像采集，通过图像识别对草莓的成熟度进行判定，确定草莓采摘点空间坐标；然后采摘手5依据获取的采摘点位置信息进入待采摘位置，进而夹持草莓梗20并切断草莓梗，最后夹持草莓梗将草莓放入收集篮7中；完成一次采摘后采摘手复位，等待下一次采摘指令发出。

草莓采摘机整体结构如图1所示，主要包括图像识别摄像头、采摘手5、收集篮7、采摘手驱动系统及相应支架，不包括运载平台，运载平台以小车为主，所设计采摘机可根据不同的地形特点、不同的采摘需要搭配相应运载平台。草莓采摘机共含4个摄像头，可对高垄两侧同时进行图像采集；含采摘手1个，可沿空间三个方向自由运动；含收集篮1个，采摘后的草莓可暂放于收集篮7中，收集篮7装满后由人工取下收集篮7将草莓转入周转筐中。

本方案中，参照图4和5，采摘机械臂4包括机械手电机41，机械手电机41的输出轴与竖直丝杠42固定连接，在竖直丝杠42的外圆设置有套筒43，套筒43端部两侧设置有铰接头431，铰接头431上设置有机械夹臂432，机械夹臂432的上段与铰接头431转动式连接，其下端设置有采摘手5，竖直丝杠42上设置有丝杠套421，机械夹臂432的中段通过连杆433与丝杠套421连接，连杆433的两端均为铰接式连接。

草莓采摘原理示意如图13所示，草莓果10垂落于高垄3侧面，采摘手5到达采摘位后可上下运动，通过向下运动至指定位置夹持并切断草莓梗20，向上运动夹持草莓梗20，将草莓放入收集篮7中。草莓采摘的关键在于草莓梗20处操作位置夹持、切断的准确识别定位，以及采摘手5的可靠设计。

草莓夹持-切断过程如图14所示，采摘手5首先运动至待采摘位置，如图14a，而后电机驱动采摘手5闭合，闭合过程中夹块53首先和草莓梗20接触夹持定位，如图14b，采摘手5继续闭合至刀槽-刀头接触切断草莓梗20，如图14c，由于夹块53为弹性材料，此时夹块53被压缩且持续夹持草莓梗即草莓。采摘手5采用二级结构，针对草莓梗20先夹持再切断，结构简单、定位性好、可靠性高；采摘手5的夹持-切断结构具有一定的操作深度，可抵消一部分定位误差，降低识别系统的复杂程度；采摘过程不与果实接触，避免对果实造成损伤。

本方案中，在升降架2上设置有水平丝杠组件Ⅰ23，水平丝杠组件Ⅰ23用于带动水平移动架3沿第一水平方向移动，在水平移动架3的下方设置有水平丝杠组件Ⅱ31，水平丝杠组件Ⅱ31用于带动采摘臂4沿与第二水平方向移动，第二水平方向与第一水平方向相垂直。

本方案，第二水平方向为采摘机采摘作业时的行进方向，也即高垄30的长度方向，水平丝杠组件Ⅰ23包括水平丝杠电机Ⅰ231、水平丝杠Ⅰ232和移动螺栓座Ⅰ233，其中水平丝杠Ⅰ232转动设置在水平移动架3上，水平丝杠Ⅰ232的两端与升降架2转动式连接，水平丝杠电机Ⅰ231设置在水平移动架3的外侧，移动螺栓座Ⅰ233与水平移动架3固定连接，当水平丝杠电机Ⅰ231驱动水平丝杠Ⅰ232转动时，移动螺栓座Ⅰ233能够带动水平移动架3沿水平丝杠Ⅰ232的长度方向进行移动。

本实施例中，如图2所示，水平丝杠组件Ⅱ31包括水平移动电机Ⅱ311、水平丝杠Ⅱ312、移动螺纹座Ⅱ313和两根滑杆314，水平丝杠Ⅱ312两端与水平移动架3的底部设置支撑座315转动连接，移动螺纹座Ⅱ313安装在水平丝杠Ⅱ312上并通过水平丝杠312的转动，驱动移动螺纹座Ⅱ313移动，移动螺纹座Ⅱ313的两侧还设置有滑孔，滑孔用于滑杆314的穿设而过进行滑动导向配合，在移动螺纹座Ⅱ313的下方设置有采摘机械臂4。水平移动电机Ⅱ311驱动水平丝杠Ⅱ312转动，移动螺纹座Ⅱ313能够带动采摘机械臂4沿水平丝杠Ⅱ312的长度方向移动。

本实施例，采摘机械臂4包括机械手电机41和竖直丝杠42，机械手电机41的输出轴与竖直丝杠42固定连接，在竖直丝杠42的外圆设置有套筒43，套筒43端部两侧转动式设置有机械夹臂432，两侧的机械夹臂432相对设置且可相对开合，丝杠42上设置有丝杠套421，机械夹臂432的中段通过连杆433与丝杠套421连接，连杆433的两端均为铰接式连接，机械夹臂432的开合端设置有采摘手5。采摘手5由机械手电机41驱动可正反转，经竖直丝杠42带动连杆机构，控制采摘手5开启、闭合，套筒43起固定支撑作用。采摘手5驱动系统主要通过上述的3组丝杠滑块机构，实现采摘手5在采摘区域内三个方向的直线运动。

参照图5，采摘手5包括分别设置在两个机械夹臂432上的夹持切断部Ⅰ51和夹持切断部Ⅱ52，持切断部Ⅰ51和夹持切断部Ⅱ52均包括夹爪外壳54，在夹持切断部Ⅰ51和夹持切断部Ⅱ52的夹爪外壳54内均设置有夹块53，夹持切断部Ⅰ51的其中一侧壁上设置有刀头511，夹持切断部Ⅱ52的其中一侧壁上设置有刀槽521，或夹持切断部Ⅱ52的一侧壁上设置有刀头512，夹持切断部Ⅰ51的其中一侧壁上设置有刀槽513。夹块53的相对端面上设置有柔性压力传感器，用于检测草莓梗处的夹持力，并将信号反馈给控制系统，以对该处的夹持力进行及时的调节。

采摘手5工作原理如下：丝杠套421随竖直丝杠42正反转动而上下移动，驱动连杆433带动机械夹臂432绕固定销轴转动，连杆433和机械夹臂432均左右对称设置。机械夹臂432末端设置有夹块53左右对称设置、刀槽521、刀头511，当竖直丝杠42带动丝杠套421向上运动时，左右对称机械夹臂432相向运动，左右夹块53、刀槽531-刀头511接触；当竖直丝杠42带动丝杠套421向下运动时，左右对称机械夹臂432背离运动，左右夹块53、刀槽521-刀头511脱离。

采用上述的草莓采摘机后，采摘手5通过夹持草莓梗20并对草莓梗20进行剪切，但是正常情况下，摘取的草莓梗20的长度大于等于3cm，如此长度的草莓梗20，在进行销售前，需要将草莓梗20进行去除，一般在0.8cm以下为宜，可以直接进行售卖，但由于草莓表皮细胞的角质层很薄，并且细胞粘连松散，很容易因为外力破裂，因此经过每增加一道周转加工，可能造成草莓的果的损耗增加，并且增加人工成本。

为了进一步实现在草莓果10的采摘过程中，完成草莓梗20的去除，本方案，在草莓的采摘过程中，通过设置草莓梗20切除机构，在采摘的同时可以完成草莓梗20的去除，由于考虑到需要在采摘后将草莓果10进行夹持送至收集区，为了避免对草莓果10的夹持损伤，本方案采用对草莓梗20进行夹持，因此在采摘时，预留有较长的草莓梗，如此作业，可以避免在采摘过程中对草莓果本体的损伤，但是如此采摘后，草莓梗20较长无法直接销售，需要对草莓梗20进行去除，为实现更好的效果，采摘手5还可以采用如下结构：夹块53内设置有去蒂机构，夹块53远离刀头511和刀槽531一侧被削去一角，在夹块53的夹持端面靠近该角的斜边位置形成有槽口Ⅰ533，两个夹块的槽口Ⅰ533相对设置，去蒂机构包括自动切刀组件535和夹块刀槽536，自动切刀组件535和夹块刀槽536分别相对设置在两个夹块53的槽口Ⅰ533内，参照图7和图10。

本方案中，如图8，自动切刀组件535可以采用如下结构：包括自动刀头5351、刀刃座5352、伸缩杆5353和第一弹簧5354，伸缩杆5353并行设置有两根，且其同一端与刀刃座5352的导槽腔活动连接，另一端与自动刀头5351固定连接，在伸缩杆5353上穿设有第一弹簧5354，第一弹簧5354位于刀刃座5352和自动刀头5351之间，在刀刃座5352的两个导槽腔之间设置有电磁铁5355，正常情况下，自动刀头5351被通电的电磁铁5355吸附，自动刀头5352压缩第一弹簧5354，当采摘夹持臂4将草莓果10运送至草莓果收集区后，电磁铁5355失电，自动刀头5352在第一弹簧5354的推力下进入夹块刀槽536，将草莓果10上的草莓梗20去除。采摘手5将草莓梗20移动至一侧的果蒂收集槽中并松开，此时草莓梗20被去除，而不用通过人工再次进行去蒂作业，避免人工作业对草莓果的二次损耗，以及二次处理造成的人工成本的增加。

本方案，自动切刀组件535用于当采摘机械臂4运行至草莓放置区后，自动切刀组件535由夹块53内弹出，从而切断草莓梗20。在槽口Ⅰ533的靠近缺角处的一侧边缘形成有倒角斜面538，两侧的倒角斜面538之间形成间隙，设置该倒角斜面538的作用是：当自动切刀组件535将草莓梗20去除后，草莓果10可自动由采摘手5上脱落，而采摘手5将草莓梗20带至果蒂收集区，释放后继续下个草莓的采摘。因此该结构保证了草莓梗20去除后，采摘手5不用松开，即可实现草莓果10的自然脱离，并同时实现了草莓梗20与草莓果10切断后进一步分离的作用，草莓梗20被切断后，草莓果10可以直接进行销售。

由于草莓采摘过程中，草莓果10的大小是不一致的，因此为了避免采摘手夹伤草莓果10，在采摘过程中，在初次将草莓从草莓植株上切断时，草莓果10上预留草莓梗20是长短不一的，也即一般大径草莓果的留存草莓梗长度一般较短，小径草莓果的留存草莓梗20长度较长，为了进一步保证，草莓梗被切除后，无论大径果还是小径过的长短基本一致，在两个夹块53的接触面上还设置有槽口Ⅱ534，槽口Ⅱ534与槽口Ⅰ533相平行，两个夹块53的槽口Ⅱ534相对应设置，槽口Ⅱ534安装有卷辊机构，卷辊机构包括第一卷辊组件61和第二卷辊组件62。第一卷辊组件61和第二卷辊组件62分别设置在两个夹块53的内部空腔中，第一卷辊组件61包括第一伸缩推杆611、第一伸缩架612、卷辊电机614和驱动卷辊613，第二卷辊组件62包括第二伸缩推杆621、第二伸缩架622和从动卷辊623，第一伸缩架612和第二伸缩架622的结构相同，其两端均形成有端板，驱动卷辊613的两端与第一伸缩架612的端板转动连接，从动卷辊623的两端与第二伸缩架622的端板转动连接， 第一伸缩架612的端板接触端面可设计凸台，第二伸缩架622的端板接触面形成有凹槽，凸台和凹槽起到两个卷辊组件的对准引导作用，当采摘手5在夹持切断草莓梗将草莓采摘后，通过将草莓夹取至放置区后，第一卷辊组件61和第二卷辊组件62由槽口Ⅱ534内相对伸出并接触顶压，此时驱动卷辊613和从动卷辊623可刚好正对夹持草莓梗20，在两个卷辊的外圆面包覆有橡胶层，因此不会夹伤草莓梗20，由于此时，两个机械夹臂432的夹持固定后的位置是不变的，因此当第一卷辊组件61和第二卷辊组件62相对伸出后，两个夹块53会向后压缩第二弹簧4323，并相对远离移动，两个夹块53远离后，由驱动卷辊613和从动卷辊623代替对草莓梗20的夹持。驱动卷辊613一端的卷辊电机614转动，从而带动驱动卷辊613转动，以卷动草莓梗20向刀头511一侧逐渐伸出。

具体地，在机械夹臂432的端部固定设置有安装板4321，在安装板4321设置有若干导向孔，在夹爪外壳4324的外壁上形成有与导向孔对应的导向柱4322，导向柱4322的一端对应插装在导向孔中，在导向柱4322的外端部形成有限位头，可以防止导向柱4322与安装板4321脱离，在导向柱4322上穿设有第二弹簧4323，第二弹簧4323位于安装板4321和夹爪外壳之间，当两个卷辊组件伸出并抵靠，夹块53是远离移动的，两个安装板4321是保持不动的，此时，两个夹块53会后压第二弹簧4323，使得夹块53相分离后，由驱动卷辊613和从动卷辊623对草莓梗20进行夹持，由于第二弹簧4323的存在，进一步限定了夹块53、驱动卷辊613-从动卷辊623对草莓梗20的最大夹持力，因此该设计会更加合理。当夹块53分离后，卷辊电机614驱动卷辊613转动，带动草莓果10向靠近夹块53方向移动，当靠近至设定位置后，本方案，通过倒角斜面538边缘处的距离传感器537，来限定草莓果与夹块53的距离，较佳地，距离小于0.5cm，自动切刀组件535动作。使得草莓果上预留的草莓梗20被除去，仅留有0.3-0.5 cm长度，留下草莓梗较短且相对均匀，此过程在草莓采摘同时即可完成，当其到达放置区后，自动切刀组件535配合动作，草莓完成草莓梗20切除，草莓果20由采摘手5上脱离，采摘手5将草莓梗20带至果蒂存放槽。随后，在两推杆电机作用下，第一卷辊组件61和第二卷辊组件62均收缩至夹块53内。放置区内表层铺设有海绵等弹性层，可避免草莓果10的碰伤。此时在放置区的草莓可由另外的装盒机构将去除草莓梗20后的草莓果10装入包装盒中，实现草莓果10的包装，可以用于直接转运和售卖。

本方案，对于在高垄30顶部的草莓进行采摘，由于草莓果10多贴合在高垄顶部的地面，直接通过机械夹臂无法进行采摘，直接进行采摘时，容易误夹断草莓的主藤或未成熟果的支藤，从而造成难以估计的损失，因此对应高垄顶部需要利用采摘手进行采摘时，可以设置如下结构，在丝杠的杆体端部设置有孔腔，用于安装有伸缩推杆，在伸缩推杆的端部设置有吸附盘，刀头和刀槽设置在夹持块的下端面，在采摘时先将两个夹块53打开，伸缩推杆下探，吸附盘的弹片触碰到草莓果20后，产生负压吸力，此时伸缩推杆缩回，带动草莓果20上行一段距离，夹块53闭合，草莓梗20被夹断，此种结构，能够解决了高垄顶部的草莓果无法实现机械手采摘的弊端。

本方案中，图像识别系统主要作用为获取操作区域内全部草莓的图像信息、识别待采摘草莓并确定待采摘草莓的采摘点位置。草莓成熟后为红色，与高垄上黑色的地膜、绿色的叶子与枝干、未成熟的草莓等在颜色上有较大的不同，可利用颜色特征确定识别方法，即基于颜色空间对待采摘草莓进行识别。

本发明还提供一种基于图像识别技术的草莓采摘机的草莓采摘方法，具体步骤如下：

S1、草莓采摘机到达采摘位后，首先由双摄像头对待采摘草莓图像采集，采摘草莓的第一步是获取待采摘的图像，为了实现这一过程，在草莓采摘机上设置两台小型的摄像头，采摘前两个摄像头会连续对高垄一侧拍照，以获得符合要求的草莓图像。

S2、通过MATLAB将摄像头采集到的RGB图像转换为Lab图像，转换之后对各通道进行提取，得到的灰度图；摄像头直接采集的图像是RGB模式，使用MATLAB对采集到的图像进行R、G、B单色通道提取，得到单个通道的灰度图像，如图15所示。由图15中可以看出，RGB模式下单通道灰度图进行提取的效果并不十分理想，对草莓图像与略为复杂的背景区别效果不是很明显，进而影响后续草莓目标的识别与提取。

基于这种情况，尝试选择另外一种颜色空间进行颜色特征提取—Lab颜色空间。Lab颜色空间由亮度L及a、b两个颜色通道三个要素组成，其中a通道从深绿色到灰色再到亮粉红色，b通道从亮蓝色到灰色再到黄色。由Lab颜色空间的特点可知，a通道的颜色范围与成熟的草莓、枝叶的颜色特征一致。为了提取图像的L、a、b各通道，首先需要通过MATLAB将摄像头采集到的RGB图像转换为Lab图像，转换之后对各通道进行提取，得到的灰度图如图16所示。通过对所得到的三幅单通道图像的观察和分析，在a通道的灰度图像中，目标果实与背景的灰度差异较大，草莓与背景的对比要强于另外两个通道，因此后续的图像处理将以a通道灰度图像为基础。

S3、通过高斯滤波方法对图像进行处理以去除图像中的噪声；采集到的图像中通常存在大量噪声，图像噪声是图像捕获过程中不需要的副产品，它会给图像带来错误和附加的信息。为了减少误差，提高识别精度，降低从相对复杂的背景图像中识别草莓的难度，需要对图像进行处理以去除图像中的噪声。去噪主要是通过图像滤波算法实现，常用的滤波方法有均值滤波、高斯滤波、中值滤波等，经过滤波后的图像背景将更加干净，干扰因素大幅减少。本方案采用高斯滤波对图像进行处理，参照图17。

S4、基于阈值的分割方法对处理后的图像进行分割处理，提取草莓的轮廓图像，以实现对草莓的识别；图像分割是指将图像分割成几个不重叠的子区域，使同一个子区域内的特征具有一定相似性，不同子区域的特征区别更加明显。对处理后的图像进行分割处理，提取草莓的轮廓图像，以实现对草莓的识别。MATLAB中对图像进行分割主要有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法，阈值分割法是一种最基本、应用最广泛的分割技术，其本质是利用图像灰度直方图信息得到适用于图像分割的阈值，利用不同的阈值将图像中的像素分类，从而实现对目标物体的分割；边缘分割法基本思想是先确定图像中的边缘像素，然后将它们连接在一起，构成所需的边界，常用的模板算子有Canny算子、Roberts算子、Prewitt算子等；区域分割法是指把具有同一种特性的像素看作一个整体来处理，形成所需要的分割区域。

基于区域和边缘的图像分割方法对于图像背景的复杂程度要求相对较低，而草莓采摘过程中采集到的图像包括草莓成熟/非成熟、枝叶、茎秆、塑料地膜等，图像背景的复杂程度较高，因此图像分割采用阈值法。具体采用Otsu阈值分割，如图18所示，为处理前的原图和对图像进行二值化处理后进行Otsu分割后得到的分割图像。观察分割后的图像，白色部分为视觉识别出的成熟草莓图像，与原图相比可以发现，符合采摘条件的草莓被精确的识别出来。

S5、通过图像识别对草莓的成熟度进行判定，确定草莓采摘点和空间坐标；

由图18可见，完成分割后的草莓图像边缘并不整齐，有些地方还存在孔洞，将影响定位精度，所以需要对其进行平滑、填充孔洞等处理，使分割出的草莓图像更加精准，如图19a所示，图中标记点为草莓质心的近似所在位置。

由于草莓具有一定的对称性，可以提取出草莓轮廓图像的对称轴后再定位其采摘点。首先通过MATLAB中的边缘检测算法提取草莓图像的边缘轮廓，如图19b所示；然后利用转动惯量法对对称轴进行提取，如图19c所示，草莓轮廓与对称轴相交于底部、顶部两个端点；草莓下垂时，在重力的作用下草莓梗的位置大致与质心即对称轴共线，因此采摘点的位置可以确定在对称轴上，具体确定为距离草莓顶部端点30mm处，具体的采摘距离可以根据实际需要进行设置。

草莓采摘机使用双目视觉进行草莓空间坐标定位，在完成草莓识别后需获取成熟草莓的三维空间位置信息方能由采摘手5进行采摘。首先需要对摄像头进行标定，获取左右摄像头的内外参数，摄像头在安装过程中可能会存在安装误差，或由于其它因素导致两台摄像头偏离同一平面，导致成像平面不准确，因此为了减小误差并实现更加精确的定位，应通过相应算法对两台摄像头的成像平面重新投影进行立体矫正。然后进行立体匹配，在左右摄像头拍摄到的两个不同视角图像中寻找对应点，确定采摘点的三维坐标信息，并将确定的采摘点三维坐标发送至控制系统，由执行机构实现草莓的采摘。

S6、采摘手依据获取的采摘点位置信息进入待采摘位置，进而夹持草莓梗并切断草莓梗，最后夹持草莓梗将草莓放入收集篮或放置区中。

在步骤S6中，对于第二种实施方式的采摘手，还包括如下步骤：对采摘后的草莓梗，进一步去除，将草莓果放置在收集篮或放置区中，草莓梗夹取至果蒂收集区。

基于双目视觉相机设置位置获取温室内高垄栽培草莓图片65张，目测成熟草莓132颗，利用图像识别系统对采集到的图像进行成熟草莓识别及采摘点定位，共识别出130颗草莓并成功定位采摘点，准确率达到98.5%，可满足采摘要求。未识别出的2颗草莓，1颗为采摘点定位失败，原因在于果实部分受叶子遮挡；1颗未识别出，原因在于光照不足受叶子和其他果实遮挡，未能提取图像特征。同时需要注意，受制于地形环境运动振动、地面倾斜等、光照环境随时间、天气变化程度较大、作物生长随机性等的影响，采摘机真实作业中的成功率往往远远低于测试值，因此需要结合真实环境不断提高采摘机的实际采摘成功率，这也是本研究的下一步工作重点。进一步地，在步骤六中，还包括草莓梗去除步骤，通过自动切刀组件535将采摘后的草莓梗切断后，草莓果10放置收集区，去除的草莓梗20由采摘手放置在果蒂收集区。

为了实现更好的效果，草莓果为单果或多个果集中在一簇，对于多个果集中在一处的情况下，此时如直接通过采摘手进行剪切，容易伤害其他未成熟的茎藤，从而会造成较大损失，为解决上述技术难题，其可以在采摘手上方的机械采摘臂上加装吸盘组件，吸盘组件可以采用如下结构：包括固定架，所述固定架水平设置，其一端固定在机械采摘臂上并与其垂直，第一气缸的底座固定在固定架的安装孔处，第一气缸的活塞杆端设置有安装块，在安装块上水平安装有第二气缸，第二气缸与固定架相平行，第二气缸的伸缩杆指向采摘手，在第二气缸的活塞端设置有吸盘，当采摘手打开后，第二气缸伸出，刚好可以由采摘手两个夹块之间的张开间隙通过，吸盘的弹片触碰到草莓果后对其进行负压吸附，第二气缸缩回至预设位置，通过对草莓果进行吸附拉动，将草莓果向一侧进行轻拖一定距离，此时，待采摘草莓果的草莓梗与其它草莓果的草莓梗将分离开，刀头-刀槽切断草莓梗。草莓果被采摘下，为了适应该结构，夹块上的两个槽口Ⅰ和槽口Ⅱ均为竖直设置，其中槽口Ⅰ设置在夹块靠近第二气缸一侧的边缘位置，槽口Ⅱ靠近夹块中间位置，草莓去梗过程与上面基本相同，所不同之处仅在于在夹持过程，吸盘始终保持对草莓果的夹持，当卷辊驱动转动后，第二气缸伸出速度与应与驱动卷辊的卷动速度一致，在草莓梗被去除后，第一气缸伸出下探至收集区上方，吸盘停止吸附，将草莓果放置在收集区或收集篮中。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.基于图像识别技术的草莓采摘机，其特征在于：包括

固定机架，固定机架由两个相对设置的侧支架连接组成，在两个侧支架的立柱上竖直设置有第一滑轨，在两个侧支架之间滑动设置有升降架；

所述升降架上设置有用于和第一滑轨连接的滑块Ⅰ，在其中一侧的侧支架上设置有用于带动升降架上下移动升降丝杠组件；所述升降架上水平设置有第二滑轨，在升降架内设置有水平移动架；

所述水平移动架的两端设置有用于和第二滑轨连接的滑块Ⅱ，在升降架上设置有水平丝杠组件Ⅰ，所述水平丝杠组件Ⅰ用于带动水平移动架沿第一水平方向移动，在水平移动架的下方设置有水平丝杠组件Ⅱ，所述水平丝杠组件Ⅱ用于带动采摘臂沿与第二水平方向移动，第二水平方向与第一水平方向相垂直；

所述采摘机械臂包括机械手电机和竖直丝杠，机械手电机的输出轴与竖直丝杠固定连接，在竖直丝杠的外部螺纹连接有套筒，所述套筒下端部两侧转动式设置有机械夹臂，两个机械夹臂能够相对开合，机械夹臂的中段通过连杆与套筒连接，连杆的两端均为铰接式连接，机械夹臂的开合端固定设置有采摘手。

2.如权利要求1所述的基于图像识别技术的草莓采摘机，其特征在于：所述采摘手包括分别固定设置在两个机械夹臂上的夹持切断部Ⅰ和夹持切断部Ⅱ，夹持切断部Ⅰ和夹持切断部Ⅱ包括夹爪外壳，在两个夹爪外壳内相对设置有夹块，所述夹持切断部Ⅰ的其中一侧壁外设置有刀头，所述夹持切断部Ⅱ的侧壁外设置有与所述刀头配合的刀槽，或所述夹持切断部Ⅱ的其中一侧壁外设置有刀头，所述夹持切断部Ⅰ的其中一侧壁外设置有与所述刀头配合的刀槽。

3.如权利要求2所述的基于图像识别技术的草莓采摘机，其特征在于：所述水平丝杠组件Ⅱ包括水平移动电机Ⅱ、水平丝杠Ⅱ和移动螺纹座Ⅱ，所述水平丝杠Ⅱ横向设置，其两端与水平移动架的底部设置的转动支撑座连接，移动螺纹座Ⅱ安装在水平丝杠Ⅱ上并与其螺纹配合，在移动螺纹座Ⅱ的下方固定设置有所述采摘机械臂。

4.如权利要求3所述的基于图像识别技术的草莓采摘机，其特征在于：所述侧支架的两个立柱上均设置有摄像装置，所述摄像装置的摄像头斜向下设置。

5.如权利要求3所述的基于图像识别技术的草莓采摘机，其特征在于：所述夹块内设置有去蒂机构，所述去蒂机构包括自动切刀组件和夹块刀槽，自动切刀组件和夹块刀槽分别相对设置在两个夹块的内部空腔内，在夹块的对接端面上形成有槽口Ⅰ，所述槽口Ⅰ设置在远离刀头的一侧并靠近边缘设置，槽口Ⅰ为倾斜设置或竖直设置，自动切刀组件用于当采摘机械臂移动至草莓放置区后，自动切刀组件由夹块的槽口Ⅰ处弹出，用于切除草莓梗。

6.如权利要求5所述的基于图像识别技术的草莓采摘机，其特征在于：还包括卷辊机构，所述卷辊机构包括第一卷辊组件和第二卷辊组件，第一卷辊组件和第二卷辊组件分别设置在两个夹块的内部空腔中，第一卷辊组件和第二卷辊组件可由夹块的槽口Ⅱ处伸出或缩回，第一卷辊组件和第二卷辊组件收缩时，第一卷辊组件和第二卷辊组件完全进入槽口Ⅱ内，当第一卷辊组件和第二卷辊组件由槽口Ⅱ伸出并抵靠时，用于实现卷辊机构对草莓梗的夹持，并实现两夹块的相对分离。

7.如权利要求6所述的基于图像识别技术的草莓采摘机，其特征在于：所述夹爪外壳与机械夹臂连接的一端面的两侧形成有挡边，两个所述挡边之间形成有滑动空间，所述机械夹臂的端部固定设置有安装板，安装板位于两个挡边之间并可沿滑动空间靠近或远离夹爪外壳。

8.如权利要求7所述的基于图像识别技术的草莓采摘机，其特征在于：所述安装板端面设置有若干贯通的导向孔，在夹爪外壳的外壁上形成有与导向孔对应的导向柱，所述导向柱的一端对应插装在导向孔中，在导向柱的外端部形成有限位头，可以防止导向柱与安装板脱离，在导向柱上穿设有第二弹簧，第二弹簧位于安装板和夹爪外壳之间，当第一卷辊组件和第二卷辊组件相对抵靠后并进一步伸出，两个夹块会向后压缩第二弹簧，使得两夹块实现分离。

9.如权利要求5所述的基于图像识别技术的草莓采摘机，其特征在于：所述槽口Ⅰ的外缘斜边处形成有倒角斜面，两个夹块接触时，两侧的倒角斜面形成间隙。

10.根据权利要求1-9任一项基于图像识别技术的草莓采摘机的草莓采摘方法，其特征在于：具体步骤如下：

步骤一、草莓采摘机到达采摘位后，首先由双摄像头对待采摘草莓进行图像采集，

步骤二、通过MATLAB将摄像头采集到的RGB图像转换为Lab图像，转换之后对各通道进行提取，得到的灰度图；

步骤三、通过高斯滤波方法对图像进行处理以去除图像中的噪声；

步骤四、基于阈值的分割方法对处理后的图像进行分割处理，提取草莓的轮廓图像，以实现对草莓的识别；

步骤五、通过图像识别对草莓的成熟度进行判定，确定草莓采摘点坐标和草莓空间坐标；

确定草莓采摘点坐标步骤包括：首先通过MATLAB中的边缘检测算法提取草莓图像的边缘轮廓，然后利用转动惯量法对对称轴进行提取，草莓轮廓与对称轴相交于底部、顶部两个端点；采摘点的位置确定在对称轴上，并距离草莓顶部端点20-50mm；

确定草莓空间坐标步骤包括：草莓采摘机使用双目视觉进行草莓空间坐标定位，在完成草莓识别后需获取成熟草莓的三维空间位置信息方能由采摘手进行采摘，具体步骤如下：首先需要对摄像头进行标定，获取左右摄像头的内外参数；通过相应算法对两台摄像头的成像平面重新投影进行立体矫正；然后进行立体匹配，在两个摄像头拍摄到的两个不同视角图像中寻找对应点，确定草莓采摘点的三维坐标信息，并将确定的采摘点三维坐标发送至控制系统；

步骤六、采摘手依据获取的采摘点位置信息进入待采摘位置，进而夹持草莓梗并切断草莓梗，最后夹持草莓梗将草莓放入收集篮中。

Images