CN112428268A

CN112428268A - 基于机器视觉的车载机械臂式水果拾取装箱系统及方法

Info

Publication number: CN112428268A
Application number: CN202011253907.0A
Authority: CN
Inventors: 穆悦; 颜开; 王凯; 郭威; 二宫正士
Original assignee: Nanjing Agricultural University
Current assignee: Nanjing Agricultural University
Priority date: 2020-11-11
Filing date: 2020-11-11
Publication date: 2021-03-02

Abstract

本发明涉及水果采后处理领域，具体是涉及基于机器视觉的车载机械臂式水果拾取装箱系统及方法，该系统包括：自走车装置，用于搭载机器手臂装置及相关设备，同时可驱动整个水果拾取装箱系统进行移动；机器手臂装置，安装在自走车装置上，用于水果的拾取装箱；机器视觉装置，安装在机器手臂装置中末端执行器上，用于识别并定位水果；控制系统，安装在自走车装置中，用于分析机器视觉装置传输的数据并驱动机器手臂装置完成对目标水果的抓取。本发明通过先进的机器视觉技术和机器人技术来提高水果拾取装箱的效率问题和降低水果的损伤率，将大大提高我国水果采后处理能力，进而创造出巨大的经济效益和社会效益。

Description

基于机器视觉的车载机械臂式水果拾取装箱系统及方法

技术领域

本发明涉及基于机器视觉的车载机械臂式水果拾取装箱系统及方法，属于水果采后处理技术领域。

背景技术

随着机器视觉技术和机器人技术的发展，在果蔬采摘领域的应用有效地降低劳动力成本，并提高了生产率。在水果的采后处理过程中，水果的拾取装箱是水果售卖前最后一道程序，此时水果的质量直接影响水果的售卖情况，从而影响到整个水果产业的发展。

随着社会的进步，人们对于水果的需求逐年递增，面对庞大的水果产量，水果配送中心需要实现全面自动化来提高生产效率。目前，多数水果配送中心在装箱阶段选择人工装箱，随着适龄劳动人口的减少，人工成本不断提高，同时人工装箱还存在效率低下、人工操作疲劳等问题。此外，现有的拾取装箱设备多数采用水果自由滚落或吸取水果的方式进行装箱，第一种方式容易对水果造成内部损伤，降低水果品质，不利于水果行业的长期发展；第二种方式对水果的形状和摆放位置有着很高的要求，不利于大规模推广。

发明内容

针对上述问题，本发明的目的在于提供基于机器视觉的车载机械臂式水果拾取装箱系统及方法，通过机器视觉装置实现对传送带上水果的识别和定位，通过机器手臂装置实现对水果的实时抓取和果箱内水果的序列摆放。

为解决上述技术问题，本发明提供基于机器视觉的车载机械臂式水果拾取装箱系统，包括：

自走车装置，用于搭载机器手臂装置，同时驱动整个基于机器视觉的车载机械臂式水果拾取装箱系统进行移动；

机器手臂装置，安装在自走车装置上，用于水果的拾取装箱；

机器视觉装置，安装在机器手臂装置中的末端执行器上，用于识别并定位水果；

控制系统，安装在自走车装置中，用于控制自走车装置的运动并分析机器视觉装置传输的数据，驱动机器手臂装置完成对水果的抓取。

进一步地，所述自走车装置包括车轮和车架，所述车轮安装在车架的底部，所述车轮内安装有用于驱动车轮转动的电动马达；所述车架上部安装有电池模块，所述电池模块外部的一侧安装有自走车电子调速器，所述自走车电子调速器与车轮、电动马达均连接。

进一步地，所述车架中安装有控制系统，所述控制系统内安装有片上系统、自走车单片机和无线电接收器，所述自走车单片机与片上系统、自走车电子调速器、无线电接收器均连接，所述无线电接收器接受遥控手柄的信号，并将信号传输到片上系统，片上系统将信号传送给自走车单片机，自走车单片机计算来自片上系统的信号并将结果传输给自走车电子调速器，调节电动马达的转速。

进一步地，所述机器手臂装置包括：

机器手臂单片机，安装在机器手臂装置内部，与控制系统、机器手臂电子调速器均连接，用于计算来自片上系统的信号并将结果传输给机器手臂电子调速器；

机器手臂电子调速器，安装在机器手臂装置内部，与机器手臂单片机、机械臂均连接，用于驱动各个机械臂；

末端执行器，位于机器手臂装置末端，与机械臂连接，用于拾取目标水果；

接触传感器，位于各个机械臂连接处，与控制系统连接。

进一步地，所述末端执行器包括步进电机和柔性机械爪，所述步进电机与驱动控制器、机器手臂单片机、柔性机械爪均连接，所述步进电机用于驱动柔性机械爪运动。

进一步地，所述柔性机械爪采用鳍条效应结构。

进一步地，所述机器视觉装置包括：用于识别并定位水果的单目相机模块、用于测量和水果之间距离的激光雷达模块，所述单目相机模块和激光雷达模块均直接与控制系统相连接，单目相机模块和激光雷达模块采集的数据直接传输给控制系统中片上系统进行处理。

进一步地，所述控制系统外部的一侧安装有紧急开关模块，所述自走车装置上安装有GPS模块和路由器，所述紧急开关模块、GPS模块和路由器分别与控制系统相连接，所述控制系统与电子计算机相连接。

本发明还提供一种水果拾取装箱方法，采用上述的基于机器视觉的车载机械臂式水果拾取装箱系统，包括如下步骤：

通过激光雷达模块和单目相机模块对水果进行识别、定位，然后将水果的位置信息传输到片上系统；

片上系统获取水果的位置信息后，通过控制机器手臂单片机、驱动机械臂带动末端执行器移动至水果的上方，通过激光雷达模块调整机械臂的位姿，实现果实抓取；

采用激光测距技术检测激光雷达模块与水果的距离，进而判断末端执行器是否成功拾取水果，若拾取水果失败，则返回初始位置再次抓取；若成功拾取水果，则通过片上系统控制机器手臂单片机驱动机械臂带动末端执行器移动至果箱，同时采用片上系统记录的果箱深度图来确定摆放水果的位置，进而实现水果的顺序摆放；

整个水果的拾取装箱过程结束后，采用激光雷达模块扫描果箱，得到果箱的深度图，并将其传输到片上系统进行记录。

本发明所采用的技术方案与现有技术相比，具有以下优点：本发明创造性地将自走车装置和机器手臂装置集成到一个系统，不但可以实现对水果的拾取装箱，而且还可以进行运送果箱的工作；本发明将单目相机、激光雷达传感器集成到机器手臂装置中末端执行器上，可以实现生产线上的水果在三维尺度上都可以被自动、准确、高效的拾取；本发明创造性地提出了通过激光雷达测距技术检测激光雷达模块与水果的距离大小来判断末端执行器是否完成对水果的抓取工作，同时可以实时调整机械臂的位姿，实现高度灵活的果实拾取；本发明能够将水果以一定的顺序自动装入果箱，降低了劳动力成本，提高了水果拾取装箱的品质和效率，避免了在装箱过程中对水果造成内部损伤，满足了市场对高品质水果的需求。

附图说明

图1为本发明整体结构的主视示意图；

图2为本发明的立体结构示意图；

图3为本发明的机器视觉装置结构图；

图4为本发明的系统构架示意图。

附图标记含义：1、紧急开关模块；2、GPS模块；3、路由器；4、电池模块；5、机械臂；6、步进电机；7、柔性机械爪；8、驱动控制器；9、车轮；10、车架；11、机器手臂单片机；12、机器手臂电子调速器；13、末端执行器；14、接触传感器；15、无线电接收器；16、自走车单片机；17、自走车电子调速器；18、片上系统；19、电动马达；20、激光雷达模块；21、单目相机模块。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1、2、3所示，本发明提出基于机器视觉的车载机械臂式水果拾取装箱系统，包括：自走车装置，用于搭载机器手臂装置及相关设备，同时可驱动整个基于机器视觉的车载机械臂式水果拾取装箱系统进行移动；机器手臂装置，安装在自走车装置上，用于水果的拾取装箱；机器视觉装置，安装在机器手臂装置中末端执行器13上，用于识别并定位水果；控制系统，安装在自走车装置中，用于分析机器视觉装置传输的数据并驱动机器手臂装置完成对水果的抓取。

在上述实施例中，如图1、图2、图4所示，自走车装置包括自走车单片机16、自走车电子调速器17、电动马达19、车轮9和车架10；自走车单片机16安装在控制系统内，用于计算来自片上系统18的信号并将结果传输给自走车电子调速器17；自走车电子调速器17安装在电池模块4外部的一侧，用于调节电动马达19的转速；电动马达19安装在车轮9内，用于驱动车轮9的转动；车轮9和车架10是自走车装置的基本组成部分，车轮9可以带动整个基于机器视觉的车载机械臂式水果拾取装箱系统进行运动，车架10做支撑使用。

在上述实施例中，如图1、图2、图4所示，机器手臂装置包括机器手臂单片机11、若干机器手臂电子调速器12、若干机械臂5、接触传感器14和末端执行器13，末端执行器13包括步进电机6、柔性机械爪7；机器手臂单片机11和机器手臂电子调速器12安装在机器手臂装置内部，用于驱动各个机械臂5；接触传感器14位于各个机械臂5连接处，接触传感器14与控制系统连接，用于控制机械臂5摆动角度，当机械臂5运动过度时停止机械臂5的摆动，用于限定机械臂5的运动范围，减少对机械臂5的损坏；末端执行器13位于机器手臂装置末端，步进电机6位于末端执行器13上部，安装在柔性机械爪7上，步进电机6用于驱动柔性机械爪7运动，柔性机械爪7采用鳍条效应结构，用于拾取水果。

在上述实施例中，如图3所示，机器视觉装置包括用于识别并定位水果的单目相机模块21、用于测量和水果之间距离的激光雷达模块20，单目相机模块21和激光雷达模块20采集的数据直接传输给控制系统中片上系统18并记录。

在上述实施例中，如图2所示，控制系统主要由片上系统18组成，控制系统安装在自走车装置上，用于控制自走车装置、机器手臂装置、机器视觉装置；片上系统18是整个基于机器视觉的车载机械臂式水果拾取装箱系统的控制核心，用于接收并处理激光雷达模块20和单目相机模块21传输的水果的位置信息、控制机械臂5的摆动、控制末端执行器13对水果的抓取以及控制自走车装置的运动。

在上述实施例中，如图1所示，该基于机器视觉的车载机械臂式水果拾取装箱系统还包括紧急开关模块1、GPS模块2、路由器3、电池模块4、驱动控制器8；紧急开关模块1安装在控制系统外部的一侧，用于水果拾取系统紧急关闭；GPS模块2安装在自走车装置上，位于电池模块4和机器手臂装置之间，用于整个基于机器视觉的车载机械臂式水果拾取装箱系统自动行走时导航；路由器3安装在电源模块4外部的另一侧，用于提供局域网使片上系统18与电子计算机连接通信；电池模块4安装在自走车装置上，为整个基于机器视觉的车载机械臂式水果拾取装箱系统提供工作电压；驱动控制器8安装在自走车装置中，用于调节步进电机6的额定转速，进而控制末端执行器13的最大抓取力。

基于上述实施例中提供的基于机器视觉的车载机械臂式水果拾取装箱系统，本发明提出了一种水果拾取装箱方法，包括如下步骤：

步骤一：通过激光雷达模块20和单目相机模块21对水果进行识别、定位，然后将水果的位置信息传输到片上系统18。

步骤二：片上系统18获取水果的位置信息后，通过控制机器手臂单片机11、驱动机械臂5带动末端执行器13移动至水果的上方，同时通过激光雷达模块20调整机械臂5的位姿，实现高度灵活的果实抓取。

步骤三：采用激光雷达测距技术检测激光雷达模块20与目标水果的距离，进而判断末端执行器13是否抓取目标水果。若拾取水果失败，则返回初始位置再次抓取；若拾取水果成功，则通过片上系统18控制机器手臂单片机11驱动机械臂5带动末端执行器13移动至果箱，同时采用片上系统记录的果箱深度图来确定摆放水果的位置，进而实现水果的顺序摆放。

步骤四：整个水果的拾取装箱过程结束时，通过激光雷达模块20扫描果箱，得到果箱的深度图，并将其传输到片上系统18进行记录。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.基于机器视觉的车载机械臂式水果拾取装箱系统，其特征在于，包括：

机器视觉装置，安装在机器手臂装置中的末端执行器（13）上，用于识别并定位水果；

2.根据权利要求1所述的基于机器视觉的车载机械臂式水果拾取装箱系统，其特征在于，所述自走车装置包括车轮（9）和车架（10），所述车轮（9）安装在车架（10）的底部，所述车轮（9）内安装有用于驱动车轮（9）转动的电动马达（19）；所述车架（10）上部安装有电池模块（4），所述电池模块（4）外部的一侧安装有自走车电子调速器（17），所述自走车电子调速器（17）与车轮（9）、电动马达（19）均连接。

3.根据权利要求2所述的基于机器视觉的车载机械臂式水果拾取装箱系统，其特征在于，所述车架（10）中安装有控制系统，所述控制系统内安装有片上系统（18）、自走车单片机（16）和无线电接收器（15），所述自走车单片机（16）与片上系统（18）、自走车电子调速器（17）、无线电接收器（15）均连接，所述无线电接收器（15）接受遥控手柄的信号，并将信号传输到片上系统（18），片上系统（18）将信号传送给自走车单片机（16），自走车单片机（16）计算来自片上系统（18）的信号并将结果传输给自走车电子调速器（17），调节电动马达（19）的转速。

4.根据权利要求1所述的基于机器视觉的车载机械臂式水果拾取装箱系统，其特征在于，所述机器手臂装置包括：

机器手臂单片机（11），安装在机器手臂装置内部，与控制系统、机器手臂电子调速器（12）均连接，用于计算来自片上系统（18）的信号并将结果传输给机器手臂电子调速器（12）；

机器手臂电子调速器（12），安装在机器手臂装置内部，与机器手臂单片机（11）、机械臂（5）均连接，用于驱动各个机械臂（5）；

末端执行器（13），位于机器手臂装置末端，与机械臂（5）连接，用于拾取目标水果；

接触传感器（14），位于各个机械臂（5）连接处，与控制系统连接。

5.根据权利要求4所述的基于机器视觉的车载机械臂式水果拾取装箱系统，其特征在于，所述末端执行器（13）包括步进电机（6）和柔性机械爪（7），所述步进电机（6）与驱动控制器（8）、机器手臂单片机（11）、柔性机械爪（7）均连接，所述步进电机（6）用于驱动柔性机械爪（7）运动。

6.根据权利要求5所述的基于机器视觉的车载机械臂式水果拾取装箱系统，其特征在于，所述柔性机械爪（7）采用鳍条效应结构。

7.根据权利要求1所述的基于机器视觉的车载机械臂式水果拾取装箱系统，其特征在于，所述机器视觉装置包括：用于识别并定位水果的单目相机模块（21）、用于测量和水果之间距离的激光雷达模块（20），所述单目相机模块（21）和激光雷达模块（20）均直接与控制系统相连接，单目相机模块（21）和激光雷达模块（20）采集的数据直接传输给控制系统中片上系统（18）进行处理。

8.根据权利要求1所述的基于机器视觉的车载机械臂式水果拾取装箱系统，其特征在于，所述控制系统外部的一侧安装有紧急开关模块（1），所述自走车装置上安装有GPS模块（2）和路由器（3），所述紧急开关模块（1）、GPS模块（2）和路由器（3）分别与控制系统相连接，所述控制系统与电子计算机相连接。

9.一种水果拾取装箱方法，采用如权利要求2到8任一项所述的基于机器视觉的车载机械臂式水果拾取装箱系统，其特征在于，包括如下步骤：

通过激光雷达模块（20）和单目相机模块（21）对水果进行识别、定位，然后将水果的位置信息传输到片上系统（18）；

片上系统（18）获取水果的位置信息后，通过控制机器手臂单片机（11）、驱动机械臂（5）带动末端执行器（13）移动至水果的上方，通过激光雷达模块（20）调整机械臂（5）的位姿，实现果实抓取；

采用激光测距技术检测激光雷达模块（20）与水果的距离，进而判断末端执行器（13）是否成功拾取水果，若拾取水果失败，则返回初始位置再次抓取；若成功拾取水果，则通过片上系统（18）控制机器手臂单片机（11）驱动机械臂（5）带动末端执行器（13）移动至果箱，同时采用片上系统（18）记录的果箱深度图来确定摆放水果的位置，进而实现水果的顺序摆放；

整个水果的拾取装箱过程结束后，采用激光雷达模块（20）扫描果箱，得到果箱的深度图，并将其传输到片上系统（18）进行记录。