CN110465954A - 一种基于机器视觉的餐具回收机器人系统及控制方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的餐具回收机器人系统及控制方法，包括机械部分、AGV系统底座部分、视觉识别系统部分和控制部分，AGV系统底座部分包括移动车，移动车为电磁感应引导式AGV小车，移动车用于在预设的引导线上行驶，移动车上设有放置餐具的回收箱，机械部分设在移动车上，机械部分包括机械臂和机械手，机械臂和机械手用于将餐桌上的餐具放入移动车上的回收箱中，视觉识别系统包括工业相机和天花板光源，控制部分包括电机驱动系统、传感器系统和单片机控制系统。本发明的目的是提供一种基于机器视觉的餐具回收机器人系统及控制方法，帮助餐馆或食堂回收餐具，节省劳动力，为生活提供便利。

Description

一种基于机器视觉的餐具回收机器人系统及控制方法

技术领域

本发明涉及智能制造机器人技术领域，具体涉及一种基于机器视觉的餐具回收机器人系统及控制方法。

背景技术

人口老龄化已经成为世界范围的重大社会问题，其中60岁以上的人口增长速度最快，社会中劳动力越来越缺乏。目前，在餐馆和大型食堂，往往需要使用大量的餐具，因此也需要安排大量的工作人会回收餐具，费时费力。

发明内容

根据现有技术的不足，本发明的目的是提供一种基于机器视觉的餐具回收机器人系统，融合了运动控制、多传感器组合、路径规划等技术，以便更好地在分类回收中解放部分社会劳动力，同时也能为生活提供便利。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于机器视觉的餐具回收机器人系统，包括机械部分、AGV系统底座部分、视觉识别系统部分和控制部分；

所述AGV系统底座部分包括移动车，所述移动车为电磁感应引导式AGV小车，所述移动车用于在预设的引导线上行驶，所述移动车上设有放置餐具的回收箱，所述机械部分设在移动车上；

所述机械部分包括机械臂和机械手，所述机械臂和所述机械手用于将餐桌上的餐具放入所述移动车上的所述回收箱中；

所述视觉识别系统包括工业相机和天花板光源，所述工业相机用于采集图像和确定餐具位置，所述天花板光源用于提供光照；

所述控制部分包括电机驱动系统、传感器系统和单片机控制系统，所述电机驱动系统包括移动车电机驱动系统和机械部分电机驱动系统，所述移动车电机驱动系统用于驱动移动车移动，所述机械部分电机驱动系统用于驱动所述机械部分将餐桌上的餐具放入所述移动车上的所述回收箱中；所述传感器系统包括红外线传感器和超声波测距传感器，所述红外线传感器设在所述移动车底部用于巡线，多对所述超声波测距传感器均布在所述机械臂上用于识别障碍物，所述单片机控制系统接收红外线传感器的信号控制所述移动车进行巡线、超声波测距传感器的信号控制所述移动车避开障碍物以及控制所述机械部分将餐桌上的餐具放入所述移动车上的所述回收箱中。

进一步的，所述机械臂包括支撑座、大臂和小臂，所述支撑座通过第一转动电机驱动转动，所述大臂设在所述支撑座上并通过第一直线电机驱动升降，所述小臂设在所述大臂上部并通过安装在所述大臂上的第二转动电机驱动转动，所述小臂通过第二直线电机驱动伸缩，所述机械手设在所述小臂末端。

进一步的，所述机械手包括丝杠、滑块、手指和移动杆，所述丝杠通过安装在所述小臂末端的第三转动电机驱动转动，所述滑块通过丝杠螺母安装在所述丝杠上，多个手指以丝杠为中心呈中心对称分布，所述手指为平行四边形连杆结构，包括第一连杆、第二连杆、第三连杆和第四连杆，所述第一连杆两端分别固定在所述丝杠两端，所述第二连杆和所述第四连杆平行设置且分别与所述第一连杆的两端铰接，所述第三连杆的一端和中部分别与所述第二连杆和所述第四连杆铰接，所述第三连杆的另一端伸出形成夹持部，所述移动杆一端固定在所述滑块上，另一端固定在所述第三连杆上。

进一步的，所述夹持部上套有海绵套。

进一步的，所述移动车包括前轮、中间轮和后轮，一对所述中间轮通过第四转动电机控制前进或后退，一对所述中间轮通过第五转动电机控制转弯，一对所述前轮和一对所述后轮均为万向轮。

进一步的，所述移动车上还设有超声波探测警示灯和保险杆，所述超声波探测警示灯在所述超声波测距传感器探测到障碍物时闪烁，所述保险杆设在所述移动车前侧用于保护所述移动车。

进一步的，所述单片机控制系统的处理器采用STC12C52RC芯片。

一种基于机器视觉的餐具回收机器人系统的控制方法：

步骤一、机器视觉系统存入餐具数据，包括餐具的形状和餐具的数量，餐具回收机器人收到指定餐桌指令后，控制移动车按预设的导引线上行驶到指定位置，在行驶过程中，沿预先设定的行驶路径埋设电线，当高频电流流经导线时，导线周围产生电磁场，AGV上左右对称安装有两个电磁感应器，两个电磁感应器所接收的电磁信号的强度差异可以反映AGV偏离路径的程度，从而使得餐具回收机器人能到达等待回收餐具的餐桌；

步骤二、到达指定餐桌后，通过工业相机拍摄图像并通过OpenCV函数进行识别是否有餐具，若有餐具，机器视觉系统依据先前存入的餐具数据，应用模板图像金字塔原理进行餐具位置确定，若没有餐具，移动车沿预先设定的行驶路径返回到初始位置；

步骤三、在确定餐具具体坐标后，通过相机坐标、世界坐标和成像物理坐标确定餐具的具体位置，利用单片机控制系统控制位置机械部分动作，使得机械手到达餐具的准确位置，机械手张开后合拢，实现抓取餐具；

步骤四、利用单片机控制系统控制位置机械部分动作，使得机械手将抓取的餐具放入移动车上的回收箱中；

步骤五、重复步骤三至步骤四的动作，直到餐桌上的餐具回收完毕；

步骤六、机械手完成餐具回收后，移动车沿预先设定的行驶路径返回到初始位置。

进一步的，所述步骤二具体包括：

步骤210、制作制作棋盘格，打印8*6的棋盘格到A4纸上，棋盘格方格大小为15*15mm；

步骤220、在6个不同位置分别拍摄一张照片；

步骤230、将图像输入计算机中，利用核心OpenCV函数判断图像中是否有餐具；

步骤240、采用匹配算法对餐具的具体位置进行确定；

步骤250、通过工业相机的标定和工业相机畸变矫正确定机械手到餐具的距离以及各个餐具之间的距离。

与现有技术相比，本发明具有以下优点和有益效果：

1.本发明所述的一种基于机器视觉的餐具回收机器人系统及控制方法，采用柔性材料机械手的设计，可实现了不同类型的餐具的抓取，如碗、碟、匙、筷、杯子、瓶子等不同形状的餐具。

2.本发明所述的一种基于机器视觉的餐具回收机器人系统及控制方法，利用机器视觉识别，增加了对复杂环境的辨识环节，能够实现精确地控制和定位。

3.本发明所述的一种基于机器视觉的餐具回收机器人系统及控制方法，采用电磁感应引导式AGV小车，可根据行走路线，由红外传感器阵列实现巡线功能，保证了路线的准确性。

4.本发明所述的一种基于机器视觉的餐具回收机器人系统及控制方法，在机械臂上设有超声波测距传感器，可探测障碍物并准确避障。

附图说明

图1为本发明的结构示意图；

图2为本发明的AGV系统底座部分结构示意图；

图3为本发明的机械部分结构示意图；

图4为本发明的机械手结构示意图；

图5为本发明的相机标定和畸变矫正流程图；

图6为本发明的视觉识别系统流程图。

其中：1、AGV系统底座部分；11、移动车；111、前轮；112、中间轮；113、后轮；114、超声波探测警示灯；115、保险杆；12、回收箱；

2、机械部分；21、机械臂；211、支撑座；212、大臂；213、小臂；22、机械手；221、丝杠；222、滑块；223、手指；2231、第一连杆；2232、第二连杆；2233、第三连杆；2234、第四连杆；224、移动杆；

3、视觉识别系统；31、工业相机；32、天花板光源；

4、控制部分；41、电机驱动系统；42、传感器系统；43、单片机控制系统。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

参照图1-图4所示，一种基于机器视觉的餐具回收机器人系统，包括AGV系统底座部分1、机械部分2、视觉识别系统3部分和控制部分4；

AGV系统底座部分1包括移动车11，移动车11为电磁感应引导式AGV小车用于在预设的引导线上行驶，移动车11上设有放置餐具的回收箱12，机械部分2设在移动车11上；

机械部分2包括机械臂21和机械手22，机械臂21和机械手22用于将餐桌上的餐具放入移动车11上的回收箱12中；

视觉识别系统3(图中未示出)包括工业相机31(图中未示出)和天花板光源32(图中未示出)，工业相机31用于采集图像和确定餐具位置，天花板光源32用于提供光照；

控制部分4包括单片机控制系统43(图中未示出)、传感器系统42(图中未示出)和电机驱动系统41(图中未示出)，传感器系统42包括红外线传感器、超声波测距传感器，红外线传感器设有移动车11底部用于巡线，多对超声波测距传感器均布在机械臂21上用于识别障碍物，单片机控制系统43用于接收红外线传感器和超声波测距传感器的信号并进行判断和处理障碍物，进而控制移动车11避开障碍物运动，电机驱动系统41用于驱动各个电机的运动。

本发明实施例中，设有三对超声波测距传感器，每对超声波测距传感器包括一个发射探头和一个接收探头，由于每一个超声波测距传感器都有一定的指向性，即发射或接受的空间范围，所以在测量时必然存在盲区。因此，三对传感器均布在机械臂21上，从而使超声波测距传感器的测量范围包含本餐具回收机器人所必须经过的空间，同时又避免探测死角，避免盲区落在须测量的范围之外。

具体的，电机驱动系统41(图中未示出)包括第一转动电机、第一直线电机、第二转动电机、第二直线电机、第三转动电机、第四转动电机和第五转动电机。

通过单片机控制系统发送信号给驱动器进而驱动各个电机进行工作。

参照图1和图3所示，优选的，机械臂21包括支撑座211、大臂212和小臂213，支撑座211通过第一转动电机驱动转动，大臂212设在支撑座211上并通过第一直线电机驱动升降，小臂213设在大臂212上部并通过安装在大臂212上的第二转动电机413驱动转动，小臂213通过第二直线电机驱动伸缩，机械手22设在小臂213末端。

参照图1和图4所示，优选的，机械手22包括第三转动电机、丝杠221、滑块222、手指223和移动杆224，第三转动电机安装在小臂213末端，丝杠221与第三转动电机的输出轴通过联轴器连接，滑块222通过丝杠221螺母安装在丝杠221上，多个手指223以丝杠221为中心呈中心对称分布，手指223为平行四边形连杆结构，包括第一连杆2231、第二连杆2232、第三连杆2233和第四连杆2234，第一连杆2231两端分别固定在丝杠221两端，第二连杆2232和第四连杆2234平行设置且分别与第一连杆2231两端铰接，第三连杆2233的一端和中部分别与第二连杆2232和第四连杆2234铰接，另一端伸出相对于第四连杆2234伸出形成夹持部，移动杆224一端固定在滑块222上，另一端固定在第三连杆2233上。第三转动电机可以使减速电机。减速电机指减速机和电机(马达)的集成体。减速电机通常也可称为齿轮马达或齿轮电机。减速电机通常由专业的减速机生产厂，进行集成组装好后，与电机一体成套供货。

在使用过程中，第三转动电机转动带动丝杠221转动，带动滑块222移动，从而带动多个移动杆224移动，进而带动平行四边形连杆结构运动，使得机械手22张开和闭合，夹持和松开餐具。

为了避免机械手22夹持餐具时对餐具造成擦伤，夹持部上套有海绵套225。

参照图1和图2所示，为了使移动车11灵活移动，移动车11包括前轮111、中间轮112和后轮113，一对中间轮112通过第四转动电机控制前进或后退，一对中间轮112通过第五转动电机控制转弯，一对前轮111和一对后轮113均为万向轮，使得前后轮113不仅可以前进和后退，还可以实现曲线行走。

参照图1和图2所示，优选的，移动车11上还设有超声波探测警示灯114和保险杆115，超声波探测警示灯114在超声波测距传感器探测到障碍物时闪烁，保险杆115设在移动车11前侧用于保护移动车11，防止超声波测距传感器未检测到障碍物而使得移动车11撞上障碍物。

优选的，单片机控制系统43的处理器采用STC12C52RC芯片。

一种基于机器视觉的餐具回收机器人系统的控制方法，参照图4和图5所示：

步骤一、机器视觉系统存入餐具数据，包括餐具的形状和餐具的数量，餐具回收机器人收到指定餐桌指令后，控制移动车11按预设的导引线上行驶到指定位置，在行驶过程中，沿预先设定的行驶路径埋设电线，当高频电流流经导线时，导线周围产生电磁场，AGV上左右对称安装有两个电磁感应器，它们所接收的电磁信号的强度差异可以反映AGV偏离路径的程度，从而使得餐具回收机器人能到达等待回收餐具的餐桌；

步骤二、到达指定餐桌后，通过工业相机31拍摄图像并通过OpenCV函数进行识别是否有餐具，若有餐具，机器视觉系统依据先前存入的餐具数据，应用模板图像金字塔原理进行餐具位置确定，若没有餐具，移动车11沿预先设定的行驶路径返回到初始位置；

步骤三、在确定餐具具体坐标后，通过相机坐标、世界坐标和成像物理坐标确定餐具的具体位置，利用单片机控制系统43控制位置机械部分2动作，使得机械手22到达餐具的准确位置，机械手22张开后合拢，实现抓取餐具；

步骤四、利用单片机控制系统43控制位置机械部分2动作，使得机械手22将抓取的餐具放入移动车11上的回收箱12中；

步骤五、重复步骤二至步骤四的动作，直到餐桌上的餐具回收完毕；

步骤六、机械手22完成餐具回收后，移动车11沿预先设定的行驶路径返回到初始位置。

其中，步骤二包括工业相机31的标定、工业相机31畸变矫正和匹配算法。通过OpenCV函数进行识别是否有餐具。通过匹配算法，可以确定餐具的具体位置。通过OpenCV函数进行相机标定，可以根据拍照的像素距离，得到实际距离，实际距离包括机械手22到餐具的距离以及各个餐具之间的距离。由于相机在拍照的过程中，图像会发生一定的变形，通过OpenCV函数进行工业相机31畸变矫正，可以减少实际距离的误差。

工业相机31的标定方法如下：

相机的内参数模型为：

相机的外参模型为：

将式(2)带入式(1)中，令w＝[u v 1]^T，并考虑zw＝0，整理得：

由于m₃₄＝Pz≠0，由上式消去zc，并除以m₃₄，得：

式中：m′＝[m′₁₁ m′₁₂ m′₁₄ m′₂₁ m′₂₂ m′₂₄ m′₃₁ m′₃₂]^T

由式(4)可知，只要求出m'便可确定世界坐标与图像坐标间的关系。假设有n个对应坐标点，则可得：

Am′＝B (5)

其中：

利用最小二乘法，可以求得：

m′＝(A^TA)^-1A^TB (6)

输入4个点的图像坐标和世界坐标，由公式(6)即可求出m'。

步骤二的方法具体包括：

步骤210、制作制作棋盘格，打印8*6的棋盘格到A4纸上，棋盘格方格大小为15*15mm；

步骤220、在6个不同位置分别拍摄一张照片；

步骤230、将图像输入计算机中，利用核心OpenCV函数判断图像中是否有餐具；

步骤240、采用匹配算法对餐具的具体位置进行确定；

步骤250、通过工业相机31的标定和工业相机31畸变矫正确定机械手22到餐具的距离以及各个餐具之间的距离。

具体的，参照图5所示，利用核心OpenCV函数判断图像中是否有餐具包括：

步骤231、通过findChessboardComers()发现角点；

步骤232、通过comerSubPix()角点亚像素化并压入角点集合。

根据匹配算法对餐具的具体位置进行确定的方法包括：

步骤241、将用户选中的模板进行图像金字塔处理；

步骤242、将从相机得到的图像做同样层级的图像金字塔；

步骤243、图像金字塔高级别层匹配，找出大致匹配位置；

步骤244、图像金字塔低级别匹配，找出更精确的匹配位置。

通过OpenCV函数进行相机标定和通过OpenCV函数进行工业相机31畸变矫正的方法包括：

步骤251、通过calibrateCamera()进行相机标定；

步骤252、通过undistort()进行图片矫正。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于机器视觉的餐具回收机器人系统，其特征在于：包括机械部分、AGV系统底座部分、视觉识别系统部分和控制部分；

所述AGV系统底座部分包括移动车，所述移动车为电磁感应引导式AGV小车，所述移动车用于在预设的引导线上行驶，所述移动车上设有放置餐具的回收箱，所述机械部分设在移动车上；

所述机械部分包括机械臂和机械手，所述机械臂和所述机械手用于将餐桌上的餐具放入所述移动车上的所述回收箱中；

所述视觉识别系统包括工业相机和天花板光源，所述工业相机用于采集图像和确定餐具位置，所述天花板光源用于提供光照；

所述控制部分包括电机驱动系统、传感器系统和单片机控制系统，所述电机驱动系统包括移动车电机驱动系统和机械部分电机驱动系统，所述移动车电机驱动系统用于驱动移动车移动，所述机械部分电机驱动系统用于驱动所述机械部分将餐桌上的餐具放入所述移动车上的所述回收箱中；所述传感器系统包括红外线传感器和超声波测距传感器，所述红外线传感器设在所述移动车底部用于巡线，多对所述超声波测距传感器均布在所述机械臂上用于识别障碍物，所述单片机控制系统接收红外线传感器的信号控制所述移动车进行巡线、超声波测距传感器的信号控制所述移动车避开障碍物以及控制所述机械部分将餐桌上的餐具放入所述移动车上的所述回收箱中。

2.根据权利要求1所述的基于机器视觉的餐具回收机器人系统，其特征在于：所述机械臂包括支撑座、大臂和小臂，所述支撑座通过第一转动电机驱动转动，所述大臂设在所述支撑座上并通过第一直线电机驱动升降，所述小臂设在所述大臂上部并通过安装在所述大臂上的第二转动电机驱动转动，所述小臂通过第二直线电机驱动伸缩，所述机械手设在所述小臂末端。

3.根据权利要求1所述的基于机器视觉的餐具回收机器人系统，其特征在于：所述机械手包括丝杠、滑块、手指和移动杆，所述丝杠通过安装在所述小臂末端的第三转动电机驱动转动，所述滑块通过丝杠螺母安装在所述丝杠上，多个手指以丝杠为中心呈中心对称分布，所述手指为平行四边形连杆结构，包括第一连杆、第二连杆、第三连杆和第四连杆，所述第一连杆两端分别固定在所述丝杠两端，所述第二连杆和所述第四连杆平行设置且分别与所述第一连杆的两端铰接，所述第三连杆的一端和中部分别与所述第二连杆和所述第四连杆铰接，所述第三连杆的另一端伸出形成夹持部，所述移动杆一端固定在所述滑块上，另一端固定在所述第三连杆上。

4.根据权利要求3所述的基于机器视觉的餐具回收机器人系统，其特征在于：所述夹持部上套有海绵套。

5.根据权利要求1所述的一种基于机器视觉的餐具回收机器人系统，其特征在于：所述移动小车包括前轮、中间轮和后轮，一对所述中间轮通过第四转动电机控制前进或后退，一对所述中间轮通过第五转动电机控制转弯，一对所述前轮和一对所述后轮均为万向轮。

6.根据权利要求1所述的一种基于机器视觉的餐具回收机器人系统，其特征在于：所述移动车上还设有超声波探测警示灯和保险杆，所述超声波探测警示灯在所述超声波测距传感器探测到障碍物时闪烁，所述保险杆设在所述移动车前侧用于保护所述移动车。

7.根据权利要求1所述的一种基于机器视觉的餐具回收机器人系统，其特征在于：所述单片机控制系统的处理器采用STC12C52RC芯片。

8.一种基于机器视觉的餐具回收机器人系统的控制方法，使用权利要求1-7任一项所述的基于机器视觉的餐具回收机器人系统，其特征在于：

步骤一、机器视觉系统存入餐具数据，包括餐具的形状和餐具的数量，餐具回收机器人收到指定餐桌指令后，控制移动车按预设的导引线上行驶到指定位置，在行驶过程中，沿预先设定的行驶路径埋设电线，当高频电流流经导线时，导线周围产生电磁场，AGV上左右对称安装有两个电磁感应器，两个电磁感应器所接收的电磁信号的强度差异可以反映AGV偏离路径的程度，从而使得餐具回收机器人能到达等待回收餐具的餐桌；

步骤二、到达指定餐桌后，通过工业相机拍摄图像并通过OpenCV函数进行识别是否有餐具，若有餐具，机器视觉系统依据先前存入的餐具数据，应用模板图像金字塔原理进行餐具位置确定，若没有餐具，移动车沿预先设定的行驶路径返回到初始位置；

步骤三、在确定餐具具体坐标后，通过相机坐标、世界坐标和成像物理坐标确定餐具的具体位置，利用单片机控制系统控制位置机械部分动作，使得机械手到达餐具的准确位置，机械手张开后合拢，实现抓取餐具；

步骤四、利用单片机控制系统控制位置机械部分动作，使得机械手将抓取的餐具放入移动车上的回收箱中；

步骤五、重复步骤三至步骤四的动作，直到餐桌上的餐具回收完毕；

步骤六、机械手完成餐具回收后，移动车沿预先设定的行驶路径返回到初始位置。

9.根据权利要求8所述的一种基于机器视觉的餐具回收机器人系统的控制方法，其特征在于，所述步骤二具体包括：

步骤210、制作制作棋盘格，打印8*6的棋盘格到A4纸上，棋盘格方格大小为15*15mm；

步骤220、在6个不同位置分别拍摄一张照片；

步骤230、将图像输入计算机中，利用核心OpenCV函数判断图像中是否有餐具；

步骤240、采用匹配算法对餐具的具体位置进行确定；

步骤250、通过工业相机的标定和工业相机畸变矫正确定机械手到餐具的距离以及各个餐具之间的距离。