CN111645047A - 基于图像处理的用于环卫车的智能控制机械臂及控制方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的用于环卫车的智能控制机械臂及控制方法，所述的控制方法包括以下步骤：实时采集图像，从图像中识别出垃圾桶的图像；判断环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。所述机械臂包括图像识别模块，行车指示模块、机械臂和机械臂控制单元。本发明通过采用视觉传感器对垃圾桶进行图像识别，并运算其空间三维坐标，为环卫车辆的停放和智能机械臂的伸出距离和抓取位置提供数据，从而确定智能机械臂伸出机构伸出距离的方法。

Description

基于图像处理的用于环卫车的智能控制机械臂及控制方法

技术领域

本发明属于智能环卫车辆技术领域，具体涉及一种基于图像处理的用于环卫车的智能控制机械臂及控制方法。

背景技术

目前国内使用的垃圾车收集垃圾时，都需要有环卫工人将垃圾桶推至收集装置处，并固定到收集装置上，操作人员通过操作按钮开关控制收集装置的升降，将垃圾桶内的垃圾到入垃圾车厢内，这种传统的收集方式，需要操作人员多且劳动强度大，不利于降低人力成本。

发明内容

针对上述问题，本发明提出一种基于图像处理的用于环卫车的智能控制机械臂及控制方法。

实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

本发明提供了一种基于图像采集系统实现智能环卫车的机械臂的控制方法，包括以下步骤：

实时采集图像，从图像中识别出垃圾桶的图像；

判断环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；

根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。

作为本发明的进一步改进，识别垃圾桶的图像包括将所采集的图像对比存储所有垃圾桶图片信息的数据库，从对比的结果中识别出实时采集的图像是否包含垃圾桶。

作为本发明的进一步改进，采用三维坐标(x，y，z)表示所述环卫车与垃圾桶的空间位置关系，该三维坐标以机械臂在环卫车上的安装点为坐标原点；根据三维坐标(x，y，z)值所计算出的垃圾桶与机械臂之间的距离，判断垃圾桶是否在可抓取的范围内，若是执行抓取操作，若否则根据坐标值计算环卫车合适的停车位置并驱动环卫车向指定的方向行车方向，当环卫车停在垃圾桶可抓取位置的区域时执行抓取操作。

作为本发明的进一步改进，抓取垃圾桶的过程包括根据停车时环卫车相对于垃圾桶的位置关系控制连接机械臂的伸缩油缸的伸出距离和速度抓取垃圾桶。

基于上述控制方法，本发明还提供了一种用于环卫车的智能机械臂，包括图像识别模块，行车指示模块、机械臂和机械臂控制单元；

图像识别模块，配置为实时采集环卫车四周的图像，从图像中识别出垃圾桶的图像；

行车指示模块，配置为根据所判断出的环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；

机械臂控制单元，配置为根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。

作为本发明的进一步改进，还包括主控制器，所述的图像识别模块，行车指示模块和机械臂控制单元连接主控制器，将实时接收的信息传送至主控制器，接收主控制器的指令。

作为本发明的进一步改进，所述图像识别模块包括视觉传感器和运算主机；

在环卫车前、后、左、右每一个侧面的外侧安装至少两个视觉传感器；

所述的运算主机中配置了存储所有垃圾桶图片信息的数据库，用于将视觉传感器捕捉到的图像信息与数据库中的信息进行实时对比，判别采集图像中是否捕捉到垃圾桶。

作为本发明的进一步改进，所述的机械臂控制单元包括伸缩油缸，与伸缩油缸相连的伸出电磁比例阀和收回电磁比例阀，通过PID闭环控制方法调节伸出电磁比例阀和收回电磁比例阀的通断和阀芯开度，控制伸缩油缸的伸出距离和伸出速度。

作为本发明的进一步改进，所述的机械臂控制单元还包括位移传感器，用于记录机械臂首次抓取垃圾桶时伸缩油缸伸出的位移距离，控制机械臂在垃圾桶放回过程中采用相同的油缸伸出的位移距离。

作为本发明的进一步改进，所述的机械臂控制单元还包括垃圾卸载单元，所述的垃圾卸载单元包括抱桶油缸和翻桶油缸，与抱桶油缸相连和压力检测器，与翻桶油缸相连的上翻到位检测器和下翻到位检测器，所述垃圾卸载单元与所述的主控制器相连，控制机械臂完成的垃圾的收集和垃圾桶的放回。

本发明的有益效果：

(1)采用视觉传感器对垃圾桶进行图像识别，并运算其空间三维坐标，为环卫车辆的停放和智能机械臂的伸出距离和抓取位置提供数据。

(2)提供一种根据垃圾桶的空间三维坐标确定智能机械臂伸出机构伸出距离的方法。

(3)根据油缸内置位移传感器的反馈位移数据，采用PID闭环控制方法，控制电磁比例阀的通断与阀芯开度，从而控制伸缩油缸的伸出距离与伸出速度，保证智能机械臂伸缩机构快速、准确地达到设定位移值。

(4)提供通过记忆油缸伸出位移将垃圾桶放回原处的方法。

附图说明

图1为环卫车的整体结构示意图；

图2为机械臂的结构示意图；

图3为环卫车上所设置的控制系统的结构连接图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示的一种智能环卫车，包括环卫车1、图像识别模块，行车指示模块、机械臂4和机械臂控制单元。

其中，智能机械臂4安装在环卫车1辆上，图像识别模块(ICP 6600-7)为设置在车辆的垃圾箱体2上前、后、左、右四个侧面的视觉传感器3(ISV200-I-01)，每个侧面至少包括两个视觉传感器3，同一侧面的所有视觉传感器3作为一组。运算主机(ARK-1124)在定位垃圾桶时，在明确各个视觉传感器3相对于机械臂的三维坐标(x，y，z)的前提下，运算主机对接收的图像进行数据提取与处理，先通过与数据库进行比对，识别垃圾桶；当识别到垃圾桶后，运算主机采用Python语言程序根据图像深度信息计算出图像中的垃圾桶相对于所采集的视觉传感器3的三维位置，最后获得垃圾桶相对于机械臂4的确切的三维坐标。

其中，机械臂4安装在臂座6上，计算垃圾桶的三维坐标点时，以两者的铰接点为坐标原点。在本发明中在四个方向采用多个视觉传感器3(ISV200-I-01)可用于对四周环境中存在的垃圾桶进行全面的搜索，另一方面减少位置计算的误差。

在车辆行驶过程或收集垃圾过程中，视觉传感器3实时捕捉监视区域内的物体图像信息，并将捕捉到的图像信息实时传送至运算主机8，运算主机8内存有各类垃圾桶的图像信息，运算主机8调用存储区内的垃圾桶图像信息与捕捉到的图像进行对比、判断，识别是否为包含垃圾桶，如是，则根据垃圾桶与机械臂的空间三维坐标关系，相应的启动行车指示模块或机械臂控制单元。

首先，根据三维坐标值所计算出的垃圾桶与机械臂之间的距离，判断垃圾桶是否在可抓取的范围内，若是执行抓取操作。若否则运行行车指示模块，主控制器9根据三维坐标值，判断垃圾桶的可抓取范围，根据坐标值计算环卫车合适的停车范围，同时可将结果显示在显示设备上采用图像和声音提示司机行车方向和停车位置，司机根据指示的范围开动环卫车向指定的方向行车。

开动时主控制器9实时检测空间位置的变化，直至到合适抓取范围内停车；停车后，再次确定垃圾桶的三维坐标值，直至完全确定在抱爪的抓取范围内，则执行抓取操作。如果在合适的抓取范围内，即可执行自动上料动作，如不在合适的抓取范围内，则在显示设备上提示，继续运行环卫车直至找到合适的停车点。

执行抓取操作时，主控制器9通过向机械臂控制单元发送各种控制指令，控制机械臂4自动完成整个垃圾的收集过程，并将垃圾桶放回原处。

具体的过程为，主控制器9接收到备妥信号19，机械臂控制单元被激活；当垃圾桶三维坐标在设定范围内时，主控制器9根据当前x值，计算智能机械臂4水平方向应伸出距离，确定水平距离设定值，并输出水平伸出动作指令，驱动伸缩油缸10伸出，机械臂4水平方向伸出，伸缩油缸10内部安装有位移传感器11(KYDM-LP1A4210-GJ0440M4S0300WS)，该位移传感器11实时反馈位移数据至主控制器9，主控制器9根据反馈位移数据，采用PID闭环控制方式调节伸出电磁比例阀17(XSV12-3HH01)和收回电磁比例阀18(XSV12-3HH01)的通断与阀芯开度，从而调节伸缩油缸10的伸出距离与伸出速度，当伸出距离与根据位置关系所得出的判定值相等时，主控制器9停止输出伸出指令，并记忆此时位移传感器11的位移数据，之后完成垃圾的收集及将垃圾桶放回原处的操作。

主控制器9输出抱桶指令，驱动抱爪油缸伸出，智能机械臂4执行抱垃圾桶动作，抱桶到位时，压力检测器7(PT250R-2104)将抱桶到位信号传送至主控制器9，主控制器9停止输出抱桶指令，同时输出水平方向收回指令，驱动伸缩油缸10缩回，智能机械臂4抱紧垃圾桶执行水平方向收回动作，收回到位时，伸缩油缸10内置位移传感器11反馈位移数据等于0，并将该数据传送至主控制器9，主控制器9停止输出收回指令，同时输出上翻指令，驱动翻桶油缸12伸出，智能机械臂4抱紧垃圾桶执行上翻动作，上翻到位时，上翻到位检测器14(BD15-S3-M30)传送上翻到位信号至主控制器9，主控制器9停止输出上翻指令，并开始计时，执行垃圾倾倒动作，计时时间达到设定值时，主控制器9输出下翻指令，驱动翻桶油缸12缩回，智能机械臂4抱紧垃圾桶下翻，下翻到位时，下翻到位检测器13(BD15-S3-M30)传送下翻到位信号至主控制器9，主控制器9停止输出下翻指令，同时输出水平伸出指令，智能机械臂4抱紧垃圾桶水平伸出，伸缩油缸10的位移传感器11实时反馈位移数据，当反馈位移数据与已记忆的位移数据相等时，主控制器9停止输出伸出指令，同时输出松桶指令，驱动抱桶油缸16缩回，智能机械臂4执行抱爪松开动作，抱爪松开到位时，松桶到位检测器(BD15-S3-M30)传送松桶到位信号至主控制器9，主控制器9停止输出松桶指令，垃圾桶放回原位，伸缩油缸缩回，智能机械臂4完成垃圾的全自动收集。

在本系统中，主控制器9与显示设备之间采用CAN总线通信。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于图像采集系统实现智能环卫车的机械臂的控制方法，其特征在于，包括以下步骤：

实时采集图像，从图像中识别出垃圾桶的图像；

判断环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；

根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。

2.根据权利要求1所述的控制方法，其特征在于：识别垃圾桶的图像包括将所采集的图像对比存储所有垃圾桶图片信息的数据库，从对比的结果中识别出实时采集的图像是否包含垃圾桶。

3.根据权利要求1所述的控制方法，其特征在于：

采用三维坐标(x，y，z)表示所述环卫车与垃圾桶的空间位置关系，该三维坐标以机械臂在环卫车上的安装点为坐标原点；

根据三维坐标(x，y，z)值所计算出的垃圾桶与机械臂之间的距离，判断垃圾桶是否在可抓取的范围内，若是执行抓取操作，若否则根据坐标值计算环卫车合适的停车位置并驱动环卫车向指定的方向行车方向，当环卫车停在垃圾桶可抓取位置的区域时执行抓取操作。

4.根据权利要求1所述的控制方法，其特征在于：抓取垃圾桶的过程包括根据停车时环卫车相对于垃圾桶的位置关系控制连接机械臂的伸缩油缸的伸出距离和速度抓取垃圾桶。

5.一种用于环卫车的智能机械臂，其特征在于：包括图像识别模块，行车指示模块、机械臂和机械臂控制单元；

图像识别模块，配置为实时采集环卫车四周的图像，从图像中识别出垃圾桶的图像；

行车指示模块，配置为根据所判断出的环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；

机械臂控制单元，配置为根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。

6.根据权利要求5所述的机械臂，其特征在于：还包括主控制器，所述的图像识别模块，行车指示模块和机械臂控制单元连接主控制器，将实时接收的信息传送至主控制器，接收主控制器的指令。

7.根据权利要求6所述的机械臂，其特征在于：所述图像识别模块包括视觉传感器和运算主机；

在环卫车前、后、左、右每一个侧面的外侧安装至少两个视觉传感器；

所述的运算主机中配置了存储所有垃圾桶图片信息的数据库，用于将视觉传感器捕捉到的图像信息与数据库中的信息进行实时对比，判别采集图像中是否捕捉到垃圾桶。

8.根据权利要求6所述的机械臂，其特征在于：所述的机械臂控制单元包括伸缩油缸，与伸缩油缸相连的伸出电磁比例阀和收回电磁比例阀，通过PID闭环控制方法调节伸出电磁比例阀和收回电磁比例阀的通断和阀芯开度，控制伸缩油缸的伸出距离和伸出速度。

9.根据权利要求8所述的机械臂，其特征在于：所述的机械臂控制单元还包括位移传感器，用于记录机械臂的首次伸出的位移距离，控制机械臂在搬运同一垃圾桶过程中每次采用与首次距离等长的长度伸缩。

10.根据权利要求8所述的机械臂，其特征在于：所述的机械臂控制单元还包括垃圾卸载单元，所述的垃圾卸载单元包括抱桶油缸和翻桶油缸，与抱桶油缸相连和压力检测器，与翻桶油缸相连的上翻到位检测器和下翻到位检测器，所述垃圾卸载单元与所述的主控制器相连，控制机械臂完成的垃圾的收集和垃圾桶的放回。

Images