CN111908155A - 一种集装箱机器人自动装卸系统 - Google Patents

Abstract

本发明提供了一种集装箱机器人自动装卸系统，包括包括立体视觉模块、物体提取模块、判别模块和控制模块；立体视觉模块用于建立三维空间坐标，并获取被测货物于三维空间坐标内的尺寸信息和位置信息；判别模块与立体视觉模块通信连接，判别模块基于位置信息计算出被测货物可被抓取的位置，并输出定位信息；物体提取模块用于抓取被测货物；控制模块与判别模块通信连接，控制模块与物体提取模块连接；控制模块接收定位信息并控制物体提取模块移动至被测货物可被抓取的位。本发明具有有效地解放劳动生产力，减轻工人的劳动强度，缩减人员配备和优化生产结构的优点。

Description

一种集装箱机器人自动装卸系统

技术领域

本发明涉及智能控制技术领域，具体而言，涉及一种集装箱机器人自动装卸系统。

背景技术

集装箱货物装卸作为集装箱物流运输中的重要环节，针对当前飞速发展的集装箱物流业务所暴露的集装箱物流运输效率低下、自动化程度不足的问题，提高集装箱货物装卸速率成为了提升集装箱物流运输效率的关键。

当前传统的集装箱装卸辅助工具存在通用性差，无法适应多种规格和高度的集装箱，集装箱装卸辅助工具和集装箱之间还有繁琐的校准程序，需要3-5名工人辅助装卸的问题。而相比之下，现有的智能集装箱装卸机器人则存在货物装卸程序容错率低，使用大框架的机械结构导致装备通用性差的问题。

针对集装箱装卸机器人与集装箱精确校准的技术层面，目前国内市场使用比较多的是磁导航AGV(自动引导运输车，Automated Guided Vehicle)，电磁导航是一种较为传统的引导方式，通过在AGV的行驶路径上埋设金属导线，并加载低频、低压电流，使导线周围产生磁场，AGV上的感应线圈通过对导航磁场强弱的识别和跟踪，实现AGV的导引。AGV所利用的技术是直接坐标导引技术，使用定位块将AGV的行驶区域分成若干坐标小区域，通过对小区域的计数实现导引，一般有光电式(即将坐标小区域以两种颜色划分，通过光电器件计数)和电磁式(即将坐标小区域以金属块或磁块划分，通过电磁感应器件计数)两种形式，但是明显的缺点是地面测量安装复杂，工作量大，导引精度和定位精度较低，且无法满足复杂路径的要求。磁导航AGV即是在地面铺设磁条，让搬运机器人按磁条铺设的既定路线行驶，该技术的痛点是磁条容易消磁和被压断，不适合金属地面，后期要定期更换部件，根据工况变化修改比较困难，如需要重新铺设磁条和调试，而且磁性传感器，一般使用寿命一年，总的来说后期维护非常麻烦且成本高。

综上所述，目前集装箱物流运输行业急需解决集装箱装卸过程中效率低下的问题，需要一种能够提升集装箱中货物装卸效率的辅助工具或全自动化工具，且为了能够节省人力资源，该工具还应该具有普遍适用性，能够针对于装卸过程中环境的不同而做出正确的响应。

发明内容

基于此，为了解决集装箱装卸过程中效率低下的问题，本发明提供了一种集装箱机器人自动装卸系统，其具体技术方案如下：

一种集装箱机器人自动装卸系统，包括

立体视觉模块，所述立体视觉模块用于建立三维空间坐标，并获取被测货物于所述三维空间坐标内的尺寸信息和位置信息；

判别模块，所述判别模块与所述立体视觉模块通信连接，所述判别模块基于所述位置信息计算出所述被测货物可被抓取的位置，并输出定位信息；

物体提取模块，所述物体提取模块用于抓取所述被测货物；

控制模块，所述控制模块与所述判别模块通信连接，所述控制模块与所述物体提取模块连接；所述控制模块接收所述定位信息并控制所述物体提取模块移动至所述被测货物可被抓取的位置。

上述集装箱机器人自动装卸系统,通过设置有立体视觉模块，在立体视觉模块处理和理解后的关于目标和场景的动态更新的视觉信息的导引下，完成对集装箱的精确定位和对集装箱的精确装部作业。该集装箱机器人自动装卸系统具有信息量丰富全面充分、定位精确高、信息更新率高、自动化和智能化水平高的优点。所述物体提取模块、判别模块和控制模块均在立体视觉模块引导下代替传统的人工搬运，不但改善工作条件和环境，同时提高自动化生产水平，还能有效地解放劳动生产力，减轻工人的劳动强度，缩减人员配备，优化生产结构，从而实现节约人力、物力和财力的目的。

进一步地，所述立体视觉模块包括

图像获取单元，所述图像获取单元用于获取所述被测货物的图像，并输出图像信息；

特征提取单元，所述特征提取单元用于获取集装箱的轮廓信息；

图像匹配单元，与所述图像获取单元通信连接，所述图像匹配单元用于判断所述被测货物是否与预设图像一致；

深度成像单元，与所述特征提取单元通信连接，所述深度成像单元用于获取所述被测货物于所述集装箱内的深度信息；

三维建模单元，与所述深度成像单元通信连接，所述三维建模单元用于根据所述集装箱的内部布局建立三维模型。

进一步地，所述图像获取单元包括摄像子单元和图像处理子单元；所述摄像子单元与所述图像处理子单元通信连接；所述图像匹配单元与所述图像处理子单元通信连接。

进一步地，所述控制模块包括

可移动的承载装置；

超声波单元，所述超声波单元用于检测所述承载装置与所述集装箱的对齐状态；

运动状态操控单元，所述运动状态操控单元用于控制所述承载装置的运动状态；

所述超声波单元和所述运动状态操控单元均安设于所述承载装置上。

进一步地，所述超声波单元为HC-SR04超声波测距装置。

进一步地，所述运动状态操控单元包括陀螺仪子单元和加速计子单元。

进一步地，所述摄像子单元为双目摄像头。

进一步地，所述双目摄像头包括OV2640图像传感器和CMOS传感器。

进一步地，所述物体提取模块包括机械臂和用于控制所述机械臂运动状态的视觉伺服控制单元，所述机械臂搭载于所述承载装置上。

进一步地，还包括输送模块，所述输送模块包括

输送装置，所述输送装置用于输送被测货物；

压力传感器，与所述视觉伺服控制单元通信连接，所述压力传感器安设于所述输送装置上，所述压力传感器用于判断所述输送装置上是否有被测货物并输出有货信号和无货信号；

定位传感器，与所述输送装置通信连接，所述定位传感器用于控制所述被测货物移动至所述机械臂可抓取所述被测货物的位置。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明一实施例所述的集装箱机器人自动装卸系统的结构示意图；

图2是本发明一实施例所述的集装箱机器人自动装卸系统的系统矫正流程示意图；

图3是本发明一实施例所述的集装箱机器人自动装卸系统的系统运作流程示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明。应当理解的是，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明中所述“第一”、“第二”不代表具体的数量及顺序，仅仅是用于名称的区分。

如图1和图2所示，本发明一实施例中的一种集装箱机器人自动装卸系统,包括立体视觉模块、物体提取模块、判别模块和控制模块；所述立体视觉模块用于建立三维空间坐标，并获取被测货物于所述三维空间坐标内的尺寸信息和位置信息；所述判别模块与所述立体视觉模块通信连接，所述判别模块基于所述位置信息计算出所述被测货物可被抓取的位置，并输出定位信息；所述物体提取模块用于抓取所述被测货物；所述控制模块与所述判别模块通信连接，所述控制模块与所述物体提取模块连接；所述控制模块接收所述定位信息并控制所述物体提取模块移动至所述被测货物可被抓取的位置。

上述集装箱机器人自动装卸系统,通过设置有立体视觉模块，在立体视觉模块处理和理解后的关于目标和场景的动态更新的视觉信息的导引下，完成对集装箱的精确定位和对集装箱的精确装部作业。该集装箱机器人自动装卸系统具有信息量丰富全面充分、定位精确高、信息更新率高、自动化和智能化水平高的优点。所述物体提取模块、判别模块和控制模块均在立体视觉模块引导下代替传统的人工搬运，不但改善工作条件和环境，同时提高自动化生产水平，还能有效地解放劳动生产力，减轻工人的劳动强度，缩减人员配备，优化生产结构，从而实现节约人力、物力和财力的目的。

在其中一个实施例中，所述立体视觉模块包括图像获取单元、特征提取单元、图像匹配单元、深度成像单元和三维建模单元；所述图像获取单元用于获取所述被测货物的图像，并输出图像信息；所述特征提取单元用于获取集装箱的轮廓信息；所述图像匹配单元与所述图像获取单元通信连接，所述图像匹配单元用于判断所述被测货物是否与预设图像一致；所述深度成像单元，与所述特征提取单元通信连接，所述深度成像单元用于获取所述被测货物于所述集装箱内的深度信息；所述三维建模单元，与所述深度成像单元通信连接，所述三维建模单元用于根据所述集装箱的内部布局建立三维模型。如此，通过图像获取单元、特征提取单元、图像匹配单元、深度成像单元和三维建模单元直接模拟了人类视觉处理景物的方式，在将货物从集装箱装卸或对货物的自动装箱过程中，形成对物体的三维空间坐标系模型的建立。

进一步地，所述三维建模单元为IBMR(基于图像的建模和绘制，Image BasedModeling and Rendering)技术基于图像的建模，主要目的是由二维图像恢复被测货物的三维几何结构。在集装箱机器人装卸货过程中需要能对各种临时情况做出响应。其中，利用IBMR技的方法进行构造虚拟环境的过程中，全景图的生成是一个重要的环节。

进一步地，所述图像获取单元包括摄像子单元和图像处理子单元；所述摄像子单元与所述图像处理子单元通信连接；所述图像匹配单元与所述图像处理子单元通信连接。

在其中一个实施例中，所述控制模块包括可移动的承载装置、超声波单元和运动状态操控单元；所述超声波单元用于检测所述承载装置与所述集装箱的对齐状态；所述运动状态操控单元用于控制所述承载装置的运动状态；所述超声波单元和所述运动状态操控单元均安设于所述承载装置上；进一步地，所述超声波单元为HC-SR04超声波测距装置；所述摄像子单元为双目摄像头，所述双目摄像头安设于所述承载装置上。

如此，利用双目立体视觉建立于对应点的视差基础上，从而解决了左右图像中各点的匹配关系的问题。利用双目摄像头拍摄的图像平面和场景中的物体构成了一系列几何三角形，采用三角测量方法，经过计算场景中的空间点在两幅图像中的双目视差获取该点的三维空间坐标值，并利用这些深度信息实现更进一步的研究和应用。

在其中一个实施例中，所述物体提取模块包括机械臂和用于控制所述机械臂运动状态的视觉伺服控制单元；如此，当所述视觉伺服控制单元构建三维空间坐标系后，采用虚拟结合技术，通过算法为机械臂提供最优运动控制。

进一步地所述机械臂搭载于所述承载装置上，所述承载装置为自动驾驶小车，所述自动驾驶小车上还设有CCD摄像机，在车载计算机中设置有欲行驶路径周围环境图像数据库。行驶过程中，CCD摄像机动态获取车辆周围环境图像信息并与图像数据库进行比较，从而确定当前位置并对下一步行驶做出决策。

进一步地，所述机械臂采用IRB4600-60/2.05型。其中，IRB4600-60/2.05型机械臂的重量440kg，最低环境温度为5℃，最高环境温度为45℃，最大相对湿度95％；最低运输及储存温度为-25℃，最高运输及储存温度为55℃；具有60kg的负载和2.05m的工作范围；重复精度0.05mm。IRB4600-60/2.05型机械臂具备IP67的防护等级，可以在半户外的环境中使用。

在其中一个实施例中，所述运动状态操控单元包括陀螺仪子单元和加速计子单元；优选地，为了消除组合陀螺仪与加速计之轴间差的问题，陀螺仪和加速计模块可采用MPU6050陀螺仪加速计单元，为整合性6轴运动处理组件。

在其中一个实施例中，所述双目摄像头包括OV2640图像传感器和2个CMOS传感器；如此，能够仿照双目摄像头方式进行工作，可以应用在双目测距，3D测量等许多场合。

在其中一个实施例中，还包括输送模块，所述输送模块包括输送装置、压力传感器和定位传感器；所述输送装置用于输送被测货物；所述压力传感器，与所述视觉伺服控制单元通信连接，所述压力传感器安设于所述输送装置上，所述压力传感器用于判断所述输送装置上是否有被测货物并输出有货信号和无货信号；所述定位传感器与所述输送装置通信连接，所述定位传感器用于控制所述被测货物移动至所述机械臂可抓取所述被测货物的位置。

进一步地，压力传感器采用FSR400压力传感器，该FSR400压力传感器可根据压力施加在感应区改变其电阻，压力越大，电阻越低。所述定位传感器采用LTS200光电门传感器，该传感器由红外发射二极管和红外接收二极管组成，采用精度高达1μs的时钟电路来记录高低电平的时间。

此外，该集装箱机器人自动装卸系统可采用全志(Allwinner)设计生产的UtraOcta A80芯片，该芯片使用28nm工艺制造，采用了big.LITTLE双架构方案，集成四个Cortex-A15、四个Cortex-A7 CPU核心，并且支持HPM，全部八个核心可以同时运行；同时该芯片的GPU图形核心采用了新一代的PowerVR G6230，这也是第一款配备该GPU的双架构处理器。它集成了两个着色器簇阵列，64个ALU整数单元，支持OpenGL ES 3.0、OpenGL 3.x、DirectX 9.3/10、OpenCL、RenderScript。

工作原理：

如图2所示，本发明一实施例的集装箱机器人自动装卸系统的系统矫正流程为：首先使用双目摄像头对集装箱进行特征提取，确定集装箱相对于承载装置的方位；进一步，通过双目摄像头结合判别模块获得集装箱与承载装置的距离，通过可移动的承载装置将机械臂移动靠近集装箱；在移动靠近集装箱的过程中，利用超声波单元测距检测承载装置与集装箱的对齐状态，并通过运动状态操控单元确定当前承载装置的姿态，在向集装箱方向行进的过程中对承载装置的方位进行动态调整。

如图3所示，本发明一实施例所述的集装箱机器人自动装卸系统的系统运作流程为：在卸货过程中，首先，集装箱装卸机器人的双目摄像头对集装箱中货物进行检测，通过深度成像单元获取被测货物的深度信息，通过立体视觉模块对被测货物进行三维空间坐标定位，以获取被测货物在空间中的尺寸信息和位置信息；进一步，将双目摄像头所获取的信息转换为和机械臂相同坐标系中的空间坐标并判断机械臂应抓取的货物位置，通过控制模块将机械臂移动至目标空间坐标并进行货物夹取动作。

在装货过程中，首先，通过压力传感器判断输送装置上是否放置货物，通过定位传感器将该货物传送至机械臂抓取位置，并由双目摄像头对被测货物进行三维空间坐标定位，获取被测货物在空间中的大小信息，以此判断机械臂应抓取的货物位置，通过控制模块将机械臂移动至目标空间坐标并进行货物夹取动作。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种集装箱机器人自动装卸系统，其特征在于，包括

立体视觉模块，所述立体视觉模块用于建立三维空间坐标，并获取被测货物于所述三维空间坐标内的尺寸信息和位置信息；

判别模块，所述判别模块与所述立体视觉模块通信连接，所述判别模块基于所述位置信息计算出所述被测货物可被抓取的位置，并输出定位信息；

物体提取模块，所述物体提取模块用于抓取所述被测货物；

控制模块，所述控制模块与所述判别模块通信连接，所述控制模块与所述物体提取模块连接；所述控制模块接收所述定位信息并控制所述物体提取模块移动至所述被测货物可被抓取的位置。

2.根据权利要求1所述的集装箱机器人自动装卸系统，其特征在于，所述立体视觉模块包括

图像获取单元，所述图像获取单元用于获取所述被测货物的图像，并输出图像信息；

特征提取单元，所述特征提取单元用于获取集装箱的轮廓信息；

图像匹配单元，与所述图像获取单元通信连接，所述图像匹配单元用于判断所述被测货物是否与预设图像一致；

深度成像单元，与所述特征提取单元通信连接，所述深度成像单元用于获取所述被测货物于所述集装箱内的深度信息；

三维建模单元，与所述深度成像单元通信连接，所述三维建模单元用于根据所述集装箱的内部布局建立三维模型。

3.根据权利要求2所述的集装箱机器人自动装卸系统，其特征在于，所述图像获取单元包括摄像子单元和图像处理子单元；所述摄像子单元与所述图像处理子单元通信连接；所述图像匹配单元与所述图像处理子单元通信连接。

4.根据权利要求3所述的集装箱机器人自动装卸系统，其特征在于，所述控制模块包括

可移动的承载装置；

超声波单元，所述超声波单元用于检测所述承载装置与所述集装箱的对齐状态；

运动状态操控单元，所述运动状态操控单元用于控制所述承载装置的运动状态；

所述超声波单元和所述运动状态操控单元均安设于所述承载装置上。

5.根据权利要求4所述的集装箱机器人自动装卸系统，其特征在于，所述超声波单元为HC-SR04超声波测距装置。

6.根据权利要求4所述的集装箱机器人自动装卸系统，其特征在于，所述运动状态操控单元包括陀螺仪子单元和加速计子单元。

7.根据权利要求3所述的集装箱机器人自动装卸系统，其特征在于，所述摄像子单元为双目摄像头。

8.根据权利要求7所述的集装箱机器人自动装卸系统，其特征在于，所述双目摄像头包括OV2640图像传感器和CMOS传感器。

9.根据权利要求4所述的集装箱机器人自动装卸系统，其特征在于，所述物体提取模块包括机械臂和用于控制所述机械臂运动状态的视觉伺服控制单元，所述机械臂搭载于所述承载装置上。

10.根据权利要求9所述的集装箱机器人自动装卸系统，其特征在于，还包括输送模块，所述输送模块包括

输送装置，所述输送装置用于输送被测货物；

压力传感器，与所述视觉伺服控制单元通信连接，所述压力传感器安设于所述输送装置上，所述压力传感器用于判断所述输送装置上是否有被测货物并输出有货信号和无货信号；

定位传感器，与所述输送装置通信连接，所述定位传感器用于控制所述被测货物移动至所述机械臂可抓取所述被测货物的位置。

Images