CN110058591A

CN110058591A - 一种基于激光雷达与深度摄像机混合导航的agv系统

Info

Publication number: CN110058591A
Application number: CN201910334840.4A
Authority: CN
Inventors: 梁毅军; 许照烜
Original assignee: Hefei Comwin Automatic Technology Co Ltd
Current assignee: Hefei Comwin Automatic Technology Co Ltd
Priority date: 2019-04-24
Filing date: 2019-04-24
Publication date: 2019-07-26

Abstract

本发明公开了一种基于激光雷达与深度摄像机混合导航的AGV系统，包括AGV车体、激光雷达以及深度摄像机，一)、通过深度摄像机对托盘进行拍照；二)、将拍照得到的托盘对应的深度图像传输至工控PC中进行处理；三)、获取点云数据，使用垂直方向投影的方法进行计算；四)、检测之后即可获取托盘数据的(x，z)信息；五)、通过获取的托盘水平位置(x，z)，则在点云中托盘水平位置附近求解Y方向的聚类中心即可获取托盘的空间位置Y信息。本发明使得AGV系统对于站点位置的设定以及货物托盘的摆放位置不再有非常精确的要求，只要深度摄像机拍到托盘的照片即可进行识别和定位，从而降低了AGV系统在使用应用上的局限性。

Description

一种基于激光雷达与深度摄像机混合导航的AGV系统

技术领域

本发明涉及AGV导航定位技术领域，具体为一种基于激光雷达与深度摄像机混合导航的AGV系统。

背景技术

现有技术中，申请号为“CN106774334A”的一种多激光扫描器的激光导引AGV导航定位方法及装置，公开了使用激光扫描器进行导引AGV导航定位方法及装置，但是其并没有采用深度摄像机进行使用。

申请号为“CN106940185A”的一种基于深度摄像机的移动机器人定位和导航方法，公开了深度摄像机用于定位和导航的作用，但是其并没有指定进行定位识别的具体过程。

申请号为“CN106990781A”的基于激光雷达和图像信息的自动化码头AGV定位方法，其公开了激光雷达和可见光摄像机，但是其激光雷达和可见光摄像机均安装在工作场地上，并没有安装在AGV车体上，使得工作过程可变因素比较多。

申请号为“CN107422735A”的一种无轨导航AGV激光与视觉特征混合导航方法，其采用了激光雷达与二维码的混合导航技术，使用过程原理复杂，且没有采用深度摄像机进行识别定位。

综上所述，目前基于激光导航的AGV系统对于工作环节的要求一遍较高，要求站点位置的设定与货物托盘的摆放位置要很准确才能正常工作。这给AGV系统的应用造成了较大的局限。所以，需要一个可以将激光雷达与深度摄像机混合使用的AGV系统。

发明内容

本发明的目的在于提供一种基于激光雷达与深度摄像机混合导航的AGV系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于激光雷达与深度摄像机混合导航的AGV系统，包括AGV车体、激光雷达以及深度摄像机，所述激光雷达和深度摄像机均安装于AGV车体上，且AGV车体上安装有用来接收处理激光雷达和深度摄像机数据的工控PC，系统工作流程如下：

S1、大致位置导航：AGV车体使用激光雷达导航走到放货与取货站点的大致位置；

S2、深度识别检测：AGV车体使用深度摄像机完成对货物托盘的识别与空间位置检测；

其中，基于深度摄像机对托盘进行识别和空间位置检测的具体方法如下：

一)、通过深度摄像机对托盘进行拍照；

二)、将拍照得到的托盘对应的深度图像传输至工控PC中进行处理；

三)、获取点云数据，通过深度图像，使用垂直方向投影的方法进行计算；

点云数据为：{(x1,y1,z1),(x2,y2,z2),.....,(xn,yn,zn)}；

则垂直投影为：M(x，z)＝Count(p＝>abs(p.x–x)+abs(p.z-z)<thr)；

其中，p为点云中的点，(x，z)为水平面的坐标，M(x，z)表示点云中(x，z)附近的点的数目；

四)、得到垂直投影之后的数据后，即可以对托盘的立柱部分进行检测，检测之后即可获取托盘数据的(x，z)信息；

五)、通过获取的托盘水平位置(x，z)，则在点云中托盘水平位置附近求解Y方向的聚类中心即可获取托盘的空间位置Y信息；

S3、完成放货取货：AGV车体根据深度摄像机数据运算的托盘空间位置完成放货与取货。

优选的，点云数据也可以通过深度摄像头提供的SDK直接获取。

优选的，根据垂直投影之后的数据，可以使托盘的立柱部分呈现为3段明亮的线段。

与现有技术相比，本发明的有益效果是：

本发明首先通过激光雷达的导航功能，带动AGV车体运动至放货和取货站点的大概位置，此过程的导航不需要非常精确，降低了系统流程难度，随后通过深度摄像机对托盘进行拍照、识别和定位，由于托盘结构的特殊性，使得立柱和孔洞在深度摄像机拍出的深度图像，被工控PC采集之后，根据垂直投影之后托盘的立柱部分会呈现为3段明亮的线段，所以通过深度图像使用垂直方向投影的方法，很好的得出托盘的水平位置x，y以及空间位置Y的信息，进而使得AGV车体根据托盘的位置信息完成放货和取货。

本发明采用激光雷达和深度摄像机的配合使用，并且采用对深度图像进行垂直方向投影的数据计算方法，得到托盘的位置信息，针对具有立柱和孔洞的托盘，位置信息获取的更加快速和精确，而且使得AGV系统对于站点位置的设定以及货物托盘的摆放位置不再有非常精确的要求，只要深度摄像机拍到托盘的照片即可进行识别和定位，从而降低了AGV系统在使用应用上的局限性。

附图说明

图1为本发明的AGV系统的工作流程示意图；

图2为本发明的AGV车体结构示意图；

图3为本发明的托盘结构示意图；

图4为本发明的托盘对应的深度图像示意图；

图5为本发明的垂直投影后的托盘的立柱结构显示示意图。

图中：1 AGV车体、2激光雷达、3深度摄像机、4工控PC、5托盘、6立柱、7孔洞、8地面环境。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-5，本发明提供一种技术方案：

一种基于激光雷达与深度摄像机混合导航的AGV系统，如说明书附图2所示，包括AGV车体1、激光雷达2以及深度摄像机3，激光雷达2选用北醒北京光子科技有限公司的CE30固态面阵激光雷达，深度摄像机3选用英特尔公司的D415型RealSense深度摄像机，激光雷达2和深度摄像机3均安装于AGV车体1上，每个AGV车体1上安装有一组激光雷达2和深度摄像机3，便于对AGV车体1进行维修处理，且AGV车体1上安装有用来接收处理激光雷达2和深度摄像机3数据的工控PC 4，工控PC 4可以通过一台或者多台工控PC机或者工控板构成，工控PC 4用来对激光雷达2和深度摄像3获取到的数据进行处理，工控PC 4选用嵌入式的工业主机型号为CBW-B101，工控PC 4的硬件部分是基于嵌入式处理器的电脑平台，包括彩色触摸屏显示、以太网络接口及两个串行通信接口、8路模拟量输入、4路开关量输出、内置MIC和小型扬声器等外围设备，相当于一台特制的、小型化的个人计算机，功能上更强大，更适合工业、商业环境下应用，工控PC 4控制AGV车体1进行移动。

如说明书附图1所示，系统工作流程如下：

S1、大致位置导航：AGV车体1使用激光雷达2导航走到放货与取货站点的大致位置，不需要对AGV车体1进行精确的导航引导，降低工艺流程难度。

S2、深度识别检测：AGV车体1使用深度摄像机3完成对货物托盘5的识别与空间位置检测；

其中，基于深度摄像机3对托盘5进行识别和空间位置检测的具体方法如下：

一)、如说明书附图3所示，通过深度摄像机3对托盘5进行拍照，获取托盘5的结构图像；

二)、将拍照得到的托盘5对应的深度图像传输至工控PC 4中进行处理，如说明书附图4所示，深度图像中的托盘5的结构特征与地面环境8的区别非常明显，托盘5的很明显的结构特征是正面2个孔洞7和3个立柱6，而且相关的已知尺度是已知的，便于后续的点云数据计算；

三)、获取点云数据，点云数据一方面也可以通过深度摄像头3提供的SDK直接获取，另一方面，也可以通过深度图像，为了检测出上述孔洞7和立柱6的位置，使用垂直方向投影的方法进行计算；

点云数据为：{(x1,y1,z1),(x2,y2,z2),.....,(xn,yn,zn)}；

则垂直投影为：M(x，z)＝Count(p＝>abs(p.x–x)+abs(p.z-z)<thr)；

四)、得到垂直投影之后的数据后，如说明书附图5所示，根据垂直投影之后的数据，可以使托盘5的立柱6部分呈现为3段明亮的线段，能够更容易地进行检测，即可以对托盘5的立柱6部分进行检测，检测之后即可获取托盘5数据的(x，z)信息；

五)、通过获取的托盘5水平位置(x，z)，则在点云中托盘5水平位置附近求解Y方向的聚类中心即可获取托盘5的空间位置Y信息，检测之后我们获取了托盘数据的(x，z)信息，托盘的Y信息在投影过程中丢失了，需要根据点云数据重新求解，由于已知托盘5的水平位置(x，z)，则在点云中托盘5水平位置附近求解Y方向的聚类中心即可获取托盘5的空间位置Y信息；

S3、完成放货取货：AGV车体1根据深度摄像机3数据运算的托盘5空间位置完成放货与取货。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于激光雷达与深度摄像机混合导航的AGV系统，其特征在于，包括AGV车体(1)、激光雷达(2)以及深度摄像机(3)，所述激光雷达(2)和深度摄像机(3)均安装于AGV车体(1)上，且AGV车体(1)上安装有用来接收处理激光雷达(2)和深度摄像机(3)数据的工控PC(4)，系统工作流程如下：

S1、大致位置导航：AGV车体(1)使用激光雷达(2)导航走到放货与取货站点的大致位置；

S2、深度识别检测：AGV车体(1)使用深度摄像机(3)完成对货物托盘(5)的识别与空间位置检测；

其中，基于深度摄像机(3)对托盘(5)进行识别和空间位置检测的具体方法如下：

一)、通过深度摄像机(3)对托盘(5)进行拍照；

二)、将拍照得到的托盘(5)对应的深度图像传输至工控PC(4)中进行处理；

点云数据为：{(x1,y1,z1),(x2,y2,z2),.....,(xn,yn,zn)}；

则垂直投影为：M(x，z)＝Count(p＝>abs(p.x–x)+abs(p.z-z)<thr)；

四)、得到垂直投影之后的数据后，即可以对托盘(5)的立柱(6)部分进行检测，检测之后即可获取托盘(5)数据的(x，z)信息；

五)、通过获取的托盘(5)水平位置(x，z)，则在点云中托盘(5)水平位置附近求解Y方向的聚类中心即可获取托盘(5)的空间位置Y信息；

S3、完成放货取货：AGV车体(1)根据深度摄像机(3)数据运算的托盘(5)空间位置完成放货与取货。

2.根据权利要求1所述的一种基于激光雷达与深度摄像机混合导航的AGV系统，其特征在于：点云数据也可以通过深度摄像头(3)提供的SDK直接获取。

3.根据权利要求1所述的一种基于激光雷达与深度摄像机混合导航的AGV系统，其特征在于：根据垂直投影之后的数据，可以使托盘(5)的立柱(6)部分呈现为3段明亮的线段。