CN205766164U

CN205766164U - 十字激光辅助识别定位系统及搬运机器人

Info

Publication number: CN205766164U
Application number: CN201620466280.XU
Authority: CN
Inventors: 吕伟新; 陈广涛
Original assignee: Shanghai Advanced Research Institute of CAS
Current assignee: Shanghai Advanced Research Institute of CAS
Priority date: 2016-05-20
Filing date: 2016-05-20
Publication date: 2016-12-07
Anticipated expiration: 2026-05-20

Abstract

本实用新型提供一种十字激光辅助识别定位系统及搬运机器人，十字激光辅助识别定位系统包括：十字激光投射模块；图像采集模块，位于所述目标物体的上方；轮廓提取模块，与所述图像采集模块相连接；激光线提取模块，与所述图像采集模块相连接；三维计算模块，与所述轮廓提取模块及所述激光线提取模块相连接。本实用新型的十字激光辅助识别定位系统将物料袋三维空间定位问题转化为四个点ABCD的定位问题，并通过十字结构光辅助单目视觉的办法，定位更加简单，可以快速准确的实现ABCD四个点空间坐标求取，提高了求解速度。该系统避免了双目视觉中每个点的匹配对造成运算消耗，简单高效，具有极强的实用价值，适合在工业上的广泛使用。

Description

十字激光辅助识别定位系统及搬运机器人

技术领域

本实用新型智能自动化的技术领域，特别是涉及一种十字激光辅助识别定位系统及搬运机器人。

背景技术

在农业生产、物流运输和日常生活中，编织袋、麻包等柔性袋状存储包装得到广泛应用，如在水泥厂、面粉厂、化肥厂等场合，物料袋均扮演着重要的角色。通常情况下，一个物料袋的重量有50Kg左右。当前，我国的工业自动化生产水平依旧停留在较低阶段，更多的重复性生产环节依旧依靠人力。而且物料袋使用的场合，一般具有粉尘污染严重、生产效率低下和劳动强度大的特点。

在人力成本日益增加，工业生产向工业4.0升级的背景下，用工业机器人代替工人在工业生产中的重复性工作、高强度劳动工作以及恶劣生产环境的生产活动显得尤为有价值。对于物料袋的使用场合，工人的主要工作包括搬运、装卸，上料和码垛等操作。这些生产环节具有很强的可重复性，采用工业机器人完全可以替代人工操作，而且采用搬运机器人、码垛机器人具有提高生产效率，降低人力成本等优点。

但是对于物料袋而言，本身具有柔性包装的特点：外形常发生非刚性形变，工作环境粉尘较多的特点，要想实现物料袋自动化搬运和码垛，必须首先通过目标定位系统准确识别和定位目标物料袋，其识别和定位精度和效率直接影响到搬运机器人后续操作的准确性和工作效率。

对于物料袋的识别定位，即获取物料袋在世界坐标系下的三维信息。就像人眼一样，我们知道要想获得三维信息，必须通过两个眼睛估计深度信息。因此，在一般情况下我们求取一个目标三维信息时多采用双目视觉的方法。对于物料袋识别定位系统，一般包含有两部分：目标识别系统和目标定位系统。目标识别系统主要负责对视野内进行物料袋的搜索，并在二维图像平面内提取和分割得到目标物料袋；目标定位系统主要负责根据识别系统提取的目标物料袋，对目标求取三维空间信息，以实现搬运机器人对待抓取物料袋的自动定位。

目前在工业生产中并没有成熟的产品专门用于物料袋的视觉定位，学术界做了一些研究，多是通过双目视觉获取深度信息，或者是在固定平面操作，不考虑深度信息。采用双目视觉解决定位方案的代表是济南大学刘华冠、张天厚等人，在论文中阐述了一种利用双目摄像机获取提取物料袋三维信息的方法。具体实现方法如下简介。

它的基本原理是利用成像设备从不同的位置两个摄像机获取待测物料袋的两幅图像，通过计算图像对应点间的位置偏差，来获取目标物料袋三维几何信息。这种三维测量方法在机器视觉中被称为视差测距原理，通过匹配两个摄像机获得图像中的每个像素点，并比较它们之间的差别，建立视差图。然后利用这个视差图恢复每个像素点的深度信息，从而实现对目标物料袋的三维重建。如图1所示，通过两个摄像机10可以对物料袋11(即图1中ABCD)上任意一个点P通过视差法求取三维信息，从而实现物料袋11三维建模，实现搬运机器人的自动定位。

该方法的主要流程为：首先，对双目摄像机(即图1中的两个所述摄像机10)进行标定；其次，使用所述双目摄像机获得所述物料袋11的两幅图像；第三，匹配所述双目摄像机获得的两幅图像中的每个像素点，并比较它们之间的差别，建立视差图；最后，利用这个视差图恢复每个像素点的深度信息，求得所述物料袋11的三维信息。

然而，上述方法的双目视觉具有计算复杂度高、对摄像机标定要求高、每个像素点之间匹配误差高等缺点，因此，该视觉方案并不适用物料袋的测量环境。

实用新型内容

鉴于以上所述现有技术的缺点，本实用新型提供一种十字激光辅助识别定位系统及搬运机器人，用于解决现有技术中使用双目视觉技术对物料袋进行定位存在的计算复杂度高、对摄像机标定要求高及每个像素点之间匹配误差高等问题。

为实现上述目的及其他相关目的，本实用新型提供一种十字激光辅助识别定位系统，所述十字激光辅助识别定位系统包括：

十字激光投射模块，适于向目标物体表面发射十字形激光线；

图像采集模块，位于所述目标物体的上方，适于采集表面投射有所述十字形激光线的所述目标物体的图像信息；

轮廓提取模块，与所述图像采集模块相连接，适于提取所述图像采集模块采集的图像信息中所述目标物体的轮廓，并将提取的所述目标物体的轮廓拟合成四边形；

激光线提取模块，与所述图像采集模块相连接，适于提取所述图像采集模块采集的图像信息中的十字激光线；

三维计算模块，与所述轮廓提取模块及所述激光线提取模块相连接，适于依据所述轮廓提取模块拟合的所述四边形及所述激光线提取模块提取的十字激光线得到所述四边形的四个顶点的三维坐标。

作为本实用新型的十字激光辅助识别定位系统的一种优选方案，所述十字激光投射模块为十字形激光发射器。

作为本实用新型的十字激光辅助识别定位系统的一种优选方案，所述十字激光投射模块发射的十字形激光线与所述目标物体的轮廓的边缘相交于四点。

作为本实用新型的十字激光辅助识别定位系统的一种优选方案，所述图像采集模块包括CMOS图像传感器或CCD图像传感器。

作为本实用新型的十字激光辅助识别定位系统的一种优选方案，所述目标物体为柔性包装袋。

作为本实用新型的十字激光辅助识别定位系统的一种优选方案，所述目标物体为物料袋。

本实用新型还提供一种搬运机器人，所述搬运机器人包括工作端及上述任一方案中所述的十字激光辅助识别定位系统，所述十字激光辅助识别定位系统位于所述搬运机器人的工作端。

如上所述，本实用新型的十字激光辅助识别定位系统及搬运机器人，具有以下有益效果：本实用新型的十字激光辅助识别定位系统将物料袋三维空间定位问题转化为四个点ABCD的定位问题，并通过十字结构光辅助单目视觉的办法，定位更加简单，可以快速准确的实现ABCD四个点空间坐标求取，提高了求解速度。该系统避免了双目视觉中每个点的匹配对造成运算消耗，简单高效，具有极强的实用价值，适合在工业上的广泛使用。

附图说明

图1显示为现有技术中利用双目摄像机获取提取物料袋三维信息的示意图。

图2显示为本实用新型实施例一中提供的十字激光辅助识别定位系统的框图。

图3显示为本实用新型实施例一中提供的十字形激光辅助定位系统定位时物料袋的抽象模型图。

图4显示为本实用新型实施例一中提供的十字激光辅助识别定位系统的原理图。

元件标号说明

10 摄像机

11 物料袋

2 十字激光辅助识别定位系统

21 十字激光投射模块

22 图像采集模块

23 轮廓提取模块

24 激光线提取模块

25 三维计算模块

26 物料袋

27 十字激光线

具体实施方式

以下通过特定的具体实例说明本实用新型的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本实用新型的其他优点与功效。本实用新型还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本实用新型的精神下进行各种修饰或改变。

请参阅图2至图4。需要说明的是，本实施例中所提供的图示仅以示意方式说明本实用新型的基本构想，虽图示中仅显示与本实用新型中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例一

请参阅图2，本实用新型提供一种十字激光辅助识别定位系统2，所述十字激光辅助识别定位系统2包括：十字激光投射模块21，所述十字激光投射模块21适于向目标物体表面发射十字形激光线；图像采集模块22，所述图像采集模块22位于所述目标物体的上方，适于采集表面投射有所述十字形激光线的所述目标物体的图像信息；轮廓提取模块23，所述轮廓提取模块23与所述图像采集模块22相连接，适于经过Canny算子检测得到边缘，并通过高斯降噪、形态学处理得到所述图像采集模块22采集的图像信息中较为准确的边缘轮廓，并将提取的所述目标物体的轮廓拟合成四边形；激光线提取模块24，所述激光线提取模块24与所述图像采集模块22相连接，适于将所述图像采集模块22采集的图像信息进行阈值处理，并经过降噪中心细化后得到精确的十字激光线；三维计算模块25，所述三维计算模块25与所述轮廓提取模块23及所述激光线提取模块24相连接，适于依据所述轮廓提取模块23拟合的所述四边形及所述激光线提取模块24提取的十字激光线得到所述四边形的四个顶点的三维坐标。

作为示例，所述十字激光投射模块21可以为十字形激光发射器。本实用新型采用十字形激光发射器将物料袋三维空间定位问题转化为四个点ABCD的定位问题，并通过十字结构光辅助单目视觉的办法，定位更加简单，可以快速准确的实现ABCD四个点空间坐标求取。

作为示例，所述十字激光投射模块21向所述目标物体表面发射的十字形激光线与所述目标物体的轮廓的边缘相交于四点。

作为示例，所述图像采集模块22包括CMOS图像传感器或CCD图像传感器。

作为示例，所述目标物体可以为柔性包装袋，更为具体的，所述目标物体为物料袋。

本实用新型的所述十字激光辅助识别定位系统的工作原理为：

当把物料袋26抽象为如图3所示的形状时，近似认为所述物料袋26的中心平面为一个矩形ABCD，由于矩形ABCD上下表面均为一个曲面，矩形ABCD应该是视野中最大轮廓，所以可以认为边缘轮廓检测得到就是矩形ABCD的相似轮廓。对于搬运机器人对所述物料袋26的定位而言，无需求得所述物料袋26上每个特征像素点的深度信息后融合得到三维成像，而且码垛搬运是一个粗操作过程，对于所述物料袋26的深度信息精确度要求不高。因此，只需要能够在一定精度范围内获得所述物料袋26的四个顶点ABCD的三维坐标信息，既可以满足搬运机器人的自动搬运操作要求。

如图4所示，由于十字激光线27与所述物料袋26的轮廓(即矩形ABCD)交于四点PQRS，可以近似认为PQRS平面与ABCD平面共面。所述三维计算模块25首先根据三角量测原理求得PQRS四点的坐标，然后根据PQRS的坐标求得ABCD平面方程，最后根据摄像机小孔成像原理和ABCD平面方程联立求解得到ABCD的三维坐标。具体如下：

(1)求PQRS四点的坐标

根据摄像机小孔成像原理，可以建立如图4所示的模型，图4中，O为摄像机成像主点，立方体的上平面表示摄像机的像平面，所述物料袋26(图4中以ABCD示意)在空间中以任意姿态摆放，且A、B、C、D在摄像机的像平面成像为a、b、c、d，因此，可以近似认为abcd即为所述物料袋26在摄像机的像平面的轮廓线；PQRS为所述十字激光线27与所述物料袋26实际轮廓的交点，pqrs为PQRS在摄像机像平面的像。

根据十字激光线27的三角测量原理，当十字激光线的两个光平面已知的时候，结合摄像机获取的图像，可以测得激光线PQ和RS在摄像机的像平面成像pq和rs上任意一个点的三维坐标；十字激光线27的光平面可以通过标定求得。因此PQRS四个点的三维坐标通过摄像机的像平面内pqrs坐标和十字激光线27的两个光刀平面方程计算求得，以P点为了，计算方程如下：

十字激光线27的两个光刀平面方程为：

\begin{matrix} (1) a_{1} x + b_{1} y + c_{1} z + d_{1} = 0 \\ (2) a_{2} x + b_{2} y + c_{2} z + d_{2} = 0 \end{matrix} - - - (1)

由于摄像机成像主点O(0，0，0)已知，摄像机焦距f已知，摄像机的像平面p点坐标(x_p，y_p)也已知，因此，直线OpP空间直线方程可得，直线OpP与光刀平面(1)交于P点。

\frac{x}{x_{p}} = \frac{y}{y_{p}} = \frac{z}{f} = t - - - (2)

因此，方程(1)与方程(2)联立求解，根据直线与平面只有一个交点，必能得到P点坐标(Xp，Yp，Zp)。同理，采用上述方法可求得Q、R、S三个点的坐标。至此，PQRS四个点的三维坐标都可以得到。

(2)求ABCD平面方程

由图4可知P、Q、R、S四个点组成的平面与ABCD中心轮廓平面共面，因此平面ABCD的平面方程可由P、Q、R、S四个十字激光已知点确定，如如下公式所示：

由公式(3)可以求得ABCD平面方程。

(3)求ABCD四个点的坐标

由小孔成像原理可以知道ABCD四个点在摄像机的像平面的对应像素点a、b、c、d四个点在图像中坐标已知。同理，OaA、ObB、OcC、OdD四个直线的空间直线方程可以求得。根据直线和平面交点只有一个，当直线方程和平面方程已知时，则可以联立求解得到交点坐标。而A、B、C、D均是上述四个直线与平面ABCD(也是平面PQRS)的交点。因此，可以按照上述方法求得四个点的坐标。以OaA为例，联立方程为：

由方程(4)可以求得A坐标，同理，B、C、D点的坐标均可以按照上述方法求解得到。

实施例二

本实用新型还提供一种搬运机器人，所述搬运机器人包括工作端及实施例一中所述的十字激光辅助识别定位系统2，所述十字激光辅助识别定位系统2位于所述搬运机器人的工作端；所述十字激光辅助识别定位系统2求得A、B、C、D四点的三维坐标后，将A、B、C、D四点的三维坐标反馈至所述搬运机器人，以便于所述搬运机器人进行精确的搬运。

综上所述，本实用新型提供一种十字激光辅助识别定位系统及搬运机器人，所述十字激光辅助识别定位系统包括：十字激光投射模块，适于向目标物体表面发射十字形激光线；图像采集模块，位于所述目标物体的上方，适于采集表面投射有所述十字形激光线的所述目标物体的图像信息；轮廓提取模块，与所述图像采集模块相连接，适于提取所述图像采集模块采集的图像信息中所述目标物体的轮廓，并将提取的所述目标物体的轮廓拟合成四边形；激光线提取模块，与所述图像采集模块相连接，适于提取所述图像采集模块采集的图像信息中的十字激光线；三维计算模块，与所述轮廓提取模块及所述激光线提取模块相连接，适于依据所述轮廓提取模块拟合的所述四边形及所述激光线提取模块提取的十字激光线得到所述四边形的四个顶点的三维坐标。本实用新型的十字激光辅助识别定位系统将物料袋三维空间定位问题转化为四个点ABCD的定位问题，并通过十字结构光辅助单目视觉的办法，定位更加简单，可以快速准确的实现ABCD四个点空间坐标求取，提高了求解速度。该系统避免了双目视觉中每个点的匹配对造成运算消耗，简单高效，具有极强的实用价值，适合在工业上的广泛使用。

上述实施例仅例示性说明本实用新型的原理及其功效，而非用于限制本实用新型。任何熟悉此技术的人士皆可在不违背本实用新型的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本实用新型所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本实用新型的权利要求所涵盖。

Claims

1.一种十字激光辅助识别定位系统，其特征在于，所述十字激光辅助识别定位系统包括：

2.根据权利要求1所述的十字激光辅助识别定位系统，其特征在于：所述十字激光投射模块为十字形激光发射器。

3.根据权利要求1所述的十字激光辅助识别定位系统，其特征在于：所述十字激光投射模块发射的十字形激光线与所述目标物体的轮廓的边缘相交于四点。

4.根据权利要求1所述的十字激光辅助识别定位系统，其特征在于：所述图像采集模块包括CMOS图像传感器或CCD图像传感器。

5.根据权利要求1所述的十字激光辅助识别定位系统，其特征在于：所述目标物体为柔性包装袋。

6.根据权利要求5所述的十字激光辅助识别定位系统，其特征在于：所述目标物体为物料袋。

7.一种搬运机器人，所述搬运机器人包括工作端，其特征在于，所述搬运机器人还包括如权利要求1至6中任一项所述的十字激光辅助识别定位系统，所述十字激光辅助识别定位系统位于所述搬运机器人的工作端。