CN104511436B - 一种基于机器人视觉伺服技术的快递分拣方法及系统 - Google Patents

Abstract

一种基于机器人视觉伺服技术的快递分拣方法及系统。包括：获取快件的俯视图像和侧视图像；根据快件的俯视图像和侧视图像获取快件边缘点的坐标、快件所属区域及快件在所述传送装置上的摆放姿态，机器人估算快件的当前位置；当快件进入分拣区后，利用估算的快件当前位置、机器人的相关参数调整机械手臂的位置，拍摄运动中的快件的二维图像，通过视觉伺服技术对快件进行定位并计算出离散值；根据所述离散值控制所述末端操作装置，进行快件的抓取。

Description

一种基于机器人视觉伺服技术的快递分拣方法及系统

技术领域

本发明涉及物流自动化领域，尤指一种基于机器人视觉伺服技术的快递分拣方法及系统。

背景技术

一般地，机器人被广泛运用于电子产品中，如汽车工业、塑料工业、药品工业及食品工业等领域，用于完成搬取、装配、喷涂、焊接等操作，以代替人工操作，从而提高生产效率。

在快递行业中，快递包装品的分拣一般由人工实现，这种操作方式效率低、准确性难以保证，由于工作量大，经常出现员工不按规范操作，以扔的方式将物品归类，包装盒内的物品极易受损。另外，分拣操作需要大量的工作人员，随着人工成本的升高，使得快递的成本也水涨船高，影响快递行业的发展。基于机器视觉的机器人分拣与人工分拣作业相比，不但高效、准确，而且在质量保障、卫生保障等方面有着人工作业无法替代的优势。与传统的机械分拣作业相比，基于机器视觉的机器人分拣系统则有着适应范围广、随时能变换作业对象和变换分拣工序的优势。

在现有的技术中，没有将机器人应用于快递分拣中的文献资料和相关专利。

发明内容

鉴于以上内容，有必要提出一种效率高、准确性好又能节省人力基于机器人视觉伺服技术的快递分拣方法及系统。

一种基于机器人视觉伺服技术的快递分拣方法，包括一传送装置、第一拍摄装置、第二拍摄装置及一机器人，所述第一拍摄装置、第二拍摄装 置和所述传送装置分别与机器人相连，所述方法包括如下步骤：

启动传送装置，所述第一拍摄装置和第二拍摄装置对快件进行拍照，获取快件的俯视图像和侧视图像；

根据快件的俯视图像和侧视图像获取快件边缘点的坐标、快件所属区域及快件在所述传送装置上的摆放姿态，并通过相机手眼标定将边缘坐标变换到机器人坐标系当中；

所述机器人根据快件的摆放姿态调整机械手臂上的末端操作装置的姿态和相关参数；

所述机器人中的一测速模块根据所述传送装置的传送速度估算快件的当前位置；

当快件进入分拣区后，利用估算的快件当前位置、机器人的相关参数调整机械手臂的位置，使机器人上的第三拍摄装置能够清晰的拍摄到运动中的快件的二维图像；

所述机器人中的处理模块对所述二维图像及快件的实时位置，通过视觉伺服技术对快件进行定位并计算出离散值；

根据所述离散值控制所述末端操作装置，进行快件的抓取；

所述末端操作装置根据快件所属区域将快件放置到分属不同区域的无人搬运车上，所述无人搬运车按照设定的路径将包裹搬运到指定的快件归类处。

在一实施方式中，传送装置设有一拍照区域，所述第一拍摄装置位于所述拍照区域的正上方，所述第二拍摄装置位于所述拍照区域的侧方。

在一实施方式中，在所述第一拍摄装置和第二拍摄装置对快件进行拍照，获取快件的俯视图像和侧视图像之前还包括：所述传送装置还包括一感应模块和一中断模块，当快件的最前端经过所述感应模块，所述感应模块将信号传送给所述中断模块，启动定时中断，以保证所述快件到达拍照区域时拍摄装置能获取快件的完整信息；中断的时间由感应模块与拍照区域的距离确定，已事先存储在所述中断模块中。

在一实施方式中，所述相关参数主要包括机器人的运动路径、运动速 度。

在一实施方式中，通过视觉伺服技术对快件进行定位并计算出离散值，具体步骤为：

获取快件实时位置和理想位置的差值；

根据非线性方差最小化原理，定义其方差最小化函数；

将所述最小化函数做泰勒级数展开，并计算其极值的表达式；

对所述极值表达式进行整理并离散化，求出离散值。

一种基于机器人视觉伺服技术的快递分拣系统，包括一传送装置、第一拍摄装置、第二拍摄装置及一机器人，所述第一拍摄装置、第二拍摄装置和所述传送装置分别与机器人相连，包括：

第一发送模块，用于接收所述第一拍摄装置拍摄的俯视图像；

第二发送模块，用于接收所述第二拍摄装置拍摄的侧视图像；

一信息获取模块，用于汇总所述第一发送模块及第二发送模块发送的图像；

一分析模块，用于接收所述第一发送模块及第二发送模块发送的图像，并对图像进行分析；

一测速模块，用于根据所述传送装置的传送速度估算快件的当前位置；

一机械手臂，利用估算的快件当前位置、机器人的相关参数调整所述机械手臂的位置，使机械手臂上的第三拍摄装置能够清晰的拍摄到运动中的快件的二维图像；

一处理模块，用于根据所述二维图像以及快递的实时位置，利用视觉伺服技术对快件进行定位并计算出离散值；

一机械手末端操作装置46，用于根据所述离散值对快件进行抓取；并且根据快件所属区域将快件放置到分属不同区域的无人搬运车上，所述无人搬运车按照设定的路径将包裹搬运到指定的快件归类处。

在一实施方式中，分析模块用于接收所述第一发送模块及第二发送模块发送的图像，并对图像进行分析，具体为：采用Priwitt边缘检测算法对图像中快件的边缘点坐标进行提取，并且通过相机手眼标定将边缘坐标变换到机器人坐标系当中以及根据快件的详情单内容分析快件的所属区域 及快件在所述传送装置上的摆放姿态。

在一实施方式中，传送装置还包括一感应模块和一中断模块，当快件的最前端经过所述感应模块，所述感应模块将信号传送给所述中断模块，启动定时中断，以保证所述快件到达拍照区域时拍摄装置能获取快件的完整信息；中断的时间由感应模块与拍照区域的距离确定，已事先存储在所述中断模块中。

相比于现有技术，本发明达到的有益效果如下：

效率高：在快件的详情单上包括物品的单号和目的地，由人工扫描和分类效率较低，采用视觉图像处理的方式可以快速的获得这些信息；

准确：人工长时间操作容易出现疲劳，使得准确性降低，由工业机器人和视觉技术提高了快件分拣的准确性；

质量好：由于工业机器人稳定性较高，使得在快件分拣中物品损坏率较低，分拣质量好。

附图说明

图1是本发明一种基于机器人视觉伺服技术的快递分拣系统的组织架构图；

图2是本发明一种基于机器人视觉伺服技术的快递分拣方法的一较佳实施方式流程图。

主要元件符号说明

传送装置	10
		感应模块	11
中断模块	12
		第一拍摄装置	20
第二拍摄装置	30
		机器人	40
信息获取模块	41

分析模块	42
		测速模块	43
处理模块	44
		机械手臂	45
机械手末端操作装置	46
		第三拍摄装置	47

具体实施方式

将需要分拣的快件分为包装盒类快件和包装袋类快件，在分拣之前，将两类型包裹快件分开，分别用两个传送装置传送。本实施例以包装盒类快件为例做出说明，请参考图1，在这一实施方式中，一种基于机器人视觉伺服技术的快递分拣系统，包括一传送装置10、第一拍摄装置20、第二拍摄装置30、一机器人40，所述传送装置10设有一拍照区域和一分拣区域，所述第一拍摄装置20位于所述拍照区域的正上方，所述第二拍摄装置30位于所述拍照区域的侧方，所述机器人40位于所述传送装置10的末端；所述传送装置10、第一拍摄装置20、第二拍摄装置30、机器人40可通过一网络连接或一局域网连接。在此实施例中，所述传送装置10为一条传送带，所述第一拍摄装置20和所述第二拍摄装置30分别为一彩色摄像机，两台彩色摄像机可放置在同一平面上，也可错开一定距离放置，局域网可为一Wi-Fi。

所述传送装置10包括有一感应模块11、一中断模块12。

所述第一拍摄装置20和第二拍摄装置30分别包括一第一发送模块21和第二发送模块31。

所述机器人40位于所述传送装置10的末端分拣区域，其包括一信息获取模块41、一分析模块42、一测速模块43、一处理模块44、一机械手臂45、一机械手末端操作装置46、一第三拍摄装置47，各模块之间互相连接。

将包装盒类快件放置于所述传送装置10的起始端，在放置时，将贴有 快递详情单的一面朝上放置。启动所述传送装置10，当快件的最前端经过所述感应模块11，所述感应模块11将信号传送给所述中断模块12，启动定时中断，以保证所述快件到达拍照区域时拍摄装置能获取快件的完整信息；中断的时间由感应模块与拍照区域的距离确定，已事先存储在所述中断模块12中。

当快件到达拍照区域时，放置在拍摄区域正上方与侧方的所述第一拍摄装置20和所述第二拍摄装置30对快件进行拍照，获取快件的俯视图像和侧视图像，在俯视图像中可以获得快件的详情单内容以及俯视面的边缘尺寸坐标，在侧视图像中可以获取快件侧视面的边缘尺寸坐标，上述俯视图像和测试图像会分别通过第一发送模块21和第二发送模块31发送到所述信息获取模块41，所述信息获取模块41将上述图像汇总后发送给所述分析模块42进行图像的分析，包括：采用Priwitt边缘检测算法对图像中快件的边缘点坐标进行提取，并且通过相机手眼标定将边缘坐标变换到机器人坐标系当中；根据快件的详情单内容分析快件的所属区域及快件在所述传送装置10上的摆放姿态。所述传送装置10的颜色应与快件包装盒的颜色有着明显的差异，以方便对包装盒的边缘进行信息的提取。所述机器人40根据快件的摆放姿态调整所述机械手臂45上的机械手末端操作装置46的姿态和相关参数，相关参数主要包括机器人的运动路径、运动速度等。所述测速模块43根据所述传送装置的10的传送速度来估算出快件的当前位置。当快件进入机器人分拣区时，利用估算的快件的实时位置，并通过机器人运动的路径、运动的速度来调整所述机械手臂45的位置，以便安装在机器人手臂45上的第三拍摄装置47能够清晰的拍摄到运动中的快件的二维图像，将所述图像以及快递的实时位置发送给处理模块44，所述处理模块44利用视觉伺服技术对快件进行定位并控制机械手末端操作装置46实现抓取，具体的步骤如下：

假设目标在图像上的实时位置为e(q,t)=[e₁,e₂,...,e_m]^T，它是一个关于关节角q和时间t的复合函数，其中q和t之间互不相关，假设理想位置为c=[c₁,c₂,...,c_m]^T，则在图像平面上，物体的实时位置和理想位置的差可表示为

f(q,t)=e(q,t)-c

根据非线性方差最小化原理，定义其方差最小化函数为：

$F(q,t)=\frac{1}{2}{f}^T(q,t)f(q,t)$

将上式在(q_k,t_k)点做泰勒级数展开，并求极值可得：

$\frac{{\∂F}_k}{\∂q}+\frac{{\∂}^2{F}_k}{{\∂q}^2}(q-q_k)+\frac{{\∂}^2{F}_k}{\∂t\∂q}(t-t_k)+0\left({\mathrm{\Δ}}^2\right)=0$

式中o(Δ²)是关于关节角和时间增量的二阶导数，对上式进行整理并离散化可得：

$q_{k+1}=q_k-\frac{J_k^T{f}_k+(J_k^T\frac{{\∂f}_k}{\∂t}\mathrm{\Δt}+\frac{{\∂J}_k^T}{\∂t}{f}_k\×\mathrm{\Δt})}{J_k^T{J}_k+S_k}$

式

$\frac{{\∂}^2{F}_k}{{\∂q}^2}=J_k^T{J}_k+\frac{{\∂J}_k^T}{\∂q}{f}_k=J_k^T{J}_k+S_k$

所述机器人40根据上述离散值及根据快件的详情单内容分析快件的所属区域将快件放置到不同的AGV（无人搬运车）上，AGV放满后按照设定的路径将包裹搬运到制定的快件归类处。

请参阅图2，图2为一种基于机器人视觉伺服技术的快递分拣方法，所述方法包括以下步骤：

S10：启动传送装置10，第一拍摄装置20和第二拍摄装置30对快件进行拍照，获取快件的俯视图像和侧视图像；

S20：根据快件的俯视图像和侧视图像获取快件边缘点的坐标、快件所属区域及快件在所述传送装置10上的摆放姿态，并通过相机手眼标定将边缘坐标变换到机器人坐标系当中；

S30：所述机器人40根据快件的摆放姿态调整机械手臂45上的末端操 作装置46的姿态和相关参数；

S40：所述机器人40中的一测速模块43根据所述传送装置10的传送速度估算快件的当前位置；

S50：当快件进入分拣区后，利用估算的快件当前位置、机器人40的相关参数调整机械手臂45的位置，使机器人40上的第三拍摄装置47能够清晰的拍摄到运动中的快件的二维图像；

S60：所述机器人40中的处理模块44对所述二维图像及快件的实时位置，通过视觉伺服技术对快件进行定位并计算出离散值；

S70：根据所述离散值控制所述末端操作装置46，进行快件的抓取；

S80：所述末端操作装置46根据快件所属区域将快件放置到分属不同区域的无人搬运车上，所述无人搬运车按照设定的路径将包裹搬运到指定的快件归类处。

在本领域的普通技术人员来说，可以根据本发明的发明方案和发明构思结合生产的实际需要做出相应的改变或调整，而这些改变和调整都应属于本发明权利要求的保护范围。

Claims (8)

1.一种基于机器人视觉伺服技术的快递分拣方法，包括一传送装置、第一拍摄装置、第二拍摄装置及一机器人，所述第一拍摄装置、第二拍摄装置和所述传送装置分别与机器人相连，其特征在于：

启动传送装置，所述第一拍摄装置和第二拍摄装置对快件进行拍照，获取快件的俯视图像和侧视图像；

根据快件的俯视图像和侧视图像获取快件边缘点的坐标、快件所属区域及快件在所述传送装置上的摆放姿态，并通过相机手眼标定将边缘坐标变换到机器人坐标系当中；

所述机器人根据快件的摆放姿态调整机械手臂上的末端操作装置的姿态和相关参数；

所述机器人中的一测速模块根据所述传送装置的传送速度估算快件的当前位置；

当快件进入分拣区后，利用估算的快件当前位置、机器人的相关参数调整机械手臂的位置，使机器人上的第三拍摄装置能够清晰的拍摄到运动中的快件的二维图像；

所述机器人中的处理模块获取所述二维图像及快件的实时位置，通过视觉伺服技术对快件进行定位并计算出离散值；

根据所述离散值控制所述末端操作装置，进行快件的抓取；

所述末端操作装置根据快件所属区域将快件放置到分属不同区域的无人搬运车上，所述无人搬运车按照设定的路径将包裹搬运到指定的快件归类处。

2.如权利要求1中所述的一种基于机器人视觉伺服技术的快递分拣方法，其特征在于：所述传送装置设有一拍照区域，所述第一拍摄装置位于所述拍照区域的正上方，所述第二拍摄装置位于所述拍照区域的侧方。

3.如权利要求1中所述的一种基于机器人视觉伺服技术的快递分拣 方法，其特征在于：在所述第一拍摄装置和第二拍摄装置对快件进行拍照，获取快件的俯视图像和侧视图像之前还包括：所述传送装置还包括一感应模块和一中断模块，当快件的最前端经过所述感应模块，所述感应模块将信号传送给所述中断模块，启动定时中断，以保证所述快件到达拍照区域时拍摄装置能获取快件的完整信息；中断的时间由感应模块与拍照区域的距离确定，已事先存储在所述中断模块中。

4.如权利要求1中所述的一种基于机器人视觉伺服技术的快递分拣方法，其特征在于：所述相关参数主要包括机器人的运动路径、运动速度。

5.如权利要求1中所述的一种基于机器人视觉伺服技术的快递分拣方法，其特征在于：所述通过视觉伺服技术对快件进行定位并计算出离散值，具体步骤为：

获取快件实时位置和理想位置的差值；

根据非线性方差最小化原理，定义其方差最小化函数；

将所述最小化函数做泰勒级数展开，并计算其极值的表达式；

对所述极值表达式进行整理并离散化，求出离散值。

6.一种基于机器人视觉伺服技术的快递分拣系统，包括一传送装置、第一拍摄装置、第二拍摄装置及一机器人，所述第一拍摄装置、第二拍摄装置和所述传送装置分别与机器人相连，其特征在于：

第一发送模块，用于接收所述第一拍摄装置拍摄的俯视图像；

第二发送模块，用于接收所述第二拍摄装置拍摄的侧视图像；

一信息获取模块，用于汇总所述第一发送模块及第二发送模块发送的图像；

一分析模块，用于接收所述第一发送模块及第二发送模块发送的图像，并对图像进行分析；

一测速模块，用于根据所述传送装置的传送速度估算快件的当前位置；

一机械手臂，利用估算的快件当前位置、机器人的相关参数调整所述机械手臂的位置，使机械手臂上的第三拍摄装置能够清晰的拍摄到运动中的快件的二维图像；

一处理模块，用于根据所述二维图像以及快递的实时位置，利用视觉 伺服技术对快件进行定位并计算出离散值；

一机械手末端操作装置，用于根据所述离散值对快件进行抓取；并且根据快件所属区域将快件放置到分属不同区域的无人搬运车上，所述无人搬运车按照设定的路径将包裹搬运到指定的快件归类处。

7.如权利要求6所述的一种基于机器人视觉伺服技术的快递分拣系统，其特征在于：所述分析模块用于接收所述第一发送模块及第二发送模块发送的图像，并对图像进行分析，具体为：采用Priwitt边缘检测算法对图像中快件的边缘点坐标进行提取，并且通过相机手眼标定将边缘坐标变换到机器人坐标系当中以及根据快件的详情单内容分析快件的所属区域及快件在所述传送装置上的摆放姿态。

8.如权利要求6所述的一种基于机器人视觉伺服技术的快递分拣系统，其特征在于：所述传送装置还包括一感应模块和一中断模块，当快件的最前端经过所述感应模块，所述感应模块将信号传送给所述中断模块，启动定时中断，以保证所述快件到达拍照区域时拍摄装置能获取快件的完整信息；中断的时间由感应模块与拍照区域的距离确定，已事先存储在所述中断模块中。