CN104058260A - 基于视觉处理的机器人自动码垛方法 - Google Patents

Abstract

本发明提供一种基于视觉处理的机器人自动码垛方法，其采取针对大区域空间的摄像机标定算法进行标定，然后对工件进行图像采集，之后对图像进行分析处理，识别出工件类型和质心位置，由码垛机器人对齐进行分类码垛，本发明为生产自动化提供一种了高效率、智能化的解决方案。本方案将机器视觉引入到工业生产中，实现了无人值守的分拣码垛的任务，节省了大批人力劳动，且能够对工件进行质量检测，且控制精度远远高于人工精度。

Description

基于视觉处理的机器人自动码垛方法

技术领域：本发明涉及一种生产自动化方案，尤其涉及将机器视觉与工业生产相结合的一种高效、智能的码垛设备。

背景技术：伴随着物流产业的飞速发展，国内外码垛技术实现了跨越式的进步。早期的人工码垛，负载量低，吞吐量小，劳动成本高，搬运效率低，不能够满足自动化生产的需求，在工业生产中，普遍用于自动化生产中的码垛机器人实质上是一种普通的工业搬运机器人，主要负责执行装载和卸载的任务，且一般都采用示教的方法，预先设定好抓起点和摆放点。这种工作方式不能够对生产线的情况分析判断，如不能够区分工件大小，不能够判断工件是否合格，不能够对工件进行分拣，而只是被动的搬运，适应性极差。针对目前的不足，将机器视觉与码垛机器人结合起来，使之具有人眼识别功能，对于保证产品质量、降低劳动成本、优化作业布局、提高生产效率、增长经济效益、实现生产的自动化等方面具有十分重要的意义。

发明内容：

发明目的：本发明提供一种基于视觉处理的机器人自动码垛方法，其目的是解决以往的方式效率低、智能化差的问题。

技术方案：本发明是通过以下技术方案实现的：

一种基于视觉处理的机器人自动码垛方法，其特征在于：该方法包括摄像机标定、图像特征提取匹配、几何中心的计算，抓取码垛几部分，具体步骤如下：

（1）摄像机标定；首先利用改进型角点检测提高了角点定位速度，然后利用最小误差函数提高了角点的检测精度，其次选定标定模板的中心区域参数结果作为初值求取畸变系数，最后用Levenberg-Marquardt算法对全局参数进行优化，从而进一步提高标定精度，为后续的研究工 作奠定了良好的基础，缩短了程序开发的周期；

（2）图像特征提取与匹配；首先利用几何不变矩对工件图像进行快速的粗略识别，接着采用Hough变换检测边缘直线，并以直线夹角为参数形成Hough-链码，通过匹配目标与模板的Hough-链码来进一步识别工件。实验证明该算法能够准确，快速的识别工件；

（3）几何中心的计算；首先求取多凸目标轮廓上的角点，然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值；y轴向坐标的最小坐标值、最大坐标值，这样把一幅图片的工件分割成N个目标块，然后利用一阶矩和零阶矩求取目标的质心坐标就可以分别对于不同目标进行求取质心；

（4）分类码垛；由真空吸盘机械手对抓取的物体进行分类，而后对其进行逐层码垛。

图像的识别和定位方法如下：

（1）Hough-链码流程：

(a)首先检测Hough直线的条数，得到直线的条数和各直线的直线方程；

(b)依据直线方程，计算直线间的交点，判断交点是否在工件图像内，若在图像内，则该交点为多边形的顶点，计算这两条相交直线的夹角，若不在图像内，则该交点不是顶点，无需计算夹角；

(c)将计算得到的夹角作为链码的参数，并将得到的链码转化为差分链码形式，从而得到Hough-链码；

(d)将目标工件的Hough-链码与模板链码进行匹配，从而实现工件识别；

（2）中心定位：首先求取多凸目标轮廓上的角点，分别为：

$\left\{\begin{array}{c}\mathrm{rec}\tan \mathrm{gle}[p1,p2,p3\·\·\·]\\ \mathrm{circle}[p1,p2,p3\·\·\·]\\ \mathrm{triangle}[p1,p2,p3\·\·\·]\\ \·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\end{array}\right.$

然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标 值；y轴向坐标的最小坐标值、最大坐标值；

$\left\{\begin{array}{c}\mathrm{Min}(\mathrm{point}1.x,\mathrm{ponit}2.x,\mathrm{ponit}3.x\·\·\·)=j_{\min }\\ \mathrm{Max}(\mathrm{point}1.x,\mathrm{ponit}2.x,\mathrm{ponit}3.x\·\·\·)=j_{\max }\\ \mathrm{Min}(\mathrm{point}1.y,\mathrm{ponit}2.y,\mathrm{ponit}3.y\·\·\·)=i_{\min }\\ \mathrm{Max}(\mathrm{point}1.y,\mathrm{ponit}2.y,\mathrm{ponit}3.y\·\·\·)=j_{\max }\end{array}\right.$

这样就可以把一副图像分割为基于N个目标的不同目标块BlockN（i,j）；为了计算准确使得外界矩形完全包围目标工件，把坐标范围扩大5像素；每个目标块的x轴坐标范围i_N～（i_min+5,i_max+5）,y轴坐标范围j_N～（j_min+5,j_max+5）。对应的其（p+q）阶矩定义为：

$M_{\mathrm{pq}}=\underset{i=i_{\min }+5}{\overset{i_{\max }+5}{\mathrm{\Σ}}}\underset{j=j_{\min }+5}{\overset{j_{\max }+5}{\mathrm{\Σ}}}{i}^p{j}^{q}f(i,j)(p,q=\mathrm{0,1,2}.)$

这样把一幅图片的工件分割成N个目标块就可以分别对于不同目标进行求取质心；公式中：f(i,j)相当于一个像素的质量；M_pq为不同p、q值下的图像的矩。然后用中心矩求取质心，零阶矩M₀₀是区域密度的总和：

$M_{00}=\underset{i=i_{\min }+5}{\overset{i_{\max }+5}{\mathrm{\Σ}}}\underset{j=j_{\min }+5}{\overset{j_{\max }+5}{\mathrm{\Σ}}}f(i,j)$

一阶矩M₁₀为图像对j轴的惯性矩；M₀₁为图像对i轴的惯性矩：

$\left\{\begin{array}{c}{M}_{10}=\underset{i=i_{\min }+5}{\overset{i_{\max }+5}{\mathrm{\Σ}}}\underset{j=j_{\min }+5}{\overset{j_{\max }+5}{\mathrm{\Σ}}}i\×f(i,j)\\ M_{01}=\underset{i=i_{\min }+5}{\overset{i_{\max }+5}{\mathrm{\Σ}}}\underset{j=j_{\min }+5}{\overset{j_{\max }+5j}{\mathrm{\Σ}}}j\×f(i,j)\end{array}\right.$

最后用一阶矩M₁₀和M₀₁分别除以零阶矩M₀₀得到的是物体的质心坐标

$(\stackrel{\‾}{i},\stackrel{\‾}{j})=(M_{10}/M_{00},M_{01}/M_{00})$

经过试验证明，该算法简单有效。

优点效果：本发明提供一种基于视觉处理的机器人自动码垛方法，其采取针对大区域空间的摄像机标定算法进行标定，然后对工件进行图像采集，之后对图像进行分析处理，识别出工件类型和质心位置，由码垛机器人对齐进行分类码垛，本发明为生产自动化提供一种了高效率、智能化的解决方案。本方案 将机器视觉引入到工业生产中，实现了无人值守的分拣码垛的任务，节省了大批人力劳动，且能够对工件进行质量检测，且控制精度远远高于人工精度。

附图说明：

图1系统码垛整体流程图；

图2码垛系统示意图；

图3码垛系统结构流程框图。

具体实施方式：

如图1所示，本发明提供一种基于视觉处理的机器人自动码垛方法，其首先采取针对大区域空间的摄像机标定算法进行标定，然后对工件进行图像采集，之后对图像进行分析处理，识别出工件类型和质心位置，由码垛机器人对齐进行分类码垛。

利用改进型角点检测提高了角点定位速度，然后利用最小误差函数提高了角点的检测精度，其次选定标定模板的中心区域参数结果作为初值求取畸变系数，最后用Levenberg-Marquardt算法对全局参数进行优化，从而进一步提高标定精度。

利用几何不变矩对工件图像进行快速的粗略识别，接着采用Hough变换检测边缘直线，并以直线夹角为参数形成Hough-链码，通过匹配目标与模板的Hough-链码来进一步识别工件。实验证明该算法能够准确，快速的识别工件。

对工件质心坐标计算，求取多凸目标轮廓上的角点，然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值；y轴向坐标的最小坐标值、最大坐标值，这样把一幅图片的工件分割成N个目标块，然后利用一阶矩和零阶矩求取目标的质心坐标就可以分别对于不同目标进行求取质心。具体步骤如下：

该方法包括摄像机标定、图像特征提取匹配、几何中心的计算，抓取码垛几部分：

（1）摄像机标定；首先利用改进型角点检测提高了角点定位速度，然后利 用最小误差函数提高了角点的检测精度，其次选定标定模板的中心区域参数结果作为初值求取畸变系数，最后用Levenberg-Marquardt算法对全局参数进行优化，从而进一步提高标定精度，为后续的研究工作奠定了良好的基础，缩短了程序开发的周期；

（2）图像特征提取与匹配；首先利用几何不变矩对工件图像进行快速的粗略识别，接着采用Hough变换检测边缘直线，并以直线夹角为参数形成Hough-链码，通过匹配目标与模板的Hough-链码来进一步识别工件。实验证明该算法能够准确，快速的识别工件；

（3）几何中心的计算；首先求取多凸目标轮廓上的角点，然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值；y轴向坐标的最小坐标值、最大坐标值，这样把一幅图片的工件分割成N个目标块，然后利用一阶矩和零阶矩求取目标的质心坐标就可以分别对于不同目标进行求取质心；

（4）分类码垛；由真空吸盘机械手对抓取的物体进行分类，而后对其进行逐层码垛。

图像的识别和定位方法如下：

（2）Hough-链码流程：

(a)首先检测Hough直线的条数，得到直线的条数和各直线的直线方程；

(b)依据直线方程，计算直线间的交点，判断交点是否在工件图像内，若在图像内，则该交点为多边形的顶点，计算这两条相交直线的夹角，若不在图像内，则该交点不是顶点，无需计算夹角；

(c)将计算得到的夹角作为链码的参数，并将得到的链码转化为差分链码形式，从而得到Hough-链码；

(d)将目标工件的Hough-链码与模板链码进行匹配，从而实现工件识别；

（2）中心定位：首先求取多凸目标轮廓上的角点，分别为：

$\left\{\begin{array}{c}\mathrm{rec}\tan \mathrm{gle}[p1,p2,p3\·\·\·]\\ \mathrm{circle}[p1,p2,p3\·\·\·]\\ \mathrm{triangle}[p1,p2,p3\·\·\·]\\ \·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\·\end{array}\right.$

然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值；y轴向坐标的最小坐标值、最大坐标值；

$\left\{\begin{array}{c}\mathrm{Min}(\mathrm{point}1.x,\mathrm{ponit}2.x,\mathrm{ponit}3.x\·\·\·)=j_{\min }\\ \mathrm{Max}(\mathrm{point}1.x,\mathrm{ponit}2.x,\mathrm{ponit}3.x\·\·\·)=j_{\max }\\ \mathrm{Min}(\mathrm{point}1.y,\mathrm{ponit}2.y,\mathrm{ponit}3.y\·\·\·)=i_{\min }\\ \mathrm{Max}(\mathrm{point}1.y,\mathrm{ponit}2.y,\mathrm{ponit}3.y\·\·\·)=j_{\max }\end{array}\right.$

这样就可以把一副图像分割为基于N个目标的不同目标块BlockN（i,j）；为了计算准确使得外界矩形完全包围目标工件，把坐标范围扩大5像素；每个目标块的x轴坐标范围i_N～（i_min+5,i_max+5）,y轴坐标范围j_N～（j_min+5,j_max+5）。对应的其（p+q）阶矩定义为：

$M_{\mathrm{pq}}=\underset{i=i_{\min }+5}{\overset{i_{\max }+5}{\mathrm{\Σ}}}\underset{j=j_{\min }+5}{\overset{j_{\max }+5}{\mathrm{\Σ}}}{i}^p{j}^{q}f(i,j)(p,q=\mathrm{0,1,2}.)$

这样把一幅图片的工件分割成N个目标块就可以分别对于不同目标进行求取质心；公式中：f(i,j)相当于一个像素的质量；M_pq为不同p、q值下的图像的矩。然后用中心矩求取质心，零阶矩M₀₀是区域密度的总和：

$M_{00}=\underset{i=i_{\min }+5}{\overset{i_{\max }+5}{\mathrm{\Σ}}}\underset{j=j_{\min }+5}{\overset{j_{\max }+5}{\mathrm{\Σ}}}f(i,j)$

一阶矩M₁₀为图像对j轴的惯性矩；M₀₁为图像对i轴的惯性矩：

$\left\{\begin{array}{c}{M}_{10}=\underset{i=i_{\min }+5}{\overset{i_{\max }+5}{\mathrm{\Σ}}}\underset{j=j_{\min }+5}{\overset{j_{\max }+5}{\mathrm{\Σ}}}i\×f(i,j)\\ M_{01}=\underset{i=i_{\min }+5}{\overset{i_{\max }+5}{\mathrm{\Σ}}}\underset{j=j_{\min }+5}{\overset{j_{\max }+5j}{\mathrm{\Σ}}}j\×f(i,j)\end{array}\right.$

最后用一阶矩M₁₀和M₀₁分别除以零阶矩M₀₀得到的是物体的质心坐标。

$(\stackrel{\‾}{i},\stackrel{\‾}{j})=(M_{10}/M_{00},M_{01}/M_{00})$

经过试验证明，该算法简单有效。

Claims (2)

1.一种基于视觉处理的机器人自动码垛方法，其特征在于：该方法包括摄像机标定、图像特征提取匹配、几何中心的计算，抓取码垛几部分，具体步骤如下：

(1)摄像机标定；首先利用改进型角点检测提高了角点定位速度，然后利用最小误差函数提高了角点的检测精度，其次选定标定模板的中心区域参数结果作为初值求取畸变系数，最后用Levenberg-Marquardt算法对全局参数进行优化，从而进一步提高标定精度，为后续的研究工作奠定了良好的基础，缩短了程序开发的周期；

(2)图像特征提取与匹配；首先利用几何不变矩对工件图像进行快速的粗略识别，接着采用Hough变换检测边缘直线，并以直线夹角为参数形成Hough-链码，通过匹配目标与模板的Hough-链码来进一步识别工件；实验证明该算法能够准确，快速的识别工件；

(3)几何中心的计算；首先求取多凸目标轮廓上的角点，然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值；y轴向坐标的最小坐标值、最大坐标值，这样把一幅图片的工件分割成N个目标块，然后利用一阶矩和零阶矩求取目标的质心坐标就可以分别对于不同目标进行求取质心；

(4)分类码垛；由真空吸盘机械手对抓取的物体进行分类，而后对其进行逐层码垛。

2.根据权利要求1所述的基于视觉处理的机器人自动码垛方法，其特征在于：图像的识别和定位方法如下：

(1)Hough-链码流程：

(a)首先检测Hough直线的条数，得到直线的条数和各直线的直线方程；

(b)依据直线方程，计算直线间的交点，判断交点是否在工件图像内，若在图像内，则该交点为多边形的顶点，计算这两条相交直线的夹角，若不在图 像内，则该交点不是顶点，无需计算夹角；

(c)将计算得到的夹角作为链码的参数，并将得到的链码转化为差分链码形式，从而得到Hough-链码；

(d)将目标工件的Hough-链码与模板链码进行匹配，从而实现工件识别；

(2)中心定位：首先求取多凸目标轮廓上的角点，分别为：

然后针对每一个目标所有角点求取x轴向坐标值的最小坐标值、最大坐标值；y轴向坐标的最小坐标值、最大坐标值；

这样就可以把一副图像分割为基于N个目标的不同目标块BlockN(i,j)；为了计算准确使得外界矩形完全包围目标工件，把坐标范围扩大5像素；每个目标块的x轴坐标范围i_N～(i_min+5,i_max+5),y轴坐标范围j_N～(j_min+5,j_max+5)；对应的其(p+q)阶矩定义为：

这样把一幅图片的工件分割成N个目标块就可以分别对于不同目标进行求取质心；公式中：f(i,j)相当于一个像素的质量；M_pq为不同p、q值下的图像的矩；然后用中心矩求取质心，零阶矩M₀₀是区域密度的总和：

一阶矩M₁₀为图像对j轴的惯性矩；M₀₁为图像对i轴的惯性矩：

最后用一阶矩M₁₀和M₀₁分别除以零阶矩M₀₀得到的是物体的质心坐标；

经过试验证明，该方法简单有效。