CN109785317B - 自动码垛桁架机器人的视觉系统 - Google Patents

Abstract

本发明自动码垛桁架机器人的视觉系统，属于视觉系统设计领域，本设计待抓取的包装盒为形状规则的矩形物体并且摄像机固定在待抓取包装盒的正上方，所以为了提取包装盒的摆放坐标，需要求出包装盒的外接面积最小矩形，根据最小矩形的中心坐标值可以计算得出待抓取包装盒的中心坐标即抓取的坐标值；此过程中首先需要对采集的图像进行滤波处理，然后进行边缘检测、轮廓提取及优化，最后对提取及优化后的轮廓求出外接最小矩形并计算得出其中心坐标值，利用机器视觉技术设计了对待码放包装盒的视觉定位及分类方法；视觉系统硬件主要由计算机、USB接口摄像头、光源及背景组成；视觉系统软件采用C#语言并结合开源图像处理库EmguCV与开源Modbus通信库libModbus编译而成。

Description

自动码垛桁架机器人的视觉系统

技术领域

本发明属于视觉系统设计领域，特别涉及一种自动码垛桁架机器人的视觉系统，利用机器视觉技术设计了对待码放包装盒的定位及分类方法，实现了定位抓取及分类码垛的工作过程。

背景技术

码垛桁架机器人是用在工业生产过程中执行大批量工件、包装件的获取、搬运、码垛、拆垛等任务的一类工业机器人，是集机械、电子、信息、智能技术、计算机科学等学科于一体的高新机电产品。码垛桁架机器人技术在解决劳动力不足、提高劳动生产效率、降低生产成本、降低工人劳动强度、改善生产环境等方面具有很大潜力。

机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。

早期的人工码垛，负载量低，吞吐量小，劳动成本高，搬运效率低，不能够满足自动化生产的需求，在工业生产中，普遍用于自动化生产中的码垛机器人实质上是一种普通的工业搬运机器人，主要负责执行装载和卸载的任务，且一般都采用示教的方法，预先设定好抓起点和摆放点。这种工作方式不能够对生产线的情况分析判断，如不能够区分工件大小，不能够判断工件是否合格，不能够对工件进行分拣，而只是被动的搬运，且大多都采用定制化的生产线，只能对一种物品进行码放，灵活度低，适应性差。

发明内容

为了解决上述技术问题，本发明通过摄像头对包装盒的图像信息进行采集，在由C#编写的视觉系统软件进行处理并计算出待抓取包装盒的匹配识别结果和坐标值；能够引导机器人对其进行抓取，最后对抓取后的包装盒进行按要求分类码垛。

本发明采用的技术方案如下：

本发明一种自动码垛桁架机器人的视觉系统，本设计待抓取的包装盒为形状规则的矩形物体并且摄像机固定在待抓取包装盒的正上方，所以为了提取包装盒的摆放坐标，需要求出包装盒的外接面积最小矩形，根据最小矩形的中心坐标值可以计算得出待抓取包装盒的中心坐标即抓取的坐标值；在此过程中首先需要对采集的图像进行滤波处理，然后进行边缘检测、轮廓提取及优化，最后对提取及优化后的轮廓求出外接最小矩形并计算得出其中心坐标值，再进一步的坐标转换得出待抓取包装盒在抓取识别区的真正坐标值。

进一步地，所述滤波处理是利用高斯滤波对获取的待抓取包装盒图像信息进行滤波处理，其具体过程是：首先设定一个模板，然后利用该模板扫描所得图像中的每一个像素；最后用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

进一步地，所述边缘检测采用Canny边缘检测算法对待抓取包装盒图像信息进行边缘检测；其步骤是：

1)高斯模糊

高斯模糊的作用是去除识别过程中的噪声影响，噪声影响的主要来源是高频信号；

2)计算梯度幅值和方向

由于提取的包装盒图像边缘可以指向任意方位，因而Canny算法用四个梯度算子来分别计算水平、垂直和两对角线方向的梯度。利用边缘差分算子计算水平和垂直方向的差分G_x和G_y；这样就可以计算得出如下梯度模和方向：

梯度角度θ的范围是[-π，π]，把它近似到水平、垂直和两个对角线四个方向，以±i*π/8(i＝1,3,5,7)分割区间为(0°,45°,90°,135°)；

3)非最大值抑制

非最大值抑制是一种图像信息边缘细化的方法，通常得到的梯度边缘由多个像素宽组成，而利用此方法能有效保留局部最大梯度值；

4)双阀值

本发明中的Canny算法应用双阀值，利用一个高阀值和一个低阀值来区分边缘像素。

5)滞后边界跟踪

滞后边界跟踪算法就是检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，那么这个弱边缘点被认为是真是边缘保留下来。

进一步地，所述轮廓提取及优化为轮廓检测之后需要对轮廓进行识别和筛选出来以便进行下一步的分析和处理；由于待抓取包装盒上有包装图案等其他干扰因素，所以对于轮廓的提取方法采用提取最外层轮廓的方法，然后对提取出来的轮廓采用计算连通轮廓最大面积的方法对轮廓进行优化，只将具有最大连通轮廓面积的轮廓提取出来，完成待抓取包装盒的盒体轮廓提取。

进一步地，所述中心坐标值为在像素坐标系下的坐标值，还需要进一步的坐标转换才可以得出待抓取包装盒在抓取识别区的真正坐标值，在摄像机固定的情况下摆放角度值无需转换；

本次设计采用无畸变摄像机，所以只需考虑摄像机的线性模型，无需进行矫正处理。

进一步地，所述真正坐标值的定位方法包括以下步骤：

vO₀u是建立在像素上的直角坐标系，它反映了摄像机像素的排列情况。其中原点O₀位于图像的左上角，u轴、v轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素(整数)；但像素坐标系之间不利于坐标变换，因此需要建立图像坐标系xo₁y，原点是相机光轴与相面的交点，即图像的中心点，x轴、y轴分别与u轴、v轴平行；故两个坐标系实际是平移关系，可以通过平移就可得到；

当将摄像机采集图像的分辨率设置为640*480时，可以认为像素坐标值(320,240)为图像坐标系的坐标原点；所以由像素坐标系vO₀u经过平移后得到图像坐标系xo₁y为：

将世界坐标系原点O_w位置建立在抓取识别区的中心位置上，摄像机坐标系原点O_c在世界坐标原点O_w的正上方，X_w轴与X_c轴平行，Y_w轴与Y_c轴平行,Z_w轴与Z_c轴重合；

设摄像机焦距为f,根据三角形相似原理得：

为了便于计算进一步化简为：

由于摄像头水平放置，摄像机坐标系原点O_c在世界坐标原点O_w的正上方，X_w轴与X_c轴平行，Y_w轴与Y_c轴平行,Z_w轴与Z_c轴重合，自定义图像原点即为空间上的摄像头正下方。然后利用已知目标物体的长度和求出的目标物体的像素长度，得出x和y轴的像素尺寸k_x和k_y，再利用像素尺寸和目标物体在原点的x,y方向的像素距离，进而求出目标物体相对水平放置的摄像头的x,y方向实际距离，即为世界坐标值(X_w,Y_w)，由于待抓取包装盒水平放置并且高度已知，所以Z_w坐标值为待抓取包装盒的高度值。在本次设计中经过多次测量并取平均值得出k_x＝0.631,k_y＝0.621；联立(3)与(5)可得像素坐标系到世界坐标系的转换公式：

进一步地，由于为了对包装盒进行分类码垛功能，需要对待抓取的包装盒进行识别匹配，将具有两种不同包装图案和大小的包装盒分开码放；本设计选用SURF算法进行匹配识别。

当识别匹配不同的包装盒图片信息时，经常会由于图像尺度不同使得图片中的特征点距离不同；为了实现尺度不变性的特征点检测与匹配，SURF算法则先利用Hessian矩阵确定候选点，然后进行非极大抑制；整个算法由以下几个部分组成；

1)Hessian黑森矩阵构建；

2)尺度空间生成；

3)利用非极大值抑制初步确定特征点和精确定位特征点；

4)选取特征点主方向；

5)构造SURF特征点描述算子。

进一步地，本发明的摄像头采用工业800万快速自动对焦USB免驱动摄像头，其自身采用Sony IMX179芯片，画质清晰成像稳定，93°超广角镜头使得视角无畸变无弧度；摄像头通过USB电缆与计算机相连。

进一步地，视觉系统软件是在Windows操作系统下，利用C#语言并结合开源图像处理库EmguCV与开源Modbus通信库libModbus编译而成；在软件设计结构上共分为用户登录界面、主界面、特征匹配设置界面、定位参数设置界面、图像采集设置界面等。

视觉系统软件分为对待抓取包装盒的定位程序部分、匹配识别程序部分、ModbusTCP通信程序部分等；

1)包装盒的定位程序部分

由上文可知定位过程包括图像滤波、边缘检测、轮廓提取及优化、外接最小矩形框定，计算中心坐标值；

2)包装盒的匹配识别程序部分

匹配识别算法采用SURF算法；

ModbusTCP通信程序部分

在本设计当中将计算机端作为ModbusTCP的客户端，PLC作为服务器，由上位机端控制读取和发送数据；发送数据包括待抓取包装盒摆放位置坐标、两种盒子高度、匹配识别结果、码放盒子坐标、码放盒子角度；读取的数据包括PLC端码放动作标志位和报警数据。

本发明的有益效果：

本发明的优点和有益效果是将机器视觉与码垛桁架机器人结合起来，使之具有人眼识别功能，对于保证产品质量、降低劳动成本、优化作业布局、提高生产效率、增长经济效益、实现生产的自动化等方面具有十分重要的意义。

附图说明

图1为本发明像素坐标系和图像坐标系位置示意图；

图2为本发明的摄像机坐标系与世界坐标系关系示意图；

图3为本发明视觉系统的硬件结构图；

图4为本发明视觉系统软件结构图；

图5为本发明包装盒的定位程序流程图；

图6为本发明包装盒的匹配识别程序流程图；

图7为本发明ModbusTCP客户端程序流程图。

具体实施方式

为了进一步说明本发明，下面结合附图及实施例对本发明进行详细地描述，但不能将它们理解为对本发明保护范围的限定。

实施例：

本发明一种自动码垛桁架机器人的视觉系统，由于本设计待抓取的包装盒为形状规则的矩形物体并且摄像机固定在待抓取包装盒的正上方，所以为了提取包装盒的摆放坐标，需要求出包装盒的外接面积最小矩形，根据最小矩形的中心坐标值可以计算得出待抓取包装盒的中心坐标即抓取的坐标值。在此过程中首先需要对采集的图像进行滤波处理，然后进行边缘检测、轮廓提取及优化，最后对提取及优化后的轮廓求出外接最小矩形并计算得出其中心坐标值，再进一步的坐标转换才可以得出待抓取包装盒在抓取识别区的真正坐标值，即为在世界坐标系下的坐标值。

1.图像滤波处理

本设计利用高斯滤波对获取的待抓取包装盒图像信息进行滤波处理。其具体过程是：首先设定一个模板，然后利用该模板扫描所得图像中的每一个像素。最后用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

2.边缘检测

本次设计采用Canny边缘检测算法对待抓取包装盒图像信息进行边缘检测。其优点是低错误性、高定位性、最小效应；其步骤是：

1)高斯模糊

高斯模糊的主要作用是去除识别过程中的噪声影响，噪声影响的主要来源是高频信号。

2)计算梯度幅值和方向

由于提取的包装盒图像边缘可以指向任意方位，因而Canny算法用四个梯度算子来分别计算水平、垂直和两对角线方向的梯度。利用边缘差分算子计算水平和垂直方向的差分G_x和G_y。这样就可以计算得出如下梯度模和方向：

梯度角度θ的范围是[-π，π]，把它近似到水平、垂直和两个对角线四个方向，以±i*π/8(i＝1,3,5,7)分割区间为(0°,45°,90°,135°)。

3)非最大值抑制

非最大值抑制是一种图像信息边缘细化的方法，通常得到的梯度边缘由多个像素宽组成，而利用此方法能有效保留局部最大梯度值。

4)双阀值

常用的边缘检测算法都是利用一个阀值来滤除噪声或颜色变化带来的梯度值。而本设计中的Canny算法应用双阀值，即利用一个高阀值和一个低阀值来区分边缘像素。

5)滞后边界跟踪

滞后边界跟踪算法就是检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，那么这个弱边缘点被认为是真是边缘保留下来。

3.轮廓提取及优化

轮廓检测之后需要对轮廓进行识别和筛选出来以便进行下一步的分析和处理；由于待抓取包装盒上可能有包装图案等其他干扰因素，所以对于轮廓的提取方法采用提取最外层轮廓的方法，然后对提取出来的轮廓采用计算连通轮廓最大面积的方法对轮廓进行优化，只将具有最大连通轮廓面积的轮廓提取出来，即完成待抓取包装盒的盒体轮廓提取。

4.外接最小矩形

将盒体轮廓提取出来后，为了可以计算出待抓取包装盒的摆放坐标，需要采用外接最小矩形的方法在盒体轮廓上外接一个最小矩形，利用矩形中心在像素坐标系下的坐标，即可以计算得出待抓取包装盒在像素坐标系下的中心坐标。

5.世界坐标系下的定位方法

由于上文中计算得出的坐标为在像素坐标系下的坐标值，还需要进一步的坐标转换才可以得出待抓取包装盒在抓取识别区的真正坐标值，即为在世界坐标系下的坐标值，在摄像机固定的情况下摆放角度值无需转换；

由于本次设计采用无畸变摄像机，所以只需考虑摄像机的线性模型，无需进行矫正处理，世界坐标系下的定位方法；

如图1所示为像素坐标系和图像坐标系位置关系示意图，vO₀u是建立在像素上的直角坐标系，它反映了摄像机像素的排列情况。其中原点O₀位于图像的左上角，u轴、v轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素(整数)；但像素坐标系之间不利于坐标变换，因此需要建立图像坐标系xo₁y，原点是相机光轴与相面的交点，即图像的中心点，x轴、y轴分别与u轴、v轴平行；故两个坐标系实际是平移关系，即可以通过平移就可得到；

当将摄像机采集图像的分辨率设置为640*480时，可以认为像素坐标值(320,240)为图像坐标系的坐标原点；所以由像素坐标系vO₀u经过平移后得到图像坐标系xo₁y为：

如图2所示为本次设计所确定的世界坐标系与摄像机坐标系的关系示意图，将世界坐标系原点O_w位置建立在抓取识别区的中心位置上，摄像机坐标系原点O_c在世界坐标原点O_w的正上方，X_w轴与X_c轴平行，Y_w轴与Y_c轴平行,Z_w轴与Z_c轴重合。

设摄像机焦距为f,根据三角形相似原理得：

为了便于计算进一步化简为：

由于摄像头水平放置，摄像机坐标系原点O_c在世界坐标原点O_w的正上方，X_w轴与X_c轴平行，Y_w轴与Y_c轴平行,Z_w轴与Z_c轴重合，自定义图像原点即为空间上的摄像头正下方；然后利用已知目标物体的长度和求出的目标物体的像素长度，得出x和y轴的像素尺寸k_x和k_y，再利用像素尺寸和目标物体在原点的x,y方向的像素距离，进而求出目标物体相对水平放置的摄像头的x,y方向实际距离，即为世界坐标值(X_w,Y_w)，由于待抓取包装盒水平放置并且高度已知，所以Z_w坐标值为待抓取包装盒的高度值；在本次设计中经过多次测量并取平均值得出k_x＝0.631,k_y＝0.621；联立(3)与(5)可得像素坐标系到世界坐标系的转换公式：

6.视觉匹配识别方法

由于为了对包装盒进行分类码垛功能，需要对待抓取的包装盒进行识别匹配，将具有两种不同包装图案和大小的包装盒分开码放；本设计选用SURF算法进行匹配识别；

当识别匹配不同的包装盒图片信息时，经常会由于图像尺度不同使得图片中的特征点距离不同。为了实现尺度不变性的特征点检测与匹配，SURF算法则先利用Hessian矩阵确定候选点，然后进行非极大抑制；整个算法由以下几个部分组成；

1)Hessian黑森矩阵构建；

2)尺度空间生成；

3)利用非极大值抑制初步确定特征点和精确定位特征点；

4)选取特征点主方向；

5)构造SURF特征点描述算子。

7.视觉系统的硬件设计

本设计的摄像头采用工业800万快速自动对焦USB免驱动摄像头，其自身采用SonyIMX179芯片，画质清晰成像稳定，93°超广角镜头使得视角无畸变无弧度；摄像头通过USB电缆与计算机相连；如下图3所示为视觉系统的硬件结构图。

8.视觉系统软件设计

视觉系统软件是在Windows操作系统下，利用C#语言并结合开源图像处理库EmguCV与开源Modbus通信库libModbus编译而成。在软件设计结构上共分为用户登录界面、主界面、特征匹配设置界面、定位参数设置界面、图像采集设置界面等；如下图4所示为视觉系统软件结构图；

主界面上分为定位显示区、匹配识别显示区、启动按钮、停止按钮、重置按钮、码放进度显示；在定位显示区和匹配识别显示区可以显示摄像机采集的实时图像以及对应数据结果；

视觉系统软件主要分为对待抓取包装盒的定位程序部分、匹配识别程序部分、ModbusTCP通信程序部分等。

1)包装盒的定位程序部分

由上文可知定位过程包括图像滤波、边缘检测、轮廓提取及优化、外接最小矩形框定，计算中心坐标值；如图5所示为包装盒的定位程序流程图。

2)包装盒的匹配识别程序部分

由上文可知匹配识别算法采用SURF算法；如图6所示为包装盒的匹配识别程序流程图。

4)ModbusTCP通信程序部分

在本设计当中将计算机端作为ModbusTCP的客户端，PLC作为服务器，由上位机端控制读取和发送数据。发送数据包括待抓取包装盒摆放位置坐标、两种盒子高度、匹配识别结果、码放盒子坐标、码放盒子角度；读取的数据包括PLC端码放动作标志位和报警数据；如图7所示为ModbusTCP客户端程序流程图。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种自动码垛桁架机器人的视觉系统，其特征在于：本设计待抓取的包装盒为形状规则的矩形物体并且摄像机固定在待抓取包装盒的正上方，所以为了提取包装盒的摆放坐标，需要求出包装盒的外接面积最小矩形，根据最小矩形的中心坐标值可以计算得出待抓取包装盒的中心坐标即抓取的坐标值；在此过程中首先需要对采集的图像进行滤波处理，然后进行边缘检测、轮廓提取及优化，最后对提取及优化后的轮廓求出外接最小矩形并计算得出其中心坐标值，再进一步的坐标转换得出待抓取包装盒在抓取识别区的真正坐标值。

2.根据权利要求1所述的自动码垛桁架机器人的视觉系统，其特征在于：所述滤波处理是利用高斯滤波对获取的待抓取包装盒图像信息进行滤波处理，其具体过程是：首先设定一个模板，然后利用该模板扫描所得图像中的每一个像素；最后用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

3.根据权利要求1所述的自动码垛桁架机器人的视觉系统，其特征在于：所述边缘检测采用Canny边缘检测算法对待抓取包装盒图像信息进行边缘检测；其步骤是：

1)高斯模糊

高斯模糊的作用是去除识别过程中的噪声影响，噪声影响的主要来源是高频信号；

2)计算梯度幅值和方向

由于提取的包装盒图像边缘可以指向任意方位，因而Canny算法用四个梯度算子来分别计算水平、垂直和两对角线方向的梯度，利用边缘差分算子计算水平和垂直方向的差分G_x和G_y；这样就可以计算得出如下梯度模和方向：

梯度角度θ的范围是[-π，π]，把它近似到水平、垂直和两个对角线四个方向，以±i*π/8(i＝1,3,5,7)分割区间为(0°,45°,90°,135°)；

3)非最大值抑制

非最大值抑制是一种图像信息边缘细化的方法，通常得到的梯度边缘由多个像素宽组成，而利用此方法能有效保留局部最大梯度值；

4)双阀值

本发明中的Canny算法应用双阀值，利用一个高阀值和一个低阀值来区分边缘像素；

5)滞后边界跟踪

滞后边界跟踪算法就是检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，那么这个弱边缘点被认为是真是边缘保留下来。

4.根据权利要求3所述的自动码垛桁架机器人的视觉系统，其特征在于：所述轮廓提取及优化为轮廓检测之后需要对轮廓进行识别和筛选出来以便进行下一步的分析和处理；由于待抓取包装盒上有包装图案等其他干扰因素，所以对于轮廓的提取方法采用提取最外层轮廓的方法，然后对提取出来的轮廓采用计算连通轮廓最大面积的方法对轮廓进行优化，只将具有最大连通轮廓面积的轮廓提取出来，完成待抓取包装盒的盒体轮廓提取。

5.根据权利要求1所述的自动码垛桁架机器人的视觉系统，其特征在于：中心坐标值为在像素坐标系下的坐标值，还需要进一步的坐标转换才可以得出待抓取包装盒在抓取识别区的真正坐标值，在摄像机固定的情况下摆放角度值无需转换。

6.根据权利要求5所述的自动码垛桁架机器人的视觉系统，其特征在于：真正坐标值的定位方法包括以下步骤：

vO₀u是建立在像素上的直角坐标系，它反映了摄像机像素的排列情况，其中原点O₀位于图像的左上角，u轴、v轴分别于像面的两边平行，像素坐标系中坐标轴的单位是像素(整数)；但像素坐标系之间不利于坐标变换，因此需要建立图像坐标系xo₁y，原点是相机光轴与相面的交点，即图像的中心点，x轴、y轴分别与u轴、v轴平行；故两个坐标系实际是平移关系，通过平移就可得到；

当将摄像机采集图像的分辨率设置为640*480时，认为像素坐标值(320,240)为图像坐标系的坐标原点；所以由像素坐标系vO₀u经过平移后得到图像坐标系xo₁y为：

将世界坐标系原点O_w位置建立在抓取识别区的中心位置上，摄像机坐标系原点O_c在世界坐标原点O_w的正上方，X_w轴与X_c轴平行，Y_w轴与Y_c轴平行,Z_w轴与Z_c轴重合；

设摄像机焦距为f,根据三角形相似原理得：

为了便于计算进一步化简为：

由于摄像头水平放置，摄像机坐标系原点O_c在世界坐标原点O_w的正上方，X_w轴与X_c轴平行，Y_w轴与Y_c轴平行,Z_w轴与Z_c轴重合，自定义图像原点即为空间上的摄像头正下方，然后利用已知目标物体的长度和求出的目标物体的像素长度，得出x和y轴的像素尺寸k_x和k_y，再利用像素尺寸和目标物体在原点的x,y方向的像素距离，进而求出目标物体相对水平放置的摄像头的x,y方向实际距离，即为世界坐标值(X_w,Y_w)，由于待抓取包装盒水平放置并且高度已知，所以Z_w坐标值为待抓取包装盒的高度值，在本次设计中经过多次测量并取平均值得出k_x＝0.631,k_y＝0.621；联立(3)与(5)可得像素坐标系到世界坐标系的转换公式：

7.根据权利要求1所述的自动码垛桁架机器人的视觉系统，其特征在于：由于为了对包装盒进行分类码垛功能，需要对待抓取的包装盒进行识别匹配，将具有两种不同包装图案和大小的包装盒分开码放；本设计选用SURF算法进行匹配识别；

当识别匹配不同的包装盒图片信息时，经常会由于图像尺度不同使得图片中的特征点距离不同；为了实现尺度不变性的特征点检测与匹配，SURF算法则先利用Hessian矩阵确定候选点，然后进行非极大抑制；整个算法由以下几个部分组成；

1)Hessian黑森矩阵构建；

2)尺度空间生成；

3)利用非极大值抑制初步确定特征点和精确定位特征点；

4)选取特征点主方向；

5)构造SURF特征点描述算子。

8.根据权利要求1所述的自动码垛桁架机器人的视觉系统，其特征在于：本发明的摄像头采用工业800万快速自动对焦USB免驱动摄像头，其自身采用Sony IMX179芯片，画质清晰成像稳定，93°超广角镜头使得视角无畸变无弧度；摄像头通过USB电缆与计算机相连。

9.根据权利要求1所述的自动码垛桁架机器人的视觉系统，其特征在于：视觉系统软件是在Windows操作系统下，利用C#语言并结合开源图像处理库EmguCV与开源Modbus通信库libModbus编译而成；在软件设计结构上共分为用户登录界面、主界面、特征匹配设置界面、定位参数设置界面、图像采集设置界面等；

视觉系统软件分为对待抓取包装盒的定位程序部分、匹配识别程序部分、ModbusTCP通信程序部分等；

在本发明当中将计算机端作为ModbusTCP的客户端，PLC作为服务器，由上位机端控制读取和发送数据；发送数据包括待抓取包装盒摆放位置坐标、两种盒子高度、匹配识别结果、码放盒子坐标、码放盒子角度；读取的数据包括PLC端码放动作标志位和报警数据。

Images