CN109592342A - 一种视觉圆柱形物料输料方法及系统 - Google Patents

Abstract

本发明提供了一种视觉圆柱形物料输料方法及系统，该视觉圆柱形物料输料系统包括托盒作业传送带：用于驱动托盒匀速运动；视觉装置：用于获取单位托盒视觉图像；处理器模块：用于对所述单位托盒视觉图像预处理、平滑滤波、边缘检测、相似匹配，求出特征点坐标。本发明提供了一种视觉圆柱形物料输料方法及系统，通过对视觉装置获取的多张照片进行拼接和处理，准确的识别托盒的边界特征并求出托盒特征点，具有计算速度快、准确性高等特点。

Description

一种视觉圆柱形物料输料方法及系统

技术领域

本发明涉及到视觉领域，具体涉及到一种视觉圆柱形物料输料方法及系统。

背景技术

图像处理作为视觉控制的关键技术，可根据物体外部特征提取轮廓进行模板匹配，获取物体在图像中位置坐标信息。在视觉生产中，机器人想要准确确定运动位置并完成取料作业动作，需要运动至物料的特征点。

针对圆柱形物料，目前常采用的特征点坐标提取方法为相似匹配法，即通过遍历的方式，以模板去匹配图像中的任意像素点，直至得到相关的特征点坐标；但遍历的方式较慢，容易拖慢机器人的作业速度。

因此，如何有效解决圆柱形物料的识别问题且准确高速计算物料的特征点坐标，是实现机器人装盒作业的关键。

发明内容

本发明实施例提供了一种视觉圆柱形物料输料方法及系统，具有计算速度快、准确性高等特点。

相应的，本发明实施例提供了一种视觉圆柱形物料输料方法，所述视觉圆柱形物料输料方法包括以下步骤：

基于视觉装置获取托盒作业传送带的单位托盒视觉图像并基于处理器模块合成所述单位托盒视觉图像；

基于处理器模块实时计算Delta机器人的工作区域的托盒视觉图像；

基于处理器模块预处理所述工作区域的托盒视觉图像，得到托盒视觉灰度图像；

基于处理器模块对所述托盒视觉灰度图像进行平滑滤波，得到滤波托盒视觉灰度图像；

基于处理器模块对所述滤波托盒视觉灰度图像进行边缘检测，得到托盒视觉边缘图像；

基于处理器模块对圆柱形物料视觉边缘图像进行边缘分离，得到圆柱形物料的实际边缘；

基于处理器模块，等距的从所述圆柱形物料的实际边缘提取偶数个边缘特征点，以求平均数的方式，求出所述圆柱形物料的特征点坐标。

所述托盒作业传送带的运动速度为v₀，所述视觉装置获取的单位托盒视觉图像宽度为l，所述视觉装置获取所述单位托盒视觉图像的间隔时间t₁小于

所述基于处理器模块合成所述单位托盒视觉图像包括以下步骤：

基于所述单位托盒视觉图像的间隔时间t₁和所述托盒作业传送带的运动速度v₀，得出该相邻两幅单位托盒视觉图像交叠部分的影像；

将所述相邻两幅单位托盒视觉图像交叠部分的影像对应的像素点颜色信息取平均值；

将所述平均值作为所述单位托盒视觉图像对应的像素点颜色。

所述托盒视觉图像和托盒视觉灰度图像对应像素点的转换公式为：

Gray＝0.11B+0.59G+0.3R

其中，Gray为所述托盒视觉灰度图像像素点的灰度值，R、G、B为所述托盒视觉图像对应像素点的颜色值。

所述基于处理器模块对所述托盒视觉灰度图像进行平滑滤波，得到滤波托盒视觉灰度图像包括以下步骤：

以二维零均值离散高斯函数作平滑滤波器，对所述托盒视觉灰度图像进行平滑滤波，得到滤波托盒视觉灰度图像。

所述基于处理器模块对所述滤波托盒视觉灰度图像进行边缘检测，得到托盒视觉边缘图像包括以下步骤：

基于Canny算子对所述滤波托盒视觉灰度图像进行边缘检测，得到托盒视觉边缘图像。

所述基于处理器模块对圆柱形物料视觉边缘图像进行边缘分离，得到圆柱形物料的实际边缘包括以下步骤：

所述圆柱形物料顶面具有花纹区域，所述花纹区域面积小于所述圆柱形物料截面面积；

设定一像素点阈值，像素点阈值数量位于花纹区域的像素点数量与圆柱形物料截面的像素点数量之间；

基于处理器模块，以遍历的方式，依次计算所述圆柱形物料视觉边缘图像中每一个封闭边缘轮廓所围成的像素点数量；

当像素点数量大于所述像素点阈值时，保留对应的边缘轮廓；当像素点数量小于所述像素点阈值时，则删除对应的边缘轮廓。

所述偶数个边缘特征点数量为30个。

相应的，本发明提供了一种视觉圆柱形物料输料系统，所述视觉圆柱形物料输料系统包括

托盒作业传送带：用于驱动托盒匀速运动；

视觉装置：用于获取单位托盒视觉图像；

处理器模块：用于对所述单位托盒视觉图像预处理、平滑滤波、边缘检测、相似匹配，求出特征点坐标。

本发明实施例提供了一种视觉圆柱形物料输料方法及系统，通过对视觉装置获取的多张照片进行拼接和处理，准确的识别托盒的边界特征并求出托盒特征点，具有计算速度快、准确性高等特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本发明实施例的视觉圆柱形物料输料方法流程图；

图2示出了本发明实施例的视觉圆柱形物料输料系统结构图；

图3示出了本发明实施例的单位托盒作业传送带图像拼接原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示出了本发明实施例的视觉圆柱形物料输料方法流程图，图2示出了本发明实施例的视觉圆柱形物料输料系统结构图，图3示出了本发明实施例的单位圆柱形物料作业传送带图像拼接原理图。本发明实施例的视觉圆柱形物料输料方法包括以下步骤：

S101：基于视觉装置获取圆柱形物料作业传送带的单位托盒视觉图像并基于处理器模块合成所述单位托盒视觉图像；

正常情况下，如果通过视觉装置直接获取Delta机器人工作末端的工作区域图像，由于Delta机器人工作末端的阻挡，在具体实施中很难完全获取所需的工作区域图像，因此，可通过远端合成和即时计算的方式，基于软件计算的方式获取圆柱形物料作业传送带图像。

具体的，针对圆柱形物料作业传送带，所述圆柱形物料作业传送带的运动速度为v₀，所述视觉装置获取的单位圆柱形物料视觉图像宽度为l，所述视觉装置获取所述单位圆柱形物料视觉图像的间隔时间t₁小于

需要说明的是，视觉装置的获取单位圆柱形物料视觉图像的间隔时间t₁小于主要是为了使相邻两幅单位圆柱形物料视觉图像具有交叠的部分，通过采用直接合成的方式对相邻两幅单位圆柱形物料视觉图像进行拼接，防止单位圆柱形物料视觉图像在合成时，由于边缘取值过于极限，在拼接时产生过明显的接缝，对圆柱形物料的边缘检测造成影响。

具体的，圆柱形物料作业传送带始终保持匀速v0进行运动，则相邻两幅单位圆柱形物料视觉图像的交叠位置宽度理论上总是相同的，本发明实施例所述的直接拼接方法，在计算机处理的过程中，首先根据圆柱形物料作业传送带的运动速度和视觉装置的单位圆柱形物料视觉图像获取频率，计算相邻两幅单位圆柱形物料视觉图像交叠部分的宽度，得出该相邻两幅单位圆柱形物料视觉图像交叠部分的影像；然后提取交叠部分中相对应的两个像素点颜色信息，然后将该两个像素点颜色信息求平均，并赋值在合成的圆柱形物料视觉图像中。

具体的，以上所述的将该两个像素点颜色信息求平均是根据所述视觉装置的像素点颜色格式决定的，常用的像素点颜色格式为RGB形式，具体的，分别将R、G、B三种颜色具体竖直相加后除以二，即可得到合成的圆柱形物料视觉图像的交叠部分的像素点颜色。

通过该处理方式，可尽量减少单位圆柱形物料视觉图像边缘对合成的圆柱形物料视觉图像的影响，降低圆柱形物料边缘检测的错误率。

S102：基于处理器模块实时计算Delta机器人的工作区域的圆柱形物料视觉图像；

当圆柱形物料作业传送带正常运行时，通过步骤S101可知，任意时刻的圆柱形物料作业传送带表面图像都是可知的。

当需要获取Delta机器人的工作区域的圆柱形物料视觉图像时，基于处理器模块，通过圆柱形物料作业传送带的运动速度，按照步骤S101所述的图片合成方式，获取圆柱形物料作业传送带的瞬间图像，然后按照预设的Delta机器人的工作区域对圆柱形物料视觉图像进行截取，得到Delta机器人的工作区域的圆柱形物料视觉图像，后文简称圆柱形物料视觉图像。

S103：基于处理器模块预处理所述工作区域的圆柱形物料视觉图像，得到圆柱形物料视觉灰度图像；

所述预处理是指将所述圆柱形物料视觉图像转变为数字信号，使每个像素都具备位置和颜色两个属性，这两个属性可构成整数矩阵，被计算机采样和量化处理，这样物理图像就转换成计算机可识别的数字化图像。

由于彩色图像包含的信息量较大，会增加本发明定位方法的工作量，因此，在进行圆柱形物料视觉图像的处理前，需要对彩色的圆柱形物料视觉图像进行灰度化处理，在本发明实施例中，圆柱形物料视觉图像具体的颜色属性即为灰度值。

一般的，彩色图像中，每个像素点都由红(R)绿(G)蓝(B)3个颜色分量组成，且每个分量都有255种值可取，其中0表示最暗黑色，255表示最亮白色。

本发明实施例采用加权平均法作为圆柱形物料视觉图像的预处理方法，该方法结合YUV的颜色空间，其中Y表示图像亮度等级(又称Gray灰阶值)。Y与R、G、B建立对应关系为Gray＝0.11B+0.59G+0.3R，Gray即为用于替换RGB颜色的灰度值。

依次对工作区域的圆柱形物料视觉图像每一个像素点的灰度值计算，得到圆柱形物料视觉灰度图像；

S104：基于处理器模块对所述圆柱形物料视觉灰度图像进行平滑滤波，得到滤波圆柱形物料视觉灰度图像；

在步骤S101至步骤S103中的图像处理环节往往会引入噪声。一方面可能是成像系统、传输过程或记录设备的不完善造成的；另一方面，输入对象未达预期效果也会引入噪声。噪声信号以无用信息的形式，对图像可观测信息进行扰乱。产生的亮暗干扰，对后续的图像特征处理过程亦会有影响。图像滤波可抑制目标图像噪声，同时又能够尽量保留图像的细节特征；去除目标和背景中的噪声影响，同时尽量保证目标的形状、大小和特定的几何结构特征，是图像滤波必须考虑的问题。

本发明所提供的坐标定位方法主要用于获取圆柱形物料特征点坐标，是为了实现机器人的抓取，且对抓取速度有一定的要求。中值滤波虽然在图像处理方面具有较大优势，但其耗时较长。高斯滤波法是线性平滑滤波，具有可控性，且能有效保存物体的图像信息，虽然部分细节会出现模糊，但是对目标物体整体边缘影响不大，故本发明实施例采用高斯滤波对图像进行滤波处理。

图像滤波常用二维零均值离散高斯函数作平滑滤波器。二维高斯函数为，

其中，A是规范化系数，u_x,u_y为半高斯梯度，σ表示高斯曲线的平滑程度。

基于处理器模块对所述圆柱形物料视觉灰度图像进行平滑滤波，得到滤波圆柱形物料视觉灰度图像；一般的，经过滤波的滤波圆柱形物料视觉灰度图像虽然变模糊，但其边缘特征更为明显，噪声图像被圆柱形物料作业传送带的大面积色块抹除，符合本发明实施例所需要的结果需求。

S105：基于处理器模块对所述滤波圆柱形物料视觉灰度图像进行边缘检测，得到圆柱形物料视觉边缘图像；

图像信息有很大一部分都集中于边缘，边缘的确定，对整个图像场景的识别和理解尤为重要。边缘是灰度不断连续的结果，边缘处理就是求出每个像素在其领域内的灰度变化。边缘存在于图像中的不同灰度邻域之间，该变化是通过计算一阶倒数或二阶导数得到的。常见的边缘可分为阶跃型、斜坡型、线状型和屋顶型。最理想的边缘类型是阶跃型，这种边缘最容易识别，但是采样过程会存在一些误差，从而使边缘发生灰度渐变，出现斜坡，成为斜坡型边缘。线状型边缘因其本身就有灰度突变，所以在成像时会出现一条细线；屋顶边缘是中间向两侧渐变，其灰度斜坡改变较为缓慢，因此会呈现粗边缘。

具体的，在本发明实施例中，边缘检测方法主要基于Canny算子。Canny算子检测精度较高，具有平滑作用，去噪能力强，检测效果较好。

具体的，Canny算子边缘检测的步骤如下：

消除噪声：利用高斯平滑滤波器，通过卷积运算对系统进行降噪处理，高斯内核选取为

计算图像的梯度值大小和方向：运用卷积阵列，像素点在x，y方向的梯度值表示为

梯度的幅值的大小和方向可表示为

非极大值抑制：非极大值抑制主要目的剔除不是边缘的因素，留下一部分细线条作为候选的边缘像素；

滞后阈值：滞后阈值由高阈值和低阈值组成，梯度值大于高阈值的部分作为像素边缘保留；梯度值小于低阈值的部分像素直接删除；介于两阈值间且与边缘点邻接的点作为边缘保留，否则删除。

经过该步骤后，处理器模块对所述滤波圆柱形物料视觉灰度图像进行边缘检测，得到圆柱形物料视觉边缘图像，此时，圆柱形物料视觉边缘图像包括有圆柱形物料的轮廓像素点、圆柱形物料的表面内部花纹像素点的坐标以及相对应的颜色信息。

S106：基于处理器模块对圆柱形物料视觉边缘图像进行边缘分离，得到圆柱形物料的实际边缘；

为了取出圆柱形物料表面的内部花纹像素点对圆柱形物料视觉边缘的影响，以提取圆柱形物料的实际边缘轮廓，需要对圆柱形物料表面的内部花纹进行去除。

具体的，现实加工中，圆柱形物料表面的花纹处于图中的涂黑部分，其与圆柱形物料的实际边缘间具有一定的距离，因此，通过判断所有边缘所围成轮廓中的像素点的数量，可分离出圆柱形物料的实际边缘轮廓。

具体的，在圆柱形物料输料前，通过对涂黑区域和圆柱形物料的实际轮廓的计算，设定一像素点阈值，该像素点阈值数量位于涂黑区域的像素点数量与实际轮廓所包围的像素点数量之间；作业时，以遍历的方式，依次计算每一个封闭边缘轮廓所围成的像素点数量；当像素点数量大于所述像素点阈值时，则保留该边缘轮廓；当像素点数量小于所述像素点阈值时，则删除该边缘轮廓，该边缘轮廓的像素点灰度值与圆柱形物料作业传送带表面的灰度值一致。

需要说明的是，一般的，圆柱形物料在圆柱形物料视觉图像中的面积占比小于圆柱形物料作业传送带的面积占比，因此，可通过对像素点求众数的方式，获取圆柱形物料作业传送带的灰度值。

S107：基于处理器模块，等距的从所述圆柱形物料的实际边缘提取偶数个边缘特征点，以求平均数的方式，求出所述圆柱形物料的特征点坐标。

圆柱形物料其在视觉装置中的实际边缘为以圆形，具体的，可能会因抖动等原因产生轻微的变形，如果通过实际边缘的所有像素点信息求圆柱形物料的特征点坐标，计算量过大，不适宜控制机器人的快速动作。

针对圆柱形物料的特点，可通过对所述圆柱形物料的实际边缘等距的提取偶数个边缘特征点，以求平均数的方式，求出所述圆柱形物料的特征点坐标；具体的，边缘特征点的提取数量与特征点坐标的偏差是呈负相关关系的。边缘特征点的提取数量越多，特征点坐标的偏差越小。就实际测试情况而言，当边缘特征点的提取数量为30个时，与基于所有边缘点所求得的特征点坐标相比，计算速度提高了98％，最终求出的特征点坐标偏差范围所形成的圆与圆柱形物料截面面积之比为7％，实际距离偏差为圆柱形物料截面线径的2％，由于机器人的夹取是通过夹取圆柱形物料的外周进行的，因此，该误差不影响机器人的夹取作业。

相应的，本发明实施例还提供了一种视觉圆柱形物料输料系统，包括

圆柱形物料作业传送带：用于驱动圆柱形物料匀速运动；

视觉装置：用于获取单位圆柱形物料视觉图像；

处理器模块：用于对所述单位圆柱形物料视觉图像预处理、平滑滤波、边缘检测、边缘分离，求出特征点坐标。

本发明实施例提供了一种视觉圆柱形物料输料方法及系统，通过对视觉装置获取的多张照片进行拼接和处理，准确的识别托盒的边界特征并求出托盒特征点，具有计算速度快、准确性高等特点。

以上对本发明实施例所提供的一种视觉圆柱形物料输料方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种视觉圆柱形物料输料方法，其特征在于，所述视觉圆柱形物料输料方法包括以下步骤：

基于视觉装置获取托盒作业传送带的单位托盒视觉图像并基于处理器模块合成所述单位托盒视觉图像；

基于处理器模块实时计算Delta机器人的工作区域的托盒视觉图像；

基于处理器模块预处理所述工作区域的托盒视觉图像，得到托盒视觉灰度图像；

基于处理器模块对所述托盒视觉灰度图像进行平滑滤波，得到滤波托盒视觉灰度图像；

基于处理器模块对所述滤波托盒视觉灰度图像进行边缘检测，得到托盒视觉边缘图像；

基于处理器模块对圆柱形物料视觉边缘图像进行边缘分离，得到圆柱形物料的实际边缘；

基于处理器模块，等距的从所述圆柱形物料的实际边缘提取偶数个边缘特征点，以求平均数的方式，求出所述圆柱形物料的特征点坐标。

2.如权利要求1所述的视觉圆柱形物料输料方法，其特征在于，所述托盒作业传送带的运动速度为v₀，所述视觉装置获取的单位托盒视觉图像宽度为l，所述视觉装置获取所述单位托盒视觉图像的间隔时间t₁小于

3.如权利要求2所述的视觉圆柱形物料输料方法，其特征在于，所述基于处理器模块合成所述单位托盒视觉图像包括以下步骤：

基于所述单位托盒视觉图像的间隔时间t₁和所述托盒作业传送带的运动速度v₀，得出该相邻两幅单位托盒视觉图像交叠部分的影像；

将所述相邻两幅单位托盒视觉图像交叠部分的影像对应的像素点颜色信息取平均值；

将所述平均值作为所述单位托盒视觉图像对应的像素点颜色。

4.如权利要求3所述的视觉圆柱形物料输料方法，其特征在于，所述托盒视觉图像和托盒视觉灰度图像对应像素点的转换公式为：

Gray＝0.11B+0.59G+0.3R

其中，Gray为所述托盒视觉灰度图像像素点的灰度值，R、G、B为所述托盒视觉图像对应像素点的颜色值。

5.如权利要求4所述的视觉圆柱形物料输料方法，其特征在于，所述基于处理器模块对所述托盒视觉灰度图像进行平滑滤波，得到滤波托盒视觉灰度图像包括以下步骤：

以二维零均值离散高斯函数作平滑滤波器，对所述托盒视觉灰度图像进行平滑滤波，得到滤波托盒视觉灰度图像。

6.如权利要求5所述的视觉圆柱形物料输料方法，其特征在于，所述基于处理器模块对所述滤波托盒视觉灰度图像进行边缘检测，得到托盒视觉边缘图像包括以下步骤：

基于Canny算子对所述滤波托盒视觉灰度图像进行边缘检测，得到托盒视觉边缘图像。

7.如权利要求6所述的视觉圆柱形物料输料方法，其特征在于，所述基于处理器模块对圆柱形物料视觉边缘图像进行边缘分离，得到圆柱形物料的实际边缘包括以下步骤：

所述圆柱形物料顶面具有花纹区域，所述花纹区域面积小于所述圆柱形物料截面面积；

设定一像素点阈值，像素点阈值数量位于花纹区域的像素点数量与圆柱形物料截面的像素点数量之间；

基于处理器模块，以遍历的方式，依次计算所述圆柱形物料视觉边缘图像中每一个封闭边缘轮廓所围成的像素点数量；

当像素点数量大于所述像素点阈值时，保留对应的边缘轮廓；当像素点数量小于所述像素点阈值时，则删除对应的边缘轮廓。

8.如权利要求7所述的视觉圆柱形物料输料方法，其特征在于，所述偶数个边缘特征点数量为30个。

9.一种视觉圆柱形物料输料系统，其特征在于，所述视觉圆柱形物料输料系统包括

托盒作业传送带：用于驱动托盒匀速运动；

视觉装置：用于获取单位托盒视觉图像；

处理器模块：用于对所述单位托盒视觉图像预处理、平滑滤波、边缘检测、相似匹配，求出特征点坐标。