CN111540012B - 一种基于机器视觉的光照鲁棒的平面上物体识别定位方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，包括模板生成和实时检测两个部分：模板生成是由同类物体中选取其中一个作为该类物体的标准模型，进行模板创建；实时检测是通过事先创建好的模板对其他同类物体进行识别定位。本发明可以对传送带平面上不规则形状的物体进行识别定位，可以精确计算出物体在平面上的位姿，可以适应频繁更换作业目标种类的任务，扩展了机器人在工业生产领域的适用范围，对提高工业生产自动化柔性具有十分重要意义。

Description

一种基于机器视觉的光照鲁棒的平面上物体识别定位方法

技术领域

本发明属于机器视觉领域，具体的说是应用机器视觉的手段，对工业传送带上物体识别定位的算法。

背景技术

随着科学技术的发展和工业自动化水平的提高，机器人在工业领域得到了广泛的应用。机器人作为工业生产系统中的一个标准部件，通过网络或者工业总线将生产线上各种设备的控制系统有效连接，形成一个综合控制系统，已成为现代生产装备的发展趋势。机器人能够有效作业的前提是要精确已知待作业目标在空间中的位置和姿态，从而根据目标的位姿规划作业运动路径。传统机器人通过利用机械工具将作业目标重复的固定在相同的位置和姿态，以“示教——再现”的方式达到这一目的，即先由操作人员引导机器人进行示教，或通过离线软件编程的方式进行示教，然后再由机器人再现示教内容。这种作业目标的机械定位方式存在诸多缺点：(1)需要专门的夹具，必需随着作业目标的改变而变化；(2)接触式定位，易损伤作业目标；(3)适用的作业目标具有一定的局限性，比如很难用于柔性目标；(4)定位过程耗时长等等。

机器视觉的发展为机器人作业目标的识别定位提供了一种新的方法，其一般性原理是首先通过视觉传感器获取目标在空间中的信息；然后通过一系列算法识别目标并计算出目标在空间中的位置和姿态；进而结合离线标定模型计算出目标在机器人坐标系下的位置和姿态；最后通过闭环控制，引导机器人进行轨迹修整，完成预定作业。相比机械定位，视觉定位技术具有诸多优点：(1)柔性好，适用于多种作业目标；(2)非接触测量，对目标无损伤；(3)可以实时测量，反馈给机器人用于闭环控制等等。因此，视觉定位是机器人的一项关键单元技术，在机器人应用中具有举足轻重的地位。

本发明正是基于机器视觉技术，对传送带上机器人待作业的物体进行识别定位的一种方法。相比于已有的视觉定位算法，该方法灵活性和稳定性都有较大提升。可以根据生产的不同种类目标，快速切换作业引导机器人进行路径规划，完成生产任务，对工业现场环境光照变化具有较强的鲁棒性，是机器人在工业生产过程中至关重要的一环。多年来，中国科学院沈阳自动化所结合实际工程应用背景，在光电信息处理和机器人智能制造领域，取得了一系列研究成果。本发明是在已有的科研成果基础上，大胆创新，经过反复验证，提出的一种全新的物体识别定位方法，在实际的工业生产中，具有重要意义。

发明内容

针对上述技术不足，本发明的目的提供一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，其特征在于能够将传送带上的待作业目标逐一识别定位，计算出目标在传送带平面上3个自由度(x，y，Rz)的位置和姿态，引导机器人完成作业路径规划，完成对目标作业任务。

本发明解决其技术问题所采用的技术方案是：一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，包括以下步骤：

在同类物体中选取一个作为该类物体的模型，进行模板创建；

通过创建的模板对同类物体进行识别定位：

通过相机获取该类待检测物体图像，对图像进行均值滤波以去除噪声点；

通过检测物体图像金字塔得到第l层像素点处的灰度值；

在检测图像金字塔最顶层中找到与模板金字塔最顶层旋转变换后最匹配的位置，记录最匹配位置坐标与模板金字塔最顶层旋转变换的角度；

在检测图像金字塔中根据第l层候选目标点找到候选目标点在第l-1层的对应点，以对应点附近设定区域作为候选区域，用记录的旋转角度附近设定范围内的模板金字塔第l-1层模板、在检测图像金字塔第l-1层寻找最佳匹配位置作为第l-1层的候选目标点；从顶层的下一层依次遍历所有层，得到图像金字塔最底层的候选目标点，得到其位置和姿态完成目标识别。

所述模板生成包括以下步骤：

模板图像获取与预处理：通过相机获取该类物体的模型图像，在模型图像中选取物体所在区域作为模板，对模板进行均值滤波以去除噪声；

创建模板金字塔。

模板金字塔或图像金字塔的创建，包括以下步骤：

对于滤波后的模板或待检测物体图像的每层金字塔，将相邻4个像素作为一组，依次遍历各组；对于每组，将相邻4个像素的像素值按大小进行排序，选取数值位于中间的两个像素值d₁、d₂，计算金字塔上一层对应位置的像素值；所述各组像素不重叠。

对于模板金字塔的创建，还包括以下步骤：

计算模板金字塔的每层模板形心及离散角度步长；

对每层模板进行旋转变换获得全角度模板金字塔。

所述计算金字塔上一层对应位置的像素值，通过下式实现：

式中，T_l(x,y)表示金字塔第l层图像中(x,y)像素点处的灰度值，d₁、d₂为T_l(2x,2y)、T_l(2x+1,2y)、T_l(2x,2y+1)、T_l(2x+1,2y+1)中灰度值从小到大排序位于中间两个灰度值。

所述计算模板金字塔每层模板形心及离散角度步长，具体如下：

模板形心为模板中心，第l层形心表达式如下：

式中，n为第l层模板点数量，为第l层模板点像素i坐标；

第l层模板半径r^l表达式如下：

第l层模板离散角度步长Δθ^l表达式如下：

所述对每层模板进行旋转变换获得全角度模板金字塔，具体为：对于第l层上模板点旋转任意角度为θ后，得到的像素点坐标/>为：

为第l层形心。

所述最匹配位置通过以下表达式得到：

其中，n第l层模板点数量，为第l层模板点i像素坐标，I(x^l,y^l)为第l层检测图像点像素坐标，/>和/>计算表达式为：

T表示模板图像、I表示检测图像；

将D^l(x^l,y^l)＜ε的第l层(x^l,y^l)位置作为候选目标点，并记录模板旋转角度，匹配度D^l(x^l,y^l)值最小时的候选目标点为最匹配位置；ε为阈值，根据实际需要进行设定。

对最底层D^l(x^l,y^l)＜ε所有点进行从小到大排序，根据所需的检测目标数量N，排在前N个的目标即为检测到的目标点位置和姿态。

本发明具有以下有益效果及优点：

1、本发明可以对传送带平面上不规则形状的物体进行识别定位，可以精确计算出物体在平面上的位姿，可以适应频繁更换作业目标种类的任务，扩展了机器人在工业生产领域的适用范围，对提高工业生产自动化柔性具有十分重要意义。

2、本发明对工业现场光照具有一定的鲁棒性，不会因环境光照的整体亮暗变化影响对目标的检测。

3、算法计算复杂度较低，算法内部对检测时间进行了一定优化，可以满足工业现场生产节拍需求。

附图说明

图1a为待检测图像；

图1b为检测目标标准模型图像；

图2为创建图像金字塔算法示意图；

图3为模板图像金字塔示意图；

图4为图像金字塔形心和半径示意图；

图5为模板角度步长计算示意图；

图6为全角度金字塔模板；

图7待检测图像金字塔示意图；

图8金字塔顶层匹配计算过程示意图；

图9金字塔标准层匹配计算过程示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。

本发明面向实际工程应用，为了解决机器人在工业领域应用过程中，传送带上物体识别定位问题，提出了一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，引导机器人完成作业路径规划，从而完成作业任务。该方法使用灵活便捷，可以适应不规则形状物体，对环境光照变化鲁棒性较强，可以极大增加机器人在工业领域的适用性和易用性，对工业智能化生产具有十分重要的意义。

本发明是基于机器视觉技术，对工业传送带上物体进行识别定位的一种方法。应用于机器人在工业生产过程中，用来引导机器人对传送带上的物体进行作业，从而扩大机器人在工业生产领域的应用范围，提高机器人使用的适用性和易用性。本发明包括模板生成和实时检测两个部分，可以根据生产的不同种类目标，快速切换作业引导机器人进行路径规划，完成生产任务，具有很强的灵活性和稳定性。

基于机器视觉的光照鲁棒的平面上物体识别定位方法，包括模板生成和实时检测两个部分：模板生成是由同类物体中选取其中一个作为该类物体的标准模型，进行模板创建；实时检测是通过事先创建好的模板对其他同类物体进行识别定位。

模板生成包括以下步骤：1)模板图像获取与预处理。2)创建模板金字塔。3)计算模板金字塔每层模板形心及离散角度步长。4)对每层模板进行旋转变换获得全角度模板金字塔。

实时检测包括以下步骤：1)实时待检测图像获取与预处理。2)创建检测图像金字塔。3)检测图像金字塔最顶层匹配。4)检测图像金字塔除顶层外其他标准层匹配。

如图1所示，图1a表示待检测图像，图1b为该类物理的标准模型，基于机器视觉的光照鲁棒的平面上物体识别定位方法，其作用是从场景中找到已知物体，即从图1a中找到与图1b所示同类目标，算法包括模板生成和实时检测两个部分：

模板生成：同类物体中选取其中一个作为该类物体的标准模型，进行模板创建。模板创建步骤为：

第一步：模板图像获取与预处理。通过相机获取该类物体的标准模型图像，在图像中选取物体所在区域作为模板，对模板进行均值滤波，去除噪声点。

第二步：创建模板金字塔。如图2所示，将模板相邻4个像素的像素值按大小进行排序，选取数值位于中间的两个像素值d₁、d₂，计算金字塔上一层对应位置的像素值，表达式如下：

式中，T_l(x,y)表示模板金字塔第l层图像中(x,y)像素点处的灰度值，d₁、d₂为T_l(2x,2y)、T_l(2x+1,2y)、T_l(2x,2y+1)、T_l(2x+1,2y+1)中灰度值从小到大排序位于中间两个灰度值。以3层金字塔为例，如图3所示。

第三步：计算模板金字塔每层模板形心及离散角度步长。如图4所示，模板形心为模板中心，第l层形心表达式如下：

式中，n为第l层模板点数量，为第l层模板点像素坐标；

第l层模板半径r^l表达式如下：

如图5所示，第l层模板离散角度步长Δθ^l表达式如下：

其中，Δθ^l表示第l层模板离散角度步长。

第四步：对每层模板进行旋转变换获得全角度模板金字塔。对于第l层上模板点旋转任意角度为θ后，得到的像素点坐标/>为：

如图6所示，每层金字塔以离散角度步长为单位旋转角度，获得全角度模板。

实时检测：通过事先创建好的模板对其他同类物体进行识别定位，实时检测的步骤为：

第一步：实时待检测图像获取与预处理。通过相机获取该类待检测物体图像，对图像进行均值滤波，去除噪声点。

第二步：创建检测图像金字塔。如图7所示，检测图像金字塔创建方法与模板金字塔创建方法相同，通过计算得到检测图像金字塔第l层(x,y)像素点处的灰度值为I_l(x,y)。

第三步：在检测图像金字塔最顶层中找到与模板金字塔最顶层旋转变换后最匹配的位置，如图8所示，记录最匹配位置坐标与模板金字塔最顶层旋转变换的角度。计算匹配表达式为：

其中，n第l层模板点数量，和/>计算表达式为：

将D^l(x^l,y^l)＜ε的位置与模板旋转角度记录作为候选目标点，D^l(x^l,y^l)值越小，模板与目标的匹配度越高。

第四步：如图9所示，在检测图像金字塔中下一层找到上一层候选目标点的对应点，以对应点附近一定区域作为候选区域，用记录的旋转角度附近一定范围内的模板金字塔下一层模板在检测图像金字塔下一层进行寻找最佳匹配位置，以此层层向下搜索目标，直到检测图像金字塔最底层。对最底层D^l(x^l,y^l)＜ε所有点进行从小到大排序，根据所需的检测目标数量N，排在前N个的目标即为检测到的目标点位置和姿态。

Claims (6)

1.一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，其特征在于包括以下步骤：

在同类物体中选取一个作为该类物体的模型，进行模板创建；

模板生成包括以下步骤：

模板图像获取与预处理：通过相机获取该类物体的模型图像，在模型图像中选取物体所在区域作为模板，对模板进行均值滤波以去除噪声；

创建模板金字塔；

模板金字塔或图像金字塔的创建，包括以下步骤：

对于滤波后的模板或待检测物体图像的每层金字塔，将相邻4个像素作为一组，依次遍历各组；对于每组，将相邻4个像素的像素值按大小进行排序，选取数值位于中间的两个像素值d₁、d₂，计算金字塔上一层对应位置的像素值；所述各组像素不重叠；

通过创建的模板对同类物体进行识别定位：

通过相机获取该类待检测物体图像，对图像进行均值滤波以去除噪声点；

通过检测物体图像金字塔得到第l层像素点处的灰度值；

在检测图像金字塔最顶层中找到与模板金字塔最顶层旋转变换后最匹配的位置，记录最匹配位置坐标与模板金字塔最顶层旋转变换的角度；

在检测图像金字塔中根据第l层候选目标点找到候选目标点在第l-1层的对应点，以对应点附近设定区域作为候选区域，用记录的旋转角度附近设定范围内的模板金字塔第l-1层模板、在检测图像金字塔第l-1层寻找最佳匹配位置作为第l-1层的候选目标点；从顶层的下一层依次遍历所有层，得到图像金字塔最底层的候选目标点，得到其位置和姿态完成目标识别；

所述最佳匹配位置通过以下表达式得到：

其中，n第l层模板点数量，为第l层模板点i像素坐标，I(x^l,y^l)为第l层检测图像点像素坐标，/>和/>计算表达式为：

T表示模板图像、I表示检测图像；

将D^l(x^l,y^l)＜ε的第l层(x^l,y^l)位置作为候选目标点，并记录模板旋转角度，匹配度D^l(x^l,y^l)值最小时的候选目标点为最匹配位置；ε为阈值，根据实际需要进行设定。

2.根据权利要求1所述的一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，其特征在于，对于模板金字塔的创建，还包括以下步骤：

计算模板金字塔的每层模板形心及离散角度步长；

对每层模板进行旋转变换获得全角度模板金字塔。

3.根据权利要求1所述的一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，其特征在于：所述计算金字塔上一层对应位置的像素值，通过下式实现：

式中，T_l(x,y)表示金字塔第l层图像中(x,y)像素点处的灰度值，d₁、d₂为T_l(2x,2y)、T_l(2x+1,2y)、T_l(2x,2y+1)、T_l(2x+1,2y+1)中灰度值从小到大排序位于中间两个灰度值。

4.根据权利要求2所述的一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，其特征在于，所述计算模板金字塔每层模板形心及离散角度步长，具体如下：

模板形心为模板中心，第l层形心表达式如下：

式中，n为第l层模板点数量，为第l层模板点像素i坐标；

第l层模板半径r^l表达式如下：

第l层模板离散角度步长Δθ^l表达式如下：

5.根据权利要求2所述的一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，其特征在于：所述对每层模板进行旋转变换获得全角度模板金字塔，具体为：对于第l层上模板点旋转任意角度为θ后，得到的像素点坐标/>为：

为第l层形心。

6.根据权利要求1所述的一种基于机器视觉的光照鲁棒的平面上物体识别定位方法，其特征在于：对最底层D^l(x^l,y^l)＜ε所有点进行从小到大排序，根据所需的检测目标数量N，排在前N个的目标即为检测到的目标点位置和姿态。