CN108573221A - 一种基于视觉的机器人目标零件显著性检测方法 - Google Patents

Abstract

一种基于视觉的机器人目标零件显著性检测方法，属于工业机器人目标零件检测识别的技术领域，包括以下步骤：首先对双目视觉系统进行标定，然后对原始图像进行区域分割，以区域为单位进行图像处理，利用双目视觉模型进行深度感知；再将感知深度与颜色特征融合聚类结果进行协同处理，获得区域级的深度显著性；最后利用全局显著性与深度显著性的加权融合结果进行背景抑制，完成目标零件检测。本发明检测图像效果边缘更清晰，背景剔除更完全，目标形态分割更完整。在机器人目标零件检测方面有很好的效果，可以使机器人更加智能化，可应用于机器人智能分拣系统。

Description

一种基于视觉的机器人目标零件显著性检测方法

技术领域

本发明属于工业机器人目标零件检测识别的技术领域，尤其涉及一种基于视觉的机器人目标零件检测识别方法。

背景技术

机器视觉技术是20世纪60年代发展起来的，1961年美国麻省理工学院林肯实验室采用摄像头作为计算机的输入，把物体识别和图像处理方法引入到机器人应用中，从此开始了机器视觉的研究。在复杂背景下要检测出目标零件，由于要检测的目标零件与四周生产环境区别不大，如果利用传统的阈值分割方法，很难从复杂的背景中提取出目标零件显著性，现在常用的识别检测方法主要分为两大类：第一类是先建立目标模板，通过模板匹配的方式检测出目标零件；第二类方法是先进行图像预处理，得到待检测目标的相关特征，然后对特征领域内进行后续分析检测得到目标。模板匹配主要是通过在图像中寻找与目标模板高度相似的完成目标识别，有基于边缘点、基于灰度值与基于形状等几种方式，为了提高匹配速度，一些学者提出乱序匹配、限制最大匹配误差等匹配策略，能大幅减少运算量，但在图像中存在较多目标时，实时性较差。而基于特征的识别主要是对预处理后的局部感兴趣区域进行分析，通过采用不同的描述特征来识别出目标，但这些方法的针对性较强，需要根据实际的目标选择描述特征。

图像处理算法是机器视觉的核心内容，为了实现对目标零件显著性的检测，需要完成相机标定以及手眼标定、特征识别、图像分割以及分类算法。相机的标定是目标零件识别与定位中关键的一步，用来完成图像中位置关系到世界坐标系中位置关系的相互转换，决定了后续的重建与定位精度，传统的标定方法主要有线性标定法和非线性标定法两类。立体视觉技术是一种有着广泛应用前景的机器视觉技术，目前已经应用在测距、三维建模、检测等领域中。具有识别精度高、速度快等优点，能够实时获取目标零件的深度信息，再通过目标识别技术就可以得到目标的位姿信息，利用这项技术可以实现对目标零件显著性的准确检测，使机器人更加智能化。

随着人工智能技术的发展，机器人代替人力进行作业已经广泛应用于工业环境中，也成为传统制造业向现代化制造业转型的基本标志和技术。通过机器视觉进行零件识别和定位，并引导工业机器人的机械手抓取和装配零件是工业机器人应用领域中的关键问题。

随着工业技术的进步和制造工艺的提高，人们对生产过程中的自动化程度要求越来越高，传统的人工操作和简单的机械操作已不能满足生产线自动化的需求。机器人技术集成了机械、传感器、人工智能以及自动控制等各种先进技术，不仅可以增强生产过程的智能化，还能完成特定情况下人工无法完成的操作。将其应用到实际生产中，产品的质量和效率都有了明显的提高，而且在减少设备损耗、降低工人劳动强度、改善生产条件等方面也有着重大的促进意义。

在工业应用中大部分机器人采用示教编程的方式运行，前期需要进行大量的调试，而且机器人的作业位置基本都是固定的，虽然速度较快，但如果目标零件的位置发生变动就会造成机器人检测不到目标零件，因此导致作业失败，效率较低。近些年来，将机器视觉和机器人技术结合应用在生产中已经成为一种趋势，机器视觉能够作为机器人的“眼睛”，采集外界环境信息并对其进行处理整合，引导机器人完成作业。目前已经广泛的应用在工件分拣、缺陷检测、装配、装配等各个领域。但在这些领域中，工件是位于固定平面上且整齐摆放的，但是在目标零件的位置和姿态发生了改变的情况下，如果工业机器人还是按照预先设定的程序去识别、定位、抓取、安装目标零件的话，有可能不但不能完成任务，还会发生意想不到的结果。因此，为了提高机器人的工作效率和自适应能力，需要机器人对目标零件进行高效率的识别检测，以利于工业机器人接下来对目标零件进行其他操作。另外，对于不同种类和外形尺寸的零件来说，需要采用机器视觉技术和方法快速地完成目标零件识别，从而使机器人具有更好的灵活性、鲁棒性、高效率等。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种灵活性、鲁棒性、高效率的基于视觉的机器人目标零件显著性检测方法。本发明的技术方案如下：

一种基于视觉的机器人目标零件显著性检测方法，其包括以下步骤：

首先对双目视觉系统进行标定，然后对原始图像进行区域分割，以区域为单位进行图像处理，利用双目视觉模型进行深度感知；再将感知深度与颜色特征融合聚类结果进行协同处理，获得区域级的深度显著性；最后利用全局显著性与深度显著性的加权融合结果进行背景抑制，完成目标零件检测。

进一步的，所述双目视觉系统进行标定具体包括：双目视觉系统固定在机器人末端，对双目视觉系统进行内外参数标定，标定主要是完成图像中的位置与实际的世界坐标系中位置的对应关系，通过标定而知道相机内部的参数；手眼关系的标定主要是完成相机成像模型与机器人末端执行器之间的关系。

进一步的，所述对输入的原始图像进行区域分割包括：选择基于简单线性迭代聚类SLIC的方法，先对图像进行过分割，得到超像素区域，然后利用颜色的相似性进行区域合并，最后得到区域分割图。

进一步的，所述基于简单线性迭代聚类SLIC的方法在LAB颜色空间采用5维距离计算：

上式中：l_k，l_i，a_k，a_i，b_k，b_i分别为(x_i,y_i)，(x_k,y_k)两点在LAB颜色空间的3 个分量，d_lab是两点在LAB颜色空间的距离，d_xy为两点间的平面距离，D_s为lab距离与xy距离平面距离之和，m为超像素的紧密度调节参数.S为超像素间隔。

进一步的，所述图像进行过分割还包括采用并进行算法gSLIC进行处理的步骤。

进一步的，所述利用双目视觉模型目标零件进行深度信息的感知，再将感知深度与颜色特征融合聚类结果进行协同处理，获得区域级的深度显著性；具体包括：利用双目视觉系统获取视差，利用视差的计算得到物体的深度信息，把不含深度信息或视差很小的区域去除，保留前景与背景有明显差别的区域，作为显著性计算的待处理区，通过左右视图相减得到差异图：

上式中I^l(x,y)，I^r(x,y)分别为左视图和右视图，τ为阈值，Δ(x,y)为左右视图相减的差异图；差异图Δ(x,y)中大于0的狭长区域的宽度表示分割图中的不同区域在左右视图中的移动位置，即视差大小，因此得到Δ(x,y)中大于0的每个区域的宽度就得到了各个区域的深度信息，深度显著性为 S_di(x,y)＝|D_μ-D_i(x,y)|,上式中：D_μ为所有区域的视差均值，D_i(x,y)为每个区域的视差值。

进一步的，所述利用全局显著信息对包含承载目标零件的平台在内的其他背景信息进行抑制，去除距离相机过近的非目标区域信息，利用FT算法颜色特征的中央-周边算子来得到显著图

上式中，是图像L、a、b三个分量的算术平均值，I_whc(x,y)是对原图像进行的高斯模糊后的平滑图像，|| ||为欧式距离；通过将S_di(x,y)与S_FT(x,y)融合，最后通过背景抑制突出目标区域，获得最终的显著结果。

进一步的，所述颜色显著性采用基于全局对比度的方法，计算HSV空间的H 或V分量，每一像素点的显著性为：

S_c(x,y)＝|I_μ-I_c(x,y)|；c∈H,V.

上式中：I_μ为所有像素点的均值，I_c(x,y)为像素点的值，用H或V分量表示，c 表示其中图像中任意像素点。计算每一区域的显著性，作为该区域所有像素点的显著性。

进一步的，所述将深度显著图与基于颜色的显著性图进行合成，利用信息熵分别计算特征组合显著图与深度显著性信息量，分别作为2个通道的权值，将二者合成，得到最终的显著性图；

基于颜色的显著性信息量为

上式中：为区域i的颜色显著性值之和与所有区域颜色显著性之和的比；深度显著性信息量为

上式中：为区域i深度显著值之和与所有区域深度显著性之和的比；

将二者合成

得到显著性图。

本发明的优点及有益效果如下：

本发明受启发于人类视觉系统能快速而准确地找出复杂场景中最令人感兴趣的区域，基于视觉的目标零件显著性检测技术通过模拟人类视觉注意力机制而自动检测场景中的显著目标，其在计算机视觉领域目标智能检测方面具有广泛的应用价值。

目前现有的目标零件显著性检测方法有些只考虑图像本身的特征去寻找图像目标区域和背景区域存在的差异性，以此来辨别目标零件的位置和背景区域。还有利用马尔科夫链来处理目标零件显著性图，寻找中央显著区和周围背景区的相互之间影响关系。也还有利用幅度谱和滤波器的卷积来实现冗余信息最终寻找目标零件显著区域的方法。再者有关注局部对比度和全局对比度等各类方法。虽然这些方法都在目标零件显著性检测方面有一定的效果，但是检测效果在边缘分割、背景剔除、目标形态提取方面差强人意，有一定局限性。而且大多数都是把图像特征以单独像素点的形式进行处理，这些都不能满足现状。

本发明提出的基于视觉的机器人目标零件检测方法，是基于超像素分割及深度特性定位的目标零件显著性检测方法，解决了传统的目标零件显著性检测效果不理想的问题，利用颜色相似性迭代的超像素分割，把图像的处理单位由单独像素点上升到区域级别；充分考虑了颜色特征和深度特征，结合人眼更关心中心而忽视周围背景的特性、显著性图像所在区域的特征相似性及相较于全局特征的独特性的先验知识，生成输入图像的基于颜色特征的目标零件显著图和深度显著图，对其进行融合和边界处理。本发明检测图像效果边缘更清晰，背景剔除更完全，目标形态分割更完整。在机器人目标零件检测方面有很好的效果，可以使机器人更加智能化，可应用于机器人智能分拣系统。

附图说明

图1是本发明提供优选实施例基于视觉的机器人目标零件显著性检测方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

现有的关于目标零件的检测方法有些仅仅考虑图像本身的特征去寻找图像目标区域和背景区域存在的差异性，以此来区分目标位置和背景区域。还有利用马尔科夫链来处理显著图，寻找中央显著区和周围背景区的相互之间影响关系。也还有利用幅度谱和滤波器的卷积来实现冗余信息最终寻找目标零件显著区域的方法。虽然这些方法都在检测目标零件显著性方面有一定的效果，但是其检测效果在边缘分割、背景剔除、目标形态提取方面差强人意，有一定的局限性。

针对现有技术的这些缺陷，经过探讨与创新，本发明提出一种基于视觉的机器人目标零件检测方法，以超像素分割及深度特征定位为基础，包括有如下步骤：

如图1所示，步骤(1)、本发明首先需要对视觉系统进行标定，标定主要是完成图像中的位置与实际的世界坐标系中位置的对应关系，通过标定而知道相机内部的参数。本发明中双目系统固定在机器人末端(eye-in-hand构型)，为引导机器人完成目标零件检测的任务，需要知道相机与机器人坐标系之间的关系，手眼关系的标定主要是完成相机成像模型与机器人末端执行器之间的关系。

步骤(2)、本发明进行图像处理的时候以区域为单位，所以要对原始图像进行区域分割。超像素可以将输入的原始图像快速分割成具有一定语义的子区域，有利于局部特征的提取与结构信息的表达。考虑到快速性与分割性能，本发明选择基于简单线性迭代聚类(SLIC)方法。先要对图像进行过分割，得到超像素区域，然后利用颜色的相似性进行区域合并，最后得到区域分割图；

在LAB颜色空间采用5维距离计算：

上式中：l_k，l_i，a_k，a_i，b_k，b_i分别为(x_i,y_i)，(x_k,y_k)两点在LAB颜色空间的3 个分量，d_lab是两点在LAB颜色空间的距离，d_xy为两点间的平面距离，D_s为lab距离与xy距离平面距离之和。m为超像素的紧密度调节参数.S为超像素间隔。在实际计算中可以采用并进行算法gSLIC，可以大幅度提高效率。

步骤(3)、目标零件深度信息的计算，本发明利用双目视觉系统能够获取视差，利用视差的计算得到物体的深度信息，一般无穷远处的物体或大规模的单色背景不会产生视差，把不含深度信息或视差很小的区域去除可以剔除大量冗余信息，这样保留前景与背景有明显差别的区域，作为显著性计算的待处理区，通过左右视图相减得到差异图：

上式中I^l(x,y)，I^r(x,y)分别为左视图和右视图，τ为阈值，Δ(x,y)为左右视图相减的差异图；

差异图Δ(x,y)中大于0的狭长区域的宽度表示分割图中的不同区域在左右视图中的移动位置，即视差大小，因此得到Δ(x,y)中大于0的每个区域的宽度就得到了各个区域的深度信息，深度显著性为

上式中：D_μ为所有区域的视差均值，D_i(x,y)为每个区域的视差值。

进一步，由于根据视差信息获取的深度显著区域也可能包含承载目标零件的平台等其他背景信息，本发明利用全局显著信息对该类背景进行抑制，去除距离相机过近的非目标区域信息，利用FT(Frequency-tuned salient region detdction)算法能有效检测出显著目标区域，弱化背景区域，很好地弥补了深度显著检测的缺陷；

FT算法利用颜色特征的中央-周边算子来得到显著图

上式中，是图像L、a、b三个分量的算术平均值，I_whc(x,y)是对原图像进行的高斯模糊后的平滑图像，|| ||为欧式距离。

通过将S_di(x,y)与S_FT(x,y)融合，全局显著性有效弥补了深度显著性造成的误检情况，降低了近景部分的显著性，最后通过背景抑制突出目标区域，获得最终的显著结果。

步骤(4)、基于颜色特征的显著图生成，颜色显著性采用HSV(Hue、Saturation、Value)空间，HSV是一种将RGB色彩空间中的点在倒圆锥体中的表示方法，HSV 即色相(Hue)、饱和度(Saturation)、明度(Value)，色相是色彩的基本属性，饱和度是指色彩的纯度，越高色彩越纯，低则逐渐变灰，明度表示颜色明亮的程度；

颜色显著性采用基于全局对比度的方法，计算HSV空间的H或V分量，每一像素点的显著性为：

S_c(x,y)＝|I_μ-I_c(x,y)|；c∈H,V.

上式中：I_μ为所有像素点的均值，I_c(x,y)为像素点的值，用H或V分量表示。本发明计算每一区域的显著性，作为该区域所有像素点的显著性。

步骤(5)、将步骤S3得到的深度显著图与步骤4基于颜色的显著性图进行合成，利用信息熵分别计算特征组合显著图与深度显著性信息量，分别作为2个通道的权值，将二者合成，得到最终的显著性图；

基于颜色的显著性信息量为

上式中：为区域i的颜色显著性值之和与所有区域颜色显著性之和的比；

深度显著性信息量为

上式中：为区域i深度显著值之和与所有区域深度显著性之和的比；

将二者合成

得到显著性图。

本发明的方法利用经过标定的双目视觉，充分考虑到颜色特征和深度特征，同时充分考虑更关心中心而忽视周围背景、目标零件所在区域的特征相似性、相较于全局特征的独特性等先验知识；进而实现目标零件的显著性检测，是的机器人更加具有逻辑性，更加人工智能化。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于视觉的机器人目标零件显著性检测方法，其特征在于，包括以下步骤：

首先对双目视觉系统进行标定，然后对原始图像进行区域分割，以区域为单位进行图像处理，利用双目视觉模型进行深度感知；再将感知深度与颜色特征融合聚类结果进行协同处理，获得区域级的深度显著性；最后利用全局显著性与深度显著性的加权融合结果进行背景抑制，完成目标零件检测。

2.根据权利要求1所述的基于视觉的机器人目标零件显著性检测方法，其特征在于，所述双目视觉系统进行标定具体包括：双目视觉系统固定在机器人末端，对视觉系统进行标定，标定主要是完成图像中的位置与实际的世界坐标系中位置的对应关系，通过标定而知道相机内部的参数；手眼关系的标定主要是完成相机成像模型与机器人末端执行器之间的关系。

3.根据权利要求1所述的基于视觉的机器人目标零件显著性检测方法，其特征在于，所述对输入的原始图像进行区域分割包括：选择基于简单线性迭代聚类SLIC的方法，先对图像进行过分割，得到超像素区域，然后利用颜色的相似性进行区域合并，最后得到区域分割图。

4.根据权利要求3所述的基于视觉的机器人目标零件显著性检测方法，其特征在于，所述基于简单线性迭代聚类SLIC的方法在LAB颜色空间采用5维距离计算：

上式中：l_k，l_i，a_k，a_i，b_k，b_i分别为(x_i,y_i)，(x_k,y_k)两点在LAB颜色空间的3个分量，d_lab是两点在LAB颜色空间的距离，d_xy为两点间的平面距离，D_s为lab距离与xy距离平面距离之和，m为超像素的紧密度调节参数.S为超像素间隔。

5.根据权利要求3或4所述的基于视觉的机器人目标零件显著性检测方法，其特征在于，所述图像进行过分割还包括采用并进行算法gSLIC进行处理的步骤。

6.根据权利要求3或4所述的基于视觉的机器人目标零件显著性检测方法，其特征在于，所述利用双目视觉模型目标零件进行深度信息的感知，再将感知深度与颜色特征融合聚类结果进行协同处理，获得区域级的深度显著性；具体包括：利用双目视觉系统获取视差，利用视差的计算得到物体的深度信息，把不含深度信息或视差很小的区域去除，保留前景与背景有明显差别的区域，作为显著性计算的待处理区，通过左右视图相减得到差异图：

上式中I^l(x,y)，I^r(x,y)分别为左视图和右视图，τ为阈值，Δ(x,y)为左右视图相减的差异图；差异图Δ(x,y)中大于0的狭长区域的宽度表示分割图中的不同区域在左右视图中的移动位置，即视差大小，因此得到Δ(x,y)中大于0的每个区域的宽度就得到了各个区域的深度信息，深度显著性为

S_di(x,y)＝|D_μ-D_i(x,y)|,上式中：D_μ为所有区域的视差均值，D_i(x,y)为每个区域的视差值。

7.根据权利要求6所述的基于视觉的机器人目标零件显著性检测方法，其特征在于，所述利用全局显著信息对包含承载目标零件的平台在内的其他背景信息进行抑制，去除距离相机过近的非目标区域信息，利用FT算法颜色特征的中央-周边算子来得到显著图

上式中，是图像L、a、b三个分量的算术平均值，I_whc(x,y)是对原图像进行的高斯模糊后的平滑图像，|| ||为欧式距离；通过将S_di(x,y)与S_FT(x,y)融合，最后通过背景抑制突出目标区域，获得最终的显著结果。

8.根据权利要求7所述的基于视觉的机器人目标零件显著性检测方法，其特征在于，所述颜色显著性采用基于全局对比度的方法，计算HSV空间的H或V分量，每一像素点的显著性为：

S_c(x,y)＝|I_μ-I_c(x,y)|；c∈H,V.

上式中：I_μ为所有像素点的均值，I_c(x,y)为像素点的值，用H或V分量表示，c表示任意像素点；计算每一区域的显著性，作为该区域所有像素点的显著性。

9.根据权利要求8所述的基于视觉的机器人目标零件显著性检测方法，其特征在于，所述将深度显著图与基于颜色的显著性图进行合成，利用信息熵分别计算特征组合显著图与深度显著性信息量，分别作为2个通道的权值，将二者合成，得到最终的显著性图；

基于颜色的显著性信息量为

上式中：为区域i的颜色显著性值之和与所有区域颜色显著性之和的比；深度显著性信息量为

上式中：为区域i深度显著值之和与所有区域深度显著性之和的比；

将二者合成

得到显著性图。