CN112364789A - 一种基于视觉的机器人目标物体识别方法 - Google Patents

Abstract

本发明涉及一种基于视觉的机器人目标物体识别方法，属于工业机器人目标物体识别技术领域，包括以下步骤：S1：采集关于目标物体的数字图像；S2：对含有目标物体的图像进行预处理，包括图像灰度化、图像增强、图像滤除噪声；S3：利用SURF算法提取图像中的特征点，包括源图像特征点以及目标图像的特征点；S4：基于特征点检测，利用模板匹配对目标物体进行识别，先识别出源图像和目标图像之间的共有特征点，再检测两特征点之间的相似程度。本方法方法具有良好的稳定性，在外界条件发生变化的情况下，诸如目标物体存在遮挡、旋转、缩放等条件下都够准确地识别出目标物体。

Description

一种基于视觉的机器人目标物体识别方法

技术领域

本发明属于工业机器人目标物体识别技术领域，涉及一种基于视觉的机器人目标物体识别方法。

背景技术

随着人工智能技术的发展，机器人代替人力进行作业已经广泛应用于工业环境中，也成为传统制造业向现代化制造业转型的基本标志和技术。通过机器视觉进行零件识别和定位，并引导工业机器人的机械手抓取和装配零件是工业机器人应用领域中的关键问题。

随着工业技术的进步和制造工艺的提高，人们对生产过程中的自动化程度要求越来越高，传统的人工操作和简单的机械操作已不能满足生产线自动化的需求。机器人技术集成了机械、传感器、人工智能以及自动控制等各种先进技术，不仅可以增强生产过程的智能化，还能完成特定情况下人工无法完成的操作。将其应用到实际生产中，产品的质量和效率都有了明显的提高，而且在减少设备损耗、降低工人劳动强度、改善生产条件等方面也有着重大的促进意义。

在工业应用中大部分机器人采用示教编程的方式运行，前期需要进行大量的调试，而且机器人的作业位置基本都是固定的，虽然速度较快，但如果目标物体的位置发生变动就会造成机器人检测不到目标物体，因此导致作业失败，效率较低。近些年来，将机器视觉和机器人技术结合应用在生产中已经成为一种趋势，机器视觉能够作为机器人的“眼睛”，采集外界环境信息并对其进行处理整合，引导机器人完成作业。目前已经广泛的应用在工件分拣、缺陷检测、装配、装配等各个领域。但在这些领域中，工件是位于固定平面上且整齐摆放的，但是在目标物体的位置和姿态发生了改变的情况下，如果工业机器人还是按照预先设定的程序去识别、定位、抓取、安装目标物体的话，有可能不但不能完成任务，还会发生意想不到的结果。

机器视觉技术起步于20世纪60年代，美国麻省理工学院利用摄像头作为传感器，将物体识别及图像处理方法引入到机器人系统中，开始了机器视觉的研究，在复杂背景下识别物体的应用中，由于要识别的物体与周围环境相差较小，传统的阈值分割方法很难将物体从背景中分割出来，现在常用的识别方法主要分为两类：第一种先建立目标模板，通过模板匹配直接匹配出目标；第二种是对图像进行预处理，得到待识别的目标特征，然后对特征领域内进行二次分析提取出目标。

图像处理算法是机器视觉的核心内容，为了完成识别物体的任务，需要提前对图像进行滤除噪声、灰度化等操作，减少对后期物体识别的干扰。图像特征提取的定义可以简单叙述为：图像处理中初级的计算，以不同的方式遍历图像中所有像素，来提取图像像素所具有的特征，然后整合所有像素特征得到整幅图像的特征。图像的特征通常包括：颜色特征、纹理特征、边缘特征、高级特征等。颜色特征能直接表现出图像特征，可以展现出图像的基本信息。通用的颜色特征提取方法有颜色聚合矢量、颜色矩和颜色对、颜色直方图等。但是在实际的应用中，人们大多使用颜色直方图来提取颜色特征。纹理是一种结合人类视觉与触觉的视觉信息，体现了图像的一种内在的属性。纹理特征可以体现出图像灰度的结构和空间分布信息。

模板匹配是通过寻找与目标模板高度相似的特征来完成对物体的识别，有基于边缘点、灰度值、形状等方式，为了提高匹配速度，一些学者提出乱序匹配、限制最大匹配误差等匹配策略，大大减少了运算量，但在图像中有较多目标存在时，实时性较差。

发明内容

有鉴于此，本发明的目的在于提高机器人的工作效率和自适应能力，提供一种基于视觉的机器人目标物体识别方法，使机器人具有更好的灵活性、鲁棒性、高效率。

为达到上述目的，本发明提供如下技术方案：

一种基于视觉的机器人目标物体识别方法，包括以下步骤：

S1：采集关于目标物体的数字图像；

S2：对含有目标物体的图像进行预处理，包括图像灰度化、图像增强、图像滤除噪声；

S3：利用SURF算法提取图像中的特征点，包括源图像特征点以及目标图像的特征点；

S4：基于特征点检测，利用模板匹配对目标物体进行识别，先识别出源图像和目标图像之间的共有特征点，再检测两特征点之间的相似程度。

进一步，步骤S1中，先对图像进行灰度化处理，再采用直方图均衡化对图像中的目标物体进行增强，对于直方图均衡化，实现其变换的基础方法为累积分布函数变换，表示为：

式中：T(r)为r的累积分布函数，w为积分变量；

使用r的累积分布函数，变换后会生成均匀分布的图像灰度级概率密度，使一切像素的范围变大；

最后通过削弱高频成分的滤波器来消除噪声对图像的干扰。

进一步，步骤S2中所述SURF算法构成如下：

S21：构建Hessian矩阵：将Hessian矩阵应用于积分图像，对于给定图像I中任意像素x＝(x,y)，Hessian矩阵H(x,σ)在x处尺度σ的定义式为：

积分图像用于是图像中某矩形区域内的所有像素的和，图像中(x,y)处的积分图S(x,y)定义如下式所示：

式中，S(x,y)为对应(x,y)坐标的积分图像，I(x,y)为图像在位置(x,y)处的像素值，图像中任何矩形区域内像素点的和，通过三次加减法计算获得；

S22：构造尺度空间：用金字塔的方式来构造尺度空间，在不同的尺度下寻找特征点；

S23：精确定位特征点：在尺度空间内，通过比较已经得到的极值点与其领域内的26个像素点，使得到的极值点准确定位到关键特征点的位置；

S24：确定特征点主方向：分配特征点主方向时，通过统计特征点领域内的Harr小波特征，特征点主方向即为权值最高的方向；

S25：围绕特征点四周取一个边长值为20s的正方形区域块，正方形区域方向沿着特征点的主方向；将此正方形区域划分为4×4方格网格，每个方格边长为5s，其Haar小波响应分别是dx和dy；然后将每个子区域进行Harr小波响应运算和高斯加权，得到Σd_x，Σd_y，Σ|d_x|，Σ|d_y|四个梯度值，从而每个大小为5s×5s的方格形成4-D向量V_sub＝(Σd_x,Σ|d_x|,Σd_y,Σ|d_y|)。

进一步，步骤S3所述模板匹配是通过对比两幅图像，将两幅图像的相似程度作为最后识别的参考依据；先识别出源图像和目标图像之间的共有特征点，再检测两特征点之间的相似程度；

具体为：在提取目标的特征点之后，进行特征点的描述，首先规定每个特征点的方向，然后将具备方向的特征点旋转到主方向，然后在识别物体的过程中，提取物体模板图像的SURF算子，随后将提取的SURF点的集合当作模板，最后在目标图像中搜索与模板图像相对应的特征点。

本发明的有益效果在于：本发明提出的基于视觉的机器人目标物体识别方法，是通过基于特征点的模板匹配来对物体进行识别，解决了传统的方法识别效果不理想的问题。此方法具有良好的稳定性，在外界条件发生变化的情况下，诸如目标物体存在遮挡、旋转、缩放等条件下都够准确地识别出目标物体。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所述基于视觉的机器人目标物体识别方法流程示意；

图2为SURF算法积分图像计算示意图；

图3为确定特征点主方向示意图；

图4为正方形区域划分示意图；

图5为模板匹配流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，为一种基于视觉的机器人目标物体识别方法，包括以下步骤：

步骤一：先采集关于目标物体的数字图像，由工业数字相机完成。

步骤二：对含有目标物体的图像进行预处理。具体包括图像灰度化、图像增强、图像滤除噪声等操作，此步骤为后续的识别工作打好基础。先对图像进行灰度化处理，接着为了突出图像中关键信息，消除与系统无关的多余信息，要对灰度化后的图像进行增强，增强后，只会增加分辨特定信息的能力，而背景信息并不能被增加。采用直方图均衡化对图像进行增强，将图像经过某种变换，得到的新图像直方图分布很均匀，以概率论作为基础，计算灰度点可以变换直方图，以此来增强图像，可使图像变得更加清晰、目标更加明显。对于直方图均衡化，实现其变换的基础方法为累积分布函数变换，其可表示为：

式中：T(r)为r的累积分布函数，w为积分变量；

使用r的累积分布函数，变换后会生成均匀分布的图像灰度级概率密度，使一切像素的范围变大。

一般图像的能量主要聚集在低频和中频上，在高频段上的一些重要信息常常会遭到噪声干扰，需要一个削弱高频成分的滤波器来消除噪声对图像的干扰。

步骤三：利用SURF算法提取图像中的特征点，包括源图像特征点以及目标图像的特征点。SURF算法将积分图像引用到图像特征提取中，既可以保证提取特征点的稳定性，还能大幅度提高特征提取效率。SURF算法构成如下：

(1)构建Hessian矩阵：将Hessian矩阵应用于积分图像时，可明显缩短计算时间，对于给定图像I中任意像素x＝(x,y)，Hessian矩阵H(x,σ)在x处尺度σ的定义式为：

积分图像是SURF算法中一个非常重要的内容，它计算的是图像中某矩形区域内的所有像素的和。图像中(x,y)处的积分图S(x,y)定义如下式所示：

式中，S(x,y)为对应(x,y)坐标的积分图像，I(x,y)为图像在位置(x,y)处的像素值。图像中任何矩形区域内像素点的和，可以通过3次加减法计算获得。

如图2所示，矩形区域ABCD的积分图像可以由下式计算：

S＝S_A+S_D-S_B-S_C

SURF算法同时运用积分图像和近似二阶导数的高斯模板，计算效率得到显著提高。

(2)构造尺度空间：SURF算法为了确保极值点具有尺度不变性，需用金字塔的方式来构造尺度空间，在不同的尺度下寻找特征点。

(3)精确定位特征点：在尺度空间内，通过比较已经得到的极值点与其领域内的26个像素点，使得到的极值点准确定位到关键特征点的位置。

(4)确定特征点主方向：SURF算法中分配特征点主方向时，为了能够确保主方向的旋转不变特性，其分配方式是通过统计特征点领域内的Harr小波特征，特征点主方向就是权值最高的方向。

如图3所示，统计在特征点半径大小为6s的圆形邻域60度扇形内所有点在垂直方向和水平方向的Harr小波特征；以0.2rad为间隔标准在扇形区域内进行旋转，再次统计扇形区域内Harr小波特征；遍历完整个圆形区域后，将矢量最长的方向作为特征点主方向。

(5)围绕特征点四周取一个边长值为20s的正方形区域块，正方形区域方向沿着特征点的主方向。如图4所示，将此正方形区域划分为4×4方格网格(每个方格边长为5s)，其Haar小波响应分别是dx和dy；然后将每个子区域进行Harr小波响应运算和高斯加权，可以得到Σd_x，Σd_y，Σ|d_x|，Σ|d_y|四个梯度值，从而每个大小为5s×5s的方格形成了4-D向量V_sub＝(Σd_x,Σ|d_x|,Σd_y,Σ|d_y|)。

步骤四：利用模板匹配对物体进行识别，先识别出源图像和目标图像之间的共有特征点，再检测两特征点之间的相似程度，基于特征点的模板匹配会很大程度上减少数据处理量，大大提高工作效率，能克服由于物体遮挡、缩放、旋转而给匹配识别带来的影响。模板匹配是通过对比两幅图像，将两幅图像的相似程度作为最后识别的参考依据。先识别出源图像和目标图像之间的共有特征点，再检测两特征点之间的相似程度。基于特征点的模板匹配会很大程度上减少数据处理量，大大提高工作效率，会克服由于物体遮挡、缩放、旋转而给匹配识别带来的影响。SURF算法会在提取目标的特征点之后，进行特征点的描述，描述包括两个主要方面，首先是规定每个特征点的方向，然后将具备方向的特征点旋转到主方向，这样在当物体发生变化时，图像中物体的每一个特征点都有方向性，使SURF算法具有较好的鲁棒性。其次是在识别物体的过程中，提取物体模板图像的SURF算子，随后将提取的SURF点的集合当作模板，接下来在目标图像中搜索与模板图像相对应的特征点，这样会很大程度上提高识别的效率与正确率。匹配的流程图如图5所示。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于视觉的机器人目标物体识别方法，其特征在于：包括以下步骤：

S1：采集关于目标物体的数字图像；

S2：对含有目标物体的图像进行预处理，包括图像灰度化、图像增强、图像滤除噪声；

S3：利用SURF算法提取图像中的特征点，包括源图像特征点以及目标图像的特征点；

S4：基于特征点检测，利用模板匹配对目标物体进行识别，先识别出源图像和目标图像之间的共有特征点，再检测两特征点之间的相似程度。

2.根据权利要求1所述的基于视觉的机器人目标物体识别方法，其特征在于：步骤S1中，先对图像进行灰度化处理，再采用直方图均衡化对图像中的目标物体进行增强，对于直方图均衡化，实现其变换的基础方法为累积分布函数变换，表示为：

式中：T(r)为r的累积分布函数，w为积分变量；

使用r的累积分布函数，变换后会生成均匀分布的图像灰度级概率密度，使一切像素的范围变大；

最后通过削弱高频成分的滤波器来消除噪声对图像的干扰。

3.根据权利要求1所述的基于视觉的机器人目标物体识别方法，其特征在于：步骤S2中所述SURF算法构成如下：

S21：构建Hessian矩阵：将Hessian矩阵应用于积分图像，对于给定图像I中任意像素x＝(x,y)，Hessian矩阵H(x,σ)在x处尺度σ的定义式为：

积分图像用于是图像中某矩形区域内的所有像素的和，图像中(x,y)处的积分图S(x,y)定义如下式所示：

式中，S(x,y)为对应(x,y)坐标的积分图像，I(x,y)为图像在位置(x,y)处的像素值，图像中任何矩形区域内像素点的和，通过三次加减法计算获得；

S22：构造尺度空间：用金字塔的方式来构造尺度空间，在不同的尺度下寻找特征点；

S23：精确定位特征点：在尺度空间内，通过比较已经得到的极值点与其领域内的26个像素点，使得到的极值点准确定位到关键特征点的位置；

S24：确定特征点主方向：分配特征点主方向时，通过统计特征点领域内的Harr小波特征，特征点主方向即为权值最高的方向；

S25：围绕特征点四周取一个边长值为20s的正方形区域块，正方形区域方向沿着特征点的主方向；将此正方形区域划分为4×4方格网格，每个方格边长为5s，其Haar小波响应分别是dx和dy；然后将每个子区域进行Harr小波响应运算和高斯加权，得到Σd_x，Σd_y，Σ|d_x|，Σ|d_y|四个梯度值，从而每个大小为5s×5s的方格形成4-D向量V_sub＝(Σd_x,Σ|d_x|,Σd_y,Σ|d_y|)。

4.根据权利要求1所述的基于视觉的机器人目标物体识别方法，其特征在于：步骤S3所述模板匹配是通过对比两幅图像，将两幅图像的相似程度作为最后识别的参考依据；先识别出源图像和目标图像之间的共有特征点，再检测两特征点之间的相似程度；

具体为：在提取目标的特征点之后，进行特征点的描述，首先规定每个特征点的方向，然后将具备方向的特征点旋转到主方向，然后在识别物体的过程中，提取物体模板图像的SURF算子，随后将提取的SURF点的集合当作模板，最后在目标图像中搜索与模板图像相对应的特征点。

Images