CN110766750B - 一种基于局部轮廓的机械臂视觉伺服目标识别方法 - Google Patents

Abstract

本发明公开了一种基于局部轮廓的机械臂视觉伺服目标识别方法。通过机械臂侧方的摄像机拍摄目标零件的图像作为模板图像；对模板图像进行轮廓局部分解操作；通过机械臂侧方的摄像机实时拍摄待测零件的图像；以当前每一帧图像作为采集图像进行处理识别，对采集图像进行兴趣域划分和对象匹配操作；在采集图像中标记识别出成功匹配的目标零件，并将目标零件在图像中的位置输出给机械臂的视觉伺服控制系统，进而控制机械臂的实时运动追踪。本发明针对机械臂末端抓手的特征，对抓取过程中张合状态不定的机械臂末端抓手进行准确识别，对于目标对象局部平移或旋转变形具有好的鲁棒性，并满足机械臂视觉伺服的实时性要求。

Description

一种基于局部轮廓的机械臂视觉伺服目标识别方法

技术领域

本发明涉及机械臂视觉伺服目标识别技术，具体为一种基于局部轮廓的机械臂视觉伺服目标识别方法。

背景技术

机器人的视觉反馈控制称为视觉伺服，与常规控制不同的是，系统状态是基于图像信息和系统参数构造的，相比于传统传感器获取的信息具有更高的维度和更大的信息量，可提高机器人系统的灵活性和智能性，尤其是在非结构化环境中。视觉伺服中工业机器人和摄像机的组合方式有两种，一种是摄像机装在工业机器人执行器上的“眼在手”方式，摄像机随着工业机器人一起运动，该方式能获得可变的、不易被遮挡的视野，但易出现目标从视野中丢失的问题。另一种是摄像机装在固定环境中的“眼到手”方式，摄像机获得更大的视野范围，可同时监测末端执行器和目标工件，但摄像机视野可能会被遮挡。

对于表面纹理特征显著的目标对象，视觉伺服系统目标识别可采用经典可靠的图像点特征，但对于表面没有充足的纹理信息且存在大量的同质区域的少纹理或无纹理的工业机器人末端执行器等对象，难以提取图像点特征。近年来提出了一些旨在为少纹理或无纹理对象提供视觉伺服的方法，主要侧重于开发几何图像特征，主要通过轮廓特征的方法实现目标识别。

在“眼到手”的摄像机布置方式下，以工业机器人末端执行器和工件为目标，视觉伺服系统的目标识别存在目标变形和目标部分遮挡的问题。目标对象的轮廓可分解为若干形状不变的局部轮廓，当目标对象运动变化时，局部轮廓间可能存在相对平移或旋转，但局部轮廓自身变化很小，故可将局部轮廓作为图像特征应用于视觉伺服场景中。现有基于局部轮廓的目标识别方法存在图像特征误判率高、检测效率不高等问题。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于局部轮廓的机械臂视觉伺服目标识别方法，针对“眼到手”和实时运动追踪的机械臂控制方式，对于目标对象局部平移或旋转变形具有较好的鲁棒性，且满足机器人视觉伺服的实时性要求。

实现本发明目的的技术方案具体为：

第一步，通过机械臂侧方的摄像机拍摄目标零件的图像作为模板图像；

所述的机械臂为眼到手式的机械臂，摄像机固定于机械臂侧方，不安装于机械臂末端。所述的目标零件为机械零件。

第二步，对模板图像进行轮廓局部分解操作；

第三步，通过机械臂侧方的摄像机实时拍摄待测零件的图像；

待测零件和目标零件均为相同零件，但位置不同，需进行视觉定位。

第四步，以当前每一帧图像作为采集图像进行处理识别，对采集图像进行兴趣域划分和对象匹配操作；

第五步，在采集图像中标记识别出成功匹配的目标零件，并将目标零件在图像中的位置输出给机械臂的视觉伺服控制系统，进而控制机械臂的实时运动追踪。

所述第二步，具体如下

2.1、模板轮廓提取

采用Canny算法对模板图像处理检测边缘，选择最外层且包络范围最大的边缘作为模板轮廓，边缘上的像素点组成了轮廓点集；

2.2、连续直线段拟合轮廓

2.2.1、首先，从轮廓点集中随机选择一个点p_i(x_i，y_i)作为处理点并设定采样范围阈值δ，将轮廓上满足|x_i-x_j|＜δ且|y_i-y_j|＜δ的所有点p_j(x_j，y_j)构成方向集S(D)，以处理点连接方向集S(D)中各个点获得各条拟合直线l_i；

2.2.2、然后，针对轮廓上的每个点，筛选获得与拟合直线l_i之间的垂直距离小于距离误差阈值τ的点作为局内点，组成局内点集S(l_i)作为拟合直线l_i的一致集；

2.2.3、接着，进行上述操作对每条拟合直线l_i进行处理得到各条拟合直线l₁，l₂，...，l_n和各自对应的一致集S(l₁)，S(l₂)，...，S(l_n)，将包含局内点数最多的一致集作为最大一致集，求取最大一致集的最佳拟合直线，并作为该轮廓点集的最佳拟合直线l_b；

2.2.4、最后，找到拟合直线l_b在轮廓上能拟合的最大连续点集，轮廓点集中将除最大连续点集首末两端点以外的点均移除，仅保留最大连续点集首末两端点；

2.2.5、重复上述步骤2.2.1～2.2.4不断对轮廓点集进行处理，直到轮廓点集上的点均被拟合或达到最大循环次数；

第一步提取出的模板轮廓以点集的形式储存，但当图像分辨率较高时，轮廓点集中包含的数据量较大，会造成后续处理的效率低下。本发明上述步骤将轮廓点集用连续直线段拟合，这样能缩减数据量，提高后续处理的稳定性。

2.3、内凹角点检测

2.3.1、首先，创建判据图，即将步骤2.2获得的轮廓绘制在纯黑色背景中，并将轮廓及内部的包围部分用白色绘制，作为判据图；

2.3.2、然后，初始选定轮廓点集中的任一个点作为待检测点p_t，在轮廓点集中选取与待检测点p_t前后相邻的两个点作为判据点p₁、p₂，连接两个判据点p₁、p₂获得线段p₁p₂，在线段p₁p₂上随机挑选n个像素点，作为采样点p_s1，p_s2，...，p_sn；

2.3.3、判断每一个采样点在图像上的像素值，若为255则判断该采样点在轮廓中；若为0则判断该采样点在轮廓外；若所有采样点p_s1，p_s2，...，p_sn均在轮廓外，则判断待检测点p_t为内凹角点并进行标记；

2.3.1、最后，将轮廓点集中待检测点p_t的下一个点作为新的待测点p_t，回到2.3.2重复上述操作，直到遍历轮廓点集上的所有点；

图像的角点通常被定义为两条不同方向边界的交点。基于轮廓的角点，可以将轮廓上具有显著差异的部分区分开，从而实现轮廓分解。能够作为轮廓分解点的角点满足内凹的特征，即从分解点左右领域各取一点连成的线段上的点不在轮廓包围的图形内。本发明将内凹角点作为特征分割外轮廓，设置合理参数后，模板外轮廓内凹角点能够充分地将轮廓不变形部分进行分解。

2.4、轮廓切点筛选

选取轮廓的内凹角点p_i，在轮廓点集中提取与内凹角点p_i相邻的两个点p_i-1和p_i+1，以内凹角点p_i为顶点，计算三个点p_i-1、p_i、p_i+1构成的夹角大小作为内凹角点的顶角；遍历所有内凹角点，顶角小于设定夹角阈值ω的内凹角点作为轮廓切点，然后利用轮廓切点分解轮廓，分为若干段局部轮廓。

所述第四步，具体为：

4.1、兴趣域划分

首先，将模板图像的各个局部轮廓分别在采集图像中利用改进的离散优化方法进行匹配；

然后，所有局部轮廓匹配一次后，在采集图像中作匹配结果集中度最高区域的最小外接矩形S，表示为S＝W×H，W和H分别表示最小外接矩形的宽和高；

接着，将最小外接矩形放大至S′，S′＝W′×H′，W′和H′分别表示放大后的最小外接矩形的宽和高，使得局部轮廓在放大后的最小外接矩形中的匹配率R刚好高于预设兴趣阈值τ_r，将放大后的最小外接矩形作为兴趣域；

其中，局部轮廓的总数为N，局部轮廓的成功匹配数为N_m；

分解后的局部轮廓多为简单几何图形，单个轮廓在采集图像中的误检率较高，上述处理后能降低轮廓在采集图像中的误检率。

4.2、对象匹配

将模板图像的局部轮廓分别在兴趣域内利用改进的离散优化方法再次进行匹配，并进行判断：若局部轮廓在兴趣域中的匹配率R不高于预设匹配阈值τ_m，τ_m＞τ_r，则判定为目标零件未成功匹配；若局部轮廓在兴趣域中的匹配率R高于预设匹配阈值τ_m，τ_m＞τ_r，则判定为目标零件成功匹配。

所述的改进的离散优化方法，具体步骤如下：

S1，采用随机抽样一致性算法(RANSAC)对采集图像进行直线段拟合；

S2，计算采集图像的距离变换，采集图像Q上像素点q的距离变换DT(q)为：

式中，Q为采集图像的像素点集，P为模板图像中的轮廓点集，DT(q)为采集图像Q上像素点q的距离变换，p_i为轮廓点集中的第i个点，q_x为像素点q的图像横坐标，q_y为像素点q的图像纵坐标，p_ix为点p_i的图像横坐标，p_iy为点p_i的图像纵坐标；

S3，计算采集图像的维诺(Voronoi)图，由维诺图中与像素点p最近的线段的倾斜角度作为像素点q的角度VD(q)；

S4，计算匹配代价：

结合距离变换DT(q)和角度VD(q)通过二维距离变换张量计算模板图像和采集图像之间的距离，计算方向倒角匹配距离代价d_DCM(U，V)作为匹配代价：

其中，U＝{u_i}为模板图像的像素点集，V＝{v_j}为采集图像的像素点集，n为模板轮廓点集的点总数，l_j为模板图像中的直线段，p_i为直线段l_j上的点，DT(q_i)和VD(q_i)分别为点q_i处的距离变换和维诺图的角度，λ为位置和方向间的权重因子，φ_j为直线段l_j的角度。

S5，目标搜索匹配：

通过扫描窗的形式以固定步长在采集图像进行遍历，和模板图像的局部轮廓进行匹配，逐个计算每个扫描窗和局部轮廓之间的匹配代价，经过非极大值抑制和阈值化方法，找到代价最小的匹配代价；

匹配过程中，若当前位置的匹配代价ε满足ε＞ε₀，ε₀表示匹配代价上限，则将当前扫描窗在原有步长基础上增加|ε-ε₀|平移量进行下一扫描窗的匹配处理。

本发明改进的离散优化方法在形状轮廓匹配中表现出良好的准确度和处理速度。另外，本发明改进的离散优化方法在针对需要大量耗时的处理过程进行了改进，不划分k个离散方向，无需将连续角度被量化到k个离散的方向，在每个方向上，也无需计算距离变换图像、三维距离变换图像和积分距离变换图像，无需遍历3*k次待检测图像的像素，直接采用图像的Voronoi图估计像素角度，大幅减少像素遍历次数，能满足非常高的实时性要求，实现在线识别。

上述改进的离散优化方法在匹配包含直线段较多的对象时效率较高，而经本文方法获取的局部轮廓也是由少量线段组成，且局部轮廓个数一般不会太多，并在第一轮匹配后划定兴趣域缩小了匹配范围，故匹配可在不增加太多处理时间的条件下提高对变形目标的匹配准确率。

所述的目标零件为机械产品零件。

所述的视觉伺服视觉传感器与机械臂的布局方式为“眼到手”的方式，即视觉传感器安装在机械臂以外的固定位置上。视觉伺服目标为机械臂抓手和机械产品零件，其中，对于机械臂抓手，以其张开状态轮廓为模板，将模板轮廓分解，通过分解后的局部轮廓进行目标识别与追踪，可适应末端执行器的任意张合状态；机械产品零件例如为自动装配生产线中待装配机械零部件等。

本发明方法的局部轮廓特征可应对目标的部分遮挡，减小因目标的运动和环境光的变化给图像处理精度带来的负面影响，从而弱化甚至解除因图像处理精度的需要而产生的对设备及环境的限制。

本发明相比于现有技术，其显著优点为：

(1)通过机械臂末端抓手局部轮廓进行目标识别，可适应末端执行器的任意张合状态及末端执行器的部分轴向转动；

(2)对于机械臂末端抓手这种少纹理目标，减小末端执行器的运动和环境光的变化给图像处理精度带来的负面影响。

附图说明

图1为本发明方法的一般步骤流程图；

图2为直线段拟合轮廓方法的步骤流程图；

图3为内凹角点检测方法的步骤流程图；

图4为实施例的机械臂末端抓手张开状态的模板图片；

图5为实施例的模板轮廓提取图片；

图6为实施例的直线段拟合后的模板轮廓图片；

图7为实施例的模板轮廓上的轮廓切点图片；

图8为实施例的经轮廓切点分割后的模板图片；

图9为实施例的模板轮廓分割后的若干局部轮廓；

图10为在采集图像中标记识别出机械臂末端抓手的结果图；

图11为在采集图像中标记识别出不同张合状态下机械臂末端抓手的结果图。

具体实施方式

参见图1，本发明所述的基于局部轮廓的机械臂视觉伺服方法，首先向视觉伺服系统输入目标对象(末端抓手)模板的轮廓图片(图4)，对模板轮廓图片进行智能局部分解，包括模板轮廓提取、线段拟合轮廓、内凹角点检测和轮廓切点筛选并分解轮廓四个步骤，得到目标对象模板的局部分解轮廓。摄像机以“眼到手”的方式布置，通过摄像机采集图像，将所有局部轮廓分别在采集图像中匹配一次，将采集图像中匹配结果集中度最高的区域作为兴趣域。在兴趣域内用同样方法进行局部轮廓的二次匹配，匹配成功率高于一定阈值判定为目标成功匹配。这种采用基于局部轮廓特征的实时对象定位方法，可以应对目标的变形和部分遮挡，减小因目标的运动和环境光的变化给图像处理精度带来的负面影响。

参见图1，本发明首先基于内凹角点对模板轮廓智能分解，旨在分解模板轮廓在图像中的可变形部分，将其分解为若干可独立变形运动的局部轮廓，包括模板轮廓提取、线段拟合轮廓、内凹角点检测和轮廓切点筛选四个步骤。

本发明的具体实施例及其实施过程如下：

本实施例具体实施针对的识别目标是不同张合状态下的机械臂末端抓手。

第一步，通过机械臂侧方的摄像机拍摄机械臂末端抓手张开状态下的目标零件的图像作为模板图像；

第二步，对模板图像进行轮廓局部分解操作；

2.1、模板轮廓提取

采用Canny算法对模板图像处理检测边缘，

首先，对图像进行高斯平滑降噪，计算降噪后的图像的梯度。具体是计算高斯函数G(x，y)在水平和垂直方向上的偏导数，分别与原图像f(x，y)卷积，依据求得的卷积结果求出图像梯度幅值A(x，y)和方向角度θ(x，y)。

然后，在梯度方向上对图像进行非极大值抑制。检测每一个像素点的梯度是否为邻域内具有相同梯度方向的像素点中最大的，若不是最大值则抑制。最后，用双阈值算法检测和连接边缘。确定一个高阈值T_H和一个低阈值T_L，对图像中的每一像素点进行验证，若像素大于T_H，则判定为强边缘；若像素小于T_L，则判定为非边缘；若像素介于两阈值之间，当该点与强边缘相连，则认为其是边缘点。连接边缘，得到完整、连续的轮廓。

在经Canny算法检测出的轮廓中，选择最外层且包络范围最大的边缘作为模板轮廓，边缘上的像素点组成了轮廓点集，如图5。

2.2、参考图2，连续直线段拟合轮廓

2.2.1、首先，从轮廓点集中随机选择一个点p_i(x_i，y_i)作为处理点并设定采样范围阈值δ，将轮廓上满足|x_i-x_j|＜δ且|y_i-y_j|＜δ的所有点p_j(x_j，y_j)构成方向集S(D)，以处理点连接方向集S(D)中各个点获得各条拟合直线l_i；

2.2.2、然后，针对轮廓上的每个点，筛选获得与拟合直线l_i之间的垂直距离小于距离误差阈值τ的点作为局内点，组成局内点集S(l_i)作为拟合直线l_i的一致集；

2.2.3、接着，进行上述操作对每条拟合直线l_i进行处理得到各条拟合直线l₁，l₂，...，l_n和各自对应的一致集S(l₁)，S(l₂)，...，S(l_n)，将包含局内点数最多的一致集作为最大一致集，采用RANRAS方法求取最大一致集的最佳拟合直线，并作为该轮廓点集的最佳拟合直线l_b；

2.2.4、最后，找到拟合直线l_b在轮廓上能拟合的最大连续点集，间隔小于给定间隔误差，轮廓点集中将除最大连续点集首末两端点以外的点均移除，仅保留最大连续点集首末两端点；

2.2.5、重复上述步骤2.2.1～2.2.4不断对当前轮廓点集的每个点作为处理点进行处理，直到轮廓点集上的点均被拟合或达到最大循环次数。

线段拟合轮廓的效果参考图6。

2.3、参考图3，内凹角点检测

2.3.1、首先，创建判据图，即将步骤2.2获得的轮廓绘制在纯黑色背景中，并将轮廓及内部的包围部分用白色绘制，作为判据图，即轮廓及其内部的像素值为255，轮廓外部的像素值为0；

2.3.2、然后，初始选定轮廓点集中的任一个点作为待检测点p_t，在轮廓点集中选取与待检测点p_t前后相邻的两个点作为判据点p₁、p₂，连接两个判据点p₁、p₂获得线段p₁p₂，在线段p₁p₂上随机挑选n个像素点，作为采样点p_s1，p_s2，...，p_sn；

2.3.3、判断每一个采样点在图像上的像素值，若为255则判断该采样点在轮廓中；若为0则判断该采样点在轮廓外；若所有采样点p_s1，p_s2，...，p_sn均在轮廓外，则判断待检测点p_t为内凹角点并进行标记；

2.3.1、最后，将轮廓点集中待检测点p_t的下一个点作为新的待测点p_t，回到2.3.2重复上述操作，直到遍历轮廓点集上的所有点；

2.4、参考图7，轮廓切点筛选

选取轮廓的内凹角点p_i，在轮廓点集中提取与内凹角点p_i相邻的两个点p_i-1和p_i+1，以内凹角点p_i为顶点，计算三个点p_i-1、p_i、p_i+1构成的夹角大小作为内凹角点的顶角；遍历所有内凹角点，顶角小于设定夹角阈值ω的内凹角点作为轮廓切点，然后利用轮廓切点分解轮廓，在每个轮廓切点处将轮廓分割，分为若干段连续衔接局部轮廓，从而完成模板轮廓局部分解操作，结果如图8。

第三步，通过机械臂侧方的摄像机实时拍摄待测零件的图像；

第四步，以当前每一帧图像作为采集图像进行处理识别，对采集图像进行兴趣域划分和对象匹配操作。

参考图9，将模板轮廓分割成若干部分后，将从用户输入的模板轮廓中获得的局部轮廓与从摄像机中获取的采集图像进行匹配。

4.1、兴趣域划分

首先，将模板图像的各个局部轮廓分别在采集图像中利用改进的离散优化方法进行匹配；

然后，所有局部轮廓匹配一次后，在采集图像中作匹配结果集中度最高区域的最小外接矩形S，表示为S＝W×H，W和H分别表示最小外接矩形的宽和高；

接着，将最小外接矩形放大至S′，S′＝W′×H′，W′和H′分别表示放大后的最小外接矩形的宽和高，使得局部轮廓在放大后的最小外接矩形中的匹配率R刚好高于预设兴趣阈值τ_r，将放大后的最小外接矩形作为兴趣域；

其中，局部轮廓的总数为N，局部轮廓的成功匹配数为N_m；

4.2、对象匹配

将模板图像的局部轮廓分别在兴趣域内利用改进的离散优化方法再次进行匹配，并进行判断：若局部轮廓在兴趣域中的匹配率R不高于预设匹配阈值τ_m，τ_m＞τ_r，则判定为目标零件未成功匹配；若局部轮廓在兴趣域中的匹配率R高于预设匹配阈值τ_m，τ_m＞τ_r，则判定为目标零件成功匹配；

具体实施中取τ_r＝0.5，τ_m＝0.6。即在采集图像中，将超过五成轮廓片段成功匹配的兴趣域作为兴趣域；在兴趣域中，若超过六成轮廓片段成功匹配，则视为对象成功匹配。

第五步，参考图10和图11，在采集图像中标记识别出成功匹配的机械臂末端抓手，并将机械臂末端抓手在图像中的位置输出给机械臂的视觉伺服控制系统，进而控制机械臂的实时运动追踪。

具体实施中的改进的离散优化方法，具体步骤如下：

S1，采用随机抽样一致性算法(RANSAC)对采集图像进行直线段拟合；

S2，计算采集图像的距离变换。

S3，计算采集图像的维诺(Voronoi)图，由维诺图中与像素点p最近的线段的倾斜角度作为像素点q的角度VD(q)；

S4，计算匹配代价：结合距离变换DT(q)和角度VD(q)通过二维距离变换张量计算模板图像和采集图像之间的距离，计算方向倒角匹配距离代价d_DCM(U，V)作为匹配代价。

S5，目标搜索匹配：通过扫描窗的形式以固定步长在采集图像进行遍历，和模板图像的局部轮廓进行匹配，逐个计算每个扫描窗和局部轮廓之间的匹配代价，生成一幅方向倒角距离代价图，经过非极大值抑制和阈值化方法，找到代价最小的匹配代价；

匹配过程中，若当前位置的匹配代价ε满足ε＞ε₀，ε₀表示匹配代价上限，则将当前扫描窗在原有步长基础上增加|ε-ε₀|平移量进行下一扫描窗的匹配处理。

最后，参考图10和图11，在采集图像中标记识别出的目标，并将目标标记在图像中的位置参数输出给机械臂视觉伺服控制系统。

由此可见，本发明针对机械臂末端抓手的特征，对抓取过程中张合状态不定的机械臂末端抓手进行准确识别，对于目标对象局部平移或旋转变形具有好的鲁棒性，并满足机械臂视觉伺服的实时性要求。

Claims (3)

1.一种基于局部轮廓的机械臂视觉伺服目标识别方法，其特征在于步骤如下：

第一步，通过机械臂侧方的摄像机拍摄目标零件的图像作为模板图像；

第二步，对模板图像进行轮廓局部分解操作；

第三步，通过机械臂侧方的摄像机实时拍摄待测零件的图像；

第四步，以当前每一帧图像作为采集图像进行处理识别，对采集图像进行兴趣域划分和对象匹配操作；

第五步，在采集图像中标记识别出成功匹配的目标零件，并将目标零件在图像中的位置输出给机械臂的视觉伺服控制系统，进而控制机械臂的实时运动追踪；

所述第二步，具体如下：

2.1、模板轮廓提取

采用Canny算法对模板图像处理检测边缘，选择最外层且包络范围最大的边缘作为模板轮廓，边缘上的像素点组成了轮廓点集；

2.2、连续直线段拟合轮廓

2.2.1、首先，从轮廓点集中随机选择一个点p_i(x_i,y_i)作为处理点并设定采样范围阈值δ，将轮廓上满足|x_i-x_j|<δ且|y_i-y_j|<δ的所有点p_j(x_j,y_j)构成方向集S(D)，以处理点连接方向集S(D)中各个点获得各条拟合直线l_i；

2.2.2、然后，针对轮廓上的每个点，筛选获得与拟合直线l_i之间的垂直距离小于距离误差阈值τ的点作为局内点，组成局内点集S(l_i)作为拟合直线l_i的一致集；

2.2.3、接着，进行上述操作对每条拟合直线l_i进行处理得到各条拟合直线l₁,l₂,…,l_n和各自对应的一致集S(l₁),S(l₂),…,S(l_n)，将包含局内点数最多的一致集作为最大一致集，求取最大一致集的最佳拟合直线，并作为该轮廓点集的最佳拟合直线l_n；

2.2.4、最后，找到拟合直线l_n在轮廓上能拟合的最大连续点集，轮廓点集中将除最大连续点集首末两端点以外的点均移除，仅保留最大连续点集首末两端点；

2.2.5、重复上述步骤2.2.1～2.2.4不断对轮廓点集进行处理，直到轮廓点集上的点均被拟合或达到最大循环次数；

2.3、内凹角点检测

2.3.1、首先，创建判据图，即将步骤2.2获得的轮廓绘制在纯黑色背景中，并将轮廓及内部的包围部分用白色绘制，作为判据图；

2.3.2、然后，初始选定轮廓点集中的任一个点作为待检测点p_t，在轮廓点集中选取与待检测点p_t前后相邻的两个点作为判据点p₁、p₂，连接两个判据点p₁、p₂获得线段p₁p₂，在线段p₁p₂上随机挑选n个像素点，作为采样点p_s1,p_s2,…,p_sn；

2.3.3、判断每一个采样点在图像上的像素值，若为255则判断该采样点在轮廓中；若为0则判断该采样点在轮廓外；若所有采样点p_s1,p_s2,…,p_sn均在轮廓外，则判断待检测点p_t为内凹角点并进行标记；

2.3.1、最后，将轮廓点集中待检测点p_t的下一个点作为新的待测点p_t，回到2.3.2重复上述操作，直到遍历轮廓点集上的所有点；

2.4、轮廓切点筛选

选取轮廓的内凹角点p_i，在轮廓点集中提取与内凹角点p_i相邻的两个点p_i-1和p_i+1，以内凹角点p_i为顶点，计算三个点p_i-1、p_i、p_i+1构成的夹角大小作为内凹角点的顶角；遍历所有内凹角点，顶角小于设定夹角阈值ω的内凹角点作为轮廓切点，然后利用轮廓切点分解轮廓，分为若干段局部轮廓。

2.根据权利要求1所述的一种基于局部轮廓的机械臂视觉伺服目标识别方法，其特征在于：所述第四步，具体为：

4.1、兴趣域划分

首先，将模板图像的各个局部轮廓分别在采集图像中利用改进的离散优化方法进行匹配；

然后，所有局部轮廓匹配一次后，在采集图像中作匹配结果集中度最高区域的最小外接矩形S，表示为S＝W×H，W和H分别表示最小外接矩形的宽和高；

接着，将最小外接矩形放大至S′，S′＝W′×H′，W′和H′分别表示放大后的最小外接矩形的宽和高，使得局部轮廓在放大后的最小外接矩形中的匹配率R刚好高于预设兴趣阈值τ_r，将放大后的最小外接矩形作为兴趣域；

其中，局部轮廓的总数为N，局部轮廓的成功匹配数为N_m；

4.2、对象匹配

将模板图像的局部轮廓分别在兴趣域内利用改进的离散优化方法再次进行匹配，并进行判断：若局部轮廓在兴趣域中的匹配率R不高于预设匹配阈值τ_m，τ_m>τ_r，则判定为目标零件未成功匹配；若局部轮廓在兴趣域中的匹配率R高于预设匹配阈值τ_m，τ_m>τ_r，则判定为目标零件成功匹配；

所述的改进的离散优化方法，具体步骤如下：

S1，采用随机抽样一致性算法对采集图像进行直线段拟合；

S2，计算采集图像的距离变换，采集图像Q上像素点q的距离变换DT(q)为：

式中，Q为采集图像的像素点集，P为模板图像中的轮廓点集，DT(q)为采集图像Q上像素点q的距离变换，p_i为轮廓点集中的第i个点，q_x为像素点q的图像横坐标，q_y为像素点q的图像纵坐标，p_ix为点p_i的图像横坐标，p_iy为点p_i的图像纵坐标；

S3，计算采集图像的维诺图，由维诺图中与像素点p最近的线段的倾斜角度作为像素点q的角度VD(q)；

S4，计算匹配代价：

结合距离变换DT(q)和角度VD(q)通过二维距离变换张量计算模板图像和采集图像之间的距离，计算方向倒角匹配距离代价d_DCM(U,V)作为匹配代价：

其中，U＝{u_i}为模板图像的像素点集，V＝{v_j}为采集图像的像素点集，n为模板轮廓点集的点总数，l_j为模板图像中的直线段，p_i为直线段l_j上的点，DT(q_i)和VD(q_i)分别为点q_i处的距离变换和维诺图的角度，λ为位置和方向间的权重因子，φ_j为直线段l_j的角度；

S5，目标搜索匹配：

通过扫描窗的形式以固定步长在采集图像进行遍历，和模板图像的局部轮廓进行匹配，逐个计算每个扫描窗和局部轮廓之间的匹配代价，经过非极大值抑制和阈值化方法，找到代价最小的匹配代价；

匹配过程中，若当前位置的匹配代价ε满足ε>ε₀，ε₀表示匹配代价上限，则将当前扫描窗在原有步长基础上增加|ε-ε₀|平移量进行下一扫描窗的匹配处理。

3.根据权利要求1所述的一种基于局部轮廓的机械臂视觉伺服目标识别方法，其特征在于：所述的目标零件为机械产品零件。

Images