CN113688819A - 一种基于标记点的目标物期望点跟踪匹配方法 - Google Patents

Abstract

本发明公开了一种基于标记点的目标物期望点跟踪匹配方法，包括以下步骤：S1、确定期望点；S2、标记点标记；S3、确定各标记点的提取区域；S4、基于FAST检测算法特征点提取；S5、基于BRISK算法的特征点匹配；S6、根据特征点匹配结果进行标记点匹配；S7、椭圆拟合标记点求标记点中心；S8、根据预设标记点位置关系求期望点。本发明提出一种基于标记点的目标物期望点动态匹配方法，通过贴标签的形式在目标物期望点附近贴上按一定规律分布的标记点，目标物上标记点位置已知且固定，可以通过该标记点计算目标物的期望点，从而解决了非标准形状的目标物期望点定位难的问题。

Description

一种基于标记点的目标物期望点跟踪匹配方法

技术领域

本发明涉及机器人与智能控制技术领域，具体为一种基于标记点的目标物期望点跟踪匹配方法。

背景技术

机器人工作于人们日常生活中，可直接为人服务。抓取目标物是机器人的典型仿人行为，在替代人工作、方面具有很高的实用价值。通过视觉伺服的方法可以使机器人在非结构化场合进行抓取任务，而对目标物抓取前需要对目标物进行位姿估计，获得目标物的位置和姿态，对目标物进行位姿估计之前需要获得目标物在图像上的定位坐标。而获得目标物代表点的定位值之前一项重要的工作是检测特征点和匹配特征点。

为了获得目标物在图像中的定位值，需要根据场景需求选择一个或若干个期望点(期望跟踪的点)来代替目标物，便于对目标物轮廓或位置信息的简化描述，获取期望点的常见方法步骤是：先获取目标物上的特征点，再通过特征点计算出期望点。本发明选择的期望点为目标物的重心点。而要通过提取特征点(边缘点、纹理点、角点等)位置计算出目标物期望点位置，这就要求对目标物提取的特征点始终在目标物已知的某些固定位置。传统的特征点提取方法如Speeded-Up Robust Features、Small Univalue SegmentAssimilating Nucleus、Difference of Gaussians、Hessian-Laplace等算法均能检测出图像中的有效特征点，但这些方法均是在某一区域选择边缘、纹理、角点等潜在兴趣点，得到的特征点具有随机性，无法计算期望点。只有对一些诸如长方体、梯形等形状标准的目标物，借助它们天然固定的角点特征才能根据目标物本身的几何特征计算出目标物上的期望点位置，而对于一些非标准形状的物体，无法计算期望点位置。

特征点匹配方法中较为成功的有SIFT(Scale Invariant FeatureTransform)算子和SURF(Speeded UpRobust Features)算子，然而这两种特征提取算法复杂且耗时，难以满足视频序列的实时性需求，Lucas等根据光流法研究出了L-K(Lucas-Kanade)光流算法，其追踪对象通常是多个具有明显特征的点，优势在于跟踪相对稳定，且因其计算量小而具有较高的实时性，但其基于灰度不变性的条件使得其无法在光线干扰的环境下保持较高精度；Horn等研究出H-S(Horn-Schunck)光流算法，其属于稠密光流的范畴，其对图像中的某一区域进行逐像素匹配后，再计算区域内所有像素点的偏移量以形成稠密光流场，这种算法虽然跟踪精度较高，但其计算耗时长，难以满足实时性要求。

发明内容

本发明的目的在于提供一种基于标记点的目标物期望点跟踪匹配方法，针对抓取过程中难以获得非标准形状的目标物在图像中的定位值，且传统方法获取定位值的精确度不高，实时性、鲁棒性差的问题，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于标记点的目标物期望点跟踪匹配方法，包括以下步骤：

S1、确定期望点：对待抓取目标物进行几何测量，找到目标物期望跟踪匹配的点即期望点；

S2、标记点标记：在已知目标物期望点位置的情况下进行标记点标记，即以期望点为圆心，贴若干个均匀分布的圆形标记点；

S3、确定各标记点的提取区域：将训练好的YOLOv3检测器用于各种情况下的标记点检测，根据YOLOv3检测器检测的结果，对检测出的标记点进行框选，避免提取特征点时环境点的干扰；

S4、基于FAST检测算法特征点提取：采用FAST检测算法在YOLOv3框选的若干个区域内，提取若干个特征点；

S5、基于BRISK算法的特征点匹配：在得到特征点之后，通过BRISK算法得到特征点的描述子，利用PROSAC算法比较特征点之间的描述子，将特征点进行匹配；

S6、根据特征点匹配结果进行标记点匹配；

S7、椭圆拟合标记点求标记点中心；

S8、根据预设标记点位置关系求期望点。

优选的，在S1中，所述期望点为重心位置点。

优选的，在S4中，基于FAST检测算法特征点提取的步骤为：对原始FAST角点分别计算Harris响应值，根据响应值，选取前N个具有最大响应的值作为每个标记点的最终的特征点合集。

优选的，在S6中，根据特征点匹配结果进行标记点匹配的步骤包括以下：

记第一帧中第i个标记点为Q_1i，第二帧中第j个标记点为Q_2j，以标记点总数为3的标签为例，即i＝1，2，3；j＝1，2，3，基于特征点匹配结果，存在9种标记点匹配的情况{Q_1i＝Q_2j}，每种匹配情况正确匹配的概率为：

其中，

表示Q_1i标记点与Q_2j标记点上成功匹配的特征点数，N为标记点上采集的特征点总数；

设定阈值ε，当满足以下两个条件：

条件1：该匹配状态下的概率最大，即：

Pi＝max{P(Q_1i＝Q_2j),j＝1,2,3}

I＝1,2,3；

条件2：该匹配状态下的概率大于设定阈值ε，即：

Pi>ε

i＝1,2,3；

当满足以下条件1和条件2时，该概率下的匹配情况为正确的标记点匹配关系。

优选的，在S7中，椭圆拟合标记点求标记点中心的步骤包括以下：

首先对当前帧建立坐标系u0v，然后在YOLOv3跟踪的局部窗口内，将过滤后且成功匹配的特征点p₁,p₂…p_N作为拟合椭圆的数据集合{P(u,v)}；

假设椭圆中心坐标为(u₀,v₀),半长轴为a,半短轴为b，长轴偏角为θ，对椭圆上任意点(u，v)建立椭圆方程通式：

u²+Auv+Bv²+Cu+Dv+E＝0，其中A、B、C、D、E是椭圆方程的系数，

其中，

将测得的数据集合{P(u,v)}，代入求目标函数F({P(u,v)})求最小值：

令F({P(u,v)})各项偏导数为零得：

求解该线性方程组解出A、B、C、D、E，即可求出拟合椭圆方程，进而解出拟合的中心位置C_center，并通过标记点匹配关系得到C_center的匹配关系。

优选的，在S8中，以椭圆圆心C_center作为最终特征点，标记点中心在目标物上的相对位置是已知的，根据标记点分布规则可计算出期望点。

与现有技术相比，本发明的有益效果是：

本发明提出一种基于标记点的目标物期望点动态匹配方法，通过贴标签的形式在目标物期望点附近贴上按一定规律分布的标记点，目标物上标记点位置已知且固定，可以通过该标记点计算目标物的期望点，从而解决了非标准形状的目标物期望点定位难的问题；同时引入了深度学习网络YOLOv3限制特征点的提取范围，相较于全局提取大大减少了提取和筛选耗时；同时，本发明提取两帧中标记点上的特征点群进行匹配得到这两帧中标记点的对应关系，少量特征点匹配失败不影响最终匹配结果，因此不仅提高了匹配过程的鲁棒性，还避免了为提高特征点匹配精度的复杂描述运算。

附图说明

图1为标记点跟踪算法流程图；

图2为标记点分布示意图；

图3为Yolov3识别框选示意图；

图4为特征点提取示意图；

图5为BRISK特征点匹配效果；

图6为标记点匹配结果；

图7为标记点中心匹配效果；

图8为标记点分布几何示意图；

图9为期望点跟踪视频序列。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于标记点的目标物期望点跟踪匹配方法，包括以下步骤：

S1、确定期望点：对待抓取目标物进行几何测量，找到目标物期望跟踪匹配的点即期望点；

S2、标记点标记：在已知目标物期望点位置的情况下进行标记点标记，即以期望点为圆心，贴若干个均匀分布的圆形标记点；

S3、确定各标记点的提取区域：将训练好的YOLOv3检测器用于各种情况下的标记点检测，根据YOLOv3检测器检测的结果，对检测出的标记点进行框选，避免提取特征点时环境点的干扰；

S4、基于FAST检测算法特征点提取：采用FAST检测算法在YOLOv3框选的若干个区域内，提取若干个特征点；

S5、基于BRISK算法的特征点匹配：在得到特征点之后，通过BRISK算法得到特征点的描述子，利用PROSAC算法比较特征点之间的描述子，将特征点进行匹配；

S6、根据特征点匹配结果进行标记点匹配；

S7、椭圆拟合标记点求标记点中心；

S8、根据预设标记点位置关系求期望点。

其中，步骤S1：确定期望点：

对待抓取目标物进行几何测量，找到目标物期望跟踪匹配的点即期望点(一般是重心位置点)；

参阅图2，步骤S2：标记点标记：

在已知目标物期望点位置的情况下进行标记点标记，即以期望点为圆心，贴若干个均匀分布的圆形标记点；

参阅图3，步骤S3：确定各标记点的提取区域：

将训练好的YOLOv3检测器用于各种情况下的标记点检测，根据YOLOv3检测器检测的结果，对检测出的标记点进行框选，避免提取特征点时环境点的干扰；

参阅图4，步骤S4：基于FAST检测算法特征点提取：

采用FAST检测算法在YOLOv3框选的若干个区域内，提取若干个特征点；(此时特征点分布在标记点边缘)

由于FAST检测算法仅仅比较像素间的亮度差异，这势必造成检测的特征点数量很多且不确定，故对原始FAST角点分别计算Harris响应值，根据响应值，选取前N个具有最大响应的值作为每个标记点的最终的特征点合集。(N的选取根据精度要求以及时效性要求参照表1)

参阅图5，步骤S5：基于BRISK算法的特征点匹配：

在得到特征点之后，通过BRISK算法得到特征点的描述子，然后利用PROSAC算法比较特征点之间的描述子，将特征点进行匹配；

参阅图6和图7，步骤S6：根据特征点匹配结果进行标记点匹配：

记第一帧中第i个标记点为Q_1i，第二帧中第j个标记点为Q_2j，以标记点总数为3的标签为例，即i＝1，2，3；j＝1，2，3，基于特征点匹配结果，存在9种标记点匹配的情况{Q_1i＝Q_2j}，每种匹配情况正确匹配的概率为：

其中，

表示Q_1i标记点与Q_2j标记点上成功匹配的特征点数，N为标记点上采集的特征点总数；

设定阈值ε，当满足以下两个条件：

条件1：该匹配状态下的概率最大，即：

Pi＝max{P(Q_1i＝Q_2j),j＝1,2,3}

I＝1,2,3；

条件2：该匹配状态下的概率大于设定阈值ε，即：

Pi>ε

i＝1,2,3；

当满足以下条件1和条件2时，该概率下的匹配情况为正确的标记点匹配关系。

步骤S7：椭圆拟合标记点求标记点中心，由于圆形标记点在图像中成像一般是椭圆，所以用椭圆拟合可以更好适应圆形标记点在图像中的投影；

首先对当前帧建立坐标系u0v，然后在YOLOv3跟踪的局部窗口内，将过滤后且成功匹配的特征点p₁,p₂…p_N作为拟合椭圆的数据集合{P(u,v)}；

假设椭圆中心坐标为(u₀,v₀),半长轴为a,半短轴为b，长轴偏角为θ，对椭圆上任意点(u，v)建立椭圆方程通式：

u²+Auv+Bv²+Cu+Dv+E＝0，A、B、C、D、E是椭圆方程的待定系数，每一组A、B、C、D、E都可以确定一个固定位置的椭圆，由图像处理捕获的若干椭圆上的点可以拟合出一个椭圆方程。

其中，

将测得的数据集合{P(u,v)}，代入求目标函数F({P(u,v)})求最小值：

令F({P(u,v)})各项偏导数为零得：

求解该线性方程组解出A、B、C、D、E，即可求出拟合椭圆方程，进而解出拟合的中心位置C_center，并通过标记点匹配关系得到C_center的匹配关系。

参阅图8，步骤S8：根据预设标记点位置关系求期望点：

以椭圆圆心Ccenter作为最终特征点，标记点中心在目标物上的相对位置是已知的，根据标记点分布规则可计算出期望点。如下图所示，选取任意三个标记点得到△Q₁Q₂Q₃，中线交点即为期望点。

为了得到期望点的定位精度，设计了如下实验。

如图8所示，在目标物期望点处贴上标记点Q₄作为实际期望点坐标，标记点Q₁、Q₂、Q₃沿标记点Q₄圆周均匀分布用于计算理论期望点坐标。通过比较理论期望点坐标与实际期望点坐标得到期望点定位误差。实验分别求取Q₁、Q₂、Q₃中心坐标从而得到△Q₁Q₂Q₃。求取三角形两条中线l₁，l₂交点坐标P_L并与标记点Q₄中心坐标P_Q作差。定义期望点定位误差为E_P，则有：

其中P_Lx,P_Ly,P_Qy,P_Qy分别为交点坐标P_L、P_Q的横坐标、纵坐标。

分别在背光环境、自然光环境下对4种贴好标记点的目标物分别采集10组不同角度的图片进行计算，在计算过程中，每个标记点上采集的特征点数量N分别取7、15、20、30，得到如下数据。

表1不同环境下定位精度

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于标记点的目标物期望点跟踪匹配方法，其特征在于，包括以下步骤：

S1、确定期望点：对待抓取目标物进行几何测量，找到目标物期望跟踪匹配的点即期望点；

S2、标记点标记：在已知目标物期望点位置的情况下进行标记点标记，即以期望点为圆心，贴若干个均匀分布的圆形标记点；

S3、确定各标记点的提取区域：将训练好的YOLOv3检测器用于各种情况下的标记点检测，根据YOLOv3检测器检测的结果，对检测出的标记点进行框选，避免提取特征点时环境点的干扰；

S4、基于FAST检测算法特征点提取：采用FAST检测算法在YOLOv3框选的若干个区域内，提取若干个特征点；

S5、基于BRISK算法的特征点匹配：在得到特征点之后，通过BRISK算法得到特征点的描述子，利用PROSAC算法比较特征点之间的描述子，将特征点进行匹配；

S6、根据特征点匹配结果进行标记点匹配；

S7、椭圆拟合标记点求标记点中心；

S8、根据预设标记点位置关系求期望点。

2.根据权利要求1所述的一种基于标记点的目标物期望点跟踪匹配方法，其特征在于：在S1中，所述期望点为重心位置点。

3.根据权利要求1所述的一种基于标记点的目标物期望点跟踪匹配方法，其特征在于：在S4中，基于FAST检测算法特征点提取的步骤为：对原始FAST角点分别计算Harris响应值，根据响应值，选取前N个具有最大响应的值作为每个标记点的最终的特征点合集。

4.根据权利要求1所述的一种基于标记点的目标物期望点跟踪匹配方法，其特征在于：在S6中，根据特征点匹配结果进行标记点匹配的步骤包括以下：

记第一帧中第i个标记点为Q_1i，第二帧中第j个标记点为Q_2j，以标记点总数为3的标签为例，即i＝1，2，3；j＝1，2，3，基于特征点匹配结果，存在9种标记点匹配的情况{Q_1i＝Q_2j}，每种匹配情况正确匹配的概率为：

其中，

表示Q_1i标记点与Q_2j标记点上成功匹配的特征点数，N为标记点上采集的特征点总数；

设定阈值ε，当满足以下两个条件：

条件1：该匹配状态下的概率最大，即：

Pi＝max{P(Q_1i＝Q_2j),j＝1,2,3}

I＝1,2,3；

条件2：该匹配状态下的概率大于设定阈值ε，即：

Pi>ε

i＝1,2,3；

当满足以下条件1和条件2时，该概率下的匹配情况为正确的标记点匹配关系。

5.根据权利要求1所述的一种基于标记点的目标物期望点跟踪匹配方法，其特征在于：在S7中，椭圆拟合标记点求标记点中心的步骤包括以下：

首先对当前帧建立坐标系u0v，然后在YOLOv3跟踪的局部窗口内，将过滤后且成功匹配的特征点p₁,p₂…p_N作为拟合椭圆的数据集合{P(u,v)}；

{P(u,v)}＝{(u,v)|p₁,p₂…p_N}

假设椭圆中心坐标为(u₀,v₀),半长轴为a,半短轴为b，长轴偏角为θ，对椭圆上任意点(u，v)建立椭圆方程通式：

u²+Auv+Bv²+Cu+Dv+E＝0，其中A、B、C、D、E是椭圆方程的系数，

其中，

将测得的数据集合{P(u,v)}，代入求目标函数F({P(u,v)})求最小值：

令F({P(u,v)})各项偏导数为零得：

求解该线性方程组解出A、B、C、D、E，即可求出拟合椭圆方程，进而解出拟合的中心位置C_center，并通过标记点匹配关系得到C_center的匹配关系。

6.根据权利要求1所述的一种基于标记点的目标物期望点跟踪匹配方法，其特征在于：在S8中，以椭圆圆心C_center作为最终特征点，标记点中心在目标物上的相对位置是已知的，根据标记点分布规则可计算出期望点。

Images