CN112085117B - 一种基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信息融合方法 - Google Patents

Abstract

本发明涉及基于MTLBP‑Li‑KAZE‑R‑RANSAC的机器人运动监测视觉信息融合方法，是一种对国防军事和民用领域机器人运动监测的的分布式视觉信息融合的方法，属于目标跟踪领域，其特征在于采用如下步骤：(1)确定中心元素LBP值；(2)确定每一子区域内的8维描述向量；(3)计算两个描述向量之间的近似欧式距离；(4)进行图像的匹配点对，确定图像间投影变换的参数矩阵；(5)对剩下的特征点对进行dv操作；(6)确定采样迭代次数；(7)确定似然比；(8)确定最佳阈值。本发明相较于传统的识别方法有着高精度、高效率、低延时的特点，大大提高目标识别的速度。对于错误数据的识别和剔除有着较为准确的判断，提高精确信息的置信度，获得更准确的识别结果。

Description

一种基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信 息融合方法

技术领域

本发明涉及目标跟踪领域，主要是一种国防军事和民用领域中机器人运动监测的分布式视觉信息的融合方法。

背景技术

目标识别追踪，在无人驾驶，国防军事等领域有着重要的应用实践，对于传统的目标追踪通常是利用红外或其它机器视觉手段标记出目标对应的关键点或关键部分，然后通过对关键点标志的检测，或者测标志在空间中的位置或者其动态背景的变换，结合RANSAC算法从而实现对于目标物体的追踪，但是由于旋转角度或者光线背景的变化、目标物体由远及近的状态变化导致的其形态大小的改变，容易导致关键点或关键部分的丢失或变化，或者在获取目标信息的数据集时，容易产生大量异常数据需要从中剔除，不然极其容易导致对于目标的跟踪失败。并且由于实时的数据获取需要采样大量的数据模型，传统的系统处理速度达不到实时性的要求，从而产生识别延迟，亦对于目标物体的追踪容易失败。对于以上问题，拟提出一种基于MTLBP和Li-KAZE以及R-RANSAC算法的视觉信息融合方法，来改善和解决以上的不足，从而达到高精度、高效率、低延时的目的。

此种方法针对图像的尺度变换、仿射变换等几何变换有着较为准确的识别，MTLBP算子在同尺度不同角度上纹理特征提取，增加特征点的来源，提高模型泛化力。Li-KAZE算子具有尺度不变特性和旋转不变特性，在图像特征点提取中具有较好的效果。获取的关键帧通过图像特征点匹配后，采用R-RANSAC算法对错误的匹配点进行剔除，提高算法到的精确度，保证视觉信息的准确性。本方法相较于传统方法有着较为准确匹配识别率和实时性。

发明内容

针对上述现有技术中存在的问题，本发明要解决的技术问题是提供一种基于MTLBP-Li-KAZE-R- RANSAC的机器人运动监测视觉信息融合方法，其具体流程如图1所示。

技术方案实施步骤如下：

(1)确定中心元素的LBP值LBP(x_c,y_c)：

在视觉信息中确定一定大小的像素邻域，设定一组阈值g_i(i＝0,1,2,…,n)，以中心像素与周围邻域像素之差的绝对值|i_p-i_c|，与g_i比较，当|i_p-i_c|大于设定阈值时，则该位置标记为1，否则标记为0,。比较后，顺时针排列得到的二进制数，得到该中心像素的LBP值LBP(x_c,y_c)：

式中，(x_c,y_c)、i_c是中心像素的位置和灰度值，p、i_p为中心像素邻域内的采样点和灰度值，符号函数

(2)确定每一子区域内的m维描述向量d：

确定机器人运动监测视觉信息的特征点，以特征点为圆心，尺度参数为σ_i，取半径为12σ_i的圆形区域作为特征点邻域，对其进行核为2.5σ_i的高斯加权，然后将其划分为5个圆环子区域，宽度为4σ_i，有σ_i重叠环。之后确定每一子区域的m维描述向量d：

d＝(∑L_x,∑L_y,∑|L_x|,∑|L_y|,∑L_xx,∑L_yy,∑|L_xx|,∑|L_yy|)

式中，L_x，L_y，L_xx，L_yy分别为滤波视觉信息图像L的一阶与二阶微分，|L_x|，|L_y|，|L_xx|，|L_yy| 为对应的绝对值。

生成n个m维子向量，经过归一化，最终得到n×m维的特征向量。

(3)计算两个描述向量之间的近似欧式距离L₂(x,y)：

首先，在m×n维空间中，计算两向量间的街区距离L₁(x,y)：

接着计算两向量间的棋盘距离L_∞：

确定两向量间的近似欧式距离L₂：

L₂＝α(L₁+L_∞)

在上述式子中，x，y分别表示两个同维度的向量，i为向量中的第i维，表达式中的α为一个与维度相关的实数，α的表达式为：

式中，m×n是向量维数。

(4)进行图像的匹配点对，确定两图像间投影变换的参数矩阵H：

式中，a₁、a₂、a₄、a₅是表示特征匹配点对内两个特征点的尺度变换和旋转变换比例的数值，a₃、 a₆表示特征匹配点对内两个特征点的平移距离，a₇和a₈为水平方向和竖直方向的形变量，a₉为常数值1。在图像的匹配过程中，从I对预匹配点对中随机选取n对初始匹配点对，在选取的点对中，需每个图像中任意n-1个点不在一条直线上。

(5)对剩下I-n对特征点(a_i,a_i')进行dv操作：

dv＝d(a’_i,Ha_i)

若dv小于阈值T，则认为该特征匹配对为内点，否则为外点。设当前最佳估计内点数目N_i为0，比较当前内点数目，若大于N_i则当前转换关系H为当前最佳矩阵估计，更新N_i的值。

(6)确定采样迭代次数N：

假设至少有一次采样的n对点均为内点的概率为p，ε为一次采样为误匹配点对的概率，S是每次迭代使用的匹配点对数目，当ε未知的时候，在计算过程中动态估计ε和N的值，当迭代次数达到N后，保留变换H和当前的内点集，并停止迭代。

(7)确定似然比λ_i：

遍历所选择的数据集中的数据，计算约束条件下似然函数的最大值和无约束条件下似然函数的最大值，之后确定似然比λ_i：

式中，i为数据总数，x_r为数据集中的数据，H_g为假设模型为正确，H_b为假设模型为错误。

通过λ_i与阈值H比较，确定数据集中的数据是否与模型匹配。若λ_i大于阈值H,则模型被认为不精确，舍弃后继续检测下一个样本点。

(8)确定最佳阈值H^*：

式中，m_s为模型检测每个样本所花费的平均时间，p(1|H_g)为随机选取一个点以匹配当前模型的概率，p(1|H_b)为随机选取一个点不满足当前模型的概率，设：

p(1|H_b)＝ρ；p(0|H_b)＝1-ρ

p(1|H_g)＝1-δ；p(0|H_g)＝δ

本发明比现有技术具有的优点：

(1)本方法采用MTLBP和Li-KAZE算子，相较于传统的识别方法有着高精度、高效率、低延时的特点，可以大大提高目标识别的速度。

(2)本方法相较于传统方法有着较为准确匹配识别率和实时性。对于错误数据的识别和剔除有着较为准确的判断，从而提高精确信息的置信度，获得更为准确的识别结果。

附图说明

为了更好的理解本发明，下面结合附图作进一步的说明。

图1是建立基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信息融合方法的步骤流程图；

图2是建立基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信息融合方法流程图；

图3是利用本发明对四组机器人运动监测视觉信息进行融合的结果；

具体实施方案

下面通过实施案例对本发明作进一步详细说明。

本实施案例选用的数据集一共有1000组样本，其中从网上搜素随机选取，包含科技、植物、动物等各个方面的图片有700组，自己实际拍摄的照片有300组，包含各个角度，各个环境条件，之后将来源不同的两类图片进行随机混合，进行样本的信息融合。

本发明所提供的机器人运动监测视觉信息融合方法整体流程图如1所示，具体步骤如下：

(1)确定中心元素的LBP值LBP(x_c,y_c)：

在视觉信息中确定一定大小的像素邻域，设定一组阈值g_i(i＝0,1,2,…,n)，以中心像素与周围邻域像素之差的绝对值|i_p-i_c|，与g_i比较，当|i_p-i_c|大于设定阈值时，则该位置标记为1，否则标记为0,。比较后，顺时针排列得到的二进制数，得到该中心像素的LBP值LBP(x_c,y_c)：

式中，(x_c,y_c)、i_c是中心像素的位置和灰度值，p、i_p为中心像素邻域内的采样点和灰度值，符号函数

(2)确定每一子区域内的8维描述向量d：

确定机器人运动监测视觉信息的特征点，以特征点为圆心，尺度参数为σ_i，取半径为12σ_i的圆形区域作为特征点邻域，对其进行核为2.5σ_i的高斯加权，然后将其划分为5个圆环子区域，宽度为4σ_i，有σ_i重叠环。之后确定每一子区域的8维描述向量d：

d＝(∑L_x,∑L_y,∑|L_x|,∑|L_y|,∑L_xx,∑L_yy,∑|L_xx|,∑|L_yy|)

式中，L_x，L_y，L_xx，L_yy分别为滤波视觉信息图像上L的一阶与二阶微分，|L_x|，|L_y|，|L_xx|，|L_yy| 为对应的绝对值。

生成5个8维子向量，经过归一化，最终得到40维的特征向量。

(3)计算两个描述向量之间的近似欧式距离L₂(x,y)：

首先，在40维空间中，计算两向量间的街区距离L₁(x,y)：

接着计算两向量间的棋盘距离L_∞：

确定两向量间的近似欧式距离L₂：

L₂＝α(L₁+L_∞)

在上述式子中，x，y分别表示两个同维度的向量，i为向量中的第i维，表达式中的α为一个与维度相关的实数，α的表达式为：

式中，新特征维数为40，因此α为0.595。

(4)进行图像的匹配点对，确定两图像间投影变换的参数矩阵H：

式中，a₁、a₂、a₄、a₅是表示特征匹配点对内两个特征点的尺度变换和旋转变换比例的数值，a₃、 a₆表示特征匹配点对内两个特征点的平移距离，a₇和a₈为水平方向和竖直方向的形变量，a₉为常数值1。在图像的匹配过程中，从I对预匹配点对中随机选取4对初始匹配点对，在选取的点对中，需每个图像中任意3个点不在一条直线上。

(5)对剩下I-4对特征点(a_i,a’_i)进行dv操作：

dv＝d(a’_i,Ha_i)

若dv小于阈值T，则认为该特征匹配对为内点，否则为外点。设当前最佳估计内点数目N_i为0，比较当前内点数目，若大于N_i则当前转换关系H为当前最佳矩阵估计，更新N_i的值。

(6)确定采样迭代次数N：

假设至少有一次采样的4对点均为内点的概率为p，ε为一次采样为误匹配点对的概率，S是每次迭代使用的匹配点对数目，在本设计中，S＝4，ε＝0.8，则迭代次数N＝320后，迭代结束，保留变换H 和当前的内点集。

(7)确定似然比λ_i：

遍历所选择的数据集中的数据，计算约束条件下似然函数的最大值和无约束条件下似然函数的最大值，之后确定似然比λ_i：

式中，i为数据总数，x_r为数据集中的数据，H_g为假设模型为正确，H_b为假设模型为错误。

通过λ_i与阈值H比较，确定数据集中的数据是否与模型匹配。若λ_i大于阈值H,则模型被认为不精确，舍弃后继续检测下一个样本点。

(8)确定最佳阈值H^*：

式中，m_s为模型检测每个样本所花费的平均时间，p(1|H_g)为随机选取一个点以匹配当前模型的概率，p(1|H_b)为随机选取一个点不满足当前模型的概率，设：

p(1|H_b)＝ρ；p(0|H_b)＝1-ρ

p(1|H_g)＝1-δ；p(0|H_g)＝δ

为了验证本发明对机器人运动监测视觉信息融合的准确性，对本发明进行了四组信息融合实验，实验结果如图3所示。由图3所知，本发明建立的基于MTLBP-Li-KAZE-R-RANSAC的算法对机器人运动监测视觉信息融合的准确率均保持在94％以上，能够在保证实时性的上达到较高的准确率和实时性。这表明本发明建立的基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信息融合方法是有效的，为准确快速建立视觉信息的融合提供了一种很好的方法，具有一定的实用性。

Claims (1)

1.一种基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信息融合方法，其特征在于：(1)确定中心元素LBP值；(2)确定每一子区域内的8维描述向量；(3)计算两个描述向量之间的近似欧式距离；(4)进行图像的匹配点对，确定图像间投影变换的参数矩阵；(5)对剩下的特征点对进行dv操作；(6)确定采样迭代次数；(7)确定似然比；(8)确定最佳阈值；具体包括以下八个步骤：

步骤一：确定中心元素的LBP值LBP(x_c,y_c)：

在视觉信息中确定一定大小的像素邻域，设定一组阈值g_i(i＝0,1,2,…,n)，以中心像素与周围邻域像素之差的绝对值|i_p-i_c|，与g_i比较，当|i_p-i_c|大于设定阈值时，则位置标记为1，否则标记为0，比较后，顺时针排列得到的二进制数，得到该中心像素的LBP值LBP(x_c,y_c)：

式中，(x_c,y_c)、i_c是中心像素的位置和灰度值，p、i_p为中心像素邻域内的采样点和灰度值，符号函数

步骤二：确定每一子区域内的m维描述向量d：

确定机器人运动监测视觉信息的特征点，以特征点为圆心，尺度参数为σ_i，取半径为12σ_i的圆形区域作为特征点邻域，对其进行核为2.5σ_i的高斯加权，然后将其划分为5个圆环子区域，宽度为4σ_i，有σ_i重叠环；之后确定每一子区域的m维描述向量d：

d＝(∑L_x,∑L_y,∑|L_x|,∑|L_y|,∑L_xx,∑L_yy,∑|L_xx|,∑|L_yy|)；

式中，L_x，L_y，L_xx，L_yy分别为滤波视觉信息图像L的一阶与二阶微分，|L_x|，|L_y|，|L_xx|，|L_yy|为对应的绝对值；

生成n个m维子向量，经过归一化，最终得到n×m维的特征向量；

步骤三：计算两个描述向量之间的近似欧式距离L₂(x,y)：

首先，在m×n维空间中，计算两向量间的街区距离L₁(x,y)：

接着计算两向量间的棋盘距离L_∞：

确定两向量间的近似欧式距离L₂：

L₂＝α(L₁+L_∞)；

在上述式子中，x，y分别表示两个同维度的向量，i为向量中的第i维，表达式中的α为一个与维度相关的实数，α的表达式为：

式中，m×n是向量维数；

步骤四：进行图像的匹配点对，确定两图像间投影变换的转换关系H：

式中，a₁、a₂、a₄、a₅是表示特征匹配点对内两个特征点的尺度变换和旋转变换比例的数值，a₃、a₆表示特征匹配点对内两个特征点的平移距离，a₇和a₈为水平方向和竖直方向的形变量，a₉为常数值1；在图像的匹配过程中，从I对预匹配点对中随机选取n对初始匹配点对，在选取的点对中，需每个图像中任意n-1个点不在一条直线上；

步骤五：对剩下I-n对特征点(a_i,a′_i)进行dv操作：

dv＝D(a′_i,Ha_i)；

其中，若dv小于阈值T，则认为该特征匹配对为内点，否则为外点，设当前最佳估计内点数目N_i为0，比较当前内点数目，若大于N_i则当前转换关系H为当前最佳矩阵估计，更新N_i的值；

步骤六：确定采样迭代次数N：

假设至少有一次采样的n对点均为内点的概率为p，ε为一次采样为误匹配点对的概率，S是每次迭代使用的匹配点对数目，当ε未知的时候，在计算过程中动态估计ε和N的值，当迭代次数达到N后，保留变换H和当前的内点集，并停止迭代；

步骤七：确定似然比λ_i：

遍历所选择的数据集中的数据，计算约束条件下似然函数的最大值和无约束条件下似然函数的最大值，之后确定似然比λ_i：

式中，i为数据总数，x_r为数据集中的数据，H_g为假设模型为正确，H_b为假设模型为错误；

通过λ_i与阈值E比较，确定数据集中的数据是否与模型匹配；若λ_i大于阈值E,则模型被认为不精确，舍弃后继续检测下一个样本点；

步骤八：确定最佳阈值H^*：

式中，m_s为模型检测每个样本所花费的平均时间，p(1|H_g)为随机选取一个点以匹配当前模型的概率，p(1|H_b)为随机选取一个点不满足当前模型的概率，设：

Images