CN105741320A - 一种高实时性机器视觉运动分析方法 - Google Patents

Abstract

本发明公开了一种高实时性机器视觉运动分析方法，通过双目摄像机实时采集图像，采用SURF方法提取并匹配当前帧左右图像特征点，并对前后帧左图特征点进行跟踪，得到前后帧跟踪匹配点对集合；直接采用奇异值分解方法计算运动参数，利用该参数计算跟踪匹配点误差并剔除包含粗大误差的跟踪匹配点对，得到有效跟踪匹配点对集合；最后再通过奇异值分解方法得到经优化的运动参数。本发明利用前后帧跟踪匹配点对集合中仅有极少数跟踪匹配点对存在粗大误差的特点，直接对所有跟踪匹配点对计算运动参数，进而通过运动参数剔除包含粗大误差的跟踪匹配点对，显著提高了运动分析精度，而且相对于其他运动分析优化方法大大减少了计算量，更有利于机器视觉运动分析的实际应用。

Description

一种高实时性机器视觉运动分析方法

技术领域

本发明涉及机器视觉运动分析的技术领域，具体涉及一种高实时性机器视觉运动分析方法，通过剔除包含粗大误差的跟踪匹配点对，以此进一步提高运动分析精度，相对于其他运动分析方法减少了计算量，更有利于机器视觉运动分析的实际应用。

背景技术

随着计算机视觉技术的不断发展，同时考虑到立体视觉信息量大，适用范围广的特点，利用立体视觉模拟人类双眼处理景物的方式来获得相机自身运动的方法越来越多地运用到无人驾驶以及自主导盲系统中。在这些系统中，视觉运动分析的精度和速度直接影响该系统的安全性和实用性。然而视觉运动分析中得到匹配点的匹配精度参差不齐，其中存在匹配误差较大的匹配点，这些匹配点只能得到误差较大的三维信息，而误差较大的三维信息将大大降低运动分析的精度。为了消除这些大误差匹配点的影响，通常采用RANSAC算法，从匹配点集中找到误差较小的匹配点集合，进而只利用小误差匹配点集进行运动分析，以提高运动分析的精度。但是，由于RANSAC算法是一种随机性方法，必须经过多次迭代才能获得较为精确的参数，而且迭代次数随特征点增多而增加，因此采用RANSAC算法获得精确参数的计算量很大，难以保证整体算法的实时性。

发明内容

本发明要解决的技术问题为：针对常规视觉运动分析中RANSAC算法因计算量大导致实时性差的问题，提出一种快速剔除包含粗大误差的跟踪匹配点对的方法，相对于其他运动分析优化方法减少了计算量，显著提高算法的实时性，更有利于机器视觉运动分析的实际应用。

本发明解决上述技术问题所采用的技术方案是：一种高实时性机器视觉运动分析方法，通过双目摄像机实时采集图像，采用SURF方法提取并匹配当前帧左右图像特征点，并对前后帧左图特征点进行跟踪，得到前后帧跟踪匹配点对集合；直接采用奇异值分解方法计算运动参数，利用该参数计算跟踪匹配点误差并剔除包含粗大误差的跟踪匹配点对，得到有效跟踪匹配点对集合；最后再通过奇异值分解方法计算优化后的运动参数。具体包括以下步骤：

步骤(1)、在实时采集双目摄像机图像的基础上，采用SURF方法提取并匹配当前帧左右图像特征点，得到左右图像匹配点对集合；

步骤(2)、对前后帧左图特征点进行跟踪，得到前后帧跟踪点对集合，关联当前帧与前一帧左右图像匹配点对集合，得到前后帧跟踪匹配点对集合；

步骤(3)、在计算所有跟踪匹配点对三维坐标的基础上，采用奇异值分解方法计算运动参数，并利用该参数得到跟踪匹配点对误差，剔除包含粗大误差的跟踪匹配点对，得到有效跟踪匹配点对集合；

步骤(4)、在计算有效跟踪匹配点对三维坐标的基础上，再一次采用奇异值分解方法计算得到经优化的运动参数。

本发明的基本原理是：基于机器视觉原理，匹配跟踪特征点得到前后帧跟踪匹配点对，利用前后帧跟踪匹配点对集合仅有极少数点对存在粗大误差的特点，直接对所有跟踪匹配点对进行奇异值分解，从而获得运动参数，并利用该参数剔除包含粗大误差的跟踪匹配点对，得到有效的跟踪匹配点对。在计算得到有效跟踪匹配点对三维坐标的基础上，再一次采用奇异值分解方法获得经优化的运动参数。

其中，利用前后帧跟踪匹配点对集合仅有极少数点对存在粗大误差的特点，直接对所有跟踪匹配点对进行奇异值分解，从而获得运动参数，并利用该参数剔除包含粗大误差的跟踪匹配点对，得到有效的跟踪匹配点对的基本原理是：直接对所有跟踪匹配点对进行奇异值分解得到的运动参数R_c，T_c，虽然计算过程中没有剔除跟踪匹配点对集合中包含粗大误差的跟踪匹配点对，但是考虑到跟踪匹配点对集合中仅有极少数点对存在粗大误差的特点，计算得到的运动参数R_c，T_c仍能作为衡量跟踪匹配点对误差E大小的一个标准。对于跟踪匹配点对误差E的定义如下：

E＝(P_c-R_cP_p-T_c)²

其中P_c，P_p分别代表当前帧和前一帧跟踪匹配点对的三维坐标。

对于每一个前后帧跟踪匹配点对都可以得到一个跟踪匹配点对误差{E_i|i＝1,2,…,m}，m为跟踪匹配点对的个数，计算跟踪匹配点对误差E的均值μ及其方差σ：

$\mathrm{\μ}=\frac{E_1+E_2+...+E_m}{m}$

$\mathrm{\σ}=\sqrt{\frac{{(E_1-\mathrm{\μ})}^2+{(E_2-\mathrm{\μ})}^2+\mathrm{...}+{(E_m-\mathrm{\μ})}^2}{m-1}}$

根据误差原理，我们将E_i>(μ+3σ)的跟踪匹配点对误差称为粗大误差，也正是粗大误差降低了由奇异值分解方法得到的运动参数的精度。因此需要将包含粗大误差的跟踪匹配点对剔除，进而得到有效的跟踪匹配点对。

本发明与现有技术相比的优点在于：只需要计算出所有前后帧跟踪匹配点对误差{E_i|i＝1,2,…,m}就能剔除所有包含粗大误差的跟踪匹配点对，得到有效跟踪点对。在计算有效跟踪匹配点对三维坐标的基础上，再一次采用奇异值分解方法计算得到经优化的运动参数。与多次迭代的RANSAC算法相比本发明不仅保证了运动分析参数的精度，而且大大减少了算法的计算量，更有利于机器视觉运动分析的实际应用。

附图说明

图1为本发明提出的一种高实时性机器视觉运动分析算法的总体流程图。

图2为本发明中SURF匹配流程图。

图3为本文发明中获得有效跟踪匹配点对流程图。

具体实施方式

下面结合附图以及具体实施例对本发明方法做详细说明：

步骤1：读取当前帧左右图像，用SURF方法分别提取左图像特征点集k1_c和右图像特征点集k2_c，计算左图像特征点描述子集d1_c和右图像特征点描述子集d2_c,并对当前帧左右图特征点集k1_c，k2_c进行SURF匹配，流程如附图2所示

步骤1-1：对于左图中每个特征点在右图中找到与其描述子向量距离最小的两个特征点，分别称之为最近邻和次近邻，并称左图特征点与右图最近邻以及次近邻的描述子向量距离为d₁，d₂；

步骤1-2：比例约束校验：设定比例约束阈值r，若左图某个特征点的则该特征点与最近邻匹配成功，得到从左图到右图的一组匹配；左图到右图的所有匹配点对集合m₁；

步骤1-3：一致性约束校验：交换匹配顺序，重复步骤1-1和1-2，得到从右图到左图的另一组匹配；右图到左图的所有匹配点对集合m₂；对比m₁和m₂，删除其中不一致的集合元素，得到匹配点对集合m₃。

步骤1-4：极线约束校验：利用左右摄像机的内、外参数，计算左图特征点对应的右图极线；设定阈值t，检验匹配点对集合m₃中对应的右图特征点到极线的距离dist，删去dist>t的匹配点对，得到最终的匹配点对集合M_c。

如果当前输入图像是第一帧，直接进入步骤5，更新前一帧左右图像特征点k1_p,k2_p，前一帧左右图像特征点描述子集d1_p，d2_p和前一帧左右图像匹配点对集合M_p。其中，前后帧左右图像匹配点对集合M_c，M_p包含了每一组匹配特征点描述子之间的向量距离以及每一组匹配特征点分别在左右图中的索引号。

步骤2：如果当前输入图像不是第一帧，由当前帧及前一帧左图像的特征点提取结果k1_p，k1_c，及计算得到的特征点描述子d1_p,d1_c跟踪前后帧左图特征点。采用步骤1-1至步骤1-3对前后帧特征点跟踪进行校验，得到前后帧左图之间的跟踪点对集合M_cp。结合当前帧匹配点对集合M_c以及前一帧匹配点对集合M_p，找到三个集合中拥有共同索引号的跟踪匹配点对。首先，找到M_c中左图特征点索引号与M_cp中当前帧特征点索引号相同的特征点，由此得到新的当前帧匹配点对集合newM_c和新的前后帧跟踪点对集合newM_cp,这两个集合大小相同而且其中元素一一对应；进而找到newM_cp前一帧特征点索引号与M_p左图特征点索引号相同的特征点，最终能够得到关联三个集合的前后帧跟踪匹配点对集合。

步骤3：对于跟踪匹配点对误差E的定义如下：

E＝(P_c-R_cP_p-T_c)²

其中P_c，P_p分别代表当前帧和前一帧跟踪匹配点对的三维坐标。

对于每一个前后帧跟踪匹配点对都可以得到一个跟踪匹配点对误差{E_i|i＝1,2,…,m}，m为跟踪匹配点对的个数，计算跟踪匹配点对误差E的均值μ及其方差σ：

$\mathrm{\μ}=\frac{E_1+E_2+...+E_m}{m}$

$\mathrm{\σ}=\sqrt{\frac{{(E_1-\mathrm{\μ})}^2+{(E_2-\mathrm{\μ})}^2+\mathrm{...}+{(E_m-\mathrm{\μ})}^2}{m-1}}$

根据误差原理，我们将E_i>(μ+3σ)的跟踪匹配点对误差称为粗大误差，也正是粗大误差降低了由奇异值分解方法得到的运动参数的精度。因此需要将包含粗大误差的跟踪匹配点对剔除，进而得到有效的跟踪匹配点对。算法流程如附图3所示。

步骤4：计算有效跟踪匹配点对在当前帧及前一帧摄像机坐标系下的三维坐标为P_c(X_c,Y_c,Z_c)，P_p(X_p,Y_p,Z_p)。得到n对前后帧对应特征点三维坐标{P_cj,P_pj|j＝1,2,…,n},其中P_cj，P_pj之间存在如下关系：

P_cj＝RP_pj+T

其中P_cj，P_pj分别代表当前帧和前一帧中第j个特征点对应的左摄像机坐标系下的三维坐标，矩阵R和向量T分别代表相机的旋转矩阵和平移矢量。

采用奇异值分解计算旋转矩阵R和平移矢量T的最优解，具体算法如下：

1、计算前后帧对应特征点三维坐标集P_cj(j＝1,2,…,n)和P_pj(j＝1,2,…,n)的质心：

${\stackrel{\‾}{P}}_c=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{P}_{\mathrm{cj}},{\stackrel{\‾}{P}}_p=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{P}_{\mathrm{pj}};$

2、特征点三维坐标集中每个点都减去质心这样就形成了一对新的特征点三维坐标集

3、计算其中n为匹配点对个数；

4、对Q做奇异值分解，Q＝UDV^T；

5、若det(U)*det(V)＝1，R＝VU^T；若det(U)*det(V)＝-1，则R＝VSU^T，其中S＝[diag(1,1,…,-1)_N]；

6、最后求得 $T=\stackrel{\‾}{P_p}-R^{-1}\stackrel{\‾}{P_c}.$

步骤5：更新前一帧左右图像特征点k1_p,k2_p，前一帧左右图像特征点描述子集d1_p，d2_p和前一帧左右图像匹配点对集合M_p。返回步骤1。

Claims (5)

1.一种高实时性机器视觉运动分析方法，其特征在于，该方法包括下列步骤：

步骤(1)、在实时采集双目摄像机图像的基础上，采用SURF方法提取并匹配当前帧左右图像特征点，得到左右图像匹配点对集合；

步骤(2)、对前后帧左图特征点进行跟踪，得到前后帧跟踪点对集合，关联当前帧与前一帧左右图像匹配点对集合，得到前后帧跟踪匹配点对集合；

步骤(3)、在计算所有跟踪匹配点对三维坐标的基础上，采用奇异值分解方法计算运动参数，并利用该参数得到跟踪匹配点对误差，剔除包含粗大误差的跟踪匹配点对，得到有效跟踪匹配点对集合；

步骤(4)、在计算有效跟踪匹配点对三维坐标的基础上，再一次采用奇异值分解方法计算得到经优化的运动参数。

2.根据权利要求1所述的高实时性机器视觉运动分析方法，其特征在于：所述的步骤(1)中采用SURF方法提取特征点并计算特征点描述子，在右图中找到与左图特征点描述子向量距离最小和次小的特征点分别称为最近邻与次近邻，以上称为初步匹配；再通过比例约束，对称性约束以及极线约束消除初步匹配中存在的误匹配，最终得到较为精确的左右图匹配点对集合。

3.根据权利要求1所述的高实时性机器视觉运动分析方法，其特征在于：所述的步骤(2)中对当前帧的特征点在前一帧找到其最近邻与次近邻，再通过比例约束和对称性约束消除初步跟踪中存在的误跟踪，得到较为精确的前后帧左图跟踪点对集合，结合步骤(1)中得到的当前帧及前一帧的左右图匹配点对集合，分别在前一帧和当前帧中找到左图跟踪点对在右图的匹配点，得到一个前后帧跟踪匹配点对，通过遍历跟踪点对集合最终能够得到跟踪匹配点对集合。

4.根据权利要求1所述的高实时性机器视觉运动分析方法，其特征在于：所述的步骤(3)在计算所有跟踪匹配点对三维坐标的基础上，采用奇异值分解方法计算运动参数，并利用该参数得到跟踪匹配点对误差，剔除包含粗大误差的跟踪匹配点对，得到有效跟踪匹配点对集合，其步骤包括：

步骤(31)、利用步骤(2)得到的跟踪匹配点对集合计算所有跟踪匹配点对三维坐标，在此基础上通过奇异值分解方法计算运动参数R_c，T_c，对于每一个跟踪匹配点对通过运动参数R_c，T_c都能够计算得到一个跟踪匹配点对误差E。

步骤(32)、计算跟踪匹配点对误差E的均值μ和方差σ，剔除跟踪匹配点对误差大于(μ+3σ)的前后帧跟踪匹配点对，得到有效跟踪匹配点对集合。

5.根据权利要求1所述的基于特征点筛选的高实时性机器视觉运动分析方法，其特征在于：所述的步骤(4)中在计算有效跟踪匹配点对三维坐标的基础上，再一次采用奇异值分解方法计算得到经优化的运动参数。