CN104023228A - 一种基于全局运动估计的自适应室内视觉定位方法 - Google Patents

Abstract

本发明涉及一种基于全局运动估计的自适应室内视觉定位方法。首先以改进的MIC算法和SURF算法为基础进行特征点的提取和匹配，运用Kalman滤波估计每次匹配图像的重叠区域；然后只在重叠区域上进行特征点的检测和匹配，用全局运动估计方法计算序列图像中连续两幅图像的偏移量；最后根据匹配结果用六参数仿射模型估计摄像头的位移，在上位机界面实时绘制摄像头真实移动轨迹，并根据设定的无线信标对绘制的轨迹进行校正。本发明在重叠区域而非整幅图像上进行角点的检测、描述和匹配，使用改进的MIC算法进行检测，提高了特征点提取的有效性、模型的估计精度和执行速度。采用无线信标为摄像头的位置信息做校准，提高了定位精度。

Description

一种基于全局运动估计的自适应室内视觉定位方法

技术领域

本发明属于图像处理领域。涉及一种利用计算机技术、数字图像处理技术和光学技术实现室内视觉定位的方法。具体涉及一种基于全局运动估计的自适应室内视觉定位方法，通过对摄像头摄取视频图像的自动分析，判断摄像头的位移大小和方向。

背景技术

室内是人类活动最密集的场所，因此对于室内位置服务的研究具有重要意义。由于室内环境存在多径、非视距、复杂多变等特点，GPS信号很微弱甚至接收不到，因此室内不能应用像GPS等广泛用于室外的定位技术。基于视觉的室内定位技术因其设备简单，能克服室内多变的环境，而成为近年来室内定位技术研究的焦点。而全局运动估计算法是影响视觉定位技术的重要因素。

根据运动矢量场获取方式的不同，全局运动估计算法可划分为三类：一是基于像素的方法，二是基于特征的方法，三是基于分块的方法。对于全局运动估计，国际上已有相当多的学者做了大量的研究工作。Ye等利用基于像素相关和直方图统计的方法，得到出现概率最高的全局运动参数，但是由于像素噪声的大量存在，这种方法得到的运动参数误差比较大。Barfoot采用SIFT特征匹配法解决了三维运动估计问题，但要依靠预先放置的路标等参照物，而且速度较慢。Li提出了基于背景提取来提高全局运动估计精度和速度的算法，但没有考虑全局运动估计的实时性，算法计算量依然比较大。近年来，对于很多全局运动估计方法，一个主要的问题是计算量较大，导致参数估计速度慢，因而限制了它们的应用，难以满足定位的需要，提高实时性成为一个首要的问题。

发明内容

为了减少全局运动估计的计算量，提高估计速度，本发明提出一种基于全局运动估计的自适应室内视觉定位方法，通过对摄像头摄取视频图像的自动分析，判断摄像头的位移大小和方向。

为了实现上述目的，本发明采取如下技术方案：首先以改进的最小亮度变化快速角点检测算法(Minimum Intensity Change，MIC)和SURF(Speed Up Robust Features)算法为基础进行特征点的提取和匹配，运用Kalman滤波估计每次匹配图像的重叠区域；然后只在重叠区域上进行特征点的检测和匹配，用全局运动估计方法计算出序列图像中连续两幅图像的偏移量，以提高该方法的实时性；最后根据匹配结果用六参数仿射模型估计出摄像头的位移大小和方向，在上位机界面实时绘制出摄像头真实移动轨迹，并根据设定的无线信标信息对绘制的轨迹进行校正。

一种基于全局运动估计的自适应室内视觉定位方法，依次包括下述步骤：

步骤1，摄像头采集地面图像信息，得到当前帧和参考帧图像，对图像进行自适应平滑滤波预处理，然后把彩色图像转换成灰度图像。

步骤2，在Kalman滤波算法能够准确预测重叠区域前需要进行M次匹配。如果两幅图像成功匹配的次数小于M次，则在原图上执行步骤3；如果大于M次，进而在重叠区域执行步骤3。

M值越大精度越高，但计算量越大，实验表明M＝5时满足精度要求。

Kalman滤波算法具体方法如下所示：

(1)读入当前匹配之前的五次匹配数据：X轴和Y轴偏移量；

(2)由Kalman滤波算法的状态预测方程得到当前匹配的重叠区域：(X轴和Y轴偏移量)；

(3)根据预测出的X轴和Y轴偏移量进行优化。

如果X轴或Y轴的偏移量过大，可能是由于预测误差所导致，以至于两幅图像的重叠区域过小，找不到匹配点或成功匹配点数太少，需要强制配置一个比较适当的重叠区域；如果X轴或Y轴的偏移量过小，在两幅图像匹配时，可能会产生大量的信息冗余，需要强制配置一个比较适当的重叠区域。

(4)输出X轴和Y轴偏移量。

步骤3，用改进MIC算法提取特征点。

改进MIC算法使用了USAN(Univalve Segment Assimilating Nucleus)的概念，采用8邻域线性插值法简单地判断所提取的特征点是不是角点，方法如下：

如果R>T，则认为当前点为角点。其中，R＝min(r_L，r_H，r_F，r_I),H,F,I，L、H、F、I为正方形模板边界上的点，如图3所示，r_L，r_H，r_F，r_I表示为模板内任意方向的角点响应函数，T为设定的阈值。

步骤4，根据步骤3得到的特征点，分别对每一个特征点用SURF算法进行特征点主方向的确定。

步骤5，对确定了主方向的特征点进行特征点描述，最终形成一个64维的特征向量。

步骤6，根据步骤5中得到的当前图像和前一帧图像中的特征点，通过欧式距离公式求出任意两幅图像中的两个特征点在多维空间中的实际距离，用最近邻特征点距离与次近邻特征点距离之比确定初始匹配点对，实现图像的配准。

步骤7，采用六参数仿射模型，得到当前帧图像相对于参考帧图像的偏移量。换算成为摄像机的坐标偏移量，把数据传到上位机，在上位机上实时的绘制出摄像头的移动轨迹。

步骤8，视觉图像定位属于推算定位，在定位的过程中存在累积误差，根据设定的无线信标对绘制的轨迹进行校正。

步骤9，判断当前帧图像是否为空，如果不为空，则继续；若为空，则结束。

本发明旨在根据摄像头获取的地面序列图像，用基于自适应的全局运动估计方法计算出图像之间的偏移位置大小和方向，从而估计出摄像头的移动方向和大小，在上位机实时地画出摄像头的移动轨迹。与现有技术相比，本发明具有以下优点：

(1)不受摄像机所在环境的影响，使用卡尔曼滤波算法能够快速精确地预测出待匹配两帧图像的重叠区域。

(2)在重叠区域而非整幅图像上进行角点的检测、描述和匹配，能提高特征点提取的有效性和模型估计的精确度。

(3)采用无线信标为摄像头的位置信息做校准，提高了定位精度。

(4)在重叠区域使用改进的MIC算法进行检测，缩短了执行时间，能够满足室内人员定位的实时性要求。

附图说明

图1是本发明所述方法流程图；

图2是3种典型的USAN形状示意图；

图3是8邻域线性插值示意图；

图4是实验区域示意图；

图5摄像头移动效果图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

实验所采有线摄像头，像素为640×480，分辨率为96dpi，视频帧率为30fps。

本发明所述方法的流程图如图1，具体实施过程如下：

(1)摄像头采集地面图像信息，从序列的第零帧图像开始提取出两幅图像，第零帧为参考帧，另一幅图像为当前帧。对图像进行自适应平滑滤波预处理，然后把彩色图像转换成灰度图像。

(2)在Kalman滤波算法能够准确预测重叠区域前需要进行M次匹配。如果两幅图像成功匹配的次数小于M次，则在原图上执行步骤3；如果大于M次，进而在重叠区域执行步骤3。本实施例取M＝5。

Kalman滤波算法的具体方法如下所示：

1)读入当前匹配之前的5次匹配数据：X轴和Y轴偏移量。

2)由Kalman滤波算法的状态预测方程得到下一次的偏移量，根据偏移量得到当前帧和参考帧图像的重叠区域。

3)根据预测出的X轴和Y轴偏移量进行优化，如果X轴或Y轴的偏移量过大，可能是由于预测误差所导致，以至于两幅图像的重叠区域过小，找不到匹配点或成功匹配点数太少，需要强制配置一个比较适当的重叠区域；如果X轴或Y轴的偏移量过小，在两幅图像匹配时，可能会产生大量的信息冗余，需要强制配置一个比较适当的重叠区域。

4)输出X轴和Y轴偏移量。

由于角点检测是在重叠区域而不是整幅图像上进行，检测区域的面积减少，因而检测到的角点个数减少，减小了计算量，提高了本发明所述方法的实时性。

(3)用改进MIC算法提取特征点。改进MIC算法使用了USAN的概念，参见图2，定义角点响应函数CRF为：

CRF＝min((I_P-I_N)²+(I_P'-I_N)²)

式中，I_N为核心点N的灰度值，I_P、I_P'分别为点P和P’的灰度值。

图3是8邻域线性插值示意图，采用8邻域线性插值的方法简单地判断是不是角点的方法如下：

如果R>T，则认为当前点为角点，其中，R＝min(r_L，r_H，r_F，r_I),H,F,I，T为设定的阈值，L,H,F,I为正方形模板边界上的点，r_L，r_H，r_F，r_I为模板内任意方向的角点响应函数，公式为：

r_L＝(I_L-I_C)²+(I_L'-I_C)²

r_H＝(I_H-I_C)²+(I_H'-I_C)²

r_F＝(I_F-I_C)²+(I_F'-I_C)²

r_I＝(I_I-I_C)²+(I_I'-I_C)²

其中，I_C为核心点C的灰度值，I_X为点X的灰度值，X∈(L,H,F,I,L',H',F',I')，其中L',H',F',I'分别为L,H,F,I关于核心点C的对称点。

(4)根据步骤(3)得到的特征点，分别对每一个特征点用SURF算法进行特征点主方向的确定。以特征点为中心，划出以6s为半径的圆邻域，然后计算圆内的所有特征点在X和Y方向上的Haar小波响应，以60度为窗口对整个圆形区域遍历一周，落入窗口中的所有点的Haar小波响应相加形成最长的矢量就为该中心点的主方向。

(5)对确定主方向了的特征点进行特征点描述。把特征点的邻域分成4×4个小区域，每一个小区域可以用一个4维向量(Σd_x,Σd_y,Σ|d_x|,Σ|d_y|)表示，这样就形成了64维的向量，把该向量作为此特征点的特征描述。其中，Σd_x为Haar小波计算得到的特征点X轴方向的响应值，Σd_y是Haar小波计算得到的特征点Y轴方向上的响应值，|Σd_x|是特征点X轴正方向上的响应值，|Σd_y|特征点Y轴正方向上的响应值。

(6)根据步骤(5)中得到的当前图像和前一帧图像中的特征点，通过欧式距离公式求出任意两幅图像中的两个特征点在多维空间中的实际距离，用最近邻特征点距离与次近邻特征点距离之比确定初始匹配点对，实现图像的配准。公式如下：

$R=\frac{d(R_1,S_1)}{d(R_2,S_2)}$

其中，d(R₁,S₁)为最近的欧几里得距离，d(R₂,S₂)为次近的欧几里得距离，当R小于某一特定阈值(阈值取经验值0.48)，则认为当前特征点对匹配成功，相反，则认为特征点不匹配。

(7)采用六参数仿射模型，得到当前帧图像相对于参考帧图像的偏移量。偏移量主要包含相对于X轴上发生的偏移量Δx与Y轴上发生的偏移量Δy。摄像机发生位移变化的六参数仿射模型表达式如下：

$\begin{array}{c}\left[\begin{array}{c}{x}_{i+1}\\ y_{i+1}\end{array}\right]=\left[\begin{array}{cc}{a}_1& a_2\\ a_4& a_5\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]+\left[\begin{array}{c}{a}_3\\ a_6\end{array}\right]\\ =\left[\begin{array}{cc}k\cos \mathrm{\θ}& -k\sin \mathrm{\θ}\\ k\sin \mathrm{\θ}& k\cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]+\left[\begin{array}{c}c\\ d\end{array}\right]\end{array}$

(x_i,y_i)和(x_i+1,y_i+1)分别为参考帧和当前帧中像素的坐标，(a₁,a₂,a₃,a₄,a₅,a₆)为视频帧图像间的变换参数，a₃、a₆与图像的平移运动有关，a₁、a₂、a₄、a₅与图像的缩放、旋转运动有关。k为缩放运动参数，并假设摄像机在水平X方向和垂直Y方向上的缩放系数一致；θ为相对于图像中心的旋转角度，c为横坐标偏移量，d为纵坐标偏移量。

(8)根据步骤(7)中计算出的当前帧相对于参考帧的偏移大小和方向，换算成为摄像机的坐标偏移量，把数据传到上位机，在上位机上实时的绘制出摄像头的移动轨迹。

(9)进行校准。假定实验是在一个100m×50m的一个长方形楼道内实施，如图4所示，每隔50m设置一个无线信标，坐标点(0,0)、(0,50)、(50,0)、(100，0)、(50,50)、(100,50)处都是无线信标所在位置，摄像头在起点坐标(0,0)处，并提前在无线信标里写入无线信标所在的位置信息，把无线信标接收器安装在摄像头上，随摄像头移动。当无线信标接收器进入以无线信标为中心的圆形区域内时，不断地接收无线信标发出的位置信息，记录下信息最强点的位置即为无线信标的坐标，把从无线信标读取到的坐标信息与算法计算的摄像头的坐标位置作比对，如果不统一，则把摄像头的位置信息校准为从无线信标读取到的坐标信息。

图5为摄像头移动效果图，右下角的环线为摄像头的移动路线，左下角的环线为摄像头沿地面移动时上位机界面所显示的摄像头的移动轨迹。由图5可以看出，本发明所述方法能够很好地实现对摄像头的定位，从而为实现对人或者物体的定位奠定了基础。

(10)如果当前帧图像不为空，则进行下一次匹配前先将当前匹配的当前帧作为下一次匹配的参考帧；如果当前帧图像为空，则说明摄像机已关闭，应该停止定位方法的执行。

Claims (8)

1.一种基于全局运动估计的自适应室内视觉定位方法，通过对摄像头摄取视频图像的自动分析，判断摄像头的位移大小和方向，其特征在于包括以下步骤：

步骤1，摄像头采集地面图像信息，得到当前帧和参考帧图像，对图像进行自适应平滑滤波预处理，然后把彩色图像转换成灰度图像；

步骤2，如果两幅图像成功匹配的次数小于M次，则在原图上执行步骤3；如果大于M次，则用Kalman滤波算法预测当前匹配的重叠区域，进而在重叠区域执行步骤3；

步骤3，采用改进MIC算法提取特征点；

步骤4，根据步骤3得到的特征点，分别对每一个特征点用SURF算法进行特征点主方向的确定；

步骤5，对确定了主方向的特征点进行特征点描述，最终形成一个64维的特征向量；

步骤6，根据步骤5中得到的当前图像和前一帧图像中的特征点，通过欧式距离公式求出任意两幅图像中的两个特征点在多维空间中的实际距离，用最近邻特征点距离与次近邻特征点距离之比与一个阈值比较确定初始匹配点对，实现图像的配准；

步骤7，采用六参数仿射模型，得到当前帧图像相对于参考帧图像的偏移量；换算成为摄像机的坐标偏移量，把数据传到上位机，在上位机上实时的绘制出摄像头的移动轨迹；

步骤8，根据设定的无线信标信息对绘制的轨迹进行校正，消除定位过程中形成的累积误差；

步骤9，判断当前帧图像是否为空，如果不为空，则继续；若为空，则结束。

2.根据权利要求1所述的一种基于全局运动估计的自适应室内视觉定位方法，其特征在于，步骤2所述的M值越大，精度越高，但计算量越大，M＝5时满足精度要求。

3.根据权利要求1所述的一种基于全局运动估计的自适应室内视觉定位方法，其特征在于，步骤2所述Kalman滤波算法包括以下步骤：

(1)读入当前匹配之前的M次匹配数据：X轴和Y轴偏移量；

(2)由Kalman滤波算法的状态预测方程得到下一次的偏移量，根据偏移量得到当前帧和参考帧图像的重叠区域；

(3)根据预测出的X轴和Y轴偏移量进行优化；

如果X轴或Y轴的偏移量过大，说明预测误差导致两幅图像的重叠区域过小，找不到匹配点或成功匹配点数太少，需强制配置一个比较适当的重叠区域；如果X轴或Y轴的偏移量过小，在两幅图像匹配时，会产生大量的信息冗余，需强制配置一个比较适当的重叠区域；

(4)输出X轴和Y轴偏移量。

4.根据权利要求1所述的一种基于全局运动估计的自适应室内视觉定位方法，其特征在于，步骤3所述采用改进MIC算法提取特征点的方法如下：

改进MIC算法使用了USAN概念，角点响应函数CRF为：

CRF＝min((I_P-I_N)²+(I_P'-I_N)²)

式中，I_N为核心点N的灰度值，I_P、I_P'分别为点P和P’的灰度值；

采用8邻域线性插值法简单判断所提取的特征点是不是角点的方法如下：

如果R>T，则认为当前点为角点；其中，T为设定的阈值，R＝min(r_L，r_H，r_F，r_I),H,F,I，L、H、F、I为正方形模板边界上的点，r_L，r_H，r_F，r_I表示为模板内任意方向的角点响应函数，公式为：

r_L＝(I_L-I_C)²+(I_L'-I_C)²

r_H＝(I_H-I_C)²+(I_H'-I_C)²

r_F＝(I_F-I_C)²+(I_F'-I_C)²

r_I＝(I_I-I_C)²+(I_I'-I_C)²

其中，I_C为核心点C的灰度值，I_X为点X的灰度值，X∈(L,H,F,I,L',H',F',I')，其中L',H',F',I'分别为L,H,F,I关于核心点C的对称点。

5.根据权利要求1所述的一种基于全局运动估计的自适应室内视觉定位方法，其特征在于，步骤4所述应用SURF算法进行特征点主方向确定的方法如下：

以特征点为中心，划出以6s为半径的圆邻域，然后计算圆内的所有特征点在X和Y方向上的Haar小波响应，以60度为窗口对整个圆形区域遍历一周，落入窗口中的所有点的Haar小波响应相加形成最长的矢量就为该中心点的主方向。

6.根据权利要求1所述的一种基于全局运动估计的自适应室内视觉定位方法，其特征在于，步骤5所述形成一个64维特征向量的方法如下：

把特征点的邻域分成4×4个小区域，每一个小区域用一个4维向量(Σd_x,Σd_y,Σ|d_x|,Σ|d_y|)表示，得到一个64维向量，将该向量作为此特征点的特征描述，其中，Σd_x为Haar小波计算得到的特征点X轴方向的响应值，Σd_y是Haar小波计算得到的特征点Y轴方向上的响应值，|Σd_x|是特征点X轴正方向上的响应值，|Σd_y|特征点Y轴正方向上的响应值。

7.根据权利要求1所述的一种基于全局运动估计的自适应室内视觉定位方法，其特征在于，步骤7所述六参数仿射模型表达式如下：

$\begin{array}{c}\left[\begin{array}{c}{x}_{i+1}\\ y_{i+1}\end{array}\right]=\left[\begin{array}{cc}{a}_1& a_2\\ a_4& a_5\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]+\left[\begin{array}{c}{a}_3\\ a_6\end{array}\right]\\ =\left[\begin{array}{cc}k\cos \mathrm{\θ}& -k\sin \mathrm{\θ}\\ k\sin \mathrm{\θ}& k\cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]+\left[\begin{array}{c}c\\ d\end{array}\right]\end{array}$

其中，(x_i,y_i)和(x_i+1,y_i+1)分别为参考帧和当前帧中像素的坐标，(a₁,a₂,a₃,a₄,a₅,a₆)为视频帧图像间的变换参数，a₃、a₆与图像的平移运动有关，a₁、a₂、a₄、a₅与图像的缩放、旋转运动有关；k为缩放运动参数，并假设摄像机在水平X方向和垂直Y方向上的缩放系数一致；θ为相对于图像中心的旋转角度，c为横坐标偏移量，d为纵坐标偏移量。

8.根据权利要求1所述的一种基于全局运动估计的自适应室内视觉定位方法，其特征在于，步骤8所述轨迹校正的方法如下：

在摄像头的移动轨迹上等间隔设置无线信标，无线信标里已写入无线信标所在位置的信息；无线信标接收器安装在摄像头上；当接收器随摄像头进入以无线信标为中心的圆形区域内时，不断地接收无线信标发出的位置信息，记录下信息最强点的位置即为无线信标的坐标；把从无线信标读取到的坐标信息与计算得到的摄像头坐标进行比较，如果不统一，将摄像头的位置信息校准为从无线信标读取到的坐标信息。