CN102629329A

CN102629329A - 基于自适应sift算法的人员室内定位方法

Info

Publication number: CN102629329A
Application number: CN201210048089XA
Authority: CN
Inventors: 张会清; 安健逞; 曹鲁光; 邓贵华
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2012-02-28
Filing date: 2012-02-28
Publication date: 2012-08-08
Anticipated expiration: 2032-02-28
Also published as: CN102629329B

Abstract

本发明提供了一种基于自适应SIFT算法的室内人员定位方法。首先对全局运动的图像序列进行特征提取，然后将正确的匹配点作为样本集估计摄像机运动模型，得到摄像机的实际偏移量。本发明引进Lagrange抛物线插值，由最近三次模型匹配的结果来预测参考帧和当前帧图像的重叠区域。在重叠区域上提取特征点和进行特征匹配，既能够消除视频图像序列中存在的大量信息冗余，加快每帧图像的处理速度，又可以提高待匹配特征点的有效性，减少误匹配。使得算法具备精确性和实时性，可用于室内人员定位系统。

Description

基于自适应SIFT算法的人员室内定位方法

技术领域

本发明属于图像处理领域。是一种计算机技术、图像摄取技术及数字图像处理技术等对全局运动进行估计，实现室内人员自动定位的方法。该方法实现对视频运动图像序列的自动分析，找出其运动规律，从而确定目标的具体位置。

背景技术

全局运动是由像机位置或参数变化引起的一种运动方式，它包括了基于运动的场景分析、理解，三维运动分析等问题，目前主要用于视频编码、移动机器人视觉导航、目标跟踪与识别等。对全局运动视频序列图像的二维参数模型进行估计就是全局运动估计，其目的是通过对运动图像序列中场景的运动状态分析最终还原摄像机的运动状态。

目前室内人员定位多采用无线传感技术，但由于障碍物引起的多径干扰，导致定位精度较低，不能满足人们的实际需求。近年来，基于视觉的定位技术在多个领域都得到了广泛应用，从而为室内定位领域开辟了新的思路。基于视觉的室内定位方法不会受到周围环境的影响，定位准确，鲁棒性强，但同时也对匹配的算法提出了很高的要求。

SIFT(Scale Invariant Feature Transform)是作者David G. Lowe于1999年总结了现有的基于不变量技术的特征检测方法，正式提出的一种基于尺度空间的鲁棒性很强的局部特征描述算法，它能够抵抗大尺度缩放、剧烈的仿射和旋转变化以及不受光照的影响。SIFT算法的实现主要通过以下四步来完成：(1)关键点检测，(2)关键点描述，(3)关键点匹配，(4)消除错配点。

视频运动图像序列的相关性较强，存在大量信息冗余；相邻两帧图像的时间间隔短，一般约为30ms～40ms；噪声、光照影响及摄像机抖动都会引起相邻两帧图像的较大幅度变化。因此室内人员定位需要一种快速、精确且性能鲁棒的算法。SIFT算法虽然具有很强的性能，但同时也导致了算法的复杂度急剧增加，对一幅320×240的图像进行特征提取，共确定600个特征点，耗时1.1364秒，原算法时间开销太大，直接应用到室内定位系统不能发挥出算法本身的优势，也不满足实时性要求。根据以上问题，本发明提出一种自适应SIFT算法，降低了算法复杂度的同时又保证了匹配的精确度，适用于实时定位。

发明内容

本发明要解决的技术问题是提供一种能够应用于室内复杂场景的人员定位鲁棒性算法，该算法在参考帧和当前帧两幅图像的重叠区域上进行特征检测和匹配，大大提高了算法的实时性。

本发明的目的是通过如下措施来达到的：假设摄像机起始位置位于坐标原点。首先对视频运动图像序列的第一帧图像进行自适应SIFT算法特征提取，获得该幅图像的特征点向量集合，接着对当前帧图像进行特征点提取，将获得的特征点向量集合与参考帧(第一帧)图像的特征点向量集合进行SIFT特征匹配。匹配完成后以RANSAC(随机抽样一致性)算法消除错匹配，把获得的正确匹配点作为估计摄像机参数模型的样本集，最后输出摄像机相对初始坐标的偏移量，即摄像机的实际坐标。本发明的技术特征在于该方法还依次包括下述步骤：

1.1.对初始参考帧(第零帧)图像执行SIFT算法，将检测到的所有特征点存储在序列F中。

1.2.预测参考帧与当前帧图像的重叠区域，在此区域上执行SIFT算法，将检测到的所有特征点存储在序列S中。

算法执行过程需要对两幅图像同时进行特征提取和匹配。前一幅图像是参考帧图像，后一幅图像是当前帧图像，它们之间的相对位移矢量就是摄像机的位移矢量。位移矢量是横纵坐标(ΔX和ΔY)共同变化的结果，记为L，则

那么摄像机的速度

Δt为视频帧率的倒数即相邻两帧图像的时间间隔。因为摄像机移动时的轨迹近似为一条光滑曲线，所以摄像机的速度是连续函数，即ΔX、ΔY也是连续变化的，从而可以由最近几帧图像间的变化来预测当前匹配帧的变化量即重叠区域。只在重叠区域上进行特征提取和匹配可以节约大部分时间。这里需要说明的是，重叠区域并不需要精确计算，所以只用平移变化量进行预测，而且只要预测的区域合理就不会影响图像间仿射、缩放等其它变化的匹配效果。

由于摄像机的运动是随机的，间隔时间较长的区段对当前重叠区域的预测并没有参考价值，所以本文只提取最近三次的模型输出结果作为参考，采用Lagrange抛物线插值来估计。以横坐标变化为例，三个参考点依次记为(t₁，ΔX₁)，(t₂，ΔX₂)，(t₃，ΔX₃)，需要预测的点记为(t₄，ΔX₄)，则由Lagrange抛物线插值公式得，

{ΔX}_{4} = {ΔX}_{1} \frac{(t_{4} - t_{2}) (t_{4} - t_{3})}{(t_{1} - t_{2}) (t_{1} - t_{3})} + {ΔX}_{2} \frac{(t_{4} - t_{1}) (t_{4} - t_{3})}{(t_{2} - t_{1}) (t_{2} - t_{3})} + {ΔX}_{3} \frac{(t_{4} - t_{1}) (t_{4} - t_{2})}{(t_{3} - t_{1}) (t_{3} - t_{2})}

其中t₁～t₄可根据两次匹配间隔的帧数差来求得。纵坐标变化量计算与之相同。假设X轴的正方向水平向右，Y轴的正方向垂直向上，则可以计算出需要匹配的两幅图像中，参考帧图像的第ΔX列到320列和第ΔY行到240行构成的像素区域，与当前帧图像的第0列到ΔX列和第0行到ΔY行构成的像素区域是重叠区域。如果偏移量较小，说明摄像机移动较慢或者处于静止状态，待匹配的两帧图像之间会存在较大面积的重叠，匹配后的特征点对比参数模型估计实际需求要多得多，所以需要由ΔX和ΔY的方向进一步缩小重叠区域，例如都取左半边区域或者都取右半边区域等。如果偏移量较大，则提取的特征点就会较少，不能保证参数模型估计的可行性，所以要适当减小偏移量的值。

1.3.对序列F和序列S以欧氏距离进行特征匹配，以RANSAC算法消除误匹配后得到正确的匹配点集合。

所述的欧式距离为欧几里得距离，在自适应SIFT算法中它是32维空间中两个点之间的真实距离。特征匹配准则是：当这两个点的最近欧式距离与次最近欧式距离的比值小于某一阈值时就认为是一对匹配点。然而这样获取的匹配点并不一定是正确的，经实验发现，原算法的正确匹配率在70％左右。误匹配将导致模型估计不准确，造成定位精度降低。因此，在匹配完成后，要基于RANSAC算法剔除误匹配。

1.4.如果匹配点多于3个，就将获得的匹配点作为样本集进行参数模型估计；否则转向步骤第1.6。

在设定某种摄像机运动模型的情况下，图像上各像素点的运动服从相同的规律-共模运动。这种共模运动可以用一组模型参数来表示。因此全局运动估计就转化为对模型参数的求解问题。

常用的图像运动模型存在多种描述形式，有基于旋转平移假设的四参数模型，基于平行投影的六参数模型和基于透视的八参数模型等。参数越多，越能描述复杂的运动，但计算也越复杂。其中六参数仿射模型是一种线性模型，能够精确地描述纯旋转、相机在场景中小深度变化时的平移和变焦运动，其表达式为

[\begin{matrix} x_{i - 1} \\ y_{i - 1} \end{matrix}] = [\begin{matrix} a_{1} & a_{2} \\ a_{4} & a_{5} \end{matrix}] [\begin{matrix} x_{i} \\ y_{i} \end{matrix}] + [\begin{matrix} a_{3} \\ a_{6} \end{matrix}]

= [\begin{matrix} k \cos θ & - k \sin θ \\ k \sin θ & k \cos θ \end{matrix}] [\begin{matrix} x_{i} \\ y_{i} \end{matrix}] + [\begin{matrix} c \\ d \end{matrix}]

式中(x_i-1，y_i-1)和(x_i，y_i)为第i-1帧和第i帧图像的匹配点像素坐标，(a₁，a₂，a₃，a₄，a₅，a₆)为视频帧图像间的变换参数，a₃、a₆与图像的平移运动有关，a₁、a₂、a₄、a₅与图像的缩放、旋转运动有关。k为缩放运动参数，并假设摄像机在水平X方向和垂直Y方向上的缩放系数一致；θ为相对于图像中心的旋转角度。经过综合考虑模型复杂度和建模能力，采用六参数仿射模型。

6参数仿射模型有6个未知参量，理论上最少需要3对特征点才可全部求解出。但实验证明，为了保证模型估计的精确度，样本集合中特征点的数量应该在20对左右。

1.5.将得到的平移变化量进行单位换算后转化为摄像机的坐标偏移量。

模型输出的平移变化量是以像素为单位的值，根据图像尺寸与分辨率DPI的关系可以求出以厘米为单位的实际坐标偏移量。

1.6.如果当前帧图像不为空，则进行下一次匹配前先将序列S作为参考帧的特征点序列，即将序列S赋给序列F，再转向步骤1.2，继续执行算法。如果当前图像为空，则说明摄像机已关闭，应该停止定位算法的执行。

本发明一种基于自适应SIFT算法的人员室内定位方法与现有技术相比，具有如下优点和效果：

1)不受摄像机所在环境的影响，不需要事先布置场景。

2)使用线性插值和抛物线插值法能够快速精确地预测出待匹配两帧图像的重叠区域。

3)在重叠区域而非整幅图像上执行自适应SIFT算法提取特征点，提高特征点提取的有效率。

4)对重叠区域的特征点进行匹配能减小误匹配率，提高模型估计的精确度。

5)算法执行时间短，能够满足室内人员定位的实时性要求。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明，本实施过程包括下列步骤：

1)对参考帧图像执行SIFT算法，将检测到的所有特征点存储在序列F中。

2)根据匹配次数选择采用线性插值法或Lagrange抛物线插值法预测参考帧与当前帧图像的重叠区域，并在此区域上执行SIFT算法，将检测到的所有特征点存储在序列S中。

3)对序列F和序列S以欧氏距离进行特征匹配，并采用RANSAC算法消除误匹配，最后得到正确的匹配点集合。

4)如果匹配点多于3个，就将获得的匹配点作为样本集进行参数模型估计；否则转向步骤1.6。

5)得到的平移变化量经过单位换算后将转化为摄像机的坐标偏移量。模型输出的平移变化量是以像素为单位的值，根据图像尺寸与分辨率DPI的关系可以求出以厘米为单位的实际坐标偏移量。

6)如果当前帧图像不为空，则进行下一次匹配前先将序列S作为参考帧的特征点序列，即将序列S赋给序列F，再转向步骤1.2，继续执行算法。如果当前图像为空，则说明摄像机已关闭，应该停止定位算法的执行。

Claims

1.一种基于自适应SIFT算法的人员室内定位方法，首先预测待匹配的两帧图像的重叠区域，然后在此区域上提取特征点和进行匹配，其特征在于：该方法还依次包括下述步骤：

1.1.对初始参考帧图像执行SIFT算法，将检测到的所有特征点存储在序列F中；

1.2.预测参考帧与当前帧图像的重叠区域，在此区域上执行SIFT算法，将检测到的所有特征点存储在序列S中；

算法执行过程需要对两幅图像同时进行特征提取和匹配；前一帧图像是参考帧图像，后一帧图像是当前帧图像，它们之间的相对位移矢量就是摄像机的位移矢量；位移矢量是横纵坐标(ΔX和ΔY)共同变化的结果，记为L，则

那么摄像机的速度

Δt为视频帧率的倒数即相邻两帧图像的时间间隔；摄像机的速度为连续函数，即ΔX、ΔY也是连续变化的；由最近几帧图像间的变化来预测当前匹配帧的变化量即重叠区域；

提取最近三次的模型输出结果作为参考，采用Lagrange抛物线插值来估计；

横坐标的三个参考点依次记为(t₁，ΔX₁)，(t₂，ΔX₂)，(t₃，ΔX₃)，需要预测的点记为(t₄，ΔX₄)，则由Lagrange抛物线插值公式得，

其中t₁～t₄可根据两次匹配间隔的帧数差来求得；纵坐标变化量计算与之相同；如果X轴的正方向水平向右，Y轴的正方向垂直向上，则计算出需要匹配的两幅图像中；参考帧图像的第ΔX列到X1列和第ΔY行到YI行构成的像素区域，与当前帧图像的第0列到ΔX列和第0行到ΔY行构成的像素区域是重叠区域；如果偏移量较小，说明摄像机移动较慢或者处于静止状态，待匹配的两帧图像之间会存在较大面积的重叠，匹配后的特征点对比参数模型估计实际需求多，需要由ΔX和ΔY的方向进一步缩小重叠区域，如都取左半边区域或者都取右半边区域；如果偏移量较大，则提取的特征点就会较少，要适当减小偏移量的值；

1.3.对序列F和序列S以欧氏距离进行特征匹配，以RANSAC算法消除误匹配后得到正确的匹配点集合；

1.4.如果匹配点多于数个，就将获得的匹配点作为样本集进行参数模型估计；否则转向步骤第1.6；

在设定某种摄像机运动模型的情况下，图像上各像素点的运动服从相同的规律-共模运动；用一组模型参数来表示；

其表达式为

式中(x_i-1，y_i-1)和(x_i，y_i)为第i-1帧和第i帧图像的匹配点像素坐标，(a₁，a₂，a₃，a₄，a₅，a₆)为视频帧图像间的变换参数，a₃、a₆与图像的平移运动有关，a₁、a₂、a₄、a₅与图像的缩放、旋转运动有关；k为缩放运动参数，并假设摄像机在水平X方向和垂直Y方向上的缩放系数一致；θ为相对于图像中心的旋转角度；经过综合考虑模型复杂度和建模能力，采用六参数仿射模型；

1.5.将得到的平移变化量进行单位换算后转化为摄像机的坐标偏移量；

模型输出的平移变化量是以像素为单位的值，根据图像尺寸与分辨率DPI的关系求出以厘米为单位的实际坐标偏移量；

1.6.如果当前帧图像不为空，则进行下一次匹配前先将序列S作为参考帧的特征点序列，即将序列S赋给序列F，再转向步骤1.2，继续执行算法；如果当前图像为空，则说明摄像机已关闭，应该停止定位算法的执行。

2.根据权利要求1所述的一种基于自适应SIFT算法的人员室内定位方法，其特征在于：所述的X1列为320列，所述的Y1行为240行。

3.根据权利要求1所述的一种基于自适应SIFT算法的人员室内定位方法，其特征在于：步骤1.4.中所述的匹配点多于3个。