CN105976399A - 一种基于sift特征匹配的运动目标检测方法 - Google Patents

一种基于sift特征匹配的运动目标检测方法 Download PDF

Info

Publication number
CN105976399A
CN105976399A CN201610283529.8A CN201610283529A CN105976399A CN 105976399 A CN105976399 A CN 105976399A CN 201610283529 A CN201610283529 A CN 201610283529A CN 105976399 A CN105976399 A CN 105976399A
Authority
CN
China
Prior art keywords
point
image
feature
parameter
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610283529.8A
Other languages
English (en)
Inventor
艾明晶
刘锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201610283529.8A priority Critical patent/CN105976399A/zh
Publication of CN105976399A publication Critical patent/CN105976399A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于SIFT特征匹配的运动目标检测方法。本方法首先使用SIFT特征提取方法获得图像的特征点;然后再对图像的SIFT特征点进行快速准确的匹配:根据动态场景的特点构建全局运动模型,并采用改进的RANSAC方法排除外点的影响,运用最小二乘法求解全局运动参数,根据特征点变化及时更新运动参数,再利用基于残差图像块的更新策略对特征点进行更新,通过限制次近邻查找区域的方法保证特征匹配的准确性;最后,通过差分目标分割法实现对运动目标的检测。实验证明,本发明与传统的基于图像块匹配检测方法相比,运算速度提高了31.26%,而且能够有效排除背景干扰,所检测到的目标图像清晰,本发明非常适用于动态场景下对运动目标的实时检测。

Description

一种基于SIFT特征匹配的运动目标检测方法
技术领域
本发明涉及计算机视觉领域,具体涉及一种基于SIFT(Scale Invariant FeatureTransform,尺度不变特征变换)特征匹配的运动目标检测方法。
背景技术
运动目标检测是判断图像中是否存在目标,确定运动目标的位置,是计算机视觉的基础。快速准确的目标检测可以为后续的目标跟踪和行为理解做很好的铺垫。随着摄像技术的提高,固定摄像机被可旋转的摄像机所取代。摄像机发生移动和旋转,导致图像中的背景和物体同时运动,同时光照变化、背景干扰等也增加了运动目标检测的难度。传统的目标检测算法如帧间差分法、光流法和背景差分法不适合如此复杂场景的目标检测。因此,在复杂场景下对运动目标进行快速准确的检测具有重要意义。
SIFT是Lowe D G于1999年提出、并于2004年改进的算法。(参考文件1:LOWE DG.Object recognition from local scale-invariant features[C]//ICCV'99:Proceedings of the International Conference on Computer Vision.Washington,DC:IEEE Computer Society,1999,2:1150-1157.参考文件2:Lowe D G.Distinctive imagefeatures from scale-invariant keypoints,cascade filtering approach[J].International Journal of Computer Vision,2004,60(2).)该算法可以从图像中提取出物体的特征信息,对检测目标的旋转、尺度缩放、视角变化及亮度变化具有良好的不变性,并对遮挡和噪声也有很好的鲁棒性,是特征点选取和描述的一种有效方法,被广泛应用于计算机视觉领域。但该算法仍存在不足,比如,高维数的特征描述符计算复杂;局部特征发生变化时,正确匹配特征点数目减少,算法识别准确率低等。(参考文件3:Ke Y,Sukthankar R.PCA-SIFT:a more distinctive representation for local imagedescriptors[C]Proceedings of IEEE Conference on Computer Vision and PatternRecognition,Washington D C,2004)文献3对SIFT的特征描述符用PCA(principalcomponents analysis,主成分分析)进行降维的算法,取得了较好的效果。(参考文件4:纪华,吴元昊,孙宏梅,等.结合全局信息SIFT特征匹配算法[J].光学精密工程,2009,17(2):439-444)文献4提出结合全局信息的特征描述符,降低了由于局部相似造成的误匹配,但计算量较大,而且不具有尺度不变性。
发明内容
本发明的目的是为了解决在动态场景下,运动目标检测时间复杂度高,不具有实时性、稳定性不高的缺点。本发明提出一种基于SIFT特征匹配的运动目标检测方法,旨在减少检测算法时间复杂度,提高目标检测的实时性,增加目标检测的鲁棒性。
本发明提出的一种基于SIFT特征匹配的运动目标检测方法,具体包括如下步骤:
步骤一:SIFT特征提取。提取图像序列中的SIFT特征点,建立初始特征点集,为以后图像的特征点匹配做准备。
SIFT算法的本质就是从图像中提取局部特征,在尺度空间寻找极值点,提取位置、尺度、旋转不变量。SIFT特征提取包括:初步定位特征点、准确定位特征点,确定特征点方向,生成关键点描述算子。
步骤二:SIFT特征快速准确匹配。首先,利用步骤一得到的初始特征点集,使用图像全局运动模型建立初始匹配点对;然后采用改进的RANRAC(Random Sample Consensus,随机抽样一致)方法去除误匹配点,求出变换矩阵参数,对图像补偿处理,根据得到的特征点集中特征点数目与最佳匹配值比较,判断特征点是否需要更新,保存数据实时更新背景;最后对得到特征点进行快速准确匹配。
步骤2.1,根据动态场景的特点为图像的全局运动构建旋转参数模型,对图像中相邻两帧分别搜索特征点,再对特征点匹配得到特征点对集Ft,用最小二乘法求最优解。
步骤2.2,利用改进的RANRAC方法去除步骤2.1产生的匹配点对集Ft中存在的误匹配点,再用最小二乘法求出第t帧的参数矩阵It。对第t-1帧图像做同样处理,然后对图像中摄像机旋转运动进行补偿,得到残差图像Pb
步骤2.3,判断从步骤2.1得到的特征点集中的特征点数目是否小于最佳匹配值O,若小于匹配值O则进行特征点更新,将得到的残差图像Pb、参数矩阵It和特征点对集Ft进行保存,同时更新背景。在动态场景中,由于随着拍摄视角的不断变化,图像的特征也随之变化,因此,需要及时对特征点进行更新。
步骤2.4,根据得到当前帧的特征点合理推测出下一帧的特征点,如此使特征点匹配在限制的范围内进行,缩小搜索范围,达到快速匹配的目的。最后,利用最近邻和次近邻特征点的比值关系验证匹配准确性,完成图像的配准。
步骤三:利用步骤二所配准的图像,通过差分目标分割法实现对运动目标的检测,通过后期处理得到前景目标轮廓,将前景目标轮廓进行填充得到完整的运动目标。
本发明方法的优点和积极效果在于:本发明在动态场景下,目标在发生局部遮挡、旋转、尺度变化等情况下都具有较快的检测速度,较少的时间复杂度;对于复杂的摄像机运动情况,传统的目标检测方法已经失效,而本发明依然能够保证目标检测的实时性和鲁棒性。
附图说明
图1是本发明基于SIFT特征匹配的运动目标检测方法的整体步骤流程图;
图2是本发明改进的RANRAC方法与传统的RANRAC方法计算时间对比图;
图3是本发明改进的RANRAC方法比传统的RANRAC方法计算速度提高效果图;
图4是本发明基于SIFT特征匹配的运动目标检测方法与传统的基于图像块匹配检测方法的实验效果对比图。
具体实施方式
下面将结合附图和实施例对本发明的技术方案作进一步的详细说明。
本发明提出一种基于SIFT特征匹配的运动目标检测方法,旨在减少传统的目标检测算法时间复杂度,提高目标检测的实时性,增加目标检测的鲁棒性。
下面具体对实现步骤进行说明。
步骤一:SIFT特征提取。获得图像序列初始帧特征点集。
步骤1.1,构建尺度空间。
二维高斯函数定义如下:
G ( x , y , σ ) = 1 2 πσ 2 e - ( x 2 + y 2 ) / 2 σ 2 - - - ( 1 )
其中,σ表示高斯正态分布的方差,是尺度坐标。
输入图像用I(x,y)表示,在不同尺度空间的尺度空间表示可由图像与高斯核的卷积得到:
L(x,y,σ)=G(x,y,σ)*I(x,y) (2)
采用DoG(Difference of Gaussian)算子来创建尺度空间。DoG算子由两个不同尺度的高斯核的差分与图像卷积生成。
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ) (3)
其中,常系数k用来区分相邻的尺度。
步骤1.2,在尺度空间寻找极值点。图像多次使用DoG算子,该算子的泰勒展开式如下:
D ( x ) = D + ∂ D T ∂ x x + 1 2 x T ∂ 2 D ∂ x 2 x - - - ( 4 )
对其泰勒展开式求导,当导数为零时,取这些高斯差分图像中的局部极值点得到尺度空间域上的图像特征点。
x ^ = - ∂ 2 D - 1 ∂ x 2 ∂ D ∂ x - - - ( 5 )
步骤1.3,计算特征点方向和生成特征点描述子。
特征点方向θ(x,y)及模值m(x,y)可以通过式(4)、(5)运算确定:
m ( x , y ) = ( L ( x + 1 , y ) - L ( x - 1 , y ) ) 2 + ( L ( x , y + 1 ) - L ( x , y - 1 ) ) 2 - - - ( 6 )
θ ( x , y ) = tan - 1 ( L ( x , y + 1 ) - L ( x , y - 1 ) L ( x + 1 , y ) - L ( x - 1 , y ) ) - - - ( 7 )
最后形成包括位置、尺度、方向等信息的128维特征向量。根据经验值,实际计算中取高斯内核函数的尺度因子σ=0.5,每组高斯尺度图像的尺度级数中s=3,去除低对比度的特征点的阈值设定为0.01,主曲率间的比值的阈值设定为15。
步骤二:SIFT特征快速准确匹配。根据动态场景的特点构建全局运动模型,基于特征点变化及时更新运动参数,保证特征点的快速匹配。
步骤2.1,全局运动模型实际应用较多的是仿射参数模型和旋转参数模型,其中,仿射参数模型相对简单,需要6个参数,只能描述线性的和平移的运动,适合摄像机旋转运动较少的时候;而旋转参数模型不但可以描述平移还可以更好描述旋转角度较大的运动,需要8个参数,因此本发明采用旋转参数模型。已知Ht-1,1为图像第t-1帧的特征点集,It-1为图像第t-1帧的旋转参数矩阵。
假设第t-1帧图像中有点Kt-1,对应的坐标为Xt-1=(xt-1,yt-1),而第t帧图像中有点Kt,对应坐标为Xt=(xt,yt),U=(u,v)T为Kt-1的运动矢量。U满足下式:
Xt=Xt-1+U (8)
U=Q(Xt-1)I (9)
I=(a1,··a7,a8)T (10)
Q ( X t - 1 ) = x y 1 0 0 0 x 2 x y 0 0 0 x y 1 x y y 2 - - - ( 11 )
定义旋转参数矩阵I=(a1,··a7,a8)T,其中a3代表水平方向的位移,a6代表垂直方向的位移,a1,a2,a4,a5代表尺度和旋转量,a7,a8代表水平与垂直方向的变形量。这些参数主要由摄像机的旋转和平移参数决定,同坐标参数无关。实际中无法得到旋转和平移量,需要通过其他方式求解矩阵I。
运用特征点求解全局运动参数方法:在相邻两帧中分别搜索特征点,再对特征点对进行匹配,得到H={h1,h2··hn··hN},表示匹配点对的集合,其中hn=(Xt-1,n,Xt,n)为第n对匹配点,并用最小二乘法求最优解。
用此方法可以求出第t帧所有特征点集Ht,n,保存在特征点集合Ht中,用Ht-1和Ht进行匹配并建立匹配点对集合Ft
步骤2.2,利用本发明提出的改进的RANRAC方法去除步骤2.1产生的匹配点对集Ft中存在的误匹配点,得到第t帧旋转参数矩阵It。由于运用特征点进行运动补偿,匹配的结果存在失真的可能性,所以要剔除目标上的异常点。
传统的RANRAC方法的思想是:从集合S中随机选取一个数据点样本,并由它初始化模型;按照阈值Td找出成为当前模型的支撑点集Si,Si被称为内点(有效点);如果Si集合大小超过某个阈值Th,用Si重新估计模型并结束;如果Si集合大小不超过阈值Th,选取一个新的样本重复上面的步骤;经过n次尝试,最大的一致集Si被选中,用它来重新估计模型,得到最终的结果。
本发明提出改进的RANRAC方法,首先改进RANRAC模型参数选取方式。传统的RANRAC模型参数选取是通过迭代计算内外点并反复测试来实现的,初始模型参数是随机抽取样本数据计算来选取,有很大的不确定性,初始参数选取不好会使迭代次数骤增,提高计算成本。本发明采取的方法是通过选择少数最优匹配点作为观察数据集代表,在其中随机抽取初始样本数据得到初始模型参数更接近于真实值,并且实现了用较少的迭代次数得到较真实的矩阵参数。用RANRAC剔除外点的过程就是通过样本数据集拟合图像变换矩阵,原图像与目标图像的变换关系:
ρ x 2 ρ y 2 ρ = l 1 l 2 l 3 l 4 l 5 l 6 l 7 l 8 1 x 1 y 1 1 - - - ( 12 )
这是8个参数的投影变换矩阵,其中l1,l2,l4,l5表示尺度和旋转量,l3表示水平方向的位移,l6表示垂直方向的位移,l7,l8表示水平与垂直方向的变形量。求解该矩阵参数至少需要4个匹配对,采用最小二乘法求解,令:
Y = - 1 ρ [ x 2 , y 2 ] T - - - ( 14 )
C = 1 ρ x 1 y 1 1 0 0 0 - x 2 x 1 - x 2 y 1 0 0 0 x 1 y 1 1 - y 2 x 1 - y 2 y 1 - - - ( 15 )
公式变换如下:
L=-[CTC]-1CTY (16)
先令ρ初始值为1,得到L的一组值,再由此值计算ρ值,多次迭代后得到稳定的L。
确定随机采用次数N,使得采样的s对匹配点都是内点概率足够高,设计模型参数所需匹配点对为s,任何一对匹配点是内点的概率为P1,任何一对匹配点外点的概率为α=1-P1。采样到N次时有:
(1-P1 s)N=1-P (17)
需要采样的次数为:
N=log(1-P)/log(1-(1-α)s) (18)
本发明经过多次实验,取s=8,P=0.99,α=0.3。
一致集大小确定:在模型参数确定后,还要统计这个数据集中符合内点的数目v。令数据点是错误模型内点的概率为u,希望错误模型内点数目v越小越好,即uv-s<u0,u0的值越小越好,根据经验值取0.05。
然后改进RANRAC模型选取方式。传统的RANRAC方法,迭代次数过多造成效率低下,初始值的不确定造成精度不高,稳定性差,模型参数检验中,抽样数据受外点影响,全部参与全数据检验造成计算的浪费。本发明增加临时模型预检测,对每个模型参数检验之前,首先随机抽取少量的数据对模型参数预检验,如果通过预检验,则进入后续的检验,否则这个模型不再参与后续的全数据检验。该方法实现的过程采取迭代计算、数据比较的方式进行。首先,根据预检验最小通过概率、数据错误率和参与样本数计算正确模型数和通过概率;然后再根据通过概率、置信率和估计错误率计算需要的抽样数及抽样对应的模型参数,随机选取数据进行预检验,如此迭代下去;最后,用全部原始数据检验通过的预检验模型获得符合要求数据和误差方差直至得出最优模型。采用此临时模型预检测方式,虽然增加了抽样数量,但是由于大部分模型都受到错误数据影响,经过预检验过滤掉的数量远大于增加的数量,可大大节约计算时间,提高计算的效率。方法改进后效率提高的效果如图2、图3所示。
对第t-1帧图像中做同样处理,然后对图像中摄像机旋转运动进行补偿,再将补偿图像和第t+1帧图像做背景差处理得到残差图像Pb
步骤2.3,判断从步骤2.1得到的特征点集Ht中的特征点匹配数目是否小于最佳匹配值O,如果小于匹配值O,将得到的残差图像Pb、参数矩阵It和特征点对集Ft进行保存,同时更新背景。其中,匹配值O的设定关系到最小二乘解的准确性,如果匹配值O设置偏大,会造成程序计算量增大,影响算法的运行效率;如果设置偏小,则会使图像平均匹配点数降低,造成无法得到最小二乘的最优解。根据多次试验,选取最佳匹配值O=15。
特征点的更新策略:采用基于残差图像的方法把图像前景区域进行快速标记。将残差图像分成若干个x×y大小的图像块,块参数x和y分别代表前景区域长度上和宽度上块的个数,其取值为整数。计算每个块的SAD(Sum of Absolute Difference,绝对残差和)并且把它们按照大小排序。其中φi,j是(i,j)的残差。如果邻域8个图像块的SAD值有一半排在总SAD值的前30%,那么将当前预选前景块标记为前景块,将每个预选前景块依次排查。块参数x和y的取值决定计算量的大小,影响着标记前景块的准确性。根据多次实验选取x=y=16。
步骤2.4,本发明提出基于预测的特征点匹配方法。根据上一帧的特征点位置,小范围搜索特征点,能够快速得到当前帧的特征点。因为从摄像机得到的图像序列中,每两帧之间的间隔时间很短,帧之间的变化很小,相差一般只有几个像素,所以当前帧中含有下一帧的大量信息。具体操作如下:
假设第t-1帧图像的特征点集合为Pt-1={pt-1,1,pt-1,2··,pt-1,n};根据特征点pt-1,n和运动参数,推测出第t帧的特征点以特征点为圆心,在半径为R个像素的圆内搜索特征点pt,n;将pt,n和pt-1,n进行匹配,如果匹配成功,则建立匹配点对ht,n=(ht,n,ht-1,n),即可得到匹配点对的集合Ht={ht,1,ht,2,··ht,n··ht,N}和第t帧的特征点集Pt={pt,1,pt,2,…,pt,n…pt,N}。
但此步骤存在一定数量的正确匹配被排除在匹配集外的情况,因此,本发明提出通过减小最近邻和次近邻特征点欧式距离的比值,来有效恢复正确匹配点数目。将最近邻和次近邻特征点的距离限定在一个特定范围内进行查询,以增加次小距离的方法减小这一比值。假设原图像特征点T1 i和目标图像的特征点为最近邻特征点,同时是特征点T1 i次近邻特征点,那么查询一次近邻特征点只在与同一尺度的图像内进行。由于使得最近邻和次近邻特征点欧式距离的比值保持如下关系:
d 1 ( T 1 i , T 2 0 i ) / d 2 ( T 1 i , T 2 1 i ) &GreaterEqual; d 1 ( T 1 i , T 2 0 i ) / d 3 ( T 1 i , T 2 2 i ) - - - ( 19 )
因此,本发明通过限制次近邻查找区域的方法,可以有效增加正确匹配特征点的数量,达到特征匹配准确的目的。通过以上步骤完成图像的配准。
步骤三:利用步骤二所配准的图像,通过差分目标分割法实现对运动目标的检测;然后采用形态学滤波优化,通过膨胀、腐蚀等手段处理得到前景目标轮廓;将前景目标轮廓进行填充得到完整的运动目标。
差分目标分割法是将配准后两幅图像进行帧间差分,即对图像初始帧和补偿后的图像帧作差,检测运动目标。假设,配准后两帧图像分别用Do1(x,y)和Do2(x,y)表示,通过阈值T处理得到运动目标的二值图像Fo(x,y)。具体规则如下:
F o ( x , y ) = 1 | D o 1 ( x , y ) - D o 2 ( x , y ) | &GreaterEqual; T 0 | D o 1 ( x , y ) - D o 2 ( x , y ) | < T - - - ( 20 )
经过以上方法处理得到运动目标轮廓仍然残缺不全,并且含有分布不均的噪声,由于噪声的影响,检测到的前景目标边缘会存在间断。利用形态学中的闭运算对断裂处进行连接处理,具体做法为先对图像进行膨胀运算,然后进行腐蚀运算。闭运算可以填补前景物体中存在的细小空洞,连接邻近物体,并能够平滑边界,填补轮廓中存在的细小断裂。通过对前景目标的边缘连接和孔洞填充,提取出完整的前景运动目标。
表1展示了本发明提出的基于SIFT特征匹配的目标检测方法与传统的基于图像块匹配检测方法的检测运行时间对比表。所使用的测试序列为标准序列1名称Foreman,大小36MB、标准序列2名称Coastguard,大小40MB、标准序列3名称Stefan,大小37MB。传统的基于图像块匹配检测方法,是通过图像块匹配进行补偿处理,采用帧差法进行目标提取。对整个图像平面进行划分,得到互不相交的小块(blocks)并同时假设块内具有相同的运动矢量,由于其复杂度小、计算简单而得到广泛应用,但它不适合旋转、缩放等图像的非平移运动。通过对比可以看出,本发明提出的基于SIFT特征匹配的目标检测方法相对于传统的基于图像块匹配检测方法平均提升检测速度31.26%。
表1 两种检测方法运行时间比较
图2展示了本发明改进的RANRAC方法与传统的RANRAC方法在相同实验条件下计算所用时间的对比图。其中,横坐标为数据的错误率(单位为百分比),纵坐标为两种方法所用的计算时间(单位为秒),相同的实验条件是置信概率为99%,预检样本数为15,预检通过率80%,数据错误率为模拟数据的错误率。从图中可以看出,随着数据错误率百分比的增加,本发明改进的RANRAC方法所用计算时间比传统的RANRAC方法显著减少,从而节约了大量计算时间。
图3展示的是本发明改进的RANRAC方法比传统的RANRAC方法计算速度提高的程度。其中,横坐标为数据错误率的百分比,纵坐标为改进的RANRAC方法计算速度提高的百分比。在不同错误率下,改进的RANRAC方法计算速度提高相对程度在25%~40%之间,从结果显示可以看出,本发明改进的RANRAC方法比传统的RANRAC方法在计算效率上有相当程度的提高。
图4展示了本发明基于SIFT特征匹配的目标检测方法与传统的基于图像块匹配检测方法的实验检测效果图。采用三种不同环境、光照、背景的标准视频测试序列,标准序列1名称Foreman,图像分辨率352×288,大小36MB、标准序列2名称Coastguard,图像分辨率352×288,大小40MB、标准序列3名称Stefan,图像分辨率352×288,大小37MB,图(a)、(b)、(g)和(h)是原始图像帧,它们分别是原图像序列的第25帧、第30帧、第38帧和第56帧,其中(g)和(h)为同种标准序列的对比图像帧;图(c)、(d)、(i)和(j)为传统的基于图像块匹配检测方法检测效果图;图(e)、(f)、(k)和(m)为本发明基于SIFT特征匹配的目标检测方法的检测效果图。通过对比可以明显看到,传统的基于图像块匹配目标检测方法检测的目标图像较为模糊,轮廓有残缺,背景中的干扰没有完全去除。这是因为摄像机的运动不只是平移,还进行了快速旋转,在复杂的运动情况下,传统的方法已经失效。而本发明基于SIFT特征匹配的目标检测的方法检测到的目标图像不但排除了背景干扰,而且图像更清晰,从而证明了本发明基于SIFT特征匹配的目标检测方法非常适合摄像机在做复杂运动情况下的目标检测。
本发明所有测试是在PC机上完成,使用Visual Studio 2012,PC机配置:CPU是intel core i7@3.60G,显卡型号是AMD Radeon(TM)R5 240。

Claims (4)

1.一种基于SIFT特征匹配的运动目标检测方法,其特征在于,实现步骤如下:
步骤一:对目标图像进行SIFT(Scale Invariant Feature Transform,尺度不变特征变换)特征提取,提取图像序列中的SIFT特征点;
SIFT特征提取包括:从图像中提取局部特征,在尺度空间寻找极值点,初步定位特征点,准确定位特征点,确定特征点方向,生成关键点描述算子;
步骤二:对步骤一得到的图像SIFT特征点进行快速准确匹配;
步骤2.1,根据动态场景的特点构建全局运动模型及运动参数,参数模型采用8参数旋转模型,利用步骤一得出第t-1帧的特征点集合Ht-1,对图像中相邻两帧分别搜索特征点,找出第t帧所有特征点集Ht,n,保存在特征点集合Ht中,并用Ht-1和Ht进行匹配并建立匹配点对集合Ft
模型变换矩阵的表达式为:
Q = x y 1 0 0 0 x 2 x y 0 0 0 x y 1 x y y 2
步骤2.2,利用改进的RANRAC(Random Sample Consensus,随机抽样一致)方法去除步骤2.1产生的匹配点对集Ft中存在的误匹配点,再用最小二乘法求出第t帧的参数矩阵It。对第t-1帧图像做同样处理,然后对图像中摄像机旋转运动进行补偿,得到残差图像Pb;通过改进RANRAC模型参数选取,选择透视投影变换作为图像变换模型,线性求解模型8个参数,采用最小二乘法求解该矩阵参数;通过选择少数最优匹配点作为观察数据集代表,在其中随机抽取初始样本数据得到初始模型参数更接近于真实值,并且实现了用较少的迭代次数得到较真实的矩阵参数,估计模型参数的理想情况是搜索所有可能性,但计算量太大,实际通过确定一个适当采样次数,使匹配点是内点的概率足够高即可;
模型变换矩阵的表达式为:
C = 1 &rho; x 1 y 1 1 0 0 0 - x 2 x 1 - x 2 y 1 0 0 0 x 1 y 1 1 - y 2 x 1 - y 2 y 1
模型选取方式改进为增加临时模型预检测,对每个模型参数检验之前,首先随机抽取少量的数据对模型参数预检验,如果通过预检验,则进入后续的检验,否则这个模型不再参与后续的全数据检验。采用此临时模型预检测方式,节约运行时间,提高计算的效率;
步骤2.3,判断从步骤2.1得到的特征点集Ht中的特征点数目是否小于最佳匹配值O,若小于则进行特征点更新,将得到的残差图像Pb、参数矩阵It、特征点对集Ft进行保存,同时更新背景;在动态场景中,由于随着拍摄视角的不断变化,图像的特征也随之变化,匹配值O的设定关系到最小二乘解的准确性,如果匹配值O设置偏大,会造成程序计算量增大,影响算法的运行效率;如果设置偏小,则会使图像平均匹配点数降低,造成无法得到最小二乘的最优解。根据多次试验选取最佳匹配值O=15;
利用基于残差图像的方法把图像前景区域进行快速标记,通过对图像块的SAD(Sum ofAbsolute Difference,绝对残差和)值排序方式,综合考虑计算量和前景标记的准确性,找到合理的块参数大小,并对图像进行及时更新;
SAD的计算方法:
S A D = &Sigma; i = 0 M &Sigma; j = 0 N | &phi; i , j |
步骤2.4,本发明提出基于预测的特征点匹配方法,根据得到当前帧的特征点合理推测出下一帧的特征点,如此使匹配在限制的范围内进行,缩小搜索范围,达到快速匹配的目的,最后,利用最近邻和次近邻特征点的比值关系验证匹配准确性,完成图像的配准;
本发明将最近邻和次近邻特征点的距离限定在一个特定范围内进行查询,以增加次小距离的方法减小这一比值,有效增加正确匹配特征点的数量,达到特征匹配准确的目的;
最近邻和次近邻特征点欧式距离的比值关系:
d 1 ( T 1 i , T 2 0 i ) / d 2 ( T 1 i , T 2 1 i ) &GreaterEqual; d 1 ( T 1 i , T 2 0 i ) / d 3 ( T 1 i , T 2 2 i )
步骤三:利用步骤二所配准的图像,通过差分目标分割法实现对运动目标的检测,通过后期处理得到前景目标轮廓,将前景目标轮廓进行填充得到完整的运动目标。
2.根据权利要求1所述的一种基于SIFT特征匹配的运动目标检测,其特征在于,步骤二中所述的构建全局运动模型及运动参数,具体是:首先为摄像机的运动建立运动模型,通过模型的求解得到全局运动参数,运动目标的检测需要消除摄像机的移动的影响,旋转模型能够很好描述旋转角度较大的情况,故采用8参数旋转模型。
3.根据权利要求1所述的一种基于SIFT特征匹配的运动目标检测,其特征在于,步骤二中所述的改进RANRAC模型参数选取和模型选取方式,具体是:通过选择少数最优匹配点作为观察数据集代表,在随机抽取初始样本数据得到初始模型参数,使匹配点是内点的概率足够高;增加临时模型预检测,随机抽取少量的数据对模型参数预检验,如果通过预检验,则进入后续的检验,如此迭代进行,节约计算时间,提高计算的效率。
4.根据权利要求1所述的一种基于SIFT特征匹配的运动目标检测,其特征在于,步骤二中所述的利用最近邻和次近邻特征点的比值关系验证匹配准确性,具体是:通过减小最近邻和次近邻特征点欧式距离的比值,可以有效恢复正确匹配点数目,将最近邻和次近邻特征点的距离限定在一个特定范围内进行查询,以增加次小距离的方法减小这一比值,通过限制次近邻查找区域的方法可以有效增加正确匹配特征点的数量。
CN201610283529.8A 2016-04-29 2016-04-29 一种基于sift特征匹配的运动目标检测方法 Pending CN105976399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610283529.8A CN105976399A (zh) 2016-04-29 2016-04-29 一种基于sift特征匹配的运动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610283529.8A CN105976399A (zh) 2016-04-29 2016-04-29 一种基于sift特征匹配的运动目标检测方法

Publications (1)

Publication Number Publication Date
CN105976399A true CN105976399A (zh) 2016-09-28

Family

ID=56993547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610283529.8A Pending CN105976399A (zh) 2016-04-29 2016-04-29 一种基于sift特征匹配的运动目标检测方法

Country Status (1)

Country Link
CN (1) CN105976399A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682700A (zh) * 2017-01-05 2017-05-17 北京细推科技有限公司 一种基于关键点描述算子的分块快速匹配算法
CN106910208A (zh) * 2017-03-07 2017-06-30 中国海洋大学 一种存在运动目标的场景图像拼接方法
CN107480258A (zh) * 2017-08-15 2017-12-15 佛山科学技术学院 一种基于多种支撑点的度量空间离群检测方法
CN107798093A (zh) * 2017-10-25 2018-03-13 成都尽知致远科技有限公司 图像检索方法
CN108121972A (zh) * 2017-12-25 2018-06-05 北京航空航天大学 一种局部遮挡条件下的目标识别方法
CN108122245A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种目标行为描述方法、装置和监控设备
CN108596963A (zh) * 2018-04-25 2018-09-28 珠海全志科技股份有限公司 图像特征点的匹配、视差提取和深度信息提取方法
CN108830831A (zh) * 2018-05-11 2018-11-16 中南大学 一种基于改进surf匹配的锌浮选泡沫自然速度特征提取方法
CN108897777A (zh) * 2018-06-01 2018-11-27 深圳市商汤科技有限公司 目标对象追踪方法及装置、电子设备和存储介质
CN109255801A (zh) * 2018-08-03 2019-01-22 百度在线网络技术(北京)有限公司 视频中三维物体边缘追踪的方法、装置、设备及存储介质
CN109816699A (zh) * 2019-01-30 2019-05-28 华通科技有限公司 一种基于背景抑制帧间差分法的云台角度计算方法
CN110348454A (zh) * 2018-04-05 2019-10-18 畅想科技有限公司 匹配局部图像特征描述符
CN110782477A (zh) * 2019-10-10 2020-02-11 重庆第二师范学院 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN111368883A (zh) * 2020-02-21 2020-07-03 浙江大华技术股份有限公司 基于单目摄像头的避障方法、计算装置及存储装置
CN111696084A (zh) * 2020-05-20 2020-09-22 平安科技(深圳)有限公司 细胞图像分割方法、装置、电子设备及可读存储介质
CN111986133A (zh) * 2020-08-20 2020-11-24 叠境数字科技(上海)有限公司 一种应用于子弹时间的虚拟广告植入方法
CN112150464A (zh) * 2020-10-23 2020-12-29 腾讯科技(深圳)有限公司 一种图像检测方法、装置、电子设备及存储介质
CN112364865A (zh) * 2020-11-12 2021-02-12 郑州大学 一种复杂场景中运动小目标的检测方法
WO2021057294A1 (en) * 2019-09-29 2021-04-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for detecting subject, electronic device, and computer readable storage medium
CN113408661A (zh) * 2021-07-16 2021-09-17 北京百度网讯科技有限公司 误匹配确定方法、装置、设备和介质
CN114173020A (zh) * 2021-12-31 2022-03-11 北京德火科技有限责任公司 一种应用于多虚拟演播室的前后景分离方法及系统
CN114578807A (zh) * 2022-01-05 2022-06-03 北京华如科技股份有限公司 一种无人靶车雷视融合的主动目标检测与避障方法
CN115472039A (zh) * 2021-06-10 2022-12-13 上海博泰悦臻网络技术服务有限公司 信息处理方法及相关产品
CN118393516A (zh) * 2024-06-26 2024-07-26 烟台腾辉地理信息工程有限公司 一种基于三维构建模型的工程地形测绘系统及测绘方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339658A (zh) * 2008-08-12 2009-01-07 北京航空航天大学 航拍交通视频的快速鲁棒配准方法
CN104200461A (zh) * 2014-08-04 2014-12-10 西安电子科技大学 基于互信息图像选块和sift特征的遥感图像配准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339658A (zh) * 2008-08-12 2009-01-07 北京航空航天大学 航拍交通视频的快速鲁棒配准方法
CN104200461A (zh) * 2014-08-04 2014-12-10 西安电子科技大学 基于互信息图像选块和sift特征的遥感图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴忠良 等: "基于SIFT特征与预测的运动目标检测算法", 《现代电子技术》 *
赵烨 等: "基于RANSAC的SIFT匹配优化", 《光电工程》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108122245A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种目标行为描述方法、装置和监控设备
CN106682700B (zh) * 2017-01-05 2021-04-20 北京细推科技有限公司 基于关键点描述算子的分块快速匹配方法
CN106682700A (zh) * 2017-01-05 2017-05-17 北京细推科技有限公司 一种基于关键点描述算子的分块快速匹配算法
CN106910208A (zh) * 2017-03-07 2017-06-30 中国海洋大学 一种存在运动目标的场景图像拼接方法
CN107480258A (zh) * 2017-08-15 2017-12-15 佛山科学技术学院 一种基于多种支撑点的度量空间离群检测方法
CN107798093A (zh) * 2017-10-25 2018-03-13 成都尽知致远科技有限公司 图像检索方法
CN108121972A (zh) * 2017-12-25 2018-06-05 北京航空航天大学 一种局部遮挡条件下的目标识别方法
CN110348454A (zh) * 2018-04-05 2019-10-18 畅想科技有限公司 匹配局部图像特征描述符
CN110348454B (zh) * 2018-04-05 2024-04-30 畅想科技有限公司 匹配局部图像特征描述符
CN108596963B (zh) * 2018-04-25 2020-10-30 珠海全志科技股份有限公司 图像特征点的匹配、视差提取和深度信息提取方法
CN108596963A (zh) * 2018-04-25 2018-09-28 珠海全志科技股份有限公司 图像特征点的匹配、视差提取和深度信息提取方法
CN108830831A (zh) * 2018-05-11 2018-11-16 中南大学 一种基于改进surf匹配的锌浮选泡沫自然速度特征提取方法
CN108897777A (zh) * 2018-06-01 2018-11-27 深圳市商汤科技有限公司 目标对象追踪方法及装置、电子设备和存储介质
CN109255801A (zh) * 2018-08-03 2019-01-22 百度在线网络技术(北京)有限公司 视频中三维物体边缘追踪的方法、装置、设备及存储介质
CN109816699B (zh) * 2019-01-30 2021-07-27 国网智能科技股份有限公司 一种基于背景抑制帧间差分法的云台角度计算方法
CN109816699A (zh) * 2019-01-30 2019-05-28 华通科技有限公司 一种基于背景抑制帧间差分法的云台角度计算方法
WO2021057294A1 (en) * 2019-09-29 2021-04-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for detecting subject, electronic device, and computer readable storage medium
US11538175B2 (en) 2019-09-29 2022-12-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for detecting subject, electronic device, and computer readable storage medium
CN110782477A (zh) * 2019-10-10 2020-02-11 重庆第二师范学院 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN111368883A (zh) * 2020-02-21 2020-07-03 浙江大华技术股份有限公司 基于单目摄像头的避障方法、计算装置及存储装置
CN111368883B (zh) * 2020-02-21 2024-01-19 浙江大华技术股份有限公司 基于单目摄像头的避障方法、计算装置及存储装置
CN111696084B (zh) * 2020-05-20 2024-05-31 平安科技(深圳)有限公司 细胞图像分割方法、装置、电子设备及可读存储介质
CN111696084A (zh) * 2020-05-20 2020-09-22 平安科技(深圳)有限公司 细胞图像分割方法、装置、电子设备及可读存储介质
CN111986133A (zh) * 2020-08-20 2020-11-24 叠境数字科技(上海)有限公司 一种应用于子弹时间的虚拟广告植入方法
CN111986133B (zh) * 2020-08-20 2024-05-03 叠境数字科技(上海)有限公司 一种应用于子弹时间的虚拟广告植入方法
CN112150464B (zh) * 2020-10-23 2024-01-30 腾讯科技(深圳)有限公司 一种图像检测方法、装置、电子设备及存储介质
CN112150464A (zh) * 2020-10-23 2020-12-29 腾讯科技(深圳)有限公司 一种图像检测方法、装置、电子设备及存储介质
CN112364865A (zh) * 2020-11-12 2021-02-12 郑州大学 一种复杂场景中运动小目标的检测方法
CN115472039A (zh) * 2021-06-10 2022-12-13 上海博泰悦臻网络技术服务有限公司 信息处理方法及相关产品
CN115472039B (zh) * 2021-06-10 2024-03-01 上海博泰悦臻网络技术服务有限公司 信息处理方法及相关产品
CN113408661B (zh) * 2021-07-16 2022-02-18 北京百度网讯科技有限公司 误匹配确定方法、装置、设备和介质
CN113408661A (zh) * 2021-07-16 2021-09-17 北京百度网讯科技有限公司 误匹配确定方法、装置、设备和介质
CN114173020A (zh) * 2021-12-31 2022-03-11 北京德火科技有限责任公司 一种应用于多虚拟演播室的前后景分离方法及系统
CN114578807A (zh) * 2022-01-05 2022-06-03 北京华如科技股份有限公司 一种无人靶车雷视融合的主动目标检测与避障方法
CN118393516A (zh) * 2024-06-26 2024-07-26 烟台腾辉地理信息工程有限公司 一种基于三维构建模型的工程地形测绘系统及测绘方法

Similar Documents

Publication Publication Date Title
CN105976399A (zh) 一种基于sift特征匹配的运动目标检测方法
Li et al. LasHeR: A large-scale high-diversity benchmark for RGBT tracking
Rocco et al. Neighbourhood consensus networks
Urban et al. Multicol-slam-a modular real-time multi-camera slam system
Cavalli et al. Adalam: Revisiting handcrafted outlier detection
CN103325112B (zh) 动态场景中运动目标快速检测方法
CN104268866B (zh) 基于运动信息与背景信息相结合的视频序列配准方法
Wang et al. CubemapSLAM: A piecewise-pinhole monocular fisheye SLAM system
CN114730490A (zh) 用于虚拟现实和增强现实的系统和方法
CN102629329B (zh) 基于自适应sift算法的人员室内定位方法
Huang et al. An Occlusion‐aware Edge‐Based Method for Monocular 3D Object Tracking using Edge Confidence
Liu et al. PatchMatch-based automatic lattice detection for near-regular textures
CN110084830A (zh) 一种视频运动目标检测与跟踪方法
Seib et al. Object recognition using hough-transform clustering of surf features
Chien et al. Indirect visual simultaneous localization and mapping based on linear models
Ekekrantz et al. Adaptive iterative closest keypoint
Ventura et al. P1ac: Revisiting absolute pose from a single affine correspondence
Goldman et al. Robust epipolar geometry estimation using noisy pose priors
Revaud et al. Robust automatic monocular vehicle speed estimation for traffic surveillance
Le et al. Sparse3D: A new global model for matching sparse RGB-D dataset with small inter-frame overlap
Jiao et al. Robust localization for planar moving robot in changing environment: A perspective on density of correspondence and depth
Morrell et al. Autonomous feature tracking for autonomous approach to a small body
Tang et al. A GMS-guided approach for 2D feature correspondence selection
Shen et al. Robust line segment mismatch removal using point-pair representation and Gaussian-uniform mixture formulation
Clark et al. Perspective correction for improved visual registration using natural features.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928

WD01 Invention patent application deemed withdrawn after publication