CN101470896A - 基于视频分析的机动目标飞行模式预测方法 - Google Patents

Abstract

本发明公开了一种基于视频分析的机动目标飞行模式预测方法。首先提取机动目标图像以及视频帧的特征点，并剔除掉错误匹配的点，将视频帧中能正确匹配的特征点的特征向量作为分类器训练学习的样本特征，得到分类器的参数，在预测机动目标的飞行模式时，提取测试视频的正确匹配的特征向量，送入离线训练好的分类器，由计算结果得到预测的飞行模式。本发明使用的特征点算子是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，其匹配精度高，在图像具有较复杂的变形的情况下，仍然可以准确地匹配到大量的稳定点，可广泛用于智能交通、机器人等系统的机动目标高精度定位与预测中。

Description

基于视频分析的机动目标飞行模式预测方法

技术领域

本发明涉及一种智能信息处理技术，特别是一种基于视频分析的机动目标飞行模式预测方法。

背景技术

随着现代科技的飞速发展，利用摄像机来监控动态场景早己被广泛应用，特别是那些对安全要求敏感的场合，如社区、银行、停车场、军事基地等。运动目标的精确自动跟踪是监控系统的核心问题，80年代以来国内外分别提出了许多机动目标模型和自适应跟踪算法，包括微分多项式模型、匀速和匀加速模型、时间相关模型、半马尔可夫模型以及机动目标“当前”统计模型。跟踪算法主要是采用自适应跟踪方法。由于各个模型只能反映实际目标的某个侧面，比如匀速和匀加速模型只能反映目标的匀速和匀加速运动，因此在响应速度和跟踪精度之间的矛盾就成为机动目标跟踪的难点。如按直升机飞行的方式，其飞行模式可分为前飞、悬停、盘旋等不同情况。但是直升机与固定翼飞机的最大不同在于直升机可以悬停在空中，而这也正是它的一个重要的战斗状态。而直升机在处于悬停状态时，其运动规律与固定翼飞机的运动规律是完全不同的，它是在空间某固定点的周围不停地在作低速度、高加速度地随机抖动。而当前我们的高炮火控系统在进行火控计算时(解命中问题)所作的目标运动假设是以固定翼飞机的运动方程来给出的(如匀速直线运动、匀加速直线运动或带有一定的机动飞行等)，因此从越南战争、中东战争到伊拉克战争都充分表明，现有的高炮射击综合体在射击处于悬停状态的直升机时效果很差。

发明内容

本发明的目的在于提供一种能预测目标未来的飞行模式，然后由不同的飞行模式，寻找合适的飞行轨迹模型，从而精确预测目标的未来位置，满足精确跟踪机动目标的性能需求的基于视频分析的机动目标飞行模式预测方法。

实现本发明目的的技术解决方案为，一种基于视频分析的机动目标飞行模式预测方法，其步骤为：

第一步，特征提取：提取机动目标图像以及视频帧的特征点，首先对图像进行预处理以消除图像模糊，接着对图像使用不同的采样距离，滤波形成金字塔图像分层结构，并让金字塔图像中象素点与同层及相邻层其他象素点进行比较，选取极值点作为侯选特征点，再将低对比度的侯选特征点过滤掉，同时过滤掉边缘处具有低对比度的特征点，最后得到稳定的特征点；

利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性，这些方向参数以及位置参数构成了特征点的特征向量，将视频帧以及目标图像中的特征向量进行匹配，匹配完成后，再采用随机采样特征算法剔除掉误匹配的点，最后保存视频帧中能正确匹配的特征点的特征向量作为下一步的输入特征；

第二步，分类器训练学习

采用分类器训练学习和预测机动目标的飞行模式，首先从已有样本中提取特征点的特征向量作为特征输入，用于离线训练分类器，通过学习，得到分类器的各参数；

第三步，飞行模式预测

选择N帧目标的飞行视频，对每一帧进行特征点匹配，计算正确匹配的特征点的特征向量作为特征，送入离线训练好的分类器，由计算结果得到预测的飞行模式。

本发明的原理是：先利用一种图像局部特征描述算子得到机动目标图像及不同飞行模式下训练视频帧的特征点，并进行点与点匹配，同时剔除掉误匹配的点。将正确匹配的特征点的特征向量，作为训练样本特征，去训练分类器，得到合适的分类器参数。当进行飞行模式预测的时候，同样需计算测试视频帧的正确匹配的特征点，并将特征点的特征向量送入离线训练好的分类器，由计算结果可得到预测的飞行模式。

本发明与现有技术相比，其显著优点是：1、本发明使用的特征点算子是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，其匹配精度高，在图像具有较复杂的变形(包括几何变形、分辨率变化和光照变化等)的情况下，仍然可以准确地匹配到大量的稳定点；2、本发明考虑到了由于图像色彩丰富，线条复杂，在搜索相似特征点时会产生许多错误匹配点对，因此再算法中增加了消除错误匹配特征点的算法；3、本发明构建的分类器能自动根据特征向量将机动目标的飞行模式进行无监督学习，从而将飞行模式自动分类。

附图说明：

附图为本发明的基于视频分析的机动目标飞行模式预测方法的流程框图。

具体实施方式：

以下结合附图对本发明的实施方式作进一步描述。

结合附图，具体实施细节如下：

1.特征提取

采用Scale Invariant Feature Transform尺度不变特征变换算子作为特征点。

高斯函数是唯一的尺度空间内核函数，高斯卷积核是实现尺度变换的唯一线性核，一副二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，y，σ)*I(x，y)                 (1)

其中G(x，y，σ)是尺度可变高斯函数，

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}^2}}---\left(2\right)$

其中(x，y)是空间坐标，σ是尺度坐标。

利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间(DOG scale-space)：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)    (3)

对图像使用不同的采样距离以形成一个金字塔图像分层结构，然后用高斯内核函数对其进行滤波形成高斯金字塔图像分层结构，对各层图像进行高斯滤波时分别采用不同的高斯滤波因子。将金字塔图像中每个象素点与同层中相邻的8个像素点进行比较，并和上下两层各9个点进行比较，如果样本点是这些点中的灰度极值点(极大值或极小值)，则把这个点当作侯选特征点提取出来，否则按此规则继续比较其他的像素点。

一旦通过上面步骤得到了侯选特征点，下一步就是确定特征点的位置，同时去除低对比度的关键点和不稳定的边缘响应点。

将尺度空间函数D(x，y，σ)泰勒展开(最高到2次项)。

$D\left(x\right)=D+\frac{{\∂D}^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^{2}D}{\∂x^2}x---\left(4\right)$

其中X＝(x，y，σ)^T为样本点的偏移量。通过求这个函数导数并将其值设为0，可以得到X的极值X。

$\stackrel{\‾}{X}=\frac{{\∂}^2{D}^{-1}}{\∂x^2}\frac{\∂D}{\∂x}---\left(5\right)$

如果极值X在任一方向上大于0.5，就意味着偏移量的极值与另外的样本点非常接近，这时样本点就会被改变，这时就用插值来代替该样本点，偏移量X被加到其样本点上从而得到在极值位置处的插值估计值。

$D.\left(\stackrel{\‾}{X}\right)=D+\frac{1}{2}\frac{\text{\∂}{D}^T}{\∂X}\stackrel{\‾}{X}---\left(6\right)$

在极值处的函数值D(X)对过滤掉具有低对比度的不稳定极值点很有用。例如将所有|D(X)|<0.03的低对比度侯选极值点过滤掉，这里假设图像中像素点的取值为[0，1]。

一个在图像边缘的特征点在高斯差分函数的峰值处与边缘交叉处有一较大的主曲率值，但在垂直方向曲率值较小，我们利用这个性质可以将边缘处的低对比度特征点过滤掉。2×2的Hessian矩阵H为：

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]---\left(7\right)$

矩阵H的特征值与D的主曲率值是成比例的。假设α是较大的特征值，β是较小的特征值，我们可以通过下面公式计算出α、β的比值γ。

Tr(H)＝D_xx+D_yy＝α+β              (8)

Det(H)＝D_xxD_yy-(D_xy)²＝αβ         (9)

令α＝γβ，则：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\&alpha;}+\mathrm{\&beta;})}^2}{\mathrm{\&alpha;\&beta;}}=\frac{{(\mathrm{\&gamma;\&beta;}+\mathrm{\&beta;})}^2}{\mathrm{\&gamma;\&beta;}}=\frac{{(\mathrm{\&gamma;}+1)}^2}{\mathrm{\&gamma;}}---\left(10\right)$

为了确定主曲率间比值的阈值γ，我们可以采用下式得到阈值γ：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(\mathrm{\&gamma;}+1)}^2}{\mathrm{\&gamma;}}$

实际应用中取γ＝10。如果主曲率间的比值大于10，则认为该点是位于边缘而被过滤掉。

利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x,y+1))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

                                               (12)

$\mathrm{\&theta;}(x,y)=\mathrm{\&alpha;}\tan 2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))$

(m，θ)为(x，y)处梯度的模值和方向公式，其中L所用的尺度为每个关键点各自所在的尺度。

计算梯度直方图，直方图的峰值则代表了该特征点处邻域梯度的主方向，即作为特征点的方向。当存在另一个相当于主峰值80％能量的峰值时，则将这个方向认为是该特征点的辅方向。一个特征点可能会被指定具有多个方向(一个主方向，一个以上辅方向)，这可以增强匹配的鲁棒性。

至此，图像的特征点已检测完毕，每个特征点有三个信息：位置、所处尺度、方向。由此可以确定一个特征特征区域。

当两幅图像的特征点向量生成后，接着进行特征点向量的匹配以获得候选匹配点。采用特征点向量的欧式距离来作为两幅图像中关键点的相似性判定度量。

稳健的RANSAC算法将伪匹配点集合划分成为内点与外点，在内点域中精确计算图像之间的变换关系。RANSAC的计算过程如下：

1)在全部M个样本中随机选择N个样本；

2)通过N个样本估算参数x；

3)计算全部M个样本中符合变换参数x的支集中的样本数量K；

4)如果K足够大，则结束计算，当前参数x为变换结果；

5)如果K不满足条件，重复1)一4)，一共重复L次；

6)错误退出

由RANSAC算法，剔除掉错误匹配的特征点，将正确匹配的特征点的特征向量保存下来，作为下一步分类器训练学习的特征输入。

2.分类器训练学习

首先，构建一个分类器，采用支持向量机。支持向量机是一种建立在统计学习理论基础上的机器学习方法，适用于有限样本情况下的模式识别问题，能解决模型选择与过学习问题、非线性和维数灾难问题，以及局部极小点等问题。

已知一个N样本的训练集{(x₁，y₁)，…，(x_N，y_N)}，其中y_i的取值为1或—1，分别表示两个类别。支持向量机分类器的关键是构造一个最优分类函数

$f\left(x\right)=\mathrm{sign}(\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{y}_{i}K\left(x_{i}x\right)+b)---\left(13\right)$

其中，α_i是支持值，b是实常数。K是核函数，典型的核函数有线性核函数，多项式核函数，径向基函数。函数最优等价于找最优分割超平面的支持向量。

将上一步提取的特征带入分类器中，通过训练学习，可得到分类器的参数。

3.飞行模式预测

将需预测的N帧目标的飞行视频，与目标图像进行特征点匹配，将特征点的特征向量作为特征，送入离线训练好的分类器，通过计算下面的符号对其进行分类，预测目标的飞行模式。

$f\left(x\right)=\mathrm{sign}(w\&CenterDot;x+b)$

$=\mathrm{sign}(\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{y}_{i}x\&CenterDot;x_i+b)---\left(14\right)$

Claims (4)

1、一种基于视频分析的机动目标飞行模式预测方法，其步骤为：

第一步，特征提取：提取机动目标图像以及视频帧的特征点，首先对图像进行预处理以消除图像模糊，接着对图像使用不同的采样距离，滤波形成金字塔图像分层结构，并让金字塔图像中象素点与同层及相邻层其他象素点进行比较，选取极值点作为侯选特征点，再将低对比度的侯选特征点过滤掉，同时过滤掉边缘处具有低对比度的特征点，最后得到稳定的特征点；

利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性，这些方向参数以及位置参数构成了特征点的特征向量，将视频帧以及目标图像中的特征向量进行匹配，匹配完成后，再采用随机采样特征算法剔除掉误匹配的点，最后保存视频帧中能正确匹配的特征点的特征向量作为下一步的输入特征；

第二步，分类器训练学习

采用分类器训练学习和预测机动目标的飞行模式，首先从已有样本中提取特征点的特征向量作为特征输入，用于离线训练分类器，通过学习，得到分类器的各参数；

第三步，飞行模式预测

选择N帧目标的飞行视频，对每一帧进行特征点匹配，计算正确匹配的特征点的特征向量作为特征，送入离线训练好的分类器，由计算结果得到预测的飞行模式。

2、根据权利要求1所述的基于视频分析的机动目标飞行模式预测方法，其特征为：使用的特征点算子是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性、在图像具有较复杂的变形的情况下，可以准确地匹配到大量的稳定点的图像局部特征描述算子。

3、根据权利要求1或2所述的基于视频分析的机动目标飞行模式预测方法，其特征为：提取特征点时采用Scale Invariant Feature Transfom尺度不变特征变换算子。

4、根据权利要求1或2或3所述的基于视频分析的机动目标飞行模式预测方法，其特征为：使用RANSAC随机采样一致性算法消除错误匹配特征点。

Images