CN106485245A - 一种基于可见光和红外图像的全天候目标实时跟踪方法 - Google Patents

Abstract

本发明提出一种基于可见光和红外图像的全天候目标实时跟踪方法。对可见光图像和红外图像分别进行图像预处理，去除图像噪声和盲元；使用Harris角点检测法提取可见光图像和红外图像中的角点，使用光流法来跟踪检测出来的角点，并使用RANSAC算法分别对可见光图像和红外图像进行配准；使用MHI方法对经过配准处理的图像进行目标检测，然后使用腐蚀膨胀方法对检测出的目标进行形态学处理；使用Kalman滤波器对检测出的目标进行跟踪并框出目标，然后基于目标特征对目标进行航迹关联，实现对目标的实时监控。本发明可提高对可见光图像和红外图像中目标的检测概率，并且能够多光谱、高效率、全天候地检测识别出移动目标。

Description

一种基于可见光和红外图像的全天候目标实时跟踪方法

技术领域

本发明属于目标监控跟踪技术领域，具体涉及一种基于可见光和红外图像的全天候目标实时跟踪方法。

背景技术

随着社会经济和科学技术的发展，在民用方面，对移动目标比如行进人群、行驶车流等的实时监控、检测跟踪等是大型商场、机场、地铁、车站、博物馆、展览馆等许多重要公共场所在管理和决策方面不可缺少的。为确保系统安全和运行效益，国内外都在积极地开展面向复杂运动目标的监控、跟踪等技术的研究，以期形成高度智能化的视频监控系统网络。在军事应用方面，由于红外跟踪系统是被动地接受目标的红外辐射来探测、跟踪和识别目标。其相比于雷达预警具有隐蔽性好、抗电磁干扰能力强，以及体积小、重量轻、机动性强等优点，正逐渐成为现代防御体系中的一个重要组成部分，受到各国军工部门的重视。综合两方面而言，基于可见光和红外图像的全天候目标实时监控跟踪技术成为了一项更具有实际意义和挑战的研究课题。

视频监控系统是多媒体技术、计算机网络、计算机视觉、模式识别和人工智能等技术综合运用的产物。从发展历程来看，视频监控系统在过去的近五十年里大致经历了三代：第一代模拟视频监控系统，第二代数字视频监控系统，第三代分布式视频监控系统。近几年，智能视频监控技术已引起许多国家的高度重视，它们分别开展了以智能视频监控系统为核心的应用技术研究，比较著名的实验系统包括：1996年日本学术振兴会(JSPS)未来研究项目支持的CDV Project着重研究携带摄像机的具有实时图像处理能力的观测站和移动机器人组成的网络群，并对动态变化的真实场景实现实时的分析和理解；1997年美国国防高级研究项目署(DARPA)设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VSAM(Visual Surveillance And Monitoring)，主要研究用于战场和普通民用环境监控的自动视频理解技术；1999年美国马里兰大学的W4系统；2000-2001年佛罗里达中央大学(UCF)的KNIGHT系统；2003年意大利摩德纳大学(UNIMO)的SAKBOT系统；2004年IBM的Smart系统；2004年由欧盟出资启动的，雷丁大学与法国INRIA等研究机构联合实施的机场智能监控项目AVITRACK能够对停机坪场景进行目标跟踪和异常行为检测与报警，为机场保安这一911后的重大安全课题提供了智能化的解决方案。

目前，美国、欧洲和其他一些国家已经开发出实用的智能视频监控系统。美国的Object Video公司开发的视频分析系统可以用于边境安检和入侵检测，可疑人员逗留、物品遗留和异样物体检测等。法国CitiLog公司开发的视频事件自动检测系统主要应用于智能交通领域，可以对交通拥堵、停驶车辆、逆行车辆、慢行车辆、行人出现和丢弃物品等六种交通事件进行检测。以色列的NiceVision公司的视频分析仪可以实现对闯入者、车辆、被遗弃物品等的实时检测。

国内对智能视频监控系统的研究起步较晚，研究领域涉及目标检测、分类和人体运动分析等。目前，中科院自动化研究所、清华大学、上海交通大学等单位正开展视频目标检测跟踪和人体运动分析等方面研究工作。中科院自动化所模式识别国家重点实验室借鉴了英国雷丁大学Views系统的研究经验，自行设计了交通监控原型系统，初步实现了对交通场景视频中车辆的检测、定位和跟踪，跟踪的结果经过分析和语义解释可以合成语音进行提示，例如当车辆逆行或闯入草地时，系统进行语音警告。

传统的目标实时监控跟踪技术主要是利用同源传感器，局限于单台摄像机和单光谱，即用可见光摄像机来实现。虽然可以减少光线变化和阴影的影响，但算法实现相对复杂，也没有考虑到实际运用时会发生比如单一视角造成运动目标发生遮挡而导致误跟踪、单光谱造成在夜晚或者灯光昏暗的场所中移动目标无法被有效检测识别的问题。若结合可见光和红外摄像机组成立体监控系统，充分利用可见光系统提供的灰度信息，和红外摄像机提供的温度信息，提取目标的运动、空间信息，对复杂环境下全天候的目标连续跟踪实现信息互补是非常有意义的。

发明内容

本发明的目的在于提供一种基于可见光和红外图像的全天候目标实时跟踪方法，可提高对可见光图像和红外图像中目标的检测概率，并且能够多光谱、高效率、全天候地检测识别出移动目标，从而发挥可见光图像和红外图像各自的优点，使跟踪达到理想的要求。

为了解决上述技术问题，本发明提供一种基于可见光和红外图像的全天候目标实时跟踪方法，包括以下步骤：

步骤1，对可见光图像和红外图像分别进行图像预处理，去除图像噪声和盲元；

步骤2，使用Harris角点检测法提取可见光图像和红外图像中的角点，使用光流法来跟踪检测出来的角点，并使用RANSAC算法分别对可见光图像和红外图像进行配准；

步骤3，使用MHI方法对经过配准处理的图像进行目标检测，然后使用腐蚀膨胀方法对检测出的目标进行形态学处理；

步骤4，使用Kalman滤波器对检测出的目标进行跟踪并框出目标，然后基于目标特征对目标进行航迹关联，实现对目标的实时监控。

进一步，使用平均中值滤波方法对可见光图像和红外图像进行图像预处理。

进一步，在步骤3所述的MHI方法中，阈值T为自适应变化的阈值，在检测前一时刻的前向MHI图像中的目标轮廓像素值时，通过相邻帧累计根据目标轮廓像素值的变化不断调整阈值T；同时，将前向MHI图像和后向MHI图像中像素值较小者作为最终检测的目标图像。

进一步，步骤4中，Kalman滤波器的观测向量Z(k)如式(1)所示：

Z(k)＝{x_k,y_k,I(k)} (1)

式(1)中，k是目标的运动矢量，(x_k,y_k)是目标的位置，I(k)是目标在单帧检测过程中潜在目标的平均灰度值；

进行航迹关联时，对于产生关联的航迹i和目标j采用如式(2)所示方法计算各部分的滤波残差

式(2)中，Δx_k,ij,Δy_k,ij是经过Kalman滤波处理得到的残差，ΔI_ij(k)是量测目标j灰度的预测误差，是滤波残差；

对于Kalman滤波残差的距离和灰度残差采用如式(3)、(4)、(5)所示的方法计算：

式(3)、(4)、(5)中，x_j(k)、y_j(k)和I_j(k)分别是量测目标j的水平坐标、垂直坐标和灰度值，和是航迹i预测目标的水平坐标、垂直坐标和灰度值；和为经过Kalman滤波处理后的预测值。

本发明与现有技术相比，其显著优点在于，(1)功能扩展：传统的目标实时监控跟踪技术主要是利用同源传感器，局限于单台摄像机和单光谱，即仅仅用可见光摄像机来实现，没有考虑到实际运用时会发生比如单一视角造成运动目标发生遮挡而导致误跟踪、单光谱造成在夜晚或者灯光昏暗的场所中移动目标无法被有效检测识别的问题。本发明结合使用了可见光、红外摄像机，因此既能在白天强光也能在黑夜微光条件下使用，并且采用了能适用于可见光、红外目标的检测跟踪方法，使本发明能够多光谱、高效率、高质量地检测识别出运动目标，实现运动目标的监控智能化；(2)适用范围扩大：在民用上，比如在重要场所、安防监控领域，本发明不仅可应用在交通流量控制领域，还可以扩展应用于广场、车站等场所的流量监控及违规行为检测方面；在军用上，借助本发明可进行空中目标探测尤其是红外弱小目标的探测；(3)运用本发明改进的MHI算法和Kalman滤波器，使得对可见光、红外目标的平均检测率较高，对于弱小目标的检测尺度可达20像素*20像素；同时本发明的环境鲁棒性增强，在光照变换、风雾影响的前提下，仍旧保持较高的检测率。

附图说明

图1是本发明基于可见光和红外图像的全天候目标实时跟踪方法的流程示意图。

图2是本发明仿真试验中使用的原始可见光图像。

图3是本发明仿真试验中对图2去除噪声和盲元后的图像。

图4是本发明仿真试验中经过角点检测和配准后的图像。

图5是本发明仿真试验中经过MHI目标检测、腐蚀膨胀后的图像。

图6是本发明仿真试验中经过Kalman滤波器跟踪目标后的图像。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于可见光和红外图像的全天候目标实时跟踪方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

结合图1，本发明基于可见光和红外图像的全天候目标实时跟踪方法，步骤如下：

第一步，对原始可见光图像和红外图像进行图像预处理，去除图像噪声和盲元。输入的可见光图像如图2所示。本发明使用平均中值滤波方法法来分别对可见光图像和红外图像进行预处理，去除噪声和盲元后的可见光图像如图3所示。

第二步，将经过预处理的图像做配准处理，即使用Harris角点检测法提取可见光图像和红外图像中的角点，使用光流法来跟踪检测出来的角点，并使用RANSAC算法分别对可见光图像和红外图像进行配准。经过角点检测和配准后的图像如图4所示。本步骤具体过程为：

首先，使用Harris角点检测法提取可见光图像和红外图像中的角点。Harris角点检测算子是Moravec角点检测算子的改进，它利用高斯函数w(x,y)代替了原二值窗口函数，即对离中心点越近的像素赋于越大的权重，以减少噪声影响。如下式所示：

式(1)中，w(x,y)是高斯函数，I_x是像素灰度值在x方向上的偏导，I_y是像素灰度值在y方向上的偏导，M是角点判定矩阵。

Harris角点检测法采用了一种新的角点判定方法：角点判定矩阵M的两个特征向量λ₁和λ₂与矩阵M的主曲率成正比。Harris角点检测法利用λ₁、λ₂来表征变化最快和最慢的两个方向，若两个方向都很大就是角点，一个大一个小就是边缘，两个都小就是在变化缓慢的图像区域。

其次，使用光流法跟踪前述提取出的角点。光流法是基于亮度恒定，时间连续或者是运动是“小运动”，空间一致，临近点有相似运动三个原则实现的。根据空间一致原则，本发明以特征点为中心，选取大小为5*5的窗口，以窗口运动替代特征点的运动，如果在相邻两帧图像I₁、I₂内窗口中的图像内容相同，则在亮度恒定的前提下，有下述光流约束条件成立：

I₁(x,y,t)＝I₂(x',y',t+τ) (2)

式(2)中，t表示某一时刻，τ表示相邻两帧图像的时间间隔。在窗口中的所有像素点坐标(x,y)都往同一个方向移动了(dx,dy)，从而得到(x',y')。因此，窗口内图像的匹配的问题可转化为对式(3)寻求最小值的计算：

式(3)中，dx、dy分别是图像在x、y方向上的速度分量，ε(d)是最小值运算结果。对上式求导，并令其导数为0，即得出矩阵形式如式(4)所示：

式(4)为光流计算的最终公式，I_t是指像素灰度值关于t的偏导。

根据以上计算获得了第I₁帧图像中每个角点(x_I1,y_I1)处的光流运动向量(dx,dy)，从而确定了第I₂帧图像中对应角点的像素坐标为(x_I2,y_I2)。

最后，根据跟踪到的角点，使用RANSAC算法对图像进行配准。具体过程为：

假设相邻两帧图像中的特征点集D和特征点集D'中相对应的特征点对分别表示为i＝1,2,3...N，则计算出特征点对的平均距离D_pq如下式所示：

式(5)中，D_pq为特征点对的平均距离，N为像素数。

如果则将点对存入集合S中。在集合S中任意提取势为4的样本集S₁，S₁中包含四对特征点对其中i＝1,2,3,4，利用四对特征点对构造单应性矩阵如式(6)所示：

式(6)中，n₁₁、n₁₂、n₁₃、n₂₁、n₂₂、n₂₃、n₃₁、n₃₂分别为单应性矩阵的元素，为相邻两帧之间的单应性矩阵。根据以上单应性矩阵完成对图像的配准处理。

第三步，使用本发明改进后的MHI(运动历史图)方法对经过配准处理后的图像进行目标检测，使用腐蚀膨胀方法对检测出的目标进行形态学处理。经过MHI方法和形态学处理后的图像如图5所示。

改进的MHI方法核心在于图像通过系统时间转换后对MHI进行不断更新，随着时间的推进，当前图像对应的轮廓总是有最大的灰度值，而过去图像对应的轮廓在当前MHI中的影响将会越来越小，当过去帧图像与当前帧图像的间隔超过一定阈值时，其影响将被清零。本发明中MHI方法的步骤如下：

首先，对经过图像预处理和配准处理后的图像做相邻差分运算，通过式(7)获得差分图像：

D(τ)＝|I(τ)-I(τ±Δ)| (7)

其次，将差分图像与阈值对比，计算得出前后向MHI图像，MHI是一个不断更新的过程，以前向MHI为例，其计算过程为递推运算。

式(8)是前向MHI图像的计算公式，式中，H_F(x,y,τ)是指前向MHI图像，H_F(x,y,τ-1)是指前一时刻的前向MHI图像，x是指图像的行，y是指图像的列，T是指阈值，D(x,y,τ)是指差分图像。

在本发明中使用的MHI算法进行了相应改进，首先，将原来固定阈值改为自适应变化的阈值T，检测前一时刻的前向MHI图像H_F(x,y,τ-1)中的目标轮廓像素值时，通过相邻帧累计根据目标轮廓像素值的变化不断调整阈值T，可以区别处理背景发生突变的情况和前景目标静止的情况。通过上式递归得到前向以及后向MHI图像：H_F(t)和H_B(t)。

其次，由于原来MHI算法中只能得出前向MHI或者后向MHI图像的目标检测效果，在本发明改进方法中综合两种图像即前向MHI和后向MHI图像考虑，将两种图像对应的像素值较小者作为最终检测的目标图像，能够使检测出的目标轮廓更清晰，像素值更精确。具体如下：

随着时间的推移，历史图像的影响将会越来越小，于是目标运动反方向将会形成拖影，本发明选取前向MHI图像H_F(t)和后向MHI图像H_B(t)中的像素较小值作为最终的检测结果，即M(t)为最终检测出的目标图像：

M(t)＝min(medfilt(H_F(t)),medfilt(H_B(t))) (9)

式(9)是最终的检测目标图像计算公式，medfilt是指中值滤波运算，min是指较小值运算，M(t)是指最终的检测结果。

最后，对经过分割后的图像进行腐蚀膨胀。腐蚀模板为5×5的矩形模板，而膨胀模板为7×7的矩形。

第四步，使用改进的Kalman滤波器对检测出的目标进行跟踪并框出目标，并基于目标特征对目标进行航迹关联，实现对目标的实时监控。经过Kalman滤波器跟踪目标后的图像如图6所示。

Kalman滤波算法是一种基于最小方差的最佳线性递归滤波算法，它能够预测视频图像下一帧区域的中心位置，更新当前帧的目标区域。传统Kalman滤波器的状态方程为式(10)、观测方程为式(10)：

X(k+1)＝AX(k)+Bw(k) (22)

Z(k)＝HX(k)+v(k) (23)

式中，k是目标的运动矢量，X(k)＝[x(k) y(k) Δx(k) Δy(k)]^T为状态向量，x(k)、y(k)分别为运动目标中心坐标在x轴和y轴的分量。Z(k)＝[x(k) y(k)]^T为观测向量，x(k)、y(k)表示当前帧观测到的目标中心在x轴和y轴的坐标分量。为系统的状态转移矩阵，为系统的控制矩阵，为系统的观测矩阵，w(k)，v(k)分别为过程噪声和测量噪声，它们是均值为零的高斯白噪声且相互独立，其协方差分别为Q,R,T为采样间隔。

传统的目标跟踪算法只考虑目标的速度和方向信息，本发明与传统算法的不同之处在于，本发明计算目标与航迹之间的距离时，还将目标灰度信息加入到计算中，能够使提高目标跟踪的准确性和有效性。下面是将传统Kalman滤波器算法改进部分，即在观测向量中加入目标的灰度信息I(k)。如下式所示：

Z(k)＝{x_k,y_k,I(k)} (24)

式中，(x_k,y_k)是目标的位置，I(k)是目标在单帧检测过程中潜在目标的平均灰度值。

对于产生关联的航迹i和目标j采用如下方式计算各部分的滤波残差：

式中，Δx_k,ij,Δy_k,ij是经过Kalman滤波算法处理得到的残差，ΔI_ij(k)是量测目标j灰度的预测误差，是滤波残差。

对于Kalman滤波残差的距离和灰度残差采用下面的方法计算：

式中，x_j(k)、y_j(k)和I_j(k)分别是量测目标j的水平坐标、垂直坐标和灰度值，和是航迹i预测目标的水平坐标、垂直坐标和灰度值；和为经过Kalman滤波算法处理后的预测值。

Claims (4)

1.一种基于可见光和红外图像的全天候目标实时跟踪方法，其特征在于，包括以下步骤：

步骤1，对可见光图像和红外图像分别进行图像预处理，去除图像噪声和盲元；

步骤2，使用Harris角点检测法提取可见光图像和红外图像中的角点，使用光流法来跟踪检测出来的角点，并使用RANSAC算法分别对可见光图像和红外图像进行配准；

步骤3，使用MHI方法对经过配准处理的图像进行目标检测，然后使用腐蚀膨胀方法对检测出的目标进行形态学处理；

步骤4，使用Kalman滤波器对检测出的目标进行跟踪并框出目标，然后基于目标特征对目标进行航迹关联，实现对目标的实时监控。

2.如权利1所述基于可见光和红外图像的全天候目标实时跟踪方法，特征在于，使用平均中值滤波方法对可见光图像和红外图像进行图像预处理。

3.如权利1所述基于可见光和红外图像的全天候目标实时跟踪方法，特征在于，在步骤3所述的MHI方法中，阈值T为自适应变化的阈值，在检测前一时刻的前向MHI图像中的目标轮廓像素值时，通过相邻帧累计根据目标轮廓像素值的变化不断调整阈值T；同时，将前向MHI图像和后向MHI图像中像素值较小者作为最终检测的目标图像。

4.如权利3所述基于可见光和红外图像的全天候目标实时跟踪方法，特征在于，步骤4中，Kalman滤波器的观测向量Z(k)如式(1)所示：

Z(k)＝{x_k,y_k,I(k)} (1)

式(1)中，k是目标的运动矢量，(x_k,y_k)是目标的位置，I(k)是目标在单帧检测过程中潜在目标的平均灰度值；

进行航迹关联时，对于产生关联的航迹i和目标j采用如式(2)所示方法计算各部分的滤波残差

${\tilde{Z}}_{ij}\left(k\right)=\{{\mathrm{\Δx}}_{k,ij},{\mathrm{\Δy}}_{k,ij},{\mathrm{\ΔI}}_{ij}\left(k\right)\}---\left(2\right)$

式(2)中，Δx_k,ij,Δy_k,ij是经过Kalman滤波处理得到的残差，ΔI_ij(k)是量测目标j灰度的预测误差，是滤波残差；

对于Kalman滤波残差的距离和灰度残差采用如式(3)、(4)、(5)所示的方法计算：

${d^x}_{ij}\left(k\right)=|x_j\left(k\right)-{\hat{x}}_i\left(k\right)|---\left(3\right)$

${d^y}_{ij}\left(k\right)=|y_j\left(k\right)-{\hat{y}}_i\left(k\right)|---\left(4\right)$

${\mathrm{\ΔI}}_{ij}\left(k\right)=|I_j\left(k\right)-{\hat{I}}_i\left(k\right)|---\left(5\right)$

式(3)、(4)、(5)中，x_j(k)、y_j(k)和I_j(k)分别是量测目标j的水平坐标、垂直坐标和灰度值，和是航迹i预测目标的水平坐标、垂直坐标和灰度值；和为经过Kalman滤波处理后的预测值。