CN101916447A - 一种鲁棒的运动目标检测与跟踪图像处理系统 - Google Patents

Abstract

一种鲁棒的运动目标检测与跟踪图像处理系统，包括以DSP为核心的数字信号处理器、CCD摄像机和PC机，所述图像处理系统执行以下步骤：视频数据的采集；数字信号处理器逐帧读入采集到的数字视频序列，采用改进混合高斯背景模型对上步骤中的帧序列进行运动目标检测；将上步骤中的检测结果进行去噪和阴影去除；对检测到的运动目标进行跟踪；将处理结果传送并显示给用户，以待处理；其中，所述采用改进的混合高斯背景模型包括下列步骤：对输入的视频帧进行背景模型的初始化，建立背景模型；当前帧跟背景图相减；二值化前景图；进行形态学滤波，去掉噪音；引入加速因子和平滑方程来更新背景模型；将背景转化为图像格式，用以显示。

Description

一种鲁棒的运动目标检测与跟踪图像处理系统

技术领域

本发明属于数字图像处理技术领域，具体涉及一种鲁棒的运动目标检测与跟踪图像处理系统，实现对输入的视频信号中异常运动目标进行检测和跟踪。

背景技术

DSP(Digital Signal Processor)是一种微处理器，处理大量数字信号的器件。它不仅具有可编程性，而且其实时运行速度可达每秒数以千万条复杂指令程序，远远超过通用微处理器，是数字化电子世界中日益重要的芯片。由于DSP易于满足图像处理中运算量大、实时性强、数据传输速率高等要求，兼之计算机强大的多媒体交互能力，因而DSP被广泛地应用于图像处理领域。

运动目标检测是指从序列图像中将变化区域从背景中分割出来。它是数字图像处理技术的一个主要部分，是计算机视觉、目标识别与跟踪、模式识别、运动图像编码、基于内容的检索、安全监控等研究领域的重点与难点，在交通、国防和工业等领域有着广泛的应用前景。然而，由于天气和光照的变化、背景混乱运动的干扰、运动目标的影子以及摄像机的运动等原因的存在，给运动目标的正确检测带来极大挑战。由于运动目标的正确检测与分割影响着运动目标能否被正确跟踪与分类，因此成为视频监控系统研究中的一项重要的课题。它的基本任务是从图像序列中检测出运动信息，简化图像处理过程，得到所需的运动矢量，从而能够识别与跟踪物体。

目前常用的运动目标检测方法有三种：光流法，相邻帧差法，背景减法。本发明是针对计算机智能视频监控系统中运动目标检测。一个典型的视频监控系统是用一个静态的摄像机实时监控固定区域，其目的是从静态背景中分割出动态目标，并对其进行分类、跟踪等操作。所以，从视频流中实时分割动态目标是视频监控系统一个基本环节。运动目标检测处于整个计算机智能视频监视系统的最底层，是各种后续高级处理如目标跟踪、目标分类、行为理解的基础。对于静态摄像机，背景建模是解决实时分割动态目标的有效方法。

一个有效的背景模型应能克服以下几种在实际应用中常常存在的问题：

(1)背景模型的提取：背景图像的获取最简单的方法是在场景没有运动目标的情况下进行，但在某些应用场合无法满足这种要求。

(2)背景的扰动：背景中可以含有轻微扰动的对象，如树枝、树叶的摇动，扰动部分不应该被看作是前景运动目标。

(3)外界光线的变化：一天中不同时间段光线、天气等的变化以及室内开灯、关灯等都会对检测结果产生影响。

(4)背景的更新：由于光照或其它条件的变化会使背景图像发生变化，需要及时对背景模型进行更新，以适应这种变化。

(5)阴影的影响：通常前景目标的阴影也被检测为运动目标的一部分，这样将影响对运动目标的进一步处理和分析。

本发明总结已有算法的特点的基础上，对其进行改进，最终给出了一个能够适应背景场景轻微扰动、克服噪声和环境光照影响的、实时更新的、鲁棒的目标检测系统。

在计算机视觉的研究领域里，序列图像运动目标跟踪是一个古老而仍未很好解决的、具有挑战性的重要课题。目标跟踪由于有着广泛的应用和需求，引起了人们的极大关注。它在民用方面的应用主要有工业过程控制，医学研究，工业产品监督，交通监控，图像检索和恢复，基于目标的视频编码、压缩及合成等等。与之相比，多目标跟踪在军事上的应用更加受到各国学者的重视。目标跟踪在军事方面的应用主要有战场监视，军事目标跟踪，海域监视，空中预警等。在不同的应用领域，对运动目标跟踪的要求是不同的。如在基于目标的视频编码和视频合成中，精度是非常重要的；而在视频监控中要求自动实时地跟踪，能够容忍一定的误差。

本发明是典型视频监控系统中的多运动目标跟踪，目标跟踪的工作是建立在运动目标检测的基础上完成的。

发明内容

本发明主要应用场合为室外运动目标检测与室内异常行为检测与跟踪。该系统采用了鲁棒的软件编码方法，设计灵活，算法的修改和优化更加方便，使用方便，采用较为灵活的人机操作界面，具有广泛的工程应用范围。

实现本发明目的的技术方案是：一种鲁棒的运动目标检测与跟踪图像处理系统，包括以DSP为核心的数字信号处理器、CCD摄像机和PC机，数字信号处理器的一端连接CCD摄像机，另一端连接PC机，所述图像处理系统执行以下步骤：

步骤1视频数据的采集：数字信号处理器从摄像头CCD输入的模拟视频信号经模数转换器数字化采集后，传输到指定的内存缓冲空间中，等待处理；

步骤2数字信号处理器逐帧读入采集到的数字视频序列，采用改进混合高斯背景模型对步骤2中的帧序列进行运动目标检测；

步骤3将步骤2中的检测结果进行去噪和阴影去除；

步骤4在步骤3的基础上对检测到的运动目标进行跟踪；

步骤5将处理结果传送并显示给用户，以待处理；

其中，所述采用改进的混合高斯背景模型包括下列步骤：

步骤21对输入的视频帧进行背景模型的初始化，建立背景模型；

步骤22当前帧跟背景图相减；

步骤23二值化前景图；

步骤24进行形态学滤波，去掉噪音；

步骤25引入加速因子和平滑方程来更新背景模型；

步骤26将背景转化为图像格式，用以显示。

所述步骤21中初始化背景模型，具体包括：

对每一个像素建立其一段时间内采样的直方图并对直方图进行滤波处理，通过直方图的一阶差分获取尖峰所在的位置，对每个尖峰所对应高斯分布的参数进行初始化。

所述步骤25中背景模型的更新具体包括：

定义θ_x，y，i(t)＝t²为加速因子，其中x，y代表图像中像素点的坐标，t表示位于该位置的像素点落在第i个分布上的持续时间，当新得到的像素和高斯模型中的第j个分布匹配时，则第j个分布的权重按如下方程更新：

其中α为某一个固定的常数。

在背景模型更新过程中引入加速因子和合理性判断，可以加速模型更新的效率，有效解决静止目标发生运动时产生拖影现象。

如很长时间没有改变时，只要场景光照有细微变化就被检测出来。对于这个问题，本发明采用平滑方程对K个高斯分布进行更新。

$w_{t,v,j,n+1}=\frac{1+w_{v,j,n}\mathrm{\α}/{\mathrm{\θ}}_{x,y,j}\left(t\right)}{\mathrm{\α}/{\mathrm{\θ}}_{x,y,j}\left(t\right)+1}$

$f_{n+1}=\left\{\begin{array}{c}{f}_n+1\mathrm{if}{l}_n\≠255\\ f_n\mathrm{if}{l}_n=255\end{array}\right.$

l_n+1＝255

其中w_v，k，n，f_n，l_n分别为n时刻像素x处第n个模型的权值、重现频率和生存时间。

附图说明

图1视频数据采集流程。

图2运动目标检测流程图。

图3阴影去除流程图。

图4运动目标跟踪流程图。

图5是本发明实施例图像处理系统执行流程示意图

具体实施方式

下面结合实施例和附图进行进一步说明。

一种鲁棒的运动目标检测与跟踪图像处理系统，包括以DSP为核心的数字信号处理器、CCD摄像机和PC机，数字信号处理器的一端连接CCD摄像机，另一端连接PC机，图像处理系统执行以下步骤：

步骤1视频数据的采集：数字信号处理器从摄像头CCD输入的模拟视频信号经模数转换器数字化采集后，传输到指定的内存缓冲空间中，等待处理；

步骤2数字信号处理器逐帧读入采集到的数字视频序列，采用改进混合高斯背景模型对步骤2中的帧序列进行运动目标检测；

步骤3将步骤2中的检测结果进行去噪和阴影去除；

步骤4在步骤3的基础上对检测到的运动目标进行跟踪；

步骤5将处理结果传送并显示给用户，以待处理。

如图1所示，步骤1视频数据的采集流程包括下列步骤：

步骤S101通过CCD摄像头开始视频采集；

步骤S102打开CCD摄像头；

步骤S103将视频数据进行模数转换(A/D)；

步骤S104转换好的视频帧数据向DSP处理器申请帧缓冲空间；

步骤S105将申请到的帧缓冲视频全部如队列；

步骤S106开始视频帧的采集。

如图2所示，步骤2采用改进的混合高斯背景模型进行运动目标检测包括下列步骤

步骤S201对输入的视频帧进行背景模型的初始化，建立背景模型；

步骤S202当前帧跟背景图相减；

步骤S203二值化前景图；

步骤S204进行中值滤波和形态学滤波，去掉噪音；

步骤S205引入加速因子和平滑方程来更新背景模型；

步骤S206将背景转化为图像格式，用以显示。

其中步骤S201中初始化背景模型，具体包括：

对每一个像素建立其一段时间内采样的直方图并对直方图进行滤波处理，通过直方图的一阶差分获取尖峰所在的位置，对每个尖峰所对应高斯分布的参数进行初始化。

其中步骤S205中背景模型的更新具体包括：

定义θ_x，y，i(t)＝t²为加速因子，其中x，y代表图像中像素点的坐标，t表示位于该位置的像素点落在第i个分布上的持续时间，当新得到的像素和高斯模型中的第j个分布匹配时，则第j个分布的权重按如下方程更新：

其中α为某一个固定的常数。

在背景模型更新过程中引入加速因子和合理性判断，可以加速模型更新的效率，有效解决静止目标发生运动时产生拖影现象。

如很长时间没有改变时，只要场景光照有细微变化就被检测出来。对于这个问题，本发明采用平滑方程对K个高斯分布进行更新。

$w_{t,v,j,n+1}=\frac{1+w_{v,j,n}\mathrm{\α}/{\mathrm{\θ}}_{x,y,j}\left(t\right)}{\mathrm{\α}/{\mathrm{\θ}}_{x,y,j}\left(t\right)+1}$

$f_{n+1}=\left\{\begin{array}{c}{f}_n+1\mathrm{if}{l}_n\≠255\\ f_n\mathrm{if}{l}_n=255\end{array}\right.$

l_n+1＝255

其中w_v，k，n，f_n，l_n分别为n时刻像素x处第n个模型的权值、重现频率和生存时间。

如图3所示，对检测结果进行去噪和阴影去除包括下列步骤：

步骤S301读取前景帧；

步骤S302计算S^R、S^G和S^B，并取最大值记为S；

步骤S303计算背景中与前景像素分量最大值相对应的像素分量值，记为S’，判断S(i，j)-S′(i，j)＜T，其中T为阈值，如果成立执行步骤S304，如果不成立执行步骤S305；

步骤S304，检测阴影并去除；

步骤S305，得到去除阴影后的前景帧。

如图4所示，根据检测结果进行运动目标跟踪包括下列步骤：

步骤S401根据检测结果取出运动区域；

步骤S402初始化搜索次数阈值；

步骤S403根据卡尔曼滤波法预测目标的当前位置；

步骤S404根据Mean-Shift搜索目标区域，搜索次数阈值减一；

步骤S405判断搜索次数是否成功，成功转至步骤46，失败转至步骤47；

步骤S406使用搜索成功的结果，转至步骤43；

步骤S407判断是否达到搜索阈值，如果达到转至步骤48，如果没有转至步骤43；

步骤S408目标出界，接受搜索。

如图5所示，图像处理系统在硬件中的具体实现流程。

B1：从摄像头采集的数据存入输入缓冲之后，从输入缓冲中读入摄像头采集的图像；

B2：对图像编解码，并进行预处理；

B3：将预处理后的图像信息缓存至DSP芯片中，进行运动目标检测和跟踪的处理；

B4：将DSP芯片处理后的图像信息通过Internet进行传输；

B5：将DSP芯片处理的结果显示至用户桌面。

Claims (5)

1.一种鲁棒的运动目标检测与跟踪图像处理系统，包括以DSP为核心的数字信号处理器、CCD摄像机和PC机，数字信号处理器的一端连接CCD摄像机，另一端连接PC机，图像处理系统执行以下步骤：

步骤1视频数据的采集：数字信号处理器从摄像头CCD输入的模拟视频信号经模数转换器数字化采集后，传输到指定的内存缓冲空间中，等待处理；

步骤2数字信号处理器逐帧读入采集到的数字视频序列，采用改进混合高斯背景模型对采集到的帧序列进行运动目标检测；

步骤3将步骤2中的检测结果进行去噪和阴影去除；

步骤4在步骤3的基础上对检测到的运动目标进行跟踪；

步骤5将处理结果传送并显示给用户，以待处理；

其特征是，所述采用改进的混合高斯背景模型包括下列步骤：

步骤21对输入的视频帧进行背景模型的初始化，建立背景模型；

步骤22当前帧跟背景图相减；

步骤23二值化前景图；

步骤24进行形态学滤波，去掉噪音；

步骤25引入加速因子和平滑方程来更新背景模型；

步骤26将背景转化为图像格式，用以显示。

2.根据权利要求1所述的鲁棒的运动目标检测与跟踪图像处理系统，其特征是，步骤21中初始化背景模型，具体包括：对每一个像素建立其一段时间内采样的直方图并对直方图进行滤波处理，通过直方图的一阶差分获取尖峰所在的位置，对每个尖峰所对应高斯分布的参数进行初始化。

3.根据权利要求1所述的鲁棒的运动目标检测与跟踪图像处理系统，其特征是，步骤25中背景模型的更新具体包括：

定义θ_x，y，i(t)＝t²为加速因子，其中x，y代表图像中像素点的坐标，t表示位于该位置的像素点落在第i个分布上的持续时间，当新得到的像素和高斯模型中的第j个分布匹配时，则第j个分布的权重按如下方程更新：

其中α为某一个固定的常数；采用平滑方程对K个高斯分布进行更新，

$w_{t,v,j,n+1}=\frac{1+w_{v,j,n}\mathrm{\α}/{\mathrm{\θ}}_{x,y,j}\left(t\right)}{\mathrm{\α}/{\mathrm{\θ}}_{x,y,j}\left(t\right)+1}$

$f_{n+1}=\left\{\begin{array}{c}{f}_n+1\mathrm{if}{l}_n\≠255\\ f_n\mathrm{if}{l}_n=255\end{array}\right.$

l_n+1＝255

其中w_v，k，n，f_n，l_n分别为n时刻像素x处第n个模型的权值、重现频率和生存时间。

4.根据权利要求1所述的鲁棒的运动目标检测与跟踪图像处理系统，其特征是，所述步骤3对检测结果进行去噪和阴影去除包括下列步骤：

步骤S301读取前景帧；

步骤S302计算S^R、S^G和S^B，并取最大值记为S；

步骤S303计算背景中与前景像素分量最大值相对应的像素分量值，记为S’，判断S(i，j)-S′(i，j)＜T，其中T为阈值，如果成立执行步骤S304，如果不成立执行步骤S305；

步骤S304，检测阴影并去除；

步骤S305，得到去除阴影后的前景帧。

5.根据权利要求1所述的鲁棒的运动目标检测与跟踪图像处理系统，其特征是，所述步骤4根据检测结果进行运动目标跟踪包括下列步骤：

步骤S401根据检测结果取出运动区域；

步骤S402初始化搜索次数阈值；

步骤S403根据卡尔曼滤波法预测目标的当前位置；

步骤S404根据Mean-Shift搜索目标区域，搜索次数阈值减一；

步骤S405判断搜索次数是否成功，成功转至步骤46，失败转至步骤47；

步骤S406使用搜索成功的结果，转至步骤43；

步骤S407判断是否达到搜索阈值，如果达到转至步骤48，如果没有转至步骤43；

步骤S408目标出界，接受搜索。

Images