CN101493944A - 一种运动目标检测与跟踪的方法和系统 - Google Patents

Abstract

本发明提供了一种运动目标检测与跟踪的方法和系统，以解决现有的目标检测与跟踪方法对复杂场景，容易出现大量错误检测结果的问题。所述方法在检测运动目标时，将背景差分和核密度估计差分结合起来，对两种检测方法得到的图像进行融合处理，以消除两幅前景图的检测误差，最终提取出运动目标。然后，对检测出的运动目标进行跟踪。本发明可以在环境变换的复杂场景下，更好地检测出图像的变化，从而提高检测准确率。而且，可以同时处理多个运动目标的跟踪问题。

Description

一种运动目标检测与跟踪的方法和系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种运动目标检测与跟踪的方法和系统。

背景技术

智能视频监控是基于计算机视觉技术对监控场景内的视频图像进行分析，提取场景中的关键信息，并形成相应事件和告警的监控方式，智能视频监控在公共安全保护、交通管理等方面有着极其广泛的应用。

智能视频监控系统一般使用摄像机或者网络摄像头对某一场景进行连续不断的拍摄，然后对采集的视频流进行处理，检测其中的运动目标，并对运动目标进行分类、跟踪、识别等后续处理。运动目标的检测和跟踪是智能视频监控的基础，对各种后续处理有重要意义，对整个监控系统的性能影响重大。

现有的运动目标检测与跟踪方法有很多，如中国专利申请号为200710020067.1以及200710072546.8的专利。这些方法使用的运动目标检测技术都是基于相邻帧图像的帧间差分或者改进的帧间差分，理论上过于简单，只能处理背景比较简单、环境干扰比较小的场景。但如果场景受到光照、天气等因素的干扰，就会出现大量的错误检测结果。

发明内容

本发明所要解决的技术问题是提供一种运动目标检测与跟踪的方法和系统，以解决现有的目标检测与跟踪方法对复杂场景，容易出现大量错误检测结果的问题。

为了解决上述问题，本发明公开了一种运动目标检测与跟踪的方法，包括：

利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像；

将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

其中，所述将背景差分图像和核密度估计差分图像进行融合处理，具体包括：针对当前输入图像中的任意一个像素点，比较所述背景差分图像中相应像素点的像素值与核密度估计差分图像中相应像素点的像素值，若相等，则将该像素值赋值给融合后图像中相应的像素点；若不相等，则分别计算背景差分图像中相应像素点的熵值，以及核密度估计差分图像中相应像素点的熵值，并进行比较，将熵值大的像素点的像素值赋值给融合后图像中相应的像素点；对当前输入图像中的所有像素点进行上述处理。

优选的，所述将背景差分图像和核密度估计差分图像进行融合处理，具体包括：将所述背景差分图像和核密度估计差分图像进行逻辑与。

优选的，所述将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果，具体包括：设定{A_i}_i＝1 ^M表示当前输入图像中提取出的运动目标图像的特征信息，{B_j}_j＝1 ^N表示之前的帧图像中提取出的运动目标图像的特征信息，其中M和N均表示运动目标图像的个数；针对{A_i}_i＝1 ^M中的每个运动目标图像，利用特征信息分别与{B_j}_j＝1 ^N中的运动目标图像进行相似度计算，并将相似度最大的两个运动目标图像作为相匹配的目标；根据匹配结果得到如下目标跟踪结果：如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动；如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标；如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围。

优选的，所述利用特征信息进行相似度计算，具体包括：利用运动目标图像的特征信息中的位置信息进行相似度计算。

其中，所述利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像，具体包括：将当前输入图像中任意一个像素点的像素值，分别与当前短期背景图像和长期背景图像中相应像素点的像素值，取差的绝对值，然后再将最小的绝对值与预先设定的阈值进行比较，如果大于所述阈值，则将该像素点确定为前景点；否则，确定为背景点；对当前输入图像中的所有像素点进行上述处理，最终得到背景差分图像。

本发明还提供了一种运动目标检测与跟踪的方法，包括：

利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像；

将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

本发明还提供了一种运动目标检测方法，包括：

利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像。

优选的，所述将背景差分图像和核密度估计差分图像进行融合处理，具体包括：将所述背景差分图像和核密度估计差分图像进行逻辑与，得到融合后的运动目标图像。

本发明还提供了一种运动目标检测方法，包括：

利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像。

本发明还提供了一种运动目标检测与跟踪的系统，包括：

背景差分单元，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元，用于利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

融合处理单元，用于将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像；

目标跟踪单元，用于将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

其中，所述融合处理单元包括：比较子单元，用于针对当前输入图像中的任意一个像素点，比较所述背景差分图像中相应像素点的像素值与核密度估计差分图像中相应像素点的像素值，若相等，则将该像素值赋值给融合后图像中相应的像素点；若不相等，则触发熵值计算子单元；熵值计算子单元，用于分别计算背景差分图像中相应像素点的熵值，以及核密度估计差分图像中相应像素点的熵值，并进行比较，将熵值大的像素点的像素值赋值给融合后图像中相应的像素点；对当前输入图像中的所有像素点进行上述处理，最终得到融合后的图像，从所述融合后的图像中提取出运动目标图像。

优选的，所述融合处理单元包括：计算子单元，用于将所述背景差分图像和核密度估计差分图像进行逻辑与，得到融合后的运动目标图像。

优选的，所述目标跟踪单元包括：目标匹配子单元，用于针对{A_i}_i＝1 ^M中的每个运动目标图像，利用特征信息分别与{B_j}_j＝1 ^N中的运动目标图像进行相似度计算，并将相似度最大的两个运动目标图像作为相匹配的目标；其中，{A_i}_i＝1 ^M表示当前输入图像中提取出的运动目标图像的特征信息，{B_j}_j＝1 ^N表示之前的帧图像中提取出的运动目标图像的特征信息，其中M和N均表示运动目标图像的个数；目标跟踪结果子单元，用于根据匹配结果得到如下目标跟踪结果：如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动；如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标；如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围。

本发明还提供了一种运动目标检测与跟踪的系统，包括：

背景差分单元，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元，用于针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

目标提取单元，用于利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像；

目标跟踪单元，用于将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

本发明还提供了一种运动目标检测装置，包括：

背景差分单元，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元，用于利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

融合处理单元，用于将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像。

优选的，所述融合处理单元包括：计算子单元，用于将所述背景差分图像和核密度估计差分图像进行逻辑与，得到融合后的运动目标图像。

本发明还提供了一种运动目标检测装置，包括：

背景差分单元，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元，用于针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

目标提取单元，用于利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像。

与现有技术相比，本发明具有以下优点：

首先，本发明提出一种将背景差分与核密度估计差分相融合的运动目标检测方法。背景差分是通过当前输入图像与保存的一幅背景图像的差异来检测出运动目标图像，该方法可以对图像变化缓慢的场景进行运动目标的检测。而核密度估计差分是将当前输入图像与之前若干帧图像进行比较，如果当前图像发生了剧烈的变化，则与其前若干帧图像的差异必然很大，因此可以实现对快速变化的图像的检测。而且，核密度估计差分是一种非常精确的方法，效果很好但是运算量比较大，借助于背景差分可以提高其运算速度。

综上所述，背景差分检测图像中的慢变化，而核密度估计差分检测图像中的快变化。将所述两种方法结合起来，充分发挥了两种方法的优点，可以在环境变换的复杂场景下，更好地检测出图像的变化，从而提高检测准确率。

其次，在将背景差分与核密度估计差分相结合的时候，可以使用背景差分的结果对核密度估计差分进行加速处理，即：针对背景差分图像中判断为前景点的像素点，进行核密度估计差分；而针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点。这样得到的图像可以不进行融合处理，而直接检测出运动目标。这种处理方式可以提高计算效率。

再次，本发明提出的运动目标跟踪方法，是将前后两帧中的所有运动目标分别进行匹配跟踪，因此可以同时处理多个运动目标的跟踪问题。而且，在匹配过程中是利用运动目标图像的特征信息中的位置信息来进行计算，因此算法简单，运行速度快，能够满足实时处理的需求。

附图说明

图1是本发明实施例所述一种运动目标检测方法的流程图；

图2.1是本发明实施例中的当前输入图像；

图2.2是对图2.1进行融合处理后的图像；

图3是本发明实施例所述一种运动目标跟踪方法的流程图；

图4是本发明实施例所述的图像中连通区域的外接矩形示意图；

图5是本发明实施例所述一种运动目标检测与跟踪系统的结构图；

图6是本发明优选实施例所述一种运动目标检测与跟踪系统的结构图；

图7是本发明实施例所述一种运动目标检测装置的结构图；

图8是本发明优选实施例所述一种运动目标检测装置的结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

针对环境变换的复杂场景，本发明提出了一种运动目标检测和跟踪方法，通过将背景差分与核密度估计差分两种方法相结合，可以从输入图像中准确地检测出运动目标的变化；同时，所述跟踪方法可以对多个运动目标进行实时跟踪处理。下面分别详细说明所述运动目标检测方法和运动目标跟踪方法。

参照图1，是本发明实施例所述一种运动目标检测方法的流程图。

S101，建立并初始化背景模型；

建立背景模型的目的是从输入图像中估计出监控场景的背景信息。本实施例中，由于主要使用背景差分和核密度估计差分两种方法检测前景图像(即运动目标)，所以需要的背景模型包括两种：用于背景差分的背景模型和用于核密度估计差分的背景模型。

其中，用于背景差分的背景模型又可以包括短期背景图像和长期背景图像，均初始化为输入的第一帧图像。所述短期背景图像是指更新速度较快的背景模型，所述长期背景图像是指更新速度较慢的背景模型。

建立核密度估计差分的背景模型的方法是：保留当前输入图像的前N帧图像作为参考图像，设当前输入图像的帧序号为K，当前输入图像对应的视频帧图像为IMG(K)，则参考图像对应的视频帧图像分别为IMG(K-N)，IMG(K-N+1)，...，IMG(K-1)，这N帧图像就是当前输入图像的核密度估计差分的背景模型。

S102，对当前输入图像进行预处理；

预处理的主要目的是利用图像滤波技术处理输入图像，以降低输入图像的噪声。图像滤波技术有多种方法，如中值滤波等方法，在此不再详述。本步骤是优化处理步骤，可以选择也可以不选择。

对预处理后的图像分别进行背景差分和核密度估计差分，这两个步骤可以并行执行，也可以顺次执行，顺次执行时不限定先后顺序。

S103，利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

具体过程是：针对输入图像I中任意位置(x，y)的像素点I(x，y)，计算该点的像素值(即输入灰度值)与当前短期背景图像中相应点像素值的差的绝对值，设为dif1；再计算该点的像素值与当前长期背景图像中相应点像素值的差的绝对值，设为dif2。然后，计算dif1和dif2的最小值dif，并设定阈值Th，如果dif大于Th，则认为该点是前景点，否则认为该点是背景点(通常，前景点设为1，背景点设为0)。对输入图像I中的所有象素点完成上述处理之后，就得到了前景图像F_BS，也就是所述的背景差分图像。

S104，利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

具体过程是：对于当前输入图像的前N帧图像(即当前的背景图像)，假设x₁，x₂，Lx_N分别是图像中同一位置的像素点的像素值x_t的一组观察值样本，利用这些样本，采用核密度估计算法计算出t时刻的输入图像上的任何一个像素点的概率密度值P_r(x_t)：

$P_r\left(x_t\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{d}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_j^2}}{e}^{-\frac{{(x_{t_j}-x_{i_j})}^2}{2{\mathrm{\σ}}_j^2}}---\left(1\right)$

其中，d表示像素点的颜色特征的维数，σ₁，σ₂，L，σ_d是预先给定的常数。根据以上公式，对于任一输入的图像，利用前N帧图像的像素值，可以快速地计算出该图像的各个像素点的概率密度值。

公式(1)体现的是当前输入图像中的某一位置的像素点的像素值x_t，分别与当前输入图像的前N帧图像的同一位置的像素点的像素值x₁，x₂，Lx_N的差异情况。如果P_r(x_t)的值很小，则表明x_t与x₁，x₂，Lx_N相比差异很大，表明在x_t处发生了像素值的突变，即有运动的情况发生。设定阈值th，对于输入图像的每个像素点x_t的概率密度值P_r(x_t)，如果P_r(x_t)＜th，则这个像素点就被认为是前景点，否则认为是背景点(通常，前景点设为1，背景点设为0)。对输入图像中的所有象素点完成上述处理之后，得到二值化后的前景图像F_KDE，也就是所述的核密度估计差分图像。其中，阈值th是全局阈值，可以调节。

S105，将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像；

获取F_BS和F_KDE之后，利用这两个前景图像进行融合，以消除两幅前景图的检测误差。融合方法有多种，下面列举两种来说明。

一种比较简单的融合方法是，将F_BS和F_KDE进行逻辑与，计算公式如下：

F(x，y)＝F_BS(x，y)&F_KDE(x，y)；

其中，&表示的是按位与操作，F(x，y)表示融合后的像素点。上式表明，在F_BS和F_KDE中都是前景点的像素点，融合后才能成为前景点。

另一种融合方法是：

设背景差分图像和核密度估计差分图像分别表示为I₁和I₂，图像融合的目标是结合I₁和I₂提供的信息合成一幅新的图像I₃。融合过程是：对于任意一个像素点(u，v)，比较其在I₁和I₂中的像素值大小：

如果I₁(u，v)＝I₂(u，v)，则I₃(u，v)＝I₁(u，v)＝I₂(u，v)，即将该像素值赋值给融合后图像I₃中相应的像素点；

否则，计算I₁(u，v)和I₂(u，v)处的信息，将信息更丰富的像素点的像素值赋给I₃(u，v)。

通常可以用熵来定义信息的丰富程度，熵值越大，信息越丰富。所以通过计算I₁(u，v)和I₂(u，v)处的熵值信息，将熵值较大的像素点的像素值赋值给I₃中相应的像素点。计算熵值时，可以提取以(u，v)为中心的一个小区域R，计算R的局部熵值，来作为(u，v)的信息量的表征。

一般可以按照如下公式计算：

$\mathrm{EN}(u,v)=-\underset{i\∈R}{\mathrm{\Σ}}p\left(i\right){\log }_{2}p\left(i\right).$

利用上述融合方法得到的融合后图像为黑白二值图像，该图像中的前景点图像即为运动目标，所以从该图像中可以得到运动目标的图像。参照图2.1所示，是当前的输入图像，图2.2是融合后的图像，其中白色人影即为运动目标图像。

S106，更新当前的背景模型。

对当前输入图像进行检测之后，还需要对当前的背景图像进行更新，更新后的背景图像用于下一帧输入图像的检测。

背景更新也有多种方法，本实施例仅举例说明：

对于短期背景图像和长期背景图像的更新，可以使用加权平均(RunningAverage)的方法进行更新。具体为：在每个像素点处，将当前输入图像的像素值的百分之十和当前背景图像的像素值的百分之九十相加，作为更新后的背景图像的像素值，对所有像素点完成上述操作后，就得到了更新后的背景图像。这是对长期背景图像的更新，而对于短期背景图像，由于其更新速度较快，所以当前输入图像的像素值的百分比会提高一些，例如百分之二十，与当前背景图像的像素值的百分之八十相加。上述百分比数值仅作为举例说明。

对于核密度估计差分的背景图像，更新方法如下：

设当前输入图像的帧序号为K，对应图像为IMG(K)，保存的前N帧图像分别为IMG(K-N)，IMG(K-N+1)，...，IMG(K-1)，其中IMG(K-N)保存时间最长，IMG(K-1)保存时间最短，所以用IMG(K)直接替换IMG(K-N)，而其他背景图像均保持不变。

本实施例采用的背景更新方法通过简单的增加新的样本，忽略旧的样本，实现背景模型的自适应性更新，策略简单，自适应能力强，效果好，可以随着监控场景的变化而自适应的更新背景模型，处理监控场景不断变化的情况。

完成背景更新之后，返回S102，继续对下一帧图像进行检测。

综上所述，背景差分是通过当前输入图像与保存的一幅背景图像的差异来检测出运动目标图像，该方法可以对图像变化缓慢的场景进行运动目标的检测。而核密度估计差分是将当前输入图像与之前若干帧图像进行比较，如果当前图像发生了剧烈的变化，则与其前若干帧图像的差异必然很大，因此可以实现对快速变化的图像的检测。而且，核密度估计差分是一种非常精确的方法，效果很好但是运算量比较大，借助于背景差分可以提高其运算速度。因此，背景差分检测图像中的慢变化，而核密度估计差分检测图像中的快变化。将所述两种方法结合起来，充分发挥了两种方法的优点，可以在环境变换的复杂场景下，更好地检测出图像的变化，从而提高检测准确率。

基于上述检测方法，本发明还提供了另一用于检测运动目标的优选实施例。该实施例对图像分别进行背景差分和核密度估计差分时，可以采用一种更高效的处理方式，如下：

首先利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；然后，将背景差分的阈值设置的比较小，这样，对于背景差分已经判断为背景点的像素位置(即静止的像素点)，由于像素值变化非常小，就不需要进行核密度差分了，可以直接设置为背景点，因此只需要在背景差分判断为前景点的像素位置(即运动的像素点)进行核密度差分就可以。最后得到的核密度估计差分图像可以不再与背景差分图像进行融合处理。利用所述核密度估计差分图像，就可以得到从当前输入图像中提取出的运动目标图像，该图像中的前景点图像即为要提取的运动目标。

上述处理方式可以提高计算效率。这种需要使用背景差分的结果对核密度估计差分进行加速处理时，就需要先执行背景差分再执行核密度估计差分。当然，最后也可以对背景差分图像和核密度估计差分图像进行融合处理，进一步提高检测准确率。

利用上述方法检测出每一帧图像中的运动目标之后，可以对运动目标进行跟踪。本发明提出一种运动目标跟踪方法，可以同时处理多个运动目标的跟踪问题；而且，算法简单，运行速度快，能够满足实时处理的需求。

参照图3，是本发明实施例所述一种运动目标跟踪方法的流程图。

S301，在融合后的图像中确定出运动目标图像；

具体为：对融合后的二值图像进行边界跟踪(Bound Tracking)或者边缘点连接(Edge Point Linking)，得到图像中每个连通区域的边界，用一个外接矩形框表示一个独立的连通区域，如图4所示，每个矩形中的连通区域即表示一个运动目标。

S302，将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配；

本实施例采用的匹配方法如下：

构造一个用以描述运动目标信息的数据结构str_TrkInfo，负责记录所有已经存在的运动目标的位置、大小、运动方向、瞬时速度、运动轨迹等特征信息(可以根据实际需要适当的设置需要记录的信息)，并将这些特征信息表示成{B_j}_j＝1 ^N，其中N表示已经存在的运动目标的数目。设当前输入图像上检测到的运动目标有M个，提取其特征信息表示成{A_i}_i＝1 ^M。

匹配的目的就是从{A_i}_i＝1 ^M找到与{B_j}_j＝1 ^N中对应的运动目标，从而将不同帧图像中的同一运动目标关联起来，并不断更新str_TrkInfo中保存的已经存在的运动目标的位置信息，最后得到各个运动目标完整的运动轨迹。

匹配过程是：分别计算A_i与B_j的相似度，即将{A_i}_i＝1 ^M中的每个运动目标分别与{B_j}_j＝1 ^N中的每个运动目标进行相似度计算。本实施例采用的相似度计算方法是分别计算A_i与B_j之间的相似性距离：d(A_i，B_j)，i＝1，2，L M，j＝1，2，L N。

相似性距离的具体定义可以有多种选择，例如一种最简单的方法就是将其定义为A_i与B_j所在的外接矩形的重合程度，计算公式如下：

$d(A_i,B_j)=\frac{S\left(A_i\right)\∩S\left(B_j\right)}{\min (S\left(A_i\right),S\left(b_j\right))};$

其中S(A_i)，S(B_j)分别表示A_i和B_j的面积。

如两者无重叠部分，则认为A_i与B_j的相似度为零；如有重叠部分，重叠区域越大，相似度越大。

上述相似度计算是利用运动目标的特征信息中的位置信息来进行计算，因此算法简单，运行速度快，能够满足实时处理的需求。当然，相似度的计算也可以使用其他特征信息，本实施例不作限定。

对每一组A_i和B_j计算相似度之后，根据计算结果确定匹配结果。具体为：针对{A_i}_i＝1 ^M中的每一个运动目标，求出{B_j}_j＝1 ^N中与该运动目标的相似性距离最大的一个运动目标，作为与该运动目标相匹配的结果。例如，{A_i}_i＝1 ^M中有三个运动目标A₁、A₂和A₃，{B_j}_j＝1 ^N也有三个运动目标B₁、B₂和B₃，当A₁分别与B₁、B₂和B₃计算时，如果B₁与A₁的相似度最大，则B₁与A₁相匹配。这样，就可以同时处理多个运动目标的跟踪问题。

S303，完成上述匹配过程后，根据匹配结果得到目标跟踪结果，并更新str_TrkInfo中的运动目标信息{B_j}_j＝1 ^N。

根据匹配结果得到如下目标跟踪结果：

(1)如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动，用{A_i}_i＝1 ^M中的运动目标信息更新{B_j}_j＝1 ^N；

(2)如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标，需要将这些未匹配上的运动目标作为新的运动目标添加到str_TrkInfo中；

(3)如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围，需要将这些未匹配上的运动目标从str_TrkInfo中删除。

优选的，在实际情况下，由于误差和噪声的存在，对于当前没有匹配的运动目标，可以先暂时保留其相关信息，并在以后连续几帧图像中进行匹配，如果一直都没有匹配，就认为是新的运动目标出现(情况(2))或者现有运动目标离开监控范围(情况(3))。

目标跟踪完成之后，将str_TrkInfo中所有的运动目标的信息{B_j}_j＝1 ^N输出，就完成了运动目标检测与跟踪的任务。

需要说明的是，上述运动目标检测方法和运动目标跟踪可以分别单独使用，即该运动目标检测方法可以配合其他的跟踪方法，或者该运动目标跟踪方法配合其他的检测方法。但如果上述两种方法配合使用，处理效果会更好。

针对上述方法实施例的说明，本发明还提供了相应的系统实施例。

参照图5，是本发明实施例所述一种运动目标检测与跟踪系统的结构图。所述系统主要包括：

背景差分单元U51，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元U52，用于利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

融合处理单元U53，用于将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像；

目标跟踪单元U54，用于将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

其中，所述背景差分单元U51通过以下方式获得背景差分图像：将当前输入图像中任意一个像素点的像素值，分别与当前短期背景图像和长期背景图像中相应像素点的像素值，取差的绝对值，然后再将最小的绝对值与预先设定的阈值进行比较，如果大于所述阈值，则将该像素点确定为前景点；否则，确定为背景点；对当前输入图像中的所有像素点进行上述处理，最终得到背景差分图像。

其中，所述融合处理单元U53可以包括：

比较子单元，用于针对当前输入图像中的任意一个像素点，比较所述背景差分图像中相应像素点的像素值与核密度估计差分图像中相应像素点的像素值，若相等，则将该像素值赋值给融合后图像中相应的像素点；若不相等，则触发熵值计算子单元；

熵值计算子单元，用于分别计算背景差分图像中相应像素点的熵值，以及核密度估计差分图像中相应像素点的熵值，并进行比较，将熵值大的像素点的像素值赋值给融合后图像中相应的像素点；

对当前输入图像中的所有像素点进行上述处理，最终得到融合后的图像，从所述融合后的图像中提取出运动目标图像。

但优选的，所述融合处理单元U53可以采用一种更简单的方式实现，包括：

计算子单元，用于将所述背景差分图像和核密度估计差分图像进行逻辑与，得到融合后的运动目标图像。

其中，所述目标跟踪单元U54包括：

目标匹配子单元，用于针对{A_i}_i＝1 ^M中的每个运动目标图像，利用特征信息分别与{B_j}_j＝1 ^N中的运动目标图像进行相似度计算，并将相似度最大的两个运动目标图像作为相匹配的目标；

其中，{A_i}_i＝1 ^M表示当前输入图像中提取出的运动目标图像的特征信息，{B_j}_j＝1 ^N表示之前的帧图像中提取出的运动目标图像的特征信息，其中M和N均表示运动目标图像的个数；

目标跟踪结果子单元，用于根据匹配结果得到如下目标跟踪结果：

如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动；

如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标；

如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围。

在上述系统实施例的基础上，所述系统还可以进一步包括：

预处理单元，用于利用图像滤波技术处理输入图像，以降低输入图像的噪声；然后再触发背景差分单元U51和核密度估计差分单元U52进行运动目标检测。

背景建模单元，用于建立两种背景模型，分别是用于背景差分的背景模型和用于核密度估计差分的背景模型；其中，用于背景差分的背景模型又包括短期背景图像和长期背景图像。

背景更新单元，用于对当前的背景图像(包括背景差分的背景模型和核密度估计差分的背景模型)进行更新，更新后的背景图像用于下一帧输入图像的检测。具体可参见上述方法实施例中的更新方式。

背景差分单元U51和核密度估计差分单元U52需要利用背景建模单元建立的两种背景模型进行运动目标检测，检测完当前帧之后，触发背景更新单元更新当前的背景模型。

优选的，本发明还提供了一种更高效的运动目标检测与跟踪系统实施例。参照图6，是优选实施例所述一种运动目标检测与跟踪系统的结构图。所述系统主要包括：

背景差分单元U61，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元U62，用于针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

目标提取单元U63，用于利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像；

目标跟踪单元U64，用于将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

进一步，所述系统还可以包括：预处理单元，背景建模单元，背景更新单元。各单元具体描述可参见对图5的说明，在此不再详述。

上述核密度估计差分单元U62只需要在背景差分判断为运动的像素位置进行核密度估计差分，对于背景差分已经判断为静止的像素位置，由于像素值变化非常小，就不需要进行核密度差分，可以直接设置为背景点，因此大大提高了计算效率。

本发明还提供了一种运动目标检测装置的实施例。

参照图7，是本发明实施例所述一种运动目标检测装置的结构图。所述装置主要包括：

背景差分单元U71，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元U72，用于利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

融合处理单元U73，用于将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像。

优选的，所述融合处理单元U73进一步包括：

计算子单元，用于将所述背景差分图像和核密度估计差分图像进行逻辑与，得到融合后的运动目标图像。

进一步，所述装置还可以包括：

预处理单元U74，用于利用图像滤波技术处理输入图像，以降低输入图像的噪声；然后再触发背景差分单元U71和核密度估计差分单元U72进行运动目标检测。

背景建模单元U75，用于建立两种背景模型，分别是用于背景差分的背景模型和用于核密度估计差分的背景模型；其中，用于背景差分的背景模型又包括短期背景图像和长期背景图像。

背景更新单元U76，用于对当前的背景图像(包括背景差分的背景模型和核密度估计差分的背景模型)进行更新，更新后的背景图像用于下一帧输入图像的检测。

优选的，本发明还提供了一种更高效的运动目标检测装置的实施例。参照图8，是优选实施例所述一种运动目标检测装置的结构图。所述装置主要包括：

背景差分单元U81，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元U82，用于针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

目标提取单元U83，用于利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像。

进一步，所述装置还可以包括：预处理单元U84，背景建模单元U85，背景更新单元U86。各单元具体描述可参见对图7的说明，在此不再详述。

上述运动目标检测与跟踪系统可以在环境变换的复杂场景下，更好地检测出图像的变化，从而提高检测准确率。而且，可以同时处理多个运动目标的跟踪问题，能够满足实时处理的需求。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统或装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种运动目标检测与跟踪的方法和系统，以及一种运动目标检测方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1、一种运动目标检测与跟踪的方法，其特征在于，包括：

利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像；

将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

2、根据权利要求1所述的方法，其特征在于，所述将背景差分图像和核密度估计差分图像进行融合处理，具体包括：

将所述背景差分图像和核密度估计差分图像进行逻辑与。

3、根据权利要求1所述的方法，其特征在于，所述将背景差分图像和核密度估计差分图像进行融合处理，具体包括：

针对当前输入图像中的任意一个像素点，比较所述背景差分图像中相应像素点的像素值与核密度估计差分图像中相应像素点的像素值，若相等，则将该像素值赋值给融合后图像中相应的像素点；

若不相等，则分别计算背景差分图像中相应像素点的熵值，以及核密度估计差分图像中相应像素点的熵值，并进行比较，将熵值大的像素点的像素值赋值给融合后图像中相应的像素点；

对当前输入图像中的所有像素点进行上述处理。

4、根据权利要求1所述的方法，其特征在于，所述将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果，具体包括：

设定{A_i}_i＝1 ^M表示当前输入图像中提取出的运动目标图像的特征信息，{B_j}_j＝1 ^N表示之前的帧图像中提取出的运动目标图像的特征信息，其中M和N均表示运动目标图像的个数；

针对{A_i}_i＝1 ^M中的每个运动目标图像，利用特征信息分别与{B_j}_j＝1 ^N中的运动目标图像进行相似度计算，并将相似度最大的两个运动目标图像作为相匹配的目标；根据匹配结果得到如下目标跟踪结果：

如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动；

如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标；

如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围。

5、根据权利要求4所述的方法，其特征在于，所述利用特征信息进行相似度计算，具体包括：

利用运动目标图像的特征信息中的位置信息进行相似度计算。

6、根据权利要求1所述的方法，其特征在于，所述利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像，具体包括：

将当前输入图像中任意一个像素点的像素值，分别与当前短期背景图像和长期背景图像中相应像素点的像素值，取差的绝对值，然后再将最小的绝对值与预先设定的阈值进行比较，如果大于所述阈值，则将该像素点确定为前景点；否则，确定为背景点；

对当前输入图像中的所有像素点进行上述处理，最终得到背景差分图像。

7、一种运动目标检测与跟踪的方法，其特征在于，包括：

利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像；

将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

8、一种运动目标检测方法，其特征在于，包括：

利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像。

9、根据权利要求8所述的方法，其特征在于，所述将背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像，具体包括：

将所述背景差分图像和核密度估计差分图像进行逻辑与，得到融合后的运动目标图像。

10、一种运动目标检测方法，其特征在于，包括：

利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像。

11、一种运动目标检测与跟踪的系统，其特征在于，包括：

背景差分单元，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元，用于利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

融合处理单元，用于将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像；

目标跟踪单元，用于将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

12、根据权利要求11所述的系统，其特征在于，所述融合处理单元包括：

计算子单元，用于将所述背景差分图像和核密度估计差分图像进行逻辑与，得到融合后的运动目标图像。

13、根据权利要求11所述的系统，其特征在于，所述融合处理单元包括：

比较子单元，用于针对当前输入图像中的任意一个像素点，比较所述背景差分图像中相应像素点的像素值与核密度估计差分图像中相应像素点的像素值，若相等，则将该像素值赋值给融合后图像中相应的像素点；若不相等，则触发熵值计算子单元；

熵值计算子单元，用于分别计算背景差分图像中相应像素点的熵值，以及核密度估计差分图像中相应像素点的熵值，并进行比较，将熵值大的像素点的像素值赋值给融合后图像中相应的像素点；

对当前输入图像中的所有像素点进行上述处理，最终得到融合后的图像，从所述融合后的图像中提取出运动目标图像。

14、根据权利要求11所述的系统，其特征在于，所述目标跟踪单元包括：

目标匹配子单元，用于针对{A_i}_i＝1 ^M中的每个运动目标图像，利用特征信息分别与{B_j}_j＝1 ^N中的运动目标图像进行相似度计算，并将相似度最大的两个运动目标图像作为相匹配的目标；

其中，{A_i}_i＝1 ^M表示当前输入图像中提取出的运动目标图像的特征信息，{B_j}_j＝1 ^N表示之前的帧图像中提取出的运动目标图像的特征信息，其中M和N均表示运动目标图像的个数；

目标跟踪结果子单元，用于根据匹配结果得到如下目标跟踪结果：

如果M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上，则所有目标都在监控范围内运动；

如果M≠N且{A_i}_i＝1 ^M中有运动目标没有匹配上，则监控范围内出现新的运动目标；

如果M≠N且{B_j}_j＝1 ^N中有运动目标没有匹配上，则有运动目标离开了监控范围。

15、一种运动目标检测与跟踪的系统，其特征在于，包括：

背景差分单元，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元，用于针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

目标提取单元，用于利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像；

目标跟踪单元，用于将当前输入图像中提取出的运动目标图像与之前的帧图像中提取出的运动目标图像进行匹配，并根据匹配结果得到目标跟踪结果。

16、一种运动目标检测装置，其特征在于，包括：

背景差分单元，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元，用于利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；

融合处理单元，用于将所述背景差分图像和核密度估计差分图像进行融合处理，得到从当前输入图像中提取出的运动目标图像。

17、根据权利要求16所述的装置，其特征在于，所述融合处理单元包括：

计算子单元，用于将所述背景差分图像和核密度估计差分图像进行逻辑与，得到融合后的运动目标图像。

18、一种运动目标检测装置，其特征在于，包括：

背景差分单元，用于利用当前输入图像和当前背景图像进行差分计算，得到背景差分图像；

核密度估计差分单元，用于针对所述背景差分图像中判断为前景点的像素点，进行如下计算：利用当前输入图像的前若干帧图像中的像素点的像素值，计算所述背景差分图像中判断为前景点的像素点的概率密度值，并将所述概率密度值与预先设定的阈值进行比较，得到核密度估计差分图像；针对所述背景差分图像中判断为背景点的像素点，直接将所述核密度估计差分图像中的相应像素点设置为背景点；

目标提取单元，用于利用所述核密度估计差分图像，得到从当前输入图像中提取出的运动目标图像。

Images