CN102332166A - 一种基于概率模型的运动摄像机自动目标跟踪方法 - Google Patents

Abstract

本发明提供一种基于概率模型的运动摄像机自动目标跟踪方法，具体实现步骤为：首先，初始化启动跟踪的参数和实时运动目标跟踪的参数；其次，利用速度差异函数定位初始运动区域，并采用改进的最优聚类函数分割运动目标；然后，对当前帧检测到的运动目标和背景搜索窗建立颜色概率直方图模型，利用后验概率函数、颜色直方图相似度函数调整目标的大小和位置；最后，使用连续自适应均值漂移法寻找下一帧运动目标，实现在动态背景下对运动目标进行实时跟踪。本发明提高了运动目标跟踪的可靠性，可有效解决运动摄像机下初始目标选取、多目标跟踪、目标和背景存在相同颜色以及目标自身颜色变化问题。

Description

一种基于概率模型的运动摄像机自动目标跟踪方法

技术领域

本发明涉及一种运动摄像机下实时运动目标自动跟踪方法，特别是一种基于概率模型的运动摄像机自动目标跟踪方法，适用于对运动摄像机实时运动目标跟踪。

背景技术

目标跟踪是计算机视觉领域中重要的研究方向，已被广泛应用，例如交通监控系统，人物可疑行为监视系统，等等。大部分学者针对摄像机固定的视频中运动目标进行研究，但在实际应用中，由于相机移动或镜头旋转导致系统需对动态背景下的运动目标进行跟踪。动态背景下的运动目标跟踪的难点在于如何自动选取初始目标模型，以及目标模型和背景如何更新。现有算法中主要是通过手动地选取初始的运动目标，对目标建立颜色分布直方图模型，并视此模型一直为静止不变的，然后在后续的视频序列中建立背景的颜色分布，利用背景和目标颜色的相异性寻找到新的目标位置，从而实现跟踪的过程，并且只针对单个目标的跟踪。但是，往往在实时的跟踪过程中并不知道目标的初始位置和目标的个数，也不能防止目标自身颜色信息发生变化的情况发生。为解决现有算法的不足，本发明通过在启动跟踪前存入若干视频序列(不超过20帧)，利用全局速度和局部速度的差异定位初始的运动区域，利用改进的最优聚类分割成单个的目标，最后利用改进的连续自适应均值漂移的方法实现目标的跟踪。初始目标定位的时间不超过1秒，每帧跟踪时间不超过30毫秒，能够满足运动摄像机下实时目标跟踪的要求，并且该方法能够很好的解决背景和目标颜色同时变化的问题。

发明内容

本发明要解决的技术问题：克服现有运动摄像机下目标跟踪算法需手动选取初始目标，目标数目单一，目标与背景颜色重合，目标自身颜色发生变化的不足，提出一种基于概率模型的运动摄像机自动目标跟踪方法。

本发明采用的技术方案为：一种基于概率模型的运动摄像机自动目标跟踪方法，在通过速度差异和最优聚类获取运动目标的基础上，通过建立改进的颜色概率直方图模型，增加目标颜色分布的可信度，并根据运动目标的位置、大小和颜色采用均值偏移法，对实时运动目标进行可靠跟踪。具体实现步骤为：

步骤(1)初始化启动跟踪的参数和实时运动目标跟踪的参数，包括视频图像的大小，训练帧的长度TC，计算局部运动区域的Th0和Th1，初始角点的数目FC，初始聚类的数目k，成为目标的最小概率p，背景和目标大小比例r，颜色直方图相似度函数最小阈值α，最大迭代次数为T，最小误差限为β；

步骤(2)利用速度差异函数定位初始运动区域的步骤为：

步骤a1、计算训练帧中最小的角点数为

式中，FC代表最大的角点数；TC代表所训练的帧的长度；C_t(i，j)代表t时刻坐标为(i，j)位置的角点；

步骤a2、计算角点全局速度为

G_speed＝MostFrequence{S_Speed(i1，j1)…S_Speed(in，jn)…S_Speed(iN，jN)}   (2)

式中，1＜n＜N，(in，jn)∈D，D代表整幅图像，S_speed(in，jn)对应坐标为(in，jn)位置角点的速度，其中(i1，j1)≠(in，jn)；

步骤a3、计算局部运动区域为

|S^t _peed(in，jn)-S^t-1 _peed(in，jn)|＜Th0，t∈(1，TC-1)    (3)

|L^t _peed(in，jn)-L^t-1 _peed(in，jn)|＜Th0，t∈(1，TC-1)    (4)

|L_speed(in，jn)-G_speed|＞Th1，(1≤n≤N)                 (5)

式中，S^t _Speed(i，j)代表t时刻第n个角点的速度；G_speed代表一帧中所有角点的全局运动速度；L_speed(in，jn)代表第n个角点像素的局部运动速度；TC代表所训练的帧的长度；N代表最小的角点数。

步骤(3)获取得到初始的运动区域位置坐标之后，利用改进的最优聚类函数分割目标的步骤为：

步骤b1、类间离散度函数

$L=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}|m_i-\stackrel{\‾}{m}|---\left(6\right)$

式中，m_i为任一簇所含样本的均值；

为所有样本的均值；k表示总的聚类簇数；

步骤b2、类内离散度函数为

$D=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}|p-m_i|;;---\left(7\right)$

式中，m_i为任一簇所含样本的均值；p为对应簇中的任一样本；k表示总的聚类簇数；

步骤b3、计算两离散度距离函数为

$F(S,K)=L/D=\left\{\begin{array}{c}1/\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}|p-m_i|,\mathrm{if}(L=0)\\ \underset{j=1}{\overset{k}{\mathrm{\Σ}}}|m_i-\stackrel{\‾}{m}|/\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}\right|p-m_i\left|\right),\mathrm{if}(L\≠0)\end{array}\right.---\left(8\right)$

$F(S,k)=L/D=\left\{\begin{array}{c}1/\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}|p-m_i|,\mathrm{if}(L=0)\\ \underset{j=1}{\overset{k}{\mathrm{\Σ}}}|m_i-\stackrel{\‾}{m}|/\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}\right|p-m_i\left|\right),\mathrm{if}(L\≠0)\end{array}\right.---\left(8\right)$

式中，s代表整个索引空间；

步骤(4)对当前帧检测到的运动目标和背景搜索窗建立颜色概率直方图模型，利用后验概率函数、颜色直方图相似度函数调整目标的大小和位置的步骤为：

步骤c1、颜色概率直方图模型为

q＝{q(u)}_{u＝1，2，…，b}    (9)

式中，b为直方图的直方块数目；u为直方块索引，q(u)代表某一颜色的概率；归一化后满足

$\underset{u=1}{\overset{b}{\mathrm{\Σ}}}q\left(u\right)=1---\left(10\right)$

步骤c2、后验概率函数为

$\left\{\begin{array}{c}P\left(O\right|C)=\frac{P\left(C\right|O)P\left(O\right)}{P\left(C\right)}\\ P\left(C\right)=P\left(C\right|O)P\left(O\right)+P\left(C\right|B)P\left(B\right)\end{array}\right.---\left(11\right)$

式中，P(O)和P(C)是先验概率，分别代表像素为目标概率和像素颜色的概率；P(B)和P(B|C)分别代表像素为背景的概率和该颜色为背景的概率；p(C|B)代表背景像素为某一颜色的概率；

步骤c3、颜色直方图相似度函数为

$d(p,q)=\sqrt{\underset{i-1}{\overset{M}{\mathrm{\Σ}}}{(\sqrt{p_i}-\sqrt{q_i})}^2}---\left(12\right)$

式中，p，q代表目标和背景的颜色概率直方图，M代表直方图的箱格索引。

步骤(5)使用连续自适应均值漂移法寻找下一帧运动目标，实现实时跟踪的步骤为：

步骤d1、计算搜索窗内0阶矩函数为

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)---\left(13\right)$

式中，I(x，y)坐标位置为(x，y)的像素值；

步骤d2、计算搜索窗内1阶矩函数为

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)\end{array}\right.---\left(14\right)$

式中，x和y分别代表横坐标和纵坐标的值；

步骤d3、计算搜索窗内x与y坐标的重心函数为

$x_c=\frac{M_{10}}{M_{00}},$ $y_c=\frac{M_{01}}{M_{00}}---\left(15\right)$

使用重心偏移法在搜索窗中迭代寻找新的重心位置，当满足迭代误差或最大迭代次数时，停止迭代，并以此作为新目标的重心位置，从而实现目标跟踪。

本发明的优点在于：通过全局速度和局部速度的差异定位初始的运动区域后，利用改进的最优聚类分割成单个的目标，使得利用改进的连续自适应均值漂移的方法实现动态背景下运动目标实时自动跟踪。解决了已有算法中需手动选取初始的运动目标以及目标颜色与背景颜色相近时无法准确跟踪目标的问题。

附图说明

图1为一种基于概率模型的运动摄像机自动目标跟踪方法的原理流程图；

图2为一种基于概率模型的运动摄像机自动目标跟踪方法的实现流程图。

具体实施方式

下面结合附图以及具体实施方式对本发明进一步进行详细说明。

如图1、图2所示，本发明的具体实现步骤如下：

步骤(1)初始化启动跟踪前训练帧的参数和实时运动目标跟踪的参数包括视频图像的大小(本实施例取352×288像素)，训练帧的长度TC(本实施例取20)，计算局部运动区域的Th0(本实施例取1)和Th1(本实施例取1)，初始角点的数目FC(本实施例取500)，初始聚类的数目k(本实施例取1)，成为目标的最小概率p(本实施例取0.3)，背景和目标大小比例r(本实施例取2/3)，颜色直方图相似度函数最小阈值α(本实施例取0.5)，最大迭代次数为T(本实施例取10)，最小误差限为β(本实施例取10^-6)；

步骤(2)利用速度差异函数定位初始运动区域的步骤为：

步骤a1、计算训练帧中最小的角点数为

式中，FC代表最大的角点数；TC代表所训练的帧的长度；C_t(i，j)代表t时刻坐标为(i，j)位置的角点；

步骤a2、计算角点全局速度

步骤a2、计算角点全局速度为

G_speed＝MostFrequence{S_Speed(i1，j1)…S_Speed(in，jn)…S_Speed(iN，jn)}   (2)

式中，1＜n＜N，(in，jn)∈D，D代表整幅图像，S_Speed(in，jn)对应坐标为(in，jn)位置角点的速度，其中(i1，j1)≠(in，jn)；

步骤a3、计算局部运动区域为

|S^t _peed(in，jn)-S^t-1 _peed(in，jn)|＜Th0，t∈(1，TC-1)    (3)

|L^t _peed(in，jn)-L^t-1 _peed(in，jn)|＜Th0，t∈(1，TC-1)    (4)

|L_speed(in，jn)-G_speed |＞Th1，(1≤n≤N)                (5)

式中，S^t _Speed(i，j)代表t时刻第n个角点的速度；G_speed代表一帧中所有角点的全局运动速度；L_speed(in，jn)代表第n个角点像素的局部运动速度；TC代表所训练的帧的长度；N代表最小的角点数。

获取得到初始的运动区域位置坐标之后，利用改进的最优聚类函数分割目标的步骤为

步骤b1、类间离散度函数

$L=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}|m_i-\stackrel{\‾}{m}|---\left(6\right)$

式中，m_i为任一簇所含样本的均值；

为所有样本的均值；k表示总的聚类簇数；

步骤b2、类内离散度函数为

$D=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}|p-m_i|;;---\left(7\right)$

式中，m_i为任一簇所含样本的均值；p为对应簇中的任一样本；k表示总的聚类簇数；

步骤b3、计算两离散度距离函数为

$F(S,K)=L/D=\left\{\begin{array}{c}1/\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}|p-m_i|,\mathrm{if}(L=0)\\ \underset{j=1}{\overset{k}{\mathrm{\Σ}}}|m_i-\stackrel{\‾}{m}|/\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}\right|p-m_i\left|\right),\mathrm{if}(L\≠0)\end{array}\right.---\left(8\right)$

$F(S,k)=L/D=\left\{\begin{array}{c}1/\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}|p-m_i|,\mathrm{if}(L=0)\\ \underset{j=1}{\overset{k}{\mathrm{\Σ}}}|m_i-\stackrel{\‾}{m}|/\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}\right|p-m_i\left|\right),\mathrm{if}(L\≠0)\end{array}\right.---\left(8\right)$

式中，s代表整个索引空间；

步骤(3)对当前帧检测到的运动目标和背景搜索窗建立颜色概率直方图模型，利用后验概率函数、颜色直方图相似度函数调整目标的大小和位置的步骤为：

步骤c1、颜色概率直方图模型为

q＝{q(u)}_{u＝1，2，…，b}    (9)

式中，b为直方图的直方块数目；u为直方块索引，q(u)代表某一颜色的概率；归一化后满足

$\underset{u=1}{\overset{b}{\mathrm{\Σ}}}q\left(u\right)=1---\left(10\right)$

步骤c2、后验概率函数为

$\left\{\begin{array}{c}P\left(O\right|C)=\frac{P\left(C\right|O)P\left(O\right)}{P\left(C\right)}\\ P\left(C\right)=P\left(C\right|O)P\left(O\right)+P\left(C\right|B)P\left(B\right)\end{array}\right.---\left(11\right)$

式中，P(O)和P(C)是先验概率，分别代表像素为目标概率和像素颜色的概率；P(B)和P(B|C)分别代表像素为背景的概率和该颜色为背景的概率；p(C|B)代表背景像素为某一颜色的概率；

步骤c3、颜色直方图相似度函数为

$d(p,q)=\sqrt{\underset{i-1}{\overset{M}{\mathrm{\Σ}}}{(\sqrt{p_i}-\sqrt{q_i})}^2}---\left(12\right)$

式中，p，q代表目标和背景的颜色概率直方图，M代表直方图的箱格索引。

步骤(4)使用连续自适应均值漂移法寻找下一帧运动目标，实现实时跟踪的步骤为：

步骤d1、计算搜索窗内0阶矩函数为

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)---\left(13\right)$

式中，I(x，y)坐标位置为(x，y)的像素值；

步骤d2、计算搜索窗内1阶矩函数为

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)\end{array}\right.---\left(14\right)$

式中，x和y分别代表横坐标和纵坐标的值；

步骤d3、计算搜索窗内x与y坐标的重心函数为

$x_c=\frac{M_{10}}{M_{00}},$ $y_c=\frac{M_{01}}{M_{00}}---\left(15\right)$

使用重心偏移法在搜索窗中迭代寻找新的重心位置，当满足迭代误差或最大迭代次数时，停止迭代，并以此作为新目标的重心位置，从而实现目标跟踪。

本发明未详细叙述部分为本领域的公知常识。

Claims (5)

1.一种基于概率模型的运动摄像机自动目标跟踪方法，在通过速度差异和最优聚类获取运动目标的基础上，通过建立改进的颜色概率直方图模型，增加目标颜色分布的可信度，并根据运动目标的位置、大小和颜色采用均值偏移法，对实时运动目标进行可靠跟踪，其特征在于包括以下步骤：

步骤(1)初始化启动跟踪的参数和实时运动目标跟踪的参数；

步骤(2)利用速度差异函数定位初始运动区域，并利用改进的最优聚类函数分割目标；

步骤(3)对当前帧检测到的运动目标和背景搜索窗建立颜色概率直方图模型，利用后验概率函数、颜色直方图相似度函数调整目标的大小和位置；

步骤(4)使用连续自适应均值漂移法寻找下一帧运动目标，实现实时跟踪；

其中，所述步骤(2)中利用速度差异函数定位初始运动区域的具体步骤为：

步骤a1、计算训练帧中最小的角点数为

式中，FC代表最大的角点数；TC代表所训练的帧的长度；C_t(i，j)代表t时刻坐标为(i，j)位置的角点；

步骤a2、计算角点全局速度为

G_speed＝MostFrequence{S_Speed(i1，j1)…S_Speed(in，jn)…S_Speed(iN，jN)}    (2)

式中，1＜n＜N，(in，jn)∈D，D代表整幅图像，S_Speed(in，jn)对应坐标为(in，jn)位置角点的速度，其中(i1，j1)≠(in，jn)；

步骤a3、计算局部运动区域为

|S^t _peed(in，jn)-S^t-1 _peed(in，jn)|＜Th0，t∈(1，TC-1)    (3)

|L^t _peed(in，jn)-L^t-1 _peed(in，jn)|＜Th0，t∈(1，TC-1)    (4)

|L_speed(in，jn)-G_speed|＞Th1，(1≤n≤N)                 (5)

式中，S^t _Speed(i，j)代表t时刻第n个角点的速度；G_speed代表一帧中所有角点的全局运动速度；L_speed(in，jn)代表第n个角点像素的局部运动速度；TC代表所训练的帧的长度；N代表最小的角点数。

2.根据权利要求1所述的一种基于概率模型的运动摄像机自动目标跟踪方法，其特征在于：所述步骤(2)中利用改进的最优聚类函数分割目标的步骤为：

步骤b1、类间离散度函数为

$L=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}|m_i-\stackrel{\‾}{m}|---\left(6\right)$

式中m_i为任一簇所含样本的均值；

为所有样本的均值，k表示总的聚类簇数；

步骤b2、类内离散度函数为

$D=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}|p-m_i|---\left(7\right)$

式中，m_i为任一簇所含样本的均值；p为对应簇中的任一样本；k表示总的聚类簇数；

步骤b3、两离散度距离函数为

$F(S,k)=L/D=\left\{\begin{array}{c}1/\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}|p-m_i|,\mathrm{if}(L=0)\\ \underset{j=1}{\overset{k}{\mathrm{\Σ}}}|m_i-\stackrel{\‾}{m}|/\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈C_i}{\mathrm{\Σ}}\right|p-m_i\left|\right),\mathrm{if}(L\≠0)\end{array}\right.---\left(8\right)$

式中，s代表整个索引空间；

3.根据权利要求1所述的一种基于概率模型的运动摄像机自动目标跟踪方法，其特征在于：所述步骤(3)对当前帧检测到的运动目标和背景搜索窗建立颜色概率直方图模型，利用后验概率函数、颜色直方图相似度函数调整目标的大小和位置的步骤为：

步骤c1、计算目标颜色概率直方图为

q＝{q(u)}_{u＝1，2，…，b}   (9)

式中，b为直方图的直方块数目；u为直方块索引，q(u)代表某一颜色的概率；

归一化后满足

$\underset{u=1}{\overset{b}{\mathrm{\Σ}}}q\left(u\right)=1---\left(10\right)$

步骤c2、计算目标后验概率函数为

$\left\{\begin{array}{c}P\left(O\right|C)=\frac{P\left(C\right|O)P\left(O\right)}{P\left(C\right)}\\ P\left(C\right)=P\left(C\right|O)P\left(O\right)+P\left(C\right|B)P\left(B\right)\end{array}\right.---\left(11\right)$

式中，P(O)和P(C)是先验概率，分别代表像素为目标概率和像素颜色的概率；P(B)和P(B|C)分别代表像素为背景的概率和该颜色为背景的概率；p(C|B)代表背景像素为某一颜色的概率；

步骤c3、计算颜色直方图相似度函数为

$d(p,q)=\sqrt{\underset{i-1}{\overset{M}{\mathrm{\Σ}}}{(\sqrt{p_i}-\sqrt{q_i})}^2}---\left(12\right)$

式中，p，q代表目标和背景的颜色概率直方图，M代表直方图的箱格索引。

4.根据权利要求1所述的一种基于概率模型的运动摄像机自动目标跟踪方法，其特征在于：所述步骤(4)使用连续自适应均值漂移法寻找下一帧运动目标，实现实时跟踪的步骤为：

步骤d1、计算搜索窗内0阶矩为

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)---\left(13\right)$

式中I(x，y)坐标位置为(x，y)的像素值；

步骤d2、计算搜索窗内1阶矩

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)\end{array}\right.---\left(14\right)$

式中x和y分别代表横坐标和纵坐标的值；

步骤d3、计算搜索窗内x与y坐标的重心

$x_c=\frac{M_{10}}{M_{00}},$ $y_c=\frac{M_{01}}{M_{00}}---\left(15\right)$

使用重心偏移法在搜索窗中迭代寻找新的重心位置，当满足迭代误差或最大迭代次数时，停止迭代，并以此作为新目标的重心位置，从而实现目标跟踪。

5.根据权利要求1所述的一种基于概率模型的运动摄像机自动目标跟踪方法，其特征在于：所述步骤(1)对初始化启动跟踪的参数和实时运动目标跟踪的参数包括视频图像的大小，训练帧的长度TC，计算局部运动区域的Th0和Th1，初始角点的数目FC，初始聚类的数目k，成为目标的最小概率p，背景和目标大小比例r，颜色直方图相似度函数最小阈值α，最大迭代次数为10，最小误差限为10^-6。

Images