CN103617637A - 一种基于字典学习的低照度运动检测方法 - Google Patents

Abstract

本发明公开了一种基于字典学习的低照度运动检测方法，属于数字图像处理领域；从图像块的角度出发，采用字典学习的方法，为每一个图像块建立字典，从而得到一个基于背景图像的大字典，并根据稀疏编码的相关理论，求得背景图像在字典上的稀疏系数，进而得到背景模型；然后，根据当前帧图像在字典上的稀疏投影与背景模型的差值来判断前景区域，为了保证检查结果的准确性和避免孤立点的出现，对该差值进行了加权后处理，提升了检测结果的准确性。本发明的方法能很好地避免由于低照度而引起的大噪声的影响，保证在低照度环境下运动检测结果的准确性和鲁棒性。

Description

一种基于字典学习的低照度运动检测方法

技术领域

本发明涉及数字图像处理领域,特别是一种针对低照度或极大噪声环境下，基于字典学习的运动检测方法。

背景技术

随着设备制造工艺、计算机处理能力的不断提高，智能视频监控技术已被广泛应用到国防、工业、交通管制等各个领域。视频监控中的智能处理如分类、跟踪、行为理解等都依赖于正确的目标检测。因此，运动检测是一个基础且关键的步骤。运动检测是指在监控视频中，判断是否有运动目标进入到所监控的场景中，并将其提取出来的一类方法。针对视频采集装置固定的场景，基于背景差分法的研究应用较为广泛。该算法的思想是通过一种合适的方法，建立所监控场景的背景模型，然后将当前帧图像与背景模型做差值，把差值较大的区域分割为前景运动区域。

混合高斯模型是一种经典的背景差分法，Friedman采用三个高斯分布分别对应道路、阴影、车辆来对交通监控系统进行建模；随后，Stauffer和Grimson混合多个高斯分布来对场景中的像素进行建模，能够较好地解决复杂背景下的建模。当混合高斯模型关于模型选择的假设不成立时，非参数模型是一个更好的选择，该算法利用核函数密度估计方法从样本中得到未知背景密度分布函数，Elgammal等提出的正态核函数能够适用于任何形式的密度函数，这也使得非参数模型成为一种应用广泛的运动检测方法。

上述的两种经典运动检测算法主要是针对复杂、动态的背景，并没有考虑到在低照度环境下的运动检测。在低照度环境下，由于光照不充足和摄像机CCD自身的原因，采集到的视频图像中灰度值低、灰度差别小，并含有大量随机分布的噪声，当这些噪声的闪动程度过大时，会导致现有的运动检测方法效果不佳甚至失效。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种适合于低照度环境的基于字典学习的低照度运动检测方法，保证在低照度环境下运动检测结果的准确性。

为解决上述技术问题，本发明所采用的技术方案是：一种基于字典学习的低照度运动检测方法，该方法为：

1）从被监控场景的视频图像I中提取N张背景图像，将每张所述背景图像分成m×l个背景图像块；将第f张背景图像的第j个背景图像块矢量化为向量所有背景图像上第j个位置的背景图像块构成矩阵

将矩阵X_j作为所有背景图像上第j个位置的背景图像块的训练集；其中，f=1,2,…,N；j=1,2,…m×l；

2）从X_j中随机选择k个向量作为初始字典D₀；

3）令t=1；

4）从X_j中选择一个向量，记为x_t，利用下式计算背景图像块训练集X_j的稀疏系数α_t：

其中λ为平衡参数；

5）利用α_t和D_t-1更新字典，得到更新后的字典D_t=[d₁,d₂,…d_k]：

$d_e=\frac{1}{\max ({\left|\right|c_e\left|\right|}_2,1)}{c}_e;$

其中，

e=1,2,…k；d_e'、d_e分别为字典D_t-1、D_t中第e个原子； $A=[a_1,\·\·\·,a_k]=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_i^T;[b_1,\·\·\·,b_k]=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{x}_i{\mathrm{\α}}_i^T;$ A_ee为A的第e行第e列的元素；

6）判断D_t是否满足下列收敛公式：若满足，则进入步骤7）；否则，用D_t替代D_t-1，重复步骤5），直到更新后的字典满足所述收敛公式，进入7）；

7）令t=t+1，采用随机梯度下降的方法，从X_j中选择下一个向量，重复上述步骤4）～6），直到t=5～10，得到所有背景图像上第j个位置的背景图像块的字典D_j和稀疏系数α_j，则第j个位置的背景图像块的背景模型I_B(j)为：

I_B(j)=D_jα_j；

8）对于所有背景图像上其余位置的背景图像块训练集，重复上述步骤2）～7），直到得到所有背景图像块训练集的字典D=[D₁,D₂,…,D_m×l]和稀疏系数 $\mathrm{\α}={[{\mathrm{\α}}_1^T,{\mathrm{\α}}_2^T,\·\·\·,{\mathrm{\α}}_{m\×l}^T]}^T;$

9）从所述视频图像I中提取一张与所述背景图像大小相同的测试图像，将所述测试图像分成m×l个测试图像块；将每个测试图像块矢量化为向量

所有矢量化后的测试图像块构成矩阵

10）利用下式计算X'_j中第j个矢量化后的测试图像块的稀疏系数α'_j：

则所述测试图像的稀疏系数 ${\mathrm{\α}}^{\′}={[{\mathrm{\α}}_1^{\′T},{\mathrm{\α}}_2^{\′T},\·\·\·,{{\mathrm{\α}}_{m\×l}^{\′}}^T]}^T;$

11）利用下式计算所述测试图像第j个测试图像块的前景检测值I_F(j)：

I_F(j)=∑(D_jα_j′-I_B(j))；

12）判断I_F(j)是否大于阈值T，若大于，则I_F属于前景；否则I_F(j)属于背景，将I_F(j)置0；其中T的取值范围为：

u、σ分别为背景模型I_B与各背景图像块训练集差值的均值构成的向量的均值和方差。

考虑到运动物体的整体性，为了避免孤立点的出现，对I_F(j)进行加权后处理，得到加权处理后的前景检测值I′_F(j)：

$I_F^{\′}\left(j\right)=(1-{\mathrm{SSIM}}_j)*(I_F\left(j\right)+\underset{p\∈\mathrm{neighbor}\left(j\right)}{\mathrm{\Σ}}{I}_F\left(p\right));$

其中，I_F(j)、I_F′(j)分别为第j个测试图像块加权前后的前景检测值，SSIM_j为所述测试图像与背景模型I_B(j)中第j个位置的背景图像块的结构相似度指数；neighbour(j)表示第j个测试图像块的3×3邻域，I_F(p)表示第j个测试图像块3×3邻域内的测试图像块的前景检测值；判断I_F′(j)是否大于阈值T，若大于，则I_F′(j)属于前景；否则I_F′(j)属于背景。再次对I_F′(j)进行阈值判断，能够有效地消除孤立点，并提高检测结果的准确性。

本发明中的背景图像即视频图像中没有前景进入的图像。

与现有技术相比，本发明所具有的有益效果为：本发明从图像块的角度出发，采用字典学习的方法，为每一个图像块建立字典，从而得到一个基于背景图像的大字典，并根据稀疏编码的相关理论，求得背景图像在字典上的稀疏系数，进而得到背景模型；然后，根据当前帧图像在字典上的稀疏投影与背景模型的差值来判断前景区域，本发明的方法能很好地避免由于低照度而引起的大噪声干扰对检测结果的不良影响，保证在低照度环境下运动检测结果的准确性，在不同程度的噪声下，都能获得鲁棒性好、准确度高的运动检测结果；对于不同类型的极大噪声，本发明的方法仍然有很好的鲁棒性和准确性；为了保证检查结果的准确性和避免孤立点的出现，本发明还对前景检测值I_F进行了加权后处理，提升了检测结果的准确性。

附图说明

图1是本发明的流程图；

图2是在不同程度的高斯白噪声下，本发明与混合高斯模型、非参数模型的对比示意图；

图2（a）、图2（b）、图2（c）、图2（d）列分别为测试图像、混合高斯模型检测结果、非参数模型检测结果、本发明方法检测结果；

图2（1）、图2（2）、图2（3）、图2（4）、图2（5）行分别为添加方差为0、10、50、150、250的高斯白噪声下的图像；

图3是在不同类型的噪声下，本发明检测结果的示意图；

图3（a）、图3（b）、图3（c）、图3（d）列分别为测试图像（对应图片上部）及真实运动目标（对应图片下部）、添加方差为250的高斯白噪声的测试图像（对应图片上部）及本发明的检测结果（对应图片下部）、添加尺度因子为500的泊松噪声的测试图像（对应图片上部）及本发明的检测结果（对应图片下部）、添加方差为150高斯白噪声和尺度因子为250的泊松噪声的测试图像（对应图片上部）及本发明的检测结果（对应图片下部）；

图3（1）、图3（2）、图3（3）行分别为不同时刻下所提取的测试图像；

图4是本发明所述建立训练集的示意图；

图5（a）是本发明所述用字典和稀疏系数表示背景模型的示意图；

图5（b）是本发明所述用字典和稀疏系数表示当前帧图像的示意图。

具体实施方式

如图1，本发明首先对采集到的监控视频提取训练集，选择没有前景进入的图像帧进行图像分块和矢量化，得到用于字典学习的训练集，如图4所示为建立训练集的示意图；然后对训练集进行字典学习，并采用稀疏编码方法求得背景在所得字典上的稀疏系数，从而获得所监控场景的背景模型，如图5（a）所示为用字典和稀疏系数表示背景模型的示意图；最后，求得当前帧图像在字典上的稀疏系数，并与背景模型相减，经过加权后处理后得到前景运动区域，如图5（b）所示为用字典和稀疏系数表示当前帧的示意图。通过字典学习和稀疏编码，将当前帧图像投影到字典上，能够有效地消除由于低照度引起的大噪声，保证了本发明在低照度下的适用性，以及对于不同噪声的鲁棒性。本发明的具体步骤如下：

首先，创建字典学习所需的训练集。对监控摄像头采集到的360×240大小的视频添加不同程度、不同类型的噪声，来模拟由于低照度而引起的大噪声，这样就可以得到多个不同的测试图像集。对每个测试图像集，采用如图4所示的方法进行分块。提取测试图像集中没有前景进入的背景图像50张，对于每张背景图像，按照从左到右，从上到下的方向分为30×20个块，每个图像块的大小为12×12个像素点，对于第f张背景图像的第j个背景图像块可以将其矢量化为向量

然后，将每张背景图像同一位置的背景图像块构成矩阵

作为这个背景图像块的训练集；最后，将所有背景图像块的训练集构成一个大的矩阵X=[X₁,X₂,…,X₆₀₀]，即所有背景图像测试集的训练集。

其次，采用字典学习的方法建立背景模型。对于第j个图像块的训练集X_j，其字典D_j满足下式：

$D_j=\arg \underset{D_j}{\min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{{\mathrm{\α}}_i}{\min }({\left|\right|{\stackrel{\→}{x}}_{\mathrm{ij}}-D_j{\mathrm{\α}}_i\left|\right|}_2^2+{\left|\right|{\mathrm{\α}}_i\left|\right|}_1)---\left(1\right)$

其中，N为50，表示训练集中的样本数，α_i为第i个稀疏系数，λ为平衡参数，本发明中λ的值为3。

对于式（1），采用Online Dictionary Learning算法进行求解。该算法采用随机梯度下降的方法，在每一次循环内从X_j中选择一个向量

记作x_t，其中t表示循环次数。随后，在之前t-1次循环的基础上，采用稀疏编码LARS算法求得第t次的分解系数α_t，计算公式如下所示：

然后，对字典D_t-1逐列更新，得到一个新的字典D_t，更新规则如下式所示：

$\left\{\begin{array}{c}{c}_e\←\frac{1}{A_{\mathrm{ee}}}(b_e-D_{t-1}{a}_e)+d_e\\ d_e\←\frac{1}{\max ({\left|\right|c_e\left|\right|}_2,1)}{c}_e\end{array}\right.---\left(3\right)$

其中，e=1,2,…k；d_e'、d_e分别为字典D_t-1、D_t中第e个原子； $A=[a_1,\·\·\·,a_k]=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_i^T,B=[b_1,\·\·\·,b_k]=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{x}_i{\mathrm{\α}}_i^T;$

交替采用字典学习和稀疏编码，直到循环次数t达到预设值，本算法中取5次，即可得到第j个位置的背景图像块的字典D_j和稀疏系数α_j，那么第j个位置的背景图像块的背景模型I_B(j)为：

I_B(j)=D_jα_j    （4）

按照背景图像块的顺序依次求解，就可以得到所有位置的背景图像块的字典D=[D₁,D₂,…,D_m×l]和稀疏系数

那么，所监控场景的背景模型I_B就可以根据式（4）依次求解得到，I_B={I_B(j)|j=1,2,…,600}

最后，对任意帧测试图像进行前景检测。对于任意帧图像I，首先将其采用与训练集一样的分块方式，分为30×20个图像块，然后通过稀疏编码求得每个图像块I(j)在其字典D_j上的稀疏系数α_j′。那么，对于该图像块的前景检测值I_F(j)即可表示为：

I_F(j)=∑(D_jα_j′-I_B(j))    （5）

当I_F(j)大于阈值T时，即认为其属于前景，否则认为其属于背景，将其置为0。考虑到运动物体的整体性和避免孤立点的出现，对I_F(j)进行加权后处理：

$I_F^{\′}\left(j\right)=(1-{\mathrm{SSIM}}_j)*(I_F\left(j\right)+\underset{p\∈\mathrm{neighbor}\left(j\right)}{\mathrm{\Σ}}{I}_F\left(p\right))---\left(6\right)$

其中，I_F(j)、I′_F(j)分别为第j个测试图像块加权前后的前景检测值，SSIM_j为所述测试图像与背景模型I_B中第j个位置的背景图像块的结构相似度指数；neighbour(j)表示第j个测试图像块的3×3邻域。再次对I′_F进行阈值判断，能够有效地消除孤立点，并提高检测结果的准确性。

通过以上本发明所提出的针对低照度环境下的运动检测算法，能够准确地检测出在极大噪声下的运动目标。如图2所示，为混合高斯模型、非参数模型与本发明检测结果的对比。可以发现，当噪声达到一定程度时，上述两种运动检测算法均出现失效，而本发明所提算法仍能够有效地检测出运动前景。此外，如图3所示，为在不同类型的极大噪声下，本发明所提算法的检测结果。可以看出，对于不同类型的极大噪声，本发明所述的算法仍然有很好的鲁棒性和准确性。综上所述，针对低照度或极大噪声的环境，本发明所提的基于字典学习的运动检测方法具有良好的准确性与鲁棒性。

Claims (2)

1.一种基于字典学习的低照度运动检测方法，其特征在于，该方法为：

1）从被监控场景的视频图像I中提取N张背景图像，将每张所述背景图像分成m×l个背景图像块；将第f张背景图像的第j个背景图像块矢量化为向量

所有背景图像上第j个位置的背景图像块构成矩阵

将矩阵X_j作为所有背景图像上第j个位置的背景图像块的训练集；其中，f=1,2,…,N；j=1,2,…m×l；

2）从X_j中随机选择k个向量作为初始字典D₀；

3）令t=1；

4）从X_j中选择一个向量，记为x_t，利用下式计算背景图像块训练集X_j的稀疏系数

其中λ为平衡参数；

5）利用α_t和D_t-1更新字典，得到更新后的字典D_t=[d₁,d₂,…d_k]：

$d_e=\frac{1}{\max ({\left|\right|c_e\left|\right|}_2,1)}{c}_e;$

其中，

e=1,2,…k；d_e'、d_e分别为字典D_t-1、D_t中第e个原子； $A=[a_1,\·\·\·,a_k]=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_i^T;[b_1,\·\·\·,b_k]=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{x}_i{\mathrm{\α}}_i^T;$ A_ee为A的第e行第e列的元素；

6）判断D_t是否满足下列收敛公式：

若满足，则进入步骤7）；否则，用D_t替代D_t-1，重复步骤5），直到更新后的字典满足所述收敛公式，进入7）；

7）令t=t+1，采用随机梯度下降的方法，从X_j中选择下一个向量，重复上述步骤4）～6），直到t=5～10，得到所有背景图像上第j个位置的背景图像块的字典D_j和稀疏系数α_j，则第j个位置的背景图像块的背景模型I_B(j)为：

I_B(j)=D_jα_j；

8）对于所有背景图像上其余位置的背景图像块训练集，重复上述步骤2）～7），直到得到所有背景图像块训练集的字典D=[D₁,D₂,…,D_m×l]和稀疏系数 $\mathrm{\α}={[{\mathrm{\α}}_1^T,{\mathrm{\α}}_2^T,\·\·\·,{\mathrm{\α}}_{m\×l}^T]}^T;$

9）从所述视频图像I中提取一张与所述背景图像大小相同的测试图像，将所述测试图像分成m×l个测试图像块；将每个测试图像块矢量化为向量xrj'，所有矢量化后的测试图像块构成矩阵

10）利用下式计算X'_j中第j个矢量化后的测试图像块

的稀疏系数α_j'

则所述测试图像的稀疏系数 ${\mathrm{\α}}^{\′}={[{\mathrm{\α}}_1^{\′T},{\mathrm{\α}}_2^{\′T},\·\·\·,{{\mathrm{\α}}_{m\×l}^{\′}}^T]}^T;$

11）利用下式计算所述测试图像第j个测试图像块的前景检测值I_F(j)：

I_F(j)=∑(D_jα_j′-I_B(j))；

12）判断I_F(j)是否大于阈值T，若大于，则I_F属于前景；否则I_F(j)属于背景，将I_F(j)置0；其中T的取值范围为：u、σ分别为背景模型I_B与各背景图像块训练集差值的均值构成的向量的均值和方差。

2.根据权利要求1所述的基于字典学习的低照度运动检测方法，其特征在于，该方法还包括：

13）对I_F(j)进行加权后处理，得到加权处理后的前景检测值I_F′(j)：

$I_F^{\′}\left(j\right)=(1-{\mathrm{SSIM}}_j)*(I_F\left(j\right)+\underset{p\∈\mathrm{neighbor}\left(j\right)}{\mathrm{\Σ}}{I}_F\left(p\right));$

其中，I_F(j)、I_F′(j)分别为第j个测试图像块加权前后的前景检测值，SSIM_j为所述测试图像与背景模型I_B(j)中第j个位置的背景图像块的结构相似度指数；neighbour(j)表示第j个测试图像块的3×3邻域，I_F(p)表示第j个测试图像块3×3邻域内的测试图像块的前景检测值；

14）判断I_F′(j)是否大于阈值T，若大于，则I_F′(j)属于前景；否则I_F′(j)属于背景。

Images