CN104253994A - 一种基于稀疏编码融合的夜间监控视频实时增强方法 - Google Patents

Abstract

该发明公开了一种基于稀疏编码融合的夜间监控视频实时增强方法，涉及计算机视觉领域和信号处理领域，特别是涉及稀疏编码、图像增强、信息融合和视频图像处理的方法。通过白天和夜间的视频数据集的稀疏训练和学习，以获得较为高质量的原子集和对应的稀疏编码；通过稀疏编码融合算法，重构出增强的背景；然后，使用背景差方法，把运动物体从原夜间视频帧中提取出来；最后将增强的背景和运动物体融合得到最终的增强后的视频帧，从而具有在夜间监控视频增强过程中计算复杂度低、计算时间短、增强效果好、增强图像噪音小的效果。

Description

一种基于稀疏编码融合的夜间监控视频实时增强方法

技术领域

本发明涉及计算机视觉领域和信号处理领域，特别是涉及稀疏编码、图像增强、信息融合和视频图像处理的方法。 

背景技术

视频增强在计算机视觉领域的研究由来已久。它主要解决如下问题：如何将较低质量(亮度小，对比度低，细节模糊等)的输入视频流输出为高质量(亮度大，对比度高，细节清晰)的视频流。目前视频增强技术在视频监控领用已经展开了大量的应用研究，尤其是针对特定地点的的夜间视频监控。夜间环境下的若光照影响给视频增强技术带来了不小的挑战。 

根据视频增强技术中是否利用被增强图像本身以外的信息，目前关于视频增强常用的方法可以分为两大类：自身修补增强和信息融合增强。其中前者主要依靠算法提高被增强图像的质量，后者主要将外来有用信息，一般是同一地点的白天视频信息，和夜间视频信息通过融合算法来增强视频质量。目前自身修补类的增强技术有：伽马校准增强，直方图均衡增强，色调映射增强，HDR(高动态范围成像)增强，小波变换增强等。而信息融合类的增强技术有：同态滤波融合增强，梯度融合增强，高斯混合模型增强等。关于这两类技术的比较，自身修补增强技术的时间复杂度会较高，而且增强效果相对较低，不宜应用于实时视频监；而信息融合类增强方法却利用较低的时间复杂度实现较好的增强效果。由于时间复杂性的限制，使得信息融合类方法更适宜于实时视频监控领域。通过融合类增强技术的基本流程，如图1所示，由于白天信息的加入导致这类技术出现了新的问题：过度增强、夜灯不亮、夜间倒影等问题。这些问题在图2中有很好的显示。左边的图是原来的视频帧，右边的图示利用白天背景融合增强后的视频帧。增强的效果看上去很好，但是正如上面所标注的ABC三个问题也很明显。A:由于过多增强，导致运动的人和背景的对比度降低，这使得在增强后的视频中，原本应该被重点关注的人不再那么突出；B:树上的彩灯也由于白天强光的影响，甚至不能判断其是否正常工作，这会妨碍夜间监控的有效性；C:由于白天的背景中有倒影，导致在增强过后的视频帧中倒影不合理出现。 

稀疏编码是较为常用的数据压缩算法,该算法包括原子字典更新和稀疏编码更新两个迭代过程。追踪算法是较为常用的求解字典原子的方法,稀疏编码的更新过程中，由于目标函数的不同，所采用的更新方法也不同；对于没有惩罚项的优化目标，K_SVD是常用的求解算法。最终的编码以原子字典为引用，压缩原始数据，同时也能移除原始数据中的噪音和冗余。 

发明内容

针对背景技术的不足之处，本发明提供一种基于稀疏编码融合的夜间监控视频实时增强方法，达到在夜间监控视频增强过程中计算复杂度低、计算时间短、增强效果好、增强图像噪音小的目的。 

本发明的技术方案是一种基于稀疏编码融合的夜间监控视频实时增强方法，本方法通过白天和夜间的视频数据集的稀疏训练和学习，以获得较为高质量的原子集和对应的稀疏编码；通过稀疏编码融合算法，重构出增强的背景；然后，使用背景差方法，把运动物体从原夜间视频帧中提取出来；最后将增强的背景和运动物体融合得到最终的增强后的视频帧，从而实现发明目的。因而该方法包括以下步骤： 

A、离线学习和融合：通过大量视频数据集的稀疏训练和学习，得到原子字典和稀疏编码，并通过稀疏融合算法重构出增强后的背景； 

A1、收集大量特定地点的白天和夜间监控视频流数据； 

A2、使用MCL(mutual coherence learning:互相干扰性学习)方法训练和学习A1中收集到的数据，将视频数据中每一帧划分为若干小块，求出白天数据和夜间数据视频帧中相同位置小块的原子字典和稀疏编码； 

A3、将学习到的白天的原子字典和稀疏编码与夜间的原子字典和稀疏编码，按照公式(1)进行融合； 

P_scf(i)＝γD_dX_d(i)+ηD_nX_n(i)   (1) 

公式中i为图像块序号，P_scf(i)是融合后i号的图像块，D_d是白天的原子字典，D_n是夜间的原子字典，X_d(i)是白天的i号图像块的稀疏编码，X_n(i)是夜间的i号图像块的稀疏编码，η和γ分别是白天和夜间的融合系数； 

A4、将融合后的图像块按照块序号重构出增强后的背景图； 

A5、将夜间原子字典和对应稀疏编码按照D_nX_n(i)的方式重构出夜间稳定背景图； 

B、在线提取和融合：在实时视频流中提取出运动物体，并将之融合进A4得到的增强后的背景中； 

B1、采集当前视频，并使用A5中重构出的夜间稳定背景图提取出当前视频帧中的运动物体； 

B2、将提取出的运动物体融合到A4得到的增强后背景图中，得到夜间效果增强视频。 

步骤A2中MCL(mutual coherence learning:互相干扰性学习)方法过程进一步包括： 

A21、将白天视频中的每一帧划分为若干小的图像块y，并对在同一个坐标位置的块赋予一个块序号i，对每一个拥有相同块序号的图像块进行如下训练； 

A22、随机初始化原子字典D([d₁,...,d_i,...,d_k])，d_i表示字典中原子； 

A23、使用正交追踪算法计算出稀疏编码矩阵X([x₁,...,x_i,...x_m])，使得任一x_i满足公式(2) 

$\begin{array}{cc}\underset{x_i}{\min }{\left|\right|y_i-{\mathrm{Dx}}_i\left|\right|}^2& s.t.{\left|\right|x_i\left|\right|}_0\≤K---\left(2\right)\end{array}$

公式中y_i是收集视频中的每一帧划分为的图像块信息，D是原子字典，||·||₀是零范式计算，K是稀疏度； 

A24、对于字典中每一个原子d_i按照公式(3)进行重新初始化 

$d_i=\frac{(Y-\underset{j=1;j\≠i}{\overset{k}{\mathrm{\Σ}}}{d}_j{x}_j^T)x_i}{x_i^T{x}_i}---\left(3\right)$

公式中Y是收集到的视频数据,对于特定编码i，指代所有编号i块的全部训练数据； 

A25、计算如果其大于0,则将标志位flag置为1，否则将flag置为-1； 

A26、对于字典中每一个原子d_i，利用A25的计算结果按照公式(4)进行更新 

$d_i=d_i-2\mathrm{\β}\{x_i^T{x}_i{d}_i-(Y-\underset{j=1,j\≠i}{\overset{k}{\mathrm{\Σ}}}{d}_j{x}_j^T)x_i+{(-1)}^{\mathrm{flag}}\underset{j=1,j\≠i}{\overset{k}{\mathrm{\Σ}}}\frac{d_j}{{\left(d_i^T{d}_j\right)}^2}\}---\left(4\right)$

公式总β为梯度参数； 

A27、比较d_i在更新前后的变化，如果没有变化则跳到A28，如果有变化则返回A25； 

A28、返回A23，直到训练得到的稀疏编码X不再变化，从而求白天视频帧中相同位置小块的原子字典和稀疏编码； 

A29、采用A21～A28相同的方法计算出夜间视频视频帧中相同位置小块的原子字典和稀疏编码。 

步骤B1中夜间运动物体提取过程进一步包括： 

B11、按照公式(5)对于帧中的每一个像素进行标示位赋值 

$L(x,y)=\left\{\begin{array}{c}1,\mathrm{if}|B(x,y)-N(x,y)|\≥{\mathrm{Th}}_0\\ 0,\mathrm{otherwise},\end{array}\right.---\left(5\right)$

公式中的(x,y)是像素坐标，L(x,y)是(x,y)坐标对应的像素的标示位，B(x,y)和N(x,y)分别是对应的背景图像素值和夜间帧像素值，Th₀是设定的阈值； 

B12、根据每个像素的标示位建立二值化图，将所有L为1的像素赋值为255，L为0的像素赋值为0； 

B13、对二值化的图进行高斯腐蚀，得到腐蚀后的图； 

B14、对于腐蚀后的图每一像素值进行阈值判断，二值化，如果大于某阈值，则赋值为255，否则赋值为0； 

B15、对于腐蚀后的二值化图进行膨胀计算，膨胀后再次二值化处理； 

B16、根据膨胀后的二值化图中像素值为255坐标位置，将夜间视频帧中相应的坐标像素提取出，再融合到增强后的背景图中去。 

所述步骤B11中对于帧中的每一个像素进行标示位赋值时，针对8位的数字化图像，阈值Th₀的置信区间为130-160。 

所述步骤B14中对于腐蚀后的图进行二值化时，针对8位的数字化图像，阈值的的置信区间为160-190。 

本发明一种基于稀疏编码融合的夜间监控视频实时增强方法，通过白天和夜间的视频数据集的稀疏训练和学习，以获得较为高质量的原子集和对应的稀疏编码；通过稀疏编码融合算法，重构出增强的背景；然后，使用背景差方法，把运动物体从原夜间视频帧中提取出来；最后将增强的背景和运动物体融合得到最终的增强后的视频帧，从而在夜间监控视频增强过程中计算复杂度低、计算时间短、增强效果好、增强图像噪音小的效果。 

附图说明

图1为信息融合增强方法基本流程图； 

图2为信息融合增强技术引入的新问题对比图； 

图3为发明法案的概括示意图； 

图4为离线工作流程图； 

图5为在线工作流程图； 

图6为MCL方法和其它训练方法对比图； 

图7为本发明的最终增强结果和其他融合类技术结果对比图。 

图3中英对照如下：Daytime image samples(白天视频流数据集)，Nighttime image samples(夜间视频流数据集)，Sparse coding(稀疏编码)，Daytime dictionary(白天字典)，Nighttime dictionary(夜间字典)，Reconstruct(重构)，Night time background(夜间背景)，Night video frame(夜间视频帧)，Binarization segmentation(二值化分割)，Moving objects(移动物体)，Sparse codes fusion(稀疏编码融合)，Enhanced background(增强后的背景)，Fusion(融合)，Enhanced video frame(增强的视频帧)。 

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。 

具体实施例：基于稀疏编码融合方式的夜间监控视频增强 

在本实验中，夜间光照环境非常差，仅仅靠路灯提供照明，是说明基于稀疏编码融合的视频增强的一个典型例子。其具体处理流程分为两个部分：离线工作流程和在线工作流程，分别如下： 

离线流程： 

步骤1：收集白天和夜间视频数据集；转步骤2； 

步骤2：对于收集到的数据集进行空间坐标分块，实验中分块大小是3*3，后续步骤对于白天和夜间数据集分别同时处理，转步骤3； 

步骤3：初始化步骤，原字字典随机初始化，稀疏编码矩阵初始化0，转步骤4； 

步骤4：使用正交追踪算法，根据已有的原子字典，求出稀疏编码矩阵，转步骤5； 

步骤5：检测稀疏编码矩阵是否发生变化，如果发生变化，转步骤6，否则转步骤10； 

步骤6：根据公式(3)，将原子字典再次初始化，转步骤7； 

步骤7：计算flag标志，转步骤8； 

步骤8：根据公式(4)，更新字典原子，转步骤9； 

步骤9：检测字典是否发生变化，如果发生变化，转步骤7，否则转步骤4； 

步骤10：使用夜间字典和稀疏编码重构出夜间背景，再利用公式(1)进行稀疏编码融合得到增强后的夜间背景，至此完成离线工作任务。 

在线流程： 

步骤1：利用离线训练得到的夜间背景，将其和在线监控的视频帧做背景差处理，取其绝对值，转步骤2； 

步骤2：根据背景差结果的阈值(阈值150)判断，初始化一个二值化图像，转步骤3； 

步骤3：对于二值化图像进行高斯腐蚀(5*5的高斯窗口)，转步骤4； 

步骤4：，对高斯腐蚀后的图像进行膨胀腐蚀，转步骤5； 

步骤5：对于膨胀后的图像，进行阈值(阈值为180)判断，并二值化，转步骤6； 

步骤6：以二值图像为掩码，在线视频进行运动分割，转步骤7； 

步骤7：将分割的运动图像融合进离线得到的增强后的夜间背景，得到最终增强的视频帧，至此完成在线工作。 

在离线学习中，本发明创新地提出了一种针对特定场景的稀疏学习方法：MCL(mutual coherence learning:互相干扰性学习)。在一般的稀疏编码方法的目标函数是如公式(6)所示： 

$\begin{array}{cc}\underset{D,X}{\min }{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2& s.t.\∀i,{\left|\right|x_i\left|\right|}_0\≤K---\left(6\right)\end{array}$

为了使得特定场景的连续性，提出了新的稀疏目标函数,如公式(7)所示： 

$\begin{array}{cc}\underset{D,X}{\min }\{{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2+\mathrm{\α}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1,j\≠i}{\overset{k}{\mathrm{\Σ}}}|{\left(d_i^T{d}_j\right)}^{-1}\left|\right\}& s.t.\∀i,{\left|\right|x_i\left|\right|}_0\≤K,\mathrm{\α}>0---\left(7\right)\end{array}$

并且本发明出了对于这种目标函数的特有的训练方法，其具体步骤是离线训练的A21-A28。这种学习方法相对与传统的公式(6)所示的稀疏方法，取得了非常好的效果。 

与目前现有的稀疏编码训练方法相比，本发明提出的MCL(mutual coherence learning:互相干扰性学习)创造性地很好地解决视频流不稳定造成的噪音问题和图像不连续问题。针对图2中的场景为例，图6很好地显示出MCL方法的优点。图6中(a)是一般的图形内容融合得到的背景，(b)是传统的利用公式(6)进行的训练学习结果，(c)是本发明的MCL方法得到的增强后的结果。从对比中，不难看出，本发明得到的增强后的背景中没有较大噪音污染，也没有白天的阴影。 

与目前现有的视频融合类视频增强技术相比，本发明的增强效果，无论从增强的亮度上，还是从噪音减少程度上，甚至与对于现有的问题的解决上，都取得了很好的效果。从图7可以看出。图中(a)(b)(c)是目前现有的融合类增强技术(分别是:除夜技术,内容融合，梯度融合)的结果图，(d)是本发明的结果图。从对比中可以发现，本发明很好地解决了三大公开问题，夜间运动物体在增强后的视频中更加突出明显；白天阴影没有出现；夜间的灯也明亮了。另外从右边的亮度直方图中可以看出，本发明的最红增强的视频帧的亮度是最大的。 

另外一个方面，在于本发明的在线时间复杂度极低。相对与其他融合类技术而言，本发明的大量时间主要集中在离线的训练学习工作中，而对于在线工作，只是简单的运动分割和融合。从运行时间来说，本发明的帧处理时间是12ms，远远低于目前融合类技术的时间性能(大约是每帧50ms)，从而更好地满足了视频流的处理实时性要求。 

Claims (5)

1.一种基于稀疏编码融合的夜间监控视频实时增强方法，该方法包括：

A、离线学习和融合：通过大量视频数据集的稀疏训练和学习，得到原子字典和稀疏编码，并通过稀疏融合算法重构出增强后的背景；

A1、收集大量特定地点的白天和夜间监控视频流数据；

A2、使用MCL(mutual coherence learning:互相干扰性学习)方法训练和学习A1中收集到的数据，将视频数据中每一帧划分为若干小块，求出白天数据和夜间数据视频帧中相同位置小块的原子字典和稀疏编码；

A3、将学习到的白天的原子字典和稀疏编码与夜间的原子字典和稀疏编码，按照公式(1)进行融合；

P_scf(i)＝γD_dX_d(i)+ηD_nX_n(i)   (1)

公式中i为图像块序号，P_scf(i)是融合后i号的图像块，D_d是白天的原子字典，D_n是夜间的原子字典，X_d(i)是白天的i号图像块的稀疏编码，X_n(i)是夜间的i号图像块的稀疏编码，η和γ分别是白天和夜间的融合系数；

A4、将融合后的图像块按照块序号重构出增强后的背景图；

A5、将夜间原子字典和对应稀疏编码按照D_nX_n(i)的方式重构出夜间稳定背景图；

B、在线提取和融合：在实时视频流中提取出运动物体，并将之融合进A4得到的增强后的背景中；

B1、采集当前视频，并使用A5中重构出的夜间稳定背景图提取出当前视频帧中的运动物体；

B2、将提取出的运动物体融合到A4得到的增强后背景图中，得到夜间效果增强视频。

2.如权利要求1所述的一种基于稀疏编码融合的夜间监控视频实时增强方法，其特征在于步骤A2中互相干扰性学习的具体步骤包括：

A21、将白天视频中的每一帧划分为若干小的图像块y，并对在同一个坐标位置的块赋予一个块序号i，对每一个拥有相同块序号的图像块进行如下训练；

A22、随机初始化原子字典D([d₁,...,d_i,...,d_k])，d_i表示字典中原子；

A23、使用正交追踪算法计算出稀疏编码矩阵X([x₁,...,x_i,...x_m])，使得任一x_i满足公式(2)

$\begin{array}{cc}\underset{x_i}{\min }{\left|\right|y_i-{\mathrm{Dx}}_i\left|\right|}^2& s.t.{\left|\right|x_i\left|\right|}_0\≤K---\left(2\right)\end{array}$

公式中y_i是收集视频中的每一帧划分为的图像块信息，D是原子字典，||·||₀是零范式计算，K是稀疏度；

A24、对于字典中每一个原子d_i按照公式(3)进行重新初始化

$d_i=\frac{(Y-\underset{j=1;j\≠i}{\overset{k}{\mathrm{\Σ}}}{d}_j{x}_j^T)x_i}{x_i^T{x}_i}---\left(3\right)$

公式中Y是收集到的视频数据,对于特定编码i，指代所有编号i块的全部训练数据；

A25、计算如果其大于0,则将标志位flag置为1，否则将flag置为-1；

A26、对于字典中每一个原子d_i，利用A25的计算结果按照公式(4)进行更新

$d_i=d_i-2\mathrm{\β}\{x_i^T{x}_i{d}_i-(Y-\underset{j=1,j\≠i}{\overset{k}{\mathrm{\Σ}}}{d}_j{x}_j^T)x_i+{(-1)}^{\mathrm{flag}}\underset{j=1,j\≠i}{\overset{k}{\mathrm{\Σ}}}\frac{d_j}{{\left(d_i^T{d}_j\right)}^2}\}---\left(4\right)$

公式总β为梯度参数；

A27、比较d_i在更新前后的变化，如果没有变化则跳到A28，如果有变化则返回A25；

A28、返回A23，直到训练得到的稀疏编码X不再变化，从而求白天视频帧中相同位置小块的原子字典和稀疏编码；

A29、采用A21～A28相同的方法计算出夜间视频视频帧中相同位置小块的原子字典和稀疏编码。

3.如权利要求1所述的一种基于稀疏编码融合的夜间监控视频实时增强方法，其特征在于步骤B1中夜间运动物体提取过程进一步包括：

B11、按照公式(5)对于帧中的每一个像素进行标示位赋值

$L(x,y)=\left\{\begin{array}{c}1,\mathrm{if}|B(x,y)-N(x,y)|\≥{\mathrm{Th}}_0\\ 0,\mathrm{otherwise},\end{array}\right.---\left(5\right)$

公式中的(x,y)是像素坐标，L(x,y)是(x,y)坐标对应的像素的标示位，B(x,y)和N(x,y)分别是对应的背景图像素值和夜间帧像素值，Th₀是设定的阈值；

B12、根据每个像素的标示位建立二值化图，将所有L为1的像素赋值为255，L为0的像素赋值为0；

B13、对二值化的图进行高斯腐蚀，得到腐蚀后的图；

B14、对于腐蚀后的图每一像素值进行阈值判断，二值化，如果大于某阈值，则赋值为255，否则赋值为0；

B15、对于腐蚀后的二值化图进行膨胀计算，膨胀后再次二值化处理；

B16、根据膨胀后的二值化图中像素值为255坐标位置，将夜间视频帧中相应的坐标像素提取出，再融合到增强后的背景图中去。

4.如权利要求3所述的一种基于稀疏编码融合的夜间监控视频实时增强方法，其特征在于所述步骤B11中对于帧中的每一个像素进行标示位赋值时，针对8位的数字化图像，阈值Th₀的置信区间为130-160。

5.如权利要求3所述的一种基于稀疏编码融合的夜间监控视频实时增强方法，其特征在于所述步骤B14中对于腐蚀后的图进行二值化时，针对8位的数字化图像，阈值的的置信区间为160-190。