CN105959707A - 基于运动感知的静态背景视频压缩算法 - Google Patents

Abstract

本发明公开了一种基于运动感知的静态背景视频压缩方法，首先对视频流分别进行边缘梯度检测和显著性区域检测，得到边缘信息和显著性信息，然后进行背景建模，采用vibe算法，检测运动信息，根据运动信息，计算运动目标的当前帧与上一视频帧的裁剪线的时空差异，使得裁剪后的视频在前后帧之间保持空间与时间的连续性；根据能量图，计算边缘改变代价函数，避免边缘畸变现象，采用动态规划算法，计算得到裁剪函数；定义一个裁剪顺序的最优化函数，在水平方向和垂直方向上选择需要移除的裁剪线。本发明利用边缘检测、显著性检测、目标检测和时空相关性，将图像线裁剪方法应用到视频压缩。

Description

基于运动感知的静态背景视频压缩算法

技术领域

本发明涉及视频压缩算法领域，具体是一种基于运动感知的静态背景视频压缩算法。

背景技术

随着互联网飞速发展，多媒体数据也呈几何级数的增长，我们步入了信息化时代，人们获取的信息资源是以往任何时代所无法比拟的。这些信息资源，不单有简单的文本信息，而且包括了海量视频资料。这些视频信息与文本信息相比，更加的直观生动，既与文本信息相互补充，又是提供信息的独立载体。

视频监控系统有很多，如交通、水利、油田、银行、电信等领域的远程监控；房地产、幼儿园、建筑、厂区、库房、物流、连锁店、门店等重点区域监控。以交通视频监控为例，通过交通视频监控可进行：车牌识别，用于稽查违规车辆；车速识别，用于检测超速车辆；逆行警告，识别逆行车辆，产生报警；流量统计，统计过往的行人和车辆数量。受平安城市建设、交通信息化建设、金融监控、安全生产、智能家居等各种项目建设与发展的带动，视频监控产品需求量不断扩大。

现在随着视频监控系统的广泛应用，视频资源呈现爆炸式增长趋势，人们希望能有更高效的视频压缩技术，使得这些视频信息能够存储和传输。在压缩视频时，如果毫无区别地对视频中所有内容进行处理则是不明智的，因为人们所需要的只是视频的主体信息，如何快速地进行数据筛选，压缩感兴趣的数据，从而寻找任务相关的信息，一直是计算机视觉研究领域中的一个热点。

当前对视频的存储方法主要是基于视频编码的压缩方法，如Nishi的像素分析方法、Vetro.A的基于物体编码的方法，这些方法都是对原始比特流编码，对某些视频能够达到一定的效果，但是由于视频编码存在上限问题，在上限固定之后很难再有压缩率上的突破。还有就是通过对视频原始数据比特流的压缩来达到对整个视频进行压缩存储的目的，主要有ITU-T制定的H.26X系列和ISO制定的MPEG-X系列，这些视频压缩技术利用视频帧内与帧间冗余信息，在一定程度上减小了视频文件的大小，但是长时间不间断运行的监控系统所产生的文件数据量非常巨大，传统的压缩方法力不从心。

传统的视频压缩方法，对视频的所有内容进行同等压缩，丢失了视频的主体信息。对于视频存储，如果只存储人们感兴趣的有用信息，可以极大地减少存储时间和存储空间。本发明使用运动敏感信息作为判断视频内容的标准，对非运动区域采用内容感知信息作为判断标准提出一种基于运动感知的静态背景视频压缩方法。

发明内容

本发明的目的是提供一种基于运动感知的静态背景视频压缩算法，以解决现有技术静态背景视频压缩中主要内容丢失的问题和抖动现象，。

为了达到上述目的，本发明所采用的技术方案为：

基于运动感知的静态背景视频压缩算法，其特征在于：包括以下步骤：

(1)、选取静态背景视频，输入视频帧，导入每一个视频帧对其进行线裁剪；

(2)、对视频帧进行边缘检测处理，得到该视频帧的梯度图，计算过程如下：

视频帧记为I，对I的水平方向和垂直方向分别求其偏导，两者线性累加后得到该视频帧的梯度图，它反映了视频帧的结构化信息，如公式(1)所示：

$e_1\left(I\right(x,y\left)\right)=\left|\frac{\∂}{{\∂}_x}I(x,y)\right|+\left|\frac{\∂}{{\∂}_y}I(x,y)\right|---\left(1\right);$

其中e₁(I(x,y))表示的是视频帧I(x,y)得到的梯度图，(x,y)为图I中的一点，x代表点的横坐标，y为点的纵坐标；

(3)、对视频帧的显著性区域进行检测，使用全局对比度的显著性检测方法，保留视频帧的显著性目标信息，处理过程如下：

A.使用直方图统计对视频帧的颜色信息进行量化，在全色彩空间中将每个颜色通道量化为12个不同的值，考虑到视频帧中的颜色只占据整个色彩空间很小一部分，将出现频率较小的颜色丢掉以减少色彩数目；选择高频出现的颜色，并确保这些颜色覆盖95％以上的像素；

B.使用基于图的图像分割方法将视频帧分割成若干区域，为每个区域建立颜色直方图，对每个区域r_i，通过测量它与视频帧其它区域的颜色对比度来计算它的显著性值，计算公式如公式(2)所示：

$S\left(r_i\right)=\underset{r_i\≠r_j}{\Σ}w\left(r_j\right)D(r_i,r_j)---\left(2\right),$

公式(2)中，S(r_i)是区域r_i的显著值，D(r_i,r_j)是图像区域r_i和区域r_j的颜色或者视差的对比度，w(r_j)为区域r_j的权值，即用r_j里的像素数w(r_j)来强调大区域的颜色对比度，D(r_i,r_j)的计算公式如公式(3)所示：

$D(r_i,r_j)=\underset{i=1}{\overset{n_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_2}{\mathrm{\Σ}}}f\left(c_{1,i}\right)f\left(c_{2,j}\right)D(c_{1,i},c_{2,j})---\left(3\right),$

公式(3)中，f(c_k,i)为第i个颜色c_1,i在第k个区域r_k的所有n_k种颜色中出现的概率，k＝{1,2}，这里使用区域的概率密度函数中颜色出现的概率作为权值，以强调主要的颜色之间的区别，同时使用稀疏直方图以使得存储和计算过程更加高效；D(c_1,i,c_2,j)是第一个区域第i个灰度级和第二个区域第j个灰度级的欧氏距离。f(c_2，j)是第二个区域的第i个灰度级；

C.在公式(3)中引进空间权值，将空间信息加入进来，从而增加区域的空间影响；近邻的区域增大影响，较远的区域较小影响；最终区域r_i的显著性值定义如公式(4)所示：

$S\left(r_i\right)=\underset{r_i\≠r_j}{\Σ}\exp (-D_s(r_i,r_j/{\mathrm{\σ}}_s^2\left)\right)w\left(r_j\right)D(r_i,r_j)---\left(4\right),$

公式(4)中，D_s(r_i,r_j)为区域r_i和r_j的空间距离_，σ_s控制空间权值强度；σ_s越大，空间权值的影响越小，导致较远区域的对比度对当前区域显著性值做出较大贡献；

D.通过基于全局对比度的显著性区域检测算法，得到了该视频帧每个像素点的显著性值，从而为每个像素分配不同能量值，计算公式如公式(5)所示：

e₂(I(x,y))＝S(x,y) (5)；

S(x,y)为显著性值。

(4)、对视频帧进行背景建模处理，使用vibe算法进行背景建模，计算运动目标，得到该视频帧的运动信息，其步骤如下：

在vibe模型中，每一个背景点都有一个样本集，从而将新的像素点和样本集进行比较，判断它是否属于背景点；如果它属于背景点，则它的值接近于样本的采样值；记v(x)为x点处的像素值；M(x)＝{V₁,V₂,…V_N}为x处的背景样本集，样本集大小为N；S_R(v(x))为以x为中心，R为半径的区域，如果公式(6)的值大于一个给定的阈值#min，那么就认为x点属于背景点；公式具体表现形式如下所示：

#{S_R(v(x))∩{v₁,v₂,…,v_N}} (6)；

(5)、判断裁剪线是否为背景，根据判断，分别计算裁剪函数：

A.针对静态背景的视频，如果裁剪线为背景，则它的能量值包括边缘梯度信息和显著性信息；由于裁剪线不穿过该视频帧的运动目标，移除裁剪线对视频帧的影响较小，且不会造成视频的抖动，这样就有运行速度快，计算效率高的优势，否则进行B处理；

B.裁剪线经过运动区域，则需要计算连续视频帧的裁剪线在时空上的差异比较：

连续视频帧的内容十分接近，对视频帧进行裁剪时，如果裁剪线经过运动区域，视频中的内容会产生抖动现象；考虑上一帧的裁剪线放置到当前帧上，两者附近的差异程度，可获得当前帧移除裁剪线后与上一裁剪的视频帧在时空上的差异；N_x,y表示当前帧N的像素点(x,y)，P_x,y表示当前帧的上一视频帧的像素点，n为上一视频帧的裁剪线个数，k代表上一视频帧的某条裁剪线；i,j是水平线Y＝y与两条裁剪线的交点在垂直方向上的坐标位置，x为交点之间的像素的垂直坐标；假设i<x<j。视频帧的时空差异如公式(7)所示：

$e_3\left(I\right(x,y\left)\right)=\underset{k=1}{\overset{n}{\&Sigma;}}\left|\right|\underset{x=i+1}{\overset{j}{\&Sigma;}}{N}_{x,y}-\underset{x=i}{\overset{j-1}{\&Sigma;}}{P}_{x,y}\left|\right|---\left(7\right);$

(6)、采用动态规划算法，根据边缘检测、显著性区域检测以及背景建模，制定裁剪标准，在能量图中引入裁剪线差异比较，计算裁剪函数，

为了找到最优的裁剪线，采用动态规划算法，对每个可能裁剪的像素点(x，y)计算，并累计最小能量M，如公式(8)所示：

M(x,y)＝e(x,y)+min(M_l,M_u,M_r) (8),

其中：

$\begin{array}{c}{M}_l=M(x-1,y-1)\\ M_u=M(x-1,y)\\ M_r=M(x-1,y+1)\end{array}---\left(9\right),$

公式(8)、(9)中，e(x,y)为像素(x，y)的能量，M_l、M_u和M_r为动态规划中裁剪备选路径的累计能量；

裁剪函数计算过程如下步骤：

A.视频帧的物体特征包括梯度信息，显著性信息、运动信息和时空信息，它们共同组成了该像素的能量；e₁(I(x,y))表示梯度信息的能量，e₂(I(x,y))代表显著性信息，而通过判断像素(x，y)是否为背景，来估计运动信息，e₃(I(x,y))表示时空相关性的能量，则像素(x，y)的能量e(x,y)如公式(10)所示：

$e(x,y)=\left\{\begin{array}{cc}{e}_1\left(I\right(x,y))+e_2\left(I\right(x,y))& I(x,y)=0\\ e_1\left(I\right(x,y))+e_2\left(I\right(x,y))+e_3\left(I\right(x,y))& otherwise\end{array}\right.---\left(10\right),$

B.在视频帧中移除裁剪线时，在以该像素点(x，y)为中心的邻域，引入了新的像素点，对视频帧原有的边缘造成破坏，从而造成边缘畸变。计算引入边缘改变的能量代价如公式(11)所示：

$\begin{array}{c}{M}_l=M(x-1,y-1)+C_l(x,y)\\ M_u=M(x-1,y)+C_u(x,y)\\ M_r=M(x-1,y+1)+C_r(x,y)\end{array}---\left(11\right),$

公式(11)中，C_l、C_u和C_r分别表示裁剪线路径是从该像素的左上方、正上方和右上方开始的，移除原有的像素点，引入新像素点，从而带来边缘改变的代价函数如公式(12)所示：

$\begin{array}{c}{C}_l(x,y)=v_l-v_l^{new}\\ C_u(x,y)=v_u-v_u^{new}\\ C_r(x,y)=v_r-v_r^{new}\end{array},---\left(12\right),$

其中：

$v_l=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}|I(i,j)-\mathrm{\&mu;}(x,y){|}^2---\left(13\right),$

$\mathrm{\&mu;}(x,y)=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}I(i,j)---\left(14\right),$

$v_l^{new}=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}|I(i,j)+{\mathrm{\&Delta;I}}_a(x,y)-{\mathrm{\&mu;}}_a^{new}(x,y){|}^2---\left(15\right),$

${\mathrm{\&mu;}}_a^{new}(x,y)=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}\left(I\right(i,j)+{\mathrm{\&Delta;I}}_a(x,y\left)\right)---\left(16\right),$

其中，u(x,y)表示点(x，y)的视差值，B(x,y)为点(x，y)邻域，N表示取邻域平均值，N一般取值是9；C_u(x,y)和C_r(x,y)的计算方式同公式(13)-公式(16)，ΔI(x,y)的计算过程如公式(17)所示：

$\begin{array}{c}{\mathrm{\&Delta;I}}_l(x,y)=|I(x-1,y+k+1)-I(x-1,y-1)+|I(x,y+k+1)-I(x,y)|\\ {\mathrm{\&Delta;I}}_u(x,y)=|I(x-1,y+k+1)-I(x-1,y)+|I(x,y+k+1)-I(x,y)|\\ {\mathrm{\&Delta;I}}_r(x,y)=|I(x-1,y+k+1)-I(x-1,y+1)+|I(x,y+k+1)-I(x,y)|\end{array}---\left(17\right),$

公式(17)中，k表示邻域的半径，对于经过像素点(x，y)的垂直裁剪线路径按照上述裁剪函数不断更新，而水平裁剪线的定义同垂直裁剪线；

(7)、选择最小能量的裁剪线，通过回溯找到从像素点(x，y)到(x-1)的路径，最终将像素点进行移除，删除后如果视频帧满足指定尺寸，则对下一个视频帧进行如步骤(1)、(2)、(3)、(4)、(5)、(6)和(7)操作，否则返回到(2)，更新能量图；

在压缩视频帧时，可以从裁剪水平方向和垂直方向出发，因此对于裁剪顺序，定义一个最优化公式如公式(18)所示：

$\underset{s^x,s^y,\mathrm{\&alpha;}}{min}\underset{i=1}{\overset{k}{\&Sigma;}}E({\mathrm{\&alpha;}}_i{s}_i^x+(1-{\mathrm{\&alpha;}}_i\left)s_i^y\right)---\left(18\right),$

公式(18)中，k＝r+c，r＝(m-m′)，c＝(n-n′)，α_i是一个决定因子，决定移除水平还是垂直的像素点，α_i∈{0,1}，

在裁剪过程中，根据能量函数E，同时有水平与垂直的线供选择，那么就可以根据计算垂直裁剪线和水平裁剪线的两条线的能量代价函数，从中选取比较小的进行移除，后面的操作依次进行。

本发明的技术方案所依据的科学原理：

图像的大小为m*n，指定压缩后的图像大小为m’*n’(其中m-m’＝c,n-n’＝r,c>0,r>0)。通过压缩图像的行信息和列信息，最终达到压缩图像的目的。在图像水平方向上，寻找垂直裁剪线进行移除，裁剪的垂直线定义如下：

$\begin{array}{c}{S}^x={\left\{x_i^x\right\}}_{i=1}^m={\left\{(i,x(i)\right)\}}_{i=1}^m\\ s.t.\&ForAll;i,|x\left(i\right)-x(i-1)\&le;1|\end{array}---\left(19\right),$

X是一个向量，取值为[1,m]，定义了映射函数为[1,…,m]->[1,…,m’]。上式表明对于每一行，垂直裁剪线只能取一个像素，而且必须是八连通路径上的一个像素，这样就保持了该裁剪线的单调性和连通性。从第一行到最后一行移除一个像素，就组成了一条垂直裁剪线，移除像素后，相应的像素向上或者向左移动，图像压缩的目的就达到了。同样的，有一个关于y的映射函数，Y是一个向量，取值为[1,n]，定义了映射函数为[1,…,n]->[1,…,n’]。裁剪的水平线定义如下：

$\begin{array}{c}{S}^y={\left\{s_j^y\right\}}_{j=1}^n={\left\{(j,y(j)\right)\}}_{j=1}^n\\ s.t.\&ForAll;j,|y\left(j\right)-y(j-1)\&le;1|\end{array}---\left(20\right),$

裁剪线s路径上的每个像素如垂直裁剪线{s_i}的能量表示为当移除图像的一行或者一列之后，即移除裁剪线后，图像的所有其他像素都全部向左或者向上移动，从而替代这条消失的路径。由于这条裁剪线关注度不高，所以当图像的剩余部分聚合在一起时，图像内容基本不会改变。因此，可以定义一条裁剪线的代价函数为这样我们就寻找一条代价最小的裁剪线：

$s^{*}=\underset{s}{min}E\left(s\right)=min\underset{i=1}{\overset{m}{\&Sigma;}}e\left(I\right(s_i\left)\right)---\left(21\right).$

本发明提供了一种基于运动感知的静态背景视频压缩算法，分别采用边缘检测算法和显著性区域检测方法计算能量图，保存视频帧主体的完整性；根据背景建模，检测运动目标，从而运用时空信息，避免视频抖动；考虑移除像素的影响，制定新的裁剪标准，计算裁剪函数，保持边缘连续。最终移除低能量的像素，使视频帧满足指定尺寸，最后在压缩的视频中依然保存着主体信息，视频帧边缘连续，且视频保持时空连续性。该算法计算简便，运行速度快。

本发明优点为：

本发明采用应用在图像上的线裁剪算法，根据视频中物体的边缘信息、显著性信息、运动特征和时空信息，对视频进行压缩。本发明兼有快速存储和保留视频主体信息且边缘连续的优点，压缩的视频没有抖动现象，保持时空连续性，且没有任何优化和复杂迭代运算，计算速度迅速，压缩效果好。

附图说明

图1为本发明算法流程图。

具体实施方式

参见图1所示，基于运动感知的静态背景视频压缩算法，包括以下步骤：

(1)、选取静态背景视频，输入视频帧，导入每一个视频帧对其进行线裁剪；

(2)、对视频帧进行边缘检测处理，得到该视频帧的梯度图，计算过程如下：

视频帧记为I，对I的水平方向和垂直方向分别求其偏导，两者线性累加后得到该视频帧的梯度图，它反映了视频帧的结构化信息，如公式(1)所示：

$e_1\left(I\right(x,y\left)\right)=\left|\frac{\&part;}{{\&part;}_x}I(x,y)\right|+\left|\frac{\&part;}{{\&part;}_y}I(x,y)\right|---\left(1\right);$

其中e₁(I(x,y))表示的是视频帧I(x,y)得到的梯度图，(x,y)为图I中的一点，x代表点的横坐标，y为点的纵坐标。

(3)、对视频帧的显著性区域进行检测，使用全局对比度的显著性检测方法，保留视频帧的显著性目标信息，处理过程如下：

A.使用直方图统计对视频帧的颜色信息进行量化，在全色彩空间中将每个颜色通道量化为12个不同的值，考虑到视频帧中的颜色只占据整个色彩空间很小一部分，将出现频率较小的颜色丢掉以减少色彩数目；选择高频出现的颜色，并确保这些颜色覆盖95％以上的像素；

B.使用基于图的图像分割方法将视频帧分割成若干区域，为每个区域建立颜色直方图，对每个区域r_i，通过测量它与视频帧其它区域的颜色对比度来计算它的显著性值，计算公式如公式(2)所示：

$S\left(r_i\right)=\underset{r_i\&NotEqual;r_j}{\&Sigma;}w\left(r_j\right)D(r_i,r_j)---\left(2\right),$

公式(2)中，S(r_i)是区域r_i的显著值，D(r_i,r_j)是图像区域r_i和区域r_j的颜色或者视差的对比度，w(r_j)为区域r_j的权值，即用r_j里的像素数w(r_j)来强调大区域的颜色对比度，D(r_i,r_j)的计算公式如公式(3)所示：

$D(r_i,r_j)=\underset{i=1}{\overset{n_1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n_2}{\mathrm{\&Sigma;}}}f\left(c_{1,i}\right)f\left(c_{2,j}\right)D(c_{1,i},c_{2,j})---\left(3\right),$

公式(3)中，f(c_k,i)为第i个颜色c_1,i在第k个区域r_k的所有n_k种颜色中出现的概率，k＝{1,2}，这里使用区域的概率密度函数中颜色出现的概率作为权值，以强调主要的颜色之间的区别，同时使用稀疏直方图以使得存储和计算过程更加高效；

公式(3)中，D(c_1,i,c_2,j)是第一个区域第i个灰度级和第二个区域第j个灰度级的欧氏距离。f(c_2，j)是第二个区域的第i个灰度级。

C.在公式(3)中引进空间权值，将空间信息加入进来，从而增加区域的空间影响；近邻的区域增大影响，较远的区域较小影响；最终区域r_i的显著性值定义如公式(4)所示：

$S\left(r_i\right)=\underset{r_i\&NotEqual;r_j}{\&Sigma;}\exp (-D_s(r_i,r_j/{\mathrm{\&sigma;}}_s^2\left)\right)w\left(r_j\right)D(r_i,r_j)---\left(4\right),$

公式(4)中，D_s(r_i,r_j)为区域r_i和r_j的空间距离，σ_s控制空间权值强度；σ_s越大，空间权值的影响越小，导致较远区域的对比度对当前区域显著性值做出较大贡献；

D.通过基于全局对比度的显著性区域检测算法，得到了该视频帧每个像素点的显著性值，从而为每个像素分配不同能量值，计算公式如公式(5)所示：

e₂(I(x,y))＝S(x,y) (5)；

S(x,y)为显著性值。

(4)、对视频帧进行背景建模处理，使用vibe算法进行背景建模，计算运动目标，得到该视频帧的运动信息，其步骤如下：

在vibe模型中，每一个背景点都有一个样本集，从而将新的像素点和样本集进行比较，判断它是否属于背景点；如果它属于背景点，则它的值接近于样本的采样值；记v(x)为x点处的像素值；M(x)＝{V₁,V₂,…V_N}为x处的背景样本集，样本集大小为N；S_R(v(x))是以x为中心，R为半径的区域，如果公式(6)的值大于一个给定的阈值#min，那么就认为x点属于背景点；公式具体表现形式如下所示：

#{S_R(v(x))∩{v₁,v₂,...,v_N}} (6)；

(5)、判断裁剪线是否为背景，根据判断，分别计算裁剪函数：

A.针对静态背景的视频，如果裁剪线为背景，则它的能量值包括边缘梯度信息和显著性信息；由于裁剪线不穿过该视频帧的运动目标，移除裁剪线对视频帧的影响较小，且不会造成视频的抖动，这样就有运行速度快，计算效率高的优势，否则进行B处理；

B.裁剪线经过运动区域，则需要计算连续视频帧的裁剪线在时空上的差异比较：

连续视频帧的内容十分接近，对视频帧进行裁剪时，如果裁剪线经过运动区域，视频中的内容会产生抖动现象；考虑上一帧的裁剪线放置到当前帧上，两者附近的差异程度，可获得当前帧移除裁剪线后与上一裁剪的视频帧在时空上的差异；N_x,y表示当前帧N的像素点(x,y)，P_x,y表示当前帧的上一视频帧的像素点，n为上一视频帧的裁剪线个数，k代表上一视频帧的某条裁剪线；i,j是水平线Y＝y与两条裁剪线的交点在垂直方向上的坐标位置，x为交点之间的像素的垂直坐标；假设i<x<j。视频帧的时空差异如公式(7)所示：

$e_3\left(I\right(x,y\left)\right)=\underset{k=1}{\overset{n}{\&Sigma;}}\left|\right|\underset{x=i+1}{\overset{j}{\&Sigma;}}{N}_{x,y}-\underset{x=i}{\overset{j-1}{\&Sigma;}}{P}_{x,y}\left|\right|---\left(7\right);$

(6)、采用动态规划算法，根据边缘检测、显著性区域检测以及背景建模，制定裁剪标准，在能量图中引入裁剪线差异比较，计算裁剪函数，

为了找到最优的裁剪线，采用动态规划算法，对每个可能裁剪的像素点(x，y)计算，并累计最小能量M，如公式(8)所示：

M(x,y)＝e(x,y)+min(M_l,M_u,M_r) (8),

其中：

$\begin{array}{c}{M}_l=M(x-1,y-1)\\ M_u=M(x-1,y)\\ M_r=M(x-1,y+1)\end{array}---\left(9\right),$

公式(8)、(9)中，e(x,y)为像素(x，y)的能量，M_l、M_u和M_r为动态规划中裁剪备选路径的累计能量；

裁剪函数计算过程如下步骤：

A.视频帧的物体特征包括梯度信息，显著性信息、运动信息和时空信息，它们共同组成了该像素的能量；e₁(I(x,y))表示梯度信息的能量，e₂(I(x,y))代表显著性信息，而通过判断像素(x，y)是否为背景，来估计运动信息，e₃(I(x,y))表示时空相关性的能量，则像素(x，y)的能量e(x,y)如公式(10)所示：

$e(x,y)=\left\{\begin{array}{cc}{e}_1\left(I\right(x,y))+e_2\left(I\right(x,y))& I(x,y)=0\\ e_1\left(I\right(x,y))+e_2\left(I\right(x,y))+e_3\left(I\right(x,y))& otherwise\end{array}\right.---\left(10\right),$

B.在视频帧中移除裁剪线时，在以该像素点(x，y)为中心的邻域，引入了新的像素点，对视频帧原有的边缘造成破坏，从而造成边缘畸变。计算引入边缘改变的能量代价如公式(11)所示：

$\begin{array}{c}{M}_l=M(x-1,y-1)+C_l(x,y)\\ M_u=M(x-1,y)+C_u(x,y)\\ M_r=M(x-1,y+1)+C_r(x,y)\end{array}---\left(11\right),$

公式(11)中，C_l、C_u和C_r分别表示裁剪线路径是从该像素的左上方、正上方和右上方开始的，移除原有的像素点，引入新像素点，从而带来边缘改变的代价函数如公式(12)所示：

$\begin{array}{c}{C}_l(x,y)=v_l-v_l^{new}\\ C_u(x,y)=v_u-v_u^{new}\\ C_r(x,y)=v_r-v_r^{new}\end{array},---\left(12\right),$

其中：

$v_l=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}|I(i,j)-\mathrm{\&mu;}(x,y){|}^2---\left(13\right),$

$\mathrm{\&mu;}(x,y)=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}I(i,j)---\left(14\right),$

$v_l^{new}=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}|I(i,j)+{\mathrm{\&Delta;I}}_a(x,y)-{\mathrm{\&mu;}}_a^{new}(x,y){|}^2---\left(15\right),$

${\mathrm{\&mu;}}_a^{new}(x,y)=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}\left(I\right(i,j)+{\mathrm{\&Delta;I}}_a(x,y\left)\right)---\left(16\right),$

其中，u(x,y)表示点(x，y)的视差值，B(x,y)为点(x，y)邻域，N表示取邻域平均值，N一般取值是9。C_u(x,y)和C_r(x,y)的计算方式同公式(13)-公式(16)，ΔI(x,y)的计算过程如公式(17)所示：

$\begin{array}{c}{\mathrm{\&Delta;I}}_l(x,y)=|I(x-1,y+k+1)-I(x-1,y-1)+|I(x,y+k+1)-I(x,y)|\\ {\mathrm{\&Delta;I}}_u(x,y)=|I(x-1,y+k+1)-I(x-1,y)+|I(x,y+k+1)-I(x,y)|\\ {\mathrm{\&Delta;I}}_r(x,y)=|I(x-1,y+k+1)-I(x-1,y+1)+|I(x,y+k+1)-I(x,y)|\end{array}---\left(17\right),$

公式(17)中，k表示邻域的半径，对于经过像素点(x，y)的垂直裁剪线路径按照上述裁剪函数不断更新，而水平裁剪线的定义同垂直裁剪线；

(7)、选择最小能量的裁剪线，通过回溯找到从像素点(x，y)到(x-1)的路径，最终将像素点进行移除，删除后如果视频帧满足指定尺寸，则对下一个视频帧进行如步骤(1)、(2)、(3)、(4)、(5)、(6)和(7)操作，否则返回到(2)，更新能量图；

在压缩视频帧时，可以从裁剪水平方向和垂直方向出发，因此对于裁剪顺序，定义一个最优化公式如公式(18)所示：

$\underset{s^x,s^y,\mathrm{\&alpha;}}{min}\underset{i=1}{\overset{k}{\&Sigma;}}E({\mathrm{\&alpha;}}_i{s}_i^x+(1-{\mathrm{\&alpha;}}_i\left)s_i^y\right)---\left(18\right),$

公式(18)中，k＝r+c，r＝(m-m′)，c＝(n-n′)，α_i是一个决定因子，决定移除水平还是垂直的像素点，α_i∈{0,1}，在裁剪过程中，根据能量函数E，同时有水平与垂直的线供选择，那么就可以根据计算垂直裁剪线和水平裁剪线的两条线的能量代价函数，从中选取比较小的进行移除，后面的操作依次进行。

Claims (1)

1.基于运动感知的静态背景视频压缩算法，其特征在于：包括以下步骤：

(1)、选取静态背景视频，输入视频帧，导入每一个视频帧对其进行线裁剪；

(2)、对视频帧进行边缘检测处理，得到该视频帧的梯度图，计算过程如下：

视频帧记为I，对I的水平方向和垂直方向分别求其偏导，两者线性累加后得到该视频帧的梯度图，它反映了视频帧的结构化信息，如公式(1)所示：

$e_1\left(I\left(x,y\right)\right)=\left|\frac{\&part;}{{\&part;}_x}I(x,y)\right|+\left|\frac{\&part;}{{\&part;}_y}I(x,y)\right|---\left(1\right);$

其中e₁(I(x,y))表示的是视频帧I(x,y)得到的梯度图，(x,y)为图I中的一点，x代表点的横坐标，y为点的纵坐标；

(3)、对视频帧的显著性区域进行检测，使用全局对比度的显著性检测方法，保留视频帧的显著性目标信息，处理过程如下：

A.使用直方图统计对视频帧的颜色信息进行量化，在全色彩空间中将每个颜色通道量化为12个不同的值，考虑到视频帧中的颜色只占据整个色彩空间很小一部分，将出现频率较小的颜色丢掉以减少色彩数目；选择高频出现的颜色，并确保这些颜色覆盖95％以上的像素；

B.使用基于图的图像分割方法将视频帧分割成若干区域，为每个区域建立颜色直方图，对每个区域r_i，通过测量它与视频帧其它区域的颜色对比度来计算它的显著性值，计算公式如公式(2)所示：

$S\left(r_i\right)=\underset{r_i\&NotEqual;r_j}{\&Sigma;}w\left(r_j\right)D\left(r_i,r_j\right)---\left(2\right),$

公式(2)中，S(r_i)是区域r_i的显著值，D(r_i,r_j)是图像区域r_i和区域r_j的颜色或者视差的对比度，w(r_j)为区域r_j的权值，即用r_j里的像素数w(r_j)来强调大区域的颜色对比度，D(r_i,r_j)的计算公式如公式(3)所示：

$D(r_i,r_j)=\underset{i=1}{\overset{n_1}{\&Sigma;}}\underset{j=1}{\overset{n_2}{\&Sigma;}}f\left(c_{1,i}\right)f\left(c_{2,j}\right)D\left(c_{1,i},c_{2,j}\right)---\left(3\right),$

公式(3)中，f(c_k,i)为第i个颜色c_1,i在第k个区域r_k的所有n_k种颜色中出现的概率，k＝{1,2}，这里使用区域的概率密度函数中颜色出现的概率作为权值，以强调主要的颜色之间的区别，同时使用稀疏直方图以使得存储和计算过程更加高效；D(c_1,i,c_2,j)是第一个区域第i个灰度级和第二个区域第j个灰度级的欧氏距离。f(c_2，j)是第二个区域的第i个灰度级；

C.在公式(3)中引进空间权值，将空间信息加入进来，从而增加区域的空间影响；近邻的区域增大影响，较远的区域较小影响；最终区域r_i的显著性值定义如公式(4)所示：

$S\left(r_i\right)=\underset{r_i\&NotEqual;r_j}{\&Sigma;}\exp \left(-D_s\left(r_i,r_j/{\mathrm{\&sigma;}}_s^2\right)\right)w\left(r_j\right)D\left(r_i,r_j\right)---\left(4\right),$

公式(4)中，D_s(r_i,r_j)为区域r_i和r_j的空间距离，σ_s控制空间权值强度；σ_s越大，空间权值的影响越小，导致较远区域的对比度对当前区域显著性值做出较大贡献；

D.通过基于全局对比度的显著性区域检测算法，得到了该视频帧每个像素点的显著性值，从而为每个像素分配不同能量值，计算公式如公式(5)所示：

e₂(I(x,y))＝S(x,y) (5)；

S(x,y)为显著性值；

(4)、对视频帧进行背景建模处理，使用vibe算法进行背景建模，计算运动目标，得到该视频帧的运动信息，其步骤如下：

在vibe模型中，每一个背景点都有一个样本集，从而将新的像素点和样本集进行比较，判断它是否属于背景点；如果它属于背景点，则它的值接近于样本的采样值；记v(x)为x点处的像素值；M(x)＝{V₁,V₂,…V_N}为x处的背景样本集，样本集大小为N；S_R(v(x))为以x为中心，R为半径的区域，如果公式(6)的值大于一个给定的阈值#min，那么就认为x点属于背景点；公式具体表现形式如下所示：

#{S_R(v(x))∩{v₁,v₂,...,v_N}} (6)；

(5)、判断裁剪线是否为背景，根据判断，分别计算裁剪函数：

A.针对静态背景的视频，如果裁剪线为背景，则它的能量值包括边缘梯度信息和显著性信息；由于裁剪线不穿过该视频帧的运动目标，移除裁剪线对视频帧的影响较小，且不会造成视频的抖动，这样就有运行速度快，计算效率高的优势，否则进行B处理；

B.裁剪线经过运动区域，则需要计算连续视频帧的裁剪线在时空上的差异比较：

连续视频帧的内容十分接近，对视频帧进行裁剪时，如果裁剪线经过运动区域，视频中的内容会产生抖动现象；考虑上一帧的裁剪线放置到当前帧上，两者附近的差异程度，可获得当前帧移除裁剪线后与上一裁剪的视频帧在时空上的差异；N_x,y表示当前帧N的像素点(x,y)，P_x,y表示当前帧的上一视频帧的像素点，n为上一视频帧的裁剪线个数，k代表上一视频帧的某条裁剪线；i,j是水平线Y＝y与两条裁剪线的交点在垂直方向上的坐标位置，x为交点之间的像素的垂直坐标；假设i<x<j。视频帧的时空差异如公式(7)所示：

$e_3\left(I\right(x,y))=\underset{k=1}{\overset{n}{\&Sigma;}}||\underset{x=i+1}{\overset{j}{\&Sigma;}}{N}_{x,y}-\underset{x=i}{\overset{j-1}{\&Sigma;}}{P}_{x,y}||---\left(7\right);$

(6)、采用动态规划算法，根据边缘检测、显著性区域检测以及背景建模，制定裁剪标准，在能量图中引入裁剪线差异比较，计算裁剪函数，

为了找到最优的裁剪线，采用动态规划算法，对每个可能裁剪的像素点(x，y)计算，并累计最小能量M，如公式(8)所示：

M(x,y)＝e(x,y)+min(M_l,M_u,M_r) (8),

其中：

$\begin{array}{c}{M}_l=M(x-1,y-1)\\ M_u=M(x-1,y)\\ M_r=M(x-1,y+1)\end{array}---\left(9\right),$

公式(8)、(9)中，e(x,y)为像素(x，y)的能量，M_l、M_u和M_r为动态规划中裁剪备选路径的累计能量；

裁剪函数计算过程如下步骤：

A.视频帧的物体特征包括梯度信息，显著性信息、运动信息和时空信息，它们共同组成了该像素的能量；e₁(I(x,y))表示梯度信息的能量，e₂(I(x,y))代表显著性信息，而通过判断像素(x，y)是否为背景，来估计运动信息，e₃(I(x,y))表示时空相关性的能量，则像素(x，y)的能量e(x,y)如公式(10)所示：

$e(x,y)=\left\{\begin{array}{cc}{e}_1\left(I\right(x,y))+e_2\left(I\right(x,y))& I\left(x,y\right)=0\\ e_1\left(I\right(x,y))+e_2\left(I\right(x,y))+e_3\left(I\right(x,y))& otherwise\end{array}\right.---\left(10\right),$

B.在视频帧中移除裁剪线时，在以该像素点(x，y)为中心的邻域，引入了新的像素点，对视频帧原有的边缘造成破坏，从而造成边缘畸变。计算引入边缘改变的能量代价如公式(11)所示：

$\begin{array}{c}{M}_l=M(x-1,y-1)+C_l(x,y)\\ M_u=M(x-1,y)+C_u(x,y)\\ M_r=M(x-1,y+1)+C_r(x,y)\end{array}---\left(11\right),$

公式(11)中，C_l、C_u和C_r分别表示裁剪线路径是从该像素的左上方、正上方和右上方开始的，移除原有的像素点，引入新像素点，从而带来边缘改变的代价函数如公式(12)所示：

$\begin{array}{c}{C}_l\left(x,y\right)=v_l-v_l^{new},\\ C_u\left(x,y\right)=v_u-v_u^{new},\\ C_r\left(x,y\right)=v_r-v_r^{new}\end{array}---\left(12\right),$

其中：

$v_l=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}|I(i,j)-\mathrm{\&mu;}(x,y){|}^2---\left(13\right),$

$\mathrm{\&mu;}(x,y)=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}I(i,j)---\left(14\right),$

$v_l^{new}=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}|I(i,j)+{\mathrm{\&Delta;I}}_a(x,y)-{\mathrm{\&mu;}}_a^{new}(x,y){|}^2---\left(15\right),$

${\mathrm{\&mu;}}_a^{new}(x,y)=\frac{1}{N}{\mathrm{\&Sigma;}}_{(i,j)\&Element;B(x,y)}\left(I\right(i,j)+{\mathrm{\&Delta;I}}_a(x,y\left)\right)---\left(16\right),$

其中，u(x,y)表示点(x，y)的视差值，B(x,y)为点(x，y)邻域，N表示取邻域平均值，N一般取值是9；C_u(x,y)和C_r(x,y)的计算方式同公式(13)-公式(16)，ΔI(x,y)的计算过程如公式(17)所示：

$\begin{array}{c}{\mathrm{\&Delta;I}}_l\left(x,y\right)=|I\left(x-1,y+k+1\right)-I\left(x-1,y-1\right)|+|I\left(x,y+k+1\right)-I\left(x,y\right)|\\ {\mathrm{\&Delta;I}}_u\left(x,y\right)=|I\left(x-1,y+k+1\right)-I\left(x-1,y\right)|+|I\left(x,y+k+1\right)-I\left(x,y\right)|\\ {\mathrm{\&Delta;I}}_r\left(x,y\right)=|I\left(x-1,y+k+1\right)-I\left(x-1,y+1\right)|+|I\left(x,y+k+1\right)-I\left(x,y\right)|\end{array}---\left(17\right),$

公式(17)中，k表示邻域的半径，对于经过像素点(x，y)的垂直裁剪线路径按照上述裁剪函数不断更新，而水平裁剪线的定义同垂直裁剪线；

(7)、选择最小能量的裁剪线，通过回溯找到从像素点(x，y)到(x-1)的路径，最终将像素点进行移除，删除后如果视频帧满足指定尺寸，则对下一个视频帧进行如步骤(1)、(2)、(3)、(4)、(5)、(6)和(7)操作，否则返回到(2)，更新能量图；

在压缩视频帧时，可以从裁剪水平方向和垂直方向出发，因此对于裁剪顺序，定义一个最优化公式如公式(18)所示：

$\underset{s^x,s^y,\mathrm{\&alpha;}}{min}\underset{i=1}{\overset{k}{\&Sigma;}}E({\mathrm{\&alpha;}}_i{s}_i^x+(1-{\mathrm{\&alpha;}}_i\left)s_i^y\right)---\left(18\right),$

公式(18)中，k＝r+c，r＝(m-m′)，c＝(n-n′)，α_i是一个决定因子，决定移除水平还是垂直的像素点，α_i∈{0,1}，在裁剪过程中，根据能量函数E，同时有水平与垂直的线供选择，那么就可以根据计算垂直裁剪线和水平裁剪线的两条线的能量代价函数，从中选取比较小的进行移除，后面的操作依次进行。