CN109819256B - 基于特征感知的视频压缩感知方法 - Google Patents

Abstract

本发明公开了一种基于特征感知的视频压缩感知方法，主要解决现有技术重构视频时空相关性弱及视觉效果差的问题。其实现方案是：制备训练数据集及测试数据集；设计时空视频压缩感知网络的结构；设计精细感知损失的计算方法；根据设计的网络结构及精细感知损失编写网络结构文件、网路训练文件及模型测试文件；利用网络训练文件及训练数据集对网络进行训练，获得训练好的网络模型；利用模型测试文件及测试数据集对测试视频处理，获得相应的重构视频。本发明设计的利用精细感知损失训练的时空视频压缩感知网络能够增强重构视频的时空相关性，提升了重构质量，且能产生视觉效果更好的重构视频，可用于实现视觉效果更好的视频压缩感知重构。

Description

基于特征感知的视频压缩感知方法

技术领域

本发明属于视频处理技术领域，主要涉及一种视频压缩感知方法，可用于实现视觉效果更好的视频压缩感知重构。

背景技术

视频压缩感知是一种能对场景视频在采样的同时进行压缩的技术，从而能很大程度上减少数据的存储空间及传输带宽。根据不同的观测方式，已有的视频压缩感知方法可分为空间视频压缩感知和时间视频压缩感知。空间视频压缩感知的观测过程通过空间复用相机实现，对输入视频单独进行观测及重构。而时间视频压缩感知方法利用时间复用相机对场景进行观测，对输入视频的多个连续帧同时观测及重构。

近年来，已经有许多视频压缩感知方法被提出。其中，传统的视频压缩感知方法基于迭代优化，因此具有较高的计算复杂度，重构过程的实时性差且重构质量较低。而基于深度神经网络的视频压缩感知方法由于利用了深度神经网络的线下训练，线上测试的优势，不仅降低重构的时间复杂度，还提升了重构质量。

在已有的基于深度神经网络的视频压缩感知方法中，有的采用全连接网络实现了时间压缩感知重构，因参数量过大导致时间复杂度较高；有的采用卷积神经网络进行空间压缩感知重构，对初恢复的视频进行运动估计以增强视频帧间关系。然而，这些方法只在空间或时间单个维度上对场景视频进行压缩，忽略了场景的时空相关性。这使得从观测中重构出的视频时空相关性不足，从而降低了视频重构的效果。除此之外，他们通常使用像素级的损失函数，如均方误差，对网络进行训练，使得重构结果过于平滑，缺乏必要的高频信息，造成视觉效果较差。

为了避免像素级损失函数对重构结果的影响，感知损失已经被广泛应用到除视频压缩感知任务之外的其他重构任务中。感知损失基于原信号和重构信号间的从分类网络提取的特征图间的距离，更符合人眼的视觉习惯，但是由于缺少了像素级的约束，容易使重构结果失真，与原始视频具有较大偏差。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于特征感知的视频压缩感知方法，以增强重构结果的时空相关性，并提升重构结果的视觉效果。

为实现上述目的，本发明的技术方案如下：

1)制备数据集：

1a)下载彩色视频，并将下载的视频依次转为彩色的视频帧，再按空间位置裁剪为240×240的小块，将每一个空间位置的小块保存为图片，存入到不同的子文件夹，按照视频帧的时间顺序依次命名，用所有子文件夹组成训练数据集；

1b)随机选取任意视频保存在另一个文件夹中，构成测试数据集；

2)设计时空视频压缩感知网络的结构：

2a)设置由一个观测卷积层组成的观测部分，其卷积核的大小为3×3，卷积步长为3×3，卷积核的数目为m＝9，卷积不补零；

2b)设置由一个反卷积层、“时空块”和一个重构卷积层组成的重构部分：

该反卷积层的卷积核的大小为3×3，卷积步长为3×3，卷积核的数目为m，卷积不补零；

该“时空块”由四个利用PReLU进行激活的卷积层串连而成，在第一个和第四个卷积层的输出端添加跳跃连接，这四个卷积层的卷积核大小分别为1×1、3×3、1×1及3×3，卷积步长均为1×1，卷积核的数目为64，卷积均补零；

该重构卷积层使用Tanh进行激活，卷积核尺寸为1×1，卷积步长为1×1，卷积核的数目为C×N，C是视频帧的通道数，N＝16是输入视频块的总帧数，卷积不补零；

3)设计精细感知损失：

3a)确定特征级的细节损失和内容损失：

3a1)利用双线性插值法，缩小原始视频块和重构视频块的空间尺寸至224×224，将视频块中的每一帧分别输入到VGG-19网络；

3a2)从VGG-19网络的relu1_2层提取出原始视频块与重构视频块位置对应帧的特征图，计算该特征图间的均方误差，并将该均方误差作为细节损失；

3a3)从VGG-19网络的relu4_2层提取出原始视频块与重构视频块位置对应帧的特征图，计算该特征图间的均方误差，并将该均方误差作为内容损失；

3b)计算原始视频块与重构视频块间的均方误差，将该均方误差作为像素级损失，并将细节损失、内容损失和像素级损失的权重分别设置为4×10^-6、4×10^-8和1，进行加权求和获得精细误差损失；

4)根据2)设计的网络结构及3)设计的精细感知损失，建立网络项目文件夹，该文件夹包括网络结构、超参数设置、网络训练和模型测试文件；

5)在网络项目文件夹中找到网络训练文件，并用该训练文件对网络进行训练，得到训练好的网络模型；

6)从1b)建立的测试数据集中取出待测试视频，在4)建立的网络项目文件夹中找到模型测试文件，并将测试视频输入到模型测试文件中，获得重构结果。

本发明与现有技术相比具有以下优点：

1.能够保留场景视频的时空相关性，从而获得更好的重构结果。

由于场景视频不仅具有空间相关性，也具有时间相关性，而已有方法只在时间维或空间维上对场景视频进行压缩采样，忽略了场景视频的时空相关性，导致重构视频质量较差，本发明弥补了已有方法的不足，设计了时空视频压缩感知网络，该网络的观测部分对时间维和空间维同时进行压缩采样，保留了场景视频的时空相关性，重构部分利用反卷积层和“时空块”增强重构视频的时空相关性，从而获得更好的重构结果。

2.能够获得视觉效果更好的重构结果：

已有的一些基于神经网络的压缩感知方法均使用像素级损失辅助网络训练，使得重构结果过于平滑，视觉效果不佳，而特征级的感知损失由于缺少了像素级的约束，容易使重构结果失真，与原始视频具有较大偏差，本发明将特征级损失和像素级损失结合起来，设计出精细化感知损失，利用其辅助网络训练，能够有效地引导网络恢复场景的低维和高维信息，获得视觉效果更好的重构视频。

附图说明

图1为本发明的实现总流程图；

图2为本发明中时空视频压缩感知网络的结构图；

图3为本发明中计算精细感知损失的子流程图；

图4为本发明与其他方法对测试视频进行处理获得的重构视频帧的对比图。

具体实施方式

下面结合附图对本实施例和效果做进一步的详细描述。

参考图1，对实施的实现步骤如下：

步骤1，制备数据集。

1a)在计算机上安装Python，并在Python下安装第三方库cv2；

1b)下载Myanmar数据集，该数据集包含59个不同场景下的彩色视频，分辨率为4K，随机选取其中54个视频，利用视频转帧函数cv2.VideoCapture()将其转为彩色的视频帧，再按空间位置裁剪为240×240的小块，将每一个空间位置的小块保存为图片，存入到不同的子文件夹，按照视频帧的时间顺序依次命名，如1.jpg、2.jpg......，所有子文件夹构成训练数据集；

1c)将随机下载的视频“basketball”和Myanmar数据集中剩余的5个视频作为测试视频，保存到另一个文件夹中，构成测试数据集。

步骤2，设计时空视频压缩感知网络的结构。

如图2所示，本步骤设计的时空视频压缩感知网络包括观测部分和重构部分，其中：

观测部分，由一个观测卷积层组成的，其卷积核的大小为3×3，卷积步长为3×3，卷积核的数目为m＝9，卷积不补零；

重构部分，由一个反卷积层、“时空块”和一个重构卷积层组成，该反卷积层的卷积核的大小为3×3，卷积步长为3×3，卷积核的数目为m，卷积不补零；该“时空块”由四个利用PReLU进行激活的卷积层串连而成，在第一个和第四个卷积层的输出端添加跳跃连接，这四个卷积层的卷积核大小分别为1×1、3×3、1×1及3×3，卷积步长均为1×1，卷积核的数目为64，卷积均补零；该重构卷积层使用Tanh进行激活，卷积核尺寸为1×1，卷积步长为1×1，卷积核的数目为C×N，C是视频帧的通道数，N＝16是输入视频块的总帧数，卷积不补零。

步骤3，根据输入视频体和重构视频体，计算其精细感知损失。

参照图3，本步骤的具体实现如下：

3a)确定特征级的的细节损失和内容损失：

3a1)利用双线性插值法，缩小原始视频块和重构视频块的空间尺寸至224×224，将视频块中的每一帧分别输入到VGG-19网络，该VGG-19网络的结构如表一所示：

表一VGG-19网络结构

由表一可知，该网络包括19个主干块，其中前由16个主干块的每块均包含一个卷积层和一个relu层，这16个relu层的命名依次为relu1_1、relu1_2、relu2_1、relu2_2、relu3_1、relu3_2、relu3_3、relu3_4、relu4_1、relu4_2、relu4_3、relu4_4、relu5_1、relu5_2、relu5_3和relu5_4，第17-18个主干块的每块均包含一个全连接层和一个relu层，最后一个主干块包含一个全连接层和一个softmax层；

3a2)从VGG-19网络的relu1_2层提取出原始视频块与重构视频块位置对应帧的特征图，计算该特征图间的均方误差：

L_f为特征图间的均方误差，X为原始视频帧，X'为重构视频帧，φ_i,j(·)表示从VGG-19网络relui_j层提取特征图，

为矩阵F-范数的平方，用来计算矩阵元素的平方和，c、w和h分别为特征图的通道数、宽度及长度，并将该均方误差作为细节损失；

3a3)从VGG-19网络的relu4_2层提取出原始视频块与重构视频块位置对应帧的特征图，计算该特征图间的均方误差，并将该均方误差作为内容损失；

3b)计算原始视频块与重构视频块间的均方误差，将该均方误差作为像素级损失，并将细节损失、内容损失和像素级损失的权重分别设置为4×10^-6、4×10^-8和1，进行加权求和获得精细误差损失，计算公式如下：

L＝L_pixel+4×10^-6L_texture+4×10^-8L_context

L为精细误差损失，L_pixel为像素级损失，L_texture为细节损失，L_context为内容损失。

步骤4，编写网络项目文件夹。

网络项目文件夹包括：网络结构、超参数设置、网络训练和模型测试文件，其编写过程根据步骤2设计的网络结构及步骤3计算的精细感知损失进行，步骤如下：

4a)建立网络项目文件夹；

4b)按照步骤2设计的时空压缩感知网络结构，在网络项目文件夹中建立网络结构文件network.py，在该文件中编写网络结构；

4c)在网络项目文件夹中建立超参数设置文件config.py，在该文件中给出超参数的值，训练迭代次数n＝10⁵及批量数据大小batchsize＝2，学习率η与当前迭代次数有关，前5×10⁴次迭代的学习率为10^-3，第5×10⁴至8×10⁴次迭代的学习率为10^-4，第8×10⁴至10⁵次迭代的学习率为10^-5；

4d)在网络项目文件夹中建立网络训练文件train.py，在该文件中编写网络的训练过程：

4d1)从网络结构文件中读取网络结构，对所有网络参数进行初始化，并从超参数设置文件中读取超参数信息；

4d2)从训练数据集中的第一个子文件夹起，取N个连续视频帧构成一个视频块，取块间隔为11帧，如1.jpg-16.jpg为第一个视频块，12.jpg-27.jpg为第二个视频块，依此类推，将batchsize个视频块输入到所读取的网络中，获得相应的重构视频块；

4d3)利用batchsize个“重构-输入视频块对”，按照步骤3计算精细感知损失的方法，得到batchsize个精细感知损失，并利用精细感知损失的均值更新网络参数；

4d4)将4d2)和4d3)中的操作重复n次，获得训练好的网络模型并保存；

4e)在网络项目文件夹中建立模型测试文件test.py，在该文件中编写模型的测试过程：

4e1)从网络结构文件中读取网络结构，并利用4d4)保存的网络模型对网络参数赋值；

4e2)将测试视频转为视频帧，取N个连续视频帧构成一个视频块，将batchsize个视频块输入网络，获得相应的重构视频块；

4e3)重复4e2)，直到测试视频中的所有视频帧均被重构；

4e4)将重构视频帧按照时间顺序转为重构视频。

步骤5，训练网络获得网络模型。

在网络项目文件夹中找到网络训练文件train.py，运行该文件，使其先从网络结构文件network.py中读取网络结构，并初始化网络参数；再从训练数据集中取出视频块输入到该网络中，计算出输入视频块和重构视频块间的精细感知损失，将该损失进行反向传播获得网络权值梯度，并采用梯度下降算法对权值参数进行更新，计算公式为：

其中W^l为第l次迭代后的权值参数，

为精细误差损失反向传播后获得的权值梯度值，W^l+1为W^l更新后的值，参数更新n次后得到训练好的网络模型。

步骤6，利用模型测试文件及网络模型获得测试视频的重构结果。

6a)从步骤1建立的测试数据集中取出待测试视频；

6b)在网络项目文件夹中找到模型测试文件test.py，运行该文件，使其先从网络结构文件network.py中读取网络结构，并利用步骤5训练好的网络模型给网络参数赋值；再将测试视频转为视频帧，从视频帧中取出视频块依次输入到读取网络中获得重构视频块；

6c)将重构视频块中的视频帧利用cv2.VideoWriter()按照时间顺序转为重构视频。

本发明的效果可通过以下仿真进一步说明。

仿真一利用本发明方法及已有方法GMM和DFC，分别对测试数据集中的“fjords”、“basketball”和“buddha”进行测试，得到重构视频，从中任意选取一帧进行局部放大，结果如图4所示，图4中第一列为完整原始视频帧，第二列为局部放大原始视频帧，第三列为GMM方法的局部放大重构视频帧，第四列为DFC方法的局部放大重构视频帧，第五列为本发明的局部放大重构视频帧。

由图4可知，GMM及DFC的重构结果的边缘模糊，结构也不清晰，而本发明的重构结果具有更清晰的结构和更丰富的细节信息，这说明本发明能够获得更好的重构效果。

仿真二使用本发明方法及已有方法GMM和DFC，分别对测试数据集中的“fjords”、“bee”、“buddha”、“temple”及“snow”进行测试，得到重构视频，为了对重构效果进行更公正的评价，特邀请40个观察者对重构结果的视觉效果进行打分，分数为从1到5的整数，分数越高，表示视觉效果越好，打分结束后，计算观察者所给分数的均值，结果如表二所示：

表二不同方法获得的重构结果的视觉效果分数

视频名	GMM	DFC	L训练的网络
				fjords	1.68	3.03	4.00
bee	1.74	3.65	3.74
				buddha	2.00	2.87	3.39
temple	2.13	3.23	4.03
				snow	1.97	3.16	4.06

由表二可知，对于每一个测试视频，本发明方法获得的分数都高于已有方法，这说明本发明的重构结果具有更好的视觉效果。

Claims (3)

1.一种基于特征感知的视频压缩感知方法，其特征在于，包括有如下：

1)制备数据集：

1a)下载彩色视频，并将下载的视频依次转为彩色的视频帧，再按空间位置裁剪为240×240的小块，将每一个空间位置的小块保存为图片，存入到不同的子文件夹，按照视频帧的时间顺序依次命名，用所有子文件夹组成训练数据集；

1b)随机选取任意视频保存在另一个文件夹中，构成测试数据集；

2)设计时空视频压缩感知网络的结构：

2a)设置由一个观测卷积层组成的观测部分，其卷积核的大小为3×3，卷积步长为3×3，卷积核的数目为m＝9，卷积不补零；

2b)设置由一个反卷积层、“时空块”和一个重构卷积层组成的重构部分：

该反卷积层的卷积核的大小为3×3，卷积步长为3×3，卷积核的数目为m，卷积不补零；

该“时空块”由四个利用PReLU进行激活的卷积层串连而成，在第一个和第四个卷积层的输出端添加跳跃连接，这四个卷积层的卷积核大小分别为1×1、3×3、1×1及3×3，卷积步长均为1×1，卷积核的数目为64，卷积均补零；

该重构卷积层使用Tanh进行激活，卷积核尺寸为1×1，卷积步长为1×1，卷积核的数目为C×N，C是视频帧的通道数，N＝16是输入视频块的总帧数，卷积不补零；

3)设计精细感知损失：

3a)确定特征级的细节损失和内容损失：

3a1)利用双线性插值法，缩小原始视频块和重构视频块的空间尺寸至224×224，将视频块中的每一帧分别输入到VGG-19网络；

3a2)从VGG-19网络的relu1_2层提取出原始视频块与重构视频块位置对应帧的特征图，计算该特征图间的均方误差，并将该均方误差作为细节损失；

3a3)从VGG-19网络的relu4_2层提取出原始视频块与重构视频块位置对应帧的特征图，计算该特征图间的均方误差，并将该均方误差作为内容损失；

3b)计算原始视频块与重构视频块间的均方误差，将该均方误差作为像素级损失，并将细节损失、内容损失和像素级损失的权重分别设置为4×10^-6、4×10^-8和1，进行加权求和获得精细误差损失；

4)根据2)设计的网络结构及3)设计的精细感知损失，建立网络项目文件夹，该文件夹包括网络结构、超参数设置、网络训练和模型测试文件；实现如下：

4a)建立网络项目文件夹；

4b)按照2)设计的时空压缩感知网络结构，在网络项目文件夹中建立网络结构文件，在该文件中编写网络结构；

4c)在网络项目文件夹中建立超参数设置文件，在该文件中给出超参数的值，包括训练迭代次数n、学习率η及批量数据大小batchsize；

4d)在网络项目文件夹中建立网络训练文件，在该文件中编写网络的训练过程：

4d1)从网络结构文件中读取网络结构，对所有网络参数进行初始化，并从超参数设置文件中读取超参数信息；

4d2)取训练数据集中N个连续视频帧构成一个视频块，将batchsize个视频块输入到所读取的网络中，获得相应的重构视频块；

4d3)利用batchsize个“重构-输入视频块对”，按照3)计算精细感知损失，得到batchsize个精细感知损失，并利用精细感知损失的均值更新网络参数；

4d4)将4d2)和4d3)中的操作重复n次，并保存训练好的网络模型；

4e)在网络项目文件夹中建立模型测试文件，在该文件中编写模型的测试过程：

4e1)从网络结构文件中读取网络结构，并利用4d4)保存的网络模型对网络参数赋值；

4e2)将测试视频转为视频帧，取N个连续视频帧构成一个视频块，将batchsize个视频块输入网络，获得相应的重构视频块；

4e3)重复4e2)，直到测试视频中的所有视频帧均被重构；

4e4)将重构视频帧按照时间顺序转为重构视频；

5)在网络项目文件夹中找到网络训练文件，并用该训练文件对网络进行训练，得到训练好的网络模型；

6)从1b)建立的测试数据集中取出待测试视频，在4)建立的网络项目文件夹中找到模型测试文件，并将测试视频输入到模型测试文件中，获得重构结果。

2.根据权利要求1所述的方法，其特征在于，步骤3a)中所述的VGG-19网络，包括19个主干块，其中前16个主干块的每块均包含一个卷积层和一个relu层，这16个relu层的命名依次为relu1_1、relu1_2、relu2_1、relu2_2、relu3_1、relu3_2、relu3_3、relu3_4、relu4_1、relu4_2、relu4_3、relu4_4、relu5_1、relu5_2、relu5_3和relu5_4，第17-18个主干块的每块均包含一个全连接层和一个relu层，最后一个主干块包含一个全连接层和一个softmax层。

3.根据权利要求1所述的方法，其特征在，步骤3a2)和3a3)中计算原始视频块与重构视频块位置对应帧的特征图间的均方误差，通过如下公式计算：

L_f为特征图间的均方误差，X为原始视频帧，X'为重构视频帧，φ_i,j(·)表示从VGG-19网络relui_j层提取特征图，

为矩阵F-范数的平方，用来计算矩阵元素的平方和，c、w和h分别为特征图的通道数、宽度及长度。

Images