CN109672885B - 一种用于矿井智能监控的视频图像编解码方法 - Google Patents

Abstract

本发明公开了一种用于矿井智能监控的视频图像编解码方法，该方法采用基于机器视觉的卷积神经网络算法，实现对矿井视频图像的编码和解码功能，包含以下步骤：(1)利用矿井视频图像采集设备采集图像，据此制作训练集和测试集；(2)构建矿井视频图像的编码器网络和解码器网络：编码器网络包括降采样层，解码器网络包括升采样层、二分支卷积层、标准化层、非线性激活层和深度变换层；(3)训练网络；(4)用训练好的网络完成矿井视频图像的编码和解码。该方法解决了矿井视频监控系统的编解码和信号重建时间过长的问题，提高了矿井智能视频监控系统的性能。

Description

一种用于矿井智能监控的视频图像编解码方法

技术领域

本发明属于智能监控与图像处理领域的信号编码、解码技术，具体涉及一种用于矿井智能监控的视频图像编解码方法。

背景技术

实现井下工作面的少人乃至无人作业是安全开采和智慧矿山建设最重要的目标之一，研究矿井智能视频监视系统优化方法及其关键技术，对促进矿井智能安全开采技术发展及智慧矿山建设具有十分重要的意义。传统的视频监视系统中图像压缩方法采用经典的奈奎斯特采样定理来解决视频图像的信号采集、编码和解码问题。然而，矿井视频图像信号的数据量大，采用传统的压缩方法不仅浪费了大量的采样资源，而且给图像的压缩、存储和传输带来了巨大的困难。在井下通信环境带宽资源有限条件下，使用以奈奎斯特定理为基础的图像处理与压缩方法使得系统开销较大，采用常规的图像编解码方法难以解决视频图像压缩处理时出现的图像模糊、视频传输延迟等问题，直接影响矿井视频图像信号的实时传输和智能监控性能。

近年来提出的压缩感知理论认为，对稀疏信号或者在某个字典基中有稀疏表达的信号而言，采样个数完全可以取少于奈奎斯特采样定理要求的数量，而重构信号仍能保持无失真或仅有较少失真，该理论突破了传统奈奎斯特采样定理的瓶颈，为采集高分辨率信号提供了理论基础。另一方面，多数图像信号完全可以在傅里叶变换基下得到其稀疏表达，这为矿井视频图像信号的编解码提供了新的手段。

在压缩感知的框架下，已知信号的测量值y＝Φx，压缩感知的核心问题是基于观测值y如何重构出原始的信号x。既有的解决方法或把稀疏信号的重构看成是凸优化问题，或是通过稀疏逼近间接解决稀疏信号的重构问题。虽然这些方法对视频图像具有较好的重构效果，但凸优化问题本身耗时巨大，稀疏逼近则要求在重构时进行多次迭代计算，重构的时间长，若是应用在矿井监控系统中必然带来实时性的损失。

近年流行的数据驱动的深度学习方法，为解决压缩感知中的稀疏信号恢复问题提供了新的技术思路。在深度学习的框架中，编码器、解码器的参数均通过大量数据学习得出。其优势在于一旦模型训练完成，其重构用时短，且能得到不输于压缩感知传统重构方法能得到的图像复原质量。

发明内容

本发明主要解决传统压缩感知方法重构时实时性差的问题，提出一种用于矿井智能监控的视频图像编解码方法。该方法采用基于机器视觉的卷积神经网络算法，实现对矿井视频图像的编码和解码功能，其实现步骤包括：

步骤1，制作训练集和测试集：利用矿井视频图像采集设备采集图像，据此制作训练集和测试集；

步骤2，构建矿井视频图像的编码器网络和解码器网络：编码器网络包括拉伸层、降采样层，解码器网络包括升采样层、反拉伸层、3×3卷积层、二分支卷积层、标准化层、非线性激活层和深度变换层；

步骤3，网络训练：将训练集输入所述编码器网络，将所述编码器网络的输出作为所述解码器网络的输入，完成网络参数的训练；

步骤4，矿井视频图像的编码和解码：利用步骤3中训练好的网络，将步骤1中所述测试集中矿井视频图像输入步骤3中所述编码器网络，矿井视频图像经编码后传输至步骤3中所述解码器网络进行解码，输出矿井视频图像的重构结果；

步骤2中所述的编码器网络首先在拉伸层将图像矩阵拉伸成待编码的图像，然后通过以下公式对信号进行降采样：

y＝Φx

其中，

为待编码的图像，

为测量矩阵，是所述编码器网络的待学习参数，M＜N，

为编码结果；

进一步地，步骤2中所述的解码器网络由升采样层、反拉伸层、3×3卷积层、标准化层、非线性激活层、两个“升采样层-二分支卷积层”、深度变换层顺次连接而成，其中，所述二分支卷积层由两个分支分别连接到加法器，所述两个分支的第一分支由两个或两个以上的分支单元级联后连接至所述加法器，所述两个分支的第二分支直接连接至所述加法器，或通过单个分支单元后连接至所述加法器，所述分支单元由3×3卷积层、标准化层和非线性激活层顺次连接构成。这里3×3卷积层指的是：卷积核大小为3×3，深度为64，卷积时采用的步长为1，边缘补零为1的卷积层；

步骤2中所述的升采样层采用双线性插值法对图像进行升采样，得到第k个升采样层输出的图像的像素个数为P_k：

其中，n表示整个解码器网络中升采样层的数量，k＝1,2,…,n，M表示解码器网络输入图像的像素个数，N表示来自数据集的原始输入图像的像素个数，符号

表示向上取整。如果遇到升采样输出尺寸与原图尺寸不能匹配的情况，则在上式计算结果的基础上就近取能匹配原图尺寸的值进行修正；

步骤2中所述的标准化层采用批标准化对输入的图像进行标准化；

步骤2中所述的非线性激活层采用LeakyReLU函数对输入的信号进行激活，得到：

其中，x表示图像批标准化后的特征图，a为满足0＜a＜1的常数，本发明取a＝0.01；

步骤2中所述的深度变换层是一种卷积层，该卷积层的卷积核大小为1×1，卷积时采用的步长为1，边缘不补零，其深度与原始图像的深度一致；以及，

步骤3中所述的训练过程包含以下子步骤：

步骤3-1，设定训练的最大迭代次数和训练停止所需的损失阈值，设定输入所述编码器网络和解码器网络的每批次样本的数量；

步骤3-2，采用Adam方法作为梯度下降方法，反向传播对网络参数进行训练；

步骤3-3，重复执行步骤3-2，直到达到步骤3-1所设定的最大迭代次数或达到步骤3-1所设定的损失阈值为止。

本发明采用以下公式计算解码后的重构图像与原始图像的误差损失：

其中，MSE表示均方误差，m、n分别表示图像矩阵的行数和列数，I(i,j)表示原始图像中第i行第j列的像素值，K(i,j)表示重构图像中第i行第j列的像素值。

步骤2所述的标准化层采用的批标准化过程包括：

1)训练时，对当前输入训练数据标准化：

其中，x_i表示当前批次的样本中的第i个样本，

表示对当前输入训练数据的标准化，μ_B表示当前批次的样本均值，

表示当前批次的样本方差，ε为防止除以零的正常数，本发明取为ε＝1×10^-5，μ_B和

通过以下公式获得：

其中，m表示当前批次的样本数量；

2)输出标准化层的训练结果：

其中，γ和β为网络训练的更新权值；

3)测试时，对当前输入测试数据标准化：

其中，

表示对当前输入测试数据的标准化，

和

分别表示滑动均值和滑动方差，通过以下公式迭代计算得到：

式中，v是满足0＜v＜1的常数，本发明取v＝0.1，

和

在训练时均初始化为0；

4)输出标准化层的测试结果：

本发明所述矿井视频图像采集设备包括矿用本安型视觉传感器、矿用本安型相机和矿用本安型摄像机。

本发明的有益效果在于：

编码图像的重构用时较传统压缩感知方法明显缩短，有助于改善矿井智能视频监控系统实时性能，使用数据驱动的深度学习方法训练编码器网络和解码器网络的参数，提高了矿井智能监控系统的性能。

附图说明

图1为一种用于矿井智能监控的视频图像编解码方法实施流程图

图2为编码器网络编码过程示意图

图3为解码器网络的一种具体实施的结构示意图

图4为分支单元的结构示意图

具体实施方式

下面结合附图及具体实施例对本发明进行详细描述。

参照图1，为用于矿井智能监控的视频图像编解码方法实施流程图。首先利用既有的矿井图像监控系统采集35000张1000像素×1000像素的井下场景图像。随机选取30000张图像生成训练集，剩余5000张图像生成测试集。

设置训练的批次大小为64张图像/批次，并设置最大迭代次数为20000次。将训练集输入编码器网络和解码器网络进行训练，当在训练集上取得的重构图像与原图像的平均均方误差小于0.001时或达到最大迭代次数时，认为训练完成，否则继续训练。下面的公式给出了单幅图像重构时，重构的图像与原图像的均方误差的计算方法：

式中，MSE表示均方误差，m、n分别表示图像矩阵的行数和列数，I(i,j)表示原始图像中第i行第j列的像素值，K(i,j)表示重构图像中第i行第j列的像素值。

测试时，将测试集中的矿井视频图像输入编码器网络，此编码器网络的输出即为压缩过的图像，可用比原图像更少的带宽传输至解码器网络进行解码，解码器网络的输出即为重构的图像。

参照图2，为编码器网络编码过程的示意图。编码器网络首先将数据集中数字化了的图像矩阵拉伸成待编码信号x。这里的拉伸指的是将图像矩阵的所有行向量顺次拼接成一个向量的过程。然后采用以下公式进行降采样：

y＝Φx

其中

为待编码信号，

为测量矩阵，是编码器网络的待学习参数，M＜N，Φ中的元素在训练开始前按服从均值为0、方差为1的高斯分布随机初始化，

为降采样后的编码值。N的大小为原图像中的像素个数，M的大小为降采样后图像编码的元素个数。定义压缩率r为：

r＝M/N

本实施例取压缩率r为0.10，则M的值可由

确定，即

其中符号

表示向上取整。

参照图3，为解码器网络的结构示意图。本实施例中，解码器网络首先对输入的编码信号进行一维升采样，并对其进行反拉伸得到图像矩阵。反拉伸是拉伸的逆过程。

然后，图像矩阵通过3×3卷积层和标准化层。接着，图像矩阵通过非线性激活层，随后通过2个“升采样层-二分支卷积层”级联结构。其中，所述二分支卷积层由两个分支分别连接到加法器，所述两个分支的第一分支由两个或两个以上的分支单元级联后连接至所述加法器，所述两个分支的第二分支直接连接至所述加法器，或通过单个分支单元后连接至所述加法器。所述分支单元的结构如图4所示，每个分支单元由3×3卷积层、标准化层和非线性激活层顺次连接构成。

最后，图像矩阵通过深度变换层，得到重构图像。深度变换层是一种卷积层，该卷积层的卷积核大小为1×1，卷积时采用的步长为1，边缘不补零，其深度与原始图像的深度一致。

本实施例的解码器网络中，所有3×3卷积层均是指卷积核大小为3×3，深度为64，卷积时采用的步长为1，边缘补零为1的卷积层；

本实施例的解码器网络中，升采样层采用双线性插值法对图像进行升采样，得到第k个升采样层输出的图像的像素个数为P_k：

其中，n表示整个解码器网络中升采样层的数量，k＝1,2,…,n，M表示解码器网络输入图像编码的像素个数，N表示来自数据集的原始输入图像的像素个数，符号

表示向上取整。实例所用解码器网络共有3个升采样层，它们的输出图像的像素个数分别是P₁＝400000，P₂＝700000，P₃＝1000000。由于本实例的输入图像的高宽比为1:1，为了保证输出图像的尺寸与输入一致，需要确保每个升采样层的输出图像的像素个数是一个平方数。而P₁、P₂并非平方数，因此本实例修正取

解码器网络中的标准化层采用的批标准化过程如下：

1)训练时，对当前输入训练数据标准化：

其中，x_i表示当前批次的样本中的第i个样本，

表示对当前输入训练数据的标准化，μ_B表示当前批次的样本均值，

表示当前批次的样本方差，ε为防止除以零的正常数，本发明取为ε＝1×10^-5，μ_B和

通过以下公式获得：

其中，m表示当前批次的样本数量；

2)输出标准化层的训练结果：

其中，γ和β为网络训练的更新权值；

3)测试时，对当前输入测试数据标准化：

其中，

表示对当前输入测试数据的标准化，

和

分别表示滑动均值和滑动方差，通过以下公式迭代计算得到：

式中，v是满足0＜v＜1的常数，本发明取v＝0.1，

和

在训练时均初始化为0；

4)输出标准化层的测试结果：

解码器网络中的非线性激活层采用LeakyReLU函数对输入的信号进行激活，得到：

其中，x为图像通过所述标准化层后的特征图，a为满足0＜a＜1的常数，本实施例取a＝0.01；

显然，本领域的技术人员应该明白，本发明及上述实施例所涉及的方法，除应用于煤矿井下环境外，通过适当改进后也适用于非金属和金属等非煤矿山的视频监控系统的数据压缩和解压缩。这样本发明不限制除煤矿监控系统之外的非煤矿山、智能工作面移动监控和物联网设备图像数据获取与重构等通信技术领域。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明设计思路的前提下，所进行的简单的替换和更改，都应当视为属于本发明所提交的权利要求书所涉及的保护范围。

Claims (3)

1.一种用于矿井智能监控的视频图像编解码方法，其特征在于，采用基于机器视觉的卷积神经网络算法，实现对矿井视频图像的编码和解码功能，包括如下步骤：

步骤1，制作训练集和测试集：利用矿井视频图像采集设备采集图像，据此制作训练集和测试集；

步骤2，构建矿井视频图像的编码器网络和解码器网络：编码器网络包括拉伸层、降采样层，解码器网络包括升采样层、反拉伸层、3×3卷积层、二分支卷积层、标准化层、非线性激活层和深度变换层；

步骤3，网络训练：将训练集输入所述编码器网络，将所述编码器网络的输出作为所述解码器网络的输入，完成网络参数的训练；

步骤4，矿井视频图像的编码和解码：利用步骤3中训练好的网络，将步骤1中所述测试集中矿井视频图像输入步骤3中所述编码器网络，矿井视频图像经编码后传输至步骤3中所述解码器网络进行解码，输出矿井视频图像的重构结果；

其特征还在于，步骤2中所述的编码器网络首先在拉伸层将图像矩阵拉伸成待编码的图像，然后通过以下公式对信号进行降采样：

y＝Φx

其中，

为待编码的图像，

为测量矩阵，是所述编码器网络的待学习参数，M＜N，

为编码结果；

进一步地，步骤2中所述的解码器网络由升采样层、反拉伸层、3×3卷积层、标准化层、非线性激活层、两个“升采样层-二分支卷积层”、深度变换层顺次连接而成，其中，所述二分支卷积层由两个分支分别连接到加法器，所述两个分支的第一分支由两个或两个以上的分支单元级联后连接至所述加法器，所述两个分支的第二分支直接连接至所述加法器，或通过单个分支单元后连接至所述加法器，所述分支单元由3×3卷积层、标准化层和非线性激活层顺次连接构成；

步骤2中所述的升采样层采用双线性插值法对图像进行升采样，得到第k个升采样层输出的图像的像素个数为P_k：

其中，n表示整个解码器网络中升采样层的数量，k＝1,2,…,n，M表示解码器网络输入图像的像素个数，N表示来自数据集的原始输入图像的像素个数，符号

表示向上取整；

步骤2中所述的标准化层采用批标准化对非线性激活层的输入数据的分布进行优化，以加快训练时的收敛速度，所述批标准化的过程如下：

1)训练时，对当前输入数据标准化：

其中，x_i表示当前批次的样本中的第i个样本，

表示对当前输入训练数据的标准化，μ_B表示当前批次的样本均值，

表示当前批次的样本方差，ε为防止除以零的正常数，μ_B和

通过以下公式获得：

其中，m表示当前批次的样本数量；

2)输出标准化层的训练结果：

其中，γ和β为网络训练的更新权值；

3)测试时，对当前输入测试数据标准化：

其中，

表示对当前输入测试数据的标准化，

和

分别表示滑动均值和滑动方差，通过以下公式迭代计算得到：

式中，v是满足0＜v＜1的常数，

和

在训练时均初始化为0；

4)输出标准化层的测试结果：

步骤2中所述的非线性激活层采用LeakyReLU函数对输入的信号进行激活，得到：

其中，x表示图像批标准化后的特征图，a为满足0＜a＜1的常数；

步骤2中所述的深度变换层是一种卷积层，该卷积层的卷积核大小为1×1，卷积时采用的步长为1，边缘不补零，其深度与原始图像的深度一致；以及，

其特征还在于，步骤3中所述的训练过程包含以下子步骤：

步骤3-1，设定训练的最大迭代次数和训练停止所需的损失阈值，设定输入所述编码器网络和解码器网络的每批次样本的数量；

步骤3-2，采用Adam方法作为梯度下降方法，反向传播对网络参数进行训练；

步骤3-3，重复执行步骤3-2，直到达到步骤3-1所设定的最大迭代次数或达到步骤3-1所设定的损失阈值为止。

2.如权利要求1所述的方法，其特征在于，采用以下公式计算重构图像与原始图像的误差损失：

其中，MSE表示均方误差，m、n分别表示图像矩阵的行数和列数，I(i,j)表示原始图像中第i行第j列的像素值，K(i,j)表示重构图像中第i行第j列的像素值。

3.如权利要求1所述的方法，其特征在于，其中，所述矿井视频图像采集设备包括矿用本安型视觉传感器、矿用本安型相机和矿用本安型摄像机。

Images