CN112188210A - 一种采用深度信念网络的dvc边信息求取方法 - Google Patents

Abstract

一种采用深度信念网络的DVC边信息求取方法，包括以下步骤；(1)输入的视频序列将被分成WZ帧和关键帧两种类型，其中WZ帧为偶数帧，关键帧为奇数帧；(2)采用4×4的离散余弦变换对步骤(1)中的每个WZ帧进行变换操作，然后对变换系数进行量化操作，再由turbo编码器对各个位平面进行处理并传输；(3)步骤(1)得到的关键帧采用传统的H.264/AVC编码标准进行帧内编码；(4)解码端以当前帧前后各两帧作为输入，采用深度信念网络求取边信息，并与Turbo中的校验位一道完成位平面的解码。本发明能够提高无线传输环境下的视频传输的可靠性。

Description

一种采用深度信念网络的DVC边信息求取方法

技术领域

本发明涉及无线传感器网络技术领域，特别涉及一种采用深度信念网络的DVC边信息求取方法。

背景技术

近几年来，随着视频数据成为WSN中的重要传输内容，如何稳定、实时地采集视频数据并可靠寺传输，正成为面向WSN的视频传输技术的一个研究和应用热点。WSN中各节点覆盖范围灵活，其运算、能量和带宽等有限，这要求视频编码端尽可能简单，而解码端的复杂度可以高一些。传统视频编解码算法的编码复杂度远高于解码复杂度，特别是运动估计与变换等操作，其时间和空间复杂度超过50％，导致WSN节点计算能力与存储空间很难满足实际使用要求，其在WSN中受到一定的限制。

发明内容

为了解决以上技术问题，本发明的目的在于提供一种采用深度信念网络的DVC边信息求取方法，能够提高无线传输环境下的视频传输的可靠性。

为了实现上述目的，本发明采用的技术方案是：

一种采用深度信念网络的DVC边信息求取方法，包括以下步骤；

(1)输入的视频序列将被分成WZ帧和关键帧两种类型，其中WZ帧为偶数帧，关键帧为奇数帧；

(2)采用4×4的离散余弦变换(DCT)对步骤(1)中的每个WZ帧进行变换操作，然后对变换系数进行量化操作，再由turbo编码器对各个位平面进行处理并传输；

(3)步骤(1)得到的关键帧采用传统的H.264/AVC编码标准进行帧内编码；

(4)解码端以当前帧前后各两帧作为输入，采用深度信念网络求取边信息，并与Turbo中的校验位一道完成位平面的解码。

所述步骤(4)的深度信念网络(DBN)中，包含了可视层和隐含层，分别表示为v＝[v₁，v₂，.....v_n]，h＝[h₁，h₂，.....h_m]，可视层为视频数据的输入层，数据经过可视层传输至隐含层，隐含层用于对视频数据中的特征进行处理，对可视层数据的特征进行分析，所述输入层和隐含层分别采用了Gaussian-Bernoulli RBM和Bernoulli-Bernoulli RBM，其结点的能量函数分别为：

其中w_ji表示第i个可视结点与第j个隐含结点间权重值，

为偏移量，在上式基础上进一步得到(v，h)的联合概率分布如下：

其中Z＝∑_v∑_he{-E(v，h；θ)}；v，h分别为深度网络中的可视层和隐藏层的数量，θ为阀值，n，m分别为可视导和隐藏层的数量，E(v，h；θ)为能量函数，e⁽⁾为指数函数。

所述深度信念网络具体为：采用对比散度算法对网络进行训练，其参数更新法则如下；

上式中的σ()他η分别表示激活函数和学习速率

和

分别表示输入值和重构值，将网络中隐含层的数量设为3层，各层节点设为9；

在上述过程，根据式(1)至(3)，确定了深度信念网络的结构，通过式(4)至(5)对训练参数进行更新，在编码过程中，采用当前帧前后各两个关键帧对边信息进行预测，提高WZ帧的重建质量，减少解码端的请求次数，使分布式视频编码能更好地克服无线传输环境下网络服务质量不稳定的问题，同时，为提高训练和计算效率，将当前帧前后各两个关键帧中16×16的块作为输入信息，在实际应用时，首先采用不同运动特征的视频序列并对深度信念网络进行训练，确定网络中的参数后，再通过该网络在接收端对分布式视频中的边信息，即WZ帧进行计算。

采用深度信念网络的DVC边信息求取方法的具体流程如下：

(1)采用HMDB51视频序列数据库(http：//serre-lab.clps.brown.edu/resource/)具有不同运动特征的视频序列，共有6849个视频序列，其中70％用于训练，30％用于测试，视频序列的大小为320*240，以这些视频序列组建训练样本；

(2)以训练样本中的不同类型的视频序列对深度信念网络进行训练，并使用Contrastive Wake-Sleep算法完成其调优过程，确定网络中的各参数；

(3)经过上述(1)、(2)两步，深度网络已训练完成，此时，为便与输入，将当前帧(第i帧)的前后各两帧，即第i-1，i-2，i+1，i+2个关键帧划分成16×16的块，作为该网络的输入数据；

(4)在分布式视频解码器中，以解码后的当前帧(第i帧)前后第i-1，i-2，i+1，i+2个关键帧作为深度信念网络的输入，经网络处理并输出后得到对应的WZ帧；

(5)以输出的WZ帧作为边信息，由解码器完成分布式视频的WZ帧的解码操作。

由于采用深度信念网络对DVC的边信息进行计算，使DVC边信息预测更精确，从而提高了WZ帧的重建质量，在接收端获得更高的视频解码质量。

本发明的有益效果：

本申请针对WSN中视频传输质量较低的问题，在分析现有分布式视频编码边信息求取算法的基础上，设计了一种采用深度信念网络的DVC边信息求取算法，对提高无线传输环境下的视频传输的可靠性具有一定的实际意义。

为提高深度信念网络的预测性能，采用了具有不同运动特征的视频序列对网络进行训练。此外，为提高编解码的效率，提供良好的率失真性能，使用当前帧的前后各两个关键帧作为网络的输入来求取边信息，并在实验中验证了算法的有效性。

本发明能够有效地增强无线传感器网络中分布式视频传输的可靠性，分布式视频边信息质量较高，解码端能获得更好率失真性能。在低码率条件下也能更好保证视频重建质量，能有效地增强分布式视频在无线传输环境中的适应能力。

附图说明

图1为DVC编码结构结构图。

图2为深度信念网络结构示意图。

图3为DBNB_SI算法的基本流程结构图。

图4为不同算法对应SI帧的质量示意图。

图5为不同算法对应的率失真性能示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示：输入的视频序列将被分成WZ帧和关键帧两种类型，其中奇数帧为关键帧，偶数帧为WZ帧。采用4×4的离散余弦变换(DCT)对每个WZ帧进行变换操作，然后对变换系数进行量化操作，再由turbo编码器对各个位平面进行处理并传输。而关键帧采用传统的H.264/AVC编码标准进行帧内编码。在解码端，以当前帧前后各两帧作为输入，采用深度信念网络求取边信息，并与Turbo中的校验位一道完成位平面的解码，实现WZ帧的重建。

如图2所示：在DBN中，包含了可视层和隐含层，分别表示为v＝[v₁，v₂，.....v_n]，h＝[h₁，h₂，.....h_m]。根据文献^[11]，本文对输入层和其它层分别采用了Gaussian-BernoulliRBM和Bernoulli-Bernoulli RBM，其结点的能量函数分别为：

其中w_ji表示第i个可视结点与第j个隐含结点间权重值，

为偏移量。在上式基础上进一步得到(v，h)的联合概率分布如下：

其中Z＝∑_v∑_he{-E(v，h；θ)}。同时，RBM中可视单元与隐含单元的节点值可根据文献^[11]求得，其参数更新的方法也在该文献中进行了详细的分析。为保证算法的可靠性，采用对比散度算法对网络进行训练，其本质上是一种逐层的训练方法。其参数更新法则如下：

上式中的σ()他η分别表示激活函数和学习速率

和

分别表示输入值和重构值。此外，考虑到训练效率和样本空间的限制，本文经过实验，将网络中隐含层的数量设为3层，各层节点设为9，其有效性也在实验中得到了验证。

如图3所示：在提出的DBNB_SI方法中，为提高预测精度，采用当前帧前后各两个关键帧对边信息进行预测，其目的是提高WZ帧的重建质量，减少解码端的请求次数，使分布式视频编码能更好地克服无线传输环境下网络服务质量不稳定的问题。同时，为提高训练和计算效率，将当前帧前后各两个关键帧中16×16的块作为输入信息。在实际应用时，首先采用不同运动特征的视频序列并对深度信念网络进行训练。确定网络中的参数后，再通过该网络在接收端对分布式视频中的边信息，即WZ帧进行计算。DBNB_SI方法法的具体流程如下：(1)采用具有不同运动特征的视频序列组建训练样本；(2)以训练样本中的不同类型的视频序列对深度信念网络进行训练，并使用Contrastive Wake-Sleep算法完成其调优过程，确定网络中的各参数；(3)将当前帧(第i帧)的前后各两帧，即第i-1，i-2，i+1，i+2个关键帧划分成16×16的块；(4)在分布式视频解码器中，以解码后的当前帧(第i帧)前后第i-1，i-2，i+1，i+2个关键帧作为深度信念网络的输入，经网络处理并输出后得到对应的WZ帧；(5)以输出的WZ帧作为边信息，由解码器完成分布式视频的WZ帧的解码操作。

指得指出的是，学习速率对网络的性能有较大的影响，在实际应用时，经过多次实验，我们将其值取为0.027。本质上，其训练是一个迭代的过程，本文根据经验值将各层的训练次数设为40次。为验证本文提出的边信息求取算法的性能，将提出的算法集成到基于斯坦福框架的DISCOVER编码架下，并与目前典型的IST-TDWZ方法进行了对比和分析。实验中的WZ帧在编码时采用的是Laplacian分布，关键帧采用H.264/AVC进行编码。同时，在matlab2017中建立了无线视频传输仿真系统，设置其信道为雷利衰减，传输范围为100m。基于matlab2017的DBN类函数建立了深度信念网络，并利用不同类型的视频序列完成训练。深度视频序列的GOP大小设为2，初始码率为50kbps。在实验中计算RD性能时综合考虑WZ帧和关键帧。对比了各视频序列中的SI帧和重建帧的峰值信噪比(PSNR)性能(客观质量)，并根据下式计算视频的PSNR：

PSNR＝10Log(255²/MSE) (7)

训练样本中采取的视频帧来自于不同的视频序列，包括了Container、Mother andDaughter、Miss America、Soccer等，各序列具有不同的运动特征。帧率设为15fps。采用的测试视频序列为News、Foreman、Carphone。各视频序列在不同码率条件下对应的PSNR如图4所示。从图4不难看出，本文提出的DBNB_SI算法较IST-TDWZ可以获得更高质量的边信息，各视频序列获得的增益约为1.3～3.7dB。说明DBNB_SI算法在无线传输环境下能够有效地提高边信息生成的质量。这有助于提高解码器的解码效率和重建WZ帧的质量，同时减少解码端向编码端的请求次数，增强视频传输的稳定性。

图4a为测试视频序列为Carphone时提出的方法与IST-TDWZ方法的峰值信噪比的对比情况

图4b为测试视频序列为Foreman时提出的方法与IST-TDWZ方法的峰值信噪比的对比情况

图4c为测试视频序列为News时提出的方法与IST-TDWZ方法的峰值信噪比的对比情况

图5比较了不同算法对应的解码帧的质量，可以看出，在码率相同的情况下，DBNB_SI算法求出边信息质量较高，其解码后的帧的PSNR也更高，表明提出的算法具有更好的率失真性能。在低码率条件下DBNB_SI算法也能更好保证视频重建质量，可有效地增强分布式视频在无线传输环境中的适应能力。

图5a为测试视频序列为Carphone时提出的方法与IST-TDWZ方法的率失真对比情况；

图5b为测试视频序列为Foreman时提出的方法与IST-TDWZ方法的率失真对比情况；

图5c为为测试视频序列为News时提出的方法与IST-TDWZ方法的率失真对比情况。

Claims (4)

1.一种采用深度信念网络的DVC边信息求取方法，其特征在于，包括以下步骤；

(1)输入的视频序列将被分成WZ帧和关键帧两种类型，其中WZ帧为偶数帧，关键帧为奇数帧；

(2)采用4×4的离散余弦变换(DCT)对步骤(1)中的每个WZ帧进行变换操作，然后对变换系数进行量化操作，再由turbo编码器对各个位平面进行处理并传输；

(3)步骤(1)得到的关键帧采用传统的H.264/AVC编码标准进行帧内编码；

(4)解码端以当前帧前后各两帧作为输入，采用深度信念网络求取边信息，并与Turbo中的校验位一道完成位平面的解码。

2.根据权利要求1所述的一种采用深度信念网络的DVC边信息求取方法，其特征在于，所述步骤(4)的深度信念网络中，包含了可视层和隐含层，分别表示为v＝[v₁，v₂，.....v_n]，h＝[h₁，h₂，.....h_m]，可视层为视频数据的输入层，数据经过可视层传输至隐含层，隐含层用于对视频数据中的特征进行处理，对可视层数据的特征进行分析，所述输入层和隐含层分别采用了Gaussian-Bernoulli RBM和Bernoulli-Bernoulli RBM，其结点的能量函数分别为：

其中w_ji表示第i个可视结点与第j个隐含结点间权重值，

为偏移量，在上式基础上进一步得到(v，h)的联合概率分布如下：

其中Z＝∑_v∑_he{-E(v，h；θ)}；v，h分别为深度网络中的可视层和隐藏层的数量，θ为阀值，n，m分别为可视导和隐藏层的数量，E(v，h；θ)为能量函数，e^{( )}为指数函数。

3.根据权利要求1所述的一种采用深度信念网络的DVC边信息求取方法，其特征在于，所述深度信念网络具体为：采用对比散度算法对网络进行训练，其参数更新法则如下；

上式中的σ( )他η分别表示激活函数和学习速率

和

分别表示输入值和重构值，将网络中隐含层的数量设为3层，各层节点设为9；

在上述过程，根据式(1)至(3)，确定了深度信念网络的结构，通过式(4)至(5)对训练参数进行更新，在编码过程中，采用当前帧前后各两个关键帧对边信息进行预测，提高WZ帧的重建质量，减少解码端的请求次数，使分布式视频编码能更好地克服无线传输环境下网络服务质量不稳定的问题，同时，为提高训练和计算效率，将当前帧前后各两个关键帧中16×16的块作为输入信息，在实际应用时，首先采用不同运动特征的视频序列并对深度信念网络进行训练，确定网络中的参数后，再通过该网络在接收端对分布式视频中的边信息，即WZ帧进行计算。

4.根据权利要求3所述的一种采用深度信念网络的DVC边信息求取方法，其特征在于，采用深度信念网络的DVC边信息求取方法的具体流程如下：

(1)采用HMDB51视频序列数据库(http：//serre-lab.clps.brown.edu/resource/)具有不同运动特征的视频序列，共有6849个视频序列，其中70％用于训练，30％用于测试，视频序列的大小为320*240，以这些视频序列组建训练样本；

(2)以训练样本中的不同类型的视频序列对深度信念网络进行训练，并使用Contrastive Wake-Sleep算法完成其调优过程，确定网络中的各参数；

(3)经过上述(1)、(2)两步，深度网络已训练完成，此时，为便与输入，将当前帧(第i帧)的前后各两帧，即第i-1，i-2，i+1，i+2个关键帧划分成16×16的块，作为该网络的输入数据；

(4)在分布式视频解码器中，以解码后的当前帧(第i帧)前后第i-1，i-2，i+1，i+2个关键帧作为深度信念网络的输入，经网络处理并输出后得到对应的WZ帧；

(5)以输出的WZ帧作为边信息，由解码器完成分布式视频的WZ帧的解码操作。

Images