CN107613299A - 一种利用生成网络提高帧速率上转换效果的方法 - Google Patents

Abstract

本发明公开了一种利用生成网络提高帧速率上转换效果的方法。本发明包括如下步骤：1：将原始视频通过JM18.6进行压缩，得到压缩后的视频，然后将压缩后的视频通过保留单数帧，对双数帧进行重构，利用基于方向选择运动估计的帧速率上转换算法得到双数帧的重构帧；2：构造生成网络G，将重构帧IE输入到神经网络中并训练，将原始的视频中的对应帧IR与网络输出做对比，并将误差反向传播，在多次调整后得到最优的修复效果；3：反复执行步骤(1)(2)，直至误差变化率不变或小于设定阈值；4：应用训练好的网络，将经过帧速率上转换的重构帧输入网络，得到高质量的图像。本发明提高重构帧的psnr值和质量，使得帧率上转化效果提高。

Description

一种利用生成网络提高帧速率上转换效果的方法

技术领域

本发明涉及深度神经网络领域和帧速率上转换领域，尤其涉及CNN 结构网络和残差结构。

技术背景

视频信息是人类最重要的信息源之一,在信号处理领域占有很大的比重。现存的视频源其实质为活动的三维场景投影到二维平面后再对其进行空间时间采样的结果。帧速率上转换也称作时间内插,是视频格式转换技术中的重要组成部分。它主要是用来实现不同帧速率显示格式之间的转换。例如,将以24帧/秒拍摄得到的电影胶片在60帧/秒以上高清晰度电视上播放,必须采用帧速率上转换实现两种格式之间的转换。在低比特率视频通信中,常需要降低传输帧率(降至每秒10或15帧), 帧速率上转换作为必要的后处理工具负责在接收端恢复原帧速率。此外, 在无线视频通信中,缺失帧的重构以及液晶显示中为减小运动拖尾也需要进行帧率转换。基于以上原因及应用,帧速率上转换技术已经成为当前视频格式转换研究领域的一个新热点。目前基于方向选择的运动向量估计算法在帧率上转化方面有非常好的效果，该算法解决了传统的重构帧方法中的一些失真问题如：空洞，重叠等，另外它缓解了物体遮挡问题，即当画面中有两个物体重叠被遮挡的部分无法计算出运动矢量。该算法使用的双向(即前后向)运动估计使得重构效果更好，并使用了新的度量方法使得到的向量的更可靠。该算法主要由下4个步骤组成1. 利用运动估计方法得出前向最优运动矢量v_f和后向的最优运动矢量v_b。 2.利用双向加权运动矢量平滑化算法找出运动矢量中的异常值并纠正得到v_fc和v_bc。3.利用精化算法得到精化后的运动矢量，解决了向量换位导致的残差问题4.在前后向精化后的运动向量中选择SBAD值小的矢量作为最后的运动矢量。

另外，最近新发明的深度残差学习结构能够解决深度神经网络在训练过程中准确度随网络层数增加而下降的问题，使得网络层数增加的同时错误率减小，也因此提高了网络提取特征的水平。残差网络中最革新的一点是--它没有选择去拟合原始的函数H(x)，而是拟合H(x)的残差函数--F(x)＝H(x)-x,这样做能使得拟合过程更简单，解决了梯度问题，最后实现空前的效果。

在神经网络领域，基于对抗生成神经网络的图像超分辨率技术可以得到良好的效果，在《Photo-Realistic Single Image Super-Resolution Using a GenerativeAdversarial Network》这篇论文中，作者构造了SRGAN(超辨率生成对抗神经网络模型)，并且通过大量的数据集，使网络学会了将一张低分辨率的图象提高为高分辨率图象，与一般的超分辨率技术相比SRGAN生成图象的PSNR(峰值信噪比) 更高，这意味着图片的质量更高。另外传统的以MSE(均方误差)为损失函数的技术所得到的图象像素过于平滑，局部纹理细节较少，虽然在 PSNR上较低画质图象有很大提升，但在视觉感受上并没有期望的区别，而在SRGAN中构造了一个对抗鉴别模型，并抛弃了传统的损失函数转而将内容损失函数和对抗损失函数结合为感知损失函数，使得生成的图象纹理细节更多，让人们在视觉感知上有了更强的感受。运用了其中生成网络G被构造成一个前传的CNN网络，将数据集中的高分辨率图象I^HR经过高斯滤波之后再经过下采样得到一个对应的低分辨率的图像I^LR。将该图像首先经过了一个卷积层，这里用到64个大小为3*3的卷积核，且卷积核的步长为1，得到了64个特征图.接着在经过激活层后，将得到的数据命名为x，传统的网络直接将x输入后面的网络中得到H(x)，但是论文的作者在网络中加入了残差结构，转而将残差F(x)＝H(x)-x 输入到后续网络中，并定义损失函数，反向传递误差调整并得到最优的 F(x)，然后将F(x)与x相加得到H(x),经过后续一系列的操作后得到了高分辨率的图象。值得注意的是，在提高图像的PSNR上，单独使用生成网络G比使用对抗生成网络的效果要好。这创新的模型启发了我们借鉴SRGAN中的生成网络G来提高帧速率上转换后的图像的质量。

发明内容

虽然传统的帧速率上转换算法能够得到较好的重构帧，使其在很大程度上与真实图像相似，但是对于经过压缩后的视频使用帧速率上转换得到的重构图像的质量并没有像人们所期待的那样高，因此我们决定在基于H.264压缩后的基础之上，并对间隔帧进行帧速率上转换，然后通过构造一个CNN结构的网络G，将重构帧经过G处理以实现提高其PSNR 的目的。另外我们在G网络中将输入图像直接映射到输出图像之前，将其与网络拟合的残差相加，得到最终的输出，这样做有利于收敛，更快更好地训练网络。值得注意的是本方法只针对H.264标准，不适合其他视频编码标准。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：将原始视频通过JM18.6进行压缩，得到压缩后的视频，然后将压缩后的视频通过保留单数帧，对双数帧进行重构，利用传统的帧速率上转换算法得到双数帧的重构帧。重构帧生成方法如下：

1-1.利用运动估计方法得出最优前向运动矢量v_f和最优后向运动矢量v_b。即在候选前向运动矢量中找到使得式(1)SAD_f值最小的矢量并作为最优前向运动矢量，同理在候选后向运动矢量中找到使式(3) SAD_b值最小的矢量并作为最优后向运动矢量。

上式中SAD_f和SAD_b分别表示前后向运动矢量对应像素值的差的绝对值之和(即sums of the absolute differences)。f_N-1(S)和f_N(S)分别表示前一帧(N-1帧)中点“s”处的像素值，和当前帧(N帧)中点“s”处的像素值，B_i,j表示第i列第j行的块，v_c表示候选运动矢量，v_f与v_b在运动估计方向和参考帧的选取有区别。

1-2.利用双向加权运动矢量平滑化算法找出运动矢量中的异常值并纠正得到v_fc和v_bc。该算法在运动矢量域中使用一个3*3窗口来寻找异常值，如图1(a)和(b)所示，其中v₀是待处理的运动矢量，v₁→v₈与之相邻。这个窗口会遍历整个矢量域并找到所有的异常值。可以将该方法的原理理解为，将一个窗口中的9个运动矢量映射到直角坐标系中如图1（b）所示，其中v_x和v_y分别代表运动矢量的x轴和y轴分量，求八个邻近的运动矢量坐标的平均值，得到一个大致位于他们中心的点v_m如式(5)所示。接着计算八个邻近的运动矢量到中心点的平均距离D_m如式(6)所示，并以v_m作圆心，D_m作半径画圆。若v₀与v_m之间的距离D₀小于D_m则判定v₀为正常值不做处理，反之判为异常值并进行纠正操作，即将处在圆内的相邻向量加权平均得到v_0c如式(9)所示，并将其代替原来的v₀。每个圆内相邻运动矢量的权重与其到v₀的距离成反比，如式 (8)所示。

D₀＝||v₀-v_m|| (7)

1-3.利用精化算法得到精化后的运动矢量，解决了向量换位导致的残差问题。每个运动矢量的精化过程中利用了双向差分绝对值SBAD (sum of the bidirectionalabsolute differences)，该值在式(10) 中得到定义：

其中B_i,j表示第i列第j行的块，v_r表示确定的参考运动矢量，寻找使得SBAD值最小的候选前向或后向运动矢量，并将其作为精化后的前向 v_fr或后向运动矢量v_br。v_fc和v_bc表示在步骤1-2中修正后的前向和后向运动矢量。另外，在重构帧上将待处理块加上-v_fc或v_bc得到在前一帧或后一帧中对应的块，并在其周围创建一个小的搜寻范围命名为R_s，如图2所示。

1-4.在精化后的前后向运动向量中选择SBAD值小的矢量作为最后的运动矢量，如式(13)所示。

其中c_f和c_b分别是v_fr和v_br的可靠性指标，c_f和c_b的值越低相对应的运动矢量的可靠性就越高。v_fc和v_bc分别表示在步骤1-2中修正后的前向和后向运动矢量。v_fr和v_br分别表示1-3中精化后的前向和后向双向运动矢量。

步骤2：构造生成网络G，将重构帧IE输入到神经网络中并训练，将原始的视频中的对应帧IR与网络输出做对比，并将误差反向传播，在多次调整后得到最优的修复效果。具体步骤如下：

2-1.构造一个CNN网络G。

在最开始我们将输入图像映射到网络中最后一个卷积层之后，将其与最后的卷积层元素相加，得到最后的输出。因此，接下来的一个卷积层和激活函数层所处理的并不是输入图像，而是原始宏块与输出宏块的残差。在第一个卷积层我们用64个大小为3*3的卷积核，将卷积核的步长设为1，得到了64个特征图.接着在经过激活层后，我们构造了残差板块，板块中含有十六个残差网络结构，每一个结构中有六层，分别是卷积层、批量归一化层、激活函数层、卷积层、批量归一化层、元素相加层，在每一次数据通过一个残差网络结构前，先将数据映射到结构中的元素相加层,将其与之前层拟合的残差进行元素相加。另外进入残差板块之前，我们也进行映射，先将数据映射到板块后的元素相加层，将残差板块拟合的残差经过卷积和归一化之后与之元素相加。然后再将相加后的结果通过卷积，得到16*16*3的卷积层，在这里我们将其与输入图象相加，就得到了输出。

2-2.定义损失函数L^G，该函数所得结果是原始帧I^R和经过网络处理后的重构帧G(I^E)的均方误差，如式(1)所示：

其中m、n分别表示输出帧的长和高，和分别表示未损坏帧在(x,y)点的像素值和经过网络处理后的重构帧在(x,y)点的像素值。

2-3.根据损失函数反向传播误差并调整网络参数θ_G，这里θ_G＝{W_1：L；b_1:L}表示一层的权重和偏移量，N表示网络中输入的帧数，即：

步骤3：反复执行步骤(1)(2)，直至误差变化率不变或小于设定阈值。

步骤4：应用训练好的网络，将经过帧速率上转换的重构帧输入网络，得到高质量的图像。

本发明有益效果如下：

1.在创建重构帧时我们使用了双向运动向量估计并采用了更加可靠的度量方法，使得到的最终运动向量可靠性更高，缓解了帧率上转化中的“遮盖”问题。

2.利用深度残差神经网络提高重构帧的psnr值，提高重构帧的质量，使得帧率上转化效果提高。另外在训练网络时，我们在输入图象和最终图象之间建立了跨层连接，在网络中训练输入图象与输出图象的残差，这样能解决梯度消失问题，加速训练收敛速度，提高训练效果。

附图说明

图1(a)和(b)为运动向量异常值寻找窗口和修正异常值原理图。

图2为运动向量精化过程示意图。

图3为本发明生成神经网络结构示意图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

如图1-3所示，一种利用生成网络提高帧速率上转换效果的方法，具体步骤如下：

步骤1：将原始视频通过JM18.6进行压缩，得到压缩后的视频，然后将压缩后的视频通过保留单数帧，对双数帧进行重构，利用传统的帧速率上转换算法得到双数帧的重构帧。重构帧生成方法如下：

1-1.利用运动估计方法得出最优前向运动矢量v_f和最优后向运动矢量v_b。即在候选前向运动矢量中找到使得式(1)SAD_f值最小的矢量并作为最优前向运动矢量，同理在候选后向运动矢量中找到使式(3) SAD_b值最小的矢量并作为最优后向运动矢量。

上式中SAD_f和SAD_b分别表示前后向运动矢量对应像素值的差的绝对值之和(即sums of the absolute differences)。f_N-1(S)和f_N(S)分别表示前一帧(N-1帧)中点“s”处的像素值，和当前帧(N帧)中点“s”处的像素值，B_i,j表示第i列第j行的块，v_c表示候选运动矢量，v_f与v_b在运动估计方向和参考帧的选取有区别。

1-2.利用双向加权运动矢量平滑化算法找出运动矢量中的异常值并纠正得到v_fc和v_bc。该算法在运动矢量域中使用一个3*3窗口来寻找异常值，如图1(a)和(b)所示，其中v₀是待处理的运动矢量，v₁→v₈与之相邻。这个窗口会遍历整个矢量域并找到所有的异常值。可以将该方法的原理理解为，将一个窗口中的9个运动矢量映射到直角坐标系中如图1（b）所示，其中v_x和v_y分别代表运动矢量的x轴和y轴分量，求八个邻近的运动矢量坐标的平均值，得到一个大致位于他们中心的点v_m如式(5)所示。接着计算八个邻近的运动矢量到中心点的平均距离D_m如式(6)所示，并以v_m作圆心，D_m作半径画圆。若v₀与v_m之间的距离D₀小于D_m则判定v₀为正常值不做处理，反之判为异常值并进行纠正操作，即将处在圆内的相邻向量加权平均得到v_0c如式(9)所示，并将其代替原来的v₀。每个圆内相邻运动矢量的权重与其到v₀的距离成反比，如式 (8)所示。

D₀＝||v₀-v_m|| (7)

1-3.利用精化算法得到精化后的运动矢量，解决了向量换位导致的残差问题。每个运动矢量的精化过程中利用了双向差分绝对值SBAD (sum of the bidirectionalabsolute differences)，该值在式(10) 中得到定义：

其中B_i,j表示第i列第j行的块，v_r表示确定的参考运动矢量，寻找使得SBAD值最小的候选前向或后向运动矢量，并将其作为精化后的前向 v_fr或后向运动矢量v_br。v_fc和v_bc表示在步骤1-2中修正后的前向和后向运动矢量。另外，在重构帧上将待处理块加上-v_fc或v_bc得到在前一帧或后一帧中对应的块，并在其周围创建一个小的搜寻范围命名为R_s，如图2所示。

1-4.在精化后的前后向运动向量中选择SBAD值小的矢量作为最后的运动矢量，如式(13)所示。

其中c_f和c_b分别是v_fr和v_br的可靠性指标，c_f和c_b的值越低相对应的运动矢量的可靠性就越高。v_fc和v_bc分别表示在步骤1-2中修正后的前向和后向运动矢量。v_fr和v_br分别表示1-3中精化后的前向和后向双向运动矢量。

步骤2：构造生成网络G，将重构帧IE输入到神经网络中并训练，将原始的视频中的对应帧IR与网络输出做对比，并将误差反向传播，在多次调整后得到最优的修复效果。具体步骤如下：

2-1.构造一个CNN网络G。

在最开始我们将输入图像映射到网络中最后一个卷积层之后，将其与最后的卷积层元素相加，得到最后的输出。因此，接下来的一个卷积层和激活函数层所处理的并不是输入图像，而是原始宏块与输出宏块的残差。在第一个卷积层我们用64个大小为3*3的卷积核，将卷积核的步长设为1，得到了64个特征图.接着在经过激活层后，我们构造了残差板块，板块中含有十六个残差网络结构，每一个结构中有六层，分别是卷积层、批量归一化层、激活函数层、卷积层、批量归一化层、元素相加层，在每一次数据通过一个残差网络结构前，先将数据映射到结构中的元素相加层,将其与之前层拟合的残差进行元素相加。另外进入残差板块之前，我们也进行映射，先将数据映射到板块后的元素相加层，将残差板块拟合的残差经过卷积和归一化之后与之元素相加。然后再将相加后的结果通过卷积，得到16*16*3的卷积层，在这里我们将其与输入图象相加，就得到了输出。

2-2.定义损失函数L^G，该函数所得结果是原始帧I^R和经过网络处理后的重构帧G(I^E)的均方误差，如式(1)所示：

其中m、n分别表示输出帧的长和高，和分别表示未损坏帧在(x,y)点的像素值和经过网络处理后的重构帧在(x,y)点的像素值。

2-3.根据损失函数反向传播误差并调整网络参数θ_G，这里θ_G＝{W_1：L；b_1:L}表示一层的权重和偏移量，N表示网络中输入的帧数，即：

步骤3：反复执行步骤(1)(2)，直至误差变化率不变或小于设定阈值。

步骤4：应用训练好的网络，将经过帧速率上转换的重构帧输入网络，得到高质量的图像。

Claims (4)

1.一种利用生成网络提高帧速率上转换效果的方法，其特征在于包括如下步骤：

步骤1：将原始视频通过JM18.6进行压缩，得到压缩后的视频，然后将压缩后的视频通过保留单数帧，对双数帧进行重构，利用基于方向选择运动估计的帧速率上转换算法得到双数帧的重构帧；

步骤2：构造生成网络G，将重构帧IE输入到神经网络中并训练，将原始的视频中的对应帧IR与网络输出做对比，并将误差反向传播，在多次调整后得到最优的修复效果；

步骤3：反复执行步骤(1)(2)，直至误差变化率不变或小于设定阈值；

步骤4：应用训练好的网络，将经过帧速率上转换的重构帧输入网络，得到高质量的图像。

2.根据权利要求1所述的一种利用生成网络提高帧速率上转换效果的方法，其特征在于步骤1中所述的帧速率上转化算法具体步骤如下：

1-1.利用运动估计方法得出最优前向运动矢量v_f和最优后向运动矢量v_b；即在候选前向运动矢量中找到使得式(1)SAD_f值最小的向量并作为最优前向运动向量，同理在候选后向运动矢量中能找到使式(3)SAD_b值最小的向量并作为最优后向运动矢量；

<mrow> <msub> <mi>SAD</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow> </munder> <mo>|</mo> <msub> <mi>f</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mi>N</mi> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>v</mi> <mi>f</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mrow> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>&amp;Element;</mo> <mi>R</mi> </mrow> </munder> <mo>{</mo> <msub> <mi>SAD</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>SAD</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow> </munder> <mo>|</mo> <msub> <mi>f</mi> <mi>N</mi> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>v</mi> <mi>b</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mrow> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>&amp;Element;</mo> <mi>R</mi> </mrow> </munder> <mo>{</mo> <msub> <mi>SAD</mi> <mi>b</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

上式中SAD_f和SAD_b分别表示前后向运动矢量估计中的对应像素值的差的绝对值之和；f_N-1(S)和f_N(S)分别表示前一帧(N-1帧)中点“s”处的像素值，和当前帧(N帧)中点“s”处的像素值，B_i,j表示第i列第j行的块，v_c表示候选运动矢量，v_f与v_b在运动估计方向和参考帧的选取有区别；

1-2.利用双向加权运动矢量平滑化算法找出运动向量中的异常值并纠正得到v_fc和v_bc；在运动矢量域中使用一个3*3窗口来寻找异常值，其中v₀是待处理的向量v₁→v₈与之相邻，这个窗口会遍历整个矢量域，并找到所有的异常值；将该方法的原理理解为：将一个窗口中的9个运动矢量映射到直角坐标系中，用v_x和v_y分别代表运动矢量的x轴和y轴分量，求八个邻近的运动矢量坐标的平均值以此得到一个大致位于他们中心的点v_m如式(5)所示；接着计算八个邻近的运动矢量到中心点的平均距离D_m，如式(6)所示，并以v_m作圆心，D_m作半径画圆；若v₀与v_m之间的距离D₀小于D_m则判定v₀为正常值不做处理，反之判为异常值并进行纠正操作，即将处在圆内的邻近的运动矢量加权平均得到v_0c如式(9)所示，并将其代替原来的v₀；每个圆内相邻向量的权重与其到v₀的距离成反比，如式(8)所示；

<mrow> <msub> <mi>v</mi> <mi>m</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>8</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>8</mn> </munderover> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>D</mi> <mi>m</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>8</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>8</mn> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>v</mi> <mi>m</mi> </msub> <mo>|</mo> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

D₀＝||v₀-v_m|| (7)

<mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mo>=</mo> <mn>2</mn> <mo>,</mo> <mn>4</mn> <mo>,</mo> <mn>5</mn> <mo>,</mo> <mn>7</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mn>1</mn> <msqrt> <mn>2</mn> </msqrt> </mfrac> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>6</mn> <mo>,</mo> <mn>8</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>v</mi> <mrow> <mn>0</mn> <mi>c</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>i</mi> <mi>n</mi> <mi>l</mi> <mi>i</mi> <mi>e</mi> <mi>r</mi> <mi>s</mi> </mrow> </munder> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>&amp;times;</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> </mrow> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>i</mi> <mi>n</mi> <mi>l</mi> <mi>i</mi> <mi>e</mi> <mi>r</mi> <mi>s</mi> </mrow> </munder> <msub> <mi>w</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>

1-3.利用精化算法得到精化后的运动向量，解决了向量换位导致的残差问题；每个运动矢量的精化过程中利用了双向差分绝对值SBAD，该值在式(10)中得到定义：

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>S</mi> <mi>B</mi> <mi>A</mi> <mi>D</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>r</mi> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow> </munder> <mo>|</mo> <msub> <mi>f</mi> <mi>N</mi> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>+</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>v</mi> <mi>r</mi> </msub> <mo>+</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>v</mi> <mi>r</mi> </msub> <mo>-</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>v</mi> <mrow> <mi>f</mi> <mi>r</mi> </mrow> </msub> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>v</mi> <mrow> <mi>f</mi> <mi>c</mi> </mrow> </msub> <mo>+</mo> <mi>arg</mi> <munder> <mi>min</mi> <mrow> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>R</mi> <mi>s</mi> </msub> </mrow> </munder> <mo>{</mo> <mi>S</mi> <mi>B</mi> <mi>A</mi> <mi>D</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <mo>-</mo> <msub> <mi>v</mi> <mrow> <mi>f</mi> <mi>c</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>v</mi> <mrow> <mi>b</mi> <mi>r</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>v</mi> <mrow> <mi>b</mi> <mi>c</mi> </mrow> </msub> <mo>+</mo> <mi>arg</mi> <munder> <mi>min</mi> <mrow> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>R</mi> <mi>s</mi> </msub> </mrow> </munder> <mo>{</mo> <mi>S</mi> <mi>B</mi> <mi>A</mi> <mi>D</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mrow> <mi>b</mi> <mi>c</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>

其中B_i,j表示第i列第j行的块，v_r表示确定的参考运动矢量，寻找使得SBAD值最小的候选前向或后向运动矢量，并将其作为精化后的前向运动矢量v_fr或后向运动矢量v_br；v_fc和v_bc表示在步骤1-2中修正后的前向和后向运动矢量；另外，在重构帧上将待处理块加上-v_fc或v_bc得到在前一帧或后一帧中对应的块，并在其周围创建一个小的搜寻范围命名为R_s；

1-4.在前后向精化后的运动矢量中选择SBAD值小的矢量作为最后的运动矢量，如式(13)所示；

<mrow> <msub> <mi>c</mi> <mi>f</mi> </msub> <mo>=</mo> <mi>S</mi> <mi>B</mi> <mi>A</mi> <mi>D</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <mo>-</mo> <msub> <mi>v</mi> <mrow> <mi>f</mi> <mi>c</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mrow> <mi>f</mi> <mi>c</mi> </mrow> </msub> <mo>+</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>v</mi> <mrow> <mi>f</mi> <mi>c</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>c</mi> <mi>b</mi> </msub> <mo>=</mo> <mi>S</mi> <mi>B</mi> <mi>A</mi> <mi>D</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mrow> <mi>b</mi> <mi>c</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>v</mi> <mrow> <mi>b</mi> <mi>r</mi> </mrow> </msub> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>v</mi> <mrow> <mi>b</mi> <mi>c</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>v</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>v</mi> <mrow> <mi>f</mi> <mi>r</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <msub> <mi>c</mi> <mi>f</mi> </msub> <mo>&lt;</mo> <msub> <mi>c</mi> <mi>b</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>v</mi> <mrow> <mi>b</mi> <mi>r</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>

其中c_f和c_b分别是v_fr和v_br的可靠性指标，c_f和c_b的值越低相对应的运动矢量的可靠性就越高；v_fc和v_bc分别表示在步骤1-2中修正后的前向和后向运动矢量；v_fr和v_br分别表示在步骤1-3中精化后的前向和后向双向运动矢量。

3.根据权利要求2所述的一种利用生成网络提高帧速率上转换效果的方法，其特征在于步骤2具体步骤如下：

2-1.构造一个CNN网络G；

在最开始将输入图像映射到网络中最后一个卷积层之后，将其与最后的卷积层元素相加，得到最后的输出；因此，接下来的一个卷积层和激活函数层所处理的并不是输入图像，而是原始宏块与输出宏块的残差；在第一个卷积层我们用64个大小为3*3的卷积核，将卷积核的步长设为1，得到了64个特征图；接着在经过激活层后，构造残差板块，板块中含有十六个残差网络结构，每一个结构中有六层，分别是卷积层、批量归一化层、激活函数层、卷积层、批量归一化层、元素相加层，在每一次数据通过一个残差网络结构前，先将数据映射到结构中的元素相加层,将其与之前层拟合的残差进行元素相加；另外进入残差板块之前，先将数据映射到板块后的元素相加层，将残差板块拟合的残差经过卷积和归一化之后与之元素相加；然后再将相加后的结果通过卷积，得到16*16*3的卷积层，在这里将其与输入图象相加，就得到了输出；

2-2.定义损失函数L^G，该函数所得结果是原始帧I^R和经过网络处理后的重构帧G(I^E)的均方误差，如式(14)所示：

<mrow> <msubsup> <mi>l</mi> <mrow> <mi>M</mi> <mi>S</mi> <mi>E</mi> </mrow> <mi>G</mi> </msubsup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>m</mi> <mo>&amp;times;</mo> <mi>n</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mi>R</mi> </msubsup> <mo>-</mo> <msub> <mi>G</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </msub> <msub> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>E</mi> </msup> <mo>)</mo> </mrow> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>

其中m、n分别表示输出帧的长和高，和分别表示未损坏帧在(x,y)点的像素值和经过网络处理后的重构帧在(x,y)点的像素值；

2-3.根据损失函数反向传播误差并调整网络参数θ_G，这里θ_G＝{W_1：L；b_1:L}表示一层的权重和偏移量，N表示网络中输入的帧数，即：

<mrow> <mover> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> <mo>^</mo> </mover> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </munder> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mi>l</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msub> <mi>G</mi> <msub> <mi>&amp;theta;</mi> <mi>G</mi> </msub> </msub> <mo>(</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>E</mi> </msubsup> <mo>)</mo> <mo>,</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>R</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>

4.根据权利要求2所述的一种利用生成网络提高帧速率上转换效果的方法，其特征在于步骤3所述的直至误差变化率不变或小于设定阈值，然后计算PSNR：

<mrow> <mi>P</mi> <mi>S</mi> <mi>N</mi> <mi>R</mi> <mo>=</mo> <mn>10</mn> <mo>&amp;times;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mo>&amp;lsqb;</mo> <mfrac> <msup> <mn>255</mn> <mn>2</mn> </msup> <mrow> <mi>M</mi> <mi>S</mi> <mi>E</mi> </mrow> </mfrac> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>