CN109949234A - 基于深度网络的视频复原模型训练方法及视频复原方法 - Google Patents

Abstract

本发明公开了一种基于深度网络的视频复原模型训练方法及视频复原方法，包括：从标准的清晰视频中获得多帧清晰图像；对各帧清晰图像进行高斯模糊处理，以得到各帧清晰图像所对应的模糊图像；将连续n帧清晰图像及对应的n帧模糊图像构成的{清晰图像序列，模糊图像序列}对作为一个训练样本，从而得到由所有训练样本构成的训练集；建立由n‑1个编解码网络依次连接而成的视频复原模型，用于根据模糊图像I_n及其前n‑1帧模糊图像I_n‑1～I₁对模糊图像I_n进行图像复原；利用训练集对视频复原模型进行训练，从而得到目标视频复原模型。本发明能够提高模糊视频复原的效率和复原效果。

Description

基于深度网络的视频复原模型训练方法及视频复原方法

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于深度网络的视频复原模型训练方法及视频复原方法。

背景技术

随着信息化高速发展，智能手机、VR设备等电子产品的引用越来越普及。与此同时，视频监控、视频传输等技术的应用越来越广泛。在视频的拍摄或者传输过程中，很容易由于种种原因造成视频信息的缺失或者失真，导致视频模糊。

图像复原一直是图像处理领域中一个重要的研究方向，早期的图像复原技术根据是否已知模糊图像的点扩展函数(PSF)将图像复原分为非盲图像复原和盲图像复原。由于模糊图像的点扩展函数不容易获取，早期的图像复原主要以研究非盲图像复原为主，其中较早被提出的逆滤波、最小二乘方滤波等方法由于建模相对简单，复原得到的图像普遍存在噪声很大、具有边缘振铃效应大等问题。文献“Fast image deconvolution usinghyper-Laplacian priors”针对自然场景的梯度经验分布，提出了基于超拉普拉斯先验的图像复原算法，该算法虽然可以大大降低复原图像的边缘振铃效应，但是算法的运行效率较低。因此，非盲图像复原的使用范围被大大的限制了。

文献“Blind Image Deblurring Using Dark Channel Prior”使用图像的暗通道先验知识先对模糊图像的点扩展函数进行估计，然后通过非盲图像复原算法得到清晰图像，这种方法虽然可以取得不错的效果，但是其模糊核的估计时间较长，使得复原的效率很低。随着近些年硬件和深度学习的快速发展，将深度学习的框架用于解决图像处理领域的很多问题越来越普遍。专利“一种基于深度神经网络的图像非均匀运动模糊去除方法”(申请号：CN 104680491)提出了使用深度卷积网络来估计模糊图像块的点扩展函数，然后利用优化的马尔可夫随机场模型获得模糊图像逐像素不同的点扩展函数，最后，基于估计的点扩展函数使用图像非盲复原算法得到清晰图像，该方法成功将深度学习引入到了图像复原中，但是该方法需要先通过深度网络得到模糊图像的点扩展函数，再通过非盲翻卷算法实现模糊图像复原，不能实现端到端的图像复原，在实际应用中使用比较复杂。

总体而言，现有的模糊图像复原方法存在一定的局限，使得基于模糊图像复原的视频复原方法也存在效率低、效果差的问题。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于深度网络的视频复原模型训练方法及视频复原方法，其目的在于提高模糊视频复原的效率和复原效果。

为实现上述目的，按照本发明的第一方面，提供了一种基于深度网络的视频复原模型训练方法，包括：

(1)从标准的清晰视频中获得多帧清晰图像；

(2)对各帧清晰图像进行高斯模糊处理，以得到各帧清晰图像所对应的模糊图像；

(3)将连续n帧清晰图像及对应的n帧模糊图像构成的{清晰图像序列，模糊图像序列}对作为一个训练样本，从而得到由所有训练样本构成的训练集；

(4)建立由n-1个编解码网络依次连接而成的视频复原模型，用于根据模糊图像I_n及其前n-1帧模糊图像I_n-1～I₁对模糊图像I_n进行图像复原；

在视频复原模型中，从输入至输出的方向，各编解码网络依次以模糊图像I_n～I₁为一个输入，第一个编解码网络以模糊图像I_n为另一个输入，第2～n-1个编解码网络分别以前一个编解码网络的输出为另一个输入；

(5)利用训练集对视频复原模型进行训练，从而得到目标视频复原模型；

其中，n≥2。

进一步地，步骤(1)包括：

从标准的清晰视频中获得多帧标准图像，并对各帧标准图像进行裁剪，以得到多帧清晰图像；

清晰图像的大小使得在对视频复原模型进行训练时，系统显存能够存储一个训练批次的训练样本。

模型的训练过程耗时较长，通过裁剪使得模型训练时系统显存能够存储一个批次的训练样本，在模型训练时便可以充分利用系统显卡完成模型训练，从而能够有效提高模型的训练效率。

进一步地，步骤(2)包括：

针对每一帧清晰图像建立高斯模糊核；

将各帧清晰图像与对应的高斯模糊核进行卷积操作后，加上相同的高斯随机噪声，从而得到各帧清晰图像对应的模糊图像。

上述操作所得到的模糊图像更符合实际情况。

更进一步地，步骤(5)中，训练视频复原模型时，所采用的损失函数为：

其中，m表示训练样本编号，表示利用第m个训练样本训练时视频复原模型的输出结果，表示第m个训练样本中的第n帧清晰图像，表示第m个训练样本中的第n帧模糊图像，k_m表示第m个训练样本中第n帧清晰图像所对应的高斯模糊核，N_m表示第m个训练样本的像素总数，表示卷积操作，|| ||₂表示求2-范数。

本发明的损失函数包括两个部分，其中第一部分用于约束视频复原模型输出的复原图像与实际的清晰图像之间的均方误差损失，第二部分中，表示对视频复原模型输出的复原图像进行相同的高斯模糊处理以得到模糊图像，损失函数中第二部分用于约束由复原图像得到的模糊图像与实际的模糊图像之间的均方误差损失。因此，本发明中用于模型训练的损失函数能够有效提高训练精度，所得到的复原图像能够达到更好的复原效果。

进一步地，编解码网络为包含跳跃连接和残差连接的编解码网络。

编解码网络具体包括编码网络和解码网络，编码网络用于对输入的图像进行下采样，同时将输入图像的通道数增加，解码网络则用于对编码网络处理后的图像通道数减少并进行上采样，从而到所需的三通道彩色图像；采用编解码网络可有效减少网络层数，提高处理速度；采用包含跳跃连接和残差连接的编解码网络，则能够进一步提高深度网络训练速度。

按照本发明的第二方面，提供了一种视频复原方法，用于对高斯模糊视频进行复原操作，包括：

依次以待复原视频的第1～F-n+1帧为起始帧，将各起始帧及其后连续的n-1帧作为一个视频序列，从而得到共F-n+1个视频序列；

依次以各视频序列为输入，利用本发明第一方面所提供的基于深度网络的视频复原模型训练方法得到的目标视频复原模型对待复原视频的第n～F帧图像进行复原，由此完成对待复原视频的复原；

其中，F表示待复原视频所包含的总帧数，n≥2。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明采用基于编解码网络的视频复原模型对模糊图像进行复原，可以有效地减少深度网络的层数，提高处理速度，同时利用深度网络强大的学习能力，得到复原图像和模糊图像之间的映射关系，直接得到复原的清晰图像，避免了模糊核的估计，提升了图像复原效率。

(2)本发明在进行模型训练时，所采用的损失函数既保证了模型输出的复原图像与原始的清晰图像之间的均方误差损失最小化，也保证了由复原图像得到的模糊图像与实际的模糊图像之间的均方误差损失最小化，由此能够有效提高训练精度，从而获得更好的复原效果。

(3)本发明以多帧连续的高斯模糊图像复原单帧图像，由于视频中连续帧之间存在极强的关联性，由此能够在复原单帧图像时结合多帧连续高斯模糊图像的特征信息得到清晰的复原图像，复原效果大为提升。

(4)本发明可适用于复原视频拍摄、视频传输过程中图像失真导致的的高斯模糊图像，也可用于视频处理软件、相机处理软件等，具有非常好的实用价值。

附图说明

图1为本发明实施例提供的基于深度网络的视频复原模型训练方法流程图；

图2为本发明实施例提供的视频复原模型示意图；

图3为本发明实施例提供的编解码网络示意图；

图4(a)为本发明实施例提供的一幅清晰图像；

图4(b)为对图4(a)进行高斯模糊处理后得到的模糊图像；

图4(c)为利用已训练好的视频复原模型对图4(b)进行复原得到的复原图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明所提供的基于深度网络的视频复原模型训练方法，如图1所示，包括：

(1)从标准的清晰视频中获得多帧清晰图像；

在一个可选的实施方式中，步骤(1)具体包括：

从标准的清晰视频中获得多帧标准图像，并对各帧标准图像进行裁剪，以得到多帧清晰图像；可从YouTube等分享网站下载高清视频作为标准的清晰视频，也可采用GPRO高清相机拍摄得到标准的清晰视频，也可采用其他方式得到标准的清晰视频；

清晰图像的大小使得在对视频复原模型进行训练时，系统显存能够存储一个训练批次的训练样本；

模型的训练过程耗时较长，通过裁剪使得模型训练时系统显存能够存储一个批次的训练样本，在模型训练时便可以充分利用系统显卡完成模型训练，从而能够有效提高模型的训练效率；

在本实施例中，选用的清晰视频图像大小为1080*940，裁剪得到的清晰图像大小为128x128；

(2)对各帧清晰图像进行高斯模糊处理，以得到各帧清晰图像所对应的模糊图像；

在一个可选的实施方式中，步骤(2)具体包括：

针对每一帧清晰图像建立高斯模糊核；在实际应用中，可根据视频在实际场景中的模糊化特征建立具体的高斯模糊核，以保证模糊化处理得到的模糊图像与实际的模糊图像相符合；在本实施例中，所建立的高斯模糊核的标准差满足正弦分布，具体的，针对所获取到的任意第i张清晰图像x_i，所建立的高斯模糊核的标准差为高斯模糊核的尺寸为N_i＝6σ_i+1；

将各帧清晰图像与对应的高斯模糊核进行卷积操作后，加上相同的高斯随机噪声，从而得到各帧清晰图像对应的模糊图像；在本实施例中，根据经验设定，高斯随机噪声的标准差为σ＝0.01，应当理解的是，在其他应用场景下，高斯随机噪声的参数也可相应设置为其他值；

上述操作所得到的模糊图像更符合实际情况；

(3)将连续n帧清晰图像及对应的n帧模糊图像构成的{清晰图像序列，模糊图像序列}对作为一个训练样本，从而得到由所有训练样本构成的训练集；

在本实施例中，取连续的5帧清晰图像及对应的5帧模糊图像构成的{清晰图像序列，模糊图像序列}对作为一个训练样本，最终得到的训练集中包含10000个训练样本；

(4)建立由n-1个编解码网络依次连接而成的视频复原模型，用于根据模糊图像I_n及其前n-1帧模糊图像I_n-1～I₁对模糊图像I_n进行图像复原；

在视频复原模型中，从输入至输出的方向，各编解码网络依次以模糊图像I_n～I₁为一个输入，第一个编解码网络以模糊图像I_n为另一个输入，第2～n-1个编解码网络分别以前一个编解码网络的输出为另一个输入；

在本实施例中，所建立的视频复原模型如图2所示，其中共包括4个依次连接的编解码网络(DBN₁～DBN₄)，其中第一个编解码网络DBN₁的两个输入分别为模糊图像I₅和I₄，第二个编解码网络DBN₂的两个输入分别为第一个编解码网络的输出和模糊图像I₃，第三个编解码网络DBN₃的两个输入分别为第二个编解码网络的输出和模糊图像I₂，第四个编解码网络DBN₄的两个输入分别为第三个编解码网络的输出和模糊图像I₁；

编解码网络具体包括编码网络和解码网络，编码网络用于对输入的图像进行下采样，同时将输入图像的通道数增加，解码网络则用于对编码网络处理后的图像通道数减少并进行上采样，从而到所需的三通道彩色图像；编码网络和解码网络都由卷积层、激活函数层构成；在本实施例中，如图3所示，编解码网络具体为包含跳跃连接和残差连接的编解码网络；其中，编码网络中卷积层有18层，卷积层滤波器中大小为1*1有1个、3*3有17个；解码网络中卷积层有13层，卷积层滤波器中大小为1*1有2个、3*3有7个、4*4有4个；应当理解的是，图3所示的编解码网络结构仅为本实施例中所采用的一种可选的结构，在其他应用场景下，也可相应设置为其他结构；

采用编解码网络可有效减少网络层数，提高处理速度；采用包含跳跃连接和残差连接的编解码网络，则能够进一步提高深度网络训练速度；

(5)利用训练集对视频复原模型进行训练，从而得到目标视频复原模型；

在一个可选的实施方式中，步骤(5)中，训练视频复原模型时，所采用的损失函数为：

其中，m表示训练样本编号，表示利用第m个训练样本训练时视频复原模型的输出结果，表示第m个训练样本中的第n帧清晰图像，表示第m个训练样本中的第n帧模糊图像，k_m表示第m个训练样本中第n帧清晰图像所对应的高斯模糊核，N_m表示第m个训练样本的像素总数，表示卷积操作，|| ||₂表示求2-范数。

本发明的损失函数包括两个部分，其中第一部分用于约束视频复原模型输出的复原图像与实际的清晰图像之间的均方误差损失，第二部分中，表示对视频复原模型输出的复原图像进行相同的高斯模糊处理以得到模糊图像，损失函数中第二部分用于约束由复原图像得到的模糊图像与实际的模糊图像之间的均方误差损失；因此，本发明中用于模型训练的损失函数能够有效提高训练精度，所得到的复原图像能够达到更好的复原效果。

本发明还提供了一种视频复原方法，用于对高斯模糊视频进行复原操作，包括：

依次以待复原视频的第1～F-5+1帧为起始帧，将各起始帧及其后连续的4帧作为一个视频序列，从而得到共F-4个视频序列；

依次以各视频序列为输入，利用上述基于深度网络的视频复原模型训练方法得到的目标视频复原模型对待复原视频的第5～F帧图像进行复原，由此完成对待复原视频的复原；

模糊视频的帧数一般较多，在实际应用中，可以选取感兴趣的视频段及其前n-1帧共同构成待复原视频，由此便可以实现对感兴趣视频段的复原；

其中，F表示待复原视频所包含的总帧数。

采用上述方法，对单帧视频图像进行复原的结果如图4所示，其中图4(a)为从标准的清晰视频中获取并裁剪之后的一帧清晰图像，所示内容为山脊的局部图像，图4(b)为对图4(a)进行高斯模糊处理之后得到的模糊图像，图4(c)为利用已训练好的目标视频复原模型对图4(b)所示的模糊图像进行复原后得到的复原图像。对比图4(a)所示的原始清晰图像和图4(c)所示的复原图像可知，本发明所得到的复原图像具有很好的复原效果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度网络的视频复原模型训练方法，其特征在于，包括：

(1)从标准的清晰视频中获得多帧清晰图像；

(2)对各帧清晰图像进行高斯模糊处理，以得到各帧清晰图像所对应的模糊图像；

(3)将连续n帧清晰图像及对应的n帧模糊图像构成的{清晰图像序列，模糊图像序列}对作为一个训练样本，从而得到由所有训练样本构成的训练集；

(4)建立由n-1个编解码网络依次连接而成的视频复原模型，用于根据模糊图像I_n及其前n-1帧模糊图像I_n-1～I₁对所述模糊图像I_n进行图像复原；

在所述视频复原模型中，从输入至输出的方向，各编解码网络依次以模糊图像I_n～I₁为一个输入，第一个编解码网络以所述模糊图像I_n为另一个输入，第2～n-1个编解码网络分别以前一个编解码网络的输出为另一个输入；

(5)利用所述训练集对所述视频复原模型进行训练，从而得到目标视频复原模型；

其中，n≥2。

2.如权利要求1所述的基于深度网络的视频复原模型训练方法，其特征在于，所述步骤(1)包括：

从标准的清晰视频中获得多帧标准图像，并对各帧标准图像进行裁剪，以得到多帧清晰图像；

所述清晰图像的大小使得在对所述视频复原模型进行训练时，系统显存能够存储一个训练批次的训练样本。

3.如权利要求1所述的基于深度网络的视频复原模型训练方法，其特征在于，所述步骤(2)包括：

针对每一帧清晰图像建立高斯模糊核；

将各帧清晰图像与对应的高斯模糊核进行卷积操作后，加上相同的高斯随机噪声，从而得到各帧清晰图像对应的模糊图像。

4.如权利要求3所述的基于深度网络的视频复原模型训练方法，其特征在于，所述步骤(5)中，训练所述视频复原模型时，所采用的损失函数为：

其中，m表示训练样本编号，表示利用第m个训练样本训练时所述视频复原模型的输出结果，表示第m个训练样本中的第n帧清晰图像，表示第m个训练样本中的第n帧模糊图像，k_m表示第m个训练样本中第n帧清晰图像所对应的高斯模糊核，N_m表示第m个训练样本的像素总数，表示卷积操作，|| ||₂表示求2-范数。

5.如权利要求1所述的基于深度网络的视频复原模型训练方法，其特征在于，所述编解码网络为包含跳跃连接和残差连接的编解码网络。

6.一种视频复原方法，用于对高斯模糊视频进行复原操作，其特征在于，包括：

依次以待复原视频的第1～F-n+1帧为起始帧，将各起始帧及其后连续的n-1帧作为一个视频序列，从而得到共F-n+1个视频序列；

依次以各视频序列为输入，利用权利要求1-5任一项所述的基于深度网络的视频复原模型训练方法得到的目标视频复原模型对所述待复原视频的第n～F帧图像进行复原，由此完成对所述待复原视频的复原；

其中，F表示所述待复原视频所包含的总帧数，n≥2。