CN110428382B - 一种用于移动终端的高效视频增强方法、装置和存储介质 - Google Patents

Abstract

本发明提供一种应用于移动端的高效视频增强方法、装置和存储介质，通过优化的CNN去噪模型和CNN超分辨率模型两部分，使用把图像拆分为多个子图作为CNN去噪模型的输入，以及CNN去噪模型和CNN超分辨率模型只针对图像的Y通道信息进行处理，U、V通道信息使用简单超分辨率方法得到大尺寸图像的U、V通道信息，通过上述优化方法来降低模型的复杂，有效地结合去噪模型和超分辨率的模型来达到整体增强效果的提升。

Description

一种用于移动终端的高效视频增强方法、装置和存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种应用于移动终端的高效视频增强方法。

背景技术

随着视频技术和网络技术的发展，高质量的视频已成为人们重要的需求。现实中依然存在很多低质量的视频资源，包括使用低质量设备拍摄的老旧影片、非专业人员拍摄的一些UGC(User Generated Content，用户生成内容)视频等，视频的低质量问题包括低分辨率、压缩噪声大、背景噪声大等。

视频增强旨在将已有的低质量视频通过一系列的增强技术将视频转换为高质量的视频。通用的视频增强技术包括超分辨率、去噪等。超分辨率是计算机视觉领域的一个经典问题，旨在从低分辨率图像(或视频)中恢复高分辨率图像(或视频)，它在监测设备、卫星图像、医学成像等方面具有重要的应用价值。超分辨率问题中，对于任何给定的低分辨率图像，都存在多个解。通过使用强先验信息约束解决方案空间，通常可以缓解此类问题。在传统方法中，这些先验信息可以通过出现的几对低分辨率图像来学习。基于深度学习的超分辨率方法通过神经网络直接学习分辨率图像到高分辨率图像的端到端映射函数。视频中存在的一些噪声比如胶片数字化引入的噪声以及视频压缩带来的块效应需要通过去噪的技术来解决。

目前使用深度学习的方法来实现视频增强成为了业界研究的热点，然而实际应用中存在着很多的问题，尤其在移动端，深度学习网络模型的高计算复杂度与移动端有限的计算能力突出的矛盾成为了技术落地中重要的待解决问题。虽然在移动端可以利用GPU进行算法加速，例如IOS的metal框架，可以快速方便地实现CNN(Convolutional NeuralNetwork，卷积神经网络)算法并调用GPU资源进行加速，但是移动端的计算资源仍然是有限的，因此高效的算法设计变得尤为重要。

发明内容

本发明提出一种应用于移动端的高效视频增强方法，通过优化的CNN去噪模型和CNN超分辨率模型两部分，使用把图像拆分为多个子图作为CNN去噪模型的输入，以及CNN去噪模型和CNN超分辨率模型只针对图像的Y通道信息进行处理，U、V通道信息使用简单超分辨率方法得到大尺寸图像的U、V通道信息，通过上述优化方法来降低模型的复杂，有效地结合去噪模型和超分辨率的模型来达到整体增强效果的提升。

本发明提供了一种基于应用于移动端的高效视频增强方法，包括以下步骤：

步骤1，Y、U、V通道数据分离：所述Y、U、V通道数据分离包括如下子步骤：

步骤1.1，对于输入视频的每一帧图像P，假设宽高分别为w、h，图像在YUV格式下进行处理；

步骤1.2，对图像的Y、U、V通道数据分离，3个通道的数据分别表示为P_Y、P_U和P_V。

步骤2，对图像P的U、V通道数据，使用简单的超分辨率方法将宽高各放大R倍，其中R表示超分辨率的倍数，得到图像P的U、V通道放大R倍后的图

和

步骤3，对图像P的Y通道数据P_Y使用优化的CNN去噪模型和CNN超分模型来进行图像增强处理。具体包括如下子步骤：

步骤3.1，数据预处理：将所述Y通道数据P_Y的每个像素值归一化到[-1,1]得到

P_Y的每个像素值的取值范围是[0,255]，归一化的目的是加快CNN去噪模型的训练速度，归一化的公式表示如下：

其中i为像素行位置坐标，j为像素列位置坐标；

步骤3.2，子图拆分：对

进行r倍的子图拆分得到宽高分别为w/r、h/r的r²个通道的数据

r是w和h的公约数，r的取值根据输入图像的大小进行自适应的选择，r²个通道的数据作为后面CNN去噪模型的输入。

步骤3.3，建立CNN去噪模型对图像进行去噪，其中建立CNN去噪模型对图像进行去噪的步骤具体包括：

步骤3.3.1，CNN去噪模型的网络共5层，最后一层通道数为r²，其余层通道数为2r²，采用3x3的卷积核，通过CNN去噪模型输出r²个通道的Y数据。

步骤3.3.2，CNN去噪模型的输入为r²个通道的数据

步骤3.3.3，对所述输出r²个通道的Y数据进行r倍的子图合并操作得到原始分辨率大小的单通道Y值。子图合并操作是子图拆分的逆操作，把多个小图合成一个大图。

步骤3.3.4，使用训练数据对CNN去噪模型进行训练。训练数据的生成方式为将噪声小的高质量图像样本数据集P_H使用jpeg进行压缩生成噪声大的图像样本数据集P_L。去噪模型的损失函数使用L₂：

其中Y表示P_H中图像样本的Y通道值，

表示去噪模型的输出，m表示训练样本图像的个数，w、h表示输入样本图像的宽高，Y(i,j)^(k)表示样本图像k的第i行第j列像素的Y通道值，

表示对P_L中图像样本k经过去噪模型后输出的图像的第i行第j列的值。利用损失函数L₂对所述CNN去噪模型网络中各层的参数进行调整。

步骤3.4，建立CNN超分辨率模型对图像进行超分辨率重建：

步骤3.4.1，使用去噪模型网络的最后一层，即r²个通道的Y数据作为CNN超分辨率模型的输入；

步骤3.4.2，超分辨率模型的网络共三层，通道数依次为r²R、r²R、r²R²，即最后一层通道数为r²R²。使用3x3的卷积核；

步骤3.4.3，对最后一层r²R²通道的数据进行rR倍的子图合并操作得到宽、高分别为R*w、R*h的Y通道超分辨率结果

步骤3.4.4，使用训练数据对超分辨率模型进行训练，损失函数使用绝对误差值。

步骤3.5，数据后处理：把超分辨率模型输出的

的每个像素值还原到[0,255]的范围，得到

步骤4，Y、U、V通道数据合并：把简单超分方法得到的

和上一步得到的

作为输出图像O的Y、U、V通道数据。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的一种基于应用于移动端的高效视频增强方法流程图；

图2是本说明书实施例提供的2倍子图拆分示例；

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

以下结合附图，详细说明本说明书实施例提供的技术方案。

本发明提供了一种基于应用于移动端的高效视频增强方法，包括以下步骤：

步骤1，Y、U、V通道数据分离：所述Y、U、V通道数据分离包括如下子步骤：

步骤1.1，对于输入视频的每一帧图像P，假设宽高分别为w、h，图像在YUV格式下进行处理；

步骤1.2，对图像的Y、U、V通道数据分离，3个通道的数据分别表示为P_Y、P_U和P_V。

步骤2，对图像P的U、V通道数据，使用简单的超分辨率方法将宽高各放大R倍，其中R表示超分辨率的倍数，得到图像P的U、V通道放大R倍后的图

和

所述超分辨率方法包括线性插值的方法。因为人眼对Y通道信息(亮度分量)相比U、V通道信息(色度分量)更加敏感，对U、V通道的数据使用简单的超分辨率方法能减少计算的复杂度并达到较好的效果。

步骤3，对图像P的Y通道数据P_Y使用优化的CNN去噪模型和CNN超分模型来进行图像增强处理。具体包括如下子步骤：

步骤3.1，数据预处理：将所述Y通道数据P_Y的每个像素值归一化到[-1,1]得到

P_Y的每个像素值的取值范围是[0,255]，归一化的目的是加快CNN去噪模型的训练速度，归一化的公式表示如下：

其中i为像素行位置坐标，j为像素列位置坐标；

步骤3.2，子图拆分：对

进行r倍的子图拆分得到宽高分别为w/r、h/r的r²个通道的数据

r是w和h的公约数，r的取值根据输入图像的大小进行自适应的选择，r²个通道的数据作为后面CNN去噪模型的输入，由于宽高都变为了原始分辨率的1/r，CNN去噪模型和CNN超分辨率模型的计算量更小、速度更快。子图拆分操作如图2所示，A～P分别表示4x4大小的图像中的各像素点，选取r＝2对该图像的子图拆分操作，将4x4大小的图像划分为4个2x2的图像块。把待子图拆分的图像划分为2x2的图像块，图像块的序号记为i，图像块中的像素序号记为j，图像块i中的像素j作为通道j即

(像素j＝0,1,2,3)的像素i。r倍的子图拆分的操作与此类似。

步骤3.3，建立CNN去噪模型对图像进行去噪，其中建立CNN去噪模型对图像进行去噪的步骤具体包括：

步骤3.3.1，使用训练数据对CNN去噪模型进行训练。训练数据的生成方式为将噪声小的高质量图像样本数据集P_H使用jpeg进行压缩生成噪声大的图像样本数据集P_L。去噪模型的损失函数使用L₂：

其中Y表示P_H中图像样本的Y通道值，

表示去噪模型的输出，m表示训练样本图像的个数，w、h表示输入样本图像的宽高，Y(i,j)^(k)表示样本图像k的第i行第j列像素的Y通道值，

表示对P_L中图像样本k经过去噪模型后输出的图像的第i行第j列的值。利用损失函数L₂对所述CNN去噪模型网络中各层的参数进行调整。

步骤3.3.1，CNN去噪模型的输入为r²个通道的数据

步骤3.3.2，CNN去噪模型的网络共5层，最后一层通道数为r²，其余层通道数为2r²，采用3x3的卷积核，通过CNN去噪模型输出r²个通道的Y数据。5层网络和3x3的卷积核的选择是基于移动端的处理性能和去噪效果的综合考虑。

步骤3.3.3，对所述输出r²个通道的Y数据进行r倍的子图合并操作得到原始分辨率大小的单通道Y值。子图合并操作是子图拆分的逆操作，把多个小图合成一个大图。

步骤3.4，建立CNN超分辨率模型对图像进行超分辨率重建：

步骤3.4.1，使用训练数据对超分辨率模型进行训练，损失函数使用绝对误差值，训练集使用通用的超分辨率训练集DIV2K。

步骤3.4.2，使用去噪模型网络的最后一层，即r²个通道的Y数据作为CNN超分辨率模型的输入；

步骤3.4.3，超分辨率模型的网络共三层，通道数依次为r²R、r²R、r²R²，即最后一层通道数为r²R²。使用3x3的卷积核；

步骤3.4.4，对最后一层r²R²通道的数据进行rR倍的Subpixel操作得到宽、高分别为R*w、R*h的Y通道超分辨率结果

步骤3.5，数据后处理：把超分辨率模型输出的

的每个像素值还原到[0,255]的范围，得到

还原的公式为

其中i为像素行位置坐标，j为像素列位置坐标，round表示四舍五入的取整函数；

步骤4，Y、U、V通道数据合并：把简单超分方法得到的

和上一步得到的

作为输出图像O的Y、U、V通道数据。

本专利对视频进行增强，包括去噪和超分辨率两部分，增强之后的视频噪声更少，清晰度更高。同时实现了超分辨率和视频去噪的功能，使图像增强的效果达到更佳。针对方法的计算复杂度在多处采用了优化的方法来提高系统处理的实时性，可以在iphone6s上对540p视频实时超分增强到1080p分辨率，并且达到与非实时方案相当的效果。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (5)

1.一种应用于移动终端的高效视频增强方法，其特征在于，包括以下步骤：

步骤1，Y、U、V通道数据分离：所述Y、U、V通道数据分离包括如下子步骤：

步骤1.1，对于输入视频的每一帧图像P，其中，w、h表示图像的宽高，图像在YUV格式下进行处理；

步骤1.2，对所述图像P的Y、U、V通道数据分离，所述Y、U、V通道的数据分别表示为P_Y、P_U和P_V；

步骤2，对所述图像P的所述U、V通道数据，使用简单的超分辨率方法将宽高各放大R倍，其中R表示超分辨率的倍数，得到所述图像P的U、V通道放大R倍后的图

和

步骤3，对所述图像P的Y通道数据P_Y使用优化的CNN去噪模型和CNN超分模型来进行图像增强处理；具体包括如下子步骤：

步骤3.1，数据预处理：将所述Y通道数据P_Y的每个像素值归一化到[-1,1]得到

P_Y的每个像素值的取值范围是[0,255]，归一化的公式表示如下：

其中i为像素行位置坐标，j为像素列位置坐标；

步骤3.2，子图拆分：对所述

进行r倍的拆分，得到宽高分别为w/r、h/r的r²个通道的数据

r是w和h的公约数；

步骤3.3，建立所述优化的CNN去噪模型对所述图像P进行去噪，具体包括：

步骤3.3.1，使用训练数据对所述CNN去噪模型进行训练，训练数据的生成方式为将噪声小的高质量图像样本数据集P_H使用jpeg进行压缩生成噪声大的图像样本数据集P_L，去噪模型的损失函数使用L₂：

其中Y表示P_H中图像样本的Y通道值，

表示去噪模型的输出，m表示训练样本图像的个数，Y(i,j)^(k)表示样本图像k的第i行第j列像素的Y通道值，

表示对P_L中图像样本k经过去噪模型后输出的图像的第i行第j列的值；利用损失函数L₂对所述CNN去噪模型网络中各层的参数进行调整；

步骤3.3.2，输入所述r²个通道的数据

至所述CNN去噪模型；

步骤3.3.3，所述CNN去噪模型的网络共5层，最后一层通道数为r²，其余层通道数为2r²，采用3x3的卷积核，通过CNN去噪模型输出r²个通道的Y数据；

步骤3.3.3，对所述输出r²个通道的Y数据进行r倍的子图合并操作得到原始分辨率大小的单通道Y值，子图合并操作是子图拆分的逆操作，把多个小图合成一个大图；

步骤3.4，建立CNN超分辨率模型对所述图像P进行超分辨率重建：

步骤3.4.1，使用训练数据对所述CNN超分辨率模型进行训练，损失函数使用绝对误差值，训练集使用通用的超分辨率训练集DIV2K；

步骤3.4.2，使用所述CNN去噪模型的网络的最后一层的r²个通道的Y数据，输入至所述CNN超分辨率模型；

步骤3.4.3，所述CNN超分辨率模型的网络共三层，所述CNN超分辨率模型的通道数依次为r²R、r²R、r²R²，即最后一层通道数为r²R²；使用3x3的卷积核；

步骤3.4.4，对所述CNN超分辨率模型的最后一层r²R²通道的数据进行rR倍的子图合并操作得到宽、高分别为R*w、R*h的Y通道超分辨率结果

步骤3.5，数据后处理：把所述CNN超分辨率模型输出的

的每个像素值还原到[0,255]的范围，得到

还原的公式为

其中i为像素行位置坐标，j为像素列位置坐标，round表示四舍五入的取整函数；

步骤4，Y、U、V通道数据合并：把所述简单的超分辨率方法得到的

和所述

作为输出图像O的Y、U、V通道数据。

2.根据权利要求1所述的应用于移动终端的高效视频增强方法，其特征在于，所述简单的超分辨率方法为线性插值方法。

3.根据权利要求1所述的应用于移动终端的高效视频增强方法，其特征在于，所述r的取值根据输入图像的大小进行自适应的选择。

4.一种应用于移动终端的高效视频增强的装置，其包括处理器和可读存储介质，所述可读存储介质上存储计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1-3所述的步骤。

5.一种存储介质，所述存储介质上存储计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1-3所述的步骤。

Images