CN107481209A - 一种基于卷积神经网络的图像或视频质量增强方法 - Google Patents
一种基于卷积神经网络的图像或视频质量增强方法 Download PDFInfo
- Publication number
- CN107481209A CN107481209A CN201710878189.8A CN201710878189A CN107481209A CN 107481209 A CN107481209 A CN 107481209A CN 201710878189 A CN201710878189 A CN 201710878189A CN 107481209 A CN107481209 A CN 107481209A
- Authority
- CN
- China
- Prior art keywords
- network
- video
- image
- quality
- convolutional layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 64
- 230000002708 enhancing effect Effects 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 23
- 239000000203 mixture Substances 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims 1
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000001010 compromised effect Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的图像或视频质量增强方法，属于计算机视觉领域；首先设计两个用于视频质量增强的卷积神经网络，两个网络具有不同的计算复杂度；然后选择若干个训练图像或视频对两个卷积神经网络中的参数进行训练；根据实际需要，选择一个计算复杂度较为合适的卷积神经网络，将质量待增强的图像或视频输入到选择的网络中；最后，该网络输出经过质量增强的图像或视频。本发明可以有效增强视频质量；用户可以根据设备的计算能力或剩余电量指定选用计算复杂度较为合适的卷积神经网络来进行图像或视频的质量增强。
Description
技术领域
本发明属于计算机视觉领域，具体是一种基于卷积神经网络的图像或视频质量增强方法。
背景技术
在计算机视觉领域，视频质量增强对提高视频(或图像)质量、改善视频(或图像)视觉效果的有重要影响；视频(或图像)质量增强一般是指提高质量受损的视频(或图像)的质量。在现在的通信系统中，信道带宽受限问题广泛存在，因此视频(或图像)传输需要经过压缩编码的过程，在此过程中，视频(或图像)质量会受到损失；同时，传输信道往往存在噪声，这也会导致经过信道传输后的视频(或图像)质量受损；因此，视频(或图像)质量增强成为了计算机视觉领域的一个关键问题。同时，在计算机视觉领域，越来越多的学术研究表明，卷积神经网络已经成为解决计算机视觉领域问题的一种十分有效的方法。
随着当下智能终端的多样化发展，越来越多的智能终端(智能手机，平板电脑，笔记本电脑，计算机等)进入到人们的生活。计算能力的不同导致各智能终端对视频(或图像)质量增强时的计算复杂度的承受能力不同。同时，各类智能终端自带的电量也十分迥异，观看视频(或图像)的剩余电量也可能差异很大。因此，有必要根据终端设备实际计算能力和电量水平选择计算复杂度适合的卷积神经网络，来完成视频(或图像)质量增强的任务。
发明内容
针对目前存在的图像或视频质量需要适应多智能终端，需要根据终端情况实现图像或视频质量的问题，本发明提供了一种基于卷积神经网络的图像或视频质量增强方法，目前尚没有基于卷积神经网络对视频或图像质量增强的研究。
本发明提供的基于卷积神经网络的图像或视频质量增强方法，包括：
(1)设计卷积神经网络网络A，用于视频或图像的质量增强。
所述的网络A中，共有5个卷积层，设i表示卷积层的序号，Fi(Y)表示第i个卷积层的输出，Y表示质量待增强的图像或视频帧，Wi表示第i个卷积层的权重矩阵，Bi表示第i个卷积层的偏置矩阵；网络A的网络结构表示如下：
F0(Y)＝Y
Fi(Y)＝PReLU(Wi*Fi-1(Y)+Bi),i∈{1,2,3,4}
F5(Y)＝W5*F4(Y)+B5
其中，*为卷积运算；PReLU运算为PReLU(x)＝max(0,x)+k·min(0,x)，x可表示任意数值，max(0,x)表示取0与x中的最大值，min(0,x)表示取0与x中的最小值，k为待训练的参数；PReLU(Wi*Fi-1(Y)+Bi)表示对矩阵(Wi*Fi-1(Y)+Bi)中的每个数值分别进行PReLU运算；定义定义Ki为第i个卷积层中各个节点的PReLU运算中的k组成的矩阵。
网络A中的Wi、Bi和Ki都是待训练的参数；利用训练视频或图像训练网络A中所有待训练的参数。
(2)在网络A的基础上，设计卷积神经网络B，用于视频或图像的质量增强。
所述的网络B中，共有9个卷积层，设j表示卷积层的序号，Y表示质量待增强的图像或视频帧，Gj(Y)表示第j个卷积层的输出，在第1至第4个卷积层中，W′j表示第j个卷积层的权重矩阵；在第6至第8个卷积层中，W′j1为第j个卷积层中，用于卷积第(j-5)个卷积层的数据的权重，W′j2为第j个卷积层中，用于卷积第(j-1)个卷积层的数据的权重；在第9个卷积层中，W′91为第9个卷积层中，用于卷积第4个卷积层的数据的权重，W′92为第9个卷积层中，用于卷积第8个卷积层的数据的权重；B′j表示第j个卷积层的偏置矩阵；网络B的网络结构表示如下：
G0(Y)＝Y
Gj(Y)＝PReLU(W′j*Fj-1(Y)+B′j),j∈{1,2,3,4}
G5(Y)＝PReLU(W′5*F0(Y)+B′5)
Gj(Y)＝PReLU(0,W′j1*Gj-5(Y)+W′j2*Gj-1(Y)+B′j),j∈{6,7,8}
G9(Y)＝W′91*G4(Y)+W′92*G8(Y)+B′9
其中，K′j为第j个卷积层中各个节点的PReLU运算中的k组成的矩阵，j＝1,2,…,8。
网络B中的每个W′j、W′j1、W′j2、B′j和K′j矩阵都是待训练的参数。利用训练视频或图像训练网络B中所有待训练的参数。
(3)用户选择质量待增强的视频或图像的通道，根据设备的计算能力或剩余电量指定使用网络A还是网络B进行质量增强。
本发明的优点和积极效果在于：
(1)本发明方法所设计使用的卷积神经网络A和网络B，可以有效增强质量有待增强的视频或图像的质量；
(2)采用本发明方法，用户可以根据设备的计算能力或剩余电量指定选用计算复杂度较为合适的卷积神经网络A或B来进行视频或图像质量增强。
附图说明
图1为本发明的基于卷积神经网络的图像/视频质量增强方法的流程图；
图2为本发明中网络A的结构图；
图3为本发明中网络B的结构图；
图4为本发明实施例采用本发明方法的使用效果图。
具体实施方式
下面结合附图与具体实例对本发明作进一步的描述：
本发明一种基于卷积神经网络的视频(或图像)质量增强方法，如图1所示，首先，设计一个用于视频(或图像)质量增强的卷积神经网络，命名为网络A，之后使用若干训练视频(或图像)对网络A进行训练；然后设计一个计算复杂度更高的卷积神经网络，命名为网络B，再用若干训练视频(或图像)对网络B进行训练。使用本发明方法时，首先根据设备的计算能力或剩余电量指定选用计算复杂度从网络A和网络B中选择较为合适的一个卷积神经网络，然后将质量待增强的视频(或图像)输入到选择的网络中，即可输出质量增强后的视频(或图像)。下面说明各具体实现步骤。
步骤一、设计一个用于视频(或图像)质量增强的卷积神经网络，命名为网络A。
定义Y表示质量待增强的图像或视频的一帧，该网络的网络结构表示如下：
F0(Y)＝Y
Fi(Y)＝PReLU(Wi*Fi-1(Y)+Bi),i∈{1,2,3,4}
F5(Y)＝W5*F4(Y)+B5
其中，定义PReLU运算为PReLU(x)＝max(0,x)+k·min(0,x)，x可表示任意数值，max(0,x)表示取0与x中的最大值，min(0,x)表示取0与x中的最小值，k为待训练的参数。PReLU(Wi*Fi-1(Y)+Bi)表示对矩阵(Wi*Fi-1(Y)+Bi)中的每个数值分别进行PReLU运算。
在网络A中，设i表示为卷积层的序号，Fi(Y)表示第i个卷积层的输出，F0(Y)表示输入网络A的图像或视频帧，Wi表示第i个卷积层的权重矩阵，Bi表示第i个卷积层的偏置矩阵，定义*为卷积运算，定义Ki为第i个卷积层中各个节点的PReLU运算中的k组成的矩阵。其中，每个卷积层所涉及到的Wi、Bi和Ki都是待训练的参数。其中，K5不存在，不需要训练。
本发明实例中，网络A有5层，其中各个卷积层的滤波器数量和尺寸如表1所示。
表1网络A的各卷积层的滤波器数量和尺寸
| 卷积层序号i | 1 | 2 | 3 | 4 | 5 |
| 滤波器尺寸 | 9×9 | 7×7 | 3×3 | 1×1 | 5×5 |
| 滤波器数量 | 128 | 64 | 64 | 32 | 1 |
网络A的网络结构如图2所示。
步骤二、利用若干训练视频(或图像)，训练网络A中所有待训练的参数。
训练网络A的具体步骤如下：
步骤201、选取若干理想质量的视频(或图像)及其对应的质量待增强的视频(或图像)作为网络A的训练视频(或图像)。训练网络A时，首先选取训练视频的各个帧(或各个训练图像)的一个通道，例如YUV格式视频(或图像)的Y通道、RGB格式视频(或图像)的R通道等，进行训练。定义集合为理想质量的训练视频中的每个帧(或所有训练图像)的一个通道组成的集合，定义集合为对应的质量待增强的训练视频中的每个帧(或所有训练图像)的对应相同的通道组成的集合，其中N为用于训练网络A的样本个数，Xn表示训练网络A的集合中的第n个理想质量的帧(或图像)的上述被选的通道，Yn表示与Xn相对应的质量待增强的帧(或图像)的对应相同的通道。
步骤202、训练采取监督学习的方法，以为输入，为监督进行训练。将网络A表示为F(·)，训练网络A采用的损失函数为：
其中θ＝{Wi,Bi,Ki}表示网络A中需要训练的参数。训练时采用随机梯度下降法，本发明实例中随机梯度下降法中的批大小设为128。训练完成后即可得到网络A的一组用于该被选通道质量增强的参数θ。F(Yn；θ)表示将Yn输入到参数为θ的网络A后，网络A的输出图像或视频帧。
步骤203、对于其他的每一个通道，重复步骤201和步骤202，得到网络A用于这些通道质量增强的参数θ。每一个通道对应一组网络A的参数θ。
步骤三、在网络A的基础上，设计另一个用于视频(或图像)质量增强的卷积神经网络，命名为网络B。Y表示质量待增强的图像或视频的一帧，定义该网络的网络结构表示如下：
G0(Y)＝Y
Gj(Y)＝PReLU(W′j*Fj-1(Y)+B′j),j∈{1,2,3,4}
G5(Y)＝PReLU(W′5*F0(Y)+B′5)
Gj(Y)＝PReLU(0,W′j1*Gj-5(Y)+W′j2*Gj-1(Y)+B′j),j∈{6,7,8}
G9(Y)＝W′91*G4(Y)+W′92*G8(Y)+B′9
在网络B中，j表示为卷积层的序号；Gj(Y)表示第j个卷积层的输出；G0(Y)表示输入网络B的图像或视频帧；在第1至第4个卷积层中，W′j表示第j个卷积层的权重矩阵；在第6至第8个卷积层中，W′j1为第j个卷积层中，用于卷积第(j-5)个卷积层的数据的权重，W′j2为第j个卷积层中，用于卷积第(j-1)个卷积层的数据的权重；在第9个卷积层中，W′91为第9个卷积层中，用于卷积第4个卷积层的数据的权重，W′92为第9个卷积层中，用于卷积第8个卷积层的数据的权重；B′j表示第j个卷积层的偏置矩阵；定义*为卷积运算；定义K′j为第j个卷积层中各个节点的PReLU运算中的k组成的矩阵。其中，每个卷积层所涉及到的W′j、W′j1、W′j2、B′j和K′j矩阵都是待训练的参数；其中，K′9不存在，不需要训练。
本发明实例中，网络B具有9层，其中各个卷积层的滤波器数量和尺寸如表2所示。其中，第6至第9层中，W′j1和W′j2的滤波器尺寸和滤波器数量均为表2中所示的对应卷积层的滤波器尺寸和滤波器数量。
表2网络B的各个卷积层中的滤波器数量和尺寸
网络B的网络结构如图3所示。
步骤四、利用若干训练视频(或图像)，训练网络B中所有待训练的参数。
训练网络B的具体步骤如下：
步骤401、选取若干理想质量的视频(或图像)及其对应的质量待增强的视频(或图像)作为网络B的训练视频(或图像)。在训练网络B时，首先选取训练视频的各个帧(或各个训练图像)的一个通道，例如YUV格式视频(或图像)的Y通道、RGB格式视频(或图像)的R通道等，进行训练。定义集合为理想质量的训练视频中的每个帧(或所有训练图像)的一个通道组成的集合，定义集合为对应的质量待增强的训练视频的每个帧(或所有训练图像)的对应相同的通道组成的集合，其中M为用于训练网络B的样本个数，X′m表示训练网络B的训练集合中的第m个理想质量的帧上述被选的通道，Y′m表示与X′m相对应的质量待增强的帧的对应的相同的通道。
步骤402、训练网络B时，训练采取监督学习的方法，同时使用误差学习的方法，即以为输入，为监督进行训练。将网络B表示为G(·)，训练网络B采用的损失函数为：
其中θ′＝{W′j,W′j1,W′j2,B′j,K′j}表示网络B中需要训练的参数。训练时采用随机梯度下降法，本发明实例中随机梯度下降法中的批大小设为128。训练完成后即可得到网络B的一组用于该被选通道质量增强的参数θ′。G(Y′m；θ′)表示将Y′m输入到参数为θ′的网络B后，网络B的输出图像或视频帧。
步骤403、对于其他的每一个通道，重复步骤401和步骤402，得到网络B用于这些通道质量增强的参数θ′。每一个通道对应一组网路B的参数θ′。
步骤五、将训练完的网络用于质量待增强的视频(或图像)。
具体步骤如下：
步骤501、针对某段视频(或图像)，用户根据智能终端的计算能力、电量剩余或者根据自己的要求，决定是否要对视频(或图像)的各个通道进行质量增强，以及使用网络A和网络B中的哪一个网络对需要质量增强的通道进行质量增强。
步骤502、对需要质量的通道，增强若选择网络A，则将质量待增强的视频中的帧(或图像)的该通道输入到网络A中，此时网络A使用由该通道训练得到的参数，网络A输出对应的质量增强后的帧(或图像)的该通道；
步骤503、对需要质量的通道，若选择网络B，则将质量待增强的视频中的帧(或图像)的该通道输入到网络B中，此时网络A使用由该通道训练得到的参数，将网络B的输出与输入的质量待增强的帧的该通道的每个像素点的值分别相加，得到对应的质量增强后的帧(或图像)的该通道。
下面使用本发明方法和现有方法进行试验，以验证本发明方法的效果。
首先，对表3中所列视频使用HEVC标准压缩算法，在量化参数(QP)为42的条件下，进行压缩，压缩采用随机接入(Random Access)模式。
然后，使用对比方法AR-CNN和本发明的网络A和网络B分别对上述压缩后的视频进行质量增强。ΔPSNR表示压缩的视频，在质量增强前后与压缩前原始视频的峰值信噪比(PSNR)的增加值。ΔPSNR越大表示质量增强效果越好。
表3网络B的各个卷积层中的滤波器数量和尺寸
从表中可以看出，本发明的网络A和网络B在所有测试视频上效果均好于对比算法AR-CNN，且计算复杂度较高的网络B效果好于网络A。其中几张图像增强的效果如图4所示。
本发明通过设计并训练卷积神经网络，实现视频(或图像)的质量增强；同时，由于可从设计的两个计算复杂度不同的卷积神经网络中选择适合的一个使用，本发明适用于不同计算能力或者剩余电量的终端设备。尽管本发明已参照具体实施方式进行描述和举例说明，但是并不意味着本发明限于这些描述的实施方式。
Claims (4)
1.一种基于卷积神经网络的图像或视频质量增强方法，其特征在于，包括如下步骤：
(1)设计卷积神经网络A，用于视频或图像的质量增强；
所述的网络A中，共有5个卷积层，设i表示卷积层的序号，Fi(Y)表示第i个卷积层的输出，Y表示质量待增强的图像或视频帧，Wi表示第i个卷积层的权重矩阵，Bi表示第i个卷积层的偏置矩阵；网络A的网络结构表示如下：
F0(Y)＝Y
Fi(Y)＝PReLU(Wi*Fi-1(Y)+Bi),i∈{1,2,3,4}
F5(Y)＝W5*F4(Y)+B5
其中，*为卷积运算；PReLU运算为PReLU(x)＝max(0,x)+k·min(0,x)，x可表示任意数值，max(0,x)表示取0与x中的最大值，min(0,x)表示取0与x中的最小值，k为待训练的参数；定义Ki为第i个卷积层中各个节点的PReLU运算中的k组成的矩阵；
网络A中，Wi、Bi和Ki都是待训练的参数；利用训练视频或图像训练网络A中所有待训练的参数；
(2)基于网络A设计卷积神经网络B，用于视频或图像的质量增强；
所述的网络B中，共有9个卷积层，设j表示卷积层的序号，Y表示质量待增强的图像或视频帧，Gj(Y)表示第j个卷积层的输出，在第1至第4个卷积层中，W′j表示第j个卷积层的权重矩阵；在第6至第8个卷积层中，W′j1为第j个卷积层中，用于卷积第(j-5)个卷积层的数据的权重，W′j2为第j个卷积层中，用于卷积第(j-1)个卷积层的数据的权重；在第9个卷积层中，W′91为第9个卷积层中，用于卷积第4个卷积层的数据的权重，W′92为第9个卷积层中，用于卷积第8个卷积层的数据的权重；B′j表示第j个卷积层的偏置矩阵；网络B的网络结构表示如下：
G0(Y)＝Y
Gj(Y)＝PReLU(W′j*Fj-1(Y)+B′j),j∈{1,2,3,4}
G5(Y)＝PReLU(W′5*F0(Y)+B′5)
Gj(Y)＝PReLU(0,W′j1*Gj-5(Y)+W′j2*Gj-1(Y)+B′j),j∈{6,7,8}
G9(Y)＝W′91*G4(Y)+W′92*G8(Y)+B′9
其中，K′j为第j个卷积层中各个节点的PReLU运算中的k组成的矩阵，j＝1,2,…,8；
网络B中的每个W′j、W′j1、W′j2、B′j和K′j矩阵都是待训练的参数；利用训练视频或图像训练网络B中所有待训练的参数；
(3)用户选择质量待增强的视频帧或图像的通道，根据设备的计算能力或剩余电量指定使用网络A还是网络B进行质量增强。
2.如权利要求1所述的一种基于卷积神经网络的图像或视频质量增强方法，其特征在于，所述的网络A，采用下面步骤进行参数训练；
步骤201、选取训练集，包括理想质量的视频或图像及其对应的质量待增强的视频或图像；在训练时，选取视频帧或图片的一个通道进行训练，设集合为训练集中理想质量的视频帧或图像的一个通道组成的集合，集合为训练集中对应的质量待增强的视频帧或图像的对应相同的通道组成的集合，其中N为用于训练网络A的样本个数；
步骤202、采取监督学习的方法训练，以为输入，为监督进行训练；将网络A表示为F(·)，训练网络A采用的损失函数为：
<mrow>
<msub>
<mi>L</mi>
<mi>A</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>Y</mi>
<mi>n</mi>
</msub>
<mo>;</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，θ＝{Wi,Bi,Ki}表示网络A中需要训练的参数；训练时采用随机梯度下降法；训练完成后得到网络A的一组用于该被选通道质量增强的参数θ；F(Yn；θ)表示将Yn输入到参数为θ的网络A后，网络A的输出图像或视频帧；
步骤203、对于视频帧或图片的每一个通道，重复步骤201和步骤202，得到网络A用于每个通道质量增强的参数θ；每一个通道对应一组网络A的参数θ。
3.如权利要求1所述的一种基于卷积神经网络的图像或视频质量增强方法，其特征在于，所述的网络B，采用下面步骤进行参数训练；
步骤401、选取训练集，包括理想质量的视频或图像及其对应的质量待增强的视频或图像；在训练时，选取视频帧或图片的一个通道进行训练，设集合为训练集中理想质量的视频帧或图像的一个通道组成的集合，集合为训练集中对应的质量待增强的视频帧或图像的对应相同的通道组成的集合，其中M为用于训练网络B的样本个数；
步骤402、采取监督学习的方法训练，同时使用误差学习的方法；
以为输入，为监督进行训练；将网络B表示为G(·)，训练网络B采用的损失函数为：
<mrow>
<msub>
<mi>L</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mi>&theta;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>M</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Y</mi>
<mi>m</mi>
<mo>&prime;</mo>
</msubsup>
<mo>;</mo>
<msup>
<mi>&theta;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>X</mi>
<mi>m</mi>
<mo>&prime;</mo>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>Y</mi>
<mi>m</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，θ′＝{W′j,W′j1,W′j2,B′j,K′j}表示网络B中需要训练的参数；训练时采用随机梯度下降法；训练完成后得到网络B的一组用于该被选通道质量增强的参数θ′；G(Y′m；θ′)表示将Y′m输入到参数为θ′的网络B后，网络B的输出图像或视频帧；
步骤403、对于视频帧或图片的每一个通道，重复步骤401和步骤402，得到网络B用于每个通道质量增强的参数θ′；每一个通道对应一组网路B的参数θ′。
4.如权利要求1所述的一种基于卷积神经网络的图像或视频质量增强方法，其特征在于，所述的(3)中，当使用网络B进行质量增强时，将待增强的视频帧或图像的通道输入到网络B中，将网络B的输出与输入的待增强的视频帧或图像的通道的每个像素点的值分别相加，得到对应的质量增强后的视频帧或图像的通道。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2017107188119 | 2017-08-21 | ||
| CN201710718811 | 2017-08-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107481209A true CN107481209A (zh) | 2017-12-15 |
| CN107481209B CN107481209B (zh) | 2020-04-21 |
Family
ID=60585849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710878189.8A Active CN107481209B (zh) | 2017-08-21 | 2017-09-26 | 一种基于卷积神经网络的图像或视频质量增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107481209B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108307193A (zh) * | 2018-02-08 | 2018-07-20 | 北京航空航天大学 | 一种有损压缩视频的多帧质量增强方法及装置 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109934776A (zh) * | 2018-12-25 | 2019-06-25 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
| CN110600023A (zh) * | 2018-06-12 | 2019-12-20 | Tcl集团股份有限公司 | 一种终端设备交互方法、装置和终端设备 |
| CN111415311A (zh) * | 2020-03-27 | 2020-07-14 | 北京航空航天大学杭州创新研究院 | 资源节约型图像质量增强模型 |
| CN111556316A (zh) * | 2020-04-08 | 2020-08-18 | 北京航空航天大学杭州创新研究院 | 一种基于深度神经网络加速的快速块分割编码方法和装置 |
| WO2021035629A1 (zh) * | 2019-08-29 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质 |
| CN113055674A (zh) * | 2021-03-24 | 2021-06-29 | 电子科技大学 | 一种基于两阶段多帧协同的压缩视频质量增强方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104850890A (zh) * | 2015-04-14 | 2015-08-19 | 西安电子科技大学 | 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法 |
| CN104850845A (zh) * | 2015-05-30 | 2015-08-19 | 大连理工大学 | 一种基于非对称卷积神经网络的交通标志识别方法 |
| CN105069413A (zh) * | 2015-07-27 | 2015-11-18 | 电子科技大学 | 一种基于深度卷积神经网络的人体姿势识别方法 |
| US20150339571A1 (en) * | 2012-12-24 | 2015-11-26 | Google Inc. | System and method for parallelizing convolutional neural networks |
| CN105243398A (zh) * | 2015-09-08 | 2016-01-13 | 西安交通大学 | 基于线性判别分析准则的改进卷积神经网络性能的方法 |
| CN105574827A (zh) * | 2015-12-17 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种图像去雾的方法、装置 |
| CN106686472A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于深度学习的高帧率视频生成方法及系统 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
-
2017
- 2017-09-26 CN CN201710878189.8A patent/CN107481209B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150339571A1 (en) * | 2012-12-24 | 2015-11-26 | Google Inc. | System and method for parallelizing convolutional neural networks |
| CN104850890A (zh) * | 2015-04-14 | 2015-08-19 | 西安电子科技大学 | 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法 |
| CN104850845A (zh) * | 2015-05-30 | 2015-08-19 | 大连理工大学 | 一种基于非对称卷积神经网络的交通标志识别方法 |
| CN105069413A (zh) * | 2015-07-27 | 2015-11-18 | 电子科技大学 | 一种基于深度卷积神经网络的人体姿势识别方法 |
| CN105243398A (zh) * | 2015-09-08 | 2016-01-13 | 西安交通大学 | 基于线性判别分析准则的改进卷积神经网络性能的方法 |
| CN105574827A (zh) * | 2015-12-17 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种图像去雾的方法、装置 |
| CN106686472A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于深度学习的高帧率视频生成方法及系统 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
Non-Patent Citations (3)
| Title |
|---|
| CHAO DONG等: "Compression Artifacts Reduction by a Deep Convolutional Network", 《ICCV》 * |
| REN YANG等: "Decoder-side HEVC quality enhancement with scalable convolutional neural network", 《2017 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 * |
| REN YANG等: "Subjective-quality-optimized complexity control for HEVC decoding", 《 2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108307193A (zh) * | 2018-02-08 | 2018-07-20 | 北京航空航天大学 | 一种有损压缩视频的多帧质量增强方法及装置 |
| CN108307193B (zh) * | 2018-02-08 | 2018-12-18 | 北京航空航天大学 | 一种有损压缩视频的多帧质量增强方法及装置 |
| WO2019154152A1 (zh) * | 2018-02-08 | 2019-08-15 | 北京航空航天大学 | 一种有损压缩视频的多帧质量增强方法及装置 |
| US10965959B2 (en) | 2018-02-08 | 2021-03-30 | Beihang University | Multi-frame quality enhancement for compressed video |
| CN110600023A (zh) * | 2018-06-12 | 2019-12-20 | Tcl集团股份有限公司 | 一种终端设备交互方法、装置和终端设备 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN108986050B (zh) * | 2018-07-20 | 2020-11-10 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109934776A (zh) * | 2018-12-25 | 2019-06-25 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
| CN109934776B (zh) * | 2018-12-25 | 2021-05-25 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
| WO2021035629A1 (zh) * | 2019-08-29 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质 |
| CN111415311A (zh) * | 2020-03-27 | 2020-07-14 | 北京航空航天大学杭州创新研究院 | 资源节约型图像质量增强模型 |
| CN111415311B (zh) * | 2020-03-27 | 2023-03-14 | 北京航空航天大学杭州创新研究院 | 资源节约型图像质量增强模型 |
| CN111556316A (zh) * | 2020-04-08 | 2020-08-18 | 北京航空航天大学杭州创新研究院 | 一种基于深度神经网络加速的快速块分割编码方法和装置 |
| CN113055674A (zh) * | 2021-03-24 | 2021-06-29 | 电子科技大学 | 一种基于两阶段多帧协同的压缩视频质量增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107481209B (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107481209A (zh) | 一种基于卷积神经网络的图像或视频质量增强方法 | |
| CN111046962B (zh) | 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统 | |
| CN108932697B (zh) | 一种失真图像的去失真方法、装置及电子设备 | |
| CN105069825B (zh) | 基于深度置信网络的图像超分辨率重建方法 | |
| CN109859288B (zh) | 基于生成对抗网络的图像上色方法及装置 | |
| Li et al. | No-reference image quality assessment with deep convolutional neural networks | |
| Zhou et al. | Binocular responses for no-reference 3D image quality assessment | |
| CN109685743B (zh) | 基于噪声学习神经网络模型的图像混合噪声消除方法 | |
| CN113240580A (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN109120937B (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
| CN106295682A (zh) | 一种判断图片质量因子的方法、装置和计算设备 | |
| CN106228177A (zh) | 基于卷积神经网络的日常生活物体图像识别方法 | |
| CN110188863B (zh) | 一种适用于资源受限设备的卷积神经网络的卷积核压缩方法 | |
| CN108681991A (zh) | 基于生成对抗网络的高动态范围反色调映射方法及系统 | |
| CN107123089A (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN105046277A (zh) | 特征显著性在图像质量评价中的鲁棒机理研究方法 | |
| CN110189291A (zh) | 一种基于多任务卷积神经网络的通用无参考图像质量评价方法 | |
| CN108615231B (zh) | 一种基于神经网络学习融合的全参考图像质量客观评价方法 | |
| CN107680077A (zh) | 一种基于多阶梯度特征的无参考图像质量评价方法 | |
| CN109740451B (zh) | 基于重要性加权的道路场景图像语义分割方法 | |
| CN111127331B (zh) | 基于像素级全局噪声估计编解码网络的图像去噪方法 | |
| CN110136057B (zh) | 一种图像超分辨率重建方法、装置及电子设备 | |
| CN110458084A (zh) | 一种基于倒置残差网络的人脸年龄估计方法 | |
| CN110189260B (zh) | 一种基于多尺度并行门控神经网络的图像降噪方法 | |
| CN109151475A (zh) | 一种视频编码方法、解码方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |