CN110619607A - 基于神经网络的图像去噪方法及装置和基于神经网络图像去噪的图像编解码方法及装置 - Google Patents
基于神经网络的图像去噪方法及装置和基于神经网络图像去噪的图像编解码方法及装置 Download PDFInfo
- Publication number
- CN110619607A CN110619607A CN201810638299.1A CN201810638299A CN110619607A CN 110619607 A CN110619607 A CN 110619607A CN 201810638299 A CN201810638299 A CN 201810638299A CN 110619607 A CN110619607 A CN 110619607A
- Authority
- CN
- China
- Prior art keywords
- network
- processing
- pixel value
- reconstructed
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 320
- 238000000034 method Methods 0.000 title claims abstract description 114
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 114
- 238000012545 processing Methods 0.000 claims description 1248
- 238000001914 filtration Methods 0.000 claims description 232
- 239000000872 buffer Substances 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 45
- 238000013507 mapping Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 107
- 238000010586 diagram Methods 0.000 description 36
- 238000013135 deep learning Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种基于神经网络的图像去噪方法及装置和一种包含基于神经网络图像去噪的图像编码或解码方法及装置。所述基于神经网络的图像去噪方法及装置采用卷积神经网络模型；所述神经网络的输入为待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值。所述包含基于神经网络图像去噪的图像编码或解码方法及装置采用卷积神经网络模型；所述神经网络的输入包含重建预测残差和重建像素值或经过滤波处理的重建像素值。本发明通过增加重建预测残差输入，能够以较小的网络规模学习有噪图像像素值与无噪图像像素值之间的映射关系，从而对有噪图像像素值进行去噪，同时保证图像主观质量。本发明可应用到面向用户的图像播放以及多种计算机视觉领域的图像预处理中。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种基于神经网络的图像去噪方法及装置和一种包含神经网络图像去噪的图像编码或解码方法及装置。
背景技术
图像去噪是图像处理领域的经典问题。有噪图像的主观质量较差，影响人们的观感。同时有噪视频也会影响其他计算机视觉算法的性能。因此，对图像进行滤波处理必不可少。
现有的滤波技术有空域滤波、变换域滤波、字典学习和深度学习等。
空域滤波直接对待滤波的图像像素值进行处理。
变换域滤波将待滤波的图像像素值变换到变换域，在变换域上滤波后再反变换回空域。
字典学习提取待滤波图像帧的主成分，用稀疏表示去除相应噪声。
深度学习是机器学习的一种方法，其通过利用大量有噪图像数据，利用深度学习算法训练机器，使得机器自主学习去噪过程。神经网络是深度学习的一种方法。神经网络系统的基本单位是神经元(nureon)。具有多层互连神经元结点的神经网络，具有表示高度非线性函数的功能。因此神经网络可以用于学习有噪图像信号和无噪图像信号之间的非线性函数关系，即可用于视频去噪。近年来，为了不断提升神经网络的去噪效果，神经网络的规模被不断增大。这对存储资源消耗和去噪处理速度带来较大负担。
在现有的视频编解码系统中，使用了多种滤波技术对编码或解码后的图像进行滤波处理，比如去块滤波器(DF)和样本自适应补偿滤波器(SAO)。概要地，编码器和解码器分别如图1A和图1B所示。在编码器中，当采用帧内/帧间模式时，帧内/帧间预测单元112通过预测技术生成预测值。帧内/帧间预测数据被提供给减法器113以通过从与输入图片相关的信号中减去帧内/帧间预测信号来生成预测残差。随后在对预测残差进行变换(T)过程，随后经过量化(Q)过程(T+Q， 114)。经过变换和量化过程的预测残差随后被熵编解码单元115编码，存储对应压缩图像数据的比特流中。由于重建的图片可以作为帧间预测的参考图片使用，参考图片也必须在编码器端重建。因此，经过变换和量化过程的残差经过反量化(IQ)过程和反变换(IT)过程(IQ+IT，116) 以重建预测残差。重建预测残差随后被加回重建器117中的帧内/帧间预测数据以重建图像数据。此处，重建的图像数据为重建像素值，所述的重建像素值操作称为预测补偿处理。为了减少重建像素值中的噪声，使用比如去块滤波器119和样本自适应偏移滤波器121等一种或多种滤波技术进行滤波处理。滤波处理后输出的重建像素值存储于缓冲器118、120和122中，或者使用滤波技术继续滤波处理，用于后续图像的编码或解码。此处，将预测补偿处理和滤波处理统一概括为预测处理模块进行的操作。在解码器中，熵解码单元123被用于恢复比特流中的语法。解码并解析后获得的重建变换系数经过反量化(IQ)过程和反变换(IT)过程(IQ+IT,116)以重建预测残差。重建预测残差随后被加回重建器117中的帧内/帧间预测数据以重建图像数据。此处，重建的图像数据为重建像素值，所述的重建像素值操作称为预测补偿处理。为了减少重建像素值中的噪声，使用比如去块滤波器119和样本自适应偏移滤波器121等一种或多种滤波技术进行滤波处理。滤波处理后输出的重建像素值存储于缓冲器118、120和122中，或者使用滤波技术继续滤波处理，用于后续图像的解码。此处，将预测补偿处理和滤波处理统一概括为预测处理模块进行的操作。
发明内容
为了克服上述神经网络滤波器的不足，本发明提出一种基于神经网络的图像去噪方法及装置和一种包含神经网络图像去噪的图像编码或解码方法及装置，通过对神经网络添加额外的重建残差输入，同时使用像素值处理子网络和重建残差值子网络对输出进行处理，能在保证神经网络去噪效果的前提下减小神经网络规模，从而减小神经网络去噪时对存储资源消耗和处理速度造成的负担。
本发明的设计思路在于：重建残差值中包含了块边界和图像纹理信息，因此将重建残差值输入到神经网络中时，可以辅助神经网络更好地学习有噪图像信号和无噪图像信号之间的函数关系，从而减少了神经网络规模。
本发明提出一种基于神经网络的图像去噪方法，其包括：
使用卷积神经网络模型；获得所述神经网络需要的两种输入，分别是待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值；使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出；待去噪的图像区域的去噪结果由以下方法之一得到：直接由所述混合处理子网络的输出得到；由所述混合处理子网络的输出与所述待去噪的图像区域的像素值相加得到。
所述像素值处理子网络和所述预测残差值处理子网络中，至少有一个处理子网络的前N层的输入仅来自该处理子网络对应的输入信号和该处理子网络自身；N的取值为大于等于一的正整数。
所述像素值处理子网络、所述预测残差值处理子网络和所述混合处理子网络中至少有一层神经网络使用两种或两种以上尺寸的卷积核。
本发明还提出一种包含神经网络图像去噪的图像编码或解码方法，其包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值进行预测补偿处理或进行预测补偿处理后进行滤波处理，输出重建像素值或经过滤波处理的重建像素值；
对于所述的重建像素值进行去噪处理，获得去噪结果，所述的去噪处理包括：
将所述重建像素值或经过滤波处理的重建像素值以及与所述重建像素值或经过滤波处理的重建像素值在空间像素位置上相对应的重建预测残差值输入卷积神经网络进行去噪处理，其中，
使用像素值处理子网络处理所述的重建像素值或经过滤波处理的重建像素值；
使用预测残差值处理子网络处理所述的预测残差值；
使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出；
去噪结果由以下方法之一得到：直接由所述混合处理子网络的输出得到；由所述混合处理子网络的输出与所述重建像素值或经过滤波处理的重建像素值相加得到；
将所述的去噪结果输出到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
所述像素值处理子网络和所述预测残差值处理子网络中，至少有一个处理子网络的前N层的输入仅来自该处理子网络对应的输入信号和该处理子网络自身；N的取值为大于等于一的正整数。
本发明还提出一种基于神经网络的图像去噪装置，其包括：
像素值处理子网络模块：使用卷积神经网络模型，处理待去噪的图像区域的像素值；输入是待去噪的图像区域的像素值；
预测残差值处理子网络模块：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值；输入是待去噪的图像区域的重建预测残差值；
混合处理子网络模块：使用卷积神经网络模型，联合处理所述像素值处理子网络模块的输出和所述预测残差值处理子网络模块的输出，由以下方法之一得到装置的输出：直接由所述混合处理子网络模块的输出得到；由所述混合处理子网络模块的输出与所述待去噪的图像区域的像素值相加得到；此模块的输入是所述像素值处理子网络模块的输出和所述预测残差值处理子网络模块的输出。
所述像素值处理子网络模块和所述预测残差值处理子网络模块中，至少有一个处理子网络模块的前N层的输入仅来自该处理子网络模块对应的输入信号和该处理子网络模块自身；N的取值为大于等于一的正整数。
所述像素值处理子网络模块、所述预测残差值处理子网络模块和所述混合处理子网络模块中至少有一层神经网络使用两种或两种以上尺寸的卷积核。
本发明还提出一种包含神经网络图像去噪的图像编码或解码装置，其包括：
预测补偿处理模块：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值进行预测补偿处理或进行预测补偿处理后进行滤波处理；输入是重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；输出是重建像素值或经过滤波处理的重建像素值；
像素值处理子网络模块：使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值；输入是所述重建像素值或经过滤波处理的重建像素值；
预测残差值处理子网络模块：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值；输入是所述重建预测残差值；
混合处理子网络模块：使用卷积神经网络模型，联合处理所述像素值处理子网络模块的输出和所述预测残差值处理子网络模块的输出，由以下方法之一得到去噪结果：直接由所述混合处理子网络模块的输出得到；由所述混合处理子网络模块的输出与所述重建像素值或经过滤波处理的重建像素值相加得到；输入是所述像素值处理子网络模块的输出和所述预测残差值处理子网络模块的输出；
输出模块：将所述的去噪结果输出到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
所述像素值处理子网络模块和所述预测残差值处理子网络模块中，至少有一个处理子网络模块的前N层的输入仅来自该处理子网络模块对应的输入信号和该处理子网络模块自身；N的取值为大于等于一的正整数。
与现有技术相比，本发明的有益效果是：
本发明利用重建残差作为神经网络的额外输入，同时使用像素值处理子网络和预测残差值处理子网络分别处理输入的重建像素值和重建预测残差值，使得神经网络能在较小的网络规模下，学习有噪图像信号和无噪图像信号之间的非线性映射，减小了神经网络去噪时对存储资源和处理速度的负担。同时降低图像信号中的噪声，保证图像质量和观感。本发明可应用到面向用户的图像播放以及多种计算机视觉领域的图像预处理中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A为现有视频编解码标准的编码器基本结构图。
图1B为现有视频编解码标准的解码器基本结构图。
图2为本发明实施例提供的一种基于神经网络的图像去噪方法的神经网络结构示意图。
图3为本发明实施例提供的一种基于神经网络的图像去噪方法的神经网络结构示意图。
图4为本发明实施例提供的一种基于神经网络的图像去噪方法的神经网络结构示意图。
图5为本发明实施例提供的一种基于神经网络的图像去噪方法的神经网络结构示意图。
图6为本发明实施例提供的一种基于神经网络的图像去噪方法的神经网络结构示意图。
图7为本发明实施例提供的一种基于神经网络的图像去噪方法的神经网络结构示意图。
图8为本发明实施例提供的一种基于神经网络的图像去噪方法的神经网络结构示意图。
图9为本发明实施例提供的一种基于神经网络的图像去噪方法的神经网络结构示意图。
图10为本发明实施例提供的一种基于神经网络的图像去噪装置的神经网络结构示意图。
图11为本发明实施例提供的一种基于神经网络的图像去噪装置的神经网络结构示意图。
图12为本发明实施例提供的一种基于神经网络的图像去噪装置的神经网络结构示意图。
图13为本发明实施例提供的一种基于神经网络的图像去噪装置的神经网络结构示意图。
图14为本发明实施例提供的一种基于神经网络的图像去噪装置的神经网络结构示意图。
图15为本发明实施例提供的一种基于神经网络的图像去噪装置的神经网络结构示意图。
图16为本发明实施例提供的一种基于神经网络的图像去噪装置的神经网络结构示意图。
图17为本发明实施例提供的一种基于神经网络的图像去噪装置的神经网络结构示意图。
图18为本发明实施例提供的一种包含基于神经网络图像去噪的图像编码装置示意图。
图19为本发明实施例提供的一种包含基于神经网络图像去噪的图像解码装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实例提供的一种基于神经网络的视频去噪方法，具体包括：
向卷积神经网络输入待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值。神经网络的具体结构如图2所示。使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理像素值处理子网络的输出和预测残差值处理子网络的输出，混合处理子网络的每一层神经网络处理混合处理子网络的输入或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即待去噪的图像区域的去噪结果。
同时，像素值处理子网络的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于待去噪的图像区域的重建预测残差值或该处理子网络自身。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
实施例2
本实例提供的一种基于神经网络的视频去噪方法，具体包括：
向卷积神经网络输入待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值。神经网络的具体结构如图3所示。使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理像素值处理子网络的输出和预测残差值处理子网络的输出，混合处理子网络的每一层神经网络处理混合处理子网络的输入或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即待去噪的图像区域的去噪结果。
同时，像素值处理子网络的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络自身。预测残差值处理子网络的前一层输入来自于待去噪的图像区域的重建预测残差值；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
实施例3
本实例提供的一种基于神经网络的视频去噪方法，具体包括：
向卷积神经网络输入待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值。神经网络的具体结构如图4所示。使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理像素值处理子网络的输出和预测残差值处理子网络的输出，混合处理子网络的每一层神经网络处理混合处理子网络的输入或该子网络的上一层神经网络的输出。混合处理子网络的输出与所述待去噪的图像区域的像素值相加，作为神经网络的最终输出，即待去噪的图像区域的去噪结果。
同时，像素值处理子网络的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于待去噪的图像区域的重建预测残差值或该处理子网络自身。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
实施例4
本实例提供的一种基于神经网络的视频去噪方法，具体包括：
向卷积神经网络输入待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值。神经网络的具体结构如图5所示。使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理像素值处理子网络的输出和预测残差值处理子网络的输出，混合处理子网络的每一层神经网络处理混合处理子网络的输入或该子网络的上一层神经网络的输出。混合处理子网络的输出与所述待去噪的图像区域的像素值相加，作为神经网络的最终输出，即待去噪的图像区域的去噪结果。
同时，像素值处理子网络的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络自身。预测残差值处理子网络的前一层输入来自于待去噪的图像区域的重建预测残差值；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
实施例5
本实例提供的一种基于神经网络的视频去噪方法，具体包括：
向卷积神经网络输入待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值。神经网络的具体结构如图6所示。使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理像素值处理子网络的输出和预测残差值处理子网络的输出，混合处理子网络的每一层神经网络处理混合处理子网络的输入或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即待去噪的图像区域的去噪结果。
同时，像素值处理子网络的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于待去噪的图像区域的重建预测残差值或该处理子网络自身。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
实施例6
本实例提供的一种基于神经网络的视频去噪方法，具体包括：
向卷积神经网络输入待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值。神经网络的具体结构如图7所示。使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理像素值处理子网络的输出和预测残差值处理子网络的输出，混合处理子网络的每一层神经网络处理混合处理子网络的输入或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即待去噪的图像区域的去噪结果。
同时，像素值处理子网络的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络自身。预测残差值处理子网络的前一层输入来自于待去噪的图像区域的重建预测残差值；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
实施例7
本实例提供的一种基于神经网络的视频去噪方法，具体包括：
向卷积神经网络输入待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值。神经网络的具体结构如图8所示。使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理像素值处理子网络的输出和预测残差值处理子网络的输出，混合处理子网络的每一层神经网络处理混合处理子网络的输入或该子网络的上一层神经网络的输出。混合处理子网络的输出与所述待去噪的图像区域的像素值相加，作为神经网络的最终输出，即待去噪的图像区域的去噪结果。
同时，像素值处理子网络的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于待去噪的图像区域的重建预测残差值或该处理子网络自身。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
实施例8
本实例提供的一种基于神经网络的视频去噪方法，具体包括：
向卷积神经网络输入待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值。神经网络的具体结构如图9所示。使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理像素值处理子网络的输出和预测残差值处理子网络的输出，混合处理子网络的每一层神经网络处理混合处理子网络的输入或该子网络的上一层神经网络的输出。混合处理子网络的输出与所述待去噪的图像区域的像素值相加，作为神经网络的最终输出，即待去噪的图像区域的去噪结果。
同时，像素值处理子网络的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络自身。
预测残差值处理子网络的前一层输入来自于待去噪的图像区域的重建预测残差值；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
实施例9
本实例提供的一种包含基于神经网络图像去噪的图像编码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图2所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的每一层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的每一层输入都来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差或该处理子网络自身。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
实施例10
本实例提供的一种包含基于神经网络图像去噪的图像编码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图3所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前一层输入来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
实施例11
本实例提供的一种包含基于神经网络图像去噪的图像编码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图4所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出与重建像素值或滤波处理后的重建像素值相加，作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差或该处理子网络自身。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
实施例12
本实例提供的一种包含基于神经网络图像去噪的图像编码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图5所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出与重建像素值或滤波处理后的重建像素值相加，作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前一层输入来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
实施例13
本实例提供的一种包含基于神经网络图像去噪的图像编码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图6所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的每一层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的每一层输入都来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差或该处理子网络自身。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
实施例14
本实例提供的一种包含基于神经网络图像去噪的图像编码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图7所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前一层输入来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
实施例15
本实例提供的一种包含基于神经网络图像去噪的图像编码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图8所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出与重建像素值或滤波处理后的重建像素值相加，作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差或该处理子网络自身。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
实施例16
本实例提供的一种包含基于神经网络图像去噪的图像编码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图9所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出与重建像素值或滤波处理后的重建像素值相加，作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前一层输入来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
实施例17
本实例提供的一种包含基于神经网络图像去噪的图像解码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图2所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差或该处理子网络自身。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的解码。
实施例18
本实例提供的一种包含基于神经网络图像去噪的图像解码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图3所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前一层输入来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的解码。。
实施例19
本实例提供的一种包含基于神经网络图像去噪的图像解码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图4所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出与重建像素值或滤波处理后的重建像素值相加，作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差或该处理子网络自身。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的解码。
实施例20
本实例提供的一种包含基于神经网络图像去噪的图像解码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图5所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出与重建像素值或滤波处理后的重建像素值相加，作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前一层输入来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的解码。
实施例21
本实例提供的一种包含基于神经网络图像去噪的图像解码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图6所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差或该处理子网络自身。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的解码。
实施例22
本实例提供的一种包含基于神经网络图像去噪的图像解码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图7所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出直接作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前一层输入来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的解码。。
实施例23
本实例提供的一种包含基于神经网络图像去噪的图像解码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图8所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出与重建像素值或滤波处理后的重建像素值相加，作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前两层输入都来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差或该处理子网络自身。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的解码。
实施例24
本实例提供的一种包含基于神经网络图像去噪的图像解码方法，具体包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差进行预测补偿处理或者进行预测补偿处理后进行滤波处理，输出重建像素值或滤波处理后的重建像素值。
向卷积神经网络输入重建像素值或滤波处理后的重建像素值和与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差。神经网络的具体结构如图9所示。使用像素值处理子网络处理重建像素值或滤波处理后的重建像素值，使用预测残差值处理子网络处理预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出，所述混合处理子网络的每一层神经网络处理混合处理子网络的输出或该子网络的上一层神经网络的输出。混合处理子网络的输出与重建像素值或滤波处理后的重建像素值相加，作为神经网络的最终输出，即去噪结果。
同时，像素值处理子网络的前两层输入都来自于重建像素值或滤波处理后的重建像素值或该处理子网络自身；预测残差值处理子网络的前一层输入来自于与所述重建像素值或滤波处理后的重建像素值在空间像素位置上相对应的重建预测残差；预测残差值处理子网络的第二层输入来自预测残差值处理子网络的第一层输出以及像素值处理子网络的第一层输出。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
将去噪结果输入到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的解码。
实施例25
本实例提供的一种基于神经网络的图像去噪装置，具体包括：
像素值处理子网络模块131，其输入为待去噪的图像区域的像素值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的像素值。
预测残差值处理子网络模块132，其输入为待去噪的图像区域的重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出,直接由该模块133的输出得到装置的最终输出，即待去噪的图像区域的去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图10所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于待去噪的图像区域的重建预测残差值或该处理子网络模块自身。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
实施例26
本实例提供的一种基于神经网络的图像去噪装置，具体包括：
像素值处理子网络模块131，其输入为待去噪的图像区域的像素值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的像素值。
预测残差值处理子网络模块132，其输入为待去噪的图像区域的重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到装置的最终输出，即待去噪的图像区域的去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图11所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于待去噪的图像区域的重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132的第一层输出以及像素值处理子网络模块131的第一层输出。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
实施例27
本实例提供的一种基于神经网络的图像去噪装置，具体包括：
像素值处理子网络模块131，其输入为待去噪的图像区域的像素值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的像素值。
预测残差值处理子网络模块132，其输入为待去噪的图像区域的重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述待去噪的图像区域的像素值相加得到装置的输出，即待去噪的图像区域的去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图12所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于待去噪的图像区域的重建预测残差值或该处理子网络模块132自身。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
实施例28
本实例提供的一种基于神经网络的图像去噪装置，具体包括：
像素值处理子网络模块131，其输入为待去噪的图像区域的像素值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的像素值。
预测残差值处理子网络模块132，其输入为待去噪的图像区域的重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述待去噪的图像区域的像素值相加得到装置的输出，即待去噪的图像区域的去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图13所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于待去噪的图像区域的重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132的第一层输出以及像素值处理子网络模块131的第一层输出。
同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
实施例29
本实例提供的一种基于神经网络的图像去噪装置，具体包括：
像素值处理子网络模块131，其输入为待去噪的图像区域的像素值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的像素值。
预测残差值处理子网络模块132，其输入为待去噪的图像区域的重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出,直接由该模块133的输出得到装置的最终输出，即待去噪的图像区域的去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图14所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于待去噪的图像区域的重建预测残差值或该处理子网络模块自身。
实施例30
本实例提供的一种基于神经网络的图像去噪装置，具体包括：
像素值处理子网络模块131，其输入为待去噪的图像区域的像素值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的像素值。
预测残差值处理子网络模块132，其输入为待去噪的图像区域的重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到装置的最终输出，即待去噪的图像区域的去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图15所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于待去噪的图像区域的重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132的第一层输出以及像素值处理子网络模块131的第一层输出。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
实施例31
本实例提供的一种基于神经网络的图像去噪装置，具体包括：
像素值处理子网络模块131，其输入为待去噪的图像区域的像素值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的像素值。
预测残差值处理子网络模块132，其输入为待去噪的图像区域的重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述待去噪的图像区域的像素值相加得到装置的输出，即待去噪的图像区域的去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图16所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于待去噪的图像区域的重建预测残差值或该处理子网络模块132自身。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
实施例32
本实例提供的一种基于神经网络的图像去噪装置，具体包括：
像素值处理子网络模块131，其输入为待去噪的图像区域的像素值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的像素值。
预测残差值处理子网络模块132，其输入为待去噪的图像区域的重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述待去噪的图像区域的像素值相加得到装置的输出，即待去噪的图像区域的去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图17所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于待去噪的图像区域的像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于待去噪的图像区域的重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132的第一层输出以及像素值处理子网络模块131的第一层输出。
同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
实施例33
本实例提供的一种包含基于神经网络图像去噪的图像编码装置，具体包括：
装置示意图如图18所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图10所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于重建预测残差值或该处理子网络模块132自身。同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
输出模块143，其输入为去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例34
本实例提供的一种包含基于神经网络图像去噪的图像编码装置，具体包括：
装置示意图如图18所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图11所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132 的第一层输出以及像素值处理子网络模块131的第一层输出。同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
输出模块143，其输入为去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例35
本实例提供的一种包含基于神经网络图像去噪的图像编码装置，具体包括：
装置示意图如图18所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述重建像素值或经过滤波处理的重建像素值相加得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图12所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于重建预测残差值或该处理子网络模块132自身。同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
输出模块143，其输入为所述去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例36
本实例提供的一种包含基于神经网络图像去噪的图像编码装置，具体包括：
装置示意图如图18所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述重建像素值或经过滤波处理的重建像素值相加得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图13所示。
其中，所述混合处理子网络模块133的前两层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，预测残差值处理子网络模块132的前一层输入来自于重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132的第一层输出以及像素值处理子网络模块131的第一层输出。同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
输出模块143，其输入为所述去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例37
本实例提供的一种包含基于神经网络图像去噪的图像编码装置，具体包括：
装置示意图如图18所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图14所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于重建预测残差值或该处理子网络模块132自身。同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
输出模块143，其输入为去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例38
本实例提供的一种包含基于神经网络图像去噪的图像编码装置，具体包括：
装置示意图如图18所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图15所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132 的第一层输出以及像素值处理子网络模块131的第一层输出。同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
输出模块143，其输入为去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例39
本实例提供的一种包含基于神经网络图像去噪的图像编码装置，具体包括：
装置示意图如图18所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述重建像素值或经过滤波处理的重建像素值相加得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图16所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于重建预测残差值或该处理子网络模块132自身。同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
输出模块143，其输入为所述去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例40
本实例提供的一种包含基于神经网络图像去噪的图像编码装置，具体包括：
装置示意图如图18所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述重建像素值或经过滤波处理的重建像素值相加得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图17所示。
其中，所述混合处理子网络模块133的前两层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，预测残差值处理子网络模块132的前一层输入来自于重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132的第一层输出以及像素值处理子网络模块131的第一层输出。同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
输出模块143，其输入为所述去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例41
本实例提供的一种包含基于神经网络图像去噪的图像解码装置，具体包括：
装置示意图如图19所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图10所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于重建预测残差值或该处理子网络模块132自身。同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
输出模块144，其输入为去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的解码。
实施例42
本实例提供的一种包含基于神经网络图像去噪的图像解码装置，具体包括：
装置示意图如图19所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图11所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132 的第一层输出以及像素值处理子网络模块131的第一层输出。同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
输出模块144，其输入为去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例43
本实例提供的一种包含基于神经网络图像去噪的图像解码装置，具体包括：
装置示意图如图19所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述重建像素值或经过滤波处理的重建像素值相加得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图12所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于重建预测残差值或该处理子网络模块132自身。同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
输出模块144，其输入为所述去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例44
本实例提供的一种包含基于神经网络图像去噪的图像解码装置，具体包括：
装置示意图如图19所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述重建像素值或经过滤波处理的重建像素值相加得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图13所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差处理子网络模块132的第一层输出以及像素值处理子网络模块131的第一层输出。同时，混合处理子网络的第一层神经网络只使用一种尺寸的卷积核。
输出模块144，其输入为所述去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例45
本实例提供的一种包含基于神经网络图像去噪的图像解码装置，具体包括：
装置示意图如图19所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图14所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于重建预测残差值或该处理子网络模块132自身。同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
输出模块144，其输入为去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的解码。
实施例46
本实例提供的一种包含基于神经网络图像去噪的图像解码装置，具体包括：
装置示意图如图19所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，直接由该模块133的输出得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图15所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差值处理子网络模块132 的第一层输出以及像素值处理子网络模块131的第一层输出。同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
输出模块144，其输入为去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例47
本实例提供的一种包含基于神经网络图像去噪的图像解码装置，具体包括：
装置示意图如图19所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述重建像素值或经过滤波处理的重建像素值相加得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图16所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前两层输入都来自于重建预测残差值或该处理子网络模块132自身。同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
输出模块144，其输入为所述去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
实施例48
本实例提供的一种包含基于神经网络图像去噪的图像解码装置，具体包括：
装置示意图如图19所示。
预测补偿处理模块141，其输入为重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；
该模块的功能为：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值至少进行预测补偿处理；
该模块的输出为重建像素值或经过滤波处理的重建像素值。
像素值处理子网络模块131，其输入为所述重建像素值或经过滤波处理的重建像素值；
该模块的功能为：
使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值。
预测残差值处理子网络模块132，其输入为重建预测残差值；
该模块的功能为：使用卷积神经网络模型，处理重建预测残差值。
混合处理子网络模块133，其输入为所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出；
该模块的功能为：使用卷积神经网络模型，联合处理所述像素值处理子网络模块131的输出和所述预测残差值处理子网络模块132的输出，由该模块133的输出与所述重建像素值或经过滤波处理的重建像素值相加得到去噪结果。
像素值处理子网络模块131、预测残差值处理子网络模块132和混合处理子网络模块133的具体结构如图17所示。
其中，所述混合处理子网络模块133的每一层神经网络处理混合处理子网络模块133的上一层神经网络的输出。同时，，像素值处理子网络模块131的前两层输入都来自于重建像素值或经过滤波处理的重建像素值或该处理子网络模块131自身；预测残差值处理子网络模块132的前一层输入来自于重建预测残差值；预测残差值处理子网络模块132的第二层输入来自于预测残差处理子网络模块132的第一层输出以及像素值处理子网络模块131的第一层输出。同时，混合处理子网络的第一层神经网络使用两种尺寸的卷积核。
输出模块144，其输入为所述去噪结果；
该模块的功能为：将去噪结果输入到解码图像缓存器中；或输入到进一步的滤波处理装置中再输入到解码图像缓存器中，用于后续图像的编码或解码。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做若干等同替代或明显变型，而且性能或用途相同，都应视为属于本发明的保护范围。
Claims (10)
1.一种基于神经网络的图像去噪方法，其特征在于包括：
使用卷积神经网络模型；
获得所述神经网络需要的两种输入，分别是待去噪的图像区域的像素值和所述待去噪的图像区域的重建预测残差值；
使用像素值处理子网络处理所述的待去噪的图像区域的像素值，使用预测残差值处理子网络处理所述的待去噪的图像区域的重建预测残差值；使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出；
待去噪的图像区域的去噪结果由以下方法之一得到：直接由所述混合处理子网络的输出得到；由所述混合处理子网络的输出与所述待去噪的图像区域的像素值相加得到。
2.如权利要求1所述的基于神经网络的图像去噪方法，其特征还在于：
所述像素值处理子网络和所述预测残差值处理子网络中，至少有一个处理子网络的前N层的输入仅来自该处理子网络对应的输入信号和该处理子网络自身；N的取值为大于等于一的正整数。
3.如权利要求1所述的基于神经网络的图像去噪方法，其特征还在于：
所述像素值处理子网络、所述预测残差值处理子网络或所述混合处理子网络中至少有一层神经网络使用两种或两种以上尺寸的卷积核。
4.一种包含基于神经网络图像去噪的图像编码或解码方法，其特征在于包括：
获取重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值进行预测补偿处理或进行预测补偿处理后进行滤波处理，输出重建像素值或经过滤波处理的重建像素值；
对于所述的重建像素值进行去噪处理，获得去噪结果，所述的去噪处理包括：
将所述重建像素值或经过滤波处理的重建像素值以及与所述重建像素值或经过滤波处理的重建像素值在空间像素位置上相对应的重建预测残差值输入卷积神经网络进行去噪处理，其中，
使用像素值处理子网络处理所述的重建像素值或经过滤波处理的重建像素值；
使用预测残差值处理子网络处理所述的预测残差值；
使用混合处理子网络联合处理所述像素值处理子网络的输出和所述预测残差值处理子网络的输出；
去噪结果由以下方法之一得到：直接由所述混合处理子网络的输出得到；由所述混合处理子网络的输出与所述重建像素值或经过滤波处理的重建像素值相加得到；
将所述的去噪结果输出到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
5.如权利要求4所述的包含基于神经网络图像去噪的图像编码或解码方法，其特征还在于：
所述像素值处理子网络和所述预测残差值处理子网络中，至少有一个处理子网络的前N层的输入仅来自该处理子网络对应的输入信号和该处理子网络自身；N的取值为大于等于一的正整数。
6.一种基于神经网络的图像去噪装置，其特征在于包括：
像素值处理子网络模块：使用卷积神经网络模型，处理待去噪的图像区域的像素值；输入是待去噪的图像区域的像素值；
预测残差值处理子网络模块：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值；输入是待去噪的图像区域的重建预测残差值；
混合处理子网络模块：使用卷积神经网络模型，联合处理所述像素值处理子网络模块的输出和所述预测残差值处理子网络模块的输出，由以下方法之一得到装置的输出：直接由所述混合处理子网络模块的输出得到；由所述混合处理子网络模块的输出与所述待去噪的图像区域的像素值相加得到；此模块的输入是所述像素值处理子网络模块的输出和所述预测残差值处理子网络模块的输出。
7.如权利要求6所述的基于神经网络的图像去噪装置，其特征还在于：
所述像素值处理子网络模块和所述预测残差值处理子网络模块中，至少有一个处理子网络模块的前N层的输入仅来自该处理子网络模块对应的输入信号和该处理子网络模块自身；N的取值为大于等于一的正整数。
8.如权利要求6所述的基于神经网络的图像去噪装置，其特征还在于：
所述像素值处理子网络模块、所述预测残差值处理子网络模块或所述混合处理子网络模块中至少有一层神经网络使用两种或两种以上尺寸的卷积核。
9.一种包含基于神经网络图像去噪的图像编码或解码装置，其特征在于包括：
预测补偿处理模块：对重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值进行预测补偿处理或进行预测补偿处理后进行滤波处理；输入是重建预测像素值和与所述重建预测像素值在空间像素位置上相对应的重建预测残差值；输出是重建像素值或经过滤波处理的重建像素值；
像素值处理子网络模块：使用卷积神经网络模型，处理重建像素值或经过滤波处理的重建像素值；输入是所述重建像素值或经过滤波处理的重建像素值；
预测残差值处理子网络模块：使用卷积神经网络模型，处理待去噪的图像区域的重建预测残差值；输入是所述重建预测残差值；
混合处理子网络模块：使用卷积神经网络模型，联合处理所述像素值处理子网络模块的输出和所述预测残差值处理子网络模块的输出，由以下方法之一得到去噪结果：直接由所述混合处理子网络模块的输出得到；由所述混合处理子网络模块的输出与所述重建像素值或经过滤波处理的重建像素值相加得到；输入是所述像素值处理子网络模块的输出和所述预测残差值处理子网络模块的输出；
输出模块：将所述的去噪结果输出到解码图像缓存器中或将所述的去噪结果进行进一步的滤波后输出到解码图像缓存器中，用于后续图像的编码或解码。
10.如权利要求10所述的包含基于神经网络图像去噪的图像编码或解码装置，其特征还在于：
所述像素值处理子网络模块和所述预测残差值处理子网络模块中，至少有一个处理子网络模块的前N层的输入仅来自该处理子网络模块对应的输入信号和该处理子网络模块自身；N的取值为大于等于一的正整数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810638299.1A CN110619607B (zh) | 2018-06-20 | 2018-06-20 | 图像去噪和包含图像去噪的图像编解码方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810638299.1A CN110619607B (zh) | 2018-06-20 | 2018-06-20 | 图像去噪和包含图像去噪的图像编解码方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619607A true CN110619607A (zh) | 2019-12-27 |
| CN110619607B CN110619607B (zh) | 2022-04-15 |
Family
ID=68920587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810638299.1A Active CN110619607B (zh) | 2018-06-20 | 2018-06-20 | 图像去噪和包含图像去噪的图像编解码方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619607B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111064958A (zh) * | 2019-12-28 | 2020-04-24 | 复旦大学 | 一种针对b帧和p帧的低复杂度神经网络滤波算法 |
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
| US11540798B2 (en) | 2019-08-30 | 2023-01-03 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011117890A2 (en) * | 2010-03-25 | 2011-09-29 | Guavus Network Systems Pvt. Ltd. | Method for streaming svd computation |
| US20140160323A1 (en) * | 2012-12-12 | 2014-06-12 | Forus Health Pvt. Ltd. | Image Processing Method and Apparatus for Correcting an Image |
| CN104992421A (zh) * | 2015-07-09 | 2015-10-21 | 西安电子科技大学 | 一种基于OpenCL的图像去噪算法的并行优化方法 |
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN106408522A (zh) * | 2016-06-27 | 2017-02-15 | 深圳市未来媒体技术研究院 | 一种基于卷积对神经网络的图像去噪方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN107040785A (zh) * | 2016-02-04 | 2017-08-11 | 联发科技股份有限公司 | 图像解码和图像编码的方法和装置 |
-
2018
- 2018-06-20 CN CN201810638299.1A patent/CN110619607B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011117890A2 (en) * | 2010-03-25 | 2011-09-29 | Guavus Network Systems Pvt. Ltd. | Method for streaming svd computation |
| US20140160323A1 (en) * | 2012-12-12 | 2014-06-12 | Forus Health Pvt. Ltd. | Image Processing Method and Apparatus for Correcting an Image |
| CN104992421A (zh) * | 2015-07-09 | 2015-10-21 | 西安电子科技大学 | 一种基于OpenCL的图像去噪算法的并行优化方法 |
| CN107040785A (zh) * | 2016-02-04 | 2017-08-11 | 联发科技股份有限公司 | 图像解码和图像编码的方法和装置 |
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN106408522A (zh) * | 2016-06-27 | 2017-02-15 | 深圳市未来媒体技术研究院 | 一种基于卷积对神经网络的图像去噪方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| TIANYANG WANG 等: "Dilated Deep Residual Network for Image Denoising", 《2017 IEEE 29TH INTERNATIONAL CONFERENCE ON TOOL WITH ARTIFICIAL INTELLIGENCE》 * |
| 韩宏伟 等: "一种离焦模糊图像的约束复原方法", 《海军工程大学学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11540798B2 (en) | 2019-08-30 | 2023-01-03 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising |
| CN111064958A (zh) * | 2019-12-28 | 2020-04-24 | 复旦大学 | 一种针对b帧和p帧的低复杂度神经网络滤波算法 |
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
| CN114494569B (zh) * | 2022-01-27 | 2023-09-19 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110619607B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11589041B2 (en) | Method and apparatus of neural network based processing in video coding | |
| Zhang et al. | Improved total variation based image compressive sensing recovery by nonlocal regularization | |
| US9641729B2 (en) | System and method for encoder-integrated media denoising | |
| TW201924342A (zh) | 用於視訊編碼的神經網絡方法和裝置 | |
| CN109120937B (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
| Song et al. | A practical convolutional neural network as loop filter for intra frame | |
| CN110619607B (zh) | 图像去噪和包含图像去噪的图像编解码方法及装置 | |
| CN111885280B (zh) | 一种混合卷积神经网络视频编码环路滤波方法 | |
| CN110740319B (zh) | 视频编解码方法、装置、电子设备及存储介质 | |
| WO2021249290A1 (zh) | 环路滤波方法和装置 | |
| CN101883280A (zh) | 一种恢复噪声的视频编解码方法和系统 | |
| CN110100437B (zh) | 用于有损视频编码的混合域协作环路滤波器 | |
| CN116349225A (zh) | 用于逐块图像压缩中的去块的内容自适应在线训练方法和装置 | |
| WO2020192034A1 (zh) | 滤波方法及装置、计算机存储介质 | |
| US10694216B2 (en) | Video coding using separate learning and filtering pathways | |
| US20240015336A1 (en) | Filtering method and apparatus, computer-readable medium, and electronic device | |
| US20240144439A1 (en) | Filtering method and apparatus, computer-readable medium | |
| US11985313B2 (en) | Filtering method and apparatus, and computer storage medium | |
| US11683515B2 (en) | Video compression with adaptive iterative intra-prediction | |
| Kuo et al. | Image Compression Architecture with Built-in Lightweight Model | |
| EP4087254A1 (en) | Inter-frame prediction method, encoder, decoder and storage medium | |
| US20210152832A1 (en) | Reconstructing transformed domain information in encoded video streams | |
| CN117880512A (zh) | 一种b帧的多时间层分层滤波方法、装置、设备及介质 | |
| CN117480777A (zh) | 编码方法、解码方法、编码器、解码器和解码系统 | |
| TW202337219A (zh) | 用於視訊編碼之環內神經網路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |