CN106604030A - 参考图像的处理方法及装置、编码器以及解码器 - Google Patents
参考图像的处理方法及装置、编码器以及解码器 Download PDFInfo
- Publication number
- CN106604030A CN106604030A CN201510677273.4A CN201510677273A CN106604030A CN 106604030 A CN106604030 A CN 106604030A CN 201510677273 A CN201510677273 A CN 201510677273A CN 106604030 A CN106604030 A CN 106604030A
- Authority
- CN
- China
- Prior art keywords
- reference picture
- filtered
- list
- filtering
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种参考图像的处理方法及装置、编码器以及解码器，其中该方法包括：根据待编码视频图像和参考图像确定滤波参数；根据滤波参数对参考图像进行滤波；将滤波后的参考图像插入参考图像列表；将滤波参数写入待编码视频图像的码流。通过本发明，解决了相关技术中采用加权预测只能对一个图像层/分片层进行编码，而对于局部亮度变化的情况并不适用的问题。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种参考图像的处理方法及装置、编码器以及解码器。
背景技术
提高预测准确度和降低有损压缩的误差是两个可以提高视频压缩效率的方向。在视频编码标准制定的过程中，配合精细的编码块划分，使用日益复杂的帧间与帧内预测算法，提高了预测值的准确度，降低预测误差；同时，在对图像预测差进行量化编码后，编码器对图像的本地解码恢复图像进行环路滤波，降低了解码恢复图像与原始图像之间的有损压缩带来的误差，并将滤波后的图像作为后续图像的预测参考图像。通过这些方法，最新的视频编码标准H.265/HEVC较之其之前的视频编码标准获得了巨大的压缩效率提升。
随着摄像头成像技术的发展，视频分辨率和拍摄图像质量日益提高。视频图像中包含更多的细节信息，特别是场景中由于物体之间的相互遮挡、物体表面的光线反射等带来的局部亮度不均匀等特征。这在高比特采样深度、高动态范围视频上体现地更加明显。同时，在时域上，由于摄像机拍摄方位和角度、镜头焦点变化、物体运动等因素，也使得这些空间上的局部亮度不均匀性在时域上也呈现出不均匀的特性。这些信源特性影响了预测的准确度。
为此，现有标准(如H.264/AVC、H.265/HEVC)中采用了加权预测(WeightedPrediction，简称为WP)的方法，使用一个乘性因子和一个加性偏移量补偿当前图像与参考图像之间的亮度差异。加权预测对于图像整体亮度均匀变化的淡入、淡出场景较为有效，但由于加权预测是一个图像层/分片(slice)层编码工具，因此对于局部亮度变化的情况并不适用。尽管可以采用尽可能小的分片划分来包含局部亮度变换，但这样将使得图像中包含较多分片划分，增加了编码分片头信息的比特开销。使用现有标准中的编码算法应对这一问题的另一个途径是使用更小的、更精细的编码单元、预测单元的划分，但这样也增加了块划分的比特开销。因此，针对高质量、高分辨率视频，需要更有效的编码方法和对应的解码方法来适应新的信源特性，提高压缩编码效率。
针对相关技术中的上述问题，目前尚未存在有效的解决方案。
发明内容
本发明提供了一种参考图像的处理方法及装置、编码器以及解码器，以至少解决相关技术中采用加权预测只能对一个图像层/分片层进行编码，而对于局部亮度变化的情况并不适用的问题。
根据本发明的一个方面，提供了一种参考图像的处理方法，包括：根据待编码视频图像和参考图像确定滤波参数；根据所述滤波参数对所述参考图像进行滤波；将滤波后的参考图像插入参考图像列表；将所述滤波参数写入所述视频图像的码流。
进一步地，所述滤波参数包括以下至少之一：滤波控制参数、滤波器类型、滤波器系数、参考图像的滤波区域及所述滤波区域使用的滤波器；其中，所述滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
进一步地，所述根据待编码视频图像和参考图像确定滤波参数包括：确定所述参考图像中进行滤波的滤波区域；根据所述滤波区域内所述参考图像的像素点采样值和所述待编码视频图像中目标区域内的像素点采样值得到所述滤波参数。
进一步地，所述目标区域为所述待编码视频图像中与所述滤波区域同位置、同大小的区域；或，所述目标区域为所述待编码视频图像中与所述滤波区域同位置区域之间存在指定偏移矢量的区域；或，所述目标区域为根据所述待编码视频图像中的像素点采样值构造得到的与所述滤波区域包含相同数量像素点采样值、并排列成相同的形状的区域。
进一步地，所述将滤波后的参考图像插入参考图像列表包括：用滤波后的参考图像代替所述参考图像列表中与滤波后的参考图像对应的滤波前的参考图像插入到构造所述参考图像列表过程中的中间列表，或，保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造所述参考图像列表过程中的中间列表；或，用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到所述与滤波后的参考图像对应的参考图像在所述参考图像列表中的位置；或，保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到所述参考图像列表中的指定位置；其中，所述中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
进一步地，还包括：使用参考图像列表调整操作改变所述滤波后的参考图像在所述参考图像列表中的位置，并将与所述参考图像列表调整操作对应的参数写入所述待编码视频图像的码流。
进一步地，所述将滤波参数写入所述视频图像的码流包括：将所述参考图像列表构造过程中的滤波参数写入所述待编码视频图像的码流，其中，所述码流的数据包括：参数集、分片头信息、应用于图像和/或分片的码流数据。
根据本发明的再一个方面，提供了一种参考图像的处理方法，包括：对视频图像的码流进行解析得到滤波参数；根据所述滤波参数对参考图像进行滤波；将滤波后的参考图像插入参考图像列表。
进一步地，所述滤波参数包括以下至少之一：滤波控制参数、滤波器类型、滤波器系数、所述参考图像的滤波区域及所述滤波区域使用的滤波器；其中，所述滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
进一步地，根据所述滤波参数对参考图像进行滤波包括：根据所述滤波参数指示的滤波器对所述滤波参数指示的所述参考图像的区域进行滤波。
进一步地，所述将滤波后的参考图像插入参考图像列表包括：用滤波后的参考图像代替所述参考图像列表中与滤波后的参考图像对应的滤波前的参考图像插入到构造所述参考图像列表过程中的中间列表；或，保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造所述参考图像列表过程中的中间列表；或，用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到所述与滤波后的参考图像对应的参考图像在所述参考图像列表中的位置；或，保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到所述参考图像列表中的指定位置；其中，所述中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
进一步地，所述滤波后的参考图像插入参考图像列表包括：解析所述码流中参考图像列表调整操作的参数，并根据所述参考图像列表调整操作改变所述滤波后的参考图像在所述参考图像列表中的位置。
进一步地，用于解析的所述视频图像的码流数据包括以下至少之一：参数集、分片头信息；应用于图像和/或分片的码流数据单元。
根据本发明的又一个方面，提供了一种参考图像的处理装置，包括：确定模块，用于根据待编码视频图像和参考图像确定滤波参数；第一滤波模块，用于根据所述滤波参数对所述参考图像进行滤波；第一插入模块，用于将滤波后的参考图像插入参考图像列表；第一处理模块，用于将所述滤波参数写入所述视频图像的码流。
进一步地，所述滤波参数包括以下至少之一：滤波控制参数、滤波器类型，滤波器系数，参考图像的滤波区域及所述滤波区域使用的滤波器，其中，所述滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
进一步地，所述确定模块包括：确定单元，用于确定所述参考图像中进行滤波的滤波区域；第一处理单元，用于根据所述滤波区域内所述参考图像的像素点采样值和所述待编码视频图像向中目标区域内的所述参考图像的像素点采样值得到所述滤波参数。
进一步地，所述目标区域为所述待编码视频图像中与所述滤波区域同位置、同大小的区域；或，所述目标区域为所述待编码视频图像中与所述滤波区域同位置区域之间存在指定偏移矢量的区域；或，所述目标区域为根据所述待编码视频图像中的像素点采样值构造得到的与所述滤波区域包含相同数量像素点采样值、并排列成相同的形状的区域。
进一步地，所述第一插入模块包括：第一插入单元，用于用滤波后的参考图像代替所述参考图像列表中与滤波后的参考图像对应的滤波前的参考图像，以插入到在构造所述参考图像列表过程中的中间列表，或，第二插入单元，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造所述参考图像列表过程中的中间列表；或，第三插入单元，用于用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到所述与滤波后的参考图像对应的参考图像在所述参考图像列表中的位置；或，第四插入单元，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到所述参考图像列表中的指定位置；其中，所述中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
进一步地，所述第一插入模块还包括：第二处理单元，用于使用参考图像列表调整操作改变所述滤波后的参考图像在所述参考图像列表中的位置；第一写入单元，用于将与所述参考图像列表调整操作对应的参数写入所述待编码视频图像的码流。
进一步地，所述第一处理模块包括：第二写入单元，用于将所述参考图像列表构造过程中的滤波参数写入所述待编码视频图像的码流，其中，所述码流的数据包括：参数集、分片头信息、应用于图像和/或分片的码流数据。
根据本发明的又一个方面，提供了一种参考图像的处理装置，包括：解析模块，用于对视频图像的码流进行解析得到滤波参数；第二滤波模块，用于根据所述滤波参数对参考图像进行滤波；第二插入模块，用于将滤波后的参考图像插入参考图像列表。
进一步地，所述滤波参数包括以下至少之一：滤波控制参数、滤波器类型、滤波器系数、所述参考图像的滤波区域及所述滤波区域使用的滤波器；其中，所述滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
进一步地，所述第二滤波模块，还用于根据所述滤波参数指示的滤波器对所述滤波参数指示的所述参考图像的区域进行滤波。
进一步地，所述第二插入模块包括：第五插入单元，用于用滤波后的参考图像代替所述参考图像列表中与滤波后的参考图像对应的滤波前的参考图像插入到构造所述参考图像列表过程中的中间列表，或，第六插入单元，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造所述参考图像列表过程中的中间列表；或，第七插入单元，用于用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到所述与滤波后的参考图像对应的参考图像在所述参考图像列表中的位置；或，第八插入单元，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到所述参考图像列表中的指定位置；其中，所述中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
进一步地，所述第二插入模块还包括：第三处理单元，用于解析所述码流中参考图像列表调整操作的参数，并根据所述参考图像列表调整操作改变所述滤波后的参考图像在所述参考图像列表中的位置。
进一步地，用于解析的所述视频图像的码流数据包括以下至少之一：参数集、分片头信息；应用于图像和/或分片的码流数据单元。
根据本发明的又一个方面，提供了一种编码器，包括：所述编码器，用于根据待编码视频图像和参考图像确定滤波参数，并根据所述滤波参数对所述参考图像进行滤波；所述编码器，还用于将滤波后的参考图像插入参考图像列表；以及将滤波参数写入所述视频图像的码流。
根据本发明的又一个方面，提供了一种解码器，包括：所述解码器，用于对视频图像的码流进行解析得到滤波参数，并根据所述滤波参数对参考图像进行滤波；所述解码器，还用于将滤波后的参考图像插入参考图像列表。
通过本发明，根据输入的待编码视频图像和参考图像确定滤波参数，并根据滤波参数对参考图像进行滤波，将滤波后的参考图像插入参考图像列表，将滤波参数写入待编码视频图像的码流中以对参考图像进行预测编码，即通过对滤波后的参考图像插入参考图像列表，将滤波参数写入视频图像的码流进而后续能对参考图像进行预测编码，从而解决了相关技术中采用加权预测只能对一个图像层/分片层进行编码，而对于局部亮度变化的情况并不适用的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的参考图像的处理方法的流程图；
图2是根据本发明实施例的参考图像的处理方法的流程示意图；
图3是根据本发明实施例的第一种参考图像的处理装置的结构框图；
图4是根据本发明实施例的第一种参考图像的处理装置的可选结构框图一；
图5是根据本发明实施例的第一种参考图像的处理装置的可选结构框图二；
图6是根据本发明实施例的第一种参考图像的处理装置的可选结构框图三；
图7是根据本发明实施例的第二种参考图像的处理装置的结构框图；
图8是根据本发明实施例的第二种参考图像的处理装置的可选结构框图一；
图9是根据本发明实施例的第二种参考图像的处理装置的可选结构框图二。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本实施例中提供了一种参考图像的处理方法，图1是根据本发明实施例的参考图像的处理方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102：根据待编码视频图像和参考图像确定滤波参数；
步骤S104：根据滤波参数对参考图像进行滤波；
步骤S106：将滤波后的参考图像插入参考图像列表；
步骤S108：将滤波参数写入待编码视频图像的码流。
通过本实施例的上述步骤S102至步骤S108，根据待编码的视频图像和参考图像确定滤波参数，并根据滤波参数对参考图像进行滤波，将滤波后的参考图像插入参考图像列表，将滤波参数写入视频图像的码流中以对参考图像进行预测编码，即通过对滤波后的参考图像插入参考图像列表，将滤波参数写入待编码视频图像的码流进而后续能对参考图像进行预测编码，从而解决了相关技术中采用加权预测只能对一个图像层/分片层进行编码，而对于局部亮度变化的情况并不适用的问题。
需要说明的是，本实施例中涉及到的滤波参数包括以下至少之一：滤波控制参数、滤波器类型、滤波器系数、参考图像的滤波区域及滤波区域使用的滤波器；其中，滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
基于上述滤波参数，本实施例步骤S102中涉及到的根据待编码的视频图像和参考图像确定滤波参数的方式，可以通过如下步骤来实现：
步骤S102-1：确定参考图像中进行滤波的滤波区域；
步骤S102-2：根据滤波区域内参考图像的像素点采样值和待编码视频图像向中目标区域内的参考图像的像素点采样值得到滤波参数。
对于上述步骤S102-1和步骤S102-2中涉及到的目标区域，在本实施例的可选实施方式中该目标区域为待编码视频图像中与滤波区域同位置、同大小的区域；或，目标区域为待编码视频图像中与滤波区域同位置区域之间存在指定偏移矢量的区域；或，目标区域为根据待编码视频图像中的像素点采样值构造得到的与滤波区域包含相同数量像素点采样值、并排列成相同的形状的区域。
而对于本实施例步骤S106中涉及到的将滤波后的参考图像插入参考图像列表方式，可以通过如下方式来实现：
方式一：用滤波后的参考图像代替参考图像列表中与滤波后的参考图像对应的滤波前的参考图像，以插入到构造参考图像列表过程中的中间列表，或，
方式二：保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造参考图像列表过程中的中间列表；或，
方式三：用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到与滤波后的参考图像对应的参考图像在参考图像列表中的位置；或，
方式四：保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到参考图像列表中的指定位置；
需要说明的是，上述方式一到方式四中涉及到的中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
此外，对于本实施例步骤S108中涉及到的将滤波参数写入视频图像的码流的方式，可以通过如下方式来实现：将参考图像列表构造过程中的滤波参数写入视频图像的码流，其中，码流的数据包括：参数集、分片头信息、应用于图像和/或分片的码流数据。
可选地，在本实施例的另一个可选实施方式中，本实施例的方法还可以包括：使用参考图像列表调整操作改变滤波后的参考图像在参考图像列表中的位置，并将与参考图像列表调整操作对应的参数写入视频图像的码流。
图2是根据本发明实施例的参考图像的处理方法的流程示意图，如图2所示，该方法的步骤包括：
步骤S202：对视频图像的码流进行解析得到滤波参数；
步骤S204：根据滤波参数对参考图像进行滤波；
步骤S206：将滤波后的参考图像插入参考图像列表。
需要说明的是，该步骤S202至步骤S206中涉及到的滤波参数包括以下至少之一：滤波控制参数、滤波器类型、滤波器系数、参考图像的滤波区域及滤波区域使用的滤波器；其中，滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
对于本实施例步骤S204中涉及到的根据滤波参数对参考图像进行滤波的方式，可以通过如下方式来实现：根据滤波参数指示的滤波器对滤波参数指示的参考图像的区域进行滤波。
对于本实施例步骤S206中涉及到的将滤波后的参考图像插入参考图像列表的方式，可以通过如下方式来实现：
方式一：用滤波后的参考图像代替参考图像列表中与滤波后的参考图像对应的滤波前的参考图像插入到构造参考图像列表过程中的中间列表；
方式二：保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造参考图像列表过程中的中间列表；
方式三：用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到与滤波后的参考图像对应的参考图像在参考图像列表中的位置；
方式四：保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到参考图像列表中的指定位置；
需要说明的是，上述方式一至方式四中的中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
需要说明的是，在将滤波后的参考图像插入参考图像列表之后，本实施例的方法还包括：解析码流中参考图像列表调整操作的参数，并根据参考图像列表调整操作改变滤波后的参考图像在参考图像列表中的位置。
可选地，本实施例中涉及到的用于解析的视频图像的码流数据包括以下至少之一：参数集、分片头信息；应用于图像和/或分片的码流数据单元。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种参考图像的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的第一种参考图像的处理装置的结构框图，如图3所示，该装置包括：确定模块32，用于根据待编码的视频图像和参考图像确定滤波参数；第一滤波模块34，与确定模块32耦合连接，用于根据滤波参数对参考图像进行滤波；第一插入模块36，与第一滤波模块34耦合连接，用于将滤波后的参考图像插入参考图像列表；第一处理模块38，与第一插入模块36耦合连接，用于将滤波参数写入视频图像的码流。
可选地，滤波控制参数、滤波器类型，滤波器系数，参考图像的滤波区域及滤波区域使用的滤波器，其中，滤波控制参数包括是否对参考图像进行滤波操作的控制信息。。
图4是根据本发明实施例的第一种参考图像的处理装置的可选结构框图一，如图4所示，该确定模块32包括：确定单元42，用于确定参考图像中进行滤波的滤波区域；第一处理单元44，与确定单元42耦合连接，用于根据滤波区域内参考图像的像素点采样值和视频图像向中目标区域内的参考图像的像素点采样值得到滤波参数。
可选地，该目标区域为待编码视频图像中与滤波区域同位置、同大小的区域；或，目标区域为待编码视频图像中与滤波区域同位置区域之间存在指定偏移矢量的区域；或，目标区域为根据待编码视频图像中的像素点采样值构造得到的与滤波区域包含相同数量像素点采样值、并排列成相同的形状的区域。
图5是根据本发明实施例的第一种参考图像的处理装置的可选结构框图二，如图5所示，该第一插入模块36包括：第一插入单元52，用于用滤波后的参考图像代替参考图像列表中与滤波后的参考图像对应的滤波前的参考图像，以插入到构造参考图像列表过程中的中间列表，或，第二插入单元54，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入在构造参考图像列表过程中的中间列表；或，第三插入单元56，用于用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到与滤波后的参考图像对应的参考图像在参考图像列表中的位置；或，第四插入单元58，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到参考图像列表中的指定位置；其中，中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
图6是根据本发明实施例的第一种参考图像的处理装置的可选结构框图三，如图6所示，所述第一插入模块36还包括：第二处理单元62，用于使用参考图像列表调整操作改变所述滤波后的参考图像在所述参考图像列表中的位置；第一写入单元64，与第二处理单元62耦合连接，用于将与所述参考图像列表调整操作对应的参数写入所述待编码视频图像的码流。
可选地，第一处理模块38还可以包括：第二写入单元，用于将参考图像列表构造过程中的滤波参数写入视频图像的码流，其中，码流的数据包括：参数集、分片头信息、应用于图像和/或分片的码流数据。
图7是根据本发明实施例的第二种参考图像的处理装置的结构框图，如图7所示，该装置包括：解析模块72，用于对视频图像的码流进行解析得到滤波参数；第二滤波模块74，与解析模块72耦合连接，用于根据滤波参数对参考图像进行滤波；第二插入模块76，与第二滤波模块74耦合连接，用于将滤波后的参考图像插入参考图像列表。
可选地，滤波参数包括以下至少之一：滤波控制参数、滤波器类型、滤波器系数、参考图像的滤波区域及滤波区域使用的滤波器；其中，滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
可选地，第二滤波单元，还用于根据滤波参数指示的滤波器对滤波参数指示的参考图像的区域进行滤波。
图8是根据本发明实施例的第二种参考图像的处理装置的可选结构框图一，如图8所示，第二插入模块76包括：第五插入单元82，用于用滤波后的参考图像代替参考图像列表中与滤波后的参考图像对应的滤波前的参考图像插入到构造参考图像列表过程中的中间列表；或，第六插入单元84，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造参考图像列表过程中的中间列表；或，第七插入单元86，用于用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到与滤波后的参考图像对应的参考图像在参考图像列表中的位置；或，第八插入单元88，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到参考图像列表中的指定位置；其中，中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
图9是根据本发明实施例的第二种参考图像的处理装置的可选结构框图二，如图9所示，，该第二插入模块76还包括：第三处理单元92，用于解析码流中参考图像列表调整操作的参数，并根据参考图像列表调整操作改变滤波后的参考图像在参考图像列表中的位置。
可选地，用于解析的视频图像的码流数据包括以下至少之一：参数集、分片头信息；应用于图像和/或分片的码流数据单元。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述模块分别位于多个处理器中。
基于上述参考图像的编码装置，本实施例还提供了一种编码器，该编码器，用于根据输入的视频图像和参考图像确定滤波参数，并根据滤波参数对参考图像进行滤波；编码器，还用于将滤波后的参考图像插入参考图像列表；以及将滤波参数写入视频图像的码流。
而基于上述参考图像的解码装置，本实施例还提供了一种解码器，该解码器，用于对视频图像的码流进行解析得到滤波参数，并根据滤波参数对参考图像进行滤波；解码器，还用于将滤波后的参考图像插入参考图像列表。
下面结合本发明的可选实施例对本发明进行举例说明；
实施例1：
本实施例1提供一种使用参考图像滤波的编码方法，用于使用参考图像进行构造视频图像预测值的编码器，该方法的步骤包括：
步骤S302，根据输入视频图像和参考图像，确定滤波参数。
其中，滤波参数包括以下至少之一：滤波器类型，滤波器系数，参考图像的滤波区域及滤波区域使用的滤波器。
此外，本可选实施例中，使用设定类型的一维或二维滤波器，参考图像的滤波区域是整个图像。其中，所使用的滤波器可以是对称滤波器，也可以是非对称滤波器。
编码器使用通用的自适应滤波器滤波系数确定方法，以最小化参考图像与输入视频图像之间的误差为目标函数，使用通用的最优化问题求解方法得到滤波器的系数。
可选地，编码器使用编码器优化方法，在确定需要使用参考图像滤波的情况下，对每个将用作输入图像编码的参考图像，使用上述方法确定参考图像的滤波器参数；
可选地，编码器使用编码器优化方法，在确定需要使用参考图像滤波的情况下，在将用作输入图像编码的参考图像中，使用上述方法确定参考图像的滤波器参数。
对于上述方法，在需要使用参考图像滤波的情况下，编码器可以为每个需要进行滤波处理的参考图像分别确定其滤波器参数；或者，编码器为全部需要进行滤波处理的参考图像确定相同的滤波器参数；或者，编码器为部分需要进行滤波处理的参考图像使用相同的滤波参数。
步骤S304，根据滤波参数，对参考图像进行滤波。
其中，编码器使用滤波器及确定的滤波器参数，对需要进行滤波处理的参考图像进行滤波处理，得到滤波后的参考图像。
步骤S306，将滤波后的参考图像插入参考图像列表。
可选地，编码器使用滤波后的参考图像代替原对应参考图像，插入构造参考图像列表过程中的中间列表，用于构造输入视频图像/分片编码过程中使用的参考图像列表。
可选地，编码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表过程中的中间列表，用于构造输入视频图像/分片编码过程中使用的参考图像列表。
可选地，编码器使用滤波后的参考图像代替原对应参考图像，插入到参考图像列表中原参考图像的位置。
可选地，编码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表中的指定位置。这里，可选择地，制定位置可以是预先设定的，例如参考图像列表的最后一个位置、或者原参考图像之后的一个位置等；也可以是指定的位置。当预先设定的位置上有其他参考图像时，编码器使用待插入的滤波后的参考图像代替该图像。
即在构造参考图像列表的过程中，编码器可选择使用参考图像列表调整方法，改变滤波后的参考图像在参考图像列表中的默认位置，将其调整至指定位置。
步骤S308，将滤波参数写入码流。
其中，编码器将滤波参数及滤波控制参数写入图像层和/或分片层码流单元。码流单元可以是如下数据单元中的至少之一：参数集(Parameter Set)；分片头信息；其他应用于图像和/或分片的码流数据单元(如图像头信息、序列头信息等)。滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
编码器将参考图像列表构造过程的参数写入码流，例如，滤波后参考图像的插入位置控制参数，参考图像列表调整操作相关的参数。
编码器对图像/分片进行预测编码。
实施例2：
本实施例2是实施例1的使用参考图像滤波的编码方法对应的解码方法，用于使用参考图像进行构造视频图像预测值的解码器，该方法的步骤包括：
步骤S402，解析码流，获取滤波参数。
其中，解码器解析视频码流，在图像层和/或分片层码流单元中解析与滤波参数相关码流字段，获得滤波参数的取值。滤波参数包括以下至少之一：滤波器类型，滤波器系数，参考图像的滤波区域及滤波区域使用的滤波器。与实施例1编码方法相对应，本实施例中，使用设定类型的一维或二维滤波器，参考图像的滤波区域是整个图像。其中，所使用的滤波器可以是对称滤波器，也可以是非对称滤波器。
解码器解析视频码流，在图像层和/或分片层码流单元中解析与滤波控制参数相关码流字段，包括是否对参考图像进行滤波操作的控制信息。
码流单元可以是如下数据单元中的至少之一：参数集(Parameter Set)；分片头信息；其他应用于图像和/或分片的码流数据单元(如图像头信息、序列头信息等)。
解码器解析参考图像列表构造过程中使用的参数对应的码流字段，获得参数取值，例如，滤波后参考图像的插入位置控制参数，参考图像列表调整操作相关的参数。
步骤S404，根据滤波参数，对参考图像进行滤波。
其中，解码器根据解析码流得到的滤波器参数和滤波控制参数，对需要进行滤波处理的参考图像进行滤波处理，得到滤波后的参考图像。
步骤S406，将滤波后的参考图像插入参考图像列表。
其中，解码器根据解析码流获得的参考图像列表构造参数，例如，滤波后参考图像的插入位置控制参数，参考图像列表调整操作相关的参数，将滤波后的参考图像插入参考图像列表。解码器根据参数，将滤波后的参考图像插入参考图像列表，可采用的操作包括：
可选地，解码器使用滤波后的参考图像代替原对应参考图像，插入构造参考图像列表过程中的中间列表，用于构造图像/分片解码过程中使用的参考图像列表。
可选地，解码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表过程中的中间列表，用于构造图像/分片解码过程中使用的参考图像列表。
可选地，解码器使用滤波后的参考图像代替原对应参考图像，插入到参考图像列表中原图像的位置。
可选地，解码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表中的指定位置。这里，可选择地，制定位置可以是预先设定的，例如参考图像列表的最后一个位置、或者原参考图像之后的一个位置等；也可以是参考图像列表构造参数指定的位置。当预先设定的位置上有其他参考图像时，解码器使用待插入的滤波后的参考图像代替该图像。
在构造参考图像列表的过程中，参考图像列表调整操作相关的参数，改变滤波后的参考图像在参考图像列表中的默认位置，将其调整至指定位置。
解码器对图像/分片进行解码。
实施例3：
本实施例3提供了一种使用参考图像滤波的编码方法，用于使用参考图像进行构造视频图像预测值的编码器。
步骤S502，根据输入视频图像和参考图像，确定滤波参数。
其中，滤波参数包括以下至少之一：滤波器类型，滤波器系数，参考图像的滤波区域及滤波区域使用的滤波器。
本实施例3中，编码器可以从设定类型的一个或多个一维或二维滤波器中选择用于参考图像滤波的滤波器。编码器可以灵活设置参考图像的滤波区域。其中，所使用的滤波器可以是对称滤波器，也可以是非对称滤波器。
编码器使用通用的自适应滤波器滤波系数确定方法，以最小化参考图像区域与输入视频图像的目标区域之间的误差为目标函数，使用通用的最优化问题求解方法得到所使用的滤波器的系数。
编码器使用编码器优化方法，在确定需要使用参考图像滤波的情况下，为参考图像确定需要进行滤波的区域。滤波区域是矩形区域(含正方形区域的情况)，矩形区域可以图像内的任意区域，也可以是包含整数个最大编码单元或整数个最小编码单元的区域。矩形区域划分的一个特例是将整个图像作为一个滤波区域。编码器记录图像中区域划分情况。特殊地，编码器可以直接使用固定方式的图像滤波区域划分方法，例如，固定地将图像(近似)等分成4个区域。
编码器以滤波区域内包含的参考图像的像素点采样值和待编码图像中目标区域内包含的参考图像的像素点采样值作为输入，使用前述方法确定对各滤波区域使用的滤波器以及滤波器系数。其中，待编码图像中的目标区域可以设置为：
待编码图像中与滤波区域同位置、同大小的区域；或者，
待编码图像中与滤波区域同位置区域之间存在一定偏移矢量的区域；或者，
根据待编码图像中的像素点采样值构造得到的与滤波区域包含相同数量像素点采样值、并排列成相同的形状的区域。例如，对待编码图像中像素点采样值进行亚像素插值，将与滤波区域内包含像素点采样值同数量的插值得到的半像素位置上的值组合成与滤波区域形状相同的区域作为目标区域；或者，
使用已编码的参考图像划分方式对待滤波处理的参考图像进行区域划分。
可选地，编码器可以使用率失真优化的方法，在确定滤波器及系数后，进一步确定是否对滤波区域进行滤波。例如，编码器可以使用比较代价函数值的方法确定是否对滤波区域执行滤波操作，当对滤波区域进行滤波对应的代价函数小于不对滤波区域进行滤波的代价函数，编码器对滤波区域进行滤波，反之，不执行滤波。编码器记录是否对滤波区域进行滤波的控制标记。
使用前述方法，编码器为待编码图像的一个或多个参考图像确定滤波参数。可选择地，编码器可以采用仅针对预先选定的参考图像执行上述操作过程，以降低编码器复杂度。例如，编码器仅对与待编码图像的POC(Picture Order Count)值的差值绝对值最小的前向预测参考图像和/或后向预测参考图像进行参考图像滤波处理。
步骤S504，根据滤波参数，对参考图像进行滤波。
编码器使用滤波器及确定的滤波器参数，对需要进行滤波处理的参考图像中的滤波区域进行滤波处理，得到滤波后的参考图像。
步骤S506，将滤波后的参考图像插入参考图像列表。
可选地，编码器使用滤波后的参考图像代替原对应参考图像，插入构造参考图像列表过程中的中间列表，用于构造输入视频图像/分片编码过程中使用的参考图像列表。
可选地，编码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表过程中的中间列表，用于构造输入视频图像/分片编码过程中使用的参考图像列表。
可选地，编码器使用滤波后的参考图像代替原对应参考图像，插入到参考图像列表中原参考图像的位置。
可选地，编码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表中的指定位置。这里，可选择地，制定位置可以是预先设定的，例如参考图像列表的最后一个位置、或者原参考图像之后的一个位置等；也可以是指定的位置。当预先设定的位置上有其他参考图像时，编码器使用待插入的滤波后的参考图像代替该图像。
在构造参考图像列表的过程中，编码器可选择使用参考图像列表调整方法，改变滤波后的参考图像在参考图像列表中的默认位置，将其调整至指定位置。
步骤S508，将滤波参数写入码流。
其中，编码器将滤波参数及滤波控制信息写入图像层和/或分片层码流单元。码流单元可以是如下数据单元中的至少之一：参数集(Parameter Set)；分片头信息；其他应用于图像和/或分片的码流数据单元(如图像头信息、序列头信息等)。
滤波参数包括如下至少之一：滤波器类型，滤波器系数，参考图像的滤波区域及滤波区域使用的滤波器。
滤波控制信息包括如下至少之一：是否对参考图像进行滤波操作的控制信息；参考图像的滤波区域划分信息以及是否对各滤波区域进行滤波操作的控制信息。
编码器将参考图像列表构造过程的参数写入码流，例如，滤波后参考图像的插入位置控制参数，参考图像列表调整操作相关的参数。
可选地，为降低滤波参数的编码开销，编码器可以对区域划分、滤波器系数等信息进行预测编码。具体地，编码器使用选定的已编码区域划分、滤波系数等为参考，编码使用的区域划分、滤波系数等参数与参考值之间的偏移量值或差值。
编码器对图像/分片进行预测编码。
实施例4：
本实施例4是实施例3的使用参考图像滤波的编码方法对应的解码方法，用于使用参考图像进行构造视频图像预测值的解码器。
步骤S602，解析码流，获取滤波参数。
解码器解析视频码流，在图像层和/或分片层码流单元中解析与滤波参数相关码流字段，获得滤波参数的取值。滤波参数包括以下至少之一：滤波器类型，滤波器系数，参考图像的滤波区域及滤波区域使用的滤波器。其中，所使用的滤波器可以是对称滤波器，也可以是非对称滤波器。
解码器解析视频码流，在图像层和/或分片层码流单元中解析与滤波控制信息相关码流字段，获得控制信息的取值，包括以下至少之一：是否对参考图像进行滤波操作的控制信息；参考图像的滤波区域划分信息以及是否对各滤波区域进行滤波操作的控制信息。
码流单元可以是如下数据单元中的至少之一：参数集(Parameter Set)；分片头信息；其他应用于图像和/或分片的码流数据单元(如图像头信息、序列头信息等)。
解码器解析参考图像列表构造过程中使用的参数对应的码流字段，获得参数取值，例如，滤波后参考图像的插入位置控制参数，参考图像列表调整操作相关的参数。
步骤S604，根据滤波参数，对参考图像进行滤波。
解码器使用滤波参数，对需要进行滤波处理的参考图像进行滤波处理，得到滤波后的参考图像。
解码器根据滤波控制信息，对需要进行滤波处理的参考图像进行滤波处理。解码器根据滤波参数中滤波区域参数，对参考图像进行滤波区域的划分。解码器对各需要进行滤波处理的滤波区域，使用滤波参数中指示的滤波器和滤波器系数，对滤波区域进行滤波处理。
步骤S606，将滤波后的参考图像插入参考图像列表。
其中，解码器根据解析码流获得的参考图像列表构造参数，例如，滤波后参考图像的插入位置控制参数，参考图像列表调整操作相关的参数，将滤波后的参考图像插入参考图像列表。解码器根据参数，将滤波后的参考图像插入参考图像列表，可采用的操作包括：
可选地，解码器使用滤波后的参考图像代替原对应参考图像，插入构造参考图像列表过程中的中间列表，用于构造图像/分片解码过程中使用的参考图像列表。
可选地，解码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表过程中的中间列表，用于构造图像/分片解码过程中使用的参考图像列表。
可选地，解码器使用滤波后的参考图像代替原对应参考图像，插入到参考图像列表中原图像的位置。
可选地，解码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表中的指定位置。这里，可选择地，制定位置可以是预先设定的，例如参考图像列表的最后一个位置、或者原参考图像之后的一个位置等；也可以是参考图像列表构造参数指定的位置。当预先设定的位置上有其他参考图像时，解码器使用待插入的滤波后的参考图像代替该图像。
在构造参考图像列表的过程中，参考图像列表调整操作相关的参数，改变滤波后的参考图像在参考图像列表中的默认位置，将其调整至指定位置。
解码器对图像/分片进行解码。
实施例5：
本实施例5提供一种使用参考图像滤波的编码方法，用于使用参考图像进行构造视频图像预测值的编码器。
步骤S702，根据输入视频图像和参考图像，确定滤波参数。
滤波参数包括以下至少之一：滤波器类型，滤波器系数，参考图像的滤波区域及滤波区域使用的滤波器。
本实施例中，编码器可以从设定类型的一个或多个一维或二维滤波器中选择用于参考图像滤波的滤波器。编码器可以灵活设置参考图像的滤波区域。其中，所使用的滤波器可以是对称滤波器，也可以是非对称滤波器。
对于每种设定类型的滤波器，已经预设了一组或多组滤波器系数。编码器可以从预设滤波器系数中选择对参考图像进行滤波过程使用的滤波器系数。
编码器使用编码器优化方法，在确定需要使用参考图像滤波的情况下，为参考图像确定需要进行滤波的区域。滤波区域是矩形区域(含正方形区域的情况)，矩形区域可以图像内的任意区域，也可以是包含整数个最大编码单元或整数个最小编码单元的区域。矩形区域划分的一个特例是将整个图像作为一个滤波区域。编码器记录图像中区域划分情况。特殊地，编码器可以直接使用固定方式的图像滤波区域划分方法，例如，固定地将图像(近似)等分成4个区域。
可选地，在滤波区域确定过程中，编码器可以同时确定为滤波区域确定滤波器类型和滤波器系数。可选择地，编码器可以在滤波区域确定后，再为滤波区域确定滤波器类型和滤波器系数。
编码器使用率失真优化方法，为参考图像中的滤波区域选择能够使得代价函数取值最小的滤波器类型及滤波器系数。编码器以滤波区域内包含的参考图像的像素点采样值和待编码图像中目标区域内包含的参考图像的像素点采样值作为率失真优化模块的输入来计算不同滤波器类型和滤波器系数组合下的代价函数。其中，待编码图像中的目标区域可以设置为：
待编码图像中与滤波区域同位置、同大小的区域；或者，
待编码图像中与滤波区域同位置区域之间存在一定偏移矢量的区域；或者，
根据待编码图像中的像素点采样值构造得到的与滤波区域包含相同数量像素点采样值、并排列成相同的形状的区域。例如，对待编码图像中像素点采样值进行亚像素插值，将与滤波区域内包含像素点采样值同数量的插值得到的半像素位置上的值组合成与滤波区域形状相同的区域作为目标区域；或者，
使用已编码的参考图像划分方式对待滤波处理的参考图像进行区域划分。
可选择地，编码器将“不对滤波区域进行滤波”作为一个特殊情况，在上述率失真优化过程中计算代价函数，并确定是否需要对该滤波区域进行滤波。可选择的，编码器也可以使用率失真优化的方法，在确定滤波器及系数后，进一步确定是否对滤波区域进行滤波。例如，编码器可以使用比较代价函数值的方法确定是否对滤波区域执行滤波操作，当对滤波区域进行滤波对应的代价函数小于不对滤波区域进行滤波的代价函数，编码器对滤波区域进行滤波，反之，不执行滤波。编码器记录是否对滤波区域进行滤波的控制标记。
使用前述方法，编码器为待编码图像的一个或多个参考图像确定滤波参数。可选择地，编码器可以采用仅针对预先选定的参考图像执行上述操作过程，以降低编码器复杂度。例如，编码器仅对与待编码图像的POC(Picture Order Count)值的差值绝对值最小的前向预测参考图像和/或后向预测参考图像进行参考图像滤波处理。
步骤S704，根据滤波参数，对参考图像进行滤波。
编码器使用滤波器及确定的滤波器参数，对需要进行滤波处理的参考图像中的滤波区域进行滤波处理，得到滤波后的参考图像。
步骤S706，将滤波后的参考图像插入参考图像列表。
可选地，编码器使用滤波后的参考图像代替原对应参考图像，插入构造参考图像列表过程中的中间列表，用于构造输入视频图像/分片编码过程中使用的参考图像列表。
可选地，编码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表过程中的中间列表，用于构造输入视频图像/分片编码过程中使用的参考图像列表。
可选地，编码器使用滤波后的参考图像代替原对应参考图像，插入到参考图像列表中原参考图像的位置。
可选地，编码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表中的指定位置。这里，可选择地，制定位置可以是预先设定的，例如参考图像列表的最后一个位置、或者原参考图像之后的一个位置等；也可以是指定的位置。当预先设定的位置上有其他参考图像时，编码器使用待插入的滤波后的参考图像代替该图像。
在构造参考图像列表的过程中，编码器可选择使用参考图像列表调整方法，改变滤波后的参考图像在参考图像列表中的默认位置，将其调整至指定位置。
步骤S708，将滤波参数写入码流。
编码器将滤波参数及滤波控制信息写入图像层和/或分片层码流单元。码流单元可以是如下数据单元中的至少之一：参数集(Parameter Set)；分片头信息；其他应用于图像和/或分片的码流数据单元(如图像头信息、序列头信息等)。
滤波参数包括如下至少之一：滤波器类型，滤波器系数，参考图像的滤波区域及滤波区域使用的滤波器。编码器对于使用滤波的滤波区域，将所使用的滤波器类型、滤波器系数的索引序号信息写入码流。
滤波控制信息包括如下至少之一：是否对参考图像进行滤波操作的控制信息；参考图像的滤波区域划分信息以及是否对各滤波区域进行滤波操作的控制信息。
编码器将参考图像列表构造过程的参数写入码流，例如，滤波后参考图像的插入位置控制参数，参考图像列表调整操作相关的参数。
可选地，为降低滤波参数的编码开销，编码器可以对区域划分、滤波器系数等信息进行预测编码。具体地，编码器使用选定的已编码区域划分、滤波系数等为参考，编码使用的区域划分、滤波系数等参数与参考值之间的偏移量值或差值。
编码器对图像/分片进行预测编码。
实施例6：
本实施例6是实施例3的使用参考图像滤波的编码方法对应的解码方法，用于使用参考图像进行构造视频图像预测值的解码器，该方法的步骤包括：
步骤S802，解析码流，获取滤波参数。
解码器解析视频码流，在图像层和/或分片层码流单元中解析与滤波参数相关码流字段，获得滤波参数的取值。滤波参数包括以下至少之一：滤波器类型，滤波器系数，参考图像的滤波区域及滤波区域使用的滤波器。其中，所使用的滤波器可以是对称滤波器，也可以是非对称滤波器。解码器根据滤波器类型和滤波器系数的索引序号，在预先设定的滤波器组和系数组中选择指定的滤波器和系数。
解码器解析视频码流，在图像层和/或分片层码流单元中解析与滤波控制信息相关码流字段，获得控制信息的取值，包括以下至少之一：是否对参考图像进行滤波操作的控制信息；参考图像的滤波区域划分信息以及是否对各滤波区域进行滤波操作的控制信息。
码流单元可以是如下数据单元中的至少之一：参数集(Parameter Set)；分片头信息；其他应用于图像和/或分片的码流数据单元(如图像头信息、序列头信息等)。
解码器解析参考图像列表构造过程中使用的参数对应的码流字段，获得参数取值，例如，滤波后参考图像的插入位置控制参数，参考图像列表调整操作相关的参数。
步骤S804，根据滤波参数，对参考图像进行滤波。
解码器使用滤波参数，对需要进行滤波处理的参考图像进行滤波处理，得到滤波后的参考图像。
解码器根据滤波控制信息，对需要进行滤波处理的参考图像进行滤波处理。首先，解码器根据滤波参数中滤波区域参数，对参考图像进行滤波区域的划分。然后，解码器对各需要进行滤波处理的滤波区域，使用滤波参数中指示的滤波器和滤波器系数，对滤波区域进行滤波处理。
步骤S806，将滤波后的参考图像插入参考图像列表。
解码器根据解析码流获得的参考图像列表构造参数，例如，滤波后参考图像的插入位置控制参数，参考图像列表调整操作相关的参数，将滤波后的参考图像插入参考图像列表。解码器根据参数，将滤波后的参考图像插入参考图像列表，可采用的操作包括：
可选地，解码器使用滤波后的参考图像代替原对应参考图像，插入构造参考图像列表过程中的中间列表，用于构造图像/分片解码过程中使用的参考图像列表。
可选地，解码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表过程中的中间列表，用于构造图像/分片解码过程中使用的参考图像列表。
可选地，解码器使用滤波后的参考图像代替原对应参考图像，插入到参考图像列表中原图像的位置。
可选地，解码器保留原参考图像，将滤波后的参考图像插入构造参考图像列表中的指定位置。这里，可选择地，制定位置可以是预先设定的，例如参考图像列表的最后一个位置、或者原参考图像之后的一个位置等；也可以是参考图像列表构造参数指定的位置。当预先设定的位置上有其他参考图像时，解码器使用待插入的滤波后的参考图像代替该图像。
在构造参考图像列表的过程中，参考图像列表调整操作相关的参数，改变滤波后的参考图像在参考图像列表中的默认位置，将其调整至指定位置。
解码器对图像/分片进行解码。
实施例7：
本实施例7提供一种电子设备实施例，包括编码器和/或解码器，
该编码器用于实施上述实施例1或实施例3中编码器的编码方法，产生视频图像的码流。
而该解码器用于实施上述实施例2和实施例4中解码器的解码方法，解码视频图像的码流。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S21：根据待编码的视频图像和参考图像确定滤波参数；
S22：根据滤波参数对参考图像进行滤波；
S23：将滤波后的参考图像插入参考图像列表；
S24：将滤波参数写入待编码视频图像的码流。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S31：对视频图像的码流进行解析得到滤波参数；
S32：根据滤波参数对参考图像进行滤波；
S33：将滤波后的参考图像插入参考图像列表。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (28)
1.一种参考图像的处理方法，其特征在于，包括：
根据待编码视频图像和参考图像确定滤波参数；
根据所述滤波参数对所述参考图像进行滤波；
将滤波后的参考图像插入参考图像列表；
将所述滤波参数写入所述待编码视频图像的码流。
2.根据权利要求1所述的方法，其特征在于，所述滤波参数包括以下至少之一：滤波控制参数、滤波器类型、滤波器系数、参考图像的滤波区域及所述滤波区域使用的滤波器；其中，所述滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
3.根据权利要求2所述的方法，其特征在于，所述根据待编码视频图像和参考图像确定滤波参数包括：
确定所述参考图像中进行滤波的滤波区域；
根据所述滤波区域内所述参考图像的像素点采样值和所述待编码视频图像中目标区域内的像素点采样值得到所述滤波参数。
4.根据权利要求3所述的方法，其特征在于，
所述目标区域为所述待编码视频图像中与所述滤波区域同位置、同大小的区域；或，
所述目标区域为所述待编码视频图像中与所述滤波区域同位置区域之间存在指定偏移矢量的区域；或，
所述目标区域为根据所述待编码视频图像中的像素点采样值构造得到的与所述滤波区域包含相同数量像素点采样值、并排列成相同的形状的区域。
5.根据权利要求1所述的方法，其特征在于，所述将滤波后的参考图像插入参考图像列表包括：
用滤波后的参考图像代替所述参考图像列表中与滤波后的参考图像对应的滤波前的参考图像插入到构造所述参考图像列表过程中的中间列表，或，
保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造所述参考图像列表过程中的中间列表；或，
用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到所述与滤波后的参考图像对应的参考图像在所述参考图像列表中的位置；或，
保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到所述参考图像列表中的指定位置；
其中，所述中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
6.根据权利要求1或5所述的方法，其特征在于，还包括：使用参考图像列表调整操作改变所述滤波后的参考图像在所述参考图像列表中的位置，并将与所述参考图像列表调整操作对应的参数写入所述待编码视频图像的码流。
7.根据权利要求1或5所述的方法，其特征在于，所述将滤波参数写入所述视频图像的码流包括：
将所述参考图像列表构造过程中的滤波参数写入所述待编码视频图像的码流，其中，所述码流的数据包括：参数集、分片头信息、应用于图像和/或分片的码流数据。
8.一种参考图像的处理方法，其特征在于，包括：
对视频图像的码流进行解析得到滤波参数；
根据所述滤波参数对参考图像进行滤波；
将滤波后的参考图像插入参考图像列表。
9.根据权利要求8所述的方法，其特征在于，所述滤波参数包括以下至少之一：滤波控制参数、滤波器类型、滤波器系数、所述参考图像的滤波区域及所述滤波区域使用的滤波器；其中，所述滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
10.根据权利要求8所述的方法，其特征在于，根据所述滤波参数对参考图像进行滤波包括：
根据所述滤波参数指示的滤波器对所述滤波参数指示的所述参考图像的区域进行滤波。
11.根据权利要求8所述的方法，其特征在于，所述将滤波后的参考图像插入参考图像列表包括：
用滤波后的参考图像代替所述参考图像列表中与滤波后的参考图像对应的滤波前的参考图像插入到构造所述参考图像列表过程中的中间列表；或，
保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造所述参考图像列表过程中的中间列表；或，
用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到所述与滤波后的参考图像对应的参考图像在所述参考图像列表中的位置；或，
保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到所述参考图像列表中的指定位置；
其中，所述中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
12.根据权利要求8或11所述的方法，其特征在于，所述滤波后的参考图像插入参考图像列表包括：
解析所述码流中参考图像列表调整操作的参数，并根据所述参考图像列表调整操作改变所述滤波后的参考图像在所述参考图像列表中的位置。
13.根据权利要求8所述的方法，其特征在于，用于解析的所述视频图像的码流数据包括以下至少之一：参数集、分片头信息；应用于图像和/或分片的码流数据单元。
14.一种参考图像的处理装置，其特征在于，包括：
确定模块，用于根据待编码视频图像和参考图像确定滤波参数；
第一滤波模块，用于根据所述滤波参数对所述参考图像进行滤波；
第一插入模块，用于将滤波后的参考图像插入参考图像列表；
第一处理模块，用于将所述滤波参数写入所述视频图像的码流。
15.根据权利要求14所述的装置，其特征在于，所述滤波参数包括以下至少之一：滤波控制参数、滤波器类型，滤波器系数，参考图像的滤波区域及所述滤波区域使用的滤波器，其中，所述滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
16.根据权利要求14所述的装置，其特征在于，所述确定模块包括：
确定单元，用于确定所述参考图像中进行滤波的滤波区域；
第一处理单元，用于根据所述滤波区域内所述参考图像的像素点采样值和所述待编码视频图像向中目标区域内的所述参考图像的像素点采样值得到所述滤波参数。
17.根据权利要求16所述的装置，其特征在于，
所述目标区域为所述待编码视频图像中与所述滤波区域同位置、同大小的区域；或，
所述目标区域为所述待编码视频图像中与所述滤波区域同位置区域之间存在指定偏移矢量的区域；或，
所述目标区域为根据所述待编码视频图像中的像素点采样值构造得到的与所述滤波区域包含相同数量像素点采样值、并排列成相同的形状的区域。
18.根据权利要求14所述的装置，其特征在于，所述第一插入模块包括：
第一插入单元，用于用滤波后的参考图像代替所述参考图像列表中与滤波后的参考图像对应的滤波前的参考图像，以插入到在构造所述参考图像列表过程中的中间列表，或，
第二插入单元，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造所述参考图像列表过程中的中间列表；或，
第三插入单元，用于用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到所述与滤波后的参考图像对应的参考图像在所述参考图像列表中的位置；或，
第四插入单元，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到所述参考图像列表中的指定位置；
其中，所述中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
19.根据权利要求14或18所述的装置，其特征在于，所述第一插入模块还包括：
第二处理单元，用于使用参考图像列表调整操作改变所述滤波后的参考图像在所述参考图像列表中的位置；
第一写入单元，用于将与所述参考图像列表调整操作对应的参数写入所述待编码视频图像的码流。
20.根据权利要求14或18所述的装置，其特征在于，所述第一处理模块包括：
第二写入单元，用于将所述参考图像列表构造过程中的滤波参数写入所述待编码视频图像的码流，其中，所述码流的数据包括：参数集、分片头信息、应用于图像和/或分片的码流数据。
21.一种参考图像的处理装置，其特征在于，包括：
解析模块，用于对视频图像的码流进行解析得到滤波参数；
第二滤波模块，用于根据所述滤波参数对参考图像进行滤波；
第二插入模块，用于将滤波后的参考图像插入参考图像列表。
22.根据权利要求21所述的装置，其特征在于，所述滤波参数包括以下至少之一：滤波控制参数、滤波器类型、滤波器系数、所述参考图像的滤波区域及所述滤波区域使用的滤波器；其中，所述滤波控制参数包括是否对参考图像进行滤波操作的控制信息。
23.根据权利要求21所述的装置，其特征在于，
所述第二滤波模块，还用于根据所述滤波参数指示的滤波器对所述滤波参数指示的所述参考图像的区域进行滤波。
24.根据权利要求21所述的装置，其特征在于，所述第二插入模块包括：
第五插入单元，用于用滤波后的参考图像代替所述参考图像列表中与滤波后的参考图像对应的滤波前的参考图像插入到构造所述参考图像列表过程中的中间列表，或，
第六插入单元，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到构造所述参考图像列表过程中的中间列表；或，
第七插入单元，用于用滤波后的参考图像替换与滤波后的参考图像对应的滤波前的参考图像，并插入到所述与滤波后的参考图像对应的参考图像在所述参考图像列表中的位置；或，
第八插入单元，用于保留与滤波后的参考图像对应的滤波前的参考图像，将滤波后的参考图像插入到所述参考图像列表中的指定位置；
其中，所述中间列表用于构造输入视频图像/分片编码过程中使用的参考图像列表。
25.根据权利要求21或24所述的装置，其特征在于，所述第二插入模块还包括：
第三处理单元，用于解析所述码流中参考图像列表调整操作的参数，并根据所述参考图像列表调整操作改变所述滤波后的参考图像在所述参考图像列表中的位置。
26.根据权利要求19所述的装置，其特征在于，用于解析的所述视频图像的码流数据包括以下至少之一：参数集、分片头信息；应用于图像和/或分片的码流数据单元。
27.一种编码器，其特征在于，包括：
所述编码器，用于根据待编码视频图像和参考图像确定滤波参数，并根据所述滤波参数对所述参考图像进行滤波；
所述编码器，还用于将滤波后的参考图像插入参考图像列表；以及将滤波参数写入所述视频图像的码流。
28.一种解码器，其特征在于，包括：
所述解码器，用于对视频图像的码流进行解析得到滤波参数，并根据所述滤波参数对参考图像进行滤波；
所述解码器，还用于将滤波后的参考图像插入参考图像列表。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510677273.4A CN106604030A (zh) | 2015-10-16 | 2015-10-16 | 参考图像的处理方法及装置、编码器以及解码器 |
| PCT/CN2016/089453 WO2017063405A1 (zh) | 2015-10-16 | 2016-07-08 | 参考图像的处理方法及装置、编码器以及解码器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510677273.4A CN106604030A (zh) | 2015-10-16 | 2015-10-16 | 参考图像的处理方法及装置、编码器以及解码器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106604030A true CN106604030A (zh) | 2017-04-26 |
Family
ID=58517066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510677273.4A Pending CN106604030A (zh) | 2015-10-16 | 2015-10-16 | 参考图像的处理方法及装置、编码器以及解码器 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106604030A (zh) |
| WO (1) | WO2017063405A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111770332A (zh) * | 2020-06-04 | 2020-10-13 | Oppo广东移动通信有限公司 | 插帧处理方法、插帧处理装置、存储介质与电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101491101A (zh) * | 2006-07-18 | 2009-07-22 | 汤姆森许可贸易公司 | 用于自适应参考滤波的方法和装置 |
| CN101491099A (zh) * | 2006-07-11 | 2009-07-22 | 汤姆森特许公司 | 使用虚拟参考画面的方法及装置 |
| US20100002770A1 (en) * | 2008-07-07 | 2010-01-07 | Qualcomm Incorporated | Video encoding by filter selection |
| CN102100072A (zh) * | 2008-07-25 | 2011-06-15 | 索尼公司 | 图像处理装置和方法 |
| CN102387360A (zh) * | 2010-09-02 | 2012-03-21 | 乐金电子(中国)研究开发中心有限公司 | 视频编解码帧间图像预测方法及视频编解码器 |
| CN102714732A (zh) * | 2010-01-12 | 2012-10-03 | 夏普株式会社 | 编码装置、解码装置及数据结构 |
| CN103581689A (zh) * | 2012-08-07 | 2014-02-12 | 联咏科技股份有限公司 | 视频编码方法与视频编码装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7167522B2 (en) * | 2003-02-27 | 2007-01-23 | Texas Instruments Incorporated | Video deblocking filter |
| CN101742288B (zh) * | 2008-11-11 | 2013-03-27 | 北京中星微电子有限公司 | 视频降噪编码方法和视频降噪编码装置 |
| US9131073B1 (en) * | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
-
2015
- 2015-10-16 CN CN201510677273.4A patent/CN106604030A/zh active Pending
-
2016
- 2016-07-08 WO PCT/CN2016/089453 patent/WO2017063405A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101491099A (zh) * | 2006-07-11 | 2009-07-22 | 汤姆森特许公司 | 使用虚拟参考画面的方法及装置 |
| CN101491101A (zh) * | 2006-07-18 | 2009-07-22 | 汤姆森许可贸易公司 | 用于自适应参考滤波的方法和装置 |
| US20100002770A1 (en) * | 2008-07-07 | 2010-01-07 | Qualcomm Incorporated | Video encoding by filter selection |
| CN102100072A (zh) * | 2008-07-25 | 2011-06-15 | 索尼公司 | 图像处理装置和方法 |
| CN102714732A (zh) * | 2010-01-12 | 2012-10-03 | 夏普株式会社 | 编码装置、解码装置及数据结构 |
| CN102387360A (zh) * | 2010-09-02 | 2012-03-21 | 乐金电子(中国)研究开发中心有限公司 | 视频编解码帧间图像预测方法及视频编解码器 |
| CN103581689A (zh) * | 2012-08-07 | 2014-02-12 | 联咏科技股份有限公司 | 视频编码方法与视频编码装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111770332A (zh) * | 2020-06-04 | 2020-10-13 | Oppo广东移动通信有限公司 | 插帧处理方法、插帧处理装置、存储介质与电子设备 |
| CN111770332B (zh) * | 2020-06-04 | 2022-08-09 | Oppo广东移动通信有限公司 | 插帧处理方法、插帧处理装置、存储介质与电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017063405A1 (zh) | 2017-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11146809B2 (en) | Adaptive interpolation filter | |
| US10609384B2 (en) | Restriction on sub-block size derivation for affine inter prediction | |
| US11877006B2 (en) | Intra-prediction using a cross-component linear model in video coding | |
| US10595019B2 (en) | Noise suppression filter parameter estimation for video coding | |
| US20150055701A1 (en) | Image encoding/decoding apparatus and method | |
| CN102857751B (zh) | 一种视频编解码方法和装置 | |
| EP2903282A1 (en) | Method for sao compensation for encoding inter-layer prediction error and apparatus therefor | |
| CN113574898A (zh) | 自适应环路滤波器 | |
| EP3117607A1 (en) | Improved screen content and mixed content coding | |
| CN106170093B (zh) | 一种帧内预测性能提升编码方法 | |
| US10542265B2 (en) | Self-adaptive prediction method for multi-layer codec | |
| CN104754361A (zh) | 图像编码、解码方法及装置 | |
| CN110199522A (zh) | 处理用于图像块帧内预测的参考样本 | |
| CN104506870B (zh) | 一种适用于多码流的视频编码处理方法和装置 | |
| CN108810545A (zh) | 用于视频编码的方法、装置、计算机可读介质及电子设备 | |
| CN106604028A (zh) | 编码处理、解码处理方法及装置、编码器及解码器 | |
| WO2019072187A1 (en) | PRUNING A MOVEMENT MODEL CANDIDATE LIST FOR AN INTERPRETING | |
| GB2495942A (en) | Prediction of Image Components Using a Prediction Model | |
| GB2582031A (en) | An adaptive loop filter | |
| CN106604030A (zh) | 参考图像的处理方法及装置、编码器以及解码器 | |
| Yang et al. | Adaptive bit allocation for 3D video coding | |
| US20080199087A1 (en) | Scalable Method For Encoding a Series of Original Images, and Associated Image Encoding Method, Encoding Device and Decoding Device | |
| CN114554213B (zh) | 一种运动自适应和关注细节的压缩视频质量增强方法 | |
| US20060133488A1 (en) | Method for encoding and decoding video signal | |
| WO2024007366A1 (zh) | 一种帧内预测融合方法、视频编解码方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170426 |
|
| RJ01 | Rejection of invention patent application after publication |