CN111903132A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN111903132A
CN111903132A CN201880091690.2A CN201880091690A CN111903132A CN 111903132 A CN111903132 A CN 111903132A CN 201880091690 A CN201880091690 A CN 201880091690A CN 111903132 A CN111903132 A CN 111903132A
Authority
CN
China
Prior art keywords
pixel
pixels
current
interpolation support
integer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880091690.2A
Other languages
English (en)
Other versions
CN111903132B (zh
Inventor
马克西姆·鲍里索维奇·西切夫
乔治·亚历山德罗维奇·朱利科夫
蒂莫菲·米哈伊洛维奇·索洛维耶夫
谢尔盖·尤里耶维奇·伊科宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111903132A publication Critical patent/CN111903132A/zh
Application granted granted Critical
Publication of CN111903132B publication Critical patent/CN111903132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及一种图像处理装置，用于基于定义像素阵列(10a‑d)的多个像素值的图像确定目标像素(12a‑c)的插值像素值。所述图像处理装置包括处理电路，所述处理电路用于：获取与所述目标像素(12a‑c)相关联的方向角值；基于所述目标像素(12a‑c)的位置从所述像素阵列(10a‑d)中为所述目标像素(12a‑c)选择多个主插值支持像素(10a‑d)；基于所选择的主插值支持像素(10a‑d)的像素值、所述方向角值(a，b)和所述目标像素(12a‑c)的位置确定第一辅插值支持像素(11ac)和第二辅插值支持像素(11bd)的像素值；基于所述第一辅插值支持像素(11ac)和所述第二辅插值支持像素(11bd)的像素值和所述目标像素(12a‑c)的位置确定所述目标像素(12a‑c)的插值像素值。该技术具有各种优点。

Description

图像处理装置和方法
技术领域
本发明大体上涉及图像处理领域，特别是视频编码。更具体地，本发明涉及一种用于基于全整数像素阵列的像素值对子整数像素的像素值进行插值的图像处理装置和方法，以及一种用于视频编码的帧间预测装置，所述帧间预测装置包括此类图像处理装置。
背景技术
数字图像的插值，即，基于二维全整数像素阵列的像素值预测子整数像素的像素值，是许多图像处理应用(例如，图像大小调整或视频编码的帧间预测)中常用的工具。
例如，在视频编码领域中，已开发了子整数像素插值技术，以提高帧间预测可实现的压缩水平的预测准确度。在这种情况下，在用于编码视频块的运动补偿期间生成的预测数据可以对应于子整数像素，其值可以通过运动矢量所指向的参考视频帧或其它编码单元的视频块的全部像素的值进行插值得到。视频编码器可以使用插值技术(例如，通过对一组支持像素应用插值滤波器)计算子整数像素位置的值，例如全整数像素的值。
当前的标准H.264/AVC和H.265/HEVC是基于1/4像素位移分辨率的。联合视频编码小组(Joint Video Exploration Team，JVET)团队正在探索后HEVC视频压缩技术，包括非平移的运动补偿模型，如仿射变换。为了估计和补偿分数像素(或子整数)位移，必须将参考影像的全整数像素插值在分数像素上，即，子整数位置。使用插值滤波器以得到分数像素位置上的插值影像。非平动运动模型的插值的问题是可变分数像素位移。
插值影像的质量很大程度上取决于插值滤波器的性能。短抽头滤波器(例如双线性)可以抑制高频，并使插值图像模糊。另一方面，长抽头滤波器(例如，基于sinc的)，需要更多的内存带宽，并可能保留高频，但在锐利的边缘附近生成一些振铃伪影。另一个考虑是，对于非平移模型的运动补偿，通过降低插值和预测的准确度降低了复杂度。
在提议的JEM仿射运动模型中，支持两种类型的运动：变焦和旋转。大多数分数像素位置在预测单元内是不恒定的。用子块代替像素可以加快插值速度。在一个子块内，位移矢量是恒定的和平移的。复杂度逐渐降低，但准确度也降低。为了提高预测质量，通过增加插值滤波器的数量来提高子块的运动矢量位移精度，从而提高运动补偿的精度。非平移运动模型插值滤波的当前准确度还有待提高。
传统技术中，双线性插值在许多图像处理应用中使用，包括视频编码的帧内预测。双线性插值的关键思想是先在一个方向上做线性插值，然后再在另一个方向上做线性插值。图1示出了传统双线性插值的示例。在第一阶段，在y方向上对像素1a、1c的像素值和像素1b、1d的像素值进行插值，以分别获取子整数像素1ac和1bd处的插值。在第二阶段，在x方向上对子整数像素1ac和1bd的插值进行插值，以获取所需子整数像素2的插值像素值。在图1所示的示例中，包括所述子整数像素2的多个期望的子整数像素沿着直线3定位。对于此类情形，希望具有能够提供比传统双线性插值更好的插值结果的插值方案。
因此，需要一种改进的图像处理装置和方法，以实现特别是用于视频编码的帧间预测的改进的插值方案。
发明内容
本发明的目的是提供一种改进的图像处理装置和方法，以实现特别是用于视频编码的帧间预测的改进的插值方案。
上述和其它目的是通过由独立权利要求请求保护的主题来实现的。进一步的实现方式在从属权利要求、具体实施方式和附图中显而易见。
根据第一方面，本发明涉及一种图像处理装置，用于基于定义像素阵列的多个像素值的图像确定目标像素的插值像素值。所述图像处理装置包括处理电路，所述处理电路用于：获取与所述目标像素相关联的方向角值(direction angle value)；基于所述目标像素的位置从所述像素阵列中为所述目标像素选择多个主插值支持像素；基于所选择的主插值支持像素的像素值、所述方向角值和所述目标像素的位置确定第一辅插值支持像素和第二辅插值支持像素的像素值；基于所述第一辅插值支持像素和所述第二辅插值支持像素的像素值和所述目标像素的位置确定所述目标像素的插值像素值。在一种实现方式中，所述像素阵列是全整数像素阵列。在一种实现方式中，所述目标像素是子整数像素。
在第一方面的另一种可能的实现方式中，所述目标像素的所述多个主插值支持像素包括之前插值的目标像素的一个或多个主插值支持像素，和/或所述多个辅插值支持像素包括之前插值的目标像素的一个或多个辅插值支持像素。
在第一方面的另一种可能的实现方式中，所述像素阵列定义水平方向和竖直方向，所述方向角值为穿过所述目标像素的直线与所述水平方向之间的锐角。
在第一方面的另一种可能的实现方式中，所述处理电路用于通过将所述方向角值确定为水平方向与穿过所述目标像素并连接所述目标像素和待插值的另一目标像素的直线之间的角度，来获取所述方向角值。
在第一方面的另一种可能的实现方式中，所述方向角值在0°至45°范围内，所述第一辅插值支持像素的位置由穿过所述目标像素的具有所述方向角值的所述直线和连接所述多个主插值支持像素中的两个像素的第一竖直线之间的交点来定义，所述第二辅插值支持像素的位置由穿过所述目标像素的具有所述方向角值的所述直线和连接所述多个主插值支持像素中的另外两个像素的第二竖直线之间的交点来定义。
在第一方面的另一种可能的实现方式中，所述处理电路用于：将所述第一辅插值支持像素的像素值确定为所述多个主插值支持像素中的两个像素的加权和，其中所述加权和取决于所述多个主插值支持像素中的两个像素中的每一个像素与所述第一辅插值支持像素之间的相应竖直距离；并将所述第二辅插值支持像素的像素值确定为所述多个主插值支持像素中的另外两个像素的加权和，其中所述加权和取决于所述多个主插值支持像素中的另外两个像素中的每一个像素与所述第二辅插值支持像素之间的相应竖直距离。
在第一方面的另一种可能的实现方式中，所述处理电路用于将所述目标像素的插值像素值确定为所述第一辅插值支持像素和所述第二辅插值支持像素的像素值的加权和，其中所述加权和取决于所述第一辅插值支持像素的位置与所述目标像素的位置之间的水平距离以及所述第二辅插值支持像素的位置与所述目标像素的位置之间的水平距离。
在第一方面的另一种可能的实现方式中，所述方向角值在45°至90°范围内，所述第一辅插值支持像素的位置由穿过所述目标像素的具有所述方向角值的所述直线和连接所述多个主插值支持像素中的两个像素的第一水平线之间的交点来定义，所述第二辅插值支持像素的位置由穿过所述目标像素的具有所述方向角值的所述直线和连接所述多个主插值支持像素中的另外两个像素的第二水平线之间的交点来定义。
在第一方面的另一种可能的实现方式中，所述处理电路用于：将所述第一辅插值支持像素的像素值确定为所述多个主插值支持像素中的两个像素的加权和，其中所述加权和取决于所述多个主插值支持像素中的两个像素中的每一个像素与所述第一辅插值支持像素之间的相应水平距离；并将所述第二辅插值支持像素的像素值确定为所述多个主插值支持像素中的另外两个像素的加权和，其中所述加权和取决于所述多个主插值支持像素中的另外两个像素中的每一个像素与所述第二辅插值支持像素之间的相应水平距离。
在第一方面的另一种可能的实现方式中，所述处理电路用于将所述目标像素的插值像素值确定为所述第一辅插值支持像素和所述第二辅插值支持像素的像素值的加权和，其中所述加权和取决于所述第一辅插值支持像素的位置与所述目标像素的位置之间的竖直距离以及所述第二辅插值支持像素的位置与所述目标像素的位置之间的竖直距离。
在第一方面的另一种可能的实现方式中，所述目标像素的位置定义所述像素阵列的当前栅格像元(grid cell)，所述多个主插值支持像素包括位于所述像素阵列的所述当前栅格像元的一个或多个角点(comer)处的所述像素阵列中的一个或多个像素。
在第一方面的另一种可能的实现方式中，所述多个主插值支持像素还包括位于另一栅格像元的一个或多个角点处的所述像素阵列中的一个或多个像素，特别地，所述另一栅格像元是所述当前栅格像元的相邻栅格像元。
根据第二方面，本发明涉及一种基于定义像素阵列的多个像素值的图像确定目标像素的插值像素值的对应图像处理方法。所述方法包括：获取与所述目标像素相关联的方向角值；基于所述方向角值和所述目标像素的位置从所述像素阵列中为所述目标像素选择多个主插值支持像素；基于所选择的主插值支持像素的像素值、所述方向角值和所述目标像素的位置确定第一辅插值支持像素和第二辅插值支持像素的像素值；基于所述多个辅插值支持像素和所述目标像素的位置(特别是所述目标像素的水平位置或竖直位置)，确定所述目标像素的所述插值像素值。
本发明第二方面的图像处理方法可以由本发明第一方面提供的所述图像处理装置执行。本发明第一方面提供的所述的图像处理装置的功能及上述和下文描述的不同实现方式可直接实现本发明第二方面的图像处理方法的其它特征。
根据第三方面，本发明涉及一种用于视频信号的当前帧的当前块的多个像素的当前全整数像素(full-integer pixel)的像素值的帧间预测装置。所述装置包括根据第一方面所述的图像处理装置和处理单元。所述处理单元用于：基于所述视频信号的所述当前帧和参考帧和/或运动补偿模型，确定所述当前全整数像素的运动矢量；基于所述当前全整数像素的所述运动矢量确定所述当前全整数像素在所述参考帧中的对应子整数像素(sub-integer pixel)；基于所述当前帧中的预定义滤波器支持像素集合生成所述参考帧中的对应滤波器支持像素集合，其中所述当前帧中的所述预定义滤波器支持像素集合包括一个或多个相邻的全整数像素和/或所述当前全整数像素的子整数像素；所述图像处理装置用于确定所述参考帧中的所述当前全整数像素的所述对应子整数像素和所述对应滤波器支持像素的相应像素值，特别是亮度值；所述处理单元还用于通过将空间高通滤波器应用于所述参考帧中的所述当前全整数像素的所述对应子整数像素的所述像素值和所述参考帧中的对应滤波器支持像素的所述像素值，确定所述当前帧中的所述当前像素的帧间预测像素值。
在第三方面的另一种可能的实现方式中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的所述当前全整数像素的一个或多个竖直和/或水平相邻的半整数像素。
在第三方面的另一种可能的实现方式中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的所述当前全整数像素的一个或多个竖直和/或水平相邻的全整数像素。
在第三方面的另一种可能的实现方式中，所述空间高通滤波器为5抽头滤波器或3抽头滤波器。在一种实现方式中，所述5抽头滤波器或所述3抽头滤波器是对称滤波器，即，所述第一和第五/第三滤波器系数相同，所述第二和第四滤波器系数相同的滤波器。在一种实现方式中，所述第一和第五滤波器系数为负，而所述5抽头滤波器的其它滤波器系数为正。
在第三方面的另一种可能的实现方式中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻的全整数像素和半整数像素，并且所述5抽头滤波器具有以下滤波器系数(-6，9，26，9，-6)，其可以通过因子1/32进行归一化。
在第三方面的另一种可能的实现方式中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻的全整数像素和半整数像素，并且所述5抽头滤波器具有以下滤波器系数(-1，0，10，0，-1)，其可以通过因子1/8进行归一化。可以理解的是，在没有中间半整数支持像素的另一种可能的实现方式中，该滤波器变成具有系数(-1，10，-1)的3抽头滤波器。
在第三方面的另一种可能的实现方式中，所述装置的所述处理单元还用于基于所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数和/或相邻子整数像素的一个或多个运动矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每一个子整数像素的相应运动矢量。
在第三方面的另一种可能的实现方式中，所述装置的所述处理单元用于通过确定所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量的平均矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每一个子整数像素的相应的运动矢量。
在第三方面的另一种可能的实现方式中，所述装置的所述处理单元还用于基于所述视频信号的所述当前帧和所述参考帧和/或运动补偿模型来确定所述所述当前全整数像素的相邻全整数像素的所述一个或多个运动矢量。
在第三方面的另一种可能的实现方式中，所述装置的所述处理单元用于：在基于非平移运动补偿模型确定所述当前全整数像素的运动矢量的情况下，通过将空间高通滤波器应用于所述参考帧中的所述当前全整数像素的对应子整数像素的像素值和所述参考帧中的所述对应滤波器支持像素的像素值来确定所述当前帧中当前像素的帧间预测像素值；并在基于平移运动补偿模型确定所述当前全整数像素的运动矢量的情况下，基于传统方案(例如H.264/AVC和H.265/HEVC中定义的传统方案)确定当所述前帧中当前像素的帧间预测像素值。
在第三方面的另一种可能的实现方式中，所述非平移运动补偿模型为仿射、扭曲和/或全景运动补偿模型。
根据第四方面，本发明涉及一种用于编码视频信号的当前图像的编码装置，其中所述编码装置包括第三方面提供的所述帧间预测装置。
根据第五方面，本发明涉及一种用于解码压缩视频信号的当前重建图像的解码装置，其中所述解码装置包括第三方面提供的所述帧间预测装置。
根据第六方面，本发明涉及一种计算机程序产品，所述计算机程序产品包括程序代码，当在计算机或处理器上执行所述程序代码时，执行根据第二方面所述的方法。
本发明实施例具体提供以下优点：本发明实施例允许以逐个像素的准确度执行插值，同时将复杂度保持在较低水平。本发明的实施例支持任何种类的非平移运动。本发明的实施例允许去除子块边缘上的块伪影。本发明实施例降低了存储器带宽。本发明实施例降低了用于存储一组滤波器系数的存储器要求。本发明的实施例允许在HW双线性变换中很好地重用优化。本发明的实施例沿变换对准滤波的方向。本发明的实施例允许减少由长运动插值滤波器引起的振铃伪影，同时提高插值边缘的质量。本发明实施例允许增加重建图像中边缘的主观质量。此外，本发明实施例不需要任何其它信令，因此，可以无缝地替换用于非平移移动的现有插值方法。将插值分解为两个步骤，允许将分数偏移补偿与高通滤波分离。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1示出了基于全整数像素阵列的像素值的子整数像素的像素值的传统双线性插值的示意图；
图2示出了一个实施例提供的用于基于在图像处理装置中实现的全整数像素阵列的像素值插值子整数像素的像素值的方案的示意图；
图3示出了一个实施例提供用于基于全整数像素阵列的像素值插值子整数像素的像素值的图像处理装置的示意图；
图4示出了另一实施例提供的用于基于在图像处理装置中实现的全整数像素阵列的像素值插值子整数像素的像素值的方案的示意图；
图5示出了另一实施例提供的用于基于在图像处理装置中实现的全整数像素阵列的像素值插值子整数像素的像素值的方案的示意图；
图6示出了另一实施例提供的用于基于在图像处理装置中实现的全整数像素阵列的像素值插值子整数像素的像素值的方案的示意图；
图7示出了另一实施例提供的用于基于在图像处理装置中实现的全整数像素阵列的像素值插值子整数像素的像素值的方案的示意图；
图8为一个实施例提供的包括帧间预测装置的编码装置的示意图。
图9为一个实施例提供的包括帧间预测装置的解码装置的示意图。
图10为在一个实施例提供的在帧间预测装置中实现的插值过程的一方面的示意图。
图11为在一个实施例提供的帧间预测装置中实现的插值过程的不同方面的示意图。
图12为在一个实施例提供的帧间预测装置中实现的插值过程的不同方面的示意图。
图13为一个实施例提供的帧间预测方法的步骤的流程图。
在各个附图中，相同的附图标记表示相同或功能等同的特征。
具体实施方式
以下结合附图进行描述，所述附图为本公开的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其它方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并非限定，本发明的范围由所附权利要求书界定。
例如，可以理解的是，结合所描述的方法的公开也可以适用于用于执行所述方法的对应设备或系统，反之亦然。例如，如果描述了一个具体的方法步骤，对应设备可包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细阐述或说明。此外，可以理解的是，除非另外具体指出，否则本文中描述的各种示例性方面的特征可以彼此组合。
图2示出了基于像素阵列(特别是在一个实施例中提供的图像处理装置(例如图3中所示的图像处理装置20)中实现的全整数像素)的像素值插值目标像素(特别是子整数像素)的像素值的方案的示意图。所述图像处理装置20包括处理电路21，用于基于定义像素阵列(特别是全整数像素10a-d)的多个像素值的图像确定目标(特别是子整数像素12a)的插值像素值。
如下面将更详细地描述的，所述图像处理装置20的所述处理电路21用于：获取与所述目标(特别是子整数像素12a)相关联的方向角值(在图2中，方向角值由穿过所述目标像素12a的直线13与水平或x方向之间的锐角定义)；基于所述方向角值和所述子整数像素12a的位置从所述像素阵列中为所述目标像素12a选择多个主插值支持像素10a-d；基于所选择的主插值支持像素10a-d的像素值、所述方向角值和所述目标像素12a的位置确定第一辅插值支持像素11ac和第二辅插值支持像素11bd的像素值；基于所述第一辅插值支持像素11ac和第二辅插值支持像素11bd的像素值和所述目标像素12a的位置(特别是所述目标像素12a的水平位置或竖直位置)，确定所述目标像素12a的所述插值像素值。
如图2所示，所述像素阵列定义水平方向和竖直方向，所述方向角值为穿过所述目标像素12a的所述直线13与所述水平方向之间的锐角。
进一步参考图4至图6，在一个实施例中，所述方向角值a在0°至45°的范围内。在这种情况下，所述第一辅插值支持像素11ac的位置由穿过所述目标像素12的具有所述方向角值的所述直线13和连接主插值支持像素10a和10c的第一竖直线之间的交点定义。所述第二辅插值支持像素11bd的位置由穿过所述目标像素12的具有所述方向角值的所述直线13和连接另外两个主插值支持像素10b和10d的第二竖直线之间的交点定义。
在一个实施例中，所述图像处理装置20的所述处理电路21用于将所述第一辅插值支持像素11ac的像素值确定为所述两个主插值支持像素10a和10c的像素值的加权和，其中所述加权和取决于所述两个主插值支持像素10a和10c与所述第一辅插值支持像素11ac之间的相应竖直距离。此外，所述图像处理装置20的所述处理电路21用于将所述第二辅插值支持像素11bd的像素值确定为另外两个主插值支持像素10b和10d的加权和，其中所述加权和取决于另外两个主插值支持像素10b和10d与所述第二辅插值支持像素11bd之间的相应竖直距离。
在一个实施例中，所述图像处理装置20的所述处理电路21用于将所述目标像素12的插值像素值确定为所述第一辅插值支持像素11ac和所述第二辅插值支持像素11bd的像素值的加权和，其中所述加权和取决于所述第一辅插值支持像素11ac的位置与所述目标像素12的位置之间的水平距离(即，所述目标像素12的位置与连接所述主插值支持像素10a和10c的第一竖直线之间的最小距离)以及所述第二辅插值支持像素11的位置与所述目标像素12的位置之间的水平距离(即，所述目标像素12的位置与连接所述主插值支持像素10b和10d的第二竖直线之间的最小距离)。
参考图2并进一步参考图10，在一个实施例中，所述图像处理装置的所述处理电路21可以用于基于以下等式确定所述目标像素12的所述插值像素值L：
L＝(1-fdX)*(L0*(1-ldY)+L2*(1dY)+(fdX)*(L1*(1-rdY)+L3*(rdY))，
从图10中可以看出，fdx表示所述目标像素12的位置之间的归一化水平距离，L0、L1、L2和L3表示所述主插值支持像素10a、10b、10c和10d的相应像素值，ldY表示所述第一辅插值支持像素11ac与所述主插值支持像素10a之间的归一化竖直距离，rdY表示所述第二辅插值支持像素11bd与所述主插值支持像素10b之间的归一化竖直距离。
从图6中可以看出，对于所述方向角值在45°至90°范围内的情况，所述第一辅插值支持像素的位置由穿过所述目标像素12的具有所述方向角值的所述直线13与连接所述多个主插值支持像素中的两个像素的第一水平线之间的交点限定。同理，所述第二辅插值支持像素的位置由穿过所述目标像素12的具有所述方向角值的所述直线13与连接所述多个主插值支持像素中的另外两个像素的第二水平线之间的交点定义。
在一个实施例中，所述处理电路21用于：将所述第一辅插值支持像素的像素值确定为所述多个主插值支持像素10a和10b中的两个像素的像素值的加权和，其中所述加权和取决于所述两个主插值支持像素10a和10b中的每一个像素与所述第一辅插值支持像素之间的相应水平距离；并将所述第二辅插值支持像素的像素值确定为另外两个主插值支持像素10c和10d的加权和，其中所述加权和取决于所述另外两个主插值支持像素10c和10d中的每一个像素与所述第二辅插值支持像素之间的相应水平距离。
在一个实施例中，所述图像处理装置20的所述处理电路21用于将所述目标像素12的插值像素值确定为所述第一辅插值支持像素和所述第二辅插值支持像素的像素值的加权和，其中所述加权和取决于所述第一辅插值支持像素的位置与所述目标像素12的位置之间的竖直距离以及所述第二辅插值支持像素的位置与所述目标像素12的位置之间的竖直距离。如本领域技术人员所理解的，本文中提及的任何距离，例如水平和/或竖直距离，可以是归一化距离。
例如，从图2和图4中可以看出，所述当前目标像素12的位置定义所述像素阵列的当前像元10，其中所述处理电路21选择的所述多个主插值支持像素10a-d包括位于所述像素阵列的所述当前像元10的一个或多个角点处的所述像素阵列中的一个或多个像素。例如，对于图2所示的所述当前目标像素12a，所述处理电路21选择的所述多个主插值支持像素10a-d包括所述全整数像素阵列的当前像元10的四个角点像素10a、10b、10c和10d。
在另一实施例中，所述多个主插值支持像素还可以包括位于另一像元的一个或多个角点处的所述像素阵列中的一个或多个像素，特别地，所述另一像元是所述当前像元的相邻像元。例如，对于图2所示的所述当前目标像素12b，所述处理电路21选择的所述多个主插值支持像素包括所述当前像元的部分角点像素以及所述相邻像元的部分角点像素。同理，对于图5所示的所述当前目标像素12b，所述处理电路21选择的所述多个主插值支持像素包括所述当前像元的部分角点像素以及所述相邻像元的部分角点像素，例如像素10a和10c，其可由所述处理电路21用于确定在之前的处理步骤中插值的像素12a的像素值。通常，所述图像处理装置20的所述处理电路21用于基于所述当前目标像素12的位置为所述当前目标像素12选择四个主插值支持像素。
在另一实施例中，所述目标像素12a-c中的所述主插值支持像素10a-d中的一个或多个像素可以是之前插值的目标像素的主插值支持像素10a-d，并且/或所述辅插值支持像素11ac、11bd中的一个或多个像素可以是之前插值的目标像素的辅插值支持像素11ac、11bd。例如，在图5所示的实施例中，之前插值的目标像素12a的辅插值支持像素11ac也是当前插值的目标像素12b的辅插值支持像素。同理，之前插值的目标像素12a的主插值支持像素10a、10c也是所述当前插值的目标像素12b的主插值支持像素。
从图7中可以看出，在一个实施例中，所述图像处理装置20的所述处理电路21用于通过将方向角值确定为由连接目标像素与另一待插值目标像素的直线和水平方向(或者竖直方向)定义的角度来获取所述方向角值。另一目标像素可以是前一个或后一个待插值的目标像素。例如，在图7所示的实施例中，所述处理电路21用于通过将所述方向角值确定为由连接所述目标像素12a和另一目标像素12b的直线所定义的角度来获取与所述目标像素12a相关联的方向角值，即，连接所述目标像素12a与所述另一目标像素12b的直线与所述水平方向之间的锐角。同理，所述处理电路21用于通过将方向角值b确定为连接所述目标像素12b与另一目标像素12c的直线所定义的角度来获取与所述目标像素12b相关联的所述方向角值b，即，连接所述目标像素12b与所述另一目标像素12c的直线与所述水平方向之间的锐角。
图8示出了一个实施例提供的编码装置100，所述编码装置100包括一个实施例提供的帧间预测装置144以及前述任一实施例提供的图像处理装置20。所述编码装置100用于对包括多个帧(在本文中也称为图片或图像)的视频信号的帧的块进行编码，其中每个帧可划分为多个块，每个块包括多个像素。在一个实施例中，所述块可以是宏块、编码树单元、编码单元、预测单元和/或预测块。
在图1中所示的示例性实施例中，所述编码装置100以混合视频编码编码器的方式实现。通常，视频信号的第一帧是帧内帧，仅使用帧内预测进行编码。为此，图2中所示的所述编码装置100的实施例还包括用于帧内预测的帧内预测单元154。可以在没有其它帧的信息的情况下解码帧内帧。帧内预测单元154可以基于帧内估计单元152提供的信息执行块的帧内预测。
如模式选择单元160所选择的，可以使用帧间或帧内预测来编码第一帧内帧之后的后续帧的块。通常，所述帧间预测单元144可以用于基于运动估计来执行块的运动补偿，下文将进一步详细描述。在一个实施例中，运动估计可以由所述编码装置的帧间估计单元142执行。然而，在其它实施例中，帧间估计单元142的功能也可以作为所述帧间预测单元144的一部分来实现。
此外，在图1中所示的混合编码器实施例中，残差计算单元104确定原始块与其预测值之间的差异，即，定义帧内/帧间预测的预测误差的残差块。该残差块由变换单元106进行变换(例如使用DCT)，变换系数由量化单元108进行量化。所述量化单元108的输出以及例如由所述帧间预测单元144提供的编码或侧信息由熵编码单元170进一步编码。
混合视频编码器，例如图8中所示的编码装置100，通常和解码器的处理方式相同，使得两者生成相同的预测。因此，在图8中所示的实施例中，反量化单元110和逆变换单元执行所述变换单元106和所述量化单元108的逆操作，使用相同的所述残差块的解码近似值。然后，由重建单元114将所述解码的残差块数据添加到预测的结果(即，所述预测块的结果)中。然后，可以将所述重建单元114的输出提供给列缓冲器116以用于帧内预测，并进一步由用于去除影像伪影的环内滤波器120进行处理。最终图像存储在解码图像缓冲器130中，可以用于后续帧的帧间预测的参考帧。
图9示出了一个实施例提供的解码装置200，所述解码装置200包括一个实施例提供的帧间预测装置244以及上述任一实施例提供的所述图像处理装置20。所述解码装置200用于对编码视频信号的帧中的块进行解码。在图9所示的实施例中，所述解码装置200实现为混合解码器。熵解码单元204对编码图像数据进行熵解码，通常可以包括预测误差(即，残差块)、运动数据和其它侧信息，这些数据尤其是帧间预测装置244和帧内预测单元254以及所述解码装置200的其它组件所需要的。在图9所示的实施例中，图2中所示的所述解码装置200的所述帧间预测装置244和所述帧内预测单元254由模式选择单元260选择，并以与图1中所示的所述编码装置100的所述帧间预测装置144和所述帧帧内预测单元154相同的方式工作，使得所述编码装置100和所述解码装置200可以生成相同的预测。所述解码装置200的重建单元214用于基于反量化单元210和逆变换单元212提供的滤波预测块和残差块重建块。如同在所述编码装置100的情况下，所述重建块可以提供给用于帧内预测的列缓冲器216，滤波后的块/帧可以由所述环内滤波器220提供给解码图像缓冲器230用于后续帧间预测。
所述装置144、244用于对视频信号的当前帧的当前块的多个像素的当前全整数像素的像素值执行帧间预测。所述装置144、244包括上述任一实施例提供的所述图像处理装置20和处理单元，所述处理单元可以以软件和/或硬件实现。在一个实施例中，所述图像处理装置20可以由所述装置144、244的处理单元实现。在另一个实施例中，所述图像处理装置20与所述装置144、244的处理单元是不同的物理实体。
所述装置144、244的处理单元用于确定所述当前全整数像素的运动矢量。在一个实施例中，所述装置144、244的处理单元用于通过确定所述当前帧中对应于所述当前全整数像素的像素在所述参考帧中的位置，基于所述视频信号的当前帧和参考帧来确定所述当前全整数像素的运动矢量。在一个实施例中，所述装置144、244的处理单元用于基于采用的运动补偿模型确定所述当前全整数像素的运动矢量。例如，在平移或仿射运动补偿模型的情况下，可以使用所述当前全整数像素所属的相同块的像素的一个或多个运动矢量来确定所述当前全整数像素的运动矢量。本文使用的“运动补偿模型”也称为运动变换模型、运动模型描述等。
所述装置144、244的处理单元还用于基于所述当前全整数像素的运动矢量为所述当前全整数像素确定所述参考帧中的对应子整数像素。
所述装置144、244的处理单元还用于基于所述当前帧中的预定义滤波器支持像素集合生成所述参考帧中的对应滤波器支持像素集合。所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻全整数像素和/或子整数像素。
在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的当前全整数像素的一个或多个竖直和/或水平相邻半整数像素。例如，在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的上方、左侧、下方和右侧的相邻半整数像素。
在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的当前全整数像素的一个或多个竖直和/或水平相邻全整数像素。例如，在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的上方、左侧、下方和右侧的相邻全整数像素。在一个实施例中，所述当前帧中的预定义滤波器支持像素集合可以包括所述当前帧中的当前全整数像素的上方、左侧、下方和右侧的相邻半整数像素和/或全整数像素。
所述装置144、244的所述图像处理装置20用于基于上述插值方案中的一个方案，基于所述参考帧中的所述相应相邻全整数像素的插值确定所述参考帧中的所述当前全整数像素的对应子整数像素的像素值和所述参考帧中的对应滤波器支持像素的像素值。图10示出了使用传统双线性插值或上述插值方案中的一个方案的示例，如在一个实施例提供的所述图像处理装置20中实现的那样，用于确定所述参考帧中的所述当前全整数像素的对应子整数像素的像素值。在图10中，所述参考帧中的参考块相对于包括所述当前帧的示例性当前像素的当前块进行放大和旋转。此外，图10示出了用于所述滤波器支持像素的提高后的分辨率。
所述装置144、244的处理单元还用于通过将空间高通滤波器应用于所述参考帧中的所述当前全整数像素的所述对应子整数像素的所述像素值和所述参考帧中的对应滤波器支持像素的所述像素值，确定所述当前帧中的所述当前像素的帧间预测像素值。
在一个实施例中，所述空间高通滤波器为5抽头滤波器。在一个实施例中，所述5抽头滤波器是对称滤波器，即，所述第一和第五滤波器系数相同，所述第二和第四滤波器系数相同的滤波器。在一个实施例中，所述5抽头滤波器的第一和第五滤波器系数为负，而其它滤波器系数为正。在一个实施例中，所述空间高通滤波器可以分别应用于竖直和水平方向。
在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的五个相邻的全整数像素和半整数像素，在给定的数值精度内，所述5抽头滤波器具有以下滤波器系数(-6，9，26，9，-6)，其可以通过因子1/32进行归一化。
在另一实施例中，所述当前帧中的所述预定义滤波器支持像素集包括所述当前全整数像素的五个相邻全整数像素和半整数像素，在给定的数值精度内，所述5抽头滤波器具有以下滤波器系数(-1，0，10，0，-1)，其可以通过因子1/8进行归一化。可以理解，在没有中间半整数支持像素的实施例中，该滤波器成为具有三个全整数支持像素且具有系数(-1，10，-1)的3抽头滤波器。
在一个实施例中，所述装置144、244的处理单元用于基于二维可分离卷积过程基于滤波器支持像素确定所述当前帧中当前像素的帧间预测像素值。例如，对于5抽头滤波器的情况，所述装置144、244的处理单元用于将5抽头滤波器应用于由当前像素的五个水平和竖直相邻的半整数像素和全整数像素定义的每条水平和竖直线。
在任何实施例中，可以在任何实现步骤处应用中间取整或削波，以便保持固定位数作为计算操作的输入范围。例如，在滤波(例如水平滤波)的任何可分离步骤之后，可以将中间值归一化并取整到16位精度，以便用于随后乘以下一步骤的滤波系数(例如竖直滤波)。
图11示出了图10中所示示例中由装置144、244的处理单元在竖直和水平方向上使用5抽头滤波器执行的处理的不同阶段。如图10中所示的示例中，所述参考块相对于所述当前块进行放大和旋转(对应于仿射变换)，在所述当前帧中竖直和水平的5抽头滤波器在所述参考帧中旋转。
在所述帧间预测装置144和244的以下进一步的实施例中，将描述编码装置100和解码装置200。在本文中，可以理解的是，所述帧间预测装置144、244的实施例涉及在所述编码装置100中实现的所述帧间预测装置144的实施例，以及在所述解码装置200中实现的所述帧间预测装置244的实施例。
在一个实施例中，所述装置144、244的所述处理单元还用于基于所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每一个子整数像素的相应运动矢量。为此，在一个实施例中，所述装置144、244的处理单元用于确定所述当前全整数像素的运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量的平均矢量。例如，为了确定所述当前帧中当前全整数像素上方的半整数像素的运动矢量，所述装置144、244的处理单元可以计算平均值，即，所述当前全整数像素的运动矢量和所述当前全整数像素以上的所述相邻全整数像素的运动矢量的平均值。
与确定所述当前像素的运动矢量类似，所述装置144、244的处理单元可以用于基于所述视频信号的所述当前帧和所述参考帧和/或运动补偿模型来确定所述所述当前全整数像素的相邻全整数像素的所述一个或多个运动矢量。
在一个实施例中，所述装置144、244的处理单元用于：在基于非平移运动补偿模型确定所述当前全整数像素的运动矢量的情况下，通过将空间高通滤波器应用于所述参考帧中的所述当前全整数像素的对应子整数像素的像素值和所述参考帧中的所述对应滤波器支持像素的像素值来确定所述当前帧中当前像素的帧间预测像素值；并在基于平移运动补偿模型确定所述当前全整数像素的运动矢量的情况下，基于传统方案(例如H.264/AVC和H.265/HEVC中定义的传统方案)确定当所述前帧中当前像素的帧间预测像素值。在一个实施例中，非平移运动补偿模型为仿射、扭曲和/或全景运动补偿模型。
图12总结了上述本发明的实施例的几个方面。
图13示出了方法1300的步骤的流程图，用于基于定义像素阵列(特别是全整数像素10a-d)的多个像素值的图像确定目标(特别是子整数像素12a-c)的插值像素值。所述方法1300包括以下步骤：获取(1301)与所述目标像素12a-c相关联的方向角值(a，b)；基于方向角值(a，b)和所述目标像素12a-c的位置从所述像素阵列(10a-d)中为所述目标像素12a-c选择(1303)多个主插值支持像素(10a-d)；基于所选择的主插值支持像素10a-d的像素值、所述方向角值(a，b)和所述目标像素12a-c的位置确定(1305)第一辅插值支持像素11ac和第二辅插值支持像素11bd的像素值；基于所述第一辅插值支持像素11ac和所述第二辅插值支持像素11bd的像素值和所述子整数像素12a-c的位置(特别是所述目标像素12a-c的水平位置或竖直位置)，确定(1307)所述目标像素12a-c的所述插值像素值。
和像素值不同的数据的插值也可以通过上述插值方案实现。
因此，本发明提供的插值方案可以在数据处理装置中实现，所述数据处理装置用于基于多维、特别是二维像素点阵列、特别是全整数像素点或数据点的多个像素点值，确定目标像素点、特别是子整数目标像素点的插值像素点值。所述图像处理装置包括处理电路，所述处理电路用于：获取与所述目标像素点相关联的方向角值；基于所述方向角值和所述目标像素点的位置从所述像素点阵列中选择多个主插值支持像素点用于所述目标像素点；基于所选择的插值支持像素点的像素点值、所述方向角值和所述目标像素点的位置，确定多个辅插值支持像素点的像素点值；基于所述多个辅插值支持像素点和所述目标像素点的位置(特别是所述目标像素点的水平位置或竖直位置)，确定所述目标像素点的所述插值像素点值。
尽管本公开的特定特征或方面可能已经仅结合几种实现方式或实施例中的一种进行公开，但此类特征或方面可以和其它实现方式或实施例中的一个或多个特征或方面相结合，只要对于任何给定或特定的应用是有需要或有利。而且，在一定程度上，术语“包括”、“有”、“具有”或这些词的其它变形在详细的说明书或权利要求书中使用，这类术语和所述术语“包含”是类似的，都是表示包括的含义。同样，术语“示例性地”、“例如”仅表示为示例，而不是最好或最优的。可以使用术语“耦合”和“连接”及其派生词。应理解，这些术语可以用于指示两个元件彼此协作或交互，而不管它们是直接物理接触还是电接触，或者它们彼此不直接接触。
尽管本文中已说明和描述特定方面，但本领域技术人员应了解，多种替代和/或等效实现方式可在不脱离本发明的范围的情况下替代所示和描述的特定方面。本申请旨在覆盖本文论述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，但是除非对权利要求的阐述另有暗示用于实现部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实现。
通过以上启示，对于本领域技术人员来说，许多替代、修改和变化是显而易见的。当然，本领域技术人员容易认识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但本领域技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，可以理解的是，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实践本发明。

Claims (28)

1.一种图像处理装置(20)，用于基于定义像素阵列(10a-d)的多个像素值的图像，确定目标像素(12a-c)的插值像素值，其特征在于，所述图像处理装置(20)包括处理电路(21)，所述处理电路(21)用于：
获取与所述目标像素(12a-c)相关联的方向角值(a，b)；
基于所述目标像素(12a-c)的位置从所述像素阵列(10a-d)中为所述目标像素(12a-c)选择多个主插值支持像素(10a-d)；
基于所选择的主插值支持像素(10a-d)的像素值、所述方向角值(a，b)和所述目标像素(12a-c)的位置确定第一辅插值支持像素(11ac)和第二辅插值支持像素(11bd)的像素值；
基于所述第一辅插值支持像素(11ac)和所述第二辅插值支持像素(11bd)的像素值和所述目标像素(12a-c)的位置确定所述目标像素(12a-c)的插值像素值。
2.根据权利要求1所述的图像处理装置(20)，其特征在于，所述目标像素(12a-c)的所述多个主插值支持像素(10a-d)包括之前插值的目标像素的一个或多个主插值支持像素(10a-d)，和/或所述多个辅插值支持像素(11ac、11bd)包括之前插值的目标像素的一个或多个辅插值支持像素(11ac、11bd)。
3.根据权利要求1或2所述的图像处理装置(20)，其特征在于，所述像素阵列(10a-d)定义水平方向和竖直方向，所述方向角值(a，b)为穿过所述目标像素(12a-c)的直线与所述水平方向之间的锐角。
4.根据权利要求3所述的图像处理装置(20)，其特征在于，所述处理电路(21)用于将所述水平方向与穿过所述目标像素(12a-c)并连接所述目标像素(12a-c)和待插值的另一目标像素(12a-c)的直线之间定义的角度，确定为所述方向角值(a，b)。
5.根据权利要求3或4所述的图像处理装置(20)，其特征在于，所述方向角值(a，b)在0°至45°范围内，所述第一辅插值支持像素(11ac)的位置由穿过所述目标像素(12a-c)的具有所述方向角值(a，b)的直线和连接所述多个主插值支持像素中的两个像素(10a、10c)的第一竖直线之间的交点来定义，所述第二辅插值支持像素(11bd)的位置由穿过所述目标像素(12a-c)的具有所述方向角值(a，b)的直线和连接所述多个主插值支持像素中的另外两个像素(10b、10d)的第二竖直线之间的交点来定义。
6.根据权利要求5所述的图像处理装置(20)，其特征在于，所述处理电路(21)用于：将所述第一辅插值支持像素(11ac)的像素值确定为所述多个主插值支持像素中的两个像素(10a、10c)的加权和，其中所述加权和取决于所述多个主插值支持像素中的两个像素(10a、10c)中的每一个像素与所述第一辅插值支持像素(11ac)之间的竖直距离；并将所述第二辅插值支持像素(11bd)的像素值确定为所述多个主插值支持像素中的另外两个像素(10b、10d)的加权和，其中所述加权和取决于所述多个主插值支持像素中的另外两个像素(10b、10d)中的每一个像素与所述第二辅插值支持像素(11bd)之间的竖直距离。
7.根据权利要求5或6所述的图像处理装置(20)，其特征在于，所述处理电路(21)用于将所述目标像素(12a-c)的插值像素值确定为所述第一辅插值支持像素(11ac)和所述第二辅插值支持像素(11bd)的像素值的加权和，其中所述加权和取决于所述第一辅插值支持像素(11ac)的位置与所述目标像素(12a-c)的位置之间的水平距离以及所述第二辅插值支持像素(11bd)的位置与所述目标像素(12a-c)的位置之间的水平距离。
8.根据权利要求3或4所述的图像处理装置(20)，其特征在于，所述方向角值(a，b)在45°至90°范围内，所述第一辅插值支持像素的位置由穿过所述目标像素(12a-c)的具有所述方向角值(a，b)的直线和连接所述多个主插值支持像素中的两个像素(10a、10b)的第一水平线之间的交点来定义，所述第二辅插值支持像素的位置由穿过所述目标像素(12a-c)的具有所述方向角值(a，b)的直线和连接所述多个主插值支持像素中的另外两个像素(10c、10d)的第二水平线之间的交点来定义。
9.根据权利要求8所述的图像处理装置(20)，其特征在于，所述处理电路(21)用于：将所述第一辅插值支持像素的像素值确定为所述多个主插值支持像素中的两个像素(10a、10b)的加权和，其中所述加权和取决于所述多个主插值支持像素中的两个像素(10a、10b)中的每一个像素与所述第一辅插值支持像素之间的水平距离；并将所述第二辅插值支持像素的像素值确定为所述多个主插值支持像素中的另外两个像素(10c、10d)的加权和，其中所述加权和取决于所述多个主插值支持像素中的另外两个像素(10c、10d)中的每一个像素与所述第二辅插值支持像素之间的水平距离。
10.根据权利要求8或9所述的图像处理装置(20)，其特征在于，所述处理电路(21)用于将所述目标像素(12a-c)的插值像素值确定为所述第一辅插值支持像素和所述第二辅插值支持像素的像素值的加权和，其中所述加权和取决于所述第一辅插值支持像素的位置与所述目标像素(12a-c)的位置之间的竖直距离以及所述第二辅插值支持像素的位置与所述目标像素(12a-c)的位置之间的竖直距离。
11.根据前述权利要求中任一项所述的图像处理装置(20)，其特征在于，所述目标像素(12a-c)的位置定义所述像素阵列(10a-d)的当前像元(10)，所述多个主插值支持像素(10a-d)包括位于所述像素阵列(10a-d)的所述当前像元(10)的一个或多个角点处的所述像素阵列(10a-d)中的一个或多个像素。
12.根据权利要求11所述的图像处理装置(20)，其特征在于，所述多个主插值支持像素(10a-d)还包括位于另一像元的一个或多个角点处的所述像素阵列(10a-d)中的一个或多个像素，特别地，所述另一像元是所述当前像元(10)的相邻像元。
13.根据前述权利要求中任一项所述的图像处理装置(20)，其特征在于，所述处理电路(21)还用于应用中间取整操作。
14.一种用于基于定义像素阵列(10a-d)的多个像素值的图像确定目标像素(12a-c)的插值像素值的方法(1300)，其特征在于，所述方法(1300)包括：
获取(1301)与所述目标像素(12a-c)相关联的方向角值(a，b)；
基于所述目标像素(12a-c)的位置从所述像素阵列(10a-d)中为所述目标像素(12a-c)选择(1303)多个主插值支持像素(10a-d)；
基于所选择的主插值支持像素(10a-d)的像素值、所述方向角值(a，b)和所述目标像素(12a-c)的位置确定(1305)第一辅插值支持像素(11ac)和第二辅插值支持像素(11bd)的像素值；
基于所述第一辅插值支持像素(11ac)和所述第二辅插值支持像素(11bd)的像素值和所述目标像素(12a-c)的位置确定(1307)所述目标像素(12a-c)的插值像素值。
15.一种用于视频信号的当前图像帧的当前块的多个像素的当前全整数像素的像素值的帧间预测装置(144、244)，其特征在于，所述装置(144、244)包括处理单元，所述处理单元用于：
基于所述视频信号的所述当前帧和参考帧和/或运动补偿模型，确定所述当前全整数像素的运动矢量；
基于所述当前全整数像素的所述运动矢量确定所述当前全整数像素在所述参考帧中的对应子整数像素；
基于所述当前帧中的预定义滤波器支持像素集合生成所述参考帧中的对应滤波器支持像素集合，其中所述当前帧中的所述预定义滤波器支持像素集合包括一个或多个相邻的全整数像素和/或所述当前全整数像素的子整数像素；
所述装置(144、244)还包括根据权利要求1至13中任一项所述的图像处理装置(20)，所述图像处理装置(20)用于确定所述当前全整数像素的对应子整数像素的插值像素值和所述参考帧中的对应滤波器支持像素的插值像素值；
所述处理单元还用于通过将空间高通滤波器应用于所述参考帧中的所述当前全整数像素的所述对应子整数像素的所述像素值和所述参考帧中的对应滤波器支持像素的所述像素值，确定所述当前帧中的所述当前像素的帧间预测像素值。
16.根据权利要求15所述的装置(144、244)，其特征在于，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的所述当前全整数像素的一个或多个竖直和/或水平相邻的半整数像素。
17.根据权利要求15或16所述的装置(144、244)，其特征在于，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的所述当前全整数像素的一个或多个竖直和/或水平相邻的全整数像素。
18.根据权利要求15至17中任一项所述的装置(144、244)，其特征在于，所述空间高通滤波器是5抽头或3抽头滤波器。
19.根据权利要求18所述的装置(144、244)，其特征在于，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻的全整数像素和半整数像素，所述5抽头滤波器具有以下滤波器系数(-6，9，26，9，-6)。
20.根据权利要求18所述的装置(144、244)，其特征在于，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻的全整数像素和/或半整数像素，所述5抽头滤波器具有以下滤波器系数(-1，0，10，0，-1)或所述3抽头滤波器具有以下滤波器系数(-1，10，-1)。
21.根据权利要求15至20中任一项所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元还用于基于所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数或半整数像素的一个或多个运动矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每一个子整数像素的相应运动矢量。
22.根据权利要求21所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元用于通过确定所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量的平均矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每一个子整数像素的相应的运动矢量。
23.根据权利要求21或22所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元还用于基于所述视频信号的所述当前帧和所述参考帧和/或运动补偿模型来确定所述当前全整数像素的相邻全整数像素的一个或多个运动矢量。
24.根据权利要求15至23中任一项所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元用于：在基于非平移运动补偿模型确定所述当前全整数像素的运动矢量的情况下，通过将空间高通滤波器应用于所述参考帧中的所述当前全整数像素的对应子整数像素的像素值和所述参考帧中的所述对应滤波器支持像素的像素值来确定所述当前帧中当前像素的帧间预测像素值；并在基于平移运动补偿模型确定所述当前全整数像素的运动矢量的情况下，基于传统方案确定当所述前帧中当前像素的帧间预测像素值。
25.根据权利要求24所述的装置(144、244)，其特征在于，所述非平移运动补偿模型为仿射、扭曲和/或全景运动补偿模型。
26.一种用于编码视频信号的当前图像的编码装置(100)，其特征在于，所述编码装置(100)包括根据权利要求15至25任一项所述的帧间预测装置(144)。
27.一种用于解码压缩视频信号的当前重建图像的解码装置(200)，其特征在于，所述解码装置(200)包括根据权利要求15至25任一项所述的帧间预测装置(244)。
28.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序代码，当所述程序代码在计算机或处理器上执行时，执行权利要求14所述的方法。
CN201880091690.2A 2018-03-29 2018-03-29 图像处理装置和方法 Active CN111903132B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2018/000207 WO2019190342A1 (en) 2018-03-29 2018-03-29 Image processing apparatus and method

Publications (2)

Publication Number Publication Date
CN111903132A true CN111903132A (zh) 2020-11-06
CN111903132B CN111903132B (zh) 2023-02-10

Family

ID=62186510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091690.2A Active CN111903132B (zh) 2018-03-29 2018-03-29 图像处理装置和方法

Country Status (7)

Country Link
US (1) US11202082B2 (zh)
EP (1) EP3777175A1 (zh)
KR (1) KR102435316B1 (zh)
CN (1) CN111903132B (zh)
BR (1) BR112020019740A2 (zh)
MX (1) MX2020010171A (zh)
WO (1) WO2019190342A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049272A (zh) * 2021-11-11 2022-02-15 上海傲显科技有限公司 屏幕图像处理方法、屏幕组件和计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080239145A1 (en) * 2007-03-30 2008-10-02 Kabushiki Kaisha Toshiba Image expansion apparatus, video display apparatus and image expansion method
CN101682781A (zh) * 2008-01-18 2010-03-24 松下电器产业株式会社 图像编码方法以及图像解码方法
US20120163460A1 (en) * 2010-12-23 2012-06-28 Qualcomm Incorporated Sub-pixel interpolation for video coding
CN102595120A (zh) * 2011-01-14 2012-07-18 华为技术有限公司 一种空域预测编码方法、解码方法、装置和系统
CN103718552A (zh) * 2011-07-19 2014-04-09 高通股份有限公司 用于视频译码的对非正方形块的解块
CN106534850A (zh) * 2015-09-09 2017-03-22 三星电子株式会社 图像处理装置、图像插值方法和图像编码方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7245326B2 (en) * 2001-11-19 2007-07-17 Matsushita Electric Industrial Co. Ltd. Method of edge based interpolation
US20030179827A1 (en) * 2002-03-19 2003-09-25 Kenji Sugiyama Video emphasis encoding method and apparatus, video de-emphasis decoding method and apparatus, video emphasis transmitting method and apparatus and video de-emphasis receiving method and apparatus
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
CA2701657A1 (en) * 2007-10-05 2009-04-09 Nokia Corporation Video coding with pixel-aligned directional adaptive interpolation filters
CN103238320B (zh) 2010-09-30 2016-06-01 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
WO2019093916A1 (en) 2017-11-07 2019-05-16 Huawei Technologies Co., Ltd Interpolation filter for an inter prediction apparatus and method for video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080239145A1 (en) * 2007-03-30 2008-10-02 Kabushiki Kaisha Toshiba Image expansion apparatus, video display apparatus and image expansion method
CN101682781A (zh) * 2008-01-18 2010-03-24 松下电器产业株式会社 图像编码方法以及图像解码方法
US20120163460A1 (en) * 2010-12-23 2012-06-28 Qualcomm Incorporated Sub-pixel interpolation for video coding
CN102595120A (zh) * 2011-01-14 2012-07-18 华为技术有限公司 一种空域预测编码方法、解码方法、装置和系统
CN103718552A (zh) * 2011-07-19 2014-04-09 高通股份有限公司 用于视频译码的对非正方形块的解块
CN106534850A (zh) * 2015-09-09 2017-03-22 三星电子株式会社 图像处理装置、图像插值方法和图像编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CORDULA HEITHAUSEN 等: "Inter Prediction using Estimation and Explicit Coding of Affine Parameters", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，8TH MEETING: MACAO, CN, 18–24 OCT. 2017，JVET-H0031》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049272A (zh) * 2021-11-11 2022-02-15 上海傲显科技有限公司 屏幕图像处理方法、屏幕组件和计算机存储介质

Also Published As

Publication number Publication date
KR102435316B1 (ko) 2022-08-23
MX2020010171A (es) 2020-10-28
KR20200134302A (ko) 2020-12-01
US20210014511A1 (en) 2021-01-14
WO2019190342A8 (en) 2020-10-22
WO2019190342A1 (en) 2019-10-03
BR112020019740A2 (pt) 2021-02-17
EP3777175A1 (en) 2021-02-17
US11202082B2 (en) 2021-12-14
CN111903132B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN111213380B (zh) 一种帧间预测装置、方法、编解码装置和可读介质
US11202082B2 (en) Image processing apparatus and method
US11228780B2 (en) Inter prediction apparatus and method for video coding
WO2024079965A1 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2022079469A (ja) 画像復号装置、画像復号方法及びプログラム
JP2022087335A (ja) 画像復号装置、画像復号方法及びプログラム
TW202034699A (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法及程式
JP2022019720A (ja) 画像復号装置、画像復号方法及びプログラム
CN116506610A (zh) 对视频信号编码的方法、计算设备、存储介质、程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant