CN112823520A - 视频处理的方法与装置 - Google Patents

视频处理的方法与装置 Download PDF

Info

Publication number
CN112823520A
CN112823520A CN201980066718.1A CN201980066718A CN112823520A CN 112823520 A CN112823520 A CN 112823520A CN 201980066718 A CN201980066718 A CN 201980066718A CN 112823520 A CN112823520 A CN 112823520A
Authority
CN
China
Prior art keywords
block
luminance
motion vector
blocks
chrominance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980066718.1A
Other languages
English (en)
Inventor
马思伟
王苏红
郑萧桢
王苫社
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
SZ DJI Technology Co Ltd
Original Assignee
Peking University
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, SZ DJI Technology Co Ltd filed Critical Peking University
Publication of CN112823520A publication Critical patent/CN112823520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种视频处理的方法与装置，该方法包括：确定待编码或解码的色度块；将色度块对应的亮度块中的一个亮度块的运动矢量作为色度块的运动矢量。通过直接将色度块对应的亮度块中的一个亮度块的运动矢量作为该色度块的运动矢量，可以有效简化获取色度块的运动矢量的流程，从而可以简化色度块的编解码流程，降低编解码复杂度，提高编解码效率。

Description

视频处理的方法与装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及视频处理领域，并且更为具体地，涉及一种视频处理的方法与装置。
背景技术
在视频压缩中，视频信号会分解为亮度分量与色度分量。其中，色度分量的分辨率通过“色度取样”步骤进行减半或者减更多。
视频编码过程包括帧间预测过程。帧间预测过程包括，获取当前块的运动矢量(motion vector，MV)，然后根据当前块的运动矢量，在参考帧中寻找相似块作为当前块的预测块。
当前视频压缩技术中，获取色度块的运动矢量的流程较为繁琐。如何简化获取色度块的运动矢量的流程是目前亟待解决的问题。
发明内容
本申请提出一种视频处理的方法与装置，通过直接将色度块对应的亮度块中的一个亮度块的运动矢量作为该色度块的运动矢量，可以有效简化获取色度块的运动矢量的流程，从而可以简化色度块的编解码流程，降低编解码复杂度，提高编解码效率。
第一方面，提供一种视频处理的方法，该方法包括：确定待编码或解码的色度块；将色度块对应的亮度块中的一个亮度块的运动矢量作为色度块的运动矢量。
第二方面，提供一种视频处理的装置，该装置包括存储器和处理器，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且对该存储器中存储的指令的执行使得所述处理器执行如下操作：确定待编码或解码的色度块；将色度块对应的亮度块中的一个亮度块的运动矢量作为色度块的运动矢量。
第三方面，提供一种芯片，包括处理模块与通信接口，处理模块用于实现第一方面的方法，处理模块还用于控制通信接口与外部进行通信。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机实现第一方面的方法。该计算机可以为第二方面提供的视频处理的装置。
第五方面，提供一种包含指令的计算机程序产品，该指令被计算机执行时使得该计算机实现第一方面的方法。该计算机可以为第二方面提供的视频处理的装置。
第六方面，提供一种视频处理的系统，该系统包括编码器与解码器，编码器与解码器均用于执行第一方面的方法。
基于上述描述，通过直接将色度块对应的亮度块中的一个亮度块的运动矢量作为该色度块的运动矢量，相对于现有技术，可以去除求平均的操作，有效简化了获取色度块的运动矢量的流程，从而可以简化色度块的编解码流程，降低编解码复杂度，提高编解码效率。
附图说明
图1为视频编码的架构示意图。
图2为四参数仿射模型(Affine模型)的示意图。
图3为六参数Affine模型的示意图。
图4为Affine运动矢量场的示意图。
图5为视频压缩格式4:2:0下色度块与亮度块的对应示意图。
图6为视频压缩格式4:2:0下获取色度块的运动矢量的一种方法的示意图。
图7为视频压缩格式4:2:2下获取色度块的运动矢量的一种方法的示意图。
图8为视频压缩格式4:2:2下获取色度块的运动矢量的另一种方法的示意图。
图9为本申请实施例提供的视频处理的方法的示意性流程图。
图10为本申请实施例在视频压缩格式4:2:0下获取色度块的运动矢量的方法的示意图。
图11为本申请实施例在视频压缩格式4:2:2下获取色度块的运动矢量的方法的示意图。
图12为本申请实施例在视频压缩格式4:4:4下获取色度块的运动矢量的方法的示意图。
图13为本申请实施例提供的视频处理的装置的示意性框图。
具体实施方式
本申请可应用于多种视频编码标准，如H.266，高效率视频编码(high efficiencyvideo coding，HEVC)(或称H265)，通用视频编码(versatile video coding，VVC)，音视频编码标准(audio video coding standard，AVS)，AVS+，AVS2以及AVS3以及未来演进的各种音视频编解码标准等。
主流视频编码框架包括预测、变换、量化、熵编码、环路滤波等部分，如图1所示。
预测是主流视频编码框架的重要模块。预测分为帧内预测和帧间预测。预测分为帧内预测和帧间预测。帧内预测使用当前图像帧上已编码的块来生成当前图像块(下文简称为当前块)的参考块(或称为预测块)，而帧间预测使用参考帧(或称为参考图像)来获取当前块的参考块。然后将当前块与参考块相减得到残差数据。通过残差数据与变换矩阵，将时域信号变换到频域上，得到变换系数。对变换系数进行量化，来缩小变换系数的动态范围，以进一步压缩信息。对于量化后的变换系数，一是通过熵编码得到熵编码的比特流；二是经过反量化和反变换后与参考块相加，再进行环内滤波得到重建帧图像，可以基于重建帧图像确定较优的预测方式。
作为示例，在编码端，通过熵编码得到比特流之后，将比特流以及编码模式信息，例如帧间预测模式、运动矢量信息等信息，发送到解码端。
作为示例，在解码端，解码的大致流程包括：对接收到的比特流进行熵解码，得到相应的残差；根据解码得到的运动矢量等编码模式信息，获得预测块；根据残差和预测块，重构出当前块。
帧间预测可以通过运动补偿的方式来实现。下面对运动补偿过程进行举例说明。
例如，对于一帧图像，可以先将其划分成一个或多个编码区域。该编码区域也可称为编码树单元(coding tree unit，CTU)。CTU的尺寸例如可以是64×64，也可以是128×128(单位为像素，后文的类似描述均省略单位)。每个CTU可以划分成方形或矩形的图像块。该图像块也可称为编码单元(coding unit，CU)，后文会将待编码的当前CU称为当前块。
在对当前块进行帧间预测时，可以从参考帧(可以是时域附近的已重构帧)中寻找当前块的相似块，作为当前块的预测块。当前块与相似块之间的相对位移称为运动矢量(motion vector，MV)。在参考帧中寻找相似块作为当前块的预测块的过程即为运动补偿。
在目前的H.266国际视频编码标准中，帧间预测模式可以分为以下两种类型：合并模式(Merge mode)与非合并模式(例如高级运动矢量预测模式(AMVP mode))。
Merge模式的特点在于，图像块的运动矢量(motion vector，MV)即为图像块的运动矢量预测(motion vector prediction，MVP)，因此，对于Merge模式，在码流中传输MVP的索引及参考帧的索引即可，不需要在码流中传输运动矢量差值(Motion vectordifference，MVD)。相比而言，非Merge模式不但需要在码流中传输MVP和参考帧的索引，还需要在码流中传输MVD。
在运动补偿预测阶段，以往主流的视频编码标准只应用了平移运动模型，即当前块的运动矢量代表的是当前块与参考块之间的相对位移。而在现实世界中，有多种更为复杂的运动形式，如放大/缩小，旋转，远景运动和其他不规则运动。为了能够描述更为复杂的运动情况，新一代编码标准VCC中引入了仿射变换运动补偿模型(Affine模型)。Affine模型利用当前块的两个控制点(control point，CP)的运动矢量(四参数模型)或三个控制点的运动矢量(六参数模型)描述当前块的仿射运动场。
其中，在四参数Affine模型中，利用当前块的两个控制点的运动矢量描述当前块的仿射运动场，该两个控制点例如可以是当前块的左上角点和右上角点，如图2所示。例如，当前块为16×16大小的CU，可被划分为4个4×4大小的子块(Sub-CU)，则这4个4×4大小的Sub-CU中每个Sub-CU的MV均可以根据该16×16大小的CU的两个控制点的MV来确定。
在六参数Affine模型中，利用当前块的三个控制点的运动矢量描述当前块的仿射运动场，该三个控制点例如可以是当前块的左上角点、右上角点和左下角点，如图3所示。例如，当前块为16×16大小的CU，可被划分为4个4×4大小的子块(Sub-CU)，则这4个4×4大小的Sub-CU中每个Sub-CU的MV均可以根据该16×16大小的CU的三个控制点的MV来确定。
需要说明的是，子块(Sub-CU)的大小为4×4，在本申请中仅作为示例，在其他实现的方式中，子块的大小可以是其他数值，例如8×8，本申请对此不作限定。
例如，在四参数模型下，当前块内每个子块的运动矢量可以通过如下公知计算：
Figure BDA0003013188970000051
在六参数模型下，当前块内每个子块的运动矢量可以通过如下公知计算：
Figure BDA0003013188970000052
其中，(x，y)表示当前块中每个子块的坐标。mv0、mv1与mv2表示当前块的控制点运动矢量(control point motion vector prediction，CPMV)，其中，(mv0x，mv0y)表示左上角控制点的运动矢量，如图2与图3中所示的mv0，(mv1x，mvly)表示右上角控制点的运动矢量，如图2与图3中所示的mv1，(mv2x，mv2y)表示左下角控制点的运动矢量，如图3中所示的mv2。W表示当前块的像素宽度(可以简称为当前块的宽度)，H表示当前块的像素高度(可以简称为当前块的高度)。
Affine模型也可以分为Merge模式与非Merge模式(例如，AMVP)模式。Affine模型与Merge模式的结合，可以称为Affine Merge模式。Affine模型与AMVP模式的结合，可以称为Affine AMVP模式。
普通Merge模式的运动矢量候选列表(merge candidate list)中记录的是图像块的MVP，而Affine Merge模式的运动矢量候选列表(affine merge candidate list)中记录的是控制点运动矢量预测(control point motion vector prediction，CPMVP)。与普通Merge模式类似，Affine Merge模式无需在码流中添加MVD，而是直接将CPMVP作为当前块的CPMV，将CPMVP的索引编码到码流中。
与普通AMVP模式类似，Affine AMVP模式不但需要在码流中传输CPMVP的索引和参考帧的索引，还需要在码流中传输MVD。
为了简化运动补偿预测的计算，VVC应用了基于块的预测，将当前块分为子块，分别获取每个子块的运动矢量。即当前块中每个子块的运动矢量通过当前块的两个或三个控制点的运动矢量导出。
作为示例，一个图像块中各个子块的运动矢量的示意图如图4所示，每个方格代表一个子块，每个方格中的箭头表示子块的运动矢量。在图4中，Affine模型为四参数模型。
例如，当前块表示为当前CU，当前块中的子块可以称为sub-CU。
例如，在当前标准中，子块大小为4×4。
在视频压缩中，视频信号会分解为亮度分量与色度分量，其中，色度分量的分辨率通过“色度取样”步骤进行减半或者减更多(因为人眼对亮度分辨率的敏感度高于对色彩分辨率的敏感度)。亮度分量和色度分量的分辨率的比率常用来描述各种色度取样方式，这个比率通常基于亮度分量的分辨率，以4:X:Y的形式描述，X和Y表示每两个色度通道中的数值的相对数量。4:X:Y也称为视频压缩格式。下面对视频压缩格式4:X:Y进行举例说明。
使用标准的视频压缩格式命名规则，视频压缩格式包括：4:4:4，4:2:0，4:2:2，4:1:1等。
4:4:4意味着1个色度块对应1个亮度块。
换句话说，4:4:4意味着1个色度像素对应1个亮度像素。
4:4:4表示完全取样。
4:2:0意味着1个色度块对应4个亮度块。
换句话说，4:2:0意味着1个色度像素对应4个亮度像素。如图5所示，每个色度像素(Chroma Pixel)对应四个亮度像素(Luma Pixel)。
4:2:0表示2:1的水平取样，垂直2:1采样。
4:2:2意味着1个色度块对应2个亮度块。
换句话说，4:2:2意味着1个色度像素对应2个亮度像素。
4:2:2表示2:1的水平取样，垂直完全采样，如图7所示。或者，4:2:2表示2:1的垂直取样，水平完全采样，如图8所示。
4:1:1意味着1个色度块对应4个亮度块。
换句话说，4:1:1意味着1个色度像素对应4个亮度像素。
4:1:1表示4:1的水平取样，垂直完全采样。
例如，亮度块可以理解为，携带亮度值的像素点或集合。色度块可以理解为，携带色度值的像素点或集合。
在不同的视频编码标准中，块的定义不同。例如，在HEVC标准中，块为编码单元(CU)。又例如，在VCC标准中，块的大小为4×4，可以称为子块，即上述的亮度块可以为大小为4×4的亮度子块，色度块可以为大小为4×4的色度子块。
需要说明的是，4×4在本申请中仅作为示例，在其他实现的方式中，亮度块的大小和色度块的大小还可以是其他数值，例如8×8，本申请对此不作限定。
在运动补偿预测阶段，若采用Affine模型，对每个4×4的亮度子块，根据当前块的两个或三个控制点运动矢量，获取其运动矢量，参见上文结合图2至图4的描述。对于每个4×4的色度子块，根据其对应的亮度子块的运动矢量，获取其运动矢量。
例如，对于编码压缩格式为4:2:0的视频，每个4×4的色度子块对应着一个8×8的亮度块。假设在Affine模式中，亮度子块大小为4×4，则每个4×4的色度子块对应着4个4×4的亮度子块。当前技术中，对于编码压缩格式为4:2:0的视频，1个4×4的色度子块的运动矢量由其对应的4个4×4的亮度子块中左上角的亮度子块的运动矢量mv1与右下角的亮度子块的运动矢量mv2求平均获得，如图6所示。
又例如，对于编码压缩格式为4:2:2的视频，每个4×4的色度子块对应着1个4×8的亮度子块。假设在Affine模式中，亮度子块大小为4×4，则每个4×4的色度子块对应着2个4×4的亮度子块。按照取样方向的不同，每个4×4的色度子块可以在水平方向上对应2个4×4的亮度子块，或者，在竖直方向上对应2个4×4的亮度子块。当前技术中，对于编码压缩格式为4:2:2的视频，每个4×4的色度子块的运动矢量由其水平方向上对应的2个4×4的亮度子块的运动矢量求平均获得，如图7所示，或者，每个4×4的色度子块的运动矢量由其垂直方向上对应的2个4×4的亮度子块的运动矢量求平均获得，如图8所示。
当前技术中，针对色度块的运动矢量的导出流程较为繁琐，存在改善空间。
下面结合图9，对本申请实施例进行描述。
图9为本申请实施例提供的视频处理的方法的示意性流程图。图9的方法可应用于编码端，也可应用于解码端。
在步骤S910，确定待编码或解码的色度块。
在步骤S920，将色度块对应的亮度块中的一个亮度块的运动矢量作为该色度块的运动矢量。
每个色度块与每个亮度块的大小相同。块的大小与帧间预测模式有关，例如，在帧间预测模式为Affine模式的情况下，块的大小可以为4×4，即色度块的大小与亮度块的大小为4×4。应理解，在不同帧间预测模式或视频编码标准下，块的大小可以具有不同的定义。
色度块与亮度块的对应规则根据视频压缩格式确定。例如，对于编码压缩格式为4:2:0的视频，每个色度块对应着4个亮度块，对于编码压缩格式为4:2:2的视频，每个色度块对应着2个亮度块，对于编码压缩格式为4:4:4的视频，每个色度块对应着1个亮度块，对于编码压缩格式为4:1:1的视频，每个色度块对应着4个亮度块。
在步骤S920中，将该色度块对应的亮度块中的一个亮度块的运动矢量作为该色度块的运动矢量，为了便于描述与理解，下文中将这一个亮度块记为目标亮度块。
对于一个色度块，目标亮度块在该色度块对应的亮度块中的位置可以由协议规定或预配置，或者，该目标亮度块的位置是编码端与解码端预先协商好的，即编码端与解码端可以基于相同的规则获取色度块的运动矢量。
例如，在步骤S920中，将该色度块对应的亮度块中预设位置的目标亮度块的运动矢量作为该色度块的运动矢量。这里的预设位置表示，目标亮度块的位置是协议规定或预配置的。
在色度块对应多个亮度块的情况下(例如，编码压缩格式为4:2:0，4:2:2，4:1:1)，在步骤S920中，将该色度块对应的多个亮度块中的目标亮度块的运动矢量作为该色度块的运动矢量，其中，目标亮度块是位于该色度块对应的多个亮度块中的下列位置中任一位置的亮度块：
左上角、左边、上边、左下角、右上角、右下角、右边或者下边。
也即是说，上述的预设位置可以是左上角、左边、上边、左下角、右上角、右下角、右边或者下边中的任一位置。
例如，视频压缩格式为4:2:0，可以将该色度块对应的四个亮度块中位于左上角、右上角、左下角或右下角的一个亮度块的运动矢量作为该色度块的运动矢量。
又例如，视频压缩格式为4:2:2，在该色度块对应两个水平方向上的亮度块的情况下，可以将这两个亮度块中位于左边或右边的一个亮度块的运动矢量作为该色度块的运动矢量；在该色度块对应两个竖直方向上的亮度块的情况下，可以将这两个亮度块中位于上边或下边的一个亮度块的运动矢量作为该色度块的运动矢量。
再例如，视频压缩格式为4:1:1，可以将该色度块对应的四个亮度块中位于左侧第一个、左侧第二个、左侧第三个或左侧第四个的亮度块的运动矢量作为该色度块的运动矢量。
在色度块对应一个亮度块的情况下，即编码压缩格式为4:4:4，在步骤S920中，将该色度块对应的一个亮度块的运动矢量作为该色度块的运动矢量。
应理解，通过直接将色度块对应的亮度块中的一个亮度块的运动矢量作为该色度块的运动矢量，相对于现有技术，可以避免基于多个亮度块的运动矢量进行进一步计算，获得色度块的运动矢量的过程，有效简化了获取色度块的运动矢量的流程，从而可以简化色度块的编解码流程，降低编解码复杂度，提高编解码效率。
可选地，在步骤S920中，将该色度块对应的亮度块中固定位置的一个亮度块(记为目标亮度块)的运动矢量作为该色度块的运动矢量。
该固定位置的一个亮度块可以是色度块对应的亮度块中任一位置的亮度块。
例如，对于视频压缩格式4:2:0，该固定位置的目标亮度块是位于色度块对应的四个亮度块中的左上角的亮度块。如图10所示，在Affine模式中，4×4的色度子块的运动矢量直接由该色度子块对应的四个4×4的亮度子块中左上角的亮度子块的运动矢量(MV)导出。
应理解，在视频压缩格式4:2:0下，将色度块对应的四个亮度块中左上角的一个亮度块的运动矢量作为该色度块的运动矢量，相对来说，可以提高色度块的运动矢量的准确性。
对于视频压缩格式4:2:0，该固定位置的目标亮度块也可以是位于色度块对应的四个亮度块中右上角、左下角或右下角的亮度块。
又例如，对于视频压缩格式4:2:2，在该色度块对应两个水平方向上的亮度块的情况下，该固定位置的目标亮度块是位于这两个亮度块中左边的亮度块；在该色度块对应两个竖直方向上的亮度块的情况下，该固定位置的目标亮度块是位于这两个亮度块中的上边的亮度块。
如图11所示，色度块1对应两个水平方向上的亮度块1-1与1-2，亮度块1-1的运动矢量为mv1，亮度块1-2的运动矢量为mv2，色度块2对应两个水平方向上的亮度块2-1与2-2，亮度块2-1的运动矢量为mv3，亮度块2-2的运动矢量为mv4。色度块1的运动矢量直接由亮度块1-1的运动矢量mv1导出，即直接将亮度块1-1的运动矢量mv1作为色度块1的运动矢量。色度块2的运动矢量直接由亮度块2-1的运动矢量mv3导出，即直接将亮度块2-1的运动矢量mv3作为色度块1的运动矢量。
应理解，在视频压缩格式4:2:2下，将色度块对应的两个亮度块中左边的或上边的一个亮度块的运动矢量作为该色度块的运动矢量，相对来说，可以提高色度块的运动矢量的准确性。
对于视频压缩格式4:2:2，在该色度块对应两个水平方向上的亮度块的情况下，该固定位置的目标亮度块也可以是位于这两个亮度块中右边的亮度块；在该色度块对应两个竖直方向上的亮度块的情况下，该固定位置的目标亮度块是位于这两个亮度块中下边的亮度块。
再例如，对于视频压缩格式4:1:1，该固定位置的目标亮度块是位于色度块对应的四个亮度块中最左侧的亮度块，即最侧第一个亮度块。
对于视频压缩格式4:1:1，该固定位置的目标亮度块也可以是位于色度块对应的四个亮度块中左侧第二个、左侧第三个或左侧第四个亮度块。
再例如，对于视频压缩格式4:4:4，该固定位置的目标亮度块就是该色度块对应的一个亮度块。即色度块的运动矢量由其对应的一个亮度块的运动矢量直接导出。
如图12所示，在视频压缩格式4:4:4下，色度块1对应一个亮度块1-1，亮度块1-1的运动矢量为mv1，色度块2对应一个亮度块2-1，亮度块2-1的运动矢量为mv2，色度块3对应一个亮度块3-1，亮度块3-1的运动矢量为mv3，色度块4对应一个亮度块4-1，亮度块4-1的运动矢量为mv4。色度块1的运动矢量直接由亮度块1-1的运动矢量mv1导出，即直接将亮度块1-1的运动矢量mv1作为色度块1的运动矢量。色度块2的运动矢量直接由亮度块2-1的运动矢量mv2导出，即直接将亮度块2-1的运动矢量mv2作为色度块2的运动矢量。对于色度块3与色度块4的描述以此类推，不再赘述。
应理解，通过将色度块对应的亮度块中固定位置的一个亮度块的运动矢量作为色度块的运动矢量，则该固定位置可以由协议规定或预配置，从而编码端无需向解码端指示该固定位置，因此可以进一步简化获取色度块的运动矢量的流程。
基于上述描述，本申请通过直接将色度块对应的亮度块中的一个亮度块的运动矢量作为该色度块的运动矢量，对于任何一种视频压缩格式，在获取色度块的运动矢量的过程中均无需执行求平均的操作，相对于现有技术，可以有效简化获取色度块的运动矢量的流程，从而可以简化色度块的编解码流程，降低编解码复杂度，提高编解码效率。
可选地，在图9的方法中，帧间预测模式为Affine模型，即亮度块的运动矢量根据两个或三个控制点运动矢量获得。
例如，在四参数Affine模型下，每个亮度块的运动矢量由该亮度块所在当前块的左上角控制点运动矢量与右上角控制点运动矢量获得。例如，在六参数Affine模型下，每个亮度块的运动矢量由该亮度块所在当前块的左上角控制点运动矢量、右上角控制点运动矢量与左下角控制点运动矢量获得。
例如，当帧间预测模式为Affine模型，亮度块可以称为亮度子块，色度块可以称为色度子块。
本申请对帧间预测模式不作限定，例如，可以为除Affine模式之外的其他预测模式。应理解，亮度块的运动矢量的获取方式随帧间预测模式而定。除了可以应用于Affine模式以外，本申请适用于任何基于亮度块的运动矢量来导出色度块的运动矢量的场景。
当图9的方法应用于编码端，在视频编码的预测环节，在获取亮度块的运动矢量之后，执行步骤S910与步骤S920。执行完步骤S920后，图9的方法还包括：利用色度块的运动矢量，对色度块进行编码。
例如，执行完步骤S920后，图9的方法包括图1中所示的变换、量化、熵编码的过程，以及反量化、反变换以获得重建帧的过程。
当图9的方法应用于解码端，图9的方法在步骤S910之前还可以包括如下操作：
对码流进行解码，获得控制点运动矢量(CPMV)的索引，在非合并模式情况下，还需解码获得控制点运动矢量的运动矢量残差值(MVD)，进而获得各个图像块的CPMV；按照上文描述的四参数模型或六参数模型，根据CPMV计算得到亮度块的运动矢量。
应理解，人眼对亮度分辨率的敏感度高于对色彩分辨率的敏感度，相对于色度元素，亮度元素对视频信号的贡献更大。采用本申请实施例提供的方法获取色度块的运动矢量，不会明显降低编码性能。
还应理解，本申请实施例可以应用于对色度编码要求较低的场景，这时，在不影响编码性能的前提下，可以有效简化获取色度块的运动矢量的流程。
还应理解，本申请实施例可以适用于所有涉及根据亮度块的运动矢量获取色度块的运动矢量的场景。
上文描述了本申请的方法实施例，下文将描述本申请的装置实施例。应理解，装置实施例的描述与方法实施例的描述相互对应，因此，未详细描述的内容可以参见前面方法实施例，为了简洁，这里不再赘述。
如图13所示，本申请实施例还提供一种视频处理的装置。该装置可以为编码器，与可以为解码器。该视频处理的装置包括处理器1310与存储器1320，该存储器1320用于存储指令，该处理器1310用于执行该存储器1320存储的指令，并且对该存储器1320中存储的指令的执行使得，该处理器1310用于执行上文方法实施例的方法。
该处理器1310通过执行存储器1320存储的指令，执行如下操作：确定待编码或解码的色度块；将色度块对应的亮度块中的一个亮度块的运动矢量作为色度块的运动矢量。
可选地，将色度块对应的亮度块中的一个亮度块的运动矢量作为色度块的运动矢量，包括：将色度块对应的亮度块中固定位置的一个亮度块的运动矢量作为色度块的运动矢量。
可选地，色度块对应多个亮度块；其中，将色度块对应的亮度块中的一个亮度块的运动矢量作为色度块的运动矢量，包括：将色度块对应的多个亮度块中的目标亮度块的运动矢量作为色度块的运动矢量，其中，目标亮度块是位于色度块对应的多个亮度块中的下列位置中任一位置的亮度块：左上角、左边、上边、左下角、右上角、右下角、右边或者下边。
可选地，视频压缩格式为4:2:2，目标亮度块是位于色度块对应的多个亮度块中左上角的亮度块。
可选地，视频压缩格式为4:2:0；在色度块对应水平的两个亮度块的情况下，目标亮度块是位于色度块对应的两个亮度块中左边的亮度块；或在色度块对应竖直的两个亮度块的情况下，目标亮度块是位于色度块对应的两个亮度块中上边的亮度块。
可选地，视频压缩格式为4:1:1，目标亮度块是位于色度块对应的多个亮度块中最左侧的亮度块。
可选地，亮度块的运动矢量根据两个或三个控制点运动矢量获得。
可选地，处理器1310还用于执行如下操作：利用色度块的运动矢量，对色度块进行编码或解码。
可选地，如图13所示，该视频处理的装置还包括通信接口1330，用于与外部器件传输信号。
当本申请实施例提供的视频处理的装置为编码器，通信接口1330用于从外部器件接收待处理的图像或视频数据，还用于向解码端发送编码的码流。
当本申请实施例提供的视频处理的装置为解码器，通信接口1330用于向外部器件发送解码得到的数据。
本申请实施例还提供一种视频处理的系统，该系统包括编码器与解码器，编码器与解码器均用于执行上文实施例的方法。
本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上文方法实施例的方法。
本发明实施例还提供一种包含指令的计算机程序产品，其特征在于，该指令被计算机执行时使得计算机执行上文方法实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种视频处理的方法，其特征在于，包括：
确定待编码或解码的色度块；
将所述色度块对应的亮度块中的一个亮度块的运动矢量作为所述色度块的运动矢量。
2.根据权利要求1所述的方法，其特征在于，所述将所述色度块对应的亮度块中的一个亮度块的运动矢量作为所述色度块的运动矢量，包括：
将所述色度块对应的亮度块中固定位置的一个亮度块的运动矢量作为所述色度块的运动矢量。
3.根据权利要求1或2所述的方法，其特征在于，所述色度块对应多个亮度块；
其中，所述将所述色度块对应的亮度块中的一个亮度块的运动矢量作为所述色度块的运动矢量，包括：
将所述色度块对应的多个亮度块中的目标亮度块的运动矢量作为所述色度块的运动矢量，其中，所述目标亮度块是位于所述色度块对应的多个亮度块中的下列位置中任一位置的亮度块：
左上角、左边、上边、左下角、右上角、右下角、右边或者下边。
4.根据权利要求3所述的方法，其特征在于，视频压缩格式为4∶2∶0，所述目标亮度块是位于所述色度块对应的多个亮度块中左上角的亮度块。
5.根据权利要求3所述的方法，其特征在于，视频压缩格式为4∶2∶2；
在所述色度块对应水平的两个亮度块的情况下，所述目标亮度块是位于所述色度块对应的两个亮度块中左边的亮度块；或
在所述色度块对应竖直的两个亮度块的情况下，所述目标亮度块是位于所述色度块对应的两个亮度块中上边的亮度块。
6.根据权利要求3所述的方法，其特征在于，视频压缩格式为4∶1∶1，所述目标亮度块是位于所述色度块对应的多个亮度块中最左侧的亮度块。
7.根据权利要求3所述的方法，其特征在于，视频压缩格式为4∶4∶4，所述目标亮度块是所述色度块对应的一个亮度块。
8.根据权利要求4或6所述的方法，其特征在于，所述色度块对应四个亮度块。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述亮度块的运动矢量根据两个或三个控制点运动矢量获得。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括：
利用所述色度块的运动矢量，对所述色度块进行编码或解码。
11.一种视频处理的装置，其特征在于，包括：
存储器，用于存储指令；
处理器，用于执行所述存储器存储的指令，执行如下操作：
确定待编码或解码的色度块；
将所述色度块对应的亮度块中的一个亮度块的运动矢量作为所述色度块的运动矢量。
12.根据权利要求11所述的装置，其特征在于，所述将所述色度块对应的亮度块中的一个亮度块的运动矢量作为所述色度块的运动矢量，包括：
将所述色度块对应的亮度块中固定位置的一个亮度块的运动矢量作为所述色度块的运动矢量。
13.根据权利要求11或12所述的装置，其特征在于，所述色度块对应多个亮度块；
其中，所述将所述色度块对应的亮度块中的一个亮度块的运动矢量作为所述色度块的运动矢量，包括：
将所述色度块对应的多个亮度块中的目标亮度块的运动矢量作为所述色度块的运动矢量，其中，所述目标亮度块是位于所述色度块对应的多个亮度块中的下列位置中任一位置的亮度块：
左上角、左边、上边、左下角、右上角、右下角、右边或者下边。
14.根据权利要求13所述的装置，其特征在于，视频压缩格式为4∶2∶0，所述目标亮度块是位于所述色度块对应的多个亮度块中左上角的亮度块。
15.根据权利要求13所述的装置，其特征在于，视频压缩格式为4∶2∶2；
在所述色度块对应水平的两个亮度块的情况下，所述目标亮度块是位于所述色度块对应的两个亮度块中左边的亮度块；或
在所述色度块对应竖直的两个亮度块的情况下，所述目标亮度块是位于所述色度块对应的两个亮度块中上边的亮度块。
16.根据权利要求13所述的装置，其特征在于，视频压缩格式为4∶1∶1，所述目标亮度块是位于所述色度块对应的多个亮度块中最左侧的亮度块。
17.根据权利要求13所述的方法，其特征在于，视频压缩格式为4∶4∶4，所述目标亮度块是所述色度块对应的一个亮度块。
18.根据权利要求14或16所述的方法，其特征在于，所述色度块对应四个亮度块。
19.根据权利要求11至18中任一项所述的装置，其特征在于，所述亮度块的运动矢量根据两个或三个控制点运动矢量获得。
20.根据权利要求11至19中任一项所述的装置，其特征在于，所述处理器还用于执行如下操作：
利用所述色度块的运动矢量，对所述色度块进行编码或解码。
21.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机执行时使得，所述计算机执行如权利要求1至10任一项所述的方法。
22.一种包含指令的计算机程序产品，其特征在于，所述指令被计算机执行时使得所述计算机执行如权利要求1至10任一项所述的方法。
CN201980066718.1A 2019-12-31 2019-12-31 视频处理的方法与装置 Pending CN112823520A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/130901 WO2021134666A1 (zh) 2019-12-31 2019-12-31 视频处理的方法与装置

Publications (1)

Publication Number Publication Date
CN112823520A true CN112823520A (zh) 2021-05-18

Family

ID=75854409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066718.1A Pending CN112823520A (zh) 2019-12-31 2019-12-31 视频处理的方法与装置

Country Status (2)

Country Link
CN (1) CN112823520A (zh)
WO (1) WO2021134666A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070014956A (ko) * 2005-07-29 2007-02-01 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
CN101883286A (zh) * 2010-06-25 2010-11-10 北京中星微电子有限公司 运动估计中的校准方法及装置、运动估计方法及装置
CN102724511A (zh) * 2012-06-28 2012-10-10 北京华控软件技术有限公司 云转码压缩系统和方法
CN109076210A (zh) * 2016-05-28 2018-12-21 联发科技股份有限公司 视频编解码的当前图像参考的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070014956A (ko) * 2005-07-29 2007-02-01 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
CN101883286A (zh) * 2010-06-25 2010-11-10 北京中星微电子有限公司 运动估计中的校准方法及装置、运动估计方法及装置
CN102724511A (zh) * 2012-06-28 2012-10-10 北京华控软件技术有限公司 云转码压缩系统和方法
CN109076210A (zh) * 2016-05-28 2018-12-21 联发科技股份有限公司 视频编解码的当前图像参考的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
牛丽君: "保持运动的可伸缩AVS视频编解码系统", 《中国优秀硕士学位论文全文数据库 信息科技专辑》 *

Also Published As

Publication number Publication date
WO2021134666A1 (zh) 2021-07-08

Similar Documents

Publication Publication Date Title
TWI705702B (zh) 圖像處理裝置及方法
KR102606330B1 (ko) Aps 시그널링 기반 비디오 또는 영상 코딩
JP7436543B2 (ja) 画像符号化システムにおいてアフィンｍｖｐ候補リストを使用するアフィン動き予測に基づいた画像デコード方法及び装置
CN117221532B (zh) 用于视频解码的方法、装置和存储介质
US11228757B2 (en) Method and a device for picture encoding and decoding
JP2019534631A (ja) ピークサンプル適応オフセット
US20130216150A1 (en) Image processing device, image processing method, and program
JP7383816B2 (ja) ループフィルタリングを制御する画像コーディング装置及び方法
CN114466192A (zh) 图像/视频超分辨率
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
CN110557641B (zh) 获取运动矢量的方法和装置
CN114513666B (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN112823520A (zh) 视频处理的方法与装置
CN115280771A (zh) 基于滤波相关信息信令的图像编码设备和方法
RU2787884C1 (ru) Оборудование и способ для кодирования изображений на основе фильтрации
CN115398893B (zh) 用于在视频编解码中滤波的方法和用于视频解码的设备
CN111247804B (zh) 图像处理的方法与装置
US20230403406A1 (en) Motion coding using a geometrical model for video compression
RU2789454C2 (ru) Кодирование видео или изображений на основе внутриблочного кодирования
WO2024088357A1 (en) Methods and non-transitory computer readable storage medium for performing subblock-based interprediction
US20240187602A1 (en) In-loop filtering-based image coding apparatus and method
CN114080808A (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN114079782A (zh) 视频图像重建方法、装置、计算机设备及存储介质
CN114402618A (zh) 用于视频编解码中的解码器端运动矢量细化的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210518