CN114071147A - 一种基于双线性模型的vvc运动补偿方法 - Google Patents

一种基于双线性模型的vvc运动补偿方法 Download PDF

Info

Publication number
CN114071147A
CN114071147A CN202010742117.2A CN202010742117A CN114071147A CN 114071147 A CN114071147 A CN 114071147A CN 202010742117 A CN202010742117 A CN 202010742117A CN 114071147 A CN114071147 A CN 114071147A
Authority
CN
China
Prior art keywords
motion
vvc
motion compensation
model
bilinear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010742117.2A
Other languages
English (en)
Other versions
CN114071147B (zh
Inventor
熊淑华
蔡于涵
王林
何小海
卡恩·普拉迪普
滕奇志
吴小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010742117.2A priority Critical patent/CN114071147B/zh
Publication of CN114071147A publication Critical patent/CN114071147A/zh
Application granted granted Critical
Publication of CN114071147B publication Critical patent/CN114071147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

目前下一代视频编码标准VVC中的仿射运动只有四参数以及六参数模型，虽然其能适用于大多数的复杂运动场景，但是对于一些非平行性的运动如非规则的旋转或缩放，其估计性能有限。针对以上情况，本发明提出了一种基于双线性模型的VVC运动补偿方法。其主要思想是，对于采用仿射运动模式的编码块，利用基于双线性模型的高阶运动模型来对其进行再一次的运动估计，再利用运动补偿插值滤波器来生成当前子块的预测块。最后对基于双线性模型的VVC运动补偿方法所得到结果与VVC已有的仿射运动补偿所得结果，进行率失真代价比较，来选择合适的运动补偿方式。实验结果表明，在编码视频具有相同客观质量的条件下，本发明所提方法能够节省更多的码率。

Description

一种基于双线性模型的VVC运动补偿方法
技术领域
本发明涉及视频压缩技术，具体涉及一种基于双线性模型的VVC运动补偿方法，属于图像通信领域。
背景技术
在2018年JVET的会议上，下一代视频编码标准H.266被正式命名为VersatileVideo Coding，简称VVC，目前已发布了多个测试版本，其正式版本也即将于2020年底正式发布。相较于HEVC，VVC在许多编码模块都引入了新的编码技术，由目前已发布的测试版本来看，其编码性能比HEVC提升了约40％左右。帧间预测因其能显著改善编码性能而在视频编码标准中起到了关键的作用，其利用已重建的参考帧来预测当前编码帧，进而实现去除时域冗余的目的。在H.265/HEVC中，运动补偿预测的过程仅仅只适用于平移运动模型，然而在自然界中，存在各种各样的运动，例如放大、缩小，旋转，各种视角下的运动和各种不规则运动。当这些运动应用平移运动模型的运动补偿过程时，就会造成预测值不够准确，最终导致编码块的残差较大，增加了编码比特数。
在VVC中，帧间预测模块引入了许多新的编码技术。例如，在VVC中，为了适应如缩放、旋转之类的复杂运动轨迹而引入了仿射运动，并且将仿射运动补偿作为帧间预测的一种新模式；为了减少编码运动信息时所需的比特数而提出了一种FRUC模式；为了减少基于块的预测编码所产生的块效应而引入了重叠块运动补偿等等。VVC中仿射运动补偿打破了H.265/HEVC中对CU的运动信息的限制，由原来一个CU只能有一个运动信息变为了一个CU可以拥有多个运动信息，这样在相同质量的情况下，大大减少了编码所需比特数。但是，VVC引入的仿射运动仍然有其局限性，由于仿射运动保持了块边界的线性以及平行性，因此对于一些非平行性的不规则运动，例如不规则的缩放或者旋转等，目前的仿射运动仍很难准确地估计物体实际运动的MV。因此，对于物体不规则的复杂运动，在VVC已有的仿射运动补偿算法的基础上，仍有改进的空间。
发明内容
本发明的目的是为了研究及优化VVC帧间编码中的运动补偿，在编码视频具有相同客观质量的条件下，节省更多的码率。
本发明的基本思想是利用更高阶的运动模型来改进VVC中已有的仿射运动过程，从而实现提升VVC在帧间编码模式下的率失真性能。在VVC执行仿射运动后，对于采用仿射运动模式的编码块，本方法将利用基于双线性模型的高阶运动模型来对其进行再一次的运动估计，之后利用运动补偿插值滤波器得到当前编码块的预测块，最后对于当前编码块，将根据率失真代价来选择最佳的仿射运动模式。具体主要包括以下过程步骤：
(1)在VVC执行仿射运动后，对于采用仿射运动模式的编码块，利用基于双线性模型的高阶运动模型来对其进行再一次的运动估计，提取当前编码块的左上角、右上角、左下角以及右下角这四个边角上的CPMV，将当前编码块划分为互不重叠的，尺寸大小为4×4的子块，之后按照光栅扫描的顺序，对每一个子块均利用双线性插值模型来计算当前子块的MV；
(2)步骤(1)得到了当前子块的MV，再利用运动补偿插值滤波器来生成当前子块的预测块；
(3)对基于双线性模型的运动补偿算法所得到结果与VVC已有的仿射运动补偿所得结果，进行率失真代价比较，来选择合适的运动补偿方式。
本发明的上述技术方案中，所述的一种基于双线性模型的运动补偿方法，不同于VVC已有的四参数和六参数仿射运动模型，本发明方法利用当前编码块四个边角上CPMV来对其进行仿射运动估计，因此本发明方法能更好地适应一些非平行性的运动，例如非规则的旋转或缩放。
本发明的上述技术方案中，所述的一种基于双线性模型的VVC运动补偿方法，对于采用平移运动模型的编码块将不进行处理，对于采用仿射运动模式的编码块将进行再一次的运动估计以及运动补偿。
根据本发明的上述方法可以编制执行上述一种基于双线性模型的VVC运动补偿方法。
本发明是基于以下思路分析而完成的：
首先对当前编码块的编码模式进行判断，如果当前编码块根据率失真代价确定选择平移运动模式，则直接跳过本方法。反之，如果当前编码块采用仿射运动模式，则对当前编码块进行CPMV的提取。我们提取当前编码块的左上角、右上角、左下角以及右下角这四个边角上的CPMV，分别记为MV0、MV1、MV2和MV3。将当前编码块划分为互不重叠、尺寸大小为4×4的子块，之后按照光栅扫描的顺序，对每一个子块均利用双线性插值公式来计算当前子块的运动矢量，其具体计算方式如下：
Figure BDA0002607095730000031
其中，(x，y)是当前子块中心像素点的坐标，MV(x，y)是当前子块的运动矢量，MVi是当前编码块四个边角上的CPMV，
Figure BDA0002607095730000032
为每一个CPMV对应的权重系数，其具体计算方式如下：
Figure BDA0002607095730000033
其中，(x，y)为当前子块的坐标，W和H分别为当前编码块的宽度和高度。在得到了当前子块的MV后，将利用运动补偿插值滤波器来生成当前子块的预测块。最后，对基于双线性模型的运动补偿所得到结果与VVC已有的仿射运动补偿所得结果，进行率失真代价比较，来选择合适的仿射运动补偿方式。如果本方法所得结果的率失真代价小于最优的仿射运动补偿所得结果的率失真代价，将对当前编码块设置一个标志位flag表明当前编码块将采用本节所提算法进行编码，之后向解码端传送当前编码块四个边角的CPMV以及标志位flag。反之，将VVC已有的仿射运动补偿所得结果作为最终的结果。
实验结果表明，相较于VVC，本发明的基于双线性模型的VVC运动补偿方法在全码率段能获得更好的率失真性能。
附图说明
图1是本发明的算法流程图
图2是Johnny序列的本发明方法及VVC标准的率失真性能比较
图3是FourPeople序列的本发明方法及VVC标准的率失真性能比较
具体实施方式
下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
本发明的基于双线性模型的VVC运动补偿方法，与VVC标准测试模型VTM3.0的帧间编码方法比较过程如下：
1.打开VTM3.0算法程序，配置文件为encoder_lowdelay_P_main.cfg。在量化参数QP为22，27，32，37的情况下对标准视频测试序列进行编解码，记录标准HEVC视频编码时的码率及峰值信噪比PSNR；
2.编码时的对象为标准测试视频序列：
BQSquare_416×240，RaceHorses_416×240，BasketballDrill_832×480，
PartyScene_832×480，Johnny_1280×720，FourPeople_1280×720，
BQTerrace_1920×1080，Kimono_1920×1080；
3.利用VTM3.0标准方法对视频序列在VVC方式下进行帧间模式下的视频编解码并记录编码时的码率及峰值信噪比PSNR；
4.利用本发明方法对视频序列在VVC方式下进行帧间模式下的视频编解码并记录编码时的码率及峰值信噪比PSNR；
实验结果如表1所示，从下表中可以看出在量化参数QP不同的情况下，对于不同分辨率的视频序列，本发明所提方法相比于VVC标准视频压缩编码方法可以节省一定的码率，同时本发明所提方法得到的重建视频的PSNR值优于由VVC标准得到的重建视频的PSNR值，说明本发明所提方法的率失真性能超过了VVC标准。
表1.本发明方法与VTM3.0的实验结果比较
Figure BDA0002607095730000041
Figure BDA0002607095730000051

Claims (5)

1.一种基于双线性模型的VVC运动补偿方法，其特征在于：
(1)在VVC执行仿射运动后，对于采用仿射运动模式的编码块，利用基于双线性模型的高阶运动模型来对其进行再一次的运动估计，提取当前编码块的左上角、右上角、左下角以及右下角这四个边角上的控制点运动矢量(Control Point Motion Vector，CPMV)，将当前编码块划分为互不重叠的、尺寸大小为4×4的子块，之后按照光栅扫描的顺序，对每一个子块均利用双线性插值模型来计算当前子块的运动矢量(Motion Vector，MV)；
(2)在步骤(1)得到当前子块的MV后利用运动补偿插值滤波器来生成当前子块的预测块；
(3)将步骤(2)所得到的结果与VVC已有的仿射运动补偿所得的结果进行率失真代价比较，从这两种方法中选择最佳的运动补偿方式。
2.如权利要求1中所述的一种基于双线性模型的VVC运动补偿方法，其特征在于双线性插值模型是比仿射运动模型更高阶的一个运动模型，通过当前块中四个像素点的MV来求得8个参数，当其中某些参数为0时，可以转化为六参数仿射运动模型和四参数仿射运动模型，因此双线性运动模型不仅可以表示具有线性和平行性特点的运动，而且还可以表示具有非线性以及非平行性的复杂运动。
3.如权利要求1中所述的一种基于双线性模型的VVC运动补偿方法，其特征在于利用当前编码块四个边角上的CPMV来求得当前编码块整体的MV。
4.如权利要求1中所述的一种基于双线性模型的VVC运动补偿方法，其特征在于本发明方法与原有的仿射运动补偿算法相互竞争，通过率失真代价来选出最佳的运动补偿方式，因此最后得到的结果会更加准确。
5.一种用于执行权利要求1至4所述的基于双线性模型的VVC运动补偿方法。
CN202010742117.2A 2020-07-29 2020-07-29 一种基于双线性模型的vvc运动补偿方法 Active CN114071147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010742117.2A CN114071147B (zh) 2020-07-29 2020-07-29 一种基于双线性模型的vvc运动补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010742117.2A CN114071147B (zh) 2020-07-29 2020-07-29 一种基于双线性模型的vvc运动补偿方法

Publications (2)

Publication Number Publication Date
CN114071147A true CN114071147A (zh) 2022-02-18
CN114071147B CN114071147B (zh) 2023-04-11

Family

ID=80226758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010742117.2A Active CN114071147B (zh) 2020-07-29 2020-07-29 一种基于双线性模型的vvc运动补偿方法

Country Status (1)

Country Link
CN (1) CN114071147B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935938A (zh) * 2015-07-15 2015-09-23 哈尔滨工业大学 一种混合视频编码标准中帧间预测方法
WO2019072187A1 (en) * 2017-10-13 2019-04-18 Huawei Technologies Co., Ltd. PRUNING A MOVEMENT MODEL CANDIDATE LIST FOR AN INTERPRETING
WO2019203533A1 (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 다중 움직임 모델을 고려한 인터 예측 방법 및 그 장치
US20190342547A1 (en) * 2017-01-03 2019-11-07 Lg Electronics Inc. Method and device for processing video signal by means of affine prediction
CN110677675A (zh) * 2018-07-01 2020-01-10 北京字节跳动网络技术有限公司 高效的仿射Merge运动矢量推导
CN110933420A (zh) * 2018-09-19 2020-03-27 北京字节跳动网络技术有限公司 仿射模式中自适应运动矢量分辨率的快速算法
CN110944185A (zh) * 2018-09-21 2020-03-31 腾讯美国有限责任公司 视频解码的方法和装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935938A (zh) * 2015-07-15 2015-09-23 哈尔滨工业大学 一种混合视频编码标准中帧间预测方法
US20190342547A1 (en) * 2017-01-03 2019-11-07 Lg Electronics Inc. Method and device for processing video signal by means of affine prediction
WO2019072187A1 (en) * 2017-10-13 2019-04-18 Huawei Technologies Co., Ltd. PRUNING A MOVEMENT MODEL CANDIDATE LIST FOR AN INTERPRETING
WO2019203533A1 (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 다중 움직임 모델을 고려한 인터 예측 방법 및 그 장치
CN110677675A (zh) * 2018-07-01 2020-01-10 北京字节跳动网络技术有限公司 高效的仿射Merge运动矢量推导
CN110933420A (zh) * 2018-09-19 2020-03-27 北京字节跳动网络技术有限公司 仿射模式中自适应运动矢量分辨率的快速算法
CN110944185A (zh) * 2018-09-21 2020-03-31 腾讯美国有限责任公司 视频解码的方法和装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN114071147B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN107027029B (zh) 基于帧率变换的高性能视频编码改进方法
TWI608725B (zh) 高級運動向量預測模式中所用的圖像編碼設備
TWI625053B (zh) 合併模式中視訊資料的編碼方法
CA2746829C (en) Method and system for generating block mode conversion table for efficient video transcoding
US8582904B2 (en) Method of second order prediction and video encoder and decoder using the same
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
TWI552572B (zh) 視頻資料的解碼方法
KR101420957B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
TW201334559A (zh) 視頻資料的解碼設備
CN101141647A (zh) 基于avs视频编码的快速帧间预测模式选择方法
JP2005086834A (ja) フレームシーケンスを符号化する方法、フレームシーケンスを復号する方法、その方法を実施する装置、その方法を実行するコンピュータプログラム、およびそのコンピュータプログラムを格納する記憶媒体
Yang et al. Learned low bitrate video compression with space-time super-resolution
Kuo et al. Kalman filtering based rate-constrained motion estimation for very low bit rate video coding
CN109151467A (zh) 基于图像块活动性的屏幕内容编码帧间模式快速选择方法
CN114071147B (zh) 一种基于双线性模型的vvc运动补偿方法
JP5219062B2 (ja) 画像データの生成方法
CN111741304A (zh) 一种基于运动矢量细化的帧率上变换与hevc相结合的方法
Suzuki et al. Block-based reduced resolution inter frame coding with template matching prediction
CN110365989B (zh) 一种面向硬件实现的视频编码帧间整像素搜索方法
KR20060085003A (ko) Ｈ．２６４／ａｖｃ에서의 시방향 에러은닉 방법
KR20080013843A (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
JP4561701B2 (ja) 動画像符号化装置
Ashika et al. Inter frame coding in advanced video coding standard H. 264 using block based motion compensation technique
CN115190299B (zh) Vvc仿射运动估计快速计算方法
Ma et al. WZ frame reconstruction algorithm based on side information improved in distributed video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant