CN118018739A - 一种视频数据处理方法及电子设备 - Google Patents

一种视频数据处理方法及电子设备 Download PDF

Info

Publication number
CN118018739A
CN118018739A CN202410123570.3A CN202410123570A CN118018739A CN 118018739 A CN118018739 A CN 118018739A CN 202410123570 A CN202410123570 A CN 202410123570A CN 118018739 A CN118018739 A CN 118018739A
Authority
CN
China
Prior art keywords
cost value
motion vector
vector difference
mode
reference direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410123570.3A
Other languages
English (en)
Inventor
方树清
陈建华
叶琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority to CN202410123570.3A priority Critical patent/CN118018739A/zh
Publication of CN118018739A publication Critical patent/CN118018739A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种视频数据处理方法及电子设备。所述方法包括：确定视频的当前块的第一参考方向的第一参考帧列表，以及第二参考方向的第二参考帧列表；根据所述第一参考帧列表以及第二参考帧列表，确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据；根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值；根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式。采用所述方法，解决了现有技术中提高编码性能的同时编码复杂度随之增加的问题。

Description

一种视频数据处理方法及电子设备
技术领域
本申请涉及视频处理技术领域，具体涉及一种视频数据处理方法、装置、电子设备及存储介质。
背景技术
随着视频在互联网和其他数字通信网络中存储和传输的压力增加，视频编码越来越重要。视频编码是通过压缩技术将原始视频格式的像素数据压缩成为另一种视频格式的数据如视频码流，以降低视频的数据量，从而达到降低带宽和存储空间的占用。
视频编码技术中，帧间预测是利用视频帧间的时域相关性进行压缩，可以一定程度上消除时间上的冗余，是视频编码中重要组成部分。对于帧间预测来说，当视频内容较简单时编码残差的比特数可能会较少，而编码运动信息的比特数占比可能会变高，此时编码运动信息的码率成为了压缩率的瓶颈。现有技术中运用对称运动矢量差(SymmetricMotion Vector Difference，简写为SMVD)模式帧间预测技术，通过只传输一个方向的运动信息，利用对称性获得另一个方向的运动信息，去除对称冗余，从而减少编码运动信息的码率，一定程度上提高了编码效率。然而，现有SMVD技术中需要遍历SMVD模式，增加了编码端的计算复杂度。
因此，如何在提高编码效率的同时维持较低编码复杂度是需要解决的问题。
在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请实施例提供的视频数据处理方法，解决了现有技术中提高编码性能的同时编码复杂度随之增加的问题。
本申请实施例提供一种视频数据处理方法，包括：确定视频的当前块的第一参考方向的第一参考帧列表，以及第二参考方向的第二参考帧列表；根据所述第一参考帧列表以及第二参考帧列表，确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据；根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值；根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式。
可选的，所述根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式，包括：确定所述预估代价与其他预测模式对应的代价值之间的比较结果；如果所述预估代价值大于其一所述其他预测模式对应的代价值，则终止对所述当前块执行所述对称运动矢量差模式；否则，继续遍历参考帧对所述当前块执行所述对称运动矢量差模式。
可选的，所述确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据，包括：根据所述双向预测模式和所述对称运动矢量差模式之间基于编码比特数的码率变化关系，确定所述码率变化数据；其中，所述双向预测模式的编码比特数，包括：第一和第二两个参考方向的运动矢量索引、第一和第二两个参考方向的运动矢量差值、第一和第二两个参考方向的参考索引；所述对称运动矢量差模式的编码比特数，包括：第一和第二两个参考方向的运动矢量索引、第一参考方向的运动矢量差值；所述码率变化数据，包括：编码第二参考方向的运动矢量差值以及第一和第二两个参考方向的参考索引所对应的码率。
可选的，所述双向预测模式的双向预测代价值，根据所述双向预测模式的绝对变换残差和(SATD)、编码运动信息的码率确定。
可选的，还包括：根据所述码率变化数据与所述双向预测代价值的比例，以及拉格朗日因子，确定所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据。
可选的，所述根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值，包括：根据所述占比数据、所述双向预测模式的双向预测代价值以及调节因子，预估得到所述对称运动矢量差模式对应的预估代价值。
可选的，所述根据所述占比数据、所述双向预测模式的双向预测代价值以及调节因子，预估得到所述对称运动矢量差模式对应的预估代价值，包括：将所述双向预测代价值减所述双向预测代价值与所述占比数据之积得到初始代价值；根据所述调节因子与所述初始代价值构建特定数学表达式，基于所述特定数学表达式计算得到所述预估代价值。
可选的，所述根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式，包括：针对所述第一参考帧列表对所述当前块执行单向运动估计，得到第一参考方向的单向预测代价值；针对所述第二参考帧列表对所述当前块执行单向运动估计，得到第二参考方向的单向预测代价值；预估所述对称运动矢量差模式对应的预估代价值之后，如果判断所述预估代价值大于第一参考方向的单向预测代价值，或者，所述预估代价值大于第二参考方向的单向预测代价值，则终止遍历参考帧上的像素块；否则，继续遍历参考帧上的像素块，对所述当前块执行所述对称运动矢量差模式。
本申请实施例还提供一种视频数据处理装置，包括：参考帧确定单元，用于确定视频的当前块的第一参考方向的第一参考帧列表，以及第二参考方向的第二参考帧列表；码率变化确定单元，用于根据所述第一参考帧列表以及第二参考帧列表，确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据；代价值估计单元，用于根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值；决策单元，用于根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式。
本申请实施例还提供一种电子设备，包括：存储器，以及处理器；所述存储器用于存储计算机程序，所述计算机程序被所述处理器运行后，执行本申请实施例提供的所述方法。
本申请实施例还提供一种计算机存储介质，存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现本申请实施例提供的所述方法。
与现有技术相比，本申请具有的优点如下：
本申请实施例提供的一种视频数据处理方法、装置、电子设备及存储介质，通过确定视频的当前块的第一参考方向的第一参考帧列表，以及第二参考方向的第二参考帧列表；根据所述第一参考帧列表以及第二参考帧列表，确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据；根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值；根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式。通过将双向预测模式和SMVD预测模式之间的码率变化情况反映到代价值，在不需要进行SMVD模式的操作即可较准确地预估SMVD模式的代价值(即预估代价值)，从而可以较准确地判断出是否需要执行SMVD模式。因此，在引入SMVD技术提升编码效率后，能够最大程度减少SMVD模式的冗余遍历，使得编码端维持较低编码计算复杂度。
附图说明
图1是本申请第一实施例提供的一种视频数据处理方法的处理流程图；
图2是本申请第一实施例提供的前向参考帧列表、当前帧、后向参考帧列表的示意图；
图3是本申请第一实施例提供的一种编码流程示意图；
图4是本申请第二实施例提供的一种视频数据处理装置示意图；
图5是本申请提供的电子设备示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请实施例提供一种视频数据处理方法、装置、电子设备及存储介质。在下面的实施例中逐一进行说明。
为便于理解，首先给出本申请实施例涉及的一些相关概念及术语。
视频包含的连续帧图像中相邻帧之间的采样间隔较短，因而较短时间内的帧图像可能存在大量相同或相似的信息，即时间冗余信息，通过视频编码技术中的帧间预测能一定程度上去除时间冗余信息实现视频的数据量压缩。
帧间预测(Inter Prediction)模式：是一种利用其它已编码的参考帧像素来预测当前帧的预测编码方式。将已重建图像(也就是已编码的参考帧)作为当前帧的参考图像，在参考图像中为当前帧进行编码处理中的当前块(也就是当前进行编码处理的像素区域或像素块)找到匹配的参考块(也就是参考帧帧中与当前块匹配的参考像素块)，根据参考块中的像素值得到当前块的预测像素值。其中，参考块到当前块的位移为运动矢量(MotionVector，简写为MV)；确定匹配的参考块的过程为运动估计(Motion Estimation，简写为ME)，也就是确定运动矢量的过程；根据参考块确定当前块的预测像素值的过程为运动补偿(Motion Compensation，简写为MC)。
SMVD：Symmetric Motion Vector Difference，即对称运动矢量差模式。该模式中仅需要传输前向运动信息，而后向运动信息MVD以及参考列表的列表索引可以在解码端经过推导获得，从而去除对称冗余，提升编码效率。
MVP：Motion Vector Prediction，即运动矢量预测。使用相邻编码块对当前块的MV进行预测得到的预测运动矢量。在实际编码时，编码预测运动矢量的运动矢量索引，该索引表示预测运动矢量在AMVP列表中的位置，解码端根据该运动矢量索引即可确定预测运动矢量。本实施例中MVP可表示运动矢量索引。MVD：Motion Vector Difference，即运动矢量差，指MV与对应的预测运动矢量的差值。
SATD：Sum of Absolute Transformed Difference，即绝对变换残差和，对预测残差进行哈德曼变换后的系数绝对值和，用于估算编码失真或衡量编码复杂度。其中，预测残差是指对帧图像的分块进行预测(帧内预测或帧间预测)得到该分块的预测值，该分块的原始像素值和预测值相减形成所述预测残差。如果预测比较准确，残差就越小，在同等精度要求的条件下对残差进行编码能减小数据量，达到压缩目的。
需要说明的是，以上所公开的信息仅用于帮助对本申请进行理解，并不意味着构成对本领域普通技术人员已知的现有技术。
以下结合图1至图3对本申请第一实施例提供的视频数据处理方法进行说明。图1所示的视频数据处理方法，包括：
步骤S101，确定视频的当前块的第一参考方向的第一参考帧列表，以及第二参考方向的第二参考帧列表；
步骤S102，根据所述第一参考帧列表以及第二参考帧列表，确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据；
步骤S103，根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值；
步骤S104，根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式。
本实施例提供的方法可应用于具有视频编码功能的编码器、编码设备、编码装置等，例如：摄像设备、计算机、移动终端等。实际应用中，针对需要编码压缩的原始视频图像，确定I帧。所谓I帧，是关键帧，可以通过帧内压缩消除一帧图像内容的空间冗余信息得到，作为后续帧的参考帧。后续帧的数据可以基于该参考帧采用帧间预测模式得到。本实施例中，帧间预测可以参考时间上在前面以及后面的参考帧(后面的参考帧虽然在时间上在后面，但会先于当前待编码帧进行编码处理)。
如步骤S101所述，确定当前块的第一参考帧列表以及第二参考帧列表。实际应用中，在编码过程中将编码处理的当前帧划分为多个编码块，当前块为当前进行编码处理的编码块。例如，可以采用四叉树、三叉树、二叉树等分块类型将当前帧分割为多个编码块，每个编码块包括一个或多个像素，例如4*4个像素点、8*8个像素点等。在预测编码处理中，一个编码块对应一个第一参考方向的第一参考帧列表和/或第二参考方向的第二参考帧列表。具体的，第一参考方向为前向，即相比于包含当前块的当前帧时间上在前面，第二参考方向为后向，即相比于当前帧时间上在后面。相应的，第一参考帧列表为前向参考帧列表；第二参考帧列表为后向参考帧列表。为方便描述，第一参考帧列表用List0表示，第二参考帧列表用户List1表示。各参考帧列表中的帧数量根据压缩率及压缩速度要求确定。其中，通过参考帧索引值可以从参考帧列表中获取对应的参考帧图像。
请参考图2，图中示出了前向参考帧列表、当前帧、后向参考帧列表的示意图，图中，List0参考图像为前向参考帧列表包含的参考帧图像示意图；当前图像为当前帧示意图，包含进行编码处理的当前块；List1参考图像为后向参考帧列表包含的参考帧图像示意图。
如步骤S102所述，确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据。首先，分析双向预测与对称运动矢量差两种模式之间的码率差异情况。在双向预测模式中，一个编码块对应一个第一参考帧列表List0和一个第二参考帧列表List1，在对应的码流中需要包括两个参考方向的参考帧索引、运动矢量索引MVP以及运动矢量差值MVD。相比于双向预测模式，一方面SMVD模式中预先设定使用两个参考帧列表List0和List1中的索引值为0的参考帧(即Refidx＝0)，并且参考帧索引不需要传输给解码端。另一方面，SMVD模式中鉴于当前块的参考帧分别位于前向和后向两侧时运动矢量可能具有对称性，传输双向预测信息时只需要传输一个方向的运动信息，利用对称性获得另一个方向的运动信息，请继续参考图2，图中Δx和Δy为当前块在前向参考帧中的MVD的水平和垂直分量，相反地，-Δx和-Δy为当前块在后向参考帧中的MVD的水平和垂直分量，由MVD对称方式可知MVD1＝-MVD0，因此解码端由MVD0可以推导出MVD1，即解码端MVD1由MVD0的相反数生成，MVD1不需要通过码流传输给解码端。由此可知，SMVD模式中传输双向预测信息时值需要传输两个参考方向的MVP以及MVD0，而不需要传输List 0和List 1中参考帧索引和List 1的MVD，这些运动信息可以在解码端生成。其中，传输的两个参考方向的MVP可以为对应的MVP索引。请参考表1，表中给出了双向预测和SMVD预测编码比特数对比，双向预测需要编码两个参考方向的运动矢量索引MVP、运动矢量差值MVD以及参考索引ref_idx，而SMVD模式只需要编码两个参考方向的运动矢量索引MVP以及List0方向的MVD即可，相比双向预测模式，SMVD模式节省了编码两个参考帧索引以及List1方向的MVD的码率，即节省了编码ref_idx_l0、ref_idx_l1和mvd_l0的码率。节省的这部分码率为所述码率变化数据。
表1双向预测和SMVD预测编码比特数对比
双向预测模式 SMVD模式
ref_idx_l0(List0参考帧索引) 需要编码 不需要编码
ref_idx_l1(List1参考帧索引) 需要编码 不需要编码
mvp_idx_l0(List0方向MVP) 需要编码 需要编码
mvp_idx_l1(List1方向MVP) 需要编码 需要编码
mvd_l0(List0方向MVD) 需要编码 需要编码
mvd_l1(List1方向MVD) 需要编码 不需要编码
基于上述分析，本实施例中，所述确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据，包括：根据所述双向预测模式和所述对称运动矢量差模式之间基于编码比特数的码率变化关系，确定所述码率变化数据；其中，所述双向预测模式的编码比特数，包括：第一和第二两个参考方向的运动矢量索引、第一和第二两个参考方向的运动矢量差值、第一和第二两个参考方向的参考索引；所述对称运动矢量差模式的编码比特数，包括：第一和第二两个参考方向的运动矢量索引、第一参考方向的运动矢量差值；所述码率变化数据，包括：编码第二参考方向的运动矢量差值以及第一和第二两个参考方向的参考索引所对应的码率。
如步骤S103所述，根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值。
本实施例中，SMVD模式的代价值，通过双向预测模式和SMVD预测模式之间的码率变化情况预估得到，并不需要进行SMVD模式的操作即能预估得到。
其中，所述双向预测模式的双向预测代价值，根据所述双向预测模式的绝对变换残差和(SATD)、编码运动信息的码率确定。具体可采用如下公式(1)计算双向预测代价值：
biCost＝biSATD+lamda*biRate (1)
公式(1)中，biCost表示双向预测代价值；biSATD表示双向预测的SATD值；lamda为拉格朗日因子；biRate为双向预测编码运行信息的码率。优选的，双向预测代价值，为双向预测过程中所采用的预测模式对应的SATD代价值。
具体的，根据所述码率变化数据、所述双向预测代价值，以及拉格朗日因子，确定所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据。实施时可以采用如下公式(2)计算所述占比数据：
公式(2)中，ratio表示所述占比数据；deltaBits表示SMVD模式与双向预测模式之间的所述码率变化数据；biCost表示双向预测代价值；lamda表示拉格朗日因子。
本实施例中，所述根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值，包括：根据所述占比数据以及所述双向预测代价值，预估得到SMVD模式对应的代价值，即所述预估代价值。进一步，还可以引入调节因子，以更准确的预估SMVD模式的代价值。具体的，所述根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值，包括：根据所述占比数据、所述双向预测模式的双向预测代价值以及调节因子，预估得到所述对称运动矢量差模式对应的预估代价值。其中，所述根据所述占比数据、所述双向预测模式的双向预测代价值以及调节因子，预估得到所述对称运动矢量差模式对应的预估代价值，包括：将所述双向预测代价值减所述双向预测代价值与所述占比数据之积得到初始代价值；根据所述调节因子与所述初始代价值构建特定数学表达式，基于所述特定数学表达式计算得到所述预估代价值。其中，所述特定数学表达式，包括：所述调节因子与所述初始代价值相乘；或，所述调节因子与所述初始代价值相加；或，所述调节因子与所述初始代价值相减，或，包含调节因子与初始代价值数学关系的其他数学公式，不做具体限定。实施时，可以采用如下公式(3)确定SMVD的预估代价值：
smvdCost＝ biCost*(1-ratio)*uFactor (3)
公式(3)中，smvdCost表示SMVD模式的预估代价值；biCost表示双向预测代价值；ratio为双向预测模式与SMVD模式之间的码率变化数据在双向预测代价值中的占比数据；uFactor表示调节因子。其中，调节因子取值可以大于1，通过调节因子可以较准确的预估SMVD的代价值。
如步骤S104所述，根据SMVD模式的预估代价值决策是否需要执行SMVD模式。
实际应用中，编码端在针对当前块决策预测模式的流程中，一般需要遍历计算多种预测模式的代价值，从而决策出最终的预测模式。当引入SMVD模式提高编码效率时增加编码决策过程中的运算量及复杂度。为了在编码决策过程中引入SMVD模式仍维持尽可能低的编码复杂度，本步骤在遍历SMVD模式的处理中基于预估的SMVD模式对应的预估代价值确定是否终止遍历SMVD模式，从而当判断预估代价值满足SMVD模式的终止条件时终止遍历SMVD模式，以快速跳过遍历计算SMVD，一定程度地减少了编码端执行SMVD模式的次数，从而降低编码复杂度，同时维持性能不受损失。具体的，SMVD模式的终止条件为对应的预估代价值大于任意的已执行的其他预测模式所对应的代价值，也就是，在预估出SMVD模式的预估代价值之后，将预估代价值与其他预测模式对应的代价值进行比较，根据比较结果决策是否继续遍历执行SMVD模式。其中，所述根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式，包括：确定所述预估代价与其他预测模式对应的代价值之间的比较结果；如果所述预估代价值大于其一所述其他预测模式对应的代价值，则终止对所述当前块执行所述对称运动矢量差模式；否则，继续遍历参考帧对所述当前块执行所述对称运动矢量差模式。
一个较佳方式中，包括：针对所述第一参考帧列表对所述当前块执行单向预测模式，构建第一运动矢量列表，并获得第一参考方向上单向运动估计对应的第一参考方向的单向预测代价值；针对所述第二参考帧列表对所述当前块执行单向预测模式，构建第二运动矢量列表，并获得第二参考方向上单向运动估计对应的第二参考方向的单向预测代价值；基于所述第一参考帧列表和第二参考帧列表执行双向预测模式，构建双向运动矢量列表，并获得双向预测模式的双向预测代价值；根据双向预测模式与对称运动矢量差模式之间的码率变化数据以及双向预测代价值预估对称运动矢量差模式对应的预估代价值之后，判断所述预估代价值是否大于第一参考方向的单向预测代价值和第二参考方向的单向预测代价值中任一代价值，若是，则终止遍历参考帧上的像素块，否则，执行SMVD模式。执行SMVD模式，包括：基于所述第一参考帧列表和/或第二参考帧列表对所述当前块执行高级运动矢量预测模式，构建高级运动矢量预测列表；根据第一运动矢量列表、第二运动矢量列表、双向运动矢量列表以及高级运动矢量预测列表中各运动矢量，确定第一参考方向的单向预测代价值最小的第一参考帧运动矢量，以及第二参考方向的单向预测代价值最小的第二参考帧运动矢量，并根据所述第一参考帧运动矢量以及第二参考帧运动矢量确定所述对称运动矢量差模式的运动搜索的起始搜索点；采用运动矢量差对称方式在参考帧上进行运动搜索，确定代价值最小的运动矢量差，从而得到第一参考方向的第一运动矢量差和第二参考方向的第二运动矢量差，并根据第一运动矢量差以及第二运动矢量差进行双向运动补偿。其中，在参考帧上进行运动搜索包括：搜索区域内所有的像素块与当前块比较，找到最佳或次最佳匹配的参考块，搜索的区域优选为图像帧中独立编码的区域。所谓单向预测模式，包括：遍历参考帧列表所有参考帧，每一参考帧获取代价值最小的MV；比较各个参考帧的代价值最小的MV，将代价值最小的参考帧MV作为单向预测结果。
本实施例中，所述根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式，包括：针对所述第一参考帧列表对所述当前块执行单向运动估计，得到第一参考方向的单向预测代价值；针对所述第二参考帧列表对所述当前块执行单向运动估计得到第二参考方向的单向预测代价值；预估所述对称运动矢量差模式对应的预估代价值之后，如果判断所述预估代价值大于第一参考方向的单向预测代价值，或者，所述预估代价值大于第二参考方向的单向预测代价值，则终止遍历参考帧上的像素块；否则，继续遍历参考帧上的像素块，对所述当前块执行所述对称运动矢量差模式。进一步，还包括：在终止遍历SMVD模式或执行SMVD模式之后，针对所述当前块执行仿射帧间预测模式；将已执行的单向预测模式、双向预测模式、对称运动矢量差模式、仿射帧间预测模式中代价值最小的预测模式作为所述当前块的最终的帧间预测模式。
本实施例中，给出了一种引入SMVD模式的编码流程，包括：先执行第一参考方向(如List0方向)和第二参考方向(如List1方向)的单向预测模式进行两个参考方向上的单向运动估计，得到各参考方向上预测出的最优MV以及对应的代价值；然后联合List0和List1两个参考方向执行双向预测模式，进行双向运动估计；再进行SMVD模式的运动估计；之后进行仿射帧间预测(Affine Inter)模式的运动估计，在遍历完上述模式后，编码器会选择代价值最优的模式作为最终的帧间预测模式。其中，在遍历SMVD模式的处理中，根据SMVD的预估代价值判断其是否大于List0代价值或者smvdCost是否大于list1Cost，如果是，则跳过SMVD模式的预测；否则，继续遍历执行SMVD模式。执行SMVD的处理中，包括：先确定SMVD的起始搜索点；然后采用对称MVD的方式(即MVD1＝-MVD0)在参考帧上进行运动搜索，选择代价值最优/最小的MVD0和MVD1作为最终两个参考方向的MVD；根据最终的MVD和MVP确定最终的MV，即MV＝MVP+MVD，从而实现双向运动补偿。其中，确定SMVD的起始搜索点，包括：根据单向运动估计和双向运动估计得到的MV以及AMVP列表里的MV进行代价值的比较，将最优代价值对应的MV分别作为SMVD模式的起始搜索点。
请参考图4，图中示出了一种编码流程示意图，包括：S401，遍历单向运动估计以及双向运动估计，得到各参考方向代价值以及双向预测代价值。例如，进行List0参考方向的单向运动估计得到代价值list0Cost；进行List1参考方向的单向运动估计得到代价值list1Cost；进行List0和List1两个参考方向的双向运动估计，得到双向预测代价值biCost。S402，计算双向预测和SMVD模式之间的码率变化数据(deltaBits)。例如，利用双向预测和SMVD模式的码率变化关系，计算得到双向预测和SMVD模式之间的码率变化数据，该码率变化数据为编码ref_idx_l0、ref_idx_l1和mvd_l0时对应的码率(比特数)。S403，计算码率变化数据在双向预测代价值中的占比(ratio)。S404，根据该占比(ratio)和双向预测代价值biCost预估得到SMVD模式的代价值(smvdCost)。S405，确定SMVD模式的代价值(smvdCost)是否大于第一参考方向的单向预测代价值(list0Cost)，或，大于第二参考方向的单向预测代价值(list1Cost)，若否，则执行S406；若是，则跳过S406执行S407。S406，继续遍历SMVD模式。S407，继续执行其他预测模式，或者，终止模式决策并得出最终的帧间预测模式。
需要说明的是，在不冲突的情况下，在本实施例和本申请的其他实施例中给出的特征可以相互组合，并且步骤S101和S102或类似用语不限定步骤必须先后执行。
至此，对本实施例提供的方法进行了说明，所述方法提供了一种SMVD模式的快速跳过方案，首先预估双向预测模式和SMVD模式之间的码率变化数据，然后计算该码率变化数据在双向预测模式代价值中的占比数据，再根据该占比数据预估SMVD模式的预估代价值，从而将码率变化情况反映到代价值，在不需要真正进行SMVD模式的操作的情况下即可提前较为准确的预估SMVD模式的代价值。进一步根据SMVD模式的预估代价值和其他预测模式对应的代价值之间的大小关系，来决策是否需要执行SMVD模式。该方案能够一定程度地减少编码器执行SMVD模式的次数。因此，在引入SMVD技术提升编码效率后，能够最大程度减少SMVD模式的冗余遍历，使得编码端维持较低的编码复杂度。
与第一实施例对应，本申请第二实施例提供一种视频数据处理装置，相关的部分请参见对应方法实施例的说明即可。请参考图4，图中所示的视频数据处理装置，包括：
参考帧确定单元401，用于确定视频的当前块的第一参考方向的第一参考帧列表，以及第二参考方向的第二参考帧列表；
码率变化确定单元402，用于根据所述第一参考帧列表以及第二参考帧列表，确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据；
代价值估计单元403，用于根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值；
决策单元404，用于根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式。
可选的，所述决策单元404，具体用于：确定所述预估代价与其他预测模式对应的代价值之间的比较结果；如果所述预估代价值大于其一所述其他预测模式对应的代价值，则终止对所述当前块执行所述对称运动矢量差模式；否则，继续遍历参考帧对所述当前块执行所述对称运动矢量差模式。
可选的，所述码率变化确定单元402，具体用于：根据所述双向预测模式和所述对称运动矢量差模式之间基于编码比特数的码率变化关系，确定所述码率变化数据；其中，所述双向预测模式的编码比特数，包括：第一和第二两个参考方向的运动矢量索引、第一和第二两个参考方向的运动矢量差值、第一和第二两个参考方向的参考索引；所述对称运动矢量差模式的编码比特数，包括：第一和第二两个参考方向的运动矢量索引、第一参考方向的运动矢量差值；所述码率变化数据，包括：编码第二参考方向的运动矢量差值以及第一和第二两个参考方向的参考索引所对应的码率。
可选的，所述双向预测模式的双向预测代价值，根据所述双向预测模式的绝对变换残差和(SATD)、编码运动信息的码率确定。
可选的，所述代价值估计单元403，具体用于：根据所述码率变化数据、所述双向预测代价值，以及拉格朗日因子，确定所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据。
可选的，所述代价值估计单元403，具体用于：根据所述占比数据、所述双向预测模式的双向预测代价值以及调节因子，预估得到所述对称运动矢量差模式对应的预估代价值。
可选的，所述代价值估计单元403，具体用于：将所述双向预测代价值减所述双向预测代价值与所述占比数据之积得到初始代价值；根据所述调节因子与所述初始代价值构建特定数学表达式，基于所述特定数学表达式计算得到所述预估代价值。
可选的，所述决策单元404，具体用于：针对所述第一参考帧列表对所述当前块执行单向运动估计，得到第一参考方向的单向预测代价值；针对所述第二参考帧列表对所述当前块执行单向运动估计，得到第二参考方向的单向预测代价值；如果所述预估代价值大于第一参考方向的单向预测代价值，或者，所述预估代价值大于第二参考方向的单向预测代价值，则终止遍历参考帧上的像素块；否则，继续遍历参考帧上的像素块，对所述当前块执行所述对称运动矢量差模式。
以上述实施例为基础，本申请第三实施例提供一种电子设备，相关的部分请参见上述实施例的对应说明即可。请参考图5电子设备示意图，图中所示的电子设备包括：存储器，以及处理器；所述存储器用于存储计算机程序，所述计算机程序被处理器运行后，执行本申请实施例提供的所述方法。
以上述实施例为基础，本申请第四实施例提供一种计算机存储介质，相关的部分请参见上述实施例的对应说明即可。所述计算机存储介质的示意图类似电子设备示意图，图中的存储器可以理解为所述存储介质。所述计算机存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现本申请实施例提供的所述方法。
在一个典型的配置中，电子设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (10)

1.一种视频数据处理方法，其特征在于，包括：
确定视频的当前块的第一参考方向的第一参考帧列表，以及第二参考方向的第二参考帧列表；
根据所述第一参考帧列表以及第二参考帧列表，确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据；
根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值；
根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式。
2.根据权利要求1所述的方法，其特征在于，所述根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式，包括：
确定所述预估代价与其他预测模式对应的代价值之间的比较结果；
如果所述预估代价值大于其一所述其他预测模式对应的代价值，则终止对所述当前块执行所述对称运动矢量差模式；否则，继续遍历参考帧对所述当前块执行所述对称运动矢量差模式。
3.根据权利要求1所述的方法，其特征在于，所述确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据，包括：
根据所述双向预测模式和所述对称运动矢量差模式之间基于编码比特数的码率变化关系，确定所述码率变化数据；
其中，所述双向预测模式的编码比特数，包括：第一和第二两个参考方向的运动矢量索引、第一和第二两个参考方向的运动矢量差值、第一和第二两个参考方向的参考索引；
所述对称运动矢量差模式的编码比特数，包括：第一和第二两个参考方向的运动矢量索引、第一参考方向的运动矢量差值；
所述码率变化数据，包括：编码第二参考方向的运动矢量差值以及第一和第二两个参考方向的参考索引所对应的码率。
4.根据权利要求1所述的方法，其特征在于，所述双向预测模式的双向预测代价值，根据所述双向预测模式的绝对变换残差和(SATD)、编码运动信息的码率确定。
5.根据权利要求1所述的方法，其特征在于，还包括：
根据所述码率变化数据、所述双向预测代价值，以及拉格朗日因子，确定所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据。
6.根据权利要求1所述的方法，其特征在于，所述根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值，包括：
根据所述占比数据、所述双向预测模式的双向预测代价值以及调节因子，预估得到所述对称运动矢量差模式对应的预估代价值。
7.根据权利要求6所述的方法，其特征在于，所述根据所述占比数据、所述双向预测模式的双向预测代价值以及调节因子，预估得到所述对称运动矢量差模式对应的预估代价值，包括：
将所述双向预测代价值减所述双向预测代价值与所述占比数据之积得到初始代价值；
根据所述调节因子与所述初始代价值构建特定数学表达式，基于所述特定数学表达式计算得到所述预估代价值。
8.根据权利要求1所述的方法，其特征在于，所述根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式，包括：
针对所述第一参考帧列表对所述当前块执行单向运动估计，得到第一参考方向的单向预测代价值；
针对所述第二参考帧列表对所述当前块执行单向运动估计，得到第二参考方向的单向预测代价值；
预估所述对称运动矢量差模式对应的预估代价值之后，如果判断所述预估代价值大于第一参考方向的单向预测代价值，或者，所述预估代价值大于第二参考方向的单向预测代价值，则终止遍历参考帧上的像素块；
否则，继续遍历参考帧上的像素块，对所述当前块执行所述对称运动矢量差模式。
9.一种视频数据处理装置，其特征在于，包括：
参考帧确定单元，用于确定视频的当前块的第一参考方向的第一参考帧列表，以及第二参考方向的第二参考帧列表；
码率变化确定单元，用于根据所述第一参考帧列表以及第二参考帧列表，确定所述当前块的双向预测模式与对称运动矢量差模式之间的码率变化数据；
代价值估计单元，用于根据所述码率变化数据在所述双向预测模式的双向预测代价值中的占比数据，预估所述对称运动矢量差模式对应的预估代价值；
决策单元，用于根据所述预估代价值确定是否对所述当前块执行所述对称运动矢量差模式。
10.一种电子设备，其特征在于，包括：
存储器，以及处理器；所述存储器用于存储计算机程序，所述计算机程序被所述处理器运行后，执行权利要求1-8任意一项所述的方法。
CN202410123570.3A 2024-01-29 2024-01-29 一种视频数据处理方法及电子设备 Pending CN118018739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410123570.3A CN118018739A (zh) 2024-01-29 2024-01-29 一种视频数据处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410123570.3A CN118018739A (zh) 2024-01-29 2024-01-29 一种视频数据处理方法及电子设备

Publications (1)

Publication Number Publication Date
CN118018739A true CN118018739A (zh) 2024-05-10

Family

ID=90951322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410123570.3A Pending CN118018739A (zh) 2024-01-29 2024-01-29 一种视频数据处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN118018739A (zh)

Similar Documents

Publication Publication Date Title
CN110809887B (zh) 用于多参考预测的运动矢量修正的方法和装置
US11856220B2 (en) Reducing computational complexity when video encoding uses bi-predictively encoded frames
US9538197B2 (en) Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
KR101393824B1 (ko) 저 복잡성 움직임 벡터 도출을 위한 시스템 및 방법
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
WO2010035370A1 (ja) 動画像符号化方法および動画像復号化方法
US20110261886A1 (en) Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
US8462849B2 (en) Reference picture selection for sub-pixel motion estimation
CN101326550A (zh) 利用预测指导的抽取搜索的运动估计
US7523234B2 (en) Motion estimation with fast search block matching
JP2011199362A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
CN112004097B (zh) 帧间预测方法、图像处理装置以及计算机可读存储介质
US8050324B2 (en) Method and apparatus for selecting a reference frame for motion estimation in video encoding
CN112004091A (zh) 帧间预测方法及其相关装置
KR20040070490A (ko) 비월 주사 방식의 동영상 부호화/복호화 방법 및 그 장치
US9270985B2 (en) Method and apparatus for selecting a coding mode
JP3674535B2 (ja) 動画像符号化方法および装置
CN118018739A (zh) 一种视频数据处理方法及电子设备
KR20060109440A (ko) 전력 최적화 콜로케이팅된 움직임 추정 방법
KR100986992B1 (ko) Ｈ．264 인코딩 시 고속 인터 모드 결정 방법
JP7210707B2 (ja) ビデオシーケンスの画像をコーディングするための方法および装置、ならびに端末デバイス
KR100228675B1 (ko) 전방예측부호화방법 및 그 장치
Kim et al. Multilevel Residual Motion Compensation for High Efficiency Video Coding
CN118541977A (zh) 用于视频处理的方法、装置和介质
CN118489250A (zh) 用于视频处理的方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination