CN114554209A - 基于avs3的仿射模式筛选方法、装置及电子设备 - Google Patents

基于avs3的仿射模式筛选方法、装置及电子设备 Download PDF

Info

Publication number
CN114554209A
CN114554209A CN202111534864.8A CN202111534864A CN114554209A CN 114554209 A CN114554209 A CN 114554209A CN 202111534864 A CN202111534864 A CN 202111534864A CN 114554209 A CN114554209 A CN 114554209A
Authority
CN
China
Prior art keywords
affine
mode
reference spatial
current
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111534864.8A
Other languages
English (en)
Inventor
张鹏
罗昕颉
向国庆
黄晓峰
严伟
范益波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN202111534864.8A priority Critical patent/CN114554209A/zh
Publication of CN114554209A publication Critical patent/CN114554209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种基于AVS3的仿射模式筛选方法、装置及电子设备。其中，该方法包括：选择当前编码单元CU的参考空域CU；在参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；在参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；在参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将第二仿射模型写入仿射融合候选列表中；根据仿射融合候选列表对当前CU进行帧间预测。本申请解决了相关技术中的确定CU的预测模式效率较低的技术问题。

Description

基于AVS3的仿射模式筛选方法、装置及电子设备
技术领域
本申请涉及视频编解码领域，具体而言，涉及一种基于AVS3的仿射模式筛选方法、装置及电子设备。
背景技术
在第三代音视频标准AVS3新增了仿射模型，用以预测编码单元(Coding Unit，CU)块之间的缩放、旋转等运动。AVS3中采用了四或六参数仿射模型：分别编码两个或三个控制点的运动矢量(MotionVector，MV)。仅对宽和高大于等于8的CU使用，通过控制点MV导出其中每个4x4或8x8块的运动矢量。
AVS3中仿射SKIP模式分为两种，基于模型的仿射模式(MODEL BASED AFFINEMODE)和基于控制点的仿射模式(CONTROL POINT BASED AFFINE MODE)。CONTROL POINTBASED模式即直接在空域上选出2或3个控制点。MODEL BASED模式首先在当前CU块的左上、右上、左下找到可用的空域MV，在右下找到可用的时域对应的空域MV。其次，对每一个空域MV，找到其所在的编码CU块，以这个CU块的控制点作为当前CU块的控制点。
仿射SKIP模式需要进行大量精细的插值运算，将会增加编码算法的复杂度。且由于仿射变换得到的每一个最小编码单元(SCU)的运动矢量都不相同，还会降低仿射SKIP模式的并行化计算效率。而且，由于预测模式数量较多，计算CU在每一预测模式下的率失真代价的复杂度较高，使得确定CU预测模式的计算量较大，从而导致确定CU的预测模式的效率较低。
发明内容
本申请实施例提供了一种基于AVS3的仿射模式筛选方法、装置及电子设备，以至少解决相关技术中的确定CU的预测模式效率较低的技术问题。
根据本申请实施例的一个方面，提供了一种基于AVS3的仿射模式筛选方法，包括：选择当前编码单元CU的参考空域CU；其中，上述参考空域CU为可用状态的编码单元；在上述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为上述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，上述目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将上述第二仿射模型写入仿射融合候选列表中；根据上述仿射融合候选列表对上述当前CU进行帧间预测。
根据本申请实施例的另一方面，还提供了一种基于AVS3的仿射模式筛选装置，包括：选择单元，用于选择当前编码单元CU的参考空域CU；其中，上述参考空域CU为可用状态的编码单元；第一写入单元，用于在上述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为上述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，上述目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；第二写入单元，用于在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；第三写入单元，用于在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将上述第二仿射模型写入仿射融合候选列表中；预测单元，用于根据上述仿射融合候选列表对上述当前CU进行帧间预测。
根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述的基于AVS3的仿射模式筛选方法。
根据本申请实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的基于AVS3的仿射模式筛选方法。
在本申请实施例中，通过选择当前编码单元CU的参考空域CU；其中，上述参考空域CU为可用状态的编码单元；在上述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为上述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，上述目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将上述第二仿射模型写入仿射融合候选列表中；根据上述仿射融合候选列表对上述当前CU进行帧间预测。由于在在率失真优化RDO阶段之前对仿射SKIP模式的候选列表进行预筛选，不仅减少了仿射SKIP模式的计算复杂度，而且提高了确定CU的预测模式的效率，解决了相关技术中的确定CU的预测模式效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本发明实施例的一种可选的基于AVS3的仿射模式筛选方法的应用环境的示意图；
图2是根据本发明实施例的另一种可选的基于AVS3的仿射模式筛选方法的应用环境的示意图；
图3是根据本发明实施例的一种可选的基于AVS3的仿射模式筛选方法的流程示意图；
图4是根据本发明实施例的一种当前CU的空域CU示意图；
图5是根据本发明实施例的另一种当前CU的时域CU示意图；
图6是根据本发明实施例的当前CU由两个控制点生成的仿射运动向量示意图；
图7是根据本发明实施例的当前CU由三个控制点生成的仿射运动向量示意图；
图8是根据本发明实施例的一种可选的基于AVS3的仿射模式筛选装置的结构示意图；
图9是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种基于AVS3的仿射模式筛选上述方法，可选地，作为一种可选的实施方式，上述基于AVS3的仿射模式筛选上述方法可以但不限于应用于如图1所示的硬件环境中。该硬件环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有基于AVS3的仿射模式筛选上述应用客户端。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于呈现视频帧处理的界面；处理器1024用于获取当前编码单元CU的参考空域CU。存储器1026用于存储基于当前编码单元CU的参考空域CU。
此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储当前编码单元CU的参考空域CU，及用于存储仿射融合候选列表。处理引擎1064用于根据基于AVS3的仿射模式筛选请求，选择当前编码单元CU的参考空域CU；其中，上述参考空域CU为可用状态的编码单元；在上述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为上述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，上述目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将上述第二仿射模型写入仿射融合候选列表中；根据上述仿射融合候选列表对上述当前CU进行帧间预测。
作为另一种可选的实施方式，本申请上述基于AVS3的仿射模式筛选上述方法可以应用于图2中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中终端设备204可以但不限于参考执行上述终端设备102所执行的操作，以上述当前CU进行帧间预测。
可选地，上述终端设备102和用户设备204可以但不限于为手机、平板电脑、笔记本电脑、PC机等终端，上述网络104可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，在一个或多个实施例中，如图3所示，上述基于AVS3的仿射模式筛选方法包括：
S302，选择当前编码单元CU的参考空域CU；其中，参考空域CU为可用状态的编码单元。
在本发明实施例中，如图4与图5所示，按照AVS3标准，当前帧图像Cur_pic的参考帧图像Col_pic；当前CU(Cur)的1个同位时域T位于当前Cu相邻的右下方，当前CU相邻的6个空域CU(A，B，D，G，C，F)共7个参考CU。对于标准中未编码CU、编码模式为帧内(INTRA)的模式的CU予以舍弃。
S304，在参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；
在本发明实施例中，基于模型的仿射模式(MODEL BASED AFFINE MODE)，如图4所示，首先在当前CU(Cur)左上、右上、左下找到可用的空域运动矢量MV，在右下找到可用的时域MV(例如T的运动矢量)。其次，对于上述可用的MV，找到其所在的编码CU块，以这个CU块的控制点作为当前CU块的控制点。
S306，在参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式。
在本发明实施例中，基于控制点的仿射模式(CONTROL POINT BASED AFFINEMODE)，如图4所示，该模式下在当前CU(Cur)相邻的空域集合(A，B，D，G，C，F)中选出2或3个控制点。其次，以这2个或3个控制点作为当前CU块的控制点。
S308，在参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将第二仿射模型写入仿射融合候选列表中。
S310，根据仿射融合候选列表对当前CU进行帧间预测。
具体地，在得到仿射融合候选列表后，对当前帧进行仿射变换插值，以预测得到当前帧的下一帧。
在本申请实施例中，通过选择当前编码单元CU的参考空域CU；其中，上述参考空域CU为可用状态的编码单元；在上述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为上述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，上述目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将上述第二仿射模型写入仿射融合候选列表中；根据上述仿射融合候选列表对上述当前CU进行帧间预测。由于在在率失真优化RDO阶段之前对仿射SKIP模式的候选列表进行预筛选，不仅减少了仿射SKIP模式的计算复杂度，而且提高了确定CU的预测模式的效率，解决了相关技术中的确定CU的预测模式效率较低的技术问题。
在一个或多个实施例中，上述步骤S302，上述选择当前编码单元CU的参考空域CU包括：基于AVS3编码标准，将上述当前CU的一个同位时域CU和六个空域CU作为上述参考空域CU。
在本发明实施例中，如图4与图5所示，按照AVS3标准，当前帧图像Cur_pic的参考帧图像Col_pic；当前CU(Cur)的1个同位时域T位于当前Cu相邻的右下方，当前CU相邻的6个空域CU(A，B，D，G，C，F)共7个CU，将上述7个CU作为当前Cu的参考空域CU。对于标准中未编码CU、编码模式为帧内(INTRA)的模式的CU予以舍弃。
在一个或多个实施例中，上述步骤S304，上述在上述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为上述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表，包括：
在上述六个空域CU中存在一个空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的空域CU的仿射控制点作为上述当前CU的仿射控制点，以对上述当前CU进行仿射变换插值；将上述第一仿射模型写入上述仿射融合候选列表。
这里需要说明的是，按照AVS3标准，如图4和图5所示，时域同位CU(T)不参与MODELBASED仿射模型计算，只考虑6个空域CU(A，B，D，G，C，F)。
在一个或多个实施例中，上述步骤S306，上述在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中，包括：
上述在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，执行以下操作：
当确定出上述目标编码模式为仿射模式的CU与当前CU的位置关系满足预设规则时，将第二仿射模型作为目标仿射模型写入仿射融合候选列表中；其中，上述预设规则包括上述当前CU相邻的由两个控制点或三个控制点对应的参考空域CU。
在本发明实施例中，上述预设规则为仿射模式的CU与当前CU的位置关系可以构成2个控制点或3个控制点仿射模型，则使用CONTROL POINT BASED仿射模型。CONTROL POINTBASED仿射模型的控制点分为左上、左下、右上、右下四类。其中左上控制点包含{A，B，D}，左下控制点包含{F}，右上控制点包含{G，C}，右下控制点包含{T}。
如图6和图7所示，图6为当前CU(Cur)包括2个控制点，图7为当前CU(Cur)包括3个控制点；2个控制点(4参数)的仿射模型如下所示：
Figure BDA0003412796010000091
其中，(v0x，v0y)是当前CU左上角控制点的运动矢量，(v1x，v1y)是当前CU右上角控制点的运动矢量，W为当前CU的宽度。
3个控制点(6参数)的仿射模型如下所示：
Figure BDA0003412796010000101
其中，(v0x，v0y)是当前CU左上角控制点的运动矢量，(v1x，v1y)是当前CU右上角控制点的运动矢量，(v2x，v2y)是当前CU左下角控制点的运动矢量，W为当前CU的宽度，H为当前CU的高度。
当确定出上述目标编码模式为仿射模式的CU与当前CU的位置关系未满足预设规则时，将第一仿射模型作为目标仿射模型写入仿射融合候选列表中。也就是说，如果存在仿射模式的CU无法与当前CU构成2个控制点或3个控制点仿射模型，则将此CU作为MODELBASED仿射模型的控制点。
在一个或多少实施例中，上述预设规则中由两个控制点或三个控制点对应的参考空域CU集合，包括以下至少之一：
包括当前CU相邻的左上CU，当前CU相邻的右上CU，当前CU相邻的左下CU或当前CU相邻的右下CU的第一参考空域CU子集；例如，图4所示，第一参考空域CU子集为{A/B/D，G/C，F/T}。
包括当前CU相邻的上侧CU，当前CU相邻的左下CU，当前CU相邻的右下CU的第二参考空域CU子集；例如，图4所示，第二参考空域CU子集为{A/B/D/G/C，F，T}。
包括当前CU相邻的左上CU，当前CU相邻的右侧CU的第三参考空域CU子集。例如，图4所示，第三参考空域CU子集为{A/B/D，G/C/T}。
在一个或多个实施例中，上述步骤S308，上述在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将上述第二仿射模型写入仿射融合候选列表中包括：
在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，确定出包括当前CU相邻的左上CU，当前CU相邻的右上CU，当前CU相邻的左下CU的第四参考空域CU子集；将上述第四参考空域CU子集的仿射控制点作为上述当前CU的仿射控制点，以对上述当前CU进行仿射变换插值；将上述第二仿射模型写入上述仿射融合候选列表。
在本发明实施例中，在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，依照AVS3标准找出当前CU相邻的左上、右上、左下的已编码CU，作为当前CU的仿射控制点，使用CONTROL POINT BASED仿射模型。需要说明的是，此过程中使用的空域CU已编码即可，不要求此CU使用仿射模式编码。
基于上述实施例，在一个或多个实施例中，上述基于AVS3的仿射模式筛选方法包括如下步骤：
1)选取当前CU(Cur)的6个空域CU(F/G/C/A/B/D)、时域同位CU(T)共7个CU。7个CU的位置示意如图4、图5所示。
2)如果7个CU中只存在一个CU的最优模式为仿射模式，则直接使用此CU作为MODELBASED仿射模型的控制点。
3)如果7个CU中存在2个及以上CU的最优模式为仿射模式，则选择CONTROL POINTBASED仿射模型或MODEL BASED仿射模型。
4)如果候选列表深度小于2，则将上述空域的CONTROL POINT BASED仿射模型添加进候选列表。
在上述步骤1)中：按照AVS3标准，当前CU的1个时域和6个空域CU共7个相关CU。对于标准中未编码、编码模式为帧内(INTRA)的模式应予以舍弃。
在上述步骤2)中具体包括如下步骤：
a)按照AVS3标准，时域同位CU(T)不参与MODEL BASED仿射模型计算，只考虑6个空域CU。
b)按照AVS3标准，以此CU的仿射控制点作为当前CU的仿射控制点，进行仿射变换插值。
在上述步骤2)中具体包括如下步骤：
a)如果仿射模式CU与当前CU的位置关系可以构成4点或6点仿射模型，则使用CONTROL POINT BASED仿射模型。
b)按照AVS3标准，CONTROL POINT BASED仿射模型的控制点分为左上、左下、右上、右下四类。其中左上控制点包含{A，B，D}，左下控制点包含{F}，右上控制点包含{G，C}，右下控制点包含{T}。
c)仿射模式CU为一下组合之一时使用CONTROL POINT BASED仿射模型。
{A/B/D，G/C，F/T}；
{A/B/D/G/C，F，T}；
{A/B/D，G/C/T}；
d)如果存在仿射模式CU无法与当前CU组成2个控制点或6个控制点仿射模型，则将此CU作为MODEL BASED仿射模型的控制点。
在上述步骤4)中具体包括如下步骤：
a)如果候选列表深度小于2，则依照AVS3标准找出当前CU相邻的左上、右上、左下的已编码CU，作为当前CU的仿射控制点，使用CONTROL POINT BASED仿射模型。
b)此过程中使用的空域CU已编码即可，不要求此CU使用仿射模式编码。
本发明实施例基于AVS3标准，通过已编码信息，对当前CU块的仿射合并(AFFINEMERGE)模式提供的候选进行预处理，减少插值和RDO运算次数，提高视频帧的编码效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
根据本申请实施例的另一个方面，还提供了一种用于实施上述基于AVS3的仿射模式筛选方法的基于AVS3的仿射模式筛选装置。如图8所示，该装置包括：
选择单元802，用于选择当前编码单元CU的参考空域CU；其中，上述参考空域CU为可用状态的编码单元。
在本发明实施例中，如图4与图5所示，按照AVS3标准，当前帧图像Cur_pic的参考帧图像Col_pic；当前CU(Cur)的1个同位时域T位于当前Cu相邻的右下方，当前CU相邻的6个空域CU(A，B，D，G，C，F)共7个参考CU。对于标准中未编码CU、编码模式为帧内(INTRA)的模式的CU予以舍弃。
第一写入单元804，用于在上述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为上述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，上述目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式。
在本发明实施例中，基于模型的仿射模式(MODEL BASED AFFINE MODE)，如图4所示，首先在当前CU(Cur)左上、右上、左下找到可用的空域运动矢量MV，在右下找到可用的时域MV(例如T的运动矢量)。其次，对于上述可用的MV，找到其所在的编码CU块，以这个CU块的控制点作为当前CU块的控制点。
第二写入单元806，用于在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式。
在本发明实施例中，基于控制点的仿射模式(CONTROL POINT BASED AFFINEMODE)，如图4所示，该模式下在当前CU(Cur)相邻的空域集合(A，B，D，G，C，F)中选出2或3个控制点。其次，以这2个或3个控制点作为当前CU块的控制点。
第三写入单元808，用于在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将上述第二仿射模型写入仿射融合候选列表中；
预测单元810，用于根据上述仿射融合候选列表对上述当前CU进行帧间预测。具体地，在得到仿射融合候选列表后，对当前帧进行仿射变换插值，以预测得到当前帧的下一帧。
在本申请实施例中，通过选择当前编码单元CU的参考空域CU；其中，上述参考空域CU为可用状态的编码单元；在上述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为上述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，上述目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将上述第二仿射模型写入仿射融合候选列表中；根据上述仿射融合候选列表对上述当前CU进行帧间预测。由于在在率失真优化RDO阶段之前对仿射SKIP模式的候选列表进行预筛选，不仅减少了仿射SKIP模式的计算复杂度，而且提高了确定CU的预测模式的效率，解决了相关技术中的确定CU的预测模式效率较低的技术问题。
在一个或多个实施例中，上述选择单元802，具体包括：
选择模块，用于基于AVS3编码标准，将上述当前CU的一个同位时域CU和六个空域CU作为上述参考空域CU。
在一个或多个实施例中，上述第一写入单元804，具体包括：
第一确定模块，用于在上述六个空域CU中存在一个空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的空域CU的仿射控制点作为上述当前CU的仿射控制点，以对上述当前CU进行仿射变换插值；
第一写入模块，用于将上述第一仿射模型写入上述仿射融合候选列表。
在一个或多个实施例中，上述第二写入单元806，具体包括：
判断模块，用于上述在上述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，执行以下操作：
第二写入模块，用于当确定出上述目标编码模式为仿射模式的CU与当前CU的位置关系满足预设规则时，将第二仿射模型作为目标仿射模型写入仿射融合候选列表中；其中，上述预设规则包括上述当前CU相邻的由两个控制点或三个控制点对应的参考空域CU；
第三写入模块，用于当确定出上述目标编码模式为仿射模式的CU与当前CU的位置关系未满足预设规则时，将第一仿射模型作为目标仿射模型写入仿射融合候选列表中。
在一个或多个实施例中，上述预设规则中由两个控制点或三个控制点对应的参考空域CU集合，包括以下至少之一：
包括当前CU相邻的左上CU，当前CU相邻的右上CU，当前CU相邻的左下CU或当前CU相邻的右下CU的第一参考空域CU子集；
包括当前CU相邻的上侧CU，当前CU相邻的左下CU，当前CU相邻的右下CU的第二参考空域CU子集；
包括当前CU相邻的左上CU，当前CU相邻的右侧CU的第三参考空域CU子集。
在一个或多个实施例中，上述第三写入单元，具体包括：
第二确定模块，用于在上述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，确定出包括当前CU相邻的左上CU，当前CU相邻的右上CU，当前CU相邻的左下CU的第四参考空域CU子集；
第三确定模块，用于将上述第四参考空域CU子集的仿射控制点作为上述当前CU的仿射控制点，以对上述当前CU进行仿射变换插值；
第四写入模块，用于将上述第二仿射模型写入上述仿射融合候选列表。
根据本申请实施例的又一个方面，还提供了一种用于实施上述基于AVS3的仿射模式筛选方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图9所示，该电子设备包括存储器902和处理器904，该存储器902中存储有计算机程序，该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，选择当前编码单元CU的参考空域CU；其中，参考空域CU为可用状态的编码单元；
S2，在参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；
S3，在参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；
S4，在参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将第二仿射模型写入仿射融合候选列表中；
S5，根据仿射融合候选列表对当前CU进行帧间预测。
可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图9中所示更多或者更少的组件(如网络接口等)，或者具有与图9所示不同的配置。
其中，存储器902可用于存储软件程序以及模块，如本申请实施例中的基于AVS3的仿射模式筛选方法和装置对应的程序指令/模块，处理器904通过运行存储在存储器902内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的基于AVS3的仿射模式筛选方法。存储器902可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器902可进一步包括相对于处理器904远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器902具体可以但不限于用于存储当前编码单元CU的参考空域CU等信息。作为一种示例，如图9所示，上述存储器902中可以但不限于包括上述基于AVS3的仿射模式筛选装置中的选择单元802、第一写入单元804、第二写入单元806、第三写入单元808及预测单元810。此外，还可以包括但不限于上述基于AVS3的仿射模式筛选装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置909用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置909包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置909为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器908，用于显示上述当前编码单元CU的参考空域CU信息；和连接总线910，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
在一个或多个实施例中，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述基于AVS3的仿射模式筛选方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，选择当前编码单元CU的参考空域CU；其中，参考空域CU为可用状态的编码单元；
S2，在参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；
S3，在参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；
S4，在参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将第二仿射模型写入仿射融合候选列表中；
S5，根据仿射融合候选列表对当前CU进行帧间预测。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于AVS3的仿射模式筛选方法，其特征在于，包括：
选择当前编码单元CU的参考空域CU；其中，所述参考空域CU为可用状态的编码单元；
在所述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为所述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，所述目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；
在所述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；
在所述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将所述第二仿射模型写入仿射融合候选列表中；
根据所述仿射融合候选列表对所述当前CU进行帧间预测。
2.根据权利要求1所述的方法，其特征在于，所述选择当前编码单元CU的参考空域CU包括：
基于AVS3编码标准，将所述当前CU的一个同位时域CU和六个空域CU作为所述参考空域CU。
3.根据权利要求2所述的方法，其特征在于，所述在所述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为所述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表，包括：
在所述六个空域CU中存在一个空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的空域CU的仿射控制点作为所述当前CU的仿射控制点，以对所述当前CU进行仿射变化差值；
将所述第一仿射模型写入所述仿射融合候选列表。
4.根据权利要求2所述的方法，其特征在于，所述在所述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中，包括：
所述在所述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，执行以下操作：
当确定出所述目标编码模式为仿射模式的CU与当前CU的位置关系满足预设规则时，将第二仿射模型作为目标仿射模型写入仿射融合候选列表中；其中，所述预设规则包括所述当前CU相邻的由两个控制点或三个控制点对应的参考空域CU；
当确定出所述目标编码模式为仿射模式的CU与当前CU的位置关系未满足预设规则时，将第一仿射模型作为目标仿射模型写入仿射融合候选列表中。
5.根据权利要求4所述的方法，其特征在于，所述预设规则中由两个控制点或三个控制点对应的参考空域CU集合，包括以下至少之一：
包括当前CU相邻的左上CU，当前CU相邻的右上CU，当前CU相邻的左下CU或当前CU相邻的右下CU的第一参考空域CU子集；
包括当前CU相邻的上侧CU，当前CU相邻的左下CU，当前CU相邻的右下CU的第二参考空域CU子集；
包括当前CU相邻的左上CU，当前CU相邻的右侧CU的第三参考空域CU子集。
6.根据权利要求2所述的方法，其特征在于，所述在所述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将所述第二仿射模型写入仿射融合候选列表中包括：
在所述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，确定出包括当前CU相邻的左上CU，当前CU相邻的右上CU，当前CU相邻的左下CU的第四参考空域CU子集；
将所述第四参考空域CU子集的仿射控制点作为所述当前CU的仿射控制点，以对所述当前CU进行仿射变化差值；
将所述第二仿射模型写入所述仿射融合候选列表。
7.一种基于AVS3的仿射模式筛选装置，其特征在于，包括：
选择单元，用于选择当前编码单元CU的参考空域CU；其中，所述参考空域CU为可用状态的编码单元；
第一写入单元，用于在所述参考空域CU中存在一个参考空域CU的目标编码模式为仿射模式时，将目标编码模式为仿射模式的参考空域CU的仿射控制点作为所述当前CU的仿射控制点，并将第一仿射模型写入仿射融合候选列表；其中，所述目标编码模式为多种帧间预测模式下的率失真代价中最小率失真代价对应的预测模式，第一仿射模型包括基于模型的仿射模式；
第二写入单元，用于在所述参考空域CU中存在至少两个参考空域CU的目标编码模式为仿射模式时，将第一仿射模型和/或第二仿射模型写入仿射融合候选列表中；其中，第二仿射模型包括基于控制点的仿射模式；
第三写入单元，用于在所述参考空域CU中不存在参考空域CU的目标编码模式为仿射模式时，将所述第二仿射模型写入仿射融合候选列表中；
预测单元，用于根据所述仿射融合候选列表对所述当前CU进行帧间预测。
8.根据权利要求7所述的装置，其特征在于，所述选择单元，具体包括：
选择模块，用于基于AVS3编码标准，将所述当前CU的一个同位时域CU和六个空域CU作为所述参考空域CU。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6中任一项所述的方法。
CN202111534864.8A 2021-12-15 2021-12-15 基于avs3的仿射模式筛选方法、装置及电子设备 Pending CN114554209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111534864.8A CN114554209A (zh) 2021-12-15 2021-12-15 基于avs3的仿射模式筛选方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111534864.8A CN114554209A (zh) 2021-12-15 2021-12-15 基于avs3的仿射模式筛选方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114554209A true CN114554209A (zh) 2022-05-27

Family

ID=81670550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111534864.8A Pending CN114554209A (zh) 2021-12-15 2021-12-15 基于avs3的仿射模式筛选方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114554209A (zh)

Similar Documents

Publication Publication Date Title
KR102073638B1 (ko) 픽처 예측 방법 및 픽처 예측 장치
CN107734335B (zh) 图像预测方法及相关装置
CN109672894B (zh) 一种帧间预测方法、装置及存储介质
US11758175B2 (en) Image encoding/decoding method and apparatus
CN109587491A (zh) 一种帧内预测方法、装置及存储介质
CN107396112A (zh) 一种编码方法及装置、计算机装置、可读存储介质
JP2021531688A (ja) データ処理方法及び装置、電子機器並びに記憶媒体
CN111246212B (zh) 一种基于编解码端的几何划分模式预测方法、装置、存储介质及终端
CN110719526B (zh) 视频播放方法及装置
JP2019118101A (ja) ビデオコーディング方法及びその画像処理装置
CN114157868B (zh) 视频帧的编码模式筛选方法、装置及电子设备
CN112312131B (zh) 一种帧间预测方法、装置、设备及计算机可读存储介质
Podder et al. A novel motion classification based intermode selection strategy for HEVC performance improvement
CN108924551A (zh) 视频图像编码模式的预测方法及相关设备
CN114554209A (zh) 基于avs3的仿射模式筛选方法、装置及电子设备
CN115495677B (zh) 视频的时空定位方法和存储介质
CN110677676A (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
CN115550645A (zh) 帧内预测模式的确定方法、装置、存储介质及电子设备
CN116170582A (zh) 一种视频数据处理方法、装置、计算机设备以及存储介质
CN115442617A (zh) 一种基于视频编码的视频处理方法和装置
CN109660806A (zh) 一种编码方法及装置
CN114222134A (zh) 视频数据的帧间预测方法、装置及电子设备
CN110545428A (zh) 一种运动估计方法及装置、服务器及计算机可读存储介质
CN112565753B (zh) 运动矢量差的确定方法和装置、存储介质及电子装置
CN110636293A (zh) 视频编码、解码方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination