CN118020302A - 视频编解码中针对仿射合并模式的候选导出 - Google Patents

视频编解码中针对仿射合并模式的候选导出 Download PDF

Info

Publication number
CN118020302A
CN118020302A CN202280065133.XA CN202280065133A CN118020302A CN 118020302 A CN118020302 A CN 118020302A CN 202280065133 A CN202280065133 A CN 202280065133A CN 118020302 A CN118020302 A CN 118020302A
Authority
CN
China
Prior art keywords
motion vector
candidate
candidates
scanning
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280065133.XA
Other languages
English (en)
Inventor
陈伟
修晓宇
陈漪纹
朱弘正
郭哲瑋
闫宁
王祥林
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of CN118020302A publication Critical patent/CN118020302A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种视频编解码的方法、装置以及其非暂态计算机可读存储介质。所述方法包括基于至少一个扫描距离从当前块的多个非相邻邻近块获得一个或多个运动矢量候选，其中所述至少一个扫描距离中的一个扫描距离可指示距离当前块的一侧的块的数量，并且所述数量可以是正整数。此外，所述方法可包括基于一个或多个运动矢量候选获得针对当前块的一个或多个控制点运动矢量(CPMV)。

Description

视频编解码中针对仿射合并模式的候选导出
相关申请的交叉引用
本申请要求于2021年9月29日提交的题为“视频编解码中针对仿射合并模式的候选导出(Candidate Derivation for Affine Merge Mode in Video Coding)”、申请号为63/250,184的美国临时申请的优先权，其全部内容通过引用并入本文用于所有目的。
技术领域
本公开涉及视频编解码和压缩，并且具体地涉及但不限于关于改进视频编码或解码过程中针对仿射运动预测模式的仿射合并候选导出的方法和装置。
背景技术
各种视频编解码技术可用于压缩视频数据。根据一个或多个视频编解码标准执行视频编解码。例如，现今，一些众所周知的视频编解码标准包括由ISO/IEC MPEG及ITU-TVECG联合开发的通用视频编解码(VVC)、高效视频编解码(HEVC，也称为H.265或MPEG-H第2部分)及高级视频编解码(AVC，也称为H.264或MPEG-4第10部分)。AOMedia Video 1(AV1)由开放媒体联盟(AOM)开发，作为其先前标准VP9的后继。音视频编解码(AVS)是指数字音频和数字视频压缩标准，由中国音视频编码标准工作组开发的另一个视频压缩标准系列。大多数现有视频编解码标准建立在著名的混合视频编解码框架上，即，使用基于块的预测方法(例如，帧间预测、帧内预测)来减少视频图像或序列中存在的冗余，并使用变换编码来压缩预测误差的能量。视频编解码技术的重要目标是将视频数据压缩成使用更低比特率的形式同时避免或最小化视频质量降级。
第一代AVS标准包括中国国家标准《信息技术先进音视频编解码第2部分：视频》(称为AVS1)和《信息技术先进音视频编解码第16部分：广播电视视频》(称为AVS+)。与MPEG-2标准相比，它可在相同的感知质量下提供大约50％的比特率节省。第二代AVS标准包括中国国家标准《信息技术高效多媒体编解码》(简称AVS2)，主要针对超高清电视节目的传输。AVS2的编解码效率是AVS+的两倍。在2016年5月，AVS2作为中国国家标准发布。同时，AVS2标准视频部分由电气和电子工程师协会(IEEE)提交作为应用的一个国际标准。AVS3标准是针对UHD视频应用的新一代视频编解码标准，旨在超过最新国际标准HEVC的编解码效率。在2019年3月，在第68次AVS会议上，AVS3-P2基线完成，其与HEVC标准相比提供了大约30％的比特率节省。目前，有一款称为高性能模型(HPM)的参考软件由AVS组维护以演示AVS3标准的参考实现。
发明内容
本公开提供与改进视频编码或解码过程中针对仿射运动预测模式的仿射合并候选导出相关的技术的示例。
根据本公开的第一方面，提供了一种视频解码的方法。所述方法可包括基于至少一个扫描距离从当前块的多个非相邻邻近块获得一个或多个运动矢量候选，其中所述至少一个扫描距离中的一个扫描距离可指示距离当前块的一侧的块的数量，并且所述数量是正整数。此外，所述方法可包括基于所述一个或多个运动矢量候选获得针对所述当前块的一个或多个控制点运动矢量(CPMV)。
根据本公开的第二方面，提供一种视频编码的方法。所述方法可包括基于至少一个扫描距离从当前块的多个非相邻邻近块确定一个或多个运动矢量候选，其中所述至少一个扫描距离中的一个扫描距离可指示距离当前块的一侧的块的数量，并且所述数量是正整数。此外，所述方法可包括基于所述一个或多个运动矢量候选获得针对所述当前块的一个或多个CPMV。
根据本公开的第三方面，提供了一种用于视频解码的装置。所述装置包括一个或多个处理器和存储器，所述存储器被配置为存储可由所述一个或多个处理器执行的指令。此外，所述一个或多个处理器在执行所述指令时被配置为执行根据第一方面的方法。
根据本公开的第四方面，提供了一种用于视频编码的装置。所述装置包括一个或多个处理器和存储器，所述存储器被配置为存储可由所述一个或多个处理器执行的指令。此外，所述一个或多个处理器在执行所述指令时被配置为执行根据第二方面的方法。
根据本公开的第五方面，提供了一种存储计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令在由一个或多个计算机处理器执行时使所述一个或多个计算机处理器执行根据第一方面的方法。
根据本公开的第六方面，提供了一种存储计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令在由一个或多个计算机处理器执行时使所述一个或多个计算机处理器执行根据第二方面的方法。
附图说明
将通过参考附图中所示的具体示例来呈现对本公开的示例的更具体的描述。鉴于这些附图仅描绘了一些示例并且因此不被认为是对范围的限制，将通过使用附图以附加的特征和细节来描述和解释示例。
图1是根据本公开的一些示例的编码器的框图。
图2是根据本公开的一些示例的解码器的框图。
图3A是示出根据本公开的一些示例的多类型树结构中的块划分的图。
图3B是示出根据本公开的一些示例的多类型树结构中的块划分的图。
图3C是示出根据本公开的一些示例的多类型树结构中的块划分的图。
图3D是示出根据本公开的一些示例的多类型树结构中的块划分的图。
图3E是示出根据本公开的一些示例的多类型树结构中的块划分的图。
图4A示出根据本公开的一些示例的4参数仿射模型。
图4B示出根据本公开的一些示例的4参数仿射模型。
图5示出根据本公开的一些示例的6参数仿射模型。
图6示出根据本公开的一些示例的用于继承仿射合并候选的相邻邻近块。
图7示出根据本公开的一些示例的用于构建仿射合并候选的相邻邻近块。
图8示出根据本公开的一些示例的用于继承仿射合并候选的非相邻邻近块。
图9示出根据本公开的一些示例的使用非相邻邻近块的构建仿射合并候选的导出。
图10示出根据本公开的一些示例的非相邻邻近块的垂直扫描。
图11示出根据本公开的一些示例的非相邻邻近块的平行扫描。
图12示出根据本公开的一些示例的非相邻邻近块的组合的垂直和平行扫描。
图13A示出根据本公开的一些示例的具有与当前块相同尺寸的邻近块。
图13B示出根据本公开的一些示例的具有与当前块不同尺寸的邻近块。
图14A示出根据本公开的一些示例的先前距离的最底部块或最右侧块的左下方块或右上方块被用作当前距离的最底部块或最右侧块的示例。
图14B示出根据本公开的一些示例的先前距离的最底部块或最右侧块的左侧块或顶部块被用作当前距离的最底部块或最右侧块的示例。
图15A示出根据本公开的一些示例的用于上方非相邻邻近块和左侧非相邻邻近块的左下位置和右上位置处的扫描位置。
图15B示出根据本公开的一些示例的用于上方非相邻邻近块和左侧非相邻邻近块两者的右下位置处的扫描位置。
图15C示出根据本公开的一些示例的用于上方非相邻邻近块和左侧非相邻邻近块两者的左下位置处的扫描位置。
图15D示出根据本公开的一些示例的用于上方非相邻邻近块和左侧非相邻邻近块两者的右上位置处的扫描位置。
图16示出根据本公开的一些示例的用于导出构建合并候选的简化扫描过程。
图17A示出根据本公开的一些示例的用于导出继承仿射合并候选的空间邻近者。
图17B示出根据本公开的一些示例的用于导出构建仿射合并候选的空间邻近者。
图18是示出根据本公开的一些示例的与用户界面耦接的计算环境的图。
图19是示出根据本公开的一些示例的用于视频编解码的方法的流程图。
图20是示出根据本公开的一些示例的用于对视频块进行编码和解码的系统的框图。
具体实施方式
现在将详细参考具体实施方式，其示例在附图中示出。在以下详细描述中，阐述了许多非限制性具体细节以便帮助理解本文呈现的主题。但是对于本领域普通技术人员显而易见的是，可使用各种替代方案。例如，对于本领域普通技术人员将显而易见的是，本文呈现的主题可在具有数字视频能力的许多类型的电子设备上实现。
贯穿本说明书对“一个实施例”、“实施例”、“示例”、“一些实施例”、“一些示例”或类似语言的引用意味着所描述的特定特征、结构或特性包括在至少一个实施例或示例中。除非另有明确说明，否则结合一个或一些实施例描述的特征、结构、元件或特性也适用于其他实施例。
在整个公开内容中，除非另有明确说明，否则术语“第一”、“第二”、“第三”等都仅用作对相关元件(例如，设备、组件、组合物、步骤等)的引用的命名，而不暗指任何空间顺序或时间顺序。例如，“第一设备”和“第二设备”可指两个单独形成的设备，或者同一设备的两个部分、组件或操作状态，并且可任意命名。
术语“模块”、“子模块”、“电路”、“子电路”、“电路系统”、“子电路系统”、“单元”或“子单元”可包括存储可由一个或多个处理器执行的代码或指令的存储器(共享、专用或群组)。模块可包括具有或不具有存储的代码或指令的一个或多个电路。模块或电路可包括直接或间接连接的一个或多个组件。这些组件可以或可以不物理地附接到彼此或彼此相邻定位。
如本文所使用的，取决于上下文，术语“如果”或“当”可被理解为意指“基于”或“响应于”。这些术语如果出现在权利要求中，可能不指示相关限制或特征是有条件的或可选的。例如，方法可包括以下步骤：i)当或如果条件X存在时，执行功能或动作X'，以及ii)当或如果条件Y存在时，执行功能或动作Y'。该方法可利用执行功能或动作X'的能力和执行功能或动作Y'的能力来实现。因此，功能X'和Y'都可在该方法的多次执行时在不同时间被执行。
单元或模块可纯通过软件、纯通过硬件或通过硬件和软件的组合来实现。在纯软件实现中，例如，单元或模块可包括直接或间接链接在一起的功能上相关的代码块或软件组件，以便执行特定功能。
图20是示出根据本公开的一些实施方式的用于并行地对视频块进行编码和解码的示例性系统10的框图。如图20中所示，系统10包括源设备12，源设备12生成并编码稍后将由目标设备14进行解码的视频数据。源设备12和目标设备14可包括各种各样的电子设备中的任何电子设备，包括台式计算机或膝上型计算机、平板计算机、智能电话、机顶盒、数字电视、相机、显示器设备、数字媒体播放器、视频游戏机、视频流传输设备等。在一些实施方式中，源设备12和目标设备14配备有无线通信能力。
在一些实施方式中，目标设备14可经由链路16接收待解码的编码视频数据。链路16可包括能够将编码视频数据从源设备12移动到目标设备14的任何类型的通信介质或设备。在一个示例中，链路16可包括使源设备12能够实时地将编码视频数据直接发送到目标设备14的通信介质。编码视频数据可根据通信标准(诸如无线通信协议)被调制，并且被发送到目标设备14。通信介质可包括任何无线或有线通信介质，诸如射频(RF)频谱或一个或多个物理传输线。通信介质可形成基于分组的网络(例如，局域网、广域网或诸如互联网的全球网)的一部分。通信介质可包括路由器、交换机、基站或可有利于促进从源设备12到目标设备14的通信的任何其他设备。
在一些其他实施方式中，编码视频数据可从输出接口22被发送到存储设备32。随后，存储设备32中的编码视频数据可通过目标设备14经由输入接口28被访问。存储设备32可包括各种分布式或本地访问的数据存储介质中的任何数据存储介质，诸如硬盘驱动器、蓝光光盘、数字多用磁盘(DVD)、光盘只读存储器(CD-ROM)、闪存存储器、易失性或非易失性存储器、或者用于存储编码视频数据的任何其他合适的数字存储介质。在另一示例中，存储设备32可对应于文件服务器或可保留由源设备12生成的编码视频数据的另一中间存储设备。目标设备14可经由流传输或下载来从存储设备32访问存储的视频数据。文件服务器可以是能够存储编码视频数据并且将编码视频数据发送到目标设备14的任何类型的计算机。示例性文件服务器包括web服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络附属存储(NAS)设备或本地磁盘驱动器。目标设备14可通过适合于访问存储在文件服务器上的编码视频数据的任何标准数据连接来访问编码视频数据，标准数据连接包括无线信道(例如，无线保真(Wi-Fi)连接)、有线连接(例如，数字用户线路(DSL)、电缆调制解调器等)或无线信道和有线连接两者的组合。编码视频数据从存储设备32的传输可以是流传输、下载传输或流传输和下载传输两者的组合。
如图20中所示，源设备12包括视频源18、视频编码器20和输出接口22。视频源18可包括诸如以下项的源或此类源的组合：视频捕获设备(例如，摄像机)、包含先前捕获的视频的视频存档、用于从视频内容提供商接收视频的视频馈入接口、和/或用于生成作为源视频的计算机图形数据的计算机图形系统。作为一个示例，如果视频源18是安全监控系统的摄像机，则源设备12和目标设备14可形成相机电话或视频电话。然而，本申请中所描述的实施方式通常可适用于视频编解码，并且可应用于无线和/或有线应用。
可由视频编码器20对捕获、预先捕获或计算机生成的视频进行编码。可经由源设备12的输出接口22直接将编码视频数据发送到目标设备14。还可(或可选地)将编码视频数据存储到存储设备32上以供稍后由目标设备14或其他设备访问，以用于解码和/或回放。输出接口22还可包括调制解调器和/或发送器。
目标设备14包括输入接口28、视频解码器30和显示器设备34。输入接口28可包括接收器和/或调制解调器，并且通过链路16接收编码视频数据。通过链路16通信传送或在存储设备32上提供的编码视频数据可包括由视频编码器20生成的各种语法元素以供视频解码器30在对视频数据进行解码时使用。此类语法元素可被包括于在通信介质上发送、存储在存储介质上或存储在文件服务器上的编码视频数据内。
在一些实施方式中，目标设备14可包括显示器设备34，显示器设备34可以是集成显示器设备和被配置为与目标设备14通信的外部显示器设备。显示器设备34将解码视频数据显示给用户，并且可包括各种显示器设备中的任何显示器设备，诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其他类型的显示器设备。
视频编码器20和视频解码器30可根据专有标准或行业标准(例如，VVC、HEVC、MPEG-4、第10部分、AVC)或此类标准的扩展进行操作。应当理解，本申请不限于特定的视频编码/解码标准，并且可适用于其他视频编码/解码标准。通常认为源设备12的视频编码器20可被配置为根据这些当前标准或未来标准中的任何标准对视频数据进行编码。类似地，还通常认为目标设备14的视频解码器30可被配置为根据这些当前标准或未来标准中的任何标准对视频数据进行解码。
视频编码器20和视频解码器30均可被实现为各种合适的编码器电路和/或解码器电路中的任何电路，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实现时，电子设备可将用于软件的指令存储于合适的非易失性计算机可读介质中，并且使用一个或多个处理器执行硬件中的指令以执行本公开中所公开的视频编码/解码操作。视频编码器20和视频解码器30中的每一个可被包括在一个或多个编码器或解码器中，编码器或解码器中的任一个可被集成为相应设备中的组合式编码器/解码器(CODEC)的一部分。
与HEVC一样，VVC建立在基于块的混合视频编解码框架上。图1是示出根据本公开的一些实施方式的基于块的视频编码器的框图。在编码器100中，逐块(称为编码单元(CU))处理输入视频信号。编码器100可以是如图20中所示的视频编码器20。在VTM-1.0中，CU可高达128×128个像素。然而，与仅基于四叉树划分块的HEVC不同，在VVC中，基于四叉树/二叉树/三叉树，将一个编码树单元(CTU)划分为CU以适应变化的局部特性。另外，去除HEVC中的多个分区单元类型的概念，即，在VVC中不再存在CU、预测单元(PU)和变换单元(TU)的区分；相反，每个CU始终用作用于预测和变换两者的基本单元而无需进一步划分。在多类型树结构中，首先通过四叉树结构来划分一个CTU。然后，每个四叉树叶节点可通过二叉树和三叉树结构进一步划分。
图3A-图3E是示出根据本公开的一些实施方式的多类型树划分模式的示意图。图3A-图3E分别示出了五种划分类型，包括四元划分(图3A)、垂直二元划分(图3B)、水平二元划分(图3C)、垂直扩展三元划分(图3D)和水平扩展三元划分(图3E)。
对于每个给定视频块，可执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中的已编码的邻近块的样点(其被称为参考样点)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已编码的视频图片的重建像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。针对给定CU的时间预测信号通常由指示当前CU与其时间参考之间的运动量和运动方向的一个或多个运动矢量(MV)用信号发送。此外，如果支持多个参考图片，则另外发送一个参考图片索引，该参考图片索引被用于标识时间预测信号来自参考图片存储器中的哪个参考图片。
在空间预测和/或时间预测之后，编码器100中的帧内/帧间模式决策电路121例如基于率失真优化方法来选择最佳预测模式。然后从当前视频块中减去块预测因子120；并且使用变换电路102和量化电路104对得到的预测残差进行去相关。由反量化电路116对所得到的量化残差系数进行反量化，并由逆变换电路118进行逆变换以形成重建残差，然后将重建残差加回到预测块以形成CU的重建信号。此外，环路滤波115(例如，去块滤波器、样点自适应偏移(SAO)和/或自适应环路滤波器(ALF))可在重建CU被放入图片缓冲器117的参考图片存储器中且被用于编码未来视频块之前应用于该重建CU。为了形成输出视频比特流114，编码模式(帧间或帧内)、预测模式信息、运动信息和量化残差系数都被发送到熵编码单元106以进一步压缩和打包以形成比特流。
例如，去块滤波器在AVC、HEVC以及VVC的当前版本中可用。在HEVC中，定义称为SAO的附加环路滤波器以进一步改进编解码效率。在VVC标准的当前版本中，正积极研究称为ALF的另一环路滤波器，并且其很有可能纳入最终标准中。
这些环路滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质量。它们也可作为由编码器100呈现的决定而被关闭，以节省计算复杂度。
应当注意，如果编码器100打开这些滤波器选项，则帧内预测通常基于未滤波的重建像素，而帧间预测基于滤波的重建像素。
图2是示出可与许多视频编解码标准结合使用的基于块的视频解码器200的框图。该解码器200类似于驻留在图1的编码器100中的重建相关部分。基于块的视频解码器200可以是如图20所示的视频解码器30。在解码器200中，首先通过熵解码202对输入视频比特流201进行解码，以导出量化系数等级和预测相关信息。然后通过反量化204和逆变换206来处理量化的系数等级，以获得重建的预测残差。在帧内/帧间模式选择器212中实现的块预测因子机制被配置为基于解码的预测信息来执行帧内预测208或运动补偿210。通过使用加法器214对来自逆变换206的重建预测残差和由块预测因子机制生成的预测输出进行求和来获得一组未滤波的重建像素。
重建块可在其被存储在用作参考图片存储器的图片缓冲器213中之前进一步通过环路滤波器209。图片缓冲器213中的重建视频可被发送以驱动显示设备，以及用于预测未来的视频块。在环路滤波器209开启的情况下，对这些重建像素执行滤波操作以导出最终重建视频输出222。
在当前VVC标准和AVS3标准中，当前编码块的运动信息是从由合并候选索引指定的空间邻近块或时间邻近块复制的，或者是通过运动估计的显式信令获得的。本公开的焦点是通过改进仿射合并候选的导出方法来提高针对仿射合并模式的运动矢量的精度。为了便于描述本公开，使用VVC标准中的现有仿射合并模式设计作为示例来说明所提出的思想。请注意，尽管贯穿本公开使用VVC标准中的现有仿射模式设计作为示例，但对于现代视频编解码技术领域的技术人员来说，所提出的技术也可被应用于仿射运动预测模式的不同设计或具有相同或类似设计精神的其他编解码工具。
仿射模型
在HEVC中，仅平移运动模型应用于运动补偿预测。而在现实世界中，存在许多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在VVC和AVS3中，通过针对每个帧间编码块用信号发送一个标志来指示是将平移运动模型还是仿射运动模型应用于帧间预测，以应用仿射运动补偿预测。在当前VVC和AVS3设计中，针对一个仿射编码块支持两个仿射模式，包括4参数仿射模式和6参数仿射模式。
4参数仿射模型具有以下参数：分别用于水平方向和垂直方向上的平移运动的两个参数、用于两个方向的缩放运动的一个参数和用于两个方向的旋转运动的一个参数。在该模型中，水平缩放参数等于垂直缩放参数，并且水平旋转参数等于垂直旋转参数。为了实现运动矢量和仿射参数的更好适应，那些仿射参数将从位于当前块的左上角和右上角的两个MV(其也被称为控制点运动矢量(CPMV))来导出。如图4A-图4B中所示，块的仿射运动场由两个CPMV(V0,V1)描述。基于控制点运动，一个仿射编码块的运动场(vx,vy)被描述为：
6参数仿射模式具有以下参数：分别用于水平方向和垂直方向上的平移移动的两个参数、分别用于水平方向上的缩放运动和旋转运动的两个参数、分别用于垂直方向上的缩放运动和旋转运动的另外两个参数。6参数仿射运动模型用三个CPMV编码。如图5中所示，一个6参数仿射块的三个控制点位于块的左上角、右上角和左下角。左上控制点处的运动与平移运动相关，并且右上控制点处的运动与水平方向上的旋转和缩放运动相关，并且左下控制点处的运动与垂直方向上的旋转和缩放运动相关。与4参数仿射运动模型相比，6参数的水平方向上的旋转运动和缩放运动可与垂直方向上的那些运动不同。假设(V0,V1,V2)为图5中的当前块的左上角的MV、右上角的MV和左下角的MV，每个子块(vx,vy)的运动矢量使用控制点处的三个MV被导出为：
仿射合并模式
在仿射合并模式中，针对当前块的CPMV并非被显式地用信号发送，而是从邻近块导出的。具体来说，在此模式中，空间邻近块的运动信息被用于生成针对当前块的CPMV。仿射合并模式候选列表具有有限大小。例如，在当前VVC设计中，可存在多达五个候选。编码器可基于率失真优化算法来评估和选择最佳候选索引。然后将选择的候选索引用信号发送到解码器侧。仿射合并候选可以以三种方式决定。在第一种方式中，仿射合并候选可从相邻仿射编码块继承。在第二种方式中，仿射合并候选可根据来自邻近块的平移MV构建。在第三种方式中，零MV被用作仿射合并候选。
对于继承方法，可存在多达两个候选。候选是从位于当前块的左下方的邻近块(例如，如图6中所示，扫描顺序是从A0到A1)和从位于当前块的右上方的邻近块(例如，如图6中所示，扫描顺序是从B0到B2)(在可用的情况下)获得的。
对于构建方法，候选是邻近者的平移MV的组合，其可通过两个步骤生成。
步骤1：从可用邻近者获得四个平移MV，包括MV1、MV2、MV3和MV4。
MV1：来自靠近当前块的左上角的三个邻近块之一的MV。如图7所示，扫描顺序是B2、B3和A2。
MV2：来自靠近当前块的右上角的两个邻近块之一的MV。如图7所示，扫描顺序是B1和B0。
MV3：来自靠近当前块的左下角的两个邻近块之一的MV。如图7所示，扫描顺序是A1和A0。
MV4：来自靠近当前块的右下角的邻近块的时间同位块的MV。如图中所示，邻近块为T。
步骤2：基于来自步骤1的四个平移MV来导出该组合。
组合1：MV1、MV2、MV3；
组合2：MV1、MV2、MV4；
组合3：MV1、MV3、MV4；
组合4：MV2、MV3、MV4；
组合5：MV1、MV2；
组合6：MV1、MV3。
当用继承候选和构建候选填充之后合并候选列表未满时，在列表的末尾插入零MV。
对于当前视频标准VVC和AVS，仅使用相邻的邻近块来导出针对当前块的仿射合并候选，如图6和图7中分别针对继承候选和构建候选所示。为了增加合并候选的多样性并进一步探索空间相关性，直接将邻近块的覆盖范围从相邻区域扩展到非相邻区域。
在本公开中，通过不仅使用相邻的邻近块而且使用非相邻邻近块来扩展针对仿射合并模式的候选导出过程。可在三个方面中概述具体方法，包括仿射合并候选修剪、针对仿射继承合并候选的基于非相邻邻近者的导出过程以及针对仿射构建合并候选的基于非相邻邻近者的导出过程。
仿射合并候选修剪
由于典型视频编解码标准中的仿射合并候选列表通常具有有限大小，因此候选修剪是去除冗余候选的必要过程。对于仿射合并继承候选和构建候选两者，需要该修剪过程。如在介绍部分中所解释，当前块的CPMV不被直接用于仿射运动补偿。替代地，CPMV需要在当前块内的每个子块的位置处转换为平移MV。通过遵循如下所示的一般仿射模型来执行转换过程：
其中(a，b)是差量平移参数，(c，d)是水平方向的差量缩放参数和差量旋转参数，(e，f)是垂直方向的差量缩放参数和差量旋转参数，(x，y)是子块的枢轴位置(例如，中心或左上角)相对于当前块的左上角的水平距离和垂直距离(例如，图5中所示的坐标(x，y))，并且(vx,vy)是子块的目标平移MV。
对于6参数仿射模型，称为V0、V1和V2的三个CPMV可用。然后，六个模型参数a、b、c、d、e和f可被计算为：
对于4参数仿射模型，如果左上角CPMV和右上角CPMV(称为V0和V1)可用，则六个参数a、b、c、d、e和f可被计算为：
对于4参数仿射模型，如果左上角CPMV和左下角CPMV(称为V0和V2)可用，则六个参数a、b、c、d、e和f可被计算为：
在以上等式(4)、(5)和(6)中，w和h分别表示当前块的宽度和高度。
当比较CPMV的两个合并候选集合用于冗余校验时，提出检查6个仿射模型参数的相似性。因此，候选修剪过程可按照两个步骤来执行。
在步骤1中，给定CPMV的两个候选集合，导出针对每个候选集合的对应仿射模型参数。更具体地，CPMV的两个候选集合可由两个仿射模型参数集合(例如(a1,b1,c1,d1,e1,f1)和(a2,b2,c2,d2,e2,f2))来表示。
在步骤2中，基于一个或多个预定义阈值，在两个仿射模型参数集合之间执行相似性检查。在一个实施例中，当(a1-a2)、(b1-b2)、(c1-c2)、(d1-d2)、(e1-e2)和(f1-f2)的绝对值都低于正阈值(例如值1)时，两个候选被认为是相似的，并且它们中的一个可以被修剪/去除并且不放入合并候选列表中。
在一些实施例中，可去除步骤1中的除法或右移操作以简化CPMV修剪过程中的计算。
具体地，可在不除以当前块的宽度w和高度h的情况下计算模型参数c、d、e和f。例如，以上面的等式(4)为例，可如下面的等式(7)计算近似模型参数c′、d′、e′和f′。
在仅两个CPMV可用的情况下，模型参数的一部分从模型参数的另一部分导出，其取决于当前块的宽度或高度。在这种情况下，可转换模型参数以考虑宽度和高度的影响。例如，在等式(5)的情况下，可基于下面的等式(8)来计算近似模型参数c′、d′、e′和f′。在等式(6)的情况下，可基于下面的等式(9)来计算近似模型参数c′、d′、e′和f′。
当在上述步骤1中计算近似模型参数c′、d′、e′和f′时，可相应地改变上述步骤2中相似性检查所需的绝对值的计算：(a1-a2)、(b1-b2)、(c′1-c′2)、(d′1-d′2)、(e′1-e′2)和(f′1-f′2)。
在上述步骤2中，需要阈值来评估CPMV的两个候选集合之间的相似性。可有多种方式来定义阈值。在一个实施例中，可针对每个可比较参数来定义阈值。表1是该实施例中的一个示例，其示出了针对每个可比较模型参数定义的阈值。在另一实施例中，可通过考虑当前编码块的尺寸来定义阈值。表2是该实施例中的一个示例，其示出了由当前编码块的尺寸定义的阈值。
表1
可比较参数 阈值
a 1
b 1
c 2
d 2
e 2
f 2
表2
在另一实施例中，可通过考虑当前块的宽度或高度来定义阈值。表3和表4是该实施方式中的示例。表3示出了由当前编码块的宽度定义的阈值，表4示出了由当前编码块的高度定义的阈值。
表3
表4
当前块的高度 阈值
高度<＝8个像素 1
8个像素<高度<＝32个像素 2
32个像素<高度<＝64个像素 4
64个像素<高度 8
在另一个实施例中，阈值可被定义为一组固定值。在另一个实施例中，阈值可由上述实施例的任何组合来定义。在一个示例中，可通过考虑不同参数以及当前块的宽度和高度来定义阈值。表5是该实施例中的一个示例，其示出了由当前编码块的高度定义的阈值。注意，在任何上述提出的实施例中，如果需要，可比较参数可表示在从等式(4)到等式(9)的任何等式中定义的任何参数。
表5
将转换的仿射模型参数用于候选冗余校验的益处包括：它为具有不同仿射模型类型的候选创建了统一的相似性检查过程，例如，一个合并候选可使用具有三个CPMV的6参数仿射模型，而另一个候选可使用具有两个CPMV的4参数仿射模型；它在导出每个子块处的目标MV时考虑合并候选中的每个CPMV的不同影响；并且它提供了与当前块的宽度和高度相关的两个仿射合并候选的相似性意义。
针对仿射继承合并候选的基于非相邻邻近者的导出过程
对于继承合并候选，基于非相邻邻近者的导出过程可按照三个步骤来执行。步骤1用于候选扫描。步骤2用于CPMV投影。步骤3用于候选修剪。
在步骤1中，通过以下方法扫描和选择非相邻邻近块。
扫描区域和扫描距离
在一些示例中，可从当前编码块的左侧区域和上方区域来扫描非相邻邻近块。扫描距离可被定义为从扫描位置到当前编码块的左侧或顶部的编码块的数量。
如图8中所示，在当前编码块的左侧或上方，可扫描多条非相邻邻近块线。图8中所示的距离表示从每个候选位置到当前块的左侧或顶部的编码块的数量。例如，在当前块左侧具有“距离2”的区域指示位于该区域中的候选邻近块与当前块相距2个块。类似的指示可应用于具有不同距离的其他扫描区域。
在一个或多个实施例中，每个距离处的非相邻邻近块可具有与当前编码块相同的块尺寸，如图13A所示。如图13A所示，左侧的非相邻邻近块1301和上侧的非相邻邻近块1302具有与当前块1303相同的尺寸。在一些实施例中，每个距离处的非相邻邻近块可具有与当前编码块不同的块尺寸，如图13B中所示。邻近块1304是与当前块1303相邻的邻近块。如图13B所示，左侧的非相邻邻近块1305和上侧的非相邻邻近块1306具有与当前块1307相同的尺寸。邻近块1308是与当前块1307相邻的邻近块。
注意，当每个距离处的非相邻邻近块具有与当前编码块相同的块尺寸时，块尺寸的值根据图像中的每个不同区域处的划分粒度自适应地改变。注意，当每个距离处的非相邻邻近块具有与当前编码块不同的块尺寸时，块尺寸的值可被预定义为恒定值，诸如4×4、8×8或16×16。图10和图12中所示的4×4非相邻运动场是这种情况下的示例，其中运动场可被认为是但不限于子块的特殊情况。
类似地，图11中所示的非相邻编码块也可具有不同的尺寸。在一个示例中，非相邻编码块可具有与当前编码块相同的尺寸，其被自适应地改变。在另一示例中，非相邻编码块可具有预定义尺寸，所述预定义尺寸具有固定值，例如4×4、8×8或16×16。
基于定义的扫描距离，可通过可配置的距离值来确定当前编码块左侧或上方的扫描区域的总尺寸。在一个或多个实施例中，左侧和上侧的最大扫描距离可使用相同值或不同值。图13示出了左侧和上侧的最大距离共享相同值2的示例。最大扫描距离值可由编码器侧确定并在比特流中用信号发送。可替代地，最大扫描距离值可被预定义为固定值，诸如值2或4。当最大扫描距离被预定义为值4时，其指示当候选列表已满或最大距离为4的所有非相邻邻近块已被扫描时终止扫描过程，以先到者为准。
在一个或多个实施例中，在特定距离处的每个扫描区域内，起始邻近块和结束邻近块可以是位置相关的。
在一些实施例中，对于左侧扫描区域，起始邻近块可以是具有较小距离的相邻扫描区域的起始邻近块的相邻的左下方块。例如，如图8所示，当前块左侧的“距离2”扫描区域的起始邻近块是“距离1”扫描区域的起始邻近块的相邻的左下方邻近块。结束邻近块可以是具有较小距离的上方扫描区域的结束邻近块的相邻的左侧块。例如，如图8所示，当前块左侧的“距离2”扫描区域的结束邻近块是当前块上方的“距离1”扫描区域的结束邻近块的相邻的左侧邻近块。
类似地，对于上侧扫描区域，起始邻近块可以是具有较小距离的相邻扫描区域的起始邻近块的相邻的右上方块。结束邻近块可以是具有较小距离的相邻扫描区域的结束邻近块的相邻的左上方块。
扫描顺序
当在非相邻区域中扫描邻近块时，可遵循某些顺序或/和规则来确定对被扫描的邻近块的选择。
在一些实施例中，可首先扫描左侧区域，然后扫描上方区域。如图8所示，可首先扫描左侧的三条非相邻区域(例如，从距离1到距离3)的线，然后扫描当前块上方的三条非相邻区域的线。
在一些实施例中，可交替地扫描左侧区域和上方区域。例如，如图8所示，首先扫描具有“距离1”的左侧扫描区域，然后扫描具有“距离1”的上方区域。
对于位于同一侧的扫描区域(例如，左侧区域或上方区域)，扫描顺序是从具有小距离的区域到具有大距离的区域。该顺序可与扫描顺序的其他实施例灵活地组合。例如，可交替地扫描左侧区域和上方区域，并且针对相同侧区域的顺序被调度为从小距离到大距离。
在特定距离处的每个扫描区域内，可定义扫描顺序。在一个实施例中，对于左侧扫描区域，可从底部邻近块到顶部邻近块开始扫描。对于上方扫描区域，可从右侧块到左侧块开始扫描。
扫描终止
对于继承合并候选，用仿射模式编码的邻近块被定义为合格候选。在一些实施例中，扫描过程可被交互地执行。例如，在识别出前X个合格候选的情况下，可停止在特定距离处的特定区域中执行的扫描，其中X是预定义的正值。例如，如图8中所示，当识别出前一个或多个合格候选时，可停止具有距离1的左侧扫描区域中的扫描。然后，通过瞄准另一扫描区域来开始扫描过程的下一次迭代，该另一扫描区域由预定义的扫描顺序/规则来规定。
在一些实施例中，扫描过程可被连续地执行。例如，在扫描了所有覆盖的邻近块且不再识别到合格候选或达到候选的最大可允许数量的情况下，可停止在特定距离处的特定区域中执行的扫描。
在候选扫描过程期间，通过遵循上面提出的扫描方法来确定和扫描每个候选非相邻邻近块。为了更容易实施，每个候选非相邻邻近块可由特定扫描位置指示或定位。一旦通过遵循上面提出的方法决定了特定的扫描区域和扫描距离，就可基于以下方法相应地确定扫描位置。
在一种方法中，左下方位置和右上方位置分别被用于上方非相邻邻近块和左侧非相邻邻近块，如图15A中所示。
在另一方法中，右下方位置被用于上方非相邻邻近块和左侧非相邻邻近块两者，如图15B中所示。
在另一方法中，左下方位置被用于上方非相邻邻近块和左侧非相邻邻近块两者，如图15C中所示。
在另一方法中，右上方位置被用于上方非相邻邻近块和左侧非相邻邻近块两者，如图15D中所示。
为了更容易说明，在图15A-图15D中，假设每个非相邻邻近块具有与当前块相同的块尺寸。在不失一般性的情况下，此说明可容易地扩展到具有不同块尺寸的非相邻邻近块。
此外，在步骤2中，可利用与当前AVS和VVC标准中使用的相同的CPMV投影过程。在此CPMV投影过程中，假设当前块与选择的邻近块共享同一仿射模型，则将两个或三个角像素坐标代入到等式(1)或(2)中(例如，如果当前块使用4参数模型，则使用两个坐标(左上像素/样点位置和右上像素/样点位置)；如果当前块使用6参数模型，则使用三个坐标(左上像素/样点位置、右上像素/样点位置和左下像素/样点位置))，这取决于邻近块是用4参数仿射模型还是6参数仿射模型编码，以生成两个或三个CPMV。
在步骤3中，在步骤1中识别且在步骤2中转换的任何合格候选可针对已在合并候选列表中的所有现有候选进行相似性检查。相似性检查的细节已经在上面的仿射合并候选修剪部分中描述。如果发现新的合格候选与候选列表中的任何现有候选类似，则去除/修剪该新的合格候选。
针对仿射构建合并候选的基于非相邻邻近者的导出过程
在导出继承合并候选的情况下，一次识别一个邻近块，其中此单个邻近块需要在仿射模式下被编码且可包含两个或三个CPMV。在导出构建合并候选的情况下，可一次识别两个或三个邻近块，其中每个识别的邻近块不需要在仿射模式下被编码，并且仅从该块中检索一个平移MV。
图9呈现了可通过使用非相邻邻近块来导出构建仿射合并候选的示例。在图9中，A、B和C是三个非相邻邻近块的区域位置。通过使用A的位置作为左上角、B的位置作为右上角以及C的位置作为左下角来形成虚拟编码块。如果将虚拟CU视为仿射编码块，则可通过遵循等式(3)来导出A'、B'和C'的位置处的MV，其中模型参数(a,b,c,d,e,f)可通过A、B和C的位置处的平移MV计算出。一旦被导出，A'、B'和C'的位置处的MV就可用作针对当前块的三个CPMV，并且可使用生成构建仿射合并候选的现有过程(在AVS和VVC标准中使用的过程)。
对于构建合并候选，基于非相邻邻近者的导出过程可按照五个步骤来执行。可在例如编码器或解码器的设备中按照五个步骤来执行基于非相邻邻近者的导出过程。步骤1用于候选扫描。步骤2用于仿射模型确定。步骤3用于CPMV投影。步骤4用于候选生成。并且步骤5用于候选修剪。在步骤1中，可通过以下方法来扫描和选择非相邻邻近块。
扫描区域和扫描距离
在一些实施例中，为了维持矩形编码块，仅针对两个非相邻邻近块执行扫描过程。第三非相邻邻近块可取决于第一非相邻邻近块和第二非相邻邻近块的水平位置和垂直位置。
在一些实施例中，如图9所示，仅对B和C的位置执行扫描过程。A的位置可被C的水平位置和B的垂直位置唯一地确定。在这种情况下，可根据特定扫描方向来定义扫描区域和扫描距离。
在一些实施例中，扫描方向可垂直于当前块的一侧。图10中示出了一个示例，其中扫描区域被定义为当前块左侧或上方的一条连续运动场的线。扫描距离被定义为从扫描位置到当前块一侧的运动场的数量。注意，运动场的尺寸可取决于适用的视频编解码标准的最大粒度。在图10所示的示例中，运动场的尺寸被假设为与当前VVC标准对齐并且被设置为4×4。
在一些实施例中，扫描方向可平行于当前块的一侧。图11中示出了一个示例，其中扫描区域被定义为当前块左侧或上方的一条连续编码块的线。
在一些实施例中，扫描方向可以是垂直扫描和平行扫描到当前块的一侧的组合。图12中示出了一个示例。如图12所示，扫描方向也可以是平行和对角线的组合。在位置B处的扫描从左到右开始，然后在对角线方向上到左上方块。位置B处的扫描将如图12所示重复。类似地，在位置C处的扫描从上到下开始，然后在对角线方向上到左上方块。位置C处的扫描将如图12所示重复。
扫描顺序
在一些实施例中，扫描顺序可被定义为从与当前编码块具有较小距离的位置到与当前编码块具有较大距离的位置。该顺序可被应用于垂直扫描的情况。
在一些实施例中，扫描顺序可被定义为固定图案。此固定图案扫描顺序可被用于具有相似距离的候选位置。一个示例是平行扫描的情况。在一个示例中，扫描顺序可被定义为针对左侧扫描区域的自顶向下方向，并且可被定义为针对上方扫描区域的从左到右方向，如图11中所示的示例。
对于组合的扫描方法的情况，扫描顺序可以是固定图案和距离相关的组合，如图12所示的示例。
扫描终止
对于构建合并候选，合格候选不需要被仿射编码，这是因为仅需要平移MV。
根据需要的候选数量，可在识别出前X个合格候选时终止扫描过程，其中X为正值。
如图9所示，为了形成虚拟编码块，需要命名为A、B和C的三个角。为了更容易实现，可仅执行步骤1中的扫描过程来识别位于角B和角C处的非相邻邻近块，而可通过取C的水平坐标和B的垂直坐标来精确地确定A的坐标。这样，所形成的虚拟编码块被限制为矩形。在B点或C点不可用(例如，在边界外)或与B或C对应的非相邻邻近块处的运动信息不可用的情况下，C的水平坐标或垂直坐标可分别被定义为当前块的左上点的水平坐标或垂直坐标。
在另一实施例中，当首先从步骤1中的扫描过程确定角B和/或角C时，可相应地识别位于角B和/或角C处的非相邻邻近块。其次，角B和/或角C的位置可被重置为对应的非相邻邻近块内的枢转点，诸如每个非相邻邻近块的质心。例如，质心可被定义为每个邻近块的几何中心。
出于统一目的，所提出的用于导出继承合并候选的定义扫描区域和扫描距离、扫描顺序和扫描终止的方法可完全或部分地再被用于导出构建合并候选。在一个或多个实施例中，针对继承合并候选扫描定义的相同方法(其包括但不限于扫描区域和扫描距离、扫描顺序和扫描终止)可完全再被用于构建合并候选扫描。
在一些实施例中，针对继承合并候选扫描定义的相同方法可部分地再被用于构建合并候选扫描。图16示出了这种情况下的示例。在图16中，每个非相邻邻近块的块尺寸与当前块相同，其被类似地定义为继承候选扫描，但整个过程是简化版本，因为每个距离处的扫描限于仅一个块。
图17A-图17B表示这种情况下的另一示例。在图17A-图17B中，非相邻继承合并候选和非相邻构建合并候选都被定义为具有与当前编码块相同的块尺寸，而扫描顺序、扫描区域和扫描终止条件可被不同地定义。
在图17A中，针对左侧非相邻邻近者的最大距离是4个编码块，而针对上侧非相邻邻近者的最大距离是5个编码块。此外，在每个距离处，扫描方向对于左侧是自下而上的，并且对于上侧是从右到左的。在图17B中，非相邻邻近者的最大距离对于左侧和上侧都是4。另外，在特定距离处的扫描是不可用的，因为在每个距离处仅存在一个块。在图17A中，如果识别出M个合格候选，则可终止每个距离内的扫描操作。M的值可以是预定义的固定值，例如值1或任何其他正整数，或由编码器决定的用信号发送的值，或编码器或解码器处的可配置值。在一个示例中，M的值可与合并候选列表大小相同。
在图17A-图17B中，如果识别出N个合格候选，则可终止不同距离处的扫描操作。N的值可以是预定义的固定值，例如值1或任何其他正整数，或由编码器决定的用信号发送的值，或编码器或解码器处的可配置值。在一个示例中，N的值可与合并候选列表大小相同。在另一示例中，N的值可与M的值相同。
在图17A-图17B中，可对与当前块具有更近距离的非相邻空间邻近者进行优先级排序，这指示在具有距离i+1的邻近者之前扫描或检查具有距离i的非相邻空间邻近者，其中i可以是表示特定距离的非负整数。
在特定距离处，使用多达两个非相邻空间邻近者，这意味着选择来自当前块的一侧(例如，左侧和上方)的至多一个邻近者(如果其可用)用于继承候选导出或构建候选导出。如图17A所示，左侧邻近者和上侧邻近者的检查顺序分别是自下而上和自右向左。对于图17B，也可应用该规则，其中差异可以是在任何特定距离处，对于当前块的每一侧仅存在一个选项。
对于构建候选，如图17B所示，首先独立地确定一个左侧非相邻空间邻近者和一个上方非相邻空间邻近者的位置。之后，可相应地确定左上方邻近者的位置，其可将矩形虚拟块与左侧非相邻邻近者和上方非相邻邻近者一起包围。然后，如图9中所示，三个非相邻邻近者的运动信息被用于形成虚拟块的左上(A)、右上(B)和左下(C)处的CPMV，其最终被投影到当前CU以生成对应的构建候选。
在步骤2中，评估在步骤1之后所选择的候选的位置处的平移MV，并且可确定适当的仿射模型。为了更容易说明并且不失一般性，再次使用图9作为示例。
由于诸如硬件约束、实现复杂度和不同参考索引之类的因素，可在识别出足够数量的候选之前终止扫描过程。例如，在步骤1之后的一个或多个所选候选处的运动场的运动信息可能不可用。
如果全部三个候选的运动信息可用，则对应的虚拟编码块表示6参数仿射模型。如果三个候选中的一个候选的运动信息不可用，则对应的虚拟编码块表示4参数仿射模型。如果三个候选中的多于一个候选的运动信息不可用，则对应的虚拟编码块可能无法表示有效仿射模型。
在一些实施例中，如果虚拟编码块的左上角(例如，图9中的角A)处的运动信息不可用，或右上角(例如，图9中的角B)和左下角(例如，图9中的角C)两者处的运动信息不可用，则可将虚拟块设置为无效且不能表示有效模型，然后可针对当前迭代跳过步骤3和步骤4。
在一些实施例中，如果右上角(例如，图9中的角B)或左下角(例如，图9中的角C)不可用，而非两者都不可用，则虚拟块可表示有效的4参数仿射模型。
在步骤3中，如果虚拟编码块能够表示有效的仿射模型，则可使用用于继承合并候选的相同投影过程。
在一个或多个实施例中，可使用用于继承合并候选的相同投影过程。在这种情况下，由来自步骤2的虚拟编码块表示的4参数模型被投影到针对当前块的4参数模型，并且由来自步骤2的虚拟编码块表示的6参数模型被投影到针对当前块的6参数模型。
在一些实施例中，由来自步骤2的虚拟编码块表示的仿射模型始终投影到针对当前块的4参数模型或6参数模型。
注意，根据等式(5)和(6)，可存在两种类型的4参数仿射模型，其中类型A是左上角CPMV和右上角CPMV(称为V0和V1)可用，并且类型B是左上角CPMV和左下角CPMV(称为V0和V2)可用。
在一个或多个实施例中，投影的4参数仿射模型的类型与由虚拟编码块表示的4参数仿射模型的类型相同。例如，由来自步骤2的虚拟编码块表示的仿射模型是类型A或类型B的4参数仿射模型，则针对当前块的投影仿射模型也分别是类型A或类型B。
在一些实施例中，由来自步骤2的虚拟编码块表示的4参数仿射模型始终投影到针对当前块的相同类型的4参数模型。例如，由虚拟编码块表示的4参数仿射模型的类型A或类型B始终投影到类型A的4参数仿射模型。
在步骤4中，基于步骤3之后的投影CPMV，在一个示例中，可使用在当前VVC或AVS标准中使用的相同候选生成过程。在另一实施例中，用于当前VVC或AVS标准的候选生成过程中的时间运动矢量可不被用于基于非相邻邻近块的导出方法。当不使用时间运动矢量时，其指示所生成的组合不包含任何时间运动矢量。
在步骤5中，可对在步骤4之后的任何新生成的候选执行相对于已经在合并候选列表中的所有现有候选的相似性检查。相似性检查的细节已经在仿射合并候选修剪的部分中描述。如果发现新生成的候选与候选列表中的任何现有候选类似，则去除或修剪此新生成的候选。
仿射合并候选列表的重排序
在一个实施例中，可通过遵循以下顺序将非相邻空间合并候选插入到仿射合并候选列表中：1.基于子块的时间运动矢量预测(SbTMVP)候选(在可用的情况下)；2.从相邻邻近者继承；3.从非相邻邻近者继承；4.从相邻邻近者构建；5.从非相邻邻近者构建；6.零MV。
在另一实施例中，可以通过遵循以下顺序将非相邻空间合并候选插入到仿射合并候选列表中：1.SbTMVP候选(在可用的情况下)；2.从相邻邻近者继承；3.从相邻邻近者构建；4.从非相邻邻近者继承；5.从非相邻邻近者构建；6.零MV。
在另一实施例中，可通过遵循以下顺序将非相邻空间合并候选插入到仿射合并候选列表中：1.SbTMVP候选(在可用的情况下)；2.从相邻邻近者继承；3.从相邻邻近者构建；4.一组零MV；5.从非相邻邻近者继承；6.从非相邻邻近者构建；7.如果列表仍然未满，则其余是零MV。
在另一实施例中，可通过遵循以下顺序将非相邻空间合并候选插入到仿射合并候选列表中：1.SbTMVP候选(在可用的情况下)；2.从相邻邻近者继承；3.从具有小于X的距离的非相邻邻近者继承；4.从相邻邻近者构建；5.从具有小于Y的距离的非相邻邻近者构建；6.从具有大于X的距离的非相邻邻近者继承；7.从具有大于Y的距离的非相邻邻近者构建；8.零MV。在此实施例中，值X和值Y可以是预定义的固定值，例如值2，或由编码器决定的用信号发送的值，或编码器或解码器处的可配置值。在一个示例中，X的值可与Y的值相同。在另一示例中，N的值可不同于M的值。
图18示出了与用户界面1860耦接的计算环境(或计算设备)1810。计算环境1810可以是数据处理服务器的一部分。在一些实施例中，计算环境1810可执行如上文根据本公开的各种示例所描述的各种方法或过程(诸如编码/解码方法或过程)中的任何一种。计算环境1810包括处理器1820、存储器1840和I/O接口1850。
处理器1820通常控制计算环境1810的整体操作，诸如与显示、数据采集、数据通信和图像处理相关联的操作。处理器1820可包括一个或多个处理器来执行指令以执行上述方法中的全部或一些步骤。此外，处理器1820可包括促使处理器1820与其他组件之间的交互的一个或多个模块。处理器可以是中央处理单元(CPU)、微处理器、单片机、GPU等。
存储器1840被配置为存储各种类型的数据，以支持计算环境1810的操作。存储器1840可包括预定软件1842。这类数据的示例包括用于在计算环境1810上操作的任何应用或方法的指令、视频数据集、图像数据等。存储器1840可通过使用任何类型的易失性或非易失性存储器设备或其组合来实现，诸如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘。
I/O接口1850提供处理器1820与外围接口模块(诸如键盘、点击轮、按钮等)之间的接口。按钮可包括但不限于主页按钮、启动扫描按钮和停止扫描按钮。I/O接口1850可与编码器和解码器耦接。
在一些实施例中，还提供了一种非暂态计算机可读存储介质，其包括多个程序，诸如被包括在存储器1840中，能够由计算环境1810中的处理器1820执行，用于执行上述方法。例如，非暂态计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等。
非暂态计算机可读存储介质中存储有多个程序，多个程序由具有一个或多个处理器的计算设备执行，其中多个程序在由一个或多个处理器执行时使计算设备执行用于运动预测的上述方法。
在一些实施例中，计算环境1810可利用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、控制器、微控制器、微处理器或其他电子组件来实现，以用于执行上述方法。
图19是示出根据本公开的示例的用于视频编解码的方法的流程图。
在步骤1901中，处理器1820可基于至少一个扫描距离从当前块的多个非相邻邻近块获得或确定一个或多个MV候选，其中至少一个扫描距离中的一个扫描距离可指示距离当前块的一侧的块的数量，并且该数量是正整数。
在步骤1902中，处理器1820可基于一个或多个MV候选获得针对当前块的一个或多个CPMV。
在一些示例中，多个非相邻邻近块可包括如图11-图12、图13A-13B、图14A-图14B、图15A-图15D和图16中所示的非相邻编码块。
在一些示例中，处理器1820可根据扫描规则获得一个或多个MV候选。一个或多个MV候选可包括但不限于仿射候选或常规候选。
在一些示例中，可基于至少一个扫描区域、至少一个扫描距离和至少一个扫描方向来确定扫描规则。也就是说，处理器1820可基于包括至少一个扫描区域、至少一个扫描距离和至少一个扫描方向的扫描规则获得一个或多个MV候选。
在一些示例中，位于至少一个扫描距离处的多个非相邻邻近块具有与当前块相同的尺寸(如图13A中所示)或与当前块不同的尺寸(如图13B中所示)。
在一些示例中，至少一个扫描区域可包括第一扫描区域和第二扫描区域，第一扫描区域是根据指示距离当前块的第一侧的块的最大数量的第一最大扫描距离确定的，第二扫描区域是根据指示距离当前块的第二侧的块的最大数量的第二最大扫描距离确定的，并且第一最大扫描距离与第二最大扫描距离相同或不同。在一些示例中，第一最大扫描距离或第二最大扫描距离可被设置为固定值。例如，第一最大扫描距离可以是4，并且第二最大扫描距离可以是5。
例如，第一扫描区域可以是当前块的左侧区域，并且第一最大扫描距离是距离当前块的左侧4个块，如图17A所示。此外，第二扫描区域可以是当前块的上侧区域，并且第二最大扫描距离是距离当前块的上方或上侧5个块。
在一些示例中，至少一个扫描方向可包括第一扫描方向和第二扫描方向，并且处理器1820还可在第一扫描方向上扫描第一扫描区域并且在第二扫描方向上扫描第二扫描区域。
在一些示例中，第一扫描方向可与第一侧平行且从底部到顶部，并且第二扫描方向可与第二侧平行且从右到左，如图17A中所示。
在一些示例中，处理器1820可响应于确定终止条件合格而停止扫描至少一个扫描区域以获得一个或多个运动矢量候选。
在一些示例中，终止条件可包括：确定一个或多个MV候选的数量达到预定值，其中预定值可包括以下值中的至少一个：正整数；由编码器确定的用信号发送的值；编码器或解码器处的可配置值；或包括所述一个或多个MV候选的候选列表的大小值。
在一些示例中，处理器1820可先按第一扫描距离扫描至少一个扫描区域再按第二扫描距离扫描至少一个扫描区域，其中第二扫描距离比第一扫描距离大1个块。也就是说，与当前块具有更近距离的非相邻空间邻近者可被优先考虑。
在一些示例中，处理器1820可按第一扫描距离扫描第一扫描区域以获得第一MV候选，并且按第二扫描距离扫描第二扫描区域以获得第二MV候选，其中第一MV候选和第二MV候选的数量不大于2。
在一些示例中，一个或多个MV候选可包括一个或多个MV继承候选和一个或多个MV构建候选。处理器1820可根据第一扫描规则获得一个或多个MV继承候选，并且根据第二扫描规则获得一个或多个MV构建候选，其中第二扫描规则可与第一扫描规则完全相同或部分相同。
在一些示例中，处理器1820可基于至少一个第二扫描区域和至少一个第二扫描距离来确定第二扫描规则，其中至少一个第二扫描区域可包括左侧扫描区域和上方扫描区域。此外，处理器1820可在与第一侧垂直且从右到左的方向上扫描左侧扫描区域以获得第一扫描距离处的第一运动矢量构建候选，在与第二侧垂直且从下到上的方向上扫描上方扫描区域以获得第二扫描距离处的第二MV构建候选，基于第一MV构建候选的第一候选位置和第二MV构建候选的第二候选位置获得虚拟块，基于第一候选位置和第二候选位置以及虚拟块确定针对第三MV构建候选的第三候选位置，并且通过使用用于继承候选导出的相同投影过程基于虚拟块的三个CPMV获得针对当前块的两个或三个CPMV。
在一些示例中，第一候选位置、第二候选位置和第三候选位置分别是第一MV构建候选、第二MV构建候选和第三MV构建候选内的枢轴点。第一候选位置和第二候选位置可以是如图9所示的位置B和位置C。第三候选位置可以是如图9所示的位置A。
在一些示例中，处理器1820可根据如仿射合并候选列表的重新排序的部分中所描述的预定顺序将一个或多个MV候选插入到候选列表中。
在一些示例中，一个或多个MV候选可包括一个或多个MV继承候选和一个或多个MV构建候选，并且处理器1820可在候选列表中将一个或多个MV继承候选插入到一个或多个MV构建候选之前。
在一些示例中，候选列表可包括一个或多个SbTMVP候选和一个或多个零MV，并且将一个或多个MV候选插入到一个或多个SbTMVP候选之后且零MV之前。
在一些示例中，候选列表还可包括一个或多个相邻MV候选，其包括一个或多个相邻MV继承候选和一个或多个相邻MV构建候选，并且一个或多个相邻MV候选来自与当前块相邻的多个相邻邻近块。
在一些示例中，处理器1820可在候选列表中将一个或多个相邻MV继承候选插入到一个或多个相邻MV构建候选之前，并且在候选列表中将一个或多个相邻运动矢量建构候选插入到一个或多个运动矢量继承候选之前。
在一些示例中，处理器1820可在候选列表中将一个或多个零MV插入到一个或多个相邻运动矢量构建候选与一个或多个运动矢量继承候选之间。
在一些示例中，一个或多个运动矢量候选可包括一个或多个运动矢量继承候选和一个或多个运动矢量构建候选，并且一个或多个运动矢量继承候选可包括具有小于第一阈值的扫描距离的至少一个第一运动矢量继承候选和具有大于第一阈值的扫描距离的至少一个第二运动矢量继承候选，以及一个或多个运动矢量构建候选可包括具有小于第二阈值的扫描距离的至少一个第一运动矢量构建候选和具有大于第二阈值的扫描距离的至少一个第二运动矢量构建候选。此外，处理器1820可在候选列表中将至少一个第一运动矢量继承候选插入到至少一个第二运动矢量继承候选之前，并且在候选列表中将至少一个第一运动矢量构建候选插入到至少一个第二运动矢量构建候选之前。
在一些示例中，处理器1820可在候选列表中将一个或多个相邻运动矢量继承候选插入到至少一个第一运动矢量继承候选之前，在候选列表中将一个或多个相邻运动矢量建构候选插入到至少一个第一运动矢量继承候选之后且至少一个第一运动矢量建构候选之前，并且在候选列表中将至少一个第二运动矢量继承候选插入到至少一个第二运动矢量建构候选之前。
在一些示例中，第一阈值和第二阈值可彼此相同或不同，并且第一阈值和第二阈值分别包括以下值中的至少一个：正整数；由编码器确定的用信号发送的值；或编码器或解码器处的可配置值。
在一些示例中，提供一种用于视频编解码的装置。该装置包括处理器1820和被配置为存储可由处理器执行的指令的存储器1840；其中处理器在执行指令时被配置为执行如图19所示的方法。
在一些其他示例中，提供了一种非暂态计算机可读存储介质，其具有存储在其中的指令。当指令由处理器1820执行时，指令使处理器执行如图19所示的方法。
考虑到本文公开的本公开的说明书和实践，本公开的其他示例对于本领域技术人员而言将是显而易见的。本申请旨在涵盖遵循本公开的一般原理的本公开的任何变化、用途或改编，并且包括在本领域已知或常规实践内的与本公开的这种偏离。说明书和示例旨在仅被认为是示例性的。
应当理解，本公开不限于上面描述的和在附图中示出的确切示例，并且在不脱离其范围的情况下可进行各种修改和改变。

Claims (52)

1.一种视频解码方法，包括：
基于至少一个扫描距离从当前块的多个非相邻邻近块获得一个或多个运动矢量候选，其中所述至少一个扫描距离中的一个扫描距离指示距离所述当前块的一侧的块的数量，并且所述数量是正整数；以及
基于所述一个或多个运动矢量候选获得针对所述当前块的一个或多个控制点运动矢量CPMV。
2.根据权利要求1所述的方法，还包括：
位于所述至少一个扫描距离处的所述多个非相邻邻近块具有与所述当前块相同的尺寸。
3.根据权利要求1所述的方法，还包括：
位于所述至少一个扫描距离处的所述多个非相邻邻近块具有与所述当前块不同的尺寸。
4.根据权利要求1所述的方法，还包括：
基于扫描规则获得所述一个或多个运动矢量候选，其中，所述扫描规则包括至少一个扫描区域、所述至少一个扫描距离和至少一个扫描方向；
其中所述至少一个扫描区域包括第一扫描区域和第二扫描区域，所述第一扫描区域是根据指示距离所述当前块的第一侧的块的最大数量的第一最大扫描距离确定的，所述第二扫描区域是根据指示距离所述当前块的第二侧的块的最大数量的第二最大扫描距离确定的，并且所述第一最大扫描距离与所述第二最大扫描距离相同或不同。
5.根据权利要求4所述的方法，还包括：
将所述第一最大扫描距离或所述第二最大扫描距离预先确定为固定值。
6.根据权利要求5所述的方法，其中所述第一最大扫描距离为4，并且所述第二最大扫描距离为5。
7.根据权利要求4所述的方法，其中所述至少一个扫描方向包括第一扫描方向和第二扫描方向，
其中所述方法还包括：
在所述第一扫描方向上扫描所述第一扫描区域；以及
在所述第二扫描方向上扫描所述第二扫描区域。
8.根据权利要求7所述的方法，其中所述第一扫描方向与所述第一侧平行并且从底部到顶部，并且所述第二扫描方向与所述第二侧平行并且从右到左。
9.根据权利要求4所述的方法，还包括：
响应于确定终止条件合格，停止扫描所述至少一个扫描区域以获得所述一个或多个运动矢量候选。
10.根据权利要求9所述的方法，其中所述终止条件包括：
确定所述一个或多个运动矢量候选的数量达到预定值，其中所述预定值包括以下值中的至少一个：
正整数；
由编码器确定的用信号发送的值；
编码器或解码器处的可配置值；或
包括所述一个或多个运动矢量候选的候选列表的大小值。
11.根据权利要求4所述的方法，还包括：
先按第一扫描距离扫描所述至少一个扫描区域，再按第二扫描距离扫描所述至少一个扫描区域，其中所述第二扫描距离比所述第一扫描距离大1个块。
12.根据权利要求4所述的方法，还包括：
按第一扫描距离扫描所述第一扫描区域以获得第一运动矢量候选；以及
按第二扫描距离扫描所述第二扫描区域以获得第二运动矢量候选，其中所述第一运动矢量候选和所述第二运动矢量候选的数量不大于2。
13.根据权利要求1所述的方法，其中所述一个或多个运动矢量候选包括一个或多个运动矢量继承候选和一个或多个运动矢量构建候选，
所述方法还包括：
根据第一扫描规则获得所述一个或多个运动矢量继承候选；以及
根据第二扫描规则获得所述一个或多个运动矢量构建候选，其中所述第二扫描规则与所述第一扫描规则完全相同或部分相同。
14.根据权利要求13所述的方法，还包括：
基于至少一个第二扫描区域和至少一个第二扫描距离确定所述第二扫描规则，其中所述至少一个第二扫描区域包括左侧扫描区域和上方扫描区域；
在与所述第一侧垂直并且从右到左的方向上扫描所述左侧扫描区域，以获得第一扫描距离处的第一运动矢量构建候选；
在与所述第二侧垂直并且从底部到顶部的方向上扫描所述上方扫描区域，以获得第二扫描距离处的第二运动矢量构建候选；
基于所述第一运动矢量构建候选的第一候选位置和所述第二运动矢量构建候选的第二候选位置获得虚拟块；
基于所述第一候选位置和所述第二候选位置以及所述虚拟块确定针对第三运动矢量构建候选的第三候选位置；
基于所述第一候选位置、所述第二候选位置和所述第三候选位置处的平移MV获得所述虚拟块的三个CPMV；以及
通过使用用于继承候选导出的相同投影过程基于所述虚拟块的所述三个CPMV获得针对所述当前块的两个或三个CPMV。
15.根据权利要求14所述的方法，其中所述第一候选位置、所述第二候选位置和所述第三候选位置分别是所述第一运动矢量构建候选、所述第二运动矢量构建候选和所述第三运动矢量构建候选内的枢轴点。
16.根据权利要求1所述的方法，还包括：
根据预定顺序将所述一个或多个运动矢量候选插入到候选列表中。
17.根据权利要求16所述的方法，其中所述一个或多个运动矢量候选包括一个或多个运动矢量继承候选和一个或多个运动矢量构建候选，并且
其中所述方法还包括：
在所述候选列表中将所述一个或多个运动矢量继承候选插入到所述一个或多个运动矢量构建候选之前。
18.根据权利要求17所述的方法，其中所述候选列表包括一个或多个基于子块的时间运动矢量预测SbTMVP候选和一个或多个零运动矢量MV，并且其中所述一个或多个运动矢量候选被插入到所述一个或多个SbTMVP候选之后且所述零MV之前。
19.根据权利要求18所述的方法，其中所述候选列表还包括一个或多个相邻运动矢量候选，所述一个或多个相邻运动矢量候选包括一个或多个相邻运动矢量继承候选和一个或多个相邻运动矢量构建候选，并且所述一个或多个相邻运动矢量候选来自与所述当前块相邻的多个相邻邻近块。
20.根据权利要求19所述的方法，还包括：
在所述候选列表中将所述一个或多个相邻运动矢量继承候选插入到所述一个或多个相邻运动矢量构建候选之前；以及
在所述候选列表中将所述一个或多个相邻运动矢量构建候选插入到所述一个或多个运动矢量继承候选之前。
21.根据权利要求19所述的方法，还包括：
在所述候选列表中将一个或多个零MV插入到所述一个或多个相邻运动矢量构建候选与所述一个或多个运动矢量继承候选之间。
22.根据权利要求19所述的方法，其中所述一个或多个运动矢量候选包括一个或多个运动矢量继承候选和一个或多个运动矢量构建候选，
其中所述一个或多个运动矢量继承候选包括具有小于第一阈值的扫描距离的至少一个第一运动矢量继承候选和具有大于所述第一阈值的扫描距离的至少一个第二运动矢量继承候选，
其中所述一个或多个运动矢量构建候选包括具有小于第二阈值的扫描距离的至少一个第一运动矢量构建候选和具有大于所述第二阈值的扫描距离的至少一个第二运动矢量构建候选，
其中所述方法还包括：
在所述候选列表中将所述至少一个第一运动矢量继承候选插入到所述至少一个第二运动矢量继承候选之前；以及
在所述候选列表中将所述至少一个第一运动矢量构建候选插入到所述至少一个第二运动矢量构建候选之前。
23.根据权利要求22所述的方法，还包括：
在所述候选列表中将所述一个或多个相邻运动矢量继承候选插入到所述至少一个第一运动矢量继承候选之前；
在所述候选列表中将所述一个或多个相邻运动矢量构建候选插入到所述至少一个第一运动矢量继承候选之后且所述至少一个第一运动矢量构建候选之前；以及
在所述候选列表中将所述至少一个第二运动矢量继承候选插入到所述至少一个第二运动矢量构建候选之前。
24.根据权利要求23所述的方法，其中所述第一阈值和所述第二阈值彼此相同或不同，并且
其中所述第一阈值和所述第二阈值分别包括以下值中的至少一个：
正整数；
由编码器确定的用信号发送的值；或
在编码器处或在解码器处的可配置值。
25.一种视频编码方法，包括：
基于至少一个扫描距离从当前块的多个非相邻邻近块确定一个或多个运动矢量候选，其中所述至少一个扫描距离中的一个扫描距离指示距离所述当前块的一侧的块的数量，并且所述数量是正整数；以及
基于所述一个或多个运动矢量候选获得针对所述当前块的一个或多个控制点运动矢量CPMV。
26.根据权利要求25所述的方法，还包括：
位于所述至少一个扫描距离处的所述多个非相邻邻近块具有与所述当前块相同的尺寸。
27.根据权利要求25所述的方法，还包括：
位于所述至少一个扫描距离处的所述多个非相邻邻近块具有与所述当前块不同的尺寸。
28.根据权利要求25所述的方法，还包括：
基于扫描规则确定所述一个或多个运动矢量候选，其中，所述扫描规则包括至少一个扫描区域、所述至少一个扫描距离和至少一个扫描方向；
其中所述至少一个扫描区域包括第一扫描区域和第二扫描区域，所述第一扫描区域是根据指示距离所述当前块的第一侧的块的最大数量的第一最大扫描距离确定的，所述第二扫描区域是根据指示距离所述当前块的第二侧的块的最大数量的第二最大扫描距离确定的，并且所述第一最大扫描距离与所述第二最大扫描距离相同或不同。
29.根据权利要求28所述的方法，还包括：
将所述第一最大扫描距离或所述第二最大扫描距离预先确定为固定值。
30.根据权利要求29所述的方法，其中所述第一最大扫描距离为4，并且所述第二最大扫描距离为5。
31.根据权利要求28所述的方法，其中所述至少一个扫描方向包括第一扫描方向和第二扫描方向，
其中所述方法还包括：
在所述第一扫描方向上扫描所述第一扫描区域；以及
在所述第二扫描方向上扫描所述第二扫描区域。
32.根据权利要求31所述的方法，其中所述第一扫描方向与所述第一侧平行并且从底部到顶部，并且所述第二扫描方向与所述第二侧平行并且从右到左。
33.根据权利要求28所述的方法，还包括：
响应于确定终止条件合格，停止扫描所述至少一个扫描区域以获得所述一个或多个运动矢量候选。
34.根据权利要求33所述的方法，其中所述终止条件包括：
确定所述一个或多个运动矢量候选的数量达到预定值，其中所述预定值包括以下值中的至少一个：
正整数；
由编码器确定的用信号发送的值；
编码器或解码器处的可配置值；或
包括所述一个或多个运动矢量候选的候选列表的大小值。
35.根据权利要求28所述的方法，还包括：
先按第一扫描距离扫描所述至少一个扫描区域，再按第二扫描距离扫描所述至少一个扫描区域，其中所述第二扫描距离比所述第一扫描距离大1个块。
36.根据权利要求28所述的方法，还包括：
按第一扫描距离扫描所述第一扫描区域以获得第一运动矢量候选；以及
按第二扫描距离扫描所述第二扫描区域以获得第二运动矢量候选，其中所述第一运动矢量候选和所述第二运动矢量候选的数量不大于2。
37.根据权利要求25所述的方法，其中所述一个或多个运动矢量候选包括一个或多个运动矢量继承候选和一个或多个运动矢量构建候选，
所述方法还包括：
根据第一扫描规则确定所述一个或多个运动矢量继承候选；以及
根据第二扫描规则获得所述一个或多个运动矢量构建候选，其中所述第二扫描规则与所述第一扫描规则完全相同或部分相同。
38.根据权利要求37所述的方法，还包括：
基于至少一个第二扫描区域和至少一个第二扫描距离确定所述第二扫描规则，其中所述至少一个第二扫描区域包括左侧扫描区域和上方扫描区域；
在与所述第一侧垂直并且从右到左扫的方向上描所述左侧扫描区域，以获得第一扫描距离处的第一运动矢量构建候选；
在与所述第二侧垂直并且从底部到顶部的方向上扫描所述上方扫描区域，以获得第二扫描距离处的第二运动矢量构建候选；
基于所述第一运动矢量构建候选的第一候选位置和所述第二运动矢量构建候选的第二候选位置确定虚拟块；
基于所述第一候选位置和所述第二候选位置以及所述虚拟块确定针对第三运动矢量构建候选的第三候选位置；
基于所述第一候选位置、所述第二候选位置和所述第三候选位置处的平移MV确定所述虚拟块的三个CPMV；以及
通过使用用于继承候选导出的相同投影过程基于所述虚拟块的所述三个CPMV确定针对所述当前块的两个或三个CPMV。
39.根据权利要求38所述的方法，其中所述第一候选位置、所述第二候选位置和所述第三候选位置分别是所述第一运动矢量构建候选、所述第二运动矢量构建候选和所述第三运动矢量构建候选内的枢轴点。
40.根据权利要求25所述的方法，还包括：
根据预定顺序将所述一个或多个运动矢量候选插入到候选列表中。
41.根据权利要求40所述的方法，其中所述一个或多个运动矢量候选包括一个或多个运动矢量继承候选和一个或多个运动矢量构建候选，并且
其中所述方法还包括：
在所述候选列表中将所述一个或多个运动矢量继承候选插入到所述一个或多个运动矢量构建候选之前。
42.根据权利要求41所述的方法，其中所述候选列表包括一个或多个基于子块的时间运动矢量预测SbTMVP候选和一个或多个零运动矢量MV，并且其中所述一个或多个运动矢量候选被插入到所述一个或多个SbTMVP候选之后且所述零MV之前。
43.根据权利要求42所述的方法，其中所述候选列表还包括一个或多个相邻运动矢量候选，所述一个或多个相邻运动矢量候选包括一个或多个相邻运动矢量继承候选和一个或多个相邻运动矢量构建候选，并且所述一个或多个相邻运动矢量候选来自与所述当前块相邻的多个相邻邻近块。
44.根据权利要求43所述的方法，还包括：
在所述候选列表中将所述一个或多个相邻运动矢量继承候选插入到所述一个或多个相邻运动矢量构建候选之前；以及
在所述候选列表中将所述一个或多个相邻运动矢量构建候选插入到所述一个或多个运动矢量继承候选之前。
45.根据权利要求43所述的方法，还包括：
在所述候选列表中将一个或多个零MV插入到所述一个或多个相邻运动矢量构建候选与所述一个或多个运动矢量继承候选之间。
46.根据权利要求43所述的方法，其中所述一个或多个运动矢量候选包括一个或多个运动矢量继承候选和一个或多个运动矢量构建候选，
其中所述一个或多个运动矢量继承候选包括具有小于第一阈值的扫描距离的至少一个第一运动矢量继承候选和具有大于所述第一阈值的扫描距离的至少一个第二运动矢量继承候选，
其中所述一个或多个运动矢量构建候选包括具有小于第二阈值的扫描距离的至少一个第一运动矢量构建候选和具有大于所述第二阈值的扫描距离的至少一个第二运动矢量构建候选，
其中所述方法还包括：
在所述候选列表中将所述至少一个第一运动矢量继承候选插入到所述至少一个第二运动矢量继承候选之前；以及
在所述候选列表中将所述至少一个第一运动矢量构建候选插入到所述至少一个第二运动矢量构建候选之前。
47.根据权利要求46所述的方法，还包括：
在所述候选列表中将所述一个或多个相邻运动矢量继承候选插入到所述至少一个第一运动矢量继承候选之前；
在所述候选列表中将所述一个或多个相邻运动矢量构建候选插入到所述至少一个第一运动矢量继承候选之后且所述至少一个第一运动矢量构建候选之前；以及
在所述候选列表中将所述至少一个第二运动矢量继承候选插入到所述至少一个第二运动矢量构建候选之前。
48.根据权利要求47所述的方法，其中所述第一阈值和所述第二阈值彼此相同或不同，并且
其中所述第一阈值和所述第二阈值分别包括以下值中的至少一个：
正整数；
由编码器确定的用信号发送的值；或
在编码器处或在解码器处的可配置值。
49.一种用于视频解码的装置，包括：
一个或多个处理器；以及
存储器，耦接到所述一个或多个处理器并且被配置为存储能够由所述一个或多个处理器执行的指令，
其中所述一个或多个处理器在执行所述指令时被配置为执行根据权利要求1-24中任一项所述的方法。
50.一种用于视频编码的设备，包括：
一个或多个处理器；以及
存储器，耦接到所述一个或多个处理器并且被配置为存储能够由所述一个或多个处理器执行的指令，
其中所述一个或多个处理器在执行所述指令时被配置为执行根据权利要求25-48中任一项所述的方法。
51.一种存储计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令在由一个或多个计算机处理器执行时使所述一个或多个计算机处理器执行根据权利要求1-24中任一项所述的方法。
52.一种存储计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令在由一个或多个计算机处理器执行时使所述一个或多个计算机处理器执行根据权利要求25-48中任一项所述的方法。
CN202280065133.XA 2021-09-29 2022-09-29 视频编解码中针对仿射合并模式的候选导出 Pending CN118020302A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163250184P 2021-09-29 2021-09-29
US63/250,184 2021-09-29
PCT/US2022/045278 WO2023055967A1 (en) 2021-09-29 2022-09-29 Candidate derivation for affine merge mode in video coding

Publications (1)

Publication Number Publication Date
CN118020302A true CN118020302A (zh) 2024-05-10

Family

ID=85783528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280065133.XA Pending CN118020302A (zh) 2021-09-29 2022-09-29 视频编解码中针对仿射合并模式的候选导出

Country Status (7)

Country Link
US (1) US20240267546A1 (zh)
EP (1) EP4409908A1 (zh)
JP (1) JP2024533775A (zh)
KR (1) KR20240090265A (zh)
CN (1) CN118020302A (zh)
MX (1) MX2024003894A (zh)
WO (1) WO2023055967A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004879A1 (ko) * 2018-06-25 2020-01-02 엘지전자 주식회사 영상 코딩 시스템에서 복수의 주변 블록들을 사용하는 인터 예측에 따른 영상 디코딩 방법 및 장치
US10827195B2 (en) * 2018-08-03 2020-11-03 Tencent America LLC Method and apparatus for unifying adjacent merge candidates and non-adjacent merge candidates
US10958932B2 (en) * 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
WO2020098812A1 (en) * 2018-11-16 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Pruning method for history-based affine parameters

Also Published As

Publication number Publication date
WO2023055967A1 (en) 2023-04-06
MX2024003894A (es) 2024-04-22
JP2024533775A (ja) 2024-09-12
KR20240090265A (ko) 2024-06-21
EP4409908A1 (en) 2024-08-07
US20240267546A1 (en) 2024-08-08

Similar Documents

Publication Publication Date Title
KR102407912B1 (ko) 양방향 인트라 예측 시그널링
CN117730535A (zh) 视频编解码中用于仿射运动补偿预测的几何分割
US20240267546A1 (en) Candidate derivation for affine merge mode in video coding
US20240259554A1 (en) Candidate derivation for affine merge mode in video coding
US20240214587A1 (en) Candidate derivation for affine merge mode in video coding
US20240283921A1 (en) Candidate derivation for affine merge mode in video coding
US20240305806A1 (en) Methods and devices for candidate derivation for affine merge mode in video coding
US20240314318A1 (en) Methods and devices for candidate derivation for affine merge mode in video coding
US20240073438A1 (en) Motion vector coding simplifications
US20240357125A1 (en) Methods and devices for candidate derivation for affine merge mode in video coding
US20230300341A1 (en) Predictive video coding employing virtual reference frames generated by direct mv projection (dmvp)
CN118414832A (zh) 用于视频编解码中仿射合并模式的候选推导的方法和设备
CN118696539A (zh) 用于视频编解码中仿射合并模式的候选推导的方法和设备
CN118476227A (zh) 用于视频编解码中仿射合并模式的候选推导的方法和设备
CN118614060A (zh) 利用自适应混合的几何分区模式的方法和设备
CN118592024A (zh) 利用预定义模式顺序进行几何分区模式拆分模式重排序的方法和设备
WO2023220444A1 (en) Methods and devices for candidate derivation for affine merge mode in video coding
CN118715777A (zh) 采用由直接mv投影（dmvp）生成的虚拟参考帧的预测视频编码
WO2023205185A1 (en) Methods and devices for candidate derivation for affine merge mode in video coding
CN118614059A (zh) 利用拆分模式重排序的几何分区模式的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination