CN114009038A - 图像标头中全局运动矢量的信号发送 - Google Patents

图像标头中全局运动矢量的信号发送 Download PDF

Info

Publication number
CN114009038A
CN114009038A CN202080045922.8A CN202080045922A CN114009038A CN 114009038 A CN114009038 A CN 114009038A CN 202080045922 A CN202080045922 A CN 202080045922A CN 114009038 A CN114009038 A CN 114009038A
Authority
CN
China
Prior art keywords
global motion
decoder
list
current block
header
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045922.8A
Other languages
English (en)
Inventor
H·卡瓦
B·富尔赫特
V·阿季奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OP Solutions LLC
Original Assignee
OP Solutions LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OP Solutions LLC filed Critical OP Solutions LLC
Publication of CN114009038A publication Critical patent/CN114009038A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

一种解码器包括电路，该电路配置为：接收比特流，提取包括可用于全局运动补偿的参考帧列表的标头，使用标头确定当前块的全局运动模型(该全局运动相对于包含在参考帧列表中的参考帧)，以及使用全局运动模型解码当前块。本公开还描述了相关的设备、系统、技术和制品。

Description

图像标头中全局运动矢量的信号发送
相关申请的交叉引用
本申请要求获得序列号为62/838,517的美国临时专利申请的优先权，该专利申请于2019年4月25日提交，并标题为“在图像标头中全局运动矢量的信号发送”，这些美国临时申请通过引用整体并入本文。
技术领域
本发明一般地涉及视频压缩领域。特别地，本发明涉及相对于可用参考帧的全局运动矢量的信号发送。
背景技术
视频编解码器可以包括压缩或解压缩数字视频的电子电路或软件。它可以将未压缩的视频转换为压缩格式，反之亦然。在视频压缩的情况下，压缩视频的设备(和/或执行该压缩视频设备的某些功能)通常可称为编码器，而解压缩视频的设备(和/或执行该压缩视频的设备的某些功能)可称为解码器。
压缩数据的格式可以符合标准视频压缩规范。压缩可能是有损的，因为压缩的视频缺少原始视频中存在的一些信息。这样的后果是，由于没有足够的信息来精确地重建原始视频，解压缩后的视频的质量可能比原始的未压缩视频低。
视频质量、用于表示视频的数据量(例如，由比特率决定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、易于编辑、随机访问、端到端延迟(例如，延迟)等等之间可能存在复杂的关系。
运动补偿可以包括一种方法，该方法通过计算摄像机和/或视频中的物体的运动来预测给定参考帧的视频帧或视频帧的一部分，例如先前和/或未来帧。它可以用于视频压缩的视频数据的编码和解码，例如使用运动图像专家组(MPEG)-2(也称为高级视频编码(AVC)和H.264)标准的编码和解码。运动补偿可以根据参考图像到当前图像的变换来描述图像。当与当前图像比较时，参考图像在时间上可以是先前的，当与当前图像比较时，参考图像可以是未来的。当可以从先前传输和/或存储的图像中精确地合成图像时，可以提高压缩效率。
发明内容
在一方面，解码器包括电路，该电路配置为接收比特流、提取包括可用于全局运动补偿的参考帧列表的标头、使用该标头确定当前块的全局运动模型、相对于参考帧列表中包含的参考帧的全局运动、以及使用该全局运动模型解码当前块。
在另一方面，一种方法包括由解码器接收比特流。该方法包括提取标头，该标头包括可用于全局运动补偿的参考帧列表。该方法包括使用标头确定当前块的全局运动模型，该全局运动相对于包含在参考帧列表中的参考帧。该方法包括使用全局运动模型解码当前块。
在附图和以下描述中阐述了本文描述主题的一个或多个变型的细节。从说明书和附图以及从权利要求书中，本文描述主题的其它特征和优点将显而易见。
附图说明
为了说明本发明，附图示出了本发明的一个或多个实施例的各个方面。然而，应当理解，本发明不限于附图中所示的精确布置和机构，其中：
图1是图解说明具有全局及局部运动的示例帧的运动矢量图；
图2是根据当前主题的一些示例实现方式的过程流程图；
图3是根据当前主题的一些示例实现方式的示例解码器的系统框图；
图4是根据当前主题的一些示例实现方式的过程流程图；
图5是根据当前主题的一些示例实现方式的示例编码器的系统框图；以及
图6是可用于实现本文所公开的方法中的任何一个或多个及它们中的任何一个或多个部分的计算系统框图。
图式未必按比例绘制，并可由虚线、图解表示和局部视图来说明。在某些情况下，可能已省略对于理解实施例而言并非必要或致使其它细节难以理解的细节。在各个附图中相同的附图标记表示相同的元件。
具体实施方式
视频中的全局运动是指发生在整个帧中的运动。全局运动可由摄像机运动引起，例如摄像机平移和缩放可以在帧中产生通常影响整个帧的运动。存在于视频部分中的运动可以称为局部运动。局部运动可以由场景中的移动的对象引起；例如但不限于对象在场景中从左向右移动。视频可以包含局部和全局运动的组合。当前主题的一些实现方式可提供用以将全局运动传送到解码器的有效方法，以及使用全局运动矢量来提高缩效率。
图1是示出了具有全局和局部运动的示例帧100的运动矢量的图。帧100可以包括示为正方形的多个像素块，以及被示为箭头的与它们相关联的运动矢量。正方形(例如，像素块)具有指向上方和左侧的箭头，该正方形表示具有可视为全局运动的块，并箭头指向其它方向的正方形(由104指示)指示具有局部运动的块。在图1的所示例子中，许多的块具有相同的全局运动。在标头中全局运动信号(例如，图像参数集(Picture Parameters Set，PPS)或序列参数集(Sequence Parameters Set，SPS))并使用信号全局运动可减少块所需的运动矢量信息，并可导致改进的预测。尽管出于说明的目的，以下描述的例子涉及在块层确定和/或应用全局或局部运动矢量，但是可以针对帧和/或图像的任何区域和/或帧和/或图像的整体来确定和/或应用全局运动矢量，区域包括由多个块构成的区域、由任何几何形式界定的区域，例如但不限于由几何和/或指数编码界定的区域，其中，界定形状的一条或多条线和/或曲线可以是成角度的和/或弯曲的。尽管信在此描述为在帧层和/或帧的标头和/或参数集中执行，但是信号可以替代地或附加地在子图像层执行，其中，子图像可以包括帧和/或图像的任何区域，如上描述。
作为示例，并依然参考图1，可以使用具有两个分量MVx、MVy的运动矢量(MV)来描述简单平移运动，该MVx、MVy描述了当前帧中的块和/或像素的位移。可以使用仿射运动矢量来描述诸如旋转、缩放和扭曲之类的更复杂的运动，其中，如在本公开中使用的“仿射运动矢量”是矢量，该矢量描述在视频图像和/或图像中表示的一组像素或点的均匀位移，例如一组像素，该像素说明对象在视频中的视图上移动，而在运动过程中不改变外观形状。视频编码和/或解码的一些方法可以使用4参数或6参数仿射模型，该仿射模型用于图像间编码中的运动补偿。
举例来说，六参数仿射运动可为：
x’＝ax+by+c
y’＝dx+ey+f
四参数仿射运动可描述为：
x’＝ax+by+c
y’＝-bx+ay+f
其中(x，y)和(x’，y’)分别是当前图像和参考图像中的像素位置；a、b、c、d、e和f是仿射运动模型的参数。
依然参考图1，用于描述仿射运动的参数可以用信号发送给解码器，以在该解码器中应用仿射运动补偿。在一些方法中，运动参数可明确地发送信号或通过用信号发送平移控制点运动矢量(Control Point Motion Vectors，CPMVs)并接着从平移运动矢量导出仿射运动参数。两个控制点运动矢量(CPMVs)可使用以导出用于四参数仿射运动模型的仿射运动参数，并三个控制点平移运动矢量(CPMVs)可使用以获得六参数运动模型的参数。使用控制点运动矢量信号仿射运动参数可允许使用有效运动矢量编码方法来发送信号仿射运动参数。
继续参考图1，一些现代视频压缩技术可在帧间预测中使用多个参考帧。当存在多个参考帧时，相对于可用参考帧的全局运动可以发送信号，以更有效地应用运动补偿并提高压缩效率。可供参考的帧列表可以保存在帧列表List0中。列表中的帧可以按照它们相对于当前帧的顺序进行索引。在对当前图像进行编码时，可用作参考的所有帧都可以在List0中编入索引。可以为所有可用参考帧指定全局运动参数。相对于参考帧列表的全局运动的存在或不存在可发送信号；这可以允许发送全局运动信息的有效信号。
例如，仍然参考图1，表1示出了新PPS，该新PPS具有参考图像列表中的一个或多个帧的全局运动参数。在表1的示例中，可以用信号发送多达16个参考图像。对于每个可用的参考帧，全局运动的存在可以发送信号。对于存在全局运动的所有帧，全局运动参数可以如表1所示进行编码。如果当前图像中没有预测块使用来自可用于参考的先前编码帧的全局运动，则对应的全局运动参数可能不被编码。在编码器端，如果在编码当前图像后不得不更新PPS，这可能会导致帧延迟。或者，有效的编码方法可能能够预测哪些可用参考帧不适合全局运动补偿并从PPS中移除此类帧。表格1：
Figure BDA0003426616530000041
Figure BDA0003426616530000051
在一个实施例中，仍然参考图1，在PPS和/或SPS中的sps_affine_enabled_flag可指定基于仿射模型的运动补偿是否可用于帧间的预测。如果sps_affine_enabled_flag＝0，则语法可被约束，使得在后编码的视频序列(CLVS)中不使用基于仿射模型的运动补偿，并在CLVS的编码单元语法中可能不存在inter_affine_flag和cu_affine_type_flag。否则(sps_affine_enabled_flag＝1)，可在CLVS中使用基于仿射模型的运动补偿。
继续参考图1，在PPS和/或SPS中的sps_affine_type_flag可指定基于6参数仿射模型的运动补偿是否可用于帧间预测。如果sps_affine_type_flag＝0，则语法可被约束以使得在CLVS中不使用基于6参数仿射模型的运动补偿，并在CLVS中的编码单元语法中可不存cu_affine_type_flag。否则(sps_affine_type_flag＝1)，可在CLVS中使用基于6参数仿射模型的运动补偿。当不存在时，可以推断sps_affine_type_flag的值等于0。
据此，依然参考图1，当前主题的一些实现方式可以包括利用当前帧和多个参考帧之一之间的全局运动。使用哪个参考帧可以明确地用发送信号(例如，在PPS中)。在一些实现方式中，如果要利用的参考帧没有被明确地发送信号，那么要利用的参考帧可以是紧接在当前帧之前的帧。这种方法可以实现更精确的运动表示(例如，更小的运动矢量残差)和更小的像素残差。
图2是过程流程图，该过程流程图图解说明示例性过程200，该实例性过程200是利用当前帧和多个参考帧中的一个之间的全局运动。
在步骤205，并仍然参考图2，解码器接收比特流。当前块可以包含在解码器接收的比特流内。比特流可包括，例如，在使用数据压缩时作为解码器的输入的比特流中发现的数据。比特流可包含解码视频必需的信息。接收可以包括从比特流中提取和/或解析块和相关联的信号信息。在一些实现方式中，当前块可包含编码树单元CTU、编码单元CU或预测单元PU。
在步骤210，继续参考图2，可以提取一个标头。标头可以包含用于全局运动补偿的参考帧列表。在步骤215，当前块的全局运动模型可以使用标头来确定。全局运动可以相对于包含在参考坐标系列表中的参考帧。在步骤220，可以使用全局运动模型解码当前块。
图3是系统框图，该系统框图图解说明实例性解码器300，该解码器300能够利用当前帧和若干参考帧中的一个之间的全局运动来来解码比特流328。解码器300可以包括熵解码器处理器304、逆量化和逆变换处理器308、去块滤波器312、帧缓冲器316、运动补偿处理器320和帧内预测处理器324。
在操作中，并进一步参考图3，比特流328可以由解码器300接收并输入到熵解码器处理器304，该熵解码器处理器304将比特流的部分熵解码为量化系数。量化系数可提供给逆量化和逆变换处理器308，该逆量化和逆变该处理器308可执行逆量化和逆变换以创建残差信号，该残差信号可根据处理模式添加到运动补偿处理器320或帧内预测处理器324的输出。运动补偿处理器320和帧内预测处理器324的输出可包含基于先前经解码块的块预测。预测和残差的和可以由去块滤波器630处理并存储在帧缓冲器640中。
图4是过程流程图，该过程流程图演示了根据本文公开的一些方面，使用INSERT对视频进行编码的过程400的示例性实施例，该过程400可降低编码复杂性同时提高压缩效率。在步骤405，视频帧可以经历初始块划分，该初始块划分可以例如使用树结构的宏块划分方案来实现，该方案可以包括将图像帧划分成CTU和CU。在步骤410，可以确定当前块的全局运动，包括从多个可用参考帧中确定参考帧。在步骤415，全局运动信息和块可以被编码并且被包括在比特流中。编码信息可包括可用参考帧列表的索引。例如，编码可以包括利用帧间预测和帧内预测模式。
图5是系统框图，该系统框图说明能够利用当前帧与多个参考帧中的一个之间的全局运动的视频编码器500的非限制性实例。示例视频编码器500可以接收输入视频504，该输入视频504可以根据诸如树结构宏块划分方案(例如，四叉树加二叉树)进行初始分区或划分。树结构宏块划分方案的示例可以包括将图像帧划分为称为编码树单元(Coding TreeUnit，CTU)的大块元素。在一些实现方式中，每个CTU可进一步划分为一个或多个称为编码单元(Coding Unit，CU)的若干子块。此划分的最终结果可包括称为预测单元(PredictionUnit，PU)的一组子块。也可以使用变换单元(Transform Unit，TU)。
依然参考图5，示例视频编码器500可以包括能够支持当前帧和多个参考帧中的一个之间的全局运动的帧内预测处理器415、运动估计/补偿处理器512(也称为帧间预测处理器)、变换/量化处理器516、逆量化/逆变换处理器520、环路滤波器524、解码图像缓冲器528和/或熵编码处理器532。比特流参数可以输入到熵编码处理器532以供包含在输出比特流536中。
在操作中，并继续参考图5，对于输入视频504帧的每个块，可以确定是经由图像内预测还是使用运动估计/补偿来处理该块。可以将块提供给帧内预测处理器508或运动估计/补偿处理器512。如果将经由帧内预测来处理块，那么帧内预测处理器508可执行处理以输出预测值。如果将经由运动估计/补偿来处理块，那么如果适用，运动估计/补偿处理器512可执行包括使用在当前帧和多个参考帧中的一个之间的全局运动的处理。
进一步参考图5，可以通过从输入视频中减去预测值来形成残差。残差可由变换/量化处理器516接收，该变换/量化处理器516接收可执行变换处理(例如，离散余弦变换(Discrete Cosine Transform，DCT))以产生可量化的系数。量化系数和任何相关联的信号信息可提供给熵编码处理器532以用于熵编码并包括在输出比特流536中。熵编码处理器532可支持与编码当前块相关的信号信息的编码。另外，量化系数可提供给逆量化/逆变换处理器520，该逆量化/逆变换处理器520再现像素，该像素可与预测因子组合并由环路滤波器524处理，该环路滤波器524处理输出可存储在经解码图像缓冲器528中以供能够运动估计/补偿处理器512使用，该运动估计/补偿处理器512能够利用当前帧和多个参考帧中的一个之间的全局运动。
依然参考图5，尽管上面已经详细描述了一些变化，但是其它修改或添加也是可能的。例如，在一些实现方式中，当前块可包括任何对称块(8x8、16x16、32x32、64x64、128x128等)以及任何非对称块(8x4、16x8等)。
继续参考图5，在一些实现方式中，可以实现四叉树加二叉决策树(Quadtree PlusBinary Decision，QTBT)。在QTBT中，在编码树单元层，动态地导出QTBT的划分参数以适应局部特性而不传输任何开销。随后，在编码单元层，联合分类器决策树结构可以消除不必要的迭代并控制错误预测的风险。在一些实现方式中，LTR帧块更新模式可用作在QTBT的每个叶节点处可用的附加选项。
在一些实现方式中，进一步参考图5，可在比特流的不同层级用信号发送附加语法元素。例如，可通过包括在序列参数集(SPS)中编码的启用标志来为整个序列启用标志。此外，CTU标志可以在编码树单元(CTU)层编码。
应当注意，如计算机领域的普通技术人员将是显而易见的，可以使用根据本说明书的教导编程的一个或多个机器(例如，用作电子文档的用户计算设备的一个或多个计算设备、诸如文档服务器的一个或多个服务器设备等)中实现和/或实现的数字电子电路、集成电路、专门设计的专用集成电路(Application Specific Integrated Circuits，ASICs)、现场可编程门阵列(Field Programmable Gate Arrays，FPGAs)、计算机硬件、固件、软件和/或它们的组合来方便地实现本文描述的任何一个或多个方面和实施例。这些各个方面或特征可以包括在一个或多个计算机程序和/或软件中的实现方式，该计算机程序和/或软件在包括至少一个可编程处理器的可编程系统上可执行和/或可解释，该可编程处理器可以是专用或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，以及向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。对于软件领域的普通技术人员来说显而易见的是，熟练的程序员可以基于本公开的教导容易地准备适当的软件编码。上面讨论的采用软件和/或软件模块的方面和实现也可以包括用于帮助实现软件和/或软件模块的机器可执行指令的适当硬件。
这种软件可以是计算机程序产品，该计算机程序产品采用机器可读存储介质。机器可读存储介质可以是能够存储和/或编码由机器(例如，计算设备)执行的指令序列并使机器执行本文描述的方法和/或实施例中的任何一个的任何介质。机器可读存储介质的示例包括但不限于磁盘、光盘(例如，CD、CD-R、DVD、DVD-R等)、磁光盘、只读存储器“ROM”设备、随机存取存储器“RAM”设备、磁卡、光卡、固态存储器设备、EPROM、EEPROM、可编程逻辑器件(PLDs)和/或它们的任意组合。如这里所使用的机器可读介质旨在包括单个介质以及物理上分离的介质的集合，例如光盘的集合或者与计算机存储器结合的一个或多个硬盘驱动器。如本文所使用的，机器可读存储介质不包括瞬时形式的信号传输。
这种软件还可以包括信息(例如，数据),该信息作为数据信号承载在诸如载波的数据载体上。例如，机器可执行信息可以包括作为数据承载信号，该数据承载信号包含在数据载体中，其中，该信号对用于由机器(例如，计算设备)执行的指令序列或该指令序列的一部分，以及使得机器执行本文描述的方法和/或实施例中的任何一个的任何相关信息(例如，数据结构和数据)进行编码。
计算设备的示例包括但不限于电子书阅读设备、计算机工作站、终端计算机、服务器计算机、手持式设备(例如，平板计算机、智能电话等)、网络设备、网络路由器、网络交换机、网桥、能够执行指定要由该机器采取的动作的指令序列的任何机器、及它们的任何组合。在一个示例中，计算设备可以包括信息亭和/或被包括在信息亭中。
图6示出了一个实施例的图示，该一个实施例的图示为计算机系统600的示例性形式的计算设备，在该计算机系统600中可以执行用于使控制系统执行本公开的方面和/或方法中的任何一个或多个的指令集。还预期，可利用多个计算设备来实施用于致使设备中的一个或多个执行本发明的方面和/或方法中的任一个或多个的经专门配置的指令集。计算机系统600包括处理器604和存储器608，该处理器604和存储器608经由总线612相互通信，并与其它组件通信。总线612可以包括若干类型的总线结构中的任何一种，包括但不限于使用各种总线体系结构中的任何一种的存储器总线、存储器控制器、外围总线、局部总线、以及它们的任何组合。
存储器608可以包括各种组件(例如，机器可读介质)，包括但不限于随机存取存储器组件、只读组件及它们的任何组合。在一个示例中，基本输入/输出系统616(BIOS)可以存储在存储器608中，包括例如在启动期间帮助在计算机系统600内的元件之间传输信息的基本例程。存储器608还可包括(例如，存储在一个或多个机器可读介质上)体现本公开的方面和/或方法中的任何一个或多个的指令(例如，软件)620。在另一示例中，存储器608还可包括任何数量的程序模块，包括但不限于操作系统、一个或多个应用程序、其它程序模块、程序数据、及它们的任何组合。
计算机系统600还可以包括存储设备624。存储设备(例如，存储设备624)的示例包括但不限于硬盘驱动器、磁盘驱动器、与光学介质组合的光盘驱动器、固态存储器设备及它们的任何组合。存储设备624可以通过适当的接口(未示出)连接到总线612。示例性接口包括但不限于SCSI、高级技术附件(Advanced Technology Attachment，ATA)、串行ATA、通用串行总线(Universal Serial Bus，USB)、IEEE1394(FIREWIRE)及它们的任意组合。在一个示例中，存储设备624(或该存储设备624的一个或多个组件)可以可移除地与计算机系统600接口(例如，经由外部端口连接器(未示出))。特别地，存储设备624和相关联的机器可读介质628可以提供用于计算机系统600的机器可读指令、数据结构、程序模块和/或其它数据的非易失性和/或易失性存储。在一个示例中，软件620可以完全或部分地驻留在机器可读介质628内。在另一个示例中，软件620可以完全或部分地驻留在处理器604内。
计算机系统600还可以包括输入设备632。在一个示例中，计算机系统600的用户可以经由输入设备632将命令和/或其它信息输入到计算机系统600中。输入设备632的实例包含(但不限于)字母数字输入设备(例如，键盘)、定位设备、操纵杆、游戏手柄、音频输入设备(例如，麦克风、语音响应系统等)、光标控制设备(例如，鼠标)、触摸板、光学扫描仪、视频捕获设备(例如，静态摄像机、视频摄像机)、触摸屏及它们的任何组合。输入设备632可以经由各种接口(未示出)中的任何接口连接到总线612，该接口包括但不限于串行接口、并行接口、游戏端口、USB接口、FIREWIRE接口、到总线612的直接接口、以及它们的任何组合。输入设备632可以包括触摸屏接口，该触摸屏接口可以是显示器636的一部分或者与显示器636分离，这将在下面进一步讨论。输入设备632可以用作用户选择设备，用于选择如上描述的图形界面中的一个或多个图形表示。
用户还可以经由存储设备624(例如，可移动磁盘驱动器、闪存驱动器等)和/或网络接口设备640向计算机系统600输入命令和/或其它信息。网络接口设备，诸如网络接口设备640，可用于将计算机系统600连接到各种网络中的一个或多个，诸如网络644，以及连接到该网络644的一个或多个远程设备648。网络接口设备的示例包括但不限于网络接口卡(例如，移动网络接口卡、LAN卡)、调制解调器及它们的任何组合。网络的示例包括但不限于广域网(例如，因特网、企业网)、局域网(例如，与办公室、建筑物、校园或其它相对较小的地理空间相关联的网络)、电话网络、与电话/语音提供商相关联的数据网络(例如，移动通信提供商数据和/或语音网络)、两个计算设备之间的直接连接、以及它们的任何组合。诸如网络644的网络可以采用有线和/或无线通信模式。通常，可以使用任何网络拓扑。信息(例如，数据、软件620等)可以经由网络接口设备640传送到和/或从计算机系统600传送。
计算机系统600还可以包括视频显示适配器652，该视频显示适配器652用于将可显示图像传送到显示设备，例如显示设备636。显示设备的示例包括但不限于液晶显示器(LCD)、阴极射线管(CRT)、等离子体显示器、发光二极管(LED)显示器及它们的任意组合。显示适配器652和显示设备636可以与处理器604结合使用，以提供本公开的各方面的图形表示。除了显示设备之外，计算机系统600可以包括一个或多个其它外围输出设备，包括但不限于音频扬声器、打印机及它们的任何组合。这样的外围输出设备可以经由外围接口656连接到总线612。外围接口的示例包括但不限于串行端口、USB连接、FIREWIRE连接、并行连接及它们的任意组合。
以上是本发明的说明性实施例的详细描述。在不背离本发明的精神和范围的情况下，可以进行各种修改和添加。上述每个实施例的特征可以与其它描述的实施例的特征适当地组合，以便在相关的新实施例中提供多种特征组合。此外，虽然上文描述了多个单独的实施例，但本文所描述的内容仅仅是对本发明原理的应用的说明。另外，尽管本文的特定方法可示出和/或描述为以特定顺序执行，但该顺序在普通技术人员内是高度可变的以实现本文所公开的实施例。因此，本说明书仅作为示例，而不是限制本发明的范围。
在以上描述和权利要求中，诸如“至少一个”或“一个或多个”的短语可以出现，之后是元件或特征的联合列表。术语“和/或”也可以出现在两个或更多个元素或特征的列表中。除非与其所使用的上下文有相反的暗示或明确的矛盾，否则这样的短语旨在表示单独列出的任何元件或特征，或者与任何其它所引用的元件或特征组合的任何所引用的元件或特征。例如，短语“A和B中的至少一个；”“A和B中的一个或多个；”和“A和/或B”每个各自意指“单独A、单独B或A和B一起”。类似的解释也旨在用于包括三个或更多项目的列表。例如，短语“A、B和C中的至少一个；”、“A、B和C中的一个或多个；”和“A、B和/或C”每个各自意指”单独A、单独B、单独C、A和B一起、A和C一起、B和C一起、或A和B和C一起”。另外，上文和权利要求书中使用的术语“基于”旨在表示“至少部分基于”，使得未引用的特征或元件也是允许的。
取决于期望的配置，本文描述的主题可以体现在系统、设备、方法和/或物品中。在以上描述中阐述的实现方式并不代表与本文描述的主题一致的所有实现方式。相反，它们仅仅是与涉及所描述的主题的各方面一致的一些示例。尽管上面已经详细描述了一些变化，但是其它修改或添加也是可能的。特别地，除了本文所阐述的那些之外，可以提供另外的特征和/或变型。例如，上述实施方式可以涉及所公开的特征的各种组合和子组合和/或上述公开的若干其它特征的组合和子组合。另外，附图中描绘和/或本文描述的逻辑流程不一定需要所示的特定顺序或连续顺序来实现期望的结果。其它实施方式可以在所附权利要求的范围内。

Claims (24)

1.一种解码器，所述解码器包括电路，所述电路配置为：
接收比特流；
提取标头，所述标头包括可用于全局运动补偿的参考帧的列表；
使用所述标头确定当前块的全局运动模型，所述全局运动相对于参考帧，所述参考帧包含在所述参考帧列表中；以及
使用所述全局运动模型解码所述当前块。
2.根据权利要求1所述的解码器，其中，所述参考帧在所述列表中按照相对于当前帧的顺序被索引。
3.根据权利要求1所述的解码器，其中，所有可用帧都包含在所述列表中。
4.根据权利要求1所述的解码器，其中，所述标头包含图像参数集或序列参数集。
5.根据权利要求1所述的解码器，其中，所述标头包含标志，所述标志表征所述当前块是否存在全局运动。
6.根据权利要求1所述的解码器，其中，所述标头包含全局运动模型的参数，所述全局运动模型的参数包含在在所述列表中。
7.根据权利要求1所述的解码器，其中，所述标头包含字段，所述字段表征相对于所述列表中的帧的全局运动存在。
8.根据权利要求1所述的解码器，其中，所述标头包含所述列表中的索引。
9.根据权利要求1所述的解码器，还包括：
熵解码器处理器，所述熵解码器处理器配置为接收所述比特流，并将所述比特流解码成量化系数；
逆量化和逆变换处理器，所述逆量化和逆变换处理器配置为处理量化系数，包括执行逆离散余弦；
去块滤波器；
帧缓冲器；以及
帧内预测处理器。
10.根据权利要求1所述的解码器，其中，所述当前块为译码树单元。
11.根据权利要求1所述的解码器，其中，所述当前块为译码单元。
12.根据权利要求1所述的解码器，其中，所述当前块为预测单元。
13.一种方法，所述方法包括：
由解码器接收比特流，
提取标头，所述标头包括用于全局运动补偿的参考帧的列表；
使用所述标头确定当前块的全局运动模型，所述全局运动相对于参考帧，所述参考帧包含在所述参考帧列表中；以及
使用所述全局运动模型解码所述当前块。
14.根据权利要求13所述的方法，其中，所述参考帧在所述列表中按照相对于当前帧的顺序被索引。
15.根据权利要求13所述的方法，其中，所有可用帧都包含在所述列表中。
16.根据权利要求13所述的方法，其中，所述标头包含图像参数集(PPS)或序列参数集(SPS)。
17.根据权利要求13所述的方法，其中，所述标头包含标志，所述标志表征所述当前块是否存在全局运动。
18.根据权利要求13所述的方法，其中，所述标头包含所述全局运动模型的参数，所述全局运动模型的参数包含在所述列表中。
19.根据权利要求13所述的方法，其中，所述标头包含字段，所述字段表征相对于所述列表中的帧的全局运动的存在。
20.根据权利要求13所述的方法，其中，所述标头包含所述列表中的索引。
21.根据权利要求13所述的方法，所述解码器还包括：
熵解码器处理器，所述熵解码器处理器配置为以接收所述比特流，并将所述比特流解码成量化系数；
逆量化和逆变换处理器，所述逆量化和逆变换处理器配置为处理量化系数，包括执行逆离散余弦；
去块滤波器；
帧缓冲器；以及
帧内预测处理器。
22.根据权利要求13所述的方法，其中，所述当前块为译码树单元。
23.根据权利要求13所述的方法，其中，所述当前块为译码单元。
24.根据权利要求13所述的方法，其中，所述当前块为预测单元。
CN202080045922.8A 2019-04-25 2020-04-24 图像标头中全局运动矢量的信号发送 Pending CN114009038A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962838517P 2019-04-25 2019-04-25
US62/838,517 2019-04-25
PCT/US2020/029942 WO2020219969A1 (en) 2019-04-25 2020-04-24 Signaling of global motion vector in picture header

Publications (1)

Publication Number Publication Date
CN114009038A true CN114009038A (zh) 2022-02-01

Family

ID=72941867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045922.8A Pending CN114009038A (zh) 2019-04-25 2020-04-24 图像标头中全局运动矢量的信号发送

Country Status (9)

Country Link
US (3) US11265566B2 (zh)
EP (1) EP3959884A4 (zh)
JP (2) JP2022530054A (zh)
KR (1) KR20210152567A (zh)
CN (1) CN114009038A (zh)
BR (1) BR112021021334A2 (zh)
MX (1) MX2021013058A (zh)
SG (1) SG11202111761VA (zh)
WO (1) WO2020219969A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850133A (zh) * 2013-12-27 2016-08-10 英特尔公司 用于下一代视频译码的内容自适应主运动补偿预测
CN106658019A (zh) * 2015-10-31 2017-05-10 华为技术有限公司 参考帧编解码的方法与装置
CN107205149A (zh) * 2016-03-18 2017-09-26 谷歌公司 通过参考帧缓冲器跟踪的运动矢量参考选择
CN108028937A (zh) * 2015-09-25 2018-05-11 华为技术有限公司 视频运动补偿装置和方法
CN109155855A (zh) * 2016-05-16 2019-01-04 高通股份有限公司 用于视频译码的仿射运动预测

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3895145B2 (ja) * 2001-10-15 2007-03-22 日本電信電話株式会社 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
JP2010011075A (ja) * 2008-06-26 2010-01-14 Toshiba Corp 動画像符号化及び動画像復号化の方法及び装置
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors
RU2621621C2 (ru) * 2012-07-18 2017-06-06 Сони Корпорейшн Способ и устройство обработки изображения
US9807407B2 (en) * 2013-12-02 2017-10-31 Qualcomm Incorporated Reference picture selection
WO2017087751A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus for global motion compensation in video coding system
US20190028731A1 (en) * 2016-01-07 2019-01-24 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
WO2018097589A1 (ko) * 2016-11-22 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US10681374B2 (en) * 2017-11-16 2020-06-09 Google Llc Diversified motion using multiple global motion models
US10834417B2 (en) * 2018-09-21 2020-11-10 Tencent America LLC Method and apparatus for video coding
US20200186795A1 (en) * 2018-12-07 2020-06-11 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850133A (zh) * 2013-12-27 2016-08-10 英特尔公司 用于下一代视频译码的内容自适应主运动补偿预测
CN108028937A (zh) * 2015-09-25 2018-05-11 华为技术有限公司 视频运动补偿装置和方法
CN106658019A (zh) * 2015-10-31 2017-05-10 华为技术有限公司 参考帧编解码的方法与装置
CN107205149A (zh) * 2016-03-18 2017-09-26 谷歌公司 通过参考帧缓冲器跟踪的运动矢量参考选择
CN109155855A (zh) * 2016-05-16 2019-01-04 高通股份有限公司 用于视频译码的仿射运动预测

Also Published As

Publication number Publication date
US20240056592A1 (en) 2024-02-15
MX2021013058A (es) 2021-12-10
BR112021021334A2 (pt) 2022-01-18
JP2022530054A (ja) 2022-06-27
US11812044B2 (en) 2023-11-07
EP3959884A1 (en) 2022-03-02
KR20210152567A (ko) 2021-12-15
EP3959884A4 (en) 2022-06-01
US20220182652A1 (en) 2022-06-09
US11265566B2 (en) 2022-03-01
JP2023105072A (ja) 2023-07-28
SG11202111761VA (en) 2021-11-29
US20200396472A1 (en) 2020-12-17
WO2020219969A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
JP7448975B2 (ja) インタ予測における大域的運動制約運動ベクトル
JP7428405B2 (ja) インタ予測における融合モード候補のための大域的運動
JP7466960B2 (ja) 大域的運動ベクトルの効率的なコーディング
CN114175656A (zh) 基于全局运动矢量的合并候选重新排序
JP2023101782A (ja) 非直線の非長方形分割を用いた幾何学的分割におけるインター予測
JP2023126617A (ja) 大域的運動を伴うフレームにおける候補
CN114128287A (zh) 图像标头中全局运动矢量的信号发送
CN113647104A (zh) 在以自适应区域数量进行的几何分区中的帧间预测
CN114080811A (zh) 具有全局运动的帧中的选择性运动矢量预测候选
CN114128291A (zh) 具有全局运动的帧中的自适应运动矢量预测候选
WO2020113065A1 (en) Adaptive block update of unavailable reference frames using explicit and implicit signaling
CN114128288A (zh) 运动矢量帧间预测的全局运动模型
CN114009038A (zh) 图像标头中全局运动矢量的信号发送
CN113615184A (zh) 扩展长期参考图片保留的显式信令

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination