CN113632485A - 用于参考图片重采样的信令 - Google Patents

用于参考图片重采样的信令 Download PDF

Info

Publication number
CN113632485A
CN113632485A CN202080023223.3A CN202080023223A CN113632485A CN 113632485 A CN113632485 A CN 113632485A CN 202080023223 A CN202080023223 A CN 202080023223A CN 113632485 A CN113632485 A CN 113632485A
Authority
CN
China
Prior art keywords
picture
encoded video
reference picture
indicating whether
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080023223.3A
Other languages
English (en)
Other versions
CN113632485B (zh
Inventor
崔秉斗
史蒂芬·文格尔
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113632485A publication Critical patent/CN113632485A/zh
Application granted granted Critical
Publication of CN113632485B publication Critical patent/CN113632485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于使用至少一个处理器对编码视频码流进行解码的方法、设备和非暂时性计算机可读介质，包括：从编码视频码流中获取编码图片；对编码图片进行解码以生成解码图片；获取指示是否启用参考图片重采样的第一标志；获取指示参考图片是否具有恒定参考图片大小的第二标志；获取指示输出图片是否具有在编码视频码流中指示的恒定输出图片大小的第三标志；通过对解码图片进行重采样以使其具有恒定的参考图片大小来生成参考图片，并将参考图片存储在解码图片缓存中；通过对解码图片进行重采样以使其具有恒定的输出图片大小来生成输出图片，并输出所述输出图片。

Description

用于参考图片重采样的信令
相关申请的交叉引用
根据35 U.S.C.§119，本申请要求于2019年6月24日提交到美国专利商标局的美国临时申请62/865,955和于2020年6月11日提交到美国专利商标局的美国专利申请16/899,202的优先权权益，这些申请的公开内容通过引用整体并入本文中。
技术领域
所公开的主题涉及视频编码和解码，更具体地，涉及与参考图片重采样和自适应分辨率改变有关的信令信息。
背景技术
使用具有运动补偿的图片间预测来执行视频编码和解码是已知的。未压缩的数字视频可以由一系列图片组成，每个图片具有例如1920×1080亮度样本和相关色度样本的空间维度。该一系列图片可以具有例如每秒60张图片或60Hz的固定的或可变的图片速率(非正式地也称为帧率)。未压缩的视频具有显著的比特率要求。例如，每个样本8比特的1080p60 4:2:0视频(在60Hz帧率下具有1920×1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。一小时的此类视频需要600GByte以上的存储空间。
视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可有助于减少上述带宽或存储空间需求，在某些情况下可以减少两个或以上数量级。可以采用无损压缩和有损压缩，以及它们的组合。无损压缩是指可以从已压缩的原始信号中重建原始信号的精确副本的技术。当使用有损压缩时，重建的信号可能与原始信号不同，但原始信号和重建的信号之间的失真足够小，以使重建的信号可用于预期的应用。对于视频，有损压缩被广泛使用。容许的失真量取决于应用。例如，某些消费者流媒体应用的用户相比电视贡献应用的用户来说可以容忍更高的失真。可达到的压缩率可以反映出：越高的可允许/可容许的失真可以导致更高的压缩率。
视频编码器和解码器可以利用来自几个大类的技术，例如包括运动补偿、变换、量化和熵编码，下文将介绍其中的一些技术。
历史上，视频编码器和解码器倾向于在给定的图片大小上操作，在大多数情况下，该图片大小是为编码视频序列(coded video sequence，CVS)、图片组(Group ofPictures，GOP)或类似的多图片时间帧定义并保持恒定的。例如，在MPEG-2中，已知系统设计根据诸如场景活动等因素来改变水平分辨率(以及由此改变图片大小)，但是仅在I图片，因此通常用于GOP。用于CVS内的不同分辨率的参考图片的重采样例如从ITU-T Rec获知。然而，这里不改变该图片大小，仅重采样参考图片，潜在地导致仅使用部分图片画布(在下采样的情况下)，或者仅采集部分场景(在上采样的情况下)。进一步，H.263附录Q允许以两倍的关系(在每个维度中)向上或向下对单个宏块进行重采样。同样，图片大小保持相同。在H.263中，宏块的大小是固定的，因此不需要写入。
在现代视频编码中，预测图片中图片大小的变化更多地成为主流。例如，VP9允许参考图片重采样和改变整个图片的分辨率。类似地，针对VVC提出的某些提议(包括，例如Hendry等人提出的联合视频团队文件(Joint Video Team document，JVET)的2019年1月9-19日刊的JVET-M0135-v1中名为“On adaptive resolution change(ARC)for VVC”(关于VVC的自适应分辨率变化)的文章，，其整体并入本文)允许将整个参考图片重采样以达到不同的(更高的或更低的)分辨率。在该文献中，建议在序列参数集中对不同的候选分辨率进行编码，并通过图片参数集中的每个图片语法元素来引用。
发明内容
在一个实施例中，提供了一种使用至少一个处理器对编码视频码流进行解码的方法，包括：从该编码视频码流中获取编码图片；解码该编码图片以生成解码图片；从该编码视频码流中获取指示是否启用参考图片重采样的第一标志；基于该指示是否启用参考图片重采样的第一标志，从该编码视频码流中获取指示参考图片是否具有在该编码视频码流中指示的恒定参考图片大小的第二标志；基于该指示是否启用参考图片重采样的第一标志，从该编码视频码流中获取指示输出图片是否具有在编码视频码流中指示的恒定输出图片大小的第三标志；基于该指示参考图片是否具有所述恒定参考图片大小的第二标志，通过对该解码图片重采样以使其具有恒定的参考图片大小来生成参考图片，并将所述参考图片存储在解码画面缓存中；以及基于该指示输出图片具有该恒定输出图片大小的第三标志，通过对该解码图片进行重采样以使其具有该恒定输出图片大小来生成输出图片，并输出该输出图片。
在一个实施例中，提供了一种用于对编码视频码流进行解码的设备，所述设备包括配置为存储程序代码的至少一个存储器；以及配置为读取所述程序代码并且根据所述程序代码所指示进行操作的至少一个处理器，所述程序代码包括：配置为使所述至少一个处理器从所述编码视频码流中获取编码图片的第一获取代码；配置为使所述至少一个处理器解码所述编码图片以生成解码图片的解码代码；配置为使所述至少一个处理器从所述编码视频码流中获取指示是否启用参考图片重采样的第一标志的第二获取代码；配置为基于所述指示是否启用所述参考图片重采样的第一标志，使得所述至少一个处理器从所述编码视频码流中获取指示参考图片是否具有在所述编码视频码流中指示的恒定参考图片大小的第二标志的第三获取代码；配置为基于所述指示是否启用所述参考图片重采样的第一标志，使得所述至少一个处理器从所述编码视频码流中获取指示输出图片是否具有在所述编码视频码流中指示的恒定输出图片大小的第三标志的第四获取代码；配置为基于所述指示多个参考图片是否具有所述恒定参考图片大小的第二标志，使得所述至少一个处理器通过对所述解码图片进行重采样以使其具有所述恒定参考图片大小来生成参考图片，并将所述参考图片存储在解码图片缓存中的第一生成代码；以及配置为基于所述指示所述输出图片具有所述恒定输出图片大小的第三标志，使得所述至少一个处理器通过对所述解码图片进行重采样以使具有所述恒定输出图片大小来生成输出图片，并输出所述输出图片的第二生成代码。
在一个实施例中，提供了一种存储指令的非暂时性计算机可读介质，所述指令包括：一个或多个指令，当由用于对编码视频码流进行解码的设备的一个或多个处理器执行所述指令时，所述一个或多个处理器执行如下操作：从所述编码视频码流中获取编码图片；解码所述编码图片以生成解码图片；从所述编码视频码流中获取指示是否启用参考图片重采样的第一标志；基于所述指示是否启用参考图片重采样的第一标志，从所述编码视频码流中获取指示多个参考图片是否具有在所述编码视频码流中指示的恒定参考图片大小的第二标志；基于所述指示是否启用所述参考图片重采样的第一标志，从所述编码视频码流中获取指示输出图片是否具有在所述编码视频码流中指示的恒定输出图片大小的第三标志；基于所述指示参考图片是否具有所述恒定参考图片大小的第二标志，通过对所述解码图片进行重采样以使其具有所述恒定参考图片大小来生成参考图片，并将所述参考图片存储在解码图片缓存中；以及基于所述指示输出图片具有恒定输出图片大小的第三标志，通过对所述解码图片进行重采样以使其具有所述恒定输出图片大小来生成输出图片，并输出所述输出图片。
附图说明
通过以下详细描述和附图，所公开的主题的其它特征，性质和各种优势将更加明显，在附图中：
图1是根据一个实施例的通信系统的简化框图的示意图。
图2是根据一个实施例的通信系统的简化框图的示意图。
图3是根据一个实施例的解码器的简化框图的示意图。
图4是根据一个实施例的编码器的简化框图的示意图。
图5是根据一个实施例的编码器的简化框图的示意图。
图6是根据一个实施例的解码器的简化框图的示意图。
图7是根据一个实施例的用于解码编码视频码流的示例性过程的流程图。
图8是根据一个实施例的计算机系统的示意图。
具体实施方式
本公开的实施例可以单独使用或以任何顺序组合使用。此外，方法(或实施例)，编码器和解码器中的每一个可由处理电路(例如，一个或多个处理器或一个或多个集成电路)实施。在一个示例中，所述一个或多个处理器执行存储在非暂时性计算机可读介质中的程序。
图1示出了根据本公开的一个实施例的通信系统(100)的简化框图。系统(100)可以包括经由网络(150)互连的至少两个终端(110-120)。对于数据的单向传输，第一终端(110)可以对本地位置的视频数据进行编码，以便经由网络(150)传输到另一终端(120)。第二终端(120)可以从网络(150)接收另一终端的编码视频数据，对编码数据进行解码并显示恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
图1示出了第二对终端(130、140)，其被提供以支持例如在视频会议期间可能发生的编码视频的双向传输。对于数据的双向传输，每个终端(130、140)可以对在本地位置采集的视频数据进行编码，以便经由网络(150)传输到另一个终端。每个终端(130、140)还可以接收由另一个终端发送的编码视频数据，可以对编码数据进行解码，并且可以在本地显示设备上显示恢复的视频数据。
在图1中，终端(110-140)可以被示为服务器、个人电脑和智能电话，但是本公开的原理可以不限于此。本公开的实施例可应用于笔记本电脑、平板电脑、媒体播放器和/或专用视频会议设备。网络(150)表示在终端(110-140)之间传送编码视频数据的任何数量的网络，包括例如有线和/或无线通信网络。通信网络(150)可以在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。为了当前讨论的目的，除非在下面另有解释，否则网络(150)的结构和拓扑对于本公开的操作可能是无关紧要的。
作为所公开的主题的应用的示例，图2示出了视频编码器和解码器在流媒体环境中的布置方式。所公开的主题同样可应用于其他支持视频的应用，包括例如视频会议、数字电视、在包括CD、DVD、记忆棒等的数字媒体上存储压缩视频等。
流媒体系统可以包括采集子系统(213)，该采集子系统可以包括视频源(201)，例如数字照相机，该视频源创建例如未压缩的视频样本流(202)。与编码视频码流相比，用粗线表示以强调高数据量的样本流(202)可以由耦合到照相机(201)的编码器(203)处理。编码器(203)可包括硬件、软件或其组合，以达成或实现下文更详细描述的所公开主题的各方面。与样本流相比，用细线表示以强调较低数据量的编码视频码流(204)可以被存储在流媒体服务器(205)上以供将来使用。一个或多个流媒体客户端(206、208)可以访问流媒体服务器(205)以取回编码视频码流(204)的副本(207、209)。客户端(206)可以包括视频解码器(210)，该视频解码器对编码视频码流(207)的输入副本进行解码，并创建可以在显示器(212)或其他呈现设备(未示出)上呈现的输出视频样本流(211)。在一些流媒体系统中，视频码流(204、207和209)可以根据某些视频编码/压缩标准进行编码。这些标准的示例包括ITU-T建议H.265(ITU-T Recommendation H.265)。正在开发的是被非正式地称为通用视频编码(Versatile Video Coding)或VVC的视频编码标准。所公开的主题可以在VVC的上下文中使用。
图3可以是根据本公开的一个实施例的视频解码器(210)的功能框图。
接收器(310)可以接收要由解码器(210)解码的一个或多个编解码器视频序列。在同一个或另一个实施例中，一次一个编码视频序列，其中每个编码视频序列的解码独立于其它编码视频序列。编码的视频序列可以从信道(312)接收，信道可以是到存储编码的视频数据的存储设备的硬件/软件链接。接收器(310)可以接收编码视频数据与其它数据，例如，编码音频数据和/或辅助数据流，这些数据可以被转发到它们各自的使用实体(未示出)。接收器(310)可以将编码视频序列与其它数据分离。为了对抗网络抖动，缓冲存储器(315)可以耦合在接收器(310)和熵解码器/解析器(320)(此后称为“解析器”)之间。当接收器(310)从具有足够带宽和可控性的存储/转发设备或者从同步网络接收数据时，可以不需要缓冲存储器(315)，或者可以将缓冲存储器(315)做的很小。为了在诸如因特网之类的最好效果的分组网络上使用，可能需要缓冲存储器(315)，缓冲存储器(315)可以相对较大并且可以有利地具有自适应大小。
视频解码器(210)可以包括解析器(320)，用于从熵编码视频序列中重建符号(321)。这些符号的类别包括用于管理解码器(210)的操作的信息，以及用于控制诸如显示器(212)之类的呈现设备的潜在信息。如图3所示，该呈现设备不是解码器的组成部分，但是可以与其耦接。用于呈现设备的控制信息可以是补充增强信息(SupplementalEnhancement Information，SEI消息)或视频可用性信息(Video Usability Information，VUI)的参数集片段(未示出)的形式。解析器(320)可以解析/熵解码所接收到的编码视频序列。编码视频序列的编码可以根据视频编码技术或标准，并且可以遵循本领域技术人员公知的原则，包括可变长度编码，霍夫曼编码，具有或不具有上下文敏感性的算术编码等。解析器(320)可基于对应于组的至少一个参数，从编码视频序列中提取视频解码器中用于像素子组中的至少一个子组的子组参数集。子组可以包括图片组(Group of Pictures，GOPs)、图片、子图片、瓦片、分片、砖块、宏块、编码树单元(Coding Tree Units，CTUs)、编码单元(Coding Units，CUs)、块、变换单元(Transform Units，TU)、预测单元(PredictionUnits，PUs)等。瓦片可以指示图片中特定瓦片列和行内的CU/CTUs的矩形区域。砖块可以指示特定瓦片中的CU/CTU行的矩形区域。分片可以指示包含在NAL单元中的图片的一个或多个砖块。子图片可以指示图片中一个或多个分片的矩形区域。熵解码器/解析器还可以从编码视频序列中提取诸如变换系数，量化器参数值，运动矢量等信息。
解析器(320)可以对从缓冲存储器(315)接收的视频序列执行熵解码/解析操作，以便创建符号(321)。
符号(321)的重建可以涉及多个不同的单元，这取决于编码视频图片或其一部分(例如：帧间和帧内图片，帧间块和帧内块)的类型以及其它因素。涉及哪些单元以及涉及方式可以由解析器(320)从编码视频序列解析的子组控制信息来控制。为了清楚起见，未描绘解析器(320)和下文的多个单元之间的这种子组控制信息流。
除了已经提到的功能块之外，解码器(210)可以在概念上细分为如下所述的多个功能单元。在商业约束下的实际实施操作中，这些单元中的一些单元彼此密切地相互作用，并且可以至少部分地相互集成。然而，出于描述所公开主题的目的，将概念细分为以下功能单元是适当的。
第一单元是缩放器/逆变换单元(351)。缩放器/逆变换单元(351)从解析器(320)接收作为符号(321)的量化变换系数以及控制信息，包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(351)可以输出包括样本值的块，这些样本值可以输入到聚合器(355)中。
在一些情况下，缩放器/逆变换(351)的输出样本可以与帧内编码块有关；即：不使用来自先前重建的图片的预测信息，但可以使用来自当前图片的先前重建部分的预测信息的块。这样的预测信息可以由帧内图片预测单元(352)提供。在一些情况下，帧内图片预测单元(352)使用从当前(部分重构的)图片(358)提取的周围已经重建的信息，生成与正在重建的块相同大小和形状的块。在一些情况下，聚合器(355)在每个样本的基础上，将帧内预测单元(352)已经生成的预测信息添加至由缩放器/逆变换单元(351)提供的输出样本信息中。
在其它情况下，缩放器/逆变换单元(351)的输出样本可以与帧间编码的、潜在的运动补偿块有关。在这种情况下，运动补偿预测单元(353)可以访问参考图片存储器(357)以提取用于预测的样本。在根据与块有关的符号(321)对所提取的样本进行运动补偿之后，这些样本可以由聚合器(355)添加到缩放器/逆变换单元的输出(在这种情况下称为残差样本或残差信号)，以便生成输出样本信息。运动补偿单元从其中获取预测样本的参考图片存储器内的地址可以通过运动矢量来控制，该运动矢量可以以符号(321)的形式提供给运动补偿单元，符号(321)可以具有例如X、Y和参考图片分量。运动补偿还可以包括当在使用子样本精确运动矢量时从参考图片存储器提取的样本值的插值。
聚合器(355)的输出样本可以在环路滤波器单元(356)中经由各种环路滤波技术处理。视频压缩技术可以包括环路内滤波器技术，该环路内滤波器技术受控于包括在编码视频码流中并且作为来自解析器(320)的符号(321)可用于环路滤波器单元(356)的参数，但是也可以响应于在对编码图片或编码视频序列的先前(按解码顺序)部分进行解码期间获得的元信息，以及响应于先前重建的和环路滤波的样本值。
环路滤波器单元(356)的输出可以是样本流，该样本流可以被输出到呈现设备(212)并且存储在参考图片存储器中以用于将来的帧间图片预测。
一旦完全重建，某些编码图片就可以作为为来预测的参考图片。一旦编码图片被完全重建并且编码图片已经被识别为参考图片(例如，通过解析器(320))，则当前参考图片(358)就可以成为参考图片缓存(357)的一部分，并且在开始重建后续编码图片之前可以重新分配新的当前图片缓存。
视频解码器(210)可以根据诸如ITU-T Rec.H.265的标准文件中记载的预定视频压缩技术执行解码操作。如在视频压缩技术文件或标准中指定的，特别是在其中的简档中指定的，编码视频序列可以符合由正在使用的视频压缩技术或标准指定的语法，某种意义上说，编码的视频序列遵循由视频压缩技术或标准的语法。编码视频序列的复杂度处于视频压缩技术或标准的层级所界定的范围内也是合规所需要的。在某些情况下，层级限制最大图片大小、最大帧率、最大重建采样率(例如，以每秒百万(mega)个采样为单位进行测量)、最大参考图片大小等。在一些情况下，由层级设定的限制可以通过假想参考解码器(Hypothetical Reference Decoder，HRD)规范和在编码视频序列中写入的HRD缓存管理的元数据来进一步限定。
在一个实施例中，接收器(310)可以连同编码视频一起接收附加(冗余)数据。附加数据可以被包括作为编码视频序列的一部分。视频解码器(210)可以使用附加数据来适当地解码数据和/或更准确地重建原始视频数据。附加数据可以是例如时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余分片、冗余图片、前向纠错码等形式。
图4可以是根据本公开的一个实施例的视频编码器(203)的功能框图。
编码器(203)可以从视频源(201)(其不是编码器的一部分)接收视频样本，该视频源可以采集将由编码器(203)编码的视频图像。
视频源(201)可以以数字视频样本流的形式提供将由编码器(203)编码的源视频序列，该数字视频样本流可以具有任何合适的比特深度(例如：8比特、10比特、12比特......)、任何色彩空间(例如，BT.601Y CrCB、RGB……)和任何合适的样本结构(例如YCrCB 4:2:0、Y CrCB 4:4:4)。在媒体服务系统中，视频源(201)可以是存储先前已准备好的视频的存储设备。在视频会议系统中，视频源(203)可以是采集作为视频序列的本地图像信息的摄像机。视频数据可以被提供为当按顺序观看时传递运动的多个单独图片。图片本身可构建为空间像素阵列，其中，每个像素可以包括一个或多个取决于使用中的采样结构、色彩空间等的样本。本领域技术人员可以容易地理解像素和样本之间的关系。下面的描述将侧重于样本。
根据一个实施例，编码器(203)可以实时地或在应用程序所要求的任何其它时间约束下，将源视频序列的图片编码且压缩成编码视频序列(443)。施行适当的编码速度是控制器(450)的一个功能。控制器控制如下所述的其它功能单元，并且控制器在功能上耦合到其这些单元。为了清楚起见，未描述上述耦合。由控制器设置的参数可以包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ(lambda)值……)、图片大小、图片组(groupof pictures GOP)布局，最大运动矢量搜索范围等。本领域的技术人员可容易地识别控制器(450)的其它功能，因为它们可能与针对某一系统设计而优化的视频编码器(203)有关。
一些视频编码器以本领域技术人员容易识别的“编码环路”的方式操作。作为过度简化的描述，编码环路可以由编码器(430)(此后称为“源编码器”)的编码部分(负责基于待编码的输入图片和参考图片来创建符号)，以及嵌入在编码器(203)中的(本地)解码器(433)。解码器重建符号以用于创建(远程)解码器也会创建的样本数据(因为在所公开的主题中所考虑的视频压缩技术中，符号和编码视频码流之间的任何压缩是无损的)。将重建的样本流输入到参考图片存储器(434)。由于对符号流的解码产生与解码器位置(本地或远程)无关的比特精确结果，因此参考图片缓存中的内容在本地编码器和远程编码器之间也是比特精确的。换句话说，编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性的基本原理(以及在例如因信道误差而无法维持同步性的情况下所产生的漂移)是本领域技术人员所公知的。
“本地”解码器(433)的操作可以与诸如已在上文结合图3详细描述的“远程”解码器(210)的操作相同。然而，简要参考图4，当符号可用且熵编码器(445)和解析器(320)可无损地将符号编码/解码为编码视频序列时，包括信道(312)、接收器(310)、缓冲存储器(315)和解析器(320)在内的解码器(210)的熵解码部分可能无法在本地解码器(433)中完全实施。
此时可以观察到，除解码器中存在的解析/熵解码之外的任何解码器技术也必然需要以基本相同的功能形式存在于相应的编码器中。为此，所公开的主题侧重解码器操作。因为编码器技术与全面描述的解码器技术互逆，因此本文简写了编码器技术。只有在某些领域需要更详细的描述并在下文提供。
作为其操作的一部分，源编码器(430)可执行运动补偿预测编码，其参考来自视频序列中被指定为“参考帧”的一个或多个我先前编码帧对输入帧进行预测性编码。以这种方式，编码引擎(432)对输入帧的像素块与可被选择为输入帧的预测参考的参考帧的像素块之间的差异进行编码。
本地视频解码器(433)可基于源编码器(430)创建的符号对可被指定为参考帧的帧的编码视频数据进行解码。编码引擎(432)的操作有利地可以是有损过程。当编码视频数据可以在视频解码器(图4中未示出)中解码时，已重建的视频序列典型地可以是带有一些误差的源视频序列的副本。本地视频解码器(433)复制可以由视频解码器对参考帧执行的解码处理，并且可以使重建的参考帧存储在参考图片缓存(434)中。以这种方式，编码器(203)可以在本地存储重建参考帧的副本，该副本与将由远端视频解码器获得的重建参考帧具有相同的内容(不存在传输错误)。
预测器(435)可以执行对编码引擎(432)的预测搜索。也就是说，对于将要编码的新帧，预测器(435)可在参考图片存储器(434)中搜索可作为该新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图片运动矢量、块形状等。预测器(435)可基于样本块逐像素块操作，以找到适当的预测参考。在一些情况下，如由预测器(435)获得的搜索结果所确定的那样，输入图片可以具有从存储在参考图片存储器(434)中的多个参考图片中提取的预测参考。
控制器(450)可以管理视频编码器(430)的编码操作，包括例如设置用于编码视频数据的参数和子组参数。
所有上述功能单元的输出可以经由熵编码器(445)进行熵编码。熵编码器通过根据本领域技术人员公知的技术(例如霍夫曼编码、可变长度编码、算术编码等)对符号进行无损压缩，将由各个功能单元产生的符号转换为编码视频序列。
发送器(440)可以缓存由熵编码器(445)创建的编码视频序列，以为通过通信信道(460)进行传输做准备，该通信信道(460)可以是通向将存储编码视频数据的存储设备的硬件/软件链路。发送器(440)可以将来自视频编码器(430)的编码视频数据与待传输的其它数据合并，该其他数据例如是编码音频数据和/或辅助数据流(未示出来源)。
控制器(450)可以管理编码器(203)的操作。在编码期间，控制器(450)可以为每个编码图片分配某一编码图片类型，但这可能影响可以应用于相应图片的编码技术。例如，图片通常可以被分配为以下帧类型之一。
帧内图片(I图片)，其可以是可以在不使用序列中的任何其它帧作为预测源的情况下进行编码和解码的图片。一些视频编解码器允许包括例如独立解码器刷新(Independent Decoder Refresh，IDR)图片的不同类型的帧内图片。本领域的技术人员了解I图片的那些变体及其各自的应用和特征。
预测性图片(P图片)，其可以是可以使用帧内预测或帧间预测进行编码和解码的图片，该帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。
双向预测性图片(B图片)，其可以是可以使用帧内预测或帧间预测来编码和解码的图片，该帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多个预测图片可以使用两个以上的参考图片和相关联的元数据来重建单个块。
源图片通常可以在空间上被细分成多个样本块(例如，每个块4×4、8×8、4×8或16×16个样本)，并逐块进行编码。可以参考由应用于块的相应图片的编码分配所确定的其它(已经编码的)块来对这些块进行预测性编码。例如，I图片的块可以是非预测性地编码，或者可以参考相同图片的已编码的块对其进行预测性编码(空间预测或帧内预测)。可以参考一个先前编码的参考图片，通过空间预测或通过时间预测，对P图片的像素块进行非预测性编码。可以参考一个或两个先前编码的参考图片，通过空间预测或通过时间预测，对B图片的块进行非预测性编码。
视频编码器(203)可根据如ITU-T H.Rec.265的预定视频编码技术或标准执行编码操作。在其操作中，视频编码器(203)可以执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，编码视频数据可以符合由正在使用的视频编码技术或标准指定的语法。
在一个实施例中，发送器(440)可以在传输编码视频时传输附加数据。视频编码器(430)可以包括这样的数据作为编码视频序列的一部分。附加数据可以包括时间/空间/SNR增强层、例如冗余图片和分片等其它形式的冗余数据、SEI消息、VUI参数集片段等。
图5示出了根据一个实施例的编码器500的示例。图6示出了根据一个实施例的解码器600的示例。参考图5，编码器500可以包括下采样器501、图片分割器502、解量化器503、熵编码器504、环路内滤波器505、帧内预测器506、解码图片缓存(decoded picturebuffer，DPB)507、重采样器508和帧间预测器509。参考图6，解码器600可以包括编码图片缓存601、视频语法解析器602、解量化器603、环路内滤波器604、解码图片缓存605、重采样器606、帧间预测器607和帧内预测器608。
在实施例中，图5和/或图6中所示的一个或多个元件可对应于图3和/或图4中所示的一个或多个元件或执行与图3和/或图4中所示的一个或多个元件类似的功能。
在实施例中，例如在图5和图6中所示的实施例，在每个图面粒度上可能改变图片宽度和高度，而与图片类型无关。在编码器(500)处，可使用例如下采样器(501)将输入图像数据下采样到选定图片大小以用于当前图片编码。在将第一输入图片编码为帧内图片后，将解码图片存储在DPB(507)中。当以不同的采样比对随后的图片进行下采样并将其编码为帧间图片时，可以使用例如重采样器(508)，根据参考图片大小和当前图片大小之间的空间比来对DPB中的参考图片进行放大或缩小。
在解码器(600)中，将解码图片存储在DPB(605)中而无需重采样。然而，当用于运动补偿时，可以例如使用重采样器(606)，根据当前解码图片和参考图片之间的空间比，对DPB(605)中的参考图片进行放大或缩小。当被输出显示时，可以使用例如上采样器(609)将解码图片上采样到原始图片大小或期望的输出图片大小。在运动估计/补偿过程中，运动矢量可以与图片大小比以及图片顺序计数差相关地被缩放。
在实施例中，例如在本文所公开的实施例中使用的参考图片重采样(referencepicture resampling，RPR)方案可以包括支持编码视频序列内的自适应(解码)图片分辨率改变、支持用于简化运动补偿过程的恒定参考图片分辨率、支持用于引导显示分辨率的恒定输出图片分辨率，以及在包括或不包括附加滤波情况下，支持自适应重采样模式。
在实施例中，为了支持RPR和自适应分辨率改变(adaptive resolution change，ARC)的所需特征，可以使用一组高级语法修改。
例如，在实施例中，可以在解码器参数集(decoder parameter set，DPS)中写入最小/最大图片分辨率，以促进上限交换/协商。
在实施例中，可以在序列参数集(sequence parameter set，SPS)中写入指示在编码视频序列中启用了RPR的标志。可以在SPS中的表中写入解码图片分辨率。该表可以包括解码图片大小的列表，编码视频序列中的一个或多个图片可以使用该解码图片大小的列表。
在实施例中，可以在SPS中写入指示任何参考图片具有相同空间分辨率以及恒定参考图片大小的标志。如果标志值是1，则编码视频序列中的任何解码图片可以通过重采样过程被放大，从而，存储在DPB中的任何参考图片可以具有与SPS中写入的参考图片大小相同的图片大小。
在实施例中，可以在SPS中写入指示任何输出图片具有相同空间分辨率以及恒定输出图片大小的标志。如果标志值是1，则编码视频序列中的任何输出图片可以通过重采样过程被放大，从而，任何输出图片可以具有与SPS中写入的输出图片大小相同的图片大小。
在实施例中，可以在图片参数集(picture parameter set，PPS)中写入指示SPS中写入的候选者中的解码图片大小的索引。该索引可用于促进上限交换/协商。
在实施例中，可以在PPS中用写入指示用于时间运动矢量预测的运动矢量缩放被禁止的标志。如果标志值是1，则可以在没有运动矢量缩放的情况下处理任何时间运动矢量预测。
在实施例中，可以在PPS中写入滤波器模式选择。
用于写入上述实施例的DPS语法的示例在下表1中示出：
表1
Figure BDA0003272765260000151
Figure BDA0003272765260000161
在实施例中，max_pic_width_in_luma_samples可以以码流中的亮度样本为单位指定解码图片的最大宽度。max_pic_width_in_luma_samples可以不等于0，并且可以是MinCbSizeY的整数倍。max_pic_width_in_luma_samples[i]的值可以不大于max_pic_width_in_luma_samples的值。
在实施例中，max_pic_height_in_luma_samples可以以亮度样本为单位指定解码图片的最大高度。max_pic_height_in_luma_samples可以不等于0，并且可以是MinCbSizeY的整数倍。max_pic_height_in_luma_samples[i]的值可以不大于max_pic_height_in_luma_samples的值。
用于写入上述实施例的SPS语法的示例在下表2中示出：
表2
Figure BDA0003272765260000162
Figure BDA0003272765260000171
在实施例中，reference_pic_resampling_flag等于1可以指定与SPS相关联的编码图片的解码图片大小可以在编码视频序列内改变或不改变。reference_pic_resampling_flag等于0指定与SPS相关联的编码图片的解码图片大小可以在编码视频序列内不改变。当reference_pic_resampling_flag的值等于1时，可以存在可以由编码视频序列内的编码图片指示和使用的一个或多个解码图片大小(dec_pic_width_in_luma_samples[i],dec_pic_height_in_luma_samples[i])，并且存在分别以constant_ref_pic_size_present_flag和constant_output_pic_size_present_flag的值为条件的恒定的参考图片大小(reference_pic_width_in_luma_samples,reference_pic_height_in luma_samples)和恒定的输出图片大小(output_pic_width_in_luma_samples,output_pic_height_in_luma_samples)。
在实施例中，constant_ref_pic_size_flag等于1可以指定存在reference_pic_width_in_luma_samples和reference_pic_height_in_luma_samples。
在实施例中，reference_pic_width_in_luma_samples可以以亮度样本为单位指定参考图片的宽度。reference_pic_width_in_luma_samples可以不等于0。当reference_pic_width_in_luma_samples不存在时，可以推断reference_pic_width_in_luma_samples的值等于dec_pic_width_in_luma_samples[i]。
在实施例中，reference_pic_height_in_luma_samples可以以亮度样本为单位指定参考图片的高度。reference_pic_height_in_luma_samples可以不等于0。当不存在时，可以推断reference_pic_height_in_luma_samples的值等于dec_pic_height_in_luma_samples[i]。当constant_pic_size_present_flag的值等于1时，存储在DPB中的参考图片的大小可以等于reference_pic_width_in_luma_samples和reference_pic_height_in_luma_samples的值。在这种情况下，可以不执行任何额外的重采样过程来用于运动补偿。
在实施例中，constant_output_pic_size_flag等于1可以指定存在output_pic_width_in_luma_samples和output_pic_height_in_luma_samples。
在实施例中，output_pic_width_in_luma_samples可以以亮度样本为单位指定输出图片的宽度。output_pic_width_in_luma_samples不应等于0。当不存在时，可以推断output_pic_width_in_luma_samples的值等于dec_pic_width_in_luma_samples[i]。
在实施例中，output_pic_height_in_luma_samples可以以亮度样本为单位指定输出图片的高度。output_pic_height_in_luma_samples可以不等于0。当output_pic_height_in_luma_samples不存在时，可以推断output_pic_height_in_luma_samples的值等于dec_pic_height_in_luma_samples[i]。当constant_output_pic的值等于1时，输出图片的大小可以等于output_pic_width_in_luma_samples和output_pic_height_in_luma_samples的值。
在实施例中，num_dec_pic_size_in_luma_samples_minus1加1可以以编码视频序列中的亮度样本为单位指定解码图片大小(dec_pic_width_in_luma_samples[i],dec_pic_height_in_luma_samples[i])的数量。
在实施例中，dec_pic_width_in_luma_samples[i]可以以编码视频序列中的亮度样本为单位指定多个解码图片大小的第i个宽度。dec_pic_width_in_luma_samples[i]可以不等于0，并且可以是MinCbSizeY的整数倍。
在实施例中，dec_pic_height_in_luma_samples[i]可以以编码视频序列中的亮度样本为单位指定多个解码图片大小的第i个高度。dec_pic_height_in_luma_samples[i]可以不等于0，并且可以是MinCbSizeY的整数倍。第i个解码图片大小(dec_pic_width_in_luma_samples[i],dec_pic_height_in_luma_samples[i])可以等于编码视频序列中的解码图片的解码图片大小。
用于写入上述实施例的PPS语法的示例在下表3中示出：
表3
Figure BDA0003272765260000191
Figure BDA0003272765260000201
在实施例中，dec_pic_size_idx可以指定解码图片的宽度应当等于pic_width_in_luma_samples[dec_pic_size_idx]以及解码图片的高度应当等于pic_height_in_luma_samples[dec_pic_size_idx]。
在实施例中，disabling_motion_vector_scaling_flag等于1可以指定在没有依赖于POC值或时间运动矢量预测的空间分辨率的缩放过程的情况下使用参考运动矢量。disabling_motion_vector_scaling_flag等于0可以指定在伴有或不伴有依赖于POC值或时间运动矢量预测的空间分辨率的缩放过程的情况下使用参考运动矢量。
在实施例中，当当前图片的分辨率不同于参考图片的分辨率时，rpr_resampling_mode等于0可以指示参考图片中的内插像素不被额外地滤波以用于运动补偿。当当前图片的分辨率不同于参考图片的分辨率时，rpr_resampling_mode等于1可以指示参考图片中的内插像素被额外地滤波以用于运动补偿。当当前图片的分辨率不同于参考图片的分辨率时，rpr_resampling_mode等于2可以指示参考图片中的像素被滤波并被内插以用于运动补偿。可以保留其它值。
在“基线/主要”简档中可能包括ARC。如果对于某些应用场景不需要，则可以使用子简档来移除它们。某些限制可能是可接受的。在这点上，某些H.263+简档和“推荐模式”(早期的简档)包括对附件P的限制，其仅用作“隐式因子4”，即在两个维度上的二进下采样。这足以支持视频会议中的快速启动(快速获得I帧)。
在实施例中，所有的滤波都可以“即时”完成，并且存储器带宽可以没有增加，或者仅仅是可以忽略的增加。结果，特殊的简档中可能不需要包括ARC。
复杂的表等可能不会有意义地用在性能交换中，因为它在Marrakech中与JVET-M0135结合中有争议。假定提供-回答和类似的有限深度的交互，选项的数量可能仅仅是过大而不能允许有意义的跨供应商交互操作。为了在性能交换场景中以有意义的方式支持ARC，可以使用少量的互操作点，例如：无ARC，具有隐式因子4的ARC，全ARC。作为一种选择，我们可以指定对所有ARC所需的支持，并将码流复杂度的限制留给更高级别的SDO。
至于级别，在一些实施例中，作为码流一致性的条件，无论在码流中写入多少上采样，上采样图片的样本计数都必须适合码流级别，以及所有样本必须适合上采样的编码图片。我们注意到，这不是H263+中的情况；在H263+中，某些样本可能不存在。
图7是根据上述实施例的用于对编码视频码流进行解码的示例性过程700的流程图。在一些实现方式中，图7的一个或多个处理块可以由解码器210或解码器600执行。在一些实现方式中，图7的一个或多个处理块可以由与解码器210或解码器600分离或包括解码器210或解码器600的另一个设备或一组设备，例如编码器203或编码器500来执行。
如图7所示，过程700可以包括从编码视频码流中获取编码图片(步骤701)。
如图7进一步所示，过程700可包括解码编码图片以生成解码图片(步骤702)。
如图7进一步所示，过程700可包括从编码视频码流中获取指示是否启用参考图片重采样的第一标志(步骤703)。在实施例中，第一标志可以对应于上述reference_pic_resampling_flag。
如图7进一步所示，过程700可以包括从第一标志确定是否启用了参考图片重采样(步骤704)。如果参考图片重采样被启用(步骤704处为“是”)，则过程700可以执行步骤705。在实施例中，如果未启用参考图片重采样，那么过程700可根据不同的过程对编码视频码流进行解码。
如图7进一步所示，过程700可以包括从编码视频码流中获取指示参考图片是否具有在编码视频码流中指示的恒定参考图片大小的第二标志，以及指示输出图片是否具有在编码视频码流中指示的恒定输出图片大小的第三标志(步骤705)。在实施例中，第二标志可以对应于上述constant_ref_pic_size_flag，第三标志可以对应于上述constant_output_pic_size_flag。
如图7进一步所示，过程700可以包括确定第二标志指示参考图片是否具有恒定的参考图片大小(步骤706)。如果参考图片具有恒定的参考图片大小(步骤706处为“是”)，则过程700可以执行步骤707，然后执行步骤708。如果参考图片不具有恒定的参考图片大小(步骤706处为“否”)，则过程700可以直接执行步骤708。
如图7进一步所示，过程700可以包括通过对解码图片进行重采样以使其具有恒定参考图片大小来生成参考图片(步骤707)。
如图7进一步所示，过程700可以包括将参考图片存储在解码图片缓存中(步骤708)。如果没有执行步骤707，则解码图片可以被存储为参考图片而无需重采样。
如图7进一步所示，过程700可以包括确定第三标志指示输出图片是否具有恒定输出图片大小(步骤709)。如果输出图片具有恒定的输出图片大小(步骤709处为是)，则过程700可以执行步骤710，然后执行步骤711。如果输出图片不具有恒定输出图片大小(步骤709处为否)，则过程700可以直接执行步骤711。
如图7进一步所示，过程700可以包括通过对解码图片进行重采样以使其具有恒定输出图片大小来生成输出图片(步骤710)。
如图7进一步所示，过程700可以包括输出输出图片(步骤711)。如果没有执行步骤710，则可以输出解码图片作为输出图片而无需重采样。
在实施例中，在编码视频码流中包括的序列参数集中，用信号通知第一标志、第二标志和第三标志。
在实施例中，过程700可进一步包括从编码视频码流中获取图片分辨率信息，其中图片分辨率信息指示最大图片分辨率和最小图片分辨率中的至少一个。
在实施例中，在编码视频码流中包括的解码器参数集中写入图片分辨率信息。
在实施例中，过程700可进一步包括从编码视频码流中获取图片大小列表。
在实施例中，过程700还可以包括获取指示图片大小列表内的解码图片的图片大小的索引。
在实施例中，可以在编码视频码流中包括的序列参数集中写入图片大小的列表，并且可以在编码视频码流中包括的图片参数集中写入索引。
在实施例中，过程700可进一步包括获取指示是否启用运动向量缩放的第四标志。在实施例中，第四标志可以对应于上述disabling_motion_vector_scaling_flag。
在实施例中，可以在编码视频码流中包括的图片参数集中写入四标志。
尽管图7示出了过程700的示例步骤，但是在一些实现方式中，过程700可以包括与图7中所示的步骤不同的附加步骤，更少的步骤，不同的步骤或不同排列的步骤。另外，或者可替换地，可以并行地执行过程700的两个或更多个步骤。
此外，所提出的方法可由处理电路(例如，一个或一个以上处理器或一个或一个以上集成电路)实现。在一个示例中，一个或多个处理器执行存储在非暂时性计算机可读介质中的程序，以执行所提出的方法中的一个或多个。
可以将上述技术实现为计算机软件，该计算机软件使用计算机可读指令且物理地存储在一个或多个计算机可读介质中。例如，图8示出了适于实施所公开的主题的某些实施例的计算机系统(800)。
可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，任何合适的机器代码或计算机语言可以经汇编、编译、链接或类似机制以创建包含指令的代码，该指令可以由一个或多个计算机中央处理单元(Central Processing Units,CPU)、图形处理单元(Graphics Processing Units,GPU)等直接执行或通过解释、微代码等执行。
指令可以在各种类型的计算机或其部件组件上执行，包括例如个人电脑、平板电脑、服务器、智能手机、游戏设备、物联网设备等。
图8中所示的组件本质上是示例性的，并且不意在对实施本公开的实施例的计算机软件的使用范围或功能进行任何限制。组件的配置也不应被解释为具有与计算机系统(800)的示例性实施例中所示的组件的任何一个组件或组件的组合有关的任何依赖或要求。
计算机系统(800)可以包括某些人机接口输入设备。这样的人机接口输入设备可以响应于一个或多个人类用户通过例如触觉输入(例如：击键、滑动、数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未示出)进行的输入。人机接口设备还可用于捕获不一定与人的有意识输入直接相关的某些媒介，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止图像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)等。
输入人机接口设备可以包括下述中的一项或多项(每种中仅示出一个)：键盘801、鼠标802、跟踪板803、触摸屏810和相关联的图形适配器850、数据手套1204、操纵杆805、麦克风806、扫描仪807、照相机808中的一个或多个。
计算机系统800还可以包括某些人机接口输出设备。这样人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可以包括触觉输出设备(例如触摸屏810的触觉反馈、数据手套1204或操纵杆805，但是也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如：扬声器809、耳机(未示出))、视觉输出设备(例如包括阴极射线管(cathode ray tube,CRT)屏幕的屏幕810、液晶显示(liquid-crystal display,LCD)屏幕、等离子屏幕、有机发光二极管(organic light-emitting diode,OLED)屏幕，每种屏幕都有或没有触摸屏输入功能，每种屏幕都有或没有触觉反馈功能-其中一些屏幕可以通过诸如立体图像输出之类的装置、虚拟现实眼镜(未示出)、全息显示器和烟箱(未示出)以及打印机(未示出)来输出二维视觉输出或超过三维的输出。
计算机系统800还可以包括人类可访问存储设备及其相关联的介质，例如包括具有CD/DVD等介质821的CD/DVD ROM/RW 820的光学介质、拇指驱动器822、可移动硬盘驱动器或固态驱动器823、诸如磁带和软盘之类的传统磁性介质(未示出)、诸如安全狗(securitydongles)之类的基于专用ROM/ASIC/PLD的设备(未示出)等。
本领域技术人员还应当理解，结合本公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它暂时性信号。
计算机系统800还可以包括到一个或多个通信网络的接口(955)。一个或多个通信网络可以例如是无线网络、有线网络、光网络。一个或多个通信网络还可以是本地网络、广域网络、城市网络、车辆和工业网络、实时网络、延迟容忍网络等等。一个或多个通信网络的示例包括诸如以太网的局域网、无线LAN，包括全球移动通信系统(global systems formobile communications,GSM)、第三代(third generation,3G)、第四代(fourthgeneration,4G)、第五代(fifth generation,5G)、长期演进(Long-Term Evolution,LTE)等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的TV有线或无线广域数字网络、包括CANBus的车辆和工业网络等等。某些网络通常需要附接到某些通用数据端口或外围总线(949)的外部网络接口适配器(954)(例如计算机系统800的USB端口)；如下所述，其他网络接口通常通过附接到系统总线而集成到计算机系统800的内核中(例如，连接到PC计算机系统中的以太网接口或连接到智能手机计算机系统中的蜂窝网络接口)。作为示例，网络855可以使用网络接口854连接到外围总线849。计算机系统800可以使用这些网络中的任何一个网络与其他实体进行通信。此类通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，连接到某些CANbus设备的CANbus)，或者是双向的，例如使用局域网或广域数字网络连接到其他计算机系统。如上所述，这些网络和每一个网络接口都可以使用某些协议和协议栈。
上述人机接口设备，人类可访问的存储设备和网络接口可以附接到计算机系统800的内核840。
内核840可以包括一个或多个中央处理单元(Central Processing Units,CPU)841、图形处理单元(Graphics Processing Units,GPU)842、现场可编程门阵列(FieldProgrammable Gate Areas,FPGA)843形式的专用可编程处理单元、用于某些任务的硬件加速器844等。这些设备与只读存储器(Read-only memory,ROM)845、随机存取存储器(Random-access memory,RAM)846、诸如内部非用户可访问硬盘驱动器、固态驱动器(solid-state drives，SSD)等的内部大容量存储器847可以通过系统总线848连接。在一些计算机系统中，系统总线848可以以一个或多个物理插头的形式访问，以能够通过附加的CPU、GPU等进行扩展。外围设备可以直接或者通过外围总线(849)连接到内核的系统总线848。外围总线的体系结构包括外围组件互连(peripheral component interconnect，PCI)、USB等。
CPUs 841、GPUs 842、FPGAs 843和加速器844可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 845或RAM 846中。过渡数据也可以存储在RAM 846中，而永久数据可以存储在例如内部大容量存储器847中。可以通过使用高速缓冲存储器来实现对任何存储器设备的快速存储和检索，高速缓冲存储器可以与一个或多个CPU 841、GPU 842、大容量存储器847、ROM 845、RAM 846等紧密相关。
计算机可读介质可以存储用于执行各种由计算机实现的操作的计算机代码。介质和计算机代码可以是那些为了本公开的目的而专门设计和构造的介质和计算机代码，或者它们可以是计算机软件领域的技术人员公知和可用的类型。
作为非限制性示例，具有架构800的计算机系统，特别是内核840可以提供由于处理器(包括CPU、GPU、FPGA、加速器等)执行包含在一个或多个有形的计算机可读介质中的软件而产生的功能。这样的计算机可读介质可以是与如上所述的用户可访问大容量存储器相关联的介质，以及具有非暂时性的内核840的某些存储器，例如内核内部大容量存储器847或ROM 845。实施本公开的各种实施例的软件可以存储在这样的设备中并由内核840执行。根据特定需要，计算机可读介质可以包括一个或多个存储器设备或芯片。软件可以使内核840，特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM 846中的数据结构和根据由软件定义的过程来修改这样的数据结构。此外或作为替代，可以由于硬连线或以其他方式体现在电路(例如：加速器844)中逻辑而使得计算机系统提供功能，其可代替或与软件一起操作以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，提及软件的部分可以包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质的部分可以包括存储用于执行的软件的电路(例如集成电路(integrated circuit，IC))、体现用于执行的逻辑的电路，或者包括两者。本公开包括硬件和软件的任何合适组合。
虽然本公开已经描述了几个示例性实施例，但是存在落入本公开范围内的修改、置换和各种替代等价物。因此，应理解，本领域技术人员将能够设计出许多系统和方法，尽管在此未明确示出或描述，但这些系统和方法体现了本公开的原理并因此在本公开的精神和范围内。

Claims (20)

1.一种使用至少一个处理器对编码视频码流进行解码的方法，所述方法包括：
从所述编码视频码流中获取编码图片；
解码所述编码图片以生成解码图片；
从所述编码视频码流中获取指示是否启用参考图片重采样的第一标志；
基于所述指示是否启用参考图片重采样的第一标志，从所述编码视频码流中获取指示参考图片是否具有在所述编码视频码流中指示的恒定参考图片大小的第二标志；
基于所述指示是否启用所述参考图片重采样的第一标志，从所述编码视频码流中获取指示输出图片是否具有在所述编码视频码流中指示的恒定输出图片大小的第三标志；
基于所述指示参考图片是否具有恒定参考图片大小的第二标志，通过对所述解码图片进行重采样以使其具有所述恒定参考图片大小来生成参考图片，并将所述参考图片存储在解码图片缓存中；以及
基于所述指示输出图片具有恒定输出图片大小的第三标志，通过对所述解码图片进行重采样以使其具有所述恒定输出图片大小来生成输出图片，并输出所述输出图片。
2.根据权利要求1所述的方法，其中，在所述编码视频码流中包括的序列参数集中写入所述第一标志、所述第二标志和所述第三标志。
3.根据权利要求1所述的方法，还包括：从所述编码视频码流中获取图片分辨率信息；
其中，所述图片分辨率信息指示最大图片分辨率和最小图片分辨率中的至少一个。
4.根据权利要求3所述的方法，其中，在所述编码视频码流中包括的解码器参数集中写入所述图片分辨率信息。
5.根据权利要求1所述的方法，还包括：从所述编码视频码流中获取图片大小列表。
6.根据权利要求5所述的方法，还包括：获取指示所述图片大小列表内的所述解码图片的图片大小的索引。
7.根据权利要求6所述的方法，其中，在所述编码视频码流中包括的序列参数集中写入所述图片大小列表，以及
在所述编码视频码流中包括的图片参数集中写入的所述索引。
8.根据权利要求1所述的方法，还包括：获取指示是否启用运动向量缩放的第四标志。
9.根据权利要求8所述的方法，其中，在所述编码视频码流中包括的图片参数集中写入所述第四标志。
10.一种用于对编码视频码流进行解码的设备，所述设备包括：
配置为存储程序代码的至少一个存储器；和
配置为读取所述程序代码并且根据所述程序代码指示而操作的至少一个处理器，所述程序代码包括：
第一获取代码，配置为使所述至少一个处理器从所述编码视频码流中获取编码图片；
解码代码，配置为使所述至少一个处理器解码所述编码图片以生成解码图片；
第二获取代码，配置为使所述至少一个处理器从所述编码视频码流中获取指示是否启用参考图片重采样的第一标志；
第三获取代码，配置为基于所述指示是否启用所述参考图片重采样的第一标志，使得所述至少一个处理器从所述编码视频码流中获取指示参考图片是否具有在所述编码视频码流中指示的恒定参考图片大小的第二标志；
第四获取代码，配置成基于所述指示是否启用所述参考图片重采样的第一标志，使得所述至少一个处理器从所述编码视频码流中获取指示输出图片是否具有在所述编码视频码流中指示的恒定输出图片大小的第三标志；
第一生成代码，配置为基于所述指示参考图片是否具有恒定参考图片大小的第二标志，使得所述至少一个处理器通过对所述解码图片进行重采样以使其具有所述恒定参考图片大小来生成参考图片，并将所述参考图片存储在解码图片缓存中；以及
第二生成代码，配置为基于所述指示所述输出图片具有所述恒定输出图片大小的第三标志，使得所述至少一个处理器通过对所述解码图片进行重采样以使具有所述恒定输出图片大小来生成输出图片，并输出所述输出图片。
11.根据权利要求10所述的设备，其中，在所述编码视频码流中包括的序列参数集中写入所述第一标志，所述第二标志和所述第三标志。
12.根据权利要求10所述的设备，所述程序代码还包括第四获取代码，所述第四获取代码配置为使得所述至少一个处理器从所述编码视频码流中获取图片分辨率信息；
其中，所述图片分辨率信息指示最大图片分辨率和最小图片分辨率中的至少一个。
13.根据权利要求12所述的设备，其中，在所述编码视频码流中包括的解码器参数集中写入所述图片分辨率信息。
14.根据权利要求10所述的设备，所述程序代码还包括第五获取代码，所述第五获取代码配置为使得所述至少一个处理器从所述编码视频码流中获取图片大小列表。
15.根据权利要求14所述的设备，所述程序代码还包括第六获取代码，所述第六获取代码配置为使得所述至少一个处理器获取指示所述图片大小列表内的所述解码图片的图片大小的索引。
16.根据权利要求15所述的设备，其中，在所述编码视频码流中包括的序列参数集中写入所述图片大小列表，以及
在所述编码视频码流中包括的图片参数集中写入所述索引。
17.根据权利要求10所述的设备，所述程序代码进一步包括第七获取代码，所述第七获取代码配置为使得所述至少一个处理器获取指示是否启用运动向量缩放的第四标志。
18.根据权利要求17所述的装置，其中，在所述编码视频码流中包括的图片参数集中写入所述第四标志。
19.一种存储指令的非暂时性计算机可读介质，所述指令包括：一个或多个指令，当由用于对编码视频码流进行解码的设备的一个或多个处理器执行所述指令时，所述一个或多个处理器执行如下操作：
从所述编码视频码流中获取编码图片；
解码所述编码图片以生成解码图片；
从所述编码视频码流中获取指示是否启用参考图片重采样的第一标志；
基于所述指示是否启用参考图片重采样的第一标志，从所述编码视频码流中获取指示参考图片是否具有在所述编码视频码流中指示的恒定参考图片大小的第二标志；
基于所述指示是否启用所述参考图片重采样的第一标志，从所述编码视频码流中获取指示输出图片是否具有在所述编码视频码流中指示的恒定输出图片大小的第三标志；
基于所述指示参考图片是否具有恒定参考图片大小的第二标志，通过对所述解码图片进行重采样以使其具有所述恒定参考图片大小来生成参考图片，并将所述参考图片存储在解码图片缓存中；以及
基于所述指示输出图片具有恒定输出图片大小的第三标志，通过对所述解码图片进行重采样以使其具有所述恒定输出图片大小来生成输出图片，并输出所述输出图片。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，在所述编码视频码流中包括的序列参数集中写入所述第一标志，所述第二标志和所述第三标志。
CN202080023223.3A 2019-06-24 2020-06-18 对编码视频码流进行解码的方法和设备以及介质 Active CN113632485B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962865955P 2019-06-24 2019-06-24
US62/865,955 2019-06-24
US16/899,202 US11032548B2 (en) 2019-06-24 2020-06-11 Signaling for reference picture resampling
US16/899,202 2020-06-11
PCT/US2020/038344 WO2020263665A1 (en) 2019-06-24 2020-06-18 Signaling for reference picture resampling

Publications (2)

Publication Number Publication Date
CN113632485A true CN113632485A (zh) 2021-11-09
CN113632485B CN113632485B (zh) 2024-04-19

Family

ID=74038991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080023223.3A Active CN113632485B (zh) 2019-06-24 2020-06-18 对编码视频码流进行解码的方法和设备以及介质

Country Status (9)

Country Link
US (3) US11032548B2 (zh)
EP (1) EP3987798A4 (zh)
JP (2) JP7164728B2 (zh)
KR (2) KR102596380B1 (zh)
CN (1) CN113632485B (zh)
AU (2) AU2020301123B2 (zh)
CA (1) CA3133010A1 (zh)
SG (1) SG11202109904VA (zh)
WO (1) WO2020263665A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220353516A1 (en) * 2019-06-28 2022-11-03 Sk Telecom Co., Ltd. Method for adaptively setting resolution, and image decoding apparatus
US11206404B2 (en) * 2019-07-08 2021-12-21 Fastvdo Llc Adaptive resolution change in video streams
EP4011084A4 (en) 2019-08-06 2023-08-09 OP Solutions PRESCALE ADAPTIVE RESOLUTION MANAGEMENT
BR112022002154A2 (pt) 2019-08-06 2022-04-19 Op Solutions Llc Sinalização implícita de gerenciamento de resolução adaptativa com base no tipo de quadro
JP2022544160A (ja) * 2019-08-06 2022-10-17 オーピー ソリューションズ， エルエルシー 適応分解能管理信号伝達
KR20220090493A (ko) 2019-08-06 2022-06-29 오피 솔루션즈, 엘엘씨 블록-기반 적응적 해상도 관리
WO2021039871A1 (ja) * 2019-08-27 2021-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11140402B2 (en) * 2019-09-20 2021-10-05 Tencent America LLC Signaling of reference picture resampling with constant window size indication in video bitstream
CN114375580A (zh) * 2019-09-27 2022-04-19 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN114902680A (zh) 2019-12-19 2022-08-12 抖音视界(北京)有限公司 视频的自适应颜色变换和差分编解码的联合使用
US11632540B2 (en) * 2019-12-20 2023-04-18 Qualcomm Incorporated Reference picture scaling ratios for reference picture resampling in video coding
US11563947B2 (en) * 2019-12-31 2023-01-24 Tencent America LLC Signaling output picture size for reference picture resampling
WO2021136554A1 (en) * 2020-01-05 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. General constraints information for video coding
WO2021143896A1 (en) 2020-01-18 2021-07-22 Beijing Bytedance Network Technology Co., Ltd. Adaptive colour transform in image/video coding
US20230031886A1 (en) * 2021-08-02 2023-02-02 Tencent America LLC Adaptive up-sampling filter for luma and chroma with reference picture resampling (rpr)
WO2023026645A1 (ja) * 2021-08-23 2023-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
WO2023127940A1 (ja) * 2021-12-29 2023-07-06 ソニーグループ株式会社 画像処理装置および画像処理方法
CN114339291B (zh) * 2021-12-31 2024-05-28 杭州当虹科技股份有限公司 流媒体视频缩放播放的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182755A1 (en) * 2012-01-14 2013-07-18 Qualcomm Incorporated Coding parameter sets and nal unit headers for video coding
US20150063453A1 (en) * 2012-04-16 2015-03-05 Electronics And Telecommunications Research Institute Image information decoding method, image decoding method, and device using same
US20150264370A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190408B2 (en) * 2001-05-17 2007-03-13 Koninklijke Philips Electronics N.V. TV-receiver, image display apparatus, TV-system and method for displaying an image
US7379496B2 (en) 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
TWI387317B (zh) * 2008-12-11 2013-02-21 Novatek Microelectronics Corp 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US20130177084A1 (en) 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9813723B2 (en) 2013-05-03 2017-11-07 Qualcomm Incorporated Conditionally invoking a resampling process in SHVC

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182755A1 (en) * 2012-01-14 2013-07-18 Qualcomm Incorporated Coding parameter sets and nal unit headers for video coding
US20150063453A1 (en) * 2012-04-16 2015-03-05 Electronics And Telecommunications Research Institute Image information decoding method, image decoding method, and device using same
US20150264370A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STEPHAN WENGER等: "[AHG19] On Signaling of Adaptive Resolution Change，JVET-N0052", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING, pages 2 - 3 *

Also Published As

Publication number Publication date
CN113632485B (zh) 2024-04-19
AU2020301123B2 (en) 2022-12-08
WO2020263665A1 (en) 2020-12-30
KR20230154285A (ko) 2023-11-07
JP2022183334A (ja) 2022-12-08
KR102596380B1 (ko) 2023-11-01
AU2023201381A1 (en) 2023-04-06
US11381824B2 (en) 2022-07-05
JP2022520378A (ja) 2022-03-30
EP3987798A4 (en) 2023-07-05
AU2020301123A1 (en) 2021-09-30
EP3987798A1 (en) 2022-04-27
KR20210074378A (ko) 2021-06-21
US20200404279A1 (en) 2020-12-24
SG11202109904VA (en) 2021-10-28
CA3133010A1 (en) 2020-12-30
US20210266556A1 (en) 2021-08-26
US20220295072A1 (en) 2022-09-15
JP7164728B2 (ja) 2022-11-01
US11032548B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
CN113632485B (zh) 对编码视频码流进行解码的方法和设备以及介质
CN112997503B (zh) 对已编码视频序列进行解码的方法、装置及存储介质
US20210329283A1 (en) Signaling of adaptive picture size in video bitstream
US11765344B2 (en) Signaling of inter layer prediction in video bitstream
AU2023202413B2 (en) Signaling of inter layer prediction in video bitstream
CN112005549B (zh) 一种帧内-帧间预测控制方法、装置、设备及存储介质
US11539957B2 (en) Layered random access with reference picture resampling
CN113508582A (zh) 多线帧内预测的模式列表生成
JP7391994B2 (ja) 参照ピクチャー再サンプリングのための出力ピクチャー・サイズの信号伝達に関する方法、装置およびコンピュータ・プログラム
RU2773642C1 (ru) Сигнализация для передискретизации опорного изображения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40057575

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant