CN105247865A - 用于视频编码和解码的方法和技术设备 - Google Patents

用于视频编码和解码的方法和技术设备 Download PDF

Info

Publication number
CN105247865A
CN105247865A CN201480029789.1A CN201480029789A CN105247865A CN 105247865 A CN105247865 A CN 105247865A CN 201480029789 A CN201480029789 A CN 201480029789A CN 105247865 A CN105247865 A CN 105247865A
Authority
CN
China
Prior art keywords
picture
sample
resolution
positional information
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480029789.1A
Other languages
English (en)
Inventor
K·宇居尔
J·莱内玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN105247865A publication Critical patent/CN105247865A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种编码和解码方法以及用于编码和解码的技术设备。所述方法包括以各种分辨率对图片进行编码；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。

Description

用于视频编码和解码的方法和技术设备
技术领域
本申请总体上涉及对数字视频材料的编码和解码。具体地，本申请涉及可分级的且高保真的编码。
背景技术
本节旨在提供权利要求书中记载的本发明的背景或上下文。本文中的描述可以包括能够寻求的概念，但是不一定是之前已经设想或寻求的概念。因此，除非本文中另行指示，在本节中描述的内容不是本申请中的描述和权利要求的现有技术并且不会通过包含在本节中而被承认为是现有技术。
视频编码系统可以包括编码器和解码器，编码器将输入视频变换成适合于存储/传输的经压缩的表示，解码器能够将经压缩的视频表示解压回到可观看的形式。编码器可以丢弃原始视频序列中的一些信息以便以更紧凑的形式来表示视频，例如以使得能够以比可能需要的比特率更低的比特率来存储/传输视频信息。
发明内容
根据第一示例，提供了一种方法，所述方法包括：以各种分辨率对图片进行编码；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。
根据实施例，所述样本来自以下组中的一项：亮度样本、色度样本、亮度样本和色度样本两者。
根据实施例，所述方法还包括通过添加指定所述样本在当前层中的相对于更低层的相位偏移的位置信息来确定所述样本在参考层中的位置。
根据实施例，所述方法还包括基于所述位置信息来确定用于对参考层中的所述样本上采样到增强层的滤波器。
根据实施例，所述位置信息是参考层样本和增强层样本之间的水平相位差。
根据实施例，所述位置信息是参考层样本和增强层样本之间的垂直相位差。
根据实施例，水平相位偏移和垂直相位偏移的值处在0到7的范围内，包括0和7在内。
根据实施例，水平相位偏移和垂直相位偏移的存在由比特流中的比特指示。
根据第二示例，提供了一种装置，所述装置包括：至少一个处理器；以及至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器使得所述装置至少执行：以各种分辨率对图片进行编码；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。
根据第三示例，提供了一种包括计算机可读介质的计算机程序产品，所述计算机可读介质承载体现在其中的、用于与计算机一起使用的计算机程序代码，所述计算机程序代码包括：用于以各种分辨率对图片进行编码的代码；用于确定每个分辨率的样本的位置信息的代码；用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的代码；以及用于对所述样本的确定的所述位置信息进行信号传送的代码。
根据第四示例，提供了一种利用指令编码的计算机可读介质，所述指令当由计算机执行时执行：以各种分辨率对图片进行编码；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。
根据第五示例，提供了一种方法，所述方法包括：以各种分辨率对图片进行解码，其中所述解码包括；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。
根据实施例，所述样本来自以下组中的一项：亮度样本、色度样本、亮度样本和色度样本两者。
根据实施例，所述方法还包括通过添加指定所述样本在当前层中的相对于更低层的相位偏移的位置信息来确定所述样本在参考层中的位置。
根据实施例，所述方法还包括基于所述位置信息来确定用于对参考层中的所述样本上采样到增强层的滤波器。
根据实施例，所述位置信息是参考层样本和增强层样本之间的水平相位差。
根据实施例，所述位置信息是参考层样本和增强层样本之间的垂直相位差。
根据实施例，水平相位偏移和垂直相位偏移的值处在0到7的范围内，包括0和7在内。
根据实施例，水平相位偏移和垂直相位偏移的存在由比特流中的比特指示。
根据第六示例，提供了一种装置，所述装置包括：至少一个处理器；以及至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器使得所述装置至少执行：以各种分辨率对图片进行解码；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。
根据第七示例，提供了一种包括计算机可读介质的计算机程序产品，所述计算机可读介质承载体现在其中的、用于与计算机一起使用的计算机程序代码，所述计算机程序代码包括：用于以各种分辨率对图片进行解码的代码；用于确定每个分辨率的样本的位置信息的代码；用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的代码；以及用于对所述样本的确定的所述位置信息进行信号传送的代码。
根据第八示例，提供了一种利用指令编码的计算机可读介质，所述指令当由计算机执行时执行：以各种分辨率对图片进行解码；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。
根据第九示例，提供了一种装置，所述装置至少包括：用于处理的装置；用于以各种分辨率对图片进行编码的装置；用于确定每个分辨率的样本的位置信息的装置；用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的装置；以及用于对所述样本的确定的所述位置信息进行信号传送的装置。
根据第十示例，提供了一种装置，所述装置至少包括：用于处理的装置；用于以各种分辨率对图片进行解码的装置；用于确定每个分辨率的样本的位置信息的装置；用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的装置；以及用于对所述样本的确定的所述位置信息进行信号传送的装置。
附图说明
为了更完整地理解本发明的示例实施例，现在结合附图对下面的描述进行参考，在附图中：
图1图示了根据实施例的视频编码系统的方框图；
图2图示了根据实施例的装置的布局；
图3图示了根据示例实施例的包括多个装置、网络和网络元件的用于视频编码的布置；
图4图示了根据实施例的视频编码器的方框图；
图5图示了根据实施例的视频解码器的方框图；
图6图示了其中低分辨率样本与高分辨率样本重叠的示例；
图7图示了方法的实施例；
图8图示了用于2X可分级性的高分辨率亮度样本和低分辨率亮度样本；以及
图9图示了系统的实施例。
具体实施方式
图1示出了根据示例实施例的视频编码系统的方框图作为示范性装置或电子装置50的示意性方框图，所述示范性装置或电子装置50可以包含根据本发明的实施例的编解码器。图2示出了根据示例实施例的装置的布局。接下来将解释图1和图2的元件。
电子装置50可以例如是移动终端或无线通信系统的用户设备。然而，将认识到，本发明的实施例可以被实施在可以要求编码和解码或对视频图像进行编码和解码的任何电子设备或装置内。
装置50可以包括用于包含和保护设备的壳体30。装置50还可以包括形式为液晶显示器的显示器32。在本发明的其他实施例中，显示器可以是适合于显示图像或视频的任何适当的显示技术。装置50还可以包括小键盘34。在本发明的其他实施例中，可以采用任何适当的数据或用户接口机构。例如，用户接口可以被实施为作为触敏显示器的一部分的虚拟键盘或数据输入系统。装置可以包括麦克风36或可以为数字或模拟信号输入的任何适当的音频输入。装置50还可以包括音频输出设备，所述音频输出设备在本发明的实施例中可以为以下的任何一个：耳机38、扬声器或任何模拟音频或数字音频输出连接。装置50还可以包括电池40(或在本发明的其他实施例中，设备可以由诸如太阳能电池、燃料电池或时钟机构发生器的任何适当的移动能量设备来供电)。装置还可以包括能够记录或捕获图像和/或视频的相机42。在一些实施例中，装置50还可以包括用于到其他设备的短程视影通信的红外端口。在其他实施例中，装置50还可以包括任何适当的短程通信解决方案，诸如举例而言蓝牙无线连接或USB/火线有线连接。
装置50可以包括控制器56或用于控制装置50的处理器。控制器56可以被连接到存储器58，所述存储器58在本发明的实施例中可以存储以图像和音频数据的形式的两种数据和/或还可以存储用于实施在控制器56上的指令。控制器56还可以被连接到适合于执行对音频和/或视频数据的编码和解码或辅助由控制器56执行的编码和解码的编解码器电路54。
装置50还可以包括读卡器48和智能卡46，例如用于提供用户信息并且适合于提供用于在网络处对用户的认证和授权的认证信息的UICC和UICC阅读器。
装置50可以包括连接到控制器并且适合于生成无线通信信号例如以用于与蜂窝通信网络、无线通信系统或无线局域网的通信的无线电接口电路52。装置50还可以包括连接到射频接口电路52以用于向其他装置传输在无线电接口电路52处生成的射频信号并且用于从其他装置接收射频信号的天线44。
在本发明的一些实施例中，装置50包括能够记录或检测单个帧的相机，这些帧之后被传递到编解码器54或控制器以用于处理。在本发明的一些实施例中，装置可以在传输和/或存储视频图像数据之前从另一设备接收该视频图像数据以用于处理。在本发明的一些实施例中，装置50可以无线地或通过有线连接接收图像以用于编码/解码。
图3示出了根据示例实施例的包括多个装置、网络和网络元件的用于视频编码的布置。参考图3，示出了其内能够利用本发明的实施例的系统的示例。系统10包括多个通信设备，所述多个通信设备能够通过一个或多个网络通信。系统10可以包括有线网络或无线网络的任何组合，包括但不限于无线蜂窝电话网络(诸如，GSM、UMTS、CDMA网络等)、诸如由IEEE802.x标准中的任何标准限定的无线局域网(WLAN)、蓝牙个人局域网、以太网局域网、令牌环局域网、广域网以及互联网。
系统10可以包括适合于实施本发明的实施例的有线和无线通信设备或装置50两者。例如，图3中示出的系统示出了移动电话网络11和互联网28的表示。到互联网28的连接性可以包括但不限于远程无线连接、短程无线连接以及各种有线连接，包括但不限于电话线、线缆线、电力线和类似的通信通路。
系统10中示出的示例通信设备可以包括但不限于电子设备或装置50、个人数字助理(PDA)和移动电话14的组合、PDA16、集成消息设备(IMD)18、台式计算机20、笔记本电脑22。装置50当由正在移动的个人携带时可以是固定的或移动的。装置50还可以位于交通工具中，交通工具包括但不限于汽车、卡车、出租车、公交车、火车、轮船、飞机、自行车、摩托车或任何类似的交通工具。
一些或另外的装置可以通过到基站24的无线连接25发送和接收呼叫和消息并与服务提供商通信。基站24可以被连接到网络服务器26，所述网络服务器26允许移动电话网络11和互联网28之间的通信。系统可以包括附加的通信设备和各种类型的通信设备。
通信设备可以使用各种传输技术来通信，包括但不限于码分多址(CDMA)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议-互联网协议(TCP-IP)、短消息服务(SMS)、多媒体消息服务(MMS)、电子邮件、即时消息服务(IMS)、蓝牙、IEEE802.11以及任何类似的无线通信技术。在实施本发明的各种实施例中涉及的通信设备可以使用各种介质来通信，包括但不限于无线电、红外、激光、线缆连接以及任何适当的连接。
视频编解码器包括编码器和解码器，编码器将输入视频变换成适合于存储/传输的压缩表示，解码器能够将经压缩的视频表示解压回到可观看的形式。编码器可以丢弃原始视频序列中的一些信息以便以更紧凑的形式(例如，以更低比特率)来表示视频。
例如ITU-TH.263和H.264的混合视频编解码器在两个阶段中对视频信息进行编码。首先，在某个图片中的像素值(或者“块”)例如通过运动补偿装置(找到并指示先前编码的视频帧中的紧密对应于被编码的块的一帧中的区域)或通过空间装置(使用将以指定方式被编码的块周围的像素值)来预测。第二，预测误差，即预测的像素块和原始像素块之间的差被编码。这可以通过使用指定变换(例如，离散余弦变换(DCT)或其变型)来对像素值的差进行变换、对系数进行量化并对所量化的系数进行熵编码来完成。通过改变量化过程的保真度，编码器能够控制像素表示的准确性(图片质量)和得到的经编码的视频表示的大小(文件大小或传输比特率)之间的平衡。编码过程被图示在图4中。图4图示了视频编码器的示例，其中，In：要编码的图像；P'n：预测的图像块的表示；Dn：预测误差信号；D'n：重建的预测误差信号；I'n：初步的重建图像；R'n：最终的重建图像；T、T-1：变换和反变换；Q、Q-1：量化和反量化；E：熵编码；RFM：参考帧存储器；Pinter：帧间预测；Pintra：帧内预测；MS：模式选择；F：滤波。
在诸如HEVC的一些视频编解码器中，视频图片被划分到覆盖图片的区域的编码单元(CU)中。CU包括一个或多个预测单元(PU)和一个或多个变换单元(TU)，所述一个或多个预测单元定义针对CU内的样本的预测过程，所述一个或多个变换单元定义针对所述CU中的样本的预测误差编码过程。CU可以包括具有可从可能CU大小的预定义集合选择的大小的样本的方块。具有最大允许大小的CU可以被称为CTU(编码树单元)并且视频图片被划分成非重叠CTU。CTU还能够例如通过递归地将CTU划分成得到的CU而被拆分成更小的CU的组合。每个得到的CU可以具有至少一个PU和与其相关联的至少一个TU。每个PU和TU能够进一步被划分成更小的PU和TU以便分别增大预测和预测误差编码过程的粒度。每个PU具有与其相关联的、定义哪种类型的预测要被应用于该PU内的像素的预测信息(例如，针对帧间预测的PU的运动向量信息和针对帧内预测的PU的帧内预测方向性信息)。类似地，每个TU与描述针对所述TU内的样本的预测误差解码过程的信息(包括例如DCT系数信息)相关联。可以在CU水平上信号传送是否要针对每个CU应用预测误差编码。在不存在与CU相关联的预测误差残差的情况下，可以认为不存在针对所述CU的TU。图像到CU中的划分以及CU到PU和TU的划分可以在比特流中被信号传送，所述比特流允许解码器重新产生这些单元的预期结构。
解码器通过应用类似于编码器的预测装置以(使用由编码器创建的并且存储在经压缩的表示中的运动或空间信息)形成对像素块的预测的表示和预测误差解码(在空间像素域中恢复经量化的预测误差编码的反操作)来重建输出视频。在应用预测和预测误差解码装置之后，解码器对预测和预测误差信号(像素值)进行合计以形成输出视频帧。解码器(和编码器)还能够应用附加的滤波装置以在将传递输出视频以用于显示和/或将其存储为视频序列中的即将到来的帧的预测参考之前改进该输出视频的质量。解码过程被图示在图5中。图5图示了视频解码器的方框图，其中P'n：预测的图像块的表示；D'n：重建的预测误差信号；I'n：初步的重建图像；R'n：最终的重建图像；T-1：反变换；Q-1：反量化；E-1：熵解码；RFM：参考帧存储器；P：(帧间或帧内)预测；F：滤波。
运动信息可以被指示在视频编解码器中，连同与每个经运动补偿的图像块相关联的运动向量。这些运动向量中的每个运动向量表示将(在编码器侧)被编码或(在解码器侧)被解码的图片中的图像块和先前编码或解码的图片中的一个图片中的预测源块的位移。为了有效地表示运动向量，那些向量可以以与块特定的预测的运动向量不同的方式被编码。在视频编解码器中，预测的运动向量可以以预定义方式、例如通过计算经编码或解码的运动向量或相邻块的中值来被创建。创建运动向量预测的另一方式是从时间参考图片中的相邻块和/或共同定位的块来生成候选预测的列表并将选出的候选者作为运动向量预测来进行信号传送。除了预测运动向量值，能够预测先前编码的/解码的图片的参考索引。通常从时间参考图片中的相邻块和/或共同定位的块来预测参考索引。此外，高效的视频编解码器可以采用附加的运动信息编码/解码机制，被称为“合并/归并模式”，其中包括针对每个可用的参考图片列表的运动向量和对应的参考图片索引的所有运动场信息被预测并且在没有任何修改/校正的情况下被使用。类似地，使用运动场信息或时间参考图片中的相邻块和/或共同定位的块来执行对运动场信息的预测，并且用户运动场信息在填充有可用相邻块/共同定位的块的运动场信息的运动场候选列表的列表之中被信号传送。
在视频编解码器中，在运动补偿之后的预测残差可以首先利用变换核(例如，DCT)被变换并且之后被编码。对此的原因在于该残差中可能仍然存在一些相关性并且在许多情况下变换能够帮助减少该相关性并提供更有效的编码。
视频编码器可以利用拉格朗日成本函数来找到最优编码模式，例如期望的宏块模式和相关联的运动向量。这种类型的成本函数使用加权因子λ以将由于有损编码方法的(精确或估计的)图像失真和表示图像区域中的像素值所要求的(精确或估计的)信息量联系在一起：
C＝D+λR
其中，C是要被最小化的拉格朗日成本，D是考虑了模式和运动向量的图像失真(例如，均方误差)，并且R需要用于表示在解码器中重建图像块所要求的数据的比特的数目(包括表示候选运动向量的数据量)。
如以上解释的，包括H.264/AVC和HEVC的许多混合视频编解码器在两个阶段中对视频信息进行编码，其中第一阶段可以被称为预测编码并且可以包括以下的一项或多项：
在所谓的样本预测中，预测某个图片区域或“块”中的像素值或样本值。例如，可以使用以下方式中的一个或多个方式来预测这些像素或样本值：1)运动补偿机制(其还可以被称为时间预测或运动补偿的时间预测)，其涉及找到并指示先前编码的视频帧中的紧密对应于被编码的块的一帧中的区域。2)视图间预测，其涉及找到并指示先前编码的视频帧中的紧密对应于被编码的块的一帧中的区域。3)视图合成预测，其涉及将预测块或图像区域进行合成，其中预测块基于重建的/解码的测距信息来被导出。4)使用重建的/解码的样本的层间预测，诸如所谓的SVC的IntraBL模式。5)帧内预测，其中像素值或样本值能够通过涉及找到并指示空间区域关系的空间机制来预测。
在还可以被称为参数预测的所谓的语法预测中，语法元素和/或从语法元素导出的语法元素值和/或变量从较早编码(解码)的语法元素和/或较早导出的变量来被预测。语法预测的非限制性示例是：1)在运动向量预测中，例如用于视图间和/或视图内预测的运动向量可以与块特定的预测的运动向量不同的方式来被编码。在许多视频编解码器中，预测的运动向量以预定义方式来被创建，例如通过计算相邻块的经编码或解码的运动向量或相邻块的中值。创建运动向量预测的另一方式，有时被称为高级运动向量预测(AMVP)是从时间参考图片中的相邻块和/或共同定位的块来生成候选预测的列表并将选出的候选者作为运动向量预测符来进行信号传送。除了预测运动向量值，可以预测先前编码的/解码的图片的参考索引。通常从时间参考图片中的相邻块和/或共同定位的块来预测参考索引。对运动向量的差分编码通常在切片边界上被禁用。2)可以预测例如从CTU到CU并且直到PU的块分割。3)在滤波器参数预测中，可以预测例如针对样本自适应偏移的滤波参数。
对不同类型的预测进行分类的另一补充的方式是考虑预测跨哪些域或可分级性类型交叉。该分类可以导致预测的以下类型中的一个或多个类型，有时其还可以被称为预测方向：1)例如具有来自通常具有相同可分级性层、视图和分量类型(纹理或深度)的较早图片的相同值或运动向量的时间预测。2)视图间预测(其还可以被称为交叉视图预测)，涉及在通常具有相同时刻或接入单元和相同分量类型的视图分量之间进行的预测。3)层间预测，涉及在通常具有相同时刻、相同分量类型以及相同视图的层之间进行的预测。4)分量间预测可以被定义为包括对语法元素值、样本值、在解码过程中使用的变量值或从一种类型的分量图片到另一类型的分量图片的任何类似物的预测。例如，分量间预测可以包括对来自深度视图分量的纹理视图分量的预测，或者反之亦然。
使用来自先前编码的图像的图像信息的预测方法还能够被称为帧间预测方法。帧间预测可以有时被认为仅仅包括运动补偿的时间预测，同时其可以有时被认为包括所有类型的预测，其中重建的/解码的样本块被用作预测源，因此包括例如常规视图间预测。帧间预测可以被认为包括仅仅样本预测但是其可以备选地被认为包括样本预测和语法预测两者。
由于语法预测和样本预测，可以获得经预测的样本的像素块。
可分级的视频编码是指其中一个比特流能够包含内容的以不同比特率、分辨率或帧率的多个表示的编码结构。在这些情况下，接收器可以取决于其特性(例如，与显示设备最好地匹配的分辨率)来提取期望的表示。备选地，服务器或网络元件可以取决于例如接收器的网络特性或处理能力来提取要被传输到接收器的比特流的部分。可分级的比特流可以包括提供可获得的最低质量视频的“基本层”和在与更低层一起被接收并解码时增强视频质量的一个或多个增强层。为了改进增强层的编码效率，该层的编码表示可以取决于更低层。例如，能够从更低层预测增强层的运动和模式信息。类似地，更低层的像素数据能够被用于创建针对增强层的预测。
针对质量可分级性(还被称为信噪比或SNR)和/或空间可分级性的可分级的视频编解码器可以被实施如下。对于基本层，使用常规非可分级的视频编码器和解码器。基本层的重建的/解码的图片被包括在用于增强层的参考图片缓冲器中。在H.264/AVC、HEVC以及使用参考图片列表以用于帧间预测的类似的编解码器中，基本层经解码的图片可以被插入到用于对类似于增强层的经解码的参考图片的增强层图片的编码/解码的参考图片列表中。因此，编码器可以选择基本层参考图片作为帧间预测参考并指示其在编码的比特流中与参考图片索引一起使用。解码器从比特流、例如从参考图片索引解码出基本层图片被用作针对增强层的帧间预测参考。当经解码的基本层图片被用作针对增强层的预测参考时，其被称为层间参考图片。
另一类型的可分级性是标准可分级性。在这种类型中，基本层和增强层属于不同的视频编码标准。示例情况是其中基本层利用H.264/AVC来被编码，然而增强层利用HEVC来被编码。在该类型的可分级性后面的动机在于以这种方式，相同的比特流能够由遗留的基于H.264/AVC的系统以及新的基于HEVC的系统来解码。
在包括H.264/AVC和HEVC的许多视频编解码器中，利用与每个运动补偿的图像块相关联的运动向量来指示运动信息。这些运动向量中的每个运动向量表示要(在编码器侧)被编码或(在解码器侧)被解码的图片中的图像块和先前编码的或解码的图片中的一个图片中的预测源块的位移。作为许多其他视频压缩标准的H.264/AVC和HEVC将图片划分成矩阵的网格，针对其中的每个针对帧间预测指示参考图片中的一个参考图片中的相似块。预测块的位置被编码为运动向量，所述运动向量指示预测块相较于被编码的块的位置。
为了有效地表示运动向量，那些可以相对于块特定的预测的运动向量被不同地编码。在许多视频编解码器中，预测的运动向量可以以预定义方式来创建，例如通过计算相邻块的经编码或解码的运动向量的中值。创建运动向量预测的另一方式，有时被称为高级运动向量预测(AMVP)是从时间参考图片中的相邻块和/或共同定位的块来生成候选预测的列表并将选出的候选者作为运动向量预测进行信号传送。
许多编码标准允许使用多个参考图片以用于帧间预测。诸如H.264/AVC和HEVC的许多编码标准包括比特流中的语法结构，所述比特流使得解码器能够在多于一个参考图片可以被使用时创建要在帧间预测中使用的一个或多个参考图片列表。参考图片列表的参考图片索引可以用于指示多个参考图片中的哪个参考图片被用于针对特定块的帧间预测。参考图片索引或识别参考图片的任何其他类似的信息可以因此与运动向量相关联或被认为是运动向量的一部分。参考图片索引可以在一些帧间编码模式中由编码器编码到比特流中或者其可以例如在一些其他帧间编码模式中使用邻近块(通过编码器和解码器)来导出。在H.264/AVC和HEVC的许多编码模式中，利用参考图片列表的索引来指示用于帧间预测的参考图片。可以使用可变长度编码来编码索引，所述可变长度编码通常使较小的索引来具有针对对应的语法元素的较短的值。在H.264/AVC和HEVC中，针对每个双向预测(B)切片生成两个参考图片列表(参考图片列表0和参考图片列表1)，并且针对每个帧间编码的(P)切片来形成一个参考图片列表(参考图片列表0)。另外，对于HEVC标准草案中的B切片，组合的列表(列表C)可以在已经构建了最终的参考图片列表(列表0和列表1)之后被构建。组合的列表可以被用于B切片内的单预测(还称为单向预测)。
例如，AMVP可以如下来操作，同时还有可能利用不同的候选位置集合和具有候选位置集合的候选位置来进行对AMVP的其他类似的实现。可以导出两个空间运动向量预测器(MVP)并且可以导出时间运动向量预测符(TMVP)。例如，它们可以如下来被选择：位于当前预测块以上的三个空间MVP候选位置(B0、Bl、B2)以及左边的两个(A0、A1)。以每个候选位置集合的预定义顺序可用的(例如，驻留在相同切片中、被帧间编码的，等等)第一运动向量预测符(B0、Bl、B2)或(A0、A1)可以被选择为表示运动向量竞争中的预测方向(向上或向左)。针对TMVP的参考索引可以在切片头中由编码器指示(例如，如collocated_ref_idx语法元素)。从共同定位的图片获得的运动向量可以根据TMVP的参考图片、共同定位的图片以及当前图片的图片序号差的比例被缩放。此外，冗余校验可以在候选者之中被执行以去除相同的候选者，其能够导致零MV被包括在候选列表中。运动向量指示符可以例如通过指示空间MVP(向上或向左)的方向或TMVP候选者的选择而在比特流中被指示。
除了预测运动向量值，能够预测先前编码/解码的图片的参考索引。参考索引可以从相邻块和/或从时间参考图片中的共同定位的块来预测。
此外，许多高效的视频编解码器采用附加的运动信息编码/解码机制，通常被称为合并/归并模式，其中，包括针对每个可用的参考图片列表的运动向量和对应的参考图片索引的所有运动场信息被预测并且在没有任何修改/校正的情况下被使用。类似地，使用时间参考图片中的相邻块和/或共同定位的块的运动场信息来执行对运动场信息的预测，并且使用的运动场信息在填充有可用向量块/共同定位的块的运动场信息的运动场候选列表的列表之中被信号传送。
在合并模式中，块/PU的所有运动信息可以被预测并且在没有任何修改/校正的情况下被使用。针对PU的前述运动信息可以包括：1)“PU是仅使用参考图片列表0被单预测的”、还是“PU是仅使用参考图片列表1被单预测的”或是“PU是使用参考图片列表0和列表1两者被双预测的”的信息；2)对应于参考图片列表0的运动向量值；3)参考图片列表0中的参考图片索引；4)对应于参考图片列表1的运动向量值；5)参考图片列表1中的参考图片索引。
类似地，使用时间参考图片中的相邻块和/或共同定位的块的运动场信息来实现对运动场信息的预测。通常，常被称为合并列表的列表通过包括与可用向量块/共同定位的块相关联的运动预测候选者来构建并且所选择的运动预测候选者在列表中的索引被信号传送。之后，所选择的候选者的运动信息被复制到当前PU的运动信息。当合并机制被用于整个CU并且针对CU的预测信号被用作重建信号时，即预测残差未被处理时，这种类型的对CU的编码/解码通常被称为跳跃模式或基于合并的跳跃模式。除了跳跃模式，合并机制还被用于单个PU(不一定是如跳跃模式中的整个CU)并且在这种情况下，可以利用预测残差来改进预测质量。这种类型的预测模式可以被称为合并间(inter-merge)模式。
在跟随有添加反变换的残差的运动补偿之后，获得重建图片。该图片可以具有各种伪影，诸如块效应、振铃等。为了消除伪影，各种后处理操作被应用。如果经后处理的图片被用作运动补偿环路中的参考，则后处理操作/滤波器通常被称为环路滤波器。通过采用环路滤波器，参考图片的质量提高。因此，能够实现更好的编码效率。
环路滤波器之一是去块效应滤波器。去块效应滤波器在H.264/AVC和HEVC标准两者中可用。去块效应滤波器的目的在于去除出现在块的边界中的块效应伪影。这通过沿着块边界滤波来实现。
在HEVC中，引入了两种新的环路滤波器，即，样本自适应偏移(SAO)和自适应环路滤波器(ALF)。SAO在去块效应滤波之后被应用而ALF在SAO之后被应用。
下文是对在最新的HEVC标准规范中出现的SAO算法的描述。在SAO中，图片被划分成区域，其中针对每个区域做出单独的SAO决策。区域中的SAO信息被封装在SAO参数适配单元(SAO单元)中，并且在HEVC中，用于适配SAO参数的基本单元是CTU(因此，SAO区域是由对应的CTU覆盖的块)。
在SAO算法中，CTU中的样本根据规则集被分类并且每个经分类的样本的集合通过添加偏移值而被增强。偏移值在比特流中被信号传送。存在两种类型的偏移：1)带状偏移2)边缘偏移。对于CTU，没有SAO或带状偏移或边缘偏移被采用。是否没有SAO或带状偏移或边缘偏移被使用的选择通常由具有RDO的编码器来决定并且被信号传送到解码器。
在带状偏移中，整个范围的采样值被划分成32个等宽度的带。例如，对于8比特样本，带的宽度是8(＝256/32)。在32个带中的4个带被选择并且针对所选择的带中的每个带来信号传送不同的偏移。选择决策由编码器做出并且如下被信号传送：第一个带的索引被信号通知并且之后推测随后的4个带是选定的带。带状偏移可以在对平滑区域中的误差进行校正时是有用的。
在边缘偏移类型中，首先，边缘偏移(EO)类型从四个可能的类型(或边缘分类)中被选出，其中每个类型与方向相关联：1)垂直；2)水平；3)135度对角；以及4)45度对角。方向的选择由编码器给出并被信号传送到解码器。每种类型基于角度针对给定样本定义两个邻近样本的位置。之后，CTU中的每个样本基于针对两个邻近样本的值的样本值的比较而被分类到五个种类之一。五个种类被描述如下：1)当前样本值小于两个邻近样本；2)当前样本值小于邻居中的一个邻居并且等于其他邻居；3)当前样本值大于邻居中的一个邻居并且等于其他邻居；4)当前样本值大于两个邻近样本；5)以上都不是。
这五个种类不要求被信号传送到解码器，因为分类仅仅基于重建样本，所述重建样本在编码器和解码器两者中是可用并且相同的。在边缘偏移类型CTU中的每个样本被分类为五个种类之一后，针对头四个种类中的每个的偏移值被确定并被信号传送到解码器。针对每个种类的偏移被添加到与对应的种类相关联的样本值。边缘偏移可以在对振铃伪影进行校正时是有效的。
SAO参数被信号传送为被交错在CTU数据中。在CTU上面，切片头含有指定是否要在切片中使用SAO的语法元素。如果使用SAO，则两个附加的语法元素指定SAO是否被应用到Cb和Cr分量。对于每个CTU，存在三个选项：1)复制来自左边CTU的SAO参数2)复制来自上边CTU的SAO参数或者3)信号传送新的SAO参数。
自适应环路滤波器(ALF)是增强重建样本的质量的另一方法。这通过在环路中对样本值进行滤波来实现。通常，编码器确定图片中的哪个区域要被滤波和基于RDO的滤波器系数并且该信息被信号传送到解码器。
在HEVC标准草案中，经编码的切片NAL单元能够被指示为以下类型之一。
在HEVC标准草案中，图片类型的缩写可以被定义如下：追随(TRAIL)图片，时间子层接入(TSA)、步进式时间子层接入(TSA)、随机接入可解码引导(RADL)图片、随机接入跳跃的引导(RASL)图片、失效链接接入(BLA)图片、瞬时解码刷新(IDR)图片、空白随机接入(CRA)图片。
随机接入点(RAP)图片是其中每个切片或切片分段具有在16到23的范围中包括16和23的nal_unit_type的图片。RAP图片含有仅仅帧内编码的切片，并且可以是BLA图片、CRA图片或IDR图片。比特流中的第一个图片是RAP图片。假设在必要的参数集需要被激活时其是可用的，则RAP图片和在解码顺序中的所有随后的非RASL图片能够在没有执行对在解码顺序中在RAP图片前面的任何图片的解码过程的情况下被正确地校正。在比特流中可以存在仅含有不是RAP图片的帧内编码的切片的图片。
在HEVC中，CRA图片在解码顺序中是比特流中的第一个图片，或者可以稍后出现在比特流中。在HEVC中的CRA图片允许在解码顺序中在CRA图片后面但是在输出顺序中在其前面的所谓的引导图片。引导图片中的一些引导图片、所谓的RASL图片可以使用在CRA图片之前解码的图片作为参考。如果随机接入被执行在CRA图片处则在解码顺序和输出顺序两者中都在CRA图片后面的图片是可解码的，并且因此空白随机接入与IDR图片的空白随机接入功能类似地被实现。
CRA图片可以具有相关联的RADL或RASL图片。当CRA图片在解码顺序中是比特流中的第一个图片时，CRA图片在解码顺序中是编码视频序列中的第一个图片，并且任何相关联的RASL图片不是由解码器输出并且可能不是可解码的，因为它们可能含有对比特流中不存在的图片的参考。
引导图片是在输出顺序中在相关联的RAP图片前面的图片。相关联的RAP图片是在解码顺序中的前面的RAP图片(如果存在的话)。引导图片是RADL图片或RASL图片。
所有RASL图片是相关联的BLA或CLA图片的引导图片。当相关联的RAP图片是BLA图片或者是比特流中的第一个经编码的图片时，RASL不被输出并且可能不是可正确解码的，因为RASL图片可能含有对比特流中不存在的图片的参考。然而，在解码已经从在RASL图片的相关联的RAP图片前面的RAP图片开始时RASL图片能够被正确解码。RASL图片不被用作用于非RASL图片的解码过程的参考图片。当存在时，在解码顺序中所有RASL图片在相同的相关联的RAP图片的所有追随图片以前。在一些较早的HEVC标准草案中，RASL图片被称为标记为丢弃(TFD)的图片。
所有RADL图片是引导图片。RADL图片不被用作用于相同的相关联的RAP图片的追随图片的解码过程的参考图片。当存在时，在解码顺序中所有RASL图片在相同的相关联的RAP图片的所有追随图片以前。RADL图片不是指在解码顺序中在相关联的RAP图片前面的任何图片，并且因此在解码从相关联的RAP图片开始时能够被正确解码。在一些较早的HEVC标准草案中，RADL图片被称为可解码引导图片(DLP)。
当比特流的从CRA图片开始的部分被包括在另一比特流中时，与CRA图片相关联的RASL图片可能不是可正确解码的，因为其参考图片中的一些参考图片可能在组合的比特流中不存在。为了使这样的拼接操作简单，CRA图片的NAL_UNIT_TYPE可以被改变以指示其是BLA图片。与BLA图片相关联的RASL图片可能不是可正确解码的，因此不被输出/显示。另外，与BLA图片相关联的RASL图片可能从解码被省略。
BLA图片在解码顺序中可以是比特流中的第一个图片，或者可以稍后出现在比特流中。每个BLA图片开始新编码的视频序列，并且具有对解码过程的与IDR图片类似的效果。然而，BLA图片含有指定非空参考图片集的语法元素。当BLA图片具有等于BLA_W_LP的nal_unit_type时，其可以具有相关联的RASL图片，RASL图片不由解码器输出并且可以不是可解码的，因为它们可能含有对比特流中不存在的图片的参考。当BLA图片具有等于BLA_W_LP的nal_unit_type时，其还可以具有相关联的RADL图片，RADL图片被指定为被解码。当BLA图片具有等于BLA_W_DLP的nal_unit_type时，其不具有相关联的RASL图片但是可以具有相关联的RADL图片，RADL图片被指定为被解码。当BLA图片具有等于BLA_N_LP的nal_unit_type时，其不具有任何相关联的引导图片。
具有等于IDR_N_LP的nal_unit_type的IDR图片不具有存在于比特流中的相关联的引导图片。具有等于DR_W_LP的nal_unit_type的IDR图片不具有存在于比特流中的相关联的RASL图片，但可以具有比特流中的相关联的RADL图片。
当nal_unit_type的值等于TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12或RSV_VCL_N14时，经解码的图片不被用作针对相同的时间子层的任何其他图片的参考。即，在HEVC标准草案中，当nal_unit_type的值等于TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12或RSV_VCL_N14时，经解码的图片不被包括在具有相同的TemporalId的值的任何图片的RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中的任一个中。在不影响具有相同的TemporalId的值的其他图片的可解码性的情况下，具有等于TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12或RSV_VCL_N14的nal_unit_type的经编码的图片可以被丢弃。
追随图片可以被定义为在输出顺序中在相关联的RAP图片后面的图片。作为追随图片的任何图片不具有等于RADL_N、RADL_R、RASL_N或RASL_R的nal_unit_type。作为引导图片的任何图片可以被约束为在解码顺序中在与相同的RAP图片相关联的所有追随图片前面。在比特流中不存在与具有等于BLA_W_DLP或BLA_N_LP的nal_unit_type的BLA图片相关联的RASL图片。在比特流中不存在与具有等于BLA_N_LP的nal_unit_type的BLA图片相关联的或者与具有等于IDR_N_LP的nal_unit_type的IDR图片相关联的RADL图片。与CRA或BLA图片相关联的任何RASL图片可以被约束为在输出顺序中在与CRA或BLA图片相关联的任何RADL图片前面。与CRA图片相关联的任何RASL图片可以被约束为在输出顺序中在任何其他RAP图片后面，所述任何其他RAP图片在解码顺序中在CRA图片前面。
在HEVC中存在两种图片类型，TSA和STSA图片类型，其能够用于指示时间子层切换点。如果具有直到N的TemporalId的时间子层已经被解码直到TSA或STSA图片(排他性的)以及TSA或STSA图片已经具有等于N+1的TemporalId，则TSA或STSA图片使得能够对具有等于N+1的TemporalId的(在解码顺序中的)所有后续图片进行解码。TSA图片类型可以对TSA图片本身和在相同子层中的在解码顺序中在TSA图片后面的所有图片施加限制。这些图片中没有一个图片被允许使用来自在相同子层中的在解码顺序中在TSA图片前面的任何图片的帧间预测。TSA定义还可以对在更高的子层中的在解码顺序中在TSA图片后面的图片施加限制。这些图片中没有一个图片被允许指代在该图片属于与TSA图片相同的或比TSA图片更高的子层时在解码顺序中在TSA图片前面的图片。TSA图片具有大于0的TemporalId。STSA类似于TSA图片，但是不对在更高的子层中的在解码顺序中在STSA图片后面的图片施加限制并且因此实现仅仅到STSA图片所在的子层上的上切换。
非VCLNAL单元可以是例如以下类型之一：序列参数集、图片参数集、辅助增强信息(SEI)NAL单元、接入单元分界符、序列NAL单元的结尾、流NAL单元的结尾或填充器数据NAL单元。对解码的图片的重建可能需要参数集，然而其他非VCLNAL单元中的许多非VCLNAL单元对于对解码的样本值的重建不是必要的。
通过编码的视频序列保持未改变的参数可以被包括在序列参数集中。除了可能由解码过程需要的参数，序列参数集可以可选地包含视频可用性信息(VUI)，其包括可能对于缓冲、图片输出定时、渲染和资源预留重要的参数。存在H.264/AVC中指定的用于承载序列参数集的三个NAL单元：包含用于序列中的H.264/AVCVCLNAL单元的所有数据的序列参数集NAL单元、包含用于辅助编码的图片的数据的序列参数集扩展NAL单元以及用于MVC和SVCVCLNAL单元的子集序列参数集。在HEVC标准草案中，序列参数集RBSP包括能够被称为一个或多个图片参数集RBSP或包含缓存期间SEI消息的一个或多个SEINAL单元的参数。图片参数集包含这样的参数，其有可能在若干经编码的图片中未被改变。图片参数集RBSP可以包括能够被称为一个或多个经编码的图片的编码的切片NAL单元的参数。
在HEVC草案中，还存在第三类型的参数集，这里被称为适应参数集(APS)，其包括有可能在若干编码切片中未被改变但是可能例如针对每个图片或每几个图片改变的参数。在HEVC草案中，APS语法结构包括与量化矩阵(QM)、自适应样本偏移(SAO)、自适应环路滤波(ALF)以及去块效应滤波有关的参数或语法元素。在HEVC草案中，APS是NAL单元并且在没有来自任何其他NAL单元的参考或预测的情况下被编码。被称为aps_id语法元素的标识符被包括在APSNAL单元中，并且在切片头中被包括和使用以指代特定APS。在另一HEVC标准草案中，APS语法结构仅仅包含ALF参数。在HEVC标准草案中，在sample_adaptive_offset_enabled_flag或adaptive_loop_filter_enabled_flag中的至少一个等于1时适应参数集RBSP包括能够被称为一个或多个经编码的图片的编码的切片NAL单元的参数。在一些后来的HEVC草案中，APS语法结构从规范文本被去除。
在HEVC中，视频参数集(VPS)可以被定义为包含应用到如由在SPS中找到的语法元素的内容确定的零个或多个整个编码的视频序列的语法元素的语法结构，SPS被称为在PPS中找到的语法元素，PPS被称为在每个切片分段头中找到的语法元素。
视频参数集RBSP可以包括能够被称为一个或多个序列参数集RBSP的参数。
视频参数集(VPS)、序列参数集(SPS)以及图片参数集(PPS)之间的关系和层次可以被描述如下。VPS在参数集层次中并且在可分级性和/或3D视频的上下文中驻存在SPS以上的一个层级。VPS可以包括跨整个编码的视频序列中的所有(可分级性或视图)层的所有切片共同的参数。SPS包括跨整个编码的视频序列中的特定(可分级性或视图)层中的所有切片共同的参数，并且可以由多个(可分级性或视图)层共享。PPS包括特定层表示(一个接入单元中的一个可分级性或视图层的表示)中的所有切片共同的参数，并且有可能由多个层表示中的所有切片共享。
VPS可以提供关于比特流中的层的依赖关系的信息，以及适用于跨整个编码的视频序列中的所有(可分级性或视图)层的所有切片的许多其他信息。在HEVC的可分级的扩展中，例如，VPS可以包括从NAL单元头导出到LayerId值到一个或多个可分级性尺寸值的映射，例如对应于dependency_id、quality_id、view_id以及针对与SVC和MVC类似地定义的层的depth_flag。VPS可以包括针对一个或多个层的简档和层级信息以及针对层表示的(包括在特定temporal_id值处和以下的VCLNAL单元的)一个或多个时间子层的简档和/或层级。
H.264/AVC和HEVC语法允许参数集的许多实例，并且每个实例利用唯一的标识符来标识。为了限制参数集需要的存储器使用，参数集标识符的值范围已经被限制。在H.264/AVC和HEVC标准草案中，每个切片头包括针对包含切片的图片的解码活动的图片参数集的标识符，并且每个图片参数集包含活动的序列参数集的标识符。在HEVC标准草案中，切片头附加地包含APS标识符，尽管在一些后来的HEVC标准草案中从切片头去除了APS标识符。因此，对图片和序列参数集的传输不一定必须与切片的传输准确地同步。相反，在它们被参考之前的任何时刻接收活动序列和图片参数集是足够的，这允许使用与用于切片数据的协议相比更可靠的传输机制对“带外”参数集的传输。例如，参数集能够被包括作为用于实时传输协议(RTP)会话的会话描述中的参数。如果在带内传输参数集，则它们能够被重复以改进误差鲁棒性。
参数集可以通过来自切片或来自另一活动的参数集或在一些情况下来自诸如缓存期间SEI消息的另一语法结构的参考来激活。
SEINAL单元可以包含一个或多个SEI消息，其不是输出图片的解码所要求的但是可以辅助相关的过程，例如图片输出定时、渲染、误差检测、误差掩盖以及资源预留。若干SEI消息在H.264/AVC和HEVC中被指定，并且用户数据SEI消息使得组织和公司能够指定用于其自己使用的SEI消息。H.264/AVC和HEVC包含针对指定的SEI消息的语法和语义但是没有定义用于在接收方中处理消息的过程。因此，编码器需要在它们创建SEI消息时遵循H.264/AVC标准或HEVC标准，并且分别符合H.264/AVC标准或HEVC标准的解码器不需要处理SEI消息以获得输出顺序一致性。将SEI消息的语法和语义包括在H.264/AVC和HEVC中的原因之一在于允许不同系统规范相同地解释辅助信息并且因此交互操作。意图在于系统规范能够要求在编码端中和在解码端中两者使用特定SEI消息，并且附加地，能够指定用于在接收方中处理特定SEI消息的过程。
经编码的图片是图片的经编码的表示。在H.264/AVC中的经编码的图片包括图片的编码所需要的VCLNAL单元。在H.264/AVC中，经编码的图片可以是基本编码图片或冗余编码图片。基本编码图片被使用在对有效比特流的解码过程中，然而，冗余编码图片是应当仅仅在基本编码图片不能够被成功地解码时被解码的冗余表示。在HEVC草案中，尚未指定冗余编码图片。
在H.264/AVC中，接入单元包括基本编码图片和与其相关联的那些NAL单元。在H.264/AVC中，NAL单元在接入单元内的出现顺序被约束如下。可选的接入单元分界符NAL单元可以指示接入单元的开始。其跟随有零个或多个SEINAL单元。接下来，基本编码图片的经编码的切片出现。在H.264/AVC中，基本编码图片的经编码的切片可以跟随有针对零个或多个冗余编码图片的经编码的切片。冗余编码图片是图片或图片的一部分的经编码的表示。在基本编码图片例如由于传输中的丢失或物理存储介质中的损坏而没有由解码器接收到时，冗余编码图片可以被解码。
在H.264/AVC中，接入单元还可以包括辅助编码图片，其是辅助基本编码图片的图片并且可以例如在显示过程中使用。辅助编码图片可以例如被用作指定经解码的图片中的样本的透明度水平的alpha通道或alpha平面。alpha通道或alpha平面可以被用在分层的合成或渲染系统中，其中输出图片通过叠加在彼此顶部上至少部分透明的图片来形成。辅助编码图片具有与单色冗余编码图片相同的语法和语义限制。在H.264/AVC中，辅助编码图片包含与基本编码图片相同数量的宏块。
在HEVC中，接入单元可以被定义为NAL单元的集合，NAL单元根据指定的分类规则彼此相关联、在解码顺序中是连续的并且精确地包含一个经编码的图片。除了包含经编码的图片的VCLNAL单元，接入单元还可以包含非VCLNAL单元。对接入单元的解码总是产生经解码的图片。
在H.264/AVC中，经编码的视频序列被定义为在解码顺序中从IDR接入单元(包括IDR接入单元)到下一IDR接入单元(不包括下一IDR接入单元)或到比特流的结尾(无论之前是否出现)的连续的接入单元的序列。在HEVC标准草案中，经编码的视频序列被定义为接入单元的序列，其包括在解码顺序中作为比特流中的第一个接入单元的CRA接入单元、IDR接入单元或BLA接入单元，所述IDR接入单元或BLA接入单元跟随有零个或多个非IDR和非BLA接入单元，其包括所有随后的接入单元、直到但不包括任何随后的IDR或BLA接入单元。
图片组(GOP)和其特性可以被定义如下。无论任何前面的图片是否被解码，GOP能够被解码。开放的GOP这样的图片组，其中在解码从开放GOP的初始内部图片开始时在输出顺序中在初始内部图片前面的图片可能不是可正确解码的。换言之，开放GOP的图片可以(在帧间预测中)指代属于前面的GOP的图片。H.264/AVC解码器能够从H.264/AVC比特流中的恢复点SEI消息识别开始开放GOP的内部图片。HEVC解码器能够识别开始开放GOP的内部图片，因为特定的NAL单元类型、CRANAL单元类型能够被用于其经编码的切片。封闭GOP是这样的图片组，其中在解码从封闭GOP的初始内部图片开始时所有图片能够被正确解码。换言之，封闭GOP中的图片不指代之前GOP中的任何图片。在H.264/AVC和HEVC中，封闭GOP可以被认为从IDR接入单元开始。因此，封闭GOP结构具有与开放GOP结构相比更多误差恢复潜力，然而以压缩效率的可能降低为代价。开放GOP编码结构可能在压缩中是更有效的，由于在参考图片的选择中的更大灵活性。
H.264/AVC和HEVC的比特流语法指示特定图片是否是用于任何其他图片的帧间预测的参考图片。任何编码类型(I、P、B)的图片可以是H.264/AVC和HEVC中的参考图片或非参考图片。
H.264/AVC指定用于解码的参考图片标记的过程，以便控制解码器中的存储器消耗。用于帧间预测的参考图片的最大数量，被称为M，在序列参数集中被确定。当参考图片被解码时，其被标记为“用于参考”。如果对参考图片的解码使得多于M个图片被标记为“用于参考”，则至少一个图片被标记为“未用于参考”。存在用于解码的参考图片标记的两种类型的操作：自适应存储器控制和滑动窗口。用于解码的参考图片标记的操作模式在图片的基础上被选择。自适应存储器控制使得能够显式信号传送哪些图片被标记为“未用于参考”并且还可以将长期指数分配到短期参考图片。自适应存储器控制可以要求存储器管理控制操作(MMCO)参数存在于比特流中。MMCO参数可以被包括在解码的参考图片标记语法结构中。如果正在使用滑动窗口操作模式并且存在M个图片被标记为“用于参考”，则作为被标记为“用于参考”的那些短期参考图片之中的第一解码的图片的短期参考图片被标记为“未用于参考”。换言之，滑动窗口操作模式导致短期参考图片之中的先进先出缓冲操作中。
H.264/AVC中的存储器管理控制操作之一使得除了当前图片的所有参考图片被标记为“未用于参考”。瞬时解码刷新(IDR)图片仅仅包含帧内编码的切片并且引起对参考图片的类似的“重置”。
在HEVC标准草案中，不使用参考图片标记语法结构和相关的解码过程，但是相反出于类似的目的，代替地使用参考图片集(RPS)语法结构和解码过程。针对图片有效或活动的参考图片集包括被用作针对该图片的参考的所有参考图片以及针对在解码顺序中的任何随后图片被保持标记为“用于参考”的所有参考图片。存在参考图片集合的六个子集，其被称为RefPicSetStCurr0、RefPicSetStCurrl、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll。六个子集的符号如下。“Curr”是指包括在当前图片的参考图片列表中并且因此可以被用作针对当前图片的帧间预测参考的参考图片。“Foll”是指未被包括在当前图片的参考图片列表中但是可以在解码顺序中的随后图片中用作参考图片的参考图片。“St”是指短期参考图片，其一般可以通过其POC值的最低有效位的某数字来标识。“Lt”是指长期参考图片，其被特别标识并且一般具有相对于当前图片的、比能够由最低有效位的上述某数字表示的更大的POC值的差。“0”是指具有比当前图片的POC值更小的POC值的那些参考图片。“1”是指具有比当前图片的POC值更大的POC值的那些参考图片。RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1统称为参考图片集的短期子集。RefPicSetLtCurr和RefPicSetLtFoll统称为参考图片集的长期子集。
在HEVC标准草案中，参考图片集可以在序列参数集中被指定并且通过参考图片集的索引投入到切片头中使用。参考图片集还可以在切片头中被指定。参考图片集的长期子集一般仅仅在切片头中被指定，同时相同参考图片集的短期子集可以在图片参数集或切片头中被指定。参考图片集可以被独立地编码或可以从另一参考图片集来预测(被称为RPS间预测)。当参考图片集被独立地编码时，语法结构包括在不同类型的参考图片上迭代的多达三个环路；具有比当前图片低的POC值的短期参考图片、具有比当前图片高的POC值的短期参考图片以及长期参考图片。每个环路入口指定要被标记为“用于参考”的图片。一般地，利用不同的POC值来指定图片。RPS间预测利用能够从先前解码的图片的参考图片集来预测当前图片的参考图片集的事实。这是因为当前图片的所有参考图片是先前图片的参考图片或先前解码的图片本身。仅仅有必要指示这些图片中的哪个图片应当是参考图片并且用于对当前图片的预测。在两种类型的参考图片集编码中，附加地针对每个参考图片来发送标记(used_by_curr_pic_X_flag)，指示参考图片是用于(被包括在*Curr列表中)还是未用于(被包括在*Foll列表中)当前图片的参考。包括在由当前切片使用的参考图片集中的图片被标记为“用于参考”，未在由当前切片使用的参考图片集中的图片被标记为“未用于参考”。如果当前图片是IDR图片，则RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll全部被设置为空。
解码的图片缓冲器(DPB)可以在编码器中和/或在解码器中被使用。存在对经解码的图片进行缓冲的两个原因，用于帧间预测中的参考和用于将经解码的图片重新排序成输出顺序。因为H.264/AVC和HEVC提供用于参考图片标记和输出重新排序两者的大量灵活性，用于参考图片缓冲和输出图片缓冲的分离的缓冲器可能浪费存储器资源。因此，DPB可以包括用于参考图片和输出重新排序的统一的解码的图片缓冲过程。经解码的图片可以在其不再被用作参考并且不需要用于输出时从DPB被去除。
在H.264/AVC和HEVC的许多编码模式中，利用参考图片列表的索引来指示用于帧间预测的参考图片。可以利用可变长度编码来编码索引，所述可变长度编码通常使得较小的索引具有针对对应的语法元素的较短的值。在H.264/AVC和HEVC中，针对每个双向预测(B)切片生成两个参考图片列表(参考图片列表0和参考图片列表1)，并且针对每个帧间编码的(P)切片形成一个参考图片列表(参考图片列表0)。另外，对于HEVC标准草案中的B切片，组合的列表(列表C)可以在已经构建了最终的参考图片列表(列表0和列表1)之后被构建。组合的列表可以被用于B切片内的单预测(还称为单向预测)。在一些后来的HEVC标准草案中，去除了组合的列表。
诸如参考图片列表0和参考图片列表1的参考图片列表通常在两个步骤中被构建：第一，生成初始参考图片列表。可以基于frame_num、POC、temporal_id或关于诸如GOP结构的预测层次的信息或它们的任何组合来生成初始参考图片列表。第二，通过可以被包含在切片头中的参考图片列表重新排序(RPLR)命令(还称为参考图片列表修改语法结构)来对初始参考图片列表进行重新排序。在H.264/AVC中，RPLR命令指示被排序到相应参考图片列表的开始的图片。该第二步骤还被称为参考图片列表修改过程，并且RPLR命令可以被包括在参考图片列表修改语法结构中。如果使用了参考图片集，则参考图片列表0可以被初始化为首先包含RefPicSetStCurr0，紧接着是RefPicSetStCurr1，紧接着是RefPicSetLtCurr。参考图片列表1可以被初始化为首先包含RefPicSetStCurr1，紧接着是RefPicSetStCurr0。在HEVC中，可以通过参考图片列表修改语法结构来修改初始参考图片列表，其中可以通过列表的入口索引来标识初始参考图片列表中的图片。换言之，在HEVC中，参考图片列表修改被解码到包括最终的参考图片列表中的每个入口上的环路的语法结构中，其中每个环路入口是初始参考图片列表的固定长度编码的索引并在最终的参考图片列表中以升序位置顺序指示图片。
包括H.264/AVC和HEVC的许多编码标准可以具有导出参考图片列表的参考图片索引的解码过程，其可以用于指示多个参考图片中的哪个参考图片被用于针对特定块的帧间预测。在一些帧间编码模式中参考图片索引可以由编码器编码到比特流中或在一些其他帧间编码模式中其可以例如使用邻近块(通过编码器和解码器)来导出。
为了有效地表示比特流中的运动向量，运动向量可以相对于块特定的预测的运动向量被不同地编码。在许多视频编解码器中，预测的运动向量可以以预定义方式来创建，例如通过计算相邻块的经编码或解码的运动向量的中值。创建运动向量预测的另一方式，有时被称为高级运动向量预测(AMVP)，是从时间参考图片中的相邻块和/或共同定位的块来生成候选预测的列表并将选出的候选者作为运动向量预测符来进行信号传送。除了预测运动向量值，可以预测先前编码的/解码的图片的参考索引。通常从时间参考图片中的相邻块和/或共同定位的块来预测参考索引。对运动向量的差分编码通常在切片边界上被禁用。
例如，高级运动向量预测(AMVP)等可以如下来操作，同时还有可能利用不同的候选位置集合和具有候选位置集合的候选位置来进行对AMVP的其他类似的实现。可以导出两个空间运动向量预测区(MVP)并且可以导出时间运动向量预测符(TMVP)。它们可以在以下位置中被选择：位于当前预测块上的三个空间MVP候选位置(B0、Bl、B2)以及左边的两个(A0、A1)。以每个候选位置集合的预定义顺序可用的(例如，驻留在相同切片中、被帧间编码的，等等)第一运动向量指示符(B0、Bl、B2)或(AO、A1)可以被选择以表示运动向量竞争中的预测方向(向上或向左)。针对TMVP的参考索引可以在切片头中由编码器指示(例如，如collocated_ref_idx语法元素)。从共同定位的图片获得的运动向量可以根据TMVP的参考图片、共同定位的图片以及当前图片的图片顺序计数差的比例被缩放。此外，冗余校验可以在候选者之中被执行以去除相同的候选者，其能够导致零MV被包括在候选列表中。运动向量指示符可以例如通过指示空间MVP(向上或向左)的方向或TMVP候选者的选择而在比特流中被指示。
诸如HEVC编解码器草案的许多高效的视频编解码器采用附加的运动信息编码/解码机制，通常被称为合并/归并模式/过程/机制，其中块/PU的所有运动信息被预测并在没有任何修改/校正的情况下被使用。针对PU的前述运动信息可以包括以下的一个或多个：1)“PU是仅使用参考图片列表0被单预测的”、还是“PU是仅使用参考图片列表1被单预测的”或是“PU是使用参考图片列表0和列表1两者被双预测的”的信息；2)对应于参考图片列表0的运动向量值，其可以包括水平运动向量分量和垂直运动向量分量；3)参考图片列表0中的参考图片索引和/或由对应于参考图片列表0的运动向量指向的参考图片的标识符，其中参考图片的标识符可以例如为图片顺序计数值、(用于层间预测的)层标识符值、或者图片顺序计数值和层标识符值的对；4)参考图片的参考图片标记的信息，例如参考图标被标记为“用于短期参考”还是“用于长期参考”的信息；5)-7)分别与2)-4)相同，但是针对参考图片列表1。类似地，使用时间参考图片中的相邻块和/或共同定位的块的运动信息来实现对运动信息的预测。通常被称为合并列表的列表可以通过包括与可用向量块/共同定位的块相关联的运动预测候选者来构建并且所选择的运动预测候选者在列表中的索引被信号传送，并且所选择的候选者的运动信息被复制到当前PU的运动信息。当合并机制被用于整个CU并且针对CU的预测信号被用作重建信号时，即预测残差未被处理时，这种类型的对CU的编码/解码通常被称为跳跃模式或基于合并的跳跃模式。除了跳跃模式，合并机制还被用于单个PU(不一定是如跳跃模式中的整个CU)并且在这种情况下，可以利用预测残差来改进预测质量。这种类型的预测模式可以被称为合并间模式。
合并列表中的候选者之一可以是TMVP候选者，其可以例如使用collocated_ref_idx语法元素等从指示的或推测的参考图片(诸如，例如在切片头中指示的参考图片)内的共同定位的块来导出。
在HEVC中，当运动编码模式是合并模式时，针对合并列表中的时间运动向量预测的所谓的目标参考索引被设置为0。当HEVC中的利用时间运动向量预测的运动编码模式是高级运动向量预测模式时，目标参考索引被明确地指示(例如，对于每个PU)。
当已经确定了目标参考索引时，时间运动向量预测的运动向量值可以如下被导出：在与当前预测单元的右下邻居一起共同定位的块处的运动向量被计算。如以上描述的，共同定位的块所处的图片可以例如根据切片头中的被信号传送的参考索引来确定。在共同定位的块处的所确定的运动向量关于第一图片顺序计数差和第二图片顺序计数差的比值被缩放。第一图片顺序计数差在包含共同定位的块的图片和共同定位的块的运动向量的参考图片之间被导出。第二图片顺序数差在当前图片和目标参考图片之间被导出。如果目标参考图片和共同定位的块的运动向量的参考图片中的一个而非两者是长期参考图片(同时另一个是短期参考图片)，则TMVP候选者可以被认为是不可用的。如果目标参考图片和共同定位的块的运动向量的参考图片中的两者都是长期参考图片，则没有基于POC的运动向量缩放可以被应用。
可分级的视频编码是指其中一个比特流能够包含内容的以不同比特率、分辨率或帧率的多个表示的编码结构。在这些情况下，接收器可以取决于其特性(例如，与显示设备最好地匹配的分辨率)来提取期望的表示。备选地，服务器或网络元件可以取决于例如接收器的网络特性或处理能力来提取要被传输到接收器的比特流的部分。可分级的比特流可以包括提供可获得的最低质量视频的“基本层”和在与更低层一起被接收并解码时增强视频质量的一个或多个增强层。为了改进增强层的编码效率，该层的编码表示可以取决于更低层。例如，能够从更低层预测增强层的运动和模式信息。类似地，更低层的像素数据能够被用于创建针对增强层的预测。
在一些可分级的视频编码方案中，视频信号能够被编码到基本层和一个或多个增强层中。增强层可以增强时间分辨率(即，帧率)、空间分辨率或简单地增强由另一层或其部分表示的视频内容的质量。每层连同其从属层中的所有层一起是以某空间分辨率、时间分辨率和质量水平的视频信号的一个表示。在该文档中，我们将可分级的层连同其从属层中的所有层一起称为“可分级的层表示”。可分级的比特流的对应于可分级的层表示的部分能够被提取并被解码以产生原始信号的以某保真度的表示。
一些编码标准允许创建可分级的比特流。有意义的解码的表示能够通过仅仅对可分级的比特流的某部分进行解码来产生。可分级的比特流能够用于例如在串流服务器中对预编码的单播流的速率适应并且用于将单个比特流传输到具有不同能力和/或具有不同网络状况的终端。
在一些情况下，增强层中的数据能够在某个位置之后或甚至在任意位置处被截断，其中每个截断位置可以包括表示越来越增强的视觉质量的附加数据。这种可分级性被称为细粒度(粒度)可分级性(FGS)。
SVC使用层间预测机制，其中某信息可以从除了当前重建的层或下一更低层以外的层来预测。能够被层间预测的信息包括帧内纹理、运动和残差数据。层间运动预测包括对块编码模式、头信息、块分割等的预测，其中来自较低层的运动可以被用于预测较高层。在帧内编码的情况下，从周围宏块或从共同定位的更低层的宏块的预测是有可能的。这些预测技术不采用来自较早编码接入单元的信息并且因此被称为帧内预测技术。另外，来自更低层的残差数据还能够被用于对当前层的预测。
SVC指定被称为单环路解码的概念。其通过使用约束的帧内纹理预测模式来实现，由此层间帧内纹理预测能够被应用到宏块(MB)，针对所述宏块，基本层的对应块被定位在内部MB内。同时，基本层中的那些内部MB使用约束的帧内预测(例如，使语法元素“constrained_intra_pred_flag”等于1)。在简单的环路解码中，解码器仅仅针对期望用于回放的可分级的层(被称为“期望层”或“目标层”)来执行运动补偿和完全图片重建，从而大大降低解码复杂度。除了期望层以外的所有层不需要被完全解码，因为未用于层间预测(其为层间帧内纹理预测、层间运动预测或层间残差预测)的MB的数据中的全部或部分数据对于重建期望层是不需要的。
对于对大多数图片的解码需要单个解码环路，同时第二解码环路选择性地被应用以重建基本表示，其被需要作为预测参考但是不用于输出或显示，并且仅仅针对所谓的关键图片(针对“store_ref_base_pic_flag”等于1的图片)而被重建。
FGS被包括在SVC标准的一些草定版本中，但是其最后从最终的SVC标准被排除。随后在SVC标准的一些草定版本的上下文中讨论FGS。由那些不能够被截断的增强层提供的可分级性被称为粗粒度(粒度)可分级性(CGS)。其共同包括传统质量(SNR)可分级性和空间可分级性。SVC标准支持所谓的中粒度可分级性(MGS)，其中质量增强图片与SNR可分级的层图片类似地被编码但是与FGS层图片类似地由高级语法元素通过使quality_id语法元素大于0来指示。
SVC草案中的可分级性结构可以由三个语法元素来表征：“temporal_id”、“dependency_id”和“quality_id”。语法元素“temporal_id”用于指示时间可分级性层次或间接地指示帧率。包括具有较小的最大“temporalid”值的图片的可分级的层表示具有比包括具有较大的最大“temporalid”的图片的可分级的层表示更小的帧率。给定时间层通常取决于较低的时间层(即，具有较小的“temporal_id”值的时间层)但是不取决于任何较高的时间层。语法元素“dependency_id”用于指示CGS层间编码依赖性层次(如早前提到的，其包括SNR和空间可分级性两者)。在任何时间水平位置，具有较小的“dependency_id”值的图片可以用于对具有较大“dependency_id”值的图片的编码的层间预测。语法元素“quality_id”用于指示FGS或MGS层的质量水平层次。在任何时间位置，并且在相同的“dependency_id”值的情况下，具有等于QL的“quality_id”的图片使用具有等于QL-1的“quality_id”的图片来用于层间预测。具有大于0的“quality_id”的经编码的切片可以被编码为可截断的FGS切片或不可截断的MGS切片。
为简单起见，具有“dependency_id”的相同值的一个接入单元中的所有数据单元(例如，在SVC上下文中的网络抽象层单元或NAL单元)被称为依赖性单元或依赖性表示。在一个依赖性单元内，具有“quality_id”的相同值的所有数据单元被称为质量单元或层表示。
基本表示(还称为解码的基本图片)是从对具有等于0的“quality_id”的依赖性单元的视频编码层(VCL)NAL单元进行解码而得到的经解码的图片并且针对该图片“store_ref_base_pic_flag”被设置等于1。还称为经解码的图片的增强表示从规则解码过程得到，其中针对最高的依赖性表示而呈现的层表示被解码。
如早前提到的，CGS包括空间可分级性和SNR可分级性两者。空间可分级性初始地被设计用于支持具有不同分辨率的视频的表示。对于每个时间实例，VCLNAL单元被编码在相同的接入单元中并且这些VCLNAL单元能够对应于不同的分辨率。在解码期间，低分辨率VCLNAL单元提供能够可选地通过对高分辨率图片的最终的解码和重建来继承的运动场和残差。当与较老的视频压缩标准相比时，SVC的空间可分级性已经被概括为使得基本层能够作为增强层的经剪切和缩放的版本。
MGS质量层与FGS质量层类似地利用“quality_id”来指示。对于(具有相同“dependency_id”的)每个依赖性单元，存在具有“quality_id”等于0的的层并且可以存在具有“quality_id”大于1的其他层。具有大于0的“quality_id”的这些层是MGS层或FGS层，取决于切片是否被编码为可截断的切片。
在FGS增强层的基本形式中，仅仅使用了层间预测。因此，FGS增强层能够被自由地被截断，而不引起经解码的序列中的任何误差传播。然而，FGS的基本形式遭受低压缩效率。该问题由于仅仅低质量图片被用于帧间预测参考而出现。因此已经提出FGS增强的图片被用作帧间预测参考。然而，当一些FGS数据被丢弃时这可以引起编码-解码不匹配，也被称为漂移。
SVC标准草案的一个特征在于FGSNAL单元能够自由地被丢掉或截断，并且SVC标准的特征在于MGSNAL单元能够在不影响比特流的一致性的情况下被自由地丢掉(但是不能够被截断)。如以上讨论的，当那些FGS或MGS数据在编码期间已经被用于帧间预测参考时，对数据的丢掉或截断将导致在解码器侧和在编码器侧的经解码的图片之间的不匹配。该不匹配还被称为漂移。
为了控制由于对FGS或MGS数据的丢掉或截断的漂移，SVC应用以下解决方案：在某个依赖性单元中，基本表示(通过仅仅对具有“qualityid”等于0的CGS图片和所有依赖的较低层数据进行解码)被存储在解码的图片缓冲器中。当对具有相同的“dependency_id”值的随后依赖性单元进行编码时，包括FGS或MGSNAL单元的所有NAL单元将基本表示用于帧间预测参考。因此，在较早的接入单元中由于对FGS或MGSNAL单元的丢掉或截断的所有漂移在该接入单元处被停止。对于具有相同的“dependency_id”值的其他依赖性单元，所有NAL单元为了高编码效率将经解码的图片用于帧间预测参考。
每个NAL单元在NAL单元头中包括语法元素“use_ref_base_pic_flag”。当该元素的值等于1时，对NAL单元的解码使用在帧间预测过程期间的参考图片的基本表示。语法元素“store_ref_base_pic_flag”指定是(当等于1时)否(当等于0时)存储当前图片的基本表示以供未来图片用于帧间预测。
具有大于0的“quality_id”的NAL单元不包含与参考图片列表构建和加权的预测相关的语法元素，即语法元素“num_ref_active_lx_minus1”(x＝0或1)、参考图片列表重新排序语法表以及加权的预测语法表不存在。因此，MGS或FGS层必须在需要时从相同依赖性单元的具有等于0的“quality_id”的NAL单元继承这些语法元素。
在SVC中，参考图片列表包括仅基本表示(当“use_ref_base_pic_flag”等于1时)或仅未标记为“基本表示”的经解码的图片(当“use_ref_base_pic_flag”等于0时)，但是决不同时包括两者。
针对质量可分级性(还被称为信噪比或SNR)和/或空间可分级性的可分级的视频编解码器可以被实施如下。对于基本层，使用常规的非可分级的视频编码器和解码器。基本层的经重建/解码的图片被包括在用于增强层的参考图片缓冲器中。在H.264/AVC、HEVC以及使用参考图片列表以用于帧间预测的类似的编解码器中，基本层经解码的图片可以被插入到用于对类似于增强层的经解码的参考图片的增强层图片的编码/解码的参考图片列表中。因此，编码器可以选择基本层参考图片作为帧间预测参考并指示其在编码的比特流中与参考图片索引一起使用。解码器从比特流、例如从参考图片索引解码出基本层图片被用作针对增强层的帧间预测参考。当经解码的基本层图片被用作针对增强层的预测参考时，其被称为层间参考图片。
除了质量可分级性，以下可分级性模式存在：
·空间可分级性：基本层图片以比增强层图片更高的分辨率来编码。
·比特深度可分级性：基本层图片以比增强层图片更低的比特深度(例如，8比特)来编码。
·色度格式可分级性：基本层图片在色度上提供比增强层图片(例如，4:2:0格式)更高的保真度(例如，以4:4:4色度格式来编码)。
·色彩饱和度可分级性，其中增强层图片比基本层图片的颜色表示具有更丰富/更宽广的颜色表示范围——例如增强层可以具有UHDTV(ITU-RBT.2020)色彩饱和度而基本层可以具有ITU-RBT.709色彩饱和度。
在所有的以上可分级性情况下，基本层信息能够用于对增强层进行编码以使附加的比特率开支最小化。
能够以两种基本方式来实现可分级性。通过引入用于执行对来自可分级的表示的更低层的像素值或语法的预测的新编码模式或者通过将较低层图片放置到较高层的参考图片缓冲器(解码的图片缓冲，DPB)。第一方式是更灵活的并且因此在大多数情况下能够提供更好的编码效率。然而，第二基于参考帧的可分级性方式能够在对单层编解码器的改变最小同时仍然实现大多数的编码效率增益可用的情况下非常有效地被实施。基本上，基于参考帧的可分级性编解码器能够通过利用针对所有层的相同的硬件或软件实施方式来实施，仅仅注意通过外部装置的DPB管理。
可分级的视频编码和/或解码方案可以使用多环路编码和/或解码，其可以被特征化如下。在编码/解码中，基本层图片可以被重建/被解码以被用作针对在相同层内的在编码/解码顺序中的随后图片的运动补偿参考图片或者用作用于层间(或视图间或分量间)预测的参考。经重建/解码的基本层图片可以被存储在DPB中。如果存在，增强层图片可以类似地被重建/被解码以被用作针对在相同层内的在编码/解码顺序中的随后图片的运动补偿参考图片或者用作用于更高增强层的层间(或视图间或分量间)预测的参考。除了经重建/解码的样本值，基本/参考层的语法元素值或从基本/参考层的语法元素值导出的变量可以在层间/分量间/视图间预测中被使用。
例如针对质量可分级性(还称为信噪比或SNR)和/或空间可分级性的可分级的视频编码器可以被实施如下。对于基本层，可以使用常规非可分级的视频编码器和解码器。基本层的经重建/解码的图片被包括在用于增强层的参考图片缓冲器和/或参考图片列表中。在空间可分级性的情况下，经重建/解码的基本层图片可以在其插入到用于增强层图片的参考图片列表中之前被上采样。基本层经解码的图片可以被插入到用于对类似于增强层的经解码的参考图片的增强层图片的编码/解码的参考图片列表中。因此，编码器可以选择基本层参考图片作为帧间预测参考并指示其在编码的比特流中与参考图片索引一起使用。解码器从比特流、例如从参考图片索引解码出基本层图片被用作针对增强层的帧间预测参考。当经解码的基本层图片被用作针对增强层的预测参考时，其被称为层间参考图片。
尽管前面的段落描述了具有含有增强层和基本层的两个可分级性层的可分级的视频编解码器，需要理解，描述能够被概括为在具有多于两层的可分级性层次中的任何两层。在这种情况下，第二增强层可以取决于编码和/或解码过程中的第一层，并且第一增强层可以因此被认为是用于对第二增强层的编码和/或解码的基本层。另外，需要理解，可以存在来自增强层的参考图片缓冲或参考图片列表中的多于一个层的层间参考图片，并且这些层间参考图片中的每一个可以被认为驻存在用于被编码和/或被解码的增强层的基本层或参考层中。
正在进行的工作是指定对HEVC标准的可分级的和多视图的扩展。被称为MV-HEVC的HEVC的多视图扩展类似于H.264/AVC的MVC扩展。类似于MVC，在MV-HEVC中，视图间参考图片能够被包括在被编码或被解码的当前图片的参考图片列表中。被称为SHVC的HEVC的可分级的扩展被规划为被指定使得其使用多环路解码操作(不同于H.264/AVC的SVC扩展)。当前，针对SHVC调查用于实现可分级性的两种设计。一种是基于参考索引的，其中层间参考图片能够被包括在被编码或被解码的当前图片的一个或多个参考图片列表中(如以上描述的)。另一种可以被称为IntraBL或TextureRL，其中例如在CU水平中的特定编码模式被用于将参考层图片的经解码/重建的样本值用于增强层图片中的预测。SHVC发展已经集中于空间和粗粒度质量可分级性的发展。
有可能使用许多相同的语法结构、语义和针对MV-HEVC和基于参考索引的SHVC的解码过程。另外，也有可能使用相同的语法结构、语义和解码过程以用于深度编码。此后，术语HEVC的可分级的多视图扩展(SMV-HEVC)用于指代编码过程、解码过程、语法和语义，其中无论可分级性类型而使用大量相同的编码(解码)工具，并且其中没有在切片头以下的语法、语义或解码过程中的变化的基于参考索引的方式被使用。SMV-HEVC可能不限于多视图、空间以及粗粒度质量可分级性，但是还可以支持其他类型的可分级性，诸如深度增强的视频。
对于增强层编码，HEVC的相同概念和编码工具可以在SHVC、MV-HEVC和/或SMV-HEVC中使用。然而，采用在参考层中已经编码的数据(包括重建的图片样本和运动参数，又名运动信息)以有效地对增强层进行编码的附加的层间预测工具可以被集成到SHVC、MV-HEVC和/或SMV-HEVC编解码器。
在MV-HEVC、SMV-HEVC和基于参考索引的SHVC解决方案中，块级语法和解码过程对于支持层间纹理预测未被改变。仅高级语法已经被修改(与HEVC的情况相比)使得来自相同接入单元的参考层的经重建的图片(必要时被上采样的)能够被用作用于对当前增强层图片进行编码的参考图片。层间参考图片以及时间参考图片被包括在参考图片列表中。信号传送的参考图片索引用于指示当前预测单元(PU)是否是从时间参考图片或层间参考图片来预测的。对该特征的使用可以由编码器控制并在比特流中、例如在视频参数集、序列参数集、图片参数和/或切片头中被指示。指示可以特定于例如增强层、参考层、增强层和参考层的对、特定的TemporalId值、特定的图片类型(例如，RAP图片)、特定的切片类型(例如，P切片和B切片但不是I切片)、具有特定POC值的图片和/或特定接入单元。指示的范围和/或持久性可以与指示本身一起被指示和/或可以被推测。
MV-HEVC、SMV-HEVC和基于参考索引的SHVC解决方案中的参考列表可以使用特定过程来初始化，在所述特定过程中层间参考图片，如果存在，可以被包括在初始参考图片列表中。层间参考图片被构建如下。例如，时间参考可以首先以与HEVC中的参考列表构建相同的方式被添加到参考列表(L0,L1)。此后，层间参考可以被添加在时间参考之后。如以上描述的，层间参考图片可以例如从层依赖性信息来推断，所述层依赖性信息诸如从VPS扩展导出的RefLayerId[i]变量。层间参考图片在当前增强层切片是P切片时可以被添加到初始参考图片列表L0，并且可以在当前增强层切片是B切片时被添加到初始参考图片列表L0和L1两者。层间参考图片可以以特定顺序被添加到参考图片列表，所述特定顺序能够但不必针对两个参考图片列表是相同的。例如，与将层间参考图片添加到初始参考图片列表0中的顺序相比，可以使用相反顺序将层间参考图片添加到初始参考图片列表1中。例如，层间参考图片可以以nuh_layer_id的升序被插入到初始参考图片0中，而可以使用相反的顺序来初始化初始参考图片列表1。
在编码和/或解码过程中，帧间参考图片可以被当作长期参考图片。
在SMV-HEVC和基于参考索引的SHVC解决方案中，层间运动参数预测可以通过将层间参考图片设置为用于TMVP导出的共同定位的参考图片来执行。两个层之间的运动场映射过程可以被执行以例如避免在TMVP导出中的块级解码过程修改。运动场映射还能够被执行用于多视图编码，但是MV-HEVC的当前草案不包括这样的过程。对运动场映射特征的使用可以由编码器控制并且在比特流中，例如在视频参数集、序列参数集、图片参数和/或切片头中被指示。指示可以特定于例如增强层、参考层、增强层和参考层的对、特定的TemporalId值、特定的图片类型(例如，RAP图片)、特定的切片类型(例如，P切片和B切片但不是I切片)、具有特定POC值的图片和/或特定接入单元。指示的范围和/或持久性可以与指示本身一起被指示和/或可以被推测。
在针对空间可分级性的运动场映射过程中，基于相应参考层图片的运动场来获得经上采样的层间参考图片的运动场。针对经上采样的层间参考图片的每个块的运动参数(其可以例如包括水平运动向量值和/或垂直运动向量值以及参考索引)和/或预测模式可以从参考层图片中的共同定位的块的对应的运动参数和/或预测模式导出。用于导出经上采样的层间参考图片中的运动参数和/或预测模式的块大小可以例如为16x16。16x16块大小与HEVCTMVP导出过程中相同，在HEVCTMVP导出过程中，使用了参考图片的经压缩的运动场。
运动场可以被认为包括运动参数。运动参数可以包括但不限于以下类型中的一个或多个类型：
·预测类型(例如，帧内预测、单预测、双预测)的指示和/或参考图片的数量；
·预测方向的指示，例如帧间(又名时间)预测、层间预测、视图间预测、视图合成预测(VSP)以及例如来自纹理图片到深度图片的分量间预测。预测方向可以针对每个参考图片和/或每个预测类型被指示，并且其中在一些实施例中，视图间预测和视图合成预测可以联合地被认为是一个预测方向；
·参考图片类型的预测，诸如短期参考图片和/或长期参考图片和/或层间参考图片(其可以例如针对每个参考图片被指示)；
·对参考图片列表的参考索引和/或参考图片的任何其他标识符(其可以例如针对每个参考图片被指示并且其类型可以取决于预测方向和/或参考图片类型并且其可以伴随有其他相关的信息片断，诸如参考图片列表或对其应用参考索引的类似物)；
·水平运动向量分量(其可以例如针对每个预测块或每个参考索引等被指示)；
·垂直运动向量分量(其可以例如针对每个预测块或每个参考索引等被指示)；
·一个或多个参数，诸如含有运动参数或与运动参数相关联的图片和其参考图片之间的图片顺序计数差和/或相对相机分离，其可以被用于在一个或多个运动向量预测过程中对水平运动向量分量和/或垂直运动向量分量的缩放(其中所述一个或多个参数可以例如针对每个参考图片或每个参考索引等被指示)。
HEVC标准当前被扩展为支持高保真应用。其中要研究的问题涉及增加的颜色保真度：将期望能够有效地对除了4:2:0以外的色度格式、诸如4:2:2和4:4:4进行编码。对于4:2:2，色度通常仅仅在一个方向上被子采样，而在4:2:0的情况下其在两个方向上被子采样。对于4:4:4，没有色度子采样发生。涉及混合色度编码的另一问题是：将期望能够以4:2:0对视频的某些部分进行编码，而其他部分处于更高的保真度，诸如4:2:2和4:4:4。
传统消费者视频应用在压缩之前对色度分量进行子采样以实现更高编码效率。例如，大多数消费者视频应用通过在水平方向和垂直方向两者上对色度分量进行子采样，并且以4:2:0格式对其进行编码。使用高保真的色度分量对视频进行编码已经在传统上被用于专业领域中，其中不执行色度子采样(即，视频以4:4:4格式被编码)或者仅仅在一个方向上对色度进行子采样(即，视频以4:2:2格式被编码)。
在诸如2X的二元可分级性中，低分辨率图片的亮度和色度样本的位置与高分辨率图片的亮度和色度样本的位置重叠。这意味着当经解码的图片或视频被用于以不同的分辨率或缩放因子呈现时，因此需要插值步骤；低分辨率图片不添加任何新信息并且仅仅高分辨率图片能够在插值期间被使用。
当前实施例提出了用于指示在层间的亮度相位变化中的变化的机制。
当前实施例覆盖至少两个方面：
在第一方面中，实施例覆盖一种系统，在所述系统中，首先以各种分辨率对图片进行编码，并且通过添加在低分辨率上的恒定相位偏移来计算每个分辨率的亮度和色度样本的相位，使得在不同分辨率的样本的位置不重叠或重叠最小化(参见图7和图8)。在图7中：正方形710表示低分辨率样本，并且圆形720表示高分辨率样本。可分级性比值是2。下面，在图7中的730被示出为低分辨率样本和高分辨率样本在相同网格上的投影。由于使用了不同的相位偏移(相位利用0.25像素的恒定偏移被偏移)，低分辨率样本710在被添加到高分辨率样本720上时增大分辨率。因此，在高分辨率样本和低分辨率样本两者被用于插值和呈现中时应当得到更高质量的插值。图8图示了当水平偏移和垂直偏移在图8a中是0并且在图8b中是0.25时用于2X可分级性的低分辨率样本(圆形)和低分辨率样本(正方形)。当以任意分辨率和缩放因子呈现图片时，接收者在插值期间使用来自多个图片而非单个图片的信息。
在第二方面中，实施例覆盖一种机制，该机制用于信号传送每层的亮度和色度样本的相位偏移和对上采样过程的修改以用于可分级的视频编码，使得接收者能够将校正滤波操作应用于i)预测高分辨率图片以及ii)以任意分辨率和缩放因子来呈现图片(参见图9)。图9图示了利用本发明的系统的实施例。下采样通过引入相位偏移来完成，使得高分辨率经解码的图片和低分辨率经解码的图片能够用于实现比图片中的两者具有更高分辨率的图片。
实施例基于图6、7、8、9中图示的想法。图6图示了针对一维情况的其中低分辨率样本610与高分辨率样本620重叠630的现有技术。如在图示中看到的，低分辨率样本610不添加任何新信息并且因此不能用于对图片进行插值以获得更高分辨率。然而，图7图示了方法的实施例。图7示出了低分辨率样本710被生成使得在低分辨率样本710和高分辨率样本720之间没有重叠。在图8中图示了针对2D情况的相同的示例。图9示出了如何在实际系统中使用实施例。
本发明的实施例能够例如如下被实施在HEVC可分级的扩展中：
phase_offset_present_flag等于1指示语法元素horizontal_phase_offset16和vertical_phase_offset16存在于比特流中。
horizontal_phase_offset16指定样本在当前层相对于第1/16的像素单元中的更低层的样本的水平相位偏移并且其用于计算在重新采样中使用的参考层样本位置。horizontal_phase_offset16的值应当处在范围0到7中，包括0和7在内。当不存在horizontal_phase_offset16时，horizontal_phase_offsetl6的值被推测为零。
vertical_phase_offset16指定样本在当前层相对于第1/16的像素单元中的更低层的样本的垂直相位偏移并且其用于计算在重新采样中使用的参考层样本位置。vertical_phase_offset16的值应当处在范围0到7中，包括0和7在内。当不存在vertical_phase_offset16时，vertical_phase_offset16的值被推测为零。
在上采样期间的参考样本的位置计算被修改如下：
通过应用以下步骤来导出插值的亮度样本IntLumaSample的值：
1.在cIdx等于0和亮度样本位置(xP,yP)被给出作为输入并且在第1/16的样本的单元中的(xRefl6,yRefl6)作为输出的情况下调用针对在重新采样中使用的参考层样本位置的推导过程。
2.变量xRef和xPhase通过以下来导出：
xRef＝(xRefl6＞＞4)
xPhase＝(xRefl6)％16+horizontal_phase_offsetl6
3.变量yRef和yPhase通过以下来导出：
yRef＝(yRefl6＞＞4)
yPhase＝(yRefl6)％16+vertical_phase_offsetl6
本发明的另外的实施例能够例如如下被实施在HEVC可分级的扩展中：
cross_layer_phase_alignment_flag等于1指定所有层的亮度样本网格的位置在图片的中心样本位置处被对齐。
cross_layer_phase_alignment_flag等于0指定所有层的亮度样本网格的位置在图片的左上方的样本位置处被对齐。
根据实施例的切片分段头语法如下：
vert_phase_position_flag[RefPicLayerId[i]]指定当具有nuh_layer_id等于RefPicLayerId[i]的参考层图片被重新采样时用于导出参考层样本位置的垂直方向上的相位位置。当不存在时，phase_position_flag[RefPicLayerId[i]]的值被推测为等于0。
在该实施方式中，参考图片中的水平位置和垂直位置被确定如下：
1.变量phaseX、phaseY、addX和addY被导出如下：
phaseX＝(cIdx＝＝0)？(cross_layer_phase_alignment_flag＜＜l):
cross_layer_phase_alignment_fag
phaseY＝VertPhasePositionAdjustFlag？(VertPhasePositionFlag＜＜
2):((cIdx＝＝0)？(cross_layer_phase_alignment_flag＜＜1):
cross_layer_phase_alignment_flag+1)
addX＝(ScaleFactorX*phaseX+2)＞＞2
addY＝(ScaleFactorY*phaseY+2)＞＞2
2.变量xRefl6和yRefl6被导出如下：
xRefl6＝(((xP–offsetX)*ScaleFactorX+addX+(1＜＜11))＞＞12)
–(phaseX＜＜2)
yRefl6＝(((yP–offsetY)*ScaleFactorY+addY+(1＜＜11))＞＞12)
–(phaseY＜＜2)
3.变量xPhase和yPhase通过以下来导出：
xPhase＝(xRefl6)％16
yPhase＝(yRefl6)％16
以上的语法元素被提供为本发明的示例实施例，然而需要理解，针对编码器的用以指示本发明的各种实施例的使用以及针对解码器的用以推断本发明的各种实施例的使用的其他实施例也是有可能的。例如，序列水平指示能够存在于VPS中。一个或多个指示能够被指示为特定于某组合或(使用层间预测的)一个或多个目标层和一个或多个参考层的组合。信号传送的偏移的准确性可能不同于第1/16的像素。能够针对不同的层来信号传送不同的相位偏移。
在不以任何方式限制下面出现的权利要求的范围、解释、或应用的情况下，本文中公开的示例实施例中的一个或多个示例实施例的技术效果应能够使用空间可分级性编码技术来实现具有更高分辨率的高质量图片。
本发明的各种实施例能够借助于驻存在存储器中并且使得相关装置实现本发明的计算机程序代码来实施。例如，一种设备可以包括用于处理、接收和传输数据的电路和电子设备、存储器中的计算机程序代码以及处理器，所述处理器当运行所述计算机程序代码时使得设备实现实施例的特征。另外还有，一种如服务器的网络设备可以包括用于处理、接收和传输数据的电路和电子设备、存储器中的计算机程序代码以及处理器，所述处理器当运行所述计算机程序代码时使得设备实现实施例的特征。
如果期望的话，本文中讨论的不同的功能可以以不同顺序和/或与彼此并行地被执行。另外，如果期望的话，上述功能中的一个或多个功能可以是可选的或可以被组合。
尽管在独立权利要求中阐述了本发明的各个方面，但是本发明的其他方面包括来自所描述的实施例的特征的其他组合和/或具有独立权利要求的特征的从属权利要求，并且不仅仅是在权利要求中明确阐述的组合。
还在本文中指出，尽管以上描述了本发明的示例实施例，但是这些描述不应当被视为在限制的意义上。相反，存在若干变型和修改，在不背离如所附权利要求书中限定的本发明的范围的情况下可以作出这些变型和修改。

Claims (24)

1.一种方法，包括：
-以各种分辨率对图片进行编码；
-确定每个分辨率的样本的位置信息；
-在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及
-对所述样本的确定的所述位置信息进行信号传送。
2.根据权利要求1所述的方法，其中所述样本来自以下组中的一项：亮度样本、色度样本、亮度样本和色度样本两者。
3.根据权利要求1所述的方法，还包括：
-通过添加指定所述样本在当前层中的相对于更低层的相位偏移的位置信息来确定所述样本在参考层中的位置。
4.根据权利要求1所述的方法，还包括：
-基于所述位置信息来确定用于对参考层中的所述样本上采样到增强层的滤波器。
5.根据权利要求1所述的方法，所述位置信息是参考层样本和增强层样本之间的水平相位差。
6.根据权利要求1所述的方法，所述位置信息是参考层样本和增强层样本之间的垂直相位差。
7.根据权利要求5和6所述的方法，水平相位偏移和垂直相位偏移的值处在0到7的范围内，包括0和7在内。
8.根据权利要求5和6所述的方法，水平相位偏移和垂直相位偏移的存在由比特流中的比特指示。
9.一种装置，包括：至少一个处理器；以及至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器使得所述装置至少执行以下项：
-以各种分辨率对图片进行编码；
-确定每个分辨率的样本的位置信息；
-在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及
-对所述样本的确定的所述位置信息进行信号传送。
10.一种装置，至少包括：
-用于处理的部件；
-用于以各种分辨率对图片进行编码的部件；
-用于确定每个分辨率的样本的位置信息的部件；
-用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的部件；以及
-用于对所述样本的确定的所述位置信息进行信号传送的部件。
11.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质承载体现在其中的、用于与计算机一起使用的计算机程序代码，所述计算机程序代码包括：
-用于以各种分辨率对图片进行编码的代码；
-用于确定每个分辨率的样本的位置信息的代码；
-用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的代码；以及
-用于对所述样本的确定的所述位置信息进行信号传送的代码。
12.一种利用指令编码的计算机可读介质，所述指令当由计算机执行时执行：
-以各种分辨率对图片进行编码；
-以各种分辨率对图片进行编码；
-确定每个分辨率的样本的位置信息；
-在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及
-对所述样本的确定的所述位置信息进行信号传送。
13.一种方法，包括：
-以各种分辨率对图片进行解码，其中所述解码包括；
-确定每个分辨率的样本的位置信息；
-在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及
-对所述样本的确定的所述位置信息进行信号传送。
14.根据权利要求13所述的方法，其中所述样本来自以下组中的一项：亮度样本、色度样本、亮度样本和色度样本两者。
15.根据权利要求13所述的方法，还包括：
-通过添加指定所述样本在当前层中的相对于更低层的相位偏移的位置信息来确定所述样本在参考层中的位置。
16.根据权利要求13所述的方法，还包括：
-基于所述位置信息来确定用于对参考层中的所述样本上采样到增强层的滤波器。
17.根据权利要求13所述的方法，所述位置信息是参考层样本和增强层样本之间的水平相位差。
18.根据权利要求13所述的方法，所述位置信息是参考层样本和增强层样本之间的垂直相位差。
19.根据权利要求17和18所述的方法，水平相位偏移和垂直相位偏移的值处在0到7的范围内，包括0和7在内。
20.根据权利要求17和18所述的方法，水平相位偏移和垂直相位偏移的存在由比特流中的比特指示。
21.一种装置，包括：至少一个处理器；以及至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器使得所述装置至少执行以下项：
-以各种分辨率对图片进行解码；
-确定每个分辨率的样本的位置信息；
-在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及
-对所述样本的确定的所述位置信息进行信号传送。
22.一种装置，至少包括：
-用于处理的部件；
-用于以各种分辨率对图片进行解码的部件；
-用于确定每个分辨率的样本的位置信息的部件；
-用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的部件；以及
-用于对所述样本的确定的所述位置信息进行信号传送的部件。
23.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质承载体现在其中的、用于与计算机一起使用的计算机程序代码，所述计算机程序代码包括：
-用于以各种分辨率对图片进行解码的代码；
-用于确定每个分辨率的样本的位置信息的代码；
-用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的代码；以及
-用于对所述样本的确定的所述位置信息进行信号传送的代码。
24.一种利用指令编码的计算机可读介质，所述指令当由计算机执行时执行：
-以各种分辨率对图片进行解码；
-确定每个分辨率的样本的位置信息；
-在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及
-对所述样本的确定的所述位置信息进行信号传送。
CN201480029789.1A 2013-04-08 2014-04-08 用于视频编码和解码的方法和技术设备 Pending CN105247865A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361809659P 2013-04-08 2013-04-08
US61/809,659 2013-04-08
PCT/FI2014/050245 WO2014167178A1 (en) 2013-04-08 2014-04-08 Method and technical equipment for video encoding and decoding

Publications (1)

Publication Number Publication Date
CN105247865A true CN105247865A (zh) 2016-01-13

Family

ID=51688994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480029789.1A Pending CN105247865A (zh) 2013-04-08 2014-04-08 用于视频编码和解码的方法和技术设备

Country Status (5)

Country Link
US (1) US20140321560A1 (zh)
EP (1) EP2984831A4 (zh)
KR (1) KR20150139940A (zh)
CN (1) CN105247865A (zh)
WO (1) WO2014167178A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698508A (zh) * 2020-06-08 2020-09-22 北京大学深圳研究生院 基于超分辨率的图像压缩方法、设备及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
KR101712108B1 (ko) * 2013-07-16 2017-03-03 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
KR102248848B1 (ko) * 2013-10-26 2021-05-06 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
CA2935303C (en) 2014-01-03 2023-04-11 Arris Enterprises Llc Conditionally parsed extension syntax for hevc extension processing
US9813724B2 (en) * 2014-03-18 2017-11-07 Arris Enterprises Llc Scalable video coding using reference and scaled reference layer offsets
US20150271495A1 (en) * 2014-03-18 2015-09-24 Arris Enterprises, Inc. Scalable Video Coding using Phase Offset Flag Signaling
US10785492B2 (en) 2014-05-30 2020-09-22 Arris Enterprises Llc On reference layer and scaled reference layer offset parameters for inter-layer prediction in scalable video coding
US10542279B2 (en) * 2017-09-25 2020-01-21 Intel Corporation Temporal motion vector prediction control in video coding
CN114503574A (zh) 2019-09-19 2022-05-13 北京字节跳动网络技术有限公司 视频编解码中的缩放窗口
KR20220061108A (ko) 2019-09-19 2022-05-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 레퍼런스 샘플 위치 유도
WO2021063418A1 (en) 2019-10-05 2021-04-08 Beijing Bytedance Network Technology Co., Ltd. Level-based signaling of video coding tools
KR20220074870A (ko) 2019-10-12 2022-06-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서의 예측 유형 시그널링
CN114556955B (zh) 2019-10-13 2024-04-05 北京字节跳动网络技术有限公司 参考图片重采样与视频编解码工具之间的相互作用
KR20220113379A (ko) 2019-12-27 2022-08-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 픽처 헤더의 슬라이스 유형의 시그널링
US20240187651A1 (en) * 2022-10-22 2024-06-06 Sharp Kabushikik Kaisha Systems and methods for signaling downsampling offset information in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031065A1 (en) * 2005-03-18 2007-02-08 Shijun Sun Methods and Systems for Upsampling Filter Design
US20070160153A1 (en) * 2006-01-06 2007-07-12 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101578882A (zh) * 2007-01-09 2009-11-11 高通股份有限公司 用于可缩放视频译码的自适应上取样

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741143B2 (ja) * 2011-03-31 2015-07-01 Tdk株式会社 活物質、活物質の製造方法、電極、リチウムイオン二次電池及びリチウムイオン二次電池の製造方法
WO2013091700A1 (en) * 2011-12-21 2013-06-27 Abb Technology Ltd An arrangement for controlling the electric power transmission in a hvdc power transmission system
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
WO2014144559A1 (en) * 2013-03-15 2014-09-18 General Instrument Corporation Adaptive sampling filter process for scalable video coding
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031065A1 (en) * 2005-03-18 2007-02-08 Shijun Sun Methods and Systems for Upsampling Filter Design
US20070160153A1 (en) * 2006-01-06 2007-07-12 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101578882A (zh) * 2007-01-09 2009-11-11 高通股份有限公司 用于可缩放视频译码的自适应上取样

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN等: "SHVC Test Model 1 (SHM 1)", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 12TH MEETING: GENEVA, CH》 *
SEUNG-WOOK PARK等: "Intra BL prediction considering phase shift", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6) 15TH MEETING: BUSAN, KR》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698508A (zh) * 2020-06-08 2020-09-22 北京大学深圳研究生院 基于超分辨率的图像压缩方法、设备及存储介质
CN111698508B (zh) * 2020-06-08 2022-05-31 北京大学深圳研究生院 基于超分辨率的图像压缩方法、设备及存储介质

Also Published As

Publication number Publication date
US20140321560A1 (en) 2014-10-30
EP2984831A1 (en) 2016-02-17
EP2984831A4 (en) 2016-12-07
WO2014167178A1 (en) 2014-10-16
KR20150139940A (ko) 2015-12-14

Similar Documents

Publication Publication Date Title
CN105247865A (zh) 用于视频编码和解码的方法和技术设备
US10904543B2 (en) Method and apparatus for video coding and decoding
CN105325003B (zh) 用于视频编码和解码的装置、方法
CN105556965B (zh) 用于视频编码和解码的方法、装置和计算机程序产品
CN104205819B (zh) 用于视频编码的方法和装置
KR101881677B1 (ko) 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN104584549B (zh) 用于视频编码的方法和装置
KR101967398B1 (ko) 모션 정보를 시그널링하기 위한 구문을 수반하는 비디오 코딩을 위한 방법 및 장치
CN105027569B (zh) 用于视频编码和解码的装置和方法
CN109565602A (zh) 视频编码和解码
US20140254681A1 (en) Apparatus, a method and a computer program for video coding and decoding
CN108293136A (zh) 用于编码360度全景视频的方法、装置和计算机程序产品
CN105027567A (zh) 用于视频编码和解码的方法和装置
US20140086327A1 (en) Method and techniqal equipment for scalable video coding
CN104604223A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN104813660A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN104641642A (zh) 用于视频编码的方法和装置
CN104604236A (zh) 用于视频编码的方法和装置
CN104813662A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN104380749A (zh) 用于视频编码的方法和装置
CN104396244A (zh) 用于视频编码和解码的装置、方法和计算机程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160113

RJ01 Rejection of invention patent application after publication