CN108353180B - 具有延迟重构的视频编码 - Google Patents

具有延迟重构的视频编码 Download PDF

Info

Publication number
CN108353180B
CN108353180B CN201680063839.7A CN201680063839A CN108353180B CN 108353180 B CN108353180 B CN 108353180B CN 201680063839 A CN201680063839 A CN 201680063839A CN 108353180 B CN108353180 B CN 108353180B
Authority
CN
China
Prior art keywords
prediction information
prediction
current block
reconstruction
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680063839.7A
Other languages
English (en)
Other versions
CN108353180A (zh
Inventor
何大可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BlackBerry Ltd
Original Assignee
BlackBerry Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BlackBerry Ltd filed Critical BlackBerry Ltd
Publication of CN108353180A publication Critical patent/CN108353180A/zh
Application granted granted Critical
Publication of CN108353180B publication Critical patent/CN108353180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了使用延迟重构对媒体(例如视频)进行编码和解码的方法。解码过程可以包括：解码第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；解码所述当前块的残差数据语法元素；以及解码第二预测信息，该第二预测信息指定用于后续块的预测的参数。解码器基于所述残差数据语法元素和所述第二预测信息来重构所述当前块的残差。然后，解码器根据所述第一预测信息和所存储的重构数据来生成所述当前块的预测，并且通过将所重构的残差与所述当前块的预测相加来重构所述当前块。

Description

具有延迟重构的视频编码
技术领域
本申请一般地涉及数据压缩，具体地涉及用于使用延迟重构的视频编码的方法和设备。
背景技术
数据压缩发生在众多场景中。在通信和计算机联网中非常普遍地使用数据压缩，以有效地存储、传输和复制信息。其在对图像、音频和视频的编码方面得到了具体应用。由于每个视频帧所需的大量数据以及编码和解码经常需要发生的速度，视频对数据压缩提出相当大的挑战。用于视频编码和解码的标准包括ITU-T H.264/AVC视频编码标准和HEVC/ITU-T H.265视频编码标准。下一代视频编码标准目前正在计划中(可能通过MPEG-ITU的联合倡议)，其暂时被称为下一代视频编码标准或ITU-T H.266。与此同时，谷歌正在开发VP8和VP9视频编码格式的下一代(VPx)，而IETF NetVC(互联网视频编码)工作组也正在开发下一代视频编码标准。
与许多数据压缩过程一样，H.264/AVC和HEVC/H.265依靠预测性编码，以便通过利用数据中的冗余来压缩数据。一些预测是空间上的，这意味着图像/帧/画面内的数据被用作预测图像/帧/画面内其他位置的数据的基础。这种预测性操作利用了图像或画面中的一致性。至少在视频的情况下，一些预测是时间上的，这意味着一个帧/画面中的数据被用作预测时间上邻近的帧/画面中的数据的基础。这种预测性操作利用了画面或图像序列的相似性。预测性编码也用于许多图像和音频编码过程。
在预测性编码处理中，预测生成器基于先前重构的数据创建针对当前源数据的预测；先前重构的数据是已经被编码然后被解码的先前源数据。从原始源数据中减去该预测，因为该预测可能并不恰好匹配原始源数据，所以可能产生残差。编码数据的比特流包含编码的残差和一些附加信息。附加信息可以包括确保编码器和解码器得到相同预测的预测信息。在许多编码过程中，编码过程的至少一部分是有损的，这意味着在解码器处重构的残差数据可能包含失真。重构的数据是通过将重构的残差数据与预测相加而生成的，由此将失真并入到重构的数据中。该过程通常称为预测性视频编码，并且是许多编码方案(例如H.264/AVC和HEVC/H.265)的基础。
附图说明
现在将作为示例参考示出了本申请的示例实施例的附图，在附图中：
图1以框图形式示出了常规的预测性媒体编码器；
图2以框图形式示出了常规的预测性媒体解码器；
图3以框图形式示出了具有延迟重构的编码器的示例；
图4以框图形式示出了具有延迟重构的解码器的示例；
图5示出了图像的一部分的说明性示例；
图6示出了图示用于对使用延迟重构编码的视频进行解码的示例方法的流程图；
图7以框图形式示出了具有延迟重构的解码器的另一示例；
图8示出了图示用于使用延迟重构来编码视频的示例方法的流程图；
图9示出了编码器的示例性实施例的简化框图；以及
图10示出了解码器的示例实施例的简化框图。
在不同的附图中已经使用类似的附图标记来表示类似的组件。
具体实施方式
本申请描述了使用延迟重构对数据(例如视频)进行编码和解码的方法。解码过程可以包括：解码第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；解码第二预测信息，该第二预测信息指定用于后续块的预测的参数；以及解码所述当前块的残差数据语法元素。解码器基于所述残差数据语法元素和所述第二预测信息来重构所述当前块的残差。然后，解码器根据所述第一预测信息和所存储的重构数据来生成所述当前块的预测，并且通过将所重构的残差与所述当前块的预测相加来重构所述当前块。
在第一方面，本申请描述一种使用编码器对视频数据进行编码以生成编码数据的比特流的方法。该方法包括：取回第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；生成第二预测信息，该第二预测信息指定用于后续块的预测的参数；使用所述当前块的预测获得所述当前块的残差；至少部分地基于所述第二预测信息来变换和量化所述残差，以创建所述当前块的经过量化的变换域系数；以及对所述经过量化的变换域系数进行熵编码，以产生编码数据的比特流的一部分。
本申请还公开了一种使用解码器从编码数据的比特流中解码视频数据的方法。该方法包括：取回第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；解码第二预测信息，该第二预测信息指定用于后续块的预测的参数；解码所述当前块的残差数据语法元素；基于所述残差数据语法元素和所述第二预测信息来重构所述当前块的残差；根据所述第一预测信息和所存储的重构数据来生成所述当前块的预测；以及通过将所重构的残差与所述当前块的预测相加来重构所述当前块。
在又一方面，本申请描述了配置为实现这种编码和解码的方法的编码器和解码器。
在又一方面，本申请描述了存储计算机可执行程序指令的非暂时性计算机可读介质，所述计算机可执行程序指令在被执行时将处理器配置为执行所描述的编码和/或解码的方法。
本领域普通技术人员将通过结合附图阅读以下示例的描述，来理解本申请的其他方面和特征。
在本申请中，术语“和/或”旨在覆盖列出元素的所有可能组合和子组合，包括列出元素的单独的任意一个、任意子组合或所有元素，而不是必须排除附加元素。
在本申请中，短语“…或…中的至少一个”旨在覆盖列出元素的任意一个或多个，包括列出元素的单独的任意一个、任意子组合或所有元素，而不是必须排除任何附加元素，且不是必须要求所有元素。
在以下描述中，参考用于视频编码的H.264/AVC标准和/或新开发的HEVC/H.265标准，描述了一些示例实施例。本领域普通技术人员将理解，对H.264/AVC或HEVC/H.265的参考仅用于说明，并不意味着本申请限于对这些标准的修改。本申请描述了可并入为可能的未来视频编码标准、多视点编码标准、可伸缩视频编码标准和可重构视频编码标准的一部分的编码和解码方法和设备。
还将意识到，本申请不限于视频编码，而是可以应用于其他媒体，包括图像或音频的编码。
在随后的描述中，当提到视频或图像时，术语帧、画面、切片(slice)、分片(tile)和矩形切片组可以在某种程度上互换使用。本领域技术人员将认识到，在H.264或HEVC标准的情形中，帧可以包含一个或多个切片。在一些情形中，一系列帧/画面可称为“序列”或“画面组”(GoP)。其他术语可在其他视频编码标准中使用。还将认识到，根据可应用的图像或视频编码标准的具体要求或术语，某些编码/解码操作可以逐帧执行，而一些逐切片执行，一些逐画面执行，一些逐分片执行，还有一些逐矩形切片组执行。在任何特定实施例中，根据实现，可以视情况针对帧和/或切片和/或画面和/或分片和/或矩形切片组来执行以下描述的操作。相应地，根据本公开，本领域普通技术人员将理解，本文描述的特定操作或过程以及对帧、切片、图片、分片、矩形切片组的特定参考对于给定实施例是否适用于帧、切片、图片、分片、矩形切片组、或者其中的一些或全部。其还适用于编码树单元、编码单元、预测单元、变换单元等，这些将通过以下公开而变得清楚。
现在参照图1，图1以框图形式示出了用于使用预测性码处理过程对媒体进行编码的编码器10。还参照图2，图2以框图形式示出了用于使用预测性码处理过程对编码媒体进行解码的解码器50。将清楚的是，本文描述的编码器10和解码器50均可以在专用或通用计算设备(包含一个或多个处理单元和存储器)上实现。编码器10或解码器50执行的操作可以视情况通过例如专用集成电路或通过通用处理器可执行的存储程序指令来实现。设备可以包括附加软件，该附加软件包括例如用于控制基本设备功能的操作系统。关于以下描述，本领域技术人员可以认识到在其中可以实现编码器10或解码器50的设备和平台的范围。
编码器10接收数据源12(标记为Xi)，并且产生编码比特流14。源Xi可以是例如图像的像素数据、视频的像素数据或一些其他原始数据。索引i旨在指示源Xi是要编码的“当前”样本集合，例如像素块、非矩形像素集等。
解码器50接收编码比特流14，并输出重构的源数据16(标记为
Figure BDA0001646469970000051
)。源符号上方的符号“^”旨在表示该数据已经根据编码-解码过程重构，并且因此可能包含失真。
编码器10包括变换/量化级20、残差重构器22、预测生成器24、预测信息生成器26和存储器28。通过从源Xi中减去预测Pi，将源Xi转换为残差Ri。然后对残差进行变换和量化以获得变换域残差，其与变换和量化参数一起作为残差信息Ui。残差信息由熵编码器30编码。
预测性反馈回路然后使用残差重构器22对编码残差进行解码以获得重构残差
Figure BDA0001646469970000052
重构残差
Figure BDA0001646469970000053
然后与相同的预测Pi相加以创建重构源数据
Figure BDA0001646469970000054
该重构源数据
Figure BDA0001646469970000055
存储在存储器28中。存储器28包含先前重构的数据，例如
Figure BDA0001646469970000056
注意，先前重构的数据
Figure BDA0001646469970000057
不一定指的是视频序列中先前重构的帧/画面；在视频/图像编码的情况下，它也可以包括来自相同画面/图像的先前重构的像素数据。此外请注意，存储器28可以对要存储的数据量施加限制，如果达到该限制，则旧数据可以被丢弃。
预测Pi是由预测生成器24生成的针对索引i的源数据的预测。预测生成器24使用存储在存储器28中的一些先前重构的数据
Figure BDA0001646469970000061
来生成预测。在该示例中，预测信息生成器26确定如何进行预测以及(在一些情况下)何种先前重构的数据将用作预测的源。预测信息生成器26可以基于当前源数据
Figure BDA0001646469970000062
和源的历史(即，来自存储器28的先前重构的数据)来作出该决定。作为示例，参考视频编码，预测信息生成器26可以确定是使用帧内编码还是帧间编码，并且选择帧内编码模式或参考帧和运动矢量。各种可能的预测性操作的细节与本说明书没有密切关系，因此将不在此详述。类似地，存在用于选择模式、运动矢量等的各种机制(包括基于率失真优化的搜索)，这些机制在本申请中不进行详细描述，但是将被本领域技术人员所理解。预测信息生成器26输出“预测信息”Mi，其然后被预测生成器24用作用于产生预测Pi的“指令”。
预测信息Mi与编码的残差数据一起被发送到解码器50。对残差信息和预测信息进行编码的熵编码器30产生编码数据的比特流14。
在解码器50处，比特流14由熵解码器32解码，该熵解码器32提取和/或重构预测信息Mi和残差信息Ui。残差重构器34使用残差信息Ui(例如，变换形状/大小/类型、块分割(即，将一个块分割为多个变换块)、量化参数和变换域残差本身)来产生重构的像素域残差数据
Figure BDA0001646469970000063
使用预测生成器36，基于预测信息Mi和存储在存储器38中的先前重构的数据
Figure BDA0001646469970000064
来创建预测Pi。这是与在编码器10处生成的用于产生残差数据Ri的预测Pi相同的预测Pi。在解码器50处，将该预测Pi与重构的残差数据
Figure BDA0001646469970000065
相加，以产生重构的源数据
Figure BDA0001646469970000066
重构的源数据
Figure BDA0001646469970000067
然后被输出并存储到存储器38中，以便可能用于随后的预测操作。注意到，存储器38可以对要存储的数据量施加限制，如果达到该限制，则旧数据可以被丢弃。
在H.265/HEVC中使用的这一类型的预测性视频编码的优点在于重构中没有画面延迟。换句话说，当前帧的重构不受接下来的画面的重构方式的影响。预测性视频编码可以与因果视频编码(CVC)形成对比，因果视频编码允许先前编码的原始图像块用于对当前图像块进行编码。这使得其率失真(rate-distortion)性能优于预测性视频编码，除了在一些特殊情况下它们的性能同样良好之外。联合视频编码系统(其中多个块被同时编码以实现最优编码)通常在率失真方面看来提供最佳结果，但由于所涉及的延迟和对大量参数的联合优化所涉及的计算复杂度而不实用。
本申请提出了一种实用的视频编码过程，其在有限的重构延迟下实现潜在的CVC增益。具体地，本申请提出了一种过程，其中重构延迟是图像块、扫描线、多个扫描线、画面、多个画面、或序列的某个其他部分。许多非实时(例如非视频会议)回放系统能够容忍几张画面的重构延迟而没有显著的影响。该过程基于来自未来编码残差的预测信息，来对残差的编码进行适应性调节。也就是说，对当前块的残差的编码进行等待，直到来自未来块的预测信息在当前块的残差的编码之前可用，使得用于对残差的编码的参数可以对来自未来块的预测信息加以考虑。这使得可以更有效地选择残差编码参数和方法。
下面描述的示例过程将语法元素的编码分成两组：预测信息Mi和残差信息Ui。预测信息Mi包括用于生成预测Pi的信息。这可以包括例如预测模式(例如，帧内编码模式)、运动矢量、预测单元的大小/形状、或指定如何生成预测Pi的其他参数。残差信息Ui包括用于重构残差
Figure BDA0001646469970000071
的信息。例如，残差信息Ui可以包括变换单元的大小和形状、变换类型/选择(例如，一致(unity)、DCT、DST、关于水平或垂直的2D等)、编码残差本身、或指定如何重构残差
Figure BDA0001646469970000072
的其他参数和数据。
理想情况下，Ui和Mi不相交，但是本申请并不要求
Figure BDA0001646469970000073
其中
Figure BDA0001646469970000074
表示空(零)集。在某个信息存在于Ui和Mi两者中的情况下，即，
Figure BDA0001646469970000081
熵解码器仅对Ui∩Mi中的这种信息解码一次，并将它们填充到Ui和Mi两者中。
一般而言，下面描述的过程以交错的方式使用M1M2…Mi…和U1U2…Ui…。具体而言，对M1M2…Mi的处理比对U1U2…Ui…的处理提前k＞0步/级，其中k是重构延迟。可以使用缓冲器来存储Mi+kMi+k-1…Mi，直到Ui被处理。参数k可以是根据可用的历史和/或辅助信息预先确定的或即时获知的。例如，可以通过要重构的一组图像块与用于生成该组中的图像块的预测的参考图像块之间的索引中的最大(或平均)距离来确定k。
现在参考图3和4。图3示出了根据本申请的编码器100的一个示例的框图。图4示出了根据本申请的解码器200的一个示例的框图。
编码器100在输入处包括缓冲器104，以便在进行处理以生成残差之前存储输入的图像块或画面。由于预测信息创建发生在残余处理之前，所以编码器100还将预测信息的生成与其在预测生成中的直接使用解耦合。
编码器100包括预测信息生成器126和预测生成器124，但是预测信息生成器126不将预测信息直接提供给预测生成器124，而是将其提供给预测信息缓冲器102。预测信息生成器126接受存储在缓冲器104中的图像块Xi，Xi+1，…，Xi+k-1作为输入。预测信息缓冲器102针对至少k个周期收集预测信息Mi+k，Mi+k-1，…，Mi(块、线、画面等，视情况而定)，并将第i个预测信息Mi提供到预测生成器124以生成预测Pi。存储器128存储从编码器100中的反馈重构回路获得的重构画面数据，所存储的重构画面数据可用于预测生成器124以创建预测Pi，并且可用于预测信息生成器126以生成预测信息。
残差Ri由变换/量化级120处理，但是应该注意，预测信息缓冲器向变换/量化级120提供预测信息。在该示例实施例中，预测信息缓冲器102除了当前预测信息Mi之外还向变换/量化级120提供“未来”预测信息Mi+k-1，…，Mi+1。然后，变换/量化级120可以使用所提供的预测信息来确定如何变换和/或量化残差以创建残差信息Ui。
在一些实施例中，预测信息缓冲器102可以向变换/量化级120仅提供未来预测信息Mi+k-1，…，Mi+1，而不一起提供当前预测信息Mi。
来自预测信息缓冲器102的预测信息对于编码器100的反馈回路中的残差重构器122也是可用的，使得残差重构器122可以针对将在解码器200(图4)中发生的残差重构针对变换和/或量化参数作出相同的基于预测信息的选择。
预测信息和残差信息由熵编码器130编码，以生成编码数据的比特流114。
解码器200还包括预测信息缓冲器202，当熵解码器232从比特流114解码预测信息时，预测信息缓冲器202存储该预测信息。可以观察到，在预测信息缓冲器202能够使“未来”预测信息Mi+k-1，…，Mi+1连同作为来自熵解码器232的输出的Mi+k对残差重构器234可用时，残差重构器234处理从熵解码器232输出的残差信息Ui。因此，执行逆量化和逆变换等功能的残差重构器234能够至少部分地基于预测信息来选择变换和/或量化参数。
预测信息缓冲器202还将当前预测信息Mi提供给预测生成器236，预测生成器236利用来自存储器238的先前重构的画面数据，生成用于创建重构图像数据
Figure BDA0001646469970000091
的预测Pi。
在编码器100和解码器200两者中，预测信息被缓冲，然后用于指导残差信息的处理。具体而言，预测信息可以用于选择合适的变换单元、变换类型、量化参数或其他这样的参数。预测信息提供关于以下内容的信息：要重构的图像数据在未来预测中将如何使用。特定像素在未来预测中使用的次数可以影响对分割(例如，变换大小)、量化参数、变换类型等的选择。有了这种信息，以下做法可能是有益的：定义
Figure BDA0001646469970000092
(或等价的
Figure BDA0001646469970000093
)的分割，使得具有相同参考计数的像素被分组在一起。这样的分割，连同Ui以及可能的Mi，可以用于例如在重构
Figure BDA0001646469970000094
时定义变换单元。
现在参考图5，图5示出了图像300的一部分的说明性示例。浅色阴影像素在用于重构其他图像数据的预测操作(例如运动估计)中被参考一次。深色阴影像素在用于重构其他图像数据的预测操作中被参考两次。以下提供为了(1)变换单元大小选择、(2)量化参数选择以及(3)分割和变换类型选择使用像素参考计数的示例。
变换单元大小选择
以下做法可能是有益的：对于深色阴影块，使用单独的2×2变换，对于浅色阴影区域，使用一些不同的变换块形状和大小(例如，2×4、4×4、4×8)。通过以下说明可以论证这种分割的有效性：
1.由于运动估计通常试图捕获刚性物体的线性运动，因此具有相同参考计数的像素通常具有比具有不同参考计数的像素更强的空间相关性。
2.诸如DCT(离散余弦变换)或KLT(Karhunen-Loève变换)之类的变换对具有较强空间相关性的图像块比对那些具有较弱空间相关性的图像块效果更好。
3.通常期望具有相同参考计数并彼此接近的像素具有一致的重构质量。由于量化参数通常是针对一个或多个变换单元定义的并且与一个或多个变换单元相关联，所以自然地将具有相同参考计数的像素分组到一个变换单元中，使得它们共享相同的量化参数，并从而具有接近一致的重构质量。此外，量化通常应用于变换域中的变换系数，而不是应用于空间域中的像素。调节变换域中的量化步长以在空间域中获得期望的重构质量分布会更困难，甚至是不可能的。
该示例可以一般化为包含多个参考画面。例如，对应于
Figure BDA0001646469970000101
中的每个像素，可以保持k元组(c1，…，ck)，其中，cj(1≤j≤k)指示在生成
Figure BDA0001646469970000102
的预测时参考该像素的次数。这样，
Figure BDA0001646469970000103
(或等价的
Figure BDA0001646469970000104
)的分割可以取决于(c1，…，ck)，例如，具有相同的(c1，…，ck)或φ(c1，…，ck)的像素被分组在一起以形成变换块，其中φ(c1，…，ck)表示(c1，…，ck)的映射函数。φ(c1，…，ck)的示例为：
Figure BDA0001646469970000111
其中wj是使
Figure BDA0001646469970000112
为常数的加权因子。φ(c1，…，ck)的另一个示例为：
Figure BDA0001646469970000113
其中
Figure BDA0001646469970000114
是非线性的。
(L，H)(L≤H)的常见选择是(0，1)、(0，2)、(1，2)等。
在一些实施例中，变换单元的细化可能受到可用的变换大小和形状的约束。在具有相同参考计数的像素区域具有没有对应变换的不规则形状的情况下，编码器或解码器可以将该区域细分为存在匹配变换的更小变换单元，或者将该区域与可能具有不同参考计数的相邻区域组合以定义存在匹配变换的变换单元。
量化参数选择
在一些实施例中，预测信息Mi+kMi+k-1…Mi用于确定在重构
Figure BDA0001646469970000115
中使用的量化参数(在一些情况下连同Ui中的信息一起使用)。仍然参考图5中所示的示例，以下做法可能是有益的：与对浅色阴影像素使用的量化参数相比，对深色阴影像素使用较小的量化参数。因此，假设在Ui中指定了基本量化参数Qi。基于Mi+k，Mi+k-1，…，Mi，Qi可以被修改以重构
Figure BDA0001646469970000121
的不同部分，例如，对于更频繁地被参考的区域而言被减少，对于不太频繁地被参考的区域而言被增加。换句话说，针对
Figure BDA0001646469970000122
中的区域的有效量化参数可能是该区域被参考的次数(如在Mi+k，Mi+k-1，…，Mi中计算的)的函数。在一个示例中，Qi可能是在HEVC中定义的量化参数。
假设要重构的
Figure BDA0001646469970000123
中的块在生成预测中未被参考(根据Mi+k，Mi+k-1，…，Mi)，则Qi+Δ0可用于重构该块。假设块在预测生成中被参考一次，则可以使用Qi+Δ1；以及类似的，如果块被参考c次，则对于该块可以使用Qi+Δc。这里，△c(c＝0，...k)是整数(可以是负的)，其被通知给解码器(例如，从比特流中解码)，或者通过使用默认逻辑(例如，不存在于比特流中)来推断。Δc的一个示例是Δc＝1-c。一般而言，Qi+Δc随着参考计数c的增加而减小：如果当前块完全未被参考，它可能大于Qi，并且如果当前块被多次参考，它可能小于Qi。请注意，Qi+Δc可以被进一步限制在可接受的范围内，例如[0，51]或[-6，45]。该例可以推广为包括多个参考画面，其中，对应于
Figure BDA0001646469970000124
中的每个像素，可以保持k元组(c1，…，ck)，其中，cj(1≤j≤k)指示在生成
Figure BDA0001646469970000125
的预测时参考该像素的次数。进一步假设具有相同(c1，…，ck)的像素被分组在一起以形成变换块。用于与(c1，…，ck)相关联的块的参数可以是(c1，…，ck)的函数，例如
Figure BDA0001646469970000126
的一个例子是
Figure BDA0001646469970000127
其中wj是非负的加权因子，并且T是常数。wj的可能选择包括wj＝1＞＞(j-1)＝2j-1或
Figure BDA0001646469970000128
相应地，T可以设置为T＝1。
Figure BDA0001646469970000131
的另一个例子是
Figure BDA0001646469970000132
Figure BDA0001646469970000133
其中
Figure BDA0001646469970000134
是非线性函数的一个例子。(L，H)(L≤H)的可能选择包括(0，1)、(0，2)、(1，2)等。常数T可以设置为T＝Lk+1。当(L，H)＝(0，1)时，量化参数Qi被调节为使得：对于在多个图像块/画面中重复被参考的区域而言，质量得到更好地保留。这种做法可能有利于保持视觉质量，因为人类视觉系统对在一段时间内持续存在的较大失真很敏感。
请注意，在一些实施例中，Qi可能仅仅是量化步长。在这些情况下，
Figure BDA0001646469970000135
可以用来调节与(c1，…，ck)关联的块的量化大小。这里，
Figure BDA0001646469970000136
的例子是
Figure BDA0001646469970000137
或
Figure BDA0001646469970000138
其中a是常数，例如21/6或者21/6的有限精度的近似值。
分割和变换类型
在一些实施例中，预测信息Mi+k，Mi+k-1，…，Mi用于确定在重构
Figure BDA0001646469970000139
中要使用的分割和变换(在一些情况下连同Ui中的信息一起使用)。再次参考图5中的例子，以下做法可能是有益的：对深色阴影像素使用恒等变换或阿达玛(Hadamard)变换，对浅色阴影像素使用离散余弦变换(DCT)，以避免在深色阴影像素的较小区域中的DCT的边界效应。
在另一个例子中，恒等变换可以用于
Figure BDA00016464699700001310
中的具有少于N个像素的块，其中N是正整数(例如4、8、16...)。在另一示例中，图像块包括多行(或列)具有相同参考计数(从Mi+k，Mi+k-1，…，Mi中获得)的像素，但是计数对于不同的行(或列)可能不同，在这种情况下，可以选择针对行(或列)的1D变换(例如1D DCT)。在另一示例中，在图像块包括具有高参考计数(根据Mi+k，Mi+k-1，…，Mi)的像素的情况下，如果参考计数大于阈值，则可以选择KLT作为图像块的变换。在又一示例中，在重构
Figure BDA0001646469970000141
时对块的变换的选择可取决于(c1，…，ck)，其中，cj(1≤j≤k)指示在生成
Figure BDA0001646469970000142
的预测时该像素被参考的次数。例如，如果
Figure BDA0001646469970000143
或更一般地
Figure BDA0001646469970000144
则可以使用恒等变换，其中，K是解码器已知或由解码器解码出的正整数，并且wj是与上述类似的非负加权因子。
将理解的是，在一些其他实施例中，预测信息Mi+k，Mi+k-1，…，Mi可以用于确定在重构
Figure BDA0001646469970000145
中使用的变换选择、块结构和量化参数的组合。
现在将参考图6，其以流程图的形式示出了根据本申请的一个方面的用于从编码数据比特流中解码视频数据的一个示例方法400。在该例中，方法400用于重构n个块
Figure BDA0001646469970000146
在操作402中，解码器取回第一预测信息Mi。第一预测信息Mi先前被解码并已经被缓冲。第一预测信息指定如何生成针对当前块的预测。
然后，解码器在操作404中针对后续块对第二预测信息Mi+x进行解码，其中x是整数并且0＜x≤k，并且k是最大延迟值。后续块是指它在编码处理过程中是后续的，这意味着它的编码/解码可能依赖于来自当前块的重构数据。在简单的实施例中，x＝k＝1，其中解码器在重构当前块之前仅1个块处进行解码(预测信息)。在另一个实施例中，解码器在重构当前块之前k个块处(即，x＝k)解码预测信息。在其它实施例中，在操作404中，解码器对k个块的预测信息进行解码(例如，对于x＝1至k)。在这些实施例中的一些中，在操作404中解码的预测信息包括：在生成用于重构块i+x的预测中参考块i的信息。换句话说，用于重构块i的预测信息Mi可以在k个可能的步骤：i-k、i-k+1、...、i-1中被解码和获得，这些步骤分别参考块i-k、块i-k+1、...、块i-1。为了清楚起见，在时刻i-x时针对未来块i解码的预测信息有时可以称为Mi，i-x，并且通过相同的标记法，在i时针对未来块i+x解码的预测信息有时可以称为Mi+x，i。
在操作405中，解码器对残差信息Ui进行解码，例如，量化变换域系数、变换形状/大小/类型、以及量化参数。残差信息提供了用于从当前块的预测重构当前块的语法元素。量化变换域系数通常被编码为残差数据语法元素，例如绝对系数值、末位有效系数坐标、有效系数标志、符号值、大于1标志等等。因此，残差信息的解码也可以被称为残差数据语法元素的解码。
在操作406中，解码器基于解码的残差数据语法元素(残差信息Ui)和第二预测信息Mi+x重构当前块的残差
Figure BDA0001646469970000151
如上所述，在一些实施例中，第二预测信息可以是Mi+1。在一些实施例中，第二预测信息可以是Mi+1、...、Mi+k。在其他实施例中，重构还可以基于第一预测信息Mi。
如上所述，在不同实施例中，第二预测信息可以通过许多可能方式之一影响残差的重构。在一个示例中，第二预测信息提供在生成后续预测中当前块中的每个像素被参考的次数的计数。在预测中使用的频率可以是用于确定当前块的分割、变换类型、变换大小、量化步长或其他量化参数和/或变换参数的基础。
在操作408中，解码器使用第一预测信息Mi和所存储的来自先前重构的块的重构数据，来生成当前块的预测Pi。然后在操作410中将预测Pi与重构的残差
Figure BDA0001646469970000152
一起使用，以重构当前块
Figure BDA0001646469970000153
在另一个实施例中，解码过程可以描述如下。该过程可以应用于重构n个块
Figure BDA0001646469970000154
其中，n＞0，其是先验已知的或者是从比特流中解码得到的。假定延迟参数k＞0是先验已知的或者是从比特流中解码得到的。从而，解码过程的一个例子可以被描述为：
1.初始化i＝-k。
2.如果i≤0，则解码Mi+k并跳到步骤3；否则，执行以下操作：
(a)如果i+k≤n，则解码(Mi+k，Ui)；否则，将Mi+k设为空信息，并解码Ui。
(b)生成
Figure BDA0001646469970000161
(给定Ui和Mi+k，Mi+k-1，…，Mi)，即，
Figure BDA0001646469970000162
其中gp表示重构残差的生成是预测信息的函数。
(c)生成Pi(给定Mi和
Figure BDA0001646469970000163
)，其中
Figure BDA0001646469970000164
使用默认重构(例如，空块或具有已知的常见图案的块)。换言之，
Figure BDA0001646469970000165
其中f表示预测生成器。
(d)重构
Figure BDA0001646469970000166
存储并输出
Figure BDA0001646469970000167
3.将i递增1。
4.重复步骤2至3，直到i＝n+1。
注意，在一些示例实施例中，输出Ui的熵解码器可以至少部分取决于Mi+k，Mi+k-1，…，Mi。现在参考图7，图7示出了根据另一个实施例的示例解码器500。在该示例中，解码器500包括将输入的编码视频比特流514分成两个流的解复用器506，这两个流中的一个涉及预测信息，一个涉及残差信息。编码的预测信息被输入到用于预测信息的熵解码器508。编码的残差信息被输入到用于残差信息的熵解码器510。解码器500包括预测信息缓冲器502、预测生成器536和存储器538。解码的残差信息被输入到残差重构器534。如上所述，残差重构器534可以至少部分地基于由预测信息缓冲器502提供的后续块的预测信息来进行重构。重构的残差与预测相加以创建重构的当前块，其作为解码视频516输出。
然而，在该示例实施例中，用于残差信息的熵解码器510也可以利用后续块的预测信息来对编码的残差信息的比特流进行解码。在该示例中，在一个实施例中，解码过程可以被描述如下：
1.初始化i＝-k。
2.如果i+k≤n，则解码Mi+k；否则，将Mi+k设为空信息；
3.如果i≤0，则跳到步骤4；否则，执行以下操作：
(a)解码Ui(给定Mi+k，Mi+k-1，…，Mi)。
(b)生成
Figure BDA0001646469970000171
(给定Ui和Mi+k，Mi+k-1，…，Mi)，即，
Figure BDA0001646469970000172
其中gp表示重构残差的生成是预测信息的函数。
(c)生成Pi(给定Mi和
Figure BDA0001646469970000173
)，其中
Figure BDA0001646469970000174
使用默认重构(例如，空块或具有已知的常见图案的块)。换言之，
Figure BDA0001646469970000175
其中f表示预测生成器。
(d)重构
Figure BDA0001646469970000176
存储并输出
Figure BDA0001646469970000177
4.将i递增1。
5.重复步骤2至4，直到i＝n+1。
在一些实施例中，为了支持具有变化的延迟限制的应用，可以使用二进制标志来通知针对一组图像块是否允许延迟重构：如果该二进制标志被清除(设置为0)，则使用传统的解码器；和如果该二进制标志被设置，则使用具有延迟重构的解码器。在后一种情况下，可以进一步执行参数k的解析或导出。例如，可以使用k-1的一元代码来编码k：由单个0终结的1的序列。在解码器侧，可以通过对终结的0之前的1的数量进行计数并将该数字递增1，来解码k。在其他实施例中，可以使用其他代码来通知k的值。
下面的表1示出了在传统的预测性编码解码器的情况下从左到右的输出顺序。
表1传统解码器的输出顺序
Figure BDA0001646469970000181
在采用延迟重构的解码器的实施例中，来自这种解码器(假设k＝1)的输出如下面的表2所示。
表2所提出的解码器的输出顺序
Figure BDA0001646469970000182
现在将参考图8，其示出了根据本申请的一个实施例的用于对视频数据进行编码以产生编码数据的比特流的一个示例方法600。方法600包括在操作602中生成当前块的第一预测信息(可以理解的是，第一预测信息可以被生成并存储，用于以后在方法600中取回和使用)。在操作604中，编码器生成针对后续块的第二预测信息。如操作606所示，编码器随后生成由第一预测信息指定的预测，并从当前块与其预测之间的差获得残差。
在操作608中，对残差进行变换和量化，其中变换和/或量化至少部分地基于第二预测信息。这产生经过量化的变换域系数，然后在操作610中对其进行熵编码。编码比特流包括第二预测信息和残差信息两者，残差信息包括编码的量化变换域系数。
应该理解的是，上述编码过程是对一个块进行编码的简化示例，其中变换/量化至少部分地基于针对后续块的预测信息。应该理解的是，预测信息的生成通常取决于重构的先前块是否可用，这意味着针对后续块的预测信息的生成应该使的重构的当前块可用，从而该过程可以评估是否依赖于重构当前块作为参考块。还应该理解的是，延迟重构过程意味着重构的当前块在生成后续预测信息时不一定可用。有许多方法可以用来解决这个问题。一个示例过程是在预测生成期间使用原始块。另一个示例过程是使用预测生成的逐步优化(可能从原始块开始)。
在一个简单的例子中，编码器整个或k步提前于U1，U2，…，Un来确定M1，M2，…，Mn。这可以通过运行没有重构延迟的编码器并记录用于预测生成的相关信息来实现，或者可以通过对原始X1，X2，…，Xn执行运动估计/预测生成来实现。然后，对于任意i，编码器：
1.根据Mi和
Figure BDA0001646469970000191
确定Pi；
2.根据Pi、Xi，…，Xi+k和Xi+k，Xi+k-1，…，Mi确定Ui；
3.重构
Figure BDA0001646469970000192
其中
Figure BDA0001646469970000193
是根据Ui确定的。
如果能够承受更高的复杂度，则示例编码器可以采用轮流最小化来迭代地学习Mi+k和Ui。假设M1，…，Mi+k-1和
Figure BDA0001646469970000194
已确定并且固定，则根据Mi和
Figure BDA0001646469970000195
完全确定Pi。示例编码器执行以下操作：
1.初始化j＝0和
Figure BDA0001646469970000196
(例如，全初始化为零)。
2.通过降低针对
Figure BDA0001646469970000201
和Xi，…，Xi+k定义的率失真成本来根据Xi+1，…，Xi+k和
Figure BDA0001646469970000202
计算
Figure BDA0001646469970000203
3.固定
Figure BDA0001646469970000204
通过降低针对
Figure BDA0001646469970000205
Xi，…，Xi+k和
Figure BDA0001646469970000206
定义的率失真成本来根据Pi、Xi，…，Xi+k和
Figure BDA0001646469970000207
计算
Figure BDA0001646469970000208
4.将j递增1。重复步骤2至4，直到成本的降低低于规定阈值或迭代次数j大于整数阈值。
5.编码并发送
Figure BDA0001646469970000209
和
Figure BDA00016464699700002010
现在参考图8，其中示出了编码器900的示例性实施例的简化框图。编码器900包括处理器902、存储器904、和编码应用906。编码应用程序906可以包括存储在存储器904中并包含指令的计算机程序或应用，所述指令用于将处理器902配置为执行诸如本文描述的操作等的步骤或操作。例如，编码应用程序906可以编码并输出根据本文描述的过程所编码的比特流。可以理解，编码应用906可以存储在计算机可读介质上，如致密光盘、闪存设备、随机存取存储器、硬盘等等。
现在还参考图9，其示出了解码器1000的示例实施例的简化框图。解码器1000包括处理器1002、存储器1004、以及解码应用1006。解码应用程序1006可以包括存储在存储器1004中并包含指令的计算机程序或应用，所述指令用于将处理器1002配置为执行诸如本文描述的操作等的步骤或操作。可以理解，解码应用1006可以存储在计算机可读介质上，如致密光盘、闪存设备、随机存取存储器、硬盘等等。
可以认识到，根据本申请的解码器和/或编码器可以在多个计算设备中实现，包括但不限于服务器、合适编程的通用计算机、音频/视频编码和回放设备、电视机顶盒、电视广播设备和移动设备。解码器或编码器可以通过软件来实现，该软件包含用于将处理器配置为执行本文所述功能的指令。软件指令可以存储在任何合适的非暂时性计算机可读存储器上，包括CD、RAM、ROM、闪存等。
将理解的是，可以使用标准计算机编程技术和语言来实现本文描述的编码器以及实现所描述的用于配置编码器的方法/过程的模块、例程、进程、线程或其他软件组件。本申请不限于特定处理器、计算机语言、计算机编程惯例、数据结构、其他这种实现细节。本领域技术人员将认识到，可以将所描述的处理实现为存储在易失性或非易失性存储器中的计算机可执行代码的一部分、专用集成芯片(ASIC)的一部分等。
可以对所述实施例进行某种调整和修改。因此，上文讨论的实施例应被认识是说明性而非限制性的。

Claims (16)

1.一种使用编码器对视频数据进行编码以生成编码数据的比特流的方法，所述方法包括：
从缓冲器，取回第一预测信息，该第一预测信息指定用于生成当前块的预测的参数并且包括帧内编码和运动矢量中的至少一个，其中所述第一预测信息先前被生成并且存储在所述缓冲器中；
基于所述第一预测信息，生成所述当前块的所述预测；
生成第二预测信息，该第二预测信息指定用于后续块的预测的参数，以及其中所述第二预测信息标识所述当前块的重构中的至少一个像素；
使用所述当前块的预测获得所述当前块的残差；
基于所述第二预测信息，选择用于所述当前块的变换和量化参数，所述第二预测信息标识在所述后续块的所述预测中使用的所述当前块的所述重构中的所述至少一个像素；
使用所述变换和量化参数来变换和量化所述残差，以创建所述当前块的经过量化的变换域系数，其中，重构所述当前块的残差包括：根据所述第二预测信息来确定所述当前块的所述重构中的每个像素在未来预测操作中被参考的次数，以及基于所述当前块的所述重构中的每个像素在未来预测操作中被参考的次数来选择用于变换的变换单元大小；以及
对所述经过量化的变换域系数进行熵编码，以产生编码数据的比特流的一部分。
2.根据权利要求1所述的方法，其中，变换和量化所述当前块的残差包括：至少部分地基于所述第二预测信息来选择变换单元大小。
3.根据权利要求1或2所述的方法，其中，变换和量化所述当前块的残差包括：至少部分地基于所述第二预测信息来选择量化参数。
4.根据权利要求1或2所述的方法，其中，变换和量化所述当前块的残差包括：至少部分地基于所述第二预测信息来选择变换类型。
5.根据权利要求1所述的方法，其中，所述第二预测信息包括针对k个后续块的预测信息，并且k是延迟参数。
6.根据权利要求1或2所述的方法，其中，对所述经过量化的变换域系数的所述熵编码至少部分地基于所述第二预测信息。
7.一种使用解码器从编码数据的比特流中解码视频数据的方法，所述方法包括：
从缓冲器，取回第一预测信息，该第一预测信息指定用于生成当前块的预测的参数并且包括帧内编码和运动矢量中的至少一个，其中所述第一预测信息先前被生成并且存储在所述缓冲器中；
解码第二预测信息，该第二预测信息指定用于后续块的预测的参数，以及其中所述第二预测信息标识所述当前块的重构中的至少一个像素；
解码所述当前块的残差数据语法元素；
基于所述残差数据语法元素和所述第二预测信息并且使用变换和量化参数来重构所述当前块的残差，所述变换和量化参数是基于所述第二预测信息选择的，所述第二预测信息标识在所述后续块的所述预测中使用的所述当前块的所述重构中的所述至少一个像素，其中，重构所述当前块的残差包括：根据所述第二预测信息来确定所述当前块的所述重构中的每个像素在未来预测操作中被参考的次数，以及基于所述当前块的所述重构中的每个像素在未来预测操作中被参考的次数来选择用于变换的变换单元大小；
根据所述第一预测信息和所存储的重构数据来生成所述当前块的预测；以及
通过将所重构的残差与所述当前块的预测相加来重构所述当前块。
8.根据权利要求7所述的方法，其中，重构所述当前块的残差包括：至少部分地基于所述第二预测信息来选择变换单元大小。
9.根据权利要求7或8所述的方法，其中，重构所述当前块的残差包括：至少部分地基于所述第二预测信息来选择量化参数。
10.根据权利要求7或8所述的方法，其中，重构所述当前块的残差包括：至少部分地基于所述第二预测信息来选择变换类型。
11.根据权利要求7或8所述的方法，其中，所述第二预测信息包括针对k个后续块的预测信息，并且k是延迟参数。
12.根据权利要求7或8所述的方法，其中，对所述残差数据语法元素的解码至少部分地基于所述第二预测信息。
13.根据权利要求7或8所述的方法，其中，对所述残差数据语法元素的解码至少部分地基于所述第一预测信息。
14.一种用于对视频数据进行编码以生成编码数据的比特流的编码器，所述编码器包括：
存储器，存储所述视频数据；
处理器；
能够由所述处理器执行的编码应用，所述编码应用当被执行时使所述处理器执行根据权利要求1至6中的任一项所述的方法。
15.一种用于从编码数据的比特流中解码视频数据的解码器，所述解码器包括：
处理器；
存储器；以及
能够由所述处理器执行的解码应用，所述解码应用当被执行时使所述处理器执行根据权利要求7至13中的任一项所述的方法。
16.一种存储处理器可执行指令的非暂时性处理器可读介质，所述处理器可执行指令当被执行时配置一个或多个处理器执行根据权利要求1至13中的任一项所述的方法。
CN201680063839.7A 2015-09-02 2016-08-26 具有延迟重构的视频编码 Active CN108353180B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/842,865 US20170064298A1 (en) 2015-09-02 2015-09-02 Video coding with delayed reconstruction
US14/842,865 2015-09-02
PCT/CA2016/051009 WO2017035638A1 (en) 2015-09-02 2016-08-26 Video coding with delayed reconstruction

Publications (2)

Publication Number Publication Date
CN108353180A CN108353180A (zh) 2018-07-31
CN108353180B true CN108353180B (zh) 2022-07-26

Family

ID=58096419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680063839.7A Active CN108353180B (zh) 2015-09-02 2016-08-26 具有延迟重构的视频编码

Country Status (4)

Country Link
US (1) US20170064298A1 (zh)
EP (1) EP3345397A4 (zh)
CN (1) CN108353180B (zh)
WO (1) WO2017035638A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109922340B (zh) * 2017-12-13 2021-10-15 华为技术有限公司 图像编解码方法、装置、系统及存储介质
CA3108402A1 (en) * 2018-08-03 2020-02-06 V-Nova International Ltd Entropy coding for signal enhancement coding
AU2018217336A1 (en) * 2018-08-17 2020-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
US20230052538A1 (en) * 2021-08-13 2023-02-16 Meta Platforms, Inc. Systems and methods for determining token rates within a rate-distortion optimization hardware pipeline

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611890A (zh) * 2011-01-19 2012-07-25 捷讯研究有限公司 用于改进的多层数据压缩的方法和设备
CN103947211A (zh) * 2011-11-14 2014-07-23 联发科技股份有限公司 具有已分区比特流的视频编码装置及方法
WO2015057032A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003280512A1 (en) * 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
US8902972B2 (en) * 2008-04-11 2014-12-02 Qualcomm Incorporated Rate-distortion quantization for context-adaptive variable length coding (CAVLC)
US8665964B2 (en) * 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
WO2011118156A1 (ja) * 2010-03-24 2011-09-29 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号回路及び画像復号方法
FR2989550B1 (fr) * 2012-04-16 2015-04-03 France Brevets Procede de quantification dynamique pour le codage video
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
US20150208082A1 (en) * 2014-01-21 2015-07-23 Vixs Systems, Inc. Video encoder with reference picture prediction and methods for use therewith

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611890A (zh) * 2011-01-19 2012-07-25 捷讯研究有限公司 用于改进的多层数据压缩的方法和设备
CN103947211A (zh) * 2011-11-14 2014-07-23 联发科技股份有限公司 具有已分区比特流的视频编码装置及方法
WO2015057032A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
EP3345397A4 (en) 2019-04-17
WO2017035638A1 (en) 2017-03-09
EP3345397A1 (en) 2018-07-11
US20170064298A1 (en) 2017-03-02
CN108353180A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
US10750177B2 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
US9282329B2 (en) Methods and devices for data compression using offset-based adaptive reconstruction levels
US8315304B2 (en) Method and apparatus for encoding and decoding transform coefficients
US9219912B2 (en) Coding of residual data in predictive compression
US8577159B2 (en) Methods and devices for data compression with adaptive filtering in the transform domain
US9554145B2 (en) Re-encoding image sets using frequency-domain differences
US8611687B2 (en) Method and apparatus for encoding and decoding image using flexible orthogonal transform
JP7343669B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
KR20130056190A (ko) 변환 영역 필터들을 인코딩 및 디코딩하기 위한 방법들 및 장치들
CN108353180B (zh) 具有延迟重构的视频编码
US8559519B2 (en) Method and device for video encoding using predicted residuals
EP2343901A1 (en) Method and device for video encoding using predicted residuals
US9872032B2 (en) Autogressive pixel prediction in the neighborhood of image borders
JP7402280B2 (ja) 動画像復号装置、動画像復号方法及びプログラム
KR20090119434A (ko) 영상의 부호화, 복호화 방법 및 장치
US8582639B2 (en) Methods and devices for data compression using adaptive reconstruction levels
CN111052743B (zh) 视频编码中用于局部选择变换集的变换池
US20220030273A1 (en) Method of reducing context models for entropy coding of transform coefficient significant flag
CA2803202C (en) Methods and devices for data compression using adaptive reconstruction levels
US20230007311A1 (en) Image encoding device, image encoding method and storage medium, image decoding device, and image decoding method and storage medium
JP6917718B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
KR101307469B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant