CN108353180A - 具有延迟重构的视频编码 - Google Patents

具有延迟重构的视频编码 Download PDF

Info

Publication number
CN108353180A
CN108353180A CN201680063839.7A CN201680063839A CN108353180A CN 108353180 A CN108353180 A CN 108353180A CN 201680063839 A CN201680063839 A CN 201680063839A CN 108353180 A CN108353180 A CN 108353180A
Authority
CN
China
Prior art keywords
predictive information
current block
residual error
prediction
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680063839.7A
Other languages
English (en)
Other versions
CN108353180B (zh
Inventor
何大可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BlackBerry Ltd
Original Assignee
BlackBerry Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BlackBerry Ltd filed Critical BlackBerry Ltd
Publication of CN108353180A publication Critical patent/CN108353180A/zh
Application granted granted Critical
Publication of CN108353180B publication Critical patent/CN108353180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

描述了使用延迟重构对媒体(例如视频)进行编码和解码的方法。解码过程可以包括：解码第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；解码所述当前块的残差数据语法元素；以及解码第二预测信息，该第二预测信息指定用于后续块的预测的参数。解码器基于所述残差数据语法元素和所述第二预测信息来重构所述当前块的残差。然后，解码器根据所述第一预测信息和所存储的重构数据来生成所述当前块的预测，并且通过将所重构的残差与所述当前块的预测相加来重构所述当前块。

Description

具有延迟重构的视频编码
技术领域
本申请一般地涉及数据压缩，具体地涉及用于使用延迟重构的视频编码的方法和设备。
背景技术
数据压缩发生在众多场景中。在通信和计算机联网中非常普遍地使用数据压缩，以有效地存储、传输和复制信息。其在对图像、音频和视频的编码方面得到了具体应用。由于每个视频帧所需的大量数据以及编码和解码经常需要发生的速度，视频对数据压缩提出相当大的挑战。用于视频编码和解码的标准包括ITU-T H.264/AVC视频编码标准和HEVC/ITU-T H.265视频编码标准。下一代视频编码标准目前正在计划中(可能通过MPEG-ITU的联合倡议)，其暂时被称为下一代视频编码标准或ITU-T H.266。与此同时，谷歌正在开发VP8和VP9视频编码格式的下一代(VPx)，而IETF NetVC(互联网视频编码)工作组也正在开发下一代视频编码标准。
与许多数据压缩过程一样，H.264/AVC和HEVC/H.265依靠预测性编码，以便通过利用数据中的冗余来压缩数据。一些预测是空间上的，这意味着图像/帧/画面内的数据被用作预测图像/帧/画面内其他位置的数据的基础。这种预测性操作利用了图像或画面中的一致性。至少在视频的情况下，一些预测是时间上的，这意味着一个帧/画面中的数据被用作预测时间上邻近的帧/画面中的数据的基础。这种预测性操作利用了画面或图像序列的相似性。预测性编码也用于许多图像和音频编码过程。
在预测性编码处理中，预测生成器基于先前重构的数据创建针对当前源数据的预测；先前重构的数据是已经被编码然后被解码的先前源数据。从原始源数据中减去该预测，因为该预测可能并不恰好匹配原始源数据，所以可能产生残差。编码数据的比特流包含编码的残差和一些附加信息。附加信息可以包括确保编码器和解码器得到相同预测的预测信息。在许多编码过程中，编码过程的至少一部分是有损的，这意味着在解码器处重构的残差数据可能包含失真。重构的数据是通过将重构的残差数据与预测相加而生成的，由此将失真并入到重构的数据中。该过程通常称为预测性视频编码，并且是许多编码方案(例如H.264/AVC和HEVC/H.265)的基础。
附图说明
现在将作为示例参考示出了本申请的示例实施例的附图，在附图中：
图1以框图形式示出了常规的预测性媒体编码器；
图2以框图形式示出了常规的预测性媒体解码器；
图3以框图形式示出了具有延迟重构的编码器的示例；
图4以框图形式示出了具有延迟重构的解码器的示例；
图5示出了图像的一部分的说明性示例；
图6示出了图示用于对使用延迟重构编码的视频进行解码的示例方法的流程图；
图7以框图形式示出了具有延迟重构的解码器的另一示例；
图8示出了图示用于使用延迟重构来编码视频的示例方法的流程图；
图9示出了编码器的示例性实施例的简化框图；以及
图10示出了解码器的示例实施例的简化框图。
在不同的附图中已经使用类似的附图标记来表示类似的组件。
具体实施方式
本申请描述了使用延迟重构对数据(例如视频)进行编码和解码的方法。解码过程可以包括：解码第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；解码第二预测信息，该第二预测信息指定用于后续块的预测的参数；以及解码所述当前块的残差数据语法元素。解码器基于所述残差数据语法元素和所述第二预测信息来重构所述当前块的残差。然后，解码器根据所述第一预测信息和所存储的重构数据来生成所述当前块的预测，并且通过将所重构的残差与所述当前块的预测相加来重构所述当前块。
在第一方面，本申请描述一种使用编码器对视频数据进行编码以生成编码数据的比特流的方法。该方法包括：取回第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；生成第二预测信息，该第二预测信息指定用于后续块的预测的参数；使用所述当前块的预测获得所述当前块的残差；至少部分地基于所述第二预测信息来变换和量化所述残差，以创建所述当前块的经过量化的变换域系数；以及对所述经过量化的变换域系数进行熵编码，以产生编码数据的比特流的一部分。
本申请还公开了一种使用解码器从编码数据的比特流中解码视频数据的方法。该方法包括：取回第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；解码第二预测信息，该第二预测信息指定用于后续块的预测的参数；解码所述当前块的残差数据语法元素；基于所述残差数据语法元素和所述第二预测信息来重构所述当前块的残差；根据所述第一预测信息和所存储的重构数据来生成所述当前块的预测；以及通过将所重构的残差与所述当前块的预测相加来重构所述当前块。
在又一方面，本申请描述了配置为实现这种编码和解码的方法的编码器和解码器。
在又一方面，本申请描述了存储计算机可执行程序指令的非暂时性计算机可读介质，所述计算机可执行程序指令在被执行时将处理器配置为执行所描述的编码和/或解码的方法。
本领域普通技术人员将通过结合附图阅读以下示例的描述，来理解本申请的其他方面和特征。
在本申请中，术语“和/或”旨在覆盖列出元素的所有可能组合和子组合，包括列出元素的单独的任意一个、任意子组合或所有元素，而不是必须排除附加元素。
在本申请中，短语“…或…中的至少一个”旨在覆盖列出元素的任意一个或多个，包括列出元素的单独的任意一个、任意子组合或所有元素，而不是必须排除任何附加元素，且不是必须要求所有元素。
在以下描述中，参考用于视频编码的H.264/AVC标准和/或新开发的HEVC/H.265标准，描述了一些示例实施例。本领域普通技术人员将理解，对H.264/AVC或HEVC/H.265的参考仅用于说明，并不意味着本申请限于对这些标准的修改。本申请描述了可并入为可能的未来视频编码标准、多视点编码标准、可伸缩视频编码标准和可重构视频编码标准的一部分的编码和解码方法和设备。
还将意识到，本申请不限于视频编码，而是可以应用于其他媒体，包括图像或音频的编码。
在随后的描述中，当提到视频或图像时，术语帧、画面、切片(slice)、分片(tile)和矩形切片组可以在某种程度上互换使用。本领域技术人员将认识到，在H.264或HEVC标准的情形中，帧可以包含一个或多个切片。在一些情形中，一系列帧/画面可称为“序列”或“画面组”(GoP)。其他术语可在其他视频编码标准中使用。还将认识到，根据可应用的图像或视频编码标准的具体要求或术语，某些编码/解码操作可以逐帧执行，而一些逐切片执行，一些逐画面执行，一些逐分片执行，还有一些逐矩形切片组执行。在任何特定实施例中，根据实现，可以视情况针对帧和/或切片和/或画面和/或分片和/或矩形切片组来执行以下描述的操作。相应地，根据本公开，本领域普通技术人员将理解，本文描述的特定操作或过程以及对帧、切片、图片、分片、矩形切片组的特定参考对于给定实施例是否适用于帧、切片、图片、分片、矩形切片组、或者其中的一些或全部。其还适用于编码树单元、编码单元、预测单元、变换单元等，这些将通过以下公开而变得清楚。
现在参照图1，图1以框图形式示出了用于使用预测性码处理过程对媒体进行编码的编码器10。还参照图2，图2以框图形式示出了用于使用预测性码处理过程对编码媒体进行解码的解码器50。将清楚的是，本文描述的编码器10和解码器50均可以在专用或通用计算设备(包含一个或多个处理单元和存储器)上实现。编码器10或解码器50执行的操作可以视情况通过例如专用集成电路或通过通用处理器可执行的存储程序指令来实现。设备可以包括附加软件，该附加软件包括例如用于控制基本设备功能的操作系统。关于以下描述，本领域技术人员可以认识到在其中可以实现编码器10或解码器50的设备和平台的范围。
编码器10接收数据源12(标记为Xi)，并且产生编码比特流14。源Xi可以是例如图像的像素数据、视频的像素数据或一些其他原始数据。索引i旨在指示源Xi是要编码的“当前”样本集合，例如像素块、非矩形像素集等。
解码器50接收编码比特流14，并输出重构的源数据16(标记为)。源符号上方的符号“^”旨在表示该数据已经根据编码-解码过程重构，并且因此可能包含失真。
编码器10包括变换/量化级20、残差重构器22、预测生成器24、预测信息生成器26和存储器28。通过从源Xi中减去预测Pi，将源Xi转换为残差Ri。然后对残差进行变换和量化以获得变换域残差，其与变换和量化参数一起作为残差信息Ui。残差信息由熵编码器30编码。
预测性反馈回路然后使用残差重构器22对编码残差进行解码以获得重构残差重构残差然后与相同的预测Pi相加以创建重构源数据该重构源数据存储在存储器28中。存储器28包含先前重构的数据，例如注意，先前重构的数据不一定指的是视频序列中先前重构的帧/画面；在视频/图像编码的情况下，它也可以包括来自相同画面/图像的先前重构的像素数据。此外请注意，存储器28可以对要存储的数据量施加限制，如果达到该限制，则旧数据可以被丢弃。
预测Pi是由预测生成器24生成的针对索引i的源数据的预测。预测生成器24使用存储在存储器28中的一些先前重构的数据来生成预测。在该示例中，预测信息生成器26确定如何进行预测以及(在一些情况下)何种先前重构的数据将用作预测的源。预测信息生成器26可以基于当前源数据和源的历史(即，来自存储器28的先前重构的数据)来作出该决定。作为示例，参考视频编码，预测信息生成器26可以确定是使用帧内编码还是帧间编码，并且选择帧内编码模式或参考帧和运动矢量。各种可能的预测性操作的细节与本说明书没有密切关系，因此将不在此详述。类似地，存在用于选择模式、运动矢量等的各种机制(包括基于率失真优化的搜索)，这些机制在本申请中不进行详细描述，但是将被本领域技术人员所理解。预测信息生成器26输出“预测信息”Mi，其然后被预测生成器24用作用于产生预测Pi的“指令”。
预测信息Mi与编码的残差数据一起被发送到解码器50。对残差信息和预测信息进行编码的熵编码器30产生编码数据的比特流14。
在解码器50处，比特流14由熵解码器32解码，该熵解码器32提取和/或重构预测信息Mi和残差信息Ui。残差重构器34使用残差信息Ui(例如，变换形状/大小/类型、块分割(即，将一个块分割为多个变换块)、量化参数和变换域残差本身)来产生重构的像素域残差数据使用预测生成器36，基于预测信息Mi和存储在存储器38中的先前重构的数据来创建预测Pi。这是与在编码器10处生成的用于产生残差数据Ri的预测Pi相同的预测Pi。在解码器50处，将该预测Pi与重构的残差数据相加，以产生重构的源数据重构的源数据然后被输出并存储到存储器38中，以便可能用于随后的预测操作。注意到，存储器38可以对要存储的数据量施加限制，如果达到该限制，则旧数据可以被丢弃。
在H.265/HEVC中使用的这一类型的预测性视频编码的优点在于重构中没有画面延迟。换句话说，当前帧的重构不受接下来的画面的重构方式的影响。预测性视频编码可以与因果视频编码(CVC)形成对比，因果视频编码允许先前编码的原始图像块用于对当前图像块进行编码。这使得其率失真(rate-distortion)性能优于预测性视频编码，除了在一些特殊情况下它们的性能同样良好之外。联合视频编码系统(其中多个块被同时编码以实现最优编码)通常在率失真方面看来提供最佳结果，但由于所涉及的延迟和对大量参数的联合优化所涉及的计算复杂度而不实用。
本申请提出了一种实用的视频编码过程，其在有限的重构延迟下实现潜在的CVC增益。具体地，本申请提出了一种过程，其中重构延迟是图像块、扫描线、多个扫描线、画面、多个画面、或序列的某个其他部分。许多非实时(例如非视频会议)回放系统能够容忍几张画面的重构延迟而没有显著的影响。该过程基于来自未来编码残差的预测信息，来对残差的编码进行适应性调节。也就是说，对当前块的残差的编码进行等待，直到来自未来块的预测信息在当前块的残差的编码之前可用，使得用于对残差的编码的参数可以对来自未来块的预测信息加以考虑。这使得可以更有效地选择残差编码参数和方法。
下面描述的示例过程将语法元素的编码分成两组：预测信息Mi和残差信息Ui。预测信息Mi包括用于生成预测Pi的信息。这可以包括例如预测模式(例如，帧内编码模式)、运动矢量、预测单元的大小/形状、或指定如何生成预测Pi的其他参数。残差信息Ui包括用于重构残差的信息。例如，残差信息Ui可以包括变换单元的大小和形状、变换类型/选择(例如，一致(unity)、DCT、DST、关于水平或垂直的2D等)、编码残差本身、或指定如何重构残差的其他参数和数据。
理想情况下，Ui和Mi不相交，但是本申请并不要求其中表示空(零)集。在某个信息存在于Ui和Mi两者中的情况下，即，熵解码器仅对Ui∩Mi中的这种信息解码一次，并将它们填充到Ui和Mi两者中。
一般而言，下面描述的过程以交错的方式使用M1M2…Mi…和U1U2…Ui…。具体而言，对M1M2…Mi的处理比对U1U2…Ui…的处理提前k＞0步/级，其中k是重构延迟。可以使用缓冲器来存储Mi+kMi+k-1…Mi，直到Ui被处理。参数k可以是根据可用的历史和/或辅助信息预先确定的或即时获知的。例如，可以通过要重构的一组图像块与用于生成该组中的图像块的预测的参考图像块之间的索引中的最大(或平均)距离来确定k。
现在参考图3和4。图3示出了根据本申请的编码器100的一个示例的框图。图4示出了根据本申请的解码器200的一个示例的框图。
编码器100在输入处包括缓冲器104，以便在进行处理以生成残差之前存储输入的图像块或画面。由于预测信息创建发生在残余处理之前，所以编码器100还将预测信息的生成与其在预测生成中的直接使用解耦合。
编码器100包括预测信息生成器126和预测生成器124，但是预测信息生成器126不将预测信息直接提供给预测生成器124，而是将其提供给预测信息缓冲器102。预测信息生成器126接受存储在缓冲器104中的图像块Xi，Xi+1，…，Xi+k-1作为输入。预测信息缓冲器102针对至少k个周期收集预测信息Mi+k，Mi+k-1，…，Mi(块、线、画面等，视情况而定)，并将第i个预测信息Mi提供到预测生成器124以生成预测Pi。存储器128存储从编码器100中的反馈重构回路获得的重构画面数据，所存储的重构画面数据可用于预测生成器124以创建预测Pi，并且可用于预测信息生成器126以生成预测信息。
残差Ri由变换/量化级120处理，但是应该注意，预测信息缓冲器向变换/量化级120提供预测信息。在该示例实施例中，预测信息缓冲器102除了当前预测信息Mi之外还向变换/量化级120提供“未来”预测信息Mi+k-1，…，Mi+1。然后，变换/量化级120可以使用所提供的预测信息来确定如何变换和/或量化残差以创建残差信息Ui。
在一些实施例中，预测信息缓冲器102可以向变换/量化级120仅提供未来预测信息Mi+k-1，…，Mi+1，而不一起提供当前预测信息Mi。
来自预测信息缓冲器102的预测信息对于编码器100的反馈回路中的残差重构器122也是可用的，使得残差重构器122可以针对将在解码器200(图4)中发生的残差重构针对变换和/或量化参数作出相同的基于预测信息的选择。
预测信息和残差信息由熵编码器130编码，以生成编码数据的比特流114。
解码器200还包括预测信息缓冲器202，当熵解码器232从比特流114解码预测信息时，预测信息缓冲器202存储该预测信息。可以观察到，在预测信息缓冲器202能够使“未来”预测信息Mi+k-1，…，Mi+1连同作为来自熵解码器232的输出的Mi+k对残差重构器234可用时，残差重构器234处理从熵解码器232输出的残差信息Ui。因此，执行逆量化和逆变换等功能的残差重构器234能够至少部分地基于预测信息来选择变换和/或量化参数。
预测信息缓冲器202还将当前预测信息Mi提供给预测生成器236，预测生成器236利用来自存储器238的先前重构的画面数据，生成用于创建重构图像数据的预测Pi。
在编码器100和解码器200两者中，预测信息被缓冲，然后用于指导残差信息的处理。具体而言，预测信息可以用于选择合适的变换单元、变换类型、量化参数或其他这样的参数。预测信息提供关于以下内容的信息：要重构的图像数据在未来预测中将如何使用。特定像素在未来预测中使用的次数可以影响对分割(例如，变换大小)、量化参数、变换类型等的选择。有了这种信息，以下做法可能是有益的：定义(或等价的)的分割，使得具有相同参考计数的像素被分组在一起。这样的分割，连同Ui以及可能的Mi，可以用于例如在重构时定义变换单元。
现在参考图5，图5示出了图像300的一部分的说明性示例。浅色阴影像素在用于重构其他图像数据的预测操作(例如运动估计)中被参考一次。深色阴影像素在用于重构其他图像数据的预测操作中被参考两次。以下提供为了(1)变换单元大小选择、(2)量化参数选择以及(3)分割和变换类型选择使用像素参考计数的示例。
变换单元大小选择
以下做法可能是有益的：对于深色阴影块，使用单独的2×2变换，对于浅色阴影区域，使用一些不同的变换块形状和大小(例如，2×4、4×4、4×8)。通过以下说明可以论证这种分割的有效性：
1.由于运动估计通常试图捕获刚性物体的线性运动，因此具有相同参考计数的像素通常具有比具有不同参考计数的像素更强的空间相关性。
2.诸如DCT(离散余弦变换)或KLT(Karhunen-Loève变换)之类的变换对具有较强空间相关性的图像块比对那些具有较弱空间相关性的图像块效果更好。
3.通常期望具有相同参考计数并彼此接近的像素具有一致的重构质量。由于量化参数通常是针对一个或多个变换单元定义的并且与一个或多个变换单元相关联，所以自然地将具有相同参考计数的像素分组到一个变换单元中，使得它们共享相同的量化参数，并从而具有接近一致的重构质量。此外，量化通常应用于变换域中的变换系数，而不是应用于空间域中的像素。调节变换域中的量化步长以在空间域中获得期望的重构质量分布会更困难，甚至是不可能的。
该示例可以一般化为包含多个参考画面。例如，对应于中的每个像素，可以保持k元组(c1，…，ck)，其中，cj(1≤j≤k)指示在生成的预测时参考该像素的次数。这样，(或等价的)的分割可以取决于(c1，…，ck)，例如，具有相同的(c1，…，ck)或φ(c1，…，ck)的像素被分组在一起以形成变换块，其中φ(c1，…，ck)表示(c1，…，ck)的映射函数。φ(c1，…，ck)的示例为：
其中wj是使为常数的加权因子。φ(c1，…，ck)的另一个示例为：
其中是非线性的。
(L，H)(L≤H)的常见选择是(0，1)、(0，2)、(1，2)等。
在一些实施例中，变换单元的细化可能受到可用的变换大小和形状的约束。在具有相同参考计数的像素区域具有没有对应变换的不规则形状的情况下，编码器或解码器可以将该区域细分为存在匹配变换的更小变换单元，或者将该区域与可能具有不同参考计数的相邻区域组合以定义存在匹配变换的变换单元。
量化参数选择
在一些实施例中，预测信息Mi+kMi+k-1…Mi用于确定在重构中使用的量化参数(在一些情况下连同Ui中的信息一起使用)。仍然参考图5中所示的示例，以下做法可能是有益的：与对浅色阴影像素使用的量化参数相比，对深色阴影像素使用较小的量化参数。因此，假设在Ui中指定了基本量化参数Qi。基于Mi+k，Mi+k-1，…，Mi，Qi可以被修改以重构的不同部分，例如，对于更频繁地被参考的区域而言被减少，对于不太频繁地被参考的区域而言被增加。换句话说，针对中的区域的有效量化参数可能是该区域被参考的次数(如在Mi+k，Mi+k-1，…，Mi中计算的)的函数。在一个示例中，Qi可能是在HEVC中定义的量化参数。
假设要重构的中的块在生成预测中未被参考(根据Mi+k，Mi+k-1，…，Mi)，则Qi+Δ0可用于重构该块。假设块在预测生成中被参考一次，则可以使用Qi+Δ1；以及类似的，如果块被参考c次，则对于该块可以使用Qi+Δc。这里，△c(c＝0，...k)是整数(可以是负的)，其被通知给解码器(例如，从比特流中解码)，或者通过使用默认逻辑(例如，不存在于比特流中)来推断。Δc的一个示例是Δc＝1-c。一般而言，Qi+Δc随着参考计数c的增加而减小：如果当前块完全未被参考，它可能大于Qi，并且如果当前块被多次参考，它可能小于Qi。请注意，Qi+Δc可以被进一步限制在可接受的范围内，例如[0，51]或[-6，45]。该例可以推广为包括多个参考画面，其中，对应于中的每个像素，可以保持k元组(c1，…，ck)，其中，cj(1≤j≤k)指示在生成的预测时参考该像素的次数。进一步假设具有相同(c1，…，ck)的像素被分组在一起以形成变换块。用于与(c1，…，ck)相关联的块的参数可以是(c1，…，ck)的函数，例如的一个例子是其中wj是非负的加权因子，并且T是常数。wj的可能选择包括wj＝1＞＞(j-1)＝2j-1或相应地，T可以设置为T＝1。的另一个例子是 其中是非线性函数的一个例子。(L，H)(L≤H)的可能选择包括(0，1)、(0，2)、(1，2)等。常数T可以设置为T＝Lk+1。当(L，H)＝(0，1)时，量化参数Qi被调节为使得：对于在多个图像块/画面中重复被参考的区域而言，质量得到更好地保留。这种做法可能有利于保持视觉质量，因为人类视觉系统对在一段时间内持续存在的较大失真很敏感。
请注意，在一些实施例中，Qi可能仅仅是量化步长。在这些情况下，可以用来调节与(c1，…，ck)关联的块的量化大小。这里，的例子是或其中a是常数，例如21/6或者21/6的有限精度的近似值。
分割和变换类型
在一些实施例中，预测信息Mi+k，Mi+k-1，…，Mi用于确定在重构中要使用的分割和变换(在一些情况下连同Ui中的信息一起使用)。再次参考图5中的例子，以下做法可能是有益的：对深色阴影像素使用恒等变换或阿达玛(Hadamard)变换，对浅色阴影像素使用离散余弦变换(DCT)，以避免在深色阴影像素的较小区域中的DCT的边界效应。
在另一个例子中，恒等变换可以用于中的具有少于N个像素的块，其中N是正整数(例如4、8、16...)。在另一示例中，图像块包括多行(或列)具有相同参考计数(从Mi+k，Mi+k-1，…，Mi中获得)的像素，但是计数对于不同的行(或列)可能不同，在这种情况下，可以选择针对行(或列)的1D变换(例如1D DCT)。在另一示例中，在图像块包括具有高参考计数(根据Mi+k，Mi+k-1，…，Mi)的像素的情况下，如果参考计数大于阈值，则可以选择KLT作为图像块的变换。在又一示例中，在重构时对块的变换的选择可取决于(c1，…，ck)，其中，cj(1≤j≤k)指示在生成的预测时该像素被参考的次数。例如，如果或更一般地则可以使用恒等变换，其中，K是解码器已知或由解码器解码出的正整数，并且wj是与上述类似的非负加权因子。
将理解的是，在一些其他实施例中，预测信息Mi+k，Mi+k-1，…，Mi可以用于确定在重构中使用的变换选择、块结构和量化参数的组合。
现在将参考图6，其以流程图的形式示出了根据本申请的一个方面的用于从编码数据比特流中解码视频数据的一个示例方法400。在该例中，方法400用于重构n个块
在操作402中，解码器取回第一预测信息Mi。第一预测信息Mi先前被解码并已经被缓冲。第一预测信息指定如何生成针对当前块的预测。
然后，解码器在操作404中针对后续块对第二预测信息Mi+x进行解码，其中x是整数并且0＜x≤k，并且k是最大延迟值。后续块是指它在编码处理过程中是后续的，这意味着它的编码/解码可能依赖于来自当前块的重构数据。在简单的实施例中，x＝k＝1，其中解码器在重构当前块之前仅1个块处进行解码(预测信息)。在另一个实施例中，解码器在重构当前块之前k个块处(即，x＝k)解码预测信息。在其它实施例中，在操作404中，解码器对k个块的预测信息进行解码(例如，对于x＝1至k)。在这些实施例中的一些中，在操作404中解码的预测信息包括：在生成用于重构块i+x的预测中参考块i的信息。换句话说，用于重构块i的预测信息Mi可以在k个可能的步骤：i-k、i-k+1、...、i-1中被解码和获得，这些步骤分别参考块i-k、块i-k+1、...、块i-1。为了清楚起见，在时刻i-x时针对未来块i解码的预测信息有时可以称为Mi，i-x，并且通过相同的标记法，在i时针对未来块i+x解码的预测信息有时可以称为Mi+x，i。
在操作405中，解码器对残差信息Ui进行解码，例如，量化变换域系数、变换形状/大小/类型、以及量化参数。残差信息提供了用于从当前块的预测重构当前块的语法元素。量化变换域系数通常被编码为残差数据语法元素，例如绝对系数值、末位有效系数坐标、有效系数标志、符号值、大于1标志等等。因此，残差信息的解码也可以被称为残差数据语法元素的解码。
在操作406中，解码器基于解码的残差数据语法元素(残差信息Ui)和第二预测信息Mi+x重构当前块的残差如上所述，在一些实施例中，第二预测信息可以是Mi+1。在一些实施例中，第二预测信息可以是Mi+1、...、Mi+k。在其他实施例中，重构还可以基于第一预测信息Mi。
如上所述，在不同实施例中，第二预测信息可以通过许多可能方式之一影响残差的重构。在一个示例中，第二预测信息提供在生成后续预测中当前块中的每个像素被参考的次数的计数。在预测中使用的频率可以是用于确定当前块的分割、变换类型、变换大小、量化步长或其他量化参数和/或变换参数的基础。
在操作408中，解码器使用第一预测信息Mi和所存储的来自先前重构的块的重构数据，来生成当前块的预测Pi。然后在操作410中将预测Pi与重构的残差一起使用，以重构当前块
在另一个实施例中，解码过程可以描述如下。该过程可以应用于重构n个块其中，n＞0，其是先验已知的或者是从比特流中解码得到的。假定延迟参数k＞0是先验已知的或者是从比特流中解码得到的。从而，解码过程的一个例子可以被描述为：
1.初始化i＝-k。
2.如果i≤0，则解码Mi+k并跳到步骤3；否则，执行以下操作：
(a)如果i+k≤n，则解码(Mi+k，Ui)；否则，将Mi+k设为空信息，并解码Ui。
(b)生成(给定Ui和Mi+k，Mi+k-1，…，Mi)，即，其中gp表示重构残差的生成是预测信息的函数。
(c)生成Pi(给定Mi和)，其中使用默认重构(例如，空块或具有已知的常见图案的块)。换言之，其中f表示预测生成器。
(d)重构存储并输出
3.将i递增1。
4.重复步骤2至3，直到i＝n+1。
注意，在一些示例实施例中，输出Ui的熵解码器可以至少部分取决于Mi+k，Mi+k-1，…，Mi。现在参考图7，图7示出了根据另一个实施例的示例解码器500。在该示例中，解码器500包括将输入的编码视频比特流514分成两个流的解复用器506，这两个流中的一个涉及预测信息，一个涉及残差信息。编码的预测信息被输入到用于预测信息的熵解码器508。编码的残差信息被输入到用于残差信息的熵解码器510。解码器500包括预测信息缓冲器502、预测生成器536和存储器538。解码的残差信息被输入到残差重构器534。如上所述，残差重构器534可以至少部分地基于由预测信息缓冲器502提供的后续块的预测信息来进行重构。重构的残差与预测相加以创建重构的当前块，其作为解码视频516输出。
然而，在该示例实施例中，用于残差信息的熵解码器510也可以利用后续块的预测信息来对编码的残差信息的比特流进行解码。在该示例中，在一个实施例中，解码过程可以被描述如下：
1.初始化i＝-k。
2.如果i+k≤n，则解码Mi+k；否则，将Mi+k设为空信息；
3.如果i≤0，则跳到步骤4；否则，执行以下操作：
(a)解码Ui(给定Mi+k，Mi+k-1，…，Mi)。
(b)生成(给定Ui和Mi+k，Mi+k-1，…，Mi)，即，其中gp表示重构残差的生成是预测信息的函数。
(c)生成Pi(给定Mi和)，其中使用默认重构(例如，空块或具有已知的常见图案的块)。换言之，其中f表示预测生成器。
(d)重构存储并输出
4.将i递增1。
5.重复步骤2至4，直到i＝n+1。
在一些实施例中，为了支持具有变化的延迟限制的应用，可以使用二进制标志来通知针对一组图像块是否允许延迟重构：如果该二进制标志被清除(设置为0)，则使用传统的解码器；和如果该二进制标志被设置，则使用具有延迟重构的解码器。在后一种情况下，可以进一步执行参数k的解析或导出。例如，可以使用k-1的一元代码来编码k：由单个0终结的1的序列。在解码器侧，可以通过对终结的0之前的1的数量进行计数并将该数字递增1，来解码k。在其他实施例中，可以使用其他代码来通知k的值。
下面的表1示出了在传统的预测性编码解码器的情况下从左到右的输出顺序。
表1传统解码器的输出顺序
在采用延迟重构的解码器的实施例中，来自这种解码器(假设k＝1)的输出如下面的表2所示。
表2所提出的解码器的输出顺序
现在将参考图8，其示出了根据本申请的一个实施例的用于对视频数据进行编码以产生编码数据的比特流的一个示例方法600。方法600包括在操作602中生成当前块的第一预测信息(可以理解的是，第一预测信息可以被生成并存储，用于以后在方法600中取回和使用)。在操作604中，编码器生成针对后续块的第二预测信息。如操作606所示，编码器随后生成由第一预测信息指定的预测，并从当前块与其预测之间的差获得残差。
在操作608中，对残差进行变换和量化，其中变换和/或量化至少部分地基于第二预测信息。这产生经过量化的变换域系数，然后在操作610中对其进行熵编码。编码比特流包括第二预测信息和残差信息两者，残差信息包括编码的量化变换域系数。
应该理解的是，上述编码过程是对一个块进行编码的简化示例，其中变换/量化至少部分地基于针对后续块的预测信息。应该理解的是，预测信息的生成通常取决于重构的先前块是否可用，这意味着针对后续块的预测信息的生成应该使的重构的当前块可用，从而该过程可以评估是否依赖于重构当前块作为参考块。还应该理解的是，延迟重构过程意味着重构的当前块在生成后续预测信息时不一定可用。有许多方法可以用来解决这个问题。一个示例过程是在预测生成期间使用原始块。另一个示例过程是使用预测生成的逐步优化(可能从原始块开始)。
在一个简单的例子中，编码器整个或k步提前于U1，U2，…，Un来确定M1，M2，…，Mn。这可以通过运行没有重构延迟的编码器并记录用于预测生成的相关信息来实现，或者可以通过对原始X1，X2，…，Xn执行运动估计/预测生成来实现。然后，对于任意i，编码器：
1.根据Mi和确定Pi；
2.根据Pi、Xi，…，Xi+k和Xi+k，Xi+k-1，…，Mi确定Ui；
3.重构其中是根据Ui确定的。
如果能够承受更高的复杂度，则示例编码器可以采用轮流最小化来迭代地学习Mi+k和Ui。假设M1，…，Mi+k-1和已确定并且固定，则根据Mi和完全确定Pi。示例编码器执行以下操作：
1.初始化j＝0和(例如，全初始化为零)。
2.通过降低针对和Xi，…，Xi+k定义的率失真成本来根据Xi+1，…，Xi+k和计算
3.固定通过降低针对Xi，…，Xi+k和定义的率失真成本来根据Pi、Xi，…，Xi+k和计算
4.将j递增1。重复步骤2至4，直到成本的降低低于规定阈值或迭代次数j大于整数阈值。
5.编码并发送和
现在参考图8，其中示出了编码器900的示例性实施例的简化框图。编码器900包括处理器902、存储器904、和编码应用906。编码应用程序906可以包括存储在存储器904中并包含指令的计算机程序或应用，所述指令用于将处理器902配置为执行诸如本文描述的操作等的步骤或操作。例如，编码应用程序906可以编码并输出根据本文描述的过程所编码的比特流。可以理解，编码应用906可以存储在计算机可读介质上，如致密光盘、闪存设备、随机存取存储器、硬盘等等。
现在还参考图9，其示出了解码器1000的示例实施例的简化框图。解码器1000包括处理器1002、存储器1004、以及解码应用1006。解码应用程序1006可以包括存储在存储器1004中并包含指令的计算机程序或应用，所述指令用于将处理器1002配置为执行诸如本文描述的操作等的步骤或操作。可以理解，解码应用1006可以存储在计算机可读介质上，如致密光盘、闪存设备、随机存取存储器、硬盘等等。
可以认识到，根据本申请的解码器和/或编码器可以在多个计算设备中实现，包括但不限于服务器、合适编程的通用计算机、音频/视频编码和回放设备、电视机顶盒、电视广播设备和移动设备。解码器或编码器可以通过软件来实现，该软件包含用于将处理器配置为执行本文所述功能的指令。软件指令可以存储在任何合适的非暂时性计算机可读存储器上，包括CD、RAM、ROM、闪存等。
将理解的是，可以使用标准计算机编程技术和语言来实现本文描述的编码器以及实现所描述的用于配置编码器的方法/过程的模块、例程、进程、线程或其他软件组件。本申请不限于特定处理器、计算机语言、计算机编程惯例、数据结构、其他这种实现细节。本领域技术人员将认识到，可以将所描述的处理实现为存储在易失性或非易失性存储器中的计算机可执行代码的一部分、专用集成芯片(ASIC)的一部分等。
可以对所述实施例进行某种调整和修改。因此，上文讨论的实施例应被认识是说明性而非限制性的。

Claims (18)

1.一种使用编码器对视频数据进行编码以生成编码数据的比特流的方法，所述方法包括：
取回第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；
生成第二预测信息，该第二预测信息指定用于后续块的预测的参数；
使用所述当前块的预测获得所述当前块的残差；
至少部分地基于所述第二预测信息来变换和量化所述残差，以创建所述当前块的经过量化的变换域系数；以及
对所述经过量化的变换域系数进行熵编码，以产生编码数据的比特流的一部分。
2.根据权利要求1所述的方法，其中，变换和量化所述当前块的残差包括：至少部分地基于所述第二预测信息来选择变换单元大小。
3.根据权利要求1或2所述的方法，其中，变换和量化所述当前块的残差包括：至少部分地基于所述第二预测信息来选择量化参数。
4.根据权利要求1至3中的任一项所述的方法，其中，变换和量化所述当前块的残差包括：至少部分地基于所述第二预测信息来选择变换类型。
5.根据权利要求1至4中的任一项所述的方法，其中，变换和量化所述当前块的残差包括：根据所述第二预测信息来确定重构的当前块中的每个像素在未来预测操作中被参考的次数。
6.根据权利要求1至5中的任一项所述的方法，其中，所述第二预测信息包括针对k个后续块的预测信息，并且k是延迟参数。
7.根据权利要求1至6中的任一项所述的方法，其中，对所述经过量化的变换域系数的所述熵编码至少部分地基于所述第二预测信息。
8.一种使用解码器从编码数据的比特流中解码视频数据的方法，所述方法包括：
取回第一预测信息，该第一预测信息指定用于生成当前块的预测的参数；
解码第二预测信息，该第二预测信息指定用于后续块的预测的参数；
解码所述当前块的残差数据语法元素；
基于所述残差数据语法元素和所述第二预测信息来重构所述当前块的残差；
根据所述第一预测信息和所存储的重构数据来生成所述当前块的预测；以及
通过将所重构的残差与所述当前块的预测相加来重构所述当前块。
9.根据权利要求8所述的方法，其中，重构所述当前块的残差包括：至少部分地基于所述第二预测信息来选择变换单元大小。
10.根据权利要求8或9所述的方法，其中，重构所述当前块的残差包括：至少部分地基于所述第二预测信息来选择量化参数。
11.根据权利要求8至10中的任一项所述的方法，其中，重构所述当前块的残差包括：至少部分地基于所述第二预测信息来选择变换类型。
12.根据权利要求8至11中的任一项所述的方法，其中，重构所述当前块的残差包括：根据所述第二预测信息来确定重构的当前块中的每个像素在未来预测操作中被参考的次数。
13.根据权利要求8至12中的任一项所述的方法，其中，所述第二预测信息包括针对k个后续块的预测信息，并且k是延迟参数。
14.根据权利要求8至13中的任一项所述的方法，其中，对所述残差数据语法元素的解码至少部分地基于所述第二预测信息。
15.根据权利要求8至13中的任一项所述的方法，其中，对所述残差数据语法元素的解码至少部分地基于所述第一预测信息。
16.一种用于对视频数据进行编码以生成编码数据的比特流的编码器，所述编码器包括：
存储器，存储所述视频数据；
处理器；
能够由所述处理器执行的编码应用，所述编码应用当被执行时使所述处理器执行根据权利要求1至7中的任一项所述的方法。
17.一种用于从编码数据的比特流中解码视频数据的解码器，所述解码器包括：
处理器；
存储器；以及
能够由所述处理器执行的解码应用，所述解码应用当被执行时使所述处理器执行根据权利要求8至15中的任一项所述的方法。
18.一种存储处理器可执行指令的非暂时性处理器可读介质，所述处理器可执行指令当被执行时配置一个或多个处理器执行根据权利要求1至15中的任一项所述的方法。
CN201680063839.7A 2015-09-02 2016-08-26 具有延迟重构的视频编码 Active CN108353180B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/842,865 2015-09-02
US14/842,865 US20170064298A1 (en) 2015-09-02 2015-09-02 Video coding with delayed reconstruction
PCT/CA2016/051009 WO2017035638A1 (en) 2015-09-02 2016-08-26 Video coding with delayed reconstruction

Publications (2)

Publication Number Publication Date
CN108353180A true CN108353180A (zh) 2018-07-31
CN108353180B CN108353180B (zh) 2022-07-26

Family

ID=58096419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680063839.7A Active CN108353180B (zh) 2015-09-02 2016-08-26 具有延迟重构的视频编码

Country Status (4)

Country Link
US (1) US20170064298A1 (zh)
EP (1) EP3345397A4 (zh)
CN (1) CN108353180B (zh)
WO (1) WO2017035638A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112602327A (zh) * 2018-08-17 2021-04-02 佳能株式会社 对视频样本的变换块编码和解码的方法、设备和系统
CN112771868A (zh) * 2018-08-03 2021-05-07 V-诺瓦国际有限公司 信号增强编码结构

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109922340B (zh) * 2017-12-13 2021-10-15 华为技术有限公司 图像编解码方法、装置、系统及存储介质
US20230052538A1 (en) * 2021-08-13 2023-02-16 Meta Platforms, Inc. Systems and methods for determining token rates within a rate-distortion optimization hardware pipeline

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040114817A1 (en) * 2002-07-01 2004-06-17 Nikil Jayant Efficient compression and transport of video over a network
US20100329342A1 (en) * 2009-06-30 2010-12-30 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
US20120063693A1 (en) * 2010-03-24 2012-03-15 Hiroshi Amano Image decoding device, image encoding device, image decoding circuit, and image decoding method
CN102611890A (zh) * 2011-01-19 2012-07-25 捷讯研究有限公司 用于改进的多层数据压缩的方法和设备
CN103947211A (zh) * 2011-11-14 2014-07-23 联发科技股份有限公司 具有已分区比特流的视频编码装置及方法
US20150078445A1 (en) * 2013-09-19 2015-03-19 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
WO2015057032A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치
US20150208082A1 (en) * 2014-01-21 2015-07-23 Vixs Systems, Inc. Video encoder with reference picture prediction and methods for use therewith

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902972B2 (en) * 2008-04-11 2014-12-02 Qualcomm Incorporated Rate-distortion quantization for context-adaptive variable length coding (CAVLC)
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
FR2989550B1 (fr) * 2012-04-16 2015-04-03 France Brevets Procede de quantification dynamique pour le codage video

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040114817A1 (en) * 2002-07-01 2004-06-17 Nikil Jayant Efficient compression and transport of video over a network
US20100329342A1 (en) * 2009-06-30 2010-12-30 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
US20120063693A1 (en) * 2010-03-24 2012-03-15 Hiroshi Amano Image decoding device, image encoding device, image decoding circuit, and image decoding method
CN102611890A (zh) * 2011-01-19 2012-07-25 捷讯研究有限公司 用于改进的多层数据压缩的方法和设备
CN103947211A (zh) * 2011-11-14 2014-07-23 联发科技股份有限公司 具有已分区比特流的视频编码装置及方法
US20150078445A1 (en) * 2013-09-19 2015-03-19 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
WO2015057032A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치
US20150208082A1 (en) * 2014-01-21 2015-07-23 Vixs Systems, Inc. Video encoder with reference picture prediction and methods for use therewith

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112771868A (zh) * 2018-08-03 2021-05-07 V-诺瓦国际有限公司 信号增强编码结构
CN112771868B (zh) * 2018-08-03 2024-04-05 V-诺瓦国际有限公司 信号增强编码结构
CN112602327A (zh) * 2018-08-17 2021-04-02 佳能株式会社 对视频样本的变换块编码和解码的方法、设备和系统

Also Published As

Publication number Publication date
CN108353180B (zh) 2022-07-26
US20170064298A1 (en) 2017-03-02
WO2017035638A1 (en) 2017-03-09
EP3345397A4 (en) 2019-04-17
EP3345397A1 (en) 2018-07-11

Similar Documents

Publication Publication Date Title
CN105959697B (zh) 变换单元内的多符号位隐藏
KR101941955B1 (ko) 재귀적 블록 파티셔닝
KR20210050186A (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
US11677959B2 (en) Method and apparatus for video coding
KR102646839B1 (ko) 비디오 코딩을 위한 방법 및 장치
KR102589712B1 (ko) 비디오 디코딩 방법 및 장치, 저장 매체
CN106031177A (zh) 用于硬件加速的视频编码的主编码器
CN104041038A (zh) 用于编码和解码图像的方法、编码和解码设备以及相应的计算机程序
CN108353180A (zh) 具有延迟重构的视频编码
US11849118B2 (en) Content-adaptive online training with image substitution in neural image compression
US11303916B2 (en) Motion compensation techniques for video
US11956453B2 (en) Content-adaptive online training for DNN-based cross component prediction with scaling factors
US11917162B2 (en) Content-adaptive online training with feature substitution in neural image compression
US11758168B2 (en) Content-adaptive online training with scaling factors and/or offsets in neural image compression
KR102630441B1 (ko) 변환 계수 유효 플래그의 엔트로피 코딩을 위한 컨텍스트 모델들을 감소시키기 위한 방법 및 장치
US11589038B2 (en) Methods for video encoding and video decoding
EP3322188B1 (en) Method and device for generating a signal comprising video transcoding hints
US11889112B2 (en) Block-wise content-adaptive online training in neural image compression
US20220353521A1 (en) Method and apparatus for content-adaptive online training in neural image compression
KR20240068012A (ko) 영상 코딩을 위한 영상 처리 방법 및 이를 수행하는 전자 장치
WO2023059689A1 (en) Systems and methods for predictive coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant