CN107211161B - 包括最后阶段处理的扩展空间的视频编码优化 - Google Patents

包括最后阶段处理的扩展空间的视频编码优化 Download PDF

Info

Publication number
CN107211161B
CN107211161B CN201680006458.5A CN201680006458A CN107211161B CN 107211161 B CN107211161 B CN 107211161B CN 201680006458 A CN201680006458 A CN 201680006458A CN 107211161 B CN107211161 B CN 107211161B
Authority
CN
China
Prior art keywords
format
video
decoded
video signal
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680006458.5A
Other languages
English (en)
Other versions
CN107211161A (zh
Inventor
A·M·图拉皮斯
苏野平
D·W·辛格
H-J·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN107211161A publication Critical patent/CN107211161A/zh
Application granted granted Critical
Publication of CN107211161B publication Critical patent/CN107211161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

本发明公开了一种视频编码系统，该视频编码系统可包括编码器，该编码器对处于从视频信号的输入格式转换的第二格式的视频信号执行运动补偿预测。视频编码系统还可包括用于对编码视频的部分进行解码的解码器，以及使用从处于输入格式的视频信号导出的参数来对解码视频的部分进行滤波的滤波系统，例如，通过去块滤波或SAO滤波。预测系统可包括将解码视频转换为输入格式的另一格式转换器。预测系统可至少部分地基于处于输入格式的视频信号与处于输入格式的解码视频的比较来选择运动补偿预测的参数。

Description

包括最后阶段处理的扩展空间的视频编码优化
优先权要求
本公开要求2015年3月10日提交的名称为“Video Encoding Optimization ofExtended Spaces Including Last Stage Processes”的美国专利申请序列号62/130,973的优先权，其全文以引用方式并入。
背景技术
本发明涉及视频编码技术。典型的视频分布系统包括至少一个视频源和至少一个接收设备。视频内容可通过网络或固定介质分发。为了保持复杂性和低成本，视频内容通常在动态范围内受到限制，例如8-10位信号表示和4:2:0颜色格式。然而，显示技术的最新进展为使用更复杂的内容(也称为“更高质量内容”)打开了大门，包括表征为高动态范围(HDR)和/或宽色域(WCG)的内容，以及具有增加的空间分辨率和/或时间分辨率的内容。在使用视频编解码系统进行分发编码之前，这种较高质量内容通常使用传输函数(TF)和颜色转换被转换为较低的范围。这些步骤可引入在解码和显示时可影响并显著降低视频内容的质量的条带和其他伪像。
在以较低质量的表示编码时，在更高质量表示中可用的材料的上下文中提高编码性能的一种技术是在编码过程期间考虑原始内容特征。即，对于运动估计和模式决定过程，在诸如原始空间或扩展空间的“目标空间”中计算失真，而不是在编码空间原生的空间(“原生空间”)中计算失真。通过在执行适当的计算之前首先将数据转换到该目标空间，可提高编码和质量，即可降低比特率。在2014年9月30日提交的美国专利申请序列号14/503,200中进一步讨论了关于诸如帧内模式决定、运动估计和模式决定之类的过程用扩展空间进行视频编码优化，其全文以引用方式并入本文。
然而，典型的技术不能解决诸如去块滤波和采样点自适应偏移(SAO)滤波之类的环内处理机制。这些环内处理部件可影响原生空间和扩展空间中的信号的特征。如果扩展空间优化仅在应用环内处理之前的阶段被考虑，则可通过环内处理来否定“扩展空间”优化决定(例如在运动估计和/或模式决定阶段)。
因此，发明人认为在本领域中需要一种改进的编码过程，其考虑环内处理并能够处理与常规编码器相比在解码器处改善体验的更高质量的内容，并且可减少条带和块效应，提高分辨率和主观视觉质量，并减少其他伪影并改善压缩。
附图说明
图1示出了根据本发明的实施方案的解码器系统100。
图2示出了根据本发明的实施方案的编码器系统200。
图2A是一种对数据进行编码的方法290的流程图。
图3示出了根据本发明的实施方案的具有自适应编码的编码系统300。
图4示出了根据实施方案的具有次级格式的编码器系统400。
图4A是一种对数据进行编码的方法490的流程图。
图5示出了根据实施方案的具有次级格式和最终模式决定器556的编码器系统500。
图5A是一种对数据进行编码的方法590的流程图。
图6是根据实施方案的决定过程600的流程图。
具体实施方式
一些视频编解码器可包括环内处理部件。环内处理被称为“环内”，因为在编码过程中，环内处理的结果可被认为是其他处理和样本的预测。例如，诸如MPEG-4AVC/H.264或HEVC(目前公布为ISO/IEC 23008-2 MPEG-H Part 2和ITU-T H.265)的现代视频编解码器可包括环内后处理机制诸如去块和采样自适应偏移(SAO)。环内处理机制可提供客观视频质量和主观视频质量优点，因为它们可减少由于预测和量化处理所造成的伪影。
然而，如果扩展空间优化仅在应用环内处理之前的阶段被考虑，则扩展空间优化决定可能不如预期那样最优或有效，因为决定可能被环内处理和决定否定。使用HEVC编解码器的示例，SAO参数优化可考虑原生空间中的视频数据而不考虑扩展空间。由于SAO通常是编码的最后阶段之一，因此此类决定对于最终结果和显示处理将是重要的。该概念适用于可包括通常由此类编码方案采用的预测/运动补偿和残余添加块之后的后处理块(例如，环内处理和/或环外处理)的其他编解码器。
本公开的方法和系统可将扩展空间优化应用于编码过程的最后阶段中的一个或多个阶段。“最后阶段”可包括其中期望预定义级别的编码过程的阶段。“最后阶段”也可被称为“最后一公里”。在实施方案中，在“最后阶段”中不期望处理。在另一实施方案中，期望小量的处理。例如，与最后阶段相关联的处理级别可为在解码之后执行的未知或未指定的后处理方案的处理级别，其中重构样本是在参考缓冲器中添加以用于将来预测的样本。
对重构样本的操作通常取决于一个或多个最后阶段的特征。例如，一个或多个最后阶段可提供关于重构样本的操作的信息，诸如除了别的之外，色度采样、色彩空间域、位深度以及不同分量之间的任何相互依赖性(例如，样本值)。一个或多个最后阶段也可提供关于在重构期间如何发信号通知和/或使用操作的信息。
使用SAO的示例，实施方案可分别包括处理亮度和颜色/色度分量。将该过程应用于典型的编码器，可分析亮度样本以确定给定标准的“最佳”SAO值，例如，基于速率失真的标准。也可对每个色度分量做出类似的决定。需注意，在HEVC中，尽管可为每个分量发出不同的色度SAO值，但SAO模式通常在分量之间共享，从而在SAO模式决定期间创建共享分量之间的依赖关系。对于其他编解码器，包括未来可能开发的编解码器，这种依赖性可不存在。本文描述的概念同样适用于其他编解码器。
尽管本文的描述涉及环内处理，但是所描述的概念也适用于可受益于扩展空间中的编码优化的后处理机制。例如，其他后处理机制也被其他编解码器提出和/或使用，包括锐化和抖动方法，“自适应环路滤波”(ALF)和过度完全去噪(over-complete de-noising)。
在示例中，视频压缩方法包括将来自第一格式的视频信号转换为视频编码器使用的格式。该方法还可包括使用所选择的编码参数对转换的视频信号进行编码，以及解码由视频编码器输出的参考图像的编码数据。该方法还可包括使用从处于第一格式的视频信号导出的参数来对参考图像的解码数据进行滤波，并将滤波后的解码图像存储在解码图像缓冲器中。
在示例中，视频编码系统可包括将视频信号从第一格式转换为视频编解码器使用的第二格式的第一格式转换器。第一格式可具有比第二格式高的空间分辨率和/或时间分辨率。这两种格式在色彩空间、传输功能、位深度精度方面也可不同，甚至具有不同的色度分辨率。该系统还可包括视频编解码器。编解码器可包括对处于第二格式的视频信号执行运动补偿预测的编码器，对由编码器输出的编码视频的部分进行解码的解码器，使用从处于第一格式的视频导出的滤波参数对解码器的输出进行滤波的滤波系统，用于存储由滤波系统输出的解码图像的解码图像缓冲器，以及选择运动补偿预测参数的预测系统。
在一些情况下，视频编码系统还可包括将存储在解码图像缓冲器中的图像转换为第一格式的第二格式转换器。预测系统可至少部分地基于处于第一格式的视频信号与转换为第一格式的解码图像的比较来选择运动补偿预测的参数。
在示例中，非暂态计算机可读介质可在其上存储能够由处理器执行的程序指令，该程序指令在由处理设备执行时使得设备执行用于编码视频信号的操作。操作可包括将来自第一格式的视频信号转换为第二格式并对转换的视频信号进行编码。对转换的视频信号的编码可基于运动补偿预测。该操作可进一步包括对编码视频的部分进行解码，使用从第一格式的视频信号导出的参数对解码的视频进行滤波，将滤波后的图像数据存储在解码图像缓冲器中，并将解码部分从第二格式转换为第一格式。
在一些情况下，非暂态计算机可读介质还可包括用于将参考帧转换为第一格式并且然后根据运动补偿预测来预测内容的指令。内容预测可至少部分地基于视频编码器使用的格式的视频与解码的参考帧之间的比较，以及对在第一格式的视频与转换为第一格式的解码的参考帧之间测量的失真的估计。
图1示出了根据本发明的实施方案的编码系统100。编码器系统100可包括格式转换器110、编码器120、解码器130、逆格式转换器140和估计器150。在实施方案中，编码器系统100还可包括“增强”显示器160。
格式转换器110可包括用于待编码的输入信号的输入。格式转换器110可将输入信号的格式转换为第二格式。格式转换器110例如可执行将较高分辨率输入信号转换为较低分辨率的下转换。例如，格式转换器110可将特定颜色空间(例如，RGB ITU-R BT.2020)中且特定传输函数(TF)类型的具有4:4:4颜色格式的12位信号的输入信号转换为不同颜色空间中且使用不同TF的具有4:2:0颜色格式的10位信号。信号也可具有不同的空间分辨率。
编码器120可耦接到格式转换器110。编码器120可接收由格式转换器110生成的经格式转换的输入信号。编码器120可对转换的输入信号执行编码操作，并且生成从编码器系统100输出的编码视频数据。然后，输出信号可进行进一步的处理以用于通过网络、固定介质等进行传输。
编码器120可利用视频数据中的时间冗余和空间冗余。在实施方案中，编码器120可执行运动补偿预测编码。以下将更详细地描述编码器120的不同实施方案。
解码器130可耦接到编码器120。解码器130可对来自编码器120的编码视频数据进行解码。解码器130可包括用于存储先前解码的图像的解码器图像缓冲器(DPB)。
逆格式转换器140可耦接到解码器130。逆格式转换器140可将解码的数据转换回原始输入信号的格式。逆格式转换器140可执行将较低分辨率或不同分辨率和/或格式化数据转换为较高分辨率或不同分辨率和/或格式化的上转换。例如，逆格式转换器140可将具有4:2:0颜色格式且特定TF的10位信号的解码数据转换为4:4:4颜色格式且具有不同TF的12位信号。
在实施方案中，可通过右移操作、与值的乘法运算、双向滤波或其他合适的操作来执行位深度上转换。在实施方案中，可通过FIR内插滤波器或其他合适的操作来执行色度上采样(例如，4:2:0至4:4:4)。颜色空间转换可包括矩阵乘法。此外，其他特性诸如分辨率、TF、线性数据(例如，浮点型)可使用特定的潜在感知优化的TF转换(和逆转换)为浮点或固定点表示。例如，输入信号可使用合适的技术从一个TF转换(和逆转换)到另一个TF。
估计器150可估计编码操作中的错误和/或其他因素。在实施方案中，估计器150可计算失真度量并搜索用于图像数据的解码图像数据，以用作编码器120要编码的新帧的预测参考。在实施方案中，估计器150可接收原始格式输入信号和经格式转换的输入信号以及逆格式转换之前和之后的解码数据作为输入，并且可相应地做出其决定。在实施方案中，估计器150可选择编码参数诸如片类型(例如，I片、P片或B片)，帧内或帧间(单或多假设/双预测)预测，预测分区大小，用于预测的参考文献，帧内方向或块类型，加权预测和运动矢量等等。
在编码决定过程中使用的失真度量可是例如绝对差(MAD或SAD)的平均值或和，绝对变换差值(SATD)之和，平方差/误差之和(MSE或SSE)，峰值信噪比(PSNR)，结构相似性指数(SSIM)以及也可涉及其他信号特性如亮度、纹理(例如方差)、边缘或其他信息的其他合适操作。在实施方案中，在编码单元/宏块/块模式决定、图像或序列级别期间，在诸如基于网格的量化决定过程的量化期间，可在各种阶段执行失真计算，例如在帧内预测和全像素或半像素运动估计阶段。编码单元可包括：特定编解码器内的块、宏块、编码块、编码树单元、区域、片、瓦、图像和/或多个图像。计算可涉及预测样本和/或完全重构(预测+逆量化/变换残差)。在实施方案中，失真计算还可包括用于将任何相关联的信息编码到编码模式信息、运动矢量或帧内预测模式、量化变换系数等涉及的位的估计或精确计算。失真和比特率可组合成速率-失真标准，例如，使用J＝D+λ*R的拉格朗日优化公式，其中D是失真，R是速率，并且λ是拉格朗日乘数。
在实施方案中，“增强”显示器160可耦接到逆格式转换器140以显示解码的视频数据。增强显示器160可被配置为显示在原始输入信号中提供的扩展特性。
图1的编码系统100提供了比传统系统更好的性能，将其编码基于“处理中”信号(较低质量/分辨率/位深度/色度采样格式化信号)。另一方面，编码系统100通过最小化与原始(较高质量/分辨率)输入信号对比的失真来优化编码操作。因此，改进了观众的视觉体验，而不增加目标解码器的复杂性。
在实施方案中，除了位深度和色度格式差异之外，原始输入信号和“处理中信号”(即，格式转换的信号)也可关于其他方面诸如分辨率、帧速率、色彩空间、TF等而不同。例如，原始输入信号可表示为浮点表示(例如，使用OpenEXR格式提供的图像)，但是可必须使用幂律伽马或对数TF等进行编码，等等。编码器系统可考虑这些其他方面以提供适当的逆格式转换。
图2示出了根据本发明的实施方案的编码器系统200。图2A是一种用于编码数据的方法290的流程图。方法290可由编码器系统200实现。
图2所示的编码器系统200可包括：格式转换器210，减法器221，变换单元222，量化器单元223，熵编码器224，去量化器单元231，去变换单元232，加法器233，去块单元234，SAO滤波器235，解码器图像缓冲器(DPB)236，逆格式转换器240，运动补偿/帧内预测单元251，模式决定器单元252，帧内模式决定器单元253和运动估计器单位254。在实施方案中，编码器系统200还可包括“增强”显示器260。
格式转换器210可包括用于待编码的输入信号的输入。格式转换器210可将输入信号的格式转换为第二格式(图2A的框272)。格式转换器210例如可执行将较高分辨率输入信号转换为较低分辨率的下转换。例如，格式转换器210可将特定颜色空间中且特定TF类型的具有4:4:4颜色格式的12位信号的输入信号转换为不同颜色空间中且使用不同的TF的具有4:2:0颜色格式的10位信号。信号也可具有不同的空间分辨率。
减法器221可耦接到格式转换器210，并且可接收由格式转换器210生成的格式转换的信号。减法器221可生成表示源像素块与为预测开发的参考块之间的差值的数据。变换单元222可例如通过离散余弦变换(DCT)处理或小波变换(图2A的框274)将该差值转换为变换系数的阵列。量化器单元223可通过量化参数QP(图2A的框276)来量化从变换单元222获得的变换系数。熵编码器224可通过行程值编码、行程长度编码、算术编码等对量化系数数据进行编码，并且可生成从编码器系统200输出的编码视频数据(图2A的框282)。然后，输出信号可经历进一步的处理以便通过网络、固定介质等进行传输。熵编码器224的输出可通过信道传输到解码器、终端或数据存储器。在实施方案中，可根据编码器的决定将信息传递给解码器。传递给解码器的信息对于解码处理和重构视频数据可是有用的。
也可在上述编码处理中进行调整(图2A的框276)。例如，编码器系统200可包括预测环路。去量化器231可耦接到量化器223。去量化器231可逆变换由量化器223执行的量化。去变换单元232可对去量化的数据应用逆变换。去变换单元232可与变换单元222互补，并且可逆变换其变换操作。
加法器233可耦接到去变换单元232，并且可接收由去变换单元232生成的逆变换数据作为输入。加法器233也可从运动补偿单元251接收输入。即，可在模式决定阶段252中生成的预测信号可通过加法器233添加到残余。加法器233可组合其输入并将结果输出到去块单元234。
可通过上述编码处理中的环内处理进行进一步的调整。例如，可在图像间预测环路内执行去块滤波和SAO滤波。去块单元234可包括可应用于去除块编码的伪影的去块滤波器。SAO滤波器235可耦接到去块单元234，以通过减小平均采样失真来更好地重构原始信号幅值。然后可将由滤波器的应用得到的滤波后的输出存储在DPB 236中，DPB 236可存储先前解码的数据。
去量化器231、去变换单元232、加法器233、去块滤波器234和SAO滤波器235的操作可对被指定为“参考帧”的编码帧执行，该帧可用作用于预测随后接收的输入数据的候选。因此，DPB 236可存储解码的参考帧。运动估计单元254、帧内模式决定器单元253、模式决定器单元252和运动补偿/帧内预测单元251可作为部分地基于新的输入数据选择预测模式和预测的预测系统来操作并且对存储在DPB 236中的解码的参考图像进行搜索以找到与新的输入内容的匹配，如下所述。
逆格式转换器240可将解码的数据转换回原始输入信号的格式。逆格式转换器240可执行将较低或不同的分辨率和/或格式化数据转换为更高或不同的分辨率和/或格式化的上转换。例如，逆格式转换器240可将具有4:2:0颜色格式且特定TF的10位信号的解码数据转换为具有4:4:4颜色格式且不同的TF的12位号。
接下来，将描述调整单元-运动补偿/帧内预测单元251、模式决定器单元252、帧内模式决定器单元253和运动估计器单元254-的操作(图2A的框276)。运动估计器单元254可从格式转换器210接收格式化的输入信号和来自DPB 236的解码数据。在实施中方案，运动估计器单元254还可从逆格式转换器240(用虚线示出)接收更高质量的原始输入以及逆格式转换的数据，因此在本实施方案中运动估计可使用较高质量表示信号来执行。基于接收的信息，对于每个期望的参考，运动估计器单元254可得到将得出用于待编码的当前块的帧间预测假设的运动信息。
帧内模式决定器单元253可从格式转换器210接收格式化的输入信号和来自DPB236的解码数据。在实施方案中，帧内模式决定器单元253还可从逆格式转换器240(用虚线示出)接收更高质量的原始输入以及逆格式转换的数据，因此在本实施方案中帧内模式决定可使用较高质量的表示信号执行。基于接收的信息，帧内模式决定器单元253可估计用于待编码的当前块的“最佳”帧内编码模式。
模式决定器单元252可从逆格式转换器240接收原始输入信号和解码数据。此外，模式决定器单元252可从格式转换器210接收格式化的输入信号和来自DPB 236的解码数据。另外，模式决定器单元252可从帧内模式决定器单元253和运动估计器单元254接收信息。基于接收的信息-特别是原始输入信号和逆格式转换数据-模式决定器单元252可选择待编码的当前块或帧的操作模式。例如，模式决定器单元可从各种模式/预测类型、块大小、参考模式中选择，或甚至执行片/帧级编码决定，包括：使用帧内或单个或多个假设(通常是双重预测)帧间预测；预测块的大小；片段/图片是否应以帧内(I)模式编码，而不使用序列中的任何其他图像作为预测的源；结合帧内预测，当执行帧间预测时，片段/图片是否应在单列表预测(P)模式下每块仅使用一个参考进行编码；片段/图片是否应以双重预测(B)或多假设模式进行编码，这允许除了单列表帧间和帧内预测之外使用双重预测和多假设帧间预测；以及编码器可用的任何其他模式。
接下来，将描述环内处理单元-去块滤波器234和SAO滤波器235-的操作(图2A的框278)。去块滤波器234可接收加法器233的输出，即由模式决定器252输出的模式和去变换单元232的逆变换数据输出。在实施方案中，去块滤波器254也可接收较高质量的原始输入(用虚线示出)，因此在本实施方案中可在考虑较高质量的表示信号的同时执行去块滤波。即，可导出去块滤波参数，同时尝试实现“最佳”性能，例如，减少块状同时保留清晰的信息，用于在更高质量的表示中的信号表示。基于接收的信息，去块滤波器234可减少由于基于块的编码引起的块伪影。在一些情况下，例如，边界检测可部分地基于更高质量的表示。
SAO滤波器235可接收去块滤波器234的输出。在实施方案中，SAO滤波器235还可接收更高质量的原始输入以及去块滤波器234的输出(用虚线示出)，并且因此在本实施方案中也可使用更高质量的表示信号来执行SAO滤波基于接收的信息，SAO滤波器254可精修重构的信号并对原生信号表示和增强的信号表示中的一者或两者增强平滑区域和/或周围边缘的信号表示。在一些情况下，例如，边界处理可部分地基于更高质量的表示。
运动补偿/帧内预测单元251可接收来自模式决定器单元252的输入和来自DPB236的解码数据。基于接收的信息，运动补偿/帧内预测单元251可生成待编码的当前输入的参考块。然后可由减法器221从格式转换的信号中减去参考块。因此，编码器系统200可基于原始输入信号而不是“处理中”信号(例如，格式转换的信号)来优化编码操作，原始输入信号可具有较高的分辨率/质量。这提高了编码处理的质量，导致在目标位置处的观看者更好的视觉体验。
在实施方案中，“增强”显示器260可耦接到逆格式转换器240以显示解码的视频数据。增强显示器260可被配置为显示原始输入信号中提供的扩展特性。
在另一实施方案中，估计可使用分层方案(例如，基于金字塔的运动估计方法、多级帧内模式决定方法)。这里，该方案的较低阶段可使用“处理中”视频数据，因为其成本较低，并且这些较低阶段通常对信号的“粗糙”表示进行操作，使得使用更高质量的信号(例如，输入信号和逆格式转换信号)较为不利。然而，较高阶段(例如，最后阶段)可使用较高质量的信号(例如，输入信号和逆格式转换的信号)；因此，系统性能仍将提高。
用于优化本文所述的视频编码的技术也可与自适应编码结合使用。图3示出了根据本发明的实施方案的具有自适应编码的编码系统300。编码系统300可包括格式转换器310、编码器系统320、输入预分析器330、源预分析器340和编码器控制350。格式转换器310可类似于先前描述的图1-2的格式转换器110,210来操作。编码器系统320也可类似于图1(元件120-160)和图2(元件221-260)的先前描述进行操作。因此，这里不再赘述。
输入预分析器330可导出关于输入信号的信息。例如，可导出关于可被认为比其他区域更重要的区域的信息。源预分析器340可导出与格式转换信号有关的信息，即“处理中”信号。
编码器控制单元350可从输入预分析器330和源预分析器350接收信息，并且可相应地调整编码决定。例如，编码决定可包括速率控制量化参数决定、模式决定(或影响模式决定的其他决定)、运动估计、SAO控制、去块控制等。在实施方案中，量化参数可基于原始输入信号分配给区域。这可提高质量，因为量化参数是基于原始目标空间，而不仅仅是“处理中”的空间。
在实施方案中，方法和系统为不包括诸如颜色空间转换的组合处理(例如使用两个或更多个颜色分量)的扩展空间的SAO处理提供优化。例如，如果扩展空间涉及更高精度的数据，例如，10位或12位而不是8位数据，或4:4:4或4:2:2信号而不是4:2:0，则可在其扩展空间中计算每个受影响的颜色分量的失真。对于位深度伸展情况，可使用每个颜色分量的较高位深度输入源来计算失真。这可考虑四舍五入操作。在实施方案中，如果涉及色度采样，则可使用“参考”上采样器将解码的色度数据上变换到适当的分辨率。还可考虑下采样和上采样处理的影响。
有时，编码器可知道目标显示器的规格。在这些情况下，基于目标显示规范来优化编码操作以改善观众体验可是有益的。图4示出了根据实施方案的具有次级格式的编码器系统400。图4A是对数据进行编码的方法490的流程图。方法490可由编码器系统400实现。
编码器系统400可包括格式转换器410、减法器421、变换单元424、量化器单元423、熵编码器422、去量化单元431、去变换单元432、加法器433、去块单元434、SAO滤波器435、DPB 436、次级格式转换器470、运动补偿/帧内预测单元451、模式决定器单元452、帧内模式决定器单元453、运动估计器单元454和次级逆格式转换器440。在实施方案中，编码器系统400还可包括“增强”显示器460。上述在图1-3的讨论中描述了除次级格式转换器470和次级逆格式转换器440之外的所有部件并且它们的描述这里将不再重复。
次级格式转换器470可将输入信号转换为目标显示设备的次级格式(图4A的框486)。例如，目标显示可是HDR显示器，其规范诸如特定的TF、峰值亮度、更高分辨率等可与原始输入信号和格式转换器410的规范不同。次级格式转换器470然后可被配置为与目标显示器相同的规范，并且向调整单元诸如模式决定器单元452(以及可选地，帧内模式决定器单元453和运动估计器单元454)提供次级格式转换信号用于使用，而不是上面图1-3讨论中所描述的原始输入信号。次级逆格式转换器440可与次级格式转换器470互补，并且可将解码的数据转换为次级格式而不是原始输入信号的格式。因此，可针对目标显示能力优化编码处理。
典型的方法(例如，HEVC的HM参考软件或AVC的JM参考软件)仅考虑模式决定器的最佳模式输出，并且模式决定器通常不输出多于一个模式决定。本公开的方法和系统提供对SAO和/或遵循模式决定过程的其他最后阶段决策步骤的N最佳模式优化的考虑。可任选地考虑N最佳模式的考虑来改进使用扩展空间的决定过程。
图5示出了根据实施方案的具有次级格式的编码器系统500和最终模式决定器556。SAO或其他“最后阶段”编码可不仅应用于由初步模式决定器552确定的“最佳模式”，而且还可应用于第二至N最佳模式。这可提供进一步的编码器优化。图5A是对数据进行编码的方法590的流程图。方法590可由编码器系统500实现。
编码器系统500可包括格式转换器510、减法器521、变换单元524、量化器单元523、熵编码器522、去量化器单元531、去变换单元532、加法器533、去块单元534、SAO滤波器535、DPB 536、次级格式转换器570、运动补偿/帧内预测单元551、初步模式决定器单元552、最终模式决定器556、帧内模式决定单元553、运动估计器单元554和次级逆格式转换器540。在实施方案中，编码器系统500还可包括“增强”显示器560。上述在图1-4的讨论中描述了除初步模式决定器552和最终模式决定器556之外的所有部件，它们的描述这里将不再重复。
初步模式决定器单元552可从次级逆格式转换器540接收原始输入信号和解码数据。另外，初步模式决定器单元552可接收来自格式转换器510的格式化的输入信号，来自次级格式转换器570的次级格式化输入信号和来自DPB 536的解码数据。此外，初步模式决定器单元552可从帧内模式决定器单元553和运动估计单元554接收信息。基于所接收的信息，特别是原始输入信号、次级逆格式转换数据-初步模式决定器单元552可选择待编码的当前块或帧的一个或多个操作模式(在图5中表示为N个模式)。例如，模式决定器单元可从各种模式/预测类型、块大小、参考模式中选择，或甚至执行片/帧级编码决定，包括：使用帧内或单个或多个假设(通常是双重预测)帧间预测；预测块的大小；片段/图片是否应以帧内(I)模式编码，而不使用序列中的任何其他图像作为预测的源；结合帧内预测，当执行帧间预测时，片段/图片是否应在单列表预测(P)模式下每块仅使用一个参考进行编码；片段/图片是否应以双重预测(B)或多假设模式进行编码，这允许除了单列表帧间和帧内预测之外使用双重预测和多假设帧间预测；以及编码器可用的任何其他模式。
运动补偿/帧内预测块551使用来自初步模式决定器552的模式决定信息来生成预测信号。该信号可被发送到减法器521和加法器533。减法器521可有利于基于预测信号来创建残余信号。在进行变换和量化处理之后，加法器533可有利于促进重构残差的组合。在实施方案中，初步模式决定器552包括运动补偿环路和变换及残余块。
在基于环内处理的模式决定中，可针对N个候选模式接收重构的数据。换句话说，方法500可经由加法阶段533生成并发送N个重构块，使得环内处理例如SAO滤波器534接收针对当前块和/或图像的每种模式的像素数据。例如，SAO滤波器534可接收待添加的N个可能错误，每个运动补偿块一个。去块滤波器534和SAO滤波器535然后可对通过加法器533传递的N个重构块进行操作。SAO滤波器535可将对应于N个模式的每个像素块的滤波结果输出到最终模式决定器556。然后，最终模式决定器556可从例如通过去块滤波器534和SAO滤波器535经受环路处理的N个模式对应的像素块中选择“最佳”模式。即，SAO或其他“最后阶段”编码可不仅应用于由初步模式决定器552确定的“最佳模式”，而且可应用于第二至N最佳模式。
最终模式决定器556可将“最佳”模式输出到DPB 536(图5A的框288)。因此，可进一步优化编码处理。编码器系统500可包括多级预测器决定方案。初步模式决定器552可包括对应于不同格式(未示出)的多个模式决定单元。每个模式决定单元可独立地(孤立地)做出其决定。然后每个决定可基于不同的因素加权。基于加权决定，最终模式决定器556可选择最佳模式和/或其他预测器决定。重构的信号可被输出到DPB 536，并且可将模式和/或决定输出到诸如熵编码模块的其他块。其他块诸如运动估计块554和初步模式决定框552也可将该信息用于其他目的，例如，用于编码模式和运动信息或辅助未来块的估计过程。
尽管图2-5示出了单格式转换器，编码器系统可包括多个格式转换器和互补的逆格式转换以将输入信号转换为不同格式。本文描述的概念可应用于实现多于一个的编码处理的编码器系统，多于一个的编码处理生成不同的输出流。每个处理可使用不同的编码参数。可使用本文所述的用于编码优化的技术来独立地或联合地优化比特流(即，通过重新使用诸如运动、模式或预分析统计等的信息)。本文所述的概念也可在可扩展编码器环境中实现。可扩展编码器系统可生成基层输出和增强层输出。这些输出中的任一者或两者可应用本文所描述的在各自的编码操作调整中使用原始输入信号(或次级格式化信号)的技术来生成。
在另一个实施方案中，方法和系统为涉及组合处理(诸如颜色空间转换)的扩展空间提供决定过程。组合处理可创建不同颜色分量之间的依赖关系。为了使用扩展空间进行优化，可在编码处理期间考虑依赖关系。即，关于所有依赖颜色分量的行为的一些知识可用于使用扩展空间进行编码决定。
图6是根据实施方案的决定过程600的流程图。例如，为了确定亮度分量的SAO参数，例如，在Y'CbCr 4:2:0颜色空间中，在尝试优化R'G'B'空间的性能时，决定可基于先验知识或基于关于Cb和Cr分量的编码决定的初始假设(602)。例如，假设可是没有SAO将被应用于色度分量(NULL情况)。又如，可在其原生空间(NATIVE情况)中最初优化色度分量。换句话说，该方法可在NATIVE情况下仅减少色度分量失真。然后，在604中，方法600可使用NULL和/或NATIVE色度SAO结果来使用扩展空间优化精修亮度SAO偏移值。即，方法600可计算给定色度SAO偏移值的初始估计的亮度SAO值。在这种情况下，可通过优化亮度SAO偏移值来计算扩展空间中的SAO失真，同时保持色度分量的SAO偏移值固定。然后，方法600可进行到606以精修其他颜色分量的SAO偏移值，例如，对于Cb分量，在扩展空间中，同时固定其他颜色分量的SAO偏移。
根据实施方案，对于602中的颜色分量偏移，可并行考虑所有状态，而不是考虑单个初始状态，例如，NULL或NATIVE。因此，可选择独立的状态精修之间产生最佳性能的偏移量作为604中亮度分量的整体最佳SAO偏移量。这可然后用于在606中对其他分量的SAO偏移进行精修。
该精修过程可遍历所有颜色分量直至达到阈值(608)。阈值可以各种方式定义。作为非限制性示例，阈值可包括：没有观察到进一步的性能优点，实现预定义的性能改进，任何数量N的迭代等。
根据实施方案，可在优化处理中包括更多的状态。具体地，对于颜色分量之一，例如，Cb，可考虑NULL SAO偏移，而对于其他颜色分量(多个)可考虑NATIVE偏移量。这可例如通过在两个颜色分量之间切换来引入两个附加状态。还可通过不只考虑模式决定过程之后的最佳模式而且考虑N最佳模式来引入附加状态。对于这些模式中的每者，颜色分量的NULL和NATIVE偏移量也可被计算并考虑用于随后的任何精修。
根据实施方案，可在最终精修阶段执行完全优化，而不是针对每个颜色分量精修SAO偏移。通常，通过首先确定导致最小失真的SAO偏移来执行颜色分量的SAO优化。之后是将偏移从该初始值减小(或者如果偏移量为负增加)到零，并且共同评估该减小的速率失真性能。然后将具有“最佳”速率失真性能的偏移视为获胜者。然而，为了使用扩展空间进行优化，鉴于还可能需要附加的迭代和精修，该处理可能太昂贵了。在实施方案中，方法可首先通过可预先定义的K值将偏移量减小或增加到零，而不是精修每个颜色分量的SAO偏移直到每次迭代达到最佳速率失真性能点。当该方法达到每个分量的最终精修步骤时，可执行完全优化。这可降低复杂性，并且还可帮助避免在优化处理期间被困在局部最小值。
如先前所述，上述步骤也可应用于可存在于当前或将来编解码器中的其他“最后阶段”编码过程。这可以包括去块、自适应环路滤波、去带和去鸣震，以及它们的组合等等。
虽然前面的描述包括几个示例性实施方案，但是应当理解，已经使用的词是描述和说明的词，而不是限制词。在所附权利要求书的权限范围内，可在现有说明和修改的范围内作出改变，而不脱离本发明的范围和实质。虽然已经参考特定手段、材料和实施方案描述了本公开，但是本公开并不旨在限于所公开的细节；而公开内容涉及所有功能上等效的结构、方法和用途，诸如在所附权利要求的范围内。例如，本发明的实施方案可提供一种编码方法；存储程序指令的非暂态计算机可读介质，所述程序指令在由处理设备执行时使所述设备执行本文所述的一种或多种方法；视频编码器等。
如本文所使用的，术语“计算机可读介质”可包括单个介质或多个介质，诸如集中式数据库或分布式数据库，和/或存储一组或多组指令的相关联的高速缓存和服务器。该术语还应包括能够存储、编码或携带用于由处理器执行的指令集或者使计算机系统执行本文公开的任何一个或多个实施方案的任何介质。
计算机可读介质可包括非暂态计算机可读介质或媒介和/或包括暂态计算机可读介质或媒介。在特定的非限制性示例性实施方案中，计算机可读介质可包括固态存储器，诸如容纳一个或多个非易失性只读存储器的存储卡或其他封装。另外，计算机可读介质可是随机存取存储器或其他易失性可重写存储器。另外，计算机可读介质可包括磁光或光介质，诸如磁盘或磁带或其他存储设备，以捕获载波信号，诸如通过传输介质传送的信号。因此，本公开被认为包括任何计算机可读介质或其中可存储数据或指令的其他等同物和后继介质。
本说明书描述了可在可根据一个或多个特定标准和协议进行操作的特定实施方案中实现的部件和功能。然而，本公开不限于此类标准和协议。此类标准可被具有基本上相同功能的更快或更有效的等效物代替。因此，具有相同或相似功能的替换标准和协议被认为是等同的。
本文描述的实施方案的图示旨在提供对各种实施方案的一般理解。这些图示不旨在作为使用本文所述的结构或方法的装置和系统的所有元件和特征的完整描述。在阅读本公开内容之后，许多其他实施方案对于本领域技术人员而言是显而易见的。其他实施方案可被使用并从本公开中导出，使得可在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。此外，插图仅仅是表示性的并且可不按比例绘制。插图中的某些比例可能被夸大，而其他比例可能被最小化。因此，本公开和附图被认为是说明性的而不是限制性的。
例如，已经在实现了视频编码应用中的编码优化的服务器和终端的上下文中描述了所公开的实施方案的操作。这些系统可嵌入电子设备或集成电路中，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器。另选地，它们可嵌入个人计算机、笔记本或平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序通常存储在诸如电磁和/或基于光学的存储设备的物理存储介质中，其中它们可在操作系统的控制下被读取到处理器并被执行。并且，当然，这些部件可提供作为混合系统，根据需要混合系统在专用硬件部件和编程通用处理器上分发功能性。
此外，在前面的详细描述中，可将各种特征分组或一起描述，以便精简本公开的目的。本公开不应被解释为反映所有这些特征被需要以提供可操作的实施方案的意图，也不要求所要求保护的实施方案需要比在每个权利要求中明确叙述的更多的特征。相反，如以下权利要求所反映的那样，主题可针对所公开的任何实施方案的所有特征。因此，以下权利要求被并入详细描述中，其中每个权利要求独立地定义为单独要求保护的主题。
此外，在某些权利要求叙述方法的情况下，权利要求中特定方法的叙述顺序不要求该顺序对于可操作的权利要求是必需的。相反，在不脱离本发明的范围或实质的情况下，可以不同的顺序执行特定的方法元件或步骤。

Claims (30)

1.一种视频压缩方法，包括：
将视频信号从第一格式转换为由视频编码器使用的第二格式；
使用选择的编码参数由所述视频编码器来编码经转换的视频信号；
解码由所述视频编码器输出的编码数据以生成第二格式的解码数据；
以第二格式的所述解码数据作为第一输入并且以第一格式的所述视频信号作为第二输入进行滤波，并且使用第一输入和第二输入两者来生成滤波的解码数据；以及
将所述滤波的解码数据存储在解码图像缓冲器中。
2.根据权利要求1所述的视频压缩方法，其中所述滤波对所述视频编码器的第二格式的解码数据进行操作。
3.根据权利要求1所述的视频压缩方法，其中所存储的图像以所述视频编码器的第二格式表示。
4.根据权利要求1所述的视频压缩方法，其中所述滤波对小于图像的尺寸的解码数据进行操作。
5.根据权利要求1所述的视频压缩方法，其中所述滤波包括：
使用从所述第一格式的所述视频信号导出的参数对解码数据应用去块滤波。
6.根据权利要求5所述的视频压缩方法，其中应用所述去块滤波包括使用所述第一格式来执行边界检测。
7.根据权利要求1所述的视频压缩方法，其中所述滤波包括：
使用从所述第一格式的所述视频信号导出的参数对解码数据应用采样自适应偏移滤波。
8.根据权利要求7所述的视频压缩方法，其中应用所述采样自适应偏移滤波包括至少部分地基于所述第一格式来执行边界处理。
9.根据权利要求1所述的视频压缩方法，还包括：
将所述解码数据从由所述视频编码器使用的格式转换为所述第一格式；以及
根据以下来选择所述编码参数：
至少部分地基于由所述视频编码器使用的第二格式的所述视频与所述解码数据之间的比较的预测，以及
对在所述第一格式的所述视频与转换为所述第一格式的所述解码数据之间测量的失真的估计。
10.根据权利要求9所述的视频压缩方法，其中所述预测被选择成最小化所估计的失真。
11.根据权利要求1所述的视频压缩方法，还包括：
至少部分地基于所述第一格式的所述视频信号的输入帧和转换为所述第一格式的所存储的帧来选择初步帧编码模式。
12.根据权利要求1所述的视频压缩方法，还包括：
从多个初步帧编码模式选择帧编码模式。
13.根据权利要求1所述的视频压缩方法，还包括：
将存储的图像转换为所述第一格式。
14.根据权利要求1所述的视频压缩方法，还包括通过从由所述视频编码器使用的第二格式上采样，将所存储的图像转换为所述第一格式。
15.根据权利要求1所述的视频压缩方法，其中所述第一格式具有比由所述视频编码器使用的第二格式高的分辨率。
16.根据权利要求1所述的视频压缩方法，还包括把第二格式的所述视频信号与第二格式的预测视频信号进行组合以生成第二格式的残余视频信号，并且其中使用选择的编码参数由所述视频编码器来编码经转换的视频信号包括使用选择的编码参数由所述视频编码器来编码所述残余视频信号。
17.根据权利要求16所述的视频压缩方法，还包括从所述解码图像缓冲器中存储的所述滤波的解码数据预测第二格式的所述预测视频信号。
18.一种视频编码系统，包括：
第一格式转换器，所述第一格式转换器将视频信号从第一格式转换为第二格式；
视频编解码器，所述视频编解码器包括：
对所述第二格式的所述视频信号执行运动补偿预测的编码器；
对由所述编码器输出的编码视频的部分进行解码并且输出
第二格式的解码数据的解码器；
滤波系统，以所述解码器的第二格式的输出作为第一输入并且以第一格式的所述视频信号作为第二输入，并且使用第一输入和第二输入两者来生成滤波的第二格式的解码图像；
用于存储由所述滤波系统输出的解码图像的解码图像缓冲器；和
选择所述运动补偿预测的参数的预测系统。
19.根据权利要求18所述的视频编码系统，还包括使用从所述第一格式的视频导出的滤波参数的去块滤波器。
20.根据权利要求18所述的视频编码系统，还包括使用从所述第一格式的视频导出的滤波参数的采样自适应偏移滤波器。
21.根据权利要求18所述的视频编码系统，还包括：
将存储在所述解码图像缓冲器中的图像的部分转换为所述第一格式的第二格式转换器，
其中所述预测系统至少部分地基于所述第一格式的所述视频信号与转换为所述第一格式的图像的解码部分的比较来选择所述运动补偿预测的参数。
22.根据权利要求21所述的视频编码系统，其中所述预测系统包括运动估计器，所述运动估计器至少部分地基于所述第一格式的输入图像与转换为所述第一格式的图像的所述解码部分的比较来估计所述输入图像和存储的解码图像之间的图像内容的运动。
23.根据权利要求21所述的视频编码系统，其中所述预测系统包括模式决定单元，所述模式决定单元至少部分地基于所述第一格式的输入图像与转换为所述第一格式的所述解码图像的比较来选择所述输入图像的帧编码模式。
24.根据权利要求21所述的视频编码系统，其中所述预测系统包括模式决定单元，所述模式决定单元从多个初步帧编码模式选择帧编码模式。
25.根据权利要求18所述的视频编码系统，其中所述编码器包括减法器，该减法器把第二格式的所述视频信号与第二格式的预测图像进行组合。
26.一种存储程序指令的非暂态计算机可读介质，所述程序指令在由处理设备执行时使得所述设备：
将视频信号从第一格式转换为第二格式；
通过运动补偿预测对经转换的视频信号进行编码；
解码所编码的视频的部分以生成第二格式的解码数据；
以第二格式的所述解码数据作为第一输入并且以第一格式的所述视频信号作为第二输入进行滤波，并且使用第一输入和第二输入两者来生成滤波的第二格式的解码图像数据；
将所滤波的解码图像数据存储在解码图像缓冲器中；以及
将所解码的部分从所述第二格式转换为所述第一格式。
27.根据权利要求26所述的非暂态计算机可读介质，其中所述滤波包括使用从所述第一格式的所述视频信号导出的参数对所解码的视频进行去块滤波。
28.根据权利要求26所述的非暂态计算机可读介质，其中所述滤波包括使用从所述第一格式的所述视频信号导出的参数对所解码的视频进行采样自适应偏移滤波。
29.根据权利要求26所述的非暂态计算机可读介质，其中所述指令还使得所述设备：
根据至少部分地基于对在所述第一格式的所述视频和经转换的解码部分之间测量的失真的估计的所述运动补偿预测来预测内容。
30.根据权利要求26所述的非暂态计算机可读介质，其中所述编码包括把第二格式的所述视频信号与第二格式的预测图像进行组合。
CN201680006458.5A 2015-03-10 2016-03-10 包括最后阶段处理的扩展空间的视频编码优化 Active CN107211161B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562130973P 2015-03-10 2015-03-10
US62/130,973 2015-03-10
PCT/US2016/021852 WO2016145240A1 (en) 2015-03-10 2016-03-10 Video encoding optimization of extended spaces including last stage processes

Publications (2)

Publication Number Publication Date
CN107211161A CN107211161A (zh) 2017-09-26
CN107211161B true CN107211161B (zh) 2020-05-15

Family

ID=55642868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006458.5A Active CN107211161B (zh) 2015-03-10 2016-03-10 包括最后阶段处理的扩展空间的视频编码优化

Country Status (3)

Country Link
US (1) US10432961B2 (zh)
CN (1) CN107211161B (zh)
WO (1) WO2016145240A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2885911B1 (en) * 2013-03-28 2021-03-10 Irdeto B.V. Processing digital content
US10574997B2 (en) * 2017-10-27 2020-02-25 Apple Inc. Noise level control in video coding
WO2019152283A1 (en) 2018-02-02 2019-08-08 Apple Inc. Techniques of multi-hypothesis motion compensation
US11924440B2 (en) 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
CN110933423B (zh) * 2018-09-20 2022-03-25 杭州海康威视数字技术股份有限公司 帧间预测方法和设备
CN109714597A (zh) * 2019-01-22 2019-05-03 成都神州数码索贝科技有限公司 一种无损视频压缩方法
CN112136329A (zh) * 2019-09-24 2020-12-25 北京大学 视频编解码的方法和装置
CN115580735B (zh) * 2022-12-08 2023-05-02 安徽海马云科技股份有限公司 视频编解码处理与系统、编解码服务器与插件模块

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104434A (en) * 1996-10-24 2000-08-15 Fujitsu Limited Video coding apparatus and decoding apparatus
CN103220510A (zh) * 2012-01-20 2013-07-24 索尼公司 在hevc中的采样自适应偏移中的灵活带偏移模式
WO2015006662A2 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Adaptive filtering in video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050229231A1 (en) * 2004-03-31 2005-10-13 Lippincott Louis A Converter-assisted video encoder
US9538176B2 (en) * 2008-08-08 2017-01-03 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
US9729899B2 (en) * 2009-04-20 2017-08-08 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
KR102104594B1 (ko) * 2011-06-24 2020-04-24 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
WO2013064661A1 (en) * 2011-11-03 2013-05-10 Panasonic Corporation Filtering of blocks coded in the pulse code modulation mode
US9282328B2 (en) * 2012-02-10 2016-03-08 Broadcom Corporation Sample adaptive offset (SAO) in accordance with video coding
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US9596461B2 (en) 2012-11-26 2017-03-14 Qualcomm Incorporated Loop filtering across constrained intra block boundaries in video coding
US9854246B2 (en) 2014-02-28 2017-12-26 Apple Inc. Video encoding optimization with extended spaces

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104434A (en) * 1996-10-24 2000-08-15 Fujitsu Limited Video coding apparatus and decoding apparatus
CN103220510A (zh) * 2012-01-20 2013-07-24 索尼公司 在hevc中的采样自适应偏移中的灵活带偏移模式
WO2015006662A2 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Adaptive filtering in video coding

Also Published As

Publication number Publication date
WO2016145240A1 (en) 2016-09-15
US20160269739A1 (en) 2016-09-15
US10432961B2 (en) 2019-10-01
CN107211161A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
CN107211161B (zh) 包括最后阶段处理的扩展空间的视频编码优化
US11758135B2 (en) Adaptive color space transform coding
US11240496B2 (en) Low complexity mixed domain collaborative in-loop filter for lossy video coding
JP5801363B2 (ja) 符号化及び復号化のための装置及び方法並びにコンピュータプログラム
CN108028931B (zh) 用于视频编解码的自适应帧间预测的方法及装置
US9794597B2 (en) Methods and apparatus for deblocking filtering of non-local intra prediction
US8532175B2 (en) Methods and apparatus for reducing coding artifacts for illumination compensation and/or color compensation in multi-view coded video
CN112313953A (zh) 用于视频编解码和处理的去方块滤波器
US20160360234A1 (en) Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches
US9392280B1 (en) Apparatus and method for using an alternate reference frame to decode a video frame
KR20160132915A (ko) 픽셀 거리를 이용한 디블록 필터링
WO2007002437A2 (en) Method and apparatus for video encoding and decoding using adaptive interpolation
EP2497271A2 (en) Hybrid video coding
KR20130045785A (ko) 메모리 관리 방법 및 그를 이용한 복호화 장치
KR20120118457A (ko) 비디오 인코딩 및 디코딩을 위한 템플릿 매칭 예측의 복잡도를 감소시키는 방법 및 장치
EP3337171A1 (en) Methods and apparatus for dc intra prediction mode for video encoding and decoding
CN113196783B (zh) 去块效应滤波自适应的编码器、解码器及对应方法
US20110135003A1 (en) Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
KR20230165354A (ko) 디블로킹 필터의 경계 강도를 도출하는 인코더, 디코더 및 대응 방법
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
EP4268460A1 (en) Temporal filter
KR20190091431A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
Muromoto et al. Video encoding with the original picture as the reference picture
KR20130050534A (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant