CN107431818B - 图像数据处理方法 - Google Patents

图像数据处理方法 Download PDF

Info

Publication number
CN107431818B
CN107431818B CN201680017328.1A CN201680017328A CN107431818B CN 107431818 B CN107431818 B CN 107431818B CN 201680017328 A CN201680017328 A CN 201680017328A CN 107431818 B CN107431818 B CN 107431818B
Authority
CN
China
Prior art keywords
component
chroma
clipping
limit
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680017328.1A
Other languages
English (en)
Other versions
CN107431818A (zh
Inventor
A·M·图拉皮斯
苏野平
D·W·辛格
H-J·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN107431818A publication Critical patent/CN107431818A/zh
Application granted granted Critical
Publication of CN107431818B publication Critical patent/CN107431818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了用于通过基于色彩空间中的每个分量之间的关系来确定每个分量的限值而单独地处理色彩空间的分量的图像和视频处理技术。然后这些限值可用于剪辑每个分量，使得分量值在为该分量所确定的范围内。以这种方式，可实现对图像和/或视频的更有效处理。

Description

图像数据处理方法
背景技术
本公开涉及图像和视频处理，并且具体地讲，涉及通过使用色彩空间的特征而得到改善的图像和视频处理。
许多现代的电子设备支持视频在它们之间交换。在许多应用中，第一设备在本地捕获视频并对其进行编码以用于传输至第二设备。该第二设备可以解码该编码视频并在本地显示。该第一设备可以对源视频进行预处理操作，以对其进行调节来用于编码和/或传输。典型的预处理操作包括色彩空间转换、重新设定视频的尺寸大小、视频的帧速率转换和/或视频滤波操作等等。已经定义了用于支持视频编码和解码操作的几种编码协议。它们包括，例如，MPEG-2、MPEG-4、H.263、H.264和/或HEVC编码协议。
大部分数字图像和视频应用采用Y’CbCr色彩空间编码来表示图像，因为其与其他色彩空间诸如RGB或XYZ相比更好地考虑到人类视觉感知的能力。也称为YCbCr、Y’UV或YUV的Y’CbCr针对每个像素包括亮度 (Y’)分量和两个色度/颜色分量(Cb和Cr)。上撇(‘)符号指示将传递函数应用于初始线性光R、G和B信号上，从而允许感知量化。然而，也可使用多种其它色彩空间。
色彩空间的分量彼此共享某些关系。例如，在YCrCb色彩空间中，只要视频信号的一般特征是已知的，给定输入信号的R、G和B分量，则可以计算Y分量。例如，视频信号的一般特征可包括被使用的基色例如信号是否使用BT.2020,P3D65或BT.709基色、色度采样(相)位置、色差工艺 (或如在一些说明书中通常被称为矩阵系数)，以及应用于初始线性光信号的传递函数，等等。类似地，使用Y以及R、G和B值连同视频信号的一般特征，可以计算Cr和Cb分量。给定Cb或Cr与Y的关系以及Y分别与B和R的关系，Cb和Cr的限值受Y值影响。如果Y已知，则Cb和/或 Cr只被允许在值的特定范围内。
然而，现有算法趋于独立地处理每个分量，而不考虑可由先前计算的分量施加于某些分量上的值的限制。例如，在编码操作期间(假设输入数据提供于N位整数表示中，例如N＝8)，值通常被独立地剪辑以保持在N 位表示的有效限值内，即来自于从0至(2^N)-1的值。进一步，如果编码器确定图像数据对应于特定有限表示，诸如用于电视应用的标准/有限表示，则可执行在该范围内的附加剪辑。然而，现有算法只有在信号被完全转换回RGB表示时才执行附加剪辑。这可导致范围外样本值的积聚，并因此在最终图像表示中引入伪影。
发明人觉察到需要如下一种色度处理方案：其可对色彩空间中的每个分量进行单独的操作并相对于先前确定的分量对后续分量进行操作，考虑分量之间的关系以允许更高效的处理。
附图说明
图1示出了本公开的原理在其中可找到应用的环境。
图2示出了根据本公开的一个实施方案的系统。
图3示出了根据本公开的另一个实施方案的系统。
图4示出了根据本公开的一个实施方案的编码单元。
图5示出了根据本公开的一个实施方案的一种方法的流程图。
图6示出了根据本公开的一个实施方案的一种方法的流程图。
图7示出了根据本公开的一个实施方案的一种方法的流程图。
图8示出了根据本公开的一个实施方案的一种方法的流程图。
图9示出了根据本公开的一个实施方案的一种方法的流程图。
具体实施方式
本公开的实施方案提供了用于基于每个分量之间的关系相对于先前处理的色彩空间的分量来处理色彩空间的单独分量的技术。因此，亮度分量的处理可允许一对色度分量中的每一个色度分量的值的范围被确定。可对第一色度分量执行处理操作，以获得用于第一分量的一组值。随后，可剪辑该第一分量的该组值中在该第一分量的值的确定范围之外的值。第二颜色分量的限值范围可基于该第一分量的经剪辑的该组值和/或经处理的亮度分量来确定。可对第二色度分量执行处理操作，以获得用于第二分量的一组值。随后，可剪辑该第二分量的该组值中在该第二分量的值的确定范围之外的值。以此方式剪辑每个分量可防止未剪辑的信号传播通过每个处理级，该传播可能导致图像信号中较大误差并存在伪影。此外，由于表示每个分量所需的位深度可基于每个分量的值的确定范围进行修改，因此表示每个分量所需的位数可减少。
本发明的原理在应用中找到了执行编码图像与视频数据的交换的应用。此类应用的示例包括但不限于视频/图像编码、格式转换(即从4:2:0或 4:2:2 YCbCr表示转换到4:4:4表示)、图像缩放、时空滤波诸如去噪，以及帧速率转换等等。一种此类应用在图1中示出，其中系统100包括通过网络130通信的一对端子110,120。端子110,120可支持编码视频数据的单向交换或双向交换。针对双向视频交换，端子110,120中的每一个端子可在本地位置处捕获视频数据并编码该视频数据以用于经由网络130传输至另一个端子。每个端子110,120可从网络130接收另一个端子的编码视频数据，对该编码数据进行解码并在本地显示复原的视频数据。针对单向视频交换，端子中的仅一个端子(比方说，端子110)会在本地捕获视频并对其进行编码以用于传输至另一个端子120。第二端子120将该编码视频进行解码并在本地显示。
在图1中，将端子110,120示出为智能电话，但本发明的原理并不限于此。本公开的实施方案可应用于个人计算机(台式计算机和膝上型计算机两者)、平板电脑、计算机服务器、媒体播放器和/或专用视频会议设备。网络130表示在端子110,120之间传递编码视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络130可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非在本文中有所解释，否则网络130的架构和拓扑结构对本公开的操作是无关紧要的。
图2示出了根据本公开的一个实施方案的在端子210,250内用于支持视频交换的功能单元的简化功能框图。例如，该端子210可以包括视频源 215、预处理器220、视频编码器225和发射器230，均在控制器235的控制下进行操作。该视频源215可提供表示视频内容的源视频数据，用于进行编码并传输到第二端子250。预处理器220可以执行信号调节操作，以定制用于由视频编码器225进行编码的源视频数据。视频编码器225可根据预测编码技术来编码源视频数据以减少视频的带宽。发射器230可以格式化来自视频编码器225的编码视频数据，以用于经由信道240传输到第二端子250。
视频源215可由可包括图像传感器和相关电路的相机系统表示以生成表示本地捕捉的图像内容的视频数据。然而，在其他实施方案中，该视频源215可由存储从其他源(例如，计算机图形等)创建的视频数据的存储设备表示。另选地，该源视频可以包括由在端子210上执行的应用或其他方法创建的以合成方式生成的图像内容。源视频可以从视频源以第一格式 (诸如RGB)输出。
预处理器220可以对源视频执行操作来对其进行调节以用于编码和/或传输。典型的预处理操作包括色彩空间转换、重新设定视频的尺寸大小、视频的帧速率转换和/或视频滤波操作。色彩空间转换可将源视频从其第一格式转换到第二格式，视频编码器225以第二格式对该源视频进行操作 (诸如Y’CrCb)。重新设定尺寸大小的操作可放大或减小源视频中视频帧的尺寸。帧速率转换可提高或降低源视频的帧速率。滤波操作可包括多种处理操作，以在源视频中提高或降低内容的空间和/或时间光滑度。虽然本讨论聚焦于预处理器220的色彩空间控制操作，但在实施过程中，此类操作如可为期望的那样与其他预处理操作协同地执行，以实现给定的应用需求。此外，应用于源视频的预处理操作的类型可基于端子210的操作条件 (包括端子210处处理资源的可用性)、信道240的条件以及远端端子250 的报告给端子210的任何操作条件而动态地改变。预处理器220可向视频编码器225提供预处理的视频。
视频编码器225可编码通过预处理器220呈现给其的视频数据。视频编码器225可通过根据运动补偿预测编码输入视频来利用该输入视频中的空间和/或时间冗余。此类方法通常涉及参考先前编码的参考帧来编码新帧的内容。在对新帧的内容与先前编码的参考帧的内容之间进行预测时，视频编码器225可在编码器的输出中提供预测参考(其可为显式或隐式的)，这允许解码器在解码过程中倒置预测操作。预测通常以逐像素块为基础在输入帧(本文称为“像素块”)的空间区域上运行。此类预测参考通常包括运动向量，该向量识别被编码的帧与参考帧之间的图像内容的空间平移。视频编码器225还可包括本地解码器(未示出)来解码和存储用于后续预测操作的参考帧的编码视频数据。视频编码操作可根据预先确定的编码协议诸如MPEG-2、MPEG-4、H.263、H.264和/或HEVC编码协议发生。
发射器230可格式化编码视频数据以用于在信道240中传输。信道240 本身可根据预先确定的通信协议来运行。发射器230可根据适于信道240 的协议将编码视频数据格式化，并可将该编码视频数据输出到信道240。
第二端子250可包括接收器255、视频解码器260、后处理器265和视频宿270。接收器255可接收来自信道240的数据，并将该信道数据解析成一个或多个各种数据流，包括编码视频的流。视频解码器260可对编码视频数据进行解码，从而使由视频编码器225执行的编码过程反转，以从中复原视频数据。后处理器265可以对来自视频编码器的复原的视频数据执行信号调节操作，以在呈现之前改善视频质量。视频宿270可通常通过在端子250的显示器上显示由后处理器265输出的视频数据来消耗该视频数据。
如所指出的，视频解码器260可通过由反转视频编码器225应用的编码过程来对视频数据进行解码。视频解码器260可解译编码视频以识别其中的预测参考，然后在编码操作期间施用该预测参考。因此，当视频编码器225使用作为预测源的参考帧来编码新帧的给定像素块时，视频解码器 260可以使用预测参考数据来识别视频编码器225使用的参考帧的相同内容并执行其自己的预测操作。视频解码器260可向预处理器输出复原的视频。视频解码器260还可以存储用于后续预测操作的复原的参考帧的视频。与视频编码器225相同，视频解码操作可根据预先确定的编码协议诸如MPEG-2、MPEG-4、H.263、H.264和/或HEVC编码协议发生。
后处理器265可执行附加视频处理以调节复原的视频数据以用于呈现 (通常在显示设备处)。典型的后处理操作可以包括色彩空间转换、滤波、重新设定尺寸大小和/或帧速率转换。色彩空间转换可以涉及将复原的视频数据从视频解码器260使用的格式(诸如Y’CrCb)转换成适用于视频宿270的输出格式；输出格式可以但不必是与视频源215提供的视频相同的格式。常见的滤波操作包括去块效应滤波器、边缘检测滤波器、振铃滤波器等。重新设定尺寸大小的操作可放大或减小复原的视频中视频帧的尺寸。帧速率转换可提高或降低复原的视频的帧速率。后处理器265可向视频宿270输出复原的视频序列。
视频宿270可消耗由后处理器265输出的复原的视频数据。通常来说，视频宿270可由呈现用于在端子250上查看的复原的视频数据的显示器来表示。视频宿270可包括存储由端子250随后使用的复原的视频数据的存储设备，该随后使用诸如随后查看或随后传输到其他设备(未示出)。
图2中所示的功能块仅在一个方向上支持视频编码和解码。对于双向通信，端子250可包括用于对本地捕获的视频进行视频编码的功能块(未示出)，并且端子210可包括用于对经由网络240从端子250处接收的编码视频数据进行解码的功能块(也未示出)。尽管据设想本公开的原理可在驻留于任一端子210,250处的编码器处应用，但图2省略了针对端子250 至端子210编码方向所提供的功能块仅为了简化本论述。
图3示出了根据本公开的一个实施方案的一种视频编码器300的功能框图。视频编码器300可包括Y’编码器310、Cr编码器320、Cb编码器 330、最小/最大估计器340和剪辑单元342,344。视频编码器300可接受输入视频数据作为分量信号Y’、Cr和Cb，这些分量信号被输入到其相应的编码器310-330。编码器310-330可向发射器输出编码视频数据，该数据可被聚集成符合管理编码标准的语法要求的编码视频流。
最小/最大估计器340可估计是否基于从Y’编码器310输出的编码的 Y’数据来剪辑从Cr和Cb编码器320,330中的一者或两者输出的数据。在一个实施方案中，最小/最大估计器340可基于从Y’编码器输出的编码的 Y’数据来确定Cr和Cb中的一者或两者的最大值和最小值。然后，最小/最大估计器340可确定是否基于此类数据与每个分量各自所确定的最大值和最小值的比较来剪辑从Cr和Cb编码器中的一者或两者输出的数据。例如，对于每个分量，最小/最大估计器340可以确定该分量的最大值和最小值所建立的范围之外的所有值都必须被剪辑。在一个实施方案中，最小/最大估计器340可以确定仅超出该分量的最大值和最小值所建立的范围的阈值距离的那些值必须被剪辑。在一个实施方案中，最小/最大估计器340可以基于编码的Y’数据来确定用于颜色分量(例如，Cr)中的一个颜色分量的最大值和最小值。最小/最大估计器340可以基于该最大值和最小值来确定编码的Cr的哪些值必须被剪辑，并将对应的剪辑的信号发送到剪辑单元 342。然后，在确定是否要剪辑其他颜色分量(Cb，在上述示例中)的编码视频数据时，除了编码的Y’数据，最小/最大估计器340可能还要考虑Cr 分量的在所确定的Cr最大值和最小值内的编码视频数据。最小/最大估计器340可向剪辑单元342,344输出剪辑控制信号，其如所示地修改编码的Cr 和/或Cb数据。
在一个实施方案中，最小/最大估计器340可调整一个或多个分量的所确定的最大值/最小值来补偿可干扰编码器输出的效应，诸如量化噪声或其他干扰源。最小/最大估计器340可允许附加的偏置，以扩展一个或多个特定分量的超出那些分量的所确定的最大值和最小值的值的所允许的范围。该偏置可基于影响编码器输出的效应量和/或水平。
在一个实施方案中，剪辑单元342和344可以基于Cr和Cb中的一者或两者的所确定的最大值和最小值来调整表示其相应的分量所需的位数。剪辑单元342和344可以基于Cr和Cb中的一者或两者的所确定的最大值和最小值来调整位数，而不是为每个分量值分配固定的位数。例如，如果 Y'分量的值被计算为零，则剪辑单元342和344可以调整位表示，使得没有附加的信息被发信号通知，因为在这种情况下，暗含Cb和Cr值也为零。类似地，在解码Y’值为0之后，解码器可确定在位流中没有呈现任何附加的Cb和Cr数据。在一个实施方案中，给定Y’的值，编码器和/或解码器可计算覆盖所有可能Cb值所需的位深度，而类似地，给出Y’和Cb，编码器和/或解码器可调整分配给Cr的位数。
大部分数字图像和视频应用采用Y’CbCr色彩空间编码来表示图像，因为其与其他色彩空间诸如RGB或XYZ相比更好地适应人类视觉感知的能力。也称为YCbCr、Y’UV或YUV的Y’CbCr包括亮度(Y’)分量以及两个色度/颜色分量(Cb和Cr)。在其最常见形式中，Y’分量可以近似于 CIE 1931 XYZ色彩空间的图像(Y)的亮度/辉度信息。
因此，在一个实施方案中，视频编码器300还可以包括格式转换单元 305。格式转换单元305可将以RGB格式接收到的图像转换成，例如， Y’CbCr格式。格式转换单元305可如下计算Y’：
Y'＝wYRR'+wYGG'+wYBB'
其中上撇(')符号指示将传递函数应用于初始线性光R、G和B信号上。格式转换器305可将传递函数应用到初始线性光信号上以使得能够使用感知量化。这可允许更有效地从浮点转换到图像信号的固定的精确表示。wYR, wYG和wYB权重可对应于用于将线性光R、G和B量转换回CIE 1931 Y分量所使用的恒重。格式转换器305可以根据与总体XYZ色彩空间相比的当前RGB色彩空间的颜色范围限制来指定权重。而且，wYR+wYG+wYB＝ 1。一般来说，从RGB到XYZ的转换使用如下形式的3x3矩阵转换来执行：
Figure BDA0001414565250000081
考虑与RGB色彩空间的范围限制相关的a权重。当前使用的常见的RGB 色彩空间包括ITU-R BT.601、BT.709(sRGB)、BT.2020、Adobe RGB、 scRGB、CIE RGB、P3DCI和P3D65色彩空间等等。
给定特定RGB色彩空间，该格式转换器305可计算YCbCr中的Cb和Cr分量，如：
Figure BDA0001414565250000082
用alpha＝2*(1-wYB)以及
Figure BDA0001414565250000083
用beta＝2*(1-wYR)。
在一个实施方案中，格式转换器305可以保证Cb和Cr始终在[-0.5, 0.5]范围内的方式来计算α和β的值。当B’等于0且G’＝R’＝1时，Cb可等于-0.5，并且当B’等于1且G’＝R’＝0时，Cb可等于0.5。类似地，当R’＝0 且G’＝B’＝1时，Cr可等于-0.5，并且当R’＝1且G’＝B’＝0时，Cr可等于 0.5。
格式转换器305可向相应的编码器输出Y’CrCb色彩空间的每个分量。每个编码器可如本文所述对其相应的分量执行处理操作，并向最小/最大估计器340以及相应的剪辑单元输出该编码分量。
分别给定Cb或Cr与Y’以及Y’与B’和R’的关系，对每个分量的限值可受Y’的值的影响。因此，如果最小/最大340估计器确定Y'，则它可以导出Cb和/或Cr的值的范围。更具体地讲，如果Y′＝Y′C，则应用以下内容：
如果Y′C≤wYR+wYG＝1-wYB，则最小/最大估计器340可计算Cb的最小值为
Figure BDA0001414565250000091
即当B'＝0且Y′C仅由R’和G’组成时。换句话讲，当 G’＝R’＝1时最小化将发生，在这种情况下，
Figure BDA0001414565250000092
在这种情况下，最小/最大估计器340可计算Cb的最小值为
Figure BDA0001414565250000093
在一个实施方案中，最小化Cb的这两个公式可组合为：
Figure BDA0001414565250000094
最小/最大估计器340可应用该公式来导出其minCb。
另一方面，如果Y′C≥wYB，则最小/最大估计器340可计算Cb的最大值为
Figure BDA0001414565250000095
即当B'＝1而不管R’和G’可能是什么值时。换句话讲，当G’＝R’＝0时最大化将发生，在这种情况下，
Figure BDA0001414565250000096
在这种情形下，最小/最大估计器340可以计算最大Cb值为
Figure BDA0001414565250000097
在一个实施方案中，最大化Cb的这两个公式可组合为：
Figure BDA0001414565250000098
最小/最大估计器340可应用该公式来导出其maxCb。
在一个实施方案中，给定Y′＝Y′C，则最小/最大估计器可计算Cr的最小值和最大值为：
Figure BDA0001414565250000101
Figure BDA0001414565250000102
在一个实施方案中，最小/最大估计器340可导出两个分量(例如， Y′＝Y′C和Cb＝CbC)。在这种情况下，最小/最大估计器340可确定R’与Y’和Cb的已知值之间的关系为：
Figure BDA0001414565250000103
给定R’与Y’和Cb的已知值之间的上述关系，则最小/最大估计器340 还可导出B/B’的值。
在一个实施方案中，如果 Y′C≤wYB*B′+wYG＝wYB(2*(1-wYB)*CbC+Y′C)+wYG，则最小/最大估计器 340可计算Cr的最小值为
Figure BDA0001414565250000104
即当R’＝0且Y′C仅由B’和G’组成时。换句话讲，当G’＝1时最小化将发生，在这种情况下，
Figure BDA0001414565250000105
在这种情况下，最小/最大估计器340可计算Cr的最小值为
Figure BDA0001414565250000106
在一个实施方案中，这两个公式可组合为：
Figure BDA0001414565250000107
最小/最大估计器340可应用该公式来导出其minCr。
在一个实施方案中，如果Y′C≥wYR+wYB*B′，则最小/最大估计器340可计算Cr的最大值为
Figure BDA0001414565250000111
即当R’＝1而不管G’的值是多少时。换句话讲，当G’＝0时最大化可发生，在这种情况下，
Figure BDA0001414565250000112
在这种情形下，最小/最大估计器340可以计算最大Cr值为
Figure BDA0001414565250000113
在一个实施方案中，这两个公式可组合为：
Figure BDA0001414565250000114
最小/最大估计器340可应用该公式来导出其maxCr。在一个极端情况下，如果
Figure BDA0001414565250000115
则Cr＝0。
类似地，对于Cb，给定Y'和Cr，则最小/最大估计器340可计算Cb 的限值为：
Figure BDA0001414565250000116
Figure BDA0001414565250000117
并且，如果
Figure BDA0001414565250000118
则Cb＝0。另外，如果Y＝0，则Cb和Cr分量均可等于0。
图4示出了根据本公开的实施方案的编码器系统400。编码器系统400 示出了可由图3的特定于颜色的编码器310-330对输入分量数据执行的基本编码操作，该输入分量数据已被解析成本文被称为“像素块”的预先确定的单元。编码器系统400可包括减法器410、变换单元415、量化器420、熵编码器425、反量化430、逆变换单元435、加法器440、去块效应单元 445、样本自适应偏移(SAO)滤波器450、解码器图片缓冲器(DPB) 455、运动补偿/帧内预测单元460、模式选择器465、帧内模式决策单元 470、和运动估计器475。
减法器410可在第一输入处接收输入颜色分量像素块并在第二输入处接受预测的像素块。减法器410可生成表示输入像素块和预测的像素块之间的差值的数据。该变换单元415可将差值转换成变换系数的阵列，例如如通过离散余弦变换(DCT)过程或小波变换。量化器420可通过量化参数QP(未示出)来量化从变换单元415获得的变换系数。熵编码器425可通过运行值编码、运行长度编码、算数编码等来编码量化的系数数据，并可生成从编码器系统400输出的编码视频数据。然后，输出信号可经历进一步处理以用于通过网络、固定媒体等进行传输。
编码器系统400可包括预测环，该预测环包括反量化430、逆变换单元435、加法器440、去块效应滤波器445和SAO滤波器450。逆变换单元 435可逆转量化器420所执行的量化。逆变换单元435可向反量化数据施加逆变换，这将逆转该变换单元415的操作。
加法器440可耦接到逆变换单元435并可接收由逆变换单元435生成的逆变换数据作为输入。加法器440还可从模式选择器465接收输入，这将在下文中进一步详细描述。加法器440可向去块效应滤波器445输出所得数据，这可以减少/移除块编码的伪影。SAO滤波器450可耦接到去块效应单元445用于进一步滤波。然后，该经滤波的数据可从编码器400被输出。
在一个实施方案中，编码器400可进一步包括剪辑单元480。在解码的所有步骤都完成之后，剪辑单元480可对经滤波的数据中颜色分量在有效范围之外的某些像素进行剪辑。例如，剪辑单元480在预测(帧内/帧间)、残余重组、去块效应和SAO滤波完成时工作。剪辑单元480可剪辑颜色分量超出其相应的有效范围的像素。在该阶段的剪辑可以实施由Y’、Cb和Cr分量关系施加的有效范围，如上文所讨论。
对于参考图片，可用作预测参考以用于随后接收的帧的图片，解码器 400可从SAO滤波器450组装重建的帧，并将该重建的帧存储在解码图片缓冲器(DPB)455中。DPB 455可以存储重建的帧以用于解码随后接收的编码数据。
运动估计器475可接收输入数据并在先前存储在DPB 455中的帧中搜索重建的帧中匹配输入数据的内容。运动估计器475可向模式选择器465 输出识别来自存储的重建的帧的最佳匹配像素块的数据。因此，针对每个期望的参考，运动估计器475可导出将导致待编码的当前块的帧间预测假说的运动信息。
帧内模式决策单元470可接收输入信号并根据表示当前被编码的帧的解码部分(例如，相同的帧中的先前编码的像素块)的重建数据来确定可由帧内编码开发的预测参考。帧内模式决策单元470可以确定用于一个或多个帧内编码模式的预测参考。因此，帧内模式决策单元470可以估计待编码的当前块的“最佳”帧内编码模式。在一个实施方案中，每个模式可包括相关联的率失真代价，并且帧内模式决策单元可以通过确定哪种模式具有最低率失真代价来估计该“最佳”模式。帧内模式决策单元470可向模式选择器465输出其预测搜索的结果。
在一个实施方案中，编码器400可如本文所讨论在估计预测模式期间导出颜色分量限值。帧内模式决策单元470可监视由每种模式生成的范围外的值的数量。帧内模式决策单元470可以消除具有相当多数量的范围外的值的模式。在一个实施方案中，帧内模式决策单元470可将由每个模式生成的范围外的值的数量与阈值进行比较，如果用于特定模式的范围外的值的数量超过阈值，则消除该模式。另选地，帧内模式决策单元470可基于它们将生成的范围外的值的相对数量来使不同的预测模式优先于其他模式。
模式选择器465可选择待施加到由运动估计器475和帧间模式决策单元470提供的指示上的输入像素块的编码模式。例如，模式选择器465可选自多个模式/预测类型、块尺寸、参考模式，或甚至执行包括以下的片/帧级编码决策：帧内、或单假设或多假设(通常为双向预测)帧间预测的使用；预测块的尺寸；片/图片是否应以帧内(I)模式编码而不将序列中的任何其他图片用作预测源；结合帧内预测，在执行帧间预测时，片/图片是否应每个块仅使用一个参考来以单列表预测(P)模式来编码；并且片/图片是否应以双向预测(B)或多假设模式来编码，该模式除了单列表帧间和帧内预测还允许使用双向预测和多假设帧间预测。通常，编码模式被选择用于最小化编码失真和最大化编码效率。然而有时，模式选择器465可应用不最佳的编码模式来支持其他编码需求。例如，可应用帧内编码模式来将I帧注入到编码位流中(以支持擦洗播放模式等等)，即使P编码可为更有效的。
运动补偿/帧内预测单元460可从模式选择器465接收输入并从DPB 455接收编码数据。基于所接收的信息，该运动补偿/帧内预测单元460可生成待编码的当前输入的参考块。然后，可由减法器410从输入分量像素块减去该参考块。
在一个实施方案中，编码器400还可包括另一个剪辑单元485。如果在重建过程的其他阶段需要附加的剪辑，则该剪辑单元485可剪辑有效范围之外的某些像素。例如，剪辑单元485可在去块效应445之前或内插过程期间提供剪辑以用于子像素运动估计475和补偿460。剪辑单元485可剪辑具有一个或多个颜色分量的超过该分量的有效范围的像素。在该阶段的剪辑可以实施由Y’、Cb和Cr分量关系施加的有效范围，如上文所讨论。
在一个实施方案中，当执行帧内预测时，帧内模式决策单元470可首先预测数据的亮度分量。在这种情况下，该编码器400可以如上文所述相同的方式对随后预测的色度分量值进行剪辑。
编码器400可表示单个分量编码器(即其旨在对色彩空间的一个分量执行处理操作)。在一个实施方案中，编码器400可向色彩空间中每个分量的相应编码器输出其编码分量数据(图4中未示出)。此外，该编码器 400可从色彩空间中每个分量的相应编码器接收编码分量数据(图4中未示出)。这样，编码器400能够计算其相应分量的限值并对其相应分量执行一个或多个处理操作，如上所述。在一个实施方案中，编码器400可从最小/最大估计器(诸如图3中示出的最小/最大估计器340)接收每个分量的值的所确定的范围。
在一个实施方案中，编码器400可包括分析器490以为剪辑过程开发提供上下文信息的元数据。元数据可被报告给解码器(图2)以用于恢复编码视频数据。元数据可包括，例如，表示被输入到编码器(图2)的源图像信号的信息。例如，此类元数据可描述源视频的基色、在源视频上操作的传递函数、和/或在编码期间所使用的矩阵系数。在一个实施方案中，通过被编码到系统中可能事先知道某些另外的参数，在这种情况下，元数据可根据这些预编码的参数来传达表示离开的信息。例如，在其中信道能够处理数据特别是基色/体积诸如BT.2020,P3D65或BT.709的情况下，元数据参数可识别其中源内容仅有效地覆盖更加有限的颜色体积诸如BT.709, P3D65或甚至更少的情况。元数据参数可例如发信号通知信号的有效基色。信令可在每个区域、每个图像或针对一系列图像完成。基色可使用例如三基色系统(例如，红、蓝、绿，以及任选地白，因为通常其会与初始色彩空间的白色一致，其对应的点在xy(CIE 1931)或u’v’(CIE 1976) 色彩空间中)或甚至可还包括次生色(例如青色、品红和黄色)的更加全面的颜色系统来发射信号。在另一示例中，信号表示的辉度特征可以高达特定数量X(例如，10000)，然而该信号可能永远不会超过值Y(例如， 500)。还可提供还关于在特定颜色体积范围内对应的色调或饱和度或其他属性诸如数据的百分比的初始信号限值的信息。给定关于该初始信号的限值的更加全面的信息和知识，此信息可用以进一步有助于不仅色度分量而且亮度的剪辑和处理过程。
编码协议通常限定不同端子中的视频数据交换的语法。许多编码协议分配带宽以允许端子交换在该协议下不具有预先确定的含义的数据。例如，MPEG-4AVC/H.264和MPEG-H部分2/HEVC/H.265编码协议定义辅助增强信息(“SEI”)和视频可用性信息(“VUI”)消息用于此目的。附加参数和其他元数据可以在此类消息中传送。对于不保留用于此类目的的带宽的编码协议，附加参数和其他元数据的传送可发生在落在由编码视频数据占据的语法之外的信道(例如端子之间的独立通信信道)中的端子之间。
在一个实施方案中，编码器400可使用附加参数来调整本文所述的各种公式/过程以实现更有效的处理。此外，该编码器400可如上所述将附加参数传输给解码器(例如解码器900，本文下面将更全面描述)以使解码器克服解码过程期间生成的错误，诸如由反量化引起的失真。
尽管上述讨论已呈现了驻留在编码器400中的分析器490来开发在其中表示剪辑单元的性能的数据，但是本公开的原理允许分析器捕获系统内不同性能等级的数据。例如，分析器(未示出)可应用于如图3所示的系统中并开发在其中表示剪辑单元342和344的性能的元数据。
图5示出了根据本公开的一个实施方案的方法500。该方法500可以检查Y分量数据，其可处于全分辨率，然后计算如上所述的maxCb和minCb 限值(框510)。然后该方法处理Cb分量数据，其通常以Y分量数据的1/4分辨率提供。在一个具体实施中，Cb和Cr数据可在类型0位置处，其中色度值以共站方式定位，其中Y’样本为水平的，但在中间垂直。类型0 的进一步讨论可见于AVC说明书，附录E(ISO/IEC 14496-10-MPEG-4 部分10，高级视频编码)中。
对于Cb分量，该方法可使用垂直施加的滤波器来执行垂直内插(框 515)。该方法500可比较内插的结果与由Y分量和剪辑对应地限定的 maxCb和minCb限值。方法500可使用在框520中获得的已经剪辑的结果来施加水平内插(框525)。给出那些位置的Y限值，可剪辑内插的Cb值 (框530)。
方法500也可对Cr分量数据执行类似操作。该方法500可以检查Y分量数据，并计算如上所述的maxCr和minCr限值(框540)。对于Cr分量，该方法可使用垂直施加的滤波器来执行垂直内插(框545)。该方法 500可比较内插的结果与由Y分量和剪辑对应地限定的maxCr和minCr限值(框550)。方法500可使用在框550中获得的已经剪辑的结果来施加水平内插(框555)。给出那些位置的Y限值，可剪辑内插的Cr值(框 560)。
在框510-530和框540-560中所示的操作可使用Y分量数据彼此并行执行以设定Cb和Cr分量数据二者的最大/最小等级。另选地，它们可以依次进行。在这种情况下，可使用Y分量数据和经处理的(并且可能经剪辑的)颜色分量数据来设定一个分量的最大/最小等级。例如，如果框510- 530在执行框540-560之前执行，则可根据Y分量数据和经处理的Cb分量数据来计算Cr值。如可见的，操作的顺序执行能够使方法500在每个处理步骤执行剪辑以避免未剪辑的信号的传播，并因此避免在任何后续步骤中发生更严重的错误的可能性。
图5的方法500应用处理操作，该处理操作涉及对图像数据沿多个方向的空间处理，例如内插、上转换、缩放、下转换和下采样。而图5示出了内插作为空间处理(在框515,525,545和555中)，在本发明的其他实施方案中，上采样或其他处理可在那些框中执行。
在一个实施方案中，该处理可为自适应下转换方案，其中处理系统可开发将使用的上转换方法的知识(即，如果从4:4:4下转换到4:2:0，并且上转换方案可能使用特定组的上采样滤波器)。在这种情况下，考虑到特定下转换决策，方法500可在决策过程期间施加剪辑范围以提供对可被引入的失真的更准确估计。这可改善下转换决策过程期间的性能。
图6示出了根据另一个实施方案的方法600。图6的方法600可应用于涉及单次迭代处理的处理操作中。例如，方法600可被用于执行去噪、帧速率转换、去带环、图像修复、去鸣振、去块效应、抖动以及其他此类处理方法的系统。当这一过程结合图6的方法600执行时，它被认为是“调用过程”以用于讨论目的。
方法600可以开始于对Y分量数据执行调用过程(框610)。其后，方法600可以基于经处理的Y数据来计算第一颜色分量的最大限值和最小限值(框620)。方法600可剪辑超出在框620中计算出的最大限值和最小限值的第一颜色分量值(框630)。然后，方法600可对在框640中获得的第一颜色分量数据执行调用过程，该第一颜色分量数据可能或可能没有如该限值所确定地被剪辑(框640)。
方法600可以基于经处理的Y数据和经处理的第一颜色分量数据来计算第二颜色分量的最大限值和最小限值(框650)。方法600可剪辑超出在框650中计算出的最大限值和最小限值的第二颜色分量值(框660)。然后，方法600可对在框660中获得的第二颜色分量数据执行调用过程，该第二颜色分量数据可能或可能没有如框650中所计算出的该限值所确定地被剪辑(框670)。
图7示出了根据本公开的一个实施方案的方法700。与图5的方法500 一样，方法700应用处理操作，该处理操作涉及对图像数据沿多个方向的空间处理，例如内插、上转换和缩放。而图7示出了内插作为待执行的空间处理(在框715和720中引用)，在本发明的其他实施方案中，上采样或其他处理可在那些框中执行。
方法700可以通过根据Y分量数据计算maxCb、minCb、maxCr和 minCr值开始。该方法700然后可使用垂直内插来执行一次迭代剪辑处理 (框715-755)。具体地，方法700可在所选择的内插方向上内插Cb和Cr (框715)。然后，方法700可确定是否有任何内插分量(Cb和/或Cr)需要剪辑(框720)。
如果没有一个分量需要剪辑，则该方法可识别“最远离”其相关联限值的分量Cb或Cr。该方法700可“固定”所识别的分量，从而指示该固定分量不需要剪辑(框725)。例如，如果Cb分量到maxCb限值和minCb 限值的距离小于Cr分量到maxCr限值和minCr限值的距离，则Cb分量被指定为“固定的”。该方法700可修正其他颜色分量(在上面的示例中的 Cr)的最大/最小限值(框730)。该方法700可确定另一个分量(Cr)是否需要剪辑(框735)，并且如果需要，则对该颜色分量执行剪辑(框 740)。
在一些情况下，在框725执行期间，Cr分量将被指定为固定的，并且 maxCb值和minCb值将在框730执行期间被修正。因此，被指定为“固定的”和“其他”颜色分量将由通过内插获得的Cb和Cr数据的值来确定。
在框720处，可确定内插的颜色分量中仅一个颜色分量需要剪辑(比方说，分量Cb)。在这种情况下，另一个颜色分量(Cr)可被指定为“固定的”(框745)。然后，方法700可前进至框730以修正被标识为需要剪辑的分量的最大/最小限值。在框735和740中，如果分量(Cb)根据修正的最大/最小限值仍需要剪辑，则其将被剪辑。
在框720处，可确定内插的颜色分量两者均需要剪辑。在这种情况下，方法700可识别最接近其最大限值或最小限值的分量值(比方说， Cr)，并可剪辑该值(框750)。然后，该方法700可修正其他分量(在上面的示例中的Cb)的最大/最小限值。该方法可前进至框735。在框735和 740中，如果分量(Cb)根据修正的最大/最小限值仍需要剪辑，则其将被剪辑。
在框740完成后，或如果框735中不需要剪辑，则方法700的操作可返回到框715用于二次迭代。在二次迭代中，可执行水平内插。可如前那样重复框720-755的操作。在完成框720-755的二次迭代时，方法700可以终止(步骤未示出)。
如果需要，方法700可执行在一次迭代中的水平内插和在二次迭代中的垂直内插。对类型0色度样品位置首先执行垂直内插可为方便的，因为方法700直接为色度垂直生成共站值。如果方法700首先执行水平内插，则该值将不会与亮度分量共站，并且限值的计算变得略微更复杂。在这种情况下，方法700可在色度的共站位置处内插亮度值，并在给定那些内插且暂时的亮度值的情况下计算限值。
图8示出了根据另一个实施方案的方法800。图8的方法800可应用于涉及单次迭代处理的处理操作中。例如，方法800可被用于执行去噪、帧速率转换、去带环、图像修复、去鸣振、去块效应、抖动以及其他此类处理方法的系统。当这一过程结合图8的方法800执行时，它被认为是“调用过程”以用于讨论目的。
方法800可以开始于对Y分量数据执行调用过程(框810)。方法800 可以根据Y分量数据计算maxCb、minCb、maxCr和minCr值(框815)。方法800可对Cb和Cr分量数据执行调用方法(框820)。然后，方法800 可确定是否有任何经处理的颜色分量(Cb和/或Cr)需要剪辑(框825)。
如果没有一个经处理的分量需要剪辑，则该方法可识别“最远离”其相关联限值的分量Cb或Cr。该方法800可“固定”所识别的分量，从而指示该固定分量不需要剪辑(框830)。例如，如果Cb分量到maxCb限值和minCb限值的距离小于Cr分量到maxCr限值和minCr限值的距离，则 Cb分量被指定为“固定的”。该方法800可修正其他颜色分量(在上面的示例中的Cr)的最大/最小限值(框835)。该方法800可确定另一个分量 (Cr)是否需要剪辑(框840)，并且如果需要，则对该颜色分量执行剪辑 (框845)。
在一些情况下，在框830执行期间，Cr分量将被指定为固定的，并且 maxCb值和minCb值将在框835执行期间被修正。因此，被指定为“固定的”和“其他”颜色分量将由通过处理获得的Cb和Cr数据的值来确定。
在框825处，可确定经处理的颜色分量中仅一个颜色分量需要剪辑 (比方说，分量Cb)。在这种情况下，另一个颜色分量(Cr)可被指定为“固定的”(框850)。然后，方法800可前进至框835以修正被标识为需要剪辑的颜色分量的最大/最小限值。在框840和845中，如果颜色分量 (Cb)根据修正的最大/最小限值仍需要剪辑，则其将被剪辑。
在框825处，可确定经处理的颜色分量两者均需要剪辑。在这种情况下，方法800可识别最接近其最大限值或最小限值的颜色分量值(比方说，Cr)，并可剪辑该值(框855)。然后，该方法800可修正其他分量 (在上面的示例中的Cb)的最大/最小限值(框860)。该方法可前进至框 840。在框840和845中，如果颜色分量(Cb)根据修正的最大/最小限值仍需要剪辑，则其将被剪辑。
在框845完成后，或如果框840中不需要剪辑，则方法800可终止。
图9示出了根据本公开的实施方案的解码器系统900。解码器系统900 可包括熵解码器910、反量化915、逆变换单元920、加法器925、去块效应单元930、样本自适应偏移(SAO)滤波器935、后处理器940、解码器图片缓冲器(DPB)945和运动补偿器950。解码器系统900可以根据编码系统400施加的相同的编码协议来执行解码操作，并且可遵守MPEG-4、 H.263、H.264和/或HEVC。
解码器系统900可生成从编码视频数据复原的视频数据。如果编码器 (例如编码器400)根据参考图片数据的给定元件编码源视频序列的元件，则解码器系统900可相对于相同的参考图片数据解码源视频元件的编码数据。运动补偿器950可从DPB 945检索先前解码的视频数据并将其供应到加法器925作为预测操作的一部分。
熵解码器910可以执行编码位流的解码以获得量化的变换系数。然后反量化915和逆变换920可分别对量化的变换系数执行反量化和逆变换以导出残余信号的解码表示。加法器925可将残余信号添加到由编码器(例如，编码器400)传输的预测帧数据，并且所得信号可被馈送到一个或多个回路滤波器以消除由分块处理和量化引起的伪影。
在施用去块效应滤波器930之后，SAO滤波器935可通过有条件地将偏移值添加到每个样品来修改解码样品。SAO过滤器935可在去块效应滤波器之后将非线性振幅映射引入到帧间图片预测环内，以更好地重建初始信号振幅。在一个实施方案中，SAO过滤器935可基于针对每个编码树块 (“CTB”)通过元数据消息的语法而选择的滤波类型来基于区域重建初始信号振幅。
后处理器940可对从SAO滤波器935获得的复原的视频执行其它信号调节操作。后处理可包括滤波操作或其它视频改变以改善复原的视频在解码器端子(图2)内其他分量(未示出)的消耗。在一个实施方案中，作为其操作的一部分，后处理器940可基于通过编码器以辅助增强信息(SEI) 消息等报告至该后处理器的元数据来选择处理操作。
以举例的方式，后处理器940可接收SEI消息中的信息：虽然在 BT.2020信号表示中表示复原的视频内容，但编码器可对包含在较小颜色体积诸如BT.709或P3D65内的源内容进行操作。作为响应，后处理器940可选择不同组的滤波器，诸如对指定的较小颜色体积内的所有重建值实施剪辑的滤波器，而不是一种不同的使用情况下：其中编码器对利用BT.2020 信号表示的全范围的视频内容进行操作。在另一示例中，给定关于信号的该附加信息，有限精度(例如，10或12位)的后处理器可在给定其实际范围的情况下映射视频数据用于处理，在没有该信息的情况下，比其有效更高的精度是可能的。其它示例可包括在将内容重新映射到比预期格式表示具有更低的能力的系统或显示器时使用不同或更简单的色调映射器。附加信息诸如信号中的最小/最大色调或饱和度的知识可导致在试图保持此类信号的限值的同时进行操作的滤波器。对这些不同的滤波器的选择将基于被编码到后处理器中的如下推断：编码器剪辑针对减小范围的源视频以及跨更大范围的可用表示的源视频不同地进行。
在另一个示例中，后处理器940可接收SEI消息中的信息：虽然复原的视频的辉度由可上升到特定数量X(例如，10,000)的数据表示，但是源内容信号的辉度绝不超过Y(例如，500)。作为响应，该后处理器940可选择不同组的滤波器，而不是一种不同的使用情况：其中编码器对利用辉度信号表示的全范围的视频内容进行操作。例如，滤波器将能够在不给出亮度信号表示的全范围但给出由SEI或其他元数据机构指定的附加限值的情况下剪辑数据，根据其动态范围和后处理器的能力通过缩放数据来扩展其精度，并允许使用旨在应用较低动态范围但不适用于高于某个阈值的高动态范围应用等的滤波机构。同样，对这些不同的滤波器的选择将基于被编码到后处理器中的如下推断：编码器剪辑针对减小范围的源辉度以及跨更大范围的可用表示的源辉度不同地进行。
上述策略不限于任何特定的色彩空间或原色，或甚至具有特定色度采样类型(色度采样位置)的色度数据。该方法可应用于使用任何原色诸如 BT.709、BT.2020、P3D65等的其他色彩空间诸如Y’u’v’、Y’u”v”、 YDzDx、IPT、YCbCr中的数据：恒定且非恒定的亮度两者表示、采样类型 0,1,2等。两个色度样品也不需要为共站的，即，不需要用相同的相采样。
如之前已经讨论的，除了色度上转换或缩放之外，上述技术可应用于可用于图像或视频数据上的任何处理方案。这可包括去噪诸如时空滤波、帧速率转换、去带环、图像修复、去鸣振、去块效应、抖动和通常应用于图像和视频数据上的许多其他处理方法。
前述讨论已在包含编码器和/或解码器的端子的上下文中描述了本公开的实施方案的操作。这些部件常常作为电子器件来提供。它们可嵌入到集成电路，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中。另选地，它们可嵌入到在个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序典型地存储在物理存储介质诸如电子、磁性和/或基于光学的存储设备中，在那里它们在操作系统控制下被读取到处理器并且被执行。类似地，解码器可实施在集成电路诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中，或者它们可实施在个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器存储并执行的计算机程序中。解码器常常封装在消费电子设备诸如游戏系统、DVD播放器、便携式媒体播放器等中，并且它们还可封装在消费软件应用诸如视频游戏、基于浏览器的媒体播放器等中。并且，当然，这些部件可提供作为混合系统，根据需要混合系统在专用硬件部件和编程通用处理器上分发功能性。
本文具体示出和/或描述了本公开的若干实施方案。然而，应当理解的是，在不脱离本公开的实质和预期范围的情况下，本公开的修改和变型由上述教导内容涵盖并且在所附权利要求的范围内。

Claims (20)

1.一种用于处理具有亮度分量、第一色度分量和第二色度分量的图像数据的方法，包括：
根据亮度分量与色度分量之间的关系，基于输入图像数据的所述亮度分量来确定第一色度限值；
对所述第一色度分量执行处理操作以产生第一色度分量的一组值；
剪辑所述第一色度分量的该组值中超出所述色度限值的值以产生第一色度分量的经剪辑的该组值；
根据亮度分量与色度分量之间的关系，基于输入图像数据的所述亮度分量以及所述第一色度分量的经剪辑的该组色度分量值来确定第二色度限值；
对所述第二色度分量执行所述处理操作以产生第二色度分量的一组值，并且
剪辑所述第二色度分量的该组值中超出所述色度限值的值以产生第二色度分量的经剪辑的该组值。
2.根据权利要求1所述的方法，其中一次迭代包括在第一方向上的确定、执行和剪辑操作，并且二次迭代包括在第二方向上的确定、执行和剪辑操作，
其中，所述第一方向是水平方向和垂直方向之一，而所述第二方向是水平方向和垂直方向中的另一个。
3.根据权利要求2所述的方法，其中，一次迭代和二次迭代彼此并行地执行或者依次执行。
4.根据权利要求1所述的方法，其中所述处理操作是空间处理操作，所述空间处理操作为内插、上转换、缩放、下转换和下采样操作中的一者。
5.根据权利要求4所述的方法，其中所述空间处理操作为自适应色度下转换，并且应用每个分量的所确定的色度限值以提供对特定下转换决策的引入失真的估计。
6.根据权利要求1所述的方法，其中所述处理操作为去噪、帧速率转换、去带环、图像修复、去鸣振、去块效应和抖动操作中的一者。
7.根据权利要求1所述的方法，其中确定第一色度限值和确定第二色度限值中所使用的亮度分量是通过对输入的亮度分量执行所述处理操作而获得的。
8.根据权利要求1所述的方法，还包括基于每个色度分量的所确定的色度限值来调整表示该分量所需的比特的数量。
9.根据权利要求1所述的方法，还包括基于干扰水平来调整每个色度分量的所确定的色度限值。
10.根据权利要求1所述的方法，其中所述处理操作为模式预测，并且产生在色度分量值的相应的所确定的限值之外的色度分量值的模式被丢弃。
11.根据权利要求1所述的方法，还包括：
根据预测编码操作来编码第一经剪辑的色度分量和第二经剪辑的色度分量；
捕获表示第一剪辑步骤和第二剪辑步骤的性能的统计值；以及
在信道中传输表示所编码的色度分量和所捕获的统计值的数据。
12.根据权利要求1所述的方法，还包括在信道中传输表示经剪辑的色度分量的数据以及表示输入图像数据的特征的数据。
13.一种用于处理具有亮度分量和一对色度分量的图像数据的方法，包括：
根据亮度分量和色度分量之间的关系由输入图像数据的亮度数据计算色度分量对的限值，
对所述输入图像数据的各色度分量对执行处理操作，
根据经处理的色度分量对和相应的限值来确定所述色度分量中的哪些色度分量需要剪辑，
当没有分量需要剪辑时：
识别所述色度分量中的哪个色度分量具有最远离其相应的限值的值，
根据所述亮度数据和所识别的色度分量来修改另一个色度分量的限值，以及
根据所述另一个色度分量的修改的限值按需要剪辑所述另一个色度分量；
当单个色度分量需要剪辑时：
根据所述亮度数据和另一个色度分量来修改所述单个色度分量的限值，以及
根据所述单个色度分量的修改的限值来剪辑所述单个色度分量；并且
当两个色度分量均需要剪辑时：
剪辑最接近其相应的限值的第一色度分量，
根据所述亮度数据和所述第一色度分量来修改另一个色度分量的限值，以及
根据所述另一个色度分量的修改的限值按需要剪辑所述另一个色度分量。
14.根据权利要求13所述的方法，其中当所述处理操作为空间处理操作时，该执行所述处理操作、确定、修改和剪辑操作被迭代地执行，其中
一次迭代包括沿第一方向执行的所述空间处理操作，之后是所述确定、修改和剪辑操作，并且
二次迭代包括沿第二方向执行的所述空间处理操作，之后是所述确定、修改和剪辑操作，
其中，所述第一方向是水平方向和垂直方向之一，而所述第二方向是水平方向和垂直方向中的另一个。
15.根据权利要求14所述的方法，其中所述空间处理操作为内插、上转换、缩放、下转换和下采样操作中的一者。
16.根据权利要求13所述的方法，其中在计算色度分量对的限值中使用的亮度数据是通过对输入的亮度数据执行所述处理操作而获得的。
17.根据权利要求13所述的方法，其中所述处理操作为去噪、帧速率转换、去带环、图像修复、去鸣振、去块效应和抖动操作中的一者。
18.根据权利要求13所述的方法，还包括：
在剪辑操作之后，根据预测编码操作来编码从所述剪辑操作获得的图像数据；
捕获表示剪辑步骤的性能的统计值；以及
在信道中传输表示所编码的图像数据和所捕获的统计值的数据。
19.根据权利要求13所述的方法，还包括在信道中传输在所述剪辑之后所得的图像数据以及表示所述输入图像数据的特征的数据。
20.一种用于具有亮度分量、第一色度分量和第二色度分量的图像数据的处理方法，包括：
对所述图像数据的所述亮度分量执行预先确定的处理；
根据亮度分量与色度分量之间的关系，基于经处理的亮度分量来确定第一色度分量的限值；
剪辑所述第一色度分量的超出所述第一色度分量的限值的那些值；
对所述第一色度分量的在所述剪辑之后的值执行所述预先确定的处理，
根据亮度分量与色度分量之间的关系，基于经处理的亮度分量和所述第一色度分量的经处理的值来确定第二色度分量的限值；
剪辑所述第二色度分量的超出所述第二色度分量的限值的那些值；
对所述第二色度分量的在所述剪辑之后的值执行所述预先确定的处理。
CN201680017328.1A 2015-04-15 2016-04-07 图像数据处理方法 Active CN107431818B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562148066P 2015-04-15 2015-04-15
US62/148,066 2015-04-15
US14/875,432 2015-10-05
US14/875,432 US9736335B2 (en) 2015-04-15 2015-10-05 Techniques for advanced chroma processing
PCT/US2016/026374 WO2016168051A1 (en) 2015-04-15 2016-04-07 Techniques for advanced chroma processing

Publications (2)

Publication Number Publication Date
CN107431818A CN107431818A (zh) 2017-12-01
CN107431818B true CN107431818B (zh) 2020-09-15

Family

ID=55806800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017328.1A Active CN107431818B (zh) 2015-04-15 2016-04-07 图像数据处理方法

Country Status (3)

Country Link
US (3) US9736335B2 (zh)
CN (1) CN107431818B (zh)
WO (1) WO2016168051A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6320440B2 (ja) * 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
EP3142363A1 (en) * 2015-09-08 2017-03-15 Thomson Licensing Methods and devices for encoding and decoding a sequence of pictures, and corresponding computer program product and computer-readable medium
US11330278B2 (en) * 2016-12-23 2022-05-10 Telefonaktiebolaget Lm Ericsson (Publ) Chroma adjustment with color components in color spaces in video coding
CN109348226B (zh) * 2017-04-08 2022-11-11 腾讯科技（深圳）有限公司 一种图片文件处理方法及智能终端
US11533450B2 (en) 2017-09-25 2022-12-20 Comcast Cable Communications, Llc Anti-piracy video transmission and display
EP3714603A1 (en) * 2017-11-24 2020-09-30 InterDigital VC Holdings, Inc. Method and apparatus for colour correction during hdr to sdr conversion
EP3595308A1 (en) * 2018-07-12 2020-01-15 THOMSON Licensing Method and apparatus for encoding an image
PL3815377T3 (pl) 2018-07-16 2023-05-08 Huawei Technologies Co., Ltd. Koder wideo, dekoder wideo oraz odpowiednie sposoby kodowania i dekodowania
KR20220066045A (ko) 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
KR20220061108A (ko) 2019-09-19 2022-05-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 레퍼런스 샘플 위치 유도
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
WO2021068955A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Use and signaling of refining video coding tools
CN117376557A (zh) 2019-10-13 2024-01-09 北京字节跳动网络技术有限公司 参考图片重采样与视频编解码工具之间的相互作用
WO2021129866A1 (en) 2019-12-27 2021-07-01 Beijing Bytedance Network Technology Co., Ltd. Signaling of slice types in video pictures headers
WO2022125500A1 (en) * 2020-12-08 2022-06-16 E Ink Corporation Methods for driving electro-optic displays

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596418A (en) * 1990-08-17 1997-01-21 Samsung Electronics Co., Ltd. Deemphasis and subsequent reemphasis of high-energy reversed-spectrum components of a folded video signal
CN101335902A (zh) * 2007-06-25 2008-12-31 华为技术有限公司 色度补偿方法和装置
CN103297656A (zh) * 2012-02-28 2013-09-11 苹果公司 扩展范围的颜色空间
CN103686171A (zh) * 2013-12-19 2014-03-26 中山大学深圳研究院 一种自适应滤波分离的视频解码装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USH1506H (en) * 1991-12-11 1995-12-05 Xerox Corporation Graphical user interface for editing a palette of colors
WO2000064189A2 (en) 1999-04-16 2000-10-26 Avid Technology, Inc. Safe color limiting of a color on a digital nonlinear editing system
US6510242B1 (en) 1999-10-26 2003-01-21 Sharp Laboratories Of America, Inc. Color image enhancement during YCbCr to RGB color conversion
US7057671B2 (en) * 2002-01-30 2006-06-06 At & T Corp Image and video processing with chrominance attenuation
US20040170319A1 (en) * 2003-02-28 2004-09-02 Maurer Ron P. System and method of gamut mapping image data
US8085277B2 (en) 2004-01-30 2011-12-27 Broadcom Corporation System and method for clipping values of pixels in one color space so not to exceed the limits of a second color space
US7403205B2 (en) * 2005-04-29 2008-07-22 Hewlett-Packard Development Company, L.P. Fast primary mapping and gamut adaptation to construct three dimensional lookup tables
US20100026889A1 (en) 2006-12-29 2010-02-04 Robert Bosch Gmbh Apparatus, Process and Computer Program for Limiting the Vector Length of Colour Vectors
JP2008271248A (ja) * 2007-04-20 2008-11-06 Toshiba Corp 色信号変換装置およびそれを備えた映像表示装置並びに色信号変換方法
EP2120448A1 (en) 2008-05-14 2009-11-18 Thomson Licensing Method of processing of a compressed image into a gamut mapped image using spatial frequency analysis
US8542402B2 (en) * 2009-12-18 2013-09-24 Canon Kabushiki Kaisha Selection of samples for spanning a spectral gamut
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9142012B2 (en) * 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9031319B2 (en) * 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
PL2836983T3 (pl) * 2012-10-08 2018-01-31 Koninklijke Philips Nv Przetwarzanie obrazu zmieniające luminancję z ograniczeniami barwy
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596418A (en) * 1990-08-17 1997-01-21 Samsung Electronics Co., Ltd. Deemphasis and subsequent reemphasis of high-energy reversed-spectrum components of a folded video signal
CN101335902A (zh) * 2007-06-25 2008-12-31 华为技术有限公司 色度补偿方法和装置
CN103297656A (zh) * 2012-02-28 2013-09-11 苹果公司 扩展范围的颜色空间
CN103686171A (zh) * 2013-12-19 2014-03-26 中山大学深圳研究院 一种自适应滤波分离的视频解码装置

Also Published As

Publication number Publication date
US20180324326A1 (en) 2018-11-08
WO2016168051A1 (en) 2016-10-20
US20160309059A1 (en) 2016-10-20
US20170318191A1 (en) 2017-11-02
US10136033B2 (en) 2018-11-20
US9736335B2 (en) 2017-08-15
US10602025B2 (en) 2020-03-24
CN107431818A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107431818B (zh) 图像数据处理方法
CN107211128B (zh) 自适应色度下采样和色彩空间转换技术
US10715816B2 (en) Adaptive chroma downsampling and color space conversion techniques
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
CN107615761B (zh) 用于像素处理和编码的方法、设备和计算机可读介质
US20090175338A1 (en) Methods and Systems for Inter-Layer Image Prediction Parameter Determination
CN110881126B (zh) 色度块预测方法以及设备
US20200404339A1 (en) Loop filter apparatus and method for video coding
CN111327903A (zh) 色度块的预测方法和装置
CN112673640A (zh) 使用调色板译码的编码器、解码器和相应方法
JP2023511206A (ja) 適応ループフィルタリングのためのエンコーダ、デコーダ、および対応する方法
US11991389B2 (en) Method and apparatus for video encoding and decoding with optical flow based on boundary smoothed motion compensation
EP3641311A1 (en) Encoding and decoding methods and apparatus
CN114205582B (zh) 用于视频编解码的环路滤波方法、装置及设备
CN115516858A (zh) 视频编码中的缩放列表控制
US20230262268A1 (en) Chroma format dependent quantization matrices for video encoding and decoding
US11259054B2 (en) In-loop deblocking filter apparatus and method for video coding
WO2023155576A1 (en) Encoding/decoding video picture data
WO2023041317A1 (en) Method and apparatus for video encoding and decoding with chroma residuals sampling
WO2015193114A1 (en) Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture
WO2020260310A1 (en) Quantization matrices selection for separate color plane mode
WO2023052156A1 (en) Improving the angle discretization in decoder side intra mode derivation
EP4070547A1 (en) Scaling process for joint chroma coded blocks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant