CN107454397A - 对预测值执行色彩空间转换的图像编码/解码方法及装置 - Google Patents

对预测值执行色彩空间转换的图像编码/解码方法及装置 Download PDF

Info

Publication number
CN107454397A
CN107454397A CN201710255956.XA CN201710255956A CN107454397A CN 107454397 A CN107454397 A CN 107454397A CN 201710255956 A CN201710255956 A CN 201710255956A CN 107454397 A CN107454397 A CN 107454397A
Authority
CN
China
Prior art keywords
color space
predicted value
present
block
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710255956.XA
Other languages
English (en)
Other versions
CN107454397B (zh
Inventor
陈立恒
吴东兴
周汉良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN107454397A publication Critical patent/CN107454397A/zh
Application granted granted Critical
Publication of CN107454397B publication Critical patent/CN107454397B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种用于编码图像的图像编码方法，包含如下步骤：从当前编码区块的多个候选编码模式中决定一选择的编码模式，其中在该图像中包含的该当前编码区块包含多个像素；以及依据至少该决定的编码模式来编码该当前编码区块为比特流的一部分。该编码当前编码区块的步骤包含：依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值；转换在该第一色彩空间中存在的该第一预测值为在该第二色彩空间中存在的第二预测值，其中该第二色彩空间与该第一色彩空间不同；以及依据至少该第二预测值在该第二色彩空间编码该当前编码区块。

Description

对预测值执行色彩空间转换的图像编码/解码方法及装置
优先权声明
本申请主张在2016年4月20日提出申请的美国临时专利申请第62/324,995号的权利，且上述美国专利申请以引用方式并入本文中。
技术领域
本发明的实施例与图像编码以及图像解码相关，更具体来说，与具有针对预测值(predictor)的色彩空间转换的图像编码方法与装置以及相关的图像解码方法与装置相关。
背景技术
在第一芯片与第二芯片之间设置的显示接口从第一芯片传输显示数据至第二芯片来进行进一步的处理。举例来说，第一芯片是主机应用处理器(AP)，第二芯片是驱动集成电路(IC)。当显示屏幕指示较高显示分辨率时，具有较高分辨率的2D/3D显示可以实现。因此，通过显示接口传输的显示数据将具有一较大的数据尺寸/数据率，其将不可避免地增加显示接口的功率消耗。如果主机应用处理器与驱动IC都位于相同的由一电池装置供电的可携带装置(例如智能手机)内，电池的寿命将由于显示接口的功率消耗的增加而缩短。因此，需要一种能够有效减少经由显示接口传输的显示数据的数据尺寸/数据率以及显示接口功率消耗的数据压缩设计。
发明内容
依据本发明的实施例，提供具有针对预测值执行的色彩空间转换的图像编码方法与装置以及相关的解码方法与装置。
本发明之第一实施例提供一种图像编码方法，用于编码图像。该图像编码方法包含：从当前编码区块的多个候选编码模式中决定一个选择的编码模式，其中在该图像中包含的该当前编码区块包含多个像素；以及依据至少该决定的编码模式来编码该当前编码区块为比特流(bitstream)的一部分。其中依据至少该决定的编码模式来编码该当前编码区块为比特流的一部分包含：依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值；转换在该第一色彩空间中存在的该第一预测值为在该第二色彩空间中存在的第二预测值，其中该第二色彩空间与该第一色彩空间不同；以及依据至少该第二预测值在该第二色彩空间编码该当前编码区块。
本发明之第二实施例提供一种图像解码方法，用于解码产生自编码图像的比特流，该图像解码方法包含：获得用于编码在该比特流中的该图像的当前编码区块的第二色彩空间以及编码模式，其中在该图像中的该当前编码区块包含多个像素；以及至少依据该获得的编码模式解码该当前编码区块为解码的图像的一部分。其中至少依据该获得的编码模式解码该当前编码区块为解码的图像的一部分的步骤包含：依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值，其中该第二色彩空间与该第一色彩空间不同；转换在该第一色彩空间中存在的该第一预测值为在该第二色彩空间中存在的第二预测值；以及依据至少该第二预测值在该第二色彩空间解码该当前编码区块。
本发明之第三实施例提供一种图像编码器，用于编码图像，包含：模式决定电路，用于从当前编码区块的多个候选编码模式中决定一个选择的编码模式，其中在该图像中包含的该当前编码区块包含多个像素；以及压缩电路，用于依据至少该决定的编码模式来编码该当前编码区块为比特流的一部分，其中该压缩电路依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值，转换在该第一色彩空间中存在的该第一预测值为在该第二色彩空间中存在的第二预测值，以及依据至少该第二预测值在该第二色彩空间编码该当前编码区块，其中该第二色彩空间与该第一色彩空间不同。
本发明之第四实施例提供一种图像解码器，用于解码产生自编码图像的比特流，包含：熵解码电路，用于获得用于编码在该比特流中的该图像的当前编码区块的第二色彩空间以及编码模式，其中在该图像中的该当前编码区块包含多个像素；以及处理电路，用于至少依据该获得的编码模式解码该当前编码区块为解码的图像的一部分，其中该处理电路依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值，转换在该第一色彩空间中存在的该第一预测值为在该第二色彩空间中存在的第二预测值，以及依据至少该第二预测值在该第二色彩空间解码该当前编码区块，其中该第二色彩空间与该第一色彩空间不同。
本发明提出了一种新型的预测值计算机制，能够减少在一个指定的色彩空间中存在的预测值的计算复杂度。
本领域具有通常知识者在阅读了本发明之以多种图示所描述之具体实施例之说明之后，将了解本发明的上述以及其他目的。
附图说明
图1为依据本发明的实施例的图像编码器的方框示意图。
图2为依据本发明的实施例的第一编码操作的流程图。
图3为依据本发明的实施例的用于计算当前编码区块的中间值的先前像素行的示意图。
图4为依据本发明的实施例的用于计算当前编码区块的中间值的先前编码区块的示意图。
图5为依据本发明的实施例的MPP模式编码流程的流程图。
图6为依据本发明的实施例的在YCoCg色彩空间中产生一个编码区块的Y信道、Co信道、以及Cg信道的平均值的举例说明。
图7为依据本发明的实施例的编码区块的语法元素的示意图。
图8为依据本发明的实施例的第二编码操作的流程图。
图9是依据本发明的实施例的在YCoCg色彩空间中产生一个编码区块的Y信道、Co信道、以及Cg信道的平均值的另一举例说明。
图10依据本发明的实施例的MPPF模式编码流程的流程图。
图11为依据本发明的实施例的图像解码器的方框示意图。
图12为依据本发明的实施例的MPP模式/MPPF模式解码流程的流程图。
图13是依据本发明的实施例由图像解码器的处理电路实施的第一预测值计算机制的示意流程图。
图14是依据本发明的实施例由图像解码器的处理电路实施的第二预测值计算机制的示意流程图。
具体实施方式
在说明书通篇和所附权利要求中使用某些术语以指代特定部件。本领域技术人员将理解，制造者可通过不同名称来指代一部件。本文档不旨在区分名称不同但功能相同的部件。在以下描述中和在权利要求书中，以开放的形式使用术语“包括”和“包含”，并从而应当将它们解释为表示“包括，但不限于……”。而且，术语“耦合”旨在表示间接或直接电连接。因此，如果一个设备电连接至另一设备，该连接可以是通过直接电连接，或通过经由其它设备和连接的间接电连接。
图1是依据本发明的实施例的图像编码器的方框示意图。在这个实施例中，图像编码器100是视频电子标准协会(Video Electronics Standards Association，VESA)高级显示流压缩(Advanced Display Stream Compression，A-DSC)编码器。然而，这仅仅用来举例说明，而并非是本发明的一个限制。具体来说，任何使用所提出的色彩转换的预测值来计算编码区块(或称为编码单元)的像素的残差的图像编码器将都落入本发明的范围之内。图像编码器100用来编码/压缩一源图像IMG为比特流BSIMG。在这个实施例中，图像编码器100包含源缓冲器102、模式决定电路104、压缩电路106、重建缓冲器108、平整度侦测电路110以及率控制器112。压缩电路106包含处理电路114以及熵编码电路116，其中处理电路114是设置来执行一些编码功能，包含预测、量化、重建等等。源缓冲器102用来缓冲将编码/压缩的源图像IMG的像素数据。平整度侦测电路110用来侦测从源图像IMG的非平整区域至源图像IMG的平整区域的转换。具体来说，平整度侦测电路110根据先前、当前以及下一编码区域的复杂度估计来分类每一编码区块为不同的平整度类型，其中该多个平整度类型影响率控制机制。因此，平整度侦测电路110产生量化参数(QP)调整信号至率控制器112，并也输出平整度指示至熵编码电路116，每一编码区块的平整度类型是通过比特流BSIMG直接信号通知图像解码器。率控制器112设置为适应性地控制量化参数，从而该图像质量能够最大化同时满足所需的比特率。
源图像IMG可分割为多个切片(slice)，其中每一切片可以分别独立编码。此外，每一切片具有多个编码区块(或者称为编码单元)，每一编码区块具有多个像素。每一编码区块(编码单元)是基本压缩单元。举例来说，依据VESAA-DSC，每一编码区块(编码单元)具有8X2像素，其中8是编码区块(编码单元)的宽度，2是编码区块(编码单元)的高度。模式决定电路104设置为从将要编码的当前编码区块(例如8X2区块)的多个候选编码模式选择编码模式(例如最佳模式)MODE。依据VESA A-DSC，候选编码模式被分类为常规模式(例如转换模式、区块预测模式、模型模式、增量脉码调制模式(delta pulse code modulation(DPCM)mode)以及中值预测模式(mid-point prediction(MPP)mode))以及回馈模式(例如中值预测回馈模式(mid-point prediction fallback(MPPF)mode)以及预测跳过模式(BlockerPredictor(BP)Skip”mode))。率失真优化机制(rate-distortion optimization(RDO)mechanism)被模式决定电路104采用来选择具有最小率失真成本(rate-distortion cost(R-D cost))的编码模式作为最佳模式MODE来编码当前编码区块。此外，模式决定电路104通知处理电路114该最佳模式MODE。
当最佳模式是MPP模式或者MPPF模式，由处理电路114计算预测值，由处理电路114经由从当前编码区块的每一像素减去预测值(即残差8x2＝源像素8x2-预测值)来计算的当前编码区块的残差，并且当前编码区块的残差由处理电路114通过量化器来量化。
MPP模式使用中间值(MP)作为预测值。MPP模式的残差是通过一个简单的2的幂次量化器来量化。对于每一像素，在量化程序之后移除k个最后指示比特，其中k是通过量化参数来计算。MPP模式的量化程序可使用如下的等式来表达：
在上面的等式(1)中，“RESquantized”代表量化的残差，“res”代表残差，并且“round”代表舍位值。
MPPF模式是设计为保证精确的率-控制机制。与MPP模式相同，MPPF模式使用中间值(MP)作为预测值。MPPF模式的残差是通过一比特量化值来量化。换言之，量化的残差是每一色彩通道采样使用1比特来编码。因此，当前编码区块(例如8X2区块)具有48比特，即，16像素*(1比特/色彩通道)*(3色彩通道/像素)。
当最佳模式是MPP模式或者MPPF模式时，处理电路114输出当前编码区块的量化的残差至熵编码电路116。熵编码电路116编码当前编码区块的量化的残差至比特流BSIMG的一部分。
重建缓冲器108设置为存储在源图像IMG中的一些或者所有编码区块的重建像素。举例来说，处理电路114基于当前编码区块的量化的残差来执行逆量化，以产生当前编码区块的逆量化的残差，并且接着在每一逆量化残差上加上预测值来产生当前编码区块的一个对应的重建的像素。当前编码区块的相邻重建像素可以从重建缓冲器108中读出，来计算使用MPP/MPPF模式编码的当前编码区块的预测值。
提出了MPP模式的一种改进。具体来说，具有色彩-空间RDO的MPP模式可以用来在多个色彩空间(例如RGB色彩空间以及YCoCg色彩空间)中的一个来编码编码区块。为了决定选择RGB色彩空间还是YCoCg色彩空间来在MPP模式(即具有色彩-空间RDO的MPP模式)下编码编码区块，在RGB色彩空间中存在的一个预测值以及在YCoCg色彩空间中存在的一个预测值都需要被计算。
图2是依据本发明的实施例的第一编码操作的流程图。在图2中所示的第一编码操作是由图1中所示的压缩电路106执行。在步骤201，计算RGB色彩空间的中间值来决定当前编码区块在RGB空间中的预测值。该中间值是通过一个固定的值(如果用于计算当前编码区块的中间值所需的相邻重建像素不可用时)来设置，或者是通过相邻重建像素来计算(如果用于计算当前编码区块的中间值所需的相邻重建像素可用时)。
在第一个示例设计中，用于计算当前编码区块的中间值的相邻重建像素是位于一先前像素行(previous pixel line)，如图3所示。当前编码区块BKCUR是一个包含16个像素的8x2区块，其中8是当前编码区块BKCUR的宽度，并且2是当前编码区块BKCUR的高度。如果当前编码区块BKCUR是在源图像IMG中一个非第一行(non-first-row)区块，可以从一个先前像素行LPRE的多个像素的重建产生多个重建像素，其中该向前像素行LPRE是直接位于当前编码区块BKCUR的最上像素行之上。假设重建的像素是在RGB色彩空间中存在。对于RGB色彩空间中的每一色彩通道(R、G或B)，计算先前像素行LPRE的多个重建像素的平均值(MP’R、MP’G或MP’B)作为在该色彩通道中的初始预测值。在一个示例设计中，包含在RGB色彩域中存在的平均值(MP’R、MP’G、MP’B)的初始预测值可直接作为编码当前编码区块BKCUR的最终预测值。因此，当前编码区块BKCUR的预测值(MPR、MPG、MPB)是通过在RGB色彩空间中获得的(MP’R、MP’G、MP’B)来设定。在一个替换设计中，针对RGB色彩空间中一个色彩通道(R、G或B)中的每一个平均值(MP’R、MP’G或MP’B)，可执行一个处理操作(例如执行剪切、舍位(round)、以及/或者增加基于QP计算的一数值的操作)来产生一个处理的平均值(例如剪切的/舍位的/增加数值的平均值)作为在每一色彩空间中的最终的预测值(MPR、MPG或MPB)。因此，当前编码区块BKCUR的一个预测值是通过在RGB色彩空间中存在的(MPR、MPG、MPB)来设定。
然而，如果当前编码区块BKCUR是源图像IMG的第一行区块，这意味着在先前像素行LPRE的重建像素不存在。因此，输入像素的动态范围的半值(half value)直接作为当前编码区块BKCUR的预测值来使用。对于一个8比特输入源，当前编码区块BKCUR的预测值(MPR、MPG、MPB)是通过(128、128、128)来设定。对于10比特输入源，当前编码区块BKCUR的预测值(MPR、MPG、MPB)是通过(512、512、512)来设定。
在第二示例性设计中，当前编码区块的中间值的计算所需的相邻重建像素是位于一个先前编码区块中，如图4所示。当前编码区块BKCUR是一个包含16个像素的8x2的区块，其中8是当前编码区块BKCUR的宽度，并且2是当前编码区块BKCUR的高度。如果当前编码区块BKCUR不是源图像IMG中的第一列区块，重建像素可以从先前编码区块BKPRE(其也是一个包含16个像素的8X2区块，其中8是先前编码区块BKPRE的宽度，2是先前编码区块BKPRE的高度)的多个像素的重建产生。先前编码区块BKPRE是当前编码区块BKCUR的一个左侧编码区块。假设这些重建像素是在RGB色彩空间中。对于RGB色彩空间的每一色彩通道(R、G或B)，计算先前编码区块BKPRE的多个重建像素的平均值(MP’R、MP’G或MP’B)作为在该色彩通道中的初始预测值。在一个示例设计中，包含在RGB色彩域中存在的平均值(MP’R、MP’G、MP’B)的初始预测值可直接作为编码当前编码区块BKCUR的最终预测值。因此，当前编码区块BKCUR的预测值(MPR、MPG、MPB)是通过在RGB色彩空间中获得的(MP’R、MP’G、MP’B)来设定。在一个替换设计中，针对RGB色彩空间中一个色彩通道(R、G或B)中的每一个平均值(MP’R、MP’G或MP’B)，可执行一个处理操作(例如执行剪切、舍位、以及/或者增加基于QP计算的一数值的操作)来产生一个处理的平均值(例如剪切的/舍位的/增加数值的平均值)作为在每一色彩空间中的最终的预测值(MPR、MPG或MPB)。因此，当前编码区块BKCUR的一个预测值是通过在RGB色彩空间中存在的(MPR、MPG、MPB)来设定。
然而，如果当前编码区块BKCUR是源图像IMG的第一列区块，这意味着在先前编码区块BKPRE的重建像素不存在。因此，输入像素的动态范围的半值(half value)直接作为当前编码区块BKCUR的预测值来使用。对于一个8比特输入源，当前编码区块BKCUR的预测值(MPR、MPG、MPB)是通过(128、128、128)来设定。对于10比特输入源，当前编码区块BKCUR的预测值(MPR、MPG、MPB)是通过(512、512、512)来设定。
在计算RGB色彩域中的MPP模式预测值之后，执行步骤202来编码在RGB色彩空间中的当前编码区块的像素。图5是依据本发明的实施例的MPP模式编码程序的示例流程图。步骤202可以使用如图5所示的流程来实现。在步骤502中，处理电路114依据当前编码区块(例如源像素8x2)以及预测值(例如预测值＝(MPR,MPG,MPB))来获得残差(例如残差8x2)。举例来说，残差8x2＝源像素8x2-预测值。在步骤504，处理电路114通过一个简单2的幂次的量化器执行残差量化。因此，产生在RGB色彩空间中存在的量化残差。在步骤506中，熵编码电路116针对在RGB色彩空间中存在的量化的残差执行熵编码。此外，在步骤508，处理电路114依据量化的残差执行重建流程，并且据此产生在RGB色彩空间中的一个重建的编码区块BKrec。
在步骤203，处理电路114计算在RGB色彩空间中存在的源编码区块BKS(即将要编码的当前编码区块)以及在RGB色彩空间中存在的重建编码区块BKrec之间失真(distortion)DRGB。
如上所述，为了决定选择RGB色彩空间还是YCoCg色彩空间来在改进的MPP模式(即具有色彩空间RDO的MPP模式)下编码一个编码区块，需要计算在RGB色彩空间中存在的一个预测值以及在YCoCg色彩空间中存在的一个预测值。在步骤204，计算在YCoCg色彩空间中的中间值，来决定对于相同的当前编码区块在YCoCg色彩空间中的预测值。在RGB色彩空间中的预测值的计算与在YCoCg色彩空间中的预测值的计算相似。该中间值是通过一个固定值设定(如果用于计算当前编码区块的中间值所需的在YCoCg色彩空间中存在的相邻重建像素不可获得)，或者是从相邻重建像素计算(如果用于计算当前编码区块的中间值所需的在YCoCg色彩空间中存在的相邻重建像素可获得)。
在步骤204，当前编码区块的中间值的计算所需的相邻重建像素可位于如图3所示的先前像素行，或者位于如图4所示的先前编码区块。假设用于计算在YCoCg色彩空间中存在的预测值的相邻重建像素在RGB色彩空间中可获得。因此，可执行色彩空间转换来转换在RGB色彩空间中存在的相邻重建像素为在YCoCg色彩空间中存在的相邻重建像素。在获得了在YCoCg色彩空间中存在的相邻重建像素之后，依据在YCoCg色彩空间中存在的相邻重建像素在YCoCg色彩空间中计算当前编码区块的预测值。
举例来说，用于计算当前编码区块的中间值所需的相邻重建像素是位于一个先前像素行，如图3所示。当前编码区块BKCUR是一个包含16个像素的8x2区块。如果当前编码区块BKCUR是在源图像IMG中一个非第一行(non-first-row)区块，先前像素行LPRE的多个重建像素可能在RGB色彩空间中存在，并且可转换至YCoCg色彩空间来计算YCoCg色彩空间中的预测值，其中该先前像素行LPRE是直接位于当前编码区块BKCUR的最上像素行之上。对于YCoCg色彩空间中的每一色彩通道(Y、Co或Cg)，计算先前像素行LPRE的多个色彩转换的重建像素的平均值(MP’Y、MP’Co或MP’Cg)作为在该色彩通道中的初始预测值。在一个示例设计中，包含在YCoCg色彩域中存在的平均值(MP’Y,MP’CCo,MP’Cg)的初始预测值可直接作为编码当前编码区块BKCUR的最终预测值。因此，当前编码区块BKCUR的预测值(MPY,MPCo,MPCg)是通过在YCoCg色彩空间中获得的(MP’Y,MP’Co,MP’Cg)来设定。在一个替换设计中，针对YCoCg色彩空间中一个色彩通道(Y、Co或Cg)中的每一个平均值(MP’Y、MP’Co或MP’Cg)，可执行一个处理操作(例如执行剪切、舍位、以及/或者增加基于QP计算的一数值的操作)来产生一个处理的平均值(例如剪切的/舍位的/增加数值的平均值)作为在每一色彩空间中的最终的预测值(MPY、MPCo或MPCg)。因此，当前编码区块BKCUR的一个预测值是通过在YCoCg色彩空间中获得的(MPY,MPCo,MPCg)来设定。然而，如果当前编码区块BKCUR是源图像IMG的第一行区块，这意味着在先前像素行LPRE的重建像素不存在。因此，输入像素的动态范围的半值直接作为当前编码区块BKCUR的预测值来使用。对于一个8比特YCoCg格式，当前编码区块BKCUR的预测值(MPY,MPCo,MPCg)是通过(128,0,0)来设定。对于10比特YCoCg格式，当前编码区块BKCUR的预测值(MPY,MPCo,MPCg)是通过(512,0,0)来设定。
在另一个例子中，当前编码区块的中间值的计算所需的相邻重建像素是位于一个先前编码区块中，如图4所示。当前编码区块BKCUR是一个包含16个像素的8x2的区块。如果当前编码区块BKCUR不是源图像IMG中的第一列区块，先前编码区块BKPRE(其是当前编码区块BKCUR的左侧编码区块)的重建像素可存在于RGB色彩空间并且转换至YCoCg色彩空间来计算在YCoCg色彩空间中的预测值。对于YCoCg色彩空间的每一色彩通道(Y、Co或Cg)，计算先前编码区块BKPRE的多个重建像素的平均值(MP’Y、MP’Co或MP’Cg)作为在该色彩通道中的初始预测值。图6是依据本发明的实施例在YCoCg色彩空间中产生一个编码区块的Y信道、Co信道与Cg信道的平均值的举例说明。如图6所示，在重建像素上执行RGB-至-YCoCg转换，每一重建像素具有一个R通道采样、一个G通道采样以及一个B通道采样，来产生色彩转换的重建像素，该色彩转换的重建像素每一个都具有一个Y通道采样、一个Co通道采样以及一个Cg通道采样。举例来说，如下的RGB-至-YCoCg转换矩阵可由处理电路114实施：
在获得8x2编码区块的色彩转换的重建像素之后，基于该8x2编码区块的所有Y通道采样计算一个平均值(由平均值Y表示)，基于该8x2编码区块的所有Co通道采样计算另一个平均值(由平均值Co表示)，基于该8x2编码区块的所有Cg通道采样计算再一个平均值(由平均值Cg表示)。
在一个示例设计中，包含在YCoCg色彩域中存在的平均值(MP’Y,MP’CCo,MP’Cg)的初始预测值可直接作为编码当前编码区块BKCUR的最终预测值。因此，当前编码区块BKCUR的预测值(MPY,MPCo,MPCg)是通过在YCoCg色彩空间中获得的(MP’Y,MP’Co,MP’Cg)来设定。在一个替换设计中，在基于先前编码区块计算一个初始预测值之后，针对YCoCg色彩空间中一个色彩通道(Y、Co或Cg)中的每一个平均值(MP’Y、MP’Co或MP’Cg)，可执行一个处理操作(例如执行剪切、舍位、以及/或者增加基于QP计算的一数值的操作)来产生一个处理的平均值(例如剪切的/舍位的/增加数值的平均值)作为在每一色彩空间中的最终的预测值(MPY、MPCo或MPCg)。因此，当前编码区块BKCUR的一个预测值是通过在YCoCg色彩空间中获得的(MPY,MPCo,MPCg)来设定。然而，如果当前编码区块BKCUR是源图像IMG的第一行区块，这意味着在先前编码区块BKPRE的重建像素不存在。因此，在YCoCg色彩域中存在的像素的动态范围的半值直接作为当前编码区块BKCUR的预测值来使用。
在计算了YCoCg色彩域中的MPP模式预测值之后，执行步骤205来在YCoCg色彩空间中编码当前编码区块的像素。步骤205可使用如图5所示的相同的流程来实现。因此，关于在YCoCg色彩空间中的当前编码区块的编码，如图5所示的相同的流程可被执行以获得残差量化(步骤502与504)以及熵编码(步骤506)，并且可获得重建(步骤508)。
在步骤206，处理电路114计算在YCoCg色彩空间中存在的源编码区块BK’S(即将要编码的当前编码区块)以及在YCoCg色彩空间中存在的重建编码区块BK’rec之间失真DYCoCg。举例来说，在YCoCg色彩空间中存在的源编码区块BK’S可通过应用RGB-至-YCoCg转换至在RGB色彩空间中存在的源编码区块BKS来获得。
在步骤207，处理电路114通过比较失真DRGB与失真DYCoCg执行色彩空间决定。当DRGB不大于DYCoCg时(即DRGB≦DYCoCg)，处理电路114决定当前编码区块应在RGB色彩空间中使用MPP模式来编码。然而，当DRGB大于DYCoCg(即DRGB>DYCoCg)时，处理电路114决定当前编码区块应在YCoCg色彩空间中使用MPP模式来编码。
选择的与编码当前编码区块相关的MPP模式以及色彩空间通过比特流BSIMG信号传输至图像解码器。因此，图像解码器将知晓由图像编码器100选择的编码当前编码区块的编码模式是MPP模式，并且也知晓所选择的MPP模式在其中执行的所选择的色彩空间。图7是依据本发明的实施例一个编码区块(或者称为编码单元)的语法元素的示意图。设定模式语法(mode syntax)(1或者4比特)来信号表示当前编码区块所选择的编码模式(例如MPP模式)。设定平整度语法(1或者3比特)来信号表示当前编码区块的平整度类型。设定色彩域语法(1比特)来信号表示编码当前编码区块的色彩空间(例如RGB色彩空间或YCoCg色彩空间。MPP模式量化的残差(N比特)用来信号表示已处理的量化的残差。当前编码区块的语法元素，包含控制信息(例如模式、平整度以及色彩域)以及量化的残差，可通过熵编码电路116来熵编码。
在上面的例子中，假设相邻的重建像素是在RGB色彩空间中原始可用的。因此，针对在RGB色彩空间中存在的重建的像素执行RGB-至-YCoCg转换来获得在YCoCg色彩空间中存在的重建像素，该在YCoCg色彩空间中存在的重建像素是计算在YCoCg色彩空间中存在的预测值所需的。然而，这并非是本发明的限制。此外，在YCoCg色彩空间中的相邻重建像素可能原始是可以获得的。因此，可针对在YCoCg色彩空间中存在的重建像素执行YCoCg-to-RGB转换来获得在RGB色彩空间中存在的重建像素，该在RGB色彩空间中存在的重建像素是计算在RGB色彩空间中存在的预测值所需的。举例来说，如下的YCoCg-至-RGB转换矩阵可由处理电路114使用。
当相邻重建像素在RGB色彩空间中原始可用并且当前编码区块具有8x2个像素时，在RGB色彩空间中存在的一个预测值的推导需要一次平均值计算，并且在YCoCg色彩空间中存在的一个预测值的推导需要16次色彩转换操作以及一次平均值计算。因此，在RGB色彩空间中的存在的预测值的计算以及在YCoCg色彩空间中存在的预测值的计算的复杂度可包含16次色彩空间转换以及2次平均值计算。在另一个例子中，当相邻重建像素在YCoCg色彩空间中原始可用并且当前编码区块具有8x2个像素时，在YCoCg色彩空间中存在的一个预测值的推导需要一次平均值计算，并且在RGB色彩空间中存在的一个预测值的推导需要16次色彩转换操作以及一次平均值计算。因此，在RGB色彩空间中的存在的预测值的计算以及在YCoCg色彩空间中存在的预测值的计算的复杂度可包含16次色彩空间转换以及2次平均值计算。
为了减少在RGB色彩空间中存在的预测值的计算以及在YCoCg色彩空间中存在的一个预测值的计算的计算复杂度，本发明提供一种新型的预测值计算机制，其应用色彩空间转换至在第一色彩空间中存在的一个预测值来产生在第二色彩空间中存在的一个预测值，该第二色彩空间中与该第一色彩空间不同。举例来说，该第一色彩空间与第二色彩空间中的一个是RGB色彩空间，并且该第一色彩空间与第二色彩空间中的另一个是YCoCg色彩空间。
在一个示例性设计中，在第一色彩空间中存在的预测值可包含用于RGB色彩空间的平均值，例如(MP’R,MP’Co,MP’Cg)，或者用于YCoCg色彩空间的(MP’Y,MP’Co,MP’Cg)。因此，在第二色彩空间中存在的预测值包含色彩转换的平均值，并且可直接用作编码一个编码区块的最终的预测值。此外，在第二色彩空间中存在的色彩转换的预测值可以是初始预测值。可应用处理操作(例如剪切、舍位以及/或者增加一个依据QP计算的数值)至初始预测值的色彩转换的平均值来产生已处理的色彩转换的平均值(例如剪切的/舍位的/数值增加的色彩转换的平均值)，作为用于编码一个编码区块的最终预测值。
在另一个举例说明中，在第一色彩空间中存在的预测值可包含在可包含已处理的平均值(例如剪切的/舍位的/数值增加的平均值)。因此，在第二色彩空间中存在的色彩转换的预测值包含色彩转换的已处理的平均值(例如色彩转换的剪切的/舍位的/数值增加的平均值)，并且可直接用作编码一个编码区块的最终的预测值。
综上所述，无论从第一色彩空间转换至第二色彩空间的预测值是包含平均值还是包含已处理的平均值(例如剪切的/舍位的/数值增加的平均值)，使用一个色彩转换的预测值来间接/直接设定用于在第二色彩空间中编码一个编码区块的一个最终预测值将落入本发明的范围。本发明所提出的预测值计算机制将进一步如下详述。
图8是依据本发明的第二编码操作的流程图。在图8中所示的第二编码操作可由图1中所示的压缩电路106实现。图8中的第二编码操作与图2中所示的第一编码操作的主要差别是步骤204被步骤801取代。当当前编码区块BKCUR是如图3所示的非第一行区块时，RGB色彩空间中存在预测值可基于在RGB色彩空间中存在的并且位于先前像素行LPRE的相邻重建像素来计算。此外，当当前编码区块BKCUR是如图4所示的非第一列区块时，RGB色彩空间中存在预测值可基于在RGB色彩空间中存在的并且位于先前编码区块BKPRE的相邻重建像素来计算。在步骤201中获得的预测值(MPR,MPG,MPB)可用来获得在YCoCg色彩空间中存在预测值(MPY,MPCo,MPCg)。举例来说，预测值(MPR,MPG,MPB)可包含平均值或者可包含处理的平均值(例如剪切的/舍位的/数值增加的平均值)，这依据实际的设计需求而定。在步骤801，处理电路114针对在RGB色彩空间中存在的预测值(MPR,MPG,MPB)执行RGB-至-YCoCg转换，以产生在YCoCg色彩空间中存在的预测值(MPY,MPCo,MPCg)。举例来说，在YCoCg色彩空间中用于编码一个编码区块的最终预测值可直接通过色彩转换的预测值(MPY,MPCo,MPCg)来设定，或者可通过应用处理操作(例如剪切、舍位、以及/或者增加一个基于QP计算的数值)至色彩转换的预测值(MPY,MPCo,MPCg)来间接获得。
图9是依据本发明的实施例在YCoCg色彩空间中产生编码区块的Y信道、Co信道以及Cg信道的平均值的示意图。如图9所示，处理重建像素(每一个具有一个R通道采样、一个G通道采样以及一个B通道采样)来计算在RGB色彩空间中的编码区块的R信道、G信道以及B信道的平均值(由平均值R、平均值G以及平均值B表示)。假设在RGB色彩空间中的预测值是通过平均值(平均值R,平均值G,平均值B)来设定，针对在RGB色彩空间中存在的预测值来执行RGB-至-YCoCg转换以产生一个色彩转换的预测值，其分别具有在YCoCg色彩空间中的编码区块的Y信道、Co信道以及Cg信道平均值(以平均值Y,平均值Co,平均值Cg表示)。举例来说，在等式(2)中的上述的RGB-至-YCoCg转换矩阵可通过处理电路114实现，以从RGB色彩空间转换一个预测值至YCoCg色彩空间。
在上面的例子中，假设相邻重建像素是初始在RGB色彩空间中可用。因此，针对在RGB色彩空间中存在的预测值执行RGB-至-YCoCg转换来获得在YCoCg色彩空间中的预测值。然而，这并非是本发明的一个限制。可替换地，相邻重建像素可初始在YCoCg色彩空间中可用。因此，YCoCg-至-RGB转换可针对在YCoCg色彩空间中存在的预测值执行，来获得在RGB色彩空间中的预测值。举例来说，上述等式(3)中的YCoCg-至-RGB转换矩阵可由处理电路114实施，以从YCoCg色彩空间转换预测值至RGB色彩空间。
当相邻重建像素在RGB色彩空间中原始可用并且当前编码区块具有8x2个像素时，在RGB色彩空间中存在的一个预测值的推导需要一次平均值计算，并且在YCoCg色彩空间中存在的一个预测值的推导需要1次色彩转换操作。因此，在RGB色彩空间中的存在的预测值的计算以及在YCoCg色彩空间中存在的预测值的计算的复杂度可包含1次色彩空间转换以及1次平均值计算。在另一个例子中，当相邻重建像素在YCoCg色彩空间中原始可用并且当前编码区块具有8x2个像素时，在YCoCg色彩空间中存在的一个预测值的推导需要一次平均值计算，并且在RGB色彩空间中存在的一个预测值的推导需要1次色彩转换操作。因此，在RGB色彩空间中的存在的预测值的计算以及在YCoCg色彩空间中存在的预测值的计算的复杂度可包含1次色彩空间转换以及1次平均值计算。与图2中所示的第一编码操作所使用的预测值计算机制相比较，在图8所示的第二编码操作中所使用的预测值计算机制具有较低的计算复杂度。
与MPP模式相似，MPPF模式也使用中间值来决定预测值，该预测值用于计算一个编码区块的残差。因此，本发明所提出的预测值计算机制也可以应用于MPPF模式。举例来说，当由模式决定电路104选择的编码模式(例如最佳模式)MODE是MPPF模式时，压缩电路106可执行如图2所示的第一编码操作，其中皆在改进的MPPF模式(即具有色彩空间RDO的MPPF模式)下执行步骤202与205可使用如图10所示的流程来实现。图10是依据本发明的实施例的MPPF-模式编码程序流程图。在图10中所示的MPPF-模式编码程序与在图5中所示的MPP-模式编码程序之间的差别是MPPF模式的残差是通过1比特量化器来量化(步骤1004)，从而MPPF-模式量化的残差是每色彩通道使用1比特来编码。
当实施在改进的MPPF模式(即具有色彩空间RDO的MPPF模式)下的第一编码操作时，在RGB色彩空间中存在的一个预测值的计算与在YCoCg色彩空间中的一个预测值的计算的复杂度包含16次色彩空间转换以及2次平均操作。为了减少在RGB色彩空间中存在的预测值的计算与在YCoCg色彩空间中存在的预测值的计算的复杂度，压缩电路106可执行如图8所示的第二编码操作，其中在改进的MPPF模式(即具有色彩空间RDO的MPPF模式)下的每一步骤202与205可使用如图10所示的流程图来实现，在RGB色彩空间中存在的一个预测值与在YCoCg色彩空间中存在的一个预测值的计算复杂度可包含一次色彩转换以及一次平均值计算。
选择的与编码当前编码区块相关的MPPF模式以及色彩空间通过比特流BSIMG信号传输至图像解码器。因此，图像解码器将知晓由图像编码器100选择的编码当前编码区块的编码模式是MPPF模式，并且也知晓所选择的MPPF模式在其中执行的所选择的色彩空间。相似地，如图7所示的语法元素也可以用来信号化当前编码区块所选择编码模式(例如MPPF模式)、当前编码区块的平整度类型、用于编码当前编码区块的色彩空间(例如RGB色彩空间或者YCoCg色彩空间)以及所处理的MPPF模式的量化的残差。
如上所述，当前编码区块所选择的编码模式(例如MPP模式或者MPPF模式)以及色彩空间(例如RGB色彩空间或者YCoCg色彩空间)通过比特流IMGBS信号传输至图像解码器。在从比特流IMGBS获得当前编码区块编码所选择的编码模式(例如MPP模式或者MPPF模式)以及色彩空间(例如RGB色彩空间或者YCoCg色彩空间)之后，由于图像编码器所使用的预测值并没有通过比特流IMGBS信号传输给图像解码器，图像解码器自身需要计算预测值，该预测值被在色彩空间(例如RGB色彩空间或者YCoCg色彩空间)中所选择的编码模式(例如MPP模式或者MPPF模式)用来解码/重建在该编码区块中的像素。上述由图像编码器100实施的预测值计算机制也可以由图像解码器实现。更进一步的细节将如下详述。
图11是依据本发明的实施例的图像解码器的方框示意图。在这个实施例中，图像解码器1100是视频电子标准协会(Video Electronics Standards Association，VESA)高级显示流压缩(Advanced Display Stream Compression，A-DSC)解码器。然而，这仅仅用来举例说明，而并非是本发明的一个限制。具体来说，任何使用所提出的色彩转换预测值来计算编码区块(或称为编码单元)的像素的残差的图像解码器将都落入本发明的范围之内。图像解码器1100用来解码/解压缩比特流BSIMG为输出图像IMG’。举例来说，从图1所示的图像编码器100产生比特流BSIMG。因此，图像解码器1100产生的输出图像IMG’是一个对应在图像编码器100编码的源图像IMG的解码的图像。图像解码器1100包含解压缩电路1102与重建缓冲器1104。解压缩电路1102包含熵解码电路1106以及处理电路1108，其中处理电路1108用来执行一些解码操作，包含预测、逆量化、重建等等。输出图像IMG’可由多个切片(slice)形成，其中每一切片是独立解码的。此外，每一切片具有多个编码区块(或者称为编码单元)，每一个编码区块具有多个像素。每一编码区块(编码单元)是一个基本的解压缩单元。举例来说，依据VESA A-DSC，每一编码区块具有8x2像素。
比特流BSIMG包含每一编码区块的熵编码的控制信息(例如模式语法、平整度语法、以及色彩域语法)以及熵编码的残差数据(例如量化的残差)。熵解码电路1106可从一个比特流缓冲器(未显示)接收一个编码区块的熵编码的控制信息以及熵编码的残差数据。熵解码电路1106通过熵解码该比特流BSIMG获得控制信息(例如模式语法、平整度语法、以及色彩域语法)。举例来说，所获得的模式语法可指示当前编码区块是使用MPP模式(或者MPPF模式)在图像编码器(例如图像编码器100)编码，并且所获得的色彩域语法可指示当前编码区块在一个特定色彩空间(例如RGB色彩空间或者YCoCg色彩空间)编码。
图12是依据本发明的实施例的MPP-模式/MPPF-模式解码程序的流程图。在步骤1202，熵解码电路1106通过熵解码比特流BSIMG获得残差数据(例如量化的残差)。在步骤1204，处理电路1108针对量化的残差执行逆量化来产生当前编码区块的逆量化的残差。需注意的是，MPP-模式逆量化可与MPPF-模式逆量化不同。当所获得的模式语法指示当前编码区块是使用MPP模式(或者MPPF模式)编码时，由处理电路1108计算一个预测值(步骤1206)。在获得预测值之后，处理电路1108产生当前编码区块的重建/解码像素(步骤1208)。举例来说，处理电路1108增加一个预测值至当前编码区块的每一逆量化的残差，来产生当前编码区块的一个对应的重建/解碼像素(例如重建像素8x2＝逆量化的残差8x2+预测值)。
重建缓冲器1104用来存储输出图像IMG’的重建像素。举例来说，当当前编码区块是使用MPP/MPPF模式编码时，待解码的当前编码区块的相邻重建像素可从重建缓冲器1104中读出，并且用于计算MPP/MPPF模式所需的预测值。
上述由图像编码器100所使用的预测值计算机制也可以被图像解码器1100使用。图13是依据本发明实施例的由图像解码器1100中的处理电路1108所实施的第一预测值计算机制的流程图。当当前编码区块BKCUR(其由一个非阴影的区域表示)如图3所示的是非第一行区块时，用于预测值计算的相邻重建像素是位于先前像素行LPRE(其由阴影区域表示)。相邻重建像素可存在于RGB色彩空间，并且所获取的编码模式可指示当前编码区块是在YCoCg色彩空间中编码。因此，位于在先前像素行LPRE的相邻重建像素从RGB色彩空间转换至YCoCg色彩空间，并且在YCoCg色彩空间中存在的预测值可基于位于先前像素行LPRE的色彩转换的相邻重建像素来计算。
此外，在另一个例子中，当前编码区块BKCUR(其由一个非阴影的区域表示)如图4所示的是非第一列区块时，用于预测值计算的相邻重建像素是位于先前编码区块BKPRE(其由阴影区域表示)。相邻重建像素可存在于RGB色彩空间，并且所获取的编码模式可指示当前编码区块是在YCoCg色彩空间中编码。因此，位于先前编码区块BKPRE的相邻重建像素从RGB色彩空间转换至YCoCg色彩空间，并且在YCoCg色彩空间中存在的预测值可基于位于先前编码区块BKPRE的色彩转换的相邻重建像素来计算。基于在RGB色彩空间中存在的重建像素计算在YCoCg色彩空间中存在的预测值的举例说明如图6所示。
然而，如果当前编码区块BKCUR是输出图像IMG’的第一行区块(或者第一列区块)，这意味着在先前像素行LPRE(或先前编码区块BKPRE)中的重建像素并不存在。因此，在YCoCg色彩域中存在的动态范围的半值直接被用作当前编码区块BKCUR的预测值。
在上面的例子中，假设相邻重建像素初始存在于RGB色彩空间中，并且所获取额编码模式指示当前编码区块是使用MPP/MPPF模式在YCoCg色彩空间中编码，由步骤1302所处理的相邻重建像素是通过应用RGB-至-YCoCg转换至在RGB色彩空间中的重建像素而获得的色彩转换的重建像素。如果当前编码区块具有8x2像素，在YCoCg色彩空间中存在的一个预测值的计算复杂度包含16次色彩转换操作以及一次平均值计算操作。然而，这并非是本发明的限制。可替换地，相邻重建像素可在YCoCg色彩空间中存在，并且所获得的编码模式可指示当前编码区块是在RGB色彩空间中使用MPP/MPPF模式来编码。因此，步骤1302可修改为通过处理应用YCoCg-至-RGB转换至在YCoCg色彩空间中存在的重建像素而产生的色彩转换的重建像素而计算在RGB色彩空间中存在的预测值。如果当前编码区块具有8x2像素，在RGB色彩空间中存在的一个预测值的计算复杂度包含16次色彩转换以及1次平均值计算。
为了减少在一个指定的色彩空间中存在的预测值的计算复杂度，本发明因此提出了一种新型的预测值计算机制，其应用色彩空间转换至在第一色彩空间中存在的第一预测值，来产生在第二色彩空间中存在的第二预测值，其中该第二色彩空间与第一色彩空间不同。
在一个示例性设计中，在第一色彩空间中存在的预测值可包含平均值。因此，在第二色彩空间中存在的色彩转换的预测值是由色彩转换的平均值组成，并且可直接用作解码一个编码区块的最终预测值。此外，在第二色彩空间中存在的色彩转换的预测值可以是一个初始预测值。可执行处理功能(例如剪切、舍位、以及/或者增加一个基于QP计算的值)至初始预测值的色彩转换的平均值，来产生已处理的色彩转换的平均值(例如剪切的/舍位的/数值增加的色彩转换的平均值)作为用于解码一个编码区块的最终预测值。
在另一个示例性设计中，在第一色彩空间中存在的预测值包含已处理的平均值(例如剪切的/舍位的/数值增加的平均值)。因此，在第二色彩空间中存在的颜色转换的预测值是由颜色转换的已处理的平均值(例如颜色转换的剪切的/舍位的/数值增加的平均值)，并且可以直接用作解码一个编码区块的最终预测值。
综上所述，无论从第一色彩空间转换至第二色彩空间的预测值是由平均值组成还是由处理的平均值(例如剪切的/舍位的/数值增加的平均值)组成，使用色彩转换的预测值来间接/直接作为解码在第二色彩空间中的编码区块将落入本发明的范围。
图14是依据本发明的实施例的图像解码器1100所实施的第二预测值计算机制的流程图。当当前编码区块BKCUR如图3所示的是非第一行区块时，用于预测值计算的相邻重建像素是位于先前像素行LPRE。相邻重建像素可存在于RGB色彩空间，并且所获取的编码模式可指示当前编码区块是在YCoCg色彩空间中编码。因此，位于在先前像素行LPRE的相邻重建像素用于计算在RGB色彩空间中的预测值，并且接着该预测值从RGB色彩空间转换至YCoCg色彩空间，以产生在YCoCg色彩空间中存在的预测值(步骤1404)。在这种情况下，在RGB色彩空间中存在的预测值是由平均值组成或者是由处理的平均值(例如剪切的/舍位的/数值增加的平均值)组成，这依据实际的设计需要而定。此外，用于在YCoCg色彩空间中解码一个编码区块的最终预测值可以通过色彩转换的预测值来直接设定，或者通过应用处理操作(例如剪切/舍位以及/或者增加一个基于QP计算的数值)至色彩转换的预测值而间接获得。
此外，在另一个例子中，当前编码区块BKCUR如图4所示的是非第一列区块时，用于预测值计算的相邻重建像素是位于先前编码区块BKPRE。相邻重建像素可存在于RGB色彩空间，并且所获取的编码模式可指示当前编码区块是在YCoCg色彩空间中编码。因此，位于先前编码区块BKPRE的相邻重建像素用于计算在RGB色彩空间中存在的预测值，并且该在RGB色彩空间中存在的预测值从RGB色彩空间转换至YCoCg色彩空间，一产生在YCoCg色彩空间中存在的预测值(步骤1404)。在这种情况下，在RGB色彩空间中存在的预测值是由平均值组成或者是由处理的平均值(例如剪切的/舍位的/数值增加的平均值)组成，这依据实际的设计需要而定。此外，用于在YCoCg色彩空间中解码一个编码区块的最终预测值可以通过色彩转换的预测值来直接设定，或者通过应用处理操作(例如剪切/舍位以及/或者增加一个基于QP计算的数值)至色彩转换的预测值而间接获得。基于在RGB色彩空间中存在的重建像素计算在YCoCg色彩空间中存在的预测值的举例说明如图9所示。
然而，如果当前编码区块BKCUR是输出图像IMG’的第一行区块(或者第一列区块)，这意味着在先前像素行LPRE(或先前编码区块BKPRE)中的重建像素并不存在。因此，在YCoCg色彩域中存在的动态范围的半值直接被用作当前编码区块BKCUR的预测值。
在上面的例子中，假设相邻重建像素是原始存在于RGB色彩空间中，并且所获得的编码模式指示当前编码区块是使用MPP/MPPF模式在YCoCg色彩空间中编码。因此，在RGB色彩空间中存在的预测值转换至YCoCg色彩空间来产生在YCoCg色彩空间中存在的预测值。在YCoCg色彩空间存在一个预测值的计算复杂度包含一次平均值计算以及一次色彩转换操作。然而，这并非是本发明的限制。此外，相邻重建像素可能原始存在于YCoCg色彩空间，并且所获得的编码模式可能指示当前编码区块是使用MPP/MPPF模式在RGB色彩空间中编码。因此，步骤1402可修正为计算在YCoCg色彩空间中存在的预测值并且接着将在YCoCg色彩空间中的预测值转换为在RGB色彩空间中的预测值。在RGB色彩空间存在一个预测值的计算复杂度包含一次平均值计算以及一次色彩转换操作。
本发明能够以其他具体的形式实现而不背离本发明的精神与特点。所描述的实施例仅仅用来举例说明，而并非是本发明的限制。本发明的范围，由请求保护的范围所指示，而并非仅限于上述实施例。与请求保护的范围等同含义的变型皆包含在其范围之内。

Claims (24)

1.一种图像编码方法，用于编码图像，包含：
从当前编码区块的多个候选编码模式中决定一个选择的编码模式，其中在该图像中包含的该当前编码区块包含多个像素；以及
依据至少该决定的编码模式来编码该当前编码区块为比特流的一部分，包含：
依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值；
转换在该第一色彩空间中存在的该第一预测值为在该第二色彩空间中存在的第二预测值，其中该第二色彩空间与该第一色彩空间不同；以及
依据至少该第二预测值在该第二色彩空间编码该当前编码区块。
2.根据权利要求1所述的图像编码方法，其特征在于，其中依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值包含：
计算该多个重建像素的每一色彩通道的平均值；以及
依据该多个重建像素的多个色彩通道的多个平均值产生该第一预测值。
3.根据权利要求1所述的图像编码方法，其特征在于，
该多个重建像素是从先前编码区块的多个像素的重建产生的，其中该先前编码区块是该当前编码区块的左侧编码区块；或者
该重建像素是从位于先前像素行的多个像素的重建产生的，其中该先前像素行是直接位于该当前编码区块的最上像素行之上。
4.根据权利要求1所述的图像编码方法，其特征在于，该第一色彩空间与该第二色彩空间中的一个是RGB色彩空间，并且该第一色彩空间与该第二色彩空间中的另一个是YCoCg色彩空间。
5.根据权利要求1所述的图像编码方法，其特征在于，该决定的编码模式是视频电子标准协会高级显示流压缩中间值预测模式或者视频电子标准协会高级显示流压缩中间值预测回馈模式。
6.根据权利要求1所述的图像编码方法，其特征在于，进一步包含：该第二色彩空间中存在的该第二预测值通过剪切、舍位以及/或者增加数值的处理操作而转换为最终预测值；以及该依据至少该第二预测值在该第二色彩空间编码该当前编码区块的步骤进一步包含：依据至少该最终预测值在该第二色彩空间编码该当前编码区块。
7.一种图像解码方法，用于解码产生自编码图像的比特流，包含：
获得用于编码在该比特流中的该图像的当前编码区块的第二色彩空间以及编码模式，其中在该图像中的该当前编码区块包含多个像素；以及
至少依据该获得的编码模式解码该当前编码区块为解码的图像的一部分，包含：
依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值，其中该第二色彩空间与该第一色彩空间不同；
转换在该第一色彩空间中存在的该第一预测值为在该第二色彩空间中存在的第二预测值；以及
依据至少该第二预测值在该第二色彩空间解码该当前编码区块。
8.根据权利要求7所述的图像解码方法，其特征在于，其中依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值包含：
计算该多个重建像素的每一色彩通道的平均值；以及
依据该多个重建像素的多个色彩通道的多个平均值产生该第一预测值。
9.根据权利要求7所述的图像解码方法，其特征在于，该多个重建像素是从先前编码区块的多个像素的重建产生的，其中该先前编码区块是该当前编码区块的左侧编码区块；或者
该重建像素是从位于先前像素行的多个像素的重建产生的，其中该先前像素行是直接位于该当前编码区块的最上像素行之上。
10.根据权利要求7所述的图像解码方法，其特征在于，该第一色彩空间与该第二色彩空间中的一个是RGB色彩空间，并且该第一色彩空间与该第二色彩空间中的另一个是YCoCg色彩空间。
11.根据权利要求7所述的图像解码方法，其特征在于，该决定的编码模式是视频电子标准协会高级显示流压缩中间值预测模式或者视频电子标准协会高级显示流压缩中间值预测回馈模式。
12.根据权利要求7所述的图像解码方法，其特征在于，进一步包含：该第二色彩空间中存在的该第二预测值通过剪切、舍位以及/或者增加数值的处理操作而转换为最终预测值；以及该依据至少该第二预测值在该第二色彩空间解码该当前编码区块的步骤进一步包含：依据至少该最终预测值在该第二色彩空间解码该当前编码区块。
13.一种图像编码器，用于编码图像，包含：
模式决定电路，用于从当前编码区块的多个候选编码模式中决定一个选择的编码模式，其中在该图像中包含的该当前编码区块包含多个像素；以及
压缩电路，用于依据至少该决定的编码模式来编码该当前编码区块为比特流的一部分，其中该压缩电路依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值，转换在该第一色彩空间中存在的该第一预测值为在该第二色彩空间中存在的第二预测值，以及依据至少该第二预测值在该第二色彩空间编码该当前编码区块，其中该第二色彩空间与该第一色彩空间不同。
14.根据权利要求13所述的图像编码器，其特征在于，其中该压缩电路计算该多个重建像素的每一色彩通道的平均值，以及依据该多个重建像素的多个色彩通道的多个平均值产生该第一预测值。
15.根据权利要求13所述的图像编码器，其特征在于：
该多个重建像素是从先前编码区块的多个像素的重建产生的，其中该先前编码区块是该当前编码区块的左侧编码区块；或者
该重建像素是从位于先前像素行的多个像素的重建产生的，其中该先前像素行是直接位于该当前编码区块的最上像素行之上。
16.根据权利要求13所述的图像编码器，其特征在于：
该第一色彩空间与该第二色彩空间中的一个是RGB色彩空间，并且该第一色彩空间与该第二色彩空间中的另一个是YCoCg色彩空间。
17.根据权利要求13所述的图像编码器，其特征在于，该决定的编码模式是视频电子标准协会高级显示流压缩中间值预测模式或者视频电子标准协会高级显示流压缩中间值预测回馈模式。
18.根据权利要求13所述的图像编码器，其特征在于，进一步包含：该第二色彩空间中存在的该第二预测值通过剪切、舍位以及/或者增加数值的处理操作而转换为最终预测值；以及该压缩电路依据至少该最终预测值在该第二色彩空间编码该当前编码区块。
19.一种图像解码器，用于解码产生自编码图像的比特流，包含：
熵解码电路，用于获得用于编码在该比特流中的该图像的当前编码区块的第二色彩空间以及编码模式，其中在该图像中的该当前编码区块包含多个像素；以及
处理电路，用于至少依据该获得的编码模式解码该当前编码区块为解码的图像的一部分，其中该处理电路依据在第一色彩空间中存在的多个重建像素决定在该第一色彩空间中存在的第一预测值，转换在该第一色彩空间中存在的该第一预测值为在该第二色彩空间中存在的第二预测值，以及依据至少该第二预测值在该第二色彩空间解码该当前编码区块，其中该第二色彩空间与该第一色彩空间不同。
20.根据权利要求19所述的图像解码器，其特征在于，该处理电路计算该多个重建像素的每一色彩通道的平均值，并且依据该多个重建像素的多个色彩通道的多个平均值产生该第一预测值。
21.根据权利要求19所述的图像解码器，其特征在于：
该多个重建像素是从先前编码区块的多个像素的重建产生的，其中该先前编码区块是该当前编码区块的左侧编码区块；或者
该重建像素是从位于先前像素行的多个像素的重建产生的，其中该先前像素行是直接位于该当前编码区块的最上像素行之上。
22.根据权利要求19所述的图像解码器，其特征在于：该第一色彩空间与该第二色彩空间中的一个是RGB色彩空间，并且该第一色彩空间与该第二色彩空间中的另一个是YCoCg色彩空间。
23.根据权利要求19所述的图像解码器，其特征在于：该决定的编码模式是视频电子标准协会高级显示流压缩中间值预测模式或者视频电子标准协会高级显示流压缩中间值预测回馈模式。
24.根据权利要求19所述的图像解码器，其特征在于，进一步包含：该第二色彩空间中存在的该第二预测值通过剪切、舍位以及/或者增加数值的处理操作而转换为最终预测值；以及该处理电路依据至少该最终预测值在该第二色彩空间解码该当前编码区块。
CN201710255956.XA 2016-04-20 2017-04-19 对预测值执行色彩空间转换的图像编码/解码方法及装置 Expired - Fee Related CN107454397B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662324995P 2016-04-20 2016-04-20
US62/324,995 2016-04-20
US15/480,394 2017-04-06
US15/480,394 US20170310969A1 (en) 2016-04-20 2017-04-06 Image encoding method and apparatus with color space transform performed upon predictor and associated image decoding method and apparatus

Publications (2)

Publication Number Publication Date
CN107454397A true CN107454397A (zh) 2017-12-08
CN107454397B CN107454397B (zh) 2019-12-20

Family

ID=60089911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710255956.XA Expired - Fee Related CN107454397B (zh) 2016-04-20 2017-04-19 对预测值执行色彩空间转换的图像编码/解码方法及装置

Country Status (3)

Country Link
US (1) US20170310969A1 (zh)
CN (1) CN107454397B (zh)
TW (1) TWI639331B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114930841A (zh) * 2020-01-10 2022-08-19 Lg 电子株式会社 用于亮度分量和色度分量的基于bdpcm的图像解码方法及其装置
CN115022627A (zh) * 2022-07-01 2022-09-06 光线云(杭州)科技有限公司 一种针对绘制中间图像的高压缩比的无损压缩方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10798399B1 (en) * 2017-12-11 2020-10-06 Amazon Technologies, Inc. Adaptive video compression
WO2020156534A1 (en) * 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and intra block copy
CN113383547A (zh) 2019-02-01 2021-09-10 北京字节跳动网络技术有限公司 环路整形和帧间编解码工具之间的相互作用
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
WO2020192614A1 (en) 2019-03-23 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
JP7436680B2 (ja) * 2020-01-05 2024-02-22 北京字節跳動網絡技術有限公司 映像コーディングのための一般制約情報

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101352046A (zh) * 2006-07-04 2009-01-21 三星电子株式会社 图像编码/解码方法与装置
US20090175536A1 (en) * 2004-01-05 2009-07-09 Srinivas Gutta Ambient light derived from video content by mapping transformations through unrendered color space
US20140294089A1 (en) * 2012-10-03 2014-10-02 Broadcom Corporation Hybrid Transform-Based Compression
CA2939434A1 (en) * 2014-03-04 2015-09-11 Microsoft Techology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
CN105264888A (zh) * 2014-03-04 2016-01-20 微软技术许可有限责任公司 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5101522B2 (ja) * 2006-01-13 2012-12-19 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 適応色空間変換を用いた画像符号化
US9514357B2 (en) 2012-01-12 2016-12-06 Kofax, Inc. Systems and methods for mobile image capture and processing
US10244255B2 (en) * 2015-04-13 2019-03-26 Qualcomm Incorporated Rate-constrained fallback mode for display stream compression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175536A1 (en) * 2004-01-05 2009-07-09 Srinivas Gutta Ambient light derived from video content by mapping transformations through unrendered color space
CN101352046A (zh) * 2006-07-04 2009-01-21 三星电子株式会社 图像编码/解码方法与装置
US20140294089A1 (en) * 2012-10-03 2014-10-02 Broadcom Corporation Hybrid Transform-Based Compression
CA2939434A1 (en) * 2014-03-04 2015-09-11 Microsoft Techology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
CN105264888A (zh) * 2014-03-04 2016-01-20 微软技术许可有限责任公司 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114930841A (zh) * 2020-01-10 2022-08-19 Lg 电子株式会社 用于亮度分量和色度分量的基于bdpcm的图像解码方法及其装置
CN115022627A (zh) * 2022-07-01 2022-09-06 光线云(杭州)科技有限公司 一种针对绘制中间图像的高压缩比的无损压缩方法和装置

Also Published As

Publication number Publication date
US20170310969A1 (en) 2017-10-26
CN107454397B (zh) 2019-12-20
TW201739245A (zh) 2017-11-01
TWI639331B (zh) 2018-10-21

Similar Documents

Publication Publication Date Title
CN107454397A (zh) 对预测值执行色彩空间转换的图像编码/解码方法及装置
CN103428497B (zh) 用于增强层视频编码的适应性量化
CN104041035B (zh) 用于复合视频的无损编码及相关信号表示方法
CN105264888B (zh) 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
KR102120571B1 (ko) 넌-4:4:4 크로마 서브-샘플링의 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들
CN103782598A (zh) 用于无损编码的快速编码方法
CN106165421B (zh) 用于译码视频数据的设备、方法及计算机可读媒体
CN105814890A (zh) 视频编解码器中的句法元素编码所用的方法和设备
CN106165418B (zh) 译码视频数据的设备、方法及计算机可读媒体
CN105230023A (zh) 色彩空间、色彩采样率和/或比特深度的自适应切换
CN109618157A (zh) 一种视频显示流压缩编码的硬件实现系统及方法
CN108353177A (zh) 在显示流压缩dsc中用于降低切片边界视觉假象的系统及方法
CN104185989A (zh) 用于帧内预测残差的二值化方案和hevc中无损编码中的改进帧内预测
CN102067605B (zh) 用集成的时间滤波器降噪的视频编码器
CN107409219A (zh) 用于显示流压缩的速率受限回退模式
CN107040785A (zh) 图像解码和图像编码的方法和装置
CN106973295A (zh) 视频编码方法/装置以及视频解码方法/装置
KR20180122354A (ko) 디스플레이 스트림 압축에서의 양자화 파라미터들의 적응적 계산을 위한 장치 및 방법들
EP3403408B1 (en) Calculating distortion in display stream compression (dsc)
CN102934445A (zh) 基于分段对图像编码和解码的方法和设备
KR102112942B1 (ko) 디스플레이 스트림 압축에 대한 지각적 양자화 파라미터 (qp) 가중을 위한 장치 및 방법들
KR20180030021A (ko) 서브픽셀 패킹을 이용한 디스플레이 스트림 압축 픽셀 포맷 확장
US10123045B2 (en) Modification to block size for transform mode in display stream compression
TWI635741B (zh) 使用共用平均值計算電路和/或共用限幅電路的圖像編碼器及相關圖像編碼方法
Le Pendu et al. Template based inter-layer prediction for high dynamic range scalable compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191220