CN105850123B - 对高动态范围图像进行编码的方法和设备 - Google Patents

对高动态范围图像进行编码的方法和设备 Download PDF

Info

Publication number
CN105850123B
CN105850123B CN201480069197.2A CN201480069197A CN105850123B CN 105850123 B CN105850123 B CN 105850123B CN 201480069197 A CN201480069197 A CN 201480069197A CN 105850123 B CN105850123 B CN 105850123B
Authority
CN
China
Prior art keywords
luminance
image block
described image
difference
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480069197.2A
Other languages
English (en)
Other versions
CN105850123A (zh
Inventor
塞巴斯蒂安·拉萨尔
法布里斯·勒安尼
大卫·图泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN105850123A publication Critical patent/CN105850123A/zh
Application granted granted Critical
Publication of CN105850123B publication Critical patent/CN105850123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开总体涉及对图像块进行编码的方法和设备,其特征在于包括:‑获得(101)所述图像块的辉度分量的低空间频率版本(Llf),即所述图像块的所获得的辉度分量;‑通过对所述图像块的所获得的辉度分量(Llf)进行量化(102)来获得所述图像块的量化辉度分量(Llf,Q);‑通过计算所述图像块的辉度分量(L)与所述图像块的量化辉度分量(Llf,Q)或者与所述图像块的编码量化辉度分量的解码版本之间的差,来获得(103)差分辉度分量(Lr);‑使用通常从用于对图像块的辉度分量进行编码的基于块的空间‑频率变换而获得的频率系数集中的至少一个频率系数,对所述图像块的量化辉度分量(Llf,Q)进行编码(104);以及‑使用所述频率系数集中的其余频率系数对所述差分辉度分量(Lr)进行编码(105)。

Description

对高动态范围图像进行编码的方法和设备
技术领域
本公开总体上涉及对图像进行图像/视频编码和解码。具体地,本公开的技术领域涉及其像素值属于高动态范围的图像块的编码/解码。
背景技术
本部分是为了向读者介绍可能与下文所述的和/或所要求保护的本公开各个方面相关的现有技术的各方面。确信这样的讨论有助于向读者提供背景信息以便帮助更好地理解本公开的多个方面。因此,应当理解的是这些陈述应以这种方式被解读,而不是作为对现有技术的承认。
低动态范围图像(LDR图像)是其辉度值由有限个数比特(最常见的是8或10个)表示的图像。这种有限的表示不会允许对小信号变化的进行正确呈现,尤其在阴暗和明亮的亮度范围内。在高动态范围图像(HDR图像)中,对信号表示进行扩展以便在信号的整个范围内保持信号的高准确度。在HDR图像中,像素值通常按照浮点格式(对于每一个分量是32比特或16比特,即浮点或半浮点)表示,最普遍的格式是OpenEXR半浮点格式(每个RGB分量16比特,即每个像素48比特)或者按照具有长表示的整数的格式,典型地至少16比特。
对HDR图像进行编码的典型方法是减小图像的动态范围,以便通过传统的编码方案(典型地配置用于对LDR图像进行编码)对图像进行编码。
根据第一种方法,将色调映射运算符施加至输入的HDR图像,然后通过传统的8-10比特深度编码方案对经色调映射的图像进行编码,传统的8-10比特深度编码方案例如是用于视频的JPEG/JPEG200或者MPEG-2、H.264/AVC(Karsten Suhring,H.264/AVC ReferenceSoftware,http://iphome.hhi.de/suehring/tml/download/,2003年9月出版于J.Wiley&Sons的I.E.Richardson的题为《H.264and MPEG-4video compression》的书)。然后,将逆音调映射运算符施加至已解码的图像,并且计算输入图像与经解码和逆音调映射的图像之间的残差。最后,通过第二个传统的8-10比特深度编码器方案对残差进行编码。
第一种方法的主要缺点在于使用两种编码方案,并且将输入图像的动态范围限制为是传统编码方案的动态范围的两倍(16-20比特)。
根据第二种方法,将输入的HDR图像进行转换,以便获得图像像素在颜色空间中的视觉无损表示,在所述颜色空间中值属于与传统的8-10或者扩展的12、14或16比特深度编码方案及其高比特深度扩展可兼容的动态范围,例如HEVC(B.Bross,W.J.Han,G.J.Sullivan,J.R.Ohm,T.Wiegand JCTVC-K1003,“High Efficiency Video Coding(HEVC)text specification draft9,”2012年10月)。
使用对HDR图像进行编码的传统编码方案包括使用相同的比特深度对整个图像进行编码。这涉及大尺寸的压缩图像。因此,这种典型的方法不能用于要求高编码性能的应用,例如在要求高压缩率的传输场景中。
发明内容
本公开通过一种对图像块进行编码的方法来着手克服现有技术的缺点,其特征在于所述方法包括:
-获得图像块的辉度分量的低空间频率版本,即所述图像块的所获得的辉度分量;
-通过对所述图像块的所获得的辉度分量进行量化来获得所述图像块的量化辉度分量;
-通过计算所述图像块的辉度分量与所述图像块的量化辉度分量或者与所述图像块的编码量化辉度分量的解码版本之间的差,来获得差分辉度分量;
-使用通常从用于对图像块的辉度分量进行编码的基于块的空间-频率变换获得的频率系数集中的至少一个频率系数,对所述图像块的量化辉度分量进行编码;以及
-基于所述频率系数集中的其余频率系数对所述差分辉度分量进行编码。
属于图像块的像素的亮度值通常在根据属于该图像块的像素值而计算的平均亮度值周围略微波动。于是,从该图像块的辉度分量中减去该图像块的辉度分量的低空间频率版本的版本,减小了所得到的差分辉度分量(其平均值接近0)的动态范围。
因此,如果差分辉度分量的动态范围低,则可以基于属于同一频率系数集的频率系数对图像块的已量化辉度分量和该图像块的差分辉度分量两者进行编码,该频率系数集通常是从用于对图像块的辉度分量进行编码的基于块的空间-频率变换中获得的。如果差分辉度分量的动态范围不是足够低,执行所述差分辉度分量的预处理(修剪或动态减小),使得基于频率系数的编码成为可能。
因为使用基于块的空间-频率变换的常用编码使用两个频率系数集(一个用于对图像块的量化辉度分量进行编码,一个用于对差分辉度分量进行编码),所以与这种常用编码相比,提高了图像块的编码效率。
因此,这些特征的组合允许在高压缩率、低视觉损耗以及低编码/解码复杂度之间的最优折衷。
根据实施例,所述方法还包括:
-获得所述图像块的至少一个颜色分量;以及
-对所述图像块的每一个颜色分量进行编码。
根据实施例,所述图像块的辉度分量属于具有度量的感知空间,度量的值表示所述感知空间的两个点的视觉感知之间的差异,所述度量被限定为使得存在感知阈值,在所述感知阈值以下人不能感知所述感知空间的两个颜色之间的视觉差异,并且其中所述方法在对差分辉度分量进行编码之前还包括:
-通过根据依赖于所述度量的上界的变换对所述差分辉度分量进行变换来获得已变换的差分辉度分量,所述度量的上界能够实现对所述图像块的显示解码版本中的视觉损失的控制。
根据实施例,所述图像块的每一个颜色分量属于具有度量的感知空间,度量的值表示所述感知空间的两个点的视觉感知之间的差异,所述度量被限定为使得存在感知阈值,在所述感知阈值以下人不能感知所述感知空间的两个颜色之间的视觉差异,并且其中所述方法在对所述图像块的每一个颜色分量进行编码之前还包括:
-通过根据依赖于所述度量的上界的变换对所述图像块的每一个颜色分量进行变换来获得至少一个已变换的颜色分量,所述度量的上界能够实现对所述图像块的显示解码版本中的视觉损失的控制。
通过在上界以下保持实现对图像块的显示解码版本中的视觉损失的控制的度量的值,来获得感知空间中图像块的辉度分量的低空间频率版本的表达并且对感知空间中的该版本进行量化,这确保了对所述图像块的显示解码版本中的视觉损失的控制,并且甚至在所述度量的上界低于或等于感知阈值时也确保了该版本的视觉无损量化。
根据实施例,根据已编码图像块的解码版本的显示的参考照明条件,并且根据所述图像块的量化辉度分量或所述图像块的编码量化辉度分量的解码版本,来确定所述上界。
根据实施例,根据所述图像块的量化辉度分量的亮度值或者所述图像块的编码量化辉度分量的解码版本与最大环境亮度值的比率来确定所述上界。
根据实施例,所述变换是利用所述上界对所述差分辉度分量以及潜在地每一个颜色分量进行归一化。
根据实施例,在对所述图像块的所获得的辉度分量进行量化之前,减小所述图像块的已获得的辉度分量的原始动态范围,并且在计算所述差分辉度分量和上界之前,增加所述图像块的量化辉度分量的动态范围或所述图像块的编码量化辉度分量的解码版本的动态范围,以达到所述原始动态范围。
根据实施例,所述图像块的量化辉度分量是无损编码的。
根据实施例,对所述差分辉度分量或已变换的差分辉度分量进行修剪以达到动态范围小于或等于目标动态范围的差分辉度分量或者已变换的差分辉度分量。
根据本发明的另一方面,本公开涉及一种对图像进行编码的方法,其特征在于所述方法包括:
-从所述图像获得至少一个图像块,
-根据上述方法对每一个图像块进行编码。
根据实施例,通过递归地划分图像块直到未达到准则来获得所述至少一个图像块。
根据本发明的另一方面,本公开涉及一种对表示图像块的辉度分量的比特流进行解码的方法,其特征在于所述方法包括:
-通过对所述比特流至少部分地进行解码来获得频率系数集,所述频率系数集与要解码的图像块的基于块的空间-频率变换相关;
-将所述频率系数集划分为两个频率系数子集:一个子集表示辉度分量的低空间频率版本的估计,另一个子集表示差分辉度分量的估计;以及
-将低空间频率版本的估计和差分辉度分量的估计相加在一起以得到所述图像块的估计。
根据本发明的另一方面,本公开涉及一种根据比特流来解码图像的方法,其特征在于所述方法包括:
-通过对所述比特流至少部分地解码,获得与要解码的图像的至少一个图像块相关的数据,
-根据上述方法对每一个图像块进行编码。
根据本发明的另一方面,本公开涉及对图像块进行编码并且对表示图像块的辉度分量的比特流进行解码的设备。
本公开的具体性质以及本公开的其他目的、优势、特征和用作将根据结合附图对于优选实施例的以下描述将变得清楚明白。
附图说明
将参考以下附图描述实施例:
-图1示出了根据本公开实施例的对图像块B进行编码的方法的步骤的方框图;
-图2示出了根据本公开实施例的变体的对图像块B进行编码的方法的步骤的方框图;
-图3示出了根据本公开实施例的变体的对图像块B进行编码的方法的步骤的方框图;
-图4示出了根据本公开实施例的变体的对图像块B进行编码的方法的步骤的方框图;
-图5示出了根据本公开实施例的对图像I进行编码的方法的步骤的方框图;
-图6示出了图像I的分割示例;
-图7示出了根据本公开实施例的对表示图像块的辉度分量和至少一个已变换的颜色分量的比特流进行解码的方法的步骤的方框图;
-图8示出了根据本公开实施例的对图像I进行解码的方法的步骤的方框图;
-图9示出了设备的结构的示例;
-图10示出了经由通信网络进行通信的两个远程设备。
具体实施方式
下文将参照附图更完全地对本公开进行描述,其中示出了本公开的实施例。然而,本公开可以按多种替代形式来体现,并且不应当被解释为受到本文阐述的实施例的限制。尽管本公开允许各种改进和替代形式,但以示例方式在附图中示出并在下文中详细描述其特定实施例。然而,并非易于将本公开局限于公开的具体形式,相反地本公开覆盖落入由权利要求限定的本公开的精神和范围内的所有修改、等同物和/或备选。贯穿附图的描述,相似的数字指代相似的元件。
本文中所使用的术语仅仅是为了描述具体实施例的目的,而不是意在限制本公开。如本文中使用的,单数形式“一个”和“所述”意图还包括复数形式,除非上下文明确地给出相反的指示。还应理解,术语″包括″、″具有″和/或″包含″在本说明书中使用时表示存在所陈述的特征、整数、步骤、操作、元件和/或部件,但并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。此外,当提及元素“响应”或“连接”到另一个元素时,它可以直接响应或连接到另一个元素,或者可以存在中间元件。相反,当提及元素”直接响应”或”直接连接”到另一元素时,不存在中间元素。如这里所使用的,术语“和/或”包括关联列出的一个或多个项目的任意和所有组合,并且可以缩写为“/”。
应该理解的是虽然本文中可以使用术语第一、第二等来描述各种元件/操作,但是这些元件不应该被这些术语限制。这些术语仅用来将一个元件与另一元件区分开来。例如,在不背离本公开教导的情况下,第一元件可以被称为第二元件,并且类似地,第二元件也可以被称为第一元件。
尽管一些图包括通信路径上的箭头来指示通信的主要方向,将理解通信可以在与所指示的箭头的相反方向上发生。
相对于方框图和操作流程图来描述一些实施例,其中每一个方框表示电路元件、模块或代码的一部分,包括用于实现指定逻辑功能的一个或多个可执行指令。还应当注意,在其他替代实现方式中,框中标注的功能可以不按照标注的次序进行。例如,连续示出的两个框可能在执行时实质上是同时执行的,或者框在某些时候会以相反的顺序执行,这取决于所涉及到的功能。
对“一个实施例”或“实施例”的提及意味着结合实施例所描述的特定特征、结构或特性包含在本发明的至少一个实施方式中。在说明书中各处出现短语“在一个实施例中”或“根据实施例”不一定都指代相同的实施例,也不是与其他实施例必须互斥地分离的或备选的实施例。
权利要求书中出现的参照数字仅作为举例说明而不是限制权利要求的范围。
虽然没有明确描述,但是本实施例及其变体可以被实施为任意组合或子组合。
本公开的描述针对图像编码/解码,但是扩展至对图像序列(视频)的编码/解码,因为如下所述序列的每一个图像顺序地编码/解码。
附图中相同元件的提及指的是相同的元件。
图1示出了根据本公开实施例的对图像块B进行编码的方法的步骤的方框图。
在步骤100,模块IC获得要编码的图像块B的每一个分量。图像块B包括辉度分量L以及潜在地包括至少一个颜色分量C(i),索引i标识了图像块B的颜色分量。
但是本公开并没有局限于灰度图像块(没有彩色分量)以及具有一个、两个或更多颜色分量的图像块。当如下所述对灰度级图像块进行编码时,不考虑参考颜色分量的描述部分。
在步骤101,模块LF获得图像块B的辉度分量L的低空间频率版本Llf
根据实施例,模块LF配置为通过向图像块B的每一个像素分配通过对图像块B的像素值进行平均而计算的平均值,来计算低空间频率版本Llf
本公开不局限于用于计算图像块B的低空间频率版本的具体实施例,可以使用图像块B(或者图像块B所属的图像的)辉度分量的任意低通滤波、下采样或平均。
在步骤102,模块Q通过使用确定个数的比特(典型地,8、10或12个比特)对低空间频率版本Llf进行量化,来获得量化辉度分量(Llf,Q)。
使用多个比特对分量进行量化意味着对于分量的每一个像素值,确定属于根据该比特个数限定的值范围内的值。例如,当用8个比特对分量进行量化时,分量值属于范围[0;255]。
根据实施例,根据后面使用的编码/解码方案的能力,来确定比特的个数(步骤104)。
根据实施例,所述量化是具有恒定步长的量化。典型地,所述步长等于1。
在步骤103,通过计算辉度分量L与图像块的已量化辉度分量Llf,Q(图1和2中所示)或与图像块的编码量化辉度分量的解码版本(图2和图4中所示)之间的差异,来获得差分辉度分量Lr
通过编码器ENC1对量化辉度分量Llf,Q和差分辉度分量Lr进行编码,编码器ENC1通常使用从对图像块的辉度分量L进行编码的基于块的空间-频率变换中获得的频率系数集。
本公开不局限于特定的基于块的空间-频率变换,并且可以使用任意公知的基于块的空间-频率变换,例如离散余弦变换(DCT)、离散正弦变换(DST)、哈达玛变换或者将像素能量压缩到变换的系数中的任意其他合适的空间变换。
约束在于,基于块的空间-频率变换提供用于对要编码的图像块的辉度分量加以表示的频率系数集。
在步骤104,模块DC使用通常从用于对图像块的辉度分量进行编码的基于块的空间-频率变换所获得的频率系数集中的至少一个频率系数对图像块的量化辉度分量Llf,Q进行编码。
根据步骤104的实施例,使用频率系数集中的最低频率系数对量化辉度分量Llf,Q进行编码。
在步骤105,模块AC使用频率系数集的其余频率系数对差分辉度分量Lr进行编码,这些其余频率系数即所述频率系数集中没有用于对量化辉度分量Llf,Q进行编码的那些频率系数。
然后,通过编码器ENC1对频率系数集进行编码(例如,量化和熵编码),并且添加至比特流F,所述比特流F可以被存储和/或通过通信网络传输。
根据方法的实施例,模块IC配置为至少获得图像块B的颜色分量C(i)。
然后在步骤108,通过编码器ENC2对每一个颜色分量C(i)进行编码(例如,量化和熵编码)。
将步骤108的输出添加至比特流F。
根据方法的实施例,图像块B的分量属于感知空间,通常是3D空间,即图像块B包括辉度分量L以及潜在地包括至少一个颜色分量C(i),例如两个颜色分量,在下文中称作C1和C2。
感知空间具有度量d((L,C1,C2),(L′,C1′,C2′)),所述度量的值表示所述感知空间的两个点的视觉感知之间的差异,优选地与所述差异成正比。
从数学上讲,所述度量d((L,C1,C2),(L′,C1′,C2′))被限定为使得存在感知阈值ΔE0(也称作JND:刚好能注意到的差异),在所述感知阈值ΔE0以下人不能够感知该感知空间的两种颜色之间的视觉差异,即
d((L,C1,C2),(L′,C1′,C2′))<ΔE0, (1)
并且这种感知阈值与感知空间的两个点(L,C1,C2)和(L′,C1′,C2′)无关。
因此,对其分量属于感知空间的图像块进行编码以便使得等式(1)的度量d保持在感知阈值ΔE0以下,这确保了图像块的显示解码版本是视觉上无损的。
根据实施例,可以按照像素来计算所述度量。
可以注意的是实践中,分别单独地控制下面三个不等式更加容易:
以及
可以注意到,如果用大于ΔE0的上界来满足等式(1),也就是说在下文中,视觉地控制已编码的图像块,即控制该图像块的显示解码版本中的视觉损失。
当图像块B包括属于诸如(R,G,B)之类的非感知空间的分量时,向图像I施加感知变换以便获得属于感知空间的辉度分量L和潜在地两个颜色分量C1和C2。
这种感知变换是根据显示的照明条件来限定的,并且依赖于初始颜色空间。
例如,假设初始空间是(R,G,B)颜色空间,将图像I首先变换至公知的线性空间(X,Y,Z)(潜在地,可能需要逆伽马校正),然后根据已编码图像块的解码版本的显示的参考照明条件对得到的图像块进行变换,这里所述参考照明条件是(X,Y,Z)空间中值(Xn,Yn,Zn)的3D矢量。
因此例如,当选择感知空间LabCIE1976时,这种感知变换如下限定:
L*=116f(Y/Yn)-16
a*=500(f(X/Xn)-f(Y/Yn))
b*=200(f(Y/Yn)-f(Z/Zn))
其中f是例如由以下给出的转换函数
f(r)=r1/3,r>(6/29)3
其他
可以基于感知空间LabCIE1976来限定以下度量:
d((L*,a*,b*),(L*′,a*′,b*′))2=(ΔL*)2+(Δa*)2+(Δb*)2<(ΔE0)2
其中ΔL*是两个颜色(L*,a*,b*)和(L*′,a*′,b*′)的辉度分量之间的差异,Δa*(相应地,Δb*)是这两种颜色的颜色分量之间的差异。
根据另一个示例,当选择感知空间Lu*v*时,将感知变换如下限定:
u*=13L(u′-u′white)以及v*=13L(v′v′white)
其中
以及
可以基于感知空间Lu*v*来限定以下欧几里得度量:
d((L*,u*,v*),(L*′,u*′,v*′))2=(ΔL)2+(Δu*)2+(Δv*)2
其中ΔL*是两个颜色(L*,u*,v*)和(L*′,u*′,v*′)的辉度分量之间的差异,Δu*(相应地,Δv*)是这两种颜色的颜色分量之间的差异。
本公开不局限于感知空间LabCIE1976,而是可以扩展至任意类型的感知空间,例如LabCIE1994、LabCIE2000,它们是同样的Lab空间,但是具有不同的度量以测量感知距离,或者例如任意其他的欧几里得感知空间。其他示例是LMS空间和IPT空间。条件在于应该基于这些感知空间来限定度量,以便所述度量优选地与感知差异成正比;因此,存在同质的最大感知阈值ΔE0,在该感知阈值以下人不能够感知所述感知空间的两种颜色之间的视觉差异。
根据实施例,在步骤109,图像块B的辉度分量L属于感知空间,该感知空间的度量的值对所述感知空间的两个点的视觉感知之间的差异加以表示,所述度量被限定为使得存在感知阈值ΔE0,在所述感知阈值以下人不能感知所述感知空间的两个颜色之间的视觉差异。然后,模块T在编码(步骤105)之前,通过根据依赖于所述度量的上界ΔE的变换T对差分辉度分量Lr进行变换来获得已变换的差分辉度分量,所述度量的上界能够实现对图像块的显示解码版本中的视觉损失的控制。
根据实施例,在步骤109,图像块B的每一个颜色分量C(i)属于感知空间,该感知空间的度量的值对所述感知空间的两个点的视觉感知之间的差异加以表示,所述度量被限定为使得存在感知阈值ΔE0,在所述感知阈值以下人不能感知所述感知空间的两个颜色之间的视觉差异。然后,在步骤109,模块T针对每一个颜色分量获得已变换的颜色分量,通过根据依赖于度量的上界ΔE的变换T对图像块的颜色分量C(i)进行变换来获得每一个已变换的颜色分量,所述度量的上界能够实现对图像块的显示解码版本中的视觉损失的控制。
在步骤110,根据已编码图像块的解码版本的显示的参考照明条件,并且根据图像块的量化辉度分量Llf,Q或图像块B的编码量化辉度分量的解码版本来确定所述上界ΔE。
图2中所示的实施例确保了上界ΔE在编码器和解码器两侧是相同的。
图像块的量化辉度分量Llf,Q或者图像块的编码量化辉度分量的解码版本的亮度在图像上不是恒定的,但是局部地变化。例如,如果通过向图像块的每一个像素分配相同的量化值对低空间频率版本Llf进行量化,所述上界ΔE在图像块上是恒定的,但是图像的两个块的量化值可能不同。因此,所述上界ΔE根据图像的亮度值而局部地变化。
根据步骤110的实施例,假设在图像块B所属的图像的显示期间,照明潜在地增加直到最大环境亮度值Yn,根据图像块的已量化辉度分量Llf,Q的或者图像块的编码量化辉度分量的解码版本的亮度值YQ与最大环境亮度值Yn的比率,来确定所述上界ΔE。
根据步骤110的实施例,当禁止在最大环境亮度值上的编码退化时,通过下式给出所述上界ΔE:
其中(Xn,Yn,Zn)是已编码图像块的解码版本的显示的参考照明条件,并且YQ是表示图像块的已量化辉度分量Llf,Q的或图像块的编码量化辉度分量的解码版本的亮度的值,以及ΔEenc是感知编码参数。典型地,选择ΔEenc接近ΔE0,针对视觉无损编码,以及大于ΔE0,针对在已编码图像块中对视觉损失进行控制的编码。
因此,使用这种上界ΔE允许将编码与已编码图像块的解码版本的显示的环境照明条件相适应。
替代地,已编码图像块的解码版本的显示的参考照明条件(Xn,Yn,Zn)(具有局部特征)可以用由(Xn′,Yn′,Zn′)=(Xn,Yn,Zn)YQ/Yn限定的已编码图像块解码版本的显示的全局参考照明条件来代替.
从编码的观点来看(颜色编码),这种代替等同于第上界ΔE(2)的选择,因为精度等于颜色空间LabCIE1976中的颜色分量a*的ΔE的编码(a*由下式给出
a*=500(f(X/Xn)-f(Y/Yn))≈500((X/Xn)1/3-(Y/Yn)1/3))
等同于精度等于由下式给出的颜色分量的a*′的ΔEenc的编码。
a*′=500(f(X/Xn′)-f(Y/Yn′))≈500((X/Xn′)1/3-(Y/Yn′)1/3)
同样的评论应用于另一分量b*。因此,不是局部地改变感知空间,而是仅仅从ΔEenc至ΔE来调整上界。
根据步骤110的实施例,为了避免对具有高亮度值的图像块的欠编码,所述上界ΔE通过下式给出:
其中,上界设置为ΔEencEmax,典型地Emax设置为1。这个最后的等式意味着图像块的量化辉度分量Llf,Q的或者图像块的编码量化辉度分量的解码版本的亮度绝不会大于最大环境亮度值Yn
另一方面,为了避免对具有极低亮度值的图像块的过编码,所述上界ΔE然后由下式给出:
其中下界设置为ΔEencEmin;典型地,Emin设置为约1/5。这是由于最大环境亮度值Yn对于图像块的已量化辉度分量Llf,Q或图像块的编码量化辉度分量的解码版本的阴暗局部亮度的对比度掩蔽效应。
两个边界的组合简单地通过下式获得:
根据步骤109的实施例,变换T是利用上界ΔE对差分辉度分量Lr以及潜在地每一个颜色分量的归一化。
因此,变换T是局部地变化的上界的函数。
根据步骤109的实施例,利用上界ΔE对差分辉度分量Lr以及潜在地每一个颜色分量的归一化是所述差分辉度分量Lr以及潜在地每一个颜色分量除以作为所述上界ΔE的函数的值。
从数学上讲,然后例如如下所述对差分辉度分量Lr进行变换,以获
得差分辉度分量Lr T的已变换版本:
并且潜在地,然后例如如下所述对每一个颜色分量C(i)进行变换,以获得已变换的颜色分量C(i)T
其中α是等于例如0.5或1的值。
该实施例是有利的,尤其确保了阴暗图像块的良好量化。实际上,图像块的阴暗区域具有可能远小于1的极低辉度像素值。因此,如果没有执行利用上界ΔE的归一化,在量化之前所有这些像素都被映射至0,失去了想要的感知量化精度。利用在这种图像块中较小的上界ΔE进行归一化,这扩展了像素值,允许在量化之前具有足够的格式精度。此外,对于非常明亮的像素,通过在明亮的图像块中将像素值除以远大于1的上界ΔE,该归一化避免了太大的像素值。
因此,差分辉度分量的变换版本(以及潜在地每一个颜色分量C(i)T)的视觉损失依赖于上界ΔE的值。因此,当上界ΔE小于或等于感知阈值ΔE0时,实现了视觉无损的量化。
根据步骤104和/或105的另一个实施例,辉度分量Llf,Q和/或差分辉度分量Lr的编码的至少一个参数依赖于上界ΔE。
例如,这种编码的量化参数QP依赖于所述上界ΔE。实际上,这种参数QP存在于像h264/AVC和HEVC的图像/视频编码器中,并且可以针对每一个编码块来局部地限定。在该示例中,可以选择局部QP以确保所确定的编码精度,例如无损编码。
有利地,对量化辉度分量Llf,Q进行无损编码(步骤104)。
该实施例确保了当从量化辉度分量Llf,Q获得上界ΔE时,所述上界ΔE在编码器侧和解码器侧是相同的。
根据如图2、3和4中所示的方法的实施例,在步骤111,模块IDC获得图像块的编码量化辉度分量的解码版本
更精确地,根据步骤104对图像块的已量化辉度分量Llf,Q进行编码,然后进行解码以获得图像块的编码量化辉度分量的解码版本供步骤103或110使用。
根据方法的实施例,在步骤106,在对低空间频率版本Llf进行量化(步骤102)之前,模块RED减小低空间频率版本Llf的原始动态范围,并且在计算差分辉度分量Lr(步骤103)之前,模块INC增加图像块的已量化辉度分量Llf,Q或图像块的编码量化辉度分量的解码版本的动态范围(步骤107),以达到原始的动态范围。
然后,步骤104的输入,量化辉度分量Llf,Q的像素值属于减小的动态范围,而步骤103的输入,图像块的量化辉度分量Llf,Q的或者图像块的编码量化辉度分量的解码版本的像素值属于图像块B的辉度分量L的原始动态范围。
该实施例是有利的,因为其要求n比特(用于量化的比特个数)的编码器ENC1,典型地8、10或12比特,对量化辉度分量Llf,Q进行编码。
根据该实施例的变体,模块INC也配置为在确定所述上界(步骤110)之前,增加图像块的量化辉度分量Llf,Q的或者图像块的编码量化辉度分量的解码版本的动态范围(步骤107),以达到原始动态范围。
可以注意的是根据这种变体,当禁止在最大环境亮度值上的编码退化时,通过下式给出所述上界ΔE(步骤110):
其中LO是其像素值属于原始动态范围的低空间频率版本的版本(Llf,Q)(步骤110)。
数学上来讲,当通过在低空间频率版本的版本(Llf,Q)上施加动态范围减小函数f获得了动态范围的减小时,那么其像素值属于与原始动态范围相等的动态范围的低空间频率版本LO的版本(Llf,Q)由下式给出:
LO=f-1(f(L))
其中f(L)是其像素值属于减小的动态范围的低空间频率版本的版本(Llf,Q),即f(Llf,Q)或)。
根据该实施例的变体,所述动态范围减小函数f主要具有对于Y的对数形状或者S对数形状,即f:Y→αln(Y+β)+γ。
根据该实施例的变体,动态范围减小函数f主要具有Y的幂,即f:Y→Yγ,典型地γ小于1,以确保动态压缩。
根据该实施例的变体,动态范围减小函数f是单调函数。例如,可以使用在2012年10月2日的文件“Image dynamic range in television systems”,ITU,Document 6C/77-E中建议的传递函数。
图像块B的差分辉度分量Lr(或差分辉度分量的已变换版本Lr T)可以具有相对重要的动态范围,例如当其一些像素属于阴暗区域而另一些像素属于较明亮区域时。
根据对图像块B进行编码的方法的实施例,模块TH对差分辉度分量Lr(或差分辉度分量的已变换版本Lr T)进行修剪以达到动态范围小于或等于目标动态范围TDR的差分辉度分量Lr(或者差分辉度分量的已变换版本Lr T)。
这向差分辉度分量Lr(或差分辉度分量的已变换版本Lr T)提供了减小的动态范围,并且提高了差分辉度分量Lr(或差分辉度分量的已变换版本Lr T)的编码效率,而不会显著地退化差分辉度分量Lr(或差分辉度分量的已变换版本Lr T)的质量,尤其是当图像块B具有小尺寸时。
根据实施例,在区间]-2TDR-1,2TDR-1]上进行修剪。
根据实施例,根据编码/解码方案的能力来确定目标动态范围TDR(步骤105)。
这是有利的,因为传统的8-10比特深度编码器方案可以用于对图像块B进行编码。
图5示出了根据本公开实施例的对图像I进行编码的方法的步骤的方框图。
在步骤500,模块PART从图像I获得至少一个图像块B。
接下来,根据参考图1-4如上所述的模块COD(步骤1)对所述块的集合中的每一个图像块进行编码。然后,比特流F包括针对每一个已编码图像块B的数据。
当从图像I获得的至少一个图像块包括属于低动态范围的辉度分量时,即当其像素属于相同的对象或者图像的背景而不属于在具有不同动态范围的两个区域之间的边缘时,该实施例是有利的。因此,减少了例如通过参考图1-4描述的编码,用于对这种图像块进行编码的比特个数。
根据图6中所示的步骤500的实施例,通过递归地划分图像块直到满足准则来获得所述至少一个图像块。
根据实施例,当图像块的动态范围在预定阈值以下时满足准则。
根据另一个实施例,当达到所确定的迭代次数时满足准则。
根据图6中给出的说明性示例,假设具有对象O的图像I,对象O的像素值属于比图像I的背景的像素值的动态范围高的动态范围。另外,假设确定阈值以便当图像块包括背景的像素和对象O的像素两者时,图像块的动态范围在所述阈值以上。
该示例不是限制性的,并且本公开扩展至阈值的任意定义,以实现最终的图像块包括属于低动态范围的像素。
本公开不局限于图像块的任意特定分割。例如,可以将图像块分割为四个图形块,并且将包括对象O的像素或背景的像素的同一级别上的图像块合并在一起。
根据这种划分/合并处理,首先将图像I(级别0)划分成如图6所示的四个图像块SB1、...、SB4。因为这些图像块的每一个包括背景的像素和对象O的像素(图6的左侧部分),每一个图像块SBi(i=1,...,4)的动态范围在阈值以上。然后,将图像块SB1划分为四个图像块SB11、SB12、SB13和SB14(图6的中心部分)。图像块SB11、SB12和SB13(级别1)只包括背景的像素,然后将它们合并在一起。将图像块SB2、SB3和SB4也进行划分,并且将得到的图像块的一些(级别1)也合并在一起。然后对图像块SB14、SB23、SB32和SB41进行划分(级别2),并且在图6的左侧部分上给出最终图像块。
可以注意到最终图像块形成了图像I的分区。
图7示出了用于解码对图像块B的辉度分量和潜在地至少一个已变换的颜色分量加以表示的比特流F的方法的步骤的方框图。
在步骤70,通过解码器DEC1对比特流至少部分地解码来获得频率系数集。所述频率系数集与要解码的图像块B相关。
在步骤71,模块SP将频率系数集划分为两个频率系数子集:一个子集表示辉度分量的低空间频率版本的估计另一个子集表示差分辉度分量的估计
根据实施例,参考步骤106如上所述,当在量化(步骤102)之前已经减小了图像块B的量化辉度分量Llf,Q的动态范围时,所述估计具有属于减小的动态范围的像素值。因此在步骤107期间,模块INC增加估计的动态范围,以达到目标动态范围,例如图像块B的辉度分量L的原始动态范围。
所述估计表示图像块B的辉度分量L和图像块B的辉度分量的低空间频率版本的版本之间的差异。
根据实施例,当已经变换了差分辉度分量Lr(步骤109)时,在步骤71期间获得了差分辉度分量的估计
然后在步骤73,模块IT通过施加逆变换IT对所述估计进行变换。所述逆变换IT依赖于上界ΔE。
可以注意到术语“逆变换”表示与在步骤109期间施加了的变换T的函数相比具有逆函数的变换。
根据实施例,当变换T是利用上界ΔE的归一化时,变换IT是利用上界ΔE对所述估计的重新归一化。
然后在步骤110,如上所述确定上界ΔE。
因此,根据实施例,根据已编码图像块的解码版本的显示的参考照明条件以及图像块B的辉度分量的低空间频率版本的版本估计(步骤71的输出)来确定所述上界ΔE。
根据步骤109的实施例,重新归一化是与作为所述上界ΔE的函数的值的相乘。
数学上来讲,所述估计例如如下所述地逆变换:
其中α是等于例如0.5或1的值。
在步骤74,将所述估计和所述估计相加在一起以获得已解码图像块B的估计该估计包括图像块的辉度分量的估计
根据方法的实施例,在步骤72,通过解码器DEC2对比特流至少部分地解码来获得每一个颜色分量的估计
根据实施例,当已经变换了每一个颜色分量C(i)(步骤109)时,在步骤72期间获得每一个颜色分量的估计
然后在步骤73,模块IT通过施加如上所述的逆变换IT对所述估计进行变换。
根据方法的实施例,在步骤75,模块ASSO配置为将所述估计与所述估计相关联,以获得所述图像块B的估计
根据一个变体,在步骤76,模块IIC配置为当没有颜色分量时,向所述估计(步骤75或74的输出)施加逆感知变换。例如,将所述估计变换到公知的空间(X,Y,Z)。
当选择感知空间LabCIE1976时,逆感知变换由下式给出:
Y=Ynf-1(1/116(L*+16))
当选择感知空间Luv时,逆感知变换由下式给出:
潜在地,对空间(X,Y,Z)中的图像进行逆变换以获得诸如(R,G,B)空间之类的初始空间中的估计
潜在地,在步骤104、105、108、70和72中,编码器/解码器ENC1/DEC1和/或ENC2/DEC2包括熵编码。
解码器DEC1和DEC2分别配置为对分别由编码器ENC1和ENC2编码的数据进行解码。
编码器ENC1和/或ENC2(以及解码器DEC1和/或DEC2)不局限于特定的编码器(解码器),但是当要求熵编码器(解码器)时,诸如霍夫曼编码器、算术编码器或像在h264/AVC或HEVC中使用的上下文自适应编码器之类的熵编码器是有利的。
图8示出了根据比特流F对图像I进行解码的方法的步骤的方框图。
应该注意的是对图像进行解码包括对与该图像相关的每一个图像块进行解码。还应该注意的是当考虑多个图像块时,它们可以形成图像的分区。有时,可以经由通信网络传输这种分区。
在步骤80,模块DP从比特流F获得与要解码的图像I的至少一个图像块相关的数据。
接下来,根据参考图7如上所述的模块DEC(步骤2)对每一个图像的每一个图像块相关的数据进行解码。
在图1-8中,模块是可以与可区分的物理单元相关也可以不相关的功能单元。例如,这些模块或者这些模块的一些可以一起放在一个唯一的部件或电路中,或者对于软件的功能有贡献。相反地,一些模块可以潜在地包括分离的物理实体。使用纯的硬件来实现与本公开可兼容的设备,例如使用诸如ASIC或FPGA或VLSI(分别是“专用集成电路”、“现场可编程门阵列”、“超大规模集成”)之类的硬件,或者从嵌入在设备中的几个集成电子部件来实现,或者从硬件和软件部件的混合体来实现。
图9表示设备90的示范性结构,所述设备可以配置为实现参考1至8描述的方法。
设备90包括通过数据和地址总线91链接在一起的以下元件:
-微处理器92(或CPU),例如DSP(或者数字信号处理器);
-ROM(或只读存储器)93;
-RAM(或随机存取存储器)94;
-I/O接口95,用于从应用接收要发送的数据;以及
-电池96。
根据另一变体,电池96在设备的外部。
图9的这些元件的每一个对于本领域普通技术人员是众所周知的,并且将不会进一步公开。在每一个所述的存储器中,说明书中使用的词语“寄存器”可以与小容量的区域(一些比特)或者非常大的区域(例如,整个程序或者大量接收或者解码的数据)相对应。ROM93至少包括程序和参数。根据本公开的方法的算法存储在ROM 93中。当开启时,CPU 92将程序上载到RAM,并且执行相应的指令。
RAM 94包括寄存器中的由CPU 92执行的并且在设备90开启之后上载的程序,寄存器中的输入数据,寄存器中的所述方法的不同状态下的中间数据,以及寄存器中中用于所述方法的执行的其他变量。
可以例如用方法或过程、装置、软件程序、数据流或信号来实现本文所描述的实施方式。即使只是在单一形式的实施方式的场景中进行讨论(例如,只作为方法或设备来讨论),所讨论的特征的实施方式也可以按照其他形式(例如程序)来实现。装置可以实现为例如适合硬件、软件和固件。所述方法可被实现于诸如处理器的装置中,所述处理器一般地称为处理设备,包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还可以包括通信设备(例如计算机、蜂窝电话、便携/个人数字助理(″PDA″))以及促进终端用户之间的信息通信的其他设备。
根据实施例,所述设备还包括用于获得已编码图像块的解码版本的显示的参考照明条件(例如最大环境亮度值Yn)的装置。
根据实施例,所述设备包括显示器97,并且用于获得已编码图像块的解码版本的显示的参考照明条件的装置配置为根据显示器97的特性或者根据由所述设备捕获的所述显示器96周围的照明条件来确定这种参考照明条件。
例如,用于获得最大环境亮度值Yn的装置是附着至所述显示器并且测量环境条件的传感器。光电二极管等可以用于这种目的。
根据图10所示的实施例,在通信网络NET上的两个远程设备A和B之间的传输场景下,设备A包括配置为实现参考图1-6所述的对图像进行编码的方法的装置,并且设备B包括配置为实现参考图7-8所述的进行解码的方法的装置。设备B也可以包括显示器97。
设备A和B都可以配置为知晓已编码图像块的解码版本的显示的参考照明条件,例如相同的最大环境亮度值Yn
例如,设备A和B存储已编码图像块的解码版本的显示的参考照明条件,例如相同的最大环境亮度值Yn
替代地,设备B配置为获得已编码图像块的解码版本的显示的参考照明条件,例如最大环境亮度值Yn,并且将其发送至设备A。设备A然后配置为接收该发送的已编码图像块的解码版本的显示的参考照明条件,例如最大环境亮度值Yn
相反地,设备A配置为例如从存储器获得已编码图像块的解码版本的显示的参考照明条件,例如最大环境亮度值Yn,并且将其发送至设备B。设备B然后配置为接收所发送的已编码图像块的解码版本的显示的参考照明条件,例如最大环境亮度环境值Yn
这里所述的多种处理和特征的实现方案可以实现为多种不同设备或应用,具体地,例如,设备或应用。这些装置的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、笔记本电脑、个人电脑、手机、PDA、以及其他通信设备。应该清楚的是,设备可以是移动的,甚至安装在移动的车辆中。
此外,可通过由处理器执行的指令实现所述方法,而且这些指令(和/或通过实现产生的数据值)可存储在处理器可读介质上,比如集成电路、软件载体或其它存储设备,比如硬盘、压缩盘(“CD”)、光盘(比如DVD,其通常称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)、或只读存储器(“ROM”)。指令可形成在处理器可读介质上有形实现的应用程序。指令可以是例如硬件、固件、软件或其组合的形式。可以在例如操作系统、单独应用或两者组合中找到指令。因此,处理器可以被特征化为例如配置用于执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如,存储设备)的设备。此外,处理器可读介质可存储实现所产生的数据值,作为对指令的添加或替代。
本领域技术人员应清楚,实现方案可以产生被格式化为携带例如所存储的或所传输的信息的多种信号。信息可以包括例如执行方法的指令,或通过描述的实施方式之一所产生的数据。例如,信号可以被格式化为将用于写入或读取所述实施例的语义的规则作为数据携带,或将由所述实施例写入的真实语义值作为数据携带。这种信号可被格式化为例如电磁波(例如使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码或者调制具有已编码数据流的载波。信号承载的信息可以是例如模拟或数字信息。可以通过公知的多种不同有线或无线链路来传输信号。信号可存储在处理器可读介质上。
已经描述了多种实现方式。然后应该理解的是可以实现各种改进。例如,可以合并、增补、修改或去除不同实现方案的要素,以便产生其它实现方案。附加地,本领域技术人员将理解的是,其他结构和处理可以替代那些公开的内容,并且所得到的实施方式将用至少基本相同的方式来执行至少基本相同的功能,以实现与所公开的实施方式基本相同的结果。因此,本申请还涵盖这些和其它实现方案。

Claims (19)

1.一种对图像块进行编码的方法,其特征在于所述方法包括:
-获得(101)所述图像块的辉度分量的低空间频率版本(Llf),即所述图像块的所获得的辉度分量;
-通过对所述图像块的所获得的辉度分量(Llf)进行量化(102)来获得所述图像块的量化辉度分量(Llf,Q);
-通过计算所述图像块的辉度分量(L)与所述图像块的量化辉度分量(Llf,Q)或者与所述图像块的编码量化辉度分量的解码版本之间的差,来获得(103)差分辉度分量(Lr);
-使用通常从用于对图像块的辉度分量进行编码的基于块的空间-频率变换而获得的频率系数集中的至少一个频率系数,对所述图像块的量化辉度分量(Llf,Q)进行编码(104);以及
-使用所述频率系数集中的其余频率系数对所述差分辉度分量(Lr)进行编码(105)。
2.根据权利要求1所述的方法,其中所述方法还包括:
-获得(100)所述图像块的至少一个颜色分量(C(i));以及
-对所述图像块的每一个颜色分量进行编码(108)。
3.根据前述权利要求之一所述的方法,其中所述图像块的辉度分量属于具有度量的感知空间,所述度量的值表示所述感知空间的两个点的视觉感知之间的差异,所述度量被限定为使得存在感知阈值(ΔE0),在所述感知阈值以下人不能感知所述感知空间的两个颜色之间的视觉差异,并且其中所述方法在对差分辉度分量(Lr)进行编码(105)之前还包括:
-通过根据依赖于所述度量的上界(ΔE)的变换(T)对所述差分辉度分量(Lr)进行变换(109)来获得已变换的差分辉度分量,所述度量的上界能够实现对所述图像块的显示解码版本中的视觉损失的控制。
4.根据权利要求2所述的方法,其中所述图像块的每一个颜色分量属于具有度量的感知空间,所述度量的值表示所述感知空间的两个点的视觉感知之间的差异,所述度量被限定为使得存在感知阈值(ΔE0),在所述感知阈值以下人不能感知所述感知空间的两个颜色之间的视觉差异,并且其中所述方法在对所述图像块的每一个颜色分量进行编码(108)之前还包括:
-通过根据依赖于所述度量的上界(ΔE)的变换(T)对所述图像块的每一个颜色分量(C(i))进行变换(109)来获得至少一个已变换的颜色分量,所述度量的上界能够实现对所述图像块的显示解码版本中的视觉损失的控制。
5.根据权利要求3所述的方法,其中根据已编码图像块的解码版本的显示的参考照明条件,并且根据所述图像块的量化辉度分量(Llf,Q)或所述图像块的编码量化辉度分量的解码版本来确定所述上界(ΔE)。
6.根据权利要求4所述的方法,其中根据已编码图像块的解码版本的显示的参考照明条件,并且根据所述图像块的量化辉度分量(Llf,Q)或所述图像块的编码量化辉度分量的解码版本来确定所述上界(ΔE)。
7.根据权利要求5或6所述的方法,其中根据所述图像块的量化辉度分量(Llf,Q)的亮度值(YQ)与最大环境亮度值(Yn)的比率或者所述图像块的编码量化辉度分量的解码版本的亮度值(YQ)与最大环境亮度值(Yn)的比率来确定所述上界(ΔE)。
8.根据权利要求4或6所述的方法,其中所述变换(109)是利用所述上界(ΔE)对所述差分辉度分量(Lr)以及潜在地对每一个颜色分量的归一化。
9.根据权利要求3所述的方法,其中在对所述图像块的所获得的辉度分量(Llf)进行量化之前,减小(106)所述图像块的所获得的辉度分量(Llf)的原始动态范围,并且在计算(103)所述差分辉度分量(Lr)和所述上界(ΔE)之前,增加所述图像块的量化辉度分量(Llf,Q)的动态范围或所述图像块的编码量化辉度分量的解码版本的动态范围,以达到所述原始动态范围。
10.根据权利要求4所述的方法,其中在对所述图像块的所获得的辉度分量(Llf)进行量化之前,减小(106)所述图像块的所获得的辉度分量(Llf)的原始动态范围,并且在计算(103)所述差分辉度分量(Lr)和所述上界(ΔE)之前,增加所述图像块的量化辉度分量(Llf,Q)的动态范围或所述图像块的编码量化辉度分量的解码版本的动态范围,以达到所述原始动态范围。
11.根据权利要求1或2所述的方法,其中对所述图像块的量化辉度分量(Llf,Q)进行无损编码(104)。
12.根据权利要求3所述的方法,其中对所述差分辉度分量(Lr)或已变换的差分辉度分量(Lr T)进行修剪以达到动态范围小于或等于目标动态范围(TDR)的差分辉度分量(Lr)或已变换的差分辉度分量(Lr T)。
13.根据权利要求4所述的方法,其中对所述差分辉度分量(Lr)或已变换的差分辉度分量(Lr T)进行修剪以达到动态范围小于或等于目标动态范围(TDR)的差分辉度分量(Lr)或已变换的差分辉度分量(Lr T)。
14.一种对图像进行编码的方法,其特征在于所述方法包括:
-从所述图像获得至少一个图像块,
-根据符合权利要求1至13之一的方法对每一个图像块进行编码(1)。
15.根据权利要求14所述的方法,其中通过递归地划分图像块直到未达到准则来获得所述至少一个图像块。
16.一种对表示图像块的辉度分量的比特流进行解码的方法,其特征在于所述方法包括:
-通过对所述比特流至少部分地进行解码来获得(70)频率系数集,所述频率系数集与要解码的图像块的基于块的空间-频率变换相关;
-将所述频率系数集划分(71)为两个频率系数子集:一个子集表示辉度分量的低空间频率版本的估计另一个子集表示差分辉度分量的估计以及
-将低空间频率版本的估计和差分辉度分量的估计相加(74)在一起以得到所述图像块的估计。
17.一种从比特流解码图像的方法,其特征在于所述方法包括:
-通过对所述比特流至少部分地解码,获得与要解码的图像的至少一个图像块相关的数据,
-根据符合权利要求16的方法对每一个图像块进行解码(2)。
18.一种对图像块进行编码的设备,其特征在于所述设备包括处理器,所述处理器配置为:
-获得(LF)所述图像块的辉度分量的低空间频率版本(Llf),即所述图像块的所获得的辉度分量;
-通过对所述图像块的所获得的辉度分量(Llf)进行量化(Q)来获得所述图像块的量化辉度分量;
-通过计算所述图像块的辉度分量(L)与所述图像块的量化辉度分量(Llf,Q)或者与所述图像块的编码量化辉度分量的解码版本之间的差,来获得差分辉度分量(Lr);
-使用通常从用于对图像块的辉度分量进行编码的基于块的空间-频率变换而获得的频率系数集中的至少一个频率系数,对所述图像块的量化辉度分量(Llf,Q)进行编码(DC);以及
-基于所述频率系数集中的其余频率系数对所述差分辉度分量(Lr)进行编码(AC)。
19.一种对表示图像块的辉度分量的比特流进行解码的设备,其特征在于所述设备包括处理器,所述处理器配置为:
-通过对所述比特流至少部分地进行解码来获得(DEC1)频率系数集,所述频率系数集与要解码的图像块的基于块的空间-频率变换相关;
-将所述频率系数集划分(SP)为两个频率系数子集:一个子集表示辉度分量的低空间频率版本的估计另一个子集表示差分辉度分量的估计以及
-将低空间频率版本的估计和差分辉度分量的估计相加在一起以得到所述图像块的估计。
CN201480069197.2A 2013-12-19 2014-12-15 对高动态范围图像进行编码的方法和设备 Active CN105850123B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306789.2A EP2887664A1 (en) 2013-12-19 2013-12-19 Method and device for encoding a high-dynamic range image
EP13306789.2 2013-12-19
PCT/EP2014/077675 WO2015091311A1 (en) 2013-12-19 2014-12-15 Method and device for encoding a high-dynamic range image

Publications (2)

Publication Number Publication Date
CN105850123A CN105850123A (zh) 2016-08-10
CN105850123B true CN105850123B (zh) 2019-06-18

Family

ID=49955845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480069197.2A Active CN105850123B (zh) 2013-12-19 2014-12-15 对高动态范围图像进行编码的方法和设备

Country Status (7)

Country Link
US (1) US10574987B2 (zh)
EP (2) EP2887664A1 (zh)
JP (1) JP2017500814A (zh)
KR (1) KR20160099585A (zh)
CN (1) CN105850123B (zh)
TW (3) TW201526613A (zh)
WO (1) WO2015091311A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2018002646A (es) * 2015-09-02 2018-06-20 Thomson Licensing Metodo y aparato para cuantificacion de codificacion y decodificacion de video.
US9819956B2 (en) * 2015-09-23 2017-11-14 Arris Enterprises Llc High dynamic range adaptation operations at a video decoder

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2317769A1 (en) * 2009-11-02 2011-05-04 Panasonic Corporation Luminance dependent quantization
CN102084653A (zh) * 2007-06-29 2011-06-01 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
CN103124347A (zh) * 2012-10-22 2013-05-29 上海大学 利用视觉感知特性指导多视点视频编码量化过程的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07322146A (ja) * 1994-05-20 1995-12-08 Canon Inc ノイズ低減装置及び撮像装置
US5881180A (en) * 1996-02-08 1999-03-09 Sony Corporation Method and apparatus for the reduction of blocking effects in images
US6847737B1 (en) * 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
JP3944738B2 (ja) * 2003-03-18 2007-07-18 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7483486B2 (en) * 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
US20080012856A1 (en) * 2006-07-14 2008-01-17 Daphne Yu Perception-based quality metrics for volume rendering
KR101143833B1 (ko) * 2007-05-29 2012-07-12 삼성테크윈 주식회사 재현성이 높은 휘도 신호를 발생시키는 영상 신호 처리장치
RU2013149856A (ru) 2011-04-08 2015-05-20 Конинклейке Филипс Н.В. Кодирование и декодирование видео
ES2899579T3 (es) 2011-12-06 2022-03-14 Dolby Laboratories Licensing Corp Dispositivo y método para mejorar el intercambio de datos de imágenes basado en no linealidad de luminancia perceptual a través de diferentes capacidades de visualización
JP5807537B2 (ja) * 2011-12-15 2015-11-10 富士通株式会社 検証方法、検証装置、および検証プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084653A (zh) * 2007-06-29 2011-06-01 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
EP2317769A1 (en) * 2009-11-02 2011-05-04 Panasonic Corporation Luminance dependent quantization
CN103124347A (zh) * 2012-10-22 2013-05-29 上海大学 利用视觉感知特性指导多视点视频编码量化过程的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Simple method for enhancing the performance of;Nasir D. Memon,etal;《Journal of Electronic Imaging》;19930701;第245-252页

Also Published As

Publication number Publication date
TW201526614A (zh) 2015-07-01
TW201526613A (zh) 2015-07-01
US20160316205A1 (en) 2016-10-27
EP3085088A1 (en) 2016-10-26
EP2887664A1 (en) 2015-06-24
WO2015091311A1 (en) 2015-06-25
TW201536028A (zh) 2015-09-16
TWI668990B (zh) 2019-08-11
CN105850123A (zh) 2016-08-10
KR20160099585A (ko) 2016-08-22
JP2017500814A (ja) 2017-01-05
US10574987B2 (en) 2020-02-25
EP3085088B1 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
CN113785577B (zh) 用于指示色度量化参数映射函数的方法和装置
JP6568078B2 (ja) 画像データを符号化するための方法および装置ならびに画像データを復号するための方法および装置
JP5545783B2 (ja) 画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法
CN105247871A (zh) 帧内块复制预测中的块翻动和跳跃模式
US9979973B2 (en) Encoding and decoding methods for adapting the average luminance of high dynamic range pictures and corresponding encoder and decoder
EP2961168A1 (en) Method and apparatus for predicting image samples for encoding or decoding
WO2015097118A1 (en) Method and device for encoding a high-dynamic range image into a bitstream and/or decoding a bitstream representing a high-dynamic range image
CN105850123B (zh) 对高动态范围图像进行编码的方法和设备
CN107094251B (zh) 一种基于空间位置自适应质量调整的视频、图像编解码方法及装置
WO2015128269A1 (en) Method and device for quantizing image data, method and device for encoding an image and method and device for decoding an image
WO2015091323A1 (en) Method and device for encoding a high-dynamic range image
EP2887668A1 (en) Method and device for encoding a high-dynamic range image
KR20160135670A (ko) 픽처 블록을 인코딩/디코딩하기 위한 방법
TW201531089A (zh) 將影像資料編碼之方法及裝置,以及將影像資料解碼之方法及裝置
CN116830575A (zh) 用于对具有不同位深度的视频信号进行哈达玛变换域滤波的方法和装置
Xie Image and Video Compression
WO2015062942A1 (en) Method and device for predictive coding/decoding of a group of pictures of a sequence of images with conversion of the dynamic of the values of the pixels

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190916

Address after: Delaware

Patentee after: Interactive Digital VC Holding Company

Address before: I Si Eli Murli Nor, France

Patentee before: Thomson Licensing SA