CN106063266B - 用于编码图像数据的方法和装置以及用于解码图像数据的方法和装置 - Google Patents
用于编码图像数据的方法和装置以及用于解码图像数据的方法和装置 Download PDFInfo
- Publication number
- CN106063266B CN106063266B CN201580008197.6A CN201580008197A CN106063266B CN 106063266 B CN106063266 B CN 106063266B CN 201580008197 A CN201580008197 A CN 201580008197A CN 106063266 B CN106063266 B CN 106063266B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- coding
- space
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 84
- 238000011282 treatment Methods 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 230000008447 perception Effects 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 21
- 241000023320 Luma <angiosperm> Species 0.000 claims description 15
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 8
- 101001006871 Homo sapiens Kelch-like protein 25 Proteins 0.000 claims description 7
- 102100027800 Kelch-like protein 25 Human genes 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 102100035087 Ectoderm-neural cortex protein 1 Human genes 0.000 claims description 5
- 101000877456 Homo sapiens Ectoderm-neural cortex protein 1 Proteins 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 101100065251 Drosophila melanogaster enc gene Proteins 0.000 claims 1
- 238000012545 processing Methods 0.000 description 19
- 230000009466 transformation Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 238000013139 quantization Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 102100026190 Class E basic helix-loop-helix protein 41 Human genes 0.000 description 6
- 101000765033 Homo sapiens Class E basic helix-loop-helix protein 41 Proteins 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 102100026191 Class E basic helix-loop-helix protein 40 Human genes 0.000 description 4
- 101710130550 Class E basic helix-loop-helix protein 40 Proteins 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000037452 priming Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种用于对在具有亮度分量和色差度量的感知空间内定义的大动态范围图像的至少一部分进行编码的方法和设备，所述方法包括：通过应用包括至少一个编码参数的编码参数集，使用可应用于小动态范围(LDR)图像的编码处理，来对所述图像的至少一部分的分段进行编码；在大动态范围的感知空间内重构编码分段；评估所述编码分段在大动态范围的感知空间内的速率失真成本；以及基于评估的速率失真成本，调整用于分段的编码处理的所述编码参数集。还提供了对应的解码设备和方法。
Description
技术领域
本发明涉及一种用于编码图像数据的方法和装置以及一种用于解码图像数据的方法和装置。具体但非排他地，本发明涉及针对大动态范围(HDR)应用的视频数据的编码和解码。
背景技术
由成像器件捕获的场景中的光的变化会非常大。例如，相较于被直射阳光照射的对象，位于场景阴影内的对象会呈现为非常暗。传统小动态范围(LDR)图像提供的有限动态范围和色域不能提供足够的范围来准确再现在这种场景内的亮度和颜色的改变。通常，通过有限数量的比特(通常，8比特、10比特或12比特)来表示代表LDR图像的像素的亮度或颜色的LDR图像的分量值。由这种表示提供的有限亮度范围无法有效地再现小信号变化，尤其是在亮度的明暗范围内。
相较于传统LDR图像，大动态范围成像(也称作HDR或HDRI)能够在场景的明暗区域之间具有较大动态范围的亮度。通过将信号表示扩展到较宽的动态范围以便在整个范围内提供较高的信号精度，来在HDR成像中实现该目的。在HDR图像中，像素的分量值通常被表示为大量比特(例如，从16比特到64比特)，包括浮点格式(例如，针对每个分量有32比特或16比特，即，浮点或半浮点)，最常用的格式是openEXR半浮点格式(每个RGB分量16比特；即，每个像素48比特)或具有较长表示的整型，通常至少为16比特。这种范围与人体视觉系统的天然灵敏度相对应。这样，HDR图像更准确地呈现在实际场景内发现的大范围的亮度，从而提供对该场景的更真实表示。
然而，由于提供了较大范围的值，HDR图像消耗大量存储空间和带宽，从而使HDR图像和视频的存储和传输变得困难。因此，需要高效的编码技术将数据压缩为较小的、更可管理的数据尺寸。寻找有效压缩HDR数据同时保留亮度的动态范围以便准确呈现的适合编码/解码技术是富有挑战性的。
一种用于编码HDR图像的典型方法在于：减小图像的动态范围，以便通过用于编码LDR图像的传统编码方案来对该图像进行编码。
例如，在一个这种技术中，将色调映射运算符(tone-mapping operator)应用于输入的HDR图像，并通过传统8-10比特深度编码方案(诸如，JPEG/JPEG200或MPEG-2、针对视频的H.264/AVC(Karsten Suhring，H.264/AVC Reference Software，http：//iphome.hhi.de/suehring/tml/download/，I.E.Richardson所著的书名为《H.264andMPEG-4video compression》，由J.Wiley&Sons在2003年9月出版))来编码经色调映射的图像。接着，将逆色调映射运算符应用于解码图像，计算输入图像和所述解码并经过逆色调映射的图像之间的残差。最后，通过第二传统的8-10比特深度编码器方案来对所述残差进行编码。
该第一种方法的主要缺点在于：使用了两种编码方案，并且具有输入图像的动态范围是传统编码方案的动态范围的二倍(16-20比特)的限制。根据另一种方法，转换输入的HDR图像以便在颜色空间中获得图像像素的视觉无损表示，所述颜色空间中的数值属于与传统8-10比特深度或扩展12、14或16比特深度编码方案(诸如，HEVC(例如，B.Bross、W.J.Han、G.J.Sullivan、J.R.Ohm和T.Wiegand JCTVC-K1003，“High Efficiency VideoCoding(HEVC)text specification draft 9”，2012年10月)以及高比特深度扩展可兼容的动态范围。即使传统的编解码器可以操作高像素(比特)深度，通常仍然难以贯穿图像以均匀方式以这种比特深度进行编码，这是由于所获得的压缩比过低而无法用于传输应用。
使用可应用于LDR图像的编码技术的其他方法会在解码图像中会引起伪象。基于上述内容，设计出本发明。
发明内容
根据本发明的第一方面，提供了一种对在具有亮度分量和色差度量的感知空间内定义的大动态范围图像的至少一部分进行编码的方法，所述方法包括：
通过使用可应用于小动态范围(LDR)图像的编码处理并应用在所述编码处理中的至少一个编码参数，对所述图像的至少一部分的分段进行编码；
在大动态范围的感知空间内重构编码分段；
在大动态范围的感知空间内评估针对编码分段的速率失真成本；以及
基于评估的速率失真成本，针对所述分段的编码处理来调整所述至少一个编码参数。
图像的分段可以是指图像的块。块可以例如是预测单元(PU)、编码单元(CU)或变换单元(TU)。
在实施例中，至少一个编码参数定义了图像到要编码的分段的分区，每个分段具有对应HDR感知空间。
在实施例中，至少一个编码参数包括编码四叉树参数。
在实施例中，所述方法包括：基于所述分段的对应图像采样的亮度值，获得针对所述分段的公用代表性亮度分量值。
在实施例中，评估速率失真成本包括：评估与公用代表性分量值的编码相关的速率。
在实施例中，该编码处理是HEVC类型编码处理，图像的至少一部分的分段与编码单元、预测单元或变换单元相对应。
在实施例中，所述方法包括：在编码分段之前，基于公用代表性亮度分量值，在局部感知空间内表示图像分段。
在实施例中，所述方法包括：在局部LDR域中获得针对所述分段的局部残差亮度分量，所述局部残差亮度分量对应于原始图像的对应亮度分量和该分段的公用代表性亮度值之间的差。
在实施例中，所述方法包括：在局部感知空间内针对所述分段获得至少一个对应图像部分，所述至少一个图像部分与根据所述分段的公用代表性亮度值归一化的分段的局部残差亮度分量或颜色分量相对应。
在实施例中，评估速率失真成本包括：评估与对所述至少一个图像部分的编码相关联的速率。
在实施例中，评估速率失真成本包括：评估与编码局部残差亮度分量相关联的速率。
在一个实施例中，评估速率失真成本包括：在大动态范围的感知空间内，评估与重构编码分段相关联的失真。
在实施例中，基于以下表达式来评估针对编码参数集p的速率失真成本DHDR：
DHDR(CU，p)+λ(RLDR(CU，p)+R(Llf，p))
其中：
○RLDR(Cu，p)是与残差图像部分的编码相关联的速率；
R(Llf，p)是与公用代表性亮度分量值的编码相关联的速率；
DHDR(CU，p)是在大动态范围的感知空间内与重构编码分段相关联的失真。
λ是拉格朗日参数。
在实施例中，所述方法包括：在局部感知空间内重构的残差图像部分的采样以及原始纹理的采样和所述图像的对应采样之间执行视觉无损细化。
根据本发明的第二方面，提供了一种用于对在具有亮度分量和色差度量的感知空间内定义的大动态范围图像的至少一部分进行编码的编码设备，所述设备包括：
编码器(ENC1、ENC2、ENC3)，用于通过在可应用于小动态范围(LDR)图像的编码处理中应用至少一个编码参数，使用所述编码处理来编码所述图像的至少一部分的分段；
重构模块(REC)，在大动态范围的感知空间内重构编码分段；
速率失真模块(RATE-DIST)，用于在大动态范围的感知空间内确定针对编码分段的速率失真成本；以及
编码器管理模块(ENCODER CONTROL)，用于基于评估的速率失真成本，针对所述分段的编码处理来调整所述至少一个编码参数。
图像的分段可以是指图像的块。块可以例如是预测单元(PU)、编码单元(CU)或变换单元(TU)。
在实施例中，至少一个编码参数定义了图像到要编码的分段的分区，每个分段具有对应HDR感知空间。
在实施例中，至少一个编码参数包括编码四叉树参数。
在实施例中，所述编码设备包括：用于基于所述分段的对应图像采样的亮度值来获得针对所述分段的公用代表性亮度分量值的模块。
在实施例中，速率失真模块配置为：评估与公用代表性分量值的编码相关联的速率。
在实施例中，所述编码设备配置为执行HEVC类型编码处理，图像的至少一部分的分段与编码单元、预测单元或变换单元相对应。
在实施例中，所述编码设备包括用于在分段的编码之前，基于公用代表性亮度分量值，在局部感知空间内表示图像分段的模块。
在实施例中，所述编码设备包括用于在局部LDR域中获得针对所述分段的局部残差亮度分量的模块，所述局部残差亮度分量对应于原始图像的对应亮度分量和该分段的公用代表性亮度值之间的差。
在实施例中，所述编码设备包括：用于在局部感知空间内获得针对所述分段的至少一个图像部分的模块，所述至少一个图像部分与局部残差亮度分量或所述分段的颜色分量相对应，根据所述分段的公用代表性亮度值进行归一化。
在实施例中，所述速率失真模块配置为：评估与残差图像部分的编码相关联的速率。
在实施例中，所述速率失真模块配置为：在大动态范围的感知空间内，评估与对编码分段的重构相关联的失真。
在实施例中，基于以下表达式来计估针对编码参数集p的速率失真成本DHDR：
DHDR(CU，p)+λ(RLDR(CU，p)+R(Llf，p))
其中：
○RLDR(Cu，p)是与残差图像部分的编码相关联的速率；
R(Llf，p)是与公用代表性亮度分量值的编码相关联的速率；
DHDR(CU，p)是在大动态范围的感知空间内与对编码分段的重构相关联的失真。
λ是拉格朗日参数。
在实施例中，所述编码设备包括：用于在重构于局部感知空间内的残差图像部分的采样以及所述图像的对应采样之间执行视觉无损细化的模块。
根据本发明的第三方面，提供了一种用于解码比特流的解码方法，所述比特流表示在具有亮度分量和色差度量的感知空间内定义的大动态范围图像的至少一部分，所述方法包括：
访问表示至少一个编码参数的编码数据；以及
通过应用与所述至少一个编码参数相对应的至少一个解码参数，使用可应用于小动态范围(LDR)图像的解码处理来解码所述图像的至少一部分的分段；
其中在通过可应用于LDR图像的编码处理对所述分段进行编码并在大动态范围的感知空间内重构所述分段之后，基于针对所述分段评估的速率失真成本来确定所述至少一个编码参数。
图像的分段可以是指图像的块。块可以例如是预测单元(PU)、编码单元(CU)或变换单元(TU)。
在实施例中，至少一个解码参数定义了图像到要解码的分段的分区，每个分段具有对应HDR感知空间。
在实施例中，至少一个解码参数包括解码四叉树参数。
根据本发明的第四方面，提供了一种用于解码比特流的解码设备，所述比特流表示在具有亮度分量和色差度量的感知空间内定义的大动态范围图像的至少一部分，所述设备包括：
接口，用于访问对至少一个编码参数加以表示的编码数据以便编码所述图像；以及
解码器，用于通过应用与所述至少一个编码参数相对应的至少一个解码参数，使用可应用于小动态范围(LDR)图像的解码处理来对所述图像的至少一部分的分段进行解码；
其中在通过可应用于LDR图像的编码处理对所述分段进行编码并在大动态范围的感知空间内重构所述分段之后，基于针对所述分段评估的速率失真成本来确定所述至少一个编码参数。
图像的分段可以是指图像的块。块可以例如是预测单元(PU)、编码单元(CU)或变换单元(TU)。
在实施例中，至少一个解码参数定义了图像到要解码的分段的分区，每个分段具有对应HDR感知空间。
在实施例中，至少一个解码参数包括解码四叉树参数。
根据本发明的第五方面，提供了一种比特流，所述比特流表示在具有亮度分量和色差度量的感知空间内定义的大动态范围图像的至少一部分，所述比特流还包括：承载表示编码参数集的数据的信号，其中在经由可应用于LDR图像的编码处理对所述分段进行编码并在大动态范围的感知空间内重构所述分段之后，基于针对所述分段评估的速率失真成本来确定所述至少一个编码参数。
根据本发明的第一和第二方面的实施例中的任一实施例，确定所述第三、第四和第五方面的至少一个编码参数。
本发明的另一方面提供了一种对在具有亮度分量和色差度量的大动态范围感知空间内定义的大动态范围图像的至少一部分进行编码的方法，所述方法包括：
使用可应用于小动态范围(LDR)图像的编码处理并应用在所述编码处理中的至少一个编码参数，来对所述图像部分的分段进行编码；以及基于速率失真成本，针对所述分段的编码处理调整所述至少一个编码参数，其中在重构编码分段之后，在大动态范围的感知空间内针对编码分段评估所述速率失真成本。
本发明的另一方面，提供了一种用于对在具有亮度分量和色差度量的大动态范围的感知空间内定义的大动态范围图像的至少一部分进行编码的编码设备，所述设备包括配置为执行以下操作的一个或更多个处理器：
使用可应用于小动态范围(LDR)图像的编码处理并应用在所述编码处理中的至少一个编码参数，来对所述图像的至少一部分的分段进行编码；
在大动态范围的感知空间内重构编码分段；
在大动态范围的感知空间内评估针对编码分段的速率失真成本；以及
基于所评估的速率失真成本，针对所述分段的编码处理来调整所述至少一个编码参数。
根据本发明的另一方面，提供了一种用于解码比特流的解码设备，所述比特流表示在具有亮度分量和色差度量的感知空间内定义的大动态范围图像的至少一部分，所述设备包括配置为执行以下操作的一个或更多个处理器：
访问对用于编码所述图像的至少一个编码参数加以表示的编码数据，
通过应用与所述至少一个编码参数分别对应的至少一个解码参数，使用可应用于小动态范围(LDR)图像的解码处理来对所述图像的至少一部分的分段进行解码；
其中在通过可应用于LDR图像的编码处理对所述分段进行编码并在大动态范围的感知空间内重构所述分段之后，基于针对所述分段评估的速率失真成本来预先确定所述至少一个编码参数。
本发明的实施例提供针对用于大范围应用的大动态范围图像数据的编码和解码方法，从而提供改善的视觉体验。
根据本发明的方法的至少部分可以是通过计算机实现的。从而，本发明可采取全硬件实施例、全软件实施例(包括固件、驻留软件、微代码等)或组合了软硬件方面的实施例的形式，它们都可在这里被统称为″电路″、″模块″或″系统″。此外，本发明可采取由可在任意有形介质中实现的计算机可使用程序代码表达的实现于所述介质中的计算机程序产品的形式。
由于本发明可实现为软件，所以本发明可实现为计算机可读代码，以用于在任意合适载体介质上提供给可编程装置。有形载体介质可包括存储介质，比如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等。瞬时载体介质可包括信号，比如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如微波或RE信号)。
附图说明
现在参照附图，以仅作为示例的方式对本发明的实施例进行描述，其中：
图1是根据本发明的第一实施例的编码处理的框图；
图2是示出了根据HEVC视频压缩标准将编码单元分解为预测单元和变换单元的示例的示意图；
图3是根据本发明的实施例的编码处理的框图；
图4是根据本发明的另一实施例的编码处理的框图；
图5是根据本发明的一个或更多个实施例的解码处理的框图；
图6A是根据本发明的一个或更多个实施例的编码设备的框图；
图6B是根据本发明的一个或更多个实施例的解码设备的框图；以及
图7是可以实现本发明的一个或更多个实施例的数据通信系统的示例的框图。
具体实施方式
图1示出了根据本发明的第一实施例的用于编码图像I的至少一部分的方法的步骤的示意框图。图1的方法的编码步骤通常基于可应用于LDR型图像的HEVC压缩标准，但是应认识到，本发明的实施例还可以用于其他可应用于LDR型图像的编码标准，诸如，H.264/AVC、MPEG2或MPEG4。
所述方法开始于获取HDR图像数据。HDR图像数据可以表示多个图像的视频序列、图像或图像的一部分。为了简化下文的描述，所获取的图像数据与HDR图像相对应。可以从成像设备(诸如，视频摄像机)直接获取HDR图像数据，从位于局部的或远程布置的存储设备获取HDR图像，或经由无线或有线传输线接收HDR图像。
如本文所使用地，术语“HDR图像”是指包括通常被表示为多于16比特的浮点(浮点或半浮点)、定点或定长表示整数格式的大动态范围数据的任何HDR图像。可以在任何颜色或感知空间内定义定义输入的HDR图像。例如，在本实施例中，在RGB颜色空间内定义输入的HDR图像。在另一实施例中，可以在其他颜色空间(诸如，YUV)或任何感知空间中定义输入的HDR图像。
通常，在包括对图像像素的亮度加以表示的数据的图像上执行所述处理的编码步骤。这种图像数据包括亮度分量L和潜在地至少一个颜色分量C(i)，其中i是表示该图像的颜色分量的索引。图像的分量定义了颜色空间，通常，3D空间，例如，可以在包括亮度分量L和潜在地两个颜色分量C1和C2的颜色感知空间内定义所述图像。
然而，应认识到，本发明不限于具有颜色分量的HDR图像。例如，HDR图像可以是在感知空间内具有亮度分量而没有任何颜色分量的灰度图像。
将感知空间定义为包括含有亮度分量的多个分量并具有色差度量d((L，C1，C2)，(L′，C1′，C2′))的颜色空间，其中优选地，色差度量的值表示与所述感知空间的两点的视觉感知之间的对应差成正比。例如，颜色空间具有亮度分量L以及两个颜色分量C1和C2。
数学上讲，将颜色差度量d((L，C1，C2)，(L′，C1′，C2′))定义为使得存在感知阈值ΔE0(也称作JND，最小可觉差)，低于该阈值则人眼无法在感知空间中感知两个颜色之间的视觉差，即
d((L，C1，C2)，(L′，C1′，C2′))＜ΔE0， (1)
感知阈值ΔE0独立于感知空间的两点(L，C1，C2)和(L′，C1′，C2′)。因此，对分量属于感知空间的图像进行编码以使式(1)的度量依然小于界限ΔE0，确保了所显示的编码版本的图像是视觉无损的。
当所获取的图像I包括属于非感知空间的分量(诸如，(R，G，B))时，在步骤S101，通过图像转换模块IC向图像数据I施加感知变换，以便获得具有亮度分量L以及潜在地两个颜色分量C1和C2的HDR图像Ip，其中所述亮度分量和两个颜色分量定义了感知空间。所执行的感知变换取决于显示的光线条件和初始颜色空间。例如，假设初始颜色空间是(R，G，B)颜色空间，首先将图像I变换为已知的线性空间(X，Y，Z)。该步骤包括：根据需要，通过应用逆伽马校正并接着用3x3变换矩阵将线性RGB空间数据变换为XYZ空间，执行数据的线性化。对于此步骤，使用表示图像的视觉环境的数据。例如，使用在(X，Y，Z)空间内定义了显示的参考光线条件的3D矢量值(Xn，Yn，Zn)。
例如，在选择感知空间LabCIE1976的情况下，将感知变换定义如下：
L*＝116f(Y/Yn)-16
a*＝500(f(X/Xn)-f(Y/Yn))
b*＝200(f(Y/Yn)-f(Z/Zn))
其中f是例如伽马校正函数，定义如下：
f(r)＝r1/3if r＞(6/29)3
否则
当满足在感知空间LabCIE1976上限定的以下色差度量时，在参考光线条件(Xn，Yn，Zn)下，人类可将两个颜色彼此区分：
d((L*，a*，b*)，(L*′，a*′，b*′))2＝(ΔL*)2+(Δa*)2+(Δb*)2＜(ΔE0)2
ΔL*是两个颜色(L*，a*，b*)和(L*，a*，b*′)的亮度分量之间的差，且Δa*(对应地，Δb*))是这两个颜色的颜色分量之间的差。通常，ΔE0的值在1和2之间。
在一些情况下，可以对空间(X，Y，Z)内的图像进行逆变换，以便获得解码图像在初始空间内的估计，例如，在本示例中，为(R，G，B)空间中。对应的逆感知变换表示为：
Y＝Ynf-1(1/116(L*+16))
根据另一示例，当选择感知空间Lu*v*时，可以将感知变换定义如下：
u*＝13L(u′-u′white)以及v*＝13L(v′-v′white)
其中具体定义如下：
以及
可以在感知空间Lu*v*上定义以下欧几里得度量：
d((L*，u*，v*)，(L*′，u*′，v*′))2＝(ΔL)2+(Δu*)2+(Δv*)2
ΔL*是两个颜色(L*，u*，v*)和(L*′，u*′，v*′)，的亮度分量之间的差，且Δu*(对应地，Δv*))是这两个颜色的颜色分量之间的差。
对应的针对Luv空间的逆感知变换表示为：
应认识到，本发明不限于感知空间LabCIE1976，且可以扩展至任何类型的感知空间，诸如，LabCIE1994、LabCIE2000，或任何其他欧几里得感知空间，其中LabCIE1994、LabCIE2000均是相同Lab空间但二者具有不同度量来测量感知距离。
其他示例是LMS空间和IPT空间。条件在于在这些感知空间上，定义度量使得它优选地与感知差成正比；因此，同质最大感知阈值ΔE0小于人类在该感知空间中无法感知的两个颜色之间的视觉差。
在步骤S102，通过分区模块PART1将图像空间分解为一系列空间单元或分段。图2示出了在编码图像时根据HEVC视频压缩技术的空间编码结构的示例。在HEVC类型编码器的情况下，最大空间单元被称作编码树单元(CTU)。根据由编码参数指示的分解配置，将每个空间单元进一步分解为多个元素，通常被称作四叉树。四叉树的每个分支被称作编码单元(CU)，并被进一步分区为一个或更多个子元素，称作预测单元(PU)和变换单元(TU)。
在图1的示例的步骤S102，将编码单元分区为一个或更多个分段或块B1，在本示例中，所述分段或块与预测单元(PU)相对应以便根据由编码器控制模块ENCODER CONTROL管理的编码参数进行基于预测的编码。
尽管在本示例中步骤S102的输出块B1是PU，然而应认识到在本发明的应用HEVC类技术的其他实施例中，步骤S102的输出可以是CU或TU。在其他实施例中，块B1将表示正编码的适合空间区域的图像。
在本示例中，每个预测单元或块B1对应于和相应预测(帧内或帧间)参数相关联的方形或矩形空间区域的图像：
编码器控制模块管理用于对当前图像中的给定编码单元或编码单元的子元素进行编码的策略。为此，编码器控制模块向当前编码单元或编码单元子元素分配候选编码参数。这些编码参数可以包括以下编码参数中的一个或更多个：
·针对编码四叉树、预测单元和变换单元的编码树单元组织(organization)。
·分配给编码树的编码单元的编码模式(帧内或帧间)。
·针对所考虑的编码树内每个帧内编码单元的帧内预测模式(DC、平面或角度方向)。
·在帧间编码单元的情况下，帧间预测参数：运动矢量、参考画面索引等。
在本文所述的本发明的实施例中，计算与利用候选编码参数编码当前编码单元相关的速率失真成本，编码器控制模块根据计算出的速率失真成本来适配编码参数中的至少一个。
通过最小化速率失真成本来执行针对编码单元的编码参数选择，如下所示：
其中p表示针对给定编码单元的候选编码参数集，λ表示拉格朗日参数，D(p)和R(p)分别表示与利用候选的编码参数集p编码当前编码单元相关的失真和速率。
在本发明的实施例中，失真项D(p)表示在要编码的图像的初始HDR感知空间内获得的编码误差。通常，这涉及在计算与编码参数p相关的失真D(p)之前，将正被处理的CU或CU子元素重构到原始(L*，a*，b*)空间，如下文所述。由于考虑在其原始HDR空间内的编码单元或子元素，这种方法有助于减少解码图像中出现的伪象。
在步骤S103，向每个预测单元或块分派亮度分量值，被称作低空间频率亮度分量Llf，表示构成该预测单元或块的采样(采样可以包括一个或更多个像素)的亮度值的平均值。由亮度处理模块LF来执行该操作。计算低空间频率亮度分量基本涉及对原始图像的亮度分量进行下采样。应认识到，本发明不限于用于针对每个预测单元或块来计算低空间频率版本的任何具体实施例，可以使用图像Ip的亮度分量的任何低通滤波或下变频。在步骤S104，通过量化单元Q来量化低空间频率亮度分量，以便提供量化的低空间频率亮度分量在步骤S110，通过熵编码器ENC1来对量化的低空间频率亮度分量执行熵编码，以便输出视频流。本文中，低空间频率亮度分量的编码可以是指第一层或亮度层的编码。
基于量化的低空间频率亮度分量的对应值，在步骤S105，通过局部感知变换单元LPT将预测单元或块的亮度和颜色分量的值变换到局部感知空间，与步骤S101的感知空间变换相对应。本示例中的这种感知空间为感知空间L*a*b*。量化的低空间频率亮度分量被用作显示的参考光线条件。所述块的这种局部感知空间L*a*b*的亮度和颜色分量表示为实际上，到局部感知空间的变换取决于量化的低空间频率亮度分量和在编码过程中在局部感知空间内作为目标的最大误差阈值ΔE。
到局部感知空间的变换包括以下步骤。首先经由以下亮度残差计算，将亮度变换为所谓的LDR表示：
其中Lr表示计算出的残差亮度分量；L表示在原始图像内的对应亮度分量，表示量化的低空间频率亮度分量。
这种步骤可以在本文中被称作LDR局部化步骤。
然后，在局部感知空间内将残差亮度分量Lr表示如下。假设在L*a*b*感知空间模式下的额定光线亮度Yn，由于因子YE而导致的光线条件的改变对感知空间分量变换如下：
(Xn，Yn，Zn)→(YEXn，YEYn，YEZn)
与在感知阈值E0的变化ΔE0相对应，其中：
ΔE0→ΔE0.YE (1/3)
因此，在后处理中，根据最大光线变化乘积因子，调整感知阈值E0以适应于编码。考虑到YE＝Ylf/Yn，量化的低空间频率亮度分量的局部发光度的信息，其中Ylf和之间的关系定义如下：
这样，由于感知空间基于与每个预测单元相关联的低空间频率亮度分量对感知空间进行局部化。
实践中，在与LabCIE76感知空间相对应的实施例中，感知空间的局部化采用以下形式：
相对于颜色分量a*和b*，无需LDR局部化。感知空间的局部化涉及以下变换：
在步骤S106，通过另一CU分区步骤，将每个预测单元分解为一个或更多个变换单元(TU)。例如，在帧内编码单元的情况下，根据相邻的TU，对编码单元的每个变换单元执行空间预测，其中预先对TU进行编码和重构。在步骤S107，确定与当前TU相关联的残差纹理。然后，由变换单元T在步骤S108对残差纹理进行变换，并由量化单元Q在步骤S109对其进行量化，以便在步骤S111由熵编码器ENC2进行熵编码。可以由编码器控制模块基于本发明实施例的速率失真计算来确定针对所述变换单元使用的编码参数。本文中可以将纹理残差的编码称作第二层编码。
因此，在局部感知空间内表示每个预测单元中要编码的残差纹理数据。如果针对要编码的HDR图像的四叉树表示的CTU的选择，根据局部感知空间来计算速率失真成本，则可能增加不一致性。例如，假设对于给定特定四叉树等级的CU，编码器的分区单元必须在两种类型的预测单元2Nx2N和NxN之间选择，对应速率失真成本之间的比较如下所示：
即：
从右侧的项中可以看出，对针对在不同颜色空间内表示的PU计算出的失真执行加法。这样可能引起不一致性。
为了解决这种问题，在本发明的实施例中，在原始HDR感知空间内而不是在局部LDR感知空间内考虑与图像的空间实体相关联的速率失真成本。这样，由于与该图像的不同图像块相对应的速率失真成本是在相同的感知空间内计算出的，因此与速率失真成本是可比较的。因此，在HDR空间内重构编码单元的步骤包括在图1的实施例的编码处理中。如下所示地执行在HDR空间内对编码单元的重构：
通过执行步骤S112的逆变换、步骤S114的逆变换和步骤S116预测相加，来重构编码单元的每个TU。然后，在步骤S118，在原始HDR空间内获得重构的TU。
对于在HDR空间重构残差TU的S118，可以应用以下式，其中本发明的特定实施例中的局部颜色空间是Lab 76：上式分别与在HDR空间内对该TU的解码像素的重构相对应，亮度分量为L且色度分量a、b：
1.
2.
3.
4.
5.
6.
其中：
·LDRSCALING表示用于固定在LDR编码层的输入处的给定像素的动态范围的恒定整数；
·表示在与包含该采样的PU相关联的局部Lab空间中重构的亮度和色度采样；
·表示在要压缩的原始图像Ip的HDR感知空间中重构的采样；
·表示与经逆量化之后的重构版本PU相关联的低空间频率亮度分量。
将根据本发明的一个或更多个实施例的用于计算速率失真成本以便用编码参数集p对编码单元进行编码的处理阐述如下。在图1的实施例中，在步骤S120，由速率失真模块率RATE-DIST执行失真成本处理。
通过将速率失真成本J重置为0，来初始化该过程：J←0
在步骤S110对低空间频率分量Llf(PU)进行熵编码之后，在步骤S120，针对熵编码的低空间频率分量Llf(PU)确定关联速率R(Llf)。然后根据以下内容更新速率失真成本J：
J←J+λ.R(Llf)其中，λ表示拉格朗日参数。
在步骤S120，针对在步骤S111进行熵编码的残差纹理确定关联速率R(TU，p)。
然后，如下计算在原始HDR感知空间内的重构TU的失真：
其中与原始HDR图像中的TU的采样相对应，与HDR感知空间内重构的TU的采样相对应。然后，将CU的速率失真成本J更新如下：
J←J+DHDR(TU，p)+λ.R(TU，p)
可以将与利用编码参数p进行CU编码相关联的速率失真成本用公式表示为：
DHDR(CU，p)+λ(RLDR(CU，p)+R(Llf，p))
其中：
·RLDR(Cu，p)是在LDR层所考虑的CU的编码成本；
R(Llf，p)是与属于所考虑的CU的PU相关联的低频率亮度分量的编码成本。
在步骤S122，编码器控制模块ENCODER CONTROL基于在步骤S122针对在HDR感知空间内的编码TU计算出的速率失真成本，调整LDR编码处理的编码参数。
图3是示出了包括图1的编码步骤的编码过程的示例的示意框图。将其他模块描述如下。单元130表示存储视频的帧以便进行帧间编码处理的存储器，其中所述帧间编码处理包括运动估计(步骤S131)、运动补偿(步骤S132)。在步骤S133执行对重构的TU的帧内预测。
如图3所示，编码器控制模块负责在步骤S123决定用于对当前图像中的给定编码单元进行编码的策略。
图4是示出了根据本发明的另一实施例的对图像的至少一部分进行编码的方法的步骤的示意框图。参考图4，步骤S201到S214与图1的对应步骤S101到S114类似。图4实施例的处理与图1实施例的不同之处在于：图4实施例的处理包括细化步骤，通常被称作准无损，其中，对正处理的PU在局部感知空间内重构的纹理数据执行细化。所述编码可以被称作三层编码，这是由于它涉及对低空间频率分量Llf进行熵编码、对残差纹理数据进行熵编码以及L∞范数熵编码。编码处理中的附加细化步骤确保在原始纹理数据和所考虑的局部感知空间中重构的纹理数据之间的失真基于L∞范数(步骤S216到S224)。在步骤S221中，编码模块ENC3针对这种编码层执行编码。
在存在层L∞的情况下，编码器可以根据不同操作模式进行操作。在第一操作模式下，仅考虑L∞范数下的重构质量。在这种情况下，以最小速率对图像数据进行编码，从而根据下式确保L∞范数下的质量：
其中表示L∞范数下的目标失真(质量等级)且RL∞表示用于在残差层L∞中对当前CU进行编码的比特数。在这种操作模式下，在所考虑的本地感知空间内，残差层L∞自动地校正可能在原始像素数据和重构块之间出现的失真。减小了对所述层集进行编码的编码速率，并因此改善了压缩的效率。
在三层编码的第二操作模式下，在LDR层的重构质量和三层的总速率之间考虑折中。将速率失真成本用公式表示如下：
其中对应于在LDR层解码并在原始图像的HDR空间内重构的CU的质量。由于LDR层的编码器在L2范数下操作，在L2范数下计算这种质量。此外，RL∞与针对当前CU的细化层L∞的速率相对应。后者的操作模式的优点在于重构了质量良好的中间LDR层。
在所述实施例的每个实施例中，将表示原始HDR图像的编码比特流发送给配备有解码设备的目的地接收设备。可以将关于用于对该图像数据进行编码的调整后的编码参数的信息发送给所述解码设备，以便能够对表示HDR图像的比特流进行解码并重构原始HDR图像。可以在发送对调整后的编码参数加以表示的信息之前，对信息进行编码。例如，在图1和图4的实施例中，由编码器控制模块提供对经调整的编码参数加以表示的数据，并由编码器ENC2将其编码在比特流中。因此，在这些示例中，所述参数被编码在比特流中，与第二层编码相对应(LDR层)。
图5是示出了根据本发明实施例的由解码设备执行的解码过程以便对表示图像I的比特流进行解码的示例的示意框图。在解码过程中，解码器DEC1、DEC2和DEC3配置为分别对由编码器ENC1、ENC2和ENC3编码的数据进行解码。
在该实例中，比特流F表示包括亮度分量和潜在地至少一个颜色分量的HDR图像I。实际上，图像I的分量属于如上所述的感知颜色空间。
在步骤501，通过经由解码器DEC1对比特流F至少部分地解码，来获得图像I的亮度分量的低空间频率版本的解码版本
在步骤502，通过经由解码器DEC2对比特流F至少部分地解码，来获得编码残差纹理数据的解码版本。
在步骤505，将残差纹理数据的解码版本和该图像的亮度分量的低空间频率版本的解码版本彼此相关联，以便获得解码图像
在已根据三层编码处理对该图像数据进行编码(诸如图4的处理)的本发明一些实施例中，提供第三层的解码，其中由解码单元DEC3执行解码。
在步骤530，通过解码设备接收对经调整的编码参数加以表示的数据P，并由参数解码模块DEC-PAR进行解码。在具有图像数据I的比特流中发送编码参数数据P。然后，将所使用的编码参数的信息提供给解码器DEC1、DEC2和DEC3，使得可以利用与由该编码器的编码器控制模块ENCODER CONTROL确定的编码参数一致的解码参数，对编码图像数据进行解码。
解码器DEC2的解码精度取决于在该感知空间中定义的定义了该度量上限的感知阈值ΔE，这确保对显示的解码版本图像中的视觉损耗的控制。因此，解码精度是局部变化的感知阈值的函数。
如上所述，根据实施例，根据显示的参考光线条件(与用于编码的参考光线条件相同)和图像I的亮度分量的低空间频率版本的解码版本确定感知阈值ΔE。
根据实施例，利用感知阈值ΔE，来归一化残差图像的每个分量，以恒定精度对残差图像进行解码，并且通过帮助感知阈值ΔE来对差分图像的解码版本的每个分量进行重新归一化，其中
根据实施例，所述重新归一化是除以作为感知阈值ΔE的函数的值。
编码器ENC1、ENC2和/或ENC3(和解码器DEC1、DEC2和/或DEC3)不限于特定编码器(解码器)，并且当需要熵编码器(解码器)时，诸如霍夫曼编码器、算数编码器或上下文自适应编码器(例如，在h264/AVC或HEVC中使用的Cabac)的熵编码器是有利的。
编码器ENC2(以及解码器DEC2)不限于特定编码器，可以是例如有损图像/视频编码器(例如，JPEG、JPEG2000、MPEG2、h264/AVC或HEVC)。
编码器ENC3(和解码器DEC3)不限于特定无损或准无损编码器，可以是例如图像编码器(如，JPEG无损)、h264/AVC无损、基于trellis的编码器或自适应DPCM类的编码器。
根据一种变型，在步骤510，模块IIC配置为向步骤505输出的解码图像应用逆变换。例如，对解码图像的估计被变换到已知空间(X，Y，Z)。
当选择感知空间LabCIE1976时，逆感知变换表示为：
Y＝Ynf-1(1/116(L*+16))
当选择感知空间Luv时，逆感知变换表示为：
可能地，可以对空间(X，Y，Z)内的图像进行逆变换，以便得到解码图像在诸如(R，G，B)空间的原始空间内的估计。
在图1和3至7中，模块是功能单元，其中所述功能单元可以与或不与可区分的物理单元相对应。例如，多个这种模块可以被关联在独特的组件或电路中，或与软件功能相对应。此外，模块可以有可能包括单独的物理实体。
与本发明实施例可兼容的装置可以仅实现为硬件、仅实现为软件或实现为硬件和软件的组合。从硬件的角度，可以使用例如专用硬件，诸如《Application SpecificIntegrated Circuit》、《Field-Programmable Gate Array》、《Very LargeScaleIntegration》分别记载的ASIC或FPGA或VLSI，或通过使用嵌入在设备中的或来自硬件与软件组件的混合物的若干集成电子元件。
图6A示出了根据本发明实施例的编码设备的示意框图。
编码设备电子设备600包括用于接收和发送数据的I/O接口610、存储器620、存储控制器625和包括一个或更多个处理单元(CPU)的处理电路640，其中所述处理单元用于处理从I/O接口610接收到的数据。CPU可以包括数字信号处理器(DSP)。存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)。
所述一个或更多个处理单元640运行各种存储在存储器620中的软件程序和/或指令集，以便执行编码设备600的各种功能，并处理数据。各种组件经由数据组件相链接。在存储器620的ROM中，将根据本发明实施例的方法的算法存储为软件组件。CPU加载存储器的RAM中的程序并执行对应指令。
存储在存储器620中的软件组件包括编码器模块(或指令集)ENC，用于使用可应用于小动态范围(LDR)图像的编码处理并应用在所述编码处理中的至少一个编码参数，来对所述图像的至少一部分的分段进行编码；重构模块REC(或指令集)，用于在大动态范围的感知空间内重构编码分段；速率失真模块RATE-DIST(或指令集)，用于在大动态范围的感知空间内确定针对编码分段的速率失真成本；以及编码器管理模块(ENC CTRL)(或指令集)，用于基于评估的速率失真成本，针对所述分段的编码处理来调整所述至少一个编码参数。
可以包括其他模块，诸如，操作系统模块O/S，用于控制通用系统任务(例如，电力管理、存储器管理)并用于促进在编码设备600的各种硬件和软件组件之间的通信；以及接口模块INT，用于控制并管理经由I/O接口610与其他设备的通信。
在另一实施例中，编码设备还可以包括参考光线模块，用于获得显示的参考光线条件，诸如，显示光线的最大环境亮度值Y_n。
根据特定另一实施例，编码设备可以包括显示器和用于获得显示器的参考光线条件的参考光线模块，配置为根据显示器的特性或根据由所述模块捕获的显示器周围的光线条件来确定显示器的这种参考光线条件。例如，用于获得显示器光线的最大环境亮度值Y_n的模块包括附接到显示器并测量环境光线条件的传感器。光电二极管等可以用于这种目的。
图6B是根据本发明的实施例的解码设备的示意框图。
解码设备700包括用于接收和发送数据的I/O接口710、存储器720、存储控制器725和包括一个或更多个处理单元(CPU)的处理电路740，其中所述处理单元用于处理从I/O接口710接收到的数据。CPU可以包括数字信号处理器(DSP)。存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)。
所述一个或更多个处理单元740运行各种存储在存储器720中的软件程序和/或指令集，以便执行解码设备700的各种功能，并处理数据。各种组件经由数据组件相链接。在存储器720的ROM中，将根据本发明实施例的方法的算法存储为软件组件。CPU加载存储器的RAM中的程序并执行对应指令。
存储在存储器720中的软件组件包括解码器模块(或指令集)DEC，用于使用可应用于小动态范围(LDR)图像的解码处理并应用在所述解码处理中的至少一个解码参数，来对所述图像的至少一部分的分段进行解码。
可以包括其他模块，诸如，操作系统模块O/S，用于控制通用系统任务(例如，电力管理、存储器管理)并用于促进在编码设备600的各种硬件和软件组件之间的通信；以及接口模块INT，用于控制并管理经由I/O接口与其他设备的通信。
图7是可以实现本发明实施例的通信系统的示例。通信系统包括经由通信网络NET进行通信的两个远程设备A和B。通信网络NET可以是无线网络、有线网络或无线和有线通信链路的组合。
设备A包括编码器，配置为执行根据本发明实施例中的任一实施例的用于对HDR图像进行编码的方法；且设备B包括解码器，配置为执行结合图5所述的用于对表示HDR图像的比特流进行解码的方法。设备B还可以包括用于显示解码HDR图像的显示器37。
在一些本发明的其他实施例中，设备A和B配置为访问关于显示器的参考光线条件的信息，诸如，显示器光线的最大环境亮度值Y_n。
例如，设备A和B存储显示器的相同参考光线条件，诸如，显示器光线的最大环境亮度值Y_n。
备选地，设备B配置为获得显示器的参考光线条件(诸如，显示器光线的最大环境亮度值Y_n)，且将其发送给设备A。然后，设备A配置为接收所发送的显示器的参考光线条件，诸如，显示器光线的最大环境亮度值Y_n。
相反地，设备A配置为获得显示器的参考光线条件(诸如，显示器光线的最大环境亮度值Y_n)(例如，从存储存储器)，且将其发送给设备A。然后，设备B配置为接收这种所发送的显示器的参考光线条件，诸如，显示器光线的最大环境亮度环境值Y_n。
这里描述的本发明的实施例可实现为例如方法或过程、装置、软件程序、数据流或信号。虽然仅在单个实现形式的上下文中进行讨论(例如，仅讨论方法)，所讨论特征的实现还可以以其他形式来实现(如装置或程序)。装置可以实现为例如适合硬件、软件和固件。所述方法可以实现为诸如处理器的装置。术语处理器一般地称为处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还可以包括通信设备，比如计算机、平板、蜂窝电话、便携式/个人数字助理(PDA)以及便于端用户之间传递信息的其它设备。
对本原理的“一种实施例”或“一个实施例”、“一种实现”或“一个实现”以及其它变形的提及，意思是结合所述实施例描述的具体特征、结构、特性等包括在本原理的至少一个实施例中。从而，说明书通篇各处所出现的“在一种实施例中”或“在一个实施例中”、“在一种实现中”或“在一个实现中”以及其它变形不必指代相同的实施例。
此外，本说明书或其权利要求可以提及“确定”各种信息。确定信息可以包括以下一项或多项，例如，估计信息、计算信息、预测信息或从存储器取回信息。
此外，本申请或其权利要求可以提及“接收”各种信息。接收和“访问”一样是广义术语。接收信息可以包括以下一项或多项，例如，访问信息或取回信息(如从存储器)。此外，“接收”通常以某种方式在诸如以下各项的操作期间涉及：存储信息、处理信息、发送信息、移动信息、拷贝信息、擦除信息、计算信息、确定信息、预测信息或估计信息。
虽然本发明在这里是参照具体实施例进行描述的，但应认识到，本发明不限于具体实施例，处于本发明的范围内的修改对于本领域技术人员是显然的。
例如，尽管在上述示例中描述了基于HEVC编码过程的编码处理，然而应认识到，本发明不限于任何特定编码处理。在本发明的上下文中，可以应用可应用于LDR图像的编码的其他编码处理。例如，编码处理和补充解码处理可以是基于涉及一些编码策略优化步骤的其他编码/解码方法(诸如，MPEG2、MPEG4、AVC、H.263等)。
对本领域技术人员来讲，通过参考上述说明性实施例(其只是作为示例而不限制仅由所附权利要求确定的本发明的范围)，可以想到许多其它修改和变形。具体地，在适当的情况下，来自不同实施例的不同特征可互换使用。
Claims (15)
1.一种对在具有亮度分量和色差度量的大动态范围感知空间内定义的大动态范围图像的至少一部分进行编码的方法，所述方法包括：
基于所述图像的一部分的分段的对应图像采样的亮度值，针对所述分段获得(S103；S203)公用代表性亮度分量值；
基于公用代表性亮度分量值，在局部感知空间内表示(S105；S205)所述分段的亮度和颜色分量；
通过使用可应用于小动态范围(LDR)图像的编码处理并应用在所述编码处理中的至少一个编码参数，对在所述局部感知空间内表示的所述分段进行编码(S102；S202，S107；S207，S116；S216)；
在大动态范围的感知空间内重构(S118，S224)编码分段；
在大动态范围的感知空间内评估(S120；S220)针对编码分段的速率失真成本；以及
基于评估的速率失真成本，针对所述分段的编码处理来调整(S122；S222)所述至少一个编码参数。
2.根据权利要求1所述的方法，其中所述至少一个编码参数定义了所述图像到要编码的图像的分段的分区，每个要编码的分段具有对应HDR感知空间。
3.根据权利要求2所述的方法，其中所述至少一个编码参数包括编码四叉树参数。
4.根据权利要求1到3中任一项所述的方法，其中评估速率失真成本(S120)包括：评估与公用代表性分量值的编码相关联的速率。
5.根据权利要求1到3中任一项所述的方法，其中所述编码处理是根据HEVC压缩技术的编码处理，且所述图像的至少一部分的分段与编码单元、预测单元或变换单元相对应。
6.根据权利要求1到3中任一项所述的方法，包括：在局部LDR域中获得针对所述分段的局部残差亮度分量，所述局部残差亮度分量对应于原始图像的对应亮度分量和所述分段的公用代表性亮度值之间的差。
7.根据权利要求6所述的方法，还包括：在局部感知空间内获得针对所述分段的至少一个对应图像部分，所述至少一个图像部分与根据所述分段的公用代表性亮度值进行归一化的所述分段的局部残差亮度分量或颜色分量相对应。
8.根据权利要求7所述的方法，其中评估速率失真成本(S120；S220)包括：评估与对所述至少一个图像部分的编码相关联的速率。
9.根据权利要求1到3中任一项所述的方法，其中评估速率失真成本(S120；S220)包括：在大动态范围的感知空间内，评估与编码分段的重构相关联的失真。
10.根据权利要求1到3中任一项所述的方法，其中基于以下表达式来评估针对编码参数集p的速率失真成本DHDR：
DHDR(CU,p)+λ(RLDR(CU,p)+R(Llf,p))
其中：
RLDR(Cu,p)是与残差图像部分的编码相关联的速率；
R(Llf,p)是与公用代表性亮度分量值的编码相关联的速率；
DHDR(CU,p)是在大动态范围的感知空间内与编码分段的重构相关联的失真；以及λ是拉格朗日参数。
11.根据权利要求1到3中任意一项所述的方法，还包括：在局部感知空间内重构的残差图像部分的采样以及所述图像的原始纹理的采样和对应采样之间执行细化(S218)。
12.一种用于对在具有亮度分量和色差度量的大动态范围感知空间内定义的大动态范围图像的至少一部分进行编码的编码设备，所述设备包括：
亮度处理模块(LF)，用于基于所述图像的一部分的分段的对应图像采样的亮度值，针对所述分段获得公用代表性亮度分量值；
局部感知变换模块(LPT)，用于基于公用代表性亮度分量值，在局部感知空间内表示所述分段的亮度和颜色分量；
编码器(ENC，ENC1，ENC2，ENC3)，用于通过使用可应用于小动态范围(LDR)图像的编码处理并应用在所述编码处理中的至少一个编码参数，对在所述局部感知空间内表示的所述分段进行编码；
重构模块(REC)，用于在大动态范围的感知空间内重构编码分段；
速率失真模块(RATE-DIST)，用于在大动态范围的感知空间内确定针对编码分段的速率失真成本；以及
编码器管理模块(ENCODER CONTROL；ENC-CTRL)，用于基于评估的速率失真成本，针对所述分段的编码处理来调整所述至少一个编码参数。
13.一种用于解码比特流的方法，所述比特流表示在具有亮度分量和色差度量的感知空间内定义的大动态范围图像的至少一部分，所述方法包括：
访问对用于编码所述图像的至少一个编码参数加以表示的编码数据，
通过应用与所述至少一个编码参数分别对应的至少一个解码参数，使用可应用于小动态范围(LDR)图像的解码处理来对所述图像的至少一部分的分段进行解码；
其中，在通过可应用于LDR图像的编码处理对所述分段进行编码并在大动态范围的感知空间内重构所述分段之后，基于针对所述分段评估的速率失真成本，来预先确定所述编码参数；以及
其中，针对对所述分段进行解码，获得基于所述分段的对应图像采样的亮度值的公用代表性亮度分量值，并且基于公用代表性亮度分量值，在局部感知空间内通过亮度和颜色分量来表示所述分段。
14.一种用于解码比特流的解码设备，所述比特流表示在具有亮度分量和色差度量的感知空间内定义的大动态范围图像的至少一部分，所述设备包括：
接口(I/O；530)，用于访问对用于编码所述图像的至少一个编码参数加以表示的编码数据；
解码器(DEC；501，502；520)，用于通过应用与所述至少一个编码参数分别相对应的至少一个解码参数，使用可应用于小动态范围(LDR)图像的解码处理来对所述图像的至少一部分的分段进行解码；
其中在通过可应用于LDR图像的编码处理对所述分段进行编码并在大动态范围的感知空间内重构所述分段之后，基于针对所述分段评估的速率失真成本，来预先确定所述至少一个编码参数；以及
其中，针对对所述分段进行解码，获得基于所述分段的对应图像采样的亮度值的公用代表性亮度分量值，并且基于公用代表性亮度分量值，在局部感知空间内通过亮度和颜色分量来表示所述分段。
15.一种计算机可读存储介质，其存储用于在加载到可编程装置中并由可编程装置执行时实现根据权利要求1到11或13中任一项所述的方法的指令序列。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14305042.5 | 2014-01-10 | ||
| EP14305042.5A EP2894857A1 (en) | 2014-01-10 | 2014-01-10 | Method and apparatus for encoding image data and method and apparatus for decoding image data |
| PCT/EP2015/050228 WO2015104316A1 (en) | 2014-01-10 | 2015-01-08 | Method and apparatus for encoding image data and method and apparatus for decoding image data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106063266A CN106063266A (zh) | 2016-10-26 |
| CN106063266B true CN106063266B (zh) | 2019-09-13 |
Family
ID=50023501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580008197.6A Expired - Fee Related CN106063266B (zh) | 2014-01-10 | 2015-01-08 | 用于编码图像数据的方法和装置以及用于解码图像数据的方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20160337668A1 (zh) |
| EP (2) | EP2894857A1 (zh) |
| JP (1) | JP6568078B2 (zh) |
| KR (1) | KR20160106599A (zh) |
| CN (1) | CN106063266B (zh) |
| WO (1) | WO2015104316A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107211128B (zh) * | 2015-03-10 | 2021-02-09 | 苹果公司 | 自适应色度下采样和色彩空间转换技术 |
| CN108027978B (zh) * | 2015-09-18 | 2023-09-22 | 交互数字Vc控股公司 | 用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定 |
| FR3044196B1 (fr) * | 2015-11-20 | 2019-05-10 | Thales | Methode de compression d'images permettant d'obtenir une qualite de compression fixe |
| CN113347447B (zh) | 2016-02-09 | 2022-10-04 | 弗劳恩霍夫应用研究促进协会 | 解码器、编码器、方法、网络设备以及可读存储介质 |
| CN110139109B (zh) * | 2018-02-08 | 2023-01-10 | 北京三星通信技术研究有限公司 | 图像的编码方法及相应终端 |
| US10631009B2 (en) * | 2018-07-17 | 2020-04-21 | Tfi Digital Media Limited | Method based on coding tree unit level rate-distortion optimization for rate control in video coding |
| US11363306B2 (en) * | 2019-04-05 | 2022-06-14 | Comcast Cable Communications, Llc | Methods, systems, and apparatuses for processing video by adaptive rate distortion optimization |
| CN110225342B (zh) * | 2019-04-10 | 2021-03-09 | 中国科学技术大学 | 基于语义失真度量的视频编码的比特分配系统及方法 |
| CN110289861B (zh) * | 2019-05-20 | 2021-09-07 | 湖南大学 | 半精度压缩感知采样方法 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2199588A1 (en) * | 1997-03-10 | 1998-09-10 | Efrem Hoffman | Hierarchical data matrix pattern recognition and identification system |
| US6560285B1 (en) * | 1998-03-30 | 2003-05-06 | Sarnoff Corporation | Region-based information compaction as for digital images |
| US6594388B1 (en) * | 2000-05-25 | 2003-07-15 | Eastman Kodak Company | Color image reproduction of scenes with preferential color mapping and scene-dependent tone scaling |
| US7295609B2 (en) * | 2001-11-30 | 2007-11-13 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US8086050B2 (en) * | 2004-08-25 | 2011-12-27 | Ricoh Co., Ltd. | Multi-resolution segmentation and fill |
| JP4073477B2 (ja) * | 2005-03-25 | 2008-04-09 | 三菱電機株式会社 | 画像処理装置、及び画像表示装置 |
| US20060282855A1 (en) * | 2005-05-05 | 2006-12-14 | Digital Display Innovations, Llc | Multiple remote display system |
| JP2009116098A (ja) * | 2007-11-07 | 2009-05-28 | Victor Co Of Japan Ltd | 光学システム及び投射型表示装置 |
| JP4544308B2 (ja) * | 2008-01-11 | 2010-09-15 | ソニー株式会社 | 画像処理装置、撮像装置、方法およびプログラム |
| US9538176B2 (en) * | 2008-08-08 | 2017-01-03 | Dolby Laboratories Licensing Corporation | Pre-processing for bitdepth and color format scalable video coding |
| US8363131B2 (en) * | 2009-01-15 | 2013-01-29 | Aptina Imaging Corporation | Apparatus and method for local contrast enhanced tone mapping |
| JP5611337B2 (ja) * | 2009-06-29 | 2014-10-22 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ゾーン・ベースのトーン・マッピング |
| US8346009B2 (en) * | 2009-06-29 | 2013-01-01 | Thomson Licensing | Automatic exposure estimation for HDR images based on image statistics |
| WO2011046607A2 (en) * | 2009-10-14 | 2011-04-21 | Thomson Licensing | Filtering and edge encoding |
| US8279349B2 (en) * | 2009-11-17 | 2012-10-02 | Nice Systems Ltd. | Automatic control of visual parameters in video processing |
| US9225916B2 (en) * | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
| US8760578B2 (en) * | 2010-04-19 | 2014-06-24 | Dolby Laboratories Licensing Corporation | Quality assessment of high dynamic range, visual dynamic range and wide color gamut image and video |
| CN102986214A (zh) * | 2010-07-06 | 2013-03-20 | 皇家飞利浦电子股份有限公司 | 从低动态范围图像生成高动态范围图像 |
| WO2012122426A1 (en) * | 2011-03-10 | 2012-09-13 | Dolby Laboratories Licensing Corporation | Reference processing for bitdepth and color format scalable video coding |
| US20140003527A1 (en) * | 2011-03-10 | 2014-01-02 | Dolby Laboratories Licensing Corporation | Bitdepth and Color Scalable Video Coding |
| US8743291B2 (en) * | 2011-04-12 | 2014-06-03 | Dolby Laboratories Licensing Corporation | Quality assessment for images that have extended dynamic ranges or wide color gamuts |
| EP2579591A1 (en) * | 2011-10-04 | 2013-04-10 | Thomson Licensing | Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium |
| IN2014KN00934A (zh) * | 2011-11-09 | 2015-10-09 | Fraunhofer Ges Forschung | |
| US9756353B2 (en) * | 2012-01-09 | 2017-09-05 | Dolby Laboratories Licensing Corporation | Hybrid reference picture reconstruction method for single and multiple layered video coding systems |
| CN104471939B (zh) * | 2012-07-13 | 2018-04-24 | 皇家飞利浦有限公司 | 改进的hdr图像编码和解码方法和设备 |
| US9544612B2 (en) * | 2012-10-04 | 2017-01-10 | Intel Corporation | Prediction parameter inheritance for 3D video coding |
| KR101767094B1 (ko) * | 2012-12-03 | 2017-08-31 | 한화테크윈 주식회사 | 영상 처리 장치 및 방법 |
| US9437171B2 (en) * | 2012-12-05 | 2016-09-06 | Texas Instruments Incorporated | Local tone mapping for high dynamic range images |
| US20140169669A1 (en) * | 2012-12-19 | 2014-06-19 | National Chung Cheng University | Tone mapping method of high dynamic range image/video |
| US9532057B2 (en) * | 2012-12-28 | 2016-12-27 | Qualcomm Incorporated | Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding |
| EP2961168A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and apparatus for predicting image samples for encoding or decoding |
-
2014
- 2014-01-10 EP EP14305042.5A patent/EP2894857A1/en not_active Withdrawn
-
2015
- 2015-01-08 EP EP15700076.1A patent/EP3092797A1/en not_active Withdrawn
- 2015-01-08 JP JP2016546017A patent/JP6568078B2/ja not_active Expired - Fee Related
- 2015-01-08 WO PCT/EP2015/050228 patent/WO2015104316A1/en active Application Filing
- 2015-01-08 KR KR1020167018439A patent/KR20160106599A/ko not_active Application Discontinuation
- 2015-01-08 US US15/110,749 patent/US20160337668A1/en not_active Abandoned
- 2015-01-08 CN CN201580008197.6A patent/CN106063266B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN106063266A (zh) | 2016-10-26 |
| EP2894857A1 (en) | 2015-07-15 |
| JP2017508354A (ja) | 2017-03-23 |
| US20160337668A1 (en) | 2016-11-17 |
| JP6568078B2 (ja) | 2019-08-28 |
| KR20160106599A (ko) | 2016-09-12 |
| WO2015104316A1 (en) | 2015-07-16 |
| EP3092797A1 (en) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106063266B (zh) | 用于编码图像数据的方法和装置以及用于解码图像数据的方法和装置 | |
| US10349064B2 (en) | Adaptive chroma downsampling and color space conversion techniques | |
| CN105324997B (zh) | 用于增强动态范围信号的分层编码的自适应整形 | |
| WO2017083784A1 (en) | Adaptive chroma downsampling and color space conversion techniques | |
| US20170171565A1 (en) | Method and apparatus for predicting image samples for encoding or decoding | |
| CN117082250A (zh) | 色度块的预测方法和装置 | |
| KR20210103573A (ko) | 크로마 블록 예측 방법 및 디바이스 | |
| JP2015501604A (ja) | 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法 | |
| GB2518061B (en) | Techniques for video compression | |
| WO2021136110A1 (zh) | 编码方法及编码器 | |
| EP3972255A1 (en) | Mpm list construction method, chroma block intra prediction mode acquisition method, and apparatuses | |
| CN106973296B (zh) | 视频或图像编码方法以及相关装置 | |
| KR102584455B1 (ko) | 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법 | |
| EP3085088B1 (en) | Method and device for encoding a high-dynamic range image | |
| Le Pendu et al. | Rate distortion optimized tone curve for high dynamic range compression | |
| TW201531089A (zh) | 將影像資料編碼之方法及裝置，以及將影像資料解碼之方法及裝置 | |
| CN110944180B (zh) | 色度块预测方法及装置 | |
| WO2015091323A1 (en) | Method and device for encoding a high-dynamic range image | |
| KR20220012355A (ko) | 크로마 양자화 제어의 인코더, 디코더 및 대응하는 방법들 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190913 Termination date: 20200108 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |