CN106062816A - 用于对hdr图像进行编码和解码的方法和装置 - Google Patents
用于对hdr图像进行编码和解码的方法和装置 Download PDFInfo
- Publication number
- CN106062816A CN106062816A CN201580010295.3A CN201580010295A CN106062816A CN 106062816 A CN106062816 A CN 106062816A CN 201580010295 A CN201580010295 A CN 201580010295A CN 106062816 A CN106062816 A CN 106062816A
- Authority
- CN
- China
- Prior art keywords
- image
- hdr
- tone mapping
- parameter
- ldr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000013507 mapping Methods 0.000 claims abstract description 90
- 238000005315 distribution function Methods 0.000 claims abstract description 30
- 238000013139 quantization Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000000149 penetrating effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 53
- 230000005540 biological transmission Effects 0.000 description 14
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000007667 floating Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013178 mathematical model Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- C—CHEMISTRY; METALLURGY
- C10—PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
- C10G—CRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
- C10G2/00—Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon
- C10G2/30—Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon from carbon monoxide with hydrogen
- C10G2/31—Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon from carbon monoxide with hydrogen thermal, non catalytic conversion
-
- C—CHEMISTRY; METALLURGY
- C10—PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
- C10G—CRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
- C10G2/00—Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon
- C10G2/30—Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon from carbon monoxide with hydrogen
- C10G2/32—Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon from carbon monoxide with hydrogen with the use of catalysts
-
- C—CHEMISTRY; METALLURGY
- C10—PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
- C10G—CRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
- C10G45/00—Refining of hydrocarbon oils using hydrogen or hydrogen-generating compounds
- C10G45/58—Refining of hydrocarbon oils using hydrogen or hydrogen-generating compounds to change the structural skeleton of some of the hydrocarbon content without cracking the other hydrocarbons present, e.g. lowering pour point; Selective hydrocracking of normal paraffins
-
- C—CHEMISTRY; METALLURGY
- C10—PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
- C10G—CRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
- C10G47/00—Cracking of hydrocarbon oils, in the presence of hydrogen or hydrogen- generating compounds, to obtain lower boiling fractions
-
- C—CHEMISTRY; METALLURGY
- C10—PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
- C10G—CRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
- C10G49/00—Treatment of hydrocarbon oils, in the presence of hydrogen or hydrogen-generating compounds, not provided for in a single one of groups C10G45/02, C10G45/32, C10G45/44, C10G45/58 or C10G47/00
-
- C—CHEMISTRY; METALLURGY
- C10—PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
- C10G—CRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
- C10G5/00—Recovery of liquid hydrocarbon mixtures from gases, e.g. natural gas
-
- C—CHEMISTRY; METALLURGY
- C10—PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
- C10G—CRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
- C10G67/00—Treatment of hydrocarbon oils by at least one hydrotreatment process and at least one process for refining in the absence of hydrogen only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Oil, Petroleum & Natural Gas (AREA)
- Organic Chemistry (AREA)
- Chemical Kinetics & Catalysis (AREA)
- General Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Crystallography & Structural Chemistry (AREA)
- Thermal Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
为了对高动态范围(HDR)图像进行编码,HDR图像可以通过色调映射操作被转换为低动态范围(LDR)图像,并且LDR图像可以用LDR编码器进行编码。本原理在设计色调映射曲线时构建了速率失真最小化问题。特别地,色调映射曲线被构建为要被编码的HDR图像的概率分布函数以及基于编码参数的拉格朗日乘数的函数。在解码器处,基于表示色调映射函数的参数,可以从经解码的LDR图像中导出逆色调映射函数以重构HDR图像。
Description
相关申请的交叉引用
本申请要求于2014年2月26日递交的、欧洲申请号14305266以及于2014年4月1日递交的、欧洲申请号14305480的权益,其全部内容通过引用被结合于此。
技术领域
本发明涉及用于对高动态范围(HDR)图像和视频进行编码和解码的方法和装置。
背景技术
用于压缩图像序列的工具经常被设计用以编码具有有限动态范围的整数数据。例如,压缩标准(比如,MPEG-4AVC/H.264和HEVC(高效视频编码))可以被用来压缩颜色分量由8位整数表示的图像和视频。在这些标准的拓展版本中,可以将具有更高位深度的数据作为输入。例如,在HEVC的范围扩展版本中,支持上限为16位的位深度。高位深度扩展可能需要增加的实现方式和计算开销。然而,针对诸如3D计算机图形之类的一些应用,还存在位深度高于16位的图像类型。
用于对高位深度图像进行编码的替换解决方案是对HDR图像应用色调映射算子(TMO)以减小位深度并生成HDR图像的低动态范围(LDR)版本。低位深度编码器然后可以被用于压缩LDR版本。在该方法中,TMO通常是可逆的,并且逆色调映射应该为解码器所知。在Z.Mai等人所著的、题为“On-the-Fly Tone Mapping for Backward-Compatible HighDynamic Range Image/Video Compression(针对反向兼容高动态范围图像/视频压缩的即时色调映射)”(ISCAS 2010)的文章中描述了该方法的示例,其定义了将由色调映射和编码器误差所引起的数据丢失最小化的色调映射曲线。
发明内容
本原理提供了一种用于对HDR图像进行解码的方法,该方法包括:访问包括HDR图像的比特流;从比特流解码出低动态范围(LDR)图像;从比特流访问信息,所访问的信息包括用于对LDR图像进行编码的参数;以及响应于所访问的参数来从LDR图像生成HDR图像,如下所述。本原理还提供了用于执行这些步骤的装置。
本原理还提供了一种用于对HDR图像进行编码的方法,包括:响应于HDR图像和至少一个编码参数来确定色调映射函数;响应于色调映射函数来从HDR图像确定LDR图像;以及对所确定的LDR图像和表示所确定的色调映射函数的信息进行编码,其中至少一个编码参数被用于对LDR图像进行编码,如下所述。本原理还提供了用于执行这些步骤的装置。
本原理还提供了一种计算机可读存储介质,该计算机可读存储介质在其上存储了用于根据以上所描述的方法对HDR图像进行编码或解码的指令。
本原理还提供了一种计算机可读存储介质,该计算机可读存储介质在其上存储了根据以上所描述的方法所生成的比特流。
附图说明
图1是根据本原理的实施例描绘压缩方案的示例性数学模型的图。
图2是根据本原理的实施例描绘使用色调映射来对HDR图像进行编码的示例性方案的图。
图3A-3C分别是根据本原理的实施例描绘直方图的图示示例,描绘针对图3A中的直方图利用期望值最大化拟合的高斯混合模型(GMM)的图示示例,以及描绘以100为间隔所计算的概率分布函数的图示示例。
图4是描绘用于通过改变λ(lambda)值和QP参数来对HDR图像进行编码的速率失真结果的示意图。
图5是根据本原理的实施例描绘使用逆色调映射来对HDR图像进行解码的示例性方案的图。
图6A示出了图像“Péniches”,图6B示出了针对图像“Péniches”的所估算的概率分布函数,图6C和图6D分别示出了当QP=0时的色调映射LUT和逆色调映射LUT,图6E和图6F分别示出了当QP=16时的色调映射LUT和逆色调映射LUT,以及图6G和图6H分别示出了当QP=32时的色调映射LUT和逆色调映射LUT。
图7A示出了图像“Mongolfière”,图7B示出了针对图像“Mongolfière”的所估算的概率分布函数,图7C和图7D分别示出了当QP=0时的色调映射LUT和逆色调映射LUT,图7E和图7F分别示出了当QP=16时的色调映射LUT和逆色调映射LUT,以及图7G和图7H分别示出了当QP=32时的色调映射LUT和逆色调映射LUT。
图8是根据本原理的实施例描绘用于对HDR图像进行编码的示例性方法的流程图。
图9是根据本原理的实施例描绘用于对HDR图像进行解码的示例性方法的流程图。
图10是根据本原理的实施例描绘用于对HDR图像进行编码的示例性系统的框图。
图11是根据本原理的实施例描绘用于对HDR图像进行解码的示例性系统的框图。
图12是描绘可以被用于一个或多个实现方式的图像处理系统的示例的框图。
图13是描绘可以被用于一个或多个实现方式的图像处理系统的另一示例的框图。
具体实施方式
本原理涉及使用色调映射技术来对HDR图像和视频进行编码和解码。色调映射函数将高位深度整数作为输入并返回低位深度整数,并且逆色调映射函数将低位深度整数作为输入并返回高位深度整数。在本申请中,术语“色调映射函数”、“色调映射曲线”和“色调曲线”可互换使用,并且术语“逆色调映射函数”和“逆色调映射曲线”可互换使用。
在一个实施例中,如图1中所示,一种压缩方案的数学模型被定义。在该模型中,图像被认为是经压缩的并且像素具有实值(不必是整数)。输入图像I具有概率分布函数(pdf)p,并且其最小和最大的像素值分别为xmin和xmax。
首先,压缩函数F被应用到像素值,其中F被定义在间隔[xmin,xmax]内,并且F(xmin)=0,F(xmax)=2n-1,其中n是要由LDR编码器编码的LDR图像的位深度。在该数学模型中,压缩函数表示具有实值输入和输出的连续并且严格单调的函数。这些属性确保了F具有逆函数F-1(表示扩展函数)。当该数学模型被用于对HDR图像进行编码时,压缩函数对应于输出为整数的色调映射函数。该色调映射函数可以被看作一系列的压缩函数和统一量化(舍入)。在应用函数F之后,由于F在数学上是可逆的,因此理论上没有数据丢失。根据压缩函数的输出图像被表示为IF,并且IF的概率分布函数被表示为pF。
之后,随机变量(ε)被加至每一像素值以对当对IF进行编码时所引入的编码误差和来自格式转换的舍入误差(如果存在的话)进行建模。假设随机变量的分布不依赖于像素的位置或值。还假定随机变量ε具有零平均值和方差σ2。在IF被编码之后,扩展函数F-1被用来重构HDR图像Irec。
在该数学模型中,假定真值被用作输入和输出。当实际上应用该数学模型时,输入通常是整数,并且输出也是整数,因为需要生成要由LDR编码器编码的低位深度(例如,8位)整数值。
为了针对图1中所示的模型设计色调映射曲线,速率失真函数被构建为J=Dtot+λ0.R,其中Dtot是原HDR图像I和经重构的HDR图像Irec之间的全部失真,R是对LDR图像进行编码的比特率,并且λ0是被调整以改善速率失真性能的拉格朗日乘数。在给定图像I和编码器的情况下,假定经编码的图像的比特率R正比于IF的熵(entropy)。因此,将Dtot+λ0.R最小化相当于将Dtot+λ.entropy(IF)最小化,其中λ是另一拉格朗日乘数。
在一个实施例中,假定,由均方误差(MSE)来测量失真,也就是,Dtot=E{(Irec-I)2},其中E{.}计算随机变量的期望值。目标是找出将速率失真函数Dtot+λ.entropy(IF)最小化的函数F*。通过分析表明,函数F*的导数可以被构建为如下公式:
因此,
其中,c是常数,其可以被调整以使得F*(xmax)=2n-1。
然而,没有用以在给定λ和σ的情况下确定c的值的分析方案。此外,所使用的实际编码器和编码参数(例如但不限于,HEVC中的量化参数QP和LDR图像的位深度)的模型将需要找出σ的值。为了消除函数F*(x)对变量c和σ的依赖,定义函数:
可以看出,针对任意正值λ和σ,存在值λi∈R,以使得:
因此,导出色调映射函数只需要参数λi。在一个实施例中,可以通过数值积分来计算S(x,λi),并且将结果除以S(xmax,λi)。
图2示出了根据本原理使用色调映射来对HDR图像进行编码的示例性实施例。输入HDR图像的像素值最初可以由高位深度整数或浮点值表示。如果HDR图像由浮点值表示,则可以转换为整数。例如,如果输入图像以半浮点格式定义,则采取被看做是整数的位模式(即,1符号位、5指数位以及10尾数位)提供了从浮点数到16位整数的无损转换。如果图像只包含正值,则该转换近似于对原浮点值的log编码。
在另一示例中,可以将对数函数应用于浮点值并将结果舍入为整数。在这种情况下,所使用的函数应该被调整,以使得0和最大浮点值分别被映射为0和其中nHDR是HDR图像的整数版本的位深度。如果原图像是以半浮点格式(即,16位浮点值),则针对nHDR值的合理选择是16,或者如果原图像是以单精度浮点格式(即,32位浮点值),则nHDR=32。对应的逆转换函数应该被应用到经解码的整数HDR图像以便将其转换回浮点数据。
之后,为了获得像素值的概率分布函数p的高斯混合模型而执行期望值最大化。由参数集θ(高斯分布的权重、平均值、方差)来描述GMM模型。θ、xmin和xmax(图像的最小和最大像素值)被用于计算色调映射LUT。根据编码参数QP计算的拉格朗日乘数λi也被用于LUT计算。之后,LUT被应用到图像以获得LDR版本,该LDR版本利用编码参数QP被发送至LDR编码器。最后,参数θ、xmin和xmax被表示在代表LDR图像的比特流中。在下文中,更详细地描述了概率分布函数和拉格朗日乘数的确定。
概率分布函数确定
为了导出公式(4)中所描述的色调映射函数,需要确定像素值的概率分布函数(p(x))。在一个示例中,p(x)可以通过计算图像的直方图而确定。为了解码器计算逆色调映射曲线,在解码器处需要知道定义概率分布函数的参数。为了减少为表示p(x)而需要被编码的参数的数量,可以将直方图参数化。
在一个实施例中,可以使用高斯混合模型来拟合(fit)直方图,其中GMM是若干高斯模型的加权和。模型参数为混合模型中每一高斯模型j的方差vj、平均值μj和权重αj。概率分布函数的模型可以被构建为:
其中,m是模型中所使用的高斯模型的数量,并且g是高斯函数:
期望值最大化(EM)算法可以用于拟合操作。在Dempster等人所著的、1977发表于皇家统计学会期刊的、题为“Maximum Likelihood from Incomplete Data via the EMAlgorithm(经由EM算法的不完全数据的最大似然法)”的文章中定义了该算法。在给定m个高斯模型以及初始参数集θ0=(αj 0,μj 0,vj 0)(j∈[1,m])的情况下,目标就是找到将对数似然函数最大化的θ:
其中,N是像素的数量,xi是像素i的值。
算法的每一次迭代k包括以下步骤:
由EM所获得的GMM参数然后可以被用于计算对于公式(5)中从xmin到xmax的任意整数值x处的概率分布函数。图3A示出了示例性直方图,并且图3B示出了利用EM拟合的GMM。
超出范围[xmin,xmax]的像素的概率被认为为0。因此,除了GMM参数之外,最小值xmin和最大值xmax也将被表示于比特流以用于解码器生成概率分布函数。
在HDR图像中,图像可能包含少量具有非常低的值的像素。由于那些像素可能打乱算法的计算,因此可以在执行EM算法之前将这些值裁剪至给定百分位以下(例如,0.1%)。在这种情况下,xlow的值被用作xmin。相似地,如果图像包含少量具有非常高的值的像素,则可以在执行EM算法之前将这些高的值裁剪至给定百分位以下。在这种情况下,xhigh的值被用作xmax。
拉格朗日乘数确定
为了导出公式(4)中所描述的色调映射函数,还需要确定拉格朗日乘数λi。λi的值可能取决于所使用的编码器(例如,HEVC、MPEG-2、MPEG-4AVC/H.264或JPEG)、LDR编码器接受的输入数据格式的位深度以及编码参数(例如,HEVC中的量化参数QP)。在下文中,将更详细地讨论如何确定拉格朗日乘数λi。
在一个实施例中,可以对具有若干质量参数(例如,HEVC的QP值)和λi值的若干图像进行编码。在每一QP处针对给定图像,通过在大范围内改变λi的值来多次执行编码。在给定QP值的情况下,如图4中所示,用优最佳λi所获得的速率失真(RD)点在所有RD点的集合的凸包(convex hull)上。因此,拉格朗日乘数λi*可以被导出为QP的函数。例如,当16位图像被色调映射为8位并且用HEVC进行编码时,用以下指数函数来表示拉格朗日乘数:
λi *=100*20.37QP (8)
在给定公式(8)中所描述的函数的情况下,由于解码器已知QP值,因此可以在编码器和解码器处导出相同的λi值。
查找表生成
在一个实施例中,可能需要执行数值积分以实施本原理。由于针对每一像素计算总和将是非常耗时的,因此可以如以下公式(10)中所示的那样,通过累积x-1处的结果来计算针对值x的总和。其他方法可以被用于执行数值操作。
如之前所解释的,在给定值λi和概率分布p的情况下,可以根据公式(9)计算函数F*’:
当针对每一整数值x∈[xmin,xmax]计算F*’的值时,F*’可以被数值积分以计算Fnum,其近似于公式(3)中所定义的函数S。例如,累积和可以以如下公式计算:
可以生成查找表(LUT)以表示色调映射曲线。特别地,函数F可以被进位(scale)和舍入以获得针对LDR图像、具有所需要的位深度n的整数:
注意到,是公式(4)的数值近似。在LUT生成之后,色调映射操作可以将LUT应用于原HDR图像中的每一像素。然后所获得的图像用LDR编码器来压缩。用于色调映射曲线的构建的参数(例如,概率分布函数参数、xmin、xmax)需要例如使用无损编码来传输至解码器。
图5示出了根据本原理使用逆色调映射来对HDR图像进行解码的示例性实施例。图5的输入比特流可以根据图2生成。LDR图像和模型参数(例如,θ、xmin、xmax和QP)可以从比特流中解码出。知道了这些参数,可以执行公式(5)、(9)、(10)和(11)中所描述的操作以生成色调映射查找表。然后对LUT求逆以生成逆色调映射查找表。逆LUT被应用到经解码的LDR图像以重构HDR图像。如果原图像被以浮点格式定义,则经重构的HDR图像可以被从整数转换回浮点数。
图6A-图6H以及图7A-图7H示出了当HEVC编码器被用作LDR编码器时以下各项的示例:输入16位HDR图像、概率分布函数、以及针对16位图像和8位图像之间的转换的色调映射曲线和逆色调映射曲线。图6A示出了图像“Péniches”,其中xmin=0并且xmax=27024。图6B示出了针对图像“Péniches”的、所估算的概率分布函数。图6C和图6D分别示出了当QP=0(λi=100)时的色调映射LUT和逆色调映射LUT。图6E和图6F分别示出了当QP=16(λi=6055)时的色调映射LUT和逆色调映射LUT。图6G和图6H分别示出了当QP=32(λi=3.67e+05)时的色调映射LUT和逆色调映射LUT。
图7A示出了图像“Mongolfière”,其中xmin=1834并且xmax=23634。图7B示出了针对图像“Mongolfière”的、所估算的概率分布函数。图7C和图7D分别示出了当QP=0(λi=100)时的色调映射LUT和逆色调映射LUT。图7E和图7F分别示出了当QP=16(λi=6055)时的色调映射LUT和逆色调映射LUT。图7G和图7H分别示出了当QP=32(λi=3.67e+05)时的色调映射LUT和逆色调映射LUT。
从图6A-图6H以及图7A-图7H观察到,色调映射曲线在更高的QP值(和更高的λi)处更平滑。在更低的QP处,色调映射曲线更依赖于概率分布函数,并且曲线的斜率在高概率值处更抖。因此,那些值将被更精确地色调映射。
当在编码器处确定了色调映射曲线时,如上文讨论,MSE可以被用于测量失真,并且针对GMM的期望值最大化可以被用于估算概率分布。在一种变换中,可以选择绝对误差和(SAD)而不是均方误差作为失真度量。在这种情况下,公式(1)-公式(3)中的立方根将由平方根替换。
在另一变换中,可以计算直方图的轻量版本,并利用少量参数来建模概率分布函数。特别地,可以将范围[xmin,xmax]分成少量的相同长度的间隔,而不是在每一整数值处计算包含图像的若干像素的完整直方图。针对每一间隔K,可以计算落入该间隔的图像的NK个像素。之后针对间隔K中的每一值x,由来估算概率。例如,可以采取100个间隔,并且100个值NK(K∈[1,100])以及值xmin和xmax需要被传输至解码器。针对图3A中所示的示例性直方图,图3C示出了针对100个间隔所计算的概率分布函数。
各种编码器(例如,依照MPEG-2、MPEG-4、AVC/H.264和HEVC的编码器)可以被用作LDR编码器。LDR编码器还可以是位深度可扩展的视频编码器的基层编码器。在以上示例中,假定,用于对指示色调映射函数的参数进行编码的比特率是可以忽略的,并且不包括在速率失真最小化问题中。如果问题变得更显著,则还可以将针对这些参数的比特率包括在所构建的模型中。在上文中,将一个图像用作输入。当视频序列被用作输入时,也可以应用本原理,并且可以逐图像地改变参数。
例如,若干数值已在上文被用于为以下各项提供示例:λi计算、直方图间隔、以及具有较小百分比的非常低和非常高的像素值。这些数值可以随着输入图像和/或编码设置改变而改变。
当针对速率失真性能设计色调映射曲线时,本原理具有同时考虑经重构的HDR图像的失真和用于对HDR图像进行编码的速率的优点。根据本原理,色调映射曲线和逆色调映射曲线不仅依赖于输入HDR图像特性,还考虑编码设置的影响。在一个实施例中,在比特流中指示出输入图像固有的参数集(即,θ、xmin、xmax)。基于该固有参数集和编码参数(例如,量化参数),可以生成适应于量化参数的、不同的色调映射曲线和逆色调映射曲线的集合,以及比特率。对于HDR重构必要的逆色调映射曲线不需要被明确发送。而是,可以由解码器根据输入图像固有的参数集和编码参数来计算该逆色调映射曲线。因此,根据本原理的方法适应于编码设置(例如,比特率),并且当对HDR图像进行编码时可以提高压缩效率。
图8根据本原理示出了用于对HDR图像进行编码的示例性方法800。方法800开始于初始化步骤810,其可以确定输入HDR图像的格式以及所接受的LDR图像的格式。在步骤820,方法800例如使用针对GMM的期望值最大化或者使用直方图的轻量版本来对HDR图像的概率分布函数进行建模。
在步骤830,例如,拉格朗日乘数被估算为量化参数的函数。由于拉格朗日乘数可能取决于编码器设置(例如,所使用的视频压缩标准和LDR编码器的格式的位深度),因此可以将用以计算拉格朗日乘数的函数传输至解码器,或者编码器和解码器都可以将拉格朗日乘数存储为预定的数字。
例如根据公式(4),基于步骤820处所建立的概率分布函数模型以及步骤830处所估算的拉格朗日乘数,可以生成色调映射函数。为了执行数值操作,可以生成查找表。在步骤850,使用色调映射函数来将HDR图像转换为LDR图像。在步骤860,表示色调映射函数的LDR图像和参数(例如,表示概率分布函数的参数)被编码于比特流中。
方法800可以以与图8中所示的顺序不同的顺序进行,例如,步骤830可以在步骤820之前执行。由于拉格朗日乘数可以不取决于输入图像,因此其可以在对输入HDR图像进行编码之前被导出。因此,步骤830可以是可选的。
图9根据本原理示出了用于对HDR图像进行解码的示例性方法900。方法900的输入可以是根据方法800生成的比特流。方法900开始于初始化步骤910,其可以确定经重构的HDR图像的格式。在步骤920,解码出表示色调映射函数的参数和LDR图像。例如根据公式(4),基于表示色调映射函数的参数,可以生成色调映射函数。随后,在步骤930可以生成逆色调映射函数。与方法800处所执行的相似,可以生成查找表和逆查找表以执行数值操作。在步骤940,使用逆色调映射函数来将LDR图像转换成HDR图像。
图10描述了用于对HDR图像进行编码的示例性编码器1000的框图。编码器1000的输入包括要被编码的HDR图像、编码参数、和/或可以被用于估算拉格朗日乘数的其他图像。概率估算器1010估算输入图像的概率分布函数。色调曲线估算器1020,例如基于量化参数来估算拉格朗日乘数,以及例如使用公式(4)基于概率分布函数参数和拉格朗日乘数来生成色调映射曲线。LDR图像生成器1030基于色调映射曲线来将输入HDR图像转换成LDR图像。LDR编码器1040对LDR图像进行编码,并且色调曲线参数编码器1050对表示色调映射函数的参数(例如,输入图像的最小和最大像素值以及概率分布函数参数)进行编码。如果用于描述拉格朗日乘数的参数被表示于比特流中,则这些参数还将由色调曲线参数编码器1050进行编码。色调曲线参数编码器1050可以是独立模块,或者其可以被包括在LDR编码器1040内。
图11描述了用于对HDR图像进行解码的示例解码器1100的框图。解码器1100的输入包括要被解码的比特流。输入比特流可以由编码器1000生成。LDR解码器1100对LDR图像进行解码,并且色调曲线参数解码器1120对表示色调映射函数的参数(例如,输入图像的最小和最大像素值以及概率分布函数参数)进行解码。色调曲线参数解码器1120可以是独立模块,或者其可以被包括在LDR解码器1110内。
逆色调曲线估算器1130估算参数(例如,基于从比特流解码的量化参数的拉格朗日乘数),并且例如使用公式(4)来生成色调映射曲线。HDR图像生成器1140基于逆色调映射曲线来将经解码的LDR图像转换成HDR图像。
现在参考图12,图12示出了上述特征和原理可以被应用到其中的数据发送系统或装置1200。例如,数据发送系统或装置1200可以是用于使用各种媒体中的任一种媒体(比如,卫星、电缆、电话线或陆地广播)来发送信号的前端或发送系统。例如,数据发送系统或装置1200还可以或者替换地可以用于提供用于存储装置的信号。发送可以通过互联网或者一些其他网络提供。例如,数据发送系统或装置1200能够生成和递送视频内容和其他内容。
数据发送系统或装置1200从处理器1201接收经处理的数据以及其他信息。在一种实现方式中,处理器1201将HDR图像转换成LDR图像。数据发送系统或装置1200包括能够发送经编码的信号的发送器1204和编码器1202。编码器1202从处理器1201接收数据信息。编码器1202生成(一个或多个)经编码的信号。在一些实现方式中,编码器1202包括处理器1201,因此执行处理器1201的操作。
发送器1204从编码器1202接收(一个或多个)经编码的信号,并且发送一个或多个输出信号中的(一个或多个)经编码的信号。例如,发送器1204可以适应于发送具有表示经编码的图片和/或与其有关的信息的一个或多个比特流的节目信号。典型的发送器执行诸如以下各项中的一个或多个之类的功能:提供纠错编码、对信号中的数据进行交织、将信号中的能量随机化、以及使用调制器12012来将信号调制于一个或多个载波上。发送器1204可以包括天线(未示出)或者与其交互。此外,发送器1204的实现方式可能受限于调制器12012。
数据发送系统或装置1200还以通信的方式被耦合至存储单元1208。在一种实现方式中,存储单元1208被耦合至编码器1202,并且存储来自编码器1202的经编码的比特流。在另一实现方式中,存储单元1208被耦合至发送器1204,并且存储来自发送器1204的比特流。来自发送器1204的比特流可以包括例如,已进一步被发送器1204处理的一个或多个经编码的比特流。在不同的实现方式中,存储单元1208为以下各项中的一个或多个:标准DVD、蓝光光盘、硬盘驱动或者一些其他存储设备。
现在参考图13,图13示出了上述特征和原理可以被应用到其中的数据接收系统或装置1300。数据接收系统或装置1300可以被配置为通过各种媒体(例如,存储设备、卫星、电缆、电话线或陆地广播)接收信号。信号可以通过互联网或者一些其他网络接收。
数据接收系统或装置1300可以是,例如手机、计算机、机顶盒、电视、或者接收经编码的视频并提供例如经解码的视频信号以用于显示(例如,显示给用户)、用于处理或用于存储的其他设备。因此,数据接收系统或装置1300可以将其输出提供给,例如电视屏、计算机显示器、计算机(用于存储、处理或显示)、或者一些其他存储、处理或显示设备。
数据接收系统或装置1300包括用于接收经编码的信号(例如,本申请的实现方式中所描述的信号)的接收器1302。例如,接收器1302可以从图12的数据发送系统1200接收信号。
例如,接收器1302可以适应于接收具有表示经编码的图片的多个比特流的节目信号。典型的接收器执行诸如以下各项中的一个或多个之类的功能:接收经调制和经编码的数据信号、使用解调器1304对来自一个或多个载波的数据信号进行解调、将信号中的能量去随机化、将信号中的数据解交织、以及对信号进行纠错解码。接收器1302可以包括天线(未示出)或者与其交互。接收器1302的实现方式可能受限于解调器1304。
数据接收系统或装置1300包括解码器1306。接收器1302向解码器1306提供所接收的信号。由接收器1302提供给解码器1306的信号可以包括一个或多个经编码的比特流。解码器1306输出经解码的信号(例如,包括视频信息的经解码的视频信号)。例如,解码器1306可以是图11中所描述的解码器1100。
数据接收系统或装置1300还以通信的方式被耦合至存储单元1307。在一种实现方式中,存储单元1307被耦合至接收器1302,并且接收器1302从存储单元1307访问比特流。在另一实现方式中,存储单元1307被耦合至解码器1306,并且解码器1306从存储单元1307访问比特流。在不同实现方式中,从存储单元1307访问的比特流包括一个或多个经编码的比特流。在不同实现方式中,存储单元1307为以下各项中的一个或多个:标准DVD、蓝光光盘、硬盘驱动或者一些其他存储设备。
在一种实现方式中,来自解码器1306的输出数据被提供给处理器1308。在一些实现方式中,解码器1306包括处理器1308,因此执行处理器1308的操作。在其他实现方式中,处理器1308是下游设备的一部分(例如,机顶盒或电视)。
例如,可以在方法或进程、装置、软件程序、数据流或信号中实现本文所描述的实现方式。尽管仅在单一形式的实现方式的上下文中进行了讨论了(例如,仅作为方法进行讨论),但是还可以以其他的形式(例如,装置或程序)实现所讨论的特征的实现方式。例如,可以在适当的硬件、软件和固件中实现本文所包括的装置和组件(例如,处理器、编码器和解码器)。例如,可以在装置(例如,处理器,该处理器一般地指代处理设备,比如包括计算机、微处理器、集成电路或可编程逻辑设备)中实现方法。处理器还包括通信设备,例如计算机、手机、便携式/个人数字助手(“PDA”)以及协助终端用户之间信息通信的其他设备。
本原理中提及的“一个实施例”或“实施例”或者“一种实现方式”或“实现方式”以及其其他变体指的是,结合实施例所描述的具体特征、结构、特性等被包括在本原理的至少一个实施例中。因此,贯穿该说明书,在各种地方出现的短语“在一个实施例中”或“在实施例中”或者“在一种实现方式中”或“在实现方式中”以及任意其他变体不必完全指代相同的实施例。
此外,本申请或其权利要求可提及“确定”各种信息。例如,确定信息可以包括以下各项中的一个或多个:估计信息、计算信息、预测信息或者从存储器获取信息。
此外,本申请或其权利要求可能提及“访问”各种信息。例如,访问信息可以包括以下各项中的一个或多个:接收信息、(例如,从存储器)获取信息、存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或者估计信息。
此外,本申请或其权利要求可能提及“接收”各种信息。与“访问”一样,接收意指广泛的术语。例如,接收信息可以包括以下各项中的一个或多个:访问信息或者(例如,从存储器)获取信息。此外,在诸如以下各项之类的操作期间通常以一种或另一种方式涉及“接收”:存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或者估计信息。
如本领域的技术人员将显而易见的,实现方式可以生成被格式化以载送信息(例如,可以被存储或发送的信息)的各种信号。例如,信息可以包括用于执行方法的指令或者由所描述的实现方式中的一个所生成的数据。例如,信号可以被格式化以载送所描述的实施例的比特流。例如,该信号可以被格式化为电磁波(比如,使用频谱的无线电频率部分)或者基带信号。例如,格式化可以包括编码数据流以及调制具有经编码的数据流的载波。例如,信号载送的信息可以是模拟信息或数字信息。如公知的,可以通过各种不同的有线或无线链路来发送信号。信号可以被存储在处理器可读介质上。
Claims (22)
1.一种用于对高动态范围(HDR)图像进行解码的方法,包括:
访问包括所述HDR图像的比特流;
从所述比特流解码(920)出低动态范围(LDR)图像;
从所述比特流访问(920)信息,所访问的信息包括用于对所述LDR图像进行编码的参数;以及
响应于所访问的参数来从所述LDR图像生成(940)所述HDR图像。
2.如权利要求1所述的方法,其中,所访问的信息表示逆色调映射函数,所述方法还包括:
响应于所访问的信息来生成(930)所述逆色调映射函数,其中,所述生成所述HDR图像响应于所述逆色调映射函数。
3.如权利要求1所述的方法,其中,所访问的参数为量化参数。
4.如权利要求1所述的方法,其中,所访问的信息包括表示与要被解码的所述HDR图像相对应的原HDR图像的动态范围的参数。
5.如权利要求1所述的方法,其中,所访问的信息还包括表示与要被解码的所述HDR图像相对应的原HDR图像的概率分布函数的参数。
6.一种用于对高动态范围(HDR)图像进行编码的方法,包括:
响应于所述HDR图像和至少一个编码参数来确定(840)色调映射函数;
响应于所述色调映射函数来从所述HDR图像确定(850)LDR图像;以及
对所确定的LDR图像和表示所确定的色调映射函数的信息进行编码(860),其中,所述至少一个编码参数被用于对所述LDR图像进行编码。
7.如权利要求6所述的方法,其中,所述至少一个编码参数包括量化参数。
8.如权利要求7所述的方法,其中,所述确定色调映射函数包括响应于所述量化参数来确定拉格朗日乘数。
9.如权利要求6所述的方法,其中,所述确定色调映射函数包括确定所述HDR图像的所述动态范围和所述HDR图像的概率分布函数中的至少一个。
10.如权利要求6所述的方法,其中,所述确定色调映射函数响应于速率失真函数。
11.一种用于对高动态范围(HDR)图像进行解码的装置(1100),包括:
解码器(1110),所述解码器被配置为从包括所述HDR图像的比特流来解码出低动态范围(LDR)图像;
处理器(1110、1120),所述处理器被配置为从所述比特流访问信息,所访问的信息包括用于对所述LDR图像进行编码的参数;以及
HDR图像生成器(1140),所述HDR图像生成器被配置为响应于所访问的参数来从所述LDR图像生成HDR图像。
12.如权利要求11所述的装置,其中,所访问的信息表示逆色调映射函数,所述装置还包括:
逆色调曲线估算器(1130),所述逆色调曲线估算器被配置为响应于所访问的信息来生成所述逆色调映射函数,其中,所述HDR图像生成器被配置为响应于所述逆色调映射函数来生成所述HDR图像。
13.如权利要求12所述的装置,其中,所访问的参数为量化参数。
14.如权利要求12所述的装置,其中,所访问的信息包括表示与要被解码的HDR图像相对应的原HDR图像的动态范围的参数。
15.如权利要求12所述的装置,其中,所访问的信息还包括表示与要被解码的HDR图像相对应的原HDR图像的概率分布函数的参数。
16.一种用于对高动态范围(HDR)图像进行编码的装置(1000),包括:
色调曲线估算器(1020),所述色调曲线估算器被配置为响应于所述HDR图像和至少一个编码参数来确定色调映射函数;
LDR图像生成器(1030),所述LDR图像生成器被配置为响应于所述色调映射函数来从所述HDR图像确定LDR图像;以及
处理器(1040、1050),所述处理器被配置为对所确定的LDR图像和表示所确定的色调映射函数的信息进行编码,其中,所述至少一个编码参数用于对所述LDR图像进行编码。
17.如权利要求16所述的装置,其中,所述至少一个编码参数包括量化参数。
18.如权利要求17所述的装置,其中,所述色调曲线估算器响应于所述量化参数来确定拉格朗日乘数。
19.如权利要求16所述的装置,其中,所述色调曲线估算器确定所述HDR图像的动态范围和所述HDR图像的概率分布函数中的至少一个。
20.如权利要求16所述的装置,其中,所述色调曲线估算器响应于速率失真函数来确定所述色调映射函数。
21.一种计算机可读存储介质,所述计算机可读存储介质在其上存储了用于根据权利要求1-10对高动态范围(HDR)图像进行编码或解码的指令。
22.一种计算机可读存储介质,所述计算机可读存储介质在其上存储了根据权利要求6-10所生成的比特流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911028683.0A CN110708545B (zh) | 2014-02-26 | 2015-02-23 | 用于对hdr图像进行编码和解码的方法和装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14305266 | 2014-02-26 | ||
EP14305266.0 | 2014-02-26 | ||
EP14305480.7 | 2014-04-01 | ||
EP14305480.7A EP2927865A1 (en) | 2014-04-01 | 2014-04-01 | Method and apparatus for encoding and decoding HDR images |
PCT/EP2015/053747 WO2015128295A1 (en) | 2014-02-26 | 2015-02-23 | Method and apparatus for encoding and decoding hdr images |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911028683.0A Division CN110708545B (zh) | 2014-02-26 | 2015-02-23 | 用于对hdr图像进行编码和解码的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106062816A true CN106062816A (zh) | 2016-10-26 |
CN106062816B CN106062816B (zh) | 2019-11-22 |
Family
ID=52595323
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911028683.0A Active CN110708545B (zh) | 2014-02-26 | 2015-02-23 | 用于对hdr图像进行编码和解码的方法和装置 |
CN201580010295.3A Active CN106062816B (zh) | 2014-02-26 | 2015-02-23 | 用于对hdr图像进行编码和解码的方法和装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911028683.0A Active CN110708545B (zh) | 2014-02-26 | 2015-02-23 | 用于对hdr图像进行编码和解码的方法和装置 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10650501B2 (zh) |
EP (1) | EP3111416A1 (zh) |
JP (1) | JP6546599B2 (zh) |
KR (3) | KR102361927B1 (zh) |
CN (2) | CN110708545B (zh) |
TW (1) | TWI677235B (zh) |
WO (1) | WO2015128295A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171762A (zh) * | 2017-12-27 | 2018-06-15 | 河海大学常州校区 | 一种深度学习的压缩感知同类图像快速重构系统与方法 |
CN109756777A (zh) * | 2017-11-01 | 2019-05-14 | 瑞昱半导体股份有限公司 | 处理影像序列的多种格式的传送端、接收端及方法 |
CN110769210A (zh) * | 2019-11-07 | 2020-02-07 | 湖南国科微电子股份有限公司 | 一种生成hdr图像的方法及装置 |
US11727548B2 (en) | 2014-02-26 | 2023-08-15 | Interdigital Vc Holdings, Inc. | Method and apparatus for encoding and decoding HDR images |
CN117440154A (zh) * | 2023-12-21 | 2024-01-23 | 之江实验室 | 一种考虑浮点数位拆分的深度图序列压缩方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PL3324629T3 (pl) | 2014-05-28 | 2019-11-29 | Koninklijke Philips Nv | Sposoby i urządzenia do kodowania obrazów hdr oraz sposoby i urządzenia do wykorzystania tak zakodowanych obrazów |
US10284879B2 (en) * | 2014-07-03 | 2019-05-07 | Sony Corporation | Image processing apparatus and method based on integerprecision image data |
EP3026917A1 (en) * | 2014-11-27 | 2016-06-01 | Thomson Licensing | Methods and apparatus for model-based visual descriptors compression |
JP2018525905A (ja) * | 2015-07-22 | 2018-09-06 | アリス エンタープライジズ エルエルシーArris Enterprises Llc | 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム |
EP3387833B1 (en) * | 2015-12-09 | 2019-11-06 | Dolby Laboratories Licensing Corporation | Low-complexity lookup table construction for hdr coding with reduced interpolation error |
CN108370442B (zh) * | 2015-12-15 | 2020-02-14 | 华为技术有限公司 | 一种高动态范围图像的处理方法、装置及计算机可读存储介质 |
JP6237797B2 (ja) * | 2016-01-05 | 2017-11-29 | ソニー株式会社 | ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター |
GB2549696A (en) * | 2016-04-13 | 2017-11-01 | Sony Corp | Image processing method and apparatus, integrated circuitry and recording medium |
CN109792523B (zh) * | 2016-08-30 | 2022-11-04 | 杜比实验室特许公司 | 单层后向兼容编解码器的实时整形 |
KR102594201B1 (ko) * | 2016-09-22 | 2023-10-27 | 삼성디스플레이 주식회사 | 영상 처리 방법 및 이를 수행하는 표시 장치 |
JP6822121B2 (ja) * | 2016-12-19 | 2021-01-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102416867B1 (ko) * | 2017-03-07 | 2022-07-05 | 중앙대학교 산학협력단 | 비전 문제의 솔루션 제공 방법 및 그 장치 |
CN110770787B (zh) * | 2017-06-16 | 2023-04-07 | 杜比实验室特许公司 | 高效端到端单层逆向显示管理编码 |
KR102412007B1 (ko) * | 2017-07-20 | 2022-06-22 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법 |
EP3762895A4 (en) * | 2018-04-02 | 2021-04-21 | Huawei Technologies Co., Ltd. | VIDEO ENCODING WITH CONSECUTIVE CODECS |
CN112204617B (zh) | 2018-04-09 | 2023-09-05 | 杜比实验室特许公司 | 使用神经网络映射的hdr图像表示 |
CN108900838B (zh) * | 2018-06-08 | 2021-10-15 | 宁波大学 | 一种基于hdr-vdp-2失真准则的率失真优化方法 |
US10841356B2 (en) * | 2018-11-28 | 2020-11-17 | Netflix, Inc. | Techniques for encoding a media title while constraining bitrate variations |
US10880354B2 (en) | 2018-11-28 | 2020-12-29 | Netflix, Inc. | Techniques for encoding a media title while constraining quality variations |
JP7344654B2 (ja) * | 2019-03-07 | 2023-09-14 | キヤノン株式会社 | 撮像装置及び再生装置及びそれらの制御方法及びプログラム |
US11398017B2 (en) * | 2020-10-09 | 2022-07-26 | Samsung Electronics Co., Ltd. | HDR tone mapping based on creative intent metadata and ambient light |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102388612A (zh) * | 2009-03-13 | 2012-03-21 | 杜比实验室特许公司 | 高动态范围、可视动态范围和宽色域视频的分层压缩 |
CN102473295A (zh) * | 2009-06-29 | 2012-05-23 | 汤姆森特许公司 | 基于区的色调映射 |
CN102696220A (zh) * | 2009-10-08 | 2012-09-26 | 国际商业机器公司 | 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统 |
CN103891294A (zh) * | 2011-04-28 | 2014-06-25 | 皇家飞利浦有限公司 | 用于hdr图像编码和解码的装置与方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7020822B2 (en) | 2001-08-02 | 2006-03-28 | Texas Instruments Incorporated | Automatic repeat request for centralized channel access |
US20030103459A1 (en) | 2001-11-16 | 2003-06-05 | Connors Dennis P. | Method and implementation for a flow specific modified selective-repeat ARQ communication system |
ATE390773T1 (de) | 2004-01-22 | 2008-04-15 | Matsushita Electric Ind Co Ltd | Verfahren zur harq-wiederholungszeitsteuerung |
JP4594110B2 (ja) | 2004-01-23 | 2010-12-08 | 株式会社エヌ・ティ・ティ・ドコモ | 送信装置およびプログラム |
US7761767B2 (en) | 2005-10-21 | 2010-07-20 | Interdigital Technology Corporation | Method and apparatus for retransmission management for reliable hybrid ARQ process |
JP5108244B2 (ja) | 2006-03-30 | 2012-12-26 | 株式会社エヌ・ティ・ティ・ドコモ | 通信端末及び再送制御方法 |
US20080144550A1 (en) | 2006-12-15 | 2008-06-19 | Motorola, Inc. | Retransmission scheme for maintaining performance for wireless communications in the presence of periodic intermittent interference |
US7983496B2 (en) * | 2007-06-26 | 2011-07-19 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes |
JP5451626B2 (ja) * | 2007-10-19 | 2014-03-26 | トムソン ライセンシング | 統合された空間・ビット深度スケーラビリティ |
US8290295B2 (en) | 2009-03-03 | 2012-10-16 | Microsoft Corporation | Multi-modal tone-mapping of images |
JP2011010108A (ja) * | 2009-06-26 | 2011-01-13 | Seiko Epson Corp | 撮像制御装置、撮像装置及び撮像制御方法 |
AR091515A1 (es) * | 2012-06-29 | 2015-02-11 | Sony Corp | Dispositivo y metodo para el procesamiento de imagenes |
CN102970536B (zh) | 2012-11-15 | 2015-10-28 | 上海交通大学 | 一种改进的带有预测残差调整的视频编码方法 |
KR102361927B1 (ko) | 2014-02-26 | 2022-02-11 | 인터디지털 브이씨 홀딩스 인코포레이티드 | Hdr 이미지들을 인코딩 및 디코딩하기 위한 방법 및 장치 |
-
2015
- 2015-02-23 KR KR1020167023235A patent/KR102361927B1/ko active IP Right Grant
- 2015-02-23 KR KR1020237014322A patent/KR20230062888A/ko not_active Application Discontinuation
- 2015-02-23 KR KR1020227004204A patent/KR20220025153A/ko not_active IP Right Cessation
- 2015-02-23 JP JP2016549549A patent/JP6546599B2/ja active Active
- 2015-02-23 EP EP15706784.4A patent/EP3111416A1/en not_active Ceased
- 2015-02-23 US US15/122,149 patent/US10650501B2/en active Active
- 2015-02-23 WO PCT/EP2015/053747 patent/WO2015128295A1/en active Application Filing
- 2015-02-23 CN CN201911028683.0A patent/CN110708545B/zh active Active
- 2015-02-23 CN CN201580010295.3A patent/CN106062816B/zh active Active
- 2015-02-26 TW TW104106411A patent/TWI677235B/zh active
-
2020
- 2020-02-06 US US16/784,124 patent/US11727548B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102388612A (zh) * | 2009-03-13 | 2012-03-21 | 杜比实验室特许公司 | 高动态范围、可视动态范围和宽色域视频的分层压缩 |
CN102473295A (zh) * | 2009-06-29 | 2012-05-23 | 汤姆森特许公司 | 基于区的色调映射 |
CN102696220A (zh) * | 2009-10-08 | 2012-09-26 | 国际商业机器公司 | 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统 |
CN103891294A (zh) * | 2011-04-28 | 2014-06-25 | 皇家飞利浦有限公司 | 用于hdr图像编码和解码的装置与方法 |
Non-Patent Citations (1)
Title |
---|
ZICONG MAI 等: "Optimizing a Tone Curve for Backward-Compatible High Dynamic Range Image and Video Compression", 《IEEE TRANZACTIONS ON IMAGE PROCESSING》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11727548B2 (en) | 2014-02-26 | 2023-08-15 | Interdigital Vc Holdings, Inc. | Method and apparatus for encoding and decoding HDR images |
CN109756777A (zh) * | 2017-11-01 | 2019-05-14 | 瑞昱半导体股份有限公司 | 处理影像序列的多种格式的传送端、接收端及方法 |
CN109756777B (zh) * | 2017-11-01 | 2021-10-12 | 瑞昱半导体股份有限公司 | 处理影像序列的多种格式的传送端、接收端及方法 |
CN108171762A (zh) * | 2017-12-27 | 2018-06-15 | 河海大学常州校区 | 一种深度学习的压缩感知同类图像快速重构系统与方法 |
CN108171762B (zh) * | 2017-12-27 | 2021-10-12 | 河海大学常州校区 | 一种深度学习的压缩感知同类图像快速重构系统与方法 |
CN110769210A (zh) * | 2019-11-07 | 2020-02-07 | 湖南国科微电子股份有限公司 | 一种生成hdr图像的方法及装置 |
CN110769210B (zh) * | 2019-11-07 | 2022-06-03 | 湖南国科微电子股份有限公司 | 一种生成hdr图像的方法及装置 |
CN117440154A (zh) * | 2023-12-21 | 2024-01-23 | 之江实验室 | 一种考虑浮点数位拆分的深度图序列压缩方法 |
CN117440154B (zh) * | 2023-12-21 | 2024-04-19 | 之江实验室 | 一种考虑浮点数位拆分的深度图序列压缩方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20160125399A (ko) | 2016-10-31 |
US20160371822A1 (en) | 2016-12-22 |
US20210062095A9 (en) | 2021-03-04 |
US20200172813A1 (en) | 2020-06-04 |
WO2015128295A1 (en) | 2015-09-03 |
EP3111416A1 (en) | 2017-01-04 |
KR20230062888A (ko) | 2023-05-09 |
KR20220025153A (ko) | 2022-03-03 |
JP6546599B2 (ja) | 2019-07-17 |
CN106062816B (zh) | 2019-11-22 |
JP2017509057A (ja) | 2017-03-30 |
US11727548B2 (en) | 2023-08-15 |
CN110708545A (zh) | 2020-01-17 |
CN110708545B (zh) | 2022-04-01 |
KR102361927B1 (ko) | 2022-02-11 |
TWI677235B (zh) | 2019-11-11 |
US10650501B2 (en) | 2020-05-12 |
TW201543867A (zh) | 2015-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106062816B (zh) | 用于对hdr图像进行编码和解码的方法和装置 | |
US11310509B2 (en) | Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA) | |
CN101606320B (zh) | 用于估计归因于数据量化的失真的方法和设备 | |
CN102611823B (zh) | 一种基于图片内容选择压缩算法的方法和设备 | |
US9781449B2 (en) | Rate distortion optimization in image and video encoding | |
US10609373B2 (en) | Methods and apparatus for encoding and decoding digital images or video streams | |
TWI659642B (zh) | 影像之編碼方法和裝置,以及位元流之解碼方法和裝置 | |
US7778468B2 (en) | Decoding apparatus, dequantizing method, and program thereof | |
EP2927865A1 (en) | Method and apparatus for encoding and decoding HDR images | |
CN107666472B (zh) | 混合的数字-模拟编解码的方法和设备 | |
CN104581158A (zh) | 量化表、图像压缩处理方法、装置、终端及图像搜索系统 | |
CN106534855A (zh) | 一种面向satd的拉格朗日因子计算方法 | |
US20200186810A1 (en) | System and method for optimized video encoding | |
CN107018287A (zh) | 使用视频缩影对图像进行降噪的方法和装置 | |
EP2978222A1 (en) | System and method for encoding and decoding a video signal | |
CN107396104B (zh) | 一种视频量化参数盲估计方法 | |
Kekre et al. | Restoration of Color Halftone image by using Fast Inverse Half toning Algorithm | |
Thayammal et al. | Image compression using multidirectional anisotropic transform: Shearlet transform | |
Cockshott et al. | Image enhancement using vector quantisation based interpolation | |
CN113170133A (zh) | 用于图片的基于块的空间活动度量 | |
Memon et al. | Robust Transmission of Images Based on JPEG2000 using Edge Information. | |
TW201537964A (zh) | 影像之編碼方法和裝置,位元流之解碼裝置,電腦程式製品,以及處理器可讀式媒體 | |
TW201537963A (zh) | 影像之編碼方法和裝置,以及電腦程式製品和處理器可讀式媒體 | |
TW201608875A (zh) | 訊框之編碼方法和裝置以及訊框之解碼方法和裝置,電腦程式製品及處理器可讀式媒體和非暫態儲存媒體 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20191104 Address after: Delaware, USA Applicant after: Interactive Digital VC Holding Company Address before: The French Yixilaimu Leo City Applicant before: Thomson Licensing Company |
|
TA01 | Transfer of patent application right |