CN107409210A - 匹配不同动态范围的彩色图片之间的色彩的方法和设备 - Google Patents

匹配不同动态范围的彩色图片之间的色彩的方法和设备 Download PDF

Info

Publication number
CN107409210A
CN107409210A CN201680016793.3A CN201680016793A CN107409210A CN 107409210 A CN107409210 A CN 107409210A CN 201680016793 A CN201680016793 A CN 201680016793A CN 107409210 A CN107409210 A CN 107409210A
Authority
CN
China
Prior art keywords
color
picture
colour
input
colour gamut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680016793.3A
Other languages
English (en)
Other versions
CN107409210B (zh
Inventor
S.拉塞尔
F.勒利安内克
D.图兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP15305125.5A external-priority patent/EP3051489A1/en
Priority claimed from EP15305143.8A external-priority patent/EP3051792A1/en
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107409210A publication Critical patent/CN107409210A/zh
Application granted granted Critical
Publication of CN107409210B publication Critical patent/CN107409210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428Gradation resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开一般地涉及匹配不同动态范围的彩色图片的色彩的方法。获得输入彩色图片的输入色域(1101)和输出彩色图片的输出色域(1102)。修改输出色域以匹配输入色域(1103),其中,计算输入色域与输出色域之间的减小的感知色彩误差距离。

Description

匹配不同动态范围的彩色图片之间的色彩的方法和设备
技术领域
本公开一般地涉及图片/视频编码和解码。具体地,但非排他性地,本公开的技术领域涉及匹配不同动态范围的彩色图片之间的色彩。
背景技术
本部分旨在向读者介绍可能与下面描述或要求保护的本公开的各个方面有关的技术的各个方面。相信该论述有助于向读者提供背景知识以便于更好地理解本公开的各个方面。相应地,应当理解的是,这些陈述应当从这个角度来阅读,而不是作为对现有技术的承认。
在下文中,彩色图片包含以特定图片/视频格式的若干组样本(像素值),该特定图片/视频格式指定与图片(或视频)的像素值有关的所有信息以及可能由显示器和/或任何其他设备用以例如对图片(或视频)进行可视化和/或解码的所有信息。彩色图片包括以第一组样本的形式的至少一个分量,通常,明亮度(或亮度)分量,以及以至少另一组样本的形式的至少一个另外的分量。或者,等效地,相同的信息也可以通过诸如传统的三色RGB表示这样的若干组色彩样本(色彩分量)的集合来表示。
像素值通过c个值的向量来表示,其中,c是分量的数量。向量的每个值用定义像素值的最大动态范围的多个比特来表示。
标准动态范围图片(SDR图片)是亮度值用通常以2或F制光圈数(f-stops)的幂所量度的有限动态性来表示的彩色图片。SDR图片具有大约10个F制光圈数的动态性(即,线性区域中的最亮的像素与最暗的像素之间的比率为1000),并且例如通过使用ITU-RBT.709OETF(光电转换函数)(Rec.ITU-R BT.709-5,2002年4月)或者ITU-R BT.2020 OETF(Rec.ITU-R BT.2020-1,2014年6月),用非线性区域中的有限数量(往往,在HDTV(高清晰度电视系统)和UHDTV(超高清晰度电视系统)中的8个或10个)的比特来编码,以减小动态性。该有限的非线性表示无法正确地呈现小的信号变化,特别是在暗的和亮的亮度范围中。在高动态范围图片(HDR图片)中,信号动态性高得多(多达20个F制光圈数,即最亮的像素与最暗的像素之间的比率为一百万),并且需要新的非线性表示以便维持该信号在其整个范围上的精确度。在HDR图片中,原始数据通常以浮点格式(针对每个分量32比特或16比特,即浮点或半浮点)来表示,最常用的格式是openEXR半浮点格式(针对每个RGB分量16个比特,即针对每个像素48个比特)或者以具有长表示(典型地,至少16个比特)的整数的形式。
色域是色彩的某个完全集。最通常的使用指能够在给定的环境中(诸如在给定的色彩空间内或者由某个输出设备)精确地表示的色彩的集合。
如图1所示,色域有时通过在CIE 1931色彩空间色度图中所提供的RGB主色和白色点来定义。
通常在所谓的CIE 1931色彩空间色度图中定义主色。这是与亮度分量无关地定义色彩的二维图(x,y)。然后,通过如下变换将任意的色彩XYZ投影到该图中:
z=1-x-y分量也被定义但是不携带额外信息。
通过顶点是三个主色RGB的(x,y)坐标的集合的三角形,在该图中定义全域。白色点W是属于该三角形的另外的给定(x,y)点,通常接近于三角形中心。例如,可以将W定义为三角形的中心。
色量(volume)通过色彩空间以及在该色彩空间中所表示的值的动态范围来定义。
例如,色域通过针对UHDTV的RGB ITU-R推荐BT.2020色彩空间来定义。更老的标准ITU-R推荐BT.709定义针对HDTV的较小的色域。在SDR中,对于对数据进行编码的色量,动态范围被官方地定义多达100尼特(坎德拉/平方米),虽然一些显示技术可以显示更亮的像素。
高动态范围图片(HDR图片)是亮度值用比SDR图片的动态性更高的HDR动态性表示的彩色图片。
如Danny Pascale在“A Review of RGB Color Spaces”中详尽地解释的那样,全域的改变(即,将三个主色和白色点从一个全域映射到另一个全域的变换)可以通过使用线性RGB色彩空间中的3x3矩阵来执行。从XYZ到RGB的空间的改变也通过3x3矩阵来执行。因此,无论色彩空间是RGB还是XYZ,全域的改变均可以通过3x3矩阵来执行。例如,从BT.2020线性RGB到BT.709XYZ的全域改变可以通过3x3矩阵来执行。
HDR动态性尚未由标准定义,但是可以期待多达数千尼特的动态范围。例如,HDR色量通过RGB BT.2020色彩空间来定义,并且在该RGB色彩空间中所表示的值属于从0到4000尼特的动态范围。HDR色量的另外的示例通过RGB BT.2020来定义,并且在该RGB色彩空间中所表示的值属于从0到1000尼特的动态范围。
对图片(或视频)进行色彩分级是改变/增强图片(或视频)的色彩的处理。通常,对图片进行色彩分级涉及相对于该图片的色量(色彩空间和/或动态范围)的改变或者色域的改变。从而,相同图片的两个不同的经色彩分级的版本是该图片的值以不同的色量(或色域)中表示的版本或者该图片的至少一种色彩已经根据不同的色彩分级被改变/增强的版本。这可能涉及用户交互。
例如,在电影摄影制作中,使用三色相机,将图片和视频拍摄为包括三个分量(红色、绿色和蓝色)的RGB色彩值。RGB色彩值取决于传感器的三色特性(基色)。然后,获得所拍摄的图片的第一色彩分级版本,以便取得影院式渲染(使用特定的影院式分级)。典型地,所拍摄的图片的第一色彩分级版本的值根据诸如针对UHDTV定义参数值的BT.2020这样的标准化的YUV格式来表示。
YUV格式通常通过对线性RGB分量应用非线性函数(所谓的光电转换函数(OETF))以获得非线性分量R’G’B’、并且然后对所获得的非线性分量R’G’B’应用色彩变换(通常,3x3矩阵)以获得三个分量YUV来执行。第一分量Y是亮度分量,而两个分量U、V是色度分量。
然后,调色师(通常与摄影导演联合)通过对一些色彩值进行精细调谐/微调,对所拍摄的图片的第一色彩分级版本的色彩值进行控制,以便注入艺术意图。
要解决的问题是压缩的HDR图片(或视频)的分发,同时分发表示该HDR图片(或视频)的经色彩分级的版本的相关联的SDR图片(或视频)。
一种普通的解决方案是在分发基础设施上同时联播SDR和HDR图片(或视频)两者,但是缺点是相比于诸如HEVC main 10profile(“High Efficiency Video Coding”,SERIESH:AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Recommendation ITU-T H.265,Telecommunication Standardization Sector of ITU,2013年4月)这样的适合于广播SDR图片(或视频)的常规基础设施进行分发而言,所需的带宽实际上加倍。
使用常规分发基础设施是加速HDR图片(或视频)的分发的出现的需要。而且,应当在确保图片(或视频)的SDR版本和HDR版本两者的良好质量的同时使比特率最小化。
而且,可能需要确保向后兼容性,即,SDR图片(或视频)应当对于配备常规解码器和显示器的用户是可观看的,即,具体地,应当保留总体所感知的光亮度(即,暗场景和亮场景)和所感知的色彩(例如,保留色调等)。
另一种直接的解决方案是,通过适当的非线性函数减小HDR图片(或视频)的动态范围,通常减小到有限数量的比特(例如,10个比特),并且通过HEVC main10 profile直接压缩。这样的非线性函数(曲线)已经存在,例如由Dolby在SMPTE所提出的所谓的PQ EOTF(SMPTE standard:High Dynamic Range Electro-Optical Transfer Function ofMastering Reference Displays,SMPTE ST 2084:2014)。
该解决方案的缺点是缺乏向后兼容性,即,所获得的图片(视频)的减小版本不具有被视为可作为SDR图片(视频)观看的足够的视觉质量,并且压缩性有时不太好。
本公开针对前述问题而设计出来。
发明内容
下面给出本公开的简要概述,以便提供对本方法的一些方面的基本理解。该概述不是本公开的详细综述。其不是旨在标识出本公开的关键或重要元素。下面的概述仅以简化的形式给出本公开的一些方面,作为下面提供的更详细的描述的序言。
根据所述原理的一方面,本公开着手于通过匹配不同动态范围的彩色图片之间的色彩的方法来弥补上面提到的缺陷中的至少一个,所述方法的特征在于其包括:
-获得输入的彩色图片的输入色域;
-获得输出彩色图片的输出色域;以及
-修改输出色域以匹配输入色域,其中,所述修改包括计算输入色域与输出色域之间的减小的(例如,最小化的)感知色彩误差距离。
根据实施例,感知色彩误差取决于色域的色调和感知饱和度。
根据实施例,输出彩色图片是输入彩色图片的动态性减小版本。
这可以允许具有作为HDR彩色图片和SDR图片的输入彩色图片,SDR图片是HDR彩色图片的改造版本,使得保留了色度和感知饱和度并且提高SDR图片相对于HDR图片的视觉质量。然后,可以对SDR图片例如进行编码和存储或者通过传送介质进行传送。
根据另外的实施例,输出彩色图片是输入彩色图片的动态性扩大版本。这可以允许具有作为SDR彩色图片的输入彩色图片,SDR彩色图片例如从储存器或者来自传送介质的比特流获得,并且获得作为SDR输入图片的改造版本的输出彩色图片。
根据实施例,修改包括对输入彩色图片的色度分量应用乘法因子或缩放因子,每个色度分量是一组色度样本的形式,乘法因子取决于减小的或最小化的感知色彩误差。
在示例性实施例中,乘法因子或缩放因子取决于输出彩色图片的亮度分量,亮度分量是以一组亮度或明亮度样本的形式,即,对于色度分量的色度样本的每个集合,所分配的缩放因子取决于输出彩色图片的共置的(co-located)亮度样本(并且输出亮度样本是对应的共置的输入亮度样本的输入亮度的改造版本)。
根据实施例,乘法因子或缩放因子取决于输入彩色图片的调制值(也被称为背光值)。
根据实施例,输入色域被定义为诸如CIE 1931色彩空间这样的XYZ色彩空间的xy平面中的点的有限集。
在示例性实施例中,感知权重被关联到所述点,使得按照每个点处的感知权重对感知色彩误差距离进行加权。
根据实施例,参照输出彩色图片的亮度分量的值,在查找表或者其他远程或本地存储器中提供所述乘法因子的值。
在示例性实施例中,针对输入彩色图片的不同的背光值,提供专用的查找表或组合的查找表。
在示例性实施例中,与专用的背光值相关联的所期望的乘法因子从查找表读取或者通过与相邻背光值相关联的对应的乘法因子之间的内插来确定。
根据实施例,感知色彩误差距离基于Lab色彩空间中的ab距离。
根据本公开的其他方面,本公开涉及包括被配置为实现上述方法的处理器的设备、包括程序代码指令的计算机程序产品(其中,程序代码指令在该程序在计算机上执行时执行上述方法的步骤)、在其中存储有用于使处理器至少执行上述方法的步骤的指令的处理器可读介质、以及携带程序代码的指令的非临时性存储介质(其中,程序代码的指令在所述程序在计算设备上执行时执行上述方法的步骤)。
根据下面结合附图进行的实施例的描述,本公开的具体性质以及本公开的其他目标、优点、特征以及使用将变得明显。
附图说明
在附图中例示本公开的实施例:
图1示出色度图的示例;
图2示意性地示出对彩色图片进行编码的方法的第一示例的步骤的图;
图3例示依据本公开的全域映射的原理;
图4示意性地示出步骤12的子步骤的图;
图5示意性地示出步骤11的子步骤的图;
图6示意性地示出从至少一个比特流解码彩色图片的方法的第一示例的步骤的图;
图7示意性地示出步骤22的子步骤的图;
图8示意性地示出步骤23的子步骤的图;
图9示意性地示出对彩色图片进行编码的方法的第二示例的步骤的图;
图10示意性地示出从至少一个比特流解码彩色图片的方法的第二示例的步骤的图;
图11示意性地示出依据本公开的实施例的用于匹配不同动态范围的彩色图片之间的色彩的方法的步骤的图;
图12示意性示出依据本公开的另一个实施例的用于匹配不同动态范围的彩色图片之间的色彩的方法的步骤的图;
图13例示具有均质网孔的离散化全域;
图14例示Y0的各个值的离散化全域的集合;
图15例示具有加权网孔的离散化全域;
图16示意性地示出成本函数cost(β″)的曲线图;
图17示意性地示出Ba的各个值的成本函数cost(β″codec(Ba,L))的曲线图。
图18示出依据本公开的实施例的设备的架构的示例。
具体实施方式
在下文中参照示出本公开的实施例的附图更全面地描述本公开。然而,本公开可以以很多替代的方式来实施,而不应当被解释为局限于在本文中所阐述的实施例。相应地,虽然本公开允许各种修改和替代的形式,但是在附图中作为示例示出本公开的特定的实施例,并且在本文中将详细地描述这些特定的实施例。然而,应当理解的是,没有意图将本公开限制于所公开的具体形式,而是相反地,本公开将覆盖落入由权利要求所限定的本公开的精神和范围内的所有修改、等效方案和替代方案。
在本文中所使用的术语仅用于描述具体的实施例的目的,而非意图限制本公开。如在本文中所使用的那样,单数形式的“一”、“一个”和“该”指在也包括复数形式,除非上下文以其他形式明确地指出。还应当理解的是,术语“包括”、“包括有”、“包含”和/或“包含有”在本说明书中使用时指定所述特征、整数、步骤、操作、元件和/或分量的存在,但是不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、分量和/或它们的分组。而且,当元件被称为“响应于”或“连接到”另外的元件时,其可以直接响应于或连接到其他元件,或者可以存在中介元件。相反,当元件被称为“直接响应于”或“直接连接到”其他元件时,不存在中介元件。如在本文中所使用的那样,术语“和/或”包括相关联的所列项目中的一个或多个的任意或全部的组合,并且可以被简写为“/”。
应当理解到,虽然术语“第一”、“第二”等可能在本文中用于描述各种元件,但是这些元件不应当被这些术语所限制。这些术语仅用于将一个元件与另外的元件区别开。例如,第一元件可以被称为第二元件,并且类似地,第二元件可以被称为第一元件,而不脱离本公开的教导。
虽然一些图在通信路径上包括箭头以示出通信的主要方向,但是应当理解到,通信可以在与所示箭头相反的方向上进行。
一些实施例参照框图和操作流程图来描述,其中,每个框表示电路元件、模块、或者包含用于实现所指定的逻辑功能的一个或多个可执行指令的代码的部分。还应当注意,在其他实施方式中,在框中所标记的功能可能以不同于所标记的次序进行。例如,相继示出的两个框实际上可以基本上并行地执行,或者各个框有时可以以相反的次序执行,取决于所涉及的功能。
在本文中所提及的“一个实施例”或“实施例”意味着结合该实施例所描述的具体的特征、结构或特性可以被包括在本公开的至少一个实施方式中。在说明书的各处出现的表述“在一个实施例中”或“根据实施例”未必全部指相同的实施例,单独的实施例或替代的实施例也未必与其他实施例是相互排斥的。
权利要求中出现的标号仅用于例示,而不对权利要求的范围具有限制作用。
虽然没有显式地描述,但是所呈现的实施例和变型可以以任何组合或子组合的形式使用。
彩色图片被视为具有三个色彩分量,以此形式来表示彩色图片的像素值。本公开虽然通过具体的示例来解释,但是不限于任何色彩空间(在其中表示三个分量),而是扩展到诸如RGB、CIELUV、XYZ、CIELab等任何色彩空间。
在实施例中,因子(即,实数值)取决于调制值Ba。调制(或背光)值通常与HDR图片相关联,并且代表HDR图片的光亮度。这里,通过类比由彩色面板(例如LCD面板)和背面照明装置(例如LED阵列)制成的电视机,而使用术语(调制)背光。背面装置(通常生成白光)用于照明彩色面板以对TV提供更多的光亮度。因此,TV的亮度是背面照明器的亮度和彩色面板的亮度的乘积。该背面照明器往往被称为“调制”或“背光”,并且其强度在某种程度上代表总体场景的光亮度。
图2示意性地示出对彩色图片I进行编码的方法的第一示例的步骤的图。
在步骤11中,模块C从待编码的彩色图片I获得亮度分量L和两个色度分量C1和C2。例如,分量(L,C1,C2)可以属于在对彩色图片I应用OETF之后所获得的YUV色彩空间,并且色彩分量Ec可以属于线性RGB色彩空间或XYZ色彩空间。
在步骤12中,模块GM将亮度L和色度C1、C2分量映射到最终的亮度分量L”和两个最终的色度分量C”1、C”2,使得从该最终的亮度(L”)和色度(C”1,C”2)分量所获得的色彩的全域G2映射到待编码的彩色图片I的色彩的全域G1上。
图3例示这样的全域映射。从分量L和两个色度分量C1和C2所获得的色彩的全域(R,G,B,W)被表示在虚线中,而待编码的图片I的色彩的全域(R’,G’,B’,W’)表示在实线中。
将全域(R,G,B,W)映射到全域(R’,G’,B’,W’)意味着将主色R、G、B分别映射到主色R’、G’、B’并且将白色点W映射到白色点W’。映射的目的是将(L,C1,C2)变换为(L”,C”1,C”2),使得从L”、C”1、C”2分量所获得的感知色彩比(L,C1,C2)更好地匹配彩色图片I的色彩。
在步骤13中,编码器ENC对最终的亮度L”分量和两个最终的色度分量C”1、C”2进行编码。
根据实施例,经编码的分量L”和色度分量C”1、C”2被存储在本地或远程存储器中和/或添加到比特流F中。
根据在图4中所例示的步骤12的实施例,两个最终的色度分量C”1、C”2通过按照因子β-1(Ba,L(i))对两个色度分量C1、C2中的每个进行缩放来获得(步骤121),因子β-1(Ba,L(i))取决于从亮度分量L所获得的调制值Ba以及亮度分量L的每个像素i的值,并且模块LCC(步骤122)通过将亮度分量L和两个最终的色度分量C”1、C”2线性地组合到一起来获得最终的亮度分量L”:
其中,m和n是通过校正最高的亮度峰值来避免色彩饱和的系数(实数值)。
根据实施例,系数m和n存储在本地或远程存储器中和/或添加到比特流BF,如图4所示。
根据(等式A的)模块LCC的变型,最终的亮度分量L”的值总是低于亮度分量L的值:
L″=L-max(0,mC′1+nC′2)
这确保最终的亮度分量L”的值不会超出亮度分量L的值,从而确保不出现色彩饱和。
根据在图5中所例示的步骤11的实施例,在步骤110中,模块IC通过将三个分量Ec线性地组合到一起来获得表示彩色图片I的亮度的分量Y:
其中,A1是定义从(E1,E2,E3)色彩空间到色彩空间(Y,C1,C2)的色彩空间变换的3x3矩阵的第一行。
在步骤130中,模块FM通过对分量Y应用非线性函数f来获得亮度分量:
L=f(Ba,Y) (1)
其中,Ba是由模块BaM从分量Y所获得的调制值(步骤120)。
对分量Y应用非线性函数f减小其动态范围。换句话说,亮度分量L的动态性相比于分量Y的动态性是减小的。
基本地,减小分量Y的动态范围,从而通过使用10个比特来表示分量L的亮度值。
根据实施例,在应用非线性函数f之前,用调制值Ba除分量Y:
L=f(Y/Ba) (2)
根据实施例,非线性函数f是伽马函数:
其中,Y1根据等式(1)或(2)的实施例等于Y或Y/Ba,B是常数值,γ是参数(严格低于1的实数值)。
根据实施例,非线性函数f是S-Log函数:
L=a.ln(Y1+b)+c
其中,a、b和c是所确定的SLog曲线的参数(实数值)使得f(0)和f(1)是不变的,并且SLog曲线的导数在通过低于1的伽马曲线延长时在1处是连续的。这样,a、b和c是参数γ的函数。
在表格1中示出典型的值。
表格1
在有利的实施例中,就HDR压缩性能以及所获得的SDR明亮度的良好的可视性而言,接近于1/2.5的γ的值是高效的。这样,3个参数可以有利地取下面的值:a=0.44955114,b=0.12123691,c=0.94855684。
根据实施例,非线性函数f根据分量Y的像素值是伽马校正或SLog校正。
对分量Y应用伽马校正将上拉暗区域,但是不会降低足够的高光以避免亮像素的燃烧。
然后,根据实施例,模块FM根据分量Y的像素值应用伽马校正或SLog校正。信息数据Inf可以指示应用伽马校正还是Slog校正。
例如,当分量Y的像素值低于阈值(等于1)时,则应用伽马校正,否则应用SLog校正。
根据步骤120的实施例,调制值Ba是分量Y的像素值的平均值、中间值、最小值或最大值。这些操作可以在线性HDR亮度域Ylin中或者在例如ln(Y)或Yγ(γ<1)这样的非线性域中进行。
根据实施例,当该方法用于对属于图片序列的若干彩色图片进行编码时,针对每个彩色图片即图片组(GOP)或者针对诸如但不限于在HEVC中所定义的条带或转换单元这样的彩色图片的一部分,确定调制值Ba。
根据实施例,值Ba和/或非线性函数f的参数(诸如a、b、c或γ)和/或信息数据Inf存储在本地或远程存储器中和/或添加到比特流BF中,如在图2和图5中所示。
在步骤140中,模块CC从彩色图片I获得至少一个色彩分量EC(c=1,2,3)。色彩分量Ec可以直接从本地或远程存储器获得或者通过对彩色图片I应用色彩变换获得。
在步骤150中,通过按照因子r(L)对每个色彩分量Ec进行缩放来获得中间色彩分量E’c(c=1、2或3),因子r(L)取决于亮度分量L:
其中,r(L(i))是由模块RM所确定(步骤160)的因子(实数值),其取决于分量L的像素i的值,E′c(i)是中间色彩分量E’c的像素i的值,而Ec(i)是色彩分量Ec的像素i的值。
按照因子进行缩放意味着乘以所述因子或者除以所述因子的倒数。
按照取决于亮度分量L的因子r(L)对每个色彩分量Ec进行缩放保留了彩色图片I的色彩的色调。
根据步骤160的实施例,因子r(L)是亮度分量L对分量Y的比率:
其中,Y(i)是分量Y的像素i的值。实际上,分量Y的像素的值Y(i)无歧义地取决于亮度分量L的像素的值L(i),使得该比率可以写为仅是L(i)的函数。
该实施例是有利的,因为按照还取决于分量Y的因子r(L)对每个色彩分量Ec进行缩放保留了彩色图片I的色彩的色调,并且从而提高经解码的彩色图片的可视质量。
更准确地说,在色度学和色彩理论中,彩度、色度和饱和度指的是特定色彩的感知强度。彩度是色彩和灰度之间的差异的程度。色度是相对于在相似的观看条件下呈现白色的另一个色彩的光亮度的彩度。饱和度是相对于其自身的光亮度的色彩的彩度。
高度丰富多彩的刺激是生动且强烈的,而不太丰富多彩的刺激看上去更柔和,更接于灰色。在根本没有彩度的情况下,色彩是“中性的”灰色(在其任何色彩中均没有彩度的图片被称为灰阶)。任何色彩可以根据其彩度(或色度或饱和度)、光度(或光亮度)和色调来描述。
色彩的色调和饱和度的定义取决于被用于表示该色彩的色彩空间。
例如,当使用CIELUV色彩空间时,饱和度suv被定义为色度相对于亮度L*的比率。
然后,色调通过下式给出:
根据另外的示例,当使用CIELAB色彩空间时,饱和度被定义为色度相对于亮度的比率:
然后,色调通过下式给出:
这些等式是饱和度和色调的符合对饱和度的人类感知的合理的预测器,并且表明在CIELAB(或CIELUV)色彩空间中调整光亮度同时保持角度a*/b*(或u*/v*)固定不影响色调,并且从而不影响相同色彩的感知。在步骤150,按照相同的因子对色彩分量进行缩放保留该角度,从而保留色调。
现在考虑在CIELUV色彩空间中表示彩色图片I,并且考虑图片I2,图片I2是通过将CIELUV色彩空间的亮度分量L和两个色度分量U(=C1)和V(=C2)组合在一起而形成的,亮度分量L的动态范围相比于彩色图片I的亮度的动态范围是减小的(步骤130)。图片I2的色彩从而被人类不同地感知,因为色彩的饱和度和色度改变了。方法(步骤150)确定图片I2的色度分量C1和C2,使得图片I2的色彩的色调最佳地匹配彩色图片I的色彩的色调。
根据步骤160的实施例,因子r(L)由下式给出:
该最后的实施例是有利的,因为其针对非常暗的像素防止该因子变为零,即,允许比率是可逆的,而不管像素值如何。
在步骤170中,从至少一个中间色彩分量E’c获得两个色度分量C1、C2。
图6示意性地示出根据本公开的实施例的从至少一个比特流解码彩色图片的方法的步骤的图。
在步骤21中,解码器DEC从本地或远程存储器或者通过至少部分地对比特流F进行解码,来获得亮度分量L”和两个色度分量C”1和C”2。
在步骤22中,模块IGM通过对从所述亮度L”和色度C”1、C”2分量所获得的色彩应用逆映射,从所述亮度L”和色度C”1、C”2分量获得最终的亮度分量L和两个最终的色度分量C1、C2。
在步骤23中,模块INVC从所述最终的亮度L分量和所述两个最终的色度C1、C2分量获得待解码的彩色图片的至少一个色彩分量Ec。经解码的图片通过将所述至少一个色彩分量Ec组合在一起来获得。
根据在图7中所例示的步骤22的实施例,模块ILCC通过将亮度分量L”和两个色度分量C”1、C”2线性组合在一起来获得(步骤222)最终的亮度分量L,并且通过按照取决于调制值Ba和最终亮度分量L的每个像素i的值两者的因子β(Ba,L(i))对两个色度分量C”1、C”2中的每个进行缩放(步骤221)来获得两个最终的色度分量C1、C2,并且:
其中,m和n是系数(实数值)。系数m和n可以是通过矩阵ΦBa(L)的因数分解所获得的那些系数,即,m和n是在Φ0中所获得的那些系数。因此,它们取决于彩色图片I的全域(例如,BT.709或BT.2020全域)。m和n的典型的值是区间[0.1,0.5]中的m≈n。
等式(J)被视为应用于从亮度L”和色度C”1、C”2分量所获得的色彩的逆映射。等式(J)直接从被视为色彩映射的等式(A)获得。
根据模块ILCC的变型,最终的亮度分量的值总是高于亮度分量L”的值:
L=L"+max(0,mC′1+nC′2)
该实施例是有利的,因为其确保最终的亮度分量L不超过通常被解码器用于定义亮度峰值的潜在剪裁值。当解码器需要亮度峰值时以及当最终的亮度分量由等式(J)给出时,最终的亮度分量L被剪裁,这引入一些伪像。
根据实施例,调制值Ba和/或系数m和n从诸如查找表这样的远程或本地存储器获得,或者从如图7中所例示的比特流BF获得。
根据实施例,针对特定的调制值Ba和最终的亮度分量L的特定值L(i),从查找表(LUT)获得因子β-1(Ba,L(i))。从而,针对多个亮度峰值(诸如例如1000尼特、1500尼特和4000尼特),针对每个特定的调制值Ba,在LUT中存储特定的因子β-1(Ba,L(i))。
根据变型,通过在对其存储LUT的多亮度峰值之间内插亮度峰值,针对最终的亮度分量L的像素的值,获得特定调制值Ba的因子β-1(Ba,L(i))。
根据在图8中所例示的步骤23的实施例,在步骤220中,模块IFM通过对最终的亮度分量L应用非线性函数f-1获得第一分量,使得第一分量Y的动态性相比于最终的亮度分量L的动态性是增加的:
Y=f-1(Ba,L) (A3)
该非线性函数f-1是非线性函数f(步骤130)的逆。
这样,函数f-1的实施例根据函数f的实施例来定义。
根据实施例,非线性函数f-1的参数(诸如a、b、c或γ)和/或信息数据Inf从本地或远程存储器(例如查看表)获得和/或从在图8中所例示的比特流BF获得。
根据实施例,亮度分量L在应用了非线性函数f-1之后乘以调制值Ba:
Y=Ba*f-1(L) (A4)
根据实施例,非线性函数f-1是伽马函数的逆。
然后,分量Y由下式给出:
其中,Y1根据等式(A3)或(A4)的实施例等于Y或Y/Ba,B是常数值,γ是参数(严格低于1的实数值)。
根据实施例,非线性函数f-1是S-Log函数的逆。然后,分量Y1由下式给出:
根据实施例,非线性函数f根据分量Y的像素值是伽马校正的逆或SLog校正的逆。这由信息数据Inf指示。
在步骤230中,模块ILC根据第一分量Y、两个最终的色度分量C1和C2,并且根据取决于最终的亮度分量L的因子r(L),获得至少一个色彩分量Ec。然后,通过将所述至少一个色彩分量Ec组合在一起获得经解码的彩色图片。
现在参照图9和图10,例示通用编码方案(编码器和解码器)的第二示例,其主要取决于亮度和色度的、用于从HDR映射到SDR的双变量函数β”(Ba,L)、β’(Ba,L)和g(Ba,L)以及两个常量参数a和b的集合,使得相比于原始的HDR图像/视频,在SDR图像/视频中保留色彩以及纹理。虽然g(Ba,L)优选为变量L的Slog函数,但是应当优化三元组(a,b,β”)以产生最佳的可能的SDR/HDR色彩匹配(色调和感知饱和度),其取决于峰值亮度、输入/输出全域以及背光值Ba。
编码涉及函数β”(Ba,L),而解码涉及函数β’(Ba,L)。
参照图9,示意性地示出例示对彩色图片进行编码的方法的示例900的步骤的图。编码器侧处理步骤概述如下。在第一步骤910中,执行亮度动态性减小以取得L作为输入高动态范围亮度Y=YHDR的动态性减小版本,在所示示例中,从输入RGBHDR图像获得。在所示示例中,执行HDR亮度YHDR动态性的减小,以取得明亮度L=LSDR,例如以10个比特,其中,L=LSDR=g(YHDR),g是被用于对动态性进行压缩的非线性函数。在所示的实施例中,函数g还可能取决于背光值Ba,在所示示例中,从分析输入亮度得出。
在第二步骤920中,进行两个动态性减小的色度分量的构造,在所示的示例中的U’V’。这完成LSDR,从而获得具有三个分量的SDR图片或视频,在所示示例中的LSDR UV,其中,R#B#G#被确定为RGBHDR的平方根,并且是按照公共乘法因子β”的R#B#G#的归一化。这里,β”(LSDR)是至少取决于LSDR的给定函数。在所示示例中,两个色度分量U’和V’被确定为 其中,矩阵为2x3矩阵。
在第三步骤930中,进行通过全域映射的色彩分量的校正,这里,从LU’V’到L’U”V”。在所示示例中,执行从具有不正确的色调和饱和度的SDR空间LUVSDR到经校正的空间L’U’V’SDR的全域映射,从而更好的保留HDR色彩。在所示示例中,[L’;U”;V”]=Mat3x3(L)[L;U’;V’]。
参照图10,示意性地示出例示对彩色图片进行解码的对应方法的示例1000的步骤的图。解码器侧处理步骤概述如下。
在第一步骤1030(其可以被视为在图9中所示出的对应的第三步骤930的逆)中,进行通过全域去映射的从L’U”V”回到LU’V’的色彩分量的校正。在所示示例中,确定[L;U'’;V’]=Mat3x3[L’;U”;V”]。
在第二步骤1010(其可以被视为在图9中所示出的对应第一步骤910的逆)中,进行亮度动态下扩大,以取回Y,即,对于所示示例,YHDR=f-1(LSDR)。
在第三步骤1020(其可以被视为在图9中所示出的对应的第二步骤920的逆)中,从YU’V’恢复RGBHDR。这包括按照公共乘法因子β’的到UrVr的U’V’的重归一化以及按照的值S的确定。在所示示例中,R#、G#和B#被确定为[R#;G#;B#]=Mat3x3[S;Ur;Vr],并且RGBHDR作为R#G#B#的平方而获得。
通过构造,为了取得作为编码器的精确的逆的解码器,必须取得β’=1/β”。因此,对于给定的对(a,b),β”的确定足以定义编码器和解码器两者。
要解决的问题是找到β”,使得SDR L’U”V”色彩至多对应于输入HDR色彩(色调和感知饱和度)并且处理是可解码的,即,按照β”进行缩放尽可能最佳地避免U”V”中的剪裁。
参照图11,示意性地示出根据本公开的实施例的用于匹配不同动态范围的彩色图片之间的色彩的方法。该方法包括:获得输入彩色图片的输入色域1101;获得输出彩色图片的输出色域1102;以及修改1103输出色域以匹配输入色域,其中,修改包括计算输入色域与输出色域之间的减小的(例如,最小化的)感知色彩误差距离。
作为示例,将参照在图12中所示出的实施例来解释最小化,其中,输出彩色图片是主要对应于参照图9所描述的编码的编码器的输入处的HDR输入彩色图片的SDR版本。因此,省略对应的编码步骤1210、1220、1230的详细描述,并且描述关注于优化问题。
执行β”的优化,使得就所感知的色彩失真或误差而言,输入HDR全域1201与输出的相关联的SDR全域1202之间的距离最小化。为此,必须精确地定义全域、编解码器的全域的图像以及两个全域之间的距离的概念。
为了解决最小化问题,固定以下参数:背光Ba,矩阵[L’;U”;V”]=Mat3x3(L)[L;U’;V’],即,两个参数(a,b),以及亮度级别Y0
然后,得出优化的β”值,即β”(Ba,L0,a,b)值,该值使以亮度Y0的输入HDR全域与以明亮度L0=f(Y0)的输出SDR全域之间的距离最小化。
输入HDR全域由2D全域三角形(例如,BT709或BT2020三角形)中的(x,y)点和亮度Y0给出。在变型中,可以使用另外的空间来描述全域,例如,Lab空间的子空间ab等。对于所呈现的示例,根据转变公式得出绝对线性XYZHDR坐标1203:
X=Y0x/y,Y=Y0和Z=Y0(1-x-y)/y。
在XYZ色彩空间中所描述的输入色域分别使用(例如,取决于输入彩色图片)根据ITU Rec.709或ITU Rec.2020的用于将全域从XYZ表示变换成RGB表示的3x3变换矩阵,被变换成其在RGB色彩空间中的表示。然后,通过使用BT709或BT2020 3x3矩阵E 404的从XYZ到RGB的变换,取得被用作LUV编码器1210、1220、1230的输入的线性RGBHDR分量,如图12中所示:
在输出侧,编码器1210、1220、1230(这里,参照图9所解释的LUV编解码器)提供对应于在SDR显示器上所显示的标准YUV图像的L’U’V’1205。这通过应用由ITU-R所定义的标准BT709/2020RGB->YUV矩阵的逆矩阵A-1改变回到伽马化的R’G’B’SDR空间1206;然后,通过应用1207伽马化到线性的BT709/2020EOTF改变回到线性RGBSDR空间。全域中的坐标通过使用在输入侧所使用的矩阵E的逆1208而应用到XYZSDR空间的变换来确定,并且最终按照x=X/(X+Y+Z)和y=Y/(X+Y+Z)找到1209(x,y)SDR
这样,所示出的LUV通用编解码器定义映射
对于固定的a、b,全域上的输入和输出对(x,y)之间的距离的最小化确定了取决于(Ba,Y0)或等效地取决于(Ba,L0)的β″的值,如下:
其中,dxy是全域上所定义的色度距离。
下面,示出积分域和距离dxy的构造。全域通过三个主色的(x,y)坐标来定义。例如,BT709全域的三角形是具有三个如下顶点的三角形:
xR=0.64、yR=0.33,xG=0.30、yG=0.60以及xB=0.15、yB=0.06。
全域G内部的彩色点被定义为主色的正加权组合,即,三个主色的凸包:
全域的网孔化通过域[0,1]2中的参数(λ,μ)的网孔化来进行,网孔当且仅当v=1-λ-μ为正时有效。对这两个参数的均质网孔化得到如图13所示的全域离散化。
全域闭包通过丢弃xy网孔来确定,对于所述xy网孔,由Y0给出,其线性RGB表示的分量超出峰值亮度P。针对Y0的各个值,在图14中示出剩余的全域。仅白色点601保持在峰值Y0=P附近。
然而,在xy空间中的该均质网孔化不影响人类对色彩的敏感度。理想地,将期望在敏感的区域中的更多的网孔以及在色彩差异不太被感知到的地方的更少的网孔。理论上,应当将均质网孔化从欧几里得感知色彩空间映射到xy空间上。这通过使用Lab色彩空间并且在xy空间中对每个网孔用权重替换经映射的非均质为网孔化来实现。
考虑将全域点(x,y)映射到Lab空间点(L,a,b)的函数在所示的示例中,假设亮度Y0是单位值。
在X=x/y、Y=Y0=1和Z=(1-x-y)/y的情况下,对应的Lab空间点通过L=116f(Y/Yf)、a=500(f(X/Yf)-f(Y/Yf))和b=200(f(Y/Yf)-f(Z/Yf))来确定,其中,Yf是环境亮度参考,并且f是下面的非线性变换
可以看到,Y和L是固定的,明亮度分量L不起作用,而ω实际上将2D xy量映射到2Dab量。量的改变通过由下式所定义的ω的雅可比矩阵Jac(ω)的行列式的绝对值J(x,y):=|Jac(ω)|来提供:
由xy网孔所占据的量与均质ab色彩空间中的J(x,y)成比例。因此,在点(x,y)的色彩编码的误差乘以Lab空间中的J(x,y)。这是经加权的距离在空间xy上被如下定义以测量色彩差异的原因:
dxy:=J(x,y)dab
其中,dab是均质色彩空间ab上的距离。
在图15中例示每个网孔的权重,其中,每个点的半径与J(x,y)成比例。这强调了如下公知事实:人类对于红色(对应于所示的全域三角形的最右边区域)中的误差比其他色彩中的误差更敏感。
实际上,所示的权重已经通过使用比上述内容更精巧的Lab(参见Lab 1994和Lab2000公式,其具有处理针对高饱和度的更低的敏感度以及针对灰色的更多的敏感度而额外项)获得。全域上的积分应当被理解为在所有网孔上的总和。这引起精确优化问题:
其中,假设网孔在xy中是大小均匀的。现在关注于针对dab的公式。
一方面,在Lab空间中,在明度L与非归一化的饱和度(或者所谓的色度)之间存在相关性(应当注意到,根据L定义L’的参数a和b不同于用于Lab空间的a、b),而另一方面,与色彩的感知饱和度Sab之间存在关联性。在某种程度,接受感知饱和度Sab或多或少地满足色度与明亮度之间的下面的比率。
Sab=Cab/Y1/3
现在构造距离dab,使得在HDR与SDR之间保留感知饱和度。定义Lab映射
通过公式
X=Y0x/y、Y=Y0和Z=Y0(1-x-y)/y
a=500(f(X/Yf)-f(Y/Yf))和b=200(f(Y/Yf)-f(Z/Yf))
保留色调意味着保持a对b的比率,而还保留色度Cab意味着保持a和b。替代地,保留色调和感知饱和度Sab通过保持以下两个比率来实现:a/Y1/3和b/Y1/3
这是考虑下面的函数代表感知饱和度的原因,即,对(a/Y0 1/3,b/Y0 1/3),
使得在构造β″以便保留感知饱和度时,变换应当在下是不变的。可以简化公式以去掉参数Y0
Ξ(x,y)=(500(f(x/y)-1),200(1-f((1-x-y)/y)))
对于所描述的示例,可以使用范数|| ||2,因为Lab空间是均质欧几里得感知空间。中的指数L0被理解为使用SDR亮度作为环境亮度参考,即,YSDR=OETFBT -1(L0)。
从下面的最小化问题获得保留饱和度的最优的β″。
β″opt,sat(Ba,L0)
通过以适当的间隔的系统搜索找到最优的β″opt,sat。对于在图8中所示的示例,该搜索容易得出结果,对于示例参数Ba=3.9、P=4000、Y0=500、a=0.4799和b=0.4658,成本函数cost(β″)的曲线图证明这一点。
最后,在编解码器中所使用的值β″=β″codec根据β″opt,sat调整至乘法常数(接近于单位值),以获得LDR与HDR之间的感知饱和度的精细调整:β″codec∝β″opt,sat
参照图17,可以从上述的饱和度优化找到β″codec的形状。图17示出Ba的各个值的整个范围的L=[0,1024[的β″codec(Ba,L)对L的曲线图。显然,β″codec(Ba,*)的LUT(查找表)可以容易地根据Ba的其他值的硬编码的LUT进行内插。
在图9至图13中,步骤可以被视为模块或功能单元,其可以与可区分的物理单元相关联,也可以不与可区分的物理单元相关联。例如,这些模块或它们中的一些可以集合在唯一的组件或电路中,或者用于软件的功能。相反,一些模块可以潜在地由分开的物理实体构成。与本公开兼容的装置使用纯粹的硬件来实现,例如,使用诸如ASIC或FPGA或VLSI(分别为专用集成电路、现场可编程门阵列、超大规模集成电路)这样的专用硬件来实现,或者由嵌入在设备中的若干集成电子组件或者由硬件和软件组件的混合来实现。
图18表示可以被配置为实现参照图1至图4所描述的方法的设备的示例性架构1000。
设备1800包括通过数据和地址总线1801链接在一起的下列元件:
-微处理器1802(或CPU),其例如是DSP(或数字信号处理器);
-ROM(或只读存储器)1803;
-RAM(或随机存取存储器)1804;
-用于从应用传送和/或接收数据的I/O接口1805;以及
-电池1806。
根据变型,电池1806在设备外部。图18中的这些元件中的每个是本领域的技术人员公知的,并且将不作进一步的公开。在所提及的存储器中的每个中,在说明书中所使用的措词“寄存器”可以对应于小容量(一些比特)的区域或者非常大的区域(例如整个程序或大量的所接收或解码的数据)。ROM1803至少包括程序和参数。根据本公开的方法的算法存储在ROM 1803中。在开启时,CPU 1802将程序上载到RAM中,并且执行对应的指令。
RAM 1804包括寄存器中的在设备1800的开启之后上载并由CPU 1802执行的程序、寄存器中的输出数据、寄存器中的方法的不同状态下的中间数据、以及寄存器中的用于执行方法的其他变量。
在本文中所描述的实现方式可以实现为例如方法或处理、装置、软件程序、数据流或信号。尽管仅在单一形式的实现方式的背景下进行了论述(例如,仅作为方法或设备进行了论述),但是所论述的特征的实现方式也可以实现为其他形式(例如,程序)。装置可以实现为例如适当的硬件、软件和固件。方法可以实现在例如装置中,装置是诸如例如处理器,其通常指处理设备,例如包括计算机、微处理器、集成电路或者可编程逻辑器件。处理器还包括通信设备,诸如例如计算机、手机、便携/个人数字助理(PDA)以及便于在终端用户之间进行信息通信的其他设备。
根据特定的实施例,彩色图片从源获得。例如,源属于包括下列的集合:
-本地存储器(1803或1804),例如视频存储器或RAM(或随机存取存储器)、闪速存储器、ROM(或只读存储器)、硬盘;
-存储接口,例如与海量储存器、RAM、闪速存储器、ROM、光盘或磁载体的接口;
-通信接口(1805),例如有线接口(例如,总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口);以及
-图片拍摄电路,例如,诸如例如CCD(电耦器件)或CMOS(或互补金属氧化物半导体)这样的传感器。
根据不同的实施例,图片被发送给目的地。具体地,目的地属于包括下列的集合:
-本地存储器(1803或1804),例如视频存储器或RAM(或随机存取存储器)、闪速存储器、ROM(或只读存储器)、硬盘;
-存储接口,例如与海量储存器、RAM、闪速存储器、ROM、光盘或磁载体的接口;
-通信接口(1805),例如有线接口(例如,总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口);以及
-显示器。
根据不同的实施例,从源获得比特流BF和/或F。示例性地,从例如视频存储器(1804)、RAM(1804)、ROM(1803)、闪速存储器(1803)或硬盘(1803)这样的本地存储器读取比特流。在变型中,比特流从例如与海量储存器、RAM、闪速存储器、ROM、光盘或磁载体接口这样的存储接口接收和/或从例如到点对点链路、总线、点到多点链路或广播网络的接口这样的通信接口(1805)接收。
根据不同的实施例,被配置为实现参照图9至图13所描述的方法的设备1800属于包括下列的集合:
-移动设备;
-通信设备;
-游戏设备;
-机顶盒;
-电视机;
-平板(或平板计算机);
-膝上型计算机;
-显示器;以及
-解码芯片。
在本文中所描述的各种处理和特征的实现方式可以以各种不同的装备或应用来实施。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、手机、PDA以及用于处理图片或视频的任何其他设备或者其他通信设备。应当清楚的是,该装备可以是移动的,甚至可以安装在移动交通工具中。
另外,所述方法通过由处理器执行的指令来实现,并且这样的指令(和/或由实现方式所产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采用计算机可读程序产品的形式,其实施在一个或多个计算机可读介质中,并且在其上体现有可被计算机执行的计算机可读程序代码。在本文中所使用的计算机可读存储介质被视为非临时性存储介质,其给出在其中存储信息的固有能力以及从中提供信息检索的固有能力。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或器件,或者前述的任何适当的组合。应当意识到,如本领域的技术人员容易意识到的那样,下面虽然提供可以应用本原理的计算机可读存储介质的更具体的示例,但是其仅是示例性而非囊括性的列表:便携式计算机盘;硬盘;只读存储器(ROM);可擦除可编程只读存储器(EPROM或闪速存储器);便携式压缩盘只读存储器(CD-ROM);光学存储设备;磁性存储设备;或者前述的任何适当的组合。
指令可以形成有形地体现在处理器可读介质上的应用程序。
指令可以在例如硬件、固件、软件或组合中。指令可以存在于例如操作系统、单独的应用或两者的组合中。因此,处理器可以被表征为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质的设备(诸如存储设备)两者。另外,在指令的基础上或者代替指令,处理器可读介质可以存储由实现方式所产生的数据值。
对于本领域技术人员将显而易见的是,实现方式可以产生被格式化以携带可以例如被存储或发送的信息的各种信号。信息可以包括例如用于执行方法的指令或所描述的实现方式之一所产生的数据。例如,信号可以被格式化,以携带用于写入或读取所描述的实施例的语法的规则作为数据,或者携带所描述的实施例所写入的实际语法值作为数据。这样的信号例如可以被格式化为电磁波(例如使用频谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码以及调制具有经编码的数据流的载波。信号携带的信息例如可以是模拟或数字信息。如已知的那样,可以通过各种不同的有线或无线链路发送信号。信号可以存储在处理器可读介质上。
已经描述了多个实现方式。然而,应当理解,可以进行各种修改。例如,可以组合、补充、修改或移除不同实现方式的要素,以产生其他实现方式。此外,本领域技术人员将理解的是,其他结构和处理可以代替所公开的那些结构和处理,所得到的实现方式将以与所公开的实现方式以至少基本相同的方式,执行与所公开的实现方式至少基本相同的功能,以实现与所公开的实现方式至少基本相同的效果。相应地,由本申请想到了这些以及其他实现方式。

Claims (17)

1.一种匹配不同动态范围的彩色图片之间的色彩的方法,其特征在于,该方法包括:
获得输入彩色图片的输入色域(1101);
获得输出彩色图片的输出色域(1102);以及
修改(1103)输出色域以匹配输入色域,其中,所述修改(1103)包括计算输入色域与输出色域之间的减小的感知色彩误差距离。
2.如权利要求1所述的方法,其中,感知色彩误差取决于色域的色调和感知饱和度。
3.如权利要求2所述的方法,其中,输出彩色图片是输入彩色图片的动态减小版本。
4.如权利要求1或2所述的方法,其中,输出彩色图片是输入彩色图片的动态扩大版本。
5.如前述权利要求中的任一项所述的方法,其中,修改(1103)包括:对输入彩色图片的色度分量应用乘法因子或缩放因子,每个色度分量是以一组色度样本的形式,乘法因子取决于最小化的感知色彩误差。
6.如权利要求5所述的方法,其中,乘法因子取决于输出彩色图片的亮度分量,每个亮度分量是以一组亮度样本的形式。
7.如权利要求5或6所述的方法,其中,乘法因子取决于输入彩色图片的背光值。
8.如权利要求5至7中的任一项所述的方法,其中,输入色域被定义为XYZ色彩空间的xy平面中的点的有限集。
9.如权利要求8所述的方法,其中,感知权重关联到所述点,使得按照每个点处的感知权重对感知色彩误差距离进行加权。
10.如权利要求5至9中的任一项所述的方法,其中,参照输出彩色图片的亮度分量的值,在查找表中提供所述乘法因子的值。
11.如权利要求10所述的方法,其中,针对输入彩色图片的不同的背光值,提供专用的查找表或组合的查找表。
12.如权利要求11所述的方法,其中,与专用的背光值相关联的所期望的乘法因子从查找表读取或者通过与相邻背光值相关联的对应的乘法因子之间的内插来确定。
13.如前述权利要求中的任一项所述的方法,其中,感知色彩误差距离基于Lab色彩空间中的ab距离。
14.一种用于匹配不同动态范围的彩色图片之间的色彩的设备,其特征在于,该设备包括处理器,所述处理器被配置为:
获得输入彩色图片的输入色域;
获得输出彩色图片的输出色域;以及
修改输出色域以匹配输入色域,其中,所述修改包括计算输入色域与输出色域之间的最小化的感知色彩误差距离。
15.一种计算机程序产品,包括程序代码指令,所述程序代码指令用以在该程序在计算机上执行时执行根据权利要求1至13中的一项所述的方法的步骤。
16.一种处理器可读介质,在其中存储有用于使处理器至少执行根据权利要求1至13中的一项所述的方法的步骤的指令。
17.一种非临时性存储介质,其携带程序代码的指令,所述程序代码的指令在所述程序在计算设备上执行时执行根据权利要求1至12中的一项所述的方法的步骤。
CN201680016793.3A 2015-01-30 2016-01-28 匹配不同动态范围的彩色图片之间的色彩的方法和设备 Active CN107409210B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15305143.8 2015-01-30
EP15305125.5 2015-01-30
EP15305125.5A EP3051489A1 (en) 2015-01-30 2015-01-30 A method and apparatus of encoding and decoding a color picture
EP15305143.8A EP3051792A1 (en) 2015-01-30 2015-01-30 Method and device for matching colors between color pictures of different dynamic range
PCT/EP2016/051740 WO2016120354A1 (en) 2015-01-30 2016-01-28 Method and device for matching colors between color pictures of different dynamic range

Publications (2)

Publication Number Publication Date
CN107409210A true CN107409210A (zh) 2017-11-28
CN107409210B CN107409210B (zh) 2021-01-12

Family

ID=55237655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016793.3A Active CN107409210B (zh) 2015-01-30 2016-01-28 匹配不同动态范围的彩色图片之间的色彩的方法和设备

Country Status (5)

Country Link
US (1) US10666990B2 (zh)
EP (1) EP3251336B1 (zh)
CN (1) CN107409210B (zh)
TW (1) TW201639343A (zh)
WO (1) WO2016120354A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111343359A (zh) * 2018-12-19 2020-06-26 佳能株式会社 信息处理装置和存储介质
CN111434113A (zh) * 2017-11-30 2020-07-17 交互数字Vc控股公司 用于高动态范围重建的饱和控制
CN113691785A (zh) * 2020-05-18 2021-11-23 爱思开海力士有限公司 局部色调映射电路、图像感测装置及其操作方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492307B (zh) * 2015-05-21 2023-02-07 瑞典爱立信有限公司 像素预处理和编码的方法、装置和计算机可读存储介质
EP3446486B1 (en) * 2016-04-22 2021-12-08 Dolby Laboratories Licensing Corporation Coding of hdr video signals in the ictcp color format
CN109845262B (zh) 2016-05-04 2023-10-13 交互数字Vc控股公司 用于将高动态范围画面编码/解码为编码比特流的方法和装置
US10645403B2 (en) * 2016-05-19 2020-05-05 Dolby Laboratories Licensing Corporation Chroma reshaping for high dynamic range images
EP3367658A1 (en) 2017-02-24 2018-08-29 Thomson Licensing Method and device for reconstructing an hdr image
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
US10148907B1 (en) * 2017-10-27 2018-12-04 Avago Technologies International Sales Pte. Limited System and method of luminance processing in high dynamic range and standard dynamic range conversion
US10546554B2 (en) * 2018-03-26 2020-01-28 Dell Products, Lp System and method for adaptive tone mapping for high dynamic ratio digital images
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
WO2021168001A1 (en) 2020-02-19 2021-08-26 Dolby Laboratories Licensing Corporation Joint forward and backward neural network optimization in image processing
US20230095785A1 (en) * 2021-09-27 2023-03-30 Ati Technologies Ulc Chroma correction of inverse gamut mapping for standard dynamic range to high dynamic range image conversion

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152597A1 (en) * 2004-01-14 2005-07-14 Eastman Kodak Company Constructing extended color gamut digital images from limited color gamut digital images
CN101595720A (zh) * 2007-01-24 2009-12-02 爱克发印艺公司 选择颜色转换的方法
KR20110048811A (ko) * 2009-11-03 2011-05-12 중앙대학교 산학협력단 입력 영상의 동적 범위를 변환하는 방법 및 장치
WO2012142471A1 (en) * 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
US20130121572A1 (en) * 2010-01-27 2013-05-16 Sylvain Paris Methods and Apparatus for Tone Mapping High Dynamic Range Images
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
CN103621084A (zh) * 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
CN104041036A (zh) * 2012-01-03 2014-09-10 杜比实验室特许公司 指定视觉动态范围编码操作及参数
US20140327691A1 (en) * 2001-06-08 2014-11-06 University Of Southern California High dynamic range image editing
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6335983B1 (en) 1998-09-28 2002-01-01 Eastman Kodak Company Representing an extended color gamut digital image in a limited color gamut color space
ES2551561T3 (es) 2006-01-23 2015-11-19 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Codecs de alto rango dinámico
US7558436B2 (en) 2006-07-20 2009-07-07 Max-Viz, Inc. Image dynamic range control for visual display
JP5493190B2 (ja) 2006-10-12 2014-05-14 ティーピー ビジョン ホールディング ビー ヴィ 色マッピング方法
US7826673B2 (en) 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
WO2012122426A1 (en) 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Reference processing for bitdepth and color format scalable video coding
WO2014077827A1 (en) 2012-11-16 2014-05-22 Thomson Licensing Processing high dynamic range images
MX350910B (es) 2013-02-21 2017-09-25 Koninklijke Philips Nv Métodos y dispositivos de codificación y decodificación de imágenes mejoradas de alto rango dinámico (hdr).

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140327691A1 (en) * 2001-06-08 2014-11-06 University Of Southern California High dynamic range image editing
US20050152597A1 (en) * 2004-01-14 2005-07-14 Eastman Kodak Company Constructing extended color gamut digital images from limited color gamut digital images
CN101595720A (zh) * 2007-01-24 2009-12-02 爱克发印艺公司 选择颜色转换的方法
KR20110048811A (ko) * 2009-11-03 2011-05-12 중앙대학교 산학협력단 입력 영상의 동적 범위를 변환하는 방법 및 장치
US20130121572A1 (en) * 2010-01-27 2013-05-16 Sylvain Paris Methods and Apparatus for Tone Mapping High Dynamic Range Images
WO2012142471A1 (en) * 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
CN103621084A (zh) * 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
CN104041036A (zh) * 2012-01-03 2014-09-10 杜比实验室特许公司 指定视觉动态范围编码操作及参数
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111434113A (zh) * 2017-11-30 2020-07-17 交互数字Vc控股公司 用于高动态范围重建的饱和控制
CN111434113B (zh) * 2017-11-30 2024-06-07 交互数字Vc控股公司 用于高动态范围重建的饱和控制
CN111343359A (zh) * 2018-12-19 2020-06-26 佳能株式会社 信息处理装置和存储介质
US11606476B2 (en) 2018-12-19 2023-03-14 Canon Kabushiki Kaisha Information processing apparatus and storage medium for generating a gray image print data from color image data
CN113691785A (zh) * 2020-05-18 2021-11-23 爱思开海力士有限公司 局部色调映射电路、图像感测装置及其操作方法
CN113691785B (zh) * 2020-05-18 2023-07-04 爱思开海力士有限公司 局部色调映射电路、图像感测装置及其操作方法

Also Published As

Publication number Publication date
US10666990B2 (en) 2020-05-26
EP3251336A1 (en) 2017-12-06
WO2016120354A1 (en) 2016-08-04
CN107409210B (zh) 2021-01-12
TW201639343A (zh) 2016-11-01
US20180007392A1 (en) 2018-01-04
EP3251336B1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
CN107409210A (zh) 匹配不同动态范围的彩色图片之间的色彩的方法和设备
AU2021201048B2 (en) A method and apparatus of encoding and decoding a color picture
RU2710291C2 (ru) Способы и устройства для кодирования и декодирования цветного изображения hdr
KR102523233B1 (ko) 컬러 픽처를 디코딩하는 방법 및 디바이스
CN108352076B (zh) 编码和解码方法及对应设备
CN109076231A (zh) 用于对高动态范围图片进行编码的方法和设备、对应的解码方法和解码设备
CN107211141A (zh) 对图像进行逆色调映射的方法和设备
CN107852501A (zh) 用于对hdr图像和使用色彩映射函数从所述hdr图像获得的sdr图像两者进行编码的方法和设备
CN109845262B (zh) 用于将高动态范围画面编码/解码为编码比特流的方法和装置
US20190132600A1 (en) Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function
US10205967B2 (en) Extended YCC format for backward-compatible P3 camera video
CN107211129A (zh) 对彩色图片进行编码和解码的方法和装置
EP3051792A1 (en) Method and device for matching colors between color pictures of different dynamic range
Wen Color management for future video Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190916

Address after: Delaware

Applicant after: Interactive Digital VC Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210121

Address after: Fa Guobali

Patentee after: Interactive Digital Madison Patent Holdings

Address before: Delaware, USA

Patentee before: Interactive Digital VC Holdings