CN107111980B - 针对特定显示器优化高动态范围图像 - Google Patents

针对特定显示器优化高动态范围图像 Download PDF

Info

Publication number
CN107111980B
CN107111980B CN201580067637.5A CN201580067637A CN107111980B CN 107111980 B CN107111980 B CN 107111980B CN 201580067637 A CN201580067637 A CN 201580067637A CN 107111980 B CN107111980 B CN 107111980B
Authority
CN
China
Prior art keywords
image
color
luminance
display
peak brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580067637.5A
Other languages
English (en)
Other versions
CN107111980A (zh
Inventor
J.G.R.范莫里克
M.J.W.梅坦斯
R.尼兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN107111980A publication Critical patent/CN107111980A/zh
Application granted granted Critical
Publication of CN107111980B publication Critical patent/CN107111980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4358Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen for generating different versions, e.g. for different peripheral devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Abstract

一种颜色变换设备(201),其被用于从具有与第一图像峰值视亮度(PB_H)相应的最大亮度代码的输入图像(Im_in)的像素的输入颜色(R,G,B)开始,计算用于具有显示峰值视亮度(PB_D)的显示器的输出图像的像素的合成颜色(R2,G2,B2),所述第一图像峰值视亮度不同于显示峰值视亮度,所述颜色变换设备包括:颜色变换确定单元(102),被布置成根据经由元数据输入(116)接收的包括用于至少一定范围的像素辉度的至少一个色调映射函数(CC)的颜色处理规定数据(MET)确定颜色变换(g),所述颜色变换规定具有与其最大亮度代码相应的第二图像峰值视亮度(PB_L)的图像的至少一些像素颜色的计算,所述第二图像峰值视亮度不同于显示峰值视亮度(PB_D)和第一图像峰值视亮度(PB_H),并且由此第一图像峰值视亮度除以第二图像峰值视亮度大于2或者小于1/2;缩放因子确定单元(200),其被布置成通过包括以下单元而确定合成共同乘法因子(gt):能力指标确定单元,其被布置成确定用于定位显示峰值视亮度在第一图像峰值视亮度(PB_H)与第二图像峰值视亮度(PB_L)之间以及在该范围之外的位置的指标;以及合成乘数确定单元,其被布置成根据显示峰值视亮度(PB_D)、所述指标和颜色变换确定合成共同乘法因子(gt),并且其中所述颜色变换设备(201)进一步包括:缩放乘法器(114),其被布置成将输入颜色的线性RGB颜色表示乘以合成共同乘法因子(gt)。

Description

针对特定显示器优化高动态范围图像
技术领域
本发明涉及这样的方法和设备,其用于在高动态范围场景(HDR)图像,尤其是包括若干连续HDR图像的视频的输入编码中优化像素的颜色,尤其是其辉度(luminance),以便当优化的图像在峰值明亮度(brightness)(PB_D)与参考显示器不相等的任何实际显示器上再现时,对于具有特定显示峰值明亮度的显示器获得如创建图像内容的颜色分级者所希望的正确的艺术外观,该外观与如针对参考显示器,例如高峰值明亮度(PB)主控(mastering)显示器所分级的HDR图像的参考HDR外观相应,与所述参考显示器相应,进行HDR图像的分级。读者将会理解,相应的外观不一定意味着对于观看者而言完全相同的外观,因为较低峰值明亮度(或者动态范围)的显示器永远不能实际地完全再现可在较高峰值明亮度的显示器上再现的所有图像外观,而是相反地在至少一些对象像素的颜色中存在某种折衷,下文的技术允许分级者做出所述颜色调节。但是,编码的预期图像和实际再现的图像将看起来足够相似。描述了规定这样的外观的编码侧方法和设备以及被布置成计算和再现优化的外观的诸如例如显示器或电视之类的接收侧设备,以及传送用于通过进行颜色变换控制优化的信息的方法和技术。
背景技术
近来,若干公司开始研究和公布(WO2007082562, a two-image method with aresidual layer;WO2005104035, a somewhat similar method in which one can forma ratio image for boosting a low dynamic range (LDR) re-grading of an HDRscene)它们如何可以编码至少一张静止图片或者具有若干所谓的高动态范围图像的视频,所述HDR图像通过以下所述表征:它们典型地编码或者能够编码至少1000尼特(nit)的至少一些对象辉度,但是也编码例如低于0.1尼特的暗辉度,并且具有足够的质量以便在所谓的HDR显示器上再现,所述HDR显示器具有典型地高于800nit或者甚至1000nit以及潜在地例如2000或5000或者甚至10000尼特的峰值明亮度(为显示器白色的辉度,即最亮的可再现颜色)。当然,比如电影的这些图像可以并且必须也可以在具有典型地大约100尼特的峰值明亮度的LDR显示器上显示,例如当观看者想要在他的便携式显示器上继续观看电影时,并且典型地,在LDR与HDR图像编码中需要一些不同的对象辉度和/或颜色(例如,HRD分级中对象在范围[0,1]上的相对辉度可能需要远低于LDR分级图像,因为它将用亮得多的背光显示)。无需说,与静止图像编码相比,视频编码也可能具有附加的要求,例如以便允许廉价的实时处理等等。
因此,典型地,内容创建者制作HDR图像版本或者外观,其典型地为主分级(从其开始可以创建进一步的分级的起点,这些分级是需要在具有不同峰值明亮度能力的显示器上再现时的相同场景的外观,并且这典型地通过给予直接来自照相机的图像中的不同对象良好的艺术颜色以便传达例如某种情绪而完成)。即,“分级”表示图像由人类颜色分级者这样定制,使得对象的颜色对于给定的预期再现情景对于分级者而言看起来是艺术上正确的(例如,他可以制作暗的地下室,其中阴影中的对象几乎不可见,然而在天花板上也存在明亮地照耀的单个灯,并且那些不同的再现的辉度可能需要巧妙地协调以便给予观看者最优的体验),并且在下文中,我们教导给定我们的HDR编码限制,允许实现得到也称为分级的分级图像的分级过程的技术部件。然后,分级者典型地也制作传统的LDR图像(也称为标准SDR图像),其可以用来服务传统LDR显示器,其可能在未来的长时间内仍然处于本领域中。这些可替换地可以作为例如像互联网那样的视频通信网络或者DVB-T信道上的单独的图像通信而传输。或者,WO2007082562和 WO2005104035教导了可缩放编码方法,其中HDR图像在接收侧可从LDR图像、其上的某种色调映射以及残余HDR图像重构以便充分地接近HDR原始图像。这样的可缩放编码然后可以共存在像例如固态记忆棒那样的存储器产品上,并且接收侧设备,例如电视或机顶盒(STB)于是可以确定哪一个是用于其连接的电视的最合适的版本。
即,人们在存储器的一个扇区中存储基本的LDR图像,并且在另一个扇区中存储HDR图像,或者可以根据其从相同时刻的相应LDR图像开始计算HDR图像的诸如辉度增强图像之类的校正图像。例如,对于至多700尼特的电视,进行要在该电视上再现的最终图像的计算的无论什么单元都可以使用LDR分级图像,并且在700尼特以上,它可以使用HDR图像(例如通过轮询连接了何种PB的何种显示器或者在显示器本身进行最佳的图像选择的情况下知道这点)。
虽然这允许对于两个特定的再现情景,例如5000尼特电视和LDR电视(其标准具有100尼特PB),形成HDR场景的两个艺术上理想的参考分级,但是很少进行和公布关于可以如何处理峰值明亮度介于与可以在图像数据接收侧取回或确定的两幅艺术分级图像相应的峰值明亮度之间的居间电视的研究(当输入最大代码时,例如对于10比特输入1023,例如对于5000尼特分级外观,5000尼特,编码的相应峰值明亮度被限定为参考显示器上的要再现辉度),其无疑很快也将部署在市场上,例如1800尼特电视。申请人已经做过实验,其表明对于任何中间的或者超范围的显示器,要具有真正良好的、令人信服的艺术外观(例如获得低于典型地可以为100尼特的最低分级的50尼特外观),HDR或者LDR图像对于该中间峰值明亮度显示器(我们将在下文中称其为中间动态范围(MDR)显示器)都不是真正良好的。再者,可能消费者具有存在于在他的起居室中的实际电视或其他显示器,其比作为用于接收的HDR图像分级的最优预期显示器的参考显示器的峰值明亮度更亮,即例如10000尼特对5000尼特,那么可能希望的是也具有用于这些较高明亮度显示器的改进的分级,尽管内容创建者认为只需要对于高达5000尼特PB的显示器规定其在HDR场景上的外观。例如,申请人发现,在关键的场景中,例如黑暗中的人脸在使用HDR图像时由于对于较低峰值明亮度显示器再现而言该HDR图像的对比度不适当地高的原因而可能变得太暗,然而LDR图像在许多地方太亮,剧烈地改变例如夜间场景的情绪。图14示出了我们想要能够实现的典型HDR场景图像处理的一个实例。1401示出了原始场景,或者至少其如何在主HDR分级中被逼近(因为人们典型地不会将太阳编码为以其原始10亿尼特明亮度在显示器上再现,而是相反地编码为例如5000尼特像素)。我们看到这样的场景,其具有一些相对较暗,但是典型地不是真暗,例如介于1和200尼特之间的室内对象,以及一些通过窗口,比如房屋,看到的晴天室外对象,其在真实生活中可以具有数千尼特的辉度,但是其对于夜间室内电视观看而言在例如1000尼特附近更佳地再现。在我们将称为HDR分级的第一分级中,所述分级仅仅在该实例中具有与例如5000尼特的HDR峰值明亮度PB_H相应的第一图像的峰值明亮度PB_IM1,我们将发现在相对辉度轴上将室内对象放置得相对较低(使得在绝对辉度轴上,它们将以大约30尼特的辉度再现)是有用的,并且取决于分级者对于例如电影或者广播等等中的该镜头的偏好,外部对象将在辉度范围的中间附近或者上面的某处(在生活广播的情况下,分级可以像在开始播出之前仅仅调整非常少的参数那样简单,例如使用HDR与LDR外观之间的大致固定的映射,但是添加例如用于允许显示调整的单个参数gpm)。哪些实际代码与希望的辉度相应不仅取决于编码的PB,而且取决于使用的代码分配函数的形状,该函数有时也称为光电转换或传递函数(OECF;OETF),并且其对于HDR编码而言典型地具有陡峭的形状,该形状比LDR的伽马1/2.2函数更陡峭(技术人员将会理解,可以以任一表示明确表达技术,因此在下文中为了简单起见以辉度表示阐述我们的构思的地方,至少一些步骤加上必要的修改可以应用于亮度,即辉度的例如10比特编码)。
人们需要一种相应的LDR外观(仅仅在该实例中称为IM_GRAD_LXDR),对于其而言,当然,较大辉度动态范围的所有不同对象都必须挤压到与100尼特PB相应的较小动态范围中。分级者将限定颜色变换策略,典型地为至少对于未来几年保持视频通信集成电路简单的简单函数,其限定如何重新放置所有对象的辉度(例如,如可以看出的,人们将需要将房屋放置成靠近辉度范围以及相应的代码范围的最大值,以便保持它看起来与室内相比足够明亮,这对于某些实施例而言可以例如用软剪切色调映射完成)。这是在内容创建侧,在分级设备1402上规定的东西,并且使用设备的内容可能需要基于其通过某个图像通信介质(1403)接收的分级外观(S_im)、不同对象针对具有一定峰值明亮度的实际显示器应当具有哪些最优辉度的信息而确定,所述峰值明亮度不等于与典型地两个接收的艺术分级中的任何一个(或者至少哪些图像的数据)相应的峰值明亮度。在该实例中,这可以涉及各种不同的策略。例如,暗室内对象可以很好地在任何PB,甚至100尼特的显示器上再现,因此,对于无论什么预期的PB,颜色优化都可以将它们保持在30尼特处或者附近。房屋可能需要获得介于LDR与HDR分级之间的某个要再现的辉度,并且太阳可以给予任何连接的或者要连接的显示器上的可能的最明亮的颜色(即PB)。
现在,我们要强调,如后面将变得清楚的是,我们已经开发了一种策略,其可以令人惊奇地将HDR场景(这是我们引入措词场景的原因)实际地编码为LDR图像(+颜色变换元数据),因此,虽然为了理解简单起见,可以利用其中Im_1,要传送至接收侧的图像为应当可重分级为LDR图像的HDR图像的情景阐述我们的不同构思和技术元结构,但是在Im_1实际为LDR分级的情况下,相同的原理也是可用的,并且应当用于其他重要的市场情景中(所述LDR分级可以在接收侧重分级为HDR图像或者任何中间动态范围图像MDR或者在传送的LDR和HDR分级的范围之外的任何图像)。
申请人已经在WO2012127401中一般性地教导了基于可用分级图像生成不同附加分级的构思,该文献教导了所有或者至少较大类别的实际实施例所需的、显示调整中需要的主要构思。然而,提供符合例如IC复杂度、分级者工作能力等等的实际限制的简单编码变型仍然是个问题,发明人在对于这样的实际HDR图像处理修正一些共同的基本原理之后可能做出所述变型。仅仅稍稍相关的另一个现有技术文件是WO2013/046095,其仅仅教导了可能存在若干不同种类的HDR编码(即,具有不同的PB_H值,例如照相机捕获的原始HDR场景的5000尼特或者仅仅2000尼特变型),以及要服务的具有不同显示峰值明亮度(PB_D)值的不同输出显示器,但是再一次地,这仅仅教导了所需的技术框架,并没有下文的所有细节。相应地,仍然存在如何提供一种用于允许内容创建者调节艺术上优化的分级以适应接收侧的至少一个实际的现有显示器的匹配的简单技术的问题。申请人的用于2014年DVB标准化会议的powerpoint演示文稿“Leon van de Kerkhof: High dynamic range, introducingPhilips’ solution”给出了申请人的HDR处理技术的良好的高水平综述以及具有显示调整可能性以便具有用于任何观看者的显示器碰巧具有的任何特定显示辉度能力的任何HDR图像的最佳质量再现的需求,然而没有给出此时这样的显示调整应当如何执行的细节。
发明内容
特别地,我们开发了一种基于乘法的非常有用的辉度映射技术(至少辉度映射,其中我们暂时忽略了红色和蓝色的彩色维度)。如果处理线性RGB颜色信号,那么可以以增强那些颜色的辉度的类似方式增强这些信号(通过将分量乘以单个合成乘数gt)。即,内容创建者于是可以规定他想要一种辉度映射策略,该策略可以由不同的映射策略形成,例如一般的明亮度增强、细调的任意形状的函数(CC)等等。无需说且对于我们的当前技术一定的是,只需一个这样的函数规定,在一些实施例中,其甚至不针对输入图像的所有可能的辉度,并且在我们称之为CC的情况下,它也可以是某个其他函数。
由于它不是众所周知的,我们在图16中阐述原理。假设我们在这里具有一个S形函数以将任何可能的输入辉度Y_in(其相应于接收的且要被处理的输入图像Im_in的亮度代码,例如950)变换成输出辉度值,为了简单起见,该输出辉度值也将假设为0.0与1.0之间的规格化值。于是,与单位变换(即对角线)相比,也可以将该函数写成可以导出的乘法运算。如果要将例如HDR Im_in变换为自己,我们将应用单位变换。如果想要将HDR相对辉度变换为LDR相对辉度(或者简称辉度),那么可以应用S形函数。但是,我们可以等效地用例如右边曲线的g因子乘以该Y_in值。这样的乘法策略使得HDR技术相对更简单,例如级联各种不同的所需的变换,但是作为本申请的问题,显示调整情景,以便对于任何实际连接的显示器达到大致与主HDR外观相应的最优外观的图像。
因此,作为一种实际的HDR(以及事实上同时为可用于在传统LDR显示器上直接显示的LDR分级外观)图像编码方法,申请人发明了一种系统,该系统将HDR和LDR图像中的仅仅一个作为原本(principal)图像存储(或者传输),该图像实际依照经典的压缩技术编码,即包含HDR场景的捕获的对象的像素颜色纹理,即,它包含所有对象形状的几何组成以及其中的纹理的某种编纂(codification),并且允许任何希望的再现或者相应的颜色调节以便重构图像的该几何方面。进一步,我们的HDR场景图像编纂包含至少一个(并且鉴于分级成本,典型地通常只有一个)其他分级,该分级典型地不编码为第二图像,而是编码为(典型地有限的,因为解码的IC需要理解和实现所有颜色变换)用于原本图像的像素颜色的函数变换集合。因此,如果原本图像(Im_in)为HDR图像(例如以5000尼特的峰值明亮度为参考),那么颜色变换函数(或者算法)将允许根据它计算LDR图像(典型地作为100尼特的标准化的SDR)。技术人员将知道如何可以容易地以所需的少量比特编纂这样的变换,例如具有线性第一部分以及随后朝向(1.0, 1.0)的弯曲部分的函数可以通过给出斜率(黑色斜坡)的实值或者其他参数和线性部分的停止点以及限定上部的形状所需的无论什么参数编码。
图1给出了这样的颜色变换和所述(至少一个)另外的分级的相应的基于变换的编码的一个典型的然而仅仅非限制性的说明性的可能的实施例,熟练的读者应当理解这不是我们可以与其一起使用我们的下文的新颖实施例的唯一系统。
在该实例中,假设HDR图像被编码为纹理图像(并且接收为Im_in),并且LDR分级可以在任何视频接收侧根据它通过将颜色变换应用到它的像素颜色而构件。然而,当例如基于原本图像重构HDR图像时,同样的技术推理适用,所述原本图像是LDR图像,即适合于在LDR显示器上直接再现,即当在LDR显示器上再现时,给定LDR显示器的峰值明亮度限制,示出用于图像中的不同对象的适当的明亮度和对比度。在该情况下,颜色变换将根据LDR图像限定HDR图像。应当指出的是,在一些实施例中,(尽管不是必需的),处理单元的顺序在编码器和解码器处可以颠倒,例如当编码器减小动态范围并且将原本图像编码为LDR图像时,那么辉度(或者亮度)处理的顺序可以在解码器侧根据相应的LDR原本图像重构HDR分级时颠倒,即首先应用自定义曲线,然后是相反方向上应用的单元110的曝光调节,等等。
出于解释的目的,现在假设颜色变换设备201是任何接收设备(其可以是电视、计算机、移动电话、剧院数字电影服务器、安全系统控制室的观察间等等)的部分,但是在任何编码或者转码设备的编码侧,可以存在相同的技术部件以便检查什么是可行的并且可以被编码用于传输。图像信号或者更典型地视频信号S_im经由输入103接收,该输入可连接至不同的图像源,比如例如BD读取器、天线、互联网连接等等。视频信号S_im一方面包括具有输入颜色的像素的图像(或者具有不同时刻的若干图像的视频)Im_in,并且另一方面包括元数据MET,该元数据可以包括不同的数据,但是尤其是用于在接收侧唯一地构件颜色映射函数的数据,可能地还有一些描述数据,这些描述数据涉及例如输入图像针对什么峰值明亮度分级以及允许实现下文的不同实施例所需的任何东西。视频图像的编码典型地可以在类似MPEG的编码策略中进行,所述编码策略例如现有的MPEG-HEVC,即YCbCr像素颜色的基于DCT的编码,因为我们的借助于基于颜色变换的重分级技术的动态范围外观编码实质上与注意适当地格式化图像以便存储或传输的压缩部分中的实际使用的颜色策略无关。因此,虽然本发明的不同实施例可以在各种不同的其他输入颜色定义,比如例如有利的Yuv上起作用,但是在该实例中,第一颜色转换器104被布置成将YCbCr表示转换为线性RGB表示。第二颜色转换器105可以进行从第一RGB表示到第二RGB表示的映射。这是因为颜色分级者可以进行分级,并且观察在第一颜色空间,比如例如Rec. 709中在发生什么,然而图像数据依照第二颜色空间进行编码。例如,可以使用数字电影倡导组织的基色P3:红色=(0.68,0.32),绿色=(0.265,0.69),蓝色=(0.15,0.06),白色=(0.314,0.351)。或者,可以以近来的Rec. 2020颜色格式等等编码。例如,图像可以以Rec. 2020颜色空间中限定的颜色表示传输,但是分级者在DCI-P3颜色空间中进行其颜色分级,这意味着接收器将在进行所有颜色变换之前首先转换到P3颜色空间,例如以便根据HDR图像获得LDR分级或者反之亦然。由于分级者在其如上所述为例如Rec. 709的分级颜色空间中将其HDR图像重分级为LDR图像(假设所有值都规格化到[0, 1]),在数学式在接收端重计算分级之前,第二颜色转换器105变换到该Rec. 709颜色空间(技术人员知道,可以应用各种不同的变换策略,例如在一些情况下可以使用相对比色映射,或者可以倒置的某种饱和度压缩策略可能已经使用,等等)。然后,典型地,元数据应用颜色优化策略,其在该简单实用的实施例中假设由颜色饱和度处理器106执行。存在分级者应用特定饱和度策略的各种不同的原因(例如以便以特定的方式对明亮颜色去饱和以使得它们适合RGB色域中的较高辉度位置,或者以便增大由于HDR-LDR映射的原因而变得较暗的颜色的彩色度,等等)。例如,分级者可以发现天空中的比如夜间场景的暗蓝色应当稍微去饱和,并且因此他可能在进行辉度优化变换以便获得LDR外观之前已经预先增大了它们在线性HDR图像中的饱和度(这是特别有趣的,因为我们的典型实施例进行辉度变换,其保持颜色的色品不变,即纯粹影响颜色的辉度方面)。在该简化的实例实施例中,假设饱和度是用于颜色的简单缩放(即相同,而不论它们的色调、辉度或者初始饱和度如何),具有从传送和接收的元数据MET读取的值s。在更简单的实施例中,我们将仅仅着眼于颜色变换的辉度方面,留下颜色处理作为该单一预处理步骤,但是技术人员应当理解,其他饱和度策略是可能的,并且可以巧妙地与辉度处理协调。现在,颜色具有其用于进行纯粹辉度方向的处理的正确(R, G, B)值。
如图1所示的这样的颜色变换实施例的一个关键属性是,可以进行颜色的纯粹缩放(即仅仅改变颜色属性,其是辉度相关的,即测量颜色的颜色矢量的长度,同时保持决定颜色的色品的颜色分量的比值的任何度量,其中颜色变换的数学式当然可以例如在如图所示的线性RGB分量上以各种不同的方式实施),所述颜色变换可以如所解释的在三个颜色分量上类似地重新明确表达为常见的多重缩放变换(实数g例如为0.753,或者可以转换为实数的其任何编纂,例如INT(1000*g))。这至少在涉及图像对象的辉度方面——这是动态范围转换中的主导关切——的地方限定了我们的HDR-LDR映射(或者类似地我们的LDR-HDR映射,或者第一动态范围的任何第一分级图像到显著不同的第二动态范围的映射,二者在其关联的参考显示器的其关联的峰值明亮度,即与N比特编纂中的最大代码相应的辉度方面不同,典型地至少4倍,即2光圈,或者至少1.5或2倍,可能地若干更多的光圈)。
在图1的阐述的实例中,处理如下。最大值计算器107对于每个像素颜色计算RGB分量中的哪个最高,例如红色分量为0.7(我们将称其为Rmax)。这将是颜色矢量的长度的度量,即辉度相关量的实施例。辉度映射器102对该最大分量应用一系列变换,这些变换的编纂在元数据MET中接收,其最终相当于总的辉度函数变换。该变换编纂HDR图像的规格化为1的辉度应当如何全部变化以便得到具有艺术上正确的分级LDR外观的LDR图像。例如,典型地,应用以下变换,编码/内容创建侧的分级者通过在其分级软件上分级并且在满足LDR外观时点击保存按钮而规定这些变换给出良好的LDR外观。首先,增益乘法器108将最大分量(比如Rmax)乘以接收的增益因子(gai),得到Rmax_1,这是对于每个像素而言介于0和1之间的不同值(例如,在一些实施例中,分级者可能将HDR辉度的70%水平设置为LDR辉度的100%水平,或者某个其他的希望的分级)。应当指出的是,所述处理实际上在三个颜色分量的最大值上进行,而不是例如在颜色的辉度上进行,尽管可能传送了辉度变换行为。然后,幂函数应用单元109计算当前结果Rmax_1的gam次幂,该数gam再次从接收的元数据中读取,得到结果Rmax_2。然后,曝光调节单元110比如例如通过应用下式而应用全局曝光修改变换:
Rmax_3= ln ( (lg-1)* Rmax_2+1)/ln (lg)
其中lg再次为接收的分级者优化的数,并且ln是底为2.71的Neperian对数,得到Rmax_4。然后,由辉度映射器111应用自定义曲线,得到Rmax_4=CC(Rmax_3)。即,该曲线可以例如作为一定数量的(比如6个)特性点(输入亮度/输出亮度坐标配对)而传输,介于其间的中间点可以在接收侧通过某个传输的或者预先约定的插值策略(例如线性插值)计算,并且然后应用该函数:例如,如果Rmax_3=0.7,那么该特定的传送的函数对于该值得到Rmax_4=0.78。最后,显示变换定形器112依照使用的典型LDR显示器的伽马,即典型地Rec. 709的逆伽马变换(对于获得线性坐标下的输入的显示器而言,该最后的显示变换定形器也可以是可选的)。技术人员应当理解这些方程如何可以通过等效的策略,例如通过形成应用到[0,1]中的max(R, G, B)的所有可能的输入值的单个LUT而相等。应当理解,可以跳过一些所述单元,例如,可以将增益gai设置为1.0,这实际上移除了它,因为它具有恒等处理结果。当然,也可以使用其他的变换函数,例如仅仅应用自定义曲线,但是我们的研究发现,该实例看起来是一种分级者高效地达到良好的LDR外观的务实方式。对于我们下文的实施例重要的是,可以如所希望的构建任何辉度处理策略,在此描述的策略仅仅是一种实践中非常良好的策略。
于是,最后,通过将所有这些变换的结果,即例如f(Rmax),除以输入RGB分量的最大值本身,即例如Rmax,计算共同乘法因子。该因子g被计算为能够将辉度变换呈现为乘法策略。最后,为了相对地获得希望的输出颜色及其希望的LDR明亮度,缩放乘法器114将输入RGB值或者在该实例中由(可选的)饱和度处理(颜色饱和度处理器106)所产生的值乘以所述共同乘法因子g以得到用于所有图像对象的或者事实上这些对象中的所有图像像素的正确的辉度调节的颜色。即,在该实例中,这得到作为线性RGB图像的LDR分级外观,其起始于S_im中输入的HDR图像,其像素颜色(R2, G2, B2)通过图像输出115输出。当然,技术人员应当理解,具有用于LDR图像的正确比色外观,它的颜色此时仍然可以依照无论什么原理进行编码以供进一步使用,就像图像本身可以的那样(例如,一个应用将通过来自计算IC的总线将信号发送至LCD阀驱动器,而另一个应用可以通过HDMI连接将图像发送至电视以便直接地或者利用另外的特定于显示器供应商的细调处理进行再现,由此潜在地传送的视频信号包括一些另外的元数据以便引导所述细调)。
现在,读者应当清楚地理解我们的HDR编码和使用技术的另外的重要原理。迄今,利用图1,我们仅仅解释了如何可以编码HDR场景的不同动态范围的两个外观(即所有对象明亮度相应地协调),即如何编码由内容创建者分级的两幅原始图像。我们为什么那样做。如果仅仅存在一个(100尼特)LDR显示器,特别是在不同内容观看者的处所全世界只有一种(例如5000尼特)HDR显示器在那里,那么一切将会是简单的。LDR显示器于是将显示LDR分级,并且HDR显示器,无论它是什么,都将显示“HDR分级”。这对于适度地偏离其接收以用于再现的图像的峰值明亮度的显示峰值明亮度很好地起作用,但是对于大的偏离很可能不会给出良好的结果。特别地,什么图像将需要1000尼特显示器、100尼特显示器或者5000尼特显示器显示。现在,可以利用与图1中完全相同的技术很好地对至少还有一幅图像分级,例如确定用于实际地计算用于大约1000尼特的PB_D的显示器的最佳外观的分级的颜色变换函数。至少对于一些关键的HDR场景,可能在大约500尼特或者2500尼特处,外观仍然是不合适的(例如,黑暗中的妖怪可能对于它而言变得太暗而不能仍然见到,或者相反,它可能变得不切实际地明亮,或者灰雾中的另一个妖怪的对比度可能变得如此低,使得它变得不可见,等等)。在许多情景(以及尤其是实时广播应用)中,分级者可能不在乎利用MET_TR2中的第二颜色变换函数进行第三分级,他甚至可能不想花费许多时间详细地创建分级的第二外观(例如根据主HDR创建LDR)。因此,引入以下原理:一方面,就峰值明亮度尺度的典型设想的用途而言,人们根据观看典型地处于极端的两个分级非常了解HDR场景的实际语义。例如,人们看到与LDR场景相比,爆炸在HDR场景中明亮度增强,其中在充分地再现场景其余部分所需的那些代码之上,不存在许多的可用代码(或者反之亦然,人们可以看到,与其在HDR图像中的明亮印象版本相比,爆炸在LDR中被调暗了)。这不一定告知了应当如何针对特定PB_D增强所述爆炸,例如,所述增强是否应当立即积极开始或者仅仅针对例如高于2000尼特PB的高质量HDR显示器,但是至少人们知道,对于中间分级(MDR)而言,需要增强爆炸火球。现在,技术上需要什么取决于情形,例如HDR场景类型的复杂性以及特定用户的批判性,平衡该应用领域的共同点,可花费的时间和成本等等。原理在于,接收侧,例如机顶盒或者TV IC,本身可以典型地利用来自创建侧的一些另外的引导、利用元数据导出其他所需的分级(介于接收的两个分级之间或者甚至在该范围之外),所述元数据性质上不同于用来创建实际的第二原始分级的颜色变换,即作为分级者规定和签名的原始艺术材料。由于用于该所谓的显示调整阶段的物理和技术要求也将不同。应当指出的是,虽然我们将描述其中创建者实际地传送依照其特定愿望对于当前HDR场景最优的参数的版本,我们也教导了相同的原理可以仅仅应用在接收侧,例如其中接收设备进行图像分析以得到适当的例如gpr或gpm显示调整参数值。对于一些场景而言,不同图像对象的最终再现的灰度如何不是那么关键,例如,房间中的光在真实生活中可能也只是稍微更亮,并且因此通过窗口看到的外部世界的光也可以相对较亮或者较昏暗。在这样的情况下,所述设备或者分级者可以利用非常简单的技术工具决定将外观调整为至少对于辉度范围的某个部分而言,与利用参考算法出现的结果相比,其只是稍微更亮(例如在某个范围上3个单位的步阶)。对于一些更关键的场景而言,例如自动地改进图像或者给予用户更巧妙的影响外观的用户接口控件的显示器制造商或者分级者可能希望更精确地控制HDR场景的不同部分(特别是不同的明亮度范围,但是在一些情景中,可能例如存在允许标识特定对象的信息,在这种情况下,可以执行依赖于对象的显示调整),对于可能的显示峰值明亮度的范围的不同子范围,一切当然都符合对于这些种类的技术的典型硬件约束。
对于限定至少两幅分级图像的比色外观的这样的共同缩放(乘法)处理,下面阐述的发明解决了以下问题:用于要与用于再现的优化图像连接并且一起提供的实际显示器的中间分级(中间动态范围MDR(半)自动重分级的外观)可以在接收侧通过颜色变换设备(201)计算,以便从具有与第一图像峰值明亮度(PB_IM1)相应的最大亮度的输入图像(Im_in)的像素的输入颜色(R, G, B)开始,计算用于具有显示峰值明亮度(PB_D)的显示器的输出图像(IM_MDR)的像素的合成颜色(R2, G2, B2),所述第一图像峰值明亮度不同于显示峰值明亮度,特征在于,所述颜色变换设备包括:
- 颜色变换确定单元(102),被布置成根据经由元数据输入(116)接收的包括用于至少一定范围的像素辉度的至少一个色调映射函数(CC)的颜色处理规定数据(MET_1)确定颜色变换(TMF; g),所述颜色变换规定具有与其最大亮度代码相应的第二图像峰值明亮度(PB_IM2)的图像(IM_GRAD_LXDR)的至少一些像素颜色的计算,所述第二图像峰值明亮度不同于显示峰值明亮度(PB_D)和第一图像峰值明亮度(PB_IM1),并且由此第一图像峰值明亮度除以第二图像峰值明亮度大于2或者小于1/2;
- 缩放因子确定单元(200),被布置成通过包括以下单元而确定合成共同乘法因子(gt):
- 能力指标(metric)确定单元(1303),被布置成确定用于定位显示峰值明亮度在第一图像峰值明亮度(PB_IM1)与第二图像峰值明亮度(PB_IM2)之间以及在该范围之外的位置的指标;以及
- 合成乘数确定单元(1310),被布置成根据显示峰值明亮度(PB_D)、所述指标和颜色变换确定合成共同乘法因子(gt),并且其中所述颜色变换设备(201)进一步包括:
- 缩放乘法器(114),被布置成将输入颜色的线性RGB颜色表示乘以合成共同乘法因子(gt)。
计算输出图像的合成颜色所需的合成共同乘法因子(gt)的计算的一个示例性实施例包括首先计算比值(gp):首先显示器,尤其是要在其上再现图像的连接的显示器的峰值明亮度(PB_D)和与输入图像相应的参考峰值明亮度(PB_IM1,例如PB_H)的比值的对数,除以参考峰值明亮度(PB_H)和与辉度动态范围至少按倍数1.5不同于输入图像的辉度动态范围的图像(Im_LDR)相应的峰值明亮度(PB_IM2,例如为LDR分级的PB_L)的比值的对数,所述输入图像典型地为HDR场景的第二接收的分级。之后,颜色变换设备将合成共同乘法因子(gt)计算为初始共同乘法因子g(其根据用来在典型地可以为HDR和LDR外观图像的第一和第二分级之间转换的所有部分颜色变换的总体确定)的所述比值(gp)次幂。
可以存在其他这样的指标,但是所述指标不能什么都行:它应当用来定位显示器的中间峰值明亮度(PB_D)应当确切地或者近似地落入PB_H与PB_L之间的何处,使得MDR外观在PB_D显示器上再现时令人满意(并且特别地,如果所述指标在范围[PB_IM1, PB_IM2]之外外推外观时给出良好的结果,那么也是有用的)。
因此,所述设备或方法首先确定两幅编码/接收的外观图像(Im_in与IM_GRAD_LXDR,其中IM_GRAD_LXDR可以是HDR或者LDR图像,并且另一幅图像于是具有相当不同的动态范围)之间的颜色变换为哪个,在各个不同的实施例中哪个颜色变换可以被实际地表示并且作为例如(规格化输入和输出辉度之间的)函数或者一个或一组乘法因子g传送至进行所述计算的单元。
在许多实施例中,只是MDR输出图像的所有颜色都可以通过该方法计算,但是在其他实施例中,只有一些像素被重新计算。例如,所述方法可以从比如LDR图像拷贝一些风景或者一些文本或图形元素,并且仅仅增强与火球或者向外看到室外的窗口等等相应的那些像素。在这样的情况下,也可能仅仅在可能的辉度等等的范围的一部分上限定函数。
最后,无论从比如HDR图像导出MDR图像所需的颜色处理的计算如何,所述设备都将此转换成用于与输入颜色相乘的乘法值集合,所述输入颜色典型地可以为线性RGB颜色表示(或者类似地,可以例如乘以其中u’和v’为CIE 1976色度坐标的Lu’v’表示的L分量,但是那些细节对于理解显示调整的不同实施例是不相关的)。
因此,所述设备首先需要能力指标确定单元(1030)确定需要哪个指标以便在PB_IM1与PB_IM2值之间定位PB_D值。该指标典型地是非线性的,并且在一些有利的情景中,利用所述调整参数中的一些,所述设备在内容分级者的引导之下可以进一步影响非线性的形式。这尤其是因为甚至在非线性人类视觉的表象之下,显示调整也不仅仅是基于显示物理学的调适,而是因为特别是为了从(尤其是非常高的DR)HDR移到LDR,可能需要进行复杂的优化以便将所有对象辉度挤压在一起并且仍然得到良好的协调的外观(在第二图像也为HDR图像或者至少具有足够高的PB的MDR图像的情况下,事情可能更容易)。然而,理想地,我们喜欢系统实施例合理简单,利用几个参数快速地得到HDR内容的类别所需的至少大部分外观调整控制。
能力指标确定单元(1303)可以做某件事情,其就像仅仅使用预先固定的指标(其例如在IC中硬编码)那样简单,或者在其他实施例中,它可以根据它经由预先约定的元数据字段中的接收的信号S_im从内容创建者接收的指标类型指示器(COD_METR)确定所需的外观。由于不同的HDR场景可以不同地处理,分级者可以例如传送对于晴天室外行动的电影中的第一场景,要使用的指标为对数比值(以及可能与输入辉度轴正交的垂直方向,参见下文),但是然后当下一个场景变成夜晚场景时,为了得到一定程度上更明亮的外观,内容创建者可以规定显示调整应当利用基于OETF的指标(并且例如在与恒等对角线正交的方向上,或者换言之在离输入辉度轴135度的方向上)进行。或者,取决于是否应当实时地对内容进行MDR重分级(或者例如为以后的观看者处理并且存储在观看者处所的HDD上),例如STB中的颜色变换设备可以进行一些计算,看看图像统计,并且考虑所述指标应当稍微改变或者PB_D应当改变,就好像预期的显示器只是稍微更暗,导致一定程度上更明亮的图像,或者显示调整影响参数的任何变化,直到MDR外观被人类或者自动图像质量分析算法判断为令人满意。接收侧设备能力指标确定单元可以例如根据电影的图像集合的统计分析构建它自己的指标,但是典型地它将仅仅选择预编程选项集合中的一个选项。
合成乘数确定单元(1310)通常将如下面的实例所阐述的于是将指标置于辉度变换图上(或者实际上在其计算中做等效的事情),确定显示峰值明亮度落在编码的图像之间的何处(即,至少对于像素颜色的某个子范围或者输入图像Im_in的像素的某个子集,需要更多HDR还是更多LDR的MDR图像),并且然后通过看看总的辉度变换函数的形状,对于每个可能的输入辉度确定需要哪个合成共同乘法因子gt计算用于MDR图像中的相应像素的相应的输出辉度或者事实上输出颜色。
因此,代替使用初始共同乘法因子(g),其依照分级者关于他想要两个动态范围外观看起来如何的艺术愿望,通过使用我们的技术颜色变换函数参数从捕获的场景的第一动态范围外观(例如作为原本图像的5000尼特HDR)变换到第二外观,例如LDR(用于驱动100尼特传统显示器),编纂用于图像对象的辉度映射,并且其利用图1进行阐述,其于是根据第一参考分级的图像仅仅得到第二艺术参考分级,计算新的合成共同乘法因子(gt),该新的合成共同乘法因子表征给出MDR图像的重分级的适当明亮度缩放或者显示调整的版本。例如,所述设备或方法可以从HDR原本图像降级(这可以如上所述明确表达为利用共同因子在RGB像素颜色上的单个乘法动作)。这得到中间分级图像(MDR),其具有用于例如1250尼特的中间峰值明亮度的可连接显示器的适当外观,即,捕获的图像中的所有HDR场景对象都以合理的明亮度(如内容创建者所希望的,并且观看起来令人愉悦,不管它们是冷阴影区、梦幻池塘、被警察讯问的罪犯的被照亮的脸等等)在该显示器上,在任何给定的显示器上并且潜在地将像观看环境等等那样的其他因素考虑在内地再现。在实施例中,除了图像对象的像素颜色的明亮度之外,像素颜色的彩色度也可以通过应用例如所需的去饱和的适当缩放的版本如所希望的优化,以便在LDR分级中创建明亮的彩色对象。对于显著不同的峰值明亮度的显示器获得正确分级的图像的一个主要要求是,至少不同对象的辉度对于每个显示器都被正确优化。否则,观看者可能看到例如图像的一些部分太暗,并且可能甚至不能充分辨别。或者,一些对象可能具有错误的对比度,例如具有太小的对比度。但是,由于我们发现一种将辉度变换明确表达为与g因子相乘的方式,相同的构思也可以应用于颜色饱和度处理。当需要针对显著不同的辉度动态范围的显示器在图像之间转换时,颜色饱和度变换也是一种有用的处理,因为例如当场景在例如100与600尼特之间的低峰值明亮度的显示器上再现时,分级者可能想要针对场景的最暗部分提高彩色度。
gt的计算在接收侧进行,但是它典型地也可以在创建侧进行,以便验证接收器将做什么。甚至在一些实施例中,创建者可能否决gt值的任何接收侧计算,并且针对例如电影的一个或多个镜头直接规定它们,但是我们在阐述中将着眼于更简单的计算实施例。
人们可以区分用于不同峰值明亮度(和/或动态范围)的关联显示器的“自然”外观或者更精确地说一族外观以及依照某些原理进一步调整的重新调节的外观。在接收侧重新调整可能存在各种不同的原因,对于其而言,显示器的观看参数、环境、观看者的适应等等最终决定外观应当是什么,但是典型地在HDR图像或者视频处理链中,至少要在其上再现图像的显示器的峰值明亮度是最重要的。另一方面,图像创建-消费链中的若干方可能对于最优的外观会是什么样具有发言权(例如,终端消费者可能对于这件事或者需求具有特殊的看法)。可以假设一些系统——我们可以使用其阐述我们的实施例——将允许内容创建者在最终将显示内容的无论什么接收端显示器上最优的“自然”外观应当如何方面保持某种发言权,如果他希望这样的话。我们的最简单实施例允许这样,因为外观的主要部分已经编码到颜色变换规定中,其在与图像关联的第一元数据MET_1中传送(例如在相同的光盘或者包含图像的介质上,或者经由相同的图像通信连接),并且如果此时简单地对此调节以适应接收显示器的特定峰值明亮度,那么分级者对于成像的场景的大部分看法在最终再现的外观上仍然存在并且可察觉。事实上,如果颜色变换设备只是按原样应用所述指标,即不利用像gpr那样的外观变化限定参数进一步细调,并且然后基于接收的颜色变换确定HDR-MDR颜色变换函数(所述TMF决定从例如HDR到LDR的映射),那么MDR仅仅通过如编码到HDR-LDR变换函数中的分级差异确定。
然而,其他方也可以对于外观具有发言权,并且这可以利用不同实施例的完全相同的技术部件确定,典型地作为自然外观的重新确定。例如,设备制造商,比如电视制造商,也可以具有关于某些类型的HDR场景再现(或者与其相应的MDR再现)应当看起来如何的许多知识和/或优选的看法。例如,他可能希望使得暗地下室稍微更亮,或者可能甚至更暗,因为他想要强调他的显示器的超出平均的暗再现能力。或者,他可能希望比平均情况更饱和或者相反地不那么饱和的外观。或者,他可能针对其他显示器硬件特点,或者像供应商典型的颜色外观那样的供应商偏好等等进行颜色处理。在过去,这将在接收的图像上在电视分析它之后完全盲进行,或者只是利用固定函数进行,所述固定函数总是给出合理的结果,例如饱和度增加,而不管创建者怎么考虑相同成像场景上的外观应当如何在不同再现情景之间变化(因此,颜色变得过饱和,而不是漂亮的粉彩),但是利用我们的当前方法,设备制造商的进一步处理可以与艺术创建者如何考虑场景(如编码到他的颜色变换中以便从如传送的第一外观图像中所编码的外观,比如5000尼特HDR转到第二参考外观,比如传统100尼特LDR)协调。特别地,根据HDR场景的至少还有一个动态范围分级的该函数重新规定,设备制造商(例如电视制造商)具有多得多的相关语义信息,因为人类分级者基于场景及其图像的巧妙特点做出选择,基于所述特点,接收设备可以进行更巧妙的最优重分级计算。通常,甚至存在第三方,其可以通过我们的新外观重分级技术被提供关于图像的最终外观的发言权。如果观看者认为例如当前图像部分太暗,因为他的妻子正在他旁边阅读图书,那么他可以经由他的遥控器1122例如典型地稍微细调所述外观(可能甚至以比如高达3光圈的变化的大步阶,但是此时仅仅在辉度范围的部分上,例如10%最暗的颜色上)。
因此,我们的颜色变换设备主要依赖于分级者将什么规定为他的颜色变换函数(在元数据MET中,更精确地说,在与传送的图像Im_in关联的MET_1中),以及哪些在IC中实现简单,以及哪些可能无需来自分级者的额外分级关注。在一些实施例中,他的仅有的动作只不过是(快速地)检查这样的显示调整的MDR视频,例如具有烈日灿烂的行星的科幻电影或者具有不同光效的电视节目,在分级者选择的中间峰值明亮度显示器上是否看起来良好,例如,1000尼特对于5000HDR/100LDR编码而言是良好的中间(MDR)显示器,因为它在5000以下大约2光圈并且在LDR以上大约3光圈,并且甚至该检查都可以免除,如果分级者完全依赖于接收端进一步调整其自然外观的话(即,他只是规定他的颜色变换除了他的主要原本外观,比如LDR 100尼特之外仅仅对一个另外的参考外观分级,并且然后所有另外的重分级都由电器制造商,例如运行在计算机上的颜色改进软件等等负责)。
在他确实对于重分级优选地应当如何在接收侧发生进行某种验证或者或多或少特别地规定的情况下,分级者于是接受他(或者自动建议)当前选择的进一步分级优化方法,其通过例如以下方式给出令人愉悦的MDR图像:将颜色变换函数和原本图像与在接收侧应用调整到特定可连接显示器所需的无论什么信息一起存储在蓝光光盘或者中间服务器以便以后提供给顾客(其在更简单的实施例中将仅仅为用于根据原本图像对第二图像分级的函数,即用于计算共同乘法因子(g)或者与其相应的辉度映射函数TMF的数据,但是在更高级的实施例中,将是规定更精确的优化策略的附加参数)。接收侧于是可以针对例如1250峰值明亮度自主地确定第三分级,并且例如在经由互联网将颜色变换设备合并到专业视频供应服务器中时,存储该第三分级图像以备某个顾客或者一群或一类顾客需要它时。
颜色变换设备得到与优化的MDR图像一起提供的显示器的峰值明亮度PB_D的值,例如,如果仅仅连接了单个显示器(例如,所述设备合并到电视中),那么PB_D可以是存储在某个IC存储器部分的固定数。如果所述设备为例如STB,那么它可以从连接的TV轮询PB_D。颜色变换设备然后评估该PB_D如何和与两幅分级的HDR和LDR图像相应的峰值明亮度有关,即对于其而言这些分级被创建为看起来最优的相应参考显示器的PB。该关系可以例如被计算为对数比值gp,或者等效地相对差异。该比值用来得到最优的好看的中间(半)自动重分级策略。因此,本发明的原理可以应用于仅仅辉度变换路径或者仅仅颜色饱和度处理路径,或者通过应用相同的合适的依赖于显示器的调节原理两次,但是根据情形或者分级者对于任何HDR图像或视频的需求,具有不同的颜色变换规定而应用于二者。
有利的是,颜色变换设备(201)包括显示数据输入(117),该输入被布置成从连接的显示器接收显示器的峰值明亮度(PB_D),使得它可以在接收侧潜在地通过在观看视频时即时地进行计算而确定用于任何可用和/或连接的显示器的正确分级。该实施例也可以驻留在显示器——例如电视——本身内部,使得该显示器可以根据我们的HDR编码的数据(例如存储在存储器中的PB_D)确定它自己的优化分级。通过这样的方式,我们的HDR编码技术事实上在HDR场景上编码了一束外观,其可以比作例如多视图系统如何可以在场景上编码各种不同角度的视图,但是现在迥然不同的是,差异发生在颜色空间。对比实施例可以驻留在例如专业视频服务器中,所述服务器预先计算若干用于具有特定PB_D类别值附近的峰值明亮度的不同类型的显示器的分级,以便以后提供给消费者,或者由另外的颜色分级者关于其外观进行细调,等等。
实施例可以确定显示调整的另外的变量,例如,颜色变换设备(201)可以进一步包括被布置成确定关于输入颜色的辉度轴的方向(DIR)的方向确定单元(1304),并且使得缩放因子确定单元(200)包括被布置成根据输入图像(Im_in)的像素的辉度通过沿着方向(DIR)定位所述指标而确定用于输出图像(IM_MDR)的像素的辉度。作为一个有用的实例,我们的技术可以在水平方向上插值,即在辉度变换图上确定哪个输出辉度与x轴上的输入辉度相应。我们的进一步研究表明,旋转用于确定与PB_D相应的中间MDR应当位于何处以及它应当如何进行颜色处理的插值方向可能是有用的,因为不同的辉度变换具有不同的定义和行为,并且这样的不同调整可以在辉度的至少某个子范围内例如创建更明亮的外观(例如,一些函数可以利用具有不同的辉度变换行为的分段之间的节点限定,例如,具有固定输入辉度位置的暗灰色的拉伸,并且然后方向插值可以对此改变)。特别地,已经发现离输入辉度轴135度的位置是个有趣的位置,因为此时与恒等变换相比正交地调整,并且例如与该对角线相比,外推于是可以最初限定为大致镜像对称)。我们将在下文中示出此时如何沿着该方向DIR部署所述指标,并且技术人员此时应当理解如何可以据此通过几何方法导出数学方程。
再一次地,该方向可以例如通过接收侧设备例如基于其对于HDR图像类型的分类自主地确定,或者它可以从内容创建侧作为方向指示器COD_DIR而传送。我们将示出一个有利的实施例,其可以通过方向插值单元1312执行的包含辉度变换函数的图的旋转而进行所述计算。
共同乘数确定单元(1311)此时将转换所需的颜色变换以便在用于乘以输入颜色的不同的所需gt因子下获得MDR外观。
有利的是,颜色变换设备(201)使得其缩放因子确定单元(200)进一步被布置成根据第二颜色处理规定数据(MET_2)获得调整参数(gpr;gpm),并且被布置成计算与所述指标上的不同位置相应的合成共同乘法因子(gt),该不同位置不同于用于显示峰值明亮度(PB_D)的位置,所述不同位置基于调整参数的值。如上所述,在其没有从例如内容创建者或者另外的图像分析和一般的特定于供应商的HDR 知识接收任何东西的情况下,所述指标确定什么应当是大致合理的MDR外观,即此时MDR外观已经对于许多种类的HDR场景而言大致是良好的,精确地说,因为它已经基于接收的颜色变换函数(例如自定义曲线CC)而最优地确定,所述颜色变换函数决定HDR场景的不同分级至少从第一PB范围端点(例如PB_H)到第二(PB_IM2为例如此时PB_L)应当如何变化。然而,对于一些图像,或者甚至某种与像暗地下室那样的区域或对象相应的一些图像的一些部分而言,可能需要对于LDR外观的更快速、更积极的变化,并且对于其他情形而言,根据PB_D与PB_IM1的偏离,可能需要比“平均”(如通过仅仅使用所述指标和方向锁确定的)更不积极的变化。这应当由分级者以尽可能容易的方式规定。在我们的技术的最简单的实施例中,分级者可以使用一个单一参数(gpr)指示与接收侧设备通过将PB_D置于指标上而进行“盲”计算相比,与MDR计算点相应的要使用的M_PB_U点应当在多大程度上更靠近例如PB_H地位于所述指标上。
例如,在一些实施例中,缩放因子确定单元(200)被布置成通过应用单调函数确定不同的位置,所述函数根据位于最小值——例如用于外推的负mn_gpr或者0——与最大值(mx_gpr)之间的至少一个输入参数(gpr)并且当然也根据与现实情形相关的某个输入值,即PB_D,给出指标上的规格化位置作为输出(gpr可以是例如图15的线性部分周围弯曲的曲线的曲率的度量等等)。在直接确定指标上的位置的情况下,输入值可以是PB_D本身,或者它可以是该PB_D的某个函数,例如使用的指标。该gpr值可以通过分级者例如通过旋钮1510设置,或者通过接收端的人工智能图像分析计算。由于可以将获得MDR外观所需的变化(至少针对插值,并且当需要外推时,可以相应地对此调适)明确表达为一种颜色变换,其在理论上计算HDR分级时为恒等式,或者通常为从它本身接收的原本分级,并且范围的另一极端,即例如100尼特LDR外观可以通过应用传送的辉度变换(即“完全”)获得,可以将此看作在根本没有——即乘以1.0,或者完全程度上——即乘以与用于根据接收的HDR图像计算LDR外观的接收的元数据相应的g——之间应用乘法变化。据此,无论用于不同输入辉度的实际乘法值如何,都可以限定像图15中所例示的连续函数,其根据表征显示情景的输入以及表征人们希望的重分级种类的所述至少一个gpr值,在完全程度上(m_MT_norm=1)应用或者根本不应用或者介于之间应用颜色变换。
在具有其中缩放因子确定单元(200)使用基于对数的指标并且通过将g值升高到计算的校正比值而计算gt因子的颜色变换设备(201)的实施例的情况下,熟练的读者可以理解,校正该比值可能是有利的。这可以务实地通过例如根据颜色处理规定数据(MET)获得调整参数(gpm)并且然后计算调整的幂值(gpp)而完成,所述幂值为来自PB_D与什么相应的对数指标计算的比值(gp)的调整参数(gpm)次幂,并且然后计算共同乘法因子(gtu)的另外的调整版本,其是初始共同乘法因子(g)的某次幂,该幂等于调整的幂值(gpp),所述gtu通常由缩放乘法器(114)用来与线性RGB输入颜色相乘。应该不用说,但我们会说以便使得熟练的读者完全清楚的是,尽管该幂值gpm看起来像伽马值,它绝对与从显示器或者从一般图像亮化获悉的伽马无关,因为现在这是一个用于根据HDR场景的特点以及例如获得合理LDR分级所需的艺术优化类型朝着用于与某个PB_D相应的某种所需MDR图像颜色的另外的分级外观的所需调整的积极性的控制参数。事实仅仅在于,幂函数是一种设计像图15中所阐述的类型的行为的务实方式,并且一些数学函数可普遍地部署这一事实只是数学上的巧合。
优选地,也提供一种允许内容创建者具有关于中间分级将看起来如何的甚至进一步的发言权的技术解决方案。一方面,我们为该解决方案引入这样的约束:分级者不应当被太多的附加分级所困扰,因为分级时间是昂贵的,并且例如一些制作在后期制作之前可能已经超出预算,并且分级者已经花费相当多的时间创建主HDR分级(然而,如果几乎没有任何人在其实际的显示器上看到这点,那么不完全忽略最后的再现问题就有道理),以及随后与它关联的LDR外观(或者来自例如电影版的LDR外观,然后是用于HDR电视观看的相应HDR外观或者其他工作流程替代方案)。另一方面,尽管当已经将一定的分级复杂性置于用于不同PB_D值的所需中间分级的范围的任一侧(再次指出,本发明及其实施例并不限于该阐述性典型情景,因为所述技术也可以作用来从主5000尼特向上分级,分级至例如20000尼特,其从用于降级且适当地改变它们的相同函数开始或者利用元数据中传输的用于升级的附加函数等等)时,即当已经具有HDR和LDR分级时,中间分级的确定可能更简单。然而,表面上且大体上,特别是在MDR分级以及任一端的原始分级——LDR和HDR——的峰值明亮度之间存在大量光圈的情况下,中间分级的确定可能仍然相对复杂。因此,理想情况下,分级者应当彻底地或者至少足够彻底地创建第三MDR分级,这可以利用我们的更高级的实施例进行。然而,我们提供了若干简单的解决方案,他可以转而、单独地使用这些解决方案,或者如果需要的话,在对于用于中间分级图像生成的全局辉度映射的例如部分进行小的附加细调(或者作为利用另外的函数从我们上面的优化方法得到的图像上的后期校正),或者关键并且不简单地如我们的简单实施例所正确分级所产生的某个对象的局部细调的情况下使用这些解决方案。
在该实施例中,分级者可以通过规定仅仅一个另外的调整参数gpm或gpr而快速地创建中间MDR,所述参数也在元数据MET中传送并且规定中间分级在多大程度上看起来像LDR或HDR分级,或者换言之,当经过预期连接的显示器的不同中间峰值明亮度时,中间MDR分级多快地从HDR外观变化到LDR外观或者在另一个方向上的相反情况(例如,当显示峰值明亮度保持增加时,特定暗对象保持多亮)。
当然,除了1参数细调函数(用于在从起点,例如PB_H移除PB_D时更快或者更慢地转到另一个分级)之外,可以限定另外的参数,这些参数规定依赖于场景的或多或少积极的显示调整应当多准确地发生,例如图15的gptt。原则上,在我们的技术框架下,可以限定当偏离纯粹的基于指标的方法时,对于不同的中间PB_D位置,外观应当如何在HDR与LDR外观之间移动的任意复杂的规定。
有利的是,颜色变换设备(201)的另一实施例使得缩放因子确定单元(200)进一步被布置成获得区分输入图像的像素颜色的第一辉度范围(或者相应的亮度(luma))和第二辉度范围的至少一个辉度值(Lt),并且其中该缩放因子确定单元(200)被布置成对于第一和第二辉度范围中的至少一个计算调整的共同乘法因子(gtu),即,合成共同乘法因子gt的更特别地确定的实施例。当我们说亮度时,我们意指辉度或者任何其他像素明亮度度量(与颜色矢量的长度相关)的任何编纂,所述值可以等效地计算为彼此。例如,在一些实际的实施例中,可能有利的是使得该Lt值称为Value划界器,其中Value被限定为max(R, G, B),即输入颜色的颜色分量中最高的分量。即,当最高的颜色分量,比如红色分量高于例如0.3时,将该颜色分类到第一范畴(regime)中,否则,分类到第二范畴中。
利用该实施例,分级者可以选择原本图像(以及因此经由颜色变换,还有可导出图像,例如LDR图像)的辉度范围的特定的有趣的子范围,并且不同地对待它们。在上面的讨论中,我们主要着眼于应当多快地从HDR分级移到LDR分级(或者如果原本图像Im_in为LDR图像的话,相反的情况),以及在一些实际的实施例中这如何可以通过甚至1个单一的控制参数gpr或gpm在技术上实现。该调适于是典型地对于输入图像中的所有像素颜色这样进行,即无论其原始明亮度如何,我们都假设它们可以类似地进行显示调整,因为方法的差异已经大致编码到辉度变换的形状中以便在分级者的原始HDR与LDR外观之间分级。然而,在HDR场景中可能存在不同的语义部分,例如露天剧场的相对较暗区域中的彩色服装以及通过露天剧场的入口看到的明亮外部,并且典型地可能存在涉及的映射例如相对较小的LDR辉度范围内的不同部分,同时仍然形成艺术上令人信服的图像的不同优化。或者,暗区域可能在夜间场景中非常关键,并且分级者可能希望通过以下方式保持它们相当明亮:保持接近LDR外观、高达像例如800尼特那样的相对较高的峰值明亮度的辉度子范围,同时保持上面的区域中的良好的HDR对比度,所述区域例如靠近灯杆的房屋部分或者通过屋顶的裂缝落下的阳光照射的地窖的部分,或者彩色背光商业盒等等。因此,在我们的更高级的实施例中,分级者可能想要对于场景的不同部分,尤其是不同像素辉度的图像的部分,以不同的方式规定所述调整,特别是对于连续的PB_D步阶MDR分级如何积极地移向第二图像分级,并且因此仍然有利的是具有允许分级者进一步规定其在那个方面的希望的控制的机制。
分级者典型地对于对亮度值(Lt)划界的所述至少一个区域的任一侧规定不同的gpm值,并且在沿着所述范围规定另外的区域的情况下,规定更多的值(例如暗、中亮和亮以及超亮)。两个区域之一可以使用默认值,例如gpm=1,这意味着使用我们的第一实施例的策略,这意味着在一些实施例中,分级者只需为具有Lt任一侧的辉度的两个区域之一规定一个特定的gpm值。但是,他也可以规定和传输用于两侧的专用gpm值:gpm_1和gpm_2。
颜色变换设备(201)的另一实施例使得缩放因子确定单元(200)进一步被布置成确定位于所述至少一个亮度值(Lt)周围的平滑亮度范围,并且被布置成在其在所述至少一个亮度值(Lt)的任一侧确定的值之间对调整的共同乘法因子(gtu)插值。为了保证可能不是每个HDR场景和MDR计算情景所需的平滑过渡行为以及没有用于中间分级的任何对象的不适当的像素辉度(这特别地可能对于例如天空中的一些梯度或者照亮的球形对象是关键的),该实施例允许分级者规定过渡区域。他可以根据插值策略在Lt任一侧有多不同,即用于例如低辉度的gpm_1和用于高辉度的gpm_2有多不同(典型地用于任一个的良好的值可以位于1.5与1/1.5之间)而规定所述插值,尤其是确定插值区域的宽度作为另一参数I_W,以及它是否应当例如对称地位于Lt周围或者非对称地仅仅应用到Lt之上的辉度(可替换地,接收设备可以通过使用关于合成曲线的细节自主地确定插值策略,所述细节例如它应当单调递增,或者关于特定瞬间上或者特定区间上的导数的希望的约束,即,它将提出至少一个策略,直到满足这些约束,等等)。再者,在一些实施例中,他可以通过在元数据中传输计算用于原本图像中的每个可能的辉度的所需gpm值的函数而规定某个希望的插值策略,但是默认地,这将是为插值区域任一侧传输的gpp值之间的线性插值。
现在,给定了可以利用本发明的原理设计的颜色变换设备的一些阐述性实施例,我们在下文中描述不同应用情景中的一些其中可以包括该基本颜色计算设备的另外的设备变型,例如消费侧、内容创建者一侧、内容传输公司地点、例如电缆头端或者卫星中的设备,或者通过用于对例如消费者的视频,例如婚礼或假日视频等等重分级的基于互联网的服务。
在编码器一侧,我们的实施例可以用于创建高动态范围图像(Im_src)的编码的系统中,该系统包括:
- 输入,用于接收高动态范围图像(Im_src);
- 图像转换器(303),被布置成将高动态范围图像(Im_src)转换成高动态范围图像(Im_src)的主分级(M_XDR);
- 如上面的颜色变换设备权利要求中的任何一项所述的颜色变换设备(201),被布置成从作为主分级(M_XDR)的输入图像(Im_in)的像素的输入颜色开始,通过应用颜色变换(TMF;g)计算第二分级图像(M_X2DR)的像素的合成颜色;
- 该颜色变换设备被布置成获得至少一个参数(gpm)并且使用该参数和颜色变换计算与峰值明亮度相应的第二图像(IM_MDR),该峰值明亮度不同于与主分级(M_XDR)相应的峰值明亮度以及与第二分级图像(M_X2DR)相应的峰值明亮度;
- 信号格式化单元(310),被布置成将第二分级图像(M_X2DR)和主分级(M_XDR)一起转换成适合于图像存储和/或传输并且包括主分级(M_XDR)的像素颜色数据、对颜色变换编码的元数据以及所述至少一个参数(gpm)的格式化的高动态范围图像(SF_X2DR);以及
- 图像输出(320),用于输出格式化的高动态范围图像(SF_X2DR)。
典型地,这些部件将形成接收侧的部件的镜像,但是现在人类分级者(或者自动重分级人工智能系统)具有确定接收器应当做什么以便依照分级者的愿望创建最完美的中间分级的另外的技术部件。
在这里,分级者典型地从原始HDR材料(Im_src)开始,让我们说直接从像RED照相机那样的HDR照相机或者甚至具有由相同场景图像经由分束器供应的两个不同曝光的照相机的系统开始。分级者典型地想要如利用图14的实例所解释的对此进行主HDR分级,他想要在图14左边的5000尼特辉度轴上定位不同图像对象的辉度及其相应的亮度代码。他也想要进行与该相同主HDR图像外观相应的LDR分级。继续原本图像(Im_in)的特定实例,该图像实际地作为HDR图像典型地经过DCT压缩或者未经压缩地传送,在该情景中,从第一分级输出的分级图像M_XDR将是HDR图像,并且于是该HDR图像将与颜色处理函数元数据一起添加至图像信号,并且例如写到BD或者另一个物理存储器(321)或者任何其他图像通信构件。在该情景中,分级者将根据主HDR分级创建至少一个辉度映射函数(比如例如CC)以便获得在这种情况下为LDR图像的M_X2DR,即对于其而言代码将映射到100尼特的PB_L的图像。
然而,我们也具有一种版本和相应的显示调整实施例,我们称之为模式2,其中HDR场景的“HDR”图像实际地被编码为LDR 100尼特图像。在这种情况下,来自确定原本图像的初始分级的M_XDR可以是LDR图像。在该模式下,分级者规定的函数(CC等)将该LDR图像映射为HDR图像,其典型地为希望的主HDR外观图像的非常接近的、近乎相等的近似。在该模式2下,存储在图像或视频信号S_im中的Im_in将是LDR图像,并且辉度变换(以及饱和度变换)函数将是在接收侧导出HDR图像的升级函数,并且M_X2DR也将是HDR图像。在任何情况下,分级者典型地将在三个典型显示器上检查三幅图像,即他的原始LDR和HDR外观图像以及MDR图像的外观,所述显示器具有与这些图像相应的适当选择的显示峰值明亮度。
因此,依照我们的HDR技术的格式化的高动态范围图像SF_X2DR事实上编码了关于场景的HDR外观,而不顾它是否实际上包含HDR或LDR原本图像。
该系统典型地也将输出至少一个调整参数(gpm)。
根据分级者是否想要花费更多或者更少的时间,可能涉及不同的迭代之一。对于实时传输而言,分级者可能例如仅仅在三个参考显示器上观察这些外观(对于这些外观而言,HDR和LDR分级此时典型地也将涉及少数操作,例如恰在生成主分级的展示开始之前基于场景的特性的单一对数状或者S曲线变换设置,以及获得第二相关分级,例如来自HDR主分级的LDR的第二设置)是否具有足够合理的质量,并且他可能偶尔粗略地调整简单的拨号,这例如改变gpm参数。但是,当涉及离线重新主控时,分级者可能投入大量时间以达到若干分级的编码,所述分级例如HDR与LDR之间的2个附加的MDR分级,任一侧一个(超HDR UHDR和子LDR SLDR)等等,它们中的任一个由显示调整实施例编码,或者它们中的某个由原始动态范围外观图像共编码实施例通过元数据中的完整颜色变换并且在其上针对超过两个原始传送的分级之间的中间PB_D位置进行显示调整而编码。尤其是对于图像通信链中间的公司——例如具有在用于不同类别的接收器的重新主控动作中进一步对现有的内容销售、传输、优化等等的业务的公司——中的一些更流行的节目而言,可能存在人类分级者投入更多时间创建若干更高级的重分级情景以及那些不同颜色变换的数学参数的附加分级预算。
有用的还有一种根据输入图像(Im_in)的像素的输入颜色计算像素的合成颜色的方法,特征在于,该方法包括:
- 根据经由元数据输入(116)接收的颜色处理规定数据(MET)确定初始共同乘法因子(g),
- 通过以下方式确定合成共同乘法因子(gt):首先,计算首先显示器的峰值明亮度(PB_D)和与输入图像相应的参考峰值明亮度(PB_H)的比值的对数以及其次参考峰值明亮度(PB_H)和根据颜色处理规定数据(MET)获得并且与将颜色处理规定数据应用到输入图像的像素颜色时得到的图像(Im_LDR)相应的峰值明亮度(PB_L)的比值的对数的比值(gp),并且随后,将合成共同乘法因子(gt)计算为初始共同乘法因子(g)的所述比值(gp)次幂,以及
- 将输入颜色的线性RGB颜色表示乘以作为合成共同乘法因子(gt)的乘法因子。
有用的还有一种如权利要求7所述的计算像素的合成颜色的方法,包括从连接的显示器接收显示器的峰值明亮度(PB_D)的步骤。
有用的还有一种计算像素的合成颜色的方法,包括:从颜色处理规定数据(MET)获得调整参数(gpm),计算调整的幂值(gpp),该幂值为所述比值(gp)的调整参数(gpm)次幂,确定调整的共同乘法因子(gtu),该因子是初始共同乘法因子(g)的某次幂,该幂等于调整的幂值(gpp),以及将输入颜色的线性RGB颜色表示乘以作为调整的合成共同乘法因子(gtu)的乘法因子。
有用的还有一种计算像素的合成颜色的方法,包括:获得区分输入图像的像素颜色的第一亮度范围和第二亮度范围的至少一个亮度值(Lt),以及对于第一和第二亮度范围中的至少一个计算调整的共同乘法因子(gtu)。另一个子范围于是可以例如使用根据上面针对最宽的实施例提到的规定PB_D、PB_H和PB_L的辉度关系的对数比值所确定的默认gt参数。该方法或设备的一些实施例可以根据手边的情形使用所述实施例中的任一个作为前缀或者可选择的它们中的任一个,其典型地将与另外的表征代码一起编码到元数据中。
有用的还有一种计算像素的合成颜色的方法,包括:确定位于所述至少一个亮度值(Lt)周围的过渡亮度范围,以及在其在所述至少一个亮度值(Lt)的任一侧确定的值之间对调整的共同乘法因子(gtu)插值。
熟练的读者将会认识到,所有实施例都可以实现为许多其他的变型、方法、信号,不论其通过网络连接传输,还是存储在某个存储器产品、计算机程序中以及各种不同的组合和修改等等中。
例如,在一些实施例中,内容创建侧可以控制任何接收侧显示器如何基于分级者就不同动态范围分级应当看起来如何做的决定再现(中间)外观,这通过将此作为编码的高动态范围图像信号(S_im)而传送,该图像信号包括:
- 像素颜色数据,其编码作为主分级(M_XDR)的原本图像;
- 元数据(MET),其包括规定根据主分级(M_XDR)计算第二分级图像(M_X2DR)的颜色变换的参数,特征在于,编码的高动态范围图像信号(S_im)进一步包括要用于从主分级(M_XDR)的像素的输入颜色开始通过以下方式计算像素的合成颜色的调整参数(gpm):
- 根据颜色变换确定初始共同乘法因子(g);
- 计算首先显示器的峰值明亮度(PB_D)和与输入图像相应的参考峰值明亮度(PB_H)的比值的对数以及其次参考峰值明亮度(PB_H)和根据元数据(MET)获得并且与将颜色处理规定数据应用到输入图像的像素颜色时得到的图像(Im_LDR)相应的峰值明亮度(PB_L)的比值的对数的比值(gp);
- 计算调整的幂值(gpp),该幂值为所述比值(gp)的调整参数(gpm)次幂;
- 确定调整的共同乘法因子(gtu),该因子是初始共同乘法因子(g)的某次幂,该幂等于调整的幂值(gpp);以及
- 将主分级(M_XDR)的输入颜色的线性RGB颜色表示乘以作为调整的合成共同乘法因子(gtu)的乘法因子。该信号可以包括进一步规定使得任何接收侧设备能够应用我们的实施例中的任何一个,诸如例如一个或多个辉度划界器Lt等等的元数据。
有用的还有一种用于创建高动态范围图像的编码的系统,包括允许人类分级者规定所述至少一个参数(gpm)的用户接口(330)以及用于连接具有显示峰值明亮度(PB_D)的显示器(313)的图像输出(311)。
有用的还有一种用于确定要再现的颜色的系统(1130),包括颜色变换设备(201)以及用于输入至少一个用户规定的参数的用户接口(1120),所述参数改变要由颜色变换设备使用的所述指标、调整参数(gpr;gpm)或者显示峰值明亮度(PB_D)中的至少一个。
有用的还有一种从输入图像(Im_in)的像素的线性三分量输入颜色(R, G, B)开始,计算用于具有显示峰值明亮度(PB_D)的显示器的输出图像(IM_MDR)的像素的合成颜色(R2, G2, B2)的方法,所述输入图像具有与不同于显示峰值明亮度的第一图像峰值明亮度(PB_IM1)相应的最大亮度代码,该方法包括:
- 根据包括用于至少一定范围的像素辉度的至少一个色调映射函数(CC)的颜色处理规定数据(MET_1)确定颜色变换(TMF; g),所述颜色变换规定具有与其最大亮度代码相应的第二图像峰值明亮度(PB_IM2)的图像(IM_GRAD_LXDR)的至少一些像素颜色的计算,所述第二图像峰值明亮度不同于显示峰值明亮度(PB_D)和第一图像峰值明亮度(PB_IM1),并且由此第一图像峰值明亮度除以第二图像峰值明亮度大于2或者小于1/2;
- 通过执行以下步骤而确定合成共同乘法因子(gt):
- 确定用于定位显示峰值明亮度在第一图像峰值明亮度(PB_IM1)与第二图像峰值明亮度(PB_IM2)之间以及在该范围之外的位置的指标;以及
- 根据显示峰值明亮度(PB_D)、所述指标和颜色变换确定合成共同乘法因子(gt);并且
- 所述方法进一步包括将线性三分量输入颜色(R, G, B)乘以合成共同乘法因子(gt)以获得合成颜色(R2, G2, B2)。
有用的还有一种方法,进一步包括确定关于输入颜色(R, G, B)的辉度轴的方向(DIR),并且其中所述确定合成共同乘法因子(gt)包括根据输入图像(Im_in)的像素的辉度通过沿着方向(DIR)定位所述指标而确定用于输出图像(IM_MDR)的像素的辉度。
有用的还有一种方法,进一步包括根据第二颜色处理规定数据(MET_2)获得调整参数(gpr; gpm),以及计算与所述指标上的不同位置相应的合成共同乘法因子(gt),该不同位置不同于用于显示峰值明亮度(PB_D)的位置,所述不同位置基于调整参数的值。
有用的还有一种方法,包括获得区分输入图像的像素颜色的第一辉度范围和第二辉度范围的至少一个辉度值(Lt, Ltr1),以及对于第一和第二辉度范围中的至少一个计算合成共同乘法因子(gt)。
为了能够将所需的信息从生成艺术上合适的外观的创建侧传送至那些图像的任何使用地点,有用的是具有高动态范围图像信号(S_im)的技术规定,包括:
- 像素颜色数据,其编码作为高动态范围场景的主分级(M_XDR)的原本图像;
- 元数据(MET),其包括规定根据主分级(M_XDR)计算第二分级图像(M_X2DR)的颜色变换的参数;特征在于,编码的高动态范围图像信号(S_im)进一步包括要用于从主分级(M_XDR)的像素的输入颜色开始通过确定合成共同乘法因子(gt)计算像素的合成颜色的调整参数(gpm),该合成共同乘法因子基于与包括具有合成颜色的像素的图像一起提供的颜色变换和调整参数以及用于显示器的显示峰值明亮度(PB_D)进行确定。
该信号可以在任何信号通信技术上行进,或者驻留在包括像素颜色数据、元数据(MET)和调整参数(gpm)的任何存储器产品中。
虽然一些实施例允许分级者在更大或更小程度上控制用于任何再现情形的任何重分级,所述情形典型地至少涉及特定显示峰值明亮度和与传送的图像关联的参考显示器的显示峰值明亮度不相等,但是其他实施例(不管分级者是否希望传送任何重分级规定,即除了他的颜色变换之外的任何东西,以便将传送的图像重分级为一个只在参数上传送的另外的动态范围外观,例如根据HDR重分级为LDR)允许接收设备本身特别是借助于包括图像分析单元(1110)的颜色变换设备(201)实施例进一步重分级用于预期再现特性,例如MDR1500尼特显示器的外观,所述图像分析单元被布置成分析输入图像(Im_in)中的对象的颜色,并且据此依照允许规定最终的乘法参数g_fin的我们的实施例中的任何一个确定用于要用在合成共同乘法因子(gt)的计算中的调整参数(gpm或gpr等等)或者显示器的峰值明亮度(PB_D)或者指标或者方向或者任何参数或者参数组合中的至少一个的值,以便获得最终的重分级图像的颜色(R, G, B)_radj。
特别地,也可能有用的是所述设备具有允许最终的观看者(例如家庭中的电视观看者)通过以下方式对外观有影响的构件:例如通过自己重新规定gpr参数,例如通过在任一方向上给予它小的偏移,例如gpr_v=gpr+k*0.1,k选自{-3, -2, …., 3},或者一般地gpr+k*N,N为小步长。这允许在一定程度上改变外观,但是与内容分级者在对场景重分级时,即依照他在与(视频)图像相应的元数据中传送的他的HDR-LDR颜色变换函数,规定为与该场景相关的东西协调。
附图说明
依照本发明的方法和设备的这些和其他方面根据以下参照附图描述的实现方式和实施例将是清楚明白的,并且将参照这些实现方式和实施例进行阐述,读者应当理解,所述附图仅仅用作例示可以以其他方式实现的一般构思的非限制性特定示例性图示,并且在附图中,虚线用来指示部件是可选的,非虚线部件不一定是必需的。虚线也可以用于指示被解释为必需的元件隐藏在对象内部或者用于无形的东西,诸如例如对象/区域(以及它们可以如何在显示器上显示)的选择。熟练的读者应当清楚,考虑到事情的复杂性以及可以做出的各种可替换实现,为了教导的简洁起见,我们仅仅在一些图像中示出了一些部件,但是那些部件经必要修改也可以添加到其他不同的实施例。也应当清楚的是,一些图在任意更高的抽象水平下,例如在技术框架水平下描述了实施例的方面。
在附图中:
图1示意性地图示出一种用于创建具有与输入主分级(其为了理解简单起见可以是例如HDR主分级)不同的动态范围的次级(来自创建者的原始外观,规定场景在符合像特定峰值明亮度那样的某些特定能力的参考显示器上再现的情况下应当看起来如何)分级的示例性设备,申请人想要利用本申请中的附加技术部件对其改进,以便容易地允许创建另外的分级,即用于其他动态范围的正确外观;
图2示意性地图示出一个示例性核心计算部分,其允许根据规定两个初始分级的信息创建至少一个另外的分级(我们将称之为MDR分级),所述初始分级可以经由某个图像通信构件从内容创建侧接收或者在相同侧创建,其中至少一个为HDR分级;
图3示意性地图示出这样的一种用于计算另外的分级的计算系统,当在用于阐述本发明的一些方面的示例性系统中实施时,所述系统允许分级者规定这样的至少三个分级,并且对用于它们的信息编码,允许在接收侧例如通过消费电视或者计算机系统重构所述三个分级;
图4示意性地图示出使用用于创建(如内容创建者的颜色分级者所创建的原始LDR与HDR分级之间的)三个示例性中间分级的简单实施例的结果,其表示为(相对,即规格化到1.0)辉度映射曲线,用于根据用于从主分级生成第二分级的辉度映射曲线将输入HDR分级辉度Y_HDR映射为用于希望的第三MDR分级的输出辉度Y_L,所述第二分级在该实例中为用于100尼特显示器的LDR分级;
图5示意性地图示出一个更高级的实施例,其允许进一步调整中间分级曲线的形状,特别地,不管它们在沿着可能再现的辉度轴的辉度分布特性上更多地与HDR分级相应,还是更多地与LDR分级相应;
图6示意性地图示出一个甚至更复杂的实施例,其允许在至少两个辉度子区域中更精确地规定曲线,即允许根据应当针对其计算最优的MDR外观图像的对象的辉度不同地规定重分级行为;
图7示意性地图示出我们的实施例如何可以至少在某个辉度子范围内使得用于具有特定峰值明亮度的任何预期的例如可连接的显示器的第三分级看起来更像HDR,或者更像LDR分级;
图8示意性地图示出实施例如何也可以从输入分级图像开始,找到用于中间峰值明亮度的显示器的MDR分级的像素颜色的适当的中间颜色饱和度(除了像素颜色的辉度之外,可以保持色品对于所有外观都完全相同,但是在一些实施例中,人们想要至少也调整颜色饱和度,典型地留下色调不变);
图9示意性地图示出将我们的实施例作为如分级者所规定的HDR与LDR之间的色调映射应用到特定外观关系的另一个实例;
图10示意性地图示出用于具有中间峰值明亮度的若干显示器的特定重分级的我们的实施例的可能的另一个实例,其组合朝着用于具有第一辉度子范围内的辉度的第一像素区域的LDR外观的快进以及用于具有第二辉度子范围内的辉度的第二像素区域的更平滑的变化;
图11示意性地图示出仅仅作为当前技术的一些可能应用的一个阐述性实例的接收器的一些可能的实施例,其能够依照我们的原理确定它们自己的希望的重分级规定(并且特别地,该图也例示了在那些设备中的一些中,接收侧用户如何可以对于至少一个设想的再现情景影响至少一幅MDR图像的外观);
图12示意性地图示出快速地调整重分级外观的粗略对比度的示例性处理;
图13示意性地图示出在高级别部件水平上,导出MDR图像的典型显示调整设备将包括什么;
图14示出了比如电影的可能的HDR场景的一个实例,以便向读者阐述我们的HDR技术链和问题处理的一些所需的基本构思;
图15示出了如何可以例如由人类颜色分级者从内容创建侧,即典型地在实际观看图像之前一定时间,进一步影响计算的MDR图像的外观;
图16通过一个实例解释了我们在我们的框架下如何可以将所需的颜色处理看作乘法数学公式;
图17示出了人们可能具有的例如依照HDR场景的特点以各种不同的方式创建重分级的或者显示调整的MDR图像的可能性的阐述;
图18示出了相同的实例,但是现在在数学坐标系统下观看,其相应于关于HDR场景的接收的HDR和LDR图像外观的LDR分级,并且在该实例中示出了一种可能的方向MDR辉度变换函数确定;
图19相应地示出了这样的特定MDR导出实施例如何可以在旋转尺度上明确表达,并且解释了随后的技术后果和发明人决定的解决方案;
图20解释了可以如何看出可以与本发明一起使用的一个可能的指标的意义;
图21阐述了如何可以在MDR生成过程中考虑在参数上限定的HDR-LDR或者LDR-HDR颜色处理函数的参数,以及如何可以在需要时盲目地或者有引导地改变那些参数,例如特定辉度划界器点的位置,以及MDR颜色的计算此时如何遵循这样的技术表达;
图22示出了例如由颜色分级者规定MDR外观生成比色行为的另一个可能性,所述颜色分级者可以将该信息传送至任何或者若干接收地点;以及
图23为一个曲线图,其示出了如何可以在规格化表示之间缩放,这些表示将1.0相对辉度引用为绝对辉度的不同值(典型地为其计算重分级的显示器的PB_D)。
具体实施方式
图2示出了我们的新颖颜色变换设备的一个可能的实施例的示例性阐述,我们目前假设所述设备包括在某个接收侧设备(例如电视或计算机等)中。除了我们在这里也公开了一个进行不同的空间局部化映射的潜在实施例选项之外,假设辉度映射部分与图1中相同。可能存在传送和接收的另外的元数据,其允许分割单元222将第一类型像素与第二类型像素区别开来。例如,通过小侧窗看到的天空的部分可以获得与通过大的主要窗口看到的相同天空一定程度上不同的辉度映射。即,在空间位置(x, y)_1处或附近,具有颜色(Y_sky, u’_sky, v’_sky),即尤其是具有拥有一定范围内的Y_sky值,例如比阈值辉度更明亮的辉度的像素——其中x和y为蓝色天空像素的空间像素坐标,Y为辉度并且u’和v’为CIE1976 uv坐标——获得有别于具有甚至相同的输入(Y_sky, u_sky, v_sky)颜色,但是驻留在不同的空间位置(x, y)_2的像素的到另一个Y_sky_out_2的另一个变换。如果分割单元仅仅对像素分类,并且根据是否将像素分类为第一与第二标识的区域而加载不同的映射参数以便达到初始共同增益因子,处理的其余部分可以与对图1的解释相同(例如,可以与预先计算的LUT等等一起使用两个平行的计算路径)。读者应当理解,用于根据传送的图像(比如HDR)获得第二原始分级图像(例如LDR)的处理不必与用于确定显示调整的MDR图像的局部处理相同,这并不简单意味着函数和参数的确切值当然可以不同,而是导致影响的高级别变换形状的原理可能不同,但是至少如果接收到允许分割典型地语义上特殊的图像对象中的特定像素集合的元数据中的信息,那么也可以单独地进行适于那些区域或对象的显示调整,例如,在显示器的PB_D已经允许某种HDR效果再现的情况下,朝着HDR外观更快地,即比可以在不同的可能中间PB_D值上更渐进地调整的场景的其余部分更快速地增强火球。再一次地,从元数据读取不同的参数gai、cc等等,并且将其发送至用于进行颜色计算(特别是辉度改变计算)的不同单元,但是现在,例如第二区域得到其自己的一般形状的辉度映射曲线cc_2,而主要区域(通过窗口看到的天空的较大部分以及例如房间内部的所有像素)利用曲线cc进行变换。PB_H和PB_L有利地存储为规定所述两个分级的元数据(特别是分级的代码确切表示的东西,或者换言之,针对其进行那些分级的参考再现条件),并且也从元数据读取并且发送至缩放因子确定单元200,该单元被布置成不管PB_D值来自何处(例如,典型地,连接的显示器经由数据输入117传送其峰值明亮度),都基于PB_L和PB_H以及该PB_D计算合成共同乘法因子(gt)。
高级的实施例允许内容创建者规定和传输决定分级优化的另一参数,即调整参数(gpm),其典型地将为实数,例如1.253(或者其代码话,例如乘以1000并且取整到最近的整数,等等)。典型地,高达1.5和低至0.6的值对于从事通过改变如下文所示决定gt值的幂而修改对数指标的实施例将是足够的,但是一般而言,颜色分级者的软件将具有合理的限制,超过所述限制,重分级行为就变得太极端(不要预期,对于300尼特显示器,人们应当立即实现高质量HDR图像的外观,即利用该外观的规格化辉度驱动它,因为这样的显示器不能忠实地对此再现,分级者会将其看作例如太暗的区域,因此无论所述限制如何,在实践中,他都绝不会想要将所述值选择得如此高)。
图4给出了我们的HDR图像显示优化的一个非常简单的实施例的实例。假设需要将作为输入的HDR图像(即,原本图像为1600尼特分级)的输入辉度Y_HDR映射为用于任何希望的分级的输出辉度(在该曲线图中称为Y_L)。例如,曲线405给出用于辉度映射以便为100尼特显示器创建令人愉悦的图像的总策略(其与图1的执行其辉度变换的所有单元相应,即合成辉度在链的开始处从输入辉度开始;注意:具有这样的链的原因在于,据研究,HDR图像操作具有可以影响的不同的分量变换在实践中是有用的,并且在显示调整中,也可以在用于不同情景的任何不同的实施例中特别地利用任何这样的特定部分重分级信息)。
在该实例中,我们看到可能的策略中的一个可能策略,其中较暗辉度被增强(相对地,在规格化尺度上!),使得在暗100尼特显示器上存在那些区域的足够的可见度,因为这些区域在HDR原本分级中被分级为超暗,因为该分级针对明亮的例如1600尼特显示器而分级。剩余的明亮辉度于是在该实例中以线性的方式分布在仍然可用的上面的范围(在该实例中,再现的输出峰值明亮度的50%以上,可以指出,其由于人类视觉非线性性质的原因不是那么多,但是这仅仅是个说明)上,但是,当然,分级者可以使用例如S弯曲或者软剪切曲线以用于较高输入辉度,以便在图像的一些区域中创建例如更多的对比度等等。HDR图像在转换为自身(无需实际地这样做,但是这是对没有PB_H峰值明亮度的图像的所有实际颜色变换的理论端点)时等效于斜率为45度的恒等变换,因此,我们在图中将此绘制成能够示出保持接近HDR外观的分级。用于每个输入辉度Y_HDR的共同乘法因子可以从曲线中读取,例如,增强b(0.2)作为g乘法器将值Y_HDR=0.2映射为希望的Y_LDR=0.6,其对于该输入辉度相应于等于3的共同乘法因子g。现在,如果想要获得用于800尼特峰值明亮度监视器(曲线402)的最优分级,由于这在心理视觉属性方面相对接近1600尼特监视器(对于其而言,接收的HDR分级在该实例中将看起来最优)并且仍然可用显示相对较高动态范围的内容,因而人们将计算相对接近恒等变换的800尼特重分级(MDR_800),即,在这里为b800(0.2)的合成共同乘法因子gt应当接近1,并且对于所有其他输入辉度类似。用于400尼特(曲线403)和200尼特(曲线404)预期或连接的显示器峰值明亮度PB_D的最优重分级应当具有渐进地接近LDR映射(曲线405)的曲线和共同乘法因子。
我们的实施例用来导出任何中间分级的方程为:
gp=LOG(PB_H/PB_D;2.71)/LOG(PB_H/PB_L;2.71)
gt=POWER(g, gp) [方程1]。
熟练的读者可以验证,这允许计算用于任何输入Y_HDR的所需的输出Y_L,因为合成共同乘法因子可以一方面基于接收侧或者图像使用侧的固定比值gp(取决于我们需要在其上再现的显示器,我们此时假设其典型地将是消费者处所的单一显示器)并且另一方面根据可从输入Y_HDR计算的初始g以及当其被接收时用于即LDR与HDR外观上的颜色变换函数的元数据进行确定。如可以通过填充所述值进行验证的,gp在PB_D=PB_H的情况下log(1)=0与PB_D=PB_L的情况下的1之间变化,即,在PB_D=PB_L的情况下,这将使用整个g值,并且在PB_D=PB_H的情况下通过将RGB值乘以1而执行恒等变换。
我们想在这里停留片刻,使得读者已经根据该第一简单实施例设想和理解典型地发生了什么,并且不与绝对不同的事情混淆。一方面,我们具有将像素的输入辉度(相乘地)映射为输出辉度的行为。该行为接收自内容创建者,特别是他的颜色分级者,因为典型地任何接收器都将接收用于确定两幅分级图像(典型地关于相同HDR场景的HDR和LDR外观)的所有所需的信息。因此,接收器可以知道无论什么形式的,但是尤其是保持颜色的色品恒定的同时的输入辉度的乘法形式的这些图像之间的变换(实际上,他典型地已经得到这些函数,因此在任何接收器中将它们用于任何另外的应用将是容易的)。另一方面,由于分级对于在没有和与所述两个分级关联的PB相同的峰值明亮度的显示器上再现可能至少不是完全最优的,接收器可能附加地需要根据所有的该信息计算新的最优MDR中间重分级。这也可能涉及在其上确定乘法因子的指标以及可以类似地变换成乘法gt值的辉度变换函数等等,但是原始分级编码与计算显示调整的MDR图像的这两个因子尽管典型地是相关的,其有时在较小程度上绝对不相同,因此,非常不同的技术设计理念可能导致非常不同的解决方案(即使在一些实施例中,一些部件具有相同的名称,比如例如伽马值)。可以将显示调整看作分级配对上的某种细调,尽管重分级需要多精细和容易视情况而定,但是其后的设计观点之一是,不应当利用为相同的HDR场景实际地创建无数的原始分级打扰分级者(即,人们会希望内容创建者存在于消费者的每一个不同的电视中以便即时地创建艺术上最漂亮的定制图像,但是以尽可能自动的方式,分级者所需的附加工作尽可能少,这同样地取决于情景和他的愿望,即,然而,在那些图像的消费者的高度非线性的视觉系统和图像处理的非常复杂的领域中,不同的实施例至少提供一些所需的控制以达到正确的外观)。
当然,在实践中,无需一直计算这些gp和gt值,但是典型地,由于分级可能例如每拍摄N幅图像就改变,因而可以恰好在需要它们以用于对进来的图像重分级之前构建LUT,其例如针对连接的400尼特显示器应用如图4中的所需的映射函数(并且至少及时地接收元数据,例如提前5幅图像)。
在那种情况下,单元200将查找所需的合成共同乘法因子gt,即例如b800(0.75)。
在原本图像为需要升级为例如6000尼特HDR的LDR图像或者用于中间峰值明亮度的任何重分级图像的情况下,在本实施例中使用稍微不同的相似方程:
gp=LOG(PB_D/PB_L;2.71)/LOG(PB_H/PB_L;2.71)
gt=POWER(g, gp) [方程2]。
缩放乘法器114现在类似于图1中那样执行,但是将三RGB颜色分量乘以gt而不是g,得到希望的颜色外观。
然而,可能分级者对于复杂的场景或者视频图像镜头想要不同的重分级策略,例如更长时间(即针对更多显示峰值明亮度高于LDR 100尼特)保持接近LDR函数形状的策略。他需要以非常简单的方式对此进行规定,以便使用不太多的昂贵分级时间,理想情况下,他确定例如仅仅1个单一参数,即调整参数gpm。
因此,我们的缩放因子确定单元200的一个更高级的实施例应用以下方程:
gpp=POWER(gp, gpm)
gtu = POWER(g, gpp) [方程3]。
如果gpm低于1,那么较低峰值明亮度重分级在其外观(和映射曲线)中表现得更像LDR,并且反之亦然,它们针对高于1的gpm表现得更像HDR,内容创建者或者分级者选择的gpm越高,就越是这样。
图5中图示出该行为。应当再次指出的是,gmp在沿着x轴的(经典)幂感测方向上不起作用(因为表示分级,即场景的所有对象辉度之间的关系的曲线的形状不应当显著地变化,然而,在心理视觉上允许小的变化,比如某个部分稍微增加,因为这些变化相应于主要的希望的辉度/对比度外观修改,小变换的其余部分被大脑中的视觉解释的适应所接受),但是对于Y_HDR值起作用,因此,在Y_L方向上可以这么说。事实上,gpm所做的是朝着LDR分级函数或者相反地朝着HDR单位映射函数拉伸或者压缩曲线族,即确定“所需重分级外观变化的积极性”。
在图5中,选择了等于1.3的gpm值,并且看到共同乘法因子(现在称为调整的共同乘法因子gtu)或者辉度映射的所得到的曲线(503)变得与HDR恒等变换曲线更加相似。类似地,对于例如0.8的因子,所得到的曲线将位于曲线403之上,即更接近LDR外观曲线405。这例如在该场景中存在重要的暗对象的情况下可能是有用的,所述对象例如脸,谨慎的做法是长时间保持它们足够明亮,即直到指示再现显示器足够明亮,例如高于800尼特的时候。
然而,这仍然是一种全局调整(在以下意义上:所有辉度Y_HDR都以仅仅由HDR-LDR辉度转换函数的形状和gpm参数决定的简单相关的方式处理)。我们的策略的一个较大的影响可能来自允许对于输入辉度(以及因此通过映射,还有输出辉度)的不同子区域不同地调整的实施例。例如,如果我们调整曲线403,使得它对于较暗辉度变得更亮(更像LDR),那么它必然对于较亮的辉度也变得更亮(因为为了保持外观,对于任何重分级而言,这些辉度都应当具有高于图像的暗区域的辉度的输出辉度),并且这可能是不适当的亮。例如,明亮外部区域可能失去太多的对比度,并且对于某些关键的场景,分级者可能将它们感知为令人厌烦的褪色。即,他会想要使得场景的较暗部分更明亮并且因此有反差且可见,然而同时保持上面的区域例如接近HDR外观。
该希望的行为利用图7以另一种方式示出。在这里,示出了LDR分级图像中有多少对任何中间MDR分级的外观产生贡献,所述中间MDR分级相应于PB_L与PB_H之间的任何预期的显示峰值明亮度。方程1的默认行为为曲线图701。可以看到,我们将更大的权重给予沿着针对MDR分级中的不同中间峰值明亮度的变化路径的任一分级。例如,曲线702示出了这样的情形,其中MDR分级保持接近LDR分级,直到相对较亮的中间峰值明亮度PB_D,并且仅仅对于最亮的显示器,开始显示HDR外观(在下文的基于使用的指标的解释中,这将相应于标签标记对于不同的PB_D值落下的地方,即例如高达(PB_H+PB_L)/2的那些是否全部落在一起,即接近LDR分级位置PB_L)。是否以及在什么程度上选择这样的曲线将取决于HDR与LDR分级之间的关系,即在这二者之间进行颜色变换的函数。分级者可能做了不同的事情,诸如例如使LDR分级中的较暗部分变亮,对较亮部分软剪切,增大某个中间部分的对比度,对五颜六色的彩色玻璃窗进行某种特定的饱和度处理,等等,但是例如如果存在例如关键的暗区域,那么像702那样的曲线可能被分级者选择,并且它的gpm值在S_im中或者可与S_im关联地传输至不同的接收器。另一方面,曲线703是甚至对于相对较暗的连接的显示器也快速地引入HDR外观的大部分的曲线。
在图6的实例中,分级者指示对在该实例中等于0.43的(亮度或者)辉度值(Lt)划界的优化范畴。在该值Lt以下,他规定了第一gpm值,例如gpm_1=0.3,即对于具有辉度Y_HDR<= Lt的所有输入颜色,如利用图5解释的利用该gpm_1值计算所得到的曲线。在Lt以上,分级者想要转到新的重分级范畴,并且在该实例中,对于较亮的颜色,他想要具有HDR外观。他确定大于1的值,在该实例中为gpm_2=2.0,使得较亮的像素得到相当强烈的HDR外观,其比通常必要的更强烈,但是针对这个实例。在该实例中,代替立即将gpm_2=2.0用于Lt以上的Y_HDR值的是,他规定一种创建平滑过渡区域的插值。这可以以各种不同的方式规定,在该阐述性实例中通过规定过渡范畴的上面的辉度Lt2=0.72以简单的方式规定。在0.72以上,要用于例如创建曲线的LUT的调整的共同乘法因子gtu在该实例中将通过使用gpm_2=2.0或者gpp_R =0.25来确定。在过渡区域中,将使用一种插值策略,其例如通过以下方式实施:首先,计算该过渡的任一侧的将在后面用于确定分别用于暗和亮输入辉度的共同乘法因子gtu的幂值,并且然后通过计算例如下式对过渡区域中的那些辉度插值:
gpp_L=POWER(gp, gpm_1)
gpp_R=POWER(gp, gpm_2)
gpp_i=gpp_L+(Y_HDR-Lt)*(gpp_R-gpp_L)/(Lt2-Lt) [方程4]。
当然,可以使用其他的插值策略,如果分级者希望这样的话。
该gpp_i值然后将用于类似于利用图3所解释的确定用于过渡区域中的每个输入辉度的gtu值(即gtu= POWER(g, gpp_i)),同时在过渡的任一侧,对应的gpp_L或gpp_R值用在关于g的幂函数中,并且利用该公式,可以根据由利用图4所解释的方法得到的曲线403计算像例如603那样的合成曲线,或者在实践中直接计算该合成曲线。与800尼特显示器相应,更简单的曲线402的等效物现在是曲线602,其事实上看起来对于较暗的像素表现得非常像LDR,而对于较亮的像素表现得很像HDR。应当清楚,对于这样的实施例,单元200将得到gt的等效物gtu,否则,对于不同的实施例可能性,一切都可以是相似的。在该实例中,通过事实上对限定它的gpp值插值而对要用于共同乘法的gtu值插值,但是可替换的实施例也可以对gtu值插值,在过渡的任一侧导致本身。典型地,编码者将规定使用哪种方法。例如,他可以指示解码者应当在[Lt1, Lt2]区间任一侧计算gtu值,然后在该区间的缺失点处对该曲线线性插值,并且将此存储为用于对当前图像镜头进行辉度处理的最终LUT。
利用这些实施例,分级者因此可以简单地针对任何甚至复杂的HDR场景编码限定用于本领域中的不同的可能显示器的相当高级的外观重分级策略。在简单的情况下,他只需对一个gpm值编码,因为例如默认情况下,对于这样的情景,上面的值gpm_2可以被任何接收器理解为是固定的1.0。或者,在不打扰分级者的情况下,但是可以肯定没有较不兼容的接收器误解分级者的意图,在分级者仅仅例如设置较低的gpm_1值和阈值Lt的情况下,那么编码器默认填充gpm_2=1.0。在分级者对于高于Lt的辉度仅仅规定gpm_2幂值的情况下,编码器默认对于gpm_1填充1.0。典型地,编码器也可以自动地确定它认为应当看起来良好(至少得到单调递增的MDR分级曲线)的插值策略,,并且分级者可以通过什么都不做接受元数据中的该策略的编码(例如作为Lt值),或者改为重新规定看起来更漂亮的插值策略(如果需要的话,分级者也可以在Lt任一侧细调gpm值)。通常,依照我们的新原理,编纂HDR与LDR分级之间的分级差异的每个共同乘法因子g都可以用于通过限定用于每个输入Y_HDR的适当幂值GP而确定优化的分级,所述幂值GP可以通过以任何方式编纂为元数据的任何曲线以及代替任一侧的例如固定gpm或者gpp值,在Lt2与Lt3之间的输入辉度子范围上的线性或者抛物线演进等等规定,所述曲线例如具有用于当前图像镜头中的有趣明亮度范畴的三个Lt点的曲线,并且然后通过将gtu=POWER(g, GT)用于作为输入的任何Y_HDR并且将该gtu应用到当前处理的像素颜色的任何线性颜色编码计算重分级图像。
因此,如利用图2所解释的,得到不同元数据的任何接收器都可以实现如内容创建侧所规定的显示调整的优化的希望的实施例。总之,需要具有像素颜色的至少一幅分级图像作为实际编码的和传输的图像并且作为起点,例如2000尼特分级(其实际地被传输和接收,例如典型地被MPEG压缩,我们将称为原本图像)。然后,将存在确定至少一个另外的分级(例如LDR,如果原本图像为例如HDR 2000或者5000尼特的话)的函数的定义,其如分级者通过使用不同的可能的全局或局部函数定义的那样准确(我们主要解释了辉度处理方面,它是辉度动态范围重分级的主要方面——即,对于具有至少包括峰值明亮度在内的不同动态范围能力的显示器确定关于场景的另一个外观——但是典型地,也可以涉及颜色变换,比如至少一些图像对象的饱和度处理,以及潜在地甚至色调变化)。该变换可以例如经由至少限定为自定义曲线cc的任意Y_HDR至Y_L映射传送,所述自定义曲线例如限定如何将2000尼特分级变换为理论上对于500或者10000尼特峰值明亮度(参考或目标)显示器或者其附近的值而言最优的分级。然后,如果例如因为一定程度上不同的峰值明亮度显示器存在于接收侧,或者因为用户使用其遥控器控制最大明亮度低于10000尼特的理论最大值(类似于创建一种新的显示器),需要对接收的HDR图像的变换,那么可以存在几个关于如何创建例如用于8000尼特的新的重分级的复杂实施例。更简单的版本可以为大致自动的,并且在一定程度上忽略HDR场景的图像镜头的比色和语义细节,以及更精确地,分级者关于它必须或者将必须说的,即他想要看到对于例如较低明亮度的改变如何发生在沿着辉度轴直到可用峰值明亮度的不同对象的相对明亮度的分布上。不同图像对象明亮度的分布将决定场景的所谓的外观(例如,无论是否是多变的、大多是黑夜的场景,但是仍然传达对于房屋形状的充分一瞥),这尤其归因于内部对象对比度的影响(例如,彩色玻璃窗是彩色的,但是仍然足够比教堂内部明亮),并且典型地将涉及一些需要的优化,因为即使在用于再现特定成像的场景的显示器上存在足够的动态范围,人们典型地也在处理外观族的艺术确定,而不是像在原始捕获的场景本身中那样沿着辉度轴的对象辉度的确切分布(即,例如分级者可能选择使得阳光明媚的外部仅仅比内部亮几个光圈,以便具有对于室外效果的充分仿真,而不是例如5个光圈)。也应当指出的是,艺术创建适当的外貌,并且人类视觉高度复杂,因此人们希望具有这样的技术,其同时合理地简单(否则,它不会被采纳),然而足够强大以便以充分的方式处理至少大多数情景(否则,内容创建者不能满意地使用它),并且这是发明人应当专心的事情。如上面所教导的,分级者可以使用不同的参数以便教导重分级应当如何取决于预期显示器的峰值明亮度所在的区间的至少一侧的分级,即分级曲线如何变换成彼此。利用一个或几个参数,分级者具有对于接收器将如何计算不同的潜在地需要的重分级的快速但是强大的控制。接收器将仅仅把数学运算应用到原本图像的输入颜色上。尽管我们教导了一个对线性RGB像素颜色起作用的务实简单的实施例,技术人员应当理解,我们的原理也可以等效地应用到例如Yu’v’颜色表示上,其中例如uv分量保持恒定,并且Y根据需要或者通过使用像Value V= max(R, G, B)那样的Y相关量进行变换,二者均是可以类似地进行乘法缩放的线性颜色系数的线性组合,等等。也应当指出,我们阐述了基于预期显示器的PB_D的我们的实施例的基本知识,在例如电视供应商具有关于用于HDR效果观赏性改进的更复杂处理——比如例如局部对比度增强等等——的看法的情况下,他可以经必要修改在合成显示调整中使该处理与来自内容创建者的信息协调,所述信息例如辉度映射函数的局部梯度、对象分割信息等等。
图3示出了应用在图像或视频创建和编码侧,例如电影工作室的后期制作室或者广播公司的制作室中或者甚至以其最简单的形式在生活电视制作卡车中等等的我们的技术的一个实例。数据服务器301具有经由输入302供应起始图像Im_src(其典型地为HDR图像,即至少具有高明亮度,例如1000尼特以上要再现的辉度的对象,经常也具有暗对象,尽管在一些实施例中,原始图像可以是某个较低动态范围的图像,其中分级者仍然需要通过利用计算机图形学数学计算例如火球而创建HDR效果,所述火球可以表示为一幅或多幅小图像)或者视频序列的存储装置。非限制性地,可以假设这是例如原始照相机镜头。图像转换器303被布置成将该原始数据转换成例如5000尼特HDR原本图像,其可再现辉度与颜色代码(包括亮度以及编纂颜色的色彩方面的另两个分量)之间的关系由预先选择的、典型地固定的、但是潜在地可变的电光传递函数(EOTF)决定。典型地,内容创建者可以以显示引用方式限定图像,即限定它应当如何在5000尼特参考显示器上显示,并且来自照相机的场景辉度或者等效地颜色坐标的转换典型地将涉及艺术分级,我们称之为主分级M_XDR(例如,可以将20000尼特的灯编码为用于在应用EOTF之后再现5000尼特的代码,并且诸如照相机的相对曝光设置之类的因素于是也不再一定是重要的)。此外,图像转换器303包括被布置成执行希望的任意一组颜色变换以便形成良好的主分级的颜色变换单元304。用于这些变换的参数不必存储,因为从那里开始的系统,即也有接收侧的解码,可以完全从该主分级(其典型地将存储在图像信号S_im中,该图像信号可以依照例如像MPEG_HEVC那样的常规视频编码技术格式化,即主分级是存储为DCT变换的YCbCr分量图像集合的原本图像和例如作为SEI消息的元数据)开始,但是一些实施例也可以存储来自该主分级的一些元数据。其次,依照我们的发明,分级者也将对第二动态范围外观IM_GRAD_LDR,例如用于100尼特显示器的LDR分级,因为该信息是后面的实际显示优化所需的。用于该映射的函数确实需要存储,即颜色变换单元304将把相应的参数(例如gai,cc)写入S_im的元数据中。来自分级者的所需输入可以经由连接至颜色规定用户接口构件330的数据输入331输入,所述构件比如例如键盘,其可以是用于颜色分级的专用控制台。在该示例性实施例中,假设HDR主分级M_XDR作为原本图像与允许在接收侧计算LDR分级的降级函数一起存储或者传输,但是可替换地,也可以将次级分级LDR分级作为原本图像与用于在接收侧重构HDR主分级的至少足够接近的近似的升级函数一起存储/传输,或者中间分级可以用作原本图像,具有获得在编码侧创建的LDR和HDR分级的函数,等等。
在单元104、105、106、102等等中对原本图像的处理再次与利用图2所解释的类似,因为编码器需要为分级者模仿在解码侧实际会发生什么。然而,现在,典型地,不同颜色处理单元的参数(gai,cc,等等)的值通过人类分级者的适当调整输入,但是其他的实施例也可以类似于它如何在图1中发生而从元数据中读取它们,例如在某个分级者可能地在另一时间利用另一个颜色变换单元执行降级的情况下。例如,他可能已经使用了具有限定第二分级的其他数学变换的颜色转换程序,并且中间转换单元可以利用我们的任何实施例的任何组合颜色处理子单元将那些颜色处理转换为近似相等的外观结果处理以便进行HDR-LDR转换或者其他动态范围转换。缩放因子确定单元200典型地可以最初预先装载有等于1的单个gpm。在那种情况下,所述仿真应用方程1或2创建MDR分级。依照我们的实施例中的任何选择的实施例,分级者可以通过在显示输出311上输出相关图像而例如并行地(或者顺序地以便不同地调适其视觉等等)观看三个显示器,即示出在这种情况下为原本图像,也称为主分级的HDR分级的HDR显示器312,示出100尼特LDR分级且典型地为100尼特参考监视器的LDR显示器314,以及用于示出重分级的最优中间分级的适当选择的MDR显示器313。该MDR显示313可以例如在典型地可用的两个分级LDR和HDR的中间附近用对数方式选择。如果分级者例如工作于典型地对于HDR分级标准地使用2000尼特峰值明亮度的格式下,他可以选择具有400尼特(4x 100,并且近似2000/4)的峰值明亮度的MDR显示器。由于优化近似为二阶外观调节,检查是否在例如500或者600尼特MDR显示器上进行不是关键。再者,分级者可以在内容创建时选择使用例如流行的显示器。如果本领域中的大多数显示器具有大约800尼特的峰值明亮度,那么分级者可以选择这样的800尼特MDR显示器(即使他可能为其中将存在更好的显示器的未来对5000尼特母片分级,但是,当然,他目前也会想要他的电影在当前的800尼特显示器上看起来良好)。通常,有利的是在用于MDR显示器的中点附近的某处,因为那是预期需要最大量的重分级的地方。但是,分级者例如也可以也在能够提供一定程度上更有反差的外观的显示器上选择用于检查任何带LDR的外观的关键性的第二LDR显示器,因此,在该情况下,MDR显示器可以例如高于100尼特仅仅一个或者1.5个光圈。在分级者对外观满意的情况下,他可以按下“完成”按钮。在该实例中,这可以例如经由图像输出320将信号S_im(即原本图像和用于降级的元数据)和先前的实例中的gpm值1.0,但是在更高级的实施例中,将更高级的MDR分级优化数据存储在像例如蓝光光盘(BD)那样的存储器产品321上。技术人员应当理解,类似地,可以将数据例如存储在服务器上以便以后通过例如互联网提供,或者实时地广播,等等。在更高级的实施例中,分级者可以使用应用例如函数503作为起点的MDR分级的计算。然后,他可以进一步分级以便获得对该简单重分级原理改进的精确的第三外观(即,他将再次使用原始分级编码技术的至少一些工具,但是可以从达到第三原始分级的显示调整的MDR重分级而不是主分级以及要传送至某个接收器的一组颜色变换函数开始)。例如,他可以确定镜头的图像的区域,并且向其应用另一自定义曲线以便特别地处理这些子区域/对象。这可以用在例如黑暗中的脸是关键的情况下,简单的重分级函数使得它是合理的,从而像眼睛和脸部表情那样的一切东西都可以很好地感知,但是现在相当挑剔的分级者仍然不满足(在所有的努力领域中,一些人可能不那么挑剔,其他人甚至非常挑剔)。就周围环境——例如黑暗街道——而言,选择的简单重分级函数可能对于例如500尼特导致良好的MDR分级,因为那些周围环境观看起来不那么挑剔,但是分级者可能想要使得脸更健康并且应用某个另外的函数。用于该第三(部分)分级的元数据然后也可以作为一个或多个函数存储在蓝光光盘上,或者作为附加的元数据传输,等等。可以涉及一个或多个信号格式化单元310以便以所需的格式格式化所有数据。例如,为了驱动显示器,可以使用另一种编码,其遵循显示连接的有限带宽,而不是用于存储在例如BD上,在这种情况下,格式化的高动态范围图像SF_X2DR可以依照任何HDR编码方案进行编码,但是优选地,所述方案为这样的方案,其中原本图像由元数据补充,该元数据编纂用于根据原本图像计算第二动态范围图像的颜色变换,这两幅图像用于具有显著不同的动态范围——即典型地至少相差2倍——的显示器。在该实例中,已经假设辉度处理管道(实施为102)包含到典型的LDR格式的映射(比如单元112执行的逆709),但是MDR显示器可以具有格式化单元310可以满足其需要的另一种源格式等等。这不是我们的新颖教导的主导部分应当为技术人员所清楚,并且将不进一步详述。
图8描述了优化原理如何可以起作用以便类似于上面解释的辉度处理,获得用于驱动中间峰值明亮度的MDR显示器的像素颜色的正确颜色饱和度。在一些实施例中,人们可能宁愿进行优化的辉度和饱和度缩放,但是其他的实施例可能仅仅使用辉度缩放。输入颜色具有输入饱和度,或者更精确地说,色度C_in,参见作为白色的零值。存在饱和度的若干定义,例如像在HVC中那样规格化到[0, 1]的饱和度或者像在CIE 1976 uv中那样的其他饱和度,但是它们都具有以下属性:颜色的饱和度通过在像D65那样的预定白色中开始并且在一定距离上延伸的矢量限定。假定在HDR输入图像中具有这样的像素,其具有饱和度Cs并且其将增大到值Cf。这可以通过乘法因子s限定,该因子是与上面描述的初始共同乘法因子g相似的因子。如果LDR比HDR图像更饱和(这例如可能因为由于显示器的较少峰值明亮度能力而引起的再现的图像区域的辉度的每次降低相应于必须通过分级者规定的饱和度处理反向纠正的彩色度的降低),那么有用的是也增大MDR分级的饱和度,但是在更小的程度上,即以一定因子st,该因子是gt的一个实施例。具有饱和度处理能力的设备典型地将具有颜色饱和度处理器106,该处理器不是使用固定饱和度乘数s的简单处理器,而是相反地被布置成提供适当缩放的饱和度。饱和度处理可以在整个辉度上固定,这可以利用单一乘法值s完成,但是仍然需要对于每个连接的MDR显示器,显示优化至最优的值,但是典型地,对于动态范围转换,人们可能想要更复杂的饱和度处理。例如,饱和度可以根据辉度或者Value减去辉度和/或输入饱和度等等变化。然而,重要的是用于每个输入像素的所需的饱和度重分级(即HDR与LDR图像之间)由分级者规定,并且在元数据MET中传送,它可以在接收器处确定并且然后适当地缩放。典型地,颜色饱和度处理器106将具有确定s的某种查找表机制。例如,如果输入颜色(Ri,Gi,Bi)=(0.2,0.3,0.7),那么LUT得到例如s=1.1,或者在去饱和的情况下,例如s=0.5,并且对于另一个输入颜色,可以存在相同或者不同的s值。颜色饱和度处理器106于是包括用于计算合成饱和度乘法因子(st)的单元,该因子是合成共同乘法因子gt的一个实施例,所述单元与单元200相似并且计算st= POWER(s, sp)。对于饱和度而言,比值sp可以稍微不同于针对辉度处理的情况,但是典型地它将仍然取决于PB_D、PB_H和PB_L之间的关系,并且通常,无需使其不同于gp如何计算(但是,当然,可以将不同的gpm值用于饱和度和辉度处理,使得MDR外观的辉度更像例如LDR外观,然而使得饱和度看起来更像HDR图像的饱和度,等等)。如图8中看到的,也可能有意义的是使用通过例如饱和度划界器Lt(其实际上可以是允许将像素颜色分类成两个或更多个不同的类别以用于不同的饱和度处理的任何划界信息)限定的不同饱和度范畴,例如以便规定用于处理低峰值明亮度的重分级中的高明亮度的去饱和区域以及用于增强较暗颜色的彩色度的区域,等等。
有利的是典型地如下执行饱和度处理:
Ro=st*(Rin-Y)+Y
Go=st*(Gin-Y)+Y
Bo=st*(Bin-Y)+Y [方程5]
其中Ri、Gi、Bi为线性输入颜色分量,并且Ro、Go、Bo为饱和度处理之后的合成输出颜色分量,Y为线性辉度,即利用预定常数a、b和c的线性组合a*Ri+b*Gi+c*Bi,但是可以使用其他等效的处理。
图9给出了关于如何可以已经甚至利用我们的最简单的实施例遵循分级者希望的有时复杂的依赖于场景的优化的特点的另一实例,所述实施例仅仅驻留在接收设备中的简单重分级中并且分级者例如不关心就其进行任何进一步检查。对于该实例,我们使用方程1的依赖于对数预期再现显示峰值明亮度的缩放。我们看到,该方法已经可以在场景中需要它们的地方非常好地设置所需的辉度和对比度。例如,在该实例中,一定程度上高于最大值(即白色)——假设其在HDR图像上限定——的60%(线性)的区域典型地在该再现中可能需要某种亮化。另一方面,在该实例中,也存在50%附近的关键图像区域,其可以例如是相对明亮地照亮的场景部分中的演员的脸。另一方面,在该实例中,在图像的较暗区域中,看起来不存在太多令人很感兴趣的对象,因为LDR外观可以承受强烈地软剪切那些较暗区域。这可能是这样的场景,其中在例如阳光普照的风景中具有例如发生很多事情的外部以及可以在艺术上决定相当程度地暗化的某种内部,比如可能是谷仓或者通过小门看见的寺庙的内部,并且因此,由于区域尺寸小的原因,那里有什么不是那么相干,甚至在HDR显示器上的HDR再现中,视觉系统可以快速地将此作为“不感兴趣的黑色”而丢弃,并且因此利用相同的分级理念,分级者可能决定也在LDR中近似地使得它成为被看作黑色的东西(应当指出,我们的方法应当能够在更精确以及不太关键的分级变型中起作用,并且典型地对于更容易和更困难的HDR场景起作用,前者为例如其确切的平均辉度在任何MDR分级中不那么重要的图像的两个空间区域,后者具有例如非常精确的再现要求,比如例如妖怪部分地隐藏在雾中)。重要的属性是,即使利用我们的最简单的实施例,也可以对于所有中间动态范围(MDR)很好地近似得到良好的明亮度外貌以及所有相应的可确定的对比度(即,选择的有意义像素1和2的辉度或者有意义的区域1和2——例如暗角落和通过房间的窗口看到的外部的部分——的平均辉度之间)。在该图9中,曲线909为应用来将5000尼特HDR外观变换成100尼特LDR外观的辉度变换,不变地变换到自身的HDR当然与对角线相应,并且其他曲线为对于要提供优化的外观图像的5000与100尼特之间的不同峰值明亮度的显示器重分级到不同MDR分级所需的变换。
图10示出了我们的实施例所允许的另一个更高级的实例(不管它由人类分级者在内容创建侧(部分地)控制,还是通过特定接收器,例如HDR电视进行的自动重分级)。该实例示出了在具有以简单的方式确定(例如通过分级者并且被传送,或者通过仅仅驻留在接收器中的图像分析单元)为单一辉度(或亮度)划界器Lrc的关于不同图像区域的更多语义信息的情况下如何可以巧妙地重分级。在该实例中,较亮的区域可能非常关键,并且较暗的区域可能难于同时优化(即,对于图像镜头中的整个暗范围的可能的像素辉度维持例如足够的对比度,同时需要辉度范围的足够大的部分用于较低MDR图像以便以足够的视觉质量再现较亮的图像区域),即,可以以特定的方式快速地决定去降低其质量。快速意味着甚至对于接近HDR PB的MDR峰值明亮度(PB),例如如果PB_H=2800尼特并且PB_MDR为2500尼特,那么较低范围完全或者主要地依照模仿LDR 100尼特外观的策略映射。然而,较亮的区域可以在2800与100尼特之间的不同MDR PB上更渐进地朝着LDR外观调整。该策略可以由分级者至少部分地或者作为初始引导策略而确定,但是也可以由接收器本身确定(例如通过否决分级者规定的任何东西,例如他可能对于镜头的图像的较暗和较亮区域二者都规定朝着LDR外观的平滑重分级)。
在利用其中涉及人类分级者,即人类分级者被那些HDR图像通信系统实施例允许对于他的图像的最终再现具有发言权的实施例情景阐述了上面的实例的情况下,可替换地,一种计算机算法也可以用作自动分级者。这可以发生在创建侧,其中该算法可以非实时地进行非常巧妙的图像分析,例如标识区域、特定种类的纹理或者甚至标识对象的类别,比如人类、某些动物、在其金属上具有镜面反射的阳光下的汽车,等等,并且该算法基于关于分级者典型地如何希望对这些种类的场景及其对象分级的统计信息。然而,自动分级单元也可以驻留在接收器中,并且应用编纂比如电视制造商几十年来开发的图像质量知识(并且可能构成其签名外观)的图像增强处理。现在,新的解决方案是将此合并到我们当前的HDR重分级技术中。图11利用比如例如合并到电视或机顶盒或者超市或户外活动等等中提供商业显示的计算机中的接收器的颜色变换单元1130的一个示例性实施例阐述了这点。
视频的图像以及进行自然颜色重分级(例如借助于利用图1解释的对数缩放,利用创建侧人类分级者选择的对于该场景最优的参数以及还有限定例如自定义色调映射曲线的多线性形状的参数P_CC,从作为输入图像Im_in的5000尼特HDR到100尼特LDR)的元数据经由该实例中的图像通信网络1101(比如例如经由互联网连接的视频服务器,或者在移动电话网络上广播或者组播的电视服务)接收。然后,缩放因子确定单元1102应用规定为最优的色调映射规定以便将比如HDR的预期范围一端的外观映射(但是相同的原理原则上也可以用来一定程度上进入范围边界之外)另一范围端参考外观,比如100尼特LDR,并且因此确定进行线性(或者潜在地甚至非线性)RGB缩放的初始缩放因子g_nat。第二缩放因子确定单元1103确定用在当前情形下的最终缩放因子g_fin,但是现在,在该实施例中,该因子可以通过接收设备图像增强知识确定。此外,包括图像分析单元1110,其可以包括各种不同的图像分析单元(其典型地可以是例如各种不同的图像分析软件组件,或者其硬件实现)。在该简单阐述性实例中,描述了直方图分析单元1112和对象识别单元1112。直方图分析单元1112可以被布置成分析图像的辉度分布,并且确定存在例如大量暗像素,或者可能语义上重要的像素是暗的(因为这些单元可以一起工作)。然后,它可以确定例如暗区域的划界器以及预期的亮化策略。对象识别单元1112可以包括例如脸检测器,其可以检测具有不同明亮度的脸,因为演员站在场景的各个不同照射的部分中。根据所有这些知识,策略参数确定单元1113依照我们公开的不同实施例中的哪一个驻留在第二缩放因子确定单元1103中而确定相应的参数(应当指出,一些功能可以驻留在一些设备或系统中的其他部件中,但是我们在功能上描述它)。例如,策略参数确定单元1113传送它想要例如比分级者的自然方法(其可以像应用我们的方程1那么简单,没有来自人类分级者的任何特定重分级信息,或者可以部分地遵循或者大致否决的更高级的策略)更多地亮化场景以及尤其是较暗颜色的一种逻辑方法可以通过规定新的gpm值进行(当然,所述设备的一些实施例也可以限定用于限定原始HDR与LDR分级之间的映射的函数的的新值,例如底部斜率,但是一些实施例可以考虑来自内容提供商的也无需修改的神圣信息,因为其专用外观可以作为后处理实现;如果需要任何函数形状调适,那么至少这可以仅仅针对MDR计算部分实现,例如,代替图19中描述的纯粹乘法缩放的是,电视可以针对最暗值将弯曲应用到合成MDR辉度映射函数,或者任何可替换的函数重定义,例如与电视确定的特定固定或者依赖于图像的函数的校正值相乘)。如果图像分析单元1110例如利用其对最暗区域中的演员的直方图分析和标识确定,依照接收器制造商,最暗部分对于在例如连接的1100尼特显示器上再现自然太暗,那么可以朝着LDR外观稍微升高gpm(因为朝着LDR移动典型地可以具有粗略地并且现在依赖于场景地与亮化相应的行为)。可以传送辉度划界器Ltr1以便仅仅对于HDR辉度的最暗子范围做该策略。存在其中图像分析单元1110可以将其所需重分级的愿望作为第二元数据MET_2传送的其他方式。例如,它可以假装连接的显示器不是1100尼特,而是传送例如1300或者900的PBF值,并且在对数比值计算中类似于PB_D使用该值。或者,它可以已经传送对数比值,并且让单元1103向它应用gpm值,等等。或者,它可以调节PB_H和PB_L值。因此,用于计算最终的g_fin的值与如图像分析单元1110所确定的正确值的任何所需的组合都可以在MET_2中传送至单元1103。除了纯粹分析图像Im_in之外,可能非常有利的是看看分级者将何种机巧置于颜色变换函数的形状中。此外,在一些实施例中,可以包括色调映射分析单元1114,其被布置成分析第一和第二参考外观,即典型地为HDR和LDR之间的总色调映射的函数形状。例如,该单元可以适合三个区域,并且检查对较亮颜色进行了什么(例如软剪切)处理,对中间范围颜色进行了哪种处理(例如对比度增强)以及对暗色进行了哪种处理。如果例如在色调映射中发现快速弯曲,像在图9的实例中那样大约50%的强烈斜坡部分,那么色调映射分析单元1114可以确定那里的划界点Ltr1。该信息任何可以由单元1113用来确定用于那些中间色调的巧妙重分级,其依照接收器制造商的偏好优化对比度,然而考虑到关于分级者的分级规定中存在的关于场景的语义知识并且在不同的实施例中至少一定程度上与分级者的该重分级意图保持一致,因为这些实施例将重分级应用于如g_nat中所编纂的原始重分级意图。
应当指出,在该较简单的实例中,我们假设不存在指示来自分级者的对于重分级的特定愿望的另外的元数据参数(例如gmp值),然而,如果分级者在输入信号S_im中规定了这样的元数据,也可以将其传送至单元1110。该单元然后可以例如通过在小的公差内,例如在5%或者10%内,或者仅仅在辉度范围的有限子范围上改变gpm值而好好满足这个愿望,例如,仅仅改变10%的最暗颜色的外观,同时保持内容创建分级者对于较亮颜色的原始愿望,或者可替换地甚至完全忽略分级者的gpm值,并且确定其自己的用于单元1103的gpm值。
一些更高级的实施例也可以允许观看者具有关于最终外观的发言权。典型地,经由到遥控器1122的输入连接1121以及经由用户接口1120,他可以给出一些简单的重分级命令。例如,他可以具有亮化图像的5点尺度。这可以作为信号b_rel = {-2, -1, 0, 1, 2}传送,其可以由单元1113转换为例如10%最暗颜色上的一定数量光圈的明亮度增加,以及最终一个或多个gpm值和可能地一个或多个划界器(Ltr1, Ltr2)以进行相应的亮化,这将为观看者创建适当的外观。任何这样的联系可以通过不同的接收器实施例形成,例如-1可以相应于PB_D的10%增加,作为PBF值传送,等等。
上面已经阐述了利用当前的实施例如何可以确定与明亮度的重要视觉参数相关的重分级,并且利用图12,我们将简化地阐述如何可以利用我们的不同实施例在图像语义上确定最终的MDR再现外观的不同对比度变化。动态范围或者确切地说对比度比值是一个简单的概念:图像中的最暗颜色对最亮颜色。心理视觉相关的对比度是一个更复杂的参数。它仍然可以利用我们的上面描述的图像自适应实施例相对简单地确定。典型地,场景中的最终对比度可以根据两个因素粗略地估计:对象内对比度,其决定对象的纹理如何很好地可见(例如脸部表情或者该脸的粗糙度或者木材表面的颗粒);以及特别是在涉及高对比度比值的图像时,对象间对比度。在许多HDR场景中,可能仅仅存在一些、经常只有2个不同地照亮的区域。例如,室内平均辉度与室外。或者,平均夜间街道辉度与几盏灯的辉度。在HDR中,可能存在不同的这样的平均辉度子范围,因为例如5000尼特显示器的辉度范围足够大。例如,可能存在若干不同的白色,例如室内的纸白色、灯附近的白色以及灯本身的甚至更亮的白色以及可能地甚至更亮的灯。在LDR中,不是所有这些不同明亮度区域都可以忠实地映射。实际上,传统LDR编码非常适合编码相对于白色的所有颜色,或者类似地,相关的18%中间灰度(一方面不管我们在噪声和/或代码量化方面有多深都结束,但是另一方面,适应的视觉系统将看作黑色,例如白色的5%线性以下),但是不适合于这么多的不同照射的区域。对于一些图像而言,分级者可能针对LDR外观必须选择将所有不同的白色区域剪切为相同LDR白色(R=G-B=255),而不是冒着一些灯将看起来为灰色的风险。因此,例如,100尼特LDR监视器上用于室内像素的平均明亮度外貌与感知室外有多明亮(其中该室外可能也需要非常饱和,而不是更亮但是柔和化),即用于那两个区域的对象内对比度之间的平衡根据处理的图像可能是关键的。
图12解释了接收者如何可以平衡这样的区域中的不同对比度以及因而再现的图像的总对比度外貌。曲线1201规定了分级者如何规定获得100尼特LDR图像的色调映射。我们看到对最亮颜色软剪切的区域、其中许多似乎正在发生的中间范围区域,即那里可能存在若干关键对象(比如3个不同地照亮的演员),因为在色调映射曲线的该部分中存在若干关键弯曲点,并且存在用于较暗颜色的优选映射。如果图像分析单元1110确定用于这些重要子区域的两个划界器Ltr1和Ltr2,那么它现在可以提出各种不同的对比度平衡方法。例如,它可以确定对于较亮颜色,曲线1210给出更优的对比度。这可以改变例如晴朗的外部区域的外观,因为现在该子区域的最暗像素可能对于比如1200尼特MDR图像而言比到1200尼特MDR的自然重分级提出的更暗,但是这也可能是接收器制造商所希望的。在该实例中,接收者选择大致忽略用于中间范围的分级的细节(这对于最终再现的外观的质量可能是明智的或者可能不明智,但是取决于应用情景,可以进行或者可以不进行),但是仍然存在某种自适应性,因为接收者提出的色调映射曲线的斜率大约在中间范围部分1211的中途改变。在该实例中,用于最暗像素的对比度比值对于接收者提出的MDR外观与对于分级者提出的LDR外观是相同的,然而,该对比度不同地分布,因为较低部分1212的曲线形状非常不同于分级者的意图(在该实例中,因为理想情况下接收者可能想要至少大致遵循原始形状)。利用这些技术,可以依照接收者在其对进入的图像Im_in的分析之后的愿望优化不同的对象间和对象内的对比度。例如,曲线的上面部分1210(不管这是如分级者所提出的用于1200尼特MDR的结果,还是已经来自单元1110的第一确定的结果)可能没有足够的对比度,即外部看起来太温和。然后,可以确定另一个明亮部分的部分曲线1220,其具有更多对比度比值和更多对比度。这可能意味着中间部分可能需要较少的对比度,但是当然也可以提出一种策略,其将不同的Y_HDR值映射到相同的Y_L值。通过这种方式,可以优化第二对象内对比度C_intR2和第三对象内对比度C_intR3。但是,这也将确定对象间对比度,比如第一对象间对比度C_gl(例如在较亮和较暗子区域的中间点辉度之间限定,或者通过像素出现加权,等等),其相反地也可以主要地通过自身优化,潜在地牺牲一定的对象内对比度,例如C_intR3。
图13示出了用于计算色调映射的一般实施例。信号去格式化器1301获得所有必要的信息。COD_DIR和COD_METR规定使用哪个插值方向(DIR)和指标计算中间显示峰值明亮度的位置(例如如分级者在内容创建侧所规定的),并且我们将假设那些为135度和将在下文中进一步详细解释的基于OETF的指标。色调映射确定单元1302经由元数据输入116获得构建输入图像(比如HDR图像)的辉度与相应的第二分级(LDR)之间的最终色调映射的所有信息。由于我们的方法的第二部分是我们需要建立关于HDR场景的两个典型外观,典型地HDR与例如100尼特LDR外观之间的颜色变换函数。经由输出1308,它可以以适当的形式或者在其他实施例中以一组g乘数提供该辉度映射函数(TMF),但是我们将在这里假设,输入HDR与分级LDR输出辉度之间的函数形状被传送,即我们将假设这只是一个函数,其将被解释为辉度之间的图形图,但是可以用技术例如作为LUT传送。该TMF将是用于缩放因子确定单元(200)的输入,该单元将进行获得MDR图像所需的变换的计算,并且对于每个要处理的像素颜色作为用于乘法的适当gt因子(例如1.53或0.872等等)而提供它。
在我们可以解释细节之前,首先给予读者关于正发生的事情的一些进一步的理解。
图17利用相当简单化的分级实例示出了我们想要利用显示调整实现的东西。我们将数学运算显示为绝对(参考5000尼特)辉度轴上的绝对视图,然而,应当指出,它们已经依照我们的光电传递函数(P-OETF)在知觉上均匀化。因此,在该表示下在代码空间中而不是像其他曲线图中那样在相对辉度空间中是线性的。读者可以近似认为这些轴是对数的,但是该实例中5000尼特的参考显示器的相对[0.0, 1.0]亮度坐标与实际的相应输出之间的确切映射通过(飞利浦EOTF)确定:
Y=Lm*power((rho^v-1)/(rho-1); gam) [方程6]。
在该方程中,v为相对亮度(读者可以将此与LDR信号的亮度——即例如[0, 255]图像值除以255——相比较),我们将假设其为实值数,rho为例如33的常数,gam为常数2.4,Lm在该情景中为图像编码的PB,即5000,并且^和power指示幂函数。应当指出,在我们想要限定终止于其他例如更高PH_H值(或者在该方程中,更高的Lm,例如10000)的EOTF的情况下,那么我们必须通过下式计算另一个rho值:
rho_2 = (33-1)*(PB_H/5000)^(1/gam) +1 [方程7]。
因此,图17的例如x轴上的[0.0, 1.0]中的等距值通过利用上面的方程的计算被转换为实际的辉度。该函数具有以下属性:v值在HDR显示辉度的典型范围上对于非线性人眼而言更均匀,即,可以在概念上将这看作心理明度(lightness)近似。
我们的飞利浦HDR OETF(P-OETF)被限定为该函数的逆:
v= 1/log(rho) * log( 1+ (rho-1) * (Y/Lm)^1/gam ) [方程8]。
现在,如果想要对于比如100尼特显示器进行分级,读者可以在概念上将这看作在5000尼特显示器上显示,但是不创建高于100尼特的任何辉度(这在5000尼特显示器上,而不是在100尼特显示器上是可能的)。用于实现LDR外观(原始分级的)图像的一种可能的(质量相当差,但是对于解释的目的很好的)辉度变换是曲线1702。基本上,我们利用该曲线将直到100尼特的(像Im_in那样的接收的HDR图像的)所有像素辉度再现为与在将输入图像再现于其相应参考显示器上的情况下对它们再现的完全相同,针对所述参考显示器并且典型地在该参考显示器上输入图像被分级,该参考显示器即5000尼特显示器。但是,所有更高的辉度,我们都仅仅剪切为100。
如果要(在理论上)应用辉度变换以便完全从我们已经从颜色分级者接收的已经是5000尼特的Im_in获得5000尼特重分级,那么当然典型地将应用恒等变换1701。现在,如果我们想要针对比如500尼特MDR显示器确定中间重分级,会发生什么。
当然,我们可以剪切500以上的所有辉度,但是这很可能不是我们可以为该显示器做出的最佳重分级,即使我们具有内容创建者限定的这样的差剪切的HDR-LDR辉度变换。我们在HDR Im_in中具有所有最亮的对象纹理的信息,因此对于较高PB_D显示器而言,即如果我们有能力,我们将愿意显示该信息中的一些,不管它是否在与5000尼特再现质量降低的版本中(即较少明亮度增强,不那么印象深的对比度,较少的闪耀和光泽,这取决于HDR场景和图像)。如果认为直到100尼特的所有对象都完美地再现(并且这“意外地”是个有趣的划界点,在此之下,对象应当以相同的辉度再现在所有实际的显示器上),那么一个选项是计算曲线1711。但是,我们也可以应用另一个策略(其将相应于利用另一个指标和/或插值方向和/或用于重分级积极性(gpm, gpr)的细调函数进行计算),其移动其中停止进行相等辉度映射并且开始在最亮HDR对象中挤压至L_kn的点。这将得到用于为PB_D=500尼特的实际显示器生成MDR分级的MDR辉度映射曲线1703。
读者将会理解,我们想要哪种情景以及我们愿意在100尼特以上移动L_kn多远将取决于图像中有什么。如果像广播经常发生的那样不存在太多令人感兴趣的外部,对于其而言,通过窗口所看到的目前典型地已经被剪切或者软剪切,那么人们可以接受较少量的可再现辉度用于那些室外对象(范围R_sm)。这在室内对象辉度不确切地终止于100尼特(这当然可能取决于分级者进行的认真分级)的情况下可能尤其如此,但是例如他需要(在该极端实例中硬剪切)剪切比如桌子上的一些反射对象的一些较亮部分。由于这可能是观看者聚精会神地看的场景的主要部分,可能确实有道理的是如图14中看到的,以通过窗口看到的阳光照射的房屋的颜色的质量为代价,通过将那些对象包括在等辉度(对角线)部分,直到其最大辉度或者至少更接近它而也给予它们漂亮的辉度和纹理对比度。这也在人们对图像没有额外的了解的情况下可能尤其如此(当然,如果分级者规定使用COD_METR和COD_DIR,那么这已经一定程度上传达了人们具有哪种情形,但是假设分级者仅仅产生TMF,并且接收设备必须在更简单的显示调整策略中自主地决定一切,然而其仍然应当给出用于MDR图像的尽可能合理的视觉质量),因为此时人们可以假设很可能将存在几个高于低质量100尼特值的有意义的辉度,由于这是HDR场景,因此,人们不妨通过使得L_kn点稍高于任意的100尼特而划分错误(分级者可能已经在其HDR主分级中满足室内辉度的需要,即令人满意地照亮它们,并且由于使得它们完全适合LDR/HDR框架,将室内分级为适当的辉度不是那么容易,但是并不总是确定他已经在主HDR分级中将室内对象完全置于LDR子范围内)。
然而,在其中分级者知道所有较暗像素区域落入100尼特部分并且在高于100尼特的部分中的某处存在重要的纹理——其需要最大对比度或者最大量的可能可用亮度代码和辉度(用于任意辉度映射函数)——的可替换情景中,分级者可能想要对于所有MDR重分级将L_kn保持在100尼特处。因此,读者理解,如果希望的话,可以使得显示调整(也称为可调整性)是简单的,但是人们可能喜欢用于也在更困难的情况下,然而仍然以对于可能需要确定所有因子和参数的分级者而言尽可能简单的方式允许复杂的HDR场景和图像的一些附加的技术手段。
现在,如果我们想要看看在特定显示器,比如PB_D=500尼特显示器的参考帧中发生了什么,我们可以从图17中的图中仅仅截取延伸至Y_out=500尼特的部分。该表示的最大值于是为可以在500尼特显示器上再现的最大值,即应当通过将最大亮度代码v=1.0提供给它而完成的。因此,为了清楚起见忽略我们置于图中的尼特标签,可以将图17的重分级规定看作亮度代码空间中的规定,即使虽然在输入轴上,可以很好地读取等距亮度代码,当然,在该表示中的y轴上,v=1.0将对于具有不同PB_D的不同显示器落在不同的高度(读者可以为了理解起见假设在5000尼特显示器上全部模拟了这些不同的显示器,其因此根据模拟的显示器的PB_D能力必须在某个亮度vx处停止再现)。
图18示出了相同的示例性变换,但是现在在这样的轴系统上,根据该系统,我们可以从与视频信号S_im关联的元数据中接收的HDR-LDR颜色变换规定开始,开始导出所需的HDR-MDR辉度变换函数。水平轴相同,因为这些是我们的5000尼特Im_in的可能的像素辉度。垂直轴应当再次在利用我们的P-OETF在知觉上均匀化的尺度,即在零与值L1之间确定重分级的MDR像素颜色的相对辉度(或者换言之,其相应的亮度代码)。对于100尼特分级而言,与最大亮度代码,例如10比特下的1023或者12比特下的4095,相应的该L1值将是100尼特。我们再次看到,对于直到100尼特的HDR辉度,依照分级者,它们应当以与5000尼特图像所规定的完全相同的辉度再现在100尼特LDR显示器上,并且在那以上,LDR分级将一切剪切为PB_L=100尼特。
我们也看到,在该表示下,为了在LDR显示器上对于暗灰度得到与HDR显示器上相同的再现的辉度,需要增大LDR图片的亮度(其在该图中也可以在与v=1.0相应的L1与0之间均匀地读取),即,我们需要与相对HDR值(在这里,在示为对角线的“错误的”100尼特轴上,因为它们需要终止于5000尼特的轴以便知道什么与输入图像或者通过进行恒等变换而在理论上计算的输出图像的最大亮度相应)相比,按角度b增大暗斜率或增益。现在,我们如何针对Im_in的任何Y_in导出用于最小值与最大值之间的相对驱动的所需的MDR映射曲线1803(最小和最大亮度现在对于该PB_D=500尼特显示器分别相应于0和500尼特,这在图的右边示为Y_out_MDR),即该Y_out_MDR。我们绘出与对角线(HDR5000-HDR5000映射1701)正交的线,并且在其上放置指标(1850)。该指标将具有无辉度变化或者“0”与“完全”变化(或者“1”)之间的值,得到LDR分级。现在,我们可以在该指标上定位与任何PB_D相应的位置M_PB_D(参见下文的计算实例)。在我们想要外观看起来(对于具有PB_D的该实际显示器,但是特别关键的场景,其在从PB_L=100尼特向上移动PB_D时需要更长时间地看起来更多LDR)更像LDR的情况下,我们可以例如利用如下文所描述的实施例确定另一个点M_PB_U。就其外观,即其HDR能力而言,可以将“中途”点看作与这样的显示器相应,该显示器就其PB_D而言(非线性地)大约在PB_H和PB_L参考显示器之间的中途。现在,假定弯曲点PBE在该实例中由于有限的PB_L 100尼特值的原因实际上并不简单地像剪切开始的地方,而是分级中的特殊关键点(其可能通过至少一个参数(元数据中的参数,其规定来自分级者的LDR和HDR原始分级的颜色变换关系)传送,例如它在Y_in轴上的0.0与1.0之间的相对位置及其在Y_out_LDR轴上的高度)。现在,我们看到,在该旋转插值版本中,该语义上重要的点不必停留在与垂直插值实施例相同的Y_in位置,而是可以移动一定偏移量dp,这使得该特定方式的显示调整对于某些情景而言是优雅的(它可能例如对于在LDR分级中将低于HDR辉度L_Hb的黑色剪切为0的HDR-LDR函数也是有用的)。
在图19中,在旋转的框架下示出了如何可以导出完整的MDR辉度变换函数1803,该函数用于从限定LDR分级的函数(1802)开始获得MDR图像。技术人员应当清楚方向插值单元(1312)如何可以计算与Y-in坐标相应的新延伸x坐标rc以及如何可以旋转函数。该函数可以保持在例如临时存储器中。现在,我们需要确定乘法缩放值S,例如0.63(定义将如下),并且这将给出MDR曲线的所需的点。作为一个实例,我们示出了弯曲点如何移到新位置(M_PB_D,如果将指标置于那里的话),但是所有其他的点,无论函数的形状如何,都按照相同的乘法原理改变。因此,如果采取延伸的坐标rc并且相应的LDR辉度映射函数为FR_L(rc),那么用于HDR-MDR颜色变换函数的所需值将确定为FR_M(rc)=S*FR_L(rc)。其后,该曲线再次旋转,使得我们得到图18框架下的值,并且这些值可以再次置于存储器中。逐像素处理实际所需的是增益值,因此缩放因子确定单元(200)的实施例典型地将为所有可能的Y_in值存储gt值的LUT(或者事实上,在我们的优选实施例中,我们使用RGBmax值,但是它们在0.0与1.0之间相似地变化)。
这些gt值的计算可以通过对于所有输入值都将用于待服务PB_D显示器的计算的MDR辉度变换函数的高度与对角线的高度相比较,并且然后通过如图16中所示将这两者相除获得乘法值来完成。
现在,图20示出了如何限定用于获得缩放因子S的性能良好的指标。
假定我们想要导出用于例如PB_D=500尼特的显示器的MDR图像(以及确定在具有输入图像辉度或亮度值时所需的亮度值的函数)。我们需要缩放驱动值,以便得到相对于用于LDR的驱动曲线正确的所有对象辉度。因此,我们在该SDR辉度映射函数2002的典型地总是100尼特的框架下引用一切(因为这是传统的标准化的值,但是事情在将来可能变化,并且我们的技术原理将保持相同)。现在,假定我们想要例如对于所有三种显示器(HDR、LDR和MDR)都保持较暗的明亮度看起来相同,我们必须在多大程度上向下,然后朝着与HDR分级相应的对角线或者朝着水平输入轴移动点P1或P2,以便在MDR曲线上得到正确的点P3。
由于需要在右边的500轴上读取该MDR曲线,我们将引入下列数学方程:
A = P_OETF(Lm/PB_L , PB_L)
B = P_OETF(Lm/PB_D, PB_D) [方程9]。
这些是我们上面限定的对数伽马HDR OETF函数,但是现在不终止于5000尼特,而是终止于逗号之后的第二值,例如PB_L=100尼特(典型地)。
即,这生成具有对于例如100尼特停止于1.0处的延伸的坐标的知觉轴,其是该图的y轴。Lm在该情景中是Im_in的5000尼特值,但是对于其他的主HDR编码可以不同。
图23以另一种方式示出了基本转换尺度因子(A, B)的物理意义。我们也可以将P_OETF看作重新规格化的函数,其不终止于1,而是转到例如5.0(然后,由于这仅仅是最大值的乘法,如果需要比值的话,可以在规格化到1的版本中实现相同效果)。因此,我们需要变换HDR-LDR分级辉度映射曲线2303,以便得到适当的MDR曲线。这不应当是曲线2304,因为这仅仅将LDR分级应用到较亮PB_D显示器,这将给出太亮的外观。为了等外观(即对于任何MDR显示器以及HDR和LDR参考显示器上的那些例如10%的最暗颜色具有相同的再现的辉度)缩放图像中的较暗辉度将得到用于新规格化版本(即1.0相应于例如500尼特)的知觉轴的与根据白色(1.0)确定该值相同的拉伸因子。在这里,我们现在不以规格化到1.0的相对轴系统,而是以5000尼特参考辉度轴上的绝对量示出我们的颜色变换的行为。为了自然地(仅仅应用LDR曲线,不考虑较高的PB_D)变换100尼特辉度(例如白色)——纯粹关于轴重新规格化,因此尚未考虑分级者规定的辉度变换曲线的任何细节,或者像gpr那样的关于辉度插值的任何控制参数——我们必须将颜色2301增强到它的5000尼特等效物(即尚未考虑巧妙重分级的适当的反向动作)。
即,我们必须在P-OETF知觉化y轴上确定利用哪个量拉伸矢量。如果百尼特与1.0相应,那么通过乘以比如1.7找到值2302。如果我们读取曲线的500尼特引用表示,即其中500尼特与最大可能亮度(1.0)相应的表示上的点,那么可以做相同的事情。如果将该辉度变换为5000尼特表示的版本,那么得到比如1.3的B因子。现在,我们实际感兴趣的是如何将针对LDR分级,即在100尼特系统(例如,500尼特的输入HDR辉度应当LDR再现为30尼特)中确定的颜色2305变换到500尼特显示器的参考系统中。例如,如果我们不改变从所述变换产生的值,那么对500尼特(其是图18中的右侧轴Y_out_MDR)的新引用中的那些值将意味着什么。
可以看到,将y值2305乘以S^-1以获得值2306相应于将它乘以A/B。但是,这不会给出相等外观,因为此时一切只是在线性尺度上变得5倍亮,并且在知觉化尺度上为X倍。因此,为了保持相等外观约束,应当将值2305乘以S=B/A(以便在从LDR驱动曲线开始时具有正确缩放的MDR驱动曲线,但是现在在其中500nite为1.0最大亮度或相对辉度的轴系统中引用,这不得到点曲线2304,而是将为希望的MDR分级曲线,但是现在在500轴中而不是其原始100尼特y轴中解释的曲线2303)。由于所有这些都是相对乘法操作,因而可以假装所有这些都发生在其中1.0相应于100尼特的轴系统中进行这些操作,但是如果需要实际的再现的辉度,那么在Y_out_MDR轴上读取它。
因此,当在垂直方向上朝着x轴缩放时,将得到尺度因子S=B/A。
重要的是无论PB_D值如何,都可以限定尺度因子(如果希望的话,甚至可以外推),并且因此可以形成指标。
如果我们的目标显示器为PB_D=PB_H=5000(=Lm),那么需要达到HDR分级的P4点(恒等变换),即当从乘法的观点看它时,需要为该输入(x轴上的HDR Im_in辉度50)缩放LDR值,对于该分级,同样通过尺度S=C/A缩放左边LDR y轴上的A=50尼特,其中C=P_OETF(Lm/PB_H,5000)。可以看到,由于这将得到用于光辉度输入(规格化的)1.0的v值,并且假设该对角线HDR分级使得所有辉度给出相等的辉度(即对于HDR分级获得5000尼特中的亮度1.0,将相应地得到用于线上所有其他点的正确值,即也用于该例如50尼特的值,其正好是要进行颜色变换的输入点处的HDR_5000尼特尺度[未示出]的矢量大小)。
现在,可以在数学上证明,如果想要在对角线上,更特别地在135度下插值,那么缩放函数变成SS= [(B-1)/(B+1) / (A-1)/(A+1)]。
也可以像我们在图18中所做的那样将HDR辉度点P4与LDR辉度点P1之间的线上的指标位置与此关联。这将相应于指标偏移,或者一般而言延伸的坐标MS,其在垂直实施例中可以表述为Y_MDR= Y_HDR+MS*(Y_LDR-Y_HDR)。再者,在一般情形下,这样的坐标MS将在针对PB_D=PB_H的MS=0,即需要与HDR分级相同的MDR分级时与需要LDR分级时的1.0之间延伸。
就像该简单的阐述一样,读者可以理解,如果具有根据作为输入的HDR分级限定LDR分级的一般TMF函数2001,那么将适用相同的变换方案。
因此,在我们的图13的构建示意图中,方向插值单元(1312)将旋转接收的函数(做相应的数学,例如对于图19的输入轴获得旋转的值的LUT),确定适当的缩放因子SS,如上面所解释的在旋转的框架下计算与MDR重分级相应的函数,并且重新旋转到其中Y_in轴为水平的框架。因此,此时例如在LUT中具有用于输入值Y_in的函数值Y_out_MDR。然后,共同乘数确定单元(1311)将该函数转换为gt乘数 的相应集合(LUT),因为我们的典型颜色变换框架将如解释的对这些乘数起作用。
到目前为止,我们描述了不可知道颜色变换函数如何被限定以及特别是被参数化的实施例。上面的处理可以对任何函数值起作用,并且我们将它们解释成就像它们是纯粹的LUT。
然而,在分级者限定函数的方式中可能存在有趣的语义信息。例如,他可能限定多分段辉度处理函数,较低分段用于处理较暗颜色,例如室内颜色,并且第二较高分段规定对于较亮分段,例如室外颜色应当做什么。该辉度变换行为可以通过例如参数Lt传送至接收器,该参数此时也是室外与室内辉度之间的划界器。许多可替换的参数化理念是可能的。可能需要至少对于某些类型的HDR图像、至少在一些MDR分级中移动该阈值的辉度位置(例如代替想要保持室内颜色在所有显示器上看起来相同的是,分级者可以决定使用HDR显示器的较高能力中的一点,比如高于1500尼特,以便也在一定程度上亮化那些室内颜色)。既沿着x轴又沿着y轴的移动可能是有利的。它完全取决于图像中存在哪些颜色以及分级者想要哪些外观对比度等等。
我们将给出用于阐述一个可能的参数实施例的一个有意义的实例。
图21示出了我们置于基本工具包中的有趣的HDR-LDR辉度变换策略的一个实例,该策略限定我们的HDR外观束编码技术(这将相应于单元111的自定义曲线的特定实施例,但是代替作为LUT传送的是,我们将该函数作为5个参数传送)。现在,我们在该曲线图上示出了规格化的(例如10比特)亮度,以及与它相对的顶部的用于5000尼特HDR输入图像的相应辉度,以及紧挨在右边的可以根据HDR输入图像计算的MDR 500尼特输出图像的辉度,现在移除了100尼特细节(其在上文中用于容易地解释我们的构思)。
分级者再一次地规定HDR-LDR(即100尼特)曲线2100,但是现在利用该特定函数公式。它包含决定最暗的颜色在LDR分级图像上看起来多亮的暗增益(斜率dg)。这是重要的,因为如果在HDR场景中,存在像灯那样的在HDR亮度中仍然忠实地捕获的非常明亮的对象,那么相同场景的阴影区域可能深深地落在规格化轴上,并且因此可能需要在LDR分级中相当程度地增强以便仍然能够看出那里发生着什么。该暗范畴终止于点2101处。对于最亮的颜色,存在具有高亮增益hg的相似线性分段。在中间,存在宽度与线性部分的端点相应的抛物线分段。这可以控制居间的灰色对象的对比度。
现在,我们看到,参数上传送的特殊点在MDR辉度变换曲线2103上具有变化的位置。可以使用方向DIR以及尤其是所述指标计算这些变化的位置。
midx=(1-hg)/(dg-hg)
然后,计算具有坐标newMidx和newMidY的新中点Pm2:
x0=midx; x1= dg*midx; y0=dg*midx; y1=midx
m=(y1-y0)/(x1-x0)
b=(x1*y0-x0*y1)/(x1-x0)
newMidx= ((x1-x0)/2)*(1-SS) + x0
newMidy=m*newMidx+b
由此,可以计算抛物线区域的新宽度以及因此线性分段的两个终止点:
newWidth=(1-P-OETF(SS, PB_H) )*old_width
其中old_width为如分级者所确定的该曲线的参数,即抛物线分段的宽度,即来自非对称或者对称地投影到两侧的宽度,线性分段从所述两侧的继续部分在所谓的中点相遇。此时,当然,也可以计算新的暗增益和高亮增益:
newGg= newMidy/newMidx
nwHg= max((newMidy-1)/(newMidx-1),0)
读者可以理解,可以设计用于其他情景的辉度变换函数的其他参数或者有意义的点的重新计算策略。
知道如何进行这些基本的计算(简单的实施例可以应用这些计算,所述实施例大体不知道图像细节和分级者的愿望,然而仍然需要为可用的显示器产生合理的MDR重分级图像),我们现在给出关于分级者如何可以通过结合再多一些适于当前HDR场景的细节的技术控制参数对此变化的几个更明确的实施例。
图22示出了如何可以对于特定HDR场景或者图像镜头立即编码哪个MS值将相应于哪个可用PB_D。根据上文应当理解的是,对于我们的MDR辉度映射(或者一般而言颜色变换)推导而言,首先需要将点M_PB_U置于所述指标上(即0.0与1.0之间或者甚至该范围之外以便外推)的手段,这可以利用规格化坐标MS完成。然后,根据该值,可以将用于执行HDR-LDR(或者在像模式2那样的其他情景中,LDR-HDR)颜色变换的无论什么形状的辉度映射函数转换成计算MDR图像所需的函数。现在,如果具有例如作为LUT传送的显式的指标位置确定函数(2201)或者简单的方程,那么原则上甚至不需要基本的指标定义。可能有利的是,分级者可以以容易的方式确定这样的函数,例如可以使用幂定律,对于该幂定律而言,分级者可以通过例如转动旋钮改变幂。此时,他会在他的MDR显示器上立即看到图像的总外观如何变化或者专注于关键区域,比如例如黑暗中的妖怪,他想要其在合理程度上可见,以便确保它将在观看者的处所的所有其他实际显示器上类似合理地可见。
但是,当具有良好的指标时,也可以设计如利用图15所示的细调变型。在这里,m_MT_norm_in是用于我们的特定选择的指标的MS值,即,它将再次在0.0与1.0之间运行。因此,我们可以计算用于PB_D峰值明亮度的特定显示器的值。如果分级者没有规定任何东西,那么作为输出的合成m_MT_norm将相同,并且像在上面解释的任何实施例中那样的标准自动显示调整将适用。然而,分级者可以规定优选地平滑地偏离该形状并且终止与0.0和1.0坐标的函数。例如,他可以设计幂函数,其幂参数gpr决定如图所示,甚至对于非常高PB_D的显示器(即m_MT_norm_in接近0),MDR重分级应当看起来例如多强烈地像LDR分级,或者相反的情况(如通过以dgr偏移的合成M_PB_U点的位置看到的)。他甚至可以明确规定复杂的函数,这些函数对于特定峰值明亮度以上的显示器可以具有例如不同的行为,所述行为可以通过第二参数gptt或者例如限定曲线的线性较低部分等等的甚至更多的参数编纂。
因此,读者应当理解,我们的技术可以采用若干指标(例如粗略地相应于相等的明度步阶的若干相对相似的OETF定义,或者对分级的这样的明度行为建模的其他函数),以及还有若干插值方向,以及确定它们的若干方式。例如,在简单设备中,它可能固定在硬件中,并且通过在例如处理器上执行计算而这样确定,并且更复杂的实施例可以例如在接收自内容创建侧的来自人类分级者的、典型地作为一个或者几个容易的参数的传送的控制原理下,例如按电源中的画面镜头(或者甚至对于图像的部分,例如,较低的明亮度可以利用一个指标或者甚至一个方向插值,并且较高的明亮度利用另一个指标插值,并且根据场景,在所有插值的颜色投影的地方,可能不这样挑剔)例如在MDR计算策略之间切换,但是,所述控制原理确实对于MDR图像的外观具有主要的影响。
本文中公开的算法组件可以(全部地或者部分地)在实践中实现为硬件(例如专用IC的部分)或者实现为运行在专用数字信号处理器或者通用处理器等等上的软件。存储器产品可以例如为诸如蓝光光盘或者固态记忆棒之类的便携式存储器,但是也可以是例如异地服务器中的存储器,视频或者图像可以从该异地服务器下载到使用该视频或者图像的远程位置。
技术人员根据我们的介绍应当可理解哪些部件可以是可选的改进并且可以与其他部件组合地实现,以及(可选的)方法步骤如何与设备的各构件相应以及相反的情况。在本申请中,措词“设备”在其最广泛的意义上使用,即允许实现特定目的的一组构件,并且因此可以例如为IC(的小电路部分)或者专用电器(例如具有显示器的电器)或者联网的系统的部分等等。“布置”也预期在最广泛的意义上使用,因此它可以除别的以外还包括单个设备,设备的部分,协作设备(的部分)的集合等等。
计算机程序产品外延应当被理解为涵盖命令集合的任何物理实现,这些命令在将命令输入到处理器中的一系列加载步骤(其可以包括中间转换步骤,例如翻译成中间语言和最终的处理器语言)之后使得通用或专用处理器能够执行发明的任何特有功能。特别地,计算机程序产品可以实现为诸如例如盘或带之类的载体上的数据、存储器中存在的数据、经由网络连接(有线的或者无线的)行进的数据,或者纸上的程序代码。除了程序代码之外,程序所需的特性数据也可以实施为计算机程序产品。
方法操作所需的一些步骤可能已经存在于处理器的功能中,而不是在计算机程序产品中描述,例如数据输入和输出步骤。
应当指出的是,上述实施例说明了而不是限制了本发明。在技术人员可以容易地实现权利要求书的给出的实例到其他区域的映射的情况下,我们为了简洁起见没有深入地提及所有这些选项。除了如在权利要求书中组合的本发明的元件的组合之外,这些元件的其他组合也是可能的。元件的任何组合可以在单个专用元件中实现。
在权利要求中,括号之间的任何附图标记并不预期用于限制该权利要求。措词“包括/包含”并没有排除存在权利要求中未列出的元件或方面。元件之前的措词“一”或“一个”并没有排除存在多个这样的元件。

Claims (13)

1.一种颜色变换设备(201),从具有与第一图像峰值明亮度(PB_IM1)相应的最大亮度代码的输入图像(Im_in)的像素的输入颜色(R, G, B)开始,计算用于具有显示峰值明亮度(PB_D)的显示器的输出图像(IM_MDR)的像素的合成颜色(R2, G2, B2),所述第一图像峰值明亮度不同于显示峰值明亮度,特征在于,所述颜色变换设备包括:
- 颜色变换确定单元(102),被布置成根据经由元数据输入(116)接收的颜色处理规定数据(MET_1)确定颜色变换(TMF;g),所述颜色处理规定数据(MET_1)包括用于至少一定范围的像素辉度的至少一个色调映射函数(CC),所述颜色变换规定了具有与其最大亮度代码相应的第二图像峰值明亮度(PB_IM2)的图像(IM_GRAD_LXDR)的至少一些像素颜色的计算,所述第二图像峰值明亮度不同于显示峰值明亮度(PB_D)和第一图像峰值明亮度(PB_IM1),并且由此第一图像峰值明亮度除以第二图像峰值明亮度大于2或者小于1/2;
- 缩放因子确定单元(200),被布置成通过包括以下单元而确定合成共同乘法因子(gt):
- 能力指标确定单元(1303),被布置成确定用于定位显示峰值明亮度在第一图像峰值明亮度(PB_IM1)与第二图像峰值明亮度(PB_IM2)之间以及在该范围之外的位置的指标;以及
- 合成乘数确定单元(1310),被布置成根据显示峰值明亮度(PB_D)、所述指标和颜色变换确定合成共同乘法因子(gt),并且其中所述颜色变换设备(201)进一步包括:
- 缩放乘法器(114),被布置成将输入颜色的线性RGB颜色表示乘以合成共同乘法因子(gt)。
2.如权利要求1所述的颜色变换设备(201),进一步包括被布置成确定关于输入颜色的辉度轴的方向(DIR)的方向确定单元(1304),并且其中缩放因子确定单元(200)包括被布置成根据输入图像(Im_in)的像素的辉度通过沿着方向(DIR)定位所述指标而确定用于输出图像(IM_MDR)的像素的辉度。
3.如权利要求2所述的颜色变换设备(201),其中缩放因子确定单元(200)进一步被布置成根据第二颜色处理规定数据(MET_2)获得调整参数(gpr;gpm),并且被布置成计算与所述指标上的不同位置相应的合成共同乘法因子(gt),该不同位置不同于用于显示峰值明亮度(PB_D)的位置,所述不同位置基于调整参数的值。
4.如权利要求3所述的颜色变换设备(201),其中缩放因子确定单元(200)被布置成通过应用单调函数确定所述不同位置,所述函数根据位于最小值(mn_gpr)与最大值(mx_gpr)之间的至少一个输入参数(gpr)给出指标上的规格化位置作为输出。
5.如权利要求1-4中任一项所述的颜色变换设备(201),其中缩放因子确定单元(200)进一步被布置成获得区分输入图像的像素颜色的第一辉度范围和第二辉度范围的至少一个辉度值(Lt,Ltr1),并且其中该缩放因子确定单元(200)被布置成对于第一和第二辉度范围中的至少一个计算合成共同乘法因子(gt)。
6.如权利要求1-4中任一项所述的颜色变换设备(201),包括图像分析单元(1110),该单元被布置成分析输入图像(Im_in)中的对象的颜色,并且据此确定用于作为要用在合成共同乘法因子(gt)的计算中的调整参数(gpm)以及显示器的峰值明亮度(PB_D)的参数中的至少一个的值。
7.一种用于创建高动态范围图像(Im_src)的编码的系统,包括:
- 输入,用于接收高动态范围图像(Im_src);
- 图像转换器(303),被布置成将高动态范围图像(Im_src)转换成高动态范围图像(Im_src)的主分级(M_XDR);
- 如上面的颜色变换设备权利要求中的任何一项所述的颜色变换设备(201),被布置成从作为主分级(M_XDR)的输入图像(Im_in)的像素的输入颜色开始,通过应用颜色变换(TMF;g)计算第二分级图像(M_X2DR)的像素的合成颜色;
- 该颜色变换设备被布置成获得至少一个参数(gpm)并且使用该参数和颜色变换计算与峰值明亮度相应的第二图像(IM_MDR),该峰值明亮度不同于与主分级(M_XDR)相应的峰值明亮度以及与第二分级图像(M_X2DR)相应的峰值明亮度;
- 信号格式化单元(310),被布置成将第二分级图像(M_X2DR)和主分级(M_XDR)一起转换成适合于图像存储和/或传输并且包括主分级(M_XDR)的像素颜色数据、对颜色变换编码的元数据以及所述至少一个参数(gpm)的格式化的高动态范围图像(SF_X2DR);以及
- 图像输出,用于输出格式化的高动态范围图像(SF_X2DR)。
8.一种如权利要求7所述的用于创建高动态范围图像的编码的系统,包括允许人类分级者规定所述至少一个参数(gpm)的用户接口(330)以及用于连接具有显示峰值明亮度(PB_D)的显示器(313)的图像输出。
9.一种用于确定要再现的颜色的系统(1130),包括如权利要求3所述的颜色变换设备(201)以及用于输入至少一个用户规定的参数的用户接口(1120),所述参数改变要由颜色变换设备使用的所述指标、所述调整参数(gpr;gpm)、所述方向(DIR)或者显示峰值明亮度(PB_D)中的至少一个。
10.一种从输入图像(Im_in)的像素的线性三分量输入颜色(R, G, B)开始,计算用于具有显示峰值明亮度(PB_D)的显示器的输出图像(IM_MDR)的像素的合成颜色(R2, G2,B2)的方法,所述输入图像具有与不同于显示峰值明亮度的第一图像峰值明亮度(PB_IM1)相应的最大亮度代码,该方法包括:
- 根据包括用于至少一定范围的像素辉度的至少一个色调映射函数(CC)的颜色处理规定数据(MET_1)确定颜色变换(TMF;g),所述颜色变换规定了具有与其最大亮度代码相应的第二图像峰值明亮度(PB_IM2)的图像(IM_GRAD_LXDR)的至少一些像素颜色的计算,所述第二图像峰值明亮度不同于显示峰值明亮度(PB_D)和第一图像峰值明亮度(PB_IM1),并且由此第一图像峰值明亮度除以第二图像峰值明亮度大于1.5或者小于1/1.5;
- 通过执行以下步骤而确定合成共同乘法因子(gt):
- 确定用于定位显示峰值明亮度在第一图像峰值明亮度(PB_IM1)与第二图像峰值明亮度(PB_IM2)之间以及在该范围之外的位置的指标;以及
- 根据显示峰值明亮度(PB_D)、所述指标和颜色变换确定合成共同乘法因子(gt);并且
- 所述方法进一步包括将线性三分量输入颜色(R, G, B)乘以合成共同乘法因子(gt)以获得合成颜色(R2, G2, B2)。
11.如权利要求10所述的方法,进一步包括确定关于输入颜色(R, G, B)的辉度轴的方向(DIR),并且其中所述确定合成共同乘法因子(gt)包括根据输入图像(Im_in)的像素的辉度通过沿着方向(DIR)定位所述指标而确定用于输出图像(IM_MDR)的像素的辉度。
12.如权利要求10或11所述的方法,进一步包括根据第二颜色处理规定数据(MET_2)获得调整参数(gpr; gpm),以及计算与所述指标上的不同位置相应的合成共同乘法因子(gt),该不同位置不同于用于显示峰值明亮度(PB_D)的位置,所述不同位置基于调整参数的值。
13.如权利要求10或11所述的方法,包括获得区分输入图像的像素颜色的第一辉度范围和第二辉度范围的至少一个辉度值(Lt, Ltr1),以及对于第一和第二辉度范围中的至少一个计算合成共同乘法因子(gt)。
CN201580067637.5A 2014-12-11 2015-09-02 针对特定显示器优化高动态范围图像 Active CN107111980B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14197360 2014-12-11
EP14197360.2 2014-12-11
US201562121028P 2015-02-26 2015-02-26
US62/121028 2015-02-26
PCT/EP2015/069980 WO2016091406A1 (en) 2014-12-11 2015-09-02 Optimizing high dynamic range images for particular displays

Publications (2)

Publication Number Publication Date
CN107111980A CN107111980A (zh) 2017-08-29
CN107111980B true CN107111980B (zh) 2021-03-09

Family

ID=52023318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580067637.5A Active CN107111980B (zh) 2014-12-11 2015-09-02 针对特定显示器优化高动态范围图像

Country Status (8)

Country Link
US (1) US10366672B2 (zh)
EP (1) EP3231174B1 (zh)
JP (1) JP6619813B2 (zh)
CN (1) CN107111980B (zh)
MX (1) MX2017007451A (zh)
PL (1) PL3231174T3 (zh)
RU (1) RU2687267C2 (zh)
WO (1) WO2016091406A1 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2667034C2 (ru) 2014-05-28 2018-09-13 Конинклейке Филипс Н.В. Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
RU2707728C2 (ru) * 2015-01-09 2019-11-28 Конинклейке Филипс Н.В. Обработка изображения с изменением степени яркости при постоянстве цвета
JP6729548B2 (ja) * 2015-02-27 2020-07-22 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR102049481B1 (ko) * 2015-08-19 2019-11-27 삼성전자주식회사 이미지 변환을 수행하는 전자 장치 및 이의 방법
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
CN108431886B (zh) 2015-12-21 2021-07-20 皇家飞利浦有限公司 针对特定显示器优化高动态范围图像
MX2018011332A (es) * 2016-03-18 2019-01-31 Koninklijke Philips Nv Codificacion y decodificacion de videos de alto intervalo dinamico (hdr).
JP2018006877A (ja) * 2016-06-28 2018-01-11 シャープ株式会社 映像伝送装置、表示装置、映像表示システム、映像配信装置、映像配信システム、映像送受信システム、プログラム、記録媒体、および映像伝送方法
JP2018013696A (ja) * 2016-07-22 2018-01-25 キヤノン株式会社 画像処理装置および表示装置
CN111667418A (zh) * 2016-08-22 2020-09-15 华为技术有限公司 用于图像处理的方法和装置
TWI661720B (zh) * 2016-10-05 2019-06-01 日商夏普股份有限公司 用於傳訊視訊參數之系統及方法
JP6855205B2 (ja) * 2016-10-06 2021-04-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像処理方法
KR102554379B1 (ko) * 2016-10-31 2023-07-11 엘지디스플레이 주식회사 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
JP2018085008A (ja) * 2016-11-25 2018-05-31 株式会社ジャパンディスプレイ 画像処理装置および画像処理装置の画像処理方法
WO2018131704A1 (ja) * 2017-01-16 2018-07-19 ソニー株式会社 ビデオ処理装置、ビデオ処理方法およびプログラム
DK3559901T3 (da) * 2017-02-15 2020-08-31 Dolby Laboratories Licensing Corp Tonekurveafbildning for billeder med højt dynamikområde
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
US11301972B2 (en) * 2017-03-03 2022-04-12 Dolby Laboratories Licensing Corporation Color saturation adjustment in non-uniform color space
EP3566203B1 (en) 2017-03-20 2021-06-16 Dolby Laboratories Licensing Corporation Perceptually preserving scene-referred contrasts and chromaticities
CN106971695B (zh) * 2017-03-27 2019-04-30 武汉华星光电技术有限公司 Rgbw液晶显示装置的亮度调节方法及装置
CN108694030B (zh) * 2017-04-11 2020-07-28 华为技术有限公司 处理高动态范围图像的方法和装置
EP3399497A1 (en) 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
EP3418972A1 (en) 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
US11100888B2 (en) 2017-06-28 2021-08-24 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping
US11252401B2 (en) 2017-08-07 2022-02-15 Dolby Laboratories Licensing Corporation Optically communicating display metadata
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
EP3451677A1 (en) * 2017-09-05 2019-03-06 Koninklijke Philips N.V. Graphics-safe hdr image luminance re-grading
US10856040B2 (en) * 2017-10-31 2020-12-01 Avago Technologies International Sales Pte. Limited Video rendering system
JP7074461B2 (ja) * 2017-11-22 2022-05-24 インターデジタル ヴイシー ホールディングス, インコーポレイテッド ディスプレイ適合hdr画像を再構成する方法およびデバイス
EP3496028A1 (en) * 2017-12-08 2019-06-12 Koninklijke Philips N.V. Improved high dynamic range video color remapping
AU2018271424A1 (en) * 2017-12-13 2019-06-27 Playable Pty Ltd System and Method for Algorithmic Editing of Video Content
EP3503019A1 (en) * 2017-12-21 2019-06-26 Thomson Licensing Improved inverse tone mapping method and corresponding device
CN109982007B (zh) * 2017-12-27 2021-11-19 联发科技股份有限公司 应用在机顶盒的格式转换电路及相关的方法
EP3525463A1 (en) * 2018-02-13 2019-08-14 Koninklijke Philips N.V. System for handling multiple hdr video formats
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
WO2020061172A1 (en) * 2018-09-19 2020-03-26 Dolby Laboratories Licensing Corporation Automatic display management metadata generation for gaming and/or sdr+ contents
KR20220002977A (ko) * 2019-04-23 2022-01-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들에 대한 디스플레이 관리
CN113994196A (zh) 2019-06-26 2022-01-28 豪夫迈·罗氏有限公司 确定体液中分析物的浓度的方法和配置为用于确定体液中分析物的浓度的移动装置
US11405582B2 (en) * 2019-06-28 2022-08-02 Meta Platforms, Inc. Preprocessing of high-dynamic-range video using a hybrid lookup table scheme
CN110445986B (zh) * 2019-07-30 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11710220B2 (en) * 2019-09-23 2023-07-25 Intel Corporation Compressing dynamic range in images using darkness gamma transfer function
EP3839876A1 (en) 2019-12-20 2021-06-23 Fondation B-COM Method for converting an image and corresponding device
CN111462115A (zh) * 2020-04-27 2020-07-28 上海联影医疗科技有限公司 医学图像显示方法、装置和计算机设备
RU2753382C1 (ru) * 2020-09-30 2021-08-13 Федеральное государственное автономное образовательное учреждение высшего образования "Белгородский государственный национальный исследовательский университет" (НИУ "БелГУ") Способ передачи информации с использованием ультрафиолетового диапазона
CN112614471B (zh) * 2020-12-24 2022-04-22 上海立可芯半导体科技有限公司 色调映射方法及系统
EP4086842A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Content-optimized ambient light hdr video adaptation
EP4086841A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Display-optimized ambient light hdr video adaptation
EP4086844A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Display-optimized hdr video contrast adaptation
EP4086843A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Display-optimized hdr video contrast adaptation
CN113191986B (zh) * 2021-05-28 2022-09-30 浙江大华技术股份有限公司 一种图像处理方法及装置
TWI774459B (zh) * 2021-07-05 2022-08-11 緯創資通股份有限公司 亮度調整方法及其相關顯示系統
CN113643651B (zh) * 2021-07-13 2022-08-09 深圳市洲明科技股份有限公司 一种图像增强方法、装置、计算机设备和存储介质
CN115797237A (zh) * 2021-09-10 2023-03-14 北京字跳网络技术有限公司 一种图像处理方法及装置
EP4187480A1 (en) 2021-11-26 2023-05-31 Koninklijke Philips N.V. Optimizing the displaying of hdr images
US11412156B1 (en) 2021-11-29 2022-08-09 Unity Technologies Sf Increasing dynamic range of a virtual production display

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263772B2 (ja) * 1994-06-09 2002-03-11 三菱電機株式会社 映像表示装置
JP4687320B2 (ja) * 2005-08-11 2011-05-25 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
JP5275122B2 (ja) * 2008-05-30 2013-08-28 パナソニック株式会社 ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置
US8363131B2 (en) * 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
WO2012142506A1 (en) * 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
CN103891294B (zh) * 2011-04-28 2017-09-01 皇家飞利浦有限公司 用于hdr图像编码和解码的装置与方法
CA2850037C (en) * 2011-09-27 2022-10-04 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
ES2737993T3 (es) * 2012-03-26 2020-01-17 Koninklijke Philips Nv Aparatos y métodos basados en región de brillo para codificación y decodificación de imágenes HDR
EP2873237B1 (en) * 2012-07-13 2022-03-30 Koninklijke Philips N.V. Improved hdr image decoding methods and devices
EP2836983B1 (en) * 2012-10-08 2017-07-12 Koninklijke Philips N.V. Luminance changing image processing with color constraints
CN105379263B (zh) * 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备

Also Published As

Publication number Publication date
RU2017123794A3 (zh) 2019-01-11
RU2687267C2 (ru) 2019-05-13
JP6619813B2 (ja) 2019-12-11
JP2018505582A (ja) 2018-02-22
US20170330529A1 (en) 2017-11-16
WO2016091406A1 (en) 2016-06-16
EP3231174B1 (en) 2020-08-26
EP3231174A1 (en) 2017-10-18
CN107111980A (zh) 2017-08-29
RU2017123794A (ru) 2019-01-11
US10366672B2 (en) 2019-07-30
MX2017007451A (es) 2017-08-10
PL3231174T3 (pl) 2021-03-08

Similar Documents

Publication Publication Date Title
CN107111980B (zh) 针对特定显示器优化高动态范围图像
US11195492B2 (en) Optimizing high dynamic range images for particular displays
JP7343629B2 (ja) Hdr画像をエンコードする方法及び装置
CN108431886B (zh) 针对特定显示器优化高动态范围图像
JP6596125B2 (ja) Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
JP6615251B2 (ja) Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
CN107211079B (zh) 用于图像和视频的动态范围编码
US11151962B2 (en) Graphics-safe HDR image luminance re-grading
US11741873B2 (en) Adjustment of display optimization behaviour for HDR images
KR20200145843A (ko) Hdr 이미지 인코딩 방법 및 장치
BR112017002313B1 (pt) Codificador para codificar um vídeo de entrada de alto alcance dinâmico, método para codificar um vídeo de entrada de alto alcance dinâmico, decodificador de vídeo para decodificar um vídeo de alto alcance dinâmico, decodificador de vídeo para decodificar um conjunto de imagens de vídeo de alto alcance dinâmico e método de decodificação de vídeo de um conjunto de imagens de vídeo de alto alcance dinâmico

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant