CN105684412B - 用于扩展动态范围图像的引导颜色分级 - Google Patents

用于扩展动态范围图像的引导颜色分级 Download PDF

Info

Publication number
CN105684412B
CN105684412B CN201480057786.9A CN201480057786A CN105684412B CN 105684412 B CN105684412 B CN 105684412B CN 201480057786 A CN201480057786 A CN 201480057786A CN 105684412 B CN105684412 B CN 105684412B
Authority
CN
China
Prior art keywords
image
color
classified
dynamic range
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480057786.9A
Other languages
English (en)
Other versions
CN105684412A (zh
Inventor
徐宁
陈涛
J·E·克兰肖
S·N·胡亚勒卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN201611239959.6A priority Critical patent/CN106713697B/zh
Publication of CN105684412A publication Critical patent/CN105684412A/zh
Application granted granted Critical
Publication of CN105684412B publication Critical patent/CN105684412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052—Matching two or more picture signal generators or two or more picture reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40006—Compensating for the effects of ageing, i.e. changes over time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Threshing Machine Elements (AREA)

Abstract

公开了用于颜色分级的新型方法和系统。可以通过与诸如标准动态范围图像的其它图像的颜色分级有关的信息来引导用于视觉动态范围图像的颜色分级处理。

Description

用于扩展动态范围图像的引导颜色分级
相关申请的交叉参考
本申请要求2013年10月22日提交的美国临时专利申请No.61/894,382的优选权的权益，其在此通过引用被全文并入。
技术领域
本公开涉及视频与图像的颜色分级(color grading)。本发明尤其涉及用于扩展动态范围的引导颜色分级。
附图说明
被并入并构成本说明书一部分的附图示意了本公开的一个或多个实施例，而且与示例性实施例的描述一起，用于解释本公开的原理及实施方式。
图1示意了SDR引导的VDR分级系统的一个实施例的概述。
图2示出了空间对齐的一个实施例的概述。
图3示出了自动重新录制(re-mastering)的一个实施例的主要步骤的概述。
图4示意了根据本发明一个实施例的逆色调映射和色域的实例。
图5示意了根据本发明一个实施例的操控特殊区域的一个实例。
图6描绘了用于实施本公开的一个实施例的目标硬件的示例性实施例。
发明内容
在本公开的第一方面描述了一种用于执行颜色分级的方法，该方法包括：由计算机提供未分级图像；由计算机提供经颜色分级的较低动态范围图像；以及由计算机基于所述经颜色分级的较低动态范围图像对所述未分级图像进行颜色分级，从而获得较高动态范围的颜色分级图像。
在本公开的第二方面描述了一种用于执行颜色分级的方法，该方法包括：由计算机提供未分级图像；由计算机提供经颜色分级的较低动态范围图像；由计算机向所述经颜色分级的较低动态范围图像应用逆色调和色域映射变换，从而获得逆映射的较低动态范围图像；由计算机基于所述未分级图像提供较高动态范围编辑；以及由计算机基于所述较高动态范围编辑和所述逆映射的较低动态范围图像向所述未分级图像应用颜色变换，从而获得较高动态范围的主图像。
在本公开的第三方面描述了一种用于执行颜色分级的方法，该方法包括：由计算机从未分级图像中去除至少一个第一特殊操控区域，从而获得至少一个第一特殊操控区域和第一剩余数据；由计算机从经颜色分级的较低动态范围图像中去除至少一个第二特殊操控区域，从而获得第二剩余数据；由计算机基于所述第一和第二剩余数据估计全局颜色变换，其中所述全局颜色变换包括使所述未分级图像与所述经颜色分级的较低动态范围图像之间的差别最小化；由计算机处理所述至少一个第一特殊操控区域，从而获得至少一个经处理的特殊区域；由计算机估计至少一个局部区域的局部颜色变换；以及由计算机基于所述至少一个经处理的特殊区域组合所述全局颜色变换和所述局部颜色变换。
具体实施方式
在此使用的术语‘动态范围’(DR)可涉及人类视觉系统(HVS)感知图像中的强度范围(例如，照度，亮度)，例如从最深的黑暗到最亮的明亮，的能力。在这种意义上，DR涉及‘场景相关的(scene-referred)’强度。DR也可涉及显示设备充分地或近似地渲染(render)特定宽度的强度范围的能力。在这种意义上，DR涉及‘显示相关的(display-referred)’强度。除非明确规定有特殊意义，以在此中在本说明书中任意点处具有特定含义，否则应该认为该术语可以例如可互换地用于任何一种意义。
在此使用的术语高动态范围(HDR)涉及跨越大约14-15数量级的HVS的DR宽度。例如，具有基本上正常视力(例如，在统计学的、生物统计的或眼科的意义中的一种或多种上)的适应性良好的人(well-adapted human)具有跨越大约15个数量级的强度范围。适应的人(adapted human)可感知几个光子的微弱光源。还有，这些人可感知在沙漠、海洋或雪地上正午太阳的接近极度耀眼的强度(或者甚至瞥向太阳，但很短暂以防止伤害)。但是，这种跨度对于‘适应的’人是可用的，例如，其HVS具有用于进行复位和调整的时段的那些人。
相比之下，人可同时感知强度范围中的广阔宽度的DR相对于HDR可能有些截短。在此使用的术语‘视觉动态范围’(VDR)可涉及可由HVS同时感知的DR。在此使用的VDR可涉及跨越5-6个数量级的DR，然而，并不意在局限动态范围的任何跨度，而是VDR可以更窄或等于HDR。
直到近来，显示器都具有比HDR或VDR窄得多的DR。使用典型的阴极射线管(CRT)、具有恒定的荧光白背光源的液晶显示器(LCD)、或等离子屏幕技术的电视(TV)和计算机监视器设备在它们的DR渲染能力上被局限为近似3个数量级。这种常规显示器由此代表了相对于VDR和HDR的低动态范围(LDR)或者标准动态范围(SDR)。数字影院系统表现出一些与其它显示设备相同的局限性。在本申请中，“视觉动态范围(VDR)”意欲指比LDR或SDR宽，而可比HDR窄或者与之相等的任何扩展动态范围。SDR图像可以是，例如48个尼特(nit)的胶片内容，或100个尼特的蓝光内容。VDR也可被互换地表达为EDR(增强动态范围)。一般而言，本公开的方法涉及任何高于SDR的动态范围。
数字影院的底层技术上的进步将使得未来的数字影院系统能够在当今的数字影院系统所渲染的同一内容上渲染各种质量特性有显著改进的图像和视频内容。例如，未来的数字影院系统能够有比常规数字影院系统的SDR/LDR更高的DR(例如，VDR)，以及比常规数字影院系统的色域更大的色域。
在此以及下文中，通过“信号”，物理电信号在此意指例如数字比特流，以表示与图像处理相关的图像或参数。这种信号(或图像)处理可能引入图像质量中的损失，其中一个原因是在处理中分别在发射端和接收端使用的输入信号之间的差别。
本公开描述了用于基于同一素材的原始数据与标准动态范围(SDR)级别，产生经视觉动态范围(VDR)分级的视频的系统和方法。关于“分级”，在此意指颜色分级，或者用于改变和/或增强视频或图像的颜色的处理。
关于“原始数据”，在此意指尚未颜色分级的视频或图像。
具体而言，本公开描述了通过考虑之前分级的SDR版本将原始(未分级)内容颜色分级为VDR视频序列的系统和方法。
本领域技术人员理解，如果一种方法是由计算机执行而且该执行的每一细节均没有人为监管，则该方法可被称为自动的。相比之下，手动处理(hand pass)也是由计算机执行的，但它包括一些直接的、现场的人为监管，其可能指导、检查或以另外方式引导计算机的操作。
本公开的系统和方法可用于例如：SDR图像与原始(未分级)图像之间的自动时间和空间对齐；逆色调映射；估计颜色变换以及二次颜色分级；自动重新录制(re-mastering)。这里所列出的可能的应用并不打算作为对可能的用途的限制。
在本公开的实施例中，颜色重新分级包含一次颜色分级和二次颜色分级，以及允许视频或图像的特殊操控区域。一次和二次颜色分级过程的含义是本领域技术人员会理解的。
VDR内容的创建通常可包括通过调色师(colorist)编辑原始镜头片段(footages)以被颜色分级到VDR范围，以反映导演的意图，同时在高动态范围显示器上监视得到的VDR原版(master)。VDR范围可指例如，包括0.005尼特到10,000尼特的亮度范围。然后，得到的VDR原版一般地可通过剪辑处理(trim pass)被归档和映射为不同版本(不同的动态范围和色域)，该剪辑处理与常规的颜色分级处理相比要相对划算些(从计算方面讲)。然而，从经剪辑的原始镜头片段到VDR原版的颜色分级步骤一般仍然花费许多精力和时间。
对于经历VDR工作流程的一个新胶片而言，原始镜头片段的颜色分级可能是后期制作中的一个必要步骤。然而，对于现有的已经被颜色分级为一个或多个SDR版本而非VDR版本的胶片而言，有可能利用如本公开所述的，用于将原图像的颜色分级加速为VDR原版的系统和方法。
在若干实施例中，SDR版本不仅提供关于时间和空间编辑决策的指导，而且提供关于如何执行颜色校正的指导。
图1示意了SDR引导的VDR分级系统的一个实施例的概述。未分级原(原始)图像或视频(105)可经历自动的空间和/或时间对齐(110)，以及随后的手动剪辑处理(115)和自动重新录制(120)。对应于原始图像(105)的分级SDR图像(125)可以在步骤(110)和(120)中使用。
在获得VDR原版图像(135)之前，下一步骤可包括用于颜色分级(130)的手动剪辑处理。
图1中，未分级原件(105)可指不同版本的未分级素材，包括胶片扫描、数码中间片、原始相机数据等等，而分级SDR图像(125)可指不同的标准动态范围(SDR)版本，例如48尼特的P3影院版本，或100尼特的Rec709蓝光碟片版本。图1的方法可以是基于逐个场景的。
在若干实施例中，对于分级SDR(125)中的每个场景而言，在未分级原始素材(105)中的对应场景是已知的。
在步骤(110)中，可以对原始图像(105)应用自动的空间上和时间上对齐，以便获得与分级SDR(125)空间上和时间上对齐的对齐内容的未分级原版本。
换言之，可以找到时间切割位置和摇摄与扫描(pan-&-scan)盒，使得对齐的原图像与分级的SDR图像逐个像素匹配。
可以为该空间上和时间上对齐步骤提供手动剪辑处理(115)。步骤(115)可以服务于多个目的，例如导演可能想剪切在空间和时间上与SDR场景不同的VDR场景，而且步骤(115)可以为此目的提供所需的灵活性。在另一实例中，手动剪辑处理(115)可以提供质量控制步骤，使得在进入自动重新录制步骤(120)之前可以纠正自动对齐(110)中出现的任何差错。
在步骤(115)之后，通过自动重新录制步骤(120)将空间和时间内容颜色分级到VDR范围，分级意图与分级SDR版本中相同。这里可能需要手动剪辑处理(130)以获得导演的批准，因为自动重新录制(120)结果可能需要被精调以满足导演的意图。
上述过程可以是基于场景的，一个场景可包括一个帧或若干帧。在空间/时间对齐(110)和自动重新录制(120)的每个步骤中，如果一个场景内的帧之间有差别，则图1的方法可以退回成基于帧的。
自动空间上和时间上对齐
下面将更详细描述步骤(110)的示例性实施例。
在若干实施例中，给定分级SDR中的一个场景，可先执行时间对齐。如果帧速率(frame rate)没有变化，该方法可包括找到对应于分级SDR内容中的一帧的未分级原件中的一帧。如果帧速率不同，可能找出多于一个对应帧是有利的，从该多于一个对应帧可能能够确定未分级原件与分级SDR内容之间的帧速率比。
为了获得更健壮的结果，在这两种情形中，即帧速率有变化的情形和帧速率无变化的情形，可能更有利的是在分级SDR场景中选择多个候选帧，并且找出它们在未分级原件中的对应帧。可能需要运动分析以确定场景中是否有静态帧，并去除重复帧，使得可以为候选帧找到一对一映射。
对于时间对齐而言，基于元数据的方法能以降低的相对复杂度应对某些情形，其中在将要对齐的两个帧序列之间不存在大量的空间和颜色变化。
在由于未分级原件和分级SDR帧之间存在大量的空间(例如，由于裁剪)和颜色差别(例如，由于分级)而复杂度增大的情形中，可能需要基于对空间和时间变换不变的特征应用更为健壮的方法。
具体而言，在本公开的若干实施例中，可从分级SDR图像中的每个被选择的候选帧中提取不变的特征点。利用相同的方法，可以从未分级原件的每个非重复帧中提取特征点。检测图像内的不变特征点是计算机视觉中的共同任务。在例如Mikolajczy等人的Acomparison of affine region detectors,IJCV 65(l/2):43-72,2005中描述了检测方法的比较，其在此通过引用被全文并入。
本领域技术人员将理解，可以使用许多不同方法用于特征点检测。在检测局部特征点之后，可以使用多个不同描述符来特征化局部区域，即提取它们的区别特征，包括使用尺度不变特征变换(SIFT)，梯度位置和取向直方图(GLOH)，加速鲁棒特征(SURF)等等。在例如Lowe.Distinctive image features from scale-invariant keypoints,IJCV,60(2):91-110,2004年11月中描述了SIFT，其通过引用被全文并入。在Mikolajczyk等人的Aperformance evaluation of local descriptors.In PAMI 27(10):1615-1630,2004描述了GLOH，其通过引用被全文并入。在Bay等人的SURF:Speeded Up Robust Features,ECCV,pp.404-417,2008中描述了SURF，其通过引用被全文并入。
如果从两个不同图像中提取了两组描述符，可以基于描述符的相似性计算匹配。因此，可能能够为分级SDR中的每个被选择帧找出未分级原件中的最佳匹配帧。该过程可以在其它方向上进行，即选择未分级原件中的候选帧并找到它们在分级SDR中的最佳匹配。
在找出最佳一对一匹配之后，可以对时间偏移进行估计。例如在Fischler等人的Random sample consensus:A paradigm for model fitting with applications toimage analysis and automated cartography.CACM,24(6):381-395,1981年6月中描述的随机抽样一致性(RANSAC)(其通过引用被全文并入)可用于估计未分级原件与分级SDR之间的时间偏移连同帧速率比。RANSAC可提供健壮的结果，只要存在一定百分比的真正匹配，误差匹配是随机的。
在一些实施例中，使用RANSAC来估计时间偏移和帧比的方法包括以下步骤：
随机挑选两对对应帧，S1,S2和U1,U2，其中分级SDR中的帧S1,S2分别与未分级原件中的帧U1,U2匹配。如果(U1-U2)*(S1-S2)<＝0，重复步骤i；
估计时间偏移和帧比，其中时间偏移等于S1-U1，而帧比等于(U2-U1)/(S2-S1)；
对于所有的对应帧编号对，检查有多少个帧编号与在步骤ii中计算的模型具有一致性，记录最大的一致性率以及其对应的偏移和比；
如果上述步骤重复了一定次数，则结束该过程并输出最好的偏移、比以及S1的锚定位置，否则从步骤i开始重复。
在未分级原件与分级SDR被时间对齐后，可进行空间对齐。通过将匹配帧的提取特征点匹配并估计这两个帧之间的空间变换可以执行空间对齐。可能需要这个步骤，因为在许多情况下，从原图像到分级SDR图像可能存在分辨率变化以及摇摄和扫描。例如，原件可能具有4K分辨率，而分级SDR可能是1080p。
本领域技术人员理解，如果空间变换在场景内是时间不变的话，与上述应用RANSAC方法相似的方式，也可应用其它方法来从整个场景的匹配特征点的坐标获得参量空间变换模型。在一些实施例中，在未分级原件与分级的SDR图像之间可以估计6个参数的仿射(affine)变换。
图2示出了空间对齐的一个实施例的概述。原内容(210)和分级SDR内容(205)经受特征检测步骤(215)。特征描述符(220)可以被提取，随后被匹配(225)。例如利用RANSAC(230)执行变换估计，以便找到最优的空间变换(235)。
在一些情形中，摇摄和扫描处理在一个场景内可能是时间变化的。在此情况下，可以逐帧估计空间变换，从所估计的帧式空间变换也可对摇摄和扫描的时间变化进行建模。
在内容被时间及空间上对齐后，现在能够获得仅相对于分级SDR具有颜色差别的对齐内容。该对齐内容于是能够有助于自动重新录制步骤，使得分级SDR中的颜色可用于引导未分级原件中的颜色分级。
在执行了自动对齐之后，可能需要用于对齐的手动剪辑处理。手动剪辑处理能够纠正自动对齐中的任何可能的错误，而且还允许对VDR图像使用不同的编辑决策，使得VDR分级图像可以在空间和时间上均不同于SDR版本。在此情况下，自动VDR重新录制可仍然使用对齐内容来帮助估计颜色变换，并且应用估计的变换到原件的编辑的VDR版本以获得VDR原版。
自动重新录制
自动重新录制(例如120)的一个底层概念是所有原始信息在未分级的原件中都是可用的，分级的SDR可以提供一种关于在目标显示器是SDR显示器时如何执行颜色校正的途径。虽然SDR和VDR显示器可能具有不同的动态范围和色域，但对于3D色域范围内的那些颜色，导演的意图都可以保持一样。在分级的SDR图像由于其受限的动态范围和色域而具有丢色(color clipping)的情况下，可以从未分级原件中恢复丢失的信息。另一种可能的优势是当SDR与VDR之间存在不同的编辑决策时，同一导演的意图可以被应用于新内容。例如，VDR图像可能具有不同的编辑以更好地讲述故事，或者具有不同的剪裁或空间格式。
在一些实施例中，给定关于目标VDR原版的动态范围和色域的信息，先对分级的SDR应用逆色调映射和色域映射。在映射步骤之后，可以在未分级原件与逆映射结果之间对颜色变换进行建模，其中由于修剪，被修剪区域将变成估计的变换的离群值(outlier)。建模的颜色变换于是可应用回未分级原件以获得重新录制结果。
图3示出了对于SDR内容为100尼特的Rec709版本并且输出VDR内容为4000尼特的P3版本的特殊情形，自动重新录制的一个实施例的主要步骤的概述。
提供分级SDR图像，100尼特的Rec709(305)。对图像(305)应用逆色调映射和色域映射(310)，从而获得逆映射的图像(315)。
未分级原图像(320)于是可用于空间对齐(325)。全局颜色变换估计(330)是从映射的图像(315)和未分级的对齐(325)中获得的。也可以对未分级原件(320)执行VDR特定的编辑(340)。VDR特定编辑的图像可以是空间和时间上对齐的未分级原件，或者具有不同的剪裁或不同的剪切的版本。
在估计(330)之后获得颜色变换功能(335)，而且可应用颜色转移(345)。作为图3中的处理的输出获得VDR原版(350)，在本例中为4000尼特的P3。
在其它实施例中，可以进一步如图4所示进行逆色调映射和色域映射。
在图4的例子中的输入为SDR图像(405)，具有伽马2.4的100尼特的Rec709。在第一步骤中执行伽马解码(410)以获得线性RGB图像。然后，对IPT空间应用颜色空间转换(415)。在一些实施例中，PQ编码可用于IPT空间中的值。
然后对SDR内容应用逆色调映射曲线(425)。之后，可以应用饱和校正(430)，并且颜色可被转换回具有P3伽马2.4的RGB空间(435)，从而获得VDR分级的图像(440)。
本领域技术人员理解，任何逆色调映射和色域映射都可应用于本公开的系统和方法中，以从分级SDR图像中获得逆映射的图像版本。由于色域和动态范围的修剪，逆映射将无法恢复丢失的信息。然而，由于图像在其逆映射的版本中的出现将类似于分级的SDR版本，因此逆映射的图像可以为颜色分级澄清导演的意图。导演的意图可用于从未分级原件中引导全局颜色分级处理，其中丢失的信息仍然是可用的。
估计颜色变换
给定未分级原图像与逆映射的图像之间的一组对应的颜色，可以利用RANSAC方法来估计全局颜色变换。在应用RANSAC之前，需要先确定要使用的对应颜色，还有颜色变换模型。在一个实施例中，可以应用自适应抽样机制以获得对应颜色的子集。由于图像被空间和时间上对齐，整个场景内的每对像素都可以提供一对对应的颜色。然而，可能有太多的像素对，使用全部这些会是冗余的，因此，抽样可能是有利的。同时，强度的分布是取决于内容的。有利的是跨越所有亮度级别对全局颜色变换精确地建模，由此本公开的若干实施例可以应用自适应的抽样方案来抽样对应的颜色，使得得到的样本具有几乎均匀的强度分布。这样，在那些原始分布低的区域，例如在强度范围的高端和低端，所估计的曲线将具有更好的性能。
在获得了对应颜色的抽样对之后，需要确定全局变换模型。所选择的模型可能适合于以最优的方式拟合数据。在一个实施例中，利用三条一维曲线来对三个不同颜色分量中的颜色变换进行建模。在此实施例中，三条曲线中的每一条均被用于拟合三个颜色分量中的一个。每个一维函数都可以是参数化的。例如，本领域技术人员可以理解，可以使用多项式，分段多项式或其它函数。也可以使用基于查找表的模型，例如在用于每个一维拟合函数的查找条目之间都具有立方插值。
在某些情形中，一维函数可能不具有期望的精度。在此情况下，可以使用更为复杂的模型。例如，可以用3×3的线性矩阵变换，跟随三条一维曲线来对全局颜色变换进行建模。在若干实施例中，一旦确定了数据集和变换模型，RANSAC可用于估计全局颜色变换。
应用RANSAC来拟合模型的一个优势包括其对离群值的健壮性。这可能是有意义的，因为在拟合模型时可能有离群值。例如，由于动态范围和色域受限而裁剪的颜色可能是模型的离群值。在将估计的颜色变换应用回未分级原图像之后，这些离群值可被再次正确地颜色分级。
考虑二次分级和特殊操控区域
在某些情况下，可能存在局部颜色分级，即，二次颜色分级，被应用于分级到SDR的内容。在那些情况下，图像的被裁剪像素和那些局部颜色分级底层的像素都将变成上述的本公开的若干实施例中起特征作用的估计全局颜色变换建模步骤的离群值。
因此，如果存在大量的离群值，不得不确定这些离群值是由于裁剪还是由于二次颜色分级导致的。在分级SDR内容中的离群值颜色可以与色域的3D边界以及动态范围的3D边界相比。如果颜色接近于边界，则可以确定离群值源自于裁剪；否则，离群值可能源自于二次分级。如果有某些数量的离群值来自于二次分级，则第一步骤可以是估计用于识别经历二次分级的局部区域的掩模(mask)，然后使用用于估计全局颜色变换所用的相同方法来估计这些像素的二次分级。用于二次分级的颜色变换然后可应用回未分级原件中的被屏蔽的(masked)像素。二次分级区域然后可以被混合到一次分级之下的区域中。
在某些情形中，可能存在一些对SDR图像和对VDR图像不同地分级的区域。当目标动态范围不同时，这些区域将被不同地分级。例如，SDR图像中的高亮区域，像一些光源，可以被挤压(crush)到高端处的小动态范围内，而它们在VDR图像中可以占据较大的动态范围。对于此例，可以先识别这些区域，然后对这些区域应用特殊操控，而其它区域经历本公开中上述的相同的“标准的”处理。在处理之后可以将特殊操控区域再添加回来。
图5示意了操控特殊区域的例子。
可以从分级SDR图像(505)或未分级原件(510)中去除特殊操控区域(515，525)。对于SDR图像(505)的情况，去除(525)之后剩余(540)的数据连同去除(515)之后剩余(535)的数据一起使用，以便估计全局颜色变换(550)，该全局颜色变换(550)使得未分级原图像(510)和逆映射的SDR图像之差最小化。
然后对具有大误差的区域(其在未分级原图像(510)与逆映射的SDR图像之间具有大的差别)上的局部颜色变换(555)进行估计。特殊区域(530)经历特殊操控(545)，从而获得处理后的特殊操控区域(560)。区域(560)然后与在步骤(555)中变换的内容相组合以获得最终输出(570)。
虽然本公开中描述的方法的若干实施例都包括对齐步骤，但这些方法的执行也可以不用这种对齐。然后基于估计的颜色变换将颜色分级应用于未分级的原始图像。
图6是用于实现图1-5的实施例的目标硬件(10)(例如计算机系统)的示例性实施例。该目标硬件包括处理器(15)、存储体(20)、本地接口总线(35)、以及一个或多个输入/输出装置(40)。处理器可以执行与图1-5的实施有关的一个或多个指令，这是由操作系统(25)基于存储器(20)中存储的一些可执行程序提供的。这些指令通过本地接口(35)运送到处理器(20)，这由本地接口和处理器(15)所特定的某数据接口协议决定。应当注意的是，本地接口(35)是诸如控制器，缓冲器(高速缓存)、驱动器、中继器和接收机的若干元件的符号化表示，通常针对在基于处理器的系统的多个元件之间提供地址、控制和/或数据连接。在一些实施例中，处理器(15)可以与某本地存储器(高速缓存)装配，本地存储器能存储被执行用于增加一些执行速度的一些指令。由处理器执行指令可能要求使用一些输入/输出装置(40)，如从硬盘上存储的文件输入数据，从键盘输入命令，输出数据到显示器，或输出数据到USB闪存驱动器。在一些实施例中，操作系统(25)通过作为中央元件来收集用于执行程序所需的各种数据和指令并将这些数据和指令提供给微处理器来促进这些任务的执行。在一些实施例中，可能不存在操作系统，所有任务都是在处理器(15)的直接控制之下，虽然目标硬件设备(10)的基本体系结构将与图6所描绘的保持一致。在一些实施例中，可以以并行配置的方式使用多个处理器以增加执行速度。在此情况下，可以特别定制可执行程序以并行执行。此外，在一些实施例中，处理器(15)可执行图1-5的实施的一部分，其它某些部分可利用目标硬件(10)通过本地接口(35)可访问的输入/输出位置处放置的专用硬件/固件来实施。目标硬件(10)可包括多个可执行程序(30)，其中每个程序可独立运行或相互结合。
本公开所述的方法和系统可以以硬件、软件、固件或它们的任一组合来实施。描述为块、模块或组件的特征可以一起实施(例如，在诸如集成逻辑设备的逻辑设备中)或单独实施(例如，作为单独连接的独立逻辑设备)。本公开的方法的软件部分可包括计算机可读介质，该计算机可读介质包括指令，该指令在被执行时，至少部分地执行上述方法。计算机可读介质可包括例如，随机存取存储器(RAM)和/或只读存储器(ROM)。这些指令可由处理器(例如，数字信号处理器(DSP)、专用集成电路(ASIC)或现场可编程逻辑阵列(FPGA))执行。
已经描述了本公开的多个实施例，然而，将理解的是，可以进行各种修正而不偏离本公开的精神和范围。因此其它实施例都在所附权利要求的范围内。
上述的实例给本领域技术人员提供关于如何制作和使用本公开的实施例的完整公开和描述，但这些实例并不打算将发明人认为的范围限制为它们的公开的那样。
本领域技术人员显而易见的，对用于执行在此公开的方法和系统的上述模式的修正，意欲在所附权利要求的范围之内。在本说明书中提到的所有专利和公开文献都指示本公开所属的本领域中的技术人员的技术水平。在本公开中引用的所有对比文件都以同等程度通过引用被并入，就好像每个对比文件都已经通过引用被全文单独并入一样。
应当理解的是，本公开并不局限于特定的方法和系统，因此，本公开自然是可以改变的。还应理解的是，在此使用的术语仅用于描述特定实施例的目的，并不意欲限制。在本说明书和所附权利要求中使用的单数形式“一个”和“所述”包括多个所指物，除非该内容另外明确地规定。术语“多个”包括两个或多个所指物，除非该内容另外明确地规定。除非另有限定，否则在此使用的所有技术和科技术语都具有与本公开所属的本领域中的技术人员一般理解的相同含义。

Claims (7)

1.一种用于执行颜色分级以获得较高动态范围的颜色分级图像的方法，该方法包括：
由计算机提供未分级图像(105)；
由计算机提供代表与所述未分级图像相同的素材的经颜色分级的较低动态范围图像(125)；以及
由计算机基于所述经颜色分级的较低动态范围图像对所述未分级图像进行颜色分级(120)，从而获得较高动态范围的颜色分级图像，
该方法还包括：由计算机空间上和时间上对齐(110)所述未分级图像(105)与所述经颜色分级的较低动态范围图像(125)，从而获得对齐的未分级图像，其中由计算机基于所述经颜色分级的较低动态范围图像对所述对齐的未分级图像应用所述颜色分级，从而获得所述较高动态范围的颜色分级图像(135)。
2.根据权利要求1所述的方法，其中由计算机空间上和时间上对齐包括应用手动剪辑对齐处理。
3.根据权利要求1所述的方法，其中由计算机进行颜色分级包括应用手动剪辑颜色分级处理。
4.根据权利要求1所述的方法，其中空间上和时间上对齐包括：
由计算机检测所述未分级图像中的及所述经颜色分级的较低动态范围图像中的特征点；
由计算机匹配所述特征点；以及
由计算机基于所述特征点的匹配，估计所述未分级图像与所述经颜色分级的较低动态范围图像之间的变换。
5.根据权利要求4所述的方法，其中所述检测还包括由计算机提取所述未分级图像的至少一个局部区域及所述经颜色分级的较低动态范围图像的至少一个局部区域中的特征描述符，其中所述匹配还包括由计算机匹配所述特征描述符。
6.根据权利要求1所述的方法，其中所述图像为视频中的帧。
7.根据权利要求4所述的方法，其中所述图像为视频中的帧。
CN201480057786.9A 2013-10-22 2014-10-21 用于扩展动态范围图像的引导颜色分级 Active CN105684412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611239959.6A CN106713697B (zh) 2013-10-22 2014-10-21 用于扩展动态范围图像的引导颜色分级

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361894382P 2013-10-22 2013-10-22
US61/894,382 2013-10-22
PCT/US2014/061600 WO2015061335A2 (en) 2013-10-22 2014-10-21 Guided color grading for extended dynamic range

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201611239959.6A Division CN106713697B (zh) 2013-10-22 2014-10-21 用于扩展动态范围图像的引导颜色分级

Publications (2)

Publication Number Publication Date
CN105684412A CN105684412A (zh) 2016-06-15
CN105684412B true CN105684412B (zh) 2017-04-26

Family

ID=51868328

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480057786.9A Active CN105684412B (zh) 2013-10-22 2014-10-21 用于扩展动态范围图像的引导颜色分级
CN201611239959.6A Active CN106713697B (zh) 2013-10-22 2014-10-21 用于扩展动态范围图像的引导颜色分级

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201611239959.6A Active CN106713697B (zh) 2013-10-22 2014-10-21 用于扩展动态范围图像的引导颜色分级

Country Status (6)

Country Link
US (1) US9679366B2 (zh)
EP (1) EP3061234B1 (zh)
JP (1) JP6019270B1 (zh)
CN (2) CN105684412B (zh)
HK (1) HK1220057A1 (zh)
WO (1) WO2015061335A2 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3072288B1 (en) 2013-11-22 2019-06-12 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
MX371076B (es) 2015-01-30 2019-11-20 Interdigital Vc Holdings Inc Método y aparato de codificación y decodificación de una imagen en color.
US10349127B2 (en) * 2015-06-01 2019-07-09 Disney Enterprises, Inc. Methods for creating and distributing art-directable continuous dynamic range video
EP3113496A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
RU2723676C2 (ru) * 2015-11-24 2020-06-17 Конинклейке Филипс Н.В. Обработка множественных источников изображения hdr
US9741103B2 (en) * 2016-01-21 2017-08-22 Astral Images Corporation Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable program product comprising UHD content created using same
US9754363B2 (en) * 2016-01-21 2017-09-05 Astral Images Corporation Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same
US10699391B2 (en) 2016-04-29 2020-06-30 Disney Enterprises, Inc. Dynamic range expansion highlight information restoration
EP3312798A1 (en) * 2016-10-20 2018-04-25 Thomson Licensing Method and device for inverse tone mapping
JP6684971B2 (ja) 2017-01-18 2020-04-22 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像を符号化するためのセグメントベース再構成
WO2018136432A1 (en) 2017-01-18 2018-07-26 Dolby Laboratories Licensing Corporation Segment-based reshaping for coding high dynamic range video
CN110383802B (zh) * 2017-03-03 2021-05-25 杜比实验室特许公司 利用逼近函数的彩色图像修改方法
CN107154059B (zh) * 2017-06-26 2020-08-04 杭州当虹科技股份有限公司 一种高动态范围视频处理方法
EP3821423A4 (en) 2018-07-11 2022-03-02 Raven Industries, INC. ADAPTIVE COLOR TRANSFORMATION TO ASSIST COMPUTER VISION
EP3996485A4 (en) 2019-07-11 2023-08-02 Raven Industries, Inc. DETERMINING THE HEIGHT DIFFERENCE OF IMAGE FEATURES
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
WO2023177873A2 (en) * 2022-03-18 2023-09-21 Dolby Laboratories Licensing Corporation Image optimization in mobile capture and editing applications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
WO2013046096A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030234944A1 (en) 2002-06-24 2003-12-25 Eastman Kodak Company Extending the dynamic range and adjusting the color characteristics of a digital image
US7308135B2 (en) 2004-01-14 2007-12-11 Eastman Kodak Company Constructing extended color gamut digital images from limited color gamut digital images
US7428332B2 (en) 2004-01-14 2008-09-23 Spaulding Kevin E Applying an adjusted image enhancement algorithm to a digital image
US8050511B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
CA2626385C (en) * 2005-10-28 2014-02-11 Thomson Licensing Systems and methods for determining and communicating correction information for video images
JP4131280B2 (ja) * 2006-04-20 2008-08-13 ソニー株式会社 撮像装置と映像信号処理方法
US8014027B1 (en) 2007-03-21 2011-09-06 Adobe Systems Incorporated Automatic selection of color conversion method using image state information
JP5430218B2 (ja) 2009-05-07 2014-02-26 キヤノン株式会社 画像処理装置および画像処理方法
DE112010003988B4 (de) 2009-10-08 2016-05-12 International Business Machines Corporation Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mitniedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR)
US9230312B2 (en) 2010-01-27 2016-01-05 Adobe Systems Incorporated Methods and apparatus for performing tone mapping on high dynamic range images
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
CN101908330B (zh) * 2010-07-26 2012-05-02 武汉大学 一种低动态范围显示设备再现高动态范围图像的方法
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
MX2013010788A (es) * 2011-03-24 2014-01-16 Koninkl Philips Nv Aparatos y metodos para analizar graduaciones de imagenes.
JP2015517233A (ja) 2012-02-29 2015-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 改善された画像処理およびコンテンツ送達のための画像メタデータ生成
EP2959672B1 (en) * 2013-02-21 2019-12-04 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
WO2013046096A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Example-based video color grading;NICOLAS CONNEEL ET AL;《ACM TRANSACTIONS ON GRAPHICS》;20130701;第32卷(第4期);全文 *
Progressive color transfer for images of arbitrary dynamic range;TANIA POULI ET AL;《COMPUTERS AND GRAPHICS,ELSEVIER,GB》;20101105;第35卷(第1期);全文 *
Rediscovering Francis Ford Coppola"s Godfather trilogy on Blu-ray;Fred Kaplan;《http://web.archive.org/web/20120127044446/http://www.slate.com/articles/arts/dvdextras/2008/09/your_dvd_player_sleeps_with_the_fishes.single.html》;20080830;2-3 *

Also Published As

Publication number Publication date
WO2015061335A2 (en) 2015-04-30
EP3061234A2 (en) 2016-08-31
CN105684412A (zh) 2016-06-15
JP6019270B1 (ja) 2016-11-02
HK1220057A1 (zh) 2017-04-21
US20160253792A1 (en) 2016-09-01
WO2015061335A3 (en) 2015-06-11
JP2016536873A (ja) 2016-11-24
US9679366B2 (en) 2017-06-13
EP3061234B1 (en) 2017-12-06
CN106713697A (zh) 2017-05-24
CN106713697B (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN105684412B (zh) 用于扩展动态范围图像的引导颜色分级
Gijsenij et al. Computational color constancy: Survey and experiments
US7443533B2 (en) Image composition systems and methods
US8787659B2 (en) Automatic adaptation to image processing pipeline
US9070044B2 (en) Image adjustment
US9292911B2 (en) Automatic image adjustment parameter correction
WO2018049084A1 (en) Methods and systems for human imperceptible computerized color transfer
Panetta et al. Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset
CN106027851A (zh) 基于图像梯度的图像滤波
DE102012023299A1 (de) Einrichtung und Algorithmus zum Erfassen von HDR-Video (High Dynamic Range - hoher Dynamikumfang)
US20090022417A1 (en) Method and Apparatus for An Intuitive Digital Image Processing System That Enhances Digital Images
US7907198B2 (en) Advanced electronic still image viewfinders
JP2015028779A (ja) 複数のレベルの中間閾値ビットマップを用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法
CN113177438A (zh) 图像处理方法、设备及存储介质
Zheng et al. Low-light image and video enhancement: A comprehensive survey and beyond
WO2023110878A1 (en) Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models
WO2023110880A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models
Rüfenacht Stereoscopic high dynamic range video
O'Malley A simple, effective system for automated capture of high dynamic range images
Łubniewski et al. Choosing an Optimal Bracketing Sequence for HDR Imaging
Todorov et al. TGTM: TinyML-based Global Tone Mapping for HDR Sensors
Yerra A SCENE STATISTICAL APPROACH TO ENHANCE THE LOW-LIGHT IMAGES
Afreen et al. Pseudo-multiple-exposure-based tone fusion and visual-salience-based tone mapping for high dynamic range images: a review
CN117750218A (zh) 基于prompt修正的图像颜色校正方法
CN115063307A (zh) 一种基于亮度一致性的增强现实色度调节方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1220057

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant