CN107341770B - 动态范围扩展高亮信息恢复 - Google Patents
动态范围扩展高亮信息恢复 Download PDFInfo
- Publication number
- CN107341770B CN107341770B CN201710286246.3A CN201710286246A CN107341770B CN 107341770 B CN107341770 B CN 107341770B CN 201710286246 A CN201710286246 A CN 201710286246A CN 107341770 B CN107341770 B CN 107341770B
- Authority
- CN
- China
- Prior art keywords
- content
- sdr
- regions
- image processing
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011084 recovery Methods 0.000 title abstract description 4
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 38
- 230000000877 morphologic effect Effects 0.000 claims description 31
- 230000010339 dilation Effects 0.000 claims description 14
- 230000003628 erosive effect Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 235000019557 luminance Nutrition 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 229920000747 poly(lactic acid) Polymers 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G06T5/94—
-
- G06T5/77—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本公开涉及动态范围扩展高亮信息恢复。本公开提供用于使用现有的标准动态范围(SDR)内容生成高动态范围(HDR)内容的系统和方法。通过使用SDR内容源自的源内容恢复SDR内容中丢失的细节来生成HDR内容。从SDR内容生成的HDR内容还保留SDR内容的任何颜色特性(诸如颜色分级)连同丢失的细节的恢复。
Description
技术领域
本公开总体涉及高动态范围内容创建。
背景技术
由于当与常规标准动态范围(SDR)和标准色域(SCG)内容相比时，具有高动态范围(HDR)和宽色域(WCG)的视频或其他视觉内容提供观看体验的能力更强，所以对于分发具有高动态范围(HDR)和宽色域(WCG)的视频或其他视觉内容的兴趣越来越大。
发明内容
各种实施例涉及通过分析源内容和颜色分级的SDR母带以识别来自源素材的细节诸如高亮信息在何处已丢失而将SDR内容扩展成HDR内容。利用图，识别所丢失的细节可以被恢复的区域，并且在源素材上执行局部化颜色变换以在照度(luminance)和颜色方面获得期望的匹配。关于所匹配的照度和颜色的信息可以被传递到颜色分级的母带，从而恢复引起HDR内容的丢失的细节。
根据本公开的一个实施例，一种计算机实施的方法包括识别其中细节已丢失的标准动态范围(SDR)内容的一个或多个区域。基于所识别的一个或多个区域创建图像处理图。可以使用图像处理图的像素用于对源内容进行局部颜色匹配，并且可以用在图像处理图中识别的对应像素替代SDR内容的像素。
在一些实施例中，SDR内容包括原始颜色分级母带。在一些实施例中，SDR内容源自源内容。在一些实施例中，细节包括从SDR内容剪除(clipped)或滚落(rolled off)的明亮的细节信息。
识别其中细节已丢失的SDR内容的一个或多个区域可以包括对源内容进行滤波以隔离源内容的高空间频率区域。该方法还可以包括对SDR内容进行滤波以隔离SDR内容的高空间频率区域。另外，该方法还可以包括确定源内容的高空间频率区域与SDR内容的高空间频率区域之间的差异，以及生成表示在源内容的高空间频率区域和SDR内容的高空间频率区域之间的差异的第一像素图。
创建图像处理图包括在一个或多个所识别的区域上执行形态学膨胀。此外，可以在一个或多个所识别的区域上执行形态学腐蚀。在一些实施例中，可以基于对应于第一像素图的一个或多个所识别的区域的像素的形态学膨胀和形态学腐蚀来定义第二像素图。可以基于在第一像素图和第二像素图之间的差异定义图像处理图。
在第一像素图和第二像素图之间的差异定义关于对应于第一像素图的一个或多个所识别的区域的像素的边界。对源内容进行局部颜色匹配包括基于在定义的边界处在源内容和SDR内容之间的一组颜色对应来执行颜色平衡。像素的替代包括将像素RGB值变换成一个或多个颜色分量。
根据另一个实施例，系统可以包括比较器，其适于接收表示源内容和源自源内容的标准动态范围(SDR)内容的图像，并且识别其中细节已丢失的标准动态范围(SDR)内容的一个或多个区域。该系统可以包括形态学操作单元，其适于对SDR内容和源内容应用形态学操作，基于所识别的一个或多个区域创建图像处理图。颜色变换单元可以适于使用图像处理图的像素用于对源内容进行局部颜色匹配。像素合并单元可以适于用在图像处理图中识别的对应像素替代SDR内容的像素。
在一些实施例中，比较器包括适用于对源内容和SDR内容进行滤波以隔离在源内容和SDR内容中的高空间频率的相应区域的高通滤波器。在一些实施例中，比较器还适于将源内容和SDR内容中的高空间频率区域进行比较。在一些实施例中，比较基于确定在源内容中的高空间频率区域中的方差是否大于在SDR内容中的高空间频率区域的方差。
图像处理图表示围绕对应于细节将被恢复的高空间频率区域的像素的边界。所应用的形态学操作包括膨胀操作，随后是腐蚀操作。
附图说明
参考以下附图，根据一个或多个各种实施例详细描述本公开。附图仅为了说明的目的而被提供并且仅描绘典型实施例或示例性实施例。
图1A是示出根据各种实施例的可以对HDR内容执行的示例操作的流程图。
图1B是示出根据各种实施例的滤波和比较操作的流程图。
图1C是示出根据各种实施例的形态学操作和像素图生成的流程图。
图2是根据各种实施例的用于生成HDR内容的内容编辑系统的示意图。
图3示出根据各种实施例的表示HDR内容生成的示例图像。
图4是可以用于实施本公开的实施例的各种特征的示例计算组件。
附图不是详尽的并且不将本公开限制到所公开的精确形式。
具体实施方式
正在进行努力以将现有的SDR内容重新制作(re-master)到HDR内容。然而，重新制作SDR内容的常规方法涉及对源内容或素材(诸如原始媒体或胶片(film)扫描)“重新分级”(regrading)，并且可以导致改变视频/视觉内容的预期外貌。此外，根据此类常规方法的重新制作SDR内容可能导致细节损失。
例如，内容提供商(诸如制作工作室)可以具有他们希望以HDR格式重新发布的现有SDR内容，诸如电影、电视节目、游戏等。使用常规技术诸如“数字中间片”，电影可以被数字化，其中信息从胶片负片(film negative)中获取并通过模拟制作胶片印刷(print)过程的数字仿真过程而被渲染。这可以涉及将胶片负片扫描到计算机中、执行颜色校正、颜色分级和胶片记录(将数字图像传递到胶片)。在电影被数字化地记录和/或电影未被输出到胶片的情况下，数字中间片还可以包括数字源内容(诸如原始数字文件)的最终制作。
常规的颜色分级和校正是由调色师使用数字颜色分级工具执行的手动过程。为了将生成的HDR内容的颜色分级与现有SDR内容的颜色分级相匹配，调色师通过反复试验再现现有SDR内容的颜色分级。这是因为通常没有维护颜色分级操作的记录，并且颜色分级与用于对原始母带(master)进行颜色分级的特定硬件和/或软件相关联。
此外，数字中间片颜色分级模拟胶片印刷中存在的色调映射。模拟胶片印刷导致SDR内容的细节比源内容少。例如，细节诸如高亮信息、反射、明亮的图像元素(诸如明亮的白云、天空等)可以存在于负片中，但是该细节通过印刷品(print stock)的有限动态范围的模拟和对应色调映射而丢失。当源内容是必须向下映射以便在SDR媒体上或经由SDR媒体呈现的原始数字文件时，可能发生相同细节损失。图3的图像B 302是在经历上述印刷模拟和颜色校正过程之后的SDR内容的示例。为了比较的目的，图像C 304是在其已被重新缩放以在HDR显示器的较高照度上保留原始颜色之后的图像B 302的示例。这可以用作在HDR重新制作过程中颜色分级的起点。然而，图像C 304曝光不足并且表明高亮细节已经丢失并且不能从图像B 302恢复。
虽然内容提供商具有源内容，诸如现有胶片扫描和/或原始数字相机文件，但是将SDR内容重新分级和转换为HDR内容的常规系统和方法尝试预测或猜测如何替代丢失的细节而无需依赖于源内容。因此，尝试重新创建期望的颜色分级所花费的时间和资源是不必要的，并且细节可能仍然丢失和/或不准确地再现。
因此，在本文中描述的各种实施例利用源内容来生成HDR内容(扩展和/或恢复在源内容中存在的细节)，同时还保留在原始颜色分级期间建立的创造性外观和感觉(例如，维持现有(SDR)母带的颜色特征)。图1A-1C示出根据各种实施例执行的示例操作，其用于基于现有颜色分级SDR内容(诸如现有SDR母带)和源内容生成HDR内容。图1A-1C将结合图2和图3描述，图2为HDR内容生成系统200的示意图，图3为反应根据各种实施例的HDR内容生成的各种阶段的示例图像集合以及用于比较的常规生成的HDR内容的示例图像。
在图1A的操作100处，识别其中已经丢失细节的SDR内容的一个或多个区域。如上所述，在数字中间片处理期间，可以通过胶片印刷模拟来处理原始数字文件或胶片负片，在胶片印刷模拟期间发生色调映射。图3的图像300是胶片扫描的示例。当用于创建SDR内容(诸如SDR母带)时，色调映射可以导致丢失细节，并且根据本文描述的各种实施例，该信息可以被重新并入到生成的HDR内容中。
特别地，并且如图1B中分别在操作102和104处所示，通过将源内容202和SDR内容204馈送到高通滤波器210而使图2的源内容202和图2的SDR内容204被滤波以隔离高频率区域。图像数据可以被分解为空间频率，其中具有高频率的图像的区域与图像的细小细节相关，并且具有低频率的图像的区域表示色调和颜色转变。应当注意，可以根据源内容的特性来调整可以取得低和/或高频率资格的阈值。例如，除了将在下面讨论的那些之外，这些过程可以经由在计算机系统上运行的内容编辑器206来执行，其中本文公开的系统和方法可以被实施为内容编辑器206的插件组件或应用。然而，根据其他实施例，其他实施方式诸如独立应用也是可能的。
图3的图像306是滤波后的原始胶片扫描300的示例。回想高频区域涉及细小细节并且低频区域涉及色调和颜色转变，在通过图2的滤波器210进行高通滤波之后仍然存在的项目是那些细小细节，而色调和颜色转变被去除。图像308是通过滤波器210进行高通后(post-high pass)滤波的图像302的示例。类似于图像306，色调和颜色转变被去除，仅留下具有代表更细小细节的高空间频率的区域。
在操作106处，确定在源内容的高频率区域和SDR内容的高频率区域之间的任何差异。即，图2的比较器208可以比较经滤波的源内容和经滤波的SDR内容，以确定在经滤波的源内容中存在的任何高频率区域是否在经滤波的SDR内容中缺失。如果缺失，这表明来自源内容的细节在何处(例如，色调映射)丢失。根据一个实施例，利用方差阈值确定丢失细节的存在。例如，在局部邻域(例如，7×7像素区域)中，针对经滤波的源内容和经滤波的SDR内容计算方差。在图3的图像300中的方差大于在图像302中的方差的任何地方为信息(即，细节)已经丢失的指示。如本文所使用的，术语方差可以指用于量化图像中的噪声或结构的水平的图像统计量。例如，估计的图像的局部方差可以用作两个图像之间结构相似性的量化量度。这引起一个或多个所识别的区域的第一像素图。
再参考图1A，图3的图像处理图312是基于在操作110处确定为具有丢失的细节的一个或多个所识别的区域而创建的。图1C是描述用于创建图像处理图312而执行的处理的流程图。在操作112处，由图2的形状学操作单元212在操作100中确定的一个或多个所识别的区域上执行形态学膨胀，并且在操作114处，由形态学操作单元212在所述一个或多个所识别的区域上执行形态学腐蚀。在操作116处，基于对应于所述一个或多个所识别的区域的像素的形态学膨胀和腐蚀来定义第二像素图310。即，形态学操作用于“扩展”第一像素图以创建第二像素图310。应该注意的是，形态学先膨胀后腐蚀可以称为形态学闭操作。
形态学可以指基于形状处理图像的图像处理操作。形态学操作将结构化元素应用于输入图像，创建相同大小的输出图像。在形态学操作中，输出图像中的每个像素的值基于输入图像中的相应像素与其邻居的比较。通过选择邻域的大小和形状，可以构建对输入图像中的特定形状敏感的形态学操作。
膨胀向图像中的对象的边界添加(add)像素，而腐蚀去除(remove)在对象边界上的像素。从图像中的对象添加或去除的像素数量取决于用于处理图像的结构化元素的大小和形状。在形态学膨胀和腐蚀操作中，输出图像中的任何给定像素的状态是通过将规则应用于输入图像中的对应像素及其邻居来确定的。
在本公开的上下文中，这些形态学操作被执行以改进所识别的区域确实是细节已经丢失的区域的置信度以及生成更一致的结果。在执行操作112和114中的形态学膨胀和腐蚀之前，与一个或多个所识别的区域相关联的像素可以被分散在整个原始图中。执行形态学膨胀可以获取小像素区域并使其变大，从而使像素组彼此相连，导致前述的一致性增加。然后，在形态学膨胀之后执行形态学腐蚀保留较大的像素区域并且丢弃可能由于错误/意外已生成的区域，从而导致前述的置信度增加。
通过获取在第一像素图和第二像素图310之间的差异来定义关于一个或多个所识别的区域的边缘。这导致图3的图像处理图312，该图由围绕其中细节已经丢失的所识别的一个或多个区域的像素构成。
再次参考图1A，在操作120处，图3的图像处理图312的像素通过颜色变换单元214被用于与图2的源内容202进行局部化颜色匹配。在围绕感兴趣的像素的边缘处的这种局部颜色匹配是有用的，因为通常颜色在没有细节丢失的边缘区域中匹配。另一方面，颜色通常在细节已经丢失的边缘区域中不匹配。因此，在边缘处的颜色匹配(其实质上实现颜色分级的局部化复制)确保在丢失的细节信息将被重新引入的每个区域处的颜色匹配。
可以根据本公开的各种实施例利用颜色匹配或平衡的各种方法。根据一个实施例，用于在源内容202和SDR内容204之间的颜色平衡的算法可以接收作为输入的在源内容202(目标图像)和SDR内容204(源图像)之间的一组颜色对应。这种颜色匹配或平衡的目标是变换原始扫描的颜色以与颜色分级母带匹配。然后，可以通过计算平滑矢量而解决全局颜色空间变换，该平滑矢量在将源图像的色域映射到目标图像的色域的CIE颜色空间中被归档(filed)。归一化径向基函数可以用于基于源图像和目标图像来计算优化的形状参数。颜色平衡的其他方法可以涉及将颜色分布统计从一个图像传递到另一个图像，其中计算在颜色空间中的颜色分布的平均值和标准偏差。然后，通过将源图像参数缩放和平移到目标图像的参数上，可以实现颜色变换。其他颜色平衡技术可以依靠使用模糊主成分分析的手动颜色传递。颜色平衡的示例在Thomas Oskam等人的题为“Fast and Stable ColorBalancing for Images and Augmented Reality”的论文中被描述，该论文通过引用以其整体并入本文。
在图1A的操作130处，用在图像处理图中识别的对应像素替代图2的SDR内容204的像素。这可以由输出HDR内容222的像素传递/合并单元216执行。即，在操作120中执行的颜色平衡被应用于源内容202的像素，其对应于第二图310的映射像素。然后，将颜色匹配的像素与SDR内容204合并以产生最终图像，即HDR内容218，并且其示例是图3的图像D 314。在合并颜色匹配的像素时，应注意，像素可以直接被传递到SDR内容204(即，根据红绿蓝(RGB)颜色模型)。可替代地，像素可以在其分量部分(即，照度或亮度分量和色度或色相(hue)/饱和分量)中被传递。例如，来自源内容202的颜色匹配的像素的照度信息可以被隔离并被传递到SDR内容204以替代现有的对应像素。可以以相同或相似方式隔离和传递饱和度信息。还应注意，内容编辑器206的用户可以被提供对哪些颜色维度将被保留或替代(例如亮度、饱和度、色相等)以及至何种程度的至少一些控制。
此外，虽然本文描述的各种实施例已经在电影/胶片的上下文中呈现，但是相同或相似处理可以用于静止图像。应当注意，像素RGB值可以被变换成颜色分量，例如照度、色相和饱和度。这允许对如何传递颜色信息的控制。例如，如果创造性期望仅在于使高亮更亮和更详细而无需以其他方式改变颜色分级，则仅传递照度分量，而分级图像的色相和饱和度分量可以被保留。
图4示出可以用于实施本文公开的系统和方法的各种特征(诸如内容编辑器206的一个或多个方面的上述特征和功能)的示例计算组件。
如本文所使用的，术语“组件”或“单元”可以描述根据本申请的一个或多个实施例可以执行的功能的给定单元。如本文所使用的，可以利用任何形式的硬件、软件或其组合来实施组件或单元。例如，可以将一个或多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑组件、软件例程或其他机制实施为构成组件。在实施方式中，本文描述的各种组件或单元可以被实施为分立组件，或者描述的功能和特征可以在一个或多个组件之间部分或全部地被共享。也就是说，如本领域普通技术人员在阅读本说明书后而显而易见的是，本文描述的各种特征和功能可以在任何给定的应用中实施并且可以以各种组合和排列在一个或多个独立或共享的组件或者单元中实施。即使各种特征或功能的元素可以被单独描述或要求为独立组件或单元，但是本领域普通技术人员将理解，这些特征和功能可以在一个或多个通用软件和硬件元件之间共享，并且此类描述不要求或暗示使用独立硬件或软件组件或单元以实施此类特征或功能。
在全部或部分地使用软件来实施应用的组件或单元的情况下，在一个实施例中，这些软件元件可以被实施以利用能够执行与其相关的功能的计算或处理组件或单元来操作。在图4中示出一个此类示例计算组件或单元。根据该示例计算组件400描述各种实施例。在阅读本说明书之后，如何使用其它计算组件或架构来实施应用对于相关领域技术人员来说将变得显而易见。
现在参考图4，计算组件400可以表示例如在自调整显示器、台式机、膝上型计算机、笔记本和平板计算机内发现的计算或处理能力；手持式计算设备(平板电脑、PDA、智能手机、手机、掌上电脑等)；工作站或带显示器的其他设备；服务器；或对于给定应用或环境可能是期望或适合的任何其他类型的专用或通用计算设备。计算组件400还可以表示嵌入在给定设备内或以其它方式可用的计算能力。例如，计算组件可以在其他电子设备(诸如导航系统、便携式计算设备和可以包括一些形式的处理能力的其他电子设备)中被发现。
计算组件400可以包括例如一个或多个处理器、控制器、控制组件或其他处理设备，诸如处理器404。可以使用通用或专用处理引擎(诸如微处理器、控制器或其他控制逻辑)来实施处理器404。在所示的示例中，处理器404被连接到总线402，但是可以使用任何通信介质以有助于与计算组件400的其他组件的交互或者与外部进行通信。
计算组件400还可以包括一个或多个存储器组件，在本文简称为主存储器408。例如，优选地，随机存取存储器(RAM)或其他动态存储器可以用于存储待由处理器404执行的信息和指令。在执行待由处理器404执行的指令期间，主存储器408还可以用于存储临时变量或其他中间信息。计算组件400同样地可以包括耦合到总线402的只读存储器(“ROM”)或其它静态存储设备，用于存储用于处理器404的静态信息和指令。
计算组件400还可以包括一个或多个各种形式的信息存储机构410，其可以包括例如媒体驱动器412和存储单元接口420。介质驱动器412可以包括用于支持固定或可移动的存储媒体414的驱动器或其他机构。例如，可以提供硬盘驱动器、固态驱动器、磁带驱动器、光盘驱动器、光盘(CD)或数字视频盘(DVD)驱动器(R或RW)或其它可移动或固定的媒体驱动器。因此，存储媒体414可以包括例如硬盘、集成电路组件、磁带、盒式磁带(cartridge)、光盘、CD或DVD，或者由媒体驱动器412读取、被写入到媒体驱动器412或由媒体驱动器412访问的其它固定或可移动的介质。如这些示例所示，存储媒体414可以包括具有存储在其中的计算机软件或数据的计算机可用存储介质。
在替代实施例中，信息存储机构410可以包括用于允许计算机程序或其他指令或数据被加载到计算组件400中的其他类似工具。此类工具可以包括例如固定或可移动的存储单元422和接口420。此类存储单元422和接口420的示例可以包括程序盒和盒接口、可移动存储器(例如，闪存或其他可移动的存储器组件)和存储器插槽，PCMCIA插槽和卡，以及允许将软件和数据从存储单元422传送到计算组件400的其它固定或可移动的存储单元422和接口420。
计算组件400还可以包括通信接口424。通信接口424可以用于允许在计算组件400和外部设备之间传送软件和数据。通信接口424的示例可以包括调制解调器或软调制解调器、网络接口(诸如以太网、网络接口卡、WiMedia、IEEE 802.XX或其他接口)、通信端口(例如USB端口、IR端口、RS232端口
接口或其他端口)或其他通信接口。经由通信接口424传送的软件和数据通常可以被携带在信号上，该信号可以是电子的、电磁的(包括光学的)或能够由给定通信接口424交换的其它信号。可以经由信道428将这些信号提供至通信接口424。该信道428可以携带信号并且可以使用有线或无线通信介质来实施。信道的一些示例可以包括电话线、蜂窝链路、RF链路、光学链路、网络接口、局域网或广域网以及其它有线或无线通信信道。
在本文中，术语“计算机程序介质”和“计算机可用介质”通常用于指暂时或非暂时媒体，诸如存储器408、存储单元420、媒体414和信道428。这些和其他各种形式的计算机程序媒体或计算机可用媒体可以被涉及将一个或多个指令的一个或多个序列输送到处理设备以便执行。在介质上体现的此类指令通常被称为“计算机程序代码”或“计算机程序产品”(其可以以计算机程序或其他分组的形式被分组)。当此类指令被执行时，此类指令可以使得计算组件400能够执行如本文所讨论的本申请的特征或功能。
虽然以上根据各种示例性实施例和实施方式进行了描述，但是应当理解，在一个或多个单个实施例中描述的各种特征、方面和功能不限于对其中描述它们的特定实施例的其适用性，而是可以单独地或以各种组合的形式被应用到应用的一个或多个其他实施例，无论此类实施例是否被描述以及无论这些特征是否被呈现为所描述实施例的一部分。因此，本申请的广度和范围不应受限于上述示例性实施例的任何实施例。
本文中使用的术语和短语及其变体应被解释为开放的而非限制性的，除非另有明确说明。作为上述内容的示例：术语“包括”应被解读为“包括但不限于”等；术语“示例”用于提供讨论中的项目的示例性实例，而不是其详尽的或限制性的列表；术语“一”或“一个”应被解读为“至少一个”、“一个或多个”等；并且形容词诸如“常规的”、“传统的”、“正常的”、“标准的”、“已知的”和类似含义的术语不应被解读为将所描述项目限制到给定时间段内或者自给定时间起可用的项目，而应被解读为包含现在或在将来的任何时间可用或已知的常规、传统、正常或标准的技术。同样地，在本文参考对于本领域普通技术人员来说将是显而易见的或已知的技术的情况下，此类技术包含现在或在将来的任何时间对于技术人员来说是显而易见或已知的那些技术。
在某些情况下，扩展词和短语诸如“一个或多个”、“至少”、“但不限于”或其他类似短语的存在不应被解读为在可以不存在此类扩展短语的情况下意指或要求较窄的情形。使用术语“组件”不暗示作为组件的一部分被描述或要求保护的方面或功能均被配置在共同包装件中。实际上，组件(无论是控制逻辑还是其他组件)的各种方面的任何方面或全部方面可以被组合在单个包装件中或被独立地维持并且可以进一步被分布在多个分组或包装件中或多个位置中。
另外，根据示例性框图、流程图和其他图示说明描述本文阐述的各种实施例。在阅读本文件之后，对本领域普通技术人员来说将是显而易见的是，可以实施所示实施例及其各种替代而不限于所示示例。例如，框图及其附带描述不应被解读为强制特定架构或配置。
Claims (20)
1.一种用于从标准动态范围内容即SDR内容生成高动态范围内容即HDR内容的计算机实施的方法，所述计算机实施的方法包括：
通过对所述SDR内容和从中导出所述SDR内容的源内容中的每一个进行滤波来隔离相应高空间频率区域；
生成表示所述SDR内容和所述源内容中的每一个的所述相应高空间频率区域之间的差异的第一像素图；
基于所述第一像素图，识别其中相对于所述源内容细节已丢失的所述SDR内容的一个或多个区域；
基于所识别的一个或多个区域并通过处理器的操作创建图像处理图；
使用所述图像处理图的像素用于对所述源内容进行局部颜色匹配；以及
通过用在所述图像处理图中识别的对应像素替代所述SDR内容的像素来生成所述HDR内容。
2.根据权利要求1所述的计算机实施的方法，其中所述SDR内容包括原始颜色分级母带。
3.根据权利要求1所述的计算机实施的方法，其中所述细节包括从所述SDR内容剪除或滚落的明亮的细节信息。
4.根据权利要求1所述的计算机实施的方法，其中通过在一个或多个所识别的区域上执行形态学膨胀来创建所述图像处理图。
5.根据权利要求4所述的计算机实施的方法，其中通过在所述一个或多个所识别的区域上执行形态学腐蚀来创建所述图像处理图。
6.根据权利要求5所述的计算机实施的方法，还包括基于对应于所述一个或多个区域的像素的所述形态学膨胀和所述形态学腐蚀来定义第二像素图。
7.根据权利要求6所述的计算机实施的方法，还包括基于所述第一像素图和所述第二像素图之间的差异定义所述图像处理图。
8.根据权利要求7所述的计算机实施的方法，其中所述第一像素图和所述第二像素图之间的所述差异定义关于对应于所述一个或多个区域的所述像素的边界。
9.根据权利要求8所述的计算机实施的方法，其中对所述源内容进行所述局部颜色匹配包括基于在所定义的边界处在所述源内容和所述SDR内容之间的一组颜色对应来执行颜色平衡。
10.根据权利要求1所述的计算机实施的方法，其中替代所述像素包括将像素RGB值变换成一个或多个颜色分量。
11.一种用于从标准动态范围内容即SDR内容生成高动态范围内容即HDR内容的系统，所述系统包括：
比较器，其适于接收表示源内容和源自所述源内容的SDR内容的图像，隔离所述源内容和所述SDR内容中的每一个的相应高空间频率区域，生成表示所述源内容和所述SDR内容中的每一个的所述相应高空间频率区域之间的差异的第一像素图，并且基于所述第一像素图识别其中细节已丢失的所述SDR内容的一个或多个区域；
形态学操作单元，其适于对所述SDR内容和所述源内容应用形态学操作，从而基于所识别的一个或多个区域并通过处理器的操作创建图像处理图；
颜色变换单元，其适于使用所述图像处理图的像素用于对所述源内容进行局部颜色匹配；以及
像素合并单元，其适于通过用在所述图像处理图中识别的对应像素替代所述SDR内容的像素来生成所述HDR内容。
12.根据权利要求11所述的系统，其中所述比较器还包括高通滤波器，所述高通滤波器适于对所述源内容和所述SDR内容进行滤波以隔离所述相应高空间频率区域。
13.根据权利要求12所述的系统，其中所述比较器还适于比较所述相应高空间频率区域。
14.根据权利要求13所述的系统，其中基于确定在所述源内容中的所述高空间频率区域中的方差是否大于在所述SDR内容中的所述高空间频率区域中的方差来比较所述相应高空间频率区域。
15.根据权利要求11所述的系统，其中所述图像处理图表示围绕对应于其中所述细节将被恢复的所述SDR内容的所述高空间频率区域的像素的边界。
16.根据权利要求11所述的系统，其中所述形态学操作包括膨胀操作，随后是腐蚀操作。
17.一种非暂时性计算机可读介质，其存储可执行的程序，所述程序用于执行操作以从标准动态范围内容即SDR内容生成高动态范围内容即HDR内容，所述操作包括：
通过对所述SDR内容和从中导出所述SDR内容的源内容中的每一个进行滤波来隔离相应高空间频率区域；
生成表示所述SDR内容和所述源内容中的每一个的所述相应高空间频率区域之间的差异的第一像素图；
基于所述第一像素图，识别其中相对于所述源内容细节已丢失的所述SDR内容的一个或多个区域；
基于所述一个或多个区域并通过在执行所述程序时的处理器的操作创建图像处理图；
使用所述图像处理图的像素用于对所述源内容进行局部颜色匹配；以及
通过用在所述图像处理图中识别的对应像素替代所述SDR内容的像素来生成所述HDR内容。
18.根据权利要求17所述的非暂时性计算机可读介质，其中所述SDR内容包括原始颜色分级母带。
19.根据权利要求17所述的非暂时性计算机可读介质，其中所述细节包括从所述SDR内容剪除或滚落的明亮的细节信息。
20.根据权利要求17所述的非暂时性计算机可读介质，其中通过在所述一个或多个区域上执行形态学腐蚀来创建所述图像处理图。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662329818P | 2016-04-29 | 2016-04-29 | |
| US62/329,818 | 2016-04-29 | ||
| US15/461,424 | 2017-03-16 | ||
| US15/461,424 US10699391B2 (en) | 2016-04-29 | 2017-03-16 | Dynamic range expansion highlight information restoration |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107341770A CN107341770A (zh) | 2017-11-10 |
| CN107341770B true CN107341770B (zh) | 2021-01-01 |
Family
ID=60156924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710286246.3A Active CN107341770B (zh) | 2016-04-29 | 2017-04-27 | 动态范围扩展高亮信息恢复 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10699391B2 (zh) |
| CN (1) | CN107341770B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3319013A1 (en) * | 2016-11-03 | 2018-05-09 | Thomson Licensing | Method and device for estimating cast shadow regions and/or highlight regions in images |
| US11100620B2 (en) | 2018-09-04 | 2021-08-24 | Apple Inc. | Hue preservation post processing for highlight recovery |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102388612A (zh) * | 2009-03-13 | 2012-03-21 | 杜比实验室特许公司 | 高动态范围、可视动态范围和宽色域视频的分层压缩 |
| CN102696220A (zh) * | 2009-10-08 | 2012-09-26 | 国际商业机器公司 | 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统 |
| CN103069809A (zh) * | 2010-08-25 | 2013-04-24 | 杜比实验室特许公司 | 扩展图像动态范围 |
| CN104463820A (zh) * | 2014-10-29 | 2015-03-25 | 广东工业大学 | 一种基于频域的反色调映射算法 |
| WO2015061335A2 (en) * | 2013-10-22 | 2015-04-30 | Dolby Laboratories Licensing Corporation | Guided color grading for extended dynamic range |
| US9172890B2 (en) * | 2013-07-01 | 2015-10-27 | Qualcomm Technologies, Inc. | Method, apparatus, and manufacture for enhanced resolution for images from high dynamic range (HDR) interlaced sensors |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5787127B2 (ja) | 2010-09-03 | 2015-09-30 | 富士電機株式会社 | 電力変換装置の保護回路 |
| ES2550782T3 (es) | 2011-03-24 | 2015-11-12 | Koninklijke Philips N.V. | Aparato y método para analizar gradaciones de imágenes |
| US9451274B2 (en) | 2011-04-28 | 2016-09-20 | Koninklijke Philips N.V. | Apparatuses and methods for HDR image encoding and decoding |
| JP5992997B2 (ja) | 2011-04-28 | 2016-09-14 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 映像符号化信号を発生する方法及び装置 |
| EP2613532A1 (en) | 2012-01-06 | 2013-07-10 | Thomson Licensing | Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium |
| KR102014127B1 (ko) | 2012-03-26 | 2019-08-26 | 코닌클리케 필립스 엔.브이. | Ｈｄｒ 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들 |
| EP2831792B1 (en) | 2012-03-30 | 2020-12-30 | Intel Corporation | Providing an immutable antivirus payload for internet ready compute nodes |
| RU2652465C2 (ru) | 2012-07-13 | 2018-04-26 | Конинклейке Филипс Н.В. | Усовершенствованные способы и устройства для кодирования и декодирования hdr изображений |
| US9641894B2 (en) | 2012-09-12 | 2017-05-02 | Koninklijke Philips N.V. | Making HDR viewing a content owner agreed process |
| KR102105645B1 (ko) | 2012-10-08 | 2020-05-04 | 코닌클리케 필립스 엔.브이. | 색상 제한들을 통한 루미넌스 변화 이미지 처리 |
| WO2014128586A1 (en) | 2013-02-21 | 2014-08-28 | Koninklijke Philips N.V. | Improved hdr image encoding and decoding methods and devices |
| JP6368365B2 (ja) | 2013-07-18 | 2018-08-01 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Ｈｄｒイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 |
-
2017
- 2017-03-16 US US15/461,424 patent/US10699391B2/en active Active
- 2017-04-27 CN CN201710286246.3A patent/CN107341770B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102388612A (zh) * | 2009-03-13 | 2012-03-21 | 杜比实验室特许公司 | 高动态范围、可视动态范围和宽色域视频的分层压缩 |
| CN102696220A (zh) * | 2009-10-08 | 2012-09-26 | 国际商业机器公司 | 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统 |
| CN103069809A (zh) * | 2010-08-25 | 2013-04-24 | 杜比实验室特许公司 | 扩展图像动态范围 |
| US9172890B2 (en) * | 2013-07-01 | 2015-10-27 | Qualcomm Technologies, Inc. | Method, apparatus, and manufacture for enhanced resolution for images from high dynamic range (HDR) interlaced sensors |
| WO2015061335A2 (en) * | 2013-10-22 | 2015-04-30 | Dolby Laboratories Licensing Corporation | Guided color grading for extended dynamic range |
| CN104463820A (zh) * | 2014-10-29 | 2015-03-25 | 广东工业大学 | 一种基于频域的反色调映射算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170316553A1 (en) | 2017-11-02 |
| CN107341770A (zh) | 2017-11-10 |
| US10699391B2 (en) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10319085B2 (en) | Metadata-based image processing method and apparatus | |
| Lin et al. | Image enhancement using the averaging histogram equalization (AVHEQ) approach for contrast improvement and brightness preservation | |
| JP5032911B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN108027961B (zh) | 用于从数字图像提供扩展的动态范围图像的方法和装置 | |
| US9846826B2 (en) | Image processing to generate a tone curve for processing an image by associating a model parameter of the image with another model parameter of a reference image | |
| US8903169B1 (en) | Automatic adaptation to image processing pipeline | |
| KR20170031033A (ko) | 과노출 정정을 위한 방법, 시스템 및 장치 | |
| US20220222792A1 (en) | Method and system for image enhancement | |
| US8340411B2 (en) | Smart image resizing with color-based entropy and gradient operators | |
| US20210374925A1 (en) | Image Enhancement System and Method | |
| CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
| CN102202162A (zh) | 图像处理设备，图像处理方法和程序 | |
| CN113781320A (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
| Gong et al. | Recoding color transfer as a color homography | |
| CN107341770B (zh) | 动态范围扩展高亮信息恢复 | |
| Abebe et al. | Towards an automatic correction of over-exposure in photographs: Application to tone-mapping | |
| US20150178896A1 (en) | Image processing and enhancement methods and associated display systems | |
| US10963988B2 (en) | Image processing device, image processing system, image processing method, and program | |
| CN114693526A (zh) | 定向缩放系统和方法 | |
| Kao et al. | Tone reproduction in color imaging systems by histogram equalization of macro edges | |
| CN105631812B (zh) | 一种对显示图像进行色彩增强的控制方法及控制装置 | |
| US20200184693A1 (en) | Computer program, image processing method, and image processing apparatus | |
| JP2019165434A (ja) | 減少したクリップ領域を有するｈｄｒイメージを生成する方法及び装置 | |
| US20060033750A1 (en) | Method of primitive distribution and stroke rendering | |
| US20220092836A1 (en) | Information processing apparatus and non-transitory computer readable medium storing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |