CN102959583A - 色调映射高动态范围视频的图形用户界面 - Google Patents
色调映射高动态范围视频的图形用户界面 Download PDFInfo
- Publication number
- CN102959583A CN102959583A CN2011800314605A CN201180031460A CN102959583A CN 102959583 A CN102959583 A CN 102959583A CN 2011800314605 A CN2011800314605 A CN 2011800314605A CN 201180031460 A CN201180031460 A CN 201180031460A CN 102959583 A CN102959583 A CN 102959583A
- Authority
- CN
- China
- Prior art keywords
- video
- operator
- user interface
- region
- overall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 230000007704 transition Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000007430 reference method Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供了一种色调映射图形用户界面,它允许视频工程师使用一组用于将高动态范围数据变成较低动态范围数据的工具处理视频。
Description
相关申请的交叉引用
本申请要求申请于2010年6月25日的美国临时申请第61/358,605号的优先权,其全部内容通过引用并入本说明书。
技术领域
本发明涉及一种用于色调映射高动态范围视频的图形用户接口。
背景技术
视频工程师经常需要使用一组将高动态范围数据变化为低动态范围数据的工具处理视频。这些变化可以被用来例如适应不同的只具有较低的动态范围能力的显示装置。不同的低动态范围的设备也可能具有不同的范围。此外,确定将高动态范围的值映射到较低动态范围的值的最佳方式以产生最佳用户体验并不总是简单直接的。因此,有一种能够使用不同方式处理高动态范围数据以产生最终输出的图形用户界面是非常有用的。
发明内容
提供了一种通常允许一个视频工程师不一定在专业环境中使用一组将高动态范围(HDR)数据变化为低动态范围数据的工具处理视频的色调映射用户界面。该界面包括视频播放器区域,所述视频播放区域包括进行HDR转换的基于区域的方法的当前视频输出部分以及进行HDR转换的参考方法的当前视频输出部分。每个部分都具有相关联的视频片段和直方图区域。直方图区域的直方图示出了正在视频部分中显示的当前帧的直方图。该界面包括用户例如视频工程师可以选择和应用于视频部分的各种算子和滤波器。还提供了包括色调映射算子、光适应算子和后处理滤波器的细调选项。该界面显示用于分割一张或多张图像的锚点,并包括用户移动锚点导致新的分割的特征,该用户界面显示借此展示示出新的分割(例如,mask)以及基于该新的分割的新的色调映射后的输出的信息。
提供了一种使用图形用户界面处理视频数据的方法,该方法涉及:在图形用户界面的视频播放器区域显示视频数据的帧,其中该帧被显示在用于基于区域的色调映射的区域当前视频输出部分和显示在用于基于全局的色调映射的全局当前视频输出部分,其中该区域当前视频输出部分和该全局当前视频输出部分被并排布置;显示与视频播放器区域相邻的区域控制部分,该区域控制部分具有用于多个区域的区域可变曝光控制部件和区域可变对比度控制部件;以及显示与区域控制部分相邻的全局控制部分,该全局控制部分具有全局可变曝光控制部件和全局可变对比度控制部件;其中区域当前视频输出部分和全局当前视频输出部分同时显示在屏幕上。该方法可以进一步包括在区域当前视频输出部分显示区域视频部分和区域直方图区域,其中锚点被显示在全局直方图区域;以及在全局当前视频输出部分显示全局视频部分和全局直方图区域。附加的步骤可以包括显示互相邻近并位于视频播放器区域下方的算子部分和时间轴,其中时间轴展示正在被处理的视频帧的时间,并且其中时间轴和算子部分被同时显示在屏幕上。其它的步骤可以包括在屏幕上显示同时展示正在被处理的视频帧的单个颜色直方图的颜色直方图区域,其中颜色直方图区域与视频播放器区域相邻;通过图形用户界面至少调整用于多个区域的区域可变曝光控制部件和区域可变对比度控制部件对视频施加变化,其中视频变化的视觉结果被显示在视频播放器区域;或者通过图形用户界面添加至少一个算子到算子部分对视频施加变化,其中视频变化的视觉结果被显示在视频播放器区域。
附图说明
下面将通过举例的方式参照附图对本发明进行说明,附图中:
图1示出了在第一时间点的用户界面的第一视图;
图2示出了在第二时间点的用户界面的第二视图,它强调引入多个过度曝光的像素;
图3示出了在第二时间点的用户界面的第三视图,它强调能够移动算子和/或滤波器;
图4示出了在第三时间点的用户界面的第四视图,它强调能够添加并显示附加的算子和/或滤波器;
图5示出了在第三时间点的用户界面的第五视图,它强调能够在其它的算子工具条中添加并显示附加的算子和/或滤波器;
图6示出了在第一时间点的用户界面的第六视图,它强调能够改变曝光和对比度等级;
图7示出了在第四时间点的用户界面的第七视图,它强调能够移动锚点;以及
图8示出了在第四时间点的用户界面的第八视图,它强调能够同时编号单个颜色的曝光不足的像素和过度曝光的像素。
具体实施方式
图1示出了根据本发明一个实施方式的用户界面屏幕快照。本发明包括一种适用于当第一次启动对特定视频部分的色调映射任务时产生所示屏幕的算法。这里,特定视频部分可以是单个帧、单个序列或整部电影。
图1包括视频播放器区域10,其包括进行HDR转换的基于区域的方法的当前视频输出部分12以及使用例如全局处理(global process)进行HDR转换的参考方法的当前视频输出部分14。每个部分12、14都具有相关联的视频部分15和直方图区域18。直方图区域18示出了正在视频部分15中显示的当前帧的直方图。在图1的实施方式中,所有的直方图区域18以log2刻度展示了原始HDR图像的直方图。直方图是总数数据(population data),是强度的函数。
每个直方图区域还包括一个或多个示出直方图是如何被划分成若干区域以进行基于区域的处理的锚点16。注意到由于部分14的参考方法被假定为处理HDR内容的全局方法,因此只有一个区域和一个锚点。基于区域的方法在与对应的锚点相关联的直方图值上操作。与锚点(例如,左起第三个锚点)相关联的直方图值可以被定义为例如从第二和第三个锚点之间的中间点延伸到第三和第四个锚点之间的中间点的值。展现基于区域的方法和参考方法的当前视频帧允许例如视频工程师实时查看这两种处理方法的输出之间的差异。部分或视频播放器区域10还包括提供正在运行的示出在视频部分中的当前位置的计时器以及一系列用于控制视频部分的回放的控制按钮的计时器部分19。
注意到锚点是根据与给定算子对应的一组帧计算的。这会在下面参数设置区域和暗室的讨论中做进一步的说明。
图1包括包括当前帧的红色直方图22、绿色直方图24和蓝色直方图26的直方图区域20。每个颜色直方图22、24和26还有相关联的示出每个“过度曝光”和“曝光不足”的像素的等级(level)的读出数据28。读出数据28用“过度曝光”读出数据示出处于最大值(对8位字段,最大值通常是255)的像素的数目。读出数据28还用“曝光不足”读出数据示出可能处于8位字段的最小值的像素的数目,其中最小值通常是0。读出数据28的其它实施方式可以使用例如示出过度曝光或曝光不足的像素的百分比而非像素的实际数目的指示器。颜色直方图22、24和26在指示当前基于区域的设置是否在一种或多种颜色中产生饱和方面是有用的。
图1包括用于控制例如曝光和对比度的参数设置区域30。包括曝光和对比度是因为它们通常被视为是大多数观看者和/或视频工程师理解的高等级参数。区域30包括基于区域的控制部分32和所有区域控制部分34。基于区域的控制部分32包括分开的控制每个区域的曝光和对比度的控制器。图1在部分32中示出了5个区域,与5个锚点16对应。可以分别改变每个区域的曝光和/或对比度,或者可以使用所有区域(全局)控制部分34改变曝光和/或对比度。算法如此适应以使得通过移动所有区域控制部分34的控制器可以同时改变所有的区域。控制器可以被描绘成可以例如使用鼠标或其它定位装置移动的滑动条。
基于区域的控制部分32还包括每个的区域的掩蔽(mask)、权重图像或灰度图像36,其中帧的不同区域的图像被显示在图中36的虚线内,并用“seg”表示以方便展现,在其中展现的这些图像是视频播放器区域10中的图像的缩放版本。掩蔽通过对于那些处在该区域中具有更高概率或权重的位置使用更高的亮度或更亮的值来提供这个信息。当视频部分播放时,用户可以看到每一帧的权重图像变化,从而可以看到有多少帧使用或填充不同区域的视觉指示。
控制部分32、34适用于当前算子操作的整组帧。这在有关暗室的部分会做进一步的说明。
图1包括允许用户看到有关诸如工作建立、色调映射和细调的各种信息的信息的工作流程区域40。细调的选项显示在图1中,它包括各种视频工程师可以选择和应用于视频部分的算子和滤波器,这将在暗室的讨论部分进行说明。图1中所示的细调选项包括色调映射算子、光适应算子和后处理滤波器。
色调映射算子可以包括例如单曝光算子和基于区域的算子,其中单曝光算子是指已知的应用全局算法的色调映射技术,基于区域的算子是指私有色调映射算法。其它的色调映射算子也可以被包括在选项中,并用于处理视频部分。
光适应算子包括例如过渡处理器。在视频部分的光动态变化的部分中,优选地使用过渡处理器而不使用单个算子。本实施方式的过渡处理器在算子之间的任一侧内插(interpolate)以自动选择曝光和对比度设置,如以下讨论暗室将要描述的。并且,选择的曝光和对比度设置可以逐帧变化,这在光照逐帧变化时是很重要的。此外,在过渡处理器中,锚点和相关联的分割可能逐帧变化,而非在整个场景中保持不变。
后处理滤波器包括例如模糊滤波器和锐化滤波器。也可以包括并在处理视频部分时使用其它熟知的滤波器。虽然滤波器被应用于色调映射后的输出,但滤波器也可以在色调映射前应用。
工作流程区域40还允许用户控制有关工作建立的信息,诸如从哪里打开HDR文件,或者色调映射后的输出存储在哪里。工作流程区域40还允许用户选择自动色调映射或交互式的基于区域的色调映射。
图1包括暗室区域50。暗室区域50包括:平均亮度曲线52,它示出了视频部分中每个帧的平均亮度;时间图54,它示出了当前正在部分12和14中被观看的帧的时间,其中当前时间用图1中位于位置66秒处的点示出;算子部分55,它示出了各种被应用于视频部分的滤波器和算子应用的特定时间跨度。例如,在图1中,部分55包括基于区域的算子56,之后是过渡处理器57,之后是另外一个基于区域的算子58。所有图中的算子部分55都示出特定算子部分内的帧的小图像,其中图像被表示为“seg”以方便呈现。
例如,视频工程师或其它用户可以从工作流程区域40的细调部分拖拽一个基于区域的算子并将其放入算子部分55。然后,视频工程师可以调整插入的算子的两端以使得该算子应用于期望的时间跨度。视频工程师通常可以对不同的序列应用独立的基于区域的算子,然后将过渡算子57应用于两个序列之间的过渡期间。例如,过渡算子57可以被设计为在两个基于区域的算子之间进行内插。在一个实施方式中,过渡处理器对过渡处理器定义于其上的整个时间跨度进行内插。因此,例如,图1中过渡处理器57实际上在基于区域的算子56的结束时间之前开始,在基于区域的算子58的开始时间之后结束。然而,基于区域的算子在过渡处理器57开始时有效地停止,基于区域的算子58直到过渡处理器57结束不会开始。
尽管可以手动添加和调整算子,但是在本实施方式中,所有的算子都是自动生成的。每个算子都工作在帧的某一范围内,如时间图54中与算子边界重合的位置所示。每个算子的参数都被估计并被显示在参数设置区域30,如对比度和曝光参数。
并且,如稍前所示,对每个算子确定锚点,曝光和对比度控制器被独立地应用于每个算子。这对其中在时间上调整算子使得给定算子仅应用于特定视频序列的通常应用是有用的。用这种方式,由于锚点不会改变,因此每个特定的视频序列都可以具有恒定的曝光设置和恒定的对比度设置,区域边界在整个场景中也可以保持相对恒定。
图2示出了用户改变算子58的工作范围的结果。用户将算子58的开始时间向右拖拽到时间图54上较迟的开始时间,显示约为3:62。更普遍地说,用户可以改变任何算子的工作范围。当前帧被表示在3:62,并在部分22的红色直方图上显示出饱和。
图3示出了用户将算子58向左移动的结果。算子58的开始时间和结束时间都被移动到时间图54上左边的较早的时间。
图4示出了用户添加新算子的结果。这里,添加的是单曝光算子59。对于典型的HDR应用,存在多种不同的可用的色调映射方法。用户可以为每个场景选择不同的色调映射方法。图4显示从工作流程区域40将单曝光算子插入暗室50。
图5示出了用户添加更多算子的结果。例如,用户可以添加若干算子以获得不同的功能。例如,在本实施方式中,过渡算子将在过渡处理器的两端的算子之间内插色调映射参数。另外,模糊滤波器60被从工作流程区域40拖拽到暗室50,并显示为插入到过渡算子的下面。模糊滤波器用作后处理滤波器将高斯模糊应用于色调映射后的帧。
可以看到,对任何给定的帧可以应用多个算子。例如,图5示出了在时间图54上的时间约3:30处,基于区域的算子58、过渡处理器61和模糊滤波器60都是有效的。并且,这三个算子都具有不同的应用时间范围。然而,应该注意的是,在本实施方式中,基于过渡处理器的开始和结束时间,确定曝光/对比度设置和锚点。过渡处理器被应用以试图提供基于区域的算子和之前的单曝光算子之间的平滑过渡。在本实施例中,过渡处理器在之前的单曝光算子和之后的基于区域的算子的设置之间内插。然后,在过渡处理器进行色调映射之后,模糊滤波器60被应用于色调映射后的输出。
图6示出了用户改变曝光和对比度等级的结果。对每个算子,用户可以改变每个区域的曝光和对比度。可以通过移动给定区域的顶部滑条改变给定区域的曝光。可以通过移动所有区域控制部分34中的给定区域的底部滑条改变给定区域的对比度。与图1相比,只有区域10的曝光和对比度发生改变。值得注意的是,在本实施方式中每个算子的曝光和对比度等级是分别设置的。这意味着算子操作的整组帧的曝光和对比度等级将保持不变。当然,区域被期待取决于像素强度值逐帧改变,但是曝光和对比度设置保持不变。
图7示出了相比较于图1移动HDR直方图上的锚点16结果。对不同的算子,锚点可以是不同的。图7展示了第三场景中的一帧。对比地,图1展示了第一场景中的一帧。这样,算法如此适应以使得不同场景中的锚点可以是不同的。
图8示出了显示在屏幕上的输出可以如何引导用户处理视频片段。例如,用于色调映射后的图像的颜色直方图22、24和26可以引导用户改变参数。图8中,用于色调映射后的图像的颜色直方图在红色和蓝色通道中示出了大量饱和的像素。具体地,红色和蓝色通道的读出数据28示出在红色通道中的18,386个过度曝光像素以及在蓝色通道中的11,635个过度曝光像素。这个信息可以引导用户降低曝光。
算法适用于在屏幕上提供可以引导用户处理视频片段的信息。例如,亮度曲线52展示每一帧的平均亮度,并提供有关场景边界发生在何处的有用的提示。这可以引导用户选择暗室50中的算子的边界。
交互地改变关键帧的锚点也是可能的。锚点,被示为HDR直方图区域18中的点16,将定义将HDR图像分割成若干区域的分割。例如,图1中,定义了五个锚点,对应的分割区域被示为五个灰度图像或权重图像36。在这些灰度图像36中,如上面已经说明的,较亮的点意味着该像素属于当前具有较大权重的区域,反之亦然。一旦用户改变一个锚点,HDR图像的分割也会改变,因此图1中的五个灰度图像36将被重新计算并更新。与此同时,色调映射后的图像15和其R、G、B颜色直方图22、24、26也会被更新。因此,在此情形中,终端用户可以对分割进行一些控制,还可以对输出的色调映射后的图像15进行一些控制。
屏幕上存在一些引导用户修改锚点的提示。HDR直方图18有助于用户确定哪里是放置锚点的最佳位置。例如,通常在锚点之间保持一些距离以覆盖整个动态范围是比较好的。例如,这与在直方图的中间部分将锚点紧密地放置在一起是相反的。“权重图像”也为用户提供了改变锚点的直观提示。用户可以在观察权重图像的同时改变锚点以查看分割区域是否令人满意。即,用户可以观察以查看每个权重图像中是否存在亮点,这表明该区域正在被填满(populate)。如果该区域正在被填满,那么用户可以将锚点留在原地。然而,如果该区域未被填满,那么用户可以决定例如移动锚点使得未被填满的区域更大以使得该区域被填满,并被使用。替代性地,或者另外,用户可以决定删除与该未填满区域相关联的锚点以使得该区域扩大、更可能被填满并被使用。
算法如此适应以使得通常根据目标HDR图像/视频的动态范围自动计算锚点的数目。然而,增加或删除锚点也是可能的。这样做的优点与改变锚点差不多类似。例如,有时候,用户可以增加更多的锚点以更精细地控制色调映射后的图像。
在图1的实施例中,具有静态光照的场景的锚点通常是固定的。因此,改变关键帧的锚点将会影响同一场景中所有的帧。对具有动态光照的场景,例如在不透光的窗户逐步打开让阳光进入房间的例子里,锚点根据在前一场景和后一场景中的锚点自动内插。在此情形中,锚点在动态光照场景中逐帧变化。通常在此情况下,用户不需要改变锚点。
在参数设置窗口30,上面的滑条和下面的滑条可以改变每个区域的曝光和对比度参数,其由权重图像定义。从终端用户的角度来看,上面的滑条改变亮度,下面的滑条改变对比度。在窗口的底部,提供了两个附加的全局参数(即,所有区域控制部分34)以简化某些情况下的操作。移动全局曝光滑条将改变所有区域的曝光参数并且移动全局对比度滑条将改变所有区域的对比度参数。这两个全局滑条可以在例如终端用户想要改变全局亮度或对比度的情况下使用。例如,如果用户发现色调映射后的画面太亮,那么用户不需要分别减小每个区域的的曝光参数。取而代之,用户可以向左移动全局曝光滑条,这将导致同时向左移动每个区域所有的上面的(曝光)滑条。
许多特征可以从图1中所示的格式修改。例如,直方图可以与多个帧相关,而不仅仅与一个帧相关。并且,曝光和对比度参数也不需要对应用算子的所有帧都设成一样,而是可以例如对单个帧或更小组的帧设置。并且,锚点不需要对应用算子的所有帧都设成一样,而是可以例如对单个帧或更小组的帧设置。
总而言之,本说明书提供了若干个有关显示关于视频片段的信息和显示用于处理视频片段的功能(例如,算子)的实施方式。这些功能允许用户处理视频片段,尤其进行HDR图像的色调映射。显示的结果和信息(可以是直方图和/或平均亮度)还可以引导用户决定使用哪些功能或如何配置这些功能的参数(可以是开始时间、结束时间、曝光和/或对比度)。这些实施方式的变型和其它的应用也都被设想并落在公开范围内,描述的实施方式的特征和方面可以适应其它的实施方式。
本申请中描述的若干实施方式和特征可以被用在H.264/MPEG-4AVC(AVC)标准、和/或使用MVC扩展的AVC、和/或使用SVC扩展的AVC的环境中。并且,这些实施例和特征可以被用在另外一些标准的环境中,或者用在不涉及标准的环境中。
本说明书已经描述了多个实施方式。然而,应该理解的是,可以做出各种修改。例如,不同实施方式的元素可以被组合、补充、修改或移除以产生其它的实施方式。并且,本领域的普通的技术人员会理解的是其它的结构和过程可以替换已经公开的结构和过程,以此获得的实施方式将以至少实质上相同的方式执行至少实质上相同的功能以获得至少实质上与公开的实施方式相同的结果。因此,这些和其它的实施方式都被本申请所设想。
下面的陈列对多个实施方式进行了总结。这个陈列并不是详尽的列举,而仅用来示例许多可能的实施例中的一些实施方式。
1.显示用于对视频进行色调映射的信息。
2.实施方式1,包括接受用户控制色调映射的输入。
3.实施方式1-2,其中用户输入导致显示信息的变化。
4.实施方式1-3,其中显示的信息包括一个或多个色调映射前的视频、色调映射后的视频、使用参考模型进行色调映射后的视频和用于处理视频的参数。
5.实施方式4,其中参数包括一帧或若干帧(例如,一个序列)的一个或多个平均亮度、一帧或若干帧的颜色直方图、用于将一个或多个帧分割成若干区域的锚点的位置、一个或多个区域的曝光或对比度控制器以及示出算子定位的时间图。
6.实施方式1-5,其中显示器向用户展示基于数据(例如,平均亮度)的帧,用户输入算子的开始和/或结束时间,然后显示器基于用户输入的新的时间展示新的色调映射后的输出。
7.实施方式1-5,其中显示器向用户展示用于分割一个或多个图像的锚点,用户移动锚点将导致新的分割,然后显示器基于新的分割展示示出新的分割(例如,掩蔽)以及基于新的色调映射的输出的信息。
8.在例如前处理器、编码器、发送器、接收器、解码器或后处理器中的一种执行一个或多个上述实施例的处理装置。
9.一种包含实施方式8的处理装置的装置,诸如前处理器、编码器、发送器、接收器、解码器、后处理器、机顶盒、手机、便携式电脑或其它个人计算机、PDA或其它消费者通信设备。
10.一种包含从一个或多个上述实施方式产生的或由一个或多个上述实施方式的装置提供的数据或描述性信息的信号。
Claims (17)
1.一种用户界面,包括:
视频播放器区域;
在视频播放器区域中的区域当前视频输出部分,用于基于区域的色调映射;
在视频播放器区域中的全局当前视频输出部分,用于基于全局的色调映射;
在区域当前视频输出部分中的区域视频部分和区域直方图区域;
在全局当前视频输出部分中的全局视频部分和全局直方图区域;
具有用于多个区域的区域可变曝光控制和区域可变对比度控制的区域控制部分;以及
具有全局可变曝光控制和全局可变对比度控制的全局控制部分;
其中同时在屏幕上显示区域当前视频输出部分、全局当前视频输出部分、视频部分、直方图区域和控制部分。
2.如权利要求1所述的用户界面,包括在全局直方图区域中的锚点。
3.如权利要求2所述的用户界面,其中可以使用所述用户界面改变所述锚点。
4.如权利要求1所述的用户界面,包括算子部分和时间轴,其中时间轴展示正在被处理的视频帧的时间,并且其中时间轴和算子部分被同时显示在屏幕上。
5.如权利要求1所述的用户界面,包括在屏幕上显示同时展示正在被处理的视频帧的单个颜色直方图的颜色直方图区域。
6.如权利要求5所述的用户界面,包括在颜色直方图区域中的同时示出与颜色直方图相关联的单个颜色的每个被过度曝光或曝光不足的颜色的像素数目测量值的读出部分。
7.如权利要求4所述的用户界面,包括在屏幕上同时展示正在被处理的视频帧的单个颜色直方图的颜色直方图区域。
8.如权利要求7所述的用户界面,包括在颜色直方图区域中的同时示出与颜色直方图相关联的单个颜色的每个被过度曝光或曝光不足的颜色的像素数目测量值的读出部分。
9.如权利要求4所述的用户界面,其中所述算子部分包括多个沿着时间轴延伸的算子工具条,所述算子工具条适用于持有并显示一个或多个算子。
10.如权利要求9所述的用户界面,其中所述算子是模糊滤波器、过渡处理器、基于区域的算子或基于全局的算子。
11.如权利要求1所述的用户界面,其中所述用户界面适用于将较高动态范围的视频数据转换成较低动态范围的视频数据。
12.一种处理视频数据的方法,包括:
在图形用户界面的视频播放器区域显示视频数据的帧,其中所述帧被显示在用于基于区域的色调映射的区域当前视频输出部分和显示在用于基于全局的色调映射应的全局当前视频输出部分,其中所述区域当前视频输出部分和所述全局当前视频输出部分被并排布置;
显示与视频播放器区域相邻的区域控制部分,所述区域控制部分具有用于多个区域的区域可变曝光控制部件和区域可变对比度控制部件;以及
显示与区域控制部分相邻的全局控制部分,所述全局控制部分具有全局可变曝光控制部件和全局可变对比度控制部件;
其中区域当前视频输出部分和全局当前视频输出部分同时显示在屏幕上。
13.如权利要求12所述的方法,包括:
在区域当前视频输出部分显示区域视频部分和区域直方图区域,其中锚点被显示在全局直方图区域;以及
在全局当前视频输出部分显示全局视频部分和全局直方图区域。
14.如权利要求13所述的方法,包括:
显示互相邻近并位于视频播放器区域下方的算子部分和时间轴,其中时间轴展示正在被处理的视频帧的时间,并且其中时间轴和算子部分被同时显示在屏幕上。
15.如权利要求14所述的方法,包括:
在屏幕上显示同时展示正在被处理的视频帧的单个颜色直方图的颜色直方图区域,其中颜色直方图区域与视频播放器区域相邻。
16.如权利要求15所述的方法,包括:
通过图形用户界面至少调整用于多个区域的区域可变曝光控制部件和区域可变对比度控制部件对视频施加变化;其中视频变化的视觉结果被显示在视频播放器区域。
17.如权利要求15所述的方法,包括:
通过图形用户界面添加至少一个算子到算子部分对视频施加变化;其中视频变化的视觉结果被显示在视频播放器区域。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US35860510P | 2010-06-25 | 2010-06-25 | |
US61/358,605 | 2010-06-25 | ||
PCT/US2011/041564 WO2011163438A1 (en) | 2010-06-25 | 2011-06-23 | Graphical user interface for tone mapping high dynamic range video |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102959583A true CN102959583A (zh) | 2013-03-06 |
CN102959583B CN102959583B (zh) | 2016-08-03 |
Family
ID=44477689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180031460.5A Active CN102959583B (zh) | 2010-06-25 | 2011-06-23 | 色调映射高动态范围视频的图形用户界面 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10108314B2 (zh) |
EP (1) | EP2586010B1 (zh) |
JP (1) | JP6282863B2 (zh) |
KR (1) | KR101843902B1 (zh) |
CN (1) | CN102959583B (zh) |
WO (1) | WO2011163438A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109104633A (zh) * | 2018-08-30 | 2018-12-28 | Oppo广东移动通信有限公司 | 视频截图方法、装置、存储介质及移动终端 |
CN110610466A (zh) * | 2014-05-30 | 2019-12-24 | 深圳迈瑞生物医疗电子股份有限公司 | 选择性增强图像中感兴趣区域的系统和方法 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9064313B2 (en) * | 2012-09-28 | 2015-06-23 | Intel Corporation | Adaptive tone map to a region of interest to yield a low dynamic range image |
US9955084B1 (en) | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
WO2015013685A1 (en) | 2013-07-25 | 2015-01-29 | Convida Wireless, Llc | End-to-end m2m service layer sessions |
KR102244918B1 (ko) | 2014-07-11 | 2021-04-27 | 삼성전자주식회사 | 시인성을 향상시키고 전력 소모를 줄일 수 있는 디스플레이 컨트롤러와 이를 포함하는 디스플레이 시스템 |
USD766976S1 (en) * | 2014-08-18 | 2016-09-20 | Rockwell Collins, Inc. | Display panel with icon |
US10277771B1 (en) | 2014-08-21 | 2019-04-30 | Oliver Markus Haynold | Floating-point camera |
US10225485B1 (en) | 2014-10-12 | 2019-03-05 | Oliver Markus Haynold | Method and apparatus for accelerated tonemapping |
KR102309676B1 (ko) | 2015-07-24 | 2021-10-07 | 삼성전자주식회사 | 사용자 적응 이미지 보상기 |
US10114769B2 (en) * | 2015-08-19 | 2018-10-30 | Logitech Europe S.A. | Synchronization of computer peripheral effects |
JP6451669B2 (ja) | 2016-03-04 | 2019-01-16 | ソニー株式会社 | 評価装置、評価方法およびカメラシステム |
WO2017196670A1 (en) | 2016-05-13 | 2017-11-16 | Vid Scale, Inc. | Bit depth remapping based on viewing parameters |
EP3482566B1 (en) | 2016-07-08 | 2024-02-28 | InterDigital Madison Patent Holdings, SAS | Systems and methods for region-of-interest tone remapping |
US10932276B2 (en) | 2016-11-03 | 2021-02-23 | Convida Wireless, Llc | Frame structure in NR |
EP3583780B1 (en) | 2017-02-17 | 2023-04-05 | InterDigital Madison Patent Holdings, SAS | Systems and methods for selective object-of-interest zooming in streaming video |
US10706512B2 (en) * | 2017-03-07 | 2020-07-07 | Adobe Inc. | Preserving color in image brightness adjustment for exposure fusion |
CN110383848B (zh) | 2017-03-07 | 2022-05-06 | 交互数字麦迪逊专利控股公司 | 用于多设备呈现的定制视频流式传输 |
KR102553764B1 (ko) * | 2017-07-13 | 2023-07-10 | 삼성전자주식회사 | 전자 장치, 디스플레이 장치 및 그 제어 방법 |
KR20210066856A (ko) | 2018-09-27 | 2021-06-07 | 콘비다 와이어리스, 엘엘씨 | 새로운 라디오의 비허가 스펙트럼들에서의 부대역 동작들 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040001079A1 (en) * | 2002-07-01 | 2004-01-01 | Bin Zhao | Video editing GUI with layer view |
US6744968B1 (en) * | 1998-09-17 | 2004-06-01 | Sony Corporation | Method and system for processing clips |
US20050243176A1 (en) * | 2004-04-30 | 2005-11-03 | James Wu | Method of HDR image processing and manipulation |
US20060018538A1 (en) * | 2004-07-22 | 2006-01-26 | Eric Jeffrey | Histogram generation apparatus and method for operating the same |
US20060153445A1 (en) * | 2005-01-07 | 2006-07-13 | Ulead Systems, Inc. | Display methods for high dynamic range images and user interfaces for the same |
WO2009078862A1 (en) * | 2007-12-17 | 2009-06-25 | Hewlett-Packard Development Company, L.P. | Image processing using target values |
US7643035B2 (en) * | 2003-11-14 | 2010-01-05 | Microsoft Corporation | High dynamic range image viewing on low dynamic range displays |
US20100080448A1 (en) * | 2007-04-03 | 2010-04-01 | Wa James Tam | Method and graphical user interface for modifying depth maps |
US20100153520A1 (en) * | 2008-12-16 | 2010-06-17 | Michael Daun | Methods, systems, and media for creating, producing, and distributing video templates and video clips |
WO2010071839A1 (en) * | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | High dynamic range image combining |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5682326A (en) * | 1992-08-03 | 1997-10-28 | Radius Inc. | Desktop digital video processing system |
JP4055092B2 (ja) * | 1998-04-27 | 2008-03-05 | ソニー株式会社 | 撮像装置及び撮像方法 |
US7786999B1 (en) * | 2000-10-04 | 2010-08-31 | Apple Inc. | Edit display during rendering operations |
WO2002101646A2 (en) * | 2001-06-08 | 2002-12-19 | University Of Southern California | High dynamic range image editing |
US20020198789A1 (en) | 2001-06-22 | 2002-12-26 | Sony Corp. And Sony Music Entertainment, Inc. | Apparatus and method for identifying and purchasing music |
US6968337B2 (en) | 2001-07-10 | 2005-11-22 | Audible Magic Corporation | Method and apparatus for identifying an unknown work |
EP1345172A1 (en) * | 2002-02-26 | 2003-09-17 | Sony International (Europe) GmbH | Contrast enhancement for digital images |
US7525697B2 (en) * | 2002-07-15 | 2009-04-28 | Olympus Corporation | White balance processing apparatus and processing method thereof |
US6879731B2 (en) | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
US7751805B2 (en) | 2004-02-20 | 2010-07-06 | Google Inc. | Mobile image-based information retrieval system |
US7805678B1 (en) * | 2004-04-16 | 2010-09-28 | Apple Inc. | Editing within single timeline |
US8355030B2 (en) * | 2005-01-07 | 2013-01-15 | Corel Corporation | Display methods for high dynamic range images and user interfaces for the same |
US7873322B2 (en) | 2005-06-14 | 2011-01-18 | Acterna Llc | Ingress susceptibility on return path |
US7660464B1 (en) * | 2005-12-22 | 2010-02-09 | Adobe Systems Incorporated | User interface for high dynamic range merge image selection |
US7715047B2 (en) * | 2006-02-17 | 2010-05-11 | Seiko Epson Corporation | Image editing device |
US7822289B2 (en) | 2006-07-25 | 2010-10-26 | Microsoft Corporation | Locally adapted hierarchical basis preconditioning |
WO2008064349A1 (en) * | 2006-11-22 | 2008-05-29 | Nik Software, Inc. | Method for dynamic range editing |
US20080263450A1 (en) * | 2007-04-14 | 2008-10-23 | James Jacob Hodges | System and method to conform separately edited sequences |
US8444560B2 (en) * | 2007-05-14 | 2013-05-21 | Abbott Diabetes Care Inc. | Method and apparatus for providing data processing and control in a medical communication system |
US8237730B1 (en) * | 2008-01-23 | 2012-08-07 | Pixar Animation Studios | Tone mapping for motion pictures |
HUE031487T2 (en) * | 2008-04-16 | 2017-07-28 | Ge Video Compression Llc | Bit depth scalability |
FR2939265A1 (fr) * | 2008-12-03 | 2010-06-04 | Thomson Licensing | Procede de detection de mode film ou mode camera |
US8237743B2 (en) * | 2009-02-17 | 2012-08-07 | Xerox Corporation | Modification of images from a user's album for spot-the-differences |
US8818172B2 (en) * | 2009-04-14 | 2014-08-26 | Avid Technology, Inc. | Multi-user remote video editing |
US9195898B2 (en) | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
US20100281371A1 (en) * | 2009-04-30 | 2010-11-04 | Peter Warner | Navigation Tool for Video Presentations |
US8881013B2 (en) * | 2009-04-30 | 2014-11-04 | Apple Inc. | Tool for tracking versions of media sections in a composite presentation |
US8769421B2 (en) * | 2009-04-30 | 2014-07-01 | Apple Inc. | Graphical user interface for a media-editing application with a segmented timeline |
TWI378718B (en) * | 2009-06-05 | 2012-12-01 | Univ Nat Taiwan | Method for scaling video content according to bandwidth rate |
US8433150B2 (en) * | 2009-09-28 | 2013-04-30 | Peking University | Sample based tone mapping method for high dynamic range images |
US8831340B2 (en) * | 2010-01-27 | 2014-09-09 | Adobe Systems Incorporated | Methods and apparatus for tone mapping high dynamic range images |
US8525899B2 (en) * | 2010-05-27 | 2013-09-03 | Canon Kabushiki Kaisha | Image-capturing device, user interface and method for selective color balance adjustment |
US8819557B2 (en) * | 2010-07-15 | 2014-08-26 | Apple Inc. | Media-editing application with a free-form space for organizing or compositing media clips |
-
2011
- 2011-06-23 CN CN201180031460.5A patent/CN102959583B/zh active Active
- 2011-06-23 JP JP2013516759A patent/JP6282863B2/ja active Active
- 2011-06-23 EP EP11729347.2A patent/EP2586010B1/en active Active
- 2011-06-23 WO PCT/US2011/041564 patent/WO2011163438A1/en active Application Filing
- 2011-06-23 US US13/805,185 patent/US10108314B2/en active Active
- 2011-06-23 KR KR1020127033668A patent/KR101843902B1/ko active IP Right Grant
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6744968B1 (en) * | 1998-09-17 | 2004-06-01 | Sony Corporation | Method and system for processing clips |
US20040001079A1 (en) * | 2002-07-01 | 2004-01-01 | Bin Zhao | Video editing GUI with layer view |
US7643035B2 (en) * | 2003-11-14 | 2010-01-05 | Microsoft Corporation | High dynamic range image viewing on low dynamic range displays |
US20050243176A1 (en) * | 2004-04-30 | 2005-11-03 | James Wu | Method of HDR image processing and manipulation |
US20060018538A1 (en) * | 2004-07-22 | 2006-01-26 | Eric Jeffrey | Histogram generation apparatus and method for operating the same |
US20060153445A1 (en) * | 2005-01-07 | 2006-07-13 | Ulead Systems, Inc. | Display methods for high dynamic range images and user interfaces for the same |
US20100080448A1 (en) * | 2007-04-03 | 2010-04-01 | Wa James Tam | Method and graphical user interface for modifying depth maps |
WO2009078862A1 (en) * | 2007-12-17 | 2009-06-25 | Hewlett-Packard Development Company, L.P. | Image processing using target values |
US20100153520A1 (en) * | 2008-12-16 | 2010-06-17 | Michael Daun | Methods, systems, and media for creating, producing, and distributing video templates and video clips |
WO2010071839A1 (en) * | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | High dynamic range image combining |
Non-Patent Citations (1)
Title |
---|
ADOBE: "Using ADOBE PHOTOSHOP LIGHTROOM 2", 《HTTP://HELP.ADOBE.COM/EN_US/LIGHTROOM/2.0/LIGHTROOM_2_HELP.PDF》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610466A (zh) * | 2014-05-30 | 2019-12-24 | 深圳迈瑞生物医疗电子股份有限公司 | 选择性增强图像中感兴趣区域的系统和方法 |
CN109104633A (zh) * | 2018-08-30 | 2018-12-28 | Oppo广东移动通信有限公司 | 视频截图方法、装置、存储介质及移动终端 |
CN109104633B (zh) * | 2018-08-30 | 2021-09-28 | Oppo广东移动通信有限公司 | 视频截图方法、装置、存储介质及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
US10108314B2 (en) | 2018-10-23 |
JP2013537659A (ja) | 2013-10-03 |
EP2586010B1 (en) | 2018-08-08 |
WO2011163438A1 (en) | 2011-12-29 |
EP2586010A1 (en) | 2013-05-01 |
KR20130085371A (ko) | 2013-07-29 |
KR101843902B1 (ko) | 2018-04-02 |
JP6282863B2 (ja) | 2018-02-21 |
CN102959583B (zh) | 2016-08-03 |
US20130091430A1 (en) | 2013-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102959583A (zh) | 色调映射高动态范围视频的图形用户界面 | |
AU2016200002B2 (en) | High dynamic range transition | |
US7492375B2 (en) | High dynamic range image viewing on low dynamic range displays | |
CN106165390B (zh) | 图像处理装置、摄影装置、图像处理方法 | |
JP5512928B2 (ja) | 美的に高められた画像変換のための方法および装置 | |
RU2544793C2 (ru) | Устройство обработки изображений и способ управления таковыми | |
US20110310113A1 (en) | Displaying generated changes to an image file | |
JP2009520398A (ja) | 変動する照明条件の下で表示部を自動的に調整する装置及び方法 | |
DE102011078662A1 (de) | Erfassen und Erzeugen von Bildern mit hohem Dynamikbereich | |
KR20150019985A (ko) | 이미지의 동적 범위 향상을 위한 방법 및 장치 | |
CN102946513A (zh) | 一种启动拍摄装置高动态范围功能的方法、装置及终端 | |
CN101019416A (zh) | 成像设备 | |
JP2008299711A (ja) | 拡大観察装置、高階調画像ファイル作成方法、高階調画像ファイル作成方法、高階調画像ファイル作成プログラム及びコンピュータで読み取り可能な記録媒体 | |
JP4624248B2 (ja) | 画像処理装置、肌色調整方法及びプログラム | |
JP2014520446A (ja) | 画像の自動露出補正 | |
US10198794B2 (en) | System and method for adjusting perceived depth of an image | |
JP2006523343A (ja) | ディジタル画像の選択的エンハンスメント | |
JP2008301331A (ja) | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 | |
JPWO2013032008A1 (ja) | 画像処理装置、プログラム | |
US11727543B2 (en) | Systems and methods for content-aware enhancement of images | |
US20210082091A1 (en) | Digital image editing | |
JP3543774B2 (ja) | 画像処理装置、画像処理方法および記録媒体 | |
US20050262446A1 (en) | Display apparatus and control method thereof | |
DE102013020611B4 (de) | Ein Ansatz für eine Kamerasteuerung | |
US8711250B2 (en) | Image signal processing apparatus and image signal processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190529 Address after: France Patentee after: Interactive Digital CE Patent Holding Company Address before: I Si Eli Murli Nor, France Patentee before: Thomson Licensing Corp. |