CN113168674A - 自动化实时高动态范围内容查看系统 - Google Patents

自动化实时高动态范围内容查看系统 Download PDF

Info

Publication number
CN113168674A
CN113168674A CN201980081034.9A CN201980081034A CN113168674A CN 113168674 A CN113168674 A CN 113168674A CN 201980081034 A CN201980081034 A CN 201980081034A CN 113168674 A CN113168674 A CN 113168674A
Authority
CN
China
Prior art keywords
image
brightness
identified
bright
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081034.9A
Other languages
English (en)
Inventor
C·C·马雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN113168674A publication Critical patent/CN113168674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本文描述了能够标识和校正HDR图像中明亮区域中不正确和/或不一致的色调的方法、系统和计算机程序产品。明亮区域在图像中被标识。明亮区域被分类为指定分类。明亮区域的亮度值被确定并与对应于该分类的预定亮度值进行比较。存在失配的明亮区域的亮度值被调整以匹配预定亮度值。包括失配或不正确亮度值的明亮区域可在显示器上被渲染成包含指示此类区域包括失配亮度值的视觉指示符。

Description

自动化实时高动态范围内容查看系统
背景
“高动态范围”(HDR)内容是指包含色调(亮度、深度或色度)的内容(例如图像、视频)，其具有的动态范围(即，最大值和最小值之间的比率)被认为大于标准动态范围(SDR)(例如，使用传统伽马曲线渲染的图像/视频)。光源和光反射在HDR内容的视觉质量中起着重要作用。因此，当HDR图像包括具有不自然和不一致的亮度值的特征时，该图像的视觉质量会降低。
某些HDR内容是使用内容创作工具来“创作”的，而不是由诸如相机之类的录制设备所捕捉的。此类创作场景的各示例包括视频游戏、动画电影和电影中的视觉效果(“VFX”)。HDR内容也可以通过“自动创作”算法实现。这种类型的HDR内容既非录制也非利用内容创作工具手动创作。
在许多情况下，HDR内容是使用SDR显示设备来创作和/或编辑的。例如，视频游戏多年来一直在实时生成HDR图像，早在1997年就有了第一款利用HDR照明技术的视频游戏。要在SDR显示器上观看游戏的实时HDR图像，必须首先将这些图像中的HDR值处理到更小的亮度和颜色值范围内。此类处理通常称为色调映射。HDR显示器能够在不需要色调映射的情况下本地显示HDR内容，这自然会产生更好的视觉质量。
然而，直到2015年左右，所有消费类显示设备都是SDR且无法本地地显示HDR内容。因此，绝大多数消费者仍然只有SDR显示设备。此外，目前HDR显示器(尤其是可以轻松放在桌子上的小尺寸显示器)普及率低意味着大多数视频游戏内容创作者仍然使用SDR显示设备，并且事实上，许多内容创作工具仍然不支持HDR显示设备.换言之，大多数视频游戏内容(包括为HDR的内容)仍被掌握在SDR中。如此，在HDR内容创作期间，此类HDR内容可能会包括对光源和光反射的不自然和不一致的亮度值的无意使用，因为游戏内容创作者不能在用于创作HDR内容的SDR显示设备上实际地观看他们正在使用的HDR本地的亮度值。当在支持HDR的显示设备上显示HDR图像时，这可能会导致较低质量的HDR图像。
发明内容
提供本发明内容以便以简化的形式介绍以下在具体实施方式述中进一步描述的概念的选集。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。
本文描述的方法、系统和计算机程序产品能够检测HDR内容中具有不正确和/或不一致的色调的明亮区域并自动或手动校正此类色调。明亮区域在图像中被标识。明亮区域被分类为指定分类。明亮区域的亮度值被确定并与对应于该分类的预定亮度值进行比较。存在失配的明亮区域的亮度值被调整以匹配预定亮度值。包括失配或不正确亮度值的明亮区域可在显示器上被渲染成包含指示此类区域包括失配亮度值的视觉指示符。
对于此类失配的明亮区域，手动输入的亮度校正可被接收，或者校正可被自动生成。此类校正可被应用于HDR图像以产生经校正的HDR图像。可生成与同一图像中具有同一分类的另一明亮区域匹配的校正亮度值。除了生成对不正确亮度值的校正之外，还可跨明亮区域对亮度值应用缩放调整以生成经缩放和经调整的亮度值。
图像的明亮区域的标识和分类可以以各种方式被执行，诸如通过适当训练的机器学习模型。此类模型可使用包括明亮区域的图像来训练，其具有可在HDR内容中采用的分类(例如，太阳、月亮、火焰、爆炸、镜面高光等)。针对每类明亮区域的预定亮度值同样可由适当训练的机器学习模型来确定。此类模型不仅可使用预期分类的图像进行训练，而且还具有此类分类的期望范围的亮度值。替换地，预定亮度值可由技术美工、游戏开发者、其他内容创作者或其他人手动定义。
下文参考附图详细描述各示例的其他特征和优点以及结构和操作。注意，想法和技术不限于本文所描述的特定实施例。本文呈现这些示例仅用于说明性的用途。基于本文包含的示教，附加的示例对相关领域的技术人员将是显而易见的。
附图说明
合并到本文并构成说明书的一部分的附图例示了本申请的各实施例，并且与说明书一起进一步用于解释各实施例的原理并允许相关领域技术人员实施和使用这些实施例。
图1描绘了根据一实施例的包括HDR亮度校正器的示例HDR内容查看系统。
图2描绘了根据一实施例的示例亮度校正系统。
图3描绘了根据一实施例的由两个不同内容创作者创作且具有不同亮度值的同一图像中同一分类的示例HDR内容的两个实例。
图4描绘了根据一示例实施例的在SDR色调映射被应用之后的图3的示例HDR内容的SDR渲染。
图5描绘了根据一实施例的用于查看和校正HDR内容的方法的流程图。
图6描绘了根据一实施例的对图5的用于查看和校正HDR内容的流程图改进的流程图。
图7描绘了根据一实施例的用于自动确定用于经标识的明亮区域的经调整的亮度值的方法的流程图。
图8描绘了根据一实施例的用于将所显示的图像提供给机器学习模型以标识明亮区域的位置和大小的方法的流程图，该机器学习模型被训练成标识明亮区域。
图9描绘了根据一实施例的用于通过机器学习模型对经标识的明亮区域进行分类的方法的流程图。
图10描绘了可用于实现各实施例的示例基于处理器的计算机系统的框图。
当结合其中相同的附图标记标识对应的元素的附图时，各实施例的特征和优点将从以下阐述的详细描述中变得更加显而易见。在附图中，相同的附图标记一般指示等同的、功能上类似的、和/或结构上类似的元素。其中元素第一次出现的附图由对应附图标记中最左侧的(诸)数位来指示。
详细描述
引言
下面详细的描述公开了若干实施例。本专利申请的范围不限于所公开的各实施例，而且包括所公开的各实施例的各种组合以及对所公开的各实施例的各种修改。
说明书中对“一个实施例”、“一实施例”、“一示例实施例”等等的提及指示所描述的实施例可包括特定特征、结构或者特性，但是，每一个实施例可不必包括该特定特征、结构或者特性。此外，这些短语不一定指相同的实施例。此外，当结合某一实施例描述特征、结构或特性时，不管是否被明确描述，结合其他实施例来实现该特征、结构或特性被认为是在本领域技术人员的知识范围内。
以下描述多个示例性实施例。应当注意，在此提供的任何章节/子章节标题不旨在限制。本文档中描述了各实施例，并且任何类型的实施例可被包括在任何章节/子章节下。此外，在任何章节/子章节中公开的各实施例可与在相同章节/子章节和/或不同章节/子章节中描述的任何其它实施例以任何方式组合。
示例实施例
如上文提及的，HDR内容通常是使用SDR显示设备创作的，并事实上，当今大多数视频游戏内容都是使用SDR显示器创作的。在此类情况下，在内容创作期间，HDR内容的内容创作者不一定能在SDR显示器上看到各色调之间的差异，从而导致被意外用于光源和光反射的不自然和不一致的亮度值。这可能会导致质量较差的HDR图像。特别地，HDR显示器上的内容的观看者可能会看到同一图像中显示的各内容特征(例如，两个火焰)之间无法解释的色调差异，从而从观看者的角度来看降低了图像的质量。
SDR显示设备上的HDR内容的设计可能会导致进一步的问题。例如，一些内容创作工具可能会通过应用线性标量值来不自然地提高一些图像特征的亮度值，以便加强某些光源和视觉效果(VFX)。更进一步，不同的内容创作者可能对相同类型的光源和VFX使用不同的亮度值。示例为：
太阳在水面上的反射可能被创作成比实际的太阳更亮；
来自蜡烛的光可能被创作成比白炽灯更亮；
一个游戏关卡中的爆炸可能被创作成比另一个由不同内容创作者创作的关卡更亮；以及
月亮可能被创作成比聚光灯更亮，即使月亮不发射光。
最终结果是，即使虽然包括不一致和不自然的亮度值但在SDR显示设备上呈现的最终图像可能看起来正确，但同一图像在HDR显示设备上也可能看起来非常不自然和/或不一致。
为了纠正这些问题，内容创作者和制作者花费大量额外时间在不同的HDR显示器上查看诸如视频游戏之类的内容，以标识不一致和不自然的亮度值。一般来说，整个查看过程是非常耗时的。例如，在视频游戏的情况下，内容创作者和制作者必须通过大部分游戏关卡，或者在电影的情况下，必须观看大部分电影，而视频游戏或电影可能在特定内容创作者/制作者贡献的图像被创作很久之后才会完整地完成。随后为视频游戏或电影创作的内容可被创作成具有不同的亮度值。因此，各实施例实现了克服这些问题的更有效的HDR内容查看和亮度校正。现在讨论根据示例实施例的视频游戏上下文中的HDR内容查看过程的高级概述。
HDR内容查看过程从图形艺术家、游戏开发者或其他内容创作者创作HDR内容开始。通常，内容创作者选择场景中的一个或多个对象以使用HDR亮度值进行渲染，并定义要在运行时应用的亮度值。在完成场景中的HDR对象的创作之后，可使用新创作的HDR内容运行视频游戏。在视频游戏运行时，在内容创作期间定义的亮度值可被应用于场景中的HDR对象(并且还可根据需要被用于渲染附加视觉效果)以渲染最终HDR游戏图像(即，屏幕上显示的最终图像)。自动化实时HDR内容查看器的各实施例可接收最终HDR游戏图像并且可以如下操作。
在一个实施例中，最终HDR游戏图像被输入到适当训练的机器学习模型以标识最终HDR游戏图像中明亮区域的位置、大小和亮度值。在各实施例中，同一机器学习模型对此类明亮区域进行分类。也就是说，模型根据预标识的类别(即，火、太阳、月亮、前灯等)确定每个明亮区域所描绘的内容。自动化实时HDR内容查看器的各实施例然后可将所确定的每个明亮区域的亮度值与对应于所确定的分类的预定亮度值进行比较。例如，在一个实施例中，可向自动化实时HDR内容查看者提供用于各种HDR对象分类的预定亮度值的列表。每个对象的所确定的亮度值与该分类的对象的预定亮度值之间的失配指示所渲染的对象可能具有不自然和/或不一致的亮度值。
各实施例进一步使得能够用叠加在不自然和不一致的HDR对象上的视觉指示符来渲染最终HDR游戏图像。此后，各实施例可停止处理HDR图像并将控制返回给内容创作者以确定下一步的行动(例如，对对象亮度值的手动校正)。然而，在另一实施例中，不自然和不一致的HDR对象的亮度值可被自动调整以匹配与HDR对象分类相对应的预定值，以及在显示器上渲染最终HDR游戏图像的预览(连同用于标记此类对象以供查看的视觉指示符)。此后，内容创作者可检查HDR对象的预览渲染并确定自动亮度调整是否应被接受、拒绝或修改。
实时HDR内容查看器的这些和进一步的各实施例可以以各种方式被实现。例如，图1描绘了根据一实施例的包括HDR亮度校正器106的示例HDR内容查看系统100。如图1所示，系统100包括计算设备102和显示设备108。计算设备102包括在计算设备上执行的内容编辑工具104，其进而包括亮度校正器106。基于关于图1的系统100的讨论，其他结构和操作实施例将对于相关领域技术人员显而易见。
下文在图1的系统100和计算设备102的上下文中描述了各实施例的一般描述。应当理解，虽然根据由用户操作的计算设备102来描述，但是各实施例不限于此场景或计算硬件。例如，各实施例可在包括但不限于图形处理单元(“GPU”)和其他类型的计算硬件的各种硬件环境中半自主地或完全自主地操作。还应当注意的是，虽然本文中各实施例的描述通常是根据在视频游戏的上下文中处理的HDR图像和视频来表达的，但各实施例可有用地被用于检查和校正任何类型的HDR内容中的亮度值。
计算系统100的计算设备102可包括任何类型的计算设备，无论是移动的还是固定的，诸如台式计算机、服务器、视频游戏控制台等。计算设备102可以是任何类型的移动计算设备(例如，
Figure BDA0003103788430000061
设备、个人数字助理(PDA)、膝上型计算机、笔记本、平板电脑(诸如Apple iPadTM)、上网本等)，移动电话(例如，蜂窝电话、智能电话，诸如Microsoft
Figure BDA0003103788430000062
电话，苹果
Figure BDA0003103788430000063
实现
Figure BDA0003103788430000064
AndroidTM操作系统的手机等)，可穿戴计算设备(例如，包括智能眼镜(诸如
Figure BDA0003103788430000065
GlassTM、Oculus VR公司的Oculus
Figure BDA0003103788430000066
等)的头戴式设备)，固定计算设备(诸如台式计算机或PC(个人计算机))，游戏控制台/系统(例如Microsoft
Figure BDA0003103788430000067
Sony
Figure BDA0003103788430000068
Nintendo
Figure BDA0003103788430000069
或
Figure BDA00031037884300000610
等)等等。
在一实施例中，在计算设备102上执行的内容编辑器工具104使内容编辑、游戏开发者或其他有资格的人员能够针对本文上述性质的失配亮度值执行HDR内容查看。在一实施例中，包括在内容编辑工具104中的亮度校正器106能够以下述一般方式手动、半自动化或全自动地查看和校正不正确的亮度值。
作为初始事项，可将包括HDR内容以查看的视频或静止图像提供给计算设备102的内容编辑工具104以供在显示设备108上显示和查看。例如，HDR图像110可由内容编辑工具104加载或以其他方式访问，并在显示设备108上渲染。一旦可由内容编辑工具104的亮度校正器106访问，HDR视频和/或图像(诸如HDR图像110)可在各实施例中通过以下一般步骤的操作而使得不正确的亮度值被检测和校正，如下文进一步讨论：
标识和分类明亮区域
对于每个此类明亮区域：
确定该区域的亮度值；
将所确定的亮度值与对应于明亮区域分类的预定亮度值进行比较；
任选地：在需要校正的明亮区域上方渲染视觉指示符；
任选地：写日志文件，该日志文件包括具有不合适的亮度级别的明亮区域的列表以及包含视觉指示符的图像/框架的屏幕截图；
接受针对明亮区域的手动或自动生成的校正亮度值；
根据校正亮度值来校正明亮区域亮度；
图1的亮度校正器106的各实施例可以以各种方式配置来执行此类操作。例如，图2描绘了亮度校正器106的实施例。如图2所示，亮度校正器106包括图像分类器204、亮度分析器206、图像渲染器208、亮度调节器210、记录器214和存储组件216。亮度校正器106被如下进一步详细描述。
在各实施例中，HDR图像110由图像分类器204接收。图像分类器204被配置成随后标识和分类包含在图像(包括视频)(诸如HDR图像110)中的明亮区域。作为初始事项，图像分类器204的各实施例必须确定场景中是否存在明亮区域、该区域位于何处、其大小以及该明亮区域的标识(例如，诸如明亮区域112之类的篝火)。图像分类器204可以以各种方式配置以执行这些功能，包括根据机器视觉、图像识别或用于标识图像中的对象的其他算法来执行此类标识和分类。此类算法的各示例包括卷积神经网络、基于外观的方法(例如，边缘匹配、分治搜索、灰度匹配、感受野响应的直方图、大型模型库)，基于特征的方法(例如，解释树、姿势一致性、姿势聚类、不变性、几何散列、缩放不变特征变换(SIFT)、加速鲁棒特征(SURF))，遗传算法等。如下文更详细地描述的，机器学习(“ML”)算法可被有用地用于此类标识和分类任务。在各实施例中，包括在图像分类器204中的适当训练的机器学习模型可被提供受检阅的图像(例如，HDR图像110)，并且产生明亮区域220的列表，包括它们的位置、大小和分类。现在将简要地讨论各实施例的示例HDR和SDR图像，此后将在下面继续讨论如图2所描述的亮度校正器106。
例如，图3描绘了包括具有相同分类的内容项302和304的示例HDR内容图像300。特别地，内容项302和304各自为内容图像300中的明亮区域并且都分类为“火”。如图3所示，内容项302被创作成具有500尼特的平均火HDR亮度。另一方面，内容项304是由不同的内容创作者所创作的，其平均火HDR亮度为1000尼特。如上文讨论的，这些HDR亮度值表示当在支持HDR的显示设备上本地显示时各内容部分的预期亮度。亮度在500和1000尼特之间的差异过大，以至于人类观看者会注意到HDR显示设备上的这种差异。如上文提及的，图像中内容亮度的此类失配可能会因由各个内容创作者使用SDR显示器而造成。
例如，考虑图4，图4描绘了根据一示例实施例的在SDR色调映射被应用之后将图3的示例HDR内容图像300SDR渲染成SDR图像400。由于SDR显示设备在物理上无法显示可能被编码在HDR图像中的整个亮度值范围，因此图像的亮度值必须被缩放以适应SDR显示设备的动态范围。此类缩放过程通常称为色调映射。图4的经缩放的HDR内容402和404例示了在SDR色调映射之后以及在SDR显示设备上显示时内容项302和304可能是什么样子。尽管经色调映射的SDR内容402和404确实具有明显不同的亮度值(即，SDR内容402看起来比SDR内容404亮度稍低)，但差异可能不足以在SDR显示器上引起注意，或者可能在同一分类内容的可容忍差异范围内。为此，对内容项302和304的创作者之一或两者而言看上去亮度值是令人满意的，和/或彼此足够接近以基本上相同。然而，当HDR内容项302和304如图3中所示地显示(其中内容项302和304彼此之间显著不同)时就会出现问题。
现在返回到如图2所描述的对亮度校正器106的讨论，请回想图像分类器204被配置成标识和分类HDR图像110中的明亮区域，并且产生明亮区域的列表(称为明亮区域220)，其指示位置(例如，通过最左上像素坐标，中心像素坐标等)、大小(例如，被标识成像素坐标的二维数组的矩形或其他形状)和每个亮度区域的分类(例如，通过分类名称、分类标识符等)。
在各实施例中，明亮区域220列表由亮度分析器206接收。由明亮区域220指示的每个明亮区域由亮度分析器206分析以确定该明亮区域的整体亮度值。亮度分析器206可被配置成以多种方式执行此类分析，包括颜色值的直方图分析、对单色值的运算、对值求平均等等。例如，各实施例可根据明亮区域的峰值RGB(红-绿-蓝)值(即，最大的R G或B值)或峰值平均值(即，每个像素的最大R+B+G/3值)来设置整体亮度值。替换地，各实施例可绘制明亮区域中亮度值的直方图，并将该区域的亮度值设置为直方图的中值。在其他各实施例中，感知调整因子也可被用于将人类亮度感知的非线性考虑在内。
在确定每个明亮区域的亮度值之后，亮度分析器206的各实施例被配置成将每个所确定的亮度值与明亮区域220列表中反映的明亮区域分类相对应的预定亮度值进行比较。例如，可以为HDR内容中可能遇到的每类明亮区域预定亮度值。特别地，游戏设计者或内容编辑者可将例如火、爆炸或太阳的亮度值分别预定为1000、3000或10000尼特。因此，亮度校正器106的各实施例可检测HDR图像110的明亮区域112，将明亮区域112分类为火，并将其亮度值确定为500尼特。在此示例中，在将500尼特的值与1000尼特的预定值进行比较时，亮度分析器206的各实施例确定针对该明亮区域的用于进行校正的亮度。在对明亮区域220的每个检测到的和经分类的明亮区域执行上述比较之后，亮度分析器206被配置成生成需要作为不正确的明亮区域222进行校正的明亮区域及其位置和尺寸的列表。
在确定需要校正的明亮区域之后，各实施例可通过多种方式来执行校正。例如，在一个实施例中，图像渲染器208接收不正确的明亮区域222，并在显示屏上(例如，在图1的显示设备108上)在明亮区域上方(例如，图1中的明亮区域112上方)渲染可视化以标记此类区域以供内容创作者或内容编辑者查看。此类可视化可具有任何合适的形式，包括明亮区域上的半透明突出显示、明亮区域周围适当着色的边界框等。在一个实施例中，除了在被标记的明亮区域上方渲染可视化之外，各实施例还可将临时的或建议的亮度调整自动地应用于该明亮区域。替换地，图像渲染器208可被配置成向亮度调节器210提供建议的亮度值224。
在各实施例中，取决于亮度校正器106的配置，亮度调节器210可被配置成以不同方式操作。例如，亮度调节器210可被配置成自动且永久地将临时或建议的亮度值应用于明亮区域以产生包括对每个明亮区域的校正的校正图像226。替换地，亮度调节器210可被配置成允许回顾先前应用的临时/建议的亮度值，并允许此类改变被拒绝或接受。后一替代方案可出于各种原因而执行，诸如图像分类器204的机器学习模型将图像的各部分错误标识为具有不正确的亮度值，出于艺术原因导致不应接受此类临时/建议的亮度值(例如，当建议的亮度调整是基于物理上真实的亮度值，但正在查看的HDR图像旨在看起来“卡通”)等。在亮度调节器210的另一实施例中，建议的亮度值224可以不作为预览被应用于HDR图像，而是在接受来自内容编辑者或开发者的手动输入的亮度校正值时作为建议的亮度值被呈现给内容编辑者。无论是自动地校正亮度值还是经由手动输入校正亮度值，亮度调节器210都被配置成应用校正亮度值来渲染校正图像226。
在另一实施例中，亮度校正器106可被配置成作为自动化图像测试工具来操作。在此类实施例中，用于查看的HDR图像可被批量地提供给亮度调节器106，其中每个图像由如上文描述的图像分类器204处理来生成明亮区域220的列表以输入到亮度分析器206，该亮度分析器206进而确定不正确的明亮区域222。然而，在此实施例中，不正确的明亮区域222可以被提供给或可以不被提供给图像渲染器208以便以上述方式对图像进行交互式查看。此外，亮度分析器206可生成需要校正的此类明亮区域的日志218。日志218可以包括关于每个明亮区域的数据和元数据(例如，位置、大小、分类、所确定的亮度)，并且可以包括具有如上文描述的可视化的图像渲染器208的输出的屏幕截图。在一实施例中，记录器214可被配置成接收来自亮度分析器206的日志218并对日志218进行处理以供存储在存储组件216中。
注意，虽然以上对亮度校正器106的各实施例的描述是根据各种类型的列表来表达的，但是应当理解，各实施例不需要产生或存储文字列表，并且可采用表示关于每个上文提及的列表所描述的数据的其他类型的数据结构或装置。在各实施例中，例如，上文提及的列表可包括任意数量的不同数据结构(无论是在存储器中，还是以某种方式存储)。此类数据结构可包括例如数组、关联数组、链表、记录、对象(包括对象方法)、堆栈、队列或图。
亮度校正器106可以以各种方式来操作以执行其功能。例如，图5描绘了根据一实施例的用于查看和校正HDR内容的方法的流程图500。继续参考图1和4来描述图5。然而，基于以下关于图1和4的流程图500和亮度校正器106的讨论，其他结构和操作实施例对(诸)相关领域的技术人员将是显而易见的。
如图5所示，流程图500开始于步骤502。在步骤502，在图像中，该图像中作为明亮区域的一部分被标识。例如，并继续参考图2，图像分类器204可在诸如HDR图像110之类的图像中标识作为图像的部分的一个或多个明亮区域。如上文所讨论的，图像分类器204可被配置成使用适当训练的机器学习模型(在下文中更详细地讨论)来执行此类标识。例如，图像分类器204可标识图像300中的明亮区域302和304。
在步骤504，经标识的明亮区域被分类为预定分类集合的指定分类。例如，并继续参考图2，图像分类器204可被配置成对在HDR图像110中标识的各明亮区域执行分类，如上文所讨论的，并且在下文进一步详细讨论。
图5的流程图500以步骤506继续。在步骤506，明亮区域的亮度值被确定。例如，图2的图像分类器204可向亮度分析器206提供明亮区域220中的明亮区域列表(包括它们的位置、大小和分类)。如上文所讨论的，亮度分析器206被配置成确定每个经标识的和经分类的明亮区域的亮度值。
在步骤508，将所确定的亮度值与对应于指定分类的预定亮度值进行比较。例如，并且如上文参考图2所讨论的，亮度分析器206可被配置成将明亮区域的所确定的亮度值与对应于指定分类的预定亮度值进行比较。也就是说，根据上文讨论的示例，亮度分析器206可被配置成将针对“火”确定的亮度值与1000尼特的预定值进行比较。如图2所示，亮度分析器206生成不正确的明亮区域222，其包括具有与经标识的明亮区域的分类的预定亮度值失匹(例如，精确地或在预定阈值内)的亮度值的经标识的明亮区域。
图5的流程图500以步骤510继续。在步骤510，基于所述比较来将所确定的亮度值调整为针对明亮区域的经调整的亮度值。例如，并且如上文参考图2所讨论的，亮度调节器210被配置成自动地或在手动协助下，调整在不正确的明亮区域222中标识为需要由亮度分析器206校正的明亮区域的亮度值。
图5的流程图500以步骤512结束。在步骤512，包括具有经调整的亮度值的明亮区域的图像被渲染。例如，并继续参考图2，亮度调节器210可被配置成应用必要的亮度调整来生成校正图像226，该校正图像226可进而被提供给图像渲染器208以供渲染。
在对流程图500的步骤502-512的前述讨论中，应当理解，有时，此类步骤可以以不同的顺序执行，或甚至可以与其他步骤同时执行。例如，分别在步骤502和504的标识和分类可由同一机器学习模型同时执行。其他操作实施例对于相关领域的技术人员将是显而易见的。还要注意，亮度校正器106的操作的上述一般描述仅用于说明，并且亮度校正器106的各实施例可包括不同的硬件和/或软件，并且可以与上述不同的方式来操作。实际上，流程图500的各步骤可以以各种方式来执行。
例如，图6描绘了根据一实施例的对如图5的流程图500中所描绘的用于查看和校正HDR内容的方法的改进的流程图。继续参考图1、4和5来描述图6。然而，基于以下关于图1、4和5的流程图600的讨论，其他结构和操作实施例对(诸)相关领域的技术人员将是显而易见的。
如图6所示，流程图600开始于步骤602。在步骤602，在将所确定的亮度值调整为经调整的亮度值之前，基于所确定的亮度值与预定亮度值的差异来确定所确定的亮度值是不正确的。例如，并继续参考图2，分析器206被配置成将在步骤506确定的亮度值与对应于指定分类的预定亮度值进行比较。在一实施例中，亮度分析器206可被配置成确定针对给定明亮区域确定的亮度值与对应于指定分类的预定亮度值之间的差异。亮度分析器206可使用所确定的差异来确定针对相关联的明亮区域的亮度值是不正确的，例如，其中所确定的差异以绝对值或百分比形式超过预定阈值。
在步骤604，在调整所确定的亮度值的过程中，在所述图像中对应于所述经标识的明亮区域的位置上渲染视觉指示符。例如，并继续参考图2，图像渲染器208被配置成在对应于由亮度分析器206标识的不正确的明亮区域222的位置中渲染视觉指示符。此类视觉指示符可以包括，例如，围绕明亮区域的边界框或例示哪里需要校正的一些其他手段。
流程图600在步骤606结束。在步骤606，在调整所确定的亮度值的过程中，接收针对所标识的明亮区域的手动校正亮度值(即，经由从图形艺术家、游戏开发者、其他内容创作者或其他人手动输入到用户界面而接受的亮度值)作为经调整的亮度值。例如，并且如上文参考图2详细讨论的，亮度校正器106的亮度调节器210被配置成接受针对每个经标识的明亮区域的手动校正亮度值，或自动生成的校正亮度值。在一实施例中，自动生成的校正亮度值可被用于预览建议的图像变化，其然后可被手动地接受、拒绝或更改。
图7描绘了根据一实施例的用于自动确定针对经标识的明亮区域的经调整的亮度值的方法的流程图。继续参考图1、4和5来描述图7。然而，基于以下关于图1、4和5的流程图700的讨论，其他结构和操作实施例对(诸)相关领域的技术人员将是显而易见的。
图7的流程图700包括步骤702。在步骤702，在将所确定的亮度值调整为经调整的亮度值之前，针对经标识的明亮区域的经调整的亮度值被自动地确定。例如，并且如上文参考图6的流程图600详细讨论的，亮度校正器106的亮度调节器210被配置成接受针对每个经标识的明亮区域的手动校正亮度值，或自动生成的校正亮度值。在一实施例中，自动生成的校正亮度值可被用于预览建议的图像变化，其然后可被手动地接受、拒绝或更改。在一个实施例中，可以生成自动生成的校正亮度值，以匹配由亮度分析器206用于确定明亮区域需要校正的预定亮度值(即，与分类相关联的亮度值)。
如上文描述的，图像分类器204可使用多种算法中的任一种来标识和分类明亮区域。例如，图8描绘了根据一实施例的用于标识和分类明亮区域的机器学习模型的方法的流程图800。继续参考图1、4和5来描述图8。然而，基于以下关于图1、4和5的流程图800的讨论，其他结构和操作实施例对(诸)相关领域的技术人员将是显而易见的。
图8的流程图800包括步骤802。在步骤802，所显示的图像被提供给机器学习模型以标识所述明亮区域的位置和大小，所述机器学习模型被训练成标识明亮区域。例如，并继续参考图2，图像分类器204可被配置成通过使用适当训练的机器学习模型来标识HDR图像110内明亮区域的位置和大小，如下文更详细讨论的。
适用于由图像分类器204使用的经训练的机器学习模型可以以各种方式被生成。例如，为了生成此类模型，可在诸如TensorFlowTM之类的机器学习(ML)应用中执行视频游戏以生成包括视频游戏的视频流(或视频流的各帧的一些子集)的训练数据。替换地，电影或包括HDR内容的其他内容可在ML应用内回放以训练机器学习模型。训练阶段生成机器学习模型，该模型能够标识和分类实时游戏期间的各图像或者基于从中提取的静止图像、或以其他方式提供的图像中的各明亮区域。替换地，机器学习模型可在从视频游戏中提取的静止图像或者以其他方式包含各种位置、亮度强度和分类的明亮区域的静止图像上进行训练。
提供给ML应用的视频流和/或静止图像通常伴随着其他数据或元数据(“训练指示”)，其标识每个帧或图像中的感兴趣区域(即，希望ML模型一旦被训练就能够检测和分类的HDR内容的类)。例如，训练指示可标识每个图像/帧内的光源(诸如太阳、月亮、火、爆炸、镜面高光、前灯、尾灯、牌照等)的位置、强度和分类。总之，游戏中所有的各种类型的光源，包括光源在不同类型物体上的反射，都应该被包含在训练集中。诸如这些或其他被确定为对特定游戏场景重要的光源可在训练阶段期间由内容创作者/游戏开发者用户(或自动地)标记，诸如通过指示它们在视频或图像帧中的位置(例如，由用户通过用点指示对象的位置、通过在对象周围绘制框等)。
在一实施例中，ML应用可被配置成接收和处理训练视频和/或静止图像以及相应的训练指示，以训练机器语言模型。ML应用可使用任何合适的技术来生成模型，包括受监督的ML模型生成算法，诸如受监督的向量机(SVM)、线性回归、逻辑回归、朴素贝叶斯、线性判别分析、决策树、k近邻算法、神经网络等。在一实施例中，生成的模型能够提供指示是否在视频帧或静止图像中标识出特定类别的明亮区域的置信水平。
在获得适当训练的ML模型之后，将图像分类器204(其合并了ML模型)的各实施例被提供给具有正在开发的场景、视频或静止图像(例如HDR图像110)的模型以便检测和分类最终HDR游戏图像中的明亮区域。在一个实施例中，并且如上文讨论的，可向亮度分析器206提供所有此类检测和分类的明亮区域的列表220(包括明亮区域的关于分类的细节(例如，火对照太阳对照前灯等)、位置和大小)。
图9描绘了根据一实施例的用于通过机器学习模型对经标识的明亮区域进行分类的方法的流程图900。继续参考图1、4和5来描述图9。然而，基于以下关于图1、4和5的流程图900的讨论，其他结构和操作实施例对(诸)相关领域的技术人员将是显而易见的。
图9的流程图900包括步骤902。在步骤902中，经标识的明亮区域由机器学习模型进行分类。例如，正如上面所讨论的，图像分类器204可包括适当训练的机器学习模型以不仅执行对明亮区域的位置和大小的标识，而且还根据其类型对此类区域进行分类(即，火对照太阳对照前灯等)。
示例计算机系统实现
内容编辑器工具104、亮度校正器106、图像分类器204、亮度分析器206、图像渲染器208、亮度调节器210、记录器214和流程图500、600、700、800和/或900可被实现在硬件或与软件和/或固件组合的硬件中。例如，内容编辑器工具104、亮度校正器106、图像分类器204、亮度分析器206、图像渲染器208、亮度调节器210、记录器214和流程图500、600、700、800和/或900可被实现为配置成在一个或多个处理器中执行并存储在计算机可读存储介质中的计算机程序代码/指令。替换地，内容编辑器工具104、亮度校正器106、图像分类器204、亮度分析器206、图像渲染器208、亮度调节器210、记录器214和流程图500、600、700、800和/或900可以被实现为硬件逻辑/电路系统。
例如，在一个实施例中，内容编辑器工具104、亮度校正器106、图像分类器204、亮度分析器206、图像渲染器208、亮度调节器210、记录器214和流程图500、600、700、800和/或900中的一个或多个以任意组合可被一起实现在SoC中。SoC可包括集成电路芯片，该集成电路芯片包括以下各项中的一者或多者：处理器(例如，中央处理单元(CPU)、微控制器、微处理器、数字信号处理器(DSP)等)、存储器、一个或多个通信接口、和/或其他电路，并且可以可选地执行接收到的程序代码和/或包括嵌入式固件以执行功能。
图10描绘了其中可实现各实施例的计算设备1000的示例性实现。例如，内容编辑器工具104、亮度校正器106、图像分类器204、亮度分析器206、图像渲染器208、亮度调节器210和记录器214可各自被实现在与固定或移动计算机实现中的计算设备800相似的一个或多个计算设备800中，包括计算设备800的一个或多个特征和/或替换特征。本文中所提供的对计算设备1000的描述只是为了说明，并不旨在限制。各实施例也可以在相关领域的技术人员所知的其他类型的计算机系统中实现。
如图10所示，计算设备1000包括一个或多个处理器(被称为处理器电路1002)、系统存储器1004，以及将包括系统存储器1006的各种系统组件耦合到处理器电路1004的总线1002。处理器电路1002是用一个或多个物理硬件电子电路设备元件和/或集成电路器件(半导体材料芯片或管芯)实现为中央处理单元(CPU)、微控制器、微处理器、和/或其他物理硬件处理器电路的电子和/或光学电路。处理器电路1002可执行存储在计算机可读介质中的程序代码，诸如操作系统1030、应用程序1032、其他程序1034的程序代码等。总线1006表示若干类型的总线结构中的任何总线结构中的一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口，以及处理器或使用各种总线体系结构中的任一种的局部总线。系统存储器1004包括只读存储器(ROM)1008和随机存取存储器(RAM)1010。基本输入/输出系统1012(BIOS)被存储在ROM 1008中。
计算设备1000还具有一个或多个以下驱动器：用于读写硬盘的硬盘驱动器1014、用于读或写可移动磁盘1016的磁盘驱动器1018、以及用于读或写诸如CD ROM、DVD ROM或其他光介质之类的可移动光盘1020的光盘驱动器1022。硬盘驱动器1014、磁盘驱动器1016、以及光盘驱动器1020分别通过硬盘驱动器接口1024、磁盘驱动器接口1026、以及光盘驱动器接口1028连接至总线1006。这些驱动器以及它们相关联的计算机可读介质为计算机提供了对计算机可读指令、数据结构、程序模块及其他数据的非易失存储。虽然描述了硬盘、可移动磁盘和可移动光盘，但是诸如闪存卡、数字视频盘、RAM、ROM之类的其他类型的基于硬件的计算机可读存储介质和其他硬件存储介质也可被用来储存数据。
数个程序模块可被存储在硬盘、磁盘、光盘、ROM或RAM上。这些程序包括操作系统1030、一个或多个应用程序1032、其他程序1034以及程序数据1036。应用程序1032或其他程序1034可包括例如用于实现内容编辑器工具104、亮度校正器106、图像分类器204、亮度分析器206、图像渲染器208、亮度调节器210、记录器214和流程图500、600、700、800和/或900(包括流程图500、600、700、800和/或900的任何适当步骤)和/或本文进一步描述的其他实施例的计算机程序逻辑(例如，计算机程序代码或指令)。
用户可通过诸如键盘1038和定点设备1040之类的输入设备向计算设备1000中输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、碟型卫星天线、扫描仪、触摸屏和/或触摸平板、用于接收语音输入的语音识别系统、用于接收姿势输入的姿势识别系统，等等。这些及其他输入设备通常通过耦合到总线1006的串行端口接口1042来连接到处理器电路1002，但是也可以通过其他接口(诸如并行端口、游戏端口、或通用串行总线(USB))来进行连接。
显示屏1044也经由接口(诸如视频适配器1046)来连接到总线1006。显示屏1044可以在计算设备1000外部或纳入其中。显示屏1044可显示信息，以及作为用于接收用户命令和/或其他信息(例如，通过触摸、手指姿势、虚拟键盘等)的用户界面。除了显示屏1044之外，计算设备1000还可包括其他外围输出设备(未示出)，诸如扬声器和打印机。
计算设备1000通过适配器或网络接口1048、调制解调器1050、或用于通过网络建立通信的其他装置连接到网络1052(例如，因特网)。可以是内置的或外置的调制解调器1052可以经由串行端口接口1042连接到总线1006，如图10所示，或者可以使用包括并行接口的另一接口类型连接到总线1006。
如本文中所使用的，术语“计算机程序介质”、“计算机可读介质”以及“计算机可读存储介质”被用于指物理硬件介质，诸如与硬盘驱动器1014相关联的硬盘、可移动磁盘1018、可移动光盘1022、其他物理硬件介质(诸如RAM、ROM)、闪存卡、数字视频盘、zip盘、MEM、基于纳米的存储设备，以及其他类型的物理/有形硬件存储介质。此类计算机可读存储介质与通信介质相区别且不交叠(不包括通信介质)。通信介质在诸如载波等已调制数据信号中承载计算机可读指令、数据结构、程序模块或其他数据。术语“已调制数据信号”意指以在信号中对信息进行编码的方式来使其一个或多个特性被设置或改变的信号。作为示例而非限制，通信介质包括无线介质(诸如声学、RF、红外和其他无线介质)以及有线介质。各实施例还涉及与针对计算机可读存储介质的实施例分开且不交叠的这类通信介质。
如以上所指出的，计算机程序和模块(包括应用程序1032及其他程序1034)可被存储在硬盘、磁盘、光盘、ROM、RAM或其他硬件存储介质上。此类计算机程序也可以经由网络接口1050、串行端口接口1042或任何其他接口类型来接收。这些计算机程序在由应用执行或加载时使计算机1000能够实现本文中所描述的各实施例的特征。相应地，此类计算机程序表示计算机系统1000的控制器。
各实施例还涉及包括存储在任何计算机可读介质上的计算机代码或指令的计算机程序产品。此类计算机程序产品包括硬盘驱动器、光盘驱动器、存储器设备包、便携式记忆棒、存储器卡以及其他类型的物理存储硬件。
附加示例实施例
本文描述了一种方法。所述方法包括：在图像中标识作为所述图像的一部分的明亮区域；将经标识的明亮区域分类为预定分类集合的指定分类；确定所述经标识的明亮区域的亮度值；将所确定的亮度值与对应于所述指定分类的预定亮度值进行比较；基于所述比较来将所述经标识的明亮区域的亮度值调整为经调整的亮度值；以及渲染包括具有所述经调整的亮度值的所述经标识的明亮区域的所述图像。
在上述方法的一个实施例中，比较包括：基于所确定的亮度值与所述预定亮度值的差异来确定所确定的亮度值是不正确的；以及其中所述调整进一步包括：在所述图像中对应于所述经标识的明亮区域的位置上渲染视觉指示符；以及接收针对所述经标识的明亮区域的手动校正亮度值作为所述经调整的亮度值。
在上述方法的附加实施例中，调整包括：自动确定针对所述经标识的明亮区域的所述经调整的亮度值。
在上述方法的一个实施例中，调整包括：将所述经标识的明亮区域的亮度值调整为与针对所述图像中具有所述指定分类的第二明亮区域的亮度值相同的经调整的亮度值。
在上述方法的另一实施例中，渲染包括：对所述经调整的亮度值应用线性缩放来将所显示的图像中的视觉效果考虑在内，以生成经缩放和经调整的亮度值；以及渲染包括具有所述经缩放和经调整的亮度值的所述经标识的明亮区域的所显示的图像。
在上述方法的附加实施例中，标识包括：将所显示的图像提供给机器学习模型以标识所述明亮区域的位置和大小，所述机器学习模型被训练成标识明亮区域。
在上述方法的一个实施例中，分类包括：通过所述机器学习模型对所述经标识的明亮区域进行分类。
在上述方法的另一实施例中，该方法进一步包括：记录所述经标识的明亮区域的信息和在所述图像中针对其经调整的亮度值被确定的至少一个其他明亮区域的信息。
本文描述了一种系统。在一个实施例中，所述系统包括：一个或多个处理器电路；连接到所述一个或多个处理器电路的一个或多个存储器设备，所述一个或多个存储器设备存储由所述一个或多个处理器电路执行的计算机程序逻辑，所述计算机程序逻辑包括：图像分类器，所述图像分类器被配置成：在所显示的图像中标识作为所显示的图像的一部分的明亮区域；以及将经标识的明亮区域分类为预定分类集合的指定分类；亮度分析器，所述亮度分析器被配置成确定所述经标识的明亮区域的亮度值，并确定所确定的亮度值与对应于所述指定分类的预定亮度值之间的比较；图像渲染器，所述图像渲染器被配置成渲染包括具有经调整的亮度值的所述经标识的明亮区域的所述图像；以及亮度调整器，所述亮度调整器被配置成基于所述比较来将所述经标识的明亮区域的亮度值调整为经调整的亮度值，所述图像渲染器被进一步配置成渲染包括具有所述经调整的亮度值的所述经标识的明亮区域的所述图像。
在上述系统的一个实施例中，确定比较包括：基于所确定的亮度值与所述预定亮度值的差异来确定所确定的亮度值是不正确的；以及其中所述亮度调节器被配置成通过接收针对所述经标识的明亮区域的手动校正亮度值作为所述经调整的亮度值来调整所述经标识的明亮区域的亮度值。
在上述系统的另一实施例中，所述亮度调节器被配置成：自动确定针对所述经标识的明亮区域的所述经调整的亮度值。
在上述系统的附加实施例中，所述亮度调节器被配置成：将所述经标识的明亮区域的亮度值调整为与针对所述图像中具有所述指定分类的第二明亮区域的亮度值相同的经调整的亮度值。
在上述系统的一个实施例中，所述图像渲染器被进一步配置成：对所述经调整的亮度值应用线性缩放来将所显示的图像中的视觉效果考虑在内，以生成经缩放和经调整的亮度值；以及渲染包括具有所述经缩放和经调整的亮度值的所述经标识的明亮区域的所显示的图像。
在上述系统的另一实施例中，标识包括：将所显示的图像提供给机器学习模型以标识所述明亮区域的位置和大小，所述机器学习模型被训练成标识明亮区域。
在上述系统的附加实施例中，分类包括：通过所述机器学习模型对所述经标识的明亮区域进行分类。
在上述系统的一个实施例中，该系统进一步包括：记录器，所述记录器被配置成记录所述经标识的明亮区域的信息和在所述图像中针对其经调整的亮度值被确定的至少一个其他明亮区域的信息。
本文描述了一种其上记录有计算机程序逻辑的计算机可读存储器设备，所述计算机程序逻辑在由计算机设备的至少一个处理器执行时使得所述至少一个处理器执行操作。在计算机程序产品的一个实施例中，所述操作包括：在图像中标识作为所述图像的一部分的明亮区域；将经标识的明亮区域分类为预定分类集合的指定分类；确定所述经标识的明亮区域的亮度值；将所确定的亮度值与对应于所述指定分类的预定亮度值进行比较；基于所述比较来将所述经标识的明亮区域的亮度值调整为经调整的亮度值；以及渲染包括具有所述经调整的亮度值的所述经标识的明亮区域的所述图像。
在上述计算机可读存储器设备的一个实施例中，所述比较包括：基于所确定的亮度值与所述预定亮度值的差异来确定所确定的亮度值是不正确的；以及其中所述调整进一步包括：在所述图像中对应于所述经标识的明亮区域的位置上渲染视觉指示符；接收针对所述经标识的明亮区域的手动校正亮度值作为所述经调整的亮度值。
在上述计算机可读存储器设备的另一实施例中，所述调整包括：自动确定针对所述经标识的明亮区域的所述经调整的亮度值。
在上述计算机可读存储器设备的附加实施例中，调整包括：将所述经标识的明亮区域的亮度值调整为与针对所述图像中具有所述指定分类的第二明亮区域的亮度值相同的经调整的亮度值。
结语
尽管上文描述了所公开的主题的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。(诸)相关领域的技术人员将理解，在不偏离如所附权利要求书所定义的各实施例的精神和范围的情况下，可以在形式和细节方面进行各种修改。相应地，所公开的主题的范围不应受到以上所描述的示例性实施例中的任一个的限制，而只应根据下面的权利要求及其等同物来限定。

Claims (15)

1.一种方法，包括：
在图像中标识作为所述图像的一部分的明亮区域；
将经标识的明亮区域分类为预定分类集合的指定分类；
确定所述经标识的明亮区域的亮度值；
将所确定的亮度值与对应于所述指定分类的预定亮度值进行比较；
基于所述比较来将所述经标识的明亮区域的亮度值调整为经调整的亮度值；以及
渲染包括具有所述经调整的亮度值的所述经标识的明亮区域的所述图像。
2.如权利要求1所述的方法，其特征在于，所述比较包括：
基于所确定的亮度值与所述预定亮度值的差异来确定所确定的亮度值是不正确的；以及
其中所述调整进一步包括：
在所述图像中对应于所述经标识的明亮区域的位置上渲染视觉指示符；以及
接收针对所述经标识的明亮区域的手动校正亮度值作为所述经调整的亮度值。
3.如权利要求1所述的方法，其特征在于，所述调整包括：
自动确定针对所述经标识的明亮区域的所述经调整的亮度值。
4.如权利要求1所述的方法，其特征在于，所述调整包括：
将所述经标识的明亮区域的亮度值调整为与针对所述图像中具有所述指定分类的第二明亮区域的亮度值相同的经调整的亮度值。
5.如权利要求1所述的方法，其特征在于，所述渲染包括：
对所述经调整的亮度值应用线性缩放来将所显示的图像中的视觉效果考虑在内，以生成经缩放和经调整的亮度值；以及
渲染包括具有所述经缩放和经调整的亮度值的所述经标识的明亮区域的所显示的图像。
6.如权利要求1所述的方法，其特征在于，所述标识包括：
将所显示的图像提供给机器学习模型以标识所述明亮区域的位置和大小，所述机器学习模型被训练成标识明亮区域。
7.如权利要求6所述的方法，其特征在于，所述分类包括：
通过所述机器学习模型对所述经标识的明亮区域进行分类。
8.如权利要求1所述的方法，其特征在于，进一步包括：
记录所述经标识的明亮区域的信息或其经调整的亮度值被确定的明亮区域的信息。
9.一种系统，包括：
一个或多个处理器电路；
连接到所述一个或多个处理器电路的一个或多个存储器设备，所述一个或多个存储器设备存储由所述一个或多个处理器电路执行的计算机程序逻辑，所述计算机程序逻辑包括：
图像分类器，所述图像分类器被配置成：
在所显示的图像中标识作为所显示的图像的一部分的明亮区域；以及
将经标识的明亮区域分类为预定分类集合的指定分类；
亮度分析器，所述亮度分析器被配置成确定所述经标识的明亮区域的亮度值，并确定所确定的亮度值与对应于所述指定分类的预定亮度值之间的比较；
图像渲染器，所述图像渲染器被配置成渲染包括具有经调整的亮度值的所述经标识的明亮区域的所述图像；以及
亮度调整器，所述亮度调整器被配置成基于所述比较来将所述经标识的明亮区域的亮度值调整为经调整的亮度值，所述图像渲染器被进一步配置成渲染包括具有所述经调整的亮度值的所述经标识的明亮区域的所述图像。
10.如权利要求9所述的系统，其特征在于，确定比较包括：
基于所确定的亮度值与所述预定亮度值的差异来确定所确定的亮度值是不正确的；以及
其中所述亮度调节器被配置成通过接收针对所述经标识的明亮区域的手动校正亮度值作为所述经调整的亮度值来调整所述经标识的明亮区域的亮度值。
11.如权利要求9所述的系统，其特征在于，所述亮度调节器被配置成自动确定针对所述经标识的明亮区域的所述经调整的亮度值。
12.如权利要求9所述的系统，其特征在于，所述标识包括：
将所显示的图像提供给机器学习模型以标识所述明亮区域的位置和大小，所述机器学习模型被训练成标识明亮区域。
13.如权利要求12所述的系统，其特征在于，所述分类包括：
通过所述机器学习模型对所述经标识的明亮区域进行分类。
14.如权利要求9所述的系统，其特征在于，进一步包括：
记录器，所述记录器被配置成记录所述经标识的明亮区域的信息和在所述图像中针对其经调整的亮度值被确定的至少一个其他明亮区域的信息。
15.一种其上记录有计算机程序逻辑的计算机可读存储器设备，包括：
用于使得处理器能够执行权利要求1-8中任一步骤的计算机程序逻辑。
CN201980081034.9A 2018-12-05 2019-11-27 自动化实时高动态范围内容查看系统 Pending CN113168674A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/211,003 US11049224B2 (en) 2018-12-05 2018-12-05 Automated real-time high dynamic range content review system
US16/211,003 2018-12-05
PCT/US2019/063482 WO2020117575A1 (en) 2018-12-05 2019-11-27 Automated real-time high dynamic range content review system

Publications (1)

Publication Number Publication Date
CN113168674A true CN113168674A (zh) 2021-07-23

Family

ID=68966042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081034.9A Pending CN113168674A (zh) 2018-12-05 2019-11-27 自动化实时高动态范围内容查看系统

Country Status (13)

Country Link
US (1) US11049224B2 (zh)
EP (1) EP3874449A1 (zh)
JP (1) JP7383022B2 (zh)
KR (1) KR20210098997A (zh)
CN (1) CN113168674A (zh)
AU (1) AU2019393742A1 (zh)
BR (1) BR112021008735A2 (zh)
CA (1) CA3119512A1 (zh)
IL (1) IL283461A (zh)
MX (1) MX2021006335A (zh)
SG (1) SG11202105298WA (zh)
WO (1) WO2020117575A1 (zh)
ZA (1) ZA202103318B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994514A (zh) * 2023-09-26 2023-11-03 永林电子股份有限公司 一种基于图像识别的车用显示亮度控制方法、装置及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4147447A1 (en) * 2020-05-05 2023-03-15 InterDigital VC Holdings France Chroma boost on sdr and hdr display adapted signals for sl-hdrx systems
EP4371038A1 (en) * 2021-07-13 2024-05-22 Rapiscan Systems, Inc. Image inspection systems and methods for integrating third party artificial intelligence platforms

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744989B2 (ja) * 1995-12-05 2006-02-15 オリンパス株式会社 色分類装置及びその領域補正方法
US7130485B2 (en) * 2002-10-02 2006-10-31 Eastman Kodak Company Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions
US7336819B2 (en) * 2003-12-29 2008-02-26 Eastman Kodak Company Detection of sky in digital color images
US7356193B2 (en) * 2004-04-01 2008-04-08 Eastman Kodak Company Detection of hanging wires in digital color images
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
US7636496B2 (en) 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
US20100091119A1 (en) 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
JP4386959B1 (ja) 2009-02-06 2009-12-16 正浩 小林 画像処理装置
JP2011015222A (ja) * 2009-07-02 2011-01-20 Fujifilm Corp 撮像装置及び撮像制御方法
US8644638B2 (en) 2011-02-25 2014-02-04 Microsoft Corporation Automatic localized adjustment of image shadows and highlights
JP2013164796A (ja) * 2012-02-13 2013-08-22 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
US9536290B2 (en) 2012-06-10 2017-01-03 Apple Inc. Tempered auto-adjusting, image-editing operation
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
US8958658B1 (en) 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
JP6557848B2 (ja) 2013-11-14 2019-08-14 日本電気株式会社 画像処理システム
JP6327071B2 (ja) * 2014-09-03 2018-05-23 オムロン株式会社 画像処理装置および画像処理方法
JP2016058848A (ja) 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
AU2015201623A1 (en) * 2015-03-30 2016-10-20 Canon Kabushiki Kaisha Choosing optimal images with preference distributions
WO2016176209A1 (en) 2015-04-28 2016-11-03 Dolby Laboratories Licensing Corporation Image highlight detection and rendering
EP3139342A1 (en) 2015-09-02 2017-03-08 Thomson Licensing Methods, systems and apparatus for over-exposure correction
KR101801266B1 (ko) * 2016-02-01 2017-11-28 한양대학교 에리카산학협력단 이미지 분류 방법 및 장치
WO2017176487A1 (en) * 2016-04-08 2017-10-12 Orbital Insight, Inc. Remote determination of quantity stored in containers in geographical region
US11227170B2 (en) * 2017-07-20 2022-01-18 Panasonic Intellectual Property Management Co., Ltd. Collation device and collation method
JP2019061484A (ja) * 2017-09-26 2019-04-18 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP7075271B2 (ja) * 2018-04-20 2022-05-25 キヤノン株式会社 画像処理装置、情報表示装置、制御方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994514A (zh) * 2023-09-26 2023-11-03 永林电子股份有限公司 一种基于图像识别的车用显示亮度控制方法、装置及系统
CN116994514B (zh) * 2023-09-26 2024-01-02 永林电子股份有限公司 一种基于图像识别的车用显示亮度控制方法、装置及系统

Also Published As

Publication number Publication date
BR112021008735A2 (pt) 2021-08-10
KR20210098997A (ko) 2021-08-11
JP7383022B2 (ja) 2023-11-17
MX2021006335A (es) 2021-08-11
CA3119512A1 (en) 2020-06-11
EP3874449A1 (en) 2021-09-08
AU2019393742A1 (en) 2021-05-27
SG11202105298WA (en) 2021-06-29
US11049224B2 (en) 2021-06-29
ZA202103318B (en) 2022-10-26
WO2020117575A1 (en) 2020-06-11
US20200184612A1 (en) 2020-06-11
IL283461A (en) 2021-07-29
JP2022515011A (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
US9552536B2 (en) Image processing device, information storage device, and image processing method
JP7383022B2 (ja) 自動リアルタイム高ダイナミックレンジコンテンツレビューシステム
US9070044B2 (en) Image adjustment
US9292911B2 (en) Automatic image adjustment parameter correction
US8903169B1 (en) Automatic adaptation to image processing pipeline
Joshi et al. OpenCV by example
US9930218B2 (en) Content aware improvement of captured document images
CN110913205B (zh) 视频特效的校验方法及装置
CN112990205B (zh) 手写字符样本的生成方法及装置、电子设备、存储介质
EP3561776A1 (en) Method and apparatus for processing a 3d scene
CN113436222A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
US11348254B2 (en) Visual search method, computer device, and storage medium
CN114758054A (zh) 光斑添加方法、装置、设备及存储介质
US11823433B1 (en) Shadow removal for local feature detector and descriptor learning using a camera sensor sensitivity model
Dong et al. Learning-based texture synthesis and automatic inpainting using support vector machines
CN106909547B (zh) 基于浏览器的图片加载方法及装置
RU2810697C2 (ru) Автоматизированная система просмотра контента с высоким динамическим диапазоном в реальном времени
CN111242836A (zh) 目标图像生成以及广告图像生成的方法、装置和设备
CN114387315A (zh) 图像处理模型训练、图像处理方法、装置、设备及介质
Escrivá et al. Learn OpenCV 4 by Building Projects: Build real-world computer vision and image processing applications with OpenCV and C++
CN111353532A (zh) 图像生成方法及装置、计算机可读存储介质、电子设备
Wang et al. Multi illumination color constancy based on multi-scale supervision and single-scale estimation cascade convolution neural network
US11488342B1 (en) Material map identification and augmentation
CN116962817B (zh) 视频处理方法、装置、电子设备及存储介质
CN114676360A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40053263

Country of ref document: HK