CN107888943A - 图像处理 - Google Patents

图像处理 Download PDF

Info

Publication number
CN107888943A
CN107888943A CN201710907214.0A CN201710907214A CN107888943A CN 107888943 A CN107888943 A CN 107888943A CN 201710907214 A CN201710907214 A CN 201710907214A CN 107888943 A CN107888943 A CN 107888943A
Authority
CN
China
Prior art keywords
image data
input
tone
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710907214.0A
Other languages
English (en)
Other versions
CN107888943B (zh
Inventor
维亚切斯拉夫·切斯诺科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM
Original Assignee
Apical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apical Ltd filed Critical Apical Ltd
Publication of CN107888943A publication Critical patent/CN107888943A/zh
Application granted granted Critical
Publication of CN107888943B publication Critical patent/CN107888943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/94—
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

本公开涉及图像处理。一种方法，包括接收输入图像文件的至少一部分。输入图像文件的至少一部分包括：表示图像的输入图像数据；以及参考色调映射强度数据，其表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数。该方法还包括将输入图像数据和输入值输入到色调映射操作。色调映射操作被应用于输入图像数据以生成表示应用了该数量的空间变化色调映射的输出图像的输出图像数据。

Description

图像处理
技术领域
本发明涉及用于处理图像的方法和计算设备。
背景技术
动态范围通常被理解为指图像或场景的最亮部分和最暗部分的强度之 间的比率。在从明亮的阳光到深度阴影的范围内的图像通常被认为具有高 动态范围，而具有较低对比度的室内场景往往具有较低动态范围。
已知调整图像的动态范围以使用所谓的“色调映射”来增强图像的质 量。例如，可以使用色调映射来增强图像中可见的细节水平，同时仍保持 图像的自然外观。这允许例如利用较低动态范围来近似高动态范围图像的 外观。
在已知方法中，显示设备的亮度以及应用到表示图像的显示数据的动 态范围压缩的数量都依靠环境光水平来进行控制。这可以跨宽范围的环境 光条件维持恒定有效动态范围，从而在各种不同的观看环境中提供给令人 满意的图像观看体验。
期望提供允许更多灵活性的图像处理方法，例如，应用到图像的色调 映射的数量中的更多灵活性。
发明内容
根据本公开的一个实施例，提供了一种方法，包括：接收输入图像文 件的至少一部分，输入图像文件的至少一部分包括：输入图像数据，该输 入图像数据表示图像；以及参考色调映射强度数据，该参考色调映射强度 数据表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射 强度参数；将输入图像数据和输入值输入到色调映射操作；以及将色调映 射操作应用于输入图像数据以生成表示应用了该数量的空间变化色调映射的输出图像的输出图像数据。
根据本公开的另一实施例，提供了一种计算设备，包括：存储装置， 其用于存储输入图像文件的至少一部分，输入图像文件的至少一部分包括： 输入图像数据，该输入图像数据表示图像；以及参考色调映射强度数据， 该参考色调映射强度数据表示用于导出表示空间变化色调映射的数量的输 入值的参考色调映射强度参数；至少一个处理器，该至少一个处理器通信 地耦合到存储装置；以及色调映射模块，该色调映射模块被配置为：接收 输入图像数据和输入值；以及将色调映射操作应用于输入图像数据以生成 表示应用了该数量的空间变化色调映射的输出图像的输出图像数据。
附图说明
结合附图，本公开的各个特征从以下具体实施方式中将是明显的，这 些附图通过仅示例的方式一起示出了本公开的特征，并且其中：
图1是示出根据示例的方法的流程图；
图2是示出用于与根据示例的方法(例如，图1的方法)一起使用的 示例系统的说明性概述的示意图；
图3是示出图2的一个或多个数据库、服务器设备、计算设备、以及 显示设备之间的通信的示例的序列图；
图4是示出根据示例的色调映射模块的示意图；
图5是示出根据另一示例的色调映射模块的示意图；
图6是示出根据又一示例的色调映射模块的示意图；
图7是示出包括两个色调映射操作的示例的示意图；
图8是示出计算设备的内部组件的示例的示意图；
图9是示出根据示例的解码器的内部组件的示例的示意图；以及
图10是示出示例JPEG XT编码解码器的示意图。
具体实施方式
参考附图，根据示例的方法的细节从以下描述中将变得明显。在该描 述中，为了解释的目的，阐述了一些示例的许多具体细节。在本说明书中， 对“示例”或类似语言的引用表示结合该示例所描述的特定特征、结构、 或特性被包括在至少该一个示例中，但不一定被包括在其他示例中。还应 注意的是，为了便于解释和理解示例的概念，概要地描述了一些示例，而 省略和/或必要地简化了一些特征。
本文描述的示例提供了处理图像的方法，例如，可以使用计算设备来 实现该方法。图像可以是全部或整个图像，或较大图像的部分、一些、或 子集。例如，图像是：来自计算设备的浏览器(例如，智能电话的浏览器) 所访问的网页的图像；计算设备的图像获取设备(例如，相机)所获取的 图像；或下载到或存储在计算设备的存储装置中的图像。图像可包括任意 图形或视觉内容，例如，文本、图形、图片、和/或照片。
图1是示出根据示例的图像处理方法的流程图。图1的方法包括接收 输入图像文件的至少一部分。输入图像文件可以是用于表示图像的任意适 当的格式。通用格式包括联合图像专家组(JPEG，ISO/IEC 10918)格式 或JPEG XT(ISO/IEC 18477)格式。
输入图像文件的至少一部分包括输入图像数据。输入图像数据可包括 图像的每个像素的强度值，其可以以例如8位数据的每个色带从0到255 的灰度级或亮度级来存储。0的灰度级例如对应于最暗强度(例如，黑色) 并且255的灰度级例如对应于最亮强度(例如，白色)，0和255之间的 灰度级对应于黑色和白色之间的中间强度。输入图像数据还可包括与输入 图像数据所表示的图像的颜色相关的颜色数据。例如，当图像是彩色图像 时，可以针对每个颜色通道分别存储强度或亮度的像素值或每个像素。若 像素由例如RGB中的三原色(红色、绿色、蓝色)或YUV颜色空间(其 中，Y表示颜色的亮度、U表示颜色的蓝色分量和亮度之间的差异、以及 V表示颜色的红色分量和亮度之间的差异)来表示，则每个像素的视觉外 观可以由三个强度值来表示，每个原色一个强度值。如技术人员将理解的， 输入图像数据可以使用任意适当的表示来表示图像，该任意适当的表示可 以与上面列出的示例不同，这些示例仅是说明性的。
输入图像文件的至少一部分还包括参考色调映射强度数据，其表示用 于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数。 输入值可以等于参考色调映射强度参数，从而允许从参考色调映射强度参 数简单地导出输入值。替代地，参考色调映射强度参数可以自己或利用附 加的数据来处理、改变、或调整，以导出输入值。下面更详细地描述导出 输入值的示例。
参考色调映射强度数据可以是与输入图像数据相关联的元数据。例如， 在输入图像文件是JPEG形式的情况下，参考色调映射强度数据可以以可 交换图像文件格式(EXIF)来存储。EXIF数据可被嵌入在输入图像文件 自身内，例如，JPEG文件内。通常，EXIF数据被存储在JPEG的头部中。 例如，EXIF数据可被存储在JPEG的一个实用应用程序段中，通常是APP1(段标记0xFFE1)，但可以使用其他段。
图1的示例中的方法包括将输入图像数据和输入值输入到色调映射操 作并且将色调映射操作应用于输入图像数据，以生成表示应用了该数量的 空间变化色调映射的输出图像的输出图像数据。用于色调映射操作的适当 的算法是正交视网膜形态图像变换(ORMIT)算法，但各种其他不同的色 调映射算法也是适用的。
示例中应用于输入图像数据的色调映射旨在增强图像中的细节或对比 度，同时仍确保图像对于观看者显得相对“自然”。为此，色调映射在亮 度域中可以是不对称的，以使得相比于相对明亮区域，更大数量的色调映 射被应用于图像的黑暗区域，例如，通过比相对明亮部分更大程度的改变 图像的相对黑暗部分的强度值。这模拟了人眼的行为，其具有相对高的动 态范围，并且能够看到图像的甚至相对黑暗区域中的细节。在图1的例子中，色调映射因此是空间变化的(例如，空间不均匀的)，与其他空间区 域相比，更大数量的色调映射被应用于图像的一些空间区域。色调映射在 空间和亮度维度上都可以是连续且平滑变化的。因此可以增加与将保留在 较暗和/或较亮区域的图像中的细节相对应的像素的强度范围，并且可以减 小图像的其他区域的强度范围。色调映射因此可能涉及调整图像的动态范 围，在示例中，其是图像的最亮部分和最暗部分的强度之间的比率。以这 种方式调整动态范围通常增强图像的黑暗和/或明亮区域中的细节并且减少 中间色调区域中的细节，以便渲染否则将在图像的较亮或阴影区域中丢失 的可见细节，同时对于观看者仍保持图像的自然外观。示例中的空间变化 色调映射的数量对应于图像中的像素的强度值的改变程度或幅值，例如， 以如上所述增强图像细节。
可以通过色调映射操作来压缩或扩展动态范围。可以使用动态范围压 缩来减少图像的动态范围，例如，以匹配或更接近耦合到计算设备的显示 设备可以显示的动态范围。使用相机获取的图像可能具有例如高达大约 4000：1的高动态范围。相比之下，典型的显示设备的动态范围可能远低 于此，例如，大约50：1。因此，可以应用动态范围压缩来减少表示高动 态范围图像的输入数据图像的动态范围，以匹配用于显示图像的显示设备 的较低动态范围。
相反，例如，在显示设备可以显示的动态范围大于第二编码图像数据 的动态范围的情况下，可以使用动态范围扩展来增加图像的动态范围。
通过接收包括表示图像的输入图像数据和参考色调映射强度数据二者 的输入图像文件的至少一部分，示例中的方法允许基于输入图像数据和从 参考色调映射强度数据导出的输入值来生成输出图像数据。因此，在这类 示例中，可以从包含在输入图像文件的至少一部分自身中的数据生成输出 图像数据。这允许基于输入图像文件的至少一部分来在不同的时间(例如， 在不同的观看条件下)或通过不同的计算设备重现图像的色调映射操作， 因而重现图像的视觉印象。
与已知方法相比，本文的示例的方法是不同的并且违反直觉的，在已 知方法中，根据环境光等级来调整显示设备的亮度并且压缩显示数据的动 态范围。利用已知方法，所显示的图像将具有取决于环境光等级的不同的 效动态范围。因此，与观看明亮条件中的第二显示设备上的图像的第二观 看者相比，观看黑暗条件中的第一显示设备上的图像的第一观看者将观看 到具有不同的有效动态范围的图像。这可能是有益的，因为它可允许在各种不同的照明条件下看到图像中的细节。然而，可能存在这样的一些情况， 其中，期望在同一设备或不同观看环境中的不同的设备上多次观看图像， 应用同一色调映射例如以使得图像具有例如与观看条件无关的相同(例如， 恒定)动态范围。根据本文描述的示例的方法提供了这种灵活性，因为可 以从输入色调映射强度数据导出需要导出用于色调映射操作的数据，该输 入色调映射强度数据是与输入图像数据相同的输入图像文件的部分。
与已知方法相比，根据示例的方法还提供了附加的灵活性。由于参考 色调映射强度数据是随着输入图像数据一起提供的，因此可以在对输入图 像数据应用色调映射操作之前执行基于参考色调映射强度数据的进一步处 理和调整。例如，若需要，则可以根据其他时变输入来导出输入值，以允 许适当地调整色调映射操作所应用的色调映射的数量。这可以例如通过进 一步突出或提取表示输出图像的输出图像数据的黑暗区域中的细节来进一 步增强输出图像的图像质量，同时若需要，则还允许生成如基于色调映射 强度参数所调整的图像的精确副本。
因此，根据示例的方法即允许利用与此前显示的图像版本相同的色调 映射来生成图像的精确副本，又允许利用与此前显示的图像版本相比经调 整的色调映射来生成增强版本的图像。
为了将方法放在上下文中，将参考图2来描述可以与根据图1的示例 的方法一起使用的示例系统。然而，如技术人员将理解的，其他系统或装 置可以与该方法一起使用，或可以使用其他系统或装置来实现该方法。图 3示出了示出图2的一个或多个数据库、服务器设备、计算设备、以及显 示设备之间的通信的示例的序列图。随后，特别是参考图4，给出了根据 示例的方法的进一步的细节。
图2示出了通过网络102通信地耦合到服务器设备104的计算设备 100。图像106被存储在服务器设备104上。计算设备100通信地耦合到显 示设备108。网络102可包括一系列网络，例如，互联网。
计算设备100可以是或可包括：蜂窝电话(即移动电话，例如，智能 电话)、平板电脑、膝上型计算机或个人计算机、个人数字助理、以及各 种其他电子设备(例如，游戏机)等等。下面参考图8详细描述了示例计 算设备100的组件。计算设备100可具有集成的或外部耦合的有线和/或无 线局域网(LAN)能力，例如，其可经由附加的通用串行总线(USB)或 专用设备来耦合。例如，计算设备100可以耦合到有线和/或无线路由器， 该有线和/或无线路由器进而连接到接有本地交换机的数字用户线(DSL)、 线缆或光纤连接。本地交换机可以使用诸如公共交换电话网(PSTN)或 有线提供商的网络系统之类的一个或多个中间网络来耦合到所谓的互联网。 替代地，诸如使用通用移动通信系统(UMTS)或任何长期演进(LTE)标准的那些之类的无线电信系统可以为固定或移动计算设备提供通信介质。 这些较后的网络系统进而可以连接到包括服务器、路由器、以及使用诸如 传输控制协议(TCP)和互联网协议(IP)之类的协议进行通信的其他网 络设备的一系列一个或多个网络。若计算设备100是诸如智能电话之类的 移动设备，则计算设备100可具有集成电信模块，其用于与耦合到一个或 多个TCP/IP网络的核心网络进行无线通信；同样地，若计算设备100是 膝上型计算机或平板计算机，则它可具有外部耦合电信调制解调器(所谓 的“加密狗”，通常经由USB来耦合)，其用于与核心网络和较宽互联网 的无线通信。服务器设备104可同样地具有适当的网络通信组件。服务器 设备104可包括被布置为通过网络102来接收请求的HTTP服务器。在一 些情况下，计算设备100和服务器设备104中的一项或多项可包括在底层 物理计算硬件上实现的虚拟设备。示例中的计算设备100可被认为是被配 置为访问服务器设备104的客户端设备。
在可能使用根据示例的方法的说明性示例中，用户使用计算设备100 的浏览器来访问网页。网页被托管在服务器设备104上，并且包括具有图 像106的各种内容。图像被存储在输入图像文件中。浏览器经由网络102 从服务器设备104取回输入图像文件的至少一部分。例如，服务器设备 104可被布置为接收和处理HTTP或其他网络请求。在该示例中，输入图 像文件包括上述输入图像数据和参考色调映射强度数据。图2的示例中的 浏览器取回整个输入图像文件，但在其他示例中，浏览器可仅接收输入图 像数据和参考色调映射强度数据，而不接收输入图像文件的其他数据。例 如，输入图像文件可包括附加的数据，例如，可能未被浏览器取回的和与 图像相关联的日期和时间有关的或对与图像相关联的日期和时间进行编码 的元数据、图像的描述、或与图像有关的版权信息。
图2的示例中的计算设备100包括色调映射模块，其被配置为接收输 入图像数据和输入值并且将色调映射操作应用于输入图像数据，以生成表 示应用了该数量的空间变化色调映射的输出图像的输出图像数据。从参考 色调映射强度数据所表示的参考色调映射强度参数导出输入值，并且如上 面参考图1所描述的来表示空间变化色调映射的数量。参考图4提供了色 调映射操作的进一步的细节。
可以通过耦合到计算设备100的显示设备108来显示输出图像、或基 于输出图像的附加处理的输出的另外的输出图像。显示设备108可被内部 地耦合到计算设备100，显示设备108形成计算设备100自身的部分。例 如，显示设备108可以是诸如智能电话、平板电脑、膝上型计算机或台式 计算机、或个人数字助理之类的计算设备100的显示屏。替代地，显示设 备108可以是耦合到计算设备100的外部设备，例如，经由高清多媒体接 口(HDMI)线缆耦合到膝上型计算机、台式计算机、或游戏机的电视屏 幕或计算机监视器。
图3是示出图2的存储图像106的服务器设备的存储装置、服务器设 备104、计算设备100、以及显示设备108之间的通信的示例集合的序列 图。
在操作110中，计算设备100的浏览器经由计算设备100的网络接口 112从服务器设备104请求包括图像106的网页。请求由服务器设备104 的网络接口114接收。
在图3的示例通信的操作116中，服务器设备104的存储装置接口 118从服务器设备104的存储装置或耦合到服务器设备104的存储装置访 问输入图像文件的至少一部分。输入图像文件的至少一部分包括表示图像 的输入图像数据和表示参考色调映射强度参数的参考色调映射强度数据， 该参考色调映射强度参数用于导出表示空间变化色调映射的数量的输入值。 在操作120中，包括输入图像文件的至少一部分的网页从存储装置被发送到服务器104的存储装置接口118。在框122中，服务器设备104然后将 输入图像文件的至少一部分从服务器设备104的网络接口114发送到计算 设备100的网络接口112。参考图4到图7进一步描述的计算设备的色调 映射模块应用色调映射操作以生成输出图像数据。在框124中，输出图像 数据由计算设备100的显示设备接口126传送到显示设备108，以向用户显示基于输出图像数据的输出图像以及网页的其他内容。
图4示意性地示出了用于执行根据示例的方法(例如，参考图1描述 的方法)的色调映射模块128的示例。色调映射模块128接收输入图像数 据130和输入值132作为输入。如上所述，输入图像数据130表示图像。 输入值132是从表示参考色调映射强度参数的参考色调映射数据导出的。
图4示出了导出输入值132的示例。在图4中，参考色调映射强度数 据134和表示另外的色调映射强度参数的另外的参考色调映射强度数据 136由输入值导出模块138接收。输入值导出模块138通过组合参考色调 映射强度数据134和另外的色调映射强度数据136以生成组合色调映射强 度数据来导出输入值132。在该示例中，输入值132等于组合色调映射强 度数据。
在诸如图4之类的示例中，参考色调映射强度数据134和另外的参考 色调映射强度数据136可取决于不同的参数或属性。例如，参考色调映射 强度数据134可取决于下列项中的至少一项：预定义值；被配置为显示基 于输出图像数据的输出图像的显示设备的显示属性；环境光水平；或用于 显示基于输出图像数据的输出图像的应用的应用属性。另外的参考色调映 射强度数据136可取决于与参考色调映射强度数据134所根据的一个或多 个属性不同的这些属性中的至少一个，或可取决于与与参考色调映射强度 数据134所根据的一个或多个属性相同的这些属性中的至少一个。
预定义值可以是例如内容创建者或图像供应者已经确定的对于获取用 于观看的期望输出图像是最优或期望的色调映射的值。例如，图像的创建 者或供应者可能已经确定图像的图像质量在特定观看条件下是最佳的，其 中，特定参考色调映射强度参数用作到色调映射操作的输入。这可以例如 通过执行下列项来确定：调整色调映射强度参数以调整应用于图像的色调 映射的强度、在应用色调映射操作之后例如通过人眼或电子地来分析输出 图像的显示质量、以及将与最优显示质量相对应的色调映射强度参数作为 输入图像文件的部分存储为表示参考色调映射强度参数的参考色调映射强 度数据。针对其优化参考色调映射强度参数的观看条件可以是相对黑暗的 观看条件。在这种情况下，参考色调映射强度参数可以是零例如以使得色 调映射操作不改变输入图像数据，以便输出图像和输入图像相同。在其他 情况下，参考色调映射强度参数可以是非零的。参考色调映射强度参数通 常取决于图像的内容。例如，在图像包括人体皮肤的情况下，参考色调映 射强度参数由于人体皮肤具有有限的亮度而可以是非零的，因而可以通过 应用色调映射操作来增强例如以放大皮肤中的细节。
显示设备的显示属性可以是可能影响输出图像的显示质量的任意属性、 特性、或特征。例如，显示属性可以是显示设备的亮度，例如，从用于照 亮显示设备的像素的背光发出的光的最大亮度或强度、或最大像素亮度、 或显示设备类型。通常，不同类型的显示设备需要不同数量的色调映射 (例如，液晶显示设备(LCD)相比于有机发光二极管显示设备(OLED))来实现输出图像的给定显示质量，例如，在输出图像的黑暗 区域具有给定数量的可见细节。
在参考色调映射强度数据134和/或另外的参考色调映射强度数据136 取决于环境光水平的情况下，可以例如通过环境光传感器来测量环境光水 平。环境光传感器可耦合于计算设备或与计算设备一体。这样的环境光传 感器可包括一个或多个光电探测器；使用多个光电探测器可以增加扩散环 境光的测量的可靠性。
如上所述，在一些情况下，参考色调映射强度数据134和/或另外的参 考色调映射强度数据136取决于用于显示基于输出图像数据的输出图像的 应用的应用属性。应用属性是例如由应用的开发者、制造商、或设计者指 定的用于显示输出图像的属性，例如，能够显示图像的浏览器或其他应用。 应用属性可以例如指定应利用特定色调映射来显示图像，例如，在期望为 使用应用显示的图像赋予特定“外观”的情况下。例如，应用开发者可能 希望显示具有高动态范围的超现实图像、或具有低动态范围的具有很少可 见细节黑暗图像。
在一些情况下，参考色调映射强度数据134取决于图像自身固有的属 性。参考色调映射强度数据134所表示的参考色调映射强度参数因此可以 是如上所述的预定义值。在这种情况下，另外的参考色调映射强度数据 136可取决于与图像的性质或内容无关的参数或属性。例如，另外的色调 映射强度数据136所表示的另外的色调映射强度参数可取决于被配置为显 示基于输出图像数据的输出图像的显示设备的显示属性，如上所述。
如技术人员将理解的，可以以各种方式来组合参考色调映射强度数据 134和另外的色调映射强度数据136。例如，参考色调映射强度数据134 所表示的参考色调映射强度参数可以是或可对应于特定(例如，预定义的) 增益G。增益G可被表示为：
(1)
其中，D是色调映射操作之前的输入图像数据的动态范围，并且DTM是在 色调映射操作之后将获得的预定义输出动态范围。
可以如下从增益G导出到色调映射操作的输入值α：
(2)
其中，G是(1)中定义的增益，并且Gmax是利用最大色调映射强度可以 获得的最大增益。
在参考色调映射强度数据134和另外的色调映射强度数据136被组合 的情况下，参考色调映射强度数据134和另外的色调映射强度数据136可 对应于不同的相应的增益值。在这种情况下，表示为第一增益G1的参考 色调映射强度数据134和表示为第二增益G2的另外的色调映射强度数据 136可以如下相乘以获得表示为GC的组合增益：
(3)GC＝G1*G2
类似地，参考色调映射强度数据134可以通过将第一增益G1和对应于 另外的色调映射强度数据136的集合中的每个另外的色调映射强度数据 136的相应的增益相乘，来与另外的色调映射强度数据136多于一个的集 合相组合。
组合强度参数αC然后可被计算为：
(4)
在这类示例中，对应于参考色调映射强度数据134的增益值可取决于 与对应于另外的色调映射强度数据136的增益值不同的参数或属性，如上 所述。
如技术人员将理解的，可以使用其他方法或算法来组合参考色调映射 强度数据134和另外的色调映射强度数据136。例如，在参考色调映射强 度数据134等于色调映射强度参数α1并且另外的色调映射强度数据136等 于不同的色调映射强度参数α2的情况下，可以通过将α1和α2相乘来获得组 合强度参数αC。
可以使用软件、硬件、或软件和硬件的组合来组合参考色调映射强度 数据134和另外的色调映射强度数据136。
尽管图4的示例示出了输入值132由输入值导出模块138来导出，但 将理解的是，在其他示例中，输入值可以由计算设备的其他模块导出。替 代地，输入值导出模块可以是计算设备的另一模块(例如，色调映射模块 128)的子模块或部分。在输入值等于参考色调映射强度数据的其他示例 中，可能不存在用于从参考色调映射强度数据中导出输入值的专用模块。 在这种情况下，参考色调映射强度数据可以在没有进一步的处理或操纵的 情况下作为输入值被直接输入到色调映射模块128。
从参考色调映射强度数据134和另外的色调映射强度数据136导出的 输入值132与表示图像的输入图像数据130一起被输入到色调映射模块 128。色调映射模块128对输入图像数据130应用色调映射操作。在图4的 示例中，输入值132表示可被认为是色调映射变换的“强度”的值，其可 以取例如0和1之间的值。输入值132表示空间变化色调映射的数量，例 如，每个像素的强度或亮度被色调映射操作改变的数量或幅值。输入值 132自身对于图像中的不同像素可以是不同的，以便实现跨图像变化的色 调映射的数量。例如，输入值132可以根据像素强度而变化，以使得色调 映射在具有低像素强度值的图像的较暗部分中较强(例如，具有较高输入 值132)，并且在图像的较亮部分中较弱。这可以更加增强阴影而不影响 明亮区域。例如，可以例如通过将应用了最大(或至少相对强的)色调映 射的像素强度除以具有针对每个像素的零(或至少相对低的)色调映射的 像素强度来计算像素到像素增益。像素到像素增益可用作到色调映射模块 128的输入值132，并且可以通过将每个像素的像素强度值与该像素的相 应的增益值相乘来应用于输入图像数据130。在该示例中，色调映射操作 是ORMIT算法，并且输入值132是ORMITα参数。
色调映射模块128所应用的色调映射操作产生应用了该数量的空间变 化色调映射的输出图像数据140。基于输出图像数据140的输出图像可以 由耦合到计算设备的显示设备(如上所述，但在图4中未示出)来显示。
图5示意性地示出了用于执行根据示例的方法的色调映射模块142的 另一示例。类似于图4的色调映射模块128的图5的色调映射模块142的 特征被标记有相同参考标号，但增加100；应采用相应的描述。
图5的色调映射模块142接收表示图像的输入图像数据230和表示空 间变化色调映射的数量的输入值232。输入值232已经由输入值导出模块 238从参考色调映射强度数据234和另外的参考色调映射强度数据236导 出，该导出类似于图4的示例中的输入值132的导出。
在图5的示例中，色调映射模块142被布置为使用有时被称为α混合 的方法来对输入图像数据进行色调映射。在该示例中，空间变化色调映射 的数量是空间变化色调映射的最终数量，并且输入图像数据230是第一输 入图像数据。
图5的示例包括初始色调映射模块144，其被配置为对第一输入图像 数据230应用初始数量的空间变化色调映射以生成第二输入图像数据146。 初始色调映射模块144例如被布置为对第一输入图像数据230应用非零 (例如，最大)数量的空间变化色调映射。上述ORMIT算法可以由初始 色调映射模块144使用。尽管初始色调映射模块144在图5中被示出为单 独的模块，但在其他示例中，初始色调映射模块144可以与色调映射模块 142相集成，或色调映射模块142可用于对第一输入图像数据230应用初 始数量的空间变化色调映射。
第一输入图像数据230和第二输入图像数据146被输入到在该示例中 由色调映射模块142实现的色调映射操作。在图5的示例中，色调映射操 作包括基于第一输入图像数据230和第二输入图像数据146利用最终数量 的空间变化色调映射来生成输出图像数据240。第一输入图像数据230和 第二输入图像数据146对于输出图像数据240的相对贡献取决于输入值 232。
在该示例中，还可以如如上所述的组合强度参数αC来计算输入值232。 在该情况下，可如下修改像素强度值：
(5)Iout＝I1*(1-αC)+I2*αC
其中，Iout是输出图像数据的输出强度值，I1是来自第一输入图像数据230 的像素强度值并且I2是来自通过对第一输入图像数据230应用初始数量的 空间变化色调映射所获得的第二输入图像数据146的像素强度值。在该情 况下，如从等式(5)可以看出的，第一输入图像数据230和第二输入图 像数据146的相对贡献取决于组合强度参数αC，在该示例中，该组合强度 参数αC是到色调映射操作的输入值232。
其他混合方案还是可能的。例如，可以替代地如下修改像素强度值： (6)
其中，Iout、I1、I2、以及αC如此前所定义。
α混合过程可被看作同一图像的两个版本的覆盖或组合；一个版本未 应用色调映射(对应于第一输入图像数据230)并且一个版本应用了非零 色调映射(对应于第二输入图像数据146)，例如，其可以是应用了最大 色调映射。在另外的示例中，与输入图像数据相比，还可以利用与被应用 以生成第二输入图像数据146的初始数量的空间变化色调映射不同数量的 色调映射来对第一输入图像数据230进行色调映射。
图5的示例中的α混合处理的输出是具有最终数量的空间变化色调映 射的输出图像数据240。对于图4，基于输出图像数据240的输出图像可 以在耦合到计算设备的显示设备上进行显示。
图6示意性地示出了用于执行根据示例的方法的色调映射模块148的 又一示例。类似于图4的色调映射模块128的图6的色调映射模块148的 特征被标记有相同参考标号，但增加100；应采用相应的描述。
在图6的示例中，色调映射模块142接收表示图像的输入图像数据 330和表示空间变化色调映射的数量的输入值332。输入值332已经由输 入值导出模块338从参考色调映射强度数据334和另外的参考色调映射强 度数据336导出，该导出类似于图4的示例中的输入值132的导出。在图 6中，色调映射模块148还接收指示输入值332将要变化的变化数据150。
变化数据150例如是从用于显示基于输入图像文件的输出图像的应用 (例如，浏览器)接收的。例如，用户可以与浏览器的内容进行交互，以 例如通过从菜单中选择特定选项或通过与浏览器或其他应用所显示的交互 组件进行交互来指示改变输出图像的色调映射的意图。例如，浏览器可以 显示滑块，用户可以使用触摸屏或鼠标或计算设备100的其他输入设备来 滑动该滑块，以调整输出图像的色调映射。当用户接触或选择滑块时，这 可被认为是对输入值332将要变化的指示，并且作为变化数据150被发送 到色调映射模块148。
色调映射模块148应用色调映射操作以生成输出图像数据340。图5 的色调映射模块148所应用的色调映射操作可以是例如参考图4或图5所 描述的色调映射操作，或不同的色调映射操作。输出图像数据340被存储 在输出帧缓冲器152中。输出图像数据340在输出帧缓冲器152中的存储 被示出为由图6的示例中的色调映射模块148执行。然而，在其他示例中， 可以使用计算设备100的其他模块或组件或耦合到计算设备100的其他模 块或组件来将输出图像数据340存储在输出帧缓冲器152中。
在图6的示例中，色调映射模块148还生成表示应用了第一数量的空 间变化色调映射的图像的第一输入图像数据154和表示应用了第二数量的 空间变化色调映射的图像的第二输入图像数据156。第一输入图像数据 154被存储在第一帧缓冲器158中，并且第二输入图像数据156被存储在 第二帧缓冲器160中。第一数量的空间变化色调映射例如是零，并且第二 数量的空间变化色调映射例如是非零，并且可以是最大数量的色调映射。
通过将第一输入图像数据154存储在第一帧缓冲器158中并且将第二 输入图像数据156存储在第二帧缓冲器160中，色调映射模块148准备好 应用第一输入图像数据154和第二输入图像数据156的各种不同数量的 混合。这可以允许例如基于用户输入来快速改变应用于图像的色调映射。
例如，色调映射模块148可以针对用于由显示设备显示的至少一个附 加的帧中的每个来接收相应的附加的输入值。可以经由用于显示输出图像 的应用(例如，如上所述用于接收变化数据150的浏览器)来接收附加的 输入值。例如，附加的输入值可被认为是对应于耦合到计算设备100的显 示设备上的滑块的位置。以这种方式，用户可以通过改变滑块的位置来改 变在至少一个附加的帧中的每个中所应用的色调映射。
色调映射模块148还可被布置为针对至少一个附加的帧中的每个来生 成附加的帧缓冲器，该附加的帧缓冲器存储表示基于第一输入图像数据和 第二输入图像数据的附加的输出图像的附加的输出图像数据，第一输入图 像数据和第二输入图像数据对于附加的输出图像数据的相对贡献取决于相 应的帧的附加的输入值。图6示出了这样的示例：在图6中，根据附加的 输入值，第一输入图像数据154和第二输入图像数据156针对每个帧被混合以生成附加的输出图像数据162，其被存储在附加的帧缓冲器164中。
在诸如图6的示例之类的示例中，可以因此在第一帧中显示基于输出 图像数据230的输出图像。在至少一个附加的帧中的每个中，显示相应的 附加的输出图像。在这种情况下，该至少一个附加的帧例如在第一帧之后。
该方法例如允许至少附加的帧中的每个与第一输入图像数据154和第 二输入图像数据156的不同数量的α混合相关联，允许快速改变输出图像 的色调映射。例如，既不需要重新取回图像数据，也不需要针对每个帧重 新计算或重复色调映射操作。相反，仅需要例如通过改变第一输入图像数 据154和第二输入图像数据156对于附加的输出图像数据162的相对贡献 来重新计算基于输入值的输出图像的像素强度。这可以例如由计算设备100的图形处理单元来快速执行。
图7是示出包括两个色调映射操作的示例的示意图。在图7中，表示 图像的输入图像数据430由色调映射模块428接收。输入图像数据430和 色调映射模块428类似于图4的输入图像数据130和色调映射模块130； 应采用相应的描述。
色调映射模块428还接收表示空间变化色调映射的数量的输入值166。 在该示例中，输入值166是从表示参考色调映射强度参数的参考色调映射 强度数据导出的，并且在该情况下，输入值166等于表示参考色调映射强 度参数的参考色调映射强度数据。色调映射模块428应用色调映射操作以 生成输出图像数据440，其类似于图4的输出图像数据140。然而，在图7 的示例中，输出图像数据440被输入到另外的色调映射操作，在该示例中， 该另外的色调映射操作是由另外的色调映射模块168实现的。另外的色调 映射模块168还接收表示另外的色调映射强度参数的另外的色调映射强度 数据170作为输入，该另外的色调映射强度参数用于导出表示另外的数量 的空间变化色调映射的另外的输入值。在该示例中，该另外的输入值等于 另外的色调映射强度参数，但在其他示例中，另外的色调映射强度参数可 以自己或例外附加的数据来处理以导出该另外的输入值。
另外的色调映射模块168可类似于色调映射模块428，并且可以对输 出图像数据440应用另外的色调映射操作以生成另外的输出图像数据172， 其表示应用了另外的数量的空间变化色调映射的另外的输出图像。在示例 中，色调映射模块428和另外的色调映射模块168可以例如基于或根据不 同的属性或参数来应用不同强度的不同的色调映射。色调映射模块428和 另外的色调映射模块168可以在不同的、单独的模块中实现，或它们可被集成在执行二者的功能的一个模块中。
下面参考图8提供了图2的计算设备100的内部组件的示例的概述， 例如，可包括图4到图7的色调映射模块128、142、148、428、168。
图8的计算设备100包括网络接口112以从服务器设备104取回输入 图像文件的至少一部分。计算设备100的网络接口112可包括软件和/或硬 件组件，例如，虚拟网络接口、以太网端口、软件驱动器、和/或与网络硬 件进行交互的通信栈。
图8的示例中的计算设备100的存储装置173存储在网络接口112处 接收到的数据174。在该示例中，数据174包括输入图像文件的至少一部 分，输入图像文件的至少一部分包括表示图像的输入图像数据和参考色调 映射强度数据。存储装置173可包括易失性存储器(例如，随机存取存储 器(RAM))和非易失性存储器(例如，只读存储器(ROM))、或固 态驱动器(SSD)(例如，闪速存储器)中的至少一个。示例中的存储装 置173可包括另外的存储设备，例如，磁、光、或磁带介质、光盘(CD)、 数字通用盘(DVD)、或其他数据存储介质。存储装置173可以是从计算 设备100可移除或不可移除的。
至少一个处理器175被通信地耦合到图8的计算设备100中的存储装 置173。图8的示例中的至少一个处理器175可以是：微处理器、通用处 理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门 阵列(FPGA)、或其他可编程逻辑器件、离散门、或晶体管逻辑、离散 硬件组件、或被设计为执行本文描述的功能的上述项的任意适当的组合。 处理器还可被实现为计算设备的组合(例如，DSP和微处理器的组合)、 多个微处理器、结合DSP核心的一个或多个微处理器、或任意其他这类配 置。至少一个处理器178还可以是或可包括至少一个图形处理单元 (GPU)，例如，可以从(2701San Tomas Expressway，Santa Clara，CA 95050，USA)获得的 GTX 980，但其他处 理器是可能的。例如，在一种情况下，计算设备可包括具有图形处理能力 的瘦终端；在其他情况下，计算设备可包括具有至少一个中央处理单元 (CPU)和至少一个图形处理单元的计算设备。
图8的示例中的存储装置173包括计算机程序指令，其被配置为当由 至少一个处理器175处理时，实现诸如上面参考图4到图7描述的那些之 类的色调映射模块176。计算机程序指令可被存储在可访问非暂态计算机 可读介质中，并且可被加载到存储器(例如，存储装置173)中以实现色 调映射模块176。在示例中，存储装置173和计算机程序指令被配置为与 存储装置173的图形处理单元一起实现色调映射模块。例如，图形处理单 元的使用可允许并行处理用于色调映射的多个操作，提升对数据进行色调 映射的速度。
图8的示例中的计算设备100的组件使用系统总线177进行互连。这 允许在各个组件之间传送数据。例如，由根据示例的方法生成的输出图像 数据可被存储在存储装置173中，并且随后经由系统总线177从存储装置 173被发送到显示设备接口126，以传送到显示设备108用于显示。显示 设备接口126可包括显示端口和/或内部电子接口，例如，其中，显示设备 108是计算设备100的部分，如智能电话的显示屏。因此，当由至少一个 处理器175经由显示设备接口126指示时，显示设备108将显示基于输出 图像数据的图像。
如上所述，示例中的输入图像文件是JPEG或JPEG XT文件格式。在 这类示例中，输入图像文件的至少一部分可以是经解码的JPEG或JPEG XT文件的至少一部分，或方法可包括对输入图像文件或输入图像文件的 至少一部分进行解码。诸如下面描述的图9和图10的示例之类的示例中 的解码可包括输入图像文件的至少一部分的输入图像数据的附加的处理。 这类处理例如可以增强输入图像数据所表示的图像的图像质量。
图9示意性地示出了可以与根据本文描述的示例的方法一起使用的解 码器1126的内部组件的示例。图9的解码器1126适用于对8位JPEG和 多于8位的JPEG XT文件进行解码，但可以使用其他解码器来执行仅被布 置为解码一个文件类型的示例的方法。在描述对多于8位的JPEG XT格式 的编码图像数据进行解码之前，将首先描述对8位JPEG格式的编码图像 数据进行解码。
图9示意性地示出了对8位JPEG格式的JPEG输入图像文件1179的 至少一部分进行接收的解码器1126的示例。JPEG输入图像文件的至少一 部分包括表示图像的JPEG编码图像数据。如技术人员将理解的，该示例 中的JPEG编码图像数据已经使用标准JPEG编码器进行编码。解码器 1126包括标准JPEG解码器1130，其接收并且解码JPEG编码输入图像数 据以生成具有第一位精度的JPEG第一解码图像数据1132。示例中的位精 度是与一块数据相关联的位的数目。例如，位精度还可被称为位深度，并 且可以是用于指示强度值或颜色或图像的像素的颜色通道的强度值的位的 数目。例如，对于8位JPEG第一解码图像数据，每个颜色通道可以由0 和255之间的强度值来表示，每个颜色通道给出256个可能的强度值。可能存在例如3个颜色通道，例如，红色、绿色、或蓝色通道，但不同数目 或类型颜色通道也是可能的。
在该示例中，第一位精度为8位，其是JPEG ISO/IEC 10918标准的 JPEG文件的标准位精度，但其他位精度对于第一位精度是可能的(例如， 对于其他数据类型)。例如，具有第一位精度的数据可被认为是LDR或 SDR数据。JPEG第一解码图像数据1132可被传送以供在没有进一步处理 的情况下在显示设备108上进行显示，以提供附加的显示灵活性。然而，在没有进一步处理的情况下，图像质量将被限制于与标准解码JPEG文件 相关联的图像质量。
因此，在图9的示例中，解码器1126不仅解码JPEG编码图像数据， 而且提供进一步的图像处理以增强JPEG编码图像数据所表示的图像的图 像质量。图9的例子中的解码器1126包括“压缩噪声”减少模块，在该 示例中，其是精度提升器(upscaler)1134。该示例中的压缩噪声减少模块 接收JPEG第一解码图像数据1132，并且对JPEG第一解码图像数据1132 应用一个或多个压缩噪声减少滤波器。在示例中，一个或多个压缩噪声减 少滤波器的应用减少了JPEG第一解码图像数据1132中的压缩噪声。在不 减少压缩噪声的情况下，最终图像中可能存在可见伪影。压缩噪声通常与 原始图像数据的有损编码(例如，JPEG或JPEG XT编码)一起出现。有 损编码通常涉及原始图像数据的近似，图像保真度降低了一些。例如，可 能丢失一些原始图像信息。可能无法恢复该丢失的信息，与原始图像的图 像质量相比，这可能降低图像质量。然而，压缩图像数据可能具有比表示 图像的原始未压缩图像数据更小的文件大小，减少了对存储压缩图像数据 的空间要求。由于有损编码算法中所涉及的近似过程，与解码图像数据相 关联的图像的表示可能遭受压缩伪影，例如，观察者可见的压缩噪声。例 如，在图像的特征(例如，对应于从光亮到黑暗图像区域的转换的边缘或 区域)周围可能存在噪声，例如，具有不正确(例如，明显的较暗或较亮) 强度的像素。在这些图像特征周围还可能或替代地存在具有相同强度的像 素的可见“块”，而不是具有平滑变化的强度的像素。诸如这些之类的压 缩伪影通常是由JPEG算法的量化步骤引起的，其涉及将各个分量舍入到 整数值，因而减少了与量化编码图像数据相关联的信息。这类压缩伪影的 可见性可取决于被应用于原始图像数据以获得压缩图像数据的压缩的程度 或数量。
可以将各种不同的压缩噪声减少滤波器应用于JPEG第一解码图像数 据1132以生成JPEG第二解码图像数据1136。例如，JPEG第一解码图像 数据1132可以是矩阵或其他多维数据结构的形式。JPEG第一解码图像数 据1132可以与适当的“压缩噪声”减少滤波器进行卷积，其通常也是矩 阵或多维数据结构的形式。示例中的压缩噪声减少滤波器平滑了JPEG第 一解码图像数据1132中的压缩伪影，同时例如通过将数据从LDR或SDR 数据转换为HDR数据来将数据的位精度从第一位精度增加到第二位精度。 可以使用压缩噪声减少滤波器来减少图像中的诸如块效应(例如，可见块) 或振铃(例如，可见振铃)之类的压缩伪影。例如，压缩噪声减少滤波器 可以是或可包括诸如Canny边缘检测器之类的边缘检测滤波器，其可被应 用于JPEG第一解码图像数据1132以标识图像中图像亮度或像素强度快速 或剧烈变化的点或区域。这类点或区域通常对应于图像中的边缘，例如， 图像内的不同表面或分量之间的转换。根据与所标识的边缘区域的接近度， 可以调整(例如，平滑)像素强度值以减少由JPEG第二解码图像数据 1136所表示的图像中的压缩噪声。例如，可以在针对被标识为在距离所检 测的边缘预定接近度之内的区域中的像素的一组邻近或附近像素上平均像 素强度。在示例中，可以通过对JPEG第一解码图像数据1132(例如，在 被标识为对应于被认为可能遭受压缩伪影的区域的JPEG第一解码图像数 据1132所表示的图像的区域中)应用另外的压缩噪声减少滤波器来改变 像素强度值。示例中一个或多个压缩噪声减少滤波器的应用将表示图像的 数据的位精度提高到第二位精度，该第二位精度高于第一解码图像数据的 第一位精度。例如，具有第二位精度的数据可以是HDR数据，例如，具 有高于8位的位精度的数据。可以使用示例中的计算设备100的图形处理 单元(未示出)来应用一个或多个压缩噪声减少滤波器。这可以允许并行 处理或计算一个或多个压缩噪声减少滤波器与图像的像素的各个组和区域 的卷积。这可以提高执行压缩噪声减少的速度。
在示例中，应用一个或多个压缩噪声减少滤波器包括应用一个或多个 平滑滤波器以减少第一解码图像数据中的带状噪声。带状噪声是如上所述 可能由JPEG或JPEG XT编码算法的量化步骤引起的一类压缩噪声。例如， 在该量化过程期间，在图像中可能存在其中像素强度改变了相对较小数量 的若干图像区域。例如，在具有较亮区域和较暗区域的天空的图像中，该 较亮区域和较暗区域可各自显示相对小的像素强度和/或颜色的变化。在该 说明性示例中，对应于图像中的较亮区域的像素可被压缩为第一像素强度 和颜色值，并且对应于图像中的较暗区域的像素可被压缩为第二像素强度 和颜色值。当未对图像应用进一步的处理时，该压缩通常是不可见的。然 而，当对图像应用色调映射操作时，如根据示例的方法，色调映射操作可 以增加较亮区域和较暗区域之间的差异，得到其中较亮区域的所有像素都 具有相同像素强度和颜色值的可见带或轮廓，其与较暗区域的像素的相邻带或轮廓强烈对比。通过应用一个或多个平滑滤波器(例如，具有适当的 核的低通滤波器，其例如支配像素的滤波强度值如何依赖于相邻像素的强 度值)，可以减少带噪声。例如，一个或多个平滑滤波器可以例如通过模 糊、扩展、或逐渐调整不同图像区域之间的转换区域中的像素强度来减少 不同强度或颜色的图像区域之间的对比的锐度。例如，可以使用简单的低 通滤波器来计算像素和该像素的8个直接邻居的平均强度，并且利用该所 计算的平均强度值来代替像素的原始强度值。这可用于将位精度增加到第 二位精度，例如，因为像素强度可以由更大数目的位(例如，像素强度的 更大或更精细量化的一系列可能的强度值)来表示。
一个或多个压缩噪声减少滤波器减少图像中的压缩噪声的程度可取决 于质量因子。例如，质量因子可以作为到一个或多个压缩噪声减少滤波器 (例如，图9的示例中的精度提升器1134)的输入被接收。质量因子可以 由用户根据图像的期望视觉印象来选择，或质量因子可取决于与用户无关 的特性，例如，图像的内容或与图像相关联的设置，例如，由内容创建者 提供的。
在示例中，JPEG解码器1130和压缩噪声减少模块被一起认为形成位 精度放大模块。然而，在其他示例中，JPEG解码器和压缩噪声减少模块 可被单独地实现或在可不同的模块中实现。
压缩噪声减少模块的输出是具有第二位精度的JPEG第二解码图像数 据1136。第二位精度不需要是固定的或恒定的位精度。例如，在图9中， JPEG第二解码图像数据1136可以是例如存储在具有比第一位精度更高的 可用位精度的浮点表示中的浮点数据。在其他示例中，第二位精度可以是 固定的或恒定的，例如，9到16中的任一个的固定值。JPEG第二解码图 像数据1136被输入到色调映射模块1138，其被配置为对第二解码图像数 据1136应用色调映射操作以生成具有第二位精度的第一色调映射图像数 据1142。色调映射模块1138可以是与图4到图7的色调映射模块128、 142、148、428、168相类似或相同的色调映射模块。
在图9的示例中，JPEG输入图像文件1128的至少一部分还包括表示 参考色调映射强度参数的参考色调映射强度数据。在该示例中，使用参考 色调映射强度数据来导出输入值1140，其在该示例中被标记为“强度”。 如上所述，输入值1140表示色调映射模块1138所应用的空间变化色调映 射的数量，并且被输入到色调映射模块1138。
在图9中，输入值1140被示出为是在未进行解码的情况下从JPEG输 入图像文件1128的至少一部分导出的。然而，在其他示例中，可以解码 JPEG输入图像文件1128的至少一部分的参考色调映射强度数据以生成解 码参考色调映射强度数据，并且可以从解码参考色调映射强度数据导出输 入值1140。例如，可以使用JPEG解码器1130或使用另外的解码器来解 码参考色调映射强度数据，该另外的解码器可以是单独的模块或解码器 1126的部分。替代地，在JPEG输入图像文件1128的至少一部分由解码器 1126接收之前，参考色调映射强度数据可已经被解码。
在图9的示例中，色调映射操作由解码器1126执行，该解码器1126 能够解码以第一位精度编码的输入图像数据并且能够解码第二位精度编码 的输入图像数据。在该示例中，解码器1126包括位精度放大模块(在该 示例中，包括JPEG解码器1130和精度提升器1134)、色调映射模块 1138、以及位精度减少模块(待描述)。在其他示例中，这些模块中的一 些或全部可能不形成解码器的部分。
示例中的JPEG第一色调映射图像数据1142对应于上述输出图像数据， 其表示应用了该数量的空间变化色调映射量的输出图像。可以对JPEG第 一色调映射图像数据1142应用另外的处理以基于输出图像数据生成另外 的输出图像数据，以供由耦合到计算设备100的显示设备108显示。例如， 另外的色调映射操作可被应用于如参照图7所描述的JPEG第一色调映射 图像数据1142。然而，图9示出了另外的处理的不同示例。在图9的示例 中，使用位精度减少模块来将从色调映射模块1138输出的JPEG第一色调 映射图像数据1142转换为具有第一位精度的JPEG第二色调映射图像数据 1146，在该情况下，该位精度减少模块是抖动模块1144。在示例中，位精 度减少模块减少JPEG第一色调映射图像数据1142的位精度以生成JPEG 第二色调映射图像数据1146，同时基本上保持JPEG第二色调映射图像数 据1146所表示的图像的图像质量。例如，可以使用位精度减少模块来近 似JPEG第二色调映射图像数据1146中的图像的图像质量，同时还实现期 望的位精度减少。
在示例中，第二位精度由提供第一位精度的第一系列的位和提供附加 的位精度以形成第二位精度的附加的一个或多个位来表示。在这种情况下， 该方法可包括当将第一色调映射图像数据转换为第二色调映射图像数据时， 通过从用于图像的至少一部分中的像素的附加的一个或多个位导出信息来 改善当由第一系列的位表示时的图像的显示质量，并且使用该信息来改变 用于图像的至少一部分中的像素的第一系列的位。丢弃用于图像的至少一 部分中的像素的附加的一个或多个位。在这些情况下，使用该附加的一个 或多个位来操纵或修改第一系列的位，但不是具有第一位精度的第二音调 映射图像数据的自身的部分。
在这类示例中，改善由第一系列的位所表示的图像的显示质量可包括 对第一色调映射图像数据应用抖动操作。图9示出了这样的示例。可以使 用抖动操作来近似第一色调映射图像数据(其可以利用第二位精度来表示 但不能利用第一位精度来表示)中的像素强度或其他像素值，以便生成仍 提供第一色调映射图像数据所表示的图像的相对忠实并且精确的表示的第 二色调映射图像数据。例如，在第一色调映射图像数据中的像素区域的像 素强度处于利用第二位精度不可用的强度等级的情况下，可以利用第二色 调映射图像数据(像素区域中的一些像素处于较低强度等级，并且像素区 域中的其他像素处于较高强度等级)来近似像素强度。抖动操作通常是空 间抖动操作，以避免如暂时抖动将需要的快速刷新显示器。如技术人员将 理解的，抖动模块1144可以使用各种算法来应用抖动操作。例如，抖动 模块1144可以应用误差扩散抖动操作。可以使用误差扩散抖动来减少数 据的位精度。作为简单的例子，可以使用误差扩散抖动来将图像减少到二 进制图像，其中，每个像素是黑色或白色。例如，可以通过评估每个像素 的强度值是高于还是低于阈值(例如，黑白图像的中间灰度值)并且若低 于阈值则将像素强度设置为黑色以及若高于阈值则像素强度设置为白色， 来对像素应用半色调处理。像素强度因此不同于其原始值。该差异可被认 为是误差，其可被添加到图像中尚未与阈值进行比较的一个或多个像素。 可以对图像中的所有像素重复该过程以生成半色调或抖动图像。如将理解， 在其他示例中，可以应用误差扩散抖动来产生具有每像素多于两个强度等 级的输出图像，例如，以产生具有第一位精度的第二色调映射图像数据。
第一位精度例如等于被配置为显示基于第二色调映射图像数据的输出 图像的显示设备可以显示的最大位精度。例如，对于典型的LDR显示设 备，第一位精度可以是8位。
第二色调映射图像数据1146被传送以供由耦合到计算设备100的显 示设备108进行显示。在进行显示之前，可以在解码器1126(未示出)处 或解码器1126外部(例如，在计算设备100的另一模块中)对第二色调 映射图像数据1146应用另外的处理。例如，第二色调映射图像数据1146 可以与表示至少一个另外的显示元件的另外的显示数据进行合成，以生成 用于由显示设备100显示的输出图像。如技术人员将理解的，该合成可以 由合成窗口管理器执行，其还被称为合成器。示例中的合成器在不同的窗 口中绘制不同的应用并且利用不同程度的透明度来适当地覆盖不同的窗口， 以便在显示设备100上显示期望的输出图像。
通过使用解码器来对编码图像数据进行解码并且生成具有第一位精度 的第二色调映射图像，为图像的处理提供了更大的灵活性。例如，可以通 过解码器来处理图像，并且然后通过显示驱动系统(例如，通过显示控制 器)来进行进一步的处理。例如，可以通过显示驱动系统来对用于由显示 设备显示的数据(包括图像、以及用于显示的屏幕的其余部分)应用另外 的色调映射、或动态范围压缩或扩展，以进一步改善图像质量。
此外，处理第一解码图像数据以生成第二解码图像数据提升或增加了 表示图像的数据的位精度。这允许将色调映射操作应用于具有比其他解码 图像数据的图像更高的位精度表示的第二解码图像数据。例如，第二解码 图像数据可以存储关于图像的由于增加的位精度而增加的信息，允许例如 在后续处理步骤之后更精确地再现图像。与对具有较低位深度的图像的表 示应用色调映射操作将实现的相比，这改善了色调映射操作的结果，较大 增强了图像中的细节的，同时保持其自然外观。此外，通过利用第一位精 度来将第一色调映射图像数据转换为第二色调映射图像数据，第二色调映 射图像数据所表示的图像可以由显示设备利用第一位精度来显示，但具有 改善的显示质量。
如上所述，还可以使用图9的示例解码器1126来解码多于8位JPEG XT格式的JPEGXT压缩图像数据1148，如现在将描述的。
JPEG XT输入图像文件1148的至少一部分由图9的解码器1126的 JPEG XT解码器1149接收。JPEG XT输入图像文件1148的至少一部分包 括基础图像层数据1148a和附加图像层数据1148b。图10示意性地示出了 图9的JPEG XT解码器1149，图10出了示例JPEG XT编码解码器1150 (编码器-解码器)。JPEG XT编码解码器1150接收表示图像的输入图像 数据。在该示例中，输入图像数据具有多于8位的浮点位精度，但在其他 示例中其他位精度是可能的，例如，多于8位的固定或静态位精度。使用 JPEG XT编码器1151对输入图像数据进行编码，该JPEG XT编码器1151 将数据编码为包含基础图像层数据1148a的基础图像层和包含附加图像层 数据1148b的附加图像层。基础图像层数据1148a可以是传统实现方式可以访问的LDR或SDR数据，以便可以使用标准JPEG解码器来解码JPEG XT图像，该标准JPEG解码器可以解码LDR或SDR数据并且忽略附加图 像层数据。示例中的附加图像层数据1148b包括驻留图像数据和用于重新 构建HDR图像的转换信息，例如，具有比基础图像层数据1148a所表示 的图像更高的动态范围的图像。基础图像层数据1148a因此可被认为表示 图像的第一动态范围表示。可以使用附加图像层数据1148b来生成图像的 第二动态范围表示，第二动态范围大于第一动态范围。基础图像层数据 1148a和附加图像层数据1148b都可具有相同的位精度，例如，8位。图 10示出了其中基础图像层数据1148a和附加图像层数据1148b都是8位的 示例，但在其他示例中，基础图像层数据1148a和附加图像层数据1418b 可具有与彼此不同的位精度和/或与8位不同的位精度。
在图9和图10的示例中，基础图像层数据1148a和附加图像层数据 1148b被输入到JPEG XT解码器1149。图9和图10的JPEG XT解码器1149对基础图像层数据1148a进行解码以生成解码基础图像层数据1152。 在该示例中，基础图像层数据1148a可被认为对应于表示图像的编码图像 数据，并且解码基础图像层数据1152可被认为对应于具有第一位精度的第一解码图像数据，第一位精度在该示例中是8位，但其他位精度是可能 的。JPEG XT解码器1149还对附加图像层数据1148b进行解码以生成解 码附加图像层数据(未示出)。在该示例中，解码附加图像层数据具有第 二位精度，但在其他示例中，解码附加图像层数据可具有与例如大于或小 于第二位精度的不同的位精度。然而，通常，解码附加图像层数据具有大 于第一位精度的位精度。然后可以基于解码附加图像层数据来操纵解码基 础图像层数据1152，以生成具有第二位精度的JPEG XT第二解码图像数 据1153。如技术人员将理解的，可以例如使用解码附加图像层数据来对解 码基础图像层数据1152应用各种转换，以生成JPEG XT第二解码图像数 据1153。在这样的示例中，处理第一解码图像数据以生成第二解码图像数 据可包括将解码附加图像层数据应用于解码基础图像层数据1152以生成 第二解码图像数据1153。第二解码图像数据1153可对应于图像的第二动 态范围表示。
图像的第二动态范围表示可具有比8位更高的位深度(例如，具有高 于8位的位精度或9到16位的位范围中的浮点)，例如，用于在HDR显 示设备1154(例如，能够显示较高位深度图像的显示设备)上进行显示。 例如，图9和图10的示例中的第二解码图像数据1153是HDR数据。 JPEG XT解码器还可通过仅使用基础图像层数据来解码标准JPEG图像以 及JPEGXT图像，例如，以供在LDR或SDR显示器(例如，具有8位显 示能力的上述显示设备108)上进行显示。例如，可以与JPEG第一解码 图像数据的处理相类似地来解码和处理基础图像层数据，以改善图像质量。 因此，对于JPEG XT图像，示例中的解码器为产生用于在LDR显示器上进行显示的输出图像提供了两个选项：可以通过单独处理基础图像层数据 或通过处理基础图像层数据和附加图像层数据来获得输出图像。
在图9和图10的示例中，在HDR显示设备1154上显示JPEG XT图 像之前，对JPEG XT第二解码图像数据1153应用另外的处理(图10中未 示出，但图9中示出)。该处理类似于解码器1126被布置为在JPEG编码 图像数据的JPEG解码之后应用的处理，然而，它不要求应用一个或多个 压缩噪声减少滤波器来生成具有第二位精度的JPEG XT第二解码图像数据1153，因为从JPEG XT解码器1149接收到的JPEG XT第二解码图像数据 1153已经处于第二位精度。
然而，在一些示例中，可以对JPEG XT第二解码图像数据1153应用 一个或多个压缩噪声减少滤波器，例如，上面参考JPEG图像的处理所描 述的那些一个或多个压缩噪声减少滤波器。可以使用这类压缩噪声减少滤 波器来减少JPEG XT第二解码图像数据1153所表示的图像中可能存在的 压缩伪影。在这些示例中，一个或多个压缩噪声减少滤波器的应用可以增 加位精度、或可以不改变JPEG XT第二解码图像数据1153的位精度。例 如，对于其中某些图像区域(例如，光亮区域)利用诸如8位之类的相对 低位精度来有效表示的图像，应用一个或多个压缩噪声减少滤波器可能是 有益的。这可能是其中在这些图像区域中存在不可忽略的噪声的情况。例 如，在一些图像中，噪声可能是从几位到8位。在这些示例中，由于动态 范围可被认为对应于图像的最亮部分和图像的最暗部分的噪声(例如，标 准差)之间的比率，因此一些图像区域中的有效动态范围可能由于这些区 域中的噪音的数量而显著减少。在这类示例中，可以对图像应用一个或多 个压缩噪声减少滤波器例如以提高这些图像区域的精度。
在另外的示例中，一个或多个压缩噪声减少滤波器可以由JPEG XT解 码器本身来应用，以使得JPEG XT解码器的输出(例如，解码基础图像层 数据1152和JPEG XT第二解码图像数据1153)可以在已经应用了压缩噪 声减少之后被输出。
在该情况下，JPEG XT第二解码图像数据1153被输入到颜色校正模 块1155，并且然后在由颜色校正模块1155进行颜色校正之后，被输入到 伽马校正模块1156。颜色校正模块1155和伽马校正模块1156接收来自 JPEG XT解码器1149的数据1157(在该示例中，元数据)，该JPEG XT 解码器1149支配分别由颜色校正模块1155和伽马校正模块1156应用的颜色校正和伽马校正模块的程度。然而，在其他示例中，颜色校正模块1155 和/或伽马校正模块1156可能未接收到来自JPEG XT解码器1149的数据。 在这些示例中，颜色校正模块1155和伽马校正模块1156所应用的校正的 程度可被预先设定或预先确定。可以使用颜色校正模块1155来修改或改 变图像的颜色例如以加宽图像的色域，例如，以匹配或对应用于显示图像 的显示设备的宽色域。可以使用伽马校正模块1156来对图像应用伽马校 正操作。伽马校正通常是非线性操作，其可以使用下列幂律表达式来定义： (1)
其中，Vout是输出值、A是常数、Vin是输入值、以及γ是伽马值。输入和输 出值例如是图像的像素的亮度或三刺激值。可以使用伽马校正来例如表示 图像，以便足够数目的位被分配给人眼可以区分的图像特征，而不分配过 多的位来表示人眼不能感知的图像特征。例如，可以使用伽马校正来提供 具有跨图像的亮度范围的均匀误差的图像的表示。这可用于减少图像中的 压缩伪影的出现。然而，在另外的示例中，未对JPEG XT第二解码图像数据1153应用颜色校正和/或伽马校正。例如，解码器中可能没有颜色校正 模块1155和伽马校正模块1516。
JPEG XT第二解码图像数据1153(在该示例中，在处理的该阶段，其 具有大于8位的浮点位精度)在颜色校正和伽马校正之后被提供给色调映 射模块1138’，该色调映射模块1138’类似于针对JPEG数据的色调映射 所描述的色调映射模块1138并且基于类似于上述输入值1140的输入值 1140’来应用一定数量的色调映射，在该示例中，输入值1140’被表示为 “强度”，类似于输入值1140。具有第二位精度的JPEG XT第一色调映 射图像数据1158由色调映射模块1138’生成并且被输入到抖动模块 1144’，该抖动模块1144’类似于上面针对JPEG数据的抖动所描述的抖 动模块1144。抖动模块1144’利用第一位精度将JPEG XT第一色调映射 图像数据1158转换为JPEG XT第二色调映射图像数据1159。
在图9的示例中，对应于解码基础图像层数据1152和JPEG XT第二 色调映射图像数据1159的SDR数据作为到判定模块1160的输入被接收。 该示例中的判定模块1160接收指示是否在显示设备108上显示标准SDR 数据、或是否在显示设备108上显示JPEG XT第二色调映射图像数据 1159的输入。以这种方式，可以使用到判定模块1160的输入来确定是否显示应用图像处理的方法(例如，利用本文描述的色调映射和其他处理) 之后的图像、或是否显示未进行该图像处理的标准图像。判定模块1160 的输出1161由显示设备108显示。然而，在其他示例中，可能没有判定 模块1160，在这种情况下，JPEG XT第二色调映射图像数据1159可被传 送到显示设备108以供显示，并且解码基础图像层数据1152可能未被显 示。
在图9的示例中，HDR数据(对应于JPEG XT第二解码图像数据 1153)被示出为在HDR显示器1154上进行显示。然而，在其他示例中， JPEG XT第二解码图像数据1153可能未被显示，但替代地可被丢弃或若 需要则可被存储用于图像数据的进一步处理。
图9的JPEG XT解码器因此提供显示图像的灵活性以及向后兼容性 (若需要)。例如，该JPEG XT解码器允许在SDR显示设备108上显示 标准JPEG图像(对应于解码基础层图像数据1153)、在SDR显示设备 108上显示色调映射图像(对应于JPEG XT第二色调映射图像数据1159)、 以及在HDR显示设备1154上显示HDR图像(对应于JPEG XT第二解码 图像数据1153)。例如，可以根据需要来选择这些选项中的每个选项，例 如，根据可用于显示图像的显示设备、要处理的图像的性质或内容、或用 户偏好。
以上示例将被理解为说明性示例。设想另外的示例。例如，上面给出 的示例涉及使用JPEG或JPEG XT文件格式的图像。然而，将理解的是， 上述方法、系统、以及设备可被应用于以各种其他文件格式存储的图像或 与以各种其他文件格式存储的图像一起使用。
在以上示例中，从服务器设备接收输入图像文件的至少一部分。然而， 在其他示例中，输入图像文件的至少一部分可被存储在计算设备的存储装 置上。例如，图像可能已经由图像获取设备(例如，计算设备的相机或耦 合到计算设备的相机)获取、或可能已经从除了服务器设备的存储装置之 外的其他存储装置被下载或传送到计算设备并且作为输入图像文件被存储 在计算设备的存储装置上。
上述示例使用软件来实现根据示例的方法。然而，在其他示例中，可 以仅使用硬件或使用硬件和软件的组合来实现该方法。
将理解的是，关于任意一个示例所描述的任意特征可被单独使用、或 组合所描述的其他特征来使用，并且还可以组合任意其他示例的一个或多 个特征、或任意其他示例的任意组合来使用。此外，还可以在不脱离所附 权利要求的范围的情况下采用上面未描述的等同物和修改。

Claims (10)

1.一种方法，包括：
接收输入图像文件的至少一部分，所述输入图像文件的至少一部分包括：
输入图像数据，所述输入图像数据表示图像；以及
参考色调映射强度数据，所述参考色调映射强度数据表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数；
将所述输入图像数据和所述输入值输入到色调映射操作；以及
将所述色调映射操作应用于所述输入图像数据以生成表示应用了所述数量的空间变化色调映射的输出图像的输出图像数据。
2.如权利要求1所述的方法，包括：
接收另外的色调映射强度数据，所述另外的色调映射强度数据表示另外的色调映射强度参数；以及
导出所述输入值，所述导出所述输入值包括组合所述参考色调映射强度数据和所述另外的色调映射强度数据以生成组合色调映射强度数据，所述输入值等于所述组合色调映射强度数据。
3.如权利要求2所述的方法，其中，所述另外的色调映射强度参数取决于被配置为显示基于所述输出图像数据的输出图像的显示设备的显示属性。
4.如权利要求1所述的方法，包括：
接收另外的色调映射强度数据，所述另外的色调映射强度数据表示用于导出表示空间变化色调映射的另外的数量的另外的输入值的另外的色调映射强度参数；
将所述输出图像数据和所述另外的输入值输入到另外的色调映射操作；以及
将所述另外的色调映射操作应用于所述输出图像数据以生成表示应用了所述另外的数量的空间变化色调映射的另外的输出图像的另外的输出图像数据。
5.如权利要求1到4中的任一项所述的方法，其中，空间变化色调映射的所述数量是空间变化色调映射的最终数量，并且所述输入图像数据是第一输入图像数据，
所述方法还包括：
对所述第一输入图像数据应用初始数量的空间变化色调映射以生成第二输入图像数据；以及
将所述第二输入图像数据输入到所述色调映射操作，
所述色调映射操作包括：
基于所述第一输入图像数据和所述第二输入图像数据利用所述最终数量的空间变化色调映射来生成所述输出图像数据，所述第一输入图像数据和所述第二输入图像数据对于所述输出图像数据的相对贡献取决于所述输入值。
6.如权利要求1到4中的任一项所述的方法，包括：
接收指示所述输入值将变化的变化数据；
将所述输出图像数据存储在输出帧缓冲器中；
生成表示应用了第一数量的空间变化色调映射的所述图像的第一输入图像数据；
生成表示应用了第二数量的空间变化色调映射的所述图像的第二输入图像数据；
将所述第一输入图像数据存储在第一帧缓冲器中；以及
将所述第二输入图像数据存储在第二帧缓冲器中。
7.如权利要求6所述的方法，包括：
针对用于由显示设备显示的至少一个附加帧中的每个附加帧接收相应的附加输入值；以及
针对所述至少一个附加帧中的每个附加帧生成附加帧缓冲器，所述附加帧缓冲器存储表示基于所述第一输入图像数据和所述第二输入图像数据的附加输出图像的附加输出图像数据，所述第一输入图像数据和所述第二输入图像数据对于所述附加输出图像数据的相对贡献取决于所述相应的帧的所述附加输入值。
8.如权利要求1到4中的任一项所述的方法，其中，所述输入图像文件是8位联合图像专家组(JPEG)文件或多于8位的JPEG XT文件。
9.一种计算设备，包括：
存储装置，其用于存储输入图像文件的至少一部分，所述输入图像文件的至少一部分包括：
输入图像数据，所述输入图像数据表示图像；以及
参考色调映射强度数据，所述参考色调映射强度数据表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数；
至少一个处理器，所述至少一个处理器通信地耦合到所述存储装置；以及
色调映射模块，所述色调映射模块被配置为：
接收所述输入图像数据和所述输入值；以及
将所述色调映射操作应用于所述输入图像数据以生成表示应用了所述数量的空间变化色调映射的输出图像的输出图像数据。
10.如权利要求9所述的计算设备，其中：
所述存储装置包括计算机程序指令；并且
所述至少一个处理器包括图形处理单元，
所述存储装置和所述计算机程序指令被配置为与所述图形处理单元一起实现所述色调映射模块。
CN201710907214.0A 2016-09-30 2017-09-29 图像处理 Active CN107888943B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1616721.5A GB2554669B (en) 2016-09-30 2016-09-30 Image processing
GB1616721.5 2016-09-30

Publications (2)

Publication Number Publication Date
CN107888943A true CN107888943A (zh) 2018-04-06
CN107888943B CN107888943B (zh) 2022-05-03

Family

ID=57570903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710907214.0A Active CN107888943B (zh) 2016-09-30 2017-09-29 图像处理

Country Status (3)

Country Link
US (1) US10839495B2 (zh)
CN (1) CN107888943B (zh)
GB (1) GB2554669B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540808A (zh) * 2018-05-10 2018-09-14 西安电子科技大学 基于fpga的高动态图像压缩处理系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504487B2 (en) * 2016-10-14 2019-12-10 Apple Inc. Ambient and content adaptive pixel manipulation
GB2558000B (en) * 2016-12-21 2020-06-10 Apical Ltd Display control
GB2558234B (en) * 2016-12-22 2020-05-13 Apical Ltd Image processing
EP3460747B1 (en) * 2017-09-25 2023-09-06 Vestel Elektronik Sanayi ve Ticaret A.S. Method, processing system and computer program for processing an image
EP3861729A1 (en) * 2018-10-03 2021-08-11 Dolby Laboratories Licensing Corporation Reducing banding artifacts in backward-compatible hdr imaging
US20220021852A1 (en) * 2018-12-05 2022-01-20 Gopro, Inc. Color fringing processing independent of tone mapping
KR102641738B1 (ko) * 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
CN115804080A (zh) * 2020-07-13 2023-03-14 高通股份有限公司 弱光条件下捕获的被颜色着色像素的校正

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212545A (zh) * 2007-12-24 2008-07-02 电子科技大学 一种高动态范围的图形映射到低动态范围的方法及装置
CN101577828A (zh) * 2008-04-16 2009-11-11 英特尔公司 用于比特深度可分级的视频编解码器的色调映射
CN102194215A (zh) * 2010-03-19 2011-09-21 索尼公司 图像处理设备、方法以及程序
US8369617B2 (en) * 2010-04-12 2013-02-05 Nokia Corporation Cross device image recognition improvement
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
CN103729873A (zh) * 2013-12-31 2014-04-16 天津大学 一种内容感知的环境光采样方法
CN103747225A (zh) * 2014-01-23 2014-04-23 福州大学 基于颜色空间转换的高动态范围图像双屏显示方法
CN103888743A (zh) * 2011-04-15 2014-06-25 杜比实验室特许公司 编码、解码和表现高动态范围图像
US20140225941A1 (en) * 2011-09-27 2014-08-14 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
CN104036459A (zh) * 2014-05-21 2014-09-10 西安理工大学 一种具有图像真实感再现的局部色调映射方法
US20150221280A1 (en) * 2012-10-08 2015-08-06 Koninklijke Philips N.V. Luminance changing image processing with color constraints
CN104995903A (zh) * 2013-02-21 2015-10-21 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
US20160005349A1 (en) * 2013-02-21 2016-01-07 Dolby Laboratories Licensing Corporation Display Management for High Dynamic Range Video
CN105745914A (zh) * 2013-11-22 2016-07-06 杜比实验室特许公司 用于逆色调映射的方法和系统
US9390484B2 (en) * 2010-01-27 2016-07-12 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
CN105765967A (zh) * 2013-09-30 2016-07-13 谷歌公司 使用第二相机来调节第一相机的设置
US20160203618A1 (en) * 2015-01-09 2016-07-14 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
CN105787909A (zh) * 2012-08-08 2016-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036042B2 (en) * 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US10187587B2 (en) * 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212545A (zh) * 2007-12-24 2008-07-02 电子科技大学 一种高动态范围的图形映射到低动态范围的方法及装置
CN101577828A (zh) * 2008-04-16 2009-11-11 英特尔公司 用于比特深度可分级的视频编解码器的色调映射
US9390484B2 (en) * 2010-01-27 2016-07-12 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
CN102194215A (zh) * 2010-03-19 2011-09-21 索尼公司 图像处理设备、方法以及程序
US8369617B2 (en) * 2010-04-12 2013-02-05 Nokia Corporation Cross device image recognition improvement
CN103888743A (zh) * 2011-04-15 2014-06-25 杜比实验室特许公司 编码、解码和表现高动态范围图像
US20140225941A1 (en) * 2011-09-27 2014-08-14 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
CN105787909A (zh) * 2012-08-08 2016-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
US20150221280A1 (en) * 2012-10-08 2015-08-06 Koninklijke Philips N.V. Luminance changing image processing with color constraints
CN104995903A (zh) * 2013-02-21 2015-10-21 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
US20160005349A1 (en) * 2013-02-21 2016-01-07 Dolby Laboratories Licensing Corporation Display Management for High Dynamic Range Video
CN105765967A (zh) * 2013-09-30 2016-07-13 谷歌公司 使用第二相机来调节第一相机的设置
CN105745914A (zh) * 2013-11-22 2016-07-06 杜比实验室特许公司 用于逆色调映射的方法和系统
CN103729873A (zh) * 2013-12-31 2014-04-16 天津大学 一种内容感知的环境光采样方法
CN103747225A (zh) * 2014-01-23 2014-04-23 福州大学 基于颜色空间转换的高动态范围图像双屏显示方法
CN104036459A (zh) * 2014-05-21 2014-09-10 西安理工大学 一种具有图像真实感再现的局部色调映射方法
US20160203618A1 (en) * 2015-01-09 2016-07-14 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
饶志涛; 许廷发; 刘子伟等: "参数控制的混合色调映射方法", 《北京理工大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540808A (zh) * 2018-05-10 2018-09-14 西安电子科技大学 基于fpga的高动态图像压缩处理系统
CN108540808B (zh) * 2018-05-10 2020-01-31 西安电子科技大学 基于fpga的高动态图像压缩处理系统

Also Published As

Publication number Publication date
US10839495B2 (en) 2020-11-17
CN107888943B (zh) 2022-05-03
GB201616721D0 (en) 2016-11-16
GB2554669B (en) 2022-04-06
GB2554669A (en) 2018-04-11
US20180096467A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
CN107888943A (zh) 图像处理
JP7421674B2 (ja) 異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法
JP6831352B2 (ja) イメージ・グレーディングを分析するための装置及び方法
JP6362793B2 (ja) ハイダイナミックレンジ映像のためのディスプレイマネジメント
JP5762615B2 (ja) 高ダイナミックレンジ画像のエンコード、デコードおよび表現のための方法
US10540920B2 (en) Display management for high dynamic range video
US8014027B1 (en) Automatic selection of color conversion method using image state information
CN112272947A (zh) 一种视频信号处理的方法及装置
EP2120448A1 (en) Method of processing of a compressed image into a gamut mapped image using spatial frequency analysis
US10783620B2 (en) Image processing
CN104364820A (zh) 具有颜色约束的亮度改变图像处理
CN108605125A (zh) 对hdr视频进行编码和解码
WO2013131311A1 (zh) 对彩色数字图像进行视觉感知高保真变换的方法及系统
CN108235037A (zh) 对图像数据进行编码和解码
WO2021073304A1 (zh) 一种图像处理的方法及装置
CN111699507A (zh) 改进的高动态范围视频颜色重新映射
Mantiuk et al. High dynamic range image and video compression-fidelity matching human visual performance
CN107888944A (zh) 图像处理
JP2011527851A (ja) 異なる規格を使用して符号化された画像の変換
Lin et al. Correcting the Defects of the Default Tone Mapping Operators Implemented in the JPEGXT HDR Image Compression Standard
US11557265B2 (en) Perceptual color enhancement based on properties of responses of human vision system to color stimulus
Adams et al. Perceptually based image processing algorithm design
Jung et al. Power constrained contrast enhancement based on brightness compensated contrast-tone mapping operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221018

Address after: Cambridge County, England

Patentee after: ARM

Address before: Cambridge County, England

Patentee before: Apical Ltd.

TR01 Transfer of patent right