CN107888943B - 图像处理 - Google Patents

图像处理 Download PDF

Info

Publication number
CN107888943B
CN107888943B CN201710907214.0A CN201710907214A CN107888943B CN 107888943 B CN107888943 B CN 107888943B CN 201710907214 A CN201710907214 A CN 201710907214A CN 107888943 B CN107888943 B CN 107888943B
Authority
CN
China
Prior art keywords
image data
tone
input image
input
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710907214.0A
Other languages
English (en)
Other versions
CN107888943A (zh
Inventor
维亚切斯拉夫·切斯诺科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM
Original Assignee
Apical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apical Ltd filed Critical Apical Ltd
Publication of CN107888943A publication Critical patent/CN107888943A/zh
Application granted granted Critical
Publication of CN107888943B publication Critical patent/CN107888943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及图像处理。一种方法，包括接收输入图像文件的至少一部分。输入图像文件的至少一部分包括：表示图像的输入图像数据；以及参考色调映射强度数据，其表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数。该方法还包括将输入图像数据和输入值输入到色调映射操作。色调映射操作被应用于输入图像数据以生成表示应用了该数量的空间变化色调映射的输出图像的输出图像数据。

Description

图像处理
技术领域
本发明涉及用于处理图像的方法和计算设备。
背景技术
动态范围通常被理解为指图像或场景的最亮部分和最暗部分的强度之间的比率。在从明亮的阳光到深度阴影的范围内的图像通常被认为具有高动态范围，而具有较低对比度的室内场景往往具有较低动态范围。
已知调整图像的动态范围以使用所谓的“色调映射”来增强图像的质量。例如，可以使用色调映射来增强图像中可见的细节水平，同时仍保持图像的自然外观。这允许例如利用较低动态范围来近似高动态范围图像的外观。
在已知方法中，显示设备的亮度以及应用到表示图像的显示数据的动态范围压缩的数量都依靠环境光水平来进行控制。这可以跨宽范围的环境光条件维持恒定有效动态范围，从而在各种不同的观看环境中提供给令人满意的图像观看体验。
期望提供允许更多灵活性的图像处理方法，例如，应用到图像的色调映射的数量中的更多灵活性。
发明内容
根据本公开的一个实施例，提供了一种方法，包括：接收输入图像文件的至少一部分，输入图像文件的至少一部分包括：输入图像数据，该输入图像数据表示图像；以及参考色调映射强度数据，该参考色调映射强度数据表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数；将输入图像数据和输入值输入到色调映射操作；以及将色调映射操作应用于输入图像数据以生成表示应用了该数量的空间变化色调映射的输出图像的输出图像数据。
根据本公开的另一实施例，提供了一种计算设备，包括：存储装置，其用于存储输入图像文件的至少一部分，输入图像文件的至少一部分包括：输入图像数据，该输入图像数据表示图像；以及参考色调映射强度数据，该参考色调映射强度数据表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数；至少一个处理器，该至少一个处理器通信地耦合到存储装置；以及色调映射模块，该色调映射模块被配置为：接收输入图像数据和输入值；以及将色调映射操作应用于输入图像数据以生成表示应用了该数量的空间变化色调映射的输出图像的输出图像数据。
附图说明
结合附图，本公开的各个特征从以下具体实施方式中将是明显的，这些附图通过仅示例的方式一起示出了本公开的特征，并且其中：
图1是示出根据示例的方法的流程图；
图2是示出用于与根据示例的方法(例如，图1的方法)一起使用的示例系统的说明性概述的示意图；
图3是示出图2的一个或多个数据库、服务器设备、计算设备、以及显示设备之间的通信的示例的序列图；
图4是示出根据示例的色调映射模块的示意图；
图5是示出根据另一示例的色调映射模块的示意图；
图6是示出根据又一示例的色调映射模块的示意图；
图7是示出包括两个色调映射操作的示例的示意图；
图8是示出计算设备的内部组件的示例的示意图；
图9是示出根据示例的解码器的内部组件的示例的示意图；以及
图10是示出示例JPEG XT编码解码器的示意图。
具体实施方式
参考附图，根据示例的方法的细节从以下描述中将变得明显。在该描述中，为了解释的目的，阐述了一些示例的许多具体细节。在本说明书中，对“示例”或类似语言的引用表示结合该示例所描述的特定特征、结构、或特性被包括在至少该一个示例中，但不一定被包括在其他示例中。还应注意的是，为了便于解释和理解示例的概念，概要地描述了一些示例，而省略和/或必要地简化了一些特征。
本文描述的示例提供了处理图像的方法，例如，可以使用计算设备来实现该方法。图像可以是全部或整个图像，或较大图像的部分、一些、或子集。例如，图像是：来自计算设备的浏览器(例如，智能电话的浏览器)所访问的网页的图像；计算设备的图像获取设备(例如，相机)所获取的图像；或下载到或存储在计算设备的存储装置中的图像。图像可包括任意图形或视觉内容，例如，文本、图形、图片、和/或照片。
图1是示出根据示例的图像处理方法的流程图。图1的方法包括接收输入图像文件的至少一部分。输入图像文件可以是用于表示图像的任意适当的格式。通用格式包括联合图像专家组(JPEG，ISO/IEC 10918)格式或JPEG XT(ISO/IEC 18477)格式。
输入图像文件的至少一部分包括输入图像数据。输入图像数据可包括图像的每个像素的强度值，其可以以例如8位数据的每个色带从0到255的灰度级或亮度级来存储。0的灰度级例如对应于最暗强度(例如，黑色)并且255的灰度级例如对应于最亮强度(例如，白色)，0和255之间的灰度级对应于黑色和白色之间的中间强度。输入图像数据还可包括与输入图像数据所表示的图像的颜色相关的颜色数据。例如，当图像是彩色图像时，可以针对每个颜色通道分别存储强度或亮度的像素值或每个像素。若像素由例如RGB中的三原色(红色、绿色、蓝色)或YUV颜色空间(其中，Y表示颜色的亮度、U表示颜色的蓝色分量和亮度之间的差异、以及V表示颜色的红色分量和亮度之间的差异)来表示，则每个像素的视觉外观可以由三个强度值来表示，每个原色一个强度值。如技术人员将理解的，输入图像数据可以使用任意适当的表示来表示图像，该任意适当的表示可以与上面列出的示例不同，这些示例仅是说明性的。
输入图像文件的至少一部分还包括参考色调映射强度数据，其表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数。输入值可以等于参考色调映射强度参数，从而允许从参考色调映射强度参数简单地导出输入值。替代地，参考色调映射强度参数可以自己或利用附加的数据来处理、改变、或调整，以导出输入值。下面更详细地描述导出输入值的示例。
参考色调映射强度数据可以是与输入图像数据相关联的元数据。例如，在输入图像文件是JPEG形式的情况下，参考色调映射强度数据可以以可交换图像文件格式(EXIF)来存储。EXIF数据可被嵌入在输入图像文件自身内，例如，JPEG文件内。通常，EXIF数据被存储在JPEG的头部中。例如，EXIF数据可被存储在JPEG的一个实用应用程序段中，通常是APP1(段标记0xFFE1)，但可以使用其他段。
图1的示例中的方法包括将输入图像数据和输入值输入到色调映射操作并且将色调映射操作应用于输入图像数据，以生成表示应用了该数量的空间变化色调映射的输出图像的输出图像数据。用于色调映射操作的适当的算法是正交视网膜形态图像变换(ORMIT)算法，但各种其他不同的色调映射算法也是适用的。
示例中应用于输入图像数据的色调映射旨在增强图像中的细节或对比度，同时仍确保图像对于观看者显得相对“自然”。为此，色调映射在亮度域中可以是不对称的，以使得相比于相对明亮区域，更大数量的色调映射被应用于图像的黑暗区域，例如，通过比相对明亮部分更大程度的改变图像的相对黑暗部分的强度值。这模拟了人眼的行为，其具有相对高的动态范围，并且能够看到图像的甚至相对黑暗区域中的细节。在图1的例子中，色调映射因此是空间变化的(例如，空间不均匀的)，与其他空间区域相比，更大数量的色调映射被应用于图像的一些空间区域。色调映射在空间和亮度维度上都可以是连续且平滑变化的。因此可以增加与将保留在较暗和/或较亮区域的图像中的细节相对应的像素的强度范围，并且可以减小图像的其他区域的强度范围。色调映射因此可能涉及调整图像的动态范围，在示例中，其是图像的最亮部分和最暗部分的强度之间的比率。以这种方式调整动态范围通常增强图像的黑暗和/或明亮区域中的细节并且减少中间色调区域中的细节，以便渲染否则将在图像的较亮或阴影区域中丢失的可见细节，同时对于观看者仍保持图像的自然外观。示例中的空间变化色调映射的数量对应于图像中的像素的强度值的改变程度或幅值，例如，以如上所述增强图像细节。
可以通过色调映射操作来压缩或扩展动态范围。可以使用动态范围压缩来减少图像的动态范围，例如，以匹配或更接近耦合到计算设备的显示设备可以显示的动态范围。使用相机获取的图像可能具有例如高达大约4000：1的高动态范围。相比之下，典型的显示设备的动态范围可能远低于此，例如，大约50：1。因此，可以应用动态范围压缩来减少表示高动态范围图像的输入数据图像的动态范围，以匹配用于显示图像的显示设备的较低动态范围。
相反，例如，在显示设备可以显示的动态范围大于第二编码图像数据的动态范围的情况下，可以使用动态范围扩展来增加图像的动态范围。
通过接收包括表示图像的输入图像数据和参考色调映射强度数据二者的输入图像文件的至少一部分，示例中的方法允许基于输入图像数据和从参考色调映射强度数据导出的输入值来生成输出图像数据。因此，在这类示例中，可以从包含在输入图像文件的至少一部分自身中的数据生成输出图像数据。这允许基于输入图像文件的至少一部分来在不同的时间(例如，在不同的观看条件下)或通过不同的计算设备重现图像的色调映射操作，因而重现图像的视觉印象。
与已知方法相比，本文的示例的方法是不同的并且违反直觉的，在已知方法中，根据环境光等级来调整显示设备的亮度并且压缩显示数据的动态范围。利用已知方法，所显示的图像将具有取决于环境光等级的不同的效动态范围。因此，与观看明亮条件中的第二显示设备上的图像的第二观看者相比，观看黑暗条件中的第一显示设备上的图像的第一观看者将观看到具有不同的有效动态范围的图像。这可能是有益的，因为它可允许在各种不同的照明条件下看到图像中的细节。然而，可能存在这样的一些情况，其中，期望在同一设备或不同观看环境中的不同的设备上多次观看图像，应用同一色调映射例如以使得图像具有例如与观看条件无关的相同(例如，恒定)动态范围。根据本文描述的示例的方法提供了这种灵活性，因为可以从输入色调映射强度数据导出需要导出用于色调映射操作的数据，该输入色调映射强度数据是与输入图像数据相同的输入图像文件的部分。
与已知方法相比，根据示例的方法还提供了附加的灵活性。由于参考色调映射强度数据是随着输入图像数据一起提供的，因此可以在对输入图像数据应用色调映射操作之前执行基于参考色调映射强度数据的进一步处理和调整。例如，若需要，则可以根据其他时变输入来导出输入值，以允许适当地调整色调映射操作所应用的色调映射的数量。这可以例如通过进一步突出或提取表示输出图像的输出图像数据的黑暗区域中的细节来进一步增强输出图像的图像质量，同时若需要，则还允许生成如基于色调映射强度参数所调整的图像的精确副本。
因此，根据示例的方法即允许利用与此前显示的图像版本相同的色调映射来生成图像的精确副本，又允许利用与此前显示的图像版本相比经调整的色调映射来生成增强版本的图像。
为了将方法放在上下文中，将参考图2来描述可以与根据图1的示例的方法一起使用的示例系统。然而，如技术人员将理解的，其他系统或装置可以与该方法一起使用，或可以使用其他系统或装置来实现该方法。图3示出了示出图2的一个或多个数据库、服务器设备、计算设备、以及显示设备之间的通信的示例的序列图。随后，特别是参考图4，给出了根据示例的方法的进一步的细节。
图2示出了通过网络102通信地耦合到服务器设备104的计算设备100。图像106被存储在服务器设备104上。计算设备100通信地耦合到显示设备108。网络102可包括一系列网络，例如，互联网。
计算设备100可以是或可包括：蜂窝电话(即移动电话，例如，智能电话)、平板电脑、膝上型计算机或个人计算机、个人数字助理、以及各种其他电子设备(例如，游戏机)等等。下面参考图8详细描述了示例计算设备100的组件。计算设备100可具有集成的或外部耦合的有线和/或无线局域网(LAN)能力，例如，其可经由附加的通用串行总线(USB)或专用设备来耦合。例如，计算设备100可以耦合到有线和/或无线路由器，该有线和/或无线路由器进而连接到接有本地交换机的数字用户线(DSL)、线缆或光纤连接。本地交换机可以使用诸如公共交换电话网(PSTN)或有线提供商的网络系统之类的一个或多个中间网络来耦合到所谓的互联网。替代地，诸如使用通用移动通信系统(UMTS)或任何长期演进(LTE)标准的那些之类的无线电信系统可以为固定或移动计算设备提供通信介质。这些较后的网络系统进而可以连接到包括服务器、路由器、以及使用诸如传输控制协议(TCP)和互联网协议(IP)之类的协议进行通信的其他网络设备的一系列一个或多个网络。若计算设备100是诸如智能电话之类的移动设备，则计算设备100可具有集成电信模块，其用于与耦合到一个或多个TCP/IP网络的核心网络进行无线通信；同样地，若计算设备100是膝上型计算机或平板计算机，则它可具有外部耦合电信调制解调器(所谓的“加密狗”，通常经由USB来耦合)，其用于与核心网络和较宽互联网的无线通信。服务器设备104可同样地具有适当的网络通信组件。服务器设备104可包括被布置为通过网络102来接收请求的HTTP服务器。在一些情况下，计算设备100和服务器设备104中的一项或多项可包括在底层物理计算硬件上实现的虚拟设备。示例中的计算设备100可被认为是被配置为访问服务器设备104的客户端设备。
在可能使用根据示例的方法的说明性示例中，用户使用计算设备100的浏览器来访问网页。网页被托管在服务器设备104上，并且包括具有图像106的各种内容。图像被存储在输入图像文件中。浏览器经由网络102从服务器设备104取回输入图像文件的至少一部分。例如，服务器设备104可被布置为接收和处理HTTP或其他网络请求。在该示例中，输入图像文件包括上述输入图像数据和参考色调映射强度数据。图2的示例中的浏览器取回整个输入图像文件，但在其他示例中，浏览器可仅接收输入图像数据和参考色调映射强度数据，而不接收输入图像文件的其他数据。例如，输入图像文件可包括附加的数据，例如，可能未被浏览器取回的和与图像相关联的日期和时间有关的或对与图像相关联的日期和时间进行编码的元数据、图像的描述、或与图像有关的版权信息。
图2的示例中的计算设备100包括色调映射模块，其被配置为接收输入图像数据和输入值并且将色调映射操作应用于输入图像数据，以生成表示应用了该数量的空间变化色调映射的输出图像的输出图像数据。从参考色调映射强度数据所表示的参考色调映射强度参数导出输入值，并且如上面参考图1所描述的来表示空间变化色调映射的数量。参考图4提供了色调映射操作的进一步的细节。
可以通过耦合到计算设备100的显示设备108来显示输出图像、或基于输出图像的附加处理的输出的另外的输出图像。显示设备108可被内部地耦合到计算设备100，显示设备108形成计算设备100自身的部分。例如，显示设备108可以是诸如智能电话、平板电脑、膝上型计算机或台式计算机、或个人数字助理之类的计算设备100的显示屏。替代地，显示设备108可以是耦合到计算设备100的外部设备，例如，经由高清多媒体接口(HDMI)线缆耦合到膝上型计算机、台式计算机、或游戏机的电视屏幕或计算机监视器。
图3是示出图2的存储图像106的服务器设备的存储装置、服务器设备104、计算设备100、以及显示设备108之间的通信的示例集合的序列图。
在操作110中，计算设备100的浏览器经由计算设备100的网络接口112从服务器设备104请求包括图像106的网页。请求由服务器设备104的网络接口114接收。
在图3的示例通信的操作116中，服务器设备104的存储装置接口118从服务器设备104的存储装置或耦合到服务器设备104的存储装置访问输入图像文件的至少一部分。输入图像文件的至少一部分包括表示图像的输入图像数据和表示参考色调映射强度参数的参考色调映射强度数据，该参考色调映射强度参数用于导出表示空间变化色调映射的数量的输入值。在操作120中，包括输入图像文件的至少一部分的网页从存储装置被发送到服务器104的存储装置接口118。在框122中，服务器设备104然后将输入图像文件的至少一部分从服务器设备104的网络接口114发送到计算设备100的网络接口112。参考图4到图7进一步描述的计算设备的色调映射模块应用色调映射操作以生成输出图像数据。在框124中，输出图像数据由计算设备100的显示设备接口126传送到显示设备108，以向用户显示基于输出图像数据的输出图像以及网页的其他内容。
图4示意性地示出了用于执行根据示例的方法(例如，参考图1描述的方法)的色调映射模块128的示例。色调映射模块128接收输入图像数据130和输入值132作为输入。如上所述，输入图像数据130表示图像。输入值132是从表示参考色调映射强度参数的参考色调映射数据导出的。
图4示出了导出输入值132的示例。在图4中，参考色调映射强度数据134和表示另外的色调映射强度参数的另外的参考色调映射强度数据136由输入值导出模块138接收。输入值导出模块138通过组合参考色调映射强度数据134和另外的色调映射强度数据136以生成组合色调映射强度数据来导出输入值132。在该示例中，输入值132等于组合色调映射强度数据。
在诸如图4之类的示例中，参考色调映射强度数据134和另外的参考色调映射强度数据136可取决于不同的参数或属性。例如，参考色调映射强度数据134可取决于下列项中的至少一项：预定义值；被配置为显示基于输出图像数据的输出图像的显示设备的显示属性；环境光水平；或用于显示基于输出图像数据的输出图像的应用的应用属性。另外的参考色调映射强度数据136可取决于与参考色调映射强度数据134所根据的一个或多个属性不同的这些属性中的至少一个，或可取决于与与参考色调映射强度数据134所根据的一个或多个属性相同的这些属性中的至少一个。
预定义值可以是例如内容创建者或图像供应者已经确定的对于获取用于观看的期望输出图像是最优或期望的色调映射的值。例如，图像的创建者或供应者可能已经确定图像的图像质量在特定观看条件下是最佳的，其中，特定参考色调映射强度参数用作到色调映射操作的输入。这可以例如通过执行下列项来确定：调整色调映射强度参数以调整应用于图像的色调映射的强度、在应用色调映射操作之后例如通过人眼或电子地来分析输出图像的显示质量、以及将与最优显示质量相对应的色调映射强度参数作为输入图像文件的部分存储为表示参考色调映射强度参数的参考色调映射强度数据。针对其优化参考色调映射强度参数的观看条件可以是相对黑暗的观看条件。在这种情况下，参考色调映射强度参数可以是零例如以使得色调映射操作不改变输入图像数据，以便输出图像和输入图像相同。在其他情况下，参考色调映射强度参数可以是非零的。参考色调映射强度参数通常取决于图像的内容。例如，在图像包括人体皮肤的情况下，参考色调映射强度参数由于人体皮肤具有有限的亮度而可以是非零的，因而可以通过应用色调映射操作来增强例如以放大皮肤中的细节。
显示设备的显示属性可以是可能影响输出图像的显示质量的任意属性、特性、或特征。例如，显示属性可以是显示设备的亮度，例如，从用于照亮显示设备的像素的背光发出的光的最大亮度或强度、或最大像素亮度、或显示设备类型。通常，不同类型的显示设备需要不同数量的色调映射(例如，液晶显示设备(LCD)相比于有机发光二极管显示设备(OLED))来实现输出图像的给定显示质量，例如，在输出图像的黑暗区域具有给定数量的可见细节。
在参考色调映射强度数据134和/或另外的参考色调映射强度数据136取决于环境光水平的情况下，可以例如通过环境光传感器来测量环境光水平。环境光传感器可耦合于计算设备或与计算设备一体。这样的环境光传感器可包括一个或多个光电探测器；使用多个光电探测器可以增加扩散环境光的测量的可靠性。
如上所述，在一些情况下，参考色调映射强度数据134和/或另外的参考色调映射强度数据136取决于用于显示基于输出图像数据的输出图像的应用的应用属性。应用属性是例如由应用的开发者、制造商、或设计者指定的用于显示输出图像的属性，例如，能够显示图像的浏览器或其他应用。应用属性可以例如指定应利用特定色调映射来显示图像，例如，在期望为使用应用显示的图像赋予特定“外观”的情况下。例如，应用开发者可能希望显示具有高动态范围的超现实图像、或具有低动态范围的具有很少可见细节黑暗图像。
在一些情况下，参考色调映射强度数据134取决于图像自身固有的属性。参考色调映射强度数据134所表示的参考色调映射强度参数因此可以是如上所述的预定义值。在这种情况下，另外的参考色调映射强度数据136可取决于与图像的性质或内容无关的参数或属性。例如，另外的色调映射强度数据136所表示的另外的色调映射强度参数可取决于被配置为显示基于输出图像数据的输出图像的显示设备的显示属性，如上所述。
如技术人员将理解的，可以以各种方式来组合参考色调映射强度数据134和另外的色调映射强度数据136。例如，参考色调映射强度数据134所表示的参考色调映射强度参数可以是或可对应于特定(例如，预定义的)增益G。增益G可被表示为：
(1)
Figure GDA0003095068820000111
其中，D是色调映射操作之前的输入图像数据的动态范围，并且DTM是在色调映射操作之后将获得的预定义输出动态范围。
可以如下从增益G导出到色调映射操作的输入值α：
(2)
Figure GDA0003095068820000112
其中，G是(1)中定义的增益，并且Gmax是利用最大色调映射强度可以获得的最大增益。
在参考色调映射强度数据134和另外的色调映射强度数据136被组合的情况下，参考色调映射强度数据134和另外的色调映射强度数据136可对应于不同的相应的增益值。在这种情况下，表示为第一增益G1的参考色调映射强度数据134和表示为第二增益G2的另外的色调映射强度数据136可以如下相乘以获得表示为GC的组合增益：
(3)GC＝G1*G2
类似地，参考色调映射强度数据134可以通过将第一增益G1和对应于另外的色调映射强度数据136的集合中的每个另外的色调映射强度数据136的相应的增益相乘，来与另外的色调映射强度数据136多于一个的集合相组合。
组合强度参数αC然后可被计算为：
(4)
Figure GDA0003095068820000113
在这类示例中，对应于参考色调映射强度数据134的增益值可取决于与对应于另外的色调映射强度数据136的增益值不同的参数或属性，如上所述。
如技术人员将理解的，可以使用其他方法或算法来组合参考色调映射强度数据134和另外的色调映射强度数据136。例如，在参考色调映射强度数据134等于色调映射强度参数α1并且另外的色调映射强度数据136等于不同的色调映射强度参数α2的情况下，可以通过将α1和α2相乘来获得组合强度参数αC。
可以使用软件、硬件、或软件和硬件的组合来组合参考色调映射强度数据134和另外的色调映射强度数据136。
尽管图4的示例示出了输入值132由输入值导出模块138来导出，但将理解的是，在其他示例中，输入值可以由计算设备的其他模块导出。替代地，输入值导出模块可以是计算设备的另一模块(例如，色调映射模块128)的子模块或部分。在输入值等于参考色调映射强度数据的其他示例中，可能不存在用于从参考色调映射强度数据中导出输入值的专用模块。在这种情况下，参考色调映射强度数据可以在没有进一步的处理或操纵的情况下作为输入值被直接输入到色调映射模块128。
从参考色调映射强度数据134和另外的色调映射强度数据136导出的输入值132与表示图像的输入图像数据130一起被输入到色调映射模块128。色调映射模块128对输入图像数据130应用色调映射操作。在图4的示例中，输入值132表示可被认为是色调映射变换的“强度”的值，其可以取例如0和1之间的值。输入值132表示空间变化色调映射的数量，例如，每个像素的强度或亮度被色调映射操作改变的数量或幅值。输入值132自身对于图像中的不同像素可以是不同的，以便实现跨图像变化的色调映射的数量。例如，输入值132可以根据像素强度而变化，以使得色调映射在具有低像素强度值的图像的较暗部分中较强(例如，具有较高输入值132)，并且在图像的较亮部分中较弱。这可以更加增强阴影而不影响明亮区域。例如，可以例如通过将应用了最大(或至少相对强的)色调映射的像素强度除以具有针对每个像素的零(或至少相对低的)色调映射的像素强度来计算像素到像素增益。像素到像素增益可用作到色调映射模块128的输入值132，并且可以通过将每个像素的像素强度值与该像素的相应的增益值相乘来应用于输入图像数据130。在该示例中，色调映射操作是ORMIT算法，并且输入值132是ORMITα参数。
色调映射模块128所应用的色调映射操作产生应用了该数量的空间变化色调映射的输出图像数据140。基于输出图像数据140的输出图像可以由耦合到计算设备的显示设备(如上所述，但在图4中未示出)来显示。
图5示意性地示出了用于执行根据示例的方法的色调映射模块142的另一示例。类似于图4的色调映射模块128的图5的色调映射模块142的特征被标记有相同参考标号，但增加100；应采用相应的描述。
图5的色调映射模块142接收表示图像的输入图像数据230和表示空间变化色调映射的数量的输入值232。输入值232已经由输入值导出模块238从参考色调映射强度数据234和另外的参考色调映射强度数据236导出，该导出类似于图4的示例中的输入值132的导出。
在图5的示例中，色调映射模块142被布置为使用有时被称为α混合的方法来对输入图像数据进行色调映射。在该示例中，空间变化色调映射的数量是空间变化色调映射的最终数量，并且输入图像数据230是第一输入图像数据。
图5的示例包括初始色调映射模块144，其被配置为对第一输入图像数据230应用初始数量的空间变化色调映射以生成第二输入图像数据146。初始色调映射模块144例如被布置为对第一输入图像数据230应用非零(例如，最大)数量的空间变化色调映射。上述ORMIT算法可以由初始色调映射模块144使用。尽管初始色调映射模块144在图5中被示出为单独的模块，但在其他示例中，初始色调映射模块144可以与色调映射模块142相集成，或色调映射模块142可用于对第一输入图像数据230应用初始数量的空间变化色调映射。
第一输入图像数据230和第二输入图像数据146被输入到在该示例中由色调映射模块142实现的色调映射操作。在图5的示例中，色调映射操作包括基于第一输入图像数据230和第二输入图像数据146利用最终数量的空间变化色调映射来生成输出图像数据240。第一输入图像数据230和第二输入图像数据146对于输出图像数据240的相对贡献取决于输入值232。
在该示例中，还可以如如上所述的组合强度参数αC来计算输入值232。在该情况下，可如下修改像素强度值：
(5)Iout＝I1*(1-αC)+I2*αC
其中，Iout是输出图像数据的输出强度值，I1是来自第一输入图像数据230的像素强度值并且I2是来自通过对第一输入图像数据230应用初始数量的空间变化色调映射所获得的第二输入图像数据146的像素强度值。在该情况下，如从等式(5)可以看出的，第一输入图像数据230和第二输入图像数据146的相对贡献取决于组合强度参数αC，在该示例中，该组合强度参数αC是到色调映射操作的输入值232。
其他混合方案还是可能的。例如，可以替代地如下修改像素强度值：
(6)
Figure GDA0003095068820000141
其中，Iout、I1、I2、以及αC如此前所定义。
α混合过程可被看作同一图像的两个版本的覆盖或组合；一个版本未应用色调映射(对应于第一输入图像数据230)并且一个版本应用了非零色调映射(对应于第二输入图像数据146)，例如，其可以是应用了最大色调映射。在另外的示例中，与输入图像数据相比，还可以利用与被应用以生成第二输入图像数据146的初始数量的空间变化色调映射不同数量的色调映射来对第一输入图像数据230进行色调映射。
图5的示例中的α混合处理的输出是具有最终数量的空间变化色调映射的输出图像数据240。对于图5，基于输出图像数据240的输出图像可以在耦合到计算设备的显示设备上进行显示。
图6示意性地示出了用于执行根据示例的方法的色调映射模块148的又一示例。类似于图4的色调映射模块128的图6的色调映射模块148的特征被标记有相同参考标号，但增加100；应采用相应的描述。
在图6的示例中，色调映射模块148接收表示图像的输入图像数据330和表示空间变化色调映射的数量的输入值332。输入值332已经由输入值导出模块338从参考色调映射强度数据334和另外的参考色调映射强度数据336导出，该导出类似于图4的示例中的输入值132的导出。在图6中，色调映射模块148还接收指示输入值332将要变化的变化数据150。
变化数据150例如是从用于显示基于输入图像文件的输出图像的应用(例如，浏览器)接收的。例如，用户可以与浏览器的内容进行交互，以例如通过从菜单中选择特定选项或通过与浏览器或其他应用所显示的交互组件进行交互来指示改变输出图像的色调映射的意图。例如，浏览器可以显示滑块，用户可以使用触摸屏或鼠标或计算设备100的其他输入设备来滑动该滑块，以调整输出图像的色调映射。当用户接触或选择滑块时，这可被认为是对输入值332将要变化的指示，并且作为变化数据150被发送到色调映射模块148。
色调映射模块148应用色调映射操作以生成输出图像数据340。图6的色调映射模块148所应用的色调映射操作可以是例如参考图4或图5所描述的色调映射操作，或不同的色调映射操作。输出图像数据340被存储在输出帧缓冲器152中。输出图像数据340在输出帧缓冲器152中的存储被示出为由图6的示例中的色调映射模块148执行。然而，在其他示例中，可以使用计算设备100的其他模块或组件或耦合到计算设备100的其他模块或组件来将输出图像数据340存储在输出帧缓冲器152中。
在图6的示例中，色调映射模块148还生成表示应用了第一数量的空间变化色调映射的图像的第一输入图像数据154和表示应用了第二数量的空间变化色调映射的图像的第二输入图像数据156。第一输入图像数据154被存储在第一帧缓冲器158中，并且第二输入图像数据156被存储在第二帧缓冲器160中。第一数量的空间变化色调映射例如是零，并且第二数量的空间变化色调映射例如是非零，并且可以是最大数量的色调映射。
通过将第一输入图像数据154存储在第一帧缓冲器158中并且将第二输入图像数据156存储在第二帧缓冲器160中，色调映射模块148准备好应用第一输入图像数据154和第二输入图像数据156的各种不同数量的α混合。这可以允许例如基于用户输入来快速改变应用于图像的色调映射。
例如，色调映射模块148可以针对用于由显示设备显示的至少一个附加的帧中的每个来接收相应的附加的输入值。可以经由用于显示输出图像的应用(例如，如上所述用于接收变化数据150的浏览器)来接收附加的输入值。例如，附加的输入值可被认为是对应于耦合到计算设备100的显示设备上的滑块的位置。以这种方式，用户可以通过改变滑块的位置来改变在至少一个附加的帧中的每个中所应用的色调映射。
色调映射模块148还可被布置为针对至少一个附加的帧中的每个来生成附加的帧缓冲器，该附加的帧缓冲器存储表示基于第一输入图像数据和第二输入图像数据的附加的输出图像的附加的输出图像数据，第一输入图像数据和第二输入图像数据对于附加的输出图像数据的相对贡献取决于相应的帧的附加的输入值。图6示出了这样的示例：在图6中，根据附加的输入值，第一输入图像数据154和第二输入图像数据156针对每个帧被α混合以生成附加的输出图像数据162，其被存储在附加的帧缓冲器164中。
在诸如图6的示例之类的示例中，可以因此在第一帧中显示基于输出图像数据的输出图像。在至少一个附加的帧中的每个中，显示相应的附加的输出图像。在这种情况下，该至少一个附加的帧例如在第一帧之后。
该方法例如允许至少附加的帧中的每个与第一输入图像数据154和第二输入图像数据156的不同数量的α混合相关联，允许快速改变输出图像的色调映射。例如，既不需要重新取回图像数据，也不需要针对每个帧重新计算或重复色调映射操作。相反，仅需要例如通过改变第一输入图像数据154和第二输入图像数据156对于附加的输出图像数据162的相对贡献来重新计算基于输入值的输出图像的像素强度。这可以例如由计算设备100的图形处理单元来快速执行。
图7是示出包括两个色调映射操作的示例的示意图。在图7中，表示图像的输入图像数据430由色调映射模块428接收。输入图像数据430和色调映射模块428类似于图4的输入图像数据130和色调映射模块128；应采用相应的描述。
色调映射模块428还接收表示空间变化色调映射的数量的输入值166。在该示例中，输入值166是从表示参考色调映射强度参数的参考色调映射强度数据导出的，并且在该情况下，输入值166等于表示参考色调映射强度参数的参考色调映射强度数据。色调映射模块428应用色调映射操作以生成输出图像数据440，其类似于图4的输出图像数据140。然而，在图7的示例中，输出图像数据440被输入到另外的色调映射操作，在该示例中，该另外的色调映射操作是由另外的色调映射模块168实现的。另外的色调映射模块168还接收表示另外的色调映射强度参数的另外的色调映射强度数据170作为输入，该另外的色调映射强度参数用于导出表示另外的数量的空间变化色调映射的另外的输入值。在该示例中，该另外的输入值等于另外的色调映射强度参数，但在其他示例中，另外的色调映射强度参数可以自己或例外附加的数据来处理以导出该另外的输入值。
另外的色调映射模块168可类似于色调映射模块428，并且可以对输出图像数据440应用另外的色调映射操作以生成另外的输出图像数据172，其表示应用了另外的数量的空间变化色调映射的另外的输出图像。在示例中，色调映射模块428和另外的色调映射模块168可以例如基于或根据不同的属性或参数来应用不同强度的不同的色调映射。色调映射模块428和另外的色调映射模块168可以在不同的、单独的模块中实现，或它们可被集成在执行二者的功能的一个模块中。
下面参考图8提供了图2的计算设备100的内部组件的示例的概述，例如，可包括图4到图7的色调映射模块128、142、148、428、168。
图8的计算设备100包括网络接口112以从服务器设备104取回输入图像文件的至少一部分。计算设备100的网络接口112可包括软件和/或硬件组件，例如，虚拟网络接口、以太网端口、软件驱动器、和/或与网络硬件进行交互的通信栈。
图8的示例中的计算设备100的存储装置173存储在网络接口112处接收到的数据174。在该示例中，数据174包括输入图像文件的至少一部分，输入图像文件的至少一部分包括表示图像的输入图像数据和参考色调映射强度数据。存储装置173可包括易失性存储器(例如，随机存取存储器(RAM))和非易失性存储器(例如，只读存储器(ROM))、或固态驱动器(SSD)(例如，闪速存储器)中的至少一个。示例中的存储装置173可包括另外的存储设备，例如，磁、光、或磁带介质、光盘(CD)、数字通用盘(DVD)、或其他数据存储介质。存储装置173可以是从计算设备100可移除或不可移除的。
至少一个处理器175被通信地耦合到图8的计算设备100中的存储装置173。图8的示例中的至少一个处理器175可以是：微处理器、通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其他可编程逻辑器件、离散门、或晶体管逻辑、离散硬件组件、或被设计为执行本文描述的功能的上述项的任意适当的组合。处理器还可被实现为计算设备的组合(例如，DSP和微处理器的组合)、多个微处理器、结合DSP核心的一个或多个微处理器、或任意其他这类配置。至少一个处理器178还可以是或可包括至少一个图形处理单元(GPU)，例如，可以从
Figure GDA0003095068820000181
(2701San Tomas Expressway，SantaClara，CA 95050，USA)获得的
Figure GDA0003095068820000182
GTX 980，但其他处理器是可能的。例如，在一种情况下，计算设备可包括具有图形处理能力的瘦终端；在其他情况下，计算设备可包括具有至少一个中央处理单元(CPU)和至少一个图形处理单元的计算设备。
图8的示例中的存储装置173包括计算机程序指令，其被配置为当由至少一个处理器175处理时，实现诸如上面参考图4到图7描述的那些之类的色调映射模块176。计算机程序指令可被存储在可访问非暂态计算机可读介质中，并且可被加载到存储器(例如，存储装置173)中以实现色调映射模块176。在示例中，存储装置173和计算机程序指令被配置为与存储装置173的图形处理单元一起实现色调映射模块。例如，图形处理单元的使用可允许并行处理用于色调映射的多个操作，提升对数据进行色调映射的速度。
图8的示例中的计算设备100的组件使用系统总线177进行互连。这允许在各个组件之间传送数据。例如，由根据示例的方法生成的输出图像数据可被存储在存储装置173中，并且随后经由系统总线177从存储装置173被发送到显示设备接口126，以传送到显示设备108用于显示。显示设备接口126可包括显示端口和/或内部电子接口，例如，其中，显示设备108是计算设备100的部分，如智能电话的显示屏。因此，当由至少一个处理器175经由显示设备接口126指示时，显示设备108将显示基于输出图像数据的图像。
如上所述，示例中的输入图像文件是JPEG或JPEG XT文件格式。在这类示例中，输入图像文件的至少一部分可以是经解码的JPEG或JPEG XT文件的至少一部分，或方法可包括对输入图像文件或输入图像文件的至少一部分进行解码。诸如下面描述的图9和图10的示例之类的示例中的解码可包括输入图像文件的至少一部分的输入图像数据的附加的处理。这类处理例如可以增强输入图像数据所表示的图像的图像质量。
图9示意性地示出了可以与根据本文描述的示例的方法一起使用的解码器1126的内部组件的示例。图9的解码器1126适用于对8位JPEG和多于8位的JPEG XT文件进行解码，但可以使用其他解码器来执行仅被布置为解码一个文件类型的示例的方法。在描述对多于8位的JPEG XT格式的编码图像数据进行解码之前，将首先描述对8位JPEG格式的编码图像数据进行解码。
图9示意性地示出了对8位JPEG格式的JPEG输入图像文件1128的至少一部分进行接收的解码器1126的示例。JPEG输入图像文件的至少一部分包括表示图像的JPEG编码图像数据。如技术人员将理解的，该示例中的JPEG编码图像数据已经使用标准JPEG编码器进行编码。解码器1126包括标准JPEG解码器1130，其接收并且解码JPEG编码输入图像数据以生成具有第一位精度的JPEG第一解码图像数据1132。示例中的位精度是与一块数据相关联的位的数目。例如，位精度还可被称为位深度，并且可以是用于指示强度值或颜色或图像的像素的颜色通道的强度值的位的数目。例如，对于8位JPEG第一解码图像数据，每个颜色通道可以由0和255之间的强度值来表示，每个颜色通道给出256个可能的强度值。可能存在例如3个颜色通道，例如，红色、绿色、或蓝色通道，但不同数目或类型颜色通道也是可能的。
在该示例中，第一位精度为8位，其是JPEG ISO/IEC 10918标准的JPEG文件的标准位精度，但其他位精度对于第一位精度是可能的(例如，对于其他数据类型)。例如，具有第一位精度的数据可被认为是LDR或SDR数据。JPEG第一解码图像数据1132可被传送以供在没有进一步处理的情况下在显示设备108上进行显示，以提供附加的显示灵活性。然而，在没有进一步处理的情况下，图像质量将被限制于与标准解码JPEG文件相关联的图像质量。
因此，在图9的示例中，解码器1126不仅解码JPEG编码图像数据，而且提供进一步的图像处理以增强JPEG编码图像数据所表示的图像的图像质量。图9的例子中的解码器1126包括“压缩噪声”减少模块，在该示例中，其是精度提升器(upscaler)1134。该示例中的压缩噪声减少模块接收JPEG第一解码图像数据1132，并且对JPEG第一解码图像数据1132应用一个或多个压缩噪声减少滤波器。在示例中，一个或多个压缩噪声减少滤波器的应用减少了JPEG第一解码图像数据1132中的压缩噪声。在不减少压缩噪声的情况下，最终图像中可能存在可见伪影。压缩噪声通常与原始图像数据的有损编码(例如，JPEG或JPEG XT编码)一起出现。有损编码通常涉及原始图像数据的近似，图像保真度降低了一些。例如，可能丢失一些原始图像信息。可能无法恢复该丢失的信息，与原始图像的图像质量相比，这可能降低图像质量。然而，压缩图像数据可能具有比表示图像的原始未压缩图像数据更小的文件大小，减少了对存储压缩图像数据的空间要求。由于有损编码算法中所涉及的近似过程，与解码图像数据相关联的图像的表示可能遭受压缩伪影，例如，观察者可见的压缩噪声。例如，在图像的特征(例如，对应于从光亮到黑暗图像区域的转换的边缘或区域)周围可能存在噪声，例如，具有不正确(例如，明显的较暗或较亮)强度的像素。在这些图像特征周围还可能或替代地存在具有相同强度的像素的可见“块”，而不是具有平滑变化的强度的像素。诸如这些之类的压缩伪影通常是由JPEG算法的量化步骤引起的，其涉及将各个分量舍入到整数值，因而减少了与量化编码图像数据相关联的信息。这类压缩伪影的可见性可取决于被应用于原始图像数据以获得压缩图像数据的压缩的程度或数量。
可以将各种不同的压缩噪声减少滤波器应用于JPEG第一解码图像数据1132以生成JPEG第二解码图像数据1136。例如，JPEG第一解码图像数据1132可以是矩阵或其他多维数据结构的形式。JPEG第一解码图像数据1132可以与适当的“压缩噪声”减少滤波器进行卷积，其通常也是矩阵或多维数据结构的形式。示例中的压缩噪声减少滤波器平滑了JPEG第一解码图像数据1132中的压缩伪影，同时例如通过将数据从LDR或SDR数据转换为HDR数据来将数据的位精度从第一位精度增加到第二位精度。可以使用压缩噪声减少滤波器来减少图像中的诸如块效应(例如，可见块)或振铃(例如，可见振铃)之类的压缩伪影。例如，压缩噪声减少滤波器可以是或可包括诸如Canny边缘检测器之类的边缘检测滤波器，其可被应用于JPEG第一解码图像数据1132以标识图像中图像亮度或像素强度快速或剧烈变化的点或区域。这类点或区域通常对应于图像中的边缘，例如，图像内的不同表面或分量之间的转换。根据与所标识的边缘区域的接近度，可以调整(例如，平滑)像素强度值以减少由JPEG第二解码图像数据1136所表示的图像中的压缩噪声。例如，可以在针对被标识为在距离所检测的边缘预定接近度之内的区域中的像素的一组邻近或附近像素上平均像素强度。在示例中，可以通过对JPEG第一解码图像数据1132(例如，在被标识为对应于被认为可能遭受压缩伪影的区域的JPEG第一解码图像数据1132所表示的图像的区域中)应用另外的压缩噪声减少滤波器来改变像素强度值。示例中一个或多个压缩噪声减少滤波器的应用将表示图像的数据的位精度提高到第二位精度，该第二位精度高于第一解码图像数据的第一位精度。例如，具有第二位精度的数据可以是HDR数据，例如，具有高于8位的位精度的数据。可以使用示例中的计算设备100的图形处理单元(未示出)来应用一个或多个压缩噪声减少滤波器。这可以允许并行处理或计算一个或多个压缩噪声减少滤波器与图像的像素的各个组和区域的卷积。这可以提高执行压缩噪声减少的速度。
在示例中，应用一个或多个压缩噪声减少滤波器包括应用一个或多个平滑滤波器以减少第一解码图像数据中的带状噪声。带状噪声是如上所述可能由JPEG或JPEG XT编码算法的量化步骤引起的一类压缩噪声。例如，在该量化过程期间，在图像中可能存在其中像素强度改变了相对较小数量的若干图像区域。例如，在具有较亮区域和较暗区域的天空的图像中，该较亮区域和较暗区域可各自显示相对小的像素强度和/或颜色的变化。在该说明性示例中，对应于图像中的较亮区域的像素可被压缩为第一像素强度和颜色值，并且对应于图像中的较暗区域的像素可被压缩为第二像素强度和颜色值。当未对图像应用进一步的处理时，该压缩通常是不可见的。然而，当对图像应用色调映射操作时，如根据示例的方法，色调映射操作可以增加较亮区域和较暗区域之间的差异，得到其中较亮区域的所有像素都具有相同像素强度和颜色值的可见带或轮廓，其与较暗区域的像素的相邻带或轮廓强烈对比。通过应用一个或多个平滑滤波器(例如，具有适当的核的低通滤波器，其例如支配像素的滤波强度值如何依赖于相邻像素的强度值)，可以减少带噪声。例如，一个或多个平滑滤波器可以例如通过模糊、扩展、或逐渐调整不同图像区域之间的转换区域中的像素强度来减少不同强度或颜色的图像区域之间的对比的锐度。例如，可以使用简单的低通滤波器来计算像素和该像素的8个直接邻居的平均强度，并且利用该所计算的平均强度值来代替像素的原始强度值。这可用于将位精度增加到第二位精度，例如，因为像素强度可以由更大数目的位(例如，像素强度的更大或更精细量化的一系列可能的强度值)来表示。
一个或多个压缩噪声减少滤波器减少图像中的压缩噪声的程度可取决于质量因子。例如，质量因子可以作为到一个或多个压缩噪声减少滤波器(例如，图9的示例中的精度提升器1134)的输入被接收。质量因子可以由用户根据图像的期望视觉印象来选择，或质量因子可取决于与用户无关的特性，例如，图像的内容或与图像相关联的设置，例如，由内容创建者提供的。
在示例中，JPEG解码器1130和压缩噪声减少模块被一起认为形成位精度放大模块。然而，在其他示例中，JPEG解码器和压缩噪声减少模块可被单独地实现或在可不同的模块中实现。
压缩噪声减少模块的输出是具有第二位精度的JPEG第二解码图像数据1136。第二位精度不需要是固定的或恒定的位精度。例如，在图9中，JPEG第二解码图像数据1136可以是例如存储在具有比第一位精度更高的可用位精度的浮点表示中的浮点数据。在其他示例中，第二位精度可以是固定的或恒定的，例如，9到16中的任一个的固定值。JPEG第二解码图像数据1136被输入到色调映射模块1138，其被配置为对第二解码图像数据1136应用色调映射操作以生成具有第二位精度的第一色调映射图像数据1142。色调映射模块1138可以是与图4到图7的色调映射模块128、142、148、428、168相类似或相同的色调映射模块。
在图9的示例中，JPEG输入图像文件1128的至少一部分还包括表示参考色调映射强度参数的参考色调映射强度数据。在该示例中，使用参考色调映射强度数据来导出输入值1140，其在该示例中被标记为“强度”。如上所述，输入值1140表示色调映射模块1138所应用的空间变化色调映射的数量，并且被输入到色调映射模块1138。
在图9中，输入值1140被示出为是在未进行解码的情况下从JPEG输入图像文件1128的至少一部分导出的。然而，在其他示例中，可以解码JPEG输入图像文件1128的至少一部分的参考色调映射强度数据以生成解码参考色调映射强度数据，并且可以从解码参考色调映射强度数据导出输入值1140。例如，可以使用JPEG解码器1130或使用另外的解码器来解码参考色调映射强度数据，该另外的解码器可以是单独的模块或解码器1126的部分。替代地，在JPEG输入图像文件1128的至少一部分由解码器1126接收之前，参考色调映射强度数据可已经被解码。
在图9的示例中，色调映射操作由解码器1126执行，该解码器1126能够解码以第一位精度编码的输入图像数据并且能够解码第二位精度编码的输入图像数据。在该示例中，解码器1126包括位精度放大模块(在该示例中，包括JPEG解码器1130和精度提升器1134)、色调映射模块1138、以及位精度减少模块(待描述)。在其他示例中，这些模块中的一些或全部可能不形成解码器的部分。
示例中的JPEG第一色调映射图像数据1142对应于上述输出图像数据，其表示应用了该数量的空间变化色调映射量的输出图像。可以对JPEG第一色调映射图像数据1142应用另外的处理以基于输出图像数据生成另外的输出图像数据，以供由耦合到计算设备100的显示设备108显示。例如，另外的色调映射操作可被应用于如参照图7所描述的JPEG第一色调映射图像数据1142。然而，图9示出了另外的处理的不同示例。在图9的示例中，使用位精度减少模块来将从色调映射模块1138输出的JPEG第一色调映射图像数据1142转换为具有第一位精度的JPEG第二色调映射图像数据1146，在该情况下，该位精度减少模块是抖动模块1144。在示例中，位精度减少模块减少JPEG第一色调映射图像数据1142的位精度以生成JPEG第二色调映射图像数据1146，同时基本上保持JPEG第二色调映射图像数据1146所表示的图像的图像质量。例如，可以使用位精度减少模块来近似JPEG第二色调映射图像数据1146中的图像的图像质量，同时还实现期望的位精度减少。
在示例中，第二位精度由提供第一位精度的第一系列的位和提供附加的位精度以形成第二位精度的附加的一个或多个位来表示。在这种情况下，该方法可包括当将第一色调映射图像数据转换为第二色调映射图像数据时，通过从用于图像的至少一部分中的像素的附加的一个或多个位导出信息来改善当由第一系列的位表示时的图像的显示质量，并且使用该信息来改变用于图像的至少一部分中的像素的第一系列的位。丢弃用于图像的至少一部分中的像素的附加的一个或多个位。在这些情况下，使用该附加的一个或多个位来操纵或修改第一系列的位，但不是具有第一位精度的第二音调映射图像数据的自身的部分。
在这类示例中，改善由第一系列的位所表示的图像的显示质量可包括对第一色调映射图像数据应用抖动操作。图9示出了这样的示例。可以使用抖动操作来近似第一色调映射图像数据(其可以利用第二位精度来表示但不能利用第一位精度来表示)中的像素强度或其他像素值，以便生成仍提供第一色调映射图像数据所表示的图像的相对忠实并且精确的表示的第二色调映射图像数据。例如，在第一色调映射图像数据中的像素区域的像素强度处于利用第二位精度不可用的强度等级的情况下，可以利用第二色调映射图像数据(像素区域中的一些像素处于较低强度等级，并且像素区域中的其他像素处于较高强度等级)来近似像素强度。抖动操作通常是空间抖动操作，以避免如暂时抖动将需要的快速刷新显示器。如技术人员将理解的，抖动模块1144可以使用各种算法来应用抖动操作。例如，抖动模块1144可以应用误差扩散抖动操作。可以使用误差扩散抖动来减少数据的位精度。作为简单的例子，可以使用误差扩散抖动来将图像减少到二进制图像，其中，每个像素是黑色或白色。例如，可以通过评估每个像素的强度值是高于还是低于阈值(例如，黑白图像的中间灰度值)并且若低于阈值则将像素强度设置为黑色以及若高于阈值则像素强度设置为白色，来对像素应用半色调处理。像素强度因此不同于其原始值。该差异可被认为是误差，其可被添加到图像中尚未与阈值进行比较的一个或多个像素。可以对图像中的所有像素重复该过程以生成半色调或抖动图像。如将理解，在其他示例中，可以应用误差扩散抖动来产生具有每像素多于两个强度等级的输出图像，例如，以产生具有第一位精度的第二色调映射图像数据。
第一位精度例如等于被配置为显示基于第二色调映射图像数据的输出图像的显示设备可以显示的最大位精度。例如，对于典型的LDR显示设备，第一位精度可以是8位。
第二色调映射图像数据1146被传送以供由耦合到计算设备100的显示设备108进行显示。在进行显示之前，可以在解码器1126(未示出)处或解码器1126外部(例如，在计算设备100的另一模块中)对第二色调映射图像数据1146应用另外的处理。例如，第二色调映射图像数据1146可以与表示至少一个另外的显示元件的另外的显示数据进行合成，以生成用于由显示设备100显示的输出图像。如技术人员将理解的，该合成可以由合成窗口管理器执行，其还被称为合成器。示例中的合成器在不同的窗口中绘制不同的应用并且利用不同程度的透明度来适当地覆盖不同的窗口，以便在显示设备100上显示期望的输出图像。
通过使用解码器来对编码图像数据进行解码并且生成具有第一位精度的第二色调映射图像，为图像的处理提供了更大的灵活性。例如，可以通过解码器来处理图像，并且然后通过显示驱动系统(例如，通过显示控制器)来进行进一步的处理。例如，可以通过显示驱动系统来对用于由显示设备显示的数据(包括图像、以及用于显示的屏幕的其余部分)应用另外的色调映射、或动态范围压缩或扩展，以进一步改善图像质量。
此外，处理第一解码图像数据以生成第二解码图像数据提升或增加了表示图像的数据的位精度。这允许将色调映射操作应用于具有比其他解码图像数据的图像更高的位精度表示的第二解码图像数据。例如，第二解码图像数据可以存储关于图像的由于增加的位精度而增加的信息，允许例如在后续处理步骤之后更精确地再现图像。与对具有较低位深度的图像的表示应用色调映射操作将实现的相比，这改善了色调映射操作的结果，较大增强了图像中的细节的，同时保持其自然外观。此外，通过利用第一位精度来将第一色调映射图像数据转换为第二色调映射图像数据，第二色调映射图像数据所表示的图像可以由显示设备利用第一位精度来显示，但具有改善的显示质量。
如上所述，还可以使用图9的示例解码器1126来解码多于8位JPEG XT格式的JPEGXT压缩图像数据，如现在将描述的。
JPEG XT输入图像文件的至少一部分由图9的解码器1126的JPEG XT解码器1149接收。JPEG XT输入图像文件的至少一部分包括基础图像层数据1148a和附加图像层数据1148b。图10示意性地示出了图9的JPEG XT解码器1149，图10出了示例JPEG XT编码解码器1150(编码器-解码器)。JPEG XT编码解码器1150接收表示图像的输入图像数据。在该示例中，输入图像数据具有多于8位的浮点位精度，但在其他示例中其他位精度是可能的，例如，多于8位的固定或静态位精度。使用JPEG XT编码器1151对输入图像数据进行编码，该JPEGXT编码器1151将数据编码为包含基础图像层数据1148a的基础图像层和包含附加图像层数据1148b的附加图像层。基础图像层数据1148a可以是传统实现方式可以访问的LDR或SDR数据，以便可以使用标准JPEG解码器来解码JPEG XT图像，该标准JPEG解码器可以解码LDR或SDR数据并且忽略附加图像层数据。示例中的附加图像层数据1148b包括驻留图像数据和用于重新构建HDR图像的转换信息，例如，具有比基础图像层数据1148a所表示的图像更高的动态范围的图像。基础图像层数据1148a因此可被认为表示图像的第一动态范围表示。可以使用附加图像层数据1148b来生成图像的第二动态范围表示，第二动态范围大于第一动态范围。基础图像层数据1148a和附加图像层数据1148b都可具有相同的位精度，例如，8位。图10示出了其中基础图像层数据1148a和附加图像层数据1148b都是8位的示例，但在其他示例中，基础图像层数据1148a和附加图像层数据1418b可具有与彼此不同的位精度和/或与8位不同的位精度。
在图9和图10的示例中，基础图像层数据1148a和附加图像层数据1148b被输入到JPEG XT解码器1149。图9和图10的JPEG XT解码器1149对基础图像层数据1148a进行解码以生成解码基础图像层数据1152。在该示例中，基础图像层数据1148a可被认为对应于表示图像的编码图像数据，并且解码基础图像层数据1152可被认为对应于具有第一位精度的第一解码图像数据，第一位精度在该示例中是8位，但其他位精度是可能的。JPEG XT解码器1149还对附加图像层数据1148b进行解码以生成解码附加图像层数据(未示出)。在该示例中，解码附加图像层数据具有第二位精度，但在其他示例中，解码附加图像层数据可具有与例如大于或小于第二位精度的不同的位精度。然而，通常，解码附加图像层数据具有大于第一位精度的位精度。然后可以基于解码附加图像层数据来操纵解码基础图像层数据1152，以生成具有第二位精度的JPEG XT第二解码图像数据1153。如技术人员将理解的，可以例如使用解码附加图像层数据来对解码基础图像层数据1152应用各种转换，以生成JPEG XT第二解码图像数据1153。在这样的示例中，处理第一解码图像数据以生成第二解码图像数据可包括将解码附加图像层数据应用于解码基础图像层数据1152以生成第二解码图像数据1153。第二解码图像数据1153可对应于图像的第二动态范围表示。
图像的第二动态范围表示可具有比8位更高的位深度(例如，具有高于8位的位精度或9到16位的位范围中的浮点)，例如，用于在HDR显示设备1154(例如，能够显示较高位深度图像的显示设备)上进行显示。例如，图9和图10的示例中的第二解码图像数据1153是HDR数据。JPEG XT解码器还可通过仅使用基础图像层数据来解码标准JPEG图像以及JPEG XT图像，例如，以供在LDR或SDR显示器(例如，具有8位显示能力的上述显示设备108)上进行显示。例如，可以与JPEG第一解码图像数据的处理相类似地来解码和处理基础图像层数据，以改善图像质量。因此，对于JPEG XT图像，示例中的解码器为产生用于在LDR显示器上进行显示的输出图像提供了两个选项：可以通过单独处理基础图像层数据或通过处理基础图像层数据和附加图像层数据来获得输出图像。
在图9和图10的示例中，在HDR显示设备1154上显示JPEG XT图像之前，对JPEG XT第二解码图像数据1153应用另外的处理(图10中未示出，但图9中示出)。该处理类似于解码器1126被布置为在JPEG编码图像数据的JPEG解码之后应用的处理，然而，它不要求应用一个或多个压缩噪声减少滤波器来生成具有第二位精度的JPEG XT第二解码图像数据1153，因为从JPEG XT解码器1149接收到的JPEG XT第二解码图像数据1153已经处于第二位精度。
然而，在一些示例中，可以对JPEG XT第二解码图像数据1153应用一个或多个压缩噪声减少滤波器，例如，上面参考JPEG图像的处理所描述的那些一个或多个压缩噪声减少滤波器。可以使用这类压缩噪声减少滤波器来减少JPEG XT第二解码图像数据1153所表示的图像中可能存在的压缩伪影。在这些示例中，一个或多个压缩噪声减少滤波器的应用可以增加位精度、或可以不改变JPEG XT第二解码图像数据1153的位精度。例如，对于其中某些图像区域(例如，光亮区域)利用诸如8位之类的相对低位精度来有效表示的图像，应用一个或多个压缩噪声减少滤波器可能是有益的。这可能是其中在这些图像区域中存在不可忽略的噪声的情况。例如，在一些图像中，噪声可能是从几位到8位。在这些示例中，由于动态范围可被认为对应于图像的最亮部分和图像的最暗部分的噪声(例如，标准差)之间的比率，因此一些图像区域中的有效动态范围可能由于这些区域中的噪音的数量而显著减少。在这类示例中，可以对图像应用一个或多个压缩噪声减少滤波器例如以提高这些图像区域的精度。
在另外的示例中，一个或多个压缩噪声减少滤波器可以由JPEG XT解码器本身来应用，以使得JPEG XT解码器的输出(例如，解码基础图像层数据1152和JPEG XT第二解码图像数据1153)可以在已经应用了压缩噪声减少之后被输出。
在该情况下，JPEG XT第二解码图像数据1153被输入到颜色校正模块1155，并且然后在由颜色校正模块1155进行颜色校正之后，被输入到伽马校正模块1156。颜色校正模块1155和伽马校正模块1156接收来自JPEG XT解码器1149的数据1157(在该示例中，元数据)，该JPEG XT解码器1149支配分别由颜色校正模块1155和伽马校正模块1156应用的颜色校正和伽马校正模块的程度。然而，在其他示例中，颜色校正模块1155和/或伽马校正模块1156可能未接收到来自JPEG XT解码器1149的数据。在这些示例中，颜色校正模块1155和伽马校正模块1156所应用的校正的程度可被预先设定或预先确定。可以使用颜色校正模块1155来修改或改变图像的颜色例如以加宽图像的色域，例如，以匹配或对应用于显示图像的显示设备的宽色域。可以使用伽马校正模块1156来对图像应用伽马校正操作。伽马校正通常是非线性操作，其可以使用下列幂律表达式来定义：
(1)
Figure GDA0003095068820000291
其中，Vout是输出值、A是常数、Vin是输入值、以及γ是伽马值。输入和输出值例如是图像的像素的亮度或三刺激值。可以使用伽马校正来例如表示图像，以便足够数目的位被分配给人眼可以区分的图像特征，而不分配过多的位来表示人眼不能感知的图像特征。例如，可以使用伽马校正来提供具有跨图像的亮度范围的均匀误差的图像的表示。这可用于减少图像中的压缩伪影的出现。然而，在另外的示例中，未对JPEG XT第二解码图像数据1153应用颜色校正和/或伽马校正。例如，解码器中可能没有颜色校正模块1155和伽马校正模块1516。
JPEG XT第二解码图像数据1153(在该示例中，在处理的该阶段，其具有大于8位的浮点位精度)在颜色校正和伽马校正之后被提供给色调映射模块1138’，该色调映射模块1138’类似于针对JPEG数据的色调映射所描述的色调映射模块1138并且基于类似于上述输入值1140的输入值1140’来应用一定数量的色调映射，在该示例中，输入值1140’被表示为“强度”，类似于输入值1140。具有第二位精度的JPEG XT第一色调映射图像数据1158由色调映射模块1138’生成并且被输入到抖动模块1144’，该抖动模块1144’类似于上面针对JPEG数据的抖动所描述的抖动模块1144。抖动模块1144’利用第一位精度将JPEG XT第一色调映射图像数据1158转换为JPEG XT第二色调映射图像数据1159。
在图9的示例中，对应于解码基础图像层数据1152和JPEG XT第二色调映射图像数据1159的SDR数据作为到判定模块1160的输入被接收。该示例中的判定模块1160接收指示是否在显示设备108上显示标准SDR数据、或是否在显示设备108上显示JPEG XT第二色调映射图像数据1159的输入。以这种方式，可以使用到判定模块1160的输入来确定是否显示应用图像处理的方法(例如，利用本文描述的色调映射和其他处理)之后的图像、或是否显示未进行该图像处理的标准图像。判定模块1160的输出1161由显示设备108显示。然而，在其他示例中，可能没有判定模块1160，在这种情况下，JPEG XT第二色调映射图像数据1159可被传送到显示设备108以供显示，并且解码基础图像层数据1152可能未被显示。
在图9的示例中，HDR数据(对应于JPEG XT第二解码图像数据1153)被示出为在HDR显示器1154上进行显示。然而，在其他示例中，JPEG XT第二解码图像数据1153可能未被显示，但替代地可被丢弃或若需要则可被存储用于图像数据的进一步处理。
图9的JPEG XT解码器因此提供显示图像的灵活性以及向后兼容性(若需要)。例如，该JPEG XT解码器允许在SDR显示设备108上显示标准JPEG图像(对应于解码基础层图像数据1153)、在SDR显示设备108上显示色调映射图像(对应于JPEG XT第二色调映射图像数据1159)、以及在HDR显示设备1154上显示HDR图像(对应于JPEG XT第二解码图像数据1153)。例如，可以根据需要来选择这些选项中的每个选项，例如，根据可用于显示图像的显示设备、要处理的图像的性质或内容、或用户偏好。
以上示例将被理解为说明性示例。设想另外的示例。例如，上面给出的示例涉及使用JPEG或JPEG XT文件格式的图像。然而，将理解的是，上述方法、系统、以及设备可被应用于以各种其他文件格式存储的图像或与以各种其他文件格式存储的图像一起使用。
在以上示例中，从服务器设备接收输入图像文件的至少一部分。然而，在其他示例中，输入图像文件的至少一部分可被存储在计算设备的存储装置上。例如，图像可能已经由图像获取设备(例如，计算设备的相机或耦合到计算设备的相机)获取、或可能已经从除了服务器设备的存储装置之外的其他存储装置被下载或传送到计算设备并且作为输入图像文件被存储在计算设备的存储装置上。
上述示例使用软件来实现根据示例的方法。然而，在其他示例中，可以仅使用硬件或使用硬件和软件的组合来实现该方法。
将理解的是，关于任意一个示例所描述的任意特征可被单独使用、或组合所描述的其他特征来使用，并且还可以组合任意其他示例的一个或多个特征、或任意其他示例的任意组合来使用。此外，还可以在不脱离所附权利要求的范围的情况下采用上面未描述的等同物和修改。

Claims (8)

1.一种图像处理方法，包括：
接收输入图像文件的至少一部分，所述输入图像文件的至少一部分包括：
输入图像数据，所述输入图像数据表示图像；以及
参考色调映射强度数据，所述参考色调映射强度数据表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数，所述空间变化色调映射的数量对应于所述图像中的像素的强度值被色调映射操作改变的程度或幅度；
将所述输入图像数据和所述输入值输入到所述色调映射操作；以及
将所述色调映射操作应用于所述输入图像数据以生成表示应用了所述数量的空间变化色调映射的输出图像的输出图像数据；
其中，空间变化色调映射的所述数量是空间变化色调映射的最终数量，并且所述输入图像数据是第一输入图像数据，以及
所述方法还包括：
对所述第一输入图像数据应用初始数量的空间变化色调映射以生成第二输入图像数据；以及
将所述第二输入图像数据输入到所述色调映射操作，
其中，所述最终数量的空间变化色调映射是基于所述第一输入图像数据和所述第二输入图像数据的，所述第一输入图像数据和所述第二输入图像数据对于所述输出图像数据的相对贡献取决于所述输入值。
2.如权利要求1所述的方法，包括：
接收另外的色调映射强度数据，所述另外的色调映射强度数据表示另外的色调映射强度参数；以及
导出所述输入值，所述导出所述输入值包括组合所述参考色调映射强度数据和所述另外的色调映射强度数据以生成组合色调映射强度数据，所述输入值等于所述组合色调映射强度数据。
3.如权利要求2所述的方法，其中，所述另外的色调映射强度参数取决于被配置为显示基于所述输出图像数据的输出图像的显示设备的显示属性。
4.如权利要求1所述的方法，包括：
接收另外的色调映射强度数据，所述另外的色调映射强度数据表示用于导出表示空间变化色调映射的另外的数量的另外的输入值的另外的色调映射强度参数；
将所述输出图像数据和所述另外的输入值输入到另外的色调映射操作；以及
将所述另外的色调映射操作应用于所述输出图像数据以生成表示应用了所述另外的数量的空间变化色调映射的另外的输出图像的另外的输出图像数据。
5.如权利要求1到4中的任一项所述的方法，其中，所述输入图像文件是8位联合图像专家组(JPEG)文件或多于8位的JPEG XT文件。
6.一种图像处理方法，包括：
接收输入图像文件的至少一部分，所述输入图像文件的至少一部分包括：
输入图像数据，所述输入图像数据表示图像；以及
参考色调映射强度数据，所述参考色调映射强度数据表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数，所述空间变化色调映射的数量对应于所述图像中的像素的强度值被色调映射操作改变的程度或幅度；
接收指示所述输入值将变化的变化数据；
将所述输入图像数据和所述输入值输入到所述色调映射操作；
将所述色调映射操作应用于所述输入图像数据以生成表示应用了所述数量的空间变化色调映射的输出图像的输出图像数据；将所述输出图像数据存储在输出帧缓冲器中；
生成表示应用了第一数量的空间变化色调映射的所述输入图像的第一输入图像数据；
生成表示应用了第二数量的空间变化色调映射的所述输入图像的第二输入图像数据；
将所述第一输入图像数据存储在第一帧缓冲器中；
将所述第二输入图像数据存储在第二帧缓冲器中；
针对用于由显示设备显示的至少一个附加帧中的每个附加帧接收相应的附加输入值；以及
针对所述至少一个附加帧中的每个附加帧生成附加帧缓冲器，所述附加帧缓冲器存储表示基于所述第一输入图像数据和所述第二输入图像数据的附加输出图像的附加输出图像数据，所述第一输入图像数据和所述第二输入图像数据对于所述附加输出图像数据的相对贡献取决于所述相应的帧的所述附加输入值。
7.一种计算设备，包括：
存储装置，其用于存储输入图像文件的至少一部分，所述输入图像文件的至少一部分包括：
输入图像数据，所述输入图像数据表示图像；以及
参考色调映射强度数据，所述参考色调映射强度数据表示用于导出表示空间变化色调映射的数量的输入值的参考色调映射强度参数，所述空间变化色调映射的数量对应于所述图像中的像素的强度值被色调映射操作改变的程度或幅度；
至少一个处理器，所述至少一个处理器通信地耦合到所述存储装置；以及
色调映射模块，所述色调映射模块被配置为：
接收所述输入图像数据和所述输入值；以及
将所述色调映射操作应用于所述输入图像数据以生成表示应用了所述数量的空间变化色调映射的输出图像的输出图像数据；
其中，空间变化色调映射的所述数量是空间变化色调映射的最终数量，并且所述输入图像数据是第一输入图像数据，以及
所述色调映射模块还被配置为：
对所述第一输入图像数据应用初始数量的空间变化色调映射以生成第二输入图像数据；以及
将所述第二输入图像数据输入到所述色调映射操作，
其中，所述最终数量的空间变化色调映射是基于所述第一输入图像数据和所述第二输入图像数据的，所述第一输入图像数据和所述第二输入图像数据对于所述输出图像数据的相对贡献取决于所述输入值。
8.如权利要求7所述的计算设备，其中：
所述存储装置包括计算机程序指令；并且
所述至少一个处理器包括图形处理单元，
所述存储装置和所述计算机程序指令被配置为与所述图形处理单元一起实现所述色调映射模块。
CN201710907214.0A 2016-09-30 2017-09-29 图像处理 Active CN107888943B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1616721.5 2016-09-30
GB1616721.5A GB2554669B (en) 2016-09-30 2016-09-30 Image processing

Publications (2)

Publication Number Publication Date
CN107888943A CN107888943A (zh) 2018-04-06
CN107888943B true CN107888943B (zh) 2022-05-03

Family

ID=57570903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710907214.0A Active CN107888943B (zh) 2016-09-30 2017-09-29 图像处理

Country Status (3)

Country Link
US (1) US10839495B2 (zh)
CN (1) CN107888943B (zh)
GB (1) GB2554669B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504487B2 (en) * 2016-10-14 2019-12-10 Apple Inc. Ambient and content adaptive pixel manipulation
GB2558000B (en) * 2016-12-21 2020-06-10 Apical Ltd Display control
GB2558234B (en) * 2016-12-22 2020-05-13 Apical Ltd Image processing
EP3460747B1 (en) * 2017-09-25 2023-09-06 Vestel Elektronik Sanayi ve Ticaret A.S. Method, processing system and computer program for processing an image
CN108540808B (zh) * 2018-05-10 2020-01-31 西安电子科技大学 基于fpga的高动态图像压缩处理系统
JP7046270B2 (ja) * 2018-10-03 2022-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 後方互換性を有するｈｄｒ画像化における、バンディングアーチファクトの低減
WO2020117378A1 (en) * 2018-12-05 2020-06-11 Gopro, Inc. Color fringing processing independent of tone mapping
KR102641738B1 (ko) * 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
US20230199133A1 (en) 2020-07-13 2023-06-22 Qualcomm Incorporated Correction of color tinted pixels captured in low-light conditions

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212545A (zh) * 2007-12-24 2008-07-02 电子科技大学 一种高动态范围的图形映射到低动态范围的方法及装置
CN101577828A (zh) * 2008-04-16 2009-11-11 英特尔公司 用于比特深度可分级的视频编解码器的色调映射
CN102194215A (zh) * 2010-03-19 2011-09-21 索尼公司 图像处理设备、方法以及程序
US8369617B2 (en) * 2010-04-12 2013-02-05 Nokia Corporation Cross device image recognition improvement
CN103729873A (zh) * 2013-12-31 2014-04-16 天津大学 一种内容感知的环境光采样方法
CN103747225A (zh) * 2014-01-23 2014-04-23 福州大学 基于颜色空间转换的高动态范围图像双屏显示方法
CN104036459A (zh) * 2014-05-21 2014-09-10 西安理工大学 一种具有图像真实感再现的局部色调映射方法
US9390484B2 (en) * 2010-01-27 2016-07-12 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
CN105765967A (zh) * 2013-09-30 2016-07-13 谷歌公司 使用第二相机来调节第一相机的设置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI580275B (zh) * 2011-04-15 2017-04-21 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
US9036042B2 (en) * 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
EP2745507A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
US9129445B2 (en) * 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
CN105787908B (zh) * 2012-08-08 2019-05-14 杜比实验室特许公司 用于高动态范围图像的图像处理方法、装置及存储介质
PL2836983T3 (pl) * 2012-10-08 2018-01-31 Koninklijke Philips Nv Przetwarzanie obrazu zmieniające luminancję z ograniczeniami barwy
KR102157032B1 (ko) * 2013-02-21 2020-09-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위 비디오에 대한 디스플레이 관리
RU2633128C2 (ru) * 2013-02-21 2017-10-11 Конинклейке Филипс Н.В. Улучшенные способы и устройства кодирования и декодирования hdr изображения
CN105745914B (zh) * 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
US9652870B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
US10187587B2 (en) * 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212545A (zh) * 2007-12-24 2008-07-02 电子科技大学 一种高动态范围的图形映射到低动态范围的方法及装置
CN101577828A (zh) * 2008-04-16 2009-11-11 英特尔公司 用于比特深度可分级的视频编解码器的色调映射
US9390484B2 (en) * 2010-01-27 2016-07-12 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
CN102194215A (zh) * 2010-03-19 2011-09-21 索尼公司 图像处理设备、方法以及程序
US8369617B2 (en) * 2010-04-12 2013-02-05 Nokia Corporation Cross device image recognition improvement
CN105765967A (zh) * 2013-09-30 2016-07-13 谷歌公司 使用第二相机来调节第一相机的设置
CN103729873A (zh) * 2013-12-31 2014-04-16 天津大学 一种内容感知的环境光采样方法
CN103747225A (zh) * 2014-01-23 2014-04-23 福州大学 基于颜色空间转换的高动态范围图像双屏显示方法
CN104036459A (zh) * 2014-05-21 2014-09-10 西安理工大学 一种具有图像真实感再现的局部色调映射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
饶志涛 ; 许廷发 ; 刘子伟等.参数控制的混合色调映射方法.《北京理工大学学报》.2015,全文. *

Also Published As

Publication number Publication date
GB2554669B (en) 2022-04-06
US20180096467A1 (en) 2018-04-05
US10839495B2 (en) 2020-11-17
CN107888943A (zh) 2018-04-06
GB201616721D0 (en) 2016-11-16
GB2554669A (en) 2018-04-11

Similar Documents

Publication Publication Date Title
CN107888943B (zh) 图像处理
JP6362793B2 (ja) ハイダイナミックレンジ映像のためのディスプレイマネジメント
EP3566203B1 (en) Perceptually preserving scene-referred contrasts and chromaticities
CN108235037B (zh) 对图像数据进行编码和解码
CN108460732B (zh) 用于处理图像的方法和计算设备
RU2640717C1 (ru) Кодирование, декодирование и представление изображений с расширенным динамическим диапазоном
TWI559779B (zh) 擴展影像動態範圍
US9654701B2 (en) Global display management based light modulation
WO2014043005A1 (en) Display management for images with enhanced dynamic range
JP2019513323A (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
WO2021073304A1 (zh) 一种图像处理的方法及装置
WO2019091196A1 (zh) 图像处理的方法和装置
CN107888944B (zh) 图像处理
US8698832B1 (en) Perceptual detail and acutance enhancement for digital images
CN116167950B (zh) 图像处理方法、装置、电子设备及存储介质
JP6484244B2 (ja) カラー／グレーの小さい差異を保持する画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221018

Address after: Cambridge County, England

Patentee after: ARM

Address before: Cambridge County, England

Patentee before: Apical Ltd.

TR01 Transfer of patent right