CN107888944B - 图像处理 - Google Patents

图像处理 Download PDF

Info

Publication number
CN107888944B
CN107888944B CN201710909064.7A CN201710909064A CN107888944B CN 107888944 B CN107888944 B CN 107888944B CN 201710909064 A CN201710909064 A CN 201710909064A CN 107888944 B CN107888944 B CN 107888944B
Authority
CN
China
Prior art keywords
image data
image
bit precision
tone
jpeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710909064.7A
Other languages
English (en)
Other versions
CN107888944A (zh
Inventor
维亚切斯拉夫·切斯诺科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apical Ltd
Original Assignee
Apical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apical Ltd filed Critical Apical Ltd
Publication of CN107888944A publication Critical patent/CN107888944A/zh
Application granted granted Critical
Publication of CN107888944B publication Critical patent/CN107888944B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本公开涉及图像处理。提供了一种处理图像的方法。该方法包括接收包括表示图像的编码图像数据的压缩的图像数据，并且解码该编码图像数据以生成具有第一位精度的第一解码图像数据。该方法还包括处理第一解码图像数据以生成高于第一位精度的第二位精度的第二解码图像数据，并且对第二解码图像数据应用色调映射操作，以生成具有第二位精度的第一色调映射图像数据。第一色调映射图像数据被转换为具有第一位精度的第二色调映射图像数据。

Description

图像处理
技术领域
本发明涉及用于处理图像的方法和计算设备。
背景技术
高动态范围(HDR)、高精度图像和视频内容现在广泛可用。例如，提供12位或14位HDR图像的数码相机是可用的。虽然一些设备(例如，HDR电视机)具有HDR兼容显示器，但是其他设备(例如，智能手机)通常具有有时被称为SDR或标准动态范围的低动态范围(LDR)8位显示器。因此，对于没有HDR兼容显示器的设备的用户来说，即使他们尝试查看HDR内容，HDR内容的额外精度目前仍对其不可见。
例如，不提供HDR内容的JPEG格式(联合图像专家组，ISO/IEC 10918)的图像可以在这样的设备上显示。然而，JPEG委员会正在开发一种称为JPEG XT(ISO/IEC 18477)的新编码标准。JPEG XT旨在提供HDR图像编码和与标准JPEG压缩的向后兼容性。
标准JPEG通常使用8位精度。预期JPEG XT图像将使用例如在9位和16位之间的较高的位精度。目前，因为JPEG和JPEG XT图像之间的差异在当前LDR 8位显示器上不易被看到，所以JPEG XT格式未被广泛使用。
希望增强用于在LDR显示器以及HDR显示器上显示的图像的图像质量，例如，用于利用HDR图像编码的可用性。
发明内容
根据本公开的一个方面，提供了一种处理图像的方法，包括：接收包括表示图像的编码图像数据的压缩的图像数据；解码该编码图像数据，以生成具有第一位精度的第一解码图像数据；处理第一解码图像数据以生成具有高于第一位精度的第二位精度的第二解码图像数据；对第二解码图像数据应用色调映射操作，以生成具有第二位精度的第一色调映射图像数据；以及将第一色调映射图像数据转换为具有第一位精度的第二色调映射图像数据。
根据本公开的另一个方面，提供了一种计算设备，包括：存储装置，其用于存储压缩的图像数据，压缩的图像数据包括表示图像的编码图像数据；至少一个处理器，其可通信地耦合到存储装置；位精度放大模块，被配置为：解码编码图像数据以生成具有第一位精度的第一解码图像数据；以及处理第一编码图像数据，以生成具有高于第一位精度的第二位精度的第二解码图像数据；色调映射模块，被配置为：对第二解码图像数据应用色调映射操作，以生成具有第二位精度的第一色调映射图像数据；以及位精度降低模块，被配置为：将第一色调映射图像数据转换为具有第一位精度的第二色调映射图像数据。
附图说明
根据结合附图的以下详细描述，本公开的各种特征将是显而易见的，附图仅通过示例的方式示出了本公开的特征，并且其中：
图1是示出根据示例的处理图像的方法的流程图；
图2是示出根据示例的用于处理图像的方法(例如，图1的方法)的示例系统的示意性概述的示意图；
图3是示出在图2的一个或多个数据库、服务器设备、计算设备和显示设备之间的通信的示例的序列图；
图4是示出根据示例的用于执行处理图像的方法的解码器的内部组件的示例的示意图；
图5是示出示例JPEG XT编解码器的示意图；以及
图6是示出计算设备的内部组件的示例的示意图。
具体实施方式
根据示例的方法的细节从以下说明中参考附图将是显而易见的。在本说明中，出于解释的目的，列出了某些示例的许多具体细节。在说明中对“示例”或类似语言的引用，意为结合示例所描述的特定特征、结构或特性至少包括在那一个示例中，但不一定被包括在其他示例中。还应该注意，某些示例为了解释和理解实施例的基础概念以省略和/或必要地简化某些特征的方式被概括描述。
本文描述的示例提供了处理图像的方法，其可以例如使用计算设备而实现。图像可以是整体或全部图像，也可以是较大图像的部分、方面或子集。该图像是例如从由计算设备的浏览器(例如，智能手机的浏览器)所访问的网页的图像；由计算设备的图像获取设备(例如，照相机)获取的图像；或下载到或存储在计算设备的存储装置中的图像。图像可以包括任何图形或视觉内容，例如文本、图形、图片和/或照片。
图1是示出根据示例的处理图像的方法的流程图。该方法包括接收压缩的图像数据，该压缩的图像数据包括表示图像的编码图像数据。编码图像数据被解码以生成具有第一位精度的第一解码图像数据。例如，编码图像数据可以是JPEG或JPEG XT文件格式，并且相应地，解码器可以是或包括标准JPEG或JPEG XT解码器。
该方法还包括处理第一解码图像数据以生成具有高于第一位精度的第二位精度的第二解码图像数据。如下面将进一步说明的，第二解码图像数据的生成可以包括仅处理第一解码图像数据、或处理第一解码图像数据和其他数据。对第二解码图像数据应用色调映射操作，以生成具有第二位精度的第一色调映射图像数据。如本领域技术人员将理解的，色调映射涉及例如改变由解码图像数据表示的图像的不同部分的相对亮度，以增强或放大原始图像中的不太可见的细节，同时为观察者保持图像的自然的外观。以这种方式，可以提高图像的质量。
该方法还包括将第一色调映射图像数据转换成具有第一位精度的第二色调映射图像数据。因此，该方法可以被认为是位精度降低操作或对应于位精度降低操作。该转换可以用于将第一色调映射图像数据的位的数量减少到等于由显示设备可显示的最大位精度，允许第二色调映射图像数据表示的图像由显示设备显示，而无需进一步处理第二色调映射图像数据。如下面将进一步解释的，可以使用各种方法来进行位精度降低操作。
根据示例的方法，用来生成第二解码图像数据的第一解码图像数据的处理增多或增加表示该图像的数据的位精度。这允许将色调映射操作应用于具有比其他方式更高的位精度表示的第二解码图像数据。例如，第二解码图像数据可以存储由于增加的位精度引起的关于图像的增加信息，允许该图像例如在后续处理步骤之后能够更准确地再现。这改善了色调映射操作的结果，使得图像中细节的大大增强，同时保持其自然的外观，而不是通过将色调映射操作应用于具有较低的位深度的图像表示来实现。此外，通过将第一色调映射图像数据转换为具有第一位精度的第二色调映射图像数据，由第二色调映射图像数据表示的图像可以由具有第一位精度的显示设备来显示，但具有经改善的显示质量。
为了将该方法放入上下文中，将参考图2来描述在其中可以使用根据基于图1的示例的方法的示例系统。然而，如本领域技术人员将理解的，可以使用其他系统或装置来实现该方法。图3示出了表示图2的一个或多个数据库、服务器设备、计算设备和显示设备之间的通信的示例的序列图。具体参考图4和图5，之后给出根据示例的方法的其他细节。
图2示出了通过网络102可通信地耦合到服务器设备104的计算设备100。图像106存储在服务器设备104上。计算设备100可通信地耦合到显示设备108。网络102可以包括一系列网络，例如，互联网。
计算设备100可以是或包括蜂窝电话(即移动电话，例如，智能电话)、平板电脑、膝上型计算机或个人计算机、个人数字助理以及诸如游戏控制台之类的各种其他电子设备。下面参考图6详细描述了示例的计算设备100的组件。计算设备100可以具有集成的或外部耦合的有线和/或无线局域网(LAN)能力，例如，其可以通过附加的通用串行总线(USB)或专用设备进行耦合。例如，计算设备100可以耦合到有线和/或无线路由器，该有线和/或无线路由器进而连接到接有本地交换机的数字用户线路(DSL)、线缆或光纤连接。本地交换机可以使用诸如公共交换电话网(PSTN)或有线提供商网络系统之类的一个或多个中间网络耦合到所谓的互联网。或者，无线电信系统(诸如，使用通用移动通信系统(UMTS)或任一长期演进(LTE)标准的那些无线通信系统)可以为固定的或移动的计算设备提供通信介质。这些后来的网络系统可以进而连接到一系列一个或多个网络，该网络包括使用诸如传输控制协议(TCP)和互联网协议(IP)等协议进行通信的服务器、路由器、和其他网络设备。如果计算设备100是诸如智能电话的移动设备，则计算设备100可以具有用于与核心网络进行无线通信的集成的电信模块，该核心网络耦合到一个或多个TCP/IP网络；同样地，如果计算设备100是膝上型计算机或平板计算机，则它可以具有外部耦合电信调制解调器(通常通过USB耦合的所谓“加密锁(dongle)”)，其用于与核心网络和较宽互联网的无线通信。服务器设备104可以同样具有适当的网络通信组件。服务器设备104可以包括被布置为通过网络102接收请求的HTTP服务器。在某些情况下，计算设备100和服务器设备104中的一个或多个可以包括在底层物理计算硬件上实现的虚拟设备。示例中的计算设备100可以被认为是被配置为访问服务器设备104的客户端设备。
根据示例的方法的可能使用的说明性示例中，用户使用计算设备100的浏览器访问网页。网页被托管在服务器设备104上，并且包括具有图像106的各种内容。浏览器通过网络102从服务器设备104检索压缩的图像数据，该压缩的图像数据包括表示图像106的编码图像数据。例如，服务器设备104可以被布置为接收和处理HTTP或其他网络请求。例如，压缩的图像数据可以是JPEG格式或JPEG XT格式。编码图像数据可以是压缩的图像数据的全部或部分。例如，JPEG或JPEG XT文件可以包括表示图像的编码图像数据和附加数据(例如，用于关于与图像相关联的日期和时间或对其进行编码的元数据、图像的描述或关于图像的版权信息)。例如，在压缩的图像数据为JPEG形式的情况下，元数据可以储存在可交换图像文件格式(EXIF)中。EXIF数据可以嵌入在输入图像文件自身内部，例如在JPEG文件内。通常，EXIF数据存储在JPEG的头部中。例如，EXIF数据可以存储在JPEG的实用程序应用程序段中的一个中，通常是APP1(段标记0xFFE1)，尽管也可以使用其他的段。
在图2的示例中，计算设备100包括位精度放大模块、色调映射模块和位精度降低模块，它们可以一起实现根据示例的方法。这些模块将参考图4详细描述。位精度降低模块的输出是具有第一位精度的第二色调映射图像数据。从第二色调映射图像数据导出的输出图像可以由耦合到计算设备100的显示设备108显示。显示设备108可以内部地耦合到计算设备，显示设备108形成计算设备100自身的一部分。例如，显示设备108可以是诸如智能电话、平板电脑、膝上型计算机或台式计算机、或个人数字助理之类的计算设备100的显示屏幕。或者，显示设备108可以是耦合到计算设备100的外部设备，例如通过高清晰度多媒体接口(HDMI)线缆而耦合到膝上型计算机、台式计算机或游戏控制台的电视屏幕或计算机监控器。
图3是示出图2的存储图像106的服务器设备的存储装置、服务器设备104、计算设备100、以及显示设备108之间的通信的示例集合的序列图。
在操作110中，计算设备100的浏览器通过计算设备100的网络接口112从服务器设备104请求包括图像的网页。该请求由服务器设备104的网络接口114接收。在图3的示例的通信的操作116中，服务器设备104的存储接口118访问包括表示来自服务器设备104的存储设备的或耦合到服务器设备104的存储设备的网页的图像106的编码图像数据的压缩的图像数据。在操作120中，包括压缩的图像数据的网页从存储设备被发送到服务器设备104的存储接口118。然后，在块122中，服务器设备104将压缩的图像数据从服务器设备104的网络接口114发送到计算设备100的网络接口112。还参考图4到图6所述的计算设备的模块，对压缩的图像数据的编码图像数据进行处理，以生成具有第一位精度的第二色调映射图像数据。在块124中，从第二色调映射图像数据导出的输出数据，由计算设备100的显示设备接口126传送到显示设备108，以基于第二色调映射图像数据向用户显示图像和网页的其他内容。
在其他示例中，不需要将完整的压缩的图像数据发送到计算设备100。例如，在一些情况下，仅仅将压缩的图像数据的编码图像数据、或编码图像数据的一部分传送到计算设备100。
如上所述，压缩的图像数据可以是JPEG或JPEG XT文件格式。图4示意性地示出了根据示例的用于执行处理图像的方法的解码器126的内部组件的示例。图4的解码器126适用于对8位JPEG和大于8位JPEG XT文件两者进行解码，尽管其他解码器可以用于执行仅布置用于解码一种文件类型的示例方法。在对大于8位的JPEG XT格式的压缩的图像数据进行解码之前，首先将要描述8位JPEG格式的压缩的图像数据的解码。
图4示意性地示出了以8位JPEG格式接收JPEG压缩的图像数据128的解码器126的示例。JPEG压缩的图像数据包括表示图像的JPEG编码图像数据。如本领域技术人员将理解的，本示例中的JPEG编码图像数据已使用标准JPEG编码器进行编码。解码器126包括标准JPEG解码器130，其接收并解码JPEG编码图像数据以生成具有第一位精度的JPEG第一解码图像数据132。示例中的位精度是与一条数据相关联的位数量。例如，位精度也可以被称为位深度，并且可以是用于指示图像的像素的颜色通道的强度值或颜色的强度值的位数量。例如，对于8位JPEG第一解码图像数据，每个颜色通道可以由0和255之间的强度值表示，对每个颜色通道给出256个可能的强度值。可以存在例如3个颜色通道，例如红色、绿色或蓝色信道，尽管不同数量和类型的颜色通道也是可能的。
在该示例中，第一位精度为8位，是JPEG ISO/IEC 10918标准的JPEG文件的标准位精度，尽管用于第一位精度的其他位精度是可能的，例如用于其他数据类型。例如，具有第一位精度的数据可以被认为是LDR或SDR数据。可以传送JPEG第一解码图像数据132用于在显示设备108上显示，以在无需其他处理的情况下提供附加的显示灵活性。然而，无需其他处理，图像质量将被限制到与标准解码JPEG文件相关联的图像质量。
因此，在图4的示例中，解码器126不仅解码JPEG编码图像数据，而且提供其他的图像处理以增强由JPEG编码图像数据表示的图像的图像质量。图4的示例中的解码器126包括“压缩噪声”减少模块，其在该示例中是精度提升器134。该示例中的压缩噪声减少模块接收JPEG第一解码图像数据132，并且将一个或多个压缩噪声减少滤波器应用于JPEG第一解码图像数据132。在示例中，一个或多个压缩噪声减少滤波器的应用减少了JPEG第一解码图像数据132中的压缩噪声。在不具有压缩噪声的减少的情况下，可能在最终图像中存在可见的伪影。压缩噪声通常伴随原始图像数据的有损编码(例如，JPEG或JPEG XT编码)发生。有损编码通常涉及具有图像保真度降低的原始图像数据的近似处理。例如，某些原始图像信息可能丢失。可能无法恢复该丢失的信息，与原始图像的图像质量相比，这可能会降低图像质量。然而，压缩的图像数据可以具有比表示图像的原始未压缩的图像数据更小的文件大小，减少了对压缩的图像数据的存储的空间要求。由于涉及有损编码算法的近似处理，与解码图像数据相关联的图像的表示可能遭受压缩伪影(例如，观察者可见的压缩噪声)。例如，在图像的特征(例如，对应于从亮图像区域到暗图像区域的过渡的边缘或区域)的周围可能存在噪声(例如，具有不正确(例如，明显更暗或更亮)强度的像素)。在这些图像特征的周围也可以存在或替代地存在具有相同强度的像素(而不是具有平滑变化的强度的像素)的可见“块”。诸如这些的压缩伪影通常由JPEG算法的量化步骤所引起，该算法涉及将各种分量舍入为整数值，从而减少与被量化的编码图像数据相关联的信息。这种压缩伪影的可视性可以取决于应用于用来获得压缩的图像数据的原始图像数据的压缩程度或量。
可以将各种不同的压缩噪声减少滤波器应用于JPEG第一解码图像数据132以生成JPEG第二解码图像数据136。例如，JPEG第一解码图像数据132可以是矩阵或其他多维数据结构的形式。JPEG第一解码图像数据132可以用适当的“压缩噪声”减少滤波器进行卷积，其通常也是矩阵或多维数据结构的形式。在示例中的压缩噪声减少滤波器平滑了JPEG第一解码图像数据132中的压缩伪影，同时将数据的位精度从第一位精度提高到第二位精度，例如通过将数据从LDR或SDR数据转换到HDR数据。压缩噪声减少滤波器可以用于减少图像中的压缩伪影，例如，块效应(例如，可见块)或振铃效应(ringing)(例如，可见环)。例如，压缩噪声减少滤波器可以是或包括边缘检测滤波器(例如，Canny边缘检测器)，其可以应用于JPEG第一解码图像数据132，以标识图像中图像亮度或像素强度快速或急剧变化的点或区域。这些点或区域通常对应于图像中的边缘，例如图像内不同表面或组件之间的过渡。根据所标识的边缘区域的接近度，可以调整像素强度值(例如，被平滑处理)以减少由JPEG第二解码图像数据136表示的图像中的压缩噪声。例如，像素强度可以通过被标识为处于检测到的边缘的预定接近度内的区域中的像素的邻近像素或相邻像素的集合来求平均值。在示例中，可以通过对JPEG第一解码图像数据132应用其他压缩噪声减少滤波器来改变像素强度值，例如，在由JPEG第一解码图像数据132表示的图像的、被标识为与被认为可能遭受压缩伪影的区域相对应的区域中。在示例中，一个或多个压缩噪声减少滤波器的应用将表示图像的数据的位精度增加到第二位精度，该第二位精度高于第一解码图像数据的第一位精度。例如，具有第二位精度的数据可以是HDR数据，例如具有高于8位的位精度的数据。可以使用示例中的计算设备100的图形处理单元(未示出)来应用一个或多个压缩噪声减少滤波器。这可以允许一个或多个压缩噪声减少滤波器针对图像的像素的各种组或区域的卷积的并行处理和计算。这可以提高执行压缩噪声减少的速度。
在示例中，一个或多个压缩噪声减少滤波器的应用包括应用一个或多个平滑滤波器以减少第一解码图像数据中的带状噪声。带状噪声是压缩噪声的一种，如上所述，可以由JPEG或JPEG XT编码算法的量化步骤产生。例如，在该量化处理期间，图像中可能存在一些图像区域，该区域中像素强度以相对小的量改变。例如，在具有较亮区域和较暗区域的天空图像中，较亮区域和较暗区域可以各自显示像素强度和/或颜色的相对小的改变。在说明性的示例中，对应于图像中的较亮区域的像素可以被压缩为第一像素强度和颜色值，并且对应于图像中的较暗区域的像素可以被压缩为第二像素强度和颜色值。当不对图像做出进一步处理时，这种压缩通常是不可见的。然而，当色调映射操作应用于图像时，如根据示例的方法中，色调映射操作可以增加较亮区域和较暗区域之间的差异，得到可见的带或轮廓，其中较亮区域中的所有像素具有相同的像素强度和颜色值，其与较暗区域的像素的相邻带或轮廓形成强烈对比。通过应用一个或多个平滑滤波器(例如，具有合适内核的低通滤波器，其例如掌控像素的滤波强度值是如何取决于相邻像素的强度值的)，可以减小带状噪声。例如，一个或多个平滑滤波器可以降低不同强度或颜色的图像区域之间对比的锐度，例如通过模糊、延伸或逐渐调整不同图像区域之间的过渡区域中的像素强度。例如，可以使用简单的低通滤波器来计算像素的平均强度和像素的8个直接相邻像素，并且用所计算的平均强度值来代替像素的原始强度值。这可以用于将位精度增加到第二位精度，例如，像素强度可以由更多数量的位(例如，对像素强度的更大或更精细量化的一系列可能的强度值)来表示。
图像中的压缩噪声通过一个或多个压缩噪声减少滤波器而减小的程度可以取决于质量因子。例如，质量因子可以被接收作为到一个或多个压缩噪声减少滤波器(例如，到图4中的示例中的精度提升器134)的输入。质量因子可以根据图像的期望的视觉效果由用户选择，或者质量因子可以取决于用户独立特性，例如，图像的内容或与图像相关联的设置，例如，由内容创建者提供的。
在示例中，JPEG解码器130和压缩噪声减少模块被共同视作形成位精度放大模块。然而，在其他示例中，JPEG解码器和压缩噪声减少模块可以单独实现或在不同的模块中实现。
压缩噪声减少模块的输出是具有第二位精度的JPEG第二解码图像数据136。第二位精度不需要是固定的或恒定的位精度。例如，图4中，JPEG第二解码图像数据136可以是浮点数据，例如以比第一位精度高的可用位精度的浮点表示形式储存。在其他示例中，第二位精度可以是固定的或恒定的，例如9到16中任一固定值。JPEG第二解码图像数据136被输入到色调映射模块138，其被配置为对第二解码图像数据136应用色调映射操作，以生成具有第二位精度的第一色调映射图像数据142。
如上所述，示例中的色调映射操作旨在增强图像中的细节或对比度，同时仍确保图像对观察者相对“自然”。为此，色调映射可以在亮度域中是不对称的，使得对比图像的亮区域，更大量的色调映射被应用于较暗区域，例如通过将图像的较暗部分的强度值改变比相对亮的部分更大的程度。这模拟人眼的行为，其具有相对高的动态范围，并且能够看到图像的甚至相对暗的区域中的细节。因此，色调映射操作可以在空间上变化(例如，空间上不均匀)，其中与其它空间区域相比更大量的色调映射被应用于图像的某些空间区域。色调映射可以在空间和亮度两个维度上连续且平滑地变化。因此，与暗区域和/或亮区域中图像将保留的细节相对应的像素的强度范围可以被增加，并且图像的其他区域的强度范围可以被减少。因此，色调映射可以涉及调整图像的动态范围，其在示例中是图像的最明部分和最暗部分的强度之间的比率。以这种方式调整动态范围通常会增强图像的暗区域和/或亮区域中的细节，并减少中间色调区域中的细节，使得能够渲染可见细节同时仍然对观察者保持图像的自然外观，否则该可见细节会在图像的明亮区域或阴影区域中丢失。各种不同的色调映射算法可以用于色调映射操作。例如，合适的算法是正交视网膜变换(ORMIT)算法。
可以通过色调映射操作来压缩或扩展动态范围。例如，色调映射操作可以应用动态范围压缩以增强图像的暗区域中的细节。动态范围压缩可以同时或替代地用于减少图像的动态范围，以匹配或更接近于例如由耦合到计算设备的显示设备可显示的动态范围。使用照相机获取的图像可以具有例如高达约4000：1的高动态范围。相比之下，一般显示设备的动态范围可能远低于此，例如约50：1。因此，动态范围压缩可以用于减少表示高动态范围图像的输入图像数据的动态范围(例如，第二解码图像数据)以匹配用于显示该图像的显示装置的较低动态范围。
相反，动态范围扩展可以用于增加图像的动态范围，例如在显示设备可显示的动态范围大于第二解码图像数据的动态范围的情况下。
应用于色调映射操作的色调映射的数量，可以取决于强度参数140，在示例中该强度参数140被输入到色调映射模块138。色调映射的数量可以对应于色调映射操作对图像中的像素的强度值的改变的程度或幅度，例如，用于增强图像细节，如上所述。强度参数140可以取决于各种参数，例如，用户偏好；被配置为基于第二色调映射图像数据来显示输出图像的显示设备的显示属性；外界光线水平；或用于显示输出图像的应用程序(例如，浏览器)的应用属性。或者，强度参数140可以是默认值。在色调映射操作涉及ORMIT算法的使用的情况下，强度参数140可以对应于ORMIT alpha参数α。
在其他的示例中，强度参数140可以对应于alpha混合参数，其用于由应用了第一色调映射(例如，0)的第二解码图像数据表示的图像的第一版本、和由应用了不同的第二色调映射(例如，非0)的第二解码图像数据表示的图像的第二版本的alpha混合。示例中的第二个色调映射是最大色调映射。在这些示例中，图像的第一版本和第二版本对输出图像的相对贡献可以取决于alpha混合参数。本领域技术人员应当理解，alpha混合过程可以被视为相同图像的两个版本的叠加或组合。在这种情况下，色调映射操作可以被视作包括或对应于alpha混合操作。
在图4的示例中，由解码器126执行色调映射操作，该解码器126能够对以第一位精度编码的压缩图像进行解码，并且能够对以第二位精度编码的压缩图像进行解码。在该示例中，解码器126包括位精度放大模块(在此示例中该模块包括JPEG解码器130和精度提升器134)、色调映射模块138和位精度降低模块(下面将被描述)。在其他示例中，这些模块中的一些或全部可能不构成解码器的部分。
使用位精度降低模块(在该实例中是抖动模块144)将从色调映射模块138输出的JPEG第一色调映射图像数据142转换为具有第一位精度的JPEG第二色调映射图像数据146。在示例中，位精度降低模块降低JPEG第一色调映射图像数据142的位精度，以生成JPEG第二色调映射图像数据146，同时基本保持由JPEG第二色调映射图像数据146表示的图像的图像质量。例如，位精度降低模块可以被用来近似JPEG第二色调映射图像数据146中的图像的图像质量，同时实现所期望的位精度的降低。
在示例中，第二位精度由提供第一位精度的第一位序列和提供附加位精度以形成第二位精度的附加一个或多个位表示。在这种情况下，该方法可以包括当将第一色调映射图像数据转换为第二色调映射图像数据时，通过从图像的至少一部分中的像素的附加一个或多个位中导出信息、并且使用该信息来改变图像的至少一部分中的像素的第一位序列，来改善当由第一位序列表示时图像的显示质量。图像的至少一部分中的像素的附加一个或多个位被丢弃。在这些情况下，附加一个或多个位用于操纵或修改第一位序列，但其本身不是具有第一位精度的第二色调映射图像数据的一部分。
在该示例中，改善由第一位序列表示的图像的显示质量，可以包括将抖动操作应用于第一色调映射图像数据。图4示出了这样的示例。可以使用抖动操作来对第一色调映射图像数据(该第一色调映射图像数据可以用第二位精度表示而不是用第一位精度表示)中的像素强度或其他像素值进行近似处理从而生成第二色调映射图像数据(该第二色调映射图像数据仍然提供由第一色调映射图像数据表示的图像的相对忠实且准确的表示)。例如，在第一色调映射图像数据中的像素区域的像素强度处于第二位精度不可用的强度级别的情况下，可以利用第二色调映射图像数据(其中像素区域中的一些像素处于较低强度等级，并且像素区域中的其他像素处于较高强度等级)来近似像素强度。抖动操作通常是空间抖动操作，以避免如暂时抖动将需要的快速刷新显示器。如本领域技术人员将理解的，抖动模块144可以使用各种算法来应用抖动操作。例如，误差扩散抖动操作可以由抖动模块144应用。误差扩散抖动可以用于降低数据的位精度。如简单的示例，可以使用误差扩散抖动将图像减少到二进制图像，该二进制图像中每个像素不是黑色就是白色。例如，可以通过评估每个像素的强度值是高于还是低于阈值(例如，黑白图像的中灰度值)来对像素应用半色调处理，并且如果低于阈值则将像素强度设置为黑色，如果高于阈值则为白色。因此，像素强度与其原始值不同。该差异可以被认为是错误，其可以被添加到图像中的尚未与阈值比较的一个或多个像素。该过程可以重复用于图像中的全部像素，以生成半色调或抖动图像。应当理解，在其他示例中，可以应用误差扩散抖动以对每个像素产生具有多于两个强度级别的输出图像，例如以产生具有第一位精度的第二色调映射图像数据。
第一位精度例如等于由被配置为基于第二色调映射图像数据来显示输出图像的显示设备可显示的最大位精度。例如，对于通常的LDR显示设备，第一位精度可以是8位。
传送第二色调映射图像数据146，用于由耦合到计算设备100的显示设备108显示。在显示前，在解码器126(未示出)处或解码器126外部的例如计算设备100的另一模块中，可以对第二色调映射图像数据146应用其他处理。例如，第二色调映射图像数据146可以与表示至少一个其他显示元素的其他显示数据进行合成，以生成输出图像用于由显示设备100显示。如本领域技术人员将理解的，合成可以由也被称为合成器的合成窗口管理器执行。示例中的合成器在不同的窗口中绘制不同的应用，并且以不同程度的透明度适当地覆盖不同的窗口，从而在显示设备100上显示期望的输出图像。
通过使用解码器对编码图像数据进行解码，并生成具有第一位精度的第二色调映射图像，为图像处理提供了更大的灵活性。例如，图像可以由解码器处理，并且之后由显示驱动系统(例如，由显示控制器)进一步处理。例如，可以通过显示驱动系统来对用于由显示设备显示的数据(包括图像、以及用于显示的屏幕的其余部分)应用另外的色调映射、或动态范围压缩或扩展，以进一步改善图像质量。
如上所述，图4的示例解码器126还可以用于解码多于8位JPEG XT格式的JPEG XT压缩的图像数据148，如现在将描述的。
JPEG XT压缩的图像数据148由图4的解码器126的JPEG XT解码器149接收。JPEGXT压缩的图像数据148包括基础图像层数据148a和附加图像层数据148b。图4的JPEG XT解码器149在图5中示意地示出，其示出了示例的JPEG XT编解码器150(编码器-解码器)。JPEGXT编解码器150接收表示图像的输入JPEG XT数据。在该示例中，JPEG XT数据具有大于8位的浮点位精度，尽管在其他示例中其他位精度也是可能的，例如大于8位的固定或静态位精度。使用JPEG XT编码器151对输入的JPEG XT数据进行编码，该JPEG XT编码器151将数据编码为包含基础图像层数据148a的基础图像层、和包含附加图像层数据148b的附加图像层。基础图像层数据148a可以是传统实现方式可访问的LDR或SDR数据，使得可以使用标准JPEG解码器对JPEG XT图像进行解码，该标准JPEG解码器可以解码LDR或SDR数据并忽略附加图像层数据。示例中的附加图像层数据148b包括用于重建HDR图像的残留图像数据和转换信息，例如具有比由基础图像层数据148a表示的图像更高的动态范围的图像。因此，可以将基础图像层数据148a视为表示图像的第一动态范围表示。可以使用附加图像层数据148b来生成图像的第二动态范围表示，该第二动态范围大于第一动态范围。基础图像层数据148a和附加图像层数据148b两者可以具有相同的位精度，例如8位。图5示出了其中基础图像层数据148a和附加图像层数据148b两者都是8位的示例，尽管在其他示例中，基础图像层数据148a和附加图像层数据148b可以具有与彼此不同和/或不同于8位的位精度。
在图4和图5的示例中，基础图像层数据148a和附加图像层数据148b被输入到JPEGXT解码器149。图4和5的JPEG XT解码器149对基础图像层数据148a进行解码，以生成解码的基础图像层数据152。在该示例中，可以将基础图像层数据148a视为对应于表示图像的编码图像数据，并且可以将解码基础图像层数据152视为对应于具有第一位精度的第一解码图像数据，该第一位精度在该示例中是8位，尽管其他位精度也是可能的。JPEG XT解码器149还解码附加图像层数据148b以生成解码的附加图像层数据(未示出)。在该示例中，解码的附加图像层数据具有第二位精度，尽管在其他示例中，解码的附加图像层数据可以具有与第二位精度不同(例如大于或小于)的位精度。然而通常，解码的附加图像层数据的位精度大于第一位精度。然后可以基于解码的附加图像层数据来操纵解码的基础图像层数据152，以生成具有第二位精度的JPEG XT第二解码图像数据153。如本领域技术人员将理解的，例如，解码的附加图像层数据可以用于将各种转换应用于解码的基础图像层数据152，以生成JPEG XT第二解码图像数据153。在这样的示例中，处理第一解码图像数据以生成第二解码图像数据，可以包括将解码的附加图像层数据应用于解码的基础图像层数据152，以生成第二解码图像数据153。第二解码图像数据153可以对应于图像的第二动态范围表示。
图像的第二动态范围表示可以具有比8位更高的位深度，例如具有位精度高于8位或在9到16位范围间的浮点，例如，用于在HDR显示设备164(例如，能够显示更高位深度图像的显示设备)上显示。例如，图4和图5的示例中的第二解码图像数据153是HDR数据。JPEG XT解码器还可以通过仅使用基础图像层数据来解码标准JPEG图像和JPEG XT图像，例如用于在具有8位显示功能的LDR或SDR显示器(诸如以上参照图2描述的显示设备108)上显示。例如，基础图像层数据可以类似于JPEG第一解码图像数据的处理来解码和处理，以改善图像质量。因此，对于JPEG XT图像，示例中的解码器为产生用于在LDR显示器上进行显示的输出图像提供了两个选项：可以通过单独处理基础图像层数据或通过处理基础图像层数据和附加图像层数据来获得输出图像。
在图4和图5的示例中，在HDR显示设备154上显示JPEG XT图像之前，对JPEG XT第二解码图像数据153进行进一步处理(未在图5中示出，但在图4中示出)。该处理类似于解码器126被布置为JPEG编码图像数据的JPEG解码之后应用的处理，然而不需要应用一个或多个压缩噪声减少滤波器来生成具有第二位精度的JPEG XT第二解码图像数据153，因为从JPEG XT解码器149接收的JPEG XT第二解码图像数据153已经处于第二位精度。
然而，在一些示例中，一个或多个压缩噪声减少滤波器(诸如上面参考JPEG图像的处理所描述的那些)可以应用于JPEG XT第二解码图像数据153。这种压缩噪声减少滤波器可以用于减少在由JPEG XT第二解码图像数据153表示的图像中可能存在的压缩伪影。在这些示例中，一个或多个压缩噪声减少滤波器的应用可以增加位精度或者可以不改变JPEGXT第二解码图像数据153的位精度。例如，对于其中某些图像区域(例如，光亮区域)利用诸如8位之类的相对低位精度来有效表示的图像，应用一个或多个压缩噪声减少滤波器可能是有益的。这可能是其中在这些图像区域中存在不可忽略的噪声的情况。例如，在一些图像中，噪声可能是从几位到8位。在这些示例中，由于动态范围可被认为对应于图像的最亮部分和图像的最暗部分的噪声(例如，标准差)之间的比率，因此一些图像区域中的有效动态范围可能由于这些区域中的噪音的数量而显著减少。在这类示例中，可以对图像应用一个或多个压缩噪声减少滤波器例如以提高这些图像区域的精度。
在其他示例中，一个或多个压缩噪声减少滤波器可以由JPEG XT解码器自身应用，使得JPEG XT解码器的输出(例如，解码的基础图像层数据152和JPEG XT第二解码图像数据153)可以在已经应用压缩噪声减少之后被输出。
在这种情况下，JPEG XT第二解码图像数据153被输入到颜色校正模块155，然后在由颜色校正模块155进行颜色校正之后，输入到伽马校正模块156。颜色校正模块155和伽马校正模块156从JPEG XT解码器149接收数据157(在该示例中，为元数据)，该解码器149分别控制由颜色校正模块155施加的颜色校正和伽马校正模块156施加的伽马校正的程度。然而，在其他示例中，颜色校正模块155和/或伽马校正模块156可以不从JPEG XT解码器149接收数据。在这些示例中，由颜色校正模块155和伽马校正模块156施加的校正的程度可以被预先设定或预先确定。颜色校正模块155可以用于修改或改变图像的颜色，例如，加宽图像的色域，例如，匹配或对应于用于显示图像的显示设备的宽色域。伽马校正模块156可用于对图像应用伽马校正操作。伽马校正通常是可以使用以下幂律表达式来定义的非线性运算：
(1)
Figure BDA0001424435030000171
其中Vout是输出值，A是常数，Vin是输入值，γ是伽马值。输入和输出值是例如图像像素的亮度或三刺激值(tristimulus)。伽马校正可以用于例如表示图像，使得足够数量的位被分配给可以由人眼区分的图像特征，而不会分配太多位来表示人眼无法察觉的图像特征。例如，可以使用伽马校正来提供横跨图像的亮度范围的均匀误差的图像的表示。这可以用于减少图像中的压缩伪影的出现。然而，在其他示例中，不能对JPEG XT第二解码图像数据153应用颜色校正和/或伽马校正。例如，颜色校正模块155和伽马校正模块156可能不存在于解码器中。
在颜色校正和伽马校正之后，JPEG XT第二解码图像数据153(其在该示例中在过程的此阶段具有大于8位的浮点位精度)被提供给色调映射模块138’，该色调映射模块138’类似于针对JPEG数据的色调映射所描述的色调映射模块138，并且基于类似于针对JPEG数据的色调映射所描述的强度参数140的强度参数140’来应用一定数量的色调映射。具有第二位精度的JPEG XT第一色调映射图像数据158由色调映射模块138’生成，并被输入到抖动模块144’，该抖动模块144’类似于针对JPEG数据抖动所描述的抖动模块144。抖动模块144’将JPEG XT第一色调映射图像数据158转换为具有第一位精度的JPEG XT第二色调映射图像数据159。
在图4的示例中，对应于解码的基础图像层数据152和JPEG XT第二色调映射图像数据159的SDR数据，被接收作为到判定模块160的输入。在该示例中，判定模块160接收输入，该输入指示将在显示设备108上显示标准SDR数据或是将在显示设备108上显示JPEG XT第二色调映射图像数据159。以这种方式，可以使用到判定模块160的输入，来确定是否显示应用图像处理的方法(例如，利用本文描述的色调映射和其他处理)之后的图像、或是否显示未进行该图像处理的标准图像。判定模块160的输出161由显示设备108显示。然而，在其他示例中，判定模块160可能不存在，在这种情况下，JPEG XT第二色调映射图像数据159可以被传送到显示设备108用于显示，并且可能不显示解码的基础图像层数据152。
在图4的示例中，HDR数据(对应于JPEG XT第二解码图像数据153)被示出为在HDR显示器154上显示。然而，在其他示例中，JPEG XT第二解码图像数据153可能不被显示，但是可能被丢弃或存储用于必要时图像数据的进一步处理。
因此，图4的JPEG XT解码器提供了显示图像的灵活性和必要时的向后兼容性。例如，该JPEG XT解码器允许标准JPEG图像(对应于解码的基本层图像数据153)在SDR显示设备108上显示，色调映射图像(对应于JPEG XT第二色调映射图像数据159)在HDR显示设备154上显示，以及HDR图像(对应于JPEG XT第二解码图像数据153)在HDR显示设备154上显示。例如，可以根据需要选择这些选项中的每一个，例如根据用于图像显示的可用显示设备、将要处理的图像的性质或内容、或用户偏好。
以下参考图6提供了图6的计算设备100的内部组件的示例的概述，该内部组件可以包括例如图4的解码器126。
图6的计算设备100包括网络接口112以从服务器设备104检索包括表示图像的编码图像数据的压缩的图像数据。计算设备100的网络接口112可以包括软件和/或硬件组件，例如虚拟网络接口、以太网端口、与网络硬件交互通信栈和/或软件驱动程序。
图6的示例中的计算设备100的存储装置170存储在网络接口112处接收到的数据172。该示例中的数据172包括表示图像的编码图像数据和压缩的图像数据。存储装置170可以包括易失性存储器(例如，随机存取存储器(RAM))和非易失性存储器(例如，只读存储器(ROM))或固态驱动器(SSD)(例如，闪存)中的至少一个。示例中的存储装置170可以包括其他存储设备，例如磁性、光学或磁带介质、光盘(CD)、数字通用盘(DVD)或其他数据存储介质。存储装置170是从计算设备100中可移除或不可移除的。
至少一个处理器174可通信地耦合到图6的计算设备100中的存储装置170。图6的示例中的至少一个处理器174可以是微处理器、通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或设计用于执行本文所述功能的任何合适的组合。处理器还可以被实现为计算设备的组合，例如DSP和微处理器、多个微处理器、结合DSP内核的一个或多个微处理器的组合、或任何其他这种配置。至少一个处理器174还可以是或包括至少一个图形处理单元(GPU)，诸如可以从NVIDIA，2701San Tomas Expressway，Santa Clara，CA 95050，USA获得的
Figure BDA0001424435030000191
GTX 980，尽管其他处理器是可能的。例如，在一种情况下，计算设备可以包括具有图形处理能力的瘦终端(thin terminal)；在其他情况下，计算设备可以包括具有至少一个中央处理单元(CPU)和至少一个图形处理单元的计算设备。
图6的示例中的存储装置170包括计算机程序代码，其被配置为当由至少一个处理器174处理时，实现位精度放大模块176、解码器模块178和位精度降低模块180(例如，以上参考图1描述的那些)。该计算机程序代码可以存储在可访问的非暂态计算机可读介质中并且被加载到存储器(例如，存储装置170)中，以分别实现位精度放大模块176、解码器模块178和位精度降低模块180。
图6的示例中的计算设备100的组件使用系统总线182进行互连。这允许数据在各种组件之间传送。例如，通过网络接口112从服务器设备104接收的编码图像数据可以通过系统总线182从存储装置170发送到显示设备接口126，以传送到显示设备108用于显示。显示设备接口126可以包括显示端口和/或内部电子接口，例如，显示设备108是诸如智能电话的显示屏幕的计算设备100的一部分。因此，当通过显示设备接口126由至少一个处理器174指示时，显示设备108将基于第二色调映射图像数据来显示图像。
上述实施例将被理解为说明性示例。设想其他示例。例如，上面给出的示例涉及使用JPEG或JPEG XT文件格式的图像。然而，应当理解，图像处理的方法和上述的系统和设备可以应用于以各种其他文件格式存储的图像(例如JPEG 2000文件格式(ISO/IEC 15444))或与其一起使用。例如，压缩的图像数据可以是任何类型的压缩的图像数据，可以是原始图像数据的无损或有损编码。
在上述示例中，从服务器设备接收图像。然而，在其他示例中，图像可以存储在计算设备的存储装置上，或者在图2和图3中的服务器设备和计算设备的功能可以与诸如智能电话之类的一个设备相组合。例如，图像可以已经被图像获取设备(诸如计算设备的照相机、或耦合到计算设备的照相机)获取，或者可以已经从非服务器设备的存储器的其他存储器下载到计算设备、或者传送到计算设备。
解码器可以实现在服务器设备而不是计算设备上。例如，服务器设备可以包括类似于图6的示例计算设备100的组件，诸如存储装置和至少一个处理器。
上述示例使用软件来实现根据示例的方法。然而，在其他示例中，该方法可以仅使用硬件来实现或使用硬件和软件的组合来实现。例如，图4的解码器126包括位精度放大模块、色调映射模块和位降低精度模块中的一个或多个，例如可以在硬件中实现。
应当理解，关于任何一个示例描述的任何特征都可以单独、或与所述的其它特征结合使用，并且还可以与任何其他示例的一个或多个特征结合、或与任何其他示例的任意结合使用。此外，在不脱离所附权利要求的范围的情况下，还可以采用未在以上描述的等同物和修改。

Claims (10)

1.一种处理图像的方法，包括：
接收压缩的图像数据，所述压缩的图像数据包括表示所述图像的编码图像数据；
解码所述编码图像数据，以生成具有第一位精度的第一解码图像数据；
处理所述第一解码图像数据，以生成具有高于所述第一位精度的第二位精度的第二解码图像数据；
对所述第二解码图像数据应用色调映射操作，以生成具有所述第二位精度的第一色调映射图像数据；以及
将所述第一色调映射图像数据转换为具有所述第一位精度的第二色调映射图像数据。
2. 根据权利要求1所述的方法，其中，所述第二位精度由提供所述第一位精度的第一位序列、和提供附加位精度以形成所述第二位精度的附加一个或多个位表示，并且其中，所述方法包括当将所述第一色调映射图像数据转换为所述第二色调映射图像数据时：
通过从所述图像的至少一部分中的像素的所述附加一个或多个位中导出信息、并且使用所述信息来改变所述图像的至少一部分中的像素的所述第一位序列，来改善当由所述第一位序列表示时所述图像的显示质量；以及
丢弃所述图像的至少一部分中的像素的所述附加一个或多个位。
3.根据权利要求2所述的方法，其中，改善由所述第一位序列表示的所述图像的显示质量包括，对所述第一色调映射图像数据应用抖动操作。
4.根据权利要求1至3中任一项所述的方法，其中，处理所述第一解码图像数据包括，对所述第一解码图像数据应用一个或多个压缩噪声减少滤波器。
5.根据权利要求4所述的方法，其中，所述压缩的图像数据是8位JPEG（联合图像专家组）格式。
6. 根据权利要求1至3中任一项所述的方法，其中：
所述编码图像数据包括表示所述图像的第一动态范围表示的基础图像层数据；以及
所述压缩的图像数据包括用于生成所述图像的第二动态范围表示的附加图像层数据，所述第二动态范围大于所述第一动态范围，
所述方法还包括解码所述附加图像层数据以生成解码的附加图像层数据，
处理所述第一解码图像数据包括，应用所述解码的附加图像层数据以生成所述第二解码图像数据。
7.根据权利要求6所述的方法，其中，所述压缩的图像数据是大于8位的JPEG（联合图像专家组）XT格式。
8.根据权利要求1至3中任一项所述的方法，包括将所述第二色调映射图像数据与表示至少一个其他显示元素的其他显示数据进行合成，以生成输出图像。
9.一种计算设备，包括：
存储装置，其用于存储压缩的图像数据，所述压缩的图像数据包括表示图像的编码图像数据；
至少一个处理器，其可通信地耦合到所述存储装置；
位精度放大模块，被配置为：
解码所述编码图像数据，以生成具有第一位精度的第一解码图像数据；以及
处理所述第一解码图像数据，以生成具有高于所述第一位精度的第二位精度的第二解码图像数据；
色调映射模块，被配置为：
对所述第二解码图像数据应用色调映射操作，以生成具有所述第二位精度的第一色调映射图像数据；以及
位精度降低模块，被配置为：
将所述第一色调映射图像数据转换为具有所述第一位精度的第二色调映射图像数据。
10.根据权利要求9所述的计算设备，包括解码器模块，所述解码器模块包括所述位精度放大模块、所述色调映射模块和所述位精度降低模块。
CN201710909064.7A 2016-09-30 2017-09-29 图像处理 Expired - Fee Related CN107888944B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1616719.9 2016-09-30
GB1616719.9A GB2554667B (en) 2016-09-30 2016-09-30 Image processing

Publications (2)

Publication Number Publication Date
CN107888944A CN107888944A (zh) 2018-04-06
CN107888944B true CN107888944B (zh) 2021-03-30

Family

ID=57570914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710909064.7A Expired - Fee Related CN107888944B (zh) 2016-09-30 2017-09-29 图像处理

Country Status (3)

Country Link
US (1) US10362338B2 (zh)
CN (1) CN107888944B (zh)
GB (1) GB2554667B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2558000B (en) * 2016-12-21 2020-06-10 Apical Ltd Display control

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540832A (zh) * 2009-04-24 2009-09-23 段江 图像信号的动态范围匹配方法
CN101557522A (zh) * 2008-04-11 2009-10-14 英特尔公司 用于位深度可伸缩视频编解码器的自适应滤波
CN101626454A (zh) * 2009-04-10 2010-01-13 黄宝华 一种增强视频可视性的方法
CN102082953A (zh) * 2007-10-15 2011-06-01 英特尔公司 用于可伸缩视频编码的位深度增强
CN102905187A (zh) * 2011-07-25 2013-01-30 卡西欧计算机株式会社 图像显示系统、图像显示方法、社交网络服务系统
CN103491329A (zh) * 2013-09-24 2014-01-01 西安邮电大学 投影阵列高动态范围显示系统构建方法
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US8866975B1 (en) * 2013-05-02 2014-10-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods
CN104202538A (zh) * 2014-09-10 2014-12-10 浙江广播电视集团 宽动态摄像机中不同曝光度图像的双次配准方法
EP2866450A1 (en) * 2013-10-24 2015-04-29 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
CN104919802A (zh) * 2013-01-07 2015-09-16 高通股份有限公司 在视频译码中的非嵌套式补充增强信息消息
WO2016069459A1 (en) * 2014-10-27 2016-05-06 Dolby Laboratories Licensing Corporation Content mapping using extended color range
CN105898230A (zh) * 2016-05-20 2016-08-24 深圳英飞拓科技股份有限公司 基于多输入通道的拼接图像亮度均衡方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049488B2 (en) * 2012-11-06 2015-06-02 Jamabi, Inc. Systems and methods for displaying and interacting with interaction opportunities associated with media content
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
WO2015189350A1 (en) * 2014-06-12 2015-12-17 Thomson Licensing Method of mapping source colors of a source content
EP3110128A1 (en) * 2015-06-25 2016-12-28 Thomson Licensing Color gamut mapping based on the mapping of cusp colors obtained through simplified cusp lines

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082953A (zh) * 2007-10-15 2011-06-01 英特尔公司 用于可伸缩视频编码的位深度增强
CN101557522A (zh) * 2008-04-11 2009-10-14 英特尔公司 用于位深度可伸缩视频编解码器的自适应滤波
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
CN101626454A (zh) * 2009-04-10 2010-01-13 黄宝华 一种增强视频可视性的方法
CN101540832A (zh) * 2009-04-24 2009-09-23 段江 图像信号的动态范围匹配方法
CN102905187A (zh) * 2011-07-25 2013-01-30 卡西欧计算机株式会社 图像显示系统、图像显示方法、社交网络服务系统
CN104919802A (zh) * 2013-01-07 2015-09-16 高通股份有限公司 在视频译码中的非嵌套式补充增强信息消息
US8866975B1 (en) * 2013-05-02 2014-10-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods
CN103491329A (zh) * 2013-09-24 2014-01-01 西安邮电大学 投影阵列高动态范围显示系统构建方法
EP2866450A1 (en) * 2013-10-24 2015-04-29 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
CN104202538A (zh) * 2014-09-10 2014-12-10 浙江广播电视集团 宽动态摄像机中不同曝光度图像的双次配准方法
WO2016069459A1 (en) * 2014-10-27 2016-05-06 Dolby Laboratories Licensing Corporation Content mapping using extended color range
CN105898230A (zh) * 2016-05-20 2016-08-24 深圳英飞拓科技股份有限公司 基于多输入通道的拼接图像亮度均衡方法及装置

Also Published As

Publication number Publication date
GB2554667A (en) 2018-04-11
GB201616719D0 (en) 2016-11-16
US10362338B2 (en) 2019-07-23
GB2554667B (en) 2021-10-20
CN107888944A (zh) 2018-04-06
US20180098098A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
CN107888943B (zh) 图像处理
CN108235037B (zh) 对图像数据进行编码和解码
JP7421674B2 (ja) 異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法
US12028542B2 (en) High dynamic range adaptation operations at a video decoder
JP6362793B2 (ja) ハイダイナミックレンジ映像のためのディスプレイマネジメント
RU2736103C2 (ru) Переформирование сигналов для сигналов широкого динамического диапазона
RU2640717C1 (ru) Кодирование, декодирование и представление изображений с расширенным динамическим диапазоном
CN108460732B (zh) 用于处理图像的方法和计算设备
RU2710873C2 (ru) Способ и устройство для декодирования цветного изображения
KR20120107429A (ko) 구역 기반의 톤 매핑
JP2019513323A (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
JP2022539683A (ja) 画像処理方法および装置
CN107888944B (zh) 图像处理
JP2017506443A (ja) カラー／グレーの小さい差異を保持する画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210330