CN112868242A - 用于内联到硬件编码器和解码器的hdr硬件处理器的方法和设备 - Google Patents

用于内联到硬件编码器和解码器的hdr硬件处理器的方法和设备 Download PDF

Info

Publication number
CN112868242A
CN112868242A CN201980067462.6A CN201980067462A CN112868242A CN 112868242 A CN112868242 A CN 112868242A CN 201980067462 A CN201980067462 A CN 201980067462A CN 112868242 A CN112868242 A CN 112868242A
Authority
CN
China
Prior art keywords
inline
image data
memory
conversion
conversion unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980067462.6A
Other languages
English (en)
Other versions
CN112868242B (zh
Inventor
张磊
大卫·格伦
金姆·迈纳斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATI Technologies ULC
Advanced Micro Devices Inc
Original Assignee
ATI Technologies ULC
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATI Technologies ULC, Advanced Micro Devices Inc filed Critical ATI Technologies ULC
Publication of CN112868242A publication Critical patent/CN112868242A/zh
Application granted granted Critical
Publication of CN112868242B publication Critical patent/CN112868242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种装置，包括编码器、解码器、编解码器或其组合以及内联硬件转换单元，所述内联硬件转换单元能操作以在转换过程期间将存储的图像数据转换为以下项中的一者：HDR/WCG格式和SDR/SCG格式。所述内联硬件转换单元中的每一者均能操作以独立于对存储将要转换的图像数据的存储器的另一读取操作执行所述转换过程。在一个示例中，编码单元能操作以对存储器执行写入操作以在完成转换过程之后存储转换的图像数据。在另一个示例中，解码单元能操作以对存储器执行读取操作以在发起转换过程之前从存储器中检索图像数据。在另一个示例中，编码器/解码器单元能操作以执行以下项中的至少一者：读取操作和写入操作。

Description

用于内联到硬件编码器和解码器的HDR硬件处理器的方法和 设备
背景技术
可以使用与显示装置兼容的特定格式在显示装置上显示诸如视频或图片之类的图像数据。高动态范围和宽色域(HDR/WCG)格式用于显示具有横跨比常规标准动态范围和标准色域(SDR/SCG)格式更大的亮度和色彩范围的图像数据的视频。示例性SCG涉及BT.709参数值。例如，HDR/WCG视频可以提供增强的观看者体验，并且可以更准确地重现包括附加的黑暗区域和明亮亮区(诸如发光光源和反射)的场景。SDR/SCG视频的特征在于图像数据的亮度和色彩范围比HDR/WCG视频小。
依据显示装置的类型，执行图像数据的转换过程以将图像数据转变为HDR/WCG格式和SDR/SCG格式中的一者。常规的HDR/WCG转换器用于在渲染HDR/WCG内容时专门满足HDR和WCG广播需求。用软件编写的着色器通常用于执行转换过程并在显示装置上渲染HDR/WCG内容。每个软件着色器均包括一个或多个计算机可读语句以用于促进在图像中产生明暗度(诸如明亮、黑暗和色彩控制)，从而在图形硬件上渲染特定效果。
通常，转换过程包括多个步骤以在HDR/WCG格式与SDR/SCG格式之间转换图像数据。由于软件着色器用于执行转换过程，因此对整体性能产生影响(例如，在视频游戏期间)。例如，软件着色器在转换过程的每个步骤中执行各种存储器访问，以从存储器(例如，GPU存储器)中检索图像数据，并将转换的图像数据存储到存储器，由此导致在转换过程期间增加存储器带宽使用并增加功耗。因此，需要一种用于执行转换过程以便解决一个或多个上述缺陷的改进的方法和设备。
附图说明
当结合以下附图时，根据以下描述，将更容易理解实施例，其中相同的附图标记表示相同的元件，在附图中：
图1是示出根据本公开阐述的一个实施例的用于使用编码单元执行图像数据的转换过程的设备的第一示例的示意性框图；
图2是示出根据本公开阐述的一个实施例的用于使用解码单元执行图像数据的转换过程的设备的第二示例的示意性框图；
图3是示出根据本公开阐述的一个实施例的用于使用统一编码和解码单元执行图像数据的转换过程的设备的第三示例的示意性框图；
图4是示出用于使用图1所示的内联转换单元执行图像数据的转换过程的设备的框图；
图5是示出了根据本公开阐述的一个实施例的用于执行图像数据的转换过程的方法的一个示例的流程图；
图6是示出根据本公开阐述的一个实施例的用于转换图像数据的表示格式的方法的一个示例的流程图；并且
图7是示出根据本公开阐述的一个实施例的用于对存储器执行写入操作的方法的一个示例的流程图。
具体实施方式
简而言之，一种方法和设备处理诸如视频或图片之类的图像数据以将其转变为以下项中的一者：高动态范围和宽色域(HDR/WCG)格式以及标准动态范围和标准色域(SDR/SCG)格式。例如，可以将图像数据从HDR/WCG格式转换为SDR/SCG格式。也可以将图像数据从SDR/SCG格式转换为HDR/WCG格式。此外，可以将图像数据从HDR/WCG格式转换为不同的HDR/WCG格式。
在一个示例中，所述方法和设备使用逻辑对存储器(例如，GPU存储器)执行读取操作以在发起转换过程之前从存储器中检索图像数据。检索的图像数据可以是以下项中的一者：原始图像数据和解码的图像数据。所述方法和设备使用多个内联硬件转换单元(例如，内联色彩转换单元)转换检索的图像数据以在转换过程期间将其转变为以下项中的一者：HDR/WCG格式和SDR/SCG格式，其中所述多个内联硬件转换单元中的每一者均独立于对存储器的另一读取操作执行转换过程。如本文所使用的，术语“内联硬件转换单元”是指彼此直接连接的硬件部件或引擎，所述硬件部件或引擎执行转换过程而不访问存储器。所述方法和设备使用编码单元对转换的图像数据进行编码，并在完成转换过程之后对存储器执行写入操作以存储编码的图像数据。
换句话说，多个内联硬件转换单元中的每一者均独立于对存储器的另一读取操作或另一写入操作执行转换过程。例如，转换过程独立于对存储器的另一读取或写入操作是指其中每个内联硬件转换单元均在初始读取操作以检索图像数据之后执行与转换过程相关联的一个或多个步骤而不访问存储器的状况。
在各个实施例中，所述多个内联硬件转换单元包括：内联色彩转换单元；内联非线性/线性转换单元，所述内联非线性/线性转换单元从所述内联色彩转换单元接收输出；内联色调映射转换单元，所述内联色调映射转换单元从所述内联非线性/线性转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；以及内联重伽马(re-gamma)转换单元，所述内联重伽马转换单元从所述内联色域重映射转换单元接收输出。在一个示例中，通过在转换过程期间执行宽色域色彩空间与标准色域色彩空间之间的色彩转换而不访问存储器来实现向以下项中的一者的转变：所述HDR/WCG格式和所述SDR/SCG格式。例如，宽色域色彩空间可以HDR/WCG格式表示，而标准色域色彩空间可以SDR/SCG格式表示。
在一个实施例中，所述多个内联硬件转换单元中的仅一者具有用于对所述存储器执行所述读取操作的逻辑。仅一个内联硬件转换单元是对存储器执行读取操作的第一内联硬件转换单元。还存在最后一个内联硬件转换单元，其具有用于对存储器执行写入操作的逻辑。就此而言，第一内联硬件转换单元与最后一个内联硬件转换单元之间的中间内联硬件转换单元在转换过程期间均不对存储器执行任何读取或写入操作。因此，在转换过程期间，在对检索的图像数据进行编码之前不执行对存储器的访问。
在另一个示例中，所述方法和设备使用解码单元对存储器(例如，GPU存储器)执行读取操作以在发起转换过程之前从存储器中检索编码的图像数据并对检索的编码图像数据进行解码。所述方法和设备使用多个内联硬件转换单元转换解码的图像数据以在转换过程期间将其转变为以下项中的一者：HDR/WCG格式和SDR/SCG格式，其中所述多个内联硬件转换单元中的每一者均独立于对存储器的另一读取操作执行转换过程。所述方法和设备使用逻辑对存储器执行写入操作以在完成转换过程之后存储转换的图像数据。
在一个实施例中，所述多个内联硬件转换单元中的仅一者具有用于对所述存储器执行所述写入操作的逻辑。仅一个内联硬件转换单元是对存储器执行写入操作的最后一个内联硬件转换单元。还存在第一内联硬件转换单元，其具有用于对存储器执行读取操作的逻辑。就此而言，第一内联硬件转换单元与最后一个内联硬件转换单元之间的中间内联硬件转换单元在转换过程期间均不对存储器执行任何读取或写入操作。因此，在转换过程期间，在对编码的图像数据进行解码之前不执行对存储器的访问。
在又一示例中，所述方法和设备使用逻辑对存储器执行读取操作以从存储器中检索图像数据(例如，原始图像数据或解码的图像数据)。所述方法和设备使用多个内联硬件转换单元转换以在转换过程期间将其转变为以下项中的一者：HDR/WCG格式和SDR/SCG格式，其中所述多个内联硬件转换单元中的每一者均独立于对存储器的另一读取操作执行转换过程。所述方法和设备在完成转换过程之后使用编码单元对来自多个内联硬件转换单元的转换的图像数据进行编码。所述方法和设备在发起转换过程之前使用解码单元对来自存储器的编码的图像数据进行解码。可编程编解码器可以被配置为用作编码单元和解码单元。依据是否需要编码或解码操作，所述方法和设备使用选择器选择以下项中的一者：来自存储器的检索的图像数据和来自解码单元的解码的图像数据。
在一个实施例中，所述方法和设备在执行以下项中的至少一者之后将图像数据传输到存储器：对图像数据进行编码或对图像数据进行解码。在另一个实施例中，多个内联硬件转换单元中的仅第一内联硬件转换单元具有用于对存储器执行读取操作的逻辑，而多个内联硬件转换单元中的仅最后一个内联硬件转换单元具有用于对存储器执行写入操作的逻辑。因而，多个内联硬件转换单元中的仅第一内联硬件转换单元与多个内联硬件转换单元中的最后一个内联硬件转换单元之间的中间内联硬件转换单元在转换过程期间均不对存储器执行任何读取或写入操作。在一个示例中，可以在可感知量化的色彩空间中对HDR/WCG格式的图像数据进行编码或解码，使得视频编码/解码装置(例如，统一编解码器)的输入处的色彩格式与视频编码/解码装置的输出处的显示装置的所支持的色彩格式匹配。
在其他优点中，代替使用软件着色器，本公开提供了没有消耗功率的软件部件的内联硬件转换单元。此外，软件着色器增加存储器与转换单元之间的存储器间路径中的存储器带宽需求。由于软件着色器不用于转换过程，因此可以将软件着色器用于游戏。因此，游戏性能不会降级，并且软件着色器可以连续用于游戏，而不必消耗用于转换过程的资源。因而，改进了图像数据的绘制时间处的总体渲染操作和执行速度。
图1示出了根据本公开的实施例的用于处理图像数据(例如，视频和/或图片)的设备100的第一示例。在一些实施方式中，设备100包括适合于实施所公开主题的实施例的各方面的任何类型的计算装置。参考设备100的各种部件，计算装置的示例包括但不限于工作站、服务器、膝上型计算机、台式计算机、平板计算机、手持式装置、游戏控制台等，所有这些均被预期在图1的范围内。
在一个实施例中，设备100包括直接和/或间接地将以下装置进行耦合的总线：协处理器102(例如，GPU或APU)、存储器104(例如，GPU存储器)和其他合适的部件(例如，另一个处理器，诸如CPU、输入/输出(I/O)端口、I/O部件以及数据存储装置或数据库(诸如非暂时性存储介质，未示出))。设备100中还包括任何数量的附加部件、不同部件和/或部件组合。在一些实施方式中，I/O部件包括被配置为向用户呈现信息的呈现部件，诸如，例如显示装置、扬声器、打印装置等；和/或输入部件，诸如例如传声器、操纵杆、碟形卫星天线、扫描仪、打印机、无线装置、键盘、笔、语音输入装置、触摸输入装置、触摸屏装置、交互式显示装置、鼠标等。
在一些实施例中，设备100包括诸如CPU和多个协处理器之类的处理器、多个存储器部件、多个I/O端口、多个I/O部件，和/或许多存储装置。另外，任何数量的这些部件或组合跨多个计算装置分配和/或复制。
在一个实施例中，存储器104包括易失性和/或非易失性存储器形式的计算机可读介质。在一个示例中，存储器104相对于单元110、112中的任一者设置在外部。可以采用任何其他合适的存储器布置。
在其他实施例中，存储器104是可移除的、不可移除的或其组合。示例包括随机存取存储器(RAM)；只读存储器(ROM)；电子可擦除可编程只读存储器(EEPROM)；快闪存储器；光学或全息介质；磁带盒、磁性存储装置；和/或可以用于存储信息并且可以由计算装置访问的任何其他介质，诸如例如，量子状态存储器等。在一个或多个服务器(例如，网络服务器或非网络服务器)中共享的分布式存储系统也被认为适合于不同的应用。
在该示例中，存储器104存储原始或解码的图像数据106，并且还存储编码的图像数据108以用于后续处理。图像数据可以包括原始或解码的图像数据106或编码的图像数据108。在一个示例中，可以从存储器104中检索解码的图像数据。在另一个示例中，可以从另一个单元(例如，解码器)传输解码的图像数据。
在图1中，协处理器102包括用于实施本文讨论的图像数据的转换过程的实施例的各方面的内联转换单元110和编码单元112。在一个示例中，协处理器102中的单元110、112的至少一部分可以被存储在另一个处理器中。在另一个示例中，原始或解码的图像数据106和编码的图像数据108的至少一部分可以被存储在存储器104中。本文预期的一些或全部功能性以硬件和/或固件来实施。
本文所示的说明性设备100并非旨在建议关于本公开的实施例的使用范围或功能性的任何限制。说明性设备100也不应被解释为具有与其中所示的任何单个部件或部件组合有关的任何依赖性或要求。另外，在图1至图4中描绘的各种部件在实施例中与其中所描绘的其他部件中的各种部件(和/或未示出的部件)集成，所有这些均被认为在本公开的范围内。
在该示例中，内联转换单元110被配置为使用存储器提取逻辑218对存储器104执行读取操作以从存储器104中检索原始或解码的图像数据106。在一个实施例中，如图4所示，内联色彩转换单元200中的存储器提取逻辑218能操作以对存储器104执行读取操作，以从存储器104中检索原始或解码的图像数据106。检索的图像数据114包括原始或解码的图像数据106。在另一个实施例中，子单元204、208、212、216中的任一者可以包括存储器提取逻辑218。尽管示出了在内联转换单元110中实施的存储器提取逻辑218，但是存储器提取逻辑218可以是与内联转换单元110分开的独立逻辑。
图像数据的转换过程包括将图像数据转变为HDR/WCG格式和SDR/SCG格式中的一者。如所讨论的，在一个示例中，可以将图像数据从HDR/WCG格式转换为SDR/SCG格式。在另一个示例中，可以将图像数据从SDR/SCG格式转换为HDR/WCG格式。在又一示例中，可以将图像数据从HDR/WCG格式转换为不同的HDR/WCG格式。
在图1中，检索的图像数据114包括原始或解码的图像数据106。内联转换单元110被配置为在转换过程期间使用一个或多个内联硬件转换单元转换检索的图像数据114，以用于促进将其转变为以下项中的一者：HDR/WCG格式以及SDR/SCG格式。有利的是，内联硬件转换单元中的每一者独立于对存储器104的读取操作执行转换过程。转换过程独立于对存储器104的读取操作是指执行转换过程而不访问存储器104。例如，内联转换单元110在将转换的图像数据116传输到编码单元112之前执行转换过程，而不访问存储器104。
因此，在转换过程期间，内联转换单元110不执行对存储器104的访问。由于较少访问存储器104与内联转换单元110之间的存储器间路径，因此这创建了简化的转换过程。在转换过程完成之后，内联转换单元110被配置为生成转换的图像数据116。
作为另一个示例，如果转换过程共享每个软件着色器的资源的百分之十(10％)，则游戏性能将降级10％。然而，在本公开中，不存在由这种共享引起的降级。更具体地，原始或解码的图像数据106仅从存储器104读取一次，并且被直接传输到内联转换单元110以执行转换过程。直到完成转换过程，才需要附加读取操作来访问存储器104。在一个示例中，在子单元200、204、208、212和216之间共享的数据直接从一个单元直接输入或输出到下一个单元内联。例如，如图4所示，色彩转换的图像数据202直接从内联色彩转换单元200输入到内联非线性和线性转换单元204中，而无需首先存储在存储器104中。
编码单元112也被配置为对转换的图像数据116进行编码以用于后续处理。在一个示例中，在完成转换过程之后，编码单元112使用本领域中的任何已知的视频压缩方案(例如，MPEG-2、MPEG-4、H.264、H.265、VP8)对转换的图像数据116进行编码。编码的图像数据118由编码单元112生成。编码单元112被配置为使用存储器写入逻辑220对存储器104执行写入操作以存储编码的图像数据118。在一个示例中，当生成编码的图像数据108时，可以将编码的图像数据118传输到存储器104以供存储。在另一个示例中，编码的图像数据118可以向下游传输，以被诸如机顶盒、媒体播放器等接收装置解码。因而，不需要编码单元112对存储器104执行附加的读取操作来检索转换的图像数据。相比之下，常规的转换单元中的编码和解码单元在转换过程的每个步骤期间对存储器104执行相应的读取和写入操作，从而导致增加存储器带宽和增加功耗。如图1所示，有利的是，由于减少了对存储器间路径的访问，因此简化了编码器路径。
在本公开中，内联转换单元110在不使用软件着色器的情况下执行从HDR/WCG格式(例如，HDR色域)到SDR/SCG格式(例如，标准色域)的转换过程。在该配置中，由于不使用软件着色器，因此节省软件着色器所消耗的功率。而且，由于在编码器路径中执行对检索的图像数据114的仅一次读取操作和对编码的图像数据118的仅一次写入操作，因此业务所需的存储器带宽较小。在该示例中，转换的图像数据116被直接传输到编码单元112。如本文所使用的，直接传输可以包括在单元之间使用一个或多个中间部件，诸如其他处理逻辑或转换单元200、204、208、212、216，而无需向存储器104写入(或从存储器读取)图像数据。
图2示出了根据本公开的实施例的用于处理图像数据的设备100的第二示例。在图2中，协处理器102包括用于实施本文讨论的图像数据的转换过程的实施例的各方面的内联转换单元110和解码单元120。如上文所讨论的，协处理器102中的单元110、120的至少一部分可以被存储在另一个处理器中，并且本文预期的一些或全部功能性以硬件和/或固件实施。
在该示例中，解码单元120被配置为使用存储器提取逻辑218对存储器104执行读取操作以从存储器104中检索编码的图像数据108。在图2中，检索的图像数据122包括编码的图像数据108。解码单元120被配置为对检索的图像数据122进行解码。在一个示例中，解码单元120在可感知量化色彩空间中对检索的图像数据122进行解码以与使原始或解码的图像数据106的色彩格式与所支持的色彩格式匹配。解码的图像数据124由解码单元120生成，并且被传输到内联转换单元110以执行转换过程。
内联转换单元110被配置为在转换过程期间接收解码的图像数据124并使用一个或多个内联硬件转换单元转换图像数据122，以用于促进将其转变为以下项中的一者：HDR/WCG格式以及SDR/SCG格式。如上文所讨论的，内联硬件转换单元中的每一者均独立于对存储器104的读取操作执行转换过程。转换过程独立于对存储器104的读取操作是指执行转换过程而不访问存储器104。例如，内联转换单元110在从解码单元120接收到解码的图像数据124之后执行转换过程，而不访问存储器104。
因此，在转换过程期间，内联转换单元110不执行对存储器104的访问。由于较少访问存储器104与内联转换单元110之间的存储器间路径，因此这创建了简化的转换过程。在转换过程完成之后，内联转换单元110被配置为生成解码的图像数据124的转换的图像数据126。内联转换单元110被配置为使用存储器写入逻辑220对存储器104执行写入操作以存储解码的图像数据124的转换的图像数据126。在一个实施例中，如图4所示，内联重伽马转换单元216中的存储器写入逻辑220能操作以对存储器104执行读取操作，以将转换的图像数据126存储到存储器104。在另一个实施例中，子单元200、204、208、212中的任一者可以是能操作以对存储器104执行写入操作的存储器写入逻辑220。尽管示出了在内联转换单元110中实施的存储器写入逻辑220，但是存储器写入逻辑220可以是与内联转换单元110分开的独立逻辑。
在一个示例中，可以将解码的图像数据124的转换的图像数据126传输到存储器104以存储为原始或解码的图像数据106。在另一个示例中，解码的图像数据124的转换的图像数据126可以被传输到另一个单元(例如，编码器)以进行编码。
如图2所示，有利的是，由于减少了对存储器间路径的访问，因此简化了解码器路径。而且，由于在解码器路径中执行对检索的图像数据122的仅一次读取操作和对转换的图像数据126的仅一次写入操作，因此业务所需的存储器带宽较小。
图3示出了根据本公开的实施例的用于处理图像数据的设备100的第三示例。在图3中，协处理器102包括用于实施本文讨论的图像数据的转换过程的实施例的各方面的内联转换单元100和编码器/解码器130。在该配置中，为了执行共享视频编码器/解码器(或编解码器)功能，编码器/解码器130包括编码单元132和解码单元134。编码单元132的操作类似于图1的编码单元112，而解码单元134的操作类似于图2的解码单元120。编码器/解码器130与单个硬件HDR/WCG转换器(诸如内联转换单元110)对接。如根据图1和图2所述，编码器/解码器130被配置为执行编码操作(即，使用编码单元132)或解码操作(即，使用解码单元134)。在一个实施例中，编码器/解码器130是执行编码和/或解码操作的可编程编解码器。也就是说，依据期望的操作，可编程编解码器130可配置为用作编码单元132或解码单元134。在另一个实施例中，编码器/解码器130可以被实施为单独的编码单元和解码单元。换句话说，编码单元132和解码单元134可以是物理的或逻辑的。
而且，选择器128(例如，多路复用器)可操作地耦合在存储器104与内联转换单元110之间，以选择至少两个输入中的一者，诸如图1中所示的检索的图像数据114(例如，原始或解码的图像数据106)和图2所示的解码的图像数据124(例如，由解码单元120生成的解码的图像数据)。在该示例中，内联转换单元110被配置为接收以下项中的一者：具有原始或解码的图像数据106的检索的图像数据114，以及从解码单元134接收的解码的图像数据124。
由于在图3的设备100中运行的图像渲染应用程序可能需要执行编码或解码操作，因此选择器128能操作以通过控制信号140选择检索的图像数据114或解码的图像数据124。例如，在编码操作期间，编码单元132使得选择器128能够经由控制信号140选择检索的图像数据114发送给内联转换单元110。在解码操作期间，解码单元134使得选择器128能够经由控制信号140选择解码的图像数据124发送给内联转换单元110。应当注意，选择器128可以在协处理器102中、在内联转换单元110中或在编码器/解码器130中实施。
在一些实施例中，使用配置寄存器来实施选择器128的功能性。具体地，配置寄存器可以被配置为存储配置信息，所述配置信息允许在编码操作期间将检索的图像数据114发送到内联转换单元110，或者在解码操作期间将解码的图像数据124发送到内联转换单元110。
如上所述，图3的设备100可以以编码模式或解码模式操作。对于编码模式，创建在其中执行读取、转换、编码和写入操作序列的编码器路径。具体地，编码器/解码器130中的编码单元132使得选择器128能够经由控制信号140将检索的图像数据114传输到内联转换单元110。内联转换单元110使用存储器提取逻辑218经由选择器128接收具有原始或解码的图像数据106的检索的图像数据114。内联转换单元110转换图像数据114，并生成检索的图像数据114的转换的图像数据116。编码单元132从内联转换单元110接收转换的图像数据116，并基于转换的图像数据116生成编码的图像数据118。然后，编码单元132使用存储器写入逻辑220将编码的图像数据118写入到存储器104以进行存储。
对于解码模式，创建在其中执行读取、解码、转换和写入操作序列的解码器路径。具体地，编码器/解码器130中的解码单元134使用存储器提取逻辑218从存储器104接收具有编码的图像数据108的检索的图像数据122。解码单元134对检索的图像数据122进行解码，并生成解码的图像数据124。解码单元134将解码的图像数据124传输到选择器128。解码单元134使得选择器128能够经由控制信号140将解码的图像数据124传输到内联转换单元110。内联转换单元110接收解码的图像数据124并转换图像数据124。然后，内联转换单元110使用存储器写入逻辑220将转换的图像数据126写入到存储器104以进行存储。
因而，有利的是，由于在由编码单元132执行的编码操作之前和由解码单元134执行的解码操作之后对存储器104的访问较少，因此简化了编码器路径和解码器路径两者。而且，由于在编码器和解码器路径的每一者中执行对存储器104的仅一次读取操作和对存储器104的仅一次写入操作，因此业务所需的存储器带宽较小。
另外，图3的设备100可以被配置为在解码-编码模式中操作，在所述解码-编码操作模式中，创建解码器-编码器路径，在所述解码器-编码器路径中执行读取、解码、转换、编码和写入操作序列。具体地，编码器/解码器130中的解码单元134使用存储器提取逻辑218从存储器104接收具有编码的图像数据108的检索的图像数据122。解码单元134对检索的图像数据122进行解码，并生成解码的图像数据124。解码单元134将解码的图像数据124传输到选择器128。解码单元134使得选择器128能够经由控制信号140将解码的图像数据124传输到内联转换单元110。内联转换单元110接收解码的图像数据124，并生成解码的图像数据124的转换的图像数据116。编码器/解码器130中的编码单元132从内联转换单元110接收转换的图像数据116，并基于转换的图像数据116生成编码的图像数据118。然后，编码单元132使用存储器写入逻辑220将编码的图像数据118写入到存储器104以进行存储。
图4示出了示例性内联转换单元110。现在参考图1至图3中所示的示例，内联转换单元110包括内联色彩转换单元200、内联非线性和线性转换单元204、内联色调映射转换单元208、内联色域重映射转换单元212和内联重伽马转换单元216。其他合适的内联转换单元(诸如内联反伽马(de-gamma)转换单元)也被预期适应于不同的应用。每个单元200、204、208、212、216执行作为内联转换单元110的硬件部件。尽管将这些子单元200、204、208、212、216示为父单元的子单元附属，但是每个子单元可以充当与内联转换单元110分开的单元，并且其他合适的子单元组合被预期适应于不同的应用。在另一个实施例中，可以将一个或多个单元选择性地捆绑为在处理器或协处理器上运行的硬件模型。
最初，内联转换单元110被配置为接收检索的图像数据114或解码的图像数据124，所述数据可以被传输到内联色彩转换单元200。在其他实施例中，检索的图像数据114或解码的图像数据124可以被传输到子单元204、208、212、216中的任一者。内联色彩转换单元200被配置为在宽色域色彩空间与标准色域色彩空间之间执行色彩转换，而不访问存储器104。例如，内联色彩转换单元200将以HDR/WCG格式表示的宽色域色彩空间转换为以SDR/SCG格式表示的标准色域色彩空间。然后，内联色彩转换单元200生成色彩转换的图像数据202。
内联非线性和线性转换单元204被配置为接收色彩转换的图像数据202，并且对色彩转换的图像数据202执行非线性和线性转换，而不访问存储器104。例如，内联非线性和线性转换单元204执行非线性和线性转换，以利用人类视觉系统(HVS)的特性，所述人类视觉系统包括对原始或解码的图像数据106的色彩或亮度特性的非线性响应。由于人眼不能持续对图像数据114的线性数据表示做出响应，因此通常必须进行非线性和线性转换以符合HVS。在本公开中，执行非线性和线性转换，而不访问存储器。内联非线性和线性转换单元204根据需要执行非线性和线性转换以符合HVS。然后，内联非线性和线性转换单元204生成非线性/线性转换的图像数据206。
内联色调映射转换单元208被配置为接收非线性/线性转换的图像数据206，并且对非线性/线性转换的图像数据206执行色调映射转换，而不访问存储器104。例如，内联色调映射转换单元208执行色调映射转换以将一组色调和色彩映射到另一组色调和色彩，以改进HDR/WCG格式的原始或解码的图像数据106的外观。例如，为了增强亮度感，执行色调映射转换以将一组色调和色彩映射到另一组色调和色彩以逼近HDR/WCG格式的图像数据114在具有更有限动态范围的显示装置上的外观。当显示装置不足以再现图像数据114中存在的色彩或光强度的完整范围时，执行色调映射转换以补偿图像数据114的色彩或亮度特性。在一个示例中，内联色调映射转换单元208执行色调映射转换以增强原始或解码的图像数据106的色彩或亮度特性。然后，内联色调映射转换单元208生成色调映射的图像数据210。
内联色域重映射转换单元212被配置为接收色调映射的图像数据210，并且对色调映射的图像数据210执行色域重映射转换，而不访问存储器104。例如，内联色域重映射转换单元212执行色域重映射转换，以将色域空间改变为Adobe红绿蓝(RGB)、Adobe宽色域RGB、标准红绿蓝(sRGB)以及亮度和色度成分(例如，YCbCr或Y'CbCr)色域空间，以用于产生原始或解码的图像数据106的像素信息。在本公开中，执行色域重映射转换，而不访问存储器104。然后，内联色域重映射转换单元212生成色域重映射的图像数据214。
内联重伽马转换单元216被配置为接收伽马重映射的图像数据214，并且对伽马重映射的图像数据214执行重伽马转换，不访问存储器104。例如，内联重伽马转换单元216对从内联色域重映射转换单元212接收的色域重映射的像素信息执行重伽马转换，并生成色域重映射的图像数据。然后，在一个示例中，内联重伽马转换单元216基于色域重映射的图像数据214生成原始或解码的图像数据106的转换的图像数据116。在另一个示例中，内联重伽马转换单元216基于色域重映射的图像数据214生成解码的图像数据124的转换的图像数据126。
在另一个示例中，可以对图像数据114执行反伽马操作以产生图像数据114的反伽马像素信息，并且随后将反伽马像素信息重映射到另一个色域空间中以产生色域重映射的像素信息。然后，可以将色域重映射的像素信息转换为色域重映射的图像数据。在本公开中，执行这些转换步骤，而不访问存储器104。
图5示出了根据本公开的实施例的用于处理图像数据的方法300的一个示例。它将参考图1至图4进行描述。然而，可以采用任何合适的结构。例如，参考图2和图3的其他方法也被预期适合于不同的应用。
在操作中，在框302处，内联转换单元110使用存储器提取逻辑218对存储器104执行读取操作，以在发起转换过程之前从存储器104中检索原始或解码的图像数据106。在框304处，内联转换单元110接收检索的图像数据114并使用一个或多个内联硬件转换单元(诸如内联色彩转换单元200、内联非线性和线性转换单元204、内联色调映射转换单元208、内联色域重映射转换单元212和内联重伽马转换单元216)来转换图像数据114。例如，内联转换单元110在转换过程期间将检索的图像数据114转换为以下项中的一者：HDR/WCG格式以及SDR/SCG格式。单元200、204、208、212、216中的每一者均独立于对存储要转换的图像数据的存储器104的另一读取或写入操作执行相应的转换步骤。在框306处，在完成转换过程之后，编码单元112对转换的图像数据116执行编码操作，并使用存储器写入逻辑220对存储器104执行写入操作以存储转换的图像数据116。图6中还示出了框304，并且图7中还示出了框306。
图6示出了根据本公开阐述的一个实施例的用于执行图5的框304的方法400的一个示例。它将参考图1、图4和图5进行描述。然而，可以采用任何合适的结构。尽管示出了子框402至412，但是可以采用其他合适的子块以适应于不同的应用。
在框402处，内联转换单元110在转换过程期间使用硬件部件执行向以下项中的一者的转变：HDR/WCG格式和SDR/SCG格式。例如，硬件部件可以是以下项中的一者或多者：内联色彩转换单元200、内联非线性和线性转换单元204、内联色调映射转换单元208、内联色域重映射转换单元212和内联重伽马转换单元216。
在框404处，内联色彩转换单元200在宽色域色彩空间与标准色域色彩空间之间执行色彩转换，而不访问存储器104。例如，内联色彩转换单元200将以HDR/WCG格式表示的宽色域色彩空间转换为以SDR/SCG格式表示的标准色域色彩空间。
在框406处，内联非线性和线性转换单元204对色彩转换的图像数据202执行非线性和线性转换，而不访问存储器104。例如，内联非线性和线性转换单元204执行非线性和线性转换，以利用HVS的特性，所述HVS包括对原始或解码的图像数据106的色彩或亮度特性的非线性响应。
在框408处，内联色调映射转换单元208对非线性/线性转换的图像数据206执行色调映射转换，而不访问存储器104。例如，内联色调映射转换单元208执行色调映射转换以将一组色调和色彩映射到另一组色调和色彩，以改进HDR/WCG格式的原始或解码的图像数据106的外观。
在框410处，内联色域重映射转换单元212对色调映射的图像数据210执行色域重映射转换，而不访问存储器104。例如，内联色域重映射转换单元212执行色域重映射转换，以将色域空间改变为Adobe红绿蓝(RGB)、Adobe宽色域RGB、标准红绿蓝(sRGB)以及亮度和色度成分(例如，YCbCr或Y'CbCr)色域空间，以用于产生原始或解码的图像数据106的像素信息。
在框412处，内联重伽马转换单元216对色域重映射的图像数据214执行重伽马转换，而不访问存储器104。例如，内联重伽马转换单元216对从内联色域重映射转换单元212接收的色域重映射的像素信息执行重伽马转换，并生成色域重映射的图像数据。
图7示出了根据本公开阐述的一个实施例的用于执行图5的框306的方法500的一个示例。它将参考图1和图4至图6进行描述。然而，可以采用任何合适的结构。尽管示出了一个子框502，但是可以采用其他合适的子块以适应于不同的应用。
在操作中，在框502处，编码单元112对检索的图像数据114的转换的图像数据116进行编码，然后将编码的图像数据118传输到存储器104，如图1所示。
尽管在图5至图7中以特定顺序示出了处理框，但是本领域普通技术人员应当理解，可以以不同顺序执行处理以适应于不同应用。在一个示例中，可以依据应用以任何合适的顺序执行框404至412。
在其他优点中，例如，代替使用软件着色器进行转换过程，本公开提供了内联硬件HDR/WCG转换单元，诸如内联转换单元110，其没有消耗功率并增加存储器间路径中的存储器带宽的软件部分。由于软件着色器不用于转换过程，因此可以将软件着色器用于游戏。因而，游戏性能将不会降级，并且着色器将被连续用于游戏。因此，改进了绘制时间处的总体渲染操作和执行速度。
上面参考附图仅通过示例描述了本公开的实施例。此外，所述描述本质上仅是示例性的，并且绝不旨在限制本公开、其应用或用途。如本文所使用的，术语“单元”是指执行一个或多个软件或固件程序的专用集成电路(ASIC)、电子电路、处理器或微处理器(共享的、专用的、或成组的)和/或存储器(共享的、专用的、或成组的)、组合逻辑电路和/或提供所述功能性的其他合适部件，是它们的一部分或者包括它们。因此，尽管本公开包括所述单元的特定示例和布置，但是本公开的范围不应限于此，因为其他修改对于本领域技术人员将变得显而易见。
已经仅出于说明和描述的目的且非限制性地呈现了本公开的以上具体实施方式和其中描述的示例。因此，可以预期，本公开涵盖落入以上公开和本文要求保护的基本原理的精神和范围内的任何和所有修改、变化或等同物。

Claims (40)

1.一种计算装置，所述计算装置被配置为处理在图像数据的转换过程中使用的所述图像数据以将其转变为以下项中的一者：高动态范围和宽色域(HDR/WCG)格式以及标准动态范围和标准色域(SDR/SCG)格式，所述计算装置包括：
逻辑，所述逻辑能操作以对存储器执行读取操作以在发起所述转换过程之前从所述存储器中检索所述图像数据；
多个内联硬件转换单元，所述多个内联硬件转换单元能操作以转换所述检索的图像数据以在所述转换过程期间将其转变为以下项中的一者：所述HDR/WCG格式和所述SDR/SCG格式，所述多个内联硬件转换单元中的每一者均能操作以独立于对所述存储器的另一读取操作执行所述转换过程；以及
编码单元，所述编码单元可操作地耦合到所述多个内联硬件转换单元，并且能操作以在完成所述转换过程之后对所述转换的图像数据进行编码并对所述存储器执行写入操作以存储所述编码的图像数据。
2.根据权利要求1所述的计算装置，其中所述多个内联硬件转换单元能操作以独立于对所述存储器的另一写入操作执行所述转换过程。
3.根据权利要求1所述的计算装置，其包括所述存储器，并且其中所述多个内联硬件转换单元包括：内联色彩转换单元；内联非线性/线性转换单元，所述内联非线性/线性转换单元从所述内联色彩转换单元接收输出；内联色调映射转换单元，所述内联色调映射转换单元从所述内联非线性/线性转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；以及内联重伽马转换单元，所述内联重伽马转换单元从所述内联色域重映射转换单元接收输出。
4.根据权利要求1所述的计算装置，其中所述逻辑还被配置为检索以下项中的至少一者：原始图像数据和解码的图像数据。
5.根据权利要求1所述的计算装置，其中所述多个内联硬件转换单元中的仅一者包括能操作以对所述存储器执行所述读取操作的所述逻辑。
6.根据权利要求5所述的计算装置，其中所述多个内联硬件转换单元中的所述仅一者是对所述存储器执行所述读取操作的第一内联硬件转换单元。
7.根据权利要求6所述的计算装置，其中所述多个内联硬件转换单元包括最后一个内联硬件转换单元，所述最后一个内联硬件转换单元包括能操作以对所述存储器执行所述写入操作的逻辑，并且其中所述第一内联硬件转换单元与所述最后一个内联硬件转换单元之间的中间内联硬件转换单元在所述转换过程期间均不对所述存储器执行任何读取或写入操作。
8.一种计算装置，所述计算装置被配置为处理在图像数据的转换过程中使用的所述图像数据以将其转变为以下项中的一者：高动态范围和宽色域(HDR/WCG)格式以及标准动态范围和标准色域(SDR/SCG)格式，所述计算装置包括：
解码单元，所述解码单元可操作地耦合到多个内联硬件转换单元，并且能操作以对存储器执行读取操作以从所述存储器中检索编码的图像数据，并在发起所述转换过程之前对所述检索的编码图像数据进行解码；
所述多个内联硬件转换单元，所述多个内联硬件转换单元能操作以转换所述解码的图像数据以在所述转换过程期间将其转变为以下项中的一者：所述HDR/WCG格式和所述SDR/SCG格式，所述多个内联硬件转换单元中的每一者均能操作以独立于对所述存储器的另一读取操作执行所述转换过程；以及
逻辑，所述逻辑能操作以对所述存储器执行写入操作以在完成所述转换过程之后存储所述转换的图像数据。
9.根据权利要求8所述的计算装置，其中所述多个内联硬件转换单元能操作以独立于对所述存储器的另一写入操作执行所述转换过程。
10.根据权利要求8所述的计算装置，其包括所述存储器，并且其中所述多个内联硬件转换单元包括：内联色彩转换单元；内联非线性/线性转换单元，所述内联非线性/线性转换单元从所述内联色彩转换单元接收输出；内联色调映射转换单元，所述内联色调映射转换单元从所述内联非线性/线性转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；以及内联重伽马转换单元，所述内联重伽马转换单元从所述内联色域重映射转换单元接收输出。
11.根据权利要求8所述的计算装置，其中所述多个内联硬件转换单元中的仅一者包括能操作以对所述存储器执行所述写入操作的所述逻辑。
12.根据权利要求11所述的计算装置，其中所述多个内联硬件转换单元中的所述仅一者是对所述存储器执行所述写入操作的最后一个内联硬件转换单元。
13.根据权利要求12所述的计算装置，其中所述多个内联硬件转换单元包括第一内联硬件转换单元，所述第一内联硬件转换单元包括能操作以对所述存储器执行所述读取操作的逻辑，并且其中所述第一内联硬件转换单元与所述最后一个内联硬件转换单元之间的中间内联硬件转换单元在所述转换过程期间均不对所述存储器执行任何读取或写入操作。
14.一种计算装置，所述计算装置被配置为处理在图像数据的转换过程中使用的所述图像数据以将其转变为以下项中的一者：高动态范围和宽色域(HDR/WCG)格式以及标准动态范围和标准色域(SDR/SCG)格式，所述计算装置包括：
存储器；
逻辑，所述逻辑用于对所述存储器执行读取操作以从所述存储器中检索所述图像数据；
多个内联硬件转换单元，所述多个内联硬件转换单元能操作以转换所述检索的图像数据以在所述转换过程期间将其转变为以下项中的一者：所述HDR/WCG格式和所述SDR/SCG格式，所述多个内联硬件转换单元中的每一者均能操作以独立于对所述存储器的另一读取操作执行所述转换过程；
编码单元，所述编码单元可操作地耦合到所述多个内联硬件转换单元，并且能操作以在完成所述转换过程之后对来自所述多个内联硬件转换单元的所述转换的图像数据进行编码；以及
解码单元，所述解码单元可操作地耦合到所述多个内联硬件转换单元，并且能操作以在发起所述转换过程之前对来自所述存储器的编码的图像数据进行解码。
15.根据权利要求14所述的计算装置，其中所述计算装置还包括用作所述编码单元和所述解码单元的可编程编解码器。
16.根据权利要求14所述的计算装置，其中所述计算装置还包括选择器，所述选择器可操作地耦合在所述存储器与所述多个内联硬件转换单元之间，并且能操作以依据是否需要编码或解码来选择以下项中的一者：来自所述存储器的所述检索的图像数据和来自所述解码单元的所述解码的图像数据。
17.根据权利要求16所述的计算装置，其中所述多个内联硬件转换单元包括：内联色彩转换单元；内联非线性/线性转换单元，所述内联非线性/线性转换单元从所述内联色彩转换单元接收输出；内联色调映射转换单元，所述内联色调映射转换单元从所述内联非线性/线性转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；以及内联重伽马转换单元，所述内联重伽马转换单元从所述内联色域重映射转换单元接收输出。
18.根据权利要求14所述的计算装置，其中所述计算装置还被配置为在执行以下项中的至少一者之后将所述图像数据传输到所述存储器：对所述图像数据进行编码或对所述图像数据进行解码。
19.根据权利要求14所述的计算装置，其中所述多个内联硬件转换单元中的仅第一内联硬件转换单元包括能操作以对所述存储器执行所述读取操作的逻辑，而所述多个内联硬件转换单元中的仅最后一个内联硬件转换单元包括能操作以对所述存储器执行写入操作的逻辑。
20.根据权利要求19所述的计算装置，其中所述多个内联硬件转换单元中的所述仅第一内联硬件转换单元与所述多个内联硬件转换单元中的所述最后一个内联硬件转换单元之间的中间内联硬件转换单元在所述转换过程期间均不对所述存储器执行任何读取或写入操作。
21.一种处理在图像数据的转换过程中使用的所述图像数据以将其转变为以下项中的一者的方法：高动态范围和宽色域(HDR/WCG)格式以及标准动态范围和标准色域(SDR/SCG)格式，所述方法包括：
使用逻辑对存储器执行读取操作以在发起所述转换过程之前从所述存储器中检索所述图像数据；
使用多个内联硬件转换单元转换所述检索的图像数据以在所述转换过程期间将其转变为以下项中的一者：所述HDR/WCG格式和所述SDR/SCG格式，所述多个内联硬件转换单元中的每一者均能操作以独立于对所述存储器的另一读取操作执行所述转换过程；
使用编码单元在完成所述转换过程之后对所述转换的图像数据进行编码，所述编码单元可操作地耦合到所述多个内联硬件转换单元；以及
使用所述编码单元对所述存储器执行写入操作以存储所述编码的图像数据。
22.根据权利要求21所述的方法，其中转换所述检索的图像数据包括独立于对所述存储器的另一写入操作执行所述转换过程。
23.根据权利要求21所述的方法，其中转换所述检索的图像数据包括使用以下各者执行所述转换过程：内联色彩转换单元；内联非线性/线性转换单元，所述内联非线性/线性转换单元从所述内联色彩转换单元接收输出；内联色调映射转换单元，所述内联色调映射转换单元从所述内联非线性/线性转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；以及内联重伽马转换单元，所述内联重伽马转换单元从所述内联色域重映射转换单元接收输出。
24.根据权利要求21所述的方法，其中执行所述读取操作包括检索以下项中的至少一者：原始图像数据和解码的图像数据。
25.根据权利要求21所述的方法，其中执行所述读取操作包括使用所述多个内联硬件转换单元中的仅一者中的所述逻辑对所述存储器执行所述读取操作。
26.根据权利要求25所述的方法，其中所述多个内联硬件转换单元中的所述仅一者是对所述存储器执行所述读取操作的第一内联硬件转换单元。
27.根据权利要求26所述的方法，其中所述多个内联硬件转换单元包括最后一个内联硬件转换单元，所述最后一个内联硬件转换单元具有能操作以对所述存储器执行所述写入操作的逻辑，并且其中转换所述检索的图像数据包括使所述第一内联硬件转换单元与所述最后一个内联硬件转换单元之间的中间内联硬件转换单元执行所述转换过程，而不对所述存储器执行任何读取或写入操作。
28.一种处理在图像数据的转换过程中使用的所述图像数据以将其转变为以下项中的一者的方法：高动态范围和宽色域(HDR/WCG)格式以及标准动态范围和标准色域(SDR/SCG)格式，所述方法包括：
使用解码单元对存储器执行读取操作以从所述存储器中检索编码的图像数据，所述解码单元可操作地耦合到多个内联硬件转换单元；
在发起所述转换处理之前使用所述解码单元对所述检索的编码图像数据进行解码；
使用多个内联硬件转换单元转换所述解码的图像数据以在所述转换过程期间将其转变为以下项中的一者：所述HDR/WCG格式和所述SDR/SCG格式，所述多个内联硬件转换单元中的每一者均能操作以独立于对所述存储器的另一读取操作执行所述转换过程；以及
使用逻辑对所述存储器执行写入操作以在完成所述转换过程之后存储所述转换的图像数据。
29.根据权利要求28所述的方法，其中转换所述解码的图像数据包括独立于对所述存储器的另一写入操作执行所述转换过程。
30.根据权利要求28所述的方法，其中转换所述解码的图像数据包括使用以下各者执行所述转换过程：内联色彩转换单元；内联非线性/线性转换单元，所述内联非线性/线性转换单元从所述内联色彩转换单元接收输出；内联色调映射转换单元，所述内联色调映射转换单元从所述内联非线性/线性转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；以及内联重伽马转换单元，所述内联重伽马转换单元从所述内联色域重映射转换单元接收输出。
31.根据权利要求28所述的方法，其中执行所述写入操作包括使用所述多个内联硬件转换单元中的仅一者中的所述逻辑对所述存储器执行所述写入操作。
32.根据权利要求31所述的方法，其中所述多个内联硬件转换单元中的所述仅一者是对所述存储器执行所述写入操作的最后一个内联硬件转换单元。
33.根据权利要求32所述的方法，其中所述多个内联硬件转换单元包括第一内联硬件转换单元，所述第一内联硬件转换单元具有能操作以对所述存储器执行所述读取操作的逻辑，并且其中转换所述解码的图像数据包括使所述第一内联硬件转换单元与所述最后一个内联硬件转换单元之间的中间内联硬件转换单元执行所述转换过程，而不对所述存储器执行任何读取或写入操作。
34.一种处理在图像数据的转换过程中使用的所述图像数据以将其转变为以下项中的一者的方法：高动态范围和宽色域(HDR/WCG)格式以及标准动态范围和标准色域(SDR/SCG)格式，所述方法包括：
使用逻辑对存储器执行读取操作以从所述存储器中检索所述图像数据；
使用多个内联硬件转换单元转换所述检索的图像数据以在所述转换过程期间将其转变为以下项中的一者：所述HDR/WCG格式和所述SDR/SCG格式，所述多个内联硬件转换单元中的每一者均能操作以独立于对所述存储器的另一读取操作执行所述转换过程；
使用编码单元在完成所述转换过程之后对来自所述多个内联硬件转换单元的所述转换的图像数据进行编码，所述编码单元可操作地耦合到所述多个内联硬件转换单元；以及
使用解码单元在发起所述转换过程之前对来自所述存储器的编码的图像数据进行解码，所述解码单元可操作地耦合到所述多个内联硬件转换单元。
35.根据权利要求34所述的方法，其还包括使用用作所述编码单元和所述解码单元的可编程编解码器来执行所述编码或解码操作。
36.根据权利要求34所述的方法，其还包括使用选择器依据是否需要编码或解码来选择以下项中的一者：来自所述存储器的所述检索的图像数据和来自所述解码单元的所述解码的图像数据，所述选择器可操作地耦合在所述存储器与所述多个内联硬件转换单元之间。
37.根据权利要求36所述的方法，其中执行所述转换过程包括使用：内联色彩转换单元；内联非线性/线性转换单元，所述内联非线性/线性转换单元从所述内联色彩转换单元接收输出；内联色调映射转换单元，所述内联色调映射转换单元从所述内联非线性/线性转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；内联色域重映射转换单元，所述内联色域重映射转换单元从所述内联色调映射转换单元接收输出；以及内联重伽马转换单元，所述内联重伽马转换单元从所述内联色域重映射转换单元接收输出。
38.根据权利要求34所述的方法，其还包括在执行以下项中的至少一者之后将所述图像数据传输到所述存储器：对所述图像数据进行编码或对所述图像数据进行解码。
39.根据权利要求34所述的方法，其中执行所述读取操作包括使用所述多个内联硬件转换单元中的仅第一内联硬件转换单元对所述存储器执行所述读取操作，并且所述方法还包括使用所述多个内联硬件转换单元中的仅最后一个内联硬件转换单元对所述存储器执行写入操作。
40.根据权利要求39所述的方法，其中执行所述转换过程包括使所述多个内联硬件转换单元中的所述仅第一内联硬件转换单元与所述多个内联硬件转换单元中的所述最后一个内联硬件转换单元之间的中间内联硬件转换单元执行所述转换过程，而不对所述存储器执行任何读取或写入操作。
CN201980067462.6A 2018-10-31 2019-10-02 用于内联到硬件编码器和解码器的hdr硬件处理器的方法和设备 Active CN112868242B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/176,826 2018-10-31
US16/176,826 US11503310B2 (en) 2018-10-31 2018-10-31 Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
PCT/US2019/054198 WO2020091939A1 (en) 2018-10-31 2019-10-02 Method and apparatus for an hdr hardware processor inline to hardware encoder and decoder

Publications (2)

Publication Number Publication Date
CN112868242A true CN112868242A (zh) 2021-05-28
CN112868242B CN112868242B (zh) 2024-06-18

Family

ID=70326590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980067462.6A Active CN112868242B (zh) 2018-10-31 2019-10-02 用于内联到硬件编码器和解码器的hdr硬件处理器的方法和设备

Country Status (6)

Country Link
US (1) US11503310B2 (zh)
EP (1) EP3874759A4 (zh)
JP (1) JP2022512586A (zh)
KR (1) KR20210068593A (zh)
CN (1) CN112868242B (zh)
WO (1) WO2020091939A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002694A1 (en) * 2012-07-02 2014-01-02 Csr Technology Inc. Device and algorithm for capturing high dynamic range (hdr) video
US20150092834A1 (en) * 2013-09-27 2015-04-02 Apple Inc. Context re-mapping in cabac encoder
US20150243200A1 (en) * 2014-02-25 2015-08-27 Apple Inc. Non-linear display brightness adjustment
US20160005349A1 (en) * 2013-02-21 2016-01-07 Dolby Laboratories Licensing Corporation Display Management for High Dynamic Range Video
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308622A (ja) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp 画像符号化・復号化装置
US6466220B1 (en) * 1999-03-05 2002-10-15 Teralogic, Inc. Graphics engine architecture
US7139002B2 (en) * 2003-08-01 2006-11-21 Microsoft Corporation Bandwidth-efficient processing of video images
US7643675B2 (en) * 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
US7576663B2 (en) * 2006-04-21 2009-08-18 Locolabs, Llc Inline audio/visual conversion
WO2008073455A1 (en) * 2006-12-11 2008-06-19 Koplar Interactive Systems International, L.L.C. Spatial data encoding and decoding
US8723891B2 (en) * 2009-02-27 2014-05-13 Ncomputing Inc. System and method for efficiently processing digital video
JP5589006B2 (ja) * 2009-03-13 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
US20120188406A1 (en) * 2011-01-20 2012-07-26 Apple Inc. Reduced power consumption filter
JP2012175303A (ja) * 2011-02-18 2012-09-10 Jvc Kenwood Corp 撮像装置、撮像方法、及びプログラム
KR101972748B1 (ko) * 2011-09-27 2019-08-16 코닌클리케 필립스 엔.브이. 이미지들의 다이내믹 레인지 변환을 위한 장치 및 방법
US10699361B2 (en) * 2012-11-21 2020-06-30 Ati Technologies Ulc Method and apparatus for enhanced processing of three dimensional (3D) graphics data
US20140282624A1 (en) * 2013-03-15 2014-09-18 Varian Medical Systems, Inc. Method and pipeline processing system for facilitating responsive interaction
JP2017512393A (ja) * 2014-02-21 2017-05-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ
GB2532354B (en) * 2014-06-06 2017-03-29 Imagination Tech Ltd Gamut mapping
JP6302600B2 (ja) * 2014-09-26 2018-03-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 知覚的量子化されたビデオコンテンツの符号化および復号化
US9860504B2 (en) * 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9652870B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
KR102117522B1 (ko) * 2015-01-19 2020-06-01 돌비 레버러토리즈 라이쎈싱 코오포레이션 높은 동적 범위 비디오에 대한 디스플레이 관리
US9697796B2 (en) * 2015-03-26 2017-07-04 Intel Corporation Adaptive linear luma domain video pipeline architecture
US10269095B2 (en) * 2015-08-31 2019-04-23 Apple Inc. Dynamically determining filtering strength for noise filtering in image processing
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
WO2017053860A1 (en) 2015-09-23 2017-03-30 Arris Enterprises Llc High dynamic range adaptation operations at a video decoder
EP3338450A1 (en) * 2015-09-23 2018-06-27 ARRIS Enterprises LLC System and method for reshaping and adaptation of high dynamic range video data
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
US10516810B2 (en) * 2016-03-07 2019-12-24 Novatek Microelectronics Corp. Method of gamut mapping and related image conversion system
US10019785B2 (en) * 2016-03-07 2018-07-10 Novatek Microelectronics Corp. Method of processing high dynamic range images using dynamic metadata
KR20170106022A (ko) 2016-03-11 2017-09-20 삼성전자주식회사 영상 신호의 처리를 위한 전자 장치
US9961236B2 (en) * 2016-06-13 2018-05-01 Gopro, Inc. 3D color mapping and tuning in an image processing pipeline
US20180040095A1 (en) * 2016-08-02 2018-02-08 Qualcomm Incorporated Dynamic compressed graphics state references
US20180097527A1 (en) * 2016-10-03 2018-04-05 Microsoft Technology Licensing, Llc 32-bit hdr pixel format with optimum precision
US10218952B2 (en) * 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US11562115B2 (en) * 2017-01-04 2023-01-24 Stmicroelectronics S.R.L. Configurable accelerator framework including a stream switch having a plurality of unidirectional stream links
US10904535B2 (en) 2017-04-01 2021-01-26 Intel Corporation Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
US20190356891A1 (en) * 2018-05-16 2019-11-21 Synaptics Incorporated High dynamic range (hdr) data conversion and color space mapping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002694A1 (en) * 2012-07-02 2014-01-02 Csr Technology Inc. Device and algorithm for capturing high dynamic range (hdr) video
US20160005349A1 (en) * 2013-02-21 2016-01-07 Dolby Laboratories Licensing Corporation Display Management for High Dynamic Range Video
US20150092834A1 (en) * 2013-09-27 2015-04-02 Apple Inc. Context re-mapping in cabac encoder
US20150243200A1 (en) * 2014-02-25 2015-08-27 Apple Inc. Non-linear display brightness adjustment
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
CN107439013A (zh) * 2015-04-17 2017-12-05 高通股份有限公司 用于高动态范围和宽色域视频译码的动态范围调整

Also Published As

Publication number Publication date
US11503310B2 (en) 2022-11-15
JP2022512586A (ja) 2022-02-07
US20200137403A1 (en) 2020-04-30
WO2020091939A1 (en) 2020-05-07
EP3874759A4 (en) 2022-08-31
KR20210068593A (ko) 2021-06-09
CN112868242B (zh) 2024-06-18
EP3874759A1 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
RU2737507C2 (ru) Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования
CN106030652B (zh) 提供输出面的方法、系统和合成显示控制器及计算机介质
US10395394B2 (en) Encoding and decoding arrays of data elements
CN107273301A (zh) 数据处理系统
CN101388950B (zh) 用于数字图像的内容适应式对比增进方法及装置
CN107209928A (zh) 用于将hdr画面映射为sdr画面的方法和设备以及相应的sdr到hdr的映射方法和设备
US20150279055A1 (en) Mipmap compression
US20130235231A1 (en) Vector embedded graphics coding
US20180097527A1 (en) 32-bit hdr pixel format with optimum precision
CN112868242B (zh) 用于内联到硬件编码器和解码器的hdr硬件处理器的方法和设备
US8594441B1 (en) Compressing image-based data using luminance
KR100852958B1 (ko) 서브픽셀 렌더링과 데이터 압축을 이용한 디스플레이드라이버 장치 및 그 제어방법
CA2774940A1 (en) Joint scalar embedded graphics coding for color images
US20220114761A1 (en) Decoding data arrays
US8797343B1 (en) Methods and apparatuses for processing cached image data
CN116700943A (zh) 一种视频播放系统、方法以及电子设备
JP7291202B2 (ja) 輝度範囲が限定されたディスプレイのための効果的な電気光学伝達関数の符号化
CN116601695A (zh) 用于针对demura校正的自适应二次采样的方法和装置
US11954028B2 (en) Accessing encoded blocks of data
US20230154063A1 (en) Non-linear filtering for color space conversions
US20220254070A1 (en) Methods and apparatus for lossless compression of gpu data
GB2616740A (en) Decoding data arrays
CN116195252A (zh) 针对标准动态范围（sdr）内容的有效电光传递函数（eotf）曲线
CN112214174A (zh) 一种面向移动设备的基于闪存的高速缓存解压系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant