CN109429050A - 亮度标准化颜色空间 - Google Patents

亮度标准化颜色空间 Download PDF

Info

Publication number
CN109429050A
CN109429050A CN201811005855.8A CN201811005855A CN109429050A CN 109429050 A CN109429050 A CN 109429050A CN 201811005855 A CN201811005855 A CN 201811005855A CN 109429050 A CN109429050 A CN 109429050A
Authority
CN
China
Prior art keywords
color
data
luminance standard
image
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811005855.8A
Other languages
English (en)
Other versions
CN109429050B (zh
Inventor
卢恩·拉克蒙德
费边·安加里塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fancy Technology Co Ltd
Original Assignee
Fancy Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fancy Technology Co Ltd filed Critical Fancy Technology Co Ltd
Publication of CN109429050A publication Critical patent/CN109429050A/zh
Application granted granted Critical
Publication of CN109429050B publication Critical patent/CN109429050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本公开涉及亮度标准化颜色空间。一种处理图像方法，该方法包括：接收图像的图像数据，图像数据包括以第一颜色空间表达的颜色数据；将颜色数据转换为亮度标准化颜色空间；以及对经转换的颜色数据执行一个或多个图像处理操作以生成处理图像数据。

Description

亮度标准化颜色空间
技术领域
本发明涉及一种用于处理图像的颜色数据的装置和方法。
背景技术
可以使用描述图像颜色的颜色数据来表示数字图像。数据可以采用一组颜色值的形式，其中，每个颜色值用于指定图像区域的颜色。为了在屏幕上显示图像，可能需要针对形成图像的每个像素确定颜色值。然而，在一些情况下(例如，用于存储或传输图像数据)，可以压缩颜色数据以便为图像的较大区域(例如像素块)存储颜色值。因此，颜色数据可以包含图像区域的颜色值，例如，像素、块等。
颜色值与其所表示的颜色之间的映射由表达颜色值的颜色空间决定。示例颜色空间包括RGB、YUV、YCbCr等。因此，例如，以RGB颜色空间表达的颜色值包含红色分量、绿色分量和蓝色分量；以YCbCr表达的颜色值包含亮度分量(Y)和两个色度分量(Cb和Cr)。
图1示出了RGB颜色空间和YCbCr颜色空间之间的关系的示意图。在102处示出了可以在RGB颜色空间中表示的可能颜色的范围(称为RGB色域)。参考图1可以看出，如果使用不同的颜色空间描述颜色，则单个颜色可以由不同的颜色值表示。例如，与颜色以YCbCr空间表达时相比，当以RGB颜色空间表达时，颜色值104可以具有不同的颜色值。
在数字图像处理期间，可以根据正在执行的处理操作的类型来操纵描述图像颜色的颜色值。示例处理操作包括改变图像的亮度(例如，在线性操作或诸如Gamma校正之类的非线性操作中)或过滤图像。数字图像处理的困难在于，操纵颜色值以实现期望的效果有时会导致不希望的颜色失真。
例如，当以某些颜色空间(例如RGB和YCbCr)表达颜色数据时，改变亮度值可能导致颜色饱和度的损失。参考图1，例如，应当理解，改变亮度值Y使得颜色值(例如值104)在RGB颜色空间内移动，可能改变图像的相应区域的颜色。
过滤图像也可能产生失真。用于过滤图像的一类滤波器是中值滤波器。在中值滤波的一个示例中，窗口逐像素地移动通过图像，并且像素的值被窗口内的像素的中值替换。将中值滤波器应用于RGB图像(即具有以RGB空间表达的颜色数据的图像)的R、G和B信道可能导致图像中的亮度信息的大量丢失。这是因为RGB颜色空间不提供将图像的亮度与其色度分离的方法。将中值滤波器应用于YCbCr图像的色度信道使得能够保持亮度信息，但可能导致图像的较暗颜色变得过饱和并且较浅的颜色欠饱和。
某些颜色空间确实能够在亮度变化期间保持图像的颜色饱和度。这种颜色空间的示例包括HSL(色调、饱和度、亮度)和HSV(色调、饱和度、值)。然而，这些颜色空间表示极坐标中的颜色值。这可能使得过滤操作困难，通常涉及直线颜色空间(例如RGB)的转换。
发明内容
根据本公开，提供了一种在图像处理器中处理图像的图像数据的方法，该方法包括：接收图像数据，其中，图像数据包括以第一颜色空间表达的颜色数据；将颜色数据转换为亮度标准化(luminance-normalised)颜色空间；以及对经转换的颜色数据执行一个或多个图像处理操作以生成经处理的图像数据。
该方法还可以包括将经处理的图像数据转换为第一颜色空间。
亮度标准化颜色空间可以是亮度标准化亮度-色度颜色空间。
亮度标准化亮度-色度颜色空间可以包括：亮度分量、第一亮度标准化色度分量和第二亮度标准化色度分量。
色度分量可以取决于亮度。
亮度标准化亮度-色度颜色空间可以是YCbCr颜色空间的亮度标准化版本。
亮度标准化颜色空间可以具有分量：Y＝KRR+KgG+KBB； 其中，R、G和B分别是红色、绿色和蓝色分量，Y是亮度，和是亮度标准化色度，并且KR、Kg、KB、NR和NB是常数。
亮度标准化颜色空间可以具有分量：Y′＝KRR′+KgG′+KBB′； 其中，R′、G′、B′分别是伽马校正的红色、绿色和蓝色分量，Y′是伽马校正的亮度，和是亮度标准化色度分量，并且KR、Kg、KB、NR和NB是常数。
颜色数据可以以RGB颜色空间表达并且是定点格式，并且将颜色数据转换为亮度标准化颜色空间的步骤可以包括对颜色数据执行以下转换：
Y←(kRR+kGG+kBB+2o-1)2-o
其中，kR＝int(2oKR)，kG＝int(2oKG)，kB＝2o-kR-kG，并且o和p是指定整数值。
颜色数据可以以RGB颜色空间表达并且是定点格式，并且将颜色数据转换为亮度标准化颜色空间的步骤可以包括对颜色数据执行以下转换：
Y′←(kRR′+kGG′+kBB′+2o-1)2-o
其中，kR＝int(2oKR)，kG＝int(2oKG)，kB＝2o-kR-kG，o和p是指定整数值，并且R′、G′和B′分别是伽马校正的红色、绿色和蓝色分量。
颜色数据可以包括一组n位RGB颜色值，并且经转换的颜色数据可以包括各自具有m位和值的一组颜色值，其中，m≥n。
在一些示例中，m≥n+6。
在一些示例中，kR＝kG＝kB＝1，Nr＝Nb＝1，o＝1。
颜色数据可以包括一组n位RGB颜色值，并且经转换的颜色数据可以包括各自具有m位和值的一组颜色值，其中，m＝n+1。
一个或多个处理操作可以包括将伽马校正应用于经转换的颜色数据的亮度信道。
一个或多个处理操作可以包括过滤经转换的颜色数据的亮度标准化色度信道。
一个或多个处理操作可以包括确定核心内的像素的多个亮度标准化色度值的中值。
将颜色数据转换为亮度标准化颜色空间可以包括执行除法操作以将像素的一个或多个色度值除以像素的亮度值。
可以使用CORDIC算法来实现除法运算，其中，基于亮度标准化颜色空间中可能的亮度标准化色度值的范围来确定所执行的CORDIC算法的迭代次数。
根据本公开的第二方面，提供了一种用于处理图像的图像数据的装置，其中，图像数据包括以第一颜色空间表达的颜色数据，该装置包括：转换单元，被配置为将颜色数据转换到亮度标准化颜色空间；以及一个或多个处理单元，被配置为对经转换的颜色数据执行一个或多个处理操作以生成经处理的图像数据。
该装置还可以包括第二转换单元，被配置为将经处理的图像数据转换到第一颜色空间。
亮度标准化颜色空间可以是亮度标准化亮度-色度颜色空间。
亮度标准化亮度-色度颜色空间可以包括：亮度分量、第一亮度标准化色度分量和第二亮度标准化色度分量。
色度分量可以取决于亮度。
亮度标准化亮度-色度颜色空间可以是YCbCr颜色空间的亮度标准化版本。
亮度标准化颜色空间可以具有分量：Y＝KRR+KgG+KBB； 其中，R、G和B分别是红色、绿色和蓝色分量，Y是亮度，和是亮度标准化色度分量，并且KR、Kg、KB、NR和NB是常数。
亮度标准化颜色空间可以具有分量：Y′＝KRR′+kgG′+KBB′； 其中，R′、G′、B′分别是伽马校正的红色、绿色和蓝色分量，Y′是伽马校正的亮度，和是亮度标准化色度，并且KR、Kg、KB、NR和NB是常数。
颜色数据可以以RGB颜色空间表达并且是定点格式，并且转换单元可以被配置为将以下转换应用于颜色数据以将颜色数据转换为亮度标准化颜色空间：
Y←(kRR+kGG+kBB+2o-1)2-o
其中，kR＝int(2oKR)，kG＝int(2oKG)，kB＝2o-kR-kG，并且o和p是指定整数值。
颜色数据可以以RGB颜色空间表达并且是定点格式，并且转换单元可以被配置为将以下转换应用于颜色数据以将颜色数据转换为亮度标准化颜色空间：
Y′←(kRR′+kGG′+kBB′+2o-1)2-o
其中，kR＝int(2oKR)，kG＝int(2oKG)，kB＝2o-kR-kG，o和p是指定整数值，并且R′、G′和B′分别是伽马校正的红色、绿色和蓝色分量。
颜色数据可以包括一组n位RGB颜色值，并且经转换的颜色数据可以包括各自具有和值的一组颜色值，转换单元被配置为输出m位和值，其中，m≥n。
在一些示例中，m≥n+6。
在一些示例中，kR＝kG＝kB＝1，Nr＝Nb＝1，o＝1。
颜色数据可以包括一组n位RGB颜色值，并且经转换的颜色数据可以包括各自具有和值的一组颜色值，转换单元被配置为输出m位和值，其中，m＝n+1。
一个或多个处理单元可以包括校正单元，被配置为将伽马校正应用于经转换的颜色数据的亮度信道。
一个或多个处理单元可以包括过滤单元，被配置为过滤经转换的颜色数据的亮度标准化色度信道。
一个或多个处理单元中的至少一个处理单元可以被配置为执行处理操作，包括确定核心内的像素的多个亮度标准化色度值的中值。
转换单元可以被配置为执行除法运算以将像素的一个或多个色度值除以像素的亮度值，作为将颜色数据转换为亮度标准化颜色空间的一部分。
转换单元可以被配置为使用CORDIC算法来实现除法运算，转换单元被配置为基于亮度标准化颜色空间中可能的亮度标准化色度值的范围来确定CORDIC算法的迭代次数。
根据本公开的第三方面，提供了一种用于处理图像的图像数据的系统，其中，图像数据包括以第一颜色空间表达的颜色数据，该系统包括：
第一设备，包括：
转换单元，被配置为将颜色数据转换为亮度标准化颜色空间；
一个或多个处理单元，被配置为对经转换的颜色数据执行一个或多个处理操作以生成经处理的图像数据；以及
通信单元，用于通过通信网络发送经处理的图像数据；以及
第二设备，包括：
一个或多个处理单元，被配置为对所接收的经处理的图像数据执行一个或多个处理操作以生成进一步处理的图像数据；以及
转换单元，被配置为将进一步处理的图像数据转换到与亮度标准化颜色空间不同的颜色空间。
可以根据上面概述的装置来配置第一和第二设备中的一者或两者。
根据本文的示例的装置可以在集成电路上以硬件实现。
可以提供一种使用集成电路制造系统来制造根据本文的示例的装置的方法。
可以提供一种集成电路定义数据集，当在集成电路制造系统中被处理时，该集成电路定义数据集配置系统来制造根据本文的示例的装置。
可以提供一种非暂态计算机可读存储介质，其上存储有集成电路的计算机可读描述，当在集成电路制造系统中被处理时，该集成电路的计算机可读描述使得集成电路制造系统制造根据本文的示例的装置。
可以提供一种集成电路制造系统，其被配置为制造根据本文的示例的装置。
可以提供一种集成电路制造系统，包括：
非暂态计算机可读存储介质，其上存储有计算机可读集成电路描述，该计算机可读集成电路描述描述了根据本文的示例的装置；
布局处理系统，被配置为处理集成电路描述，以便生成体现该装置的集成电路的电路布局描述；以及
集成电路生成系统，被配置为根据电路布局描述来制造该装置。
可以提供一种被配置为执行本文的任何方法的装置。
可以提供用于执行如本文所述的方法的计算机程序代码。
可以提供一种非暂态计算机可读存储介质，其上存储有计算机可读指令，当在计算机系统上被执行时，该计算机可读指令使得计算机系统执行如本文所述的方法。
附图说明
现在将参考附图以示例的方式描述本发明。在附图中：
图1示出了RGB颜色空间和YCbCr颜色空间之间的关系的示意图。
图2示出了用于对以亮度标准化颜色空间表达的图像颜色数据执行图像处理操作的图像处理器的示例。
图3示出了用于将图像的颜色数据转换为亮度标准化颜色空间并对转换数据执行处理操作的步骤的流程图。
图4示出了图2所示的用于在亮度标准化颜色空间中执行过滤操作的图像处理器的处理单元的示例。
图5示出了图2所示的用于在亮度标准化颜色空间中执行伽马校正的图像处理器的处理单元的示例。
图6示出了由发明人获得的示出伽马校正在各种颜色空间中的应用的一系列图像。
图7示出了由发明人获得的示出伽马校正在各种颜色空间中的应用的另一系列图像。
图8示出了由发明人获得的示出中值滤波器操作在各种颜色空间中的应用的一系列图像。
图9示出了用于对可以通过通信网络传送的以亮度标准化颜色空间表达的图像颜色数据执行图像处理操作的两个图像处理器的示例。
图10是集成电路制造系统的示意图。
具体实施方式
本公开涉及用于处理数字图像的技术。图像具有以第一颜色空间表达颜色数据，例如，RGB颜色空间。为了处理图像，首先转换图像的颜色数据以在亮度标准化颜色空间中表达颜色数据。然后对经转换的颜色数据(即以亮度标准化颜色空间表达的颜色数据)执行一个或多个图像处理操作。这些处理操作可以包括例如伽马校正、过滤(例如，用于颜色抗混叠的过滤)和/或确定核心内的像素的多个亮度标准化色度值的中值。例如，色度混叠滤波器(CAF)可以被实现为照相机流水线的一部分，并且可以用于减少像素值的色度分量中的混叠伪影。在已经执行处理操作之后，可选地将颜色数据转换到另一颜色空间。该另一颜色空间可以是第一颜色空间；即后处理颜色数据可以被转换回第一颜色空间。
亮度标准化的颜色空间可以是具有亮度分量以及第一和第二色度分量的亮度-色度颜色空间。色度分量自身可以取决于亮度。通过利用亮度来对该亮度-色度颜色空间的色度分量进行标准化，发明人发现所得到的亮度标准化亮度-色度颜色空间提供了比传统亮度-色度颜色空间(例如YCbCr、以及RGB颜色空间)更好的色度和亮度之间的分离。这进而允许执行图像处理操作(例如伽马校正或过滤)，同时减少图像中所引起的颜色失真的量。
CAF可以被配置为从像素的核心提取统计以便找到核心中像素的亮度标准化色度分量的重要表示值(例如，中值)。如果统计对于非高斯、非正常、多模态像素值分布是强健的，则证明该方法提供了益处。例如，统计可以由中值滤波器提供，但在其他示例中，统计可以通过其他方式提供。色度分量的标准化在中值计算中实现了较强的亮度不变性。可以在亮度标准化颜色空间中使用降低的精度来执行中值计算，以便从核心选择中值分量，并然后可以对所选择的中值色度值执行色度值的更高精度的标准化。
将颜色数据转换到亮度标准化颜色空间可以包括执行除法运算以将像素的一个或多个色度值(例如，Cb和/或Cr)除以像素的亮度值(例如，Y)。可以使用坐标旋转数字计算机(CORDIC)算法来实现除法运算，其中，基于亮度标准化颜色空间中可能的亮度标准化色度值的范围来确定所执行的CORDIC算法的迭代次数。CORDIC是一种可以用于实现诸如除法之类的计算的已知算法。例如，CORDIC算法可以仅使用移位和加法/减法运算来迭代地执行除法运算。随着所执行的CORDIC算法的迭代次数增加，结果中的精度位数增加。可能的亮度标准化色度值(即Cb/Y和Cr/Y)的范围相对于可能的非标准化色度值(即Cb和Cr)的范围受到约束(即小于)。因此，通过标准化来减少表示全范围色度值所需的位数。通过根据标准化值中所需的精度位数设置所执行的迭代次数来优化CORDIC算法的效率。可以实现的CORDIC算法的效率增益取决于所使用的特定颜色空间。例如，在BT.2020颜色空间中，亮度标准化Cb范围是-0.5到7.2，并且亮度标准化Cr范围是-0.6到1.8。可以相应地设置为标准化Cb和Cr值而执行的CORDIC的迭代次数。具体地，对于标准化Cb和Cr值迭代次数可以不同。标准化Cb值的值的范围大于标准化Cr值的值的范围，使得Cb的标准化可以包括比Cr的标准化更多的迭代。
下面描述如何将颜色数据转换为亮度标准化颜色空间的示例。由发明人生成的并且与现有颜色空间相比展现减少的失真的亮度标准化颜色空间中的处理图像的示例也被包括在附图中。
图2示出了图像处理器200的示例。图像处理器包括第一转换单元202、一组处理单元2041、2...n和第二转换单元206。第一转换单元202的输出被耦合到每个处理单元204的输入。每个处理单元的输出被耦合到第二转换单元206的输入。图像处理器可以包括任何适当数目的处理单元204。在一些示例中，图像处理器包括单个处理单元204；在其他示例中，图像处理器包括多个处理单元(即n≥1)。图2示出了被并行布置的处理单元2041至204n，而在一些其他示例中，一些或所有处理单元可以被串联布置在图像处理器中。
现在将参考图3中的流程图来描述图像处理器200的操作。
在步骤302处，图像处理器200接收图像的数据。该图像例如可以是(例如由图形流水线渲染的)图形图像，或者是由照相机捕获的图像。图像可以由以n×m阵列布置的多个像素形成。图像数据可以由处理器200的输入接口(图2中未示出)接收。
图像数据包括图像的颜色数据。颜色数据可以包括指示图像的多个区域中的每个区域处的颜色的一组颜色值。颜色数据例如可以指示图像的每个像素的颜色。更一般地，颜色数据可以指示图像的每个像素块的颜色，其中每个像素块包含一个或多个像素。图像数据可以是压缩或解压缩格式。例如，可以通过以每块分辨率(其中每个块包含多个像素)而不是每像素分辨率存储颜色数据来压缩图像数据。作为另一示例，可以通过以较低精度存储颜色数据来压缩图像数据(例如，使用减少的位数)。如从下面的描述将明显的，本文描述的技术适用于各种图像数据和颜色数据类型和格式。
颜色数据以第一颜色空间表达。也就是说，颜色数据的颜色值使用第一颜色空间的颜色分量来描述图像的颜色。在该示例中，第一颜色空间是具有红色(R)、绿色(G)和蓝色(B)分量的RGB颜色空间。因此，颜色数据的每个颜色值包括红色、绿色和蓝色分量值。
在步骤304处，第一转换单元202将图像的颜色数据转换到亮度标准化颜色空间。也就是说，转换单元202对颜色数据应用转换以便以亮度标准化颜色空间表达颜色数据。以亮度标准化颜色空间表达的颜色数据在本文可以称为经转换的颜色数据。因此，经转换的颜色数据可以包括指示图像的相应区域(例如像素块)处的颜色的一组颜色值，但其中，每个颜色值以亮度标准化颜色空间表达。
亮度标准化颜色空间可以是亮度标准化亮度-色度颜色空间。也就是说，颜色数据被转换到的颜色空间可以是已经被亮度标准化的亮度-色度颜色空间。亮度-色度颜色空间可以包括亮度分量；第一色度分量和第二色度分量。色度分量自身可以取决于亮度。
亮度-色度颜色空间可以被亮度标准化，使得亮度标准化颜色空间包括亮度分量以及第一和第二亮度标准化色度分量。也就是说，仅色度分量可以被亮度标准化。因此，在由转换单元202进行转换之后，每个颜色值包括亮度分量，以及第一和第二亮度标准化色度分量。因此，经转换的颜色数据的每个颜色值使用亮度值、第一亮度标准化色度值和第二亮度标准化色度值来描述图像的颜色。
亮度-色度颜色空间例如可以是YCbCr颜色空间，其中，Y是亮度，Cb是第一色度分量(可以称为蓝色色度分量)并且Cr是第二色度分量(可以称为红色亮度分量)。YCbCr颜色空间具有分量Y、Cb和Cr，它们可以根据下式从RGB颜色空间中的颜色值的R、G和B分量确定：
Y＝KRR+KGG+KBB
亮度标准化颜色空间可以被表示为YCbCr/Y，其包括颜色分量：Y；Cb/Y和Cr/Y。因此，亮度标准化颜色空间可以具有分量Y、和其中：
Y＝KRR+KGG+KBB (1)
其中，Y表示亮度，表示第一亮度标准化分量(即)，表示第二亮度标准化分量并且KR、KG、KB、Nr和Nb是常数。常数可以由适当的ITU标准来定义，例如，ITU-R BT.2020；ITU-R BT.601；ITU-R BT.709等。
因此，如果输入颜色数据包括一组RGB颜色值(即每个颜色值包括R、G和B分量值)，则转换单元202可以将转换应用于该颜色数据，使得在转换之后，每个颜色值包括Y分量值、分量值和分量值(即每个颜色值是颜色值)。
尽管亮度标准化颜色空间的亮度分量已经被表示为指示未经过伽马校正的颜色值的“Y”，但应理解，上述转换类似地适用于已经被伽马校正的颜色数据。对于伽马校正颜色数据，亮度标准化颜色空间可以包括颜色分量：
Y′＝KRR′+KGG′+KBB′ (4)
这里，R′、G′和B′表示经伽马校正的R、G和B组分。
将理解，与传统的亮度-色度颜色空间YCbCr相比，亮度标准化亮度-色度颜色空间包含由亮度值Y或Y′标准化的色度分量。与YCbCr颜色空间和诸如RGB之类的其他颜色空间相比，这提供了颜色和亮度之间的改善的分离，使得能够以改善的颜色保持来操纵亮度值。这将在下面更详细地解释。
经转换的颜色数据(即以亮度标准化颜色空间表达的颜色数据)从转换单元被输出到一个或多个处理单元204。
在步骤306处，一个或多个处理单元204对经转换的颜色数据执行一个或多个处理操作以生成经处理的图像数据。处理操作可以是图像处理操作。处理操作例如可以是图像过滤操作，例如，中值滤波操作。例如，过滤操作可以是色度过滤操作，其中，过滤图像的亮度标准化色度信道。图4示出了用于执行色度过滤操作的处理单元204的示例。出于说明的目的，所选择的处理单元是单元2041。
处理单元2041被配置为对转换图像颜色数据执行色度过滤操作。因此，在该示例中，处理单元204是过滤单元的示例。
处理单元2041包括数据解构器402，其被配置为接收转换图像颜色数据，在该示例中，该转换图像颜色数据是以亮度标准化YCbCr空间表达的颜色数据，被表示为YCbCr/Y。数据解构器402被配置为将经转换的颜色数据分离成其组成分量，在该示例中，这些组成分量是亮度分量Y、第一亮度标准化色度分量Cb/Y和第二亮度标准化色度分量Cr/Y。经转换的颜色数据的亮度分量可以对应于输入到图像处理器200中的图像的亮度信道。同样，经转换的颜色数据的第一亮度标准化色度分量Cb/Y可以对应于图像的亮度标准化蓝色色度信道；并且经转换的颜色数据的第二亮度标准化色度分量Cr/Y可以对应于图像的亮度标准化红色色度信道。
将颜色数据的亮度标准化色度分量Cb/Y输入到第一色度过滤单元404。过滤单元404进行操作以例如使用中值滤波器来过滤数据的Cb/Y分量。在一些示例中，过滤单元404可以包括多个中值滤波器，其中，每个中值滤波器使用不同的窗口大小来执行其过滤操作。在这种情况下，可以混合两中值滤波器的输出(例如，在每个像素的基础上)。使用多个中值滤波器来过滤色度信道对于高效地过滤信道可能是有利的。例如，与具有较小窗口尺寸的滤波器相比，具有较大窗口的滤波器在防止图像的垂直和/或水平分辨率损失方面可能更高效，但缺点是它们对图像细节具有更大的破坏性影响。通过混合具有不同窗口大小的两个(或更多个)中值滤波器的输出，可以根据图像的相应部分的特征来控制每个滤波器对混合输出的贡献。
颜色数据的亮度标准化色度分量Cr/Y被输入到第二色度过滤单元408。过滤单元408进行操作以例如使用中值滤波器来过滤数据的Cr/Y分量。类似于过滤单元404，过滤单元408可以包括具有不同窗口尺寸的一个或多个中值滤波器。在单元408包括多个中值滤波器的情况下，每个中值滤波器的输出可以在每个像素或每个块的基础上被混合。
在该示例中，处理单元2041不过滤数据Y的亮度分量。
过滤蓝色色度数据(表示为(Cb/Y)f)可选地从过滤单元404被输出到第一α混合单元406，其进行操作来将α(即透明度)值应用于过滤色度分量(Cb/Y)f的每个值。然后将第一α混合单元406的输出输入到数据构造器412中。
在其他示例中，处理单元2041可以不包括第一α混合单元406，并且来自第一色度过滤单元404的输出可以被直接输入到数据构造器412中。
类似地，颜色数据的过滤红色色度数据(表示为(Cr/Y)f)可选地从过滤单元408被输出到第二α混合单元410，其进行操作来将α值应用于过滤色度分量(Cr/Y)f的每个值。然后将第二α混合单元410的输出输入到数据构造器412中。
同样，在其他示例中，处理单元2041可以不包括第二α混合单元410，并且来自第二色度过滤单元408的输出可以被直接输入到数据构造器412中。
数据构造器412接收经转换的颜色数据的亮度分量Y和两个过滤色度分量(Cb/Y)f和(Cr/Y)f，并组合这些数据分量以输出经处理的图像颜色数据。因此，经处理的图像颜色数据(在该示例中)包含亮度分量、过滤亮度标准化红色色度分量(Cr/Y)f和过滤亮度标准化蓝色色度分量(Cb/Y)f，并且被表示为(YCbCr/Y)f。
可以由一个或多个处理单元204执行的其他类型的图像处理操作包括亮度操纵操作，其中，操纵经转换的颜色数据的亮度分量的值。亮度操纵操作的示例是伽马校正。伽马校正可以涉及将幂律函数应用于转换图像颜色数据的亮度分量。亮度标准化色度分量可以不受伽马校正的影响(即那些分量未由幂律修改)。
图5示出了用于应用伽马校正的处理单元204的示例。该处理单元被表示为2042。
处理单元2042包括数据解构器502，其被配置为接收转换图像颜色数据，在该示例中，该转换图像颜色数据也是以在亮度标准化YCbCr空间表达的颜色数据，表示为YCbCr/Y。数据解构器502将经转换的颜色数据分离成其组成分量，在该示例中，这些组成分量也是亮度分量Y、第一亮度标准化色度分量Cb/Y和第二亮度标准化色度分量Cr/Y。
经转换的颜色数据的亮度分量被输入到伽马校正器单元504。伽马校正器单元504被配置为对每个亮度值(即每个颜色值的亮度分量)应用幂律函数。具体地，校正器单元504可以应用幂律函数来生成伽马校正亮度分量Y′，其中，Y′＝Yγ并且γ是数值参数。典型值为γ＝1/2.2。当然，γ的其他值也是可能的。
伽马校正亮度分量从单元504输出并被输入到数据构造器506中。
亮度标准化色度分量Cr/Y和Cb/Y在该示例中不被处理，并且从数据解构器被直接输入到数据构造器中。
数据构造器506接收伽马校正亮度分量Y′和亮度标准化色度分量Cb/Y和Cr/Y，并组合这些分量以输出经处理的图像颜色数据。在该示例中，经处理的图像颜色数据因此包含伽马校正亮度分量(Y′)，亮度标准化蓝色色度分量(Cb/Y)和亮度标准化红色色度分量(Cr/Y)，并且被表示为Y'CbCr/Y。
图像处理器200可以包括处理单元2041和2042两者。例如，可以在过滤亮度标准化色度分量的同时对经转换的颜色数据的亮度分量Y进行伽马校正。也就是说，处理单元2041和2042可以并行操作以并行处理亮度分量和亮度标准化色度分量。
在另一布置中，处理单元2041和2042两者的功能可以被集成在单个处理单元中。也就是说，处理单元可以包括：伽马校正器单元(例如单元504)；第一过滤单元(例如单元404)和第二过滤单元(例如单元408)。该处理单元可以可选地包括第一和第二α混合单元(例如单元406和410)。
与在诸如RGB和YCbCr之类的传统颜色空间中执行操作相比，在亮度标准化颜色空间中执行图像处理操作可以提供质量改善的图像。这是因为亮度标准化颜色空间(例如YCbCr/Y)可以在亮度值的操纵下(例如在伽马校正期间)和在图像内的强亮度边界附近的图像过滤下提供改善的颜色保持。通过对亮度-色度颜色空间的色度分量进行亮度标准化，经转换的颜色数据对色度值的相对比例进行编码，而不是如在传统YCbCr颜色空间中相对于色度差分地对颜色进行编码。
现在将参考图6至图8描述由发明人获得的一系列图像，其示出了在亮度标准化颜色空间中执行图像处理操作的图像处理器的改进性能。
图6示出了由发明人获得的第一示例系列图像。图像601示出了从照相机获得的非伽马校正图像。图像601具有线性辐射强度标度。图像603、605和607示出了在具有γ＝1/2.2的γ值的伽马校正之后的同一图像。图像603示出了在RGB颜色空间中将伽马校正应用于图像601之后的图像(即将伽马校正应用于以RGB颜色空间表达的图像601的颜色数据)。图像605示出了在YCbCr颜色空间中将伽马校正应用于图像601的亮度信道之后的图像(即将伽马校正应用于以YCbCr颜色空间表达的图像601的颜色数据的亮度分量)。最后，图像607示出了在亮度标准化颜色空间YCbCr/Y中将伽马校正应用于图像601的亮度信道之后的图像。可以看出，与图像603和605相比，图像607表现出改善的颜色保持和较少的去饱和度。
图7示出了另一系列图像，其展示了亮度标准化颜色空间中的伽马校正之后的改善的图像质量。源图像在701处被示出。源图像是线性强度图像。在703、705和707处示出了伽马校正之后的同一图像。图像703示出了将伽马校正应用于R、G和B信道中的每一个之后的图像。图像705示出了将伽马校正应用于具有以传统YCbCr颜色空间表达的颜色数据的图像701的亮度信道之后的图像。图像707示出了将伽马校正应用于具有以亮度标准化颜色空间YCbCr/Y表达的颜色数据的图像701的亮度信道之后的图像。可以看出，与图像707相比，图像703和705遭受颜色饱和度的损失，进一步说明了亮度标准化颜色空间YCbCr/Y如何跨亮度变化更好地保持颜色饱和度。
图8示出了由发明人获得的另一系列图像。输入(源)图像在801处示出。中值过滤之后的同一图像在803、805和807处示出。图像803示出了在对R、G和B信道中的每一个应用中值过滤之后的图像(即将中值过滤应用于源图像的颜色数据的R、G和B分量)。由于RGB颜色空间未不提供分离亮度和颜色的方式，因此过滤图像导致相对大的亮度信息损失。图像805示出了在将中值过滤应用于具有以传统YCbCr颜色空间表达的颜色数据的图像的色度信道Cr和Cb之后的图像。可以看出，与图像803相比，图像805保留图像中的亮度信息，但导致图像的较暗区域的颜色过饱和并且图像的较亮区域的颜色欠饱和。图像807示出了在将中值过滤应用于具有以亮度标准化颜色空间YCbCr/Y表达的颜色数据的图像的亮度标准化色度信道之后的图像。可以看出，图像807保持了亮度信息。此外，由于亮度标准化颜色空间将亮度信息(亮度)与颜色信息(色度)分离，因此图像的颜色饱和度不受亮度变化的影响。
上述示例用于说明通过在亮度标准化颜色空间中执行图像处理操作而带来的图像质量的潜在改进。
参考回图2，经处理的图像颜色数据从处理单元204被输出到第二转换单元206中。
在步骤308处，第二转换单元206将经处理的图像数据转换到另一图像颜色空间。也就是说，第二转换单元转换经处理的图像颜色数据以便以另一颜色空间表达该数据。
在一个示例中，转换单元206进行操作以将经处理的图像颜色数据转换回第一颜色空间(即回到表示输入图像颜色数据的颜色空间)。也就是说，转换206可以进行操作来将逆转换应用于由转换单元202应用的转换。
例如，第二转换单元206可以将经处理的图像颜色数据转换为RGB颜色空间。如果第一转换单元202根据等式(1)-(3)将输入图像的颜色数据转换到亮度标准化颜色空间YCBCr/Y，则第二转换单元206可以通过应用以下转换来将处理颜色数据转换回RGB颜色空间：
在输入图像的颜色数据被伽马颜色校正的情况下，转换单元206可以应用类似的转换(即对于由等式(4)、(5)和(6)指示的转换的逆转换)。
转换单元206对处理颜色数据进行转换的颜色空间可以根据实现方式而变化。例如，如果经处理的图像数据将用于图像压缩，则转换单元206可以将处理颜色数据转换到传统的YCbCr颜色空间，这可以使得数据能够通过例如色度子采样来进行压缩。在另一示例中，色度子采样可以被应用于YCbCr/Y颜色空间中的图像数据。当在解压缩时重建全分辨率图像时，这种方法方便地利用亮度标准化。
作为另一示例，如果要输出经处理的图像数据用于显示(例如，在监视器上)或用作图形处理流水线的一部分，则可以将处理颜色数据转换为RGB颜色空间。
在实际实现方式中，图像处理器200的组件(例如，转换单元202、206和/或处理单元204)可以是定点(即整数)系统。也就是说，处理器200的组件可以被配置为对定点数据进行操作。
给定初始n位RGB颜色数据(即每个颜色值是使用n位表达的RGB颜色值)，为了确定定点数据的精度，首先考虑亮度标准化颜色空间YCbCr/Y中的值范围。如果每个颜色值是n位，则从等式(1)得出亮度Y的值范围是：
Y∈[0，2n-1] (10)
参考等式(2)，可以看出，当R＝0时，出现的最小值。通过关于R重新排列等式(1)并代入等式(2)，的表达式变成：
可以看出，当G＝B＝0时，出现的最大值，由此得出的值范围是：
类似地，可以发现的范围是：
等式(1)至(3)所示的转换可以通过定义以下参数来进行修改以用于定点数据表示：
kR＝int(2oKR) (14)
kG＝int(2oKG) (15)
kB＝2o-kR-kG (16)
这里，o和p是整数参数，并且int()是向下舍入到最接近的整数的函数。
然后，转换单元202可以将以下转换应用于输入颜色数据的颜色值：
Y←(kRR+kGG+kBB+2o-1)2-o (19)
在等式(19)中，项2o-1是舍入项。乘以2-o反转从如在等式(14)、(15)和(16)中定义的kR、kG、kB的总和引入的缩放。针对特殊情况Y＝0，分别用代替等式(20)和(21)。
因此，适于对定点数据进行操作的转换单元202可以使用在等式(19)至(21)中指定的转换将输入图像的颜色数据转换到亮度标准化颜色空间。
等式(19)至(21)给出了定点格式的以下值范围：
Y∈[0，2n-1] (22)
然后可以选择o和p的值，以便保持亮度标准化颜色空间中的色度数据所需的计算精度。为简单起见，最大RGB值此后为2n，而不是2n-1。可以根据颜色数据的输出精度，以及解决亮度标准化色度中的最小变化所需的精度来确定o和p的适当值。
亮度数据的输出精度可以保持在与RGB数据相同的精度。色度数据的输出精度m(即以定点格式精确地表示色度数据所需的位数)可以根据和的最大值被确定为：
其中，c是具有最小K的信道，并且值‘+1’适应符号位。
例如，使用ITU-R BT.2020标准中指定的转换常数的值，m＝p+5。
因此，图像处理器200的单元可以被配置为输出具有m＝p+5位的精度的色度值，其中，p是取决于可以被选择以防止量化损失的实现方式的指定整数。
现在考虑色度分辨率，注意，当亮度处于其最大值时，由于RGB值的最小变化(例如±1)而导致的亮度标准化色度的变化被最小化(因为亮度在亮度标准化色度的表达式的分母中)。当R＝G＝B＝2n时，亮度处于最大值(此时色度等于零)。色度的最小变化是通过将B递减1，即通过设置B＝2n-1来实现的。因此，可以通过用Y≈R＝G＝2n和B＝2n-1评估等式(21)来确定亮度标准化色度的最小增量变化。数学上，亮度标准化色度的最小变化的幅度可以被表示为：
从等式(26)得出，为了使用整数运算来使得色度为非零，2pN-1≥2n，并且因此：
p-log2 N≥n (27)
通常，ITU标准定义了转换常数，使得1≤Nr，Nb≤2，并且因此，log2N可以向上舍入为“1”。由此可见，解析亮度标准化色空间中的所有色度值的要求是：
p≥n+1 (28)
上面确定了对于由ITU-R BT.2020规定的转换常数，m＝p+5。为了保持全色度分辨率：
m≥n+6 (29)
等式(29)表明，不可能使用用于指定输入图像的每个RGB颜色值的相同位数来保持全色度分辨率。因此，处理器200的组件可以被配置为输出具有m位精度的色度数据，其中，m>n，并且在一些示例中，m≥n+6，其中，n是用于指定输入图像的每个颜色值的位数。这样做可以保持全色度分辨率。然而，根据应用，色度精度的一些损失可能是可以接受的以减少系统成本。已经认识到，人类视觉系统对于色度细节的损失可能相对不敏感。因此，在一些应用中，引起色度精度的一些损失以减少系统成本可能是有利的。因此，在其他示例中，处理器200的组件可以被配置为输出具有m’位精度的色度数据。m’的值可以等于n。在一些示例中，n≤m’<n+6。
还可以设置工作精度，其指定计算等式(19)至(21)的最小精度。因此，工作精度可以是转换单元202根据其进行操作的精度。在计算等式(19)、(20)、(21)时，转换单元202可以进行操作以在除法运算之前执行乘法运算。乘法器的精度是其操作数的精度之和。在除法运算之后，精度可以降低到输出精度。
因此，转换单元202的亮度工作精度(即转换单元202在计算等式(19)时的工作精度)可以由下式给出：n+o。
转换单元202的色度工作精度(即转换单元202在计算等式(20)和(21)时的工作精度)可以由下式给出：
将(例如，由处理单元204输出的)经处理的图像颜色数据转换回RGB颜色空间的逆转换是：
因此，转换单元(例如，第二转换单元206)可以进行操作以使用等式(30)至(32)中指定的转换将整数格式的经处理的图像数据转换回RGB颜色空间。
在另一布置中，图像处理器200(并且特别是转换单元202)可以被配置为使用该组转换参数kR＝kG＝kB＝1，Nr＝Nb＝1，o＝1来将输入图像的颜色数据转换到亮度标准化颜色空间YCbCr/Y。在这种情况下，转换单元202可以将以下定点转换应用于输入颜色数据：
Y←2-1(R+G+B+1) (34)
在该实现方式中，值范围被简化为：
Y∈[0，1.5(2n-1)] (37)
注意，该实现方式中的色度值范围可能特别适合于某些类型的硬件所支持的标准化整数数据类型。
考虑到该简化实现方式中的色度分辨率，我们也设置Y＝2n并且B或R＝Y-1＝2n-1，在这种情况下，色度转换变为：
C←-2p2-n (39)
其中，或
为了色度值在整数运算中不为零，可以得出：
2p≥2n (40)
∴p≥n (41)
使用等式(38)，色度值的输出精度m可以被指定为：
m＝log2 2p+1＝p+1 (42)
使用等式(41)，输出精度m因此可以被设置为m＝n+1(注意‘+1’代表符号位)。因此，与上述更一般的实现方式(其中m≥n+6)相比，该实现方式使得能够降低输出精度。
在该方式实现下，从YCbCr/Y到RGB的转换可以写为：
G←max(min((2Y-R-B)，2n-1)，0) (45)
因此，转换单元206可以被适配于使用在等式(43)至(45)中指定的转换将整数格式的经处理的图像颜色数据转换到RGB颜色空间。
将转换常数设置为相等(equal to unity)可能与任何广播标准(如ITU-R)都无关。然而，适配转换单元202(以及可选地转换单元206)来使用相等的转换常数对于图像处理器200到图像处理和/或计算机视觉的实现方式可能是有用的，因为与上述更一般的实现方式相比降低了输出精度。
在上述示例中，在图像处理器200处接收的输入颜色数据是RGB颜色数据，其被转换到亮度标准化YCbCr颜色空间YCbCr/Y。可以理解，输入颜色数据可以以其他类型的颜色空间来表达，例如，YCbCr、YUV、CMYK等。此外，亮度标准化颜色空间不需要是YCbCr/Y(或Y’CbCr/Y’)，而可以是一些其他类型的亮度-色度颜色空间(即包括亮度分量和一个或多个亮度标准化色度分量的一些其他类型的颜色空间)。例如，亮度标准化颜色空间可以是具有分量Y、U/Y、V/Y的YUV/Y。
在本文描述的示例中，将颜色数据转换到亮度标准化颜色空间、对经转换的颜色数据执行处理操作、以及将处理数据转换到另一颜色空间的步骤由单个图像处理器设备执行。在其他示例中，这些步骤可以被分布在多个处理设备上，例如，两个处理器设备。
图9示出了被配置为通过通信网络924进行通信的两个处理器设备900和902。网络924可以是有线网络和/或无线网络。设备900包括转换单元904；一个或多个处理单元(在该示例中，三个处理单元906、908、910)；以及通信单元912。
设备902包括通信单元914；一个或多个处理单元(在该示例中，三个处理单元916、918、920)；以及转换单元922。
转换单元904被配置为将图像的颜色数据转换到亮度标准化颜色空间(例如，如上面参考步骤304所述)。一个或多个处理单元906-910对经转换的颜色数据执行一个或多个图像处理操作以生成经处理的图像数据(例如，如上面参考步骤306所述)。在一个示例中，一个或多个处理操作包括压缩经转换的颜色数据。处理单元例如可以对经转换的颜色数据执行色度子采样以降低色度数据的分辨率。然后可以使用通信单元912通过网络924将压缩的经转换的颜色数据从设备900传送到设备902。通信单元912例如可以是发送器或收发器。
处理的经转换的颜色数据由通信单元914在设备902处接收。通信单元914例如可以是接收器或收发器。一个或多个处理单元916-920可以对所接收的转换数据执行一个或多个附加处理操作以生成进一步处理的数据。如果转换图像数据被设备900压缩，则一个或多个附加处理操作可以包括解压缩所接收的数据，例如，以重建具有全色度分辨率的转换图像数据(即色度数据被重建为其全分辨率)。转换块922将经处理的图像数据转换到另一图像颜色空间(例如，如上面参考步骤308所述)。
在其他示例中，设备900可以不包括任何处理单元(即转换图像数据的所有处理可以由设备902执行)；替代地，设备902可以不包括任何处理单元(即转换图像数据的所有处理可以由设备900执行)。
图2、图5-6和图9的图像处理器200和处理单元204被示出为包括多个功能块。这仅是示意性的，并且不旨在限定这些实体的不同逻辑元件之间的严格划分。可以以任何适当的方式提供每个功能块。应当理解，本文描述为由单元形成的中间值不需要在任何点由单元物理地生成，并且可以仅表示方便地描述由单元在其输入和输出之间执行的处理的逻辑值。
本文描述的图像处理器可以在集成电路上的硬件中实现。本文描述的图像处理器可以被配置为执行本文描述的任何方法。通常，上述的功能、方法、技术、或组件中的任何一者可以用软件、固件、硬件(例如，固定逻辑电路)或其任何组合来实现。本文可以使用术语“模块”、“功能”、“组件”、“元件”、“单元”、“块”和“逻辑”来总体地表示软件、固件、硬件、或其任何组合。在软件实现方式的情况下，模块、功能、组件、元件、单元、块、或逻辑表示在处理器上执行时执行指定任务的程序代码。本文所描述的算法和方法可以由执行使得(一个或多个)处理器执行算法/方法的代码的一个或多个处理器来执行。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪存、硬盘存储器、以及可以使用磁的、光学的、和其他技术来存储指令或其他数据并且可以被机器访问的其他存储器设备。
本文所使用的术语计算机程序代码和计算机可读指令是指用于处理器的任何种类的可执行代码，包括以机器语言、解释型语言、或脚本语言表达的代码。可执行代码包括二进制代码、机器代码、字节代码、定义了集成电路的代码(例如，硬件描述语言或网表)、以及以编程语言代码(例如C、Java或OpenCL)表达的代码。可执行代码可以是任何类型的软件、固件、脚本、模块、或库，它们例如当在虚拟机或其他软件环境中被适当地执行、处理、解释、编译、执行时使得在其处支持可执行代码的计算机系统的处理器执行由代码指定的任务。
处理器、计算机、或计算机系统可以是具有使得其可以执行指令的处理能力的任何种类的设备、机器、或专用电路、或其集合或其一部分。处理器可以是任何种类的通用或专用处理器，诸如CPU、GPU、片上系统、状态机、媒体处理器、专用集成电路(ASIC)、可编程逻辑阵列、可编程门阵列、现场可编程门阵列(FPGA)等。计算机或计算机系统可以包括一个或多个处理器。
还旨在包含定义本文所描述的硬件配置以用于设计集成电路或用于配置可编程芯片以执行期望功能的软件，例如，HDL(硬件描述语言)软件。也就是说，可以提供计算机可读存储介质，其上编码有集成电路定义数据集形式的计算机可读程序代码，其当在集成电路制造系统中被处理时将该系统配置为制造图形处理器，该图形处理器被配置为执行本文所描述的方法中的任一者，或者制造包括本文所描述的任何装置的图形处理器。集成电路定义数据集例如可以是集成电路描述。
可以提供一种在集成电路制造系统中制造如本文所述的图像处理器的方法。可以提供一种集成电路定义数据集，当在集成电路制造系统中被处理时，该集成电路定义数据集使得执行制造图像处理器的方法。
集成电路定义数据集可以是计算机代码的形式，例如，作为网表、用于配置可编程芯片的代码、作为定义任何级别的集成电路的硬件描述语言、包括作为寄存器传输级(RTL)代码、诸如Verilog或VHDL之类的高级电路表示、以及诸如OASIS(RTM)和GDSII之类的低级电路表示。逻辑上定义集成电路(例如，RTL)的较高级表示可以在被配置用于在软件环境的上下文中生成集成电路的制造定义的计算机系统处被处理，其中该软件环境包括电路元件的定义和用于将这些元件进行组合的规则以便生成由该表示定义的集成电路的制造定义。如通常在计算机系统处执行以定义机器的软件的情况那样，可能需要一个或多个中间用户步骤(例如，提供命令、变量等)以用于被配置用于生成集成电路的制造定义的计算机系统，以执行定义集成电路的代码从而生成该集成电路的制造定义。
现将参考图9描述在集成电路制造系统中处理集成电路定义数据集以便将系统配置为制造图像处理器的示例。
图10示出了被配置为制造如本文的任何示例中描述的图像处理器的集成电路(IC)制造系统1002的示例。具体地，IC制造系统1002包括布局处理系统1004和集成电路生成系统1006。IC制造系统1002被配置为接收IC定义数据集(例如，将图形处理器定义为在本文的任何示例中描述的那样)、处理IC定义数据集、并且根据IC定义数据集(例如，其实现本文的任何示例中描述的图像处理器)来生成IC。IC定义数据集的处理将IC制造系统1002配置为制造实现本文的任何示例中所描述的图像处理器的集成电路。
布局处理系统1004被配置为接收并处理IC定义数据集以确定电路布局。从IC定义数据集确定电路布局的方法是本领域中已知的，并且例如可以涉及合成RTL代码以确定要生成的电路的门级(gate level)表示，例如，就逻辑组件(例如，NAND、NOR、AND、OR、MUX和FLIP-FLOP组件)而言。通过确定逻辑组件的定位信息，可以从电路的门级表示来确定电路布局。这可以自动完成或者在用户参与下完成，以优化电路布局。当布局处理系统1004确定了电路布局时，它可以将电路布局定义输出到IC生成系统1006。电路布局定义可以是例如电路布局描述。
如现有技术中已知的，IC生成系统1006根据电路布局定义生成IC。例如，IC生成系统1006可以实施半导体器件制造工艺以生成IC，半导体器件制造工艺可以包括光刻和化学处理步骤的多步骤序列，在此期间，在由半导体材料制成的晶片上逐渐形成电子电路。电路布局定义可以是掩模的形式的，其可以在用于根据电路定义生成IC的光刻工艺中使用。替代地，提供给IC生成系统1006的电路布局定义可以是IC生成系统1006可用来形成用于生成IC的合适的掩模的计算机可读代码的形式。
由IC制造系统1002执行的不同处理可以全部在一个位置(例如，由一方)实现。替代地，IC制造系统1002可以是分布式系统，从而一些处理可以在不同位置执行，并且可以由不同方来执行。例如，可以在不同位置和/或由不同方来执行以下阶段中的一些：(i)合成表示IC定义数据集的RTL代码以形成要生成的电路的门级表示，(ii)基于门级表示生成电路布局，(iii)根据电路布局形成掩模，以及(iv)使用该掩模来制造集成电路。
在其他示例中，在集成电路制造系统处对集成电路定义数据集的处理可以将系统配置为在不需要对IC定义数据集进行处理以确定电路布局的情况下制造图像处理器。例如，集成电路定义数据集可以定义对诸如FPGA之类的可重新配置处理器的配置，并且对该数据集的处理可以将IC制造系统配置为生成具有该定义的配置的可重新配置处理器(例如，通过将配置数据加载到FPGA)。
在一些实施例中，集成电路制造定义数据集当在集成电路制造系统中被处理时可以使得集成电路制造系统生成本文所描述的设备。例如，以上文关于图10所描述的方式通过集成电路制造定义数据集进行的对集成电路制造系统的配置可使得本文所描述的设备被制造。
在一些示例中，集成电路定义数据集可以包括在数据集中定义的硬件上运行的软件或者与数据集中定义的硬件相结合的软件。在图10所示的示例中，IC生成系统还可以由集成电路定义数据集配置为在制造集成电路时根据在集成电路定义数据集中定义的程序代码将固件加载到集成电路上，或者以其他方式向集成电路提供程序代码以供与集成电路一起使用。
本文描述的图形处理系统可以在集成电路上的硬件中实现。本文描述的图形处理系统可以被配置为执行本文描述的任何方法。
与已知实现方式相比，本申请中在设备、装置、模块和/或系统(以及本文实现的方法)中阐述的概念的实现方式可以产生性能改进。性能改进可以包括增加的计算性能、减少的延迟、增加的吞吐量、和/或降低的功耗中的一个或多个。在这种设备、装置、模块和系统(例如集成电路)的制造期间，可以针对物理实现方式权衡性能改进，从而改进制造方法。例如，可以针对布局区域权衡性能改进，从而匹配已知实现方式的性能但使用较少的硅。例如，这可以通过以串行方式再使用功能块或在设备、装置、模块和/或系统的元件之间共享功能块来完成。相反，本申请中阐述的产生设备、装置、模块和系统的物理实现方式中的改进(例如减小的硅面积)的概念可以被权衡以提高性能。例如，这可以通过在预定义的区域预算内制造模块的多个实例来完成。
申请人在此独立地公开了本文所描述的每个单独的特征以及两个或更多个这样的特征的任何组合，使得这样的特征或组合能够基于本说明书(整体地)、根据本领域技术人员的公知常识被执行，而无论这样的特征或特征组合是否解决了本文所公开的任何问题。鉴于上文的描述，明显的是本领域技术人员可以在本发明的范围内进行各种修改。

Claims (20)

1.一种用于处理图像的图像数据的装置，其中，所述图像数据包括以第一颜色空间表达的颜色数据，所述装置包括：
转换单元，被配置为将所述颜色数据转换到亮度标准化颜色空间，所述亮度标准化颜色空间包括亮度分量、第一亮度标准化色度分量和第二亮度标准化色度分量；以及
一个或多个处理单元，被配置为在所述亮度标准化颜色空间中对经转换的颜色数据执行一个或多个处理操作以生成经处理的图像数据。
2.根据权利要求1所述的装置，其中，所述装置还包括第二转换单元，被配置为将所述经处理的图像数据转换到所述第一颜色空间。
3.根据权利要求1或2所述的装置，其中，所述色度分量取决于所述亮度。
4.根据权利要求1或2所述的装置，其中，所述亮度标准化颜色空间是亮度标准化版本的YCbCr颜色空间。
5.根据权利要求1或2所述的装置，其中，所述亮度标准化颜色空间具有分量：Y＝KRR+KgG+KBB；其中，R、G和B分别是红色、绿色和蓝色分量，Y是所述亮度分量，和是亮度标准化色度分量，并且KR、Kg、KB、NR和NB是常数。
6.根据权利要求1或2所述的装置，其中，所述亮度标准化颜色空间具有分量：Y′＝KRR′+KgG′+KBB′；其中，R′、G′、B′分别是伽马校正的红色、绿色和蓝色分量，Y′是伽马校正的亮度，和是亮度标准化色度，并且KR、Kg、KB、NR和NB是常数。
7.根据权利要求1所述的装置，其中，所述颜色数据以RGB颜色空间表达并且是定点格式，并且所述转换单元被配置为将以下转换应用于所述颜色数据以将所述颜色数据转换到所述亮度标准化颜色空间：
Y←(kRR+kGG+kBB+2o-1)2-o
其中，kR＝int(2oKR)，kG＝int(2oKG)，kB＝2o-kR-kG， 并且o和p是指定整数值。
8.根据权利要求1所述的装置，其中，所述颜色数据以RGB颜色空间表达并且是定点格式，并且所述转换单元被配置为将以下转换应用于所述颜色数据以将所述颜色数据转换到所述亮度标准化颜色空间：
Y'←(kRR'+KGG'+kBB'+2o-1)2-o
其中，kR＝int(2oKR)，kG＝int(2oKG)，kB＝2o-kR-kG， o和p是指定整数值，并且R′、G′和B′分别是伽马校正的红色、绿色和蓝色分量。
9.根据权利要求7或8所述的装置，其中，所述颜色数据包括一组n位RGB颜色值，并且所述经转换的颜色数据包括各自具有和值的一组颜色值，所述转换单元被配置为输出m位和值，其中，m≥n。
10.根据权利要求9所述的装置，其中，m≥n+6。
11.根据权利要求7或8所述的装置，其中，kR＝kG＝kB＝1，Nr＝Nb＝1，o＝1。
12.根据权利要求11所述的装置，其中，所述颜色数据包括一组n位RGB颜色值，并且所述经转换的颜色数据包括各自具有和值的一组颜色值，所述转换单元被配置为输出m位和值，其中，m＝n+1。
13.根据权利要求1或2所述的装置，其中，所述一个或多个处理单元包括校正单元，被配置为将伽马校正应用于所述经转换的颜色数据的亮度信道。
14.根据权利要求1或2所述的装置，其中，所述一个或多个处理单元包括过滤单元，被配置为过滤所述经转换的颜色数据的亮度标准化色度信道。
15.根据权利要求1或2所述的装置，其中，所述一个或多个处理单元中的至少一个处理单元被配置为执行处理操作，包括确定核心内的像素的多个亮度标准化色度值的中值。
16.根据权利要求1或2所述的装置，其中，所述转换单元被配置为执行除法运算以将像素的一个或多个色度值除以所述像素的亮度值，作为将所述颜色数据转换到亮度标准化颜色空间的一部分。
17.根据权利要求16所述的装置，其中，所述转换单元被配置为使用CORDIC算法来实现所述除法运算，所述转换单元被配置为基于所述亮度标准化颜色空间中可能的亮度标准化色度值的范围来确定所述CORDIC算法的迭代次数。
18.一种在图像处理器中处理图像的图像数据的方法，所述方法包括：
接收所述图像数据，其中，所述图像数据包括以第一颜色空间表达的颜色数据；
将所述颜色数据转换到亮度标准化颜色空间，所述亮度标准化颜色空间包括亮度分量、第一亮度标准化色度分量和第二亮度标准化色度分量；以及
在所述亮度标准化颜色空间中对经转换的颜色数据执行一个或多个图像处理操作以生成经处理的图像数据。
19.一种用于处理图像的图像数据的系统，其中，所述图像数据包括以第一颜色空间表达的颜色数据，所述系统包括：
第一设备，包括：
转换单元，被配置为将所述颜色数据转换到亮度标准化颜色空间，所述亮度标准化颜色空间包括亮度分量、第一亮度标准化色度分量和第二亮度标准化色度分量；
一个或多个处理单元，被配置为在所述亮度标准化颜色空间中对经转换的颜色数据执行一个或多个处理操作以生成经处理的图像数据；以及
通信单元，用于通过通信网络发送所述经处理的图像数据；以及
第二设备，包括：
一个或多个处理单元，被配置为在所述亮度标准化颜色空间中对所接收的经处理的图像数据执行一个或多个处理操作以生成进一步处理的图像数据；以及
转换单元，被配置为将所述进一步处理的图像数据转换到与所述亮度标准化颜色空间不同的颜色空间。
20.一种非暂态计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令在计算机系统处被执行时，使得所述计算机系统执行处理图像的图像数据的方法，包括：
接收所述图像数据，其中，所述图像数据包括以第一颜色空间表达的颜色数据；
将所述颜色数据转换到亮度标准化颜色空间，所述亮度标准化颜色空间包括亮度分量、第一亮度标准化色度分量和第二亮度标准化色度分量；以及
在所述亮度标准化颜色空间中对经转换的颜色数据执行一个或多个图像处理操作以生成经处理的图像数据。
CN201811005855.8A 2017-08-31 2018-08-30 亮度标准化颜色空间 Active CN109429050B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1713979.1A GB2566050B (en) 2017-08-31 2017-08-31 Luminance-normalised colour spaces
GB1713979.1 2017-08-31

Publications (2)

Publication Number Publication Date
CN109429050A true CN109429050A (zh) 2019-03-05
CN109429050B CN109429050B (zh) 2022-08-23

Family

ID=60050685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811005855.8A Active CN109429050B (zh) 2017-08-31 2018-08-30 亮度标准化颜色空间

Country Status (4)

Country Link
US (1) US11574387B2 (zh)
EP (1) EP3451294B1 (zh)
CN (1) CN109429050B (zh)
GB (1) GB2566050B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752532A (zh) * 2020-06-24 2020-10-09 上海擎昆信息科技有限公司 一种高精度实现32位整数除法的方法、系统及装置
CN115442576A (zh) * 2022-09-20 2022-12-06 深圳创景数科信息技术有限公司 一种布料识别设备的色彩校正方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
CN111212277B (zh) * 2020-01-12 2021-01-15 上海明殿文化传播有限公司 智能视频数据色调调整系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543820A (en) * 1992-08-14 1996-08-06 International Business Machines Corporation Method and apparatus for linear color processing
US20040085458A1 (en) * 2002-10-31 2004-05-06 Motorola, Inc. Digital imaging system
KR101685419B1 (ko) * 2011-05-04 2016-12-12 한화테크윈 주식회사 디지털 영상 처리 장치 및 방법
CN107113367A (zh) * 2015-01-09 2017-08-29 皇家飞利浦有限公司 具有颜色恒定性的亮度改变图像处理

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247366A (en) * 1989-08-02 1993-09-21 I Sight Ltd. Color wide dynamic range camera
US7809186B2 (en) * 2004-04-27 2010-10-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program thereof, and recording medium
DE602007007163D1 (de) * 2006-09-21 2010-07-29 Thomson Licensing Verfahren zur Umwandlung eines Farbenraumes mithilfe getrennter Suchtabellen für Farbe und Helligkeit
US8411206B2 (en) * 2007-12-27 2013-04-02 Texas Instruments Incorporated Apparatus and method for decoding extended color space data
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN106204474B (zh) * 2011-03-02 2019-05-03 杜比实验室特许公司 局部多等级色调映射运算器
KR101341616B1 (ko) * 2012-05-10 2013-12-13 중앙대학교 산학협력단 세부정보 추정에 의한 영상 개선 장치 및 방법
KR101621614B1 (ko) * 2014-06-30 2016-05-17 성균관대학교산학협력단 디지털 이미지 향상 방법 및 장치와, 이를 이용한 영상 처리 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543820A (en) * 1992-08-14 1996-08-06 International Business Machines Corporation Method and apparatus for linear color processing
US20040085458A1 (en) * 2002-10-31 2004-05-06 Motorola, Inc. Digital imaging system
KR101685419B1 (ko) * 2011-05-04 2016-12-12 한화테크윈 주식회사 디지털 영상 처리 장치 및 방법
CN107113367A (zh) * 2015-01-09 2017-08-29 皇家飞利浦有限公司 具有颜色恒定性的亮度改变图像处理

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752532A (zh) * 2020-06-24 2020-10-09 上海擎昆信息科技有限公司 一种高精度实现32位整数除法的方法、系统及装置
CN115442576A (zh) * 2022-09-20 2022-12-06 深圳创景数科信息技术有限公司 一种布料识别设备的色彩校正方法

Also Published As

Publication number Publication date
EP3451294B1 (en) 2021-06-09
GB201713979D0 (en) 2017-10-18
GB2566050A (en) 2019-03-06
US11574387B2 (en) 2023-02-07
CN109429050B (zh) 2022-08-23
US20190068841A1 (en) 2019-02-28
EP3451294A1 (en) 2019-03-06
GB2566050B (en) 2021-08-25

Similar Documents

Publication Publication Date Title
CN109429050A (zh) 亮度标准化颜色空间
EP3070925B1 (en) Color matching for imaging systems
TWI680674B (zh) 在位元流中將低動態範圍圖像之圖像／視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像／視訊格式以信號表示之方法及裝置
CN107409210A (zh) 匹配不同动态范围的彩色图片之间的色彩的方法和设备
US11546562B2 (en) Efficient and flexible color processor
EP2111714B1 (en) Fast filtered yuv to rgb conversion
US20170061843A1 (en) Image processing method and image processing apparatus
US11663743B2 (en) Image data decompression
US9444975B2 (en) Image sensor gamut mapping
US20190394438A1 (en) Image processing device, digital camera, and non-transitory computer-readable storage medium
KR100331839B1 (ko) 텔레비젼 영상 신호를 디코딩 하는 장치 및 방법
US12008791B2 (en) Image data compression
US20180139360A1 (en) Method and device for processing color image data representing colors of a color gamut
US20130195353A1 (en) Digital Image Color Correction
TWI523500B (zh) 影像的動態範圍壓縮方法與影像處理裝置
Liu et al. A fast algorithm for color space conversion and rounding error analysis based on fixed-point digital signal processors
US20230144311A1 (en) Detecting and mitigating artifacts related to high chromatic colors
CN109614064A (zh) 一种图片显示方法、图片显示装置及终端设备
CN110298783B (zh) 一种抠像方法及系统
JP2001197321A (ja) カラー画像処理方法並びに画像処理装置
CN111127363A (zh) 改善超广视角的图像处理方法、图像处理装置及存储介质
US20230222991A1 (en) Perceptual color enhancement based on properties of responses of human vision system to color stimulus
CN101505361B (zh) 影像处理装置及影像处理方法
Szedo Color-space converter: RGB to YCrCb
KR100602249B1 (ko) 영상 처리 장치 및 그 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant