CN104115481A - 光谱图像处理 - Google Patents

光谱图像处理 Download PDF

Info

Publication number
CN104115481A
CN104115481A CN201280064895.4A CN201280064895A CN104115481A CN 104115481 A CN104115481 A CN 104115481A CN 201280064895 A CN201280064895 A CN 201280064895A CN 104115481 A CN104115481 A CN 104115481A
Authority
CN
China
Prior art keywords
color value
color
input
value
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280064895.4A
Other languages
English (en)
Other versions
CN104115481B (zh
Inventor
W·吉什
C·J·沃格特
D·鲁霍夫
J·S·麦克艾尔维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN104115481A publication Critical patent/CN104115481A/zh
Application granted granted Critical
Publication of CN104115481B publication Critical patent/CN104115481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

合成基本上矩形的光谱表示,其被适配为或者(a)如果应用于图像捕获设备则产生图像捕获设备传感输出或者(b)如果应用于对应的分析函数则产生颜色值。利用合成的光谱表示实现可被用在各种图像处理方法中的光谱扩展。

Description

光谱图像处理
对相关申请的交叉引用
本申请要求2011年12月28日提出的美国临时专利申请系列No.61/581,051、2011年12月28提出的美国临时专利申请系列No.61/581,048、和2012年12月5日提出的美国临时专利申请系列No.61/733,551的优先权,它们全部通过引用合并于此。
技术领域
本公开涉及用于数字图像的颜色处理。更具体地,本发明的实施例涉及用于在数字图像的三色与光谱表示之间变换和用于处理此类光谱表示的处理方法。
背景技术
如这里使用的,短语“光谱合成”和“用于图像捕获设备处理的光谱合成”可以涉及可以被执行或计算以实现例如从图像捕获设备的准确颜色输出的处理方法。诸如RGB(红色、绿色、蓝色)之类的三色颜色处理模型是普通的。虽然RGB和其它三色模型足以满足颜色识别、匹配、和分类,但是此类模型可以固有地在颜色处理方面受限制。通过它的性质,光包括电磁能谱,其一般不能完全地由例如红色、绿色、和蓝色的颜色值表示。利用基于RGB的信息以及对应于接受短、中、和长波长光(例如,蓝色、绿色、和红色)的视锥细胞的三色值,人类视觉系统(HVS)试图推断原始的、自然的刺激。
多光谱系统通常捕获、处理、并显示多光谱图像。多光谱照相机例如可以输出多于三个信道。输出信道可以用多原色打印机或显示器呈现。一些多光谱系统被设计为呈现具有反射光谱的打印输出,即几乎等于原始对象的反射光谱。图像的多光谱表示一般分成两种类型。更常见的类型在波长上较小的区间上测量强度或反射率,其一般需要使用超过三个信道(例如,多于信道R、G、和B)(参见[1],其通过引用全部合并于此)。不常见的类型使用Wyszecki假设(参见参考[2],其通过引用全部合并于此),其将反射光谱表征为由两个分量构成,捕获在感知上相关的三色表示的基本分量加上表示整个反射光谱的大量特征的残余分量。Wyszecki将此残余分量标为同色异谱(metameric)的黑色。此第二类型的示例是LabPQR颜色空间。在LabPQR表示中,三色部分是Lab颜色空间,而PQR表示残余的。为了利用电子显示器发射再现和呈现图像,反射光谱特性不是关键的。
由照相机或其它图像捕获设备产生的图片一般并不与人眼感知的完全一样。
图像捕获设备内部的处理一般包括将传感器输出变换到输出图像的颜色空间的3x3矩阵。应用此矩阵变换的结果一般不会再现由人眼感知的事物,除非图像捕获设备的传感器的光谱灵敏度可以被表示为颜色匹配函数的线性组合。在很多情况下,结果中的这些误差的量级不是不重要的。
例如,现有DSLR(数字单镜头反光照相机)照相机可以具有旋钮以对于不同类型的场景(例如,夜晚、运动、多云、人像等等)选择不同的3x3矩阵。但是,实际上,一般并且例如对于诸如面部(皮肤)色调之类的某些存储器颜色让颜色正确可能是有问题的。
附图说明
并入此说明书且构成此说明书的一部分的附图示出了本发明的一个或多个实施例,并且与具体实施方式一起用来说明公开的原理和实施方式。
图1A描述根据本公开的实施例的光谱图像处理方法。
图1B描述光谱扩展模块。
图1C描述根据本公开的实施例的图像捕获设备颜色传感器输出的操作。
图2描述分为矩形带通和带隙光谱的(x,y)色度空间。
图3描述三个参数和四个参数的矩形的光谱表示。
图4描述在λ域中的矩形光谱以及在色度空间中表示的颜色。
图5A-5C描述λ域的圆形表示。
图6A描述根据本公开的光谱合成模块。
图6B描述根据本公开的波长确定模块。
图7描述RGB(红色、绿色、蓝色)基色、白色、品红色、和RYGCBV(红色、黄色、绿色、青色、蓝色、紫色)滤波器组的矩形表示。
图8描述有关于输入和输出颜色强度的S形映射曲线。
图9描述数字照相机处理方法。
图10描述简化的数字照相机处理方法。
图11描述从照相机的输出颜色和实际颜色进行对比。
图12描述CIE(国际照明委员会)1931色匹配函数。
图13描述用于数字照相机的照相机光谱灵敏度。
图14A描述根据本公开的实施例的用于基于图像捕获设备传感器输出合成正确的颜色输出的方法。
图14B-14C描述基本上矩形的光谱表示的示例。
图15A-15D描述根据本公开的实施例的利用合成的基本上矩形的光谱的图像捕获设备处理方法。
图16描述图像捕获设备处理的示例,其等效于从捕获的RGB(红色、绿色、蓝色)值映射到正确的颜色XYZ(对应于CIE1931颜色空间的三色值)值。
图17描述根据本公开的实施例的用于确定图像捕获设备色域的方法。
图18描述在线性和圆形波长域中的带通和带隙光谱。
图19描述接近带通与带隙光谱之间的边界的行为。
图20A和20B描述用于在[λ,λ]平面中表示的矩形光谱的颜色。
具体实施方式
在本公开的示例实施例中,呈现一种用于基于输入颜色值合成基本上矩形的光谱表示的方法,所述输入颜色值基于图像的输入光谱,所述方法包括:提供输入颜色值,其中每个输入颜色值与对应的分析函数相关联;基于输入颜色值确定基本上矩形的光谱表示的第一波长和第二波长;以及基于第一波长、第二波长、和输入颜色值和它的对应分析函数中的任何一个计算比例因子以基于输入颜色值合成基本上矩形的光谱表示,其中:如果合成的基本上矩形的光谱表示应用到对应于输入颜色值的分析函数,则合成的基本上矩形的光谱表示被适配为产生输入颜色值,并且第一波长包括其中基本上矩形的光谱表示从较低值变换到比例因子的波长并且第二波长包括其中基本上矩形的光谱表示从比例因子变换到该较低值的波长。
在本公开的示例实施例中,呈现一种被配置为基于输入颜色值合成基本上矩形的光谱表示的系统,所述输入颜色值基于图像的输入光谱,其中每个输入颜色值与对应的分析函数相关联,所述系统包括:波长确定模块,被配置为基于输入颜色值确定基本上矩形的光谱表示的第一波长和第二波长;和比例因子计算模块,被配置为基于第一波长、第二波长、和输入颜色值和它的对应分析函数中的任何一个计算比例因子以基于输入颜色值合成基本上矩形的光谱表示,其中:如果合成的基本上矩形的光谱表示应用到对应于输入颜色值的分析函数,则合成的基本上矩形的光谱表示被适配为产生输入颜色值,并且第一波长包括其中基本上矩形的光谱表示从较低值变换到比例因子的波长并且第二波长包括其中基本上矩形的光谱表示从比例因子变换到较低值的波长。
基于三色的系统和光谱或多光谱系统可以是大部分不兼容的并且由单独的企业实践。本公开弥合基于三色的系统与光谱或多光谱系统之间的缺口并且描述用于从三色域变换到光谱域的方法。这些变换使得光谱和多光谱图像处理方法能够应用到三色图像数据。
如这里使用的,术语“图像捕获设备”可以指代被适配为形成图像的任何设备。图像捕获设备以静止或运动图片的形式捕获视觉信息。与此类图像相关联的图像信息(例如,图像大小、图像分辨率、文件格式等等)也可以被存储。存储的信息的处理也可以被执行。此类图像捕获设备可以包括照相机和/或线扫描照相机、平板扫描器、和其它此类设备。
如同这里使用的,术语“合成”可以指代基于包括参数和/或函数的实体的组合生成信号。根据本公开,提供基于颜色值或图像捕获设备传感器输出的光谱表示的合成。
如同这里使用的,术语“实际颜色”和“正确颜色”可互换地使用并且这里被定义意指由人类视觉系统感知的颜色。
如同使用这里的,术语“模块”可以指代被配置为执行某些功能的单元。模块可以以硬件、软件、固件或它的组合实施。
第1部分
图1A描述根据本公开的实施例的图像处理方法。图1B描述图1A所述的扩展模块,包括光谱合成模块(600A),后面是滤波器组(700)。如同图1C所述的,处理可以不必然发生在图像捕获设备之内。在此情况下,可以仅仅存在对基本上矩形表示的扩展,后面是投射到原始域中以便呈现准确颜色(在第2部分进一步说明)。
现在参考图1A,由输入光谱产生的颜色值的三色表示例如,RGB(红色、绿色、蓝色)首先被扩展为六个基表示RYGCBV(红色、黄色、绿色、青色、蓝色、紫色)。原色数目的此选择部分地用真实世界的对象反射率的大型数据库的统计分析的方法加强。在这种情况下,可以表明,99%的反射率数据集的统计变化可以由少至6个基向量描述(参见参考[3],其通过引用全部合并于此)。图像然后可以在RYGCBV域中被处理。在处理之后,处理后的图像的RYGCBV表示然后可以被投射回到原始的RGB域上。应当注意,尽管在本讨论中考虑RGB和RYGCBV颜色空间,但是也可以考虑本领域技术人员所知的诸如YUV、YCbCr、HSV、CMYK之类的颜色空间和其它颜色空间。
举例而不是限制地,输入(102A)和输出(118A)也可以是XYZ三色值。举例而不是限制地,扩展的表示(105A、115A)可以包括除了6之外的许多值,诸如31,如果可见光谱被认为是从400纳米到700纳米以10纳米递增的话。其它可能性包括利用7个颜色表示(ROYGCBV)或10个颜色表示。6个颜色表示是有用的,因为它提供准确度和计算复杂度之间的平衡。
扩展RGB或XYZ值由于同色异谱(其中两个不同的输入光谱可以产生相同的RGB颜色值的现象)而可能不产生唯一的光谱扩展。但是,只要选择的光谱表示,如果被应用于对应于RGB或XYZ值的分析函数(在以下更详细讨论),产生由输入光谱产生的RGB或XYZ值,就可以保持相对于实际颜色的准确的颜色表示。
任何给定颜色是光的光谱。此类光谱可以根据如下给出的等式近似表示:
S [ λ ] ≅ S ^ [ λ ] = Σ i N C i B i [ λ ]
其中S[λ]表示输入光谱,表示近似表示,Ci表示第i个颜色输出值,Bi[λ]表示第i个基函数,以及N表示基函数的数目。例如,近似RGB表示可以由以下等式表示
S ^ [ λ ] = C R B R [ λ ] + C G B G [ λ ] + C B B B [ λ ]
基函数一般被定义为函数。对于CIE(国际照明委员会)1931颜色空间(CIE在1931年创建的用数学定义的颜色空间;参见参考[4],其通过引用全部合并于此),基函数是具有在435.8、546.1、和700纳米的峰的窄带。对于显示器,基函数是光谱发射。
基函数与匹配分析函数Ai[λ]相关联,其可以用于根据以下等式确定颜色输出值Ci
C i = S [ λ ] · A i [ λ ] = ∫ λ = 360 λ = 810 S [ λ ] A i [ λ ] dλ
其中匹配分析函数和基函数按照以下等式相关联:
Ai[λ]·Bj[λ]=δij
并且在360纳米和810纳米处的积分极限表示可见光波长的下限(λmin)和上限(λmax)。
前面的等式也可以被归纳用于其它分析函数(例如可以被扩展为包括红外线和/或紫外线)。虽然上面的等式指示正交的基函数,但是其它基函数也可以使用。举例来说而非限制,基函数可以相对于矩阵正交。尽管一般不大可能,但是应当注意,分析函数可以等于它的对应基函数。分析函数也具有意义。对于CIE1931颜色空间,它们是光谱匹配函数。分析函数也可以是图像捕获设备的光谱灵敏度或眼睛光谱灵敏度。
本公开的实施例使用类似于由MacAdam提出的基本上矩形的光谱以使用例如六基色RYGCBV生成给定颜色的新的表示。
MacAdam形式化了用于“最大效率”反射光谱的光谱表示(参见参考[5],其通过引用全部合并于此)。这些光谱具有如下属性,即对于任何期望的色度和饱和度,效率(即,反射的亮度)被最大化。此类光谱可以被解释为“最佳墨”。此光谱族是完备的——任何可能的色度可以被表示。MacAdam将这些反射光谱特征化为具有二元值0和1,和两个变换波长,用于0→1转变的λ和用于1→0转变的λ。这产生带通和带隙光谱,其占据(x,y)色度域,如在图2中描述的。
尽管MacAdam将这些矩形光谱视为纯的反射光谱,但是对于光的一般的光谱表示,可以通过引入比例因子I来扩展它们:
S rect [ λ ; λ ↑ , λ ↓ , I ] = I , if λ ↑ ≤ λ ↓ and ( λ ≥ λ ↑ andλ ≤ λ ↓ ) I , if λ ↑ > λ ↓ and ( λ ≥ λ ↑ orλ ≤ λ ↓ ) 0 , otherwise
三个参数的矩形光谱适用于表示所有可能的可感知颜色。但是,真实对象一般不能完全地用矩形光谱表示。真实对象倾向于在所有波长上反射或透射一些光,即使在更有限范围的波长上反射可以是主要的。这可以大部分通过增加附加参数来解决,该参数表示用于矩形光谱的低的值。这可以被写为四个参数的矩形光谱:
S 4 , rect [ λ ; λ ↑ , λ ↓ , I h , I l ] = I h , if λ ↑ ≤ λ ↓ and ( λ ≥ λ ↑ andλ ≤ λ ↓ ) I h , if λ ↑ > λ ↓ and ( λ ≥ λ ↑ orλ ≤ λ ↓ ) I l , otherwise
应当注意,三个参数的矩形光谱可以被表示为具有被设置为0的低值Il的四个参数的矩形光谱。在图3中描述用于三个参数和四个参数的矩形光谱表示的光谱图。在表格A中给出矩形光谱的属性的进一步讨论,其形成本公开的不可分割的部分。
在色度空间中由(x,y)坐标表示的给定颜色可以被表示为矩形带通或带隙光谱(参见图4)。可替换地,[λmin,λmax]域(可见光的波长)本身可以被解释为圆形,允许所有光谱具有带通的形式。在这种情况下,原来是带隙光谱的变为与λminmax点相交的带通光谱(参见图5A-5C)。在图5B和5C中描述的圆形域的高亮部分指示矩形光谱的值等于比例因子I时的波长。将[λmin,λmax]域解释为圆形导致所有光谱具有带通形式,也在图18中被描述,在表格A中进一步说明。
为了对来自于要被处理的图像中的原始三色值(其可以来自于任何颜色空间)执行光谱扩展,色度坐标首先用于计算λ和λ。比例因子I然后来源于λ、λ和原始的三色值。
图6A描述可以在图1A描述的图像处理方法中被使用的光谱合成模块(600A)(具体地,用作在图IB描述的扩展的一部分)。XYZ三色值(610A)被输入到波长确定模块(620A,在图6B中详细地描述的)以确定转变波长(615B)λ和λ。计算可以包括基于XYZ三色值(610A)计算(600B)值x和y(605B):
x = X X + Y + Z y = Y X + Y + Z .
二维查找表(2D-LUT,610B)然后可以被使用以映射值x和y以确定转变波长(615B)λ和λ。基于这些转变波长λ和λ,比例因子I可以被由循环积分模块(640A)和除法模块(660A)构成的比例因子计算模块(650A)确定。循环积分模块(640A)可以在由转变波长λ和λ限定的区间内执行光谱分析函数(630A)中的任何一个循环积分举例而非限制地,图6A描述的循环积分。本领域技术人员可以理解,光谱分析函数的任何组合也可以被使用以执行循环积分。循环积分模块(640A)的结果然后被提供到除法模块(660A)以生成比例因子I。具体地,比例因子I可以用下式给出:
I = X ∫ ↑ , ↓ x ‾ [ λ ] dλ = Y ∫ ↑ , ↓ y ‾ [ λ ] dλ = Z ∫ ↑ , ↓ z ‾ [ λ ] dλ .
可以计算这些积分,例如,利用两个表查找和加法/减法操作。以这样的方式,矩形光谱的三个参数[λ,λ,I](670)被确定以合成矩形光谱。
如同在图7中描述的,合成的矩形光谱可以被滤波(滤波器组可以但是不需要在带宽方面相等)以生成RYGCBV颜色值。在这一点上,可以对RYGCBV颜色值执行图像处理。
按照本公开的若干实施例,描述可应用于三色和光谱或多光谱表示的处理操作的类型。对于与图像相关联与相关联传统的RGB数据,存在两个常见的数学运算:3x3矩阵乘法和各个RGB信道的独立非线性变换。矩阵乘法通常用于调整发光物的颜色和/或效果。非线性变换通常被称为色调映射,因为非线性变换改变图像的视觉色调(亮度和对比度)。注意任何数目的3x3矩阵乘法可以被塌缩到单个3x3矩阵乘法并且类似地RGB信道的每一个的任何数目的一维(1D)变换可以类似地被塌缩到用于那三个信道的每一个的仅仅一个非线性变换。因此,图像可以被经由一组三个非线性变换处理,一个非线性变换用于与图像相关联的每个信道,后面是矩阵乘法。
例如,即使仅仅具有传统的三个RGB信道,包括执行非线性变换、后面是矩阵乘法的以上指定的变换也可以将具有有限的强度范围和颜色的现在常见的图像格式之间的差别准确地概括到具备较大的强度范围(通常叫动态范围)和色域的潜在的未来的格式。
这类变换可以经由以下关系被归纳为用于任何数目的颜色信道的多光谱情况:
Oi=MijTj[Ij]
i,j=I,...,N
其中Ij表示第j个输入颜色信道值(例如,在RGB表示中的R、G、或B,或在RYGCBV表示中的R、Y、G、C、B、或V),Tj表示应用于Ij的非线性变换,Μij表示N×N矩阵,并且Oi表示第i个输出颜色信道值。
上述讨论到的光谱图像处理方法可以应用于光谱颜色校正。实际上,原色校正可以经由修改被独立地直接应用到RGB信道。虽然这些修改可以解决将需要被执行的原色操作,但是它难以仅仅操作特定的色调。例如,在没有修改R和G(邻近色)或B(降低蓝色具有直接增加黄色的效果)的情况下,难以使得黄色色度更强。根本上,这是因为三颜色信道足以匹配给定颜色,但是不足以进行色调控制,因为在感知上存在四个基本色调,红色对绿色和蓝色对黄色,如由拮抗色觉学说(opponent color theory)描述的。
实际上,这可以由二次颜色校正来处理。二次颜色校正将RGB数据变换到HSL(色度-饱和度-亮度)表示并且在色度-饱和度-亮度值的特定范围内有条件地修改HSL值。因为黄色在红色和绿色之间的一半处,青色在绿色和蓝色之间的一半处,以及品红色在蓝色和红色之间的一半处,因此二次颜色校正通常利用6个色调,RYGCBM实施,其可以被称为6轴二次颜色校正。原色和整体二次颜色校正可以根据本公开利用例如RYGCBV颜色值(注意M不是必需的,因为它总是BR混合物,不像C和Y)集成到光谱图像处理的方法中。在图8中描述的S形色调曲线可以被修改用于幅度、伽马、脚趾和肩的调节。重饱和可以通过增加白色或光谱加宽来执行。
第2部分
根据本公开的附加实施例,光谱合成方法可以应用于图像捕获设备处理。图9描述在现代数字图像捕获设备中执行的处理方法(参见参考[6],其通过引用全部合并于此)。根据包括一个或多个线性化(必要时)、去拜耳(deBayer)(例如,对于单芯片传感器)、以及白平衡的方法,由输入光谱S(λ)产生的原始图像捕获设备传感器输出(905)(例如R、Gl、G2、和B值)被首先处理(910)。拜耳滤波器马赛克是用于在图像捕获设备中的光电传感器方形网格上布置RGB滤色器的滤色器阵列。获得全色图像包括在被称为去拜耳(参见参考[7],其通过引用全部合并于此)的步骤中此处理求逆。白平衡是原色(例如,红色,绿色,和蓝色)的强度的调节以正确地呈现特定的颜色(参见参考[8],其通过引用全部合并于此)。
从原始图像捕获设备传感器输出(905)的此类处理(910)中获得的数据然后一般通过3x3矩阵(915)被变换到输出颜色空间(例如,图9中的RGB颜色空间)。变换输出可以被色调处理和/或剪辑(920)到特定范围。在块(910)、(915)、和(920)的每一个中执行的处理从原始图像捕获设备传感器输出(905)中得出输出颜色空间(925)。
根据本公开的若干实施例,呈现了对3x3矩阵的替换的图像捕获设备处理方法。单独的3x3矩阵可能不足以描述图像捕获设备传感器输出准确变换到输出颜色(925)。
为了集中于此3x3矩阵(915)的可能问题,考虑在图10中描述的简化配置。
对于本讨论,考虑包括红色(R)、绿色(G)、和蓝色(B)信道(例如,RGB被考虑输入颜色空间)的图像捕获设备并且考虑CIE[X,Y,Z]作为输出颜色空间(1020)。应当注意,尽管在本讨论中考虑RGB和CIE颜色空间,但是也可以考虑本领域技术人员所知的诸如YUV、YCbCr、HSV、CMYK之类的颜色空间和其它颜色空间。
三色值[X,Y,Z]可以从输入光谱S[λ]和在区间[λmin,λmax]上定义的颜色匹配函数通过以下等式确定:
X = ∫ λ min λ max x ‾ [ λ ] S [ λ ] dλ Y = ∫ λ min λ max y ‾ [ λ ] S [ λ ] dλ Z = ∫ λ min λ max z ‾ [ λ ] I [ λ ] dλ
其中区间[λmin,λmax]涵盖一般由人类视觉系统可感知的光的波长。图12描述由CIE在1931年确定的此类函数的示例。
类似地,图像捕获设备传感器输出[RS,GS,BS](1010)(其中下标指示传感器)由图像捕获设备光谱灵敏度利用以下模拟等式确定:
R S = ∫ λ min λ max r ‾ S [ λ ] S [ λ ] dλ G S = ∫ λ min λ max g ‾ S [ λ ] S [ λ ] dλ B S = ∫ λ min λ max b ‾ S [ λ ] S [ λ ] dλ
其中图像捕获设备光谱灵敏度表示图像捕获设备颜色信道的波长响应。图13描述用于示例现代数字照相机的此类函数的示例。
图11描述通过应用3x3矩阵变换(1130)到图像捕获设备传感器输出[Rs,GS,BS](1125)获得的、来自于图像捕获设备的输出颜色[XS,YS,ZS](1135)可以不与由人类视觉系统感知的实际颜色[X,Y,Z](1105)相同。只有当图像捕获设备光谱灵敏度(1120)是颜色匹配函数(1110)的可逆的线性组合时,来自于图像捕获设备[XS、YS、ZS](1135)的输出颜色与实际颜色[X、Y、Z](1105)之间的颜色准确度一般才可以被保证。数学上,这在存在3x3矩阵Q以使得以下成立时发生:
r ‾ s [ λ ] g ‾ S [ λ ] b ‾ S [ λ ] = Q x ‾ [ λ ] y ‾ [ λ ] z ‾ [ λ ]
其中Q-1存在。
将以上等式两侧乘以输入光谱S[λ](1115)并且在两侧积分,输出以下结果
R S G S B S = Q X Y Z
于是
X Y Z = Q - 1 R S G S B S .
返回参考图11,为了直接获得实际颜色[X,Y,Z](1105),理想地,图像捕获设备光谱灵敏度(1120)应当等于颜色匹配函数(1110)。如果这些理想的光谱灵敏度(其等于颜色匹配函数)被矩阵Q修改以生成实际图像捕获设备光谱灵敏度,则此类修改可以被取消(例如,通过利用Q-1变换图像捕获设备传感器输出(1125))以生成实际颜色[X、Y、Z](1105)。
如果图像捕获设备光谱灵敏度(1120)与颜色匹配函数之间的关系比线性变换更复杂,则3x3矩阵可能是不足的。
颜色匹配函数与图像捕获设备光谱灵敏度之间的差别可能是显著的。图12描述CIE(国际照明委员会)1931颜色匹配函数,而图13描述用于现代数字电影照相机(ARRID-21)的示范性光谱灵敏度。在1931年,CIE创建了被称为CIE1931的用数学定义的颜色空间。图12所述的颜色匹配函数对应于此颜色空间(参见参考[4],其通过引用全部合并于此)。不存在将输出用于此照相机的光谱灵敏度的颜色匹配函数的线性组合。具体地,CIE1931颜色匹配函数是平滑的,而照相机光谱灵敏度不是。由照相机光谱灵敏度提供的此类照相机响应的考虑一般并不考虑传感器中的输出处理。
尽管应用矩阵变换可能不足够将图像捕获设备传感器输出变换为实际颜色,但是从图像捕获设备传感器输出到输出颜色空间的准确处理可以显示出整体线性。即,如果表示传感器输出[Rs、Gs、Bs],表示输出颜色[Xs、Ys、Zs],以及P[]表示图像捕获设备传感器输出与输出颜色之间的处理,例如,
C → out = P [ C → S ]
则将输入乘以某一恒定值α产生输出以改变相同的因子,
P = [ α C → S ] = α C → out
但是,甚至当此类线性性质被显示出时,处理可以不必要通过专门地应用矩阵。此类矩阵可以通过在颜色刺激的训练集内最小化特定错误度量来确定。在参考[6]中描述用于以这样的方式确定矩阵的一些推荐的方法,其通过引用全部合并于此。
根据本公开的若干实施例,描述了用于从给定图像捕获设备光谱灵敏度生成由人类视觉系统感知的实际颜色的方法和系统。
图14A描述用于合成光谱表示(1435A)的方法和系统的实施例,所述光谱表示如果应用于图像捕获设备,则可以生成观察的图像捕获设备传感器输出[Rs,GS,BS](1425A)。此方法可以被用于负三色值。
合成的光谱(1435A)可以产生观察的图像捕获设备传感器输出[Rs,GS,BS](1425A),不管合成的光谱(1435A)是否是实际光谱(1415A)。具体地,合成的光谱(1435A)可以产生正确的[X,Y,Z](1405A,1445A)。
只要合成的光谱(1435A)已被确定后,就可以获得正确的输出颜色[X,Y,Z](1405A,1445A)。
根据本公开的若干实施例,基本上矩形的光谱可以被用作合成的光谱(1435A)。如在本公开使用的,术语“基本上矩形”可以指代非常接近矩形形状的光谱形状,但是不一定完全是矩形形状。举例且非限制地,以不完全垂直于水平(λ)轴的侧壁为特征的光谱可以被认为是基本上矩形的。进一步举例而非限制地,以最大值的小范围而不是仅仅一个最大值为特征的光谱也可以被认为是基本上矩形的。基本上矩形的光谱可以连续函数或离散波长(采样)函数。在图14B和14C中分别描述连续的基本上矩形的光谱和离散波长的基本上矩形的光谱的示例。
图15A-15D描述根据本公开的实施例的利用合成的矩形光谱的图像捕获设备处理方法。
图15A描述由图像捕获设备捕获的实际图像光谱S[λ](1505A)。实际图像光谱S[λ](1505A)应用于图像捕获设备光谱灵敏度(1510A)以产生图像捕获设备传感器输出[RS,GS,BS](1515A)。图像捕获设备传感器输出[RS,GS,BS](1515A)可以被输入到光谱合成模块(1520A)以生成以矩形光谱参数[λ,λ,I](1525A)为特征的光谱表示。合成的矩形光谱(1525A)如果应用于图像捕获设备则被适配为产生观察的图像捕获设备传感器输出[RS,GS,BS](1515A):
R S = I ∫ λ ↑ , λ ↓ r ‾ S [ λ ] dλ G S = I ∫ λ ↑ , λ ↓ g ‾ s [ λ ] dλ B S = I ∫ λ ↑ , λ ↓ b ‾ S [ λ ] dλ
其中积分符号表示在λ域上的循环积分,
∫ λ ↑ , λ ↓ ≡ ∫ λ ↑ λ ↓ , if λ ↑ ≤ λ ↓ ∫ λ ↑ λ max + ∫ λ min λ ↓ , otherwise .
合成的矩形光谱(1525A)可以被应用于光谱应用模块(1530A)以生成正确的颜色输出[X,Y,Z](1535A)。
可替换地,[λmin,λmax]域本身可以被解释为圆形,允许所有光谱具有带通形式。在这种情况下,原本是带隙光谱的变为跨国λminmax点的带通光谱。
因此,在数学上,第一步是在给定图像捕获设备传感器输出[RS,GS,BS](1515A)时求出[λ,λ,I](1525A)。只要矩形光谱的参数已被确定后,正确的输出[X,Y,Z](1535A)的计算可以直接遵循:
X = I ∫ λ ↑ , λ ↓ x ‾ [ λ ] dλ Y = I ∫ λ ↑ , λ ↓ y ‾ [ λ ] dλ Z = I ∫ λ ↑ , λ ↓ z ‾ [ λ ] dλ
在图15D中描述此处理。具体地,除了颜色匹配函数之外波长λ和λ被发给循环积分模块(1505D)。积分的结果经由乘法模块(1510D)被单独乘以比例因子I以生成正确的颜色输出值[X,Y,Z](1535A)。
利用等效于原始图像的光谱表示的矩形光谱表示S[λ]以获得用于图像捕获设备的正确颜色输出的此处理的执行可以采取若干形式中的任何一个,其中每个具有不同的复杂度和性能。
在一个实施例中,返回参考图15A,一般地计算密集的实施方式可以首先确定矩形参数[λ,λ,I](1525A)并且然后由以[λ,λ,I](1525A)为特征的矩形光谱产生输出颜色[X,Y,Z](1535A)。因为自由度的数目(例如,在这种情况下三个)被保存,所以此处理提供从[RS,GS,BS]到[X,Y,Z]的映射,如在图16中描述。
三维查找表(3D-LUT)可以被使用以执行此映射。也可以执行计算(以下要被提供的)并且然后使用基于计算的2D-LUT以确定转变波长λ和λ。转变波长然后可以用于确定比例因子I。在图15B中描述此处理。
图15B描述光谱合成模块(1520A),其可以在图15A中描述的图像捕获设备处理方法中使用。图像捕获设备传感器输出[RS,GS,BS](1515A)被输入到波长确定模块(1505B,在图15C中进一步详细描述的)以确定λ和λ。计算可以包括基于图像捕获设备传感器输出[RS,GS,BS](1515A)计算值p(1500C)和q(1505C):
p = R S R S + G S + B S q = G S R S + G S + B S .
二维查找表(2D-LUT,15I0C)然后可以被使用以映射值p和q(1505C)以确定转变波长λ和λ(1515C)。基于这些转变波长λ和λ,比例因子I可以被由循环积分模块(1510B)和除法模块(1515B)构成的比例因子计算模块(1520B)确定。循环积分模块(1510B)可以在由转变波长λ和λ限定的区间内执行图像捕获设备光谱灵敏度(1510A)中的任何一个的循环积分。循环积分模块(1510B)的结果然后被提供到除法模块(1515B)以产生比例因子I。具体地,比例因子I可以用下式表示:
I = R S ∫ ↑ , ↓ r ‾ S [ λ ] dλ = G S ∫ ↑ , ↓ g ‾ S [ λ ] dλ = B S ∫ ↑ , ↓ b ‾ S [ λ ] dλ
这些整数可以例如利用两个表查找和加法/减法操作被计算。
在检查和特征化图像捕获设备准确度中可以使用包括等效于由图像捕获设备捕获的图像的光谱表示的矩形光谱表示的合成的之前讨论的方法。利用一些光谱,此方法可以产生输出矩形光谱,其等于用于一些刺激集合的输入矩形光谱。
根据本公开的若干实施例,如下提供用于确定此刺激集合的方法。所述方法可以首先包括模拟将[λ,λ,I]中的立方(1705)暴露到图像捕获设备的光谱灵敏度(1710)以产生模拟的图像捕获设备传感器输出[RS,GS,BS](1715)。立方(1705)提供由三维[λ,λ,I]限定的矩形空间中的矩形光谱的表示。具体地,立方中的每个点对应于矩形光谱,其中矩形光谱以比例因子I为特征,第一波长λ是其中输入光谱从零转变到比例因子的波长,以及第二波长λ是其中输入光谱从输入比例因子转变到零的输入光谱。下一步是通过比较(1730)确定光谱的集合,对于该光谱的集合,先前描述的光谱合成方法的输出(1725)与在图17中描述的输入(1705)相同。可以利用此方法精确恢复的矩形光谱的集合构成图像捕获设备色域。不能精确恢复的矩形光谱构成通常被称为图像捕获设备异谱同色。
以上阐述的示例向本领域的技术人员提供如何构成并且使用本公开的光谱图像处理的实施例的完全公开和描述,并且不意欲限制发明人关于他们的公开的范围。
对本领域技术人员明显的、用于执行于此公开的方法和系统的以上描述的模式的修改预期在下列权利要求书的范围内。在说明书中提到的所有专利和公开指示本公开所属的本领域的技术人员的技能水平。在此公开中引用的所有参考文献通过引用而被合并,就像每个参考文献已被通过引用单独全部合并一样。
应当理解公开不局限于特定方法或者系统,当然,其可以变化。也要理解,这里使用的术语仅仅用于描述特定实施例的目的,并且不是意指限制。如用在本说明书和附加权利要求书中的,除非内容清楚地指示,否则单数形式“一个”、“一”、和“这”包括多个指示物。除非内容清楚地指示,否则术语“多个”包括两个或更多个指示物。除非限定,否则这里使用的所有技术和科学名词具有本公开所属的领域的普通技术人员通常理解的同样的意思。
在本公开中描述的方法和系统可以在硬件、软件、固件、或者其组合中实施。描述为块、模块、或元件的特征可以被一起(例如,在诸如集成逻辑装置之类的逻辑装置中)或者分开(例如,如分隔连接的逻辑装置)实施。本公开的方法的软件部分可以包括计算机可读媒介,所述媒介包括在运行时至少部分地执行描述的方法的指令。计算机可读媒介可以包括例如,随机存取存储器(RAM)和/或只读存储器(ROM)。指令可以由处理器(例如,数字信号处理器(DSP)、特定用途集成电路(ASIC)、或者现场可编程门阵列(FPGA))运行。
已经描述了本公开的许多实施例。然而,应当理解,在不脱离本公开的精神和范围的情况下可以做出各种修改。因此,其它的实施例也在以下权利要求书的范围之内。
参考文献列表
[1]2011年12月6日检索的wikipedia.org/wiki/Multispectral_image
[2]Wyszecki,G.和Stiles,W.S.,Color Science:Concepts andMethods,Quantitative Data and Formulae,Wiley-Interscience,2002,pp,187-188。
[3]M.Parmar,etal,“A Database of High Dynamic RangeVisibleand Near-infrared Multispectral Images”,Proc.IS&T/SPIEElectronic Imaging2008:Digital Photography IV。
[4]2011年11月29日检索的wikipedia.org/wiki/CIE_1931_color_space。
[5]MacAdam,DavidL.,“The Theory of the Maximum VisualEfficiency of Color Materials,”J.OpticalSoc.Am.,Vol.25,pp.249-252,1935。
[6]“Color Image Processing Pipeline.A General Survey ofDigital Still Camera Processing”,IEEE Signal Processing Magazine,vol.22,no.1,pp.34-43,2005。
[7]2011年12月6日检索的wikipedia.org/wiki/Bayer_filter
[8]2011年12月月6日检索的wikipedia.org/wiki/White_balance
[9]Logvinenko,AlexanderD.,“An Object Color Space”,J.Vision.9(11):5,pp.1-23,2009
表格A:矩形光谱
矩形光谱具备许多有用的性质:
a)MacAdam效率
b)完备的(所有可能的色度)
c)3个自由度
d)最大限度地紧凑的光谱
最后一个性质,紧凑性,存在是因为存在基本上两种方式来去饱和任何色度:加宽光谱或增加白色。Logvinenko(参见参考[9],其通过引用全部合并于此)采用此性质以产生用于对象的反射性光谱的更一般形式(并且还用利用中心波长和标记的带宽的等效形式替换λ↑和λ↓,其中负带宽用于表示带隙光谱)。
图2描述带通和带隙行为如何出现在色度空间中。注意带通与带隙区域之间的边界具有两段:一段从等能白点到最大波长红色,另一段从白色点到最小波长蓝色。这些分别被称为白色-红色边界和白色-蓝色边界。
可以使用循环积分以隐藏带通和带隙光谱之间的区别。这也可以通过考虑作为圆形的波长域、以及通过消除带通与带隙光谱之间的区别来实现。图5A-5C描述在其上评估积分的此圆形域。具体地,图5A描述圆形波长域,图5B描述带通矩形光谱,以及图5C描述带隙矩形光谱。
注意,λmin和λmax是圆形表示中相同的点并且λ以逆时针方向增大。在圆形表示中,积分总是从λ到λ并且解总是如图18中描述的带通。此可替换可视化将是在管外面提取这些光谱以使得λmin和λmax可以是相同的点。
现在参考图19,图2所述的白色-红色和白色-蓝色边界段是λ或λ落到λminmax边界之处。白色-红色边界是λ落在λmax上之处,并且白色-蓝色边界是λ落在λmin上之处。
参见用于在图2描述的带通和带隙光谱的(x,y)解空间如何映射到图20A和20B中描述的[λ,λ]空间中的域是说明性的。
等能白色点E在其中λ=λmin并且λ=λmax之处。如果从带通侧近似,则对角线在光谱局部上,如果从带隙侧近似,则对角线接近白色点。用于带通光谱的上三角形区域是闭集(它包括它的边界),而用于带隙光谱的三角形区域是开放的(它不包括它的边界)。图15B描述在带宽δ的相对窄带光谱的二维λ-空间中的轨迹和穿过圆形λ域的中心频率。因为中心频率从λmin+δ/2变为λmax-δ/2,所以色调经过紫色(V)、蓝色(B)、青色(C)、绿色(G)、黄色(Y)和红色(R)。当中心频率在[λmin,λmax]的δ/2之内时,色调经过品红色。

Claims (35)

1.一种用于基于输入颜色值合成基本上矩形的光谱表示的方法,所述输入颜色值基于图像的输入光谱,所述方法包括:
提供所述输入颜色值,其中每个输入颜色值与对应的分析函数相关联;
基于输入颜色值确定基本上矩形的光谱表示的第一波长和第二波长;以及
基于第一波长、第二波长、以及输入颜色值中的任何一个和它的对应分析函数来计算比例因子以基于输入颜色值合成基本上矩形的光谱表示,
其中:
如果合成的基本上矩形的光谱表示被应用到与输入颜色值对应的分析函数,则合成的基本上矩形的光谱表示被适配为产生输入颜色值,并且
所述第一波长包括其中基本上矩形的光谱表示从低值转变到所述比例因子的波长,并且所述第二波长包括其中基本上矩形的光谱表示从所述比例因子变换到所述低值的波长。
2.如权利要求1所述的方法,其中所述矩形的光谱表示的低值等于零。
3.如权利要求2所述的方法,其中所述第一波长和第二波长的确定包括:
将输入颜色值中的两个除以所有输入颜色值的和;以及
利用二维查找表映射所述相除的结果以确定所述第一波长和第二波长。
4.如权利要求2或3中的任何一个所述的方法,其中所述比例因子的计算包括:
在由基本上矩形的光谱表示的第一波长和第二波长限定的区间内执行分析函数的循环积分,其中该分析函数与提供的输入颜色值颜色值当中的一个输入颜色值相关联;
将关联的对应输入颜色值除以循环积分的结果以计算所述比例因子。
5.一种光谱扩展的方法,所述方法包括:
根据权利要求1-4中的任何一个所述的方法合成基本上矩形的光谱表示;以及
将多个滤波器组应用到合成的基本上矩形的光谱表示以生成扩展的颜色值以扩展由输入颜色值表示的光谱,其中扩展的颜色值的数目大于输入颜色值的数目。
6.一种图像处理的方法,所述方法包括:
根据权利要求5所述的方法执行光谱扩展;
处理扩展的颜色值;以及
将处理后的扩展的颜色值投射到与输入颜色值对应的颜色空间中。
7.如权利要求6所述的方法,其中所述处理包括光谱颜色校正。
8.如权利要求6所述的方法,其中所述处理包括非线性变换,接着是矩阵乘法。
9.如权利要求1-8中的任何一个所述的方法,其中对于RGB(红色、绿色、蓝色)颜色空间定义所述输入颜色值。
10.如权利要求1-8中的任何一个所述的方法,其中对于XYZ(CIE1931)颜色空间定义所述输入颜色值。
11.如权利要求5-8中的任何一个所述的方法,其中对于RYGCBV(红色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
12.如权利要求5-8中的任何一个所述的方法,其中对于ROYGCBV(红色、橙色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
13.如权利要求5-8中的任何一个所述的方法,其中对于RGB(红色、绿色、蓝色)颜色空间定义所述输入颜色值,并且对于RYGCBV(红色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
14.如权利要求5-8中的任何一个所述的方法,其中对于RGB(红色、绿色、蓝色)颜色空间定义所述输入颜色值,并且对于ROYGCBV(红色、橙色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
15.如权利要求5-8中的任何一个所述的方法,其中对于XYZ(CIE1931)颜色空间定义所述输入颜色值,并且对于RYGCBV(红色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
16.如权利要求5-8中的任何一个所述的方法,其中对于XYZ(CIE1931)颜色空间定义所述输入颜色值,并且对于ROYGCBV(红色、橙色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
17.如权利要求1-16中的任何一个所述的方法,其中输入颜色值能够包含负值。
18.一种被配置为基于输入颜色值合成基本上矩形的光谱表示的系统,所述输入颜色值基于图像的输入光谱,其中每个输入颜色值与对应的分析函数相关联,所述系统包括:
波长确定模块,其被配置为基于输入颜色值确定基本上矩形的光谱表示的第一波长和第二波长;以及
比例因子计算模块,其被配置为基于第一波长、第二波长、以及输入颜色值中的任何一个和它的对应分析函数来计算比例因子以基于输入颜色值合成基本上矩形的光谱表示,
其中:
如果合成的基本上矩形的光谱表示被应用到与输入颜色值对应的分析函数,则合成的基本上矩形的光谱表示被适配为产生所述输入颜色值,以及
第一波长包括其中基本上矩形的光谱表示从低值转变到比例因子的波长并且第二波长包括其中基本上矩形的光谱表示从比例因子转变到低值的波长。
19.如权利要求18所述的系统,其中所述矩形的光谱表示的低值等于零。
20.如权利要求19所述的系统,其中所述波长确定模块包括:
除法模块,其被配置为将输入颜色值中的两个除以所有输入颜色值的和;以及
二维查找表,其被配置为映射除法模块的输出以确定所述第一波长和第二波长。
21.如权利要求19或20中的任何一个所述的系统,其中所述比例因子计算模块包括:
循环积分模块,其被配置为在由基本上矩形的光谱表示的第一波长和第二波长限定的区间内执行分析函数的循环积分,其中该分析函数与提供的输入颜色值当中的一个输入颜色值相关联;以及
除法模块,其被配置为将关联的对应输入颜色值除以循环积分模块的输出以计算所述比例因子。
22.一种光谱扩展系统,所述系统包括:
光谱合成模块,包括根据权利要求18-21中的任何一个所述的系统,其被配置为合成基本上矩形的光谱表示;以及
多个滤波器组,其被配置为由合成的基本上矩形的光谱表示生成扩展的颜色值以扩展由输入颜色值表示的光谱,其中扩展的颜色值的数目大于输入颜色值的数目。
23.一种图像处理系统,所述系统包括:
根据权利要求22所述的光谱扩展系统;
处理模块,其被配置为处理扩展的颜色值;以及
投射模块,其被配置为将处理后的扩展的颜色值投射到与输入颜色值对应的颜色空间。
24.如权利要求23所述的系统,其中所述处理模块包括光谱颜色校正模块。
25.如权利要求23所述的系统,其中所述处理模块被配置为执行非线性变换,接着是矩阵乘法。
26.如权利要求18-25中的任何一个所述的系统,其中对于RGB(红色、绿色、蓝色)颜色空间定义所述输入颜色值。
27.如权利要求18-25中的任何一个所述的系统,其中对于XYZ(CIE1931)颜色空间定义所述输入颜色值。
28.如权利要求22-25中的任何一个所述的系统,其中对于RYGCBV(红色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
29.如权利要求22-25中的任何一个所述的系统,其中对于ROYGCBV(红色、橙色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
30.如权利要求22-25中的任何一个所述的系统,其中对于RGB(红色、绿色、蓝色)颜色空间定义所述输入颜色值,并且对于RYGCBV(红色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
31.如权利要求22-25中的任何一个所述的系统,其中对于RGB(红色、绿色、蓝色)颜色空间定义所述输入颜色值,并且对于ROYGCBV(红色、橙色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
32.如权利要求22-25中的任何一个所述的系统,其中对于XYZ(CIE1931)颜色空间定义所述输入颜色值,并且对于RYGCBV(红色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
33.如权利要求22-25中的任何一个所述的系统,其中对于XYZ(CIE1931)颜色空间定义所述输入颜色值,并且对于ROYGCBV(红色、橙色、黄色、绿色、青色、蓝色、紫色)颜色空间定义所述扩展的颜色值。
34.如权利要求18-33中的任何一个所述的系统,其中输入颜色值能够包含负值。
35.一种计算机可读介质,包含指令集,所述指令集使得计算机执行如权利要求1-17中的一个或多个所述的方法。
CN201280064895.4A 2011-12-28 2012-12-20 光谱图像处理 Active CN104115481B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161581048P 2011-12-28 2011-12-28
US201161581051P 2011-12-28 2011-12-28
US61/581,048 2011-12-28
US61/581,051 2011-12-28
US201261733551P 2012-12-05 2012-12-05
US61/733,551 2012-12-05
PCT/US2012/070855 WO2013101642A1 (en) 2011-12-28 2012-12-20 Spectral image processing

Publications (2)

Publication Number Publication Date
CN104115481A true CN104115481A (zh) 2014-10-22
CN104115481B CN104115481B (zh) 2016-02-24

Family

ID=47522944

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280064921.3A Active CN104025562B (zh) 2011-12-28 2012-12-20 用于图像捕捉设备处理的谱合成
CN201280064895.4A Active CN104115481B (zh) 2011-12-28 2012-12-20 光谱图像处理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280064921.3A Active CN104025562B (zh) 2011-12-28 2012-12-20 用于图像捕捉设备处理的谱合成

Country Status (6)

Country Link
US (4) US8947549B2 (zh)
EP (2) EP2798831B1 (zh)
JP (2) JP5727109B2 (zh)
CN (2) CN104025562B (zh)
HK (1) HK1197709A1 (zh)
WO (2) WO2013101639A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107873079A (zh) * 2015-05-01 2018-04-03 变量公司 智能对准系统和用于彩色感测装置的方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105493489B (zh) * 2013-08-22 2019-02-22 杜比实验室特许公司 色域映射系统及方法
JP6069593B2 (ja) * 2013-10-28 2017-02-01 ドルビー ラボラトリーズ ライセンシング コーポレイション デジタル・カメラにおける広色域作業フローのための二次元色変換
US9664568B2 (en) * 2014-06-16 2017-05-30 Honeywell International Inc. Extended temperature mapping process of a furnace enclosure with multi-spectral image-capturing device
US9696210B2 (en) * 2014-06-16 2017-07-04 Honeywell International Inc. Extended temperature range mapping process of a furnace enclosure using various device settings
JP6525749B2 (ja) * 2015-06-08 2019-06-05 キヤノン株式会社 色処理装置およびその方法
US10218883B2 (en) * 2015-07-07 2019-02-26 The Board Of Regents Of The University Of Texas System Digital imaging and analysis system
WO2017059043A1 (en) 2015-09-30 2017-04-06 Dolby Laboratories Licensing Corporation 2d lut color transforms with reduced memory footprint
JP6646456B2 (ja) 2016-02-10 2020-02-14 キヤノン株式会社 色処理装置およびその方法
US10692245B2 (en) * 2017-07-11 2020-06-23 Datacolor Inc. Color identification in images
US11587491B1 (en) 2018-10-25 2023-02-21 Baylor University System and method for a multi-primary wide gamut color system
US11341890B2 (en) 2018-10-25 2022-05-24 Baylor University System and method for a multi-primary wide gamut color system
US11069279B2 (en) 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US10950162B2 (en) 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US10607527B1 (en) 2018-10-25 2020-03-31 Baylor University System and method for a six-primary wide gamut color system
US11289000B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US11475819B2 (en) 2018-10-25 2022-10-18 Baylor University System and method for a multi-primary wide gamut color system
US11289003B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US11043157B2 (en) 2018-10-25 2021-06-22 Baylor University System and method for a six-primary wide gamut color system
US10950161B2 (en) 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US11069280B2 (en) 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US11037481B1 (en) 2018-10-25 2021-06-15 Baylor University System and method for a multi-primary wide gamut color system
US11315467B1 (en) 2018-10-25 2022-04-26 Baylor University System and method for a multi-primary wide gamut color system
US11410593B2 (en) 2018-10-25 2022-08-09 Baylor University System and method for a multi-primary wide gamut color system
US11062638B2 (en) 2018-10-25 2021-07-13 Baylor University System and method for a multi-primary wide gamut color system
US10997896B2 (en) 2018-10-25 2021-05-04 Baylor University System and method for a six-primary wide gamut color system
US11532261B1 (en) 2018-10-25 2022-12-20 Baylor University System and method for a multi-primary wide gamut color system
US11373575B2 (en) 2018-10-25 2022-06-28 Baylor University System and method for a multi-primary wide gamut color system
US11488510B2 (en) 2018-10-25 2022-11-01 Baylor University System and method for a multi-primary wide gamut color system
US11030934B2 (en) 2018-10-25 2021-06-08 Baylor University System and method for a multi-primary wide gamut color system
US11189210B2 (en) 2018-10-25 2021-11-30 Baylor University System and method for a multi-primary wide gamut color system
US11403987B2 (en) 2018-10-25 2022-08-02 Baylor University System and method for a multi-primary wide gamut color system
EP3709623A1 (en) * 2019-03-15 2020-09-16 Aptiv Technologies Limited Method for simulating a digital imaging device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1450302A1 (en) * 2001-11-02 2004-08-25 Telecommunications Advancement Organization of Japan Color reproduction system
US20090141970A1 (en) * 2007-11-29 2009-06-04 Canon Kabushiki Kaisha Generating a transformed interim connection space for spectral data

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3267266A (en) 1961-04-01 1966-08-16 Tokyo Shibaura Electric Co Automatic colorimetry calculator
US5668596A (en) 1996-02-29 1997-09-16 Eastman Kodak Company Digital imaging device optimized for color performance
US6198842B1 (en) 1997-06-19 2001-03-06 International Business Machines Corporation Multi-spectral image compression with bounded loss
US6094454A (en) 1997-06-19 2000-07-25 International Business Machines Corporation Multi-spectral image compression and transformation
JPH1196333A (ja) * 1997-09-16 1999-04-09 Olympus Optical Co Ltd カラー画像処理装置
JP3483108B2 (ja) 1997-11-25 2004-01-06 株式会社日立製作所 多スペクトル画像処理装置およびそのためのプログラムを記録した記録媒体
JP3730424B2 (ja) 1998-12-07 2006-01-05 ホーチキ株式会社 微分スペクトル画像処理装置
US6211971B1 (en) 1999-03-11 2001-04-03 Lockheed Martin Missiles & Space Co. Method and apparatus to compress multi-spectral images to a single color image for display
US6760475B1 (en) 1999-10-13 2004-07-06 Cambridge Research & Instrumentation Inc. Colorimetric imaging system
JP3986219B2 (ja) 1999-10-15 2007-10-03 富士フイルム株式会社 マルチスペクトル画像の画像圧縮方法および画像圧縮装置
JP3986221B2 (ja) 1999-10-20 2007-10-03 富士フイルム株式会社 マルチスペクトル画像の画像圧縮方法および画像圧縮装置
US6198512B1 (en) 1999-11-10 2001-03-06 Ellis D. Harris Method for color in chromatophoric displays
JP2001144972A (ja) 1999-11-18 2001-05-25 Fuji Photo Film Co Ltd マルチスペクトル画像収録・処理装置および画像収録・処理方法
JP4097873B2 (ja) 2000-03-06 2008-06-11 富士フイルム株式会社 マルチスペクトル画像の画像圧縮方法および画像圧縮装置
JP4097874B2 (ja) 2000-03-06 2008-06-11 富士フイルム株式会社 マルチスペクトル画像の画像圧縮方法および画像圧縮装置
US6816284B1 (en) 2000-04-07 2004-11-09 Color Aix Perts Gmbh Multispectral color reproduction system with nonlinear coding
CN1165183C (zh) 2000-05-15 2004-09-01 北京北达华彩科技有限公司 自适应色度补偿法及其补偿装置
JP2002142127A (ja) 2000-11-06 2002-05-17 Oki Data Corp 分光感度特性の最適化方法
US6771400B2 (en) 2001-03-16 2004-08-03 Larry Kleiman Hyperspectral system for capturing graphical images
US20030048263A1 (en) 2001-03-19 2003-03-13 Wolters Rolf Holger Mosaic filter multi-spectral imaging
EP1407445B1 (en) 2001-06-07 2010-07-21 Genoa Color Technologies Ltd. System and method of data conversion for wide gamut displays
WO2003014796A1 (en) * 2001-08-09 2003-02-20 The Trustees Of Columbia University In The City Of New York Adaptive imaging using digital light processing
US7224845B1 (en) 2002-02-28 2007-05-29 Bae Systems Information And Electric Systems Integration Inc. Bijection mapping for compression/denoising of multi-frame images
GB0206916D0 (en) 2002-03-23 2002-05-01 Univ East Anglia Representation of colour in a colour display system
EP1365575A1 (de) * 2002-05-23 2003-11-26 GRETAG IMAGING Trading AG Verfahren und Vorrichtung zur Kontrastverbesserung von Bildern
AU2003283696A1 (en) 2002-12-12 2004-06-30 Koninklijke Philips Electronics N.V. Transformation structures for approximating color matching functions
US7176963B2 (en) 2003-01-03 2007-02-13 Litton Systems, Inc. Method and system for real-time image fusion
US7583419B2 (en) 2003-01-09 2009-09-01 Larry Kleiman System for capturing graphical images using hyperspectral illumination
US20050094887A1 (en) 2003-11-05 2005-05-05 Cakir Halil I. Methods, systems and computer program products for fusion of high spatial resolution imagery with lower spatial resolution imagery using correspondence analysis
US20050157190A1 (en) 2004-01-16 2005-07-21 Litton Systems, Inc. Combining multiple spectral bands to generate an image
WO2005101853A1 (ja) 2004-04-05 2005-10-27 Mitsubishi Denki Kabushiki Kaisha 撮像装置
FR2874731B1 (fr) 2004-09-02 2007-03-16 Optis Sa Procede et systeme d'affichage d'une image numerique en couleurs vraies
SE0402576D0 (sv) 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
GB0504520D0 (en) * 2005-03-04 2005-04-13 Chrometrics Ltd Reflectance spectra estimation and colour space conversion using reference reflectance spectra
JP2006304255A (ja) 2005-03-24 2006-11-02 Seiko Epson Corp 画像処理装置及び画像処理方法ならびにそのプログラムと記録媒体
JP4595734B2 (ja) 2005-08-03 2010-12-08 セイコーエプソン株式会社 プロファイル作成方法、プロファイル作成装置、プロファイル作成プログラム、印刷制御方法、印刷制御装置、及び印刷制御プログラム
US7420678B2 (en) 2005-09-12 2008-09-02 The Boeing Company Multi-spectral imaging
US7616359B2 (en) * 2006-06-14 2009-11-10 Kabushiki Kaisha Toshiba Image reading apparatus, image forming apparatus, and image forming method
WO2008067472A2 (en) 2006-11-29 2008-06-05 President And Fellows Of Harvard College A new spatio-spectral sampling paradigm for imaging and a novel color filter array design
JP5074101B2 (ja) 2007-06-04 2012-11-14 オリンパス株式会社 マルチスペクトル画像処理装置およびこれを用いる色再現システム
US8253824B2 (en) 2007-10-12 2012-08-28 Microsoft Corporation Multi-spectral imaging
US8031938B2 (en) 2008-04-14 2011-10-04 Eastman Kodak Company Method and apparatus for providing improved human observer XYZ functions and calculations for CIELAB
WO2009141970A1 (ja) 2008-05-19 2009-11-26 株式会社村田製作所 振動装置
US8458236B2 (en) 2008-07-16 2013-06-04 Oracle International Corporation File system interface for CIM
US8223336B2 (en) 2009-07-31 2012-07-17 Eastman Kodak Company Method for converting digital color images
US8401289B2 (en) 2009-07-31 2013-03-19 Eastman Kodak Company Method for matching colors between two systems
US8203712B2 (en) 2009-07-31 2012-06-19 Eastman Kodak Company Method and apparatus for measuring colors
US8355573B2 (en) 2009-07-31 2013-01-15 Eastman Kodak Company Method for matching colors by using human observer color matching functions
US8358318B2 (en) 2009-07-31 2013-01-22 Eastman Kodak Company Method for reproducing an image on an imaging device
US8203756B2 (en) 2009-07-31 2012-06-19 Eastman Kodak Company Method for characterizing the color response of an imaging device
EP2464952B1 (en) 2009-08-11 2018-10-10 Koninklijke Philips N.V. Multi-spectral imaging
EP2473834B1 (en) 2009-09-03 2021-09-08 National ICT Australia Limited Illumination spectrum recovery
CN101640803B (zh) 2009-09-04 2012-05-09 中国科学技术大学 一种用于多光谱图像的渐进的分布式编解码方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1450302A1 (en) * 2001-11-02 2004-08-25 Telecommunications Advancement Organization of Japan Color reproduction system
US20090141970A1 (en) * 2007-11-29 2009-06-04 Canon Kabushiki Kaisha Generating a transformed interim connection space for spectral data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107873079A (zh) * 2015-05-01 2018-04-03 变量公司 智能对准系统和用于彩色感测装置的方法
CN107873079B (zh) * 2015-05-01 2019-08-02 变量公司 智能对准系统和用于彩色感测装置的方法

Also Published As

Publication number Publication date
EP2798831B1 (en) 2016-08-31
JP5727109B2 (ja) 2015-06-03
EP2798830B1 (en) 2016-03-16
JP2015507414A (ja) 2015-03-05
CN104115481B (zh) 2016-02-24
US8947549B2 (en) 2015-02-03
US20150022685A1 (en) 2015-01-22
WO2013101639A1 (en) 2013-07-04
US20140300752A1 (en) 2014-10-09
US8929654B2 (en) 2015-01-06
JP2015507413A (ja) 2015-03-05
US20140022410A1 (en) 2014-01-23
US20140348426A1 (en) 2014-11-27
CN104025562B (zh) 2016-05-18
WO2013101642A1 (en) 2013-07-04
HK1197709A1 (zh) 2015-02-06
EP2798830A1 (en) 2014-11-05
CN104025562A (zh) 2014-09-03
US9077942B2 (en) 2015-07-07
EP2798831A1 (en) 2014-11-05
JP5883949B2 (ja) 2016-03-15
US9479750B2 (en) 2016-10-25

Similar Documents

Publication Publication Date Title
CN104115481B (zh) 光谱图像处理
US8682093B2 (en) Method and system for generating accented image data
CN105046646A (zh) 一种高光谱图像的色彩可视化的方法
US7450158B2 (en) Spectrum and color reproduction system to convert a color signal from a color-image input into a color signal for a color-image output
US10948351B2 (en) Method and device for determining the color homogeneity of hair
Azad et al. Color image processing in digital image
CN106683082A (zh) 一种基于四元数的全参考彩色图像质量评价方法
Al-saleem et al. Mathematical representation of color spaces and its role in communication systems
US20020140701A1 (en) Method and system for constructing and visualizing color gamuts
CA2664094A1 (en) Method and recording medium for conversion of a 3-component color space model to an n-component color space model
Shrestha et al. CFA based simultaneous multispectral imaging and illuminant estimation
Vaillant et al. Color correction matrix for sparse RGB-W image sensor without IR cutoff filter
Chaki et al. Introduction to image color feature
Shrestha et al. Simultaneous multispectral imaging and illuminant estimation using a stereo camera
Higham Color spaces and digital imaging
Worthey et al. Camera design using locus of unit monochromats
Jacobson et al. SNR-adaptive linear fusion of hyperspectral images for color display
Liang et al. Research on automatic inspection methods of image quality of digital aerial photography results
Zhai et al. Preliminary Study on Color Reduction of Digital Images
PRO CIC
Murakami et al. Evaluating wide gamut color capture of multispectral cameras
Benedetti Color to gray conversions for stereo matching
Lau A Cluster-Based Framework for Contrast Preservation during Color Space Transformations
Selva et al. Object-Specific and Target-Free Procedure for the Color Accuracy of a Two-Dimensional Digital Reproduction
Kalenova Color ad spectral image assessment using novel quality and fidelity techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1197709

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1197709

Country of ref document: HK