CN101019131A - 有效完成图像数据变换过程的系统和方法 - Google Patents

有效完成图像数据变换过程的系统和方法 Download PDF

Info

Publication number
CN101019131A
CN101019131A CNA2004800345321A CN200480034532A CN101019131A CN 101019131 A CN101019131 A CN 101019131A CN A2004800345321 A CNA2004800345321 A CN A2004800345321A CN 200480034532 A CN200480034532 A CN 200480034532A CN 101019131 A CN101019131 A CN 101019131A
Authority
CN
China
Prior art keywords
transformation
image data
parameter
transformation parameter
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800345321A
Other languages
English (en)
Other versions
CN101019131B (zh
Inventor
F·A·巴凯
T·J·库珀
松井启
西尾研一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of CN101019131A publication Critical patent/CN101019131A/zh
Application granted granted Critical
Publication of CN101019131B publication Critical patent/CN101019131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Picture Signal Circuits (AREA)

Abstract

一种用于有效完成图像数据变换过程的系统和方法，包括配置成捕获与摄影目标对应的基本图像数据的电子摄像机装置。电子摄像机装置中的变换管理程序可以配置成通过使用可选择的变换参数把基本图像数据变换成二次图像数据，通过使用最佳化度量把所述可选择的变换参数最佳化，从而使二次图像数据中的噪声特性最小。可以把变换参数存储在电子摄像机装置的参数对照表中，以便由变换管理程序用于实现图像数据的变换过程。

Description

有效完成图像数据变换过程的系统和方法
发明领域
本发明一般涉及用于处理数据的方法，更准确地说，涉及有效完成图像数据变换过程的系统和方法。
背景技术说明
对于设计者和现代电子设备生产厂家来说，提供用于处理数据的有效方法是一个重要问题。但是用电子装置有效处理数据是对系统设计的重要挑战。例如，增加装置功能和提高系统性能的需要可能要求系统更强的处理能力，并需要增加硬件资源。由于增加了产品成本和降低了操作效率，因而处理能力和硬件需求的增加也可能产生不利的经济影响。
而且，增强装置能力实现各种先进的操作可以为系统用户提供附加的效益，但是也可能增加对各种装置部件的控制和管理方面的要求。例如，由于所涉及的数字数据的量大并且复杂，所以可以从有效捕获和处理数字图像数据的增强型电子装置的有效实现获益。
在某些捕获数字图像数据的电子摄像机中，可能需要用于改变图像数据格式的各种变换过程。由于对系统资源需求的增加和显著地提高了数据量，所以，很明显，开发处理数据的新方法是关系到有关电子技术的重大事情。因此，对于上述所有原因，开发有效处理数据的系统仍然是现代电子装置的设计人员、厂家和用户的重要考虑。
发明概述
根据本发明，公开一种用于有效完成图像数据变换过程的系统和方法。在一个实施例中，可以在离线设计过程期间确定变换参数界限，以便规定实现上述图像数据变换过程的最佳变换参数的所需的范围。此外，可以确定用于估算关于在各种条件下噪声特性的色彩补片的典型补片集的最佳化度量。
这样，就可以测量和记录典型补片集的当前光源。接着，可以度量典型补片集的所有色彩补片，以便确定所需的各种色彩和亮度特性。根据本发明，可以仔细选择最佳变换参数，以便使最佳化度量最小，从而使对应的图像数据中噪声最小最佳化度量。可以重复上述过程，以便选择在各种摄像机增益下每一种所需的所有光源的额外最佳变换参数。最后，在已经选择每一种光源和摄像机增益的最佳变换参数后，就可以创建参数对照表，以便把最佳变换参数存储在电子摄像机装置中。
在在线过程中，最初可以根据所需摄影目标的当前照明条件，由电子摄像机装置确定和存储适当的摄像机增益。然后，电子摄像机装置可以估算和存储摄影目标的当前光源。电子摄像机装置的变换管理程序可以对包含用于实现图像数据变换过程的最佳变换参数的一个或多个上述参数对照表进行访问。
在某些实施例中，变换管理程序可以利用参数对照表对最佳变换参数进行内插，所述最佳变换参数最接近摄影目标的当前摄像机增益和当前光源。接着根据本发明，变换管理程序可以把合适的最佳变换参数装入电子摄像机装置的摄像机寄存器中，并且可以利用最佳变换参数实现一次或多次图像数据的变换过程。因此，本发明提供一种用于有效完成图像数据变换过程的改进的系统和方法。
附图的简要说明
图1是本发明的摄像机装置的一个实施例的方框图；
图2是本发明图1所示存储器的一个实施例的方框图；
图3是本发明的变换矩阵的一个实施例的示意图；
图4是图解说明按照本发明确定标准噪声偏差的一个实施例的图示；
图5是本发明的参数对照表的一个实施例的示意图；
图6是按照本发明的一个实施例实现确定最佳变换参数的离线过程的方法步骤的流程图；以及
图7是按照本发明的一个实施例实现利用最佳变换参数的在线过程的方法步骤的流程图。
详细说明
本发明涉及一种改进的数据处理方法。以下说明使本专业的普通技术人员能够实施和应用本发明，并且以下说明是在专利申请内容及其要求的范围内提供的。本专业的技术人员将容易明白对所述公开的实施例的各种修改，本发明的一般原理可以应用于其他实施例。因此，本发明没有局限于所述实施例，而符合与本说明书说明的原理和特征一致的最广泛的范围。
本发明包括有效完成图像数据变换过程的系统和方法，并且可以包括被实现来捕获与摄影目标对应的基本图像数据的电子摄像机装置。在电子摄像机装置中的变换管理程序可以配置成通过利用可选择的变换参数将基本图像数据变换成二次图像数据，其中通过利用最佳化度量来将所述变换参数最佳化，从而使二次图像数据中噪声特性最小。变换参数可以存储在电子摄像机装置中的参数对照表中，所述参数对照表由变换管理程序用于实现图像数据的变换过程。
现在参考图1，图中示出根据本发明的摄像机装置110的一个实施例的方框图。在图1的实施例中，摄像机装置110可以包括(但不限于)捕获子系统118、系统总线138和控制模块114。在图1的实施例中，捕获子系统118可以光耦合到目标对象，并且也可以通过系统总线138电连接到控制模块114。
在替代的实施例中，除了(或者代替)结合图4说明的那些部件外，摄像机装置110可以包括各种其他部件。此外，在某些实施例中，除了图1所示的摄像机装置110外，本发明可以替代地体现在任何合适类型的电子装置中。例如，可以容易地以扫描仪装置或电视摄像机装置的形式来实现摄像机装置110。
摄像机装置的形式来实现摄像机装置110。
在图1的实施例中，一旦系统用户将捕获子系统118聚焦在目标对象上、并请求摄像机装置110捕获与目标对象对应的图像数据时，控制模块114可以通过系统总线138命令捕获子系统118捕获表示目标对象的图像数据。然后捕获的图像数据可以通过系统总线138传送给控制模块114，控制模块114可以以应答的方式对图像数据执行各种处理和功能。系统总线138也可以在捕获子系统118和控制模块114之间双向传输各种状态信号和控制信号。
在某些实施例中，摄像机装置110可以包括用于确定当前目标对象照明的照明估算装置。例如，摄像机装置110可以估算当前的照明是任何合适的光源，例如，目光、荧光或白炽光的特定色温。此外，摄像机装置110可以包括用于改变摄像机装置110的摄像机增益的摄像机增益调节装置，以便补偿当前目标对象上的亮度条件。例如，摄像机装置110可以提高摄像机的增益以补偿目标对象暗的照明条件，也可以降低摄像机的增益以补偿目标对象的明亮的照明条件。
在图1的实施例中，捕获子系统118可以包括(但不限于)图像传感器，所述图像传感器通过沿光路冲击图像传感器的反射光来捕获与目标对象对应的图像数据。所述图像传感器(最好包括电荷耦合器件(CCD))可以以应答的方式产生一组表示目标对象的图像数据。然后可以经由系统总线138把图像数据发送给控制模块114，以便进行适当的处理和存储。也可以考虑其他类型的图像捕获传感器，例如，CMOS和线性阵列，用于与本发明一起捕获图像数据。例如，图像捕获传感器可以包括三个或三个以上基色通道(例如，可以考虑红/绿/蓝(RGB)或深蓝/深红/黄/绿(C/M/Y/G))。
在图1的实施例中，控制模块114最好包括(但不限于)取景器134、中央处理器(CPU)122、存储器126和一个或多个输入/输出接口(I/O)130。取景器134、CPU 122、存储器126和I/O 130最好都通过通用系统总线138连接和通信，通用系统总线138也与捕获子系统118通信。在替代的实施例中，除了(或代替)结合图1的实施例说明的那些部件外，控制模块114可以包括各种其他部件。
在图1的实施例中，CPU 122最好配置成包括任何合适的微处理器装置。另外，可以使用其他合适的方法来实现CPU 122。例如，CPU122可以包括某些专用集成电路(ASIC)或其他合适的电子器件。存储器126最好用一个或多个合适的存储装置实现，包括(但不限于)只读存储器、随机存取存储器和各种类型的非易失性存储器，例如，软磁盘驱动器、硬磁盘驱动器或快速存储器。I/O 130最好提供一种或多种有效接口，用于在摄像机装置110和任何外部实体，包括系统用户或其他电子装置之间进行双向通信。I/O 130可以使用任何合适的输入/输出装置实现。下面结合图2-7进一步说明摄像机装置110的功能和应用。
现在参考图2，图中示出根据本发明的图1所示存储器126的一个实施例的方框图。在图2的实施例中，存储器126最好包括(但不限于)摄像机应用程序212、操作系统214、变换管理程序216、RGB图像数据218、YCbCr图像数据220、压缩图像数据216、临时存储器224和杂项信息226。在替代的实施例中，除了(或代替)结合图2的实施例说明的那些部件外，存储器126可以包括各种其它部件。
在图2的实施例中，摄像机应用程序212可以包括程序指令，所述程序指令最好由CPU 122(图1)执行，以便实现摄像机装置110的各种功能和操作。摄像机应用程序212的具体特性和功能最好随各种因素，例如相应的摄像机装置110的类型和特定用途而变化。
在图2的实施例中，操作系统214最好控制和协调摄像机装置110的低电平功能。根据本发明，变换管理程序216最好控制和协调由摄像机装置110捕获的图像数据的一个和多个图像数据的变换过程。下面将结合图3-7进一步说明变换管理程序216的功能。
在图2的实施例中，RGB图像数据218、YCbCr图像数据220和压缩图像数据222可以包括由摄像机装置110捕获的各种格式的图像数据。临时存储器224可以提供任何合适类型的信息和数据的临时性存储单元。杂项信息226可以包括任何所需的软件指令、数据和其他信息，用于由摄像机装置110执行各种功能。
现在参考图3，图中示出根据本发明的变换矩阵310的一个实施例的示意图。在本发明的替代的实施例中，变换管理程序216可以使用各种方法，这些方法与结合图3的实施例说明的那些方法不同。
根据本发明，变换管理程序216(图2)和另一种合适的实体可以使用变换矩阵310的变换参数将RGB图像数据218(和其他合适的基本彩色图像数据)变换成对应的YCbCr图像数据220。在本发明的某些实施例中，变换管理程序216可以类似地使用变换矩阵310把基本彩色图像数据变换成适当的格式，而不是YCbCr图像数据220。
在图3的实施例中，变换矩阵310可以包括亮度变换参数的第一行314、Cb变换参数的第二行330和Cr变换参数的第三行334。在图3的实施例中，上述亮度变换参数的第一行314可以包括第一亮度变换参数“a”(318)、第二亮度变换参数“b”(322)和第三亮度变换参数“c”(326)。
在某些实施例中，变换矩阵310可以使用变换矩阵310实现图像数据的变换过程，把RGB图像数据218变换成YCbCr图像数据220，从而便利于随后把YCbCr图像数据220变换成合适类型的压缩图像数据222，例如，MPEG图像数据。所述YCbCr格式是电视工业应用的标准彩色空间。在图3的实施例中，上述图像数据变换过程可以使用来自众所周知的“601建议书”标准的传统变换参数来计算具有Cb变换参数的第二行330的“Cb”。601建议书更正式地称为建议书ITU-R(以前称为 CCIR)BT.601-4、“演播厅数字电视编码参数”(日内瓦：ITU，1990)。类似地，上述图像数据变换过程可以使用来自称作“601建议书”标准的传统变换参数来计算具有Cr变换参数的第三行330的“Cr”。
使用来自“610建议书”标准的变换参数，可以用以下公式来描述“Cb”：
Cb＝dR+eG+fB
其中，“R、G和B”为RGB图像数据218的基色值，“d、e和f”为变换矩阵310的Cb变换参数的第二行330的变换参数。
类似地，使用“610建议书”标准的变换参数，可以用以下公式来描描述“Cr”：
Cr＝gR+hG+iB
其中，“R、G和B”为RGB图像数据218的基色值，“g、h和i”为变换矩阵310的Cr变换参数的第三行334的变换参数。
根据本发明，变换管理程序216也可以优先选择变换参数318、322和326，并根据以下公式计算第一亮度值“Y1”：
Y1＝aR+bG+cB
其中，“R、G和B”为RGB图像数据218的基色值，“a、b和c”为变换矩阵310的亮度变换参数的第一行314的变换参数。
在图3的实施例中，亮度变换参数的第一行314也可以另外表示为亮度变换参数。例如，第一亮度变换参数“a”(318)可以另外表示为“k1”，第二亮度变换参数“b”(322)可以表示为“k2”，这样，根据本发明，第三亮度变换参数“c”(326)可以由以下公式确定：
c＝1-k1-k2
其中“k1”为第一亮度变换参数318，而“k2”为第二亮度变换参数322。
因此，变换管理程序216可以选择变换参数318和322，以便根据以下公式计算第一亮度值“Y1”：
Y1＝(k1)R+(k2)G+(1-k1-k2)B
其中“R、G和B”为RGB图像数据218的基色值，而“k1”和“k2，，是从变换矩阵310的亮度变换参数的第一行314选择的变换参数。
本发明也可以使用第二亮度值“Y2”，所述第二亮度值可以根据组合变换参数“k3”与上述第一亮度值“Y1”组合，从而为YCbCr图像数据220产生最终亮度值“Y”。第二亮度值“Y2”可以是相关的未处理亮度值，所述未处理亮度值可以用各种恰当方法确定。例如，第二亮度值“Y2”可以简单地为从最初捕获的图像数据(例如，RGB图像数据和CMYG图像数据)选择的基色值的和或者平均值。
根据本发明的某些实施例，变换管理程序216可以通过选取组合变换参数“k3”，并应用以下公式计算上述最终亮度值“Y”：
Y＝(k3)Y1+(1-K3)Y2
其中“Y1”为使用变换矩阵310计算的第一亮度值，“Y2”为上述第二亮度值。
在某些实施例中，本发明可以对上述变换参数设置某些变换参数极限值。例如，“k1”可以由下式：0≤k1≤1限制。类似地，“k2”可以由下式：0≤k2≤1限制。此外第三亮度变换参数“c”(326)可以由下式：0≤(1-k1-k2)≤1限制。其中第三亮度变换参数“c”(326)等于(1-k1-k2)。上述组合变换参数“k3”可以由下式：0≤k3≤2限制。
根据本发明，可以有利地优化选择亮度变换参数“k1”、“k2”和“k3”，以便使YCbCr图像数据220(因而在相应的最终显示的图像)中各种类型的噪声特性最小。在某些实施例中，也可以这样选择亮度变换参数“k1”、“k2”和“k3”，使得YCbCr图像数据220中各种类型的彩色偏移特性最小。下面将结合图4-7进一步说明上述变换参数的偏差和应用。
现在参考图4，图中示出根据本发明的图解说明用于确定标准偏差的一个实施例的图形410。在替代的实施例中，本发明可以容易地使用不同于结合图4的实施例说明的各种方法。
如上所述，可以有利地优化选择亮度变换参数“k1”、“k2”和“k3”，以便使YCbCr图像数据220中各种噪声特性最小。为了使亮度变换参数“k1”、“k2”和“k3”最佳化，必须导出最佳化度量，以便估算YCbCr图像数据220中的噪声特性。本发明可以使用任何合适和有效的方法导出一个和多个最佳化度量。
在某些实施例中，可以通过应用典型彩色补片的补片集导出最佳化度量。例如，可以采用24种不同的典型彩色补片的标准MacBeth彩色检查卡来导出有效的最佳化度量。对于给定的摄像机增益、照明和变换参数“k1”、“k2”和“k3”，可以测量补片集的每一种彩色补片。然后，可以在适当的彩色空间(例如，标准的L*a*b*彩色空间)中计算每一种彩色补片的噪声方差值。然后可以计算上述最佳化度量，所述最佳化度量是每一种彩色补片的所有上述噪声方差值的平均值。
在图4的实施例中，图形410示出垂直轴414上的L*a*b*彩色空间的L*值，并示出水平轴418上给定的彩色补片中的象素。图形410还示出平均的L*值422。在某些实施例中，最初可以以非线性YCbCr格式测量彩色补片，然后将其变换成线性的L*a*b*格式，以便导出最佳化度量。在图4的实施例中，示出由平均的L*值422上面的线432和平均的L*值422下面的线436限定的平均的L*值422附近的噪声标准差428。
这样，可以通过测量平均的L*值422上面和下面的噪声值来确定噪声标准差428。根据图4的实施例，可以根据以下公式，通过求噪声标准差428的平方来获得与当前彩色补片对应的噪声方差值：
NV＝(SND)2
其中SND为噪声标准差428，而NV为用于计算最佳化度量的噪声方差值中的一个。
在获得每一个彩色补片的噪声方差值“NV”之后，就可以根据以下公式、通过取每一个彩色补片噪声方差值的平均值来计算最佳化度量“Ф”：
Ф(增益，光源，k1，k2，k3)＝(NV1+NV2+NV3+...NVM)/M
其中“M”为补片集中彩色补片的数目，而“Ф(增益，光源，k1，k2，k3)”为对于具体摄像机增益、照明和对变换参数“k1”，“k2”，“k3”的选择的最佳化度量。在某些实施例中，最佳化度量也可以包括来自彩色补片的其他测量值的信息。例如，最佳化度量可以包括来自L*a*b*彩色空间的a*值和/或b*值的信息。
根据本发明，上述最佳化度量可以用于使对变换参数“k1”，“k2”，“k3”的选择最佳化，以便使YCbCr图像数据220中的噪声特性最小。更准确地说，可以通过相对于各种摄像机增益和照明改变变换参数“k1”，“k2”，“k3”来寻找最佳化度量的最小值。上述最佳化度量的最小值可以用任何有效方法确定。例如，可以使用简单的试探法，或者可以把更智能化的“最陡下降路径”(path of steepest descent)法以迭代方式用于确定最佳化度量的极小值。
一旦在具体摄像机增益的情况下相对于各种光源确定了最佳变换参数“k1”，“k2”，“k3”，那么，就可以实现用于存取或内插适当的最佳变换参数“k1”，“k2”，“k3”以便用于由摄像机装置110执行图像数据变换过程的参数对照表。下面将结合图5说明参数对照表的一种实现方案。
现在参考图5，图中示出根据本发明的参数对照表510的一个实施例的示意图。图5的参数对照表510用于说明的目的，在本发明的替代的实施例中，参数对照表510可以包括各种配置的其他元件和部件，这些元件和部件与结合图5的实施例说明的那些元件和部件不同。
在图5的例子中，第一列534表示各个光源A至E的k1值序列，所述光源A至E在对应的行514至530中示出。类似地，第二列538表示行514至530中光源A至E的k2值序列。第三列542也表示行514至530中光源A至E的k3值序列。为了说明，图5的参数对照表510只示出5个光源。但是在替代的实施例中，可以包括任何所需数目和类型的光源。
图5的对照表510提供了对于摄像机增益1的最佳变换参数。根据本发明，可以容易地实现对于其他任何所需数值的摄像机增益的附加的参数对照表510。此外，为了把有价值的存储资源存储到摄像机装置110中，可以以包括相当少入口数目的最小化格式有利地实现参数对照表510。
根据本发明，对于没有具体列入对照表510中的增益或光源，变换管理程序216可以应用各种有效的内插方法，内插附加的最佳变换参数。此外，变换管理程序216也可以通过利用一个或多个描述对照表510中变换参数特性或关系的数学公式或算法来导出附加的最佳变换参数。
现在参考图6，图中示出根据本发明的一个实施例的用于实现确定最佳变换参数的离线设计过程的方法步骤的流程图。图6的实施例用于说明目的，在替代的实施例中，本发明可以使用各种其它步骤和序列，而不是结合图6的实施例讨论的那些步骤和序列。
在图6的实施例中，在步骤612可以限定参数的极限值以便规定实现图像数据变换过程的最佳变换参数的所需范围。在步骤616，可以确定用于估算表示彩色补片的补片集的最佳化度量。然后在步骤620，可以度量和记录典型补片集的当前光源。接着在步骤624，可以测量典型补片集的每一个彩色补片，以便确定各种所需的彩色和亮度特征。
在步骤628，根据本发明可以仔细选择各种最佳变换参数，以便使最佳化度量最小，从而使对应的图像数据中的噪声特性最小。在步骤632，如果对于附加光源继续选择最佳变换参数，那么图6的过程可以返回步骤620至632，以便为每一个附加光源重新选择附加的最佳变换参数。
最后，在步骤636，当已经为每一个光源选择了最佳变换参数时，那么，就可以为当前摄像机的增益创建参数对照表510。这时，图6的过程就可终止。但是，根据本发明，通常可以为摄像机增益的任何所需值重复图6的过程，从而产生由摄像机装置110在执行图像数据变换过程中应用的完整的参数对照表510的集。下面结合图7说明应用参数对照表510的一个实施例。
现在参考图7，图中示出根据本发明的一个实施例利用最佳变换参数实现在线过程的方法步骤的流程图。图7的实施例用于说明目的，在替代的实施例中，本发明可以使用各种其它步骤和序列，而不是结合图7的实施例所说明的那些步骤和序列。
在图7的实施例中，在步骤712，根据所需摄影目标的当前照明条件，最初可以由摄像机装置110确定合适的摄像机增益并将其存储。然后在步骤716，摄像机装置110可以估算摄影目标的当前光源。在步骤720，摄像机装置110的变换管理程序216可以访问一个或多个包含实现图像数据变换过程的最佳变换参数的参数对照表510。
在步骤724，变换管理程序216可以使用参数对照表510内插最接近摄影目标的当前摄像机增益和当前光源的最佳变换参数。接着在步骤728，变换管理程序216可以把上一步骤724获得的合适的最佳变换参数装入摄像机装置110的摄像机寄存器中。最后，在步骤732，根据本发明，变换管理程序216可以利用最佳变换参数实现一个或多个图像数据变换过程。然后终止图7的过程。
上面参照某些实施例说明了本发明。根据本说明，对于本专业的技术人员来说其它实施例将是显而易见的。例如，可以使用与上述实施例中说明的不同的配置和方法来实现本发明。此外，可以同与上述不同的系统一起有效地使用本发明。因此，本发明覆盖了关于上述实施例的所有变型，本发明仅仅由所附的权利要求书限定。

Claims (42)

1.一种用于有效完成图像数据变换过程的系统，所述系统包括：
电子摄像机装置，它配置成捕获与摄影目标对应的基本图像数据；以及
变换管理程序，它配置成通过利用被最佳化的变换参数来把所述基本图像数据变换成二次图像数据，以便使所述二次图像数据中的噪声特性最小。
2.如权利要求1所述的系统，其中所述基本图像数据具有RGB格式，在所述图像变换过程中所述变换管理程序把所述基本图像数据变换成YCbCr格式的所述二次图像数据。
3.如权利要求2所述的系统，其中所述变换管理程序利用所述变换参数执行所述图像数据变换过程，所述变换参数包括第一变换参数“k1”、第二变换参数“k2”和组合参数“k3”。
4.如权利要求3所述的系统，其中所述变换管理程序利用变换矩阵执行所述图像数据变换过程，所述变换矩阵具有亮度变换行，所述亮度变换行包括所述第一变换参数“k1”、所述第二变换参数“k2”和等于(1-k1-k2)的第三变换参数。
5.如权利要求4所述的系统，其中所述变换管理程序根据以下公式计算第一亮度值“Y1”：
Y1＝(k1)R+(k2)G+(1-k1-k2)B
其中“R”、“G”和“B”分别为所述基本图像数据的红、绿和蓝基色值，“k1”为所述第一变换参数，“k2”为所述第二变换参数，而(1-k1-k2)为所述变换矩阵的所述亮度变换行的第三变换参数。
6.如权利要求2所述的系统，其中通过估算最佳化度量来将所述变换参数最佳化。
7.如权利要求6所述的系统，其中在线性L*a*b*彩色空间中估算所述最佳化度量，以便使所述二次图像数据中的所述噪声特性最小。
8.如权利要求7所述的系统，其中计算典型补片集的每一个彩色补片的平均L*值之上和平均L*值之下的标准噪声偏差，所述标准噪声偏差用于根据以下公式计算每个所述彩色补片的噪声方差值：
NV＝(SND)2
其中SND为所述标准噪声偏差之一，而NV是用于计算所述最佳化度量的所述各噪声方差值中对应的一个噪声方差值。
9.如权利要求8所述的系统，其中根据以下公式，通过计算各个彩色补片的所述噪声方差值的平均值来所述最佳化度量：
Φ(增益，光源，k1，k2，k3)＝(NV1+NV2+NV3+...NVM)/M其中“M”为所述补片集中所述彩色补片的总数目，“NV”为所述各噪声方差值中的一个，而“Φ(增益，光源，k1，k2，k3)”是相对于摄像机增益、光源和对所述变换参数k1，k2和k3的选择的特定值的所述最佳化度量。
10.如权利要求5所述的系统，其中所述组合参数“k3”用于确定组合所述第一亮度值“Y1”和第二亮度值“Y2”以便产生所述YCbCr格式的所述二次图像数据的最终亮度值“Y”的组合比率。
11.如权利要求10所述的系统，其中所述第二亮度值“Y2”是从所述基本图像数据中选择的基色值的简单的未处理的平均值。
12.如权利要求11所述的系统，其中所述变换管理程序应用以下公式计算所述最终亮度值“Y”：
Y＝(k3)Y1+(1-k3)Y2
其中“Y1”为利用所述变换矩阵计算的所述第一亮度值，“Y2”为所述第二亮度值，而“k3”为所述组合参数。
13.如权利要求3所述的系统，其中在每一种摄像机增益下，对每一个光源，将所述变换参数最佳化并将其存储在所述摄像机装置的参数对照表中。
14.如权利要求13所述的系统，其中是用以具有减少的所述变换参数的数目的最小化的格式实现所述参数对照表，对未具体列在所述参数对照表中的某些所述摄像机增益和所述光源，所述变换管理程序使用内插方法对附加变换参数进行内插。
15.如权利要求3所述的系统，其中利用参数极限值来限制所述变换参数，其中所述第一变换参数“k1”由第一公式：0≤k1≤1限制，所述第二变换参数“k2”由第二公式：0≤k2≤1限制，所述第三变换参数(1-k1-k2)由第三公式：0≤(1-k1-k2)≤1限制，而所述组合变换参数“k3”由第四公式：0≤k3≤2限制。
16.如权利要求1所述的系统，其中在确定变换参数极限值的离线设计过程中选择所述变换参数，并且为估算补片集中的典型彩色补片而确定最佳化度量。
17.如权利要求16所述的系统，其中相对于一序列所述典型彩色补片的所需光源和摄像机增益，将最佳化度量最小化，从而确定所述各变换参数中哪一些是最佳的，以便将所述二次图像数据中的所述噪声特性最小化。
18.如权利要求17所述的系统，其中所述变换参数用于在所述摄像机装置中为执行所述图像数据变换过程而创建参数对照表。
19.如权利要求1所述的系统，其中所述摄像机装置测量和记录与摄影目标对应的当前摄像机增益和当前光源。
20.如权利要求19所述的系统，其中所述变换管理程序访问所述变换参数的参数对照表，所述变换管理程序根据所述当前摄像机增益和所述当前光源对所述变换参数中的合适的变换参数值进行内插，然后所述变换管理程序利用所述变换参数中的合适变换参数值执行所述图像数据变换过程，以便产生所述二次图像数据。
21.一种有效完成图像数据变换过程的方法，所述方法包括以下步骤：
利用电子摄像机装置捕获与摄影目标对应的基本图像数据；以及
应用变换管理程序，通过利用变换参数将所述基本图像数据变换成二次图像数据，将所述变换参数最佳化以便使所述二次图像数据中的噪声特性最小。
22.如权利要求21所述的方法，其中所述基本图像数据具有RGB格式，在所述图像变换过程中所述变换管理程序把所述基本图像数据变换成YCbCr格式的所述二次图像数据。
23.如权利要求22所述的方法，其中所述变换管理程序利用所述变换参数执行所述图像数据变换过程，所述变换参数包括第一变换参数“k1”、第二变换参数“k2”和组合参数“k3”。
24.如权利要求23所述的方法，其中所述变换管理程序利用变换矩阵执行所述图像数据变换过程，所述变换矩阵具有亮度变换行，所述亮度变换行包括所述第一变换参数“k1”、所述第二变换参数“k2”和等于(1-k1-k2)的第三变换参数。
25.如权利要求24所述的方法，其中所述变换管理程序根据以下公式计算第一亮度值“Y1”：
Y1＝(k1)R+(k2)G+(1-k1-k2)B
其中“R”、“G”和“B”分别为所述基本图像数据的红、绿和蓝基色值，“k1”为所述第一变换参数，“k2”为所述第二变换参数，而(1-k1-k2)为所述变换矩阵的所述亮度变换行的第三变换参数。
26.如权利要求22所述的方法，其中通过估算最佳化度量来将所述变换参数最佳化。
27.如权利要求26所述的方法，其中在线性L*a*b*彩色空间中估算所述最佳化度量，以便使所述二次图像数据中的所述噪声特性最小。
28.如权利要求27所述的方法，其中计算典型补片集的每一个彩色补片的平均L*值之上和平均L*值之下的标准噪声偏差，所述标准噪声偏差用于根据以下公式计算每个所述彩色补片的噪声方差值：
NV＝(SND)2
其中SND是所述标准噪声偏差之一，而NV是用于计算所述最佳化度量的所述各噪声方差值中对应的一个噪声方差值。
29.如权利要求28所述的方法，其中根据以下公式，通过计算各个彩色补片的所述噪声方差值的平均值来所述最佳化度量：
Φ(增益，光源，k1，k2，k3)＝(NV1+NV2+NV3+...NVM)/M其中“M”为所述补片集中所述彩色补片的总数目，“NV”为所述各噪声方差值中的一个，而“Φ(增益，光源，k1，k2，k3)”是相对于摄像机增益、光源和对所述变换参数k1，k2和k3的选择的特定值的所述最佳化度量。
30.如权利要求25所述的方法，其中所述组合参数“k3”用于确定组合所述第一亮度值“Y1”和第二亮度值“Y2”以便产生所述YCbCr格式的所述二次图像数据的最终亮度值“Y”的组合比率。
31.如权利要求30所述的方法，其中所述第二亮度值“Y2”是从所述基本图像数据中选择的基色值的简单的未处理的平均值。
32.如权利要求31所述的方法，其中所述变换管理程序应用以下公式计算所述最终亮度值“Y”：
Y＝(k3)Y1+(1-k3)Y2
其中“Y1”为利用所述变换矩阵计算的所述第一亮度值，“Y2”为所述第二亮度值，而“k3”为所述组合参数。
33.如权利要求23所述的方法，其中在每一种摄像机增益下，对每一个光源，将所述变换参数最佳化并将其存储在所述摄像机装置的参数对照表中。
34.如权利要求33所述的方法，其中是用以具有减少的所述变换参数的数目的最小化的格式实现所述参数对照表，对未具体列在所述参数对照表中的某些所述摄像机增益和所述光源，所述变换管理程序使用内插方法对附加变换参数进行内插。
35.如权利要求23所述的方法，其中利用参数极限值来限制所述变换参数，其中所述第一变换参数“k1”由第一公式：0≤k1≤1限制，所述第二变换参数“k2”由第二公式：0≤k2≤1限制，所述第三变换参数(1-k1-k2)由第三公式：0≤(1-k1-k2)≤1限制，而所述组合变换参数“k3”由第四公式：0≤k3≤2限制。
36.如权利要求21所述的方法，其中在确定变换参数极限值的离线设计过程中选择所述变换参数，并且为估算补片集中的典型彩色补片而确定最佳化度量。
37.如权利要求36所述的方法，其中相对于一序列所述典型彩色补片的所需光源和摄像机增益，将最佳化度量最小化，从而确定所述各变换参数中哪一些是最佳的，以便将所述二次图像数据中的所述噪声特性最小化。
38.如权利要求37所述的方法，其中所述变换参数用于在所述摄像机装置中为执行所述图像数据变换过程而创建参数对照表。
39.如权利要求21所述的方法，其中所述摄像机装置测量和记录与摄影目标对应的当前摄像机增益和当前光源。
40.如权利要求39所述的方法，其中所述变换管理程序访问所述变换参数的参数对照表，所述变换管理程序根据所述当前摄像机增益和所述当前光源对所述变换参数中的合适的变换参数值进行内插，然后所述变换管理程序利用所述变换参数中的合适变换参数值执行所述图像数据变换过程，以便产生所述二次图像数据。
41.一种计算机可读媒体，它包含用于通过执行以下步骤来完成图像数据变换过程的程序指令：
利用电子摄像机装置捕获与摄影目标对应的基本图像数据；以及
应用变换管理程序，通过利用变换参数将所述基本图像数据变换成二次图像数据，将所述变换参数最佳化以便使所述二次图像数据中的噪声特性最小。
42.一种用于有效完成图像数据变换过程的系统，所述系统包括：
用于捕获与摄影目标对应的基本图像数据的装置；以及
用于通过利用变换参数将所述基本图像数据变换成二次图像数据的装置，其中将所述变换参数最佳化以便使所述二次图像数据中噪声特性最小。
CN2004800345321A 2003-11-25 2004-11-18 有效完成图像数据变换过程的系统和方法 Active CN101019131B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/721,628 2003-11-25
US10/721,628 US7277575B2 (en) 2003-11-25 2003-11-25 System and method for effectively performing an image data transformation procedure
PCT/US2004/038756 WO2005052741A2 (en) 2003-11-25 2004-11-18 System and method for effectively performing an image data transformation procedure

Publications (2)

Publication Number Publication Date
CN101019131A true CN101019131A (zh) 2007-08-15
CN101019131B CN101019131B (zh) 2011-08-03

Family

ID=34591844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800345321A Active CN101019131B (zh) 2003-11-25 2004-11-18 有效完成图像数据变换过程的系统和方法

Country Status (6)

Country Link
US (1) US7277575B2 (zh)
EP (1) EP1687689B1 (zh)
JP (1) JP2007515876A (zh)
KR (1) KR101137611B1 (zh)
CN (1) CN101019131B (zh)
WO (1) WO2005052741A2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576797B2 (en) * 2001-06-25 2009-08-18 Texas Instruments Incorporated Automatic white balancing via illuminant scoring autoexposure by neural network mapping
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US7805066B2 (en) * 2007-12-24 2010-09-28 Microsoft Corporation System for guided photography based on image capturing device rendered user recommendations according to embodiments
US8320698B2 (en) * 2008-09-18 2012-11-27 Sony Corporation System and method for denoising using signal dependent adaptive weights
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
US20190139189A1 (en) * 2017-11-06 2019-05-09 Qualcomm Incorporated Image remosaicing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0373005A (ja) * 1989-08-12 1991-03-28 Eimu Kenkyusho:Kk 予定日の予告および行事日の演出装置付のマイコンつきの照明装置
JP2827410B2 (ja) * 1990-03-14 1998-11-25 ソニー株式会社 デイジタルデータの高能率符号化方法
US5850472A (en) * 1995-09-22 1998-12-15 Color And Appearance Technology, Inc. Colorimetric imaging system for measuring color and appearance
US5805213A (en) * 1995-12-08 1998-09-08 Eastman Kodak Company Method and apparatus for color-correcting multi-channel signals of a digital camera
US6459425B1 (en) * 1997-08-25 2002-10-01 Richard A. Holub System for automatic color calibration
KR100230261B1 (ko) * 1996-10-09 1999-11-15 윤종용 양자화된 평균 분리 히스토그램 등화와 칼라 보상을 이용한 칼라신호의 화질 개선방법 및 그 회로
US6049626A (en) * 1996-10-09 2000-04-11 Samsung Electronics Co., Ltd. Image enhancing method and circuit using mean separate/quantized mean separate histogram equalization and color compensation
JP4250214B2 (ja) 1997-04-18 2009-04-08 富士フイルム株式会社 色変換方法
US6600833B1 (en) * 1999-07-23 2003-07-29 Intel Corporation Methodology for color correction with noise regulation
JP3706789B2 (ja) * 2000-05-12 2005-10-19 キヤノン株式会社 信号処理装置及び信号処理方法
US6505002B2 (en) * 2000-12-22 2003-01-07 Eastman Kodak Company Camera that displays predominant color multi-color scene and/or multi-color captured image of scene
US7265781B2 (en) 2001-08-22 2007-09-04 Fujifilm Corporation Method and apparatus for determining a color correction matrix by minimizing a color difference maximum or average value
JP2003125226A (ja) * 2001-10-18 2003-04-25 Seiko Epson Corp 色変換方法、色変換装置および色変換処理プログラム
JP2003198860A (ja) * 2001-10-18 2003-07-11 Seiko Epson Corp 色変換方法、色変換装置、色変換行列生成方法および色変換行列生成プログラム

Also Published As

Publication number Publication date
EP1687689A4 (en) 2010-09-22
KR101137611B1 (ko) 2012-04-19
JP2007515876A (ja) 2007-06-14
CN101019131B (zh) 2011-08-03
US7277575B2 (en) 2007-10-02
EP1687689A2 (en) 2006-08-09
WO2005052741A3 (en) 2006-10-05
WO2005052741A2 (en) 2005-06-09
US20050110876A1 (en) 2005-05-26
EP1687689B1 (en) 2019-03-27
KR20060131754A (ko) 2006-12-20

Similar Documents

Publication Publication Date Title
US6788813B2 (en) System and method for effectively performing a white balance operation
JP4120841B2 (ja) プロジェクタの色補正方法
CN101621705B (zh) 自动白平衡的方法及装置
US8068686B2 (en) Image recording apparatus, image recording method, image processing apparatus, image processing method and image processing system
CN100563297C (zh) 实现白平衡校正的方法及装置
CN105915816B (zh) 用于确定给定场景的亮度的方法和设备
US7417642B2 (en) Image display device and image display method
CN112073703B (zh) 一种色彩校正矩阵的调整方法、装置、终端设备及介质
RU2013114372A (ru) Автоматическая обработка баланса белого с гибким выбором цветного пространства
JPH07131669A (ja) カラー画像処理方法及び装置
CN101278552A (zh) 图像处理系统、图像处理程序
CN101895692A (zh) 图像处理装置和图像处理方法
JP4677699B2 (ja) 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム
JP2005210495A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN101019131B (zh) 有效完成图像数据变换过程的系统和方法
CN101088297A (zh) 自动白平衡控制
US7146040B2 (en) Automatic white balance technique
JP2005045446A (ja) 色変換マトリクス算出方法および色補正方法
US20170180694A1 (en) Method of encoding raw color coordinates provided by a camera representing colors of a scene having two different illuminations
CN107534732A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP2004194303A (ja) 撮像装置、撮像方法及びコンピュータ読み取り可能な記録媒体及びプログラム
CN110225223A (zh) 图像处理设备及其控制方法
CN117176933B (zh) 一种图像信号处理方法及装置、电子设备和存储介质
JP2003087816A (ja) ホワイトバランス調整装置、ホワイトバランス調整プログラム、ホワイトバランス調整方法およびディジタルカメラ
Kim et al. Applying CIECAM97s in a color management system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant