CN102238394A - 图像处理设备及其控制方法和摄像设备 - Google Patents

Abstract

本发明涉及一种图像处理设备及其控制方法和摄像设备，其中所公开的图像处理设备通过简单的方法对由倾斜入射至图像传感器的光在所拍摄图像中生成的颜色串扰进行有效校正。根据摄像时所使用的光圈值来设置针对所拍摄图像信号的白平衡处理所使用的白色检测区域。颜色串扰的程度依赖于摄像时所使用的光圈值，并且图像传感器的光谱灵敏度特性根据颜色串扰的程度而改变。通过设置白色检测范围以校正依赖于光圈值的光谱灵敏度特性的变化，可以简单有效地校正颜色串扰。

Description

图像处理设备及其控制方法和摄像设备

技术领域

本发明涉及图像处理设备及其控制方法，尤其涉及用于抑制由图像传感器感测到的图像中的颜色串扰(color crosstalk)的图像处理设备及其控制方法。

本发明还涉及使用根据本发明的图像处理设备的摄像设备。

背景技术

安装在诸如数字照相机等的摄像设备中的图像传感器具有如下结构：各自具有光电转换元件的像素排列成矩阵。图像传感器针对各像素将经由光学系统所形成的被摄体图像转换为电信号。具有该结构的图像传感器的问题在于倾斜入射的光不仅入射到预定像素还入射到邻接像素时所生成的“颜色串扰”。

颜色串扰的程度根据像素颜色(配置在像素中的颜色滤波器的颜色)而改变。颜色串扰在与高透过率颜色(通常为绿色)的颜色滤波器邻接的另一颜色的像素中变大。例如，在具有普通拜尔阵列的颜色滤波器的图像传感器中，由于如下的光所引起的颜色串扰变得相对较大，其中该光倾斜入射到红色、绿色和蓝色像素中的绿色像素，穿过绿色颜色滤波器，然后入射到邻接的蓝色或红色像素。颜色串扰使得与绿色像素邻接的蓝色或红色像素的、针对绿色波长的灵敏度相对地增加，并且绿色像素的灵敏度相对地降低。

作为用于消除颜色串扰的技术，日本特开平10-271519公开了用于存储基于颜色串扰成分所确定出的校正系数并且使用该校正系数对从图像传感器输出的图像信号中所包含的颜色串扰成分进行校正的技术。

日本特开2009-188461公开了用于基于摄像时的光圈值、变焦位置和摄像灵敏度设置的其中之一来改变颜色串扰校正量的技术。

传统上，如日本特开平10-271519和日本特开2009-188461所公开的那样，已经使用了涉及预先准备用于校正所生成的颜色串扰和校正图像信号的校正系数的技术。这些方法通过将用于校正由颜色串扰所引起的相对灵敏度差异的增益应用于各颜色像素来校正图像信号。当颜色串扰大(灵敏度差异大)时，必须应用大的增益。这可能由于过校正和校正不足而导致S/N比降低或图像质量劣化。当针对红色、绿色和蓝色各个像素颜色应用不同的增益时，如果给定为红色∶绿色∶蓝色＝3∶6∶1的亮度构成比率变化，则亮度改变。颜色串扰校正改变了要拍摄的图像的曝光。

此外，当将校正增益应用于图像信号的所有像素时，随着图像传感器的像素数变得越大，校正处理所用的时间变得越长。

发明内容

作出了本发明以克服至少一个传统缺陷，并且本发明提供了一种能够通过简单方法来有效地校正颜色串扰的图像处理设备及其控制方法和摄像设备。

根据本发明的一个方面，提供一种图像处理设备，用于处理使用包括颜色滤波器的图像传感器获得的图像信号，所述图像处理设备包括：获得部件，用于获得摄像时所使用的光圈值；设置部件，用于设置所述图像信号的白平衡处理中所使用的白色检测区域；以及校正部件，用于使用所述设置部件设置的白色检测区域，向所述图像信号应用白平衡处理，其中，所述设置部件设置与所述获得部件获得的光圈值相对应的白色检测区域，以对由依赖于光圈值的、所述图像信号的颜色串扰所引起的所述图像传感器的光谱灵敏度特性的变化进行校正。

根据本发明的另一方面，提供一种摄像设备，包括：图像传感器，包括颜色滤波器；以及根据本发明的图像处理设备，用于处理使用所述图像传感器获得的图像信号。

根据本发明的又一方面，提供一种图像处理设备的控制方法，所述图像处理设备处理使用包括颜色滤波器的图像传感器获得的图像信号，所述控制方法包括以下步骤：获得步骤，用于控制所述图像处理设备，以获得摄像时所使用的光圈值；设置步骤，用于控制所述图像处理设备，以设置所述图像信号的白平衡处理中所使用的白色检测区域；以及校正步骤，用于控制所述图像处理设备，以使用在所述设置步骤中设置的白色检测区域，向所述图像信号应用白平衡处理，其中，在所述设置步骤中，设置与在所述获得步骤中获得的光圈值相对应的白色检测区域，以对由依赖于光圈值的、所述图像信号的颜色串扰所引起的所述图像传感器的光谱灵敏度特性的变化进行校正。

利用该结构，本发明可以通过简单方法来有效地校正颜色串扰。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是举例说明作为根据本发明实施例的图像处理设备的示例的摄像设备的功能结构的框图；

图2是用于解释根据本发明实施例的摄像设备的整体操作的流程图；

图3是用于解释根据本发明实施例的摄像设备的整体操作的流程图；

图4是用于解释根据本发明实施例的摄像设备在直通图像显示状态下拍摄静止图像的操作的流程图；

图5是举例说明本发明的实施例中所设置的白色检测区域(white-detection area)和光圈值之间的关系的图；

图6是用于解释根据本发明实施例的摄像设备校正预设白平衡系数的操作的流程图；以及

图7是用于解释根据本发明实施例的摄像设备校正手动白平衡系数的操作的流程图。

具体实施方式

现在将根据附图来详细说明本发明的典型实施例。

图1是举例说明作为根据本发明实施例的图像处理设备的示例的摄像设备的结构的框图。

摄像设备包括摄像镜头10。快门12具有光圈功能。诸如CCD传感器或CMOS传感器等的图像传感器14将光学图像转换为电信号。A/D转换器16将从图像传感器14输出的模拟图像信号转换为数字图像信号。

时序发生器18将时钟信号和控制信号提供至图像传感器14、A/D转换器16和D/A转换器26。存储器控制单元22和系统控制单元50控制时序发生器18。

图像处理单元20对来自A/D转换器16的图像信号或来自存储器控制单元22的图像信号进行预定像素插值处理和颜色转换处理。

图像处理单元20使用所拍摄的图像信号进行预定计算处理。基于获得的计算结果，系统控制单元50控制曝光控制单元40和调焦控制单元42以实现TTL(通过镜头)AF(自动调焦)、AE(自动曝光)和EF(电子闪光灯预发光)功能。

此外，图像处理单元20使用所拍摄的图像信号执行预定计算处理，并且还基于获得的计算结果进行TTL AWB(自动白平衡)。在白平衡处理中，图像处理单元20进行块积分，以将根据所拍摄的图像信号所形成的图像分割为多个块，并针对各颜色获得属于各块的像素的积分值。图像处理单元20还执行白色搜索积分，以将各像素的值展开为色度(chromaticity)坐标，并获得落入预先在色度空间中定义的白色检测区域内的像素值的积分值。注意，图像处理单元20存储白色搜索积分所使用的色度坐标处的白色检测区域的设置。

存储器控制单元22控制A/D转换器16、时序发生器18、图像处理单元20、图像显示存储器24、D/A转换器26、存储器30和编解码单元32。

将从A/D转换器16输出的图像信号经由图像处理单元20和存储器控制单元22或者直接经由存储器控制单元22写入图像显示存储器24或存储器30。

诸如LCD或有机EL显示器等的图像显示单元28经由D/A转换器26显示写入图像显示存储器24中的显示图像数据。图像显示单元28顺次显示所拍摄的图像信号，从而实现电子取景器(EVF)功能。

图像显示单元28还可以根据来自系统控制单元50的指示，任意地接通/关闭(ON/OFF)显示。关闭显示可以极大减少摄像设备100的电力消耗。

存储器30是存储所拍摄的静止图像和运动图像的存储装置，并且具有足以存储预定数量的静止图像或预定时间的运动图像的存储容量。即使在用于连续拍摄多个静止图像的连续摄像或全景摄像中，也可以将许多图像快速写入存储器30中。

存储器30还可以用作系统控制单元50的工作区域。

编解码单元32读出存储在存储器30中的图像，并且使用自适应离散余弦变换(ADCT)或小波变换等进行已知的数据压缩或解压缩处理。编解码单元32将处理后的数据写入存储器30中。

曝光控制单元40控制具有光圈功能的快门12。另外，曝光控制单元40还提供了与闪光灯48协作的闪光灯控制功能。

调焦控制单元42控制摄像镜头10的调焦。变焦控制单元44控制摄像镜头10的变焦。挡板控制单元46控制用作用以保护摄像镜头10的镜头挡板的保护器102的操作。

闪光灯48用作摄像时的辅助光源。闪光灯48还具有光控制功能和AF辅助光投射功能。

使用TTL方法来控制曝光控制单元40和调焦控制单元42。基于图像处理单元20对所拍摄的图像数据的计算结果，系统控制单元50控制曝光控制单元40和调焦控制单元42。

系统控制单元50例如为CPU，并且通过执行存储在存储器52中的程序来控制整个摄像设备100。存储器52存储系统控制单元50的操作用的常数、变量和程序等。存储器52还存储AE控制中所使用的程序图。程序图是定义了相对于曝光值的光圈开口直径(或光圈值)和快门速度的控制值之间的关系的表。

显示单元54是由诸如LCD、LED和扬声器等的输出装置的组合所构成的。显示单元54根据系统控制单元50对程序的执行，使用文本、图像或声音等输出工作状态或消息等。将一个或多个显示单元54配置在摄像设备100的操作单元70附近容易识别出的位置处。将显示单元54的一部分设置在光学取景器104中。

例如，非易失性存储器56是电可擦除/可编程存储器，并且例如为EEPROM。

模式拨盘60、快门开关62和64、以及操作单元70构成用于将各种操作指示输入至系统控制单元50的操作单元。这些操作部件是由按钮、开关、拨盘、触摸面板、基于视线检测的指示和语音识别装置等的其中之一或组合所构成的。

将详细说明这些操作部件。

模式拨盘60是用于切换和设置诸如电源断开(OFF)、自动摄像模式、编程摄像模式、全景拍像模式、重放模式、多窗口重放/擦除模式和PC连接模式等的各个功能模式的开关。

通过半按下安装至摄像设备100的快门按钮(未示出)(半冲程)，来接通第一快门开关SW1 62。接着，系统控制单元50指示相关块开始诸如AF(自动调焦)处理、AE(自动曝光)处理、AWB(自动白平衡)处理或EF(电子闪光灯预发光)处理等的操作。

通过完成快门按钮(未示出)的操作(全冲程)来接通第二快门开关SW2 64，并且第二快门开关SW2 64指定开始包括曝光处理、显影处理和记录处理的一系列处理。在曝光处理中，经由A/D转换器16和存储器控制单元22将从图像传感器14读出的图像信号写入存储器30中。此外，在系统控制单元50的控制下，使用图像处理单元20或存储器控制单元22的计算来进行显影处理。在记录处理中，从存储器30读出已经过了显影处理的图像信号，通过编解码单元32进行压缩，并且作为图像文件写到存储卡200或210上。

操作单元70是具有诸如开关、按钮、转动拨盘开关和触摸面板等的操作构件的用户接口。操作单元70允许选择针对所拍摄图像的图像记录模式、压缩比和图像质量等。

电源控制单元80包括电池检测电路、DC-DC转换器和用于切换要通电的块的切换电路。电源控制单元80检测电池的装载/卸载、电池类型和剩余电池电量。电源控制单元80基于检测结果和来自系统控制单元50的指示来控制DC-DC转换器。电源控制单元80将必要的电压向包括记录介质200和210的各个单元施加了必要时间段。

电源86是一次电池(例如碱性电池或锂电池)、二次电池(例如镍镉(NiCd)电池、镍氢(NiMH)电池或锂离子电池)、或AC适配器等。电源86经由连接器82和84安装至摄像设备100。

诸如存储卡或硬盘等的记录介质200和210包括由半导体存储器或磁盘等所构成的记录单元202和212，与摄像设备100的接口204和214以及连接器206和216。将记录介质200和210经由介质侧的连接器206和216以及摄像设备100侧的连接器92和96而安装在摄像设备100。连接器92和96与接口90和94相连接。记录介质安装/拆卸检测单元98检测是否安装了记录介质200和210。

在本实施例中，摄像设备100包括用于安装记录介质的接口和连接器的两种系统。然而，可以配置单个或任意数量的用于安装记录介质的接口和连接器。还可以针对各个系统使用不同标准的接口和连接器。

挡板102覆盖摄像设备100中的包括镜头10的摄像单元，以保护摄像单元不受污染和损坏。

光学取景器104例如为TTL取景器，并且使用棱镜或镜子将已穿过镜头10的光束形成为图像。光学取景器104的使用允许在不使用图像显示单元28上的电子取景器功能的情况下拍摄图像。如上所述，光学取景器104显示与显示单元54的一些功能有关的信息，例如聚焦显示、照相机抖动警告显示、闪光灯充电显示、快门速度显示、光圈值显示和曝光校正显示。

通信单元110进行包括RS232C、USB、IEEE1394、P1284、SCSI、调制解调器、LAN和无线通信处理的各种通信处理。

连接器(无线通信的情况为天线)112经由通信单元110将摄像设备100连接至其它装置。

将参考图2～4解释摄像设备100的主操作。图2和3是用于解释摄像设备100的整体操作的流程图。

当通过例如更换电池来接通(ON)摄像设备100时，系统控制单元50对标志和控制变量等进行初始化(步骤S201)，并且将图像显示单元28的图像显示初始化为关闭(OFF)状态(步骤S202)。

系统控制单元50判断模式拨盘60的设置位置。如果模式拨盘60设置为电源断开(步骤S203)，则系统控制单元50执行预定的结束处理(步骤S205)，然后使处理返回至步骤S203。例如，该结束处理包括以下处理：结束各显示单元上的显示的处理，关闭镜头挡板102的处理，将包括标志和控制变量的参数、设置值和设置模式记录在非易失性存储器56中的处理，以及在电源控制单元80的控制下停止对包括图像显示单元28的摄像设备100的各个单元进行不需要的供电的处理。

如果在步骤S203中将模式拨盘60设置为其它模式，则系统控制单元50执行与所选择的模式相对应的处理(步骤S204)，并且使处理返回至步骤S203。

如果在步骤S203中将模式拨盘60设置为摄像模式，则系统控制单元50控制电源控制单元80，以检查由电池等所构成的电源86的剩余容量和工作状态(步骤S206)。然后，系统控制单元50判断电源86在摄像设备100动作时是否有问题。如果电源86有问题，则系统控制单元50使用显示单元54，利用图像或声音来显示预定警告(步骤S208)，并且使处理返回至步骤S203。

如果电源86适当(步骤S206中为“是”)，则系统控制单元50判断记录介质200或210在摄像设备100动作时、尤其是记录/重放操作时是否有问题(步骤S207)。如果记录介质200或210有问题，则系统控制单元50使用显示单元54，利用图像或声音来显示预定警告(步骤S208)，并且使处理返回至步骤S203。

如果记录介质200或210适当，则系统控制单元50在步骤S209中判断设置为OVF(光学取景器)模式和EVF(电子取景器)模式中的哪一个模式。如果设置为OVF模式，则由于不显示直通图像，因而系统控制单元50使处理进入图3的步骤S301。

如果设置为EVF模式，则系统控制单元50在步骤S210中执行初始化处理，以使图像显示单元28用作取景器。更具体地，系统控制单元50将用以生成直通显示用的拍摄图像(直通图像)所需的诸如图像传感器14、图像处理单元20和存储器控制单元22等的构成组件设置为顺次显示所拍摄的图像信号的直通图像显示状态。

在摄像准备完成时，系统控制单元50开始拍摄运动图像，并且开始将直通图像显示在图像显示单元28上(步骤S211)。

在直通显示状态下，系统控制单元50经由存储器控制单元22和D/A转换器26，将经由图像传感器14、A/D转换器16、图像处理单元20和存储器控制单元22顺次写入图像显示存储器24的图像信号顺次显示在图像显示单元28上。结果，图像显示单元28可以用作电子取景器(EVF)。

将参考图3和4解释摄像设备100在直通图像显示状态下拍摄静止图像的操作。

在步骤S301中，系统控制单元50判断模式拨盘60的设置是否改变。如果系统控制单元50检测到设置的改变，则使处理返回至步骤S203，并且进行与模式拨盘60的状态相对应的处理。如果模式拨盘60的设置没有改变，则类似于步骤S209，系统控制单元50在步骤S302中判断取景器模式。如果取景器模式是EVF模式，则系统控制单元50使处理进入步骤S303；如果取景器模式是OVF模式，则系统控制单元50使处理进入步骤S306。

在步骤S303中，系统控制单元50进行AE处理，以自动设置用于拍摄直通图像的曝光条件。更具体地，图像处理单元20对从图像传感器14所获得的信号进行预定测光计算，并将计算结果存储在存储器30中。基于存储在存储器30中的计算结果，系统控制单元50使用曝光控制单元40在直通图像拍摄时进行自动曝光控制处理。

在步骤S304中，系统控制单元50对直通图像执行WB处理。更具体地，图像处理单元20对从图像传感器14所获得的信号执行预定WB计算，并将计算结果存储在存储器30中。基于存储在存储器30中的计算结果，系统控制单元50在图像处理单元20中设置WB控制值。图像处理单元20根据图像处理单元20中所设置的设置WB控制值，对直通图像进行WB处理。系统控制单元50控制图像显示单元28，以显示已经过了WB处理的直通图像(步骤S305)，并且使处理进入步骤S306。

在步骤S306中，系统控制单元50检查快门开关SW1 62的状态。如果快门开关SW1 62为OFF，则系统控制单元50使处理返回至步骤S203；如果快门开关SW1 62为ON，则使处理进入步骤S307。

在步骤S307中，图像处理单元20对从图像传感器14所获得的信号执行预定调焦检测，并将结果存储在存储器30中。基于调焦检测结果，系统控制单元50使用调焦控制单元42进行AF处理，并将摄像镜头10聚焦至被摄体。之后，系统控制单元50控制图像显示单元28以显示直通图像(步骤S308)，并且使处理进入步骤S309。

在步骤S309和S310中，系统控制单元50检查快门开关SW264和快门开关SW1 62的状态。如果快门开关SW2 64为OFF且快门开关SW1 62也为OFF，则系统控制单元50使处理返回至步骤S203。如果快门开关SW2 64为OFF且快门开关SW1 62保持为ON，则系统控制单元50保持执行步骤S308的处理。如果快门开关SW2 64变成ON，则系统控制单元50使处理进入步骤S311。

在步骤S311～S313中，执行静止图像拍摄处理。

在步骤S311中，系统控制单元50根据稍后要参考图4所述的方法执行静止图像拍摄处理。在步骤S311中，系统控制单元50将保存在存储器30中的压缩图像信号作为静止图像文件写入记录介质200中(步骤S312)。在步骤S313中，系统控制单元50将步骤S311中所拍摄的图像作为检查图像显示在图像显示单元28上，从而完成静止图像拍摄处理。

在步骤S314中，系统控制单元50检查快门开关SW1 62的状态。如果快门开关SW1 62为OFF，则系统控制单元50使处理返回至步骤S203；如果快门开关SW1 62为ON，则系统控制单元50使处理返回至步骤S308以显示直通图像，然后返回至拍像待机状态。

图4是用于解释通过摄像设备100拍摄静止图像的操作的流程图。

在步骤S401中，与时序发生器18同步开始从图像传感器14读出图像信号。此时，如果作为步骤S303中的AE处理的结果已判断为接通闪光灯48，则系统控制单元50控制闪光灯48与快门12的前帘或后帘同步地发光。A/D转换器16将从图像传感器14顺次读出的模拟图像信号转换为数字图像信号，并将这些数字图像信号顺次存储在存储器30中。

在步骤S402中，系统控制单元50获得步骤S303的AE处理中确定出的光圈值。

在步骤S403中，系统控制单元50在图像处理单元20中设置白平衡处理用的白色检测区域。在白平衡处理中，在预定色度坐标空间内，使用黑体辐射轴作为基准来设置白色检测区域。通过在具有不同特性(例如，色温)的环境光源下拍摄白色物体的图像并绘制计算出的颜色评价值，来获得白色检测区域。在白色检测区域中，预先设置与环境光源相对应的白色评价值范围。因此，可以根据颜色评价值落入白色检测区域的像素的各颜色成分的积分值来估计环境光源。在本实施例中，由于颜色串扰成分量依赖于光圈大小，因而根据光圈值(F值)来切换白色检测区域。将参考图5说明白色检测区域的切换。

在步骤S403中，系统控制单元50基于步骤S402中所获得的光圈值，选择预先存储在非易失性存储器56中并指定白色检测区域的多个信息的其中之一。然后，系统控制单元50在图像处理单元20中设置白色检测区域。

在步骤S404中，图像处理单元20对步骤S401中读出的图像信号进行白平衡处理用的块积分处理。更具体地，对包含在块中的像素值按各颜色进行平均，以计算颜色平均值R[i]、G[i]和B[i]。此外，使用以下等式针对各块计算颜色评价值Cx[i]和Cy[i]：

Cx[i]＝(R[i]-B[i])/Y[i]×1024

Cy[i]＝(R[i]+B[i]-2G[i])/Y[i]×1024

其中，Y[i]＝R[i]+2G[i]+B[i]，i＝1...m(m是块计数)。

图像处理单元20将具有落入白色检测区域的颜色评价值Cx[i]和Cy[i]的块判断为白色块。图像处理单元20计算白色块中所包含的红色、绿色和蓝色像素的积分值SumR、sumG和sumB(白色搜索积分)，并将结果存储在存储器30中。

在步骤S405中，图像处理单元20从存储器30中读出步骤S404中所执行的积分的结果，并基于例如以下等式来计算白平衡系数WBCo_R、WBCo_G和WBCo_B：

WBCo_R＝SumY×1024/SumR

WBCo G＝SumY×1024/SumG

WBCo_B＝SumY×1024/SumB

其中，SumY＝(SumR+2×SumG+SumB)/4。

图像处理单元20将计算出的静止图像白平衡控制值(白平衡系数)存储在存储器30中。

在步骤S406中，图像处理单元20执行显影处理。显影处理包括颜色插值处理和白平衡处理。根据记录格式，还进行编解码单元32的编码处理和记录文件的生成等。将已经过显影处理的图像信号作为图像数据保存在存储器30中。

图5是举例说明在本实施例中所设置的白色检测区域和光圈值之间的关系的图。

在图5中，白色检测区域表示为色温轴和品红色-绿色轴彼此垂直的色度空间中的区域。在该色度空间中，X轴表示色温(颜色评价值Cx[i])，正方向是低色温侧，即红色方向，而负方向是高色温侧，即蓝色方向。Y轴是品红色-绿色轴(颜色评价值Cy[i])，正方向是品红色方向，而负方向是绿色方向。

如上所述，白色检测区域基于黑体辐射轴定义了存在各种光源下的白色物体的颜色评价值的区域。针对各颜色的颜色滤波器的灵敏度根据如下的复合元素而改变，其中复合元素包括图像传感器的内部结构、诸如颜色滤波器等的摄像系统、镜头结构、以及诸如涂膜和滤波器等的光学系统。由于该原因，色度空间中白色检测区域的位置和大小改变。当倾斜入射至图像传感器的光不仅入射至预定像素还入射至邻接像素以生成颜色串扰时，颜色串扰状态还根据光束的入射角而改变。入射到图像传感器上的光的角度尤其是相对于光轴的最大入射角依赖于光圈大小。光圈越大(光圈值或F值越小)，则倾斜入射至图像传感器的光束的量越大。因此，各颜色像素的相对灵敏度依赖于光圈值。结果，色度空间中白色检测区域的位置和大小也依赖于光圈值。

如上所述，在与光束透过率高的颜色的像素邻接的另一颜色的像素中，针对光束透过率高的颜色的波长的灵敏度增加。因此，光束透过率高的颜色的像素的灵敏度相对地降低。图像传感器的光谱灵敏度特性在发生颜色串扰的情况和未发生颜色串扰的情况之间变化，并且图像的色平衡也在这两种情况之间变化。颜色串扰的程度越高，则色平衡改变得越大。本实施例通过设置白色检测区域以校正由颜色串扰所引起的色平衡的变化，来执行白平衡处理，从而简单有效地校正所拍摄图像中的颜色串扰。更具体地，根据摄像时所使用的光圈值来动态地设置所拍摄图像的白平衡处理中所使用的白色检测区域。

图5举例说明了F2.0时的白色检测区域和F8.0时的白色检测区域。构成颜色滤波器的红色、蓝色和绿色滤波器的透过率和透过波长在F2.0和F8.0之间不同。在F2.0，颜色串扰大，蓝色方向的灵敏度增加，并且绿色方向的灵敏度降低。为了消除这种影响，白色检测区域在高色温方向上延伸并且位于品红色方向(品红色附近)。相反，在F8.0，与F2.0时相比，倾斜光束的入射降低，并且抑制了颜色串扰的生成。因此，品红色-绿色方向上的灵敏度极大地改变，同时，蓝色方向上的灵敏度略微改变。

更具体地，光谱灵敏度特性由于颜色串扰而改变，因此用作白色检测区域的基准的黑体辐射轴的位置根据光圈值而改变。因此，根据与光圈值相对应的黑体辐射轴的位置，设置白色检测区域的位置。当颜色串扰大时，由穿过绿色颜色滤波器然后入射至邻接的蓝色或红色像素的光所引起的颜色串扰变得相对较大。绿色波长附近的颜色评价值很可能不正确。因此，当光圈值小且颜色串扰大时，与颜色串扰小时相比，设置白色检测区域中所包含的绿色成分的比例较小的白色检测区域。也就是说，光圈值越小，将色度空间中品红色方向上的白色检测区域的展开设置得越小。

可以简单地根据白色检测区域的重心的运动矢量获得与光圈值相对应的白平衡变化量。该变化量可以用于针对太阳光或灯泡等具有被称为预设白平衡的固定值白平衡的光源来校正与光圈值相对应的白平衡变化量。稍后将参考图6说明预设白平衡的校正方法。

在本实施例中，为了简化处理，在全光圈状态下使用F2.0用的白色检测区域，并且在F8.0以上的小光圈使用F8.0用的白色检测区域。与全光圈和小光圈之间的光圈值(例如，F4.0和F5.6)相对应的白色检测区域可以预先准备，或者可以根据诸如线性插值或线性变换等的方法而从F2.0和F8.0用的检测区域获得。当摄像设备100是镜头可更换类型时，颜色串扰特性也根据镜头直径而改变。在这种情况下，还可以针对多个光圈值存储与镜头相对应的白色检测区域信息。

图6是用于解释校正针对太阳光或灯泡等光源所预先设置的预设白平衡系数的操作的流程图。

在步骤S501中，系统控制单元50从非易失性存储器56中读出根据诸如太阳光或灯泡等的光源所预先设置的预定白平衡系数以及获得该白平衡系数时所使用的光圈值。注意，可以将预定白平衡系数和光圈值存储在除非易失性存储器56以外的存储装置(未示出)中。

在步骤S502中，系统控制单元50将步骤S501中获得的与预定白平衡系数相对应的光圈值与当前光圈值进行比较。如果计算预定白平衡系数时所使用的光圈值等于当前光圈值，则不需要校正白平衡系数，因此系统控制单元50结束该处理。如果这两个光圈值不同，则系统控制单元50获得存储在非易失性存储器56中的信息，并规定白色检测区域(步骤S503)。

在本实施例中，非易失性存储器56仅存储如下的信息(和相应的重心位置)，其中这些信息规定了与针对快门12可设置的光圈值中的F2.0和F8.0相对应的白色检测区域。在步骤S503中，系统控制单元50从非易失性存储器56中读出规定了与F2.0和F8.0相对应的白色检测区域的信息，并将这些信息存储在存储器30中。

在步骤S504中，系统控制单元50获得与计算预定白平衡系数时所使用的光圈值相对应的白色检测区域以及与当前光圈值相对应的白色检测区域。如果计算预定白平衡系数时所使用的光圈值是落入F2.0～F8.0的范围内的值，则系统控制单元50使用规定了F2.0和F8.0用的白色检测区域的信息，利用插值计算来获得相应的白色检测区域。即使当前光圈值是落入F2.0～F8.0的范围内的值，系统控制单元50也以同样方式获得相应的白色检测区域。系统控制单元50将通过插值计算所获得的白色检测区域信息存储在存储器30中。不必说，如果当前光圈值和计算预定白平衡系数时所使用的光圈值是F2.0或F8.0，则不需要插值计算。

在步骤S505中，系统控制单元50计算与当前光圈值和计算预定白平衡系数时所使用的光圈值相对应的白色检测区域的重心(色度空间中的坐标)。当已经作为设计值获得检测区域的重心时，同时也将该重心位置存储在非易失性存储器56中，并且不需要再次计算。

在步骤S506中，系统控制单元50获得与当前光圈值和计算预定白平衡系数时所使用的光圈值相对应的白色检测区域的重心的运动矢量。基于该重心在色温方向和品红色-绿色方向上的移动量，系统控制单元50校正预定白平衡系数。更具体地，系统控制单元50以将与当前光圈值相对应的白色检测区域中所检测到的白色像素校正为白色的方式来校正白平衡系数。系统控制单元50将校正后的白平衡系数作为预设白平衡下的预定白平衡系数存储在存储器30中。

图7是用于解释校正手动白平衡处理中所设置的白平衡系数的操作的流程图。

手动白平衡是如下的功能：通过摄像设备来拍摄用户想要以白色方式拍摄其图像的物体(白色拍摄)，并且根据摄像设备所拍摄的图像生成白平衡系数。在本实施例中，系统控制单元50将由手动白平衡功能所生成的白平衡系数以及白色拍摄时所使用的光圈值保存在非易失性存储器56中。

在步骤S601中，系统控制单元50从非易失性存储器56中读出由手动白平衡设置功能所生成的白平衡系数以及白色拍摄时所使用的光圈值。

在步骤S602中，系统控制单元50将步骤S601中获得的光圈值与当前设置的光圈值进行比较。如果白色拍摄时所使用的光圈值等于当前光圈值，则不需要校正，因此系统控制单元50结束该校正处理。如果这两个光圈值不同，则系统控制单元50在步骤S603和随后步骤的处理中校正白平衡系数。

步骤S603～S606中的处理与图6的步骤S503～S506中的处理相同。系统控制单元50获得与光圈值相对应的白色检测区域的变化作为白色检测区域的重心的移动量，并且校正手动白平衡的白平衡系数，以针对与当前光圈值相对应的白色检测区域来调整白平衡。系统控制单元50将校正后的白平衡系数存储在存储器30中，并且结束该校正处理。

如上所述，根据本实施例，当发生依赖于光圈值的颜色串扰时，可以通过使用具有与颜色串扰特性相对应的最佳白平衡的白色检测区域进行白平衡处理，利用简单的方法来校正颜色串扰。

更具体地，与光圈值相应地预先存储白平衡处理用的多个白色检测区域。设置与曝光时的光圈值相对应的白色检测区域，以进行白平衡处理。即使图像传感器的光谱灵敏度特性由于依赖于光圈值的颜色串扰而改变，也可以通过对颜色串扰进行令人满意的校正来获得图像的白平衡。设置白色检测区域以校正由颜色串扰所引起的色平衡(光谱灵敏度特性)的变化，并且进行白平衡处理。可以表现正确的色平衡，而不存在诸如向图像信号应用校正增益时的S/N比降低或曝光变化等的问题。结果，相比于与白平衡处理分开地应用用于颜色串扰校正的增益的传统技术，可以通过更简单的处理来获得更高质量的图像。

注意，本实施例已经说明了使用具有与静止图像拍摄时所使用的光圈值相对应的最佳白平衡的白色检测区域的方法。然而，该方法不局限于静止图像拍摄，并且可以在直通图像显示状态下执行。由于使用了具有与曝光时的F值相对应的最佳白平衡的白色检测区域，因而本发明可以应用于诸如直通图像显示状态或运动图像记录状态等的执行曝光和白平衡处理的情况。本实施例仅说明了如下示例：在步骤S303中，在针对与实际拍摄图像不同的直通图像的AE处理中获得光圈值。然而，根据本发明，可以在不同时刻获得光圈值。例如，在OVF模式下，无法进行步骤S303中的针对直通图像的AE处理，因此可以在判断SW2之后的步骤S311中的实际摄像时进行AE处理，并且可以在此时获得光圈值。

已针对特定实施例说明了本发明。然而，上述实施例仅是辅助理解本发明的示例，而并不限制本发明。本领域技术人员将容易理解，可以在不背离本发明的范围的情况下对上述实施例应用各种变化和修改。

例如，上述实施例已说明了将根据本发明的图像处理设备应用于摄像设备的情况，但摄像和记录功能对于本发明并不是必不可少的。本发明可以在具有对包括颜色滤波器的图像传感器所拍摄的图像进行处理的功能的任意装置中实现。例如，本发明可应用于移动电话、PDA(个人数字助理)、具有照相机功能的各种信息装置、以及能够装载并处理所拍摄图像数据的信息处理设备。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等的装置)以及通过以下方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能，来进行该方法的各步骤。由于该目的，例如经由网络或者从用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。

虽然已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。以下的权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (7)

1.一种图像处理设备，用于处理使用包括颜色滤波器的图像传感器获得的图像信号，所述图像处理设备包括：

获得部件，用于获得摄像时所使用的光圈值；

设置部件，用于设置所述图像信号的白平衡处理中所使用的白色检测区域；以及

校正部件，用于使用所述设置部件设置的白色检测区域，向所述图像信号应用白平衡处理，

其中，所述设置部件设置与所述获得部件获得的光圈值相对应的白色检测区域，以对由依赖于光圈值的、所述图像信号的颜色串扰所引起的所述图像传感器的光谱灵敏度特性的变化进行校正。

2.根据权利要求1所述的图像处理设备，其特征在于，还包括第一存储部件，所述第一存储部件用于针对多个光圈值中的各个光圈值预先存储规定了相对应的白色检测区域的信息，其中，

当所述第一存储部件存储有规定了与所述获得部件获得的光圈值相对应的白色检测区域的信息时，所述设置部件使用规定了与所述获得部件获得的光圈值相对应的白色检测区域的该信息来设置白色检测区域，以及

当所述第一存储部件没有存储规定了与所述获得部件获得的光圈值相对应的白色检测区域的信息时，所述设置部件对存储在所述第一存储部件中的信息中的、规定了与比所述获得部件获得的光圈值大的光圈值相对应的白色检测区域的信息以及规定了与比所述获得部件获得的光圈值小的光圈值相对应的白色检测区域的信息进行插值，从而设置与所述获得部件获得的光圈值相对应的白色检测区域。

3.根据权利要求1所述的图像处理设备，其特征在于，

所述颜色滤波器包括红色滤波器、绿色滤波器和蓝色滤波器，

所述白色检测区域是色度空间中的区域，以及

光圈值越小，所述设置部件将白色检测区域设置成位于品红色方向上的越远的位置。

4.根据权利要求3所述的图像处理设备，其特征在于，还包括第二存储部件，所述第二存储部件用于存储预先计算出的白平衡系数以及拍摄用以计算所述白平衡系数的图像时所使用的光圈值，其中，

当拍摄周以计算所述白平衡系数的图像时所使用的光圈值不同于所述获得部件获得的光圈值时，所述校正部件基于与拍摄用以计算所述白平衡系数的图像时所使用的光圈值相对应的白色检测区域以及与所述获得部件获得的光圈值相对应的白色检测区域之间在所述色度空间中的位置的差异，将所述白平衡系数校正为与所述获得部件获得的光圈值相对应的系数，并且使用校正后的系数进行白平衡处理。

5.根据权利要求3所述的图像处理设备，其特征在于，光圈值越小，所述设置部件将品红色方向上的白色检测区域设置得越窄。

6.一种摄像设备，包括：

图像传感器，包括颜色滤波器；以及

根据权利要求1～5中的任一项所述的图像处理设备，用于处理使用所述图像传感器获得的图像信号。

7.一种图像处理设备的控制方法，所述图像处理设备处理使用包括颜色滤波器的图像传感器获得的图像信号，所述控制方法包括以下步骤：

获得步骤，用于控制所述图像处理设备，以获得摄像时所使用的光圈值；

设置步骤，用于控制所述图像处理设备，以设置所述图像信号的白平衡处理中所使用的白色检测区域；以及

校正步骤，用于控制所述图像处理设备，以使用在所述设置步骤中设置的白色检测区域，向所述图像信号应用白平衡处理，

其中，在所述设置步骤中，设置与在所述获得步骤中获得的光圈值相对应的白色检测区域，以对由依赖于光圈值的、所述图像信号的颜色串扰所引起的所述图像传感器的光谱灵敏度特性的变化进行校正。

Images