CN101715065B - 补正摄影时的光源影响的图像补正装置及其图像补正方法 - Google Patents

Abstract

本发明提供一种图像补正装置等，通过执行：将图像分离为亮度数据和色差数据的处理、将所述分离后的色差数据变换为空间频率中的振幅值的集合的处理、取得通过拍摄取得所述图像时的光源状况的处理、基于所述光源状况信息从所述变换的振幅值的集合中对规定的振幅值进行减去该值的补正的处理、将所述补正后的空间频率中的振幅值的集合逆变换为色差数据的处理、利用所述亮度数据和所述逆变换后的色差数据来生成补正后的摄影图像的处理，从而能够减轻光源状况对摄影图像带来的图像上的不协调。

Description

补正摄影时的光源影响的图像补正装置及其图像补正方法

技术领域

本发明涉及一种对由摄像装置所拍摄的摄影图像实施补正的图像补正装置及其图像补正方法。 

背景技术

以往，如日本特开2008-052428号公报中所记载的技术，公知一种用于在太阳光或照明光等多个光源存在的摄影环境下摄影的摄影图像的图像补正装置。该图像补正装置将摄影图像分割为多个区域，按照区域实施不同的图像补正处理。由此，该图像补正装置通过在摄影时存在多个光源而能够减轻对摄影图像的影响，并且能够得到优选的补正图像。但是，上述的图像补正装置因为按照区域进行了补正摄影图像的处理，所以存在在补正后的摄影图像中的各补正区域的分界线上产生图像上的不协调的问题。 

发明内容

于是，本发明是鉴于上述的实情提出的，其目的在于提供一种通过对在各种光源状况下摄影的摄影图像实施图像补正处理而能够减轻光源状况对摄影图像带来的图像上的不协调的图像补正装置、图像补正方法。 

在一个方式中，提供一种具有以下特征的图像补正装置，该图像补正装置具备：图像取得机构，其取得图像；分离机构，其将由所述图像取得机构所取得的图像分离为亮度数据和色差数据；变换机构，其将由所述分离机构所分离的色差数据变换为空间频率中的振幅值的集合；光源状况取得机构，其取得通过摄像取得所述图像时的光源状况；补正机构，其基于由所述光源状况取得机构所取得的光源状况信息，进行从由所述变换机构所变换的振幅值的集合中对规定的振幅值减去该值的补正；逆变换机构，其将由所述补正机构补正后的空间频率中的振幅值的集合逆变换为色差 数据；和补正图像生成机构，其利用所述亮度数据和由所述逆变换机构逆变换后的色差数据来生成补正后的摄影图像。 

另外，在其他方式中，提供一种具有以下特征的图像补正方法，该图像补正方法由以下步骤构成：将取得的图像分离为亮度数据和色差数据的分离步骤；将由所述分离步骤所分离的色差数据变换为空间频率中的振幅值的集合的变换步骤；取得通过摄像取得所述图像时的光源状况的光源状况取得步骤；基于由所述光源状况取得步骤所取得的光源状况信息，进行从由所述变换步骤所变换的振幅值的集合中对规定的振幅值减去该值的补正的补正步骤；将由所述补正步骤补正后的空间频率中的振幅值的集合逆变换为色差数据的逆变换步骤；和利用所述亮度数据和由所述逆变换步骤逆变换后的色差数据来生成补正后的摄影图像的补正图像生成步骤。 

附图说明

图1是表示适用本发明的摄像装置的功能性构成的框图。 

图2A是用于说明由适用本发明的摄像装置进行的二维傅立叶变换处理的摄影图像。 

图2B是用于说明适用本发明的摄像装置所进行的二维傅立叶变换处理的、由直到空间频率分量(3，3)为止的空间频率分量构成的图像。 

图2C是用于说明适用本发明的摄像装置所进行的二维傅立叶变换处理的、由直到空间频率分量(6，6)为止的空间频率分量构成的图像。 

图2D是用于说明适用本发明的摄像装置所进行的二维傅立叶变换处理的、由直到空间频率分量(10，10)为止的空间频率分量构成的图像。 

图3是表示适用本发明的摄像装置所进行的图像补正处理的处理步骤的大致流程图。 

图4是表示由适用本发明的摄像装置进行的具体的图像补正处理的处理步骤的流程图。 

图5是表示由适用本发明的摄像装置进行的频率解析数据的取得处理的处理步骤的流程图。 

图6是表示由适用本发明的摄像装置进行的取得光源状况信息的处理的处理步骤的流程图。 

图7是表示由适用本发明的摄像装置进行的滤波处理的处理步骤的流程图。 

图8是表示在适用本发明的摄像装置中与时刻及闪光(发光量)对应的阈值的表格的图。 

图9是表示在适用本发明的摄像装置中与时刻对应的表格的图。 

图10是表示在适用本发明的摄像装置中与闪光(发光量)对应的阈值的表格的图。 

图11是表示在适用本发明的摄像装置中与为了说明用户设置对应的阈值的表格的图。 

图12是表示在适用本发明的摄像装置中初始设置时的阈值表格的图。 

具体实施方式

以下，参照附图对本发明的实施方式进行说明。 

首先，利用图1对作为本发明的实施方式表示的摄像装置1的功能性构成进行说明。该摄像装置1具备对拍摄被摄体而得到的摄影图像进行补正的图像补正功能。因此，作为以下说明的图像补正装置的功能，并不一定限定于搭载在摄像装置1上的实施方式，例如在个人计算机上也能实现作为图像补正装置的功能。 

如图1所示，摄像装置1具备：摄像光学系统11、摄像部12、摄像处理部13、存储卡处理部14、控制部15、按键输入部16、程序存储器17、数据存储器18、发光量计算部19、图像压缩部20、主要显示处理部21、主要显示部22、发光控制部23、内置发光驱动部24、内置发光部25。在这种摄像装置1中，作为图像处理装置、图像补正装置起作用的部位有摄像处理部13、控制部15。 

摄像光学系统11主要由电动机、透镜单元等构成。该透镜单元由用 于入射外光的多个透镜组构成。透镜单元是用于使规定范围的摄像区域的外光在CMOS摄像元件等的摄像元件中成像的光学系统。透镜单元具备未图示的快门单元、光圈单元。这些快门单元、光圈单元通过电动机的驱动能够移动聚焦位置或光圈位置。该透镜单元也具备能够根据控制部15的控制自由地执行缩小、放大而使摄影范围变化的聚焦透镜。 

摄像部12包括CMOS(Complementary Metal-Oxide Semiconductor)摄像元件等的摄像元件。CMOS摄像元件例如形成了RGB原色系统的彩色滤波器。CMOS摄像元件通过未图示的计时发生器及垂直驱动器而被扫描驱动。CMOS摄像元件以一个画面输出与按照规定周期成像的光学像对应的光电变换输出。 

并且，摄像部12包括按照控制部15的控制进行动作的控制器和A/D变换处理电路等。该摄像部12中的控制器按照后述的控制部15的控制来控制摄像光学系统11中的透镜单元的动作。A/D变换处理电路包括采样保持电路、A/D变换器。A/D变换处理电路对从CMOS摄像元件输出的光电变换输出实施希望的处理。具体地说，以模拟值的信号状态按照RGB的各原色分量对来自CMOS摄像元件的光电变换输出进行适当的增益调整。其后，通过采样保持电路进行采样保持，由A/D变换器变换为数字摄影图像数据，并向摄像处理部13输出。这种摄像部12作为取得摄影图像的摄影图像取得机构而起作用。 

摄像处理部13对从摄像部12所提供的摄影图像数据实施规定的图像处理。该摄像处理部13将作为RGB数据所提供的摄影图像数据分离为亮度数据(Y)和色差数据(Cr、Cb)。此时，摄像处理部13将RGB数据中所包括的R数据、G数据、B数据用规定比例进行加减运算而生成亮度数据(Y)、色差数据(Cr)、色差数据(Cb)。并且，该亮度数据(Y)、色差数据(Cr)、色差数据(Cb)通过摄像处理部13被输出到数据存储器18中，并存储在该数据存储器18中。另外，摄像处理部13除了上述处理以外，根据需要还可以进行像素插补处理、γ补正处理及矩阵运算。 

存储卡处理部14包括摄像装置1所具备的存储卡的记录再生功能。该存储卡处理部14按照控制部15的控制将由该摄像装置1所摄像的摄影图像数据、实施了后述的补正后的摄影图像数据记录在存储卡中。另外，存储卡处理部14按照控制部15的控制对被记录在存储卡上的摄影图像数据进行再生而输出。 

控制部15统一地控制该摄像装置1。控制部15通过按照被存储在程序存储器17中的程序进行动作，从而进行该摄像装置1所需的各种控制。 

特别地，控制部15进行按照被存储在程序存储器17中的图像补正程序的处理。通过按照该图像补正程序执行处理，从而控制部15对在各种光源状况下拍摄的摄影图像数据实施图像补正处理。所谓光源状况是指由拍摄了摄影图像的时刻、用户的选择操作、有无闪光或闪光的强度中至少一个所确定的。由此，控制部15进行减轻光源状况对摄影图像数据带来的图像上的不协调的补正处理(以后也称为“滤波处理”)。该光源状况带来的图像上的不协调，例如通过太阳光和闪光、室内照明和太阳光、室内照明和闪光那样的多个光源同合时所表现的。该不协调作为在摄影图像上具有低空间频率分量的颜色变化(斑点)来表现。 

具体地说，控制部15按照图像补正程序所执行的处理包含了：取得表示通过摄像光学系统11及摄像部12拍摄了摄影图像数据时的光源状况的光源状况信息的光源状况信息取得处理、通过摄像处理部13利用被存储在数据存储器18上的色差数据(Cr、Cb)而生成频率解析数据的二维傅立叶变换处理、对由该二维傅立叶变换处理所得到的频率解析数据进行补正的图像补正处理、对由该图像补正处理所补正的频率解析数据进行二维傅立叶逆变换而生成补正后的色差数据(Cr、Cb)的处理。在此，图像补正处理基于光源状况信息对频率解析数据进行补正而减轻由光源状况在摄影图像上产生的颜色变化(斑点)。 

该频率解析数据的补正处理减去该频率解析数据所包含的直流分量及离散分量的空间频率信息的一部分。控制部15在表示由二维傅立叶变换处理所得到的每个空间频率的振幅值的空间频率信息中，将基于光源状况而属于与在摄影图像数据中所表现的颜色变化(色斑)相当的低空间频率分量的空间频率信息从频率解析数据中减去。具体地说，即使在存在多个光源的情况下，也可将与在图像内所表现的颜色变化相当的低空间频率分量的空间频率信息从频率解析数据中减去。 

例如，如图2所示，若对图2A的摄影图像进行二维傅立叶变换处理，则能够生成由按照直流分量及空间频率分量(u，v)分离了该摄影图像的n次(n：任意数)的空间频率信息构成的频率解析数据。并且，在合成了该频率解析数据中从低空间频率分量到3次((u，v)＝(3，3))的空间频率信息的情况下，成为由图2B的低空间频率分量构成的摄影图像。并且，在合成了从低空间频率分量到6次((u，v)＝(6，6))的空间频率信息的情况下，成为由图2C的低空间频率分量构成的摄影图像，在合成了从低空间频率分量到10次((u，v)＝(10，10))的空间频率信息的情况下，成为由图2D的低空间频率分量构成的摄影图像。另外，(u，v)表示空间频率分量，u是x方向的空间频率分量，v是y方向的空间频率分量。另外，对这种频率解析数据的补正处理以下进行详细叙述。 

按键输入部16通过该摄像装置1的用户进行操作。该按键输入部16是包含快门按钮16a、菜单按钮16b、十字键等的移动按钮16c、确定按钮16d等的按键组。该按键输入部16与控制部15连接，通过控制部15读入表示各按钮的操作内容的操作命令信号。 

图像压缩部20根据控制部15的控制对被存储在数据存储器18上的摄影图像数据进行按照JPEG(Joint Photograph coding Experts Group)标准的ADCT(Adaptive Discrete Cosine Transform：自适应离散余弦变换)处理而进行数据压缩。 

主要显示处理部21定期地读取摄影图像数据中所包括的亮度数据(Y)、色差数据(Cr、Cb)，以这些数据为基础产生视频信号并输出到主要显示部22。 

主要显示部22虽然未图示，却设置在摄像装置1的框体的背面侧。主要显示部22在摄影模式时作为监视器显示部(电子取景器)起作用。在该摄影模式时，主要显示部22进行基于来自主要显示处理部21的视频信号的显示。由此，摄像装置1实时显示在该时刻从主要显示处理部21读入的图像。 

由此，在主要显示部22中作为监视器图像能够实时显示该时刻的摄影图像，即在所谓取景图像的显示状态下，摄像装置1成为可摄像的状态。并且，在想要进行摄影的时刻，若操作作为按键输入部16中的一个键的快门按钮16a，则对控制部15产生了触发信号。控制部15根据该触发信号，通过亮度数据(Y)及色差数据(Cb、Cr)使在该时刻从摄像部12读入的每个画面的RGB数据进行变换(分离)而使存储在数据存储器18中。 

发光控制部23按照控制部15的控制通过内置发光驱动部24进行内置发光部25的发光动作。 

内置发光驱动部24在对静止图像摄影时未图示的闪光灯用的大容量电容器进行充电后，根据来自经由发光控制部23的控制部15的控制使内置发光部25闪光驱动。另外，在运动图像的摄影时，在第一次操作快门按钮的时刻，利用图像压缩部20对上述的静止图像的摄影图像数据进行数据压缩而开始在数据存储器18上进行记录。以后，重复设定规定的帧速率例如以30(帧/秒)连续执行该处理并第二次操作快门键，或者重新设置在经过了规定的限制时间例如30秒的时刻将这些一连串的静止图像数据文件一并作为动作JPEG的数据文件(AVI文件)。 

另外，发光控制部23具备对摄像装置1检测是否安装或拆卸了外带发光部26的连接检测部23a。连接检测部23a将表示是否连接了外带发光部26的信号输出到发光量计算部19。 

发光量计算部19按照发光控制部23的控制计算进行了发光(闪光)摄影时的发光量。在此，发光量计算部19在由发光控制部23的判断自动使内置发光部25发光的情况下，基于来自发光控制部23的动作信号来计算发光量。另外，发光量计算部19在从连接检测部23a提供了表示在发光控制部23中连接有外带发光部26的信号的情况下，计算合成了来自内置发光部25的发光量和来自外带发光部26的发光量后的发光量。另外，在预先通过操作按键输入部16而调整了发光量的情况下，基于该设置的发光量计算内置发光部25的发光量。该计算出的发光量通过控制部15而被读入。 

由此构成的摄像装置1在用户把持该摄像装置1进行摄像被摄体的操作时，通过进行图3～图7中示出的处理，从而执行摄影图像数据的补正。 

图3所示的流程图是表示适用本发明的摄像装置1的大致处理。摄像装置1首先在步骤S1中通过摄像光学系统11及摄像部12取得由RGB数据构成的摄影图像数据。 

在其次的步骤S2中，摄像处理部13将由利用步骤S1取得的RGB数据构成的拍摄图像数据变换(分离)为亮度数据(Y)及色差数据(Cr、Cb)。并且，该亮度数据(Y)及色差数据(Cr、Cb)被存储在数据存储器18中。 

在其次的步骤S3～步骤S8中，控制部15从程序存储器17中读取图像补正程序而执行图像补正处理。首先，在步骤S3中，控制部15对利用步骤S2而被存储在数据存储器18上的色差数据(Cr)、色差数据(Cb)的每一个实施二维傅立叶正变换处理。由此，控制部15将色差数据变换 为由离散的空间频率信息构成的频率解析数据。 

控制部15通过对色差数据(Cr)实施二维傅立叶正变换处理而作为利用在下式中表示的CrF(u，v)所表示的频率解析数据。同样地，控制部15通过对色差数据(Cb)实施二维傅立叶正变换处理而作为利用在下式中表示的CbF(u，v)所表示的频率解析数据。 

【公式1】 

$\mathrm{CrF}(u,v)=\frac{1}{N}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{Crf}(x,y)\exp \{-j2\mathrm{\π}(\mathrm{ux}+\mathrm{vy})/N\}$

$\mathrm{CbF}(u,v)=\frac{1}{N}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{Cbf}(x,y)\exp \{-j2\mathrm{\π}(\mathrm{ux}+\mathrm{vy})/N\}$

上式中的N表示摄影图像中的纵向、横向中的像素数。且有，在通常的摄像装置1中，虽然在纵向、横向中的像素数不同的较多，但是为了方便说明作为相同的像素数N进行说明。另外，上式中的(x，y)是摄影图像中的像素坐标，(u，v)表示空间频率分量，u是x方向上的空间频率分量，v是y方向上的空间频率分量。并且，Crf(x，y)是坐标(x，y)中的Cr分量，Cbf(x，y)是坐标(x，y)中的Cb分量，CrF(u，v)是空间频率分量(u，v)中的Cr分量，CbF(u，v)是表示空间频率分量(u，v)中的Cb分量。 

在其次的步骤S4中，控制部15取得利用步骤S3实施二维傅立叶变换处理而生成的频率解析数据中所包括的直流分量信息及低频信息。在此，控制部15虽然在以下进行了叙述，但是基于当前摄像装置1拍摄的被摄体附近的光源状况将与摄影图像中所表现的颜色变化(斑点)相当的空间频率信息从频率解析数据中减去。 

若这与摄影图像中的光源状况不同，则在图像内表现与该光源状况相应的颜色变化(斑点)。该图像内的颜色变化对于用户而言，作为图像内的噪声来进行了识别。由此，控制部15为了从摄影图像中去除该颜色变 化，而取得直流分量及低空间频率分量的空间频率信息。特别是，摄像装置1在去除由多个光源存在所引起的颜色变化的情况下，取得了与该颜色变化相当的低空间频率分量的空间频率信息。 

在其次的步骤S5中，控制部15判断利用步骤S4取得的低空间频率分量的振幅是否比阈值小。在低空间频率分量的振幅比阈值小的情况下，进入到步骤S6的处理，否则结束处理。 

在步骤S6中，控制部15从原始摄影图像数据中减去直流分量及低空间频率分量。具体地说，在上式中，削减作为直流分量((u，v)＝(0，0))及规定的空间频率分量(u，v)中的Cr分量的CrF(u，v)或者进行振幅减法运算，削减作为直流分量((u，v)＝(0，0))及规定的空间频率分量(u，v)中的Cb分量的CbF(u，v)或者进行振幅减法运算。 

在此，在基于光源状况与摄影图像所表现的颜色变化相当的空间频率信息是在预先设置的频率解析数据中属于低空间频率的空间频率信息的情况下，控制部15将该预先设置的空间频率信息从频率解析数据中删除。即，完全没有预先设置的空间频率分量。更具体地说，如图2B所示，在存在基于光源状况的色调变化的情况下，进行从摄影图像数据中去除该图2B示出的低空间频率分量的处理。 

另外，在控制部15利用步骤S6判断为：预先设置的空间频率分量的振幅值比规定的阈值小的情况下，也可以将该预先设置的空间频率信息的振幅从频率解析数据中减去。该振幅的减法运算程度，例如也可以是阈值以下，也可以减去预先设置的振幅量。 

阈值优选由拍摄了摄影图像时的光源状况所设置的阈值。其原因在于，该光源状况影响到摄影图像内所表现的颜色变化。摄像装置1的设计者求出由摄影图像内的光源状况引起的色调变化在哪个空间频率分量中以怎样程度的振幅来表现的。并且，与利用步骤S4取得的低空间频率分 量中的振幅比较的阈值被设置为在预先设计阶段求出的值或摄影的事先设置的值。作为光源状况列举了拍摄了摄影图像的时刻、用户的选择操作、有无闪光或闪光的强度。因此，阈值被设置了减轻由这些光源状况产生的颜色变化的值。 

在其次的步骤S7中，控制部15使用利用步骤S6所补正的频率解析数据进行二维傅立叶逆变换处理。即，所谓步骤S3中的二维傅立叶正变换处理是指控制部15进行成为逆处理内容的二维傅立叶逆变换处理。 

控制部15通过对Cr分量的频率解析数据实施二维傅立叶逆变换处理，而作为利用在下式中表示的HCrF(x，y)所表示的坐标(x，y)中的色差数据(Cr)。同样地，控制部15通过对Cb分量的频率解析数据实施二维傅立叶逆变换处理而作为利用在下式中表示的HCbF(x，y)所表示的坐标(x，y)中的色差数据(Cr)。 

【公式2】 

$\mathrm{HCrF}(x,y)=\frac{1}{N}\underset{u=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{HCrf}(u,v)\exp \{j2\mathrm{\π}(\mathrm{ux}+\mathrm{vy})/N\}$

$\mathrm{HCbF}(u,v)=\frac{1}{N}\underset{u=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{HCbf}(u,v)\exp \{j2\mathrm{\π}(\mathrm{ux}+\mathrm{vy})/N\}$

在上式中，HCrf(x，y)是坐标(x，y)中的Cr分量，HCbf(x，y)是坐标(x，y)中的Cb分量，HCrF(u，v)是在步骤S6中所补正的空间频率分量(u，v)中的Cr分量，HCbF(u，v)是在步骤S6中所补正的空间频率分量(u，v)中的Cb分量。 

由此，控制部15对于摄影图像的各坐标(x，y)而言能够得到补正后的色差数据HCrf(x，y)、HCbf(x，y)。该补正后的色差数据HCrf(x，y)、HCbf(x，y)成为去除了上述的频率解析数据中的直流分量及规定的空间频率分量后的值。 

在其次的步骤S8中，控制部15使用利用步骤S7取得的补正后的色差数据(Cr、Cb)和利用步骤S2变换而取得的亮度数据(Y)，从而生成补正后的摄影图像。 

由此，摄像装置1进行去除在摄影图像所包含的空间频率分量中表示由拍摄摄影图像时的光源状况在摄影图像内所表现的颜色变化的空间频率分量的补正处理。由此，摄像装置1能够去除由拍摄摄影图像时的光源状况在摄影图像内所表现的颜色变化。 

接着，作为上述构成的拍摄图像1的具体处理，参照图4～图7的流程图、图8～图12的阈值表格进行说明。 

首先，根据操作快门按钮16a直到全按状态为止，摄像装置1开始摄影动作，从而开始步骤S11以后的处理。 

在步骤S11中，摄像光学系统11及摄像部12，基于从规定的摄像范围受光的光而取得摄影图像数据。 

在其次的步骤S12中，摄像处理部13从摄像部12取得由利用步骤S11取得的RGB数据构成的颜色分量数据。 

其次的步骤S13是控制部15通过被存储在程序存储器17中的图像补正程序所执行的图像补正处理。 

在该步骤S13的图像补正处理中的步骤S13a中，按照控制部15的控制，摄像处理部13从利用步骤S12取得的颜色分量数据(RGB数据)中分离亮度数据(Y)及色差数据(Cr、Cb)。并且，亮度数据(Y)及色差数据(Cr、Cb)被暂时存储在数据存储器18中。且有，在本实施方式中，表色系统中采用了YCrCb。但是，不一定需要将RGB数据分离为Y、 Cr、Cb，若是能够从亮度分量或明亮度分量中分离YUV、YIQ等的色差分量的表色系统，则同样也适用本发明。 

在其次的步骤S13b中，控制部15实施将利用步骤S13a被存储在数据存储器18中的色差数据(Cr、Cb)变换为由直流分量及离散分量构成的多个空间频率分量的二维傅立叶变换处理(频率变换处理)。并且，取得具有表示变换后的多个空间频率分量的振幅值的空间频率信息的集合的频率解析数据。 

另外，该频率解析数据也不一定包含全部的空间频率分量的振幅值。 

如图5所示，该频率解析数据的取得处理首先在步骤S21中取得坐标(x，y)中的色差数据Crf(x，y)，在步骤S22中取得坐标(x，y)中的色差数据Cbf(x，y)。并且，控制部15在步骤S23中对色差数据Crf(x，y)进行二维傅立叶变换处理而取得色差数据Crf(x，y)的空间频率信息CrF(u，v)，在步骤S24中对色差数据Cbf(x，y)实施二维傅立叶变换处理而取得色差数据Cbf(x，y)的空间频率信息CbF(u，v)。通过这种频率解析数据的取得处理，控制部15能够取得表示在色差数据(Cr)中包括怎样的振幅怎样的空间频率分量的频率解析信息和表示在色差数据(Cb)中包括怎样的振幅怎样的空间频率分量的频率解析信息。 

返回到图4，在下一个步骤S13c中，控制部15(更详细地说是控制部15a)取得例如图6所示的表示摄影的事先所设置的当前的光源状况的光源状况信息。作为该光源状况信息可以是拍摄摄影图像的时刻、用户的选择操作、内置发光部25或由内置发光部25引起的有无闪光或闪光的强度中的至少一个。拍摄摄影图像的时刻是通过控制部15内的未图示的定时器取得的。另外，例如有时在S52中光源状况判断条件＝4时等，通过用户的选择操作被设置为是规定的光源状况。且有，控制部15判断是否是闪光摄影模式，从发光量计算部19中取得内置发光部25的发光的有无、内置发光部25的发光强度。另外，控制部15判断对连接检测部23a是否连接了外带发光部26，从发光量计算部19取得内置发光部25的发光的 有无、内置发光部25的发光强度。 

且有，在此，虽然图6的设置是在摄影的事先进行的，但是在本步骤S13c中也可以构成为在暂时中断摄像处理后执行。 

在上述的图6示出的事前设置中，控制部15通过操作菜单按钮16且对移动按钮16c及确定按钮16d的操作，从而成为选择光源状况判断条件“1”～“5”的状态。在该状态中，在步骤S51中，通过操作按键输入部16能够确定光源状况判断条件中的“1”～“5”。该光源状况判断条件在步骤S52中通过控制部15被识别。 

在确定了光源状况判断条件为“1”的情况下，控制部15进入到步骤S53的处理。在该步骤S53中，控制部15将时刻及闪光信息作为光源状况信息读取到数据存储器18中。另外，控制部15将如图8所示的存储了与时刻和闪光信息对应的阈值x的阈值表格读取到数据存储器18中。 

在确定了光源状况判断条件为“2”的情况下，控制部15进入到步骤S54的处理。在该步骤S54中，控制部15将时刻作为光源状况信息读取到数据存储器18中。另外，控制部15将如图9所示的存储了与时刻对应的阈值x的阈值表格读取到数据存储器18中。 

在确定了光源状况判断条件为“3”的情况下，控制部15进入到步骤S55的处理。在该步骤S55中，控制部15将闪光信息作为光源状况信息读取到数据存储器18中。另外，控制部15将如图10所示的存储了与闪光信息对应的阈值x的阈值表格读取到数据存储器18中。 

在确定了光源状况判断条件为“4”的情况下，控制部15进入到步骤S56的处理。在该步骤S56中，控制部15通过用户设置将时间带及闪光状态的说明作为光源状况信息读取到数据存储器18中。另外，控制部15将如图11所示的存储了与时间带及闪光状态的说明对应的阈值x的阈值表格读取到数据存储器18中，而进入到步骤S561的处理。并且，在步 骤S561中，基于按键输入部16的按键输入而选择单一的阈值。 

在确定了光源状况判断条件为“5”的情况下，控制部15进入到步骤S57的处理。在该步骤S57中，控制部15将初始设置作为光源状况信息读取到数据存储器18中。另外，控制部15将如图12所示的存储了初始设置用的阈值x的阈值表格读取到数据存储器18中。 

且有，光源状况信息也可以是上述以外的信息。例如，光源状况信息也可以将从摄影图像可取得的光的光源种类或数目作为能特定或推定的任意信息，基于此求出阈值x。另外，从该摄影图像取得的光源状况信息也可以与上述的各光源状况信息内的至少其中一个一起利用来求阈值x。更进一步地说，能够减轻光源状况对摄影图像带来的图像上的不协调。 

另外，光源状况判断条件的选择也可以构成为不是由用户手动操作，本图像补正装置是自动根据摄影图像的分析结果进行选择。更进一步地说，能够减轻光源状况对摄影图像带来的图像上的不协调。 

返回图4，在步骤S13d中，控制部15基于利用步骤S13c取得的光源状况信息来确定阈值。此时，控制部15根据利用步骤S13c被存储在数据存储器18中的光源状况信息，同样参照利用步骤S13c被存储在数据存储器18上的阈值表格，从而取得被存储在该阈值表格上的阈值x。 

具体地说，参照图8所示的阈值表格，根据时刻信息及闪光状态来确定阈值x1～x8的任意一个。在此，在仅利用未安装外带发光部26的内置发光部25的闪光状态时，与光量相当的闪光系数(GN)通常为恒定值的“GN10”。并且，在发光控制部23安装有外带发光部26时，通过发光量计算部19计算从内置发光部25和外带发光部26发出的GN，计算合成了内置发光部25的GN和外带发光部26的GN后的合成GN，根据该合成GN和时刻确定了阈值x。在此，在利用内置发光部25和外带发光部26的双方的情况下，通过外带发光部26的种类而存在合成GN为“GN20” 的情况和“GN30”的情况。该外带发光部26的种类通过发光量计算部19被识别而计算出合成GN。且有，所谓GN是表示闪光的光的强度的标准单位。能够达到GN数字越大的闪光则成为光源越大的闪光的目的。 

另外，参照图9示出的阈值表格，在得到作为光源状况信息的时刻信息的情况下，根据该时刻信息来确定阈值x9、x10中的任意一个。且有，参照图10示出的阈值表格，在得到了作为光源状况信息的闪光信息的情况下，基于由表示该闪光状态的发光量计算部19所计算出的GN来确定阈值x11～x14的任意一个。且有，参照图11所示的阈值表格，在作为光源状况信息而得到了时间带及闪光状态的说明的情况下，来确定利用图6的S561已经选择好的阈值、即阈值x15～x20中的任意一个。且有，参照图12所示的阈值表格，在得到作为光源状况信息为初始设置的情况下，确定被存储在该阈值表格上的阈值x21。 

在其次的步骤S13e中，控制部15(更详细地说是控制部15b)基于利用步骤S13d所确定的阈值x，进行减去频率解析数据中的部分频率解析数据的滤波处理。该滤波处理如图7所示，首先在步骤S31中作为空间频率分量(u，v)的初始值而输入u＝0、v＝0。在此，u＝0、v＝0时的空间频率分量(u，v)是直流分量。 

在其次的步骤S32中，控制部15参照在步骤S31或后述的步骤S39、S41中设置的当前的空间频率分量(u，v)，读取利用步骤S13b运算而被存储在数据存储器18中的表示空间频率分量(u，v)的振幅值的空间频率信息CrF(u，v)、CbF(u，v)。 

在其次的步骤S33中，控制部15判断空间频率信息CrF(u，v)是否比阈值x小。在空间频率信息CrF(u，v)比阈值x小的情况下，在步骤S35中不对该空间频率信息CrF(u，v)进行滤波处理而进入到步骤S36的处理。另一方面，在空间频率信息CrF(u，v)比阈值x小的情况下，在步骤S34中对该空间频率信息CrF(u，v)实施滤波处理而进入到步骤S36的处理。其结果， 在步骤S33的判断为否定判断的情况下，补正前的空间频率信息CrF(u，v)和补正后的空间频率信息HCrF(u，v)相同。另一方面，在步骤S33的判断为肯定判断的情况下，补正后的空间频率信息HCrF(u，v)为“0”。且有，在此，虽然补正后的空间频率信息HCrF(u，v)为“0”，但是所谓“0”是不进行，也可以实施减去规定程度之类的处理。例如，对于补正前的值也可以实施以成为10％的方式进行减去的处理。 

在其次的步骤S36中，控制部15判断空间频率信息CbF(u，v)是否比阈值x小。在空间频率信息CbF(u，v)比阈值x小的情况下，在步骤S35中不对该空间频率信息CbF(u，v)进行滤波处理而进入到步骤S36的处理。另一方面，在空间频率信息CbF(u，v)比阈值x小的情况下，在步骤S34中对该空间频率信息CbF(u，v)实施滤波处理而进入到步骤S36的处理。其结果，在步骤S33的判断为否定判断的情况下，补正前的空间频率信息CbF(u，v)和补正后的空间频率信息HCbF(u，v)相同。另一方面，在步骤S33的判断为肯定判断的情况下，补正后的空间频率信息HCbF(u，v)为“0”。且有，在此，虽然补正后的空间频率信息HCbF(u，v)为“0”，但是所谓“0”是不进行，也可以实施减去规定程度之类的处理。例如，对于补正前的值也可以实施以成为10％的方式进行减去的处理。 

且有，利用步骤S33与空间频率信息CrF(u，v)比较的阈值x也可以是与CrF(u，v)和CbF(u，v)不同的值。另外，阈值x可以不是一个值，在同时参照与用户的设置操作无关的上述多个阈值表格的情况下，也可以根据与光源状况相当的多个阈值x利用作为最小值的阈值xminm、或作为最大值的阈值xmax内的任意一个值。 

接着，在步骤S39中，控制部15对当前的空间频率分量(u，v)中的u值增加1，在步骤S40中，判断u值是否成为了规定的空间频率分量范围的上限值A。同样地，在步骤S41中，控制部15对当前的空间频率分量(u，v)中的v值增加1，在步骤S42中，判断v值是否成为了规定的空间频率分量范围的上限值B。并且，在空间频率分量(u，v)的双方成 为规定的空间频率分量范围的上限值A、B的情况下，结束处理而进入到图4的步骤S13f的处理。 

在此，规定的空间频率分量范围的上限值A、B是从与由光源状况在图像上所表现的颜色变化相当的直流分量直到规定的低空间频率分量。例如，在图2A示出的摄影图像数据中存在图2B之类的颜色变化的情况下，在要削减该颜色变化的情况下，将A、B的值分别设置为“3”。由此，能够从图2A的摄影图像数据中取出图2B示出的颜色变化的空间频率分量。这样一来，以能够有效滤波由光源状况在摄影图像数据中所表现的颜色变化的方式来设置A、B。且有，也可以根据从摄影图像数据中去除的颜色变化来设置与A、B不同的值。另外，根据光源状况，为使能够减去最优的空间频率分量而可以改变A、B。 

返回到图4，在步骤S13f中，控制部15对利用步骤S13e实施了滤波处理后的频率解析数据进行二维傅立叶逆变换处理，从而取得补正后的色差数据(Cr、Cb)。 

在其次的步骤S13g中，控制部15基于利用步骤S13f取得的补正后的色差数据(Cr、Cb)和利用步骤S13a取得的亮度数据(Y)来生成补正后的RGB数据(颜色分量数据)。 

在其次的步骤S13h中，控制部15对利用步骤S13g补正后的RGB数据实施规定的图像处理。此时，控制部15还可以对RGB数据实施补正由光源引起的对图像数据的影响的以前的白平衡处理等的图像加工处理，其后，在数据存储器18中存储RGB数据。由此，通过控制部15执行图像补正程序的图像补正处理结束，进入到步骤S14的处理。 

在步骤S14中，图像压缩部20对利用步骤S13生成而被存储到数据存储器18上的补正后的RGB数据进行图像压缩处理。通过该图像补正处理得到的压缩数据被存储到数据存储器18中。 

在其次的步骤S15中，控制部15通过存储卡处理部14使利用步骤S14生成的压缩数据存储到存储卡而结束处理。 

如上述详细的说明，根据适用本发明的摄像装置1，通过在从拍摄图像数据中得到的色差数据(Cr、Cb)中所包括的空间频率分量中减去规定的空间频率分量的补正，从而能够去除光源状况对摄影图像带来的颜色变化。因此，根据该摄像装置1，通过对在各种光源状况下摄影的摄影图像实施图像补正处理，从而能够减轻光源状况对摄影图像带来的图像上的不协调。 

另外，根据该摄像装置1，因为基于光源状况信息从频率解析数据中减去与摄影图像所表现的颜色变化相当的空间频率信息，因此即使在根据光源状况而不同的颜色变化在摄影图像上表现的情况下，也能根据该光源状况进行适当地补正。 

且有，根据该摄像装置1，作为从摄影图像中减去的规定的空间频率分量，因为设置在预先设置的频率解析数据中属于低空间频率的空间频率信息，因此基于光源状况信息能够减去与在摄影图像上所表现的颜色变化相当的空间频率信息。 

另外，根据该摄像装置1，在预先设置的空间频率分量的振幅值比规定的阈值小的情况下，因为能够从频率解析数据中削除预先设置的空间频率信息，因此根据光源状况而在摄影图像所表现的颜色变化的空间频率分量的振幅增大的摄影图像中可视的情况下，能够进行将该空间频率分量作为“0”的补正。 

另外，根据该摄像装置1，在预先设置的空间频率分量的振幅值比规定的阈值小的情况下，因为使预先设置的空间频率分量的振幅值作为小的值，因此根据光源状况能够进行在摄影图像所表现的颜色变化的空间频率 分量的振幅增大的摄影图像中可视的情况下使该空间频率分量不明显的补正。 

另外，根据该摄像装置1，光源状况信息虽然在摄影之前进行了设置，但是并不限定于此。例如，也可以解析利用步骤S1或步骤S11取得的摄影图像，并检测光源种类或数目，基于该检测结果来设置光源状况信息。 

另外，根据该摄像装置1，因为作为光源状况取得拍摄摄影图像的时刻、用户的选择操作、有无闪光或闪光的强度中的至少一个，并能够基于该光源状况变更规定的阈值，因此能够高精度地减轻由各种光源状况产生的颜色变化，从而能够回避会削减图像本来的颜色变化。 

另外，上述的实施方式是本发明的一个例子。由此，本发明不限定于上述的实施方式，即使在本实施方式以外，只要不脱离本发明相关的技术思想的范围，根据设计等可作各种变更。 

Claims (7)

1.一种图像补正装置，具备：

图像取得机构，其包含摄像光学系统，并用于取得图像；

分离机构，其将由所述图像取得机构所取得的图像分离为亮度数据和色差数据；

变换机构，其将由所述分离机构所分离的色差数据傅立叶变换为空间频率中的振幅值的集合；

光源状况取得机构，其取得与通过摄像取得了所述图像的时刻、用户的选择操作、有无闪光或闪光的强度中的至少一个相关的信息，作为光源状况；

补正机构，其基于由所述光源状况取得机构所取得的光源状况信息，从由所述变换机构进行傅立叶变换后的振幅值的集合中，针对与对所述图像所表现的颜色变化带来影响的色差数据相对应的空间频率中的振幅值进行减去该值的补正；

逆变换机构，其将由所述补正机构补正后的空间频率中的振幅值的集合逆傅立叶变换为色差数据；和

补正图像生成机构，其利用所述亮度数据和由所述逆变换机构逆傅立叶变换后的色差数据来生成补正后的摄影图像。

2.根据权利要求1所述的图像补正装置，其特征在于，

所述补正机构包括判断机构，该判断机构将在所述空间频率中的振幅值的集合中属于低空间频率的多个振幅值作为判断对象，并对每个该振幅值进行是否进行补正的判断，

所述补正机构进行减去由所述判断机构判断为进行补正的振幅值的补正。

3.根据权利要求2所述的图像补正装置，其特征在于，

所述判断机构将所述振幅值的集合中基于所述光源状况信息所设定的振幅值作为判断对象，并对每个该振幅值进行是否进行补正的判断。

4.根据权利要求2所述的图像补正装置，其特征在于，

所述判断机构对所述振幅值比规定的阈值小的振幅值进行补正。

5.根据权利要求4所述的图像补正装置，其特征在于，

进一步，所述光源状况取得机构还具备设定机构，该设定机构基于所述光源状况信息设定所述规定的阈值。

6.根据权利要求1所述的图像补正装置，其特征在于，

在所述补正机构进行的补正内容中包括将所述振幅值设为0的内容。

7.一种图像补正方法，其特征在于，由以下步骤构成：

分离步骤，将经由摄像光学系统取得的图像分离为亮度数据和色差数据；

变换步骤，将由所述分离步骤所分离的色差数据傅立叶变换为空间频率中的振幅值的集合；

光源状况取得步骤，取得与通过摄像取得了所述图像的时刻、用户的选择操作、有无闪光或闪光的强度中的至少一个相关的信息，作为光源状况；

补正步骤，基于由所述光源状况取得步骤所取得的光源状况信息，从由所述变换步骤进行傅立叶变换后的振幅值的集合中，针对与对所述图像所表现的颜色变化带来影响的色差数据相对应的空间频率中的振幅值进行减去该值的补正；

逆变换步骤，将由所述补正步骤补正后的空间频率中的振幅值的集合逆傅立叶变换为色差数据；和

补正图像生成步骤，利用所述亮度数据和由所述逆变换步骤逆傅立叶变换后的色差数据来生成补正后的摄影图像。

Images