CN101964873A - 图像处理装置、图像处理程序及摄像装置 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理程序及摄像装置。该图像处理装置包括：亮度梯度计算部，用于根据图像信息计算图像内的亮度梯度；色相值计算部，用于计算表示根据由上述亮度梯度计算部算出的上述亮度梯度而设定的候补区域的内侧的色相的第一色相值和表示上述候补区域的周边的色相的第二色相值；以及区域提取部，用于从上述候补区域中提取上述第一色相值和上述第二色相值之差在预先设定的阈值以下的区域。

Description

图像处理装置、图像处理程序及摄像装置

技术领域

本发明涉及一种图像处理装置、图像处理程序及摄像装置。

本申请请求以下申请的优先权且在此援引其内容作为参考：2009年7月21日申请的日本国专利申请第2009-170367号、2009年7月21日申请的日本国专利申请第2009-170368号、2010年2月26日申请的日本国专利申请第2010-043004号、以及2010年2月26日申请的日本国专利申请第2010-043013号。

背景技术

由电子相机等摄像装置进行摄像时，若在配置于摄像元件附近的光学滤波器等光学部件中的摄像光路上附着有污物，则会存在由附着的污物产生的映影映入到拍摄图像中的情况。尤其是在透镜更换式的摄像装置中，在更换透镜时等有时灰尘、粉尘等污物会进入相机主体内并附着。例如在JP特开2004-220553号公报(以下称为专利文献1)所公开的技术中，为了检测这样映入到图像中的污物映影并进行校正，在同一面上预先拍摄映入了污物映影的基准图像并计算污物位置的坐标。并且，对于校正对象的拍摄图像中的与基准图像的污物位置对应的位置，进行删除污物映影的校正。此外，在专利文献1中公开了根据校正对象的图像中包含的各像素的亮度信息的变化来提取污物映影的技术。

但是，通过专利文献1的技术而基于基准图像进行污物映影的校正时，对基准图像和校正对象的图像多个图像进行处理。因此，处理变得复杂，需要相当的摄像装置的处理性能、处理时间。另一方面，在根据校正对象的图像中包含的各像素的亮度信息的变化来提取污物映影时，有时会误将被拍摄体的色调引起的亮度变化作为污物映影提取。在提取映入到图像的污物时，优选以更少的处理高效地进行并且减少污物映影的误检测。

此外，在由电子相机等摄像装置进行摄像时，若在配置于摄像元件附近的光学滤波器等光学部件中的摄像光路上附着有污物，则会存在由附着的污物产生的映影映入到拍摄图像中的情况。尤其是在透镜更换式的摄像装置中，在更换透镜时等有时灰尘、粉尘等污物会进入相机主体内并附着。例如在专利文献1所公开的技术中，为了提取这样映入到图像中的污物映影并进行校正，在同一面上预先拍摄映入了污物映影的基准图像并计算污物位置的坐标。并且，对于校正对象的拍摄图像中的与基准图像的污物位置对应的位置，进行删除污物映影的校正。此外，在专利文献1中公开了根据校正对象的图像中包含的各像素的亮度的变化来提取污物映影的技术。

但是，通过专利文献1的技术而基于基准图像进行污物映影的校正时，对基准图像和校正对象的图像多个图像进行处理。因此，需要相当于复杂处理的处理负荷的摄像装置的处理性能、处理时间。另一方面，在根据校正对象的图像中包含的各像素的亮度的变化来提取污物映影时，例如有时会误将被拍摄体的色调引起的亮度变化作为污物映影提取。在此，在提取映入到图像的污物时，优选以更少的处理负荷高效地进行并且减少污物映影的误检测。

此外，在数码相机等摄像装置中，有时会在配置于摄像光路的光学滤波器等光学部件上附着异物，并因附着的异物在拍摄图像中产生图像缺陷。作为用于解决这种问题的现有技术，例如提出了以下的图像处理装置(参照专利文献1)：根据拍摄图像的亮度数据检测图像中映入的异物，并除去该异物(参照专利文献1等)。

但是，在现有技术中由于映入到拍摄图像中的异物的检测精度不足而存在产生误检测的情况。此外，在现有技术中存在难以判别特定区域的亮度变化是否是因异物的映入而引起的问题。

此外，在数码相机等摄像装置中，有时会在配置于摄像光路的光学滤波器等光学部件上附着异物，并因附着的异物在拍摄图像中产生图像缺陷。作为用于解决这种问题的现有技术，例如提出了以下的图像处理装置(参照专利文献1)：根据拍摄图像的亮度数据检测图像中映入的异物，并除去该异物(参照专利文献1等)。

但是，在现有技术中对拍摄图像进行除去映入到图像中的异物的校正时，存在校正后的图像产生校正痕迹的问题。

发明内容

本发明鉴于上述状况而提出。本发明的目的之一在于提供高效且正确地提取映入到图像中的污物映影的图像处理装置、图像处理程序及摄像装置。

此外，本发明的目的之一在于提供以较少的处理负荷正确地提取映入到图像中的污物映影的图像处理装置、图像处理程序及摄像装置。

此外，本发明的目的之一在于提供高精度地检测图像的异物的图像处理装置及图像处理程序。

此外，本发明的目的之一在于提供能够进行良好的图像校正的图像处理装置、图像处理程序及摄像装置。

本发明的一个方式的图像处理装置包括：亮度梯度计算部，用于根据图像信息计算图像内的亮度梯度；色相值计算部，用于计算表示根据由上述亮度梯度计算部算出的上述亮度梯度而设定的候补区域的内侧的色相的第一色相值和表示上述候补区域的周边的色相的第二色相值；以及区域提取部，用于从上述候补区域中提取上述第一色相值和上述第二色相值之差在预先设定的阈值以下的区域。

上述图像处理装置优选如下构成：上述亮度梯度计算部根据进行了逆伽马校正的上述图像信息来计算上述亮度梯度。

上述图像处理装置优选如下构成：上述区域提取部进行上述候补区域的大小是否在预先设定的阈值以上的判断，并根据该判断结果来提取上述区域。

上述图像处理装置优选如下构成：还包括用于计算上述图像内的明亮度的程度的明亮度计算部，上述区域提取部根据以下判断中的至少一个来提取上述区域：上述候补区域的周边区域的明亮度值是否在预先设定的阈值以上；上述候补区域的周边的明亮度值的变化量是否在预先设定的阈值以下；以及上述候补区域的明亮度值和该候补区域的周边区域的明亮度值之比是否在预先设定的阈值以下。

上述图像处理装置优选如下构成：还包括：明亮度计算部，用于计算表示图像内的各部分的明亮度的第一明亮度值和表示上述各部分的周边的明亮度的第二明亮度值；以及区域提取部，将由上述第一明亮度值和上述第二明亮度值之差在预先设定的阈值以上且上述第一色相值和上述第二色相值之差不在预先设定的阈值以上的上述部分构成的区域提取出来。

上述图像处理装置优选如下构成：还包括标准偏差计算部，其对上述图像中包含的像素，计算该像素的明亮度值和该像素的周边部分的明亮度值的标准偏差，上述区域提取部进一步以由上述标准偏差计算部算出的上述标准偏差在预先设定的阈值以上为条件，提取满足该条件的上述区域。

上述图像处理装置优选如下构成：上述区域提取部判断提取出的上述区域中含有的像素的像素数是否在预先设定的像素数的范围内，并进一步以判断为在该范围内为条件，提取满足该条件的上述区域。

上述图像处理装置优选如下构成：上述区域提取部进一步以提取出的上述区域的周边区域的明亮度值在预先设定的阈值以上为条件，提取满足该条件的上述区域。

上述图像处理装置优选如下构成：上述区域提取部进一步以提取出的上述区域的周边区域的明亮度的标准偏差在预先设定的阈值以下为条件，提取满足该条件的上述区域。

上述图像处理装置优选如下构成：上述区域提取部进一步以提取出的上述区域的明亮度值和该区域的周边区域的明亮度值之比在预先设定的阈值以下为条件，提取满足该条件的上述区域。

本发明的一个方式的图像处理装置包括：图像输入部，用于输入拍摄图像；以及判断部，利用与上述拍摄图像内的检测区域的明亮度对应的明亮度信息以及与上述检测区域的饱和度对应的饱和度信息，判断上述检测区域是否为与映入到上述拍摄图像中的异物对应的部分，上述判断部在利用上述明亮度信息判断了上述检测区域是否为与上述异物对应的部分后，利用上述饱和度信息判断上述检测区域是否为与上述异物对应的部分。

上述图像处理装置优选如下构成：上述判断部在与上述检测区域的饱和度对应的第一饱和度信息和与上述检测区域的周边区域的饱和度对应的第二饱和度信息之间的差异在预先设定的范围时，判断为上述检测区域是与上述异物对应的部分。

上述图像处理装置优选如下构成：上述判断部在与上述检测区域的饱和度对应的第一饱和度信息和与上述检测区域的周边区域的饱和度对应的第二饱和度信息之间的差异不在预先设定的范围时，判断为上述检测区域不是与上述异物对应的部分。

上述图像处理装置优选如下构成：上述判断部利用上述检测区域的明亮度和上述检测区域的周边区域的明亮度的梯度，判断上述检测区域是否为与上述异物对应的部分。

上述图像处理装置优选如下构成：上述判断部利用与上述检测区域的饱和度对应的第一饱和度信息和与上述检测区域的周边区域的饱和度对应的第二饱和度信息之比，判断上述检测区域是否为与上述异物对应的部分。

上述图像处理装置优选如下构成：上述判断部在与上述检测区域的周边区域的明亮度对应的第二明亮度信息不在预先设定的范围时，判断为上述检测区域不是与上述异物对应的部分。

上述图像处理装置优选如下构成：上述判断部在上述检测区域的周边区域的明亮度的标准偏差不在预先设定的范围时，判断上述检测区域不是与上述异物对应的部分。

本发明的一个方式的图像处理程序，用于使计算机执行以下步骤：计算表示图像内的各部分的明亮度的第一明亮度值和表示上述各部分的周边的明亮度的第二明亮度值；计算表示上述区域内的色相的第一色相值和表示上述区域的周边的色相的第二色相值；以及将由上述第一明亮度值和上述第二明亮度值之差在预先设定的阈值以上且上述第一色相值和上述第二色相值之差不在预先设定的阈值以上的上述各部分构成的区域提取出来。

本发明的一个方式的摄像装置包括：摄像部，用于拍摄图像；明亮度计算部，用于计算表示由上述摄像部拍摄的上述图像内的各部分的明亮度的第一明亮度值和表示上述各部分的周边的明亮度的第二明亮度值；色相值计算部，用于计算表示上述各部分的色相的第一色相值和表示上述各部分的周边的色相的第二色相值；以及区域提取部，将由上述第一明亮度值和上述第二明亮度值之差在预先设定的阈值以上且上述第一色相值和上述第二色相值之差不在预先设定的阈值以上的上述各部分构成的区域提取出来。

本发明的一个方式的图像处理程序，用于使计算机执行以下步骤：根据图像信息计算图像内的亮度梯度；计算表示根据算出的上述亮度梯度而设定的候补区域的内侧的色相的第一色相值和表示上述候补区域的周边的色相的第二色相值；以及从上述候补区域中提取上述第一色相值和上述第二色相值之差在预先设定的阈值以下的区域。

本发明的一个方式的摄像装置包括：摄像部，用于拍摄图像而生成图像信息；亮度梯度计算部，用于根据上述图像信息计算上述图像内的亮度梯度；色相值计算部，用于计算表示根据由上述亮度梯度计算部算出的上述亮度梯度而设定的候补区域的内侧的色相的第一色相值和表示上述候补区域的周边的色相的第二色相值；以及区域提取部，用于从上述候补区域中提取上述第一色相值和上述第二色相值之差在预先设定的阈值以下的区域。

本发明的一个方式的程序，用于使计算机执行以下步骤：输入拍摄图像；计算上述拍摄图像的明亮度信息；计算上述拍摄图像的饱和度信息；以及利用上述明亮度信息和上述饱和度信息，检测与映入到上述图像中的异物相关的异物信息。

本发明的一个方式的程序，用于使计算机执行以下步骤：输入拍摄图像；以及利用与上述拍摄图像内的检测区域的明亮度对应的明亮度信息以及与上述检测区域的饱和度对应的饱和度信息，判断上述检测区域是否为与映入到上述拍摄图像中的异物对应的部分。

本发明的一个方式的图像处理装置包括：图像输入部，用于输入图像；以及校正部，利用与上述图像的明亮度对应的明亮度信息，对与映入到上述图像中的异物对应的部分进行用于减少上述异物的影响的第一校正，利用与上述图像的饱和度对应的饱和度信息以及与上述图像的色相对应的色相信息中的至少一个，对与映入到上述图像中的异物对应的部分进行用于减少上述异物的影响的第二校正。

上述图像处理装置优选如下构成：上述图像是对将由光学系统得到的像光电转换而得到的拍摄图像进行了非线形校正的图像。

上述图像处理装置优选如下构成：还包括判断部，用于判断上述图像是否进行了非线形校正，上述校正部在由上述判断部判断为上述图像是进行了非线形校正的图像时，进行上述第一校正及上述第二校正。

上述图像处理装置优选如下构成：上述校正部在由上述判断部判断为上述图像不是进行了非线形校正的图像时，不进行上述第二校正。

上述图像处理装置优选如下构成：还包括判断部，用于判断对上述图像进行的非线形校正的强弱，上述校正部，在由上述判断部判断为上述图像是进行了强的非线形校正的图像时，进行上述第一校正及上述第二校正；在由上述判断部判断为上述图像是进行了弱的非线形校正的图像时，不进行上述第二校正。

上述图像处理装置优选如下构成：上述校正部，对于与映入到上述图像中的多个异物对应的多个部分，分别对该多个部分独立地计算作为上述第一校正的校正量的第一校正量以及作为上述第二校正的校正量的第二校正量，并根据上述第一校正量和上述第二校正量来进行上述第一校正和上述第二校正。

本发明的一个方式的摄影装置包括：摄影部，对由光学系统得到的像进行拍摄并输出拍摄图像；图像转换部，输出对上述拍摄图像进行了非线形校正的图像；和校正部，利用与上述图像的明亮度对应的明亮度信息，对与映入到上述图像中的异物对应的部分进行用于减少上述异物的影响的第一校正，利用与上述图像的饱和度对应的饱和度信息以及与上述图像的色相对应的色相信息中的至少一个，对与映入到上述图像中的异物对应的部分进行用于减少上述异物的影响的第二校正。

本发明的一个方式的程序，用于使计算机执行以下步骤：输入图像；以及利用与图像的明亮度对应的明亮度信息，对与映入到上述图像中的异物对应的部分进行用于减少异物的影响的第一校正，利用与上述图像的饱和度对应的饱和度信息以及与上述图像的色相对应的色相信息中的至少一个，对与映入到上述图像中的异物对应的部分进行用于减少异物的影响的第二校正。

附图说明

图1是表示本发明第一实施方式的摄像装置的结构例的图。

图2是表示该实施方式的摄像装置的结构例的框图。

图3A是表示该实施方式的对比度调整的概念的框图。

图3B是表示该实施方式的对比度调整的概念的框图。

图4是表示该实施方式的摄像装置的动作例的流程图。

图5是表示由该实施方式的摄像装置检测污物映影的图像数据的示例的图。

图6是表示该实施方式的图像处理装置的结构例的图。

图7是表示本发明第二实施方式的摄像装置的结构例的图。

图8是表示该实施方式的摄像装置的结构例的框图。

图9是表示该实施方式的摄像装置的动作例的流程图。

图10是表示该实施方式的图像处理装置的结构例的图。

图11是表示包含本发明第三实施方式的图像处理装置的相机的概要截面图。

图12是图11所示的相机的整体框图。

图13A是表示用该实施方式的图像处理装置执行的图像处理运算的一例的前半部分的流程图。

图13B是表示用该实施方式的图像处理装置执行的图像处理运算的一例的后半部分的流程图。

图14A是表示增益图的制作过程的概念图。

图14B是表示增益图的制作过程的概念图。

图15是表示该实施方式的图像处理装置中的异物检测水平的调整过程的概念图。

图16是表示在该实施方式的图像处理装置中计算的图像等的概念图。

图17是表示包含本发明第四实施方式的图像处理装置的计算机的框图。

图18是表示包含本发明第五实施方式的图像处理装置的相机的概要截面图。

图19是图18所示的相机的整体框图。

图20A是表示用该实施方式的图像处理装置执行的图像处理运算的一例的前半部分的流程图。

图20B是表示用该实施方式的图像处理装置执行的图像处理运算的一例的后半部分的流程图。

图21A是表示增益图的制作过程的概念图。

图21B是表示增益图的制作过程的概念图。

图22是表示该实施方式的图像处理装置中的异物检测水平的调整过程的概念图。

图23是表示在该实施方式的图像处理装置中计算的图像等的概念图。

图24是表示包含本发明第六实施方式的图像处理装置的计算机的框图。

具体实施方式

以下对本发明的一个方式的图像处理装置、图像处理程序及摄像装置进行说明。

另外，以下说明的目的是为了更好地理解本发明的主旨而进行具体说明。因此，以下的说明只要没有特别指定，则不限定本发明。

以下参照附图详细说明本发明的第一实施方式。

图1是表示该实施方式的摄像装置100的结构的图。摄像装置100是透镜更换式的电子相机，包括具有作为多个光学透镜组的透镜102的光学系统101。设置光学系统101的相机主体103包括快门106、光学滤波器105等光学部件、摄像元件104。摄像元件104为CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等，将经由光学系统101曝光并在自身的成像面上成像的像转换为电信号，并输出作为转换后的电信号的图像信号。输出的图像信号被转换成图像数据，并在相机主体103所具备的监视器108上显示。监视器108例如为LCD(Liquid Crystal Display，液晶显示器)等液晶显示器。

在此，光学系统101相对于相机主体103能够装拆。在光学系统101装拆时存在污物进入相机主体103的内部并附着在摄像光路上的情况。图1示出了附着在光学滤波器105上的污物107。该污物107挡住经由光学系统101入射的光，而在摄像元件104所成的像上形成映影。从而，在由摄像装置100生成的图像数据中映入污物映影。该实施方式的摄像装置100进行校正以检测映入到图像数据中的这种污物映影并将其删除。

图2是表示该实施方式的摄像装置100的结构的框图。摄像装置100具有根据预先存储于自身的存储区域中的程序来控制各部的动作的微机、CPU(Central Processing Unit，中央处理单元)，并包括输入部110、摄像部111、图像存储部112、明亮度计算部113、色相值计算部114、标准偏差计算部115、区域提取部116、污物校正部117、对比度调整部118和显示部119。

输入部110接受来自用户的操作信息的输入。输入部110例如包括：主要用于接受调整摄像时的快门速度的信息的输入的命令转盘；主要用于接受调整摄像时的光圈值的信息的输入的子命令转盘；用于接受对摄像并存储的图像进行重放的请求输入的重放按钮；用于接受将摄像并存储的图像删除的请求输入的删除按钮；用于选择在显示部119上显示的菜单项目的确定按钮等。

摄像部111通过预定的控制顺序驱动光学系统101，根据从摄像元件104输出的图像信号生成图像数据，从而拍摄图像。在此，摄像部111生成的图像数据是用RGB表色系统表示了各像素的颜色的信息。

在图像存储部112中存储有由摄像部111生成的图像数据。

明亮度计算部113用于计算：表示存储于图像存储部112的图像数据中包含的预定区域内的明亮度程度的第一明亮度值、和表示该区域的周边的明亮度程度的第二明亮度值。在此，区域的周边是指例如从预定区域的像素开始的周边5像素以内的像素等。明亮度计算部113根据图像数据中含有的像素的RGB值计算表示明亮度程度的亮度信息(Y)。此外，明亮度计算部113根据RGB值通过以下公式(1)计算亮度信息。

公式(1)

Y＝(0.299×R+0.589×G+0.114×B)/255    …(1)

根据上述公式(1)，明亮度计算部113针对存储于图像存储部112的图像数据中含有的各像素计算亮度信息，生成与图像数据对应的亮度平面。在此，说明了明亮度计算部113作为表示像素的明亮度程度的信息而计算亮度信息的示例，但例如也可以计算明度等。

色相值计算部114用于计算表示预定区域内的色相的第一色相值、和表示该区域的周边的色相的第二色相值。色相值计算部114根据图像数据中含有的像素的RGB值来计算色相值(Hue)。在此，色相值计算部114通过将图像数据中含有的像素的RGB值转换成HSV表色系统，而计算色相值。HSV表色系统是通过H(Hue：色相)、S(Saturation：饱和度)、V(Value：明度)来表示颜色的模型。色相值计算部114通过以下公式(2)来计算色相值(H)。

公式(2)

在此，在H＜0时在H上增加2π，在Vmax＝0时S＝0、H不确定。通过上述公式(2)，色相值计算部114对存储于图像存储部112的图像数据中含有的各像素计算色相值。

标准偏差计算部115通过对图像数据中含有的每个像素计算表示像素的明亮度值(亮度信息)和像素周边的明亮度值(亮度信息)之差的标准偏差，而取得图像数据中的明亮度的偏差。标准偏差计算部115对于由明亮度计算部113算出的亮度平面，按照各个预定区划而生成矩阵，计算将该矩阵的中心作为注目像素的标准偏差(Ystd)，从而取得明亮度的偏差。在此，预定区划是指例如5行5列的像素的矩阵。标准偏差计算部115通过以下公式(3)计算标准偏差。

公式(3)

$\mathrm{std}=\sqrt{\frac{1}{n-1}\underset{1}{\overset{n}{\mathrm{\Σ}}}{(\mathrm{xi}-\stackrel{\‾}{x})}^2}---\left(3\right)$

其中，n是矩阵的要素数，xi是矩阵的要素的值，求平均值(标有“-”)的x是处理对象的矩阵中含有的全部要素的平均值。标准偏差计算部115对由明亮度计算部113计算出的亮度平面的各个像素计算标准偏差，生成标准偏差平面。标准偏差平面中的标准偏差的值在亮度的偏差大的区域示出相对高的值，而在偏差少的区域则成为相对低的值。从而，Ystd在受到污物映影的影响而亮度变化的区域示出高值，在空白等均匀平面中则示出低值。在该例中，标准偏差计算部115计算的矩阵的大小为5行5列，但矩阵的大小可以使用适当的任意大小。例如，在将比其大的区域的矩阵作为处理对象时，通过平均化效果等而得到排除了亮度信息中含有的噪声的标准偏差平面。在此，示例了通过求出标准偏差来计算图像数据的明亮度的偏差，但也可以使用将标准偏差平方而得到的分散。

区域提取部116用于从处理对象的图像数据提取映入污物映影的可能性高的区域。在区域提取部116的存储区域中预先存储有为了提取污物映影的区域而设定的多个条件。区域提取部116根据设定的条件缩小映入污物映影的可能性高的区域，并将满足所有条件的区域判定为映入了污物映影的区域。

首先，区域提取部116以由标准偏差计算部115算出的标准偏差在预先设定的阈值以上为条件，从图像数据提取满足条件的区域。区域提取部116将由标准偏差计算部115生成的标准偏差平面中含有的像素的标准偏差与预先设定的标准偏差的阈值进行比较。区域提取部116，在标准偏差平面中含有的像素的标准偏差在设定的阈值以上时将该像素的值设为1，在标准偏差平面中含有的像素的标准偏差低于设定的阈值时将该像素的值设为0，而生成二值图像。即，在二值图像中，将与周边像素的亮度的变化量大、标准偏差在阈值以上的区域的像素设为1，将与周边像素的亮度的变化量小、标准偏差低于阈值的区域的像素设为0。区域提取部116从生成的二值图像提取像素的值为1的区域。区域提取部116根据对提取的区域是否为污物映影而设定的条件，进行以下的条件判定处理。在提取了不相邻的多个像素组的区域时，区域提取部116对提取出的各个区域进行以下的条件判定处理。

此外，通过附着于摄像装置100的摄像光路上的污物形成污物映影，会对其图像的亮度产生影像，但不会对色相带来变化，利用这一特性，区域提取部116判断提取出的区域是否为污物映影。即，区域提取部116，参照由明亮度计算部113生成的亮度平面，将以下内容作为条件并判断提取出的区域是否满足条件：提取区域中的像素的亮度和提取区域周边的像素的亮度之差在预先设定的阈值以上，并且，对提取区域的像素由色相值计算部114算出的色相值和对提取区域周边的像素由色相值计算部114算出的色相值之差不在预先设定的阈值以上。在提取出的区域满足该条件时，区域提取部116判定该区域为污物映影。在提取的区域不满足该条件时，区域提取部116判定该区域不是污物映影。此外，可以进一步设定以下条件：提取区域的像素的亮度比提取区域周边的像素的亮度小。对于提取区域或提取区域周边的像素，在以多个像素为处理对象时，可以通过各个区域中包含的像素的值的平均值来进行比较。

并且，区域提取部116通过提取区域的大小来判断提取区域是否为污物映影。例如，对提取区域中含有的像素的像素数和作为污物映影设定的像素数的范围的下限值进行比较，在低于下限值时，区域提取部116判定该区域不是污物映影。这是由于，提取区域过小时，认为是因噪声而导致该区域的标准偏差在阈值以上。另一方面，对提取区域中含有的像素的像素数和作为污物映影设定的像素数的范围的上限值进行比较，在上限值以上时，区域提取部116也判定该区域不是污物映影。这是由于，提取区域过大时，认为是因被拍摄体存在而导致该区域的标准偏差在阈值以上。由此，区域提取部116判断提取出的区域中含有的像素的像素数是否在预先设定的像素数的范围内，进一步以判定在范围内为条件，将满足条件的区域判定为污物映影并将其提取出来。

此外，区域提取部116进一步以提取出的区域的周边区域的明亮度值(亮度信息)在预先设定的阈值以上为条件来进行判定处理。区域提取部116对提取区域的周边区域的亮度信息和预先设定的阈值进行比较，在亮度信息在阈值以上时判定该区域为污物映影，在亮度信息不在阈值以上时判定该区域不是污物映影。

此外，区域提取部116进一步以提取出的区域的周边区域的明亮度的变化量在预先设定的阈值以下为条件来进行判定处理。区域提取部116参照由标准偏差计算部115生成的标准偏差平面，在标准偏差为阈值以下时判定该区域为污物映影，在标准偏差不在阈值以下时判定该区域不是污物映影。

此外，区域提取部116进一步以提取出的区域的明亮度值和该区域的周边区域的明亮度值之比在预先设定的阈值以下为条件来进行判定处理。区域提取部116参照由明亮度计算部113生成的亮度平面，计算提取区域的亮度和其周边区域的亮度之比，在计算出的比值在阈值以下时判定该区域为污物映影，在比值不在阈值以下时判定该区域不是污物映影。

此外，区域提取部116进行上述条件判定处理，在判定提取区域为污物映影时，计算图像数据中的提取区域的中心坐标。例如，区域提取部116在显示于显示部119的图像数据中，在计算出的中心坐标的部位显示预定大小的矩形的框。用户能够通过目视确认显示的框，来确认判定为污物映影的区域。

污物校正部117进行污物校正处理以删除在由区域提取部116提取出的区域中映入的污物映影。如上所述，映入了污物映影的提取区域与周边区域相比色相没有变化，但亮度存在变化。因此，污物校正部117例如通过将提取区域的像素的亮度增加到与周边的像素的亮度相同的程度，而删除提取区域的污物映影。

对比度调整部118进行使图像数据的对比度明显的处理。例如，在污物映影较薄、污物映影的区域的像素和周边像素的亮度差小到难以通过人眼确认的程度的情况下，用户很难确认污物映影的存在。因此，对比度调整部118通过增强图像数据中污物映影的区域和其周边区域的对比度，而强调较薄的污物映影，并显示在显示部119上。从而用户容易目视确认污物映影。例如，图3A和图3B是表示由区域提取部116提取出的提取区域的矩形图和色调曲线的例子的图。在图3A中，Y1表示亮度的最小值，Y2表示亮度的最大值，Ymid表示Y1和Y2的中间值。在此，对比度调整部118将Y1和Y2之间的亮度值再分布成0-1的值。从而，如图3B所示，色调曲线的斜度成为1/(Y2-Y1)。在此，对比度调整部118根据由用户输入的操作信息变换Y1和Y2之间的间隔，从而能够调整对比度。

显示部119是用于显示图像数据的显示器，相当于图1中的监视器108。

接下来参照图4的流程图说明由摄像装置100提取映入了污物映影的区域的动作例。由摄像部111拍摄图像并生成图像数据，且存储到图像存储部112中。输入部110从用户接受了想要进行污物检测的图像数据的选择后，将选择的图像数据从图像存储部112读出，并显示到显示部119。在此，根据由用户输入的操作信息例如将图像重放模式变更为“污物检测结果显示模式”后，摄像装置100开始进行自图像数据的污物检测处理。首先，色相值计算部114进行图像数据的HSV转换而计算色相值(Hue)(步骤S1)。明亮度计算部113根据图像数据的RGB值计算亮度信息(Y)，而生成亮度平面(步骤S2)。标准偏差计算部115针对在步骤S2中由明亮度计算部113算出的亮度平面中的各像素的亮度信息计算标准偏差，而生成标准偏差平面(步骤S3)。

区域提取部116在生成的标准偏差平面中提取标准偏差(Ystd)为阈值以上的区域(步骤S4)。并且，区域提取部116判断提取的区域中含有的像素数是否在预定范围内(步骤S5)。在此，区域提取部116若判定提取出的区域中含有的像素数不在预定范围内(步骤S5：否)则结束处理。另一方面，区域提取部116若判定提取出的区域中含有的像素数在预定范围内，则使处理进入步骤S6。

此外，区域提取部116判断是否在步骤S4中提取出的区域内的亮度值和区域的周边的亮度值之差在预定的阈值以上、且区域内的色相值和区域的周边的色相值之差不在预定的阈值以上(步骤S6)。区域提取部116若判定区域内的亮度值和区域的周边的亮度值之差不在预定的阈值以上、或区域内的色相值和区域的周边的色相值之差在预定的阈值以上(步骤S6：否)，则结束处理。另一方面，区域提取部116若判定在步骤S4中提取出的区域内的亮度值和区域的周边的亮度值之差在预定的阈值以上、且区域内的色相值和区域的周边的色相值之差不在预定的阈值以上，则使处理进入步骤S7。

并且，区域提取部116参照在步骤S3中生成的亮度平面，判断在步骤S4中提取出的区域的周边的亮度信息是否在预定的阈值以上(步骤S7)。区域提取部116若判定在步骤S4中提取出的区域的周边的亮度信息不在预定的阈值以上(步骤S7：否)，则结束处理。另一方面，区域提取部116若判定提取出的区域的周边的亮度值在预定的阈值以上(步骤S7：是)，则使处理进入步骤S8。

然后，区域提取部116判断区域周边的标准偏差是否在阈值以内(步骤S8)。区域提取部116若判定区域周边的标准偏差不在阈值以内(步骤S8：否)，则结束处理。另一方面，区域提取部116若判定区域周边的标准偏差在阈值以内(步骤S8：是)，则使处理进入步骤S9。此外，区域提取部116判断区域周边的亮度比是否在阈值以内(步骤S9)。区域提取部116若判定区域周边的亮度比不在阈值以内(步骤S9：否)，则结束处理。另一方面，区域提取部116若判定区域周边的亮度比在阈值以内(步骤S9：是)，则使处理进入步骤S10。区域提取部116判定在提取出的区域中映入了污物映影，计算并输出提取出的区域的坐标值(步骤S10)。

区域提取部116在显示于显示部119上的图像数据中判定为污物映影的提取区域中显示矩形的框。在此，区域提取部116作为污物映影的区域而提取出多个区域时，显示多个框。从而，用户能够目视确认检测出的污物映影的量，因此能够根据检测出的污物的量获得光学部件的清扫的时机。此外，由用户向输入部110输入了表示已选择提取区域的信息后，对比度调整部118增强所选择的提取区域的对比度并显示到显示部119。从而，用户在提取出的污物映影较薄时也容易目视确认。此外，由用户向输入部110输入了表示进行污物校正的请求的操作信息后，污物校正部117进行选择的提取区域的污物校正处理。

图5是表示作为该实施方式的污物映影区域的提取处理的对象的图像数据的例子的图。在此示出了以下概念：将符号a所示的图像作为校正对象的图像数据，从图像数据中的符号b所示的区域提取污物映影的区域。符号c表示对符号b的区域由明亮度计算部113计算了亮度的例子。符号d表示对符号b的区域由色相值计算部114计算了色相值的例子。符号e表示由标准偏差计算部115计算了标准偏差的例子。符号f表示基于由标准偏差计算部115计算出的标准偏差的二值图像。根据这些信息，由区域提取部116进行条件判定处理，提取符号g所示的污物映影。

在此，说明了由摄像装置100进行污物映影的提取处理和校正处理的例子，但也可以构成为由与摄像装置100不同的计算机装置进行这些处理。图6是表示这种结构的摄像装置200和图像处理装置300的框图。摄像装置200是拍摄被拍摄体而生成图像数据的电子相机。图像处理装置300是对摄像装置200生成的图像数据进行污物映影的提取处理和校正处理的计算机装置，包括输入部310、图像存储部312、明亮度计算部313、色相值计算部314、标准偏差计算部315、区域提取部316、污物校正部317、对比度调整部318、显示部319。

图像处理装置300具有的各部与上述摄像装置100具有的同名的各部结构相同。然而，输入部310为键盘、鼠标等器件。在图像存储部312中存储由摄像装置200拍摄并生成的图像数据。显示部319为液晶显示器等器件。

另外，该实施方式的污物映影的提取处理也可以是压缩图像数据(例如1/4)并对压缩后的图像数据进行。此外，也可以对图像数据进行区域分割(例如8×16)，并对分割后的各个区域进行污物映影的提取处理。从而，可以减少处理对象的图像数据量，进一步降低负荷而进行处理。

如上所述，根据该实施方式，通过利用由附着在摄像装置100内的摄像光路上的污物形成的污物映影会对该图像的亮度产生影响但不会对色相带来变化的特性，能够高效且正确的提取映入到图像中的污物映影。

另外，图像存储部112(图像存储部312)由硬盘装置、光磁盘装置、闪存等非易失性存储器、CD-ROM等只读的存储介质、RAM(Random Access Memory，随机存取存储器)等易失性的存储器、或者它们的组合而构成。

另外，明亮度计算部113(明亮度计算部313)、色相值计算部114(色相值计算部314)、标准偏差计算部115(标准偏差计算部315)、区域提取部116(区域提取部316)、污物校正部117(污物校正部317)、对比度调整部118(对比度调整部318)，可以通过专用的硬件来实现，或者，也可以由存储器及CPU(中央运算装置)构成，通过将用于实现各处理部的功能的程序安装到存储器中并执行，而实现其功能。

此外，也可以将用于实现各处理部的功能的程序记录到计算机可读的记录介质中，使计算机系统读取、执行该记录介质中记录的程序，从而进行由各部执行的处理。另外，这里所说的“计算机系统”包括OS、周边设备等硬件。

此外，“计算机系统”若为利用WWW系统的情况则还包含主页提供环境(或显示环境)。

此外，“计算机可读的记录介质”是指，软盘、光磁盘、ROM、CD-ROM等可携带介质、内置于计算机系统中的硬盘等存储装置。进而，“计算机可读的记录介质”还包括：如经由因特网等网络、电话线路等通信线路发送程序时的通信线这样在短时间内动态地保持程序的物质；如此时的服务器、客户的计算机系统内部的易失性存储器这样在一定时间保持程序的物质。此外，上述程序可以用于实现上述功能的一部分，进而可以通过与已经将上述功能记录到计算机系统中的程序的组合来实现。

以下参照附图详细说明本发明的第二实施方式。

图7是表示该实施方式的摄像装置1100的结构的图。摄像装置1100是透镜更换式的电子相机，包括具有作为多个光学透镜组的透镜1102的光学系统1101。设置光学系统1101的相机主体1103包括快门1106、光学滤波器1105等光学部件、摄像元件1104。摄像元件1104为CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等，将经由光学系统1101曝光并在自身的成像面上成像的像转换为电信号，并输出作为转换后的电信号的图像信号。输出的图像信号被转换成图像数据，并在相机主体1103所具备的监视器1108上显示。监视器1108例如为LCD(Liquid Crystal Display)等液晶显示器。

在此，光学系统1101相对于相机主体1103能够装拆。在该图中示出了附着在光学滤波器1105上的污物1107。该污物1107挡住经由光学系统1101入射的光，而在摄像元件1104所成的像上形成映影。从而，在由摄像装置1100生成的图像数据中映入污物映影。该实施方式的摄像装置1100进行校正以检测映入到图像数据中的这种污物映影并将其删除。

图8是表示该实施方式的摄像装置1100的结构的框图。摄像装置1100具有根据预先存储于自身的存储区域中的程序来控制各部的动作的微机、CPU(Central Processing Unit)，并包括输入部1110、摄像部1111、图像存储部1112、明亮度计算部1113、亮度梯度计算部1114、色相值计算部1115、区域提取部1116、污物校正部1117、和显示部1118。

输入部1110接受来自用户的操作信息的输入。输入部1110例如为通过按下而输入设定的信息的按钮等。或者也可以使用兼用作显示部1118等的显示器的触摸面板。

摄像部1111通过预定的控制顺序驱动光学系统1101，根据从摄像元件1104输出的图像信号而生成图像数据。在此，摄像部1111生成的图像数据是用RGB表色系统表示各像素的颜色并进行了伽马校正的信息。伽马校正是通过图像数据中的颜色的信息、和输出该图像数据的显示器或打印机等输出装置所对应的伽马值之间的关系，校正产生的颜色的误差的处理。在此，根据从摄像元件1104输出的图像信号生成图像数据时，有时会因上述误差而在输出时可看到图像中的暗部毁坏。通过这种伽马校正来校正误差，能够显示忠实于从摄像元件1104输出的图像信号的色调的图像。

在图像存储部1112中存储有由摄像部1111生成的图像数据。

明亮度计算部1113用于计算图像内的明亮度的程度。在此，明亮度计算部1113根据图像数据中含有的像素的RGB值，对每个像素计算作为表示明亮度程度的明亮度值的亮度(Y)。在此，明亮度计算部1113根据RGB值通过以下公式(4)计算亮度。

公式(4)

Y＝(0.299×R+0.589×G+0.114×B)/255    …(4)

根据上述公式(4)，明亮度计算部1113针对存储于图像存储部1112的图像数据中含有的各像素计算亮度，生成与图像数据对应的亮度平面。在此，说明了明亮度计算部1113作为表示像素的明亮度程度的信息而计算亮度的示例，但例如也可以计算明度等。

亮度梯度计算部1114进行图像信息的逆伽马校正，根据进行了逆伽马校正的图像信息而计算亮度梯度。如上所述，由摄像部1111生成并存储于图像存储部1112的图像数据是伽马校正后的信息。这种伽马校正是为了输出处理而进行的，因此通过伽马校正校正后的值对其他处理来说成为误差。因此，亮度梯度计算部1114进行逆伽马校正以计算图像数据的伽马校正前的亮度。亮度梯度计算部1114首先根据以下公式(5)计算进行了逆伽马校正的亮度Y’。在此，γ表示作为由摄像部1111进行的伽马校正中的校正系数的伽马值。

公式(5)

Y’＝(Y)^γ    …(5)

此外，亮度梯度计算部1114对根据图像数据中含有的各像素通过上述公式(5)计算出的Y’的亮度平面进行微分过滤，对各像素(f(i，j))计算与横向(例如右)相邻的像素的差分(Δ_xf(i，j))和与纵向(例如下)相邻的像素的差分(Δ_yf(i，j))。亮度梯度计算部1114根据计算出的差分，通过以下公式(6)计算表示亮度平面中的亮度Y’的梯度的值即亮度梯度(Ygrad)。

公式(6)

$Y\mathrm{grad}=\sqrt{{\left({\mathrm{\Δ}}_{x}f(i,j)\right)}^2+{\left({\mathrm{\Δ}}_{y}f(i,j)\right)}^2}---\left(6\right)$

在此，亮度梯度计算部1114对亮度平面的各个像素计算亮度梯度，生成亮度梯度平面。亮度梯度平面中的亮度梯度，在因被拍摄体或污物映影的存在而导致亮度的变化量多的部分示出相对高的值，而在空白等均匀平面上示出相对低的值。

色相值计算部1115用于计算表示根据由亮度梯度计算部1114算出的亮度梯度而设定的候补区域的内侧的色相的第一色相值、和表示候补区域的周边的色相的第二色相值。在此，区域的周边是指例如从预定区域的像素开始的周边5像素以内的像素等。在此，将根据由亮度梯度计算部1114算出的亮度梯度而由后述区域提取部1116提取出的候补区域作为处理对象。色相值计算部1115根据图像数据中含有的像素的RGB值来计算色相值(Hue)。在此，色相值计算部1115通过将图像数据中含有的像素的RGB值转换成HSV表色系统，而计算色相值。HSV表色系统是通过H(Hue：色相)、S(Saturation：饱和度)、V(Value：明度)来表示颜色的模型。色相值计算部1115通过以下公式(7)来计算色相值(H)。

公式(7)

在此，在H＜0时在H上增加2π，在Vmax＝0时S＝0、H不确定。

区域提取部1116用于从处理对象的图像数据提取映入污物映影的区域。在此，在区域提取部1116的存储区域中预先存储有为了提取污物映影的区域而设定的多个条件。区域提取部1116根据设定的条件缩小映入污物映影的可能性高的候补区域，并将满足所有条件的候补区域判定为映入了污物映影的区域。

首先，区域提取部1116根据由亮度梯度计算部1114算出的亮度梯度来确定候补区域。在此，区域提取部1116以由亮度梯度计算部1114生成的亮度梯度平面中的亮度梯度在阈值以上为条件，提取候补区域。例如，区域提取部1116预先存储用于判断是否为边沿部分的亮度梯度的阈值，并比较亮度梯度平面中的各个像素的亮度梯度的值和阈值。区域提取部1116，若判定亮度梯度在阈值以上则设为1，若判定小于阈值则设为0，而生成二值图像。区域提取部1116从生成的二值图像提取像素的值为1的区域作为候补区域。区域提取部1116根据为了判断提取的候补区域是否为污物映影而预先设定的条件，进行以下的条件判定处理。在此，区域提取部1116在提取了不相邻的多个像素组的区域作为候补区域时，对提取出的各个候补区域进行以下的条件判定处理。

首先，区域提取部1116作为条件判定处理而进行候补区域的大小是否在预先设定的阈值以上的判定。在此，区域提取部1116预先存储有作为污物映影设定的像素数的范围的下限值和上限值。区域提取部1116将候补区域中含有的像素的像素数与作为污物映影设定的像素数的范围的下限值进行比较，在低于下限值时，判定该候补区域不是污物映影。这是由于，提取区域过小时，认为是因噪声而导致该候补区域的亮度梯度在阈值以上。另一方面，对候补区域中含有的像素的像素数和作为污物映影设定的像素数的范围的上限值进行比较，在上限值以上时，也判定该候补区域不是污物映影。这是由于，候补区域过大时，认为是因被拍摄体存在而导致该区域的亮度梯度在阈值以上。

通过附着于摄像装置1100的摄像光路上的污物形成污物映影，会对其像素的亮度产生影像，但不会对色相带来变化，利用这一特性，区域提取部1116判断候补区域是否为污物映影。即，区域提取部1116，将以下内容作为条件并判断提取的候补区域是否满足条件：对候补区域中含有的像素由明亮度计算部1113算出的亮度和候补区域周边的像素的亮度之差在预先设定的阈值以上，并且，对候补区域中含有的像素由色相值计算部1115算出的色相值和对候补区域周边的像素算出的色相值之差在预先设定的阈值以下。在提取出的候补区域满足该条件时，区域提取部1116判定该候补区域为污物映影。在提取的候补区域不满足该条件时，区域提取部1116判定该区域不是污物映影。在此，可以进一步设定以下条件：候补区域的像素的亮度比候补区域周边的像素的亮度小。对于候补区域或候补区域周边的像素，在以多个像素为处理对象时，可以通过各个候补区域中包含的像素的值的平均值来进行比较。

此外，区域提取部1116进一步以候补区域的周边区域的明亮度值在预先设定的阈值以上为条件来进行条件判定处理。在此，区域提取部1116对候补区域的周边区域的亮度和预先设定的亮度的阈值进行比较，在亮度在阈值以上时判定该候补区域为污物映影，在亮度小于阈值时判定该区域不是污物映影。

此外，区域提取部1116进一步以提取出的候补区域的周边区域的明亮度值的变化量在预先设定的阈值以下为条件来进行条件判定处理。在此，区域提取部1116参照由亮度梯度计算部1114生成的亮度梯度平面，在亮度梯度为阈值以下时判定该候补区域为污物映影，在亮度梯度不在阈值以下时判定该候补区域不是污物映影。

此外，区域提取部1116进一步以提取出的候补区域的明亮度值和其周边区域的明亮度值之比在预先设定的阈值以下为条件来进行条件判定处理。例如，区域提取部1116参照由明亮度计算部1113生成的亮度平面，计算候补区域的亮度和其周边区域的亮度之比，在计算出的比值在阈值以下时判定该候补区域为污物映影，在计算出的比值不在阈值以下时判定该候补区域不是污物映影。

此外，区域提取部1116进行上述条件判定处理，在判定候补区域为污物映影时，计算图像数据中的候补区域的中心坐标。此外，区域提取部1116在显示于显示部1118的图像数据中，在计算出的中心坐标的部位例如显示预定大小的矩形的框。用户能够通过目视确认显示的框，来确认判定为污物映影的区域。

污物校正部1117进行污物校正处理以删除在由区域提取部1116提取出的污物映影的区域中映入的污物映影。在此，如上所述，映入了污物映影的区域与周边区域相比色相没有变化，但亮度存在变化。因此，污物校正部1117例如通过将污物映影的区域的像素的亮度增加到与周边的像素的亮度相同的程度，而删除污物映影的区域的污物映影。

显示部1118是用于显示图像数据的显示器，相当于图7中的监视器1108。

接下来参照图9的流程图说明由摄像装置1100从图像数据提取映入了污物映影的区域的动作例。在此，由摄像部1111拍摄图像并生成图像数据，且存储到图像存储部1112中。输入部1110从用户接受了想要进行污物映影检测的图像数据的选择的输入后，将选择的图像数据从图像存储部1112读出，并显示到显示部1118。在此，根据由用户输入的操作信息例如将图像重放模式变更为“污物检测结果显示模式”后，摄像装置1100开始进行自图像数据的污物映影检测处理。首先，色相值计算部1115进行图像数据的HSV转换而计算色相值(Hue)(步骤S1001)。明亮度计算部1113根据图像数据的RGB值计算亮度(Y)，而生成亮度平面(步骤S1002)。亮度梯度计算部1114进行图像数据的逆伽马校正，生成基于进行了逆伽马校正的亮度(Y’)的亮度梯度平面(步骤S1003)。

区域提取部1116在生成的亮度梯度平面中提取亮度梯度(Ygrad)为阈值以上的区域(步骤S1004)。并且，区域提取部1116判断提取的区域中含有的像素数是否在预定范围内(步骤S1005)。在此，区域提取部1116若判定提取出的区域中含有的像素数不在预定范围内(步骤S1005：否)则结束处理。另一方面，区域提取部1116若判定提取出的区域中含有的像素数在预定范围内(步骤S1005：是)，则使处理进入步骤S1006。

然后，区域提取部1116判断是否在步骤S1004中提取出的候补区域内的亮度和候补区域的周边区域的亮度之差在预定的阈值以上、且候补区域内的色相值和周边区域的色相值之差小于预定的阈值(步骤S1006)。区域提取部1116若判定候补区域内的亮度和周边区域的亮度之差小于预定的阈值、或候补区域内的色相值和周边区域的色相值之差在预定的阈值以上(步骤S1006：否)，则结束处理。另一方面，区域提取部1116若判定在步骤S1004中提取出的候补区域内的亮度和周边区域的亮度之差在预定的阈值以上、且候补区域内的色相值和周边区域的色相值之差小于预定的阈值，则使处理进入步骤S1007。

并且，区域提取部1116判断在步骤S1004中提取出的候补区域的周边区域的亮度是否在预定的阈值以上(步骤S1007)。区域提取部1116若判定周边区域的亮度小于预定的阈值(步骤S1007：否)，则结束处理。另一方面，区域提取部1116若判定周边区域的亮度在预定的阈值以上(步骤S1007：是)，则使处理进入步骤S1008。

然后，区域提取部1116判断周边区域的亮度梯度是否在阈值以下(步骤S1008)。区域提取部1116若判定周边区域的亮度梯度不在阈值以下(步骤S1008：否)，则结束处理。另一方面，区域提取部1116若判定周边区域的亮度梯度在阈值以下(步骤S1008：是)，则进入步骤S1009。此外，区域提取部1116判断候补区域和周边区域的亮度比是否在阈值以下(步骤S1009)。区域提取部1116若判定候补区域和周边区域的亮度比不在阈值以下(步骤S1009：否)，则结束处理。另一方面，区域提取部1116若判定候补区域和周边区域的亮度比在阈值以下(步骤S1009：是)，则使处理进入步骤S1010。区域提取部1116判定候补区域为映入了污物映影的区域，计算并输出提取出的污物映影的区域的坐标值(步骤S1010)。

并且，区域提取部1116在显示于显示部1118上的图像数据中以计算出的污物映影的区域的坐标值为中心显示矩形的框。在此，区域提取部1116作为污物映影的区域而提取出多个区域时，显示多个框。从而，用户能够目视确认检测出的污物映影的个数，因此能够例如根据检测出的污物映影的个数获得光学部件的清扫的时机。此外，由用户向输入部1110输入了表示进行污物校正的请求的操作信息后，污物校正部1117进行提取出的污物映影的区域的污物校正处理。

在此，摄像装置1100例如也可以将通过区域提取部1116作为污物区域显示的矩形的框内的图像放大并显示到显示部1118。从而在污物映影较小的情况下用户也容易目视确认。此外，摄像装置1100也可以根据来自用户的操作信息的输入，例如增强污物区域和其周边的对比度并显示到显示部1118。由此，即使在污物映影较薄而小到污物映影的区域的像素和周边的像素的亮度差难以用人眼确认的程度时，也可由用户容易地目视确认。

另外，在该实施方式中，说明了区域提取部1116从候补区域判定污物映影的区域的多个条件，但也可以不必仅将满足上述所有条件的区域作为污物映影提取，例如可以根据提取污物映影的对象的图像、要求的检测精度等，应用任意的条件进行污物映影的提取处理。

此外，区域提取部1116将基于由亮度梯度计算部1114算出的亮度梯度的边沿部分作为候补区域提取时，例如存在以下情况：在提取圆形的污物映影时仅将污物映影的边沿部分作为候补区域提取，没有将边沿的内侧识别为候补区域，而提取了中心部形成了孔的环状的候补区域。因此，区域提取部1116也可以进行在使根据亮度梯度提取出的候补区域膨胀后收缩的处理(闭合/closing)，进行填充候补区域的孔的处理。此外，也可以进行在使候补区域收缩后膨胀的处理(开放/opening)，除去因噪声等产生的小的连接成分。

在此，说明了由摄像装置1100进行污物映影的提取处理和校正处理的例子，但也可以构成为由与摄像装置1100不同的计算机装置进行这些处理。图10是表示这种结构的摄像装置1200和图像处理装置1300的框图。摄像装置1200是拍摄被拍摄体而生成图像数据的电子相机。图像处理装置1300是对摄像装置1200生成的图像数据进行污物映影的提取处理和校正处理的计算机装置，包括输入部1310、图像存储部1312、明亮度计算部1313、亮度梯度计算部1314、色相值计算部1315、区域提取部1316、污物校正部1317、显示部1318。

图像处理装置1300具有的各部与上述摄像装置1100具有的同名的各部结构相同。然而，输入部1310为键盘、鼠标等器件。在图像存储部1312中存储由摄像装置1200拍摄并生成的图像数据。显示部1318为液晶显示器等器件。

另外，该实施方式的污物映影的提取处理也可以是压缩图像数据(例如1/4)并对压缩后的图像数据进行。此外，也可以对图像数据进行区域分割(例如8×16)，并对分割后的各个区域进行污物映影的提取处理。从而，可以减少处理对象的图像数据量，进一步降低负荷而进行处理。

如上所述，根据该实施方式，通过利用由附着在摄像装置内的摄像光路上的污物形成的污物映影会对该图像的亮度产生影响但不会对色相带来变化的特性，能够高效且正确地提取映入到图像中的污物映影。

另外，图像存储部1112(图像存储部1312)由硬盘装置、光磁盘装置、闪存等非易失性存储器、CR-ROM等只读的存储介质、RAM(Random Access Memory)等易失性的存储器、或者它们的组合而构成。

另外，明亮度计算部1113(明亮度计算部1313)、亮度梯度计算部1114(亮度梯度计算部1314)、色相值计算部1115(色相值计算部1315)、区域提取部1116(区域提取部1316)、污物校正部1117(污物校正部1317)，可以通过专用的硬件来实现，或者，也可以由存储器及CPU(中央运算装置)构成，通过将用于实现各处理部的功能的程序安装到存储器中并执行，而实现其功能。

此外，也可以将用于实现各处理部的功能的程序记录到计算机可读的记录介质中，使计算机系统读取、执行该记录介质中记录的程序，从而进行由各部执行的处理。另外，这里所说的“计算机系统”包括OS、周边设备等硬件。

此外，“计算机系统”若为利用WWW系统的情况则还包含主页提供环境(或显示环境)。此外，“计算机可读的记录介质”是指，软盘、光磁盘、ROM、CD-ROM等可携带介质、内置于计算机系统中的硬盘等存储装置。进而，“计算机可读的记录介质”还包括：如经由因特网等网络、电话线路等通信线路发送程序时的通信线这样在短时间内动态地保持程序的物质；如此时的服务器、客户的计算机系统内部的易失性存储器这样在一定时间保持程序的物质。此外，上述程序可以用于实现上述功能的一部分，进而可以通过与已经将上述功能记录到计算机系统中的程序的组合来实现。

以下参照附图详细说明本发明的第三实施方式。

图11是具备本发明一个实施方式的图像处理装置的相机2010的概要图。相机2010包括：具备光学系统2016等的透镜镜筒部2014；和具备摄像元件2022等的相机主体部2012。在该实施方式中，作为具备图像处理装置的设备，以将透镜镜筒部2014装拆自如地安装于相机主体部2012上的透镜更换式相机为例进行说明，但具备该实施方式的图像处理装置的设备不限于此。例如，也可以是透镜镜筒部2014和相机主体部2012一体的相机、摄像机、移动电话、能够处理图像数据等的PC(个人电脑)等。

图11所示的相机主体部2012具备快门2018、光学滤波器2020和摄像元件2022等。快门2018通过将从光学系统2016朝向摄像元件2022的摄影光隔断及使之通过来调整曝光时间。此外，光学滤波器2020由防止摄影时产生伪色(color moire，颜色波纹)等的光学低通滤波器等构成。

摄像元件2022通过对由光学系统2016引导的光进行光电转换，而能够取得图像数据。但是，如图11所示，有时在摄影光的光路上、在用于使摄影光透过的光学滤波器2020等部件上附着有污物等异物2024时，在由摄像元件2022取得的图像数据中会包含受到了污物等异物2024的影响的像素。作为受到了异物2024的影响的像素，例如包括因异物2024阻碍了摄影光的透过结果导致颜色(明度等)从本来的摄影光的颜色变化了的像素等。该实施方式的相机2010如下文所述能够进行用于检测受到了异物2024的影响的像素的图像处理。此外，相机2010如下文所述，能够对包含受到了异物2024的影响的像素的拍摄图像，进行减轻或除去异物2024的影响的图像处理。

图12是表示图11所示的相机2010所具备的图像处理装置的结构的概要框图。相机2010包括：具有图11所示的摄像元件2022等的摄影部2026；和对由摄影部2026等拍摄的拍摄图像进行图像处理的图像处理装置。搭载于相机2010上的图像处理装置包括图像转换部2115、图像输入部2028、存储部2030、操作信号输入部2032、摄影条件信号输入部2034、显示部2036及运算部2038等。

图像输入部2028以图像数据的形式输入由摄影部2026拍摄的拍摄图像。拍摄图像例如为RGB数据等，但拍摄图像的数据形式并无特别限定。图像输入部2028将输入的拍摄图像向运算部2038输出。运算部2038对经由图像输入部2028输入的拍摄图像进行图像处理。另外，向图像输入部2028，不仅可以输入由摄影部2026拍摄的拍摄图像，还可以输入由其他摄影装置拍摄的拍摄图像。此外，作为由运算部2038进行图像处理的拍摄图像，不限于由摄影部2026拍摄的拍摄图像，还包括由其他摄影装置拍摄的拍摄图像。

进而，向图像输入部2028，不仅输入对光学系统2016的像进行光电转换而得到的拍摄图像，还输入由图像转换部2115对拍摄图像进行了γ校正等的图像处理完毕的拍摄图像。图像转换部2115例如对于将光学系统2016的像光电转换而得到的拍摄图像，进行γ校正等图像处理、保存形式的变更、数据的压缩处理等。从而，图像转换部2115能够校正拍摄图像，以在将拍摄图像显示到液晶等显示装置上时更加鲜艳地显示或以更加自然的色调显示。此外，通过由图像转换部2115压缩拍摄图像，相机2010可以将更多的拍摄图像保存到未图示的存储卡等中。拍摄图像转换部2115对拍摄图像进行的图像处理包括线形校正和非线形校正。

运算部2038包括信息计算部2046、异物判断部2048及异物图像校正部2050。信息计算部2046能够分析拍摄图像并计算与拍摄图像的颜色等相关的数据。异物判断部2048能够利用由信息计算部2046算出的数据，判断预定的检测区域是否为与映入到拍摄图像中的污物等异物对应的部分。进而，异物图像校正部2050能够根据异物判断部2048的判断，确定与映入到拍摄图像中的异物对应的部分，对拍摄图像进行用于减少异物的影响的图像处理。此外，异物图像校正部2050能够利用由信息计算部2046算出的数据，进行用于减少异物的影响的图像处理。

信息计算部2046具有明亮度信息计算部2054、饱和度信息计算部2056、色相信息计算部2058、明亮度梯度信息计算部2060和区域计算部2062。信息计算部2046中包含的各计算部2054、2056、2058、2060、2062对拍摄图像进行运算处理，在各个计算部2054、2056、2058、2060、2062中分别计算不同的数据。

明亮度信息计算部2054计算与拍摄图像的明亮度对应的明亮度信息。明亮度信息计算部2054计算的明亮度信息可以是拍摄图像的亮度信息，也可以是拍摄图像的明度信息，或亮度信息和明度信息双方。

明亮度信息计算部2054利用以下的公式(8)根据拍摄图像中的各像素的RGB值计算各像素的亮度值Y。

公式(8)

Y＝(0.299×R+0.589×G+0.114×B)/255    …(8)

此外，明亮度信息计算部2054根据像素的亮度值Y而生成与拍摄图像对应的亮度平面。因此，明亮度信息计算部2054算出的亮度信息包括各像素的亮度值Y、由各像素的位置及亮度值Y构成的亮度平面。

明亮度信息计算部2054也可以取代亮度信息或与亮度信息组合而计算明度信息。明度信息通过对RGB数据进行HSV转换而得到。HSV转换用于将RGB数据转换成色相(Hue)、饱和度(Saturation)及明度(Value)。拍摄图像中的各像素的明度值V、色相值H及饱和度值S可以根据各像素的RGB值并通过以下的公式(9-1)～(9-10)求出。

公式(9-1)～(9-10)

V＝Vmax                        …(9-1)

S＝(Vmax-Vmin)/Vmax            …(9-2)

H＝(π/3)(b-g)  (R＝Vmax时)    …(9-3)

H＝(π/3)(2+r-b)(G＝Vmax时)    …(9-4)

H＝(π/3)(4+g-r)  (B＝Vmax时)    …(9-5)

其中，

Vmax＝max{R，G，B}               …(9-6)

Vmin＝min{R，G，B}               …(9-7)

r＝(Vmax-R)/(Vmax-Vmin)          …(9-8)

g＝(Vmax-G)/(Vmax-Vmin)          …(9-9)

b＝(Vmax-B)/(Vmax-Vmin)          …(9-10)

另外，由公式(9-3)～(9-5)转换的结果，在H＜0时在H上增加2π，在Vmax＝0时S＝0、H不确定。

明亮度信息计算部2054利用上述公式(9-1)及(9-6)根据拍摄图像中的各像素的RGB值计算各像素的明度值V。此外，明亮度信息计算部2054根据像素的明度值V生成与拍摄图像平面对应的明度平面。因此，明度信息计算部2054算出的明度信息包括各像素的明度值V、由各像素的位置及明度值V构成的明度平面。

饱和度信息计算部2056计算与拍摄图像的饱和度对应的饱和度信息。饱和度信息计算部2056例如利用上述公式(9-2)、(9-6)及(9-7)根据拍摄图像中的各像素的RGB值计算各像素的饱和度值S。此外，饱和度信息计算部2056根据像素的饱和度值S生成与拍摄图像平面对应的饱和度平面。因此，饱和度信息计算部2056算出的饱和度信息包括各像素的饱和度值S、由各像素的位置及饱和度值S构成的明度平面。

色相信息计算部2058计算与拍摄图像的色相对应的色相信息。色相信息计算部2058例如利用上述公式(9-3)～(9-5)及(9-6)～(9-10)根据拍摄图像中的各像素的RGB值计算各像素的色相值H。此外，色相信息计算部2058根据像素的色相值H生成与拍摄图像平面对应的色相平面。因此，色相信息计算部2058算出的色相信息包括各像素的色相值H、由各像素的位置及色相值H构成的明度平面。

明亮度梯度信息计算部2060根据由明亮度信息计算部2054算出的亮度平面、明度平面，算出与拍摄图像的明亮度的梯度对应的明亮度梯度信息。作为由明亮度梯度信息计算部2060算出的明亮度梯度信息，包括亮度梯度信息、明度梯度信息。

此时，明亮度梯度信息计算部2060优选根据通过逆γ校正部2040进行了逆γ校正的亮度平面、明度平面，计算明亮度梯度信息。拍摄图像多以与显示装置等对应地进行了γ校正的状态保存，因此经由图像输入部2028输入到运算部2038的拍摄图像也很可能进行了γ校正。因此，通过逆γ校正部2040对亮度平面、明度平面进行逆γ校正，能够使这些明亮度信息接近RAW数据具有的本来的明亮度信息。

将逆γ校正前的亮度平面及明度平面设为YP1、VP1，逆γ校正后的亮度平面及明度平面设为YP2、VP2，则由逆γ校正部2040进行的逆γ校正通过以下的公式(10-1)、(10-2)表示。

公式(10-1)、(10-2)

YP2＝(YP1)^γ    …(10-1)

VP2＝(VP1)^γ    …(10-2)

明亮度梯度信息计算部2060例如根据明度平面VP2计算拍摄图像内的各位置(像素)的明度梯度值Vgrad(i，j)。明亮度梯度信息计算部2060对明度平面VP2进行纵向、横向的微分过滤，计算纵向的差分Δ_yf(i，j)和横向的差分Δ_xf(i，j)，并利用算出的差分来计算各位置的明度梯度值Vgrad(i，j)。若将明度平面VP2中包含的各像素的明度值V设为V(i，j)，则明度梯度值Vgrad(i，j)通过以下公式(11-1)～(11-3)算出。

公式(11-1)～(11-3)

Δ_xf(i，j)＝V(i，j)-V(i-1，j)    ···(11-1)

Δ_yf(i，j)＝V(i，j)-V(i，j-1)    ···(11-2)

$V\mathrm{grad}(i,j)=\sqrt{{\left({\mathrm{\Δ}}_{x}f(i,j)\right)}^2+{\left({\mathrm{\Δ}}_{y}f(i,j)\right)}^2}---(11-3)$

另外，公式(11-1)～(11-3)中的i表示像素的横向的位置，j表示像素的纵向的位置。明亮度梯度信息计算部2060根据各位置的明度梯度值Vgrad(i，j)生成与拍摄图像平面对应的明度梯度平面。因此，在明亮度梯度信息计算部2060算出的明度梯度信息中包括明度梯度值Vgrad(i，j)、明度梯度平面。

此外，明亮度梯度信息计算部2060可以取代明度梯度信息或除了明度梯度信息之外，根据亮度平面VP2计算亮度梯度信息。亮度梯度信息中包括亮度梯度值Ygrad(i，j)、亮度梯度平面。亮度梯度信息的计算方法与上述明度梯度信息相同。

区域计算部2062计算用于检测是否映入异物的检测区域。区域计算部2062能够例如利用由明亮度梯度信息计算部2060算出的明亮度梯度信息来计算检测区域。

检测区域只要是拍摄图像的一部分即可，并无特别限定，但优选将映入异物的可能性高的区域作为检测区域。在此，在由明亮度梯度信息计算部2060算出的明亮度梯度平面中，相当于被拍摄体边沿的部分、映入了异物的部分，存在其明度梯度值Vgrad(i，j)相对较大的倾向。与之相对，与空白、被拍摄体的内部等对应的部分存在明度梯度值Vgrad(i，j)相对较小的倾向。

因此，该实施方式的区域计算部2062能够计算将明度梯度平面二值化了的二值化图像，并将连接明度梯度值Vgrad(i，j)高的像素而成的连接区域作为检测区域。即，区域计算部2062对明度梯度平面设定预定的阈值，将具有高于该阈值的明度梯度值的像素的值置换为“1”，将具有低于该阈值的明度梯度值的像素的值置换为“0”，从而计算二值化图像。

进而，区域计算部2062从算出的二值化图像提取值为“1”的像素，并将值为“1”的像素作为检测区域。区域计算部2062若连接值为“1”的像素彼此，则将这些像素的集合确定为一个检测区域。反之，区域计算部2062，在值为“1”的一个像素集合相对于值为“1”的另一个像素集合没有通过值为“1”的像素连接时，将该两个区域确定为不同的检测区域。

区域计算部2062如上所述可以根据明度梯度平面计算检测区域，除此之外还可以根据由明亮度信息计算部2054算出的亮度梯度平面来计算检测区域。区域计算部2062与明度梯度平面同样地能够通过根据亮度梯度平面计算二值化图像，来计算检测区域。

异物判断部2048利用由信息计算部2046算出的各信息，判断各个检测区域是否为与映入到拍摄图像中的异物对应的部分。异物判断部2048包括第一判断部2064、第二判断部2066、第三判断部2068和第四判断部2070。第一～第四判断部2064～2070利用彼此不同的判断基准，判断作为判断对象的检测区域是否为与映入到拍摄图像中的异物对应的部分。

第一判断部2064根据作为判断对象的检测区域的大小，判断该检测区域是否为与映入到图像中的异物对应的部分。在该实施方式的图像处理装置中，作为异物判断部2048的判断对象的检测区域及其大小，利用由明亮度梯度信息计算部2060算出的明亮度梯度信息，而由区域计算部2062进行计算。因此，例如区域计算部2062根据亮度梯度平面计算出检测区域时，第一判断部2064利用各像素的亮度梯度值等信息进行判断。此外，区域计算部2062根据明度梯度平面计算出检测区域时，第一判断部2064利用各像素的明度梯度值等信息进行判断。

第一判断部2064在由区域计算部2062算出的检测区域的大小在预定范围时，能够判断出该检测区域是与映入到图像中的异物对应的部分。此外，第一判断部2064在由区域计算部2062算出的检测区域的大小超过预定的范围而更大或比预定的范围小时，能够判断出该检测区域不是与映入到图像中的异物对应的部分。

在第一判断部2064中判定是异物映入的区域的大小的范围，根据拍摄图像的大小、拍摄条件等来设定，例如可以使下限值为25像素、上限值为300像素。

第二判断部2066利用与检测区域的饱和度对应的饱和度信息，判断该检测区域是否为与映入到图像中的异物对应的部分。第二判断部2066利用由饱和度信息计算部2056算出的饱和度值S及饱和度平面，判断该检测区域是否为与映入到图像中的异物对应的部分。该实施方式的第二判断部2066研究与检测区域的饱和度对应的第一饱和度信息和与检测区域的周边区域的饱和度对应的第二饱和度信息之间的差异。第二判断部2066在第一饱和度信息和第二饱和度信息间的差异处于预先设定的范围时，判断出作为判断对象的检测区域是与异物对应的部分。此外，第二判断部2066在第一饱和度信息和第二饱和度信息间的差异不在预先设定的范围时，判断出作为判断对象的检测区域不是与异物对应的部分。

在此，第一饱和度信息例如可以是检测区域中含有的像素的饱和度值S的平均值。此外，第二饱和度信息可以是检测区域的周边区域的像素的饱和度值S的平均值。另外，检测区域的周边区域例如可以规定成：与检测区域的外周接触的同时包围该检测区域的周边的区域、且具有与检测区域同等程度的面积的区域。

第二判断部2066将作为判断对象的检测区域判断为异物映入的区域的数值范围没有特别限定。此外，判断为异物映入的区域的数值范围可以用饱和度值S的差的大小(绝对值)来规定，也可以用第一饱和度信息和第二饱和度信息的值的比来规定。

例如，第二判断部2066在检测区域中含有的像素的饱和度值S的平均值S1为检测区域的周边区域的像素的饱和度值S的平均值S2的0.95～2倍时，判断出作为判断对象的检测区域是异物映入的区域。不是污物而是作为被拍摄体拍摄到图像中的像，在饱和度信息中强烈地留有信息，相反，异物映入的像则对饱和度几乎不产生影响。因此，若检测区域中没有映入污物，则第一饱和度信息和第二饱和度信息的差异较大，反之，若在检测区域中映入了污物，则第一饱和度信息和第二饱和度信息的差异较小。

第二判断部2066不仅可以如上所述利用饱和度信息进行判断，此外还可以利用与检测区域的明亮度对应的明亮度信息，判断该检测区域是否为映入到图像中的异物对应的部分。利用明亮度信息进行判断时，第二判断部2066能够利用由明亮度信息计算部2054算出的明度值V和明度平面，判断该检测区域是否为映入到图像中的异物对应的部分。此外，第二判断部2066也可以利用由明亮度信息计算部2054算出的亮度值Y和亮度平面，判断该检测区域是否为映入到图像中的异物对应的部分。

该实施方式的第二判断部2066例如研究与检测区域的明度对应的第一明度信息和与检测区域的周边区域的明度对应的第二明度信息之间的差异。第二判断部2066在第一明度信息和第二明度信息间的差异不在预先设定的范围时，判断为作为判断对象的检测区域是与异物对应的部分。

在此，第一明度信息例如可以是检测区域中含有的像素的明度值V的平均值。此外，第二明度信息可以是检测区域的周边区域的像素的明度值V的平均值。例如，第二判断部2066在检测区域中含有的像素的明度值V的平均值V1小于检测区域的周边区域的像素的明度值V的平均值V2的0.975倍时，判断为作为判断对象的检测区域是异物映入的区域。这是因为，异物的映入对饱和度、色相几乎没有影响，但对明亮度强烈地留有信息。

进而，第二判断部2066除了利用了饱和度信息的判断之外，还可以利用与检测区域的色相对应的色相信息，判断该检测区域是否为映入到图像中的异物对应的部分。利用色相信息进行判断时，第二判断部2066能够利用由色相信息计算部2058算出的色相值H和色相平面，判断该检测区域是否为映入到图像中的异物对应的部分。

该实施方式的第二判断部2066例如研究与检测区域的色相对应的第一色相信息和与检测区域的周边区域的色相对应的第二色相信息之间的差异。第二判断部2066在第一色相信息和第二色相信息间的差异在预先设定的范围时，判断为作为判断对象的检测区域是与异物对应的部分。

在此，第一色相信息例如可以是检测区域中含有的像素的色相值H的平均值。此外，第二色相信息可以是检测区域的周边区域的像素的色相值H的平均值。例如，第二判断部2066在检测区域中含有的像素的色相值H的平均值H1为检测区域的周边区域的像素的色相值H的平均值H2的0.94～1.06倍时，判断为作为判断对象的检测区域是异物映入的区域。这是因为，不是污物而是作为被拍摄体拍摄到图像中的像，在色相信息中强烈地留有信息，相反，异物映入的像则对色相几乎不产生影响。

第三判断部2068在与检测区域的周边区域的明亮度对应的第二明度信息等不在预先设定的范围时，判断为作为判断对象的检测区域不是与异物对应的部分。此外，第三判断部2068在与检测区域的周边区域的明度对应的第二明度信息处于预先设定的范围时，判断为作为判断对象的检测区域是与异物对应的部分。作为第三判断部2068使用的明亮度信息，包括作为检测区域的周边区域的像素的明度值V的平均值的第二明度信息、作为检测区域的周边区域的像素的亮度值Y的平均值的第二亮度信息等。

例如，第三判断部2068在检测区域的周边区域中含有的像素的明度值V的平均值V2为60以下时，判断为上述检测区域不是与异物对应的部分。这是因为，在检测区域的周边区域的明亮度低于预定值时，即使检测区域中映入了异物，异物的映入对图像的影响也很小。

第四判断部2070在检测区域的周边区域的明亮度的标准偏差不在预先设定的范围时，判断为作为判断对象的检测区域不是与异物对应的部分。此外，第四判断部2070在检测区域的周边区域的明亮度的标准偏差处于预先设定的范围时，判断为作为判断对象的检测区域是与异物对应的部分。在此，作为检测区域的周边区域的明亮度的标准偏差，包括检测区域的周边区域的像素的明度值V的标准偏差、检测区域的周边区域的像素的亮度值Y的标准偏差。

例如，第四判断部2070根据检测区域的周边区域中含有的像素的明度值V(i，j)和检测区域的周边区域中含有的像素的明度值V(i，j)的平均值V2，利用以下的公式(12)计算检测区域的周边区域的明亮度的标准偏差Vstd。

公式(12)

$\mathrm{Vstd}=\sqrt{\frac{1}{n-1}\underset{1}{\overset{H}{\mathrm{\Σ}}}{(V(i,j)-V2)}^2}---\left(12\right)$

另外，公式(12)中的n是检测区域的周边区域中含有的像素数。在第四判断部2070中，用于判断检测区域中是否映入了异物的阈值根据拍摄图像的摄影条件而适当设定。例如，第四判断部2070在检测区域的周边区域中的明亮度的标准偏差Vstd为0.6以上时，可以判断为该检测区域不是与映入到图像中的异物对应的部分。这是因为，检测区域的周边区域的明亮度的标准偏差较大时，检测区域中的高明度梯度值或亮度梯度值很可能不是基于异物的映入，而是基于被拍摄体光。

第四判断部2070也可以根据检测区域的周边区域中含有的像素的亮度值Y来计算检测区域的周边区域的明亮度的标准偏差。第四判断部2070在利用根据亮度信息计算出的标准偏差时，也可以与根据明度信息计算出标准偏差时同样地判断作为判断对象的检测区域是否为与异物对应的部分。

如上所述，异物判断部2048中包含的第一～第四判断部2064～2070能够分别独立地判断作为判断对象的检测区域是否为映入到图像中的异物对应的部分。异物判断部2048可以将第一～第四判断部2064～2070的判断结果全部输出到检测修正部2044及异物图像校正部2050。此外，异物判断部2048也可以利用第一～第四判断部2064～2070的判断结果，综合判断在各检测区域中是否映入了异物，并将综合判断结果输出到检测修正部2044及异物图像校正部2050。

例如，异物判断部2048在一个以上的第一～第四判断部2064～2070判断为作为判断对象的检测区域不是与异物对应的部分时，进行作为判断对象的检测区域不是与异物对应的部分的综合判断。或者，异物判断部2048在所有的第一～第四判断部2064～2070判断为作为判断对象的检测区域是与异物对应的部分时，进行作为判断对象的检测区域是与异物对应的部分的综合判断。

异物图像校正部2050利用异物判断部2048的判断结果、由信息计算部2046算出的数据，对与映入到拍摄图像中的异物对应的部分，进行减少异物的影响的校正。此外，异物图像校正部2050也可以取代异物判断部2048的判断结果，而根据作为由检测修正部2044修正了的判断结果的修正结果，进行从拍摄图像减少异物的影响的校正。

检测修正部2044可以根据经由操作信号输入部2032输入到运算部2038的操作信号，修正异物判断部2048的判断。例如，检测修正部2044根据操作信号而变更在异物判断部2048的第一～第四判断部2064～2070中使用的阈值中的至少一个。由此，检测修正部2044可以对检测区域是否为与异物对应的部分进行再判断，修正异物判断部2048的判断。

图15是表示检测修正部2044进行的判断的修正过程的概念图。在图15中与检测区域的大小和检测区域内外的明度比(第一明度信息和第二明度信息之比)相对应地绘制了由区域计算部2062算出的检测区域。图15中的圆圈2098及三角2096分别对应于一个检测区域。另外，圆圈2098对应于由检测修正部2044再判断为是与异物对应的部分的检测区域。此外，三角2096对应于由检测修正部2044再判断为不是与异物对应的部分的检测区域。

在图15所示的例子中，图12所示的检测修正部2044修正由第一判断部2064进行的判断(基于检测区域的大小的判断)和由第二判断部2066进行的判断(基于检测区域的明度和检测区域的周边区域的明度间的差异的判断)。检测修正部2044可以根据操作信号而变更关于检测区域的大小的阈值C1、关于检测区域内外的明度比的阈值C2。这是由于，关于检测区域的大小的阈值C1、关于检测区域内外的明度比的阈值C2对检测灵敏度具有很大影响。

在此，图15中用三角2096及圆圈2098表示的检测区域，认为越是朝向箭头2111所示的左上方向绘制的区域是与对拍摄图像带来更显著的影响的异物对应的部分。这是由于，越是检测区域大且相对于周边区域的明度的差异大(明度比(第一明度信息/第二明度信息)小)的检测区域越是容易显眼。反之，认为越是向箭头2113所示的右下方向绘制的检测区域，对拍摄图像的影响越小。这是由于，判断为异物的检测区域的大小越小、相对于周边区域的明度的差异越小，则越难以显眼。

图12所示的检测修正部2044可以通过根据来自输入部2032的操作信号向使图15所示的阈值C1增加的方向变化，而仅将大于阈值C1的检测区域再判断为与异物对应的部分，减少异物的误检测。反之，检测修正部2044可以通过根据来自输入部2032的操作信号向使图15所示的阈值C1减少的方向变化，而减少异物的检测遗漏。此外，检测修正部2044可以通过根据操作信号增减阈值C2，而与阈值C1的情况同样地调整检测灵敏度。

检测修正部2044可以使阈值C1和阈值C2的值独立地变化，也可以例如利用将阈值C1和阈值C2作为变量的预定的函数(一次函数等)，而按照一个参数使阈值C1和C2变化。检测修正部2044变更的阈值不限于关于检测区域的大小的阈值C1、关于检测区域内外的明度比的阈值C2。

例如，检测修正部2044变更的阈值可以是第二判断部2066的关于饱和度值S的阈值、第二判断部2066的关于亮度值Y的阈值、第二判断部2066的关于色相值H的阈值、第三判断部2068的关于周边区域的明度值V的阈值、第四判断部2070的关于周边区域的明亮度的标准偏差Vstd的阈值。此外，检测修正部2044也可以通过变更关于区域计算部2062的明度梯度值Vgrad(i，j)的阈值，而变更信息计算部2046及异物判断部2048的计算结果和判断结果。检测修正部2044变更这些阈值来修正异物判断部2048的判断结果。从而，该实施方式的图像处理装置可以进行与使用者的喜好对应的异物检测。

检测修正部2044也可以将异物判断部2048的判断结果、由检测修正部2044再判断为是与异物对应的部分的检测区域的位置，重叠在拍摄图像上并在显示部2036进行显示。从而，相机2010的使用者可以在视觉上识别图像处理装置的异物的检测灵敏度的同时，使检测修正部2044实施与喜好对应的判断修正。此外，也可以向检测修正部2044输入以下操作信号：使用者直接指定拍摄图像中的检测区域的位置，修正检测区域是否为与异物对应的部分的判断。从而，检测修正部2044可以进一步进行与使用者的喜好对应的判断修正。

此外，检测修正部2044也可以向存储部2030输出作为修正了的判断基准的修正判断基准、使检测修正部2044的判断与图15所示的检测区域的数据对应了的数据(异物映射图)。修正判断基准包括上述阈值C1和阈值C2的值。此外，使检测修正部2044的判断结果与检测区域的数据对应了的数据，包括图15所示的检测区域的分类、检测区域的大小或/和明度比的值、以及检测区域的位置。存储部2030可以存储由检测修正部2044修正了的修正判断基准、检测区域的数据，并根据需要输出到判断基准变更部2042。

判断基准变更部2042可以根据修正判断基准，变更作为异物判断部2048的第一～第四判断部2064～2068进行判断时的判断基准的初始判断基准。判断基准变更部2042可以变更异物判断部2048的初始判断基准以使其接近修正判断基准。

初始判断基准是在检测修正部2044的修正前与异物判断部2048进行的判断相关的判断基准。修正判断基准是在检测修正部2044的修正判断时使用的判断基准。因此，判断基准变更部2042可以使异物判断部2048的初始判断基准接近相机2010的使用者的喜好。从而，该实施方式的图像处理装置可以有效地进行与使用者的喜好对应的异物检测。另外，判断基准变更部2042也可以计算存储于存储部2030中的多个修正判断基准的平均值，根据修正判断基准的平均值来变更异物判断部2048的初始判断基准。

此外，判断基准变更部2042也可以利用经过对使检测修正部2044的判断结果与检测区域的数据对应的数据进行多次判断而累积的累积数据，变更异物判断部2048的初始判断基准。例如，判断基准变更部2042根据异物映射图的累积数据，计算判断为是与异物对应的部分的检测区域(图15的圆圈2098)的比例比判断为不是与异物对应的部分的检测区域(图15的三角2096)的比例大的范围。并且，判断基准变更部2042根据由异物映射图的累积数据计算出的范围，变更异物判断部2048的初始判断基准。从而，判断基准变更部2042可以使异物判断部2048的初始判断基准接近相机2010的使用者的喜好。

异物图像校正部2050根据异物判断部2048的判断、由检测修正部2044修正了的判断，对与映入到拍摄图像中的异物对应的部分，进行减少异物的影响的图像校正。该实施方式的异物图像校正部2050具有第一图像校正部2074、第二图像校正部2076和第三图像校正部2078。

第一图像校正部2074可以利用由明亮度信息计算部2054算出的明度信息，对与映入到拍摄图像中的异物对应的部分，进行减少该异物的影响的第一校正。第一图像校正部2074利用由明亮度信息计算部2054算出的各像素的明度值V和明度平面来进行第一图像校正。

第一图像校正部2074进行局部的明度值V的规格化(标准化)处理，对成为校正对象的检测区域，计算明度透过率信号VT(i，j)，生成对于成为校正对象的检测区域的明度透过率映射图(明度增益图)。在此，在第一图像校正部2074中成为校正对象的检测区域，是在异物判断部2048或检测修正部2044中判断为是与异物对应的部分的检测区域。

明度透过率信号VT(i，j)通过计算检测区域中的着眼像素(i，j)的明度值V(i，j)和包含着眼像素(i，j)的局部范围的明度值的平均值之间的相对比而算出。该实施方式的第一图像校正部2074可以通过以下的公式(13)计算明度透过率信号VT(i，j)。

公式(13)

$\mathrm{VT}(i,j)=\frac{V(i,j)}{\left({\mathrm{\Σ}}_{m=i-\mathrm{\α}}^{i+\mathrm{\α}}{\mathrm{\Σ}}_{m=j-\mathrm{\β}}^{j+\mathrm{\β}}V(i+m,j+n)\right)/(2\mathrm{\α}+1)(2\mathrm{\β}+1)}---\left(13\right)$

在公式(13)中，α和β相当于取局部平均的范围。α表示以着眼像素(i，j)为中心而左右扩展的像素数，β表示以着眼像素(i，j)为中心而上下扩展的像素数。在明度透过率信号VT(i，j)的计算中，取局部平均的范围可以设定为假定的异物映入区域的3倍左右，但并不特别限定。例如，第一图像校正部2074在明度透过率信号VT(i，j)的计算中，可以将像素数α和β的值设为α＝36～55、β＝36～55。

图14A、14B是用于说明在第一图像校正部2074中进行的明度透过率映射图的生成的概念图。图14A表示拍摄图像的明度平面中的左右方向的明度值V的变化。在图14A所示的明度平面(曲线)2081中，存在明度值V相对于周边部分较低、明度梯度值Vgrad(i，j)较大的下陷部2082、2084。在图14A中，成为第一图像校正部2074的校正对象的检测区域是与下陷部2082、2084对应的检测区域A和检测区域B。

图12所示的第一图像校正部2074对于图14A所示的明度平面(曲线)的检测区域A中含有的各像素、和检测区域B中含有的各像素，计算明度透过率信号VT(i，j)。图14B表示由图14A所示的明度平面(曲线)算出的明度透过率映射图。图14A所示的明度平面中的下陷部2082、2084通过局部的规格化处理而仅提取因异物引起的明度下降，在图14B所示的明度透过率映射图中，置换为明度透过率的下陷部2082a、2084a。由此，第一图像校正部2074对于判断为是与异物对应的部分的检测区域，生成明度透过率映射图。第一图像校正部2074也可以通过分别对各个检测区域生成增益图，而对各个检测区域分别独立地计算作为第一图像校正的校正量的第一校正量(明度增益)。

进而，第一图像校正部2074利用各检测区域的位置信息和各检测区域的明度透过率映射图，对于与映入到拍摄图像中的异物对应的部分，实施减少或除去异物的影响的第一图像校正。第一图像校正部2074在检测区域中含有的各像素的明度值V(i，j)上乘以明度透过率信号VT(i，j)的倒数，进行增益校正。即，第一图像校正部2074对与映入到拍摄图像中的异物对应的检测区域中含有的像素的明度值V进行增益校正，减少或除去因异物的映入而引起的明度的变化。例如，第一图像校正部2074利用以下的公式(14)计算校正了的明度值VC(i，j)。

公式(14)

VC(i，j)＝V(i，j)/VT(i，j)    …(14)

由此，第一图像校正部2074通过将检测区域的明度值V(i，j)置换为进行了上述增益校正的明度值VC(i，j)，而校正拍摄图像的明度平面。从而，第一图像校正部2074可以从拍摄图像减少或除去因异物的映入引起的明度的变化。

第二图像校正部2076可以利用由饱和度信息计算部2056算出的饱和度信息，对与映入到拍摄图像中的异物对应的部分，进行减少该异物的影响的第二图像校正。第二图像校正部2076利用由饱和度信息计算部2056算出的各像素的饱和度值S和饱和度平面，进行第二图像校正。

第二图像校正部2076与第一图像校正部2074同样地，进行局部的饱和度值S的规格化(标准化)处理，对成为校正对象的检测区域，计算饱和度透过率信号ST(i，j)，生成对于成为校正对象的检测区域的饱和度透过率映射图(饱和度增益图)。在第二图像校正部2076中成为校正对象的检测区域与第一图像校正部2074同样地，是在异物判断部2048或检测修正部2044中判断为是与异物对应的部分的检测区域。

饱和度透过率信号ST(i，j)的计算公式，可以使用将公式(13)中的明度透过率信号VT(i，j)和明度值V(i，j)置换为饱和度透过率信号ST(i，j)和饱和度值S(i，j)的公式。此外，第二图像校正部2076与第一图像校正部2074同样地，对于判断为是与异物对应的部分的检测区域，生成饱和度透过率映射图。第二图像校正部2076也可以通过分别对各个检测区域生成增益图，而对各个检测区域分别独立地计算作为第二图像校正的校正量的第二校正量(饱和度增益)。

第二图像校正部2076与第一图像校正部2074同样地，利用各检测区域的位置信息和各检测区域的饱和度透过率映射图，对于与映入到拍摄图像中的异物对应的部分，实施减少或除去异物的影响的第二图像校正。第二图像校正部2076在检测区域中含有的各像素的饱和度值S(i，j)上乘以饱和度透过率信号ST(i，j)的倒数，进行增益校正。例如，第二图像校正部2076利用以下的公式(15)来计算校正了的饱和度值SC(i，j)。

公式(15)

SC(i，j)＝S(i，j)/ST(i，j)    …(15)

由此，第二图像校正部2076通过将检测区域的饱和度值S(i，j)置换为进行了上述增益校正的饱和度值SC(i，j)，而校正拍摄图像的饱和度平面。从而，第二图像校正部2076可以从拍摄图像减少或除去因异物的映入引起的饱和度的变化。

第三图像校正部2078可以利用由色相信息计算部2058算出的色相信息，对与映入到拍摄图像中的异物对应的部分，进行减少该异物的影响的第三图像校正。第三图像校正部2078利用由色相信息计算部2058算出的各像素的色相值H和色相平面，进行第三图像校正。

第三图像校正部2078与第一图像校正部2074同样地，进行局部的色相值H的规格化(标准化)处理，对成为校正对象的检测区域，计算色相透过率信号HT(i，j)，生成对于成为校正对象的检测区域的色相透过率映射图(色相增益图)。在第三图像校正部2078中成为校正对象的检测区域与第一图像校正部2074同样地，是在异物判断部2048或检测修正部2044中判断为是与异物对应的部分的检测区域。

色相透过率信号HT(i，j)的计算公式，可以使用将公式(13)中的明度透过率信号VT(i，j)和明度值V(i，j)置换为色相透过率信号HT(i，j)和色相值H(i，j)的公式。此外，第三图像校正部2078与第一图像校正部2074同样地，对于判断为是与异物对应的部分的检测区域，生成色相透过率映射图。第三图像校正部2078也可以通过分别对各个检测区域生成增益图，而对各个检测区域分别独立地计算作为第三图像校正的校正量的第三校正量(色相增益)。

第三图像校正部2078与第一图像校正部2074同样地，利用各检测区域的位置信息和各检测区域的色相透过率映射图，对于与映入到拍摄图像中的异物对应的部分，实施减少或除去异物的影响的第三图像校正。第三图像校正部2078在检测区域中含有的各像素的色相值H(i，j)上乘以色相透过率信号HT(i，j)的倒数，进行增益校正。例如，第三图像校正部2078利用以下的公式(16)计算校正了的色相值HC(i，j)。

公式(16)

HC(i，j)＝H(i，j)/HT(i，j)    …(16)

由此，第三图像校正部2078通过将检测区域的色相值H(i，j)置换为进行了上述增益校正的色相值HC(i，j)，而校正拍摄图像的色相平面。从而，第三图像校正部2078可以从拍摄图像减少或除去因异物的映入引起的色相的变化。

异物图像校正部2050，在例如颜色校正判断部2052判断为当前要校正的拍摄图像是例如JPEG图像这样进行了非线形校正的图像的情况下，进行HSV校正以通过第一～第三图像校正部2074～2078进行的第一～第三图像校正来校正拍摄图像。

第一～第三图像校正部2074～2078进行的HSV校正，对拍摄图像进行HSV转换，分别针对明度平面、饱和度平面、色相平面单独地制作增益图，进行图像校正。因此，第一～第三图像校正部2074～2078进行的HSV校正，在拍摄图像的颜色进行了非线形校正时，也可以在与周边部分的色调保持高匹配性的同时校正因异物的映入引起的颜色的变化。

另外，异物图像校正部2050，例如在颜色校正判断部2052判断为当前要校正的拍摄图像例如为RAW图像这样没有进行非线形校正的图像时，可以进行一般的仅由亮度进行的校正(也可以是仅由明度进行的校正)。

一般的亮度校正例如如下进行。进行局部的亮度值Y的规格化(标准化)处理，对成为校正对象的检测区域，计算亮度透过率信号YT(i，j)，生成对于成为校正对象的检测区域的亮度透过率映射图(亮度增益图)。亮度透过率信号YT(i，j)的计算公式，可以使用将公式(13)中的明度透过率信号VT(i，j)和明度值V(i，j)置换为亮度透过率信号YT(i，j)和亮度值Y(i，j)的公式。

在检测区域中含有的各像素的R值R(i，j)、G值G(i，j)和B值B(i，j)上分别乘以亮度透过率信号YT(i，j)的倒数，进行增益校正。例如，利用以下的公式(17-1)～(17-3)计算校正了的R值RC(i，j)、G值GC(i，j)和B值BC(i，j)。

公式(17-1)～(17-3)

RC(i，j)＝R(i，j)/YT(i，j)    …(17-1)

GC(i，j)＝G(i，j)/YT(i，j)    …(17-2)

BC(i，j)＝B(i，j)/YT(i，j)    …(17-3)

由此，可以通过将检测区域中含有的RGB值置换为进行了上述增益校正的R值RC(i，j)、G值GC(i，j)和B值BC(i，j)(一般的亮度校正)，而校正拍摄图像。

另外，在一般的亮度校正中，如公式(17-1)～(17-3)所示，仅利用亮度的增益图(YT(i，j))进行校正。因此，对进行了非线形校正的图像进行一般的亮度校正后，有时校正后的像素中的RGB值(RC(i，j)、GC(i，j)、BC(i，j))中的某个会成为从周边部分的像素中的RGB值离开的值，而产生校正痕迹。

此外，这种问题在对成为校正对象的拍摄图像进行了很强的非线形校正时容易产生。并且对拍摄图像进行非线形校正的方式也存在按照相机等摄影装置的机种不同而不同的情况。与之相对，在该实施方式的HSV校正中，如公式(14)～(16)所示，分别生成明度增益图、饱和度增益图及色相增益图而进行校正，因此进行增益校正的像素被校正为接近周边部分的像素的颜色。此外，根据HSV校正，即使在作为校正对象的拍摄图像进行了非线形校正的情况下，也可以防止在校正后的拍摄图像中产生校正痕迹的问题，并且无论作为校正对象的图像的非线形校正的形式。即，例如对JPEG以外的非线形校正后的图像也可以期待该实施方式的效果。

另外，异物图像校正部2050进行的HSV校正，也可以通过组合由第一～第三图像校正部2074～2078校正了的明度平面、饱和度平面和色相平面，而生成校正后的拍摄图像，也可以省略第二图像校正部2076或第三图像校正部2078进行的图像校正。即，在异物图像校正部2050进行的HSV校正中，也可以不对饱和度平面或色相平面中的任一方进行增益校正，并使没有进行增益校正的饱和度平面或色相平面与校正后的明度平面等组合，生成校正后的拍摄图像。

在该实施方式中，通过在利用了第一图像校正部2074的基于明度的校正(也包括基于亮度的校正)上组合利用了第二图像校正部2076的基于饱和度的校正，与一般的仅亮度的校正相比，尤其是对进行了非线形校正的图像的异物除去校正的精度得以提高。此外，在该实施方式中，通过在利用了第一图像校正部2074的基于明度的校正(也包括基于亮度的校正)上组合利用了第三图像校正部2078的基于色相的校正，与一般的仅亮度的校正相比，尤其是对进行了非线形校正的图像的异物除去校正的精度得以提高。

另外，异物图像校正部2050在HSV校正中，也可以按照检测区域分别独立地计算第一～第三图像校正所涉及的校正量即第一～第三校正量。通过按照检测区域分别计算校正量，该实施方式的图像处理装置与针对拍摄图像整体计算校正量时相比可以抑制运算量。此外，在异物图像校正部2050的第一图像校正部中，当然也可以取代明度信息，而利用亮度信息进行图像校正。

颜色校正判断部2052判断作为在异物图像校正部2050中除去异物影响的校正的对象的拍摄图像，是否为对将由相机2010的光学系统2016得到的像光电转换而得到的拍摄图像进行了非线形校正后的图像。颜色校正判断部2052判断作为在异物图像校正部2050中除去异物影响的校正的对象的拍摄图像是否进行了非线形校正，并将判断结果输出到异物图像校正部2050。

异物图像校正部2050在通过颜色校正判断部2052判断为当前要校正的拍摄图像进行了非线形校正时，进行由第一～第三图像校正部2074～2078进行的上述HSV校正，由异物图像校正部2050进行减少异物的影响的校正。反之，异物图像校正部2050可以在通过颜色校正判断部2052判断为当前要校正的拍摄图像没有进行非线形校正时，不进行由第一～第三图像校正部2074～2078进行的图像校正，仅进行一般的亮度校正，由异物图像校正部2050进行减少异物的影响的校正。

此外，颜色校正判断部2052也可以判断作为在异物图像校正部2050中除去异物影响的校正的对象的拍摄图像所进行的非线形校正的强弱。颜色校正判断部2052判断作为在异物图像校正部2050中除去异物影响的校正的对象的拍摄图像所进行的非线形校正的强弱，并将判断结果输出到异物图像校正部2050。

此时，异物图像校正部2050在通过颜色校正判断部2052判断为当前要校正的拍摄图像进行了强的非线形校正时，进行由第一～第三图像校正部2074～2078进行的上述HSV校正，由异物图像校正部2050进行减少异物的影响的校正。反之，异物图像校正部2050可以在通过颜色校正判断部2052判断为当前要校正的拍摄图像进行了弱的非线形校正时，不进行由第一～第三图像校正部2074～2078进行的图像校正，仅进行一般的亮度校正，由异物图像校正部2050进行减少异物的影响的校正。

存储部2030用于存储由检测修正部2044修正了的修正判断基准、检测区域的数据、拍摄图像的摄影条件等。存储部2030由非易失性存储器等构成。操作信号输入部2032是用于输入与以下操作对应的操作信号的输入部：为了确定与映入到拍摄图像中的异物对应的部分而由使用者进行的操作。向操作信号输入部2032输入用于变更以下阈值的操作信号：关于检测区域的大小的阈值C1、关于检测区域的内外的明度比的阈值C2等，由异物判断部2048的第一～第四判断部2064～2070使用的阈值(判断基准)。

操作信号输入部2032例如包括在相机主体部2012(参照图11)设置的按钮、十字键、旋转式选择器等用于使用者向图像处理装置输入操作信号的用户接口。检测修正部2044可以根据经由操作信号输入部2032输入到运算部2038的操作信号，来修正异物判断部2048的判断。

向摄影条件信号输入部2034输入与在异物判断部2048中判断的拍摄图像、在异物图像校正部2050中进行图像校正的拍摄图像相关的摄影条件。向摄影条件信号输入部2034输入的摄影条件例如包括：拍摄了拍摄图像时的光圈值、摄影灵敏度、拍摄了拍摄图像时使用的光学系统的种类、焦距等。

检测修正部2044可以与经由摄影条件信号输入部2034输入的摄影条件相对应地，在存储部2030中存储作为修正了的判断基准的修正判断基准、关于图15所示的异物映射图的数据。此外，判断基准变更部2042可以根据与摄影条件对应的修正判断基准，按照各摄影条件分别变更作为异物判断部2048的第一～第四判断部2064～2070进行判断时的判断基准的初始判断基准。存在与使用者的喜好对应的异物检测灵敏度根据摄影条件而变化的情况，包括摄影条件信号输入部2034的图像处理装置可以使异物判断部2048的初始判断基准更接近相机2010的使用者的喜好。

此外，在位于光学滤波器2020的特定位置的异物持续附着的情况下，若摄影条件相同，则该异物持续映入到拍摄图像的确定的位置的可能性很高。因此，通过根据摄影条件保存与异物映射图相关的数据，该实施方式的图像处理装置可以容易地确定使用者关注的异物的映入位置。

显示部2036例如由设于相机主体部2012(参照图11)的液晶显示装置等构成。显示部2036可以将由检测修正部2044再判断为是与异物对应的部分的检测区域的位置重叠显示在拍摄图像上。

图13A和图13B是表示在图12所示的相机2010中进行的图像处理运算的一例的流程图。图13A表示图像处理运算的前半部分，图13B表示图像处理运算的后半部分。如图13A和图13B所示，图像处理运算包括：包含步骤S2003～步骤S2007的运算I；包含步骤S2008～步骤S2011的运算II；包含步骤S2012～步骤S2016的运算III；以及包含步骤S2017～步骤S2020的运算IV。

在运算I中，运算部2038进行以下运算：计算明亮度信息、饱和度信息等与拍摄图像的颜色相关的信息。在运算II中，运算部2038利用在运算I中算出的信息，计算异物映入的位置等与映入到拍摄图像中的异物相关的异物信息。此外，在运算II中，运算部2038利用在运算I中算出的信息，判断拍摄图像内的检测区域是否为与映入到拍摄图像内的异物对应的部分。

在运算III中，运算部2038进行以下运算：经由操作信号输入部2032输入使用者的操作信号，根据输入的操作信号来修正在运算II中进行的判断。在运算IV中，运算部2038在根据运算II或运算III中的判断结果确定了异物映入的检测区域的基础上，利用在运算II中算出的信息，对与映入到拍摄图像中的异物对应的部分进行减少异物影响的图像校正。在运算IV中，运算部2038利用在运算I中算出的明亮度信息进行减少异物影响的第一图像校正(第一图像校正部2074进行的图像校正)。进而，在运算IV中，利用在运算I中算出的饱和度信息进行减少异物影响的第二图像校正(第二图像校正部2076进行的图像校正)、利用在运算I中算出的色相信息进行减少异物影响的第三图像校正(第三图像校正部2078进行的图像校正)。

图12所示的相机2010搭载的图像处理装置，如图13A所示在步骤S2001中开始一系列的图像处理运算。在步骤S2002中经由图像输入部2028将由摄影部2026拍摄到的拍摄图像输入到运算部2038。

图16以作为标号2000a所示的拍摄图像的一部分的拍摄图像2000b(标号2000b)为例，说明了在图12所示的相机2010中进行的图像处理运算。在图13A所示的步骤S2002中，将拍摄图像2000b输入到运算部2038。

在图13A所示的步骤S2003～步骤S2007中，图12所示的运算部2038中的信息计算部2046计算与拍摄图像的颜色相关的信息。在步骤S2003中，信息计算部2046的明亮度信息计算部2054计算与拍摄图像的明亮度对应的明亮度信息。明亮度信息计算部2054可以计算拍摄图像的亮度平面，也可以计算拍摄图像的明度平面，而在图13A所示的步骤S2003中，明亮度信息计算部2054利用上述公式(9-1)和(9-6)计算明度平面。

在步骤S2004中，信息计算部2046的饱和度信息计算部2056利用上述公式(9-2)、(9-6)和(9-7)计算饱和度平面。此外，在步骤S2005中，利用上述公式(9-3)～(9-5)和(9-6)～(9-10)计算色相平面。

如图16所示，在步骤S2003中从拍摄图像2000b计算拍摄图像2000b的明度平面2000d(标号2000d)。此外，在步骤S2004中从拍摄图像2000b计算拍摄图像2000b的饱和度平面(未图示)。进而，在步骤S2005中从拍摄图像2000b计算拍摄图像2000b的色相平面2000c。

在图13A所示的步骤S2006中，信息计算部2046的明亮度梯度信息计算部2060计算与拍摄图像的明亮度的梯度对应的明亮度梯度信息。明亮度梯度信息计算部2060可以计算拍摄图像的亮度梯度平面，也可以计算拍摄图像的明度梯度平面，而在图13A所示的步骤S2006中，明亮度梯度信息计算部2060利用在步骤S2003中算出的明度平面的数据和上述公式(11)，计算明度梯度平面。

在图13A所示的步骤S2007中，信息计算部2046的区域计算部2062计算检测区域。区域计算部2062利用由明亮度梯度计算部2060算出的明度梯度平面，计算二值化图像，而计算检测区域。区域计算部2062将连接了具有高于阈值的明度梯度值的像素而成的区域确定为一个检测区域。

如图16所示，在步骤S2006中，根据拍摄图像2000b的明度平面2000d(标号2000d)计算拍摄图像2000b的明度梯度平面2000e(标号2000e)。此外，在步骤S2007中，根据明度梯度平面2000e计算二值化图像2000f(标号2000f)。

在图13A所示的步骤S2008～步骤S2011中，图12所示的运算部2038中的异物判断部2048利用由信息计算部2046算出的信息，对于由区域计算部2062确定的各检测区域，判断该检测区域是否为与异物对应的部分。

在图13A所示的步骤S2008中，异物判断部2048的第一判断部2064根据作为判断对象的检测区域的大小，判断该检测区域是否为与映入到图像中的异物对应的部分。第一判断部2064可以利用二值化图像2000f，根据检测区域中含有的像素的数量等来计算检测区域的大小。此外，第一判断部2064在根据二值化图像2000f算出的检测区域的大小不在预定的范围内时，判断为作为判断对象的检测区域不是与异物对应的部分。

在图13A所示的步骤S2009中，异物判断部2048的第二判断部2066利用与检测区域的饱和度对应饱和度信息、与检测区域的色相对应的色相信息、以及与检测区域的明度对应的明度信息，判断该检测区域是否为与映入到图像中的异物对应的部分。

在步骤S2009中，第二判断部2066首先利用由明亮度信息计算部2054算出的明度平面，研究与检测区域的明度对应的第一明度信息和与检测区域的周边区域的明度对应的第二明度信息之间的差异。在步骤S2009中，第二判断部2066将检测区域中含有的像素的明度值V的平均值作为第一明度信息，将检测区域的周边区域中含有的像素的明度值V的平均值作为第二明度信息。第二判断部2066在第一明度信息和第二明度信息之比不在预先设定的范围内时，判断为作为判断对象的检测区域不是与异物对应的部分。

然后，第二判断部2066利用由饱和度信息计算部2056算出的饱和度平面，研究与检测区域的饱和度对应的第一饱和度信息和与检测区域的周边区域的饱和度对应的第二饱和度信息之间的差异。在步骤S2009中，第二判断部2066将检测区域中含有的像素的饱和度值S的平均值作为第一饱和度信息，将检测区域的周边区域中含有的像素的饱和度值S的平均值作为第二饱和度信息。第二判断部2066在第一饱和度信息和第二饱和度信息之比不在预先设定的范围内时，判断为作为判断对象的检测区域不是与异物对应的部分。

进而，第二判断部2066利用由色相信息计算部2058算出的色相平面，研究与检测区域的色相对应的第一色相信息和与检测区域的周边区域的色相对应的第二色相信息之间的差异。在步骤S2009中，第二判断部2066将检测区域中含有的像素的色相值H的平均值作为第一色相信息，将检测区域的周边区域中含有的像素的色相值H的平均值作为第二色相信息。第二判断部2066在第一色相信息和第二色相信息之比不在预先设定的范围内时，判断为作为判断对象的检测区域不是与异物对应的部分。

在图13A所示的步骤S2010中，异物判断部2048的第三判断部2068利用与检测区域的周边区域的明亮度对应的信息，判断该检测区域是否为与映入到图像中的异物对应的部分。第三判断部2068利用由明亮度信息计算部2054算出的明度平面，计算与检测区域的周边区域的明度对应的第二明度信息。第三判断部2068与第二判断部2066同样地将检测区域的周边区域中含有的像素的明度值V的平均值作为第二明度信息。第三判断部2068在第二明度信息不在预先设定的范围时，判断为作为判断对象的检测区域不是与异物对应的部分。

在图13A所示的步骤S2011中，异物判断部2048的第四判断部2070根据检测区域的周边区域的明亮度的标准偏差，判断该检测区域是否为与映入到图像中的异物对应的部分。第四判断部2070利用由明亮度信息计算部2054算出的明度平面和上述公式(12)，计算检测区域的周边区域的明度的标准偏差。第四判断部2070在检测区域的周边区域的明亮度的标准偏差不在预先设定的范围时，判断为作为判断对象的检测区域不是与异物对应的部分。

如图13B所示，在步骤S2008～步骤S2012中，从二值化图像2000f中，排除标号2000g所示的二值化图像2000g这样不与异物对应的检测区域，而仅提取异物映入的检测区域。

另外，与图13A的步骤S2008～步骤S2011对应的判断，可以对拍摄图像2000b包含的所有的检测区域进行，而与步骤S2009～步骤S2011对应的判断也可以仅对在之前的步骤S2009～步骤S2011中没有判断为不是与异物对应的部分的区域进行。异物判断部2048仅将在步骤S2008～步骤S2011中均没有判断为不是与异物对应的部分的检测区域，判断为是与异物对应的部分。

此外，异物判断部2048也可以在对一个检测区域按照步骤S2008～步骤S2011的顺序进行了判断后，再对另一个检测区域按照步骤S2008～步骤S2011的顺序进行判断。此时，关于一个检测区域的判断，可以在步骤S2008～步骤S2011所包含的任一个步骤中判断为作为判断对象的检测区域不是与异物对应的部分的时刻跳过对该检测区域的剩下的判断(步骤)，开始进行对另一个检测区域的判断。此时，异物判断部2048将在步骤S2011中作为判断对象的检测区域、且在步骤S2011中没有判断为不是与异物对应的部分的检测区域，判断为是与异物对应的部分。异物判断部2048可以跳过与步骤S2009～步骤S2011对应的判断，从而图像处理装置可以减轻异物判断部2048的运算量。

运算部2038在结束了包括图13A的步骤S2007～步骤S2011的运算II后，执行包括图13B的步骤S2012～步骤S2016的运算III。另外，运算部2038也可以根据使用者的设定等，在结束了包括图13A的步骤S2007～步骤S2011的运算II后不进行运算III，而执行包括图13B的步骤S2017～步骤S2020的运算IV。

在图13B所示的步骤S2012～步骤S2016中，运算部2038的修正判断部2044等进行以下运算：经由操作信号输入部2032输入使用者的操作信号，根据输入的操作信号修正在步骤S2008～步骤S2011中进行的判断。

在图13B所示的步骤S2012中，检测修正部2044在显示部2036上与拍摄图像重叠地显示异物判断部2048的判断结果。如图16中标号2000h所示的图像那样，显示部2036接受来自检测修正部2044的指示，将在异物判断部2048中判断为是与异物对应的部分的检测区域，与拍摄图像2000b重叠并与其他的检测区域区分地进行显示。在标号2000h所示的图像中，仅将由区域计算部2062提取出的检测区域中、在异物判断部2048中判断为是与异物对应的部分的检测区域的位置，利用三角形的图形显示。

在图13B所示的步骤S2013中，经由操作信号输入部2032将用于修正在异物判断部2048中进行的判断的操作信号输入到运算部2038的检测修正部2044。在步骤S2013中，使用者可以在确认显示部2036上显示的判断结果的同时，对操作信号输入部2032中包含的用户接口进行操作，输入用于修正在异物判断部2048中进行的判断的操作信号。

使用者在认为异物判断部2048的判断中异物的检测灵敏度过低时，输入用于变更判定中使用的阈值的操作信号，以便以比在异物判断部2048中进行的判断更高的检测灵敏度进行再判断。例如，使用者输入以下操作信号：变更成减少关于检测区域的大小的阈值C1(参照图16)的操作信号；变更成增加(接近1)关于检测区域内外的明度比的阈值C2(参照图16)的操作信号。

反之，使用者在认为异物判断部2048的判断中异物的检测灵敏度过高时，输入用于变更判定中使用的阈值的操作信号，以便以比在异物判断部2048中进行的判断更低的检测灵敏度进行再判断。例如，使用者输入以下操作信号：变更成增加关于检测区域的大小的阈值C1(参照图16)的操作信号；变更成减少(接近0)关于检测区域内外的明度比的阈值C2(参照图16)的操作信号。

在图13B所示的步骤S2014中，检测修正部2044根据经由操作信号输入部2032输入到运算部2038中的操作信号，变更在异物判断部2048的判断中所使用的阈值，进行检测区域是否为与异物对应的部分的再判断。即，在步骤S2014中，检测修正部2044利用对应于操作信号而变更的阈值，修正在异物判断部2048中的第一～第四判断部2064～2070中进行的判断。

例如，在步骤S2013中输入了用于使关于检测区域的大小的阈值C1(参照图16)减少的操作信号时，检测修正部2044如下修正异物判断部2048的判断。即，检测修正部2044在根据操作信号而减少了第一判断部2064的阈值C1的基础上，使异物判断部2048再计算包括步骤S2008～步骤S2011的运算II。检测修正部2044将通过再计算而判断为是与异物对应的部分的检测区域，认定是再判断为与异物对应的部分的检测区域。

在图13B所示的步骤S2015中，检测修正部2044更新显示部2036的显示。即，显示部2036根据由检测修正部2044修正了的判断，将在步骤S2014中再判断为是与异物对应的部分的检测区域重叠在拍摄图像上显示。

使用者确认在步骤S2015中更新了的显示部2036的显示，在认为由检测修正部2044再判断了的检测结果适当时，将用于结束检测区域的再判断的操作信号输入到相机2010。此时，检测修正部2044进行步骤S2016的处理。此外，使用者在认为由检测修正部2044再判断了的检测结果不适当时，对检测修正部2044输入用于重新进行检测区域的再判断的操作信号。此时，检测修正部2044重新进行步骤S2013～步骤S2015涉及的处理。

在图13B的步骤S2016中，检测修正部2044将再判断时的阈值、在再判断中判断为是与异物对应的部分的检测区域的位置等输出到存储部2030中。存储部2030存储再判断时的阈值、判断为是与异物对应的部分的检测区域的位置等数据，并可以根据需要对判断基准变更部2042输出存储的数据。

在图13B所示的步骤S2017～步骤S2020中，运算部2038的异物图像校正部2050利用由明亮度信息计算部2054算出的信息，对由检测修正部2044判断为是与异物对应的部分的检测区域，进行从拍摄图像减少异物影响的图像校正。

在步骤S2017中，异物图像检测部2050将由检测修正部2044判断为是与异物对应的部分的检测区域，确定为用于从拍摄图像减少异物影响的图像校正的对象区域。在步骤S2018中，颜色校正判断部2052判断当前要校正的拍摄图像是否由图像转换部2015等进行了非线形校正。

在步骤S2018中判断为拍摄图像进行了非线形校正时，在步骤S2019和步骤S2020中进行由异物图像校正部2050的第一～第三图像校正部2074～2078进行的图像校正。此时，在步骤S2019中，异物图像图像校正部2050的第一～第三图像校正部2074～2078，利用由明亮度信息计算部2054算出的明度信息、由饱和度信息计算部2056算出的饱和度信息和由色相信息计算部2058算出的色相信息，对图像校正的对象区域生成增益图。异物图像校正部2050的第一～第三图像校正部2074～2078利用由信息计算部2046算出的信息和上述公式(13)，生成明度透过率映射图、饱和度透过率映射图和色相透过率映射图。

在步骤S2020中，异物图像校正部2050的第一～第三图像校正部2074～2078利用明度透过率映射图、饱和度透过率映射图、色相透过率映射图以及上述公式(14)～(16)，进行拍摄图像的明度平面、饱和度平面和色相平面的增益校正。进而，异物图像校正部2050通过组合由第一～第三图像校正部2074～2078进行了增益校正的明度平面、饱和度平面和色相平面，生成校正后的拍摄图像。

在步骤S2018中判断为拍摄图像没有进行非线形校正时，可以在步骤S2019和步骤S2020中进行一般的仅由亮度进行的校正。

在步骤S2021中，进行了步骤S2020中生成的校正后的拍摄图像的保存处理后，结束一系列的图像处理运算。

如上所述，该实施方式的图像处理装置具有异物判断部2048，其利用检测区域的明亮度信息和检测区域的饱和度信息，判断检测区域是否为与映入到拍摄图像中的异物对应的部分。异物判断部2048不仅利用检测区域的明亮度信息，还利用饱和度信息来判断检测区域，因此可以正确地判断在检测区域中是否映入了异物。这是由于，映入到拍摄图像中的异物具有对饱和度及色相几乎没有影响、但对明亮度产生强烈影响的特征。此外，为了从拍摄图像中检测因异物的映入引起的颜色变化，通过组合饱和度信息和明亮度信息进行判断会更为有效。

另外，除了检测区域的明亮度信息和检测区域的饱和度信息之外，还利用检测区域的色相信息来判断检测区域，从而该实施方式的图像处理装置能够更为正确地判断检测区域中是否映入了异物。此外，通过利用检测区域的周边区域的明亮度的信息、检测区域的周边区域的明亮度的标准偏差来进行判断，该实施方式的图像处理装置能够更为正确地判断检测区域中是否映入了异物。这是由于，在拍摄图像中的暗部、明度的不均大的部分，容易误将被拍摄体边沿误检测为因异物的进入而产生的边沿。此外，在这些区域中，即使存在因异物的进入而产生的边沿，也难以明显看出。此外，该实施方式的图像形成装置通过在进行了基于明亮度信息的判断后，进行基于饱和度信息或色相信息的判断，可以利用饱和度信息或色相信息来补足或验证基于明亮度信息的判断。

该实施方式的图像处理装置具有检测修正部2044，其根据使用者的操作信号来修正异物判断部2048的判断。因此，该实施方式的图像处理装置能够以适于使用者的喜好的检测水平，检测映入到拍摄图像中的异物。此外，具有用于显示检测修正部2044修正前后的检测结果的显示部2036，因此通过使用者在确认显示部2036的显示的同时调整检测水平，能够防止异物的误检测、检测遗漏。

此外，该实施方式的图像处理装置具有判断基准变更部2042，其根据检测修正部2044的修正判断基准，变更作为异物判断部2048的第一～第四判断部2064～2070进行判断时的判断基准的初始判断基准。判断基准变更部2042可以使异物判断部2048的初始判断基准接近相机2010的使用者的喜好，因此该实施方式的图像处理装置能够有效地进行对应于使用者的喜好的异物检测。另外，检测修正部2044可以修正区域计算部2062生成二值化图像时的阈值，判断基准变更部2042可以变更区域计算部2062生成二值化图像时的阈值。通过修正区域计算部2062生成二值化图像时的阈值或反馈该阈值，该实施方式的图像处理装置能够使异物检测灵敏度适当。

该实施方式的图像处理装置具有异物图像校正部2050，其通过在基于明度增益图的增益校正之外增加基于饱和度增益图的增益校正及/或基于色相增益图的增益校正，进行用于减少映入到拍摄图像中的异物的影响的图像校正。因此，该实施方式的图像处理装置即使在作为校正对象的拍摄图像进行了非线形校正的情况下，也能够在保持与周边部分的色调的高匹配性的同时校正因异物的映入引起的颜色的变化。此外，该实施方式的图像处理装置，即使在作为校正对象的拍摄图像进行了非线形校正时，也能够防止在校正后的拍摄图像中产生校正痕迹的问题。

另外，在上述实施方式中，以搭载有图像处理装置的相机2010为例说明了摄像装置，但具有图像处理装置的摄影装置不限于静态照相机，还包括摄像机、移动电话等。此外，用于执行上述图像处理的程序，不限于静态照相机、摄像机、移动电话中搭载的计算机执行的程序，还包括可以进行其他图像处理的计算机执行的程序。

以下参照附图详细说明本发明的第四实施方式。

图17是包括该实施方式的图像处理装置的个人电脑等计算机2120的框图。计算机2120不含图12所示的摄像部2026、操作信号输入部2032、摄影条件信号输入部2023和图像转换部2115，作为其替代而如图17所示包括I/F(接口)2122和操作信号输入部2124。图17所示的计算机2120，关于图12所示的摄像部2026等以外的部分，具有与图12所示的相机2010相同的结构，因此关于与图12所示的相机2010相同的结构，标以与图12相同的标号而省略说明。

计算机2120具有用于与存储卡、相机、移动电话等连接的I/F2122。从I/F2122、内置于计算机2120中的存储部2030，向计算机2120的图像输入部2028输入拍摄图像。图17所示的运算部2038与图12所示的相机2010的运算部2038同样地，对经由图像输入部2028输入的拍摄图像进行图像处理。另外，可以经由I/F2122等与拍摄图像一起将摄影条件等输入到运算部2038。运算部2038可以是构成处于其内部的信息计算部2046、异物判断部2048和异物图像校正部2050等的专用电路，但优选由存储有用于实现这些功能的程序的存储单元和执行存储于该存储单元中的程序的中央信息处理装置(CPU)构成。

操作信号输入部2124与第三实施方式的操作信号输入部2032同样，是用于输入与以下操作对应的操作信号的输入部：为了确定与映入到拍摄图像中的异物对应的部分而由使用者进行的操作。作为操作信号输入部2124例如包括键盘、鼠标、触摸板等，但并不特别限定。

计算机2120的运算部2038对于经由图像输入部2028输入的拍摄图像，可以与第三实施方式的运算部2028同样地进行映入到拍摄图像中的异物的检测、用于减少映入到拍摄图像中的异物的影响的图像校正。因此，该计算机2020中含有的图像处理装置也起到与第三实施方式的相机2010所搭载的图像处理装置同样的效果。

以下参照附图详细说明本发明的第五实施方式。

图18是具备该实施方式的图像处理装置的相机3010的概要图。相机3010包括：具备光学系统3016等的透镜镜筒部3014；和具备摄像元件3022等的相机主体部3012。在该实施方式中，作为具备图像处理装置的设备，以将透镜镜筒部3014装拆自如地安装于相机主体部3012上的透镜更换式相机为例进行说明，但具备该实施方式的图像处理装置的设备不限于此。例如，也可以是透镜镜筒部3014和相机主体部3012一体的相机、摄像机、移动电话、能够处理图像数据等的PC(个人电脑)等。

图18所示的相机主体部3012具备快门3018、光学滤波器3020和摄像元件3022等。快门3018通过将从光学系统3016朝向摄像元件3022的摄影光隔断及使之通过来调整曝光时间。此外，光学滤波器3020由防止摄影时产生伪色(color moire)等的光学低通滤波器等构成。

摄像元件3022通过对由光学系统3016引导的光进行光电转换，而能够取得图像数据。但是，如图18所示，有时在摄影光的光路上、在用于使摄影光透过的光学滤波器3020等部件上附着有污物等异物3024时，在由摄像元件3022取得的图像数据中会包含受到了污物等异物3024的影响的像素。作为受到了异物3024的影响的像素，例如包括因异物3024阻碍了摄影光的透过结果导致颜色(明度等)从本来的摄影光的颜色变化了的像素等。该实施方式的相机3010如下文所述能够进行用于检测受到了异物3024的影响的像素的图像处理。此外，相机3010如下文所述，能够对包含受到了异物3024的影响的像素的拍摄图像，进行减轻或除去异物3024的影响的图像处理。

图19是表示图18所示的相机3010所具备的图像处理装置的结构的概要框图。相机3010包括：具有图18所示的摄像元件3022等的摄影部3026；和对由摄影部3026等拍摄的拍摄图像进行图像处理的图像处理装置。搭载于相机3010上的图像处理装置包括图像转换部3115、图像输入部3028、存储部3030、操作信号输入部3032、摄影条件信号输入部3034、显示部3036及运算部3038等。

图像输入部3028以图像数据的形式输入由摄影部3026拍摄的拍摄图像。拍摄图像例如为RGB数据等，但拍摄图像的数据形式并无特别限定。图像输入部3028将输入的拍摄图像向运算部3038输出。运算部3038对经由图像输入部3028输入的拍摄图像进行图像处理。另外，向图像输入部3028，不仅可以输入由摄影部3026拍摄的拍摄图像，还可以输入由其他摄影装置拍摄的拍摄图像。此外，作为由运算部3038进行图像处理的拍摄图像，不限于由摄影部3026拍摄的拍摄图像，还包括由其他摄影装置拍摄的拍摄图像。

进而，向图像输入部3028，不仅输入对光学系统3016的像进行光电转换而得到的拍摄图像，还输入由图像转换部3115对拍摄图像进行了γ校正等的图像处理完毕的拍摄图像。图像转换部3115例如对于将光学系统3016的像光电转换而得到的拍摄图像，进行γ校正等图像处理、保存形式的变更、数据的压缩处理等。从而，图像转换部3115能够校正拍摄图像，以在将拍摄图像显示到液晶等显示装置上时更加鲜艳地显示或以更加自然的色调显示。此外，通过由图像转换部3115压缩拍摄图像，相机3010可以将更多的拍摄图像保存到未图示的存储卡等中。拍摄图像转换部3115对拍摄图像进行的图像处理包括线形校正和非线形校正。

运算部3038包括信息计算部3046、异物判断部3048及异物图像校正部3050。信息计算部3046能够分析拍摄图像并计算与拍摄图像的颜色等相关的数据。异物判断部3048能够利用由信息计算部3046算出的数据，判断预定的检测区域是否为与映入到拍摄图像中的污物等异物对应的部分。进而，异物图像校正部3050能够根据异物判断部3048的判断，确定与映入到拍摄图像中的异物对应的部分，对拍摄图像进行用于减少异物的影响的图像处理。此外，异物图像校正部3050能够利用由信息计算部3046算出的数据，进行用于减少异物的影响的图像处理。

信息计算部3046具有明亮度信息计算部3054、饱和度信息计算部3056、色相信息计算部3058、明亮度梯度信息计算部3060和区域计算部3062。信息计算部3046中包含的各计算部3054、3056、3058、3060、3062对拍摄图像进行运算处理，在各个计算部3054、3056、3058、3060、3062中分别计算不同的数据。

明亮度信息计算部3054计算与拍摄图像的明亮度对应的明亮度信息。明亮度信息计算部3054计算的明亮度信息可以是拍摄图像的亮度信息，也可以是拍摄图像的明度信息，或亮度信息和明度信息双方。

明亮度信息计算部3054利用以下的公式(18)根据拍摄图像中的各像素的RGB值计算各像素的亮度值Y。

公式(18)

Y＝(0.299×R+0.589×G+0.114×B)/255    …(18)

此外，明亮度信息计算部3054根据像素的亮度值Y而生成与拍摄图像对应的亮度平面。因此，明亮度信息计算部3054算出的亮度信息包括各像素的亮度值Y、由各像素的位置及亮度值Y构成的亮度平面。

明亮度信息计算部3054也可以取代亮度信息或与亮度信息组合而计算明度信息。明度信息通过对RGB数据进行HSV转换而得到。HSV转换用于将RGB数据转换成色相(Hue)、饱和度(Saturation)及明度(Value)。拍摄图像中的各像素的明度值V、色相值H及饱和度值S可以根据各像素的RGB值并通过以下的公式(19-1)～(19-10)求出。

公式(19-1)～(19-10)

V＝Vmax                      …(19-1)

S＝(Vmax-Vmin)/Vmax          …(19-2)

H＝(π/3)(b-g)(R＝Vmax时)    …(19-3)

H＝(π/3)(2+r-b)(G＝Vmax时)    …(19-4)

H＝(π/3)(4+g-r)(B＝Vmax时)    …(19-5)

其中，

Vmax＝max{R，G，B}             …(19-6)

Vmin＝min{R，G，B}             …(19-7)

r＝(Vmax-R)/(Vmax-Vmin)        …(19-8)

g＝(Vmax-G)/(Vmax-Vmin)        …(19-9)

b＝(Vmax-B)/(Vmax-Vmin)        …(19-10)

另外，由公式(19-3)～(19-5)转换的结果，在H＜0时在H上增加2π，在Vmax＝0时S＝0、H不确定。

明亮度信息计算部3054利用上述公式(19-1)及(19-6)根据拍摄图像中的各像素的RGB值计算各像素的明度值V。此外，明亮度信息计算部3054根据像素的明度值V生成与拍摄图像平面对应的明度平面。因此，明度信息计算部3054算出的明度信息包括各像素的明度值V、由各像素的位置及明度值V构成的明度平面。

饱和度信息计算部3056计算与拍摄图像的饱和度对应的饱和度信息。饱和度信息计算部3056例如利用上述公式(19-2)、(19-6)及(19-7)根据拍摄图像中的各像素的RGB值计算各像素的饱和度值S。此外，饱和度信息计算部3056根据像素的饱和度值S生成与拍摄图像平面对应的饱和度平面。因此，饱和度信息计算部3056算出的饱和度信息包括各像素的饱和度值S、由各像素的位置及饱和度值S构成的明度平面。

色相信息计算部3058计算与拍摄图像的色相对应的色相信息。色相信息计算部3058例如利用上述公式(19-3)～(19-5)及(19-6)～(19-10)根据拍摄图像中的各像素的RGB值计算各像素的色相值H。此外，色相信息计算部3058根据像素的色相值H生成与拍摄图像平面对应的色相平面。因此，色相信息计算部3058算出的色相信息包括各像素的色相值H、由各像素的位置及色相值H构成的明度平面。

明亮度梯度信息计算部3060根据由明亮度信息计算部3054算出的亮度平面、明度平面，算出与拍摄图像的明亮度的梯度对应的明亮度梯度信息。作为由明亮度梯度信息计算部3060算出的明亮度梯度信息，包括亮度梯度信息、明度梯度信息。

此时，明亮度梯度信息计算部3060优选根据通过逆γ校正部3040进行了逆γ校正的亮度平面、明度平面，计算明亮度梯度信息。拍摄图像多以与显示装置等对应地进行了γ校正的状态保存，因此经由图像输入部3028输入到运算部3038的拍摄图像也很可能进行了γ校正。因此，通过逆γ校正部3040对亮度平面、明度平面进行逆γ校正，能够使这些明亮度信息接近RAW数据具有的本来的明亮度信息。

将逆γ校正前的亮度平面及明度平面设为YP1、VP1，逆γ校正后的亮度平面及明度平面设为YP2、VP2，则由逆γ校正部3040进行的逆γ校正通过以下的公式(20-1)、(20-2)表示。

公式(20-1)、(20-2)

YP2＝(YP1)^γ     …(20-1)

VP2＝(VP1)^γ     …(20-2)

明亮度梯度信息计算部3060例如根据明度平面VP2计算拍摄图像内的各位置(像素)的明度梯度值Vgrad(i，j)。明亮度梯度信息计算部3060对明度平面VP2进行纵向、横向的微分过滤，计算纵向的差分Δ_yf(i，j)和横向的差分Δ_xf(i，j)，并利用算出的差分来计算各位置的明度梯度值Vgrad(i，j)。若将明度平面VP2中包含的各像素的明度值V设为V(i，j)，则明度梯度值Vgrad(i，j)通过以下公式(21-1)～(21-3)算出。

公式(21-1)～(21-3)

Δ_xf(i，j)＝V(i，j)-V(i-1，j)     ···(21-1)

Δ_yf(i，j)＝V(i，j)-V(i，j-1)     ···(21-2)

$V\mathrm{grad}(i,j)=\sqrt{{\left({\mathrm{\Δ}}_{x}f(i,j)\right)}^2+{\left({\mathrm{\Δ}}_{y}f(i,j)\right)}^2}---(21-3)$

另外，公式(21-1)～(21-3)中的i表示像素的横向的位置，j表示像素的纵向的位置。明亮度梯度信息计算部3060根据各位置的明度梯度值Vgrad(i，j)生成与拍摄图像平面对应的明度梯度平面。因此，在明亮度梯度信息计算部3060算出的明度梯度信息中包括明度梯度值Vgrad(i，j)、明度梯度平面。

此外，明亮度梯度信息计算部3060可以取代明度梯度信息或除了明度梯度信息之外，根据亮度平面VP2计算亮度梯度信息。亮度梯度信息中包括亮度梯度值Ygrad(i，j)、亮度梯度平面。亮度梯度信息的计算方法与上述明度梯度信息相同。

区域计算部3062计算用于检测是否映入异物的检测区域。区域计算部3062能够例如利用由明亮度梯度信息计算部3060算出的明亮度梯度信息来计算检测区域。

检测区域只要是拍摄图像的一部分即可，并无特别限定，但优选将映入异物的可能性高的区域作为检测区域。在此，在由明亮度梯度信息计算部3060算出的明亮度梯度平面中，相当于被拍摄体边沿的部分、映入了异物的部分，存在其明度梯度值Vgrad(i，j)相对较大的倾向。与之相对，与空白、被拍摄体的内部等对应的部分存在明度梯度值Vgrad(i，j)相对较小的倾向。

因此，该实施方式的区域计算部3062能够计算将明度梯度平面二值化了的二值化图像，并将连接明度梯度值Vgrad(i，j)高的像素而成的连接区域作为检测区域。即，区域计算部3062对明度梯度平面设定预定的阈值，将具有高于该阈值的明度梯度值的像素的值置换为“1”，将具有低于该阈值的明度梯度值的像素的值置换为“0”，从而计算二值化图像。

进而，区域计算部3062从算出的二值化图像提取值为“1”的像素，并将值为“1”的像素作为检测区域。区域计算部3062若连接值为“1”的像素彼此，则将这些像素的集合确定为一个检测区域。反之，区域计算部3062，在值为“1”的一个像素集合相对于值为“1”的另一个像素集合没有通过值为“1”的像素连接时，将该两个区域确定为不同的检测区域。

区域计算部3062如上所述可以根据明度梯度平面计算检测区域，除此之外还可以根据由明亮度信息计算部3054算出的亮度梯度平面来计算检测区域。区域计算部3062与明度梯度平面同样地能够通过根据亮度梯度平面计算二值化图像，来计算检测区域。

异物判断部3048利用由信息计算部3046算出的各信息，判断各个检测区域是否为与映入到拍摄图像中的异物对应的部分。异物判断部3048包括第一判断部3064、第二判断部3066、第三判断部3068和第四判断部3070。第一～第四判断部3064～3070利用彼此不同的判断基准，判断作为判断对象的检测区域是否为与映入到拍摄图像中的异物对应的部分。

第一判断部3064根据作为判断对象的检测区域的大小，判断该检测区域是否为与映入到图像中的异物对应的部分。在该实施方式的图像处理装置中，作为异物判断部3048的判断对象的检测区域及其大小，利用由明亮度梯度信息计算部3060算出的明亮度梯度信息，而由区域计算部3062进行计算。因此，例如区域计算部3062根据亮度梯度平面计算出检测区域时，第一判断部3064利用各像素的亮度梯度值等信息进行判断。此外，区域计算部3062根据明度梯度平面计算出检测区域时，第一判断部3064利用各像素的明度梯度值等信息进行判断。

第一判断部3064在由区域计算部3062算出的检测区域的大小在预定范围时，能够判断出该检测区域是与映入到图像中的异物对应的部分。此外，第一判断部3064在由区域计算部3062算出的检测区域的大小超过预定的范围而更大或比预定的范围小时，能够判断出该检测区域不是与映入到图像中的异物对应的部分。

在第一判断部3064中判定是异物映入的区域的大小的范围，根据拍摄图像的大小、拍摄条件等来设定，例如可以使下限值为25像素、上限值为300像素。

第二判断部3066利用与检测区域的饱和度对应的饱和度信息，判断该检测区域是否为与映入到图像中的异物对应的部分。第二判断部3066利用由饱和度信息计算部3056算出的饱和度值S及饱和度平面，判断该检测区域是否为与映入到图像中的异物对应的部分。该实施方式的第二判断部3066研究与检测区域的饱和度对应的第一饱和度信息和与检测区域的周边区域的饱和度对应的第二饱和度信息之间的差异。第二判断部3066在第一饱和度信息和第二饱和度信息间的差异处于预先设定的范围时，判断出作为判断对象的检测区域是与异物对应的部分。此外，第二判断部3066也可以在第一饱和度信息和第二饱和度信息间的差异不在预先设定的范围时，判断出作为判断对象的检测区域不是与异物对应的部分。

在此，第一饱和度信息例如可以是检测区域中含有的像素的饱和度值S的平均值。此外，第二饱和度信息可以是检测区域的周边区域的像素的饱和度值S的平均值。另外，检测区域的周边区域例如可以规定成：与检测区域的外周接触的同时包围该检测区域的周边的区域、且具有与检测区域同等程度的面积的区域。

第二判断部3066将作为判断对象的检测区域判断为异物映入的区域的数值范围没有特别限定。此外，判断为异物映入的区域的数值范围可以用饱和度值S的差的大小(绝对值)来规定，也可以用第一饱和度信息和第二饱和度信息的值的比来规定。

例如，第二判断部3066在检测区域中含有的像素的饱和度值S的平均值S1为检测区域的周边区域的像素的饱和度值S的平均值S2的0.95～2倍时，判断出作为判断对象的检测区域是异物映入的区域。不是污物而是作为被拍摄体拍摄到图像中的像，在饱和度信息中强烈地留有信息，相反，异物映入的像则对饱和度几乎不产生影响。因此，若检测区域中没有映入污物，则第一饱和度信息和第二饱和度信息的差异较大，反之，若在检测区域中映入了污物，则第一饱和度信息和第二饱和度信息的差异较小。

第二判断部3066不仅可以如上所述利用饱和度信息进行判断，此外还可以利用与检测区域的明亮度对应的明亮度信息，判断该检测区域是否为映入到图像中的异物对应的部分。利用明亮度信息进行判断时，第二判断部3066能够利用由明亮度信息计算部3054算出的明度值V和明度平面，判断该检测区域是否为映入到图像中的异物对应的部分。此外，第二判断部3066也可以利用由明亮度信息计算部3054算出的亮度值Y和亮度平面，判断该检测区域是否为映入到图像中的异物对应的部分。

该实施方式的第二判断部3066例如研究与检测区域的明度对应的第一明度信息和与检测区域的周边区域的明度对应的第二明度信息之间的差异。第二判断部3066在第一明度信息和第二明度信息间的差异不在预先设定的范围时，判断为作为判断对象的检测区域是与异物对应的部分。

在此，第一明度信息例如可以是检测区域中含有的像素的明度值V的平均值。此外，第二明度信息可以是检测区域的周边区域的像素的明度值V的平均值。例如，第二判断部3066在检测区域中含有的像素的明度值V的平均值V1小于检测区域的周边区域的像素的明度值V的平均值V2的0.975倍时，判断为作为判断对象的检测区域是异物映入的区域。这是因为，异物的映入对饱和度、色相几乎没有影响，但对明亮度强烈地留有信息。

进而，第二判断部3066除了利用了饱和度信息的判断之外，还可以利用与检测区域的色相对应的色相信息，判断该检测区域是否为映入到图像中的异物对应的部分。利用色相信息进行判断时，第二判断部3066能够利用由色相信息计算部3058算出的色相值H和色相平面，判断该检测区域是否为映入到图像中的异物对应的部分。

该实施方式的第二判断部3066例如研究与检测区域的色相对应的第一色相信息和与检测区域的周边区域的色相对应的第二色相信息之间的差异。第二判断部3066在第一色相信息和第二色相信息间的差异在预先设定的范围时，判断为作为判断对象的检测区域是与异物对应的部分。

在此，第一色相信息例如可以是检测区域中含有的像素的色相值H的平均值。此外，第二色相信息可以是检测区域的周边区域的像素的色相值H的平均值。例如，第二判断部3066在检测区域中含有的像素的色相值H的平均值H1为检测区域的周边区域的像素的色相值H的平均值H2的0.94～1.06倍时，判断为作为判断对象的检测区域是异物映入的区域。这是因为，不是污物而是作为被拍摄体拍摄到图像中的像，在色相信息中强烈地留有信息，相反，异物映入的像则对色相几乎不产生影响。

第三判断部3068在与检测区域的周边区域的明亮度对应的第二明度信息等不在预先设定的范围时，判断为作为判断对象的检测区域不是与异物对应的部分。此外，第三判断部3068在与检测区域的周边区域的明度对应的第二明度信息处于预先设定的范围时，判断为作为判断对象的检测区域是与异物对应的部分。作为第三判断部3068使用的明亮度信息，包括作为检测区域的周边区域的像素的明度值V的平均值的第二明度信息、作为检测区域的周边区域的像素的亮度值Y的平均值的第二亮度信息等。

例如，第三判断部3068在检测区域的周边区域中含有的像素的明度值V的平均值V2为60以下时，判断为上述检测区域不是与异物对应的部分。这是因为，在检测区域的周边区域的明亮度低于预定值时，即使检测区域中映入了异物，异物的映入对图像的影响也很小。

第四判断部3070在检测区域的周边区域的明亮度的标准偏差不在预先设定的范围时，判断为作为判断对象的检测区域不是与异物对应的部分。此外，第四判断部3070在检测区域的周边区域的明亮度的标准偏差处于预先设定的范围时，判断为作为判断对象的检测区域是与异物对应的部分。在此，作为检测区域的周边区域的明亮度的标准偏差，包括检测区域的周边区域的像素的明度值V的标准偏差、检测区域的周边区域的像素的亮度值Y的标准偏差。

例如，第四判断部3070根据检测区域的周边区域中含有的像素的明度值V(i，j)和检测区域的周边区域中含有的像素的明度值V(i，j)的平均值V2，利用以下的公式(22)计算检测区域的周边区域的明亮度的标准偏差Vstd。

公式(22)

$\mathrm{Vstd}=\sqrt{\frac{1}{n-1}\underset{1}{\overset{n}{\mathrm{\Σ}}}{(V(i,j)-V2)}^2}---\left(22\right)$

另外，公式(22)中的n是检测区域的周边区域中含有的像素数。在第四判断部3070中，用于判断检测区域中是否映入了异物的阈值根据拍摄图像的摄影条件而适当设定。例如，第四判断部3070在检测区域的周边区域中的明亮度的标准偏差Vstd为0.6以上时，可以判断为该检测区域不是与映入到图像中的异物对应的部分。这是因为，检测区域的周边区域的明亮度的标准偏差较大时，检测区域中的高明度梯度值或亮度梯度值很可能不是基于异物的映入，而是基于被拍摄体光。

第四判断部3070也可以根据检测区域的周边区域中含有的像素的亮度值Y来计算检测区域的周边区域的明亮度的标准偏差。第四判断部3070在利用根据亮度信息计算出的标准偏差时，也可以与根据明度信息计算出标准偏差时同样地判断作为判断对象的检测区域是否为与异物对应的部分。

如上所述，异物判断部3048中包含的第一～第四判断部3064～3070能够分别独立地判断作为判断对象的检测区域是否为映入到图像中的异物对应的部分。异物判断部3048可以将第一～第四判断部3064～3070的判断结果全部输出到检测修正部3044及异物图像校正部3050。此外，异物判断部3048也可以利用第一～第四判断部3064～3070的判断结果，综合判断在各检测区域中是否映入了异物，并将综合判断结果输出到检测修正部3044及异物图像校正部3050。

例如，异物判断部3048在第一～第四判断部3064～3070中一个以上判断为作为判断对象的检测区域不是与异物对应的部分时，进行作为判断对象的检测区域不是与异物对应的部分的综合判断。或者，异物判断部3048在第一～第四判断部3064～3070全部判断为作为判断对象的检测区域是与异物对应的部分时，进行作为判断对象的检测区域是与异物对应的部分的综合判断。

异物图像校正部3050利用异物判断部3048的判断结果、由信息计算部3046算出的数据，对与映入到拍摄图像中的异物对应的部分，进行减少异物的影响的校正。此外，异物图像校正部3050也可以取代异物判断部3048的判断结果，而根据作为由检测修正部3044修正了的判断结果的修正结果，进行从拍摄图像减少异物的影响的校正。

检测修正部3044可以根据经由操作信号输入部3032输入到运算部3038的操作信号，修正异物判断部3048的判断。例如，检测修正部3044根据操作信号而变更在异物判断部3048的第一～第四判断部3064～3070中使用的阈值中的至少一个。由此，检测修正部3044可以对检测区域是否为与异物对应的部分进行再判断，修正异物判断部3048的判断。

图22是表示检测修正部3044进行的判断的修正过程的概念图。在图22中与检测区域的大小和检测区域内外的明度比(第一明度信息和第二明度信息之比)相对应地绘制了由区域计算部3062算出的检测区域。图22中的圆圈3098及三角3096分别对应于一个检测区域。另外，圆圈3098对应于由检测修正部3044再判断为是与异物对应的部分的检测区域。此外，三角3096对应于由检测修正部3044再判断为不是与异物对应的部分的检测区域。

在图22所示的例子中，图19所示的检测修正部3044修正由第一判断部3064进行的判断(基于检测区域的大小的判断)和由第二判断部3066进行的判断(基于检测区域的明度和检测区域的周边区域的明度间的差异的判断)。检测修正部3044可以根据操作信号而变更关于检测区域的大小的阈值C1、关于检测区域内外的明度比的阈值C2。这是由于，关于检测区域的大小的阈值C1、关于检测区域内外的明度比的阈值C2对检测灵敏度具有很大影响。

在此，图22中用三角3096及圆圈3098表示的检测区域，认为越是朝向箭头3111所示的左上方向绘制的区域是与对拍摄图像带来更显著的影响的异物对应的部分。这是由于，越是检测区域大且相对于周边区域的明度的差异大(明度比(第一明度信息/第二明度信息)小)的检测区域越是容易显眼。反之，认为越是向箭头3113所示的右下方向绘制的检测区域，对拍摄图像的影响越小。这是由于，判断为异物的检测区域的大小越小、相对于周边区域的明度的差异越小，则越难以显眼。

图19所示的检测修正部3044可以通过根据来自输入部3032的操作信号向使图22所示的阈值C1增加的方向变化，而仅将大于阈值C1的检测区域再判断为与异物对应的部分，减少异物的误检测。反之，检测修正部3044可以通过根据来自输入部3032的操作信号向使图22所示的阈值C1减少的方向变化，而减少异物的检测遗漏。此外，检测修正部3044可以通过根据操作信号增减阈值C2，而与阈值C1的情况同样地调整检测灵敏度。

检测修正部3044可以使阈值C1和阈值C2的值独立地变化，也可以例如利用将阈值C1和阈值C2作为变量的预定的函数(一次函数等)，而按照一个参数使阈值C1和C2变化。检测修正部3044变更的阈值不限于关于检测区域的大小的阈值C1、关于检测区域内外的明度比的阈值C2。

例如，检测修正部3044变更的阈值可以是第二判断部3066的关于饱和度值S的阈值、第二判断部3066的关于亮度值Y的阈值、第二判断部3066的关于色相值H的阈值、第三判断部3068的关于周边区域的明度值V的阈值、第四判断部3070的关于周边区域的明亮度的标准偏差Vstd的阈值。此外，检测修正部3044也可以通过变更关于区域计算部3062的明度梯度值Vgrad(i，j)的阈值，而变更信息计算部3046及异物判断部3048的计算结果和判断结果。检测修正部3044变更这些阈值来修正异物判断部3048的判断结果。从而，该实施方式的图像处理装置可以进行与使用者的喜好对应的异物检测。

检测修正部3044也可以将异物判断部3048的判断结果、由检测修正部3044再判断为是与异物对应的部分的检测区域的位置，重叠在拍摄图像上并在显示部3036进行显示。从而，相机3010的使用者可以在视觉上识别图像处理装置的异物的检测灵敏度的同时，使检测修正部3044实施与喜好对应的判断修正。此外，也可以向检测修正部3044输入以下操作信号：使用者直接指定拍摄图像中的检测区域的位置，修正检测区域是否为与异物对应的部分的判断。从而，检测修正部3044可以进一步进行与使用者的喜好对应的判断修正。

此外，检测修正部3044也可以向存储部3030输出作为修正了的判断基准的修正判断基准、使检测修正部3044的判断与图22所示的检测区域的数据对应了的数据(异物映射图)。修正判断基准包括上述阈值C1和阈值C2的值。此外，使检测修正部3044的判断结果与检测区域的数据对应了的数据，包括图22所示的检测区域的分类、检测区域的大小或/和明度比的值、以及检测区域的位置。存储部3030可以存储由检测修正部3044修正了的修正判断基准、检测区域的数据，并根据需要输出到判断基准变更部3042。

判断基准变更部3042可以根据修正判断基准，变更作为异物判断部3048的第一～第四判断部3064～3068进行判断时的判断基准的初始判断基准。判断基准变更部3042可以变更异物判断部3048的初始判断基准以使其接近修正判断基准。

初始判断基准是在检测修正部3044的修正前与异物判断部3048进行的判断相关的判断基准。修正判断基准是在检测修正部3044的修正判断时使用的判断基准。因此，判断基准变更部3042可以使异物判断部3048的初始判断基准接近相机3010的使用者的喜好。从而，该实施方式的图像处理装置可以有效地进行与使用者的喜好对应的异物检测。另外，判断基准变更部3042也可以计算存储于存储部3030中的多个修正判断基准的平均值，根据修正判断基准的平均值来变更异物判断部3048的初始判断基准。

此外，判断基准变更部3042也可以利用经过对使检测修正部3044的判断结果与检测区域的数据对应的数据进行多次判断而累积的累积数据，变更异物判断部3048的初始判断基准。例如，判断基准变更部3042根据异物映射图的累积数据，计算判断为是与异物对应的部分的检测区域(图22的圆圈3098)的比例比判断为不是与异物对应的部分的检测区域(图22的三角3096)的比例大的范围。并且，判断基准变更部3042根据由异物映射图的累积数据计算出的范围，变更异物判断部3048的初始判断基准。从而，判断基准变更部3042可以使异物判断部3048的初始判断基准接近相机3010的使用者的喜好。

异物图像校正部3050根据异物判断部3048的判断、由检测修正部3044修正了的判断，对与映入到拍摄图像中的异物对应的部分，进行减少异物的影响的图像校正。该实施方式的异物图像校正部3050具有第一图像校正部3074、第二图像校正部3076和第三图像校正部3078。

第一图像校正部3074可以利用由明亮度信息计算部3054算出的明度信息，对与映入到拍摄图像中的异物对应的部分，进行减少该异物的影响的第一校正。第一图像校正部3074利用由明亮度信息计算部3054算出的各像素的明度值V和明度平面来进行第一图像校正。

第一图像校正部3074进行局部的明度值V的规格化(标准化)处理，对成为校正对象的检测区域，计算明度透过率信号VT(i，j)，生成对于成为校正对象的检测区域的明度透过率映射图(明度增益图)。在此，在第一图像校正部3074中成为校正对象的检测区域，是在异物判断部3048或检测修正部3044中判断为是与异物对应的部分的检测区域。

明度透过率信号VT(i，j)通过计算检测区域中的着眼像素(i，j)的明度值V(i，j)和包含着眼像素(i，j)的局部范围的明度值的平均值之间的相对比而算出。该实施方式的第一图像校正部3074可以通过以下的公式(23)计算明度透过率信号VT(i，j)。

公式(23)

$\mathrm{VT}(i,j)=\frac{V(i,j)}{\left({\mathrm{\Σ}}_{m=i-\mathrm{\α}}^{i+\mathrm{\α}}{\mathrm{\Σ}}_{m=j-\mathrm{\β}}^{j+\mathrm{\β}}V(i+m,j+n)\right)/(2\mathrm{\α}+1)(2\mathrm{\β}+1)}---\left(23\right)$

在公式(23)中，α和β相当于取局部平均的范围。α表示以着眼像素(i，j)为中心而左右扩展的像素数，β表示以着眼像素(i，j)为中心而上下扩展的像素数。在明度透过率信号VT(i，j)的计算中，取局部平均的范围可以设定为假定的异物映入区域的3倍左右，但并不特别限定。例如，第一图像校正部3074在明度透过率信号VT(i，j)的计算中，可以将像素数α和β的值设为α＝36～55、β＝36～55。

图21A、21B是用于说明在第一图像校正部3074中进行的明度透过率映射图的生成的概念图。图21A表示拍摄图像的明度平面中的左右方向的明度值V的变化。在图21A所示的明度平面(曲线)3081中，存在明度值V相对于周边部分较低、明度梯度值Vgrad(i，j)较大的下陷部3082、3084。在图21A中，成为第一图像校正部3074的校正对象的检测区域是与下陷部3082、3084对应的检测区域A和检测区域B。

图19所示的第一图像校正部3074对于图21A所示的明度平面(曲线)的检测区域A中含有的各像素、和检测区域B中含有的各像素，计算明度透过率信号VT(i，j)。图21B表示由图21A所示的明度平面(曲线)算出的明度透过率映射图。图21A所示的明度平面中的下陷部3082、3084通过局部的规格化处理而仅提取因异物引起的明度下降，在图21B所示的明度透过率映射图中，置换为明度透过率的下陷部3082a、3084a。由此，第一图像校正部3074对于判断为是与异物对应的部分的检测区域，生成明度透过率映射图。第一图像校正部3074也可以通过分别对各个检测区域生成增益图，而对各个检测区域分别独立地计算作为第一图像校正的校正量的第一校正量(明度增益)。

进而，第一图像校正部3074利用各检测区域的位置信息和各检测区域的明度透过率映射图，对于与映入到拍摄图像中的异物对应的部分，实施减少或除去异物的影响的第一图像校正。第一图像校正部3074在检测区域中含有的各像素的明度值V(i，j)上乘以明度透过率信号VT(i，j)的倒数，进行增益校正。即，第一图像校正部3074对与映入到拍摄图像中的异物对应的检测区域中含有的像素的明度值V进行增益校正，减少或除去因异物的映入而引起的明度的变化。例如，第一图像校正部3074利用以下的公式(24)计算校正了的明度值VC(i，j)。

公式(24)

VC(i，j)＝V(i，j)/VT(i，j)    …(24)

由此，第一图像校正部3074通过将检测区域的明度值V(i，j)置换为进行了上述增益校正的明度值VC(i，j)，而校正拍摄图像的明度平面。从而，第一图像校正部3074可以从拍摄图像减少或除去因异物的映入引起的明度的变化。

第二图像校正部3076可以利用由饱和度信息计算部3056算出的饱和度信息，对与映入到拍摄图像中的异物对应的部分，进行减少该异物的影响的第二图像校正。第二图像校正部3076利用由饱和度信息计算部3056算出的各像素的饱和度值S和饱和度平面，进行第二图像校正。

第二图像校正部3076与第一图像校正部3074同样地，进行局部的饱和度值S的规格化(标准化)处理，对成为校正对象的检测区域，计算饱和度透过率信号ST(i，j)，生成对于成为校正对象的检测区域的饱和度透过率映射图(饱和度增益图)。在第二图像校正部3076中成为校正对象的检测区域与第一图像校正部3074同样地，是在异物判断部3048或检测修正部3044中判断为是与异物对应的部分的检测区域。

饱和度透过率信号ST(i，j)的计算公式，可以使用将公式(23)中的明度透过率信号VT(i，j)和明度值V(i，j)置换为饱和度透过率信号ST(i，j)和饱和度值S(i，j)的公式。此外，第二图像校正部3076与第一图像校正部3074同样地，对于判断为是与异物对应的部分的检测区域，生成饱和度透过率映射图。第二图像校正部3076也可以通过分别对各个检测区域生成增益图，而对各个检测区域分别独立地计算作为第二图像校正的校正量的第二校正量(饱和度增益)。

第二图像校正部3076与第一图像校正部3074同样地，利用各检测区域的位置信息和各检测区域的饱和度透过率映射图，对于与映入到拍摄图像中的异物对应的部分，实施减少或除去异物的影响的第二图像校正。第二图像校正部3076在检测区域中含有的各像素的饱和度值S(i，j)上乘以饱和度透过率信号ST(i，j)的倒数，进行增益校正。例如，第二图像校正部3076利用以下的公式(25)来计算校正了的饱和度值SC(i，j)。

公式(25)

SC(i，j)＝S(i，j)/ST(i，j)    …(25)

由此，第二图像校正部3076通过将检测区域的饱和度值S(i，j)置换为进行了上述增益校正的饱和度值SC(i，j)，而校正拍摄图像的饱和度平面。从而，第二图像校正部3076可以从拍摄图像减少或除去因异物的映入引起的饱和度的变化。

第三图像校正部3078可以利用由色相信息计算部3058算出的色相信息，对与映入到拍摄图像中的异物对应的部分，进行减少该异物的影响的第三图像校正。第三图像校正部3078利用由色相信息计算部3058算出的各像素的色相值H和色相平面，进行第三图像校正。

第三图像校正部3078与第一图像校正部3074同样地，进行局部的色相值H的规格化(标准化)处理，对成为校正对象的检测区域，计算色相透过率信号HT(i，j)，生成对于成为校正对象的检测区域的色相透过率映射图(色相增益图)。在第三图像校正部3078中成为校正对象的检测区域与第一图像校正部3074同样地，是在异物判断部3048或检测修正部3044中判断为是与异物对应的部分的检测区域。

色相透过率信号HT(i，j)的计算公式，可以使用将公式(23)中的明度透过率信号VT(i，j)和明度值V(i，j)置换为色相透过率信号HT(i，j)和色相值H(i，j)的公式。此外，第三图像校正部3078与第一图像校正部3074同样地，对于判断为是与异物对应的部分的检测区域，生成色相透过率映射图。第三图像校正部3078也可以通过分别对各个检测区域生成增益图，而对各个检测区域分别独立地计算作为第三图像校正的校正量的第三校正量(色相增益)。

第三图像校正部3078与第一图像校正部3074同样地，利用各检测区域的位置信息和各检测区域的色相透过率映射图，对于与映入到拍摄图像中的异物对应的部分，实施减少或除去异物的影响的第三图像校正。第三图像校正部3078在检测区域中含有的各像素的色相值H(i，j)上乘以色相透过率信号HT(i，j)的倒数，进行增益校正。例如，第三图像校正部3078利用以下的公式(26)计算校正了的色相值HC(i，j)。

公式(26)

HC(i，j)＝H(i，j)/HT(i，j)    …(26)

由此，第三图像校正部3078通过将检测区域的色相值H(i，j)置换为进行了上述增益校正的色相值HC(i，j)，而校正拍摄图像的色相平面。从而，第三图像校正部3078可以从拍摄图像减少或除去因异物的映入引起的色相的变化。

异物图像校正部3050，在例如颜色校正判断部3052判断为当前要校正的拍摄图像是例如JPEG图像这样进行了非线形校正的图像的情况下，进行HSV校正以通过第一～第三图像校正部3074～3078进行的第一～第三图像校正来校正拍摄图像。

第一～第三图像校正部3074～3078进行的HSV校正，对拍摄图像进行HSV转换，分别针对明度平面、饱和度平面、色相平面单独地制作增益图，进行图像校正。因此，第一～第三图像校正部3074～3078进行的HSV校正，在拍摄图像的颜色进行了非线形校正时，也可以在与周边部分的色调保持高匹配性的同时校正因异物的映入引起的颜色的变化。

另外，异物图像校正部3050，例如在颜色校正判断部3052判断为当前要校正的拍摄图像例如为RAW图像这样没有进行非线形校正的图像时，可以进行一般的仅由亮度进行的校正(也可以是仅由明度进行的校正)。

一般的亮度校正例如如下进行。进行局部的亮度值Y的规格化(标准化)处理，对成为校正对象的检测区域，计算亮度透过率信号YT(i，j)，生成对于成为校正对象的检测区域的亮度透过率映射图(亮度增益图)。亮度透过率信号YT(i，j)的计算公式，可以使用将公式(23)中的明度透过率信号VT(i，j)和明度值V(i，j)置换为亮度透过率信号YT(i，j)和亮度值Y(i，j)的公式。

在检测区域中含有的各像素的R值R(i，j)、G值G(i，j)和B值B(i，j)上分别乘以亮度透过率信号YT(i，j)的倒数，进行增益校正。例如，利用以下的公式(27-1)～(27-3)计算校正了的R值RC(i，j)、G值GC(i，j)和B值BC(i，j)。

公式(27-1)～(27-3)

RC(i，j)＝R(i，j)/YT(i，j)    …(27-1)

GC(i，j)＝G(i，j)/YT(i，j)    …(27-2)

BC(i，j)＝B(i，j)/YT(i，j)    …(27-3)

由此，可以通过将检测区域中含有的RGB值置换为进行了上述增益校正的R值RC(i，j)、G值GC(i，j)和B值BC(i，j)(一般的亮度校正)，而校正拍摄图像。

另外，在一般的亮度校正中，如公式(27-1)～(27-3)所示，仅利用亮度的增益图(YT(i，j))进行校正。因此，对进行了非线形校正的图像进行一般的亮度校正后，有时校正后的像素中的RGB值(RC(i，j)、GC(i，j)、BC(i，j))中的某个会成为从周边部分的像素中的RGB值离开的值，而产生校正痕迹。

此外，这种问题在对成为校正对象的拍摄图像进行了很强的非线形校正时容易产生。并且对拍摄图像进行非线形校正的方式也存在按照相机等摄影装置的机种不同而不同的情况。与之相对，在该实施方式的HSV校正中，如公式(24)～(26)所示，分别生成明度增益图、饱和度增益图及色相增益图而进行校正，因此进行增益校正的像素被校正为接近周边部分的像素的颜色。此外，根据HSV校正，即使在作为校正对象的拍摄图像进行了非线形校正的情况下，也可以防止在校正后的拍摄图像中产生校正痕迹的问题，并且无论作为校正对象的图像的非线形校正的形式。即，例如对JPEG以外的非线形校正后的图像也可以期待该实施方式的效果。

另外，异物图像校正部3050进行的HSV校正，也可以通过组合由第一～第三图像校正部3074～3078校正了的明度平面、饱和度平面和色相平面，而生成校正后的拍摄图像，也可以省略第二图像校正部3076或第三图像校正部3078进行的图像校正。即，在异物图像校正部3050进行的HSV校正中，也可以不对饱和度平面或色相平面中的任一方进行增益校正，并使没有进行增益校正的饱和度平面或色相平面与校正后的明度平面等组合，生成校正后的拍摄图像。

在该实施方式中，通过在利用了第一图像校正部3074的基于明度的校正(也包括基于亮度的校正)上组合利用了第二图像校正部3076的基于饱和度的校正，与一般的仅亮度的校正相比，尤其是对进行了非线形校正的图像的异物除去校正的精度得以提高。此外，在该实施方式中，通过在利用了第一图像校正部3074的基于明度的校正(也包括基于亮度的校正)上组合利用了第三图像校正部3078的基于色相的校正，与一般的仅亮度的校正相比，尤其是对进行了非线形校正的图像的异物除去校正的精度得以提高。

另外，异物图像校正部3050在HSV校正中，也可以按照检测区域分别独立地计算第一～第三图像校正所涉及的校正量即第一～第三校正量。通过按照检测区域分别计算校正量，该实施方式的图像处理装置与针对拍摄图像整体计算校正量时相比可以抑制运算量。此外，在异物图像校正部3050的第一图像校正部中，当然也可以取代明度信息，而利用亮度信息进行图像校正。

颜色校正判断部3052判断作为在异物图像校正部2050中除去异物影响的校正的对象的拍摄图像，是否为对将由相机3010的光学系统3016得到的像光电转换而得到的拍摄图像进行了非线形校正后的图像。颜色校正判断部3052判断作为在异物图像校正部3050中除去异物影响的校正的对象的拍摄图像是否进行了非线形校正，并将判断结果输出到异物图像校正部3050。

异物图像校正部3050在通过颜色校正判断部3052判断为当前要校正的拍摄图像进行了非线形校正时，进行由第一～第三图像校正部3074～3078进行的上述HSV校正，由异物图像校正部3050进行减少异物的影响的校正。反之，异物图像校正部3050可以在通过颜色校正判断部3052判断为当前要校正的拍摄图像没有进行非线形校正时，不进行由第一～第三图像校正部3074～3078进行的图像校正，仅进行一般的亮度校正，由异物图像校正部3050进行减少异物的影响的校正。

此外，颜色校正判断部3052也可以判断作为在异物图像校正部3050中除去异物影响的校正的对象的拍摄图像所进行的非线形校正的强弱。颜色校正判断部3052判断作为在异物图像校正部3050中除去异物影响的校正的对象的拍摄图像所进行的非线形校正的强弱，并将判断结果输出到异物图像校正部3050。

此时，异物图像校正部3050在通过颜色校正判断部3052判断为当前要校正的拍摄图像进行了强的非线形校正时，进行由第一～第三图像校正部3074～3078进行的上述HSV校正，由异物图像校正部3050进行减少异物的影响的校正。反之，异物图像校正部3050可以在通过颜色校正判断部3052判断为当前要校正的拍摄图像进行了弱的非线形校正时，不进行由第一～第三图像校正部3074～3078进行的图像校正，仅进行一般的亮度校正，由异物图像校正部3050进行减少异物的影响的校正。

存储部3030用于存储由检测修正部3044修正了的修正判断基准、检测区域的数据、拍摄图像的摄影条件等。存储部3030由非易失性存储器等构成。操作信号输入部3032是用于输入与以下操作对应的操作信号的输入部：为了确定与映入到拍摄图像中的异物对应的部分而由使用者进行的操作。向操作信号输入部3032输入用于变更以下阈值的操作信号：关于检测区域的大小的阈值C1、关于检测区域的内外的明度比的阈值C2等，由异物判断部3048的第一～第四判断部3064～3070使用的阈值(判断基准)。

操作信号输入部3032例如包括在相机主体部3012(参照图18)设置的按钮、十字键、旋转式选择器等用于使用者向图像处理装置输入操作信号的用户接口。检测修正部3044可以根据经由操作信号输入部3032输入到运算部3038的操作信号，来修正异物判断部3048的判断。

向摄影条件信号输入部3034输入与在异物判断部3048中判断的拍摄图像、在异物图像校正部3050中进行图像校正的拍摄图像相关的摄影条件。向摄影条件信号输入部3034输入的摄影条件例如包括：拍摄了拍摄图像时的光圈值、摄影灵敏度、拍摄了拍摄图像时使用的光学系统的种类、焦距等。

检测修正部3044可以与经由摄影条件信号输入部3034输入的摄影条件相对应地，在存储部3030中存储作为修正了的判断基准的修正判断基准、关于图22所示的异物映射图的数据。此外，判断基准变更部3042可以根据与摄影条件对应的修正判断基准，按照各摄影条件分别变更作为异物判断部3048的第一～第四判断部3064～3070进行判断时的判断基准的初始判断基准。存在与使用者的喜好对应的异物检测灵敏度根据摄影条件而变化的情况，包括摄影条件信号输入部3034的图像处理装置可以使异物判断部3048的初始判断基准更接近相机3010的使用者的喜好。

此外，在位于光学滤波器3020的特定位置的异物持续附着的情况下，若摄影条件相同，则该异物持续映入到拍摄图像的确定的位置的可能性很高。因此，通过根据摄影条件保存与异物映射图相关的数据，该实施方式的图像处理装置可以容易地确定使用者关注的异物的映入位置。

显示部3036例如由设于相机主体部3012(参照图18)的液晶显示装置等构成。显示部3036可以将由检测修正部3044再判断为是与异物对应的部分的检测区域的位置重叠显示在拍摄图像上。

图20A和图20B是表示在图19所示的相机3010中进行的图像处理运算的一例的流程图。图20A表示图像处理运算的前半部分，图20B表示图像处理运算的后半部分。如图20A和图20B所示，图像处理运算包括：包含步骤S3003～步骤S3007的运算I；包含步骤S3008～步骤S3011的运算II；包含步骤S3012～步骤S3016的运算III；以及包含步骤S3017～步骤S3020的运算IV。

在运算I中，运算部3038进行以下运算：计算明亮度信息、饱和度信息等与拍摄图像的颜色相关的信息。在运算II中，运算部3038利用在运算I中算出的信息，计算异物映入的位置等与映入到拍摄图像中的异物相关的异物信息。此外，在运算II中，运算部3038利用在运算I中算出的信息，判断拍摄图像内的检测区域是否为与映入到拍摄图像内的异物对应的部分。

在运算III中，运算部3038进行以下运算：经由操作信号输入部2032输入使用者的操作信号，根据输入的操作信号来修正在运算II中进行的判断。在运算IV中，运算部3038在根据运算II或运算III中的判断结果确定了异物映入的检测区域的基础上，利用在运算II中算出的信息，对与映入到拍摄图像中的异物对应的部分进行减少异物影响的图像校正。在运算IV中，运算部3038利用在运算I中算出的明亮度信息进行减少异物影响的第一图像校正(第一图像校正部3074进行的图像校正)。进而，在运算IV中，利用在运算I中算出的饱和度信息进行减少异物影响的第二图像校正(第二图像校正部3076进行的图像校正)、利用在运算I中算出的色相信息进行减少异物影响的第三图像校正(第三图像校正部3078进行的图像校正)。

图19所示的相机3010所搭载的图像处理装置，如图20A所示在步骤S3001中开始一系列的图像处理运算。在步骤S3002中经由图像输入部3028将由摄影部3026拍摄到的拍摄图像输入到运算部3038。

图23以作为标号3000a所示的拍摄图像的一部分的拍摄图像3000b(标号3000b)为例，说明了在图19所示的相机3010中进行的图像处理运算。在图20A所示的步骤S3002中，将拍摄图像3000b输入到运算部3038。

在图20A所示的步骤S3003～步骤S3007中，图19所示的运算部3038中的信息计算部3046计算与拍摄图像的颜色相关的信息。在步骤S3003中，信息计算部3046的明亮度信息计算部3054计算与拍摄图像的明亮度对应的明亮度信息。明亮度信息计算部3054可以计算拍摄图像的亮度平面，也可以计算拍摄图像的明度平面，而在图20A所示的步骤S3003中，明亮度信息计算部3054利用上述公式(19-1)和(19-6)计算明度平面。

在步骤S3004中，信息计算部3046的饱和度信息计算部3056利用上述公式(19-2)、(19-6)和(19-7)计算饱和度平面。此外，在步骤S3005中，利用上述公式(19-3)～(19-5)和(19-6)～(19-10)计算色相平面。

如图23所示，在步骤S3003中从拍摄图像3000b计算拍摄图像3000b的明度平面3000d(标号3000d)。此外，在步骤S3004中从拍摄图像3000b计算拍摄图像3000b的饱和度平面(未图示)。进而，在步骤S3005中从拍摄图像3000b计算拍摄图像3000b的色相平面3000c。

在图20A所示的步骤S3006中，信息计算部3046的明亮度梯度信息计算部3060计算与拍摄图像的明亮度的梯度对应的明亮度梯度信息。明亮度梯度信息计算部3060可以计算拍摄图像的亮度梯度平面，也可以计算拍摄图像的明度梯度平面，而在图20A所示的步骤S3006中，明亮度梯度信息计算部3060利用在步骤S3003中算出的明度平面的数据和上述公式(21)，计算明度梯度平面。

在图20A所示的步骤S3007中，信息计算部3046的区域计算部3062计算检测区域。区域计算部3062利用由明亮度梯度计算部3060算出的明度梯度平面，计算二值化图像，而计算检测区域。区域计算部3062将连接了具有高于阈值的明度梯度值的像素而成的区域确定为一个检测区域。

如图23所示，在步骤S3006中，根据拍摄图像3000b的明度平面3000d(标号3000d)计算拍摄图像3000b的明度梯度平面3000e(标号3000e)。此外，在步骤S3007中，根据明度梯度平面3000e计算二值化图像3000f(标号3000f)。

在图20A所示的步骤S3008～步骤S3011中，图19所示的运算部3038中的异物判断部3048利用由信息计算部3046算出的信息，对于由区域计算部3062确定的各检测区域，判断该检测区域是否为与异物对应的部分。

在图20A所示的步骤S3008中，异物判断部3048的第一判断部3064根据作为判断对象的检测区域的大小，判断该检测区域是否为与映入到图像中的异物对应的部分。第一判断部3064可以利用二值化图像3000f，根据检测区域中含有的像素的数量等来计算检测区域的大小。此外，第一判断部3064在根据二值化图像3000f算出的检测区域的大小不在预定的范围内时，判断为作为判断对象的检测区域不是与异物对应的部分。

在图20A所示的步骤S3009中，异物判断部3048的第二判断部3066利用与检测区域的饱和度对应饱和度信息、与检测区域的色相对应的色相信息、以及与检测区域的明度对应的明度信息，判断该检测区域是否为与映入到图像中的异物对应的部分。

在步骤S3009中，第二判断部3066首先利用由明亮度信息计算部3054算出的明度平面，研究与检测区域的明度对应的第一明度信息和与检测区域的周边区域的明度对应的第二明度信息之间的差异。在步骤S3009中，第二判断部3066将检测区域中含有的像素的明度值V的平均值作为第一明度信息，将检测区域的周边区域中含有的像素的明度值V的平均值作为第二明度信息。第二判断部3066在第一明度信息和第二明度信息之比不在预先设定的范围内时，判断为作为判断对象的检测区域不是与异物对应的部分。

然后，第二判断部3066利用由饱和度信息计算部3056算出的饱和度平面，研究与检测区域的饱和度对应的第一饱和度信息和与检测区域的周边区域的饱和度对应的第二饱和度信息之间的差异。在步骤S3009中，第二判断部3066将检测区域中含有的像素的饱和度值S的平均值作为第一饱和度信息，将检测区域的周边区域中含有的像素的饱和度值S的平均值作为第二饱和度信息。第二判断部3066在第一饱和度信息和第二饱和度信息之比不在预先设定的范围内时，判断为作为判断对象的检测区域不是与异物对应的部分。

进而，第二判断部3066利用由色相信息计算部3058算出的色相平面，研究与检测区域的色相对应的第一色相信息和与检测区域的周边区域的色相对应的第二色相信息之间的差异。在步骤S3009中，第二判断部3066将检测区域中含有的像素的色相值H的平均值作为第一色相信息，将检测区域的周边区域中含有的像素的色相值H的平均值作为第二色相信息。第二判断部3066在第一色相信息和第二色相信息之比不在预先设定的范围内时，判断为作为判断对象的检测区域不是与异物对应的部分。

在图20A所示的步骤S3010中，异物判断部3048的第三判断部3068利用与检测区域的周边区域的明亮度对应的信息，判断该检测区域是否为与映入到图像中的异物对应的部分。第三判断部3068利用由明亮度信息计算部3054算出的明度平面，计算与检测区域的周边区域的明度对应的第二明度信息。第三判断部3068与第二判断部3066同样地将检测区域的周边区域中含有的像素的明度值V的平均值作为第二明度信息。第三判断部3068在第二明度信息不在预先设定的范围时，判断为作为判断对象的检测区域不是与异物对应的部分。

在图20A所示的步骤S3011中，异物判断部3048的第四判断部3070根据检测区域的周边区域的明亮度的标准偏差，判断该检测区域是否为与映入到图像中的异物对应的部分。第四判断部3070利用由明亮度信息计算部3054算出的明度平面和上述公式(22)，计算检测区域的周边区域的明度的标准偏差。第四判断部3070在检测区域的周边区域的明亮度的标准偏差不在预先设定的范围时，判断为作为判断对象的检测区域不是与异物对应的部分。

如图23所示，在步骤S3008～步骤S3012中，从二值化图像3000f中，排除标号3000g所示的二值化图像3000g这样不与异物对应的检测区域，而仅提取异物映入的检测区域。

另外，与图20A的步骤S3008～步骤S3011对应的判断，可以对拍摄图像3000b包含的所有的检测区域进行，而与步骤S3009～步骤S3011对应的判断也可以仅对在之前的步骤S3009～步骤S3011中没有判断为不是与异物对应的部分的区域进行。异物判断部3048仅将在步骤S3008～步骤S3011中均没有判断为不是与异物对应的部分的检测区域，判断为是与异物对应的部分。

此外，异物判断部3048也可以在对一个检测区域按照步骤S3008～步骤S3011的顺序进行了判断后，再对另一个检测区域按照步骤S3008～步骤S3011的顺序进行判断。此时，关于一个检测区域的判断，可以在步骤S3008～步骤S3011所包含的任一个步骤中判断为作为判断对象的检测区域不是与异物对应的部分的时刻跳过对该检测区域的剩下的判断(步骤)，开始进行对另一个检测区域的判断。此时，异物判断部3048将在步骤S3011中作为判断对象的检测区域、且在步骤S3011中没有判断为不是与异物对应的部分的检测区域，判断为是与异物对应的部分。异物判断部3048可以跳过与步骤S3009～步骤S3011对应的判断，从而图像处理装置可以减轻异物判断部3048的运算量。

运算部3038在结束了包括图20A的步骤S3007～步骤S3011的运算II后，执行包括图20B的步骤S3012～步骤S3016的运算III。另外，运算部3038也可以根据使用者的设定等，在结束了包括图20A的步骤S3007～步骤S3011的运算II后不进行运算III，而执行包括图20B的步骤S3017～步骤S3020的运算IV。

在图20B所示的步骤S3012～步骤S3016中，运算部3038的修正判断部3044等进行以下运算：经由操作信号输入部3032输入使用者的操作信号，根据输入的操作信号修正在步骤S3008～步骤S3011中进行的判断。

在图20B所示的步骤S3012中，检测修正部3044在显示部3036上与拍摄图像重叠地显示异物判断部3048的判断结果。如图23中标号3000h所示的图像那样，显示部3036接受来自检测修正部3044的指示，将在异物判断部3048中判断为是与异物对应的部分的检测区域，与拍摄图像3000b重叠并与其他的检测区域区分地进行显示。在标号3000h所示的图像中，仅将由区域计算部3062提取出的检测区域中、在异物判断部3048中判断为是与异物对应的部分的检测区域的位置，利用三角形的图形显示。

在图20B所示的步骤S3013中，经由操作信号输入部3032将用于修正在异物判断部3048中进行的判断的操作信号输入到运算部3038的检测修正部3044。在步骤S3013中，使用者可以在确认显示部3036上显示的判断结果的同时，对操作信号输入部3032中包含的用户接口进行操作，输入用于修正在异物判断部3048中进行的判断的操作信号。

使用者在认为异物判断部3048的判断中异物的检测灵敏度过低时，输入用于变更判定中使用的阈值的操作信号，以便以比在异物判断部3048中进行的判断更高的检测灵敏度进行再判断。例如，使用者输入以下操作信号：变更成减少关于检测区域的大小的阈值C1(参照图23)的操作信号；变更成增加(接近1)关于检测区域内外的明度比的阈值C2(参照图23)的操作信号。

反之，使用者在认为异物判断部3048的判断中异物的检测灵敏度过高时，输入用于变更判定中使用的阈值的操作信号，以便以比在异物判断部3048中进行的判断更低的检测灵敏度进行再判断。例如，使用者输入以下操作信号：变更成增加关于检测区域的大小的阈值C1(参照图23)的操作信号；变更成减少(接近0)关于检测区域内外的明度比的阈值C2(参照图23)的操作信号。

在图20B所示的步骤S3014中，检测修正部3044根据经由操作信号输入部3032输入到运算部3038中的操作信号，变更在异物判断部3048的判断中所使用的阈值，进行检测区域是否为与异物对应的部分的再判断。即，在步骤S3014中，检测修正部3044利用对应于操作信号而变更的阈值，修正在异物判断部3048中的第一～第四判断部3064～3070中进行的判断。

例如，在步骤S3013中输入了用于使关于检测区域的大小的阈值C 1(参照图23)减少的操作信号时，检测修正部3044如下修正异物判断部3048的判断。即，检测修正部3044在根据操作信号而减少了第一判断部3064的阈值C1的基础上，使异物判断部3048再计算包括步骤S3008～步骤S3011的运算II。检测修正部3044将通过再计算而判断为是与异物对应的部分的检测区域，认定是再判断为与异物对应的部分的检测区域。

在图20B所示的步骤S3015中，检测修正部3044更新显示部3036的显示。即，显示部3036根据由检测修正部3044修正了的判断，将在步骤S3014中再判断为是与异物对应的部分的检测区域重叠在拍摄图像上显示。

使用者确认在步骤S3015中更新了的显示部3036的显示，在认为由检测修正部3044再判断了的检测结果适当时，将用于结束检测区域的再判断的操作信号输入到相机3010。此时，检测修正部3044进行步骤S3016的处理。此外，使用者在认为由检测修正部3044再判断了的检测结果不适当时，对检测修正部3044输入用于重新进行检测区域的再判断的操作信号。此时，检测修正部3044重新进行步骤S3013～步骤S3015涉及的处理。

在图20B的步骤S3016中，检测修正部3044将再判断时的阈值、在再判断中判断为是与异物对应的部分的检测区域的位置等输出到存储部3030中。存储部3030存储再判断时的阈值、判断为是与异物对应的部分的检测区域的位置等数据，并可以根据需要对判断基准变更部3042输出存储的数据。

在图20B所示的步骤S3017～步骤S3020中，运算部3038的异物图像校正部3050利用由明亮度信息计算部3054算出的信息，对由检测修正部3044判断为是与异物对应的部分的检测区域，进行从拍摄图像减少异物影响的图像校正。

在步骤S3017中，异物图像检测部3050将由检测修正部3044判断为是与异物对应的部分的检测区域，确定为用于从拍摄图像减少异物影响的图像校正的对象区域。在步骤S3018中，颜色校正判断部3052判断当前要校正的拍摄图像是否由图像转换部3015等进行了非线形校正。

在步骤S3018中判断为拍摄图像进行了非线形校正时，在步骤S3019和步骤S3020中进行由异物图像校正部3050的第一～第三图像校正部3074～3078进行的图像校正。此时，在步骤S3019中，异物图像图像校正部3050的第一～第三图像校正部3074～3078，利用由明亮度信息计算部3054算出的明度信息、由饱和度信息计算部3056算出的饱和度信息和由色相信息计算部3058算出的色相信息，对图像校正的对象区域生成增益图。异物图像校正部3050的第一～第三图像校正部3074～3078利用由信息计算部3046算出的信息和上述公式(23)，生成明度透过率映射图、饱和度透过率映射图和色相透过率映射图。

在步骤S3020中，异物图像校正部3050的第一～第三图像校正部3074～3078利用明度透过率映射图、饱和度透过率映射图、色相透过率映射图以及上述公式(24)～(26)，进行拍摄图像的明度平面、饱和度平面和色相平面的增益校正。进而，异物图像校正部3050通过组合由第一～第三图像校正部3074～3078进行了增益校正的明度平面、饱和度平面和色相平面，生成校正后的拍摄图像。

在步骤S3018中判断为拍摄图像没有进行非线形校正时，可以在步骤S3019和步骤S3020中进行一般的仅由亮度进行的校正。

在步骤S3021中，进行了步骤S3020中生成的校正后的拍摄图像的保存处理后，结束一系列的图像处理运算。

如上所述，该实施方式的图像处理装置具有异物判断部3048，其利用检测区域的明亮度信息和检测区域的饱和度信息，判断检测区域是否为与映入到拍摄图像中的异物对应的部分。异物判断部3048不仅利用检测区域的明亮度信息，还利用饱和度信息来判断检测区域，因此可以正确地判断在检测区域中是否映入了异物。这是由于，映入到拍摄图像中的异物具有对饱和度及色相几乎没有影响、但对明亮度产生强烈影响的特征。此外，为了从拍摄图像中检测因异物的映入引起的颜色变化，通过组合饱和度信息和明亮度信息进行判断会更为有效。

另外，除了检测区域的明亮度信息和检测区域的饱和度信息之外，还利用检测区域的色相信息来判断检测区域，从而该实施方式的图像处理装置能够更为正确地判断检测区域中是否映入了异物。此外，通过利用检测区域的周边区域的明亮度的信息、检测区域的周边区域的明亮度的标准偏差来进行判断，该实施方式的图像处理装置能够更为正确地判断检测区域中是否映入了异物。这是由于，在拍摄图像中的暗部、明度的不均大的部分，容易误将被拍摄体边沿误检测为因异物的进入而产生的边沿。此外，在这些区域中，即使存在因异物的进入而产生的边沿，也难以明显看出。此外，该实施方式的图像形成装置通过在进行了基于明亮度信息的判断后，进行基于饱和度信息或色相信息的判断，可以利用饱和度信息或色相信息来补足或验证基于明亮度信息的判断。

该实施方式的图像处理装置具有检测修正部3044，其根据使用者的操作信号来修正异物判断部3048的判断。因此，该实施方式的图像处理装置能够以适于使用者的喜好的检测水平，检测映入到拍摄图像中的异物。此外，具有用于显示检测修正部3044修正前后的检测结果的显示部3036，因此通过使用者在确认显示部3036的显示的同时调整检测水平，能够防止异物的误检测、检测遗漏。

此外，该实施方式的图像处理装置具有判断基准变更部3042，其根据检测修正部3044的修正判断基准，变更作为异物判断部3048的第一～第四判断部3064～3070进行判断时的判断基准的初始判断基准。判断基准变更部3042可以使异物判断部3048的初始判断基准接近相机3010的使用者的喜好，因此该实施方式的图像处理装置能够有效地进行对应于使用者的喜好的异物检测。另外，检测修正部3044可以修正区域计算部3062生成二值化图像时的阈值，判断基准变更部3042可以变更区域计算部3062生成二值化图像时的阈值。通过修正区域计算部3062生成二值化图像时的阈值或反馈该阈值，该实施方式的图像处理装置能够使异物检测灵敏度适当。

该实施方式的图像处理装置具有异物图像校正部3050，其通过在基于明度增益图的增益校正之外增加基于饱和度增益图的增益校正及/或基于色相增益图的增益校正，进行用于减少映入到拍摄图像中的异物的影响的图像校正。因此，该实施方式的图像处理装置即使在作为校正对象的拍摄图像进行了非线形校正的情况下，也能够在保持与周边部分的色调的高匹配性的同时校正因异物的映入引起的颜色的变化。此外，该实施方式的图像处理装置，即使在作为校正对象的拍摄图像进行了非线形校正时，也能够防止在校正后的拍摄图像中产生校正痕迹的问题。

另外，在上述实施方式中，以搭载有图像处理装置的相机3010为例说明了摄像装置，但具有图像处理装置的摄影装置不限于静态照相机，还包括摄像机、移动电话等。此外，用于执行上述图像处理的程序，不限于静态照相机、摄像机、移动电话中搭载的计算机执行的程序，还包括可以进行其他图像处理的计算机执行的程序。

以下参照附图详细说明本发明的第六实施方式。

图24是包括该实施方式的图像处理装置的个人电脑等计算机3120的框图。计算机3120不含图19所示的摄像部3026、操作信号输入部3032、摄影条件信号输入部3023和图像转换部3115，作为其替代而如图24所示包括I/F(接口)3122和操作信号输入部3124。图24所示的计算机3120，关于图19所示的摄像部3026等以外的部分，具有与图19所示的相机3010相同的结构，因此关于与图19所示的相机3010相同的结构，标以与图19相同的标号而省略说明。

计算机3120具有用于与存储卡、相机、移动电话等连接的I/F3122。从I/F3122、内置于计算机3120中的存储部3030，向计算机3120的图像输入部3028输入拍摄图像。图24所示的运算部3038与图19所示的相机3010的运算部3038同样地，对经由图像输入部3028输入的拍摄图像进行图像处理。另外，可以经由I/F3122等与拍摄图像一起将摄影条件等输入到运算部3038。运算部3038可以是构成处于其内部的信息计算部3046、异物判断部3048和异物图像校正部3050等的专用电路，但优选由存储有用于实现这些功能的程序的存储单元和执行存储于该存储单元中的程序的中央信息处理装置(CPU)构成。

操作信号输入部3124与第五实施方式的操作信号输入部3032同样，是用于输入与以下操作对应的操作信号的输入部：为了确定与映入到拍摄图像中的异物对应的部分而由使用者进行的操作。作为操作信号输入部3124例如包括键盘、鼠标、触摸板等，但并不特别限定。

计算机3120的运算部3038对于经由图像输入部3028输入的拍摄图像，可以与第五实施方式的运算部2028同样地进行映入到拍摄图像中的异物的检测、用于减少映入到拍摄图像中的异物的影响的图像校正。因此，该计算机3020中含有的图像处理装置也起到与第五实施方式的相机3010所搭载的图像处理装置同样的效果。

以上，说明了本发明的优选实施方式，但本发明不限于这些实施方式。可以在不脱离本发明的主旨的范围内进行结构的附加、省略、置换及其他变更。本发明不由上述说明限定，而仅由权利要求书限定。

Claims (31)

1.一种图像处理装置，其特征在于，包括：

亮度梯度计算部，用于根据图像信息计算图像内的亮度梯度；

色相值计算部，用于计算表示根据由上述亮度梯度计算部算出的上述亮度梯度而设定的候补区域的内侧的色相的第一色相值和表示上述候补区域的周边的色相的第二色相值；以及

区域提取部，用于从上述候补区域中提取上述第一色相值和上述第二色相值之差在预先设定的阈值以下的区域。

2.根据权利要求1所述的图像处理装置，其中，

上述亮度梯度计算部根据进行了逆伽马校正的上述图像信息来计算上述亮度梯度。

3.根据权利要求1所述的图像处理装置，其中，

上述区域提取部进行上述候补区域的大小是否在预先设定的阈值以上的判断，并根据该判断结果来提取上述区域。

4.根据权利要求1所述的图像处理装置，其中，

还包括用于计算上述图像内的明亮度的程度的明亮度计算部，

上述区域提取部根据以下判断中的至少一个来提取上述区域：上述候补区域的周边区域的明亮度值是否在预先设定的阈值以上；上述候补区域的周边的明亮度值的变化量是否在预先设定的阈值以下；以及上述候补区域的明亮度值和该候补区域的周边区域的明亮度值之比是否在预先设定的阈值以下。

5.根据权利要求1所述的图像处理装置，其中，还包括：

明亮度计算部，用于计算表示图像内的各部分的明亮度的第一明亮度值和表示上述各部分的周边的明亮度的第二明亮度值；以及

区域提取部，将由上述第一明亮度值和上述第二明亮度值之差在预先设定的阈值以上且上述第一色相值和上述第二色相值之差不在预先设定的阈值以上的上述部分构成的区域提取出来。

6.根据权利要求5所述的图像处理装置，其中，

还包括标准偏差计算部，其对上述图像中包含的像素，计算该像素的明亮度值和该像素的周边部分的明亮度值的标准偏差，

上述区域提取部进一步以由上述标准偏差计算部算出的上述标准偏差在预先设定的阈值以上为条件，提取满足该条件的上述区域。

7.根据权利要求5所述的图像处理装置，其中，

上述区域提取部判断提取出的上述区域中含有的像素的像素数是否在预先设定的像素数的范围内，并进一步以判断为在该范围内为条件，提取满足该条件的上述区域。

8.根据权利要求5所述的图像处理装置，其中，

上述区域提取部进一步以提取出的上述区域的周边区域的明亮度值在预先设定的阈值以上为条件，提取满足该条件的上述区域。

9.根据权利要求5所述的图像处理装置，其中，

上述区域提取部进一步以提取出的上述区域的周边区域的明亮度的标准偏差在预先设定的阈值以下为条件，提取满足该条件的上述区域。

10.根据权利要求5所述的图像处理装置，其中，

上述区域提取部进一步以提取出的上述区域的明亮度值和该区域的周边区域的明亮度值之比在预先设定的阈值以下为条件，提取满足该条件的上述区域。

11.一种图像处理装置，其特征在于，包括：

图像输入部，用于输入拍摄图像；以及

判断部，利用与上述拍摄图像内的检测区域的明亮度对应的明亮度信息以及与上述检测区域的饱和度对应的饱和度信息，判断上述检测区域是否为与映入到上述拍摄图像中的异物对应的部分，

上述判断部在利用上述明亮度信息判断了上述检测区域是否为与上述异物对应的部分后，利用上述饱和度信息判断上述检测区域是否为与上述异物对应的部分。

12.根据权利要求11所述的图像处理装置，其中，

上述判断部在与上述检测区域的饱和度对应的第一饱和度信息和与上述检测区域的周边区域的饱和度对应的第二饱和度信息之间的差异在预先设定的范围时，判断为上述检测区域是与上述异物对应的部分。

13.根据权利要求11所述的图像处理装置，其中，

上述判断部在与上述检测区域的饱和度对应的第一饱和度信息和与上述检测区域的周边区域的饱和度对应的第二饱和度信息之间的差异不在预先设定的范围时，判断为上述检测区域不是与上述异物对应的部分。

14.根据权利要求11所述的图像处理装置，其中，

上述判断部利用上述检测区域的明亮度和上述检测区域的周边区域的明亮度的梯度，判断上述检测区域是否为与上述异物对应的部分。

15.根据权利要求11所述的图像处理装置，其中，

上述判断部利用与上述检测区域的饱和度对应的第一饱和度信息和与上述检测区域的周边区域的饱和度对应的第二饱和度信息之比，判断上述检测区域是否为与上述异物对应的部分。

16.根据权利要求11所述的图像处理装置，其中，

上述判断部在与上述检测区域的周边区域的明亮度对应的第二明亮度信息不在预先设定的范围时，判断为上述检测区域不是与上述异物对应的部分。

17.根据权利要求11所述的图像处理装置，其中，

上述判断部在上述检测区域的周边区域的明亮度的标准偏差不在预先设定的范围时，判断上述检测区域不是与上述异物对应的部分。

18.一种图像处理程序，用于使计算机执行以下步骤：

计算表示图像内的各部分的明亮度的第一明亮度值和表示上述各部分的周边的明亮度的第二明亮度值；

计算表示上述区域内的色相的第一色相值和表示上述区域的周边的色相的第二色相值；以及

将由上述第一明亮度值和上述第二明亮度值之差在预先设定的阈值以上且上述第一色相值和上述第二色相值之差不在预先设定的阈值以上的上述各部分构成的区域提取出来。

19.一种摄像装置，其特征在于，包括：

摄像部，用于拍摄图像；

明亮度计算部，用于计算表示由上述摄像部拍摄的上述图像内的各部分的明亮度的第一明亮度值和表示上述各部分的周边的明亮度的第二明亮度值；

色相值计算部，用于计算表示上述各部分的色相的第一色相值和表示上述各部分的周边的色相的第二色相值；以及

区域提取部，将由上述第一明亮度值和上述第二明亮度值之差在预先设定的阈值以上且上述第一色相值和上述第二色相值之差不在预先设定的阈值以上的上述各部分构成的区域提取出来。

20.一种图像处理程序，用于使计算机执行以下步骤：

根据图像信息计算图像内的亮度梯度；

计算表示根据算出的上述亮度梯度而设定的候补区域的内侧的色相的第一色相值和表示上述候补区域的周边的色相的第二色相值；以及

从上述候补区域中提取上述第一色相值和上述第二色相值之差在预先设定的阈值以下的区域。

21.一种摄像装置，其特征在于，包括：

摄像部，用于拍摄图像而生成图像信息；

亮度梯度计算部，用于根据上述图像信息计算上述图像内的亮度梯度；

色相值计算部，用于计算表示根据由上述亮度梯度计算部算出的上述亮度梯度而设定的候补区域的内侧的色相的第一色相值和表示上述候补区域的周边的色相的第二色相值；以及

区域提取部，用于从上述候补区域中提取上述第一色相值和上述第二色相值之差在预先设定的阈值以下的区域。

22.一种程序，用于使计算机执行以下步骤：

输入拍摄图像；

计算上述拍摄图像的明亮度信息；

计算上述拍摄图像的饱和度信息；以及

利用上述明亮度信息和上述饱和度信息，检测与映入到上述图像中的异物相关的异物信息。

23.一种程序，用于使计算机执行以下步骤：

输入拍摄图像；以及

利用与上述拍摄图像内的检测区域的明亮度对应的明亮度信息以及与上述检测区域的饱和度对应的饱和度信息，判断上述检测区域是否为与映入到上述拍摄图像中的异物对应的部分。

24.一种图像处理装置，其特征在于，包括：

图像输入部，用于输入图像；以及

校正部，利用与上述图像的明亮度对应的明亮度信息，对与映入到上述图像中的异物对应的部分进行用于减少上述异物的影响的第一校正，利用与上述图像的饱和度对应的饱和度信息以及与上述图像的色相对应的色相信息中的至少一个，对与映入到上述图像中的异物对应的部分进行用于减少上述异物的影响的第二校正。

25.根据权利要求24所述的图像处理装置，其中，

上述图像是对将由光学系统得到的像光电转换而得到的拍摄图像进行了非线形校正的图像。

26.根据权利要求24所述的图像处理装置，其中，

还包括判断部，用于判断上述图像是否进行了非线形校正，

上述校正部在由上述判断部判断为上述图像是进行了非线形校正的图像时，进行上述第一校正及上述第二校正。

27.根据权利要求26所述的图像处理装置，其中，

上述校正部在由上述判断部判断为上述图像不是进行了非线形校正的图像时，不进行上述第二校正。

28.根据权利要求24所述的图像处理装置，其中，

还包括判断部，用于判断对上述图像进行的非线形校正的强弱，

上述校正部，在由上述判断部判断为上述图像是进行了强的非线形校正的图像时，进行上述第一校正及上述第二校正；在由上述判断部判断为上述图像是进行了弱的非线形校正的图像时，不进行上述第二校正。

29.根据权利要求24所述的图像处理装置，其中，

上述校正部，对于与映入到上述图像中的多个异物对应的多个部分，分别对该多个部分独立地计算作为上述第一校正的校正量的第一校正量以及作为上述第二校正的校正量的第二校正量，并根据上述第一校正量和上述第二校正量来进行上述第一校正和上述第二校正。

30.一种摄影装置，其特征在于，包括：

摄影部，对由光学系统得到的像进行拍摄并输出拍摄图像；

图像转换部，输出对上述拍摄图像进行了非线形校正的图像；和

校正部，利用与上述图像的明亮度对应的明亮度信息，对与映入到上述图像中的异物对应的部分进行用于减少上述异物的影响的第一校正，利用与上述图像的饱和度对应的饱和度信息以及与上述图像的色相对应的色相信息中的至少一个，对与映入到上述图像中的异物对应的部分进行用于减少上述异物的影响的第二校正。

31.一种程序，用于使计算机执行以下步骤：

输入图像；以及

利用与图像的明亮度对应的明亮度信息，对与映入到上述图像中的异物对应的部分进行用于减少异物的影响的第一校正，利用与上述图像的饱和度对应的饱和度信息以及与上述图像的色相对应的色相信息中的至少一个，对与映入到上述图像中的异物对应的部分进行用于减少异物的影响的第二校正。

Images