CN101001319B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备和图像处理方法。图像处理设备包括：信息提取单元，用于提取异物信息和镜头信息，异物信息是异物在图像拍摄装置的图像感测面中的位置和大小的信息且与拍摄图像数据相关联地被记录，镜头信息是获得拍摄图像数据时使用的镜头的镜头信息且与拍摄图像数据相关联地被记录；转换单元，用于基于由信息提取单元提取的镜头信息将由信息提取单元提取的异物信息转换为第二形式的异物信息；以及插值单元，用于基于第二形式的异物信息对与拍摄图像数据中的异物相对应的像素进行插值。

Description

图像处理设备和图像处理方法

技术领域

本发明主要涉及一种图像处理设备和图像处理方法，尤其涉及一种用于抑制由附着到例如使用CCD或CMOS传感器等图像传感器的图像拍摄设备中的光学低通滤波器的表面的异物所引起的图像质量劣化的技术。 

背景技术

近年来，市场上出现了许多通过使用CCD等图像传感器来产生图像信号并将该图像信号作为数据进行记录的图像拍摄设备，包括数字照相机和数字摄像机。数字照相机不需要传统上用作记录介质的感光胶片，而是将图像数据记录在半导体存储卡或硬盘装置等数据记录介质上。与胶片不同，这种数据记录介质允许重复写入和擦除，并且由于相关消耗品成本大大降低而非常方便。 

数字照相机通常具有能够根据需要显示拍摄图像的LCD(液晶显示器，Liquid Crystal Display)监视装置和可拆卸的大容量存储装置。 

使用具有这两种装置的数字照相机可以拍摄图像而不使用传统上作为消耗性记录介质的胶片，可以在LCD监视装置上显示拍摄图像，可以立即确认拍摄图像的内容。根据需要可以当场擦除不想要的图像数据或拍摄另一个图像。与卤化银照相机相比，记录效率高出许多。 

由于数字照相机的方便性以及技术的创新，例如增加了图像传感器的像素数量，因此数字照相机的使用范围正在拓宽。近来具有单镜头反射式照相机的可互换镜头等可互换镜头的数字照相机的数量也在增加。 

然而，在数字照相机中，有时灰尘或脏物等异物(以下简称为灰尘)附着到例如图像传感器、固定在图像传感器上的图像传感器保护玻璃的表面或光学滤波器或光学系统上(以下称为图像传感器/光学系统组件)。如果灰尘附着到图像传感器/光学系统组件上，则该灰尘遮住光而阻挡该部分的图像拍摄，降低了拍摄图像的质量。 

不只数字照相机，使用卤化银胶片的照相机也存在胶片上拍摄到灰尘的问题。然而，因为胶片随每帧移动，所以很少在全部帧上都拍摄到相同的灰尘。 

然而，数字照相机的图像传感器不移动，而且使用相同的图像传感器执行图像拍摄。一旦灰尘附着到图像传感器/光学系统组件，则在很多帧(拍摄图像)上拍摄到相同的灰尘。尤其是，可互换镜头的数字照相机容易在调换镜头时附着上灰尘。 

因此，拍摄者必须一直小心不让灰尘附着到图像传感器/光学系统组件，必须花费很大努力来检查、除去灰尘。尤其是，图像传感器位于照相机内相对深的位置，不容易检查、除去其上的灰尘。 

当调换镜头时，灰尘容易进入可互换镜头的数字照相机。很多可互换镜头的数字照相机在图像传感器前面具有焦平面快门，灰尘很容易附着到图像传感器/光学系统组件上。 

图像传感器上的灰尘通常不附着在图像传感器的表面，而是附着在保护玻璃或光学滤波器的表面。因此，成像状态根据拍摄镜头的光圈值或光瞳位置的距离而改变。更具体地，  当光圈值接近全光圈状态时，发生散焦而使小的灰尘不明显。相反地，当光圈值很大时，发生对灰尘的聚焦，对图像具有不利影响。 

已知存在使灰尘不明显的方法，例如，在收缩光圈(stopped-down-aperture)的状态下拍摄白墙以预先准备仅包含图像传感器上的灰尘的图像，将该图像与正常图像组合使用(日本特开2004-222231号公报)。然而，利用该方法，用户必须一直知道为了检测灰尘而拍摄的图像和要与该图像相关联的实际拍摄图像组之间的对应关系，结果很麻烦。 

发明内容

考虑到上述问题而提出本发明，其目的是即使当灰尘附着到图像传感器、固定在图像传感器上的保护玻璃或滤波器上时，也能抑制对拍摄图像的影响。 

根据本发明的第一方面提供一种图像处理设备，该图像处理设备包括：信息提取装置，用于提取异物信息、第一镜头信息和第二镜头信息，所述异物信息是异物在图像拍摄装置的图像感测面中的位置和大小的信息且与拍摄图像数据相关联地被记录，所述第一镜头信息是获取所述异物信息时使用的镜头的镜头信息，所述第二镜头信息是在获取所述异物信息后获取拍摄图像数据时使用的镜头的镜头信息，所述第一镜头信息和所述第二镜头信息与所述拍摄图像数据相关联地被记录；转换装置，用于基于由信息提取装置提取的所述第一镜头信息和所述第二镜头信息将由信息提取装置提取的异物信息转换为第二异物坐标信息；以及插值装置，用于基于第二异物坐标信息对与拍摄图像数据中的异物相对应的像素进行插值。 

根据本发明的第二方面提供一种图像处理方法，该图像处理方法包括如下步骤：信息提取步骤，用于提取异物信息、第一镜头信息和第二镜头信息，所述异物信息是异物在图像拍摄装置的图像感测面中的位置和大小的信息且与拍摄图像数据相关联地被记录，所述第一镜头信息是获取所述异物信息获得所述拍摄图像数据时使用的镜头的镜头信息，所述第二镜头信息是在获取所述 异物信息后获取拍摄图像数据时使用的镜头的镜头信息，所述第一镜头信息和所述第二镜头信息且与所述拍摄图像数据相关联地被记录；转换步骤，用于基于在所述信息提取步骤中提取的所述第一镜头信息和所述第二镜头信息将在所述信息提取步骤中提取的所述异物信息转换为第二异物坐标信息；以及插值步骤，用于基于第二异物坐标信息对与拍摄图像数据中的异物相对应的像素进行插值。 

根据以下参考附图对典型实施例的说明，本发明的进一步特征将变得明显。 

附图说明

图1是示出根据本发明第一实施例的用作图像拍摄设备的可互换镜头的单镜头反射式数字照相机的电路配置的框图； 

图2是示出根据第一实施例的数字照相机的外观的立体图； 

图3是示出根据第一实施例的数字照相机的内部结构的纵向截面图； 

图4是用于说明根据第一实施例的数字照相机的灰尘检测处理的流程图； 

图5是示出灰尘校正数据的数据格式例子的视图； 

图6是用于说明图4的步骤S27中的灰尘区域获取例程的细节的流程图； 

图7是示出图6的步骤S62中的灰尘区域判断处理的处理单位的视图； 

图8是示出图6的步骤S63中的灰尘区域大小计算的概要的视图； 

图9是用于说明图4的步骤S24中的图像拍摄处理例程的细节的流程图； 

图10是示出图像处理设备的示意性系统结构的框图； 

图11是示出图像处理设备的GUI的例子的视图； 

图12是用于说明灰尘除去处理的细节的流程图；以及 

图13是用于说明插值例程的细节的流程图。 

具体实施方式

下面参考附图详细说明本发明的优选实施例。 

第一实施例

在本实施例中，说明如下情况：照相机体检测到灰尘，将灰尘校正数据附加到图像数据，照相机外部的图像处理设备使用附加到图像数据的灰尘校正数据来执行处理，以从图像数据中除去灰尘。 

图1是示出根据本发明第一实施例的用作图像拍摄设备的可互换镜头的单镜头反射式数字照相机的电路配置的框图。 

参考图1，微型计算机402控制整个照相机的操作，包括处理从图像传感器(本实施例中为CCD)418输出的图像数据以及在LCD监视装置417上进行显示。 

在释放按钮114(图2)的半按下状态下，开关(SW1)405接通。当开关(SW1)405接通时，本实施例的数字照相机准备好拍摄图像。在释放按钮114完全按下的状态下，开关(SW2)406接通。当开关(SW2)406接通时，本实施例的数字照相机开始拍摄图像。 

镜头控制电路407与拍摄镜头200(图3)通信，控制AF(自动聚焦，Auto Focus)时拍摄镜头200的驱动以及光圈叶片的驱动。 

参考图1，外部显示控制电路408控制外部显示装置(OLC)409和取景器中的显示装置(未示出)。开关传感电路410向微型计算机402发送来自包括设置在照相机上的电子拨盘411的多个开关的信号。 

电子闪光灯亮度控制电路412通过X触点412a接地，控制外部电子闪光灯。测距电路413检测被摄体的AF的散焦量。测光电路414测量被摄体的亮度。 

快门控制电路415控制快门以对图像传感器执行适当的曝光。LCD监视装置417和背光照明装置416构成图像显示装置。存储装置419包括例如可以从照相机体拆卸的硬盘驱动器或半导体存储卡。 

A/D转换器423、图像缓冲存储器424、包括数字信号处理器(DSP)的图像处理电路425以及用于存储表示图像传感器中的预定像素本身具有缺陷的事实的信息的像素缺陷位置存储器426连接到微型计算机402。用于存储图像传感器中由于灰尘而发生图像错误的像素位置的灰尘位置存储器427也连接到微型计算机402。像素缺陷位置存储器426和灰尘位置存储器427优选使用非易失性存储器。像素缺陷位置存储器426和灰尘位置存储器427可以使用同一存储空间的不同地址来存储数据。 

非易失性存储器428存储例如要由微型计算机402执行的程序。 

图2是示出根据本实施例的数字照相机的外观的立体图。图3是图2的纵向截面图。 

参考图2，照相机体100在其上部具有用于观察取景器的目镜窗口111、AE(自动曝光)锁定按钮112、AF测距点选择按钮113和用于图像拍摄操作的释放按钮114。还设置有电子拨盘411、图像拍摄模式选择拨盘117和外部显示装置409。电子拨盘411是向照相机输入数字值或与其它操作按钮配合来切换图像拍摄模式的多功能信号输入装置。包括液晶显示装置的外部显示装置409显示快门速度、光圈值、图像拍摄模式等图像拍摄条件及其它信息。 

照相机体100在其后表面具有用于显示拍摄图像和各种设置窗口的LCD监视装置417、用于接通/断开LCD监视装置417的监视器开关121、光标开关116以及菜单按钮124。 

光标开关116具有布置在上、下、左、右侧的四个按钮和布置在中央的设置(SET)按钮。用户使用光标开关116来指示照相机选择或执行在LCD监视装置417上显示的菜单项。 

菜单按钮124使得在LCD监视装置417上显示用于对照相机进行各种设置的菜单窗口。例如，为了选择并设置图像拍摄模式， 用户按下菜单按钮124，通过操作光标开关116的上、下、左、右按钮来选择想要的模式，在保持选择想要的模式的同时按下设置(SET)按钮，从而完成该设置。菜单按钮124和光标开关116还用于设置灰尘模式(稍后说明)以及在灰尘模式下设置显示模式和识别标记。 

本实施例的LCD监视装置417是透明型的，所以用户不能仅通过驱动LCD监视装置而在视觉上检查任何图像。LCD监视装置417总是需要其后部的背光照明装置416，如图3所示。LCD监视装置417和背光照明装置416构成图像显示装置。 

如图3所示，通过镜头支座202将图像拍摄光学系统的拍摄镜头200可拆卸地安装在照相机体100上。参考图3，附图标记201表示图像拍摄光轴，203表示快速返回反射镜(quick returnmirror)。 

布置在图像拍摄光路上的快速返回反射镜203可以在将被摄体光从拍摄镜头200引导到取景器光学系统的位置(图3中所示的位置，将其称为倾斜位置)和从图像拍摄光路退回的位置(将其称为退回位置)之间移动。 

参考图3，在聚焦屏204上形成从快速返回反射镜203引导到取景器光学系统的被摄体光的图像。聚光透镜205改善取景器的能见度。五角屋脊棱镜206将通过聚焦屏204和聚光透镜205的被摄体光引导到用于观察取景器的目镜208和测光传感器207。 

快门包括前帘209和后帘210。当前帘209和后帘210打开时，布置在后部用作固态图像传感器的图像传感器418曝光所需的时间段。使用A/D转换器423和图像处理电路425处理由图像传感器针对每个像素转换为电信号的拍摄图像并作为图像数据记录在存储装置419中。 

图像传感器418保持在印刷电路板211上。在印刷电路板211 的后面布置有另一个印刷电路板(即显示板215)。在显示板215的对面布置LCD监视装置417和背光照明装置416。 

存储装置419记录图像数据。附图标记217表示电池(便携式电源)。存储装置419和电池217可从照相机体上拆卸。 

灰尘检测处理

图4是用于说明根据本实施例的数字照相机的灰尘检测处理(检测由于灰尘而发生图像错误的像素位置的处理)的流程图。通过使微型计算机402执行存储在存储器428中的灰尘检测处理程序来进行该处理。 

通过拍摄灰尘检测图像来执行灰尘检测处理。为了进行灰尘检测处理，在保持拍摄镜头200的图像拍摄光轴201指向面光源的发光面或白墙等具有均匀颜色的表面的同时安装照相机，从而准备进行灰尘检测。可选择地，将用于灰尘检测的光单元(代替镜头安装的小点光源装置)安装在镜头支座202上以准备进行灰尘检测。光单元可以采用例如白LED作为其光源，优选将发光表面大小调整为与预定光圈值(例如，在本实施例中为F64)一致。 

在本实施例的例子中，我们针对标准拍摄镜头说明了灰尘检测，然而，还可以通过将光单元安装到镜头支座202上来进行灰尘检测。如上所述，在本实施例中，灰尘检测图像是具有均匀颜色的图像。 

当完成准备、用户(例如从光标开关116)输入灰尘检测处理开始指令时，微型计算机402首先设置光圈。图像传感器附近的灰尘根据镜头的光圈值而改变成像状态，灰尘的位置根据镜头光瞳位置而改变。因此，灰尘校正数据除了灰尘的位置和大小之外，还必须保持检测时的光圈值和镜头光瞳位置。 

如果预定在产生灰尘校正数据中一直使用独立于镜头的同一光圈值，则灰尘校正数据不需要一直保持光圈值。另外，如果使 用光单元或仅允许使用特定镜头，则也不需要在灰尘校正数据中保持光瞳位置。换句话说，如果允许使用多个镜头，或者要根据需要来改变光圈值，则需要在灰尘校正数据中保持检测时的光圈值和镜头光瞳位置。光瞳位置表示与出射光瞳的图像感测面(焦平面)的距离。 

例如，指定F16(步骤S21)。 

微型计算机402使镜头控制电路407控制拍摄镜头200的光圈叶片以将光圈设置为在步骤S21中指定的光圈值(步骤S22)。另外，微型计算机402将聚焦位置设置为无限远距离(步骤S23)。 

当设置了拍摄镜头的光圈值和聚焦位置时，执行灰尘检测模式下的图像拍摄(步骤S24)。稍后参考图9详细说明在步骤S24中执行的图像拍摄处理例程。将获得的图像数据存储在图像缓冲存储器424中。 

当图像拍摄结束时，获得图像拍摄时的光圈值和镜头光瞳位置(步骤S25)。将与存储在图像缓冲存储器424中的拍摄图像的每个像素相对应的数据加载到图像处理电路425(步骤S26)。图像处理电路425执行图6所示的处理以获得有灰尘的像素的位置和大小(步骤S27)。在灰尘位置存储器427中注册在步骤S27中获得的有灰尘的像素的位置和大小以及在步骤S25中获得的光圈值和镜头光瞳位置信息(步骤S28)。如果使用上述光单元，则不能获得镜头信息。如果没有获得镜头信息，则判断为使用光单元。在这种情况下，注册预定镜头光瞳位置信息以及根据光单元的光源直径计算的减小了的光圈值。 

在步骤S28中，将预先记录在像素缺陷位置存储器中在制造中产生的每个有缺陷的像素(像素缺陷)的位置与每个读出像素数据的位置相比较，以确认是否存在像素缺陷。仅在灰尘位置存储器427中注册判断为具有像素缺陷之外的缺陷的区域的位置。 

图5是示出存储在灰尘位置存储器427中的灰尘校正数据的数据格式例子的视图。如图5所示，存储拍摄检测图像时的镜头信息和表示灰尘的位置和大小的信息作为灰尘校正数据。将灰尘校正数据与图像拍摄时的图像数据的信息一起加在图像上，由稍后说明的灰尘除去处理使用。 

更具体地，存储检测图像拍摄时的实际光圈值(F值)和镜头光瞳位置作为检测图像拍摄时的镜头信息。在存储区中存储检测到的灰尘区域的数量(整数值)。然后，与灰尘区域的数量一致地重复存储每个灰尘区域的各参数。灰尘区域参数包括一组三个数字值：灰尘的半径(例如2字节)、有效图像区域中心的x坐标(例如2字节)和中心的y坐标(例如2字节)。 

如果例如灰尘位置存储器427的容量限制了灰尘校正数据大小，则优选按在步骤S27中获得灰尘区域的时间顺序存储数据。这是因为步骤S27中的灰尘区域获取例程以能见度的递减顺序对灰尘区域进行排序。 

灰尘区域获取例程

接下来，参考图6～8详细说明步骤S27中的灰尘区域获取例程。 

如图7所示，  在存储器上将读出的图像数据光栅化(rasterize)，处理每个预定块。将图像数据分割成块以处理由镜头或传感器特性引起的边缘变暗。边缘变暗是镜头周围部分的亮度相对于中央部分降低的现象。已知边缘变暗现象随着光圈逐渐收缩成比例地减少。然而，即使在这种收缩光圈的状态下，如果基于对拍摄图像预定的阈值来判断灰尘位置，对一些镜头也不可能准确地检测到在周围部分的灰尘。为了防止这种情况并减小边缘变暗的影响，将图像数据分割成块。 

简单的块分割引起这样的问题：如果阈值在块之间改变，则 块之间的灰尘检测位置变得不准确。为了防止这种情况，使块重叠，作为灰尘区域来处理包括在重叠区域中的任何一个块中判断为灰尘的像素。 

根据图6所示的过程来进行块中的灰尘区域判断。计算块中的最大亮度Lmax和平均亮度Lave。用下式计算块中的阈值T1。 

T1＝Lave×0.6+Lmax×0.4 

将具有小于阈值的亮度值的像素视为灰尘像素(步骤S61)。将由灰尘像素形成的独立区域定义为一个灰尘区域di(i＝0，1，...，n)(步骤S62)。如图8所示，对于每个灰尘区域，得到包括在灰尘区域中的像素的水平坐标的最大值Xmax和最小值Xmin以及垂直坐标的最大值Ymax和最小值Ymin。用下式计算表示灰尘区域di的大小的半径ri(步骤S63)。 

$\mathrm{ri}=\sqrt{[{\{(X\max -X\min )/2\}}^2+{\{(Y\max -Y\min )/2\}}^2]}$

图8示出Xmax、Ymax、Xmin、Ymin和ri之间的关系。 

在步骤S64中，计算每个灰尘区域的平均亮度值。 

在某些情况下，灰尘校正数据大小受到例如灰尘位置存储器427的容量的限制。为了处理这种情况，基于灰尘区域的大小或平均亮度值对各灰尘位置信息进行排序(步骤S65)。在这种情况下，按ri递减的顺序进行排序。如果ri相同，则按平均亮度值递增的顺序进行排序。这允许优先注册灰尘校正数据中明显的灰尘。假设Di是排序后的灰尘区域，Ri是灰尘区域Di的半径。 

如果存在大于预定大小的灰尘区域，可以从排序目标中将其排除，放在排序后的灰尘区域列表的末尾。大的灰尘区域可能在后面的插值处理中降低图像质量，因此，优选将其作为具有最低优先级的校正目标来处理。 

图像拍摄处理例程

接下来，参考图9中的流程图说明图4的步骤S24中的图像拍摄 处理例程。通过使微型计算机402执行存储在存储器428中的图像拍摄处理程序来进行该处理。 

当图像拍摄处理例程开始时，微型计算机402启动图3所示的快速返回反射镜203以进行步骤S201中的所谓的反射镜上升，并使快速返回反射镜203从图像拍摄光路退回。 

在步骤S202中，图像传感器开始存储电荷。在步骤S203中，打开图3所示的快门的后帘210和前帘209以执行曝光。在步骤S204中，图像传感器结束电荷存储。在步骤S205中，从图像传感器读出图像信号，  由A/D转换器423和图像处理电路425处理该图像信号。首先将产生的图像数据存储在图像缓冲存储器424中。 

当在步骤S206中完成从图像传感器读出全部图像信号时，在步骤S207中使快速返回反射镜203向下移动，返回到倾斜位置，从而结束一系列的图像拍摄操作。 

在步骤S208中，判断该操作是正常图像拍摄事件还是灰尘检测图像拍摄事件。如果是正常图像拍摄事件，则该处理前进到步骤S209，将图5所示的灰尘校正数据与图像拍摄时的照相机设置值一起与图像数据相关联地记录在存储装置419中。 

更具体地，可以通过将灰尘校正数据附加地写入例如用作记录图像拍摄时的照相机设置值的图像文件的头区域的Exif区域中来获得数据关联。还可以通过记录灰尘校正数据作为独立文件并仅将灰尘校正数据文件的链接信息记录在图像数据中来获得数据关联。然而，如果分开记录图像文件和灰尘校正数据文件，那么如果图像文件移动则可能导致链接关系的丢失。因此，优选与图像数据整体地保持灰尘校正数据。 

灰尘除去处理

接下来说明灰尘除去处理的过程。不是在照相机体中而是在分开制备的图像处理设备上进行灰尘除去处理。 

图10是示出图像处理设备的示意性系统结构的框图。 

CPU 1001控制整个系统的操作，执行例如存储在一次存储单元1002中的程序。一次存储单元1002主要包括存储器，从二次存储单元1003读出程序并存储该程序。二次存储单元1003与例如硬盘相对应。一次存储单元的容量通常小于二次存储单元的容量。二次存储单元存储大小超过一次存储单元的容量的程序和数据。二次存储单元还存储需要长期存储的数据。在本实施例中，二次存储单元1003存储程序。为了执行程序，一次存储单元1002将程序读出，CPU 1001执行处理。 

输入装置1004不仅对应于例如用于系统控制的鼠标和键盘，还对应于输入图像数据所需的卡读取器、扫描器和胶片扫描器。输出装置1005的例子是监视器和打印机。虽然除了上述形式，该设备还可以采取各种形式，但是因为这不是本发明的要旨，所以省略其说明。 

图像处理设备具有能够并行执行多个程序的操作系统。操作者可以使用图形用户界面(GUI，Graphical User Interface)来操作在该设备上运行的程序。 

图11是示出图像处理设备中图像编辑程序的GUI(图形用户界面)的例子的视图。窗口具有关闭按钮1100和标题栏1101。当点击关闭按钮时程序结束。将文件拖放到图像显示区域1102中以指定校正目标图像。当确定了校正目标图像时，在标题栏1101上显示文件名，在图像显示区域1102中合适地(Fit)显示目标图像。通过点击执行按钮1103来执行灰尘除去处理(稍后说明)，从而在图像显示区域1102中显示处理后的图像。当点击步骤执行按钮1104时，执行灰尘除去处理(稍后说明)的步骤。当对全部灰尘区域的处理结束时，在图像显示区域1102中显示处理后的图像。通过点击保存按钮1105来存储处理后的图像。 

图12示出图像处理设备进行灰尘除去处理的过程。 

图像处理设备从数字照相机或从数字照相机上卸下的存储装置419中读出带有灰尘校正数据的正常拍摄图像数据，将该数据存储在一次存储单元1002或二次存储单元1003中(步骤S90)。 

从正常拍摄图像数据(灰尘除去处理目标)中提取在步骤S208中加到拍摄图像的灰尘校正数据(步骤S91)。 

从在步骤S91中提取的灰尘校正数据中得到坐标序列Di(i＝0，1，...，n)、半径序列Ri(i＝0，1，...，n)、光圈值f1和镜头光瞳位置L1(步骤S92)。Ri是在图6的步骤S65中计算的在坐标Di处的灰尘的大小。在步骤S93中，获得正常图像拍摄时的光圈值f2和镜头光瞳位置L2。在步骤S 94中，使用以下表达式转换Di，其中，d是从图像中心到坐标Di的距离，H是灰尘和图像传感器418的表面之间的距离。例如，由下式定义转换后的坐标Di′和转换后的半径Ri′。 

Di′(x，y)＝(L2×(L1-H)×d/((L2-H)×L1))×Di(x，y) 

Ri′＝(Ri×f1/f2+3)    (1) 

单位是“像素”，对于Ri′，“+3”是页边量(margin amount)。 

在步骤S95中，检测由坐标Di′和半径Ri′表示的区域中的灰尘，根据需要进行插值处理。稍后详细说明插值处理。在步骤S96中，判断是否对全部坐标进行了灰尘除去处理。如果对全部坐标完成了该处理，则该处理结束。否则，该处理返回到步骤S95。 

插值例程

接下来详细说明灰尘区域的插值处理。图13是示出插值例程的过程的流程图。在步骤S1201中，进行灰尘区域判断。灰尘区域是满足以下全部条件的区域。 

(1)具有小于阈值T2的亮度值的区域，利用下式得到T2： 

T2＝Yave×0.6+Ymax×0.4其中，Yave是在图12的步骤S94中算出的中心坐标Di′和半径 Ri′(由等式(1)得到Di′和Ri′)表示的区域中包含的像素的平均亮度，Ymax是其最大亮度。 

(2)不接触由中心坐标Di′和半径Ri′表示的圆的区域。 

(3)在包括由(1)选择的低亮度像素的独立区域中，根据与图6的步骤S63中相同的过程计算的半径值是11(包含)到12(不包含)的区域。 

(4)包括圆的中心坐标Di′的区域。 

在本实施例中，11是3个像素，12是30个像素。这允许仅将独立的小区域作为灰尘区域来处理。如果不能获得准确的镜头光瞳位置，则可以适当地改变条件(4)。例如，可以将包括沿X和Y方向距离坐标Di±3个像素的范围内的坐标的感兴趣的区域确定为灰尘区域。 

如果在步骤S1202中存在这种区域，则该处理前进到步骤S1203执行灰尘区域插值。如果不存在区域，则该处理结束。用已知的缺陷区域插值方法执行步骤S1203中的灰尘区域插值处理。已知的缺陷区域插值方法的例子是在日本特开2001-223894号公报中公开的图案替换(pattern replacement)。日本特开2001-223894号公报的方法使用红外线指定缺陷区域。在本实施例中，作为缺陷区域来处理在步骤S1201中检测到的灰尘区域，执行图案替换以用邻近的正常像素对灰尘区域进行插值。对于不是由图案替换得到的像素，在图案替换后的图像数据中，按距插值目标像素的距离递增的顺序选择p个正常像素，使用这些像素的平均颜色执行插值。 

如上所述，因为将灰尘校正数据附加到了图像数据，所以用户不需要知道灰尘校正图像数据和拍摄图像数据之间的对应关系。因为包含位置、大小和转换数据(光圈值和镜头光瞳位置的距离信息)的灰尘校正数据是少量的，所以可以防止拍摄图像数据大 小过分增加。通过仅对包括由灰尘检测处理所指定的像素的区域进行插值，还可以大大减小检测错误概率。 

第二实施例

在第一实施例中，不是由照相机体，而是由分开制备的图像处理设备执行灰尘除去处理。在第二实施例中，说明使照相机体执行灰尘除去处理的方法。根据第二实施例的数字照相机具有与第一实施例中相同的配置，省略其说明。仅说明与第一实施例不同的操作。 

灰尘除去例程

根据本实施例的数字照相机的灰尘除去例程执行与图1 2的流程图中相同的处理。通过使微型计算机402执行存储在存储器428中的灰尘除去处理程序来进行该处理。 

当用户从例如光标开关116输入灰尘除去处理开始指令时，微型计算机402将与存储在图像缓冲存储器424中的拍摄图像的每个像素相对应的数据加载到图像处理电路425。图像处理电路425执行图12所示的处理对灰尘像素进行插值。将插值处理结果作为新的图像文件记录在存储装置419中。 

在第一实施例中已经详细说明了图12中的处理，这里省略其说明。 

如上所述，根据上述实施例，用户可以正确地除去灰尘而不用知道灰尘检测图像数据和正常拍摄图像数据之间的对应关系。还可以附加数据，即使将灰尘校正数据嵌入图像中时，也不会大大增加图像数据文件大小。 

其它实施例

还通过以下方法实现上述实施例的目的。向系统或设备提供记录有实现上述实施例的功能的软件程序代码的存储介质(或记录介质)。系统或设备的计算机(或CPU或MPU)读出并执行存储在 存储介质中的程序代码。在这种情况下，从存储介质读出的程序代码本身实现上述实施例的功能。不仅仅通过使计算机执行读出的程序代码来实现上述实施例的功能。还可以以下述配置实施本发明。在计算机上运行的操作系统(OS)基于程序代码的指令执行全部或者部分实际处理，从而实现上述实施例的功能。 

还可以以下述配置实施本发明。将从存储介质中读出的程序代码写入插入到计算机中的功能扩展卡或连接到计算机的功能扩展单元的存储器中。功能扩展卡或功能扩展单元的CPU基于程序代码的指令执行全部或者部分实际处理，从而实现上述实施例的功能。 

实施本发明的存储介质存储对应于上述过程的程序代码。 

虽然参考典型实施例说明了本发明，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求的范围符合最宽的解释，以包含全部变形、等同结构和功能。 

Claims (2)

1.一种图像处理设备，包括：

信息提取装置，用于提取异物信息、第一镜头信息和第二镜头信息，所述异物信息是异物在图像拍摄装置的图像感测面中的位置D和大小R的信息且与拍摄图像数据相关联地被记录，所述第一镜头信息是获取所述异物信息时包括光圈值f1和镜头光瞳位置L1的信息的镜头信息，所述第二镜头信息是在获取所述异物信息后获取拍摄图像数据时包括光圈值f2和镜头光瞳位置L2的信息的镜头信息，所述第一镜头信息和所述第二镜头信息与所述拍摄图像数据相关联地被记录；

转换装置，用于使用表达式D′(x，y)＝(L2×(L1-H)×d/((L2-H)×L1))×D(x，y)将由所述信息提取装置提取的所述异物信息中包括的位置D转换为位置D′，并使用表达式R′＝(R×f1/f2+3)将由所述信息提取装置提取的所述异物信息中包括的大小R转换为大小R′，其中，d是从图像中心到位置D的距离，H是异物和图像拍摄装置的表面之间的距离，“+3”是页边量；以及

插值装置，用于基于由所述转换装置获取的位置D′和大小R′对与所述拍摄图像数据中的异物相对应的像素进行插值。

2.一种图像处理方法，包括如下步骤：

信息提取步骤，用于提取异物信息、第一镜头信息和第二镜头信息，所述异物信息是异物在图像拍摄装置的图像感测面中的位置D和大小R的信息且与拍摄图像数据相关联地被记录，所述第一镜头信息是获取所述异物信息时包括光圈值f1和镜头光瞳位置L1的信息的镜头信息，所述第二镜头信息是在获取所述异物信息后获取拍摄图像数据时包括光圈值f2和镜头光瞳位置L2的信息的镜头信息，所述第一镜头信息和所述第二镜头信息与所述拍摄图像数据相关联地被记录；

转换步骤，用于使用表达式D′(x，y)＝(L2×(L1-H)×d/((L2-H)×L1))×D(x，y)将在所述信息提取步骤中提取的所述异物信息中包括的位置D转换为位置D′，并使用表达式R′＝(R×f1/f2+3)将由所述信息提取装置提取的所述异物信息中包括的大小R转换为大小R′，其中，d是从图像中心到位置D的距离，H是异物和图像拍摄装置的表面之间的距离，“+3”是页边量；以及

插值步骤，用于基于由所述转换步骤获取的位置D′和大小R′对与所述拍摄图像数据中的异物相对应的像素进行插值。

Images