CN101001318A

CN101001318A - 图像拍摄设备及其控制方法

Info

Publication number: CN101001318A
Application number: CNA2007100005791A
Authority: CN
Inventors: 小谷拓矢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-01-12
Filing date: 2007-01-12
Publication date: 2007-07-18
Anticipated expiration: 2027-01-12
Also published as: EP1809019A2; EP1809019A3; CN101001318B; KR100815512B1; KR20070075346A; US8711241B2; JP2007215151A; US20070159551A1

Abstract

本发明涉及一种图像拍摄设备及其控制方法，使得当灰尘附着到图像传感器、固定在图像传感器上的保护玻璃、或滤波器时，可以抑制对拍摄图像的影响。图像拍摄设备包括：光电转换被摄体像以产生图像信号的图像传感器；灰尘位置检测单元，用于从通过使图像传感器拍摄作为具有几乎均匀颜色的被摄体的灰尘检测被摄体而产生的作为图像信号的灰尘检测图像信号中检测灰尘位置信息，灰尘位置信息是灰尘在图像传感器的图像感测面中的位置和大小的信息；镜头信息取得单元，用于取得拍摄被摄体时使用的镜头的镜头信息；以及记录单元，用于与拍摄图像数据相关联地记录灰尘位置检测单元检测到的灰尘位置信息以及镜头信息取得单元取得的镜头信息。

Description

图像拍摄设备及其控制方法

技术领域

本发明涉及一种抑制图像质量劣化的技术，其抑制由于异物附着到例如使用CCD或CMOS传感器等图像传感器的图像拍摄设备中的光学低通滤波器的表面而引起的图像质量劣化。

背景技术

近年来，市场上出现了许多通过使用CCD等图像传感器来产生图像信号并将该图像信号作为数据进行记录的图像拍摄设备，包括数字照相机和数字摄像机。数字照相机不需要传统上用作记录介质的感光胶片而是将图像数据记录在半导体存储卡或硬盘装置等数据记录介质上。与胶片不同，这种数据记录介质允许重复写入和擦除，并且由于相关消耗品成本的大大降低而非常方便。

数字照相机通常具有能够根据需要显示拍摄图像的LCD(液晶显示器)监视装置，以及可拆卸的大容量存储装置。

使用具有这两种装置的数字照相机可以拍摄图像而不使用传统上作为消耗性记录介质的胶片，并可以在LCD监视装置上显示拍摄图像，并且可以立即确认拍摄图像的内容。可以根据需要当场擦除不想要的图像数据或拍摄另一个图像。与卤化银照相机相比较，记录效率高出许多。

由于数字照相机的方便性以及技术的创新，例如增加图像传感器的像素数量，所以数字照相机的使用范围正在拓宽。近来单镜头反射式照相机等具有可互换镜头的数字照相机的数量也在增加。

然而，在数字照相机中，有时候灰尘或脏物等异物(以下简称为灰尘)附着到例如图像传感器、固定到图像传感器上的图像传感器保护玻璃或光学滤波器的表面或光学系统上(以下称为图像传感器/光学系统组件)。如果灰尘附着到图像传感器/光学系统组件，则该灰尘挡住光并妨碍该部分的图像拍摄，降低了拍摄图像的质量。

不只数字照相机，而且使用卤化银胶片的照相机也存在将灰尘拍摄在胶片上的问题。然而，因为胶片随每帧移动，所以很少将相同的灰尘拍摄在全部帧上。

然而，数字照相机的图像传感器不移动，并且使用相同的图像传感器执行图像拍摄。一旦灰尘附着到图像传感器/光学系统组件时，相同的灰尘将被拍摄到很多帧(拍摄图像)上。尤其是，可互换镜头的数字照相机容易在调换镜头时附着上灰尘。

因此，摄影师必须总是小心不让灰尘附着到图像传感器/光学系统组件，并且必须花费很大努力来检查、除去灰尘。尤其是，图像传感器位于照相机内相对深的位置，不容易检查、除去其上的灰尘。

当调换镜头时，灰尘容易进入可互换镜头数字照相机。很多可互换镜头数字照相机在图像传感器前面具有焦平面快门，灰尘很容易附着到图像传感器/光学系统组件上。

图像传感器上的灰尘通常不附着在图像传感器的表面，而是附着在保护玻璃或光学滤波器的表面。因此，成像状态根据照像镜头的光圈值或光瞳位置的距离改变。更具体地说，当光圈值接近全光圈(full-aperture)状态时，发生散焦，使得小的灰尘不明显。相反地，当光圈值很大时，发生对灰尘的聚焦，对图像具有不利影响。

已知存在使灰尘不明显的方法，例如，在收缩光圈(stoppeddown-aperture)状态下拍摄白墙以预先准备只包含图像传感器上的灰尘的图像，该图像与正常图像结合使用(日本特开第2004-222231号公报)。然而，利用该方法，用户必须总要知道为了检测灰尘而拍摄的图像和与该图像相关联的实际拍摄图像组之间的对应，结果很麻烦。

发明内容

本发明是考虑到上述问题而做出的，其目的是即使当灰尘附着到图像传感器、固定在图像传感器上的保护玻璃、或滤波器上时，也能抑制对拍摄图像的影响。

为了解决上述问题并实现上述目的，根据本发明的第一方面，提供一种图像拍摄设备，其包括：图像拍摄装置，用于通过对被摄体像进行光电转换来产生图像信号；异物检测装置，用于从图像拍摄装置得到的异物检测图像信号中检测异物信息，该异物信息是异物在图像拍摄装置的图像感测面中的位置和大小的信息；镜头信息取得装置，用于取得拍摄被摄体时使用的镜头的镜头信息；以及记录装置，用于与通过拍摄被摄体得到的拍摄图像数据相关联地记录由异物检测装置检测到的异物信息以及由镜头信息取得装置取得的镜头信息。

根据本发明的第二方面，提供一种控制图像拍摄设备的方法，该图像拍摄设备具有用于通过对被摄体像进行光电转换来产生图像信号的图像拍摄装置，该方法包括以下步骤：异物检测步骤，用于从图像拍摄装置得到的异物检测图像信号中检测异物信息，该异物信息是异物在图像拍摄装置的图像感测面中的位置和大小的信息；镜头信息取得步骤，用于取得拍摄被摄体时使用的镜头的镜头信息；以及记录步骤，用于与通过拍摄被摄体得到的拍摄图像数据相关联地记录在异物检测步骤中检测到的异物信息和在镜头信息取得步骤中取得的镜头信息。

根据本发明的第三方面，提供了一种图像拍摄设备，其包括：图像拍摄装置，用于通过对被摄体像进行光电转换来产生图像信号；异物检测装置，用于从图像拍摄装置得到的异物检测图像信号中检测异物信息，该异物信息是异物在图像拍摄装置的图像感测面中的位置和大小的信息；镜头信息取得装置，用于取得拍摄被摄体时使用的镜头的镜头信息；以及记录装置，用于基于镜头信息取得装置取得的镜头信息来转换异物检测装置检测到的异物信息，并与通过拍摄被摄体得到的拍摄图像数据相关联地记录转换后的异物信息。

根据本发明的第四方面，提供了一种控制图像拍摄设备的方法，该图像拍摄设备具有用于通过对被摄体像进行光电转换来产生图像信号的图像拍摄装置，该方法包括以下步骤：异物检测步骤，用于从图像拍摄装置得到的异物检测图像信号中检测异物信息，该异物信息是异物在图像拍摄装置的图像感测面中的位置和大小的信息；镜头信息取得步骤，用于取得拍摄被摄体时使用的镜头的镜头信息；基于在镜头信息取得步骤中取得的镜头信息转换在异物检测步骤中检测到的异物信息，并与通过拍摄被摄体得到的拍摄图像数据相关联地记录转换后的异物信息。

根据本发明的第五方面，提供了一种图像拍摄设备，其包括：图像拍摄装置，用于通过对被摄体像进行光电转换来产生图像信号；异物检测装置，用于从图像拍摄装置得到的异物检测图像信号中检测异物信息，该异物信息是异物在图像拍摄装置的图像感测面中的位置和大小的信息；镜头信息取得装置，用于取得拍摄被摄体时使用的镜头的镜头信息；面部区域检测装置，用于从通过拍摄被摄体得到的拍摄图像信号中检测人脸的区域；以及记录装置，用于与通过拍摄被摄体得到的拍摄图像数据相关联地记录由异物检测装置检测到的异物信息、由镜头信息取得装置取得的镜头信息、以及由面部区域检测装置取得的面部区域信息。

根据本发明的第六方面，提供了一种控制图像拍摄设备的方法，该图像拍摄设备具有用于通过对被摄体像进行光电转换来产生图像信号的图像拍摄装置，该方法包括以下步骤：异物检测步骤，用于从图像拍摄装置得到的异物检测图像信号中检测异物信息，该异物信息是异物在图像拍摄装置的图像感测面中的位置和大小的信息；镜头信息取得步骤，用于取得拍摄被摄体时使用的镜头的镜头信息；面部区域检测步骤，用于从通过拍摄被摄体得到的拍摄图像信号中检测人脸的区域；以及记录步骤，用于与通过拍摄被摄体得到的拍摄图像数据相关联地记录在异物检测步骤中检测到的异物信息、在镜头信息取得步骤中取得的镜头信息、以及在面部区域检测步骤中取得的面部区域信息。

根据下面参考附图对典型实施例的说明，本发明的进一步特征将变得明显。

附图说明

图1是示出根据本发明第一实施例的用作图像拍摄设备的可互换镜头的单镜头反射式数字照相机的电路配置的框图；

图2是示出根据第一实施例的数字照相机的外观立体图；

图3是示出根据第一实施例的数字照相机的内部结构的纵向截面图；

图4是用于说明根据第一实施例的数字照相机的灰尘检测处理的流程图；

图5是示出灰尘校正数据的数据格式例子的图；

图6是用于说明图4的步骤S27中灰尘区域获取例程的细节的流程图；

图7是示出图6的步骤S62中灰尘区域判断处理的处理单位的图；

图8是示出图6的步骤S63中计算灰尘区域大小的概要的图；

图9是用于说明图4的步骤S24中图像拍摄处理例程的细节的流程图；

图10是示出图像处理设备的示意性系统结构的框图；

图11是示出图像处理设备的GUI的例子的图；

图12是用于说明灰尘除去处理的细节的流程图；

图13是用于说明插值例程的细节的流程图；

图14是示出根据第三实施例的灰尘校正数据转换处理的流程图；

图15是用于说明根据第三实施例的灰尘除去处理的流程图；

图16是示出根据第四实施例的灰尘除去处理忽略区域的视图；以及

图17是用于说明根据第四实施例的插值例程的流程图。

具体实施方式

下面参考附图详细说明本发明的优选实施例。

第一实施例

在本实施例中，说明这样的情形：照相机体检测灰尘，将灰尘校正数据附加到图像数据，照相机外部的图像处理设备通过使用附加到图像数据的灰尘校正数据执行从图像数据除去灰尘的处理。

图1是示出根据本发明第一实施例的用作图像拍摄设备的可互换镜头的单镜头反射式数字照相机的电路配置的框图。

参考图1，微型计算机402控制整个照相机的操作，包括从图像传感器(本实施例中为CCD)418输出图像数据的处理以及在LCD监视器装置417上进行显示。

在释放按钮114(图2)的半按下状态下，开关(SW1)405接通。当开关(SW1)405接通时，本实施例的数字照相机准备好图像拍摄。在释放按钮114完全按下的状态下，开关(SW2)406接通。当开关(SW2)406接通时，本实施例的数字照相机开始图像拍摄。

镜头控制电路407与照像镜头200(图3)通信，并在AF(自动对焦)时，控制照像镜头200的驱动以及光圈叶片的驱动。

参考图1，外部显示控制电路408控制外部显示装置(OLC)409，以及取景器中的显示装置(未示出)。开关传感电路410向微型计算机402发送来自包括设置在照相机上的电子拨盘411的多个开关的信号。

电子闪光灯亮度控制电路412通过X触点412a接地，并控制外部电子闪光灯。测距电路413为AF检测关于被摄体的散焦量。测光电路414测量被摄体的亮度。

快门控制电路415控制快门以执行图像传感器的适当曝光。LCD监视器装置417和背光照明装置416构成图像显示装置。存储装置419包括例如可以从照相机体拆卸的硬盘驱动器或半导体存储卡。

A/D转换器423、图像缓冲器存储器424、包括数字信号处理器(DSP)的图像处理电路425、以及用于存储表示图像传感器中的预定像素本身具有缺陷的信息的像素缺陷位置存储器426连接到微型计算机402。用于存储图像传感器中由于灰尘而发生图像错误的像素位置的灰尘位置存储器427也连接到微型计算机402。像素缺陷位置存储器426和灰尘位置存储器427优选地使用非易失性存储器。像素缺陷位置存储器426和灰尘位置存储器427可以使用同一存储器空间的不同地址来存储数据。

非易失性存储器428存储例如要由微型计算机402执行的程序。

图2是示出根据本实施例的数字照相机的外观的立体图。图3是图2的纵向截面图。

参考图2，在照相机体100上部具有用于取景器观察的目镜窗口111、AE(自动曝光)锁定按钮112、AF测距点选择按钮113、以及用于图像拍摄操作的释放按钮114。还设置有电子拨盘411、图像拍摄模式选择拨盘117、以及外部显示装置409。电子拨盘411是向照相机输入数字值或与其它操作按钮配合切换图像拍摄模式的多功能信号输入装置。包括液晶显示装置的外部显示装置409显示快门速度、光圈值、图像拍摄模式等图像拍摄条件以及其它信息。

在照相机体100后表面设置有用于显示拍摄图像和各种设置窗口的LCD监视器装置417、用于接通/断开LCD监视器装置417的监视器开关121、光标开关116、以及菜单按钮124。

光标开关116具有设置在上、下、左、右的四个按钮和设置在中间的设置(SET)按钮。用户使用光标开关116指示照相机选择或执行显示在LCD监视器装置417上的菜单项。

菜单按钮124使得用于对照相机进行各种设置的菜单窗口显示在LCD监视器装置417上。例如，为了选择和设置图像拍摄模式，用户按下菜单按钮124，通过操作光标开关116的上、下、左、右按钮来选择想要的模式，在保持想要的模式被选择的同时按下设置按钮，由此完成该设置。菜单按钮124和光标开关116还用于设置灰尘模式(稍候说明)，以及在灰尘模式下设置显示模式和识别标记。

本实施例的LCD监视器装置417是透射型，所以用户不能只通过驱动LCD监视器装置来视觉地识别任何图像。LCD监视器装置417总是需要在其后部的背光照明装置416，如图3中所示。LCD监视器装置417和背光照明装置416构成图像显示装置。

如图3中所示，通过镜头支座202将图像拍摄光学系统的照相镜头200可拆卸地安装在照相机体100上。参考图3，附图标记201表示图像拍摄光轴，203表示快速复原反射镜(quick returnmirror)。

设置在图像拍摄光路上的快速复原反射镜203可以在将被摄体光从照相镜头200引导到取景器光学系统的位置(将被称为倾斜位置的图3中所示的位置)和从图像拍摄光学路径退回的位置(将被称为退回位置)之间移动。

参考图3，从快速复原反射镜203引导到取景器光学系统的被摄体光的图像形成在聚焦屏204上。聚光镜头205改善取景器的可见性。五角棱镜206将穿过聚焦屏204和聚光镜头205的被摄体光引导到用于取景器观察的目镜208和测光传感器207。

快门包括前帘209和后帘210。当前帘209和后帘210打开时，设置在后部用作固态图像传感器的图像传感器418曝光必要的时间段。由A/D转换器423和图像处理电路425处理由图像传感器418针对每个像素转换为电信号的拍摄图像，并作为图像数据记录在存储装置419中。

图像传感器418保持在印刷电路板211上。在印刷电路板211的后部设置有另一个印刷电路板，即显示板215。将LCD监视器装置417和背光照明装置416设置在显示板215的相反的表面上。

存储装置419记录图像数据。附图标记217表示电池(便携式电源)。存储装置419和电池217可从照相机体上拆卸。

灰尘检测处理

图4是用于说明根据本实施例的数字照相机的灰尘检测处理(检测由于灰尘而发生图像错误的像素位置的处理)的流程图。通过使微型计算机402执行存储在存储器428中的灰尘检测处理程序来完成该处理。

通过拍摄灰尘检测图像来执行灰尘检测处理。为了进行灰尘检测处理，保持照相镜头200的图像拍摄光轴201指向面光源的发光面或白墙等具有均匀颜色的表面的同时安装照相机，由此准备进行灰尘检测。作为选择，将用于灰尘检测的光单元(代替镜头安装的小点光源装置)安装在镜头支座202上以准备进行灰尘检测。光单元可以采用例如白LED作为其光源，并优选地根据预定光圈值(例如，在本实施例中为F64)调整发光表面大小。

在本实施例的例子中，使用正常的照相镜头。代替地，可以通过将光单元附加到镜头支座202来进行灰尘检测。在本实施例中，如上所述，灰尘检测图像是具有均匀颜色的图像。

当准备结束，用户例如从光标开关116输入灰尘检测处理开始指令时，微型计算机402首先设置光圈。图像传感器附近的灰尘的成像状态根据镜头的光圈值而改变。灰尘的位置根据镜头光瞳位置而改变。因此，灰尘校正数据除了灰尘的位置和大小之外，还必须包含检测时的光圈值和镜头光瞳位置。

如果预定在产生灰尘校正数据中总是使用独立于镜头的同一光圈值，则灰尘校正数据不需要总是包含光圈值。另外，如果使用光单元或只允许使用指定的镜头，则也不需要在灰尘校正数据中包含光瞳位置。换句话说，如果允许使用多个镜头，或者要根据需要改变光圈值，则在灰尘校正数据中，需要包含检测时的光圈值和镜头光瞳位置。光瞳位置表示与出射光瞳的图像感测面(焦平面)的距离。

例如，指定F16(步骤S21)。

微型计算机402使镜头控制电路407控制照相镜头200的光圈叶片以将光圈设置为在步骤S21中指定的光圈值(步骤S22)。另外，微型计算机402将聚焦位置设置为无限远距离(步骤S23)。

当设置了照相镜头的光圈值和聚焦位置后，执行灰尘检测模式下的图像拍摄(步骤S24)。稍后参考图9详细说明在步骤S24中执行的图像拍摄处理例程。将获得的图像数据存储在图像缓冲器存储器424中。

当图像拍摄结束时，取得图像拍摄时的光圈值和镜头光瞳位置(步骤S25)。将与存储在图像缓冲器存储器424中的拍摄图像的每个像素相对应的数据加载到图像处理电路425(步骤S26)。图像处理电路425执行图6中所示的处理以取得有灰尘的像素的位置和大小(步骤S27)。将在步骤S27中取得的有灰尘的像素的位置和大小以及在步骤S25中取得的光圈值和镜头光瞳位置信息注册在灰尘位置存储器427中(步骤S28)。当使用上述光单元时，不能取得镜头信息。如果没有取得镜头信息，则判断为使用了光单元。在这种情形下，注册预定镜头光瞳位置信息以及根据光单元的光源直径计算的减小的光圈值。

在步骤S28中，将预先记录在像素缺陷位置存储器中的、制造中产生的每个有缺陷的像素(像素缺陷)的位置与每个读出像素数据的位置相比较，以确认是否存在像素缺陷。只将判断为具有像素缺陷之外的缺陷的区域的位置注册在灰尘位置存储器427中。

图5是示出存储在灰尘位置存储器427中的灰尘校正数据的数据格式例子的图。如图5中所示，将拍摄检测图像时的镜头信息和表示灰尘的位置和大小的信息存储为灰尘校正数据。将灰尘校正数据与获取时的图像数据的信息一起加在图像上，并由稍候说明的灰尘除去处理使用。

更具体地说，拍摄检测图像时的实际光圈值(F值)和镜头光瞳位置被存储作为拍摄检测图像时的镜头信息。将检测到的灰尘区域的数量(整数值)存储在存储区中。然后，将每个灰尘区域的各参数与灰尘区域的数量相对应地重复存储。灰尘区域参数包括一组三个数字值：灰尘的半径(例如，2字节)、有效图像区域的中心的x坐标(例如，2字节)和中心的y坐标(例如，2字节)。

如果例如灰尘位置存储器427的容量限制了灰尘校正数据大小，则优选将数据以在步骤S27中得到的灰尘区域的先后顺序存储。这是因为步骤S27中的灰尘区域取得例程以可见性的递减顺序对灰尘区域排序。

灰尘区域取得例程

接下来，参考图6～8详细说明步骤S27中的灰尘区域取得例程。

如图7中所示，将读出图像数据在存储器上栅格化(rasterize)，并处理每个预定块。将图像数据分割成块以处理由镜头或传感器特性引起的边缘变暗。边缘变暗是这样一种现象：镜头的周围部分的亮度比中心部分低。已知在光圈收缩状态下边缘变暗降低。然而，即使在缩小光圈状态下，如果基于对拍摄图像预定的阈值来判断灰尘位置，对一些镜头也不可能精确地检测在周围部分的灰尘。为了防止这种情况，通过将图像数据分割成块来减少边缘变暗的影响。

简单的块分割引起这样的问题：如果阈值在块之间改变，则在块间的灰尘检测位置变得不精确。为了防止这种情况，将块重叠，并且将包括在重叠区域中的任何一个块中的判断为灰尘的像素作为灰尘区域来处理。

根据图6中所示的过程进行块中的灰尘区域判断。计算块中的最大亮度Lmax和平均亮度Lave。块中的阈值T1由下式计算：

T1＝Lave×0.6+Lmax×0.4

将具有小于阈值的亮度值的像素作为灰尘像素(步骤S61)。将由灰尘像素形成的孤立区域定义为一个灰尘区域di(i＝0，1，...，n)(步骤S 62)。如图8中所示，对每个灰尘区域，得到包括在灰尘区域中的像素的水平坐标的最大值Xmax和最小值Xmin，以及垂直坐标的最大值Ymax和最小值Ymin。用下面的等式计算表示灰尘区域di的大小的半径ri(步骤S63)：

ri = \sqrt{[{(X \max - X \min) / 2}^{2} + {{(Y \max - Y \min) / 2}}^{2}]}

图8示出Xmax、Ymax、Xmin、Ymin、和ri之间的关系。

在步骤S64中，计算每个灰尘区域的平均亮度值。

在某些情形下，灰尘校正数据大小受到例如灰尘位置存储器427的容量限制。为了处理这种情况，基于灰尘区域的大小或平均亮度值来对各灰尘位置信息排序(步骤S65)。在这种情况下，以ri的递减顺序进行排序。如果ri相同，则以平均亮度值的递增顺序进行排序。这允许优先注册灰尘校正数据中明显的灰尘。假设Di是排序后的灰尘区域，Ri是灰尘区域Di的半径。

如果存在大于预定大小的灰尘区域，可以将其排除在排序目标之外，并放在排序后的灰尘区域列表的末尾。大灰尘区域可能在后面的插值处理中降低图像质量，因此，优选地将其作为具有最低优先级的校正目标来处理。

图像拍摄处理例程

接下来将参考图9中的流程图说明图4的步骤S24中的图像拍摄处理例程。通过使微型计算机402执行存储在存储器428中的图像拍摄处理程序来完成该处理。

当图像拍摄处理例程开始时，微型计算机402启动图3中所示快速复原反射镜203以在步骤S201中进行所谓反射式镜上升，并使快速复原反射镜203从图像拍摄光学路径退回。

在步骤S202中，图像传感器开始存储电荷。在步骤S203中，将图3中所示快门的后帘210和前帘209打开以执行曝光。在步骤S204中，图像传感器结束电荷存储。在步骤S205中，从图像传感器读出图像信号，并由A/D转换器423和图像处理电路425处理该图像信号。将结果图像数据首先存储在图像缓冲器存储器424中。

当在步骤S206完成从图像传感器读出全部图像信号时，在步骤S207中使快速复原反射镜203向下移动，并返回到倾斜位置，由此结束一系列的图像拍摄操作。

在步骤S208中，判断该操作是正常图像拍摄还是灰尘检测图像拍摄。如果是正常图像拍摄，则处理前进到步骤S209，以将图5中所示的灰尘校正数据与图像拍摄时的照相机设置值一起与图像数据相关联地记录在存储装置419中。

更具体地说，可以通过将灰尘校正数据附加地写入例如Exif区域中来得到数据关联，其中Exif区域用作记录图像拍摄时照相机设置值的图像文件的头区域。还可以通过记录灰尘校正数据作为独立文件并且只将灰尘校正数据文件的链接信息记录在图像数据中来得到数据关联。然而，如果分开记录图像文件和灰尘校正数据文件，那么图像文件移动可能导致链接关系的丢失。因此，优选地将灰尘校正数据与图像数据整体地保持。

灰尘除去处理

接下来将说明灰尘除去处理的过程。灰尘除去处理不是在照相机体中进行而是在分开配备的图像处理设备中进行。

图10是示出该图像处理设备的示意性系统结构的框图。

CPU 1001控制整个系统的操作，并执行例如存储在一次存储单元1002中的程序。一次存储单元1002主要包括存储器，其从二次存储单元1003读出程序并存储该程序。二次存储单元1003与例如硬盘相对应。一次存储单元的容量通常小于二次存储单元的容量。二次存储单元存储具有超过一次存储单元容量的大小的程序和数据。二次存储单元还存储需要长期存储的数据。在本实施例中，二次存储单元1003存储程序。为了执行程序，一次存储单元1002将程序读出，CPU 1001执行处理。

输入装置1004不仅对应于例如用于系统控制的鼠标和键盘，而且对应于输入图像数据所需的卡读取器、扫描器、和胶片扫描器。输出装置1005的例子是监视器和打印机。除了上述形式，该设备还可以采取各种形式，但是因为这不是理解本发明所必须的，所以省略其说明。

图像处理设备具有能够并行执行多个程序的操作系统。操作者可以通过使用GUI来操作运行在该设备上的程序。

图11是示出图像处理设备中图像编辑程序的GUI(图形用户界面，Graphical User Interface)的例子的图。窗口具有关闭按钮1100和标题栏1101。当点击关闭按钮时程序结束。将文件拖放到图像显示区域1102中以指定校正目标图像。当确定了校正目标图像时，文件名显示在标题栏1101上，并且目标图像合适地(Fit)显示在图像显示区域1102中。通过点击执行按钮1103执行灰尘除去处理(稍后说明)，使处理后的图像显示在图像显示区域1102中。当点击步骤执行按钮1104时，执行灰尘除去处理(稍后说明)的步骤。当对全部灰尘区域的处理结束时，处理后的图像显示在图像显示区域1102中。通过点击保存按钮1105存储处理后的图像。

图12示出图像处理设备进行灰尘除去处理的过程。

图像处理设备从数字照相机或从数字照相机上卸下的存储装置419读出带有灰尘校正数据的正常拍摄图像数据，并将该数据存储在一次存储单元1002或二次存储单元1003中(步骤S90)。

从正常拍摄图像数据(灰尘除去处理目标)提取在步骤S209添加到拍摄图像的灰尘校正数据(步骤S91)。

从在步骤S91中提取的灰尘校正数据得到坐标序列Di(i＝0，1，...，n)，半径序列Ri(i＝0，1，...，n)，光圈值f1，以及镜头光瞳位置L1(步骤S92)。Ri是图6的步骤S65中计算的在坐标Di处的灰尘的大小。在步骤S93中，取得正常图像拍摄时的光圈值f2和镜头光瞳位置L2。在步骤S94中，通过下面的表达式转换Di，其中，d是从图像中心到坐标Di的距离，H是灰尘和图像传感器418的表面之间的距离。转换后的坐标Di′和转换后的半径Ri′例如由下式定义：

Di′(x，y)＝(L2×(L1-H)×d/((L2-H)×L1))×Di(x，y)

Ri′＝(Ri×f1/f2+3)×2 (1)

单位是“像素”，对于Ri′的“+3”是页边量(margin amount)。将Ri’加倍，因为使用平均亮度检测灰尘区域需要除灰尘区域之外的区域。

在步骤S95中，检测由坐标Di′和半径Ri′表示的区域中的灰尘，并根据需要采用插值处理。稍后将详细说明插值处理。在步骤S96中，判断灰尘除去处理是否应用到了全部坐标。如果对全部坐标完成该处理，则处理结束。否则，处理返回到步骤S95。

插值例程

接下来将详细说明灰尘区域的插值处理。图13是示出插值例程的过程的流程图。在步骤S1201中，进行灰尘区域判断。灰尘区域是满足以下全部条件的区域。

(1)具有小于阈值T2的亮度值的区域，T2利用下式得到：

T2＝Yave×0.6+Ymax×0.4

其中，Yave是在图12的步骤S94中计算的中心坐标Di′和半径Ri′(Di′和Ri′由等式(1)得到)表示的区域中包含的像素的平均亮度，Ymax是其最大亮度。

(2)不接触由中心坐标Di′和半径Ri′表示的圆的区域。

(3)在包括由(1)选择的低亮度像素的孤立区域中，根据与图6的步骤S63中相同的过程计算的半径值是11(包含)到12(不包含)的区域。

(4)包括圆的中心坐标Di′的区域。

在本实施例中，11是3个像素，12是30个像素。这允许只将孤立的小区域作为灰尘区域处理。如果不可能精确地取得镜头光瞳位置，则可以适当地改变条件(4)。例如，可以将包括沿X和Y方向与坐标Di距离±3个像素的范围内的坐标的所关心区域判断为灰尘区域。

如果在步骤S1202中存在这种区域，则处理前进到步骤S1203以执行灰尘区域插值。如果没有区域存在，则处理结束。用已知的缺陷区域插值方法执行步骤S1203中的灰尘区域插值处理。已知的缺陷区域插值方法的例子是在日本特开第2001-223894号中公开的图案替换(pattern replacement)。日本特开第2001-223894号的方法使用红外光指定缺陷区域。在本实施例中，将在步骤S1201中检测到的灰尘区域作为缺陷区域处理，并执行图案替换以用邻近的正常像素插值灰尘区域。对于不是由图案替换得到的像素，在图案替换后的图像数据中，以与插值目标像素的距离递增的顺序选择p个正常像素，使用这些像素的平均颜色执行插值。

如上所述，因为将灰尘校正数据附加到了图像数据，所以用户不需要知道灰尘校正图像数据和拍摄图像数据之间的对应。因为包含位置、大小、以及转换数据(光圈值和镜头光瞳位置的距离信息)的灰尘校正数据是少量的，所以可以避免拍摄图像数据大小的过分增加。通过只对包括由灰尘检测处理指定的像素的区域进行插值操作还可以大大减小检测错误概率。

第二实施例

在第一实施例中，不是由照相机体，而是由分开配备的图像处理设备执行灰尘除去处理。在第二实施例中，将说明使照相机体执行灰尘除去处理的方法。根据第二实施例的数字照相机与第一实施例中的具有相同的配置，故省略其说明。只说明与第一实施例不同的操作。

灰尘除去例程

根据本实施例的数字照相机的灰尘除去例程执行与图12的流程图中相同的处理。通过使微型计算机402执行存储在存储器428中的灰尘除去处理程序进行该处理。

当用户从例如光标开关116输入灰尘除去处理开始指令时，微型计算机402将对应于存储在图像缓冲器存储器424中的拍摄图像的每个像素的数据加载到图像处理电路425。图像处理电路425执行图12中所示的处理来插值灰尘像素。将插值处理结果作为新图像文件记录在存储装置419中。

在第一实施例中已经详细说明了图12中的处理，这里将省略其说明。

如上所述，根据上述实施例，用户可以适当地除去灰尘而不用知道灰尘检测图像数据和正常拍摄图像数据之间的对应。还可以附加数据，即使将灰尘校正数据嵌入图像中也不会大大增加图像数据文件大小。

第三实施例

在第一实施例中，分开配备的图像处理设备通过根据图12中所示的过程对由数字照相机体附加的灰尘校正数据进行处理来转换该数据，然后执行灰尘除去处理。

在第三实施例中，将说明使数字照相机体转换灰尘校正数据并将转换后的灰尘校正数据附加到拍摄图像的方法。在本实施例中，因为数字照相机体执行转换，分开配备的图像处理设备只需要在指定的坐标执行灰尘除去处理。

在图9中所示的图像拍摄处理例程的步骤S209中，执行灰尘校正数据转换处理(稍后详细说明)。将灰尘校正数据与图像数据相关联地存储在存储装置419中。因为已经转换了灰尘校正数据，所以无需在与图像数据相关联地存储的转换后的灰尘校正数据中存储图像拍摄时的F值和镜头光瞳位置。

图14是示出灰尘校正数据转换处理的过程的流程图。

在步骤S141中，取得存储在灰尘位置存储器427中的灰尘校正数据。处理前进到步骤S142以从在步骤S141中取得的灰尘校正数据取得拍摄灰尘检测图像时的光圈值和镜头光瞳位置(灰尘取得时的参数)。在步骤S143中，取得正常图像拍摄时的光圈值和镜头光瞳位置(图像拍摄时的参数)。在步骤S144中，基于灰尘取得时的参数和图像拍摄时的参数，转换灰尘校正数据。在步骤S142～S144中的处理与图12的步骤S92～S94中的相同，将省略其详细说明。

接下来，参考图15中的流程图说明由图像处理设备进行的灰尘除去处理的过程。根据第三实施例的图像处理设备的外部设置与图10中所示的第一实施例的相同。

从正常拍摄的图像数据(灰尘除去处理目标)提取在步骤S209中添加到拍摄图像的灰尘校正数据(步骤S151)。从在步骤S151中提取的灰尘校正数据得到坐标序列Di(i＝0，1，...，n)和半径序列Ri(i＝0，1，...，n)(步骤S152)。

在步骤S153中，检测由坐标Di和半径Ri表示的区域中的灰尘，并根据需要采用插值处理。插值处理的细节与第一实施例中的相同。在步骤S154中，判断是否对全部坐标采用了灰尘除去处理。如果对全部坐标完成该处理，则处理结束。否则，处理返回到步骤S153。

如上所述，与第一实施例不同，在本实施例中不需要在图像处理设备侧的灰尘校正数据转换处理。因此，简化了图像处理设备侧的处理。

第四实施例

在第一和第三实施例中说明的灰尘除去处理中，如果由灰尘信息表示的坐标包含例如面部图像，则眼睛可能被错误地判断为灰尘区域而进行插值处理。

为了避免这种情况，通过执行面部检测处理指定在拍摄图像中的面部区域的位置，将该区域从插值处理目标中排除。这减少了对眼睛和鼻子等面部部分的插值错误的概率。该方法在下面这点是非常好的：即使面部检测处理错误地将非面部区域检测为面部区域时，因为从插值处理目标中排除了该错误检测的区域，所以对原始图像没有不利影响。

下面将说明当使用面部检测处理时的插值处理。

使用已知技术进行面部检测处理。在本实施例中，使用例如在日本特开第2004-62651号中公开的方法。当使用该方法时，可以取得日本特开第2004-62651号的图3(b)中所示的矩形作为检测结果。

在本实施例中，将外接到检测的矩形的圆作为面部区域，即，灰尘除去处理忽略区域，如图16中所示。

图像拍摄设备侧或者外部图像处理设备侧可以检测灰尘除去处理忽略区域。当图像拍摄设备侧检测到灰尘除去处理忽略区域时，将灰尘除去处理忽略区域(面部区域)的信息、图像拍摄时的照相机设置值、以及灰尘校正数据与图像数据相关联地存储在存储装置419中。

在本实施例的插值处理例程中，从插值处理目标排除与灰尘除去处理忽略区域重叠的灰尘区域。参考图17中的流程图说明该处理的过程。

在步骤S1701中，判断缺陷区域。处理内容与图13的步骤S1201中相同。在步骤S1702中，判断是否存在缺陷区域。如果不存在缺陷区域，则处理结束。如果存在缺陷区域，则处理前进到步骤S1703。

在步骤S1703～S1706中，判断在步骤S1701中检测到的每个目标缺陷区域是否与由面部检测处理检测到的灰尘除去处理忽略区域重叠。如果目标缺陷区域不与全部的灰尘除去处理忽略区域重叠，则处理前进到步骤S1707以插值目标缺陷区域。缺陷区域插值处理与图13中的步骤S1202中相同，故省略其说明。

在步骤S1708中，判断是否对步骤S1701中检测到的全部缺陷区域进行了步骤S1703～S1707中的处理。如果对全部缺陷区域都进行了该处理，则插值处理例程结束。如果还有未处理的缺陷区域，则处理返回到步骤S1703以重复步骤S1703～S1708。

以下面的方式判断缺陷区域是否与灰尘除去处理忽略区域重叠。

(1)根据与在图6的步骤S63中相同的过程得到在步骤S1701(与图13的步骤S1201中相同)中检测到的缺陷区域(灰尘区域)的中心坐标C1和半径值R1。

(2)得到灰尘除去处理忽略区域的中心坐标C2和灰尘区域的中心坐标C1之间的距离L。

(3)当灰尘除去处理忽略区域具有半径值R2，且满足R1+R2＞L时，灰尘除去处理忽略区域与缺陷区域重叠。

上述处理用于防止对进行灰尘除去处理可能性高的区域的任何不合适的处理结果。

其它实施例

还通过下面的方法实现上述实施例的目的。将记录实现上述实施例的功能的软件程序代码的存储介质(或记录介质)提供给系统或设备。该系统或设备的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。在这种情形下，从存储介质读出的程序代码本身实现上述实施例的功能。存储该程序代码的存储介质构成了本发明。不仅通过使计算机执行读出的程序代码来实现上述实施例的功能。本发明还包含下面的设置。运行在计算机上的操作系统(OS)基于程序代码的指令，全部地或部分地执行实际处理，由此实现上述实施例的功能。

本发明还包含下面的设置。将从存储介质读出的程序代码写入插到计算机的功能扩展卡或连接到计算机的功能扩展单元的存储器中。功能扩展卡或功能扩展单元的CPU基于程序代码的指令全部地或部分地执行实际处理，由此实现上述实施例的功能。

应用本发明的存储介质存储对应于上述过程的程序代码。

虽然参考典型实施例说明了本发明，但是应该理解本发明不局限于公开的典型实施例。所附权利要求的范围符合最宽的解释以包含全部修改和等同结构及功能。

Claims

1.一种图像拍摄设备，其包括：

图像拍摄装置，用于通过对被摄体像进行光电转换来产生图像信号；

异物检测装置，用于从所述图像拍摄装置得到的异物检测图像信号中检测异物信息，该异物信息是异物在所述图像拍摄装置的图像感测面中的位置和大小的信息；

镜头信息取得装置，用于取得拍摄被摄体时使用的镜头的镜头信息；以及

记录装置，用于与通过拍摄被摄体得到的拍摄图像数据相关联地记录由所述异物检测装置检测到的所述异物信息以及由所述镜头信息取得装置取得的所述镜头信息。

2.根据权利要求1所述的图像拍摄设备，其特征在于，所述镜头信息包括拍摄被摄体时镜头的光圈值和光瞳位置的信息。

3.根据权利要求1或2所述的图像拍摄设备，其特征在于，所述记录装置还记录取得所述异物检测图像信号时使用的镜头的镜头信息。

4.根据权利要求3所述的图像拍摄设备，其特征在于，所述取得所述异物检测图像信号时使用的镜头的镜头信息包括取得所述异物检测图像信号时镜头的光圈值和光瞳位置的信息。

5.根据权利要求1所述的图像拍摄设备，其特征在于，还包括：

信息取得装置，用于取得与拍摄图像数据相关联地记录的所述异物信息和所述镜头信息；

转换装置，用于基于由所述信息取得装置取得的所述镜头信息将由所述信息取得装置取得的所述异物信息转换为第二异物信息；以及

插值装置，用于基于所述第二异物信息对所述拍摄图像数据中对应于异物的像素进行插值。

6.一种控制图像拍摄设备的方法，该图像拍摄设备具有用于通过对被摄体像进行光电转换来产生图像信号的图像拍摄装置，该方法包括以下步骤：

异物检测步骤，用于从由所述图像拍摄装置得到的异物检测图像信号中检测异物信息，该异物信息是异物在所述图像拍摄装置的图像感测面中的位置和大小的信息；

镜头信息取得步骤，用于取得拍摄被摄体时使用的镜头的镜头信息；以及

记录步骤，用于与通过拍摄被摄体得到的拍摄图像数据相关联地记录在所述异物检测步骤中检测到的所述异物信息和在所述镜头信息取得步骤中取得的所述镜头信息。

7.根据权利要求6所述的控制图像拍摄设备的方法，其特征在于，所述镜头信息包括拍摄被摄体时镜头的光圈值和光瞳位置的信息。

8.根据权利要求6或7所述的控制图像拍摄设备的方法，其特征在于，在所述记录步骤中，还记录取得所述异物检测图像信号时使用的镜头的镜头信息。

9.根据权利要求8所述的控制图像拍摄设备的方法，其特征在于，所述取得异物检测图像信号时使用的镜头的镜头信息包括取得异物检测图像信号时镜头的光圈值和光瞳位置的信息。

10.根据权利要求6所述的控制图像拍摄设备的方法，其特征在于，还包括：

信息取得步骤，用于取得与拍摄图像数据相关联地记录的所述异物信息和所述镜头信息；

转换步骤，用于基于在所述信息取得步骤中取得的所述镜头信息将在所述信息取得步骤中取得的所述异物信息转换为第二异物信息；以及

插值步骤，用于基于所述第二异物信息对拍摄图像数据中对应于异物的像素进行插值。

11.一种图像拍摄设备，其包括：

记录装置，用于基于所述镜头信息取得装置取得的所述镜头信息来转换所述异物检测装置检测到的所述异物信息，并与通过拍摄被摄体得到的拍摄图像数据相关联地记录转换后的异物信息。

12.一种控制图像拍摄设备的方法，该图像拍摄设备具有用于通过对被摄体像进行光电转换来产生图像信号的图像拍摄装置，该方法包括以下步骤：

异物检测步骤，用于从所述图像拍摄装置得到的异物检测图像信号中检测异物信息，该异物信息是异物在所述图像拍摄装置的图像感测面中的位置和大小的信息；

镜头信息取得步骤，用于取得拍摄被摄体时使用的镜头的镜头信息；

基于在所述镜头信息取得步骤中取得的所述镜头信息转换在所述异物检测步骤中检测到的所述异物信息，并与通过拍摄被摄体得到的拍摄图像数据相关联地记录转换后的异物信息。

13.一种图像拍摄设备，其包括：

镜头信息取得装置，用于取得拍摄被摄体时使用的镜头的镜头信息；

面部区域检测装置，用于从通过拍摄被摄体得到的拍摄图像信号中检测人脸的区域；以及

记录装置，用于与通过拍摄被摄体得到的拍摄图像数据相关联地记录所述异物检测装置检测到的异物信息、所述镜头信息取得装置取得的镜头信息、以及所述面部区域检测装置取得的面部区域信息。

14.一种控制图像拍摄设备的方法，该图像拍摄设备具有用于通过对被摄体像进行光电转换来产生图像信号的图像拍摄装置，该方法包括以下步骤：

面部区域检测步骤，用于从通过拍摄被摄体得到的拍摄图像信号中检测人脸的区域；以及

记录步骤，用于与通过拍摄被摄体得到的拍摄图像数据相关联地记录在所述异物检测步骤中检测到的异物信息、在所述镜头信息取得步骤中取得的镜头信息、以及在所述面部区域检测步骤中取得的面部区域信息。