CN1732682A

CN1732682A - 图像处理装置及图像处理程序

Info

Publication number: CN1732682A
Application number: CN200380107791.8A
Authority: CN
Inventors: 石贺健一
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2002-12-27
Filing date: 2003-12-25
Publication date: 2006-02-08
Anticipated expiration: 2023-12-25
Also published as: US8031968B2; CN1732682B; CN101778203A; US8369651B2; US20100092103A1; EP2461576A1; EP1583356A4; EP1583356B1; CN101778203B; CN101778222A; US20060115177A1; US7853097B2; US20120013772A1; EP2461576B1; CN101778222B; EP1583356A1; WO2004062275A1

Abstract

一种图像处理装置，具有：图像获取部，得到由摄像元件拍摄的图像；和缺陷信息制作部，在得到的图像内，根据目标像素的值和包含该目标像素的预定范围内的多个像素值的平均值，制作图像内的缺陷信息。

Description

图像处理装置及图像处理程序

以下的优先权基础申请的公开内容作为引用文被合并到这里。

日本专利申请2002年第379719号(2002年12月27日申请)

日本专利申请2002年第379720号(2002年12月27日申请)

日本专利申请2002年第379721号(2002年12月27日申请)

日本专利申请2003年第307355号(2003年08月29日申请)

日本专利申请2003年第307356号(2003年08月29日申请)

日本专利申请2003年第307357号(2003年08月29日申请)

技术领域

本发明涉及在由电子相机等拍摄的图像数据中除去灰尘等的影响的图像处理装置。

背景技术

以往，在特开平9-51459号公报中公开了以下技术：为了校正在制造摄像机时混入到光学系统中的灰尘的影响，预先拍摄各个光圈值的白色图形，并记录校正信息。此外，在特开平10-294870号公报及特开平11-27475号公报中公开了以下技术：在复印机领域，作为具有经常变化的可能性的灰尘的对策，在读取原稿前取入具有均匀的反射面的白色基准数据，进行灰尘检测。进而，在USP6,195,161号中公开了以下方法：在扫描器领域，为了起到代替该白色基准数据的效果，安装红外光传感器，与可见光数据同时得到透射率数据，得到由胶片缺陷引起的透射率的衰减信号。

发明内容

但是，在现有的相机中，只不过将制造时吸附在光学部件上的固定灰尘作为对象，而没有考虑随着使用频率、时间的经过而变化的灰尘。在现在开始普及的可更换镜头式的单反相机中，特别是由于摄像元件前部的光学部件是裸露的，所以随时间变化的灰尘的写入容易成为很大的问题。

另一方面，在复印机或扫描器中在本次扫描前或同时得到灰尘数据，与时间上有变化的灰尘相对应。但是，与相机的结构不同，相对于位于固定距离的原稿或胶片表面具有均匀的照明设备，进而通过安装完全均匀的反射面或设置新的红外线照明设备，可以比较容易的得到透射率数据。但是，在电子相机中，制造时除了检查以外很难得到这种完全的均匀面的透射率数据。

此外，复印机、扫描器基本上为固定光学系统，无需考虑随着光学系统的变化灰尘变化。另一方面，在现有的摄像机中没有与光圈值以外的光学条件变化相对应。

本发明提供一种可以从由电子相机等拍摄的图像数据中适当的除去灰尘的影响等的图像处理装置及图像处理程序。

根据本发明的第1方式，一种图像处理装置，具有：图像获取部，得到由摄像元件拍摄的图像；和缺陷信息制作部，在得到的图像内，根据目标像素的值和包含该目标像素的预定范围内的多个像素值的平均值，制作图像内的缺陷信息。

根据本发明的第2方式，优选的是，在第1方式的图像处理装置中，缺陷信息制作部具有相对比计算部，并根据算出的相对比制作缺陷信息，其中所述相对比计算部，计算目标像素和包含该目标像素的预定范围内的多个像素值的平均值的相对比。

根据本发明的第3方式，优选的是，在第1方式或第2方式的任意一个的图像处理装置，缺陷图像制作部，对在图像内满足预定的条件的区域制作缺陷信息。

根据本发明的第4方式，优选的是，在第1～3的任意一个方式的图像处理装置中，还具有校正部，根据缺陷信息校正图像内的缺陷。

根据本发明的第5方式，优选的是，在第2方式的图像处理装置中，还具有校正部，根据缺陷信息校正图像内的缺陷，校正部将相对比的倒数值乘以对应的像素值进行校正。

根据本发明的第6方式，优选的是，在第1方式的图像处理装置中，图像获取部，得到由摄像元件拍摄的多个图像，缺陷信息制作部，利用得到的多个图像，制作多个图像中的任意图像内的缺陷信息。

根据本发明的第7方式，优选的是，在第1方式的图像处理装置中，图像获取部，得到由摄像元件拍摄的多个图像，缺陷信息制作部，利用得到的多个图像，制作与多个图像的图像整体相对应的缺陷信息。

根据本发明的第8方式，一种图像处理装置，具有：图像获取部，得到通过光学系统拍摄的基准图像；和缺陷信息制作部，在得到的基准图像内，根据目标像素的值和包含该目标像素的预定范围内的多个像素值的平均值，制作基准图像内的缺陷信息。

根据本发明的第9方式，优选的是，在第8方式的图像处理装置中，缺陷信息制作部具有相对比计算部，并根据算出的相对比制作缺陷信息，其中相对比计算部，计算目标像素和包含该目标像素的预定范围内的多个像素值的平均值的相对比。

根据本发明的第10方式，优选的是，在第8～9的任意一个方式的图像处理装置中，图像获取部，得到通过光学系统拍摄的校正对象图像，还具有校正部，根据基准图像内的缺陷信息，校正校正对象图像内的缺陷。

根据本发明的第11方式，优选的是，在第10方式的图像处理装置中，通过光圈值及光瞳位置实质上相同的光学条件的光学系统拍摄基准图像和校正对象图像时，校正部，直接利用生成的缺陷信息，校正构成校正对象图像的像素的值。

根据本发明的第12方式，优选的是，在第10方式的图像处理装置中，还具有缺陷信息变换部，与作为光学系统的光学条件的光圈值及光瞳位置的至少一个相对应，变换缺陷信息，通过光圈值及光瞳位置的至少一个不同的光学条件的光学系统拍摄基准图像和校正对象图像时，利用变换的缺陷信息，校正构成校正对象图像的像素的值。

根据本发明的第13方式，优选的是，在第9方式的图像处理装置中，还具有校正部，将基准图像的相对比的倒数值乘以校正对象图像的对应的像素的值进行校正。

根据本发明的第14方式，优选的是，在第2、9的任意一个方式的图像处理装置中，相对比计算部，当算出的相对比包含在夹着1的预定范围时，将算出的相对比设定为1。

根据本发明的第15方式，优选的是，在第14方式的图像处理装置中，相对比计算部，使将算出的相对比设定为1的预定范围，与算出的相对比的标准偏差值建立关联。

根据本发明的第16方式，优选的是，在第1、8的任意一个方式的图像处理装置中，包含目标像素的预定范围，为比在图像或基准图像内生成的缺陷区域还大的范围。

根据本发明的第17方式，优选的是，在第10方式的图像处理装置中，图像获取部，得到在校正对象图像的拍摄前后的预定时间内拍摄的基准图像。

根据本发明的第18方式，优选的是，在第17方式的图像处理装置中，图像获取部，得到在与校正对象图像的拍摄时间第二近的时间以内的时间拍摄的基准图像。

根据本发明的第19方式，一种图像处理装置，具有：图像获取部，取得使用可以在多个色彩中分光的摄像元件拍摄的图像；亮度信号生成部，从图像的多个色彩信号生成亮度信号；和缺陷信息制作部，根据生成的图像的亮度信号，制作图像内的缺陷信息。

根据本发明的第20方式，优选的是，在第19方式的图像处理装置中，还具有校正部，利用缺陷信息校正图像内的缺陷像素的各色彩成分的值。

根据本发明的第21方式，优选的是，在第19方式的图像处理装置中，具有缺陷信息制作部，在得到的图像内，根据目标像素的生成的亮度信号的值、和包含该目标像素的预定范围内的多个像素的生成的亮度信号的平均值，制作图像内的缺陷信息。

根据本发明的第22方式，优选的是，在第21方式的图像处理装置中，缺陷信息制作部，具有相对比计算部，并根据算出的相对比制作缺陷信息，其中所述相对比计算部，计算目标像素的生成的亮度信号的值和包含该目标像素的预定范围内的多个像素的生成的亮度信号的平均值。

根据本发明的第23方式，优选的是，在第22方式的图像处理装置中，还具有校正部，将相对比的倒数值乘以对应的像素的各色彩成分的值进行校正。

根据本发明的第24方式，优选的是，在第19方式的图像处理装置中，图像获取部，得到由摄像元件拍摄的多个图像，亮度信号生成部，对于得到的多个图像生成亮度信号，缺陷信息制作部，利用生成的多个图像的亮度信号，制作多个图像的任意的图像内的缺陷信息。

根据本发明的第25方式，优选的是，在第19方式的图像处理装置中，图像获取部，得到由摄像元件拍摄的多个图像，亮度信号生成部，对于得到的多个图像生成亮度信号，缺陷信息制作部，利用得到的多个图像，制作与多个图像的图像整体对应的缺陷信息。

根据本发明的第26方式，优选的是，在第1方式的图像处理装置中，摄像元件通过光学系统拍摄图像，缺陷信息为在图像内生成的光路途中的缺陷的投影像的信息。

根据本发明的第27方式，优选的是，在第26方式的图像处理装置中，缺陷信息制作部，同时制作并记录与光路途中的缺陷的投影像的位置和强度相关的信息。

根据本发明的第28方式，优选的是，在第27方式的图像处理装置中，缺陷信息制作部，在对各个目标像素算出平均值的预定范围内移动，连续地制作与光路途中的缺陷的投影像相关的信息。

根据本发明的第29方式，优选的是，在第4方式的图像处理装置中，校正部，利用校正对象像素位置的原来的信号值求得校正值。

根据本发明的第30方式，优选的是，在第8方式的图像处理装置中，缺陷信息为在图像内生成的光路途中的缺陷的投影像的信息。

根据本发明的第31方式，优选的是，在第30方式的图像处理装置中，缺陷信息制作部，同时制作并记录与光路途中的缺陷的投影像的位置和强度相关的信息。

根据本发明的第32方式，优选的是，在第31方式的图像处理装置中，缺陷信息制作部，在对各个目标像素算出平均值的预定范围内移动，连续地制作与光路途中的缺陷的投影像的强度相关的信息。

根据本发明的第33方式，优选的是，在第10方式的图像处理装置中，校正部利用校正对象像素位置的原来的信号值求得校正值。

根据本发明的第34方式，优选的是，在第15方式的图像处理装置中，相对比计算部，将使算出的相对比设定为1的预定范围，设定为±(3×标准偏差值)的范围。

根据本发明的第35方式，优选的是，在第26方式的图像处理装置中，包含目标像素的预定范围，是比在图像内生成的光路途中的缺陷的投影像大的范围。

根据本发明的第36方式，优选的是，在第30方式的图像处理装置中，包含目标像素的预定范围，是比在基准图像内生成的光路途中的缺陷的投影像大的范围。

根据本发明的第37方式，一种图像处理装置，具有：图像获取部，得到通过光学系统拍摄的第一图像、和以与第一图像不同的光学条件拍摄的第二图像；和缺陷信息制作部，利用第一图像和第二图像，制造第一图像或第二图像内所包含的缺陷信息。

根据本发明的第38方式，优选的是，在第37方式的图像处理装置中，具有校正部，利用缺陷信息，校正第一图像或第二图像内的缺陷。

根据本发明的第39方式，优选的是，在第37方式的图像处理装置中，在第一图像和第二图像之间，光圈值及光瞳位置的至少一个光学条件不同。

根据本发明的第40方式，优选的是，在第37～39的任意一个方式的图像处理装置中，缺陷信息制作部具有光学条件变换部，为了消除第一图像和第二图像的光学条件的不一致，进行变换，以使第一图像和第二图像的至少一个图像在一定的光学条件下一致。

根据本发明的第41方式，优选的是，在第40方式的图像处理装置中，光学条件变换部，在光学条件的光圈值不同时，对基于第一图像或第二图像的像素信号进行低通滤波器处理，变换为假定在相同光圈值时的缺陷的状态。

根据本发明的第42方式，优选的是，在第41方式的图像处理装置中，光学条件变换部，利用实质上均等权重的低通滤波器进行变换。

根据本发明的第43方式，优选的是，在第40方式的图像处理装置中，光学条件变换部，在光学条件的光瞳位置不同时，对基于第一图像或第二图像的像素信号，进行从光学系统的光轴中心向动径方向偏移的移位处理，变换为假定位于相同的光瞳位置的缺陷的状态。

根据本发明的第44方式，优选的是，在第43方式的图像处理装置中，光学条件变换部，进行随着从光轴中心远离而在动径方向上偏移的量增加的移位处理。

根据本发明的第45方式，优选的是，在第43～44的任意一个方式的图像处理装置中，光学条件变换部，假定成为缺陷的原因的异物位于沿着光轴与光学系统内的摄像面具有预定距离的位置，进行预测移位量的运算，进行移位处理。

根据本发明的第46方式，优选的是，在第37方式的图像处理装置中，第一图像和第二图像的任意一个是作为校正的对象的校正对象图像，另一个是用于制作缺陷信息的基准图像。

根据本发明的第47方式，优选的是，在第37方式的图像处理装置中，第一图像和第二图像均是作为校正的对象的校正对象图像，缺陷信息制作部，利用第一图像和第二图像，制成第一图像和第二图像共同的缺陷信息。

根据本发明的第48方式，优选的是，在第47方式的图像处理装置中，缺陷信息制作部具有光学条件变换部，为了消除第一图像和第二图像的光学条件的不一致，进行变换，以使第一图像和第二图像的至少一个图像在一定的光学条件下一致。

根据本发明的第49方式，优选的是，在第46方式的图像处理装置中，图像获取部，得到以在光学系统的可变光圈值中转动到最小的状态的光圈值拍摄的基准图像。

根据本发明的第50方式，优选的是，在第37方式的图像处理装置中，缺陷信息制作部，在得到的图像内，根据目标像素的值和包含该目标像素的预定范围内的多个像素的值的平均值，制作图像内的缺陷信息。

根据本发明的第51方式，优选的是，在第46、49的任意一个方式的图像处理装置中，图像获取部，得到在校正对象图像的拍摄前后的预定时间内拍摄的基准图像。

根据本发明的第52方式，一种图像处理装置，具有：图像获取部，得到通过光学系统拍摄的第一图像、和以与第一图像不同的光学条件拍摄的第二图像；和校正部，利用第一图像和第二图像，校正第一图像或第二图像内所包含的缺陷。

根据本发明的第53方式，优选的是，在第52方式的图像处理装置中，在第一图像和第二图像之间，光圈值及光瞳位置的至少一个光学条件不同。

根据本发明的第54方式，一种图像处理装置，具有：图像获取部，得到由摄像元件拍摄的拍摄图像；平坦部分抽出部，在得到的拍摄图像内抽出平坦部分区域；和缺陷信息制作部，制作抽出的平坦部分区域的缺陷信息。

根据本发明的第55方式，优选的是，在第54方式的图像处理装置中，还具有校正部，根据缺陷信息，校正平坦部分区域的图像。

根据本发明的第56方式，优选的是，在第54～55的任意一个方式的图像处理装置中，在平坦部分区域的图像中，根据目标像素的值和包含该目标像素的预定范围内的多个像素的平均值，制作平坦部分区域的缺陷信息。

根据本发明的第57方式，优选的是，在第56方式的图像处理装置中，缺陷信息制作部，具有相对比计算部，并根据算出的相对比制作平坦部分区域的缺陷信息，其中相对比计算部，计算目标像素的值和包含该目标像素的预定范围内的多个像素的平均值的相对比。

根据本发明的第58方式，优选的是，在第55方式的图像处理装置中，还具有相对比计算部，计算构成平坦部分区域的图像的像素中、目标像素的值和包含该目标像素的预定范围内的多个像素的平均值的相对比，缺陷信息制作部，根据算出的相对比，制作平坦部分区域的缺陷信息，校正部，将与平坦部分区域的图像的像素对应的相对比的倒数值乘以平坦部分区域的图像对应的像素值进行校正。

根据本发明的第59方式，优选的是，在第58方式的图像处理装置中，校正部，对作为制成的缺陷信息的相对比进行低通处理，将与平坦部分区域的图像的像素对应的低通处理后的相对比的倒数值乘以平坦部分区域的图像对应的像素值进行校正。

根据本发明的第60方式，优选的是，在第54～59的任意一个方式的图像处理装置中，平坦部分抽出部，在拍摄图像内进行边缘抽出，将没有抽出边缘的区域作为平坦部分区域抽出。

根据本发明的第61方式，优选的是，在第54方式的图像处理装置中，平坦部分抽出部，具有对拍摄图像进行灰度变换的灰度变换部，对灰度变换后的拍摄图像进行平坦部分区域的抽出。

根据本发明的第62方式，优选的是，在第61方式的图像处理装置中，灰度变换部，在拍摄图像的灰度为线性信号时，变换为非线性信号。

根据本发明的第63方式，优选的是，在第62方式的图像处理装置中，灰度变换部，进行放大低亮度侧的灰度、压缩高亮度侧的灰度的变换。

根据本发明的第64方式，优选的是，在第62～63的任意一个方式的图像处理装置中，灰度变换部，根据幂函数进行变换。

根据本发明的第65方式，优选的是，在第64方式的图像处理装置中，幂函数是平方根函数。

根据本发明的第66方式，优选的是，在第60～65的任意一个方式的图像处理装置中，边缘抽出，在目标像素和周边像素之间，通过对多个方向进行由多个距离构成的差分运算而抽出。

根据本发明的第67方式，优选的是，在第55、58、59的任意一个方式的图像处理装置中，具有亮度等级判断部，判断拍摄图像的亮度等级是否在预定的亮度或其以上，校正部，对亮度等级在预定的亮度或其以上且是平坦部分区域的区域进行校正。

根据本发明的第68方式，优选的是，在第54方式的图像处理装置中，还具有：基准图像获取部，得到由摄像元件拍摄的基准图像；和基准图像缺陷信息制作部，制作基准图像的缺陷信息，缺陷信息制作部，组合使用基准图像的缺陷信息的区域信息和平坦部分区域的区域信息，制作平坦部分区域的缺陷信息。

根据本发明的第69方式，优选的是，在第68方式的图像处理装置中，平坦部分抽出部，即使在未被作为平坦部分区域抽出的区域，在是基准图像的缺陷信息表示的缺陷区域的情况下，将该缺陷区域作为平坦部分区域抽出。

根据本发明的第70方式，优选的是，在第68～69的任意一个方式的图像处理装置中，缺陷信息制作部，对满足基准图像的缺陷信息表示的缺陷区域和平坦部分区域的双方的区域，制作缺陷信息。

根据本发明的第71方式，优选的是，在第68方式的图像处理装置中，还具有缺陷信息变换部，当拍摄图像和基准图像拍摄是的光学条件不同时，将基准图像的缺陷信息变换为与在和拍摄图像相同的光学条件下拍摄的基准图像的缺陷信息等效的缺陷信息，校正部，利用变换了的基准图像的缺陷信息。

根据本发明的第72方式，优选的是，在第69～70的任意一个方式的图像处理装置中，还具有缺陷信息变换部，当拍摄图像和基准图像拍摄时的光学条件不同时，将基准图像的缺陷信息变换为与在和拍摄图像相同的光学条件下拍摄的基准图像的缺陷信息等效的缺陷信息，平坦部分抽出部及校正部，利用变换了的基准图像的缺陷信息。

根据本发明的第73方式，优选的是，在第71～72的任意一个方式的图像处理装置中，校正部，考虑缺陷信息变换部的缺陷信息变换误差，将基准图像的缺陷信息表示的缺陷区域，至少放大缺陷信息变换误差程度并进行利用。

根据本发明的第74方式，优选的是，在第54方式的图像处理装置中，图像获取部，得到由摄像元件拍摄的多个拍摄图像，平坦部分抽出部，在多个拍摄图像中，抽出平坦部分区域，缺陷信息制作部，使用抽出的多个图像的平坦部分区域的图像，制作多个图像的任意的图像的平坦部分区域的缺陷信息。

根据本发明的第75方式，优选的是，在第54方式的图像处理装置中，图像获取部，得到由摄像元件拍摄的多个拍摄图像，平坦部分抽出部，在多个拍摄图像中，抽出平坦部分区域，缺陷信息制作部，使用抽出的多个图像的平坦部分区域的图像，制作与多个图像的图像整体对应的缺陷信息。

根据本发明的第76方式，优选的是，在第74、75的任意一个方式的图像处理装置中，在平坦部分区域的图像中，根据目标像素的值和包含该目标像素的预定范围内的多个像素的平均值，制作平坦部分区域的缺陷信息。

根据本发明的第77方式，优选的是，在第76方式的图像处理装置中，缺陷信息制作部具有相对比计算部，并根据算出的相对比制作平坦部分区域的缺陷信息，其中相对比计算部，计算目标像素的值和包含该目标像素的预定范围内的多个像素的平均值的相对比。

根据本发明的第78方式，优选的是，在第69方式的图像处理装置中，平坦部分抽出部，对于基准图像的缺陷信息表示的缺陷区域，当在缺陷区域的周边具有预定量或预定量以上的边缘抽出的像素时，不将该缺陷区域作为平坦部分区域抽出。

根据本发明的第79方式，优选的是，在第78方式的图像处理装置中，平坦部分抽出部，当在缺陷区域的像素周边在一定区域的像素中被边缘抽出的像素超过半数时，不将该缺陷区域作为平坦部分区域的像素抽出。

根据本发明的第80方式，一种可计算机读入的计算机程序制品，具有用于在计算机中执行权利要求1～79的任意一项的图像处理装置的功能的图像处理程序。

附图说明

图1是表示可更换镜头式的电子相机的构成的图。

图2是表示电子相机的框图和个人电脑(PC)以及周边装置的图。

图3是对第一实施方式中的电子相机侧的拍摄顺序进行说明的图。

图4是表示对亮度面进行局部的标准化处理的样子的图。

图5是表示透射率映射的直方图。

图6是表示第一实施方式中由PC进行的处理的流程的流程图。

图7是对第二实施方式中的电子相机侧的拍摄顺序进行说明的图。

图8是光瞳位置变化时灰尘影像的位置变化的样子的图。

图9是表示作为光圈值的F值变化时灰尘影像的大小变化的样子的图。

图10是表示相对于各光圈值的一维滤波系数的图。

图11是将变换为光圈值F16的透射率映射的滤波器以二维滤波系数表示的图。

图12是表示第二实施方式中由PC进行的处理流程的流程图。

图13是表示对中等程度的灰尘通过F值变换来变换透射率的样子的图。

图14是对第三实施方式中的电子相机侧的拍摄顺序进行说明的图。

图15是表示第三实施方式中由PC进行的处理的流程的图。

图16是表示边缘抽取滤波器的图。

图17是表示第四实施方式中由PC进行的处理的流程的图。

图18是表示通过CD-ROM等记录介质或因特网等的数据信号提供程序的样子的图。

图19为表示边缘映射的周边同化处理的样子的图。

具体实施方式

[第一实施方式]

(电子相机及个人电脑的构成)

图1是表示可更换镜头式的单反电子照相机(以下称为电子相机)的构成的图。电子相机1具有相机主体2和由装配式更换镜头构成的可变光学系统3。可变光学系统3在内部具有镜头4和光圈5。镜头4由多个光学镜头组构成，但在图中作为代表以一个镜头表示，将该镜头4的位置称为主光瞳位置(以下简称为光瞳位置)。可变光学系统3也可以为变焦镜头。光瞳位置是由镜头种类、变焦镜头的变焦位置决定的值。有时根据焦点位置而改变。

相机主体2具有快门6、光学滤光器或玻璃罩等光学部件7、摄像元件8。可变光学系统3可以相对于相机主体2的装配部9装卸。此外，可变光学系统3经由装配部9，将关于光瞳位置、光圈位置的信息等光学参数发送到电子相机1的控制部17(图2)。光圈值例如在F2.8～F22内变化。

标号10表示吸附在摄像元件8前部的光学部件7表面的灰尘。进行实验，使可变光学系统3的光圈值或光瞳位置变化，评价写入到拍摄图像中的灰尘影像的变化，结果，判断出以下两个事实。

(1)根据光圈值，灰尘影像的大小和光的透射率发生变化。

(2)根据镜头的光瞳位置，灰尘位置偏移。

从该两个实验事实可知：即使是吸附在固定位置的灰尘，每当镜头的拍摄条件(光圈值和光瞳位置)变化时，灰尘的写入方法也变化。以下表示对这种可变的光学系统除去灰尘影响的方法。

图2为表示电子相机1的框图和PC(个人电脑)31以及周边装置的图。PC 31具有作为图像处理装置的功能，从电子相机1获取图像数据，进行后述的灰尘的影响去除处理。

电子相机1具有可变光学系统3、光学部件7、快门6(在图2中省略图示)、摄像元件8、模拟信号处理部12、A/D转换部13、时序控制部14、图像处理部15、操作部16、控制部17、存储器18、压缩/扩展部19、显示图像生成部20、监视器21、存储卡用接口部22、和外部接口部23。

摄像元件8，通过可变光学系统3拍摄被拍摄体，输出与拍摄的被拍摄体对应的图像信号(摄像信号)。摄像元件8，具有由多个像素构成的矩形形状的摄像区域，将作为与各像素中存储的电荷相对应的模拟信号的图像信号，以像素为单位依次输出到模拟信号处理部12。摄像元件8例如由单板式彩色CCD等构成。模拟信号处理部12，在其内部具有CDS(相关双采样)电路、AGC(自动增益控制)电路等，对输入的图像信号进行预定的模拟处理。A/D转换部13将由模拟信号处理部12处理的模拟信号转换为数字信号。时序控制部14由控制部17控制，控制摄像元件8、模拟信号处理部12、A/D转换部13、图像处理部15的各动作的时序。

存储卡用接口部22，采用与存储卡(卡状的可移动存储器)30的接口。外部接口部23，采用经由预定的电缆或无线传送路径与PC31等外部装置的接口。操作部16相当于释放按钮或模式切换用的选择按钮等。监视器21显示各种菜单，或显示基于由摄像元件8拍摄的被拍摄体图像或存储在存储卡中的图像数据的重放图像。操作部16的输出与控制部17连接，显示图像生成部20的输出与监视21连接。图像处理部15，例如由图像处理专用的单芯片微处理器构成。

A/D转换部13、图像处理部15、控制部17、存储器18、压缩/扩展部19、显示图像生成部20、存储卡用接口部22、外部接口部23，经由总线24而互相连接。

在PC 31上，连接监视器32及打印机33等，并预先安装记录在CD-ROM 34上的应用程序。此外，PC 31，除了具有未图示的CPU、存储器、硬盘之外，还具有作为与存储卡30的接口的存储卡用接口部(未图示)、作为经由预定的电缆或无线传送路径与电子相机1等外部装置的接口的外部接口部(未图示)。

在图1的构成的电子相机1中，通过操作部16由操作者选择拍摄模式并按压释放按钮后，控制部17通过时序控制部14，对摄像元件8、模拟信号处理部12、A/D转换部13进行时序控制。摄像元件8生成与通过可变光学系统3而在摄像区域成像的光学图像相对应的图像信号。该图像信号，由模拟信号处理部12进行预定的模拟信号处理，并作为模拟处理后图像信号输出至A/D转换部13。在A/D转换部13中，将模拟处理后的图像信号数字化，并作为图像数据供给至图像处理部15。

在本实施方式的电子相机1中，在摄像元件8中，以双( )配列单板式相机摄像元件的最有代表性的R(红)、G(绿)、B(青)的彩色滤光器的情况为例，将供给至图像处理部15的图像数据以RGB表色系统表示。在构成图像数据的各个像素中，存在RGB的任何一个色彩成分的色彩信息。在此，将构成摄像元件8的一个光电转换元件称为像素，单与该像素对应的图像数据的1单位也叫像素。此外，图像也是由像素构成的概念。

图像处理部15，对这种图像数据进行插补、灰度变换、轮廓增强等图像处理。进行过这种图像处理的图像数据，根据需要，由压缩/扩展部19进行预定的压缩处理，并经由存储卡用接口部22记录到存储卡30上。进行过图像处理的图像数据，也可以不进行压缩处理就记录到存储卡30上。

进行过图像处理的图像数据，经由存储卡30被提供至PC31。也可以经由外部接口23和预定的电缆或无线线路提供至PC31。进行过图像处理的图像数据，插补处理结束，在各像素中存在RGB的全部的色彩成分的色彩信息。

(灰尘的影响去除处理)

接下来，对在拍摄的各图像数据中除去灰尘的影响的处理进行说明。在第一实施方式中，假定每次由电子相机1对用于按照各个光学拍摄条件获得灰尘信息的基准图像进行拍摄的情况。然而，基准图像并不是完全均匀的白基准图像，也可以拍摄天空、近似均匀的壁面、灰度级图、单色的纸面等代用。此时的基准数据，也可以包括镜头的周边减光、被拍摄体的灰度、摄像元件的明暗度等。基准图像，假定在实际上能容易地在身边的场所拍摄的状况下能够获得的情况，不要求严密的均匀性，通过图像处理侧的运算法则变换为均匀的。

(电子相机侧的操作)

图3是对电子相机1侧的拍摄顺序进行说明的图。1)以光瞳位置P1、光圈值A1进行一般拍摄101，输出校正对象图像数据1。2)接着，以相同的光瞳位置P1、光圈值A1进行均匀面拍摄102，输出基准图像数据1。3)然后，以不同的光瞳位置P2、光圈值A2进行一般拍摄103，输出校正对象图像数据2。4)接下来，以与一般拍摄103相同的光瞳位置P2、光圈值A2进行均匀面拍摄104，输出基准图像数据2。即，首先，将电子相机1朝向要拍摄的被拍摄体进行拍摄(一般拍摄)，之后将电子相机1朝向天空或壁面进行均匀面的拍摄(均匀面拍摄)。或者，相机在与一般拍摄时相同的状态下，只在镜头之前数cm～10cm左右的地方罩上白纸或单色的纸即可。如此，进行将一般拍摄和均匀面拍摄作为一对的拍摄操作。在此，输出图像数据是指，记录到存储卡30上，或经由外部接口23直接输出到PC31上。

在电子相机中灰尘的状态有可能会发生变化，因此在本实施方式中，在校正对象图像的拍摄之后直接以相同的光学条件进行均匀面的拍摄。但是，实际上也可以不用是如此严密的时间上的之后。在可以光学地再现对于光瞳位置和光圈值的相同的拍摄条件的情况下，即使是经过一天左右拍摄的均匀面数据，相当多的灰尘大多不会发生很大变化能够使用。因此，均匀面数据，如果是在能够再现相同的拍摄条件、充分反映一般拍摄时的灰尘信息的程度的时间差内拍摄而得的，就可以代用。另外，也可以交换一般拍摄和均匀面拍摄的顺序，先进行均匀面拍摄然后进行一般拍摄。

(图像处理装置侧操作)

由电子相机1拍摄的图像数据，在进行了预定的图像处理之后被提供到PC 31。在PC 31中，使用一对校正对象图像数据和基准图像数据，进行灰尘的影响去除处理。PC 31也可以称为进行灰尘的影响去除处理的图像处理装置。基准图像数据和校正对象图像数据，在双配列的RGB插补处理已经结束的状态下，均被输入到PC 31中。以下说明的基准图像数据和校正对象图像数据，为在相同的光瞳位置和光圈值的光学条件下拍摄的数据。图6为表示由PC 31进行的处理的流程的流程图。

<对基准图像数据的处理>

1)亮度面的生成

在图6的步骤S11中进行亮度面的生成。对于基准图像数据的各像素[i，j]，使用下式(1)，从RGB信号生成亮度信号。[i，j]表示像素的位置。

Y[i，j]＝(R[i，j]+2*G[i，j]+B[i，j])/4……(1)也可以在RGB各面个别地进行解析，但基本上灰尘影的影响仅产生信号的衰减，与色彩成分无关。因此，在此有效地使用所有的信息，进行向可以降低随机杂波的影响的亮度成分的变换。此外，由此从RGB3面仅通过亮度成分单面的解析完成，实现高速化。亮度成分生成比率并不限于上述比率，也可以是R∶G∶B＝0.3∶0.6∶0.1等。

2)透射率映射的生成(抽出增益映射)

在步骤S12中，进行由以下的处理构成的透射率映射的生成(抽出增益映射)。

2-1)局部的标准化处理(增益抽出处理)

基准图像数据，如上所述未必完全均匀。因此，生成的亮度面也不完全均匀。对这种亮度面，进行局部像素值的标准化(正规化)处理，使用下式(2)计算各像素的透射率信号T[i，j]。即，对各个像素得到目标像素[i，j]的值和包含该像素的局部范围的像素平均值的相对比。由此，均匀面数据所包含的灰度、明暗度等的不均匀性，利用运算法则被无问题地排除，并可以仅抽出由主要的灰尘影导致的透射率的降低。将如此求得的图像全面的透射率称为透射率映射(增益映射)。透射率映射表示基准图像的缺陷信息。另外，像素值为各像素中的色彩成分的色彩信号(色彩信息)、亮度信号(亮度信息)的值。例如，由1字节表示时，选取1～255的值。

T [i, j] = \frac{Y [i, j]}{(Σ_{m = i - a}^{i + a} Σ_{m = j - b}^{j + b} Y [i + m, j + n]) / (2 a + 1) (2 b + 1)} \cdot \cdot \cdot (2)

在此，选取局部平均的范围(2a+1)×(2b+1)像素，采用比灰尘直径大的。理想的是在面积上与灰尘影相比选用3倍或3倍以上的范围，这样就可以得到正确的透射率数据。a表示以目标像素[i，j]为中心左右扩展的像素数，b表示以目标像素[i，j]为中心上下扩展的像素数。例如，摄像元件8的像素间距设为12μm，摄像面和灰尘吸附面的距离设为1.5mm，则光圈值F22时，巨大的灰尘的直径为15像素左右，光圈值F4时，巨大的灰尘的直径为40像素左右。因此，设a＝40、b＝40，选取局部平均的范围设定为81×81像素范围即可。这是其一例，也可以是其他的像素数所选用的像素范围。

灰尘影大大依存于光圈值，小的灰尘在打开光圈时就会立刻消失，但大的灰尘即使打开光圈，其影虽然变淡但仍占很大的面积。虽然也与摄像元件的像素间距宽度有关，但有时在打开侧可以跨数十像素得到圆形的灰尘影，此时需要在非常宽的范围内选取局部平均。因此，将处理高速化时，即使以间隔的像素代表进行处理也没有问题。

将在该(2a+1)×(2b+1)像素的范围计算相对比的处理称为局部标准化处理(增益抽出处理)。也可以将在(2a+1)×(2b+1)像素的范围内进行相对比计算的滤波器称为增益抽出内核(カ一ネル)。图4是表示对亮度面进行局部标准化处理的样子的图。图4(a)是表示排列在亮度面内的某个横向的像素的亮度信号的图。标号41和标号42表示由于灰尘亮度信号减弱。图4(b)是对图4(a)的亮度信号进行上述局部标准化处理而得到的图。即，在局部范围内进行像素值的标准化处理。标号43、44表示与图4(a)的标号41、42相对应、灰尘存在的位置的透射率。如此，可以排除均匀面数据所包含的灰度、明暗度等的不均匀性，仅抽出由于灰尘影产生的透射率的降低。由此，同时得知灰尘的位置和透射率的程度。

2-2)透射率映射的低通处理

也可以使透射率映射的低通处理能够选择，但由于大部分具有效果，所以优选的是预先进入该处理。在透射率信号T[i，j]中，包含随着亮度信号的量子论的波动引起的随机杂波，因此在透射率近似为1的程度微微残留有灰尘影的影响的区域，由于其随机性，在以下进行2-4)的阈值判定时，有时会在斑中抽出灰尘影。为了防止此事，根据下式(3)，通过低通滤波器进行灰尘影的集体化时，就会变得更加美观。

T[i，j]＝{4*T[i，j]

+2*(T[i-1，j]+T[i+1，j]+T[i，j-1]+T[i，j+1])

+1*(T[i-1，j-1]+T[i-1，j+1]+T[i+1，j-1]+T[i+1，j+1])}/16……(3)

2-3)透射率映射的统计解析

对于通过上述局部标准化处理得到的透射率映射的图像全面，根据下式(4)求得平均值M，根据下式(5)求得标准偏差σ，进行统计解析。另外，N_x、N_y表示x方向、y方向的总像素数。

M = \frac{1}{N_{x} N_{y}} \underset{i, j}{Σ} T [i, j] \cdot \cdot \cdot (4)

σ = \sqrt{\frac{1}{N_{x} N_{y}} \underset{i, j}{Σ} {(T [i, j] - M)}^{2}} \cdot \cdot \cdot (5)

2-4)阈值判定

基本上透射率映射中所占的灰尘信号的面积的比率非常小，2-3)中统计解析的结果，评价了随着透射率信号的量子论的波动引起的随机杂波(短杂波)。放大了图4中的标号45部分的标号46，表示存在该细小随机杂波的样子。采用透射率映射的直方图时，变成以平均值M(M是近似为1的值)为中心标准偏差σ正态分布的形状。图5为表示透射率映射的直方图的图。考虑到该波动的范围不受由灰尘影引起的透射率的变化的影响，因此可以强制地将透射率设定为1。即，根据以下条件(6)(7)进行阈值判定。

如果|T[i，j]-M|≤3σ 那么T[i，j]＝1……(6)

否则 T[i，j]＝T[i，j]……(7)

正态分布的随机数据，如果集中在±3σ的范围，就会变为99.7％，因此可以大致正确的去除随机杂波的影响。±3σ之外的透射率，是几乎在统计的误差中无法说明的异常的信号，表示了由于灰尘影引起的透射率的降低而产生的现象。该异常部分，在灰尘影的情况下，一般是比1小的值。

但是，比率虽然很少但有时也表示比1大的值。这不是灰尘影的影响，而是在引起增强或减弱入射光的干涉条纹等情况下，看到由光学低通滤波器等的条纹(折射率的不均)产生的缺陷的现象。由此，可以对光路途中所包含的灰尘以外的光学部件的缺陷检测也利用该方法。此外，摄像元件内的像素缺陷的影响也可以通过该方法判别。靠近摄像元件8的灰尘比较明显，容易残留，但即使拍摄镜头上的灰尘相当模糊写入的情况下也可以高精度的进行判别。

另外，仅去除灰尘影的影响的情况下，根据以下条件(8)(9)(10)进行阈值判定即可。

如果|T[i，j]-M|≤3σ 那么T[i，j]＝1……(8)

否则如果T[i，j]＞1 T[i，j]＝1……(9)

否则 T[i，j]＝T[i，j]……(10)

由于用于判定的平均值M通常选用近似为1的值，所以也可以替换为1。

如此，同时得到表示缺陷的像素位置的图信息(以是否T＝1进行判断)和表示缺陷的程度的两种缺陷信息。另外，上述透射率映射表示局部的相对增益，因此也可以称为增益映射。

通常，灰尘等的缺陷检测，由边缘检测用的微分滤波器进行。但是，将光路途中的灰尘作为对象时，由于光学上比较模糊，因此呈现为与周边的对比度非常低的灰尘影。这种情况下，大多在微分滤波器中灵敏度非常差、几乎无法检测。但是，如上述说明，如果使用利用了透射率的统计性质的判定法，就可以进行灵敏度非常高的灰尘检测，可以对由于目的的光路途中的异物引起的影响进行校正。

<对校正对象图像的处理>

3)增益校正

在步骤S31中进行增益校正。利用如上求得的透射率映射进行校正对象图像数据的校正。如式(11)(12)(13)所示，分别对校正对象图像数据的R、G、B值乘以透射率信号的倒数，进行增益校正。

R[i，j]＝R[i.j]/T[i，j]……(11)

G[i，j]＝G[i.j]/T[i，j]……(12)

B[i，j]＝B[i.j]/T[i，j]……(13)

由此，可以很好地校正由于灰尘影引起的亮度的降低。另外，由于对透射率映射进行阈值判定，因此无需校正的地方可以不进行多余的校正。即，由于对没有灰尘的位置的透射率T去除了随机杂波的影响，所以不用担心RGB信号的杂波被放大。

如上，在第一实施方式中，即使是不具有灰尘对策用的特别机构的普通的电子相机，也可以对在任意时刻拍摄的图像进行合适的校正。由于对基准图像的均匀面的拍摄不要求严密的均匀性，因此可以比较容易地实现。进而，与现有的灰尘检测法相比，可以进行灵敏度特别好的检测及校正。

[第二实施方式]

在第二实施方式中表示了以下方法：仅拍摄一次用于得到灰尘信息的基准图像，即使对光学拍摄条件不同的多个图像，也利用该基准图像去除灰尘。电子相机1及作为图像处理装置的PC 31的结构，与第一实施方式相同，因此省略其说明。

(电子相机侧的操作)

图7是对第二实施方式中电子相机1侧的拍摄顺序进行说明的图。1)以光瞳位置P0、光圈值A0进行均匀面拍摄201，输出基准图像数据0。2)以光瞳位置P1、光圈值A1进行一般拍摄202，输出校正对象图像数据1。3)以光瞳位置P2、光圈值A2进行一般拍摄203，输出校正对象图像数据2。4)以光瞳位置P3、光圈值A3进行一般拍摄204，输出校正对象图像数据3。即，首先将电子相机1朝向天空或壁面进行均匀面的拍摄(均匀面拍摄)，其后，将电子相机1朝向要拍摄的被拍摄体进行随时拍摄(一般拍摄)。

在此，基准图像的光圈值A0，是在可变光学系统3所准备的可变范围中转动到最小的状态拍摄的光圈值。转动到最小的光圈值，在标准的镜头中例如为F22。另一方面，使校正对象图像的光圈值与基准图像相同或在比其更开放一侧。

均匀面拍摄只要灰尘的吸附状态不变就可以省略。均匀面拍摄的插入次数没有超过很多，但通常如果是一天一次程度的数据，就可以得到有效的灰尘数据。是否进行均匀面拍摄的判断，由拍摄者自己进行。但是，之前进行的均匀面拍摄在时间上间隔太久的情况下，还会产生基于该均匀面拍摄的基准数据欠缺可靠性的情形。因此，也可以仅使用距离一般拍摄在预定的时间内的均匀面拍摄的基准图像数据。在一般拍摄前后存在多个均匀面拍摄时，可以使用在时间上最近的均匀面拍摄的基准图像数据。或者，如果在有新吸附灰尘的可能性，也可以从拍摄前后第二近之前的拍摄中任选其一。

(图像处理装置侧操作)

在第二实施方式中，在输入到作为图像处理装置的PC 31中的基准图像数据和校正对象图像数据中，嵌入可以识别光瞳位置和光圈值的数据。光瞳位置数据，也可以利用换算表，从嵌入到拍摄数据中的镜头的种类、变焦位置、焦点位置的记录数据进行计算。图12是表示由PC 31进行的处理的流程的流程图。

<对基准图像的处理>

1)亮度面生成、透射率映射的生成

步骤S21的亮度面生成、步骤S22的透射率映射的生成，与第一实施方式一样地进行。

2)透射率映射的光瞳位置变换

在步骤S23中，进行透射率映射的光瞳位置变换。基准图像和校正对象图像的光瞳位置相互不同时，变换光瞳位置，将基准图像的灰尘位置变换为预测的从校正对象图像的光瞳位置看时出现的灰尘位置。图8为表示光瞳位置变化时灰尘影的位置变化的样子的图。图8(a)为表示光瞳位置、灰尘和摄像元件8的摄像面的关系的图。图8(b)为表示随着光瞳位置的变化灰尘影在摄像面上移动的样子的图。

从图8可知，光瞳位置不同时，写入到图像内的灰尘的位置从光轴51即图像的中心在动径方向偏移。在此，估计位于距离图像内的光轴为r的位置的灰尘在动径方向上偏移的量Δr。设基准图像的光瞳位置为P0，校正对象图像的光瞳位置为P0’，灰尘吸附在距离摄像面为l的位置，则Δr可以根据下式(14)计算。

Δr = r \cdot \frac{l}{P_{0}^{'} - l} \cdot \frac{P_{0} - P_{0}^{'}}{P_{0}} \cdot \cdot \cdot (14)

其中，距离l为将光学部件的厚度换算成了空气中的光路长度的值。

将基准图像的透射率映射T[i，j]根据下式(15)在极坐标[r，θ]上移位到[r’，θ]，从而变换为坐标[i，j]上的透射率映射T’[i，j]。

r^{'} = r + Δr = r (1 + \frac{l}{P_{0}^{'} - l} \cdot \frac{P_{0} - P_{0}^{'}}{P_{0}}) \cdot \cdot \cdot (15)

随着与光轴51的距离的变大，偏移量Δr变大。在实际的图像的周边部分，根据光瞳位置的值，有时甚至达到数十像素。

3)透射率映射的F值变换

在步骤S24中，进行透射率映射的F值变换。基准图像和校正对象图像的光圈值互相不同时，将基准图像的灰尘直径和透射率F值变换为在校正对象图像在更为打开一侧的光圈值下的灰尘直径和透射率。图9为表示作为光圈值的F值变化时灰尘影的大小变化的样子的图。图9(a)表示F较大的情况，图9(b)表示F较小的情况。从图9可知，当将F值的定义式(F＝焦距/镜头的有效口径)应用于具有相似关系的从拍摄面到灰尘吸附位置的距离l和灰尘范围Γ时，下式(16)成立。

Γ = \frac{l}{F} \cdot \cdot \cdot (16)

l被摄像元件的像素间距a[mm/pixel]除时，灰尘直径可以用像素数表示。如此，可以预测光圈为F值时，点像的灰尘放大到宽度Γ的大小。

另一方面，由于考虑到从在光圈值内开口的镜头的各入射角度均等地对点像灰尘照射光扩展灰尘影，因此该点像的分布函数假定为具有完全均匀的扩展的函数即可。因此，对于F值变换，通过进行由滤波器宽度Γ像素表示的均匀的低通滤波器处理，可以进行正确地预测灰尘直径和透射率的F值变换。低通滤波器是直径为Γ的普通的圆形非分离型滤波器，但为了处理的高速化，也可以是纵Γ、横Γ的正方形的分离型滤波器。

例如，应用于当l＝0.5mm、a＝5μm/pixel时将F22的透射率映射变换为F16、F11、F8、F5.6、F4的情况时，正方形的分离型滤波器的一维滤波系数被表示为图10的形式。使用图10的一维滤波系数，纵横分别进行滤波。此外，光圈值F16的一维滤波系数具有两端为0.5的7个系数。这是因为以目标像素为中心，左右上下均等扩展偶数宽的程度而以奇数宽的范围来进行滤波。图11为以二维滤波器表示光圈值F16滤波器的图。

通过进行上述变换处理，基准图像的透射率映射被变换为校正对象图像的光瞳位置、F值的状态的透射率映射。即，基准图像的透射率映射，生成与在拍摄校正对象图像的光学条件下生成的透射率映射等效的透射率映射。

<对校正对象图像的处理>

3)增益校正

在步骤S25中，利用上述变换处理了的透射率映射进行增益校正。与第一实施方式相同，分别对校正对象图像数据的R、G、B值，如式(17)(18)(19)所示，乘以F值变换后的透射率信号的倒数，进行增益校正。

R[i，j]＝R[i.j]/T’[i，j]……(17)

G[i，j]＝G[i.j]/T’[i，j]……(18)

B[i，j]＝B[i.j]/T’[i，j]……(19)

图13是表示对中等程度的灰尘通过F值变换来变换透射率的样子的图。横轴表示像素位置，纵轴表示透射率。

如此，可以在可变的光学系统中，仅以最小光圈值拍摄一张基准图像，而不需要其他的光学条件下的基准图像的拍摄。即，可以通过与一张基准图像相互地变换灰尘数据，实现有效的校正。因此，与第一实施方式相同，不需要均匀图像拍摄的严密性，也能够保持极高灵敏度的检测性能。

[第三实施方式]

在第三实施方式中，表示在完全没有均匀面的基准图像的状态下，在校正对象图像内进行灰尘检测并将其去除的方法。基本的原理如下：如果发现校正对象图像中的平坦部分(图像部分均匀的区域)，可以直接相同的应用对第一实施的基准图像进行的灰尘透射率映射生成处理(增益映射生成)。电子相机1及作为图像处理装置的PC 31的结构与第一实施方式相同，因此省略其说明。

(电子相机侧的操作)

图14是对第三实施方式中电子相机1侧的拍摄顺序进行说明的图。1)以光瞳位置P1、光圈值A1进行一般拍摄301，输出校正对象图像数据1。2)以光瞳位置P2、光圈值A2进行一般拍摄302，输出校正对象图像数据2。3)以光瞳位置P3、光圈值A3进行一般拍摄303，输出校正对象图像数据3。4)以光瞳位置P4、光圈值A4进行一般拍摄304，输出校正对象图像数据3。即，在第三实施方式中，不进行第一实施方式及第二实施方式中进行的均匀面拍摄。

(图像处理装置侧操作)

<对校正对象图像的处理>

图15为表示在作为图像处理装置的PC 31中进行的处理的流程图。在步骤S31中进行亮度面的生成。在步骤S32中，通过亮度面的γ校正、边缘抽出滤波器处理、阈值判定，进行边缘映射的生成。在步骤S33中，对边缘映射进行暗黑部的追加处理。在步骤S34中，进行边缘映射的放大处理。在步骤S35中，进行到平坦映射的变换。在步骤S36中，进行自我增益抽出处理。在步骤S37中，进行自我增益校正处理。以下，对各步骤进行详细说明。

1)亮度面的生成(步骤S31)

对校正对象图像数据的各像素[i，j]，进行将RGB信号到亮度信号Y的变换。变换方法与对第一实施方式的基准图像进行的方法相同。

2)边缘映射的生成(步骤S32)

将边缘抽出滤波器放在亮度面上，进行校正对象图像内的平坦部分和边缘部分的分离。到光路途中所包含的灰尘映射像内的写入呈现为对比度非常低的灰尘影，因此通过现有技术的边缘抽出滤波器检测不出的情况比较多。相反地利用该事实，由边缘抽出滤波器抽出的边缘部分，如果不是灰尘而是基本的图像内的边缘，则可以假定为多个位置。为了进一步进行该图像内的边缘和灰尘的区别，首先进行对亮度面的灰度校正处理。

2-1)亮度面的γ校正

线性灰度直接输入校正对象图像，生成上述亮度面。此时，设输入信号为Y(0≤Y≤Ymax)，输出信号为Y’(0≤Y’≤Y’max)，进行如下式(20)的灰度变换。另外，γ＝0.4、0.5、0.6等。

Y^{'} = Y_{\max}^{'} {(\frac{Y}{Y_{\max}})}^{γ} \cdot \cdot \cdot (20)

该变换为升高低亮度侧的中间色调的对比度、降低高亮度侧的对比度的处理。即，由于在暗的地方难以看清灰尘影、而在亮的地方灰尘影很鲜明，因此灰尘影的对比度通过该变换降低，而由于一般的图像边缘主要分布为中间色调，因此相对的升高对比度。因此，灰尘影和一般边缘的对比度的分离度变好。进而将起因于Y’的量子波动的短杂波经过全部灰度均匀处理地进行变换时，从误差传播法则考虑选取γ＝0.5最佳。另外，上述公式(20)变为幂函数。此外，γ＝0.5，幂函数变为平方根函数。

对输入图像进行最终输出用的γ校正处理时，在进行与上述变换接近的γ校正处理的情况下，也可以跳过该处理。此外，进行逆γ校正返回线性灰度后，进行上述处理时，得到更好的分离功能。

2-2)边缘抽出滤波器处理

然后，在进行γ校正的亮度面上，放上图16及下式(21)的边缘抽出滤波器。设各像素的边缘抽出成分为YH[i，j]。

YH[i，j]＝{|Y’[i-1，j]-Y’[i，j]|+|Y’[i+1，j]-Y’[i，j]|

+|Y’[i，j-1]-Y’[i，j]|+|Y’[i，j+1]-Y’[i，j]|

+|Y’[i-1，j-1]-Y’[i，j]|+|Y’[i+1，j+1]-Y’[i，j]|

+|Y’[i-1，j+1]-Y’[i，j]|+|Y’[i+1，j-1]-Y’[i，j]|

+|Y’[i-2，j-1]-Y’[i，j]|+|Y’[i+2，j+1]-Y’[i，j]|

+|Y’[i-2，j+1]-Y’[i，j]|+|Y’[i+2，j-1]-Y’[i，j]|

+|Y’[i-1，j-2]-Y’[i，j]|+|Y’[i+1，j+2]-Y’[i，j]|

+|Y’[i-1，j+2]-Y’[i，j]|+|Y’[i+1，j-2]-Y’[i，j]|

+|Y’[i-3，j]-Y’[i，j]|+|Y’[i+3，j]-Y’[i，j]|

+|Y’[i，j-3]-Y’[i，j]|+|Y’[i，j+3]-Y’[i，j]|

+|Y’[i-3，j-3]-Y’[i，j]|+|Y’[i+3，j+3]-Y’[i，j]|

+|Y’[i-3，j+3]-Y’[i，j]|+|Y’[i+3，j-3]-Y’[i，j]|}/24……(21)

在此，将上述滤波器设计为：尽量全的抽出图像本来的边缘部分，从所有的方向都不遗漏的集中具有多个相关距离的绝对值差分。

2-3)阈值判定

根据下式(22)(23)，对边缘抽出成分YH进行阈值判定，进行边缘部分或平坦部分的分类，并将结果输出到边缘映射EDGE[i，j]。阈值Th1对255灰度选用1～5左右的值。边缘部分上存在的灰尘影，基本上灰尘影被隐藏在边缘部分振动的信号中，并不明显，因此为无需去除的区域。

如果YH[i，j]＞Th1 EDGE[i，j]＝1(边缘部分)……(22)

否则 EDGE[i，j]＝0(平坦部分)……(23)

如上所述，在2-1)中进行灰度变换，改变灰度间的加权，在2-3)中经过全部灰度并在固定的阈值Th1中进行阈值判定。但是，即使直接以线性灰度进行边缘抽出、设定与亮度等级对应的阈值进行阈值判定，也可以得到大致相同的效果。

3)在边缘映射中追加暗黑部(步骤S33)

边缘映射表示必须进行增益映射抽出的区域。除了边缘之外，进行增益映射抽出比较危险的区域为暗的区域(暗黑部)。暗黑部由于S/N很差，因此即使抽出相对增益可靠性也很低。进而由于暗黑部上存在的灰尘影几乎看不到，因此无需进行灰尘去除。因此，暗的区域也根据下式(24)追加到边缘映射中。阈值Th2相对应255线性灰度大约设定在20或20以下。示意地将该操作表示为“EDGE’＝EDGE+DARK”就会容易理解。

如果Y[i，j]≤Th2 EDGE[i，j]＝1……(24)

4)边缘映射的放大处理(步骤S34)

与第一实施方式相同，在平坦部分内将(2a+1)×(2b+1)像素的中心值与平均值的相对比进行比较，生成透射率映射。因此，根据下式(25)进行边缘部分的(2a+1)×(2b+1)像素放大处理，以不提前将边缘部分放入该内核中。m＝1、2……a，n＝1、2……b。

如果EDGE[i，j]＝1 EDGE[i±m，j±n]＝1……(25)

5)到平坦映射的变换(步骤S35)

根据下式(26)(27)将边缘映射EDGE[i，j]变换为平坦映射FLAT[i，j]。通过位反转来实现。平坦映射表示的平坦区域，表示由(2a+1)×(2b+1)像素构成的增益映射抽出内核可以在校正对象图像内自我抽出的区域。

如果EDGE[i，j]＝0 FLAT[i，j]＝1(平坦部分)……(26)

否则 FLAT[i，j]＝0(边缘部分)……(27)

6)自我增益抽出(步骤S36)

仅对FLAT[i，j]＝1的区域进行第一实施方式中从基准图像数据生成透射率映射的处理顺序。

6-1)局部标准化处理(增益抽出处理)

从(2a+1)×(2b+1)像素内的相对比生成FLAT[i，j]＝1的区域的T[i，j]。FLAT[i，j]＝0区域设定为全部T[i，j]。

6-2)透射率映射的统计解析

与第一实施方式相同地统计解析FLAT[i，j]＝1的区域内的T[i，j]，计算平均值m和标准偏差σ。

6-3)阈值判定

与第一实施方式相同地对FLAT[i，j]＝1的区域内的T[i，j]进行阈值判定，选用m±3σ的值的T[i，j]设定为T[i，j]＝1。

7)自我增益校正(步骤S37)

与第一实施方式相同地，分别对校正对象图像的R、G、B值乘以自我抽出的透射率信号T[i，j]的倒数，进行自我增益校正。

如此，即使没有均匀面的基准图像数据，也可以自我抽出校正对象图像本身的灰尘并进行校正。即，在一个拍摄图像内如上所述抽出满足可以保证平坦性的预定条件的区域。使抽出的同一区域既是基准图像又是校正对象图像。此外，在第三实施方式中，不需要全部加入可变光学系统的影响。特别是，对占有庞大数量的小灰尘影的去除发挥威力。

[第四实施方式]

在第四实施方式中，与第二实施方式相同，仅拍摄一张基准图像，利用与灰尘位置相关的信息，并且透射率映射不是采用从基准图像抽出的方式，而是如第三实施方式采用从校正对象图像本身自我抽出的方式。在第二实施方式中，进行透射率映射的光瞳位置变换，但光瞳位置的值为近似值并不准确时，产生在光瞳位置变换中产生误差的情况。另一方面，在第三实施方式中，在边缘映射抽出中将大的灰尘作为边缘抽出，产生不进行校正的情况。在第四实施方式中，对这种第二实施方式和第三实施方式的问题进行处理。即，利用第三实施方式中可靠性高的透射率映射的生成方法，同时通过以与第二实施方式相同的方法获得的可靠性高的灰尘位置信息进行校正。另外，电子相机1及作为图像处理装置的PC 31的结构，与第一实施方式相同，因此省略其说明。

(电子相机侧操作)

拍摄顺序与第二实施方式相同。

(图像处理装置侧操作)

图17为表示由作为图像处理装置的PC 31进行的处理的流程图。

<对基准图像的处理>

1)步骤S41的亮度面的生成与第一实施方式及第二实施方式相同。2)步骤S42的透射率映射的生成(增益映射抽出)与第一实施方式及第二实施方式相同。3)步骤S43的透射率映射的光瞳位置变换与第二实施方式相同。4)步骤S44的透射率映射的F值变换与第二实施方式相同。

5)透射率映射的阈值判定

在步骤S45中，进行透射率映射的阈值判定。进行透射率映射的F值变换时，生成很多与通过低通滤波器处理灰尘影几乎消失的透射率1接近的像素。为了将这些与鲜明的灰尘影区别，根据下式(28)(29)进行再度阈值判定。在此，再度利用在2)的“透射率映射的生成”过程中算出的标准偏差值σ。以T’[i，j]表示光瞳位置、F值变换了的透射率映射。

如果|T’[i，j]-1|≤3σ 那么T’[i，j]＝1 ……(28)

否则 T’[i，j]＝T’[i，j]……(29)

6)到灰尘映射的变换

在步骤S46中，根据下式(30)(31)将透射率映射二值化，并变换为灰尘映射dmap[i，j]。

如果T’[i，j]＜1 dmap[i，j]＝1……(30)

否则 dmap[i，j]＝0……(31)在此公式(30)的判定，也可以使其具有一点余地，如T’[i，j]＜0.95进行判定。

7)灰尘映射的放大处理

在步骤S47中，通过仅放大根据下式(32)在光瞳位置变换中假定的误差部分的灰尘映射，使容许误差内的区域为包含灰尘的灰尘映射。在此，例如估计±3像素的误差。m＝1、2、3，n＝1、2、3。

如果dmap[i，j]＝1 dmap[i±m，j±n]＝1……(32)

<对校正对象图像的处理>

1)步骤S51的亮度面的生成，与第三实施方式相同。2)步骤S52的边缘映射的生成与第三实施方式相同。3)对步骤S53的边缘映射追加暗黑部的处理，与第三实施方式相同。示意地将该操作表示为“EDGE’＝EDGE+DARK”就会容易理解。

4)从边缘映射中去除灰尘区域

在步骤S54中，从边缘映射去除灰尘区域。灰尘影的多数由于对比度很低而不被边缘抽出，其中存在大的、对比度高的灰尘，就会被边缘抽出。特别是在转动拍摄的校正对象图像内在一些灰尘影中发生了。为了防止这些灰尘影作为边缘区域从增益抽出区域的指定中偏离，进行以下处理：利用在步骤S46中求得的灰尘映射信息，根据下式(33)强制地从边缘部分去除灰尘位置。在此，为了防止过大地去除边缘区域，利用进行步骤S47的灰尘映射的放大处理前的的灰尘映射。示意地将该操作表示为“EDGE”＝EDGE+DARK-DUST”就会容易理解。

如果dmap[i，j]＝1 EDGE[i，j]＝0……(33)

4’)边缘映射的周边同化处理(灰尘挖出部分的校正)(S60)

边缘映射仅仅被变形地挖出(去除)灰尘部分的状态是不自然的，因此进行边缘映射内的周边同化处理。例如，背景为天空之类的均匀图像时，利用步骤S46的灰尘映射信息，从边缘映射中挖出大的灰尘的边缘部分也不会发生任何问题。莫如说需要挖出。但是，背景为具有图案及结构的图像的情况下，根据步骤S46的灰尘映射信息而从边缘映射中挖出存在灰尘的部分时，从周边的实际的图案及结构的关系进行不自然的校正处理。因此，被判断为不是边缘部分的像素，被判断在其周边的像素中具有很多边缘像素时，将该像素作为再度边缘部分。

边缘映射的周边同化处理根据以下所示的处理进行。具体地说，在与例如图19所示的目标像素相对的周边8像素(图19的黑圆点的像素，图19对目标像素[i，j]＝[0，0]仅表示第四象限)中超过4个的像素是边缘的情况下，使目标像素也为边缘。超过4个是指周边8像素中是边缘的像素超过半数。即，在周边像素中存在超过半数的边缘像素的情况下，使目标像素也是边缘。另外，在以下处理的例中，虽然看到水平方向垂直方向的第8像素的像素，但未必一定限定为第8像素。从几像素看到十几像素之前的像素即可。此外，以下的处理也可以对全部像素进行，也可以仅限于以dmap＝1而边缘挖出的像素。

数据复制

tmp[i，j]＝EDGE[i，j]对于所有的像素[i，j]

周边同化处理

如果tmp[i，j]＝0{

sum＝tmp[i-8，j]+tmp[i+8，j]+tmp[i，j-8]+tmp[i，j+8]

+tmp[i-8，j-8]+tmp[i+8，j+8]+tmp[i-8，j+8]+tmp[i+8，j-8]

如果sum＞4 EDGE[i，j]＝1

}

5)步骤S55的边缘映射放大处理与第三实施方式相同。6)步骤S56的到平坦映射的变换与第三实施方式相同。

7)自我增益抽出区域的确定

在步骤S57中进行自我增益抽出区域的确定。限定为平坦部分且确定是灰尘区域的区域进行灰尘去除，从防止校正对象图像的错误校正的观点来看是最为合理的。因此，将满足该两个条件的区域信息带入根据下式(34)求得的平坦映射。即，仅在FLAT和dmap双方均处于1的标记的情况下FLAT＝1，否则FLAT＝0。

FLAT[i，j]＝FLAT[i，j]*dmap[i，j]……(34)

8)自我增益抽出

步骤S58的自我增益抽出，与第三实施方式不同，仅进行局部标准化处理(增益抽出处理)。根据这以后的透射率映射的统计解析和阈值判定处理进行的灰尘区域限定处理，由于根据7)的处理已经限定在灰尘附近，所以不需要。局部标准化处理(增益抽出处理)与第三实施方式相同。这样，根据步骤S47的处理仅在光瞳位置变换精度的误差分的灰尘周边扩展增益抽出区域，进行灰尘搜索，由此可以无遗漏第进行灰尘抽出。

在此对自我抽出的透射率映射进行低通处理。对T[i，j]的自我抽出的全部区域进行与第一实施方式相同的低通处理，去除T[i，j]所包含的像素[i，j]的波动成分。在本实施方式中，仅限定为灰尘位置的局部区域，不通过根据统计解析进行的阈值处理，通过自我增益抽出进行自我增益校正，因此该低通处理是重要的处理。即，低通处理前，由于像素值和透射率值T[i，j]在相同方向上波动，因此不进行低通处理就进行后述的自我增益校正时，图像容易变得仅在该局部区域整体平坦。因此，如果去除T[i，j]的波动成分，则不失去像素值具有的波动成分，也能保证与周边部分的粒状性的连续性。这特别在高灵敏度图像之类的杂乱性多的情况下发挥威力。在此，低通滤波器即使设计的比第一实施方式稍强一些也没有关系，或者只是容易受到低通滤波器影响的大的灰尘部分(T[i，j]的值与1相比相当小的地方)错过低通滤波器处理也可以。

9)自我增益校正

步骤S59的自我增益校正与第三实施方式相同。由于即使基准图像的透射率映射的光瞳位置变换精度变差，也能从校正对象图像本身抽出灰尘的透射率信息，因此可以进行完全没有偏差的完美的校正。另外，自我增益的抽出，限定在步骤S57中确定的自我增益抽出区域进行。因此，校正处理也仅限于该范围进行，减轻了处理的负担。

如上，在第四实施方式中，通过有效第利用基准图像的灰尘映射信息，可以无遗漏第自我抽出校正对象图像内的从大灰尘到小灰尘的所有灰尘。此外，基准图像的透射率映射的光瞳位置变换精度差时，可以用作第二实施方式的代替设备。进而，与第二实施方式相同，基准图像拍摄的拍摄者的负担也非常小。

在上述说明的第一实施方式～第四实施方式的图像处理装置中，可以对在由电子相机在任意的使用时刻、任意的使用条件下拍摄的图像中产生的由灰尘等的影响引起的染黑等缺陷进行适当地校正，再现高品质的图像。

另外，在上述第一、第二、第四实施方式中，为了制作透射率映射，拍摄者拍摄认为接近均匀的基准图像，对该拍摄的基准图像进行局部的标准化处理，制成透射率映射。但是，有时拍摄者认为接近均匀的基准图像中具有小的图案。这基本上可以通过使被拍摄体晕映进行拍摄来处理。例如，将纸放在比镜头的最短拍摄距离还近的位置进行拍摄即可。即使有小的图案，如果使在比(2a+1)×(2b+1)大小的增益抽出内核大的范围内缓缓变化的像变得模糊，就会充分实现目的，从而可以得到接近均匀的基准图像。

此外，在上述第四实施方式中，在步骤S57进行自我增益抽出区域的确定，在步骤S58在限定的范围内进行校正。如此将校正范围限定为包含灰尘区域的周边区域(附近区域)的方法，在上述第一～第三实施方式中也可以适用。在第一～第三实施方式中，从求得的透射率映射确定灰尘，求得其周边区域即可。

此外，在上述第三实施方式中，对得到一张拍摄图像、并在一张拍摄图像中抽出平坦部分生成灰尘映射的处理进行了说明。但是，在平坦部分存在大灰尘的情况下，不将该部分作为平坦部分抽出。在第四实施方式中表示了通过得到基准图像对其进行处理的例子，但即使不得到基准图像，也可以通过利用多个图像的相关，将这种大灰尘的部分也认为是缺陷信息制作对象的平坦部分。例如，在不同的被拍摄体的多个拍摄图像中，在总是在相同位置具有由边缘抽出检测出的像时，存在那是灰尘的像的可能性。因此，对于在第三实施方式中处理的边缘映射，在多个拍摄图像中取AND时，将取AND的部分从边缘映射中去除。这样一来，可以将取AND的部分追加到平坦部分中，即使对大灰尘也可以制成透射率映射。另外，取AND的也可以不限于边缘映射。从拍摄图像生成的数据中，只要是取AND可以认为是拍摄光路上的灰尘的数据，什么数据都可以。例如，无论增益抽出内核的透射率映射是否为平坦部分，强制地对图像全面进行计算，具有在多个图像间在相同的位置以相同的透射率抽出的像的情况下，也可以考虑以下AND的得到方法：作为缺陷信息的透射率映射而残留，其他从缺陷信息中去除。

此外，对于在第三实施方式中得到的平坦部分中的透射率映射，取多个拍摄图像的OR时，可以得到拍摄画面整体的透射率映射。在第三实施方式中得到的平坦部分，按照被拍摄体不同拍摄画面中平坦部分的位置也不同。如果取这些平坦部分的OR，也可以变为拍摄画面整体。因此，即使不拍摄用于得到灰尘信息的基准图像，也可以从多个拍摄图像即多个校正对象图像得到拍摄画面整体的透射率映射。该拍摄画面整体的透射率映射，可以在多个校正对象图像中共用。

另外，如上所述对于多个拍摄图像取边缘映射的AND或取透射率映射的OR时，根据拍摄图像光瞳位置及F值(光圈值)也不同。此时，与在第二实施方式中说明的相同，直接在图像信号的状态或透射率映射的状态下进行光瞳位置变换或F值信号变换等并活用即可。

此外，在上述实施方式中，说明了双配列的RGB表色系统的例子，但如果在最终进行插补处理，当然就完全不依存于色彩滤光器的配置方法。此外，其他的表色系统(例如补色表色系统)也一样。

此外，在上述实施方式中，说明了可更换镜头式的单反电子照相机的例子，但未必限定于该内容。本发明对非更换镜头式的相机也可以适用。光瞳位置及光圈值以适当的公知的方法得到即可。

此外，在上述实施方式中，说明了对由电子照相机1拍摄的图像数据进行处理的例子，但未必限定于该内容。本发明对由处理动画的摄像机拍摄的图像数据也可以适用。此外，对于由带有相机的携带电话等拍摄的图像数据也可以适用。即，对于适用摄像元件拍摄的所以的图像数据，都可以应用本发明。

此外，在上述实施方式中，说明了在PC(个人电脑)31中处理由电子相机1拍摄的图像数据并去除灰尘的影响的例子，但未必限定于该内容。也可以在电子相机1上安装这种程序。此外，也可以在打印机或投影装置等上安装这种程序。即，对处理图像数据的所有装置，本发明都可以适用。

在PC 31中执行的程序可以通过CD-ROM等记录介质或因特网等的数据信号提供。图18是表示其样子的图。PC 31通过CD-ROM 34接收程序的提供。此外，PC 31具有与通信线路401连接的功能。计算机402是提供上述程序的服务器计算机，在硬盘403等记录介质中存储程序。通信线路401是因特网、个人电脑通信等的通信线路或专用通信线路等。计算机402使用硬盘403读出程序，并经由通信线路401将程序发送到PC 31中。即，将程序作为数据信号承载在输送波中，并经由通信线路401进行发送。如此，程序可以作为记录介质或输送波等种种方式的可计算机读入的计算机程序制品提供。

以上，说明了种种实施方式以及变形例，但本发明并不限于这些内容。本发明的技术思想范围内的其他方式也包含在本发明的范围内。

Claims

1.一种图像处理装置，具有：

图像获取部，得到由摄像元件拍摄的图像；和

缺陷信息制作部，在所述得到的图像内，根据目标像素的值和包含该目标像素的预定范围内的多个像素值的平均值，制作所述图像内的缺陷信息。

2.根据权利要求1所述的图像处理装置，

所述缺陷信息制作部，具有相对比计算部，并根据所述算出的相对比制作所述缺陷信息，其中所述相对比计算部，计算所述目标像素和包含该目标像素的预定范围内的多个像素值的平均值的相对比。

3.根据权利要求1或2的任意一项所述的图像处理装置，

所述缺陷图像制作部，对在所述图像内满足预定的条件的区域制作缺陷信息。

4.根据权利要求1～3的任意一项所述的图像处理装置，

还具有校正部，根据所述缺陷信息，校正所述图像内的缺陷。

5.根据权利要求2所述的图像处理装置，

还具有校正部，根据所述缺陷信息校正所述图像内的缺陷，

所述校正部，将所述相对比的倒数值乘以对应的像素值进行校正。

6.根据权利要求1所述的图像处理装置，

所述图像获取部，得到由所述摄像元件拍摄的多个图像，

所述缺陷信息制作部，利用所述得到的多个图像，制作所述多个图像中的任意图像内的缺陷信息。

7.根据权利要求1所述的图像处理装置，

所述图像获取部，得到由所述摄像元件拍摄的多个图像，

所述缺陷信息制作部，利用所述得到的多个图像，制作与所述多个图像的图像整体相对应的缺陷信息。

8.一种图像处理装置，具有：

图像获取部，得到通过光学系统拍摄的基准图像；和

缺陷信息制作部，在所述得到的基准图像内，根据目标像素的值和包含该目标像素的预定范围内的多个像素值的平均值，制作所述基准图像内的缺陷信息。

9.根据权利要求8所述的图像处理装置，

10.根据权利要求8或9的任意一项所述的图像处理装置，

所述图像获取部，得到通过所述光学系统拍摄的校正对象图像，

还具有校正部，根据所述基准图像内的缺陷信息，校正所述校正对象图像内的缺陷。

11.根据权利要求10所述的图像处理装置，

在通过光圈值及光瞳位置实质上相同的光学条件的光学系统拍摄所述基准图像和所述校正对象图像的情况下，所述校正部，直接利用所述生成的缺陷信息，校正构成所述校正对象图像的像素的值。

12.根据权利要求10所述的图像处理装置，

还具有缺陷信息变换部，与作为所述光学系统的光学条件的光圈值及光瞳位置的至少一个相对应，变换所述缺陷信息，

在通过光圈值及光瞳位置的至少一个不同的光学条件的光学系统拍摄所述基准图像和所述校正对象图像的情况下，利用所述变换的缺陷信息，校正构成所述校正对象图像的像素的值。

13.根据权利要求9所述的图像处理装置，

还具有校正部，将所述基准图像的相对比的倒数值乘以所述校正对象图像的对应的像素的值，进行校正。

14.根据权利要求2或9的任意一项所述的图像处理装置，

所述相对比计算部，当所述算出的相对比包含在夹有1的预定范围时，将所述算出的相对比设定为1。

15.根据权利要求14所述的图像处理装置，

所述相对比计算部，使将所述算出的相对比设定为1的所述预定范围，与所述算出的相对比的标准偏差值建立关联。

16.根据权利要求1或8的任意一项所述的图像处理装置，

包含所述目标像素的预定范围，为比在所述图像或所述基准图像内生成的缺陷区域还大的范围。

17.根据权利要求10所述的图像处理装置，

所述图像获取部，得到在所述校正对象图像的拍摄前后的预定时间内拍摄的基准图像。

18.根据权利要求17所述的图像处理装置，

所述图像获取部，得到在与所述校正对象图像的拍摄时间第二近的时间以内的时间拍摄的基准图像。

19.一种图像处理装置，具有：

图像获取部，取得使用可以在多个色彩中分光的摄像元件拍摄的图像；

亮度信号生成部，从所述图像的多个色彩信号生成亮度信号；和

缺陷信息制作部，根据所述生成的图像的亮度信号，制作所述图像内的缺陷信息。

20.根据权利要求19所述的图像处理装置，

还具有校正部，利用所述缺陷信息校正所述图像内的缺陷像素的各色彩成分的值。

21.根据权利要求19所述的图像处理装置，

具有缺陷信息制作部，在所述得到的图像内，根据目标像素的所述生成的亮度信号的值、和包含该目标像素的预定范围内的多个像素的所述生成的亮度信号的平均值，制作所述图像内的缺陷信息。

22.根据权利要求21所述的图像处理装置，

所述缺陷信息制作部，具有相对比计算部，并根据所述算出的相对比制作所述缺陷信息，其中所述相对比计算部，计算目标像素的所述生成的亮度信号的值和包含该目标像素的预定范围内的多个像素的所述生成的亮度信号的平均值。

23.根据权利要求22所述的图像处理装置，

还具有校正部，将所述相对比的倒数值乘以对应的像素的各色彩成分的值，进行校正。

24.根据权利要求19所述的图像处理装置，

所述图像获取部，得到由所述摄像元件拍摄的多个图像，

所述亮度信号生成部，对于所述得到的多个图像生成所述亮度信号，

所述缺陷信息制作部，利用所述生成的多个图像的亮度信号，制作所述多个图像的任意的图像内的缺陷信息。

25.根据权利要求19所述的图像处理装置，

所述图像获取部，得到由所述摄像元件拍摄的多个图像，

所述缺陷信息制作部，利用所述得到的多个图像，制作与所述多个图像的图像整体对应的缺陷信息。

26.根据权利要求1所述的图像处理装置，

所述摄像元件通过光学系统拍摄图像，

所述缺陷信息为在所述图像内生成的光路途中的缺陷的投影像的信息。

27.根据权利要求26所述的图像处理装置，

所述缺陷信息制作部，同时制作并记录与所述光路途中的缺陷的投影像的位置和强度相关的信息。

28.根据权利要求27所述的图像处理装置，

所述缺陷信息制作部，在对各个所述目标像素算出所述平均值的所述预定范围移动，连续地制作与所述光路途中的缺陷的投影像相关的信息。

29.根据权利要求4所述的图像处理装置，

所述校正部，利用校正对象像素位置的原来的信号值求得校正值。

30.根据权利要求8所述的图像处理装置，

31.根据权利要求30所述的图像处理装置，

32.根据权利要求31所述的图像处理装置，

所述缺陷信息制作部，在对各个所述目标像素算出所述平均值的所述预定范围移动，连续地制作与所述光路途中的缺陷的投影像的强度相关的信息。

33.根据权利要求10所述的图像处理装置，

所述校正部利用校正对象像素位置的原来的信号值求得校正值。

34.根据权利要求15所述的图像处理装置，

所述相对比计算部，将使所述算出的相对比设定为1的所述预定范围，设定为±(3×标准偏差值)的范围。

35.根据权利要求26所述的图像处理装置，

包含所述目标像素的预定范围，是比在所述图像内生成的光路途中的缺陷的投影像大的范围。

36.根据权利要求30所述的图像处理装置，

包含所述目标像素的预定范围，是比在所述基准图像内生成的光路途中的缺陷的投影像大的范围。

37.一种图像处理装置，具有：

图像获取部，得到通过光学系统拍摄的第一图像、和以与所述第一图像不同的光学条件拍摄的第二图像；和

缺陷信息制作部，利用所述第一图像和所述第二图像，制造所述第一图像或所述第二图像内所包含的缺陷信息。

38.根据权利要求37所述的图像处理装置，

具有校正部，利用所述缺陷信息，校正所述第一图像或所述第二图像内的缺陷。

39.根据权利要求37所述的图像处理装置，

在所述第一图像和所述第二图像之间，光圈值及光瞳位置的至少一个光学条件不同。

40.根据权利要求37～39的任意一项所述的图像处理装置，

所述缺陷信息制作部具有光学条件变换部，为了消除所述第一图像和所述第二图像的光学条件的不一致，进行变换，以使所述第一图像和所述第二图像的至少一个图像在一定的光学条件下一致。

41.根据权利要求40所述的图像处理装置，

所述光学条件变换部，在所述光学条件的光圈值不同时，对基于所述第一图像或所述第二图像的像素信号进行低通滤波器处理，变换为假定在相同光圈值时的缺陷的状态。

42.根据权利要求41所述的图像处理装置，

所述光学条件变换部，利用实质上均等权重的低通滤波器进行变换。

43.根据权利要求40所述的图像处理装置，

所述光学条件变换部，在所述光学条件的光瞳位置不同时，对基于所述第一图像或所述第二图像的像素信号，进行从所述光学系统的光轴中心向动径方向偏移的移位处理，变换为假定位于相同的光瞳位置的缺陷的状态。

44.根据权利要求43所述的图像处理装置，

所述光学条件变换部，进行随着从光轴中心远离而在动径方向上偏移的量增加的移位处理。

45.根据权利要求43或44的任意一项所述的图像处理装置，

所述光学条件变换部，假定成为所述缺陷的原因的异物位于沿着光轴与所述光学系统内的摄像面具有预定距离的位置，进行预测移位量的运算，进行移位处理。

46.根据权利要求37所述的图像处理装置，

所述第一图像和第二图像的任意一个是作为校正的对象的校正对象图像，另一个是用于制作缺陷信息的基准图像。

47.根据权利要求37所述的图像处理装置，

所述第一图像和第二图像均是作为校正的对象的校正对象图像，

所述缺陷信息制作部，利用所述第一图像和所述第二图像，制成所述第一图像和所述第二图像共同的缺陷信息。

48.根据权利要求47所述的图像处理装置，

49.根据权利要求46所述的图像处理装置，

所述图像获取部，得到以在所述光学系统的可变光圈值中转动到最小的状态的光圈值拍摄的所述基准图像。

50.根据权利要求37所述的图像处理装置，

所述缺陷信息制作部，在所述得到的图像内，根据目标像素的值和包含该目标像素的预定范围内的多个像素的值的平均值，制作所述图像内的缺陷信息。

51.根据权利要求46、49的任意一项所述的图像处理装置，

52.一种图像处理装置，具有：

校正部，利用所述第一图像和所述第二图像，校正所述第一图像或所述第二图像内所包含的缺陷。

53.根据权利要求52所述的图像处理装置，

54.一种图像处理装置，具有：

图像获取部，得到由摄像元件拍摄的拍摄图像；

平坦部分抽出部，在所述得到的拍摄图像内抽出平坦部分区域；和

缺陷信息制作部，制作所述抽出的平坦部分区域的缺陷信息。

55.根据权利要求54所述的图像处理装置，

还具有校正部，根据所述缺陷信息，校正所述平坦部分区域的图像。

56.根据权利要求54～55的任意一项所述的图像处理装置，

在所述平坦部分区域的图像中，根据目标像素的值和包含该目标像素的预定范围内的多个像素的平均值，制作所述平坦部分区域的缺陷信息。

57.根据权利要求56所述的图像处理装置，

所述缺陷信息制作部，具有相对比计算部，并根据所述算出的相对比制作所述平坦部分区域的缺陷信息，其中所述相对比计算部，计算所述目标像素的值和包含该目标像素的预定范围内的多个像素的平均值的相对比。

58.根据权利要求55所述的图像处理装置，

还具有相对比计算部，计算构成所述平坦部分区域的图像的像素中、目标像素的值和包含该目标像素的预定范围内的多个像素的平均值的相对比，

所述缺陷信息制作部，根据所述算出的相对比，制作所述平坦部分区域的缺陷信息，

所述校正部，将与所述平坦部分区域的图像的像素对应的所述相对比的倒数值乘以所述平坦部分区域的图像对应的像素值进行校正。

59.根据权利要求58所述的图像处理装置，

所述校正部，对作为所述制成的缺陷信息的相对比进行低通处理，将与所述平坦部分区域的图像的像素对应的所述低通处理后的相对比的倒数值乘以所述平坦部分区域的图像对应的像素值进行校正。

60.根据权利要求54～59的任意一项所述的图像处理装置，

所述平坦部分抽出部，在所述拍摄图像内进行边缘抽出，将没有抽出边缘的区域作为平坦部分区域抽出。

61.根据权利要求54所述的图像处理装置，

所述平坦部分抽出部，具有对所述拍摄图像进行灰度变换的灰度变换部，对灰度变换后的所述拍摄图像进行所述平坦部分区域的抽出。

62.根据权利要求61所述的图像处理装置，

所述灰度变换部，在所述拍摄图像的灰度为线性信号时，变换为非线性信号。

63.根据权利要求62所述的图像处理装置，

所述灰度变换部，进行放大低亮度侧的灰度、压缩高亮度侧的灰度的变换。

64.根据权利要求62～63的任意一项所述的图像处理装置，

所述灰度变换部，根据幂函数进行变换。

65.根据权利要求64所述的图像处理装置，

所述幂函数是平方根函数。

66.根据权利要求60～65的任意一项所述的图像处理装置，

所述边缘抽出，在目标像素和周边像素之间，通过对多个方向进行由多个距离构成的差分运算而抽出。

67.根据权利要求55、58、59的任意一项所述的图像处理装置，

具有亮度等级判断部，判断所述拍摄图像的亮度等级是否在预定的亮度或其以上，

所述校正部，对所述亮度等级在预定的亮度或其以上且是所述平坦部分区域的区域进行校正。

68.根据权利要求54所述的图像处理装置，

还具有：基准图像获取部，得到由所述摄像元件拍摄的基准图像；和

基准图像缺陷信息制作部，制作所述基准图像的缺陷信息，

所述缺陷信息制作部，组合使用所述基准图像的缺陷信息的区域信息和所述平坦部分区域的区域信息，制作所述平坦部分区域的缺陷信息。

69.根据权利要求68所述的图像处理装置，

所述平坦部分抽出部，即使在未被作为所述平坦部分区域抽出的区域，在是所述基准图像的缺陷信息表示的缺陷区域的情况下，将该缺陷区域作为所述平坦部分区域抽出。

70.根据权利要求68～69的任意一项所述的图像处理装置，

所述缺陷信息制作部，对满足所述基准图像的缺陷信息表示的缺陷区域和所述平坦部分区域的双方的区域，制作缺陷信息。

71.根据权利要求68所述的图像处理装置，

还具有缺陷信息变换部，当所述拍摄图像和所述基准图像拍摄时的光学条件不同时，将所述基准图像的缺陷信息变换为与在和所述拍摄图像相同的光学条件下拍摄的基准图像的缺陷信息等效的缺陷信息，

所述校正部，利用所述变换了的基准图像的缺陷信息。

72.根据权利要求69～70的任意一项所述的图像处理装置，

所述平坦部分抽出部及所述校正部，利用所述变换了的基准图像的缺陷信息。

73.根据权利要求71～72的任意一项所述的图像处理装置，

所述校正部，考虑所述缺陷信息变换部的缺陷信息变换误差，将所述基准图像的缺陷信息表示的缺陷区域，至少放大所述缺陷信息变换误差程度并进行利用。

74.根据权利要求54所述的图像处理装置，

所述图像获取部，得到由所述摄像元件拍摄的多个拍摄图像，

所述平坦部分抽出部，在所述多个拍摄图像中，抽出所述平坦部分区域，

所述缺陷信息制作部，使用所述抽出的多个图像的平坦部分区域的图像，制作所述多个图像的任意的图像的平坦部分区域的缺陷信息。

75.根据权利要求54所述的图像处理装置，

所述缺陷信息制作部，使用所述抽出的多个图像的平坦部分区域的图像，制作与所述多个图像的图像整体对应的缺陷信息。

76.根据权利要求74、75的任意一项所述的图像处理装置，

77.根据权利要求76所述的图像处理装置，

所述缺陷信息制作部具有相对比计算部，并根据所述算出的相对比制作所述平坦部分区域的缺陷信息，其中所述相对比计算部，计算所述目标像素的值和包含该目标像素的预定范围内的多个像素的平均值的相对比。

78.根据权利要求69所述的图像处理装置，

所述平坦部分抽出部，对于所述基准图像的缺陷信息表示的缺陷区域，当在所述缺陷区域的周边具有预定量或预定量以上的边缘抽出的像素时，不将该缺陷区域作为所述平坦部分区域抽出。

79.根据权利要求78所述的图像处理装置，

所述平坦部分抽出部，当在所述缺陷区域的像素周边在一定区域的像素中被边缘抽出的像素超过半数时，不将该缺陷区域作为所述平坦部分区域的像素抽出。

80.一种可计算机读入的计算机程序制品，具有用于在计算机中执行权利要求1～79的任意一项所述的图像处理装置的功能的图像处理程序。