CN102823236B

CN102823236B - 成像装置以及图像处理方法

Info

Publication number: CN102823236B
Application number: CN201180017315.1A
Authority: CN
Inventors: 宫下丈司; 河合智行
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-06-09
Filing date: 2011-05-19
Publication date: 2016-01-20
Anticipated expiration: 2031-05-19
Also published as: US8767117B2; JP5616442B2; CN102823236A; US20130002911A1; WO2011155297A1; JPWO2011155297A1

Abstract

在减小产生校正残留误差的同时适当校正焦点检测像素的像素值。数码相机（11）包括CCD（32）、AF检测电路（46）、特定像素校正单元（48）等。CCD（32）具有在成像表面上布置成预定图案的标准像素和相差像素，并输出一帧的图像信号。AF检测电路（46）通过参考来自图像信号的相差像素的像素值来评估焦点对准状态。特定像素校正单元（48）通过将相差像素的像素值乘以预定增益来确定第一校正值，并且将第一校正值与相差像素周围的标准像素的像素值进行比较。如果第一校正值等于或小于这些像素值的最大值并等于或大于其最小值，相差像素的像素值被第一校正值替换。否则，相差像素的像素值被通过对外围像素的像素值求平均而获取的第二校正值替换。

Description

成像装置以及图像处理方法

技术领域

本发明涉及一种其中并入了具有焦点检测像素的图像传感器的成像装置，更具体地说，本发明涉及一种用于通过校正焦点检测像素的数据来成像的成像装置和图像处理方法。

背景技术

具有自动聚焦调节功能的成像装置被广泛采用，例如数码相机。自动聚焦调节（下文中称为AF）的方法包括主动型和被动型。在主动型中，将红外线或超音波施加至目标以根据反射光的聚焦位置或反射光返回之前的时间等测量距离。在被动型中，利用拍摄镜头等获得的目标图像被用来检测焦距。被动型的已知AF功能包括对比度检测方法和相差检测方法。对比度检测方法调节聚焦以使得整个帧或特定区域中的图像的对比度最大化。相差检测方法根据布置为具有视差（相差）的两个图像传感器输出的图像数据之间的关系来调节聚焦。

近来，已知用于在自动聚焦时利用一个图像传感在相差检测方法中操作的成像装置，其中在水平（或垂直）方向上不结构对称的像素（下文中称为相差像素）被接合到图像传感器的像素排列中。如上所述的相差像素是结构不对称的像素，其具有诸如比一般像素更低的敏感度之类的差异特征。相差像素的多个部分可能在目标图像中模糊或者以噪声的形式被染色。鉴于此，对于其中使用了具有相差像素的图像传感器的成像装置来说，对目标图像中的相差像素数据进行校正是已知的。

已知两种校正相差像素数据的方法，即均值校正和增益校正。均值校正是其中对与相差像素外围相邻的标准像素的像素值（亮度）求平均并将其用作相差像素的像素值的校正方法（专利文献1）。增益校正是用于将相差像素的像素值乘以预定增益以增大相差像素的像素值的校正方法（专利文献1和2）。

现有技术文献

专利文献

专利文献1:日本专利公开No.2009-303194

专利文献2:日本专利公开No.2000-305010

发明内容

本发明所要解决的问题

已知均值校正和增益校正均为如上所述的相差像素校正方法。

根据目标图像的特征，存在能够被可接受地校正的目标图像以及由于校正而具有明显噪声的目标图像的示例。如果图像是在相差像素周围不存在高频边缘分量的低对比度图像，则均值校正具有良好的校正效果。如果通过均值校正来校正在相差像素周围具有高频边缘分量的目标图像，会由于作为缺陷的回弯而出现错误染色。即使在相差像素周围存在高频边缘分量，增益校正也可不受影响地进行适当校正。另一方面，对于在相差像素周围不存在高频边缘分量的低对比度图像，通过与增益相乘来增大像素值，由此产生了噪声明显的缺陷。更具体地说，如果存在由于闪烁、虚影或入射角与垂直入射角不同的其它光线而造成的噪声，则标准像素与相差像素之间会出现由于噪声分量而产生的敏感度比的差异。相差像素的像素值不能通过增益校正来精确校正。

因此，仅使用均值校正和增益校正之一作为相差像素的像素值的校正方法可能会降低在根据目标图像特征校正相差像素的像素值之后的图像质量，从而产生所谓的校正残留误差。可能有必要单独根据目标图像的特征使用校正方法，或者有必要减少校正的残留误差。

作为根据目标图像的特征选择使用校正方法的示例，专利文献2中公开的示例是已知的，其中检测到了高频分量的存在，并且根据检测结果选择性使用两种校正方法。如果在校正相差像素的像素值之前执行具有诸如伽玛校正之类的各种功能的图像处理，则图像质量将随着由于相差像素和标准像素之间的敏感度差异而产生的错误染色的出现而降低。通常，在各种功能的图像处理之前执行相差像素的像素值的校正。因此，很难检测仅在各种功能的图像处理之后明显的高频分量。可能无法根据如上所述像素值检测的结果仅选择均值校正和增益校正之一来执行充分的校正。

本发明的一个目的是提供一种成像装置和一种图像处理方法，用于通过减少校正残留误差的出现来适当地校正相差像素的像素值。

解决问题的措施

为了实现本发明的上述目的，一种成像装置包括：图像传感器、聚焦评估单元、第一校正值确定单元和焦点检测像素校正单元。图像传感器具有位于成像表面上的具有预定图案的标准像素和焦点检测像素，用于从所述像素输出一帧的图像信号。聚焦评估单元通过参考来自所述一帧的所述图像信号的所述焦点检测像素的亮度来估计焦点对准状态。第一校正值确定单元通过将所述焦点检测像素的亮度乘以预定增益来通过运算确定第一校正值。焦点检测像素校正单元用于将布置在焦点检测像素周围的预定数量的所述标准像素的亮度与所述第一校正值进行比较，并且如果所述第一校正值处于等于或小于所述预定数量的所述标准像素的亮度的最大值且等于或大于所述预定数量的所述标准像素的亮度的最小值的正常值范围内，则将所述焦点检测像素的亮度替换为所述第一校正值，并且如果所述第一校正值处于所述正常值范围之外的值范围内，则对所述预定数量的所述标准像素的亮度求平均以确定第二校正值，以便将所述焦点检测像素的亮度替换为所述第二校正值来校正所述焦点检测像素的亮度。

优选地，具有缺陷像素校正单元，用于存储所述标准像素中具有故障的缺陷像素的位置，通过对布置在所述缺陷像素周围的不具有故障的标准像素的亮度求平均来确定第三校正值，并且利用所述第三校正值替换所述缺陷像素的亮度，以校正所述缺陷像素的亮度。

优选地，如果所述缺陷像素是彼此邻接构成一个缺陷像素组的多个缺陷像素，则所述缺陷像素校正单元对布置在所述缺陷像素组周围的标准像素的亮度求平均来确定所述第三校正值。

优选地，具有检查单元，用于检查所述缺陷像素是否邻接所述焦点检测像素。如果所述缺陷像素邻接所述焦点检测像素，则所述焦点检测像素校正单元利用所述第一校正值来替换所述焦点检测像素的亮度，由此校正所述焦点检测像素的亮度。

优选地，具有检查单元，用于检查所述缺陷像素是否邻接所述焦点检测像素。如果所述缺陷像素邻接焦点检测像素，则所述焦点检测像素校正单元利用所述缺陷像素校正单元中的所述第三校正值替换所述焦点检测像素的亮度。

优选地，如果所述缺陷像素邻接多个焦点检测像素中的一个焦点检测像素，则所述检查单元针对所述缺陷像素登记所述一个焦点检测像素的位置。所述缺陷像素校正单元指定所登记的焦点检测像素作为所述缺陷像素以便校正所述缺陷像素的亮度，并且利用所述第三校正值来替换所述缺陷像素的亮度以及所述登记的焦点检测像素的亮度。

优选地，所述图像传感器包括第一和第二像素组，用于在彼此独立的条件下操作。如果所述第一和第二像素组操作为以彼此不同的曝光时间成像，则所述焦点检测像素校正单元针对所述预定数量的标准像素在公共的一个所述像素组中使用所述标准像素，并且如果所述第一和第二像素组操作为以相同的曝光时间成像，则所述焦点检测像素校正单元针对所述预定数量的标准像素在所述第一和第二像素组中使用所述标准像素。

一种图像处理方法包括：聚焦评估步骤、第一校正值确定步骤和焦点检测像素校正步骤。在聚焦评估步骤中，通过参考来自成像单元输出的一帧的图像信号的焦点检测像素的亮度来评估焦点对准状态，在成像单元中，标准像素和所述焦点检测像素在成像表面上布置成预定图案。在第一校正值确定步骤中，通过将所述焦点检测像素的亮度乘以预定增益来通过运算确定第一校正值。在焦点检测像素校正步骤中，将布置在焦点检测像素周围的预定数量的标准像素的亮度与所述第一校正值进行比较，并且如果所述第一校正值处于等于或小于所述预定数量的所述标准像素的亮度的最大值且等于或大于所述预定数量的标准像素的亮度的最小值的正常值范围内，则将所述焦点检测像素的亮度替换为所述第一校正值，而如果所述第一校正值处于所述正常值范围之外的值范围内，则对所述预定数量的标准像素的亮度求平均以确定第二校正值，以便将所述焦点检测像素的亮度替换为所述第二校正值来校正所述焦点检测像素的亮度。

本发明的效果

可以根据本发明来在减少出现校正残留误差的同时适当地校正相差像素的像素值。即使存在由于闪烁、虚影或入射角与垂直入射角不同的其它光线而造成的噪声，也可适当地校正相差像素的像素值。

附图说明

图1是示出了数码相机的正面透视图。

图2是示出了数码相机的后视图。

图3是示出了数码相机的电气配置的框图。

图4是示出了CCD的像素布置以及用于校正相差像素的像素的示意图。

图5是示出了用于校正相差像素的像素值的实施例的流程图。

图6是在缺陷像素存在并邻接缺陷像素的情况下通过均值校正来校正缺陷像素的像素值的实施例的示意图。

图7是示出了缺陷像素布置在相差像素周围的情况下通过均值校正来校正缺陷像素的像素值的实施例的流程图。

图8是示出了缺陷像素布置在相差像素周围的情况下尤其有利于校正相差像素的像素值的实施例的流程图。

图9是能够以不同曝光时间同时捕获两个图像的CCD的像素配置的示意图。

图10是通过使用能够以不同曝光时间同时捕获两个图像的CCD来以相同的曝光时间使用所有像素的实施例的示意图。

具体实施方式

如图1所示，数码相机11（成像装置）包括位于大致形成为长方体的相机主体12正面的镜筒14和闪光源16。镜筒14支撑拍摄镜头13。闪光源16照射目标以捕获图像。释放按钮17、电源按钮18和变焦杆19等布置在相机主体12的上表面上。释放按钮17进行操作来捕获图像。电源按钮18进行切换来开启或断开电源开关。变焦杆19进行操作来进行变焦。释放按钮17是可以两阶按下的开关，并且在轻轻按下（半按）时，其操作来准备捕获图像，例如自动聚焦（AF）。当对释放按钮17进行比半按更进一步的按压（全按）时，数码相机11被控制来捕获图像。准备捕获图像之后的一帧图像信号被转换成图像数据。

如图2所示，相机主体12的背面包括LCD显示器21、模式选择按钮22和菜单按钮23。LCD显示器21显示目标图像、在待机时显示直播模式出现的实时图像以便于捕获图像、以及各种类型的菜单屏幕。在转换数码相机11的操作模式时操作模式选择按钮22。在数码相机11中确定了多个操作模式，包括用于捕获静止图像的静止图像捕获模式、用于捕获移动图像的移动图像捕获模式、用于在LCD显示器21中回放所捕获的各个图像的回放模式。通过操作模式选择按钮22来转换这些操作模式。菜单按钮23被操作来在LCD显示器21上显示各种菜单屏幕。

如图3所示，电动机31连接至镜筒14。电动机31通过诸如齿轮之类的传动机构将驱动力传递给镜筒14，并且前后移动镜筒14。拍摄镜头13是具有多个透镜（附图中进行了简化）的透镜组。透镜之间的间隔根据镜筒14的前后移动而改变。拍摄镜头13具有用于改变光学放大率的光学系统，并且还包括孔径光阑（aperturestop）机构以及聚焦透镜。孔径光阑机构改变开口面积来调节用于捕获图像的光量。聚焦透镜在光轴方向L上移动以调节拍摄镜头13的聚焦。

图像传感器布置在拍摄镜头13后面，用于捕获拍摄镜头13所聚焦的目标图像，例如CCD32。定时发生器（TG）33连接至CCD32，根据TG33输入的定时信号确定电子快门的快门速度和帧速。针对快门速度和帧速的每一个预设多个值，这些值通过按下菜单按钮23显示在LCD显示器21上。通过按下模式选择按钮22等来适当地改变这些值。

CCD32是面型图像传感器，其中像素32a被布置在平面上以对来自目标的光进行光电转换(参见图4）。CCD32不同于普通类型的面型图像传感器，在普通类型的面型图像传感器中，成像平面上的所有像素都是由关于成像光轴L基本对称构造的标准的像素（下文中称为标准像素）。CCD32具有像素GAF（下文中称为相差像素）（参见图4），像素GAF布置在成像平面上的多个预定位置并相对于成像光轴L不对称地偏移，以便根据来自目标的光的入射角而遮挡光线。相差像素GAF要么在垂直方向要么在水平方向上相对于CCD32的光轴不对称地偏移。同时，其上（左）侧被遮挡的相差像素GAF之一以及其下（右）侧被遮挡的相差像素GAF之一被组合成一对，由此布置多个相差像素GAF。

在AF检测电路46中，上述相差像素GAF的像素值被用于确定聚焦评估值。而且，相差像素GAF由于不对称的偏移布置而具有比正常像素更小的像素值和更低亮度的特征。对于将显示在LCD显示器上或者存储在存储卡62中的目标图像，用于像素校正的相差校正单元47校正相差像素GAF的像素值（亮度值）。预先确定用以据其确定增益校正中使用的相差像素GAF的位置坐标、与正常像素的敏感度比、以及增益值（后面将予以描述）。这些数据存储在后面将予以描述的EEPROM60中。

CCD32连接至相关双采样（CDS）电路34。与CCD32的像素32a的存储电荷成正比地输出模拟图像信号，同时CDS34消除了其中的噪声。来自CCD32的图像信号以一帧为单位地输出。图像信号被放大器（AMP）36放大，然后被A/D转换器37（A/D）转换成数字图像数据，数字图像数据被暂时存储在SDRAM41中。图像输入控制器42控制CDS34、AMP36和A/D37的操作。图像输入控制器42通过系统总线43连接至CPU44，并且根据来自CPU44的命令控制CDS34、AMP36和A/D37的操作。

AF检测电路46根据A/D37数字化的图像数据来计算拍摄镜头13的聚焦评估值，并将其输入至CPU44。根据利用相差像素GAF的像素值进行的相差检测来确定聚焦评估值。CPU44根据AF检测电路46输入的聚焦评估值将拍摄镜头13移动至焦点对准位置。

在当前实施例中，像素32a包括用于进行捕获的标准像素、以及用于捕获和自动聚焦的相差像素GAF。标准像素包括可正常操作的正常像素以及根据结构缺陷设计的不用于操作的缺陷像素GNG（参见图4）。相差像素GAF和缺陷像素GNG构成了像素校正（亮度校正）所需的特定像素。

对于这些特定像素，特定像素校正单元48从SDRAM41读取像素值，并且同时校正该像素值。特定像素校正单元48逐个地读取各像素的像素值，并且同时对照存储在EEPROM60中的相差像素GAF和缺陷像素GNG的位置坐标的数据（坐标数据）来检查其位置坐标。对于已经读取了其像素值的像素，检查该像素包括在相差像素GAF、缺陷像素GNG或正常像素中的哪一个中。

而且，特定像素校正单元48使用增益校正和均值校正这些校正方法的至少一种来校正相差像素GAF和缺陷像素GNG（亮度校正）。增益校正是通过将所读取的像素值乘以预定增益来通过运算确定一个值（第一校正值），由此利用该值对新像素值进行更新的校正方法。均值校正是一种通过运算确定布置成最靠近校正目标并具有相同颜色的像素的多个标准像素的像素值的均值（第二校正值）来作为校正目标像素的校正方法。利用该值对新像素值进行更新。

而且，特定像素校正单元48利用均值校正来校正缺陷像素的像素值。特定像素校正单元48确定与缺陷像素邻接布置的多个正常像素的像素值的均值（第三校正值），该均值成为缺陷像素的新像素值。如果存在与读取像素值的缺陷像素邻接的另一缺陷像素（下文中称为邻接缺陷像素），则使用与靠近邻接缺陷像素的作为校正目标的缺陷像素第二接近的正常像素的像素值，而不参考邻接缺陷像素的像素值。通过确定这些像素的像素值的均值（第三校正值）来执行均值校正。由此，当多个缺陷像素彼此邻接时，特定像素校正单元48将它们指定为缺陷像素的一个大像素组，并且通过利用缺陷像素的像素组周围的正常像素的像素值来执行均值校正。向图像信号处理电路53提供已经通过特定像素校正单元48校正了相差像素GAF和缺陷像素GNG的像素值的图像数据。

向图像信号处理电路53提供已经通过相差校正单元47校正了相差像素GAF的像素值的图像数据。图像信号处理电路53处理图像数据以进行各种功能的图像处理，例如灰度转换、白平衡校正、伽玛校正等，并且将图像数据再次写入SDRAM41。

在图像信号处理电路53中进行了各种功能的图像处理之后，YC转换电路56从SDRAM41读取图像数据，并将图像数据转换成照度信号Y以及色差信号Cr和Cb。YC数据被再次存储在SDRAM41中。

AE/AWB检测电路57根据照度信号Y与色差信号Cr和Cb的乘积来确定目标的亮度的光度值，并且将确定结果发送给CPU44。CPU44根据从AE/AWB检测电路57发送来的光度值适当地检查曝光量和白平衡，并控制拍摄镜头13的孔径光阑机构、CCD32等的操作，以便使得这些量最优化。

LCD驱动器58从SDRAM41读取YC数据，将其转换成模拟形式的组合信号，并且使LCD显示器21显示图像。而且，LCD驱动器58将根据CCD32持续输出的图像信号而产生的图像数据持续地输出至LCD显示器21，由此通过LCD显示器21显示实时图像。

压缩/扩展处理电路59将YC数据转换成预定形式的文件格式，并且创建静止图像文件和移动图像文件。所获得的静止图像文件和移动图像文件是目标图像。

各种可操作元件被连接至CPU44，例如释放按钮17、变焦杆19、模式选择按钮22和菜单按钮23。当检测到这些可操作元件的操作时，检测的信号被输入至CPU44。而且，CPU44通过系统总线43经由驱动器等连接至数码相机11的各元件，并且由上述这些可操作元件或数码相机11的各元件向其提供输入。CPU44根据信号向数码相机11的元件发送控制信号，从而控制数码相机11整体。

介质控制单元61访问以可移除的方式安装在介质槽（未示出）中的存储卡62，并且读取或写入所捕获的目标图像。闪光控制单元63响应于从CPU44发送来的闪光信号，并使闪光源16闪光。

EEPROM60布置在数码相机11中。EEPROM60初始地存储了程序、相差像素GAF以及缺陷像素GNG的坐标数据、用于增益校正的增益等。程序被CPU44读取，并操作数码相机11。

如图4所示，CCD32的像素32a被布置成蜂巢状构造，并且被分别放置在以45度旋转矩形网格所定义的网格点处。像素32a处的R、G和B表示滤色器的颜色，并且以红色（R）：绿色（G）：蓝色（B）=1:2:1的比例进行调节。布置R和B像素（X方向）的行与仅仅布置G像素的行交替，与像素32a的分布的偏差为每行的1/2像素。在CCD32中，X方向对应于数码相机11的水平方向（纵向）。Y方向对应于数码相机11的垂直方向（横向）。

像素32a包括在X方向（或Y方向）不对称偏移的相差像素。在图4所示的实施例中，其中放置了绿色滤色器G的G像素的一部分成为相差像素GAF。在用于图像拾取的标准像素中可包括不具有正常操作功能的缺陷像素。在图4中，一个G像素是缺陷像素GNG。相差像素GAF和缺陷像素GNG之外的像素是正常操作的正常像素。

在特定像素校正单元48为了校正相差像素GAF的像素值而参考的像素中，参考了与每个相差像素GAF最接近的具有相同颜色的G像素Ga-Gd的像素值。类似地，对于在特定像素校正单元48中进行的缺陷像素GNG的像素值的均值校正，在缺陷像素GNG周围参考与相差像素GAF的校正类似地放置的G像素Gd、Gc、Ge和Gf的像素值。本文所述的外围像素是在中心（可能是将被校正的相差像素GAF或缺陷像素GNG）周围且与其最接近的具有相同颜色的标准像素。在图4中，相差像素GAF的外围像素是G像素Ga-Gd。G像素Gd、Gc、Ge和Gf是缺陷像素GNG的外围像素。

现在描述数码相机11的操作。按压电源按钮18来启动数码相机11的各元件。此后，按压模式选择按钮22来选择静止图像模式和移动图像模式之一，以及将数码相机11设置为待机状态。当数码相机11被设置为待机状态时CPU44控制TG33，由此利用TG33输出的定时信号来驱动CCD32。CPU44根据用户利用菜单屏幕确定的快门速度和帧速来驱动CCD32。CCD32响应于来自TG33的定时信号而根据拍摄镜头13在成像表面上聚焦的目标图像来输出图像信号。数字化之后的图像数据被暂时存储在SDRAM41中。

AF检测电路46响应于来自CPU44的命令而从SDRAM41读取数字化的图像数据，根据图像数据中包含的相差像素GAF的像素值来确定聚焦评估值，并且将其输入至CPU44（聚焦评估步骤）。CPU44根据聚焦评估值驱动电动机31，并且将拍摄镜头13移动至焦点对准位置。

在AF操作的同时，特定像素校正单元48从SDRAM41中读取与AF检测电路46读取的数字图像数据相同的数字图像数据，校正相差像素GAF和缺陷像素GNG的像素值，并且将像素值输入至图像信号处理电路53。图像信号处理电路53处理所有像素的图像数据（包括相差像素GAF和缺陷像素GNG的校正后的图像数据以及正常像素的图像数据在内的图像数据）以进行诸如伽玛校正之类的各种功能的图像处理。在图像信号处理电路53进行了各种功能的图像处理之后的图像数据在YC转换电路56中进行YC转换的处理，随后显示在LCD显示器21上。而且，压缩/扩展处理电路59根据图像数据创建目标图像，并且目标图像被存储在存储卡62中。

按照图5的处理在特定像素校正单元48中执行相差像素GAF和缺陷像素GNG的像素值的校正（亮度校正）。首先，特定像素校正单元48在从SDRAM41读取图像数据的过程中逐个地读取图像数据的像素的像素值。同时，特定像素校正单元48比较读取像素值的像素的位置坐标与相差像素GAF的坐标数据，并检查读取像素值的像素是否是相差像素GAF（步骤S11）。

如果读取了像素值的像素是相差像素GAF，则特定像素校正单元48通过运算确定通过相差像素GAF的像素值的增益校正而校正的像素值（步骤S12，第一校正值确定步骤）。特定像素校正单元48一旦读取相差像素GAF的像素值，则从EEPROM60读取为相差像素GAF预定的增益α，用增益α乘以读取图像数据的初始像素值CV，并且确定通过对相差像素GAF的像素值CV进行增益校正而校正的像素值α·CV。

随后，特定像素校正单元48获取针对相差像素GAF的外围像素Ga-Gd的像素值（参见图4），并且将增益校正后的相差像素GAF的像素值α·CV与外围像素Ga-Gd的各个像素值进行比较（参见图4）（步骤S13，焦点检测像素校正步骤）。如果增益校正后的相差像素GAF的像素值等于或小于外围像素Ga-Gd像素值中的最大值，并且还等于或大于这些值（正常值范围）内的最小值，则特定像素校正单元48进行操作以通过利用像素值α·CV来替换所读取的相差像素GAF的像素值CV进行相差像素GAF的像素值的增益校正。例如，令CVa、CVb、CVc和CVd作为外围像素Ga-Gd的像素值。令CVa为它们的最大值。令CVd为它们的最小值。如果满足条件CVd<α·CV<CVa，则相差像素GAF的初始像素值CV被增益校正后的像素值α·CV所替换。

另一方面，如果增益校正后的像素值α·CV大于任意外围像素Ga-Gd的像素值（α·CV>CVa，CVb，CVc和CVd），或者如果增益校正后的像素值α·CV小于任意外围像素（α·CV<CVa，CVb，CVc和CVd）的像素值，则特定像素校正单元48通过均值校正来校正相差像素GAF的像素值（步骤S14，焦点检测像素校正步骤）。在这两个条件下，特定像素校正单元48均确定外围像素Ga-Gd的像素值CVa、CVb、CVc和CVd的均值CV_AVE，并利用与相差像素GAF的像素值相关的周边像素的像素值的均值CV_AVE来替换初始像素值CV。

因此，特定像素校正单元48一旦读取了相差像素GAF的像素值，就校正通过增益校正和均值校正之一所读取的相差像素GAF的像素值。

在步骤S11中，如果读取了像素值的像素的位置坐标还未登记在相差像素GAF的坐标数据中，即如果读取了像素值的像素不是相差像素GAF，则特定像素校正单元48与缺陷像素GNG的坐标数据相比较地检查读取了像素值的像素的坐标位置，并且检查读取了像素值的像素是否是缺陷像素GNG（步骤S15）。如果读取了像素值的像素的坐标位置还未登记在缺陷像素GNG的坐标数据中，并且如果读取了像素值的像素不是相差像素GAF或缺陷像素GNG，则特定像素校正单元48判断读取了像素值的像素是正常像素。对于正常像素，所读取的像素值被确定为本身未进行增益校正或均值校正的像素的像素值。

另一方面，如果读取了像素值的像素的位置坐标被登记在缺陷像素GNG的坐标数据中，即如果读取了像素值的像素是缺陷像素GNG，则特定像素校正单元48根据均值校正来校正缺陷像素GNG的像素值（步骤S16）。例如，如果缺陷像素GNG的所有外围像素Gd、Gc、Ge和Gf（参见图4）是正常像素，则对外围像素Gd、Gc、Ge和Gf的像素值求均值。对于缺陷像素GNG的像素值，由所获取的外围像素Gd、Gc、Ge和Gf的像素值的均值替换原始读取的像素值。如果在缺陷像素GNG的外围像素Gd、Gc、Ge和Gf中包含缺陷像素，则将缺陷像素GNG及其相邻缺陷像素指定成一个缺陷像素组。对该缺陷像素组周围的外围像素的像素值求均值，由此使其均值成为缺陷像素GNG的像素值。

例如，以如图6所示的右侧的外围像素Gd作为缺陷像素（邻接缺陷像素），来校正缺陷像素GNG的像素值。特定像素校正单元48指定缺陷像素GNG和外围像素Gd为缺陷像素组68。那么，最靠近缺陷像素组68的G像素Gc、Ge、Gf、Gg、Gh和Gi被设置为外围像素。确定这些像素的像素值的均值。将缺陷像素GNG的像素值从初始像素值替换为所确定的均值。

在图像数据的像素中，所有相差像素GAF的像素值通过增益校正或均值校正来校正。所有缺陷像素GNG的像素值通过均值校正来校正。特定像素校正单元48在完成所有特定像素GAF和GNG的像素值校正之后将图像数据输入至图像信号处理电路53。在YC转换电路56在YC转换中对从特定像素校正单元48输入的图像数据以及正常像素的图像数据进行处理之前，图像信号处理电路53以各种功能的图像处理对从特定像素校正单元48输入的图像数据以及正常像素的图像数据进行处理。随后，压缩/扩展处理电路59将图像数据转换成静止图像（移动图像）文件，静止图像（移动图像）文件被存入存储卡62中作为记录图像，或者显示在LCD显示器21中作为实时图像。

如上所述，出于在利用一个图像传感器的相差检测方法中进行自动聚焦的目的，数码相机11是具有用于焦点检测的相差像素GAF的成像装置。通过增益校正或均值校正来校正相差像素GAF的像素值以便捕获目标图像。这时，数码相机11通过对增益校正所校正的像素值α·CV与代替相差像素GAF的初始像素值CV的外围像素的像素值进行比较，来检查增益校正是否适于作为校正相差像素GAF的像素值的方法。因此，在进行增益校正替换相差像素GAF的初始像素值C时参考像素值α·CV，来检查相差像素GAF的像素值是应该通过增益校正来矫正还是通过均值校正来校正，以便使用其中校正残留误差将不容易出现在目标图像中的校正方法促进相差像素GAF的像素值的校正。

例如，在用于校正像素值的相差像素GAF附近存在相对于像素间距来说亮度变化较小的低对比度图像。如果通过增益校正来校正相差像素GAF的像素值，则噪声分量的比例相对于外围像素增大。因此，增益校正所校正的相差像素GAF的像素值α·CV很可能大于外围像素的像素值。但是，通过对外围像素的像素值和增益校正所校正的像素值α·CF进行比较来直接检查增益校正的适合性。不太可能出现由于增益校正而产生的校正残留误差。

如果相对像素间距亮度变化较大的图像（具有高频分量的图像）位于用于像素值校正的相差像素GAF附近，则外围像素的像素值的最大值和最小值之间的宽度由于图像特征的原因而较大。增益校正所校正的像素值α·CV很可能出现在外围像素的像素值之间。可通过增益校正来很容易地校正相差像素GAF的像素值。在对高频图像执行了均值校正之后，数码相机11中不太可能出现校正残留误差。

具体地说，如果存在由于入射角不同于垂直入射角的光造成的噪声（例如闪烁、虚影等），则很有可能相差像素GAF和正常像素之间的敏感度比不同于没有噪声的情况，这是因为相差像素GAF的不对称的偏移布置。因此，通过带有噪声分量的增益校正对相差像素GAF的像素值进行校正很有可能产生校正残留误差，这是因为增益校正所校正的像素值α·CV显著地大于（小于）外围像素的像素值。但是，很容易在比较增益校正所校正的像素值α·CV和外围像素的像素值时通过检查增益校正是否合适来选择均值校正，其中即使存在噪声分量也不太可能出现校正残留误差。

而且，增益校正所校正的像素值α·CV，不与对靠近相差像素GAF的图像的特征进行量化所定义的值进行比较，而是直接与周边像素的像素值比较。即使在用于各种功能的图像信号处理电路53中进行图像处理之后，上述特征也基本不会改变。例如，外围像素的像素值之间的像素值α·CV的条件对于各种功能的图像处理之前及之后的各种状态是相同的。因此，即使在用于各种功能的图像信号处理电路53中进行图像处理之前也很容易在数码相机11选择不易于出现校正的残留误差的校正方法。

如果校正所有相差像素GAF的像素值，则必须花费相对较长的时间。这是因为，复杂的运算处理需要时间来对相差像素GAF附近的图像是否为低对比度或具有高频的信息进行量化、以便校正相差像素GAF的像素值。但是，在数码相机11中，根据确定增益校正所校正的像素值α·CV并与周边的像素值的最大值和最小值进行比较的简单方法来选择用于相差像素GAF的像素值的校正方法。因此，在如上所述地防止校正残留误差的同时，可以在数码相机11中在短时间内容易地校正相差像素GAF的像素值。

在上述实施例中描述了如下示例，其中一旦确定了增益校正所校正的像素值α·CV，为了校正相差像素GAF的像素值，特定像素校正单元48将外围像素的像素值与增益校正所校正的像素值α·CV进行比较，而不考虑外围像素中是否包含缺陷像素GNG，由此选择相差像素GAF的像素值的校正方法。但是，本发明并不限于此。例如，优选地，检查相差像素GAF的外围像素中是否包含缺陷像素GNG，并且根据检查结果来选择相差像素GAF的像素值的校正方法。

如图7所示，首先以与上述实施例类似的方式，获取增益校正所校正的像素值α·CV（S12），并检查该值是否介于外围像素的像素值之间（S13）。如果增益校正所校正的像素值α·CV介于外围像素的像素值之间并且如果增益校正适合于校正相差像素GAF的像素值，则由于存在多个外围像素，即使外围像素中包含缺陷像素GNG也仅对相差像素GAF的像素值的校正方法以及校正后的像素值产生较小影响。因此，特定像素校正单元48以与上述实施例类似的方式通过增益校正校正相差像素GAF的像素值。

另一方面，如果增益校正所校正的像素值α·CV不介于外围像素的像素值之间，则通过上述实施例中的均值校正来校正相差像素GAF的像素值。在上述均值校正中，外围像素的像素值直接影响校正后的相差像素GAF的像素值。因此，特定像素校正单元48利用缺陷像素GNG的坐标数据检查外围像素中是否包含缺陷像素，以便通过均值校正来校正相差像素GAF的像素值。根据检查结果确定（步骤S21）以均值校正来校正像素值。

如果外围像素中不包含缺陷像素GNG，则类似于上述实施例，通过均值校正来校正相差像素GAF的像素值。如果外围像素中包含缺陷像素GNG，则通过增益校正来校正相差像素GAF的像素值。由此，相对于正常方式通过均值校正对像素值进行校正，在外围像素中存在缺陷像素GNG的情况下通过增益校正对相差像素GAF的像素值进行校正更可能产生校正的残留误差。但是，不能获取均值校正所转换的像素值的期望值。一旦利用缺陷像素GNG的像素值进行均值校正，可能出现更不期望的残留误差。鉴于此，可以容易地产生良好的目标图像，这是因为防止了更不期望的校正残留误差的出现。

在此，在将增益校正所校正的像素值α·CV与周围值的像素值进行比较之后，检查外围像素中是否包含缺陷像素GNG。至少在均值校正之前可以检查外围像素中是否包含缺陷像素GNG。由此，图7中的用于检查缺陷像素GNG的存在的步骤S21可设置在步骤S14的均值校正之前。例如，可以在像素值的读取（S11）以及像素值α·CV与外围像素的像素值的比较之间（S11和S12之间或S12和S13之间）检查缺陷像素GNG的存在。

在此已经描述了变型的示例，其中检查外围像素中是否包含缺陷像素GNG，并且如果外围像素中包含缺陷像素GNG，则简单地选择增益校正。但是，本发明并不限于此。在用于校正相差像素GAF的像素值的程序中，优选地，作为缺陷像素而不是作为相差像素GAF进行处理，通过均值校正来校正相差像素GAF的像素值并防止校正残留误差的出现。

例如，如果增益校正所校正的像素值α·CV大于（小于）外围像素的像素值，如图8所示，则不适合于增益校正，并如上所述地检查相差像素GAF的外围像素中是否包含缺陷像素GNG（步骤S21）。如果外围像素中包含缺陷像素GNG，则将作为校正目标的相差像素GAF登记在缺陷像素的坐标数据中作为缺陷像素GNG（步骤S22）。

然后，对于已经确定作为缺陷像素GNG进行处理的相差像素GAF，按照与上述针对缺陷像素GNG（步骤S16）类似的方法，通过均值校正对其像素值进行校正。简而言之，已经确定作为缺陷像素GNG处理的相差像素GAF被指定为缺陷像素组68，其包括邻接的缺陷像素GNG。使用缺陷像素组68中的外围像素通过均值校正来校正相差像素GAF的像素值。

因此，外围像素中包含缺陷像素GNG的相差像素GAF在通过均值校正对其像素值进行校正时，作为缺陷像素GNG进行处理。因此，可以在更合适的均值校正中校正相差像素GAF的像素值。而且，与缺陷像素GNG邻接的相差像素GAF被登记为缺陷像素GNG。在利用特定像素校正单元48对缺陷像素GNG的像素值进行均值校正时不使用较正后的像素值可能出现问题的相差像素GAF，由此可校正缺陷像素GNG的像素值。即使在校正缺陷像素GNG的像素值时，也可以减少校正残留误差的出现。

在图4和图6所示的蜂巢结构的CCD32中，与其中仅仅布置了G像素的行交替布置了其中R和B像素交替布置的行（X方向），其中每行中的像素之间存在达到1/2像素的位置偏移。而且，可以如图9所示布置其中G1和B1像素在X方向交替布置的行、其中G2和B2像素在X方向交替布置的行、其中G1和R1像素在X方向交替布置的行、以及其中G2和R2像素在X方向交替布置的行，其中每行中的像素之间存在达到1/2像素的位置偏移。CCD具有这种线型结构，由此可在具有参考号“1”的第一像素组和具有参考号“2”的第二像素组之间分别控制曝光时间。在图9中，相差像素GAF是第二像素组的G2像素。

为了采用本发明的具有该像素布置的CCD，针对第一和第二像素组之间的曝光时间（电荷存储时间）的不同，将外围像素中的同一组像素看作相差像素GAF。例如，使相差像素GAF布置第二像素组中，如图9所示。G2像素G2a-G2d被用作第二像素组的像素中布置成最接近相差像素GAF的外围像素。

即使在使用了具有上述像素布置的CCD时，很可能在第一和第二像素组之间以相等的曝光时间进行曝光。如图10所示，按照上述方式作为第二像素组中的G2像素的像素G2a和G2c，以及作为第一像素组中的G1像素的比G2像素更靠近相差像素GAF的像素G1α和G1β，被用作外围像素，用于校正第二像素组中的相差像素GAF的像素值。

优选地针对正常图像传感器使用本发明，其中除了蜂窝结构的CCD32之外，像素布置成矩阵形式。例如，可使用其中像素布置成Bayer布置的CCD。除了CCD32之外，在本发明中可使用CMOS类型的图像传感器。

而且，红色或蓝色像素可作为相差像素。可与多种颜色的像素组合地提供相差像素。但是，在多个颜色的像素中提供相差像素的情况下，必须使用成对相差像素之间的共同颜色。

在上述实施例中，相差像素GAF布置在成像表面72的预定位置。但是，按照能够自动聚焦的数码相机11的所需规格，可根据相差像素的像素值GAF来确定相差像素GAF的具体布置。而且，可根据需要确定相差像素GAF的数量。

在上述实施例中，为了校正相差像素GAF的像素值，参考在相差像素GAF周围布置成最接近相差像素GAF的四个外围像素Ga-Gd的像素值（参见图4）。可替换地，例如，可以参考在上述实施例中参考的四个外围像素以及外围像素中第二靠近相差像素GAF的相同颜色的像素。

在上述实施例中，在相差像素GAF的像素值通过增益校正或均值校正替换之前，在校正相差像素GAF的像素值时确定增益校正所校正的像素值α·CV，并将其与外围像素的像素值比较。可替换地，可以在读取特定像素校正单元48中的图像数据的阶段预先通过增益校正来校正相差像素GAF的像素值。例如，在从CCD32读取相差像素GAF的图像信号时，可以在图像输入控制器42中调节AMP36的增益，由此在模拟信号的阶段通过增益校正校正相差像素GAF的像素值。因此，可通过在模拟信号的阶段对相差像素GAF的像素值进行增益校正来减少特定像素校正单元48中的运算量。可在短时间内执行相差像素GAF的像素值的校正。而且，即使在模拟信号阶段中对相差像素GAF的像素值进行增益校正之后，AF检测电路46也可按照与上述实施例类似的方式确定聚焦评估值。

在上述实施例中，通过简单地对外围像素的像素值求均值获取的值是相差像素GAF的像素值的均值校正以及缺陷像素GNG的像素值的均值校正时的这些相差像素GAF或缺陷像素GNG的像素值。但是，在对连续布置的缺陷像素GNG进行均值校正的情况下，或者在通过将相差像素GAF当作缺陷像素GNG、并根据相差像素GAF和缺陷像素GNG构建连续布置的缺陷像素GNG进行缺陷像素GNG的均值校正的情况下，外围像素可能没有必要与将被校正的相差像素GAF（缺陷像素GNG）等间距。优选地，为了使用与将被校正的像素不等距的外围像素进行均值校正，将外围像素的像素值的均值用作将被校正的像素的新像素值，其中通过根据外围像素与将被校正的像素的距离来进行加权，由此确定外围像素的像素值。

在上述实施例中，紧致类型的数码相机11被描述为示例。可以在其中使用了AF的其它任意类型的成像装置中使用本发明。

参考标号说明

11数码相机

12相机主体

13拍摄镜头

32CCD

32a像素

68缺陷像素组

R，R1，R2红色像素

G，G1，G2绿色像素

B，B1，B2蓝色像素

GAF相差像素

GNG缺陷像素

Ga-Gi外围像素

Claims

1.一种成像装置，其特征在于包括：

图像传感器，其具有位于成像表面上的具有预定图案的标准像素和焦点检测像素，用于从所述像素输出一帧的图像信号；

聚焦评估单元，其用于通过参考来自所述一帧的所述图像信号的所述焦点检测像素的亮度来评估焦点对准状态；

第一校正值确定单元，其用于通过将所述焦点检测像素的亮度乘以预定增益来通过运算确定第一校正值；

焦点检测像素校正单元，其用于将布置在所述焦点检测像素周围的预定数量的所述标准像素的亮度与所述第一校正值进行比较，并且如果所述第一校正值处于等于或小于所述预定数量的所述标准像素的亮度的最大值且等于或大于所述预定数量的所述标准像素的亮度的最小值的正常值范围内，则将所述焦点检测像素的亮度替换为所述第一校正值，而如果所述第一校正值处于所述正常值范围之外的值范围内，则对所述预定数量的所述标准像素的亮度求平均来确定第二校正值，以将所述焦点检测像素的亮度替换为所述第二校正值来校正所述焦点检测像素的亮度。

2.根据权利要求1所述的成像装置，其特征在于包括：缺陷像素校正单元，用于存储所述标准像素中失效的缺陷像素的位置，通过对布置在所述缺陷像素周围的未失效的所述标准像素的亮度求平均来确定第三校正值，并且利用所述第三校正值替换所述缺陷像素的亮度，以校正所述缺陷像素的亮度。

3.根据权利要求2所述的成像装置，其特征在于，如果所述缺陷像素是彼此邻接构成一个缺陷像素组的多个缺陷像素，则所述缺陷像素校正单元对布置在所述缺陷像素组周围的所述标准像素的亮度求平均来确定所述第三校正值。

4.根据权利要求2所述的成像装置，其特征在于包括：检查单元，用于检查所述缺陷像素是否邻接所述焦点检测像素；

其中，如果所述缺陷像素邻接所述焦点检测像素，则所述焦点检测像素校正单元利用所述第一校正值来替换所述焦点检测像素的亮度，由此校正所述焦点检测像素的亮度。

5.根据权利要求2所述的成像装置，其特征在于包括：检查单元，用于检查所述缺陷像素是否邻接所述焦点检测像素；

其中，如果所述缺陷像素邻接焦点检测像素，则所述焦点检测像素校正单元利用所述缺陷像素校正单元中的所述第三校正值替换所述焦点检测像素的亮度。

6.根据权利要求4所述的成像装置，其特征在于，如果所述缺陷像素邻接所述焦点检测像素之一，则所述检查单元针对所述缺陷像素登记所述焦点检测像素之一的位置；

其中，所述缺陷像素校正单元指定所登记的焦点检测像素作为所述缺陷像素以校正所述缺陷像素的亮度，并且利用所述第三校正值来替换所述缺陷像素的亮度以及所登记的焦点检测像素的亮度。

7.根据权利要求1所述的成像装置，其特征在于，所述图像传感器包括第一像素组和第二像素组，所述第一像素组和第二像素组在彼此独立的条件下操作；

其中如果第一像素组和第二像素组操作为以彼此不同的曝光时间成像，则所述焦点检测像素校正单元针对所述预定数量的所述标准像素使用上述像素组中的一个公共像素组中的标准像素。

8.根据权利要求1所述的成像装置，其特征在于，所述图像传感器包括第一像素组和第二像素组，所述第一像素组和第二像素组在彼此独立的条件下操作；

其中，如果所述第一像素组和第二像素组操作为以彼此不同的曝光时间成像，则所述焦点检测像素校正单元针对所述预定数量的所述标准像素使用上述像素组中的一个公共像素组中的标准像素，并且如果所述第一像素组和第二像素组操作为以相等的曝光时间成像，则所述焦点检测像素校正单元针对所述预定数量的所述标准像素使用所述第一像素组和第二像素组中的标准像素。

9.根据权利要求1所述的成像装置，其特征在于所述图像传感器的预定图案为蜂巢结构，并且所述预定数量为四个或更多。

10.根据权利要求1所述的成像装置，其特征在于所述图像传感器是具有至少三种颜色的像素的彩色图像传感器，并且所述焦点检测像素包含在所述三种颜色中的预定一种的像素中。

11.一种图像处理方法，其特征在于包括：

聚焦评估步骤，用于通过参考来自由成像单元输出的一帧的图像信号的焦点检测像素的亮度来评估焦点对准状态，在成像单元中标准像素和所述焦点检测像素在成像表面上布置成预定图案；

第一校正值确定步骤，用于通过将所述焦点检测像素的亮度乘以预定增益来通过运算确定第一校正值；

焦点检测像素校正步骤，用于将布置在所述焦点检测像素周围的预定数量的所述标准像素的亮度与所述第一校正值进行比较，并且如果所述第一校正值处于等于或小于所述预定数量的所述标准像素的亮度的最大值且等于或大于所述预定数量的所述标准像素的亮度的最小值的正常值范围内，则将所述焦点检测像素的亮度替换为所述第一校正值，而如果所述第一校正值处于所述正常值范围之外的值范围内，则对所述预定数量的所述标准像素的亮度求平均来确定第二校正值，以将所述焦点检测像素的亮度替换为所述第二校正值来校正所述焦点检测像素的亮度。

12.根据权利要求11所述的图像处理方法，其特征在于存储所述标准像素中失效的缺陷像素的位置，通过对布置在所述缺陷像素周围的未失效的所述标准像素的亮度求平均来确定第三校正值，并且利用所述第三校正值替换所述缺陷像素的亮度，以校正所述缺陷像素的亮度。

13.根据权利要求11所述的图像处理方法，其特征在于，所述成像单元包括第一像素组和第二像素组，所述第一像素组和第二像素组在彼此独立的条件下操作；

其中在所述焦点检测像素校正步骤中，如果第一像素组和第二像素组操作为以彼此不同的曝光时间成像，则针对所述预定数量的所述标准像素使用上述像素组中的一个公共像素组中的标准像素。

14.根据权利要求11所述的图像处理方法，其特征在于，所述成像单元的预定图案为蜂巢结构，并且所述预定数量为四个或更多。

15.根据权利要求11所述的图像处理方法，其特征在于所述成像单元是具有至少三种颜色的像素的彩色成像单元，并且所述焦点检测像素包含在所述三种颜色中的预定一种的像素中。