CN103167240A - 图像拾取装置及其控制方法 - Google Patents

Abstract

本发明提供一种图像拾取装置及其控制方法。图像拾取装置包括光瞳分割单元，光瞳分割单元将到达图像拾取元件的各个像素的被摄体的光学图像的光，限制为来自摄影镜头的特定光瞳区域的光，并且图像拾取装置存储图像拾取元件的像素缺陷的信息和用于确定到达图像拾取元件的各个像素的光学图像的入射角的信息，图像拾取装置被布置为根据图像信号设置生成再形成图像的图像生成位置，根据基于图像生成位置和用于确定入射角的信息所确定的移位量对图像信号进行移位，根据像素缺陷信息使用移位后的图像信号对缺陷图像进行校正，并且根据校正后的图像信号生成与图像生成位置相对应的图像。

Description

图像拾取装置及其控制方法

技术领域

本发明涉及诸如数字照相机的具有图像拾取元件的图像拾取（imagepickup）装置，更具体来说，涉及具有对图像拾取元件的像素缺陷进行校正处理的功能的图像拾取装置。

背景技术

在数字照相机中使用的图像拾取元件中，防止形成像素缺陷本身非常难。同时，由于近年来像素数量更大（缺陷的数量增加）的趋势以及像素间距更窄（缺陷比率提高）的趋势，针对像素缺陷的措施的需求逐渐增大。作为处理像素缺陷所需的特性，例如，可以给出像素缺陷的处理能力高和处理负荷适当。

此外，提出了通过获得穿过不同光瞳区域的光来再形成图像，并且使用再形成的图像作为输出图像的装置（称为光场照相机）。

例如，日本特开第2007-4471号公报（专利文献1）公开了如下方法：使用能够分别接收穿过不同光瞳区域的光的图像拾取元件拾取被摄体图像，并且创建在图像拾取之后调整了焦点的图像。

此外，由Yasuo Takemura，Radio Technology Corporation所写的“CCDcamera technology”（非专利文献1）公开了如下方法：以帧间方式在水平和垂直方向上对像素缺陷（下面将对像素缺陷的细节进行描述）进行插补。

然而，根据在上述专利文献1中公开的现有技术，当在形成用于获得穿过不同光瞳区域的光的图像拾取系统的图像拾取元件中出现像素缺陷时，不能总是获得合适的图像。

换句话说，在专利文献1中，即使可以获得在图像拾取之后焦点位置改变的图像，也没有公开在存在像素缺陷的情况下获得排除缺陷部分的影响的图像的方法。此外，在非专利文献1中，由于仅基于图像相关进行插补处理，因此不能对专利文献1的形成图像拾取系统的图像拾取元件进行适当的插补。

发明内容

本发明的一方面提供一种图像拾取装置，即使在使用能够获得穿过不同光瞳区域的光的信息的图像拾取元件时，该图像拾取装置也能够获得降低了像素缺陷的影响的高质量图像。

为了实现本发明的该方面，本发明的图像拾取装置包括具有摄影镜头的摄影光学系统和图像拾取元件，所述图像拾取元件对通过所述摄影镜头到达的被摄体的光学图像进行光电转换，以输出图像信号，所述图像拾取装置包括：存储器单元，存储所述图像拾取元件的像素缺陷的信息以及用于确定到达所述图像拾取元件的各个像素的所述光学图像的入射角的信息；图像生成位置设置单元，设置根据所述图像信号生成再形成图像的图像生成位置；光瞳分割单元，将到达所述图像拾取元件的各个像素的所述被摄体的所述光学图像的光，限制为来自所述摄影镜头的特定光瞳区域的光；图像移位单元，基于由所述图像生成位置设置单元设置的所述图像生成位置以及用于确定到达所述图像拾取元件的各个像素的所述光学图像的入射角的信息，针对每个光瞳区域确定与所述图像生成位置相对应的所述图像信号的移位量，以对所述图像信号进行移位；缺陷校正单元，根据所述像素缺陷的信息，使用通过所述图像移位单元获得的、缺陷像素之外的像素的图像信号，对所述缺陷像素的图像信号进行校正；以及图像生成单元，根据由所述缺陷校正单元校正后的图像信号，生成与所述图像生成位置相对应的图像。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据本发明的实施例的摄影装置的系统配置的框图。

图2A、2B和2C是根据本发明的第一实施例的摄影装置的图像拾取系统的示意图。

图3A、3B、3C、3D和3E是根据本发明的第一实施例的图像再形成操作的流程图。

图4A、4B和4C是在概念上示出对比度AF操作中的聚焦确定的视图。

图5A、5B、5C和5D是示意性地示出图像的再形成的视图。

图6A、6B和6C是示意性地示出图像拾取系统中的图像生成的视图。

图7A、7B和7C是根据第二实施例的图像的再形成操作的流程图。

具体实施方式

根据附图，详细描述本发明的示例性实施例。

第一实施例

下文中，将参照图1至6C，描述根据本发明的第一实施例的摄影装置。

图1是示出作为根据本发明的摄影装置的、包括数字照相机和镜头的照相机系统的配置的框图。照相机系统包括用于获得穿过不同光瞳区域的光的图像拾取系统，并且具有作为本发明的目的的像素缺陷的校正功能。

包括照相机101和镜头102（摄影镜头）的照相机系统，包括图像拾取系统、图像处理系统、记录和再现系统以及控制系统。图像拾取系统包括摄影光学系统103和图像拾取元件106。图像处理系统包括图像处理单元107。记录和再现系统包括存储器单元108和显示单元109。控制系统包括照相机系统控制单元105、操作检测单元110、透镜系统控制单元112和透镜驱动单元113。透镜驱动单元113可以驱动包含在摄影光学系统103中的焦点透镜、抖动校正透镜和光圈。

图像拾取系统是将来自被摄体的光（光学图像）通过摄影光学系统103聚焦在图像拾取元件106的图像拾取平面上的光学处理系统。在图像拾取元件106的表面（光接收表面）上以矩阵形式布置有微透镜，以形成微透镜阵列（下文中简称为MLA）。在该实施例中，MLA用作根据各个微透镜将多个像素分割为多个像素组的光瞳分割单元。下面将参照图2A至2C描述MLA的功能和布置的细节。然而，可以通过设置光瞳分割单元来获得来自图像拾取元件106的焦点评价值/适当曝光量，使得基于所获得的信息来适当地调节摄影光学系统103。通过这样做，能够将具有适当光强度的被摄体光对图像拾取元件106进行曝光，并且在图像拾取元件106附近形成被摄体图像。

图像处理单元107在其中包括A/D转换器、白平衡电路、伽马校正电路和插补运算电路，并且通过图像处理创建记录图像。此外，图像处理单元107可以包括作为该实施例的主要部件的图像移位单元、图像生成单元、对比度评价单元和相关计算单元。在该实施例中，在照相机系统的控制下，作为控制程序构成上述元素。

存储器单元108不仅包括实际存储数据的存储单元，还包括记录数据所需的处理电路。存储器单元108将图像输出到记录单元，并且生成并存储要输出到显示单元109的图像。此外，存储器单元108使用预定方法对图像、运动图像或者音频进行压缩。

照相机系统控制单元105生成并输出进行图像拾取时的定时信号，并且响应于外部操作对图像拾取系统、图像处理系统以及记录和再现系统进行控制。例如，操作检测单元110检测未示出的快门释放按钮的按下，以对图像拾取元件106的驱动（光电转换）、图像处理单元107的操作以及存储器单元108的压缩处理进行控制。此外，照相机系统控制单元105还对由显示单元109在液晶监视器上显示信息的信息显示设备的区段的状态进行控制。

描述由控制系统进行的光学系统的调节操作。照相机系统控制单元105与图像处理单元107连接，以基于来自图像拾取元件106的信号计算适合摄影条件的焦点位置和光圈位置。照相机系统控制单元105通过电连接111向透镜系统控制单元112发送指令，并且透镜系统控制单元112根据指令对透镜驱动单元113进行适当的控制。此外，未示出的抖动检测传感器连接到透镜系统控制单元112，以在抖动校正模式下，基于抖动检测传感器的信号，通过透镜驱动单元113对抖动校正透镜进行适当的控制。

图2A至2C是示出本发明的本实施例中的摄影光学系统的主要部件的图。在图2A至2C中，用相同的附图标记表示与图1中的元素相同的元素。

为了将本发明应用于图1的照相机系统，需要除了获得被称为光场信息的光线的位置、还获得角度的信息的配置。在本实施例中，为了获得角度信息，在摄影光学系统103的焦平面附近布置MLA，并且多个像素对应于形成MLA的一个透镜。

图2A是示意性地示出图像拾取元件106和MLA 200之间的对应关系的视图。图2B是示意性地示出图像拾取元件的像素和MLA之间的对应的视图。图2C是示出MLA 200将设置在MLA下面的像素与特定光瞳区域相关联的概念图。

如图2A所示，MLA200设置在图像拾取元件106上，并且MLA200的前主点被定位为在摄影光学系统103的焦平面附近。图2A示出了摄影装置的侧视图和MLA 200的正视图。MLA 200的透镜被布置为覆盖图像拾取元件106上的像素。在图2A中，虽然将形成MLA 200的微透镜放大，以便更能被识别，实际上，每个微透镜仅具有比像素大几倍的尺寸。参照图2B描述实际尺寸。

图2B是将图2A的MLA 200的正视图的一部分放大的视图。图2B所示的具有矩阵形式的框示出了图像拾取元件106的像素。同时，由粗圆形220a、220b、220c和220d表示形成MLA 200的微透镜。如从图2B所示，对一个微透镜分配多个像素，在图2B的示例中，25个像素（5行×5列）与一个微透镜相对应地形成一个组。换句话说，微透镜中的各个的尺寸是像素尺寸的5倍×5倍。

图2C是示出在包括微透镜的光轴并且图像拾取元件的纵向（X方向）变为图的水平方向的平面切开图像拾取元件106时，一个微透镜的横截面的视图。图2C的附图标记221、222、223、224和225表示图像拾取元件106的像素（一个光电转换单元）。同时，图2C的上部分中的图示出了摄影光学系统103的出射光瞳平面。实际上，如果将其按照方向与图2C的下部分所示的图像拾取元件的图匹配，则出射光瞳平面（X-Y平面）与图2C的图的垂直方向（y方向）平行。然而，为了方便描述，改变投射方向。此外，在图2C中，为了简化描述，将描述一维投射/信号处理。换句话说，光瞳分割仅是231至235一维的，相应的像素布置例如也仅是图2B的321a至325a一维的。这种假设也应用于对图5A至5D的描述。在实际装置中，这可以容易地被扩展为二维。

图2C的像素221、222、223、224和225可以具有分别与图2B的221a、222a、223a、224a和225a相对应的位置关系。如图2C所示，这些像素被设计为由微透镜200而与摄影光学系统103的出射光瞳平面上的特定区域共轭。在图2C的示例中，像素221对应于区域231，像素222对应于区域232，像素223对应于区域233，像素224对应于区域234，像素225对应于区域235。换句话说，仅穿过摄影光学系统103的出射光瞳上的区域231的光到达像素221。其它像素与上述相同。其结果是，能够基于光瞳平面上的穿过区域和图像拾取元件106上的位置之间的关系，来获得角度的信息。

在下面的描述中，为了简单而引入符号。如图2C所示，用Δx表示图像拾取元件106的像素间距，并且用Δθ表示角分辨率。此外，用N_θ表示角度的分割数量（在图2C的示例中，N_θ＝5）。依据图像拾取元件106的形状来确定像素间距，并且由获得光线角度的范围和角度的分割数量来确定Δθ。也就是说，仅由图像拾取系统的物理结构（图像拾取元件106和MLA 200的结构）确定这些参数。

参照图3A至3E、4A至4C和5A至5D，描述使用在本实施例中示出的摄影光学系统，从图像拾取元件106的信号获得对缺陷进行了适当处理的图像的处理。

图3A至3E是本实施例的照相机系统中的图像的再形成操作的流程图。图3A是示出整个图像再形成操作的流程图，图3B是示出缺陷校正单元的操作的流程图，图3C是示出图像移位单元的操作的流程图，图3D是示出图像生成单元的操作的流程图，图3E是示出相关计算单元的操作的流程图。

从图3A开始，按照步骤的顺序描述实施例。步骤S301指示图像获得操作开始。例如，图1所示的操作检测单元110检测来自摄影者的特定操作（例如按下释放按钮）。

在步骤S302中，在将图像拾取元件106曝光适当的时间之后，读取图像拾取信号，并且对其进行A/D转换，以获得图像信号。由照相机系统控制单元105根据来自未示出的测光单元的信息，设置诸如曝光时间的图像拾取条件。

在步骤S303中，对相关计算单元进行操作，以获得相关计算结果。从相关计算单元获得关于焦点评价值的信息。下面将参照图3E描述该操作的细节。

在步骤S304中，针对每个设置的区域（下面将在对相关计算单元的描述中描述每个设置的区域，但是每个设置的区域对应于步骤S362中的评价框）确定焦点位置（图像生成位置）。将从下面将描述的相关计算单元获得的最佳焦点评价值的位置，确定并设置为焦点位置。这里，“最佳”的含义是下面将描述的步骤S366中的相关计算方程式的值小的状态。

然而，这里，焦点位置指示与当前焦点位置相对离焦。换句话说，如果在当前焦点位置对焦的被摄体的焦点位置是0，则作为具有正或负符号的值，获得当前焦点位置之前或之后的焦点位置。此外，不作为被摄体侧的深度，而作为图像平面侧的焦平面的位置，获得焦点位置。

在步骤S305中，对缺陷校正单元进行操作，以获得校正结果。将参照图3B的流程图描述缺陷校正单元的操作的细节。

在步骤S306中，对图像移位单元进行操作，以获得用于生成图像的图像移位的结果。在这种情况下，针对图像生成位置考虑几种方法。例如，考虑如下方法：通过一起考虑在步骤S304中确定的各区域的焦点位置和被摄体识别结果，来定义焦点位置。相应地，能够对被识别为被摄体的物体进行聚焦。作为另一种方法，能够分配由用户指定的位置。通过这样做，能够实现手动聚焦。下面将参照图3C的流程图描述图像移位单元的操作的细节。

在步骤S307中，对图像生成单元进行操作，以获得图像生成的结果。下面将参照图3D的流程图描述图像生成单元的操作的细节。

在步骤S308中，对生成的图像信号进行诸如到记录图像格式的转换或者压缩的记录所需的处理，然后将图像信号记录在存储器单元108中。

在步骤S309中，从获得图像信号到记录图像信号的一系列操作完成。

参照图3B的流程图描述缺陷校正单元的操作的细节。步骤S371指示缺陷校正单元的操作开始。

在步骤S372中，从存储器单元108获得缺陷信息和恒定数值d_max。这里，d_max是由下面的方程式给出的、指示由图像生成单元获得适当再形成图像的图像生成位置的范围的值。

$d_{\max }=\frac{N_{\mathrm{\θ}}\mathrm{\Δx}}{\tan \mathrm{\Δ\θ}}---\left(1\right)$

在这种情况下，d_max表示正常形成图像的阈值，N_θ表示光瞳分割数量，Δx表示图像拾取元件106的像素间距，Δθ表示角分辨率。如参照图2A至2C所描述的，这些值由图像拾取装置的物理结构来确定，而与摄影条件无关。因此，将事先计算的d_max的值存储在存储器单元108中，然后在步骤S372和S373中读取该值以使用。

缺陷信息是指像素缺陷的信息，具体来说，是指关于出现过度亮点（辉度值是辉度饱和值的现象）或者遮挡阴影（作为0获得辉度值的现象）的像素的地址的信息。如上所述，将输出由于像素缺陷而产生的异常辉度值的像素称为缺陷图像。由于不能使用与被摄体无关地产生过度亮点或者遮挡阴影的缺陷图像来进行显影，因此通常通过在非专利文献1中公开的方法来进行处理。在该实施例中，在需要的情况下，在步骤S374至S380中进行这些处理。此外，由于这种像素小并且不移动，因此可以将缺陷信息存储在存储器单元108中，然后在步骤S372和S373中读取该值以使用。

步骤S374至S380是循环处理，并且对所有缺陷图像进行步骤S374至S380中的处理。

步骤S375将在步骤S304中确定的焦点位置的绝对值与d_max的绝对值（阈值）进行比较。如果焦点位置的绝对值等于或小于作为d_max的绝对值的阈值，则该序列进行到步骤S377，否则，该序列进行到步骤S376。

在步骤S376中，通过已知技术进行缺陷图像的插补处理。换句话说，在对从缺陷图像之外的像素获得的图像信号进行特定处理之前，计算缺陷图像在垂直方向或者水平方向上的相关，并且在具有较高相关的方向上进行插补处理。在图3B中，作为“对图像拾取图像的插补处理”（使用图像移位单元的输出之外的图像信号的插补处理）示出了插补处理。该插补可以由下面的方程式表示。

X_i，j＝(X_i-1，j+X_i+1，j)/2if|X_i-1，j－X_i+1，j|≤|X_i，j-1－X_i，j+1|

X_i，j＝(X_i，j-1+X_i，j+1)/2if|X_i-1，j－X_i+1，j|＞|X_i，j-1－X_i，j+1|    (2)

在方程式2中，表示最基本的插补的技术思想。这里，用i和j表示缺陷图像的地址，并且用X_i.j表示地址i和j处的辉度值。在方程式2中，将|X_i-1，j－X_i+1，j |与|X_i，j-1－X_i，j+1|进行比较，这对应于确定在水平方向和垂直方向中具有较高相关的方向。自然图像中的被摄体图像具有与随机图案不同的特性。即使在边缘方向上辉度急剧改变，在许多情况下，在没有边缘的方向上也获得比较平坦的辉度分布。使用该特性，在|X_i-1，j－X_i+1，j|和|X_i，j-1－X_i，j+1|小的方向上辉度分布平坦的假设下，进行插补处理。此外，即使提出了更高级的处理方法，这里也仅提出了技术思想的基本思想。

在步骤S376中，由于通过现有技术对缺陷进行了校正，因此无法实现使用本发明获得的积极效果。然而，在步骤S375中，通过确定焦点位置的绝对值和d_max的绝对值，可以获得效果。由于可以理解缺陷图像具有离焦超出d_max的被摄体图像（在S375中确定为“否”时的情况），因此即使通过简单插补处理再形成图像，缺陷图像也不影响该图像。也就是说，在步骤S307中进行的图像生成单元的操作中，可以理解，缺陷图像不会产生非常严重的影响（出现振铃（ringing））。由于超出能够获得再形成的图像的范围d_max的离焦容易导致再形成的图像变模糊，因此在缺少射频被摄体图像的信息的状态下获得图像。在这种现象中，即使通过由方程式2指示的简单插补处理，也能够获得相当好的插补值（这里，要在X_i，j处获得的辉度信息由于模糊而扩散使得渗漏到外围像素中，这与切割射频分量是同义的）。

在步骤S377中，对图像移位单元进行操作，以使其聚焦在当前进行处理的缺陷像素的位置以获得结果。换句话说，图像信号处于在图5A至5D的再形成平面上的图像移位完成、但是未进行在垂直方向上进行相加以获得S_i的处理的状态。下面将参照图3C描述图像移位单元的操作的细节。

在步骤S378中，基于从步骤S377获得的图像移位的结果进行插补处理，这在图3B中作为“对移位图像的插补处理”而示出。具体来说，作为步骤S377中的图像移位单元的操作的结果，使图像聚焦在进行当前处理的图像的缺陷图像的位置。在这种状态下，如所公知的，可以与要穿过的光瞳位置无关地获得相同的信息。这是因为从同一被摄体上的一点发射的光线聚焦在显影图像中的一点。在这种情况下，根据穿过明显不同的光瞳区域的信息进行插补是比较合适的。如果参照下面将参照图4A至4C描述的相关计算，则可以容易地理解（即使这里参照图4A至4C进行简单的描述，下面也将进行对图4A至4C的详细描述）。在图4A至4C中，图4B示出了对焦状态。在这种情况下，穿过不同光瞳区域的信息的辉度值的分布A_i和B_i具有类似的形状。例如，如果像素A_k是缺陷像素，则通过复制图4B中的相应像素B_i的辉度值来进行合适的处理。为了简单起见，图4示出了两个光瞳穿过区域的信息。如果光瞳分割数量大，则由于可以获得更多来自没有缺陷的像素的信息，因此可以使用其它适当的插补方法，来代替复制辉度值。作为示例，考虑使用正常像素的辉度值的平均值或者方差（dispersion）。

通过到步骤S379的处理，使用关于聚焦平面的信息（如上所述，可以与穿过的光瞳区域无关地获得相同的信息）或者具有良好相关（＝相似性高）的信息，来进行插补处理。因此，针对缺陷像素进行适当的插补处理。其结果是，即使在图像的再形成中，也能够获得高质量图像。

在步骤S380中，该序列返回到作为缺陷校正例程的调用方的步骤S305。

参照图3C，描述图像移位单元的操作的细节。步骤S321指示图像移位单元的操作开始。

步骤S322至S326是循环处理。在步骤S322中，使循环计算与和光瞳分割数量相对应的数量相同的次数。例如，在图2A至2C所示的示例中，由于将摄影光学系统103的出射光瞳分割为25个部分，因此根据25个光瞳位置进行计算。如下面将参照图5A至5D描述，如果即使在同一再形成平面上入射角也不同（这基本与在与出射光瞳有足够的距离的情况下，穿过的光瞳区域不同同义），则为了进行再形成而使图像移位的量也不同。该循环是用于适当地反映上面的描述的循环。

在步骤S323中，基于来自步骤S324的数据，计算与评价位置相对应的光瞳区域中的图像移位量。在步骤S324中，存储各像素和MLA之间的对应关系，并且存储指示各像素从哪个光瞳区域接收光线的信息。

在步骤S325中，基于在步骤S323中获得的信息，将获得具有相同入射角的光线（从相同的光瞳区域获得光线）的像素移位。获得具有相同入射角的光线的像素例如是图2A至2C的225a和225b。存在与形成MLA 200的微透镜的数量相同的这种像素。

参照图5A至5D更详细地描述图像移位单元（下面将进行描述）。

在步骤S327中，该序列返回到作为图像移位单元的调用方的步骤S304或者步骤S377。

参照图3D，描述图像生成单元的操作的细节。

步骤S331指示图像生成单元的操作开始。

在步骤S332中，将存储步骤S335中的相加结果的数据的区域初始化（用0填充）。在这种情况下，数据区域优选具有与MLA 200的数量相对应的大小。此外，如果能够存储原始数据的灰度级和光瞳分割数量的积，则数据的灰度级可能是足够的。例如，当数据是8位，并且光瞳分割数量是25时，如果数据的灰度级是13位（＞8位+log₂25），则不需要考虑数据的溢出。

步骤S333至S338是循环处理。在步骤S333中，进行与形成MLA 200的微透镜的数量相同次数的循环计算。例如，在图2A至2C所示的示例中，图像拾取元件的像素的数量÷25（光瞳分割数量）得出微透镜的数量。

步骤S334至S337是循环处理。在步骤S334中，进行与光瞳分割数量相同次数的循环计算。例如，在图2A至2C所示的示例中，由于将出射光瞳分割为25个，因此对来自25个光瞳位置的光进行处理。

在步骤S335中，确定是否要将光瞳区域相加。换句话说，通过根据用户的设置改变要相加的区域，来提供期望的图像。通常来说，如果要相加的光瞳区域增加，则图像可能由于良好的S/N而具有小的焦深，而如果要相加的光瞳区域减少，图像可能具有大的焦深。

在步骤S336中，进行相加。如果移位量不是像素的整数倍，则在S336的相加中，合适地对光进行分割以进行相加（例如根据重叠区域适当地进行相加）。

将参照图5A至5D更具体地描述图像生成单元（下面将进行描述）。

在步骤S339中，该序列返回到作为图像生成单元的调用方的步骤S307。

参照图3E，描述相关计算单元的操作的细节。

步骤S361指示相关计算单元的操作开始。

在步骤S362中，设置要进行评价的评价点的数量和评价框（例如评价点在其中心的框）的大小。根据摄影条件或者镜头102的类型，适当地设置评价点。此外，如果评价框过大，则可能出现对同时具有不同距离的被摄体的图像进行评价的视角冲突。这里，评价框优选在不管噪声可以适当地计算相关的范围内尽可能小。通过这样做，在对缺陷进行了校正时，适当地检测到焦点位置。

步骤S363至S369是循环处理。在步骤S363中，重复进行运算，以获得与在步骤S362中确定的评价点的数量相对应的评价值。

步骤S364至S367是循环处理。在步骤S364中，针对包含在步骤S362中确定的评价框中的像素，进行相关计算。

在步骤S365中，确定像素A_i或者B_i是否有缺陷。这里，A_i表示与特定穿过的光瞳区域相对应的第i个像素的辉度。B_i表示穿过与A_i不同的光瞳区域相对应的第i个像素的辉度。例如，在图2A至2C中，A_i可以通过仅布置与像素222相对应的像素来形成，B_i可以通过仅布置与像素224相对应的像素来形成。可以依据基准长度或者光瞳平面的渐晕状态来确定光瞳区域，以选择与所确定的光瞳区域相对应的像素。

在步骤S365中，如果确定像素有缺陷，则使用该像素进行相关计算不合适，从而该序列进行到步骤S367。如果像素没有缺陷，则该序列进行到步骤S366。例如，可以通过如在步骤S366中表示的∑|A_i-B_i|，来进行相关计算。此外，在该实施例中，使用相关计算，以找到缺陷像素的焦点位置，因此，这里表示的相关计算的方程式仅仅是说明性的，而不是本发明的实质。

通过如上所述进行设置，可以计算穿过不同光瞳区域的图像的相关，并且可以基于相差AF获得评价量。在步骤S368中，存储所获得的相关值，作为评价量。

在上述评价方程式∑|A_i-B_i|中，相关值变得较小的部分对应于具有良好聚焦状态的部分。这里，使用将差分绝对值相加的方法来进行相关计算。然而，可以使用其它计算方法，例如将最大值相加的方法、将最小值相加的方法或者将差分平方值相加的方法，来进行相关计算。

在步骤S369中，该序列返回到作为相关计算单元的调用方的步骤S307。

在图4A至4C中示出了与这里描述的相关计算单元中的评价相对应的辉度值的分布的示例。

图4A至4C示出了焦点位置按照该顺序改变时的辉度值的分布。水平轴指示像素位置，而垂直轴指示辉度值。如上所述，在图2A至2C中，A_i通过仅布置与像素222相对应的像素形成，B_i通过仅布置与像素224相对应的像素形成。在相关计算单元中，例如，通过下面的方程式进行评价。

C(p)＝∑_q|A_i-q–B_i+q|                    (3)

其中，在排除了缺陷像素的情况下，在从1到评价像素的数量的q上进行求和。

这里，C(p)表示相关的评价量，并且是作为相关评价方法的示例的被称为SAD（绝对差之和）的相关运算方法的相关评价值。因此，可以使用例如SSD（平方差之和）的其它相关运算方法来进行评价。

在图3E中，q表示作为从步骤S364到步骤S367的循环中的重复处理的目标的像素。根据方程式3，在使移位相应的像素偏离的同时，计算A_i和B_i的相关。如图5A至5D所示，这种情况可以对应于通过使在图4A至4C中的垂直方向上平行表示的邻接像素列偏离来获得像素行的相关的情况。换句话说，在图4A中，A_i的峰位于B_i的峰的再左侧。在图4B中，A_i的峰与B_i的峰匹配。在图4C中，A_i的峰位于B_i的峰的再右侧，这是在焦点位置变化时穿过不同光瞳区域的图像的行为。

在图4B中示出了对焦状态。然而，在这种情况下，可以与穿过的光瞳区域无关地获得相同的信息，这对应于图4B中A_i和B_i重叠的情况。A_i和B_i彼此基本匹配。不匹配的部分取决于噪声分量和被摄体的光的扩散特性的差。

如果考虑在图4A至4C中，特定像素A_k有缺陷，则可以使用图4B中与A_k相对应的像素B_j的值，对A_k的缺陷进行处理。这里，注意，B_j不一定是在摄影状态下与A_k邻接的像素。从方程式3可以看出，如果q＝0，则假设B_j存在于A_k附近。然而，在其它情况下，B_j不一定是与A_k邻接的像素。同时，当再形成图像，以使其聚焦时，B_j存在于A_k附近。指定在缺陷校正单元中使用这种像素。在本实施例中，不需要指定并记录该像素。然而，如果指定了聚焦位置，则自然确定了与A_k相对应的像素，从而存储该聚焦位置。

接下来，使用图5A至5D，示意性地示出图像移位和图像生成，并且描述通过再形成图像来进行对比度计算的有用性。

在图5A至5D中，首先，图5B示出了由实际设置在其上的图像拾取元件106获得图像的表面，图5A示出了比在图5B中更靠近被摄体侧的再形成平面（称为再形成平面1），图5C示出了比在图5B中更远离被摄体侧的再形成平面（称为再形成平面2）。如上所述，在图5A至5D中，为了清楚并且简要地进行描述，光瞳分割方向和像素布置是一维的。

在图5B中，X_1，i、X_2，i、X_3，i、X_4，i和X_5，i指示作为穿过光瞳区域1、2、3、4和5到达微透镜X_i的光而获得的数据。换句话说，下标的前半部分指示穿过的光瞳区域，下标的后半部分指示微透镜的编号。在与物理位置的关系中，X_1，i指示从图2C的区域221获得的数据，X_2，i指示从图2C的区域222获得的数据。此外，下标3、4和5对应于区域223、224和225。

为了在获得平面上生成图像，如图5B所示，可以将到达微透镜X_i的数据相加。具体来说，可以通过S_i＝X_1，i+X_2，i+X_3，i+X_4，i+X_5，i，获得到达X_i的光的角方向上的积分值。通过针对所有微透镜进行上述运算，创建与正常照相机类似的图像。

接下来，考虑在再形成平面1上生成图像的方法。如在图2A至2C中描述的，在该实施例的摄影光学系统中，到达像素的光被限制在特定光瞳区域中，因此使用已知入射角。根据角度来再形成像素在再形成平面上的位置。具体来说，例如X_1，i，如果光瞳区域的下标为1，则在图5D中，光以由附图标记541表示的角度到达。下文中，光瞳区域的下标2、3、4和5分别对应于附图标记542、543、544和545。这时，到达再形成平面1上的微透镜X_i的光扩散到X_i-2至X_i+2（一维），从而到达获得平面。更具体来说，光扩散到X_1，i-2、X_2，i-1、X_3，i、X_4，i+1和X_5，i+2。至于X_i之外的微透镜，也能够理解，仅需要以根据入射角对图像进行移位和相加的方式在再形成平面1处再形成图像。为了在再形成平面1处生成图像，将具有光瞳区域的下标1的微透镜向右移位两个像素，将具有光瞳区域的下标2的微透镜向右移位一个像素，并且不移位具有光瞳区域的下标3的微透镜。此外，将具有光瞳区域的下标4的微透镜向左移位一个像素，并且将具有光瞳区域的下标5的微透镜向左移位两个像素。因此，可以与入射角相对应地移位微透镜。之后，可以通过在图5A中的垂直方向上进行相加，来获得再形成平面1处的数据。具体来说，在S_i＝X_1，i-2+X_2，i-1+X_3，i+X_4，i+1+X_5，i+2的再形成平面1处，可以获得到达X_i的光的角方向上的积分值。相应地，获得再形成平面1处的图像。

这里，在再形成平面1处，如果考虑X_i具有亮点，则光在获得平面处扩散到X_1，i-2、X_2，i-1、X_3，i、X_4，i+1和X_5，i+2上，从而处于模糊状态。然而，如果在再形成平面1处生成图像，则再次在X_i上生成亮点，从而获得具有高对比度的图像。换句话说，通过再形成图像以计算对比度，可以进行所谓的对比度AF。

此外，如从图5C知道的，在再形成平面2处，也可以通过与在该再形成平面处完全相同的方式生成图像。如果定位再形成平面的方向改变（这意味着到被摄体的相对侧），则仅需要将移位方向反转。

参照图6A至6C，描述在图2A至2C的图像拾取系统中的虚拟焦平面处再形成图像的示例。

图6A至6C是示意性地示出来自被摄体的光聚焦在图像拾取元件106上时的状态的视图。图6A对应于参照图2A至2C描述的光学系统的聚焦状态，并且是将MLA 200布置在摄影光学系统103的焦平面附近的示例。图6B是示出将MLA 200布置得比摄影光学系统103的焦平面距离被摄体更近时的聚焦状态的视图。图6C是示出将MLA 200布置得比摄影光学系统103的焦平面距离被摄体更远时的聚焦状态的视图。

在图6A至6C中，附图标记106表示图像拾取元件，附图标记200表示MLA，附图标记231至235表示在图2A至2C中使用的光瞳区域，附图标记651表示被摄体平面，附图标记651a和651b表示被摄体上的适当点，并且附图标记652表示摄影光学系统的光瞳平面。此外，附图标记661、662、671、672、673、681、682、683和684表示MLA上的特定微透镜。图6B和6C所示的附图标记106a表示布置在虚拟焦平面上的图像拾取元件，并且附图标记200a表示布置在虚拟焦平面上的MLA，如此称谓图像拾取元件106a和MLA 200a以澄清与图6A的对应关系。此外，用实线表示从被摄体上的点651a发射并且穿过光瞳平面上的区域231和233的光，并且用虚线表示从被摄体上的点651b发射并且穿过光瞳平面上的区域231和233的光。

在图6A的示例中，如参照图2A至2C所描述的，将MLA 200布置在摄影光学系统103的焦平面附近，从而图像拾取元件106与摄影光学系统的光瞳平面652共轭。此外，被摄体平面651与MLA 200共轭。因此，从被摄体上的点651a发射的光到达微透镜661，并且从点651b发射的光到达微透镜662。此外，穿过区域231至235的光到达设置在微透镜下面的相应像素。

在图6B的示例中，微透镜200使得来自摄影光学系统103的光聚焦，并且图像拾取元件106设置在焦平面上。通过这种布置，被摄体平面651与图像拾取元件106共轭。从被摄体上的点651a发射并且穿过光瞳平面上的区域231的光到达微透镜671，并且从被摄体上的点651a发射并且穿过光瞳平面上的区域233的光到达微透镜672。从被摄体上的点651b发射并且穿过光瞳平面上的区域231的光到达微透镜672，并且从被摄体上的点651b发射并且穿过光瞳平面上的区域233的光到达微透镜673。此外，穿过各个微透镜的光到达设置在微透镜下面的相应像素。因此，光通过被摄体上的点和光瞳区域上的穿过区域，聚焦在图像拾取元件的不同位置。通过在虚拟图像拾取平面106a上的位置的再布置，可以获得与图6A相同的信息。换句话说，可以获得关于穿过的光瞳区域（入射角）以及在图像拾取元件上的位置的信息，并且可以实现作为光瞳分割单元的功能。

在图6C的示例中，微透镜200使得来自摄影光学系统103的光再聚焦（再聚焦意为对处于扩散状态的聚焦的光再次进行聚焦），并且图像拾取元件106设置在焦平面上。通过这种布置，被摄体平面651与图像拾取元件106共轭。从被摄体上的点651a发射并且穿过光瞳平面上的区域231的光到达微透镜682，并且从被摄体上的点651a发射并且穿过光瞳平面上的区域233的光到达微透镜681。从被摄体上的点651b发射并且穿过光瞳平面上的区域231的光到达微透镜684，并且从被摄体上的点651b发射并且穿过光瞳平面上的区域233的光到达微透镜683。此外，穿过微透镜的光到达设置在微透镜下面的相应像素。与图6B类似，通过在虚拟图像拾取平面106a上的位置的再布置，可以获得与图6A相同的信息。换句话说，可以获得关于穿过的光瞳区域（入射角）以及在图像拾取元件上的位置的信息，并且可以实现作为光瞳分割单元的功能。

在图6A至6C中，示出了使用MLA（相位调制元件）作为光瞳分割单元来获得位置信息和角度信息的示例。然而，如果获得了位置信息和角度信息（等同于限制光瞳的穿过区域），则可以使用其它光学配置。例如，可以使用在摄影光学系统的光通路中插入其上具有适当的图案的掩模（增益调制元件）的方法。

如上所述，根据本实施例，即使使用具有像素缺陷的图像拾取元件，基于穿过图像拾取元件中的不同光瞳区域的光的信息，也能够获得降低了像素缺陷的影响的高质量的图像。

即使上面描述了本发明的示例性实施例，本发明也不局限于该示例性实施例，而可以对该示例性实施例进行变型或者改变，而不脱离本发明的主旨。

第二实施例

下面，参照图7A至7C，描述根据本发明的第二实施例的照相机系统的配置。在该实施例中，由于照相机系统具有在图1中示出的配置相同的装置配置，因此省略其描述。

图7A至7C示出了根据第二实施例的用于获得摄影图像的操作的流程图。图7A示出了例示整个照相机系统的操作的流程图，图7B示出了例示预显影操作的流程图，图7C示出了例示缺陷校正单元的操作的流程图。在图7A至7C中，用与图3A至3E相同的附图标记，表示进行与第一实施例相同的操作的步骤。

与依据检测到的焦点位置是否在d_max的范围内来改变插补方法的第一实施例相比，在本实施例中，在焦点位置在d_max的范围内的假设下进行图像移位（预显影），并且根据移位后的像素值的相关来确定插补方法。

将按顺序描述图7A的步骤。此外，用相同的附图标记表示与在图3A至3E的流程图中相同的步骤，并且基本省略其描述。

步骤S301指示图像获得操作开始。在步骤S302中，在将图像拾取元件106曝光适当的时间之后，读出图像拾取信号，并且对其进行A/D转换，以获得图像数据。

在步骤S703中，进行预显影操作，这与第一实施例不同。下面将参照图7B描述预显影。

在步骤S705中，对缺陷校正单元进行操作。下面将参照图7C描述本实施例的缺陷校正单元。

步骤S306至S309进行与第一实施例相同的操作。换句话说，在步骤S306中，对图像移位单元进行操作，在步骤S307中，对图像生成单元进行操作，在步骤S308中，进行记录处理，然后，在步骤S309中，该序列完成。

参照图7B描述预显影操作。

在步骤S711中，预显影操作开始，并且该序列进行到步骤S712。

步骤S712至S714是循环处理，并且在多个设置的位置进行图像生成（显影）。关于进行显影的位置，考虑使用在第一实施例中示出的|d_max|的范围内设置多个位置的方法。

在步骤S713中，图像移位单元以对应于多个设置的位置中的当前显影位置的方式操作。该操作与在第一实施例中描述的操作相同。

通过在直到步骤S714的步骤中进行的操作，在多个位置生成移位图像。由于图像生成单元没有将图像相加，因此像素在进行显影的位置被移位。与图5A至5D相比，已完成在图5A至5D的再形成平面上的图像移位，但尚未进行通过在垂直方向上进行相加而获得S_i的处理。

在步骤S715中，该序列返回到作为预显影例程的调用方的步骤S703。

参照图7C描述本实施例中的缺陷校正单元。步骤S371指示缺陷校正单元的操作开始。

步骤S372和S373指示从存储器单元108中读出缺陷信息的操控。如在第一实施例中所描述的，由于缺陷信息是固定的，因此存储缺陷信息并在该步骤中使用。

步骤S374至S378是循环处理，其指示对所有缺陷像素进行本实施例的插补处理。

在步骤S770中，计算角度（光的入射角）和位置（像素值）的相关。使用图5A至5D的附图标记定义该实施例中的角度的相关和位置的相关。

(角度相关)_p，i＝|X_p-1，j－X_p+1，j|

(位置相关)_p，i＝|X_p，i-1－X_p，i+1|     (4)

其中，p和i是分别与角度和位置相对应的下标。这里，即使为了方便描述而一维地示出了角度和位置两者，在实际照相机中，可以将这两者视为二维的。在这种情况下，能够简单地进行扩展。例如，如果角度的下标是p和q，位置的下标是i和j，则它们可以用下面的方程式表示。(p方向上的角度相关)_{p，q，i，j}＝|X_{p-1，q，i，j}－X_{p+1，q，i，j}|(q方向上的角度相关)_{p，q，i，j}＝|X_{p，q-1，i，j}－X_{p，q+1，i，j}|(i方向上的位置相关)_p，q，i＝|X_{p，q，i-1，j}－X_{p，q，i+1，j}|(j方向上的位置相关)_{p，q，i，j}＝|X_{p，q，i，j-1}-X_{p，q，i，j+1}| (5)

在方程式4和5中，在邻接的角度（微透镜）并且在位置（像素）方向上计算相关。如果使用上述计算方法，则优点在于，计算相关简单，并且以相同的维度对待位置的相关和角度的相关。

此外，相关的运算方法不限于此，而可以使用其它方法。例如，角度的相关，

(角度相关)_p，i＝∑_q∑_r|X_q，1－X_r，i|      (6)

其中，在排除了缺陷像素的情况下，在从1到N_θ的q和从1到N_θ的r上进行求和。

根据方程式6，能够知道缺陷像素之外的像素值彼此相似到什么程度。此外，如果将方程式6除以相加次数以进行归一化，则可以以与位置的相关相同的维度对待角度的相关。

在步骤S775中，将角度的相关与位置的相关进行比较。如果角度的相关值等于或小于位置的相关值，则该序列进行到步骤S778。相反，如果角度的相关大于位置的相关，则该序列进行到步骤S776。

在步骤S776中，进行位置方向上的插补处理，这与第一实施例的步骤S376中由方程式2进行的处理相同。

在步骤S778中，进行角度方向上的插补处理，这可以由下面的方程式定义。

X_p，i＝(X_p-1，i+X_p+1，i)/2(p-1≥1并且p+1≤N_θ)

X_p，i＝X_p-1，i(p+1＞N_θ)

X_p，i＝X_p+1，i(p-1＜1)                    (7)

如果存在关于邻接角度的信息，则使用两侧的信息来进行插补。如果没有两侧的信息，则使用其它邻接侧的信息来进行插补。

通过直到步骤S379的处理，由于使用具有良好相关（＝高相似度）的信息进行插补处理，因此针对缺陷相似进行适当的插补处理。其结果是，能够获得高质量图像。

在步骤S380中，该序列返回到作为缺陷校正例程的调用方的步骤S305。

此外，在上面描述的本实施例中，当使用获得穿过不同光瞳区域的光的信息的图像拾取元件时，即使图像拾取元件包括像素缺陷，也能够获得降低了缺陷的影响的高质量的图像。

如上所述，即使上面描述了本发明的示例性实施例，本发明也不局限于该示例性实施例，而可以对该示例性实施例进行变型或者改变，而不脱离本发明的主旨。

此外，在计算机可读记录介质中记录用于实现图3A至3E和图7A至7C所示的处理的功能的程序，由计算机系统读出并执行记录在记录介质中的程序，以进行处理。这里，“计算机系统”包括OS或者诸如外设的硬件。具体来说，可以将从记录介质中读出的程序写入设置在插入计算机中的功能扩展板或者连接到计算机的功能扩展单元中的存储器中。基于程序的指令，设置在功能扩展板或者功能扩展单元中的CPU进行一部分或者全部实际处理，由此通过处理实现上述实施例的功能的情况，也包含在本发明的范围内。

此外，“计算机可读记录介质”是指诸如软盘、磁光盘、ROM或CD-ROM的便携式介质和诸如内置在计算机系统中的硬盘的存储设备。此外，计算机可读记录介质可以包括在通过诸如因特网的网络或者诸如电话线的通信线路传输程序时，在用作服务器或者客户机的计算机系统中在预定时间内存储程序的诸如易失性存储器（RAM）的设备。

可以将程序从将程序存储在存储设备中的计算机系统通过传输介质或者由传输介质中的传输波，传输给其它计算机系统。这里，传输程序的“传输介质”是指诸如例如因特网的网络（通信网络）或者例如电话线的通信线路（通信配线）的具有传输信息的功能的介质。

此外，程序可以实现上述功能中的一部分。此外，程序可以是通过与已经记录在计算机系统中的程序组合来实现功能的差分文件（差分程序）。

此外，可以作为本发明的示例性实施例来应用记录了程序的诸如计算机可读记录介质的程序产品。程序、记录介质、传输介质和程序产品也包含在本发明的范围内。

参照示例性实施例描述了本发明。本发明不限于上述实施例，而可以在权利要求中描述的范围内进行各种变型。

Claims (9)

1.一种图像拾取装置，其包括具有摄影镜头的摄影光学系统和图像拾取元件，所述图像拾取元件对通过所述摄影镜头到达的被摄体的光学图像进行光电转换，以输出图像信号，所述图像拾取装置包括：

存储器单元，用于存储所述图像拾取元件的像素缺陷的信息以及用于确定到达所述图像拾取元件的各个像素的所述光学图像的入射角的信息；

图像生成位置设置单元，用于设置根据所述图像信号生成再形成图像的图像生成位置；

光瞳分割单元，用于将到达所述图像拾取元件的各个像素的所述被摄体的所述光学图像的光，限制为来自所述摄影镜头的特定光瞳区域的光；

图像移位单元，用于基于由所述图像生成位置设置单元设置的所述图像生成位置以及用于确定到达所述图像拾取元件的各个像素的所述光学图像的入射角的信息，针对每个光瞳区域确定与所述图像生成位置相对应的所述图像信号的移位量，以对所述图像信号进行移位；

缺陷校正单元，用于根据所述像素缺陷的信息，使用通过所述图像移位单元获得的、缺陷像素之外的像素的图像信号，对所述缺陷像素的图像信号进行校正；以及

图像生成单元，用于根据由所述缺陷校正单元校正后的图像信号，生成与所述图像生成位置相对应的图像。

2.根据权利要求1所述的图像拾取装置，其中，所述存储器单元存储由下面的方程式定义的阈值：

阈值＝(光瞳分割数量)×(图像拾取元件的像素间隔)/tan(与邻接光瞳区域的角度差)，并且

所述校正单元将由所述图像生成位置设置单元设置的所述图像生成位置与所述阈值进行比较，并且根据比较结果改变对所述图像信号进行校正的方法。

3.根据权利要求2所述的图像拾取装置，其中，在所述图像生成位置等于或小于所述阈值的情况下，所述缺陷校正单元使用所述图像移位单元的输出，对所述缺陷像素的所述图像信号进行校正；而在所述图像生成位置大于所述阈值的情况下，所述缺陷校正单元使用所述图像移位单元的所述输出之外的图像信号，对所述缺陷像素的所述图像信号进行校正。

4.根据权利要求1所述的图像拾取装置，其中，所述缺陷校正单元使用从所述图像移位单元获得的图像信号，计算位置和角度的相关，并且基于所计算的相关、使用从所述图像移位单元获得的所述图像信号，对所述像素缺陷的所述图像信号进行校正。

5.根据权利要求4所述的图像拾取装置，其中，在计算的角度的相关值等于或小于计算的位置的相关值的情况下，所述缺陷校正单元通过角度方向上的插补处理对所述缺陷像素的所述图像信号进行校正；而在计算的角度的相关值大于计算的位置的相关值的情况下，所述缺陷校正单元通过位置方向上的插补处理对所述缺陷像素的所述图像信号进行校正。

6.根据权利要求1至3中的任一项所述的图像拾取装置，所述图像拾取装置还包括：

相关计算单元，用于使用未由所述图像移位单元移位的图像信号，计算与不同光瞳区域相对应的图像信号的差分，

其中，所述图像生成位置设置单元基于所述相关计算单元的相关计算的结果，设置图像生成位置。

7.根据权利要求4或者5所述的图像拾取装置，其中，所述存储器单元存储由下面的方程式定义的阈值：

阈值＝(光瞳分割数量)×(图像拾取元件的像素间隔)/tan(与邻接光瞳区域的角度差)，并且

所述图像生成位置设置单元包括用于在所述阈值的范围内设置所述图像生成位置的单元。

8.根据权利要求1所述的图像拾取装置，其中，所述光瞳分割单元是布置在所述图像拾取元件的光接收表面上的微透镜阵列，所述微透镜阵列将在所述图像拾取元件的所述光接收表面上形成的多个像素分割为与各个微透镜相对应的多个像素组，并且所述微透镜使得相应的像素组中的各个像素与来自所述摄影镜头的不同光瞳区域的光相对应。

9.一种图像拾取装置的控制方法，所述图像拾取装置包括具有摄影镜头的摄影光学系统、图像拾取元件、光瞳分割单元和存储器单元，所述图像拾取元件对通过所述摄影镜头到达的被摄体的光学图像进行光电转换，以输出图像信号；所述光瞳分割单元将到达所述图像拾取元件的各个像素的所述被摄体的所述光学图像的光，限制为来自所述摄影镜头的特定光瞳区域的光；所述存储器单元存储所述图像拾取元件的像素缺陷的信息以及用于确定到达所述图像拾取元件的各个像素的所述光学图像的入射角的信息，所述控制方法包括：

图像生成位置设置步骤，设置根据所述图像信号生成再形成图像的图像生成位置；

图像移位步骤，基于由所述图像生成位置设置步骤设置的所述图像生成位置以及用于确定到达所述图像拾取元件的各个像素的所述光学图像的入射角的信息，针对每个光瞳区域确定与所述图像生成位置相对应的所述图像信号的移位量，以对所述图像信号进行移位；

缺陷校正步骤，根据所述像素缺陷的信息，使用在所述图像移位步骤获得的、缺陷像素之外的像素的图像信号，对所述缺陷像素的图像信号进行校正；以及

图像生成步骤，根据在所述缺陷校正步骤中校正后的图像信号，生成与所述图像生成位置相对应的图像。

Images