CN104883520A

CN104883520A - 图像处理装置和图像处理装置的控制方法

Info

Publication number: CN104883520A
Application number: CN201510088447.3A
Authority: CN
Inventors: 古谷浩平
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-02-27
Filing date: 2015-02-26
Publication date: 2015-09-02
Anticipated expiration: 2035-02-26
Also published as: CN104883520B; JP2015162817A; US9635292B2; JP5970012B2; US20150244953A1

Abstract

本发明公开一种图像处理装置和图像处理装置的控制方法。从被设置为通过与校正目标像素对应的像素的关注线上存在的多个像素，生成图像的第一区域。生成多个第二区域，各个所述第二区域都基于被设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置。使用基于各第二区域与第一区域的相关量而确定的各个所述至少一条参照线上的像素的值，来校正与所述校正目标像素对应的像素的值。以对与对应于所述校正目标像素的像素越接近的部分的相关性应用越大权重的方式，计算所述相关量。

Description

图像处理装置和图像处理装置的控制方法

技术领域

本发明涉及一种图像处理装置和图像处理装置的控制方法，尤其涉及一种用于校正缺陷像素的技术。

背景技术

诸如数字照相机等摄像装置使用诸如CMOS传感器等图像传感器来拍摄图像。通常，由于图像传感器中配设了大量像素，因此图像传感器中存在缺陷像素。作为用于校正此类缺陷像素的值的技术，已知如下方法：将根据存在于缺陷像素的周边的一个或更多个非缺陷像素的一个或更多个值而估计的像素值，用作缺陷像素位置处的像素值。在本说明书的下文中，获得在像素为非缺陷的情况下应该被获得的缺陷位置处的像素值，将被称为缺陷像素校正。

例如，日本特开平11-220661号公报公开了一种方法，在该方法中，参照与缺陷像素颜色相同的周边像素的值，将缺陷像素附近的被摄体的形状分类为任意预定图案，并通过使用对应于已分类的图案的周边像素及方法来校正缺陷像素。日本特开2005-175547号公报公开了如下方法：在缺陷像素附近的被摄体的空间频率高的情况下，使用邻接像素来检测缺陷像素的校正中将要使用的像素的参照方向，从而实现比使用与缺陷像素颜色相同的像素的情况更精确的插值。

然而，利用上述专利文献中公开的传统技术，可以对具有预定的特定的角度的被摄体精确地校正缺陷像素，但在被摄体具有不同的角度的情况下存在发生错误校正的情况。例如，考虑到被摄体具有如图16A中示出的接近水平的角度(这里大约为27度)的情况。在图16A中，以粗框表示传统技术中的缺陷像素的校正中使用的像素的参照区域。假定缺陷像素位置处的像素值是图16B中示出的值(0)，利用参照区域内与缺陷像素颜色相同的像素的值(30或40)不能适当地校正缺陷像素。

通过扩展参照区域能够提高在参照区域内发现适合于缺陷像素校正的像素值的可能性。然而，例如，如果由于缺陷像素而使具有图16C所示的重复图案的被摄体的像素值变为如图16D所示，则存在不能够基于两点间的差正确地检测被摄体的角度的情况。

发明内容

本发明提供一种即使在包含缺陷像素的被摄体不具有特定角度时，也能够实现适当的缺陷像素的校正的图像处理装置和图像处理装置的控制方法。

根据本发明的一方面，提供一种图像处理装置包括：获得单元，用于获得图像；第一设置单元，用于基于校正目标像素的位置来设置所述图像的第一区域，所述第一区域包括被设置为通过所述校正目标像素的关注线上的多个像素；第二设置单元，用于设置所述图像的多个第二区域，各个所述第二区域都基于在被设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；相关性计算单元，用于计算各个所述第二区域与所述第一区域的相关量；以及校正单元，通过使用基于所述相关量而确定的、各个所述至少一条参照线上的像素的值，来计算用于校正与所述校正目标像素对应的像素的值的校正值，并使用所述校正值来校正与所述校正目标像素对应的像素的值，其中，所述相关性计算单元以对与对应于所述校正目标像素的像素越接近的部分的相关性应用越大权重的方式，计算所述相关量。

根据本发明的另一方面，提供一种图像处理装置的控制方法，所述方法包括：获得步骤，获得图像；第一设置步骤，基于校正目标像素的位置来设置所述图像的第一区域，所述第一区域包括被设置为通过所述校正目标像素的关注线上的多个像素；第二设置步骤，设置所述图像的多个第二区域，各个所述第二区域都基于在被设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；相关性计算步骤，计算各第二区域与所述第一区域的相关量；以及校正步骤，通过使用基于所述相关量而确定的、各个所述至少一条参照线上的像素的值，来计算用于校正与所述校正目标像素对应的像素的值的校正值，并使用所述校正值校正与所述校正目标像素对应的像素的值，其中，在所述相关性计算步骤中，以对与对应于所述校正目标像素的像素越接近的部分的相关性应用越大权重的方式，计算所述相关量。

根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。

附图说明

图1A和图1B是根据本发明的实施例的摄像装置和信息处理装置的框图。

图2是示出实施例中的图像传感器中的示例性像素阵列的图。

图3是示出第一实施例中的缺陷像素校正处理的流程图。

图4是第一实施例中的相关量计算处理的示意图。

图5A和图5B示出了实施例中的相关量计算处理的具体示例。

图6是示出第二实施例中的参照线的设置的示意图。

图7是用于例示第三实施例的示意图。

图8A和图8B是用于例示第四实施例的示意图。

图9是示出第四实施例中缺陷像素校正的概要的示意图。

图10是示出第四实施例中缺陷像素校正处理的流程图。

图11A至图11D是示出第四实施例中用于合成校正值的示例性方法的图。

图12A和图12B是用于例示第四实施例中用于合成校正值的方法的图。

图13A和图13B是用于例示在第五实施例中要处理的问题的示意图。

图14是第五实施例中的相关量计算处理的示意图。

图15A至图15C是例示第五实施例的效果的图。

图16A至图16D是示出利用传统技术很难处理的被摄体条件的示例的图。

具体实施方式

将根据附图详细描述本发明的示例性实施例。下文描述的本发明的各实施例能够被独立地实施，或者在必要时或从各个实施例的要素或特征的组合在单个实施中是有益的时，作为多个实施例或其特征的组合来实施。

请注意，尽管以下实施例将描述本发明应用于摄像装置的示例，但诸如与摄影和摄影图像的记录相关的功能等摄像装置所独有的配置不是根据本发明的图像处理装置所必需的。可以在任何能够获得通过摄影获得的图像数据、以及与在该摄影中使用的图像传感器中的缺陷像素有关的信息的电子设备中实施本发明。“摄像装置”并不限于诸如数字照相机等主要功能为摄影的装置，而是指任何具有摄影功能的电子设备。

第一实施例

图1A是示出作为根据本发明的实施例的示例性图像处理装置的摄像装置(或图像处理装置)100的示例性功能配置的框图。

摄像装置100是诸如数字照相机或数字摄像机等对被摄体进行摄影并获得表示被摄体的图像的数据(图像数据)的装置。光学系统101具有透镜、快门及光圈，并在CPU 103的控制下在图像传感器102上形成被摄体的光学图像。可以为CCD或CMOS图像传感器的图像传感器102在各像素处对形成的被摄体的光学图像执行光电转换，并将其转换为模拟图像信号。CPU 103将模拟图像信号转换为数字图像信号(图像数据)，并将其应用于诸如白平衡调整和颜色插值处理等所谓的显影处理及编码处理。CPU 103通过执行程序并控制各功能块来实现摄像装置100的各种功能。请注意，被描述为作为软件由CPU 103实现的功能中的至少一些功能可以通过硬件(即离散电路、ASIC、可编程逻辑设备等)来实现。

例如，一次存储设备104是诸如RAM等易失性存储设备，并被用作诸如CPU 103的工作区域等临时数据存储区域。例如，二次存储设备105是诸如EEPROM等非易失性存储设备，并存储用于控制摄像装置100的程序(固件)、由CPU 103执行的程序、各种设置信息等。

例如，存储介质106(半导体存储卡)将通过摄影获得的图像数据存储为预定格式的数据文件。例如，存储介质106可以从摄像装置100移除，并可以与诸如个人电脑等具有访问存储介质106的功能的其他设备一起使用。换言之，摄像装置100仅需要具有访问存储介质106的功能并能够从/向存储介质106中读出/写入数据。

例如，显示单元107用于在摄影时显示取景器图像、显示拍摄的图像或从存储介质106读出的图像以及显示用于交互操作的用户界面。例如，操作单元108具有诸如按钮、开关、操纵杆以及触摸面板等输入设备，且使用户能够对摄像装置100给出各种指令并配置其设置。请注意，操作单元108中还包括实现诸如语音输入或视线输入等不需要物理操作的输入方法的配置。

通信装置109使摄像装置100能够向/从外部设备发送/接收控制命令和数据。要用于与外部设备通信的协议并无特别限定，例如可以是PTP(图片传输协议)。请注意，例如，通信装置109可以使用USB(通用串行总线)电缆等通过有线连接与外部设备通信，或者可以使用无线LAN等通过无线连接与外部设备通信。通信装置109可以直接与外部设备相连接，或者可以经由服务器或经由诸如互联网等网络来连接。

在图2中，2a部分示出了本实施例中图像传感器102中的示例性像素阵列。图像传感器102包括具有原色拜耳阵列的滤色器。具体地说，其包括具有由两个水平像素×两个垂直像素的四个像素构成的重复单位的阵列。在重复单位中，左上方的像素是红色(R)像素、右上方和左下方是绿色(G)像素，右下方像素是蓝色(B)像素。尽管2a部分示出了缺陷像素位于中心处的非常少的一部分像素，但是其他部分也具有相同的阵列。请注意，尽管图像传感器具有“缺陷像素”，但是图像传感器中的像素与通过摄影获得的图像的像素是对应关系，因此在以下描述中将对应于缺陷像素的图像中的像素称为“缺陷像素”。另外，缺陷像素可以被称作校正目标像素。

接下来，将描述本实施例中缺陷像素校正操作的概要。这里如图2中的2a部分，假定R像素是缺陷像素。首先，当获得了2a部分示出的图像时，从通过缺陷像素的线(关注线)提取包括将要成为校正目标的缺陷像素并表示此线的特征的多个像素，并生成由提取的像素构成的2b部分所示的特征像素序列。这里示出了如下示例：关注线为水平线，提取与缺陷像素位于相同水平坐标上且与缺陷像素颜色相同的像素，从而生成特征像素序列。请注意，尽管这里给出了提取缺陷像素及位于关注线上的缺陷像素的前后、且与缺陷像素颜色相同的两个像素来作为特征像素的示例的描述，但是提取特征像素的方法并不限定于此。

接下来，从与关注线平行的另一条线(参照线)上存在的像素中提取表示此线的特征的多个像素，并生成由提取的像素构成的2c部分所示的特征像素序列。这里，示出了如下示例：在关注线上方两个像素处设置参照线，从参照线上的像素中提取与缺陷像素颜色相同的像素以生成特征像素序列。由于如稍后描述的那样计算相关量，因此从参照线提取的特征像素的数量比从关注线提取的特征像素的数量更大。

请注意，在本实施例中，将参照线设置为使得与缺陷像素颜色相同的像素存在于线上。因此，在诸如由拜耳阵列中的R像素和B像素等两个像素构成重复单位的情况下，将参照线设置为使得其与关注线的距离是重复单位的倍数(2n[像素]，其中，n是等于或大于1的整数)。

如2d部分示出了从关注线和参照线生成的特征像素序列的各像素值、以及从特征像素序列的像素值生成的波形的示例。在这样从关注线和参照线上的特征像素序列生成两个波形后，针对多个相对位置(偏移量)获得相关量，从而获得两个波形间的相关性最高的偏移量和方向。

例如，如2e部分所示出，假定由于将关注线上的特征像素序列的波形偏移+2(即，在向右方向上两个像素)，其与参照线上的特征像素序列的波形的相关性变为最高。由于特征像素序列由拜耳阵列中相同颜色的像素所构成，因此偏移量(+2)×2与原始像素阵列中像素坐标的差相对应。因此，如2f部分所示出，发现参照线上与缺陷像素最相关的像素位于水平坐标上距缺陷像素+4的位置处(即，在向右方向上距缺陷像素4个像素)。

为此，例如，在最简单的方法中，可以通过将与缺陷像素最相关的像素的值用作缺陷像素的值来校正缺陷像素。

接下来，将通过图3中示出的流程图来描述如何利用图1A中示出的摄像装置100实现本实施例的上述缺陷像素校正。

首先，在步骤S301中，CPU 103获得作为处理目标的图像数据。这里，图像数据可以通过摄影来获得，或可以通过读出存储介质106中记录的图像数据来获得。另选地，可以经由通信装置109从外部设备获得。请注意，这里获得的图像数据处于缺陷像素还未被校正的状态，例如是RAW图像数据。

CPU 103在例如一次存储设备104中加载获得的图像数据。然后CPU103扫描图像数据的各像素，同时对根据步骤S302中的确定是缺陷像素的关注像素，应用步骤S302至步骤S307中的处理。请注意，尽管在步骤S302中确定图像数据的各关注像素是否为图3的示例中的缺陷像素，但可以使用缺陷像素的位置信息对缺陷像素依次执行步骤S303至S307中的处理。

例如，缺陷像素的信息可以是在制造摄像装置100时存储在二次存储设备105中的缺陷像素信息。另外，例如，可以从诸如在启动摄像装置100时等特定条件下拍摄的图像中检测出图像传感器102中的缺陷像素，其位置信息可以被存储在二次存储设备105中。此时，可以利用通过随后的检测处理所获得的缺陷像素信息而更新在制造时存储的信息。可以将缺陷像素信息记录为图像数据的附加信息。

现在将描述对根据上述确定是缺陷像素的像素所执行的步骤S303及随后的步骤中的处理。在步骤S303中，CPU 103生成关注线上的特征像素序列(第一像素序列)。例如，如利用图2中的2b所描述的，此步骤可以是用于提取与缺陷像素存在于相同水平坐标上的与缺陷像素颜色相同的像素、并生成特征像素序列的处理。请注意，如其他实施例中所描述的，可以使用其他方法执行特征像素的提取。

接下来，在步骤S304中，CPU 103生成参照线上的特征像素序列(第二像素序列)。这里同样地，如利用图2中2c部分所描述，此步骤可以是例如用于提取位于在关注线上方两个像素处设置的参照线上的与缺陷像素颜色相同的像素、并生成特征像素序列的处理。

在步骤S305中，为了确定适合缺陷像素校正所参照的像素值，在改变从关注线和参照线生成的特征像素序列的相对位置的同时，CPU 103检测相关性最大的偏移量。

以下将利用图4来描述步骤S305中相关量计算处理的具体示例。

在该实施例中，在关注线上的特征像素序列和与关注线上的特征像素序列具有相同数量的像素的参照线上的特征像素序列的部分(参照线中的区域)之间计算相关量。每当序列间的偏移量改变，则利用参照线上的特征像素序列的不同区域计算针对该偏移量的相关量。因此，参照线上的特征像素序列可以被视为包括多个像素区域。

图4示意性示出了在相对于关注线上的特征像素序列而将参照线上的特征像素序列偏移X个像素(X是整数，其为正时表示向右的方向、其为负时表示向左的方向)时计算相关量的示例。CPU 103合计各偏移量(相对的位置)中通过各箭头所连接的像素值之间的差。例如，假定被计算相关性的像素的数量是2W+1(W是正整数)，关注线上的特征像素序列的指数i(参见图4)处的像素值是Ti，并且参照线上的特征像素序列的指数i处的像素值是Ri。此时，通过以下等式计算偏移量X时的相关量Sx。

换言之，相关量Sx越小表示相关性越高。请注意，在目前所述的方法中，从关注线提取包括缺陷像素的特征像素以生成特征像素序列。为此，不可以将缺陷像素的值(T0)用于计算相关值。因此，例如仅当i＝0时获得将要加到等式(1)中的相关量为0的相关量Sx。

可以从针对预定范围内的多个偏移量而计算出的相关值Sx中获得最小相关值Sx的偏移量X中，确定用于校正缺陷像素的参照像素的位置。例如，如果在偏移量X＝+2时相关量Sx是最小值，则确定与缺陷像素颜色相同的像素中、位于缺陷像素向右两个像素处的像素(即，位于参照线上比缺陷像素向右四个像素处)是参照像素。

图5A是示出步骤S305中相关量计算处理的具体示例的流程图。首先，在步骤S1701中，CPU 103利用用作开始系数的-W替代X，此后，在步骤S1702中，初始化最小相关量Smin及最小相关量时的偏移量Xmin。此后，CPU 103执行步骤S1703至S1706中的处理，同时在步骤S1705中对X进行递增。

在步骤S1703中，CPU 103确定在这个时间点计算出的相关量Sx是否小于最小相关量Smin，如果Sx＜Smin则处理进入到步骤S1704，而如果Sx≥Smin则处理进入到步骤S1705。请注意，当是第一次计算相关量Sx时(这里是X＝-W的情况下)，CPU 103推进处理到步骤S1704。

在步骤S1704中，CPU 103利用当前的相关量Sx更新最小相关量Smin。同样利用X的当前值更新对应于最小相关量Smin的偏移量Wmin。然后，在步骤S1705中，CPU 103对X进行递增，而在步骤S1706中，CPU 103确定是否已对整个偏移范围执行了处理。如果已对整个偏移范围执行了处理则CPU 103结束处理，而如果还存在未经过处理的数据则将处理返回到步骤S1703。利用上述处理，能够获得偏移范围内的最小相关量Smin以及可以用来获得最小相关量的偏移量Wmin。

请注意，图5A中示出的用于相关量计算处理的方法仅是示例，可以使用任何可以获得相似结果的其他方法。例如，不是必须从最小值而递增偏移量X，而是只要可以计算出对应于各偏移量的相关值，就可以以任何顺序改变该值。另外，可以存储对应于各偏移量的所有相关值，并且可以最后选择对应于最小相关值的偏移量。

在这样基于特征像素序列的相关量而确定参照像素的位置后，CPU103在步骤S306中计算相关量。在最简单的情况中，校正值可以是参照像素的值，但可以使用其他方法计算校正值。例如，可以使用从参照像素的值及参照像素的周边像素的值中计算出的诸如颜色差等特征量来校正缺陷像素。

在步骤S306中计算出校正值后，在步骤S307中，CPU 103使用校正值校正缺陷像素。此后，在步骤S308中，CPU 103确定是否已完成像素扫描，并重复执行步骤S302至S307直到扫描完成。

请注意，尽管本实施例描述了在水平方向上设置关注线和参照线的示例，但对于关注线和参照线所设置的角度并无限制，可以在诸如垂直方向或倾斜方向等任何方向上设置关注线和参照线。

尽管本实施例将参照线设置在通过缺陷像素的关注线上方两个像素处，但可以以其他距离或在其他方向上设置参照线。例如，可以在关注线下方两个像素处设置参照线，或可以分别在关注线上方及下方两个像素处来设置参照线，或可以将从各参照线上确定的参照像素中计算出的校正值取平均值。这样，通过在与关注线正交的方向(垂直方向)上设置多个参照线以及利用各参照线上计算出的校正值，可以执行还反映垂直方向上的信号水平的变化的精确插值。与在关注线的一侧设置多个参照线的情况相比，在关注线两侧都设置参照线时可以在关注线附近设置许多参照线并可以执行精确插值。

此外，尽管本实施例描述了拜耳阵列中的R像素是缺陷像素的示例性情况，但即使缺陷像素是B像素或G像素，本发明也同样适用。

如上所述，根据本实施例，基于包括缺陷像素的关注线与参照线之间的相关量确定参照像素。为此，不管被摄体的形状如何都可以确定适合于缺陷像素校正的参照像素。此外，在扩大参照区域的同时可以减少错误校正的负面影响。

第二实施例

第一实施例描述了缺陷像素是诸如拜耳阵列中的R像素或B像素等在滤色器的各重复单位中出现一次的颜色的像素的情况下的校正方法。本实施例涉及缺陷像素是诸如拜耳阵列中的G像素等出现在各像素线的像素的情况下的校正方法。

在拜耳阵列中的R像素或B像素是缺陷像素的情况下，由于重复单位由两个像素构成，因此与缺陷像素颜色相同的像素不存在于邻接的像素线中而位于与缺陷像素分开至少两个像素的位置处，从而在与关注线分开两个像素的像素线上设置参照线。然而，例如，如果G像素是如图6的6a部分中的缺陷像素，则与缺陷像素颜色相同的像素存在于邻接的像素线上。为此，如图6的6c部分所示，可以在与关注线平行且与其分开一个像素的像素线上设置参照线。

因此，如果可以在邻接的像素线上设置参照线，则由于关注线和参照线间的距离更短，因此可以比在分开两个像素的像素线上设置参照线的情况更精确地计算出相关量。然而，由于在拜耳阵列中邻接像素线上的G像素的坐标彼此偏移一个像素，因此当利用使特征像素序列间的相关性为最高(即，相关值Sx为最小)的偏移量X获得参照像素位置时，需要考虑此偏移。

例如，如果如图6中的6b部分和6c部分所示而生成特征像素序列，则与偏移量为0的缺陷像素相对应的像素是参照线上水平坐标比缺陷像素小(即，缺陷像素的左方)一个像素的像素。因此，如果获得了偏移量X，则确定参照线上水平坐标从缺陷像素偏移(X×2-1)的像素是参照像素。例如，如果在偏移量X＝2时相关性为最高，则如图6的6d部分所示，确定参照线上与缺陷像素的水平坐标分开(2×2-1)＝+3个像素的像素(即，从缺陷像素向右分开三个像素的像素)是参照像素。

根据本实施例，在与缺陷像素颜色相同的像素存在于邻接的像素线上时，可以更加精确地校正缺陷像素。请注意，可以将缺陷像素的颜色与缺陷像素的位置信息相关联地存储，或者可以使用与位置信息分开存储的信息来计算缺陷像素的颜色。请注意，例如，摄影中使用的图像传感器中配设的滤色器的颜色排列图案的信息可以被存储在二次存储设备105中，或可以从图像数据的附加信息中获得。因此，可以配置为根据滤色器的颜色排列图案和缺陷像素的颜色而有选择地执行第一实施例和本实施例。

第三实施例

第一实施例和第二实施例描述了在缺陷像素是孤立的情况下的校正方法。本实施例将描述在相同颜色的缺陷像素连续存在的情况下的校正方法。由于制造公差或经年劣化而出现这样的缺陷像素，并且如图7的7a部分中所示，在图像传感器中配置用于焦点检测的像素的情况下也出现这样的缺陷像素。由于焦点检测像素生成用于执行相位差检测方法中的焦点检测的信号，因此它们的光接收的范围比普通像素更窄，或者其中未配设滤色器，因此获得的像素值与普通像素的像素值不同。因此，如图7的7b部分所示，考虑到这些焦点检测像素将是连续的相同颜色的缺陷像素而需要执行校正。

假设如上述实施例中关注线在水平方向上，则不可以使用第一实施例中描述的利用缺陷像素和存在于关注线上的与缺陷像素颜色相同的像素而生成特征像素序列的方法。

在本实施例中，使用与上述实施例不同的方法生成关注线和参照线上的特征像素序列。具体地说，在图3中的步骤S303中用于生成关注线上的特征像素序列的处理中，如图7的7c部分中那样，CPU 103提取与缺陷像素的颜色“不同”的、与缺陷像素处于相同的水平坐标的像素作为特征像素。这里，由于使用拜耳阵列滤色器且缺陷像素是R像素，因此从关注线提取出G像素以生成特征像素序列。

另外，由于缺陷像素是R像素，因此如第一实施例中那样，CPU 103在分开(此处为在上方)构成滤色器的重复单位的两个像素的位置处来设置参照线。然后，在步骤S304中，与7d部分(图7)所示的关注线一样，CPU 103提取参照线上与缺陷像素颜色“不同”的像素作为特征像素以生成特征像素序列。与关注线一样，由于参照线上的滤色器的颜色排列与关注线一致，因此从参照线提取相同的G像素以生成特征像素序列。

在检测出特征像素序列间的相关量为最小的偏移量后，通过将位于与缺陷像素分开该偏移量的位置处的像素用作参照像素而执行校正。由于在将缺陷像素的位置视为偏移量0时确定了参照像素，因此参照像素是与缺陷像素颜色相同的像素。

请注意，在诸如拜耳阵列中的G像素等存在于邻接的像素线上的颜色的像素连续地为缺陷像素的情况下，将参照线设置为使得关注线和参照线上的特征像素序列由相同颜色的像素构成。

另外，例如，尽管如同本实施例中那样使用与缺陷像素颜色不同的像素的值生成特征像素序列，但也可以使用包括邻接像素的多个像素的平均像素值。

如上所述，同样，在本实施例中，可以实现与上述实施例中相同的效果。

请注意，尽管这里描述了在相同颜色的缺陷像素连续存在时使用与缺陷像素颜色不同的像素执行的校正，但在校正孤立的缺陷像素的情况下也可以执行与本实施例中相同的校正。例如，可以将第一实施例配置为使得提取关注线和参照线上的G像素作为特征像素。

第四实施例

上述实施例已描述了如下情况：从设置在与关注线在垂直方向上分开滤色器的一个重复单位的像素线上的、或设置在与关注线邻接的像素线上的参照线，获得参照像素。换言之，即为关注线和参照线在水平方向上显著相关的情况。

然而，在图8A中示出的具有接近水平的角度的重复图案的被摄体的情况下，与关注线在垂直方向上分开滤色器的一个重复单位的像素线、或与关注线邻接的像素线并不显著相关。请注意，尽管图8A示出了如第三实施例中那样连续存在缺陷像素的情况，但在孤立的缺陷像素的情况下可能发生同样的问题。

在由此使用具有接近水平的角度的被摄体所包括的关注线以及未包括在被摄体中的参照线的情况下，即使通过在水平方向上偏移特征像素序列获得相关量，但是除非偏移量在相当大的范围内变化，否则不太可能确定适当的参照像素。如果使用不适当的参照像素校正缺陷像素，则会发生错误校正，从而出现与原始像素值大为不同的像素值。尤其是，在具有重复形状的被摄体中重复发生错误校正，并且生成了被摄体原本不具有的重复图案。

如图8A中所示，在在具有接近水平的角度的重复形状的被摄体中包括缺陷像素的情况下，通过扩大垂直搜索区域而不是扩大水平搜索区域更容易地找到适当的参照像素(具有与缺陷像素相同或相近的值的像素)。然而，如图8B中所示出，如果仅在垂直方向上扩大搜索区域，则关注线和参照线间的距离增加，因此存在特征像素序列间的相关量的精确度降低的情况。例如，此类情况包括在与缺陷像素在垂直方向上分开四个像素的位置处的像素中出现与缺陷像素中的被摄体不同的被摄体的情况。在这种情况下，可能由于参照不同的被摄体的像素值而对缺陷像素执行错误校正。本实施例提供一种在垂直方向上扩展参照区域的同时能够抑制错误校正的校正方法。

图9是示意性示出本实施例中的缺陷像素校正的概要的图。处理1001和1002表示以与第三实施例中相同的方式利用与关注线的距离不同的参照线A和B确定参照像素的处理。在处理1001中，将关注线上方两个像素处的像素线设置为参照线A，而在处理1002中，将关注线上方四个像素处的像素线设置为参照线B。最终校正值是利用各参照线上确定的参照像素而获得的，并用于缺陷像素的校正。

图10是示出本实施例中的处理的流程的流程图，与图3中相同的处理被赋予相同的附图标记。从图3与图10的比较可以清楚看出，分别地在参照线A和B上执行第三实施例(第一实施例，缺陷像素是孤立的情况)中的处理，并且合成获得的校正值以获得缺陷像素的校正值。

本实施例的特征在于，在步骤S1110中将针对各个不同的参照线计算出的校正值进行合成。在步骤S1110中，CPU 103将从参照线A计算出的校正值Qa与从参照线B计算出的校正值Qb进行合成。这里，假设合成率是α(0≤α≤1)，通过以下等式计算最终校正值Q。

Q＝α×Qa+(1-α)×Qb (2)

接下来，将描述使用不同评价标准作为确定合成率α的方法的三个示例。

首先，将描述根据最小相关量确定合成率α。在这种情况下，根据参照线A上的最小相关量Sa与参照线B上的最小相关量Sb之间的差大小，利用步骤S305A和步骤S305B的相关量计算处理中获得的相关量，来确定合成率α。假设最小相关量中的差是Ssub，则

Ssub＝Sa-Sb (3)

图11A中示出了最小相关量的差Ssub与合成率α之间的示例性关系。如上所述，由于随着相关量越小而两个特征像素序列间的相关性越高，因此随着相关量中的差Ssub越小而使得从参照线A计算出的校正值Qa的比率(合成率α)越大。此外，相关量的差Ssub越大，使得合成率α越小，并使得从参照线B计算出的校正值Qb的比率(1-α)越大。

第二，将描述按照针对关注像素的方向检测结果而确定合成率α。由于本实施例对具有接近水平角度的重复形状的被摄体尤其有效，因此利用例如缺陷像素周边的被摄体的方向的检测结果而确定合成率α。尽管对于方向检测方法并无限制，但是作为示例性的简单方法，如图11B中所示，假定与缺陷像素邻接的像素的值是G_R、G_U、G_L及G_D，则可以计算出水平度H如下。

H＝|G_U-G_D|-|G_L-G_R| (4)

水平度H的值越大表明水平的被摄体的可能性越高。由于该水平度H是从缺陷像素的邻接像素的值中获得的，因此水平度H越大表明缺陷像素存在于接近水平角度的被摄体的边缘部分中的可能性越高。因此，在水平度H大的情况下，可以认为参照线与关注线分开越多越可信。

因此，如图11C中所示，水平度H越小，使得从较近的参照线A计算出的校正值Qa的比率(合成率α)越大；而水平度H越大，使得合成率α越小并使得从更远的参照线B计算出的校正值Qb的比率(1-α)更大。

第三，将描述按照关注线和参照线之间的数据的倾斜差异确定合成率α。例如，当被摄体如图12A中所示时，由于透镜像差属性等的影响，存在图12A中区域X与区域B的光学特性彼此相似、而区域X与区域A的光学特性不同的情况。

例如，当从关注线、参照线A和参照线B生成的特征像素序列具有如图12B中示出的像素值时，通过等式(1)计算的参照线A上的特征像素序列的相关量Sx较小。然而，存在如上所述的、参照线A通过的区域A与关注线通过的区域X具有不同的光学特征的情况，而在这种情况下，可以使用利用参照线B所获得的校正值。

例如，可以基于特征像素序列间的像素值的变化倾向的差异(诸如连接各条线上的特征像素序列的两端处的像素值的线的倾斜的差异大小等)而确定光学特征是否不同。例如，在图12B的示例中，连接具有相似的光学特征的关注线及参照线B上的各特征像素序列的两端处的像素值的线具有相似的倾斜。另一方面，连接具有不同的光学特性的参照线A上的特征像素序列的两端处的像素值的线的倾斜为负，且与针对关注线而获得的倾斜大为不同。例如，可以通过以下等式来计算表示关注线与各参照线之间在特征像素序列的像素值的变化倾向上的这种差异的指数G。

G□(T_□W□T_W)□(R_□W□X□R_W□X) (5)

由于指数G表示连接特征像素序列的两端处的像素值的线的倾斜差异，因此较小值表示参照线和关注线的特征像素序列的像素值以类似的方式变化。可以根据针对关注线和参照线A获得的指数Ga与针对关注线和参照线B获得的指数Gb之间的差Gsub＝Ga-Gb而确定合成率α。具体地说，如图11D中所示，Gsub的值越小，使得从参照线A计算出的校正值Qa的比率(合成率α)越大；而Gsub的值越大，则使合成率α越小，并使从参照线B计算出的校正值Qb的比率(1-α)越大。

注意，在考虑到各条线上的特征像素序列的像素值的变化倾向时，可以通过获得微分值的差而计算相关量。在这种情况下，从以下等式(6)获得相关量。

请注意，图11A、图11C和图11D中所示出的合成率α的值及各评价标准的值之间的关系仅是示例，可以基于其他关系而确定合成率α。还可以基于与上述三种评价标准不同的评价标准来确定合成率α。另外，可以选择基于多个不同的评价标准所确定的合成率中的一个，或可以使用这些合成率的加权平均数。在上述情况下，可以根据从图像中获得的被摄体的特征量等而确定选择或权重。

尽管已描述了使用两条参照线的情况，但也可以使用三条或更多条参照线。参照线不仅可以被设置在关注线的上方，也可以设置在关注线的下方。

如上所述，根据本实施例，设置了与关注线的距离不同的多个参照线，并且从针对各参照线获得的校正值中来获得最终校正值。为此，与从一条参照线确定参照像素的情况相比，可以为各种被摄体获得适当的参照像素或校正值，并可以更适当地校正缺陷像素。

尤其是，即使被摄体具有与关注线的方向相接近的方向上的边缘或具有重复的形状，也可以抑制错误校正，并可以提高缺陷像素校正的精确度。

第五实施例

接下来，将描述第五实施例。利用基于关注线和参照线上的特征像素序列间的相关性确定参照像素的方法，当参照线与关注线高相关时可以获得期望的结果。因此，在不同的被摄体出现在关注线和参照线上时，例如出现在关注线上的被摄体在到达参照线之前中断时，有可能发生错误校正。

图13A示出了具有特定方向的被摄体中断的状态。这里，假定利用第一实施例确定参照线上的像素1403及参照线上的像素1404分别是缺陷像素1401及缺陷像素1402的参照像素。此时，出现在缺陷像素1401和1402中的被摄体出现在像素1403中，但由于被摄体在到达像素1404之前中断，因此未出现在像素1404中。为此，存在这种可能性：使用参照像素1403的值进行的缺陷像素1401的校正是精确的，而使用参照像素1404的值进行的缺陷像素1402的校正是错误的。

同样的问题也可能出现在图13B所示出的情况中。图13B示出了与具有特定方向的被摄体1不同的被摄体2位于被摄体1的中间的状态。如图13A，假设确定了图13B中虚线箭头指示的参照像素。在这种情况下，使用参照像素1407进行的缺陷像素1405的校正是精确的。然而，出现在缺陷像素1406中的被摄体1以及被摄体2出现在参照像素1408中，因此存在使用参照像素1408进行的缺陷像素1406的校正是错误的这种可能。

本实施例涉及即使在被摄体、关注线以及参照线在这样的位置关系时也实现精确的校正的校正方法。

除了图3中步骤S305执行的用于计算相关量的方法，本实施例中的校正方法与上述第三实施例(或第一实施例)是相似的，因此以下将详细描述本实施例中的用于计算相关量的处理。

图14示意性地示出了本实施例中的用于计算相关量的处理。与相似地示出第一实施例的用于计算相关量的处理的图4的差异在于，将与从关注像素(缺陷像素)的距离相对应的权重应用于在计算相关量时获得的像素间的差值。具体地说，将最大权重应用于针对关注像素(缺陷像素)的像素值的差，并且关于针对其他像素的像素值的差，将较小的权重应用于针对与关注像素分开更多的像素值的差。当关注线上的指数i处的权重是g(i)时，本实施例中用于计算相关量Sx的等式如下。

图5B是示出本实施例中相关量计算处理的流程的图。相当于利用图3描述的缺陷像素校正处理中的步骤S305，并且CPU 103通过重复图5B中的步骤S305a到S305c计算各偏移量的相关量。

首先，在步骤S305a中，CPU 103获得权重。例如，可以通过提前定义对应于指数i的权重g(i)并将其存储在二次存储设备105中，并参照此权重来获得权重。接下来，在步骤S305b中，CPU 103计算对应于偏移量的像素值的差。具体地说，在改变偏移量的同时，CPU 103计算由图14中各箭头连接的像素值之间的差。其后，在步骤S305c中，CPU103累积通过将步骤S305b中计算出的像素值间的差乘以权重g(i)所获得的值来作为相关量。从而，能够使用权重计算相关量。

图15A到图15C示出了本实施例中利用相关量Sx的示例性效果。图15A示出了在偏移量为0时，关注线和参照线上的特征像素序列中的像素值之间的关系。这里，基于由第一实施例中的等式(1)获得的相关量Sx，检测图15B中示出的状态中的偏移量来作为使相关性最高的偏移量。

然而，如从图15B可以看出，与没有偏移的情况相比，缺陷像素和参照像素位置处的两条波形之间的差异更大。换言之，尽管在产生图15B中的状态的偏移量的情况下，特征像素序列的像素值总体上彼此类似，但缺陷像素和参照像素的部分中的相关性较小。

与此相反，如同本实施例中那样，在基于由包括将更大的权重应用于与关注像素更接近的像素的相关量的加权的等式(7)所获得的相关量Sx而检测到偏移量的情况下，关注线和参照线上的特征像素序列的像素之间的关系如图15C所示。在这种情况下，特征像素序列之间的相关性总体上比图15B中的情况更低，而缺陷像素和参照像素附近的位置的部分中的相关性比图15B中的情况更高。因此，能够通过着重缺陷像素附近的部分的相关性来计算相关量，来对如图13A和图13B中示出的被摄体抑制错误校正。

请注意，本实施例中的权重是：

g(i)＝[x1 x2 x4 x2 x1] (8)

然而，这仅是示例，可以使用其他的权重。例如，可以在着重于更窄的范围时使用以下等式获得相关量：

g(i)＝[x1 x1 x4 x1 x1] (9)

或在考虑较大的范围时使用以下等式：

g(i)＝[x1 x2 x3 x4 x3 x2 x1] (10)

当着重于缺陷像素周围较窄范围内的相关性时，存在能够减少图13A中示出的被摄体中断的部分对偏移量的检测结果的影响的优势。另一方面，如果应用较大的权重的部分中的像素受噪声等影响，则偏移量的检测的精确度有可能降低。通过扩大计算出相关量的范围可以减少这种问题，但如果扩大了该范围，抑制被摄体中断的部分对偏移量的检测结果的影响的效果会降低。为此，例如，可以对诸如在高感光度或长时间曝光的情况等噪声量较大的情况下拍摄的图像使用等式(10)的权重来计算相关量，并且在其他的条件下拍摄的图像的情况中或在需要增强边缘部分时可以使用等式(9)中的权重来计算相关量。

如上所述，根据本实施例，当获得相关量时，应用于针对缺陷像素的像素值的差的权重比应用于针对其他像素值的差的权重更大，因此能够减少在与缺陷像素分开的位置处的像素值的差对检测到的偏移量的影响。为此，即使出现在缺陷像素中的被摄体不同于出现在关注线上与缺陷像素分开的位置处的像素中的被摄体时，也存在抑制错误校正的效果。

其他实施例

尽管以上描述了本发明的实施例，但本发明并不限定于这些实施例，并且可以在权利要求定义的范围内以各种方式修改或变动。

尽管以上实施例仅描述了将关注线设置在水平方向上的情况，但可以将关注线设置在其他方向上。例如，如果检测到被摄体的边缘存在于缺陷像素附近，可以将关注线设置在适合于被摄体的特征的方向上，诸如将关注线设置在与边缘交叉的方向上。

根据拍摄图像的条件或特征分析的结果可以有选择地使用或结合以上的一些实施例。

尽管以上实施例描述了使用配设有原色拜耳阵列的滤色器的图像传感器拍摄的图像的校正，也可以类似地对使用配设了具有其他类型的重复图案的滤色器的图像传感器拍摄的图像执行校正。

图1B是示出用作根据实施例的其他图像处理装置的示例的信息处理装置200的示例性功能配置的框图。在图1B中，显示单元201用于显示摄影图像或显示用于交互操作的用户界面。包括例如键盘、鼠标、触摸板等的操作单元202使用户能够对信息处理装置200给出各种指令并配置其设置。CPU 203通过执行OS及应用程序并控制各功能块来实现根据上述实施例的缺陷像素校正处理。

例如，一次存储设备204是诸如RAM等易失性存储设备，并用作诸如CPU 203的工作区等临时数据存储区域。例如，二次存储设备205是诸如硬盘驱动器、SSD或EEPROM等非易失性存储设备，并存储OS、固件、应用程序、各种设置信息等。

通信装置206使信息处理装置200能够向/从外部设备发送/接收控制命令及数据。请注意，例如，通信装置206可以使用USB(通用串行总线)电缆等通过有线连接与外部设备通信，或可以使用无线LAN等通过无线连接与外部设备通信。通信装置206可以直接地连接到外部设备或者可以经由服务器或经由诸如互联网等网络连接。

通信装置206还可以包括访问诸如摄像装置100的存储介质106等可移除记录介质的功能。通过将从摄像装置移除的记录介质附装到通信装置206，可以从记录介质将图像数据加载到信息处理装置200。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims

1.一种图像处理装置，所述图像处理装置包括：

获得单元，用于获得图像；

第一设置单元，用于基于校正目标像素的位置来设置所述图像的第一区域，所述第一区域包括被设置为通过所述校正目标像素的关注线上的多个像素；

第二设置单元，用于设置所述图像的多个第二区域，各个所述第二区域都基于在被设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；

相关性计算单元，用于计算各个所述第二区域与所述第一区域的相关量；以及

校正单元，通过使用基于所述相关量而确定的、各个所述至少一个参照线上的像素的值，来计算用于校正与所述校正目标像素对应的像素的值的校正值，并使用所述校正值来校正与所述校正目标像素对应的像素的值，

其中，所述相关性计算单元以对与对应于所述校正目标像素的像素越接近的部分的相关性应用越大权重的方式，计算所述相关量。

2.根据权利要求1所述的图像处理装置，

其中，所述校正目标像素是与生成所述图像的图像传感器中的缺陷像素相对应的像素。

3.根据权利要求1所述的图像处理装置，

其中，所述校正单元利用针对各个所述至少一条参照线基于所述多个第二区域中的、获得与所述第一区域相关性最高的所述多个第二区域中的一个所指定的各个所述至少一条参照线上的像素的值而计算所述校正值。

4.根据权利要求1所述的图像处理装置，其中，如果存在获得与所述第一区域最高相关性的多个第二区域，则所述校正单元利用由所述多个第二区域指定的参照线上的多个像素中距离与所述校正目标像素相对应的像素的距离最短的像素的值而计算所述校正值。

5.根据权利要求1至4中的任一项所述的图像处理装置，

其中，所述第一设置单元提取与对应于所述校正目标像素的像素颜色相同的像素并设置所述第一区域，所述第二设置单元提取与由所述第一设置单元提取的像素颜色相同的像素并设置所述多个第二区域。

6.根据权利要求1至4中的任一项所述的图像处理装置，

其中，所述第一设置单元提取与对应于所述校正目标像素的像素颜色不同的像素并设置所述第一区域，所述第二设置单元提取与由所述第一设置单元提取的像素颜色相同的像素并设置所述多个第二区域。

7.根据权利要求1至4中的任一权利要求所述的图像处理装置，

其中，所述第二设置单元针对各个距所述关注线的距离不同的多个参照线而设置所述多个第二区域。

8.根据权利要求7所述的图像处理装置，

其中，所述校正单元通过使用在所述多个参照线中的各个上存在的像素的值来计算多个校正值，合成所述多个校正值，并计算最终校正值。

9.根据权利要求8所述的图像处理装置，

其中，所述校正单元合成所述多个校正值，使得使用基于在各第二区域与所述第一区域的相关量中的、表示越高的相关性的相关量而确定的像素值，则获得的校正值的比率越大。

10.根据权利要求9所述的图像处理装置，

其中，所述校正单元合成所述多个校正值，使得出现在对应于所述校正目标像素的像素中的被摄体的方向与所述关注线的方向越接近，使用基于如下相关量确定的像素值而获得的校正值的比率越大，该相关量是针对从距所述关注线距离更长的参照线生成的第二区域而计算出的相关量。

11.根据权利要求8所述的图像处理装置，

其中，所述校正单元合成所述多个校正值，使得使用基于如下相关量确定的像素值而获得的校正值的比率越大，该相关量是在各第二区域与所述第一区域的相关量中的、具有与所述第一区域的像素值的变化倾向差异越小的第二区域的相关量。

12.根据权利要求1至4中的任一项所述的图像处理装置，

其中，各个所述至少一条参照线与所述关注线之间的距离等于生成所述图像的图像传感器中配设的滤色器的重复单位的倍数。

13.一种图像处理装置的控制方法，所述方法包括：

获得步骤，获得图像；

第一设置步骤，基于校正目标像素的位置来设置所述图像的第一区域，所述第一区域包括被设置为通过所述校正目标像素的关注线上的多个像素；

第二设置步骤，设置所述图像的多个第二区域，各个所述第二区域都基于在被设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；

相关性计算步骤，计算各第二区域与所述第一区域的相关量；以及

校正步骤，通过使用基于所述相关量而确定的、各个所述至少一条参照线上的像素的值，来计算用于校正与所述校正目标像素对应的像素的值的校正值，并使用所述校正值校正与所述校正目标像素对应的像素的值，

其中，在所述相关性计算步骤中，以对与对应于所述校正目标像素的像素越接近的部分的相关性应用越大权重的方式，计算所述相关量。