CN111669523B - 像素校正 - Google Patents

Abstract

本公开涉及像素校正。一种用于图像处理的方法和装置，该方法包括：获得包括表示相应多个像素位置的多个像素强度值的输入图像数据，获得标识由受损像素强度值表示的一个或多个像素位置的像素位置数据，生成包括改进的像素强度值的内插图像数据，存储至少包括内插图像数据的改进的图像数据，以及基于改进的图像数据来检测一个或多个其他受损像素强度值。

Description

像素校正

技术领域

本公开涉及用于处理图像数据的方法和装置。

背景技术

用于捕获图像的图像传感器可以存在于例如数码相机、移动电话相机和其他图像捕获设备之类的设备中。用于捕获图像的图像传感器可以包括数百万个单独的传感器元件以用于确定到达传感器上的每个传感器元件处的光的强度。每个传感器元件代表一个像素。由这些传感器收集的光强度信息可以被用于重建由传感器捕获的图像。图像传感器可以包括在图像传感器元件上方的颜色过滤器阵列，例如Bayer过滤器阵列，以提供颜色信息，使得可以以颜色再现图像。颜色过滤器阵列，例如Bayer过滤器阵列，过滤可由传感器元件测量的光，使得每个传感器元件可以确定来自给定颜色通道的光的强度，例如红色、绿色或蓝色。为了产生最终图像，可以处理从图像传感器输出的数据。可以处理从图像传感器输出的数据，以平滑或锐化边缘和/或校正或生成颜色值。处理从图像传感器输出的数据可以包括内插图像数据以生成或修改像素强度值。

在图像捕获期间，一些传感器元件可能发生故障，并且因此产生不正确的输出。其中输出不正确的方式可能取决于故障的类型。由于有缺陷的传感器像素，对于由图像捕获设备捕获的图像，一些故障可能重复发生，而其他故障可能是瞬时的，并且可能仅对于一些图像发生，并且可能取决于环境因素。如果图像传感器元件的输出给出最大值，其中最大值是不合适的，则称其为热像素。如果图像传感器的输出给出零值，其中零值是不合适的，则称其为死像素。如果图像传感器元件的输出重复给出相同的值，则称其为粘连像素。

如果相邻传感器元件发生故障，那么从发生故障的传感器元件输出生成的内插值可能是不正确的。因此，一些图像处理系统检测图像数据中不正确的像素强度值并且试图校正它们。检测不正确的像素强度值可能涉及分析从相邻图像传感器元件输出的像素强度值。在发生故障的或有缺陷的传感器元件彼此紧密靠近的情况下，可能损害不正确的像素强度值的检测准确性。

希望提供一种用于检测和/或校正图像数据的缺陷像素强度值的方法和系统。

发明内容

根据本发明的第一方面，提供了一种方法，包括：获得输入图像数据，该输入图像数据表示图像的至少一部分，输入图像数据包括表示相应多个像素位置的多个像素强度值；获得像素位置数据，该像素位置数据标识由一个或多个相应受损像素强度值表示的一个或多个像素位置；基于输入图像数据和像素位置数据来生成内插图像数据，该内插图像数据包括表示所标识的一个或多个像素位置的一个或多个改进的像素强度值；存储至少包括内插图像数据的改进的图像数据；以及基于改进的图像数据来检测一个或多个其他受损像素强度值。

通过存储包括内插图像数据的改进的图像数据并且基于改进的图像数据来检测一个或多个其他受损像素强度值，可以提高检测其他受损像素强度值的准确性。在使用图像数据来检测其他受损像素强度值之前改善该图像数据的质量可能会增加受损像素强度值的数量，可以在不增加错误检测数量的情况下进行检测。这可以使得其他受损像素强度值附近的受损像素强度值的检测更加可靠。

在本发明的一个实施例中，像素位置数据标识一个或多个静态缺陷像素位置。在本发明的一个实施例中，像素位置数据标识一个或多个相位检测自动聚焦像素位置。由于静态缺陷像素位置和相位检测自动聚焦像素位置对于给定的图像传感器而言可能是恒定的，因此有可能基于输入图像数据和标识这些像素位置的像素位置数据来生成改进的像素强度值，并且因此提高使用至少部分的校正数据来检测其他受损像素强度值的准确性。

在本发明的一个实施例中，像素位置数据标识一个或多个静态缺陷像素位置和一个或多个相位检测自动聚焦像素位置。

在本发明的一个实施例中，获得像素位置数据包括基于预定相位检测自动聚焦像素位置和预定静态缺陷像素位置来生成像素位置数据。

在本发明的一个实施例中，生成内插图像数据包括至少通过对表示所选择的相邻像素位置的像素强度值进行内插来生成一个或多个改进的像素强度值。这可以减少表示由像素位置数据标识的像素位置的像素强度值中的误差。

在本发明的一个实施例中，所选择的相邻像素位置不包括由像素位置数据标识的像素位置。不使用表示相邻像素位置的受损像素强度值可以减少改进的像素强度值中的误差。

在本发明的一个实施例中，通过选择相邻像素位置的线性布置来确定所选择的相邻像素位置。当生成改进的像素强度值时，选择相邻像素位置的线性布置可以减小包括受损像素强度值的可能性。例如，由于相位检测自动聚焦像素位置的布置。

在本发明的一个实施例中，存储改进的图像数据包括：存储内插图像数据的表示由像素位置数据标识的像素位置的改进的像素强度值；以及存储输入图像数据的表示未由像素位置数据标识的像素位置的像素强度值。从而，改进的图像数据可以用改进的像素强度值代替受损像素强度值，从而提高了图像数据的质量并且使其更适合于检测其他受损像素强度值。

在本发明的一个实施例中，基于改进的图像数据来检测一个或多个其他受损像素强度值包括：针对由改进的图像数据的第一像素强度值表示的第一像素位置，至少基于第一像素强度值和改进的图像数据中表示第一组相邻像素位置的一个或多个像素强度值，来确定第一像素强度值是否是受损像素强度值。

在本发明的一个实施例中，该方法还包括：生成表示第一像素位置的第一校正像素强度值；以及存储校正图像数据，该校正图像数据至少包括表示第一像素位置的第一校正像素强度值。

在本发明的是一个实施例中，生成第一校正像素强度值包括：如果改进的图像数据中表示第一像素位置的第一像素强度值是受损像素强度值，则基于改进的图像数据中表示第二组相邻像素位置的像素强度值和第一像素强度值来生成第一校正像素强度值；或者如果改进的图像数据中表示第一像素位置的第一像素强度值不是受损像素强度值，则选择改进的图像数据中表示第一像素位置的第一像素强度值。

这仅允许校正由受损像素强度值表示的那些像素位置。

在本发明的一个实施例中，第一组相邻像素位置和第二组相邻像素位置包括相同的像素位置。

在本发明的一个实施例中，基于改进的图像数据来检测一个或多个其他受损像素强度值包括：针对由校正图像数据的第二像素强度值表示的第二像素位置，至少基于第二像素强度值和校正图像数据中表示第三组相邻像素位置的一个或多个像素强度值，来确定第二像素强度值是否是受损像素强度值。使用校正图像数据来确定第二像素强度值是否是受损像素强度值可以进一步提高对受损像素强度值进行检测的准确性。具有一种反馈机制，借以将校正数据用于检测其他误差，可以提高后续检测的准确性。

在本发明的一个实施例中，该方法还包括：生成表示第二像素位置的第二校正像素强度值；以及基于表示第二像素位置的第二校正像素强度值来更新校正图像数据。

在本发明的一个实施例中，生成第二校正像素强度值包括：如果校正图像数据中表示第二像素位置的第二像素强度值是受损像素强度值，则基于校正图像数据中表示第四组相邻像素位置的像素强度值和第二像素强度值来生成第二校正像素强度值；或者如果校正图像数据中表示第二像素位置的第二像素强度值不是受损像素强度值，则选择校正图像数据中表示第二像素位置的第二像素强度值。

在本发明的一个实施例中，第三组相邻像素位置和第四组相邻像素位置包括相同的相邻像素位置。

根据本发明的第二方面，提供了一种装置，包括：至少一个处理器；至少一个存储器，包括计算机程序代码，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得装置至少执行以下操作：获得输入图像数据，该输入图像数据表示图像的至少一部分，输入图像数据包括表示相应多个像素位置的多个像素强度值；获得像素位置数据，该像素位置数据标识由一个或多个相应受损像素强度值表示的一个或多个像素位置；基于输入图像数据和像素位置数据来生成内插图像数据，该内插图像数据包括表示所标识的一个或多个像素位置的一个或多个改进的像素强度值；存储至少包括内插图像数据的改进的图像数据；以及基于改进的图像数据来检测一个或多个其他受损像素强度值。

根据本发明的第三方面，提供了一种包括计算机可执行指令的非暂时性计算机可读存储介质，该计算机可执行指令在由处理器执行时使得图像处理系统的操作至少：获得输入图像数据，该输入图像数据表示图像的至少一部分，输入图像数据包括表示相应多个像素位置的多个像素强度值；获得像素位置数据，该像素位置数据标识由一个或多个相应受损像素强度值表示的一个或多个像素位置；基于输入图像数据和像素位置数据来生成内插图像数据，该内插图像数据包括表示所标识的一个或多个像素位置的一个或多个改进的像素强度值；存储至少包括内插图像数据的改进的图像数据；以及基于改进的图像数据来检测一个或多个其他受损像素强度值。

本发明的其他特征和优点将从下面参考附图对本发明的优选实施例的描述中变得明显，这些描述仅以示例的方式给出。

附图说明

图1示出了根据示例的方法的流程图；

图2示出了根据示例的表示图像的至少一部分的像素位置的布置的示意图；

图3A示出了像素位置的子布置的示意图；

图3B示出了像素位置的子布置的示意图；

图3C示出了像素位置的子布置的示意图；

图4示出了包括一组相邻像素位置的像素位置的布置的示意图；

图5示出了在检测过程期间由校正图像数据表示的像素位置的布置的示意图；

图6示出了根据示例的装置的示意图；

图7示出了根据示例的工作流程的示意图；以及

图8示出了根据示例的非暂时性计算机可读存储介质的示意图。

具体实施方式

参考附图，从以下描述中，示例的细节将变得显而易见。在本说明书中，为了解释的目的，阐述了某些示例的许多特定细节。说明书中对“示例”或类似语言的引用意味着结合该示例描述的特定特征、结构或特性被包括在至少该一个示例中，但不一定包括在其他示例中。还应当注意，为了易于解释和理解以下示例的概念，某些示例被示意性地描述，其中某些特征被省略和/或必要地简化。

图1示出了根据示例的处理图像数据的方法的流程图100。该方法包括在框110处获得输入图像数据，该输入图像数据表示图像的至少一部分，输入图像数据包括表示相应多个像素位置的多个像素强度值。输入图像数据可以从局部成像传感器获得。例如，诸如智能电话或相机之类的图像捕获设备可以使用图像传感器来捕获图像数据，并且该方法可以在智能电话或相机中执行。在一些示例中，输入图像数据可以由远程图像传感器捕获并且可经发送以被接收。例如，诸如智能电话或相机之类的远程成像设备可以使用图像传感器来捕获图像数据，并且可以经由网络接口在广域网(例如，互联网)或局域网上发送图像数据。

用于捕获图像的图像传感器可以包括传感器元件的阵列，其也可称为传感器像素。传感器像素可以包括光敏元件，例如可以将入射光转换成电子信号或数据的光电二极管。传感器像素可以包括适合于捕获图像的任何感光器。传感器像素光敏元件的其他示例可以包括电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)。当捕获图像时，图像传感器可以暴露于入射光一段预定的时间。在该曝光期间，入射光子由感光器转换成电子并且电荷可以由电容器存储。每个传感器像素可以包括用于存储由相应感光器生成的电荷的电容器。每个传感器像素还可以包括被配置为测量由电容器存储的电荷并且将所存储的电荷量转换为数字值的电路。该数字值可以被称为像素强度值。输入图像数据可以表示例如由图像传感器捕获的光的至少一个特性。输入图像数据可以表示由每个传感器像素捕获的光的强度，光的强度可以与由传感器像素捕获的光子的数量成比例。强度可以表示所捕获的光的亮度，其例如是每单位面积的光强度的度量而不是绝对强度。在其他示例中，输入图像数据可以表示所捕获光的亮度，其可以被视为对应于对亮度的感知，其可以与亮度成比例或可以不与亮度成比例。输入图像数据可以表示可以用于表示由数据表示的图像的视觉外观的任何光度量或特性。输入图像数据可以是任何合适的格式，例如原始图像格式。

在一些示例中，图像的每个像素位置与颜色通道相关联。例如，用于捕获图像的图像传感器可以包括颜色过滤器阵列。颜色过滤器阵列可以包括以预定图案布置的颜色过滤器元件的阵列。每个颜色过滤器元件可以对应于图像传感器的相应传感器像素。预定图案可以被认为形成马赛克或重复图案。颜色过滤器元件可以允许特定颜色的光通过并且由相应传感器像素接收。颜色过滤器还可以防止某些颜色的光通过而到达相应传感器像素。颜色可以指任何波长范围的光，例如，基本上使所有接收到的光通过的透明或白色过滤器元件仍然可以被认为是颜色过滤器元件。在其他示例中，颜色可以具有更窄的波长范围，并且可以包括例如绿色、蓝色和红色。以此方式，颜色过滤器阵列可以允许传感器像素的阵列的不同传感器像素接收不同颜色的入射光。由此，图像的像素位置可以各自与单个颜色相关联。颜色过滤器图案的特定示例可以是Bayer滤色器图案。

在框120处，图1所示的方法包括获得像素位置数据，该像素位置数据标识由一个或多个相应受损像素强度值表示的一个或多个像素位置。在一个示例中，受损像素强度值可以是不正确的像素强度值，例如，不能准确地表示入射在传感器像素上或传感器像素的相应透镜上的光量的像素强度值。在一些示例中，像素位置数据可以标识一个或多个静态缺陷像素位置。静态缺陷像素位置可以特定于特定图像传感器，例如，其中传感器像素在制造过程期间形成静态缺陷。在一些示例中，静态缺陷传感器像素的位置可以由制造商确定并且被存储在图像传感器处的存储器中，例如，被存储在传感器本身上的一次性可编程(OTP)存储器中。在一些示例中，像素位置数据标识一个或多个相位检测自动聚焦像素位置。PDAF像素位置的布置可以取决于所采用的PDAF的方法，例如，分裂传感器像素、2×1OCL(共享单个微透镜的两个传感器像素)或其中感光器被部分覆盖的掩蔽传感器像素。PDAF传感器像素布置的示例将关于图2进一步讨论。PDAF传感器像素布置通常以重复图案发生，并且其位置可以在制造图像传感器时确定。

在一些示例中，受损像素强度值可以是由作为静态缺陷传感器像素的传感器像素生成的像素强度值。然而，受损像素强度值可能不一定是不正确的像素强度值。例如，在静态缺陷传感器像素是粘连传感器像素的情况下，输出值实际上可能是正确的。然而，从中生成它的传感器像素可以是静态缺陷传感器像素。以上也适用于PDAF传感器像素，在一些示例中，来自PDAF传感器的输出值可以为正确的，或者可以看起来如此，但是像素强度值可以仍然为受损像素强度值。

像素位置数据可以包括标识与传感器像素位置相对应的各个像素位置的数据。像素位置数据可以是用于标识各个像素位置的方位(position)的任何合适格式。像素位置数据可以是受损位置掩模，其中受损位置掩模可以被用于标识其中相应像素强度值是受损像素强度值的像素位置，例如从静态缺陷传感器像素生成或从相位检测自动聚焦传感器像素生成的像素强度值。获得像素位置数据可以包括接收像素位置数据。例如，像素位置数据可以与输入图像数据一起由远程成像设备发送。可选地，可以本地生成像素位置数据。在一些示例中，像素位置数据标识一个或多个静态缺陷像素位置和一个或多个相位检测自动聚焦像素位置。

在一些示例中，获得像素位置数据包括基于预定相位检测自动聚焦像素位置和预定静态缺陷像素位置来生成像素位置数据。例如，与静态缺陷传感器像素的位置相对应的数据可以被存储在图像传感器处的存储器中或图像捕获设备中的存储器中，与PDAF传感器像素的位置相对应的数据可以被存储在图像捕获设备中的存储器中或图像传感器处的存储器中。图像传感器处可用的存储器的大小可以小于图像捕获设备中的可用存储器，并且因此可以优选将与PDAF传感器像素的位置相对应的数据存储在图像捕获设备处。在一些示例中，与PDAF传感器像素的位置相对应的数据包括指示PDAF传感器像素的图案或布置的数据，在此示例中，可以将与PDAF传感器像素相对应的数据存储在图像传感器处的存储器中，其中PDAF传感器像素的实际位置和/或坐标是在别处基于该数据而确定的。在其他示例中，与PDAF传感器像素的位置相对应的数据包括指示所有PDAF传感器像素的位置的数据。生成像素位置数据可以包括对与静态缺陷传感器像素的位置相对应的数据和与PDAF传感器像素的位置相对应的数据进行组合。获得像素位置数据还可以包括对与静态缺陷像素位置和相位检测自动聚焦像素位置的位置相对应的数据进行转换。

在一些示例中，图像传感器可以包括数百万个传感器像素。一些传感器像素可以在图像捕获过程期间发生故障，并且因此可以输出不正确的像素强度值，例如，从发生故障的传感器像素输出的像素强度值可能不准确地表示由感光器接收的光的量。常规上，在图像的捕获之后，可以基于附近传感器像素的像素强度值来检测不正确的像素强度值。例如，在图像的区域暗的情况下，给出最大值的单个像素可能是不正确的并且可能容易被检测到。一些故障可能仅偶尔发生或在特定条件下发生，这些故障可以被称为动态缺陷。它们可能表现为针对图像中某些像素位置的不正确的像素强度值。当捕获后续图像时，这些故障可能不会再次发生。例如，诸如温度和湿度之类的环境因素可能影响一些传感器像素。因此，当在特定环境条件下时，这些传感器像素可以产生不正确的像素强度值。为了确定动态缺陷的存在，可以执行从传感器读取的所有像素数据的实时分析。

然而，其他故障可能是永久性的，例如，在图像传感器的制造过程期间，一些传感器像素可能变为被损坏或者可能未被正确地连接到底层电路，或者电路本身可能发展出缺陷。出现的故障可以被称为静态缺陷。其中这些重新出现的缺陷出现的像素位置可以被称为静态缺陷像素位置。根据在图像捕获过程之后从传感器像素输出的所得像素强度值，故障的类型可以如下分类。总是产生最大输出值的传感器像素可以被称为热像素或热传感器像素。总是产生零输出值的传感器像素可以被称为死像素或死传感器像素。重复产生相同输出值的传感器像素可以被称为粘连像素或粘连传感器像素。在输出值不正确的情况下，也可能发生其他传感器像素缺陷。这些像素缺陷可以是瞬时的，并且可以仅在单个图像捕获过程期间发生。由于缺陷检测和校正的性质，位于静态缺陷附近的动态缺陷可能更难以检测和/或校正，因为检测可能取决于周围像素强度值，包括来自静态缺陷传感器像素的像素强度值。

在一些示例中，由于使用传感器像素进行相位检测自动聚焦(PDAF)，还可能在特定像素位置处生成不正确的值。相位检测自动聚焦是在图像捕获期间通过通常将光分成图像对并且将它们进行比较来校正图像的焦点的过程。在一些示例中，小百分比的传感器像素可以被用作PDAF传感器像素。存在PDAF传感器像素的许多可能的布置和构造，其可以被用于在捕获图像时校正焦点。在一个示例中，图像传感器上彼此接近的一对传感器像素各自被部分地掩蔽，使得一个传感器像素接收入射在其相应透镜的左部分上的光，而另一传感器像素接收入射在其相应透镜的右部分上的光。由于两个传感器像素的接近性，由每一传感器像素测量的光量的差异可以指示图像是否在图像传感器的该部分处的焦点中。由于如上所述对传感器像素的修改，从传感器像素输出的像素强度值可能不能准确地表示在该像素位置处入射在透镜上的光量。在其他布置中，可以跨越一对传感器像素使用单个透镜，或可以将传感器像素分裂为两个单独的传感器像素。用于PDAF的传感器像素对可以均匀地分布在图像传感器周围。用于PDAF的传感器像素的数目可以取决于图像传感器和其中部署了图像传感器的设备的类型。在一个示例中，用于PDAF的传感器像素的比例低于5％。例如，在传感器像素的32×32阵列中，16个传感器像素可以被用于PDAF。在一些图像传感器中，被用于PDAF的传感器像素的比例大于上面给出的示例。该方法包括，在框130处，基于输入图像数据和像素位置数据来生成内插图像数据，该内插图像数据包括表示一个或多个标识像素位置的一个或多个改进的像素强度值。在框140处，该方法包括存储至少包括内插图像数据的改进的图像数据，并且在框150处，该方法包括基于改进的图像数据来检测一个或多个其他受损像素强度值。如上所述，受损像素强度值(例如，表示动态缺陷像素位置的像素强度值)，可以基于表示附近像素位置的像素强度值来检测和校正。在其他示例中，其他受损像素强度值可以包括表示未被像素位置数据标识的静态缺陷像素位置的像素强度值(例如，由传感器像素的故障生成的受损像素强度值)，当例如由制造商来生成静态缺陷像素位置数据时，其他受损像素强度值未被检测到。通过在检测其他受损像素强度值(例如，表示动态缺陷像素位置的像素强度值)之前，存储包括内插像素强度值的改进的图像数据，可以增加受损像素强度值检测的准确性。还可以增加生成与受损像素强度值相对应的校正像素强度值的准确性。将结合其他附图进一步描述在框130至150中示出的方法。

图2示出了表示图像的至少一部分的输入图像数据的像素位置200的示例布置的示意图。像素位置200的布置包括多个像素位置，每个像素位置由相应的像素强度值表示。每个像素位置对应于一个颜色通道，并且像素位置被以Bayer颜色过滤器图案布置。在整个本公开中，将关于输入图像数据来描述示例，其中输入图像数据是根据Bayer颜色过滤器阵列来生成的。然而，将理解的是，这是作为一个特定示例给出的。在其他示例中，可以使用不同颜色过滤器图案，并且在又进一步示例中，可以在图像传感器或相应传感器像素上方不使用颜色过滤器。图2中所示的像素位置包括与PDAF像素位置相对应的像素位置210a、210b、212a、212b、214a、214b、216a及216b。如上所述，PDAF像素位置可以被成对布置。在图2中所示的示例中，与PDAF像素位置相对应的每一对像素位置被垂直地布置，其中其他像素位置在这些像素位置之间。在其他示例中，PDAF像素位置对可以被水平地布置。在一些示例中，PDAF像素位置对可以被直接地邻近。如上所述，在一些示例中，每一PDAF像素位置均可以被分裂为用于PDAF的两个像素位置。在每对PDAF像素位置中，像素位置对应于相同的颜色通道，这是由于在PDAF中使用的光强度的比较。在图2中所示的示例中，在16×16像素位置的组内存在八个PDAF像素位置。然而，在其他示例中，在16×16像素位置的组内的PDAF像素位置的数目可以比在该示例中的多。在其他示例中，在16×16像素位置的组内可以存在比图2中所示的更少的PDAF像素位置。像素位置200的示例布置还包括与静态缺陷像素位置220a、220b相对应的像素位置。

生成内插图像数据

在一些示例中，生成内插图像数据包括至少通过对表示所选择的相邻像素位置的像素强度值进行内插来生成一个或多个改进的像素强度值。例如，这可以包括对表示相邻像素强度值的像素强度值取加权平均。在一些示例中，这可以包括将表示相邻像素强度值的加权平均的像素强度值与由像素位置数据标识的受损像素强度值进行混合。混合的比率可以取决于受损像素强度值的类型，例如，它是由静态缺陷传感器像素还是PDAF传感器像素生成的。在一些示例中，所选择的相邻像素位置是具有与正在为其生成改进的像素强度值的像素位置相同的颜色通道的像素位置。在其他示例中，所选择的相邻像素位置可以包括与不同颜色通道相对应的像素位置，在这些情况下，应用于表示与不同颜色通道相对应的像素位置的像素强度值的权重可以不同于应用于来自与相同颜色通道相对应的像素位置的像素强度值的权重。在一些示例中，所选择的相邻像素位置可以不包括由像素位置数据标识的像素位置。图3A示出了包括将为其生成改进的像素强度值的PDAF像素位置310的像素位置的子布置的示意图。子布置还包括另一PDAF像素位置312和静态缺陷像素位置314。图3A中示出了轮廓316，该轮廓316示出了从其可以选择所选择的相邻像素位置的相邻像素位置。在一个示例中，表示位于轮廓316内并且未被像素位置数据标识的像素位置的像素强度值可以被用于生成改进的像素强度值，例如，表示像素位置310、312和314的像素强度值可以不被使用。在其他示例中，所选择的相邻像素位置可以包括由像素位置数据标识的像素位置。在基于表示相邻像素位置的多个像素强度值来生成改进的像素强度值的情况下，包括一个或多个受损像素强度值连同未受损像素强度值仍然可以导致比原始受损像素强度值更准确的像素强度值。包括受损像素强度值还可以降低生成改进的像素强度值的复杂性，其中忽视标识像素位置可能是困难的或计算成本高的。所选择的相邻像素位置的数量可以大于图3A至图3C中所示的数量。所考虑的相邻像素位置的数量可以取决于作为静态缺陷像素位置和/或相位检测自动聚焦像素位置的像素位置的比例。在其他示例中，所选择的相邻像素位置的数量可以取决于表示图像的至少一部分的像素位置的密度。例如，在具有许多传感器像素的图像传感器中，可以考虑大量的相邻像素，因为它们可以表示图像的一小部分，而如果存在较少的传感器像素，则考虑相同数量的相邻像素可能意味着考虑图像的较大部分，这将降低准确性。在其他示例中，所选择的相邻像素位置的数量可以取决于执行该方法的设备的计算资源。

在一些示例中，通过选择相邻像素位置的线性布置来确定所选择的相邻像素位置。图3B示出了包括将为其生成改进的像素强度值的PDAF像素位置320的像素位置的子布置的示意图。子布置还包括另一PDAF像素位置322，并且示出了轮廓324，该轮廓324示出了从其选择所选择的相邻像素位置的相邻像素位置。在图3B所示的示例中，使用了相邻像素位置的线性布置。由于PDAF像素位置可以被成对地找到，因此选择线性布置可防止考虑表示其他PDAF像素位置的像素强度值。即使当为静态缺陷像素位置生成改进的像素强度值时，线性布置也可以降低在生成改进的像素强度值时包括受损像素强度值的可能性。然而，如关于图3A所讨论的，生成改进的像素强度值可以包括从表示由像素位置数据标识的相邻像素位置(即，PDAF和/或静态缺陷像素位置)的像素强度值进行内插。图3B示出了相邻像素位置的垂直线性布置。图3C示出了包括将为其生成改进的像素强度值的PDAF像素位置330的像素位置的子布置的示意图。子布置还包括另一PDAF像素位置332和轮廓334，该轮廓334示出了从其选择所选择的相邻像素位置的相邻像素位置。在该示例中，所选择的相邻像素位置被布置为处于线性布置，该线性布置是水平的。将理解的是，尽管关于图3A至图3C讨论的示例涉及在PDAF像素位置处生成改进的像素强度值，但是这些示例也将适用于在静态缺陷像素位置处生成改进的像素强度值。图3A至图3C中所示的轮廓316、324和334具有限定的尺寸。然而，将理解的是，当选择相邻像素位置时，可以考虑更多或更少的相邻像素位置。

存储改进的图像数据

在生成包括表示由像素位置数据标识的像素位置的改进的像素强度值的内插图像数据之后，可以存在表示标识像素位置的两个像素强度值。在一些示例中，存储改进的图像数据包括存储内插图像数据的表示由像素位置数据标识的像素位置的改进的像素强度值，以及存储输入图像数据的表示未由像素位置数据标识的像素位置的像素强度值。所得图像数据将具有表示每个像素位置的像素强度值。通过在检测由动态缺陷引起的受损像素强度值之前在预定静态缺陷像素位置处和/或相位检测自动聚焦像素位置处存储包括改进的像素强度值的改进的图像数据，动态缺陷的检测可以更准确。这也可以增加未由像素位置数据标识的静态缺陷的检测准确性。在一些示例中，检测像素位置是否由因为动态缺陷而生成的受损像素强度值表示包括分析像素强度值，或者分析从这些值计算出的度量，并且将它们与表示像素位置的像素强度值进行比较。如果所使用的图像数据的质量很差，则可以将用于检测的阈值设置得低，以便确保检测到缺陷。然而，这将可能导致缺陷的错误标识的增加。通过改进用于缺陷检测的图像数据的质量，可以使用更高的阈值，并且因此减少缺陷的错误标识。下面将进一步讨论对其他受损像素强度值的检测。

检测其他受损像素强度值

如上简述，改进的图像数据可以被用于检测其他受损像素强度值，例如表示动态缺陷像素位置或未标识的静态缺陷像素位置的受损像素强度值。在一些示例中，基于改进的图像数据来检测一个或多个其他受损像素强度值包括：针对由改进的图像数据的第一像素强度值表示的第一像素位置，至少基于第一像素强度值和改进的图像数据中表示第一组相邻像素位置的一个或多个像素强度值，来确定第一像素强度值是否是受损像素强度值。图4示出了包括第一像素位置410的像素位置400的布置的示意图，针对该第一像素位置410确定改进的图像数据中表示第一像素位置410的第一像素强度值是否是受损像素强度值。第一组相邻像素位置被突出显示，例如像素位置420。在一些示例中，第一组相邻像素位置属于与第一像素位置410相同的颜色通道。然而，在其他示例中，也可以使用与不同颜色通道相对应的像素位置。

在一个示例中，基于第一像素强度值和表示相邻像素位置的像素强度值来确定第一像素位置是否由受损像素位置表示包括确定像素位置邻域中的像素误差和色散之间的比率，并且将其与阈值进行比较。其一般表达式如下所示：

其中，是基于表示一组相邻像素位置的像素强度值生成的具有坐标(m，n)的像素位置(例如，第一像素位置)处的估计像素强度值，x_m,n是具有坐标(m，n)的像素位置的像素强度值。像素误差可以被计算为估计像素强度值与实际像素强度值之间的绝对差。D_WxH是在以像素位置(m，n)为中心的像素位置分块W×H上计算的像素色散值。例如，可以基于绝对差之和的计算来计算色散。T是阈值，将像素误差和色散的比率与该阈值进行比较以确定像素强度值x_m,n是否为受损像素强度值。Λ是像素强度值x_m,n是否是受损像素强度值的指示。如前所述，由于在检测其他受损像素强度值时使用改进的图像数据，可以增加受损像素强度值的检测的灵敏度和可靠性。因此，可以使用更具选择性的阈值，并且因此减少受损像素强度值的错误检测的数量。在一些示例中，检测可以是各向同性的或定向的。例如，检测可以考虑围绕像素位置410的像素位置。在其他示例中，通过考虑位于穿过像素位置410的直线(例如，垂直、水平、45°的对角线和135°的对角线)上的像素位置，检测可以定向地执行检测计算。在一些示例中，检测可以包括在一个以上方向上且各向同性地检测，并且对结果进行排序和/或比较以确定像素位置410是否由受损像素强度值表示。

可以针对由改进的图像数据的像素强度值表示的每一像素位置重复此过程。在一些示例中，像素位置数据可以被用于标识静态缺陷像素位置和PDAF像素位置，并且因此这些像素位置可以不经历其他检测，因为它们已经被像素位置数据标识为受损像素位置。

在一些示例中，该方法还可以包括生成表示第一像素位置的第一校正像素强度值，并且存储至少包括表示第一像素位置的第一校正像素强度值的校正图像数据。可以基于表示相邻像素位置的像素强度值和表示第一像素位置的像素强度值来执行生成第一校正像素强度值。例如，可以通过将第一像素强度值与根据相邻像素强度值计算的估计像素强度值混合来生成第一校正像素强度值。然而，在第一像素强度值不是其他受损像素强度值的情况下，不一定生成校正值。还可以为由像素位置数据标识的但不经历基于上述过程的检测的像素位置生成校正像素强度值。

在一些示例中，生成第一校正像素强度值包括，如果改进的图像数据的表示第一像素位置的第一像素强度值是受损像素强度值，则基于改进的图像数据的表示第二组相邻像素位置的像素强度值和第一像素强度值来生成第一校正像素强度值。生成第一校正像素强度值可以包括，如果改进的图像数据的表示第一像素位置的第一像素强度值不是受损像素强度值，则选择改进的图像数据的表示第一像素位置的第一像素强度值。因此，当对第一和后续像素强度值执行受损像素强度值的检测和校正时，可以存储表示每一像素位置的校正图像数据，从而产生完全校正图像数据。在一些示例中，第一组相邻像素位置和第二组相邻像素位置可以包括相同的像素位置，使得受损像素强度值的检测和校正利用相同组的像素强度值。

在一些示例中，在表示第一像素位置的第一像素强度值的校正之后的受损像素强度值的后续检测可以使用校正图像数据。这可以进一步增加受损像素强度值的检测和校正的准确性，因为表示相邻像素位置的像素强度值的至少一部分将是校正图像数据。

在一些示例中，基于改进的图像数据来检测一个或多个其他受损像素强度值包括至少基于第二像素强度值和校正图像数据的表示第三组相邻像素位置的一个或多个像素强度值，为由校正图像数据的第二像素强度值表示的第二像素位置确定第二像素强度值是否是受损像素强度值。例如，第二像素位置可以与第一像素位置相邻，并且第三组相邻像素位置可以与第一组相邻像素位置具有相同的形状和尺寸，但是以第二像素位置为中心。第二组相邻像素位置可以包括第一像素位置，使得表示第二组相邻像素位置的像素强度值可以包括至少一个校正像素强度值。

在一些示例中，该方法还包括生成表示第二像素位置的第二校正像素强度值，并且基于第二校正像素强度值来更新校正图像数据。通过利用其他校正像素强度值来更新校正图像数据，可以增加表示后续像素位置的像素强度值的检测和校正，因为检测和校正过程可以使用更大数目的校正像素强度值。例如，在对于大多数像素位置沿着图像的从顶部到底部的每一行重复该过程的情况下，根据所考虑的相邻像素位置的组的尺寸和形状，将使用由完全校正图像数据表示的一些相邻像素位置和由改进的图像数据表示的一些相邻像素位置来执行对其他受损像素强度值的检测和校正，改进的图像数据至少包括通过基于预定PDAF像素位置和静态缺陷像素位置进行校正而生成的内插图像数据。

图5示意性地示出了由包括改进的像素强度值和校正像素强度值的校正输入图像数据表示的像素位置500的布置。用白色字母以黑色示出的像素位置指示由校正像素强度值表示的像素位置。用黑色书写以白色示出的像素位置指示由改进的像素强度值表示的像素位置。像素位置510表示要为其确定表示像素位置510的改进的像素强度值是否是受损像素强度值的像素位置。例如，像素位置510可以是如上所述的第二像素位置。图5还示出了以虚线示出的轮廓520，其围绕一组相邻像素位置，可以基于该组相邻像素位置来确定像素位置510是否是受损像素位置。如图5中可以看到的，该组相邻像素位置可以包括由校正像素强度值表示的一些像素位置和由改进的像素强度值表示的一些像素位置。使用校正图像数据来检测和/或校正其他受损像素强度值可以进一步增加检测和/或校正的准确性。

在一些示例中，生成第二校正像素强度值包括，如果校正图像数据的表示第二像素位置的第二像素强度值是受损像素强度值，则基于校正图像数据的表示第四组相邻像素位置的像素强度值和第二像素强度值来生成第二校正像素强度值。如上所述，这可以包括将第二像素强度值与从表示第四组相邻像素位置的像素强度值生成的估计像素强度值进行混合。表示第四组相邻像素的像素强度值可以包括一个或多个校正像素强度值和一个或多个改进的像素强度值。在存在受损像素强度值的集群的情况下，基于校正图像数据来检测和/或校正像素强度值可以增加检测和/或校正的稳健性。在使用图像数据来检测受损像素强度值之前部分地校正图像数据可以增加检测的准确性。这同样可以应用于受损像素强度值的校正。

在一些示例中，生成第二校正像素强度值可以取决于在校正期间可以考虑的图像中的细节。例如，该方法可以包括检测由校正图像数据表示的图像中的一个或多个边缘，并且根据检测到的一个或多个边缘来修改第二校正像素强度值的生成。类似地，当生成第一校正像素强度值时，该方法可以包括检测由改进的图像数据表示的图像中的一个或多个边缘，并且根据检测到的一个或多个边缘来修改第一校正像素强度值的生成。在一些示例中，当生成校正像素强度值时，可以检测并考虑角落而非边缘。在一些示例中，第三组相邻像素位置和第四组相邻像素位置可以包括相同的相邻像素位置。

图6是示出根据示例的装置600的示意图。装置600可以是图像处理设备或图像处理系统。在一些示例中，装置可以包括用于处理图像数据以生成其他图像数据的图像信号处理器。在一些示例中，例如在图6的示意图中，装置600可以包括至少一个处理器610。至少一个处理器可以是具有单个核的单个处理器、具有多个核的单个处理器、或具有跨多个处理器分裂的任何数量的核的多个处理器。在一些示例中，至少一个处理器可以是被配置为处理图像数据的特定图像信号处理器，在其他示例中，至少一个处理器可以是被配置为执行本文描述的功能(例如，处理图像数据)的中央或图形处理单元(CPU或GPU)或被设计为用于本文描述的目的定制处理单元。装置600可以包括至少一个存储器620，其包括计算机程序代码。计算机程序代码可以是任何合适的格式或程序语言。程序代码可以用高级或低级计算机程序语言编写。至少一个存储器620和计算机程序代码可以被配置为与至少一个处理器610一起使装置600至少获得表示图像的至少一部分的输入图像数据630，如在框620a处所示，输入图像数据630包括表示相应多个像素位置的多个像素强度值。在一些示例中，输入图像数据630可以被存储在至少一个存储器620上。在其他示例中，输入图像数据630可以被发送以由装置600通过任何合适的有线或无线电子通信手段接收。例如，输入图像数据630可以由诸如智能电话或相机之类的远程图像捕获设备发送到装置600。在其他示例中，输入图像数据630可以由本地图像传感器捕获，例如在装置600被包括在诸如智能电话或相机之类的图像捕获设备中的情况下。至少一个存储器620和计算机程序代码可以被配置为与至少一个处理器610一起获得像素位置数据640，该像素位置数据640标识由一个或多个相应受损像素强度值表示的一个或多个像素位置，如框620b处所示。如上所述，可以基于被可以存储在图像传感器处的存储器上的静态缺陷像素位置来生成像素位置数据640。像素位置数据640可以基于相位检测自动聚焦像素位置而生成，该相位检测自动聚焦像素位置可以为预定的，取决于用于生成输入图像数据的图像传感器，并且可以与图像传感器一起存储或远离图像传感器存储。在一些示例中，获得输入图像数据可以包括从预定静态缺陷像素位置和预定相位检测自动聚焦像素位置生成输入图像数据。至少一个存储器620和计算机程序代码可以被配置为与至少一个处理器610一起使得装置600执行以下操作：基于输入图像数据630和像素位置数据640来生成包括表示一个或多个标识像素位置的一个或多个改进的像素强度值的内插图像数据650，如在框620c处所示；存储至少包括内插图像数据650的改进的图像数据660，如在框620d处所示。至少一个存储器620和计算机程序代码还可以被配置为与至少一个处理器610一起使得装置600基于改进的图像数据660来检测一个或多个其他受损像素强度值，如在框620e处所示。

装置600还可以被配置为执行本文描述的其他过程。装置600例如可以被配置为确定第一像素位置是否由改进的图像数据的作为受损像素强度值的第一像素强度值表示，生成第一校正像素强度值，存储至少包括第一校正像素强度值的校正图像数据，随后确定第二像素位置是否由校正图像数据的第二像素强度值表示，生成第二校正像素强度值，以及基于第二校正像素强度值来更新校正图像数据。装置600可以执行上述过程的子集或所有这些过程。在一些示例中，装置600可以包括固定功能硬件。例如，装置600可以是专用集成电路。专用集成电路可以包括任意数量的处理器、微处理器和/或存储器块，包括例如RAM、ROM、EEPROM或闪存。在其他示例中，例如，装置600可以是非特定计算设备，例如台式计算机，其被配置为执行如上所述的方法。例如，至少一个存储器620可以包括任意数量的易失性或非易失性存储器，例如硬盘驱动器、CD-ROM盘、USB驱动器、固态驱动器、RAM、ROM、或者任何其他形式的磁性存储设备、光学存储设备或闪存设备，其被本地维护或远程访问，能够在其上存储适合于本文描述的功能的计算机可读代码。

图7示出了根据示例的用于处理图像数据的工作流程700的示意图。在框710处，可以获得像素位置数据，例如可以基于预定相位检测自动聚焦像素位置和/或静态缺陷像素位置来生成掩模。在框720处，可以生成内插图像数据，并且可以存储至少包括内插图像数据的改进的图像数据。在框730处，将改进的图像数据分裂为像素强度值的行。一次处理与所有像素位置相关的图像数据可能在计算上非常昂贵。因此，改进的图像数据可以被分裂为像素强度值的行并且被顺序地处理。在将改进的图像数据分裂为行时，在框740处，可以同时使用几行数据来检测受损像素强度值。在下降到下一顺序行并且在沿该顺序行的每个像素位置处执行受损像素强度值的检测之前，可以在沿一行的每个像素位置处执行受损像素强度值的检测。假设用于检测受损像素强度值的相邻像素位置的数量和布置对于每个顺序行是相同的，则当处理移动到下一顺序行时，存储器可以停止存储像素强度值的顶行，并且可以加载像素强度值的其他底行。由此，在移动通过改进的图像数据并且检测受损像素强度值时维持一致的存储器使用。在其他示例中，在框740处使用的像素强度值的更新可以在每像素基础上发生。

在框740处，来自检测的结果可以被传递到框750，在框750处生成校正像素强度值。该框750也可以一次处理像素强度值的所选数量的行的改进的图像数据。框750还可以具有像素位置数据作为输入，使得即使静态缺陷像素位置和/或PDAF像素位置已经被部分地校正，当这些像素位置在改进的图像数据中时，它们也可以被进一步标识和校正。来自框750的校正像素强度值的输出可以形成到框730处的延迟线的输入，使得用于在框740处检测受损像素强度值和用于在框750处校正检测到的受损像素强度值的图像数据包括来自先前检测到的、和校正的受损像素强度值的校正像素强度值。在一些示例中，在校正完整行的受损像素强度值之后来更新校正图像数据。在其他示例中，在校正每一受损像素强度值之后来更新校正图像数据。

图8示出了包括可执行指令的非暂时性计算机可读存储介质800的示意图。可执行指令在由处理器执行时可以使得图像处理系统的操作至少：获得表示图像的至少一部分的输入图像数据810，该输入图像数据包括表示相应多个像素位置的多个像素强度值；获得标识由一个或多个相应受损像素强度值表示的一个或多个像素位置的像素位置数据820；基于输入图像数据来生成包括表示一个或多个标识像素位置的一个或多个改进的像素强度值的内插图像数据830；存储至少包括内插图像数据的改进的图像数据840；以及基于改进的图像数据来检测一个或多个其他受损像素强度值850。

上述实施例应理解为本发明的说明性示例，可以设想其他实施例。应当理解，关于任何一个实施例描述的任何特征可以单独使用，或者与描述的其他特征组合使用，并且还可以与任何其他实施例的一个或多个特征、或者与任何其他实施例的任何组合进行组合使用。此外，在不背离所附权利要求中限定的本发明的范围的情况下，也可以采用上面未描述的等同物和修改。

Claims (10)

1.一种方法，包括：

获得输入图像数据，所述输入图像数据表示图像的至少一部分，所述输入图像数据包括表示相应多个像素位置的多个像素强度值；

获得像素位置数据，所述像素位置数据标识由一个或多个相应受损像素强度值表示的第一组的一个或多个像素位置；

基于所述输入图像数据和所述像素位置数据来生成内插图像数据，所述内插图像数据包括表示所标识的一个或多个像素位置的一个或多个改进的像素强度值，其中，所述一个或多个改进的像素强度值是至少通过对表示所选择的相邻像素位置的像素强度值进行内插来生成的；

存储至少包括所述内插图像数据的改进的图像数据；以及

基于包括所述一个或多个改进的像素强度值的所述改进的图像数据来检测由一个或多个相应受损像素强度值表示的第二组的一个或多个其他像素位置，其中，所述第二组的一个或多个其他像素位置不同于所述第一组的一个或多个像素位置。

2.根据权利要求1所述的方法，其中，所述像素位置数据标识以下各项中的任一项：

一个或多个静态缺陷像素位置；以及

一个或多个相位检测自动聚焦像素位置。

3.根据权利要求2所述的方法，其中，获得所述像素位置数据包括：基于预定相位检测自动聚焦像素位置和预定静态缺陷像素位置来生成所述像素位置数据。

4.根据权利要求1所述的方法，其中，所选择的相邻像素位置不包括由所述像素位置数据标识的像素位置，并且可选地，其中，所选择的相邻像素位置是通过选择相邻像素位置的线性布置来确定的。

5.根据权利要求1所述的方法，其中，基于所述改进的图像数据来检测由一个或多个相应受损像素强度值表示的第二组的一个或多个其他像素位置包括：针对由所述改进的图像数据的第一像素强度值表示的第一像素位置，至少基于所述第一像素强度值和所述改进的图像数据中表示第一组相邻像素位置的一个或多个像素强度值，来确定所述第一像素强度值是否是受损像素强度值。

6.根据权利要求5所述的方法，还包括：

生成表示所述第一像素位置的第一校正像素强度值；以及

存储校正图像数据，所述校正图像数据至少包括表示所述第一像素位置的所述第一校正像素强度值，

其中，生成第一校正像素强度值可选地包括：

如果所述改进的图像数据中表示所述第一像素位置的所述第一像素强度值是受损像素强度值，则基于所述改进的图像数据中表示第二组相邻像素位置的像素强度值和所述第一像素强度值来生成所述第一校正像素强度值；或者

如果所述改进的图像数据中表示所述第一像素位置的所述第一像素强度值不是受损像素强度值，则选择所述改进的图像数据中表示所述第一像素位置的所述第一像素强度值。

7.根据权利要求6所述的方法，其中，基于所述改进的图像数据来检测由一个或多个相应受损像素强度值表示的第二组的一个或多个其他像素位置包括：针对由所述校正图像数据的第二像素强度值表示的第二像素位置，至少基于所述第二像素强度值和所述校正图像数据中表示第三组相邻像素位置的一个或多个像素强度值，来确定所述第二像素强度值是否是受损像素强度值。

8.根据权利要求7所述的方法，还包括：

生成表示所述第二像素位置的第二校正像素强度值；以及

基于表示所述第二像素位置的所述第二校正像素强度值来更新所述校正图像数据。

9.根据权利要求8所述的方法，其中，生成第二校正像素强度值包括：

如果所述校正图像数据中表示所述第二像素位置的所述第二像素强度值是受损像素强度值，则基于所述校正图像数据中表示第四组相邻像素位置的像素强度值和所述第二像素强度值来生成所述第二校正像素强度值；或者

如果所述校正图像数据中表示所述第二像素位置的所述第二像素强度值不是受损像素强度值，则选择所述校正图像数据中表示所述第二像素位置的所述第二像素强度值。

10.一种装置，包括：

至少一个处理器；

至少一个存储器，包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行以下操作：

获得输入图像数据，所述输入图像数据表示图像的至少一部分，所述输入图像数据包括表示相应多个像素位置的多个像素强度值；

获得像素位置数据，所述像素位置数据标识由一个或多个相应受损像素强度值表示的第一组的一个或多个像素位置；

基于所述输入图像数据和所述像素位置数据来生成内插图像数据，所述内插图像数据包括表示所标识的一个或多个像素位置的一个或多个改进的像素强度值，其中，所述一个或多个改进的像素强度值是至少通过对表示所选择的相邻像素位置的像素强度值进行内插来生成的；

存储至少包括所述内插图像数据的改进的图像数据；以及

基于包括所述一个或多个改进的像素强度值的所述改进的图像数据来检测由一个或多个相应受损像素强度值表示的第二组的一个或多个其他像素位置，其中，所述第二组的一个或多个其他像素位置不同于所述第一组的一个或多个像素位置。