CN1960439B - 图像信号处理的方法和装置 - Google Patents

Abstract

在一种图像信号处理方法中，在一数字图像表示中基于一处于估计中的像素与其周围像素的一比较，参考一俘获所述数字图像表示的透镜传感器排列的一已知分辨能力，在运行中确定缺陷像素。响应于对缺陷像素的所述确定，修正所述缺陷像素。

Description

图像信号处理的方法和装置

技术领域

本文描述的实施例涉及数字图像中缺陷像素检测的领域。更明确地说，本文描述的实施例涉及一种对在数码相机内处理的图像中缺陷像素进行运行中检测的方法和系统。本文至少揭示用于图像信号处理的方法和装置。

背景技术

例如数码相机和扫描器的成像装置含有制造成CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)装置的一个或一个以上图像传感器。图像传感器包括从发光体俘获能量的感应像素阵列，其通常将此能量转化为例如亮度值的电量度。在大多数情况下，成像传感器将由于制作或制造误差而具有某一数目的“缺陷”的像素位置。传感器的缺陷像素是这样一种像素，其当暴露于发光体时将产生与当暴露于相同发光体时全功能像素将产生的亮度值或响应不同的亮度值或响应。也就是说，缺陷像素对于光反常地敏感或不敏感。

像素缺陷可分为三种：高粘定(stuck-at-high)、低粘定(stuck-at-low)和反常响应。高粘定缺陷像素是始终通过产生高亮度值而响应照明条件的像素。举例来说，如果像素亮度范围在0(低)到255(高)，那么高粘定像素可始终以(例如)值248来响应照明，即便如果场景的所述位置的实际测量到的亮度将为31、50、100等(如果由功能像素俘获到)。低粘定缺陷像素是始终通过产生低亮度值而响应照明条件的像素。在相同系统中，低粘定缺陷像素可(例如)以值5来响应，即便功能像素将展示亮度值为200、100、78等。具有反常响应缺陷的像素与功能像素没有绝对不一致，而是具有相对不一致。具有反常响应缺陷的像素将不正确地响应特定百分率，使得当功能像素将读取值X时，反常响应缺陷像素将改为(例如)以值0.25*X进行响应。反常响应因此相对于正俘获的亮度而按比例为较高或较低。期望展示出这些类型缺陷的任一者的像素应被修正或补偿。常规地，在受控环境中，例如在传感器制造期间或在镜头仍然关闭时进行相机初始化期间，执行缺陷像素的检测。记录识别的位置并接着将其转移到使用传感器的装置上(例如数码相机上)相同的非易失性存储器。额外存储器要求增加了整个相机系统设计的成本和制造复杂性。

一种检测相机操作期间的缺陷像素的方法应用统计分析技术。在统计分析技术中，通过二元假设测试方案来检测缺陷像素，在所述方案中，如果P1(属于“缺陷”类别的像素)假设的可能性大于P0(属于“正常”类别的像素)假设的可能性，那么将所述像素归类为“缺陷”。此方法不需要存储空间来记录缺陷像素位置，但仍然需要某一离线计算。另外，需要使用多个“训练”图像来获得积累的可能性比率。训练图像的选择需要特别小心以避免估计偏差。

已用来去除相机操作期间的缺陷像素的修正图像缺陷的更任意的方式是不检测缺陷像素，而是通过对整个传感器输出(图像)应用逐图像噪音去除技术来过滤出未知缺陷(如噪音)。缺陷像素过滤的挑战来自以下事实：缺陷像素的分布通常为随机的且缺陷位置通常隔离。使用某一形式的线性低通过滤器由于其脉冲响应性质而通常不会很好地抵抗此类型噪音。结果是，大量良好像素或图像细节与不良像素一起被过滤出。所述强力中项(brute-force median)或分级过滤器尽管良好地解决混合噪音(salt-and-peppernoise)，但不幸的是如果过滤器支持有限，那么也可与缺陷一起过滤出图像细节。

发明内容

本文至少揭示以下内容。在一种图像信号处理方法中，在数字图像表示中基于处于估计中的像素与其周围像素的比较，参考俘获数字图像表示的透镜传感器排列的已知分辨能力，在运行中确定缺陷像素。响应于对缺陷像素的确定，修正缺陷像素。

因此，需要可检测定位的缺陷而不需要大量存储器来存储数据的缺陷像素检测方法和装置。也需要一种不需要大量处理能力的缺陷像素检测方法和系统。还需要可在数字成像装置内快速且有效地操作的缺陷像素检测方法和装置。还需要与用于修正个别缺陷像素的构件集成的用于检测缺陷像素的方法和装置。本发明的各种实施例，用于检测缺陷像素的方法和装置提供这些优点连同本文描述的其它优点。

通常，实施例通过两阶段处理来隐蔽缺陷像素。首先通过非线性方法在运行中检测缺陷像素，接着通过局部插值对其进行修正。在一个实例中，通过两个规则来检测缺陷像素：(1)如果像素与其周围像素相比正在考虑中，那么所述像素产生显著高于传感器所驻存的透镜传感器系统的分辨能力的对比度或调制；和(2)如果对比度沿着所有空间方向均为高(例如，表现类似于脉冲响应)，那么所述像素很有可能有缺陷。

本发明一个实施例是一种图像信号处理方法。在此实施例中，基于处于估计中的像素与其周围像素的比较，参考俘获数字图像表示的透镜传感器排列的已知分辨能力，在运行中确定数字图像表示中的缺陷像素。响应于对缺陷像素的确定，修正缺陷像素。在一个实施例中，接收Bayer图案阵列形式的数字图像表示。在一个实施例中，获得描述透镜传感器排列的分辨能力的参数。在一个实施例中，计算数字图像表示的一部分中围绕处于估计中的像素的相同颜色像素的平均值。接着确定所述处于估计中的像素是处于平坦图像区还是边缘图像区。在一个实施例中，利用为图像的黑暗区定制的调制转移函数来计算平均值。在一个实施例中，修正缺陷像素包括用替代像素替代每一缺陷像素，所述替代像素包括数字图像表示的一部分中围绕缺陷像素的相同颜色像素的平均值。

在图像信号处理方法的一个实施例中，处于估计中的像素与其周围像素的比较包括与用于产生处于估计中的像素的透镜传感器排列所特有的经修改的调制转移函数进行比较。在一个实施例中，所述比较包括当处于估计中的像素处于平坦图像区时将处于估计中的像素与为图像的平坦区中的像素定制的调制转移函数进行比较。在一个实施例中，所述比较包括当处于估计中的像素处于边缘图像区时将处于估计中的像素与为图像的边缘区中的像素定制的调制转移函数进行比较。在一个实施例中，所述方法包括用于促使计算机系统执行图像信号处理方法的计算机可读代码。

根据一个实施例，一种图像信号处理器装置包括周围像素插值器、像素估计器和像素替代器。周围像素插值器用于计算数字图像表示的一部分中围绕处于估计中的像素的相同颜色像素的平均值。像素估计器耦合到周围像素插值器。像素估计器用于基于处于估计中的像素与其周围像素的比较，参考透镜传感器排列的已知分辨能力来确定处于估计中的像素是否有缺陷。像素估计器耦合到像素替代器。像素替代器经配置用于用包括由周围像素插值器计算出的平均值的替代像素替代每一缺陷像素。

一个实施例也包括像素位置确定器。像素位置确定器耦合到像素估计器。像素位置确定器用于确定处于估计中的像素是处于平坦图像区还是边缘图像区。图像信号处理器装置的一个实施例还包括耦合到周围像素插值器的图像数据接收器。图像数据接收器经配置用于接收Bayer图案阵列形式的数字图像表示。在一个实施例中，周围像素插值器经配置以便利用为图像的黑暗区定制的调制转移函数来计算平均值。在一个实施例中，每一替代像素包括数字图像表示的一部分中围绕缺陷像素的相同颜色像素的平均值。在一个实施例中，像素估计器经配置用于基于与透镜传感器排列所特有的经修改的调制转移函数进行比较来确定处于估计中的像素是否有缺陷。在一个实施例中，像素估计器经配置以便当估计平坦图像区中的像素时利用为图像的平坦区中的像素定制的调制转移函数。在一个实施例中，像素估计器经配置以便当估计边缘图像区中的像素时利用为图像的边缘区中的像素定制的调制转移函数。一个实施例进一步包括存储器元件，其包括表示透镜传感器排列的分辨能力的参数。

根据本发明一个实施例，所述图像信号处理器装置用于数字成像装置中，所述数字成像装置除了图像信号处理器外还包括光学透镜和图像传感器。在一个实施例中，图像传感器包括电荷耦合装置(CCD)。在一个实施例中，图像传感器包括互补金属氧化物半导体(CMOS)装置。

附图说明

附图并入本说明书中并组成本说明书的一部分，其说明本发明实施例并与描述内容一起用来解释本发明原理：

图1是可用以实施本发明实施例的示范性数字成像装置的方框图。

图2是可用以实施本发明实施例的示范性计算机系统的方框图。

图3展示根据本发明一个实施例示范性图像信号处理器装置的方框图。

图4展示可用以实施本发明实施例的示范性Bayer像素阵列的描绘。

图5展示根据本发明一个实施例围绕处于估计中的像素的相似颜色像素阵列的描绘。

图6展示根据本发明一个实施例调制转移函数的示范性曲线图。

图7展示根据本发明一个实施例用于检测并修正缺陷像素的计算机控制方法的流程图。

具体实施方式

现将具体参照本发明各种实施例，用于缺陷像素检测的方法和装置，附图中说明其实例。虽然将结合这些实施例描述本发明，但应了解，不希望其将本发明限于这些实施例。相反，本发明希望涵盖包含在由所附权利要求书界定的本发明精神和范围内的替代形式、修改和等效形式。此外，在本发明的以下详细描述中，陈述许多特定细节以便提供对本发明的彻底理解。然而，所属领域的技术人员将了解，可在没有这些特定细节的情况下实践本发明。在其它情况下，为了不会不必要地混淆本发明的各方面，未详细描述众所周知的方法、程序、组件和电路。

以下详细描述内容的一些部分是按照程序、步骤、逻辑区块、处理和可在计算机存储器上执行的对于数据位的操作的其它象征性表示而提供的。这些描述内容和表示是由图像处理领域的技术人员用来最有效地将其作品的主旨传达给所属领域的其他技术人员的方法。本文中，程序、计算机执行的步骤、逻辑区块、过程等通常构思为导致期望的结果的步骤或指令的自相一致序列。所述步骤是那些需要对物理量进行物理操纵的步骤。通常(尽管不必要)，这些量采取能够在计算机系统中被存储、转移、组合、比较和以另外的方式操纵的电或磁信号的形式。已多次证实(主要是为一般使用的原因)，将这些信号称为位、值、元素、符号、字符、项、数字或类似名称较为便利。

应了解，所有这些和类似术语应与合适的物理量关联，且仅仅是应用于这些量的便利的标志。应了解，贯穿于本发明，利用例如“计算”或“求平均”或“确定”或“接收”或“估计”或“修正”或“比较”或“提供”或“替代”或类似表述的术语的论述表示电子系统(例如，图1的数字成像装置100、图2的计算机系统212或类似的电子计算装置)的动作和处理，所述电子系统操纵在电子装置的寄存器或存储器内表示为物理(电子)量的数据并将其转换为在电子装置存储器或寄存器或其它此类信息存储、传输或显示装置内类似地表示为物理量的其它数据。

本发明实施例

本文描述本发明各种实施例，用于缺陷像素检测的方法和装置。

图1是示范性数字成像装置100的方框图。应了解，本文描述的数字成像装置100说明可用以实施本发明实施例的操作平台的示范性配置。然而，在本发明范围内，也可使用具有不同配置的其它数字成像装置代替数字成像装置100。也就是说，数字成像装置100可包含与结合图1描述的那些元件不同的元件。

数字成像装置100包含光学透镜110，其将发光体105传输到图像传感器120。图像传感器120配置成阵列，且可为电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)成像装置或类似物。图像传感器120通过与模拟到数字转换器(ADC)130的耦合来传输模拟图像信息，如果传感器120能够输出数字图像表示，那么模拟到数字转换器(ADC)130可为任选的。通过与图形处理器单元(GPU)140、图像信号处理器145和缺陷像素检测器150的耦合135来传输图像传感器数据的数字表示。在一个实施例中，通过耦合135而运载的图像传感器数据的数字表示是包括像素阵列图案的数字数据的行和列的阵列形式的数字图像表示。本发明适于以以Bayer阵列、CYMG(青色、黄色、品红色、绿色)阵列、RGBE(红色、绿色、蓝色、翠绿色)阵列、3CCD阵列(来自俘获相同图像的三个电荷耦合装置之一的单个阵列)、蜂窝形阵列或其它像素阵列形式的形式接收的像素阵列工作。通过解释的方式，且为了简洁起见，仅结合所述阵列之一(示范性Bayer图案阵列)来描述本发明的功能性。然而应了解，本发明中描述的方法和装置同等地适用于其它像素阵列格式，例如CYMG阵列、RGBE阵列、3CCD阵列、蜂窝形阵列和其它格式。

图形处理器单元(GPU)140用于处理声音、静态图像、动态图像和类似物。图像信号处理器145用于将原始图像数据处理成接着在扫描线155上输出的扫描线图像数据。在一个实施例中，图像信号处理器145检测并修正在线135上输入的原始图像数据中的缺陷。缺陷像素检测器150用于实施检测来自传感器120的图像数据的数字表示中的缺陷像素的过程。来自缺陷像素检测器150的结果在线155上输出到图像信号处理器145、GPU 140和数字成像装置100的其它部分。在本发明一个实施例中，缺陷像素检测器150、图像信号处理器145和GPU 140的功能中的一些或全部可实施为在数字成像装置100或类似装置内执行的计算机可读代码。在本发明一个实施例中，缺陷像素检测器150、图像信号处理器145和GPU 140的功能中的一些或全部可实施在图像信号处理器芯片、特定用途集成电路(ASIC)或数字成像装置100内的相似装置中。

来自缺陷像素检测器150、图像信号处理器145和GPU 140的输出运载在信号线155上。在一个实施例中，信号线155可为计算机总线，但也允许对于缺陷像素检测器150、图像信号处理器145和GPU 140的用户和系统输入。任选的大容量存储器160也耦合到信号线155。大容量存储器160可包括随机存取存储器、快闪存储器型卡、紧密快闪卡、安全数字(SD)卡、多媒体存储器卡(MMC)、磁盘、硬盘驱动器或类似物。在一个实施例中，大容量存储器160为抽取式的。任选的用户输入170也耦合到信号线155。用户输入170可包括开关、按钮、操纵杆、键盘、电子菜单、触控板或用于将用户输入提供到数字装置的其它类似构件。在一个实施例中，用户输入170可允许用户选择缺陷像素检测器150、图像信号处理器145和GPU 140中的选项。

任选的显示器180也耦合到信号线155。在一个实施例中，任选的显示器155允许显示图像和用户可选选项。显示器155可为液晶显示器、等离子显示器、阴极射线管或用于显示图像的类似物品。任选的输入/输出装置190也耦合到信号线155。输入/输出装置190可为标准端口，例如通用串行总线(USB)端口，或网络适配器端口。数字成像装置100可包含在任选的外壳102内。在一个实施例中，外壳102可成型为相机主体的形状。在此实施例中，数字成像装置100可作为数码相机、数码摄影机、网络摄像机或类似物而操作。在一个实施例中，数字成像装置100为图像扫描器的形式。在一个实施例中，数字成像装置100还包括电源供应(未图示)，例如电池或交流电适配器。

图2中，展示示范性计算机系统212的方框图。在一个实施例中，可用例如计算机系统212的计算机系统来执行本发明的纯软件实施方案。计算机系统212可接收现场或数字记录的图像数据以供根据本发明方法检测并修正缺陷像素。可通过数据连接或通过抽取式存储器，(例如)从例如数码相机、网络摄像机或扫描器的附接的成像装置接收图像信息。例如键盘和指针控制装置的用户输入允许对根据本发明的检测并修正缺陷像素的方法进行用户可选输入的用户操纵。应了解，本文描述的计算机系统212说明可用以实施本发明实施例的操作平台的示范性配置。然而，在本发明范围内，也可使用具有不同配置的其它计算机系统代替计算机系统212。也就是说，计算机系统212可包含与结合图2描述的那些元件不同的元件

计算机系统212包含用于传递信息的地址/数据总线200、与总线200耦合用于处理信息和指令的中央处理器201、与总线200耦合用于为中央处理器201存储信息和指令的易失性存储器单元202(例如，随机存取存储器[RAM]、静态RAM、动态RAM等)，和与总线200耦合用于为处理器201存储静态信息和指令的非易失性存储器单元203(例如，只读存储器[ROM]、可编程ROM、快闪存储器等)。计算机系统212还可含有任选的显示装置205(例如，监控器、投影仪或液晶显示器)，其耦合到总线200用于为计算机用户显示信息。此外，计算机系统212还可包含用于存储信息和指令的数据存储装置204(例如，磁盘驱动器)。

计算机系统212中还包含任选的字母数字式输入装置206。装置206可将信息和命令选择传递到中央处理器201。计算机系统212还包含任选的指针控制或引导装置207，其耦合到总线200用于将用户输入信息和命令选择传递到中央处理器201。计算机系统212还包含信号通信界面(输入/输出装置)208，其也耦合到总线200且可为串行端口。通信界面208也可包含无线通信机构。使用通信界面208，计算机系统212可通过例如因特网或内联网(例如，局域网)的通信网络而通信地耦合到其它计算机系统。

计算机系统212中还包含耦合到总线200的任选的抽取式存储装置210，例如快闪存储器型卡、紧密快闪卡、安全数字(SD)卡、多媒体存储器卡(MMC)、磁盘、抽取式硬盘驱动器或类似物。计算机系统212还包含耦合到总线200的任选的光学输入装置211，例如数字成像装置、数码相机、网络摄像机、摄影机、图像扫描器、电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)成像装置或类似物。

图3展示根据本发明一个实施例示范性图像信号处理器145的方框图。图像信号处理器145用于通过将处于估计中的像素与周围像素进行比较，参考关于用于产生像素的透镜传感器排列的分辨能力的已知能力，在运行中检测并修正缺陷像素。方框301提供关于用于俘获供在图像信号处理器145中处理的图像数据的透镜传感器系统的能力的信息。此信息含有针对透镜传感器系统的调制转移函数或经修改的调制转移函数(下文更详细描述)形式的参数。这些参数可在图像感应装置内被计算出，但优选地在制造或工厂型环境中预先计算出并存储以供由图像信号处理器145使用。方框301可包括用于存储描述使用中的透镜传感器的分辨能力的参数的存储器，或用于计算描述使用中的透镜传感器的分辨能力的参数的处理器，且可外部耦合到图像信号处理器145(未图示)，或者位于图像信号处理器145内。

如先前结合图1所描述，图像信号处理器145的部分或全部可实施在软件或硬件中。图像信号处理器145包括任选的图像数据接收器305，其用于以扫描线样式(一次像素阵列的一行)接收数字图像。图像数据接收器305耦合到图像传感器数据线135以便接收图像数据，并任选地耦合到图像数据缓冲器330以便临时存储数行所接收的图像数据。图像数据接收器305也耦合到缺陷像素检测器150，并视需要将数行图像数据提供到缺陷像素检测器150。缺陷像素检测器150用于检测图像数据流中的缺陷像素。缺陷像素检测器150可耦合到任选的图像数据接收器305，或当图像数据接收器305不被利用时耦合到图像传感器数据线135。缺陷像素检测器150也耦合到任选的像素替代器325，或当像素替代器325不被利用时耦合到信号线155。任选的像素替代器325用于用替代像素替代由缺陷像素检测器150检测到的任何缺陷像素。像素替代器325耦合到信号线155以便以扫描线样式输出其中缺陷像素已被检测到并替代的图像的数字表示。

缺陷像素检测器150包括周围像素插值器310、像素位置检测器315和像素估计器320。周围像素插值器310用于确定围绕处于估计中的像素的相似颜色像素的对比度的平均值。周围像素插值器可耦合到任选的图像数据接收器305，或当图像数据接收器305不被使用时耦合到图像传感器线135。如果不使用图像数据接收器，那么周围像素插值器执行图像数据接收器305的功能。周围像素插值器310也可任选地与像素替代器325耦合以便提供关于围绕处于估计中的像素之像素的平均值的信息。周围像素插值器310还与像素位置确定器315和像素估计器320耦合。像素位置确定器315用于确定处于估计中的像素是处于数字图像表示的边缘区还是平坦区(不是边缘)。像素位置确定器315耦合到像素估计器320。像素估计器320用来通过与经修改的调制转移函数进行比较来估计处于估计中的像素是否有缺陷。像素估计器320可耦合到任选的像素替代器325以便替代检测到的缺陷像素，或如果不使用像素替代器325，那么耦合到信号线155以便输出关于缺陷像素的信息。

可在周围像素插值器310、像素位置确定器315和像素估计器320中利用调制转移函数参数。这些调制转移函数参数可在系统(图像信号处理器145是所述系统的一部分)内产生，或可被预先计算出、存储以供使用，并通过参数的链接而提供。举例来说，展示周围像素插值器310、像素位置确定器315和像素估计器320耦合到方框301以获得关于用于产生正处理的像素的透镜传感器的分辨能力的参数。图像数据接收器305耦合到图像传感器数据线135以便接收图像数据，并任选地耦合到图像数据缓冲器330以便临时存储数行所接收的图像数据。图像数据作为扫描线或像素阵列中的行的形式的数字图像表示被接收。在一个实施例中，像素阵列可为Bayer图案的形式。在本发明其它实施例中，图像数据作为CYMG阵列、RGBE阵列、3CCD阵列、蜂窝形阵列或某一其它阵列形式的数字图像被接收。在利用Bayer图案像素阵列的实施例中，如果使用图像数据缓冲器305，那么其尺寸足以缓冲来自可在信号线135上从传感器120(图1)或ADC130(图2)发送的最大Bayer像素阵列的最少四行数据。如果使用其它像素阵列图案，那么最小尺寸将取决于开始处理所需的数据线的数目。如果不使用输入数据缓冲器，那么图像数据接收器305除了其其它功能外还执行图像数据缓冲器330的功能。

图4展示可用以实施本发明实施例的示范性Bayer像素阵列400的描绘。展示Bayer像素阵列400具有十二行和十二列，但可更小或大得多。四个不同颜色(颜色通道)的像素由不同字母表示，例如“R”、“B”、“Gr”和“Gb”。如本发明的描述内容中所使用，术语像素表示单个颜色通道的单个颜色单位，例如阵列400中圈划的像素405。像素在Bayer像素阵列400中以特定次序排列，使得四个颜色中只有两个出现在任何行或列中，且像素的那两个颜色反复地交替使得相同颜色(例如“R”)的两个像素仅由另一颜色的一个像素在任何水平、垂直或对角线方向上分离。区域401、402、403和404表示由最少四个像素在每个水平、垂直和对角线方向上彼此分离的四个不同颜色的像素的二乘二像素群集。

再次参看图3，周围像素插值器310用于确定像素阵列中围绕处于估计中的像素的相似颜色像素的对比度的平均值。在本发明一个实施例中，周围像素插值器310用于估计像素的Bayer图案阵列。在其它实施例中，周围像素插值器310用于估计其它格式的像素阵列，例如CYMG阵列、RGBE阵列、3CCD阵列、蜂窝形阵列或某一其它阵列形式。

图5展示根据本发明一个实施例围绕处于估计中的像素“X”的相似颜色像素(P1-P8)的阵列500的描绘。阵列500是例如Bayer像素阵列400的Bayer像素阵列的五行(行1-行5)乘五列(列1-列5)子集。像素“X”和P1到P8为相似颜色，如从它们在像素阵列500中的布置可看出。P1到P8是在阵列500中水平、垂直和对角线方向上围绕像素“X”的相似颜色的最近像素。例如阵列500的阵列通常以扫描线样式(一次一行)而从图像传感器(例如传感器120)或模拟到数字转换器(例如ADC 135)接收。举例来说，首先将接收行1中所有像素，接着行2中的像素，接着行3中的像素，接着行4中的像素，且最后是行5中的像素。每一像素被以数字方式接收且具有与其样本周期关联的某一周期。此周期由阵列500下方的“T”和“2T”分界展示。如所表示的，像素“X”处于平坦图像区中，或更好地表述，不在图像的边缘区上。如果像素“X”处于图像数据表示的边缘区上，那么阵列500中可丢失至多达两行和/或列。举例来说，在最坏情况的边缘区情境中，阵列中丢失了行1、行2、列1和列2，现在像素“X”处于阵列的左上角，且仅在八侧中的三侧被相似颜色的像素围绕，即P5、P7和P8。可能有许多其它边缘区排列，其中像素“X”处于阵列的角落中，或者边缘越过五乘五像素阵列，正常地围绕像素“X”。

再次参看图3的周围像素插值器310并且参看图4，计算在每一水平、垂直和对角线方向上围绕处于估计中的像素“X”的相似颜色像素的平均图像对比度值。在本发明一个实施例中，可用例如表1所示的等式之等式计算围绕阵列500中“X”的相似颜色像素P1到P8的此平均值。

$\mathrm{Avg}=\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\mathrm{Pi}\right)/8$

表1：求像素对比度的平均值的示范性等式

计算出周围像素的平均(Avg)值之后，周围像素插值器310也计算从“X”开始的八个可能方向中最小导数以查明像素“X”的对比度在多大程度上不同于其周围相似颜色像素的对比度。在本发明一个实施例中，可用例如表2所示的等式之等式计算像素“X”与P1到P8之间的最小导数。

$D_{\min }=\underset{i=1-8}{\min }|\mathrm{Pi}-X|$

表2：求最小导数的示范性等式

周围像素插值器310将关于“Avg”和“D_min”的信息传递到像素位置确定器315和像素估计器320。在一个实施例中，关于“Avg”的信息也耦合到任选的像素替代器325。

像素位置确定器315用于确定处于估计中的像素是处于数字图像表示的边缘区还是平坦区(不是边缘)。为此，对处于估计中的像素“X”(图5)和周围相似颜色像素P1到P8(也展示在图5中)应用某种边缘检测。进行边缘检测是为了减少由像素估计器320检测到的缺陷像素中错误肯定(false positive)的数目。通过知道像素“X”是处于边缘区中还是其边缘区侵入围绕所述像素的五乘五像素阵列，像素估计器320可在执行计算以确定处于估计中的像素是否有缺陷时考虑到所述像素的位置。表3和4展示可经组合使用以确定处于估计中的像素是处于图像数据的平坦区中还是图像数据的边缘区中的一组两个示范性等式。在本发明其它实施例中，除了表3和4中所示的那些边缘检测方法以外还可使用其它边缘检测方法：

$C_{\max }=\underset{i=1-8}{\max }|\mathrm{Pi}-\mathrm{Avg}|$

表3：求最大对比度导数的示范性等式

表3的等式用于确定远离依据表1中的公式计算出的像素P1到P8的“Avg”对比度的“C_max”或最大对比度导数。“C_max”的值由像素位置确定器315向前运载并用于例如表4所示的示范性等式的边缘检测等式中。

在表4所示的等式中，“C_max”的值取自表3的等式，Avg的值取自表1的等式，且“L_flat％”的值取自为用于俘获像素“X”(处于估计中的像素)的透镜/传感器排列而计算的经调整的调制转移函数。如果发现表4等式的结果为真实的，那么将围绕像素“X”的五乘五像素区域视为处于平坦图像区中。如果等式的结果错误，那么假定围绕像素“X”的五乘五像素区内某处存在图像边缘。关于处于估计中的像素是处于图像表示的平坦区还是边缘区的信息继续传递给像素估计器320。

$\frac{C_{\max }}{\mathrm{Avg}}\≤L_{\mathrm{flat}}\%$

表4：边缘检测的示范性等式

图6展示根据本发明一个实施例调制转移函数的示范性曲线图600。调制转移函数用于描述与实际图像的细节和清晰度的量相比，特定透镜相机或透镜传感器排列可提供多少图像细节和多大程度的清晰度。调制转移函数在成像领域中是众所周知的，且通常在实验室或工厂型环境中计算使得可知道对于透镜传感器排列的频率响应能力。曲线图600的X轴表示以例如每毫米线对为单位的标准化空间频率。曲线图600的Y轴表示可实现的对比度的以百分比计的对比度响应(范围从0％到100％)。

图6中，曲线“L”表示透镜传感器排列的响应，且为调制转移函数的实际曲线图。“L”右侧的阴影区域表示在透镜传感器排列的能力以外的对比度。“L”左侧的非阴影区域表示以透镜传感器排列可实现的对比度。曲线“L+d”表示经调整的调制转移函数，其中添加了预设容差因子“d”以针对噪音进行调整。不同的此类容差因子可在制造时、测试时或组装时被添加以改变实际调制转移函数供在某些非理想现实状况中使用。举例来说，可将几个百分比的小容差“d”添加到L以实现值“L_flat”以供在确定图像的平坦区中像素的最大对比度时使用。可将较大容差“d”(例如，10％)添加到L以实现值“L_edge”以供在确定图像的边缘区中像素的最大对比度时使用。最后，可从“L”中减去非常大的容差“d”(例如，80％)以实现值“L_dark”以供在确定在低照度条件下获取的图像中像素的最大对比度时使用，因此给出值“L_dark”，其仅表示透镜传感器排列的动态范围的20％。

“L_flat”、“L_edge”和“L_dark”的值在工厂、实验室、组装阶段或类似环境中分配给透镜传感器排列，且由图像信号处理器145和缺陷像素检测器150利用(图1和图3中均展示)。在本发明一些实施例中，用于产生“L_flat”、“L_edge”和“L_dark”的“d”的恒定值可由用户通过例如用户输入170(图1)的用户输入进行更改。

再次参看图3，像素估计器320用于通过与例如“L_flat”或“L_edge”的经修改的调制转移函数进行比较来估计处于估计中的像素是否有缺陷。表5展示用于估计处于平坦图像区中的像素以确定是否要将其分类为缺陷的示范性等式。“Avg”的值取自表1所示的等式，“D_min”的值取自表2所示的等式。“Avg”和“D_min”的值两者从周围像素插值器310被传递。处于估计中的像素“X”的频率(1/T)的经调整的调制转移函数值如依据经调整的调制转移函数的曲线图或等式(例如曲线图600)确定为“L_flat％”。如果通过表5的等式完成的比较的结果为真实的，那么将处于估计中的像素“X”视为缺陷像素。像素估计器325将关于确定为有缺陷的像素的信息传递到任选的像素替代器325，或如果不利用像素替代器325，那么通过信号线155继续向前传递以供其它用途。

$\frac{D_{\min }}{\mathrm{Avg}}>L_{\mathrm{flat}}\%$

表5：用于确定处于平坦区中的像素是否有缺陷的示范性等式

同样，表6展示用于估计处于边缘图像区中的像素以确定是否要将其分类为缺陷的示范性等式。“Avg”的值取自表1所示的等式，“D_min”的值取自表2所示的等式。“Avg”和“D_min”的值两者从周围像素插值器310被传递。处于估计中的像素“X”的频率(1/T)的经调整的调制转移函数值如依据经调整的调制转移函数的曲线图或等式(例如曲线图600)确定为“L_edge％”。如果通过表6的等式完成的比较的结果为真实的，那么将处于估计中的像素“X”视为缺陷像素。像素估计器325将关于确定为有缺陷的像素的信息传递到任选的像素替代器325，或如果不利用像素替代器325，那么通过信号线155继续向前传递以供其它用途。

$\frac{D_{\min }}{\mathrm{Avg}}>L_{\mathrm{edge}}\%$

表6：用于确定处于边缘区中的像素是否有缺陷的示范性等式

缺陷像素检测器150在接收到时连续地在运行中估计图像流中的每一像素。基于像素的调制与其周围像素相比高于用于产生其的透镜传感器系统的分辨能力而进行确定，确定所述像素是否有缺陷。所涉及的计算的简洁性减小识别不良像素所需的处理能力，并增大检测的速度。因为需要关于周围像素的信息，所以针对阵列的最少数目的数据行需要某一较小缓冲能力。举例来说，在估计像素的Bayer图案阵列的本发明实施例中，需要对于在当前正接收的行以外的Bayer像素阵列的四行的缓冲能力来确保存在足够信息用于估计所接收的像素。如果此缓冲能力并非通过图像数据接收器305或图像数据缓冲器305提供，那么其由缺陷像素检测器150提供或从缺陷像素检测器150内被存取。由缺陷像素检测器150使用的程序检测“隔离的”缺陷像素。围绕被估计像素的八个相同颜色像素(例如，图5的P1到P8)应当没有缺陷，此意味着相同颜色通道上两个缺陷像素之间的最小距离为分开四个像素。另一方面，不同颜色通道的缺陷像素可彼此邻近，因为所提议的程序中没有使用串色信息。也就是说，本发明可检测并修正二乘二不良像素群集。图4说明二乘二不良像素群集(401、402、403和404)及其彼此间最小距离的四个实例。

任选的像素替代器325用于用替代像素替代由缺陷像素检测器150检测到的任何缺陷像素。像素替代器325耦合到信号线155以便以扫描线样式输出其中缺陷像素已被检测到并替代的图像的数字表示。可利用产生替代像素的许多方法。为了节省存储器和处理能力，本发明以围绕被估计像素的相同颜色像素(例如，图5的P1到P8)的平均值替代已被估计为有缺陷的像素。此“Avg”可使用例如表1所示的等式之等式重新计算，或简单地通过与周围像素插值器310的某一耦合而供应。一旦已替代图像流中的缺陷像素，图像流以扫描线样式通过信号线155从像素替代器325输出。

在本发明一个实施例中，可进行修改以便在图像的低照度水平区中增大噪音容差。通过这样做，在一些低照度情境中缺陷像素检测器150的部分不再利用调制转移函数。表7展示可用于替代表1的等式之等式。此等式与表1的等式相比增加了额外步骤，且因此P1到P8的平均值或处于估计中的像素“X”的“L_dark”值中较大的返回为“Avg”。如果“L_dark”的缺省值曾经返回为“Avg”，那么缺陷像素估计器150回复到先前已知方法来确定缺陷像素，例如利用低通过滤器而不是使用像素位置确定器315和像素估计器320。标识为有缺陷的像素通过信号线155继续传递或传递到任选的像素替代器325，像素替代器325以与先前描述相同的样式操作。

$\mathrm{Avg}=\max [\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\mathrm{Pi}\right)/8,L_{\mathrm{dark}}]$

表7：针对黑暗图像区中噪音容差而优化的，求像素对比度的平均值的示范性等式

图7展示根据本发明一个实施例用于检测并修正缺陷像素的计算机控制方法的流程图700。尽管流程图700中揭示特定步骤，但这些步骤是示范性的。也就是说，本发明实施例较佳地适于执行各种其它(附加)步骤或流程图700中所述步骤的变化形式。应了解，流程图700中的步骤可以不同于所提供的次序执行，且可不执行流程图700中所有步骤。在一个实施例中，流程图700实施为存储在例如计算机系统212(图2)的计算装置或数字成像装置100(图1)的存储器单元中的计算机可读程序代码，并由处理器201(图1)、图像信号处理器145(图2)或类似装置执行。

图7中，在本发明一个实施例中，流程图700的705展示获得或计算描述使用中的透镜传感器系统的分辨能力的参数。结合图3的方框301提供并描述此功能。其包含获得或计算例如正用于产生正被估计的像素的透镜传感器排列的调制转移函数的参数。其也包含获得或计算例如为平坦图像区、边缘图像区或黑暗图像区定制的经修改的调制转移函数的参数。如果预先计算了此信息，那么可视需要通过存储器将其提供给图像信号处理器级，否则可使用已知及已描述的方法来计算此信息。

在本发明一个实施例中，流程图700的710展示接收Bayer图案阵列中行的形式的数字图像表示。在本发明其它实施例中，数字图像表示作为CYMG阵列、RGBE阵列、3CCD、蜂窝形阵列或某一其它阵列形式之形式的像素阵列而被接收。结合图像数据接收器305(图3)、图像数据缓冲器330(图3)、缺陷像素检测器150(图1和3)和周围像素插值器310(图3)来描述此对于数字图像表示的接收。

在本发明一个实施例中，流程图700的720展示计算数字图像表示的一部分中围绕处于估计中的像素的相同颜色像素的平均值。此对于平均值的计算对应于结合图5而给出的描述、周围像素插值器310(图3)和结合表1和表7展示并描述的等式。在一些实施例中，利用为图像的黑暗区定制的调制转移函数来完成此对于平均值的计算。

在本发明一个实施例中，流程图700的730展示确定处于估计中的像素是处于平坦图像区还是边缘图像区。此平坦/边缘确定对应于表3和4中展示的等式的描述，且还对应于结合图5而给出的描述和像素位置确定器315(图3)。

在本发明一个实施例中，流程图700的740展示基于像素的调制与其周围像素相比高于用于产生所述像素的透镜传感器系统的分辨能力来确定处于估计中的像素是否有缺陷。此缺陷像素确定对应于结合像素估计器320(图3)而给出的描述和结合表1、2、5和6展示并描述的等式。另外，在一些实施例中，处于估计中的像素处于适当黑暗图像区，且表7的等式用于计算围绕处于估计中的像素之像素的“Avg”值，也可使用例如低通过滤器的方法来估计缺陷像素。在一个实施例中，在确定中利用关于围绕处于估计中的像素的相同颜色像素的平均值的信息，和关于处于估计中的像素与其周围相似颜色像素之间的最小导数的信息。在一个实施例中，也使用关于像素是处于图像的边缘区还是平坦区的信息，使得在确定中可适当地利用为边缘图像区或平坦图像区定制的调制转移函数。

在本发明一个实施例中，流程图700的750展示用替代像素替代缺陷像素。替代像素的产生和已被估计为有缺陷的像素的替代均结合像素替代器325(图3)且进一步结合表1和7的等式的描述而描述。在一个实施例中，用具有通过表1的等式计算出的平均值的像素替代缺陷像素。在一个实施例中，也可用具有通过表7的等式计算出的平均值的像素替代缺陷像素。

因此描述了本发明各种实施例，用于缺陷像素检测的方法和装置。尽管已经以特定实施例描述本发明，但应了解，本发明不应解释为限于这些实施例，而是应根据所附权利要求书进行解释。

Claims (20)

1. 一种图像信号处理方法，其包括：

在一数字图像表示中基于一处于估计中的像素与其周围像素的一比较，参考一俘获所述数字图像表示的透镜传感器排列的一已知分辨能力，在运行中确定缺陷像素；和

响应于所述确定来修正所述缺陷像素。

2. 根据权利要求1所述的图像信号处理方法，其进一步包括接收一Bayer图案阵列形式的所述数字图像表示。

3. 根据权利要求1所述的图像信号处理方法，其进一步包括获得描述所述透镜传感器排列的所述分辨能力的参数。

4. 根据权利要求1所述的图像信号处理方法，其进一步包括：

计算所述数字图像表示的一部分中围绕所述处于估计中的像素的相同颜色像素的一平均值；和

确定所述处于估计中的像素是处于一平坦图像区还是一边缘图像区。

5. 根据权利要求4所述的图像信号处理方法，其中利用一为图像的黑暗区定制的调制转移函数来计算所述平均值。

6. 根据权利要求1所述的图像信号处理方法，其中所述修正所述缺陷像素包括用一替代像素替代每一所述缺陷像素，所述替代像素包括所述数字图像表示的一部分中围绕所述缺陷像素的相同颜色像素的一平均值。

7. 根据权利要求1所述的图像信号处理方法，其中所述比较包括与所述透镜传感器排列所特有的一经修改的调制转移函数进行一比较。

8. 根据权利要求7所述的图像信号处理方法，其中所述比较包括当所述处于估计中的像素处于所述平坦区时将所述处于估计中的像素与一为图像的平坦区中的像素定制的调制转移函数进行比较。

9. 根据权利要求7所述的图像信号处理方法，其中所述比较包括当所述处于估计中的像素处于所述边缘区时将所述处于估计中的像素与一为图像的边缘区中的像素定制的调制转移函数进行比较。

10. 一种图像信号处理器装置，其包括：

一周围像素插值器，其用于计算一数字图像表示的一部分中围绕一处于估计中的像素的相同颜色像素的一平均值；

一像素估计器，其耦合到所述周围像素插值器，所述像素估计器基于所述处于估计中的像素与其周围像素的一比较，参考一俘获所述数字图像表示的透镜传感器排列的一已知分辨能力来确定所述处于估计中的像素是否有缺陷；和

一像素替代器，其耦合到所述像素估计器，所述像素替代器经配置用于用一包括由所述周围像素插值器计算出的所述平均值的替代像素替代每一缺陷像素。

11. 根据权利要求10所述的图像信号处理器装置，其进一步包括一耦合到所述像素估计器的像素位置确定器，所述像素位置确定器用于确定所述处于估计中的像素是处于一平坦图像区还是一边缘图像区。

12. 根据权利要求10所述的图像信号处理器装置，其进一步包括一耦合到所述周围像素插值器的图像数据接收器，其中所述图像数据接收器经配置用于接收一Bayer图案阵列形式的所述数字图像表示。

13. 根据权利要求10所述的图像信号处理器装置，其进一步包括一存储器元件，所述存储器元件包括表示所述透镜传感器排列的分辨能力的参数。

14. 根据权利要求10所述的图像信号处理器装置，其中所述周围像素插值器经配置用于利用一为图像的黑暗区定制的调制转移函数来计算所述平均值。

15. 根据权利要求10所述的图像信号处理器装置，其中所述像素估计器经配置用于基于与所述透镜传感器排列所特有的一经修改的调制转移函数的一比较来确定所述处于估计中的像素是否有缺陷。

16. 根据权利要求15所述的图像信号处理器装置，其中所述像素估计器经配置以便当所述处于估计中的像素处于所述平坦图像区中时利用一为图像的所述平坦区中的像素定制的调制转移函数。

17. 根据权利要求15所述的图像信号处理器装置，其中所述像素估计器经配置以便当所述处于估计中的像素处于所述边缘图像区中时利用一为图像的所述边缘区中的像素定制的调制转移函数。

18. 一种数字成像装置，其包括：

一光学透镜；

一图像传感器，其耦合到所述透镜，所述图像传感器用于俘获一数字图像表示；和

一图像信号处理器，其耦合到所述图像传感器，所述图像信号处理器包括：

一周围像素插值器，其用于计算所述数字图像表示的一部分中围绕一处于估计中的像素的相同颜色像素的一平均值；

一像素估计器，其耦合到所述周围像素插值器，所述像素估计器基于所述处于估计中的像素与其周围像素的一比较，参考一俘获所述数字图像表示的透镜传感器排列的一已知分辨能力来确定所述处于估计中的像素是否有缺陷；和

一像素替代器，其耦合到所述像素估计器，其中所述像素替代器经配置用于用一包括由所述周围像素插值器计算出的所述平均值的替代像素替代每一缺陷像素。

19. 根据权利要求18所述的图像信号处理器装置，其进一步包括一耦合到所述像素估计器的像素位置确定器，所述像素位置确定器用于确定所述处于估计中的像素是处于一平坦图像区还是一边缘图像区。

20. 根据权利要求18所述的图像信号处理器装置，其进一步包括一耦合到所述周围像素插值器的图像数据接收器，其中所述图像数据接收器经配置用于接收一Bayer图案阵列形式的所述数字图像表示。

Images