CN101573695A - 用于图像预处理的方法和系统 - Google Patents

Abstract

一种成像架构包括存储器模块，用以存储用于预处理级的未处理图像。来自预处理块的输出的未处理图像可以在图像存储于存储器模块中之前由压缩器压缩。另外，存储器中的未处理图像受到次数与需要或者希望的一样多的预处理。因此，解压器可以用操作方式连接到存储器模块，以取回存储的图像并且在将图像提供给预处理块之前解压取回的图像。在成像架构中，由存储器模块、解压器、预处理块和压缩器形成的回路允许多次预处理图像。该图像架构可以耦合到成像设备中的主处理器和后处理器，以便进一步处理图像数据以供显示或者发送。

Description

用于图像预处理的方法和系统

技术领域

本发明主要地涉及静止和视频成像，并且更具体地涉及静止和视频成像中的预处理级。

背景技术

用于在照相机或者摄像机中使用的图像处理包括图像重建、编码和实时相机控制。图像重建通常如图1中所示划分成预处理级(stage)、主处理级和后处理级。此外，如图2中所示，可以在预处理块与主处理块之间引入存储器模块。附加预处理也可以由SW进行作为存储器到存储器的操作。

预处理的作用在于将用于主处理级的不同传感器规范化。实时功能用来适应成像场景中的可变条件。实时功能如自动曝光需要来自图像的(统计)信息。其他实时功能包括自动白平衡和自动聚焦。通常利用硬件统计块收集来自图像的统计信息。实时功能通常由软件块实现以便向主处理提供各种参数。实时功能块也可以直接地或者通过主处理向图像传感器提供各种参数或者控制。

预处理包含为了将相机传感器捕获的原始未处理图像改变成可以在主处理中或者在统计收集级中使用的形式而需要的各种处理步骤。预处理级的输出仍然为未处理格式。预处理的例子包括阴影补偿、坏像素校正、暗电流消除、像素线性化、噪声减少和绿色不平衡滤波。在主处理级或者统计收集级之前，在相机传感器中或者在图像处理器中的单独块中实现这些预处理步骤。在未处理图像的处理中，预处理运行仅一次。出于成像控制目的，从未处理图像收集图像统计。在典型成像控制之中，自动曝光控制、自动聚焦控制和自动白平衡控制在算法的分析和合成部分中需要一些统计。其他控制包括自动亮度控制和自动对比度控制。可以用直方图、块平均高通和带通滤波之和的形式收集统计。主处理通常包含滤色器阵列内插(CFAI)和白平衡(WB)。在WB和CFAI之前实现的所有处理步骤通常称为预处理步骤。主处理将未处理图像改变成可以向观察者示出的形式。图像显示和打印是这样的形式中的两种形式。主处理可以包含其他操作，比如色空间转换、非线性化(伽马校正)、图像锐化、几何失真校正、色度抑制、抖动、图像缩放。这些操作中的多数功能也可以称为后处理功能。后处理也可以包括图像裁剪。图像裁剪以及图像缩放也可以实施为预处理功能。有可能利用HW或者SW来运行后处理功能。

随着越来越减少相机中的像素尺寸，可能需要附加预处理步骤。提供不同成像架构以满足图像预处理中的当前需要并且预先考虑将来需要是有利和合乎需要的。

发明内容

本发明提供一种成像架构，其中存储器模块用来存储用于预处理级的未处理图像。具体而言，来自预处理块的输出的未处理图像在图像存储于存储器模块中之前由压缩器压缩。另外，存储器中的未处理图像受到次数与需要或者希望的一样多的预处理。因此，解压器以操作方式连接到存储器模块，以取回存储的图像并且在将图像提供给预处理块之前解压取回的图像。在该成像架构中，根据本发明，由存储器模块、解压器、预处理块和压缩器形成的回路允许多次预处理图像。在这一实施例中，存储器模块具有两个端口，一个端口连接到压缩器以接收压缩图像数据，而另一端口连接到解压器以允许解压器取回存储的图像。解压器位于预处理块之前，而压缩器位于预处理块之后。

在本发明的另一实施例中，存储器模块具有四个端口，两个端口连接到位于预处理块之前的压缩器/解压器模块，而其他两个端口连接到位于预处理块之后的另一压缩器/解压器模块。根据本发明的一个实施例，预处理级可以由硬件块实现。通过多次实现硬件预处理，有可能实现软件解决方案的益处而又将功率消耗和性能保持于较高水平。

因此，本发明的第一方面是一种用于预处理图像数据的方法。该方法包括：

在存储器模块中存储图像；

将预处理模块耦合到存储器模块以形成处理回路，其中预处理模块以操作方式连接到多个预处理参数集；

经由回路将图像从存储器模块传送到预处理模块以便允许预处理模块多次预处理图像，其中用于多次预处理中的至少一些预处理的参数集不同于用于多次预处理中的其他预处理的参数集，其中存储于存储器模块中的图像包括未处理图像。

该方法还包括：

在将图像存储于存储器模块中之前压缩图像以便提供压缩图像；以及

从存储器模块取回压缩图像；以及

在将图像传送到预处理模块之前解压取回的图像。

本发明的第二方面是一种图像预处理模块。该预处理模块包括：

存储器模块，用于存储至少一个图像；以及

预处理器，耦合到存储器模块以形成回路，其中预处理模块以操作方式连接到多个预处理参数集，并且其中回路被配置用于经由回路将图像从存储器模块传送到预处理模块以便允许预处理模块多次预处理图像，其中用于多次预处理中的至少一些预处理的参数集不同于用于多次预处理中的其他预处理的参数集。

预处理模块还包括：

压缩器，以操作方式连接到存储器模块，用于在图像存储于存储器模块中之前压缩图像；以及

解压器，以操作方式连接到预处理器，用于在将图像传送到预处理模块之前解压图像。

本发明的第三方面是一种在对提供的图像进行预处理中使用的图像处理架构。该架构包括：

压缩器模块，适合于压缩提供的图像以便提供压缩图像；

存储器模块，用于存储压缩图像；

解压器模块，适合于从存储器模块取回存储的图像以便提供解压图像；以及

预处理器，耦合到解压器模块，用于接收解压图像，其中压缩器模块、存储器模块、解压器模块和预处理模块被布置为形成回路，并且预处理模块以操作方式连接到多个预处理参数集，以便允许预处理模块多次预处理存储的图像，其中用于多次预处理中的至少一些预处理的参数集不同于用于多次预处理中的其他预处理的参数集，并且其中解压器模块被配置用于接收提供的图像，其中解压器模块可在旁路模式中操作用于将提供的图像如所接收的一样传送到预处理模块，而预处理模块可在旁路模式中操作用于向压缩器模块发送如从解压器模块所传送的一样的提供的图像，以便允许压缩器模块压缩如所接收的一样的提供的图像。

该架构还包括：

进一步处理模块，以操作方式耦合到预处理模块，用于在压缩、存储、解压和多次在预处理模块中处理提供的图像之后进一步处理提供的图像，其中进一步处理包括滤色器阵列内插和白平衡处理。

本发明的第四方面是一种成像设备，该成像设备包括：

用于采集图像的机构；以及

如上所述的预处理模块。

该成像设备还包括：

进一步处理模块，以操作方式耦合到预处理模块，用于在压缩、存储、解压和多次在预处理模块中处理提供的图像之后进一步处理提供的图像。

在本发明的一个实施例中，该机构包括用于采集图像的图像传感器和用于在图像传感器上形成图像的成像光学器件。

在本发明的另一实施例中，该机构包括用于接收图像的图像数据的接收器。

根据本发明，成像设备可以包括后处理模块，用于后处理图像数据，从而图像例如可以显示于显示器上或者外传以供打印。因此，该成像设备可以包括用于发送处理的图像数据的发送器。

该成像设备可以是数字相机、移动电话、个人数字助理、通信器设备等。

附图说明

图1示出了现有技术的成像架构。

图2示出了现有技术的具有单独存储器模块的成像架构。

图3示出了根据本发明一个实施例的成像架构。

图4示出了根据本发明一个不同实施例的另一成像架构。

图5是图示了根据本发明一个实施例的图像处理方法的流程图。

图6是图示了根据本发明的具有成像架构的图像采集设备的框图。

具体实施方式

本发明提供一种方法和一种图像架构，其中相同预处理块可以在预处理的图像提供给主处理块之前使用图像数据循环来多次预处理未处理图像。预处理块有利地是硬件模块，其中可以选择用于预处理的参数集，从而利用不同参数集来实现每次通过预处理块的运行。例如，一个参数集用于阴影补偿，而另一参数集用于坏像素校正。其他参数集可以包括用于暗电流消除、像素线性化、噪声减少和绿色不平衡滤波的参数。更多参数集可以包括依赖于物理温度、色温和透镜位置的参数。

在图3中示出了根据本发明一个实施例的成像架构。如图所示，该架构包括位于第一压缩器/解压器模块20与第二压缩器/解压器模块40之间的硬件预处理块30。第一压缩器/解压器模块20从图像传感器10接收未处理图像。具有两个端口连接到第一压缩器/解压器模块20而其他两个端口连接到第二压缩器/解压器模块40的存储器模块50用来存储优选为压缩形式的未处理图像。存储器模块50、第一压缩器/解压器模块20、预处理模块30和第二压缩器/解压器模块40形成图像处理回路52，以便允许通过预处理块多次预处理未处理图像。可以利用不同的预处理参数集来完成每次预处理运行。然而，如果必要或者需要，则可以利用相同参数集来完成两次或者更多次预处理运行。在多次运行的预处理之后，将经过预处理的未处理图像传送到主处理模块70以供进一步处理。主处理模块中的处理通常包括滤色器阵列内插(CFAI)和白平衡(WB)。出于成像控制目的，使用图像统计块60从未处理图像收集图像统计。图像控制可以包括自动曝光控制、自动聚焦控制、自动白平衡控制等。在主处理级之后，将处理的图像数据传送到后处理块74，从而可以显示或者打印处理的图像。在如图3中所示成像架构中，可以在预处理之前将未处理图像放入存储器中。应当注意，压缩器/解压器块20和40可以具有旁路模式，从而图像数据可以用非压缩形式存储于存储器模块50中。另外，可以针对图像的更小区域利用或者不利用预处理步骤来单独地施加压缩/解压。

附加预处理步骤也可以由SW块38进行作为存储器到存储器的操作。

根据本发明的另一实施例，成像架构中的存储器模块50具有仅两个端口。如图4中所示，一个端口连接到解压器模块22，而另一端口连接到压缩器模块42。解压器模块22位于预处理模块32之前，而压缩器模块42位于预处理模块32之后。解压器模块22、预处理模块32和压缩器模块42中的各模块包括旁路模式。这样，当首先从图像传感器10接收未处理图像时，将解压器模块22和预处理模块32设置成旁路模式。为了降低存储器模块50上的存储器总线的负荷，未处理图像在它被存储于存储器模块50中之前由压缩器模块42压缩。可以从存储器模块50多次读取并且由解压器模块22解压压缩图像。预处理模块32然后利用所选参数集来处理解压图像。如果希望或者需要进一步预处理，则压缩器模块42再次压缩处理的图像，并且压缩图像存储于存储器模块50中。当完成预处理时，预处理模块32在最后运行中预处理的解压图像直接地传送到主处理模块70，而将压缩器模块42设置成旁路模式。

利用如图3中所示成像架构，来自图像传感器10的所接收图像可以在第一次运行中在压缩器/解压器模块20中被压缩并且直接地存储于存储器模块50中而不经过预处理模块30和压缩器/解压器模块40。在后续运行中，存储的图像从存储器模块50被取回并且在图像传送到预处理模块30之前由压缩器/解压器模块20解压。在由预处理模块30预处理之后，在存储图像之前压缩它。当完成预处理时，压缩图像可以从存储器模块50被读出并且在它传送到主处理模块70之前由压缩器/解压器40解压。取而代之，压缩器/解压器模块40也具有旁路模式，从而预处理模块30在最后运行中预处理的图像可以直接地传送到主处理模块70。

由图像统计模块60收集的图像统计可以存储于数据库80中。如图3和图4中所示，实时功能块90以操作方式耦合到图像统计模块60和/或储存器80，从而实时功能可以使用来自储存器80或者直接来自图像统计块60的数据。如自动曝光的实时功能需要来自图像的(统计)信息。其他实时功能包括自动白平衡和自动聚焦。通常利用硬件统计块来收集来自图像的统计信息。实时功能通常由软件块实现，以便向主处理提供各种参数。

应当注意，可以将存储于存储器模块中的图像作为整体或者部分地加以预处理。例如，首先预处理和压缩整个图像以便存储于存储器模块中。存储的图像划分成部分并且使这些部分单独地运行经过图像统计块以便允许图像统计块收集子图像统计。存储的图像也可以划分成图像块。出于坏像素校正目的多次预处理全部图像或者仅某些图像块。在每次运行中，将新的查找表加载到预处理块上以提供相关参数集。查找表可以位于预处理模块内。各查找表可以具有100或者1000个位置和校正。如果在图像中有许多缺陷则在不同区域中预处理图像从而在每次运行中校正不同缺陷像素位置可能是有益的。例如可以从其他存储器下载查找值。类似地，当例如使图像经过预处理块以进行阴影补偿时，向预处理块提供相关参数集和算法。

也应当注意，图像压缩/解压改进了存储器利用，但是它并非系统的必须部分。也可以针对图像的更小区域利用或者不用预处理步骤来单独地施加压缩和解压。另外，少量图像数据(片/块)可以按解压形式存储到存储器，从而无需来回解压/压缩图像数据即可完成HW或者SW预处理步骤。

本发明的潜在优点包括：

A)用于未处理图像的存储器更少：

-需要的带宽更少；

-存储器总线上的活动更少；

-需要的存储空间更少，因而可以使用更小存储器芯片；

-可以使用更高分辨率的传感器。

B)无实时要求：

-需要的带宽更少；

-可以使用更高分辨率的传感器和更快的接口；

-可以按带、片或者块处理图像；

-像素时钟和处理器时钟无需同步；

-可以比其他情况更快完成接收图像或者处理图像。

C)多阶段预处理和统计计算：

-统计更准确而不添加更多硬件；

-利用更简易的硬件对图像的不同部分有更好的图像处理。

因此，由于多次运行处理，所以预处理块可以更小并且查找表的大小可以更小。

D)有可能在多次运行中以不同方式处理图像的相同部分：

-片/带/块处理；

-子图像处理利用针对各子图像而定制的优化参数。

E)处理更快并且质量更高而功率消耗更低：

-实现硬件流水线的利用；

-实现对于使用新的预处理、主处理或者后处理算法的可能性；

-可以配置预处理硬件块以适合多次通过方式中的需要。例如，可以实现在混合光条件中用于图像不同部分的不同白平衡增益。

在图像编码中，压缩图像可以由硬件解码并且从存储器模块被逐行处理。这样，总存储器消耗更小。

总而言之，本发明提供一种如图5中所示用于预处理图像数据的方法。该方法包括：在存储器模块中存储未处理图像；将预处理模块耦合到存储器模块以形成处理回路，其中预处理模块以操作方式连接到多个预处理参数集；以及经由回路将图像从存储器模块传送到预处理模块，以便允许预处理模块多次预处理图像，其中用于多次预处理中的至少一些预处理的参数集不同于用于多次预处理中的其他预处理的参数集。该方法还包括：在将图像存储于存储器模块之前压缩图像以便提供压缩图像；从存储器模块取回压缩图像；以及在将图像传送到预处理模块之前解压取回的图像。因而，本发明提供一种图像架构，该图像架构包括：压缩器模块，适合于压缩未处理图像以便提供压缩图像；存储器模块，用于存储压缩图像；解压器模块，适合于从存储器模块取回存储的图像以便提供解压图像；以及预处理模块，耦合到解压器模块，用于接收解压图像，其中压缩器模块、存储器模块、解压器模块和预处理模块被布置为形成回路，而预处理模块以操作方式连接到多个预处理参数集，以便允许预处理模块多次预处理存储的图像，其中用于多次预处理中的至少一些预处理的参数集不同于用于多次预处理中的其他预处理的参数集。该架构还包括：主处理模块，以操作方式耦合到预处理模块，用于在压缩、存储、解压和多次在预处理模块中处理未处理图像之后进一步处理提供的图像。

可以在如图6中所示成像设备中使用图像处理架构和方法。如图6中所示，成像设备100包括用于采集未处理图像数据以供处理的图像采集块5。图像采集块5可以包括用于向预处理回路52提供未处理图像数据的图像形成和捕获光学器件和传感器。图像采集块5可以仅具有用于从远程源或者连接源接收未处理图像数据的接收器。接收的未处理图像数据可以被压缩或者以非压缩形式。成像设备100还包括如上所述主处理块70、实时功能块90和具有存储单元80的图像统计块60。成像设备100也可以包括用以向显示器98提供图像数据的后处理块74。取而代之，处理的图像数据可以经由发送器120传送到另一设备或者网络部件。

因此，虽然已经参照本发明的一个或者多个实施例描述了本发明，但是本领域技术人员将理解可以进行本发明在形式和细节上的前述和各种其他改变、省略和偏差而不脱离本发明的范围。

Claims (24)

1.一种用于预处理图像数据的方法，包括：

在存储器模块中存储图像；

将预处理模块耦合到所述存储器模块以形成处理回路，其中所述预处理模块以操作方式连接到多个预处理参数集；以及

经由所述回路将所述图像从所述存储器模块传送到所述预处理模块以便允许所述预处理模块多次预处理所述图像，其中用于所述多次预处理中的至少一些预处理的参数集不同于用于所述多次预处理中的其他预处理的参数集。

2.根据权利要求1所述的方法，还包括：

在将所述图像存储于所述存储器模块中之前压缩所述图像以便提供压缩图像；

从所述存储器模块取回所述压缩图像；以及

在将所述图像传送到所述预处理模块之前解压取回的图像。

3.根据权利要求1所述的方法，其中存储于所述存储器模块中的所述图像包括未处理图像。

4.根据权利要求1所述的方法，还包括：

经由所述回路从所述预处理在存储器到存储器的操作中单独地进一步处理所述图像。

5.一种图像预处理模块，包括：

存储器模块，用于存储至少一个图像；以及

预处理器，耦合到所述存储器模块以形成回路，其中所述预处理模块以操作方式连接到多个预处理参数集，并且其中所述回路被配置用于经由所述回路将所述图像从所述存储器模块传送到所述预处理模块以便允许所述预处理模块多次预处理所述图像，其中用于所述多次预处理中的至少一些预处理的参数集不同于用于所述多次预处理中的其他预处理的参数集。

6.根据权利要求5所述的模块，还包括：

压缩器，以操作方式连接到所述存储器模块，用于在将所述图像存储于所述存储器模块中之前压缩所述图像；以及

解压器，以操作方式连接到所述预处理器，用于在将所述图像传送到所述预处理模块之前解压所述图像。

7.根据权利要求5所述的模块，还包括：

进一步预处理模块，耦合到所述存储器模块，用于在存储器到存储器的操作中进一步预处理所述图像。

8.一种在对提供的图像进行预处理中使用的图像处理架构，包括：

压缩器模块，适合于压缩所述提供的图像以便提供压缩图像；

存储器模块，用于存储所述压缩图像；

解压器模块，适合于从所述存储器模块取回存储的图像以便提供解压图像；以及

预处理模块，耦合到所述解压器模块，用于接收所述解压图像，其中所述压缩器模块、所述存储器模块、所述解压器模块和预处理模块被布置为形成回路，并且所述预处理模块以操作方式连接到多个预处理参数集，以便允许所述预处理模块多次预处理所述存储的图像，其中用于所述多次预处理中的至少一些预处理的参数集不同于用于所述多次预处理中的其他预处理的参数集。

9.根据权利要求8所述的图像处理架构，还包括：

进一步处理模块，以操作方式耦合到所述预处理模块，用于在压缩、存储、解压和多次在所述预处理模块中处理所述提供的图像之后进一步处理所述提供的图像。

10.根据权利要求9所述的图像处理架构，其中所述进一步处理包括滤色器阵列内插和白平衡处理。

11.根据权利要求8所述的图像处理架构，其中所述解压器模块被配置用于接收所述提供的图像，其中所述解压器模块可在旁路模式中操作用于将所述提供的图像如所接收的一样传送到所述预处理模块，而所述预处理模块可在旁路模式中操作用于向所述压缩器模块发送如从所述解压器模块所传送的一样的所述提供的图像，以便允许所述压缩器模块压缩如所接收的一样的所述提供的图像。

12.一种成像设备，包括：

用于采集图像的机构；

存储器模块，用于存储所述图像；

预处理器，耦合到所述存储器模块以形成回路，其中所述预处理模块以操作方式连接到多个预处理参数集，并且其中所述回路被配置用于经由所述回路将所述图像从所述存储器模块传送到所述预处理模块以便允许所述预处理模块多次预处理所述图像，其中用于所述多次预处理中的至少一些预处理的参数集不同于用于所述多次预处理中的其他预处理的参数集。

13.根据权利要求12所述的成像设备，还包括：

压缩器，以操作方式连接到所述存储器模块，用于在所述图像存储于所述存储器模块之前压缩所述图像；以及

解压器，以操作方式连接到所述预处理器，用于在将所述图像传送到所述预处理模块之前解压所述图像。

14.根据权利要求12所述的成像设备，其中所述机构包括用于采集所述图像的图像传感器。

15.根据权利要求14所述的成像设备，还包括用于在所述图像传感器上形成图像的成像光学器件。

16.根据权利要求12所述的成像设备，其中所述机构包括用于接收所述图像的图像数据的接收器。

17.根据权利要求12所述的成像设备，其中所述预处理器被配置用于提供预处理数据，所述设备还包括：

主处理模块，耦合到所述预处理器，用于接收所述预处理数据。

18.根据权利要求17所述的成像设备，其中所述主处理模块被配置用于提供进一步处理图像数据，所述成像设备还包括：

后处理器，耦合到所述主处理模块，用于接收所述进一步处理图像数据。

19.根据权利要求18所述的成像设备，其中所述后处理模块被配置用于提供后处理图像数据，所述成像设备还包括：

显示器，耦合到所述后处理模块，用于接收所述后处理图像数据。

20.根据权利要求18所述的成像设备，其中所述后处理模块被配置用于提供后处理图像数据，所述成像设备还包括：

发送模块，耦合到所述后处理模块，用于接收所述后处理图像数据以供发送。

21.根据权利要求17所述的成像设备，其中所述主处理模块被配置用于提供进一步处理图像数据，所述成像设备还包括：

发送模块，耦合到所述主处理模块，用于接收所述进一步处理图像数据以供发送。

22.根据权利要求12所述的成像设备，还包括：

进一步处理模块，以操作方式耦合到所述预处理模块，用于在压缩、存储、解压和多次在所述预处理模块中处理所述提供的图像之后进一步处理所述提供的图像。

23.根据权利要求12所述的成像设备，包括数字相机。

24.根据权利要求12所述的成像设备，包括移动电话。

Images