CN102449662A - 用于处理数字图像的自适应方法和图像处理设备 - Google Patents

Abstract

一种用于基于输入图像(IMG1)提供输出图像(IMG2)的方法，该方法包括：确定输出像素(P2)相对于输入图像(IMG1)的位置(i，j)，确定滤波器阵列(FA1)的单元(E)的值使得滤波器阵列(FA1)的有效宽度(w3)依赖于输入图像(IMG1)内的曝光输入像素(P1)的密度，并且当滤波器阵列(FA1)叠加于输入图像(IMG1)上使得滤波器阵列(FA1)的中心(BP)对应于输出像素(P2)的位置时，通过在滤波器阵列(FA1)的单元(E)的非零值与输入图像(IMG1)的位于相应位置的输入像素(P1)的值之间执行乘积求和运算来确定输出像素(P2)的值。

Description

用于处理数字图像的自适应方法和图像处理设备

技术领域

本发明涉及处理数字图像。

背景技术

二进制图像传感器可以例如包括布置为二维阵列的多于10⁹个各个光检测器。每个各个光检测器仅有两个可能状态：未曝光的“黑色”状态和曝光的“白色”状态。因此，各个检测器未重现不同灰色阴影。图像的局部亮度可以例如取决于白色像素的局部空间密度。

二进制图像传感器的各个光检测器的大小可以小于数字相机的成像光学器件可以提供的焦斑的最小大小。使用这样的传感器可以有助于例如避免由于滤色器阵列所致的色混叠问题。

然而，可能由于庞大的数据大小而难以或者不可能存储或者传送这样的二进制数字图像。可能需要若干曝光和读出以达到足够的信噪比。所得到的图像数据可能甚至如此之大以至于存储和处理二进制数字图像在数字相机中或者甚至在桌面型计算机中变得不切实际。

发明内容

根据本发明的第一方面，提供一种根据权利要求1所述的方法。

根据本发明的第二方面，提供一种根据权利要求12所述的计算机可读介质。

根据本发明的第三方面，提供一种根据权利要求14所述的设备。

一种用于基于二进制输入图像提供输出图像的方法可以包括：

-确定输出像素相对于所述输入图像的位置，

-确定滤波器阵列的单元的值使得所述滤波器阵列的有效宽度依赖于图像的部分的曝光状态，以及

-当滤波器阵列叠加于输入图像上使得所述滤波器阵列的中心对应于所述输出像素的位置时，通过在所述滤波器阵列的单元的非零值与输入图像的位于相应位置的输入像素的值之间执行乘积求和运算来确定所述输出像素的值。

具体而言，所述滤波器阵列的有效宽度可以依赖于所述输入图像内的白色或者黑色二进制像素的密度。

因此可以根据输入图像的曝光来调节输出图像的信噪比和有效分辨率。

例如，可以不仅基于恰当曝光的输入图像而且基于曝光不足的输入图像提供具有充分的信噪比的输出图像。然而，基于曝光不足的输入图像的输出图像的有效分辨率可以低于基于恰当曝光的输入图像的输出图像的有效分辨率。

在一个实施例中，可以在图像的不同位置应用不同滤波器阵列。例如，可以用更窄的滤波器阵列处理输入图像的恰当曝光部分，并且可以用更宽的滤波器阵列处理所述输入图像的曝光不足部分。因而，可以在图像的每个位置获得在信噪比与有效分辨率之间的最优平衡。

输入图像的数据大小可以例如为1.3吉比特。存储这样大的图像可能消耗大量存储器空间。经由数据传送路径传送这样大的图像可能缓慢。处理这样大的图像可能缓慢和/或可能消耗大量数据处理容量。可能难以或者甚至不可能显示这样大的图像。由于本发明，可以压缩图像数据以便于存储、传送和/或处理捕获的图像。由于本发明，也可以在输入图像的部分曝光不足和/或曝光过度时确保充分图像分辨率和充分信噪比。

本发明的实施例及其益处通过下文给出的描述和例子并且也通过所附权利要求将变得更加为本领域技术人员所清楚。

附图说明

在以下例子，将参照以下附图更具体描述本发明的实施例，其中：

图1示出了成像设备，

图2示出了二进制图像，

图3示出了根据光学曝光的白色像素密度，

图4a通过例子示出了女孩的图像，

图4b示出了与图4a的图像对应的二进制图像，

图5示出了确定二进制图像的像素组的密度值，

图6示出了用于图像处理的方法步骤，

图7a示出了滤波器阵列的单元，其中所述滤波器阵列的非零单元形成矩形组，

图7b在三维视图中示出了图7a的滤波器阵列的单元的值，

图7c示出了滤波器阵列的单元，其中图7c的滤波器阵列比图7a的滤波器阵列更窄，

图7d在三维视图中示出了图7c的滤波器阵列的单元的值，

图7e示出了滤波器阵列的单元，其中所述滤波器阵列的非零单元的值与圆形平坦表面近似，

图7f在三维视图中示出了在滤波器阵列的单元的位置之上的圆形参考表面，

图8示出了描述滤波器阵列的参数，

图9示出了输出图像的像素以输入图像的像素的位置为参照的位置，

图10a在三维视图中示出了与二维正弦函数近似的滤波器阵列的单元的值，

图1b示出了与二维正弦函数近似的滤波器阵列的单元的值，

图10c示出了与二维正弦函数近似的滤波器阵列的单元的值，图10c的滤波器阵列比图10b的滤波器阵列更窄，

图11a示出了曝光不足的二进制图像，

图11b示出了通过用自适应滤波器宽度处理图11a的图像而获得的输出图像，

图11c指示在图11b的不同位置应用的滤波器阵列的宽度，

图11d示出了通过用恒定滤波器宽度处理图11a的图像而提供的图像，

图12a示出了恰当曝光的二进制图像，

图12b示出了通过用自适应滤波器宽度处理图12a的图像而获得的输出图像，

图12c指示在图12b的不同位置应用的滤波器阵列的宽度，

图12d示出了通过用恒定滤波器宽度处理图12a的图像而提供的图像，

图13a示出了曝光过度的二进制图像，

图13b示出了通过用自适应滤波器宽度处理图13a的图像而获得的输出图像，

图13c示出了在图13b的不同位置应用的滤波器阵列的宽度，并且

图13d示出了通过用恒定滤波器宽度处理图13a的图像而提供的图像。

具体实施方式

参照图1，成像设备500可以包括成像光学器件10和用于捕获对象的二进制数字输入图像IMG1的图像传感器100以及布置成基于输入图像IMG1提供输出图像IMG2的信号处理单元200。

输入图像IMG1可以描绘对象、例如风景、人脸或者动物。输出图像IMG2可以描绘相同对象、但是分辨率更低。

图像传感器100可以是包括光检测器二维阵列的二进制图像传感器。

图像传感器100可以是包括光检测器二维阵列的二进制图像传感器。检测器可以例如布置于多于10000列中和多于10000行中。图像传感器100可以例如包括10⁹个各个光检测器。图像传感器100捕获的输入图像IMG1可以包括例如布置于41472列和31104行中的像素(图像数据大小为1.3·10⁹比特)。对应输出图像IMG2可以具有更低分辨率。例如，对应输出图像IMG2可以包括例如布置于2592列和1944行中的像素(图像数据大小为5·10⁶个像素、每个像素8比特、总数据大小为4·10⁷比特)。因此可以例如按照因子32(＝1.3·10⁹/4·10⁷)减少图像大小。

二进制输入图像IMG1的数据大小可以例如大于或者等于对应输出图像IMG2的数据大小的4倍，其中可以例如用为了描述图像信息而需要的总比特数指示数据大小。如果需要更高数据减少量，则输入图像IMG1的数据大小可以大于对应输出图像IMG2的数据大小的10倍、大于20倍、大于50倍或者甚至大于100倍。

成像光学器件10可以例如是聚焦透镜。

成像设备500可以包括输入存储器MEM1、用于存储滤波器阵列FA1的存储器MEM2、运算存储器MEM3、用于存储输出图像IMG2的输出存储器MEM4、显示器400、用于控制成像设备500的操作的控制器220、用于存储用于数据处理算法的计算机程序代码的计算机可读存储器MEM5和用于从用户接收命令的用户接口240。

输入存储器MEM1可以至少暂存输入图像IMG1的至少少数行或者列像素P1。因此，输入存储器可以被布置成存储输入图像IMG1的至少部分。

信号处理器200可以被布置成确定图像处理所需要的滤波器阵列FA1的单元E(m，n)。可以根据输入图像IMG1内的曝光像素的密度计算单元E(m，n)的值。可以向存储器MEM2存储单元E(m，n)的值。取而代之，可以根据输入图像IMG1内的曝光像素的密度从存储器MEM2取回单元E(m，n)的预定值。

可以在例如执行乘积求和运算时使用运算存储器MEM3。

可以经由数据总线242从信号处理单元200和/或从输出存储器MEM4向外部存储器EXTMEM发送输出图像数据。可以例如经由因特网和/或经由移动电话网络发送信息。

存储器MEM1、MEM2、MEM3、MEM4和/或MEM5可以物理上位于相同存储器单元中。例如存储器MEM1、MEM2、MEM3、MEM4和/或MEM5可以是相同部件中的分配存储器区域。

成像设备500还可以包括用于显示输出图像IMG2的显示器400。也可以显示输入图像IMG1。然而，由于输入图像IMG1的大小可以很大，所以它可能使得按照全分辨率一次仅能显示输入图像IMG1的小部分。

成像设备500的用户可以将接口240例如用于选择图像捕获模式、曝光时间、光学缩放(即光学放大)、数字缩放(即裁剪数字图像)和/或输出图像IMG2的分辨率。

控制单元220可以被布置成控制成像设备500的操作。控制单元220可以被布置成向图像传感器100发送信号以便例如设置曝光时间、开始曝光和/或重置图像传感器100的像素。

控制单元220可以被布置成向成像光学器件10发送例如用于执行聚焦、用于光学缩放和/或用于调节光学孔径的信号。

由于根据本发明的图像处理，输出存储器MEM4和/或外部存储器EXTMEM可以存储比无所述图像处理时更大数目的输出图像IMG2。取而代之或者除此之外，存储器MEM4和/或EXTMEM的大小可以比无所述图像处理时更小。也可以降低经由数据总线242的数据发送速率。

参照图2，图像传感器100可以是布置成提供二进制图像IMG1的二进制图像传感器。图像传感器100可以包括光检测器的二维阵列，从而每个光检测器的输出仅有两个逻辑状态。所述逻辑状态这里称为“黑色”状态和“白色”状态。图像传感器可以被初始化，使得所有的检测器可以最初在黑色状态处。可以通过将各个检测器曝光来将它切换成白色状态。因此，图像传感器100提供的二进制图像IMG1可以由分别处于黑色状态或者处于白色状态的像素P1构成。分别地，“白色像素”和“像素为白色”这些表达指代处于白色状态的像素。“黑色像素”这样的表达指代处于黑色状态的像素。

像素P1可以布置于行和列中、即，输入图像IMG1的每个像素P1的位置可以由相应列的索引k和相应行的索引I限定。例如图2中所示像素P1(3，9)为黑色而像素P1(5，9)为白色。

可以例如通过提供转换增益很高(低电容)的常规(比例)光检测器来实施二进制光检测器。其它可能方式包括使用雪崩或者碰撞离子化来提供像素内增益或者使用量子点阵。

图3示出了根据光学曝光H估计白色像素P1的密度D。按对数标度呈现曝光H。密度D意味着图像IMG1的部分内的白色像素P1的数目与所述部分内的像素P1的总数之比。密度值100％意味着部分内的所有像素处于白色状态。密度值0％意味着部分内的所有像素处于黑色状态。光学曝光H与光学强度和曝光时间成比例。密度D在曝光H为零时为0％。密度随着曝光增加而增加直至密度开始在上限100％附近饱和。

预定像素P1从黑色向白色的转换是随机现象。图像IMG1的部分内的白色像素P1的实际密度在所述部分包含大量像素像素P1时遵循图3的曲线。

在各个像素的情况下，图3的曲线也可以解释成代表预定像素P1的状态在预定光学曝光H之后从黑色状态向白色状态转换这样的情形的概率。

当曝光曲线的斜率ΔD/Δlog(H)时充分高(大于或者等于预定值)时恰当曝光输入图像IMG1。通常在曝光H大于或者等于第一预定限度H_低并且小于或者等于第二预定限度H_高时达到这一条件。因而，当曝光H小于第一预定限度H_低时，输入图像可能曝光不足，而当曝光H大于第二预定限度H_高时输入图像可能曝光过度。

当曝光H小于第一限度H_低或者大于第二限度H_高时，输入图像IMG1的信噪比或者输入图像IMG1的更小部分的信噪比可能低到不可接受。在那些情况下，减少有效空间分辨率以便增加信噪比是可接受的。

二进制图像的部分的曝光状态依赖于所述部分内的白色和/或黑色像素的密度。因此可以例如基于输入图像IMG1的部分内的白色像素P1的密度估计所述部分的曝光状态。图像的部分中的白色像素的密度依赖于所述部分内的黑色像素的密度。

输入图像IMG1的部分的曝光状态也可以例如通过使用由相同图像传感器100先前捕获的又一输入图像IMG1来确定。输入图像IMG1的部分的曝光状态也可以例如通过使用由又一图像传感器捕获的又一图像来估计。

可以用于确定曝光状态的又一图像传感器也可以是模拟传感器。模拟图像传感器包括布置成除了黑色和白色之外还提供不同灰度的各个光检测器。模拟图像传感器捕获的图像的不同部分也可以确定为曝光不足、恰当曝光或者曝光过度。例如，当模拟图像传感器捕获的图像的部分中的基本上所有像素的亮度值大于90％时，图像部分可以分类为曝光过度。例如，当模拟图像传感器捕获的图像的部分中的基本上所有像素的亮度值小于10％时，图像部分可以分类为曝光不足。当相当部分像素具有范围为10％至90％的亮度值时，那么图像部分可以分别为恰当曝光。

图4a通过例子示出了女孩的图像。图4b示出了与图4a的图像对应的二进制图像。图4b的图像具有大的像素大小以便强调黑色和白色像素结构。

参照图5，可以将二进制输入图像IMG1划分成多个输入像素组G(i，j)，其中每个输入像素组G位于坐标i、j。每组G(i，j)可以包括多个输入像素P1。每组G(i，j)可以优选地包括多个相邻输入像素P1。

输入像素组G可以相邻，从而每个像素P1属于仅一组G。组也可以重叠、即一些像素P1可以属于若干不同组G。

可以例如通过对相应输入像素组G(i，j)内的白色像素的数目计数来确定与坐标i、j关联的密度参数D(i，j)。例如，矩形输入像素组G(i₂，j₂)可以包括布置于16×16构成中的256个输入像素，从而所述组G(i₂，j₂)具有99个白色像素和157个黑色像素。因此，与组G(i₂，j₂)对应的密度参数D(i₂，j₂)可以例如等于99或者等于38.7％(＝99/256)。可以分别针对第二组G(i₃，j₂)确定第二密度参数D(i₃，j₂)。

输入像素组G的密度参数D(i，j)可以构成密度参数阵列DM1。

也可以例如通过对与相应输入像素组G(i，j)内的黑色像素的数目计数来确定与坐标i、j关联的密度参数D(i，j)。

图6示出了用于基于二进制输入图像IMG 1提供输出图像IMG2的方法步骤。

在步骤910中，用户可以选择输出图像IMG2的分辨率。因而，可以计算输出图像IMG2的输出像素的位置。每个输出像素P2的位置可以由对应坐标i、j限定。

在步骤930中，可以例如通过对每个输入像素组G内的白色像素的数目计数来确定与输出像素P2的位置关联的密度参数D。

在步骤950中，可以针对每个位置(i，j)基于与所述位置(i，j)关联的密度参数D确定滤波器阵列FA1。

在步骤970中，可以通过用确定的滤波器阵列FA1或者用确定的滤波器阵列FA1处理输入图像IMG2来提供输出图像IMG2的每个像素。

可以通过在滤波器阵列的单元与输入图像IMG1的像素P1之间执行乘积求和运算来确定输出图像IMG2的输出像素P2的值。

图7a示出了滤波器阵列FA1。可以通过使用滤波器阵列FA1将数字输入图像IMG1转换成数字输出图像IMG2。可以通过在输入图像上叠加滤波器阵列FA1使得所述滤波器阵列FA1的位置与所述输出像素的位置匹配并且通过在滤波器阵列FA1的单元E的值与所述输入图像的输入像素的值之间执行乘积求和运算来确定输出图像的每个输出像素的值。当计算所述乘积求和运算的乘积时，预定单元E(m，n)的每个值与位置与所述预定单元E(m，n)的位置重合的输入像素的值相乘。在这一相乘中，每个白色像素的值可以视为一，而每个黑色像素的值可以视为等于零。

取而代之，每个白色像素的值可以视为零，而每个黑色像素的值可以视为等于零。

滤波器阵列FA1可以包括布置于若干行和列中的单元E(m，n)。图7a通过例子示出了分别具有四列和四行的4×4滤波器阵列。

符号m和n指示在m轴和n轴限定的坐标系中的位置。图7a中所示滤波器阵列的中心BP位于坐标m＝2.5和n＝2.5。在单元E的情况下，符号m和n为整数，这些整数也指示列的索引和行的索引。

滤波器阵列FA1的单元E(m，n)代表加权系数。在图7a的情况下，向与中心BP接近的像素值和与中心BP更远的像素值给予相同权值。

单元E(m，n)的值可以例如舍入或者截尾成整数值以便于计算。如果希望，则所有单元E(m，n)的值可以在舍入或者截尾之前与公倍数相乘以便例如减少舍入误差。

参照图7b，可以在z轴根据每个单元E的位置(m，n)指示单元E(m，n)的值。滤波器阵列FA1的单元E(m，n)的非零值可以近似参考表面REFS。具体而言，每个非零单元E(m，n)的值可以等于参考表面REFS在对应位置(m，n)的值。图7b示出了在滤波器阵列FA1的单元E(m，n)的位置之上叠加的平坦矩形参考表面REFS。

BP表示滤波器阵列FA1的中心。

滤波器阵列FA1可以包括明显偏离零的正单元E。滤波器阵列FA1可以包括基本上等于零的单元。另外，滤波器阵列FA1可以包括例如用于边缘增强目的和/或用于控制由滤波器阵列FA1提供的空间频率响应的负值。

PRM表示滤波器阵列FA1的那些最外单元E的周界，这些单元的值明显偏离零。换而言之，周界PRM包围滤波器阵列FA1的明显偏离零的那些单元E。

在某些情况下，例如在滤波器阵列FA1的拐角中的一些单元E的值可以基本上等于零(例如参见图7e和图10b)。强调一点，限定周界PRM的最外单元E无需在滤波器阵列FA1的第一或者最后列和/或行中。此外，例如在滤波器阵列FA1的中心附近的一些单元也可以基本上等于零。因此，周界PRM也可以包围基本上等于零的一个或者多个单元E。

周界PRM未包括凹段。周界PRM也可以被限定成如下最短闭合路径，该路径包围滤波器阵列FA1的所有单元的值之和的至少90％。换而言之，在周界PRM内的单元的值之和可以大于或者等于滤波器阵列FA1的所有单元的值之和的90％。

w3表示周界PRM的宽度。滤波器阵列FA1的有效宽度等于周界PRM的宽度w3。

图7c示出了比图7a的滤波器阵列FA1更窄的滤波器阵列FA1。可以规范化单元E的值，使得每单个滤波器阵列FA1的所有单元E之和对于对单个输入图像IMG1应用的所有不同滤波器阵列FA1而言相同。

图7d在三维视图中示出了图7c的滤波器阵列FA1的单元的值。

图7e示出了在拐角包括零单元的滤波器阵列FA1。在这一情况下，滤波器阵列提供的空间频率响应比在使用图7a的矩形滤波器阵列时更少依赖于输入图像IMG1中的可视特征的定向。换而言之，空间频率响应可以对于水平线和45度倾斜的线而言接近相同。

图7f示出了滤波器阵列FA1，该阵列的单元值与圆盘近似，以便提供与输入图像IMG1中的可视特征的定向基本上独立的空间频率响应。

图8示出了滤波器阵列FA1的单元E(m，n)相对于中心BP的位置。

周界PRM可以例如是矩形或者椭圆形。符号w3表示周界PRM的宽度和滤波器阵列FA1的有效宽度。符号h3表示所述周界PRM的高度和滤波器阵列FA1的有效高度。在圆形或者方形的情况下，宽度w3等于h3。

每个单元E(m，n)的中心的位置可以由索引m(该索引指示所述单元E(m，n)的中心的水平位置)和索引n(该索引指示所述单元E(m，n)的中心的竖直位置)指示。在单元E的情况下，m和n为整数。然而中心BP可以例如位于坐标m＝4.5和n＝4.5。

w1表示在相邻单元E(m，n)的中心之间的水平距离。h1表示在相邻单元E(m，n)的中心之间的竖直距离。w1也表示在输入图像IMG1的相邻像素的中心之间的水平距离。h1也表示在输入图像IMG1的相邻像素P1(k，l)的中心之间的竖直距离(参见图9)。

可以用无量纲形式操纵w1和h1。例如可以假设w1＝1并且h1＝1。

图9示出了通过使用滤波器阵列FA1根据输入图像IMG1提供输出图像IMG2。

输入图像IMG1由输入像素P1(k，I)构成。符号k表示列的索引，而符号I表示行的索引。k和I可以是整数。

输出图像IMG2由输出像素P2(i，j)构成。符号i表示列的索引，而符号j表示行的索引。i和j可以是整数。

这里也使用简化的符号表示P1、P2、G和E，而不是P1(k，I)、P2(i，j)、G(i，j)和E(m，n)。

w2表示在相邻输出像素P2(i，j)的中心之间的水平距离。h2表示在相邻输出像素P2(i，j)的中心之间的竖直距离。

w2和h2也可以称为“步进大小”。分别地，w2可以例如等于16×w1，而h2可以等于16×h1。在图9的情况下，水平步进大小w2＝4×w1，而垂直步进大小h2＝4×h1。

可以按照水平缩放因子CF_H和垂直缩放因子CF_V缩放输出图像IMG2。按照定义，CH_H＝w2/w1并且CF_V＝h2/h1。因而w2＝CF_H·w1并且h2＝CF_V·h1。

水平缩放因子CF_H也可以理解为输入图像IMG1的列数与输出图像IMG2的列数之比。垂直缩放因子CF_V也可以理解为输入图像IMG1的行数与输出图像IMG2的行数之比。

一旦已经选择第一输出像素P2的位置，可以根据所选水平缩放因子CF_H并且根据选择的垂直缩放因子CF_V(即根据距离w2和h2)确定所有其它输出像素P2的位置。

可以通过例如按照下式在滤波器阵列FA1的单元与输入图像IMG1的对应像素P1之间执行乘积求和运算来计算输出图像IMG2的输出像素P2(i，j)的值：

$P2(i,j)=\underset{n=1}{\overset{N_{\max }}{\underset{m=1}{\overset{M_{\max }}{\mathrm{\Σ}}}}}P1(k,l)E(m,n)---\left(1a\right)$

其中：

k＝(i-1)CF_H+m                         (1b)

并且

l＝(j-1)CF_V+n                         (1c)

Mmax表示滤波器阵列FA1的列数，而Nmax表示滤波器阵列FA1的行数。

也可以注意，如果滤波器阵列FA1的值E(m，n)可分离，则有可能通过使用逐行和逐列计算来计算输出像素P2的值。单独逐行和逐列计算可以减少为了执行乘积求和运算而需要的算术运算次数。

单元E(m，n)的值如果它可以用以下形式来表达则可分离：

E(m，n)＝g₁(m)·g₂(n)                 (2)

其中g₁(m)表示依赖于索引m、但是未依赖于索引n的函数。g₂(n)表示依赖于索引n、但是未依赖于索引m的函数。

可以根据输入图像IMG1的部分内的曝光像素的平均密度确定滤波器阵列FA1。

具体而言，可以根据与输出像素(P2)的位置(i，j)对应的输入像素组G(i，j)中的曝光像素的密度确定滤波器阵列FA1。

具体而言，可以通过使用不同滤波器阵列FA1来处理输入图像IMG1的不同部分。

当用文字表达时，可以通过以下操作来计算输出图像IMG2的输出像素P2(i，j)的值：

-确定输出像素P2相对于输入图像IMG1的位置i、j，

-基于所述输出像素P2的位置i、j或者基于所述输出像素P2附近的曝光像素的密度确定滤波器阵列FA1，以及

-当滤波器阵列FA1叠加于输入图像IMG1上，使得所述滤波器阵列FA1的中心对应于所述输出像素(P2)的位置时，通过在所述滤波器阵列FA1的单元E的非零值与输入图像IMG1的位于相应位置的输入像素P1的值之间执行乘积契合运算来确定所述输出像素P2的值。

当执行所述乘积求和运算时，滤波器阵列FA1被定位成使得单元E的位置与输入图像IMG1的像素P1的位置重合。单元E的每个值乘以与所述单元E的位置重合的输入像素P1的值。

符号i₁、i₂、i₃表示输出像素P2(i，j)的水平坐标。符号j₁、j₂表示输出像素P2(i，j)的垂直坐标。

当计算在坐标i₁、j₁的输出像素P2的值时，滤波器阵列FA1可以定位于输入图像IMG1上，使得所述滤波器阵列FA1的中心BP对应于所述输出像素P2相对于输入图像IMG1的位置(i₁，j₁)。

可以在不同位置应用不同滤波器阵列FA1。例如，位置(i₁，j₁)附近的输入像素P1可以恰当曝光而位置(i₂，j₁)附近的输入像素P1可以曝光不足。因此，在位置(i₁，j₁)应用的滤波器阵列FA1可以比在位置(i₂，j₁)应用的滤波器阵列FA1更窄。

因此，可以在输入图像IMG1的恰当曝光的位置应用更窄的滤波器阵列FA1并且可以在所述输入图像IMG1的曝光不足或者曝光过度的位置应用更宽的滤波器阵列FA1。

也可以确定在每个位置(i，j)应用的滤波器阵列FA1的大小，使得所述滤波器阵列FA1的周界PRM包围预定数目的白色或者黑色输入像素P1。当处理曝光不足的图像部分时，可以例如从16×16滤波器阵列FA1开始增大滤波器阵列FA1的大小直至周界PRM例如包围100个白色像素。当处理曝光过度的图像部分时，可以例如从16×16滤波器阵列FA1开始增大滤波器阵列FA1的大小直至周界PRM包围例如100个黑色像素。

然而，在这些情况下，滤波器阵列FA1的上限大小也可以限于预定上限大小。滤波器阵列FA1的上限大小可以例如限于64×64个单元E(m，n)的大小。

每个输出像素P2的位置(i，j)可以例如与所述输出像素P2的中心关联。取而代之，每个输出像素P2的位置(i，j)可以例如与所述输出像素P2的预定拐角关联。

图10a示出了滤波器阵列FA1，其中所述滤波器阵列FA1的单元E(m，n)的值与二维(截断的)正弦函数近似。二维正弦函数可以提供上至预定空间截止频率的基本上均匀空间频率响应。然而，用单元值具有相同值的滤波器阵列FA1进行计算可以比用多个不同值的计算更快。

图10b示出了二维正弦滤波器的数值。图10c示出了比图10b的滤波器更窄的二维正弦滤波器的数值。

图11a例如示出了曝光不足的二进制输入图像IMG1。

图11b示出了通过使用自适应滤波器宽度根据输入图像IMG1提供的输出图像IMG2。在曝光严重不足的位置已经应用更宽的滤波器阵列FA1，并且在已经接收更多光的位置已经应用更窄的滤波器阵列FA1。换而言之，已经在白色像素的密度更低的位置应用更宽的滤波器阵列FA1，并且已经在白色像素的密度更高的位置应用更窄的滤波器阵列FA1。

在这种情况下，滤波器阵列FA1的大小已经处于范围22×22至32×32中。水平缩放因子CF_H和垂直缩放因子CF_V等于16。

图11c用不同灰色阴影示出了在图11b的输出图像IMG2的每个位置应用的滤波器阵列FA1的宽度。最暗的区域指示已经应用22×22滤波器阵列FA1的位置，而最亮的区域指示已经应用32×32滤波器阵列的位置。

图11d示出了已经通过在每个位置使用相同滤波器阵列FA1来提供的比较输出图像IMG2。在图11d的情况下，滤波器阵列FA1为16×16滤波器。水平缩放因子CF_H和垂直缩放因子CF_V等于16。

图11d的信噪比为14.9dB，而图11b的信噪比为18.6dB。因此图11b的信噪比优于图11d的信噪比。

图12a示出了恰当曝光的二进制输入图像IMG1。

图12b示出了通过使用自适应滤波器宽度根据输入图像IMG1提供的输出图像IMG2。已经在白色像素的密度更低的位置应用更宽的滤波器阵列FA1，并且已经在白色像素的密度更高的位置应用更窄的滤波器阵列FA1。

图12c用不同灰色阴影示出了在图12b的输出图像IMG2的每个位置应用的滤波器阵列FA1的宽度。最暗的区域指示已经应用22×22滤波器阵列FA1的位置，而最亮的区域指示已经应用32×32滤波器阵列的位置。

图12d示出了已经通过使用滤波器阵列FA1的固定宽度来提供的比较输出图像IMG2。在图12d的情况下，滤波器阵列FA1为16×16滤波器。

图12d的信噪比为21.5dB，而图12b的信噪比为23.0dB。在这一情况下，图12b的信噪比至少略微好于图12d的信噪比。

图13a示出了曝光过度的二进制输入图像IMG1。

图13b示出了通过使用自适应滤波器宽度根据输入图像IMG1提供的输出图像IMG2。已经在白色像素的密度更低的位置应用更宽的滤波器阵列FA1，并且已经在白色像素的密度更高的位置应用更窄的滤波器阵列FA1。

图13c用不同灰色阴影示出了在图13b的输出图像IMG2的每个位置应用的滤波器阵列FA1的宽度。最暗的区域指示已经应用22×22滤波器阵列FA1的位置，而最亮的区域指示已经应用32×32滤波器阵列的位置。

图13d示出了已经通过使用滤波器阵列FA1的固定宽度来提供的比较输出图像IMG2。在图13d的情况下，滤波器阵列FA1为16×16滤波器。

图13d的信噪比为20.2dB，而图13b的信噪比为22.0dB。在这一情况下，图13b的信噪比也至少略微好于图13d的信噪比。

也可以基于先前图像或者基于由不同图像传感器捕获的图像确定在每个位置应用的滤波器阵列FA1。例如可以使用取景器图像来确定滤波器阵列FA1。可以例如通过处理由图像传感器100捕获的输入图像来获得取景器图像。然而，可以用比针对最终输出图像IMG2的图像处理更简单的方式和/或更低的分辨率执行针对取景器图像的图像处理。

如果基于又一图像而不是输入图像IMG1确定滤波器阵列FA1，则应当基本上在与输入图像IMG1相同的照明条件下捕获又一图像并且又一图像也应当描绘与输入图像IMG1相同的对象的相同部分。

根据本发明的方法也可以用于处理由二进制图像传感器捕获的视频图像。在该情况下，也可以基于先前输入图像IMG1估计输入图像IMG1的部分的曝光。

还可以例如通过使用边缘检测来进一步调节滤波器阵列FA1的宽度w3。可以分析数字输入图像IMG1或者又一图像以便检测所述图像内的可视特征的边缘。可以在已经检测到边缘的区域应用更窄的滤波器阵列FA1，并且可以在基本上均匀的区域应用更宽的滤波器FA1。在相邻像素组G之间的大的白色像素密度差可以指示边缘，而在相邻像素组G之间的小的白色像素密度差可以指示基本上均匀的图像区域。

无成像光学器件10和图像传感器100也可以实施设备500。在该情况下，设备500可以被布置成处理先前捕获的并且存储于输入储存器MEM1中的输入图像IMG1。

设备500还可以例如包括数据处理单元、存储器和用于提供向移动电话网络、因特网或者局域网接入的通信单元。设备500可以是从以下设备列中选择的设备或者可以是该设备的部分：可连接到又一设备的成像模块、便携式设备、具有无线远程通信能力的设备、成像设备、移动电话、游戏设备、音乐记录/播放设备(例如基于MP3格式)、测量仪器、目标发现设备、瞄准设备、导航设备、个人数字助理(PDA)、通信器、便携式因特网装置、手持计算机、移动电话附件。

设备500可以被布置成处理输入图像IMG1(例如图形或者文字)的数据。

也可以在两个或者更多步骤中压缩图像数据。例如，可以水平缩放输入图像并且可以随后垂直缩放水平缩放的图像或者相反。可以通过用仅有一行单元的一维滤波器阵列(即矢量)执行乘积求和运算来水平缩放图像。即使在该情况下，仍然可以根据输入图像内的白色像素的密度确定单元E(m，n)的值和滤波器阵列的宽度。

可以通过用仅有一列单元的一维滤波器阵列执行乘积求和运算来垂直缩放图像。

二进制图像传感器的各个光检测器的大小可以小于数字相机的成像光学器件10可以提供的焦斑的最小大小。使用如这样的小型检测器的图像传感器100可以有助于例如避免由于滤色器阵列所致的颜色混叠问题。

二进制图像传感器100的各个光检测器的大小可以甚至小于成像光学器件10的衍射斑的最小大小。例如，最小焦斑可以覆盖多于40个检测器。因此，最小焦斑的直径可以对应于比二进制输入图像IMG1的7个相邻像素的组合宽度更大的宽度。因而，可以通过空间平均在一些程度上减少图像噪声而未失去捕获的图像的显著细节。

与二进制图像传感器100的使用关联的优点也在于可以容许相当数目的缺陷光检测器而未明显降低输出图像IMG2的质量。可以例如在工厂通过校准测量来确定图像传感器100的缺陷光检测器的位置，并且可以例如通过将滤波器阵列FA1的单元的值与对应校正系数相乘来补偿缺陷光检测器的影响。特定滤波器阵列FA1的每个单元可以与相同预定系数相乘。校正系数可以布置为校正阵列。

因此，可以调节滤波器阵列FA1的单元的值，使得可以在具有缺陷光检测器的图像传感器100捕获表面基本上均匀的图像的情形中提供亮度基本上均匀的输出图像IMG2。假如缺陷检测器基本上均匀分布于工作检测器之间，那么缺陷检测器的相对部分可以例如上至10％而未明显降低输出图像的质量。

输出像素P2无需布置于矩形网格中。输出像素P2的位置可以例如与三角形或者六边形网格的节点重合。

可以例如通过使用光学滤色器来提供彩色图像。滤波器可以例如提供红色(R)、绿色(G)和蓝色(B)。成像设备500可以例如包括用于捕获不同颜色的图像的三个图像传感器100，其中在每个传感器100上撞击的光可以由具有不同颜色的滤波器滤波。可以随后组合不同图像传感器提供的图像以便形成彩色图像。

取而代之，滤色器阵列可以叠加于单个图像传感器上。因此，传感器捕获的图像的不同像素组可以代表不同颜色。不同颜色的像素组可以相互分离以便形成输入图像集。可以单独处理输入图像并且可以组合所得输出图像以便形成处理的彩色图像。

附图为示意的。对于本领域技术人员而言将清楚可设想根据本发明的设备、方法和数据结构的修改和变化。上文参照附图描述的具体实施例仅为示例而并非限制由所附权利要求限定的本发明范围。

Claims (21)

1.一种用于基于二进制输入图像(IMG1)提供输出图像(IMG2)的方法，所述方法包括：

-确定输出像素(P2)相对于所述输入图像(IMG1)的位置(i，j)，

-确定滤波器阵列(FA1)的单元(E)的值，使得所述滤波器阵列(FA1)的有效宽度(w3)依赖于图像(IMG1)的部分的曝光状态，以及

-当滤波器阵列(FA1)叠加于所述输入图像(IMG1)上使得所述滤波器阵列(FA1)的中心(BP)对应于所述输出像素(P2)的位置时，通过在所述滤波器阵列(FA1)的所述单元(E)的非零值与所述输入图像(IMG1)的位于相应位置的输入像素(P1)的值之间执行乘积求和运算来确定所述输出像素(P2)的值。

2.根据权利要求1所述的方法，其中所述二进制输入图像(IMG1)的数据大小大于或者等于所述输出图像(IMG2)的数据大小的4倍。

3.根据权利要求1或者2所述的方法，其中所述滤波器阵列(FA1)的有效宽度(w3)依赖于输入图像(IMG1)内的白色或者黑色二进制像素(P1)的密度(D)。

4.根据权利要求1至3中的任一权利要求所述的方法，其中确定所述滤波器阵列(FA1)的单元(E)的值，使得所述滤波器阵列(FA1)的有效宽度(w3)依赖于与所述输出像素(P2)的位置(i，j)对应的输入像素组G(i，j)中的白色或者黑色输入像素(P1)的密度(D)。

5.根据权利要求1至4中的任一权利要求所述的方法，其中通过使用具有第一宽度(w3)的第一滤波器阵列(FA1)来确定第一输出像素(P2)的值，并且通过使用具有第二不同宽度(w3)的第二滤波器阵列(FA1)来确定第二输出像素(P2)。

6.根据权利要求1至5中的任一权利要求所述的方法，其中所述滤波器阵列(FA1)的有效宽度(w3)依赖于另一输入图像IMG1的部分内的白色或者黑色输入像素(P1)的密度(D)。

7.根据权利要求1至6中的任一权利要求所述的方法，其中所述滤波器阵列(FA1)的有效宽度(w3)大于在所述输出图像(IMG2)的相邻像素(P2)之间的水平距离。

8.根据权利要求1至7中的任一权利要求所述的方法，还包括：

-将所述滤波器阵列(FA1)的有效宽度(w3)设置成初始值，以及

-当滤波器阵列FA1叠加于所述输入图像(IMG1)上使得所述滤波器阵列FA1的中心(BP)对应于所述输出像素(P2)的位置时，增加所述滤波器阵列(FA1)的有效宽度(w3)直至所述滤波器阵列(FA1)覆盖预定数目的白色或者黑色输入像素(P1)。

9.根据权利要求1至8中的任一权利要求所述的方法，其中所述滤波器阵列(FA1)的中心(BP)附近的单元(E)的值大于定位于所述滤波器阵列(FA1)的中心(BP)更远处的单元(E)的值。

10.根据权利要求1至9中的任一权利要求所述的方法，还包括通过二进制图像传感器(100)和成像光学器件(10)捕获所述输入图像(IMG1)。

11.根据权利要求10所述的方法，其中所述二进制图像传感器(100)的各个检测器小于所述成像光学器件(10)的最小焦斑。

12.一种包括程序代码的计算机可读介质(MEM5)，所述程序代码在由数据处理器执行时用于执行根据权利要求1至11中的任一权利要求所述的方法。

13.一种计算机程序代码，在由数据处理器执行时用于执行根据权利要求1至11中的任一权利要求所述的方法。

14.一种设备，布置成通过根据权利要求1至11中的任一权利要求所述的方法提供输出图像(IMG2)。

15.一种用于基于输入图像(IMG1)提供输出图像(IMG2)的设备(500)，所述设备(500)包括布置成执行以下操作的信号处理器(200)：

-确定输出像素(P2)相对于所述输入图像(IMG1)的位置(i，j)，

-确定滤波器阵列(FA1)的单元(E)的值，使得所述滤波器阵列(FA1)的有效宽度(w3)依赖于图像(IMG1)的部分的曝光状态，以及

-当滤波器阵列(FA1)叠加于所述输入图像(IMG1)上使得所述滤波器阵列(FA1)的中心(BP)对应于所述输出像素(P2)的位置时，通过在所述滤波器阵列(FA1)的所述单元(E)的非零值与所述输入图像(IMG1)的位于相应位置的输入像素(P1)的值之间执行乘积求和运算来确定所述输出像素(P2)的值。

16.根据权利要求15所述的设备(500)，其中所述信号处理器(200)被布置成操作使得所述滤波器阵列(FA1)的有效宽度(w3)依赖于输入图像(IMG1)内的白色或者黑色二进制像素(P1)的密度(D)。

17.根据权利要求15或者16所述的设备(500)，其中所述滤波器阵列(FA1)的有效宽度(w3)依赖于另一输入图像IMG1的部分内的白色或者黑色输入像素(P1)的密度(D)。

18.根据权利要求15至17中的任一权利要求所述的设备(500)，其中所述信号处理器(200)被布置成通过使用具有第一宽度(w3)的第一滤波器阵列(FA1)来提供第一输出像素(P2)的值，并且通过使用具有第二不同宽度(w3)的第二滤波器阵列(FA1)来提供第二输出像素(P2)的值。

19.根据权利要求15至18中的任一权利要求所述的设备(500)，还包括布置成捕获二进制输入图像(IMG1)的图像传感器(100)。

20.根据权利要求19所述的设备(500)，其中所述二进制图像传感器(100)的各个检测器小于所述成像光学器件(10)的最小焦斑。

21.根据权利要求15至20中的任一权利要求所述的设备(500)，其中所述二进制输入图像(IMG1)的数据大小大于或者等于所述输出图像(IMG2)的数据大小的4倍。

Images