CN102667853A - 用于二进制传感器的滤光片设置学习 - Google Patents

Abstract

本发明涉及使用二进制像素来形成图像。二进制像素是仅具有两个状态的像素，当像素被曝光时是白色状态，而当像素不被曝光时是黑色状态。二进制像素在它们之上具有彩色滤光片，并且彩色滤光片的设置初始可以是未知的。使用统计方法的设置可以用于确定彩色滤光片设置，以产生正确的输出图像。随后，可以利用二进制像素使用彩色滤光片信息来从二进制像素阵列记录的输入图像产生图像。

Description

用于二进制传感器的滤光片设置学习

背景技术

二进制图像传感器可以包括例如设置为二维阵列的多于10⁹个单独的光检测器。每个单独的光检测器具有两个可能的状态：未曝光的“黑色”状态和曝光的“白色”状态。因此，一个单独的检测器并不重现不同的灰色阴影。图像的局部亮度可以例如通过白色像素的局部空间密度来确定。二进制图像传感器的各个光检测器的尺寸可以小于焦斑的最小尺寸，该焦斑可以通过数字照相机的成像光学器件来提供。

然而，由于大的数据尺寸，存储或传输这样的二进制数字图像可能是困难的或者不可能。所得到的图像数据可能太大，以致在数字照相机或甚至在台式计算机中存储和处理该二进制数字图像变得不切实际。

因此，需要一种解决方案来改进将二进制数字图像传感器应用到实际解决方案。

发明内容

现在已经发明一种改进的方法和实现该方法的技术设备，通过其缓解上述的问题。本发明的各种方面包括方法、设备、服务器、客户端和包括其中存储计算机程序的计算机可读介质，其特征通过独立权利要求来描述。在从属权利要求中公开本发明的各种实施方式。

在示例的设置中，已知颜色的光应用于具有彩色滤光片的一组二进制像素。彩色滤光片的设置可以初始未知。来自二进制像素的值被记录，并且这些值用于确定彩色滤光片的颜色。颜色使用例如最大似然估计的统计方法来确定。关于彩色滤光片的信息接着可以用于形成输出图像。

根据第一方面，提供一种用于适配图像处理系统的方法，包括接收二进制像素值、通过应用光、利用具有彩色滤光片的二进制像素形成了所述二进制像素值，接收关于所述光的颜色的信息、通过使用二进制像素值和关于光的颜色的信息来形成第一像素的彩色滤光片的颜色的估计，以及使用该估计来适配关于图像处理系统中的彩色滤光片的信息。

根据一个实施方式，该方法进一步包括将二进制像素曝光于通过叠加在二进制像素上的彩色滤光片的光，所述光已经通过光学布置，并且从二进制像素的输出形成二进制像素值。该方法进一步包括使用似然估计形成估计，并且迭代地精选估计。根据一个实施方式，该方法进一步包括确定二进制像素的邻域，并且使用第一像素信息的邻域中的像素的估计值来形成所述第一像素的所述估计。根据一个实施方式，该方法进一步包括通过优化能量函数来形成估计，所述能量函数具有第一分量和第二分量，其中第一分量指示彩色滤光片的颜色和光的颜色的相似度，而第二分量指示第一像素和第一像素的相邻者的值中的至少一个差。根据一个实施方式，在图像处理系统中执行调节以形成二进制像素的彩色滤光片的初始值，或者校准二进制像素的彩色滤光片的值。

根据第二方面，提供一种设备，包括至少一个处理器，包括计算机程序代码的存储器，该存储器和计算机程序代码配置成利用所述至少一个处理器，使得所述设备接收二进制像素值，通过应用光、利用具有彩色滤光片的二进制像素形成了二进制像素值，接收关于光的颜色的信息、通过使用二进制像素值和关于光的颜色的信息来形成第一像素的彩色滤光片的颜色的估计，以及使用该估计来适配关于图像处理系统中的彩色滤光片的信息。

根据一个实施方式，该设备进一步包括配置成利用处理器，使得设备将二进制像素曝光于通过叠加在二进制像素上的彩色滤光片的光，所述光已经通过光学布置，并且从二进制像素的输出形成二进制像素值的计算机程序代码。根据一个实施方式，该设备进一步包括配置成利用该处理器，使得该设备使用似然估计来形成估计，并且迭代地精选估计的计算机程序代码。根据一个实施方式，该设备进一步包括配置成利用该处理器，使得该设备确定二进制像素的邻域，以及使用所述第一像素信息的所述邻域中的像素的估计值来形成所述第一像素的所述估计的计算机程序代码。根据一个实施方式，该设备进一步包括配置成利用该处理器，使得该设备通过优化能量函数来形成该估计的计算机程序代码，所述能量函数具有第一分量和第二分量，其中第一分量指示彩色滤光片的颜色和光的颜色的相似度，而第二分量指示第一像素和第一像素的相邻者的值中的至少一个差。根据一个实施方式，该设备进一步包括配置成利用该处理器，使得该设备调节图像处理系统以形成二进制像素的彩色滤光片的初始值，或者校准二进制像素的彩色滤光片的值的计算机程序代码。根据一个实施方式，该设备进一步包括颜色信号单元，该颜色信号单元包括至少一个神经网络，以及存储器，该存储器用于存储至少一个神经网络参数和/或权重。根据一个实施方式，该设备进一步包括用于形成图像的光学设置，用于检测图像的二进制像素的阵列和多组二进制像素。根据一个实施方式，该设备进一步包括叠加在二进制像素的阵列上的至少一个彩色滤光片，该彩色滤光片以非对齐的、不规则的、随机的和/或未知的叠加的方式叠加在二进制像素的阵列上。

根据第三方面，提供一种系统，包括至少一个处理器，包括计算机程序代码的存储器，该存储器和计算机程序代码配置成利用所述至少一个处理器，使得所述系统接收二进制像素值，通过应用光、利用具有彩色滤光片的二进制像素形成了二进制像素值，接收关于光的颜色的信息、通过使用二进制像素值和关于光的颜色的信息来形成第一像素的彩色滤光片的颜色的估计，以及使用该估计适配关于图像处理系统中的彩色滤光片的信息。根据一个实施方式，系统包括调节单元，配置成接收二进制像素值和关于光的颜色的信息，并且通过使用二进制像素值和关于光的颜色的信息来形成第一像素的彩色滤光片的颜色的估计，并且图像处理单元，其包括具有彩色滤光片的二进制像素阵列并且配置成形成图像，其中该图像处理单元配置成从调节单元接收调节信息以便适配该图像处理单元。

根据第四方面，提供一种存储在计算机可读介质上并且在数据处理设备中可执行的计算机程序产品，其中计算机程序产品包括用于接收二进制像素值的计算机程序代码段，通过应用光、利用具有彩色滤光片的二进制像素形成了二进制像素值，用于接收关于光的颜色的信息的计算机程序代码段、用于通过使用二进制像素值和关于光的颜色的信息来形成第一像素的彩色滤光片的颜色的估计的计算机程序代码段，以及用于使用该估计来适配关于图像处理系统中的彩色滤光片的信息的计算机程序代码段。根据一个实施方式，该计算机程序产品进一步包括用于调节图像处理系统以形成二进制像素的彩色滤光片的初始值，或者校准二进制像素的彩色滤光片的值的计算机程序代码段。

根据第五方面，提供一种设备，包括处理装置、存储装置、用于接收二进制像素值的装置，通过应用光、利用具有彩色滤光片的二进制像素形成了二进制像素值，用于接收关于光的颜色的信息的装置、用于通过使用二进制像素值和关于光的颜色的信息来形成第一像素的彩色滤光片的颜色的估计的装置，以及用于使用该估计来适配关于图像处理系统中的彩色滤光片的信息的装置。

附图说明

在下文中，将参考所附附图更为详细地描述本发明的各种实施方式，其中：

图1a示出二进制图像；

图1b示出作为曝光函数的白色像素的密度；

图2a示出女孩的灰度级图像；

图2b示出女孩的二进制图像；

图3a示出针对单个像素的白色状态的概率；

图3b示出白色状态概率对波长的依赖性；

图4示出用于捕获色彩信息的二进制像素矩阵之上的拜耳矩阵型彩色滤光片；

图5示出用于形成输出像素的二进制像素阵列之上的随机彩色滤光片；

图6示出成像设备的框图；

图7示出用于从二进制像素形成输出像素的颜色信号单元；

图8示出用于确定覆盖在二进制像素阵列之上的彩色滤光片布局的布置；

图9示出利用覆盖在二进制像素阵列之上的彩色滤光片确定入射光颜色的布置；

图10a示出通过统计方法确定彩色滤光片值；

图10b示出在通过统计方法确定彩色滤光片值中的学习过程；

图11示出用于确定彩色滤光片值的似然函数；

图12示出利用能量函数确定彩色滤光片值；

图13示出通过使用邻域信息的统计方法确定彩色滤光片值；

图14a示出不同的邻域；

图14b示出具有分段常量彩色滤光片值的彩色滤光片马赛克；

图14c示出具有平滑变化的彩色滤光片值的彩色滤光片马赛克；

图15示出用于通过统计方法确定彩色滤光片值的方法；以及

图16示出用于通过统计方法确定彩色滤光片值的方法。

具体实施方式

下面将在二进制像素阵列的环境中描述本发明的若干实施方式。然而，将注意到本发明并不限于二进制像素阵列。事实上，不同的示例实施方式在任意的环境中具有广泛的应用，在该任意的环境中，实施通过部分未确定的过程将输入像素值映射到输出像素值。

现在参考图1a，在示例实施方式中应用的图像传输感可以是安排用以提供二进制图像IMG1的二进制图像传感器。图像传感器可以包括光检测器的二维阵列，使得每个光检测器的输出仅具有两个逻辑状态。所述逻辑状态在这里称为“黑色”状态和“白色”状态。图像传感器可以被初始化，从而所有的检测器可以初始在黑色状态。通过将其曝光，各个检测器可以被切换到白色状态。因此，由图像传感器所提供的二进制图像IMG1可以包括像素P1，其可以分别处于黑色状态或白色状态。表述“白色像素”和“像素是白色”表示处于白色状态的像素。表述“黑色像素”表示分别处于黑色状态的像素。这些表述并不指示像素的颜色，它们仅仅描述像素是否由于光而已经被激活(白色状态或“被照亮”)或者它是否保持非活跃(黑色状态或“未被照亮”)。

像素P1可以按照行和列来布置，即，输入图像IMG1的每个像素P1的位置可以通过相应列的索引k和相应行的索引l来定义。例如，在图1a中示出的像素P1(3，9)是黑色的而像素P1(5，9)是白色。

二进制光检测器例如可以通过提供具有很高的转换增益(低电容量)的常规(比例)光检测器来实现。其他可能的方法包括雪崩或碰撞电离以提供像素级增益，或使用量子点。

图1b示出作为光学曝光H的函数的白色像素P1的密度D的估计。曝光H以对数刻度示出。密度D表示在图像IMG1的部分内的白色像素P1的数目与所述部分内的像素P1的总数目的比值。密度值100％表示该部分内的所有像素处于白色状态。密度值0％表示该部分内的所有像素处于黑色状态。光学曝光H正比于光强和曝光时间。密度D在零曝光H处是0％。随着增长的曝光，密度增长，直到密度开始饱和接近于上限100％。

预定像素P1从黑色到白色的转换是随机现象。当图像IMG1的部分内包含高数目的像素P1时，该部分内的白色像素P1的实际密度沿图1b的曲线。

在各个像素的情形中，图1b的曲线也可以解释为代表其中在预定的光学曝光H后(也参见图3a和3b)，预定像素P1的状态从黑色状态转换到白色状态的情形的概率。

当曝光曲线的斜率ΔD/Δlog(H)足够高时(大于或等于预定的值)，输入图像IMG1被适当地曝光。典型地，当曝光H大于或等于第一预定限度HLOW并且小于或等于第二预定限度HHIGH时，获得该条件。因此，当曝光H小于第一预定限度HLOW时，输入图像可能欠曝光，并且当曝光H大于第二预定限度HHIGH时，输入图像可能过曝光。

当曝光H小于第一限度HLOW或者大于第二限度HHIGH时，输入图像IMG1的信噪比或输入图像IMG1的更小部分的信噪比可能低的不可接受。在那些情形中，可以接受的是减小有效的空间分辨率以便增加信噪比。

二进制图像的部分的曝光状态取决于所述部分内的白色和/或黑色像素的密度。因此，可以例如基于所述部分内的白色像素P1的密度来估计输入图像IMG1的部分的曝光状态。图像部分内的白色像素的密度取决于所述部分内的黑色像素的密度。

也可以例如通过使用由相同的图像传感器先前捕获的另外输入图像IMG1来确定输入图像IMG1的部分的曝光状态。输入图像IMG1的部分的曝光状态也可以例如通过使用由另外的图像传感器捕获的另外图像来估计。

可以用于确定曝光状态的另外图像传感器也可以是模拟传感器。模拟图像传感器包括各个光检测器，其被布置成除了提供黑色和白色以外，还提供不同的灰度级。由模拟图像传感器所捕获的图像的不同部分也可以被确定为欠曝光、适当地曝光或者过曝光。例如，当由模拟图像传感器所捕获的图像的部分内的基本上所有的像素的亮度值大于90％时，图像部分可以被归类为过曝光。例如，当由模拟图像传感器所捕获的图像的部分内的基本上所有的像素的亮度值小于10％时，图像部分可以被归类为欠曝光。当相当部分的像素具有10％到90％范围内的亮度值时，则图像部分可以分别被适当地曝光。

图2a通过例子示出按灰度级的女孩图像。图2b示出对应于图2a的图像的二进制图像。图2b的图像具有大的像素尺寸，从而强调黑色和白色像素结构。实际上，构成图2b的图像的二进制像素通常小于构成图2a图像的输出像素。图2b的若干个二进制像素可以对应于图2a的一个模拟像素。图2b中的白色状态的二进制像素的密度可以具有与图2a中的模拟像素的灰度级亮度的对应性。

图3a示出针对单个二进制像素的曝光或状态变化的概率，即，单个预定像素的状态从黑色状态转换到白色状态的概率。在图1b中，示出作为强度H的函数的相比较于黑色像素的白色像素的密度。相应地，参考图3a，像素具有处于白色状态的概率，并且该概率是强度的函数。例如，当光学曝光是H₁时，像素P1(1，1)具有50％的概率处于白色状态，而当光学曝光是H₂时，像素P1(2，1)具有50％的概率处于白色状态。如上所提到的，光学曝光H正比于光强和曝光时间。不同的像素可以具有不同的概率曲线，即，在具有相同强度H的入射光下，它们可以具有不同的概率处于白色状态。

图3b示出作为在彩色滤光片和二进制像素的组合上碰撞的光的波长的函数的单个二进制像素的状态变化概率。在图3b中，假设各种二进制像素在它们之上可以加设有彩色滤光片，从而入射光的某些色段能够通过。在此类的布置中，当二进制像素被曝光于具有相同的光强但不同波长(颜色)的光时，不同的二进制像素可以具有不同的概率处于白色状态。

例如，在图3b中，像素P1(5，5)响应于具有波长基本上对应于蓝色的光。当入射光的波长偏离于蓝色时，像素P1(5，5)具有较低的概率处于曝光(白色)状态。类似地，像素P1(5，2)响应于具有波长基本上对应于绿色的光，并且像素P1(2，2)响应于具有波长基本上对应于红色的光。

二进制像素之上的彩色滤光片可以试图充当带通滤波器，由此下层的像素仅响应于某些色段中的光，例如红色、绿色或蓝色或任意其他的颜色或波长。然而，彩色滤光片可能要么有意地要么偶然地存在缺点，并且带通滤光片可能“泄露”从而其他颜色也被允许通过。

作为波长的函数被曝光的像素的概率可能不是具有规则形状的函数，如图3b中针对蓝色像素(实线)、绿色像素(虚线)以及红色像素(点划线)的钟型函数。事实上，概率函数可能是非规则的，其可以具有若干个顶点，并且其可以具有厚尾(即，具有不可忽视量级的长尾)，从而例如红色像素以蓝光曝光的概率并不基本上是零，而可以是例如3％、10％或30％，或甚至更大。

不同颜色的像素的状态变化概率函数可以基本上是非重叠的，如在图3b的情形中，从而单色光具有基本上曝光相同颜色的像素(而非其他像素)的概率。状态变化概率函数也可以是重叠的，从而红色和绿色波长之间的光具有曝光红色像素P1(2，2)和绿色像素P1(5，2)二者的显著概率。状态变化概率函数也可以依像素而变化。

图4示出在二进制像素阵列之上用于形成输出像素的拜尔矩阵型彩色滤光片。图4中二进制像素P1(k，l)的像素坐标对应于图3b并且创建输入图像IMG1。拜尔矩阵是利用彩色滤光片的布置，这些彩色滤光片以规则的布局放置在光传感器之上，其中以交替的方式，每两个滤光片是绿色，而每两个滤光片是红色或蓝色。因此，如图4中所示，基于上50％的滤光片是绿色(以向下的对角纹理示出)，基本上25％的滤光片是红色(以向上的对角纹理示出)，并且基本上25％的滤光片是蓝色(以交叉图案纹理示出)。在其中拜尔矩阵放置在二进制像素阵列之上的设置中，各个彩色滤光片FR、FG和FB可以覆盖单个的二进制像素或多个二进制像素，例如4个二进制像素、9.5个二进制像素、20.7个二进制像素、100个二进制像素、1000个二进制像素或者更多。如果二进制输入像素的中心之间的距离在宽度上是w1而在高度上是h1，各个拜尔矩阵滤光片的中心之间的距离在宽度上可以是w4而在高度上可以是h4，由此w4＞w1并且h4＞h1。因此，滤光片可以覆盖若干个二进制像素。各个滤光片可以被紧密地隔开，它们可以在其之间具有间隔(在之间空出区域以让所有颜色通过)或它们可以彼此覆盖。滤光片可以是正方形、矩形、六边形或任意其他的形状。

图像IMG1的二进制像素可以形成对应于输出图像IMG2的像素P2(i，j)的多个组GRP(i，j)。通过这种方式，可以形成二进制输入图像IMG1和输出图像IMG2之间的映射。多个组GRP(i，j)可以包括具有不同颜色的彩色滤光片的二进制像素。多个组可以具有相同的尺寸，或者它们可以具有不同的尺寸。多个组可以具有规则的形状，或者它们可以具有非规则的形状。多个组可以彼此重叠，它们可以彼此相邻，或者它们在多个组之间具有间隔。在图4中，作为例子，对应于图像IMG2的像素P2(1，1)的组GRP(1，1)覆盖图像IMG1的64(8×8)二进制像素，即，组GRP(1，1)包括像素P1(1，1)-P1(8，8)。多个组GRP(i，j)的边界可以与彩色滤光片FR、FG、FB的边界相一致，但这并不是必需的。组边界也可以关于拜尔矩阵滤光片的边界而被取代和/或非对准。通过这种方式，图像IMG1的多个组GRP(i，j)可以用于形成图像IMG2中的像素P2(i，j)。像素P2(i，j)的中心之间的距离可以是宽度为w2而高度为h2。输出像素P2可以分别具有w2和h2的尺寸，或它们可以更小或更大。

图5示出用于形成输出像素的二进制像素阵列之上的随机彩色滤光片。与图4一样，图像IMG1包括二进制像素P1(k，l)，其可以分组成多个组GRP(i，j)，多个组对应于图像IMG2中的像素P2(i，j)，并且图像IMG1和IMG2的设置与图4中的相同。然而，相比较于图4，图5的彩色滤光片FG、FR和FB不具有规则的形状或者以规则的布置来设置。彩色滤光片可以具有不同的尺寸，并且可以以随机的方式放置在二进制像素之上。彩色滤光片可以彼此分隔开，它们可以相邻于彼此或者它们可以彼此重叠。彩色滤光片可以在彼此之间留有空间，以让所有颜色或波长的光通过，或替代地，基本上根本不让光通过。像素P1(k，l)中的一些可以是无功能的像素PZZ，其被永久性地置于白色(曝光)状态，或者黑色(未曝光)状态，或者否则发出不并很好地取决于光的入射强度的错误信号。像素P1(k，l)对于处于白色状态可以具有作为入射光的强度函数的不同概率函数。像素P1(k，l)对于处于白色状态可以具有作为入射光的波长函数的不同概率函数。这些属性可以由于像素本身的缺陷或者由于覆盖的彩色滤光片的缺陷而形成。例如，彩色滤光片可以具有不同于红色、绿色和蓝色的颜色。

对于类似于图5中示出的布置，组GRP(i，j)可以包括具有绿色G滤光片、红色R滤光片或蓝色B滤光片的变化数目的二进制像素。进一步，不同的红色、绿色或蓝色二进制像素可以不同地放置在不同的组GRP(i，j)中。根据已知的或未知的分布，红色、绿色或蓝色像素的平均数目和不具有滤光片的像素跨多个组GRP(i，j)可以基本上相同，或者红色、绿色或蓝色像素的平均数目(密度)和不具有滤光片的像素跨多个组GRP(i，j)可以变化。

图6示出成像设备的框图。参考图6，成像设备500可以包括用于捕获对象的二进制数字输入图像IMG1的成像光学器件10和图像传感器100，以及布置成基于输入图像IMG1提供输出图像IMG2的信号处理单元(即，颜色信号单元)CSU1。成像光学器件10可以是例如聚焦透镜。输入图像IMG1可以绘出对象，例如风景、人脸或动物。输出图像IMG2可以绘出相同的对象但以更低的空间分辨率或像素密度。

图像传感器100可以是包括光检测器的二维阵列的二进制图像传感器。检测器可以以例如多于10000个列和多于10000个行来布置。图像传感器100可以包括例如多于10⁹个单独的光检测器。由图像传感器100捕获的输入图像IMG1可以包括例如以41472个列和31104个行布置的像素(图像数据大小为1.3·10⁹个比特，即1.3个吉比特或者160个兆字节)。相应的输出图像IMG2可以具有更低的分辨率。例如，相应地输出图像IMG2可以包括例如以2592个列和1944个行布置的像素(图像数据大小近似于5·10⁶像素，对于每个颜色R、G、B每个像素8比特，总的数据大小是1.2·10⁸，即近似于120兆比特或15个兆字节)。因此，图像尺寸可以被减小，例如以10的因子(＝1.3·10⁹/1.2·10⁸)。

二进制输入图像IMG1的数据大小例如可以大于或等于相应输出图像IMG2数据大小的4倍，其中数据大小可以被指示，例如以描述图像信息所需的总比特数目。如果需要减小更多的数据，输入图像IMG1的数据大小可以大于相应输出图像IMG2的数据大小10倍、20倍、50倍或者甚至100倍，或者1000倍。

成像设备500可以包括输入存储器MEM1、存储输出图像IMG2的输出存储器MEM2、用于存储涉及图像处理的数据的存储器MEM3，该数据例如神经网络系数或权重或其他数据，工作存储器MEM4，用于例如存储用于数据处理算法和其他程序和数据的计算机程序代码，显示器400、用于控制成像设备500的操作的控制器220以及用于从用户接收指令的用户接口240。

输入存储器MEM1可以至少临时存储输入图像IMG1的像素P1的某些行或列。因此，输入存储器可以被布置成存储至少输入图像IMG1的部分，或者其可以被布置成存储整个输入图像IMG1。输入存储器MEM1也可以布置成驻留在与图像传感器100相同的模块内，例如从而图像传感器的每个像素可以具有一个、两个或更多个的存储器位置，其可操作地连接到图像传感器像素，以便存储由图像传感器记录的数据。

信号处理器CSU1可以布置成处理由图像传感器100捕获的像素值IMG1。处理可以例如使用神经网络或者其他装置发生，并且来自于存储器MEM3的系数或者权重可以在处理中使用。信号处理器CSU1可以存储其输出数据，例如，到MEM2或到MEM3的输出图像IMG2(在图中未示出)。信号处理器CSU1可以独立地工作，或者其可以通过由例如通用处理器的控制器220来控制。输出图像数据可以从信号处理单元200和/或输出存储器MEM2经由数据总线242向外部存储器EXTMEM传送。信息可以经由例如因特网和/或经由移动电话网络来发送。

存储器MEM1、MEM2、MEM3和/或MEM4可以物理地位于相同的存储器单元内。例如，存储器MEM1、MEM2、MEM3和/或MEM4可以分配相同组件中的存储器区域。存储器MEM1、MEM2、MEM3、MEM4和/或MEM5也可以物理地位于与相应的处理单元连接，例如从而存储器MEM1位于与图像传感器100连接、存储器MEM3位于与信号处理器CSU1连接，而存储器MEM3和MEM4位于与控制器220连接。

成像设备500可以进一步包括用于显示输出图像IMG2的显示器400。输入图像IMG1也可以被显示。然而，由于输入图像IMG1的大小可以很大，可能从而输入图像的一小部分可以每次以全分辨率来显示。成像设备500的用户可以使用接口240来例如选择输出图像IMG2的图像捕获模式、曝光时间、光学变焦(即，光学放大)、数字变焦(即，数字图像的剪切)和/或分辨率。

成像设备500可以是具有图像传感器的任意设备，例如数字静态成像或视频照相机、便携式或固定电子设备像移动电话、膝上型计算机或台式计算机、视频照相机、电视或屏幕、显微镜、望远镜、汽车或自行车、飞机、直升机、卫星、轮船或植入物例如眼植入物。成像设备500也可以是在上述的任意设备中使用的模块，由此成像设备500可以通过有线或无线连接、或光学连接，以固定或可拆卸的方式可操作地连接到设备。

设备500也可以省略具有图像传感器。可行的是存储来自于另一设备的二进制像素的输出，并且仅处理设备500中的二进制图像IMG1。例如，数字照相机可以以原始格式存储二进制像素以便稍后处理。原始格式图像IMG1接着可以在设备500中立即或稍后处理。设备500因此可以是具有用于处理二进制图像IMG1的装置的任意设备。例如，设备500可以是移动电话、膝上型计算机或台式计算机、视频照相机、电视或屏幕、显微镜、望远镜、汽车或自行车、飞机、直升机、卫星、轮船或植入物例如眼植入物。设备500也可以是在任意上述的设备中使用的模块，由此成像设备500可以通过有线或无线连接、或光学连接，以固定或可拆卸的方式可操作地连接到设备。设备500可以实现为计算机程序产品，其包括用于从原始图像确定输出图像的计算机程序代码。设备500也可以实现为一种服务，其中各种部分和处理能力可以驻留于网络中。服务可以能够处理原始或二进制图像IMG1以向服务的用户形成输出图像IMG2。处理也可以在若干个设备之间分布。

控制单元220可以布置成控制成像设备500的操作。控制单元220可以布置成向图像传感器100发送信号，例如，以便设置曝光时间、以便开始曝光和/或以便重置图像传感器100的像素。

控制单元220可以布置成向成像光学器件10发送信号，例如用于执行聚焦、用于光学变焦和/或用于调节光学孔径。

感谢根据本发明的图像处理，输出存储器MEM2和/或外部存储器EXTMEM可以存储比没有图像处理更多数目的输出图像IMG2。替代地或附加地，存储器MEM2和/或EXTMEM的尺寸可以与没有所述图像处理更小。另外，经由数据总线242的数据传输速率可以被降低。由于信号处理器CSU1中的处理，可以实现这些优势而没有图像分辨率中的可见损失。

图7示出用于从二进制像素形成输出像素的颜色信号单元CSU1。颜色信号单元或信号处理器CSU1可以具有对应于输入图像IMG1中的像素P1的大量输入，例如16、35、47、64、280、1400、4096、10000或更多的输入。例如，输入可以对应于多个组GRP(i，j)的二进制像素并且可以是从像素P1(m+0，n+0)到P1(m+7，n+7)的二进制值，二进制值指示相应的像素是否已经被曝光或没有曝光(相应地，处于白色或黑色状态)。在图7中，索引m和n可以指定输入像素组GRP(i，j)的左上角的坐标，该输入像素组被馈入到颜色信号单元CSU1的输入。例如，当处理组GRP(1，1)时，为了计算输出像素P2(1，1)的颜色值，输入像素P1(1，1)，P1(2，1)，P1(3，1)…P1(6，8)，P1(7，8)，和P1(8，8)的值(即，状态)可以被馈入到颜色信号单元CSU1的64个不同的输入。

颜色信号单元或信号处理器CSU1可以采取其他数据作为输入，例如，涉及组GRP(i，j)的处理的数据PARA(i，j)或涉及处理所有或一些组的通用数据。可以通过将数据PARA组合进输入值P1来使用这些数据PARA，或者数据PARA可以用于控制颜色信号单元CSU1的工作参数。颜色信号单元可以具有例如3个输出或任意其他数目的输出。通过确定针对红色分量的输出信号S_R(i，j)、绿色分量的输出信号S_G(i，j)和蓝色分量的输出信号S_B(i，j)的三个不同输出信号来指定输出像素P2(i，j)的颜色值。输出可以对应于输出像素P2(i，j)，例如，输出可以是输出像素的颜色值红色、绿色和蓝色。颜色信号单元CSU1可以对应于一个输出像素，或更多数目的输出像素。

颜色信号单元CSU1也可以提供输出信号，其对应于不同于RGB系统的颜色系统。例如，输出信号可以指定针对CMYK-系统(蓝绿色、洋红、黄色、基本色)，或YUV-系统(亮度、第一色差、第二色差)的颜色值。输出信号和彩色滤光片可以对应于相同的彩色系统或不同的彩色系统。因此，颜色信号单元CSU1也可以包括用于提供从第一颜色系统到第二颜色系统的转换的计算模块。例如，图像传感器100可以以红色、绿色和蓝色滤光片(RGB系统)覆盖，但颜色信号单元CSU1根据YUV系统可以提供三个输出信号。

对于每个输出像素P2，颜色信号单元CSU1可以提供两个、三个、四个或更多个不同的颜色信号。

图8示出用于确定覆盖二进制像素阵列的彩色滤光片布局的布置。二进制像素P1(k，l)的变化状态的概率可以是入射光强度的函数，如更早在图3a和图3b的上下文中所解释的。进一步，如在图4和图5的上下文中所解释的，二进制像素P1(k，l)可以具有二进制像素之上的彩色滤光片F(k，l)。由于彩色滤光片的不规则形状和尺寸和/或由于彩色滤光片阵列与二进制像素阵列的未知对准，在二进制像素P1(k，l)之上的滤光片的颜色(或多个滤光片的多个颜色)可能不是已知的。在图8中已经以问号标记未知的彩色滤光片值。

例如，在彩色滤光片阵列已经加工在二进制像素阵列之上后，可能无法立即知道哪个拜尔矩阵单元覆盖于哪个二进制像素之上(如图4中所示)，或在非规则的设置中，哪个彩色滤光片在哪个二进制像素之上(如图5中所示)。彩色滤光片阵列也可以关于其颜色是不规则的，即，滤光片单元的颜色可能无法恰好与预计的颜色相同。滤光片的位置和颜色也可能随时间改变，例如，由于机械或物理磨损或由于曝光。

为了确定彩色滤光片F(k，l)的颜色值，已知颜色或已知输入图像的光束LB0可以通过彩色滤光片阵列应用于二进制像素阵列。二进制像素的输出，即，二进制像素对已知的输入的响应可以接着用于确定彩色滤光片阵列的信息。例如，像素阵列可以若干次曝光于输入光束LB0或不同的输入图像的不同颜色。二进制像素的输出可以被记录和处理。例如，二进制像素P1(k，l)可以被分组成多个分组GRP(i，j)，如在图4和5的上下文中所解释的，并且每个组GRP(i，j)的信息可以被单独地处理。这将在稍后处理。

图9示出以覆盖二进制像素阵列的彩色滤光片来确定入射光颜色的布置。在该点上，存在关于彩色滤光片F(k，l)的一些信息，例如，各个彩色滤光片可以已知，或者可以已知涉及二进制像素的多个组GRP(i，j)的不同彩色滤光片红色、绿色和蓝色的数目。也可以仅从二进制像素阵列P1(k，l)到输出像素阵列P2(i，j)的转换是已知的或至少部分已知。该彩色滤光片F(k，l)的信息可以包括关于滤光片的颜色的信息、关于无功能的像素的信息和/或关于不具有关联的彩色滤光片的像素的信息。

关于彩色滤光片F(k，l)的信息现在可以用于确定入射光LB1的信息。例如，入射光可以通过透镜系统来形成，并且因此可以形成图像传感器100上的图像。当入射光通过彩色滤光片F(k，l)到达二进制像素阵列P1(k，l)，其使得一些二进制像素被曝光(进入到白色状态)。因为光LB1已经通过彩色滤光片，由曝光的二进制像素形成的图像IMG1具有关于光强和命中每个二进制像素的光LB1的颜色的信息。当通过使用关于彩色滤光片F(k，l)的信息来将图像IMG1转换成图像IMG2时，例如通过将二进制像素分组成多个组GRP(i，j)以形成图像IMG2的像素P2(i，j)时，可以从光LB1解码颜色信息，并且图像IMG2的每个像素可以分配有一组亮度值，对于每个颜色分量R、G和B一个亮度值。

换句话说，由照相机光学器件创建在叠加彩色滤光片的二进制像素阵列上的图片可以使得基于命中像素的光的颜色和在像素之上的滤光片F(k，l)的颜色来激活二进制像素。例如，当蓝光命中蓝色滤光片F(k，l)，当其通过滤光片时，光强可以不被过多减小。因此，位于蓝色滤光片之下的二进制像素可以具有处于白色状态(被曝光)的高概率。另一方面，当蓝光命中红色滤光片F(k，l)时，光强可以在很大程度上被减小。因此，位于红色滤光片之下的二进制像素可以具有处于白色状态(被曝光)的低概率。因此，当更大一组的二进制像素GRP(i，j)被曝光于某个颜色的光时，例如蓝色，相比较于具有另一颜色(红色和绿色)的彩色滤光片的那些二进制像素，具有相应的彩色滤光片(例如，蓝色)的更多二进制像素将被激活到白色状态。各个二进制像素的曝光值(白色/黑色)可以由颜色信号单元CSU1用于形成输出图像IMG2。

图10a示出通过统计方法来确定彩色滤光片值。在该系统中，可以具有二进制值化传感器的二维阵列BINARR 1010，并且在二进制传感器上叠加有彩色滤光片。每个滤光片的频谱响应假定是固定的，但初始是未知的。具有未知滤光片的二进制阵列被反复地曝光，并且传感器阵列的响应和光的颜色值被记录。在N×N传感器二进制传感器阵列BINARR的情形中，训练数据可以构成每个具有N×N值的二进制矩阵并且光的相应颜色值COLORVAL用于曝光传感器阵列。

当二进制像素阵列BINARR 1010被曝光时，其从二进制像素产生输出信号1015，其可以馈入到统计模块STATMOD 1020。可以接着操作统计模块，从而BINARR的输出和原始颜色值COLORVAL用于计算对彩色滤光片值的调节。该计算可以迭代地发生1025，从而来自于多个曝光的数据在模块STATMOD中使用。统计模块可以具有例如16、50、64、128、180、400、1000、90000或1百万个输入或更多。

训练和教导可以发生在BINARR阵列的部分中，例如从而在一个实例中训练对应于每个组GRP(i，j)的彩色滤光片，并且训练过程通过所有的组迭代。当该教导已经完成时，彩色滤光片值可以存储进存储器中。

在学习的阶段中，对于每个传感器，目标在于确定哪个滤光片位于其前。为执行此，可以做出已知颜色的光线(教导光线)的测量。这些测量的每个可以提供二进制矩阵M，使得当传感器ij被照亮或处于白色状态中时，元素M_ij是1，当其不是这样时则为0。连同关于用于曝光传感器阵列的光的颜色的信息，矩阵M为我们提供关于未知的滤光片设置的知识。以可变的输入颜色来重复足够次数的测量可以提供滤光片设置的更多准确知识。学习阶段可以被认为是一个逆向问题：鉴于光的颜色信息是已知的，什么类型的彩色滤光片可以产生观察的二进制矩阵？对于该估计，可以使用最大后验估计器。

在贝叶斯框架中，估计的和测量的变量被认为是随机变量。假设X是我们基于测量的变量Y想估计的随机变量，变量Y的测量值y被获得。X的概率分布被称为先验分布，因为其描述在测量做出前我们对变量的了解。条件概率密度函数L(x)＝P(Y＝y|X＝x)被称为似然函数，其描述了给定测量值y，对于变量X，值x有多大可能。条件概率密度函数P(X＝x|Y＝y)称为后验分布，因为其描述在测量后，我们对于变量X的知识。

根据我们所具有的概率分布的信息量，可以使用X的不同估计器。如果没有做出测量，估计器X可以仅基于X的先验分布。如果做出测量或若干次测量但没有关于X的先验信息，则估计器可以基于似然函数L(x)，为此，可以使用最大似然(ML)估计器。如果先验和测量数据可用，则可以使用基于后验分布的估计器，例如最大后验(MAP)估计器和后验均值。

每个彩色滤光片的类型可以被认为是随机变量，因此在N乘N二进制阵列的情形中，存在N²个随机变量。我们将随机变量列举为X_ij，其中i和j在1和N之间(包括1和N)。我们可以假设二进制传感器是小的，并且二进制传感器阵列的尺寸可以相当于或小于由光的衍射所造成的艾里斑的尺寸。因此，可能合理的是将传感器阵列上的光子分布建模为异构空间泊松过程。

滤光片可以独立于它们的相邻方而放置，即，并没有假定或已知它们的空间关系。因此，随机变量X_ij是独立的。如果彩色滤光片位于位置ij的可能选择是已知的，鉴于M_ij被观察并且用于曝光传感器阵列的光的颜色是已知的，可以基于单次观察写出针对随机变量X_ij的似然函数。然而，单次的观察可能无法提供充分的信息来导出在位置ij处的彩色滤光片的类型。由于每次观察被假定是独立的，针对n次观察的似然函数可以是单次观察的似然函数的积。似然函数的复杂度可以取决于滤光片和传感器属性(例如光谱透过特性和量子效率)如何被正确地建模。针对位于位置ij中的彩色滤光片的类型的最大似然估计是似然函数的模式，即，使测量的数据最为可能的值。

图10b示出通过统计方法确定彩色滤光片值的学习过程。在阶段1050中，在10次迭代后，大多数的彩色滤光片值是未确定的1060。一些彩色滤光片值是红色1062并且一些是绿色1064。在1052中，在迭代20次后，也出现了一些蓝色滤光片值1066。稍后，在1054中，当35次迭代已经执行后，一些滤光片值已经被确定为白色1068。在1056中，在60次迭代后，教导已经完成并且已经确定所有的彩色滤光片值。

统计模块(或颜色信号单元CSU1)可以例如使用模拟或数字电子器件来电子地形成，并且电子器件可以包括外部于模块或嵌入到神经网络的存储器。统计模块可以通过计算机程序代码来形成。统计模块也可以通过适于光学计算的光学组件来光学地形成。

图11以示例性方式示出用于二维随机变量的似然函数1140。令随机变量的尺寸是R 1110和G 1120，并且因此随机变量X可以取值(r，g)，其中例如r和g在0和1之间(包括0和1)。在该例子情节中的似然L 1130是在点1170处具有一个本地和全局最大值1160的函数，从而X的G值可以是x_G并且X的R值可以是x_R。当似然被迭代而最大化时，变量X可以具有初始值(图中的点1175)，从而似然取值1150。在一次迭代后，X的值是1180并且似然取值1155。最终，当迭代完成时，变量X达到最大似然估计1170并且似然L到达最大值1160。

在具有彩色滤光片的二进制像素阵列的环境中，假设我们具有N乘N二进制阵列，并且在每个二进制传感器上具有任意的彩色滤光片。我们可以使用实值化的矢量X∈[0，1]³来规定滤光片的颜色，例如白色滤光片对应于矢量(1，1，1)并且红色滤光片对应于矢量(1，0，0)。给定训练数据D，针对位置(i，j)处的彩色滤光片的似然函数可以写成：

$(X,D)=\underset{k}{\mathrm{\Π}}{(1-e^{-({\mathrm{\λ}}_R^{\left(k\right)}X\left(1\right)+{\mathrm{\λ}}_G^{\left(k\right)}X\left(2\right)+{\mathrm{\λ}}_B^{\left(k\right)}X\left(3\right))/N^2})}^{s_k}$

$\·{\left(e^{-({\mathrm{\λ}}_R^{\left(k\right)}X\left(1\right)+{\mathrm{\λ}}_G^{\left(k\right)}X\left(2\right)+{\mathrm{\λ}}_B^{\left(k\right)}X\left(3\right))/N^2}\right)}^{1-s_k},$

其中s_k∈{0，1}是当传感器阵列曝光于具有RGB值I_R ^(k)，I_G ^(k)，I_B ^(k)的光时，在(i，j)处的二进制传感器的输出。该乘积遍及所有可获得的训练数据。可以假设0⁰＝1，并且在例如绿光将基本上不照亮具有红色滤光片的传感器的意义上来说，滤光片是理想的。如果X的某些值将使得似然函数前进到零，鉴于数据，X的此类值可以被认为是不可能的。基于可获得的数据的最为可能的滤光片颜色可以是最大化似然函数的3值矢量(X(1)，X(2)，X(3))。如果我们具有关于可能的滤光片颜色的先验知识，即，一些颜色可能比其他颜色更为可能，则该信息可以被编码成先验分布并且接着可以使用最大后验概率。

图12图示出通过使用邻域信息的统计方法来确定彩色滤光片值。这里，可能已知或怀疑滤光片单元之间的相关性(例如，如果已知滤光片颜色形成分段常量区域)。在该情形下，马尔可夫随机场的理论可以用于加速学习阶段。我们将简要地复习一些术语。

随机场是随机变量X＝(X_i)，i∈S的聚集，取某个集合Λ中的值并且使得对于所有的λ∈Λ^S，P(λ)＞0。索引集合S的元素被称为位置。邻域系统是集合

i∈S的聚焦，使得当且仅当j∈N_i，对于所有的i，j∈S，i∈N_j。对于给定的i∈S，N_i的元素被称为i的相邻者。S的子集被称为团，如果其不同元素的任意两个是相邻者。位势V是V_C：Λ^S→R的聚焦，使得如果C不是团，则V_C＝0，并且如果x和y同意C，则V_C(x)＝V_C(y)。下面我们将考虑马尔可夫随机场的理论如何可以被应用于滤光片标识的问题。

在图12中示出没有和利用邻域信息来迭代地确定彩色滤光片值。在左边，示出在10次迭代1210、20次迭代1212、40次迭代1214和70次迭代1216后，在没有使用邻域信息后确定彩色滤光片值。如在1216中示出，在70次教导迭代后，可能存在其值未知的一些彩色滤光片。在右边，示出在10次迭代1230、20次迭代1232、40次迭代1234和70次迭代1236后，使用邻域信息确定彩色滤光片值。如可以看到的，并且如实际中可能发生的，当使用邻域信息时，教导收敛地更快，并且在70次迭代后，留下没有确定值的更少彩色滤光片。

图13图示出利用能量函数确定彩色滤光片值。每个彩色滤光片的类型可以被认为是随机变量X_ij。位置S的集合是通过对(i，j)形成的集合，其中i和j在1和N之间(包括1和N)。我们可以假设我们具有某个相邻系统N_ij，例如由八个或四个空间最为紧密的位置形成。也可以考虑更为复杂的邻域，并且相邻者并不必须是物理的相邻者。我们现在可以将系统的能量函数定义为和：

H(X)＝-logL(X，D)+βK(X)，

其中L(X，D)是描述随机变量X_ij如何取决于数据D的似然函数，β是常量并且K(X)是先验能量函数。X_ij的后验概率分布可以写成以下的形式：

$P\left(X\right)=\frac{1}{Z}{e}^{-H\left(X\right)},$

其中Z是归一化因子。

通过定义，可以遵从马尔可夫随机场具有下面的属性：条件概率满足

P(X_ij＝x_ij|X_kl＝x_kl，(k，l)≠(i，j))＝P(X_ij＝x_ij|X_kl＝x_kl，(k，l)∈N_ij)，

即，给定其他后，X_ij＝x_ij的概率是固定的，基本上仅取决于相邻位置的值。

可以选择先验能量函数使得其可以写为对应于邻域系统的位势函数的和

先验能量函数可以用于表达我们的滤光片放置的先验知识。例如，先验能量函数可以是这样，使得对于从一个像素到另一个像素改变很多的一组滤光片颜色具有更高的值，并且当滤光片颜色较少的改变时，具有更低的值。当目的是最小化能量时，此类的能量函数“优选”改变较少的彩色滤光片值。

在图13中，示出能量函数和其两个分量的使用。在1310中，中间像素1330可能具有彩色滤光片的初始未知值，并且使用来自于二进制像素阵列的值可以得到对于彩色滤光片值的第一估计。例如，像素颜色的第一估计可以是蓝色(B)。

另一方面，如1320中示出的，中心像素1340可以具有邻域，例如8个邻域，并且相邻像素的彩色滤光片可以具有针对它们的颜色值的估计。例如，像素1351、1352和1353可以具有红色彩色滤光片值的估计，像素1354、1356和1357可以具有绿色彩色滤光片值的估计，并且像素1355和1358可以具有蓝色彩色滤光片值的估计。相邻像素的信息可以用于确定像素1340的彩色滤光片值。

如早些所解释的，可以例如通过使用能量函数H来组合针对中心像素的彩色滤光片值的两条信息。这里，1310中的信息可以包含在似然函数L中并且1320中的信息可以包含在先验能量函数K中。二者接着可以被求和，如针对能量函数的上述等式所给出的。能量函数可以接着被优化，例如最小化或者最大化，以便找到彩色滤光片值。在1360中，来自1310和1320的信息已经被组合以获得中心像素1370的彩色滤光片值，这该情形下为红色。

图14a示出不同的邻域。在1410中，示出8个邻域，其中像素1412具有8个相邻者1415：四个在上、下、左和右，并且四个位于对角上。在1420中，示出四个邻域，其中像素1422具有其上、下、左和右的四个相邻者1425。邻域可以更为复杂，例如它们可以具有不规则的形状，或它们可以从像素跨越更长的距离。邻域也可以不是连续的，但是它们可以是如图14a中所示出的。

图14b示出具有分段常量彩色滤光片值的彩色滤光片马赛克。作为例子，我们可以考虑这样的情形，其中三个不同的滤光片颜色1430、1435和1440形成分段常量区域。假设我们具有N乘N传感器阵列，并且令X_ij是对应于在位置(i，j)处的滤光片的颜色的随机变量。在该示例设置中，我们假设每个滤光片是红色、绿色或蓝色，因此每个随机变量X_ij是离散的，具有三个可能的值。给定数据，位于位置(i，j)处的滤光片颜色的似然可以写为：

$L(X_{\mathrm{ij}}=R|D)={\mathrm{\Π}}_k{(1-e^{-{\mathrm{\λ}}_R^{\left(k\right)}/N^2})}^{s_k}{\left(e^{{-\mathrm{\λ}}_R^{\left(k\right)}/N^2}\right)}^{1-s_k}$

$L(X_{\mathrm{ij}}=G|D)={\mathrm{\Π}}_k{(1-e^{-{\mathrm{\λ}}_G^{\left(k\right)}/N^2})}^{s_k}{\left(e^{{-\mathrm{\λ}}_G^{\left(k\right)}/N^2}\right)}^{1-s_k}$

$L(X_{\mathrm{ij}}=B|D)={\mathrm{\Π}}_k{(1-e^{-{\mathrm{\λ}}_B^{\left(k\right)}/N^2})}^{s_k}{\left(e^{{-\mathrm{\λ}}_B^{\left(k\right)}/N^2}\right)}^{1-s_k}$

其中我们已经使用了与前面的例子相同的标号。如果我们想仅使用由训练数据所提供的信息，我们可以选择最大化上述的似然的颜色。

下面我们将描述如何可以选择邻域系统和先验能量函数。对于邻域系统，我们可以选择8个邻域。这里，团是单个的元素集，集合{(i，j)，(k，l)，(n，m)}，其中位置是每个的相邻者，以及位置对{(i，j)，(k，l)}，其中(i，j)和(k，l)是相邻者。我们现在定义相应的位势为以下形式的一组函数：

其中d(x，y)＝1，如果x＝y，0其他。

后验能量函数现在可以写为

$H\left(X\right)=\underset{i,j}{\mathrm{\Σ}}-\log L\left(X_{\mathrm{ij}}\right|D)+\mathrm{\β}\underset{C}{\mathrm{\Σ}}{V}_C\left(X\right),$

其中第二个和遍及所有团。滤光片颜色的估计可以通过最小化后验能量来获得。最小化后验能量工作以将彩色滤光片值“匹配”于数据D(右手侧第一项)，即，找出将产生数据D的彩色滤光片值，以及通过最小化位势(右手侧第二项)确保彩色滤光片设置在某种程度上平滑。

然而，由于存在N²个变量，直接进行对于最小化能量具有挑战。相反，我们可以使用迭代方法，称为迭代条件模式：首先，变量X_ij被初始化为一些值。接着我们将变量X_ij设置成当所有的其他X_kl保持固定时，最小化H(X)的值。该算法可以在给定(i，j)的邻域后，最大化X_ij的条件概率。注意在每个步骤处，我们仅需要找到减小下面的函数的值的值x_ij，

$H(X_{\mathrm{ij}}=x_{\mathrm{ij}}|X_{\mathrm{kl}}=x_{\mathrm{kl}},(k,l)\∈N_{\mathrm{ij}})=-\log L(X_{\mathrm{ij}}=x_{\mathrm{ij}}|D)$

$+\mathrm{\β}\underset{(k,l)\∈N_{\mathrm{ij}}}{\mathrm{\Σ}}(1-\mathrm{\δ}(x_{\mathrm{ij}},x_{\mathrm{kl}})).$

所有的变量X_ij可以相继地更新(例如按随机顺序)，并且接着可以重复迭代，直到获得收敛。该算法是贪婪的，并且所获得的解的优良性可以取决于开始值。

作为算法如何工作的一个例子，再次参考图13，考虑下面的情形：假设我们具有通常的8个邻域并且N＝4。假设变量X_ij被初始化为从似然等式导出的它们的最大似然估计；我们将变量X₁₁，X₁₂，X₁₃初始化为红色，X₂₁，X₃₁，X₃₂初始化为绿色，并且X₂₃，X₃₃初始化为蓝色。此外，假设早些示出的似然函数L对于变量X₂₂给出：

L(X₂₂＝R|D)＝0.35

L(X₂₂＝G|D)＝0.25

L(X₂₂＝B|D)＝0.4.

变量X₂₂因此被初始化为蓝色。由于围绕着X₂₂的所有变量被初始化为某些值，我们可以使用迭代的条件模式算法来更新X₂₂；可以以下面的形式来写出针对H的等式：

$H(X_{22}=x_{22}|X_{\mathrm{kl}}=x_{\mathrm{kl}},(k,l)\∈N_{22})=-\log L(X_{22}=x_{22}|D)$

$+\mathrm{\β}\underset{(k,l)\∈N_{22}}{\mathrm{\Σ}}(1-\mathrm{\δ}(x_{22},x_{\mathrm{kl}}))$

$=-\log L(X_{22}=x_{22}|D)+\mathrm{\β}(8-\mathrm{\δ}(x_{22},x_{11})-\mathrm{\δ}(x_{22},x_{12})-\mathrm{\δ}(x_{22},x_{13})-$

$\mathrm{\δ}(x_{22},x_{21})-\mathrm{\δ}(x_{22},x_{23})-\mathrm{\δ}(x_{22},x_{31})-\mathrm{\δ}(x_{22},x_{32})-\mathrm{\δ}(x_{22},x_{33})),$

并且我们想找到最大化等式的X₂₂的值(颜色)。考虑X₂₂的似然函数值并且由于在变量X₂₂的邻域中存在三个绿色、三个红色和两个蓝色，我们可以获得(例如b＝0.5)

H(X₂₂＝R|X_kl＝x_kl，(k，l)∈N₂₂)＝-log(0.35)+β·(8-3)＝3.55

H(X₂₂＝G|X_kl＝x_kl，(k，l)∈N₂₂)＝-log(0.25)+β·(8-3)＝3.87

H(X₂₂＝B|X_kl＝x_kl，(k，l)∈N₂₂)＝-log(0.40)+β·(8-2)＝3.92.

由于最小化等式的颜色是红色，变量X₂₂被设置成红色。其他颜色滤光片值(对于其他的像素)可以被类似地更新并且独立于针对X₂₂的过程。例如：

1)每个X_ij，i＜＝4，j＜＝4被初始化为其最大似然估计

2)每个X_ij使用针对X₂₂示出的过程来更新

3)如果不满足停止条件(例如，循环的数目或足够低的能量)，前进到步骤2)

如在上面的例子中所进行的，X_ij的估计可以被固定于离散数目的值的任意一个值。例如，可能的彩色滤光片值可以是红色、绿色、蓝色和白色，并且任意的组合(例如，粉红色)不被允许。也可以对于变量X允许连续值，由此X_ij可以在允许的范围内获得任意的值。

图14c示出具有三个不同分量1450、1455和1460的平滑变化的彩色滤光片值的彩色滤光片马赛克。在该例子中，我们考虑颜色可以平滑变化的彩色滤光片。使用与图11相同的标记，令X_ij是取[0，1]³中的值的随机矢量。我们可以使用与先前例子中相同的邻域系统，因此团也是相同的。我们可以定义位势函数

后验能量函数可以写为：

$H\left(X\right)=\underset{i,j}{\mathrm{\Σ}}-\log L\left(X_{\mathrm{ij}}\right|D)+\mathrm{\β}\underset{C}{\mathrm{\Σ}}{V}_C\left(X\right),$

其中L(X_ij|D)是如图11中的似然函数。我们可以使用与先前的例子相同的方法来最小化能量函数，或者使用其他的随机优化方法，例如模拟退火。最小化能量函数可以导致找到有可能产生测量的数据D的彩色滤光片设置，以及由于最小化位势函数，具有某个平滑度。

先前例子中的步骤和方法可以被组合，以考虑例如具有分段连接区域的彩色滤光片阵列。

下一步，我们将考虑更多例子。选择传感器的邻域，使得仅四个相邻传感器被考虑为传感器的相邻者。可以如下选择函数K(X)：

$K\left(X\right)=\underset{C}{\mathrm{\Σ}}{V}_C\left(X\right),$

其中

接着K(X)可以写为：

$K\left(X\right)={\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^{N-1}(1-\mathrm{\δ}(x_{\mathrm{ij}},x_{i,j+1}))+{\mathrm{\Σ}}_{i=1}^{N-1}{\mathrm{\Σ}}_{j=1}^N(1-\mathrm{\δ}(x_{\mathrm{ij}},x_{i+1,j}))$

现在X的后验密度函数可以写为

$P\left(X\right)=\frac{1}{Z}L(X,D)\underset{i=1}{\overset{N}{\mathrm{\Π}}}\underset{j=1}{\overset{N-1}{\mathrm{\Π}}}{\left(e^{-\mathrm{\β}}\right)}^{1-\mathrm{\δ}(x_{\mathrm{ij}},x_{i,j+1})}\underset{i=1}{\overset{N-1}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left(e^{-\mathrm{\β}}\right)}^{1-\mathrm{\δ}(x_{\mathrm{ij}},x_{i+1,j})}$

替代于直接最大化该密度函数，对于每个传感器，可以计算或近似边缘分布密度函数。考虑传感器(k，l)之前的滤光片；为了简化，假设传感器并不在传感器阵列的边缘上。现在可以通过对除x_kl外的所有其他x_ij求和来获得边缘分布：

$\·\underset{i=1}{\overset{N-1}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left(e^{-\mathrm{\β}}\right)}^{1-\mathrm{\δ}(x_{\mathrm{ij}},x_{i+1,j})}$

其中和是以除x_kl以外的所有其他x_ij获得所有可能的值(R，G，B)的方式来获得的，x_kl的值作为属性给出。回想似然函数可以表达为传感器式似然的积：

$L(X,D)=\underset{i,j=1}{\overset{N,N}{\mathrm{\Π}}}L(X_{\mathrm{ij}},D).$

下面可以做出近似：四个相邻传感器的彩色滤光片可以具有比远的那些传感器对于传感器更大的影响并且因此相邻者的彩色滤光片可以是变化的。因此我们近似：

$P(X_{k1}=x_{k1})=\frac{1}{\tilde{Z}}$

$\·L(X_{\mathrm{kl}}=x_{\mathrm{kl}}|D)\underset{(i,j)\∈\{(k-1,l),(k+1,l),(k,l-1),(k,l+1)\}}{\mathrm{\Π}}\left[\underset{x_{\mathrm{ij}}}{\mathrm{\Σ}}L(X_{\mathrm{ij}}=x_{\mathrm{ij}}|D){\left(e^{-\mathrm{\β}}\right)}^{1-\mathrm{\δ}(x_{\mathrm{ij}},x_{\mathrm{kl}})}\right],$

其中

是归一化的常数。为了获得传感器前的滤光片的后验估计最大值，可以对于每个x_kl∈{R，G，B}计算概率P(X_kl＝x_kl)并且可以选择给出最大后验概率的颜色。

考虑类似于图14b的上下文中的例子。再次假设对于变量X₂₂的似然函数是：

L(X₂₂＝R|D)＝0.35

L(X₂₂＝G|D)＝0.25

L(X₂₂＝B|D)＝0.4.

对于四个相邻传感器，假设它们中的两个可能是红色的，它们中的一个可能是绿色并且一个是蓝色。这里，不像在例子2中，也需要相邻传感器的似然函数。

假设似然函数具有下面的值：

例如β＝0.5，我们可以计算X₂₂的边缘后验分布：

$P(X_{22}=x_{22})=\frac{1}{\tilde{Z}}$

$\·L(X_{22}=x_{22}|D)\underset{(i,j)\∈\{\left(\mathrm{1,2}\right),\left(\mathrm{2,1}\right),\left(\mathrm{2,3}\right),\left(\mathrm{3,2}\right)\}}{\mathrm{\Π}}\left[\underset{x_{\mathrm{ij}}}{\mathrm{\Σ}}L(X_{\mathrm{ij}},D){\left(e^{-\mathrm{\β}}\right)}^{1-\mathrm{\δ}(x_{\mathrm{ij}},x_{22})}\right]$

计算此给出红色滤光片的概率：

$P(X_{22}=R|D)=\frac{1}{\tilde{Z}}\·0.35\·({0.65e}^0+{0.2e}^{-\mathrm{\β}}+{0.15e}^{-\mathrm{\β}})$

$\·({0.5e}^0+{0.15e}^{-\mathrm{\β}}+0.35e^{-\mathrm{\β}})$

$\·({0.25e}^0+{0.7e}^{-\mathrm{\β}}+0.05e^{-\mathrm{\β}})$

$\·({0.15e}^0+{0.2e}^{-\mathrm{\β}}+0.65e^{-\mathrm{\β}})$

以类似的方式计算其他颜色的概率：结果是：

$P(X_{22}=R|D)=0.114\frac{1}{\tilde{Z}}$

$P(X_{22}=G|D)=0.069\frac{1}{\tilde{Z}}$

$P(X_{22}=B|D)=0.107\frac{1}{\tilde{Z}}.$

归一化常数

必须使得概率求和达到1，因此 $\tilde{Z}=0.114+0.069+0.107.$ 现在，边缘后验概率是

P(X₂₂＝R|D)＝0.39

P(X₂₂＝G|D)＝0.24

P(X₂₂＝B|D)＝0.37.

因此，最大化概率密度函数的颜色是红色。对于每个内部传感器(即，不在传感器阵列的边缘上的传感器)，以类似的方式计算边缘概率。

如在上面的例子中所做的，X_ij的估计可以被固定为离散多个值的任意一个值。例如，可能的彩色滤光片值可以是红色、绿色、蓝色和白色，并且例如粉红色的任意组合是不被允许的。也可以对于变量X允许连续的值，由此X_ij可以在允许的范围内获得任意的值。

图15示出一种通过统计方法确定彩色滤光片值的方法。在1530中，接收来自于二进制像素阵列的像素值。这些像素值可以已经形成，从而光已经通过例如光学设置，从而其在阵列上形成图像，或从而其并不在阵列上形成图像。当光到达阵列上时，其可以通过二进制像素之上的彩色滤光片。彩色滤光片的颜色将确定光是否将由彩色滤光片停止，或者其是否将通过并且可以激活像素。在1540中，可以接收关于用于曝光像素阵列的光的信息，例如，可以接收像素上的光的颜色。在1580中，可以通过例如使用最大似然估计来形成彩色滤光片F(k，l)的颜色的估计。具有关联的彩色滤光片的二进制像素可以已经曝光于由光学器件所形成的图片，并且二进制像素可以产生一组输入像素值。

知道彩色滤光片的值，图像IMG1的输入像素值P1可以应用于颜色信号单元CSU1，以计算输出像素值P2。该形成输出像素值可以通过使用统计方法来实施，例如，最大似然方法或神经网络方法。输出像素值可以接着用于构建输出图像IMG2，例如，通过按矩形将像素排列成图像。应该理解的是如前所解释的，由光学器件和图像传感器所形成的二进制像素的值可以早些被捕获了，并且在该方法中，它们可以仅仅输入进学习系统。还需要理解的是从图像处理系统产生输出像素就足以了，并且可能不需要形成输出图像IMG2。

图16示出一种通过统计方法确定彩色滤光片值的方法。在1610中，可以向已知的图片或输入光曝光具有关联的彩色滤光片的二进制像素。例如，二进制像素阵列可以曝光于例如颜色光的单色光或来自于激光的光。二进制像素阵列也可以曝光于已知的图片，例如，颜色的图案。可以进行多次曝光以获得用于确定彩色滤光片颜色的更多数据。在1620中，二进制像素可以产生一组输入像素值。这可以发生，从而彩色滤光片确定光线是否通过二进制像素，并且接着，如前所解释的，二进制像素可以以统计的方式来激活。

在1630中，可以接收来自于二进制像素阵列的像素值。二进制像素值可以是比特串，或像素值可以被压缩。接收的二进制像素值可以存储于存储器中。在1640中，接收关于用于曝光像素阵列的光的信息，例如，可以接收像素上的光的颜色。关于光的信息可以存储在存储器中。

在1650中，可以形成用于确定彩色滤光片值的估计函数。由二进制像素阵列产生的数据可以用于确定估计函数。例如，可以使用二进制像素值形成似然函数。在1660中，可以形成邻域信息，例如，关于像素的相邻者的彩色滤光片的颜色的信息。在1670中，可以使用估计函数和邻域信息来形成能量函数。在使用测量数据和邻域像素的彩色滤光片值中，能量函数可以形成好的平衡。在1680中，例如通过最小化在1670中形成的能量函数，可以形成彩色滤光片的颜色的估计。对于每个像素，最小化可以迭代地发生，对于像素其可以按随机顺序发生，或例如通过模拟退火。

也可以单独地实施二进制像素的曝光，并且可以记录与每次曝光关联的二进制像素的值。接着，替代于曝光二进制像素，训练方法可以单独地应用于统计单元。事实上，训练可以发生于完全独立的设备中，该设备具有用于应用统计计算的合适设置。这样完成例如能够更快地计算彩色滤光片的颜色。

使用统计方法来确定彩色滤光片值可以具有优势，例如，因为彩色滤光片的放置或类型可以不需要提前知道。假设滤光片设置保持不变，学习阶段必需要一次解决。学习阶段可以在工厂或实验室环境中实施，其中教导光线的光谱或RGB值可以已知。该方法也可以用于在稍后调整成像图像。该方法也可以用于校正成像光学器件的色偏。

本发明的各种实施方式可以在计算机程序代码的帮助下实现，该计算机程序代码驻留于存储器中并且使得相关的设备来实施本发明。例如，设备可以包括用于处理、接收和发送数据的电路和电子线路，存储器中的计算机程序代码和处理器，当运行计算机程序代码时，该处理器使得设备实施一个实施方式的特征。

清楚的是本发明不限于上述的实施方式，但其可以在所附权利要求的范围内进行修改。

Claims (20)

1.一种用于适配图像处理系统的方法，包括：

-接收二进制像素值，通过应用光、利用具有彩色滤光片的二进制像素形成了所述二进制像素值，

-接收关于所述光的颜色的信息，

-通过使用所述二进制像素值和关于所述光的颜色的信息来形成第一像素的所述彩色滤光片的颜色的估计，以及

-使用所述估计来适配关于所述图像处理系统中的彩色滤光片的信息。

2.根据权利要求1所述的方法，进一步包括：

-将所述二进制像素曝光于通过叠加在所述二进制像素上的彩色滤光片的光，所述光已经通过光学布置，以及

-从所述二进制像素的输出形成所述二进制像素值。

3.根据权利要求1或2所述的方法，进一步包括：

-使用似然估计形成所述估计，以及

-迭代地精选所述估计。

4.根据权利要求1、2或3所述的方法，进一步包括：

-确定所述二进制像素的邻域，以及

-使用所述第一像素信息的所述邻域中的像素的估计值来形成所述第一像素的所述估计。

5.根据权利要求4所述的方法，进一步包括：

-通过优化能量函数来形成所述估计，所述能量函数具有第一分量和第二分量，其中第一分量指示所述彩色滤光片的所述颜色和所述光的所述颜色的相似度，而第二分量指示所述第一像素和所述第一像素的相邻者的值中的至少一个差。

6.根据权利要求1-5的任意一项所述的方法，其中在所述图像处理系统中执行所述调节以形成所述二进制像素的彩色滤光片的初始值，或者校准所述二进制像素的彩色滤光片的值。

7.一种设备，包括至少一个处理器，包括计算机程序代码的存储器，该存储器和计算机程序代码配置成利用所述至少一个处理器，使得所述设备至少执行以下操作：

-接收二进制像素值，通过应用光、利用具有彩色滤光片的二进制像素形成了所述二进制像素值，

-接收关于所述光的颜色的信息，

-通过使用所述二进制像素值和关于所述光的颜色的信息来形成第一像素的所述彩色滤光片的颜色的估计，以及

-使用所述估计来适配关于所述图像处理系统中的彩色滤光片的信息。

8.根据权利要求7所述的设备，进一步包括配置成利用处理器，使得所述设备至少执行以下操作的计算机程序代码：

-将所述二进制像素曝光于通过叠加在所述二进制像素上的彩色滤光片的光，所述光已经通过光学布置，以及

-从所述二进制像素的输出形成所述二进制像素值。

9.根据权利要求7或8所述的设备，进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：

-使用似然估计形成所述估计，以及

-迭代地精选所述估计。

10.根据权利要求7、8或9所述的设备，进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：

-确定所述二进制像素的邻域，以及

-使用所述第一像素信息的所述邻域中的像素的估计值来形成所述第一像素的所述估计。

11.根据权利要求10所述的设备，进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：

-通过优化能量函数来形成所述估计，所述能量函数具有第一分量和第二分量，其中第一分量指示所述彩色滤光片的所述颜色和所述光的所述颜色的相似度，而第二分量指示所述第一像素和所述第一像素的相邻者的值中的至少一个差。

12.根据权利要求7到11的任意一项所述的设备，进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：

-调节所述图像处理系统以形成所述二进制像素的彩色滤光片的初始值，或者校准所述二进制像素的彩色滤光片的值。

13.根据权利要求7到12的任意一项所述的设备，进一步包括：

-颜色信号单元，其包括至少一个所述神经网络，以及

-存储器，用于存储至少一个所述神经网络的参数和/或权重。

14.根据权利要求7到13的任意一项所述的设备，进一步包括：

-用于形成图像的光学布置，

-用于检测所述图像的二进制像素的阵列，以及

-多组所述二进制像素。

15.根据权利要求7到14的任意一项所述的设备，进一步包括：

-叠加在二进制像素的阵列上的至少一个彩色滤光片，所述彩色滤光片以非对齐的、不规则的、随机的，以及未知的叠加的组中的至少一种方式叠加在所述二进制像素的阵列上。

16.一种系统，包括至少一个处理器，包括计算机程序代码的存储器，所述存储器和计算机程序代码配置成利用所述至少一个处理器，使得所述系统至少执行以下操作：

-接收二进制像素值，通过应用光、利用具有彩色滤光片的二进制像素形成了所述二进制像素值，

-接收关于所述光的颜色的信息，

-通过使用所述二进制像素值和关于所述光的颜色的信息来形成第一像素的所述彩色滤光片的颜色的估计，以及

-使用所述估计来适配关于所述图像处理系统中的彩色滤光片的信息。

17.根据权利要求16所述的系统，其中所述系统包括：

-调节单元，配置成接收所述二进制像素值和关于所述光的颜色的所述信息，并且通过使用所述二进制像素值和关于所述光的颜色的信息来形成第一像素的所述彩色滤光片的颜色的估计，以及

-图像处理单元，其包括具有彩色滤光片的二进制像素阵列并且配置成形成图像，其中所述图像处理单元配置成从所述调节单元接收调节信息以便适配所述图像处理单元。

18.一种存储在计算机可读介质上并且在数据处理设备中可执行的计算机程序产品，其中所述计算机程序产品包括：

-用于接收二进制像素值的计算机程序代码段，通过应用光、利用具有彩色滤光片的二进制像素形成了所述二进制像素值，

-用于接收关于所述光的颜色的信息的计算机程序代码段，

-用于通过使用所述二进制像素值和关于所述光的颜色的信息来形成第一像素的所述彩色滤光片的颜色的估计的计算机程序代码段，以及

-用于使用所述估计来适配关于所述图像处理系统中的彩色滤光片的信息的计算机程序代码段。

19.根据权利要求18所述的计算机程序产品，其中所述计算机程序产品进一步包括：

-用于调节所述图像处理系统以形成所述二进制像素的彩色滤光片的初始值，或者校准所述二进制像素的彩色滤光片的值的计算机程序代码段。

20.一种设备，包括：

-处理装置，

-存储装置，

-用于接收二进制像素值的装置，通过应用光、利用具有彩色滤光片的二进制像素形成了所述二进制像素值，

-用于接收关于所述光的颜色的信息的装置，

-用于通过使用所述二进制像素值和关于所述光的颜色的信息来形成第一像素的所述彩色滤光片的颜色的估计的装置，以及

-用于使用所述估计来适配关于所述图像处理系统中的彩色滤光片的信息的装置。

Images