CN102713972A

CN102713972A - 使用神经网络的像素信息再现

Info

Publication number: CN102713972A
Application number: CN2009801630814A
Authority: CN
Inventors: T·里萨; M·维金科斯基
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2009-12-23
Filing date: 2009-12-23
Publication date: 2012-10-03
Also published as: US20120262610A1; EP2517171A1; RU2012130911A; WO2011076974A1; BR112012015709A2

Abstract

本发明涉及使用二进制像素来形成图像。二进制像素是仅具有两个状态的像素，当像素被曝光时是白色状态，而当像素不被曝光时是黑色状态。二进制像素在它们之上具有彩色滤光片，并且彩色滤光片的设置初始可以是未知的。神经网络可以用于学习彩色滤光片设置以产生正确的输出图像。随后，训练的神经网络可以随二进制像素阵列使用以从二进制像素阵列记录的输入图像产生图像。

Description

使用神经网络的像素信息再现

背景技术

二进制图像传感器可以包括例如设置为二维阵列的多于10⁹个单独的光检测器。每个单独的光检测器具有两个可能的状态：未曝光的“黑色”状态和曝光的“白色”状态。因此，一个单独的检测器并不重现不同的灰色阴影。图像的局部亮度可以例如通过白色像素的局部空间密度来确定。二进制图像传感器的各个光检测器的尺寸可以小于焦斑的最小尺寸，该焦斑可以通过数字照相机的成像光学器件来提供。

然而，由于大的数据尺寸，存储或传输这样的二进制数字图像可能是困难的或者不可能。所得到的图像数据可能太大，以致在数字照相机或甚至在台式计算机中存储和处理该二进制数字图像变得不切实际。

因此，需要一种解决方案来改进将二进制数字图像传感器应用到实际解决方案。

发明内容

现在已经发明一种改进的方法和实现该方法的技术设备，通过其缓解上述的问题。本发明的各种方面包括方法、设备、服务器、客户端和包括其中存储计算机程序的计算机可读介质，其特征通过独立权利要求来描述。在从属权利要求中公开本发明的各种实施方式。

二进制像素是仅具有两个状态的像素，当像素被曝光时是白色状态，而当像素不被曝光时是黑色状态。二进制像素在它们之上具有彩色滤光片，并且彩色滤光片的设置初始可以是未知的。神经网络可以用于学习彩色滤光片设置以产生正确的输出图像。随后，训练的神经网络可以随二进制像素阵列使用以从二进制像素阵列记录的输入图像产生图像。

根据第一方面，提供一种用于形成像素值的方法，包括：在图像处理系统中接收二进制像素值，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，以及向所述二进制像素值应用神经网络，以产生输出像素值。

根据一个实施方式，该方法进一步包括：将所述二进制像素曝光于通过叠加在所述二进制像素上的彩色滤光片的光，所述光已经通过光学布置，以及从所述二进制像素的输出形成所述二进制像素值。根据一个实施方式，该方法进一步包括：设置对应于所述二进制像素的所述神经网络中的参数或权重，以及从所述神经网络的输出形成至少一个输出像素值。根据一个实施方式，该方法进一步包括：通过向所述神经元的输入信号应用权重并且通过使用激活函数来计算所述神经元的输出，计算所述神经网络中的神经元的值，以及计算所述神经网络中的神经元的值，以及计算所述神经网络中的层中的神经元的值，其中所述层包括输入层、隐藏层和输出层的组中的至少一个层。

根据第二方面，提供一种设备，包括至少一个处理器，包括计算机程序代码的存储器，该存储器和计算机程序代码配置成利用所述至少一个处理器，使得所述设备在图像处理系统中接收二进制像素值，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，以及向所述二进制像素值应用神经网络，以产生输出像素值。

根据一个实施方式，该设备进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：将所述二进制像素曝光于通过叠加在所述二进制像素上的彩色滤光片的光，所述光已经通过光学布置，以及从所述二进制像素的输出形成所述二进制像素值。根据一个实施方式，该设备进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：设置对应于所述二进制像素的所述神经网络中的参数或权重，以及从所述神经网络的输出形成至少一个输出像素值。根据一个实施方式，该设备进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：通过向所述神经元的输入信号应用权重并且通过使用激活函数来计算所述神经元的输出，计算所述神经网络中的神经元的值，以及计算所述神经网络中的层中的神经元的值，其中所述层包括输入层、隐藏层和输出层的组中的至少一个层。根据一个实施方式，该设备进一步包括颜色信号单元，其包括至少一个所述神经网络，以及存储器，用于存储至少一个所述神经网络的参数和/或权重。根据一个实施方式，该设备进一步包括：用于形成图像的光学布置，用于检测所述图像的二进制像素的阵列，以及多组所述二进制像素。根据一个实施方式，该设备进一步包括：叠加在二进制像素的阵列上的至少一个彩色滤光片，所述彩色滤光片以非对齐的、不规则的、随机的和未知的叠加的组中的至少一个方式叠加在所述二进制像素的阵列上。

根据第三方面，提供一种用于适配图像处理系统的方法，包括：在图像处理系统中接收二进制像素值，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，向所述二进制像素值应用神经网络，以产生输出像素值，将关于所述接收的二进制像素值的信息与关于所述输出像素值的信息进行比较，以及基于所述比较，适配所述神经网络的参数。

根据一个实施方式，该方法进一步包括：将所述二进制像素曝光于通过叠加在所述二进制像素上的彩色滤光片的光，所述光已经通过光学布置，以及从所述二进制像素的输出来形成所述二进制像素值。根据一个实施方式，该方法进一步包括：通过向所述神经元的输入信号应用权重并且通过使用激活函数来计算所述神经元的输出，计算所述神经网络中的神经元的值，以及计算所述神经网络中的层中的神经元的值，其中所述层包括输入层、隐藏层和输出层的组中的至少一个层。

根据第四方面，提供一种设备，包括至少一个处理器，包括计算机程序代码的存储器，该存储器和计算机程序代码配置成利用所述至少一个处理器，使得所述设备至少执行以下操作：在图像处理系统中接收二进制像素值，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，向所述二进制像素值应用神经网络，以产生输出像素值，将关于所述接收的二进制像素值的信息与关于所述输出像素值的信息进行比较，以及基于所述比较，适配所述神经网络的参数。

根据一个实施方式，该设备进一步包括配置成利用所述处理器，使得所述设备至少执行以下的计算机程序代码：将所述二进制像素曝光于通过叠加在所述二进制像素上的彩色滤光片的光，所述光已经通过光学布置，以及从所述二进制像素的输出形成所述二进制像素值。根据一个实施方式，该设备进一步包括配置成利用所述处理器，使得所述设备至少执行以下的计算机程序代码：通过向所述神经元的输入信号应用权重并且通过使用激活函数来计算所述神经元的输出，计算所述神经网络中的神经元的值，以及计算所述神经网络中的层中的神经元的值，其中所述层包括输入层、隐藏层和输出层的组中的至少一个层。

根据第五方面，提供一种存储在计算机可读介质上并且在数据处理设备中可执行的计算机程序产品，其中所述计算机程序产品包括：用于接收二进制像素值的计算机程序代码段，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，用于向所述二进制像素值应用神经网络，以产生输出像素值的计算机程序代码段，用于使用所述输出像素值来形成输出图像的计算机程序代码段。根据一个实施方式，所述计算机程序产品进一步包括：用于接收所述神经网络的参数或权重的计算机程序代码段，用于设置所述神经网络中的所述参数或权重的计算机程序代码段，以及用于从所述神经网络的输出形成输出像素值的计算机程序代码段。

根据第六方面，提供一种设备，包括：处理装置，存储装置，用于在图像处理系统中接收二进制像素值的装置，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，以及用于向所述二进制像素值应用神经网络，以产生输出像素值的装置。

附图说明

在下文中，将参考所附附图更为详细地描述本发明的各种实施方式，其中：

图1a示出二进制图像；

图1b示出作为曝光函数的白色像素的密度；

图2a示出女孩的灰度级图像；

图2b示出女孩的二进制图像；

图3a示出针对单个像素的白色状态的概率；

图3b示出白色状态概率对波长的依赖性；

图4示出用于捕获色彩信息的二进制像素矩阵之上的拜耳矩阵型彩色滤光片；

图5示出用于形成输出像素的二进制像素阵列之上的随机彩色滤光片；

图6示出成像设备的框图；

图7示出用于从二进制像素形成输出像素的颜色信号单元；

图8示出用于确定覆盖在二进制像素阵列之上的彩色滤光片布局的布置；

图9示出用于利用覆盖在二进制像素阵列之上的彩色滤光片确定入射光的颜色的布置；

图10示出用于从二进制输入像素值形成输出像素值的神经网络；

图11示出用于从二进制输入像素值形成输出像素值的神经网络布置；

图12示出用于从二进制输入像素值形成输出像素值的具有存储器的神经网络系统；

图13示出用于从二进制输入像素值形成输出像素值的具有存储器的神经网络系统；

图14a示出用于从二进制输入像素值形成输出像素值的神经网络的教导布置；

图14b示出应用神经网络以便从二进制输入像素值形成输出像素值的布置；

图15a示出用于使用神经网络从二进制输入像素产生输出图像的方法；

图15b示出用于使用神经网络从二进制输入像素产生输出图像的另一个方法；以及

图16示出用于教导神经网络以便从二进制输入像素产生输出图像的方法。

具体实施方式

下面将在二进制像素阵列的环境中描述本发明的若干实施方式。然而，将注意到本发明并不限于二进制像素阵列。事实上，不同的示例实施方式在任意的环境中具有广泛的应用，在该任意的环境中，实施通过部分未确定的过程将输入像素值映射到输出像素值。

现在参考图1a，在示例实施方式中应用的图像传输感可以是安排用以提供二进制图像IMG1的二进制图像传感器。图像传感器可以包括光检测器的二维阵列，使得每个光检测器的输出仅具有两个逻辑状态。所述逻辑状态在这里称为“黑色”状态和“白色”状态。图像传感器可以被初始化，从而所有的检测器可以初始在黑色状态。通过将其曝光，各个检测器可以被切换到白色状态。因此，由图像传感器所提供的二进制图像IMG1可以包括像素P1，其可以分别处于黑色状态或白色状态。表述“白色像素”和“像素是白色”表示处于白色状态的像素。表述“黑色像素”表示分别处于黑色状态的像素。这些表述并不指示像素的颜色，它们仅仅描述像素是否由于光而已经被激活(白色状态或“被照亮”)或者它是否保持非活跃(黑色状态或“未被照亮”)。

像素P1可以按照行和列来布置，即，输入图像IMG1的每个像素P1的位置可以通过相应列的索引k和相应行的索引l来定义。例如，在图1a中示出的像素P1(3，9)是黑色的而像素P1(5，9)是白色。

二进制光检测器例如可以通过提供具有很高的转换增益(低电容量)的常规(比例)光检测器来实现。其他可能的方法包括雪崩或碰撞电离以提供像素级增益，或使用量子点。

图1b示出作为光学曝光H的函数的白色像素P1的密度D的估计。曝光H以对数刻度示出。密度D表示在图像IMG1的部分内的白色像素P1的数目与所述部分内的像素P1的总数目的比值。密度值100％表示该部分内的所有像素处于白色状态。密度值0％表示该部分内的所有像素处于黑色状态。光学曝光H正比于光强和曝光时间。密度D在零曝光H处是0％。随着增长的曝光，密度增长，直到密度开始饱和接近于上限100％。

预定像素P1从黑色到白色的转换是随机现象。当图像IMG1的部分内包含高数目的像素P1时，该部分内的白色像素P1的实际密度沿图1b的曲线。

在各个像素的情形中，图1b的曲线也可以解释为代表其中在预定的光学曝光H后(也参见图3a和3b)，预定像素P1的状态从黑色状态转换到白色状态的情形的概率。

当曝光曲线的斜率ΔD/Δlog(H)足够高时(大于或等于预定的值)，输入图像IMG1被适当地曝光。典型地，当曝光H大于或等于第一预定限度HLOW并且小于或等于第二预定限度HHIGH时，获得该条件。因此，当曝光H小于第一预定限度HLOW时，输入图像可能欠曝光，并且当曝光H大于第二预定限度HHIGH时，输入图像可能过曝光。

当曝光H小于第一限度HLOW或者大于第二限度HHIGH时，输入图像IMG1的信噪比或输入图像IMG1的更小部分的信噪比可能低的不可接受。在那些情形中，可以接受的是减小有效的空间分辨率以便增加信噪比。

二进制图像的部分的曝光状态取决于所述部分内的白色和/或黑色像素的密度。因此，可以例如基于所述部分内的白色像素P1的密度来估计输入图像IMG1的部分的曝光状态。图像部分内的白色像素的密度取决于所述部分内的黑色像素的密度。

也可以例如通过使用由相同的图像传感器先前捕获的另外输入图像IMG1来确定输入图像IMG1的部分的曝光状态。输入图像IMG1的部分的曝光状态也可以例如通过使用由另外的图像传感器捕获的另外图像来估计。

可以用于确定曝光状态的另外图像传感器也可以是模拟传感器。模拟图像传感器包括各个光检测器，其被布置成除了提供黑色和白色以外，还提供不同的灰度级。由模拟图像传感器所捕获的图像的不同部分也可以被确定为欠曝光、适当地曝光或者过曝光。例如，当由模拟图像传感器所捕获的图像的部分内的基本上所有的像素的亮度值大于90％时，图像部分可以被归类为过曝光。例如，当由模拟图像传感器所捕获的图像的部分内的基本上所有的像素的亮度值小于10％时，图像部分可以被归类为欠曝光。当相当部分的像素具有10％到90％范围内的亮度值时，则图像部分可以分别被适当地曝光。

图2a通过例子示出按灰度级的女孩图像。图2b示出对应于图2a的图像的二进制图像。图2b的图像具有大的像素尺寸，从而强调黑色和白色像素结构。实际上，构成图2b的图像的二进制像素通常小于构成图2a图像的输出像素。图2b的若干个二进制像素可以对应于图2a的一个模拟像素。图2b中的白色状态的二进制像素的密度可以具有与图2a中的模拟像素的灰度级亮度的对应性。

图3a示出针对单个二进制像素的曝光或状态变化的概率，即，单个预定像素的状态从黑色状态转换到白色状态的概率。在图1b中，示出作为强度H的函数的相比较于黑色像素的白色像素的密度。相应地，参考图3a，像素具有处于白色状态的概率，并且该概率是强度的函数。例如，当光学曝光是H₁时，像素P1(1，1)具有50％的概率处于白色状态，而当光学曝光是H₂时，像素P1(2，1)具有50％的概率处于白色状态。如上所提到的，光学曝光H正比于光强和曝光时间。不同的像素可以具有不同的概率曲线，即，在具有相同强度H的入射光下，它们可以具有不同的概率处于白色状态。

图3b示出作为在彩色滤光片和二进制像素的组合上碰撞的光的波长的函数的单个二进制像素的状态变化概率。在图3b中，假设各种二进制像素在它们之上可以加设有彩色滤光片，从而入射光的某些色段能够通过。在此类的布置中，当二进制像素被曝光于具有相同的光强但不同波长(颜色)的光时，不同的二进制像素可以具有不同的概率处于白色状态。

例如，在图3b中，像素P1(5，5)响应于具有波长基本上对应于蓝色的光。当入射光的波长偏离于蓝色时，像素P1(5，5)具有较低的概率处于曝光(白色)状态。类似地，像素P1(5，2)响应于具有波长基本上对应于绿色的光，并且像素P1(2，2)响应于具有波长基本上对应于红色的光。

二进制像素之上的彩色滤光片可以试图充当带通滤波器，由此下层的像素仅响应于某些色段中的光，例如红色、绿色或蓝色或任意其他的颜色或波长。然而，彩色滤光片可能要么有意地要么偶然地存在缺点，并且带通滤光片可能“泄露”从而其他颜色也被允许通过。

作为波长的函数被曝光的像素的概率可能不是具有规则形状的函数，如图3b中针对蓝色像素(实线)、绿色像素(虚线)以及红色像素(点划线)的钟型函数。事实上，概率函数可能是非规则的，其可以具有若干个顶点，并且其可以具有厚尾(即，具有不可忽视量级的长尾)，从而例如红色像素以蓝光曝光的概率并不基本上是零，而可以是例如3％、10％或30％，或甚至更大。

不同颜色的像素的状态变化概率函数可以基本上是非重叠的，如在图3b的情形中，从而单色光具有基本上曝光相同颜色的像素(而非其他像素)的概率。状态变化概率函数也可以是重叠的，从而红色和绿色波长之间的光具有曝光红色像素P1(2，2)和绿色像素P1(5，2)二者的显著概率。状态变化概率函数也可以依像素而变化。

图4示出在二进制像素阵列之上用于形成输出像素的拜尔矩阵型彩色滤光片。图4中二进制像素P1(k，l)的像素坐标对应于图3b并且创建输入图像IMG1。拜尔矩阵是利用彩色滤光片的布置，这些彩色滤光片以规则的布局放置在光传感器之上，其中以交替的方式，每两个滤光片是绿色，而每两个滤光片是红色或蓝色。因此，如图4中所示，基于上50％的滤光片是绿色(以向下的对角纹理示出)，基本上25％的滤光片是红色(以向上的对角纹理示出)，并且基本上25％的滤光片是蓝色(以交叉图案纹理示出)。在其中拜尔矩阵放置在二进制像素阵列之上的设置中，各个彩色滤光片FR、FG和FB可以覆盖单个的二进制像素或多个二进制像素，例如4个二进制像素、9.5个二进制像素、20.7个二进制像素、100个二进制像素、1000个二进制像素或者更多。如果二进制输入像素的中心之间的距离在宽度上是w1而在高度上是h1，各个拜尔矩阵滤光片的中心之间的距离在宽度上可以是w4而在高度上可以是h4，由此w4＞w1并且h4＞h1。因此，滤光片可以覆盖若干个二进制像素。各个滤光片可以被紧密地隔开，它们可以在其之间具有间隔(在之间空出区域以让所有颜色通过)或它们可以彼此覆盖。滤光片可以是正方形、矩形、六边形或任意其他的形状。

图像IMG1的二进制像素可以形成对应于输出图像IMG2的像素P2(i，j)的多个组GRP(i，j)。通过这种方式，可以形成二进制输入图像IMG1和输出图像IMG2之间的映射。多个组GRP(i，j)可以包括具有不同颜色的彩色滤光片的二进制像素。多个组可以具有相同的尺寸，或者它们可以具有不同的尺寸。多个组可以具有规则的形状，或者它们可以具有非规则的形状。多个组可以彼此重叠，它们可以彼此相邻，或者它们在多个组之间具有间隔。在图4中，作为例子，对应于图像IMG2的像素P2(1，1)的组GRP(1，1)覆盖图像IMG1的64(8×8)二进制像素，即，组GRP(1，1)包括像素P1(1，1)-P1(8，8)。多个组GRP(i，j)的边界可以与彩色滤光片FR、FG、FB的边界相一致，但这并不是必需的。组边界也可以关于拜尔矩阵滤光片的边界而被取代和/或非对准。通过这种方式，图像IMG1的多个组GRP(i，j)可以用于形成图像IMG2中的像素P2(i，j)。像素P2(i，j)的中心之间的距离可以是宽度为w2而高度为h2。输出像素P2可以分别具有w2和h2的尺寸，或它们可以更小或更大。

图5示出用于形成输出像素的二进制像素阵列之上的随机彩色滤光片。与图4一样，图像IMG1包括二进制像素P1(k，l)，其可以分组成多个组GRP(i，j)，多个组对应于图像IMG2中的像素P2(i，j)，并且图像IMG1和IMG2的设置与图4中的相同。然而，相比较于图4，图5的彩色滤光片FG、FR和FB不具有规则的形状或者以规则的布置来设置。彩色滤光片可以具有不同的尺寸，并且可以以随机的方式放置在二进制像素之上。彩色滤光片可以彼此分隔开，它们可以相邻于彼此或者它们可以彼此重叠。彩色滤光片可以在彼此之间留有空间，以让所有颜色或波长的光通过，或替代地，基本上根本不让光通过。像素P1(k，l)中的一些可以是无功能的像素PZZ，其被永久性地置于白色(曝光)状态，或者黑色(未曝光)状态，或者否则发出不并很好地取决于光的入射强度的错误信号。像素P1(k，l)对于处于白色状态可以具有作为入射光的强度函数的不同概率函数。像素P1(k，l)对于处于白色状态可以具有作为入射光的波长函数的不同概率函数。这些属性可以由于像素本身的缺陷或者由于覆盖的彩色滤光片的缺陷而形成。例如，彩色滤光片可以具有不同于红色、绿色和蓝色的颜色。

对于类似于图5中示出的布置，组GRP(i，j)可以包括具有绿色G滤光片、红色R滤光片或蓝色B滤光片的变化数目的二进制像素。进一步，不同的红色、绿色或蓝色二进制像素可以不同地放置在不同的组GRP(i，j)中。根据已知的或未知的分布，红色、绿色或蓝色像素的平均数目和不具有滤光片的像素跨多个组GRP(i，j)可以基本上相同，或者红色、绿色或蓝色像素的平均数目(密度)和不具有滤光片的像素跨多个组GRP(i，j)可以变化。

图6示出成像设备的框图。参考图6，成像设备500可以包括用于捕获对象的二进制数字输入图像IMG1的成像光学器件10和图像传感器100，以及布置成基于输入图像IMG1提供输出图像IMG2的信号处理单元(即，颜色信号单元)CSU1。成像光学器件10可以是例如聚焦透镜。输入图像IMG1可以绘出对象，例如风景、人脸或动物。输出图像IMG2可以绘出相同的对象但以更低的空间分辨率或像素密度。

图像传感器100可以是包括光检测器的二维阵列的二进制图像传感器。检测器可以以例如多于10000个列和多于10000个行来布置。图像传感器100可以包括例如多于10⁹个单独的光检测器。由图像传感器100捕获的输入图像IMG1可以包括例如以41472个列和31104个行布置的像素(图像数据大小为1.3·10⁹个比特，即1.3个吉比特或者160个兆字节)。相应的输出图像IMG2可以具有更低的分辨率。例如，相应地输出图像IMG2可以包括例如以2592个列和1944个行布置的像素(图像数据大小近似于5·10⁶像素，对于每个颜色R、G、B每个像素8比特，总的数据大小是1.2·10⁸，即近似于120兆比特或15个兆字节)。因此，图像尺寸可以被减小，例如以10的因子(＝1.3·10⁹/1.2·10⁸)。

二进制输入图像IMG1的数据大小例如可以大于或等于相应输出图像IMG2数据大小的4倍，其中数据大小可以被指示，例如以描述图像信息所需的总比特数目。如果需要减小更多的数据，输入图像IMG1的数据大小可以大于相应输出图像IMG2的数据大小10倍、20倍、50倍或者甚至100倍，或者1000倍。

成像设备500可以包括输入存储器MEM1、存储输出图像IMG2的输出存储器MEM2、用于存储涉及图像处理的数据的存储器MEM3，该数据例如神经网络的系数或权重或其他数据，工作存储器MEM4，用于例如存储用于数据处理算法和其他程序和数据的计算机程序代码，显示器400、用于控制成像设备500的操作的控制器220以及用于从用户接收指令的用户接口240。

输入存储器MEM1可以至少临时存储输入图像IMG1的像素P1的某些行或列。因此，输入存储器可以被布置成存储至少输入图像IMG1的部分，或者其可以被布置成存储整个输入图像IMG1。输入存储器MEM1也可以布置成驻留在与图像传感器100相同的模块内，例如从而图像传感器的每个像素可以具有一个、两个或更多个的存储器位置，其可操作地连接到图像传感器像素，以便存储由图像传感器记录的数据。

信号处理器CSU1可以布置成处理由图像传感器100捕获的像素值IMG1。处理可以例如使用神经网络或者其他装置发生，并且来自于存储器MEM3的系数或者权重可以在处理中使用。信号处理器CSU1可以存储其输出数据，例如，到MEM2或到MEM3的输出图像IMG2(在图中未示出)。信号处理器CSU1可以独立地工作，或者其可以通过由例如通用处理器的控制器220来控制。输出图像数据可以从信号处理单元200和/或输出存储器MEM2经由数据总线242向外部存储器EXTMEM传送。信息可以经由例如因特网和/或经由移动电话网络来发送。

存储器MEM1、MEM2、MEM3和/或MEM4可以物理地位于相同的存储器单元内。例如，存储器MEM1、MEM2、MEM3和/或MEM4可以分配相同组件中的存储器区域。存储器MEM1、MEM2、MEM3、MEM4和/或MEM5也可以物理地位于与相应的处理单元连接，例如从而存储器MEM1位于与图像传感器100连接、存储器MEM3位于与信号处理器CSU1连接，而存储器MEM3和MEM4位于与控制器220连接。

成像设备500可以进一步包括用于显示输出图像IMG2的显示器400。输入图像IMG1也可以被显示。然而，由于输入图像IMG1的大小可以很大，可能从而输入图像的一小部分可以每次以全分辨率来显示。成像设备500的用户可以使用接口240来例如选择输出图像IMG2的图像捕获模式、曝光时间、光学变焦(即，光学放大)、数字变焦(即，数字图像的剪切)和/或分辨率。

成像设备500可以是具有图像传感器的任意设备，例如数字静态成像或视频照相机、便携式或固定电子设备像移动电话、膝上型计算机或台式计算机、视频照相机、电视或屏幕、显微镜、望远镜、汽车或自行车、飞机、直升机、卫星、轮船或植入物例如眼植入物。成像设备500也可以是在上述的任意设备中使用的模块，由此成像设备500可以通过有线或无线连接、或光学连接，以固定或可拆卸的方式可操作地连接到设备。

设备500也可以省略具有图像传感器。可行的是存储来自于另一设备的二进制像素的输出，并且仅处理设备500中的二进制图像IMG1。例如，数字照相机可以以原始格式存储二进制像素以便稍后处理。原始格式图像IMG1接着可以在设备500中立即或稍后处理。设备500因此可以是具有用于处理二进制图像IMG1的装置的任意设备。例如，设备500可以是移动电话、膝上型计算机或台式计算机、视频照相机、电视或屏幕、显微镜、望远镜、汽车或自行车、飞机、直升机、卫星、轮船或植入物例如眼植入物。设备500也可以是在任意上述的设备中使用的模块，由此成像设备500可以通过有线或无线连接、或光学连接，以固定或可拆卸的方式可操作地连接到设备。设备500可以实现为计算机程序产品，其包括用于从原始图像确定输出图像的计算机程序代码。设备500也可以实现为一种服务，其中各种部分和处理能力可以驻留于网络中。服务可以能够处理原始或二进制图像IMG1以向服务的用户形成输出图像IMG2。处理也可以在若干个设备之间分布。

控制单元220可以布置成控制成像设备500的操作。控制单元220可以布置成向图像传感器100发送信号，例如，以便设置曝光时间、以便开始曝光和/或以便重置图像传感器100的像素。

控制单元220可以布置成向成像光学器件10发送信号，例如用于执行聚焦、用于光学变焦和/或用于调节光学孔径。

感谢根据本发明的图像处理，输出存储器MEM2和/或外部存储器EXTMEM可以存储比没有图像处理更多数目的输出图像IMG2。替代地或附加地，存储器MEM2和/或EXTMEM的尺寸可以与没有所述图像处理更小。另外，经由数据总线242的数据传输速率可以被降低。由于信号处理器CSU1中的处理，可以实现这些优势而没有图像分辨率中的可见损失。

图7示出用于从二进制像素形成输出像素的颜色信号单元CSU1。颜色信号单元或信号处理器CSU1可以具有对应于输入图像IMG1中的像素P1的大量输入，例如16、35、47、64、280、1400、4096、10000或更多的输入。例如，输入可以对应于多个组GRP(i，j)的二进制像素并且可以是从像素P1(m+0，n+0)到P1(m+7，n+7)的二进制值，二进制值指示相应的像素是否已经被曝光或没有曝光(相应地，处于白色或黑色状态)。在图7中，索引m和n可以指定输入像素组GRP(i，j)的左上角的坐标，该输入像素组被馈入到颜色信号单元CSU1的输入。例如，当处理组GRP(1，1)时，为了计算输出像素P2(1，1)的颜色值，输入像素P1(1，1)，P1(2，1)，P1(3，1)…P1(6，8)，P1(7，8)，和P1(8，8)的值(即，状态)可以被馈入到颜色信号单元CSU1的64个不同的输入。

颜色信号单元或信号处理器CSU1可以采取其他数据作为输入，例如，涉及组GRP(i，j)的处理的数据PARA(i，j)或涉及处理所有或一些组的通用数据。可以通过将数据PARA组合进输入值P1来使用这些数据PARA，或者数据PARA可以用于控制颜色信号单元CSU1的工作参数。颜色信号单元可以具有例如3个输出或任意其他数目的输出。通过确定针对红色分量的输出信号S_R(i，j)、绿色分量的输出信号S_G(i，j)和蓝色分量的输出信号S_B(i，j)的三个不同输出信号来指定输出像素P2(i，j)的颜色值。输出可以对应于输出像素P2(i，j)，例如，输出可以是输出像素的颜色值红色、绿色和蓝色。颜色信号单元CSU1可以对应于一个输出像素，或更多数目的输出像素。

颜色信号单元CSU1也可以提供输出信号，其对应于不同于RGB系统的颜色系统。例如，输出信号可以指定针对CMYK-系统(蓝绿色、洋红色、黄色、基本色)，或YUV-系统(亮度、第一色差、第二色差)的颜色值。输出信号和彩色滤光片可以对应于相同的彩色系统或不同的彩色系统。因此，颜色信号单元CSU1也可以包括用于提供从第一颜色系统到第二颜色系统的转换的计算模块。例如，图像传感器100可以以红色、绿色和蓝色滤光片(RGB系统)覆盖，但颜色信号单元CSU1根据YUV系统可以提供三个输出信号。

对于每个输出像素P2，颜色信号单元CSU1可以提供两个、三个、四个或更多个不同的颜色信号。

图8示出用于确定覆盖二进制像素阵列的彩色滤光片布局的布置。二进制像素P1(k，l)的变化状态的概率可以是入射光强度的函数，如更早在图3a和图3b的上下文中所解释的。进一步，如在图4和图5的上下文中所解释的，二进制像素P1(k，l)可以具有二进制像素之上的彩色滤光片F(k，l)。由于彩色滤光片的不规则形状和尺寸和/或由于彩色滤光片阵列与二进制像素阵列的未知对准，在二进制像素P1(k，l)之上的滤光片的颜色(或多个滤光片的多个颜色)可能不是已知的。在图8中已经以问号标记未知的彩色滤光片值。

例如，在彩色滤光片阵列已经加工在二进制像素阵列之上后，可能无法立即知道哪个拜尔矩阵单元覆盖于哪个二进制像素之上(如图4中所示)，或在非规则的设置中，哪个彩色滤光片在哪个二进制像素之上(如图5中所示)。彩色滤光片阵列也可以关于其颜色是不规则的，即，滤光片单元的颜色可能无法恰好与预计的颜色相同。滤光片的位置和颜色也可能随时间改变，例如，由于机械或物理磨损或由于曝光。

为了确定彩色滤光片F(k，l)的颜色值，已知颜色或已知输入图像的光束LB0可以通过彩色滤光片阵列应用于二进制像素阵列。二进制像素的输出，即，二进制像素对已知的输入的响应可以接着用于确定彩色滤光片阵列的信息。例如，像素阵列可以若干次曝光于输入光束LB0或不同的输入图像的不同颜色。二进制像素的输出可以被记录和处理。例如，二进制像素P1(k，l)可以被分组成多个分组GRP(i，j)，如在图4和5的上下文中所解释的，并且每个组GRP(i，j)的信息可以被单独地处理。这将在稍后处理。

图9示出以覆盖二进制像素阵列的彩色滤光片来确定入射光颜色的布置。在该点上，存在关于彩色滤光片F(k，l)的一些信息，例如，各个彩色滤光片可以已知，或者可以已知涉及二进制像素的多个组GRP(i，j)的不同彩色滤光片红色、绿色和蓝色的数目。也可以仅从二进制像素阵列P1(k，l)到输出像素阵列P2(i，j)的转换是已知的或至少部分已知。该彩色滤光片F(k，l)的信息可以包括关于滤光片的颜色的信息、关于无功能的像素的信息和/或关于不具有关联的彩色滤光片的像素的信息。

关于彩色滤光片F(k，l)的信息现在可以用于确定入射光LB1的信息。例如，入射光可以通过透镜系统来形成，并且因此可以形成图像传感器100上的图像。当入射光通过彩色滤光片F(k，l)到达二进制像素阵列P1(k，l)，其使得一些二进制像素被曝光(进入到白色状态)。因为光LB1已经通过彩色滤光片，由曝光的二进制像素形成的图像IMG1具有关于光强和命中每个二进制像素的光LB1的颜色的信息。当通过使用关于彩色滤光片F(k，l)的信息来将图像IMG1转换成图像IMG2时，例如通过将二进制像素分组成多个组GRP(i，j)以形成图像IMG2的像素P2(i，j)时，可以从光LB1解码颜色信息，并且图像IMG2的每个像素可以分配有一组亮度值，对于每个颜色分量R、G和B一个亮度值。

换句话说，由照相机光学器件创建在叠加彩色滤光片的二进制像素阵列上的图片可以使得基于命中像素的光的颜色和在像素之上的滤光片F(k，l)的颜色来激活二进制像素。例如，当蓝光命中蓝色滤光片F(k，l)，当其通过滤光片时，光强可以不被过多减小。因此，位于蓝色滤光片之下的二进制像素可以具有处于白色状态(被曝光)的高概率。另一方面，当蓝光命中红色滤光片F(k，l)时，光强可以在很大程度上被减小。因此，位于红色滤光片之下的二进制像素可以具有处于白色状态(被曝光)的低概率。因此，当更大一组的二进制像素GRP(i，j)被曝光于某个颜色的光时，例如蓝色，相比较于具有另一颜色(红色和绿色)的彩色滤光片的那些二进制像素，具有相应的彩色滤光片(例如，蓝色)的更多二进制像素将被激活到白色状态。各个二进制像素的曝光值(白色/黑色)可以由颜色信号单元CSU1用于形成输出图像IMG2。

下一步，将描述神经网络的操作。神经元是神经网络的基本处理单元。神经元可以通过给出长度为n的权重矢量w，偏差项θ和激活函数f。神经元取n个输入值x＝x₁…x_n，并且例如通过xw^T+θ(其中T指示矢量或矩阵的转置)或者通过将激活函数应用于输入值和权重来计算其输出值。

神经网络是神经元的互连网络。其可以被考虑为有向图，其中每个神经元是节点并且边表示神经元之间的连接。前馈神经网络是一种特定类型的神经网络，其中神经元被组织成层。L层中的神经元从前一层接收它们的输入，并且它们的输入连接到下一层的神经元的输入。相同层中的神经元之间可以不具有连接并且信息可以基本上从一个层移动到下一个层而没有层之间的反馈连接，因此名为前馈神经网络。

可以存在三种类型的层：输入层、隐藏层和输出层。输入在输入层处应用，并且输出层中的神经元的输出是神经网络的输出。输入层和输出层之间的层可以被称为隐藏层。还存在其他类型的神经网络，但在这些示例实施方式中，为了简明，考虑前馈神经网络。

图10示出用于从二进制输入像素值形成输出像素值(例如，三个颜色分量作为三个输出)的神经网络。神经网络可以通过专用硬件来形成，或者其可以通过例如颜色信号单元CSU1中的计算机软件来形成。神经网络可以具有从二进制像素P1的值形成的输入。神经网络可以具有例如16、50、64、128、180、400、1000、90000或1百万个输入或更多的输入。在图10的例子中，神经网络具有64个输入P1(m+0，n+0)到P1(m+7，n+7)。神经网络的64个输入分别连接到节点INOD0到INOD63。INOD节点构成所谓的输入层L0。输入层节点可以具有激活函数，其定义作为输入的函数的节点的输出。该激活函数可以是线性的或非线性的。

输入层节点连接到隐藏层L1节点HNOD0到HNOD15，即在例子中，存在例如16个隐藏层节点。输入层节点和隐藏层节点之间的连接具有关联的权重或系数wi0到wi1023。来自于连接到特定隐藏层节点的输入层节点INOD的值与相应的权重相乘，以形成到隐藏层节点的输入。例如，来自于输入层节点INOD0的值与权重wi0相乘，并且与其他输入用于形成到隐藏层节点HNOD0的输入矢量。隐藏层节点可以具有激活函数，其定义作为输入的函数的节点的输出。该激活函数可以是线性的或非线性的。

隐藏层节点连接到输出层L2节点ONOD_R、ONOD_G和ONOD_B，即在例子中，存在三个输出层节点。隐藏层节点和输出层节点之间的连接具有关联的权重或系数wo0到wo47。来自于连接到特定的输出层节点的隐藏层节点HNOD的值与相应的权重相乘，以形成到输出层节点的输入。例如，来自于隐藏层节点HNOD0的值与权重wo0相乘，并且与其他输入用于形成到输出层节点HNOD_R的输入矢量。输出层节点可以具有激活函数，其定义作为输入的函数的节点的输出。该激活函数可以是线性的或非线性的。输出层节点ONOD_R，ONOD_G和ONOD_B可以产生对应于输出像素P2(i，j)的红色(S_R(i，j))、绿色(S_G(i，j))和蓝色(S_B(i，j))值的输出。

神经网络可以布置成从而输入层节点的激活函数是线性函数，隐藏层节点的激活函数是非线性函数，例如sigmoid函数，并且输出层节点的激活函数是线性函数。每个层中的不同神经元的激活函数可以是相同的，或者它们可以是不同的。

下面将解释在给定二进制传感器阵列的输出下，如何可以使用神经网络来导出入射光的颜色值。假设在传感器阵列中存在n个传感器并且m个色段用于代表频谱，可以创建具有n个二进制输入、m个输出和一个隐藏层的神经网络。神经网络的权重可以初始化为随机值。隐藏层中的激活函数可以是log-sigmoid函数，并且在输出层中是线性函数。可以使用多于一个的隐藏层。隐藏层中的神经元的数目可以取决于彩色滤光片的复杂度、以及输入和输出层中的神经元的数目。在获得训练数据后，通过使用共轭梯度算法来更新权重和偏差项，训练该网络。在可接受的误差等级到达后，训练停止。

即使在训练神经网络后，可能无法单独地知道每个像素之上的彩色滤光片。可以对神经网络确定和教导彩色滤光片值。可以不需要对神经网络训练各个彩色滤光片值。神经网络可以能够在没有关于二进制像素的各个彩色滤光片值下，从输入像素P1确定输出像素P2。从输入像素P1形成输出像素P2可以完成，从而神经网络向输入像素数据P1应用网络中的权重和激活函数并且产生输出像素P2。关于各个像素之上的彩色滤光片的信息因此可以包括在神经网络的权重或系数中。确定彩色滤光片可以从权重确定，或不太可能从权重确定。

图11示出用于从二进制输入像素值形成输出像素值的神经网络布置。二进制像素P1的不同多个组GRP(i，j)可以具有关联的神经网络NN(i，j)。这些神经网络NN(i，j)可以通过硬件或通过软件或通过硬件和软件的组合来形成。神经网络可以是如图10的上下文中解释形成的神经网络。多个组GRP(i，j)中的二进制像素P1可以用作到神经网络NN(i，j)的输入。神经网络NN(i，j)可以训练为从组GRP(i，j)的输入产生正确的输出S_R(i，j)，S_G(i，j)和S_B(i，j)。该输出可以构成或可以用于形成输出像素P2(i，j)的值。从神经网络NN的输出形成的不同像素P2可以用于形成输出图像IMG2。

神经网络NN可以例如使用模拟或数字电子器件来电子学地形成，并且电子器件可以包括外部于神经网络或嵌入到神经网络的存储器。神经网络NN可以通过计算机程序代码来形成。神经网络也可以通过合适于光学计算的光学组件来光学地形成。

图12示出用于从二进制输入像素值形成输出像素值的具有存储器的神经网络系统。图11的神经网络可以形成为神经网络模块NNMOD。该模块可以包括如图像IMG2中的输出像素P2一样多的神经网络，或者该模块可以包括比像素P2的数目更少的神经网络。例如，模块NNMOD可以包括1、16、64或1024个神经网络。

神经网络的权重可以完全地或部分地存储在存储器MEM中。当新的一组输入像素连接到神经网络模块NNMOD的输入时，对应于多个输入像素组GRP的一组权重可以从存储器MEM加载到神经网络模块。通过该方式，可以形成比并行处理所有的输入像素所需的神经网络模块NNMOD更小的神经网络模块NNMOD。换句话说，利用从存储器MEM加载的用于神经网络的相应权重，每次仅输入像素的子集被处理以输出像素。通过从头到尾计算输入像素和权重，产生整个一组输出像素。

图13示出用于从二进制输入像素值形成输出像素值的具有存储器的神经网络系统。相比较于图12的例子，这里的神经网络模块NNMOD具有仅一个神经网络，其三个输出对应于例如一个输出像素的红色、绿色和蓝色值(或者像YUV或CMYK的其他颜色系统分量)。因此，对于将被计算的每个输出像素，一组权重从存储器MEM加载。来自于二进制像素的输入接着被应用于神经网络的输入，并且输出像素被计算。

为了简化加载一组新的权重和减小所需的存储器MEM的数量，可以聚簇多组权重。由此，如果仅将对于每个聚簇的代表性的一组权重存储进存储器，可能需要存储更少的多组权重。例如，可能没有必要存储1千万组权重，其中每个组对应于一个输出像素和二进制输入像素的组GRP和它们的相应彩色滤光片F。替代地，可以仅存储500000组权重，或仅10000组权重。从存储器MEM取回权重可以以每组输入像素具有神经网络系数的关联索引的方式来发生，并且系数从对应于那个索引的存储器位置取回。

图14a示出用于从二进制输入像素值形成输出像素值的神经网络的教导布置。神经网络可以能够从例子学习。替代于明确指定输出和输入值之间的关系，神经网络可以从给定的例子集合学习输入和输出值之间的关系。神经网络的该属性可以在未知输入值之间的明确关系的情形中提供优势。

可以使用监督训练来训练神经网络。在监督训练中，对于每个示例输入模式提供正确的输出，并且神经元的随机初始化的权重和偏差项被迭代地更新，以最小化神经网络的输出和正确值之间的误差函数。不同的方法可以用于更新权重，例如共轭梯度算法以及反向传播算法和它们的变形。

如早些所解释的，我们可以具有二进制值化的传感器的二维阵列BINARR，并且在二进制传感器上叠加彩色滤光片。每个滤光片的频谱响应假定是固定的，但初始是未知的。具有未知滤光片的二进制阵列被反复地曝光，并且传感器阵列的响应和光的颜色值被记录。在N×N二进制传感器阵列BINARR的情形下，训练数据可以构成N×N二进制矩阵和用于曝光传感器阵列的光的相应色值COLORVAL。

当二进制像素阵列BINARR被曝光时，其从二进制像素产生输出信号，其可以如所早些所描述的那样馈入到神经网络模块NNMOD。接着可以操作神经网络模块以产生输出图像OUTPUT。输出图像和原始色值COLORVAL可以被馈入到教导单元TEACH，其可以计算对神经网络模块的权重的调节，以使得输出误差(COLORVAL和输出值之间的差)更小。该调节可以通过使用后向传播算法或共轭梯度算法或对神经网络权重给出调节以使得输出误差更小的任意算法来实现。

训练或教导可以发生在BINARR阵列的部分中，例如从而对应于每个组GRP(i，j)的神经网络在一个实例中被训练，并且该训练过程通过所有的组。对于每个神经网络，训练可以继续，只要某个数目的训练集合已经被教导，或直到输出误差落入到低于给定的阈值。当教导已经完成，神经网络的多组权重可以存储进存储器。如早些解释的，神经网络的多组权重也可以被聚簇。

图14b示出用于应用神经网络以便从二进制输入像素值形成输出像素值的布置。当二进制像素阵列BINARR被曝光时，其从二进制像素产生输出信号，如早些所述，其可以被馈入到神经网络模块NNMOD。神经网络模块接着可以被操作于产生输出图像OUTPUT。在该阶段，神经网络模块包括或具有对对应于来自于BINARR的输入像素值的合适多组权重的接入。神经网络因此可以产生真实的输出图片，该输出图片对应于由光学器件投射到阵列BINARR上的图像。

图15a示出用于使用神经网络从二进制输入像素产生输出图像的方法。在1510中，具有关联的彩色滤光片的二进制像素被曝光于由光学器件所形成的图片，并且二进制像素产生一组输入像素值。在1580中，图像IMG1的输入像素值P1被应用于神经网络，以计算输出像素值P2。输出像素值接着在1590中被使用以构建输出图像IMG2，例如按照矩形形状将它们布置成图像。需要理解的是如前所解释的，由光学器件和图像传感器所形成的二进制像素的值可以在早些已经被捕获，并且在该方法中，它们仅仅被输入到神经网络。阶段1510因此可以被省略。也需要理解的是从神经网络产生输出像素就足够了，并且可能不需要形成输出图像IMG2。阶段1590因此可以被省略。

图15b示出用于使用神经网络从二进制输入像素产生输出图像的另一方法。在1510中，具有关联的彩色滤光片的二进制像素曝光于由光学器件所形成的图片，并且二进制像素产生一组输入像素值。在1520中，从存储器向神经网络取回对应于一组二进制像素的一组权重。在1530中，从输入像素值计算神经网络的输入层的值。替代地，输入像素值本身可以用作到神经网络的输入。在1540中，通过向输入层神经元的输出值应用权重，来自于输入层神经元的输出用于计算隐藏层的值。在1550中，通过向隐藏层的输出值应用权重，来自于隐藏层神经元的输出用于计算输出层的值。在1560中，输出层产生输出值，以形成输出像素。如果在1570中计算了所有的输出像素，则在1590中使用输出像素值来构建输出图像IMG2，例如通过将它们按照矩形形状布置成图像。否则，方法从1520以另一组输入像素来继续。需要理解的是如早些所解释的，由光学器件和图像传感器所形成的二进制像素的值可以在早些已经被捕获，并且在该方法中，它们仅仅被输入到神经网络。阶段1510因此可以被省略。也需要理解的是从神经网络产生输出像素就足够了，并且可能不需要形成输出图像IMG2。阶段1590因此可以被省略。

图16示出用于教导神经网络以便从二进制输入像素产生输出图像的方法。在1610中，具有关联的彩色滤光片的二进制像素被曝光于已知的图片或输入光，并且二进制像素产生一组输入像素值。在1620中，图像IMG1的输入像素值P1可以被应用于神经网络，以计算输出像素值P2。在1630中，输出像素值P2可以与已知的输入比较，以确定已知数据和神经网络的输出之间的误差。如果在1640中误差足够大，则在1650中可以调节神经网络的权重，以便在1610中再次曝光输入像素前，减小输入数据和输出数据之间的误差。当在1640中，误差小于给定的阈值或已经实施了给定数目的训练周期，则方法可以被停止并且在1690中产生的神经网络权重例如存储在存储器中。

也可以单独地实施二进制像素的曝光，并且与每次曝光关联的二进制像素的值可以被记录。接着，替代于曝光二进制像素，训练方法可以单独地应用于神经网络。事实上，训练可以发生在具有神经网络的类似设置的完全独立设备中。这可以被完成，例如以便能够更快地计算多组权重，例如在针对照相机或其他电子设备的工厂组装线中。

使用神经网络可以具有优势，例如，因为可以不需要提前知道彩色滤光片的放置或类型。神经网络的设计可以在使用的隐藏层的数目和神经元的数目方面改变。对于更为复杂的滤光片设置，可能需要更多的神经元。通过具有足够的训练数据量，可以避免过拟合。训练样本的数目可以是大于神经网络中的权重数目的若干量级，以避免过度拟合。剪枝算法和可用的在先信息也可以用于在训练阶段中帮助。

本发明的各种实施方式可以利用计算机程序代码的帮助来实现，该计算机程序代码驻留于存储器中并且使得相关的设备来实施本发明。例如，终端设备可以包括用于处理、接收和发送数据的电路和电子器件、存储器中的计算机程序代码和处理器，当运行计算机程序代码时，使得终端设备来实施一个实施方式的特征。然而进一步，网络设备可以包括用于处理、接收和发送数据的电路和电子器件，存储器中的计算机程序代码和处理器，当运行计算机程序代码，使得网络设备来实施一个实施方式的特征。

清楚的是本发明不仅限于上述的实施方式，但其可以在所附权利要求的范围内进行修改。

Claims

1.一种用于形成像素值的方法，包括：

-在图像处理系统中接收二进制像素值，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，以及

-向所述二进制像素值应用神经网络，以产生输出像素值。

2.根据权利要求1所述的方法，进一步包括：

-将所述二进制像素曝光于通过叠加在所述二进制像素上的彩色滤光片的光，所述光已经通过光学布置，以及

-从所述二进制像素的输出形成所述二进制像素值。

3.根据权利要求1或2所述的方法，进一步包括：

-设置对应于所述二进制像素的所述神经网络中的参数或权重，以及

-从所述神经网络的输出形成至少一个输出像素值。

4.根据权利要求1、2或3所述的方法，进一步包括：

-通过向所述神经网络中的神经元的输入信号应用权重并且通过使用激活函数来计算所述神经元的输出，计算所述神经元的值，以及

-计算所述神经网络中的层中的神经元的值，其中所述层包括输入层、隐藏层和输出层的组中的至少一个层。

5.一种设备，包括至少一个处理器，包括计算机程序代码的存储器，所述存储器和计算机程序代码配置成利用所述至少一个处理器，使得所述设备至少执行以下操作：

-向所述二进制像素值应用神经网络，以产生输出像素值。

6.根据权利要求5所述的设备，进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：

-从所述二进制像素的输出形成所述二进制像素值。

7.根据权利要求5或6所述的设备，进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：

-从所述神经网络的输出形成至少一个输出像素值。

8.根据权利要求5、6或7所述的设备，进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：

9.根据权利要求5到8的任意一项所述的设备，进一步包括：

-颜色信号单元，其包括至少一个所述神经网络，以及

-存储器，用于存储至少一个所述神经网络的参数和/或权重。

10.根据权利要求5到9的任意一项所述的设备，进一步包括：

-用于形成图像的光学布置，

-用于检测所述图像的二进制像素的阵列，以及

-多组所述二进制像素。

11.根据权利要求5到10的任意一项所述的设备，进一步包括：

-叠加在二进制像素的阵列上的至少一个彩色滤光片，所述彩色滤光片以非对齐的、不规则的、随机的和未知的叠加的组中的至少一个方式叠加在所述二进制像素的阵列上。

12.一种用于适配图像处理系统的方法，包括：

-在图像处理系统中接收二进制像素值，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，

-向所述二进制像素值应用神经网络，以产生输出像素值，

-将关于所接收的二进制像素值的信息与关于所述输出像素值的信息进行比较，以及

-基于所述比较，适配所述神经网络的参数。

13.根据权利要求12所述的方法，进一步包括：

-从所述二进制像素的输出来形成所述二进制像素值。

14.根据权利要求12或13所述的方法，进一步包括：

15.一种设备，包括至少一个处理器，包括计算机程序代码的存储器，所述存储器和计算机程序代码配置成利用所述至少一个处理器，使得所述设备至少执行以下操作：

-向所述二进制像素值应用神经网络，以产生输出像素值，

-基于所述比较，适配所述神经网络的参数。

16.根据权利要求15所述的设备，进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：

-从所述二进制像素的输出形成所述二进制像素值。

17.根据权利要求15或16所述的设备，进一步包括配置成利用所述处理器，使得所述设备至少执行以下操作的计算机程序代码：

18.一种存储在计算机可读介质上并且在数据处理设备中可执行的计算机程序产品，其中所述计算机程序产品包括：

-用于接收二进制像素值的计算机程序代码段，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，

-用于向所述二进制像素值应用神经网络，以产生输出像素值的计算机程序代码段，以及

-用于使用所述输出像素值来形成输出图像的计算机程序代码段。

19.根据权利要求18所述的计算机程序产品，其中所述计算机程序产品进一步包括：

-用于接收所述神经网络的参数或权重的计算机程序代码段，

-用于设置神经网络中的所述参数或权重的计算机程序代码段，以及

-用于从所述神经网络的输出形成输出像素值的计算机程序代码段。

20.一种设备，包括：

-处理装置，

-存储装置，

-用于在图像处理系统中接收二进制像素值的装置，所述二进制像素值已经利用具有彩色滤光片的二进制像素来形成，以及

-用于向所述二进制像素值应用神经网络，以产生输出像素值的装置。