CN102792671A - 用于图像采集和转换的方法和装置 - Google Patents

Abstract

一种用于图像采集和转换的方法，包括：通过采集透镜对图像进行低通滤波；使用图像传感器通过升采样因子从所述低通滤波图像中产生具有第一分辨率的升采样图像；通过图像处理电路将所述升采样图像转换成具有比所述第一分辨率更低的第二分辨率的多级图像，其中所述转换取决于所述透镜的所述低通滤波以及取决于所述升采样因子。适应于超高画质像素传感器和传统图像传感器。

Description

用于图像采集和转换的方法和装置

技术领域

本发明涉及用于图像采集和转换的方法。本发明还涉及图像采集装置和计算机程序产品。

背景技术

图1a示出了照相机或其他成像系统的简化架构。该照相机包括将入射光聚焦到图像传感器2的平面上的透镜1，该图像传感器2包括成排或成阵列布置的多个像素20。图像传感器中的每个像素20收集光子，并且将它们转换成模拟电信号，继而再由量化器(诸如，A/D转换器)将其量化成例如1位、8位或12位。击中像素的光子数目可以通过泊松(Poisson)过程进行建模。可以在每个像素中或者在由多个像素共享的读出电路中提供量化器。

图像传感器可以被认为是采样设备，其在给定曝光时间期间并且在空间区域上对光强场的积分函数进行采样。照相机中最重要的参数之一是像素的大小，其确定空间采样间隔。

由于衍射极限，瑞利判据给出了理想透镜的最小空间分辨率。透镜1的脉冲响应是点扩散函数(PSF)，如图2中所示的P(x)。由于透镜具有像差，并且由于即便利用理想透镜也存在衍射，因此点扩散函数不是狄拉克δ函数；相反，该透镜充当具有大于零的最小空间分辨率的低通滤波器。

图3中示出了作为示例的透镜模型。透镜之前的光强场为λ(x)，其中x表示空间指数。由于透镜的低通效应，该透镜之后的光强场是频带受限的并且等于λ(x)*P(x)，(*是卷积运算符)。

由于CMOS技术中的规模效应，在消费者照相机和其他成像装备中使用的像素大小的现状是通常小于透镜的最小空间分辨率。在这种情况下，图像传感器充当过采样设备并且产生比在由透镜限制频带之后图像信号的带宽所需的样本更多的样本。

此外，在被称作超高画质像素(gigapixel)照相机(或超高画质像素数字电影)中也已知使用了大量过采样因子。超高画质像素照相机的图像传感器具有类似于对数函数的非线性响应，这使得它们非常适于采集高动态范围的场景。此外，超高画质像素照相机通常在每个像素都具有单个光子检测器，其由于高敏感性光子检测机制而在低光照条件下减少曝光时间。超高画质像素照相机可以用于拍摄视频或照片或者通常任意种类的图像，例如包括使用X射线或除了光之外的其他波长的医学图像。

通常，超高画质像素照相机中的像素具有用于将每个像素的输出转换成二进制值(黑或白)的1位量化器。因此，由超高画质像素传感器输出的图像具有非常高的空间分辨率，但是在每个像素只有2个层级，例如只有两个灰度级。因此，需要处理单元以便将超高画质像素传感器的高分辨率、二进制输出转换成具有较低分辨率但是具有更多灰度级的图像信号。

根据一个方面，本发明因此涉及图像转换，具体地涉及用于基于过采样的数字信号对多级图像的估计进行重构的方法。在某些实施方式中，本发明涉及高分辨率二进制图像信号向较低分辨率多级信号的转换。在另一些实施方式中，本发明还涉及多级图像信号向在每个或某些像素具有不同数目的层级和/或具有不同分辨率的另一信号的转换。所有实施方式可以用于由任意图像传感器输出的1D、2D或N-D图像信号的转换。

图4示意性地图示了图像传感器2。该传感器的作用是对通过透镜1的入射光进行采样。由第k个像素生成的电子的数目S_K取决于冲击到该像素上的光子的数目。例如，如果像素的量子效率为“1”，则由像素20生成的电子的数目等于由该像素接收的光子的数目。

在曝光时间τ期间，并且像素宽度为Δx，由第K个像素生成的电子的数目S_K服从具有参数

的泊松分布，其中

是在曝光时间期间由该像素生成的电子的平均数目。该分布可以被写成：

如图4中所示，由图像传感器2递送的值是透镜之后信号λ(x)*P(x)与核心函数f(x)的卷积，随后是在的结果函数的采样。继而，使用量化器来对电子的数目进行量化并且产生同样作为随机变量的像素值B_K：

第k个像素的起始位置是X_k-1，并且结束位置是X_K。因此，由该像素接收的光的估值

为：

在量化之后，图像传感器2产生一组数值

b＝[b₁，b₂，…，b_K]^T是随机变量B的实现。

因此，本发明的一个目的在于在给定那些经量化的像素值的情况下产生光强场

的估计。

具体地，本发明的目的在于基于过采样图像传感器(即，具有空间和/或时间频率大于

的尼奎斯特率的图像传感器)的输出来获取光强场

在超高画质像素传感器的特别情况下，本发明的目的在于使用由传感器输出的二进制、更高分辨率图像来重构传统图像(具有灰度级)。

现有技术中已知用于根据由过采样照相机(诸如，超高画质像素照相机)拍摄的经量化测量对图像进行重构的重构方法。例如，已知对由块中邻接像素递送的信号相加或者求平均。在超高画质像素照相机的情况下，已经例如建议通过对邻近像素的块中的二进制值B进行求和来产生指示灰度级的多值信号。还已知基于对图像传感器的输出进行低通滤波和降采样的其他方法。该处理通常在图像传感器的读出电路中完成，或者可以通过照相机中或计算机中的任意数字图像处理系统或者接收和处理所采集图像的其他处理系统来完成。

该现有技术方法的问题是通过低通滤波和降采样对图像进行重构的性能不佳，或者至少不是最优的。

现有技术的图像传感器中的一个困难是确定由量化器用来在层级之间进行区分的阈值Q₁。例如，当光强大时，具有大阈值Q₁的超高画质像素照相机工作起来比具有小阈值的超高画质像素照相机更好。当光强小时，具有小阈值Q₁的超高画质像素照相机工作起来比具有大阈值的超高画质像素照相机更好。产生多级图像的图像传感器同样存在相同的困难。

因此，需要一种基于由图像传感器生成的量化值来递送更高质量的图像并且产生对入射光场的更好估计的改进的图像采集和重构方法和装置。

还需要改进用于根据由照相机拍摄的量化测量来对图像进行重构的重构算法的速度。

还需要一种重构方法，其中当图像在多个曝光下捕捉或者具有大量空间过采样时，计算复杂度没有显著增加。

发明内容

本发明的重构方法和装置部分基于对采样理论的新颖使用。通过该理论可以根据以如下尼奎斯特率的样本γ_j，j＝1，2，…，J对估计的光强场

进行完美重构，该尼奎斯特率为：

$\widetilde{\mathrm{\λ}}\left(x\right)=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\γ}}_j\mathrm{\φ}(x-x_j),$

其中γ_j，j＝1，2，…，J是以尼奎斯特率的估计的光强场

的样本，φ(x)是核心函数，以及x_j是针对第j个像素的采样位置。过采样率为 $N=\frac{K}{J}.$

考虑采样位置x_k，k＝1，2，…，K，先前的表达式可以以数字形式书写为： ${\widetilde{\mathrm{\λ}}}_k\≈\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\γ}}_j{\mathrm{\φ}}_N(x_k-x_j).$

基于当像素大小Δx由因子N改变时，核心函数仅需要由该比例因子改变的假设，由于核心函数经常不是理想的函数而仅是近似，因此在上文等式中使用符号“≈”。

因此，根据本发明的一个方面，上文提到的目标通过以下方法实现，其中图像信号的转换不仅是如现有技术中的一系列低通滤波和降采样操作；相反，该转换被认为是根据数字样本值对信号的重构，例如根据以尼奎斯特率之上的采样速率取得的数字值，并且考虑了整个光学和电子系统的属性(尤其是透镜的属性)对信号进行重构。

上文提到的目的还可以通过用于图像采集和转换的方法实现，该方法包括：

-通过采集透镜对图像进行低通滤波(或者更通常地利用转移函数进行转变)，

-使用图像传感器通过升采样因子从所述低通滤波图像中产生具有第一分辨率的升采样图像，

-通过图像处理电路将所述升采样图像转换成具有比所述第一分辨率更低的第二分辨率的多级图像，

其中所述转换步骤取决于所述透镜的所述低通滤波以及取决于所述升采样因子。

重构取决于透镜的转移函数以及取决于过采样因子，从而产生对整个系统的优化以及产生改进的图像质量。

由重构过程递送的输出典型是多级图像，即，在每个像素具有不止两个不同的可能值的图像，诸如，灰度或彩色图像。

在一个实施方式中，升采样图像通过输出二进制升采样图像的超高画质像素图像传感器产生。

在一个实施方式中，传感器量化器包括空间上变化的布置。例如，在1位量化器的情况下，传感器上的一组像素可以具有阈值Q₁＝1，并且其余的像素可以具有更高的阈值，或者各种不同的阈值。

有利地，向多级图像的转换通过执行最大似然估计方法的方法和电路完成。

根据一个方面，本发明基于负的负对数似然函数是凸函数的发现；这在量化器的阈值Q为“1”，而且还在该阈值不同于“1”，并且量化器具有多个用于产生多级测量值B的阈值时尤其如此。因此，可以使用凸优化来实现最佳解决方案。

在一个实施方式中，向每个采集的图像提供至少两个曝光，从而产生时间过采样并且产生甚至更多的用于每个图像的样本。描述了允许使用多个曝光而不显著增加计算复杂度的方法。

根据一个方面，重构方法使用基于滤波器组技术的最大似然方法以用于计算梯度以及负对数似然函数的海森矩阵和向量的乘积。对滤波器组技术的使用产生快速处理。

有利地，使用信号和运算符的多相表示或者另一改进的表示，以便提高计算速率。

根据本发明的方法的重要优势在于允许对利用并且取决于透镜的低通滤波函数和超高画质视觉(gigavision)传感器的升采样函数的图像进行重构。

有利地，对根据由传感器输出的测量对图像进行重构可以通过DSP元件、FPGA组件、通过照相机内或计算机中的微处理器或微控制器完成。例如，该方法中使用的最大似然估计可以通过此列表或者通过任意其他适当的硬件或软件装置执行。

出于此目的，在图像处理期间的图像加工程序考虑了照相机的传感器和透镜。在另一实施方式中，重构通过照相机外部的图像处理装置完成，例如通过由接收并处理由照相机输出的图像文件的计算机或IT装备执行的图像处理软件完成。本发明还涉及计算机程序产品，其有形并永久存储用于使处理系统执行本申请中所述方法的计算机程序。

附图说明

通过对由附图所示并通过示例给出的对实施方式的描述将更好地理解本发明，其中：

图1a示出了照相机的简化架构。入射光由透镜聚焦继而冲击到图像传感器上。之后，图像传感器中的每个像素将接收的光子转换成电子。

图1b示出了包括照相机和附加图像处理装置的图像采集装置的简化架构。

图2示出了透镜的点扩散函数的示例。

图3示出了透镜的模型。该透镜被建模成具有脉冲响应P(x)的线性系统。通过透镜的光强场λ(x)的结果是λ(x)*P(x)。

图4示出了使用具有层级Q₁、Q₂…Q_L-1的L级量化器来对多个电子进行量化并且产生像素值B_k，k＝1，2，…，K的图像传感器的模型。

图5示出了针对本发明的照相机的模型示例。γ＝[γ₁，γ₂，…，γ_J]^T是以尼奎斯特率的

的样本。N是升采样因子。g[n]是低通滤波器。

是

的过采样的样本。B＝[B₁，B₂，…，B_K]^T是量化像素值，b＝[b₁，b₂，…，b_K]^T是B的实现。

是的重构值。

图6示出了升采样和低通滤波运算符G。

图7示出了用于低通滤波和降采样的运算符G^T。

图8示出了计算L(γ)的海森矩阵H_v乘以向量v的图表。g[n]和g[-n]是低通滤波器。

图9示出了序列x[k](左)和滤波器g[k](右)的多相表示。

图10示出了1-D合成信号γ的示例。

图11示出了使用过采样因子N＝100并且曝光时间τ＝1的升采样和低通滤波信号

的示例。

图12示出了通过具有阈值Q₁＝1、过采样因子N＝100并且总曝光时间τ＝1的照相机生成的二进制序列的示例。

图13示出了使用阈值Q₁＝1、过采样因子N＝100、曝光次数M＝1并且曝光时间τ＝1的1-D合成信号γ以及估计信号

的示例。

具体实施方式

为了简化起见，将更详细地描述一维(1-D)传感器阵列的具体情况。所有结果及论述可以扩展至二维(2-D)情况，或者甚至扩展到N维情况，其中附加的维度可以对应于例如由三维图像传感器或由照相机的网络提供的深度(到图像传感器的距离)。此外，该方法和装置可以用于处理静态图像，诸如照片和/或视频图像。

图1b中示出了成像采集装置的简化架构。该系统包括类似于关于图1a描述的照相机，包括：透镜1和具有像素20的图像传感器2。透镜和图像传感器可以集成在一起(如在许多紧凑型照相机中)，或者可拆卸(如在反射式照相机中)。该透镜可以是用于实现超薄照相机的透镜阵列。在一个示例中，每个像素被置于雪崩光电二极管周围并且充当单个光子检测器。还可以使用传统的图像传感器(诸如CMOS或CCD图像图像传感器)，以及能够在接收电磁信号时产生电荷的红外、X射线或者其他传感器。

参考标号22示出了用于将像素的输出转换成数字值的量化器电路。该量化器可以是每个像素的一部分；在这种情况下，像素直接递送数字值，例如取决于在曝光时间期间接收的光子数目的二进制值或整数值。在另一实施方式中，量化器电路是布置用于处理和量化由多个像素输出的信号的读出电路的一部分。若干量化器电路可以与一个单个图像传感器相关联。

在一个实施方式中，每个量化器具有一个单个阈值Q；在这种情况下，由量化器递送的输出信号是二进制，并且其值在由像素产生的电子数目超过这一阈值时为1，否则为0。

在另一实施方式中，量化器是具有多个层级Q₁、Q₂…Q_L-1的L级量化器4；层级之间的阈值可以是等距或者不是等距，并且量化产生指示K个像素中的每个像素的灰度级的多级像素值B_k，k＝1，2，…，K。如稍后所述，具有不同数目的阈值和/或具有阈值之间的不同距离的不同量化器可以与一个单个图像传感器相关联。

图1b中的参考23示出了用于处理由量化器22递送的经量化像素值B的处理电路。处理电路可以置于微处理器、微控制器、数字处理电路、FPGA、ASIC等周围。处理电路被连接到存储器(例如，半永久存储器25(诸如例如用于存储由处理电路(bios)执行的软件以及由处理电路23递送的经处理的图像的快闪存储器))。处理单元执行用于使用下文所述的重构方法将由图像传感器22递送的图像信号转换成较低分辨率图像文件的程序或函数。那些重构方法还可以通过在照相机外部(例如，在个人计算机7、工作站、服务器或者能够接收和处理由图像传感器产生的过采样样本的其他IT系统中)执行的程序完整地或部分地执行。

由于重构取决于透镜的转移函数以及由图像传感器使用的过采样因子，因此执行重构的处理电路23需要知道那些参数。如果透镜没有和这一处理电路集成在一起，则所使用的透镜类型或其转移函数可以被指示为图像文件中的元数据，或者由用户输入，或者例如从知识数据库获取或者预先已知。过采样因子通常可以例如通过确定样本b的数目来从图像文件中获取。

图5是本发明的装置的另一框图。光强场γ＝[γ₁，γ₂,…，γ_J]^T由照相机传感器2以因子N在空间上(和/或时间上)进行升采样并且由对应于透镜1的低通滤波器g[n]进行滤波，从而产生

的过采样样本：

在图像传感器的输出处的光强场与透镜之前的光强场γ之间的关系可以被写作

其中G＝[g₁，g₂，…，g_K]^T是表示升采样和低通滤波运算符的K×J矩阵，如图6中所示。

量化像素值B继而由量化器22生成。最终，重构算法由照相机中或数字处理系统中的数字处理装置23执行以用于获得对光强场 $\widehat{\mathrm{\γ}}={[{\widehat{\mathrm{\γ}}}_1,{\widehat{\mathrm{\γ}}}_2,...,{\widehat{\mathrm{\γ}}}_J]}^T$ 的估计。

重构的目的在于计算对光强场的估计根据本发明的一个方面，由数字处理装置23执行的重构方法使用最大似然估计量(MLE)，或者其他最大似然估计装置，以用于解决该重构问题以及用于计算

那些关系基于以下发现：在(1)中，当给定λ_k时，使用每个像素的独立性，在(2)中，可以使用对数函数ln不改变最大化问题的解的事实，以及在(3)中，可以使用最大化函数的解等于最小化对应的负函数的属性。

针对每个像素k，负对数似然函数L(γ)可以被写作 $L_k\left(\mathrm{\γ}\right)=-\ln \left(\underset{l=0}{\overset{L-1}{\mathrm{\Σ}}}\mathrm{\δ}(B_k-1)P(B_k=1;{\widetilde{\mathrm{\λ}}}_k)\right),$ 继而 $L\left(\mathrm{\γ}\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{L}_k\left(\mathrm{\γ}\right).$

可以证明L(γ)是凸函数，即使量化器是多级量化器。证明可以在附录中找到。

除了空间过采样或者替代空间过采样，还可以通过在每个时间段[0，τ]期间拍摄M个照片来执行时间过采样。在本示例中，所有照片均使用相同的曝光时间

进行拍摄；还可以考虑不同的曝光时间。

假设是针对图像传感器的新的参数函数，则

其针对每个曝光都是相同的。因此，可以通过因子M按比例缩小原始参数函数。继而

并且

令B＝[B₁，B₂，…，B_M]，其中B_m＝[B_m1，B_m2，…，B_mK]^T，m＝1，2，…，M是在第m个曝光期间的输出像素值，并且B_mk，k＝1，2，…，K是第m个曝光期间第k个像素的像素值。用于估计γ的最大似然估计量(MLE)是：

因此，估计量使用以下发现：在(1)中，当给定λ_k时，该关系基于每个像素的独立性，在(2)中，估计量使用ln不改变最大化问题的解的事实，以及在(3)中，估计量使用最大化函数的解等于最小化对应的负函数的属性。

因此，根据先前等式，

其中

是负对数似然函数， $\tilde{L}\left(\mathrm{\γ}\right)=-\underset{M=1}{\overset{M}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\ln \left(\underset{l=0}{\overset{L-1}{\mathrm{\Σ}}}\mathrm{\δ}(B_{\mathrm{mk}}-1)P(B_{\mathrm{mk}}=1;\frac{{\widetilde{\mathrm{\λ}}}_k}{M})\right),\mathrm{\γ}\∈R_{+}^J.$

令 ${\tilde{L}}_{\mathrm{mk}}\left(\mathrm{\γ}\right)=-\ln \left(\underset{l=0}{\overset{L-1}{\mathrm{\Σ}}}\mathrm{\δ}(B_{\mathrm{mk}}-1)P(B_{\mathrm{mk}}=1;\frac{{\widetilde{\mathrm{\λ}}}_k}{M})\right),$ 则 $\tilde{L}\left(\mathrm{\γ}\right)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\tilde{L}}_{\mathrm{mk}}\left(\mathrm{\γ}\right).$

在多个连续曝光中，如在单个曝光的情况中，可以证明

是凸函数(参见附录)。因此，由于负对数似然函数是凸函数，所以估计量可以使用用于解决凸优化问题的任意方法，例如，内点方法、置信域方法或者牛顿法。有利地，选择方法为的是减少找到解所需的计算时间及功率。

在一个实施方式中，估计量使用以下修改的牛顿方法以用于在一个曝光情况下估计入射光。本领域技术人员可以调整该方法以用于多个曝光情况。可能的伪代码如下：

存在的问题是海森矩阵▽²L(γ)的大小非常大，从而使得计算该矩阵的逆矩阵需要大量的处理功率和处理时间。根据一个方面，为了减少这种计算时间，该系统被编程以便执行共轭梯度方法并直接计算▽²L(γ)^-1▽L(γ)。

在大多数已知用于解决凸优化问题的方法(如，牛顿方法、内点方法或置信域方法)中，需要提供负对数似然函数的梯度以及该海森矩阵与向量相乘。

本发明方法中使用的方法还基于下述发现，即负对数似然函数L(γ)的梯度是

并且L(γ)的海森矩阵是H＝G^T AG，其中：

上述两个等式存在的问题是如果升采样因子大的话，则矩阵G较大并且将需要海量的存储空间对其进行存储。

然而，运算符G对应于透镜以及对应于图像传感器的升采样部分，并且不需要存储整个矩阵。只需要知道升采样和低通滤波运算符的参数，即升采样因子N和低通滤波器g[n]的系数。透镜的低通滤波器的系数可以存储在透镜的存储库中，并且传送到进行变换的处理装置。在另一实施方式中，那些系数由处理装置预先已知，例如假设处理装置先前已知所使用透镜的属性。在又一实施方式中，那些属性通过处理装置基于由该处理装置接收的透镜类型的标识进行获取。

可以写G＝LU，其中L指示低通滤波运算符而U表示升采样运算符。继而，G^T＝(LU)^T＝U^TL^T＝DR，其中D是用于降采样运算符的矩阵符号，并且R是低通滤波运算符的矩阵符号。D的降采样因子等于U的升采样因子。如果L的滤波器系数为g[n]，则R的滤波器系数为g[-n]。在对称低通滤波器的情况下，L和R的滤波器系数相同。图7图示了低通滤波和降采样运算符G^T的矩阵。

的梯度可以通过首先低通滤波向量

继而通过因子N对其进行降采样来计算。

负对数似然函数的海森矩阵H乘以向量v是Hv＝G^TAGv。图8示出了用于计算上述等式的图解。向量v通过升采样因子N进行升采样，继而使用滤波器g[n]对其进行低通滤波。

由于矩阵A是对角矩阵，因此A与向量G_v相乘等于A的对角与G_v按元素相乘。之后，处理装置利用滤波器g[-n]对获得的向量进行低通滤波并且通过因子N进行降采样从而得到H_V。

因此，处理装置可以根据测量的样本对图像信号进行重构。

根据本发明的一个方面，为了进一步提高优化过程的速度，多相表示可以用于减少升采样和低通滤波运算符的计算时间。针对序列和针对滤波器可以定义不同的多相表示。

1-D序列x[k]或滤波器g[k]可以被分解成N个多相分量，定义如下： $x_i\left[k\right]\stackrel{\mathrm{\Δ}}{=}x[\mathrm{Nk}+i],$

图9示意性地图示了序列x[k](左边部分)和滤波器g[k](右边部分)的多相表示。还可以在Z域中计算该多相表示：

$X\left(z\right)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{z}^{-n}{X}_n\left(z^N\right),$ 以及 $G\left(z\right)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{z}^n{G}_n\left(z^N\right).$

令Y(z)是序列y[k]的z变换，其为在信号x[k]上执行低通滤波和降采样运算符时的输出，继而得到

这意味着用于在序列x[k]上执行运算符的过程是：将滤波器和序列分解成N个多相分量、分别通过滤波器的对应的第n个多相分量对序列的第n个多相分量进行滤波、以及对所有滤波结果求和以生成y[k]。

在此过程期间，处理装置避免计算将在降采样过程期间丢弃的序列值，从而可以节省计算时间。

如果使用针对序列的多相表示的定义对g[k]进行分解，则

以及在x[k]上执行升采样和低通滤波运算符的输出可以被写成：

$\left(\begin{array}{c}{Y}_0\left(z\right)\\ Y_1\left(z\right)\\ .\\ .\\ .\\ Y_N\left(z\right)\end{array}\right)=\left(\begin{array}{c}{G}_0\left(z\right)\\ G_1\left(z\right)\\ .\\ .\\ .\\ G_N\left(z\right)\end{array}\right)X\left(z\right).$

其中Y_n(z)是输出序列y[k]的第n个多相分量的z变换。

使用该方法，处理装置避免计算滤波器系数与在升采样过程期间生成的“0”的乘积，从而通过因子N提高速度。

还示出了以下分析：在1位量化器的情况下，较低阈值Q₁使得在低光情况下存在小的估计误差，但在高光强区域中表现的并不好，针对高光强区域而言，较高的阈值更加适用。

为了解决适当阈值的问题，在一个实施方式中，传感器量化器具有空间上变化的布置。例如，在使用1位量化器的一个实施方式中，传感器上的第一组像素具有阈值Q₁＝1，而其他像素具有更高阈值。类似地，在具有n位量化器的实施方式中，多个不同的阈值可以用于相同芯片的各种像素。还可以随时间或取决于光照条件而改变阈值。

根据给定模式，两种类型的像素可以空间上交错。如这一情况下所示，负对数似然函数仍是凸函数。因此，可以使用所有先前的技术。

给定传感器上的不同类型像素(具有不同的阈值)的布置可以设计用于实现不同阈值的优化模式和布置，从而实现最佳信噪比。

为了设计最佳模式，可以使用以下方法。如果像素的总数为N，则最大阈值为Q_max，并且a∈[0，a_max]。在一个示例中，像素只具有两种不同的阈值Q₁₁和Q₁₂，N₁是具有阈值Q₁₁的像素数目，并且N₂＝N-N₁是具有阈值Q₁₂的像素数目。那么，问题是可以最大化

的最佳Q₁₁、Q₁₂、N₁和N₂是多少？这相当于解决以下问题：

$Q_{11},Q_{12},N_1,N_2=\underset{Q_{11},Q_{12},N_1{,N}_2}{\arg \max }\underset{a}{\arg \min }{\mathrm{SNR}}_{\max }(Q_{11},Q_{12},N_1,N_2)$ 并且满足a∈[0，a_max]，Q₁₁，Q₁₂∈[1，Q_max]，

N₁+N₂＝N，

其中：

${\mathrm{SNR}}_{\max }(Q_{11},Q_{12},N_1,N_2)=a\sqrt{\frac{R_{Q_1}^2}{N_1{\mathrm{MP}}_{Q_1}(e^{\frac{a}{N_{1}M}}-P_{Q_1})}+\frac{R_{Q_2}^2}{N_2{\mathrm{MP}}_{Q_2}(e^{\frac{a}{N_{2}M}}-P_{Q_2})}}.$

由于该最佳式设计在传感器芯片的设计期间只进行一次并且变量范围不大，因此可以使用穷举搜索方法来解决该优化问题。

这里只考虑具有两个阈值的情况，具有多个阈值或多级量化器的更复杂的情况同样可以通过相同的方式完成。

给出了一个简单示例。当a_max＝100、Q_max＝9并且N＝100、M＝1时，使用上述算法，最佳模式为N₁＝37个像素具有Q₁₁＝1，并且N₂＝63个像素具有Q₁₂＝9。

针对1D图像和2D图像的实验结果已示出了增加空间和/或时间过采样因子提高了当阈值Q₁＝1时装置和方法的性能。当光强大时，针对小的Q₁，很可能传感器将饱和，即，所有像素值将为“1”。因此，当光强大时，需要较大的阈值Q₁。当光强小时，针对大的Q₁，很可能传感器将全部输出“0”，这会使得传感器对低光强不敏感。因此，当光强小时，需要小的Q₁。如果Q₁＞2，则存在针对给定γ_j的最佳(NM)_opt。NM大于(NM)_opt将具有较差的表现。

图10示出了1-D合成信号γ的示例。图11示出了升采样和低通滤波信号λ的示例，其中使用过采样因子N＝100并且曝光时间τ＝1。图12示出了由具有阈值Q₁＝1、过采样因子N＝100并且总曝光时间τ＝1的照相机/图像传感器生成的二进制序列的示例。图13示出了1-D合成信号γ以及估计信号

的示例，其中使用阈值Q₁＝1、过采样因子N＝100、曝光次数M＝1和曝光时间τ＝1。

上述方法可以由能够执行操作的任意适当装置来执行，这些装置诸如静态和视频照相机中、其他图像采集设备中或者包括具有适当图像处理应用的计算机和工作站的任意图像处理装置中的各种硬件和/或软件组件。

上述方法和装置可以在消费者图像采集系统中使用，这些系统诸如照相机和摄像机、具有照相机的移动电话、网络摄像头等。具体地，所述方法和装置用于采集具有高动态范围的静态图像和视频图像，诸如但不限于高动态范围摄影、低光采集(针对天文学图像或夜间图像)、DNA图像分析、色谱分析等。

本申请中描述的各种等式和处理步骤可以通过由通用处理器或数字信号处理器(DSP)执行的软件、由专用集成电路(ASIC)、由现场可编程门阵列(FPGA)信号、由分立组件或者其任意组合来执行。该装置可以是图像采集装置，诸如包含透镜的照相机、在照相机中或者作为单独装置(诸如单独的计算机)的图像处理装置，或者两者之间的组合，诸如与用于采集和处理静态图像或视频图像的计算机组合使用或者与其按顺序使用的照相机。

根据本申请的方法的任意步骤可以体现在硬件中、由处理器执行的软件模块中或者两者的组合中。因此，本发明还涉及用于执行其中所呈现的操作的计算机程序产品。如果以软件实现，则所述功能可以作为一个或多个指令存储在计算机可读介质上。可以使用的存储介质的某些示例包括随机访问存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、其他光盘或者可以由计算机、照相机或者图像采集装置访问的任意可用介质。

附录

通过应用链式法则，可以示出：

的海森矩阵是H＝G^TAG，其中：

证明：

根据链式法则，

为证明

是凸函数，充分条件是示出

的海森矩阵H是半正定的。针对海森矩阵，需要证明

令 $P_Q\left(x\right)=\left\{\begin{array}{c}\underset{q=0}{\overset{Q-1}{\mathrm{\Σ}}}\frac{x^q}{q!},Q\≥1\\ 0,Q\≤0\end{array}\right.,$ $R_Q\left(x\right)=\left\{\begin{array}{c}\frac{x^{Q-1}}{(Q-1)!},Q\≥1\\ 0,Q\≤0\end{array}\right.,$ 为了简化符号，使用P_Q指示函数P_Q(x)。P_Q的一阶导数是

R_Q的一阶导数是还存在等式P_Q-P_Q-1＝R_Q，并且

当B_k＝0时，

如果Q₁＝1，则 $R_{Q_1}=0,$ $P_{Q_1}=1,$ $R_{Q_1}=1,$ $P_{Q_1-1}=0,$ 继而 $\frac{{\∂}^2{L}_k\left(\mathrm{\γ}\right)}{{\∂}^2{\widetilde{\mathrm{\λ}}}_k}=0\≥0.$

如果Q₁＝2，则 $R_{Q_1-1}=1,$ $P_{Q_1}=1+{\widetilde{\mathrm{\λ}}}_k,$ $R_{Q_1}={\widetilde{\mathrm{\λ}}}_k,$ $P_{Q_1-1}=1,$ 继而 $\frac{{\∂}^2{L}_k\left(\mathrm{\γ}\right)}{{\∂}^2{\widetilde{\mathrm{\λ}}}_k}=\frac{1+{\widetilde{\mathrm{\λ}}}_k-{\widetilde{\mathrm{\λ}}}_K}{P_{Q_1}^2}=\frac{1}{P_{Q_1}^2}\≥0.$

如果Q₁≥3，

$=\frac{P_{Q_1-1}}{P_{Q_1}^2}(\underset{q=0}{\overset{Q_1-1}{\mathrm{\Σ}}}\frac{{\widetilde{\mathrm{\λ}}}_k^q}{q!}-\frac{{\widetilde{\mathrm{\λ}}}_k}{Q_1-1}\underset{q=0}{\overset{Q_1-2}{\mathrm{\Σ}}}\frac{{\widetilde{\mathrm{\λ}}}_k^q}{q!})$

$=\frac{R_{Q_1-1}}{P_{Q_1}^2}(\underset{q=0}{\overset{Q_1-1}{\mathrm{\Σ}}}\frac{{\widetilde{\mathrm{\λ}}}_k^q}{q!}-\frac{1}{Q_1-1}\underset{q=0}{\overset{Q_1-2}{\mathrm{\Σ}}}\frac{{\widetilde{\mathrm{\λ}}}_k^{q+1}}{q!})$

$=\frac{R_{Q_1-1}}{P_{Q_1}^2}(\underset{q=0}{\overset{Q_1-1}{\mathrm{\Σ}}}\frac{{\widetilde{\mathrm{\λ}}}_k^q}{q!}-\frac{1}{Q_1-1}\underset{q=0}{\overset{Q_1-1}{\mathrm{\Σ}}}\frac{q{\widetilde{\mathrm{\λ}}}_k^q}{q!})$

$=\frac{R_{Q_1-1}}{P_{Q_1}^2}\underset{q=0}{\overset{Q_1-1}{\mathrm{\Σ}}}(1-\frac{1}{Q_1-1})\frac{{\widetilde{\mathrm{\λ}}}_k^q}{q!}\≥0$

并且当Q≥3(2)时，还得到R_Q-1P_Q-R_QP_Q-1≥0。

当1≤B_k＝1≤L-2时，

$=1-\frac{P_{Q_{l+1}}^{\′}-P_{Q_l}^{\′}}{P_{Q_{l+1}}-P_{Q_l}}=1-\frac{P_{Q_{l+1}-1}-P_{Q_l-1}}{P_{Q_{l+1}}-P_{Q_l}}=\frac{R_{Q_{l+1}}-R_{Q_l}}{P_{Q_{l+1}}-P_{Q_l}}$

$=\frac{(R_{Q_{l+1}}^{\′}-R_{Q_l}^{\′})(P_{Q_{l+1}}-P_{Q_l})-(R_{Q_{l+1}}-R_{Q_l})(P_{Q_{l+1}}^{\′}-P_{Q_l}^{\′})}{{(P_{Q_{l+1}}-P_{Q_l})}^2}$

$=\frac{(R_{Q_{l+1}-1}-R_{Q_l-1})(P_{Q_{l+1}}-P_{Q_l})-(R_{Q_{l+1}}-R_{Q_l})(P_{Q_{l+1}-1}-P_{Q_l-1})}{{(P_{Q_{l+1}}-P_{Q_l})}^2}$

这里Q₁₊₁应当大于Q₁。

如果Q₁＝1，Q₁₊₁＝2，则 $R_{Q_{1+1}-1}=R_1=1,$ $R_{Q_1-1}=R_0=0,$ $P_{Q_{1+1}}=P_2=1+{\widetilde{\mathrm{\λ}}}_k,$

$P_{Q_1}=P_1=1,$ $R_{Q_{1+1}}={\widetilde{\mathrm{\λ}}}_k,$ $R_{Q_1}=R_1=1,$ $P_{Q_{1+1}-1}=P_1=1,$ $P_{Q_1-1}=0,$

$=\frac{1}{{(P_{Q_{l+1}}-P_{Q_l})}^2}\≥0$

如果Q₁＝1，Q₁₊₁≥3，则 $R_{Q_1-1}=R_0=0,$ $P_{Q_1}=P_1=1,$ $R_{Q_1}=R_1=1,$ $P_{Q_1-1}=0,$

$=\frac{R_{Q_{l+1}-1}{P}_{Q_{l+1}}-R_{Q_{l+1}}{P}_{Q_{l+1}-1}+P_{Q_{l+1}-2}}{{(P_{Q_{l+1}}-P_{Q_l})}^2}$

从等式(2)，知道 $R_{Q_{1+1}-1}{P}_{Q_{1+1}}-R_{Q_{1+1}}{P}_{Q_{1+1}-1}\≥0,$ 并且 $P_{Q_{1+1}-2}\≥0,$ 因此

如果Q₁≥2，则Q₁₊₁≥3，

$(R_{Q_{l+1}-1}-R_{Q_l-1})(P_{Q_{l+1}}-P_{Q_l})-(R_{Q_{l+1}}-R_{Q_l})(P_{Q_{l+1}-1}-P_{Q_l-1})$

$=R_{Q_{l+1}-1}\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q-R_{Q_l-1}\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q-R_{Q_{l+1}}\underset{q=Q_l}{\overset{Q_{l+1}-1}{\mathrm{\Σ}}}{R}_q+R_{Q_l}\underset{q=Q_l}{\overset{Q_{l+1}-1}{\mathrm{\Σ}}}{R}_q$

$=R_{Q_{l+1}-1}(\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q-\frac{{\widetilde{\mathrm{\λ}}}_k}{Q_{l+1}-1}\underset{q=Q_l}{\overset{Q_{l+1}-1}{\mathrm{\Σ}}}{R}_q)+R_{Q_l-1}(\frac{{\widetilde{\mathrm{\λ}}}_k}{Q_l-1}\underset{q=Q_l}{\overset{Q_{l+1}-1}{\mathrm{\Σ}}}{R}_q-\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q)$

$\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q-\frac{{\widetilde{\mathrm{\λ}}}_k}{Q_{l+1}-1}\underset{q=Q_l}{\overset{Q_{l+1}-1}{\mathrm{\Σ}}}{R}_q=\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q-\frac{1}{Q_{l+1}-1}\underset{q=Q_l}{\overset{Q_{l+1}-1}{\mathrm{\Σ}}}\frac{{\widetilde{\mathrm{\λ}}}_k^q}{(q-1)!}$

$=\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q-\frac{1}{Q_{l+1}-1}\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}\frac{(q-1){\widetilde{\mathrm{\λ}}}_k^{q-1}}{(q-1)!}$

$=\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}\left(\frac{Q_{l+1}-q}{Q_{l+1}-1}\right)R_q\≥0$

$\frac{{\widetilde{\mathrm{\λ}}}_k}{Q_l-1}\underset{q=Q_l}{\overset{Q_{l+1}-1}{\mathrm{\Σ}}}{R}_q-\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q=\frac{1}{Q_l-1}\underset{q=Q_l}{\overset{Q_{l+1}-1}{\mathrm{\Σ}}}\frac{{\widetilde{\mathrm{\λ}}}_k^q}{(q-1)!}-\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q$

$=\frac{1}{Q_l-1}\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}(q-1)\frac{{\widetilde{\mathrm{\λ}}}_k^{q-1}}{(q-1)!}-\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}{R}_q$

$=\underset{q=Q_l+1}{\overset{Q_{l+1}}{\mathrm{\Σ}}}\left(\frac{q-Q_l}{Q_l-1}\right)R_q\≥0$

因此，

$(R_{Q_{l+1}-1}-R_{Q_l-1})(P_{Q_{l+1}}-P_{Q_l})-(R_{Q_{l+1}}-R_{Q_l})(P_{Q_{l+1}-1}-P_{Q_l-1})\≥0$

继而，

因此，当1≤B_k＝1≤L-2，当B_k＝L-1时，

$=1-\frac{e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}}^{\′}}{e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}}}=1-\frac{e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}-1}}{e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}}}=-\frac{R_{Q_{L-1}}}{e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}}}$

$=-\frac{R_{Q_{L-1}}^{\′}(e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}})-R_{Q_{L-1}}(e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}}^{\′})}{{(e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}})}^2}$

$=-\frac{R_{Q_{L-1}-1}(e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}})-R_{Q_{L-1}}(e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}-1})}{{(e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}})}^2}$

如果Q_L-1＝1，则 $R_{Q_{L-1}-1}=0,$ $P_{Q_{L-1}}=1,$ $R_{Q_{L-1}}=1,$ $P_{Q_{L-1}-1}=0,$ 因此

如果Q_L-1≥2，

$=-\frac{R_{Q_{L-1}-1}}{{(e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}})}^2}(\underset{q=Q_{L-1}+1}{\overset{+\∞}{\mathrm{\Σ}}}{R}_q-\frac{1}{Q_{L-1}-1}\underset{q=Q_{L-1}}{\overset{+\∞}{\mathrm{\Σ}}}\frac{{\widetilde{\mathrm{\λ}}}_k^q}{(q-1)!})$

$=-\frac{R_{Q_{L-1}-1}}{{(e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}})}^2}(\underset{q=Q_{L-1}+1}{\overset{+\∞}{\mathrm{\Σ}}}{R}_q-\frac{1}{Q_{L-1}-1}\underset{q=Q_{L-1}+1}{\overset{+\∞}{\mathrm{\Σ}}}\frac{(q-1){\widetilde{\mathrm{\λ}}}_k^{q-1}}{(q-1)!})$

$=-\frac{R_{Q_{L-1}-1}}{{(e^{{\widetilde{\mathrm{\λ}}}_k}-P_{Q_{L-1}})}^2}\underset{q=Q_{L-1}+1}{\overset{+\∞}{\mathrm{\Σ}}}\frac{Q_{L-1}-q}{Q_{L-1}-1}{R}_q\≥0$

因此，当B_k＝L-1时，

从上述所述，可以总结得到针对任意B_k，

因此，L(γ)的海森矩阵是半正定的，并且是凸函数。

的梯度为

证明：

根据链式法则，

的海森矩阵是其中

证明：

根据链式法则，

为证明

是凸函数，充分条件是示出的海森矩阵

是半正定的。针对海森矩阵，需要证明 $\frac{{\∂}^2{\tilde{L}}_{\mathrm{mk}}\left(\mathrm{\γ}\right)}{{\∂}^2{\widetilde{\mathrm{\λ}}}_k}\≥0,m=\mathrm{1,2},...,M,k=\mathrm{1,2},...,K.$ 这可以通过如证明的类似的方式证明。

Claims (23)

1.一种用于图像采集和转换的方法，包括：

-通过采集透镜对图像进行低通滤波，

-使用图像传感器通过升采样因子从所述低通滤波图像中产生具有第一分辨率的升采样图像，

-通过图像处理电路将所述升采样图像转换成具有比所述第一分辨率更低的第二分辨率的多级图像，

其中所述转换取决于所述透镜的所述低通滤波以及取决于所述升采样因子。

2.根据权利要求1所述的方法，其中所述升采样图像通过输出二进制升采样图像的超高画质像素图像传感器产生。

3.根据权利要求1所述的方法，其中所述转换包括基于所述低通滤波图像计算光强场的估计

并且其中最大似然估计量(MLE)用于计算所述估计。

4.根据权利要求3所述的方法，包括使用用于计算所述最大似然估计量的牛顿方法或修改的牛顿方法。

5.根据权利要求3所述的方法，其中一个图像根据产生时间过采样的多个连续曝光进行重构。

6.根据权利要求3所述的方法，其中使用信号和/或运算符的多相表示以便提高所述计算速度。

7.根据权利要求3所述的方法，包括执行共轭梯度方法。

8.根据权利要求1至7中之一所述的方法，包括在相同图像传感器上使用具有各种光敏阈值的像素。

9.一种图像采集装置，包括：

-透镜，其具有低通滤波功能，

-具有第一分辨率的图像传感器，其通过升采样因子产生升采样图像，

-图像处理电路，用于将所述图像转换成具有比所述第一分辨率更低的第二分辨率的多级图像，

其中所述图像处理电路取决于所述透镜的所述低通滤波功能以及取决于所述升采样因子。

10.根据权利要求9所述的图像采集装置，其中所述图像传感器是布置用于产生二进制升采样图像的二进制传感器。

11.根据权利要求9所述的图像采集装置，其中所述图像处理电路被布置用于基于所述低通滤波图像计算光强场的估计，所述装置包括布置用于计算所述估计的最大似然估计量(MLE)。

12.根据权利要求11所述的图像采集装置，包括滤波器组，其布置用于计算梯度以及负对数似然函数的海森矩阵和向量的乘积。

13.根据权利要求9所述的图像采集装置，布置用于根据多个连续曝光对一个图像进行重构。

14.根据权利要求11所述的图像采集装置，其中所述装置是静态或视频照相机。

15.根据权利要求9所述的图像采集装置，其中所述图像传感器包括具有各种光敏阈值的像素模式。

16.一种用于信号处理的计算机程序产品，包括计算机可读介质，所述计算机可读介质包含可执行下述步骤的指令：

对由图像传感器产生的具有第一分辨率的升采样图像进行处理，以将所述图像转换成具有比所述第一分辨率更低的第二分辨率的多级图像，其中所述图像传感器通过升采样因子对由透镜采集的图像进行升采样，

其中所述转换步骤取决于所述透镜的低通滤波以及取决于所述升采样因子。

17.根据权利要求16所述的计算机程序产品，其中所述图像处理电路执行最大似然估计量(MLE)方法。

18.根据权利要求17所述的计算机程序产品，其中向每个采集的图像提供至少两个曝光。

19.根据权利要求17所述的计算机程序产品，其中所述指令可由照相机中的处理器执行。

20.一种用于根据由图像传感器进行的测量对图像进行重构的方法，包括：

通过透镜对光强场进行滤波并且通过图像传感器对所述光强场进行升采样，以便获得过采样的光强值，

处理所述过采样的光强值以便使用最大似然估计量生成重构的图像。

21.根据权利要求20所述的方法，其中当所述图像传感器的阈值被归一化为1时，所述处理利用所述最大似然估计量的负对数似然函数的凸性，以便使用用于解决凸优化问题的快速算法。

22.根据权利要求20所述的方法，其中所述图像传感器是产生二进制图像的二进制图像传感器。

23.一种用于根据二进制测量对图像进行重构的系统，包括：

第一低通滤波器和升采样图像传感器，用于通过升采样因子对所采样的光强因子值进行升采样，以便获得过采样的光强值，

电路，用于处理所述过采样的光强值，以便使用最大似然估计量生成重构的图像。

Images