CN1829291A - 感测设备、感测能量场的方法以及照相机 - Google Patents

Abstract

一种照相机包括一感测元件组。每个感测元件布置在能量场中的图像平面上以测量该能量场的局部梯度的幅度和符号。每个感测元件包括至少两个能量强度感测器。每个能量感测器测量所述能量场的局部强度。相互地减去所述强度的对数以获得所述梯度的幅度和符号。使用该梯度求解泊松方程以获得所述能量场的输出图像。

Description

感测设备、感测能量场的方法以及照相机

技术领域

本发明通常涉及感测能量场，并具体而言涉及利用照相机产生图像。

背景技术

照相机

存在两种众所周知的用于产生数字图像的技术。在第一种技术中，将模拟胶片暴露于能量场，例如可见光。显影所述胶片并使用扫描仪对其数字化。所产生的图像包括反映能量场强度分布的像素值。该图像还能够显示频率分布，或能量场的‘彩色’。

在第二种技术中，在能量场中的图像平面上布置数字感测器的阵列。这些感测器直接测量所述能量的强度。该感测器还能够通过使用过滤器进行频率选择。作为一个优点，第二种技术立即产生结果并且不消耗任何胶片。由于这些和其他的原因，数码相机正迅速地取代模拟相机。

在传统的模拟相机中，感光材料是胶片。在传统的数码相机中，感光材料是电荷耦合器件(CCD)。到达胶片或CCD的光量被已知为曝光量。曝光量是光圈大小和快门速度的函数。在某些情况下，对于特定的曝光时间可能需要牺牲聚焦的深度来获得可接受的曝光。

在输出数字图像中，能量场表示为像素值的网格。每一像素值绝大部分对应于感测能量的量。但是，所述像素值还能够包括非相关噪声的结果，例如由于热、量化误差、离散的电磁通量和感测器、电路和处理中的缺陷而导致的噪声的结果。

两种技术对用户施加相同的选择和相同的任务，诸如选择场景、视场、以及照相机位置。对于更复杂的照相机，这并不限于简单的‘对准和拍摄’能力，用户还必须选择曝光时间、镜头光圈、和其他的设置。这些设置是最佳拍摄场景外貌的折衷。在许多光非常弱的场景中，难以避免由于照相机的局限性引起的曝光过度、曝光不够、噪声和运动模糊。

两种传统的模拟和数码相机都具有曝光、镜头和感测器限制。这些限制导致了依赖于变焦的色像差、彩色异谱同色、由于混合照明的彩色平衡差、耦合变焦与聚焦调节、过亮物体的眩光或‘模糊现象’、以及镜头反射光斑焦散线。

在现有技术中还描述了对传统强度感测照相机的替换技术。若干‘智能感测’芯片集成光探测元件和处理电路以获得更好的性能，或者使感测和处理组件更加紧凑。

Mead在“Analog VLSI implementation of neural systems”(Chapter Adaptive Retina，第239-246页，Kluwer Academic出版，1989年)中描述的硅视网膜和自适应视网膜使用基于芯片的脊椎动物视网膜的模型。

Funatsu等人在“An artificial retina chip with a 256×256 array ofN-MOS variable sensitivity photodetector cells”(Proc.SPIE.MachineVision App.，Arch.，and Sys.Int.，第2597卷，第283-291页，1995年)中描述了通过直接调制来自光探测器的输出来调制输入图像。但是，这些系统中绝大部分具有设计用于具体应用诸如特征检测的专门硬件。结果，这些系统仅仅显示所选的特征，并且不能根据原始的2D强度场重构完整的输出图像。

随着高速的互补金属氧化物半导体(CMOS)成像感测器的发展，在产生输出图像之前获取并处理多个输入图像变为可能。获取多个输入图像并产生单个输出图像的成像体系配置被称为‘多捕获单图像’(MCSI)，参见Xiao等人的“Image analysis using modulated lightsources”，Proc.SPIE Image Sensors，第4306卷，第22-30页，2001年。

具有分析连续像素值的可编程电路的单指令多数据(SIMD)处理器阵列在Integrated Vision Products(Wallenbergs gata 4，SE-58335，Linkoping，瑞典)所制造的Ranger^TM照相机中可以获得。该Ranger照相机允许用户上载微代码以对像素值进行操作，参见Johansson等人的“A multiresolution 100 GOPS 4 gpixels/sprogrammable CMOS image sensor for machine vision，”关于CCD和先进图像感测器的IEEE专题组，2003年。

另一种技术甚至在存在环境光的情况下根据选通LED获取MCSI图像并解码高频光代码，参见Matsushita等人的“Id cam：Asmart camera for scene capturing and id recognition，”ISMAR，第227-236页，2003年。

图像生成

已知的图像生成方法的数量太多，这里不再进行详述。大多数方法直接对像素强度值进行操作。其他方法从输出图像的强度值提取图像梯度。然后进一步处理这些梯度以利用高动态范围(HDR)色调映射、阴影消除、以及其他图像编辑操作来产生图像。

另一种技术是基于观测到人视觉系统对局部对比度比绝对光强度更为敏感。这种技术使用色调映射方案在传统的显示器上再现高动态范围的图像，参见Fattal等人的“Gradient domain high dynamicrange compression，”ACM SIGGRAPH，第249-256页，2002年。

另一种技术应用基于边缘的图像压缩，参见J.Elder，“Are EdgesIncomplete？，”International Journal of Computer Vision，34(2/3)：97-122，1999年。零峰值直方图的梯度分析提供了超分辨率和根据Bayer模式的图像去镶嵌的方案，参见Tappen等人的“Exploiting thesparse derivative prior for super-resolution and imagedemosaicing，”关于觉统计和可计算理论的第3国际专题组，2003年。

获取HDR图像的技术已经主要依赖于多次曝光或根据入射光的强度调节每个单独像素的感光度，参见Mann等人的“On Beingundigital with digital cameras：Extending dynamic range bycombining differently exposed pictures，”IST第46届年会会刊，第422-428页，1995年；Kang等人的“High dynamic range video，”ACMtrans.Graphics，22(3)：319-325，2003年7月；以及Debevecet等人的“Recovering high dynamic range radiance maps fromphotographs，”ACM SIGGRAPH，第369-378页，1997年。

已经使用对数响应照相机获取HDR图像。但是，这些输出图像在较高强度时其线性分辨率减小。

一种HDR技术执行像素强度值的自适应衰减，以及空间变化像素曝光，参见Nayar等人的“Adaptive dynamic range imaging：Opticalcontrol of pixel exposure over space and time，”Proc.Int’1 Conf.Computer Vision，2003年。

另一种成像系统使用微镜的可编程阵列。这种阵列能够调制场景光线，参见Nayar等人的“Programmable imaging using a digitalmicromirror array，”Proc.Conf.Computer Vision and PatternRecognition，2004年。

测量方法

大多数传统的模拟和数码相机测量静态的光强度。即，所述照相机根据以下方程时间平均该强度。

I_d(m，n)＝(kI_s(m，n))^γ                            (1)

这里I_d是在‘显示’像素(m，n)规格化的输出强度值，其范围位于0.0≤I_d≤1.0，I_s是在相应的光探测器(m，n)获取的感测能量，k是曝光，例如增益、感光度或胶片速度，以及γ是对比度灵敏度。典型地，用于CCD的对比度灵敏度γ接近于1。如果该γ小于1，则减小对比度，否则，如果该γ大于1，则增加对比度。

方程(1)能够用对数表示，其中差值直接对应于反差比。

log(I_d)＝γ(log(I_s)+log(k))                        (2)

方程2揭示了对比度灵敏度γ是用于对比度的定标因子，以及曝光k以对数单位是偏量。

在大多数传统的照相机中，对比度灵敏度γ在整个获取的图像上是均匀的。这保证了每一像素值位于强度值的预定范围内。k和γ的像素到像素的强度变化对输出图像的外部特征具有很强的影响。

但是，如上所述，显示强度I_d还包括由于离散光子到达产生的噪声，感测器设备、非均匀感测器材料和电路组件中的热噪声，例如固定模式的噪声，和外部干扰，例如EMI/RFI、‘漏光’、和由于处理缺陷引起的噪声。噪声‘隐藏’了精确的显示值I_d，从而超过12到14位的A/D转换精度难以提高用于非人工冷却的感测器的信号估计。许多传统的数码相机测量原始像素感测器强度为10或12位的值。

大多数传统的数码相机还是“准线性的”，其中显示的值I_d被期望与场景强度值I_s成正比，但是包括一些对比度压缩，例如γ＝0.455，以补偿传统计算机显示的对比度放大，例如γ＝2.2，以便所产生的视在对比度灵敏度接近于1。

通过场景强度I_s规定曝光k使得显示强度值I_d＝1.0以显示‘白色’。显示设备的对比度限制然后表现为在显示设备的黑暗区域中缺少细节。

A/D分辨率和对比度灵敏度γ还设置传统准线性数码相机的对比度范围的上限。利用2^b均匀量化等级的显示强度值I_d、固定的k和固定的γ，照相机能够获取的场景强度的最大比率是

C_max＝I_smax/I_smin＝2^-b/γ，或者

(log(1)-log(2^b))＝γ(log(I_smax)-log(I_smin))。

某些传统的数码相机还能够模拟摄影胶片的‘拐点(knee)’和‘肩(shoulder)’响应，这里对于接近0.0和1.0强度极值的I_d值，对比度灵敏度γ平滑逼近零。照相机对比度响应的较不急剧终止能够保持其他黑色阴影和白色高亮中的一些细节。但是，正如利用胶片一样，这些努力仍然不足以产生HDR场景的细节图像。

许多感兴趣的场景包含对于大多数A/D转换器来说太大的对比度。在这些HDR场景中，传统的曝光控制方法通常失败，以及用户必须不幸地选择由于眩目的白色或无特征的黑色而丢失哪些可见场景特征。

用于对数响应(log-responding)数码相机的量化等级遵循Fechner定律。Fechner发现大约百分之一或二的强度改变是对于人视觉系统‘恰好可注意到的差别’。但是，像传统的照相机一样，所选用于对数响应照相机的量化等级必须跨越场景强度I_s的整个动态范围，以及不位于该范围内的所有场景强度则被不可挽回地丢失。

所以，期望提供一种产生图像的照相机，它能够产生高动态范围的细节，并且克服现有技术的许多问题。

发明内容

本发明提供一种用于感测能量场例如场景中的可见光的方法和设备。该设备包括一组能量感测元件。每个感测元件直接感测能量场局部梯度的幅度和符号。根据局部梯度而不是像现有技术照相机中那样根据信号强度产生输出图像。

特别是，根据本发明的梯度照相机和方法测量静态梯度，代替在传统相机中那样测量静态强度。为每一感测元件量化带符号的梯度。为每一感测元件局部确定曝光和平均时间。使用该梯度求解泊松方程能够产生用于输出图像的强度值。

本发明测量直接单次曝光中能量场的局部梯度。所以，减小了共模噪声。本发明能够产生详细的、高对比度HDR输出图像，该图像不经过如用于传统相机的像素强度饱和。

本发明减小了量化噪声，并且能够在各个感测元件校正饱和。不需要曝光度量，并且能够使用镜头光圈严格地控制聚焦的深度。

附图说明

图1是根据本发明的梯度感测器的方框图；

图2是根据本发明的梯度感测元件的电路图；

图3是感测元件配置的方框图；

图4是感测器群的方框图；以及

图5是根据本发明的感测方法的流程图。

具体实施方式

系统概述

图1示出了根据本发明的系统100。该系统感测能量场101并产生表示该感测的能量场例如电磁辐射诸如可见光的数字输出图像102。

本发明的系统包括一组110感测元件200。该感测元件组在能量场101中空间布置。例如，元件200能够在图像平面上布置为如图所示的N×M元件阵列。替换地，感测元件能够布置为环或圆柱体以便如在医疗和高能物理应用中所使用的那样能够三维扫描能量场。其他配置诸如3D阵列也是有可能的。在优选实施例中，如点所指示，感测元件200还包括位于N×M阵列边缘的一组边界元件201。

梯度感测元件

每一个感测元件200测量仅入射到该元件上的能量场部分的局部梯度G 209的幅度和符号。梯度209能够存储在存储器121中并被进一步处理120，如这里所述，以产生输出图像102。应该明白的是所述系统还能够包括镜头、快门和过滤器。

如图2所示，每个感测元件200包括至少两个能量强度感测器210。图3示出了感测元件的替换配置301-303。这些配置能够测量各个方向例如G_x和G_y中的梯度幅度和符号。在优选实施例中，该元件能够如下所述动态地重新构造成不同的‘群’。

如果能量场是可见光的形式，那么感测器210能够是电荷耦合器件(CCD)，即累积和存储电荷的金属氧化物半导体(MOS)电容。对于其他形式的电磁辐射，能够选择本领域中所已知的适合的感测器。

强度感测器210的每个输出211连接乘法器220，乘法器的输出连接放大器230，该放大器又连接A/D转换器240，以便A/D转换器240的输入231是场强度的对数(log)。连接数字输出241，以便用于测量对数输入信号241之差的加法器250产生能量场的局部梯度209的幅度和符号的度量。正如这里所描述的。乘法器220单独连接增益控制器260。对于每一元件还能够独立地、动态地调节该增益。

值得注意的是上述电路差动地测量和传送梯度幅度以减少共模噪声。

对数梯度测量

理想地，阵列110是测量场101的梯度幅度209的无噪声、无穷小面积的元件的2维网格。这些元件的空间采样速率还应该超出镜头的点散布函数(PSF)中的最高频率分量以测量：

(g_x(m，n)，g_y(m，n))＝I(m，n)                    (3)

这里I指示梯度幅度。

实际上，g_x(m，n)和g_y(m，n)是来自相邻对强度感测器210的差信号。在优选实施例中，测量log(I_d)差，以从该测量中消除曝光值k：

lg_x(m，n)＝log(I_d(m+1，n))-log(I_d(m，n))，

         ＝γ(log(I_s(m+1，n))-log(I_s(m，n)))，和

lg_y(m，n)＝γ(log(I_s(m，n+1)-log(I_s(m，n)))

                                                 。

根据两个局部调节的强度感测器210确定每一带符号的对数梯度209，lg_x或lg_y。只要两个强度感测器210使用相同的曝光k和对比度灵敏度γ值，该曝光k值对输出图像102不具有任何影响。这允许每一梯度感测元件200按照需要局部调节其共享的曝光k以最佳地避免强度饱和。另外，用于每一lg_x和lg_y的设置γ允许调节到A/D转换器240的信号231的幅度，以得到更精确的结果。

本发明根据有噪声、饱和的、以及具有一贯优良精确度的量化梯度再现高对比度场景。甚至具有直接可见阻塞光源的场景能够利用最大反差比小于100∶1的梯度感测器再现。有可能考虑将这里描述的照相机作为交织的四像素强度相机的阵列，每一交织的相机独立地调节到可获得的光，并且以对数形式中继它的四个感测值，如下所述。

测量群

代替同时为N×M自适应感测元件200的网格测量所有梯度lg_x和lg_y，我们使用多个测量步骤，这是因为每一测量约束一对强度感测器210共享相同的k和γ值。如果同一时间测量所有的值lg_x，lg_y，那么相同的k和γ值必须应用于整个图像，正如在测量信号强度的传统数码相机中所实现的那样。我们想要避免这种限制。

作为替代，如图4所示，动态地划分所述感测器成‘群’401的小的不相交组。在操作期间能够重新构造这些感测器，以便任何感测器能够是不止一个群的成员。

在如本领域中所已知的图论中，群是一组完全连接的节点，即每个节点具有到另一个节点的边缘或‘链路’。在四群中，每个节点连接到其他三个节点，并且总共存在六个边缘。在根据本发明的梯度场中，所述图形表示的边缘是感测的梯度。

在根据本发明的系统中，测量相邻对感测器210之间的差402以获得用于该群的四个梯度。还能够在对角线上测量这些梯度以获得六个梯度，这进一步减少了误差。

每一群单独地测量所述场的梯度209的幅度。独立地调节用于每一群401的k和γ值，以确定用于每群的log(I_s)值231，以及接下来的梯度。

动态地选择特定群的k和γ值以避免强度饱和。大量的不同群设计是有可能的。最简单的设计是使用两个感测器群，其中每一群包括用于一个lg_x或lg_y测量的该对感测器。在这种设计中，每个感测器403是标记为A、B、C、和D的四个不同群的成员，每一群具有其自己的k和γ值，如图4所示。

在实际上，每个感测器属于不止一个群。这些群顺序地测量梯度。我们定义两个组或更多组相互不相交的群，即不共享感测器的群，并以交织的方式测量每一组。顺序测量所述组的群能够使我们调节当前群的共享k值成最佳值。能够使用适当的切换电路以如图4所示的棋盘模式布置四个相邻感测器的群。

这种‘盒子’群棋盘方案一次测量仅仅两组群A和C的所有(lg_x，lg_y)值。每一群在两个局部k值之间进行选择。因此，M×N阵列仅仅使用MN/2个单独的k值。

如果我们将每一群成员或感测器210视为图中的节点，将成员之间的差视为节点之间‘链路’的强度，那么群成员之间的所有差的完整集合形式上定义成为群的连接图。在A/D转换240之后测量这些差保证了lg_x，lg_y以及在群内测量的任何对角线链路具有零‘旋度’，如下所述。

噪声抑制

使用群来测量局部梯度的幅度和符号改进了共模噪声抑制。值得注意的是每个元件200不直接测量lg_x，lg_y，而是测量用于每一感测器的第一测量log(I_s)，然后以数字方式减去250该对数测量。

许多现有技术的图像感测器传送作为模拟电压、电流或电荷的强度信号到未集成到该感测器中的A/D转换器。这种类型的传送易受来自邻近数字电路的噪声、串扰和外部EMI/RFI的影响。

如本发明使用的差分信号传送通过沿两条相邻通道203-204发送信号和它的负值(+S，-S)改进了对噪声的抗扰性，参见图2。通过减法250消除了不想要的与两条通道都耦合的‘共模’噪声N：

(N+S)-(N-S)＝2S

沿相邻的通带从四个群成员发送log(I_s)信号能够提供共模噪声抑制，而不用附加的信号通道，这是由于通过用于为该群确定四个lg_x，lg_y的减法消除了不想要的信号。除了共模噪声抑制以外，到A/D转换器240的群输入231能够‘自动调整’A/D转换以进一步减小lg_x，lg_y测量中的量化误差。

本发明还通过动态地修改测量范围以适于入局信号强度的宽范围，从而提供了额外的精度。这允许即使当差接近零和由噪声所控制时，也可精确量化每一群内的信号。这种附加的精度通过数字平均同一局部场梯度的重复测量，改进了噪声抑制。

图像生成方法

图5示出了根据本发明的方法500。测量510能量场101例如‘场景’以获取梯度209的幅度和符号。该梯度能够在存储器121中存储为梯度场511。梯度场511当表示为图时，对于‘旋度’校正520它。如果该图不相交，连接530它以产生校正的场531。使用校正的场531求解540泊松方程以产生输出图像102。

具体而言，恢复具有在最小平方意义上基本上等于感测的梯度lg_x和lg_y的图像梯度I_x和I_y的2D对数强度I(＝log(I_d))。

通过最小化函数能够实现恢复所述2D对数强度

J(I)＝∫∫(I_x-lg_x)²+(l_y-lg_y)²dxdy                  (4)

最小化J的欧拉-拉格朗日方程是

$\frac{\∂J}{\∂I}-\frac{d}{\mathrm{dx}}\frac{\∂J}{{\∂I}_x}-\frac{d}{\mathrm{dy}}\frac{\∂J}{{\∂I}_x}=0---\left(5\right)$

这给出了熟知的泊松方程

${\▿}^{2}I=\frac{\∂}{\∂x}{\lg }_x+\frac{\∂}{\∂y}{\lg }_y---\left(6\right)$

其中 ${\▿}^{2}I=\frac{{\∂}^{2}I}{{\∂x}^2}+\frac{{\∂}^{2}I}{{\∂y}^2}$ 等于熟知的拉普拉斯算子。然后根据I能够获得显示强度I_d。

对于求解540泊松方程已知了大量的不同技术，诸如多网络求解、逐次超松弛、以及基于正弦变换的直接分析解决方案，参见W.H.Press，S.A.Teukolsky，W.T.Vetterling以及B.P.Flannery，“Numerical Recipes in C：The Art of Scientific Computing”，剑桥大学出版社，第2版，1992年；Simchony，R.Chellappa以及M.Shao，“Direct analytical methods for solving Poisson equations in computervision problems，”IEEE Trans.Pattern Anal.Machine Intell.，12(5)，第435-446页，1990年5月；以及Jian Sun，Jiaya Jia，Chi-KeungTang以及Heung-Yeung Shum，“Poisson matting，”ACM Trans.Graph，23(3)，第315-321页，2004年。

边界条件

对于图像生成，我们愿意使用如本领域中使用的狄利克雷边界条件。但是，这将会需要我们测量阵列110边缘的绝对强度值，这是我们尽力所避免的。

这里，在边界或阵列110上提供边界元件201的1D环。元件201仅仅在边缘上测量梯度。所有剩余的内部元件相对于通过边界元件获取的梯度测量所述梯度。所以，首先从边界元件，然后从剩余的元件，相对于从该组边界元件获得的强度来恢复所述图像强度。

图像生成以两个步骤处理：第一，我们使用边界感测元件201确定在图像边缘的强度值，直到未知的偏量，这一个1D问题；以及第二，我们使用边缘的强度值通过求解泊松方程获得用于内部像素的强度值，这是一个2D问题。

具有自由度为1的重构图像中的未知偏量达到全局曝光设置。如果校正感测误差，上述求解产生了能量场101的优良重构。

感测器误差校正

旋度校正

当导出式过滤器应用于自然图像时，过滤器的输出是稀疏的。因此，对于大多数图像来说，所述梯度值是低的。根据本发明的自适应测量保证了只有小量的梯度是饱和的。由于所述梯度表示基本的2D函数，这些梯度形成保守场。

不保守的梯度场具有非零旋度。因此，饱和的梯度具有非零旋度。另外，非功能感测器由于制造缺陷，还能够促进非零旋度。所以，本发明校正520非零旋度以产生校正的保守场531。

在梯度场中位置(m，n)的旋度定义为：

C(m，n)＝(lg_x(m，n+1)-lg_x(m，n))-(lg_y(m+1，n)-lg_y(m，n))    (7)

这是lg_xy-lg_yx的离散等效值。对于特定的位置(m，n)，lg_x或lg_y或者二者能够饱和。至多，这产生了位置(m，n)、(m，n-1)和(m-1，n)的非零旋度。因此，使用饱和梯度的位置，我们能够确定具有非零旋度的所有梯度。

让具有非零旋度的像素的数量等于K。对于每一这种像素，能够重写方程7以给出K个旋度方程。让c是从以字典式的顺序堆栈所有非零旋度值而获得的K×1向量。

通过字典式的顺序，我们意谓以下的内容。让C(m₁，n₁)、C(m₂，n₂)，...，C(m_K，n_K)表示K个非零旋度值。通过以增加的顺序排序‘m’和‘n’值堆栈这些值为K*1向量。列中的第一项将是对应于最小‘m’和‘n’值的C值。该堆栈中任何‘之下’和‘之上’项应该具有较大的‘n’值。如果不是，它应该具有较大的‘m’值。例如，将C(1，1)、C(4，3)、C(6，5)、C(3，4)、C(3，6)、C(5，1)、以及C(5，5)排列为：

C(1，1)

C(3，4)

C(3，6)

C(4，3)

C(5，1)

C(5，5)

C(6，5)

形式上，让x表示在上述所有K个旋度方程中出现的所有lg_x和lg_y值，这能够写为：

$x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right],$

这里x₁是表示已知的即非饱和的、梯度测量的P×1向量，以及x₂是表示饱和的梯度测量的L×1向量。因此获得以下线性方程系统

$\mathrm{Ax}=A\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=c---\left(8\right)$

这里A是K×(P+L)稀疏矩阵。矩阵A的每一行表示K个方程中的一个方程，并只具有四个非零值：对应于lg_x(m，n+1)以及lg_y(m，n)的两个+1，对应于lg_x(m，n)和lg_y(m+1，n)的两个-1。通过写矩阵A为：

$A^{K\×(P+L)}=\left[\begin{array}{cc}{A}_1^{K\×P}& A_2^{K\×L}\end{array}\right],$

我们获得

A₂x₂＝c-A₁x₁                                       (9)

因此， $x_2={\left(A_2^T{A}_2\right)}^{-1}{A}_2^T(c-A_1{x}_1),$ 所以，能够恢复饱和的梯度测量。上述仅仅当rank(A2)≥L时是有效的。以下描述当rank(A2)小于L时的情形。

不相交图校正

如上所述，我们考虑将梯度lg_x和lg_y作为节点之间的“链路”，以及饱和的梯度表示‘损坏的’链路。当感测网格保持连接图或如通过图论定义的群时，rank(A₂)等于L。但是，如果饱和梯度或‘损坏的’链路是这样情形即它们与网格的剩余部分断开连接任何节点，那么对于这些相关的梯度不能校正旋度。

在这种情况下，主网格被分割成不相交的图，例如，如果在图像中存在极亮的点，那么亮点边界上的所有梯度是饱和的。因此，损坏了连接亮点到图像剩余部分的所有链路，对应于所述亮点的节点形成与主网格断开连接的不相交的图。

本发明限制了不相交图中的误差。在优选实施例中，通过指定最大梯度值给断开连接的其中一个链路，连接530每个这种不相交图到主网格，并使用旋度校正解决剩余的饱和梯度。

具有低对比度细节的HDR

量化

即使本发明能够获取具有非常宽范围对比度的图像，与传统的强度相机相比，梯度测量具有远远较小的可见量化误差。传统的强度相机将输出图像近似为具有分段恒定值的函数，其中A/D转换器产生固定数量的均匀间隔量化等级。

相反，本发明将输出图像102近似为具有分段线性值例如分段恒定梯度209的强度函数，其中A/D转换器设置所需梯度的数量。

与信号相关的噪声

即使减小旋度和共模噪声，对于任何基于感测梯度的相机仍保留有关的噪声，这是因为众所周知“梯度总是有更大噪声的”。如果每个感测器具有方差为V的附加的零平均高斯分布随机噪声，那么对数差测量lg_x，lg_y中的噪声具有方差2V，以及所需用于梯度相机的附加电路引入了新的噪声来源。

但是，在输出图像中梯度噪声看起来不同。如上所述，求解泊松方程以积分感测器噪声梯度g_x+N_x，g_y+N_y以重构所述图像I_输出，其中在最小平方意义上梯度最近似匹配g_x、g_y。积分是线性的，即，I_输出＝I_理想+I_N，以及像素(m，n)处的梯度噪声平滑促进小的误差。所产生的只噪声图像I_N具有如下所述的特征化的平滑、低频、‘模糊的’外部特征。

已知为边缘屏蔽的人视觉系统的特性使得近噪声的步进的非连续性较不明显。这表明较少可观察到在高梯度中具有高的噪声，因此，本发明的梯度相机有理由‘隐藏’与信号相关的噪声。

运动抑制

一些传统的数码相机使用稳定机制来减小由于相机或场景运动所产生的模糊。根据本发明的梯度感测相机容忍强度中的分段线性变化，这提供了另一种策略，另外还减小了由于在时间间隔上选择性平均梯度所产生的噪声。传统的强度相机能够使用相同的策略，但是不会减小噪声。

其基本思想是使用比较器电路来比较当前梯度测量和时间平均的度量。当所述变化大于噪声所产生的变化时，终止所述平均，并且使用当前值作为最佳估计。引起图像强度和梯度中不连续性的清晰图像特征，诸如类似步进或类似脊的特征，使得测量梯度中的巨大变化作为图像平面上的特征‘运动’。需要抑制这些特征保持图像的清晰。

不幸的是，这种相同的策略在强度相机中非常较早地终止了。具有分段恒定梯度的图像区域，例如平滑阴影的区域，能够被在本发明的梯度相机中在出现运动的情况下精确地测量，而在传统的强度相机中却不能对其精确地测量。根据本发明的用于梯度相机的这种扩展的度量和平均时间减小了测量中的噪声量。

其他噪声相关

如上所述，本发明的梯度相机对与信号相关的噪声非常起作用，其中对于低的梯度所述噪声低以及对于高的梯度所述噪声则高。但是，由于泊松方程高斯分布随机噪声具有‘模糊’的外部特征。一种解决方案能够利用双向过滤器通过选择性保留高梯度减小噪声，如在图像中用于传统的边缘保留平滑所实现的。但是，直接将双向过滤器应用于梯度较为不令人满意。尽管当梯度差大时，双向过滤器将不进行平滑，但是该过滤器将平滑接近高梯度的梯度，因此使边缘拖影。

我们优选使用依赖于梯度幅度的高斯过滤器，这限制了对高的梯度进行平滑。因此，仅仅平滑低的梯度。另外，由于梯度场是2维场，因此能够使用椭圆空间高斯过滤器。并称这种过滤器为扩展的方向性双向过滤。过滤内核G能够表示为：

G＝G_s*G_diff*G_mag，                     (10)

这里G_s是椭圆高斯过滤器，它沿梯度方向具有低的方差，在垂直于梯度的方向具有高的方差。过滤器G_diff是依赖于当前位置(像素)和相邻像素的梯度幅度差的高斯过滤器。这防止了沿着锐度边缘平滑。过滤器G_mag是依赖于当前像素梯度幅度的高斯过滤器。过滤器G_mag保证了高的梯度不被平滑。通过选择空间过滤器的带宽和方差，能够极大地改进这些结果。

另一种方法通过获得有意义的强度表示来处理噪声问题，并使用该强度限制泊松重构。由于高的梯度对于保留锐度和边缘更为重要，因此首先能够仅仅根据高的梯度重构部分图像，并使用这种重构作为一种限制，在最小平方解决方案中，根据低的梯度重构强度值。

根据散焦校准

对于正确的操作，用于‘群’中的强度感测器的增益设置必须匹配，并且动态地改变为入射信号强度变化。在制造过程中或在操作过程中能够匹配所述设置。

相对小尺寸的感测元件200保证了故意的散焦为每群中的每个感测器提供实际上相同的信号强度。因此，能够使用散焦作为消除群成员之间的任何非零偏量的可靠参考。同理，打开和关闭所述光圈广泛地能够改变入到每群上的均匀强度，并且能够被用作匹配用于每一感测元件的感光设置或增益的可靠参考。如果较高的动态范围必须用于群内更精确的增益匹配，那么天空、太阳、或明亮电灯泡的散焦视野能够提供必须的照明极限。

相机视野内的景物效果

能够提供若干基于梯度的图像操作技术作为相机视野内的景物效果。这些包括通过在同一图像中组合多个聚集距离，由用户定义的聚集深度，或者利用大的镜头光圈进行深度聚集。通过扩展所述平均时间，以及抑制梯度的外部，从静态场景能够自动地移除运动的前景物体，例如运动的汽车和步行者。还能够消除大气雾霾。能够抑制镜头反射光斑，并且通过适当的梯度操作能够部分地移除镜头眩光。

应该注意到能够在通过传统相机获取的图像上进行这种操作。但是，在后处理步骤中，需要从已处理的输出图像的像素强度值中提取所述梯度场，该梯度场具有所有的其累积的内在误差。然后，进一步处理该梯度，并根据从输出图像获得的处理梯度重构新的输出图像。

相反，本发明在产生输出图像之前，通过直接操作原始的输入数据即带符号梯度产生相机视野内的景物效果。

对数域梯度测量

梯度信号非常适于A/D转换，这是因为即使对于高对比度的场景来说，大多数梯度幅度是低的。较少的确实大的梯度通常由直接可见光源的遮光边缘所产生。通过在对数域中进行测量，甚至将这些梯度限制于只是从脉冲响应，即相机镜头的点散布函数可测量的最大lg_x，lg_y。当通过传统的相机直接测量该强度时，则不存在类似的限制。

量化容限

量化方法看起来为梯度相机的性能改进提供了许多机会。由于对数梯度峰值的曲线在零附近，给小的梯度而不是给较大梯度分配附加电平的量化器具有较低的总RMS测量误差。

同理，人视觉系统是粗略地比率度量。对于人视觉大多数可使用的强度范围，亮度中‘正好可注意到的差别’描述了大约百分之一或二的对比度。通过在对数域中数字化梯度，梯度量化等级直接对应于对比度，并且独立于感测器增益或强度偏量。

若干其他形式的自适应量化还能够改进A/D量化等级的使用以增强场景对比度。例如，自动调整A/D能够分配量化等级以使信号适于每个群。还能够使用梯度曲线均衡。替换地，所述用户能够选择量化等级来优化场景图像。

群选择

当完成对于每一lg_x、lg_y值的两个独立测量时，如图4所示的四群组A、B、C、D的直接扩展能够进一步减小噪声，并且能够测量一组完整的对角线差。

例如，能够组合来自所有四个群(A、B、C、D)的结果。然后，能够使用过滤内核是代替四连接的八连接的泊松求解，同时使得会聚更快并进一步减小重构的输出图像中的噪声。通过使用依赖于位置的过滤内核还能够改进交织(A、C)的配置。

用于每一(m，n)位置，例如log(I(m±1，n±1))-log(I(m，n))的八连接差测量是无旋度测量的两倍，并且由九点过滤器内核重构使用其来进一步减小噪声。群和群组的最佳配置设置平衡几何和感测器芯片能力。较大的群意味着较小的k调节电路，但是增加了群成员感测器随着广泛共享的k值而饱和的机会，从而减小了感测器效率。

群形状和几何平铺原则确定了需要多少不同的群组来测量所有(lg_x，lg_y)值。选择的数量随群大小迅速地增加。需要许多群组的群设计能够增加所需用于获取图像的时间。

尽管以测量镜头场景描述了本发明，但是应该明白根据本发明的时间空间梯度相机能够获取运动视频。同理，上述描述聚焦分析亮度。本发明的HDR技术能够在后处理期间处理色度。色度通常是低对比度的。所以，通过单独组的感测器能够感测彩色。除了矩形网格以外，还能够考虑其他的模式。例如，叠加在轴对准网格上的对角线网格能够改进会聚度。

本发明的效果

本发明提供了通过重构其局部感测的梯度以测量能量场的梯度相机。这种相机比传统的相机具有大量的显著优点。不需要曝光度量来获取高对比度的场景。减小了量化的影响，并且噪声分布为低频误差。基于梯度的图像重构的视觉特性令人感觉愉悦。

本发明能够使用较小的量化等级。和用于量化梯度一样少的4位产生了和像素强度的八位类似的外部特征，这是因为量化的强度将图像近似为分段恒定图像，而量化的梯度将图像近似为分段线性图像。

根据本发明的相机可容忍噪声。依赖于信号的梯度噪声与梯度幅度成比例，该噪声比传统相机中与图像强度成比例的噪声相比远远较少可注意到。

本发明能够自动校正饱和梯度感测器以及误操作各个感测器，而不用这些检测器的明确的预定图。而且，内在不同的信号发送改进共模噪声抑制。对于手持相机还能够抑制运动拖影。

另外，基于梯度的图像操作技术能够提供相机视野内的景物效果。各个梯度感测器能够选择增益和曝光时间以最小化模糊和噪声。不像数码强度相机中的噪声那样，类似胶片粒度、感测的梯度噪声，在图像重构之后，看似低频分布的误差，其‘朦胧的’外部特征不模糊边缘并且被通过图像本身的较高对比度、较高频率内容所屏蔽。

尽管已经通过优选实施例的实例描述了本发明，但是应该明白在本发明的精神和范围内可以作出各种其他适配和修改。所以，附属权利要求书的目的是覆盖位于本发明精神和范围内的所有这些变型和修改。

Claims (65)

1、一种感测设备，包括：

一感测元件组，每个感测元件被布置在能量场中，以测量能量场局部梯度的幅度和符号。

2、根据权利要求1所述的设备，其中所述能量场是电磁辐射。

3、根据权利要求2所述的设备，其中所述电磁辐射是可见光。

4、根据权利要求1所述的设备，其中所述感测元件组在图像平面上布置为N×M阵列元件。

5、根据权利要求1所述的设备，其中所述感测元件组布置为圆柱体。

6、根据权利要求1所述的设备，其中所述感测元件组包括一组位于该感测元件组周边的边界元件。

7、根据权利要求1所述的设备，还包括：

存储器，用于存储所述梯度的幅度和符号为梯度场。

8、根据权利要求1所述的设备，其还包括：

镜头；和

快门。

9、根据权利要求1所述的设备，其中每个感测元件还包括：

多个能量强度感测器，每个能量强度感测器用于测量能量场的局部强度，以获得多个强度；以及

减法装置，用于相互地减去所述多个强度以获得所述局部梯度的幅度和符号。

10、根据权利要求9所述的设备，其中每个感测元件的所述多个能量强度感测器和减法装置被差动地连接和传送。

11、根据权利要求9所述的设备，其中每个能量强度感测器是电荷耦合器件。

12、根据权利要求1所述的设备，还包括：

用于独立于其他感测元件动态地控制每个感测元件的增益以避免感测器饱和的装置。

13、根据权利要求1所述的设备，其中通过每个感测元件测量所述幅度的对数。

14、根据权利要求9所述的设备，其中所述感测元件组的所述多个能量强度感测器被动态地分割成不相交组的群。

15、根据权利要求14所述的设备，其中每个群包括四个能量强度感测器，以及每个群被构造用于测量局部梯度的四个幅度。

16、根据权利要求14所述的设备，其中每个群包括四个能量强度感测器，以及每个群被构造用于测量局部梯度的六个幅度和符号。

17、根据权利要求14所述的设备，其中所述不相交组的群以交织的方式测量所述梯度。

18、根据权利要求1所述的设备，还包括：

用于根据所述梯度幅度和符号产生表示能量场的输出图像的装置。

19、根据权利要求18所述的设备，还包括：

用于根据所述能量场的强度的对数之差产生梯度场的装置；以及

用于使用所述梯度场求解泊松方程以恢复输出图像中像素的强度值的装置。

20、根据权利要求19所述的设备，还包括：

用于校正所述梯度场中旋度的装置。

21、根据权利要求20所述的设备，其中所述泊松方程是

${\▿}^{2}I=\frac{\∂}{\∂x}{\lg }_x+\frac{\∂}{\∂y}{\lg }_y,$

这里 ${\▿}^{2}I=\frac{{\∂}^{2}I}{{\∂x}^2}+\frac{{\∂}^{2}I}{{\∂y}^2}$ 是用于输出图像I中位置(x，y)处的像素强度的拉普拉斯算子，以及lg指示所述能量场的感测强度的对数差。

22、根据权利要求21所述的设备，其中所述感测元件组包括位于该感测元件组周边的一组边界元件，所述设备还包括：

用于根据该组边界元件确定所述强度值的装置；以及

用于根据剩余的感测元件相对于该组边界元件的强度确定所述强度值的装置。

23、根据权利要求21所述的设备，其中位于梯度场中位置(m，n)的旋度定义为：

C(m，n)＝(lg_x(m，n+1)-lg_x(m，n))-(lg_y(m+1，n)-lg_y(m，n))。

24、根据权利要求1所述的设备，还包括：

用于时间平均所述梯度以减小由于运动所产生的噪声影响的装置。

25、根据权利要求19所述的设备，还包括：

用于过滤所述梯度场的装置。

26、根据权利要求25所述的设备，其中所述过滤应用方向性双向过滤器给所述梯度场。

27、根据权利要求26所述的设备，其中所述方向性双向过滤器表示为过滤器内核G，使得

G＝G_s*G_diff*G_mag，这里G_s是椭圆高斯过滤器，它沿梯度方向具有低的方差，在垂直于梯度的方向具有高的方差，过滤器G_diff是依赖于当前位置和相邻位置处的梯度幅度差的高斯过滤器，以及过滤器G_mag是依赖于当前位置处的梯度幅度的高斯过滤器。

28、根据权利要求18所述的设备，其中部分图像首先根据相对高的梯度幅度产生，并且根据该部分图像约束整个输出图像的生成。

29、根据权利要求1所述的设备，还包括：

用于散焦所述能量场以校准所述感测元件组的装置。

30、根据权利要求18所述的设备，其中通过所述梯度场的外部操作从所述输出图像中消除运动前景物体。

31、根据权利要求18所述的设备，其中通过对所述梯度场操作从所述输出图像中消除大气雾霾。

32、根据权利要求18所述的设备，其中通过所述梯度场的操作在所述输出图像中减小镜头反射光斑和镜头眩光。

33、根据权利要求1所述的设备，其中量化所述幅度。

34、根据权利要求33所述的设备，其中自动地确定许多量化等级。

35、根据权利要求33所述的设备，其中用户确定许多量化等级。

36、根据权利要求1所述的设备，其中在静态场景中测量所述梯度的幅度和符号。

37、根据权利要求1所述的设备，其中时空测量所述梯度的幅度和符号以产生视频。

38、根据权利要求1所述的设备，还包括：

用于测量所述能量场的频率的装置。

39、根据权利要求1所述的设备，其中所述感测元件组布置为在感测元件的对角线网格上所叠加的感测元件的矩形网格。

40、一种用于感测能量场的方法，包括：

在能量场中布置一感测元件组；以及

利用每个感测元件感测所述能量场的局部梯度的幅度和符号。

41、根据权利要求40所述的方法，其中所述能量场的辐射是可见光。

42、根据权利要求40所述的方法，还包括：

在图像平面上将所述感测元件组布置为N×M阵列元件。

43、根据权利要求40所述的方法，还包括：

将所述感测元件组布置为环。

44、根据权利要求40所述的方法，还包括：

在存储器中将所述梯度的幅度存储为梯度场。

45、根据权利要求40所述的方法，其中每个感测元件包括多个能量强度感测器，每个能量强度感测器用于测量能量场的局部强度，以获得多个强度；以及所述方法还包括

相互地减去所述多个强度以获得所述梯度的幅度。

46、根据权利要求45所述的方法，其中所述多个能量强度感测器和用于相减的装置被差动地连接。

47、根据权利要求45所述的方法，还包括：

用于独立于任何其他感测元件动态控制每个感测元件的增益以避免饱和的手段。

48、根据权利要求40所述的方法，其中通过每个感测元件测量所述幅度的对数。

49、根据权利要求45所述的方法，还包括：

动态地分割所述感测元件组的所述强度感测器组成不相交组的群。

50、根据权利要求49所述的方法，还包括：

利用每个群测量所述局部梯度的四个幅度。

51、根据权利要求49所述的方法，其中不相交组的群以交织的方式测量所述梯度。

52、根据权利要求40所述的方法，还包括：

根据所述梯度的幅度和符号产生表示所述能量场的输出图像。

53、根据权利要求52所述的方法，还包括：

根据所述幅度的对数产生梯度场；和

使用所述梯度场求解泊松方程以恢复所述输出图像中像素的强度值。

54、根据权利要求53所述的方法，还包括：

校正所述梯度场中的旋度。

55、根据权利要求53所述的方法，其中所述泊松方程是：

${\▿}^{2}I=\frac{\∂}{\∂x}{\lg }_x+\frac{\∂}{\∂y}{\lg }_y,$

这里 ${\▿}^{2}I=\frac{{\∂}^{2}I}{{\∂x}^2}+\frac{{\∂}^{2}I}{{\∂y}^2}$ 是用于输出图像I中位置(x，y)处的强度的拉普拉斯算子，以及lg指示所述对数。

56、根据权利要求53所述的方法，其中所述感测元件组包括位于该感测元件组周边的一组边界元件，以及所述方法还包括：

根据该组边界元件确定所述强度值；以及

根据剩余的感测元件相对于该组边界元件的强度确定所述强度值。

57、根据权利要求40所述的方法，还包括：

时间平均所述梯度以减小由于运动所产生的噪声影响。

58、根据权利要求53所述的方法，还包括：

过滤所述梯度场。

59、根据权利要求58所述的方法，其中所述过滤应用方向性双向过滤器给所述梯度场。

60、根据权利要求59所述的方法，其中所述方向性双向过滤器表示为过滤器内核G，使得

G＝G_s*G_diff*G_mag，这里G_s是椭圆高斯过滤器，它沿梯度方向具有低的方差，在垂直于梯度的方向具有高的方差，过滤器G_diff是依赖于当前位置和相邻位置处的梯度幅度差的高斯过滤器，以及过滤器G_mag是依赖于当前位置处的梯度幅度的高斯过滤器。

61、根据权利要求40所述的方法，还包括：

散焦所述能量场以校准所述感测元件组。

62、根据权利要求40所述的方法，还包括：

测量所述能量场的频率。

63、一种照相机，包括：

一感测元件组，每个感测元件布置在光场中以测量该光场局部梯度的幅度和符号，其中所述感测元件组在图像平面上布置为N×M阵列元件，以及其中每个感测元件还包括：

多个能量强度感测器，每个能量强度感测器用于测量能量场的局部强度，以获得多个强度；以及

减法装置，用于相互地减去所述多个强度的对数以获得所述梯度的幅度和符号。

64、根据权利要求63所述的照相机，还包括：

镜头；

快门；以及

用于存储所述梯度的幅度的存储器。

65、根据权利要求63所述的照相机，其中每个感测元件的所述多个能量强度感测器和减法装置被差动地连接。

Images