CN1823336A - 消除传感器电平图像失真的方法和装置 - Google Patents

Abstract

利用在图像获取期间通过对图像传感器阵列的像素或像素域取样获得的元数据对图像进行处理的一种方法、装置和软件产品。通过在图像形成期间把(非线性)信号处理方法应用到阵列中的个体像素或像素域而得到性能增强。现场信号处理方法描述了图像形成处理以提高阵列中像素的信号质量的杠杆作用的知识。本方法、装置和软件产品可以用于图像的后获取处理，或用于在图像获取期间或紧接其后的处理。本方法的具体实施方式减轻数字成像阵列的噪声、模糊和低对比度失真。还提供硬件和软件具体实施方式。

Description

消除传感器电平图像失真的方法和装置

技术领域

本发明一般地涉及一种用于数字静态图像与数字图像序列的捕捉、分析和增强的方法和设备，和涉及实现这种方法的软件产品。

背景技术

数以百万计的用户正转向用数字设备来捕捉与存储他们的文件和静态、动态图像。市场分析估计，在2002年里总共生产出1.4亿个数字图像传感器全部应用于数码相机和扫描仪。据预测，这个数字将每年增长超过60％直到2006年。数字图像传感器是捕捉图像的“胶片”，建立数字图像系统中图像质量的基础。为了在拍摄图像后获得有意义的数字图像，目前相机设计需要对来自数字图像传感器的数据进行数量巨大的处理。尽管有这样的处理，数以百万计的用户仍需要(和有机会)在计算机上用图像处理软件去矫正或调整图像以达到满意的图像质量。

广大的数字图像处理领域规范了针对数字图像和图像序列的矫正、调整、压缩、传输或译码的算法、数学和技术本身。几乎每种数字图像应用都整合了某些数字图像处理算法到软件或硬件系统，以达到理想目的。大多数这些算法是获取图像以后用来处理图像的。用于图像形成后处理图像的图像处理方法称为后处理方法。后处理方法构成在目前图像系统中实现的主流技术，包括用于数字静止图像和图像序列的增强、恢复和压缩的技术。

随着那些通过修整、打印和散发他们自己的数字图像和视频，实质上变成他们自己的图片实验室的人成百万地增长，对后处理图像和视频的更加精致的方法有需求。甚至胶片摄影师正在数字领域寻找安慰，通过在亭子里扫描胶片图像、充满希望地用专门的后处理算法纠正它们的问题。更进一步地，数字成像的增长导致数字格式的图像和图像序列数目增长和在数字静态图像和视频中压缩、描述目录和传送对象的需求变得最重要。这种基于对象或内容的处理趋势为数字静态图像和视频处理提供了新的机遇，同时也是新的挑战。

图像捕捉后需要调整质量的必要性归根于很多因素。例如，有损压缩、不准确的镜头设置、不合适的光线条件、错误的曝光时间、传感器局限性、不确定的场面结构和动力学都是影响最终图像质量的因素。传感器噪声、运动模糊、散焦、色差、低对比度和曝光过度/不足都是图像形成时可能被引入图像的失真的例子。图像的有损压缩更进一步加重这些失真。

图像恢复领域是数字图像处理范围，它为从低质的、观测的图像估测原始的、未失真的图像提供严格的数学方法。恢复方法是基于(用参数表示的)图像形成和图像失真过程模型。相反，图像增强领域是为对数字静态图像和视频的特别的、主观的调整提供方法。图像增强方法不需要严格图像模型的指导而实现。数字图像处理算法的绝大多数的软件和硬件的实现是用图像增强方法，因为其简单性。然而，因为它们的特别应用，图像增强算法只是在图像失真的有限类别上才起作用。

由如Adobe系统有限公司等主要数字图像软件公司推动的市场驱动效应展现了对提高的图像增强的需要。截至2003年2月28日的季度销售中，Adobe所报告的2.97亿美元中的将近6.6千万美元花费在数字成像软件的研究和开发上。Adobe同时还报告在2003同季度中数字成像软件销售上增长23％。这个领域中最新近的技术进展是有新的机会访问相机的原始数据或“数字负片”图像以进行更强有力的后处理。“数字负片”是后处理前最接近传感器阵列的图像数据。然而，即使是相机原始数据的后处理，如果与场景和相机有关的信息没有结合到后处理实施中，也仍然会留下局限性。

很多数字图像失真是由实际相机的物理局限性引起的。这些局限性开始于用于许多数字图像系统的被动图像形成过程。如图1a所示，传统图像系统通过利用透镜系统24把光20(或特定波长上的某些想要的能量分布)聚焦到光(或能量)敏感传感器像素阵列22上而实现图像形成。通过电子或机械快门装置，启动快门来控制胶片/传感器阵列22观测到的光量。快门26允许阵列22观测到光的这段时间就是所知的曝光时间。在曝光时间期间，传感器阵列/胶片元件22a检测由光20入射到每个像素域所产生的光-电子电荷/电流。假定设定曝光时间来防止像素22a在明亮光线中的饱和。可以通过方程式来表示这个过程：

$\tilde{f}\left(\underset{\‾}{l}\right)\∝\underset{0}{\overset{{\mathrm{\τ}}_e}{\∫}}\underset{\underset{\‾}{l}-\underset{\‾}{\mathrm{\ϵ}}}{\overset{\underset{\‾}{l}+\underset{\‾}{\mathrm{\ϵ}}}{\∫}}(i_{\mathrm{ph}}(\underset{\‾}{l},t)+i_n(\underset{\‾}{l},t))d\underset{\‾}{l}\mathrm{dt}$ 这里，分别地， 是在像素位置 l＝(x，y)的图像亮度(模拟-数字转换前)的连续值，τ_e是秒为单位的曝光时间， ε＝(ε_x，ε_y)是像素的斜度。i_ph( l，t)和i_n( l，t)是t时刻在 l位置的光电子电流和电子噪声电流。

方程式描述的是存在于几乎所有数字和化学胶片成像系统中的像素电平图像形成。方程也把图像形成描述成需要快门管理和曝光时间确定的、被动的、连续时间过程。快门管理和曝光时间确定是传统图像形成的一个弱点，是基于一百年历史的老的胶片图像捕捉基本原理。这与20世纪60年代将胶片图像数字化的后处理的最初动机是相同的图像形成方法。

使用快门来防止明亮光线使化学胶片饱和，和限制电子成像阵列里的图像变白和发晕。启动快门时，整个胶片/阵列表面受到相同的曝光时间，尽管事实上入射光的亮度在胶片的不同区域变化。因为这个原因，胶片上的某些区域经常曝光不足或曝光过度，起因于曝光时间的全局确定性。另外，很多曝光时间确定方案容易受场景动力学、镜头设置和改变的光照条件所欺骗。全局快门方法的图像形成只适合捕捉静态的、低对比度图像，其中场景和相机是固定不动的，并且图像明亮和阴暗区域的差别是小的。

因为这些和后面介绍的其他原因，目前的数字和胶片相机的性能受到设计的限制。方程式所描述的被动图像形成方法限制微弱光线成像性能、限制阵列(或胶片)灵敏度、限制阵列(或胶片)动态范围、限制图像亮度和清晰度，并且带来大量包括噪声、模糊和低对比度在内的失真，破坏了最终的图像。

不管是在数字还是化学胶片成像系统中，传感器阵列22确定了图像质量的基础。如何捕捉图像是关键，因为自“胶片”读取的信号质量影响着接下来的最终图像质量。如图1b所示图像形成方法包含下列步骤：打开快门开始图像形成30；等待图像形成32；关闭快门34；读取传感器36捕捉图像；处理图像38；压缩图像40；和存储图像42。这种方法妨碍了诊断成像系统、摄影术、移动/无线电话和消费成像、生物鉴定学、监视和军用成像的图像后处理的性能。利用在此所述的本发明，这些限制和相应工程上的牺牲得到降低或消除。

发展最早的后处理算法用于纠正在月球上观测到的图像失真，它是由1964年发射的Ranger 7探测器上的电视照相机的内在限制引起的。几乎40年后，后处理算法对于纠正相机图像失真仍然是必要的。精确的和确实的数字图像与视频的后处理的主要障碍是缺乏对成像系统、图像失真和图像形成过程的详细信息。没有这些信息，图像形成后对图像质量的调整是一个效率低的猜谜游戏。许多后处理软件包，例如Adobe Photoshop和Corel Paint，通过他们的图像增强算法给用户某些控制。然而，没有详细的图像形成过程的信息，这些软件包中的成套图像增强工具：不能纠正失真根源；用户选择性或整个算法实现是有限的；与面向对象的后处理是不相容的；对有限类别的失真是有用的；通常应用于非失真图像区域；不适用于许多失真的可靠的自动排除；以及是图像形成过程结束后应用的。

图像增强的后处理的大多数成功应用是那些如下所述的一项或多项是已知的：场景的知识，失真的知识，或用于获得图像的系统的知识。在后处理上一个惊奇成功的例子是哈勃太空望远镜(HST)。来自上十亿美元的HST的图像，由于一个移位的反射镜而产生失真。由于非常了解和高度操纵HST的行为，因此有可能推导精确的图像失真模型，该模型可以用于恢复低质的HST图像。在后来另一次任务中修理了HST反射镜，然而，归功于这项有用的技术，许多失真的图像通过后处理得到补救。

不幸的是，大多数后处理软件或硬件技术实现，在他们的处理过程中，既没取得也没结合或传送有限的场景、失真或相机的信息。另外，表征滤镜的参数和用于可靠地去除数字图像和视频失真的算法需要附加的知识，所述知识经常在图像形成和存储后丢失。

需要详细的信息来适当地(和自动地)调整图像质量。这种信息的开始部分包括，例如，相机设置(光圈、光圈值、焦距、曝光时间)和胶片/传感器阵列参数(速度、滤色片阵列类型、像素尺寸和斜度)，是根据数字相机标准EXIF V2.2可用于交换的一些参数的例子。然而，这些参数只是描述相机的参数，不描述场景结构或动力学。传统相机里没有把详细的场景信息提取或传输给终端用户(外围设备)。对于那些想恢复图像、纠正严重的失真或快速分析复杂的数字图像的人说，有关场景和动力学的元数据是极其有价值的。

一般地，在察觉到的失真可能不在用户选择的图像区域里而缺少这些知识时，后处理变得效率低下。这种情况下，后处理应用在没有失真存在的区域，结果导致浪费计算工作量和引入有害的人为因素的可能性。

尽管确定了对数字静止图像和数字视频图像的复杂的基于内容或对象的编码标准，仍然存在把图像分解成它的组成对象的挑战。这个过程叫做图像分割。有效的和可靠的图像分割继续是一个公开的挑战。为更高级别基于内容的多媒体标准的功能性，如对流行的MPEG-4和MPEG-7进行扩展，需要将图像(序列)分隔成部分并且提供一个对这些对象进行后处理的框架。

对图像分隔的一个有效信息是运动。图像序列中的运动痕迹和特征提供重要的信息，用于把背景物体从前景物体中区分出来。在图像形成时丢失了静态图像中关于运动物体的重要信息。如果一个物体在图像形成期间运动，则最终图像里将明显地出现模糊。表征图像中的模糊需要比在单一帧中可用的信息更多的信息。然而，可以在图像形成期间通过监视像素行为来得到有关运动和运动物体的范围的充足的信息。

发明内容

本发明提取、记录和提供严格的场景和图像形成数据，这里所指为元数据，通过利用硬件和软件资源来提高静态图像和视频图像处理的效果和性能。本发明进一步提供静态和视频图像处理硬件和软件，其利用元数据来生成处理完成的图像，以及用元数据处理图像的方法。处理可能发生在由像素或像素域形成图像期间或之后，它们的亮度电平在图像形成期间被监视。

不失一般性地，且与本发明相关，后处理指对数字静态图像和视频图像皆进行处理的硬件和软件装置与方法。数字静态图像和视频图像处理包括对视觉通信数据的增强、恢复、处理、自动解译和压缩的方法。

可以检测许多图像失真，并且在有些情形中，在图像形成期间可以在像素电平上防止许多图像失真。如果足够的信息提供给后处理算法，则使用后处理可以减少或消除这些失真而不需像素电平处理。本发明的一部分是确定后处理所需要的相关信息，以有效消除难弄的失真。本发明又一部分是图像变差的预测和/或防止。在特定的失真下，计算资源集中在特定的区域上。

本发明的各种具体实施方式的关键创新之处是提供静态图像和视频图像处理，通过：在图像形成过程时及期间从图像提取信息(这里所指的元数据)；图像处理，其利用元数据的计算和提供来描述在图像或图像序列中的失真或行动的类型和出现；对图像或图像序列中感兴趣的指定区域进行处理；和/或为后处理提供足够的元数据，以基于数字静态图像和视频图像的失真类型和程度来纠正图像或图像序列区域。

以其各种具体实施方式在本文件中所公布的发明可以：用于任何传感器阵列，阵列元素的全部或部分用来提取图像或一些其它可解译的信息；用于包括3D和4D成像系统的多维成像系统；应用于对热或力或电磁能敏感的传感器阵列；应用于图像的序列以得到高质量的单个幀；和/或在硬件或软件中实现。在图像形成期间从场景结构和动力学中提取和应用信息有助于高级处理，如数字相机系统中的对象检测、运动分析、警示与超敏锐机构。

附图说明

图1a是一般的传统数字成像系统的示意图；

图1b是由图1a成像系统完成的处理步骤的流程图；

图2a、2b、2c和2d是像素电荷积累积累的曲线图；

图3a、3b、3c和3d是像素信号亮度的曲线图；

图4是内获取元数据(I-Data)提取过程的功能框图；

图5是失真监测器的功能步骤的框图；

图6是一个4×4的模糊掩模，其对应于4×4的像素群或一个图像的4N×4M区域，其中N×M是图像块的尺寸，通过它对每个模糊掩模元素采取测量；

图7是一个4×4的亮度掩模，其对应于4×4的像素群或一个图像的4N×4M区域，其中N×M是图像块的尺寸，通过它对每个模糊掩模元素采取测量；

图8是一个4×4的次数事件掩模，其对应4×4的像素群或一个图像的4N×4M区域，这里N×M是图像块的尺寸，通过它对每个次数事件掩模元素采取测量，N是图像形成期间获取的最大样本数；

图9a是显示基本数字相机OEM开发系统体系结构的框图；

图9b是带有元数据处理器的基本数字相机的框图；

图10a是显示启用元数据的图像形成的示意图；

图10b是图10a启用元数据的图像形成的流程图；

图11a是具有与系统控制器结合的元数据处理器的元数据处理器实现的框图；

图11b是具有与DSP/RISC处理器结合的元数据处理器的元数据处理器实现的框图；

图11c是具有与系统控制器和DSP/RISC处理器结合的元数据处理器的元数据处理器实现的框图；

图12是内置DSP/RISC处理器或外部后处理软件使用的I和P元数据的例子数据结构图；

图13是计算机系统和相关的成像系统的示意图；

图14是具有传感器加速器的成像装置的框图；

图15是包含传感器加速器和控制器单元的成像装置的框图；

图16是包含传感器加速器和DSP/RISC处理器单元的成像装置的框图；

图17是包含传感器加速器、控制器和DSP/RISC处理器单元的成像装置的框图；

图18是根据本发明的一个方法的流程图；

图19是根据本发明的另一个方法的流程图；

图20是根据本发明的又一个方法的流程图；

图21根据本发明的又一个方法的流程图；

图22根据本发明的再又一个方法的流程图；

图23是根据本发明的另外一个方法的流程图；

图24是根据本发明的另一个方法的流程图。

具体实施方式

提供本发明用于获取图像形成相关的元数据和用于利用元数据对图像进行处理。元数据可以随图像数据输出或可以只输出图像数据。一般地，与图2a到12相关的下述描述指导获取和输出元数据，而图13-14与利用元数据处理图像相关。

在本发明的一个具体实施方式中，在图像形成期间从分析(例如滤波和处理)像素(像素域)的演化得到与场景相关的信息。这套方法是合理的，因为许多普通图像失真有与理想图像有所偏离的像素电平的特征图。像素特征图提供有用的信息，它在传统(被动的)图像形成中难以实现。图2a、2b、2c和2d中示出像素信号特征图来图示图像形成期间发生的普通图像和视频图像失真。理想情况下，图像形成期间光电子电荷应该在传感器像素动态范围内线性地增长到一个最终值，如图2a所示。最终像素亮度与这条曲线的积分成比例。特别地，电荷积累50显示光电子(纵轴)随曝光时间(横轴)而增加。在有噪声的成像情况下，如图2b所示，在52处，噪声对像素中电荷增长率增加了随机分量。在像素饱和情况下，如图2c所示，在图像形成期间，光电子电荷在54处增长，直到达到像素动态范围的最大电平56，此后电平不变。在图片中出现模糊的情况下，比如由图像幀中的物体的运动引起的模糊，亮度改变使光电子电荷特征图58中断，这可能使光子电荷从它原来所取的路径64的光子电荷的速率增加60或减小62，如图2d所示。在图2d中模糊的例子里，中断是电荷信号的非线性或斜率上的变化。通过在每个像素上监测图像形成过程和执行变化检测与预测算法来检测每种情况，可以容易地检测与理想特征图64的偏离。像素电平特征图提供有关图像形成过程的时间上的信息。

图3a、3b、3c和3d中显示的信号分布表明在图像形成期间可能发生的普通图像和视频失真的分布。这里的曲线图显示沿水平轴的亮度和沿纵轴的光电子电荷。理想情况下，在图像形成期间，像素的取样分布应该对分布给出一个单一值68，如图3a所示。对于图像有噪声的情况下，如图3b，噪声分量在初始亮度值附近产生像素值的扩散，如曲线70所示。在曲线70中，光电子电荷在前面信号的亮度处达到峰值，但不会达到相同值，并且在一个较宽的范围上扩散，包括电荷的低电平在亮度值的一个较宽范围上散开。如图3c所示，在图像形成期间像素饱和的情况下，在到饱和点I_SAT的动态范围边缘附近的一些值处，分布包含较小的几率质量。在像素动态范围最大值中包含了大多数的几率质量72。在模糊与噪声的情况下，如图3d所示，例如，多模或多峰分布74和76是亮度分布结果。在图像形成期间，偏离理想分布的异常分布的检测为亮度和改变点的同步评估提供了严格的基本要素。

曲线图2a-2d和3a-3d显示利用像素电平特征图和分布，图像失真的重要种类是容易识别的。在传统图像形成中隐藏了这种信息。在没有补充信息的情况下，在图像形成过程完成后，导致的缺少补充信息是难于(如果不是不可能)识别和去除所产生的失真。定义、计算和利用补充信息或元数据进行更好的后处理是本发明的中心。

在本发明的一个具体实施方式中，元数据是指一组信息，这些信息可以用于提高性能或向数字图像和视频的后处理增加新的功能，无论在软件中或在硬件中。元数据可以包含如下所述的一项或多项：相机参数、传感器/胶片参数、场景参数、算法参数、像素值、时间实例或失真指示器标志。所列项目并不完全，可以在元数据中识别图像的又一些方面。各种具体实施方式中的元数据传送与一个像素或如目标区域的任意形状或尺寸的区域有关的信息。

利用这个定义，可以把元数据分成两类中之一，(1)预获取元数据(P-Data)和(2)内获取元数据(I-Data)。预获取元数据指在传感器阵列上形成图像以前可以取得的场景和成像系统的信息。P-Data对不同图片是不同的，但在图像形成时是不变的。这样的预获取数据也可以应用到胶片系统。成像系统在获取期望的光(能量)的图像前得到P-Data。预获取元数据的特别的例子可以包括EXIF标准中的所有标记，例如曝光时间、速度、光圈值和光圈尺寸。

远在图像获取前就可以得到这些信息中的某一些，如传感器参数和镜头焦距。其它信息只能在紧接图像获取前得到，如周围环境光照条件和曝光时间。本发明也包含图像捕捉或获取期间捕捉和确定的预获取元数据类别中的元数据。例如，曝光时间可以由成像系统在开始图像获取前设置，或者可能在图像获取过程期间改变，例如由于光照条件的改变，或由于由光传感器对图像捕捉的实时检测或诸如此类而改变。这些信息包含在用于本发明的预获取元数据的定义中，即使这些数据中的一些是在图像获取期间得到的。

预获取参数的确定有助于获取有意义的图像。当这些参数设置不当或未知时，许多图像失真将发生并且不能着手接下来的处理。利用这些可用的信息，可以通过有意义的途径实现图像的处理。

内获取元数据，或I-Data，指与在图像形成过程期间得到的图像有关的信息。I-Data注重动态信息，该信息提供可以用于检测在指定像素或像素域中图像失真的开始或出现的数据。在本发明的一个具体实施方式中，通过监视像素或像素域在像素或像素域基础上得到内获取数据，尽管内获取数据可以是图像宽度(image wide)在本发明范围内。。I-Data传送信息供图像后处理软件或硬件进行纠正，或在某些情况下，防止失真破坏最终图像的细节。本领域的技术人员也将注意到I-Data可以帮助运动估测与分析和图像分割。I-Data包括，但不限于，失真指示器标志和一个像素或像素群的时间事件。相应于本具体实施方式一个有效的I-Data表示法是在每个像素或像素块位置映射到指定I-Data位置作为掩模。例如，在一个图像尺寸的掩模中，每个像素可以映射到指定的I-Data掩模位置。

本方法着手于发生在图像获取时或之后的一个时间，在传感器、像素或像素域上的信号亮度的积累率和信号积累率或信号亮度的变化。这些可以是，例如，在图像获取期间由图像帧上一个或多个物体，或由图像捕获装置发生的移动，预测不到的照明或反射随时间的变化，或者在图像的获取期间传感器、像素或像素域的曝光不足(低光)或曝光过度(饱和)的一个结果。这些表征成信号积累率变化的事件可以描述成获取期间图像中的时间上事件或时间上的变化，因为在图像获取时间间隔期间，它们发生在某时刻或某时刻以后。也可以认为它们是时间上的扰动或预测不到的时间上的变化。运动是这种时间上的变化的一类。使用亮度信号的变化率来识别和纠正时间事件，并且也可用于识别和纠正低光照条件，其中不充足的光到达传感器来克服期望信号上的噪声影响。

在一个具体实施方式中，内获取元数据提取过程应用图像传感器200，失真检测器202，图像评估器204，掩模格式器206和图像序列格式器208，如图4所示。

更进一步的细节如图5所示，首选的失真检测器202包括模糊处理器210和曝光处理器212，其输出连接到失真翻译器214。在模糊处理器210中有滤波器216，距离量度器218和模糊检测器220。在曝光处理器212中有滤波器222，距离量度器224和曝光检测器226。

在图5中，把传感器阵列中 l位置上图像亮度的第k个取样f^k( l)送到模糊处理器和曝光处理器模块。在模糊处理器里，对信号进行滤波以得到信号评估

和误差余差r_B ^k。把信号评估和误差余差送到距离量度器模块，它可以产生到模糊检测器s_B ^k的输入。这个灵活的结构体系允许使用一定数量的滤波器和距离量度器。包括有限脉冲响应(FIR)、无限脉冲响应(IIR)和状态空间滤波器(如卡尔曼滤波器)的广阔范围的滤波技术可以用于获取 和r_B ^k。本具体实施方式中，为了简便，在模糊处理器的滤波器模块中使用滑动窗口FIR滤波器，其系数设计成使

与f^k( l)之间最小二乘距离达到最小。计算余差作为 $r_B^k=f^k\left(\underset{\‾}{l}\right)-{\hat{q}}_B^k.$

模糊处理器中距离量度器模块决定将检测信号的什么方面来表明失真。当图像区域中的像素个体观察到图像形成期间移动物体引起的多重亮度混合时，出现运动模糊失真。在像素电平上检测运动模糊，是检测图像形成期间像素上图像亮度的变化。通过检测这个变化，可以保存最初(模糊前)的像素亮度。距离量度器可以用于检测在余差r_B ^k的平均值、方差、相关数或相关数符号中的变化。既然图像阵列中的像素遭受到信号相关噪声(如散粒噪声)和信号无关噪声(如热噪声)两者，那么可以应用平均值、方差和相关数的变化。在本具体实施方式中，使用平均距离量度， $s_B^k=r_B^k,$ 中的变化。在方差、相关数或相关数符号距离量度中的例子分别包括 $s_B^k={\left(r_B^k\right)}^2-s_r^2,s_B^k=r_B^k{f}^{k-m}\left(\underset{\‾}{l}\right)$ 和 $s_B^k=\mathrm{sign}\left(r_B^k{r}_B^{k-1}\right),$ 这里s_r ²是已知的余差方差，而m＜k。

当检测到失真时，模糊检测模块发出包含失真k_B的时间和(失真前)像素值f_B的警报。在平均值变化的情况下，模糊检测算法应用CUSUM(积累SUM)算法，

这里n＞0是漂移参数，h^k＞0是指数相关检测阈值参数。这个算法抑制在阈值h^k下的大量即时误差引起的错误正数(false positives)，这样允许像素亮度的积分或滤波得以继续。漂移参数增加一个时间低通滤波，该滤波器有效地滤除或“减去”伪误差，减少来错误正数，使检测处理偏向由运动模糊表征的大的局部误差或小的成团的误差。当g_B ^k超过阈值h^k时，发出警报，并且在下一次时间事件中重新启动算法 $g_B^k=0.$ 允许阈值h^k为指数相关，使每个像素上的积分时间最大化。忽略第一次取样时间k＝1时的阈值h^k，并且在曝光时间间隔结束处可以允许增加，由于在接近曝光时间的结束处，需要较大的亮度偏差来使像素变差。这允许进一步减少像素上的信号无关噪声。变化检测上的本质的权衡是敏感度与延迟之比。调节值h^k和n以优化检测时间和防止错误正数，本领域的技术人员熟悉设计这些参数的方法。通过考虑加入检测处理和考虑从检测处理中产生元数据，所公布的模糊检测方法是优于开始经Tull后经El-Gamal的进行的工作的。

图5所示的数量处理器212包括滤波器级联222、距离量度器模块224和确定像素是否恰当曝光的曝光检测模块226。这个确定基于演化的像素亮度的斜率与值。如果像素的斜率与值在下限阈值以下，则称这个像素为相对于像素上的噪声源曝光不足，。如果像素的斜率与值相对其动态范围超过最大极限值，则称这个像素曝光过度。在本具体实施方式中，对于由暗电流密度(传感器元件的生产商指定的)和模-数转换(ADC)噪声或两者所决定的整个图像，下限阈值h_L是一个常数。在这种情况下，使用像素的演化斜率与值来预测其最终的值。如果这个最终值低于指定的信噪比，则标记该像素为曝光不足。对于由传感器阵列的生产商指定的最大容量(饱和电流)所决定的整个图像，上限阈值h_U是一个常数。也对应于模-数转换后的ADC的最大比特深度。当像素的亮度达到上限阈值极限时，像素将失去光敏感性。

在曝光处理器的滤波器级中，利用第2阶自回归(AR)预测误差评估器¹得到当前图像亮度的估测值 由其给出预测误差 $r_B^k=f^k\left(\underset{\‾}{l}\right)-{\hat{q}}_B^k.$

由 $s_E^k={\hat{q}}_E^k+(N+k)r_B^k$ 计算曝光处理器距离量度模块的输出，这是从当前亮度估测到它最终像素亮度的外推法。

曝光检测模块执行两个基于CUSUM的算法，

和

其中，h_L和h_U分别是下和上检测器阈值，n_L和n_U分别是下和上漂移系数，g_L ^k和g_U ^k分别是上和下测试统计。设置漂移系数和阈值是对像素亮度执行上和下边界检测。当任何的测试统计超出它们相应的阈值时，把由存储在f_E中的瞬时预测误差和警报k_E的时间事件组成的一个警报发送到失真翻译器。

失真翻译器(DI)214把失真向量区分前后次序，并为每个像素准备内获取元数据。翻译器跟踪失真向量中的变化，并去除多余检测。在本具体实施方式中，翻译器负责记录一个失真事件(每次曝光每个像素)使存储最小化。可以用充足的存储器资源对每次曝光每个像素的多次失真事件进行分类。失真翻译器根据从曝光和模糊检测器获取的事件而产生、存储和发送元数据。每个像素的元数据输出向量格式是

v( l)＝{(失真类别，次数，值)，(失真类别，次数，值)}

每个像素只能有单个曝光类别失真或单个模糊类别失真或两者兼有。两个单个或模糊类失真是不允许的。例如，让一个像素在曝光时间期间经历对应于事件k的运动的单个变化。在曝光时间末尾，DI产生一个向量v( l)＝{PB，k，f_B}，其中PB是失真类别符号表示部分模糊，k是时间事件，f_B是像素失真前的值。这个向量允许最初像素亮度的完全曝光值在后处理中再构成为f^N( l)＝(N/k)×f_B，其中N是图像形成期间所作的观测数。假定相同像素但由这个像素观测到的新亮度值将使像素饱和。在这种情况下，元数据向量变成v( l)＝{PB，k，f_B，X，k+1，f_E}。这个向量允许后处理软件精确重新构造在时刻k的初始的未模糊的像素和在事件k+1观察到的高亮度像素值。在k+1的像素值由f^k+1( l)＝(N/k+1)×f_E给出。如果在这点重设像素，则可以估算更强的亮度。通过预测饱和的开始，可以在后处理中显示比像素动态范围亮N倍的光亮度，其中N是像素的观测数。

失真翻译器产生每个像素三个模糊失真类别符号中之一，部分模糊(PB)、模糊(B)或完全没模糊(S)。S类在实际中是典型地被丢弃的。这个分类是基于在图像形成期间观察到的变化的数目。在PB像素情况下，在图像形成期间观察到单一变化，这是一个物体覆盖或暴露一个像素(或象素区域)的情况。当在图像形成期间观察到两个或更多的亮度变化时，把这个像素称为模糊(B)像素。当在图像形成期间没有检测到变化时，那么称像素是不变的或(S)像素。实际上(PB和B)像素不孤立地出现。失真翻译器通过检查邻近像素寻找其它(PB和B)像素在模糊处理器检测器上强制执行这个约束以确保一致性。失真翻译器可能重设模糊处理器的条件而在一个局部像素上强制执行这个条件。

失真翻译器也为每像素产生三个曝光失真类符号中之一，曝光不足(L)、曝光过度(X)或充足曝光(N)。实际上(L和X)像素不孤立地出现。失真翻译器通过检查邻近像素寻找(L和X)像素在曝光处理器上强制执行这个约束以确保一致性。失真翻译器可以重设曝光处理器的条件以强制执行这个条件。(L)任务将允许利用后处理中相同的像素对曝光不足像素中的噪声进行空间滤波。滤除噪声的许多方法为本领域技术人员所熟知。

图像亮度评估器从取样f^k( l)中形成最终图像值，并产生亮度值f的二维向量。可以用不同的滤波方法来估测最终图像亮度以减少噪声。在本具体实施方式中，与传统成像系统一样积累(并且随后平均)图像亮度，而由失真检测器管理失真。

掩模格式器为每个像素将内获取元数据组织成有效存储和传输的掩模。在某些事件中内获取元数据可以提供给像素群而非象素个体。可在任意数量的方法中定义像素群或区域。在一个具体实施方式中，通过在成像期间对像素重新分级而确定像素域。重新分级是图像捕获期间将相邻像素的群组合而当作一个单个像素的处理。

为了本发明的目的，术语像素和像素域包括具有多个传感器元件的传感器，排列在传感器阵列上的传感器元件，单个或多个芯片传感器，分级像素或个体像素，相邻像素的集合，传感器元件的排列，扫描器，渐次曝光的线形阵列等。传感器或传感器阵列普遍地对可见光更敏感，但本发明包含检测能量的其它波长的传感器，包括红外传感器(如近红外和/或远红外传感器)、紫外线传感器、雷达传感器、X射线传感器，T射线(兆兆赫兹幅射)传感器等。

本发明涉及掩模，用于确定像素或传感器的不同区域和/或群不必由传统意义的图像处理中的掩模来描述这种传感器的群或区域的识别，但是为了本发明的目的而包含识别和/或通过任何方式提供的被识别的传感器、像素或区域的信息对传感器、像素或区域的定义。这里所指掩模包括这样的定义或识别。

根据本发明的一些具体实施方式提供模糊掩模。在静态图像中，运动模糊既是讨厌的图像失真，也是重要的视觉信息。有来自视觉科学文献的心理物理学表明与运动有关的失真被人的视觉系统利用来调整视网膜上图像的感觉上的空间的与时间的分辨率。因为这个原因，对图像中的模糊的适当处理，对于观察者或为移除不想要的模糊的视觉信息是重要的。因而在本发明的一些具体实时方式中模糊掩模是一个重要的元数据部分。模糊掩模的目的有三层：确定对应于快速移动物体的区域，有助于面向对象的后处理，和除去与运动有关的失真。

图6图示4×4模糊掩模80，它可以对应于4×4的像素群或4N×4M的图像区域，这里N×M是对每个模糊掩模元素进行测量的图像块的尺寸。这个掩模表明在图像形成过程中图像中哪个像素或像素域经历模糊。当像素或像素域经历变化以至于在图像捕捉期间接收到多个亮度时，会发生运动模糊。在图像形成期间通过监视像素或像素域亮度来检测运动模糊。当像素或像素域中的亮度的演化与预期轨迹偏离时，就猜想已经出现模糊。

模糊掩模80的每个元素可以把一个像素归结到三类中之一，如图6所显示：

类别S-静态不变的：如果已经确定，在图像形成期间像素观察到单一能量亮度，因而没有遭到与运动相关的模糊，则把这个标记分配给像素。可以确定地或不确定地产生这个确定。在图6中的82处表示静态不变的像素或像素群的例子。

类别PB-部分模糊的：如果已经确定，在任何时刻，在图像形成时间或曝光时间期间传感器像素观察到两个以上的可区分的能量亮度的混合，则把这个标记分配给传感器像素。在这种情况下，传感器像素包含原始场景的模糊观察。当和像素运动估测和类别B-模糊的一起应用时，PB-部分模糊类别特别标明观察到运动和静止物体结合的像素。在通常的情形中，移动物体是前景对象而静止物体是背景对象，尽管不总是如此。在图6的84处表示部分模糊的像素或像素群的一个例子。

类别B-模糊的：如果已经确定，在整个图像形成期间像素或像素域观察到在整个图像形成时间上的多个能量亮度的混合，因而像素是初始场景的一个模糊观察，就把这个标记分配给像素。在图6的86处表示模糊像素或像素域的一个例子。

当与像素运动估测和PB-部分模糊像素类别一起使用时，B-模糊像素类别特别表示像素或像素域，这些像素或像素域在曝光时间期间只观察到移动物体，通常是前景的物体。这里以及通篇所指的物体不只限于物理物体，也包括可能包括背景、前景或中景物体或区域或物体的部分的图像区域。

可以利用单个像素或像素域或通过利用多个像素或像素域在每种情况下确定性地(如通过检测像素特征图的斜率变化)，或不确定地(如通过利用估计理论和检测估计参数向量的变化)进行对每个像素或像素域的分类处理。缺少像素或像素域运动估测时，在模糊掩模中只使用S-静态不变和PB-部分模糊类别，因为从像素特征图上可以得到模糊与非模糊像素的区别。对于基于物体的运动模糊恢复，诸如运动估测等的额外信息有助于B-模糊和PB-部分模糊像素类的区别。

使具有像素或像素域的共同分类的图像区域分组到限制区域，这些限制区域提供元数据的模糊掩模。因此，使用模糊掩模80来表明运动导致图像模糊的图像的区域。后处理方法可以用这样的掩模来减小、除去或者另行处理由掩模确定的图像区域。图像模糊部分的检测也可以用于运动检测或物体识别，例如在智能系统的可视系统、自控交通工具、安全系统或这类信息可能有用的其它应用中。

在之前的模糊掩模讨论中具体实施的一个重要思想是邻近像素或像素域在成像过程期间经历相同或相近的结果。模糊不只发生在单个像素中，而是可在一个图像区域上发现。通过对邻近像素计算得到的结果来协助模糊检测，以及在邻近像素上执行图像的处理以除去或另行处理模糊。邻近像素思想贯彻到下面的亮度掩模和事件次数掩模的讨论。依靠邻近像素或像素域可以识别或处理利用本发明确定的任何失真。

图像中的模糊失真的检测需要在图像获取期间对传感器取样。这可以由几种方法实现，包括只对图像像素被选择的进行取样或者对传感器中的全部或大部分像素进行取样。为了完成这个，特别是后面的处理，需要传感器或传感器阵列，它允许在图像形成期间非破坏性的读取信号。允许这样的传感器的例子是CMOS(互补金属氧化物半导体)传感器和CID(电荷注入器件)传感器。因此在图像形成期间可以多次观察像素或像素群。在非破坏检测不可能的情况下，可以把内获取像素值存贮在外部存储器中进行处理。

如图7所示，在本发明的一些具体实施方式中提供了亮度掩模88。亮度掩模88提供元数据，其描述基于其亮度的像素或像素域的相对可靠性。有两个理由来考虑亮度掩模作为元数据的重要元素。首先，在图像明亮区域，有出现饱和或接近饱和像素的可能性。在图像形成期间，饱和的像素不再对图像亮度的增长敏感，因而限制了像素的动态范围。第二，观察低亮度的像素常遭受到归因于噪声的显著不确定性。像素上的噪声成分可以是信号无关或信号相关的。信号无关噪声可能偶然出现。如读出噪声的例子，或连续地出现，如热或约翰逊噪声的例子。

信号相关噪声包括，例如散粒噪声，这个噪声的变化是典型地与信号亮度平方根成比例的。在低光照条件下，信号相关和信号无关噪声源两者都可支配像素对入射光的响应，并且应该根据本知识进行处理。

图7图示4×4亮度掩模88，它可以对应于4×4的像素群或4N×4M的图像区域，其中N×M是图像块的尺寸，在这个尺寸上对每个模糊掩模元素进行测量。亮度掩模88的元素取三种像素状态中之一：

状态X-饱和的：接收到这个标记的像素或像素域观察到了基于相机或成像系统设置的高亮度光，例如接收到的光亮度对于曝光持续时间来说是太大了。具有这个标记的像素在图像曝光时间期间或者已经饱和或者即将饱和。在90上显示状态X的一个例子。

状态L-低光照：分配这个标记的像素或像素域观察到了与相机设置和可能是曝光不足相关的低光亮度。所以，噪声将污染带有状态L的像素或像素域。换句话说，噪声将成为从像素得到的有用信号的非常显著的一个部分。在92上是带有状态L的像素或像素域的一个例子。

状态N-正常：已经确定分配了这个标记的像素或像素域已经根据相机设置适当地曝光，并且需要最少的噪声处理。换句话说，噪声信号不是来自该像素或像素域的有用信号的一个显著部分(因为有用信号比信号的噪声部分高得多)，并且像素没有达到或接近饱和。在94上是处于状态N的像素或像素域的一个例子。

聚合具有这些状态的图像区域以形成亮度掩模的限制区域。亮度掩模是根据本发明的具体实施方式的元数据的一部分。

亮度掩模88允许有力的后处理来局限计算精力以除去失真和扩展相机性能。可以通过在其他低光照像素或像素域中进行局部滤波来纠正此掩模所检测到的状态L-低光照像素。换句话说，从曝光不足的、状态L的像素或像素域滤除掉噪声信号。借助于事件次数掩模，可以使还未达到饱和电平的明亮状态X-饱和类像素外推到它们的最终值，。下文中将更详细地讨论事件次数掩模。对已经达到饱和点的像素也有可能进行最终值的外推法。在这样场合可能有必要执行图像亮度或强度范围转换来适应外推值。这个后处理性能扩展捕获到的图像的线性动态范围，以得到更丰富的色彩和更多细节，或者至少得到图像区域中的细节，否则，信息空间(饱和像素域)。

亮度掩模88也允许对图像中孤立的错误像素值进行检测。一般地，低光照和高光照像素在图像中孤立地出现是非常不可能的。在图像中，低光照和高光照像素对应于图像中的物体，几乎总是与具有相同或相近光照条件的邻近像素成群。如果饱和或低光照像素确实孤立地出现，通常归因于，例如，时间噪声、散粒噪声和/或固定图形杂波作为源。利用如图7所示的亮度掩模很容易识别这些像素。例如，低光照像素92包围饱和像素90，表明像素90的饱和极有可能是这个像素中的噪声或其它误差。可以利用亮度掩模自动地局部地应用普通的后处理技术，如中值滤波，以去除这个和其它失真。

如图8所示，在本发明的一些具体实施方式中提供事件次数掩模96。使用事件次数掩模96来提供临时标记，该标记其表明何时检测到失真事件。事件次数掩模是元数据的一个重要类别，它有助于利用后处理软件或硬件的图像失真的纠正。如上所述，在图像获取期间通过对传感器阵列取样获得I-Data，或内获取数据。可依照检测到一般对应于失真事件的事件时的取样数来表示事件次数掩模96。在图8的图示中，在曝光期间进行N取样，没有检测到事件的像素或像素域被N标记，其在98上表明，以显示进行最后曝光的取样没有事件的识别。

图8图示4×4事件次数掩模的事件次数掩模，它可以对应于4×4的像素群或4N×4M的图像区域，其中N×M是图像块的尺寸，在该图像块上进行对每个事件次数掩模元素的测量。可以使用这个时间事件掩模来表明像素模糊开始，确定移动物体的维持，局限移动物体，确定像素饱和时间以及由此支持设计以曝光时间为基础的初始像素值。也可以应用完成这样结果的可供选择的方法。可以产生每种类型的多个掩模，有助于纠正复杂的失真。这种掩模的有用之处可以依赖于后处理系统的混合和可以得到的计算资源。

在图8中，表示为“1”的事件次数掩模的像素或像素域100识别在图像获取期间的像素或像素域的第一次取样时出现的时间事件。标记成“2”的像素或像素域102表示第二次取样事件时检测到的事件。表示成“4”的像素或像素域104表明图像被获取时在对像素或像素域第四次取样期间检测到事件。标记成N的像素或像素域表明在图像获取期间已经执行了全部N次取样而未得到事件时间的检测。这里，选取的取样数目N大于四。在图像传感器曝光期间，选取的取样数目N有变化，并且与曝光时间、最大可能取样频率、期望的元数据信息、存储事件时间取样的系统容量等有关。

在不同的取样时间上确定像素或像素域电荷电平。在后处理中可以使用这个信息来重新构造没有失真事件的像素或像素域的电荷曲线可以是什么，由此从图像中除去失真。例如，在图像获取期间图像帧中的物体的运动引起图像中的模糊。取样可以显示模糊影响之前或之后的曝光部分，使用被取样的图像信号来重新构造没有模糊的图像。同样可以应用到出现在图像形成期间的其它事件。

事件次数掩模可以用在图像中模糊或曝光过度与不足的检测或纠正。换句话说，在图像的后处理中一起应用元数据的各种掩模达到最好的利用。除前述图像特征以外，可以在图像获取期间通过监视事件的定时来确认其它各种图像特征和失真。这些额外的特征和失真也在本发明范围之内。

根据本发明的各种具体实施方式，元数据处理器提供给成像系统。图9a图示基本数字成像系统110。成像系统110包括传感器阵列112(其可以是图8a中的传感器阵列22)，安置该传感器阵列来收集通过透镜组(如图8a所示)聚焦的光线。传感器阵列112连接到系统总线，系统总线依次连接到系统时钟116、系统控制器118、随机存取存储器(RAM)120、输入/输出单元122和DSP/RISC(数字信号处理器/精简指令集计算机)124。系统控制器118可以是ASIC(专用集成电路)、CPLD(复杂可编程逻辑器件)或FPGA(现场可编程门阵列)，并且由定时控制126直接连到传感器阵列112。

图9b显示附加了元数据处理器132的数字成像系统130，其中相同或相似元件拥有相同的标号。元数据处理器132直接连接传感器阵列112和DSP/RISC124，并且也通过连接126接收定时控制信号。元数据处理器132存储全局P-Data(预获取数据)和在图像形成期间对图像传感器112取样来提取和计算I-Data(内获取数据)掩模，用于内置DSP/RISC(数字信号处理器/精简指令集计算机)和/或外部软件进行后处理。元数据处理器132可以是分立的可编程芯片处理器，如专用集成电路(ASIC)，现场可编程门阵列(FPGA)或微处理器。

参照图10a和10b描述图像获取。在图10a中，就如同在图1a中一样，光20通过快门和光圈26，通过透镜系统24，并且冲击由像素或像素域22a构成的传感器阵列22。信息中的元数据处理器的功能行为也图示于图10b中。特别地，其步骤包括：在136处打开快门和开始图像形成、在138处取样和处理元数据、使图像信息符合取样过的元数据140(在一些具体实施方式中提供的可选步骤)、处理图像142、压缩图像144(也是在一些具体实施方式中提供的可选步骤)和存储图像146。

本发明中应用的传感器阵列22或112可以是黑白传感器阵列或者彩色传感器阵列。在彩色传感器阵列中，一般为像素元素配备彩色滤镜，也是所知的彩色滤镜阵列，使能够探测图像的各种颜色。元数据可以应用到传感器阵列的所有像素或像素域，或分开应用到彩色滤镜阵列中分配给共同颜色的像素或像素域。例如，滤镜阵列中的蓝滤镜的所有像素可以拥有元数据成分，并且黄滤镜的像素拥有不同的原数据成分等。图像检测阵列可以是对可见光以外的波长敏感。例如，传感器可以是红外传感器。其它波长当然也是可能的。

本发明的传感器可以是单个芯片，或可以是安置成阵列的芯片聚集。其它传感器配置也是可能的，并且包含在本发明范围内。

元数据提取、计算和存储可以与成像系统其它部分集成到一起以减少芯片数量和降低生产成本与功耗。

图11a、11b和11c图示结合到系统中对元数据处理的三个附加配置。如上，相同或相似的元件拥有相同的标号。在图11a中，原数据处理器132与系统控制器功能结合到一起。传感器阵列112只与元数据处理器132相连，因而所有计时和控制信息由此流过。

图11b图示一个具体实施方式，在其中提供了合并的原数据处理器和DSP/RISC处理器150，由此省去了分立的DSP/RISC元件。在图11c中，原数据处理功能与系统控制器和DSP/RISC结合成单一单元152。因此显著地减少了成像系统中的元件数目。

后图像获取处理硬件和软件采用元数据。通过前述开发的元数据随图像数据一起从成像系统输出，并且可能包含在图像数据文件中，如作为标头信息，或者作为分立的数据文件。在图12中显示元数据结构的一个例子，不管其是分立的还是合并到图像数据中。在数据结构中，图像的元数据成分，不管是静态图像还是视频图像，拥有元数据部分156。在元数据部分156里，是包含内获取数据的I-Data部分158和包含预获取数据的P-Data部分160。在一个首选的具体实施方式中，I-Data部分是由事件次数掩模162、丢失掩码164和模糊掩模166构成的。掩模部分162、164和166的每一个都有按照行和列的掩模的定义，例如168所示。

图12的数据结构的例子允许图像信息存储和读取入和出图像处理和操作软件。数据结构中的信息可以统一编码(如行程长度编码)来高效存储和传输。这个功能由图像序列格式器完成。

已经描绘元数据可以在图像数据获取期间提取。本发明也包含图像数据获取之后的元数据的提取。例如，可以在图像数据获得后，由传感器和应用获取或观察到的场景的信号处理技术的相机外部来产生和提取图12的数据结构，或其它元数据结构。可以在相机中或相机外部产生元数据，因此元数据不是基于所应用的相机的。

更好地提供元数据可用的软件来处理拥有这些附加信息的图像文件。一个首选的具体实施方式的软件包括在Windows、Linux或Mac OS下运行在个人电脑或工作站上的图形用户界面(GUI)。其它操作系统当然是可能的。与成像设备通信的软件通过相机I/O(输入/输出)接口接收图像数据和元数据。可供选择地，软件接收来自存储单元或存储器的存储数据。例如，可以把图象存储到固态存储卡和与图像处理计算机通过计算机上的适当插槽或外部存储器读卡机连接的存储卡中。把图像数据与元数据一起存储到磁带、硬盘存储器，或光学存储器，或其它存储设备也都在本发明范围以内。例如在一个安全系统中，把图像数据存储在大容量存储系统上，并且必要时只有图像数据中选择到的部分可能进行处理。

处理图像数据的软件显示原始低级图像，并且提供一个窗口来观看后处理场景。可选择地，软件可以执行必要的处理和只展示最终的、处理过的图像。软件提供下拉菜单和选项来显示后图像获取处理过程、算法和它们的参数。通过基于元数据中的信息的图像处理，更好地引导软件的使用者，或者可以自动或半自动地完成处理。通过经由I/O模块访问元数据处理器或存储器中存储单元中的I-Data和P-Data元数据，软件执行元数据可用后处理。I/O模块可以或是通过如蓝牙或802.11(A，B或G)等的无线连接或是通过如控制定时的有线连接来提供图像和元数据。

利用如USB I或II或Firewire之类并行接口或串行接口控制定时是可能的。一个首选的具体实施方式中的元数据了解的后处理软件向用户提供指定类型的元数据是有效的一个指示来协助后处理。GUI能够显示根据元数据发现了失真的像素域。可以对这些区域进行彩色编码，向用户指示在指定像素域中的失真的类型。用户可以选择像素域以启用或禁用对指定失真的处理。用户也可以选择一个区域进行自动或手动的后处理。

可以通过下载的元数据来命令图像数据的压缩、增强或操作，如图像序列的旋转、缩放或改变尺寸。在已经处理图像或图像序列后，通过软件可以保存新的图像数据。

为了改进数字图像和视频的后处理，已经如此提出了用于提取和提供元数据的方法和装置。本改进通过考虑失效或提供与场景、失真或图像形成过程有关的信息的访问而克服了大多数基于硬件和软件的后处理方法受到的性能上的限制。通过本方法和装置可以得到利用与场景、失真或图像形成过程有关的信息的后处理的实现。元数据的应用提高了图像和视频处理性能，包括压缩、操作和自动译码。

本发明的另一个方面是提供用于图像增强的方法、装置和软件产品。与图像形成后执行信号和图像处理不同，这里提供的方法是提供图像的现场处理。现场处理完成活动图像形成，在图像形成期间固有地应用相机设置、传感器参数和图像场景的重要信息来处理像素数据。

现场处理允许在图像形成期间的图像失真的预测和检测。如上描述的图10a图示现场图像形成过程。最初通过机械或电子装置实现光子的检测。一旦图像形成开始，在图像形成期间对像素或像素域取样，以及利用信号处理技术进行处理。通过在图像形成期间处理这些像素，可以识别、分类和在某些情况下防止(暴露出的)图像失真。在图像形成期间改编像素或像素域行为。也可以使用现场处理提供重要数据给静态图像和视频图像增强和压缩的后处理，或如下文中所提供的，实时像素纠正。

在图2a、2b、2c和2d中显示可能出现在现场处理中的共同的图像失真，并由上面相应的文本所描述。在图3a、3b、3c和3d中显示现场处理的信号分布，并在相应的文本中描述。对于发明的本方面，在获取期间监视每个像素上光亮度的形成(因为进入光子的积聚)。通过以规则时间间隔对图像传感器读取(或取样)来完成此操作，结果，传感器阵列上的每个像素可以有其自己的快门。这个创新与光照不变条件下的静态图像(即，在曝光时间期间，场景中的物体或相机没有移动)形成的线性模型相结合。这意味着进入光子的速率(每单位时间的光子数目)是常数，或作为选择地，光子积累或亮度上的增长遵循线性模型。在这个线性光子积累模型下，进入光子的速率变化应该非常小(理想地等于0)。因而需要估测每个像素上光亮度时间导数的时间导数(二次时间导数)。因此，本方法是基于强大的统计程序，它综合了一类非线性估测技术。

让我们用τ表示曝光时间，N为该曝光时间期间亮度值的取样次数。那么取样周期T就等于τ/N，取样事件表示成t_k＝kT，k＝1，...，N。同样我们用 l＝(x，y)表示二维空间格子，在时间事件t_k像素 l的亮度值为f^k( l)＝f( l，t_k)。

最后，我们把亮度f^k( l)的一阶和二阶时间导数的数值逼近分别表示为Δ₁ ^k( l)和Δ₂ ^k( l)。

接下来将讨论技术的各种不同版本。这些方法的结构包括处理进程和重新构造进程。重新构造进程可以在相机中或图像捕捉设备外的软件中的像素上或附近实现。

利用基于时间的信号外推法的空时失真消除

图18所示过程提供了，利用这个版本的技术，计算每次时间事件和每个像素位置上亮度值的二导数阶导数的绝对值|Δ₂ ^k( l)|，并与固定阈值η比较。那么，如果 $\left|{\mathrm{\Δ}}_2^k\left(\underset{\‾}{l}\right)\right|\≤\mathrm{\η},$ 则没有发生作用，光子积累在继续，因为它遵循基本的线性模型。另一方面，如果 $\left|{\mathrm{\Δ}}_2^k\left(\underset{\‾}{l}\right)\right|>\mathrm{\η},$ 则由于相机或场景中物体的运动，或由于光照条件的变化，破坏了基本的线性模型。这种情况下像素值f^k( l)不再更新，那个像素上的图像形成停止了，以致防止了图像形成期间与运动相关的失真。从最后记录值f^k( l)，以k_s k-1，依照线性图像形成模型外推出像素亮度最终值，即 $f^N\left(\underset{\‾}{l}\right)=f^{k_s}\left(\underset{\‾}{l}\right)\·(N/k_s).$

有许多技术从数值上来估测一阶和二阶时间导数。

实现它的一个简单的有意义的方法的例子是对两个一阶导数用一阶后向差分。这种情况下，

${\mathrm{\Δ}}_1^k\left(\underset{\‾}{l}\right)=f^k\left(\underset{\‾}{l}\right)-f^{k-1}\left(\underset{\‾}{l}\right),$ 并且 ${\mathrm{\Δ}}_2^k\left(\underset{\‾}{l}\right)={\mathrm{\Δ}}_1^k\left(\underset{\‾}{l}\right)-{\mathrm{\Δ}}_1^{k-1}\left(\underset{\‾}{l}\right)=f^k\left(\underset{\‾}{l}\right)-2\·f^{k-1}\left(\underset{\‾}{l}\right)+f^{k-2}\left(\underset{\‾}{l}\right)$

将在本文档后面提到一些更精确的数值微分的近似。

考虑特殊传感器的噪声特性和依赖于应用的场景的可---能特性而在事先指定阈值η的值。

利用基于时间的信号外推法的空时失真消除和空时自适应亮度传感检测阈值

如图19所示，图18中阈值η在决定获取的图像的最终整体质量中是非常重要的。因此，允许阈值在时间上和空间上变化是有益的。除了应用空时自适应阈值取代固定阀值之外，这项技术的版本与图18一致。自适应阈值依赖空间位置l和过去的亮度值f^PASS( l)，其中PASS表示在当前观察之前的所有事件取样。

例如，在获取间隔(k的小值)开始期间，可以考虑用η的更大值来致力于噪声问题，因为还没有建立描述光获取的直线的斜率。对k的大值可以做相似的解释，因为可以接受与直线的小偏差。关于空间变化，使阈值相对于上述提到的变量而自适应，允许变化检测算法在每个时间间隔上处理与信号有关噪声。例如，当光子散粒噪声普遍时，在图像明亮区域中可以应用η的大值。

用伪噪声修正、基于时间的信号外推法和空时自适应亮度传感检测阈值的空时失真消除

图20显示这项技术的一个版本，对图像形成过程的偏差的检测使用与图19中的基本线性模型相同的机理，也就是用了空时自适应阈值。然而，当检测到这样的偏差时，也就是当 $\left|{\mathrm{\Δ}}_2^k\left(\underset{\‾}{l}\right)\right|\≤\mathrm{\η}(\underset{\‾}{l},f^{\mathrm{PASS}}\left(\underset{\‾}{L}\right))$ 时，在像素位置l的图像获取不再像图19和20那样终止。相反，伪噪声替代了变坏数据。伪噪声过程增加了噪声ε( l，f^PASS( l))，利用了基于估测亮度f^k-1( l)的统计和像素的噪声统计。有用噪声的一个例子是ε( l，f^PASS( l))＝ε_SI( l)+ε_SDf^k-1( l))，其中SI和SD分别表示信号无关和信号相关噪声成分。噪声成分可以呈现适当的基于传感器阵列和光照条件的噪声分布，如高斯或泊松分布。成像过程就持续直到达到最后曝光时刻，并且这个方法允许在开始检测到偏差以后加入额外的像素观测数据。该过程假定噪声的主要成分是遍历性的，并且偏差可以被平均掉。对被伪噪声取代的取样数目进行计数，并储存在变量k_s中。伪噪声修正数与像素亮度预期值相乘，并从曝光时间结束处得到的亮度中减去。那么最终值就以比率N/(N-k_s)放大，以外推到积分结束处达到的值。

利用伪噪声修正、基于时间信号外推、空时自适应亮度传感检测阈值和广义导数估测的空时失真消除

图21增加广义导数估测。改变指定像素的曝光时间的决定是基于进入的光子的二阶导数计算的。导数由差分方程近似。在最简单的形式中，二阶导数可以由f^k( l)的二次差分近似。

在使导数估测中的噪声影响最小化时，更多的精确复杂方法以延迟为代价来强制约束导数。用于近似导数的普遍方法是利用优化标准来确定滤波器系数，使噪声最小化而有助于变化检测。滤波器设计的方法编入在经典数字图像处理课本中。比较统一的随机过程中的变化检测处理是众知的。

利用表决标准、伪噪声修正和广义导数估测的空时失真消除

图22增加表决标准来确定亮度上的变化。仍然如前面一样对每个像素或像素群或区域探测运动。但是，探测的结果不再确定获取状态。相反，称一个变化归因于基于周围像素中变化特征的运动。Ω_γ确定空间和时间支持，这个区域中的像素被表决和计入变化标记的加权和中。如果结果超过存储在η_γ(Ω)里的一个阈值，则定义像素亮度上的变化是归根于运动的。修改中心像素的获取来防止进一步失真。

支持η_r((Ω)可以是因果关系或反因果关系。得到权重γ^k′( l′)来引入在最终决定中倾向于结构和连续性的偏差，以修改中心像素的积分。

利用表决标准、软决定标准、伪噪声修正和广义导数估测的亮度传感、空时失真的消除

图23所提供的是，利用表决标准的引入，空时阈值比较不再局限于产生二进制结果。在如图23所示的这个过程中，应用软阈值的技术来作比较。

过程根据导数估测高于或低于阈值多少而分配在0和1之间的一个值。如果结果为非零，那么表决标准决定是否出现运动和停止亮度获取。软阈值由附加参数δ₁和δ₂所描述。这些参数确定在0和1之间的结果的转换区域。在框图中，假定线性关系。

但是，对特定成像传感器，其它输入-输出关系可能是合适的。

利用软决定标准、软伪噪声修正和广义导数估测的亮度传感、空时失真的消除

图24提供的是软决定阈值和伪噪声修正的结合。如前，在获取期间检测到误差时，结合伪噪声。然而，因为软阈值不再为成像状态产生二进制决定，现在噪声量相对于阈值决定而变化。在图中，描述了三状态软阈值。由阈值δ₁和δ₂量化误差的量，利用这些值确定误差的值分别为“小”、“临界”和“大”。软决定对于“小”和“大”的获取误差产生二进制结果，并且如前一样结合伪噪声。但是，当检测到观察与模型之间一个“临界”差值时，软阀值返回非二进制的值。通过结合包含半伪噪声与半前观察的取样值而继续进行获取过程。

软件具体实施方式

如图13中所示的现场处理软件，公布的软件具体实时方式(“Software”)包含在Windows、Linux或Mac OS下运行在个人电脑或工作站的图形用户界面(GUI)。软件通过相机I/O接口，或者与包含捕捉到的图像数据的存储器设备进行通信，或者与实时捕捉图像的成像系统进行通信。Software显示低级图像(如由传统相机捕捉的)，并且提供一个窗口，用于观看利用所公布的现场处理方法来处理的场景。软件提供下拉菜单和选项，用于指定和定制现场处理方法和它们的参数。

软件可通过访问来自存储器设备的捕捉的图像数据或者通过经由数字成像系统接收实时图像而执行现场型处理。Software也能上传能够实现这些方法的软件和方法参数到现场支持成像系统，如图13所示。在软件GUI中，可以提供来自传感器的传感器和阵列参数进行模拟，可以输入而模拟一个存在的图像传感器(阵列)。

在处理图像或图像序列后，可以通过软件保存新图像(序列)。

硬件具体实施方式

图14传感器加速器图示附加有传感器加速器的一个基本数字成像系统。传感器加速器在图像形成期间对传感器阵列取样和在个体像素(区域)上实现信号处理技术。特别地，传感器加速器实现本工作所描述的方法。传感器加速器可以是一个分立的可编程芯片处理器，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或精简指令集计算机(RISC)微处理器。

高度集成传感器加速器Sensor accelerator的功能可以与成像系统其它元件结合来减少芯片数量和降低生产成本与功耗。图15、16和17图示三个传感器加速的附加配置。图15图示集成到系统控制器上的传感器加速器技术。图16图示集成到具有DSP/RISC处理器的单一元件上的传感器加速器功能。最后，图17图示与系统控制器和DSP/RISC相结合的传感器加速器。

芯片集成在传感器本身上的系统也是可能的。

视频图像序列捕捉

视频捕捉也受益于本文档公布的方法。现场处理有助于对高质量图像帧进行单帧详细观察。但是，视频图像序列需要平滑移动图像以得到序列的真实感。通过修改本工作中的方法，清晰的高质量帧可以与差分图像一起捕捉到，该差分图像包含平滑图像数据以求真实图像序列观看。

饱和减轻

本公开技术的一个扩展是饱和减轻。通过防止像素电平上的饱和以及对应的灵敏度丢失，有效地增强了像素动态范围。通过修改后表决像素值，这是可能的，例如，如图19所示。如果f^k( l)＞(k/N)·f_max，其中f_max由传感器像素参数给出，例如充满容量或饱和电流，那么在曝光期间预测像素达到饱和。如果在曝光期间预测一个像素达到饱和，则在第k个时间间隔k^th停止进一步的获取，并且记录像素的过渡值。

随后把这个值外推到它的真实(最终)值，f^N( l)＝(N/k)·f^k( l)。根据这个近似，动态范围上边界可以扩展像因子N一样多。

控制定时

在本工作中，提出了扩展图像传感器阵列功能的方法。

所公布的方法可以预测困难图像失真的产生，并防止其破坏最终图像。所公布的方法在图像形成期间处理个体像素或像素域，以实现提高的图像质量。本文档中提出的现场处理方法应用严格的信息，传统图像后处理技术一般得不到这些信息，或是无用的。

工业实用性

根据前述，可以看到本发明具有工业实用性，例如在静态和视频图像的获取和处理中。尽管本领域技术人员可以建议其它的修改和改变，，但是发明者的意向在于在专利许可范围内具体化所有的改变和修改，以合理和完全地属于他们对本技术的贡献的范围内。

Claims (58)

1.一种用于图像获取的方法，它包括如下步骤：

利用数字成像系统获取图像；

在获取所述图像期间，检测在像素电平或像素域电平下的图像随时间的变化；

界定在所述图像获取期间已检测到所述随时间的变化的图像区域；

产生与所述界定好的区域相对应的元数据；以及

当输出图像数据时，为所述元数据提供图像数据。

2.如权利要求1中所述的方法，其特征在于，所述时间上的变化是在所述图像的至少一部分中的运动相关变化。

3.如权利要求2所述的方法，其特征在于，所述运动相关变化是在获取所述图像的同时在所述图像中的至少一个物体运动的结果。

4.如权利要求1所述的方法，其特征在于，所述元数据是与所述界定好的区域相对应的掩码。

5.如权利要求4所述的方法，其特征在于，所述掩码是模糊的掩码。

6.如权利要求1所述的方法，其特征在于，所述界定那一步骤包括将像素分类成静态不变的或模糊的。

7.如权利要求6所述的方法，其特征在于，所述方法进一步包括如下步骤：

将所述像素中的一些定义为部分模糊的。

8.如权利要求1所述的方法，其特征在于，所述方法进一步包括：

在获取与图像相对应的图像数据期间，至少对所述像素或所述像素域中的一部分进行采样。

9.如权利要求8所述的方法，其特征在于，所述方法进一步包括如下步骤：

在所述图像的获取期间，确定在像素或像素域处存在着图像信号累积速率的变化，所述变化表示在所述图像的获取期间的运动。

10.如权利要求8所述的方法，其特征在于，在所述图像的获取期间进行了多次采样。

11.如权利要求10所述的方法，其特征在于，所述方法进一步包括如下步骤：

产生事件时间掩码，这种掩码用于在所述图像获取期间标识所述信号累积过程中的一些时刻，事件便在这些时刻处发生，就像通过所述采样而检测到的那样。

12.如权利要求11所述的方法，其特征在于，所述这些时刻是由采样序列号来标识的。

13.如权利要求1所述的方法，其特征在于，所述方法进一步包括如下步骤：

标识用于在所述图像获取期间接收在较低的预定信号阈值之下的信号强度的像素或像素域。

14.如权利要求1所述的方法，其特征在于，所述方法进一步包括如下步骤：

标识用于在所述图像获取期间接收在较高的预定信号阈值之上的信号强度的像素或像素域。

15.如权利要求14所述的方法，其特征在于，所述方法进一步包括如下步骤：

产生含在所述较高的预定信号阈值之上的像素或像素域的区域的丢失掩码。

16.如权利要求14所述的方法，其特征在于，所述方法进一步包括如下步骤：

标识用于在所述图像获取期间接收在较低的预定信号阈值之下的信号强度的像素或像素域。

17.如权利要求16所述的方法，其特征在于，所述方法进一步包括如下步骤：

产生含在所述较高的预定信号阈值之上的像素或像素域的区域的丢失掩码以及含在所述较低的预定信号阈值之下的像素或像素域的区域的丢失掩码。

18.如权利要求16所述的方法，其特征在于，所述方法进一步包括如下步骤：

产生事件时间掩码，这种掩码用于在所述图像获取期间标识所述信号累积过程中的一些时刻，事件便在这些时刻处发生，就像通过所述采样而检测到的那样。

19.如权利要求18所述的方法，其特征在于，所述方法进一步包括如下步骤：

输出所述事件时间掩码、所述丢失掩码以及所述模糊掩码，以作为与所述图像获取期间所获得的图像数据向伴随的元数据。

20.如权利要求14所述的方法，其特征在于，所述较高的预定信号阈值位于或接近所述像素或像素域的饱和电平。

21.一种用于图像获取的方法，它包括如下步骤：

利用数字成像系统获取图像；

在所述获取图像的步骤中对像素进行抽样；

在所述获取图像的步骤中确定像素中强度增大的变化；

界定具有大于预定阈值的强度增大变化的图像区域；以及

包括关于所述区域的信息，该信息带有图像数据。

22.如权利要求21所述的方法，其特征在于，所述关于所述区域的信息是掩码信息。

23.如权利要求21所述的方法，其特征在于，所述强度变化对应于在所述图像获取期间正在获取其图像的至少一个物体的运动。

24.如权利要求21所述的方法，其特征在于，所述强度变化对应于至少一个像素的饱和。

25.一种用于图像获取的方法，它包括如下步骤：

使用数字成像系统获取图像；

在所述图像获取期间，检测饱和或接近饱和的像素；

检测在预定的光强阈值之下的像素；

界定其像素饱和或接近饱和的图像区域以及在所述预定的阈值之下的区域；

包括关于所述区域的信息，该信息带有所述图像数据。

26.一种用于图像获取的装置，它包括：

用于将图像聚焦到检测芯片上的光学系统；

用来接收来自于所述光学系统的所述图像的检测芯片；

连接到所述检测芯片以便于与所述检测芯片进行双向通信的处理器，所述处理器产生与预定条件相对应的、关于图像区域的元数据，在所述图像输出时所述处理器包括带有所述图像数据的所述元数据。

27.如权利要求23所述的装置，其特征在于，所述元数据包括事件时间掩码、丢失掩码以及模糊掩码中的至少一种。

28.一种数字成像系统，它包括：

图像传感器阵列，其输出用于图像数据；

用于将电磁能引导至所述图像传感器阵列之上的光学系统；以及

连接到所述图像传感器阵列的图像处理器，所述图像处理器可用于在用所述图像传感器阵列来获取图像的期间监控图像信号累积的过程，以便于确定信号累积随时间的变化，所述图像处理器应用在图像获取期间所获得的、涉及时间变化的信息来处理由所述图像传感器阵列输出的图像数据，所述图像处理器提供处理过的图像数据，该数据包括用在监控所述图像信号累积过程期间所获得的信息处理过的图像数据。

29.如权利要求28所述的数字成像系统，其特征在于，在图像累积期间所述图像处理器在某一区域中获得用于多个像素或像素区域的图像累积数据，并且所述图像处理器在所述区域中处理图像数据。

30.如权利要求28所述的数字成像系统，其特征在于，所述系统进一步包括：连接好的存储器，以存储在图像获取期间所获得的图像累积值。

31.如权利要求28所述的数字成像系统，其特征在于，所述图像处理器包括连接到所述图像传感器阵列的传感器加速器。

32.如权利要求28所述的数字成像系统，其特征在于，在所述图像获取期间，所述图像处理器可以用来在所述图像传感器阵列的至少一个像素或像素域中确定图像累积速率的变化。

33.如权利要求32所述的数字成像系统，其特征在于，在所述图像获取期间，所述图像累积速率的变化对应于所述图像的图像帧中的至少一个物体的移动，所述处理器至少可用于减少由于移动所造成的图像中的模糊。

34.如权利要求32所述的数字成像系统，其特征在于，在所述图像获取期间，所述图像累积速率的变化对应于像素或像素域的饱和，并且所述处理器至少可用于减小图像饱和的效应。

35.如权利要求28所述的数字成像系统，其特征在于，在所述图像获取期间，所述处理器可用于多次从所述图像传感器阵列中获得图像电平数据。

36.如权利要求28所述的数字成像系统，其特征在于，所述图像传感器阵列是感光型的阵列。

37.如权利要求28所述的数字成像系统，其特征在于，所述图像传感器阵列是红外区的感光阵列。

38.一种用于处理图像的方法，它包括如下步骤：

在图像获取期间，用图像传感器阵列来获取所述图像；

在所述图像获取期间，读取所述图像传感器中的至少一部分的图像累积值，以获得关于所述图像累积的信息；

使用在所述读取步骤中获得的、关于所述图像累积的信息来对在所述获取步骤中获取的图像数据进行处理；以及

输出处理过的图像数据。

39.如权利要求38所述的方法，其特征在于，所述方法进一步包括如下步骤：

输出所述图像累积信息。

40.如权利要求38所述的方法，其特征在于，所述读取图像累积的步骤包括在所述图像获取期间读取图像累积的速率。

41.如权利要求38所述的方法，其特征在于，在所述图像获取期间，在所述获取步骤中所获取的图像数据的所述处理识别时间上的事件。

42.如权利要求38所述的方法，其特征在于，所述方法进一步包括：

至少到所述图像获取时间的末端为止，存储在所述读取步骤中获得的信息；以及

在所述处理步骤中使用所存储的信息。

43.如权利要求38所述的方法，其特征在于，所述处理步骤包括：

获取至少一个像素或像素域的强度值；以及

将在所述获取步骤中获得的强度值与预定的阈值进行比较。

44.如权利要求38所述的方法，其特征在于，所述方法进一步包括如下步骤：

在所述图像获取期间，当检测到时间上的事件时，停止更新像素或像素域的值。

45.一种用于获得图像的方法，它包括如下步骤：

用数字成像系统获取图像；

在所述图像获取期间，对所述数字成像系统的像素或像素域进行采样；

在所述图像获取期间，确定存在着预定的图像信号增大特性；

处理所述图像的图像信号；以及

输出包括在所述处理步骤中处理过的信号的图像数据。

46.如权利要求45所述的方法，其特征在于，在所述图像获取期间，所述预定的特性是时间上的事件。

47.如权利要求45所述的方法，其特征在于，所述时间上的事件是累积速率的变化。

48.如权利要求45所述的方法，其特征在于，所述方法进一步包括如下步骤：

界定在其中发生过图像信号增大变化的图像区域；以及

其中所述处理步骤包括对所述界定步骤中所述区域的图像信号进行处理。

49.如权利要求45所述的方法，其特征在于，所述方法进一步包括如下步骤：

在所述图像获取期间，在诸多步骤中记录下像素或像素域的值。

50.一种用于图像处理的软件产品，它包括：

存储在存储器中并能够运行在计算机系统上的软件，所述软件被编程为用来执行如下步骤：

读取图像数据；

读取在所述图像获取期间获得的、所述图像传感器的至少一部分的图像累积值，以获得关于所述图像累积的信息；

用在所述读取图像累积值的步骤中获得的、关于所述图像累积的信息来对在所述获取步骤中获取的图像数据进行处理；以及

输出经处理的图像数据。

51.如权利要求50所述的软件产品，其特征在于，所述的用所述软件来读取图像累积值的步骤是在所述图像获取期间执行的。

52.如权利要求50所述的软件产品，其特征在于，所述的用所述软件来读取图像累积值的步骤是在获取所述图像之后才执行的。

53.一种数字图像处理系统，它包括：

在界面计算机上的图形化用户界面；

存储设备，在该存储设备上存储着图像数据以及与所述图像数据相对应的元数据；

在处理计算机上的图像处理软件，该软件用所述元数据来处理所述图像数据以输出处理过的图像。

54.一种用于图像获取的方法，它包括如下步骤：

使用数字成像系统获取图像；

在所述获取图像的步骤中检测像素；

在所述获取图像的步骤中，将所述像素的强度与预定的阈值进行比较；

在未达到所述预定阈值的像素处继续形成图像的同时，在超过所述预定阈值的像素处停止图像的形成；

完成所述图像获取；以及

输出所述图像的数据。

55.如权利要求54所述的方法，其特征在于，所述的像素强度是强度值的时间导数。

56.如权利要求54所述的方法，其特征在于，所述预定的阈值在空间和时间方面都是适合的。

57.一种用于图像获取的方法，它包括如下步骤：

使用数字成像系统获取图像；

在所述获取图像的步骤中检测像素；

在所述获取图像的步骤中，确定正在为所述图像的运动部分成像的那些像素；

在没有被确定为正在为所述运动部分成像的像素处继续形成图像，同时修改在被确定为正在为所述运动部分成像的像素处的图像形成；

完成所述图像获取；以及

输出所述图像的时间。

58.一种用于图像获取的方法，它包括如下步骤：

使用数字成像系统获取图像；

在所述获取图像的步骤中检测像素；

在所述获取图像的步骤中，确定正在为所述图像的运动部分成像的那些像素；

在没有被确定为正在为所述运动部分成像的像素处继续形成图像，同时停止在被确定为正在为所述运动部分成像的像素处的图像形成；

完成所述图像获取；以及

输出所述图像的时间。

Images