CN102160369B - 最低程度地处理显示的从突发捕获的图像 - Google Patents

Abstract

一个实施例最低程度地处理利用图像捕获设备捕获的图像突发。显示该图像，并且对该图像中的一个执行最大程度的处理。

Description

最低程度地处理显示的从突发捕获的图像

技术领域

本发明涉及图像捕获设备，更具体地涉及最低程度地（minimally）处理所显示的从突发（burst）捕获的图像。

背景技术

在数字照相机捕获图像之后，对原始图像数据执行相当大量的图像处理以将捕获的图像再现（render）到显示器。原始图像数据经常被处理、存储在帧缓冲器中、利用压缩算法进行压缩、并且然后存储在非易失存储器中。一旦图像被完全再现，就将它在照相机的显示器上显示给用户。

数字图像的最终再现可能需要几秒的处理。这对于用于从有限质量的数据（诸如由低成本照相电话机捕获的图像）中再现良好的图像的更高级的处理尤其如此。例如，照相电话机上的噪声过滤器在将再现的图像显示给用户之前可能处理大的百万像素的图像达几秒。如果快速连续地捕获图像的序列，则此处理时间可能相当大并且导致向用户显示图片的极大延迟。

附图说明

图1示出了根据本发明的示范性实施例的图像捕获设备的示意图。

图2示出了根据本发明的示范性实施例的最低程度地处理显示的从突发捕获的图像的流程图。

图3示出了根据本发明的示范性实施例的最低程度地处理显示的从突发捕获的图像的流程图。

具体实施方式

示范性实施例涉及用于在图像捕获设备中最低程度地处理显示的从突发捕获的图像的方法和装置。在突发期间捕获图像之后，最低程度地处理图像并且显示给用户。用户或图像捕获设备然后选择最佳显示的图像中的一个或多个，并且这些选择的图像经受更高级的处理以再现最终的和高质量的图像。

一个示范性实施例是手持数字照相机，诸如照相电话机，其使得用户能够快速捕获一系列图像或图像突发。然后用户能够回看捕获的图像并选择最佳或喜爱的图像中的一个或多个。随后，完全处理选择的图像，同时丢弃未选择的图像或不对其进行完全的图像处理。因此，节省了显著的时间和处理能力，因为照相机仅仅完全处理用户或图像捕获设备选择的图像。此外，由于图像在经受完全处理之前被最初并快速地预处理，因此图像立即可用于在显示器上回看。在照相机的显示器上查看之前，用户不需要等待在突发期间捕获的多个图像被完全处理。

一个示范性实施例使用多层处理来立即显示在突发期间捕获的图像序列。一个实施例使用有限但高速的图像处理来最初创建好得足以在手持便携式图像捕获设备上显示但是对于需要更高的图像质量的最终用途而言不足够良好的照片。由于捕获的速度，图像突发可以快速且立即显示给用户。

在一个示范性实施例中，图像处理发生在处于两个单独的时间的两个单独的阶段中。在第一最低程度的处理阶段期间，处理在突发期间捕获的图像从而刚刚足以将图像显示到图像捕获设备上的显示器。该最低程度的处理阶段产生相对低质量的图像，其足以显示在小的手持便携式图像捕获设备上。用户能够立即查看图像并且选择图像中的一个或多个。可替换地，图像捕获设备可以自动选择最佳捕获的图像中的一个或多个。然后在第二完全处理阶段或最大程度的处理阶段期间再次处理选择的图像。在此第二阶段期间，选择的一个或多个图像经受更密集的过程以产生更高质量的图像。更高级的处理发生在第二阶段期间以产生最终质量的再现图像。

图1示出了根据本发明的示范性实施例的图像捕获设备100的示意图。

图像捕获设备100包括处理设备110、存储器120、用户接口元件130、图像捕获硬件140、设备接口元件150、显示器160和其它组件的每一个电连接到的总线或本地接口170。处理设备110执行存储在存储器120中的命令，并且包括通用处理器、微处理器、一个或多个专用集成电路（ASIC）、多个合适配置的数字逻辑门、和/或其它的电构造以协调并处理图像捕获设备100的总体操作。

用户接口元件130包括接口工具，利用该接口工具改变设备设置并且用户通过其将命令传送到图像捕获设备100。例如，接口元件130包括一个或多个功能按钮或模式，利用其控制或命令图像捕获设备100捕获图像。此外，用户接口元件130包括但是不限于可选的用户输入设备（例如，键盘或鼠标）和用于将图像捕获设备100耦合到网络的可选的输入/输出（I/O）设备。

图像捕获硬件140包括用于物理上捕获图像的各种组件。在一个示范性实施例中，图像捕获设备100是手持便携式或非便携式数字照相机（静态和/或视频），其中图像捕获硬件140包括例如透镜、一个或多个聚焦元件（透镜、反射镜等等）、一个或多个光传感元件（例如，电荷耦合器件（CCD））、或取景器，仅举几个例子。

设备接口元件150便于将图像数据从图像捕获设备100传递到诸如计算设备和外围设备（例如打印机）之类的其它设备。例如，这些接口元件包括数据发送/接收设备和一个或多个通信端口。在一个示范性实施例中，通信或数据传输是无线的或通过直接电连接进行。

在一个实施例中，图像捕获设备100包括诸如显示器160之类的用户输出设备。显示器耦合到本地接口或总线170，用于向用户显示诸如存储或捕获的图像之类的信息。在一个示范性实施例中，显示器160是液晶显示器（LCD），其显示诸如图像捕获设备100捕获的图像、字母数字字符、图形等等之类的信息。

存储器120包括各种组件，诸如操作系统、图像捕获模块、通信模块、焦点（focus）质量分析和选择模块等等。操作系统包含用于控制图像捕获设备100的一般操作的各种命令，并且包括便于结合图像捕获硬件140来捕获（即，检索和存储）图像的软件和/或固件。因此，由这些其它设备显示、输出或以其他方式操纵捕获的图像数据。

在一个示范性实施例中，图像捕获设备100是电子设备，诸如但是不限于数字照相机（静态和/或视频）、个人数字助理（PDA）、蜂窝或移动电话、web照相机、计算设备、数字成像设备、或其它便携式或非便携式电子计算设备。此外，图像捕获设备100不限于装置而是包括计算机和电子系统。在一个示范性实施例中，图像捕获设备100连接到单独的计算设备（例如，个人计算机或服务器）和/或连接到诸如互联网之类的网络。

图2示出了根据本发明的示范性实施例的最低程度地处理显示的从突发捕获的图像的流程图。

根据块200，图像捕获设备快速连续地诸如以突发模式捕获一系列图像。在一个示范性实施例中，图像捕获设备快速连续地快速捕获图像序列或图像突发。

根据块210，图像捕获设备对捕获的图像执行最低程度的处理。在将图像最低程度地处理之后，将图像存储在内部缓冲器存储器中或外部存储卡上。图像的最初处理（即，图像的最低程度的处理）刚刚好得足以创建在图像捕获设备的显示器上看起来良好或可接受的低质量的图像。该最初或最低程度的处理忽略了诸如噪声、高级的缺陷像素校正等等之类的处理在显示器上不可见的图像伪像的项。最低程度的处理可以包括诸如原始图像数据的快速去马赛克及其它处理以缩减像素和分辨率之类的功能。

根据块220，将捕获的图像显示给用户。例如，在图像捕获设备的显示器上显示捕获的图像。

根据块230，用户或图像捕获设备选择捕获的图像中的一个或多个。例如，用户在显示器上回看捕获的图像并选择图像中的一个或多个。作为例证，用户或图像捕获设备选择在突发期间捕获的最佳或喜爱的图像中的一个或多个。

根据块240，用户或图像捕获设备可以对一个或多个选择的图像进行编辑、变更或校正。例如，校正包括但不限于去除红眼、使牙齿变白或色彩校正中的一个或多个。用户可以对所有图像进行类似的改变，对不同的选择的图像执行不同的改变/编辑。

根据块250，图像捕获设备对选择的一个或多个图像执行完全处理并且避免对其它未选择的图像的完全或最大程度的处理。照此，仅仅最大程度地处理选择的一个或多个图像（即，捕获的图像突发的子集）以节省时间和处理能力。

在最初的最低程度的处理之后，图像捕获设备对最低程度地再现的图像执行后处理，以创建可以被打印或显示在较大的或较高分辨率的显示器上的完全再现的、高质量的图像。通过延缓最终的再现，示范性实施例使得能够利用有限的处理能力快速捕获并立即显示图像突发。稍后，当这样做所需的时间可用时（例如，当图像捕获设备的处理器空闲或用户不捕获图像时），完全再现选择的图像。

在一个示范性实施例中，完全处理包括去马赛克、噪声过滤、图象锐化、扩展动态范围处理、去除红眼、高级白平衡、色彩调节、色调映射或色调重现、裁剪等等中的一个或多个。在最低程度的处理阶段期间不执行这些任务中的一个或多个，以节省时间和处理能力（即，由于不最大程度地处理在突发期间捕获的不需要的图像，因此节省了处理能力）。

图3示出了根据本发明的示范性实施例的最低程度地处理显示的从突发捕获的图像的流程图。

如块300所示，用户开始捕获多个图像310的序列。执行最低程度的处理以在显示器上再现图像，以便用户在序列中选择最佳的或喜爱的图像，如块320所示。在最低程度的处理之后，将多个图像作为原始的未处理的图像存储在存储器中，如所示的存储在存储容器330中。根据块340在显示器上呈现图像，并且根据350用户做出图像的一个或多个选择。接着，为了最佳图像质量执行最大程度的处理，用于传输到打印机或大的显示器或以供所述打印机或大的显示器使用，如360所示。可以将最终再现的图像输出到外围设备、存储在图像捕获设备中、存储在外部位置中、从图像捕获设备传输等等，如370所示。

一个示范性实施例是照相电话机，其包括具有基于快速但有限的硬件的图像处理流水线的图像处理器以及还包括当时间可用时允许更高质量的处理的DSP（数字信号处理器）或通用计算处理器。典型地，基于s/w或f/w的图像处理相比基于固定硬件的I管道能够更好地减轻图像中的问题，特别是具体依赖于特定的传感器或透镜传感器阵列的问题。当捕获图像时，足够再现该图像以在照相机或照相电话机上的显示器上是可接受的，但是将最终的高质量再现推迟到用户不试图捕获图像的时间。

示范性实施例在突发/最佳拍摄模式二者中提供益处并且实现快速且有效的拍摄到拍摄（shot-to-shot）的性能而不限制最终的图像质量。此外，示范性实施例利用较低处理能力的系统来实现相当于高处理能力的系统的突发/再现速度。例如，示范性实施例意识到小的图像捕获设备（例如，便携式照相机或照相电话机）上的显示器的限制并且使用这些限制来允许较低质量的最初再现。将最终的、完全质量的再现推迟并且仅仅应用于用户选择进行保存的图像。照此，根据示范性实施例的图像捕获设备对于用户输入（照相）更敏感，但是通过推迟处理直到图像捕获设备空闲，仍然交付被再现到可能的最佳质量的图像。

定义

如这里和权利要求书中使用的，以下词语的定义如下：

词语“突发”意指一系列快速捕获的图像或快速捕获的图像的序列。例如，在致动图像捕获设备上的单个机构（例如，机械或电子按钮）时捕获三个或更多图片的序列。

术语“完全处理”或“最大程度的处理”或“最大程度地处理”意思是足够地处理图像以将它们再现到高质量的显示器（诸如计算机显示器）或高质量重现装置（诸如打印机）。

术语“最低程度的处理”或“最低程度地处理”意思是足够地处理图像以将它们再现到与高质量显示器（诸如计算机显示器）或高质量重现装置（诸如打印机）相对的照相机显示器或本地显示器。

根据本发明的示范性实施例的方法被提供为示例并且不应当理解为限制在本发明的范围内的其它实施例。此外，可以将在不同的图之内讨论的方法或步骤添加到其它图中的方法或步骤或与之互换。此外，应当将特定的数字数据值（诸如特定的数量、数字、种类等等）或其它特定的信息理解为说明性的，以便讨论示范性实施例。提供这样的特定信息不是用来限制本发明的。

在根据本发明的各种实施例中，实施例被实现为方法、系统和/或装置。作为一个示例，示范性实施例和与其关联的步骤被实现为实现在这里描述的方法的一个或多个计算机软件程序。软件被实现为一个或多个模块（也称为代码子例程、或在面向对象的程序设计中称为“对象”）。 对于各种可替换的实施例，软件的位置将不同。例如，软件程序代码由计算机或服务器的一个或多个处理器从某类型的长期存储介质（诸如CD-ROM驱动器或硬盘驱动器）访问。软件程序代码被包含或存储在各种已知介质的任何一种上以供数据处理系统使用或存储在诸如半导体、磁和光学设备之类的包括盘、硬盘驱动器、CD-ROM、ROM等等的任何存储器设备中。在这样的介质上分发代码，或代码被从一个计算机系统的存储器或存储装置通过某类型的网络分发到其它计算机系统以便由这样的其它系统的用户使用。可替换地，程序代码包含在存储器中并且由处理器使用总线访问。用于将软件程序代码包含在存储器中、在物理介质上、和/或经由网络分发软件代码的技术和方法是公知的，并且将不会在这里做进一步的讨论。

上述讨论旨在说明本发明的原理和各种实施例。一旦上述公开被完全理解，许多变化和修改对于本领域技术人员将变得明显。以下权利要求书意欲被理解为涵盖所有这样的变化和修改。

Claims (15)

1.一种用于处理图像的方法，包括：

利用图像捕获设备快速连续地捕获数字图片的序列；

执行最低程度的处理产生较低质量的图像以将所述产生的图像再现到该图像捕获设备的显示器；

接收该图片之一的用户选择；以及

利用该图像捕获设备对该图片之一执行最大程度的处理以产生较高质量的图像；

所述执行最低程度的处理和所述执行最大程度的处理发生在处于两个单独的时间的两个单独的阶段中。

2.如权利要求1所述的方法，还包括：输出该图片之一以供高质量的摄影重现设备使用。

3.如权利要求1所述的方法，还包括：通过仅仅对该图片之一执行最大程度的处理来节省处理能力。

4.如权利要求1所述的方法，还包括：在执行该最大程度的处理之前接收对该图片之一的用户编辑。

5.如权利要求1所述的方法，还包括：推迟该图片之一的最大程度的处理，直到该图像捕获设备空闲。

6.一种图像捕获设备，包括：

显示器；和

处理器，其捕获图像突发，最低程度地处理该图像突发产生较低质量的图像，在该显示器上显示该产生的图像，选择该图像突发中的图像，仅仅最大程度地处理该选择的图像以产生较高质量的图像；

其中所述最低程度的处理和所述最大程度的处理发生在处于两个单独的时间的两个单独的阶段中。

7.如权利要求6所述的图像捕获设备，其中该图像捕获设备是移动电话。

8.如权利要求6所述的图像捕获设备，其中该图像突发中的一个图像表示在该图像突发中捕获的最佳图像。

9.如权利要求6所述的图像捕获设备，其中最大程度的处理产生高分辨率的图像。

10.如权利要求6所述的图像捕获设备，其中最低程度的处理没有最大程度的处理过程密集，使得在捕获该图像突发之后能够立即在显示器上显示该图像突发。

11.一种图像捕获设备，包括：

用于接收利用图像捕获设备捕获的图像突发的装置；

用于执行最低程度的处理产生较低质量的图像以将所述产生的图像显示在该图像捕获设备上的装置；以及

用于利用该图像捕获设备对该图像之一执行最大程度的处理以产生较高质量的图像的装置；

其中所述执行最低程度的处理和所述执行最大程度的处理发生在处于两个单独的时间的两个单独的阶段中。

12.如权利要求11所述的图像捕获设备，还包括：用于忽略噪声和缺陷像素校正的装置，所述噪声和缺陷像素校正导致在图像捕获设备的显示器上不可见的变化。

13.如权利要求11所述的图像捕获设备，还包括：用于在该图像捕获设备的显示器上显示该图像突发，因此用户能够在最大程度的处理发生之前选择该图像突发中喜爱的一个的装置。

14.如权利要求11所述的图像捕获设备，还包括：用于延缓该图像突发的最终再现，以使得能够利用有限的处理能力快速捕获和显示该图像突发的装置。

15.如权利要求11所述的图像捕获设备，还包括：用于仅仅对该图像之一执行最大程度的处理而不对该图像突发中的其它图像执行最大程度的处理的装置。