CN101305398A - 基于多个图像帧形成合成图像的方法 - Google Patents

基于多个图像帧形成合成图像的方法 Download PDF

Info

Publication number
CN101305398A
CN101305398A CNA2005800520486A CN200580052048A CN101305398A CN 101305398 A CN101305398 A CN 101305398A CN A2005800520486 A CNA2005800520486 A CN A2005800520486A CN 200580052048 A CN200580052048 A CN 200580052048A CN 101305398 A CN101305398 A CN 101305398A
Authority
CN
China
Prior art keywords
array
sequence
brightness value
intensity values
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800520486A
Other languages
English (en)
Other versions
CN101305398B (zh
Inventor
安德鲁·奥古斯丁·韦茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Active Optics Ltd.
Original Assignee
ACTIVE OPTICS Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ACTIVE OPTICS Ltd filed Critical ACTIVE OPTICS Ltd
Publication of CN101305398A publication Critical patent/CN101305398A/zh
Application granted granted Critical
Publication of CN101305398B publication Critical patent/CN101305398B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

一种基于多个图像帧形成合成图像的方法，包括获得亮度值阵列的序列(22，33)，用于表示基本上描述相同场景的各个图像帧序列。合成图像用亮度值阵列的末级阵列(27，28)表示。末级阵列(27，28)中至少一些亮度值都是基于所获得的序列(22，33)中的阵列的各自一个，对亮度值阵列序列的每一个的亮度值求和获得。对于末级阵列(27，28)中至少一个区域的任何一个，如果至少一个亮度值的组的序列的任何一个包含与序列的其它组的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择多个所获得的亮度值阵列的一个的部分，表示末级阵列(27，28)中的区域的亮度值都源自(A)基于只是所选择的多个阵列的那些阵列的各自一个的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含具有偏差亮度值的组，或(B)基于只是所选择的多个阵列的那些阵列的各自一个的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含亮度值的其它组之一。

Description

基于多个图像帧形成合成图像的方法
技术领域
本发明涉及基于多个图像帧形成合成图像的方法，包括获得亮度值的阵列序列，用于表示描述基本相同场景的各个图像帧序列。
其中通过末级亮度值阵列表示合成图像亮度值，
其中末级阵列中的至少一些亮度值都基于在获得的序列中的各个阵列，通过对每个亮度值阵列的序列的亮度值求和获得亮度值。
本发明还涉及处理亮度值阵列序列的系统，每个阵列适于表示描述基本相同场景的图像帧序列之一，设置系统以形成表示合成图像的亮度值的末级阵列，其中系统设置为基于在获得序列中各个阵列，通过对每个亮度值阵列的序列的亮度值求和，获得末级阵列中的至少一些亮度值。
本发明还涉及成像设备，例如，数字照相机。
本发明还涉及计算机程序。
背景技术
这种方法、系统和计算机程序的各个实例可以从US 2005/0030315获得。图像栈输入到已知系统中。图像栈是一组由静止照相机或摄像机记录的相同规格的记录图像(例如，每个图像中相同像素大致表示相同的事物)。在3D像素组中，普通的X和Y维度定义单个图像的坐标。Z(或时间)维度定义叠层中的图像(或视频中的时间点)。用户将一个或多个滤光器应用于图像栈，以形成一个或多个称为中间图像的新图像。然后，用户可以选择原始图像或中间图像之一用作源图像，源图像的像素可以合成或绘成新的合成图像。在当前的一层之前和在当前的一层之后，时间平滑(Temporal Smooth)滤光器提供当前的一层或多层的加权混合。中值滤光器对于去除在只有一个或几个图像中发现的目标、对于去除时序事件诸如在视频的整个图像中移动的东西、对于去除时域噪音是有用的。最大直方图滤光器在相应跨度内提供像素，其很可能是该跨度内的其它像素。该滤光器对于去除在只有一个图像或几个图像中发现的目标是有用的。
最大直方图滤光器和中值滤光器的问题在于它们只提供跨度的单个像素值，意味着有些噪音仍然存在。这样不可能将时间光滑滤光器应用于中值或最大直方图滤光器的合成，因为它们只是在单个图像中产生。
发明内容
本发明的目的是提供一种上述类型的方法、系统、成像设备和计算机程序，用于形成场景中移动目标的具有变化外形的具有相当好信噪比的合成图像。
这个目的通过本发明的方法来实现，其特征在于，对于末级阵列中至少一个区域的任何一个，如果至少一个亮度值的组的任何一个序列包含与序列的其它组的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择多个所获得的亮度值阵列的一个中的部分，表示末级阵列中的区域的亮度值都源自
(A)基于只是所选择的多个阵列的那些阵列的各自一个的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含具有偏差亮度值的组，或
(B)基于只是所选择的多个阵列的那些阵列的各自一个的的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含亮度值的其它组之一。
该区域只包括用单个亮度值表示的一个像素。
因为末级阵列中至少一些亮度值都是通过基于序列中阵列的各自一个的，对亮度值阵列的每个序列的亮度值求和来获得，至少对于用这些亮度值表示的末级图像的那些部分，信噪比增加。因为大于一定测量值的亮度值偏差用作将亮度值的组分成两组的标准，在末级阵列中的区域的相应显示只是基于两组之一的亮度值，对于场景的移动部分可以确保不会弄错由于噪音的无关值。在变形(A)中，在考虑末级阵列的情况下，基于所获得的含有具有偏差亮度值的组的阵列，表示区域的亮度值都只是源自至少一个阵列的每一个的各个亮度值，区域外形的变化在移动部分是更清晰可见的场景中实现。对应于背景的亮度值被废弃。在变形(B)中，在考虑末级阵列的情况下，只基于所获得的包含其它组亮度值之一的阵列，表示区域的亮度值都只是源自至少一个阵列的每一个的各个亮度值，从合成图像中滤除移动目标。
与现有技术相比的其它优点在于，该方法可以在曝光不足或噪音的图像帧的基础上进行。这是因为在末级阵列中至少一些亮度值都是基于表示图像帧的各个阵列、对亮度值阵列序列的每一个的亮度值求和来获得。
在一个实施方式中，获得亮度值阵列序列的步骤包括获得亮度值阵列序列，每个通过在曝光开始的相关曝光周期对图像捕获设备的感光表面曝光可获得，从而直接在序列排列之前，在获得亮度值阵列的曝光的开始和与亮度值阵列相关的曝光周期的结束之间形成定义的时间间隔。
在对于末级阵列中至少一个区域的任何一个的情况下，如果在表示各个所获得图像帧的区域的至少一个亮度值的组的序列的任何一个包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，表示末级阵列中的区域的亮度值都源自(A)只是基于包含偏差亮度值的组的那些所获得的阵列的各自一个，一个或多个阵列的每一个的各个亮度值，作用是产生频闪合成图像。移动目标的锐利图像的序列捕获成单个合成图像。由于包含其它组的亮度值的阵列不用于导出在表示移动目标的区域中的亮度值的事实，移动目标更清晰地显示。
在对于末级阵列中至少一个区域的任何一个的情况下，如果在表示各个所获得图像帧的区域的至少一个亮度值的组的序列的任何一个包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，表示末级阵列中的区域的亮度值都源自(B)只是基于所选择的包含其它组的亮度值之一的多个阵列的那些、一个或多个阵列的每一个的各个亮度值，去除移动目标。保证直接在序列排列之前，在获得亮度值阵列的曝光的开始和与亮度值阵列相关的曝光周期的结束之间形成定义的时间间隔，具有在更长的总时间间隔捕获的亮度值阵列序列用作合成图像的基础的作用。这样保证有足够数量表示背景的图像帧，背景通过在一些图像帧中移动目标来变模糊。
在一个实施方式中，获得亮度值阵列的序列的步骤包括：
获得亮度值阵列的第一序列，每个阵列通过在曝光开始的相关曝光周期对图像捕获设备的感光表面曝光可获得，获得闪光级别的指示，和
通过基于指示的闪光级别，减少阵列的第一序列的阵列数，形成亮度值阵列的第二序列。
作用在于，在所捕获的亮度值阵列的序列或源自所捕获的亮度值阵列的序列的各自一个的亮度值阵列的序列的后处理过程中，可以提供频闪效果。而且，通过闪光级别的指示可调整频闪效果。
在一个实施方式中，对于在末级阵列中至少一个区域的任何一个，如果至少一个亮度值的组的序列的任何一个包含与序列其它组中的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得亮度值阵列之一的部分，通过用一系数将基于所选择的多个所获得的阵列的亮度值的总和加权，得到表示末级阵列中的区域的亮度值，其中该系数与序列中的组数和得到表示末级阵列中的区域的亮度值的组数的比率成比例。
因此，保证在末级阵列的区域中，表示在各个所获得的图像帧中的区域的至少一个亮度值的组的序列没有包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，表示末级阵列中的区域的亮度值可以通过将对应于所获得阵列数的亮度值数值的求和而得到。基于较小的亮度值数值获得合成图像的区域，表示在各个所获得图像中的区域的至少一个亮度值的组的序列的任何一个包含偏离其它区域的亮度值。加权保证它们基本上不会弱于合成图像的其它区域。
在一个实施方式中，获得亮度值阵列的序列的步骤包括：
获得亮度值阵列的第一序列，用于表示基本上描述相同场景的各个图像帧，
选择至少一部分所描述的场景，
计算描述场景的图像帧中的部分的相对移动的移动矢量，以及
形成亮度值阵列的第二序列，用于表示根据计算的移动矢量对齐至少所选择的部分的各个图像帧。
该实施方式用于在场景中所选择的部分更准确地识别目标移动。通过对齐至少所选择的部分，消除在连续的图像帧中所选择的部分场景相对观察者的移动效应。从而偏差亮度值的后续检测更准确。
在一个实施方式中，对于末级阵列中至少一个区域的任何一个，如果至少一个亮度值的组的序列没有包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得的亮度值阵列之一的部分，表示末级阵列中的区域的亮度值都是通过基于所获得序列中阵列的各自一个，将亮度值阵列的序列的每一个的亮度值求和来获得。
亮度值的求和具有增加信噪比的作用，特别是，在亮度值阵列基于通过读取图像捕获设备产生的信号值获得时。基于所获得序列中的阵列的各自一个，对亮度值阵列序列的每一个求和，对于末级阵列中至少一个区域的任何一个，如果表示在各个所获得图像帧中的区域的至少一个亮度值的组的序列没有包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，具有通过求和尽可能多地在末级阵列中形成亮度值的作用。因此，合成图像的总的信噪比提高到最大可能程度。
在一个实施方式中，对于末级阵列中至少一个区域的任何一个，如果至少一个亮度值的组的序列的任何一个包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得的亮度值阵列之一的部分，以及如果其它组包括多个组，表示末级阵列中的区域的亮度值每一个都是通过分别基于包含其它组之一的，所获得阵列，对多个亮度值阵列的每一个的亮度值求和来获得，其中，优选地多个亮度值阵列的数值对应于其它组的数值。
该实施方式具有即使在部分图像移动的情况下增加信噪比的作用。去除移动部分，背景包括在具有相当高信噪比的合成图像中。
在一个实施方式中，获得亮度值阵列的序列的步骤包括获得至少一个亮度值阵列，用于表示以对应于阵列中亮度值数值的第一分辨率描述场景的图像帧，和获得亮度值阵列的另一组，用于表示以对应于阵列中的亮度值数值并低于第一分辨率的分辨率基本上描述相同场景的各个图像帧，其中所选择的多个获得的阵列选自另一组。
作用在于，利用包含更少亮度值的阵列，进行移动目标外形的检测和变形。这样减少形成合成图像需要的处理量。由于末级阵列中至少一些亮度值都是基于所获得序列中阵列的各自一个，对亮度值阵列的序列的每一个的亮度值求和而获得，其中所获得的序列包括以第一、相当高的分辨率表示图像帧的至少一个阵列，从而高分辨率图像信息结合到表示合成图像的末级阵列中。
在本实施方式的变形中，在另一组的亮度值阵列的至少一个通过获得亮度信号的数字而获得，用于以对应于亮度信号的数值的分辨率表示图像帧，并且以阵列中的亮度值是基于各个所获得亮度值的总和的方式形成亮度值阵列。
作用是增加表示移动目标或已经移动的合成图像那些部分的信噪比。这是因为求和，在实施中也称为“区域化”，增加表示较低分辨率图像帧的信噪比。
在本实施方式的另一变形中，对于末级阵列中至少一个区域的任何一个，如果至少一个亮度值的组的序列没有包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得的亮度值阵列之一的部分，获得表示末级阵列中的区域的至少一些亮度值的步骤包括基于所获得的亮度值阵列的各自一个，对亮度值的至少一个阵列的每一个的亮度值求和，所获得亮度值阵列用于基于所获得的亮度值阵列的各自一个，以第一分辨率和以至少一个亮度值阵列的亮度值表示图像帧。
因此，尽管对表示低分辨率图像帧的阵列进行移动目标的检测，但至少合成图像的背景基于表示高分辨率合成图像的阵列形成。
根据另一方面，根据本发明用于处理亮度值阵列的序列的系统，其特征在于，对于末级阵列中的至少一个区域的任何一个，该系统用于判断是否至少一个亮度值的组序列的任何一个包含与序列的其它组中的亮度值的偏差大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得的亮度值阵列之一的部分，基于这种判断，得到表示在末级阵列中的区域的每个亮度值，从
(A)基于只是所选择的多个阵列的那些阵列的各自一个的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含具有偏差亮度值的组，或者
(B)基于只是所选择的多个阵列的那些阵列的各自一个的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含亮度值的其它组之一。
因此，该系统设置为基于描述相同场景的多个图像帧提供合成图像，其中，如果描述场景中的目标移动，或者(A)通过去除背景来加强，或(B)去除到使背景更清晰可见。整个合成图像具有相当高的信噪比，以及去除目标的场景的所述部分具有相当小的模糊。
优选地，该系统设置为执行本发明的方法。
该系统的一个实施方式设置为获得亮度值阵列的序列，
通过获得亮度值阵列的第一序列，每个阵列通过在相关曝光周期曝光图像捕获设备(5)的感光表面可获得，
通过从用户获得闪光级别的指示，以及
通过基于指示的闪光级别，减少阵列的第一序列中的阵列数，形成亮度值阵列的第二序列，其中该系统包括用于获得闪光级别指示的设备，该设备包括用刻度标记的部分和用于指示刻度点的可调整元件。
该实施方式特别适于消费电子设备的技术实施，诸如，电子照相机。它提供一种方便的方式，用于指示用于形成合成图像的曝光之间的延时。该设备可以作为图形用户界面的图形元件来实现。
基于本发明的另一方面，提供包括本发明的系统的成像设备，例如，数字照相机。
基于本发明的另一方面，提供一种包括计算机程序，包括当结合机器可读介质时能够产生具有信息处理能力以执行本发明的方法的一组指令。
下面参照附图详细描述本发明，其中
附图说明
图1示意性地示出作为基于多个图像帧提供合成图像的系统的一个实例的数字照相机；
图2示出了获得形成合成图像的多个图像帧的第一种方法；
图3示出了形成合成图像的第一种方法的流程图；
图4和5表示在形成合成图像的方法中使用的标准的应用；
图6示出了形成合成图像的第二种方法的流程图。
具体实施方式
图1示出了一些数字照相机的元件，作为含有系统的装置的示例，用于执行以下所描述的方法。装置的其它合适实例包括扫描仪和影印装置、以及通用计算机，它们通过编程来处理利用这些装置获得的图像文件。描述集中在数字照相机1形成合成图像的方法的应用。
数字照相机1包括透镜系统2，其用于聚焦用合成图像表示的场景中的一个或多个目标。当快门3打开时，场景通过光圈圈4中的孔径投射到图像捕获设备5的感光区。代替快门3，可以使用通过图像捕获设备5的适当控制实施的电子快门。快门时间随着孔径的直径是可控制的。例如，图像捕获设备5可以是互补金属氧化物半导体(CMOS)技术实施的器件或电荷耦合器件(CCD)传感器。
图像捕获设备5的感光区被分成由像素单元占据的区域。每个像素单元包括产生表示像素单元占据区域被曝光的光亮度信号的设备。在曝光过程中，例如，通过电容器中的光电流的累积，形成器件所产生信号的积分。在持续曝光时间间隔的曝光之后，所产生信号的积分值逐行读取。
所读取的(模拟)值提供给模数(A/D)转换器6。A/D转换器采样和量化从图像捕获器件5所接收的信号。这包括按比例记录具有离散级别的亮度值，离散级别的亮度值数目取决于作为A/D转换器6的输出提供的数码字的分辨率的比特数。因此，A/D转换器6提供按照占据第一范围的比例记录的亮度值阵列作为输出。每个亮度值与图像帧中的具体像素位置有关，对应于感光单元或多个邻的感光单元。在后者的情况下，从图像捕获设备5读出的值优选通过“区域化(binning)”相对应于多个相邻的感光单元的值而获得。“区域化的”值对应的区域可以重叠。
因此，图像捕获设备5的每次曝光获得表示图像帧的亮度值阵列。下面将更详细地解释，一个或多个阵列的亮度值通过数字信号处理器(DSP)7被映射到占据第二范围的不同刻度。在一些实施方式中，DSP7也适于进行诸如像素值与图像的任意压缩之间的插值操作。还可以进行亮度值与空间频域的转换，诸如离散余弦变换(DCT)。
亮度值的阵列存储在存储装置8中。存储装置可以是任何通用类型的存储装置，例如，内置闪存、可更换闪存模块、光盘驱动器或磁盘驱动器。
在微处理器9的控制下进行图像的捕获和处理，微处理器9通过总线10发布命令。在图示实施方式中，微处理器9由协同处理器11协助。例如，协同处理器11优选地是根据JPEG标准进行图像压缩的数字信号处理器。微处理器9包括易失性存储器并且可以访问存储在只读存储器(ROM)模块12中的指令。该指令提供给数字照相机1，其有能力执行将多个捕获的图像帧相加形成合成图像的方法，该方法在微处理器9的控制下执行。
连接总线10的其它部件包括用于接收用户命令的输入界面模块13，和用于返回状态信息的输出界面模块14。在图示实施方式中，移动传感器15用于检测和测量数字照相机1的移动。在其它实施方式中，分析迅速连续捕获的图像帧序列，以确定数字照相机1的移动量和/或移动方向。此外，数字照相机1包括曝光测定装置16和用于控制闪光操作(未示出)的闪光装置17。
在使用中，用户发出形成单个场景图像的命令，其通过输入界面模块13和总线10传送到微处理器9。作为响应，微处理器9控制数字照相机1，从而捕获多个曝光不足的图像帧或具有高ISO设置的图像帧。高ISO设置意味着图像捕获设备5的感光度、根据国际标准ISO5800：1987的线性胶片速度范围的标准设定在高级别。所捕获的图像表示至少部分重叠的各个场景。每个图像帧，特别是每个图像帧的颜色成分，用像素像素值的阵列表示。在与像素相关的区域，每个像素值对应于相关颜色成分的光亮度，假定与像素相关的每个区域对应于图像捕获装置5的部分区域，其是不变的，在阵列中包含的亮度值的数值对应于图像帧的空间分辨率。在亮度值是空间频域的系数的情形下也是这样，因为在阵列中包含的更多值对应于存在更高级别系数的存在。
为了获得单个曝光不足的图像帧的序列，微处理器9对于在图像帧的基础上形成的最终图像确定理想的曝光。这种曝光在图像帧上被划分。在从曝光测定装置16获得的一个或多个值的基础上，可以由用户的输入或自动地确定理想的曝光。每个图像帧的曝光级别获得光圈4、快门速度和闪光强度的设定。此外，微处理器9确定从图像捕获装置读出的信号的放大级别。这些确定在表示图像帧的阵列中的亮度值内的值的范围。表示亮度值的比特数确定亮度值的动态范围。在该示例中，假定亮度值用8比特来表示，那么存在255种可能的非零值。代替使图像帧曝光不足，图像捕获设备5的线性刻度ISO设定(也被称为ASA数)可以按照与曝光不足因子相同的因子来增加。这样导致在各个帧中噪音级别增加，该噪音级别通过下述的组合处理来减小。
图2示出了根据本发明实施方式的图像捕获设备中的信号，其表示照射在一个像素单元上的聚集光。在多个邻近单元的值被平均的情况下，图2表示的信号是用邻近像素单元的组定义的像素的典型像素值。
定义像素的感光表面在第一曝光周期τ1首先从时间点t1到时间点t2曝光。在第一曝光周期t1读出的值是表示图像帧的第一阵列亮度值中像素的亮度值。同样，这种描述假定彩色滤光片用于相邻像素单元，从而同时捕获像素的几个色彩成分。在其它实施方式中，顺序捕获色彩成分，从而τ1实际上约等于第一曝光周期持续时间的1/3。
为了形成在第二阵列亮度值中包括的亮度值，图像捕获设备5在第二曝光周期τ2从时间点t3到时间点t4曝光。在第二曝光周期τ2的开始t3和第一曝光周期τ1的结束t2之间形成时间间隔Δt1。同样，在标记第三曝光周期τ3开始的时间点t5和第二曝光周期τ2的结束之间形成时间间隔Δt2。在感觉中定义的时间间隔Δt1、Δt2在ROM模块12中预编程、通过输入界面模块13输入、或基于通过输入界面模块13接收的输入数据由微处理器9的计算定义。时间间隔Δt1、Δt2不必相等。
在示出的实施方式中第一至第三曝光周期τ1至τ3不是相等的持续时间。从而，捕获增加最大亮度的亮度值阵列序列。因此，捕获亮度值的阵列序列，每个表示对应的图像帧，其中每个阵列的像素取决于具有增加的绝对最大值的离散值的数值范围的序列之一，该数值范围可应用于连续图像帧序列中至少一个图像帧的各个连续组。在该示例中，可应用的每个数值范围的组只包括一个图像帧。在可选择的变化中，各个数值范围的绝对最大值减小。在这该示例中，曝光时间基本上随着每次连续曝光均匀增加。这样获得具有相当好色彩和色调深度的合成图像。还可能以随机的形式改变曝光周期τ1至τ3的长度。
在国际专利申请PCT/EP04/51080(以编号WO——公开)中描述了在所捕获图像帧序列中从一个图像帧到下一图像帧为曝光级别分级的各种方法，在此引入其全部内容作为参考。曝光级别取决于曝光时间、孔径、闪光灯光强度、在A/D转换前的放大率增益和转换器6的A/D转换阈值。通过改变在连续曝光中的这些设定来完成曝光级别的分级。
在一个具体变化中，光圈4的孔径尺寸和照明条件在曝光期间基本保持不变。图2示例性示出了这种变化。采用的曝光值取决于捕获稳定图像所需的时间。选定该值使得各个图像帧的各个曝光周期τ1至τ3保持在一定阈值以下。考虑到普通摄影者捕获稳定图像的最低快门速度，优选地，该阈值定为1/60秒。
用于计算曝光周期τ1至τ3的长度的一种算法是选择最大曝光周期低于阈值，即，1/60秒以下。曝光周期的平均长度等于最大曝光时间除以图像帧数。依据理想的曝光周期总数，将曝光周期长度分级为等量增量达到最大曝光周期。
在第二具体变化中，在每个曝光周期τ1至τ3的开始之前，以至少记录每个像素的亮度值的最大数值范围基本上随着每次连续曝光均匀地变化的方式，调整图像捕获系统的不同参数、光圈4的孔径。在第二具体变化中，每个图像帧的曝光时间是相等的。孔径优选以相等增量均匀地逐步减小。
在第三具体变化中，用于照明在连续图像帧中描述的场景的人造光源的亮度在两次曝光之间均匀地逐步变化。
回到图2所示的实施方式，可以观察到可能的变化，其中在曝光周期τ1-τ3之一期间，在这些图像帧的捕获之间没有延时，读出多个阵列的亮度值。在图像捕获设备的重设之间，即，只是在所选择被捕获的亮度值阵列序列之间，形成延时Δt1、Δt2。应该注意，延时较好地定义Δt1、Δt2意味着它们对应于设定值，而不是图像捕获设备的固有属性的结果。实际上，由于图像捕获设备5的重设使得设定值大于固有延时。
图3示出了利用可替代的步骤获得亮度值阵列序列的方法，亮度值阵列在曝光开始的相关周期通过曝光图像捕获设备5的感光表面可获得，从而直接在序列的排列之前，在获得亮度值阵列的曝光开始和与亮度值阵列相关的曝光周期结束之间形成定义的时间间隔。
在第一步骤18中，获得亮度值阵列的初始序列19，诸如可通过各个曝光开始的各个相关的曝光周期曝光图像捕获装置5的感光表面来获得。其中该方法在数字照相机1中执行，初始序列19的阵列直接从图像捕获设备获得。这些阵列通过图2所示的方法可获得，但是，优选地，除了图像捕获设备5的每次重设本身产生的延时之外，在曝光周期之间没有延时捕获。
在后续的步骤20中，微处理器9接收理想闪光级别指示，优选以通过输入截面模块13和总线10提供的信号的形式。优选地，数字照相机1包括用于从用户获得闪光级别指示的设备。在一个实施方式中，用户通过在数字照相机1上设置标度盘(未示出)提供闪光级别指示。在另一实施方式中，使用滑块(未示出)。也可以使用含有对应于刻度的标记和用于指示刻度上的点的可调元件的其它类型输入设备。包括作为图形用户界面的部件的设备。在示出的数字照相机1的示例中，如果至少用于指示刻度上的点的元件作为机械可调整元件，则具有人机工程优点的。闪光级别是合成图像中显示的移动目标之间理想分离的典型代表。例如，移动目标是合成图像中出现的球，闪光级别指示如何沿球的轨道将球的各种显示靠近在一起。
在下一步骤21中，基于阵列的初始序列19，形成表示图像帧序列中各个图像帧的亮度值阵列的第二序列22，从而包括与阵列的初始序列19相关的阵列的减小数目的序列。特别是，在阵列的初始序列19的第一序列与阵列的初始序列19的第二序列之间的亮度值阵列被丢弃(drop)。其效果是在用第二序列22中通过阵列表示的图像帧之间形成延时。因此，从曝光开始，亮度值阵列的第二序列22对应于在相关曝光周期通过曝光图像捕获设备5的感光表面可获得的阵列序列，从而在排列第二序列22中的阵列之前，直接在获得亮度值阵列的曝光开始和与亮度值阵列相关的曝光周期结束之间形成定义的时间间隔(对应于从初始序列19“丢弃”的阵列的曝光周期)。例如，在标度盘用作输入设备的实施方式中，靠近标度盘标记的刻度对应于从阵列初始序列19丢弃的中间阵列数。例如，“1”对应于对齐每隔一个阵列，而“9”对应于丢弃9个阵列，从而第二序列22仅包括初始序列19的每第10个阵列。
接下来，对于末级阵列中的至少一个区域，判断(步骤23)至少一个表示在用第二序列22中的阵列表示的各个图像帧的区域亮度值的组的序列是否包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值。
在该示例中，该组正好包含一个像素值，即，对应于正好一个像素位置的亮度值，对I×J阵列的每个像素位置(i，j)执行步骤23。假定第二序列22包含N个阵列，从而对每个像素位置(i，j)检验N个亮度值Pn(i，j)的序列。
在该检验过程中，确定序列Pn(i，j)上的平均亮度值(i，j)(步骤24)。紧接的两个步骤25、26取决于是否亮度值Pn(i，j)与序列中其它亮度值的偏离大于一定测量值。在简单实示例中，测量值是序列中亮度值Pn(i，j)的标准偏差的倍数。
在图4中，描述第一像素位置(i1，j1)的位置状况，其中N＝5，P2(i1，j1)偏差平均值(i1，j1)＝IAVG大于预定测量值。在图3的实施方式中，在表示合成图像的亮度值末级阵列27中相应的亮度值Pfinal(i1，j1)只是基于偏差值P2(i1，j1)。在目前的情况下，只有序列中的第三亮度值P2(i1，j1)与序列中其它亮度值Pn(i1，j1)的偏离大于一定测量值，从而在末级阵列27中相应的亮度值Pfinal(i1，j1)全部基于第三亮度值P2(i1，j1)。其中连续的两个或多个亮度值的偏离大于一定测量值，在末级阵列27中的相应亮度值可以基于所有的几个偏离亮度值。在图4所示的情形，执行两个可替换步骤25、26的第一步骤25。因为图像帧的初始序列19中的每个图像以及图像帧的第二序列22中的每个图像帧曝光不足，优选加强相应的末级阵列27中的亮度值Pfinal(i1，j1)所基于的单个亮度值P2(i1，j1)。出于这个原因，它是乘以第二序列22中图像帧数与所基于的图像帧数的比率。在示出的情况下，在末级阵列27中的每个亮度值Pfinal(i，j)总是基于至多一个偏差亮度值Pn(i，j)乘以N，N是第二序列22中的阵列数。
在流程图的交叉点，确定亮度值Pn(i，j)序列的平均亮度值(i，j)的继续步骤24，如果判断没有后续的像素值Pn(i，j)与序列中其它值的偏离大于一定测量值，通过将分别基于第二序列22中一个阵列和数量对应于第二序列22的阵列的多个亮度值阵列的每一个的亮度值相加，获得相应的亮度值Pfinal(i，j)。事实上，在示出的实施方式中，它们不仅基于第二序列22中的阵列，而且与它们相同。应该注意，在其它实施方式中，其中分析多于表示区域的一个亮度值的组，首先可以进行转换或一些其它操作。在那种情况下，通过转换获得的值进行求和。
图5中示出了应用两个可替换步骤25、26的第二步骤26的情形。图5表示在像素位置(i2，j2)的亮度值Pn(i，j)。对于那种像素位置，亮度值Pn(i1，j1)，n＝0…4，，与平均亮度值的偏差没有大于一定测量值。在那种情况下，通过对每个亮度值Pn(i2，j2)，n＝0…4，求和获得亮度值Pfinal(i2，j2)。
对每个像素位置重复步骤23、24，以及25和26之一，直到完成末级阵列27。在其它实施方式中，该步骤可应用于亮度值的每一个I×J块。每个块包含几个亮度值的组，表示在一个图像帧序列中的区域。如果一个块中的亮度值与对应于序列中亮度值的其它阵列中的块的亮度值的偏离大于一定测量值，那么执行与步骤25相似的步骤。在表示合成图像的末级阵列中相应的块完全是基于包含偏离亮度值的块。例如，可以比较块中的平均亮度值，以检测指示存在移动目标的偏离。
图3中概述的方法用于产生频闪合成图像，示出了沿其轨迹在几个位置的移动目标。在那些位置之一移动目标的每一个显示都相当清楚，因为基于已经形成的合成图像，背景已经有效地从图像帧中过滤。由于在步骤26中进行的加权，移动目标与背景之间的对比度比较强。
已经提到过，在第一步骤18中，获得亮度值阵列的初始序列19，诸如，可从各个曝光的开始的各个相关曝光周期曝光图像捕获设备5的感光表面获得。在一个实施例中，通过在从各个曝光的开始的各个相关曝光周期曝光图像捕获设备4的感光表面获得亮度值阵列。随后，用亮度值阵列表示的图像帧与另一个对齐，从而阵列的序列19实际上由表示随后对齐步骤(未示出)的图像帧的亮度值阵列形成。在可代替的实施方式中，每个图像帧的选择部分与另一图像帧的相应部分对齐。
为了对齐，可以使用公知的方法，诸如，RANSAC(RANdom SampleConsensus(随机取样协议))。M.A.Fischler，R.C.Bolles“Random SampleConsensus：A Paradigm for Model Fitting with Applications to Image Analysis andAutomated Cartography(随机取样协议：适用于图像分析和自动绘图的模型的范例)”，Comm.Of the ACM，Vol 24，pp 381-395，1981是这种算法的首次公开。在这种对齐的过程中，例如，直接从图像捕获设备5，获得表示基本相同场景的各个图像帧的亮度值阵列的第一序列。至少通过所描述的场景的一部分或者通过用户或自动选择，计算代表描述场景的图像帧中部件相对移动的移动矢量。移动矢量包括许多成分，每个是时间变化函数或时间数列，用于表示图像变换和/或旋转的成分。形成阵列的第二序列，用于表示根据所计算的移动矢量，至少所选择的部分的各个图像帧已经对齐。
上述RANSAC方法可替代的方法在国际专利申请PCT/EP04/51080，以编号WO——公开中描述。基于那种方法，计算移动矢量的步骤包括至少确定表示移动矢量的至少一个成分的第一项，该步骤包括估算处理，其中基于所计算的移动矢量，复位至少在多个图像帧的每一个中所选择的部分，并对在至少复位的部分中的相应像素的值求和，以形成合成图像。估算过程包括在合成图像的空间频谱的上限范围内包含的能量测量值的计算，至少确定第一项的步骤至少包括估算处理的进一步迭代，以使能量最大化。在一个实施方式中，级数展开是表示至少一个时间变化移动矢量的傅立叶总和，每个图像帧与时间点有关。任选地计算移动矢量的步骤包括确定级数展开中的另一术语，估算处理利用另一术语的调整值的移动矢量叠代地执行，以使能量最大化。
对齐也可以在形成阵列的第二序列22的步骤21后面的步骤(未示出)中进行。这样需要较少的计算强度。出于相同的目的，优选地，通过表示第一颜色空间中的彩色图像帧的多个亮度值阵列，并对第二颜色空间中的多个亮度值阵列应用转换，获得初始序列19中的阵列，其中，在第一颜色空间中，图像帧用参数值组合来表示，每个参数描述多个颜色成分之一的亮度，而在第二颜色空间中，图像帧用参数值组合来表示，组合的一个参数描述色调，组合的其它参数中的至少一个描述光亮度。
本实施方式具有这样的优点，对较少的亮度值阵列必须进行包括亮度值的计算和分析。不是为每种颜色成分分割亮度值阵列或亮度值阵列组合，而是只对第二颜色空间中表示光亮度的参数值的一个或多个阵列、或基于其导出的阵列进行处理。在描述色调的参数值阵列中包含颜色信息，其不必标度，以防止合成图像的饱和度。
在具体实施方式中，表示RGB(红、绿、蓝)颜色空间的图像帧的亮度值阵列被转换成表示HLS(色调、亮度、饱和度)颜色空间的图像帧各个参数值阵列。RGB颜色空间是附加颜色空间，其中对三种颜色成分的每一种的亮度分别进行编码。如果在RGB颜色空间中执行图3所示的整个方法，则该方法本质上必须重复三次地进行。在HLS颜色空间中，图像用描述三种颜色成分的相对强度的参数结合色调、提供从灰度级别到全色的程度的饱和度、和基本对应于颜色成分的平均强度的亮度(也称为辉度)的参数组合来表示。根据图3的方法只是处理亮度值的阵列，应该注意，对于HSL颜色空间，HSV(色调、饱和度、数值)颜色空间是可替换的，对于RGB颜色空间，CMYK和YUV颜色空间是可替换的。
在图3所示实施方式的增强变化中，获得亮度值阵列的序列的步骤18包括获得至少一个亮度值阵列，用于表示对应于阵列中亮度值数值的第一分辨率描述场景的图像帧，和获得另一组亮度值阵列，用于表示对应于阵列中亮度值的数值并且低于第一分辨率的分辨率基本描述相同场景的各个图像帧。只对通过以较低分辨率表示图像帧的阵列形成的子序列进行对应于接收闪光级别的指示和丢弃图像帧的步骤20、21的步骤。而且，只包括以较低分辨率表示图像帧的生成阵列的序列经过步骤23-26，以形成表示场景的移动部分的亮度值。随后，利用与图3相似的方法形成的全部帧与第一分辨率的图像帧合成。因此，形成深一层的阵列，其中每个亮度值是在基于总阵列的阵列中亮度值和以第一分辨率表示图像帧的阵列的至少一个亮度值的总和。在一种变形中，这只是对于表示确定至少一个亮度值没有组的序列的区域的那些亮度值的情况，其中每个位置代表区域并形成亮度值阵列的所选择的多个第二序列22中的一个的部分，包含与序列的其它组的亮度值的偏离大于一定测量值的亮度值。在那个变形中，移动部分基于较低分辨率图像帧完全在合成图像中表示，而背景部分基于高分辨率的图像帧和较低分辨率的图像帧形成。
考虑低分辨率图像帧的总和分辨率低于第一分辨率低的事实，形成基于整个阵列的阵列，适于以这样的分辨率表示合成图像帧，该分辨率对应于基于以第一分辨率表示图像帧的阵列的分辨率。在一种变形中，插值用于增加表示合成图像的分辨率。在另一种变形中，整个阵列进行空间频域转换，对以第一分辨率表示图像帧的阵列进行同样的转换。相应的空间频率成分相加。总和阵列的较高空间频率成分只是从以第一分辨率表示图像帧的所转换阵列获得。然后，总和阵列再转换成空间域。在2005年5月10日提交的PCT/EP05/52121、并且以编号WO_/__公开的国际专利申请更详细地描述该方法。
只是对以相当低分辨率表示各个图像帧的亮度值阵列的序列进行图3所示的方法的实施方式具有一定优点，其中至少合成图像的(背景)区域通过将从以第一较高分辨率表示图像帧的至少一个阵列求和形成。用于执行图3所示方法的处理容量减少。通过基于将合成图像与较高分辨率的图像帧组合形成的至少部分图像，捕获背景细节。
为了保证基于低分辨率图像帧的移动部分具有相当高的信噪比信号，优选使用通常称为“区域化”的方法。基于这种方法，通过获得对应于第一阵列的亮度值数值的分辨率获得第一亮度值阵列，并且将第一亮度值阵列转换成以较低分辨率表示图像帧的第二亮度值阵列，获得表示低分辨率图像帧的亮度值阵列，从而第二阵列中的亮度值基于第一阵列的亮度值总和。执行这种“区域化”的一种方法包括使用具有感光区域和像素单元的阵列的图像捕获设备。每个像素单元包括用于产生指示落入感光区域相关部分的光亮度的信号的设备。图像捕获设备还具有用于产生像素值阵列的读取电路，以设定空间分辨率捕获图像帧。每个像素值表示在至少一个像素单元中产生的一个或多个信号的积分，这些像素单元与曝光时间间隔上的许多区域之一相关。许多区域一起覆盖对应于图像区域的感光面的区域。图像捕获设备以每个像素值表示由像素单元中的至少两个装置产生的信号总和的积分的方式直接产生像素值阵列。
图6表示构成图3方法的基础原理的应用，以在亮度值末级阵列28表示的合成图像中达到不同效果。合成图像基于在第一步骤30中获得的亮度值阵列的初始序列29表示的图像帧序列。第一步骤对应于图3所示方法的第一步骤18。因此，亮度值阵列的初始序列可以通过上面针对步骤18概述的方法获得。特别地，包括对齐。
在第二步骤31中，从用户或基于默认值或用户设定计算的结果接收闪光级别的指示。随后(步骤32)，获得亮度值阵列的第二序列33，用于表示基本上的各个图像帧序列。其根据闪光级别减少初始序列29的阵列数来获得。除了图6所示的步骤30-32，上面图2说明的方法用于另一个实施方式。以任何比率，通过在从曝光开始的相关曝光周期曝光图像捕获设备的感光表面获得亮度值阵列的第二序列33，从而直接在序列的排列之前，在获得亮度值阵列开始和与亮度值阵列相关的曝光周期的结束之间形成定义的时间间隔。各个图像帧曝光不足，但是，由于建立时延，阵列的序列所覆盖的总时间跨度仍然很大。图6的方法的目的是从合成图像去除移动目标，这样保证移动的背景通过第二序列33中至少一些阵列表示。因此，闪光级别应该根据目标在场景中移动的速度、以及它们相对场景的大小来设定。在步骤32中需要将较小的快速移动的目标，较少阵列丢弃。
步骤34、35类似于图3中的步骤23、24，对每个像素位置(i，j)重复，随后进行彼此迭代的两个步骤36、37之一。如果确定任何像素值Pn(i，j)的任何像素位置(i，j)与其它像素值Pn(i，j)的偏离大于一定测量值，相应的末级亮度值Pfinal(i，j)只是源自至少一个其它亮度值的每一个的亮度值，该亮度值不偏离。例如，与平均值(i，j)的偏差大于亮度值Pn(i，j)序列的标准偏差的基体倍数可以提示执行两个可替代的步骤36、37的第一步骤36。在第一步骤36中，通过将分别基于不包含偏离像素值的第二序列33中阵列之一的多个亮度值阵列的每一个的亮度值求和，获得末级亮度值Pfinal(i，j)，其中优选地被加数的数值对应于非偏离像素值的数值。该总和用与第二序列的阵列数和相加形成末级亮度值Pfinal(i，j)的亮度值数值的比率成比例的系数加权。
对于任何像素位置(i，j)，如果没有与该位置相关的亮度值Pn(i，j)序列偏离平均值(i，j)大于一定测量值，执行另一步骤37。那么通过将基于第二序列33中所有阵列的各自一个的阵列序列的每一个的亮度值求和，获得相应的末级亮度值Pfinal(i，j)。此外，在这种情况下，它们不仅基于第二序列33的阵列，而且与第二序列33的阵列相同。
对于每个像素位置(i，j)，重复步骤34、35和步骤36、27之一，直到形成整个末级阵列28。如图3概述的方法，可以在亮度值的块，而不是单独的亮度值执行步骤34-37。
本发明不限于上述实施方式，其可以在附加的权利要求的范围内变化。例如，亮度值的总和可以在频域中执行。在那种情况下，对于末级阵列中的任何像素位置，如果在表示各个所获得的亮度值阵列的像素的空间域中的任何亮度值序列与序列中另一个的偏离大于一定测量值，或者在其它阵列中的非偏差强度值被偏差值代替。几个偏差值的平均值、几个偏差值中所选择的一个、或偏差亮度值被非偏差值之一或非偏差值的平均值代替。一旦已经分析了所有像素位置，进行调整的图像帧转到空间频域的转换。然后，执行返回到空间域的求和与转换。

Claims (15)

1.一种基于多个图像帧形成合成图像的方法，包括获得亮度值阵列的序列(22，33)，用于表示基本上描述相同场景的各个图像帧序列，
其中合成图像用亮度值阵列的末级阵列(27，28)表示，
其中末级阵列(27，28)中至少一些亮度值都是基于所获得的序列(22，33)中的各个阵列，对亮度值阵列序列的每一个的亮度值求和获得，
其特征在于，
对于末级阵列(27，28)中至少一个区域的任何一个，如果至少一个亮度值的组的序列的任何一个包含与序列的其它组的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择多个所获得的亮度值阵列的一个的部分，表示末级阵列(27，28)中的区域的亮度值都源自
(A)基于只是所选择的多个阵列的那些阵列的各自一个的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含具有偏差亮度值的组；以及
(B)基于只是所选择的多个阵列的那些阵列的各自一个的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含亮度值的其它组之一。
2.根据权利要求1所述的方法，其特征在于，获得亮度值阵列的序列(22，33)的步骤包括：
获得亮度值阵列的序列，每个可通过在从曝光的开始(t1，t3，t5)的相关曝光周期曝光图像捕获设备(5)的感光表面获得，从而直接在序列(22，33)排列之前，在用于获得亮度值阵列的曝光的开始(t3，t5)和与亮度值阵列相关的曝光周期的结束(t2，t4)之间形成定义时间间隔(Δt1，Δt2)。
3.根据权利要求2所述的方法，其特征在于，获得亮度值阵列的序列(22，33)的步骤包括：
获得亮度值阵列的第一序列(19，29)，每个阵列可通过在从曝光开始的相关曝光周期曝光图像捕获设备(5)的感光表面获得；
获得闪光级别的指示；以及
基于指示的闪光级别，通过减少阵列的第一序列(19，29)的阵列数，形成亮度值阵列的第二序列(22，33)。
4.根据权利要求1-3中的任一项所述的方法，其特征在于，对于在末级阵列(27，28)中的至少一个区域的任何一个，如果至少一个亮度值的组的序列的任何一个包含与序列其它组中的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得亮度值阵列之一的部分，末级阵列(27，28)中的区域的亮度值每一个都通过基于所选择的多个所获得的具有一系数的阵列的亮度值的总和加权导出，该系数与序列(22，33)中的组数和得到表示末级阵列中的区域的亮度值的组数的比率成比例。
5.根据权利要求1-4中的任一项所述的方法，其特征在于，获得亮度值阵列的序列(22，33)的步骤包括：
获得亮度值阵列的第一序列，用于表示基本上描述相同场景的各个图像帧；
选择至少一部分所描述的场景；
计算表示描述场景的图像帧中的部分的相对移动的移动矢量；以及
形成亮度值阵列的第二序列，用于表示根据计算的移动矢量对齐至少所选择的部分的各个图像帧。
6.根据权利要求1-5中的任一项所述的方法，其特征在于，对于末级阵列(27，28)中至少一个区域的任何一个，如果至少一个亮度值的组的序列没有包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得的亮度值阵列之一的部分，表示末级阵列(27，28)中的区域的亮度值每一个都是基于所获得序列(22，33)中阵列的各自一个，对亮度值阵列的序列的每一个的亮度值求和来获得。
7.根据权利要求1-6中的任一项所述的方法，其特征在于，对于末级阵列(27，28)中至少一个区域的任何一个，如果至少一个亮度值的组的序列的任何一个包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得的亮度值阵列之一的部分，如果其它组包括多个组，表示末级阵列(27，28)中的区域的亮度值都是通过将分别基于包含其它组之一的所获得阵列的多个亮度值阵列的每一个的亮度值求和来获得，其中，优选地，多个亮度值阵列的数值对应于其它组的数值。
8.根据权利要求1-7任一项所述的方法，其特征在于，获得亮度值阵列的序列的步骤包括获得至少一个亮度值阵列，用于表示对应于阵列中亮度值的数值的第一分辨率描述场景的图像帧，和获得另一组亮度值阵列，用于表示以对应于阵列中亮度值的数值，并且以低于第一分辨率的分辨率，基本上描述相同场景的各个图像帧，其中所选择的多个所获得的阵列选自另一个组。
9.根据权利要求8所述的方法，其特征在于，至少在另一组中的亮度值阵列之一通过获得亮度信号的值来获得，该亮度值信号用于以对应于亮度信号值的分辨率表示图像帧，和以阵列中的亮度值基于各个所获得亮度信号的总和的方式形成亮度值阵列。
10.根据权利要求8或9所述的方法，其特征在于，对于末级阵列中至少一个区域的任何一个，如果至少一个亮度值的组的序列没有包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得的亮度值阵列之一的部分，获得表示末级阵列中的区域的至少一些亮度值的步骤包括基于所获得序列(22，33)中阵列的各自一个，对亮度值的至少一个阵列的每一个的亮度值求和，用于基于所获得的亮度值阵列的各自一个，以第一分辨率和以至少一个亮度值阵列的亮度值表示图像帧。
11.一种用于处理亮度值阵列的序列(22，33)的系统，每个阵列适于表示基本上描述相同场景的一个图像帧序列，该系统设置为形成表示合成图像的亮度值末级阵列(27，28)，其中通过基于所获得序列(22，33)中的各自一个阵列，对亮度值阵列的各个序列的亮度值求和，该系统用于获得末级阵列(27，28)中的至少一些亮度值，其特征在于，对于末级阵列(27，28)中的至少一个区域的任何一个，该系统用于判断是否至少一个亮度值的组序列的任何一个包含与序列的其它组中的亮度值的偏离大于一定测量值的亮度值，其中每组表示区域并形成所选择的多个所获得的亮度值阵列之一的部分，基于这种判断，得到表示在末级阵列中的区域的每个亮度值，从
(A)基于只是所选择的多个阵列的那些阵列的各自一个的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含具有偏差亮度值的组，或
(B)基于只是所选择的多个阵列的那些阵列的各自一个的至少一个阵列的每一个的各个亮度值，所选择的多个阵列包含亮度值的其它组之一。
12.根据权利要求11所述的系统，其特征在于，设置为执行根据权利要求1-10中的任意一项的方法。
13.根据权利要求11或12所述的系统，其特征在于，设置为获得亮度值阵列的序列。
通过获得亮度值阵列的第一序列(19，29)，每个阵列通过在相关曝光周期曝光图像捕获设备(5)的感光表面可获得，
通过从用户获得闪光级别的指示，以及
通过基于指示的闪光级别，减少阵列的第一序列(19，29)中的阵列数，形成亮度值阵列的第二序列(22，33)，其中该系统包括用于获得闪光级别指示的装置，该装置包括用刻度标记的部分和用于指示刻度点的可调整元件。
14.一种成像设备，例如，数字照相机(1)，其特征在于，包括如权利要求11-13中的任一项所述的系统。
15.一种计算机程序，其特征在于，当结合机器可读介质时，包括能够产生具有信息处理能力以执行如权利要求1-10中的任一项所述方法的一组指令。
CN2005800520486A 2005-10-12 2005-10-12 基于多个图像帧形成合成图像的方法 Expired - Fee Related CN101305398B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2005/055188 WO2007042075A1 (en) 2005-10-12 2005-10-12 Method of forming a combined image based on a plurality of image frames

Publications (2)

Publication Number Publication Date
CN101305398A true CN101305398A (zh) 2008-11-12
CN101305398B CN101305398B (zh) 2013-03-27

Family

ID=36589272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800520486A Expired - Fee Related CN101305398B (zh) 2005-10-12 2005-10-12 基于多个图像帧形成合成图像的方法

Country Status (6)

Country Link
US (1) US8150209B2 (zh)
EP (1) EP1934938A1 (zh)
JP (1) JP2009512038A (zh)
KR (1) KR101348262B1 (zh)
CN (1) CN101305398B (zh)
WO (1) WO2007042075A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888689A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN104346427A (zh) * 2013-07-29 2015-02-11 三星电子株式会社 用于分析包括事件信息的图像的设备和方法
CN104361572A (zh) * 2014-11-27 2015-02-18 百度在线网络技术（北京）有限公司 图片处理方法和装置
CN105991979A (zh) * 2014-12-17 2016-10-05 由田新技股份有限公司 图像数据产生方法及装置
CN107710276A (zh) * 2015-09-30 2018-02-16 高途乐公司 基于空间上协同定位的区域的组合图像的统一图像处理
CN110933288A (zh) * 2018-09-19 2020-03-27 聚晶半导体股份有限公司 图像产生方法与电子装置
WO2020062749A1 (zh) * 2018-09-30 2020-04-02 北京微播视界科技有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007042074A1 (en) * 2005-10-12 2007-04-19 Active Optics Pty Limited Method of forming an image based on a plurality of image frames, image processing system and digital camera
US7872593B1 (en) * 2006-04-28 2011-01-18 At&T Intellectual Property Ii, L.P. System and method for collecting image data
JP5181948B2 (ja) * 2008-09-09 2013-04-10 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US9014490B2 (en) * 2011-02-15 2015-04-21 Sony Corporation Method to measure local image similarity and its application in image processing
CN103620642B (zh) * 2011-06-28 2015-03-11 乐天株式会社 商品图像处理装置、商品图像处理方法、信息记录介质、以及程序
KR20190063803A (ko) 2017-11-30 2019-06-10 (주)이앤비소프트 오브젝트 이미지 합성 방법 및 장치
CN108717701B (zh) 2018-05-24 2021-03-02 北京乐蜜科技有限责任公司 一种制作影片残影特效的方法、装置、电子设备及介质
KR102252110B1 (ko) 2019-08-07 2021-05-17 한국과학기술연구원 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
RU2718211C1 (ru) * 2019-12-13 2020-03-31 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство объединения инфракрасных изображений

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180259A (ja) * 2002-09-30 2004-06-24 Toshiba Corp 画像合成方法、画像合成装置、画像合成プログラム
JP2005136679A (ja) * 2003-10-30 2005-05-26 Seiko Epson Corp 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091972A (en) * 1990-09-17 1992-02-25 Eastman Kodak Company System and method for reducing digital image noise
JP3346481B2 (ja) * 1992-04-06 2002-11-18 日本電信電話株式会社 動画入力装置
JPH06121192A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JPH10334212A (ja) * 1997-04-01 1998-12-18 Fuji Photo Film Co Ltd 付加情報付き画像ファイルからの画像プリントシステム
US5960108A (en) * 1997-06-12 1999-09-28 Apple Computer, Inc. Method and system for creating an image-based virtual reality environment utilizing a fisheye lens
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
JP4511750B2 (ja) * 2001-02-27 2010-07-28 三菱重工業株式会社 車両監視システム
JP2002262059A (ja) * 2001-03-02 2002-09-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003189174A (ja) * 2001-12-20 2003-07-04 Acutelogic Corp 撮影装置及び撮影方法
JP2004194106A (ja) * 2002-12-12 2004-07-08 Canon Inc 撮像装置
JP2004272751A (ja) * 2003-03-11 2004-09-30 Seiko Epson Corp 複数のフレーム画像からの静止画像の生成
US7388603B2 (en) * 2003-06-10 2008-06-17 Raytheon Company Method and imaging system with intelligent frame integration
JP3926316B2 (ja) * 2003-10-31 2007-06-06 松下電器産業株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180259A (ja) * 2002-09-30 2004-06-24 Toshiba Corp 画像合成方法、画像合成装置、画像合成プログラム
JP2005136679A (ja) * 2003-10-30 2005-05-26 Seiko Epson Corp 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346427B (zh) * 2013-07-29 2019-08-30 三星电子株式会社 用于分析包括事件信息的图像的设备和方法
CN104346427A (zh) * 2013-07-29 2015-02-11 三星电子株式会社 用于分析包括事件信息的图像的设备和方法
CN103888689B (zh) * 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN103888689A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN104361572B (zh) * 2014-11-27 2017-12-29 百度在线网络技术（北京）有限公司 图片处理方法和装置
CN104361572A (zh) * 2014-11-27 2015-02-18 百度在线网络技术（北京）有限公司 图片处理方法和装置
CN105991979B (zh) * 2014-12-17 2018-02-02 由田新技股份有限公司 图像数据产生方法及装置
CN105991979A (zh) * 2014-12-17 2016-10-05 由田新技股份有限公司 图像数据产生方法及装置
CN107710276B (zh) * 2015-09-30 2022-05-13 高途乐公司 用于图像处理的方法、系统和非暂态计算机可读介质
CN107710276A (zh) * 2015-09-30 2018-02-16 高途乐公司 基于空间上协同定位的区域的组合图像的统一图像处理
CN110933288A (zh) * 2018-09-19 2020-03-27 聚晶半导体股份有限公司 图像产生方法与电子装置
CN110933288B (zh) * 2018-09-19 2021-05-18 聚晶半导体股份有限公司 图像产生方法与电子装置
CN110971833A (zh) * 2018-09-30 2020-04-07 北京微播视界科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110971833B (zh) * 2018-09-30 2021-05-14 北京微播视界科技有限公司 一种图像处理方法、装置、电子设备及存储介质
US11258954B2 (en) 2018-09-30 2022-02-22 Beijing Microlive Vision Technology Co., Ltd. Image processing method and apparatus, and electronic device and storage medium
WO2020062749A1 (zh) * 2018-09-30 2020-04-02 北京微播视界科技有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US8150209B2 (en) 2012-04-03
KR101348262B1 (ko) 2014-01-08
CN101305398B (zh) 2013-03-27
JP2009512038A (ja) 2009-03-19
EP1934938A1 (en) 2008-06-25
US20090220172A1 (en) 2009-09-03
WO2007042075A1 (en) 2007-04-19
KR20080072647A (ko) 2008-08-06

Similar Documents

Publication Publication Date Title
CN101305398A (zh) 基于多个图像帧形成合成图像的方法
US10666873B2 (en) Exposure-related intensity transformation
CN101305397B (zh) 基于多个图像帧形成图像的方法，图像处理系统和数字照相机
US9305375B2 (en) High-quality post-rendering depth blur
CN101605208B (zh) 图像处理设备、成像设备及图像处理方法
JP4593449B2 (ja) 検知装置及びエネルギー場の検知方法
EP1924966B1 (en) Adaptive exposure control
Onzon et al. Neural auto-exposure for high-dynamic range object detection
US8582814B2 (en) Image processing method and system
JP2001008032A5 (zh)
CN105007430B (zh) 用于确定曝光设置的方法和装置
US7227991B2 (en) Method for improving the quality of a digital image
JP2018152095A (ja) 画像処理装置、撮像装置及び画像処理プログラム
WO2005122084A1 (en) Method of motion correction in sequence of images
WO2023084484A1 (en) Dynamic vision sensor color camera
CN1180437A (zh) 使用数字景象分析实行图像的亮度调节
JP2019008830A (ja) 被写体検出装置、撮像装置及びプログラム
JP2018141991A (ja) 被写体検出装置
JP2001054126A (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
Wu et al. A novel multiple cues based image fusing algorithm for high dynamic range image generation
JP2015148904A (ja) 被写体検出装置、撮像装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: YINGUAN INVESTMENT HOLDINGS CO., LTD.

Free format text: FORMER OWNER: ACTIVE OPTICS LTD.

Effective date: 20130226

C14 Grant of patent or utility model
C41 Transfer of patent application or patent right or utility model
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20130226

Address after: Virgin Islands of Tortola

Applicant after: Active Optics Ltd.

Address before: New South Wales, Australia

Applicant before: Active Optics Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20141012

EXPY Termination of patent right or utility model