JP2009512038A - 複数の画像フレームに基づいて結合画像を生成する方法 - Google Patents

複数の画像フレームに基づいて結合画像を生成する方法 Download PDF

Info

Publication number
JP2009512038A
JP2009512038A JP2008534876A JP2008534876A JP2009512038A JP 2009512038 A JP2009512038 A JP 2009512038A JP 2008534876 A JP2008534876 A JP 2008534876A JP 2008534876 A JP2008534876 A JP 2008534876A JP 2009512038 A JP2009512038 A JP 2009512038A
Authority
JP
Japan
Prior art keywords
light intensity
intensity values
array
sequence
arrays
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008534876A
Other languages
English (en)
Inventor
オーガスティン ワジス，アンドリュー
Original Assignee
アクティブ オプティクス ピーティーワイ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクティブ オプティクス ピーティーワイ リミテッド filed Critical アクティブ オプティクス ピーティーワイ リミテッド
Publication of JP2009512038A publication Critical patent/JP2009512038A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Abstract

【課題】好適な信号対ノイズ比で、情景中の動いている対象物の表示が修正された結合画像の生成を可能とする方法、システム、撮像装置、及びコンピュータプログラムを提供すること。
【解決手段】複数の画像フレームに基づいて結合画像を生成する方法は、実質的に同一の情景を描写する画像フレームのシーケンスのそれぞれを表す光強度値の配列のシーケンス（２２、３３）を取得することを含む。結合画像は、光強度値の最終配列（２７、２８）によって表される。最終配列（２７、２８）中の光強度値のいくつかは、それぞれ、取得したシーケンス（２２、３３）中の配列のそれぞれに基づいて、光強度値の配列のシーケンスのそれぞれの光強度値を合算することによって取得することができる。最終配列（２７、２８）中の少なくとも一つの領域のいずれかについて、少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含む場合であって、各セットが、当該領域を表し、光強度値の選択した複数の取得した配列のうちの一つの一部を形成する場合、最終配列（２７、２８）中の当該領域を表す光強度値は、それぞれ、（Ａ）異なる光強度値のセットを含む選択された複数の配列のそれぞれのみに基づいて、一以上の配列からのそれぞれの光強度値、または、（Ｂ）光強度値の他のセットの一つを含む選択された複数の配列のそれぞれのみに基づいて、一以上の配列からのそれぞれの光強度値から算出される。
【選択図】図３

Description

本発明は、複数の画像フレームに基づいて結合画像を生成する方法であって、実質的に同一の情景を描写する画像フレームのシーケンス（sequence）のそれぞれを表すための光強度値の配列のシーケンスを取得することを含む方法に関する。ここで、結合画像は、光強度値の最終配列によって表され、最終配列中の光強度値の少なくともいくつかは、それぞれ、取得したシーケンス中の配列のそれぞれに基づいて、光強度値の配列のシーケンスのそれぞれから光強度値を合計することによって得られるものである。
本発明は、また、光強度値の配列のシーケンスを処理するシステムに関し、各配列は、実質的に同一の情景を描写する複数の画像フレームのシーケンスの一つを表すのに適しており、当該システムは、結合画像を表す光強度値の最終配列を生成する。当該システムは、また、得られたシーケンス中の配列のそれぞれに基づいて、光強度値の配列のシーケンスのそれぞれから、光強度値を合計することにより、最終的な配列中の光強度値の少なくともいくつかを取得する。
本発明は、さらに、デジタルカメラ等の撮像装置に関する。
本発明は、さらにまた、コンピュータプログラムに関する。
かかる方法、装置、及びコンピュータプログラムの一例は、特許文献１に開示されている。画像スタック（stack）が、かかるシステムに入力される。画像スタックは、静止カメラまたはビデオカメラ等によって取得された同様のサイズの記録画像（例えば、各画像の同一のピクセルが、より多くまたはより少なく同一の対象物を表す）のセットである。３次元のピクセルセットにおいては、Ｘ方向及びＹ方向が、単一の画像の座標を表す。Ｚ（または時間）方向は、スタック中にどの画像があるか（または、ビデオ中の時間においてどの点か）を表す。ユーザは、一または複数のフィルタリングを画像スタックに対して行い、一または複数の、中間画像と呼ばれる新たな画像を生成する。ユーザは、次に元の画像の一つ、または、中間画像を選択し、どのピクセルから新たな結果画像中で合成されるか、または、ペイントされるかの元となるソース画像として用いる。テンポラルスムース（TemporalSmooth）フィルタによれば、現在のスライスまたは現在のスライスの前後のスライスの加重ブレンドを得ることができる。メジアン（Median）フィルタは、一または数個の画像中のみに表れる対象を除去すること、ビデオ中の画像を物体が横切る等の一時的な出来事を除去すること、及び、一時的なノイズを除去するのに役立つ。最大ヒストグラム（Maximum Histogram）フィルタによれば、対応するスパン（span）中の他のピクセルに最も近似のピクセルをスパンから得ることができる。このフィルタは、また、一または数個の画像中のみに表れる対象物を除去することに役立つ。
最大ヒストグラムフィルタ及びメジアンフィルタの欠点は、スパンから単一のピクセル値しか得られない点であり、これは、ノイズが多少維持されたままであることを意味する。メジアンまたは最大ヒストグラムフィルタの結果に、テンポラルスムースフィルタをかけることはできない。これは、それらの結果物が単一の画像だからである。
本発明の目的は、好適な信号対ノイズ比で、情景中の動いている対象物の表示が修正された結合画像の生成を可能とする、上述したタイプの方法、システム、撮像装置、及びコンピュータプログラムを提供することである。
本発明の目的は、本発明に係る方法によって達成され、ここで、当該方法によれば、最終配列中の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンスの他のセット中の光強度値から所定の大きさ以上異なる光強度値を含む場合であって、各セットが前記領域を表し、光強度値の選択された複数の取得された配列のうちの一つの一部を形成する場合、前記最終配列中の当該領域を表す光強度値は、それぞれ、（Ａ）異なる光強度値のセットを含む選択された複数の配列のそれぞれのみに基づいて、少なくとも一つの配列のそれぞれからのそれぞれの光強度値から算出され、または、（Ｂ）光強度値の他のセットのうちの一つを含む選択された複数の配列のそれぞれのみに基づいて、少なくとも一つの配列のそれぞれからのそれぞれの光強度値から算出される、ことを特徴とする。
当該領域は、単一の光強度値によって表される単一のピクセルのみから構成されてもよい。
最終配列中の光強度値の少なくともいくつかは、それぞれ、シーケンス中の配列のそれぞれに基づいて、光強度値の配列の当該シーケンスのそれぞれからの光強度値を合計することによって取得されるので、信号対ノイズ比が、それらの光強度値によって表される最終画像の少なくとも一部において増加する。所定の大きさ以上光強度値が異なることが、光強度値のセットを二つのグループに分割することに利用され、最終領域中の当該領域の対応する表示がそれら二つのグループからの光強度値のみに基づくので、ノイズによる範囲外にある値が情景中で動いている物体としてみなされないようにすることが可能となる。変形例（Ａ）においては、最終配列中の領域を表す光強度値が、それぞれ、異なる光強度値を含むセットを含む取得された配列のみに基づいて、少なくとも一つの配列のそれぞれからの光強度値から算出される。動いている物体がより明確に見えるので、情景中の当該領域の表示が改善される。背景に対応する光強度値は、放棄（discard）される。変形例（Ｂ）においては、最終配列中の領域を表す光強度値は、それぞれ、光強度値の他のセットのうちの一つを含む取得された配列のみに基づいて、少なくとも一つの配列のそれぞれからの光強度値のそれぞれから算出される。動いている物体は、結合画像からフィルタリングされる。
従来技術と比較した他の利点としては、当該方法が、露光不足またはノイズを含む画像フレームに基づいて実行される点である。これは、最終配列中の少なくともいくつかの光強度値が、それぞれ、画像フレームを表す配列のそれぞれに基づいて、光強度値の配列のシーケンスのそれぞれからの光強度値を合計することによって取得されるからである。
一の実施形態においては、光強度値の配列のシーケンスを取得するステップは、光強度値の配列のシーケンスを取得することを含み、各光強度値は、画像取得装置の感光性領域を、露光の開始から、関連した露光期間露光することにより取得することができ、所定の時間インターバルが、光強度値の配列を取得するための露光の開始と、シーケンス中の配列に先行する光強度値の配列に関連した露光期間の終わりとの間に設定されている。
最終配列中の少なくとも一つの領域について、取得した画像フレームのそれぞれ中の領域を表す少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含む場合、最終配列中の当該領域を表す光強度値は、それぞれ、（Ａ）異なる光強度値を含むセットを含む取得された配列のうちのそれぞれのみに基づいて、一以上の配列のそれぞれからの光強度値のそれぞれから算出される。これのよる効果は、ストロボスコープな結合画像を取得することである。動いている物体のシャープな画像のシーケンスが、単一の結合画像中で取得される。光強度値の他のセットを含む配列は、動いている物体を示す領域中の光強度値を算出するのに用いられないので、動いている物体は、より明瞭に描写される。
最終配列中の少なくとも一つの領域について、取得した画像フレームのそれぞれ中の領域を表す少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含む場合、最終配列中の当該領域を表す光強度値は、それぞれ、（Ｂ）光強度値の他のセットのうちの一つを含む選択された複数の配列のみに基づいて、一以上の配列のそれぞれからの光強度値のそれぞれから算出される。動いている物体は、除去される。所定の時間インターバルが、光強度値の配列を取得するための露光の開始と、シーケンス中の配列に先行する光強度値の配列に関連した露光期間の終わりとの間に設定されていることにより、長いトータル時間インターバルにおいて取得された光強度値の配列のシーケンスが、結合画像の基となる。これにより、画像フレームのいくつかにおける動いている物体によって不明瞭となっている背景を表す画像フレームの数が、十分になる。
一の実施形態において、光強度値の配列のシーケンスを取得するステップは、
光強度値の配列の第一のシーケンスを取得し、各配列は、露光の開始から、関連した露光期間画像取得装置の感光性領域を露光することによって取得することができ、ストロボレベルを取得し、
前記ストロボレベルに従って、配列の第一のシーケンスの配列の数を減少することにより、光強度値の配列の第二のシーケンスを生成することを含む。
これによる効果は、光強度値の取得した配列のシーケンスまたは光強度値の取得した配列のシーケンスのうちのそれぞれから算出した光強度値の後工程の間ストロボ効果を得ることができることである。また、ストロボ効果は、ストロボレベルによって調節可能である。
一の実施形態において、最終配列中の少なくとも一つの領域において、少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンス中の他のセット中の光強度値から所定の大きさ以上異なる光強度値を含む場合であって、各セットが、前記領域を表し、光強度値の取得された配列のうちのひとつの一部を形成する場合、前記最終配列中の当該領域を表す光強度値は、それぞれ、選択された複数の取得された配列のシーケンスに基づいて、光強度値の合計を、シーケンス中のセットの数と、最終配列中の当該領域を示す光強度値が算出されるセットの数との比率に比例する係数で加重することにより算出される。
従って、最終配列中の領域について、取得した画像のそれぞれ中の当該領域を表す少なくとも一つの光強度値のセットのシーケンスのいずれもが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含まない場合、最終配列中の当該領域を表す光強度値は、取得した配列の数に対応する光強度値の数を合計することによって算出できる。取得した画像フレームのそれぞれにおける当該領域を表す少なくとも一つの光強度値のセットのシーケンスのいずれかが、残りの光強度値から所定の大きさ以上ことならない光強度値を含む、最終画像中の領域については、光強度値の少ない数に基づいて取得される。加重により、それらが結合画像の残りの部分よりも弱くなることが防止される。
一の実施形態において、光強度値の配列のシーケンスを取得するステップは、
実質的に同一の情景を描写する画像フレームのそれぞれを表す光強度値の配列の第一のシーケンスを取得し、
前記描写された情景の少なくとも一部を選択し、
前記情景を描写する画像フレーム中の前記部分の相対的な動きを表す動きベクトルを算出し、
前記算出した動きベクトルに従って、少なくとも前記選択した部分が位置合わせされている画像フレームのそれぞれを表す光強度値の配列の第二のシーケンスを生成することを含む。
この場合の実施形態によれば、情景中の選択された部分を横切る対象物がより明瞭に特定される。連続する画像フレーム間での、情景の選択された部分の観察者に対する動きの効果が、少なくとも選択された部分を位置合わせすることにより除去される。これに続く、異なっている値の検出処理が、より正確となる。
一の実施形態において、最終配列中の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれもが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含まない場合であって、各セットが、前記領域を表し、光強度値の選択された複数の取得された配列の一部を形成する場合、最終配列中の前記領域を表す光強度値は、それぞれ、取得したシーケンス中の配列のそれぞれに基づいて、光強度値の配列のシーケンスのそれぞれからの光強度値を合算することによって取得される。
光強度値を合計することにより、特に光強度値の配列が画像取得装置によって出力された信号の値を読み出すことによって得られた値に基づく場合に、信号対ノイズ比を増加させることができる。最終配列中の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれもが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含まない場合であって、各セットが、前記領域を表し、光強度値の選択された複数の取得された配列の一部を形成する場合に、取得したシーケンス中の配列のそれぞれに基づいて光強度値の配列のシーケンスのそれぞれからの光強度値を合計することにより、最終配列中の可能な限り多くの光強度値が、合算により形成される。従って、結合画像の全体的な信号対ノイズ比が、最大限まで向上する。
一の実施形態において、最終配列中の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含む場合であって、各セットが、前記領域を表し、光強度値の選択された複数の取得された配列のうちの一つの一部を形成し、他のセットが複数のセットから構成される場合、前記最終配列中の前記領域を表す光強度値は、それぞれ、前記他のセットを含む取得された配列のそれぞれに基づいて、好ましくは、他のセットの数に対応する光強度値の複数の配列の数に基づいて、光強度値の複数の配列のそれぞれからの光強度値を合算することによって取得される。
この場合の実施の形態によれば、画像の一部が動いていたとしても、信号対ノイズ比が増加する。動いている部分は除去され、比較的高い信号対ノイズ比で、背景が結合画像中に含まれることとなる。
一の実施形態において、光強度値の配列のシーケンスを取得するステップは、配列中の光強度値の数に対応する第一の解像度で情景を描写する画像フレームを表す光強度値の少なくとも一つの配列を取得し、配列中の光強度値の数に対応し、かつ、前記第一の解像度よりも低い解像度で、実質的に同一の情景を描写する画像フレームのそれぞれを表す光強度値の配列のさらなるグループを取得することを含み、選択された複数の取得された配列は、前記さらなるグループから選択される。
この場合の効果は、動いている物体の対象物の表示が、少数の光強度値を含む配列を用いて検出及び修正されることである。これにより、結合画像を生成するのに必要なプロセスの量が低減される。高い解像度の画像の情報が、結合画像を表す最終配列中に取り込まれる。最終配列中の光強度値の少なくともいくつかは、それぞれ、取得したシーケンス中の配列のシーケンスのそれぞれに基づいて、光強度値の配列のシーケンスのそれぞれからの光強度値を合計することによって取得される。取得したシーケンスは、第一の、比較的高い解像度での画像フレームを表す少なくとも一つの配列を含んでいる。
この場合の他の変形例においては、前記さらなるグループ中の光強度値の少なくとも一つの配列は、光強度値の数に対応する解像度での画像フレームを表す光強度信号の数を取得し、配列中の光強度値が、取得された光強度信号の合計のそれぞれに基づくように、光強度値の配列を生成する、ことにより取得される。
これによる効果は、動いている対象物が描写された、あるいは、除去された結合画像の一部の信号対ノイズ比が増加することである。これは、バインニングとも呼ばれる合算が、低い解像度の画像フレームの信号対ノイズ比を増加させるためである。
この場合のさらに他の変形例においては、最終配列の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれもが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含まない場合であって、各セットが、前記領域を表し、光強度値の配列の複数のさらなるグループのうちの一つの一部を形成する場合、前記最終配列の前記領域を表す光強度値の少なくともいくつかを取得するステップは、第一の解像度で画像フレームを表す光強度値の取得した配列のそれぞれに基づいた、光強度値の少なくとも一つの配列のそれぞれからの光強度値を合算し、及び、光強度値の取得した配列のそれぞれに基づいた、光強度値の少なくとも一つの配列からの光強度値を合算することを含む。
従って、低い解像度の画像フレームを表す配列に対して動いている対象物の検出が行われた場合であっても、結合画像の背景は、高い解像度の画像フレームを表す配列に基づいて形成される。
本発明の他の観点によれば、光強度値の配列のシーケンスを処理するシステムは、最終配列中の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含み、各セットが、前記領域を表し、光強度値の選択された複数の取得した配列のうちの一つの一部を形成すると判別した場合、前記最終配列中の前記領域を表す光強度値のそれぞれを、
（Ａ）異なる値を含むと判別されたセットを含む選択された複数の配列のそれぞれのみに基づいて、少なくとも一つの配列のそれぞれからの光強度値から算出し、または、
（Ｂ）光強度値の他のセットのうちの一つを含む選択された複数の配列のいずれかのみに基づいて、少なくとも一つの配列のそれぞれからの光強度値から算出する、ことを特徴とする。
したがって、当該システムは、実質的に同一の情景を描写する複数の画像フレームに基づいて、結合画像を提供する。ここで、情景を横切る動いている対象物が描写されていた場合、その対象物は、（Ａ）背景を除去することによって強調され、または、（Ｂ）背景をより明確にするために除去される。結合画像は、全体として、比較的良い信号対ノイズ比を有し、動いている対象物が横切った部分を、比較的少ないぼやけで描写することができる。
好ましくは、前記システムは、本発明に係る方法を実施するように構成されている。
一の実施形態においては、当該システムは、光強度値の配列のシーケンスを、
光強度値の配列の第一のシーケンスを取得し、各配列は、関連する露光期間画像取得装置（５）の感光性領域を露光することによって取得可能であり、
ユーザからストロボレベルを取得し、
取得したストロボレベルに従って、配列の第一のシーケンス中の配列の数を減らして光強度値の配列の第二のシーケンスを生成することによって取得し、
ストロボレベルを取得するための装置を備え、当該装置は、目盛りとともにマーキングされた部分と、目盛り上の点を示すことができる調節可能な部位とを含む。
この実施形態は、特にデジタルカメラ等の家庭電気製品に適用すると好適である。結合画像を生成するための露光の間の遅延が示すことが容易となる。当該装置は、また、グラフィカルユーザインターフェイス中のグラフィカルな要素によって具現される。
本発明の他の観点によれば、本発明に係るシステムを含むデジタルカメラ等の撮像装置が提供される。
本発明のさらに他の観点によれば、コンピュータが読み取り可能な媒体に記憶され、情報処理能力を備えたコンピュータに、本発明に係る方法を実行させるための一組の指示のセットを含むコンピュータプログラムが提供される。
本発明によれば、好適な信号対ノイズ比で、情景中の動いている対象物の表示が修正された結合画像の生成を可能とする方法、システム、撮像装置、及びコンピュータプログラムが提供される。
図１は、後述する方法を実行するためのシステムを構成する装置の一例であるデジタルカメラ１のいくつかの構成要素を示す。他の好適な装置の例としては、スキャナ、コピー機、及びそれらの装置を用いて取得した画像ファイルを処理するようにプログラミングされた汎用のコンピュータが挙げられる。以下では、結合画像を生成する方法をデジタルカメラ１に適用した場合について説明する。
デジタルカメラ１は、結合画像によって描写される情景中の一以上の対象物をフォーカスするレンズ系２を含む。シャッター３を開くと、情景がダイアフラム４の絞りを介して画像取得装置５の感光性領域上に投影される。シャッター３の代わりに、画像取得装置５による適切な制御によって具現される電子シャッターを用いてもよい。シャッター時間は、絞りの径によって制御可能である。画像取得装置５は、例えば、CMOS（Complementary Metal-Oxide Semiconductor）技術、または、CCD（Charge-Coupled Device）により具現される。
画像取得装置５の感光性領域は、ピクセルセルによって占められた複数の領域に分割されている。各ピクセルセルは、そのピクセルセルが占める領域に照射された光の強度を示す信号を生成する装置を備える。露光の間に、装置によって生成された信号の積分（integral）が、例えば、キャパシタの光電流を蓄積することにより生成される。露光時間インターバルの間の露光に続いて、生成された信号の積分が、列毎に読み取られる。
読み取られた（アナログの）値は、A/D（Analogue-to-Digital）コンバータ６に供給される。A/Dコンバータは、画像取得装置５から受信した信号をサンプリングして量子化する。この処理は、離散準位（discrete level）で光強度の値を記録することを含み、その数は、A/Dコンバータ６から出力されるデジタルワードの解像度のビット数によって決定される。従って、A/Dコンバータ６は、第一の範囲を占める尺度（scale）上に記録された光強度の配列を出力する。各光強度値は、感光性セルまたは複数の隣接する感光性セルに対応する画像フレームにおける特定のピクセル位置に関連する。後者の場合には、画像取得装置５から読み出された値は、好適には、複数の隣接する感光性セルに対応する値を「バインニング」（binning）することによって取得される。バインド（binned）値に対応する領域は、重複する場合がある。
画像取得装置５のそれぞれの露光により、画像フレームを表す光強度値の配列が得られる。下記に詳細に説明するように、一以上の配列の光強度値は、デジタル信号プロセッサ（DSP）７により、第二の範囲を占める異なる尺度でマッピングされる。特定の実施形態においては、DSP７は、ピクセル値の間を補完すること及び任意に画像を圧縮すること等の処理を行うのに適している。DSP７は、さらに、光強度値を、例えばDCT（Direct Cosine Transform）等の空間周波数領域に変換することに用いられる。
光強度値の配列は、記憶装置８に記憶される。記憶装置８は、内蔵フラッシュメモリ、取り外し可能なフラッシュメモリモジュール、光ディスクドライブ、あるいは磁気ディスクドライブ等の一般的なタイプの記憶装置から構成される。
画像の取得及び処理が、バス１０上でコマンドを生成するマイクロプロセッサ９の制御下で行われる。図示する実施形態では、コプロセッサ１１が、マイクロプロセッサ９を補助している。コプロセッサ１１は、好適には、JPEG規格等に従って画像を圧縮するデジタル信号プロセッサである。マイクロプロセッサ９は、揮発性メモリを含み、ROM（Read-Only Memory）モジュールに記憶された指示にアクセスする。これらの指示により、デジタルカメラ１は、複数の取得された画像フレームを加えることによって結合画像を生成する方法を実行する能力を備えることができ、また、この方法は、マイクロプロセッサ９の制御下で実行される。
バス１０に接続されたその他の構成要素としては、ユーザコマンドを受け付ける入力インターフェイスモジュール１３と、ステータス情報を出力するための出力インターフェイスモジュール１４とを含む。図示する実施形態では、デジタルカメラ１の動きを検出するための動きセンサ１５が設けられている。他の実施形態では、急速に連続して取得した一連の画像フレームが分析され、デジタルカメラ１の動きの量及び／または方向が判別される。加えて、デジタルカメラ１は、さらに露光計測装置１６と、図示しないフラッシュ動作のためのフラッシュ装置１７とを備える。
使用時に、ユーザは、情景の単一の画像を生成するためのコマンドを発行し、このコマンドは、入力インターフェイスモジュール１３及びバス１０を介してマイクロプロセッサ９に与えられる。これに応じて、マイクロプロセッサ９は、複数の露光不足（underexposed）な画像フレームまたは高いISO設定の画像フレームを取得するようにデジタルカメラ１を制御する。ISO設定が高いということは、国際規格ISO５８００：１８９７に応じた直線フィルムスピード基準に従って測定される画像取得装置５の感度が高レベルに設定されている、ということを意味する。取得した画像は、それぞれ、少なくとも部分的に重複するそれぞれの情景を描写する。各画像フレーム、特に、画像フレームの各色成分は、ピクセル値の配列によって表される。各ピクセル値は、ピクセルに関連した領域上の関連する色成分の光強度に対応する。ピクセルに関連した各領域が、画像取得装置５の領域の一定な部分に対応するとすれば、配列中に含まれる光強度値の数は、画像フレームの空間分解能に対応する。これは、また、配列中により多くの値を含むことが、高次の係数が存在することに対応するので、光強度値が、空間周波数領域における係数となる場合である。
それぞれが露光不足の画像フレームのシーケンスを得るため、マイクロプロセッサ９は、複数の画像フレームに基づいて生成される最終的な画像における望ましい露光を判別する。この露光は、画像フレーム毎に異なる。望ましい露光は、露光計測装置１６から取得された一以上の値に基づいて、ユーザによる入力または自動的に判別される。各画像フレームの露光レベルは、ダイアフラム４、シャッタースピード及びフラッシュ強度の設定によるものである。加えて、マイクロプロセッサ９は、画像取得装置から読み出された信号の増幅レベルを判別する。これらは、画像フレームを表す配列中の光強度値がどの範囲にあるかを定める。光強度を示すビット数により、光強度値のダイナミックレンジが求められる。例えば、光強度値が８ビットで表される場合、ゼロでない可能性のある値が２５５個存在する。画像フレームを露光不足にする代わりに、画像取得装置５の直線スケールISO設定（ASA数としても知られている）を露光不足係数と同じ係数だけ高めてもよい。これにより、各フレームにおいて、後述する結合プロセスで低下するノイズレベルが高められる。
図２は、画像取得装置において、一のピクセルセルに降り注ぐ累積した光を示す信号が、本発明の実施形態に従ってどのように見えるのかを示す図である。複数の隣接セルからの値が平均化すると、図２に示す信号は、隣接するピクセルセルのグループによって定められるピクセルのピクセル値を示す。
ピクセルを定める感光性領域は、最初に、第一の露光期間T1における時間t1から時間t2の間露光される。第一の露光期間T1の最後に読み取られた値は、画像フレームを描写する光強度値の第一の配列中のピクセルの光強度値である。なお、ここでの説明は、カラーフィルタが隣接するピクセルセルに用いられ、ピクセルのいくつかの色成分が同時に取得されることを前提としている。他の実施形態においては、色成分は連続して取得され、T1は第一の露光期間の３分の１の期間と実質的に等しい。
光強度値の第二の配列に含まれることとなる光強度値を生成するため、画像取得装置５が、時間t3から時間t4の間の第二の露光期間T2の間露光される。時間インターバルDt1が、第二の露光期間T2の最初t3と、第一の露光期間T1の終りt2との間に設定される。同様に、時間インターバルDt2は、第三の露光期間T3の最初の時間t5と、第二の露光時間T2の終りとの間に設定される。時間インターバルDt1、Dt2は、ROMモジュール１２内に予めプログラミングされていたり、入力インターフェイスモジュール１３を介して入力されたり、あるいは、入力インターフェイスモジュール１３を介して供給された入力データに基づいてマイクロプロセッサ９によって算出されたりする。時間インターバルDt1、Dt2は、等しくなくてもよい。
図示する実施形態では、第一から第三の露光期間T1からT3は、異なる期間である。このようにして、最大強度を増加させる光強度値の配列のシーケンスが取得される。従って、それぞれが対応する画像フレームを表す光強度値の配列のシーケンスが取得され、各配列のピクセル値は、増加する絶対最大値とともに、離散値の尺度のシーケンスのうちの一つに横たわる。尺度は、連続する画像フレームのシーケンス中の少なくとも一つの画像フレームの連続するセットのそれぞれに適応可能である。この例では、各尺度が適応可能なセットは、一の画像フレームを含む。代替変形例においては、それぞれの尺度の絶対最大値は減少する。この実施の形態では、露光時間は、連続する露光のそれぞれとともに実質的に等しく増加する。これにより、比較的良好な色彩及び色調深さ（tonal depth）の結合画像を得ることができる。また、露光期間T1からT3を、ランダムに異なるように設定してもよい。
取得した画像フレームのシーケンスにおける一の画像フレームから次の画像フレームへと露光レベルを段階的に変更する様々な方法が、国際特許出願PCT/EP04/51080号に開示されている。その内容を参照として本明細書に取り込む。露光レベルは、露光時間、絞り、（フラッシュの）光の強度、A/D変換前の増幅度ゲイン、及び、A/Dコンバータ６のA/D変換の閾値により決定される。連続する露光においてそれらの設定を変更することにより、露光レベルを段階的に変更することができる。
一の具体的な変形例においては、ダイアフラム４の絞りの大きさと光を照らした状態とは、露光間で実質的に一定に保たれる。図２にそのような変形例を例示する。露光の回数は、安定した画像を取得するのに必要な時間に依拠する。その回数は、それぞれの画像フレームに関連したそれぞれの露光期間T1からT3を、所定の閾値以下となるように選択される。好適には、この閾値は、写真を撮る平均的な人が安定した画像を取得することができる最低のシャッタースピードである１／６０秒に予め設定される。
露光期間T1〜T3の長さを算出するアルゴリズムの一つは、閾値、すなわち１／６０秒よりも低い最大露光期間を選択することである。露光期間の平均長さは、最大露光期間を画像フレームの数で割った値と等しく設定される。露光期間の望ましいトータルに応じて、露光期間長さが等しい増加分だけ段階的に最大露光期間まで変更される。
第二の具体的な変形例では、画像取得装置の異なるパラメータ、及び、ダイアフラム４の絞りが、各露光期間T1〜T3の開始の前に、各ピクセルの光強度値が記録される尺度の少なくとも最大値が、連続する露光のそれぞれとともに実質的に等しく変化するように調整される。この第二の変形例では、露光時間は、連続する画像フレームのそれぞれにおいて等しい。絞りは、段階的に等しく変更され、好適には、等しいインクリメントで変更される。
第三の具体的な変形例では、連続する画像フレーム中に描写される情景を照らす人工の光の強度が、露光間で段階的に等しく変更される。
図２に示す実施形態に戻り、各画像フレームの取得の間で遅延がない状態で露光期間T1〜T3のうちの一つの間に光強度値の多数の配列が読み取られる変形例が可能であることがわかる。遅延Dt1-Dt2は、画像取得装置のリセットの間、すなわち、取得された光強度値の配列の選択されたシーケンス間のみで生じる。なお、遅延Dt1-Dt2は、明確なものであり、画像取得装置に固有というよりも、むしろ設定された値に依拠するものである。現実的には、設定値は、画像取得装置５のリセットに依拠する遅延よりも長くなる。
図３は、露光の開始からの関連した期間、画像取得装置５の感光性表面を露光することによって得られる光強度値の配列のシーケンスを得るための代替的なプロセスを用いた方法を示す図であり、所定の時間インターバルが、光強度値の配列を取得するための露光の開始から、シーケンス中の配列に先行する光強度値の配列に関連した露光期間の終わりの間で設定されている。
最初のステップ１８で、光強度値の配列の初期シーケンス１９が、画像取得装置５の感光性領域を、露光のそれぞれのスタートからの露光期間露光することにより取得される。この方法を実施するデジタルカメラ１において、初期シーケンス１９中の配列は画像取得装置から直接的に取得される。配列は図２に示す方法の手段によって取得することもできるが、露光期間の間に画像取得装置５のリセットに依拠する遅延以外の遅延なしで取得されるのが好ましい。
次のステップ２０で、マイクロプロセッサ９は、入力インターフェイスモジュール１３及びバス１０を介して供給される信号として、好適なストロボレベルを受信する。デジタルカメラ１は、好適には、ユーザから好適なストロボレベルを取得する装置を含む。一の実施形態においては、ユーザは、デジタルカメラ１のダイアル（図示せず）を設定することにより、好適なストロボレベルを供給する。他の実施形態においては、スライド（図示せず）が用いられる。その他の入力装置としては、目盛りに対応するマーキング、目盛り上の点を示す調節可能な装置が挙げられる。これらの装置は、グラフィカルユーザインターフェイスの一部であってもよい。図示する例のデジタルカメラ１では、目盛り上の点を示すための構成要素が、機械的に調節可能な装置として人間工学的に内蔵されていると有益である。ストロボレベルは、結合画像中の動いている物体の表示の望ましい分離を示す。例えば、結合画像中に表れた動いている物体が、ボールである場合、ストロボレベルは、ボールの異なる表示が軌跡に沿ってどれだけ互いに近くにあるべきかを示す。
次のステップ２１で、画像フレームのシーケンスのそれぞれを表す光強度値の配列の第二のシーケンス２２が、配列の初期シーケンス１９に基づいて、配列の初期シーケンス１９に対して少数の配列のシーケンスとなるように生成される。具体的には、配列の初期シーケンス１９の最初と配列の初期シーケンス１９の二番目との間の光強度の配列をドロップ（dropped）する。これにより、第二のシーケンス２２中の配列により表される画像フレーム間に遅延が設定される。従って、光強度値の配列の第二のシーケンス２２は、画像取得装置５の感光性領域を、露光の開始からの関連した露光期間画露光することにより得られる配列のシーケンスに対応し、所定の時間インターバル（初期シーケンス１９から「ドロップした」配列の露光期間に対応する）が、光強度値の配列を取得するための露光の開始と、第二のシーケンス２２中の配列に先行する光強度値の配列に関連する露光期間の終わりとの間で設定される。ダイアルを入力装置として用いる実施の形態においては、例えば、ダイアルの次に付された目盛りが、配列の初期シーケンス１９からドロップした中間配列に対応する。例えば、「１」は一つおきの配列のドロップに対応し、「９」が９つの配列のドロップに対応し、第二のシーケンス２２は、初期シーケンス１９から、１０個おきの配列のみを含むこととなる。
次に、最終の配列中の少なくとも一つの領域について、第二のシーケンス２２中の配列によって表されるそれぞれの画像フレーム中の当該領域を表す少なくとも一つの光強度値のセットのシーケンスが、当該シーケンスの他のセット中の光強度値から所定の大きさ以上異なる光強度値を含むか否かを判別する（ステップ２３）。
この例では、当該セットは、ちょうど一のピクセル値、すなわち、一のピクセル位置に対応する光強度値のみを含み、ステップ２３の処理は、I´J配列の各ピクセル位置（i,j）毎に実行される。第二のシーケンス２２は、N個の配列を含むものとし、各ピクセル位置（i,j）について、N個の光強度値Pn(i,j)のシーケンスが判別の対象となる。
この判別の間、シーケンスPn(i,j)上の平均光強度値P(i,j)が判別される（ステップ２４）。次の二つのステップ２５、２６は、光強度値Pn(i,j)のいずれかが、当該シーケンス中の他の光強度値から所定の大きさ以上異なっているか否かによる。簡単な例では、この大きさは、シーケンス中の光強度値Pn(i,j)の標準偏差の倍数である。
図４に、Nが５であり、P2(i1,j1)が平均値P(i1,j1)、すなわちIAVGから所定の大きさ以上異なっている場合の第一のピクセル位置（i1,j1）を示す。図３の実施形態の場合は、結合画像を表す光強度値の最終配列２７中の対応光強度値Pfinal(i1,j1)は、異なる値P2(i1,j1)のみに基づく。この場合は、シーケンス中の三番目の光強度値P2(i1,j1)のみが、シーケンス中の他の光強度値Pn(i,j)から所定の大きさ以上異なっている。従って、最終配列２７中の対応光強度値Pfinal(i1,j1)は、まさに三番目の光強度値P2(i1,j1)に基づく。二以上の、連続する光強度値が所定の大きさ以上異なる場合、最終配列２７中の対応光強度値Pfinal(i1,j1)は、いくつかの異なる光強度値の全てに基づく。図４に示す場合では、二つの代替的なステップ２５、２６のうちの第一のステップ２５の処理が実行される。画像フレームの初期シーケンス１９中のそれぞれの画像フレーム、また、第二のシーケンス２２中のそれぞれの画像フレームは、露光不足であるから、最終配列２７中の対応光強度値Pfinal(i1,j1)が基づく単一の光強度値P2(i1,j1)が、好適には向上する。このため、第二のシーケンス２２中の画像フレームの数対基となる画像フレームの数の比率により乗算される。図示する場合では、最終配列２７中の各光強度値Pfinal(i1,j1)は、常に最大の異なる光強度値Pn(i,j)に基づき、第二シーケンス２２中の配列の数Nだけ乗算される。
シーケンスピクセル値Pn(i,j)のいずれもが当該シーケンス中の他の値から所定の大きさ以上異なっていないと判別された場合、光強度値Pn(i,j)のシーケンスの平均光強度値P(i,j)を求めるステップ２４に続く分岐において、対応光強度値Pfinal(i1,j1)は、第二のシーケンス２２中の配列の一つのそれぞれに基づいて、第二のシーケンス中の配列の数に対応して、光強度値の複数の配列のそれぞれからの光強度値を合算することによって得ることができる。図示する実施形態では、それらは第二のシーケンス２２中の配列のみに基づくものではなく、それらとまったく同一である。なお、他の実施形態においては、一の領域を表す一以上の光強度値のセットが分析され、最初に変換等の他の処理が行われる。この場合、変換によって得られた値に対して合算が行われる。
図５に、二つの代替ステップ２５、２６のうちの第二のステップ２６の処理が実行された場合を示す。図５は、ピクセル位置(i2,j2)における光強度値Pn(i,j)を示す。Nが０から４のいずれの場合でも、光強度値Pn(i2,j2)は、そのピクセル位置における平均光強度値P(i2,j2)から所定の大きさ以上異なっていない。この場合、光強度値Pfinal(i2,j2)は、nが０から４の光強度値Pn(i2,j2)のそれぞれを合算することにより得ることができる。
ステップ２３、２４、及びステップ２５、２６のうちの一方のステップは、最終配列２７が完成するまで、各ピクセル位置(i,j)毎に繰り返される。他の実施形態においては、これらのステップは、光強度値のI´Jブロックの一つ毎に実行される。各ブロックは、画像フレームのシーケンスのうちの一つの領域を表す複数の光強度値のセットを含む。一のブロック中の光強度値が、シーケンス中の光強度値の他の配列中の対応するブロックにおける光強度値から所定の大きさ以上異なっている場合、ステップ２５の処理に類似する処理が実行される。結合画像を表す最終配列中の対応ブロックは、異なる光強度値を含むブロックのみに基づく。ブロック中の光強度値の平均は、例えば、動いている物体の存在を示す差分を検出するために比較される。
図３に概要を示した方法は、軌跡に沿って動いている物体を複数の位置で表すストロボスコープ結合画像を生成するのに有用である。それぞれの位置における動いている物体のそれぞれの表示は、結合画像の生成の基となる画像フレームから背景が有効にフィルタリングされているため、比較的鮮明である。動いている物体と背景とのコントラストは、ステップ２６で行われた重み付けのために、強くなる。
第一のステップ１９において、画像取得装置５の観光性領域をそれぞれの露光の開始から関連したそれぞれの露光期間露光することにより、光強度値の配列の初期シーケンス１９を取得する場合について説明した。一の実施形態では、光強度値の配列は、画像取得装置４の感光性領域を、露光のそれぞれの開始からのそれぞれの露光期間露光することによって取得する。続いて、光強度値の配列によって表される画像フレームを、それぞれに対して位置合わせし、この位置合わせステップ（図示せず）に続く画像フレームを表す光強度値の配列によって確かに配列のシーケンス１９が形成されるようにする。他の変形例においては、各画像フレームの選択された一部が、他の画像フレームの対応部分に対して位置合わせされる。
位置合わせに関しては、RANSAC(RANdom SAmple Consensus)等のよく知られている方法が用いられる。M.A. Fischler及びR.C. Bolles.著「Random Sample Consensus, A paradigm for Model Fitting with
Applications to Image Analysis and Automated Cartography」、Comm. of the ACM、１９８１年、ボリューム２４、ページ３８１から３９５がこのアルゴリズムの最初の刊行物である。この位置合わせの過程において、実質的に同一の情景を描写する画像フレームのそれぞれを表す光強度値の配列の第一のシーケンスが、画像取得装置５から、例えば直接取得される。描写された情景の少なくとも一部が、ユーザによってまたは自動的に選択され、当該部分の相対的な動きを表す動きベクトルが算出される。動きベクトルは、画像の変換及び／または回転の成分を示す時変関数または時系列からなる複数の成分から構成される。算出された動きベクトルに従って少なくとも選択された部分が位置合わせされている画像フレームのそれぞれを表す、配列の第二のシーケンスが生成される。
上述したRANSAC方法の代わりの方法が、国際特許出願PCT/EP04/51080号に開示されている。この方法によれば、動きベクトルを算出するステップは、動きベクトルの少なくとも一の要素を表すシリーズエクスパンジョン（series expansion）の最初のタームを判別するステップを含み、当該ステップは、複数の画像フレームのそれぞれのうちの少なくとも選択された部分を、算出された動きベクトルに応じて再配置し、少なくとも再配置された部分中のピクセルの値が、結合画像を生成するために合算される推定プロセスを含む。推定プロセスは、結合画像の空間周波数スペクトルの上部レンジに含まれるエネルギーの大きさを算出するステップと、推定プロセスのさらなる反復の少なくとも一つを含む少なくとも最初のタームを判別してエネルギーを最大限にするステップとを含む。一の実施形態では、シリーズエクスパンジョンは、少なくとも一つの時間変化する動きベクトルを表すフーリエ合計（Fourier sum）であり、各画像フレームが、時間上の点に関連付けられている。動きベクトルを算出するステップは、シリーズエクスパンジョン中のさらなるタームを判別することを含んでいてもよく、エネルギーを最大化するため、さらなるタームの調整された値とともに動きベクトルを用いて推定プロセスが反復して実行される。
位置合わせは、配列の第二のシーケンス２２を生成するステップ２１に続くステップ（図示せず）において実行されてもよい。この場合は、より少ない計算量となる。同様の理由から、初期シーケンス１９中の配列は、最初のカラー空間中のカラー画像フレームを表す光強度値の複数の配列を取得し、第二のカラー空間中で複数の配列に変換を施すことによって取得されるとよく、第一のカラー空間では、画像フレームは、パラメータ値の組み合わせによって表され、各パラメータは、複数の色成分のうちの一つの強度を示し、第二のカラー空間では、画像フレームは、パラメータ値の組み合わせによって表され、各パラメータは、色彩及び光強度を示す他のパラメータを表す。
本実施の形態は、光強度値の演算及び分析が、光強度値の少数の配列に対して行われる点で有益である。各色成分についての光強度値の分離した配列、または光強度の組み合わせの配列の代わりに、第二カラー空間中の光強度を示すパラメータの配列またはそれらに基づいて取得された配列のみが処理される。色情報は、色彩を示すパラメータの配列中に含まれ、結合画像の飽和を防止するために増減される。
具体的な実施形態においては、RGB（Red、Green、Blue）カラー空間中の画像フレームを表す光強度値の配列は、HLS（Hue、Lightness、Saturation）カラー空間中の画像フレームを表すパラメータ値に変換される。RGBカラー空間は、付加的な空間であり、三つの色成分のそれぞれの強度は、別々に符号化される。図３に示す方法の全体がRGBカラー空間に対して実行された場合、当該方法の要部は、３回実行される必要がある。HLSカラー空間の場合は、三つの色成分の相対強弱を示す色彩、フルカラーに対するグレイレベルからの基準を示す飽和、色成分の平均強度に対応する明るさ（光強度）の組み合わせのパラメータによって画像が表される。図３の方法に従って、光強度値の配列のみが処理される。なお、HSV（Hue、Saturation、Value）カラー空間を、HSLカラー空間の代わりに用いることもでき、CMYK及びYUVカラー空間をRGBカラー空間の代わりに用いることもできる。
図３に示す実施形態を改良した変形例（図示せず）においては、光強度値の配列のシーケンスを得るステップ１８は、配列中の光強度値の数に対応する第一の解像度で情景を描写する画像フレームの光強度値の配列を取得すること、及び、配列中の光強度値の数に対応し、かつ、第一の解像度よりも低い解像度で実質的に同一の情景を描写する画像フレームのそれぞれの光強度値の配列のグループをさらに取得することを含む。ストロボレベルを取得して画像フレームをドロップするステップ２０、２１に対応するステップが、低い解像度での画像フレームを描写する配列によって生成されたサブシーケンス（sub-sequence）に対してのみ実行される。結果として得られたシーケンスは、低い解像度での配列のみを構成し、ステップ２３から２６に対応するステップの対象となり、情景の動いている物体を表す光強度値を生成する。続いて、図３に示した方法と同様の方法によって形成された合計フレームが、第一の解像度の画像フレームに結合される。従って、合計配列及び第一の解像度での画像フレームの配列からの少なくとも一つの光強度値に基づいて、各光強度値が配列中の光強度値の合算である更なる配列が生成される。変形例においては、これは、領域を示す光強度値について、少なくとも一つの光強度値のセットのシーケンスのいずれもが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含まず、各セットが当該領域を表し、光強度値の配列の選択された複数の第二のシーケンス２２のうちの一つの一部を構成する場合である。かかる変形例においては、動いている物体は、低い解像度の画像フレームのみに基づいて結合画像中で表示され、背景部分は、高い解像度と低い解像度との画像フレームの両方に基づいて生成される。
第一の解像度よりも低い解像度に設定される低い解像度の画像フレームの合算について考慮すると、合計配列に基づく配列は、第一の解像度での画像フレームを表す配列に基づいて、好適には対応する解像度で結合画像を表示するように生成される。一の変形例においては、結合画像の解像度を増加させる補間（interpolation）が行われる。他の変形例においては、合計配列は、空間周波数領域に変換され、配列が第一の解像度で画像フレームを表す。対応空間周波数コンポネントが追加される。合計配列の高い空間周波数コンポネントは、第一の解像度で画像フレームを表す変換配列のみから取得される。合計配列は、空間領域に再度変換される。かかる方法は、２００５年５月１０日に出願された国際特許出願PCT/EP05/52121に詳細に開示されている。
図３に示す方法が比較的低い解像度での画像フレームのそれぞれを表す光強度値の配列のシーケンスのみに適用され、結合画像の少なくとも（背景）領域が第一の高い解像度で画像フレームを表す少なくとも一つの配列からの光強度値を合算することによって生成される実施形態は、確かな利点を有する。図３に示す方法を実施するために用いられる処理能力は、低減される。高い解像度の画像フレームに結合画像を結合することによって生成される画像の少なくとも一部に基づいて、背景の詳細が取得される。
低い解像度の画像フレームに基づく、動いている部分が、比較的高い信号対ノイズ比を有するようにするため、好ましくは「バインニング」と呼ばれる方法が用いられる。この方法によれば、低い解像度の画像フレームを表す光強度値の配列が、第一の配列中の光強度値の数に対応する解像度で光強度値の第一の配列を取得し、光強度値の第一の配列を、低い解像度での画像フレームを表す光強度値の第二の配列に変換し、第二の配列中の光強度値が、第一の配列からの光強度値のそれぞれの合計に基づくようにすることにより取得される。この「バインニング」を実施するには、感光性領域及びピクセルセルの配列を備えた画像取得装置を用いる。各ピクセルセルは、感光性領域の対応する部分に照射された光の強度を示す信号を生成する装置を備える。画像取得装置は、さらに、ピクセル値の配列を生成して設定された空間解像度で画像フレームを取得する読み出し回路を有する。各ピクセル値は、多数の領域のうちの一つに関連した少なくとも一つのピクセルセルにおいて露光時間インターバルに生成された信号の積分（integral）を示す。多数の領域は、ともに、画像中の領域に対応する感光性領域中の領域をカバーする。画像取得装置は、各ピクセル値が、ピクセルセル中の少なくとも二つの装置によって生成された信号の合計の積分を表すように、ピクセル値の配列を生成する。
図６は、光強度値の最終配列２８によって表される結合画像において、異なる効果を取得するための図３に示す方法の原理の応用を示す。結合画像は、第一のステップ３０で取得した光強度値の配列の初期シーケンス２９によって表される画像フレームのシーケンスに基づく。第一のステップは、図３に示す第一のステップ１８に対応する。従って、光強度値の配列の初期シーケンスは、ステップ１８に関して説明されたいずれかの方法で取得することができる。特に、ここでの処理には、位置合わせが含まれる。
第二のステップ３１で、ユーザにより、または、デフォルト若しくはユーザ設定による計算の結果、ストロボレベルが取得される。続いて、（ステップ３２で）、実質的に同一の情景を描写する画像フレームのシーケンスのそれぞれを表すための光強度値の配列の第二のシーケンス３３を取得する。ストロボレベルに応じて初期シーケンス２９の配列の数を減少することにより取得する。図６に示すステップ３０〜３２の代わりに、図２を参照して説明した方法が他の実施形態では実行される。どの比率（rate）でも、露光の開始からの関連する露光期間画像取得装置の感光性表面を露光し、所定の時間のインターバルが、光強度値の配列を得るための露光の開始と、シーケンス中の配列に先行する光強度値の配列に関連した露光期間の終わりとの間で設定されるようにすることで、光強度値の配列の第二のシーケンス３３を取得することが可能である。画像フレームは、それぞれ、露光不足であるが、配列のシーケンスによってカバーされる合計の時間の間隔は、設定された遅延のため、大きい。図６に示す方法の目的は、結合画像から動いている対象物を除去することであり、これにより、動いている対象物に対する背景が、第二のシーケンス３３中の少なくともいくつかの配列によって表されるようになる。従って、ストロボレベルは、対象物が情景を横切る速度とともに、情景に対するそのサイズに応じて設定されるべきである。動いている対象物が小さくて速い場合、図示するステップ３２では、ほんのわずかの配列をドロップする必要がある。
図３に示すステップ２３、２４と同様のステップ３４、３５が、各ピクセル位置(i,j)毎に繰り返され、二つのステップ３６、３７のうちの一つに続く。いずれかのピクセル位置(i,j)について、ピクセル値Pn(i,j)のシーケンスのいずれかが他のピクセル値Pn(i,j)から所定の大きさ以上異なっていると判別された場合、対応する最終光強度値Pfinal(i,j)は、異なっていない他のピクセル値の少なくとも一つのそれぞれからの光強度値のみから異なる。例えば、光強度値Pn(i,j)のシーケンスの標準偏差の所定の倍数以上平均P(i,j)からの差異は、二つの代替ステップ３６、３７のうちの第一のステップ３６を実行するきっかけとなる。この第一のステップ３６において、最終光強度値Pfinal(i,j)は、外れたピクセル値を含まない第二のシーケンス３３中の配列の一つに基づいて、光強度値の複数の配列のそれぞれからの光強度値を合計することによって取得でき、好ましくは、加数の数は、外れていないピクセル値の数に対応する。合計は、第二のシーケンス中の配列の数対最終光強度値Pfinal(i,j)を生成するために追加された光強度値の数の比率に対して比例する係数によって加重される。
いずれかのピクセル位置(i,j)について、この位置に関連する光強度値のシーケンスのいずれもが平均P(i,j)から所定の大きさ以上異なっていない場合、他のステップ３７が実行される。対応する最終光強度値Pfinal(i,j)が、第二のシーケンス３３中の全ての配列のそれぞれに基づいて、配列のシーケンスのそれぞれからの光強度値を合算することにより取得される。この場合、これらは第二のシーケンス３３の配列のみに基づくものではなく、それらと全く同一である。
ステップ３４、３５と、ステップ３６、３７のうちの一つとは、各ピクセル位置(i,j)毎に、最終配列２８が全体的に生成されるまで繰り返される。図３に示す方法では、ステップ３４から３７は光強度値のそれぞれについてよりも、光強度値のブロック単位で実行されてもよい。
本発明は上記の実施形態に限定されず、特許請求の範囲から逸脱しない範囲で変更が可能である。例えば、光強度値の合算は、周波数領域において行われてもよい。この場合、最終配列中のいずれかのピクセル位置について、光強度値の取得した配列のそれぞれの中の当該ピクセルを表す、空間領域中の光強度値のシーケンスのいずれかが当該シーケンス中の他の光強度値から所定の大きさ以上異なっている場合、他の配列中の異なっていない光強度値のいずれかが、異なる値、複数の異なる値の平均、または、複数の異なる値のうちの選択された値に置き換えられ、あるいは、異なる値が、異なっていない値のいずれかの値または、異なっていない値の平均値に置き換えられる。全てのピクセル位置が分析された後、調節された画像フレームから空間周波数領域への変換が行われる。そして、合算及び空間領域へ戻すための変換が行われる。
複数の画像フレームに基づいて結合画像を生成するシステムの一例であるデジタルカメラを示す。 複数の画像フレームを取得して、結合画像を生成する第一の方法を示す。 結合画像を生成する第一の方法を示すフローチャートである。 結合画像を生成する方法に用いられる判断基準の応用を示す。 結合画像を生成する方法に用いられる判断基準の応用を示す。 結合画像を生成する第二の方法を示すフローチャートである。
符号の説明
１ デジタルカメラ
５ 画像取得装置
１９、２９ 第一のシーケンス
２２、３３ 第二のシーケンス
２７、２８ 最終配列

Claims (15)

  1. 複数の画像フレームに基づいて結合画像を生成する方法であって、実質的に同一の情景を描写する画像フレームのシーケンスのそれぞれを表すための光強度値の配列のシーケンス（２２、３３）を取得するステップを含み、
    前記結合画像は、光強度値の最終配列（２７、２８）によって表され、
    前記最終配列（２７、２８）中の光強度値の少なくともいくつかは、それぞれ、取得したシーケンス（２２、３３）中の配列のそれぞれに基づいて、光強度値の配列のシーケンスのそれぞれからの光強度値を合計することによって取得され、
    前記最終配列（２７、２８）中の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンスの他のセット中の光強度値から所定の大きさ以上異なる光強度値を含む場合であって、各セットが前記領域を表し、光強度値の選択された複数の取得された配列のうちの一つの一部を形成する場合、前記最終配列（２７、２８）中の当該領域を表す光強度値は、それぞれ、
    （Ａ）異なる光強度値のセットを含む選択された複数の配列のそれぞれのみに基づいて、少なくとも一つの配列のそれぞれからのそれぞれの光強度値から算出され、または、
    （Ｂ）光強度値の他のセットのうちの一つを含む選択された複数の配列のそれぞれのみに基づいて、少なくとも一つの配列のそれぞれからのそれぞれの光強度値から算出される、
    ことを特徴とする方法。
  2. 前記光強度値の配列のシーケンス（２２、３３）を取得するステップは、
    光強度値の配列のシーケンスを取得することを含み、各光強度値は、画像取得装置（５）の感光性領域を、露光の開始から、関連した露光期間（T1からT3）露光することにより取得することができ、所定の時間インターバル（Dt1、Dt2）が、光強度値の配列を取得するための露光の開始（t3、t5）と、シーケンス（２２、３３）中の配列に先行する光強度値の配列に関連した露光期間の終わり（t2、t4）との間に設定されていることを特徴とする請求項１に記載の方法。
  3. 前記光強度値の配列のシーケンス（２２、３３）を取得するステップは、
    光強度値の配列の第一のシーケンス（１９、２９）を取得し、各配列は、露光の開始から、関連した露光期間画像取得装置（５）の感光性領域を露光することによって取得することができ、
    ストロボレベルを取得し、
    前記ストロボレベルに従って、配列の第一のシーケンス（１９、２９）の配列の数を減少することにより、光強度値の配列の第二のシーケンス（２２、３３）を生成することを含む、
    ことを特徴とする請求項２に記載の方法。
  4. 前記最終配列（２７、２８）中の少なくとも一つの領域において、少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンス中の他のセット中の光強度値から所定の大きさ以上異なる光強度値を含む場合であって、各セットが、前記領域を表し、光強度値の選択された複数の取得された配列のうちのひとつの一部を形成する場合、前記最終配列（２７、２８）中の当該領域を表す光強度値は、それぞれ、選択された複数の取得された配列に基づいて、光強度値の合計を、シーケンス（２２、３３）中のセットの数と、最終配列中の当該領域を示す光強度値が算出されるセットの数との比率に比例する係数で加重することにより算出される、
    ことを特徴とする請求項１乃至３のいずれか１項に記載の方法。
  5. 前記光強度値の配列のシーケンス（２２、３３）を取得するステップは、
    実質的に同一の情景を描写する画像フレームのそれぞれを表す光強度値の配列の第一のシーケンスを取得し、
    前記描写された情景の少なくとも一部を選択し、
    前記情景を描写する画像フレーム中の前記部分の相対的な動きを表す動きベクトルを算出し、
    前記算出した動きベクトルに従って、少なくとも前記選択した部分が位置合わせされている画像フレームのそれぞれを表す光強度値の配列の第二のシーケンスを生成することを含む、
    ことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
  6. 前記最終配列（２７、２８）中の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれもが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含まない場合であって、各セットが、前記領域を表し、光強度値の選択された複数の取得された配列の一部を形成する場合、最終配列（２７、２８）中の前記領域を表す光強度値は、それぞれ、取得したシーケンス（２２、３３）中の配列のそれぞれに基づいて、光強度値の配列のシーケンスのそれぞれからの光強度値を合算することによって取得される、
    ことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
  7. 前記最終配列（２７、２８）中の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含む場合であって、各セットが、前記領域を表し、光強度値の選択された複数の取得された配列のうちの一つの一部を構成し、他のセットが複数のセットから構成される場合、前記最終配列（２７、２８）中の前記領域を表す光強度値は、それぞれ、前記他のセットを含む取得された配列のそれぞれに基づいて、好ましくは、他のセットの数に対応する光強度値の複数の配列の数に基づいて、光強度値の複数の配列のそれぞれからの光強度値を合算することによって取得される、
    ことを特徴とする請求項１乃至６のいずれか１項に記載の方法。
  8. 前記光強度値の配列のシーケンスを取得するステップは、配列中の光強度値の数に対応する第一の解像度で情景を描写する画像フレームを表す光強度値の少なくとも一つの配列を取得し、配列中の光強度値の数に対応し、かつ、前記第一の解像度よりも低い解像度で、実質的に同一の情景を描写する画像フレームのそれぞれを表す光強度値の配列のさらなるグループを取得することを含み、選択された複数の取得された配列は、前記さらなるグループから選択される、
    ことを特徴とする請求項１乃至７のいずれか１項に記載の方法。
  9. 前記さらなるグループ中の光強度値の少なくとも一つの配列は、光強度値の数に対応する解像度での画像フレームを表す光強度信号の数を取得し、配列中の光強度値が、取得された光強度信号の合計のそれぞれに基づくように、光強度値の配列を生成する、ことにより取得される、
    ことを特徴とする請求項８に記載の方法。
  10. 前記最終配列の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれもが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含まない場合であって、各セットが、前記領域を表し、光強度値の配列の複数のさらなるグループのうちの一つの一部を形成する場合、前記最終配列の前記領域を表す光強度値の少なくともいくつかを取得するステップは、第一の解像度で画像フレームを表す光強度値の取得した配列のそれぞれに基づいた、光強度値の少なくとも一つの配列のそれぞれからの光強度値を合算し、及び、光強度値の取得した配列のそれぞれに基づいた、光強度値の少なくとも一つの配列からの光強度値を合算することを含む、
    ことを特徴とする請求項８または９に記載の方法。
  11. 光強度値の配列のシーケンス（２２、３３）を処理するシステムであって、各配列は、実質的に同一の情景を描写する画像フレームのシーケンスのうちの一つを表すのに適しており、前記システムは、結合画像を表す光強度値の最終配列（２７、２８）を生成し、取得したシーケンス（２２、３３）中の配列のうちのそれぞれに基づいて、光強度値の配列のシーケンスのそれぞれからの光強度値を合算することにより、前記最終配列（２７、２８）中の光強度値の少なくともいくつかを取得するように構成されており、前記最終配列（２７、２８）中の少なくとも一つの領域について、少なくとも一つの光強度値のセットのシーケンスのいずれかが、当該シーケンスの他のセットの光強度値から所定の大きさ以上異なる光強度値を含み、各セットが、前記領域を表し、光強度値の選択された複数の取得した配列のうちの一つの一部を形成すると判別した場合、前記最終配列中の前記領域を表す光強度値のそれぞれを、
    （Ａ）異なる値を含むと判別されたセットを含む選択された複数の配列のそれぞれのみに基づいて、少なくとも一つの配列のそれぞれからの光強度値から算出し、または、
    （Ｂ）光強度値の他のセットのうちの一つを含む選択された複数の配列のいずれかのみに基づいて、少なくとも一つの配列のそれぞれからの光強度値から算出する、
    ことを特徴とするシステム。
  12. 請求項１乃至１０のいずれか１項に記載の方法を実行する請求項１１に記載のシステム。
  13. 光強度値の配列のシーケンスを、
    光強度値の配列の第一のシーケンス（１９、２９）を取得し、各配列は、関連する露光期間画像取得装置（５）の感光性領域を露光することによって取得可能であり、
    ユーザからストロボレベルを取得し、
    取得したストロボレベルに従って、配列の第一のシーケンス（１９、２９）中の配列の数を減らして光強度値の配列の第二のシーケンス（２２、３３）を生成することによって取得し、
    ストロボレベルを取得するための装置を備え、当該装置は、目盛りとともにマーキングされた部分と、目盛り上の点を示すことができる調節可能な部位とを含む、
    ことを特徴とする請求項１１または１２に記載のシステム。
  14. 請求項１１乃至１３のいずれか１項に記載のシステムを有するデジタルカメラ（１）等の撮像装置。
  15. コンピュータが読み取り可能な媒体に記憶され、情報処理能力を備えたコンピュータに、請求項１乃至１０のいずれか１項の方法を実行させるための一組の指示のセットを含むコンピュータプログラム。
JP2008534876A 2005-10-12 2005-10-12 複数の画像フレームに基づいて結合画像を生成する方法 Pending JP2009512038A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2005/055188 WO2007042075A1 (en) 2005-10-12 2005-10-12 Method of forming a combined image based on a plurality of image frames

Publications (1)

Publication Number Publication Date
JP2009512038A true JP2009512038A (ja) 2009-03-19

Family

ID=36589272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008534876A Pending JP2009512038A (ja) 2005-10-12 2005-10-12 複数の画像フレームに基づいて結合画像を生成する方法

Country Status (6)

Country Link
US (1) US8150209B2 (ja)
EP (1) EP1934938A1 (ja)
JP (1) JP2009512038A (ja)
KR (1) KR101348262B1 (ja)
CN (1) CN101305398B (ja)
WO (1) WO2007042075A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066866A (ja) * 2008-09-09 2010-03-25 Casio Comput Co Ltd 画像処理装置、画像処理方法、及びプログラム
WO2013001599A1 (ja) * 2011-06-28 2013-01-03 楽天株式会社 商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101305397B (zh) * 2005-10-12 2012-09-19 有源光学有限公司 基于多个图像帧形成图像的方法，图像处理系统和数字照相机
US7872593B1 (en) * 2006-04-28 2011-01-18 At&T Intellectual Property Ii, L.P. System and method for collecting image data
US9014490B2 (en) * 2011-02-15 2015-04-21 Sony Corporation Method to measure local image similarity and its application in image processing
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
CN103888689B (zh) * 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN104361572B (zh) * 2014-11-27 2017-12-29 百度在线网络技术（北京）有限公司 图片处理方法和装置
TW201624421A (zh) * 2014-12-17 2016-07-01 由田新技股份有限公司 影像資料產生方法及裝置
US9786077B2 (en) * 2015-09-30 2017-10-10 Gopro, Inc. Unified image processing for combined images based on spatially co-located zones
KR20190063803A (ko) 2017-11-30 2019-06-10 (주)이앤비소프트 오브젝트 이미지 합성 방법 및 장치
CN108717701B (zh) * 2018-05-24 2021-03-02 北京乐蜜科技有限责任公司 一种制作影片残影特效的方法、装置、电子设备及介质
CN110933288B (zh) * 2018-09-19 2021-05-18 聚晶半导体股份有限公司 图像产生方法与电子装置
CN110971833B (zh) * 2018-09-30 2021-05-14 北京微播视界科技有限公司 一种图像处理方法、装置、电子设备及存储介质
KR102252110B1 (ko) 2019-08-07 2021-05-17 한국과학기술연구원 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
RU2718211C1 (ru) * 2019-12-13 2020-03-31 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство объединения инфракрасных изображений

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292478A (ja) * 1992-04-06 1993-11-05 Nippon Telegr & Teleph Corp <Ntt> 動画入力装置
JPH06121192A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JPH10334212A (ja) * 1997-04-01 1998-12-18 Fuji Photo Film Co Ltd 付加情報付き画像ファイルからの画像プリントシステム
JP2002262059A (ja) * 2001-03-02 2002-09-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2002260165A (ja) * 2001-02-27 2002-09-13 Mitsubishi Heavy Ind Ltd 車両監視システム
JP2003189174A (ja) * 2001-12-20 2003-07-04 Acutelogic Corp 撮影装置及び撮影方法
JP2004180259A (ja) * 2002-09-30 2004-06-24 Toshiba Corp 画像合成方法、画像合成装置、画像合成プログラム
JP2004194106A (ja) * 2002-12-12 2004-07-08 Canon Inc 撮像装置
JP2004272751A (ja) * 2003-03-11 2004-09-30 Seiko Epson Corp 複数のフレーム画像からの静止画像の生成
US20040252199A1 (en) * 2003-06-10 2004-12-16 Cheung Frank N. Method and imaging system with intelligent frame integration
JP2005136754A (ja) * 2003-10-31 2005-05-26 Matsushita Electric Ind Co Ltd 撮像装置
JP2005136679A (ja) * 2003-10-30 2005-05-26 Seiko Epson Corp 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091972A (en) * 1990-09-17 1992-02-25 Eastman Kodak Company System and method for reducing digital image noise
US5960108A (en) * 1997-06-12 1999-09-28 Apple Computer, Inc. Method and system for creating an image-based virtual reality environment utilizing a fisheye lens
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292478A (ja) * 1992-04-06 1993-11-05 Nippon Telegr & Teleph Corp <Ntt> 動画入力装置
JPH06121192A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JPH10334212A (ja) * 1997-04-01 1998-12-18 Fuji Photo Film Co Ltd 付加情報付き画像ファイルからの画像プリントシステム
JP2002260165A (ja) * 2001-02-27 2002-09-13 Mitsubishi Heavy Ind Ltd 車両監視システム
JP2002262059A (ja) * 2001-03-02 2002-09-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003189174A (ja) * 2001-12-20 2003-07-04 Acutelogic Corp 撮影装置及び撮影方法
JP2004180259A (ja) * 2002-09-30 2004-06-24 Toshiba Corp 画像合成方法、画像合成装置、画像合成プログラム
JP2004194106A (ja) * 2002-12-12 2004-07-08 Canon Inc 撮像装置
JP2004272751A (ja) * 2003-03-11 2004-09-30 Seiko Epson Corp 複数のフレーム画像からの静止画像の生成
US20040252199A1 (en) * 2003-06-10 2004-12-16 Cheung Frank N. Method and imaging system with intelligent frame integration
JP2005136679A (ja) * 2003-10-30 2005-05-26 Seiko Epson Corp 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
JP2005136754A (ja) * 2003-10-31 2005-05-26 Matsushita Electric Ind Co Ltd 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066866A (ja) * 2008-09-09 2010-03-25 Casio Comput Co Ltd 画像処理装置、画像処理方法、及びプログラム
WO2013001599A1 (ja) * 2011-06-28 2013-01-03 楽天株式会社 商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラム
JP5265058B1 (ja) * 2011-06-28 2013-08-14 楽天株式会社 商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラム
CN103620642A (zh) * 2011-06-28 2014-03-05 乐天株式会社 商品图像处理装置、商品图像处理方法、信息记录介质、以及程序
US8873862B2 (en) 2011-06-28 2014-10-28 Rakuten, Inc. Product image processor, product image processing method, information recording medium, and program
CN103620642B (zh) * 2011-06-28 2015-03-11 乐天株式会社 商品图像处理装置、商品图像处理方法、信息记录介质、以及程序

Also Published As

Publication number Publication date
US8150209B2 (en) 2012-04-03
CN101305398B (zh) 2013-03-27
EP1934938A1 (en) 2008-06-25
US20090220172A1 (en) 2009-09-03
KR20080072647A (ko) 2008-08-06
CN101305398A (zh) 2008-11-12
KR101348262B1 (ko) 2014-01-08
WO2007042075A1 (en) 2007-04-19

Similar Documents

Publication Publication Date Title
JP2009512038A (ja) 複数の画像フレームに基づいて結合画像を生成する方法
JP4651716B2 (ja) 複数の画像フレームに基づく画像形成方法、画像処理システム、およびデジタルカメラ
EP1883902B1 (en) Method of controlling an image capturing system, image capturing system and digital camera
JP5016715B2 (ja) 画像のダイナミック・レンジを改善するためのマルチ露光パターン
US8462221B2 (en) Method for producing high dynamic range images
JP6172967B2 (ja) 撮像装置、及びその制御方法
US8466976B2 (en) Digital camera providing high dynamic range images
EP1662806A1 (en) Image processing method, image processing apparatus, and computer program
US20090021588A1 (en) Determining and correcting for imaging device motion during an exposure
JP4575496B2 (ja) 画像を処理する方法及びシステム
JP2006157908A (ja) 検知装置、エネルギー場の検知方法及びカメラ
WO2011087734A1 (en) Method for creating high dynamic range image
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2008219230A (ja) 撮像装置及び画像処理方法
JP5144739B2 (ja) 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110119

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110506

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110713