JP2009512290A - 複数の画像フレームに基づく画像形成方法、画像処理システム、およびデジタルカメラ - Google Patents

Abstract

ノイズが除去された画像に望ましい解像度よりも小さい解像度の画像を部分的に平均化することによる、ノイズ除去のためのフレーム平均化の修正された方法に基づく画像融合を提供する。ノイズの平均化のために加算される画像のセットは、２つのサブセットからなる。画像の第１セットは第２セットの画像の解像度よりも（画素数において）低い解像度を有する。第２セットの画像の解像度は、ノイズ除去された「高精細」の出力画像の解像度である。低い解像度の画像は、画素数を所望の出力画像の画素数にスケーリングすることによりアップサンプルされる。第１セット画像の階調も、加算による強度飽和（フレア）を回避するよう構成される。画像融合は、また、フーリエ空間においても、高解像度画像からの高周波数要素および低解像度画像からの低周波数要素を用いて行われる。

Description

本発明は、複数の画像フレームに基づいて合成画像を形成する方法に関する。
本発明は、各配列が配列における強度値の数に対応する解像度の画像フレームを表すのに適切である強度値配列の処理システムにも関する。
本発明は、撮像装置、例えばデジタルカメラにも関する。
本発明は、コンピュータプログラムにも関する。

国際特許出願ＰＣＴ／ＥＰ２００５／０５２１２１は本願の出願日以前に出願され、国際公開ＷＯ ／ として本願の出願日以降に公開されたものである。したがって、ＥＰＣ第５４条（３）のみによる最新技術である。この発明には、複数の画像フレームから合成最終画像を形成する方法が記載されており、第１および少なくとも１個の別の画素値の配列を取得するステップを含み、各強度値配列は光強度レベルをエンコードし、画素の数のそれぞれはそれぞれの画像フレームに位置し、この数は問題の画像フレームの空間解像度を決定する。得られた強度値配列のセットが生成され、各得られた配列は得られた強度レベル配列のそれぞれに基づいており、画素の共通数それぞれが対応する画像フレームの少なくとも重複領域に位置するレベルで光強度レベルをエンコードする。合成強度値の配列が生成される。この配列の各要素は、それぞれの得られた強度値配列内の対応する要素により表される強度値の合計に基づいている。合成された最終画像をエンコードする強度値配列が設けられ、この配列は合成強度値の配列に基づく。さらなる強度値配列よりも高い解像度で重複領域をエンコードする第１強度値配列が得られる。合成最終画像において少なくとも重複領域をさらなる強度値配列よりも高い空間解像度でエンコードする強度値配列が提供される。合成最終画像をエンコードする強度値配列は、さらなる強度値配列よりも高い解像度で重複領域をエンコードするために第１強度値配列内の強度値の十分な数に基づいている。

少なくとも部分的に同じ領域を示す複数の画像フレームを加えることによる合成画像の形成は、重複領域が合成画像における信号対雑音比（ＳＮＲ）が個々の画像フレームにおけるよりも高いという効果を有する。しかしながら、画像処理システムにおいては、強度値は値を表すビット数によって決定される数の離散値の範囲の１つであると仮定する。これは、ひいては、例えばＪＰＥＧ規格またはコンピュータディスプレイの解像度といった合成画像が表示されるフォーマットにより可能となるダイナミックレンジにより決定される。それぞれの画像フレームにおける画素に対応する強度値の合計が、離散値の範囲によって可能となる最大値を越える場合には、合計値は範囲内に収まるように切り捨てられる。合成画像を表す強度値配列中の多数の強度値についてこれが起こると、合成画像は露出オーバーに見える。

本発明の目的は、上記のような種類の、効率的な方法で比較的ＳＮＲがよく露出オーバーがほとんどまたはまったくない合成画像を提供する方法、システム、撮像装置、およびコンピュータプログラムを提供することにある。

上記目的は、本発明にかかる複数の画像フレームに基づいて合成画像を形成する方法を提供することにより実現され、この方法は、
少なくとも１個の強度値配列の第１セットを取得し、前記配列は当該配列内の強度値の数に対応する解像度の画像フレームを表し、
少なくとも１個の強度値配列の第２セットを取得し、前記配列は当該配列内の強度値の数に対応する解像度の画像フレームを表し、
前記合成画像は最終強度値配列により表され、
前記最終配列の強度値の少なくともいくつかは、それぞれ、前記第１セットの少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列のそれぞれからの強度値と、前記第２セットの少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列のそれぞれからの強度値とを加算するステップを実行することにより取得され、
前記加算ステップの実行に先立って、前記第１セット内の前記配列の前記強度値のみが第１範囲内のスケールから第２範囲内のスケールにマッピングされる。

最終配列内の強度値の少なくともいくつかは、それぞれ、少なくとも２つの強度値配列に基づく少なくとも１個の強度値配列のそれぞれからの強度値を加算するステップを実行することによりにより取得されるため、ＳＮＲが向上する。第１セットの配列の強度値は、加算ステップの実行に先立って第１範囲内のスケールから第２範囲内のスケールにマッピングされるため、これらが表現されるスケールを超えることなく、強度値の表現により可能となるフルダイナミックレンジを用いることができるようになる。このため、第２範囲は第１範囲とは異なっている。第１セットの配列の強度値のみがマッピングされるため、この方法は比較的効率的である。

本発明の実施形態は、第１セットと第２セットとを取得し、前記第１セットと前記第２セットとは、前記第１セットにおける前記配列により表される前記画像フレームが前記第２セットにおける前記配列により表される前記画像フレームよりも低い解像度で表示されるように配される。

これは、比較的わずかな強度値が第１範囲内のスケールから第２範囲内のスケールにマッピングされるため、効率の向上という効果を有する。

一実施形態において、前記第１セットの少なくとも１個の強度値配列のみに基づく前記少なくとも１個の強度値配列は、空間周波数領域における係数を含み、
前記第２セットの少なくとも１個の強度値配列のみに基づく前記少なくとも１個の強度値配列は、前記空間周波数領域における係数を含み、
前記最終配列の前記強度値は、前記空間周波数領域における係数により形成され、前記最終配列の少なくとも１個の下位係数は、前記第１セットの少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列のそれぞれからの強度値と、前記第２セットの少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列のそれぞれからの強度値との加算により取得され
前記最終配列の少なくとも１個の上位係数は、前記第２セットに基づく強度値配列のみに基づいて取得される。

これは、解像度の低い画像フレームを表す配列の第１セットおよび解像度の高い画像フレームを表す配列の第２セットに基づいて、比較的高い解像度で表される合成画像を取得する比較的効率的な方法である。第１セットの配列により表される画像フレームの解像度を高める補間または類似の技術は必要ではない。かわりに、第２セットにより表される高い解像度の画像フレームの情報が比較的高い解像度合成画像の生成に用いられ、下位係数の加算が画像中の認識可能なノイズを低減する機能を果たす。

一実施形態において、前記第１および第２セットの前記強度値配列の少なくともいくつかは、感光セルの配列を含む画像取り込み装置からの測定値の読み出しにより取得され、前記最終配列の各強度値は、前記第２セットに含まれる配列の少なくとも１個の強度値に基づく。

解像度の低い画像フレームにより表される第１セットの配列は、より少ない強度値を含む。したがって、測定値を読み出す回数が減少する。これにより、配列の第１および第２セットにより表される画像フレームがすばやく連続で読み出し可能となり、取り込まれるシーンにおける手ぶれやカメラの動きの影響が低減される。最終配列の各強度値は第２セットに含まれる配列の少なくとも１個の強度値に基づくため、合成画像の解像度を犠牲にすることなくカメラの動きによる不鮮明さを低減する効果が得られる。

一実施形態は、第２セットの強度値配列の数に少なくとも部分的に依存して前記第２範囲の上限を決定する。

したがって、露出オーバーの合成画像となる危険性が低減される。

一実施形態において、前記第１セットの少なくとも１個の前記強度値配列は、前記配列内の強度値の数に対応する解像度の画像フレームを表す複数の強度値配列を取得し、前記複数の配列それぞれからの強度値を加算して前記第１セット内の前記少なくとも１個の配列における対応する強度値を取得することにより取得される。

したがって、複数の画像フレームの合計である画像を表す配列がスケーリングされる。これにより、行うべきスケーリングの量を減少させるという効果を呈し、これにより本方法がより効率的なものとなる。加えて、第１セットの配列を形成するために加算された複数の配列にわたるランダムなノイズが、加算によりフィルタされる。

一実施形態において、前記第１セットにおける前記強度値配列の少なくとも１個は、前配列内の強度値の数に対応する解像度の画像フレームを表す複数の複数の強度値配列を取得することによって取得され、前記方法は、さらに、
前記取得された複数の配列それぞれからの強度値を加算して中間合成配列における対応する強度値を取得し、
前記中間合成配列の少なくとも１個の強度値に少なくとも部分的に依存して前記第２範囲の上限を決定する。

したがって、第２範囲の適切な範囲は最終配列をほぼ表す強度値配列に基づくため、これを比較的正確に決定することができる。本実施形態は、また、第１セットの複数の配列それぞれの分析が必要とされないため、比較的効率的である。

一実施形態において、前記第１セットの少なくとも前記強度値配列は第１色空間のカラー画像フレームを表す複数の強度値配列を取得することにより取得され、第２色空間の複数の値配列への変換を適応し、前記第１色空間において、画像フレームはパラメータ値の組み合わせによって表され、各パラメータは複数の色要素の１個の強度を示し、前記第２色空間において、画像フレームはパラメータ値の組み合わせによって表され、前記組み合わせのうちの１個のパラメータは色相を示し、そのほかのパラメータの少なくとも１個は光強度を示す。

本実施形態は、第１スケールから第２スケールへのマッピングがより少ない強度値配列で行われるという利点を有する。各色要素または強度値配列の組み合わせについての別々の強度値配列の変わりに、配列もしくは第２色空間における光強度を示すパラメータ値の配列、またはこれに基づく配列だけを処理すればよい。色相を示すパラメータ値の配列には色情報が含まれ、これは合成画像の飽和を防ぐためのスケーリングの必要がない。

別の様態によれば、本発明にかかる強度値配列を処理するシステムが提供され、このシステムは、各配列は前記配列における強度値の数に対応する解像度で画像フレームを表すのに適しており、
前記システムは、少なくとも１個の強度値配列の第１セットと少なくとも１個の強度値配列の第２セットとを読み出し、前記第１セットの配列と前記第２セットの配列はそれぞれ画像フレームを表し、合成画像を表す強度値の最終配列を形成するよう構成され、
前記システムは、前記最終配列の強度値の少なくともいくつかを、前記第１セットの少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列のそれぞれからの強度値と、前記第２セットの少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列のそれぞれからの強度値とを加算するステップを実行することにより取得されるよう構成され、
前記システムは、前記加算ステップの実行に先立って、前記第１セット内の前記配列の前記強度値のみが第１範囲内のスケールから第２範囲内のスケールにマッピングされるよう構成される。

別の様態によれば、本発明にしたがって、プロセッサと複数の強度値配列を記憶する少なくとも１個の記憶装置とを備える例えばデジタルカメラである撮像装置であって、本発明にかかる方法を実行するよう構成された撮像装置が提供される。

撮像装置は、デジタル信号処理能力を比較的効率的に利用することができる。とりわけ、画素値の配列が全てスケーリングされるわけではないため、マッピング機能を実施するルックアップテーブルから読み出す値の量は比較的少ない。

本発明の別の様態によれば、機械読取可能な媒体に組み込まれたときに情報処理能力を有するシステムに本発明にかかる方法を実行させることができるインストラクションのセットを含むコンピュータプログラムが提供される。

コンピュータプログラムは取り込み画像の後処理用の汎用コンピュータで実行させることができ、デジタルカメラなどの画像取り込み装置用のファームウェアとして提供されてもよい。

以下、添付の図面を参照して、本発明をさらに詳細に説明する。

図１に、以下に説明する方法を実施するよう構成された撮像装置の例としてデジタルカメラ１の構成要素を示す。適切な撮像装置のその他の例としては、スキャナやコピー機がある。この合成画像形成方法は要求される処理能力が比較的低いので、デジタルカメラ１に用いると有利である。

デジタルカメラ１は、合成画像により表されることになるシーン内の１個以上の対象に焦点を合わせるレンズシステム２を備える。シャッター３が開くと、ダイヤフラム４のアパーチャを通って画像取り込み装置５の光電領域にシーンが投影される。シャッター３の代わりに、画像取り込み装置５を適切に制御することにより実施される電子シャッターを用いてもよい。シャッター時間およびアパーチャの直径は制御可能である。画像取り込み装置５は、相補型金属酸化膜半導体（ＣＭＯＳ）技術を用いた装置、もしくは、例えば電荷結合素子（ＣＣＤ）センサであってもよい。画像取り込み装置５の光電領域は、画素セルが占める領域に分割されている。各画素セルは、画素セルが占める領域が露出される光の強度を示す信号を生成する素子を含み。素子によって生成される信号の全体は、例えばキャパシタ内の光電流の蓄積によって、露出中に形成される。露出に続いて、露出時間間隔の間、生成された信号の全体の値が行ごとに読み出される。

読み出された（アナログ）値はアナログ−デジタル（Ａ／Ｄ）変換器６に与えられる。（Ａ／Ｄ）変換器は、画像取り込み装置５から受信した信号をサンプルして量子化する。これは、離散準位のスケールで強度値を記録することを含み、この数は（Ａ／Ｄ）変換器６からの出力として与えられるデジタルワードの解像度のビット数により決定される。したがって、Ａ／Ｄ変換器６は、第１範囲に占めるスケールで記録された強度値配列を出力として与える。各強度値は光電セルまたは複数の隣接する光電セルに対応する画像フレーム内の特定の画素位置と関連付けられている。後者の場合、画像取り込み装置５から読み出された値は、好ましくは、複数の隣接する光電セルに対応する値を「ビンに入れる」ことにより取得される。「ビンに入った」値が対応する領域は重なりあってもよい。

したがって、画像取り込み装置５の各露出は、画像フレームを表す強度値配列となる。以下でより詳細に説明するように、１個以上の配列の強度値がデジタル信号プロセッサ（ＤＳＰ）７によって第２範囲を占める別のスケールにマッピングされてもよい。ある実施形態では、ＤＳＰ７も画素値間の補間および任意で画像の圧縮などの動作の実行に適切である。強度値の空間周波数領域への直接コサイン変換（ＤＣＴ）などの変換を実行することもできる。

強度値配列は記憶装置８に記憶される。記憶装置は、通常の記憶装置であればどのようなものであってもよく、例えばビルトインフラッシュメモリ、交換式フラッシュメモリモジュール、光ディスクドライブ、または磁気ディスクドライブであってよい。

画像の取り込みおよび処理は、バス１０を介してコマンドを出すマイクロプロセッサ９の制御のもとで行われる。マイクロプロセッサ９は、図に示す実施形態においてはコプロセッサ１１により支援される。コプロセッサ１１は、好ましくは、例えばＪＰＥＧ規格に従って画像圧縮を行うデジタル信号プロセッサである。マイクロプロセッサ９は、揮発性メモリを備え、読み出し専用メモリ（ＲＯＭ）モジュール１２に格納されたインストラクションにアクセス可能である。インストラクションは、デジタルカメラ１に、複数の取り込まれた画像フレームを加算することによる合成画像形成方法を実行する能力を与える。この方法は、マイクロプロセッサ９の制御のもとで行われる。

バス１０に接続されたその他の構成要素として、ユーザコマンドを受信する入力インターフェースモジュール１３、およびステータス情報を返す出力インターフェースモジュール１４を含む。図に示す実施形態には、デジタルカメラ１の動きを検知して測定するモーションセンサ１５がある。その他の実施形態では、拘束で連続取り込みされた一連の画像フレームが分析されてデジタルカメラ１の動きの量および／または方向を決定する。加えて、デジタルカメラ１は、露出計量装置１６とフラッシュの動作を指示するフラッシュドライバ１７とを備える（不図示）。

実際には、ユーザがシーンの単一の画像を形成するコマンドを出し、このコマンドは入力インターフェースモジュール１３とバス１０を介してマイクロプロセッサ９に渡される。これに応じて、マイクロプロセッサ９はデジタルカメラ１を複数の露出不足の画像フレームまたはＩＳＯの設定が高い画像フレームが取り込まれるように制御する。ＩＳＯの設定が高いというのは、ＩＳＯ５８００：１９８７という国際標準規格に準拠するリニアなフィルム感度スケールに沿って較正される画像取り込み装置５の感度が高いレベルに設定されているということを意味する。取り込み画像は、少なくとも部分的に重なるシーンをそれぞれ表している。各画像フレーム、具体的には画像フレームの各色要素は、画素値の配列により表される。各画素値は、画素に関連付けられた領域に渡って関連付けられた色要素の光強度に対応する。画素に関連付けられた各領域が、画像取り込み装置５の一定の領域の一部に対応するとすると、配列に含まれる強度値の数は、画像フレームの空間解像度に対応する。これは、強度値が空間周波数領域の係数である場合についても同様である。というのは、配列により多くの値を含めることにより上位の係数が存在することになるからである。

個別に露出不足の画像フレームの列を取得するために、マイクロプロセッサ９は、画像フレームに基づいて形成されることになる最終画像に望ましい露出を決定する。この露出は画像フレーム上で分割される。望ましい露出は、ユーザ入力からまたは露出計量装置１６から取得した１個以上の値に基づいて自動的に決定することができる。各画像フレームについての露出レベルは、ダイヤフラム４の設定、シャッター速度、およびフラッシュ強度となる。加えて、マイクロプロセッサ９は、画像取り込み装置から読み出された信号の増幅レベルを決定する。これらは、画像フレームを表す配列の強度値がある値の範囲を決定する。強度値が表されるビット数は、強度値のダイナミックレンジを決定する。この例では、２５５個のノンゼロ値が可能となるように強度値は８ビットで表されるとする。画像フレームを露光不足とするかわりに、露光不足要因と同じ要因により画像取り込み装置５のリニアなスケールＩＳＯ設定（ＡＳＡ番号とも言われる）を増やすことができる。これにより、個々のフレームにおけるノイズレベルが高まるが、これらは以下で示す合成処理において低減される。

本明細書の実施形態においては、関連付けられたそれぞれの画像フレームを表す強度値配列の第１セットと、関連付けられたそれぞれの画像フレームを表す強度値配列の第２セットとは、区別される。この区別は、配列が画像フレームの取り込みに続いてどのように処理されるかを基にしてなされる。

図２に示す第１の実施形態において、強度値配列の第１セット１８は比較的空間解像度が低い画像フレームを表し、強度値配列の第２セット１９は比較的空間解像度が高い画像フレームを表す。空間解像度は配列内の強度値の数に比例するため、第１セットの配列は第２セット１９の配列よりも小さい値を含むことになる。これにより、以下で明らかになるように、処理要求を低減することができるため、有利である。

なお、処理量は単に一連の配列の第１セット１８および第２セット１９への分割によってすでに減少しており、第１セットが第２セットよりも解像度の低い画像フレームを表すために有利となっているが、これは任意の特徴である。さらに、同一セット内の配列が全て同じ数の要素を有する、すなわちこれらが表す各画像フレームの解像度が同じであることは必要がないが、処理の面からは効率的である。図に示す実施形態では、合成画像を表す強度値の最終配列２０は、第１および第２セット１８，１９の配列のみに基づいて形成される。別の実施形態では、合成画像が基づく連続的に取り込まれた画像フレームの列の画像フレームを表す配列の第３セットがあってもよい。

図２に示す方法の対象は、最終配列２０がフルダイナミックレンジを占める強度値を含むように第１セット１８の配列の強度値をスケーリングする。この方法は、最終配列内の強度値が８ビット表現で可能となる２５５値の最高値で切り捨てられるという状況を防ぐ役割を果たす。

第１ステップ２１において、配列の第１セット１８の１個以上の強度値配列は、少なくとも部分的に分析される。一実施形態において、この分析は、いくつかまたは全ての強度値のヒストグラムの作成を含む。ヒストグラムの作成に必要とされる処理労力を低減するために、６４値のブロックごとに１つの値のみを用いる。

強度値のかなりが閾値より高いのであればマッピング機能が必要となるが、このマッピング機能は第２ステップ２２で決定される。第２ステップ２２のあとに、マッピング機能に基づいてルックアップテーブル２４が生成されるステップ２３が続く。２５５個の強度値のそれぞれについて、ルックアップテーブル２４にスケーリングされた値が入力される。ルックアップテーブルを用いることにより、比較的効率的なマッピングがＤＳＰ７により行えるようになる。したがって、ルックアップテーブルの使用により、本願で提示する方法は、デジタルカメラ１などの撮像装置での実施に極めて適切なものとなる。

第１セット１８の強度値配列のみがセット２６のスケーリングされた強度値の配列にマッピングされる（ステップ２５）。各強度値は、そのスケーリングされた値を決定するために、ルックアップテーブル２４のインデックスとして用いられる。言うまでもなく、第１セット１８を構成する配列の強度値のみをスケーリングによって、必要なルックアップテーブルはより小さくなる。さらに、ルックアップ動作の数がかなり減少する。以下でわかるとおり、最終配列における各強度値は第２セット１９を構成する配列の少なくとも１個の強度値に基づくため、最終配列２０は高い解像度の合成画像を表したままでもよい。なお、別の実施形態では、マッピング機能は第１セット１８の強度値配列に直接適用されて、ルックアップテーブル２４を省略している。

ルックアップテーブル２４にデータを入力するマッピング機能は、第１範囲の第１スケールから第２のより小さな範囲を占める第２スケールに強度値をマッピングする。一実施形態において、第２スケールの上限は、少なくとも２つの要因に基づいて決定される。第１要因は、第１ステップ２１で分析された配列の強度値がある閾値を越える程度である。第２要因は、第２セット１９の強度値配列の数に基づく。具体的には、閾値は第１および第２セット１８，１９における配列の数で分割される最終配列２０の値をエンコードするダイナミックレンジの最大値である。マッピング機能は、スケーリングされた強度値の配列のセット２６の配列それぞれの強度値の大部分が閾値より低いままであることを保証するよう選択される。本例の第２要因は、第２セット１９における配列数の第１セット１８における配列数に対する比率に基づいている。第２スケールの最大値は、この比率に対応する量だけ閾値を減少することにより取得される。したがって、第１セット１８ならびに第１および第２セット１８，１９の配列のみがスケーリングされることが考慮に入れられる。

その実施においてより効率的な実施形態においては、固定曲線またはルックアップテーブルを用い、第１および第２セット１８，１９における強度値配列の数にのみ依存してスケーリングを決定する。代替的に、マッピング機能は露出オーバーの程度に依存して選択されてもよく、また同様に、第１および第２セット１８，１９の配列それぞれが基づく強度値配列を取り込むのに用いられる画像取り込み装置５の感度が高められた要因に依存して選択されてもよい。

有利な実施形態において、第１ステップ２１は、第１色空間のカラー画像フレームを表す複数の強度値配列を取得することにより強度値配列の第１および第２セット１８、１９を取得し、第２色空間における複数の値配列への変換を適用するステップ（不図示）に先導される。このステップにおいて、第１色空間においては、それぞれが複数の色要素の１つの強度を示すパラメータ値の組み合わせによって画像フレームが表され、第２色空間においては、パラメータ値の組み合わせによって画像フレームが表され、この組み合わせのうちの１個のパラメータは色相を示しそのほかのパラメータの少なくとも１個は光強度を示す。具体的な実施形態において、画像フレームをＲＧＢ（赤・緑・青）色空間で表す強度値配列は画像フレームをＨＬＳ（色相、明度、飽和）色空間で表すパラメータ値の配列にそれぞれ変換される。ＲＧＢ色空間は加法の色空間であり、３つの色要素それぞれの強度が別々にエンコードされる。図２に示す方法全体がＲＧＢ色空間で行われるならば、この方法は基本的に３つセットで行わなければならないことになる。第１および第２ステップ２１，２２は３つの配列の分析を含むことになるが、これらの配列はともに同じ画像フレームの色要素を表すシーンに属する。少なくともスケーリングステップ２５は、画像フレームごとに３つの強度値配列のスケーリングを含む。ＨＬＳ色空間では、画像は、３色要素の相対強度を示す色相、グレーレベルからフルカラーへのスケーリングをもたらす飽和、および色要素の平均強度に実質的に対応する明度（輝度ともいう）、のパラメータの組み合わせによって表される。第１セット１８の明度値の配列のみがスケーリングされる。なお、ＨＳＬ色空間のかわりにＨＳＶ（色相、飽和、値）色空間を用いることができ、ＲＧＢ色空間のかわりにＣＭＹＫ色空間およびＹＵＶ色空間を用いることができる。

すでに述べたように、最終配列２０の各強度値は強度値配列の第２セット１９の配列の少なくとも１個の強度値に基づく。図２に示す実施形態では、これはスケーリングされる強度値の配列のセット２６の各配列の対応する画素値の加算によって保証される。

高い解像度合成画像を得るためには、解像度が調整された配列のセット２７が生成される（ステップ２８）。このステップ２８において、スケーリングされた強度値の配列のセット２６の配列の空間解像度は、増倍率により調整され、増加する。代替案として第２セット１９の配列に表される画像フレームの解像度を下げることがある。スケーリングされた強度値の配列のセット２６の配列に表される画像フレームの空間解像度を高める方法のひとつに、スケーリングされた強度値の配列の強度値の間で補間する方法がある。

最終配列２０は、解像度が調整された配列のセット２１の各配列からの強度値と配列の第２セット１９のそれぞれからの値との加算により取得される（ステップ２９）。画像フレームにより表されるシーンの同じ画素に対応する強度値が加算される。

手ぶれを考慮するために、追加的なステップ（不図示）を行って画像フレームを補正する。補正は、第１および第２セット１８，１９の配列が補正動作の結果となるように、図２に示す第１ステップ２１の前に行ってもよい。この場合、第１および第２セット１８，１９の各配列は、画像取り込み装置５により取得され動きベクトルにしたがって補正された強度値配列に基づく。動きベクトルは、カメラ１の強度値配列が画像取り込み装置により取得された時点間の動きを表現する。これは、モーションセンサ１５から取得されたデータまたは参照により本願に組み込まれる国際特許出願ＰＣＴ／ＥＰ０４／０５１０８０に完全に開示されている方法を用いて取り込まれた画像フレームの分析に基づいている。この特許出願では、方法は、画像フレームの列の連続する画像フレームの少なくとも一部の相対的な動きを示す構成要素を少なくとも表す動きベクトルを計算し、この動きベクトル計算ステップは動きベクトルの少なくとも１個の要素を表す級数展開における第１の期間を少なくとも決定するステップを含み、このステップは複数の画像フレームのそれぞれにおいて少なくとも一部を計算された動きベクトルに従って再配置する推定プロセスを含む。推定プロセスは、合成画像の空間周波数スペクトルの上位範囲に含まれるエネルギーの測定の計算を含み、少なくとも第１の期間を決定するステップは、エネルギーを最大化するためにさらに少なくとも１回の推定プロセスの反復を含む。

代替的な実施形態において、画像フレームは、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）の名前で知られる方法を用いてそろえられる。この方法は、画像フレームを取り込むために十分な光がある場合に適切である。

図３に、図２に示す方法の変形例を示す。本実施形態は、また、強度値配列の第１セット３０と強度値配列の第２セット３１とに基づく。各強度値が画素値であり、画素に関連付けられた領域にわたって関連付けられた色画素の光強度に対応する。図２の第１および第２セット１８，１９について述べたことは、図３の第１および第２セット３０，３１についても同様に当てはまる。ここでも、この説明では配列の第１セット３０の強度値配列は第２セット３１の配列よりも解像度の低い画像フレームを表すと仮定する。

図３の方法において第１ステップ３２は、図３の第１ステップ２１に対応する。これに続くステップ３３では、ここでも、第１セット３０の配列の強度値を第１範囲を占めるスケールから第２範囲を占める第２スケールにマッピングするために、マッピング機能が決定される。マッピング機能は、第１セット３０の配列の全てまたはいくつかの少なくとも一部に基づいて決定される。実質的に、図２の実施形態と同様の方法で決定される。同様に、マッピング機能決定ステップ３３に続くステップ３４で、ルックアップテーブル３４が生成される。ルックアップテーブル３４は、スケーリングされた強度値の配列のセット３７の生成に用いられ（ステップ３６）、ここで各配列は強度値配列の第１セット３０の対応する配列に基づいている。

図３の変形例は、空間周波数領域への変換がスケーリングステップ３６に続く別のステップ３８で行われるという点で、図２の例とは異なっている。変換ステップ３８は、図の例においては離散コサイン変換（ＤＣＴ）を用いて実施される。スケーリングされた強度値の配列のセット３７は、ＤＣＴ係数の配列の第１セット３９の基礎である。強度値配列の第２セット３１は、ＤＣＴ係数の配列の第２セット４０の基礎である。ＤＣＴ変換はＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮アルゴリズムの一部であり、ＤＳＰ７またはコプロセッサ１１のような専用プロセッサでこのようなアルゴリズムを実施することが有利であることがわかっている。ＲＧＢ色空間からＨＬＳ色空間への変換もＪＰＥＧアルゴリズムの一部であり、この特徴も図３に示す実施形態における利点である。色空間の間での変換は、先に説明したとおりである。

加算ステップ４１が、ＤＣＴ係数の最終配列４２を所得するために空間周波数領域で行われる。各係数は空間周波数要素の強度レベルを示し、空間周波数要素のセットは合成画像を形成するのに必要な情報を全て含んでいるため、最終配列４２は合成画像を表す強度値配列を形成する。最終配列４２の低周波数係数は、ＤＣＴ係数の配列の第１セット３９の各配列の低周波数係数と、ＤＣＴ係数の配列の第２セット４０の各配列の低周波数係数との加算により取得される。高周波数係数は、ＤＣＴ係数の配列の第２セット４０の各配列の高周波数係数を加算することにより取得される。ＤＣＴ係数の配列の第１セット３９の（より小さい）配列には上位係数がないため、ＤＣＴ係数の最終配列内の強度値４２のいくつかについては、強度値配列の第１および第２セット３０，３１の両方に基づいて取得される。加算ステップ４１は、好ましくは、最終配列４２における各係数を取得するために用いられる、異なる数の加数を考慮にいれるよう実施される。

離散逆コサイン変換（ＩＤＣＴ）４３は、空間領域における強度値の配列４４につながる。変換ステップ３８とＩＤＣＴ４３はいずれも、デジタルカメラ１のコプロセッサ１１により実行されて有利である。

図４に、第１スケールから第２スケールへのマッピング機能の決定およびスケーリングステップを簡単にする実施形態を示す。これは画素値の配列の第１セット４５および画素値の配列の第２セット４６に基づいて動作する。

第１加算配列４７が第１ステップ４８で形成される。第１セット４５の配列はそれぞれ同じ解像度の画像フレームを表し、第１加算配列の各強度値は第１セット４５の各配列からの対応する強度値の加算により取得される。解像度が同じでない場合には、まず補間を行ってもよく、またはより高い解像度の画像フレームを表す配列が共通の解像度に対応するまで縮小されてもよい。第１加算配列４７は、また、複数の先行する画像フレームに基づくものであっても画像フレームの表示に適切であり、１つの数からなる配列のセットを形成する。代替的な実施形態では、複数の加算配列を形成することができ、それぞれ第１セット４５の配列のサブセットに基づき、複数の加算配列は本明細書で用いる用語で第１セットを形成する。

強度値の第１加算配列４７は分析されて（ステップ４９）、第１範囲を占める第１スケールから第２範囲を占める第２スケールにマッピングするマッピング機能が決定される。すでに述べたように、この分析は、強度値すなわちＤＣＴ係数のいくつかまたは全てについてのヒストグラムの形成を含んで有利である。ここでも、これは第１加算配列内の強度値のブロックごとに１つの値を用いて行われてよい。しかしながら、第１加算配列４７のみが分析されるため、図４の実施形態では多数の強度値配列を分析する必要がある実施形態に比べてより複雑な分析が可能となる。

強度値のかなりが閾値より高いのであればマッピング機能が必要となる。ルックアップテーブル５０がマッピング機能に基づいて生成される（ステップ５１）。例えば、２５５個の強度値のそれぞれについて、ルックアップテーブル５０にスケーリングされた値が入力される。

強度値の第１加算配列４７のみがスケーリングされた第１加算配列５３にマッピングされる（ステップ５２）。好ましくは、強度値の第１セット４５の配列は、配列の第２セット４６の配列よりも解像度の低い画像フレームを表す。もしそうではない場合でも、画像フレームが強度値配列の第２セット４６の配列によって表される解像度よりも低い解像度の合成画像フレームを表す第１加算配列４７を生成することは実行可能である。したがって、ルックアップ動作の数は比較的小さく維持される。

先と同様、ルックアップテーブル５０にデータを入力するマッピング機能は、第１範囲の第１スケールから第２のより小さな範囲を占める第２スケールに強度値をマッピングする。第２スケールの上限は、ここでも、少なくとも２つの要因に基づいて決定される。第１要因は、第１加算配列４７の強度値がある閾値を越える程度である。第２要因は、第２セット４６の強度値配列の数に基づく。具体的には、閾値は第１加算配列４７の値をエンコードするダイナミックレンジの最大値である。マッピング機能は、スケーリングされた第１加算配列５３の強度値の大部分が閾値より低いままであることを保証するよう選択される。本例の第２要因は、第２セット４６における配列数の第１セット４５の配列数に対する比率に基づいている。第２スケールの最大値は、この比率に対応する量だけ閾値を減少することにより取得される。したがって、第１加算配列４７のみがスケーリングされ、強度値配列の第２セット４６の配列はスケーリングされないことが考慮に入れられる。

第１加算配列４７のみをスケーリングすることにより、ルックアップ動作の数はさらに減少する。それにもかかわらず、第１加算配列４７を分析して配列の第１セット４５の個々の配列をスケーリングするマッピング機能を得ることが可能となり、これらはスケーリングされた後に加算される。代替的に、第１加算配列４７をスケーリングするマッピング機能を得るために強度値配列の第１セット４５の個々のフレームを分析することもできる。第１加算配列４７のスケーリングの作用により、合成画像を表す強度値の最終配列５４におよぶノイズ量が減少する。

強度値の最終配列５４は、スケーリングされた第１加算配列５３よりも高い解像度の合成画像を表す。このため、後者が処理されて（ステップ５５）解像度が調整されスケーリングされた第１加算配列５６が取得される。ここでも、補間は、解像度が調整されスケーリングされた第１加算配列５６における強度値を取得することができる方法である。

最終配列５４は、最終ステップ５７で取得される。このステップ５７では、強度値の最終配列５４の各強度値は、解像度が調整されスケーリングされた第１加算配列５６からの強度値と強度値配列の第２セット４６の配列のそれぞれからの対応する強度値との加算により取得される。したがって、最終配列５４が強度値配列の第２セット４６の配列における少なくとも１個の強度値にそれぞれ基づいた強度値により形成され、合成画像の高い解像度での表現を実現することは明らかである。

図５に、計算が主に空間周波数領域において実行され、補間または画像フレームが表示される解像度を高める他の方法が必ずしも必要とならない変形例を示す。図５に示すこの変形例はＤＣＴ動作５８から始まる。ＤＣＴ動作５８は、対応する第１解像度の画像フレームのセットを表すＤＣＴ係数の配列の第１セット５９の取得に用いられる。この第１セット５９は、空間周波数領域に対して空間領域の画像フレームをエンコードする画素値の配列のセット６０に基づく。ＤＣＴ係数の配列の第２セット６１は、第２解像度の空間領域の画像フレームをエンコードする画素値の配列の第２セット６２に基づく。本例では、同様に、第２解像度は第１解像度よりも高いものとする。

続くステップ６３で、ＤＣＴ係数の配列の第１セット５９の配列が処理されて第１加算配列６４が取得される。第１加算配列６４の各ＤＣＴ係数は、第１セット５９のそれぞれの配列の対応するＤＣＴ係数を加算することにより取得される。

第１加算配列６４は分析されて、第１加算配列６４のＤＣＴ係数を第１範囲を占める第１スケールから第２の好ましくはより小さい範囲を占める第２スケールにマッピングするマッピング機能が決定される（ステップ６５）。このステップ６５は、図２〜図４の方法の対応するステップ２２、３３、４９に関連して上記で説明したいずれかの方法を用いて実行される。続いて、マッピング機能に基づいてルックアップテーブル６７が生成される（ステップ６６）。

マッピング機能は、少なくとも部分的にＤＣＴ係数の配列の第２セット６１の配列の数に基づいている。これは、第１加算配列６４のＤＣＴ係数のみが第１スケールから第２スケールへマッピングされ（ステップ６８）、ＤＣＴ係数の配列の第２セット６１の配列のＤＣＴ係数はマッピングされなために行われる。このステップ６８で行われるスケーリングの結果がスケーリングされた第１加算配列６９である。

スケーリングされた第１加算配列６９およびＤＣＴ係数の配列の第２セット６１の配列は、図３に示す実施形態の加算ステップ４１に類似のステップ７０で加算される。ＤＣＴ係数の最終配列７１が取得される。ＤＣＴ係数の最終配列７１の下位のＤＣＴ係数は、第１加算配列６４に基づくスケーリングされた第１加算配列６９の下位係数と、ＤＣＴ係数の配列の第２セット６１の配列の対応する下位係数とを加算することによりそれぞれ取得される。最終配列７１の上位ＤＣＴ係数は、ＤＣＴ係数の配列の第２セット６１に含まれる配列の対応する上位係数を加算することのみにより取得される。したがって、ＤＣＴ係数の最終配列７１は、比較的高い解像度、第１加算配列６４により表される画像フレームの解像度よりも高い解像度で合成画像を表すのに適している。

逆ＤＣＴ動作７２は、ＤＣＴ係数の最終配列７１を画素値の最終配列７３に変換し、各画素は合成画像の画素が占める領域の光強度に対応する。

本発明は、以上で説明した実施形態に限定されるものではなく、添付の特許請求の範囲において変更可能なものである。とりわけ、本明細書で概観した方法は、デジタルカメラ１以外のタイプの画像処理システムにより、一部のみまたは全体を実行するのに適している。例えば、汎用パーソナルコンピュータまたはワークステーションが、デジタルカメラ１により連続して高速に取り込まれて記憶装置８に記録される一連の配列における画素値の配列の第１セットおよび画素値の配列の第２セットに基づいて、本方法を実行してもよい。これらの配列により表される画像フレーム間の少なくとも重複した領域を相対的にそろえる配列の処理は、それぞれの実施形態において有利な特徴である。

合成画像形成方法を実施するよう構成されたデジタルカメラを模式的に示す図である。 合成画像形成方法の第１の実施形態を模式的に示す図である。 合成画像形成方法の第２の実施形態を模式的に示す図である。 合成画像形成方法の第３の実施形態を模式的に示す図である。 合成画像形成方法の第４の実施形態を模式的に示す図である。

Claims (12)

1. 複数の画像フレームに基づいて合成画像を形成する方法であって、
   少なくとも１個の強度値配列の第１セット（１８，３０，４７，６４）を取得し、前記配列は当該配列内の強度値の数に対応する解像度の画像フレームを表し、
   少なくとも１個の強度値配列の第２セット（１９，３１，４６，６１）を取得し、前記配列は当該配列内の強度値の数に対応する解像度の画像フレームを表し、
   前記合成画像は最終強度値配列（２０，４２，５４，７１）により表され、
   前記最終配列（２０，４２，５４，７１）の強度値の少なくともいくつかは、それぞれ、前記第１セット（１８，３０，４７，６４）の少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列（２７，３９，５６，６９）のそれぞれからの強度値と、前記第２セット（１９，３１，４６，６１）の少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列（１９，４０，４６，６１）のそれぞれからの強度値とを加算するステップ（２９，４１，５７，７０）を実行することにより取得され、
   前記加算ステップ（２９，４１，５７，７０）の実行に先立って、前記第１セット（１８，３０，４７，６４）内の前記配列の前記強度値のみが第１範囲内のスケールから第２範囲内のスケールにマッピングされる方法。
2. 第１セット（１８，３０，４７，６４）と第２セット（１９，３１，４６，６１）とを取得し、前記第１セット（１８，３０，４７，６４）と前記第２セット（１９，３１，４６，６１）とは、前記第１セット（１８，３０，４７，６４）における前記配列により表される前記画像フレームが前記第２セット（１９，３１，４６，６１）における前記配列により表される前記画像フレームよりも低い解像度で表示されるように配される請求項１に記載の方法。
3. 前記第１セット（３０，６４）の少なくとも１個の強度値配列のみに基づく前記少なくとも１個の強度値配列（３９，６９）は、空間周波数領域における係数を含み、
   前記第２セット（３１，６１）の少なくとも１個の強度値配列のみに基づく前記少なくとも１個の強度値配列（４０，６１）は、前記空間周波数領域における係数を含み、
   前記最終配列（４２，７１）の前記強度値は、前記空間周波数領域における係数により形成され、前記最終配列（４２，７１）の少なくとも１個の下位係数は、前記第１セット（３０，６４）の少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列（３９，６９）のそれぞれからの強度値と、前記第２セット（３１，６１）の少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列（４０，６１）のそれぞれからの強度値との加算により取得され
   前記最終配列（４２，７１）の少なくとも１個の上位係数は、前記第２セット（３１，６１）に基づく強度値配列（４０，６１）のみに基づいて取得される請求項２に記載の方法。
4. 前記第１および第２セットの前記強度値配列の少なくともいくつかは、感光セルの配列を含む画像取り込み装置からの測定値の読み出しにより取得され、前記最終配列（２０，４２，５４，７１）の各強度値は、前記第２セットに含まれる配列の少なくとも１個の強度値に基づく請求項２または３に記載の方法。
5. 第２セット（１９，３１，４６，６１）の強度値配列の数に少なくとも部分的に依存して前記第２範囲の上限を決定する請求項１から４のいずれかに記載の方法。
6. 前記第１セット（４７，６４）の少なくとも１個の前記強度値配列は、前記配列内の強度値の数に対応する解像度の画像フレームを表す複数の強度値配列（４５，６０）を取得し、前記複数の配列（４５，６０）それぞれからの強度値を加算して前記第１セット（４７，６４）内の前記少なくとも１個の配列における対応する強度値を取得することにより取得される請求項１から５のいずれかに記載の方法。
7. 前記第１セット（１８，３０，４７，６４）における前記強度値配列の少なくとも１個は、前配列内の強度値の数に対応する解像度の画像フレームを表す複数の複数の強度値配列（４５，６０）を取得することによって取得され、前記方法は、さらに、
   前記取得された複数の配列（４５，６０）それぞれからの強度値を加算して中間合成配列（４７，６４）における対応する強度値を取得し、
   前記中間合成配列（４７，６４）の少なくとも１個の強度値に少なくとも部分的に依存して前記第２範囲の上限を決定する請求項１から６のいずれかに記載の方法。
8. 前記第１セットの少なくとも前記強度値配列は第１色空間のカラー画像フレームを表す複数の強度値配列を取得することにより取得され、第２色空間の複数の値配列への変換を適応し、前記第１色空間において、画像フレームはパラメータ値の組み合わせによって表され、各パラメータは複数の色要素の１個の強度を示し、前記第２色空間において、画像フレームはパラメータ値の組み合わせによって表され、前記組み合わせのうちの１個のパラメータは色相を示し、そのほかのパラメータの少なくとも１個は光強度を示す請求項１から７のいずれかに記載の方法。
9. 強度値配列を処理するシステムであって、各配列は前記配列における強度値の数に対応する解像度で画像フレームを表すのに適しており、
   前記システムは、少なくとも１個の強度値配列の第１セット（１８，３０，４７，６４）と少なくとも１個の強度値配列の第２セット（１９，３１，４６，６１）とを読み出し、前記第１セット（１８，３０，４７，６４）の配列と前記第２セットの配列はそれぞれ画像フレームを表し、合成画像を表す強度値の最終配列（２０，４２，５４，７１）を形成するよう構成され、
   前記システムは、前記最終配列（２０，４２，５４，７１）の強度値の少なくともいくつかを、前記第１セット（１８，３０，４７，６４）の少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列（２７，３９，５６，６９）のそれぞれからの強度値と、前記第２セット（１９，３１，４６，６１）の少なくとも１個の強度値配列のみに基づいて少なくとも１個の強度値配列（１９，４０，４６，６１）のそれぞれからの強度値とを加算するステップを実行することにより取得されるよう構成され、
   前記システムは、前記加算ステップの実行に先立って、前記第１セット（１８，３０，４７，６４）内の前記配列の前記強度値のみが第１範囲内のスケールから第２範囲内のスケールにマッピングされるよう構成されるシステム。
10. 請求項１から８のいずれかに記載の方法を実行するよう構成された請求項９に記載のシステム。
11. プロセッサ（７，９，１１）と複数の強度値配列を記憶する少なくとも１個の記憶装置（８）とを備える例えばデジタルカメラ（１）である撮像装置であって、請求項１から８のいずれかに記載の方法を実行するよう構成された撮像装置。
12. コンピュータプログラムであって、機械読取可能な媒体に組み込まれたときに情報処理能力を有するシステム（１）に請求項１から８のいずれかに記載の方法を実行させることができるインストラクションのセットを含むコンピュータプログラム。

Images