JP2002524930A

JP2002524930A - 画像を電子的に拡張する方法および装置

Info

Publication number: JP2002524930A
Application number: JP2000568248A
Authority: JP
Inventors: ルカボゴニ，; マイケル，ウェイドハンセン，; ピーターバート，; キース，ジェイムズハンナ，
Original assignee: サーノフコーポレイション
Priority date: 1998-08-28
Filing date: 1999-08-27
Publication date: 2002-08-06
Also published as: DE69909635D1; EP1110381A4; KR20010085748A; EP1110381B1; WO2000013407A1; DE69909635T2; EP1110381A1

Abstract

(57)【要約】画像融合プロセスは、入力画像（８１０、８１２）のそれぞれのピラミッド分解（８１４、８１６）を実行する。前記ピラミッド分解の前記構成要素は、それぞれの特徴ピラミッド（８２２、８２４）を形成するために、特徴のために処理される（８１８、８２０）。それから、前記特徴ピラミッドは、マージ画像を形成するために結合される。それから、前記マスキングピラミッドが使用され（８３０）、前記入力画像の前記ピラミッド分解からマージ画像（８３２）を構築する。

Description

【発明の詳細な説明】

【０００１】（技術分野）本明細書は、ここに参照して組み込まれる１９９８年８月２８日に提出された
米国仮出願番号第６０／０９８，３４２号の利益を主張する。

【０００２】（背景技術）本発明は、画像を電子的に拡張するためのシステムおよび技法に関し、特に単
一の拡張された画像を作成するために時間的に近くに撮影された複数の画像を処
理するための装置および方法に関する。

【０００３】異なった種類のビデオセンサは、軍事／サーベイランス用途および民生電子機
器用途の両方で普及し続けている。１０年前には、民生級のビデオカメラは人気
を得始めたところにすぎなかった。そのときから今日まで、ビデオ画像を録画、
再現することができるさまざまな形の民生電子機器が普及してきた。典型的には
、これらのビデオレコーダは、（８ｍｍフォーマットおよびＶＨＳフォーマット
などの）標準テープでアナログビデオを録画し、新しいオールデジタルカメラが
人気を得始めている。

【０００４】加えてデジタルスティルカメラも人気が高まってきている。これらのカメラは
相対的に標準ビデオセンサを具備し、典型的には同じセンサがビデオカメラの中
で使用され、個々のビデオフレームをグラブするように設計し、それらを後にＰ
Ｃにダウンロードするために実装されているメモリの中に記憶する。これらのカ
メラは人気があるが、それらを使用する人は、より高品質な画像を提供するカメ
ラは高価であり、これらのカメラさえ類似した条件下で標準フィルムカメラを用
いて撮影した写真と比較すると、品質の点で期待はずれである写真を生じさせる
ことに気付いてきた。

【０００５】高性能市場および軍事市場のために実にさまざまなビデオセンサが開発されて
きた。これらのセンサは、標準可視（例えば、ＴＶ）画像イメージャｓ、可視光
波長および非可視光波長だけではなく熱も検出できる赤外線（ＩＲ）センサ、シ
ーンで見られる光量を増幅する強化型ナイトビジョンセンサ、および多様なそれ
以外の波長でのエマネーションを検出するさらに新型のセンサを含む。これらの
センサは改善され、初期のセンサに優ってきたが、依然として、雑音および処理
の人工遺物という点でビデオ信号の品質にまつわる問題点がある。例えば、ナイ
トビジョンゴーグルは（前記ゴーグルによって受け取られる光の増幅プロセスの
ために）うるさいことで有名であり、ＩＲセンサはその通常の走査方法のために
雑音およびモーション人工遺物の両方を受けやすい。これらのセンサの性能を高
めるために、多様な後処理ステップが使用されている。

【０００６】この開示の総合テーマとは、複数の画像に作用し、単一の拡張画像を生成する
デジタル画像処理技法を使用して、ビデオ形式で、またはスティル写真のどちら
かでデジタル画像の品質を高めることである。その構造に関係なく任意のビデオ
船さの性能を高め、（センサの被写界深度を拡張するために複数の画像を結合す
るなど）達成することが物理的に不可能である機能拡張を提供する能力を含む、
これらの方法を使用することの複数の優位点がある。

【０００７】本発明の例示的な実施態様において、前記センサ画像を拡張するために使用さ
れる方法は、複数のビデオフレームを単一出力に結合することに依存する。複数
の画像が、その結果単一画像フレームを生成するために電子的な処理を使用して
結合されるインスタンスがあるだろう。ビデオストリームとして受け取られる複
数の入力ビデオフレームが処理され、拡張されたビデオストリームが前記プロセ
スの出力となるインスタンスもある。

【０００８】（発明の開示）本発明の総合テーマは、複数の画像に作用し、単一の拡張画像を生成するデジ
タル画像処理技法を使用して、ビデオ形式で、またはスティル写真としてのどち
らかでデジタル画像の品質を高めることである。その構造に関係なく任意のビデ
オセンサの性能を高め、（前記センサの被写界深度を拡張するために複数の画像
を結合するなど）物理的に達成することが不可能である機能拡張を提供する能力
を含む、これらの方法を使用することの複数の優位点がある。

【０００９】本発明の例示的な実施態様では、前記センサ画像を拡張するために使用される
方法は、単一出力フレームを生成するために複数の入力ビデオフレームを調整、
結合することに依存する。単一画像フレームだけが複数の入力画像から生成され
るインスタンスがある。ビデオストリームとして受け取られる複数の入力ビデオ
フレームは、拡張ビデオフレームを生成するために処理される。

【００１０】本発明の１つの態様は、カラー画像を拡張するために使用されてよい画像処理
システムおよび方法で実現される。

【００１１】本発明の１つの実施態様は、カラー画像のダイナミックレンジを改善すること
に関係する。多くのビデオセンサおよびスティル画像センサが、フィルムまたは
人間の視界の性能に比べてまさるとも劣らないダイナミックレンジを提供するこ
とはできない。これが、前記シーンの一定部分の飽和につながる。この飽和は、
ブルーミング（つまり、明るすぎて見える画像の部分）あるいは暗い領域での画
像詳細の欠如のどちらかとして出現する。本発明に従って、アパーチャおよび／
または統合時間の異なる設定値で写された画像のシーケンスは、個別画像のどれ
かより優れたダイナミックレンジを有する単一画像の中に結合される。前記カラ
ーピクセルは前記結合された画像上で平均化される一方、前記画像のどの部分が
結合されなければならないのかの選択は、画像のそれぞれにおいての輝度のレベ
ルに基づいている。

【００１２】本発明の別の実施態様は、カラー画像の被写界深度の改善に関係する。多くの
電子センサは、限られた被写界深度だけを提供する光学部品とともに使用される
。これは、前記センサが相対的に広い視野を有し、ユーザが前景被写体と背景被
写体の両方の焦点が合った写真を撮影できることを希望するときに、特に顕著で
ある。標準光学部品は、光が低い状態でのフィルムカメラまたはデジタル船さで
の拡張された被写界深度をサポートしない。つまり、これがセンサのピンホール
モデルに関する物理的特性の制限である。本発明は、それぞれが同じアパーチャ
および統合時間設定値を有するさまざまな焦点面で複数の画像を写すことによっ
て、幅広い被写界深度を有する単一画像を提供する。前記多様な画像の焦点が合
った部分が、前記単一画像を形成するために融合される。前記融合プロセスは、
画像のそれぞれの詳細のレベルと前記多様な画像のカラーピクセルの相対的な飽
和の両方に基づく。

【００１３】本発明の別の態様は、不安定なカメラプラットホームから写される画像の品質
を高めるための方法で実現される。特に、光が低い状態で、不安定なプラットホ
ームまたは移動プラットホームから撮影されるスティル画像は、前記カメラの前
記統合時間が前記センサの動きに関して大きいために動画のぼやけを含む傾向が
ある。オペレータがデジタルスティルカメラのシャッターを押すときに発生する
ように、任意の画像がこの状況で写されると、著しい動画のぼやけがあるフレー
ムが選択されるだろう。本発明に従った方法は、前記シャッターが押されたとき
に複数の画像を捕捉し、どの画像が動画のぼやけが最も少ないのかを判断するた
めに各画像を分析する。この画像が、前記カメラの前記出力画像として提供され
る。

【００１４】しかも本発明の別の態様は、光が低い状況でシーンの鋭い画像を得るための方
法で実現される。前記例示的な方法は、相対的に短い時間枠内で複数の画像を捕
捉し、これらの画像のそれぞれが短い統合時間で撮影される。その後で、これら
の複数の画像は調整、蓄積され、従来のデジタルカメラで生成される画像に比較
して、鮮明な詳細および削減された運動人工遺物を有する単一画像を提供する。

【００１５】本発明の別の態様に従って、無作為の非線形運動人工遺物を削除するための方
法が提供される。特に屋外で、大きな熱活動、シンチレーション、およびその他
の効果の時間内でのいくつかのイメージング状態により、単一画像内またはビデ
オ画像のシーケンス内で歪みが引き起こされる。この歪みの例は、例えば、熱い
路面上の局所的に加熱された空気の柱を通して写される映像に見られる、ゆらめ
く線である。本発明の例示的な実施態様は、複数の画像上のこの歪みを測定し、
フレームのすべてと基準フレーム間の平均的な歪みの基準を得る。それから、前
記基準フレームは、補正された出力フレームを生成するために平均化された歪み
に従ってそらさせる。

【００１６】本発明の別の態様に従って、ビデオフレームのシーケンス内の各フレームは、
複数のフレームをターゲットフレームの座標系の中にそらせ、前記ターゲットフ
レームの視界内にある前記そらされたフレームのそれぞれのより顕著な部分を特
定し、これらのより顕著な特徴を前記ターゲットフレームと融合し、前記出力画
像を生成する。

【００１７】本発明の別の態様に従って、ビデオ画像のカラー解像度は、画像の輝度成分と
クロミナンス成分の間に変位フィールドを生成してから、前記クロミナンス成分
を前記輝度成分に対応してそらせることによって拡張される。

【００１８】（発明を実施するための最良の形態）異なる種類のセンサからビデオを拡張、処理することを必要とする大量の作業
がある。これらの技法は、前述された機能拡張のためのさまざまな方法に取り組
むとして記述することができる。

【００１９】デジタルスティルカメラおよびビデオカメラの市場の中では、前記Ｂａｙｅｒ
符号化されたビデオセンサから高解像度カラービデオ画像を生成するための方法
が幅広く使用されている。これらの色補間技法は周知であり、これらの方法の多
くの種類が文献に記述されている。しかしながら、色補間以外に、ビデオシーケ
ンスを拡張するために使用される方法はほとんどない。

【００２０】明示的なセンサ物理的特性およびセンサ技術の領域では、かなりの量の過去の
研究が行われた。明暗が強められた画像、ＣＭＯＳおよびＣＣＤイメージング技
法などの電子方法、およびそれ以外の形のセンサ技術が開発されてきた。これら
の技術のいくつかは後述されるだろうが、一般的にはこれらの技法のそれぞれは
、後処理ステップとしてではなく、前記センサレベル自体で介入することを通し
てセンサ自体を改善するために開発される。

【００２１】普通の従来の技術のデジタルスティルカメラが、図１に示されている。このカ
メラは、画像をＣＣＤイメージャ（ｉｍａｇｅｒ）１１２の上に集束するレン
ズシステム１１０を含む。前記ＣＣＤイメージャ１１４は、前記画像を別個の
輝度（Ｙ）成分およびクロミナンス（ＵとＶ）成分として捕捉、デジタル化する
。それから、これらの成分は、コンピュータへ後にダウンロードするためにメモ
リ１１４の中に記憶される。前記レンズ１１０の焦点とアパーチャ、前記イメー
ジャ１１２の統合時間、および前記イメージャ１１２から前記メモリ１１４への
データの転送は、多様なカメラ成分のために、ユーザ設定値（図示されていない
）を制御信号に変換する制御プロセッサ１１６によって支配される。

【００２２】図２は、本発明に従ったデジタルスティルカメラ（またはデジタルビデオカメ
ラ）のブロック図である。このカメラは、レンズ１１０、イメージャ１１２、お
よび制御プロセッサ１１６も含む。前記カメラは、画像プロセッサ１１８を、お
よび前記プロセッサ１１８が十分な内蔵メモリには、オプションメモリ１２０（
仮想線で図示される）を含む。図２に示されている前記制御プロセッサは、前記
レンズシステム１１０おおよびイメージャ１１２を制御し、複数の画像を密に連
続して捕捉する。これらの画像は、前記画像プロセッサにより処理され、単一の
拡張画像を生成する。前記イメージャ１１２は、１秒に３０コマを捕捉できる従
来のＣＣＤビデオイメージャであってよいか、それは毎秒３００コマを捕捉でき
る高速イメージャであってよい。この第２型イメージャを使用して、後述される
本発明は、拡張ビデオシーケンスの個々の画像を生成するために使用されてよい
。

【００２３】図３は、図２に図示されている画像プロセッサ１１８として使用するために適
したリアルタイムビデオ処理システム（ＶＰＳ）を示す。ＶＰＳの主要な構成部
品は、以下のとおりである。

【００２４】専用ビデオハードウェアを制御するため、前記ビデオハードウェアの中に容易
にマッピングされない画像分析動作を実行するため、およびＶＰＳシステムの一
体化した部分ではないその他の構成部品との通信を容易にするための、汎用マイ
クロプロセッサまたはデジタル信号プロセッサ（ＤＳＰ）１２４を提供するプロ
セッサマザーボード（ＰＭ）１２２。

【００２５】前記ＶＰＳ内のベースラインビデオ処理構成部品である１つまたは複数のビデ
オプロセッサマザーボード（ＶＰＭ）１２６。各ＶＰＭ１２６は、（グローバル
ピクセルクロックに基づき）一定の速度でビデオのストリーム上で動作を実行す
ることができる専用の平行パイプラインビデオハードウェアを具備する。図３に
示されているように、前記ＶＰＭ２０は、特殊化された画像取得、表示、および
処理装置用のビデオ処理ドーターボード（ＶＰＤ）１２８と呼ばれる、１つまた
は２つのドーターボードの増設もサポートする。示されているように、単一ＶＰ
Ｓシステム内には１つまたは複数のＶＰＭがあり、それぞれがＶＰＤ１２８の独
自のセットを備えている。

【００２６】グローバルビデオバス（ＧＶＢ）１３２は、例えば、毎秒３３Ｍｂｙｔｅｓで
ビデオ情報をＶＰＳのＶＰＭ１２６間で転送できるようにし、ビデオを前記ＰＭ
１２２でマイクロプロセッサ１２４へ、およびマイクロプロセッサ１２４から転
送できるようにする。

【００２７】グローバル制御バス（ＧＣＢ）１３０は、前記ＰＭ１２２、前記ＶＰＭ１２６
、および前記ＶＰＳの前記ＧＶＢ１３０の間で制御信号およびステータス信号を
転送する。前記ＶＰＳ内の宛先ボードのレジスタを制御するための前記ＰＭ１２
２によるアクセスは、ＧＣＰ１３０上で裁定される。典型的には、このＧＣＢ１
３０上でビデオトランザクションは実行されない。

【００２８】ＰＭ１２２は、前記ＶＰＳのマイクロプロセッサコードとして機能する。２台
のマイクロプロセッサ１２４はＰＭ１２２で実際に使用され、さらに１台または
２台のマイクロプロセッサ１２４をドーターボード構成部品として増設する可能
性がある。前記ＰＭ１０の最も重要な機能とは、コマンドおよび前記ＶＰＭ１２
６およびその対応するＶＰＤ１２８によって実行されるビデオ処理動作の制御を
提供することである。前記ＶＰＳ内でのビデオ処理動作は、前記ビデオハードウ
ェア内で制御レジスタを使用して構成され、前記それぞれのプログラムされた動
作は、その動作の実行の始まりを定義するイネーブル信号をアサートすることに
よって開始される。これらの制御レジスタは、前記マイクロプロセッサ１２４の
メモリスペースの中にマッピングされる。前記マイクロプロセッサ１２４の１台
または複数台にロードされている高水準Ｃ呼出し可能ハードウェア制御ライブラ
リが、前記ビデオｈ−度ウェアの調整を容易にするために使用される。制御機能
に加え、前記ＰＭ１２２は、使用可能な専用ハードウェアを使用して、より効率
的に実行することができない画像処理能力を提供する。

【００２９】前記ＶＰＭ１２６は、専用のビデオ処理ボードである。ＶＰＳ内のすべてのビ
デオハードウェアは、平行パイプライン様式でビデオストリーム上で動作する。
つまり、ビデオデータは一度に１ピクセル、フレーム記憶装置の中から読み出さ
れ、適切なタイミング信号がアクティブなビデオ情報を組み立てる。このビデオ
は、システムの中を流れるにつれて、ＶＰＭ１２６上の多様な処理装置により処
理される。ＶＰＭ１２６上のすべての処理構成要素は、データ処理用のこのフロ
ー貫通アーキテクチャ中で動作するように設計されている。各処理装置は、処理
に固定量のパイプライン遅延を追加するが、前記システムを通して前記データを
維持する。このようにして、実行中の動作に依存する固定量のパイプライン遅延
を考慮すると、１つのビデオフレーム上で動作を実行するのに要する時間の量が
常に決定論的である。システムを通るビデオルーティングは、各ＶＰＭ１２６内
のデジタルクロスポイント交換機を使用することにより実行される。この交換機
は、入力ポートから前記ＶＰＭ１２６へ、あるいは前記ＶＰＭ１２６上の任意の
処理要素の前記出力ポートから前記ＶＰＭの出力ポートへ、または前記ＶＰＭ上
の任意の処理要素の前記入力ポートへのビデオをイネーブルする。また、前記ク
ロスポイント交換機が、ビデオを、ペナルティなしで１つのソースから複数の宛
先へ「広げる」ことができるようにする。クロスポイント交換機ルーティングを
含むすべてのハードウェア動作は、ＶＰＭ１２６のメモリマップ制御レジスタの
プログラミングを通して定義される。各処理装置、クロスポイントコネクション
、および記憶装置は、特定の動作を定義するために走査されるレジスタのセット
（図示されていない）を有する。前記マイクロプロセッサ１２４は、これらのレ
ジスタをセットアップし、ビデオ動作を開始できるようにするために使用される
。

【００３０】前記グローバルビデオバス（ＧＶＢ）１３２は、ビデオデータを前記ＶＰＳシ
ステムボード間で送る。ビデオは、ＶＰＭ１２６の組の間、およびそれぞれのＶ
ＰＭ１２６と前記ＰＭ１２２の間で送ることができる。前記ＧＶＢ１３２は、固
定トポロジーのある前記ＶＰＳシステムボード間に専用のハード被経路選択デー
タチャネルを提供してよい。代わりに、前記ＧＢＶ１３２は、前記ＶＰＳアクテ
ィブバックプレーン上に直接実現されている二次的なクロスポイント交換機を会
するアクティブルーティング機能を含んでよい。

【００３１】前記ＧＣＢ１３０は、前記ＶＰＳシステムボードに前記ＰＭ１２２を結合する
。ＰＭのマイクロプロセッサ１２４による制御レジスタアクセスは、ＧＣＢ１３
０を使用して実行される。ＧＣＢ１３０は、大部分の種類のマイクロプロセッサ
によって使用される、任意の標準アドレスおよびデータバスであってよい。

【００３２】図２は、前記ＶＰＭ１２６用の例示的な構成を示す。前記ＶＰＭ２０は、前記
ＶＰＳに基本的なビデオ処理機能を提供する。それぞれの例示的なＶＰＭ１２６
は、以下の構成部品を含んでよい。

【００３３】前記クロスポイント交換機バス上で転送されるビデオデータのピクセルごとに
、８ビットのビデオデータおよび２ビットのタイミング情報を表すチャネルあた
り１０ビットの３９ｘ３９のチャネルブロッキングクロスポイント交換機。

【００３４】４つの１Ｋｘ２Ｋピクセルフレーム記憶メモリＦＳ１−ＦＳ４（２０４−２１
０）。これらのフレーム記憶装置メモリ２０４−２１０は、三重に移植され（ｔ
ｈｒｅｅ−ｐｏｒｔｅｄ）、完全速度ビデオ読取りおよびビデオ記憶を同時に可
能にする。第３のランダムアクセスポートも、前記フレーム記憶装置メモリの直
接的なマイクロプロセッサアクセスのために提供される。

【００３５】４つのピラミッド生成モジュール２１２−２１８．これらのピラミッドモジュ
ール２１２−２１８は、米国特許出願番号第０８／８３８，０９６号に記述され
る種類のＰＹＲ−２フィルタリングＡＳＩＣを使用して実現される。各ピラミッ
ド処理モジュール２１８は、ポイントに関する画像変換のために８ビットルック
アップテーブル（ＬＵＴ）２２０−２２６と関連している。ＡＳＩＣの各組は、
それらが１６ビットデータストリームでピラミッド動作を実行するために結合で
きるように構成される。

【００３６】１個の構成可能ＡＬＵ（ＣＡＬＵ）２２８。ＣＡＬＵ２２８は、ポイントに関
する動作を、画像の組で実行できるようにする。ＣＡＬＵ２２８は、１６ビット
入力から１６ビット出力（１６：１６）ルックアップテーブル（ＬＵＴ）および
３２ビットアキュムレータが後に続く、自動的なタイミング調整のためにその入
力でタイミング補償器およびプログラム可能画像遅延２３０を含む。

【００３７】１つのプログラム可能ＡＬＵ（ＰＡＬＵ）２３２。ＰＡＬＵ２３２は、複数画
像動作に使用される。ＰＡＬＵ２３２は、最高１６ＭｂｙｔｅｓのＤＲＡＭを含
む再構成可能フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）から構成され
ている。それは、４つのビデオ入力および２つのビデオ出力をサポートする。Ｐ
ＡＬＵ２３２に関するさらに詳細な説明は、やはり本譲受人に譲渡されている統
合タイミング情報を有するデジタル信号処理回路構成要素（ＤＩＧＩＴＡＬＳ
ＩＧＮＡＬＰＲＯＣＥＳＳＩＮＧＣＩＲＣＵＩＴＲＹＨＡＶＩＮＧＩＮ
ＴＥＧＲＡＴＥＤＴＩＭＩＮＧＩＮＦＯＲＭＡＴＩＯＮ）と題される１９９
８年９月４日に提出された米国特許出願番号第０９／１４８，６６１号に提供さ
れている。

【００３８】２つのＶＰＤサイト２３４と２３６は、前記ＶＰＳをさまざまな用途のために
特殊化する目ｋ的でドーターボード構成要素をインストールするために使用され
る。前記例示的なＶＰＳ１２２、ＧＶＢ１３３２、およびＶＰＤ１２８は、単一
システム全体クロック信号と同期している。

【００３９】前記ＶＰＭ２０は、ＶＰＭ２０、ビデオ記憶装置モジュール、前記ＧＶＢ１３
０、および前記ＰＭ１０の間でのビデオ転送用に標準化されたビデオフォーマッ
トを使用する。このビデオフォーマットは、水平アクティブ（ＨＡ）および垂直
アクティブ（ＶＡ）データの領域を示すことによって前記アクティブビデオデー
タを組み立てる２個のタイミング信号を加えた、ピクセルあたり８ビットのデー
タから構成されている。画像内の各アクティブ線間には固定帰線消去間隔がある
。この帰線消去期間は、ＨＡアサート未（低）およびＶＡアサート済み（高）
で定義される。また、各画像の始まりおよび最後に帰線消去期間があってよい。
すべてのビデオデータは、前記ＶＰＳシステムクロックと同期している。

【００４０】ＶＰＳ内での前記平行パイプラインハードウェアは、データとともにビデオフ
レーム信号を使用し、アクティブ画像およびビデオデータ用帰線消去の領域を描
く。この情報は、前述されたように、前記ＶＰＳ内でビデオデバイスを簡略化し
、それらのデバイスをソフトウェア制御を通して容易にプログラム可能にするの
に貢献する。他の批判的なＶＰＳの目的は、ビデオ処理動作操作のため、同期化
が始まることを提供することである。ビデオタイミングが既知の初期条件ととも
に始まることを確実にするために、複数のビデオ経路のためのビデオタイミング
が同期様式で始動されるのは必須である。（チャネル間のタイミングスキューと
しても知られる）複数のチャネルからのタイミングの初期差異が未知であろうた
め、この保証がない場合には、前記ビデオハードウェアは、複数のストリームで
動作を実行するときに、つねに、タイミング補償を実行しなければならない。ソ
ースビデオデバイスからのビデオ読取り動作に同期始動を提供するために、ＲＤ
＿ＳＴＡＲＴと呼ばれている１つの共通制御信号が、前記ＶＰＳ内で提供される
。（マイクロプロセッサ制御下のレジスタへの書込みを通して）ＲＤ＿ＳＴＡＲ
Ｔがアサートされると、すべての過去にイネーブルされたビデオソースデバイス
が、同期様式での読出しを始めるだろう。これが、プログラマに、それ以降の処
理のためのビデオタイミング分析を簡略化するために必要であるビデオタイミン
グの既知の初期条件を提供する。好ましい実施態様においては、前記ＲＤ＿ＳＴ
ＡＲＴ信号は、（複数のＶＰＭ２０のあるシステム内での）指定された「マスタ
」ＶＰＭ２０で生成され、前記ＶＰＭ「マスタ」を含むすべてのＶＰＭ２０およ
び前記ＶＰＳ内のすべてのＶＰＤによって同期して受信される。「マスタ」ＶＰ
Ｍ２０の前記使用は、前記ＶＰＳが、複数の独立したＲＤ＿ＳＴＡＲＴを含む複
数の「マスタ」を有するのを制限しない。各ＲＤ＿ＳＴＡＲＴは、選択されたＲ
Ｄ＿ＳＴＡＲＴマルチプレクサを通してさまざまなソースから制御されてよい。
複数のＲＤ＿ＳＴＡＲＴは、非同期独立ビデオ動作を実行できるようにする。

【００４１】前記ＣＡＰＵ２２８は、その入力および５１２Ｋｘ２６ＳＲＡＭバンクで
の二重ＦＩＦＯバッファ２３０付きのＣＡＰＵ制御装置として、ＸｌｉｎｘＸ
Ｃ４０１０ＦＰＧＡまたはＸｉｌｉｎｘＸＣ４０２８を使用して実現される
。前記入力ＦＩＦＯ２３０は、前記２つのビデオ経路間の任意のタイミングスキ
ューを補償するため、および前記２つの画像間に決定論的にプログラム可能な遅
延を提供するために、ＣＡＬＵ２２８内の制御レジスタを通してプログラム可能
である。

【００４２】また、前記自動タイミング補償は、前記ＰＡＬＵ２３２内で実現できるが、そ
れは前記チップの外部に明示的なメモリ構成要素（ＦＩＦＯ）を持たないため、
それは内蔵リソースを使用する必要がある。この理由のため、アプリケーション
によっては、前記タイミング補償をＰＡＬＵの中に含むことを選ばなかったり、
それはさらに小さいタイミング差異を補償してよい。

【００４３】ＣＡＬＵ２２８は、１６ビット入力および１６ビット出力ＬＵＴを通してポイ
ントに関する画像動作を実行し、それが前記２つの入力ピクセル値に基づく一意
の１６ビット出力値を生成する。前記ＬＵＴはＳＲＡＭ内で実現され、ソフトウ
ェアを通してプログラム可能である。画像乗算、加算等の共通動作は、これらの
ＬＵＴを既知の様式で使用して実現できる。（画像の水平部分導関数および垂直
部分導関数に基づいた傾斜データの角度および規模を生成するなどの）さらに複
雑な動作も、そのプログラム可能な性質のためにＣＡＬＵＬＵＴを用いて可能
である。実際には、変換が入力値の一意の組ごとに単一出力値を生成する場合に
、任意の二重画像動作がＣＡＬＵＬＵＴで実現可能である。

【００４４】ＣＡＬＵ２２８は、内部的に３２ビット画像アキュムレータも有する。このア
キュムレータは、入力画像の内の１つ、またはＣＡＬＵＬＵＴの出力を画像の
全体的な範囲で蓄積できるようにする。これは、画像の平均値を求める高速な方
法をイネーブルし、完全画像相互相関計算などの動作にも使用できる。

【００４５】好ましくは、本発明の前記ＶＰＳ内のすべてのそれ以外のＡＬＵおよびＦＰＧ
Ａだけではなく、ＣＡＬＵ２２８も、さまざまなハードウェア機能のために再構
成可能であり、その場合、前記再構成は、ＪＴＡＧインタフェースを通して前記
ＰＭ１０の前記マイクロプロセッサ１２の１台または複数台上のソフトウェア
からである。

【００４６】ＰＡＬＵ２３２は、多数のビデオ動作のための再構成可能デバイスとして設計
されてきた。ＰＡＬＵ２３２は、電源投入リセット後の前記ＰＭ１０上のマイク
ロプロセッサ１２による境界走査を使用する試験デバイス用に設計されたシリア
ル通信チャネルである、ＪＴＡＧ制御を通してプログラムされるように設計され
ている。ＰＡＬＵ２３２は、４つのビデオ入力および４つのビデオ出力を有し、
１６ビットの２項関数機能を前記ＶＰＳに与える。ＰＡＬＵ２３２は、それに接
続されている４Ｍｘ３２ＤＲＡＭを有し、その結果、大型３２ビット幅の
メモリバンクを利用してよいソフトウェア構成によって、いろいろな処理機能が
実現できる。ＰＡＬＵ２３２は、前記デバイスを構成するために使用される構成
データに応じて、このようにしてさまざまなビデオ動作のホストを実行するため
にプログラムすることができる。

【００４７】ＶＰＭ２０上のＶＰＤサイト２３４と２３６が、前記ＶＰＳの機能を拡大、カ
スタマイズするために提供される。ビデオディスプレイ、ビデオデジタイザ、相
関装置、画像ワーパーｓ、およびその他の処理装置などの特殊ビデオデバイスが
、ドーターボード設計の中に組み込み、前記ＶＰＳに追加することができる。各
ＶＰＤサイト２３４および２３６は、どのＶＤＰがインストールされるのかに応
じて、前記ＶＰＭのクロスポイント交換機２０２へ、およびクロスポイント交換
機２０２からのビデオ用の、最高６つのクロスポイント入力および６つのクロス
ポイント出力を有する。また、各ＶＰＳは、割込み駆動ハードウェア制御を調整
するためにそれに対応する４つの割込みを有する。

【００４８】前記に注記されたように、本発明の前記ＶＰＳの設計に対する重大な懸念とは
、単一プロセッサまたは複数のプロセッサによるハードウェアの効率的な制御で
あった。前記ビデオフォーマット、前記ＲＤ＿ＳＴＡＲＴ信号の使用、前記ＣＡ
ＬＵ２２８の自動タイミング補償は、すべて、前記ＶＰＳを容易にかつ効率的に
ソフトウェア内でプログラムできるようにする。前記ＶＰＳビデオをマルチタス
キング、マルチプロセッサ環境で制御できるようにするために、前記ＶＰＭビデ
オデバイスは割込み駆動制御を通して制御される。割込みは、タスクがビデオ動
作が完了するのを待機している間に、タスク交換およびタスクブロッキングのた
めの方法を提供する。

【００４９】前記ＶＰＳ内での重要な割込みは、ビデオ動作の完了を信号で知らせる割込み
である。別に説明されると、割込みは、ビデオシンクとしての役割を果たすビデ
オにより生成される。つまり、ビデオは前記デバイスに入るが、前記デバイスを
出ない。割込み生成のために重要であるデバイスおよび動作は、以下のとおりで
ある。

【００５０】フレーム記憶装置２０４−２１０用の記憶動作の前記完了前記ＣＡＬＵ２２８内での動作の前記完了前記ＰＡＬＵ２３２内での動作の前記完了ＶＰＤ内での関連動作の前記完了ＶＰＭ１２６上の制御レジスタ、ＬＵＴメモリ、およびフレーム記憶装置は、
前記ＧＣＰ１３０を通した前記ＰＭ１２２上のマイクロプロセッサ１２４によっ
てアクセスできる。前記例示的なＧＣＢ１３０は、各ＶＰＭ１２６が、前記ＧＣ
Ｂ１３０からのＰＣＩアクセス要求を復号し、前記ＶＰＭ１２６にとっては内部
であるローカル制御バス２４２を介して、前記ＶＰＭ１２６上の多様なデバイス
に前記アクセス要求を転送するＰＣＩスレーブ（ＧＣＢ）制御装置を有するＣｏ
ｍｐａｃｔＰＣＴ^TMとして実現される。

【００５１】前記ビデオ処理ドーターボード（ＶＰＤ）は、特殊機能を提供するために各Ｖ
ＰＭ１２６に追加される。各ＶＰＤは、制御バスに加えて、前記ＶＰＭクロスポ
イント交換機２０２に直接的に接続されている、多数のビデオ入力ポートおよび
出力ポートを有する。ＶＰＭ１２６の例示的な実施態様においては、２つのＶＰ
Ｄがインストールでき、各ＶＰＤは最高６個のビデオ入力ポートおよび６個のビ
デオ出力ポートを有する。ＶＰＭ１２６の現在好ましい実施態様で実現されてい
る３つのサンプルＶＰＤは、図５から図８に関して後述される。

【００５２】図５は、デジタイザＶＰＤを示す。前記デジタイザＶＰＤは、米国テレビ規格
委員会（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｔａｎｄａｒｄｓＣｏ
ｍｍｉｔｔｅｅ）（ＮＴＳＣ）およびフェーズオルタネートライン（Ｐｈａｓｅ
ＡｌｔｅｒｎａｔｅＬｉｎｅ）（ＰＡＬ）テレビ信号の両方に関して、復号
（ＣＶＢＳ）および構成要素ビデオ（Ｓ−Ｖｉｄｅｏ）データを復号し、デジタ
ル化する、フィリップス（Ｐｈｉｌｌｉｐｓ）チップＳＡＡ７１１１Ａビデオで
コーダ５０２をベースにしている。前記例示的なＶＰＤは、３つの非同期カラー
ビデオ信号をデジタル化するために３つのチャネルを利用する。前記例示的なデ
ジタイザＶＰＤは、別個のビデオデコーダ５０２でそれぞれの色成分をデジタル
化することによってＲＧＢ入力もサポートする。平行ＤＩまたはそれ以外のデジ
タルインタフェース５０４は、平行ＤＩまたはその他のデジタル入力を処理する
ためにも含まれる。

【００５３】ビデオでコーダ５０２は、６０Ｈｚで７２０ｘ２４２フィールドの中で、ある
いは５０Ｈｚ（ＰＡＬ）で７２０ｘ２８８フィールドの中でデータをデジタル化
する。１つは輝度専用（Ｙ）、および１つはインタリーブされたＵカラー成分と
Ｖカラー成分用である、２つのデジタルチャネルが出力に送られる。これは、Ｓ
ＭＰＴＥ１２５Ｍおよび類似の基準に定義された４：２：２のデータを提供する
。各ビデオでコーダ５０２は、輝度チャネル用のＹフィールドバッファ５０６、
および前記カラー（Ｕ、Ｖ）チャネル用のＵＶフィールドバッファ５０８という
２つのフィールドバッファにデジタルビデオデータを提供する。バッファ５０６
および５０８は、前記ビデオでコーダ５０２から前記１３．５ＭＨｚをバッファ
に入れ、続いて前記ＶＰＭシステムクロック（例えば、３３ＭＨｚ）で完全フィ
ールドを前記ＶＰＭフレーム記憶装置および／またはその他の処理要素に読み込
むことによって前記デジタイザＶＰＭのための最適化された処理を提供する。

【００５４】さらに、好ましくは、前記システム制御装置に対し、１３．５ＭＨｚで前記フ
ィールドデータのビデオ書込みを「追い越す」ことなく、前記ＶＰＭクロック速
度で前記フィールドバッファ５０６と５０８からいつデータを読み取ることがで
きるのかを示すプログラム可能割込みが提供される。これが、前記デジタイザＶ
ＰＤからのビデオデータの待ち時間を最小限に抑える一方で、前記ＶＰＭ１２６
上で前記データ機能および処理機能の最大スループットを提供する。

【００５５】図６は、例示的な相関器ＶＰＤを示す。前記相関器ＶＰＤは、高速動画推定、
安定化、および画像融合のために設計されている。それは、ＦＩＦＯ２３０およ
びＳＲＡＭを前記ＶＰＭ１２６上に含む前記ＣＡＬＵ２２８と同一な、ＦＩＦＯ
２３０およびＳＲＡＭを含む３つのＣＡＬＵ２２８を具備する。加えて、ＶＰＭ
１２６でのＰＹＲ−２およびＬＵＴの組み合わせ（例えば、２１２、２２０）と
同様に、ＣＡＬＵ２２８の前記出力の後にはそれぞれＰＹＲ−２ピラミッド処理
ＡＳＩＣ６０２およびＬＵＴ６４が続く。動画推定および融合用の多くのアプリ
ケーションは、前記ＣＡＬＵ２２８内で実行される相関または他の計算に続いて
フィルタ動作を必要とする。前記ＰＹＲ−２ＡＳＩＣ６０２は、前記２つのビ
デオデータチャネルを通過するために設定することができる。

【００５６】図７は、例示的なワーパＶＰＤを示す。前記ワーパーＶＰＤ２８は、リア
ルタイムパラメータ画像歪曲（ｗａｒｐｉｎｇ）のために設計され、同時の画像
取得と歪曲のために２つのＳＲＡＭバンク７０２、７０４を含む。前記ワーパー
ＶＰＤは、アドレス生成器７０６を使用してパラメータ画像変形用のアドレス生
成も実行する。例示的な実施態様においては、変形はアフィン（６パラメータ）
変換であり、アドレス生成器７０６は、２つのＦＰＧＡ（ＡｌｔｅｒａＥＰＦ
１０Ｋ７０）として実現される。これらのＦＰＧＡは、ｂｉ−ｃｕｂｉｃ変換ま
たは投影法による変換（２つのアフィン変形の除算）のインプリメンテーション
をサポートすることができるほど大きい。オプションの３２ビットフローフィー
ルド入力（Ｘのための１６ビット、およびＹのための１６ビット）は、前記ＶＰ
Ｍ１２６用の（つまり、４台のフレーム記憶装置からの）４つのビデオストリー
ムを受け取ることによって、加算器７０８によってパラメータ変形に追加するこ
とができる。前記生成されたフローフィールドは、４つのビデオデータストリー
ムで前記ＶＰＭ１２６にも送信できる。前記例示的なワーパーＶＰＤは、１／
３２ピクセル解像度に正確である双一次の補間器（ｉｎｔｅｒｐｏｌａｔｏｒ）
７１０も含む。

【００５７】前述された前記回路構成要素は、後述される信号処理機能のすべてを実現する
のに十分である。これらの機能はこの特殊目的信号処理回路構成要素によって実
行されていると記述されるが、それらは、カスケード接続ピラミッドプロセッサ
集積回路などのその他の回路構成要素、あるいは汎用コンピュータで実行するソ
フトウェアで実現されてよいことが熟慮される。これらの信号処理機能はソフト
ウェア内で実現されるが、前記プログラムは、磁気ディスク、光ディスクまたは
無線周波数搬送波などのキャリヤで実現されてよい。

【００５８】本発明の第１実施態様は、複数の画像を処理し、構成要素画像のどれかより幅
広いダイナミックレンジを有する単一画像を生成することに関する。現在のセン
サ技術は、指定されたセットのイメージング条件に対して最良のダイナミックレ
ンジを作成するための標準セットの技法を使用する。一般的な技法は、自動的な
利得制御、ガンマ補正、および自動アパーチャ制御を含む。これらの方法のそれ
ぞれが、前記センサに入射する光の量を増加することによって（自動アパーチャ
／アイリス）、前記センサ構成要素の応答を増幅することによって（自動利得）
または非線形変換関数を前記画像に適用し、前記センサ画像の視覚的な概観を改
善することによって（ガンマ補正）、前記センサのイメージングパラメータを調
整するために使用される。

【００５９】これらの技法のどれも、前記センサの基本的な制限に取り組んでいない。つま
り、それは信号強度の有限範囲上だけでしか応答を生成することができない。こ
れらの方法は、さまざまなイメージング条件に対処するためにではあるが、前記
センサに固有である既知の、不変のダイナミックレンジ内で前記センサを調整し
ようとする。

【００６０】高度ＣＭＯＳセンサは、現在、複数の統合時間をそれぞれのセンサロケーショ
ンに効果的に適用するダイナミックレンジ機能拡張の方法を使用する。このよう
にして、完全な統合時間が完了した後、その結果として生じる出力ピクセルは、
期間が変化する複数の統合間隔の結果である。これは、経時的なピクセル強度の
最大飽和を定めることによって達成される。実際には、ピクセルは、非常に明る
い領域内では、前記ピクセルが、そのピクセルにとっての真の最大電圧のレベル
より下のスレッショルドレベルで電圧で飽和するように調整される。前記統合間
隔のまさに最後で、前記ピクセルの最大飽和レベルに達するまで、電荷は、ある
いは代わりにそのフィールドの統合時間が終わるときにこのスレッショルドを超
えて集まることができる。このダイナミックレンジ拡張の方法は、事実上、ダイ
ナミックレンジ改善に備えるが、輝度解像度の削減を犠牲にしてである。明るい
領域は特徴を示すが、これらの特徴は、前記シーンのそれ以外の領域と比較する
と低コントラストおよび色あせる傾向がある。

【００６１】複数の統合時間をセンサレベルでピクセルごとに使用しても、前記画像のロー
カル領域で見出される特徴を最大限にするという、センサ性能の重要な問題に対
処しない。子らの選択技法は、ピクセル単位で動作し、画像の局所的なコントラ
ストエネルギーを考慮しない。このようにして、この方法は、飽和およびブルー
ミングの問題には取り組むが、シーン内のローカルポイントの回りでのセンサ画
像のコントラストエネルギーの最大化という問題には対処していない。

【００６２】本発明の第２実施態様は、複数の画像を処理し、構成要素画像のどれよりも広
い被写界深度（焦点深度とも呼ばれる）を有する単一画像を生成することに関す
る。指定された光学システムの前記被写界深度は、前記センサ内の光学部のアー
キテクチャに固有であり、前記センサのイメージングアレイには関係していない
。被写界深度は、焦点距離が前記ピンホールアパーチャから前記イメージング面
までの有効距離を記述する場合に、カメラの焦点距離の調整に基づき焦点を調整
できるポイント投影法（いわゆるピンホール）カメラの直接的な結果である。こ
れらの光学部品を用いると、被写界深度は、前記光学部品での前記ピンホールア
パーチャの前記サイズを調整することによって拡張できるが、同時に、前記イメ
ージング面に入射する光量を調整することを犠牲にしてである。

【００６３】これらは物理的な制約であるため、一貫したアパーチャおよび統合時間の設定
値を維持する一方で、センサの被写界深度を拡張するための方法はない。

【００６４】本発明の第３実施態様は、最も少ない、動画のぼやけを示す１つの画像を選択
するために、時間的に近く写され、および単一シーンの複数の画像の処理に関す
る。最も困難な写真撮影状況の１つが、カメラおよびオペレータが移動している
不安定なプラットホーム上にいるときである。この状況で、前記統合時間が大き
いときには、撮影された写真にはかなりの動画のぼやけがある。現在、この動画
のぼやけを削減する唯一の方法は、（可能であるならば）前記センサの統合時間
を削減することである。しかしながら、これは前記センサにより生成される画像
の明度およびコントラストも削減する。

【００６５】現在では、多大な動画のぼやけがないビデオフレームを自動的に選択するため
の方法はない。処理後に前記ビデオフレームをぼやけを取り去る（ｄｅ−ｂｌｕ
ｒｒｉｎｇ）ために処理方法が使用できるが、ぼやけを取り去る方法は、前記画
像を歪ませることで知られており、前記ぼやけさせるプロセスのために取り返し
がつかず失われてしまった画像特徴を置換することはできない。

【００６６】本発明の第４の実施態様は、前記構成要素画像のどれかより大きい明度および
コントラストを有する）単一画像を生成するために、不十分に照らし出されたシ
ーンを写した複数の画像を処理することに関する。現在のセンサ技術は、光が少
ない性能を処理するための複数の方法を提供する。これらの最も単純なものが、
さらに多くの光が前記センサに入射できるように、および前記センサの前記統合
時間を調整するために、前記センサの前記アパーチャ／アイリスを開くことであ
る。しかしながら、例えば、前記センサまたはシーン内の構成要素のどちらかが
運動中であるため、アパーチャ設定値および統合時間を任意に増加できないとき
がある。前記統合時間が大きく、前記センサおよび映されている前記シーンの相
対的な運動が大きいときには、結果的に生じるかなりの動画のぼやけ人工遺物が
ある場合がある。このようにして、今日のセンサシステムを用いると、動画のぼ
やけなしに、暗いシーンの鮮明で高いコントラストの画像を得ることは困難であ
る。

【００６７】光のレベルを増幅し、不十分に照らし出されたシーンの画像を捕捉できる強化
されたイメージングセンサが存在する。しかしながら、これらの方法には、高い
コスト、ビデオ信号だけではなく雑音の相当な増幅、および多大なハードウェア
コストを含む、特有の制限がある。

【００６８】本発明の第５実施態様は、著しい熱変動または大気変動を通して画像が見られ
るときに発生することのあるような光学経路のむらの影響を削減するために、あ
るシーンを撮影した複数の画像を使用する信号処理方法に関する。下記でシンチ
レーションと呼ばれているこれらの影響はシーンが映される条件の結果であり、
前記センサによって引き起こされることはない。現在のセンサ技術はこれらの歪
みを補正することはできない。

【００６９】電子処理は、電子的なシーン安定化などの大局的な動画影響を補償することは
できるが、これらは大局的であり、局所的に変化する影響ではない。また、この
ようなデジタル動画推定は、典型的にはパラメータ化され、このようにして、前
記ビデオフレーム間の相対的に単純な幾何学的な関係に依存する。これとは対照
的に、シンチレーションは、非常に局所的なレベルだけで（つまり、画像内に小
さな断片がある）簡略な変換でモデル化することができるきわめて非線形の動き
としてビデオシーケンス中に顕在する。このようにして、対極的な動画推定およ
び変換の方法は、事実上、前記シンチレーションを削除しない。

【００７０】ビデオシーケンスの時間平均化などのその他の時空的なフィルタリング方法は
、シンチレーションの影響を削除することはできるが、画像の線明度を犠牲にし
てである。シンチレーションのあるビデオシーケンスを有する代わりに、時空的
なフィルタは、経時的に円滑化され、従ってぼやけている画像を生じさせる。前
記シンチレーション歪みは、連続して変化する傾向があるため、中心フィルタな
どのアウトライア拒絶フィルタは、シンチレーション影響を削減するには効果的
ではない。

【００７１】本発明の第６実施態様は、ビデオシーケンス内の画質を高めるための方法に関
する。従来、アプローチは個々の画像フレームを鮮明にすることに基づいていた
。しかしながら、写真品質の向上は通常限られている。他方、後述されるアプロ
ーチは、それがシーケンス内の複数の画像で動作するため、画質の劇的な向上を
可能にする。

【００７２】指定されたセンサからの画像をデジタル的に拡張するための方法が詳しく説明
される前に、前記センサをさまざまな用途で使用する方法を記述するのが有効で
ある。

【００７３】現在の写真撮影は、取得プロセスを導くために相当量のユーザ対話に依存する
。標準ビデオカメラおよびスティルカメラでは、ユーザは手動で、または自動焦
点合わせによって、シーンのある特定の部分に対する前記焦点距離を選択し、そ
れからその調整後に焦点を固定した状態に保つ。このようにして、オペレータは
、前記カメラからの固定距離で焦点位置を選択し、さまざまな焦点効果を生じさ
せることができる。

【００７４】同様に、ビデオカメラおよびスティルカメラは、自動的に、または手動制御の
元で、統合時間およびアパーチャ／アイリス設定を確立する。このようにして、
周囲の光レベルが、絶えることのできる運動量とともに確立できる。

【００７５】主題発明の実施態様のすべての共通の筋道とは、複数の調整された単出力ビデ
オフレームを使用し、単一の出力ビデオフレームを生成する、あるいは単一のス
ティル出力画像を生成することである。フレーム選択および結合プロセスを手動
制御にするよりむしろ、電子的に拡張された感知が、イメージングパラメータを
自動的に変えることができる。このようにして、これらの方法は、発生している
イメージングプロセスに関するオペレータの知識が最小であるときさえ、実現す
ることができる。

【００７６】この種のセンサ機能拡張の潜在的な利点の例として、高速フレームビデオセン
サの利点を考えてみる。これらのセンサは、標準鮮明度ビデオ信号よりはるかに
高い速度でビデオフレームを提供することができ、最高毎秒３００フレームが現
在の最先端の技術であり、これが改善している。このようなセンサが電子的に拡
張された感知方法とともに使用されると、イメージング用のパラメータは単一標
準ビデオフレーム時間内に１０回自動的に調整できるだろう。従って、この種の
アプローチを使用すると、１００倍もの情報を利用する毎秒３０フレームのビデ
オシーケンスを生成することがある。標準ビデオフレーム時間中、焦点および統
合時間のさまざまな設定値が使用できる。同様に、１０個のフレームを１つの共
通座標系に位置合わせし、空間解像度を拡張した単一ビデオフレームに結合する
ことができる。代わりに、１０個の調整済みビデオフレームは、非常に短い統合
時間で蓄積し、光が少ない状況でさえ、ユーザに、鮮明で高いコントラストの画
像を提供することができる。

【００７７】しかしながら、この所見は、拡張された画像感知のための標準ビデオシーケン
スの仕様を排除しない。標準ビデオ速度情報さえ、シンチレーションを除去し、
解像度を向上させ、スティル画像とビデオシーケンス両方の被写界深度および焦
点を拡張するために経時的に結合できる。さらに、これらの方法は、オペレータ
が結合のためにさまざまなフレームを選択できるようにするより手動的なフレー
ムワーク内で提供することができる。これは、おそらく、複数の画像が手動で取
得され、再結合が厳密な時間的な制約を有さないときに、デジタルスティルカメ
ラと最も関連している。

【００７８】後述される機能拡張方法の最大のクラスは、複数の画像融合の同じ基礎的な技
法に基づいている。本項は、図８に関して、前記融合プロセスの概要、および融
合に基づいた機能拡張の方法、つまりダイナミックレンジ拡張、被写界深度拡張
、および画像シーケンス品質機能拡張を示す。

【００７９】本項の第１部分は、基本的な融合プロセスの概要である。それから、前記融合
プロセスに基づく特定の機能拡張方法が説明される。２つの画像をマージするた
めの前記融合プロセスでのピラミッドフィルタの使用に関する過去の研究は、典
型的には、両方とも強度画像である、および／または２つの異なるセンサから得
られる２つの画像に対しての動作に焦点を当てていた（例えば、可視画像とＩＲ
画像）。２つの画像を融合するための１つの例示的な方法が、各画像をラプラシ
アン（高域濾波された）ピラミッドに分解することであり、その場合、前記ピラ
ミッドは其の最高レベルでガウス（低域濾波された）画像を有する。次のステッ
プは、各レベルでの画像の対応する部分に相対的な特徴を定めることである（例
えば、対応する部分のどれがより大きな振幅を有するか）。さらに目立った特徴
が、ピラミッド分解ごとにマスクの補足的なセットを定める。それから、前記覆
い隠された画像部分が、復号画像を生成し直すために使用される単一ピラミッド
の中に結合される。この一般的な方法は、前記ラプラシアン画像の密度を二倍に
することにより改善されてよい。二倍密度のガウスピラミッドは、以下のとおり
に構築される。最高の解像度画像は、完全解像度で保留される。前記ピラミッド
のレベル１を生成するために、最高解像度レベルの画像が、サブサンプル採取せ
ずに低域濾波される。それ以降の二倍密度ガウスピラミッドレベルは、追加低域
フィルタを用いて過去のレベルの二倍密度画像を低域濾波することによって回帰
的に計算されてから、濾波された結果をサブサンプル採取（ｓｕｂｓａｍｐｌｉ
ｎｇ）する。使用されている第２低域フィルタは、標準的な単一密度が薄ピラミ
ッドとともに使用される標準的なガウス低域フィルタのカットオフ周波数の２分
の１であるカットオフ周波数を有する。二倍密度ラプラシアンピら未度は、各二
倍密度が薄ピラミッド画像を第２低域フィルタで濾波してから、前記二倍密度が
薄画像から、その同じ画像の前記濾波されたバージョンを差し引くことによって
前記ガウスピラミッドから計算される。要約すると、この融合方法は、ピラミッ
ドフィルタのフレームワーク内の複数の向きおよび尺度での複数の画像から特徴
の前記選択および結合、それからやはり前記ピラミッドフィルタ内での前記結合
された特徴から単一画像を再構築することを含む。

【００８０】本発明の１つの態様は、ＲＧＢ（赤−緑−青）およびＹＵＶ（輝度、飽和、お
よび色）でのカラー画像などの複数の構成要素を有する画像で画像溶融を実行す
るための方法に関する。カラーでの画像融合に対する単純素朴なアプローチは、
画像融合を別個に、各色平面とは無関係に実行してから、結果として生じる３色
の平面を単一カラー画像として提供することを含む。実際には、これは２つの理
由からうまくいかない。

【００８１】第１に、画像の色成分が、例えば、その飽和および色によって表される。この
情報（特に色）は、空間的な尺度空間での有意義なマッピングを含まない。言い
換えると、飽和および色情報の複数の解像度表記には、率直な解釈はなく、色空
間自体のマッピングに依存している。従って、前記選択プロセスには、それが強
度専用空間に対して行うのと同じ波及効果はない。

【００８２】第２に、単一色は、実際に、３つの異なる値（Ｒ、ＧおよびＢ。Ｙ、Ｕ、Ｖ等
）の組み合わせである。これらの値は、ベクタとして表し、さまざまな３次元空
間の中にマッピングすることができるが、それぞれの色は依然として３次元値で
ある。色成分を別個に結合し直そうとすると、色成分の依存性が破壊され、所望
の融合効果は生じない。

【００８３】強度画像の融合は、濃度ピクセルを選択し、ピラミッド内で上昇するレベルで
隣接するピクセルと融合することによって達成できる。その結果生じる複合画像
は、指定された選択関数を条件に両方の画像から情報を捕捉する。ある色を表す
任意のベクタは各構成要素に対応する重み付けを有するため、２つのベクタから
組単位で構成要素を別個に選択することは、元の重み付けを満足させず、その結
果人工遺物を生じさせる。

【００８４】直感的には、所望されているのは、複数の焦点面またはさまざまなダイナミッ
クレンジを有する画像のマージなどの特定の効果が、色が両方の画像を表すまま
であるという制約の元で拡張されるように、複数の画像で融合を実行できること
である。従って、カラー画像に適用される前記融合プロセスの結果は、色混合一
貫性（つまり、前記構成要素画像からの色が保たれなければならないか、あるい
は元の色の融合の結果でなければならない））と色空間一貫性（色の間の境界が
保たれなければならない）の両方を保存しなければならない。

【００８５】第１基準、色混合一貫性は、ある特定のピクセルの色値が、複合プロセスによ
り得られる任意の値よりむしろ、元の色の色の混合の結果でなければならないこ
とを強調している。第２基準、色空間一貫性は、ブルーミングまたは色エイリア
シングとして記述できる効果に対処する。

【００８６】前記融合プロセスをカラー画像の拡張に適用する前に、前記融合プロセスを見
直すことが役立つ。２つの単独面画像、Ａ、Ｂに適用され、複合画像Ｃを生じさ
せる前記融合プロセスは、図８に示され、以下のように概略できる。前記入力画
像Ａ８１０とＢ８１２は、ピラミッドプロセッサによって処理され、画像ピラミ
ッド８１４と８１６を生成する。これらの画像ピラミッドは、それぞれの特徴関
数８１８と８２０に従って処理され、それぞれの特徴ピラミッド８２２と８２４
を生成する。選択プロセス８２６は、前記特徴ピラミッド８２２と８２４に適用
され、前記融合された画像の前記ピラミッド表記を生成するために前記ピラミッ
ドの各レベルからどの特徴なのかを定めるマスクを生成する。このマスクを使用
して、前記ピラミッド４１８と４１６は、合計関数８３０によって結合され、前
記融合画像の前記ピラミッド表記（図示されていない）を生成する。それから、
このピラミッド表記は、前記融合された画像Ｃ８３２を再構築するために使用さ
れる。

【００８７】このプロセスが有効であるためには、画像は、同じシーンが映され、登録され
るように、撮影されなければならない。登録済みの画像を持たないと、予測でき
ない結果が引き起こされる場合がある。撮影された画像が同じシーンのものでは
ない場合には、結果は、画像混合の人工遺物を含む可能性がある。画像登録技法
は周知であり、例えば、１９９２年５月、サンタマルゲリータリグリア（Ｓａｎ
ｔａＭａｒｇｅｒｉｔａＬｉｇｕｅ）、コンピュータビジョンに関する欧州
会議（ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶ
ｉｓｉｏｎ）、「階層モデルベースの動画に基づいた推定（Ｈｉｅｒａｒｃｈｉ
ａｌＭｏｄｅｌ−ＢａｓｅｄＭｏｔｉｏｎＢａｓｅｄＥｓｔｉｍａｔｉ
ｏｎ）」と題されるＪ．Ｒ．Ｂｅｒｇｅｎらによる記事の２３７−２５２ページ
に説明されている。画像登録は、例えば、アフィン変換などのパラメータ変換を
、一方の画像を他方の画像と位置合わせする１つの画像に適用することによって
実行されてよい。前記変換用のパラメータは、前記２つの画像の時空的な導関数
を使用して、画像間の動きを計算し、一方の画像を他方の画像に比較することに
より決定される。代わりに、２つの画像は、ピクセル単位での一方の画像から他
方の画像への被写体変位を記述する（フローフィールドとしても知られている）
動画ベクタフィールドを生成するために比較されてよい。前記動画ベクタフィー
ルドは、図６に関して前述された相関器ＶＰＤを使用して生成されてよく、前記
一方の画像は、図７に関して前述された前記ワーパーＶＰＤを使用して前記他
方の画像と位置合わせするために歪曲されてよい。

【００８８】本項は、融合の目標のために構築されるピラミッドを説明する。「画像を融合
するための方法およびそのための装置“ＭＥＴＨＯＤＦＯＲＦＵＳＩＮＧ
ＩＭＡＧＥＳＡＮＤＡＰＰＡＲＡＴＵＳＴＨＥＲＥＦＯＲ”」と題される
Ｂｕｒｔらに対する米国特許第５，３２５，４４９号は、ピラミッド構造、画像
融合、および図４と図６に図示されているＰＹＲ２プロセッサなどの例示的なピ
ラミッドプロセッサのアーキテクチャに関する説明を含む。

【００８９】ラプラシアンピラミッドは、ＦＳＤ（フィルタ減算１０分の１徴収（Ｄｅｃｉ
ｍａｔｅ））法を使用して画像ごとに構築される。このようにして前記ＦＳＤラ
プラシアンピラミッドＬｎのｋ番目のレベルは、対応するガウスレベルから構築
され、前記ガウスは、１次元構成要素水平フィルタおよび垂直フィルタｈとｖを
有する５ｘ５の分離可能低域フィルタｗで合成され、ここではｈ＝（１／１６）
［１４６４１］およびｖ＝（１／１６）［１４６４１］^Tであ
る。

【００９０】

【式１】１０分の１徴収プロセスのため、およびｗが理想的なフィルタではないため、
前記元の画像の前記ＦＳＤラプラシアン結果からの再構築では、情報のいくらか
が失われる。失われてしまった情報のいくつかを考慮するため、追加の用語が前
記ラプラシアンに追加される。この追加の用語は、前記濾波されたラプラシアン
を前記元のラプラシアンから差し引くことにより得られる。

【００９１】

【式２】本項の追加は、それ以外には失われてしまうだろう周波数情報のいくらかを復
元するために再構築を可能にする効果を有する。加えて、前記再構築された画像
の線明度は増している。後に続く資料では、前記画像の前記ラプラシアンに対す
る参照は、この修正されたラプラシアンに対してである。

【００９２】 σとラベルが付けられている前記特徴計算プロセス８１８と８２０は、特徴ピ
ラミッド８２８および８２４を生じさせる両方の画像のピラミッド８１４と８１
６で動作する関数のファミリーを表す。実際には、前記特徴プロセスは、個々の
ピクセル（二乗）または領域の上で動作する関数である場合がある。

【００９３】前記特徴関数は、融合されなければならないものの重要性を捕捉する。例えば
、異なる焦点を有する画像を結合するとき、特徴の基準とは、前記画像のさまざ
まな部分で見える画像の明快さである。この例では、適切な基準とは、画像の特
定の点のエッジネス（ｅｄｇｉｎｅｓｓ）を強調する基準である。従って、適当
な選択は、絶対値または二乗などの画像の振幅に対し動作する関数である。この
ような画像を処理するための前記特徴ピラミッドは、以下のように表されるだろ
う。

【００９４】

【式３】同じシーンからの２つの位置合わせされた画像ＡとＢが異なる焦点距離を持つ
場合には、指定された画像位置（ｉ、ｊ）にとって、前記画像の一方の特徴は、
他方の特徴より大きくてよい。これは、位置（ｉ，ｊ）でのレベルｋの場合、情
報が、エッジがさらに明快であり、従って焦点が合っていることを暗示するより
大きい特徴値を有する一方の画像から抽出されなければならないことを示唆する
。この比較およびバイナリ決定動作は、２つの単一画像にとっては満足が行く一
方、同じ動作が画像のシーケンスで実行されるが、前記動作は、ｅｄｇｅ−ｎｅ
ｓｓの度合いがほぼ等しい領域に明滅する画像を生じさせる？？。小さい傾斜し
かない領域で他方の画像より一方の画像から値を選択することは、画像内に含ま
れている実際の情報より、デジタル化プロセスでの雑音によってより制御される
と考えられる。この効果はさまざまなセンサから得られた画像でより可視である
が、それは、前述されたように、二倍密度ラプラシアンピラミッドを使用するこ
とによって大幅に削減することができる。

【００９５】後述されたアプリケーションは、ラプラシアンピラミッドを使用する。しかし
ながら、例えば前記特徴関数の計算など、動作の少なくともいくつかが、ガウス
ピラミッドまたは画像のそれ以外の尺度−空間表記上で動作できることが熟慮さ
れる。そこで、ピラミッドの種類の選択は、特徴の測定規準として、融合される
情報の種類に依存するだろう。選択および決定手順のこの一般性は、ピラミッド
、選択関数および決定関数を有することによって図８に示され、再構築動作は前
記ラプラシアン上で条件が設定されていない。

【００９６】 σとラベルが付けられている前記選択プロセス８２６は、前記特徴計算プロセ
スから得られる、前記特徴ピラミッド８２２と８４の上で動作する関数のファミ
リーを表す。このプロセスの結果は、前記２つの画像内の前記ピクセル間の選択
基準を定めるピラミッドマスク８２８である。前記レベルｋの前記選択プロセス
は、以下のように表記できる。

【００９７】

【式４】 δ_kは、前記選択マッピングを生じさせるレベルｋの決定関数を識別する。１
つの例示的な選択関数は、最大値つまり最大関数である。この関数は、以下をマ
ッピングするとして表されてよい。

【００９８】

【式５】このマッピングは、レベルｋの融合された画像を生成するために使用できる。

【００９９】

【式６】前記生成マップがバイナリであるため、この種の関数は、ハード混合機能とし
て知られている。しかしながら、前記画像のある特定の位置の前記重みがバイナ
リでない場合には、複合画像は前記２つの位置でのデータの混合となるだろう。
明滅を防止するために使用できるのが、この種の混合である。すなわち、前記マ
ッピングマスクは、前記複合画像の前記再構築の前に何らかのフィルタによって
円滑化できる。

【０１００】このプロセスが、さまざまな画像特徴に応えることができるようにするために
、さらに確度が低い混合関数が導入される。特に、２つの関数ｌｂとｈｂは、以
下のように定義され、

【０１０１】

【式７】ピクセル位置（ｉ、ｊ）ごとに、

【０１０２】

【式８】および

【０１０３】

【式９】である。

【０１０４】それから、μ、ｌ_bおよびｈ_bの値は、前記再構築プロセスの間に使用される。

【０１０５】 Σとラベルが付けられる前記再構築プロセス８３０は、前記ピラミッドマスク
とともに元の画像の前記ピラミッドからの各レベルを結合し、前記複合画像Ｃを
生成する。

【０１０６】前記再構築プロセスは、以下のとおりに、前記ピラミッドの最高レベルから裁
定レベルへ情報を反復して統合する。

【０１０７】

【式１０】この場合、Ｃ_kは、レベルＮ、裁定解像度レベルからレベルｋへの再構築済み
の画像を表し、項「↑２」は拡大プロセスを指す。前記拡大プロセスは、元の中
に１列および１行おきにゼロの列および行を導入してから、前記ｗフィルタで結
果として生じる画像を合成することによって前記画像の幅および高さを二重にす
ることから成立する。前記ピラミッド内の前記最低解像度レベルＮは、前項で導
入された特定の関数βを使用して混合されてよい。

【０１０８】

【式１１】 βの１つの考えられる関数は、前記２つのガウスの平均だろう。最高レベルで
は、前記ガウスは、領域のコントラストを捕捉し、従ってβの選択は所望の効果
に依存する。

【０１０９】前記マッピング関数が前述された前記確度の低い（ｓｏｆｔ）混合である場合
には、Ｌ_ckは、Ｍ，ｌ_bおよびｈ_bの関数として表記される。ここで、

【０１１０】

【式１２】この場合（ｉ、ｊ）は画像の中の任意の位置を指す。それから、

【０１１１】

【式１３】前記融合プロセスは、元の画像の選択および前記複合画像で所望される結果に
基づいた、多くの異なる種類の画像機能拡張を含む。前記説明から、前記複合画
像の生成のための複数の制御が識別できる。これらは、前記融合プロセスの段階
に関して注記できる。

【０１１２】・特徴：前記特徴が識別される画像の関数σ８１８と８２０、および対応する
尺度−空間表記は、機能拡張の種類を決定できる選択の内の２つである。この段
階は、融合されるさまざまな画像の異なる特徴基準構成要素、または画像ごとに
複数の特徴ピラミッドを生成させる単一画像の異なる特徴基準を使用して単一よ
り多い関数を含んでもよい。

【０１１３】・選択：関数δ８２６の選択は、σの過去の選択に依存し、前述されたように
、前記マスクＭ８２８を形成するために生成されたマッピングは、追加パラメー
タに依存してよい。

【０１１４】・再構築：変化してよい構成要素の１つが基本関数βの選択であり、前記ピラ
ミッドの最高レベルでの再構築がどのように実行されるのかに影響を及ぼす。

【０１１５】前記に識別された柔軟性により、前記融合プロセスは、複数の拡張効果を表す
能力を可能にする。前記融合プロセスの概要を完了し、本発明の例示的な実施態
様の説明は、カラー画像の融合に焦点を当てるだろう。

【０１１６】前記に指摘されたように、カラー画像の融合には、前記融合プロセスがどのよ
うに実行されるのかの再考が必要になる。特に、カラー画像内のさまざまな平面
が前記融合プロセスにどのように関与するのかを考慮することが望ましい。多く
の異なる種類のカラー画像表記があり、前記さまざまな構成要素からの貢献は、
選択された表記および所望の結果に依存する。

【０１１７】特定の複合効果に対するこれらの構成要素の相互作用に関するよりよい理解を
得るために、２つの例のアプリケーションのための機能拡張を達成する上で使用
される選択を記述することが役立つ。

【０１１８】さまざまな長さおよび異なるダイナミックレンジを持つ画像の機能拡張のため
には、カラー画像表記はＹＵＶとして選ばれてよい。これらの構成要素は、複合
画像での所望の効果を特徴つけるための手段として、輝度、飽和および色相を考
慮するために選択された。

【０１１９】大きな被写界深度を有する（つまり、画像のすべての部分で最高の焦点を有す
る）単一画像を生成するケースでは、前記画像の構造上の詳細は、色およびその
飽和が保存される一方で強調されることが望まれている。輝度は、すべてのパー
ツの焦点が合っている複合画像につながる最も顕著な成分である。他方、前記セ
ンサのダイナミックレンジを拡張するとき、前記選択プロセスの輝度と飽和の両
方を考慮することが望ましい。基準は、輝度および飽和の両方が、カラー画像の
ダイナミックレンジに対してしなければならない貢献によって決められる。

【０１２０】前記構成要素の１つが特徴で、および前記選択プロセスで優勢であるときには
、前記優勢な構成要素により作成される前記ピラミッドマスクは、その他の構成
要素を混合するために使用できる。この選択が画像内のすべてのピクセルがベク
タによって表され、前記に記述された両方の色一貫性基準が満たされていること
を保証する。それから、確かであろうと、確度が低かろうと、混合プロセスは、
その他のバンドを結合するために指定されたマスクを使用することができる。

【０１２１】前記ＹＵＶ表記では、Ｙは前記画像の前記輝度を表す。典型的には、前記画像
の前記輝度成分は、Ｕカラー差異成分またはＶカラー差異成分のどちらかより高
い帯域幅を有する。このようにして、最良の被写界深度を有する混合画像を生成
するために使用される前記特徴関数および前記選択関数の両方とも、前記Ｙ成分
の前記ラプラシアンピラミッドに基づいている。前記画像は類似した飽和および
色相を有するので、前記Ｕ成分とＶ成分用の両方の画像からの貢献は前記２つの
画像の前記Ｙ成分を使用して決定される前記マッピングに基づき混合される。

【０１２２】焦点変動、関数の選択の元での２つのカラー画像を混合するための１つの例示
的な方法が図９に示されている。

【０１２３】図９の第１ステップである、ステップ９１０は、共通座標系に画像を位置合わ
せする。これは、望ましくは、シーケンスの中の最後の画像の座標系である。従
って、図９に図示されている例示的な実施態様において、最後の画像は基準画像
として選択される。使用される前記位置合わせ技法は、ステップ９１０に図示さ
れているようにパラメータ変換であってよいか、あるいはそれは前記基準画像を
基準にして画像ごとに動画フローフィールドを計算してから、それぞれの画像を
前記基準座標系に歪曲することを含んでよい。前記プロセスの次のステップであ
るステップ９１２は、画像のシーケンスの前記輝度成分のために前記ラプラシア
ンピラミッドを構築する。同時に、ステップ９１４は、画像のそれぞれの前記Ｕ
成分およびＶ成分のためにガウスピラミッドを構築する。次に、ステップ９１６
は、前記特徴関数を前記輝度ピラミッドのすべてに適用し、それぞれの特徴ピラ
ミッドを生成する。ステップ９１８では、前記選択関数は、前記輝度特徴ピラミ
ッドに基づき、確かな混合を使用して、輝度ピラミッドおよびクロミナンスピラ
ミッド（ＵとＶ）の両方で混合される前記機能を選択する。この選択関数は、最
低解像度画像を表す前記ピラミッドレベルＮを除き、前記ピラミッドのすべての
レベルに適用される。このピラミッドレベルは、ステップ９２０と９２２で混合
される。ステップ９２０は、円滑化され、１０分の１が徴収されたレベルＮ−１
から前記マスクを使用して、前記ガウス画像を確かに混合することによって、前
記輝度ピラミッドのレベルＮを混合する。ステップ９２２は、前記ガウス画像を
平均することによって、前記クロミナンスピラミッドのレベルＮを混合する。前
記最終ステップ９２４は、前記Ｙピラミッド、Ｕピラミッド、およびＶピラミッ
ドのそれぞれを再構築することによって、前記融合画像を構築する。

【０１２４】図１０は、異なるダイナミックレンジ情報を有する画像を融合する前記プロセ
スを説明するフローチャート図である。これらの画像にとって、前記輝度情報と
飽和情報の両方とも関連している。前記例示的なプロセスは、画像のシーケンス
が互いから短時間後に写され、従って前記色または色相が前記画像の中でほぼ一
定していると仮定する。この仮定は、前記タスクが、映されているシーンの部分
がある画像では露光不足であり、別の画像では露出過度であるように見える複数
の画像を結合することであるときには不合理ではない。前記ダイナミックレンジ
を変えることによって、一定の構造上の情報が明らかにされる。明らかに、画像
が長い時間期間をかけて撮影された場合には、前記色相は変化を受ける。

【０１２５】このようにして、図１０に図示されている前記例示的なプロセスは、ダイナミ
ックレンジ融合プロセスにおいては、輝度および飽和は関係付けられているが、
色相が一定のままであると仮定する。非常に高い飽和の領域は、露出過度であり
、非常に明るく見える画像の部分に関係する。非常に低い飽和の領域は、暗い領
域に関係する。両方のケースとも、詳細情報は不十分である。かなりのコントラ
ストがある画像の部分では、前記輝度データは、有効な選択基準を提供する。こ
れらの所見は、それらが使用される関数を決定するための手段となるために重要
である。

【０１２６】図１０の第１ステップである、ステップ１０１０は、シーケンス内の画像のす
べてを基準画像に位置合わせする。前記被写界深度プロセスにおいてのように、
前記例示的なダイナミックレンジプロセスの前記基準画像は、前記シーケンスの
中の最後の画像である。

【０１２７】ステップ１０１０の後、前記プロセスは、ステップ１０１２で、前記シーケン
ス内の前記画像のすべての前記輝度（Ｙ）成分のためにラプラシアンピラミッド
を構築する。同時に、ステップ１０１４は、前記シーケンス内の画像のすべての
対応するクロミナンス成分のためにガウスピラミッドを構築する。次に、ステッ
プ１０１６は、前記シーケンス内の前記画像を融合するために使用される前記特
徴ピラミッドを生成する目的で、前記輝度ピラミッドに前記特徴ピラミッドを適
用する。

【０１２８】ステップ１０１８では、前記輝度特徴ピラミッドに基づく確かな混合選択関数
が、前記輝度画像ピラミッドとクロミナンス画像ピラミッドの両方のために結合
マスクを生成するために適用される。この混合関数は、最低解像度レベル、Ｎを
除く、前記ピラミッドのすべてのレベルに適用される。

【０１２９】前記輝度およびクロミナンス画像成分の両方にとって前記ピラミッドの前記Ｎ
レベルは、ステップ１０２０で結合される。このステップは、前記輝度クロミナ
ンスピラミッドのすべてのＮレベルを結合するために前記クロミナンスピラミッ
ド（ＵとＶ）によって示されるように、前記飽和レベルを使用する。特に、ステ
ップ１０２０での結合のために選択された前記Ｎレベルピラミッドのセクション
は、前記シーケンス内の前記画像のすべての前記飽和の手段に最も近い飽和値を
有するセクションである。ステップ１０２０は、前述されたように前記基本関数
βを実現する。

【０１３０】ステップ１０２０の後、ラプラシアンピラミッドが、前記複合画像のために構
築された。ステップ１０２２では、このピラミッドは前記出力画像を再構築する
ために使用される。前述されたように、この出力画像は、前記出力画像のどれか
の前記ダイナミックレンジを越えるダイナミックレンジを有する。図１０に関し
て説明された前記方法が、少なくとも２つの画像から成り立つ画像のシーケンス
で動作する。

【０１３１】融合のためのその他の方法も可能であり、それらは前記画像のそれ以外の態様
を浮き彫りにする。例えば、画像の飽和を最大限にする、または一定の種類の色
に有利である選択関数を考えることができる。（ＹＵＶとＲＧＢを含むが、それ
らに限られていない）色空間のために使用されるさまざまなマッピングに応じて
、それ以外の選択および強調の方法が使用されてよい。

【０１３２】本発明の第３実施態様は、最も少ない動画のぼやけを示す１つの画像を選択す
るために、時間的に間近で撮影され、単一のシーンの複数の画像を処理すること
に関する。人間のオペレータは、多くの場合、自分達が動いている間、およびカ
メラが動いている間あるいはそれ以外の場合ぐらぐらしている間、鮮明な画像を
得るという問題に直面する。十分な光があるときには、動画のぼやけ人工遺物を
除去できるまで、前記センサの前記統合時間を減らすことができる。しかしなが
ら、いくつかの例では、移動イメージャの統合時間を調整し、明度とコントラス
トの所望のレベルを有するが、動画のぼやけを示さない画像を得ることは困難で
ある。

【０１３３】多くの例では、前記カメラの上で引き起こされる動きは散発的かつ無作為であ
る。この散発的な性質が、最小量の動画のぼやけがあるビデオフレームがあるが
、かなりの量の動画のぼやけがあるそれ以外のフレームがあることを示す。

【０１３４】キーフレームの選択の背景にある考え方は、単に画像のシーケンスから最良の
画像を選択するということである。「最良」の画像は、通常、最も少ない動画の
ぼやけを示す画像として定義される。フレームの任意のシーケンスの場合、前記
シーケンス内のあるフレームには、それ以外のフレームより少ない動画のぼやけ
があり、従って記憶および表示のために他の画像のどれよりもより望ましいだろ
う。無作為に（あるいはオペレータによって任意に）選択された画像は、シャッ
ターを押す時間に近い時間で撮影されたそれ以外のフレームと比較されると、相
対的な意味でも品質の保証をもたない。

【０１３５】最良の焦点を備えたフレームを選択することは、ビデオフレームごとに総画像
エネルギーを追跡調査し、最高のエネルギーレベルのフレームを選ぶことにより
決定できる。指定されたビデオフレームＦ（ｔ）のラプラシアンピラミッドを考
えると、

【０１３６】

【式１４】このフレームＦ（ｔ）の前記エネルギー基準は、二乗されたラプラシアン値の
各ピラミッドレベルでの合計である。

【０１３７】

【式１５】さまざまな解像度での画像エネルギーの偏差の分析を通して、動画のぼやけの
影響を追跡調査することができる。具体的には、前記シーケンスの中では、すべ
ての周波数バンド内で最大エネルギーを持つ画像を選択し、最低解像度レベルか
ら最高解像度レベルへ比較を開始することが望ましい。

【０１３８】図１１は、本発明の第３実施態様で使用するのに適した例示的な信号処理回路
構成要素のブロック図であり、それは、前記シーンの前記画像で動画のぼやけを
最小限に抑えるために、フレームのシーケンスから１つの画像を自動的に選択す
る。

【０１３９】図１１に図示されているように、入力端子ＩＮが、例えば、ＣＣＤイメージン
グアレイから画像データを受け取るために結合される。前記例示的なイメージン
グアレイ（図示されていない）は、毎秒３０コマという速度で画像情報のフレー
ムを提供する。図１１に図示されている本発明の例示的な実施態様は、５つのフ
レーム記憶装置メモリ１１１２、１１１４、１１１６、１１１８および１１２０
のそれぞれの中に逐次フレームを記憶する。前記入力信号ＩＮも、新しいフレー
ム画像が提供されているときを突き止めるために前記入力信号を監視し、前記フ
レーム記憶装置メモリ１１１２から１１２０を通って循環し、新しい画像を記憶
する制御プロセッサ１１１０に適用される。

【０１４０】前記フレームメモリ１１１２から１１２０のそれぞれに画像が記憶されるとき
、前記プロセッサ１１１０は画像のそれぞれを処理し、どの画像に最も少ない量
の動画のぼやけがあるのかを突き止める。このプロセスは、図１３に関して後述
される。前記例示的な実施態様は、５つのフレーム記憶装置メモリ内の画像のそ
れぞれのために引き出された画像ピラミッドなどの一時データを保持するために
使用される５つのローカルメモリ１１２２、１１２４、１１２６、１１２８，１
１３０を含む。前記プロセッサ１１１０が、いったん前記フレーム記憶装置メモ
リ１１１２から１１２０に保持されている画像のどれに最も少ない量の動画ぼや
けがあるのかを判断すると、それはマルチプレクサ１１３２を制御し、出力信号
ＯＵＴとしてその画像を提供する。

【０１４１】図１３は、図１１に図示されている回路構成要素の動作を示すフローチャート
図である。さまざまな画像の中のエネルギーを比較できるためには、前記エネル
ギーは前記シーンの同じ部分で評価されることが望ましい。従って、エネルギー
計算の前では、共通座標系に前記画像のすべてを登録し、処理されている画像の
共通領域を決定することが望ましい。

【０１４２】このようにして、前記プロセス内の第１ステップであるステップ１３１０は、
前記フレーム記憶装置１１１２から１１２０内の前記画像のすべてを１つの共通
座標系に位置合わせすることである。この例では、前記例示的な回路構成要素が
、フレーム記憶装置メモリ１１１２、１１１４、１１１８、および１１２０内の
前記画像を前記フレーム記憶装置１１１６に保持されている前記画像に位置合わ
せしてよい。図９と図１０に関して前述されたように、使用された前記位置合わ
せ方式は、フローフィールドに基づいたパラメータ位置合わせまたは画像歪曲で
あってよい。

【０１４３】いったん画像が位置合わせされると、ステップ１３１２は実行され、前記画像
のすべての前記共通部分にラプラシアンピラミッドを生成する。ステップ１３１
２は、アクティブであるとしてすべての画像に印を付け、可変ＬＶをゼロに設定
する。次に、ステップ１３１４が、解像度レベルＬＶでのピラミッドのそれぞれ
に関してエネルギー値を計算する。それから、ステップ１３１４は、これらのエ
ネルギー値のそれぞれを比較し、前記解像度レベルＬＶの低いエネルギー値がイ
ナクティブとなる前記ピラミッドを設定する。

【０１４４】前記ピラミッド内の低い方のレベルでぼやける画像は、より少ないエネルギー
を含み、その品質は前記ピラミッドの高い方のレベルでも高まらないだろう。こ
の基準はきわめて厳格であり、特にぼやけが前記画像の最高レベルだけで知覚さ
れるときに、雑音を受ける。従って、複数の画像を搬送し、これが他のものより
大幅にぼやけていると考えられるときにはどれか１つを排除することが望ましい
。前記画像選択を支配する前記基準は、任意の１つのレベルで画像上での画像エ
ネルギーの実際の分散に基づいている。それは、以下のとおりに定義できる。

【０１４５】

【式１６】ここでは、ｋはピラミッド内のレベルを示し、Ｖ_kはレベルｋで評価される画
像のセットを示し、Ｍ_kはその濃度である。ｍ_k,jとσ_k,jは、画像のエネルギー
の平均と偏差を表し、ｍ_k,Maxおよびσ_k,Maxは、レベルｋの最大エネルギーのあ
る画像のパラメータを特定し、ｐｋは正規化係数を表す。この公式から、レベル
ｋの最大エネルギーのある画像の分布に前記当する平均値を有するそれらの画像
は、次のレベルに搬送されるだろう。

【０１４６】正規化係数ｐは、前記基準の厳しさを決定し、其の値は最低レベルでの前記分
布の前記幅で特徴付けられなければならない。ｉ＝１．．．Ｍ_kであるσ_k,Maxと
すると、

【０１４７】

【式１７】である。そこで、搬送された画像のセットは、以下のように定められる。

【０１４８】

【式１８】この場合、Ｆ_k,jは、最低レベルＮからレベルｋまで計算される画像ｊの累積
エネルギーを表す。ピラミッド内の次のレベルでの選択された画像のエネルギー
の前記評価は、Ｖ_kの濃度および処理されている前記レベルに依存する。Ｖ_kの濃
度が１に等しい場合には、選択された画像は、すでに最も少ない量のぼやけのあ
る画像である。前記濃度が１より大きく、前記レベルが最高レベルである場合に
は、最大量のエネルギーをもつ画像が、最小量のぼやけのある画像である。他の
ケースでは、前記評価は、前記に設定された条件下では排除されないそれらの画
像のピラミッドの次のレベルに進まなければならない。

【０１４９】図１３に戻ると、ステップ１３１６で、前記プロセスは、１つのアクティブ画
像だけが残るかどうかを判断する。残るのであれば、この画像が出力画像であり
、前記マルチプレクサ１１３２は、前記１つのアクティブ画像を出力信号ＯＵＴ
として提供するために、前記プロセッサ１１１０によって条件が設定される。ス
テップ１３１６で複数の画像がアクティブである場合には、ステップ１３２０が
実行される。ステップ１３２０は、ＬＶが最高解像度ピラミッドレベルのレベル
であるかどうかを判断する。そうである場合には、蓄積エネルギーレベルを有す
る画像を出力するステップ１３２２が実行される。ステップ１３２０で、ＬＶが
前記ピラミッドの最高解像度レベルではないと判断されると、可変ＬＶを増分し
、制御を１３１４に戻すステップ１３２４が実行される。

【０１５０】図１３に記述されているプロセスは、前記フレーム記憶装置１１１２から１１
２０に記憶されている５つの画像を解析し、これらの画像の内のどれがピラミッ
ドレベルのそれぞれで最も多い詳細を有し、その画像を出力するのかを判断する
。本発明の例示的な実施態様では、前記メモリ１１１２から１１２０に記憶され
ている前記フレームは、毎秒３０コマとい速度で、あるいはそれより低いコマ速
度で撮影されてよい。代わりに、前記フレーム記憶装置１１１２から１１２０に
記憶されている前記画像は、例えば、選択シャッターボタンを押すユーザによっ
て手動で選択されてよく、その場合、前記捕捉された画像の分析および最小動画
ぼやけを含む前記画像の選択が、例えば、ユーザがシャッターボタンを押し、押
し下げておくことによって開始されるだろう。

【０１５１】図１２は、キービデオフレームを選択するために使用されてよい装置の代替実
施態様である。図１２に図示されている前記装置は、それが２つのフレーム記憶
メモリ１１１２‘と１１１４’だけを含むという点で、図１１に開示されている
前記装置に優る優位点を有する。図１２に示されている前記装置は、連続的に画
像を処理し、新しい画像を記憶された画像に比較する。本発明のこの実施態様で
は、新しい画像が、記憶された画像より少ない動画ぼやけを示すときに、前記新
しい画像は前記記憶されている画像を置き換え、それからそれ以降に受け取られ
る画像を比較する。この代替実施態様においては、前記画像捕捉プロセス完了字
に残っている前記画像は、検出された画像のすべての最も少ない動画ぼやけを有
する画像である。図１２に示されている前記装置と使用される前記フレーム選択
プロセスは、図１４に示されている前記フローチャート図によって示される。

【０１５２】このプロセスでの第１ステップであるステップ１４１０は、基準画像として第
１受信画像を記憶することである。ステップ１４１２では、阿多ｒ強い画像が受
信され、前記プロセスが、前述されたようにフローフィールドに基づき、パラメ
ータ変換または歪曲を使用して、前記新しい画像を基準画像に位置合わせする。
いったん、画像が位置合わせされると、ステップ１４１２は、前記共通画像領域
を決定する。ステップ１４１４は、それから前記基準画像および前記新規に受け
取られた画像のそれぞれの中の前記共通領域のためにラプラシアンピラミッドを
生成する。それからステップ１４１６は、両方の画像のすべてのピラミッドレベ
ルのエネルギー値を計算し、各ピラミッド内のエネルギーレベルの基準を生成す
る。このエネルギーレベルは、例えば、前記ピラミッドレベルのそれぞれでの前
記エネルギー測定の単純な合計であってよいか、あるいはそれは各レベルでの前
記エネルギーの加重された関数であってよい。

【０１５３】ステップ１４１８では、前記プロセスが、前記シャッターが放されたかどうか
を判断する。解放された場合、前記シャッターが押されたため、処理された任意
の画像の最良の焦点を有する画像として現在の基準画像を出力するステップ１４
２０が実行される。ステップ１４１８で、前記シャッターがリリースされなかっ
た場合に、前記新しい画像の前記エネルギーが、前記基準画像の前記エネルギー
より大きいと決定された場合はステップ１４２２が実行される。ステップ１４２
４では、前記基準画像を新規画像で置き換え、制御がステップ１４１２に戻るス
テップ１４２２が実行される。ステップ１４２２では、制御は、次に受信される
画像を前記基準画像に比較するために、前記基準画像を変更することなく、ステ
ップ１４１２に戻る。

【０１５４】図１４に示されている前記プロセスは、画像のシーケンスから、処理される前
記画像のすべての共通領域内で最も少ない動画ぼやけを示す１つの画像を生成す
る。本発明の代替実施態様では、前記ラプラシアンピラミッドは、前記共通領域
に関係なく画像全体から形成されてよく、前記画像は、どれが最も少ない量の動
画ぼやけを示すのかを判断するために比較されてよい。この代替実施態様では、
前記画像情報は、前記カメラが前記シーンに関して移動されるにつれて変化して
よい。しかしながら、生成される前記出力画像は、前記シャッターが押されてい
た間に捕捉される画像のすべての最小の動画ぼやけを示す前記出力画像だろう。

【０１５５】本発明の第４実施態様は、構成要素画像のどれかより大きい明度およびコント
ラストを有する単一画像を生成するために不十分に照らし出されたシーンを撮影
した複数の画像を処理することに関する。ＣＣＤアレイなどの標準イメージング
センサは、前記センサの別個の位置にある前記センサアレイに入射する光の統合
に依存する。このようにして、ｆ（ｘ、ｙ、ｔ）によって記述される関数で前記
センサアレイに入射する光を考慮すると、前記センサアレイ内のそれぞれの位置
での前記出力ピクセルは以下の関係により記述でき、

【０１５６】

【式１９】ここではＩは前記センサの統合時間を示す。この説明のために、前記関数Ｆ_se _nsor （ｘ，ｙ，ｔ）が変数ｘ、ｙ、およびｔの離散関数であルが、シーン証明関
数ｆ（ｘ、ｙ、ｔ）が空間変数ｘとｙに関して別個であるが、前記時間関数ｔに
関しては連続していることが仮定される。これは、センサアレイの簡素化しすぎ
たモデルであるが、この説明にはそれで十分である。

【０１５７】光が少ない状態では、統合時間Ｉを増加し、このようにして前記センサアレイ
内の各ピクセルによってさらに多くの光を蓄積できるようにする。しかしながら
、Ｉが大きすぎると、ブルーミングおよび飽和が発生するだろう。Ｉが小さすぎ
ると、前記シーンは過度に暗く見えるだろう。

【０１５８】前記センサアレイに入射する前記光量を増加するためにそれ以外の修正を前記
イメージングプロセスに加えることができる。一例として、前記センサのアパー
チャサイズの調整により、前記センサに入射する光の量を増加させ、このように
してｆ（ｘ、ｙ、ｔ）の規模を大きくする。しかしながら、前記アパーチャを開
くことのできる量を制限する、光学部品の物理的な制限がある。

【０１５９】前記センサが映されている前記シーンを基準にして移動するとき、前記統合時
間Ｉの間に発生する前記動きは、ピクセル値を前記シーンの異なる空間領域で積
分させる。言い換えると、前記シーン関数ｆ（ｘ、ｙ、ｔ）は、前記センサが移
動しているときは、以下のように記述されてよく、

【０１６０】

【式２０】ここではｘ（ｕ）およびｙ（ｕ）は、前記センサおよび前記シーンの前記相対
的な動きの動きのたまえに位置の時間変化する関数を表す。これが、最終的には
、移動カメラからビデオ内で一般的に見られる動画ぼやけを生じさせる。

【０１６１】前記センサが移動中で、前記シーンに相対的に少量の光が含まれるとき（つま
り、黄昏時、あるいはシーンコントラストが低い時間では）、ぼやけさせずに前
記シーンの明るい高コントラストの画像を得ることは不可能である。これは、ぼ
やけを引き起こさずに統合時間Ｉを増加できないためであり、それぞれのピクセ
ル値によって統合される量は、前記統合時間に比例して減少し、このようにして
、前記統合時間が前記カメラの前記動きを補償するために減少するにつれて、前
記シーンを暗くする。

【０１６２】ピクセルごとに光を統合するために前記センサに依存するよりむしろ、この統
合ステップを電子処理を通して実行することが可能である。ここでは、前記セン
サが動いている間に、前記シーンの前記動画ぼやけが非常に小さいように、統合
時間Ｉが選択されると仮定する。前記光レベルが不十分である場合には、結果と
して生じるセンサ画像は、

【０１６３】

【式２１】所望されるより暗くなるだろう。前記シーンの前記明度およびコントラストを
増幅するために、前記センサからの前記フレームが、以下のような関数を用いて
時間をかけて蓄積できる。

【０１６４】

【式２２】結果として生じる拡張された画像Ｆ’_sensor（ｘ，ｙ，ｔ）は、Ｎという濃度
によって指定された増加冥土を有し、それは現在のフレームの拡張画像結果を蓄
積するために使用される従来のフレームの数を記述する。例えば、Ｎが１０とい
値であることが選択されると、結果として生じるＦ’_sensor（ｘ，ｙ，ｔ）は、
未処理フレームＦ_sensor（ｘ，ｙ，ｔ）の約１０倍の明度となるだろう。

【０１６５】前記合計された画像が互いに適切に補強するためには、Ｆ_sensor（ｘ，ｙ，ｔ
）フレームの時間的な蓄積の前に前記画像を登録することが望ましい。本発明の
例示的な実施態様においては、前記センサは、Ｆ’_sensor（ｘ，ｙ，ｔ）蓄積の
ために必要とされる統合間隔の間に動いているため、前記ビデオフレームは、前
記間隔ｔ−Ｎから内のＦ_sensor（ｘ，ｙ，ｔ）に指定される前記フレーム内のピ
クセルがサブピクセル精度に合っているように登録される。サブピクセル精密画
像登録および歪曲を決定するための多くの方法が文献で既知であり、これらの方
法は、例えば、１９９４年フロリダ、サラソタ（Ｓａｒａｓｏｔａ，ＦＬ）コン
ピュータビジョンの用途に関するワークショップの議事録（Ｐｒｏｃｅｅｄｉｎ
ｇｓｏｆｔｈｅＷｏｒｋｓｈｏｐｏｎＡｐｐｌｉｃａｔｉｏｎｓｏ
ｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ）の「リアルタイムシーン安定化およびモ
ザイク構造（Ｒｅａｌ−ｔｉｍｅｓｃｅｎｅｓｔａｂｉｌｉｚａｔｉｏｎ
ａｎｄｍｏｓａｉｃｃｏｎｓｔｒｕｃｔｉｏｎ）」と題されるＭ．Ｗ．Ｈａ
ｎｓｅｎらの論文に説明されている。

【０１６６】図１５は、画像の統合時間を、前記画像を動画ぼやけまたはブルーミングにさ
らすことなく拡張するための例示的な方法を示す、フローチャート図である。図
１５に示されている前記方法は、図１２に示されている処理ハードウェアを使用
して実現されてよい。図１５に図示されている前記プロセスの第１ステップであ
るステップ１５１０は、前記基準画像として受信される第１画像を記憶する。次
に、ステップ１５１２では、ローカル変数Ｉが１に設定される。前記変数Ｉは、
前記マージされた画像を形成するために結合される画像の数を制限するために、
１からＮに増分される。次にステップ１５１４では、新しい画像が得られ、前記
基準画像に位置合わせされる。ステップ１５１６では、前記位置合わせ画像の前
記共通部分が前記基準画像の中に統合され、新しい基準画面を形成する。ステッ
プ１５１８では、前記プロセスが、Ｉが統合されるフレームの最大数Ｎより大き
いまたは等しいかどうかを判断し、そうである場合には、ステップ１５２０で統
合された優先画像を出力する。ステップ１５１８で、ＩがＮより小さいと判断さ
れると、ステップ１５２２で、Ｉが増分され、新しい画像を得て前記基準画像に
位置合わせし、前記基準画面に統合するために制御は１５１４に戻る。

【０１６７】本発明の第５実施態様は、前記画像がかなりの熱変動または大気変動を通して
見られるときに発生することがあるような、光経路の混乱の影響を削減するため
にシーンを撮影した複数の画像を使用する信号処理方法に関する。前記に述べら
れたように、この種の歪みはここではシンチレーション歪みと呼ばれる。シンチ
レーション補正は、見られているシーンから、大気外乱などの光学経路の混乱の
ためである歪みを除去することを含む。シンチレーション補正を行わずして、前
記シーンの高解像度の表現を得ることは困難である。

【０１６８】前記シンチレーション歪みは、経時的に変化し、

【式２３】で示される局所的な変換運動フィールドで近似することができ、ここではｘとｙ
はビデオフレームＦ（ｔ）のフローベクタの位置を示し、ｔは前記フレーム取得
の時間瞬時を示す。

【０１６９】通常光学フロー計算に適用可能である任意の方法を含む多くのさまざまな方法
を使用して、前記変位フィールド

【式２４】を概算することが可能である。この変位フローを計算するための１つの方法は、
最小自乗法という意味で変位フィールドのために解決することであり、そこでは
前記目的関数は、以下によって指定される誤差量Ｅ（ｔ）を最小限に抑える前記
変位フィールド

【式２５】を検索中と定められる。

【０１７０】

【式２６】この等式の中では、値

【式２７】は、前記変位フィールドの前記水平成分を示し、

【式２８】は前記変位フィールドの前記垂直成分を示し、Ｗは前記画像位置（ｘ、ｙ）に局
所的である統合ウィンドウ領域を示す。

【０１７１】この等式の解は、適切な線形近似を考えると、以下であると示すことができ、

【０１７２】

【式２９】ここでは、Ｆ_x（ｘ，ｙ，ｔ）は、前記フレームＦ（ｔ）の前記水平部分導関
数として定められ、Ｆ_y（ｘ，ｙ，ｔ）は前記フレームＦ（ｔ）の前記垂直部分
導関数であり、Ｆ_t（ｘ，ｙ，ｔ）は、前記関係で近似できる、時間に関して前
記フレームシーケンスの部分導関数である。

【０１７３】

【式３０】このフローフィールドの前記概算は、階層方法を使用してこの解を反復するこ
とにより、必要に応じて改良することができる。

【０１７４】これらの変位フィールドは、２つのビデオフレーム間で発生する歪みを記述す
る。従って、Ｆ（ｔ）およびＦ（ｔ−１）を考慮すると、前記変位フィールド

【式３１】は、２つのビデオフレーム間の歪みを記述する。このようにして、前記歪みフィ
ールドを経時的に計算することにより、およびこれらの変位フィールドをカスケ
ードすることにより、歪みを除去し、シンチレーション歪みが削減された安定し
たビューを生成することができる。

【０１７５】この方法は歪みを実際に除去するが、それは任意のビデオフレームと歪みがな
い前記シーンの真のビューに間の歪みを記述していない。歪みのないシーンコン
テンツを決定するには、歪みを含まない基準フレームＦ_refが概算され、この基
準フレームと現在のフレームの間の前記歪みフィールドが計算されてから、前記
現在のフレームが、前記現在のフレームの中のシンチレーション歪みを効果的に
除去するために前記逆歪みフィールドで歪曲される。

【０１７６】図１６は、前記画像からシンチレーション歪みを除去するための画像のシーケ
ンスの処理を示すフローチャート図である。前記プロセスの第１ステップである
ステップ１６１０は、前記基準フレームＦ_refとして第１画像を記憶し、前記変
位フィールドをゼロにし、増分変数Ｉを１に設定する。ステップ１６１２は、新
しい画像を捕捉し、前記基準画像に関して、前記新しい画像の前記変位フィール
ド

【式３２】を計算する。ステップ１６１４では、ステップ１６１２で計算された前記変位フ
ィールドが結合された変位フィールドＤＦ（つまり

【式３３】に追加される。ステップ１６１６では、前記プロセスは、前記増分変数Ｉが処理
される画像の最大数Ｎより大きいまたは等しいかどうかを判断する。そうである
場合、ステップ１６２０はＮで前記結合変位フィールドＤＦを除算する（つまり
、

【式３４】を計算する）。それからステップ１６２２が、変位フィールドＤＦ（つまり

【式３５】）を使用して前記基準画像を反らせる。ステップ１６２４では、歪曲した基準画
像が前記出力画像として提供される。

【０１７７】しかしながら、ステップ１６１６で、増分変数がＮ未満であった場合、ステッ
プ１６１８でＩが増分され、制御はステップ１６１２に戻され、前記シーケンス
の次の画像を入手、処理する。

【０１７８】図１６に示されている前記プロセスは、３つの変位フィールドを平均するため
にＮ個の画像を入手、処理し、このようにして、画像のシーケンス内の平均値の
回りで変化する任意の画像の動きを除去する。

【０１７９】前記プロセスは、原因となるプロセスの中に再投入することができ、それは経
時的に連続して概算できる。これは、諸ル愛にフレームを合計し、前記計算墨の
フローフィールドをカスケードするよりむしろ、指定された基準に関して過去の
ビデオフレームを合計するために、前記合計項で単に変数を再定義するだけで実
現できる。同様に、前記フローフィールドの前記線形平均化は、無限インパルス
応答（ＩＩＲ）フィルタまたはさらに高度な概算プロセスなどの別の概算プロセ
スで置換することができる。

【０１８０】図１７は、前記平均変位フィールド

【式３６】を計算するために、無限インパルス応答（ＩＩＲ）型のフィルタを利用する代替
シンチレーション歪み除去装置のフローチャート図である。図１７に示されてい
る前記プロセス内の第１ステップであるステップ１７１０は、第１画像を前記基
準画像として記憶し、前記平均変位フィールドＤＦをゼロにし、増分変数Ｉを１
に設定する。ステップ１７１２では、新しい画像が得られ、前記新しい画像の前
記基準画像に関する変位フィールドが計算される。ステップ１７１４では、ステ
ップ１７１２で生成される前記計算された変位フィールドが、前記基準変位フィ
ールドＤＦに追加される。ステップ１７１６では、前記プロセスは、前記増分変
数Ｉが２より大きいまたは等しいかどうかを判断する。そうである場合には、ス
テップ１７１８が前記基準変位フィールド内の各アイテムを２で除算する。ステ
ップ１７１６でＩが２より大きいまたは等しい場合、あるいはステップ１７１８
後に、前記変数Ｉを増分するステップ１７２０が実行される。ステップ１７２２
では、前記プロセスが、前記増分変数Ｉが最大フレームカウントＮより大きいか
どうかを判断する。そうである場合、前記変位フィールドＤＦを使用して、前記
基準画像を歪曲するステップ１７２４が実行される。ステップ１７２６では、前
記歪曲された基準画像が、前記出力画像として提供され、前記画像シーケンス内
の次の画像を入手、処理するために、制御はステップ１７１０に戻る。しかしな
がら、ステップ１７２２では、前記増分変数Ｉがフレームの最大数より大きくな
かったまたは等しくなかった場合、次の画像を得るために制御がステップ１７１
２に戻る。図１７に示されている前記プロセスは、前記シーケンス内の前記個々
の画像がシンチレーション歪みのために補償される標準速度ビデオ信号を生成す
るために、例えば、高いフレーム速度（例えば、毎秒３００フレーム）を有する
ビデオカメラとともに使用されてよい。

【０１８１】このプロセスの前記性能は、瞬時の歪みフィールド

【式３７】がゼロ平均プロセスであるという所見に依存する。すなわち、

【式３８】。実際のデータを用いた実験は、大気の外乱により引き起こされるシンチレーシ
ョン歪みは、実際には、ゼロ平均分散により近似できることを示す。

【０１８２】この方法の特徴は、前記シーン内の移動するオブジェクトからの運動の除去で
ある。前記に概略されたプロセスは、前記シーンの中のすべての運動が、シンチ
レーション歪みを生じさせる無作為運動であると仮定している。映されている前
記シーン内の動きに対処するには、

【式３９】および

【式４０】の最大変位規模が決定できる。前記画像の一部の中の前記歪みが最大規模より大
きいことが判明すると、前記画像の前記部分が、動きにより特徴付けられ、その
領域には歪み補正が実行されないことが仮定できる。

【０１８３】本発明の第６実施態様は、前記シーケンス内の前記画像のさまざまな部分が歪
みまたは雑音を示すビデオシーケンス内の画像の質を高めるための方法に関する
。従来、前記画像の部分の焦点がボケると、前記シーケンスは、例えばアパーチ
ャフィルタを通して前記フレームを処理することによって、個々の画像フレーム
を鮮明にするために処理されてきた。しかしながら、これらのステップによって
達成される写真の質の向上は、通常限られている。本発明のこの実施態様は、変
化するレベルのゆがみを示す画像のシーケンスに関して画像品質で劇的な改善を
可能にするようにこの問題に対処する。

【０１８４】一般的な用語では、前記アプローチとは、１）隣接フレーム内で対応する特徴
を追跡調査し、２）表示のために最良である隣接フレームから特定の特徴（また
は特徴の組み合わせ）を選択し、３）前記シーケンスの前記現在の画像の座標フ
レームの中に歪曲またはシフトされる前記特徴を表示することによって画像フレ
ームを拡張することである。

【０１８５】画像内の雑音は、不十分な画質の最も重要な理由の１つである。雑音は複数の
方法で特徴付けることができる。例は、強度をベースにした雑音、および空間雑
音を含む。強度をベースにした雑音が発生すると、前記観察された画像は、加算
および／または乗算分散雑音信号により破壊される強度を有する原初の画像とし
てモデル化することができる。この雑音はかなり均一に画像上で分散されるケー
スもあれば、画像内の隔離された場所で雑音が発生するケースもある。空間雑音
が発生すると、画像内の特徴の部分はシフトされるか、あるいは歪められてよい
。この第２の種類の雑音の例が、画像内の線の前記垂直成分が水平に位置をずら
され、線を経時的に細かく上下に振動させる線切れである。

【０１８６】ビデオシーケンス内のこの種の雑音は、単一画像フレームを生成するための前
述された技法を使用して、大幅に減衰されてよい。後述される本発明の実施態様
においては、シーケンス内の選択された画像を取り囲む画像は、前記選択された
画像を拡張するために使用され、前記シーケンス内の次の画像が選択され、前記
プロセスは、前記新規に選択された画像に繰り返される。

【０１８７】画像シーケンスの前記フレームから雑音を除去する上での第１ステップとは、
前記画像を前記選択されたフレームに位置合わせすることである。フレーム位置
合わせは、前述された方法のどれかを使用して、あるいはそれ以外の方法によっ
て達成されてよい。いったん前記フレームが位置合わせされると、雑音は、前記
雑音の規模を縮小するために前記雑音の時間的な特徴の知識を使用することによ
って、各フレームから局所的な情報を結合または選択し、拡張フレームを生成す
ることによって、あるいは位置合わせ測定規準の局所的な品質に応じて、あるい
は前記画像の局所的な空間、時間、または時空的な構造に応じて、局所的な領域
内で実行される処理の修正によって削減されてよい。

【０１８８】ゼロ平均強度に基づく雑音を有する雑音を除去するための例示的な方法とは、
前記位置合わせしたフレームを単に平均することである。典型的には、９個のフ
レームのウィンドウが、雑音を大幅に縮小するのに十分な時間的なサポートを提
供するが、それより少ないまたは多いフレームが使用されてよい。この方法は、
線切れなどの空間雑音を除去するためにさらに改良されてよい。このケースでは
、画像が経時的に位置合わせされた後に、ある特徴の一部が雑音によってシフト
または歪められたそれらの瞬間を検出するために、非線形ステップが実行される
。非線形ステップの例は、他の強度と一貫性のない強度の識別および拒絶が後に
続くピクセル位置での強度の並べ替えである。特定の例は、１１の強度の位置合
わせセットの中からの２つの最も明るい強度値および最も暗い強度値の拒絶を含
む。それから、前記残りの強度は平均されるか、あるいは前記ターゲットロケー
ションでの前記ピクセルの最終値を生成するために中間フィルタ動作にさらされ
る。

【０１８９】これらの方法は、強度自体でよりむしろ、前記画像から回復される特徴（例え
ば、前記画像の中の平坦な領域）だけで選択的に実行されてよい。例えば、特徴
は、指向フィルタを使用して回復されてよく、雑音は前述された方法を使用して
、濾波された結果に関して別個に除去されてよい。それから、前記結果は、単一
拡張画像を生成するために結合されてよい。

【０１９０】前記個々の画像は、何らかの補正が実行される前に、動画位置合わせの有効性
を判断するために、例えば、局所相関などの突合せ測定規準の品質などを使用し
て濾波されてよい。突合せ測定規準の質が、不十分な位置合わせが実行された旨
を示す場合には、誤差に対応する前記１つのフレームまたは複数のフレームが、
機能拡張処理から除去できる。最終的には、フレームのバッチ内の領域に連続位
置合わせがない場合には、前記元の画像は手を触れられないまま残されてよい。

【０１９１】上述の前記方法は移動窓あるいはバッチフレームに使用される共通のコーディ
ネートシステムに関係する画像の向上を果たす。しかしながら、前記画像を共通
座標系に位置合わせするにはそれ以外の方法が使用されてよい。例は、座標系を
動かすことを含み、それによって過去のフレームの座標フレーム内に表されてい
る中間処理結果を含むデータセットが、分析の現在のフレームの座標系内にある
ようにシフトされる。この方法は、過去の動画分析結果の効果が記憶され、現在
のフレームの処理で使用されるため、さらに計算的に効率的であるという利点を
有している。この方法は、図２０に関して後述される。

【０１９２】位置合わせの後、画像内には、例えば、それにより特徴が前記処理済みの画像
の中でひらめくように見える、揺らめきなど空間的な人工遺物がある場合がある
。この人工遺物は、局所的には小さいが、大きな領域で見られると、顕著な揺ら
めきを生じさせる位置合わせのわずかな誤差によって引き起こされてよい。この
人工遺物は、複数の方法によって除去できる。第１の方法は空間的な制約を課す
ことであり、第２の方法は時間的な制約を課すことである。空間的な制約の一例
とは、オブジェクトが前記画像内の領域で、区分的に固定されていると仮定する
ことである。前記領域はサイズが固定されるか、サイズおよび形状が適応型であ
る場合がある。前記フローフィールドは、前記領域内で円滑化できるか、あるい
はローカルパラメータモデルが前記領域に適合できる。位置合わせ不良は、領域
全体で分散するため、この動作は前記画像内の揺らめきを大幅に削減する。

【０１９３】時間的な制約の例は、時間的なモデルを前記フローフィールドに適合すること
である。例えば、単純なモデルが加速、速度、および変位の用語だけを含む。前
記モデルは、おそらく規模で制限されているこれらのパラメータだけを有するフ
ローフィールドへの時空的な体積に局所的に適合される。各フレームでの結果と
して生じるフローフィールドは、前記パラメータモデルに従い、このようにして
揺らめきは削減される。しかしながら、すべてのフレームで計算された位置合わ
せ測定規準の質が不十分な位置合わせを示す場合には、前記パラメータモデルは
より少ないフレームで計算でき、より少ないパラメータのあるモデルを生じさせ
る。制限の中では、局所フレーム内の並進フローだけが計算されてよい。

【０１９４】前述されたような空間雑音の例は、輝度データとの色データの不一致である。
例えば、特徴は鮮明な強度境界であるが、不適切に画定された色境界を有してよ
い。これらの色境界を鮮明にする方法とは、色の流出を削減するために、前記境
界内の領域のロケーションだけではなく、前記強度境界のロケーションも使用す
ることである。これは、複数の方法を使用して実行できる。第１に、前記色デー
タは、前記強度画像の処理の結果に応じて、適応して処理または濾波することが
できる。特定の例は、前記強度画像でエッジ検出を実行し、それらの領域内で前
記色信号の前記利得を増加することである。追加の例は、信号間のより優れた位
置合わせを達成するために、前記強度子音号に関して前記色信号をシフトするこ
とにすぎない。これにより、前記２つの信号間の空間的な偏りが削減される。前
記位置合わせは、例えば、１９９２年、センサ融合に関する国家シンポジウム（
ＮａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＳｅｎｓｏｒＦｕｓｉｏｎ）
、「ピラミッド変換を使用するＩＲ画像および可視画像のパターン選択的融合（
ＰａｔｔｅｒｎＳｅｌｅｃｔｉｖｅＦｕｓｉｏｎｏｆＩＲａｎｄＶ
ｉｓｉｂｌｅＩｍａｇｅｓＵｓｉｎｇＰｙｒａｍｉｄＴｒａｎｓｆｏｒ
ｍｓ）と題されるＰ．Ｊ．Ｂｕｒｔによる論文中に開示されるようなさまざまな
センサからの画像を位置合わせするために開発された位置合わせ技法を使用して
実行できる。処理の追加例は、強度領域の境界でではないが、強度領域の境界内
で制約を課すことである。例えば、コンパクトな領域が、前記強度空間内で検出
でき、前記コンパクトな領域を表す色情報がサンプリングできる。それから、前
記色情報は前記コンパクト領域だけに追加される。コンパクトな領域は、分割と
マージアルゴリズムなどの空間分析、あるいは形態学上の分析を使用して検出で
きる。

【０１９５】前述された前記技法は、画像のシーケンスの前記知覚された質を高めるその他
の画像処理タスクのために適用されてもよい。例えば、画像シーケンスの総合的
な焦点、被写界深度、およびコントラストは、図９から図１７に関して前述され
たように前記シーケンス内で各画像を処理することによって拡張されてよい。画
像安定化は、制限されたフレーム間変位フィールドによって定義される移動する
座標系を使用して画像の前記シーケンスを歪曲し、平均することによって達成さ
れてよい。この変位フィールドは、例えば、前記シーケンスの中の前記フレーム
のための前記個別フレーム間変位フィールドの時間的な平均として計算されてよ
い。

【０１９６】これらの技法は、ビデオ画像を組み合わせないために適用されてもよい。ビデ
オをある媒体から別の媒体へ変換することにまつわる問題とは、前記表示速度お
よびフォーマットが異なる可能性があるという点である。例えば、ＶＨＳビデオ
からＤＶＤへの変換においては、前記入力は、コンピュータ画面で表示される場
合には前記出力が漸次的に走査されてよい間にインタレース化される。漸次的に
走査されるモニタでの前記インタレース化されたフレームの前記提示は、同時に
、提示されるビデオのフレームを構成するフィールド以来非常に急激に変化した
ように見える画像を生じさせる。この問題を解くには複数のアプローチがある。
第１は、フレームが作成されるように、フィールドを垂直に単にアップサンプル
（ｕｐ−ｓａｍｐｌｅ）するだけである。しかしながら、この結果、前記元のイ
ンタレース化されたシーケンスより低い明白な垂直解像度を有する変換済みの画
像シーケンスが生じる。第２の方法とは、例えば、前述された位置合わせ法を使
用して位置合わせを実行することによりフィールド間の運動を削除することであ
る。この技法は、前記カメラが静的であっても拡張された画像解像度を提供する
ことができる。このケースでは、連続フィールドが前記フレームの前記座標系の
１ピクセル、または前記フィールドの前記座標系の２分の１ピクセル、垂直にシ
フトされる情報を含む。従って、位置合わせ後、垂直運動の２分の１ピクセルが
前記フローフィールドに追加されてから、前記フィールドがシフトまたは歪曲さ
れる。そこで、完全フレームは、１つの元のフィールドおよびそらされたフィー
ルドをインタリーブすることによって作成される。

【０１９７】フレーム１８は、標準ビデオ速度で発生するフレームのシーケンスを改善する
ためのプロセスを示すフローチャート図である。ステップ１８１０では、Ｎ個の
入力フレームがメモリに記憶される。ステップ１８１２では、前記記憶されたフ
レームの前記中心フレームが基準フレームとして選択される。ステップ１８１４
では、前記プロセスが前記基準フレームと前記記憶されたフレームの互いのフレ
ームの間の前記変位フィールドを計算する。また、ステップ１８１４では、各記
憶されたフレームが、それぞれの変位フィールドを使用して前記基準フレームに
歪曲される。前記歪曲されたフレームは、後に処理するために前記記憶された入
力フレームを保存するために、前記記憶された入力フレームとは別個に１つまた
は複数のメモリの中に記憶される。ステップ１８１６では、他のフレームそれぞ
れからの特徴が、前記基準フレームに対するその相対特徴に基づいて前記基準フ
レームに融合される。例示的な融合プロセスは、図９と図１０に関して前述され
ている。ステップ１８１８では、前記プロセスが融合したフレームを出力する。
次に、ステップ１８２０で、前記プロセスが前記記憶されたフレームを１フレー
ム、シフトし、新しいフレームをオープンフレームメモリの中に記憶する。ステ
ップ１８２０の後、前記新しいシフトされたフレームの前記中心フレームを次の
基準フレームとして処理するために、制御はステップ１８１２に戻る。図１８に
示されている方法を使用して、前記画像シーケンス内の前記画像だけが処理され
、各画像は専用の座標系で処理される。これが運動を保存し、拡張されたビデオ
シーケンスを生成するために前記画像のそれぞれの中で詳細を拡張する。

【０１９８】図１９は、図１８に示されている前記プロセスの代替実施態様を示すフローチ
ャート図である。前記ステップ１９１０、１９１２、１９１４および１９２０は
、ステップ１８１０、１８１２，１８１４および１８２０と同一である。ステッ
プ１９１６では、図１９に示されている前記プロセスは、前記出力画像内で前記
ピクセルの値を選ぶために、前記記憶された歪曲されたフレームのすべての間で
、ピクセル位置を横切って中間フィルタを適用する。ステップ１９１８では、前
記プロセスが出力画像として前記中間フレームを出力する。ステップ１９１８は
、選択および結合のその他の実施態様も備えることがある。代替実施態様は、前
記ピクセル強度の並べ替え、最大または最小の強度の１つまたは複数の拒絶、残
っている強度の平均化、および前記プロセスの出力として前記結果を提供するこ
とを含む。代替実施態様は、強度に対してよりむしろ事前に濾波された画像に対
し同じプロセスを実行する。事前に濾波された画像の例は、指向（ｏｒｉｅｎｔ
ｅｄ）帯域濾波された画像である。指向（ｏｒｉｅｎｔｅｄ）帯域濾波された画
像を生成するための例示的な方法は、ニュージャージー州、イーグルウッドクリ
フ（ＥａｇｌｅｗｏｏｄＣｌｉｆｆｓ、ＮＪ）のプレンティスホール（Ｐｒｅ
ｎｔｉｃｅ−Ｈａｌｌ））によって出版された、１９９０年、二次元信号および
画像処理（Ｔｗｏ−ＤｉｍｅｎｓｉｏｎａｌＳｉｇｎａｌａｎｄＩｍａｇ
ｅＰｒｏｃｅｓｓｉｎｇ）と題されるＪａｅＬｉｍによるテキストに説明さ
れる。

【０１９９】図１８と図１９に示されている本発明の実施態様は、単一出力フレームを生成
するために、Ｎ個のビデオフレームを記憶し、処理した。図２０は、２つの画像
フレームだけが記憶されている代替プロセスを示すフローチャート図である。こ
のプロセスでの第１ステップであるステップ２０１０は、前記基準が追うとして
第１の受信された画像を記憶する。ステップ２０１２では、新しい画像が受信さ
れ、前記記憶された基準画像は、前記新しい画像の前記座標系に対し歪曲される
。ステップ２０１４では、前記新しい画像は、前記２つの画像内の領域の相対的
な特徴に基づいて歪曲された基準画像に融合される。ステップ２０１６では、前
記融合された画像が、前記シーケンスの中の次の画像として出力され、前記シー
ケンス内の次の画像を受信するために、制御はステップ２０１２に戻る。図２０
のフローチャートによって示されている前記プロセスは、無限インパルス応答フ
ィルタとして動作し、画像の中の雑音を削減するため、あるいは焦点の瞬時の推
移または照明の変化により引き起こされる前記画像の色の瞬時の脱飽和を補償す
るために使用されてよい。図１８、図１９、および図２０に関して説明された実
施態様のどれかにおいて、前記特徴関数は前記画像の線明度に関係付けられてよ
く、増大する統合が雑音を除去し、前記画像の焦点が外れた部分を排除する。し
かしながら、前記特徴関数は、飽和と脱飽和の中間点近くの飽和を有するさらに
多くの特徴画像部分のある前記画像の中の色の飽和であってもよい。この最後の
特徴関数が使用されると、前記プロセスは前記画像シーケンスの中のブルーミン
グを削減するために使用されてよい。

【０２００】図２１は、クロミナンス画像成分が輝度成分に空間的に位置合わせされてよい
プロセスを示すフローチャート図である。図２１に示されている方法は、個々の
画像の前記輝度成分およびクロミナンス成分の間の対応を改善するために、ＶＨ
Ｓまたは８ｍｍビデオテープから再生されるもののように、画像を処理するため
に使用されてよい。加えて、標準精細度テレビ画像の前記色差異成分（例えば、
ＵとＶ）のための信号帯域幅は、前記輝度成分（Ｙ）の帯域幅よりはるかに少な
い。これが、前記輝度境界を横切る色の浸出を生じさせる。この歪みは、白また
は黒の背景に対して色つきのオブジェクトを含むシーンで特に顕著である。図２
１に示されている前記プロセスは、前記クロミナンス画像を前記輝度画像に歪曲
することにより、この問題に対処する。

【０２０１】ステップ２１１０では、前記プロセスが前記輝度および前記ＵとＶ色差異画像
に関して別個のエッジマップを計算する。前記に述べられたように、前記クロミ
ナンス成分は、色と飽和を表し、どちらも前記輝度画像の画像詳細によく対応し
ない。前記色浸出歪みが、色つきのオブジェクトが白の背景または黒の背景で表
示される画像の領域で最も顕著であるため、前記信号の相対帯域幅のために適切
に定義されるエッジスレッショルドを使用して前記クロミナンス画像と前記輝度
画像の両方での従来のエッジ検出が、エッジマップの許容セットを生成する。代
わりに、単一エッジマップは、例えば色に基づいて前記Ｕ色差異画像とＶ色差異
画像の組み合わせから引き出されてよい。多くの画像では、オブジェクトは、前
記オブジェクトの照明での飽和で変化する一様な色を有する。前記クロミナンス
エッジマップが色に基づいていた場合、少なくともこれらのオブジェクトに対し
ては、前記クロミナンスエッジマップが、前記輝度エッジマップに一致しなけれ
ばならない。

【０２０２】図２１に戻ると、ステップ２１１２では、前記プロセスは、前記Ｕエッジマッ
プおよびＶエッジマップから前記輝度エッジマップへの変位フィールドを計算す
る。ステップ２１１４では、前記Ｕ画像およびＶ画像は、前記エッジマップから
の計算された変位フィールドに基づき、前記輝度画像に歪曲される。前記クロミ
ナンス画像が、前記輝度画像と少なくとも大まかに位置合わせされると仮定され
てよいため、このプロセスは、それが、変位フィールド内の任意の変位の規模を
制限することにより不当な歪みを導入しないように修正されてよい。このスレッ
ショルド規模より大きい変位値が計算されると、それはゼロに設定されるまたは
最大値で制限されるかのどちらかでよい。

【０２０３】この開示は、電子画像機能拡張を実行するための多数の方法を説明する。これ
らの方法は、前記センサのダイナミックレンジ、被写界深度、および統合時間を
拡張することによって、すべて、任意のセンサの性能を拡張することができる。
加えて、２つのそれ以外の方法が説明された。第１の方法は、デジタルスティル
カメラが、移動しているセンサのために、取得された画像の質を最大限にするた
めに日和見主義的にビデオフレームを自動的に選択できるようにするが、第２の
方法は、歪み影響の補正を可能にした。

【０２０４】本発明は例示的な実施態様という点で説明されてきたが、それが添付クレーム
の範囲内で前述されたように実践されてよいことが熟慮される。

【図面の簡単な説明】

【図１】（従来の技術）は、従来のデジタルスティルカメラのブロック図である。

【図２】本発明に従ったデジタルスティルカメラのブロック図である。

【図３】図２に図示されている画像プロセッサとして使用するのに適した例示的な回路
構成要素のブロック図である。

【図４】図３に示されているマザーボードを処理する前記ビデオの１つとして使用する
のに適した例示的な回路のブロック図である。

【図５】図２に示されている前記画像プロセッサの中で使用するのに適したデジタイザ
ビデオ処理ドーターボードのブロック図である。

【図６】図２に示されている画像プロセッサで使用するのに適した相関器ビデオ処理ド
ーターボードのブロック図である。

【図７】図２に示されている画像プロセッサで使用するのに適したワーパーのブロック
図である。

【図８】図２に示されている画像プロセッサを使用して実現されてよいプロセスのセッ
トのフロー図である。

【図９】本発明の第１実施態様を記述するために有効であるフローチャート図である。

【図１０】本発明の第２実施態様を記述するために有効であるフローチャート図である。

【図１１】本発明の第３実施態様を記述するために有効である機能ブロック図である。

【図１２】本発明の第３実施態様を記述するために有効である機能ブロック図である。

【図１３】本発明の第３実施態様を記述するために有効であるフローチャート図である。

【図１４】本発明の第３実施態様の代替インプリメンテーションを記述するために有効で
あるフローチャート図である。

【図１５】本発明の第４実施態様を記述するために有効であるフローチャート図である。

【図１６】本発明の第５実施態様を記述するために有効であるフローチャート図である。

【図１７】本発明の第５実施態様の代替インプリメンテーションを記述するために有効で
あるフローチャート図である。

【図１８】本発明の第６実施態様を記述するために有効であるフローチャート図である。

【図１９】本発明の第６実施態様の第１代替インプリメンテーションを記述するために有
効であるフローチャート図である。

【図２０】本発明の第６実施態様の第２代替インプリメンテーションを記述するために有
効であるフローチャート図である。

【図２１】本発明の第７実施態様を記述するために有効であるフローチャート図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考） // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 1/46 Ｚ (72)発明者バート，ピーターアメリカ合衆国，ニュージャージー州，プリンストン，ウィートシーフレーン 80 (72)発明者ハンナ，キース，ジェイムズアメリカ合衆国，ニュージャージー州，プリンストン，ジョンストリート 202 Ｆターム(参考） 5B057 AA01 BA11 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE02 CE03 CE08 CE11 CH01 CH11 5C022 AA13 AB68 AC42 AC51 AC69 5C065 AA01 AA03 BB48 CC01 CC09 GG22 GG30 GG31 GG32 5C076 AA11 AA27 BA03 CA10 5C079 HB01 LA12 LB02 MA01 MA11 NA05

Claims

【特許請求の範囲】

【請求項１】あるシーンの複数のカラー画像を処理し、前記シーンの拡張
カラー画像を提供するための方法であって、複数のカラー画像を別個の輝度画像データおよびクロミナンス画像データとし
て受信するステップと、それぞれの複数の輝度ピラミッドを生成するために複数の画像を表す前記輝度
画像データを濾波し、各輝度ピラミッドが低解像度レベル、および複数の高い方
の解像度レベルを有するステップと、それぞれの複数のクロミナンスピラミッドを生成するために、複数の画像を表
す前記クロミナンス画像データを濾波し、各クロミナンスピラミッドが低解像レ
ベルおよび複数の高い方の解像度レベルを有するステップと、複数の輝度ピラミッドおよび複数のクロミナンスピラミッドの少なくとも１つ
から特徴（ｓａｌｉｅｎｃｅ）マスク化ピラミッドを生成するステップと、単一の融合された輝度部分ピラミッドおよび単一の融合されたクロミナンス部
分ピラミッドを生成するために前記特徴ピラミッドの対応するレベルに応えて、
最低解像度レベルを除き、すべてのレベルで複数の輝度ピラミッドおよび複数の
クロミナンスピラミッドを処理するステップと、１つの融合された輝度低解像度レベルを生成するために、複数の輝度ピラミッ
ドの低解像度レベルを処理するステップと、１つの融合されたクロミナンス低解像度レベルを生成するために、複数のクロ
ミナンスピラミッドの低解像度レベルを処理するステップと、融合された輝度ピラミッドを形成するために前記融合された輝度低解像度レベ
ルを前記融合された輝度部分ピラミッドを結合し、融合されたクロミナンスピラ
ミッドを形成するために前記融合されたクロミナンス低解像度レベルを前記クロ
ミナンス部分ピラミッドに結合するステップと、それぞれの融合された輝度ピラミッドおよびクロミナンスピラミッドから拡張
された輝度画像およびクロミナンス画像を再構築し、シーンの前記拡張画像を形
成するために、拡張された輝度画像とクロミナンス画像を結合するステップとを
含む方法。
【請求項２】前記拡張されたカラー画像が、複数のカラー画像のどれかを
基準にして被写界深度を高め、各ラプラシアンピラミッドが、ガウス濾波された低解像度レベルおよび複数の
ラプラシアン濾波済みの高い方の解像度レベルを有するそれぞれの複数のラプラ
シアンピラミッドを生成し、前記複数の画像を表す前記輝度データを濾波するス
テップと、各ガウスピラミッドが、ガウス濾波済みの低解像度レベルおよび複数のガウス
濾波された高い方の解像度レベルを有するそれぞれの複数のガウスピラミッドを
生成し、前記複数の画像を表す前記クロミナンス画像データを濾波するステップ
と、前記特徴マスク化ピラミッドを生成するために最大規模関数に従って、前記複
数の輝度ラプラシアンピラミッドを濾波するステップを含む前記特徴ピラミッド
を生成するステップと、融合輝度低解像度レベルを形成するために、前記低解像度レベルのそれぞれの
値に最大規模関数を適用することを含む前記輝度ピラミッドの前記低解像度レベ
ルを処理するステップと、前記融合クロミナンス低解像度レベルを形成するために、低解像度レベルのそ
れぞれの値を平均すること含む前記クロミナンスピラミッドの前記低解像度レベ
ルを処理するステップである請求項１に記載の方法。
【請求項３】前記拡張カラー画像が、前記複数のカラー画像のどれかを基
準にして拡張されたダイナミックレンジを有し、各ラプラシアンピラミッドがガウス濾波済み低解像度レベルおよび複数のラプ
ラシアン濾波済みの高い方の解像度レベルを有するそれぞれの複数のラプラシア
ンピラミッドを生成し、前記複数の画像を表す前記輝度データを濾波するステッ
プと、各ガウスピラミッドが、ガウス濾波済み低解像度レベルおよび複数のガウス濾
波済みの高い方の解像度レベルを有するそれぞれ複数のガウスピラミッドを生成
し、前記複数の画像を表す前記クロミナンス画像データを濾波するステップと、前記特徴ピラミッドを生成するステップが、前記特徴マスク化ピラミッドを生
成するために、最大規模関数に従って、複数の輝度ラプラシアンピラミッドを濾
波するステップを含み、前記クロミナンスピラミッドの前記低解像度レベルを処理するステップが、前記クロミナンス低解像度レベル内のそれぞれの複数のロケーションに一致す
る複数のロケーションを有する中間マスクを生成し、前記中間マスクの各ロケー
ションが、前記複数のクロミナンス低解像度レベルの１つでのそれぞれの値に対
応し、その値が前記ロケーションでの前記クロミナンス低解像度レベルですべて
のそれぞれの値の中間であるステップと、前記中間マスクに対応して前記複数のクロミナンス低解像度レベルを融合する
ステップとを含み、前記輝度ピラミッドの前記低解像度レベルを処理するステップが、前記中間マ
スクに応じて前記複数の輝度低解像度レベルを融合するステップを含む請求項１
に記載の方法。
【請求項４】あるシーンの画像をあるカメラを用いて得るための、前記カ
メラと前記シーンの間にかなりの運動がある場合の方法であって、前記シーンの基準画像を表す第１画像データフレームを捕捉し、記憶するステ
ップと、前記シーンの現在の画像を提供するために第２画像データフレームを捕捉する
ステップと、前記基準画像の、および前記現在の画像の動画のぼやけのそれぞれの測定値を
計算するステップと、前記基準画像および前記現在の画像の動画ぼやけの前記測定値を比較し、前記
現在の画像の動画のぼやけの前記測定値が、前記基準画像の動画のぼやけの前記
測定値未満である場合、および未満である場合にのみ、前記基準画像を前記現在
の画像で置換するステップと、前記シーンの前記画像として前記基準画像を提供するステップとを含む方法。
【請求項５】第２画像データフレームを捕捉するステップが、さらに、複
数の画像データフレームを捕捉するステップを含み、前記基準画像および前記現在の画像の動画のぼやけのそれぞれの測定値を計算
するステップが、前記複数の画像データフレー−ムのそれぞれにそれぞれのピラミッドを生成し
、各ピラミッドが低解像度レベルおよび複数の高い方の解像度レベルを有するス
テップと、各ピラミッドの前記低解像度レベルのためにそれぞれのエネルギーレベルを計
算するステップと、前記ピラミッドの前記それぞれの低解像度レベルの計算されたエネルギーレベ
ルに追加処理のために複数のピラミッドを選択するステップと、各選択されたピラミッドの前記高い方の解像度レベルのそれぞれ１つに、それ
ぞれエネルギーレベルを計算するステップと、前記高い方の解像度レベルのそれぞれ１つの前記計算済みエネルギーレベルに
応えて複数のピラミッドをさらに選択するステップとを含み、動画のぼやけの前記測定値を比較するステップが、前記出力画像として、前記
１つ高い方の解像度レベルの前記エネルギーレベルが、それぞれのそれ以外の追
加で選択された複数のピラミッドの１つ高い方の解像度レベルのエネルギーレベ
ルのどれかに劣らないほどである、前記追加の選択された複数のピラミッドの１
つに従って前記画像フレームを選択するステップを含む請求項４に記載の、シー
ンの画像を得るための方法。
【請求項６】シンチレーション歪みが減少したシーンの画像を得るための
方法であって、前記シーンの第１画像として第１画像データフレームを捕捉し、記憶するステ
ップと、前記シーンの第２画像として第２画像データフレームを捕捉するステップと、第１画像データフレームと第２画像データフレーム間の第１変位フィールドを
計算するステップと、第１画像データフレームを、前記シーンの第３画像として捕捉するステップと
、第１画像データフレームと第３画像データフレームの間の第２変位フィールド
を計算するステップと、平均変位フィールドを得るために、第１変位フィールドと第２変位フィールド
を平均するステップと、シンチレーション歪みが減少した前記シーンの前記画像を生成するために、前
記平均された変位フィールド分、第１画像データフレームを歪曲するステップと
を含む方法。
【請求項７】シンチレーション歪みが減少したシーンの画像を得るための
方法であって、それぞれが、前記シーンのそれぞれの画像を表す、複数の画像データフレーム
を捕捉、記憶するステップと、前記記憶済みの複数野画像データフレームの内の１つを、基準画像データフレ
ームとして選択するステップと、前記基準画像データフレームとそれ以外の記憶された画像データフレームのそ
れぞれの間のそれぞれの変位フィールドを計算するステップと、平均変位フィールドを得るために、前記それぞれの変位フィールドを平均する
ステップと、シンチレーション歪みが減少する前記シーンの前記画像を生成するために、平
均変位フィールド分、前記基準画像データフレームを歪曲するステップと、を含む方法。
【請求項８】画像データフレームのシーケンスを拡張するための方法であ
って、ａ）画像データフレームの前記シーケンスを記憶するステップと、ｂ）基準座標系を定める基準画像データフレームとして、前記記憶済み画像デ
ータフレームの１つを選択するステップと、ｃ）それぞれが、前記基準座標系システムに歪曲された、画像データフレーム
の前記シーケンス内の前記画像データフレームそれぞれ１つに対応する、複数の
歪曲された画像データフレームを生成するステップと、ｄ）前記基準座標系で拡張された画像を生成するために、その他の画像データ
フレームから対応する特徴よりさらに顕著である各画像データフレームから特徴
を選択し、結合することにより、前記複数の歪曲された画像データフレームを融
合するステップと、ｅ）画像データフレームの前記シーケンスの中で各画像データのためにステッ
プｂ）からｄ）を繰り返すステップとを含む方法。
【請求項９】カラー画像のクロミナンス成分および輝度成分を位置合わせ
するための方法であって、ステップｄ）が、前記基準フレーム内のピクセル位置を選択するステップと、前記複数の歪曲された画像データフレームおよび前記基準画像データフレーム
内の、前記選択されたピクセル位置で対応するピクセル値を並べ替えるステップ
と、前記並べ替えられたピクセル値の最大値、および前記並べ替えられたピクセル
値の最小値の少なくとも１つを拒絶し、残りのピクセル値のセットを生成するス
テップと、前記基準画像データフレーム内の前記選択されたピクセル位置の置換ピクセル
値を生成するために、ピクセル値の残りのセットを平均するステップとを含む、
請求項８に記載の方法。
【請求項１０】それぞれの輝度エッジマップおよびクロミナンスエッジマ
ップを形成するために、前記クロミナンス成分および輝度成分のそれぞれをエッ
ジ濾波するステップと、前記クロミナンスエッジマップと前記輝度エッジマップの間の変位フィールド
を計算するステップと、前記変位フィールドを使用して、前記カラー画像の前記クロミナンス成分を前
記輝度成分に歪曲するステップとを含む方法。
【請求項１１】あるシーンの複数のカラー画像を処理し、前記シーンの拡
張カラー画像を提供するためにコンピュータを制御するコンピュータプログラム
を含むキャリヤであって、前記コンピュータプログラムが、前記コンピュータに
、別個の輝度画像データおよびクロミナンス画像データとして、前記複数の前記
カラー画像を受信するステップと、それぞれの複数の輝度ピラミッドを生成するために前記複数の画像を表す前記
輝度画像データを濾波し、それぞれの輝度ピラミッドが低解像度レベルおよび複
数の高い方の解像度レベルを有するステップと、それぞれの複数のクロミナンスピラミッドを生成するために前記複数の画像を
表す前記クロミナンス画像データを濾波し、それぞれのクロミナンスピラミッド
が、低解像度レベルおよび複数の高い方の解像度レベルを有するステップと、前記複数の輝度ピラミッドおよび前記複数のクロミナンスピラミッドの少なく
とも１つから特徴マスク化ピラミッドを生成するステップと、単一の融合された輝度部分ピラミッドおよび単一の融合されたクロミナンス部
分ピラミッドを生成するために、前記特徴ピラミッドの対応するレベルに応えて
、前記最低解像度レベルを除き、すべてのレベルで前記複数の輝度ピラミッドお
よび前記複数のクロミナンスピラミッドを処理するステップと、１つの融合された輝度低解像度レベルを生成するために、前記複数の輝度ピラ
ミッドの前記低解像度レベルを処理するステップと、１つの融合されたクロミナンス低解像度レベルを生成するために、前記複数の
クロミナンスピラミッドの前記低解像度レベルを処理するステップと、融合された輝度ピラミッドを形成するために、前記融合された輝度低解像度レ
ベルを前記融合された輝度部分ピラミッドに結合し、前記融合されたクロミナン
スピラミッドを形成するために、前記融合されたクロミナンス低解像度レベルを
前記クロミナンス部分ピラミッドに結合するステップと、前記それぞれの融合された輝度ピラミッドおよびクロミナンスピラミッドから
拡張された輝度画像およびクロミナンス画像を再構築し、前記シーンの前記拡張
された画像を形成するために、前記拡張された輝度画像およびクロミナンス画像
を結合するステップとを実効させるキャリヤ。
【請求項１２】あるシーンの画像を、カメラを用いて、前記カメラと前記
シーンの間にかなりの動きがある場合に、得るためにコンピュータを制御するコ
ンピュータプログラムを含むキャリヤであって、前記コンピュータプログラムが
、前記コンピュータに、前記シーンの基準画像を表す第１画像データフレームを捕捉、記憶するステッ
プと、前記シーンの現在の画像を提供するために、第２画像データフレームを捕捉す
るステップと、前記基準画像の、および前記現在の画像の動画のぼやけのそれぞれの測定値を
計算するステップと、前記現在の画像の動画ぼやけの測定値が、前記基準画像の動画ぼやけの測定値
が、前記基準画像の動作ぼやけの測定値未満である場合、および未満である場合
にだけ、前記基準画像を前記現在の画像で置換するために、前記基準画像および
前記現在の画像の動画のぼやけの測定値を比較するステップとを実行させるキャ
リヤ。
【請求項１３】シンチレーション歪みが減少したシーンの画像を得るため
に、コンピュータを制御するコンピュータプログラムを含むキャリヤであって、
前記コンピュータプログラムが、前記コンピュータに、前記シーンの第１画像として第１画像データフレームを捕捉するステップと、前記シーンの第２画像として第２画像データフレームを捕捉するステップと、前記第１画像データフレームと前記第２画像データフレーム間の第１変位フィ
ールドを計算するステップと、前記シーンの第３画像として第３画像データフレームを捕捉するステップと、前記第１画像データフレームと前記第３画像データフレーム間の第２変位フィ
ールドを計算するステップと、平均化された変位フィールドを得るために前記第１変位フィールドと第２変位
フィールドを平均するステップと、シンチレーション歪みが減少したシーンの前記画像を生成するために、前記第
１画像データフレームを歪曲するステップとを実行させるキャリヤ。
【請求項１４】シンチレーション歪みが減少したシーンの画像を得るため
にコンピュータを制御するコンピュータプログラムを含むキャリヤであって、前
記コンピュータプログラムが、前記コンピュータに、それぞれが、前記シーンのそれぞれの画像を表す複数野画像データフレームを
捕捉、記憶するステップと、基準画像データフレームとして、前記記憶された複数の画像データフレームの
１つを選択するステップと、前記基準画像データフレームとその他の記憶された画像データフレームのそれ
ぞれの間のそれぞれの変位フィールドを計算するステップと、平均変位フィールドを得るために、それぞれの変位フィールドを平均するステ
ップと、シンチレーション歪みが減少した前記シーンの前記画像を生成するために、前
記平均変位フィールド分、前記基準画像データフレームを歪曲するステップとを
実行させるキャリヤ。
【請求項１５】画像データフレームのシーケンスを拡張するためにコンピ
ュータを制御するコンピュータプログラムを含むキャリヤであって、前記コンピ
ュータプログラムが、前記コンピュータに、ａ）画像データフレームの前記シーケンスを記憶するステップと、ｂ）基準座標系を定める基準画像データフレームとして、前記記憶された画像
データフレームの１つを選択するステップと、ｃ）それぞれが、前記基準座標系に歪曲された画像データフレームの前記シー
ケンスないの害画像データフレームのそれぞれ１つに対応する、複数の歪曲され
た画像データフレームを生成するステップと、ｄ）前記基準座標系で拡張画像を生成するために、前記その他の画像データフ
レームから対応する特徴よりさらに目立つ特徴を、それぞれの画像データフレー
ムから選択し、結合することによって、前記複数の歪曲された画像データフレー
ムを融合するステップと、ｅ）画像データフレームの前記シーケンス内のそれぞれの画像データフレーム
に関してステップｂ）からｄ）を繰り返すステップとを実行させるキャリヤ。
【請求項１６】カラー画像のクロミナンス成分および輝度成分を位置合わ
せするためにコンピュータを制御するコンピュータプログラムを含むキャリヤで
あって、前記コンピュータプログラムが、前記コンピュータに、それぞれの輝度エッジマップおよびクロミナンスエッジマップを形成するため
に、前記クロミナンス成分および輝度成分のそれぞれをエッジ濾波するステップ
と、前記クロミナンスエッジマップと前記輝度エッジマップ間の変位フィールドを
計算するステップと、前記変位フィールドを使用して、前記カラー画像の前記クロミナンス成分を前
記輝度成分に歪曲するステップとを実行させるキャリヤ。
【請求項１７】あるシーンの複数のカラー画像を処理し、前記シーンの拡
張されたカラー画像を提供するための装置であって、別個の輝度画像データおよびクロミナンス画像データとして、カラー画像のソ
ースと、それぞれの輝度ピラミッドが低解像度レベルおよび複数の高い方の解像度レベ
ルを有する、それぞれの複数の輝度ピラミッドを生成するために、前記複数の画
像を表す前記輝度画像データを処理する第１フィルタと、それぞれのクロミナンスピラミッドが低解像度レベルおよび複数の高い方の解
像度レベルを有する、それぞれの複数のクロミナンスピラミッドを生成するため
に、前記複数の画像を表す前記クロミナンス画像データを処理する第２フィルタ
と、特徴マスク化ピラミッドを生成するために、前記複数の輝度ピラミッドおよび
前記複数のクロミナンスピラミッドの少なくとも１つを処理する第３フィルタと
、前記処理されたピラミッドレベルから目立つ特徴を選択し、単一の融合された
輝度部分ピラミッドおよび単一の融合されたクロミナンス部分ピラミッドを生成
するために、前記特徴ピラミッドの対応するレベルに応えて、最低解像度レベル
を除き、すべてのレベルで前記複数の輝度ピラミッドおよび前記複数のクロミナ
ンスピラミッドを処理するコンパレータと、１つの融合された輝度低解像度レベルを生成するために前記複数の輝度ピラミ
ッドの前記低解像度レベルを処理するための手段と、１つの融合されたクロミナンス低解像度レベルを生成するために前記複数のク
ロミナンスピラミッドの前記低解像度レベルを処理するための手段と、融合された輝度ピラミッドを形成するために前記融合された輝度低解像度レベ
ルを前記融合された輝度部分ピラミッドと結合し、融合されたクロミナンスピラ
ミッドを形成するために、前記融合されたクロミナンス低解像度レベルを前記ク
ロミナンス部分ピラミッドに結合するための手段と、前記それぞれの融合された輝度ピラミッドおよびクロミナンスピラミッドから
拡張された輝度画像およびクロミナンス画像を再構築し、前記シーンの前記拡張
された画像を形成するために、前記拡張された輝度画像およびクロミナンス画像
を結合するための手段とを含む装置。
【請求項１８】あるシーンの画像を、カメラを用いて得るための、前記カ
メラと前記シーンの間にかなりの動きがある場合の装置であって、前記シーンの基準画像を表す第１画像データフレームを記憶する第１メモリと
、前記シーンの現在の画像を提供するために、第２画像データフレームを記憶す
る第２メモリと、前記基準画像および前記現在の画像の動画ぼやけのそれぞれの測定値を計算す
るフィルタと、前記現在の画像の動画ぼやけの前記測定値が、前記基準画像の動画ぼやけの前
記測定値未満である場合、および未満である場合にだけ、前記現在の画像で前記
基準画像を置換するために、前記基準画像および前記現在の画像の動画ぼやけの
測定値を比較するコンパレータと、前記シーンの画像として前記基準画像を提供するために、前記第１メモリおよ
び第２メモリに結合されるマルチプレクサとを備える装置。
【請求項１９】シンチレーション歪みが減少したシーンの画像を得るため
の装置であって、前記シーンの第１画像として第１画像データフレームを記憶する第１メモリと
、前記シーンの第２画像として第２画像データフレームを記憶する第２メモリと
、第１画像データフレームと第２画像データフレーム間の第１変位フィールドを
計算するための手段と、第３画像データフレームを、前記シーンの第３画像として記憶する第３メモリ
と、前記第１画像データフレームと前記第３画像データフレーム間の第２変位フィ
ールドを計算するための手段と、平均変位フィールドを得るために、前記第１変位フィールドと第２変位フィー
ルドを平均する算術論理装置と、シンチレーション歪みが減少した前記シーンの前記画像を生成するために、前
記兵起因変位フィールド分、前記第１画像データフレームを歪曲するワーパ（ワ
ーパー）とを含む装置。
【請求項２０】シンチレーション歪みが減少したシーンの画像を得るため
の装置であって、それぞれの記憶された画像データフレームが、前記シーンのそれぞれの画像を
表す、基準画像データフレームを含む複数の画像データフレームを記憶するメモ
リと、前記基準画像データフレームと、前記それ以外の記憶された画像データフレー
ムのそれぞれの間でそれぞれの変位フィールドを計算するための手段と、平均変位フィールドを得るために、前記それぞれの変位フィールドを平均する
算術論理装置と、シンチレーション歪みが減少した前記シーンの前記画像を生成するために、前
記平均変位フィールド分、前記基準画像データフレームを歪曲するワーパーとを
含む装置。
【請求項２１】画像データフレームのシーケンスを拡張するための装置で
あって、画像データフレームの前記シーケンスを記憶するメモリであって、そこでは基
準画像データフレームとして前記記憶された画像データフレームの１つが、基準
座標系を画定するメモリと、前記基準座標系に歪曲された複数の歪曲画像データフレームを生成するために
、前記基準フレーム以外の前記記憶されたフレームを処理するワーパーと、前記基準座標系で拡張された画像を生成するために、前記それ以外の画像デー
タフレームより対応する特徴よりさらに顕著である各画像データフレームから特
徴を選択、結合することによって前記複数の歪曲画像データフレームを融合する
ための手段とを含む装置。
【請求項２２】それぞれの輝度エッジマップおよびクロミナンスエッジマ
ップを形成するために、前記クロミナンス成分および輝度成分のそれぞれを濾波
するエッジ検出フィルタと、前記クロミナンスエッジマップと前記輝度エッジマップ間の変位フィールドを
計算するための手段と、前記変位フィールドを使用して、前記輝度成分に前記カラー画像の前記クロミ
ナンス成分を歪曲するワーパとを含む装置。