JP2010534429A - 露出中の撮像装置の動きを補正する方法 - Google Patents

Abstract

露出中の撮像装置の動きを求め、補正するシステム及び方法を提供する。本発明の種々の実施例によれば、複数の画像画素の組が画像センサ上で規定される。画素の組それぞれは、画像センサの出力画像エリアに少なくとも部分的に含まれる。画像画素の組それぞれからの信号が、露出中に１回又は複数回、読み出され、動き推定が、１つ又は複数の画像画素の組から計算され、１つ又は複数の画像画素の組からの信号読み出しは、最終出力画像を形成するよう処理される。

Description

本発明は、画像の露出中に生じる撮像装置の動きに関する。特に、本発明の実施例は、画像の露出中に生じる撮像装置の動きを求め、補正するディジタル信号処理方法に関する。

現在のディジタル・カメラは、フラッシュが利用可能でないか、又は有益でない場合に、低照度の状態において性能が劣悪になってしまう。露出時間は、センサに到達するフォトンの数を増大させるよう増加させることが可能であるが、シーン中に何らかの動きが存在するか、又はカメラが、完全に安定した状態に保持されない場合、前述の解決策は、通常、画像における鮮明度を削減する。ディジタル・カメラは、ディジタル利得係数で光強度を人工的に増加させることも可能である。利得係数は、画素毎の出力コード値を事実上、上方スケーリングする。前述の手法の問題点は、雑音及び信号コンテンツを増幅するという点である。低照度画像は通常、低い信号対雑音比を有し、許容可能な強度レベルに画像を強調するために必要な利得係数は、許容可能でない雑音レベルが画像に存在することももたらす。

露出中にカメラの動きを制御する一手法は、露出期間を非常に短い期間（例えば、一秒の１／２４０）にする。前述の露出は、しかし、多くの状態下で、不十分であり、雑音の多い、露出不足の画像をもたらす。

露出中のカメラの動きを補償するための、光画像の安定化も提案されている。光画像の安定化は通常、横方向アクチュエータを搭載したレンズ・アセンブリの制御された動きを伴うジャイロスコープの測定を使用することにより、画像キャプチャ中に実現される。従来技術には、ジャイロスコープの測定及び横方向のレンズ移動のための一連の手法が開示されている。光画像の安定化は、複数の方向におけるジャイロスコープの測定に対する必要性、及び、同様に複数の方向の、レンズ系における横方向アクチュエータに対する必要性によって費用がかかる。

あるいは、キャプチャされた画像におけるブラーは、画像キャプチャ後に、画像キャプチャ中に生じたカメラの動きの測定に基づいて削減することが可能である。カメラの動きの測定における精度の向上により、一般に、ブラー解除アルゴリズムからの良好な結果がもたらされる。このカメラの動きを追跡するための従来技術の手法は、２つの一般的なカテゴリに分割することが可能である。一カテゴリには、ジャイロスコープの測定などの機械的な手法を使用してカメラの動きを追跡するということが含まれる。前述の手法は、画像キャプチャ装置における更なる機械的機器に対する必要性によって費用が高くなり得る。カメラの動きを追跡するための別のカテゴリは、キャプチャされた画像自体から、又は一連のキャプチャされた画像から動き情報を導き出すことによる。前述の解決策は時には、電子画像安定化として表される。

露出中のカメラの動きを補正する前述の手法は、それぞれが、所望の露出時間合計の数分の１の画像バーストをキャプチャする工程を含む。複数のフレームをアラインし、合成して、カメラの動きを補正し、所望の合計露出時間で出力画像を供給する。この手法の弊害には、センサから画像データ・フレームを読み出すことがどれだけすばやく可能であるかに対するセンサ制約、及び複数の画像を記憶するメモリ・コストが含まれる。

露出中のカメラの動きを補正する別の手法は、ブラインド・デコンボルーション・アルゴリズムを使用する手法である。ルーシー・リチャードソン・アルゴリズムなどのブラインド・デコンボルーション・アルゴリズムの例は、当業者に周知であり、カメラの動きのブラーを削減するために使用することが可能である。ブラインド・デコンボルーション・アルゴリズムの弊害は、露出中の動きの事前の知識を前提とせず、よって、露出中に生じた動きの知識を有する手法に対して、その性能は限定的である。

露出中にカメラの動きを推定する別の手法は、画像センサの第２の部分が画像エリアを表す一方で、動き推定に使用する対象のデータの収集に特化したＣＭＯＳ画像センサの第１の部分を使用することに関係する。第１の部分は通常、センサ・エリアの最上部及び／又は底部からの行の片であり、センサの第２の部分の露出中に複数回、読み出すことが可能である。前述の読み出しは、センサの第２の部分の露出中のカメラの動きを推定するために使用される。前述の手法の弊害は、動き推定に特化したセンサ画素による、出力画像の空間分解能における減少を含む。更に、センサの最上部及び／又は底部に沿ったデータの片は多くの場合、大局動きを求めるために提供される情報が不十分である。

露出中のカメラの動きを推定する別の手法は、動き推定のためのデータをキャプチャするために別個のセンサを同時に使用する工程を含む。前述の手法の弊害には、追加センサに必要な空間及び追加コストが含まれる。

よって、露出中のカメラの動きを求め、補正するための改良された処理に対する必要性が存在している。

本発明の種々の実施例による露出中の、撮像装置（ディジタル・スチル・カメラやディジタル・ビデオ・カメラなど）の動きを求め、補正するシステム及び方法により、上記課題が解決され、技術的解決策が達成される。

本発明の実施例によれば、当該技術分野において知られているＣＣＤなどの複数の画像要素獲得装置の組が画像センサ上で規定される。画像要素獲得装置は一般に、本明細書及び特許請求の範囲において、明瞭化の目的で「画素（ピクセル）」又は「画像ピクセル」として表す。キャプチャ中、当該技術分野において知られている、ＣＣＤなどの第１の画像要素獲得装置の組からの信号が１回又は複数回、読み出される。第２の画像要素獲得装置の組からの信号も１回又は複数回、読み出される。画像要素信号の少なくとも第１の組からの読み出しを使用して、露出期間中の撮像装置の動きの推定を求める。画像要素信号の第２の組の少なくとも一部からの読み出しを使用して、少なくとも、求められた動きに基づいて出力画像を組み立てる。

本発明の一部の実施例では、４つの画像要素獲得装置の組が画像センサ上で規定される。キャプチャ中、第１の画像要素信号の組が、４つの画像要素獲得装置の組のうちの第１の組から１回又は複数回、読み出される。第２の画像要素信号の組、第３の画像要素信号の組、及び第４の画像要素信号の組それぞれも、対応する画像要素獲得装置の組から１回又は複数回、読み出される。少なくとも第１の画像要素の組からの読み出しを使用して、露出期間中の撮像装置の動きの推定を生成する。少なくとも第２の画像要素の組、第３の画像要素の組、及び第４の画像要素の組を使用して出力画像を組み立てる。

本発明の一部の実施例では、出力画像を組み立てるために使用される画像要素獲得装置の組からの読み出しが処理される。この処理は、ブラー解除、空間アラインメント及び精鋭化、並びに、データの一部の廃棄を含み得る。

本発明の一部の実施例によれば、第１の画像要素獲得装置の組は、画像要素獲得装置の連続した、又はほぼ連続した群であり得る。この第１の画像要素獲得装置の組の位置は、キャプチャする対象の画像シーンと無関係に求めることができるか、又は、キャプチャ前に画像シーンの解析から少なくとも部分的に導き出すことができる。

本発明の他の実施例によれば、画像要素獲得装置の第１の組は、画像要素獲得装置の連続していない、又はほぼ連続していない群であり得る。

本発明の一部の実施例では、画像要素信号は、画像要素獲得装置の破壊読み出しによって生成される。本発明の他の実施例では、画像要素の少なくとも第１の組からの信号は、画像要素獲得装置の非破壊読み出しによって生成される。

本発明の実施例による、システムの例を示すブロック図である。 本発明の実施例による、露出中の撮像装置の動きの判定及び補正を表すブロック図である。 本発明の実施例による、第１の画像画素の組及び第２の画像画素の組の例を示す図である。 本発明の実施例による、第１の画像画素の組及び第２の画像画素の組の別の例を示す図である。 本発明の実施例による、第１の画像画素の組、第２の画像画素の組、第３の画像画素の組及び第４の画像画素の組の例を示す図である。 本発明の実施例による、第１の画像画素の組及び第２の画像画素の組の読み出しの例を示す図である。 本発明の実施例による、２つの画像データの組間のブロック・マッチング処理を示す図である。 本発明の実施例による、第１の画像画素の組及び第２の画像画素の組の読み出しの別の例を示す図である。 第１の画像画素の組及び第２の画像画素の組からの読み出し間の動きを推定するための積分投影の手法を示す図である。 本発明の実施例による、第１の画像画素の組、第２の画像画素の組、第３の画像画素の組、及び第４の画像画素の組の読み出しの例を示す図である。

上記実施例に加えて、更なる実施例は、添付図面を参照することにより、かつ、以下の詳細な説明を検討することによって明らかになるであろう。

本発明は、添付図面に関して検討される、以下に提示する例示的な実施例の詳細な説明から容易に理解されるであろう。

添付図面は、本発明の概念を例証する目的のためであり、一律の縮尺に従って描かれていないことがあり得る。

画像センサ、及び信号処理のための関連した回路を使用するディジタル撮像装置は周知であるため、本願の説明は、本発明の実施例による装置の一部を構成するか、又は前述の装置と直接的に協調する構成要素に関する。本明細書及び特許請求の範囲に具体的に示していないか、又は説明していない構成要素は、当該技術分野において知られているものから選択することができる。説明する実施例の特定の局面はソフトウェアで提供することができる。本願明細書、特許請求の範囲、及び添付図面において本発明の実施例によって示し、説明したシステムを前提とすれば、本発明の実施例の実現に有用な、本明細書及び特許請求の範囲に具体的に、示し、説明し、又は示唆したものでないソフトウェアは、通常であり、前述の技術分野における通常の知識の範囲内に収まる。

図１は、本発明の実施例による、ディジタル撮像装置１０の例を示すブロック図である。ディジタル撮像装置１０は、画像をキャプチャし、レビューする際にユーザによって容易に携帯するのに十分小型の、バッテリで動作する携帯型装置である。ディジタル撮像装置１０は好ましくは、取り外し可能なメモリ・カード５４上に記憶されたディジタル静止画像及びディジタル動画像の系列（例えば、ビデオ・クリップ）を生成する。あるいは、ディジタル撮像装置は、ディジタル静止画像のみを生成し、記憶することができる。

ディジタル撮像装置１０は、対応する撮像センサに画像を供給するズーム・レンズを含む。ズーム・レンズ３は、ズーム及びフォーカス・モータ５によって制御され、画像を画像センサ１４に供給する。調節可能なレンズ・アパーチャ（図示せず）を使用して、制御プロセッサ及びタイミング生成器４０により、撮像センサ１４に供給される電子露出時間制御とともに、画像センサ１４の露出を制御する。

一部の好ましい例では、画像センサ１４は、色画像をキャプチャするために周知のベイヤー色フィルタ・パターンを使用して、単一チップのカラー・メガピクセルＣＭＯＳセンサである。画像センサ１４は例えば、４：３画像アスペクト比、及び合計６．１ＭＰ有効メガピクセル（百万画素）、並びに、２８４８個のアクティブ画素列×２１４４個のアクティブ画素行を有し得る。制御プロセッサ及びタイミング生成器４０は、信号をクロック・ドライバ１３に供給することにより、画像センサ１４を制御する。

好ましい他の例では、画像センサ１４は、可視光の波長全てをフィルタが通す画素を一部有し得る。前述のセンサは、「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ Ｉｍｐｒｏｖｅｄ Ｌｉｇｈｔ Ｓｅｎｓｉｔｉｖｉｔｙ」）と題する、Ｊｏｈｎ Ｔ． Ｃｏｍｐｔｏｎ及びＪｏｈｎ Ｆ． Ｈａｍｉｌｔｏｎによる米国特許出願公開第２００７００２４９３１（Ａ１）号明細書に開示されている。

制御プロセッサ及びタイミング生成器４０は、ズーム及びフォーカス・モータ５、並びに、シーンを照射するための光を発出するフラッシュ４８を制御する。ユーザ制御部４２は、ディジタル撮像装置１０の動作を制御するために使用される。

画像センサ１４からのアナログ出力信号１８は、アナログ信号プロセッサ及びＡ／Ｄ変換器２２により、増幅され、ディジタル画像信号に変換され、ＤＲＡＭバッファ・メモリ３６に供給される。ＤＲＡＭバッファ・メモリ３６に記憶された画像データを、データ処理システム（画像プロセッサ５０など）によって処理して、処理済ディジタル画像ファイル（動き画像系列又はディジタル静止画像を含み得る）を生成する。制御プロセッサ及びタイミング生成器４０は更に、データ処理システムの一部であるとみなし得る。

画像プロセッサ５０によって行われた処理は、ファームウェア・メモリ５８（フラッシュＥＰＲＯＭメモリであり得る）を含み得るプロセッサ・アクセス可能なメモリ・システムに記憶されたファームウェアによって制御される。プロセッサ５０は、プロセッサ・アクセス可能なメモリ・システム（ＲＡＭメモリ５６を含み得る）を使用して、ＤＲＡＭバッファ・メモリ３６からのディジタル入力画像を処理して、処理段階中の中間結果を記憶する。

画像プロセッサ５０は、通常、プログラム可能な画像プロセッサである一方、代替的には、配線されたカスタム集積回路（ＩＣ）プロセッサ、汎用マイクロプロセッサ、又は配線カスタムＩＣ及びプログラム可能なプロセッサの組合せであり得る。更に、ＤＲＡＭバッファ・メモリ３６及びＲＡＭメモリ５６などの、図１中に別個のブロックとして示す機能の１つ又は複数は、画像プロセッサ５０を含むＩＣにプロセッサ・アクセス可能なメモリ・システムとして組み入れることが可能である。

処理済ディジタル画像ファイルは、メモリ・カ―ド・インタフェース５２を介してアクセスされる取り外し可能なメモリ・カード５４も含み得るプロセッサ・アクセス可能なメモリ・システムに記憶することができる。取り外し可能なメモリ・カード５４は、プロセッサ・アクセス可能なメモリ・システムの一部であり得る一種の取り外し可能なディジタル画像記憶媒体であり、別々のいくつかの物理形式で利用可能である。例えば、取り外し可能なメモリ・カード５４は、（限定列挙でないが）周知の形式（コンパクト・フラッシュ、スマート・メディア、メモリ・スティック、ＭＭＣ、ＳＤやＸＤメモリ・カード形式など）に適合されたメモリ・カードを含み得る。あるいは、他のタイプの取り外し可能なディジタル画像記憶媒体（磁気ハード・ディスク、磁気テープや光ディスクなど）を使用して、ディジタル静止画像及びディジタル動画像を記憶することが可能である。あるいは、ディジタル撮像装置１０は、処理済ディジタル画像ファイルを記憶するための内部非揮発性メモリ（図示せず）（内部フラッシュＥＰＲＯＭメモリなど）を使用することが可能である。前述の例では、メモリ・カード・インタフェース５２及び取り外し可能なメモリ・カード５４は必要でない。

画像プロセッサ５０は、レンダリングされた色画像データを生成するために種々の画像処理機能（色補間、並びにそれに続く色及びトーンの補正を含む）を行う。撮像装置は静止画像モードにある場合、レンダリングされた色画像データは次いで、ＪＰＥＧ圧縮され、取り外し可能なメモリ・カード５４上にＪＰＥＧ画像ファイルとして記憶される。レンダリングされた色画像データは、適切な相互接続６４（ＳＣＳＩ接続、ＵＳＢ接続や、ファイヤワイヤ接続など）を介して通信するホスト・インタフェース６２を介してホストＰＣ６６に供給することもできる。ＪＰＥＧファイルは好ましくは、電子情報技術産業協会（ＪＥＩＴＡ：東京）による「ディジタル・スチル・カメラ・ファイル・フォーマット（Ｅｘｉｆ）」バージョン２．２において定義されたいわゆる「Ｅｘｉｆ」画像形式を使用する。この形式は、特定の画像メタデータ（画像がキャプチャされた日付／時刻を含む）、及びレンズのＦナンバーや他のカメラ設定を記憶するＥｘｉｆアプリケーション・セグメントを含む。

撮像装置が動き画像モードにある場合、レンダリングされた色画像データは、アップル・コンピュータ社によって開発された周知のクイックタイム形式を使用して、取り外し可能なメモリ・カード５４に記憶される。ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等などの種々の既知の圧縮手法を使用した他の動き画像形式を使用することが可能である。動き画像モードでは、レンダリング色画像データは、適切な相互接続６４を介して通信するホスト・インタフェース６２を介してホストＰＣ６６に供給することもできる。

画像プロセッサ５０は、静止画像の、又は動画像の適切なフレームの低分解能「サムネイル」サイズの画像も生成する。前述のサムネイル・サイズの画像は、本願の出願人に譲渡された、「Ｅｌｅｃｔｒｏｎｉｃ Ｓｔｉｌｌ Ｃａｍｅｒａ Ｐｒｏｖｉｄｉｎｇ Ｍｕｌｔｉ−Ｆｏｒｍａｔ Ｓｔｏｒａｇｅ Ｏｆ Ｆｕｌｌ Ａｎｄ Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅｓ」と題する、Ｋｕｃｈｔａ他による米国特許第５１６４８３１号明細書に記載されたように生成することが可能である。静止画像及び動画像は、キャプチャされた後、サムネイル画像を使用して、所望の静止画像又は動画像の系列を選択することにより、カラーＬＣＤ画像ディスプレイ７０上ですばやくレビューすることが可能である。カラーＬＣＤ画像ディスプレイ７０上に表示されたグラフィカル・ユーザ・インタフェースはユーザ制御部４２によって制御される。

本発明の一部の実施例では、ディジタル撮像装置１０はカメラ電話機の一部として含まれる。前述の例では、画像プロセッサ５０は、アンテナ９４を介して無線周波数伝送を使用してセルター・ネットワーク（図示せず）にディジタル画像を、セルラ・モデム９２を使用して送信するセルラ・プロセッサ９０ともインタフェースする。

図２は、露出中の撮像装置の動きを求め、補正するための本発明の実施例を表すフローチャートを表す。当初、複数の画素の組が画像センサで規定される（２０１）。図３乃至図５は、本発明の実施例により、画像センサ上で複数の画素の組を規定するための例示的な手法を示す。図３では、２つの画素の組が画像センサ３０８上で規定される。第１の画素の組３０２は、画像センサを通して間隔を空けた画素の連続ブロックの収集体を備える。ブロックは、画像センサにわたる何れかの位置、形状、サイズのものであり得るが、本発明の好ましい実施例では、ブロックは方形状であり、画像センサにわたって等間隔で離間している。第２の画素の組３０４は画像センサ全体を含む。よって、第１の画素の組は、第２の画素の組の部分集合である。第１の画素の組及び第２の画素の組は、画像センサ３０６の出力画像エリア領域と、空きでない重なりを有する。出力画像エリアは、撮像装置によって生成された出力画像を含む画素に対応する。センサは、出力画像に含まれない更なる画素を有し得る。

図４では、画像画素の２つの非連続又は交わらない画像画素は、画像センサ４０６の出力画像エリア領域にわたる格子縞模様のパターンで画像センサ４０８上に規定される。第１の画素の組４０２は画素の位置の１／２を含む。第２の画素の組４０４は、画素の位置の残りの１／２を含む。

図５では、画像センサ５１０の出力画像エリアの２×２領域毎の一貫したパターンに４つの組が現れるように交わらない４つの画像画素の組が規定される。第１の画素の組５０２は、画素の位置の１／４を含む。同様に、第２の画素の組５０４、第３の画素の組５０６、及び第４の画素の組５０８はそれぞれ、画素の位置の１／４を別個に含む。

図２に戻れば、複数の画素の組が規定されると、画像キャプチャが始まる（２０２）。本発明の別の実施例では、例えば、撮像装置キャプチャ設定の解析に基づいて、画像キャプチャ開始直後に複数の画素の組を規定することも可能である。画像キャプチャが始まった後、画素の各組が、１回又は複数回、画像センサから読み出される（２０４）。

図６は、図３に表す画素の組に対応する画像センサ読み出しのための例示的な方法を表す。時間０では、露出が始まる（６０１）。画像センサは、種々の露出、シャッター、及び読み出しシステムを有し得る。一例では、センサは、特定の組の画素が全て、露出期間を同時に開始するように大局シャッターを有する。その後、特定の組に対応する画素データ信号（すなわち、画像要素信号）は、遮光記憶位置に同時に転送され、センサから読み出される。別の例では、センサは、センサの読み出し速度により、わずかにオフセットされた積分期間を画像センサ画素の行が有するロール・シャッタ系を有する。前述の手法は、信号の遮光性の一時記憶空間を必要とすることなく、等しい積分期間を、センサの各行が受信することを可能にする。

本発明の特定の実施例では、センサ画像画素信号（すなわち、画像要素信号）は、信号がセンサ画素から読み出され、画素がその後、リセットされるように破壊読み出しされる。本発明の他の実施例では、センサ画像画素は、画素をリセットすることなく、センサ画素の位置から読み出されるように非破壊読み出しされる。前述の例は限定列挙でなく、当業者は、本発明が他のセンサの設計にも該当するということを認識するであろう。

図６では、第１の画素の組６０２からの画像要素信号が複数回、読み出される一方、第２の画素の組６０４からの画像要素信号は、時間ｔにおいて露出の終了時に一度だけ、読み出される。図８及び図９のように、図６における各行は、画像要素獲得装置の組からの画像要素信号の命令された送信とみなし得る。図６の特定の実施例では、最後の行以外の各行（６０２）は、複数の画像要素獲得装置のうちの全部でないが一部を備える第１の画像要素獲得装置の組から第１の画像要素信号の命令された送信とみなし得る。図６の最後の行（６０４）は、複数の画像要素獲得装置の一部又は全部を備える第２の画像要素獲得装置の組からの第２の画像要素信号の命令された送信とみなし得る。

もう一度図２を参照すれば、読み出しからのデータを次いで、使用して動き推定を計算する（２０６）。図６の例では、第１の画素の組からの画像要素信号の複数の読み出しを使用して、撮像装置の動きを推定する。２つの画像データの組間で動きを推定するための周知の手法が多く存在しているということを当業者は認識するであろう。第１の画像画素の組の連続する２つの読み出し間の動きを推定する好ましい手法の１つでは、平行移動の動きの推定は、同じ画素ブロック３０２からの画像要素信号の組の対毎に得られる。平行移動の動きの推定は、ブロック・マッチングなどの何れかの周知の手法を使用して得ることが可能である。

図７は、図６について説明した第１の画像画素の組からの信号の連続した読み出しから、画像データ７０２の対応する２つのブロック間の動き推定を求める処理を示す。第１の読み出しからのデータ・サブブロック７０４が参照サブブロックとして選ばれる。このデータ・サブブロック７０４のサイズは、ブロック画像データ・エリアを離れることなく、所望のサーチ範囲７０８内のサーチを可能にするように選択することが可能である。参照サブブロックの最適な一致は第２の読み出し７０６から求められ、動き推定は、参照サブブロックと、一致するサブブロックとの間の平行移動のオフセットとして算出される。

この処理は、各画素ブロック７０２からの対応する信号対毎に繰り返され、動き推定の収集体をもたらす。第１の画像画素の組からの信号の連続した読み出し間の大局平行移動の動き推定は、前述の動き推定の収集体の関数として計算することが可能である。前述の関数の１つには、動き推定の収集体の平均をとるということがある。前述の別の関数には、水平方向及び垂直方向で無関係に動き推定の収集体のメジアンを得るということがある。好ましい実施例では、対応するブロック対はそれぞれ、動き推定のみならず、最善の一致の精度を示すコスト値にも関連付けされる。良好な一致を示す、関連コスト値が低いブロック動き推定の部分集合のみが、大局動き推定の算出において含まれる。動き推定のこの部分集合のメジアン値は、大局動き推定として使用される。個々のブロックの動き推定が、大局撮像装置の動きでなく、局所オブジェクトの動きを反映し得る。好ましい手法は、雑音又は局所の動きを多くの場合、示す、コスト値が高いブロック動き推定を排除し、局所の動きにより、何れかの潜在的な残りのアウトライアー・データを避けるために残りの推定のメジアンを利用することにより、大局動きのロバストな測定を計算する。

動き推定の計算に使用されるデータは、センサ画素のスペクトル感度に依存し得る。標準的なベイヤー・パターン・センサでは、例えば、緑色の画素は、最善の一致を求めるために使用することができる。パンクロ画素を含むセンサでは、前述の画素は、種々の動きオフセットの品質を比較するために使用することができる。何れの場合にも、データは、特定のスペクトル感度の値（例えば、緑やパンクロ）が全ての画素位置で利用可能であるように補間し得る。

第１の画像データの組を生成する画素のブロックの位置は図３と同様に予め規定することができる。別の実施例では、プレビュー・データが、キャプチャを開始する直前に解析される。このプレビュー・データは、画像シーン内の局所コントラストが高い領域を求めるために使用される。ブロック位置は、多くの場合、動き推定精度の向上をもたらすので、局所コントラストが高い領域を中心とするように選ぶことができる。ブロックの数及び位置は、完全に制限されないか、又は、特定数及び／又はおおまかな位置に制限することが可能である。一例では、ブロック位置は、垂直方向において制限されるが、水平方向において制限されない。よって、潜在的な動き推定性能を最大にするためにブロックの水平方向の配置における柔軟性を可能にする一方で、行読み出しオーバヘッドを最小にするために、アクセスしなければならないセンサ・データの行の合計数が制御されるということが確実にされる。

第１の画像画素の組からの信号の連続した読み出し間の動き推定を次いで組合せて、露出間隔［０，ｔ］中の大局動きの関数を形成する。前述の関数を得るやり方は多く存在しているということを当業者は認識するであろう。例えば、動きは、第１の画像画素の組からの信号の連続読み出し間の時間の各部分区間にわたって区分的に一定であるか、又は区分的線形であり得る。別の例として、動き推定は更に、二次又は三次の多項式への最小自乗フィットを求めるために使用することができる。前述の例は、限定列挙でなく、実際に、露出間隔［０，ｔ］中の大局動きの関数に個々の動き推定を変換する何れかの適切な方法は、本発明の範囲内に収まるとみなされる。

図２をもう一度参照すれば、１つ又は複数の画像画素の組のうちの少なくとも一部からの信号を次いで、処理して出力画像を形成する（２０８）。図６の例では、時間ｔでの第２の画像画素６０４の組からの画像要素信号の読み出しは、出力画像を形成するよう処理される信号を表す。この実施例では、第２の画像画素の組は、センサ画像エリア全体を含み、対応する画像要素信号は、露出の完了時に一度、読み出され、よって、露出間隔［０，ｔ］全体にわたる光の積分を表す。

この実施例では、第２の画像画素の組は、第１の画像画素の組に属する画像画素を含む。第１の画像画素の組からの画像要素信号の複数の読み出しが非破壊的に行われた場合、第２の画像画素の組からの画像要素信号が読み出されると、この測定は、センサ画像画素全ての露出間隔全体にわたる光の集約的な積分を表す。しかし、第１の画像画素の組からの画像要素信号の複数の破壊読み出しが行われた場合、前述の測定を、第１の画像画素の組及び第２の画像画素の組の間の和集合である、センサの領域における間隔［０，ｔ］全体に対応する露出測定を形成するために第２の画像画素の組からの画像画素信号の最終的な読み出しと集約しなければならない。

ＣＭＯＳセンサからのデータの各読み出しに関連付けられた読み出し雑音が存在しており、第１の画像画素の組からの信号の各読み出しが破壊的に行われる場合、前述の読み出しの集約は、露出間隔の完了時に一度のみ読み出される、画像センサの領域よりも多くの読み出し雑音を含む。前述の場合、別々の領域の雑音特性に一致する特定の信号処理を行うことが必要であり得る。

図６をもう一度参照すれば、時間ｔにおいて読み出される第２の画像画素の組からの画像要素信号は、露出中に撮像装置の動きから生じる動きブラーを除去するよう処理することが可能である。本発明の一実施例では、第１の画像画素の組からの信号の複数の読み出しから得られる大局動き関数を使用して、露出間隔［０，ｔ］中に生じたブラー点拡がり関数の推定を生成することが可能である。ブラー点スプレッド関数は、画像デコンボルーション関数に、第２の画像画素の組からの信号とともに入力して、エンハンスされた画像を生成することが可能である。前述のアルゴリズムは当該技術分野において周知である。

図８は、図４に表した画素の組に対応する画像センサ読み出しのための例示的な方法を表す。時点０では、第１の画像画素の組４０２の露出が始まる（８０２）。第１の画像画素の組からの画像要素信号はその後、一様な露出長８０６で複数回、読み出される。第２の画像画素の組からの画像要素信号が同様に露出され（８０４）、読み出される（８０８）（第１の画像画素の組からの信号に対してずれている）。一実施例では、第１の画像画素の組からの信号の連続した読み出し間で、第２の画像画素の組の信号読み出しは時間上、等間隔であるが、これは限定でない。

第１の画像画素の組及び第２の画像画素の組からの信号読み出しは次いで、動き推定に使用される。連続した読み出し間の大局的平行移動の動きを計算する例示的な方法は、図９にも示す、「Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ Ｍｅｔｈｏｄ ａｎｄ Ｃａｍｅｒａ Ｈａｖｉｎｇ Ｄｕａｌ Ｐａｔｈ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ」と題するＲａｂｂａｎｉ他による米国特許出願公開第２００６／０２７４１５６（Ａ１）号明細書に開示されているような積分投影の手法である。

図９では、第１の画像画素の組９０２の読み出しからの画像画素信号は、単一の水平方向ベクトル９０４を形成するよう垂直軸に沿って集約される。同様に、第２の画像画素９０６の組の読み出しからの画像要素信号は、垂直軸に沿って集約して、単一の水平方向のベクトル９０８を形成する。前述の２つのベクトルはその後、２つの組のデータ９１０間の水平方向の動きオフセットを求めるよう比較される。最高の相関のオフセットを求める工程を含む、２つのベクトル間の相対運動値を計算する適切な多くの方法が存在しているということを当業者は認識するであろう。

図９は、２つの画像要素信号の組間の水平方向の動きオフセットの計算を示す。垂直方向の動きのオフセットは、画像要素信号の各組を表す単一の垂直方向ベクトルを形成するよう水平方向の軸に沿ってデータを集約することにより、同様に計算することが可能である。

図９では、動き推定に使用される２つの画像要素信号の組は連続した読み出しからであり、第１の読み出しは第１の画像画素の組から得られ、第２の読み出しは第２の画像画素の組から得られる。しかし、これは限定を意味するものでなく、一般に、２つの読み出しは、露出期間中の何れかの２つの読み出しであってよい。

図９に表す積分投影の手法は、図５で表したような他の画像の組に適用することも可能である。特定の行（垂直方向の動き推定の場合）に、又は列（水平方向の動き推定の場合）に、特定の信号読み出しがデ―タを含んでいない場合、集約信号ベクトルは、欠けている行又は列のデータ値を埋めるよう補間することが可能である。

センサのスペクトル感度に応じて、動き推定に使用される２つの画像画素の組は同じスペクトル感度を有していてもいなくてもよい。例えば、第１の画像画素の組は、パンクロ画素のみを有し得る一方、第２の画像画素の組は、赤色画素、緑色画素、及び青色画素を有し得る。前述の場合、動き推定前に２つの画素の組からの信号を一致させるよう、特定の信号処理が必要であり得る。上記シナリオでは、緑色画素からの信号を、パンクロ画素からの信号に対する近似として使用することができ、単に、強度全体に一致させるようスケーリングすることができる。別の方法では、緑色、青色、及び赤色画素からの信号を色補間し、輝度・クロミナンス表現に変換することが可能であり、輝度データは、パンクロ表現の近似として使用することが可能である。

画像画素の組からの連続した信号読み出し間の動き推定を次いで組合せて、露出間隔［０，ｔ］中の大局動きの関数を形成する。前述の通り、前述の関数を得るやり方が多く存在している。大局動き関数があれば、複数の画像画素の組からの信号が、最終出力画像を形成するために処理される。

画像画素の組からの信号を処理することができる手法が多く存在している。前述の例示的な方法の１つには、当初、画像要素信号の各組を無関係に強調するということがある。デコンボルーション・アルゴリズムは、その露出期間中のかなりの撮像装置の動きが存在した何れかの組の画像要素信号に施すことが可能である。更に多くの基礎的な鮮鋭化アルゴリズムが、その露出中に撮像装置の軽度の動きしか存在しなかった何れかの組の画像要素信号に施すことが可能である。この場合、画像要素信号の組は、穴を埋めるよう補間することができ、よって、精鋭化又はデコンボルーション工程に先行してセンサ画素位置全てにおいてデータが存在する。画像要素信号の個々の組の処理後、処理済データを次いで、動きアラインし、集約して、最終出力画像を形成することができる。この工程は、誤った動き推定又は局所の物体の動きによって生じるブラー又はゴースト・アーチファクトを含まないようにするために、時間フィルタ（例えば、メジアン・フィルタ又はシグマ・フィルタ）も含み得る。データは、極端な撮像装置の動きの期間に対応する画像データは何れも、更なる処理から除外し、最終的に組み立てた画像への寄与から除外し得る。

図４に表す画素の組は、図６に表す系列に応じて読み出すこともできる。この場合、第１の画素の組は複数回、読み出され、例えば、前述の通り、積分投影の手法を使用して、カメラの動きの推定に使用される。第２の画素の組は一度のみ、露出期間の終了時に、読み出される。第２の画素の組は、図４と同様に規定してもよく、あるいは、センサ上に画素全てを含むよう規定してもよい。第１の画素の組の位置で利用可能なデータは、複数の読み出しが理由で高雑音を有するが、前述の位置における置換画素値を、第２の画像画素の組からの画素値を使用して計算することが可能である。第１の画像画素の組に対応する位置における画素値は、第２の画像画素の組からの近傍値の補間によって計算することが可能である。例えば、モノクロ・センサの場合、最も近い４つの近傍の双直線補間を使用して、第１の画像画素の組に対応する位置における画素値を構成することが可能である。一般に、図４に示すよりも少ない数の画素位置を、第１の画像画素の組に割り当てることが可能である（トレードオフとして、実施可能な動き推定の精度は低くなるが、補間データを含む画素の位置は少なくなる）。補間後、デコンボルーション・アルゴリズムを、計算された動き推定により、上述の通り、画像全体に適用することが可能である。

図１０は、図５に表した画像の組に対応する画像センサ読み出しのための例示的な方法を表す。時点０では、第１の画像画素の組５０２の露出が始まる（１００２）。第１の画像画素の組からの信号はその後、一様な露出長１０１０で複数回、読み出される。第２の画像画素の組からの信号が同様に露出され（１００４）、読み出される（１０１２）（第１の画像画素の組に対してずれている）。同様に、第３の画像画素の組からの信号が、露出され（１００６）、読み出される（１０１４）（第１の画像画素の組に対してずれている）。同様に、第４の画像画素の組からの信号が、露出され（１００８）、読み出される（１０１６）（第１の画像画素の組に対してずれている）。一実施例では、限定列挙でないが、第３の画像画素の組からの読み出しは第１の画像画素の組からの連続読み出し間で時間上、等間隔であり、第２の画像画素の組からの読み出しは第１の画像画素の組からの読み出しと、後続する第３の画像画素の組からの読み出し間で等間隔であり、第４の画像画素の組からの読み出しは第３の画像画素の組からの読み出しと、後続する第１の画像画素の組からの読み出し間で等間隔である。

４つの画像画素の組全てからの読み出しを次いで、例えば、図８を参照して上述した手法を使用して動き推定に使用する。図８に関連した例と同様に、画像画素の組からの画像要素信号を処理することができる多くの方法が存在している。前述の例示的な方法の１つには、当初、画像要素信号の各組を強調するということがある。デコンボルーション・アルゴリズムを、その露出期間中にかなりの撮像装置の動きが存在した画像要素信号の何れかの組に適用することが可能である。

多くの基礎的な鮮鋭化アルゴリズムは、その露出中に撮像装置の軽度の動きしか存在しなかった何れかの画像要素信号の組に施すことが可能である。この場合、画像要素信号の組は、穴を埋めるよう補間することができ、よって、精鋭化又はデコンボルーション工程に先行してセンサ画素位置全てにおいてデータが存在する。画像要素信号の各組は、センサ画像データの２×２のダウンサンプリングとして扱うこともでき、処理は、分解能を削減して最終出力画像を生成する意図で、又は、他の処理全てが完了した後にのみ、完全なセンサ分解能までもう一度補間する意図で、その分解能を行うことができる。画像要素信号の個々の組の処理後、処理済データを次いで、動きアラインし、集約して、最終出力画像を形成することができる。この工程は、誤った動き推定又は局所の物体の動きによって生じるブラー又はゴースト・アーチファクトを含まないようにするために、時間フィルタ（例えば、メジアン・フィルタ又はシグマ・フィルタ）も含み得る。データは、極端な撮像装置の動きの期間に対応する画像データは何れも、更なる処理から除外し、最終的に組み立てた画像への寄与からも除外し得る。

動き推定は、更なる目的（露出中の撮像装置の過剰な動きの結果、キャプチャされた画像が潜在的に低い画像品質のものである旨を撮像装置のユーザに警告するなど）で使用することもできる。

構成部分リスト
３ ズーム・レンズ
５ ズーム及びフォーカス・モータ
１０ ディジタル撮像装置
１３ クロック・ドライバ
１４ 画像センサ
１８ アナログ出力信号
２２ アナログ信号プロセッサ、及びアナログ・ディジタル変換器
３６ ＤＲＡＭバッファ・メモリ
４０ 制御プロセッサ及びタイミング生成器
４２ ユーザ制御部
４８ 電子式フラッシュ
５０ 画像プロセッサ
５２ メモリ・カード・インタフェース
５４ 取り外し可能なメモリ・カード
５６ ＲＡＭメモリ
５８ ファームウェア・メモリ
６２ ホスト・インタフェース
６４ 相互接続
６６ ホストＰＣ
７０ カラーＬＣＤ画像ディスプレイ
９０ セルラ・プロセッサ
９２ セルラ・モデム
９４ アンテナ
２０１ 画像センサ上の複数の画像画素の組を規定する工程
２０２ 画像キャプチャを開始する工程
２０４ １回又は複数回、画像画素の各組からの信号の読み出しの工程
２０６ １つ又は複数の画像画素の組からの信号の読み出しを使用して動き推定を計算する工程
２０８ 出力ディジタル画像を形成するよう画像画素からの１つ又は複数の信号の組を処理する工程
３０２ 第１の画像画素の組
３０４ 第２の画像画素の組
３０６ 出力画像エリア
３０８ センサ画像エリア
４０２ 第１の画像画素の組
４０４ 第２の画像画素の組
４０６ 出力画像エリア
４０８ センサ画像エリア
５０２ 第１の画像画素の組
５０４ 第２の画像画素の組
５０６ 第３の画像画素の組
５０８ 第４の画像画素の組
５１０ 出力画像エリア
５１２ センサ画像エリア
６０１ 画像画素の露出を開始する工程
６０２ 第１の画像画素の組からの信号の読み出しの工程
６０４ 第２の画像画素の組からの信号の読み出しの工程
７０２ 第１の画像画素の組の連続読み出しからの対応するブロック
７０４ 動き推定参照として使用されるサブブロック
７０６ 参照サブブロックに対するサブブロックの一致
７０８ 動き推定サーチ範囲
８０２ 第１の画像画素の組の露出を開始する工程
８０４ 第２の画像画素の組の露出を開始する工程
８０６ 第１の画像画素の組からの信号の読み出しの工程
８０８ 第２の画像画素の組からの信号の読み出しの工程
９０２ 第１の画像画素の組の読み出しからの信号
９０４ 第１の画像画素の組の読み出しからの信号の垂直軸に沿った集約
９０６ 第２の画像画素の組の読み出しからの信号
９０８ 第２の画像画素の組の読み出しからの信号の垂直軸に沿った集約
９１０ ２つのベクトル間の動きオフセットを求める工程
１００２ 第１の画像画素の組の露出を開始する工程
１００４ 第２の画像画素の組の露出を開始する工程
１００６ 第３の画像画素の組の露出を開始する工程
１００８ 第４の画像画素の組の露出を開始する工程
１０１０ 第１の画像画素の組からの信号の読み出しの工程
１０１２ 第２の画像画素の組からの信号の読み出しの工程
１０１４ 第３の画像画素の組からの信号の読み出しの工程
１０１６ 第４の画像画素の組からの信号の読み出しの工程

Claims (20)

1. 画像の獲得中に撮像装置の動きを求める方法であって、前記撮像装置は、複数の画像要素獲得装置を備える画像センサを含み、前記方法は、少なくとも部分的にデータ処理システムによって実現され、
   前記複数の画像要素獲得装置のうちの全部でないが一部を含む第１の前記画像要素獲得装置の組からの第１の画像要素信号の送信を指示する工程と、
   前記複数の画像要素獲得装置のうちの一部又は全部を含む第２の前記画像要素獲得装置の組からの第２の画像要素信号の送信を指示する工程であって、前記第１の画像要素信号のうちの１つ及び前記第２の画像要素信号のうちの１つは、同じ画像要素獲得装置から発せられる工程と、
   前記第１の画像要素信号を受信する工程と、
   前記第２の画像要素信号を受信する工程と、
   少なくとも、前記第１の画像要素信号及び他の受信画像要素信号の比較に基づいて前記撮像装置の動きを求める工程と、
   プロセッサ・アクセス可能なメモリ・システムにおいて前記求められた動きを識別する情報を記憶する工程と、
   少なくとも、（ａ）前記求められた動きを識別する情報、及び（ｂ）前記第２の画像要素信号のうちの少なくとも一部に基づいて画像を組み立てる工程と
   を含む方法。
2. 請求項１記載の方法であって、前記他の受信画像要素信号は前記第２の画像要素信号である方法。
3. 請求項１記載の方法であって、前記第１の画像要素信号は、それぞれの画像要素獲得装置からの前記第２の画像要素信号の送信前又は送信後にそれぞれの画像要素獲得装置から送信される方法。
4. 請求項１記載の方法であって、
   前記第１の前記画像要素獲得装置の組から更なる画像要素信号を受信する工程を含み、
   前記他の受信画像要素信号は前記更なる画像要素信号である方法。
5. 請求項４記載の方法であって、前記更なる画像要素信号がそれぞれの画像要素獲得装置からの前記第１の画像要素信号の送信前又は送信後にそれぞれの画像要素獲得装置から送信され、前記第１の画像要素信号はそれぞれの画像要素獲得装置からの前記第２の画像要素信号の送信前又は送信後に送信される方法。
6. 請求項１記載の方法であって、前記第１の画像要素信号は、連続した、又はほぼ連続した画像要素獲得装置の群から送信される方法。
7. 請求項６記載の方法であって、前記画像要素獲得装置による画像シーンのキャプチャの開始の直前の画像シーンの解析により、少なくとも部分的に前記画像要素獲得装置の群を識別する工程を更に含む方法。
8. 請求項１記載の方法であって、前記第１の画像要素信号は、連続していない、又はほぼ連続していない画像要素獲得装置の群から送信される方法。
9. 請求項１記載の方法であって、少なくとも前記第１の画像要素信号は、対応する画像要素獲得装置の破壊読み出しによって生成される方法。
10. 請求項１記載の方法であって、少なくとも前記第１の画像要素信号は、対応する画像要素獲得装置の非破壊読み出しによって生成される方法。
11. 請求項１記載の方法であって、前記求められた動きを識別する前記情報は、露出中の平行移動の動きを表す方法。
12. 請求項１記載の方法であって、前記求められた動きに基づいて、少なくとも、得られた前記第２の画像要素信号を処理する画像処理手順の実行を指示する工程を更に含む方法。
13. 請求項１２記載の方法であって、前記画像処理手順は、
    ブラー解除手順、
    前記第２の画像要素信号の少なくとも一部の空間アラインメント、
    前記第２の画像要素信号の少なくとも一部の鮮鋭化、又は、
    組み立てられる画像への寄与からの、前記第２の画像要素信号の少なくとも一部の排除を含む方法。
14. 画像の獲得中に撮像装置の動きを求める方法であって、前記撮像装置は、複数の画像要素獲得装置を備える画像センサを含み、前記方法は、
    少なくとも部分的にデータ処理システムによって実現され、前記複数の画像要素獲得装置の全部でないが一部を含む第１の前記画像要素獲得装置の組からの第１の画像要素信号の送信を指示する工程と、
    第２の前記画像要素獲得装置の組からの第２の画像要素信号の送信を指示する工程であって、前記第２の画像要素獲得装置の組は、前記第１の前記画像要素獲得装置の組と相互排他的であるか、又はほぼ相互排他的である工程と、
    前記第１の画像要素信号を受信する工程と、
    前記第２の画像要素信号を受信する工程と、
    少なくとも、前記第１の画像要素信号及び前記第２の画像要素信号の比較に基づいて前記撮像装置の動きを求める工程と、
    プロセッサ・アクセス可能なメモリ・システムにおける前記求められた動きを識別する情報を記憶する工程と、
    少なくとも（ａ）前記求められた動きを識別する前記情報、（ｂ）前記第１の画像要素信号のうちの少なくとも一部、及び（ｃ）前記第２の画像要素信号のうちの少なくとも一部に基づいて画像を組み立てる工程と
    を含む方法。
15. 請求項１４記載の方法であって、前記第１の画像要素信号は、前記第２の画像要素信号の前又は後に送信される方法。
16. 請求項１４記載の方法であって、
    更なる前記画像要素獲得装置の組から更なる画像要素信号を受信する工程を更に含み、前記更なる前記画像要素獲得装置の組は、（ａ）前記第１の前記画像要素獲得装置の組、及び（ｂ）前記第２の前記画像要素獲得装置の組に対して相互排他的か、又はほぼ相互排他的であり、
    前記更なる画像要素信号はそれぞれの画像要素獲得装置からの前記第１の画像要素信号の送信と、それぞれの画像要素獲得装置からの前記第２の画像要素信号の送信との間の期間中にそれぞれの画像要素獲得装置から送信される方法。
17. 請求項１４記載の方法であって、前記第１の画像要素信号は、連続していない、又はほぼ連続していない画像要素獲得装置の群によって生成される方法。
18. 請求項１４記載の方法であって、少なくとも前記求められた動きに基づいて、少なくとも、得られた前記第２の画像要素信号を処理する画像処理手順の実行を指示する工程を更に含む方法。
19. システムであって、
    データ処理システムと、
    通信するよう前記データ処理システムに接続された撮像装置であって、複数の画像要素獲得装置を備えた画像センサを含む撮像装置と、
    通信するよう前記データ処理システムに接続され、画像の獲得中に前記撮像装置の動きを求める方法を前記データ処理システムに実現させるよう構成された命令を記憶するメモリ・システムと
    を備え、前記命令は、
    前記複数の画像要素獲得装置の全部でないが、一部を含む第１の前記画像要素獲得装置の組からの第１の画像要素信号を送信させるための命令と、
    前記複数の画像要素獲得装置の一部又は全部を含む第２の前記画像要素獲得装置の組からの第２の画像要素信号を送信させるための命令であって、前記第１の画像要素信号のうちの１つ及び前記第２の画像要素信号のうちの１つは同じ画像要素獲得装置から発せられる命令と、
    前記第１の画像要素信号を受信するための命令と、
    前記第２の画像要素信号を受信するための命令と、
    前記第１の画像要素信号及び他の受信画像要素信号の比較に少なくとも部分的に基づいて前記撮像装置の動きを求めるための命令と、
    プロセッサ・アクセス可能なメモリ・システムにおける前記求められた動きを識別する情報を記憶するための命令と、少なくとも、（ａ）前記求められた動きを識別する前記情報、及び（ｂ）前記第２の画像要素信号のうちの少なくとも一部に基づいて画像を組み立てるための命令と
    を含むシステム。
20. システムであって、
    データ処理システムと、
    通信するよう前記データ処理システムに接続された撮像装置であって、複数の画像要素獲得装置を備えた画像センサを含む撮像装置と、
    通信するよう前記データ処理システムに接続され、画像の獲得中に前記撮像装置の動きを求める方法を前記データ処理システムに実現させるよう構成された命令を記憶するメモリ・システムと
    を備え、前記命令は、
    前記複数の画像要素獲得装置の全部でないが一部を含む第１の前記画像要素獲得装置の組からの第１の画像要素信号を送信させるための命令と、
    第２の前記画像要素獲得装置の組からの第２の画像要素信号を送信させるための命令であって、前記第２の前記画像要素獲得装置の組は前記第１の前記画像要素獲得装置の組と相互排他的又はほぼ相互排他的である命令と、
    前記第１の画像要素信号を受信するための命令と、
    前記第２の画像要素信号を受信するための命令と、
    少なくとも、前記第１の画像要素信号及び前記第２の画像要素信号の比較に基づいて前記撮像装置の動きを求めるための命令と、
    プロセッサ・アクセス可能なメモリ・システムにおける前記求められた動きを識別する情報を記憶するための命令と、
    少なくとも、（ａ）前記求められた動きを識別する情報、（ｂ）前記第１の画像要素信号のうちの少なくとも一部、及び（ｃ）前記第２の画像要素信号のうちの少なくとも一部に基づいて画像を組み立てるための命令とを含むシステム。

Images