JP2011502367A - カメラ運動の検出及び推定 - Google Patents

Abstract

デジタルカメラは、光学系、主画像センサー、及び画像捕獲の間の相対的なカメラ−物体運動を推定するためのカメラ運動センサーを含んでいる。プロセッサーは、カメラがシーンの画像に露光される間に、カメラ運動フォトセンサーによって得られた情報に基づいて、カメラ運動を推定する。該プロセッサーは、その後レンダリングされる主画像の処理されたバージョンを可能にする主画像から、動きぼけ効果を弱め或いは除去する。
【選択図】図４Ａ

Description

優先権及び関連する出願

本出願は、２００７年４月２３日に出願された米国仮特許出願第６０／９１３，３３１号の優先権の利益を要求し、かつ、２００７年６月２１日に出願された米国仮特許出願第６０／９４５，５５８号の優先権の利益を要求するものであり、また、この出願は、２００４年１１月１０日に出願された米国特許出願第１０／９８５，６５７号の一部継続分（ＣＩＰ）である。この出願はまた、米国特許出願第１０／９８５，６５０号及び第１０／９８６，５６２号と関連する。これらの明細書の各々は、参照により本書に組込まれる。

本出願は、画像獲得の間に相対的なカメラ運動を検知し推定するために個別の運動センサーによって提供される情報を使用するプロセッサーを含む画像を得ることができる、デジタルスチルカメラのような装置に関する。

カメラ運動は、少数のパラメーターに依存する。まず第一に、露光速度である。シャッタが長く開いているほど、より移動に気付くことができるだろう。第２は、カメラの焦点距離である。レンズが長いほど、その移動は顕著になる。３５ｍｍフィルムを撮影するアマチュアカメラマンのための実用方法は、露光時間を決して焦点距離の域を超えて超過しないようにすることであり、それゆえ、３０ｍｍのレンズに対しては１／３０秒よりも遅く撮影しないようにすることである。第３の基準は、被写体それ自体である。扁平領域、あるいは低周波データは、高周波データほど多く劣化されるものではない。

歴史的に、かかる問題は、三脚か単鞘などの使用でカメラを固定させる、またはレンズやカメラ本体中のジャイロ・スタビライザーの使用でカメラを安定化させる、或いはカメラ運動を打ち消すセンサー面の運動により、取り組まれた。

数学上、動きぼけは、物体中の各位置に点広がり関数（すなわちＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を適用することで説明され得る。このＰＳＦは、露光積分時間の間の、カメラの経路を表わす。動作（ｍｏｔｉｏｎ）ＰＳＦは、積分時間を決定する動作経路及び動作速度の関数、または各位置に対する累積されたエネルギーである。

以下を仮定する：
Ｉ（ｘ，ｙ）により表わされた２次元画像Ｉ
動作点広がり関数ＭＰＳＦ（Ｉ）
劣化画像Ｉ’（ｘ，ｙ）は、Ｉ（ｘ，ｙ）及びＭＰＳＦ（ｘ，ｙ）の畳み込み、すなわち

として、或いは連続関数のための積分形式において、

そして、例えばデジタル画像の離散関数について:

で、数学的に定義できる。

一般の写真撮影術及び光学において、他に良く知られたＰＳＦは、ピンぼけにより引き起こされたぼけである。これらの差異は、ピンぼけは通常、対称性を有するガウスのシフト不変（shift invariant）ＰＳＦによって描かれ得るが、他方、動きぼけ修正はそうでないことである。

動きぼけ修正がシフト不変でない理由は、画像はシフトするだけでなく回転もし得る、ということである。したがって、動きぼけの完全な記述は、次の変換に基づいてシフトと回転とを組み合わせるアフィン変換である：

ＰＳＦは、システム識別のようなより総括的なフィールドの一部として、実験的に得ることができる。線形システムについては、ＰＳＦは、システムの既知の入力に対する反応を得て、次に、関連する転移問題を解決することにより、決定することができる。

既知の入力は、光学系、連続的な世界にデルタ関数δ（ｘ）として数学上でも定義された位置、線、端あるいは隅のためのものとなり得る。

ＰＳＦの例は、Ｊａｎｎｓｏｎ，ピーター Ａ．により編集された「画像とスペクトルの解析（Deconvolution）」第２版（アカデミックプレス社、１９９７年）、及びアンドリュース，Ｈ．Ｃ．及びハント，Ｂ．Ｒ．により著された「デジタル画像復元」（プレンティスホール社、１９９７年）のような多くの教科書で見つけることができる。

画像のぼけ修正のプロセスは、畳み込む画像と畳み込むカーネル間で分離する数学的な形式であるデコンボリューションを使用して行われ得る。しかしながら、Ｊａｎｎｓｏｎ，ピーター Ａ．編「画像とスペクトルの解析」第２版（アカデミックプレス社、１９９７年）の１章のような多くの出版物で議論されたように、デコンボリューションの問題は、解答不能、不良設定、あるいは悪い状態かのいずれかとなり得る。さらに、物理的な実際のシステムについては、解決を見つける試みはまた、ノイズ又はサンプリングが存在する状態で悪化し得る。

カーネルに関する知識又はこの場合PSFの無いデコンボリューションにより、復元を、数学的に試みて遂行し得る。そのような方法は、ブラインド・デコンボリューションとしても知られている。一般的な光学系用のＰＳＦについての演繹的な知識のないそのようなプロセスの結果は、許容範囲からは遠く、広大な計算を要求する。ブラインド・デコンボリューションに基づいた解決策は、レーンらの「自動的な多次元のデコンボリューション」（Ｊ．光学協会 Ａｍ．Ａ，第４巻（１）、第１８０頁〜１８８頁、１９８７年１月）、ベイツらの「ブラインド・デコンボリューション及び位相回復用のゼロ・シートのいくつかの含意」（Ｊ．光学協会 Ａｍ．Ａ，第７巻（１）、第４６８頁〜４７９頁、１９９０年）、セルディンらの「位相回復に適用される反復ブラインド・デコンボリューション・アルゴリズム」（Ｊ．光学協会 Ａｍ．Ａ，第７巻（３）、第４２８頁〜４３３頁、１９９０年３月）、及び、ボーンズらの「ゼロ・シートの使用を伴うデコンボリューション及び位相回復」（Ｊ．光学協会 Ａｍ．Ａ，第１２巻、第１８４２頁〜１８５７頁、１９９５年）に記述されるような、特定の状況に対して見つかり得る。しかしながら、画像復元の技術に精通している人に知られているように、また、アンドリュース，Ｈ．Ｃ．及びハント，Ｂ．Ｒ．著「デジタル画像復元」（プレンティスホール社、１９７７年）に説明されているように、ぼけ関数が知られている場合、ぼかされた画像は、実質的に一層良好に回復することができる。

モシェ ベン＝エズラ及びＳｈｒｅｅ Ｋ．ナイヤルによる記事「ハイブリッド・イメージングを使用したぼけ修正動作」（２００３年、コンピューター・ビジョンとパターン認識に関するＩＥＥＥコンピューター協会会議の議事録より）は、主画像の露光期間の間に多くの比較的鮮明な参照画像を取り込むハイブリッドカメラの使用により、ぼかされた画像のＰＳＦを決定する。

カメラ内に実装されたカメラ運動センサーを利用して、捕らえられたデジタル画像中にカメラ動きぼけ関数を決定するカメラを持つことが望まれる。

異なる波長を備えた光は、光検出器のシリコン内での異なる侵入度を持っている。さらに、光侵入の深さは、フラックス強度に応じて変わる。図１（ａ）及び１（ｂ）は、シリコン中の光侵入の減衰を示す。この方程式は、そのことを説明するものである：
Φ（ｘ）＝Φ_０ｅｘｐ（−ａｘ）ｗｈｅｒｅΦ_０＝Φ（ｘ＝０） （１）

ここでΦは光束を表示し、またｘは侵入の深さである。図１（ａ）は、吸収係数 対 波長のプロットを表示するシリコン中の光の吸収を示す。図１（ｂ）は、４つの異なる波長用の入射光強度 対 深度の４つのプロットを含んでいる。一般に、光子束は、表面からの距離で指数関数的に減衰する。図１（ａ）及び１（ｂ）は、中村淳一、テーラー及びフランシス・グループ編による「デジタルカメラ用の画像センサー及び信号処理」第５７頁から得られ、この出版物は参照することにより全体に組み入れられる。

図２で示されたセンサーのようなフォビオン（Ｆｏｖｅｏｎ^ＴＭ）センサーは、シリコン中、青検出器が表面の近くにあり、緑検出器はより低く、さらに赤はより深い（２．４μｍ）という特性で構築される。全ての層は、個々のｐにｎが連続する。かかるＸ３センサーは、特許「三層井戸構造を用いた能動画素・セル画像化配列における色分解」（メリル・リチャード・ビリングズ、Ｆｏｖｅｏｎ社、米国第５，９６５，８７５号）に記述され、それは参照によって組込まれる。

カメラが移動される場合、画像センサーの中で統合された電荷は、非線的に変わる。ＣＭＯＳセンサーに適用された多数の捕獲（読込み）は、Ｘｉｎｑｉａｏ リウ及びアバ Ｅｌ Ｇａｍａｌの「多数の捕獲による同時の画像構成及び動きぼけ復元」２００１年５月、音響学、音声、及び信号処理に関するＩＥＥＥ国際会議の議事録、第３巻、第１８４１頁−１８４４頁、（特許が添付された記事）に示されるような、カメラ軌道に関する情報を提供することができ、これは参照によって組込まれる。

図２は、Ｆｏｖｅｏｎ^TM三層井戸センサーを示す。人がフレーム（ｆｒａｍｅ）のシーケンスを考慮し、カメラが移動される又は場面（ｓｃｅｎｅ）が移動している場合には、単一の光検出器の電荷は変化する。光検出器に付けられた回路での、連続するフレーム及び動き補償の間の動きの検出は、メリル・リチャード・ビリングズ、Ｂｅｒｇｅｍｏｎｔ アルバート、カイ ｍｉｎ−Ｈｗａの米国特許第５，９６２，８４４号「組み込みメモリ及び画素・レベル信号処理能力を備えた能動画素画像セル」、Ｆｏｖｅｏｎ社、及び、Ａ．ディキンソンらの「ＴＰ １３．５：運き検出器を備えた２５６×２５６のＣＭＯＳの能動画素画像センサー」、１９９５年ＩＥＥＥ国際固体回路会議の要約本、第２２６頁以下参照、（各々参照によって組込まれる）の主題である。

相対的なカメラ運動を検知し推定するために専用の運動センサーを備えたカメラを持つことが望まれる。

発明の要約

デジタルカメラは、光学系及び該光学系を通じて提供される主画像を捕獲するための主イメージセンサーを含んで提供される。かかるカメラは、さらに、画像捕獲の間のカメラ−物体の相対的な運動を推定するためのカメラ運動フォトセンサーを含んでいる。当該カメラは、さらに、カメラがシーンの画像に露光される間に、前記カメラ運動フォトセンサーによって得られた情報に基づいてカメラ運動を推定し、前記主画像から動きぼけ効果を弱め或いは除去して、その後にレンダリングされる、前記動きぼけ効果が弱められた或いは除去された前記主画像を含む、主画像の処理されたバージョンを可能とするプロセッサーを含む。

前記カメラ運動フォトセンサーは、多数のシリコン層を含む多層センサーを含むことができる。前記プロセッサーは、多層フォトセンサーのシリコン層間の光電流の測定値を統合することができる。前記プロセッサーは、前記光電流の測定値に基づく前記シリコン層内の計算された光束又は光束深度の変化あるいはこの両方に基づいて、運動を推定することができ、あるいは、ＣＣＤまたは他のカメラ運動フォトセンサーのために、測定されたパラメーターの変化は、計算されたカメラ運動に用いられる。前記光電流の測定は、前記多層フォトセンサーの連続するｐ型及びｎ型シリコン層の間で実行されることができる。前記多層フォトセンサーは、ｐ型及びｎ型シリコン層の既知の深さの連続する井戸を含むことができる。

前記光学系は、一連の一又は複数のレンズ及び開口部を含むことができる。前記主画像センサーの単一の露光期間内に、多数のカメラ運動センサーの測定が遂行されることができる。カメラ運動の量は、カメラ運動センサーによって測定されたパラメーターの変化の程度の計算に基づいて推定されることができる。

カメラ運動の方向は、最も高い相関性の方向として推定されることができる。カメラはさらに、カメラ運動を推定するための一又は複数の追加的なカメラ運動フォトセンサーを含むことができる。２つ以上のカメラ運動フォトセンサーは、任意に空間に分配されることができる。

デジタルカメラにおいてシーンを捕獲するための露光期間中のカメラ運動を推定する方法も提供される。主画像センサー及びカメラ運動フォトセンサーは、光学系を介して露光される。主画像センサーによって主画像が捕獲される。露光期間の前、期間中及び／又は後に獲得された一又は複数の参照画像の分析に基づいて、一又は複数のパラメーターが決定される。カメラ運動は、一又は複数のパラメーターに基づいて計算することを含めて推定される。方法はさらに、該推定されたカメラ運動に基づいて、主画像からカメラ動きぼけ効果を除去或いは弱めることを含み、それによって、主画像の処理されたバージョンのレンダリングを可能にする。

カメラ運動フォトセンサーは、多数のシリコン層を含む多層センサーを含むことができる。かかる方法は、測定された光電流の測定結果を統合することを含め得る；また、該光電流の測定結果に基づいて、多層フォトセンサーの層内の光束又は光束深度の変化あるいはこの両方を計算し、カメラ運動は、該計算された変化に基づいて推定されることができる。方法はさらに、多層フォトセンサーの連続するｐ型及びｎ型シリコン層の間の光電流測定を実行することを含めることができる。多層フォトセンサーは、ｐ型及びｎ型シリコン層の既知の深さの連続する井戸を含むことができる。

光学系は、一連の一又は複数のレンズ及び開口部を含むことができる。かかる方法は、主画像センサーの単一の露光期間内に、カメラ運動センサーで多数の測定を行なうことを含め得る。前記推定は、カメラ運動の方向を、最も高い相関性の方向として推定することを含め得る。カメラ運動の推定は、一又は複数の追加的なカメラ運動フォトセンサーを用いて行なうことができる。２つ以上のカメラ運動センサーは、任意に空間に分配されることができる。前記推定は、カメラ運動センサーによって獲得された一又は複数の参照画像から、決定されたパラメーターの変化の程度の計算に基づいたカメラ運動の量を推定することを含むことができる。

さらに、ここに記述された方法のうちのいずれでも行なうように一又は複数のプロセッサーをプログラミングするための具体化されたデジタルコードを備えた、一又は複数のプロセッサー読込み可能な媒体が提供される。

光の侵入の深さを例証し、光の吸収係数 対 波長のプロットを示す図である。 多波長用の光束 対 侵入深さのプロットを示す図である。 従来のフォビオン（Ｆｏｖｅｏｎ^ＴＭ）三層井戸センサーを示す図である。 一の実施の形態に従う多層カメラ運動センサーを示す図である。 光検出器あるいは主画像センサーの光検出器の一部と置換する、及び／又は主画像センサーに隣接配置されているカメラ運動センサーを示す図である。 主光線から分離された光線の一部を受信するカメラ運動センサーを示す図である。 特定の実施の形態に従った、主画像センサーと運動センサーとの同期を示す図である。 図６（ａ）及び（ｂ）は、それぞれ、運動が存在し及び光が一定の場合の典型的な多層センサーの層の電荷を示し、運動がどのように電荷に影響するかを対照的に示す図であり、図６（ｃ）及び（ｄ）は、それぞれ、運動がカメラ運動センサー中の光の侵入の深さにどのように影響するかを対照的に示す図である。 色の一時的なプロット及び特定の閾値の使用を含む、移動の量の決定の例を示す図である。 可能性があるＰＳＦ画素の決定を示す図である。 ぼかされていない画像、ＰＳＦ及びカメラ運動センサー記録の表現、及び主画像システムで獲得された、ぼかされた画像の表現を示す図である。 実施形態の例に従って、可能性があるＰＳＦが対称的な選択を含んで支援することを示す図である。 実施の形態によってＰＳＦに関連したツリーが軌道を計算したことを示す図である。 実施の形態に従って作動するカメラ装置のブロックダイヤグラムである。 特定の実施の形態による、試写及び／又はポストビューデータのような参照画像データを使用したカメラ動きぼけ縮小技術の初期段階のワークフローを示す図である。 実施の形態を示すワークフローである。 実施の形態を示すワークフローである。 図１５の実施の形態についての理解を助ける線図である。 図１５の実施の形態についての理解を助ける線図である。 図１５の実施の形態についての理解を助ける線図である。

特定の実施の形態によれば、デジタル処理コンポーネントと同様に、主画像センサー及び運動センサーを含みデジタル画像を捕らえるための装置を含む、デジタルカメラのようなデジタル画像収集システムが提供される。かかる処理コンポーネントは、専ら前記運動センサー又は該運動センサー及び主画像センサーのいずれかによって取得された２つ以上の画像の比較に基づいて、捕獲されたデジタル画像におけるカメラ動きぼけ関数を決定する。画像の各々は、主捕獲画像の露光期間の間、該期間と時間的に隣接したとき、或いは名目上同じシーンの期間をオーバーラップさせたときに得られる。

２つ以上の画像は、主画像センサーによって捕らえられた主捕獲画像、運動センサーによって獲得された他の画像すなわち参照画像、あるいは運動センサーによって獲得された２つ以上の参照画像を含めることができる。好ましくは、上記参照画像の少なくとも１つは主画像の捕獲の前に試写画像として取得されるが、これらの画像は、捕獲された画像の露光期間の間，前，或いは後に捕獲されることができる。

１つの実施の形態では、デジタル処理コンポーネントは、参照画像中の少なくとも１つの特性(characteristic)（捕獲された画像中の対応する特徴(feature)に比べて相対的にぼかしの少ないもの）を識別し、かかる特性についての点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を計算する。この特性は、明確に定義されたパターンを含めることができる。例えば、良いパターンであるほど、局所的差異勾配、局所的色勾配、明確に定義された端部などの環境から差別化され、または別の方法では、その後、そのようなより良いパターンであるほど、ＰＳＦを計算するために使用されることができる。極端な場合では、かかる特性を形成するパターンは、大きさが単一の画素のみとされ得る。

他の実施の形態では、デジタル処理コンポーネントは、カメラ運動センサーによって獲得された多数の参照画像中の少なくとも１つの特性の軌道を計算し、捕らえられた画像に関する当該特性を推定し、かかる特性に関するＰＳＦを計算する。

計算されたＰＳＦに基づいた一方のケースでは、捕らえられた画像は、多くのデコンボリューション法のいずれかを使用して有意にぼけ修正されることができる。

また、対応するぼけ修正関数を決定する方法も、この出願で提供される。さらに、当該ぼけ修正関数を決定する方法を遂行するように一又は複数のプロセッサーをプログラミングするための埋め込みのデジタルコードを備えた、一又は複数の記憶装置も提供される。

特定の実施の形態では、カメラ運動センサーは、速く、比較的低解像度のＣＣＤ検出器、あるいは代わりに、公知または利用可能な、或いは記述された実施の形態の性能予想を満たす参照画像を得る能力を有する当業者に利用可能なＣＭＯＳ検出器、シリコン検出器あるいは他の光検出器を含んでいる。好ましくは、例えば、図４（ａ）及び４（ｂ）に示されるように、カメラ運動センサーは、主画像センサーから分離される。あるいは、単一のセンサーは、同一又は個々の結像光学系で構成され、または同一及び個々の結像光学系の組み合わせで構成された、画素サブセットに分割されることができる。他の実施の形態では、カメラ運動センサーは、特に図２及び３で示されるような多層シリコン・センサーを含めることができる。他のセンサー及び方法は、例えば、米国特許第６，２６９，１７５号、及び米国特許公開出願第２００６／００９８８９０号明細書、２００６／００９８２３７号明細書、２００６／００９８８９１号明細書、２００６／０２８５７５４号明細書、２００７／０１８９７４８号明細書、２００１／００３６３０７号明細書、２００４／０２１２６９９号明細書及び２００７／０２６９１０８号明細書、及び米国特許出願第１１／５７３，７１３号明細書、１１／７５３，０９８号明細書、１２／０３８，７７７号明細書、１１／７５２，９２５号明細書、６０／９４４，０４６号明細書、１１／８５６，７２１号明細書、６０／９１３，３３１号明細書、１１／８５９，１６４号明細書、６０／９４５，５５８号明細書、６０／３９０，３３６号明細書及び６１／０２３，７７４号明細書、及び／又はヨーロッパ特許ＥＰ１７７９３２２号明細書、及びＥＰ１８００２５９号明細書（これらのすべては参照によって本書に組込まれる）のいずれか又は組み合わせの例証として、後述及び上文に引用して参照として記述したものを含む、カメラ運動の測定及び推定のために使用されてもよい。

多層センサー

Ｆｏｖｅｏｎセンサーの例では、図３で示されるように、そのアイデアは、カメラが移動される場合に、フラックス強度が一定であるかのように用いられるのとは異なる機能を持って、フラックスの侵入深さが変化する、ということである。

我々は、多層（ＭＬ：Ｍｕｌｔｉ−Ｌａｙｅｒ）センサーの使用を提案する。そのイメージは、図２で見ることができる。Ｎを層の数にする。層は、ｎとｐとで連続的である。それぞれの層は、厚さｄ_ｉの深さを有している。

この深さ（それぞれの厚さ）は、単純（ｓｔｒａｉｇｈｔ−ｆｏｒｗａｒｄ）色の意味解釈を提供するように選択される。

読み出し技術は、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）に、あるいはＣＭＯＳ技術の使用に基づくことができる。光は、光起電力効果によって、電流強度のＮ値のセットを生み出す。これらは、統合されて電荷を生み出す。

このＭＬセンサーの（露出の）統合の期間は、１セットのＮ値ｕ_ｉ，・・・，ｕ_Ｎを供給する。値のセットのそれぞれは、１セットの色に相当する。例えば、３層センサー（Ｆｏｖｅｏｎ）は以下のように規定し得る：
ｕ_１＝ｕ_Ｂｌｕｅ＋ｕ_{Ｇｒｅｅｎ}＋ｕ_ｒｅｄ
ｕ_２＝ｕ_{Ｇｒｅｅｎ}＋ｕ_ｒｅｄ
ｕ_３＝ｕ_ｒｅｄ （２）

図３は実施の形態に従った多層センサーを示す。

カメラ内におけるカメラ運動センサーの配置

多層センサー又は他のセンサーが使用されてもされなくても、カメラ運動センサー、または多数のカメラ運動センサーのセットは、通常の光検出器に代わって、主画像センサー内の、正確に決定された位置に置くことができる。主画像センサー及びカメラ運動センサーあるいはセンサーらの様々な他の配置が使用され得るが、以下、図４（ａ）及び４（ｂ）中で２つの例が提供される。図４（ａ）では、カメラ運動センサーは、光検出器サブセットを主画像センサーと置き換えるか、あるいは主画像センサーの隣りに配置される。図４（ｂ）では、カメラは、光の或いは他の光学素子の経路に、光のいくらかをカメラ運動センサーへ反射し、残りの、好ましくは５０％乃至９０％間の過半あるいはもしかすると９５％以上の大部分のパーセントの光を伝達する、ビームスプリッター又はビーム分離器あるいはビーム分割器を含む。小規模の参照部分が送信されることができる一方で、光の主要な部分は、主画像センサーに反射されることができる。幾らかの光束は主画像センサーに進行し、一方、第２の光束は、カメラ運動センサー（ビームスプリッター）に進行する。他の実施の形態では、光学素子は、主光束を２つの方角に分割するために使用されてもよい。一方は主画像センサーに向かい、また、他の一方はピンホール（または１セットのピンホール）を渡ってカメラ運動センサーに向かう。

他の実施の形態では、同一の光学素子又は幾らかの重複する光学素子は、プレビュー及び／又はポストビューとして運動センサーによって得られる一又は複数の参照画像を可能とし、次に、主画像センサーが第２の方向又は運用上の位置あるいは状態で主画像を捕らえることを可能にするために、交換することもでき、そうでなければ変更されることもできる。例えば、電気的に駆動される鏡は、主センサー及びカメラ運動センサーまたはセンサーらに画像をそれぞれ反射または伝送するために、オン又はオフにされることができる。一又は複数の光学素子は、主センサー又は運動センサーのいずれかの上に入射する光の光路を変更するために、わずかに回転することもでき、そうでなければ移動することもできる。

読込み及び主画像システムとの同期

読込み及び主画像システムとの同期の典型的なプロセスを、図５を参照して説明する。主画像システムのダイヤフラムが開いている（主画像センサーが露光される）間、一連のＭ回の読込み動作が遂行されることができる。多層カメラ運動センサーの例では、多層の各々に関して電荷の統合が行なわれることができる。主画像システム中の単一の照射線量に対しては、ＭｘＮの１セットの電荷値が得られることができる：ｕ_ｉｉ（ここでｉ＝１，Ｎであり、層の番号を発生させ、ｊ＝１，Ｍであり、読込みのインデックス／順序を発生させる。）。読込みの小周期は、図５で示されるように等しくすることができ、或いは変えることもできる。

動き検出

例えば多層センサーの層の中で、カメラ運動センサーの画素に記録される又は該画素から決定される、輝度、強度、色、電荷、電流、コントラスト、或いはセンサー又は検出器が使用されるものに依存するパラメーターのような値を考慮することによって、動きを検出することは可能である。多層センサーの例において、継続的なモーメントのときの層によって蓄積された電荷における変化がある場合、運動が存在する。シーンに変化が無いままで、ＣＣＤまたは他の画像センサー上の画素の強度、輝度あるいは色が変化している場合には、運動が存在するものと判定される。画素間の、及び参照画像間のこれらの値の比較によって、カメラの運動の方向及び大きさを判定することができる。それ故に、動きぼけは、主捕獲画像中で除去或いは縮小することができる。

さらに、主画像センサーの例で、記録された電荷が閾値よりも大きいところの深さ（表面からの距離）が、ある期間から次の期間まで変化する場合には、運動が存在するものと判定される。閾値は、多層センサーが利用する多数の交代するｐ−ｎシリコン層を利用しないＣＣＤあるいは他のセンサーで使用されてもよい。典型的な状況は、以下の図６（ａ）乃至６（ｄ）で例証される。

図６（ａ）乃至６（ｄ）を参照すると、測定されたＮ値のセットを入力としてとり、予め定義された値Ｕ_０よりも大きな記録値の最大のインデックスを返す関数ｇ（）を定義することができる：
ｇ_ｊ（ｕ_１...,ｕ_Ｎ）＝ｋｉｆ ｕ_１＞＝...＞＝ｕ_k＞＝Ｕ₀ and Ｕ₀＞＝ｕ_k+1＞＝ｕ_Ｎ (3)
ここで、ｇ_ｊは、モーメントｊ＝１，Ｍで適用された関数ｇ（）である。

図６（ａ）及び６（ｂ）は、運動（光変化）がある場合及び光が一定の場合の層の電荷を示す。同様のプロットは、ＣＣＤあるいは他の画素で構成された検出器のために、あるいは強度、色、輝度、コントラスト、あるいは他の用途の他の画像センサーのために作ることができる。図６（ａ）及び（ｂ）は、運動がどのように電荷（あるいは他のパラメーター）に影響するかを対照的に示す。図６（ｃ）及び（ｄ）は、多層センサーの例において、運動がどのように深さ（ｇ関数のグラフ）に影響するかを対照的に示す。

カメラが像（露光）を得ている間、カメラ運動センサーは、検出器の使用に依存する電荷、輝度、色あるいは他のパラメーターのＭｘＮ値を提供する。その場合、運動／運動無しは、一般に以下のように値に影響を及ぼす：

運動のない場合については、光は、参照画像間で変化しない。例えば、多層センサーでは、侵入の深さは一定のままであろう。他のセンサーでは、輝度、色及び／又は他のパラメーターは、参照画像間で変化したものとして検知されないであろう。

運動ありの場合については、光は参照画像間で変わる。例えば多層センサーでは、侵入の深さは変化する。他のセンサーでは、輝度、色または他のパラメーターは、参照画像間で変化し得る。

動き推定

ぼけのプロセスは、ＰＳＦ軌道に沿った画像の相関性を増加させ得る。正確な値を決定しＰＳＦの画素を支援するために、この性質を有効に使う方法が推定されるであろう。一例に沿って仮定された方法の詳細な例の説明が、図７乃至１１を参照して提供される。

ＰＳＦ推定の遂行では、（一の読込みが主捕獲画像からの情報と共に使用されてもよいが、）カメラ運動センサーの画像の統合または比較または参照、及び多数の読込みに対して小周期を使用することが望まれ、その結果、ＰＳＦ長（画素単位での、カメラ運動のサイズ）は、正確に決定することができる。カメラ運動センサーによって測定された、より大きな光強度及び／又は色あるいはコントラスト変化は、一般により大きな動きを示す。

より高い相関性を備えた方向は、ＰＳＦ配向性を示すために使用されることができる。この仮説はオリジナルではなく、Ｙ．Ｙｉｔｚｈａｋｙ、Ｉ．モル、Ａ．Ｌａｎｔｚｍａｎ、及びＮ．Ｓ．Ｋｏｐｅｉｋａ「運動でぼかされた画像の復元のための直接法」（米国の光学協会ジャーナル、１９９８年６月、第１５巻、第６号、第１５１２頁乃至１５１９頁）のような幾つかの論文で研究されており、これらは参照により組み込まれる。

カメラの制約によって、多数のカメラ運動センサーを備えていることは有用である。カメラ運動センサーがパターン無しで（偽似ランダムで空間的に分布して）配置される場合には、ＰＳＦの推定の増加された精度を得ることができる。

単一のカメラ運動センサーのためのＰＳＦ推定

ＰＳＦ推定プロセスは、２つのステップに分割されることができる：第１のものは、前項に記述されたように、カメラ運動センサーからの光子が測定され及び／又は計数される場合で、画像獲得の間に起こり、第２は、カメラの軌道がＰＳＦウェイト(weight)と共に推定される場合の後処理のものである。

この後処理は、さらに２つのステップを備え得る：ＰＳＦ長及びウェイトを推定すること（この例は後述のアルゴリズム中のステップ１乃至５で提供される）、及び、第２のステップで支援又は軌道を見つけること（これに関する例が後述のステップ６で提供される）である。

ＰＳＦ推定に対する優先傾向は、次のものを含んでいる：
・ ＰＳＦサイズの推定のために：カメラ運動センサーによって測定された光のより大きな変化であり、より大きなものは、推定されたカメラシフトである；そして、
・ ＰＳＦ支援（カメラ運動配向性）の計算のために：クローザー（closer）が１つの方向からの画素（例えば、カメラ運動センサーに対応する画素の左に置かれた画素）にあり、その後、より適当なのは、カメラがその方角に動くことである。

我々は、カメラ運動センサーが主画像センサー光検出器と平行して利用可能であるビームスプリッター（図４（ｂ）を参照）の事例のためのＰＳＦを推定する過程について説明する。この例における推定は、カメラ運動センサーからの記録、及び主画像センサーからの画素の色（強度）を使用する。

統合によって、Ｍ値は、カメラ運動センサーの読み込み期間の終わりで利用可能である。センサーの構造を考慮に入れ、例えばＭＬセンサー（井戸の数、各々の深さ、など）については、関連する色あるいは他のパラメーターを提供することができる。色は、ＲＧＢ、ＨＳＶ、Ｌａｂなどのような、意味のある空間に表わされる。結論として、各露光では、色のＭ次元の配列：［Ｃ１，Ｃ２，．．．，ＣＭ］があり得る。Ｎ＝３（例えば図２に見られるＦｏｖｅｏｎセンサー）の場合には、色の配列が単純であり得る：Ｃｋ＝［Ｒｋ，Ｇｋ，Ｂｋ］。

期間の数Ｍは、例えば多層センサー用に、画素パラメーターを統合するためのものであり、層は、注意深く選ばれるべき期間Ｍよりも統合される電荷を有するであろう。この数が少なすぎる場合には、カメラ運動を追跡するのは難しい。数が大きすぎれば、統合プロセスは容易には行なわれないだろう。期間の数を決定するための方法は、前のフレーム上で検出された動きから開始される。予測フィルター（例えば、ピーター・メイベックの「確率モデル、推定及び制御」第１巻、アカデミック出版社、第１章、全巻及びシリーズ（参照により組み込まれる）に記述されたカルマンフィルタリングの如し）の適用によって、そして所望される読込みの数を決定することによって、動きの量を推定することは可能である。それは、好ましくは、少なくとも画素中で与えられた予測された動きのサイズの２倍と同等であるべきで、あるいはより好ましくは、より大きなものである。

ハンド・ジッターについての理解を使用すると、小周期は、好ましくは、ズーム１倍，５４００に対して１／５０秒に等しい或いはこれより小さくあるべきである。１／５０よりも速く起きた１画素と等しい動きの事例は、まれである。

他方では、多層センサー例の記録を調査することにより、あるいは、より正確に言えば、多層センサーからの電圧セットの変化を、予め定められた閾値と、あるいはＣＣＤ検出器用の別のパラメーターの閾値と比較することにより、ＣＰＵは、動きが十分に小さいために真像を推定し良い状態で復元することができるか、またはそうでないかを判定する。

露光の後、１連の色［Ｃ１，Ｃ２，．．．，ＣＭ］が存するであろう。ここでは説明の簡明化のために、色は、モノクロム（グレイスケール水準）であると説明される。これは、多層センサーのカメラ運動センサーの例が（この場合も先と同様に記述の簡明化のために）単層センサーに変えられ得ることを意味する。マルチチャンネル色への拡張は、絶対減算を距離Ｌ２に取り替えることにより行われ得る。

カメラ運動センサーによって測定された一連の色を［Ｃ１，Ｃ２，．．．，ＣＭ］とする。基本的に、ＰＳＦ計算のステップは次の通りである：
１．色ベクトル勾配Ｄ１，Ｄ２，．．．，ＤＭ−１，^{ｗｈｅｒｅ}Ｄ１^＝Ｃ２−Ｃ１，Ｄ２^＝Ｃ３−Ｃ２，，．．．，Ｄｋ^＝Ｃｋ＋１−Ｃｋを計算する。

これらはセンサーによって記録された色の変化である。

このステップで、勾配は、一連の測定された色にわたって計算される。個別のベクトルにわたって勾配を計算する異なる方法がある：２点（ここでは有限差分が使用された）での導関数、３点，４，６点などでの導関数。これら言及された方法から１つの方法を選ぶことは、アルゴリズムの重要な特徴又は要件ではない。

２．閾値は、Ｔ１＜Ｔ２＜Ｔ３＜．．．である。閾値は、１画素（Ｔ１）に渡るシフト(shift)、２つの画素（Ｔ２）に渡るシフトなどを表現するために選ばれる。閾値Ｔｋは、局所の勾配に関して正規化される。

第１の閾値を計算する方法は以下である。

ここで：
・Ｔ_ｅｘｐは、主画像システムの露光期間である。
・ｔ_ｅｘｐは、カメラ運動センサーの単一の露光期間である。Ｔ_ｅｘｐにおいて、Ｍの露光がある。しかしながら、Ｍ_ｔｅｘｐは、連続する２つの読込み間のギャップのために、Ｔ_ｅｘｐに結びつかない。
・ＤＩは、平均化された画像ラプラシアンである。それは、カメラ運動センサーの近辺からの画素における端部の基準を与える。

ラプラシアンの選択は重大ではない。端のいかなる現実的な基準（双方向勾配、高周波ウェイトの如し）も役立つであろう。

他の閾値は、次の式によって計算される。
Ｔ_ｋ＝ａ・ｋ・Ｔ_１，ｋ＝１，２，．．．（７）
ここで、ａについての単純な選択は、ａ＝１である。後のチューニングは、効率的に使用され得る。

３．動きがあった場合は、各期間（カメラ運動センサー読込みのモーメント）毎に決定する。この決定は、差分の絶対値を閾値と比較することにより得られる。
例えば：
・もしも │Ｄ１│＜Ｔ１ならば 何ら動きは無かった；
・もしも Ｔ１＜│Ｄ１│＜Ｔ２ならば １画素を越えた動きがあった；
・もしも Ｔ２＜│Ｄ１│＜Ｔ３ならば ２画素を越えた動きがあった；

これを形成し、移動配列を確立する。そのようなベクトルは、次のように見える：
［ｍ１，ｍ２，ｍ３，．．．，ｍＭ−１］
ここで、

しかしながら、期間Ｍを読み込むカメラ運動センサーの数の適切な選択は、１よりも大きな多くの値を阻むに違いない。１よりも大きな値は、カメラ運動の正確な情報がない点(points)を我々が有することを意味する。

動きサイズ推定は、次の原理を使用し得る：”もしもカメラ運動センサーによって時間内に記録された変化が、ＭＬセンサーに対応する光検出器の近隣の画素からの色の平均化された空間の変化よりも大きい場合であれば、カメラは動いた。”閾値は、”よりも大きい”をエンコードする。

図７は、動きの量の決定の例を示す。表わされた色は、時間に関しての統合の後に得られる。左側では、確立された閾値が描かれる。動きの関連する配列は、［０，０，１，０，０］である。

４．動きアレイ修正。先のものから１の値を引くことによる勾配の計算は、迅速な動きの検出を可能とし得る。動きがより遅い場合には、連続する動作間の差分は小さく、また、動き無しが検知されるであろう。我々が行おうとしているのは、より遠くに配置する値に関する減算を行なうことである。ギャップの増加するこれらのステップは、動き配列の合計が、１番目から最終値を引くことにより検知された動きの値と少なくとも等しくなるまでは、行なわれ得る。

５．ウェイトの推定における次のステップは、ＰＳＦの２次元の支援を見つけることである。ＣＰＵは、可能性がある動きの全てのシナリオの構築を開始する。可能性がある経路は、図８で示されたもののように、階層的グラフ（ツリー）中に置かれる。

レイ（Ｌｅｉ）Ｉｉｊは、「ｉ」が画像からの行を測り「ｊ」がカラムを測るところでの、カメラ運動センサーで同一の画素に対応する主画像からの画素の値である。かかるＩｉｊ値は、カメラ運動センサーによって測定された色［Ｃ１，Ｃ２，．．．，ＣＭ］でのセットの混合により得られることができる。

その画素は、４つの隣所（空間的に隣接する）を持っている：すなわちＩｉ−１，Ｊ、Ｉｉ＋１，Ｊ、Ｉｉ，ｊ−１、Ｉｉ，ｊ＋１。さらに、これらの画素は、ＰＳＦの可能性がある経路に対応する。動きのモーメントは、配列動作からの最初の０でない値によって記録される。

図８で示されたツリーにおいて、各親ノードは、４つの隣接画素に対応する４つの子を持つ。したがって、カメラが動いたところで、それぞれの子は、方向を表わすことができる。ノードでは、その画素がＰＳＦの一部である可能性（言いかえれば、カメラがその方角に動いた可能性）が規定され得る。ノード・ウェイトの計算は、以下のように行なわれ得る：
・ルート（Ｐ_１０）がＰＳＦの中で確実に現われる、したがって、その可能性は１である。
・その４つの子の少なくとも１つはＰＳＦの一部だろう。カメラが動いたと判定し得る；つまり、それはジャンプすることができなかったのだから、４つの隣接のうちの１つはＰＳＦの一部であるべきである。４つの子ノードのウェイトは合計１になるだろう：

・ウェイト配分は、測定された色を、対応する画像画素のものと比較することによって、算出されることができる。

図８は、可能性があるＰＳＦ画素の調査を示す。

幾つかのノードの４つの子ウェイトは、親値に合計しなければならないだろう。

最も高い値を備えた終端ノード（リーフ）は、最も有望なＰＳＦ経路を示す。階層的グラフの長さは、変位の合計と等しくなければならない。

階層を構築する異なるスキームは、同様に有用であることが分かるであろう。以前に記述された選択は、出発点の近くの点により多くの重要性を与え、遠くに配置された点により少ない重要性を与える。全てのＰＳＦ画素の平衡を保つことを望むのであれば、次の正規化条件を単純に置換する。

同時に：

他の有意義な選択は次のとおりであろう：

これらの場合では、最も有望なＰＳＦ支援は、腐朽（ｒｏｔ）からのノードの合計と終端リーフとを比較することにより与えられる。

この例において、ＰＳＦは、完全に決定される。復元方法は、記録された画像から動きぼけ効果を除去することを暗示されるだろう。

多数のカメラ運動センサーのためのＰＳＦ推定

前の例では、カメラ運動センサーが一定のエリアの真中に収まる場合以外は推定が失敗し、さらにまた、移動検出が失敗する場合の実施の形態が記述された。グラフの同一レベルからの全てのノードは、等しい値を持ち得る。最後には、同一の可能性を備えた多くのＰＳＦ可能な支援が存在し得る。そのような状況を回避するために、幾つか（すなわち少なくとも２つ）のカメラ運動センサーが使用されることができる。好ましくは、これらの多数のセンサーは、ランダムに或いは整列されない位置で選択的に配置される。

この実施の形態では、ＰＳＦ推定アルゴリズムは、センサーらのそれぞれ１つに対して同じ方法で実行され得る。どれが最も有望なＰＳＦ支援であるかを決定する前に、計算グラフが計算されることができ、また、その後、リーフ・ウェイトが比較される。

ＰＳＦ推定は、バイエル・カラーフィルター・アレイで獲得された画像に方法が適用され得ることを提案したが、そこでは、解像度は、画素が３つの色構成要素を備えるレベルに減少された。当該解像度は、２５％に希釈され得る；４つの画素Ｇ１，Ｒ，Ｂ，Ｇ２のグループは、構成要素：［Ｒ，０．５（Ｇ１＋Ｇ２），Ｂ］を備えた単一の画素に変形され得る。

ＰＳＦ推定の例

この節では、ＰＳＦ推定アルゴリズムの方法の例が提供される。記述の容易化のために、カメラ運動センサーがスカラー色（単一の色調）を提供するものと仮定される。

この節の記述のために、オリジナルの画像、ＰＳＦ、運動センサー記録、及びぼかされた画像は、図９で示されたものであると仮定される。

平均化されたラプラシアンは、ＤＩ＝２３．６である。Ｔｅｘｐ＝１であり、一方、ｔｅｘｐ＝１／１０秒である。閾値は、（数式（７）を使用して）
Ｔ_１＝２，Ｔ_２＝４，Ｔ_３＝６，．．．である。

勾配は、色ベクトルが測定されたカメラ運動センサー上の有限差分として次のように計算され、
Ｄ＝［０ ０ ２ ０ ０ ０ −２ −２］；
動き配列は（数式で与えられ）、
ｍ＝［０ ０ １ ０ ０ ０ １ １］；
したがって、正規化されていない（そして方向付けられていない）ＰＳＦは次のとおりである：
ＰＳＦ＝［２，４，１，１］；
正規化されたＰＳＦウェイトは次のとおりである
ＰＳＦ＝［０．２５，０．２５，０．１２５，０．１２５］；

このモーメントにおいて、ＰＳＦのウェイトは決定されるが、その支援は知られていないかもしれない。その支援の可能な状況は、図１０中で示される。図１０は、可能性があるＰＳＦを示す。さらに、（中心に向かって）対称なものは、可能性がある選択である。

動きが現われるところの第１のモーメントは、カメラ運動センサー読込みの３つの時期にある：
Ｄ３＝Ｃ４−Ｃ３^＝５−３＝２

画像からの対応する画素は、（図９の中のグレーで印を付けられた）Ｉ４４＝４６である。差分は、（数式（１０）を使用して）次の通りである：

確率の正規化は、（数式（１３）を使用して）次の通り導かれる。
［０．０２５ ０．０８４ ０．８３５ ０．０５６］

最も有望な経路は、カメラが左に動いたということである。したがって、最新の画素は、現在、Ｉ４５＝６５である。この場合、差分は次のとおりである：

当該正規化されたウェイトは、合計１になるように、以下の値を提供する：
［０．７３９ ０．０３１ ０．０８２ ０．１４８］

その他。対応するグラフ（ツリー）及び関連するＰＳＦは、図１１で示される。図１１は、軌道（３つまでのＰＳＦ画素）が計算されたＰＳＦに関連したツリーを示す。

図１２は、他の実施の形態に従って作動するデジタルカメラ装置のような画像収集システムのブロックダイヤグラムを示す。かかるデジタル収集装置、この場合、携帯用のデジタルカメラ２０は、プロセッサー１２０を含んでいる。デジタルカメラ中で実行されるプロセスの多くは、実装され得る、すなわち、集約的にブロック１２０として描かれ「プロセッサー」として名付けられた、マイクロプロセッサー（μＰｒｏｃ）、中央処理装置（ＣＰＵ）、制御器、デジタル・シグナル・プロセッサー（ＤＳＰ）及び／又は特定用途向け集積回路（ＡＳＩＣ）におけるソフトウェア動作により制御され得ることが認識されるものである。一般的に、ボタン及びディスプレイのような周辺のコンポーネントの全てのユーザー・インタフェース及び制御は、マイクロコントローラ１２２によって制御される。

プロセッサー１２０は、例えばシャッター・ボタンを半分押し込む（事前取込モード３２）ような１２２でのユーザ入力に応答して、デジタル写真用の処理を開始し制御する。アンビアント・ライト露光は、フラッシュが使用されるか否かを自動的に決めるために、光センサー４０を使用して決定される。被写体への距離は、さらに画像取込素子６０上に画像の焦点を合わせるフォーカシング素子５０を使用して、決定される。フラッシュが使用されることになっている場合、プロセッサー１２０は、シャッター・ボタンの十分な押し下げの際に、画像取込素子６０による画像の記録と実質的に同時発生する写真のフラッシュを、フラッシュ７０に生成させる。画像取込素子６０は、画像をカラーでデジタル記録する。この画像取込素子は、デジタル記録を容易にするためにＣＣＤ（電荷結合素子）あるいはＣＭＯＳを含むことができ、また、個々のカメラ運動センサーは、ＣＣＤまたはＣＭＯＳ或いは他の素子とすることができ、一方、主画像センサーは、ＣＣＤまたはＣＭＯＳ或いは他の素子とすることができる。フラッシュ７０は、カメラのユーザからの光センサー４０又は手動入力部７２のいずれかに応答して、選択的に生成され得る。

画像取込素子６０によって記録された画像は、ダイナミック・ランダム・アクセス・メモリーまたは不揮発性メモリーのようなコンピュータ・メモリーを含み得る画像格納部８０に格納される。カメラは、画像の試写及びポストビューのために、カメラの後部のＬＣＤまたはビューファインダーの内部のマイクロディスプレーのようなディスプレイ１００を装備している。事前取込モード３２で生成される試写画像の場合には、ディスプレイ１００は、焦点及び露光を決定することと同様に、ユーザが画像を構成するのを支援することができる。一時的な記憶スペース８２は、一又は複数の試写、ポストビューまたは他の画像（例えば、全体又は部分的に主画像と一時的にオーバーラップする画像）を格納し、かつ画像格納部８０の一部となり或いは別個の素子となるように使用される。試写または他の参照画像は、同じ画像取込素子６０、あるいは個別の素子によって生成されることができる。前者では、速度と記憶効率の理由から、参照画像は、試写あるいは他の参照画像を１００で表示する或いは８２で格納する前に、一般的なプロセッサー１２０または専用ハードウェアの一部であり得るソフトウェアを使用して、画像１２４の副標本をとることにより生成されることができる。後者（個別の参照画像センサーの場合）では、参照画像センサーは、当初は、主画像センサーよりも低い解像度で、または主画像センサー６０によって捕らえられたものに対する副標本を得ることができる。シャッター・ボタンの十分な降下に際して、十分な解像度の画像が得られ、８０で格納されることができる。画像は、ＲＡＷセンサー・パターンからＲＧＢ、フォーマット、色補正、及び画像増強への転化のような、画像処理段階を経由することができる。これらの動作は、主プロセッサー１２０の一部として、あるいは専用ＤＳＰのような第２のプロセッサーの使用により、行なわれることができる。画像処理の完遂の際に、画像は、リムーバブル記憶装置１１２のような長期的な持続性の記憶装置に格納されることができる。

この実施の形態によれば、システムは、動きぼけ修正コンポーネント１００を含む。このコンポーネントは、主プロセッサー１２０または別個のプロセッサーで実行するファームウェア又はソフトウェアとして実装されることができる。あるいは、このコンポーネントは、物理的なリムーバブル記憶装置、カメラと外部装置との間の無線または有線で接続されることができる画像出力メカニズム１１０によってカメラ記憶装置１１２から画像を受信する、デスクトップまたはサーバーのような外部処理装置１０で実行するソフトウェア中に実装されることができる。動きぼけ修正コンポーネント１００は、ＰＳＦ算出器１１０と、ＰＳＦを使用して最大解像度の画像をデコンボリューションする画像デコンボルバ１３０と、を含んでいる。これらの２つのコンポーネントは、組み合わせられることができ、別々に扱われることもできる。ＰＳＦ算出器１１０は、動きぼけが存在するかどうか判定するような必要条件のために使用されてもよく、一方、画像デコンボルバ１３０は、ぼけ修正が必要かどうかをＰＳＦ算出器１１０が判定した後に始動されることができる。

図１３は、実施の形態に従ってＰＳＦを計算する一の実施の形態のフローチャートである。カメラが試写又は参照モード（２１０）である間、当該カメラは、試写または他の参照画像を連続的に取得して、露光及び／又は焦点を計算し及び／又は当該構図を表示する。そのような画像が幾つかの予め定められた基準（２２２）を満たす場合には、当該試写または他の参照画像は保存される（２３０）。以下に説明されるように、そのような基準は、像質及び／又は年代順の考慮に基づいて好ましく定義され得る。１つの典型的な基準は、最新の画像を常に保存することとし得る。より高度な像質基準は、試写または他の参照画像それ自身があまりにも多くの動きぼけを有しているかどうかに関しての分析を含めることができる。一般に、参照画像は主画像と比較して露光時間が縮小されているだろうから、試写または他の参照画像は、カメラ運動によるより少ないぼけを有するであろう。単一画像の保存の代わりとして、多数の画像が保存され得るものであり（２４０）、例えば、最新の試写画像がリストに加えられ、最古の画像を交換する（２４２及び２４４）ものである。この「最古」の定義は、先入れ先出し（FIFO）のように、年代順とすることができる。代替的に、それは、段階２２２に定義されるような基準を最も満たさない画像とすることができる。当該プロセスは、シャッター・ボタンが完全に押されるまで（２８０）、またはカメラの電源が切られるまでは、継続し得る（２１１）。

試写または他の参照画像が満足するように保持される基準（２２２）は、アルゴリズムの具体的な実行に依存して変えることができる。１つの好ましい実施の形態では、そのような基準は、画像がぼかされないかどうかとすることができる。これは、たとえユーザにより手で保持されたカメラが絶えず動いていても、ユーザがカメラをしっかりと保持しているため、或いは動きの方向の変更により、動きの速度が特定の場合にゼロになり、動きがゼロの時期が存在する、という仮定に基づくことができる。そのような基準は、絶対的なものとする必要はないであろう。加えて、そのような基準は、完全な二次元画像に対立するものとしての１つ以上の一次元のベクトルに基づくことができる。言いかえれば、基準２２２は、運動が直交するベクトルで数学的に記述され、従って分離可能であるという事実により、画像が水平方向にぼかされるが、垂直方向の動きが全く記録されない場合であれば、そしてこの逆の場合であれば、満足し得る。さらに信頼できる積極的な基準は、試写または他の参照画像が生成される速度と等しい又はより遅い、予め定められた時間毎に、画像を年代順に保存することであろう。参照画像が焦点に達したか否か、フラッシュが使用されているか否か、などの露光に関連する他の基準が定義され得る。

最後に、２８０で獲得された最大解像度の画像が保存される（２８２）。

最大解像度画像が保存（２８２）された後、それはメモリに読み込まれ（２９２）、試写あるいは他の参照画像又は画像らは、同様にメモリに読み込まれる（２９４）。参照及び最終画像は共に、ＰＳＦを計算するプロセスの入力データである（１１０）。

ＰＳＦ計算の２つの異なる典型的な方法の記述は、図１４及び１５を参照して説明される。

図１４は、単一の試写，ポストビューまたは一時的にオーバーラップする画像を使用してＰＳＦを抽出するための実施の形態５００を示す。

この実施の形態では、入力データは、最終的に獲得された最大解像度画像５１１であり、また、保存された試写あるいは他の参照画像５１２である。ＰＳＦを作成するに先立って、参照及び最終画像は、好ましくは位置合わせされる。その位置合わせは、全画像（５１１及び５１２）を使用して、大域処理とすることができる。しかしながら、当該２つの画像は、幾つかの理由で正確ではないかもしれない。

参照画像及び最終の最大解像度画像が一時的に異なる場合、完全な位置合わせでは無いかもしれない。この場合、画像特徴に基づき、当業者に知られている技術を使用した局所配列が、通常、十分となる。位置合わせのプロセスは、選択された抽出領域５２０上で、あるいは局所演算として行なわれ得る。さらに、この位置合わせは、ＰＳＦの生成に使用された、選択された領域（ら）または特徴（ら）の近隣で使用され得る。この場合、最大解像度及び試写あるいは他の参照画像の一致領域が抽出される（５２１及び５２２）。そのような領域の抽出のプロセスは、画像をグリッド（全画像または良い解像度領域であり得る）に分けるのと同じくらい単純であり得る。他のもっと高度なスキームは、色または露光における高いコントラスト、シャープな端部、あるいはＰＳＦを分離するのを支援する他の特徴のある分類子を備えた領域を検知するような分類プロセスに基づいた、別個の関心領域の検出を含み得る。技術に精通する者は、高いコントラストの局所の特徴または領域を分析し決定するための多くのアルゴリズムを知っている；そして、周波数変換及び端部検出技術は、この目的のために使用され得る２つの特定の例であり、さらに、区分化、特徴抽出、及び分類オペレーションを含み得る。

参照画像５１２は、（必ずしもそうではないが、）通常は、最大解像度画像５１１よりも低い解像度であり、典型的には、センサー・セルのサブセットを記録することにより、あるいは未加工のセンサー・データを平均化することにより生成されている。したがって、当該２つの画像、または他の方法として当該画像らの内の選択された領域は、ピクセル解像度（５３０）において一致し得る。現在のコンテクストでは、「ピクセル解像度」は、関係している画像か領域を構成する画素数の観点から、画像（すなわち適切な領域）のサイズを意味する。そのようなプロセスは、参照画像のアップサンプリング（５３２）、獲得した画像のダウンサンプリング（５３１）、あるいはこれらの組み合わせによって行われることができる。そのようなサンプリング方法については、様々な技術が最善に利用されることができる。

さて、我々は、以前から以下のことを思い起こす：
２次元の画像Ｉは、Ｉ（ｘ，ｙ）として与えられ得る。
画像Ｉのぼけを記述する運動点広がり関数は、ＭＰＳＦ（Ｉ）として与えられ得る。
劣化した画像Ｉ’（ｘ，ｙ）は、数学上、Ｉ（Ｘ，Ｙ）及びＭＰＳＦ（ｘ，ｙ）の畳み込みとして定義することができ、すなわち、

さて、前述のＭＰＳＦ（ｘ，ｙ）のような数学関数がディラックのデルタ関数δ（ｘ，ｙ）で畳み込まれる場合、その原初の関数は保存されている。したがって、参照画像内に均一な背景に対するシャープなポイントを決定することができる場合には、それは、ぼけの無い或いは比較的ぼけの無い或いはよりぼけの無い参照画像内の２Ｄディラックのデルタ関数の局所的発生と等価である。これが今、ぼけの有る主画像Ｉ’（ｘ，ｙ）と局所的に一致及び位置合わせがされている場合、その後、このシャープなポイントの周りの歪みパターンは、原初の画像Ｉ（ｘ，ｙ）のぼけを引き起こした正確なＰＳＦに対する非常に近接した近似になるだろう。したがって、参照及び主画像間に位置合わせ及び解像度の合致を遂行する際に、個別のポイントを取り囲む歪みパターンあるいは高コントラストの画像の特徴は、シャープな、一方向のラインのためのＰＳＦの単一次元の点及び表現に対する、有効な２Ｄ ＰＳＦの表現であり得る。

ＰＳＦは、多数の領域を組み合わせることによって作成されることができる。単純な事例では、参照画像上の顕著な特異点及び最大解像度の主画像で見つかるこのポイントの当該対応する動きぼけの形式が、ＰＳＦである。

しかしながら、試写及び最大解像度画像の両方における単一の別個のポイントを決定し、一致させ及び位置合わせすることが常に可能とは限らないかもしれないということで、端及びラインのようなより複雑な特徴の直角の部品の組み合わせからＰＳＦを作成することが、代案として可能である。多数の１-Ｄの端及び隅部への補外は、技術に精通した者のために明瞭にすべきである。この場合、直交直線のぼけを描く多数の線広がり関数は、単一のポイントのＰＳＦを決定するために、組み合わせられ数学的に分析される必要がある。

統計的な分散により、このプロセスは、一つの領域に基づいたＰＳＦを識別する程には十分に正確でないかもしれない。したがって、処理能力及びＰＳＦの要求された精度に依存して、ＰＳＦを探し出すステップは、ＰＳＦのためのより高水準の画素及び潜在的な副画素精度を作成するために、いくらかの統計的なパターンマッチング或いは画像内の多数の領域からの結果の統計的な組み合わせを含み得る。

上に説明されるように、ＰＳＦは、変更不変式ではないかもしれない。したがって、正しいＰＳＦを決定する過程は、画像内の位置の関数としてＰＳＦの可変性を決定するために、画像の様々な領域で行なわれ得る。

図１５は、多数の試写または他の参照画像を使用してＰＳＦを推定する方法６００を示す。

この実施の形態では、画像の動きは、試写または他の参照画像の移動に基づいて推定される。図１５によれば、この段階のための入力データは、多数の捕獲された参照画像６１０、及び最大解像度画像６２０である。全ての画像は、正確な追跡を保証するために、それらに関連した正確なタイムスタンプで記録される。ほとんどの場合、参照画像は、毎秒幾つかの画像の方法で、等しく分離されるだろう。しかしながら、これは、最終の最大解像度画像を含む画像間のインターバルが知られている限り、この実施の形態のために要求されるものではない。

参照画像中の一又は複数の区別できる(distinctive)領域が選択される（６３０）。「区別できる」に関しては、一つは、コントラスト又は輝度における顕著な違いを備えた領域のように、背景から分離することができる領域に注意を向ける。そのような領域を識別するための技術は、区分化、特徴抽出、及び分類化を含めることができる。

各領域は、次に、各参照画像中の対応する領域と一致させられる（６３２）。ある場合には、動きぼけ又は物体掩蔽により、或いは、それらが参照画像のフィールドの外に移動したという事実により、全ての領域が、全ての参照画像上で正確に決定されるとは限らないかもしれない。試写または他の参照画像のために、そして、最終画像（６３６）のために、各領域の座標が記録される（６３４）。

参照画像の時間間隔を知ると、時間の関数としてカメラの動きを推定することができる。最大解像度画像（６２０）が得られる場合には、記録されるパラメーターは、当該最大解像度画像の露光の期間と同様に、最後に捕らえられた試写画像と当該最大解像度画像との間の時間間隔である。画像が捕らえられる（６３４）前の追跡、及び最終画像の前及び最中の期間に基づいて、単一の点または高コントラスト画像特徴の移動は、カメラの詳細な運動経路を決定するために推定することができる（６４０）。

このプロセスは、図１６中に示される。図１６によれば、多数の参照画像９０２，９０４，９０６，９０８が捕らえられる。それらの各々では、各画像中の同じ特徴に相当する特定の領域９１２，９１４，９１６，９１８が分離される。最大解像度画像は９１０であり、また、そこでは、９１２，９１４，９１６，９１８に対応する領域は、９２０としてマークされる。ここで留意すべきは、動きぼけによって、９２０が歪曲され得ることである。

時間の関数として１次元を追跡し、時間間隔９３２の関数として、それらの変位９３２に基づいて領域が区画される場合、同じ領域は、９３０に示される。物体９４２，９４４，９４６，９４８及び９５０は、領域９１２，９１４，９１６，９１８及び９２０に対応する。

当該運動は、ライン９６０として計算される。これは、個別のサンプリングポイントに基づいた統計的な補間、スプライン或いは他の曲線補間を使用して行うことができる。最終画像については、曲線が計算可能でないかもしれないという事実により、原初の曲線の補外９６０によって行われ得る。

最終に獲得された画像の領域は、より良く見るために、９７０で拡大されている。このプロットでは、ぼかされた物体９５０は９５２として描かれ、また、カーブ６９０の部分は９６２として示される。この事例では、時間間隔９３５は、露光が得られている正確な長さに制限されており、また、水平変位９３３は、正確な水平のぼけである。それに基づいて、露光時間間隔９３５内に補間された曲線９５２は、運動経路９９０の補外を生み出す。

ここで、運動経路の補外は、得られた画像の原理の時間フレーム期間中の運動が実際に一定の速度及び実際にゼロの加速度を持つと示すことができるのであれば、ＰＳＦの有用な推定を産出するのに多くの場合十分である。１つの実施の形態に従うカメラは、そのような情報を決定し、簡明な運動経路解析が動きぼけＰＳＦを推定するのに適切であることを確認することを実現可能であり得るような鋭敏なジャイロスコープセンサーを組込み得る。しかしながら、これがそうでない場合（または、そのような測定をなすことが確実に可能ではない場合）でも、さらに、参照画像の時間分離及び期間についての知識、及び画像シーンを横切るカメラ・レンズの運動経路の知識から、詳細な動きぼけＰＳＦを推定することは可能である。このプロセスは、図１７ａ及び１７ｂ中に示され、ここにより詳細に記述される。

どんなＰＳＦも、畳み込みカーネルｋ（ｘ，ｙ）--＞ｗ（ここで、（ｘ，ｙ）は位置であり、ｗはその位置でのエネルギーレベルである）によって表わすことができるエネルギー分布関数である。カーネルｋは、次のエネルギー保存制約を満たす：エネルギーが手ぶれ操作によって失われないし獲得もされない状態。動きぼけＰＳＦに適用する追加の制約を定義するために、時間パラメータ化は、経路関数ｆ（ｔ）--＞（ｘ，ｙ）及びエネルギー関数ｈ（ｔ）--＞ｗとしてＰＳＦに使用されてもよい。ここで留意すべきは、物理的な速度及び加速度の制約により、ｆ（ｔ）は連続的でなければならず、また、ｆ’（ｔ）が参照画像フレームの速度で、ｆ’’（ｔ）が時間ｔでの加速度である場合、少なくとも２度の微分が可能でなければならないことである。画像獲得の間にシーン放射輝度が変更しないと仮定することによって、追加的な制約が発生する：

ここで［ｔ_{Ｓｔａｒｔ}，ｔ_ｅｎｄ］は、参照画像用の獲得区間である。この制約は、任意の時間間隔で積分されるエネルギーの量が当該間隔の長さに比例することを示す。

これらの制約を与えられて、推定は、図１７ａ及び１７ｂ中に示されるような個別の運動サンプルから、連続的な動きぼけＰＳＦが作られ得る。最初に、運動経路ｆ（ｔ）は、以前に説明され、図１６中に示されるようなスプライン補間によって推定され得る。この経路［１００５］は、さらに図１７ａ中に示される。

さて、この経路に沿ったエネルギー関数ｈ（ｔ）を推定するために、この補間された経路に沿って各画像枠の範囲を決定することが必要である。これは、ベン＝エズラら（上に引用され、参照によって組込まれる）に記述された運動重心仮定を使用して、及び当該経路を図１７ａで示されるような１-Ｄ ヴォロノイ（Ｖｏｒｏｎｏｉ）モザイク化を備えたフレームへ分割することにより、達成され得る。一定の放射輝度の仮定は、等しい露光時間を備えたフレームが等しいエネルギー量を統合するだろうということを暗示するので、図１７ｂで示されるような各フレームに対するｈ（ｔ）を計算することができる。ここで留意すべきは、各基準フレームが典型的にはこのように同一の露光時間を持つとともに、図１７ｂ中の長方形は、主画像獲得長方形とは別に、等しいエリアを持つだろうということである。この例において、捕獲フレーム５［１０２０］に関連した主画像長方形のエリアは、典型的には参照画像フレームよりも数倍大きくなり、主画像の露光時間が長い場合には、著しくより大きな桁分を越え得る。

このプロセスによって決定されて生じるＰＳＦは、図１７ｂ中に示され、いくつかの別個の部分に分割され得る。第１に、参照画像枠の間で補間され、実線として示されるＰＳＦがある［１０５２］。第２に、最後の参照画像と主捕獲画像の中間点との間で補間されたＰＳＦがある［１０５４］。第三に、長い露光時間を備え、それ故ぼけに対する影響をより受けやすい主画像のために、主捕獲画像の中間点を過ぎてＰＳＦの外挿があり［１０５５］、これは真のＰＳＦから逸脱する可能性がより高い。主画像が取得され、かつ、露光期間が当該主画像の露光期間と重複し時間的に重なっている参照画像も使用し得た後に、それらが取得されたことを除いて、試写画像と同じインカメラ機構を通して取得された画像を含み得るポストビュー画像のような、追加の参照画像を取得するのが望ましいかもしれない（参照画像を得るために主画像センサーをカメラ運動センサーと区別して使用する好ましい実施の形態に特に役立つ）。この技術は、少なくとも１つの参照画像から決定されたＰＳＦを備えた主画像ＰＳＦ［１０５６］の一層の補間を可能にするだろう。

当該プロセスは、一つの領域に基づいたＰＳＦを識別するほどには正確ではないかもしれない。したがって、処理能力と所望の精度に依存して、ＰＳＦを見つけるステップは、多数の動き経路を決定し、従ってＰＳＦのための一層高い画素及び潜在的な副画素精度を作成する、多数の領域のいくらかの統計的パターンマッチングを含め得る。

有利に、カメラ動きぼけの閾値量がデジタル画像の捕獲の最中に生じたとしても、決定はなされ得る。この決定は、捕獲された画像の露光期間の間に又は近接して獲得された最小の２画像の比較に基づいてなされる。当該処理は、画像ぼけ判定が「リアル・タイム」に発生するものとして、カメラ内で又は外部処理装置内で、非常に急速に生じる。写真家は通知されることができ、及び／又は新たな画像捕獲は、このリアルタイムの画像ぼけ判定の特徴のために、即座に行われることができる。好ましくは、当該判定は、計算されたカメラ動きぼけ関数に基づいて行われ、また、さらに好ましくは、画像は、カメラ内又は外部処理装置内のいずれかで、リアル・タイム或いは後で、当該動きぼけ関数に基づいて、ぼけ修正がされてもよい。

本発明の典型的な図面及び特定の実施の形態が記述及び示されたが、本発明の範囲は、論じられた特定の実施の形態に制限されるべきでないことが理解されるべきである。したがって、実施の形態は、限定的であるというより実例となるものと見なされるべきであり、また、それらの実施の形態において本発明の範囲を逸脱することなく、当業者によって変形例が作られ得ることが理解されるべきである。

さらに、上述され、好ましい実施の形態によって行なわれることができる方法では、オペレーションは、選択された活版印刷の配列で記述された。しかしながら、当該配列は、活版印刷上の便宜のために命じられ、選択されたものであり、また、特別の順序が明らかに述べられ得る場合あるいは当業者が特別の順序を必要とすると考え得る場合を除いては、オペレーションを遂行するためにいかなる特別の順序も意味するようには意図されない。

さらに、ここで引用された全ての参照文献は、背景欄、発明の要約、要約書及び図面の簡単な説明と同様に、参照によって、開示された代替の実施の形態として、実施の形態の詳細な説明に組み入れられる。以下は、参照によって組込まれる：レーンらの「自動的な多次元のデコンボリューション」（Ｊ．光学協会 Ａｍ．Ａ，第４巻（１）、第１８０頁〜１８８頁、１９８７年１月）、ベイツらの「ブラインド・デコンボリューション及び位相回復用のゼロ・シートのいくつかの含意」（Ｊ．光学協会 Ａｍ．Ａ，第７巻、第４６８頁〜４７９頁、１９９０年）、セルディンらの「位相回復に適用される反復ブラインド・デコンボリューション・アルゴリズム」（Ｊ．光学協会 Ａｍ．Ａ，第７巻（３）、第４２８頁〜４３３頁、１９９０年３月）、及び、ボーンズらの「ゼロ・シートの使用を伴うデコンボリューション及び位相回復」（Ｊ．光学協会 Ａｍ．Ａ，第１２巻、第１８４２頁〜１８５７頁、１９９５年）、アンドリュース，Ｈ．Ｃ．及びハント，Ｂ．Ｒ．著「デジタル画像復元」（プレンティスホール社、１９７７年）、及び、モシェ ベン＝エズラ及びＳｈｒｅｅ Ｋ．ナイヤルによる「ハイブリッド・イメージングを使用したぼけ修正動作」（２００３年、コンピューター・ビジョンとパターン認識に関するＩＥＥＥコンピューター協会会議の議事録より）。

Claims (34)

1. 光学系と、
   前記光学系を通じて提供される主画像を捕獲するための主イメージセンサーと、
   画像捕獲の間のカメラ−物体の相対的な運動を推定するためのカメラ運動フォトセンサーと、
   当該カメラがシーンの画像に露光される間に、前記カメラ運動フォトセンサーによって得られた情報に基づいてカメラ運動を推定し、前記主画像から動きぼけ効果を弱める或いは除去して、その後にレンダリングされる、前記動きぼけ効果が弱められた或いは除去された前記主画像を含む、主画像の処理されたバージョンを可能とするプロセッサーと、
   を含むデジタルカメラ。
2. 前記カメラ運動フォトセンサーは、多数のシリコン層を含む多層センサーを含む請求項１記載のカメラ。
3. 前記プロセッサーは、前記多層フォトセンサーのシリコン層間の光電流の測定値を統合する請求項２記載のカメラ。
4. 前記プロセッサーは、前記光電流の測定値に基づく前記シリコン層内の計算された光束又は光束深度の変化あるいはこの両方に基づいて、運動を推定する請求項３記載のカメラ。
5. 前記光電流の測定は、前記多層フォトセンサーの連続するｐ型及びｎ型シリコン層の間で実行される請求項４記載のカメラ。
6. 前記多層フォトセンサーは、ｐ型及びｎ型シリコン層の既知の深さの連続する井戸を含む請求項４記載のカメラ。
7. 前記光学系は、一連の一又は複数のレンズ及び開口部を含む請求項１記載のカメラ。
8. 前記主画像センサーの単一の露光期間内に、多数のカメラ運動センサーの測定が遂行される請求項１記載のカメラ。
9. カメラ運動の方向が、最も高い相関性の方向として推定される請求項１記載のカメラ。
10. さらに、カメラ運動を推定するための一又は複数の追加的なカメラ運動フォトセンサーを含む請求項１記載のカメラ。
11. ２つ以上のカメラ運動フォトセンサーが、整列されない仕方で選択的に空間に分配される請求項１０記載のカメラ。
12. カメラ運動の量は、２つ以上の参照画像間の測定されたパラメーターの分散の程度を計算することに基づいて推定される請求項１記載のカメラ。
13. デジタルカメラにおいてシーンを捕獲するための露光期間中にカメラ運動を推定する方法であって、
    露光期間に対して光学系を介して主画像センサーを露光することによって、シーンの主画像を捕獲し、
    露光期間の前、期間中または後あるいはこれらの組合わせにおいて、実質的に同じシーンの一の参照画像をカメラ運動フォトセンサーで獲得し、
    一又は複数の前記参照画像の分析に基づいて一又は複数のパラメーターを決定し、
    前記一又は複数のパラメーターに基づいて計算することを含めて、カメラ運動を推定し、
    該推定されたカメラ運動に基づいて、主画像からカメラ動きぼけ効果を除去或いは弱め、それによって、前記カメラ動きぼけ効果が除去或いは弱められた前記主画像を含む、主画像の処理されたバージョンのレンダリングを可能にすること
    を含む方法。
14. 前記カメラ運動フォトセンサーは、多数のシリコン層を含む多層センサーを含む請求項１３記載の方法。
15. さらに、測定された光電流の測定結果を統合すること、及び、
    該光電流の測定結果に基づいて、多層フォトセンサーの層内の光束又は光束深度の変化あるいはこの両方を計算することを含み、
    前記カメラ運動は、該計算された変化に基づくことを特徴とする請求項１４記載の方法。
16. さらに、前記多層フォトセンサーの連続するｐ型及びｎ型シリコン層の間の光電流測定を実行することを含む請求項１５記載の方法。
17. 前記多層フォトセンサーは、ｐ型及びｎ型シリコン層の既知の深さの連続する井戸を含む請求項１５記載の方法。
18. 前記光学系は、一連の一又は複数のレンズ及び開口部を含む請求項１３記載の方法。
19. 前記主画像センサーの単一の露光期間内に、カメラ運動フォトセンサーにより多数の測定を遂行することを含む請求項１３記載の方法。
20. 前記推定は、カメラ運動の方向を、最も高い相関性の方向として推定することを含む請求項１３記載の方法。
21. さらに、一又は複数の追加的なカメラ運動フォトセンサーを用いて前記カメラ運動の推定を遂行することを含む請求項１３記載の方法。
22. ２つ以上のカメラ運動フォトセンサーが、整列されない仕方で選択的に空間に分配される請求項２１記載の方法。
23. 前記推定は、前記カメラ運動フォトセンサーによって測定された一又は複数のパラメーターの分散の程度を計算することに基づいて、カメラ運動の量を推定すること
    を含む請求項１３記載の方法。
24. デジタルカメラにおいてシーンを捕獲するための露光期間中にカメラ運動を推定する方法を遂行するように一又は複数のプロセッサーをプログラミングするための具体化されたデジタルコードを備えた、一又は複数のプロセッサー読込み可能な媒体であって、
    前記方法は、
    露光期間に対して光学系を介して主画像センサーを露光することによって、シーンの主画像を捕獲し、
    露光期間の前、期間中または後あるいはこれらの組合わせにおいて、実質的に同じシーンの一の参照画像をカメラ運動フォトセンサーで獲得し、
    一又は複数の前記参照画像の分析に基づいて一又は複数のパラメーターを決定し、
    前記一又は複数のパラメーターに基づいて計算することを含む、カメラ運動を推定し、
    該推定されたカメラ運動に基づいて、主画像からカメラ動きぼけ効果を除去或いは弱め、それによって、前記動きぼけ効果が除去或いは弱められた前記主画像を含む、主画像の処理されたバージョンのレンダリングを可能にすること
    を含む、一又は複数のプロセッサー読込み可能な媒体。
25. 前記カメラ運動フォトセンサーは、多数のシリコン層を含む多層センサーを含む請求項２４記載の一又は複数のプロセッサー読込み可能な媒体。
26. 前記方法は、さらに、測定された光電流の測定値を統合すること；及び、
    前記光電流の測定値に基づく前記多層フォトセンサーの層内の光束又は光束深度の変化あるいはこの両方を計算すること、を含み、
    前記カメラ運動は、該計算された変化に基づくことを特徴とする請求項２５記載の一又は複数のプロセッサー読込み可能な媒体。
27. 前記方法は、さらに、前記多層フォトセンサーの連続するｐ型及びｎ型シリコン層の間の光電流測定を遂行することを含む請求項２６記載の一又は複数のプロセッサー読込み可能な媒体。
28. 前記多層フォトセンサーは、ｐ型及びｎ型シリコン層の既知の深さの連続する井戸を含む請求項２６記載の一又は複数のプロセッサー読込み可能な媒体。
29. 前記光学系は、一連の一又は複数のレンズ及び開口部を含む請求項２４記載の一又は複数のプロセッサー読込み可能な媒体。
30. 前記方法は、さらに、主画像センサーの単一の露光期間内に、多数の測定を遂行することを含む請求項２４記載の一又は複数のプロセッサー読込み可能な媒体。
31. 前記推定は、カメラ運動の方向を、最も高い相関性の方向として推定することを含む請求項２４記載の一又は複数のプロセッサー読込み可能な媒体。
32. 前記方法は、さらに、一又は複数の追加的なカメラ運動フォトセンサーを使用してカメラ運動の推定を遂行することを含む請求項２４記載の一又は複数のプロセッサー読込み可能な媒体。
33. ２つ以上のカメラ運動フォトセンサーが、整列されない仕方で選択的に空間に分配される請求項３２記載の一又は複数のプロセッサー読込み可能な媒体。
34. 前記推定は、カメラ運動フォトセンサーで測定されたパラメーターの分散の程度を計算することに基づいて、カメラ運動の量を推定することを含む請求項２４記載の一又は複数のプロセッサー読込み可能な媒体。

Images