JP2011172226A - 動き情報を用いて点像分布関数を得るための方法、システム、およびコンピュータプログラム - Google Patents

Abstract

【課題】動き情報に基づき点像分布関数を得る、特定の方法を提供する。
【解決手段】方法及びシステムは、モーションセンサを具備するモーションデバイスにより撮影された画像データのぼけを修正するために点像分布関数を得る。まず、露光時間中、イメージデバイスの動きを示す動き経路値が取得される。それから、前記イメージデバイスの前記動き経路値が、センサ面に投影され、センサ画素毎に前記投影される動き経路値が経時的に積算される。各センサ画素の積算値は、前記点像分布関数の初期推定を表す。選択的に、前記点像分布関数のサイズがまた、焦点の被写体の距離に基づき推定され得、投影ステップの考慮に入れられる。
【選択図】図６

Description

本発明は、点像分布関数（point spread function：ＰＳＦ）を推定する分野に関する。より具体的には、本発明は、動き情報を用いて画像データのぼけを修正するために点像分布関数を得るための方法及びシステム、前記方法のステップを遂行するためのコンピュータプログラム、及びそのようなシステムを具備するイメージデバイスに関する。

画像が、イメージデバイス、例えば、カメラにより撮影されるとき、その画像はある単一の瞬間を表すのではなく、ある時間にわたるシーンを表す。そのため、カメラと被写体との間の相対的な動きのために、画像がぼけてしまう。動きぼけ（ｍｏｔｉｏｎ ｂｌｕｒ）は、不安定な手の動きのためによく起こり、画像には相対運動の方向に沿ってスミアが発生してしまう。

例えば、暗い場所での長露光時間のために、対応する写真に手振れや撮影時間中のイメージデバイスのその他の動きによるぼけが生じ得る。撮られた画像のぼけを正しく修正するために、正しい値で点像分布関数を生成することは重要である。

それ故、点像分布関数の推定は、複雑であり得、又は良好なぼけ修正を導かない不十分な結果を導くかもしれない。

したがって、本発明の目的とする課題は先行技術を改善することである。具体的には、本発明の目的は、先行技術が引き起こす問題を減らすことである。

より具体的には、本発明の目的は、動き情報に基づき改良された点像分布関数を得ることの可能性を提供し、これにより、先行技術の推定と比べてより単純な推定であって、より正確な値を生成する推定を用いることができる。

本目的は、独立請求項の特徴によって達成される。

さらなる特徴および効果が、従属請求項において提示される。

本発明によれば、モーションセンサは、イメージデバイス内に統合され、例えば、露光時間中の手振れ、イメージデバイス自体の動き等の動きが測定され得る。この動き情報は、正しい点像分布関数を計算するために使用される。具体的には、本発明は、前記動き情報に基づき点像分布関数を得る、特定の方法を提案する。

好ましくは、本発明によれば、更に点像分布関数のサイズが推定され、正しい点像分布関数を測定する際にまた使われる。

本発明に係るシステムを具備するイメージデバイスの概略図である。 イメージデバイスのイメージセンサにより撮られたデータの図表である。 本発明に係るシステム内のコンポーネントのブロック構成図である。 本発明に係るシステム内の追加のコンポーネントのブロック構成図である。 推定された点像分布関数のサイズに依存して得られた点像分布関数の異なる実施形態を示す。 本発明に係る方法の処理ステップを示すフローチャートである。

ここで、図面に関連した好ましい実施形態についての以下の説明において、本発明をより詳細に説明する。

図１は、本発明に係るイメージセンサ６を具備するイメージデバイス２０の概略図を示す。これにより、図１では本発明の好適な実施形態の説明がなされ、露光時間中のイメージデバイス２０の動きがピッチ軸及びヨーイング軸に沿う動きとして計測される。これにより、好適な実施形態において仮定されるモデルによれば、ローリング軸は、イメージセンサ６の面にある。イメージデバイス２０の前で被写体２５の画像を撮像するとき、モーションセンサ（図１には図示せず）は、ピッチ軸及びヨーイング軸に沿う動きを示したデータを収集するであろう。

ここで、図１は、一つの可能性のある実施形態を示す。しかしながら、もちろん、それは可能性であり、ピッチ−ヨーイング−ローリング座標系の替わりに、いかなる他のタイプの座標系も用いることができる。更に、イメージデバイス２０内のセンサ６の位置を変え、それに応じて軸に沿って動きの測定を適用させることも可能である。

本発明の以下の説明では、図１を参照して説明されるように、軸と動き測定との関連性が表現されるであろう。この目的のために、本発明によれば、モーションセンサは、システム内に統合され、ヨーイング軸に沿うとともにピッチ軸に沿って動き情報を集める。あるいは、それぞれが異なる軸に沿って動きを記憶する、二つの別体のモーションセンサが提供され得る。ここで、動きは、２軸に沿って記録されることが好ましいが、２つ又はそれ以上の軸に沿って記録されることも可能である。

そのような記録された動き検出データの一例が、例えば図２に示されている。図２は、
Ｘ軸に時間が表され、Ｙ軸に動き検出データが表された図表を示し、図２の例では、動きデータは、ジャイロスコープにより記録される。

また、図２には、シャッタを開いた時間Ｔ１、及びシャッタを閉じた時間Ｔ２が示されている。露光時間を超えて経時的に集められた動きデータであったとしても、時間位置Ｔ１及びＴ２の間のデータだけは、すなわち、露光時間中のデータだけは、点像分布関数ＰＳＦの推定のために考慮される。

さて、図３を参照して、システム１０の概略構成が説明されよう。本発明によれば、システム１０は、少なくとも一つの軸に沿ってシステム１０の動きを測定するために適合されたモーションセンサ２を具備する。システムは、イメージデバイス内に統合されていることが好ましいから、モーションセンサ２は、イメージデバイスの動きを測定する。

前述したように、いかなるタイプの座標系も用いられ得、これに応じて動き情報が、長さ等を示すパラメータ、度で示され得る。モーションセンサ２は、ジャイロスコープ、加速度計、磁気センサ等のような、いかなるタイプの動き測定手段であり得る。本発明の好適な実施形態では、モーションセンサ２は、ピッチ−ヨーイング−ローリング座標系のピッチ軸及びヨーイング軸に沿って動きデータを収集するために適合されるジャイロスコープである。

システム１０は、更に露光時間を定義するために開き、閉じるようにするシャッタ３を具備する。シャッタが開くとき、画像データは撮影され、イメージセンサ６により取得される。ここで、モーションセンサ２は、シャッタ３及びイメージセンサ６とともに物理的に取り付けられ、動き情報が完全に露出時間中に記録されるようにシャッタ３とともに始動する。

システム１０は、更にいずれかのタイプのデータ、プログラム、情報等を記録するためのメモリ５を具備する。モーションセンサ２、シャッタ３、メモリ５及びイメージセンサ６はすべて、システム１０内のすべての機能を制御及び管理する処理部４に接続されている。処理部４は、１又はそれ以上のＣＰＵ、又はその他のいかなるタイプの制御部をも具備することができる。システム１０は、露出時間中に動きデータが記録されるように、イメージデバイス２０内に統合されていることが好ましい。

続いて図４を参照しながら、本発明におけるシステム１０の更なる構成について説明する。システムは、既に説明したように、モーションセンサ２を具備する。図４に示されたその他の構成は、別体の構成要素であるか、及び／又は処理部内に一体化されているハードウエア構成要素であり得る。あるいは、その部は、処理部４により遂行される処理ステップでもあり得る。処理部４は、特に、前記処理ステップを具備し、読み取り可能な記録媒体に格納されたコンピュータプログラム（プロダクト）を実行することができる。

モーションセンサ２は、システム、好ましくは露出時間中のイメージデバイス２０の動きを示す動き検出データ１０２を取得する。動き検出データ１０２は、モーションセンサ２の生出力データを、動き経路を示す動き経路値に変換する動きデータ変換部１１に送出される。このケースにおけるそのような値は軸毎の度である。しかしながら、使われている座標系によって、度、長さの表示又はその他のタイプの動き経路値が取得され得る。

動きデータ変換部１１による動き経路値１１１は、投影部１２に送出される。投影部１２は、動き経路値をイメージセンサ６に投影する。好適な実施形態によれば、この投影ステップは、センサ面がローリング軸内にあるという仮定に基づく。しかしながら、前述したように、その他のいかなるタイプの座標系も、イメージデバイス２０内のイメージセンサ６を異なる位置で用い得る。より正確には、投影部１２は、３方向の動き経路を２方向のセンサ面に投影し、これにより、イメージセンサ６上の２方向の動き経路値を得ることができる。

投影値は、後述するように投影された動き経路値の積算操作を実行する積算部１４に送出される。好適な実施形態では、サイズ推定部１３をも点像分布関数のサイズを推定するために供給され、積算部１４にまた推定されたサイズ１１３を送出する。積算部１４は、点像分布関数の初期推定を得るために、投影された動き経路値と同様に推定されたサイズを使う。

ここで、積算部１４は、経時的に投影された動き経路値をセンサ画素毎に積算し、それにより、センサ画素毎に積算された値を表すか又は点像分布関数の初期推定の結果とする。言い換えれば、点像分布関数の初期推定は、積算された値を点像分布関数値として画素毎に定義することによって得られる。それは、システム１０の動き又はイメージデバイス２０の動きの間、各軸上で同じ値が数回測定され得ることを意味する。それに応じて、動き経路データは、同じ画素上で数回投影されるであろう。それだから、各画素において、動き経路データは、この一画素に対するすべての動き経路値の合計を示す、即ち、センサ面に投影されるとき、動き経路は何回通過し又は各画素に投影されるかを示す値を得るために経時的に積算される。それ故、画素毎の前記積算値は、点像分布関数の初期推定を表す。

この点像分布関数の初期推定は、更なる処理が望ましくない、処理可能性を制限する必要のあるケースでは、既に点像分布関数として使用され得る。しかしながら、好適な実施形態によれば、ＰＳＦの初期推定は、最終ＰＳＦを得るために更に処理される。

点像分布関数１１４の初期推定は、すべての値の合計が１に等しくなるように点像分布関数の初期推定を正規化し、更に、最大値がＰＳＦの中央にくるように点像分布関数の初期推定をセンタリングする正規化及びセンタリング部１５に送出される。最終の点像分布関数１１５は、ぼけ修正部１６に送出される。取得されたぼけ画像１００もまた、ぼけ修正部１６に送出され、ぼけ修正、即ち、最終の点像分布関数１１５を用いた画像１００のデコンボリューションが実行される。それから、ぼけ修正部１６は、ぼけが修正された画像１１６を送出する。

このイメージセンサ６上に動き経路値を投影することにより動き経路値からＰＳＦを得、推定されたＰＳＦサイズを使用してそれらを積算するステップは、図５を参照してより詳細に説明される。

図５の上部には、５×５の画素を例としたイメージセンサ６が、概略的に示されている。これは、イメージセンサの概要例を単に表しているだけであり、本発明は、任意数の画素を有するどんなタイプのイメージセンサにも適用され得る、ことが理解される。

図５では、画素の行及び列が、異なる画素の固有な識別を可能とするために番号１〜５で示されている。画素６１は、四角として示されている。中央画素６２は、位置（３，３）の画素に対応する。ドットは、センサ面に投影された動き経路値６３を概略的に示す。明確性のために、このケースでは、とてもわずかな動き経路値６３だけが示されているが、本発明では、かなり多数の動き経路値が出現され、明確性のために図５に示されていないが、それらは重なりあうかもしれないことは明確である。

動き経路値６３がイメージセンサ６上に投影された後、画素６１毎の動き経路値は、経時的に積算される。図５の上部のイメージに示された例では、中央画素６２内に２つの動き経路値６３がある。それ故、中央画素６３は、２の積算値を得る。図５に見られる残りの画素は、その他の画素内で動き経路値６３が１又は０であることから、１の値か又は０の値を得る。

したがって、センサの画素毎の点像分布関数の初期推定は、対応する積算値によって表される。図５の上部例では、ＰＳＦの初期推定は、中央画素に対して２の値を有し、その他の４つの画素に対して１の値を有することで得られる。前述したように、本発明では、ＰＳＦの初期推定は、すべての値の合計が一に等しくなるように正規化されることが好ましい。この例では、中央画素６２は、０，３３３の値の最終ＰＳＦ値を得、その他の４つの画素はそれぞれ、０，１６７の値を得る。

しかしながら、カメラの特性及び／又は被写体２５とイメージデバイス２０との距離によって、異なるサイズを持った点像分布関数が用いられなければならない。これは、システム１０又はイメージデバイス２０の同一移動では、より近くの被写体は、更に離れた被写体よりもぼけるようになる、という事実のためである。

点像分布関数のサイズは、動き経路値とセンサ画素との間の関係、すなわち、動き経路値及び画素数を示すパラメータの関係を表す。例えば、動き経路値が軸毎の度で測定される場合には、ＰＳＦサイズは、画素数と度との間の関係を示す。例えば、２度が一画素に対応する、即ち、２度の動きが一画素上に投影されると定められ得る。

これは、より大きなＰＳＦサイズで示された図５の右下のイメージを参照するとさらに明確になる。より大きなＰＳＦでは、イメージセンサ６上に投影されるとき、ＰＳＦが大きいため、動き経路値はより拡がる。図に示すように、例えばこのケースでは、中央画素６２は、１の積算値を得られるのみであろう。他方、図５の左下のイメージでは、小さいＰＳＦサイズが用いられ、列３行２にある、中央画素上の画素がまた、２の値を得るのに対して、中央画素６２が再び２の値を得るように見える。これに対して、図５の上部のイメージでは、中央画素上の画素は０の値を得る。

ＰＳＦサイズで、センサ面に投影される際の動き経路値の位置及びそれに応じた積算値は変化するから、ＰＳＦサイズで、得られたＰＳＦの初期推定及び最終ＰＳＦをも変化する。

ＰＳＦサイズは、イメージセンサ６と焦点の被写体２５との距離を測定することにより推定される。この距離は、レンズパラメータ及びフォーカスから得られる。より具体的には、ＰＳＦサイズは、選択されたレンズ及び焦点長さ、焦点距離、視野角等のようなそのセッティングに依存する。固定焦点又はオートフォーカスを有するカメラにとっては、レンズパラメータ及びフォーカスからＰＳＦサイズを設定するための正しいセッティングを用いてアルゴリズムが提供され得、プログラム化され得る。あるいは、現在のレンズパラメータ及びフォーカスに依存することから、ルックアップテーブルが供給され得、対応するＰＳＦサイズが読み込まれ得る。

本発明では、ＰＳＦサイズは、レンズパラメータを読み込むによって得られ、それは確認のために実験的に測定された。以下では、ＰＳＦサイズの算出についてより詳細に説明する。

レンズの性質は、式でモデル化され得る。特定のカメラのために得られた、ぼけのサイズ、即ちＰＳＦサイズを算出するための式はつぎのようである。

これで、「fd」は、点光源と回転点との距離であり、「maxDeg」は、システム１０又はイメージデバイス２０の最大回転度であり、「resolution」は画素数であり、「ss」はセンサのサイズである。

（「resolution」及び「ss」を含む）式の第１の部分は、異なる画素の画素数及びセンササイズの効果を含むために使用される。

（「fd」を含む）式の第２の部分は、レンズの光学特性に依存し、次のような方法で導き出される。点光源は、既知の距離でカメラの前に設定される。カメラは、ぼけた点光源の画像を得るために既知の動作でそれを始動する際に回転される。ぼけのサイズは、（多項式フィッティングにより得られる）二次多項式を見出すことを可能にする、３つの異なる距離で繰り返される。

（「maxDeg」を含む）式の第３の部分は、三角法（ピタゴラスの定理）を用いて導き出される。

本例が二次の多項式を参照して説明されたとしても、本発明は、より高次の多項式にも拡張され得る。

図６を参照すると、処理ステップが更に示されている。

処理は、例えば、画像の撮像を始動するコマンドにより、ステップＳ０から始まる。ステップＳ１では、モーションセンサ２による動き検出は、少なくとも１軸（図では２軸）で開始される。次のステップＳ２ではシャッタ３が開かれ、ステップＳ３ではシャッタ３が閉じられる。ステップＳ４では、露光時間中、モーションセンサ２により得られた動き検出データが測定される。そして、これらの動きデータは、動きデータ変換部１１により、ピッチ及びヨーイング軸に沿って動きデータを測定するケースで軸毎の度に変換される。

次のステップＳ６では、ＰＳＦのサイズが、前述したように被写体の距離を示したレンズ情報及び／又はその他の情報を使って推定される。

次のステップＳ７では、動き経路値がイメージセンサ面６上に投影される。ステップＳ８では、画素毎の動き経路値が、点像分布関数の初期推定値を得るために、経時的に積算される。

ステップＳ９では、最終ＰＳＦを得るために、点像分布関数の初期推定が正規化され、センタリングされる。ステップＳ１０では、最終ＰＳＦを用いて、デコンボリューションがぼけ画像１００に適用される。ステップＳ１１では、ぼけ修正画像１１６が取得されて出力され、ステップＳ１２で処理が終わる。

従って、本発明では、動き経路及びＰＳＦ値が、モーションセンサから導かれる動き経路値を積算することによって得られる。好ましくは、点像分布関数のサイズが、モーションセンサからのデータ及び焦点の被写体の距離を含むレンズ情報を考慮に入れることによって推定される。

これにより、本発明は、動き情報を用いて点像分布関数を取得するための、大変シンプルで効果的な方法を提案する。

Claims (16)

1. モーションセンサを具備するイメージデバイスにより撮影された画像データのぼけを修正するために点像分布関数を得るための方法であって、
   前記方法は、
   露光時間中、前記イメージデバイスの動きを示す動き経路値（Ｍｏｔｉｏｎ Ｐａｔh Ｖａｌｕｅｓ）を取得するステップと、
   前記センサ面に前記イメージデバイスの前記動き経路値を投影するステップと、
   経時的に前記投影される動き経路値をセンサ画素毎に積算するステップと、を含み、
   各センサ画素の前記積算値は、前記点像分布関数の初期推定を表す方法。
2. 更に、ピッチ−ヨーイング−ローリング座標系を用いて、前記センサ面内にあるとしてローリング軸を定義し、ピッチ軸とヨーイング軸とに沿って前記動き経路値を取得するステップを含む請求項１に記載の方法。
3. 更に、前記センサ及び焦点の被写体間の距離に基づき前記点像分布関数のサイズを推定するステップを含む請求項１または２に記載の方法。
4. 前記点像分布関数のサイズを推定するステップは、前記光学系のパラメータに基づき、好ましくは、焦点距離、焦点長さ及び／又は視野角に基づき前記サイズを推定することを含む請求項３に記載の方法。
5. 更に、前記推定されたサイズに応じて、動き経路値及びセンサ画素間の関係を前記投影ステップに対して変えるステップを含む請求項３又は４に記載の方法。
6. 更に、前記点像分布関数の前記初期推定を正規化及びセンタリングすることにより最終の点像分布関数を得るステップを含む請求項１〜５のいずれか１項に記載の方法。
7. 請求項１〜５のいずれか１項に記載の方法のステップを遂行するために、コンピュータにより実行されるコンピュータプログラム。
8. 画像データのぼけを修正するために点像分布関数を得るためのシステムであって、
   露光時間中、前記システムの動きを示す動き経路値（Ｍｏｔｉｏｎ Ｐａｔh Ｖａｌｕｅｓ）を取得するモーションセンサと、
   前記センサ面に前記システムの前記動き経路値を投影する投影部と、
   経時的に前記投影される動き経路値をセンサ画素毎に積算する積算部と、を備え、
   各センサ画素の前記積算値は、前記点像分布関数の初期推定を表すシステム。
9. 前記モーションセンサは、ジャイロスコープ、加速度計、及び／又は磁気センサである請求項８に記載のシステム。
10. 前記動き経路値は、ピッチ−ヨーイング−ローリング座標系に基づき得られ、ローリング軸は、前記センサ面内にあるとして定義され、前記モーションセンサは、ピッチ軸とヨーイング軸とに沿って前記動き経路値を取得するようにされる請求項８又は９に記載のシステム。
11. 更に、前記センサ及び焦点の被写体間の距離に基づき前記点像分布関数のサイズを推定するサイズ推定部を備える請求項８〜１０のいずれか１項に記載のシステム。
12. 前記サイズ推定部は、前記光学系のパラメータに基づき、好ましくは、焦点距離、焦点長さ及び／又は視野角に基づき前記サイズを推定するようにされる請求項１１に記載のシステム。
13. 前記投影部は、前記推定されたサイズに応じて、動き経路値とセンサ画素との間の関係を前記投影ステップに対して変えるようにされる請求項１１又は１２に記載のシステム。
14. 更に、前記点像分布関数の前記初期推定を正規化及びセンタリングすることにより最終の点像分布関数を得る正規化及びセンタリング部を備える請求項８〜１３のいずれか１項に記載のシステム。
15. 請求項８〜１４のいずれか１項に記載のノイズ除去のためのシステムを具備する、イメージデバイス、好ましくはカメラ。
16. モーションセンサを具備するイメージデバイスにより撮影された画像データのぼけを修正するために点像分布関数を得るためのシステムであって、
    露光時間中、前記イメージデバイスの動きを示す動き経路値（Ｍｏｔｉｏｎ Ｐａｔh Ｖａｌｕｅｓ）を取得する手段と、
    前記センサ面に前記イメージデバイスの前記動き経路値を投影する手段と、
    経時的に前記投影される動き経路値をセンサ画素毎に積算する手段と、を含み、
    各センサ画素の前記積算値は、前記点像分布関数の初期推定を表すシステム。

Images