JP2014515206A - カメラを有するカメラシステム、カメラ、カメラを動作させる方法、及び、記録された画像を解析する方法 - Google Patents

Abstract

システム及びカメラであって、カメラは光路に拡散体４を有する。システム又はカメラは、画像の露光の間、センサ上のレンズにより投射された画像上の拡散体４の拡散特性を調整するための手段６を有する。取り込まれたぼかされた画像１０に対して、逆点像分布関数は、より鮮明な画像に対してぼかされた画像を解析する２４ために適用される。動作不変画像が実現され得る。

Description

本発明は、レンズ及び画像センサをもつカメラを有する、カメラシステムに関する。

また、本発明は、レンズ及び画像センサをもつカメラに関する。

また、本発明は、レンズ及び画像センサを有するカメラを動作させる方法に関する。

また、本発明は、レンズ及び画像センサを有するカメラにより記録された画像データを解析するための方法に関する。

従来の画像センサ（例えばＣＭＯＳ及びＣＣＤセンサ）は、露光時間の間、これらに当たる全ての光を一体化する。これは、静的なオブジェクトの鮮明な画像を提供するが、シャッタが開いている間に移動するオブジェクトに対して空間的なぶれをもたらす。焦点が合っていないオブジェクト、即ち焦点面に配置されていないオブジェクトもぶれる。いわゆるモーションブラーは、露光時間及びオブジェクト速度に比例する。モーションブラーは、カメラが低い光レベル状態で動作するときにとりわけ問題となる。このような状況下で、シーンの暗いエリアが適切に撮像され得るように、十分に高い信号対ノイズレベルを達成するために長い露光時間が望まれる。従って、多くのカメラは、モーションブラーとダイナミックレンジとの間の古典的なトレードオフから被害を被る。露光時間は、十分な光を取り込むために長いことを必要とするが、モーションブラーを低減するように短いことを必要とする。本発明の枠組みの範囲内で、カメラという用語は、写真を撮るためのカメラとビデオ目的のためのカメラとを含む。

焦点面に配置されないオブジェクトのぶれを低減するカメラ及び方法は、Nagaharaらによる論文"Flexible Depth of Field Photography", H. Nagahara, S. Kuthirummal, C. Zhou, and S.K. Nayar, European Conference on Computer Vision (ECCV), Oct, 2008から知られている。

Nagaharaらの論文において、センサと固定された焦点レンズとの間の距離が変えられる、写真を撮るためのカメラが示されている。センサは、露光時間の間、或る距離に渡ってスウィープされる。スウィープ距離は、フィールドの深さを増大させるためにシーン深さ範囲の範囲をスウィープするように構成される。Nagaharaらにおいて開示された従来のカメラは、焦点がずれたぶれを低減する。焦点がずれたぶれを低減するために、センサは、特定の深度範囲を覆うように光軸に沿ってスウィープされる。このコンセプトは、"sweeping focus camera"とも呼ばれる。

焦点のスウィープは、実質的に種々の焦点深度における多数の画像の組み合わせである、合成画像を提供する。種々の焦点位置を通るスウィープによりもたらされるぶれを特徴づける点像分布関数（ＰＳＦ）が計算され得る。点像分布関数は、実質的に、オブジェクトの１点がセンサ上で作る画像である。完全に焦点が合っているオブジェクトに関して、点の広がりはゼロであり、それ故、ＰＳＦはディラック関数になるだろう。この関数のフーリエ変換は、全ての周波数に対して一定であるだろう。焦点が合っていない点に関して、ＰＳＦは、カメラが固定されている間に動作中のオブジェクトに対して、広げられた関数であり、ＰＳＦは、動作に起因して或る距離に渡って広げられるだろう。ＰＳＦから、逆数点像分布関数（ＩＰＳＦ）を計算することができる。逆数点像分布関数により複合画像を解析することは、鮮明な画像が得られることを可能にし、フィールドの増大された深度が得られる。これは、センサがスウィープされたときに、種々の距離での静的なオブジェクトに対するＰＳＦがかなりの程度で同じになるという事実に起因する。それ故、全く同一のＩＰＳＦをもつ元の画像の解析は、全ての距離又は少なくとも距離の増大された範囲において鮮明な画像を可能にし、フィールドの増大された深度が静的なオブジェクトに対して得られる。

焦点がずれたぶれ及びその削減は重要かもしれないが、前述したような大きな問題が、移動オブジェクトに対して、とりわけより長い露光時間に対するモーションブラーに対して、存在し、そのまま残っている。

モーションブラーは、ビデオ処理によって反転され得る。これは、動作推定及び動作軌道に沿った逆フィルタリングにより実現される。これは、例えば米国特許第６９３０６７６号明細書から知られている。しかしながら、実際には、斯様な手順の結果は、とりわけ閉塞エリアに対して不正確な動作ベクトルから不利を招く。動作軌道を知り、これらから逆フィルタリングを行うことを可能にするために動作ベクトルの推移をたどらなければならない。プロ向けのアプリケーションにおいて使用される多くのスタンドアロンカメラにおいて、動作ベクトルは全く利用可能でなくてもよい。例えば、監視又はアクティビティモニタのために使用される多くのカメラの記録は、単に、コンピュータビジョンベースの分析手順（例えば、疑わしいオブジェクトの自動検出、高齢者の転倒検出等）に対する入力を提供するに過ぎない。これらのシナリオにおいて、未処理入力フレームの品質は、検出システムの性能の決定要因である。十分に正確な動作ベクトルは、カメラの範囲内でオンザフライ（on-the-fly）で利用可能ではなくてもよく、記録されたビデオの後処理は、リアルタイムモニタシステムにおいてオプションではない。単一のスナップショットを撮るカメラに関して、動作ベクトルを正確に決定することは基本的に不可能である。閉塞エリアにおいて、動作の推定は、極めて困難であり、不正確である。低い照明状態において、前記問題は、光の欠如に起因して増大する。モーションブラーを排除する他の方法は、カメラを移動オブジェクトに追従させることである。しかしながら、これも多数の重大な不利益を有する。移動オブジェクトはぶれないが、他のものはそうなる。更に、斯様な事実を達成するために、オブジェクトの速度及び方向を知らなければならない。この方法は、それ故、例えばフォーミュラ１レース又はスキージャンプによる、動作の速度及び方向のかなり正確な決定が行われ得る状況、動作の方向が事前にかなり正確に知られており、速度の比較的正確な推定が事前に行われ得る状況においてのみ可能である。

第２に、大部分の従来のカメラは、時間的及び空間的な大きさにおいてレンズに届く光を窓掛けする調節可能なシャッタ及び開口部を特徴とする。これらは、典型的には、対応する時間的及び空間的な周波数領域のシンク変調に対応するボックスフィルタ（即ち、有限間隔にわたる一定の感度）として特徴づけられ得る。結果として、幾つかの高周波は、完全な動作情報が利用可能なときであっても、取得の間において完全に抑制され、逆ＦＩＲフィルタリングの間において回復され得ない。実際には、逆フィルタリングは、ノイズの増幅及びアーチファクトの取込を阻止するために最大の注意によって行われるべきである。

国際公開第２０１０／１３１１４２号において、スウィープ焦点セットアップが動作不変イメージングを達成するために用いられるシステムが述べられている。これは、レンズの焦点を変えるセンサ又はレンズを動かすことにより速く焦点をスウィープすることにより実現される。

スウィープする焦点が用いられるので、取得された画像が焦点スウィープ範囲の全体に渡って鮮明であり、背景及び前景が鮮明である。人間の目にとって、斯様なオールインフォーカス（all-in-focus）画像は、多くの場合不自然に見える。

要するに、画像中のモーションブラーを低減するための種々の既知の手段は、これらの欠点を有する。

本発明の目的は、代替手段においてモーションブラーを低減することにある。

このために、本発明によるシステム及びカメラは、前記カメラが光路内に拡散体を有し、システム又はカメラが、画像の露光の間、センサ上のレンズにより投射された画像上の前記拡散体の拡散特性を調整する手段を有することを特徴としている。

本発明によるカメラを動作させる方法は、前記カメラが光路内に拡散体を有し、画像取得の間、拡散体の拡散特性が調整されることを特徴としている。

本発明による画像データを解析するための方法は、前記カメラが光路内に拡散体を有し、画像取得の間、拡散体の拡散特性が調整され、取得された画像を解析するために逆点像分布関数が前記取得された画像に適用されることを特徴としている。

モーションブラーは、光軸に対して垂直な方向（例えば水平又は垂直方向）におけるオブジェクトの移動によりもたらされる。この動作は、露光の間、センサに対するオブジェクトの相対運動を提供し、これは、モーションブラーをもたらす記録された画像における移動オブジェクトの画像を汚す。拡散体を調整することは、追加的なぶれを導入することにより逆生産的になるだけのように見える。しかしながら、拡散体の調整による画像のぶれは、動的な拡散体によりもたらされるぶれに関する点像分布関数の逆と等価である、動的な拡散体によるブラーカーネルに関する適切な逆点像分布関数（ＩＰＳＦ）を用いることによる画像の解析により元に戻され得る。

発明者は、光路内に配置される調整された拡散体による画像のぶれの取込が実際にはモーションブラーを効果的に弱めるために用いられることを認識した。動的な拡散体により取り込まれるブラーカーネルは、実用的な程度で、オブジェクト速度の範囲と同じになる。それ故、ＰＳＦは、実用的な程度で、オブジェクト速度の範囲と同じである。これは、画像の動的なぶれを取り込むことによりオブジェクト速度の範囲に関する鮮明な画像を提供するＩＰＳＦを用いることにより、動作不変イメージングを可能にする。カメラは、画像取得の間、固定された焦点を有してもよい。

動的な拡散体は、光路の範囲内、レンズの前又はレンズとセンサのセンサとの間のどこにでも配置され得ることが述べられる。レンズの前に動的な拡散体を配置することは、既存のカメラが本発明のカメラに変換されることを可能にする。カメラとセンサとの間に動的な拡散体を配置することは、動的な拡散体の位置が正確に決定され得るという利点を有する。

動的な拡散は、例えば電気的に調整された拡散体とシステムコントローラからの制御信号に応じた拡散性特性の変化に関与する拡散体ドライバとを用いることにより実現され、システムコントローラは、拡散体の動的な調整をカメラシャッタと同期させる。

代わりに、静的な特性をもつ拡散体が用いられてもよく、シャッタが開いている間にセンサに近い位置からより遠く離れた位置まで拡散体を移動させることにより、拡散体の位置が、露光時間の間、変えられてもよい。この実施形態において、拡散体の特性はそれ自体調整されない。しかしながら、露光時間の間に拡散体の位置を調整することにより、画像上の拡散体の拡散効果が調整され、これにより、拡散体の効果が動的になる。

好ましくは、しかしながら、調整された拡散体が固定された位置を有し、拡散体の拡散特性が調整される。カメラの部分の移動が振動をもたらしてもよく、これは、解析により打ち消され得ないぶれをもたらしてもよく、そのうちに、摩擦又はリラクゼーション（全ての潜在的に有する負の影響）をもたらしてもよい。

また、本発明は、カメラを有する画像を記録するためのシステムであって、記録された画像の解析のための解析部を更に有し、カメラは、光路内に動的な拡散体を有し、システム又はカメラは、画像統合の間、拡散体の特性を透過から拡散まで調整する手段をさらに有し、記録された画像は、逆点像分布関数によって解析される、システムに関する。

これらの及び他の目的並びに有利な態様は、以下の図面を用いて説明される例示的な実施形態から明らかになるだろう。

本発明のカメラシステムの主要な構成部品を示す。 記録された画像をフィルタリングするアルゴリズム、システム及び方法を示す。 本発明の方法における種々のステップを示す。 動的な拡散体の効果を示す。 拡散効果と拡散体に印加された電圧との間の関係を視覚的に示す。 拡散効果と拡散体に印加された電圧との間の関係を視覚的に示す。 センサ統合エリアの時空間表現を示す。 効果的なシステムのブラーカーネルを示す。 対数関数的プロット上のシステムのブラーカーネルを示す。 移動オブジェクトのためのシステムのブラーカーネルを示す。 移動オブジェクトのためのシステムのブラーカーネルを示す。 移動オブジェクトのためのシステムのブラーカーネルを示す。 オブジェクト速度がぶれ速度を超える、速い移動オブジェクトのシステムのブラーカーネルを示す。 オブジェクト速度がぶれ速度を超える、速い移動オブジェクトのシステムのブラーカーネルを示す。 動的な拡散体の実施形態を示す。 動的な拡散体の実施形態を示す。 動的な拡散体用の電極の実施形態を示す。 動的な拡散体用の電極の実施形態を示す。

図は実寸で描かれていない。一般に、同一の構成部品は、図中の同じ参照数字により示される。

本発明は、露光時間の間にカメラパラメータを変えることにより、記録された画像の特性が変更され得るという洞察に基づいている。これは、実用的な速度範囲の範囲内でモーションブラーがオブジェクトの動作からほぼ独立しているカメラを設計するために利用され、好ましくは、周波数の挙動は、記録された信号が逆フィルタリングに十分に適しているようになっている。これは、動作推定を必要とすることなく、鮮明な画像がより長い露光時間記録から生成されることを可能にする。換言すれば、本発明によるカメラは、非常に挑戦的な光学イメージング条件（低い照明レベル下で種々の未知の速度で移動しているオブジェクト）のための高いＳＮＲをもつ鮮明な画像を提供することができる。このために、動的な拡散体が光路中に存在し、拡散体の拡散特性は、露光時間の間、好ましくは露光と同時に、透過から拡散に変更される。これは、光路内の固定された位置に拡散体を配置することにより行われ、露光の間、拡散体の拡散特性を動的に変えるか、又は、固定された拡散特性をもつ拡散体を用いて、露光の間、拡散体を移動させることにより行われる。もちろん、２つの任意の組み合わせが、拡散の変化の範囲を増加させるために可能でもよい。

図１は、本発明の種々の実施形態を示す。

オブジェクトＰは、レンズ２を介して集光される。集光された画像は、図１において、オブジェクトから届く光線が横断する位置により示される。図１において、カメラは、光路内に動的な拡散体４を有し、拡散体４は、この実施形態においては、レンズ２とセンサ３との間にある。拡散体４の拡散動作は、露光時間の間、動的に調整される。それ故、従来のカメラの概念は、調整された拡散体４がその光路内に配置されるという点で変更され、これは、画像統合の間、その拡散特性を（透過から拡散まで）変える。この概念は、図１において示される。本システムは、従来のカメラシステム及び加えて（制御信号に従って拡散性特性の変更に関与する）調整された拡散体の要素を有し、この例においては、拡散体の動作をカメラシャッタと同期させるシステムコントローラ５により提供される拡散体ドライバ６が提供される。

拡散体４を出る光線の束は、動作中の拡散体（即ち、拡散体を出る光の拡散束）を概略的に示す。この図において、（固定された位置にある）拡散体の動的な拡散特性が変化するセットアップが提供される。代わりに、１つは、固定された特性をもつ拡散体を用いることができ、露光の間、センサを（拡散体があまり効果的ではない位置にある）センサに近い位置から前後に移動させることができる。拡散体は、拡散体の拡散効果によりぼかされた画像をもたらすだろう。鮮明な点の代わりに、ぼかされた点がセンサ３上に撮像される。ぼかされた点の形状は、ブラーカーネルとも呼ばれている。図１において、オブジェクトは、静止しているとみなされる。

発明者は、光経路に配置された調整された拡散体による画像のぶれの取込は、実際には、モーションブラーを効果的に打ち消すために用いられ得ることを認識した。動的な拡散体により取り込まれたブラーカーネルは、高い度合いで、オブジェクト速度の範囲と同じになる。拡散体の拡散動作によるぶれについてセンサ上で撮像される点のＰＳＦは、高い度合いで、オブジェクト速度の範囲と同じである。これは、画像の動的なぶれを取り込むことによりオブジェクト速度の範囲に関する鮮明な画像を提供するＩＰＳＦを用いることにより、モーション不変イメージングを可能にする。

図２は、鮮明な画像を提供するために記録されたぼかされた画像がどのように解析されるかを示している。図２は、記録された画像を解析するための方法と画像データを記録して記録された画像データを解析するためのシステムとを示す。画像は、レンズ２及びセンサ３を有するカメラにより記録される。レンズ２とセンサとの間には、拡散体４が配置される。拡散体ドライバ６は、露光の間、拡散体４の拡散関数を制御する。センサ３の画像データは、読取装置により読み取られる。対応する画像１０は、ぼかされた画像として概略的に示される。記録されたぼかされた画像１０は、鮮明化された画像１１を生成するために、解析部２０において解析される。

システムは、ぼかされた画像１０の画像データを解析するための解析部２０を有する。本方法は、記録された画像上で解析動作を実行することにより、画像１１の記録された画像データを解析する。理解の容易さのために、解析のためのアルゴリズム及びその方法が多数のステップにおいて示される。第１のステップ２２は、点像分布関数ＰＳＦを計算するか又は確立することである。単純な実施形態において、拡散体の動作に起因してぼかすためのＰＳＦ関数は、任意の他のパラメータから独立して静的オブジェクトに対して計算される。後述するように、大きな速度範囲に関して、ＰＳＦ関数が本発明の実施形態に関する速度からほとんど独立しているので、静的オブジェクトに関するＩＰＳＦは、広範囲の速度に関する最適なＰＳＦの良好な一次近似になるだろう。より高度な実施形態において、オブジェクトの距離又はオブジェクトの速度が、ＰＳＦ及びこれによりＩＰＳＦを微調整するために用いられてもよい。オブジェクトの距離は、例えば記カメラにより記録され得る。ほとんどのカメラは、オブジェクト距離の決定を可能にする幾つかの種類のオートフォーカスを有する。前述したように、オブジェクトがスウィープ動作の中央で焦点が合っていない場合であっても、不変イメージングが非常に十分に可能であることが発見された。しかしながら、静的オブジェクトに対する単一の平均的なＰＳＦ関数を用いることが良好な結果を与えるにもかかわらず、若干向上された結果が、ＰＳＦをオブジェクト距離及び場合によりシャッタ時間のような他のパラメータに依存させることによりＰＳＦを微調整することにより得られてもよい。これは、若干非対称の、及び、切り取られたＰＳＦを提供するだろう。最終的な結果は、他の距離での若干鮮明ではない画像を犠牲にして、レンズからの特定の距離における移動オブジェクトに関する若干鮮明な画像になるだろう。

標準のＰＳＦが用いられてもよく、この場合においては、ＰＳＦを得るためにいかなる計算も行う必要がない。あるいは、ＰＳＦが微調整される実施形態において、拡散体ドライバ６の設定が解析部２０の入力であってもよい。図２において、これは、ＰＳＦを微調整するために拡散体ドライバ６から幾つかのデータを得るブロック２１により概略的に示される。本発明が広範囲のオブジェクト速度に関する単一のＰＳＦ関数が用いられることを可能にするにもかかわらず、ＰＳＦが特定の速度に対して微調整され得るという二次効果が依然として可能である。適用の可能な分野は速度カメラであるだろう。斯様な実施形態において、オブジェクトの方向及び速度の良好な推定が前もって知られる。

ステップ２２において、特定のぶれ動作のためのＰＳＦが、計算、推定又は（例えば多数の可能な選択がある場合に）設定される。点像分布関数（ステップ２１）から、逆点像分布関数ＩＰＳＦが計算される。ぼかされた画像１０は、鮮明化された画像１１を提供するために、ステップ２４においてＩＰＳによって解析される。

図３は、画像を取得するステップを概略的に示す。ステップ３１において、開始ボタンが押される。もちろん、"ボタンを押す"というフレーズは、単に画像取得プロセスの開始を示すための言い回しである。画像取得プロセスは、異なって開始されてもよい。例えば、速度カメラ又は監視カメラに関して、"ボタンを押す"ことは、一部の移動（又は、特定の速度制限を超える移動）がレーザーガン又は赤外線移動センサのような手段により検出された後に記録プロセスが開始されることを意味し得る。ステップ３２において、シャッタが開けられる、画像取得が開始される。もちろん、"シャッタ"は、物理的なシャッタ又は電子シャッタであってもよく、図２においては、光がセンサまで進むことを可能にする任意のプロセスを示すために用いられ、これは、シャッタを開けることになるか、又は、光からセンサを保護する、即ちシャッタを閉じることになる。

画像取得の間、拡散体がスウィープされる。すなわち、拡散効果は、ほぼ透明からより多くの拡散まで変えられる。

ステップ３４において、シャッタは閉じられ、画像取得は終了する。ぼかされた画像１０は、ステップ３５において保存される。この画像に対して、ＩＰＳＦ（逆点像分布関数）が解析ステップにおいて適用される。これは、鮮明化された画像１１をもたらし、これは保存される。

以下の図は、本発明の概念を説明する。

簡潔さのために、画像形成は、以下では２Ｄプロセス（時間及び１つの空間的な大きさ（図中ｘにより表される））とみなされる。しかしながら、この文書において述べられた概念は、２つの横からの空間的な大きさ（ｘ、ｙ）まで拡張する。

動作不変イメージングの概念をより十分に理解するために、従来のカメラの時空間サンプリング特性を最初に概説することが役立つ。フォトカメラのような従来の光学画像処理システムにおいて、カメラは、関心のありそうなオブジェクトにピントが合わせられ、これは、適切な距離でセンサとレンズとの間の変位を固定することになる。そして、時空間シャッタ動作が空間及び時間的に限りなく小さいときに（ディラック

即ち、空間及び時間的な特異点）、完全な静止及び動作の鋭さが得られ得る。時空間において、静止オブジェクトは、ずっとその位置のままであり、それ故ずっと固定された位置のままである。露光は、時間的に及び空間的に限りなく小さいので、従って、空間的及び時間的に限りなく小さい点である。この理想とされた仮定的シャッタ構成のために、センサは、同じ強度で全ての周波数を記録し、異なる動作に対して同一の周波数特性をもたらす。フーリエ変換斯様な信号は、全ての値に対して１である。ディラック関数に関して、全ての周波数は均等にサンプリングされ、全ての波数の振幅は等しい。全ての周波数が均等にサンプリングされることを考えると、全ての起こり得る速度の全ての波数の振幅は等しくなる、即ち、ＰＳＦ関数は一定である。それ故、ＰＳＦ関数も等しくなる。等しいＰＳＦ関数は、オブジェクトの全ての速度において、画像は均等に鮮明になり、画像を解析することにより復元され得ることを意味する。それ故、理想的なディラックシャッタは、全ての速度で鮮明な画像を可能にするだろう。しかしながら、完璧なディラックシャッタを構成することができず、その現実的な近似値は適切な画像を生成するには不十分な光を集める。画像は、画像中のオブジェクトの全ての速度に対して鮮明になり得るが、十分でない光がオブジェクトを可視化するために取り込まれ、これは、控え目に言っても非常に非実用的である。実際には、シャッタ時間（及び、開口）は、局所的な光条件に調整され、適切な信号対ノイズ比を維持するために暗い環境において十分な光を集めるためにより長い露光時間が必要とされる。１つの問題を解決する手段は、光に対してより敏感なセンサを開発することであり、露光時間が、ディラック関数に迫るよう、より短くなることを可能にする。しかしながら、実際は、限界はセンサの感度によりもたらされ、シャッタは、光線を収集するのに十分な時間期間の間、開け続けなければならない。また、カメラの価格は、通常より速いセンサのために急激に増加する。

ほとんどの従来のカメラは、時間的（即ち、露光時間の間）及び空間的な大きさにおいてレンズを介して届く光を窓掛けする調節可能なシャッタ及び開口を特徴とする。これらは、典型的に、対応する時間的及び空間的な周波数領域における同期調整に対応する、リアルタイム及び空間的大きさのボックスフィルタ（即ち、有限間隔に渡る一定の感度）として特徴付けられ得る。結果として、幾つかの高周波が、取得の間、完全に抑制され、完全な動作情報が利用可能なときであっても、逆ＦＩＲフィルタリングの間、回復され得ない。現実的なシャッタは有限の拡張を有し、それ故、ボックスはｘ方向の幅を有する。シャッタは、シャッタ時間ｔの間、開いている。

時間的領域及び空間的な周波数領域において、幾つかの高周波は抑制される。それ故、一部の詳細は失われ、幾つかのアーチファクトが生成される。更に、現実的なシャッタに関してＰＳＦ関数が異なる速度に対して異なるので、１つは、記録された画像の解析に対して単一のＩＰＳＦを用いることができない。実際には及び理論的には、これは、広範囲の速度のための一部の逆フィルタリングにより解析することが不可能であることを意味する。要するに、動作不変イメージングは不可能である。

全体的な動作に関して、モーションブラーは、カメラにより動作を追跡することにより阻止され得る。代わりに、これは、露光時間の間、センサを（光学軸に対して垂直な）横方向の軌道に沿って所望の速度で主レンズに対して移動させることにより実現され得る。しかしながら、ターゲット速度で移動しているオブジェクトだけが記録された画像において鮮明になる一方で、全ての他のシーンエリアは、何も行われなかった場合には、ぶれたままであるか又はよりぶれることにもなる。

多くの場合当てはまらないような、動作又は動作の方向が前もって知られる、カメラが移動される、又は、動作ベクトルが確立され得ることがない限り、従来の文書又は技術のいずれも効果的なモーションブラー削減を可能にしない。

国際公開第２０１０／１３１１４２号において、広い焦点セットアップが動作不変イメージングを達成するために用いられるシステムが述べられていることが注目される。これは、レンズの焦点を変えるように、センサ又はレンズを移動させることにより焦点を速くスウィープすることにより実現される。

広範な焦点が用いられるので、取得された画像が焦点スウィープ範囲の全体に渡って鮮明になり、背景及び前景が鮮明になる。人間の目に対して、斯様なオールインフォーカス画像は、多くの場合不自然に見える。また、カメラのフォーカス特性は、取得の間、変えられなければならない。

本発明は、光路に動的拡散体を導入することにより、異なる経路を取り入れる。

図４は、拡散体６の機能を示す。

拡散体４は、出力する光線の角度の変化が拡散体ドライバ６からの印加された駆動信号Ｅに依存するように、ディスク手段（即ち、スクリーン上に投射され、これは、特定の半径Ｒ_ｂｌｕｒの明るいディスクを与えるだろう）において光線を分配する。図５Ａは、光ディスクの角度を駆動信号Ｅの関数として概略的に示す。駆動信号Ｅが大きくなるほど、角度αはより大きくなり、それ故、センサ上の光ディスクのブラー半径Ｒ_ｂｌｕｒがより大きくなる。駆動信号は０からＥ_ｍａｘまで進み、それ故、角度は、０又はより正確には非常に小さいディスクから最大拡散角度α（Ｅ_ｍａｘ）に対応するディスクまで進む。駆動信号Ｅ（ｔ）は、露光時間の間において拡散ディスクの範囲がほぼゼロの大きさから前と同じような大きさまで進むように、露光と同期される。

センサ上のぼかされたスポットの半径であるブラー半径は、拡散体とセンサとの間の距離ｓの関数であり、その距離は時間に依存し（それ故ｓ＝ｓ（ｔ））、角度αの式は、

である。

それ故、ブラー半径は、駆動信号Ｅ及び／又は距離ｓが変化する場合、時間の関数として変化する。この変化は、ぶれ速度と呼ばれ、

により計算され得る。

一定の距離ｓ、αの小さな値及びαとＥとの間の線形関係（それ故ｄα／ｄＥ＝一定）に関して、上記の式は、

になる。ここで、

は一定であり、Ｃが計算され得るか又は経験的に決定され得る。

図６は、横軸上の時間ｔの関数として、画像平面ＩＰ（即ち、センサに当たるディスク）上の光線の対応するディスクの形状を示す。

ディスクは、開始位置ｔ＝ｔ_０（Ｅ＝Ｅ_ｍａｘ、それ故に大きなブラーディスク）から、近くの或る点（露光の間、中間）まで進み、その後、ｔ＝ｔ_ｅｎｄにおける大きなディスクまでの再び増大させる。画像平面の位置に適合する２つの円錐の点は、全ての光が小さいエリアに集中されるので、ブラーディスクが小さいときに強度が高いことを示すためにより暗く示される。

露光のための全体のブラーカーネルは、露光時間の間、センサに当たる全ての光の合計により与えられる。これは、主に円錐が画像平面と交わる点の近くに集中されるだろう。図７において、センサにより取り込まれた画像は、分配角度の異なる値に対応する、異なってぼかされた画像の重ね合せである。一体的なぶれ効果は、図６，７及び８上に示された一体的なブラーカーネルを有する畳み込みとしてモデル化され得る。図６は、センサ統合エリアの時空間表現を示し、図７は、効果的なシステムのブラーカーネルを示し、図８は、対数関数プロット上のシステムのブラーカーネルを示す。ブラーカーネルを知っている場合、ぼかされた画像は、一体化されたブラーカーネルに対応するＩＰＳＦを解析することにより鮮明な画像を提供するために解析され得る。用いられたＩＰＳＦが現実の状況のためのＩＰＳＦに近い場合、良好な結果（即ち、ほとんど鮮明な画像）を得るだろう。画像取得の間、カメラのフォーカス特性を変えることを必要としない。

図６−８において示されたブラーカーネルは、静止オブジェクトに関するものである。オブジェクトが、露光の間、画像平面において移動するときには、ブラーカーネルは変化する。図９，１０及び１１は、移動オブジェクトの結果を示す。円錐は、傾斜したライン上にある。このラインの傾斜は、オブジェクト速度（即ち、オブジェクトが画像平面において移動する速度）に関連する。センサ上のこのオブジェクト速度は、オブジェクト平面におけるオブジェクトの速度及びオブジェクト距離とレンズ及びセンサ間の距離との間の割合の関数である。

（レンズに対するオブジェクトの距離／レンズ及びセンサの距離）

ｄｘ／ｄｔは、オブジェクトがｘ方向において画像平面において移動している場合に、画像平面におけるオブジェクト速度である。

オブジェクトがｙ方向において移動している場合、ｄｘ／ｄｔはｄｙ／ｄｔに置換され、オブジェクトが双方の方向において移動している場合、オブジェクト速度は、周知のように、ｘにおける速度及びｙ方向における速度の二乗の平方根である。

オブジェクトがレンズから離れるほど、センサ上のオブジェクト速度は低くなり、オブジェクトがレンズに近くなるほど、センサ上のオブジェクト速度は高くなる。発明者は、センサ上に投射されたオブジェクト速度ｖ_{ｂｌｕｒ，ｄｉｆｆｕｓｅｒ}がぶれ速度の８０パーセントより低い場合に、システムのブラーカーネルが実際に動作不変になることを発見した。実際には、これは、図８に示すように静止オブジェクトのためのブラーカーネル（即ち、感知できるモーションブラーを解析された画像に取り込むことなく、図１１で示される移動オブジェクトのためのブラーカーネルのための、移動しないもの）を用いることができることを意味する。図８及び１１のブラーカーネルがほとんど同一であるので、対応するＰＳＦ関数は、ほとんど同一であり、単一のＩＰＳＦ関数を用いた記録された画像の解析が可能であり、ぶれ速度より低い（好ましくはぶれ速度の８０％より低い）センサ上のオブジェクト速度で全てのオブジェクトに対して鮮明な画像が得られることを可能にする。図１１において、これは、Ｘ軸に沿った点線により概略的に示され、点は距離を示し、オブジェクトの画像の中央は、露光の間、センサを介して進行する。距離は、図８のブラーカーネルに相当する。

モーションブラーから離れて、他のブラー源があるかもしれないので、実際には、ぶれ速度の１００％の若干高い値が多くの場合受け入れられる。

センサ上に投射されたオブジェクト速度がぶれ速度に等しい状況周辺で、従来のカメラの特性であるシンクに類似のカーネルに対する段階的な遷移を観察することができる。例えば、センサ上のオブジェクト速度がぶれ速度より非常に大きい状況を示す図１２及び１３を参照。オブジェクトの画像のスポットの中心からの距離は、図８のブラーカーネルの範囲を超える。

斯様な状況において、速く移動するオブジェクトを解析するために静止オブジェクトのためのブラーカーネルを用いることは、対応するＩＰＳＦ関数が大きく異なるので、良好な結果もたらさないだろう。

典型的な速度は、２メートルのオブジェクト−レンズ間距離において５ｋｍ／時であり、１０−２０メートルのオブジェクト−レンズ間距離において５０ｋｍ／時である。

本発明の好ましい実施形態において、拡散体ドライバ６は、オブジェクト速度に関する情報又はレンズまでのオブジェクト距離を供給する入力部を有する。一例は、スピード違反カメラであり、これは、使用する道路に依存して、３５ｋｍ／時の速度又は１３０ｋｍ／時の速度によりトリガされ、速度が測定されるべき位置までの可変距離を有してもよい。斯様な状況において、拡散体ドライバのための異なる設定を有することが役立ち得る。同様に、カメラは、異なる速度対する設定を有してもよい。

本発明の枠組みの範囲内において、"動作不変イメージング"は、詳細の任意のレベルの任意の速度に関して、イメージングの差がないことを意味するように、非常に厳格に解釈されるべきではないことに留意されたい。本発明の目的は、実用的な制限の範囲内における動作変化（即ち、モーションブラー）を低減することにある。完全なソリューションは、理想であり、現実的ではない。

発明者は、最大オブジェクト速度に関して、センサ上に取り込んだオブジェクトのＰＳＦ関数は、基本的に、静的オブジェクトのためのものと同じであり、それ故、ぶれ速度がオブジェクト速度より大きい場合、好ましくはセンサ上のオブジェクト速度の１２５％を超える場合に、動作不変イメージングが可能であることを実現した。

上記した方法及び装置が、シーンにおける及び従ってセンサ上に発生するオブジェクト速度について何も知る必要なく、盲目的に動くことができるにもかかわらず、これらに関する情報をもつ場合に、増大した復元精度が実現され得る（即ち、より鮮明な／良好な最終画像）ことが留意されるべきである。これは、静的に（例えば、マシンビジョンアプリケーションにおいて、どの典型的な速度が生ずるかについて知っている、分析されるべきオブジェクトが届けられるコンベヤーベルトの速度を知っているか、又は、最良の設定が何かを推測し、斯様な設定を適用する）、又は、動的に（システムは、レンズまでの距離及び／又はシーンにおけるオブジェクトの速度を（例えば反復して）測定し、拡散体ドライバのパラメータを最適に調整する）、行われ得る。

それ故、斯様な好ましい実施形態において、システムは、拡散体ドライバのパラメータを例えば手動で設定する手段、及び／又は、記録されるべきオブジェクトの速度及び／又はカメラまでの距離を確立する手段を有し、拡散体ドライバを調整するための手段は、記録されるべきオブジェクトの速度及び／又は距離を確立する手段からの信号を得るように構成される。

実施形態において、拡散体は、拡散体の拡散特性を変えるためにドライバ信号が送られる動的な拡散体である。

図１４Ａ及び１４Ｂは、必要とされる特性を有する実施形態を示している。これらの双方において、拡散体は、（例えば透明ＩＴＯで作られた）２つの透明電極１２３及び１２４間の囲まれた液晶（ＬＣ）１２５の層を有する。この装置は、２つの透明ガラス又はプラスチック基板１２１，１２２の間に配置される。ＬＣは、複屈折である。それ故に、ＬＣ分子の局所的な不整列は回折効果を生成する。電界の欠如において、ＬＣは、電極の表面に応じて、同じ方法で位置調整される。これは、拡散体を完全に透明にする。電極の間に電圧が印加されてもよい。そのため、電極は、電極間に電圧を印加するための手段に接続される。電圧が印加されたときに、電極１２３、１２４はランダム／不規則な局所的な配列を有する電界を生成する。ＬＣは、局所的な電界の方向に回転する。ＬＣがランダム／不規則に配列されるので、局所的な屈折効果はマクロスケールにおいて拡散効果として知覚される。図１４Ａ及び１４Ｂ上に示された２つの実施形態は、不平等電界の実装について異なる。図１４Ａにおいて、我々は、２つの平面ＩＴＯ電極と均一の屈折インデックス及び不均一の誘電透明度インデックスを有する平面電界調整層１２６とを用いることを提案する。この層は、２つの材料を同一の屈折インデックス及び異なる誘電体特性と組み合わせる（例えば１つを他のものにカプセル化する）ことにより作られ得る。電圧が平面電極に印加される場合、変調する層は、不平等電界の作成に関与する。第２の実施形態は、図１４Ｂにおいて示される。この実施形態において、少なくとも１つの平面電極１２２、１２４は、例えばガラス又はプラスチック基板上に印刷され得るグリッド電極１２７により置換される。グリッドサイズは、電界の充分な不平等性を生成するために、ＬＣ材料の厚さに相当するべきである。グリッドは、マクロスケールに均一のぶれ効果を与えるために十分に規則的であるべきである。平面グリッド電極の２つの例は、図１５Ａ及び１５Ｂにおいて示される。

本発明の例示的な実施形態は、例によって与えられ、本発明を与えられた例に限定するものではないことは明らかだろう。

例えば、通常、画像は可視光において取り込まれる。しかしながら、本発明の枠組みの範囲内で、画像は、赤外線において取り込まれてもよい。

解析部２０は、カメラの一部を形成してもよく、又は、解析部は、パーソナルコンピュータの一部であるか、若しくは、解析のための画像１０を送る、インターネット上のサイト上にある。後者の実施形態において、解析ステップ２３（すなわち手段６の設定）において用いられるパラメータを例えばメタデータとして有する画像データを送る。斯様なセットアップの一例は、交通量、気象状況のような局所的な状況（例えば霧又は道路修理のようなアクティビティ）及び／又は局所的な速度制限に依存して種々の速度制限に対して設定され得る速度カメラのグリッドであるだろう。各速度カメラは、カメラのタイプ又は製造に依存してそれ自身の設定を有してもよく、これは、状況（すなわち直ちに適用可能な速度制限）に対して調節可能であってもよい。カメラは、これらの画像データを中央部に送り、画像データによって直ちに適用可能な速度制限及び／又は手段６の設定を送る。（インターネットサイトで有り得る）地域的な、国家的な又は国境を越えた処理位置において、メタデータを有する画像データが受信され、鮮明な画像が作られ、これらはスピード違反の呼出状に加えられる。

本発明は、写真を撮るため、ビデオのため、２Ｄ画像のため、又は、三次元画像を撮るために用いられ得る。単一の拡散体又は直列の２つの拡散体が用いられ得る。拡散体の位置は、レンズとセンサとの間であってもよく、又は、光路内のどこかであってもよい。拡散体は、レンズシステムに一体化されてもよい。

カーネルが多少拡散された画像の合計に起因して効果的であるので、時間多重化を用いてもよい。拡散体は、露光時間の間、透明状態と拡散状態との間で多重化され、２つの状態間の割合は、ｔ＝ｔ_０で非常に拡散し、露光の中間で完全に透明になり、ｔ＝ｔ_ｅｎｄで非常に拡散するような範囲にある、露光と同期した、時間の関数である。拡散体の動的な挙動は、シャッタが開けられる若干前に開始されてもよく、シャッタを閉じた若干後まで続けてもよい。これは、いかなる最初の不規則も除去するだろう。

例において、ぶれ速度は一定である。実施形態において、ぶれ速度は、露光の中間部分又は露光のいずれかの端でより強調するために非線形であってもよい。

説明されるように、実施形態において、ぶれ動作のパラメータを設定することが可能である。実施形態において、カメラは、オブジェクトが移動することがどれくらい速く推測されるか、又は、どれくらい早く測定されるかに依存して、種々の手動設定を可能にすることができ、露光の間、拡散体の位置は静的であるが、露光の前に拡散体は特定の位置まで移動される。前述したように、拡散動作は、拡散体とセンサとの間の距離ｓに依存しており、従って、角度αと信号Ｅとの間の全く同一の関係を伴い、（拡散体をセンサに近付けるか又はセンサから更に離れるように移動させることにより動作不変の範囲を拡張するために）露光の間、ぶれ半径の最大範囲を拡大し得る。しかしながら、露光の間、拡散体は移動しない。従って、露光の間、移動がない。必要とされるものだけが、拡散体が露光の前に移動される。

要するに、本発明は、以下により述べられ得る。システム及びカメラであって、カメラは光路に拡散体４を有する。システム又はカメラは、画像の露光の間、センサ上のレンズにより投射された画像上の拡散体４の拡散特性を調整するための手段６を有する。取り込まれたぼかされた画像１０に対して、逆点像分布関数は、より鮮明な画像に対してぼかされた画像を解析する２４ために適用される。動作不変画像が実現され得る。

解析は、カメラ又はカメラシステム内部で実行され得る。

Claims (13)

1. レンズ及び画像センサを有するカメラを有するカメラシステムであって、
   前記カメラは、光路内に拡散体を有し、
   当該システムは、センサ上の画像の露光の間、センサ上のレンズにより投射された画像上の拡散体の拡散特性を調整する手段を有する、カメラシステム。
2. 当該システムは、前記拡散体の前記拡散特性を動的に変えるための拡散体ドライバを有する、請求項１に記載のカメラシステム。
3. 前記拡散体ドライバは、露光の間、拡散状態からより小さな拡散状態又は透明状態に、より小さな拡散状態から拡散状態に、前記拡散体を駆動させるように構成される、請求項１又は請求項２に記載のカメラシステム。
4. 当該システムは、前記拡散体ドライバを調整するための手段を有する、請求項１−３のうちいずれか一項に記載のカメラシステム。
5. 前記調整するための手段は、前記拡散体ドライバのパラメータを手動で設定するように構成される、請求項４に記載のカメラシステム。
6. 当該システムは、記録されるべきオブジェクトの速度及び／又はカメラまでの距離を確立する手段を有し、
   前記拡散体ドライバを調整するための手段は、記録されるべきオブジェクトの速度及び／又は距離を確立する手段からの信号を得るように構成される、請求項４に記載のカメラシステム。
7. 記録された画像の解析のための解析部を更に有し、
   前記記録された画像は、逆点像分布関数（ＩＰＳＦ）によって解析される、請求項１−６のうちいずれか一項に記載のカメラシステム。
8. 動的な前記拡散体がレンズの前に配置される、請求項１−７のうちいずれか一項に記載のカメラシステム。
9. 動的な前記拡散体が前記レンズと前記センサとの間に配置される、請求項１−７のうちいずれか一項に記載のカメラシステム。
10. 請求項１−９のうちいずれか一項に記載のカメラシステムのためのカメラ。
11. カメラを動作させる方法であって、
    前記カメラは、レンズ及び画像センサを有し、
    前記カメラは、光路内に拡散体を有し、
    画像取得の間、前記拡散体の拡散特性が調整される、方法。
12. 前記拡散特性は、記録されたオブジェクトの速度及び／又はレンズまでの距離に対応する信号に依存して調整される、請求項１１に記載の方法。
13. レンズ及び画像センサを有するとともに光路内に拡散体を有するカメラにより記録された画像データを解析するための方法であって、
    画像取得の間、前記拡散体の拡散特性が調整され、
    取得された画像を解析するために、逆点像分布関数（ＩＰＳＦ）が前記取得された画像に適用される、方法。

Images