JP2013518474A

JP2013518474A - 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア

Info

Publication number: JP2013518474A
Application number: JP2012550190A
Authority: JP
Inventors: ケイナヤルシュリー; コッサートオリヴァー; ツォウチャンギン
Original assignee: ザトラスティーズオブコロンビアユニヴァーシティインザシティオブニューヨーク
Priority date: 2010-01-22
Filing date: 2011-01-24
Publication date: 2013-05-20
Anticipated expiration: 2031-01-24
Also published as: CN102770873B; CN102770873A; US20130194458A1; JP5824113B2; JP2014222893A; WO2011091358A1; US9407833B2; US20170085787A1; KR20120116003A; JP5567692B2

Abstract

本発明は、シーンの画像を記録するためのシステム、方法、及びメディアを提供する。いくつかの実施形態に従って、シーンの画像を記録するためのシステムであって、前記シーンを表す光を拡散し、アパーチャの座標に依存しない散乱関数を有するディフューザと、拡散された前記シーンを表す光を受信し、画像を表すデータを生成するセンサと、点像分布関数を用いて前記画像のぼけを除去するハードウェアプロセッサとを備えるシステムを提供する。

Description

［関連出願の相互参照］本出願は、２０１０年１月２２日に出願された米国仮特許出願第６１／２９７，６６７号に基づく優先権を主張するものであり、この仮特許出願の全体は、参照により本明細書に組み入れられる。

本発明で開示する主題は、光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディアに関するものである。

従来のカメラでは、被写界深度（ＤＯＦ）とノイズとの間に根本的なトレードオフが存在する。一般的に、カメラは１つの焦点面を有し、この面から外れたオブジェクトは、デフォーカスによりぼやける。デフォーカスによるぼけの大きさは、アパーチャのサイズと焦点面からの距離とに依存する。デフォーカスによるぼけを低減してＤＯＦを深くするには、アパーチャのサイズを縮小しなければならず、これにより記録画像の信号強度も低減する。多くの場合、シーンのあらゆる詳細が保持されるように、できる限り深いＤＯＦを有することが望ましい。これは、例えば、全ての関心オブジェクトに合焦することが望まれる、オブジェクトの検出及び認識などの機械視覚アプリケーションにおいて当てはまる。しかし、レンズアパーチャの縮小は、ノイズを増加させ、ひいては記録画像に深刻な影響を与えることもあり、特に暗い場所においては必ずしも可能ではない。

本発明は、シーン画像を記録するためのシステム、方法、及びメディアを提供する。

いくつかの例によれば、シーンの画像を記録するためのシステムであって、前記シーンを表す光を拡散し、アパーチャの座標に依存しない散乱関数を有するディフューザと、拡散された前記シーンを表す光を受信し、画像を表すデータを生成するセンサと、点像分布関数を用いて前記画像のぼけを除去するハードウェアプロセッサとを備えるシステムを提供する。

いくつかの例によれば、シーンの画像を記録するための方法であって、アパーチャの座標に依存しない散乱関数を有するディフューザを用いて、前記シーンを表す光を拡散するステップと、拡散された前記シーンを表す光を受信し、画像を表すデータを生成するステップと、点像分布関数を用いて前記画像のぼけを除去するステップとを備える方法を提供する。

いくつかの実施形態に係る、画像を記録するためのメカニズムを示す図である。いくつかの実施形態に係る、（ａ）ディフューザを用いない画像と、（ｂ）ディフューザを用いた画像との２つの画像の組み合わせを示す図である。いくつかの実施形態に係る、レンズとセンサを示す図である。いくつかの実施形態に係る、レンズ、ディフューザ、及びセンサを示す図である。いくつかの実施形態に係る、センサの光照射野を示す図である。いくつかの実施形態に係る、光線及びその散乱を示す図である。いくつかの実施形態に係る、点像分布関数と変調伝達関数のグラフのペアの組を示す図である。いくつかの実施形態に係る、（ａ）くさび状の光学システム、及び（ｂ）ランダムに変化のある面を有する光学システムを示す図である。いくつかの実施形態に係る、（ａ）ディフューザのプロファイル、（ｂ）ディフューザの高さマップ、（ｃ）ディフューザの散乱ＰＤＦ、及び（ｄ）ディフューザを示す図である。

本発明は、光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディアを提供する。

図１を参照すると、３つのオブジェクトＡ１０４、Ｂ１０６、及びＣ１０８を含む画像を撮影するために用いられる画像記録機構１０２（例えば、カメラ、ビデオカメラ、カメラ内蔵の携帯電話、及び／又はその他の適切な画像記録機構）が図示されている。図に示されているように、これらのオブジェクトは、機構１０２に対して異なる奥行きにある。機構１０２の被写界深度限界より、機構１０２がオブジェクトＢ１０６に合焦している場合、オブジェクトＡ１０４及びオブジェクトＣ１０８は焦点外にある。これらのオブジェクトは、例えば、図２に示される玩具であり得る。図２（ａ）に示されているように、カメラが中央のオブジェクト（図１のオブジェクトＢ１０６に相当し得る）に合焦している場合は、他のオブジェクトは焦点外にある。ところが、本明細書で説明する機構を用いることにより、そうしたオブジェクトも、図２（ｂ）に示すように、焦点内にあるかのような画像が記録される。これを、拡張被写界深度を有する機構１０２と称する。

いくつかの実施形態によれば、拡張被写界深度は、ディフューザ１１０、１１２を画像記録機構１０２に組み入れることにより実現できる。ディフューザを画像記録機構の瞳面で用いて画像を記録することを、拡散符号化と称し得る。そうしたディフューザは、画像記録機構内の任意の適切な位置に配置され得る。例えば、ディフューザ１１０は、光源（例えば、オブジェクト１０４、１０６、１０８）とレンズ１１４との間に（例えば、レンズアタッチメントとして）、ディフューザ１１２は、レンズ１１４とセンサ１１６との間に（例えば、レンズ又はカメラ本体の一部として）配置され得る。

拡散符号化画像は、センサ１１６により検出され、その後、ハードウェアプロセッサ１１８（機構１０２に組み込まれている）、及び／又は、ハードウェアプロセッサ１２０（機構１０２の外部）に送られ、更なる処理が施され得る。この処理は、ディフューザのＰＳＦ（点像分布関数）に整合されたＰＳＦを用いて感知画像のぼけを除去することを含むことができる。いかなる他の適切な処理も、追加的、又は代替的に用いられ得る。そうした処理の後に、拡張被写界深度を有する画像が、ディスプレイ１２４（機構１０２の内部）、及び／又は、ディスプレイ１２２（機構１０２の外部）に表示され得る。

上述したような画像をディフューザを用いてどのように記録するかを例示するために、ここで、いくつかの実施形態について光学的に説明する。

この点光源おける画像は、深度d₀におけるカメラのＰＳＦであり、このカメラのＰＳＦは、以下のように、デフォーカスによるぼけの幅s₀Aを有する矩形型のＰＳＦである。

一般的に、アパーチャに配置されるいかなるディフューザのカーネルであっても、以下のように表され得る。

径方向に対称なディフューザは、式７により与えられるディフューザとは大きく異なる効果を生じさせる。径方向に対称なディフューザが採用される場合は、ディフューザもレンズも、接線方向に光線を偏向させないため、ディフューザカーネル及び修正された光照射野は、変換座標(r,r)を用いて表され得る。したがって、式５及び式６は、以下のようになる。

また、ディフューザカーネルの一般形は、以下のようになる。

式７においてディフューザカーネルに用いたものと同じ矩形散乱関数を、以下のように、式１３にも用いることができる。

ただし、このディフューザの物理的解釈は、先述したディフューザとは異なる。先述したディフューザの場合、光照射野の各光線は、センサ上を四角形状に広がるように分散される。しかし、式１４の散乱関数の効果は、図６に示されているとおりである。図示されているように、ディフューザがない場合は、光は、アパーチャ面における幅dr、半径rの環から、センサ上の幅dr、半径rの環に投射される。式１４の散乱関数の効果は、センサ上に入射する光を、当該光が幅wの環を代わりに生成するよう広げることである。

図６の領域６０２で示されているように、極座標において、光線は、アパーチャ面からセンサ面まで伝播する微小な環状部分であり得る。幅wの放射状の線に沿って光線を分散させるディフューザの効果は、領域６０４により示され得る。

ここでは、矩形散乱関数が表記の便宜上用いられ得るが、拡張ＤＯＦによる画像化には、ガウス散乱関数（例えば、図９Ｃに示される）が相応しい場合もある。そうしたディフューザカーネルによりフィルタリングされた点光源の光照射野及びＰＳＦは、以下のように表され得る。

このＰＳＦの解析解は、２つの矩形関数（１つは|r|により重み付けされる）の畳み込みである括弧内の項を因数とする区間関数となる。分散幅wがゼロに減少していくと、（1/wと結合されている）第一の矩形関数はデルタ関数に近似し、結果としてピルボックス型のデフォーカスＰＳＦが得られる。別の散乱関数を有する別のディフューザを用いた場合も、第一の矩形関数が新たな散乱関数に置き換えられるだけである。しかし、畳み込み項は、効果が優位な1/|r|の項と比べると極めて重要性が低いため、結果として、高いピーク及び高い周波数を維持しつつも、深度に大きく依存し得るＰＳＦとなる。

図６に示されているように、幅dr、半径rの微小な環状部分に入射した光は、アパーチャの環から発せられ、そのエネルギーは、rに比例するか、又はr/s₀に同等となり得る。これにより、式１６の括弧内の項の乗数|r|の存在が説明される。この括弧内の項は、ピルボックス型のデフォーカスＰＳＦによる環のエネルギーが、図６の右側に示されているように、ディフューザにより幅wの放射状の線に沿って均一に広がることを示す。式１６の1/|r|の項は、エネルギー密度は、ＰＳＦの中心近くで散乱される光ほど大きくなる、という事実に起因する。

1 図７は、式１６によって与えられるディフューザ付きのカメラ（７１４、７１６、７１８、７２０、７２２、７２４、７２６、７２８）とディフューザ無しのカメラ（７１５、７１７、７１９、７２１、７２３、７２５、７２７、７２９）について、ＰＳＦ７０２と変調伝達関数（ＭＴＦ）７０４のグラフのペアを示す。デフォーカスによるぼけの直径s₀Aは、０ピクセル７０６、２５ピクセル７０８、５０ピクセル７１０、そして１００ピクセル７１２の間で変化する。式１４の散乱関数は、矩形関数ではなくガウス関数であり、ディフューザのパラメータw（ガウス関数の分散値）は、w ＝１００ピクセルとなるように設定される。ディフューザが存在する場合は、ＰＳＦ及びＭＴＦのいずれにおいても、深度に伴う変化は殆どない。ディフューザの採用はさらに、ＭＴＦにおけるゼロ交差をなくす。デフォーカス値が小さいほど、ディフューザはＭＴＦにおける高周波を抑制する。しかし、ディフューザのＭＴＦは、深度によって大きく変化しないため、高周波はデコンボリューションにより復元され得る。

式１４において規定されるディフューザを実現するために、ディフューザ面は、直径及び窪みがランダム分布から導き出される二次要素の連続として実現され得る。（Sales, T. R. M., "Structured microlens arrays for beam shaping," Optical Engineering 42, 11, pp. 3084-3085, 2003に記載。当該文献は、参照により全体が本明細書に組み入れられる。）ディフューザの散乱関数は、図９（ｃ）に示されるように、０．５ｍｍの分散値（式１６のw ＝ 1mmに対応する）を有する略ガウス関数になるよう設計され得る。径方向に対称なディフューザを作成するために、一次元のランダムプロファイルを作成し、その後、極変換を適用して二次元の面を作成することが可能である（図９（ａ）及び図９（ｂ）を参照）。

いくつかの実施形態において、ディフューザは、レーザエッチングにより作成される。

いくつかの実施形態において、ディフューザ面の最大高さは、３μｍであり得る。また、ディフューザは、約１０μｍの最小スポット径を有するレーザ加工技術を用いて作ることができる。ディフューザの各二次要素が確実に高精度に作られるようにするには、単一要素の最小径を、２００μｍに設定することができ、これにより、４２の別個の環部分を有するディフューザが得られる。

いくつかの実施形態に従って、機構１０２を実現するためにいかなる適切なハードウェアも用いられ得る。例えば、キヤノン（商標登録）ＵＳＡ社製のキヤノンＥＯＳ（商標登録）４５０Ｄのセンサを、センサ１１６として用いることができ、ニューヨーク州ロチェスター、ＲＰＣフォトニクス社（RPC Photonics Inc.）製の適切な光学ガラス片にレーザエッチングされた２２ｍｍ直径のディフューザ（例えば、図９（ｄ）に例示）を、ディフューザ１１０、１１２として用いることができ、キヤノンＵＳＡ社製の５０ｍｍのｆ／１．８レンズをレンズ１１４として用いることができる。他の一例として、レンズ１１４は、いかなる焦点距離をも有し、屈折光学素子及び反射光学素子の一方又は両方を有し得る。例えば、焦点距離が３０４８ｍｍのミード社製望遠鏡LX200（市販されている）が、いくつかの実施形態において用いられ得る。

いくつかの実施形態では、レンズ及びディフューザ（順不同）を通過後にカメラのセンサに入射される画像のぼけを除去するために、いかなる適切な処理が実行され得る。例えば、中心深度におけるＰＳＦを用いたウィナーデコンボリューション（Wiener deconvolution）を用いて、感知画像のぼけが除去され得る。画像に対する他の適切ないかなる処理も、追加的又は代替的に用いられ得る。例えば、ＢＭ３Ｄぼけ除去アルゴリズムを用いて、拡散符号化された画像に対する追加的なぼけ除去が行われ得る。（Dabov, K., Foi, A., Katkovnik, V., and Egiazarian, K., "Image restoration by sparse 3D transform-domain collaborative filtering", SPIE Conference Series, vol. 6812, 681207, 2008に記載。当該文献は、参照により全体が本明細書に組み入れられる。）いくつかの実施形態において、ＢＭ３Ｄぼけ除去アルゴリズムは、ぼけ除去プロセスにより増幅されるノイズを低減する区分的な平滑化事前分布（smoothness prior）を用いる。

センサにとらえられる画像のぼけ除去には、マイクロプロセッサ、デジタル信号プロセッサ、専用コンピュータ（マイクロプロセッサやデジタル信号プロセッサ、コントローラ等と、メモリと、通信インターフェースと、ディスプレイコントローラと、入力デバイス等を含み得る）、適切にプログラムされた汎用コンピュータ（マイクロプロセッサやデジタル信号プロセッサ、コントローラ等と、メモリと、通信インターフェースと、ディスプレイコントローラと、入力装置等を含み得る）、サーバ、プログラム可能なゲートアレイ等のいかなる適切なハードウェアプロセッサが用いられ得る。画像をセンサからプロセッサに伝送するために、いかなる適切なハードウェアが用いられ得る。ぼけが除去された画像を表示、記憶、又は印刷するために、いかなる適切なディスプレイ、記憶装置、又はプリンタが用いられ得る。

いくつかの実施形態において、本明細書に記載のプロセスを実行するための命令を記憶するために、いかなる適切なコンピュータ読み取り可能な媒体が用いられ得る。例えば、いくつかの実施形態において、コンピュータ読み取り可能な媒体は、一時的、又は非一時的であり得る。一例として、非一時的なコンピュータ読み取り可能な媒体は、磁気媒体（ハードディスク、フロッピディスク等）、光学媒体（コンパクトディスク、デジタルビデオディスク、ブルーレイディスク等）、半導体媒体（フラッシュメモリ、電気的にプログラム可能な読み取り専用メモリ〔ＥＰＲＯＭ〕、電気的に消去可能及びプログラム可能な読み取り専用メモリ〔ＥＥＰＲＯＭ〕等）、伝送時の非一過性又は性能持続性を有するいかなる適切な媒体、及び／又はいかなる適切な有形媒体を含み得る。別の例として、一時的なコンピュータ読み取り可能な媒体は、ネットワーク上、電線上、半導体上、光ファイバー上、回路上、伝送時の一過性又は非持続性を有するいかなる適切な媒体上、及び／又はいかなる適切な無形媒体上の信号を含み得る。

本発明について、上述した実施形態に基づいて説明及び図示してきたが、本開示は一例にすぎず、本発明の趣旨および範囲を逸脱することなく、本発明の実施形態の細部に様々な変更を行うのが可能であることを理解されたい。本発明は、以下の特許請求の範囲によってのみ限定される。また、開示された実施形態の特徴を様々に組み合わせ、再構成することも可能である。

Claims

シーンの画像を記録するためのシステムであって、
前記シーンを表す光を拡散し、アパーチャの座標に依存しない散乱関数を有するディフューザと、
拡散された前記シーンを表す光を受信し、画像を表すデータを生成するセンサと、
点像分布関数を用いて前記画像のぼけを除去するハードウェアプロセッサと
を備えるシステム。
前記ディフューザは、ランダムな一次元の径方向プロファイルを有する、請求項１記載のシステム。
前記ディフューザは、レーザエッチングにより作られる、請求項１記載のシステム。
前記ディフューザは、径方向に対称である、請求項１記載のシステム。
前記ディフューザは、キノフォームタイプである、請求項１記載のシステム。
前記ディフューザの前記散乱関数は、略ガウス関数である、請求項１記載のシステム。
前記システムは、レンズをさらに備え、当該レンズは、前記シーンを表す光を、当該光が前記ディフューザに入射する前に通過させる、請求項１記載のシステム。
前記システムは、前記ディフューザと前記センサとの間に配置されたレンズをさらに備える、請求項１記載のシステム。
前記システムは、ぼけが除去された前記画像を表示するディスプレイをさらに備える、請求項１記載のシステム。
シーンの画像を記録するための方法であって、
アパーチャの座標に依存しない散乱関数を有するディフューザを用いて、前記シーンを表す光を拡散するステップと、
拡散された前記シーンを表す光を受信し、画像を表すデータを生成するステップと、
点像分布関数を用いて前記画像のぼけを除去するステップと
を含む方法。
前記ディフューザは、ランダムな一次元の径方向プロファイルを有する、請求項１０記載の方法。
前記ディフューザは、レーザエッチングにより作られる、請求項１０記載の方法。
前記ディフューザは、径方向に対称である、請求項１０記載の方法。
前記ディフューザは、キノフォームタイプである、請求項１０記載の方法。
前記ディフューザの前記散乱関数は、略ガウス関数である、請求項１０記載の方法。
前記シーンを表す光が、前記ディフューザに入射する前に通過するようにレンズを配置するステップをさらに含む、請求項１０記載の方法。
前記ディフューザと前記センサとの間にレンズを配置するステップをさらに含む、請求項１０記載の方法。
ぼけが除去された前記画像を表示するステップをさらに含む、請求項１０記載の方法。