JP2011066875A - シーンの入力画像を取得するための方法および装置 - Google Patents

Abstract

【課題】画像取得後に、適切な空間、焦点、又は時間の分解能を選択することが可能となる方法および装置。
【解決手段】カメラが、レンズ１１０と、センサ１２０とを備える。動的マスク１１１が開口面１１２においてレンズ１１０とセンサ１２０との間に配置され、静的マスク１２１がセンサ１２０に直接隣接して配置される。センサ１２０によってシーンから取得される光線の角度変動、時間変動、空間変動が、センサ１２０の個々のピクセルにマッピングされる。
【選択図】図１Ａ

Description

本発明は、包括的にはカメラ及びコンピュテーショナルフォトグラフィに関し、より詳細には、光路内にマスクを設けられたカメラを用いて取得される画像における空間分解能、角度分解能、時間分解能のトレードオフに関する。

コンピュテーショナルフォトグラフィ
コンピュテーショナルフォトグラフィの１つの目標は、画像取得の簡潔さと後処理の改良とのトレードオフである。たとえば、空間分解能を低くすることは、角度分解能をより高くしてデジタルリフォーカスをサポートすることに対するトレードオフであり得る。同様に、高速カメラは、空間分解能を時間分解能に対してトレードオフする。

カメラセンサの近く又はカメラセンサ上に配置される焦点合わせされたマイクロレンズ（小型レンズ）アレイは、センサの空間位置において、カメラの開口面における角度変動をサンプリングして、低い空間分解能のライトフィールドを取得することができる。代替的に、主レンズの前に正レンズ及びプリズムを組み合わせたものを配置することができる。ライトフィールドの周波数領域変調も既知である。ライトフィールドの周波数領域変調において、センサの近くにコサイン和マスク（ａ ｓｕｍ ｏｆ ｃｏｓｉｎｅ ｍａｓｋｓ）を配置することによって、変調ライトフィールドが取得される。これらの技法のすべては、より低い空間分解能をトレードオフして、静的シーンから取得されるライトフィールドの他の次元を取得する。

多重化及び符号化
アダマール符号を使用した多重検知によって、画像取得中の信号対雑音比（ＳＮＲ：ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）が増大し得る。アダマール符号は、フーリエ変換の一般化されたクラスを使用する。他の符号もセンサの雑音及び飽和を減少させることができる。修正均一ランダムアレイ（ＭＵＲＡ：ｍｏｄｉｆｉｅｄ ｕｎｉｆｏｒｍ ｒａｎｄｏｍ ａｒｒａｙ）符号によって、不可視撮像（ｎｏｎ−ｖｉｓｉｂｌｅ ｉｍａｇｉｎｇ）におけるＳＮＲを改善することができる。可逆符号によって、焦点外画像におけるぼけを低減することができる。波面符号化は、開口面において立方相板を使用して、被写界深度（ＤＯＦ：ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）を拡張する。振幅及び位相を組み合わせたマスクによって、ＤＯＦを拡張することができる。小型レンズ内の減衰層のアレイによって、視界を分割することができる。これは、単一のレンズでは、達成することができない。センサの近くの、透過率が空間的に変動する光マスクセンサを、高動的レンジ（ＨＤＲ：ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）の撮像のために使用することができる。他の撮像変調器（ｉｍａｇｉｎｇ ｍｏｄｕｌａｔｏｒ）は、デジタルマイクロミラーアレイ、ホログラム、ミラーを含む。

動き
動きの結果、動的シーンが生じる。静的画像に適用される、指向性フィルタの直行対によって動きをシミュレートすることができる。一度に１ピクセル列ずつ画像を取得する、プッシュブルームカメラ及びスリットスキャンフォトグラフィを、ゴール写真及び衛星撮像に使用して、モーションブラーを回避すると共に、興味深い動きのゆがみを取得することができる。高速カメラは、完全な動き情報を取得することができる。しかしながら、高速カメラは高価であり、高帯域幅を必要とし、動いているオブジェクトのデジタルリフォーカスを可能にしない。

マッピング方法
色のような、非幾何学的次元における光学情報を、幾何学的次元にマッピングすることができる。ベイヤフィルタモザイクは、空間分解能をトレードオフすることによって、波長情報をセンサピクセルに直接マッピングする。開口面におけるプリズムを用いて、波長（色）を、２Ｄ画像の角度次元にマッピングすることができる。瞳面多重化によって、色情報に加えて偏光を取得することができる。

５Ｄプレノプティック関数（５ＤＰＦ）
プレノプティック関数（ＰＦ：ｐｌｅｎｏｐｔｉｃ ｆｕｎｃｔｉｏｎ）は、時空間の任意の点において観察者又はセンサが利用可能な視覚世界の全体ホログラフィック表現である。波長及び偏光効果を無視すると、ＰＦを自由空間における時変４Ｄライトフィールドによって記述することができる。２平面パラメータ化の場合、センサ平面は（ｘ，ｙ）であり、開口面は（θ_ｘ，θ_ｙ）であり、５ＤＰＦはＬ_０（ｘ，ｙ，θ_ｘ，θ_ｙ，ｔ）である。ただし、ｔは時間である。シーン内に内在する構造によって、５ＤＰＦ内に冗長性がもたらされる。

カメラ
以下のカメラは、シーンに関する基礎を成す想定を用いて、５ＤＰＦのサブセットをサンプリングする。

従来のカメラ：従来のカメラは、露光時間中、シーンの焦点が合っており、且つこのシーンが静的であると想定する。したがって、５ＤＰＦにおける角度変動及び時間変動は、存在しない。このため、従来のカメラは、５ＤＰＦの結果としての２Ｄサブセットの適切で正確な特徴化を提供する。

ビデオカメラ：ビデオカメラは、シーンの焦点が合っているが、このシーンが経時的に変化していると想定する。角度変動が存在しないと想定することによって、ビデオカメラは、５ＤＰＦの結果としての３Ｄサブセットの適切な特徴化を提供する。

ライトフィールドカメラ：ライトフィールドカメラは、時間変動が存在しないと想定し、５ＤＰＦの４Ｄサブセットを取得する。

各カメラは、シーンがこのカメラに対し想定した冗長性を有するときにしか機能しない。想定が満たされないとき、取得画像は焦点ぼけ、モーションブラー、ハイライト、及び鏡面性のようなアーチファクトを有し得る。

本発明の実施の形態は、単一の画像を画像のセットに変換する方法及び装置を提供する。画像のセットは、時間、焦点、及び分解能、又はそれらの組み合わせにおいて変動し得る。

画像は、カメラの開口面において、レンズとセンサとの間に配置される動的マスク、及びセンサに直接隣接する静的マスクを用いて取得される。動的マスクは、シーンの時間変動を、ライトフィールドの角度変動に可逆的に符号化する。

本発明は、光サンプルにおける冗長性を利用することによって、空間次元、角度次元、及び時間次元間の分解能のプログラム可能なトレードオフを提供する。これによって、ユーザは、画像取得後に、適切な空間、焦点、又は時間の分解能を選択することが可能になる。

本方法及び本カメラによって、深度を移動しているオブジェクトをリフォーカスすること、及び単一画像内で複数の表情を取得すること等の新規な結果が可能になる。

本発明の実施の形態１に係るカメラのブロック図である。 図１Ａのカメラにおける光路又は光線の概略図である。 本発明の実施の形態１に係る、図１のカメラによって取得される画像を後処理するための方法のフロー図である。 図１のカメラによって取得されるシーンの入力画像例である。 図３Ａの入力画像から得られる出力画像例である。 図３Ａの入力画像から得られる出力画像例である。 図３Ａの入力画像から得られる出力画像例である。 図３Ａの入力画像から得られる出力画像例である。 図１のカメラによって取得される顔の入力画像例である。 図４の入力画像から得られる出力画像のセット例である。

図１Ａは、本発明の実施の形態１に係る装置１００及び方法２００を示している。図は、一定の縮尺ではなく、構成要素は、様々な特徴をより容易に示すように配置される。装置は、本体１０１の内部に配置されるカメラの形態である。カメラは、レンズ１１０と、センサ１２０とを備える。動的マスク１１１が開口面１１２に配置される。静的ヘテロダインマスク１２１がセンサに直接隣接して配置される。すなわち、マスク１２１は、レンズに面して、センサの表面上又は表面の近くに配置される。光学素子は、カメラの光軸１０２上に位置合わせされる。

カメラは、方法２００のステップを実施するためのプロセッサ１３０も備える。プロセッサは、当該技術分野において既知の単一コアマイクロプロセッサ又はマルチコアマイクロプロセッサであり、入力／出力インタフェース及びメモリを備える。プロセッサは、画像安定化、ズーム、露光及び焦点制御、雑音低減、画像構成等のような従来の機能を実施することができる。方法２００は、センサによって取得される単一の入力画像１２９に対し実施される。プロセッサは、出力画像１４０のセットを作成する。本明細書において定義されるように、セットは、１つ又は複数の出力画像を含むことができる。カメラは、入力画像及び出力画像を記憶するためのメモリカード１３５も備えることができる。

レンズは、アクロマートであり、１６０ｍｍの焦点距離を有する。動的マスクは、円形であり、所望の動的符号化を提供する適切なピンホールパターン１５５を有するプラスティックから成る。ピンホールは、開口面全体にわたって分散している。代替的に、動的マスクは、スリット１５６を含む。差し込み図を参照されたい。マスクは、サーボモータ１１３によって回転する。シャッター１２３は、回転マスク１１１と同期され（１２５）、マスクの回転中、開口において光を断続的に遮断する。

代替的に、動的マスクは、開口面において、変調可能な低分解能液晶ダイオード（ＬＣＤ）を備える。しかしながら、カラーＬＣＤは、ＲＧＢピクセルに起因する回折をもたらし得る。モノクロＬＣＤは、ピクセルサイズがより大きいが、コントラスト比がより低く（１：１０）、光の約５０％を損失する。これは、ＳＮＲを大幅に低める。投影機において使用されるようなモノクロＬＣＤは、良好なコントラスト比を有するが、小さな形状（≒６ミクロン）に起因して回折が非常に大きく、且つ配線のためのピクセル間の間隙に起因して曲線因子が低いという難点がある。

センサは、２２００万ピクセルの分解能を有する。ほぼ１ｍｍの保護ガラス板１２２が静的マスクをセンサから分離する。これによって、１１×１１の角度分解能、及び２４２×１８２色空間分解能の場合、ｆ／８の最大開口（ｍａｘｉｍｕｍ ａｐｅｒｔｕｒｅ：開放Ｆ値）が可能になる。焦点距離が１６０ｍｍのレンズの場合、ｆ／８における開口サイズは、２０ｍｍである。静的マスクには、コサインマスクの和が好ましい。タイル張りされた広帯域マスク（ｂｒｏａｄｂａｎｄ ｍａｓｋ）を使用して光スループットを改善することができる。

一連の画像が取得されるとき、開口面における最小形状を２０／３ｍｍまで低減することができるが、これによって、緑波長のための３つのピクセルの回折ぼけがもたらされる。このことを説明するために、動的マスクのピンホール間に適切に間隙を配置する。屋内シーンの場合、露光時間のために最大８秒を使用する。

代替的に、センサにおける光の角度変動を取得するために、センサの近くで小型レンズアレイを使用し、それによって光スループットを増大させることができる。カメラが時間画像レート（ｔｅｍｐｏｒａｌ ｉｍａｇｅ ｒａｔｅ）Ｔを有する場合、各ピクセルは、時間間隔Ｔにわたって光を積分する。空間分解能がＫ^２分の１に落ちるため、ビデオシーケンスのための相当するピクセルはＫ^２倍大きくなり、したがって、Ｋ^２倍多くの光を集める。開口面において動的マスクのためにアダマール符号を使用することによって、各ピクセルは、Ｋ^２／２個の画像のための光を集めることができ、光の損失は、２分の１に低減される。同様に、静的シーンのために、開口面においてアダマール符号を使用することによって、同じ露光時間の間完全に開いている開口と比較して、損失する光が１／２となる。

５ＤＰＦを強引に取得すること（ｂｒｕｔｅ ｆｏｒｃｅ ａｃｑｕｉｓｉｔｉｏｎ）によって、空間分解能が、シーンから独立して、時間と角度分解能との積に等しい係数で低減する。このため、空間分解能はＫ^４分の１に低減する。しかしながら、本発明による方法は、シーンに応じて、Ｋ^２角度分解能、Ｋ^２時間分解能、又はＫ時間分解能のＫ角度のいずれかにＫ^２角度サンプルを使用する。

本発明によるカメラは、２００７年２月６日付けで出願された、Ｒａｓｋａｒによる米国特許出願公開第２００８／０１８７３０５号明細書「４Ｄ ｌｉｇｈｔ ｆｉｅｌｄ ｃａｍｅｒａｓ」のヘテロダインカメラとは異なる。この（Ｒａｓｋａｒの）カメラは、センサにおいて、光線の角度変動しか取得しない。このカメラは、開口面において光線を変調しない。このカメラの出力は、動的シーンに使用することができない。

本発明によるカメラは、Ｌｉａｎｇ著「Ｐｒｏｇｒａｍｍａｂｌｅ ａｐｅｒｔｕｒｅ ｐｈｏｔｏｇｒａｐｈｙ： Ｍｕｌｔｉｐｌｅｘｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ａｃｑｕｉｓｉｔｉｏｎ」（ＡＣＭＴｒａｎｓ．Ｇｒａｐｈｉｃｓ ２７，３，５５：１−５５：１０，２００８）による、開口がマスクされたカメラとも異なる。この文献では、センサ付近にマスクを一切有することなく、画像毎に開口マスクを変化させることによって、ライトフィールド再構築のための複数の画像を取得する。そのカメラは、画像毎に開口マスクを変化させることによって、ライトフィールド再構築のための複数の画像を取得する。センサ付近には、マスクが一切存在しない。このカメラも動的シーンに使用することができない。

これらのカメラの双方は、静的シーンのために４ＤＰＦしか取得しない。Ｌｉａｎｇによるカメラ及びＲａｓｋａｒによるカメラの双方は、動きを含むシーン、すなわち動的シーンに使用することができない。

対照的に、図１Ｂに示すように、本発明では、単一の露光時間内に開口マスク１１１を用いて光線１５０を変調すると共に、センサ１２０に隣接する静的マスク１２１を使用してこれらの変動を取得する。任意の一時点において、光線のサブセット１５１のみが選択され、センサによって「スポット」１６０として積分される。

ライトフィールドマッピング
図２に示すように、単一の入力画像１２９においてシーンを取得する。角度次元及び時間次元における変動を、センサにおいて空間強度変動にマッピングする（３０１）。

静的シーンの部分の場合、光線の角度変動をピクセルに直接マッピングし（２１０）、４Ｄライトフィールドを取得することができる。

焦点の合った動的シーンの場合、動的開口マスクを使用して光線の時間変動を角度変動にマッピングすることによって、光線の時間変動をピクセルに間接的にマッピングする（２３０）。

ランバートシーンの場合、光線の角度変更は、開口面の水平方向及び垂直方向において同じである。ランバートシーンにおいて、光は、見かけの明るさがビュー（等方輝度）に関わらず同じであるように散乱される。ピンホールの代わりに開口において垂直スリットを使用することによって、光線の角度変更を垂直次元にマッピングし、光線の時間変動を水平次元にマッピングすることができる。

空間への角度のマッピング
光線１５０の角度変動は、センサにおいて光線の角度変動をピクセルにマッピングする（２１０）ことによって取得することができる。これは、静止マスク１２１上の高周波パターンの配列又はセンサに隣接する小型レンズによって達成される。ヘテロダインマスクは、各センサピクセルにおいて光線の線形結合をサンプリングする。これを周波数領域において反転することができる。ヘテロダインは、光線の線形結合をとり、この結合を反転することによって、ライトフィールドを取得する。小型レンズに基づく設計は、光線ビニング手法において光線をピクセルに方向付ける。

空間への時間の直接マッピング：露光時間Ｔ内で光積分を制御することによって、時間変動を空間にマッピングする（２２０）ことができる。単一の露光時間においてＮ個の低分解能画像を取得するために、Ｎ個おきのピクセルが、Ｔ／Ｎの時間期間でのみ光を積分する。これは、波長を空間にマッピングするベイヤモザイクフィルタに類似している。

空間への時間の間接マッピング：空間への時間の間接マッピング（２３０）は、光線の時間変動を光線の角度変動にマッピングし、ライトフィールドカメラを使用して角度変動を取得することによって達成することができる。

本発明の実施の形態１は、開口面における動的マスク及びセンサに隣接する静的マスクを使用することによって間接マッピングを実施する。

ピクセルの再解釈
本発明によるカメラは、光線をピクセルに「再ビニングする」。カメラに入射する各光線はピクセルにマッピングされる。光線は、取得されるシーンの角度変動、時間変動、又は空間変動に対応する。たとえば、焦点が鮮明な静的シーンは、空間変動のみを有し、角度変動も時間変動も有しない。焦点が鮮明な動いているオブジェクトは、光線の時間変動及び空間変動の双方を有する。焦点が外れた静的シーンは、光線の時間変動及び角度変動の双方を有するが、時間変動を有しない。本発明によるカメラは、これらの光線を、後処理がシーンの異なる部分に対して異なる出力を生成するように取得するユーザ柔軟性を可能にする。

たとえば、シーンの焦点の合った静的部分を、単一の画像から高空間分解能で再構築することができ、一方で画像内の焦点の合った動いているオブジェクトに関して低空間分解能のビデオを得ることができる。次に、取得した放射輝度を、５ＤＰＦの空間サンプル、角度サンプル、又は時間サンプルとして解釈する。

光学設計
本発明による静的ヘテロダインマスクは、個々のピンホール画像（スポット）１６０がｆ数マッチングに起因して互いに重複しないようにセンサから距離ｄに配置される静的ピンホールアレイの均等物である。各ピンホールは、結果として、開口にわたってＫ×Ｋピクセルに対し角度変動をもたらす。

Ｐ×Ｐピクセルのセンサ分解能の場合、この配列は、空間分解能（Ｐ／Ｋ）×（Ｐ／Ｋ）及び角度分解能Ｋ×Ｋを有するライトフィールドを取得する。時間変動を角度変動にマッピングするために、カメラの露光時間Ｔは、期間Ｔ／Ｋ^２のＫ^２個の区間に分割され、開口マスクがＫ×Ｋ個のロケーションから成る格子に分割される。Ｋ^２個の区間のそれぞれの間、開口面におけるＫ^２個のロケーションのうちの１つは開いており、一方、他の全ては閉じている。開口面に移動ピンホールを有するこのヘテロダイン設計によって、シーン特性に関する取得後の柔軟性という目標が達成される。開口マスクにアダマール符号を使用し、後述するようにセンサにおいてタイル張りされた広帯域／コサインマスクを使用することによって、光の損失を最小にすることができる。

静的シーン
単一の画像の場合、動的マスクは、露光時間を延長すること以外、画像に影響を及ぼさない。静的シーンの場合、動的マスクは時間にわたる光線の角度変動に影響を及ぼさない。各ピンホール位置は、開口面において光線のサブセット１５１を取得する。動的マスク内のピンホールが開口全体をカバーしている限り、最終的にライトフィールド内の全ての角度変動を取得することができる。したがって、経時的に、動的マスクを用いて取得した入力画像は、より短い露光時間でマスクを用いずに取得した画像に等しくなる。

光はＫ^２分の１に減衰され、取得画像を使用して、Ｋ×Ｋの角度分解能及び（Ｐ／Ｋ）×（Ｐ／Ｋ）の空間分解能を有するライトフィールドを回復することができる。

図３Ａ〜図３Ｅに示すように、本発明によるデジタルリフォーカスを、動いているオブジェクトから独立して、シーンの静的部分に対し実施することができる。この結果、動いている部分に幾つかの興味深いアーチファクトが生じる。

図３Ａは、センサによって取得される単一の入力画像を示している。図３Ｂ〜図３Ｅは、図３Ａの画像から得ることができる画像のセットを示している。図３Ｂは、焦点が外れたズームイン画像である。図３Ｃは、焦点の合ったズームインである。図３Ｄの画像は、前景の焦点が合っており、図３Ｅの画像は、背景の焦点が合っている。シーン内の静的部分の焦点が外れたぼけは、開口の形状に対応する。シーン内の全ての静的部分は、ライトフィールドから予期されるように、回復画像内で焦点が合っている。

焦点の合った静的シーン
シーンの焦点の合った静的部分に関して高分解能の２Ｄ画像を回復することができる。静的マスクは、このマスクの空間変動する減衰パターンによって、焦点の合った部分の画像を減衰させる。均一強度のランバート平面を使用して、較正画像を用いて正規化することによってこれを補償することができる。

動的マスクは、以下のさらなる効果を有する。焦点の合ったシーン部分毎に、光線錐（ｃｏｎｅ ｏｆ ｒａｙｓ）がセンサピクセル上に完全に焦点を合わせる。シーンが静的であるため、この光線錐は、露光時間中変化しない。このため、静的部分に対する空間分解能は、ライトフィールドを使用して得られるリフォーカス画像における分解能を超えて増大することができる。動的マスクの移動ピンホールによって、光線錐が、異なる時間区間にカメラに入射することが可能になる。さらに、シーンは焦点が合っているため、錐内の全ての光線は同じ放射輝度を有する。移動ピンホールの効果は、強度をＫ^２分の１に減衰させることである。

焦点の合った動的シーン
シーンの焦点が合っており、露光時間中静的である場合、開口面１１２における光線錐１５０は、所与の時点において同じ放射輝度を有する。光線の任意のサブセット１５１を取得することによって、その時点におけるシーンの放射輝度を記録することができる。これを利用して、異なる時点に異なる光線のサブセットを取得して、動的シーンの複数の画像を取得することができる。動的マスクの移動ピンホールは、まさにこれを達成する。開口面の移動ピンホールマスクの効果は、光線を異なる時点において異なる角度にマッピングする、すなわち時間を間接的に角度にマッピングする（２４０）ことである。

ここで、取得したライトフィールドの「ビュー」は、画像シーケンス（ビデオ）の異なる画像に自動的に対応する。この画像シーケンスは、動いている部分に関してより低い空間分解能の時間変動を有する。このため、取得したＰ×Ｐ画像をＫ^２個の時間画像に変換することができ、この画像は、それぞれ（Ｐ／Ｋ）×（Ｐ／Ｋ）の空間分解能を有する。

焦点が外れた動的ランバートシーン
カメラに向かって又はカメラから離れて移動しているオブジェクトは、取得画像において焦点ぼけ及びモーションブラーの双方を受ける。一方又は他方を修正するための方法が既知である。Ｒａｓｋａｒによる、米国特許出願公開第２００７／０２５８７０７号明細書「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｄｅｂｌｕｒｒｉｎｇ ｉｍａｇｅｓ」、及びＲａｓｋａｒによる、米国特許出願公開第２００８／０１８７３０５号明細書「４Ｄ ｌｉｇｈｔ ｆｉｅｌｄ ｃａｍｅｒａｓ」を参照されたい。しかしながら、これらの方法のうちのいずれも、モーションブラー及び焦点ぼけを同時に修正することができない。これらの方法は、点広がり関数（ＰＳＦ：ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）と、焦点の合ったオブジェクトを回復するための、ぼけ除去とを必要とする。

動的シーンの複数の部分の焦点が外れている場合、時間変動及び角度変動は、双方が光線の角度変動となるため、区別することができない。時間変動を角度にマッピングするため、時間変動及び角度変動の双方を同時に別個に取得することはできない。しかしながら、５ＤＰＦにおける冗長性を使用して、以下のようにこれらの変動の双方を取得する。

概して、ライトフィールドは、２つの角度次元を有する。ランバートシーンの場合、シーン点の放射輝度は、全ての方向において同じであり、角度情報は、冗長である。開口面にスリットを配置することによって、一次元、すなわち１Ｄ視差画像のみを使用して角度情報を取得する場合、結果としての３Ｄライトフィールドは、ランバートシーンに関する全ての情報を有する。この３Ｄライトフィールドによって、４Ｄライトフィールドに関するリフォーカスが可能になる。焦点が外れたぼけは、開口形状に依拠するため、標準のフル開口ライトフィールドの場合、二次元ではなく一次元である。

本発明の主要な着想は、シーンの時間変動を、「追加の」利用可能な角度次元にマッピングすることである。開口面において垂直スリットを水平に移動することによって、時間変動を、取得したライトフィールドの水平次元にマッピングし、角度変動を、取得したライトフィールドの垂直次元にマッピングすることができる。焦点の合った動的シーンの場合、ピンホールを上述したように動かすことによって、時間変動は、ライトフィールドの角度次元の双方（水平及び垂直）にマッピングされる。このため、Ｐ×Ｐの画像は、Ｋ^２個の時間画像に変換され、この画像は、それぞれ（Ｐ／Ｋ）×（Ｐ／Ｋ）ピクセルの空間分解能を有する。このＫ^２個の画像は、Ｋ個の異なる時点について独立してＫ個の角度サンプルを使用したリフォーカスに対応する。これによって、動いているオブジェクトに対するデジタルリフォーカスが可能になる。シーンが低速に変化しているとき、開口面において移動スリットは必要ない。このため、同じ取得画像が、後処理中に異なって解釈され得る。通常、本発明によるカメラを使用して５ＤＰＦの最大４Ｄのサブセットを取得する。

応用形態
静的シーンのためのライトフィールド
本発明によるカメラを用いて、焦点の合ったシーン部分に関してより高い空間分解能を保つことができる。

領域に適応した出力
静的部分及び動いている部分を有するシーンの場合、動いている部分の焦点の合った特徴を回復することができる。角度サンプルによって、前景及び背景内の静的部分のデジタルリフォーカスも可能になる。

動き描写
従来のカメラを用いると、単一の画像内の動きを描写することは困難である。これは、センサが露光時間中、光を積分し、オブジェクトの動きの結果、モーションブラーが生じるためである。動的シーンの場合、本発明による取得される入力画像１２９は、新規であり、興味深い形での動きの描写を提供する。

ヘテロダインと同様に、本発明によるカメラは、静的シーンのための４Ｄライトフィールドを取得する。焦点の合った静的部分に関して、高空間分解能が保持される。１Ｄ視差及び動き情報を取得することによって、動いている部分と静的部分との間で、正確な閉鎖及び非閉鎖（すなわち、１つのオブジェクトが別のオブジェクトの後に移動すると見えなくなる）を維持しながら、深度を移動している部分をデジタルリフォーカスすることができる。

新規の効果
本発明では、モーションブラーを一切生じずにオブジェクトを焦点外に動かしながら、静的オブジェクトの焦点を鮮明に維持することのような新規の効果を生み出すことができる。

表情の取得
満足のいく顔写真を取得することは難しい。多くの場合、そのような撮影では、写真家が多数の写真を取得する必要がある。一つの解決策は、バッファ内に継続的に画像を取得して、最も良好なものを選択することである。

図４は、顔から取得される単一の画像を示している。図４は、ビデオシーケンスの合成画像ではないことに留意されたい。図５は、本発明の実施の形態１に係る後処理方法２００を使用して、単一の入力画像から回復される異なる９つの表情を有する出力画像のセットである。ここで、回復される画像は、デジタルモンタージュ写真のようなソフトウェア技法を使用してさらに結合し、新規の画像を生成することができる。

発明の効果
デジタル写真撮影は、カメラの制限された能力に起因して、写真家に困難な選択を課す。選択のうちの幾つかは、経験則と見なされる。プロの写真家は、通常、撮影中の開口、焦点、及び露光時間に関する主要な決定を行う。

本発明によって、ユーザがこれらの選択のうちの幾つかを後処理時間まで引き延ばすことが可能になる。本発明によるカメラは、取得画像内のモーションブラー及び焦点ぼけを同時に扱うことができる。カメラにおいて動的マスク及び静的マスクを使用することにより、事前にシーンを知ることなく、単一の画像から、ビデオ、４Ｄライトフィールド、又は高分解能画像を回復することができる。

医療及び科学顕微鏡法では、動いているオブジェクトにリフォーカスする能力は、有益である。本明細書において説明されるマスク例は減衰器であるが、角度に依拠するホログラフィックマスクは、完全な５Ｄプレノプティック関数を取得することができる。

本発明によるカメラは、幾つかの利点を有する。概念的に、本発明では、単一のカメラ本体１０１内に、ライトフィールドカメラと、ビデオカメラと、２Ｄ画像カメラとを設ける。従来のビデオカメラ又はライトフィールドカメラと対照的に、時間次元又は角度次元に沿った変動がないため、サンプルが無駄にならない。

ぼけを取り除くためのモーションブラー除去に基づく技法と異なり、本発明の方法によるビデオ画像の回復は、ぼけ除去又は動きＰＳＦの知識を必要とせず、それによって露光時間内に任意のシーン変化を取得することが可能になる。

５ＤＰＦによって呈される冗長性に関する決定を、後処理の間に行うことができる。本発明の光学設計は、全てのピクセルにおける放射輝度を取得する。放射輝度は、プレノプティック関数の空間サンプル、角度サンプル、又は時間サンプルとして解釈することができる。これらのケースのそれぞれにおいて異なる次元に沿って回復される分解能は異なるが、有効分解能、すなわち空間分解能、角度分解能、及び時間分解能の積は、センサピクセルの数に等しい。

単一の光学構成に関する利点として、空間分解能、角度分解能、及び時間分解能を、シーン特性によって要求されるようにトレードオフすることができる。このトレードオフは、画像取得後に、本発明の方法によって行われる。これは、いずれのシーン解釈が適切であるかを判断する想定のそれぞれの下で、ユーザが実際に出力を回復することができることを意味する。

本発明者らは、これが、このような柔軟性を可能にする初のカメラであると自負している。

付録
マスクに基づく設計は、開口、センサ上平面、及び／又は近センサ平面において、静的／動的マスクを配置することとして一般化することができる。マスクは、変調関数ｍ（ｘ，ｙ，θ_ｘ，θ_ｙ，ｔ）によって、カメラに入射する光線を変調する。センサ平面における変調されたプレノプティック関数は次式（１）によって与えられる。

捕捉されたセンサ写真Ｉ（ｘ，ｙ）は、次式（２）で表される時間次元及び角度次元に沿ったプレノプティック関数の積分である。

開口における符号化：動的に符号化された開口に起因する変調関数ｍ_ａは、開口面において、全ての空間位置に関して同様に、入来する光線を変調するため、次式（３）の形態を取る。

したがって、単一ショットで開口を変調することによって、光線の角度変動を制御することができるが、これらの変動を捕捉することができない。しかしながら、複数の写真を使用すると、角度変動を捕捉することができる（Ｌｉａｎｇ他、２００８）。

センサ付近の符号化：変調関数をセンサに近づけてシフトすることによって、空間次元及び角度次元の双方において同時に光線を変調することができる。センサから距離ｄに配置される静的マスクに起因する変調関数ｍ_ｎｓは、次式（４）によって与えられる。

ただし、

であり、

であり、ｖは、センサと開口との間の距離を表す（Ｖｅｅｒａｒａｇｈａｖａｎ他、２００７）。これは、角度変動を捕捉するために角度を空間にマッピングすることに対応する。

センサ上での符号化：センサ平面における変調関数ｍ_ｓは、任意のピクセルにぶつかる全ての光線に、それらの光線の方向に関係なく等しく影響を与えるため、次式（５）の形態を取る。

したがって、この変調関数は、光線の角度変動を捕捉することはできないが、シーンの時間変動を異なる複数のピクセルに直接マッピングする（時間を空間に直接マッピングする）ことを可能にする。

開口及びセンサ付近での符号化：セクション３．１において説明される本設計は、この部類に入る。開口においてマスクを動的に変化させることによって、光線の角度変動を制御する。光線は、近センサ平面においても静的マスクを使用して捕捉される。したがって、時間変動が角度変動にマッピングされる（時間と空間との間接マッピング）。変調関数は次式（６）によって与えられる。

ただし、ｍ_ｎｓは、式（４）によって与えられる。開口において移動ピンホールマスクを使用する場合、次式（７）となる。

ただし、ｔ_ｘ＝ｔ（ｍｏｄ Ｋ）であり、

である。

Claims (25)

1. 装置であって、
   レンズと、
   センサと、
   開口面において前記レンズと前記センサとの間に配置される動的マスクと、
   前記センサに直接隣接して配置される静的マスクと、
   を備えた装置。
2. 前記静的マスクは、高周波ヘテロダインマスクである請求項１に記載の装置。
3. 前記センサに接続されるプロセッサであって、前記センサは、前記プロセッサのための単一の入力画像を取得し、前記プロセッサは、出力画像のセットを作成するプロセッサをさらに備える請求項１に記載の装置。
4. 前記動的マスクは、回転するように構成され、ピンホールのパターンを含む請求項１に記載の装置。
5. 前記動的マスクは、回転するように構成され、スリットを含む請求項１に記載の装置。
6. 前記動的マスクは、低分解能液晶ダイオードを備える請求項１に記載の装置。
7. 前記静的マスクと前記センサとを分離するガラス板をさらに備える請求項１に記載の装置。
8. 前記静的マスクは、前記静的マスクのためのコサインマスクの和である請求項１に記載の装置。
9. 前記静的マスクは、タイル張りされた広帯域マスクである請求項１に記載の装置。
10. 前記静的マスクは、小型レンズアレイである請求項１に記載の装置。
11. 前記動的マスクは、アダマール符号を使用する請求項１に記載の装置。
12. 前記入力画像は、動的シーンから取得され、前記シーンからの光線の時間変動は、前記動的マスクによって角度変動にマッピングされ、
    前記センサにおける前記角度変動を、前記静的マスクを使用してライトフィールドとして取得する手段をさらに含む請求項３に記載の装置。
13. 前記入力画像は、静的シーンから取得され、前記シーンからの光線の角度次元及び時間次元の変動は、前記センサ上で、前記静的マスクによって空間強度変動にマッピングされる請求項３に記載の装置。
14. シーンからの光線の角度変更は、垂直次元にマッピングされ、前記光線の時間変動は、水平次元にマッピングされる請求項５に記載の装置。
15. 前記静的マスクは、不均一に離間されたピンホールのアレイである請求項１に記載の装置。
16. 前記セットの前記出力画像は、前記シーンの異なる部分に関して異なる請求項１３に記載の装置。
17. 前記静的シーンの焦点の合った部分は、前記出力画像のセットにおいて、より高い空間分解能を有する請求項１３に記載の装置。
18. 前記動的シーンの動いている部分は、回復される請求項１２に記載の装置。
19. シーンの入力画像を取得するための方法であって、
    レンズを通じてカメラに入射する、前記シーンからのライトフィールドを、開口面において動的マスクを使用して変調するステップと、
    センサにおいて、前記変調ライトフィールドを、前記センサに直接隣接して配置される静的マスクを使用して、単一の画像として取得するステップと、
    を含む方法。
20. 前記単一の画像から、前記センサに接続されているプロセッサを使用して、出力画像のセットを作成するステップをさらに含む請求項１９に記載の方法。
21. 前記センサは静的であり、
    前記入力画像を高分解能画像に変換するステップをさらに含む請求項１９に記載の方法。
22. 前記入力画像を４次元プレノプティック関数に変換するステップをさらに含む請求項１９に記載の方法。
23. 前記単一の画像を、前記シーンの異なる深度の平面においてリフォーカスするステップをさらに含む請求項１９に記載の方法。
24. 前記シーンは動的であり、
    前記入力画像を低空間分解能のビデオに変換するステップをさらに含む請求項１９に記載の方法。
25. ライトフィールドにおける角度変動、時間変動、又は空間変動を、前記センサの個々のピクセルにマッピングするステップをさらに含む請求項１９に記載の方法。

Images