JP2020126245A - 3dライトフィールドカメラ及び撮影方法 - Google Patents

3dライトフィールドカメラ及び撮影方法 Download PDF

Info

Publication number
JP2020126245A
JP2020126245A JP2020053298A JP2020053298A JP2020126245A JP 2020126245 A JP2020126245 A JP 2020126245A JP 2020053298 A JP2020053298 A JP 2020053298A JP 2020053298 A JP2020053298 A JP 2020053298A JP 2020126245 A JP2020126245 A JP 2020126245A
Authority
JP
Japan
Prior art keywords
image
camera
lens array
cylindrical lens
cylindrical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020053298A
Other languages
English (en)
Other versions
JP7048995B2 (ja
Inventor
ジーンイー ユイ
Jingyi Yu
ジーンイー ユイ
シンチーン グオ
Xinqing Guo
シンチーン グオ
ジャン ユイ
Zhan Yu
ジャン ユイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Delaware
Original Assignee
University of Delaware
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Delaware filed Critical University of Delaware
Publication of JP2020126245A publication Critical patent/JP2020126245A/ja
Application granted granted Critical
Publication of JP7048995B2 publication Critical patent/JP7048995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/005Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】3次元(3D)画像、3Dライトフィールド(LF)カメラ及び3Dフォトグラフを生成するための方法及びシステムが提供される。【解決手段】シーンを表す光は、画像センサに結合されたレンズモジュールを通るように指向される。レンズモジュールは、スリット形状の開口を有する表面及び画像センサの光軸に沿って配置されたシリンドリカルレンズアレイを含む。スリット形状の開口の長手方向は、シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される。レンズモジュールを通るように指向された光は、3D・LF画像を形成するために画像センサにより取得される。3Dフォトグラフは、3D・LF印刷画像とシリンドリカルレンズアレイの組合せが3Dステレオスコピック画像を形成するように、シーンの3D・LF印刷画像とこの印刷画像122の上に配置されるシリンドリカルレンズアレイ124を含む。【選択図】図1

Description

本発明は、三次元(3D)画像化、特に、3D画像を取得し且つ表示するための3Dライトフィールドカメラ、方法及びシステムに関する。
関連出願の相互参照
本出願は、3Dライトフィールドカメラ及び撮影方法と題して2013年12月23日に出願された米国仮出願番号第61/920074号並びに3Dライトフィールドカメラ及び撮影方法と題して2014年1月24日に出願された米国仮出願番号第61/931051号の利益に関し、利益を主張するものである。これらの内容は、本明細書に参照により組み込まれる。
連邦政府支援研究に関する声明
本発明は、国立科学財団からの認可番号0845268によって一部支援された。米国政府は、本発明に一定の権利を有し得る。
プレノプティックカメラとも称される、ライトフィールド(LF)カメラを開発することに関心が高まっている。LFカメラは、マイクロレンズアレイを使用して、シーンに関する4次元(4D)ライトフィールド(光照射野)情報を取得する。このようなライトフィールド情報は、コンピュータグラフィクスの解像度及びコンピュータビジョンアプリケーションを向上するために使用される可能性がある。
本発明の態様は、シーンの画像を生成する方法に関する。シーンを表示する光は、画像センサに結合されたレンズモジュールを介して指向される。レンズモジュールは、スリット形状の開口を有する表面と、画像センサの光軸に沿って位置するシリンドリカルレンズアレイと、を有する。長手方向の前記スリット形状の開口が、シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される。3D・LF画像を形成するため、レンズモジュールを介して指向された光は、画像センサにより取得される。
また、本発明の態様は、3D・LFカメラに関する。3D・LFカメラは、レンズに設けられたスリット形状の開口を有する表面、画像センサ並びに画像センサ及びレンズの間に配置されたシリンドリカルレンズアレイを備える。シリンドリカルレンズアレイは、前記画像センサの光軸に沿って配置される。長手方向のスリット形状の開口は、シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される。画像センサは、あるシーンの少なくとも1つの3D・LF画像を取得するように構成される。
また、本発明の態様は、3Dフォトグラフに関する。3Dフォトグラフは、あるシーンの3Dライトフィールド印刷画像と、3Dライトフィールド印刷画像の上に配置されるシリンドリカルレンズアレイと、を有する。3Dライトフィールド印刷画像及びシリンドリカルレンズアレイの組合せは、3Dステレオスコピック画像を形成する。
本発明は、添付図面と関連して読む場合、以下の詳細な説明から理解されてもよい。一般的な方法によれば、図面のあらゆる特徴/要素は、一定の縮尺で描かれなくてもよいこととすべきである。反対に、あらゆる特徴/要素の寸法は、明確にするために任意に拡大又は縮小させてもよい。さらに、図中、共通の参照番号は、同様の特徴/要素を表すために使用される。本特許又は出願書類は、カラーで作成される図面を少なくとも1つ含む。カラー図面を有する本特許又は特許出願公開のコピーは、国内官庁により及び必要な手数料の支払いにより提供される。図面には、以下の図表が含まれる。
本発明の一実施形態による3D画像を取得及び表示するためのシステムの一例の機能ブロックダイアグラムである。 本発明の一実施形態による図1に示すシステムの3D・LFカメラの一例の斜視図である。 本発明の一実施形態による図2Aに示すシステムの3D・LFカメラの一例の分解斜視図であり、3D・LFレンズモジュール及びカメラのコンポーネントを図示する。 本発明の一実施形態による図2Bに示す3D・LFカメラの一例の分解斜視図であり、3D・LFカメラのための光線ジオメトリを図示する。 本発明の一実施形態による図1に示すシステムの3D写真の一例の分解斜視図である。 本発明の一実施形態によるシリンドリカルレンズにより射線錐に集束するダイアグラムの例である。 本発明の一実施形態による図1に示す3D・LFカメラの一例により画像センサ上で光線のシートを光学的にソートすることを図示するダイアグラムである。 (A)及び(B)は、本発明の一実施形態による図1に示す3D・LFカメラの一例により取得された未加工の3Dライトフィールド画像の例である。 本発明の一実施形態による再フォーカス画像を描写するための方法の一例を図示するフローチャートダイアグラムである。 本発明の別の実施形態による画像を描写するための方法の一例を図示するフローチャートダイアグラムである。 本発明の一実施形態による3D画像を形成するための方法の一例を図示するフローチャートダイアグラムである。 本発明の一実施形態による再フォーカスされた3D画像を描写するための光線の再パラメータ化を図示するダイアグラムの一例である。 (A)、(B)、(C)及び(D)は、本発明の一実施形態による様々な焦点深度で描写された3D画像の一例である。 (A)及び(B)は、本発明の一実施形態による異なる見方で図8(B)及び(D)のそれぞれに示す画像の立体画像を図示する描写された3D画像の一例である。
現行のライトフィールドカメラは、低い分解能の問題を抱えている。例えば、10メガピクセルセンサを有するライトフィールドカメラは、非常に低い分解能(例えば、約1メガピクセル)で画像を生成するのみである。低い分解能の結果として得られる画像は、全ての現行のライトフィールドカメラの設計によるものである。これらのライトフィールドカメラは、角度分解能のために空間分解能を犠牲にする。空間分解能は、空間におけるサンプリングレートとして定義される。従来の(非ライトフィールド)カメラにおいて、空間分解能はセンサの分解能を意味する。ライトフィールドカメラにおいて、空間におけるサンプリングポイントの総数は、レンズの数に等しい。レンズのサイズが画素ピッチよりも通常の数倍も大きい場合は、空間分解能が低減される可能性がある。しかしながら、各レンズの下の画素は、異なる方向に共通のサンプリングポイントを介して通過する光を記録する。方向特異性は、カメラの角度分解能を定義する。センサが制限された分解能を有すると仮定すると、空間分解能及び角度分解能の相互でトレードオフがある可能性があり、そのトレードオフは、画像解像度及びビューの数の間でバランスを等しくする。
ライトフィールドを取得する現行のカメラは、全方向において角度及び空間情報の両方を記録する4Dライトフィールドカメラを含む。例えば、現行の4Dライトフィールドカメラは、画像センサに取り付けられる328×328マイクロレンズアレイを含み、各マイクロレンズが約100ピクセルをカバーする。この例では、約328×328の空間分解能及び約10×10の角度分解能が得られてもよい。ライトフィールドカメラによりなされる固有のトレードオフに伴い、空間分解能を低下する代わりに多くの角度分解能を提供する。この例におけるカメラは、11メガピクセルのセンサを備えるにも関わらず、約700×700の実行分解能を有する画像のみを供給する。他の4Dライトフィールドカメラは、同様の設計及び同様の制約を共有する。
3Dディスプレイに関して、既存の3Dテレビの多くは、シャッターグラス技術を使用してステレオスコピック画像を表示する。本技術の不利益は、ちらつき(非常に高いリフレッシュレートを除き気付く)である。加えて、現行の3Dビューイング技術(シャッターグラスなど)は、不便であり、3D写真を鑑賞するには費用がかかる。
本発明の実施形態は、カメラ、カメラの画像センサに取り付けられたシリンドリカルレンズアレイ及び狭いスリット開口を有する修正レンズを組み合わせる3Dライトフィールドカメラを含む。いくつかの例では、カメラは、デジタル一眼レフ(DSLR)カメラを含んでもよい。いくつかの例では、3Dライトフィールドカメラは、垂直なシリンドリカルレンズアレイを使用する。水平方向の分解能及び角度分解能の相互をトレードのみする間、垂直方向の分解能を維持するために、垂直なシリンドリカルレンズアレイが使用されてもよい。ピンボケ(デフォーカスブラー)を軽減するために、シリンドリカルレンズアレイは、スリット形状の開口と結合されていてもよい。
3Dディスプレイ技術の急成長に伴い、人々は、2次元(2D)画像の代わりに、より3Dコンテンツを鑑賞する傾向にある。例えば、本発明の3Dライトフィールドカメラは、単に3Dコンテンツを鑑賞する能力を超える。3D画像を取得及び表示するための3Dライトフィールドカメラの例及びシステムの例とともに、3Dコンテンツは、シーンから直接取得されてもよく、且つ、次いで、表示されてもよい。シリンドリカルアレイをセンサに、及び、狭いスリットマスクを開口に取り付けることにより、民生用DSLRカメラが3Dライトフィールドカメラに変換されてもよい。ユーザは、従来のカメラと似た例示の3Dライトフィールドカメラを用いて写真を撮ることができる。
また、本発明の実施形態は、未加工のライトフィールド画像からステレオスコピック画像を描写するための例示の方法及びシステムに関する。取得された未加工のライトフィールド画像を用いて、ステレオスコピック画像は、オクルージョン及び反射のようなビュー依存の特徴を含む異なる視点から描写されてもよい。3Dライトフィールドカメラは、1回の取得で異なる視点からのシーンを同時に取得することができるので、得られたビューは、視差を提示する。すなわち、より近くのオブジェクトは、複数のビューにわたってより大きな視差を示す。視差を保存する能力は、裸眼にシーン/オブジェクトの3D視覚化を可能にさせる。同じ能力は、反射のようなビュー依存の特徴の保存を可能とし、この反射では各ビュー(すなわち、サブ画像)が若干異なる画像のシーンを取得する。いくつかの例では、システムは、未加工のライトフィールド画像から所定の焦点深度で再フォーカスされた画像を描写してもよい。例示の方法は、画像ベースのレンダリング(IBR)技術を使用する。特に、単一のジオメトリ(3D平面など)は、シーンジオメトリの代わりとして使用されてもよい。全ての取得されたビューは、ジオメトリ上で歪められ及び所望のビューに再描写(例えば、光線追跡又はテキスチャマッピング)されることができる。このプロセスは、SLRカメラの商品における焦点深度を特定することに似ている。全てのビューがワーピングの後に統合された場合、結果は、従来の広い開口の写真撮影におけるピンボケをエミュレートする。
また、本発明の実施形態は、3Dビューイングのための方法及び装置に関する。いくつかの例によると、装置は、オートステレオスコピック3Dディスプレイに分類される。すなわち、眼鏡なしの3Dビューイングである。
図1を参照すると、システム100は、3D画像を取得及び表示するためのシステム100が示される。システム100は、3D・LFカメラ102、コントローラ104、レンダリングモジュール106、ストレージ108、ディスプレイ110、ユーザインタフェース112、プリンタ114及び3Dフォトグラフ116を含む。図示されないが、システム100は、例えば、グローバルネットワーク(すなわち、インターネット)を介して遠隔地と接続されてもよい。
3D・LFカメラ102は、3D・LFレンズモジュール118及びカメラ120を含む。図2A〜2Cに関してさらに以下に記載されるように、レンズモジュール118は、シリンドリカルレンズアレイ210及びスリット形状の開口206を含む。カメラ120は、メインレンズ(例えば、図2Bに示すレンズ208)及び画像センサ(例えば、画像センサ214)を有する多目的に適した任意のカメラを含んでもよい。いくつかの例では、カメラ120は、DSLRカメラを含む。1つの例では、カメラ118は、キャノン株式会社(東京、日本)により製造されたDSLRカメラモデル番号XSiを含む。カメラ120を3D・LFカメラ102に変換するために、レンズモジュール118にスリット開口206を有するマスク204(図2B)は、メインレンズ208の開口を修正するために使用されてもよく、且つ、レンズモジュール118のシリンドリカルレンズアレイ210は、画像センサ214に取り付けてもよい。いくつかの例では、レンズモジュール118は、カメラ120から取り外し可能に結合されてもよい。
3D・LFカメラ102は、あるシーンの3D・LF画像128(未加工)を取得するように構成されてもよい。いくつかの例では、3D・LFカメラ102は、所定の時間にわたり、シーンの2以上の3D・LF画像128を取得してもよい。故に、いくつかの例では、3D・LFカメラ102は、ビデオカメラを含んでもよい。一般に、3D・LFカメラ102は、シーンの3D・LF画像128を少なくとも1つ取得してもよい。
コントローラ104は、3D・LFカメラ102、レンダリングモジュール106、ストレージ108、ディスプレイ110、ユーザインタフェース112及びプリンタ114のうち1つ又は複数と結合されてもよく、3D・LF画像128(複数可)の取得、記憶、表示、印刷及び/又は処理を制御する。コントローラ104は、例えば、論理回路、デジタル信号処理又はマイクロプロセッサを含んでもよい。レンダリングモジュール106の1つ又は複数の機能は、コントローラ104により実行されてもよいことを理解する。
レンダリングモジュール106は、描写画像130(複数可)を形成するために3D・LF画像128(複数可)を処理するように構成されてもよい。レンダリングモジュール106は、シリンドリカルレンズアレイ212の各レンズ212(図2B)のレンズ中心を見出すように、3D・LFカメラ102をキャリブレートするように構成されてもよい。また、レンダリングモジュール106は、あらゆる再フォーカス平面のために再フォーカスされた画像(キャリブレーションの後)を描写するように構成されてもよい。再フォーカスは、図6(A)についてさらに以下に説明される。いくつかの例では、レンダリングモジュール106は、3D・LF画像128(複数可)に所定の透視投影を適用するように構成されてもよい。また、いくつかの例では、レンダリングモジュール106は、3D・LF画像128(複数可)のステレオスコピックビューを生成するように構成されてもよい。透視投影及びステレオスコピック処理は、図6Bについてさらに以下に説明される。一般に、描写画像130(複数可)は、所定の焦点深度への再フォーカス、透視投影レンダリング又はステレオスコピックビューイング(立体視)のうち少なくとも1つを含むように処理されてもよい。再フォーカス、透視投影レンダリング及びステレオスコピックビューレンダリングは、レンダリングモジュール106による処理の例を表し、レンダリングモジュール106は、フィルタリング、ノイズ軽減等のように(これらに限定されることなく)、追加的に3D・LF画像(複数可)の処理を実行してもよいことを理解する。レンダリングモジュール106は、例えば、論理回路、デジタル信号プロセッサ又はマイクロプロセッサを含めてもよい。
ストレージ108は、(3D・LFカメラ102から又はコントローラ104を介して)未加工の3D・LF画像128(複数可)又は(レンダリングモジュール106から)描写画像130(複数可)のうち少なくとも1つを記憶するように構成されてもよい。また、ストレージ108は、コントローラ104及び/又はレンダリングモジュール106と関連付けられたパラメータを記憶してもよい。ストレージ108は、3D・LFカメラ102とは別に表されるが、いくつかの例では、ストレージ108は、3D・LFカメラ102の一部であってもよい。ストレージ108は、例えば、磁気ディスク、光学ディスク又はハードドライブのように、任意の好適な有形の非一過性のコンピュータ可読媒体を含めてもよい。
(3D・LFカメラ102からの)未加工の3D・LF画像128(複数可)及び/又は(レンダリングモジュール106からの)描写画像130(複数可)は、ディスプレイ110に表示されてもよい。ディスプレイ110は、未加工の3D・LF画像128(複数可)/描写画像130(複数可)を表示するように構成された任意の好適なディスプレイ装置を含めてもよい。
ユーザインタフェース112は、例えば、レンダリングモジュール106により実行されるレンダリングの選択、レンダリングモジュール106と関連するパラメータ、取得画像128/描写画像130用のストレージ108におけるストレージの選択、画像128、130用のディスプレイ選択及び/又は画像128、130の印刷選択、と関連するユーザ入力を受信可能な任意の好適なインタフェースを含めてもよい。ユーザインタフェース112は、例えば、ポインティングデバイス、キーボード及び/又はディスプレイ装置を含めてもよい。ユーザインタフェース112及びディスプレイ110は、個別の装置として図示されるが、ユーザインタフェース112及びディスプレイ110は、1つの装置に統合されてもよいことを理解する。
未加工の3D・LF画像128及び描写画像130は、印刷画像122を形成するためにプリンタ114により印刷されてもよい。プリンタ114は、未加工の3D・LF画像128/描写画像130を印刷するように構成された任意の好適なプリンタ装置を含めてもよい。いくつかの例では、プリンタ114は、カラー及び/又は白黒印刷画像122を印刷するように構成されたレーザプリンタを含めてもよい。いくつかの例では、印刷画像122は、光沢紙を含む。
図1及び3を参照して、3Dフォトグラフ116が説明される。図3は、3Dフォトグラム116の例の分解斜視図である。3Dフォトグラフ116は、(プリンタ114により印刷された)印刷画像122上に配置されたシリンドリカルレンズアレイ124を含めてもよい。このように、ディスプレイ110上に画像を表示することに加えて、未加工の3D・LF画像128(又は描写画像130)は、印刷画像122を形成するために、例えば、(印刷画像120を形成するため)写真用光沢紙に(プリンタ114を介して)印刷されてもよい。印刷画像122は、次いで、3Dフォトグラフ116を生成するため、シリンドリカルレンズアレイ124に取り付けられてもよい。これは実際の3Dフォトグラフィー技術であり、異なる視点からの立体3Dステレオスコピックビューをユーザに3D眼鏡なしで直接認識させることができる。3Dフォトグラフ116の例は、特殊なフォトグラフ(印刷画像122)及び特殊なカバーレンズ(シリンドリカルレンズアレイ124)を除き、フォトフレームと類似してもよい。シリンドリカルレンズアレイ124の選択は、3D・LF画像128とは独立する。例えば、3D・LF画像128は、所望の3D効果を生成するため、シリンドリカルレンズアレイ124の物理的特性(例えば、小型レンズの幅、密度、焦点距離等)に合わせて再サンプルされてもよい。
3Dフォトグラフ116は、彫刻、食べ物等のような他のオブジェクトを取得するために使用されてもよい。例えば、レストランは、3Dメニューを生成又はそれらの食べ物を表示するため、3Dフォトグラフ116を使用してもよい。3Dフォトグラフ116は、低廉で且つ携帯可能であってもよく、商品に適した広告を可能にさせる。
図1に戻り参照すると、いくつかの例では、システム100は、3D・LFカメラ102を介して、3Dポートレイトを生成するために使用されてもよい。いくつかの例では、システム100のレンダリングモジュール106は、描写画像130(複数可)を生成してもよく、ディスプレイ110上の異なる視点から3Dポートレイトを人々に見せることを可能にさせる。いくつかの例では、システム100は、プリンタ114を介して未加工の3D・LF画像128及び/又は描写画像130(印刷画像122として)を印刷してもよい。いくつかの例では、システム100は、(シリンドリカルレンズアレイ124と協働して印刷画像122から)3Dフォトグラフ116を生成してもよい。
好適な3D・LFカメラ102、コントローラ104、レンダリングモジュール106、ストレージ108、ディスプレイ110、ユーザインタフェース112、プリンタ114及び3Dフォトグラフ116は、本明細書の記載から当業者により理解されるであろう。
次に、図2A〜2Cを参照すると、3D・LFカメラ102の例が示される。特に、図2Aは、3D・LFカメラ102の斜視図ダイアグラムであり、図2B及び2Cは、3D・LFカメラ102の分解斜視図である。図2Aは、カメラ120本体に結合された3D・LFレンズモジュール118を表す。また、図2Aは、レンズモジュール118のスリットマスク204を表す。レンズモジュール118は、スリットマスク204及びシリンドリカルレンズアレイ210(図2B)を有する筐体202を含めてもよい。図2Bは、光軸216と関係する3D・LFレンズモジュール118及びカメラ120の画像センサ214の配置を表す。図2Cは、3D・LFカメラ102の光線ジオメトリの例を表す。
図2Bに示すように、3D・LFレンズモジュール118は、スリット形状の開口206を有するスリットマスク204、メインレンズ208及び光軸216に沿って配置されるシリンドリカルレンズアレイ210を含めてもよい。シリンドリカルレンズアレイ210は、複数のシリンドリカルレンズ212を含む。各シリンドリカルレンズ212の幅は、メインレンズ208と比較すると極小(例えば、数百マイクロン)であってもよい。スリットマスク204は、メインレンズ208に配置され、且つ、長手方向のスリット開口206(すなわち、スリット長)が、シリンドリカルレンズアレイ210のシリンドリカルレンズ212のシリンドリカル軸410(図4A)に対して直交に位置するように配置される。開口206は、メインレンズ208の開口の形状を円形状からスリット形状に変更するように構成されてもよい。いくつかの例では、メインレンズ208は、カメラ120の民生用レンズを含む。いくつかの例では、スリットマスク204は、スリット形状の開口206を有するプラスチックシートを含み、スリット形状の開口206はプラスチックシートを貫通して形成される。シリンドリカルレンズアレイ210は、画像センサ214に配置されている。
例として、開口206は、約1.3mmの幅を有する。シリンドリカルレンズアレイ210は、40個のレンズ212を有する。レンズアレイ210は、10mm×10mmのサイズであり、各レンズ212が約0.25mmのピッチ及び約1.6mmの焦点距離を有する。一般に、開口206の幅、レンズ212の数、各レンズ212のピッチ、各レンズの焦点距離及びレンズアレイ210のサイズは、3D・LFレンズモジュール118の所望の分解能を生成するために選択されてもよい。上記の例では、レンズモジュール118の選択パラメータは、約2000×2000の実効分解能を生成する。また、3D・LFカメラにより取得された光線の数は、画像センサ214の分解能に依存してもよい。1つの例では、画像センサ214の分解能は、約5184×3456である。図5A及び5Bは、2つの異なるシーンのために3D・LFカメラ102により取得された未加工のライトフィールド画像を示す。
図2Cに示すように、スリット開口206及びシリンドリカルレンズ212は、それぞれ直交しているので、オブジェクト402(図4B)のポイントから照射された射線錐220の多くは、スリットマスク204により遮られ、メインレンズ208を通して扇形光線222のみを通過させる。通過する光線222は、シリンドリカルレンズアレイ210の下の画像センサ214のピクセル上に(図4B中の光線412が示す)方向別に光学的にソートされてもよい。
ユーザは、3D・LFレンズモジュール118をカメラ120に取り付けて、従来のカメラ(DSLRカメラなど)を用いると同様に、3D・LFカメラ102を用いて画像を取得してもよい。このように、カメラ120のシャッターボタンを単に押すことにより、2D画像が一般に取得される方法と同じ方法で、少なくとも1つの3D・LF画像が取得されてもよい。したがって、3D・LFカメラ102を使用するために、最低限の学習曲線があってもよい。3D・LFカメラ102により取得された3D・LF画像128(図1)は、レンダリングモジュール106により調整され、視覚化のために(ディスプレイ110を介して)表示され又は(プリンタ114を介して)印刷されてもよい。
図2C、4A及び4Bを参照すると、3D・LFカメラ102を介して光線202の光線ジオメトリが、さらに説明される。特に、図4Aは、シリンドリカルレンズ212により射線錐404に集束することを示すダイアグラムの例である。そして、図4Bは、画像センサ214上にシート(すなわち、扇形)光線222を光学的にソートすることを示すダイアグラムである。
従来のカメラでは、各ピクセルの値は、開口にわたる多くの光線の積分であり、高空間分解能をもたらすが、非常に低い角度分解能である。3D・LFカメラ102は、複数の光線をある方向に分岐することができ、一方で、他の方向における高空間分解能を維持することができる。具体的には、オブジェクト402から放射される射線錐220は、メインレンズ208上のスリットマスク204により収束され且つ一部ブロックされ、光線222のシートとなる。光線222は、ソートされた光線412を形成するために、シリンドリカルレンズアレイ212を介して方向別に光学的にソートされてもよい。シリンドリカルレンズアレイ210からソートされた光線412は、次いで、画像センサ214のピクセル(図示しない)に指向される。
図4Aに示すように、シリンドリカルレンズ212は、光線406が一方向において収束し、他方向では変化しないままとなるように、構成される。したがって、オブジェクト402からの入射光404は、シリンドリカルレンズ212によりライン408に集束される。
図2C及び4Bに示すように、射線錐220は、スリットマスク204及びメインレンズ208を介して通過した後、シート光線222になるので、球状のレンズアレイの場合のように、2つの方向において光線を収束させる必要はない。シリンドリカルレンズアレイ210は、一方向における角度情報を提供し、当該方向に光線を集束することにより、他方向に沿って(すなわち、シリンドリカル軸410の方向に沿って)高空間分解能を維持する。シリンドリカルレンズアレイ210がマイクロレンズアレイを用いて置き換えられる場合は、しかしながら、スリット開口206は、レンズ画像の重複又は分解能の浪費のいずれかをもたらす。
図6Aを参照すると、3D・LF画像128(図1)から再フォーカスされた画像を描写する方法の例が示される。図6A中に図示されるいくつかのステップは、レンダリングモジュール106(図1)により、3D・LFカメラ102により取得された3D・LF画像128から実行されてもよい。図6A中に図示されるステップは、本発明の一実施例を表す。特定のステップは、示されている順序とは異なる順序で実行されてもよい。図6Aは、再フォーカスされた1つの画像を描写することを示すが、図6A中に示す方法は、撮影された3D・LF画像シーンの複数についても適用されてもよい。
ステップ600では、例えば、3D・LFカメラ102(図1)を介して3D・LF画像の基準シーンが取得される。ステップ602では、基準シーン(ステップ600)の撮影画像に基づいて、シリンドリカルレンズアレイ210の各シリンドリカルレンズ212のレンズ中心が特定される。特定されたレンズ中心は、ストレージ108(図1)に記憶されてもよい。
3D・LFカメラ102は、視差を有する画像128を生成してもよい。一般には、シリンドリカルレンズアレイ210の正確な位置は、知られていないが、シリンドリカルレンズ間の基線は、画素ピッチの非整数倍であってもよい。したがって、レンズ212の中心に画像を配置するために、ステップ600では白い背景画像が撮影される。口径食によって、ステップ602において、シリンドリカルレンズの中心を見積もるために、各小型レンズ画像に沿った最も明るい線が取られる。小型レンズ画像は、シリンドリカル小型レンズ212(図2B)の真下に横たわるピクセルにより形成された画像に言及する。ステップ600〜602は、例えば、システム100において最初の使用前に、3D・LFカメラ102をキャリブレートするために実行されてもよい。このように、いくつかの例では、ステップ600〜602は、一度に実行され、且つ、結果がストレージ108(図1)に記憶される。ステップ604〜612は、3D・LFカメラ102のキャリブレーションの後でステップ600〜602を実行することなく、ストレージ108に記憶されたレンズ中心を使用して実行されてもよい。
ステップ604では、3D・LF画像128は、例えば、3D・LFカメラ102(図1)を介して、所望のシーンが取得されたものである。取得された3D・LF画像128は、ストレージ108(図1)に記憶されてもよい。ステップ606では、サブ開口画像のセット(例えば、図5A及び5B中に示す画像の垂直セグメント)が、例えば、レンダリングモジュール106(図1)により、取得された(未加工の)3D・LF画像(ステップ604)から形成される。取得された3D・LF画像(ステップ604)は、サブ開口画像のセットに組立て直されてもよい。第1に、LF画像は、小型レンズ画像に分割される(すなわち、分離される)。次いで、小型レンズ画像内の画素は、サブ開口画像に組み立て直される。特に、同一の列(例えば、5列目)の画素は、全ての小型レンズ画像において選択されてもよく、且つ、次いで、サブ開口画像を形成するためにつなぎ合わせてもよい。異なる列の選択は、異なるサブ開口画像に対応する。全ての小型レンズ画像が同一幅のシリンドリカルレンズ212(図2B)により取得される場合、これらは同じ列数を有すべきである。したがって、各小型レンズ画像が8列あるとすれば、8つの異なるサブ開口画像が合成され得る。
ステップ608では、例えば、ユーザインタフェース112(図1)を介して、焦点深度が選択される。ステップ610では、各サブ開口画像は、レンダリングモジュール106を介して、光線追跡アルゴリズムに従って特定された画像中心(ステップ602)に基づき、選択された焦点深度(ステップ608)にシフトされる。
典型的な放射測定に基づき、フィルム(又はフィルムが位置される画像平面)上の一点の放射照度は、開口を通過してこの点に到達する全ての光線を積分したものである。
Fは、レンズ208(図2B)及びフィルム(すなわち、画像センサ214)の間の間隔、E(x,y)は、フィルム上の位置(x,y)の放射照度であり、Lは、レンズ平面uv及びフィルム平面xyによりパラメータ化されたライトフィールドであり、θは、光線(x,y,u,v)と画像平面法線との間の角度である。単純に、Lは、L(x,y,u,v):=L(x,y,u,v)(cosθ)と定義されてもよい。
異なる平面に焦点を合わせるために、レンズ平面及びフィルム平面の間の間隔が変更される。例えば、新しい深度F´に焦点を合わせるため、図7に示すように、画像は、以下に記載の通り描写されることができる。図7において、軸v,y´,yは、図(軸u,x´,xのそれぞれに直交する)から広がる。
相似三角形を使用して、光線(u,x´)は、オリジナルのx平面で(u,(x’−u)F/F’)として再パラメータ化されることができる。x´は、フィルム平面上の座標である。結果として、α=F’/Fがフィルム平面の相対深度として定義される場合、次いで、
となる。したがって、レンズ平面からの深度F´=α・Fでのフィルム内のピクセル値(x´,y´)の最終方程式は、
である。
各オブジェクトは、メインレンズ208上のスリットマスク204によりフィルターされた後、シート光線222(図2C)を放射するので、以下の近似、y=y´=vが使用される。故に、数式3は、以下のように書き換えられてもよい。
このように、光線は、(ステップ602で特定される)各レンズの中心を通って追跡されてもよく、且つ、再フォーカスされた画像を描写するために使用されてもよい。ここで、用語Lは、サブ開口画像に対応し、その積分は、変換されたサブ開口画像を追加するものとして解釈されることができる。
ステップ612では、シフトされたサブ開口画像(ステップ610)は、レンダリングモジュール106を介して、再フォーカス(描写)された画像130(図1)を形成するために結合される。ステップ610及び612は、Shift−and−Addアルゴリズムを介して実行されてもよい。例えば、具体的なシフトの量(数式4中のαに対応する)が選択されてもよい。次に、各サブ開口画像は、その位置に従って水平方向にシフトされてもよい。次に、得られた全てのシフト画像は、規格化係数(数式4に示す通り)を用いて融合されてもよい。この結果は、疑似の2D再フォーカス画像に対応する。
非一過性のコンピュータ可読媒体は、ステップ602及び606〜612の機械実行のためのコンピュータ可読命令を記憶してもよい。
図6Bを参照すると、未加工の3D・LF画像128(図1)から画像を描写する方法の一例が示される。図6B中に図示されるいくつかのステップは、3D・LFカメラ102により取得された3D・LF画像128からレンダリングモジュール106により実行されてもよい。図6B中に図示されるステップは、本発明の一実施例を表す。特定のステップは、示されている順序とは異なる順序で実行されてもよい。図6Bは、1つの画像を描写することを示すが、図6B中に示す方法は、取得された3D・LF画像シーンの複数についても適用されてもよい。
ステップ620では、サブ開口画像のセットを形成するためにステップ604〜606が繰り返される。ステップ622では、例えば、ユーザインタフェース112(図1)を介して、画像のための視点が選択される。
ステップ624では、均一の重みを使用する代わりに、異なる重みが異なるサブ開口画像に対して指定されてもよい。例えば、レンダリングモジュール106を介して、例えば、選択(合成)された視点に近付くほど、より高い重み(複数可)がサブ開口画像(複数可)に対して指定されてもよい。ステップ626では、例えば、レンダリングモジュール106を介して、選択された視点から離れるほど、より低い重み(複数可)がサブ開口画像のセット内の他のサブ開口画像に対して指定されてもよい。ステップ628では、レンダリングモジュール106は、透視(描写)画像130(図1)を形成するために、重み付けサブ開口画像(ステップ624〜626)に対してshift−and−addアルゴリズムを適用してもよい。ステップ628において全てのビューを追加する(すなわち、結合する)ときに異なる重みスキームが使用されることを除いては、ステップ628において、合成的にピンボケ画像を生成するために、ステップ610及び612(図6A)において、上述と同じshift−and−addアルゴリズムが適用されてもよい。
任意のステップ630では、レンダリングモジュール106は、例えば、赤シアンアナグリフを介して、透視画像(ステップ628)(又は未加工の3D・LF画像128又は図6A中のステップ612における再フォーカス画像)からステレオスコピックビュー画像を生成してもよい。ステレオスコピック(描写)画像は、対応するカラーフィルタを通して画像が見られたとき、ステレオ効果を生む複数の異なる色(例えば、赤及びシアン、又は、他の彩色的な反対色)で重ね合わせた2つの画像を含む。一般には、アナグリフ画像は、片目毎に1つずつ、フィルターされたカラー画像を2つ含む。色分けアナグリフ眼鏡を通して見られたとき、2つの画像のそれぞれが対応の目に到達し、合成されたステレオスコピック画像を表示する。脳の視覚野は、この画像を3次元シーン又は構成の知覚領域に融合する。
非一過性のコンピュータ可読媒体は、ステップ624〜630の機械実行のためのコンピュータ可読命令を記憶してもよいことが考えられる。
図6Cを参照すると、3Dフォトグラフ116(図1及び3)を形成するための方法の一例が示される。ステップ640では、例えば、3D・LFカメラ102を介して、未加工の3D・LF画像のシーンが取得される。ステップ642では、取得された(未加工の)3D・LF画像は、例えば、印刷画像112を形成するプリンタ114により印刷される。ステップ644では、印刷画像122は、3Dフォトグラフ116を生成するため、シリンドリカルレンズアレイ124上に配置される。いくつかの例では、印刷画像122は、例えば接着剤によって、シリンドリカルレンズアレイ124上に恒久的に配置されてもよい。いくつかの例では、印刷画像122は、シリンドリカルレンズアレイ124上に取り外し可能に配置されてもよい。例えば、印刷画像122及びレンズアレイ124は、レンズアレイ124に印刷画像122を取り外し可能に固定するように構成された筐体(フレームなど)内に配置されてもよい。超解像度画像及び雑音除去のような追加的なプロセスを、3Dフォトグラフを形成するのに先立ち、最終結果の品質を改善するために、(図1に示すレンダリングモジュール106を介するなどして)未加工の3D・LF画像に対して適用することができる。
3D・LFカメラ102(図1)の例は、シーンの3Dライトフィールド128を記録するように構成されてもよい。具体的には、3D・LFカメラ102は、シリンドリカルレンズの方向に沿って高空間分解能を維持し、一方で、他の方向における角度情報を取得する。取得されたライトフィールドを用いて、システム100は、3D眼鏡を用いて又は用いることなしに視覚化することができるシーンの3D表現を、回復し且つ描写することができる。3D・LFカメラ102は、汎用目的カメラ120を使用するため、あらゆるアプリケーションに適用されることができる。従来の2D画像は、固定された視点を有し、深度認識を欠く。反対に、システム100は、オブジェクトの確かなステレオスコピックビューが複数の異なる視点で認識されることを可能にする。
次に、図5A、5B、8A〜8D、9A及び9Bを参照すると、3D・LFカメラ102(図1)の例を使用し実際のシーン上で取得され、且つ、システム100を使用して描写された、データ例が記載される。特に、図5A及び5Bは、2つの異なるシーンに対して取得された未加工の3Dライトフィールド画像の例である。図8A〜8Dは、図5A及び5Bのそれぞれに示す未加工画像の、異なる焦点深度で描写され再フォーカスされた3D画像例である。そして、図9A及び9Bは、図8B及び8Dのそれぞれに示す画像のステレオスコピックビューを、異なる視点を用いて説明する、描写された3D画像の例である。
例えば、キャノン株式会社(東京、日本)により製造されたセンサ分解能5184×3456を有するXSi・DSLRカメラ(例えば、カメラ120)は、データを取得するために使用される。開口マスク204(開口)のスリット幅(図2B)は、1.3mmである。シリンドリカルレンズアレイ210は、40のシリンドリカルレンズ212を含む。アレイ210における各レンズ212のピッチは、0.25mmであり、且つ、焦点距離は、1.6mmである。シリンドリカルレンズアレイ210のサイズは、10mm×10mmであり、これは、実効分解能2000×2000に相当する。
図8A〜8Dに示す、再フォーカスされた画像を生成するために、サブ開口画像が、各シリンドリカルレンズの下のピクセルの同じストライプを得ることにより、先ず生成される。そして、再フォーカス平面が選択され、そしてshift−and−add再フォーカスアルゴリズムが、再フォーカス画像を描写するためにライトフィールド画像において使用される(図6Aを参照)。
図9A及び9Bは、異なる視点からオブジェクトを描写することができるシステム100を示す。また、図9A及び9Bは、(例えば、赤シアンアナグリフを使用することにより)ステレオスコピックビューにおいて描写された画像を明示する。異なる視点を描写するために、より高い重みが、所望の視点のサブ開口画像に対して指定されてもよく、かつ、より低い重みが、他のサブ開口画像に対して指定されてもよい。shift−and−addアルゴリズムは、次いで、画像を描写するために適用されてもよい。(図6Bを参照。)
本発明は、3D画像を撮影、処理及び表示するための方法及びシステムに関して説明されてきたが、1つ又は複数のステップ及びコンポーネントは、マイクロプロセッサ/汎用コンピュータ(図示しない)を用いて使用するソフトウェアにおいて実装されてもよいことが期待される。本実施形態では、上述されたあらゆるコンポーネント及び/又はステップの1つ又は複数の機能は、コンピュータを制御するソフトウェアで実装されてもよい。ソフトウェアは、コンピュータによる実行のための(例えば、磁気ディスク、光学ディスク、ハードドライブ等のような)非一過性の有形コンピュータ可読媒体に組み込まれてもよい。本明細書に記載の通り、図1中に示すデバイス104、106、110、112及び114は、専用回路を使用して及び/又はコントローラ104に接続されたコンピュータ可読媒体108に含まれるソフトウェアを使用して、特定の操作を実行してもよい。ソフトウェア命令は、コントローラ104及び/又はレンダリングモジュール106に、本明細書に記載の1つ又は複数のプロセスを実行させる。選択的に、ハードワイアード回路は、本明細書に記載のプロセスを実行するためのソフトウェア命令の代わりに又はそれとともに使用されてもよい。このように、本明細書に記載の実施形態は、任意のハードウェア回路及びソフトウェアの特定の組合せに限定されない。
本発明は、特定の実施形態を参照するとともに本明細書に説明され、且つ、記載されるが、本発明は、示された詳細に限定されることを意図されるわけではない。むしろ、あらゆる変更は、特許請求の範囲の均等物の領域及び範囲内、及び、本発明から逸脱することなく、細部においてなされてもよい。
3D・LFカメラ102は、視差を有する画像128を生成してもよい。一般には、シリンドリカルレンズアレイ210の正確な位置は、知られていないが、シリンドリカルレンズ間の基線は、画素ピッチの非整数倍であってもよい。したがって、レンズ212の画像中心を配置するために、ステップ600では白い背景画像が撮影される。口径食によって、ステップ602において、シリンドリカルレンズの中心を見積もるために、各小型レンズ画像に沿った最も明るい線が取られる。小型レンズ画像は、シリンドリカル小型レンズ212(図2B)の真下に横たわるピクセルにより形成された画像に言及する。ステップ600〜602は、例えば、システム100において最初の使用前に、3D・LFカメラ102をキャリブレートするために実行されてもよい。このように、いくつかの例では、ステップ600〜602は、一度に実行され、且つ、結果がストレージ108(図1)に記憶される。ステップ604〜612は、3D・LFカメラ102のキャリブレーションの後でステップ600〜602を実行することなく、ストレージ108に記憶されたレンズ中心を使用して実行されてもよい。

Claims (20)

  1. シーンの画像を生成する方法であって、前記方法は、
    前記シーンを表す光を画像センサに結合されたレンズモジュールを通過させるように指向させることであって、前記レンズモジュールは、スリット形状の開口を有する表面と、前記画像センサの光軸に沿って位置するシリンドリカルレンズアレイと、を有し、前記スリット形状の開口の長手方向が、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置され、及び、
    3次元(3D)ライトフィールド(LF)画像を形成するため、前記レンズモジュールを通過するように指向された前記光を、前記画像センサにより取得すること、を具備する、方法。
  2. 請求項1に記載の方法であって、前記光を指向させることは、開口形状の光を形成するため、前記光を、前記スリット形状の開口を通って前記レンズモジュールのレンズに向けて指向させること、及び、前記レンズからの前記開口形状の光を、前記シリンドリカルレンズアレイを介して前記画像センサに向かうように通過させること、を含む、方法。
  3. 請求項1に記載の方法であって、前記方法は、描写画像を形成するために前記3D・LF画像を、プロセッサにより処理することをさらに含み、
    前記処理することには、所定の焦点距離まで3D・LF画像を再フォーカスすること、所定の視点に基づき前記3D・LF画像の視点を調整すること、又は、前記3D・LF画像から3Dステレオスコピックビュー画像を生成すること、のうち少なくとも1つを含む、方法。
  4. 請求項3に記載の方法であって、前記方法は、前記3D・LF画像を再フォーカスする前に、基準画像に基づき、前記シリンドリカルレンズアレイ内の各レンズの中心に画像を配置すること、をさらに含む、方法。
  5. 請求項3に記載の方法であって、前記方法は、前記3D・LF画像又は前記描写画像のうち、少なくとも1つを表示すること、をさらに含む、方法。
  6. 請求項3に記載の方法であって、前記方法は、印刷画像を形成するため、前記3D・LF画像又は前記描写画像のうち、少なくとも1つを印刷すること、をさらに含む、方法。
  7. 請求項6に記載の方法であって、前記方法は、3Dフォトグラフを形成するため、更なるシリンドリカルレンズアレイの上に前記印刷画像を配置すること、をさらに含む、方法。
  8. 請求項1に記載の方法であって、前記方法は、前記シーンの複数の3D・LF画像を取得するために、前記光を指向すること、及び、前記指向された光を取得すること、を繰り返すことをさらに含む、方法。
  9. 3次元(3D)ライトフィールド(LF)カメラであって、
    レンズ上に設けられたスリット形状の開口を有する表面、
    画像センサ、及び、
    前記画像センサの光軸に沿って、前記画像センサ及び前記レンズの間に配置されたシリンドリカルレンズアレイであって、前記スリット形状の開口の長手方向は、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、シリンドリカルレンズアレイ、を備え、
    前記画像センサは、あるシーンの少なくとも1つの3D・LF画像を取得するように構成されている、カメラ。
  10. 請求項9に記載の3D・LFカメラであって、
    前記表面、前記レンズ及び前記シリンドリカルレンズアレイは、レンズモジュール内に配置され、且つ、
    前記レンズモジュールは、前記画像センサを含むカメラに結合される、カメラ。
  11. 請求項10に記載の3D・LFカメラであって、前記レンズモジュールは、前記カメラに取り外し可能に取り付けられるように構成される、カメラ。
  12. 請求項10に記載の3D・LFカメラであって、前記カメラは、デジタル一眼レフ(DSLR)カメラを含む、カメラ。
  13. 請求項9に記載の3D・LFカメラであって、前記シリンドリカルレンズアレイは、垂直方向に延びるように配置された複数のシリンドリカルレンズを含む、カメラ。
  14. 請求項9に記載の3D・LFカメラであって、前記少なくとも1つの3D・LF画像は、前記シーンの複数の3D・LF画像を含む、カメラ。
  15. 請求項9に記載の3D・LFカメラであって、前記シリンドリカルレンズアレイは、前記シリンドリカル軸に対応する第1方向において高分解能と、前記第1方向と対向する第2方向において高い角度情報と、を提供するように構成される、カメラ。
  16. 請求項9に記載の3D・LFカメラであって、前記スリット形状の開口は、ピンボケを軽減するように構成される、カメラ。
  17. 3次元(3D)フォトグラフであって、
    あるシーンの3Dライトフィールド印刷画像と、
    前記3Dライトフィールド印刷画像上に配置されたシリンドリカルレンズアレイであって、前記3Dライトフィールド印刷画像と前記シリンドリカルレンズアレイの組合せが3Dステレオスコピック画像を形成する、シリンドリカルレンズアレイと、を有する、3Dフォトグラフ。
  18. 請求項17に記載の3Dフォトグラフであって、前記3Dフォトグラフは、オートステレオスコピック3Dディスプレイである、3Dフォトグラフ。
  19. 請求項17に記載の3Dフォトグラフであって、前記3Dライトフィールド印刷画像は、スリット形状の開口を有する表面を含むカメラと前記カメラの画像センサに結合されたさらなるシリンドリカルレンズアレイを介して取得され、
    前記スリット形状の開口の長手方向は、前記3Dライトフィールド印刷画像が、前記さらなるシリンドリカルレンズアレイに対応するサブ開口画像のセットを含むように、前記さらなるシリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、3Dフォトグラフ。
  20. 請求項19に記載の3Dフォトグラフであって、前記3Dライトフィールド印刷画像は、前記サブ開口画像のセットが、前記シリンドリカルレンズアレイのシリンドリカル軸と平行に配列されるように、前記シリンドリカルレンズアレイ上に配置される、3Dフォトグラフ。
JP2020053298A 2013-12-23 2020-03-24 3dライトフィールドカメラ及び撮影方法 Active JP7048995B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361920074P 2013-12-23 2013-12-23
US61/920,074 2013-12-23
US201461931051P 2014-01-24 2014-01-24
US61/931,051 2014-01-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016543029A Division JP2017510831A (ja) 2013-12-23 2014-12-23 3dライトフィールドカメラ及び撮影方法

Publications (2)

Publication Number Publication Date
JP2020126245A true JP2020126245A (ja) 2020-08-20
JP7048995B2 JP7048995B2 (ja) 2022-04-06

Family

ID=53479642

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016543029A Pending JP2017510831A (ja) 2013-12-23 2014-12-23 3dライトフィールドカメラ及び撮影方法
JP2020053298A Active JP7048995B2 (ja) 2013-12-23 2020-03-24 3dライトフィールドカメラ及び撮影方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016543029A Pending JP2017510831A (ja) 2013-12-23 2014-12-23 3dライトフィールドカメラ及び撮影方法

Country Status (7)

Country Link
US (1) US10397545B2 (ja)
EP (1) EP3087554A4 (ja)
JP (2) JP2017510831A (ja)
KR (1) KR102303389B1 (ja)
CN (1) CN106170822B (ja)
AU (1) AU2014370001A1 (ja)
WO (1) WO2015100301A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3944958A1 (en) 2020-07-27 2022-02-02 Seiko Epson Corporation Liquid ejection apparatus and head unit

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10070118B2 (en) * 2015-09-17 2018-09-04 Lumii, Inc. Multi-view displays and associated systems and methods
EP3157244A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Plenoptic camera and method of controlling the opening of the diaphragm
US10298841B2 (en) * 2015-11-20 2019-05-21 Sony Corporation Device and method for generating a panoramic image
FR3047322B1 (fr) * 2016-01-29 2018-08-17 Thales Systeme optique comportant un bloc de detection optique a estimation de profondeur independant de la focale dudit systeme optique
EP3443735A4 (en) 2016-04-12 2019-12-11 Quidient, LLC RECONSTRUCTION MACHINE FOR EVERYDAY SCENES
CN107788947A (zh) * 2016-09-07 2018-03-13 爱博诺德(北京)医疗科技有限公司 眼科检查设备和方法
US10122990B2 (en) * 2016-12-01 2018-11-06 Varjo Technologies Oy Imaging system and method of producing context and focus images
JP7285824B2 (ja) 2017-08-09 2023-06-02 ファゾム・オプティクス・インコーポレイテッド ライトフィールドプリントの製造
WO2019064047A1 (en) * 2017-09-26 2019-04-04 Universita' Degli Studi Di Bari Aldo Moro DEVICE AND PROCESS FOR CONTEMPORARY CAPTURE OF STANDARD AND PLENOPTIC IMAGES
US10776995B2 (en) 2017-10-17 2020-09-15 Nvidia Corporation Light fields as better backgrounds in rendering
US20190124313A1 (en) 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
CN111480183B (zh) * 2017-11-20 2023-08-08 上海科技大学 用于产生透视效果的光场图像渲染方法和系统
EP3788595A4 (en) 2018-05-02 2022-01-05 Quidient, LLC CODEC FOR PROCESSING SCENES WITH ALMOST UNLIMITED DETAILS
US11475049B2 (en) * 2020-01-31 2022-10-18 Salesforce, Inc. Methods and systems for organization extensibility and cluster scalability
WO2021217031A1 (en) * 2020-04-23 2021-10-28 The Regents Of The University Of California Ultrafast light field tomography
US11748918B1 (en) * 2020-09-25 2023-09-05 Apple Inc. Synthesized camera arrays for rendering novel viewpoints
WO2023177017A1 (ko) * 2022-03-17 2023-09-21 주식회사 어큐노스 라이트필드 현미경 기반 영상 획득방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239932A (ja) * 2003-02-03 2004-08-26 Noriji Ooishi 立体像撮影装置
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2009290268A (ja) * 2008-05-27 2009-12-10 Sony Corp 撮像装置
JP2012186764A (ja) * 2011-03-08 2012-09-27 Toshiba Corp 固体撮像装置および携帯情報端末
JP2012205015A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 画像処理装置及び画像処理方法、並びにプログラム
JP2013105151A (ja) * 2011-11-16 2013-05-30 Olympus Corp 光学装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003161912A (ja) * 2001-09-13 2003-06-06 Hit Design:Kk 3次元画像表示装置および3次元画像表示における色再現方法
US20050219693A1 (en) * 2004-04-02 2005-10-06 David Hartkop Scanning aperture three dimensional display device
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4483951B2 (ja) 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
US8530811B2 (en) * 2008-07-25 2013-09-10 Cornell University Light field image sensor, method and applications
US8331031B2 (en) * 2008-09-18 2012-12-11 Travel Tags, Inc. Thin film high definition dimensional image display device and methods of making same
DE102009041186A1 (de) 2009-09-14 2011-03-24 Stefan Hahn Bildaufnahme und Visualisierung mit räumlichem Bildeindruck
US9063323B2 (en) * 2009-10-19 2015-06-23 Pixar Super light-field lens and image processing methods
JP2013014100A (ja) * 2011-07-05 2013-01-24 Pentel Corp 筆記具
JP5791437B2 (ja) 2011-09-12 2015-10-07 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN103918257B (zh) 2011-11-09 2018-05-11 皇家飞利浦有限公司 显示设备和方法
US8831377B2 (en) * 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
CN103019021B (zh) * 2012-12-27 2016-05-11 Tcl集团股份有限公司 一种3d光场相机及其拍摄图像的处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239932A (ja) * 2003-02-03 2004-08-26 Noriji Ooishi 立体像撮影装置
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2009290268A (ja) * 2008-05-27 2009-12-10 Sony Corp 撮像装置
JP2012186764A (ja) * 2011-03-08 2012-09-27 Toshiba Corp 固体撮像装置および携帯情報端末
JP2012205015A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 画像処理装置及び画像処理方法、並びにプログラム
JP2013105151A (ja) * 2011-11-16 2013-05-30 Olympus Corp 光学装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3944958A1 (en) 2020-07-27 2022-02-02 Seiko Epson Corporation Liquid ejection apparatus and head unit

Also Published As

Publication number Publication date
US20160330432A1 (en) 2016-11-10
WO2015100301A1 (en) 2015-07-02
CN106170822A (zh) 2016-11-30
JP7048995B2 (ja) 2022-04-06
AU2014370001A1 (en) 2016-07-07
EP3087554A4 (en) 2017-08-02
EP3087554A1 (en) 2016-11-02
JP2017510831A (ja) 2017-04-13
CN106170822B (zh) 2020-03-24
US10397545B2 (en) 2019-08-27
KR20160124421A (ko) 2016-10-27
KR102303389B1 (ko) 2021-09-16

Similar Documents

Publication Publication Date Title
JP7048995B2 (ja) 3dライトフィールドカメラ及び撮影方法
US6831677B2 (en) System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
JP3359709B2 (ja) 奥行画像形成方法及び装置
Liang et al. Programmable aperture photography: multiplexed light field acquisition
JP4440066B2 (ja) 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
US10715711B2 (en) Adaptive three-dimensional imaging system and methods and uses thereof
Cooper et al. The perceptual basis of common photographic practice
KR20170005009A (ko) 3d 라돈 이미지의 생성 및 사용
KR20150068299A (ko) 다면 영상 생성 방법 및 시스템
Banks et al. Camera focal length and the perception of pictures
US20070122029A1 (en) System and method for capturing visual data and non-visual data for multi-dimensional image display
JP2016225811A (ja) 画像処理装置、画像処理方法およびプログラム
Michels et al. Simulation of plenoptic cameras
JP2014010783A (ja) 画像処理装置、画像処理方法およびプログラム
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
JP6367803B2 (ja) オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
KR101741227B1 (ko) 입체 영상 표시 장치
JP2006211383A (ja) 立体画像処理装置、立体画像表示装置、及び立体画像生成方法
Drazic et al. Optimal design and critical analysis of a high-resolution video plenoptic demonstrator
JP2015056693A (ja) 再生装置、再生装置の制御方法およびプログラム
Liao et al. Long visualization depth autostereoscopic display using light field rendering based integral videography
JP6823984B2 (ja) 画像生成装置及びプログラム
CN115334296A (zh) 一种立体图像显示方法和显示装置
Zeller et al. Applying a Traditional Calibration Method to a Focused Plenoptic Camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200422

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20200526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220317

R150 Certificate of patent or registration of utility model

Ref document number: 7048995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150