JP2017520022A - 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング - Google Patents

結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング Download PDF

Info

Publication number
JP2017520022A
JP2017520022A JP2016571109A JP2016571109A JP2017520022A JP 2017520022 A JP2017520022 A JP 2017520022A JP 2016571109 A JP2016571109 A JP 2016571109A JP 2016571109 A JP2016571109 A JP 2016571109A JP 2017520022 A JP2017520022 A JP 2017520022A
Authority
JP
Japan
Prior art keywords
phase
phase modulator
function
data processor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016571109A
Other languages
English (en)
Other versions
JP6715188B2 (ja
JP2017520022A5 (ja
Inventor
ダンバーグ、ガーウィン
グレグソン、ジェイムス
ヘイドリッチ、ウォルフガング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MTT Innovation Inc
Original Assignee
MTT Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=54765907&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2017520022(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by MTT Innovation Inc filed Critical MTT Innovation Inc
Publication of JP2017520022A publication Critical patent/JP2017520022A/ja
Publication of JP2017520022A5 publication Critical patent/JP2017520022A5/ja
Application granted granted Critical
Publication of JP6715188B2 publication Critical patent/JP6715188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3161Modulator illumination systems using laser light sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012Optical design, e.g. procedures, algorithms, optimisation routines
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/50Optics for phase object visualisation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/005Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/006Projectors using an electronic spatial light modulator but not peculiar thereto using LCD's
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/005Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/008Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312Driving therefor
    • H04N9/3126Driving therefor for spatial light modulators in series
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3155Modulator illumination systems for controlling the light source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3167Modulator illumination systems for polarizing the light beam
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Liquid Crystal (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Lenses (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

新規なプロジェクタ設計は、照明の位相のみに作用する1つの空間光変調器と、その振幅(強度)のみに作用する1つの空間光変調器とを組み合わせる。位相単独変調器は、光の波面を湾曲させ、従来の振幅変調器のプレ変調器として動作する。このアプローチは、白色光およびレーザ照明の両方で機能し、大雑把な画像表現を効率的に生成し、それにより、全体的な光源の電力要求を低減しつつ、著しく上昇したハイライトおよびより暗い黒レベルを、単一の画像フレーム内で可能にする。

Description

[関連出願の相互参照]
本願は、2014年6月3日出願の米国特許出願第62/007341号、および2015年2月20日出願の米国特許出願第62/118945号からの優先権を主張する。米国を対象として、本願は、米国特許法第119条の下、「DYNAMIC FREEFORM LENSING WITH APPLICATIONS TO HIGH DYNAMIC RANGE PROJECTION」と題する2014年6月3日出願の米国特許出願第62/007341号、および「EFFICIENT, NUMERICAL APPROACHES FOR HIGH CONTRAST FREEFORM LENSING」と題する2015年2月20日出願の米国特許出願第62/118945号の利益を主張する。ここでこれら両方を、あらゆる目的のために参照として本明細書に援用する。
本発明は、所望の光パターンを生成することに関する。いくつかの実施形態において、所望の光パターンは、画像データにより特定される画像に対応する。特定の複数の実施形態は、所望の光分布を実現するよう、位相シフト型光変調器のような自由形状レンズ、可変ミラー、またはそれに類するものを制御するための方法を提供する。他の複数の実施形態は、光を投影するためのプロジェクタを提供する。
市販用プロジェクタの設計に関して、光効率およびダイナミックレンジの両方が大きな懸案事項となっている。大抵の画像が、写実的に見せるのに、その平均画像レベルを上回る局所的な非常に明るいハイライトを少量しか必要としない(Rempelら、2011年)としても、知覚される画像品質(明度、彩度)をより高めるには、高コントラストおよび高ピーク輝度が重要である(Rempelら、2009年)。一方で、電力消費を最小化し、熱管理を簡略化するには、光学系は高効率であるべきである。後者の懸案事項が、プロジェクタ光源の電力を増大させることにより非常に高いピーク明度を実現することを困難にしている。
振幅空間光変調器(またはSLM)は多くの場合、ピクセル毎に選択的に光を遮断することにより、画像内のトーンおよび色を生成するのに用いられる。そのようなSLMは、遮断された光が吸収されるので、光学的に非効率的である傾向がある。
HDR(高ダイナミックレンジ)での画像投影は、光変調器の2つまたはそれより多くの段階を設けることにより実現され得る(Hoskinsonら)。多くの光変調器(例えば、LCDパネル)は、減算によって(すなわち、不要な光を吸収することによって)所望の光フィールドを生成する。光を再配分することにより所望の光フィールドを生成する試みが、いくつかなされてきた。しかしながら、多くの利用可能な光の再配分技術は重大な欠点を有する。例えば、いくつかのものはレーザ光を必要とし、これはレーザスペックルをもたらすことがある。いくつかのものは、計算を非常に多用する。いくつかのものは、光の非常に高い空間周波数の制御を必要とし、これは、光変調器に対して要求を課し、また光の回折により生じるアーチファクトをもたらすことがある。
非球面レンズ、非対称レンズであり得る自由形状レンズは、予め規定された照明条件下で特定のコースティック像を生成するよう設計され得る(Finckhら、2010年、Papaら、2011年、Schwartzburgら、2014年、Yueら、2014年)。コースティック像とは、自由形状レンズに入射する光の再分布または「再配分」である(Hoskinsonら、2010年)。そのような自由形状レンズの設計に対するコンピュータグラフィックスアプローチは、「目標ベースのコースティック(goal−based caustics)」として知られている。特定の所望の画像を実現する自由形状レンズの設計は、計算を多用することがある。
自由形状レンズは、一般的な照明用途に適用されてよく(例えば、Minanoら、2009年)、より具体的には、目標ベースのコースティックに適用されてよい(Berry、2006年、Hullinら、2013年)。自由形状レンズを設計するためのいくつかの方法は、係る問題のピクセル化されたバージョンにおいて機能する、離散的な最適化方法を適用する(例えば、Papaら、2011年、Papaら、2012年、Papaら、2012年)。その他のものは、明瞭なピクセル構造のない連続的な表面について最適化する(例えば、Finckhら、2010年、Kiserら、2013年、PaulyおよびKiser、2012年、Schwartzburgら、2014年、Yueら、2014年)。
ホログラフィック結像モデル(例えば、Lesemら、1969年)は、デジタルホログラムを生成するのに適合している(Haugenら、1983年)。研究および特殊用途向けに、ホログラフィック投影システムが提案されている(Buckley、2008年)。これらのシステムの多くは、画像生成のために、位相SLM上にアドレスされる回折パターン(またはホログラム)を、コヒーレント光(レーザ)と組み合わせて用いる。これは画像を形成するのにおおむね効率的な手法である一方で、プロジェクタ用のホログラフィには、十分に良好な画像品質の実現、2値位相変調器により実現可能である限定的な回折効率(Buckley、2008年)、およびフーリエレンズの必要性において課題がある。フーリエレンズは多くの場合、有効像域内にDC輝点をもたらし、または、(DC輝点が拡大した場合)黒レベルの上昇に起因して、画像全体にわたるコントラストの低減をもたらす。ホログラフィック投影は、一般に、コヒーレント光を必要とする。
本発明者らは、所望の光パターンを実現する自由形状レンズを設計するための、より効率的な手法の必要性を認識している。特に、本発明者らは、動的な自由形状レンズのリアルタイムまたは準リアルタイム生成を提供するのに、十分に効率的な設計方法が適用され得ると判断している。そのような動的な自由形状レンズは、例えば、動画コンテンツまたは動的に変化する光効果を供し得る。
本発明は、光の自由形状レンジングを提供するべく、空間光変調器を制御するための方法を提供する。光は、投影されてよく、および/またはさらに変調されてよい。本発明の別の態様は、本明細書に記載の方法を実装するプロジェクタ、ディスプレイ、照明システム、およびそれらの構成部品のような装置を提供する。
動的な自由形状レンズは、光投影システムに適用されてよい。そのような光投影システムは、有利に、光効率的であり得、高い(局所的な)ピーク輝度、および高コントラスト(高ダイナミックレンジ、HDR)を提供し得る。いくつかの実施形態は、位相単独SLMに実装される動的な自由形状レンズを採用する。位相単独SLMは、カスケード式の変調アプローチで、反射型LCDのような従来の光遮断型のSLMと組み合わされてよい。位相変調器は、本明細書に記載されるように制御される場合、滑らかでありながらかなり細緻な「コースティック」像を生成することができる。そのようなコースティック像は、所望される場合、振幅変調器によってさらに変調されてよい。このアプローチは、従来のプロジェクタと比較して、より高いダイナミックレンジおよび/または改善された(局所的な)ピーク輝度の両方を提供し得る。
本願は、特に以下について記載する。
・位相変調器が(準)コリメート光で照明され、位相変調器上にアドレスされる位相パターンが、さらなる光学素子ありでまたはなしで、画像または所望の光フィールドを形成する、照明システムおよびプロジェクタ。
・位相変調器を用いた動的な光ステアリングのための高フレームレートを可能とする、自由形状レンズ構成を生成するためのフーリエドメイン最適化アプローチ。
・リアルタイム自由形状レンジングアルゴリズム、ならびにその照明システム、プロジェクタ、および動画/画像処理システムにおける適用。
・画像生成のために位相変調器と振幅変調器とを組み合わせ、単色光(レーザ光など)のみならず広帯域光でも機能することが可能な二重変調プロジェクタ設計。
例示的な自由形状レンズ最適化アプローチは、1次(近軸)近似に基づくものである。これは、長い焦点距離について成り立ち、光学において広く用いられている。この線形モデルの下で、光の局所的な偏向は位相変調関数の勾配に比例し、一方で強度はそのラプラシアンに比例する。位相変調関数は、例えば最適化方法を用いて、像面ではなくレンズ面において求められ得、追加的なステップを必要とすることなく、位相関数または屈折レンズの形状について直接最適化する、実装が非常に簡単な方法に帰着する。このアプローチは、フーリエドメインにおいて非常に効率的に解が求められ得る。いくつかの実施形態において、このアルゴリズムは、動画シーケンスを再生するための自由形状レンジング構成のオンザフライ計算に十分に効率的である。
1つの例示的な態様は、照明の位相のみに作用する1つの空間光変調器と、その振幅(強度)に作用する1つの空間光変調器とが組み合わされた、二重変調プロジェクタ設計を提供する。位相単独変調器は、そこから反射される光の波面を湾曲させ、従来の振幅変調器のプレ変調器として動作する。このアプローチは、白色光照明およびレーザ照明の両方で機能し、著しいエネルギー損失なく大雑把な画像表現を生成する。
二重変調HDRプロジェクタ設計は、エネルギー効率的な高ダイナミックレンジかつ高強度での投影を提供するための自由形状レンズ最適化アプローチを用いる。このアプローチは、コヒーレントなレーザ光のみならず白色光(または他の広帯域光)の照明を用いることが可能である。広帯域光を用いることで、レーザスペックルを除去すること、および他の回折アーチファクトを平均することにより、画像品質の著しい改善を得ることができる。高解像度の自由形状レンズのリアルタイム実装により、動画処理のようなアプリケーションが可能となる。二重変調HDRプロジェクタは、現在市販されているロバスト性のある構成部品からその全体が構築されてよい。
いくつかの実施形態において、位相変調器は、滑らかでありながらかなり細緻な「コースティック」像を振幅変調器上に生成する。コースティック像は、単に光を再分布させる、または「再配分」するものであるため、このアプローチは、単一の振幅変調器を用いて光を変調する従来のプロジェクタと比較して、より高いダイナミックレンジおよび改善された(局所的な)ピーク明度の両方をもたらす。
いくつかの実施形態は、局所的な光の偏向が位相変調関数の勾配に比例し、一方で強度がそのラプラシアンに比例する、線形モデルを適用する。
いくつかの実施形態は、このモデルの適用を、像面ではなくレンズ面における最適化問題のパラメータ化と組み合わせ、何らかの追加的なステップなしで、位相関数または屈折レンズの形状について直接最適化する、実装が非常に簡単な方法に帰着する。目的関数は、画像のワーピング演算子に起因して非凸であるが、通常は数回の反復の内に収束を実現することができる。
本明細書に記載の技術は、例えば、光効率的で、高い(局所的な)ピーク明度、かつ高コントラスト(高ダイナミックレンジ、HDR)での投影システムに関して、動的な自由形状レンズの制御における用途を有する。
本発明のいくつかの態様は、像面において所望の光プロファイルを生じさせるための、位相変調器の位相パターンを効率的に決定するのに適用され得るアルゴリズムを提供する。いくつかの実施形態において、レンズ面におけるある位置での位相と、それに対応する像面の領域との間には、(ほぼ)1対1の関係が確立される。このことは、従来のホログラフィックアプローチに必要とされる、光線またはビームを発散または収束させることとと対照的である。
さらなる複数の態様および例示的実施形態が、添付の図面に例示され、および/または以下の説明において説明される。
添付の図面は、本発明の非限定的な複数の例示的実施形態を例示する。
結像の例示的な幾何配置の模式図である。 位相変調は、像面から焦点距離fの位置にあるレンズ面において起こる。これは、位相関数p(x)により表される波面の湾曲をもたらす。
差分面積dxの歪みに起因する強度変化を示す模式図である。
高さフィールドh(x)により定義される自由形状レンズにおける屈折の幾何配置を示す模式図である。
自由形状レンジングのためのアルゴリズムにおける複数の段階を示す。
本明細書に記載の方法を用いて作製された屈折レンズの一例を示す。 本明細書に記載の方法を用いて作製された屈折レンズの一例を示す。 本明細書に記載の方法を用いて作製された屈折レンズの一例を示す。
白色光でプロジェクタディスプレイを作動させるのに用いられる位相単独空間光変調器を示す。 白色光でプロジェクタディスプレイを作動させるのに用いられる位相単独空間光変調器を示す。 同セットアップは、レーザ照明を用いることもできる。このアプローチは、特に、エネルギー効率的な二重変調HDRプロジェクタにおいて有用である。右側の画像は、目標ベースのコースティックのための同自由形状レンジングアルゴリズムを用いて設計された複数の屈折レンズを示す。写真の便宜上、両方の結果は、フロントスクリーン上ではなく背面照明で示され、それにより表示されている「Lena」の画像が鏡像として現れている。
プロトタイプの一実施形態の写真である。 プロトタイプの一実施形態の写真である。 HeNeレーザ光源、ビームエキスパンダ、直線偏光フィルタ、および折り返しミラー、位相単独SLM、ならびにSLMから50mmの距離にある投影スクリーンを含む、狭帯域の動的レンジング試験用セットアップのレイアウトである。自由形状レンズを生成するのに用いられるSLMの位相パターン(この場合ではSiggraphのロゴ)は、可視化するために、ノート型PCのスクリーン上にも表示されている。より大きい位相変化を実現するべく、フレネル式の位相ラッピングが用いられていることに留意されたい。下部:白色光構成は、レーザモジュールを経由せず、白色LED、コリメーション光学系、および直線偏光フィルタ、位相単独SLM、ならびにSLMから50mmの距離にある投影スクリーンを含む。このセットアップにおけるSLMは、中心波長が550nmとなるように較正された。
例示的な高明度HDRプロジェクタのシステム図である。拡大およびコリメートされたレーザビームからの光が、位相単独変調器から反射される。 位相遅延のピクセル毎の量は、本明細書に記載のアルゴリズムで算出される動的レンズの高さフィールドに応じる。この自由形状レンズの有効焦点面は、LCoSマイクロディスプレイおよび投影レンズと共に偏光ビームスプリッタからなる、既製の反射型投影ヘッドとの面内(in−plane)にある。画像の暗い部分からの光は、高輝度のフィーチャを生成し、同時に黒レベルを低減させるのに用いられ得る。
例えば光整形拡散器を追加することにより位相段階からの光がさらに整形され得る中間像面を含む、例示的な高明度HDRプロジェクタのシステム図を示す。拡大およびコリメートされたレーザビームからの光は、位相単独変調器から反射される。 位相遅延のピクセル毎の量は、本明細書に記載のアルゴリズムで算出される動的レンズの高さフィールドに応じる。この自由形状レンズの有効焦点面は、LCoSマイクロディスプレイおよび投影レンズと共に偏光ビームスプリッタを含む既製の反射型投影ヘッド上へとリレー光学系を介してリレーされる中間像面との面内(in−plane)にある。画像の暗い部分からの光は、高輝度のフィーチャを生成し、同時に黒レベルを低減させるのに用いられ得る。
シミュレーションおよびキャプチャされた複数の結果の比較を、上部から下部へ行毎に示す。 位相パターン:アルゴリズム1により計算された位相パターン。シミュレーション:予測画像のホイヘンス=フレネルシミュレーション。直接:回折アーチファクトを示す、拡散器なしでの実際の画像の写真。拡散器:薄膜拡散器を追加することにより、回折フリンジのようなアーチファクトがほぼ完全に軽減した。標準:標準的な、単一の振幅変調器を用いた振幅変調のみでの投影の写真は、上昇した黒レベルおよび低コントラストを示す。提案(HDR):本発明のレンジングアプローチを用いることで、光が暗い領域から明るい領域へと再分布し、その結果、黒レベルが改善されハイライト強度が増大する。最後の2つの行は、オフアングルのカメラの位置に起因してわずかに歪んで見える。これは、短焦点での投影、および近いスクリーン、ならびにシステムの黒レベルを効果的にキャプチャするべく環境光を遮断するバッフルが原因で必然的なものとなった。
図10A、図10B、および図10C:左から右に向かって、図8における位置A〜Cと相関する。
位相単独LCoS変調器に存在する位相パターンである。 中間像面(拡散器の前)におけるレンズにより生じる直接像である。 薄膜光整形拡散器を通過した後の、振幅LCoS変調器に存在する強度分布である。
(A)、(B)、および(C)は、二重変調に基づく例示的な高ダイナミックレンジ投影システムを示す。 第1段階は、光源照明の位相を変調して、大雑把な中間画像を形成する。これに続き、振幅変調段階が最終的な画像を形成する。位相変調を用いることで、光が遮断されるのではなく再分布されるので、従来の投影よりも高いコントラストおよび暗い黒レベルがもたらされる。
位相変調p(x)がレンズ面において起こり、得られる偏向が距離fの像面上にコースティック像を生成する、結像モデルの幾何配置を示す。 レンズ面および像面上の対応するパッチ間の差分面積の変化に関連する、像面上の局所的な強度を示す。
入力画像をミラーパディングすることにより、テプリッツ行列構造を維持しつつ、画像縁部で純粋なノイマン境界条件が実現され得る。 入力画像をミラーパディングすることにより、テプリッツ行列構造を維持しつつ、画像縁部で純粋なノイマン境界条件が実現され得る。 入力画像をミラーパディングすることにより、テプリッツ行列構造を維持しつつ、画像縁部で純粋なノイマン境界条件が実現され得る。 これは、画像境界の歪みを防ぐ。シミュレーション結果は、LuxRender(登録商標)によるものである。
LuxRender(登録商標)によるレイトレーシングシミュレーションである。 LuxRender(登録商標)によるレイトレーシングシミュレーションである。 LuxRender(登録商標)によるレイトレーシングシミュレーションである。 LuxRender(登録商標)によるレイトレーシングシミュレーションである。 平滑度パラメータαは、高明度を実現するが低い画像品質を実現する、画像内の強いコースティックをペナライズする。
広帯域光で使用するための、簡単な例示的な動的レンジング試験用セットアップのレイアウトである。 直線偏光フィルタ(位相変調器の合理的な使用のために提供される)と共にコリメーション光学系を用いた、白色LEDのような光源からの光のビーム(改質されたフラッシュ光)は、位相単独モードで動作するSLMから、SLMと50mmの距離で対向する小さい投影スクリーン上へと反射される。このセットアップにおけるSLMは、中心波長が550nmとなるように較正された。このセットアップは、位相変調が広帯域光で機能することを例示するものの、光エンジンの電力制限に起因して、二重変調セットアップを作動させるのに十分ではなかった(また強度の低減が、はめ込みにおいてカメラのキャプチャノイズをもたらす)。これは、将来の広帯域照明の位相・振幅二重変調セットアップのための地固めとなるものである。そのようなセットアップは、業界標準のキセノンバルブ、費用対効果のよい青色レーザ・蛍光体光源、またはLEDを、例えば光源として適用し得る。
光源(黄色のボックス、532nmのDPSSレーザおよびレーザコントローラ)、ビーム拡大およびコリメーション光学系(オレンジ色のボックス)、反射型位相SLM(青)、中間像面から投影スクリーン上へと画像をリレーするための種々の折り返しミラーおよび簡単な投影レンズ(緑)を含む、レーザ用の単一変調試験用セットアップである。 コンピュータスクリーン上に示される位相パターンは、画像を形成する光路における所望の位相遅延に線形的に相関する。位相パターンは、1波長の倍数で位相ラッピングされており、マイクロディスプレイSLM上へと直接アドレスされ得る。
例示的な高明度HDRプロジェクタの簡略化されたシステム図である。拡大およびコリメートされたレーザビームからの光が、位相単独変調器から反射される。 位相遅延のピクセル毎の量は、本発明のアルゴリズムで算出される動的レンズの高さフィールドに応じる。この自由形状レンズの有効焦点面は、LCoSマイクロディスプレイおよび投影レンズと共に偏光ビームスプリッタからなる、既製の反射型投影ヘッドとの面内(in−plane)にある。画像の暗い部分からの光は、高輝度のフィーチャを生成し、同時に黒レベルを低減させるのに用いられ得る。
シミュレーションおよびキャプチャされた複数の結果の比較を、上部から下部へ行毎に示す。 位相パターン:アルゴリズム4.1により計算された位相パターン。シミュレーション:予測画像のホイヘンス=フレネルシミュレーション。直接:回折アーチファクトを示す、拡散器なしでの実際の画像の写真。拡散器:薄膜拡散器を追加することにより、回折フリンジのようなアーチファクトがほぼ完全に軽減した。標準:標準的な、単一の振幅変調器を用いた振幅変調のみでの投影の写真は、上昇した黒レベルおよび低コントラストを示す。提案(HDR):本発明のレンジングアプローチを用いることで、光が暗い領域から明るい領域へと再分布し、その結果、黒レベルが改善されハイライト強度が増大する。最後の2つの行は、オフアングルのカメラの位置に起因してわずかに歪んで見える。これは、短焦点での投影、および近いスクリーン、ならびにシステムの黒レベルを効果的にキャプチャするべく環境光を遮断するバッフルが原因で必然的なものとなった。
LDR比較モード(左の画像)およびHDRモード(右の画像)におけるプロトタイプのプロジェクタでの写真である。 LDR比較モード(左の画像)およびHDRモード(右の画像)におけるプロトタイプのプロジェクタでの写真である。 左:光の再分布が有効であり、その結果ピーク輝度が増大し黒レベルが低減している。右:同一のハードウェアを用いた比較用のLDRプロジェクタ。LDRモードでは、平坦な位相プロファイルが、振幅減衰器(第2のSLM)での均一な照明プロファイルをもたらす。各画像は、左半分に露光時間の長いもの(暗レベルのディティールが視認可能)、右側に露光の短いもの(ハイライトのディティールが視認可能)を示すように縦に分割されている。両方の露光は、スクリーン上の同一の投影画像でのものである。
以下の説明全体にわたって、本発明のより完全な理解を提供するべく、具体的な詳細が記載される。しかしながら、本発明は、これらの細目なしで実施されてよい。その他の場合においては、本発明を不必要に不明瞭にすることを避けるべく、周知の要素は詳細には示されていない、または記載されていない。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味でとらえられるべきである。
[自由形状レンジング]
いくつかの実施形態は、照明されたときに所望の光フィールドを提供し得るレンズ形状または位相関数を決定することに対する、新規なアプローチを提供する。このアプローチの成果は、所望の光フィールドが得られるように位相変調器または可変レンズもしくは可変ミラーを制御するのに適用されてよい。
いくつかの実施形態に係るディスプレイにおいて、位相単独SLMは、プログラミング可能な自由形状レンズとして用いられる。係るレンズは、広帯域光(例えば、白色光)で照明されてよい。これはスペックルを除去し、同時にレンズ変調パターンの空間的な平滑性が回折アーチファクトを低減させる。残る全ての回折は照明の広帯域な性質により平均され、その結果ボケが少量のみとなり、これは二重変調セッティングにおいてモデル化および補償され得る。
いくつかの実施形態は、後続の積分ステップを必要とすることなく、位相関数について、または等価的にレンズ形状について直接最適化する。これは、像面ではなくレンズ面において直接最適化を表す、係る問題のパラメータ化により容易になる。これは、文献に記載されているアプローチよりもはるかに簡単な自由形状レンズ最適化問題の定式化につながる。
[位相変調による結像]
本願は、変調器を用いて所望の光パターンを表示するための方法に一部関する。係る変調器は、光をあまり吸収せずに、光を像面内にわたって移動させる。これにより、光を暗い画像領域から明るい画像領域へと再配分することができる。例えば、変調器は、移動する光の輝点を提供するように制御され得る。この用途に好適な変調器の例としては、位相単独方式で動作するLCoS SLMがある。SLMは、1、2、5メガピクセルまたはそれより高い解像度のような好適な解像度を有し得る。SLMの制御は、光がSLMを通過する際の、その波面の必要な湾曲を表す、連続な位相関数を最適化することによって実現され得る。
異なる複数の実施形態に係る装置および方法は、単色レーザ光のみならず、(例えば、ランプ、LED、または波長の異なる複数のレーザからなるアレイからの)広帯域光の使用を可能とする。位相単独構成で動作する液晶ベースのSLMのような位相変調アレイは、プログラミング可能な自由形状レンズとして適用される。広帯域照明が使用可能であることは、スクリーンのスペックルを除去する一助となり得、同時にレンズ変調パターンの空間的な平滑性が、回折のような他のアーチファクトを低減する。像面における残る全ての回折効果は、照明の広帯域な性質により平均され、その結果ボケが少量のみとなり、これは1または複数の追加的な変調器を設けることにより容易にモデル化および補償され得る。
後続の積分ステップを必要とすることなく、位相関数(すなわち、レンズ面における波面の形状)について、または等価的にレンズ形状について直接最適化する1つの手法は、像面ではなくレンズ面において直接最適化を表すことを可能とする、係る問題のパラメータ化を伴う。
位相変調ディスプレイのための結像モデルを導出するべく、図1に示す幾何構成を検討する。レンズ面と像面(例えば、スクリーン)とは、焦点距離fで互いに平行な位置にある。コリメート光は、レンズ面に法線方向から入射する。レンズ面における位相変調器(またはレンズ)が光の位相を歪ませ、光線の局所的な偏向に対応する湾曲した位相関数p(x)をもたらす。関連する実施形態においては、可変ミラーがレンズ面に設けられる。
滑らかな位相関数によりもたらされる位相遅延の効果は、近軸近似の下で等価的な物理屈折レンズと関連付けられ得る。これは、幾何光学を用いて、またはホイヘンスの原理から導出され得る。近軸近似は、
である場合に成り立つ。
である投影システム(本例において、全範囲は、画像の一方の側から他方の側へと光を向け直すことに対応する)では、近軸近似における誤差は1%未満である。これにより、位相面について直接最適化することが容易になる。
小さい偏向角について有効である簡単な近軸近似
を用いると、像面における幾何的な変位が、位相関数の勾配に比例することを示すことが可能である。
小さい偏向角について有効な近軸近似
により、2Dにおいて下式が得られる。
これは、3Dにおいて、レンズ面上の点xとそれに対応する像面上の点uとの間の写像についての以下の式につながる。
[強度変調]
上記の写像を用いて、この歪みに伴う強度変化を導出することができる。dxをレンズ面上の差分面積とし、
を像面上の対応する領域の差分面積とする。ここで、m(.)は、空間的に変化する倍率係数である。よって像面上の強度が下式のように与えられる。
式中、iは、レンズ面に入射するコリメート光の強度である。以下では、表記の簡単のために、i=1と仮定する。これは、レンズ面の均一な照明に対応する。
倍率係数m(.)は、レンズ面と像面との間の写像の導関数を用いて表され得る(図2も参照のこと)。
これにより、像面上の強度分布についての以下の式が得られる。
換言すると、倍率mは、したがって像面上の強度i(u)は、レンズ面におけるスカラーの位相関数のラプラシアンから直接計算され得る。最適化問題
式5からの結像モデルを直接、最適化問題に転換することは可能であるが、本発明者らは、最初に1次テイラー近似で係る式を線形化することにより、より良好な収束を実現することができることを見出した。これにより、下式が得られる。
式中、左辺は、ワーピング済み画像
として解釈され得る。ここで、像面におけるターゲット強度i(u)は、所与の位相関数p(x)により生じる歪みu(x)を用いて、レンズ面上へと後方ワーピングされている。
この結像モデルから、所与のターゲット画像i(u)について位相関数p(x)を決定するための以下の最適化問題を構築することができる。
式中、iは、ワーピング済み画像
である。ここで、像面におけるターゲット強度i(u)は、所与の位相関数p(x)により生じる歪みu(x)を用いて、レンズ面上へと後方ワーピングされている。
この最適化問題は、以下の例示的なアルゴリズム0により例示されるように、位相関数に対する更新とワーピング済み画像に対する更新とを反復することによって解かれ得る。
i(.)およびp(.)の複数のピクセルへの直接的な離散化の後、位相の更新は、離散ラプラス演算子をシステム行列として線形最小二乗問題を解くことに対応する。共役勾配法(CG)、BICGSTAB法、および準最小残差法(QMR)を含むいくつかの異なるアルゴリズムのうちの任意の1つを用いて、この半正定値系を解くことができる。そのようなアルゴリズムは、プログラムによって実施され得る。画像ワーピングは、GPU(グラフィックスプロセッサユニット)に効率的に実装され得る、簡単なテクスチャマッピングオペレーションに対応する。
このアルゴリズムの収束の様子は、6回の反復に対するアルゴリズム段階を示す図4に示されている。ターゲット画像iは、位相関数p(k)が解に向かって収束するにつれて、レンズ面上への後方ワーピング(i〜k)を介して漸進的に歪められていく。本アルゴリズムは、歪みのないターゲット画像を用いて最初の位相関数を最適化する。この位相関数を用いて、像面のターゲット画像を後方ワーピングすることにより、レンズ面上のターゲット画像を更新する。このプロセスは、位相関数が収束するにつれて、変調器面でのターゲット画像を徐々に歪ませる。後方ワーピングのステップは、目的関数が非凸であることを意味するものの、本発明者らは経験的に、少ない回数の反復(5〜10回)のみで収束が実現することを見出している。より低解像度の画像を最初に処理し、その結果をアップサンプリングすることにより、全体的な処理時間をさらに加速することができる。
[フーリエドメインにおける解]
本方法の計算コストが主に大規模重調和問題を解くことに起因すると理解することにより、本アルゴリズムの収束速度をさらに改善することができる。例えば、クリロフ部分空間法(QMR)が採用されてよい。しかしながら、有効な前処理行列を求める難度、および系の規模に起因して、収束は通常遅い。重調和系を効率的に解くのに有用なアルゴリズムは、研究途上のトピックであり、これは例えば、前処理アプローチ(SilvesterおよびMihajlovic、2004年)、マルチグリッド法(Zhao、2004年)、演算子分割法(TangおよびChristov、2006年)を含む。これらを、リアルタイム結像の問題に必要とされる数百万自由度にまでスケーリングすることは、極めて困難である。
近接演算子に基づく代替的なアプローチにより、係る問題をフーリエドメインにおいて表すことが可能となり得、その結果、高度に並列化可能な高速フーリエ変換ライブラリを用いてこれを効率的に解くことが可能となり得る。この代替的なアプローチにより、汎用の低コストなデータプロセッサを用いて、リアルタイムまたは準リアルタイムで解を得ることが可能となる。
入力画像を、例えば[Ngら、1999年]に記載の通りにミラーパディングすることで、∇の離散化から生じる系が、ノミナル画像縁部に純粋なノイマン境界条件のある周期境界条件を有するようになる。これは、図13A、図13Bおよび図13Cに例示されている。この修正により、式7の目的関数における積∇pをフーリエ畳み込み定理を介して畳み込みとして表すことが可能となり、これにより、はるかに高速なフーリエドメインソルバーを用いることが可能となる。
周期境界条件があるので、この問題は、近接演算子を用いることにより、フーリエ空間において非常に効率的に解かれ得る。スパース最適化からの近接法により、系の構造を崩すことなく、正則化を課すことが可能となる。
任意の凸関数F(z)について、近接演算子proxγF(式8で定義)は、信頼領域最適化の一ステップとして働く。このステップにおいて、Fを小さくするが入力引数qからはそれほど逸脱しない値zが求まる。
最小二乗目的
に対して、得られる近接演算子を式9に示す。
近接演算子が厳密に凸な正則化項を含んでいるので、Fが弱く凸であるのみだとしても、全演算子は厳密に凸な関数である。近接演算子のこの特性は、収束が速いアルゴリズムを設計する一助となる。直接的な不動点最適化アルゴリズムである近接点法(ParikhおよびBoyd、2013年)は、これを利用して、目的の近接演算子、すなわち
をFの最小点(minimizer)への収束まで繰り返し評価することにより、厳密にまたは弱く凸な関数を最適化する。近接正則化項は、テプリッツ行列(単に単位行列)としても表され得るので、これがこの問題の循環構造を崩すことはなく、不必要な正則化を課すことによって解を異ならせることもない。
順フーリエ変換および逆フーリエ変換をそれぞれF()およびF−1()と表すこと、*による複素共役化、ならびに点毎に乗算および除算を実施することにより、式7に対する近接演算子を、フーリエドメインにおいてテプリッツ行列Aについての式10として改めて表すことができる。
曲率の小さい解を優先させることによってソルバーを正則化するべく、定数α≧0が追加されている。これは、式11に示すような、
のペナルティを課す、式7の修正形を解くことに対応する。
パラメータαの効果は、他に見出され得るものよりも滑らかな解を優先させることである。これは、本方法が、より暗い領域における画像品質を犠牲にして非常に明るいハイライトの実現を試みることで、望ましくないコースティックを生じさせることを防ぐ一助となる。パラメータαの効果を、シミュレーションのために図14A、図14B、図14Cおよび図14Dに示す。
および
ならびに
と定義することにより、上述の問題は、アルゴリズム1を用いてフーリエ空間において反復的に解かれ得る。この変形により、非線形的な解法の各反復を、1回の順/逆フーリエ変換、1回の画像ワーピング、および数回の副次的な成分毎の演算を用いて計算することが可能となる。示されているように、式11は一般的な近接アルゴリズムである近接点法の非線形的な変形である。近接点法は、
を評価することによりproxγFを再帰呼び出しすることからなる、任意の凸なFを最小化するための不動点アルゴリズムである。
本アルゴリズムの再式化の結果、アルゴリズムは、FFTベースのソルバーを用いたCPU上で実行されると、上述のQMRソルバーを用いるよりも数桁分スピードアップする。QMRソルバーでのフレーム毎の計算時間が20分またはそれより長い場合、アルゴリズム1におけるフーリエバージョンは、Core i5のデスクトップコンピュータ上で同一の解像度(256×128)において約0.6秒要し得、これは約2000倍のスピードアップとなる。また、フーリエドメインでの解法への変換の結果、より実装の容易な演算が1または複数のGPU上で並列に実行されることになる。本発明者らは、順フーリエ変換および逆フーリエ変換にCUFFTを用いて、C++およびCUDAの両方において本アルゴリズムを実装している(NVIDIA)。係るコードのCUDAおよびCUFFTによるバージョンが、GeForce 770GPU上で実行されると、シングルスレッドCPUのバージョンに対しほぼ150倍のスピードアップが得られ、その結果、QMRを用いて実装されるナイーブなCPUのバージョンよりもおよそ300,000倍のスピードアップとなる。本明細書に記載のアルゴリズムは、第1の自由形状レンジング方法であり、本発明者らは、これがリアルタイムで動作可能であることを認識している(表1を参照のこと)。これは、[Schwartzburgら、2014年]のような方法と対照的である。この方法は満足な結果をもたらすが、実行時間が本発明のGPUアルゴリズムよりもおよそ5桁分長い。このことにより、リアルタイム対応の投影システムにおけるそれらの方法の使用は、現在では避けられている。
表1:アルゴリズム1の10回の反復での種々の解像度入力に対する実行時間
本アルゴリズムは、これが高度に並列なFFTおよび成分毎の演算を用いることに起因して、GPU、FPGA、またはASICのようなデバイス上へのハードウェア実装に非常によく適している。本発明者らは、アルゴリズム1を一定回数(通常10回)の反復で実行する。解への収束は速く、10回よりかなり少ない反復しか必要としない。しかしながら、ハードウェア実装にあたっては、フレームコンテンツに依存しない計算時間を有することが極めて望ましい。平滑化因子αの選択は、幾分コンテンツに依存し得る。
[シミュレーション結果]
物理レンズと位相関数との間の等価性を用いることにより、幾何光学シミュレーション(BlenderおよびLuxRenderを使用)を介した試験のための立体レンズモデルを生成することが可能となる。これらのモデルは近軸近似を満たし得ないものの、厚みの影響は低空間周波数歪みとして現れる傾向があるので、これらは即時的な質的比較に十分に適う。ミラーパディングの効果およびαの選択をそれぞれ例示する図13A、図13Bおよび図13Cならびに図14A、図14B、図14Cおよび図14Dに、例を示す。プロトタイプのプロジェクタは近軸近似の条件を十分に満たすので、これらの歪みは、プロトタイプのプロジェクタの結果に影響しないことに留意することが重要である。
より高い物理的正確度が必要とされる場合、(合成した)入射照明を(合成した)点光源の重ね合わせとして近似する、ホイヘンス=フレネルシミュレーションを適用することができる。シミュレーション結果を、図18および20に示す。シミュレーションの増大したコストが、離散ピクセルからの回折効果を解像するのに必要とされるレベル未満に解像度を限定するものの、これらのシミュレーション結果は、実験的に観察された結果と良好に合致している(例えば、「シミュレーション後」の画像および「直接」の画像におけるMarilynの鼻のコースティックを参照のこと)。同様に、レーザ光源からのスペックルはモデル化されていない。
これらの結果に基づき、本発明者らは、位相変調は概して所期の通りに動作し、画像品質における主な制限は回折アーチファクトおよびスペックルであると結論づける。
[静的な屈折レンズ]
位相関数p(x)は、デジタル位相変調ディスプレイ(下記を参照)を作動させるのに直接用いられ得る。しかしながら、そうではなく透明な材料から屈折レンズ表面を生成することを望む場合、この位相関数は、レンズ形状についての幾何モデルに変換され得る。
一方の側が平坦であり、他方の側には自由形状高さフィールドh(x)を有するレンズ形状をモデル化することができる(図3を参照)。(x,z)平面において、偏向角φは、その高さフィールドでの入射角
および出射角(θ)に、以下の通り関連する。
類似の関係が、(y,z)平面において成り立つ。
加えて、レンズ材料は屈折率nを有する。スネルの法則、および再び近軸近似を用いて、下式が得られる。
式12および13、ならびに
を用いて、下式のようにレンズ形状を導出することができる。
式中、hはレンズのベース厚みである。
高さh(x)は、位相の線形関数である。屈折率nは、位相関数p(.)に対するスカラー乗数としてのみ現れる。p自体が焦点距離f内で略線形であるので、高さフィールドの均一なスケーリングおよび屈折率の均一な変化は、単にレンズの再フォーカスとして現れることがわかる。これは、上記で提案された例示的な最適化手順を、p(.)ではなくh(.)について直接最適化するよう調整することが等価的に可能であることも示す。上記の定式化は、例えば動画プロジェクタにおける適用のために空間位相変調器のみを制御することが求められる場合に、好適であり得る。
図5Cおよび図5Eは、いくつかの例示的な3Dプリントされた屈折レンズを示す。図5C〜5Eにおいて、左の画像は、レンズ自体を示し、一方で中央および右の画像は、それらによって生成されたコースティック(Lenaの画像およびSiggraphのロゴ)を示す。3Dプリンタの解像度限界に起因して、レンズ寸法は大きいフィーチャスケールについて最適化されており、その結果、焦点距離が短くなる。
図5Aおよび図5Bの右側の画像は、本発明の方法で生成された屈折型自由形状レンズを用いた目標ベースのコースティックの結果を示す。(図5Cの左に示す)レンズは、VeroClear(登録商標)材料を用いて、Objet Connex260のラピッドプロトタイピング機で3Dプリントされた。その後、これらのレンズは完全にクリーニングされ、平坦な側は、きめの細かい紙やすりおよび研磨ペーストを用いて手動で研磨された。このタイプの3Dプリンタは、レイヤ厚みが42μmであり、このことは、容易に生成可能なフィーチャサイズを制限する。
上記で論じたように、係るモデルは、異なる焦点距離を実現するように再スケーリングされ得る。係る製造方法の解像度限界に適応するよう、本発明者らは、非常に短い焦点距離f(Siggraphのロゴに対しては約1インチ、Lenaの画像に対しては約5インチ)を選択した。これらのスケールは、本発明の結像モデルの導出に用いられる近軸近似のぎりぎりの限界を試験するが、画像品質は依然としてかなり良好である。3Dプリントされた表面の射出成型、高精度なミリング、または一層細部にわたる手動研磨のようなより良好な製造方法により、画像品質を改善することおよびフィーチャサイズを低減することの両方が可能となり、それにより遠方投影が実行可能となる。
[動的レンジング]
投影ディスプレイに自由形状レンズ構想を適用するべく、反射光または透過光の波面形状を操作することができる空間光変調器が適用され得る。いくつかの異なる技術が、この目的で利用可能である。
いくつかの適応的な光学デバイスが、リアルタイム動画対応の実装に適している。そのようなデバイスとしては、[Hoskinsonら、2012年]により製造されたミラーのアナログ2Dアレイ、または波面のセンシングおよび補正の用途で用いられる可変形状ミラーのような、微小電気機械システム(MEMS)ベースのディスプレイが挙げられる。連続可変形状ミラー(Mennら、2007年)は、規則的なピクセル構造に起因して回折を除去するので、特に魅力的な選択肢と思われる。4096個もの多くのアクチュエータを備えた機能性ミラーが報告されているものの、これらMEMSベースのデバイスの空間解像度は、デジタルプロジェクタに通常用いられる既存のデジタルマイクロディスプレイの空間解像度よりもさらに数桁分低い。このことにより、現在のところ、二重変調セットアップにおいてそれらを使用することはあまり魅力的ではなくなっている。
いくつかの実施形態は、液晶ディスプレイ(LCD)技術に基づく波面変調器を有利に適用する。LCDは通常、2つの直線偏光フィルタの間にそれらLCDを挟むことにより、振幅(強度)変調器として構成される。しかしながら、これらLCDは、第2の偏光子なしで動作する場合、通過する光の位相を、各ピクセル内の液晶の回転状態に応じて異なるように遅延(変調)させる。各ピクセルのセルギャップにわたる電界が、位相遅延の量を制御する。そのような標準的なディスプレイは、動的レンズを実装するのにおおむね十分である。しかしながら、a)(2πおよびそれより大きいオーダでの)位相遅延の量を最大化するよう、およびb)偏光変化の量を最小化するよう最適化された、市販の専用マイクロディスプレイも存在する。したがって、このタイプのSLMのピクセル値は、上記で導出した本発明の位相関数p(.)に直接対応する。位相遅延がより大きいと、レンズ表面の勾配をより急峻にすることが可能となるが、より厚いセルギャップが必要になるので、スイッチング速度が犠牲になる。SLMにおける位相変化が偏光状態に影響しない場合(「位相単独」)、このことは、二重変調を目的として、光路に沿ってさらに他の光電子コンポーネント、具体的には従来の振幅SLMと組み合わせてディスプレイを用いることを可能にする。このトピックに関するさらなる情報については、[Robinsonら、2005年]を参照のこと。
例示的なプロトタイプの一実施形態は、[HOLOEYE]により流通されている、反射型液晶オンシリコン(LCoS)チップを用いた。このチップは、6.4μmのピクセルピッチで1920×1080離散ピクセルの空間解像度を有し、60Hzまでで更新され得る。ルックアップテーブルへのアクセスにより、異なる複数の動作波長に変調器を較正することが可能となる。ディスプレイのフィルファクタおよび反射率は、他の技術と比較して、それぞれ93%および75%高い。位相遅延は、光の1波長に相当する0から2πの間に較正される。これは、焦点距離の長い自由形状レンズを生成するのに十分である。焦点距離がより短いと、より強く湾曲した波面が必要となり、これはp(.)のより大きい値を生成する。位相ラッピングにより、すなわちSLMを作動させるのにp(.)の小数部分のみを用いることにより、この問題に対処することができる。これは、フレネルレンズと同様のパターンをもたらす。
本発明者らは、2つの試験台を作成した。第1のプロトタイプは、第2の振幅変調器なしで位相SLMを含み、632.8nmの赤色HeNeレーザおよび白色LEDの2タイプの光源の間で再構成可能である。このプロトタイプは、自由形状レンジングアプローチを独立に試験し、光源のタイプに基づいて回折のようなアーチファクトを評価することを可能とする。第2のプロトタイプは、532nmの緑色ダイオード励起固体(DPSS)レーザを光源として用いた、完全な二重変調プロジェクタである。
本発明者らは最初に、ビーム品質が良好なこと、および低電力なために実験において安全であることに起因してHeNeガスレーザを用いた、レーザベースのシステムを実装した(図6A)。このセットアップにより、観察することが望まれる回折パターンを確認し分析することが可能となる。
屈折の原理に基づく本発明の方法の重大な利点は、回折ベースの投影アプローチ(Slingerら、2005年)よりも光源の要求が低減されることである。2Dホログラフィック投影システムにおいて利用される回折パターンは、理想的には、結像に空間的かつ時間的にコヒーレントな光を必要とするが、本発明のアプローチは、部分的にコリメートされた広帯域光を用いた光の向け直しを可能とする。ごく最近のレーザベースの投影システムは、スクリーンのスペックルコントラストおよび観測者のメタメリズムのようなアーチファクトを低減するべく広帯域化を必要とするので、このことは利点となる。
本発明者らは、単一の白色広帯域LEDを光源として用いたプロトタイプのデモンストレーションを行う。本例において、LEDは、短波長の発光ダイ(青色)および変換蛍光体(緑色−黄色)を有していた。図6Bを参照のこと。
本発明者らはまた、本発明の新規な結像アプローチを、532nmのDPSSレーザを用いたレーザベースのシステムに適用した(図16)。LEDアプローチとは対照的に、レーザ光源の光電力(500mW)は、得られる光強度プロファイルを、評価のためにより大きい投影スクリーン上へとリレーおよび拡大するのに十分である。図5.2は、本発明のシステムの、この第1の単一段階位相単独パートを通って投影された、様々な加工後および未加工の試験画像の写真を含む。
予期され、波面シミュレーション(図18、第2行)によって後に確認される通り、単一周波数レーザの使用により、干渉に起因して、認識可能なスクリーンのスペックルコントラストおよび回折「フリンジ」を含むアーチファクトが生じる(図18、第3行)。先述の通り、これらのアーチファクトは、例えば、中心波長の異なる複数のレーザのセット、またはLEDおよびランプのような広帯域光源を用いることにより、認識可能な可視閾未満に低減され得る(2015年)。例えば、わずかな角変動を疑似ランダム方式で高速にもたらす拡散器または市販の連続可変形状ミラーを用いて、画像を空間的または時間的に平均化することにより、同様の画像「平滑化」効果を実現することができる。これは、本発明の試験用セットアップにおけるもののような狭帯域光源を用いるよう制限された場合に、特に有用である。実装を容易にするべく、本発明者らは、位相SLMの後の中間像面に位置する薄膜拡散器を用いることを選択する。「クリーンアップされた」強度プロファイルの写真は、(図18、第4行)で見ることができる。
本発明者らはまた、本発明の動的レンジング方法に基づいて画像を形成し、従来のLCoSベースの振幅変調ディスプレイを用いて追加的なシャープネスおよびコントラストを提供する、高明度、高ダイナミックレンジの投影システムの第1のプロトタイプのデモンストレーションを行う。
俯瞰的に、従来の投影システムの光路は、高強度光源、ならびに、何らかの形態のビーム整形、例えば、ビームの拡大、コリメーションおよび均質化、色の分解および再結合を行う光学系を含む。プロジェクタの中心部では、小さいSLMがピクセル毎の光の振幅を減衰させる。本発明のプロトタイプは、このアーキテクチャを保持したが、均一照明モジュールをレーザ照明および位相SLMの両方で置き換える(図7)。本発明のレンジングシステムは、光源と既存のSLMとの間に挿入され、このSLM面と一致する中間像面上に近似的な光分布を形成する。
自由形状レンジングアプローチは、暗い画像領域から明るい画像領域へと光を再分布させ、それによりコントラストおよび局所的なピーク明度の両方を増大させる。このことは、視覚的な写実性に著しい影響を及ぼすことが知られている(Rempelら、2011年)。
まず、位相SLMに対して未加工の前方結像モデルを用いて、第2の振幅単独変調器に存在する照明プロファイルを予測する。自由形状レンジングアルゴリズムから位相関数を所与とすると、像面上の光分布は、式2および4からの簡単なモデルを用いて予測される。中間像面の拡散器でもたらされる平滑度の量は、ボケカーネルを用いて近似され得、よって振幅変調器に必要な変調パターンが得られて、何らかの足りない空間的な情報、および、必要に応じて追加的なコントラストをもたらす。SLMを最適に作動させるには、光学系全体の綿密な較正および特性化が必要とされることに留意されたい。本研究では、2つの画像(SLM上での位相遅延および振幅変調により生じる照明プロファイル)の綿密な空間的位置合わせ、および光強度が線形増分となるよう較正すること以外の主だった作業は実施されなかった。
フラットパネルHDRディスプレイの場合(Seetzenら、2004年)と同様に、位相SLMに対して前方結像モデルを用いて、第2の振幅単独変調器における「背光」照明を予測することができる。振幅変調器の変調パターンは、HDRのターゲット画像を「背光」パターンで分割することにより得られ得る。
図18は、本発明の方法のシミュレーションされた実験結果の抜粋を示す。図18の第1行(「位相パターン」)は、位相変調器に適用される、アルゴリズム4.1により計算された位相パターンを示す。黒は位相遅延がないことに対応し、白は2πの遅延に対応する。これらのパターンは、最大位相遅延が2πより大きい位相パターンが、どのように変調器の最大位相遅延までにラッピングされ、その結果フレネルレンズと同様のパターンとなり得るかを例示している。
図18の第2行(「シミュレーション))は、ホイヘンス−フレネルの原理を用いた位相パターンのシミュレーションを示す。パストレーシングのような幾何光学シミュレーションとは異なり、これらのシミュレーションは、回折アーチファクトの多くをキャプチャすることが可能である。第3行(「直接」)は、位相変調のみを用いた、本発明のプロトタイプの写真を示す。これらは、回折アーチファクトおよびレーザスペックルに起因するノイズを呈する。図18の第4行(「拡散後」)において、拡散器を導入することによりこれらのアーチファクトがほぼ完全に除去され得る。この行の写真は、「直接」の行と同一のカメラ設定を用いた。位相パターン:アルゴリズム1により計算された位相パターン。シミュレーション:予測画像のホイヘンス=フレネルシミュレーション。直接:回折アーチファクトを示す、拡散器なしでの実際の画像の写真。拡散器:薄膜拡散器を追加することにより、回折フリンジのようなアーチファクトがほぼ完全に軽減した。標準:標準的な、単一の振幅変調器を用いた振幅変調のみでの投影の写真は、上昇した黒レベルおよび低コントラストを示す。提案(HDR):本発明のレンジングアプローチを用いることで、光が暗い領域から明るい領域へと再分布し、その結果、黒レベルが改善されハイライト強度が増大する。最後の2つの行は、オフアングルのカメラの位置に起因してわずかに歪んで見える。これは、短焦点での投影、および近いスクリーン、ならびにシステムの黒レベルを効果的にキャプチャするべく環境光を遮断するバッフルが原因で必然的なものとなった。
図18の第5行(「標準」)には、振幅変調器のみを用いて動作する、本発明の二重変調プロジェクタの写真を示す。これは、光の再分布を不可能にする定数値の位相関数を提供することにより実現される。これらの結果は、単一段階のプロジェクタに典型的なものである。漏れ光が黒レベルを阻害し、全体的なコントラストは、利用可能な電力の非効率的な使用がハイライト強度を制限することに起因して低い。
最後に、図18の最後の行(「提案(HDR)」)には、本発明の提案する位相・振幅二重変調アプローチの写真を示す。これらの写真は、「標準」の結果(第5行)と同一のカメラ設定でキャプチャされており、本発明の方法が、より良好な黒レベルを確保するのみでなく、所期の通り、光を画像の暗い領域からより明るい領域へと再分布させることによってハイライトの明度を増大させもすることを示す。これは、利用可能な電力の使用をより良好なものにし、二重振幅変調アプローチと比較して電力消費が大幅に低減した高ダイナミックレンジの投影を可能にする。
図5A(左)は、このセットアップの白色光バージョンで再生されたLenaの画像を示す。所期の通り、広帯域照明は、回折アーチファクトのほとんどを平均し、Seetzenらによる元の二重変調研究(2004年)における背光ボケと極めて同様な、比較的小さい空間ボケのみをもたらす。このボケは、容易に較正され得、二重変調セットアップにおいて補償され得る。
本発明の二重変調セットアップからの複数の結果を、図9および10に示す。図9は、振幅SLMが定数値に設定された自由形状レンジングアプローチの効果のみを示す。HeNeレーザセットアップにおいては、焦点距離がより大きく位相ラッピングの使用が少ないことに起因して、回折アーチファクトがここではあまり明白でないものの、その範囲を特定することができる。図10A、図10Bおよび図10Cは、実際の二重変調アプローチの結果を示す。第2の変調器段階は、コントラストを増大させ、著しいディティールを追加しているが、高周波数アーチファクトの一部を取り除くことができていない。
以下の参照は、背景情報を提供するものであり、ここで参照としてこれらを本明細書に援用する。
・BERRY, M. 2006. Oriental magic mirrors and the Laplacian image. European journal of physics 27, 1, 109.
・BIMBER, 0., AND IWAI, D. 2008. Superimposing dynamic range. ACM Trans. Graph. 27, 5, 150.
・BLACKHAM, G., AND NEALE, A., 1998. Image display apparatus, Mar. 18. EP Patent App. EPI9,970,306,624.
・BUCKLEY, E. 2008. 70.2: Invited paper: holographic laser projection technology. In Proc. SID, vol. 39, 1074−1079.
・DAMBERG, G., SEETZEN, H., WARD, G., HEIDRICH, W., AND WHITEHEAD, L. 2007. 3.2: High dynamic range projection systems. In Proc. SID, vol. 38, Wiley Online Library, 4−7.
・DAMBERG, G., SEETZEN, H., WARD, G., KANG, M., LONGHURST, P., HEIDRICH, W., AND WHITEHEAD, L. 2007. High dynamic range projector. Siggraph Emerging Technologies.
・FINCKH, M., DAMMERTZ, H., AND LENSCH, H. P. 2010. Geometry construction from caustic images. In Proc. ECCV, 464−477.
・HAUGEN, P. R., BARTELT, H., AND CASE, S. K. 1983. Image formation by multifacet holograms. Applied optics 22, 18, 2822−2829.
・HOLOEYE. Photonics corporation. URL http://www. holoeye.com.
・HOSKINSON, R., STOEBER, B., HEIDRICH, W., AND FELS, S. 2010. Light reallocation for high contrast projection using an analog micromirror array. ACM Transactions on Graphics (TOG) 29, 6, 165.
・HOSKINSON, R., HAMPL, S., AND STOEBER, B. 2012. Arrays of large−area, tip/tilt micromirrors for use in a high−contrast projector. Sensors and Actuators A: Physical173, 1, 172−179.
・HULLIN, M. B., IHRKE, I., HEIDRICH, W., WEYRICH, T., DAMBERG, G., AND FUCHS, M. 2013 . State of the art in computational fabrication and display of material appearance. In Eurographies Annual Conference (STAR).
・KISER, T., EIGENSATZ, M., NGUYEN, M. M., BOMPAS, P., AND PAULY, M. 2013 . Architectural causticscontrolling light with geometry. In Advances in Architectural Geometry 2012. Springer, 91−106.
・[Kusakabe et al. 2009] Kusakabe, Y., Kanazawa, M., Nojiri, Y., Furuya, M., and Yoshimura, M. 2009. A high−dynamic−range and high−resolution projector with dual modulation. vol. 7241, 72410Q−72410Q−11.
・LESEM, L., HIRSCH, P., AND JORDAN, J. 1969. The kinoform: a new wavefront reconstruction device. IBM Journal of Research and Development 13, 2, 150−155.
・MENN, S., CORNELISSEN, S. A., AND BIERDEN, P. A. 2007. Advances in mems deformable mirror technology for laser beam shaping. In Photonic Devices + Applications, International Society for Optics and Photonics, 66630M−66630M.
・MINANO, J. C., BENITEZ, P., AND SANTAMARIA, A. 2009. Freeform optics for illumination. Optical Review 16, 2, 99−102.
・[Ng et al. 1999] Ng, M. K., Chan, R. H., and Tang, W.−C. 1999. A fast algorithm for deblurring models with neumann boundary conditions. SIAM Journal on Scientific Computing 21, 3, 851−866.
・[NVIDIA ] NVIDIA, C. Programming guide, cusparse, cublas, and cufft library user guides. {Online}.
・PAPAS, M., JAROSZ, W., JAKOB, W., RUSINKIEWICZ, S., MATUSIK,W., AND WEYRICH, T. 2011. Goal−based caustics.Computer Graphics Forum 30, 2, 503−511.
・PAPAS, M., HOUIT, T., NOWROUZEZAHRAI, D., GROSS, M.,AND JAROSZ, W. 2012. The magic lens: refractive steganography. ACM Transactions on Graphics (TOG) 31, 6, 186.
・[Parikh and Boyd 2013] Parikh, N., and Boyd, S. 2013. Proximal algorithms. Foundations and Trends in Optimization 1, 3, 123−231.
・PAULY, M., AND KISER, T. 2012. Caustic art. Tech. rep.
・REMPEL, A., HEIDRICH, W., LI, H., AND MANTIUK, R. 2009.Video viewing preferences for hdr displays under varying ambient illumination. Proc. APGV, 45−52.
・REMPEL, A., HEIDRICH, W., AND MANTIUK, R. 2011. The role of contrast in the perceived depth of monocular imagery. Proc. APGV, 115.
・ROBINSON, M. D., SHARP, G., AND CHEN, J. 2005. Polarization engineering for LCD projection, vol. 4. John Wiley & Sons.
・SCHWARTZBURG, Y., TESTUZ, R., TAGLIASACCHI, A., AND PAULY, M. 2014. High−contrast computational caustic design. ACM Trans. Graph. (Proc. Siggraph). (in print).
・SEETZEN, H., HEIDRICH, W., STUERZLINGER, W., WARD, G.,WHITEHEAD, L., TRENTACOSTE, M., GHOSH, AND VOROZCOVS, A. 2004. High dynamic range display systems. ACM Trans. Graph. (Proc. SIGGRAPH) (Aug.), 760−768.
・SEETZEN, H. 2009. High dynamic range display and projection systems. PhD thesis, University of British Columbia.
・[Silvester and MihajloviA2004] Silvester, D. J., and Mihajlovic, M. D. 2004. A black−box multigrid preconditioner for the biharmonic equation. BIT Numerical Mathematics 44, 1, 151−163.
・SLINGER, C ., CAMERON, C., AND STANLEY, M. 2005. Computer−generated holography as a generic display technology. IEEE Computer 38, 8, 46−53.
・[Tang and Christov 2006] Tang, X. H., and Christov, C. I. 2006. An operator splitting scheme for biharmonic equation with accelerated convergence. In Proceedings of the 5th International Conference on Large−Scale Scientific Computing, Springer−Verlag, Berlin, Heidelberg, LSSC'05, 387−394.
・YUE, Y., IWASAKI, K., CHEN, B.−Y., DOBASHI, Y., AND NISHITA, T. 2012. Pixel art with refracted light by rearrangeable sticks. Computer Graphics Forum 31, 2pt3, 575−582.
・YUE, Y., IWASAKI, K., CHEN, B.−Y., DOBASHI, Y., AND NISHITA, T. 2014. Poisson−based continuous surface generation for goal−based caustics. ACM Trans. Graph. (in print).
・[Zhao 2004] Zhao, J. 2004. Convergence of v−cycle and f−cycle multigrid methods for the biharmonic problem using the morley element. Electronic Transactions on Numerical Analysis 17, 112−132.
いくつかの実施形態が、以下のうちの1または複数を提供することが理解できよう。
・いくつかの従来技術のアルゴリズムよりも飛躍的に簡単な、自由形状レンズ最適化(「目標ベースのコースティック」)のための新規なアルゴリズム。本アルゴリズムは、リアルタイムまたは準リアルタイムで光の投影を制御することに適用され得る。
・いくつかの実施形態は、位相空間において直接動作し、したがって、ポアソン積分のような追加的なステップなしで、位相変調器の変調パターンのみでなく、従来の屈折レンズの変調パターンも生成することができる、反復的な方法として実装され得る。
・画像生成のために1つの位相変調器と1つの振幅変調器とを組み合わせ、白色(非コヒーレント)光を機能させることが可能である、新規な二重変調プロジェクタ設計。
本発明者らの知る限り、以下の通りである。
・本明細書に記載の方法および装置はまた、例えば建築物の照明および/または乗り物の照明に有用な、静的な光フィールドを生成するのに適用されてよい。
・データ項と表面の積分可能性との間のトレードオフを必要としない、変調される光の位相についての直接最適化。
・これは、像面ではなく変調器/レンズ面において最適化を表すことを可能とする、係る問題のパラメータ化を求めることにより可能となる。
・本発明の導出は、光学業界において十分に確立されている、小さい角度での結像(近軸近似)に依拠する。
[用語の解釈]
文脈がその他のことを明らかに必要としない限り、本説明および請求項全体にわたって、以下の通りとする。
・「備え」、「備える」、およびそれに類するものは、排他的または網羅的な意味とは異なり、包括的な意味で、つまり「含むが、これに限定されない」という意味で解釈される。
・「接続される」、「結合される」、またはそれらの任意の変形は、直接的または間接的な、2つまたはそれより多くの要素間の任意の接続または結合を意味する。それらの要素間の結合または接続は、物理的なもの、論理的なもの、またはそれらの組み合わせであり得る。
・「本明細書に」、「上記の」、「下記の」、および同様の趣旨の語は、本明細書を説明するのに用いられる場合、本明細書全体を参照するものとし、本明細書の何らかの特定の箇所を参照するものではない。
・「または」は、2つまたはそれより多くの事項の列挙に関して、以下のこの語の解釈の全てを包含する。列挙された事項のいずれか、列挙された事項の全て、および列挙された事項の任意の組み合わせ。
・単数形は、任意の適切な複数形の意味も含む。
本説明および任意の添付の請求項において用いられる「鉛直」、「横」、「水平」、「上方」、「下方」、「前方」、「後方」、「内方」、「外方」、「鉛直」、「横」、「左」、「右」、「前」、「後」、「上部」、「下部」、「下の方」、「上の方」、「下」、およびそれに類するもののような方向を指示する語(存在する場合)は、説明され例示される装置の具体的な向きに依存する。本明細書に記載の主題は、種々の代替的な向きを仮定し得る。したがって、これら方向についての用語は、厳密に定義されるものではなく、狭義に解釈されるべきではない。
本発明の複数の実施形態は、特定的に設計されたハードウェア、構成可能なハードウェア、データプロセッサ上で実行可能なソフトウェア(任意選択的に「ファームウェア」を含み得る)の提供により構成されたプログラマブルデータプロセッサ、本明細書で詳細に説明される方法における1または複数のステップを実施するよう特定的にプログラミングされ、構成され、または構築された特殊用途向けのコンピュータまたはデータプロセッサ、および/またはこれらのうち2つまたはそれより多くのものの組み合わせを用いて実装され得る。特定的に設計されたハードウェアの例としては、論理回路、特定用途向け集積回路(「ASIC」)、大規模集積回路(「LSI」)、超大規模集積回路(「VLSI」)、およびそれに類するものがある。構成可能なハードウェアの例としては、プログラマブルアレイロジック(「PAL」)、プログラマブルロジックアレイ(「PLA」)、およびフィールドプログラマブルゲートアレイ(「FPGA」)のような1または複数のプログラマブルロジックデバイスがある。プログラマブルデータプロセッサの例としては、マイクロプロセッサ、デジタル信号プロセッサ(「DSP」)、埋め込みプロセッサ、グラフィックスプロセッサ、数値演算コプロセッサ、汎用コンピュータ、サーバコンピュータ、クラウドコンピュータ、メインフレームコンピュータ、コンピュータワークステーション、およびそれに類するものがある。例えば、デバイス用の制御回路における1または複数のデータプロセッサが、それらプロセッサがアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、本明細書に記載の方法を実装してよい。
処理は集中化されても、分散化されてもよい。処理が分散化される場合、ソフトウェアおよび/またはデータを含む情報は、集中化されたままであってもよく、または分散化されてもよい。そのような情報は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、もしくはインターネット、有線もしくは無線データリンク、電磁気信号、またはその他のデータ通信チャネルのような通信ネットワークを経由して、複数の異なる機能ユニット間で交換され得る。
例えば、プロセスまたはブロックが所与の順序で提示されているが、複数の代替例が、異なる順序で、複数のステップを有する複数のルーチンを実施してよく、または複数のブロックを有する複数のシステムを採用してもよい。また、いくつかのプロセスまたはブロックが、削除され、移動され、追加され、細分化され、組み合わせられ、および/または修正されて、代替物またはサブコンビネーションを提供してよい。これらプロセスまたはブロックのそれぞれが、様々な異なる手法で実装されてよい。また、場合によっては複数のプロセスまたはブロックが連続して実施されるものとして示されているが、これらプロセスまたはブロックは、そうではなく並列に実施されてよく、または異なる複数の時点で実施されてよい。
加えて、場合によっては複数の要素が順次に実施されるものとして示されているが、そうではなくそれらが同時にまたは異なる順序で実施されてよい。したがって、以下の請求項が、そのような変形例全てを、意図されている範囲内にあるものとして含むように解釈されることが意図されている。
ソフトウェアおよび他のモジュールは、サーバ、ワークステーション、パーソナルコンピュータ、タブレットコンピュータ、画像データエンコーダ、画像データデコーダ、PDA、カラーグレーディングツール、動画プロジェクタ、AVレシーバ、ディスプレイ(テレビなど)、デジタルシネマプロジェクタ、メディアプレーヤ、および本明細書に記載の目的に好適な他のデバイス上に存在してよい。当業者は、本システムの複数の態様が、インターネット機器、携帯用デバイス(パーソナルデジタルアシスタント(PDA)を含む)、ウェアラブルコンピュータ、あらゆる態様のセルラーまたは携帯電話、マルチプロセッサシステム、マイクロプロセッサベースのまたはプログラミング可能な民生用電子機器(例えば、動画プロジェクタ、AVレシーバ、テレビおよびそれに類するもののようなディスプレイ、)、セットトップボックス、ネットワークPC、小型コンピュータ、メインフレームコンピュータ、およびそれに類するものを含む、その他の通信、データ処理、またはコンピュータシステム構成で実施され得ることを理解するであろう。
本発明は、プログラム製品の形態で提供されてもよい。プログラム製品は、データプロセッサにより実行された場合にそのデータプロセッサに本発明の方法を実行させる複数のコンピュータ可読命令のセットを保持する、任意の非一時的媒体を含んでよい。本発明に係るプログラム製品は、多種多様な形態のうちのいずれであってもよい。プログラム製品は例えば、フロッピー(登録商標)ディスクを含む磁気データ記憶媒体、ハードディスクドライブ、CD−ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAM、EPROMを含む電子データ記憶媒体、実配線で接続された、または事前にプログラミングされたチップ(例えば、EEPROM半導体チップ)、ナノテクノロジーメモリ、またはそれに類するもののような非一時的媒体を含んでよい。プログラム製品上のコンピュータ可読信号は、任意選択的に圧縮または暗号化されてよい。
いくつかの実施形態において、本発明は、ソフトウェアに実装されてよい。より明確にするために、「ソフトウェア」は、プロセッサ上で実行される任意の命令を含み、ファームウェア、常駐ソフトウェア、マイクロコード、およびそれに類するものを含んでよい(が、これらに限定されない)。処理ハードウェアおよび処理ソフトウェアの両方は、当業者に知られているように、その全体または一部が、集中化または分散化されてよい(またはそれらの組み合わせであってよい)。例えば、ソフトウェアおよび他のモジュールは、ローカルのメモリを介して、ネットワークを介して、分散化されたコンピューティング環境ではブラウザもしくは他のアプリケーションを介して、または上述の目的に好適な他の手段を介してアクセス可能であってよい。いくつかの実施形態において、画像データは、ソフトウェア命令を実行するプロセッサにより処理されて、位相変調器の制御信号が得られる。このソフトウェアは、いくつかの実施形態(他の実施形態でも可能)において、リアルタイムで実行してよい。
コンポーネント(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等)について上記で言及する場合、他に指示のない限り、そのコンポーネントについての言及(「手段」についての言及を含む)は、例示されている本発明の例示的な実施形態においてその記載のコンポーネントの機能を実施する開示の構造物と構造的に等価なコンポーネントを含め、その機能を実施する(すなわち、機能的に等価である)任意のコンポーネントを、そのコンポーネントの等価物として含むものとして解釈されるべきである。
システム、方法、および装置の具体的な例は、例示の目的で本明細書に記載されている。これらは、単に例である。本明細書で提供される技術は、上述の例示的なシステム以外のシステムに適用され得る。多くの変更、修正、追加、省略、および置換が、本発明の実施の範囲内で可能である。本発明は、当業者にとって明らかであろう、記載の実施形態の変形例を含む。それら変形例は、特徴、要素、および/または動作を等価的な特徴、要素、および/または動作で置き換えること、異なる実施形態からの特徴、要素、および/または動作をミックスし、一致させること、本明細書に記載の実施形態からの特徴、要素、および/または動作を、他の技術の特徴、要素、および/または動作と組み合わせること、および/または、記載の実施形態から、特徴、要素、および/または動作を組み合わせることを省略することによって得られる変形例を含む。
したがって、以下の添付の請求項、および今後導入される請求項は、合理的に推定され得るあらゆるそのような修正、置換、追加、省略、およびサブコンビネーションを含むものとして解釈されることが意図されている。請求項の範囲は、複数の例に記載されている複数の好ましい実施形態によって限定されるべきではなく、全体として説明に沿う最も広い解釈が与えられるべきである。
したがって、以下の添付の請求項、および今後導入される請求項は、合理的に推定され得るあらゆるそのような修正、置換、追加、省略、およびサブコンビネーションを含むものとして解釈されることが意図されている。請求項の範囲は、複数の例に記載されている複数の好ましい実施形態によって限定されるべきではなく、全体として説明に沿う最も広い解釈が与えられるべきである。
[項目1]
画像データにより定義されるターゲット光パターンを表示するよう位相変調器を制御するための方法であって、
レンズ面内の複数の領域についての上記位相変調器により適用される位相差を表す位相関数p(x)に対応する複数の歪みにより上記ターゲット光パターンからワーピングされた、ワーピング済み画像を、上記画像データに基づいて初期化する段階と、
複数回の反復を実施することにより上記位相関数および上記ワーピング済み画像を精密化する段階であって、上記複数回の反復のそれぞれは、
更新済み位相関数を得る最適化を実施することにより上記位相関数を更新するステップであって、上記更新済み位相関数は、上記ワーピング済み画像と上記ワーピング済み画像内の複数の点での上記位相関数により提供される倍率の逆数との間の差分測度を低減させる、ステップと、
上記更新済み位相関数p(x)により生じる歪みu(x)を用いて、上記ターゲット光パターンを上記レンズ面上へとワーピングして、更新済みワーピング済み画像を得るステップとを含む、段階と
を備える、方法。
[項目2]
上記差分測度は、上記ワーピング済み画像の複数のピクセルと上記ワーピング済み画像内の上記複数の点での上記倍率の複数の逆数との間の複数の差分の二乗和を含む、項目1に記載の方法。
[項目3]
上記位相関数を更新する上記段階は、上記ワーピング済み画像の複数のピクセルと、
の対応する複数の値との間の複数の差分を計算する段階を含む、項目1または2に記載の方法。
[項目4]
上記位相関数を更新する上記段階は、上記ワーピング済み画像の複数のピクセルと、
の対応する複数の値との間の複数の差分を計算する段階を含む、項目1または2に記載の方法。
[項目5]
上記位相関数を更新する上記ステップは、線形最小二乗問題を解く段階を含む、項目1から3のいずれか一項に記載の方法。
[項目6]
上記線形最小二乗問題は、離散ラプラス演算子を含むシステム行列を含む、項目5に記載の方法。
[項目7]
上記位相関数を更新する上記ステップは、
を解く段階を含む、項目1に記載の方法。
[項目8]
上記最適化を実施する段階は、共役勾配法(CG)、BICGSTAB法、および準最小残差法(QMR)からなる群から選択されるアルゴリズムを適用する段階を含む、項目4から6のいずれか一項に記載の方法。
[項目9]
像面におけるターゲット強度を上記レンズ面上へと後方ワーピングする上記ステップは、テクスチャマッピングオペレーションを実施する段階を含む、項目1から7のいずれか一項に記載の方法。
[項目10]
上記テクスチャマッピングオペレーションは、グラフィックスプロセッサユニットで実施される、項目9に記載の方法。
[項目11]
像面におけるターゲット強度を上記レンズ面上へと後方ワーピングする上記ステップは、
を計算する段階を含む、項目8または9に記載の方法。
[項目12]
像面で画像内のボケをモデル化する段階と、上記ボケを少なくとも部分的に補償するための振幅変調器の複数の制御値を生成する段階とを備える、項目1から11のいずれか一項に記載の方法。
[項目13]
上記位相関数に従って上記位相変調器を制御することおよび上記位相変調器に光を照明することにより、上記ターゲット光パターンを表示する段階を含む、項目1から12のいずれか一項に記載の方法。
[項目14]
上記光は、広帯域光である、項目13に記載の方法。
[項目15]
上記広帯域光は、白色光である、項目14に記載の方法。
[項目16]
上記光は、単色である、項目13に記載の方法。
[項目17]
上記光は、レーザ光である、項目13または16に記載の方法。
[項目18]
上記光は、コリメートされている、項目13から17のいずれか一項に記載の方法。
[項目19]
上記光は、上記レンズ面の法線方向から上記位相変調器に入射する、項目18に記載の方法。
[項目20]
上記ターゲット光パターンは、光の1または複数の輝点を含む、項目1から19のいずれか一項に記載の方法。
[項目21]
光の上記1または複数の輝点を移動させるよう、上記位相変調器に適用される上記位相関数を制御する段階を含む、項目20に記載の方法。
[項目22]
光の上記1または複数の輝点は、像面で均一照明の最大強度を超える強度を有する、項目20または21に記載の方法。
[項目23]
上記位相変調器の解像度は、少なくとも1メガピクセルである、項目1から22のいずれか一項に記載の方法。
[項目24]
上記位相変調器は、少なくとも5メガピクセルを含む、項目23に記載の方法。
[項目25]
上記ターゲット光パターンは、像面内の像域を占有し、上記位相変調器上の任意の点から上記像域の境界上の任意の点へと向けられた光線は、上記位相変調器上の上記任意の点からの上記位相変調器の法線と角度θをなし、|θ|≦12°である、項目1から24のいずれか一項に記載の方法。
[項目26]
上記レンズ面内の複数の点に対する開口数は、近軸近似が1%以内までで成り立つような開口数である、項目1から24のいずれか一項に記載の方法。
[項目27]
上記ワーピング済み画像を初期化する段階は、上記ワーピング済み画像を上記ターゲット光パターンと同一となるよう設定する段階を含む、項目1から26のいずれか一項に記載の方法。
[項目28]
上記位相変調器は、液晶位相変調器を含む、項目1から27のいずれか一項に記載の方法。
[項目29]
上記位相変調器は、LCoSデバイスを含む、項目28に記載の方法。
[項目30]
上記位相変調器は、可変ミラーを含む、項目1から27のいずれか一項に記載の方法。
[項目31]
上記画像データは、少なくとも20フレーム毎秒のフレームレートを有する動画データを含む、項目1から30のいずれか一項に記載の方法。
[項目32]
上記動画データは、フレーム毎に異なるターゲット光パターンを提供し、上記方法は、フレーム毎に異なる位相関数を算出する段階を備える、項目31に記載の方法。
[項目33]
複数の上記異なる位相関数をリアルタイムで算出する段階を備える、項目32に記載の方法。
[項目34]
上記位相関数および上記ワーピング済み画像を精密化する段階は、上記複数回の反復のうちの10回またはそれより少ない反復において実施される、項目1から33のいずれか一項に記載の方法。
[項目35]
上記位相関数および上記ワーピング済み画像を精密化する段階は、上記複数回の反復のうちの一定回数の反復において実施される、項目1から34のいずれか一項に記載の方法。
[項目36]
上記位相関数および上記ワーピング済み画像を1または複数のグラフィックスプロセッサユニット内で並列に精密化する1または複数のステップを実行する段階を備える、項目1から35のいずれか一項に記載の方法。
[項目37]
上記位相関数および上記ワーピング済み画像を周波数ドメインにおいて精密化する少なくともいくつかのステップを実施する段階を備える、項目1から35のいずれか一項に記載の方法。
[項目38]
最適化関数を生成する段階と、上記ワーピング済み画像にフーリエ変換を実施する段階と、上記ワーピング済み画像の上記フーリエ変換を用いて上記周波数ドメインにおいて上記位相関数を生成する段階と、上記位相関数に逆フーリエ変換を実施する段階とを備える、項目37に記載の方法。
[項目39]
上記フーリエ変換を実施するハードウェア内で上記フーリエ変換を実施する段階を備える、項目38に記載の方法。
[項目40]
上記周波数ドメインにおける複数の上記ステップを実施する前に、周期境界条件を有するよう上記画像データを拡張する段階を備える、項目37から39のいずれか一項に記載の方法。
[項目41]
上記画像データを拡張する段階は、上記画像データの各境界を横断して上記画像データの鏡像を作成する段階を含む、項目40に記載の方法。
[項目42]
上記位相変調器により変調される光の強度を補正するための、空間光変調器の複数の制御信号を生成する段階を備える、項目1から41のいずれか一項に記載の方法。
[項目43]
第1の空間解像度で上記複数回の反復のうちの1回または複数回の反復を実施する段階と、上記複数回の反復のうちの上記1回または複数回の反復により得られた上記更新済み位相関数をアップサンプリングする段階とを備える、項目1から42のいずれか一項に記載の方法。
[項目44]
上記更新済み位相関数をアップサンプリングする段階の後に、上記第1の空間解像度より高い第2の空間解像度で上記複数回の反復のうちの1回または複数回の追加的な反復を実施する段階を備える、項目43に記載の方法。
[項目45]
上記画像データは、動画データを含み、上記ターゲット光パターンは、上記画像データの複数のフレームのうちの1フレームについて定義され、異なる複数のターゲット光パターンは、上記画像データの他の複数のフレームについて上記画像データ内で定義される、項目1から44のいずれか一項に記載の方法。
[項目46]
画像データにより定義されるターゲット光パターンを表示するよう位相変調器を制御するための装置であって、上記装置は、上記位相変調器と通信するデータプロセッサを備え、上記データプロセッサは、
上記画像データを入力として受信し、
レンズ面内の複数の領域についての上記位相変調器により適用される位相差を表す位相関数p(x)に対応する複数の歪みにより上記ターゲット光パターンからワーピングされた、ワーピング済み画像を、上記画像データに基づいて初期化し、
複数回の反復を実施することにより上記位相関数および上記ワーピング済み画像を精密化し、
精密化された上記位相関数に基づいて、上記位相変調器の複数の制御信号を生成し、
上記複数回の反復のそれぞれは、
更新済み位相関数を得る最適化を実施することにより上記位相関数を更新するステップであって、上記更新済み位相関数は、上記ワーピング済み画像と上記ワーピング済み画像内の複数の点での上記位相関数により提供される倍率の逆数との間の差分測度を低減させる、ステップと、
上記更新済み位相関数p(x)により生じる歪みu(x)を用いて、上記ターゲット光パターンを上記レンズ面上へとワーピングして、更新済みワーピング済み画像を得るステップとを含む、
装置。
[項目47]
上記差分測度は、上記ワーピング済み画像の複数のピクセルと上記ワーピング済み画像内の上記複数の点での上記倍率の複数の逆数との間の複数の差分の二乗和を含む、項目46に記載の装置。
[項目48]
上記位相関数を更新する上記ステップは、上記データプロセッサにより、上記ワーピング済み画像の複数のピクセルと、
の対応する複数の値との間の複数の差分を計算することを含む、項目46または47に記載の装置。
[項目49]
上記位相関数を更新する上記ステップは、上記データプロセッサにより、上記ワーピング済み画像の複数のピクセルと、
の対応する複数の値との間の複数の差分を計算することを含む、項目46または47に記載の装置。
[項目50]
上記位相関数を更新する上記ステップは、上記データプロセッサにより、線形最小二乗問題を解くことを含む、項目46から48のいずれか一項に記載の装置。
[項目51]
上記線形最小二乗問題は、離散ラプラス演算子を含むシステム行列を含む、項目50に記載の装置。
[項目52]
上記位相関数を更新する上記ステップは、上記データプロセッサにより、
を解くことを含む、項目46に記載の装置。
[項目53]
上記最適化を実施することは、上記データプロセッサにより、共役勾配法(CG)、BICGSTAB法、および準最小残差法(QMR)からなる群から選択されるアルゴリズムを適用することを含む、項目49から51のいずれか一項に記載の装置。
[項目54]
像面におけるターゲット強度を上記レンズ面上へと後方ワーピングする上記ステップは、テクスチャマッピングオペレーションを実施することを含む、項目46から52のいずれか一項に記載の装置。
[項目55]
グラフィックスプロセッサユニットを備え、上記テクスチャマッピングオペレーションは、上記グラフィックスプロセッサユニットで実施される、項目54に記載の装置。
[項目56]
像面におけるターゲット強度を上記レンズ面上へと後方ワーピングする上記ステップは、上記データプロセッサにより、
を計算することを含む、項目53または54に記載の装置。
[項目57]
上記データプロセッサは、像面で画像内のボケをモデル化し、上記ボケを少なくとも部分的に補償するための振幅変調器の複数の制御値を生成する、項目46から56のいずれか一項に記載の装置。
[項目58]
上記位相変調器と、上記位相変調器上に光を投影するための光源とを備え、上記データプロセッサは、上記位相関数に従って上記位相変調器を制御することおよび上記位相変調器に光を照明するよう上記光源を制御することにより、上記ターゲット光パターンを生成する、項目46から57のいずれか一項に記載の装置。
[項目59]
上記光は、広帯域光である、項目58に記載の装置。
[項目60]
上記広帯域光は、白色光である、項目59に記載の装置。
[項目61]
上記光は、単色である、項目58に記載の装置。
[項目62]
上記光は、レーザ光である、項目59または61に記載の装置。
[項目63]
上記光は、コリメートされている、項目58から62のいずれか一項に記載の装置。
[項目64]
上記光源は、上記レンズ面の法線方向から上記位相変調器に入射する光を投影する、項目63に記載の装置。
[項目65]
上記位相変調器の解像度は、少なくとも1メガピクセルである、項目58から64のいずれか一項に記載の装置。
[項目66]
上記位相変調器の上記解像度は、少なくとも5メガピクセルである、項目65に記載の装置。
[項目67]
上記ターゲット光パターンは、像面内の像域を占有し、上記位相変調器上の任意の点から上記像域の境界上の任意の点へと向けられた光線は、上記位相変調器上の上記任意の点からの上記位相変調器の法線と角度θをなし、|θ|≦12°である、項目58から66のいずれか一項に記載の装置。
[項目68]
上記位相変調器は、液晶位相変調器を含む、項目58から67のいずれか一項に記載の装置。
[項目69]
上記位相変調器は、LCoSデバイスを含む、項目68に記載の装置。
[項目70]
上記位相変調器は、可変ミラーを含む、項目58から67のいずれか一項に記載の装置。
[項目71]
上記ターゲット光パターンは、光の1または複数の輝点を含む、項目46から70のいずれか一項に記載の装置。
[項目72]
上記データプロセッサは、光の上記1または複数の輝点を移動させるよう、上記位相変調器に適用される上記位相関数を制御する、項目71に記載の装置。
[項目73]
光の上記1または複数の輝点は、像面で均一照明の最大強度を超える強度を有する、項目71または72に記載の装置。
[項目74]
上記レンズ面内の複数の点に対する開口数は、近軸近似が1%以内までで成り立つような開口数である、項目46から73のいずれか一項に記載の装置。
[項目75]
上記データプロセッサが、上記ワーピング済み画像を初期化することは、上記データプロセッサが、上記ワーピング済み画像を上記ターゲット光パターンと同一になるよう設定することを含む、項目46から74のいずれか一項に記載の装置。
[項目76]
上記画像データは、少なくとも20フレーム毎秒のフレームレートを有する動画データを含む、項目46から75のいずれか一項に記載の装置。
[項目77]
上記動画データは、フレーム毎に異なるターゲット光パターンを提供し、上記データプロセッサは、フレーム毎に異なる位相関数を算出する、項目76に記載の装置。
[項目78]
上記データプロセッサは、複数の上記異なる位相関数をリアルタイムで算出する、項目77に記載の装置。
[項目79]
上記データプロセッサは、10回またはそれより少ない反復において上記位相関数および上記ワーピング済み画像を精密化する、項目46から78のいずれか一項に記載の装置。
[項目80]
上記データプロセッサは、上記複数回の反復のうちの一定回数の反復において上記位相関数および上記ワーピング済み画像を精密化する、項目46から78のいずれか一項に記載の装置。
[項目81]
1または複数のグラフィックスプロセッサユニットを備え、上記データプロセッサは、上記位相関数および上記ワーピング済み画像を上記1または複数のグラフィックスプロセッサユニット内で並列に精密化する1または複数のステップを実行する、項目46から78のいずれか一項に記載の装置。
[項目82]
上記データプロセッサは、上記位相関数および上記ワーピング済み画像を周波数ドメインにおいて精密化する少なくともいくつかのステップを実施する、項目46から80のいずれか一項に記載の装置。
[項目83]
上記データプロセッサは、上記ワーピング済み画像にフーリエ変換を実施し、上記ワーピング済み画像の上記フーリエ変換を用いて上記周波数ドメインにおいて上記位相関数を生成し、上記位相関数に逆フーリエ変換を実施する、項目82に記載の装置。
[項目84]
ハードウェアフーリエ変換デバイスを備え、上記データプロセッサは、上記フーリエ変換を実施するよう上記フーリエ変換デバイスを制御する、項目83に記載の装置。
[項目85]
空間光変調器を備え、上記データプロセッサは、上記位相変調器により変調される光の強度を補正するための複数の制御信号を上記空間光変調器に適用する、項目46から84のいずれか一項に記載の装置。
[項目86]
上記データプロセッサは、上記周波数ドメインにおける複数の上記ステップを実施する前に、周期境界条件を有するよう上記画像データを拡張する、項目82から84のいずれか一項に記載の装置。
[項目87]
上記画像データを拡張することは、上記画像データの各境界を横断して上記画像データの鏡像を作成することを含む、項目86に記載の装置。
[項目88]
上記位相変調器により変調される光の強度を補正するための、空間光変調器の複数の制御信号を生成することを備える、項目46から87のいずれか一項に記載の装置。
[項目89]
上記データプロセッサは、第1の空間解像度で上記複数回の反復のうちの1回または複数回の反復を実施し、上記複数回の反復のうちの上記1回または複数回の反復により得られた上記更新済み位相関数をアップサンプリングする、項目46から88のいずれか一項に記載の装置。
[項目90]
上記データプロセッサは、上記更新済み位相関数をアップサンプリングした後に、上記第1の空間解像度より高い第2の空間解像度で上記複数回の反復のうちの1回または複数回の追加的な反復を実施する、項目89に記載の装置。
[項目91]
上記画像データは、動画データを含み、上記ターゲット光パターンは、上記画像データの複数のフレームのうちの1フレームについて定義され、異なる複数のターゲット光パターンは、上記画像データの他の複数のフレームについて上記画像データ内で定義される、項目46から90のいずれか一項に記載の装置。
[項目92]
ターゲット光パターンを定義する画像データから位相変調器の複数の制御値を生成するための方法であって、
上記ターゲット光パターンにおける複数の点と上記位相変調器上の対応する複数の点との間の写像を確定する段階と、
上記写像を用いて、上記ターゲット光パターンを上記位相変調器の座標空間へと写像することにより、上記複数の制御値を含む位相関数pを導出する段階と、
写像された上記ターゲット光パターンを、上記位相変調器の上記座標空間において処理する段階と
を備える、方法。
[項目93]
写像された上記ターゲット光パターンを処理する段階は、上記位相変調器上の上記複数の点での写像された上記ターゲット光パターンにおける強度と、上記複数の点の近傍における上記位相関数の対応する光学特性との比較に基づいて、試行位相関数を最適化する段階を含む、項目92に記載の方法。
[項目94]
上記対応する光学特性は、倍率を含む、項目93に記載の方法。
[項目95]
対応する複数の点での上記位相関数のラプラシアンに基づいて、上記光学特性を決定する段階を備える、項目93または94に記載の方法。
[項目96]
離散ラプラシアン演算子を用いて、上記位相関数の上記ラプラシアンを決定する段階を含む、項目95に記載の方法。
[項目97]
所定のフレームレートで表示するための複数の動画フレームを特定する動画データを表示するための方法であって、
上記動画データをリアルタイムで処理して、上記フレームレートでの一連の位相変調器制御信号を得る段階と、
複数の上記位相変調器制御信号を、照明された2次元空間位相変調器に適用する段階と、
得られた位相変調光を視域へと向ける段階と
を備える、方法。
[項目98]
上記位相変調光をさらに振幅変調する段階を備える、項目97に記載の方法。
[項目99]
上記位相変調光をさらに振幅変調する段階は、上記位相変調光の経路にある空間光変調器を制御する段階を含む、項目98に記載の方法。
[項目100]
上記位相変調光におけるボケを計算する段階と、上記ボケを低減するよう上記空間光変調器を制御する段階とを備える、項目99に記載の方法。
[項目101]
上記動画データを処理する段階は、
ターゲット光パターンにおける複数の点と光変調器上の対応する複数の点との間の写像を確定する段階と、
上記写像を用いて、上記ターゲット光パターンを上記位相変調器の座標空間へと写像することにより、複数の制御値を含む位相関数pを導出する段階と、
写像された上記ターゲット光パターンを、上記位相変調器の上記座標空間において処理する段階と
を含む、項目97から100のいずれか一項に記載の方法。
[項目102]
写像された上記ターゲット光パターンを処理する段階は、上記位相変調器上の上記複数の点での写像された上記ターゲット光パターンにおける強度と、上記複数の点の近傍における上記位相関数の対応する光学特性との比較に基づいて、試行位相関数を最適化する段階を含む、項目101に記載の方法。
[項目103]
上記対応する光学特性は、倍率を含む、項目102に記載の方法。
[項目104]
対応する複数の点での上記位相関数のラプラシアンに基づいて、上記光学特性を決定する段階を備える、項目102または103に記載の方法。
[項目105]
離散ラプラシアン演算子を用いて、上記位相関数の上記ラプラシアンを決定する段階を含む、項目104に記載の方法。
[項目106]
上記動画データを処理する段階は、周波数ドメインにおいて実施される、項目97から102のいずれか一項に記載の方法。
[項目107]
上記動画データを処理する段階は、最適化関数を生成する段階と、上記最適化関数にフーリエ変換を実施する段階と、上記周波数ドメインにおいて位相関数を生成する段階と、上記位相関数に逆フーリエ変換を実施する段階とを含む、項目106に記載の方法。
[項目108]
上記フーリエ変換を実施するハードウェア内で上記フーリエ変換を実施する段階を備える、項目107に記載の方法。
[項目109]
上記位相変調器は、最大位相遅延を有し、上記方法は、上記位相変調器の上記最大位相遅延を超える上記位相関数の位相差を、2πの倍数で減算する段階を備える、項目92から96および101から108のいずれか一項に記載の方法。
[項目110]
画像データにより定義される画像を表示するよう位相変調器を制御するための方法であって、
上記画像データに基づいて目的関数を決定する段階と、
上記目的関数を周波数空間へと変換する段階と、
変換された上記目的関数を上記周波数空間において最小化して、位相関数を上記周波数空間において得る段階と、
上記位相関数を逆変換して、上記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る段階と
を備える、方法。
[項目111]
上記目的関数を変換する段階は、上記目的関数のフーリエ変換を計算する段階を含む、項目110に記載の方法。
[項目112]
変換する段階の前に、周期境界条件を有するよう上記画像データを拡張する段階と、上記目的関数を拡張された上記画像データに基づかせる段階とを含む、項目111に記載の方法。
[項目113]
上記画像データを拡張する段階は、上記画像データの各境界を横断して上記画像データの鏡像を作成する段階を含む、項目112に記載の方法。
[項目114]
上記目的関数は、最小二乗目的関数である、項目110から113のいずれか一項に記載の方法。
[項目115]
上記目的関数は、入力引数から外れさせるコストを含む、項目110から114のいずれか一項に記載の方法。
[項目116]
上記方法は、反復的に実施され、複数回の反復のそれぞれにおいて、上記目的関数に対する入力引数は、前の反復の上記解となる位相関数である、項目110から115のいずれか一項に記載の方法。
[項目117]
上記前の反復の上記解となる位相関数のフーリエ変換をキャッシュする段階と、上記解となる位相関数のキャッシュされた上記フーリエ変換を現在の反復において適用する段階とを備える、項目116に記載の方法。
[項目118]
上記目的関数は、
により与えられる近接演算子を含む、項目110から117のいずれか一項に記載の方法。
[項目119]
変換された上記目的関数を評価する段階は、
を決定する段階を含む、項目118に記載の方法。
[項目120]
である、項目119に記載の方法。
[項目121]
である、項目119または120に記載の方法。
[項目122]
α>0が正則化パラメータである、項目119から121のいずれか一項に記載の方法。
[項目123]
上記方法は、位相面を定数値として初期化する段階を備える、項目110から122のいずれか一項に記載の方法。
[項目124]
変換された上記目的関数を評価する段階は、異なる複数の点について並列に実施される、項目110から123のいずれか一項に記載の方法。
[項目125]
評価する段階は、グラフィックスプロセッシングユニット内で実施される、項目124に記載の方法。
[項目126]
上記位相変調器を照明しつつ、上記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、上記画像を表示する段階を備える、項目110から125のいずれか一項に記載の方法。
[項目127]
上記位相変調器にコリメート光を均等に照明する段階を備える、項目126に記載の方法。
[項目128]
上記位相変調器は、複数の液晶ピクセルのアレイを含み、上記方法は、上記解となる位相関数に従って上記複数の液晶ピクセルに複数の制御信号を設定する段階を含む、項目126または127に記載の方法。
[項目129]
上記位相変調器は、LCoS位相変調器である、項目128に記載の方法。
[項目130]
上記位相変調器は、可変形状ミラーである、項目110に記載の方法。
[項目131]
上記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、項目126から130のいずれか一項に記載の方法。
[項目132]
上記位相変調器は、最大位相遅延を有し、上記方法は、上記位相変調器の上記最大位相遅延を超える上記位相関数の位相差を、2πの倍数で減算する段階を備える、項目110から131のいずれか一項に記載の方法。
[項目133]
画像データにより定義される画像を表示するよう位相変調器を制御するための方法であって、
上記画像データに基づいて不動点反復を決定する段階と、
上記不動点反復を周波数空間へと変換する段階と、
上記不動点反復を上記周波数空間において評価して、位相関数を上記周波数空間において得る段階と、
上記位相関数を逆変換して、上記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る段階と
を備える、方法。
[項目134]
上記不動点反復を変換する段階は、上記不動点反復のフーリエ変換を計算する段階を含む、項目133に記載の方法。
[項目135]
変換する段階の前に、周期境界条件を有するよう上記画像データを拡張する段階と、上記不動点反復を拡張された上記画像データに基づかせる段階とを含む、項目134に記載の方法。
[項目136]
上記画像データを拡張する段階は、上記画像データの各境界を横断して上記画像データの鏡像を作成する段階を含む、項目135に記載の方法。
[項目137]
上記不動点反復は、最小二乗不動点反復である、項目133から136のいずれか一項に記載の方法。
[項目138]
上記不動点反復は、入力引数から外れさせるコストを含む、項目133から137のいずれか一項に記載の方法。
[項目139]
上記方法は、反復的に実施され、複数回の反復のそれぞれにおいて、上記不動点反復に対する入力引数は、前の反復の上記解となる位相関数である、項目133から138のいずれか一項に記載の方法。
[項目140]
上記前の反復の上記解となる位相関数のフーリエ変換をキャッシュする段階と、上記解となる位相関数のキャッシュされた上記フーリエ変換を現在の反復において適用する段階とを備える、項目139に記載の方法。
[項目141]
上記不動点反復は、
により与えられる近接演算子を含む、項目133から140のいずれか一項に記載の方法。
[項目142]
変換された上記不動点反復を評価する段階は、
を決定する段階を含む、項目141に記載の方法。
[項目143]
である、項目142に記載の方法。
[項目144]
である、項目142または143に記載の方法。
[項目145]
α>0が正則化パラメータである、項目143または144に記載の方法。
[項目146]
上記方法は、位相面を定数値として初期化する段階を備える、項目133から145のいずれか一項に記載の方法。
[項目147]
変換された上記不動点反復を評価する段階は、異なる複数の点について並列に実施される、項目133から146のいずれか一項に記載の方法。
[項目148]
評価する段階は、グラフィックスプロセッシングユニット内で実施される、項目147に記載の方法。
[項目149]
上記位相変調器を照明しつつ、上記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、上記画像を表示する段階を備える、項目133から148のいずれか一項に記載の方法。
[項目150]
上記位相変調器にコリメート光を均等に照明する段階を備える、項目149に記載の方法。
[項目151]
上記位相変調器は、複数の液晶ピクセルのアレイを含み、上記方法は、上記解となる位相関数に従って上記複数の液晶ピクセルに複数の制御信号を設定する段階を含む、項目149または150に記載の方法。
[項目152]
上記位相変調器は、LCoS位相変調器である、項目151に記載の方法。
[項目153]
上記位相変調器は、可変形状ミラーである、項目151に記載の方法。
[項目154]
上記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、項目149から153のいずれか一項に記載の方法。
[項目155]
上記位相変調器は、最大位相遅延を有し、上記方法は、上記位相変調器の上記最大位相遅延を超える上記位相関数の位相差を、2πの倍数で減算する段階を備える、項目133から154のいずれか一項に記載の方法。
[項目156]
ターゲット光パターンを定義する画像データから位相変調器の複数の制御値を生成するための装置であって、上記装置は、上記位相変調器と通信するデータプロセッサを備え、上記データプロセッサは、
上記ターゲット光パターンにおける複数の点と上記位相変調器上の対応する複数の点との間の写像を確定し、
上記写像を用いて、上記ターゲット光パターンを上記位相変調器の座標空間へと写像することにより、上記複数の制御値を含む位相関数pを導出し、
写像された上記ターゲット光パターンを、上記位相変調器の上記座標空間において処理する、装置。
[項目157]
上記データプロセッサが、写像された上記ターゲット光パターンを処理することは、上記データプロセッサが、上記位相変調器上の上記複数の点での写像された上記ターゲット光パターンにおける強度と、上記複数の点の近傍における上記位相関数の対応する光学特性との比較に基づいて、試行位相関数を最適化することを含む、項目156に記載の装置。
[項目158]
上記対応する光学特性は、倍率を含む、項目157に記載の装置。
[項目159]
上記データプロセッサは、対応する複数の点での上記位相関数のラプラシアンに基づいて、上記光学特性を決定する、項目157または158に記載の装置。
[項目160]
上記データプロセッサは、離散ラプラシアン演算子を用いて、上記位相関数の上記ラプラシアンを決定する、項目159に記載の装置。
[項目161]
所定のフレームレートで表示するための複数の動画フレームを特定する動画データを表示するための装置であって、
上記動画データをリアルタイムで処理して、上記フレームレートでの一連の位相変調器制御信号を得て、
複数の上記位相変調器制御信号を、照明された2次元空間位相変調器に適用し、
得られた位相変調光を視域へと向けるよう上記空間位相変調器を制御する
データプロセッサを備える、装置。
[項目162]
上記データプロセッサは、上記位相変調光を振幅変調するよう、上記位相変調光の経路にある空間光変調器を制御する、項目161に記載の装置。
[項目163]
上記データプロセッサは、上記位相変調光におけるボケを計算し、上記ボケを低減するよう上記空間光変調器を制御する、項目162に記載の装置。
[項目164]
上記データプロセッサが、上記動画データを処理することは、上記データプロセッサが、
ターゲット光パターンにおける複数の点と光変調器上の対応する複数の点との間の写像を確定し、
上記写像を用いて、上記ターゲット光パターンを上記位相変調器の座標空間へと写像することにより、複数の制御値を含む位相関数pを導出し、
写像された上記ターゲット光パターンを、上記位相変調器の上記座標空間において処理することを含む、項目161から163のいずれか一項に記載の装置。
[項目165]
上記データプロセッサが、写像された上記ターゲット光パターンを処理することは、上記データプロセッサが、上記位相変調器上の上記複数の点での写像された上記ターゲット光パターンにおける強度と、上記複数の点の近傍における上記位相関数の対応する光学特性との比較に基づいて、試行位相関数を最適化することを含む、項目164に記載の装置。
[項目166]
上記対応する光学特性は、倍率を含む、項目165に記載の装置。
[項目167]
上記データプロセッサは、対応する複数の点での上記位相関数のラプラシアンに基づいて、上記光学特性を決定する、項目165または166に記載の装置。
[項目168]
上記データプロセッサは、離散ラプラシアン演算子を用いて、上記位相関数の上記ラプラシアンを決定する、項目167に記載の装置。
[項目169]
上記データプロセッサは、周波数ドメインにおいて上記動画データを処理する、項目161から165のいずれか一項に記載の装置。
[項目170]
上記データプロセッサが、上記動画データを処理することは、データプロセッサが、
最適化関数を生成し、
上記最適化関数にフーリエ変換を実施することにより、上記周波数ドメインにおいて位相関数を生成し、
上記周波数ドメインにおいて上記位相関数に逆フーリエ変換を実施する
ことを含む、項目169に記載の装置。
[項目171]
上記フーリエ変換を実施するハードウェアを備え、上記データプロセッサは、上記フーリエ変換を実施するよう上記ハードウェアを制御する、項目170に記載の装置。
[項目172]
上記位相変調器は、最大位相遅延を有し、上記データプロセッサは、上記位相変調器の上記最大位相遅延を超える位相関数の位相差を、2πの倍数で減算する、項目161から165および169から171のいずれか一項に記載の装置。
[項目173]
画像データにより定義される画像を表示するよう位相変調器を制御するための装置であって、上記位相変調器と通信するデータプロセッサを備え、上記データプロセッサは、
上記画像データに基づいて目的関数を決定し、
上記目的関数を周波数空間へと変換し、
変換された上記目的関数を上記周波数空間において最小化して、位相関数を上記周波数空間において得て、
上記位相関数を逆変換して、上記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る、装置。
[項目174]
上記データプロセッサが、上記目的関数を変換することは、上記データプロセッサが、上記目的関数のフーリエ変換を計算することを含む、項目173に記載の装置。
[項目175]
上記データプロセッサは、変換することの前に、周期境界条件を有するよう上記画像データを拡張し、上記目的関数を拡張された上記画像データに基づかせる、項目174に記載の装置。
[項目176]
上記データプロセッサが、上記画像データを拡張することは、上記データプロセッサが、上記画像データの各境界を横断して上記画像データの鏡像を作成することを含む、項目175に記載の装置。
[項目177]
上記目的関数は、最小二乗目的関数である、項目173から176のいずれか一項に記載の装置。
[項目178]
上記目的関数は、入力引数から外れさせるコストを含む、項目173から177のいずれか一項に記載の装置。
[項目179]
上記データプロセッサは、上記目的関数を反復的に決定し、上記目的関数を変換し、変換された上記目的関数を評価し、複数回の反復のそれぞれにおいて、上記目的関数に対する入力引数は、前の反復の上記解となる位相関数である、項目173から178のいずれか一項に記載の装置。
[項目180]
上記データプロセッサは、上記前の反復の上記解となる位相関数のフーリエ変換をキャッシュし、上記解となる位相関数のキャッシュされた上記フーリエ変換を現在の反復において適用する、項目179に記載の装置。
[項目181]
上記目的関数は、
により与えられる近接演算子を含む、項目173から180のいずれか一項に記載の装置。
[項目182]
上記データプロセッサが、変換された上記目的関数を評価することは、上記データプロセッサが、
を決定することを含む、項目181に記載の装置。
[項目183]
である、項目182に記載の装置。
[項目184]
である、項目182または183に記載の装置。
[項目185]
α>0が正則化パラメータである、項目182から184のいずれか一項に記載の装置。
[項目186]
上記データプロセッサは、位相面を定数値として初期化する、項目173から185のいずれか一項に記載の装置。
[項目187]
上記データプロセッサは、変換された上記目的関数を異なる複数の点について並列に評価する、項目173から186のいずれか一項に記載の装置。
[項目188]
上記データプロセッサは、グラフィックスプロセッシングユニットを含み、上記グラフィックスプロセッシングユニットは、変換された上記目的関数を評価する、項目187に記載の装置。
[項目189]
上記位相変調器と、上記位相変調器上に光を投影するための光源とを備え、上記データプロセッサは、上記位相変調器を照明するよう上記光源を制御しつつ、上記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、上記画像を表示するよう上記位相変調器を制御する、項目173から188のいずれか一項に記載の装置。
[項目190]
上記光源は、上記位相変調器にコリメート光を均等に照明する、項目189に記載の装置。
[項目191]
上記位相変調器は、複数の液晶ピクセルのアレイを含み、上記データプロセッサは、上記解となる位相関数に従って上記複数の液晶ピクセルに複数の制御信号を設定する、項目189または190に記載の装置。
[項目192]
上記位相変調器は、LCoS位相変調器である、項目191に記載の装置。
[項目193]
上記位相変調器は、可変形状ミラーである、項目191に記載の装置。
[項目194]
上記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、項目189から193のいずれか一項に記載の装置。
[項目195]
上記位相変調器は、最大位相遅延を有し、上記データプロセッサは、上記位相変調器の上記最大位相遅延を超える上記位相関数の任意の位相差を、2πの倍数で減算する、項目173から194のいずれか一項に記載の装置。
[項目196]
画像データにより定義される画像を表示するよう位相変調器を制御するための装置であって、上記位相変調器と通信するデータプロセッサを備え、上記データプロセッサは、
上記画像データに基づいて不動点反復を決定し、
上記不動点反復を周波数空間へと変換し、
上記不動点反復を上記周波数空間において評価して、位相関数を上記周波数空間において得て、
上記位相関数を逆変換して、上記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る、装置。
[項目197]
上記データプロセッサが、上記不動点反復を変換することは、上記データプロセッサが、上記不動点反復のフーリエ変換を計算することを含む、項目196に記載の装置。
[項目198]
上記データプロセッサは、変換することの前に、周期境界条件を有するよう上記画像データを拡張し、上記不動点反復を拡張された上記画像データに基づかせる、項目197に記載の装置。
[項目199]
上記データプロセッサが、上記画像データを拡張することは、上記データプロセッサが、上記画像データの各境界を横断して上記画像データの鏡像を作成することを含む、項目198に記載の装置。
[項目200]
上記不動点反復は、最小二乗不動点反復である、項目196から199のいずれか一項に記載の装置。
[項目201]
上記不動点反復は、入力引数から外れさせるコストを含む、項目196から200のいずれか一項に記載の装置。
[項目202]
上記データプロセッサは、上記不動点反復を反復的に決定し、上記不動点反復を変換し、変換された上記不動点反復を評価し、複数回の反復のそれぞれにおいて、上記不動点反復に対する入力引数は、前の反復の上記解となる位相関数である、項目196から201のいずれか一項に記載の装置。
[項目203]
上記データプロセッサは、上記前の反復の上記解となる位相関数のフーリエ変換をキャッシュし、上記解となる位相関数のキャッシュされた上記フーリエ変換を現在の反復において適用する、項目202に記載の装置。
[項目204]
上記不動点反復は、
により与えられる近接演算子を含む、項目196から203のいずれか一項に記載の装置。
[項目205]
上記データプロセッサが、変換された上記不動点反復を評価することは、上記データプロセッサが、
を決定することを含む、項目204に記載の装置。
[項目206]
である、項目205に記載の装置。
[項目207]
である、項目205または206に記載の装置。
[項目208]
α>0が正則化パラメータである、項目205から207のいずれか一項に記載の装置。
[項目209]
上記データプロセッサは、位相面を定数値として初期化する、項目196から208のいずれか一項に記載の装置。
[項目210]
上記データプロセッサは、変換された上記不動点反復を異なる複数の点について並列に評価する、項目196から209のいずれか一項に記載の装置。
[項目211]
上記データプロセッサは、グラフィックスプロセッシングユニットを含み、上記グラフィックスプロセッシングユニットは、変換された上記不動点反復を評価する、項目210に記載の装置。
[項目212]
上記位相変調器と、上記位相変調器上に光を投影するための光源とを備え、上記データプロセッサは、上記位相変調器を照明するよう上記光源を制御しつつ、上記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、上記画像を表示するよう上記位相変調器を制御する、項目196から211のいずれか一項に記載の装置。
[項目213]
上記光源は、上記位相変調器にコリメート光を均等に照明する、項目212に記載の装置。
[項目214]
上記位相変調器は、複数の液晶ピクセルのアレイを含み、上記データプロセッサは、上記解となる位相関数に従って上記複数の液晶ピクセルに複数の制御信号を設定する、項目212または213に記載の装置。
[項目215]
上記位相変調器は、LCoS位相変調器である、項目214に記載の装置。
[項目216]
上記位相変調器は、可変形状ミラーである、項目214に記載の装置。
[項目217]
上記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、項目212から216のいずれか一項に記載の装置。
[項目218]
上記位相変調器は、最大位相遅延を有し、上記データプロセッサは、上記位相変調器の上記最大位相遅延を超える上記位相関数の任意の位相差を、2πの倍数で減算する、項目196から217のいずれか一項に記載の装置。
[項目219]
画像データにより定義される画像を表示するよう位相変調器を制御するための方法であって、
上記画像データに基づいて目的関数の近接演算子を決定する段階と、
上記近接演算子を周波数空間へと変換する段階と、
変換された上記近接演算子を上記周波数空間において評価して、位相関数を上記周波数空間において得る段階と、
上記位相関数を逆変換して、上記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る段階と
を備える、方法。
[項目220]
上記近接演算子を変換する段階は、上記近接演算子のフーリエ変換を計算する段階を含む、項目219に記載の方法。
[項目221]
変換する段階の前に、周期境界条件を有するよう上記画像データを拡張する段階と、上記近接演算子を拡張された上記画像データに基づかせる段階とを含む、項目220に記載の方法。
[項目222]
上記画像データを拡張する段階は、上記画像データの各境界を横断して上記画像データの鏡像を作成する段階を含む、項目221に記載の方法。
[項目223]
上記目的関数は、最小二乗目的関数である、項目219から222のいずれか一項に記載の方法。
[項目224]
上記近接演算子は、入力引数から外れさせるコストを含む、項目219から223のいずれか一項に記載の方法。
[項目225]
上記方法は、反復的に実施され、複数回の反復のそれぞれにおいて、上記近接演算子に対する入力引数は、前の反復の上記解となる位相関数である、項目219から224のいずれか一項に記載の方法。
[項目226]
上記前の反復の上記解となる位相関数のフーリエ変換をキャッシュする段階と、上記解となる位相関数のキャッシュされた上記フーリエ変換を現在の反復において適用する段階とを備える、項目225に記載の方法。
[項目227]
上記近接演算子は、
により与えられる、項目219から226のいずれか一項に記載の方法。
[項目228]
変換された上記近接演算子を評価する段階は、
を決定する段階を含む、項目227に記載の方法。
[項目229]
である、項目226に記載の方法。
[項目230]
である、項目228または229に記載の方法。
[項目231]
α>0が正則化パラメータである、項目228から230のいずれか一項に記載の方法。
[項目232]
上記方法は、位相面を定数値として初期化する段階を備える、項目219から231のいずれか一項に記載の方法。
[項目233]
変換された上記近接演算子を評価する段階は、異なる複数の点について並列に実施される、項目219から232のいずれか一項に記載の方法。
[項目234]
評価する段階は、グラフィックスプロセッシングユニット内で実施される、項目233に記載の方法。
[項目235]
上記位相変調器を照明しつつ、上記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、上記画像を表示する段階を備える、項目219から234のいずれか一項に記載の方法。
[項目236]
上記位相変調器にコリメート光を均等に照明する段階を備える、項目235に記載の方法。
[項目237]
上記位相変調器は、複数の液晶ピクセルのアレイを含み、上記方法は、上記解となる位相関数に従って上記複数の液晶ピクセルに複数の制御信号を設定する段階を含む、項目235または236に記載の方法。
[項目238]
上記位相変調器は、LCoS位相変調器である、項目237に記載の方法。
[項目239]
上記位相変調器は、可変形状ミラーである、項目237に記載の方法。
[項目240]
上記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、項目235から239のいずれか一項に記載の方法。
[項目241]
上記位相変調器は、最大位相遅延を有し、上記方法は、上記位相変調器の上記最大位相遅延を超える上記位相関数の位相差を、2πの倍数で減算する段階を備える、項目219から240のいずれか一項に記載の方法。
[項目242]
画像データにより定義される画像を表示するよう位相変調器を制御するための装置であって、上記位相変調器と通信するデータプロセッサを備え、上記データプロセッサは、
上記画像データに基づいて目的関数の近接演算子を決定し、
上記近接演算子を周波数空間へと変換し、
変換された上記近接演算子を上記周波数空間において評価して、位相関数を上記周波数空間において得て、
上記位相関数を逆変換して、上記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る、装置。
[項目243]
上記データプロセッサが、上記近接演算子を変換することは、上記データプロセッサが、上記近接演算子のフーリエ変換を計算することを含む、項目242に記載の装置。
[項目244]
上記データプロセッサは、変換することの前に、周期境界条件を有するよう上記画像データを拡張し、上記近接演算子を拡張された上記画像データに基づかせる、項目243に記載の装置。
[項目245]
上記データプロセッサが、上記画像データを拡張することは、上記データプロセッサが、上記画像データの各境界を横断して上記画像データの鏡像を作成することを含む、項目244に記載の装置。
[項目246]
上記目的関数は、最小二乗目的関数である、項目242から245のいずれか一項に記載の装置。
[項目247]
上記近接演算子は、入力引数から外れさせるコストを含む、項目242から246のいずれか一項に記載の装置。
[項目248]
上記データプロセッサは、上記近接演算子を反復的に決定し、上記近接演算子を変換し、変換された上記近接演算子を評価し、複数回の反復のそれぞれにおいて、上記近接演算子に対する入力引数は、前の反復の上記解となる位相関数である、項目242から247のいずれか一項に記載の装置。
[項目249]
上記データプロセッサは、上記前の反復の上記解となる位相関数のフーリエ変換をキャッシュし、上記解となる位相関数のキャッシュされた上記フーリエ変換を現在の反復において適用する、項目248に記載の装置。
[項目250]
上記近接演算子は、
により与えられる、項目242から249のいずれか一項に記載の装置。
[項目251]
上記データプロセッサが、変換された上記近接演算子を評価することは、上記データプロセッサが、
を決定することを含む、項目250に記載の装置。
[項目252]
である、項目251に記載の装置。
[項目253]
である、項目251または252に記載の装置。
[項目254]
α>0が正則化パラメータである、項目251から253のいずれか一項に記載の装置。
[項目255]
上記データプロセッサは、位相面を定数値として初期化する、項目242から254のいずれか一項に記載の装置。
[項目256]
上記データプロセッサは、変換された上記近接演算子を異なる複数の点について並列に評価する、項目242から255のいずれか一項に記載の装置。
[項目257]
上記データプロセッサは、グラフィックスプロセッシングユニットを含み、上記グラフィックスプロセッシングユニットは、変換された上記近接演算子を評価する、項目256に記載の装置。
[項目258]
上記位相変調器と、上記位相変調器上に光を投影するための光源とを備え、上記データプロセッサは、上記位相変調器を照明するよう上記光源を制御しつつ、上記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、上記画像を表示するよう上記位相変調器を制御する、項目242から257のいずれか一項に記載の装置。
[項目259]
上記光源は、上記位相変調器にコリメート光を均等に照明する、項目258に記載の装置。
[項目260]
上記位相変調器は、複数の液晶ピクセルのアレイを含み、上記データプロセッサは、上記解となる位相関数に従って上記複数の液晶ピクセルに複数の制御信号を設定する、項目258または259に記載の装置。
[項目261]
上記位相変調器は、LCoS位相変調器である、項目260に記載の装置。
[項目262]
上記位相変調器は、可変形状ミラーである、項目260に記載の装置。
[項目263]
上記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、項目258から262のいずれか一項に記載の装置。
[項目264]
上記位相変調器は、最大位相遅延を有し、上記データプロセッサは、上記位相変調器の上記最大位相遅延を超える上記位相関数の任意の位相差を、2πの倍数で減算する、項目242から263のいずれか一項に記載の装置。
[項目265]
データプロセッサに、上記の方法項目のいずれか一項に記載の方法を実施させるよう構成される、複数のコンピュータ可読ソフトウェア命令を備える、コンピュータ可読媒体。
[項目266]
本明細書に記載の任意の新規性および進歩性のある特徴、複数の特徴の組み合わせ、または複数の特徴のサブコンビネーションを有する装置。
[項目267]
本明細書に記載の任意の新規性および進歩性のある複数のステップ、複数の動作、複数のステップおよび/もしくは複数の動作の組み合わせ、または、複数のステップおよび/もしくは複数の動作のサブコンビネーションを有する方法。

Claims (267)

  1. 画像データにより定義されるターゲット光パターンを表示するよう位相変調器を制御するための方法であって、
    レンズ面内の複数の領域についての前記位相変調器により適用される位相差を表す位相関数p(x)に対応する複数の歪みにより前記ターゲット光パターンからワーピングされた、ワーピング済み画像を、前記画像データに基づいて初期化する段階と、
    複数回の反復を実施することにより前記位相関数および前記ワーピング済み画像を精密化する段階であって、前記複数回の反復のそれぞれは、
    更新済み位相関数を得る最適化を実施することにより前記位相関数を更新するステップであって、前記更新済み位相関数は、前記ワーピング済み画像と前記ワーピング済み画像内の複数の点での前記位相関数により提供される倍率の逆数との間の差分測度を低減させる、ステップと、
    前記更新済み位相関数p(x)により生じる歪みu(x)を用いて、前記ターゲット光パターンを前記レンズ面上へとワーピングして、更新済みワーピング済み画像を得るステップとを含む、段階と
    を備える、方法。
  2. 前記差分測度は、前記ワーピング済み画像の複数のピクセルと前記ワーピング済み画像内の前記複数の点での前記倍率の複数の逆数との間の複数の差分の二乗和を含む、請求項1に記載の方法。
  3. 前記位相関数を更新する前記段階は、前記ワーピング済み画像の複数のピクセルと、
    の対応する複数の値との間の複数の差分を計算する段階を含む、請求項1または2に記載の方法。
  4. 前記位相関数を更新する前記段階は、前記ワーピング済み画像の複数のピクセルと、
    の対応する複数の値との間の複数の差分を計算する段階を含む、請求項1または2に記載の方法。
  5. 前記位相関数を更新する前記ステップは、線形最小二乗問題を解く段階を含む、請求項1から3のいずれか一項に記載の方法。
  6. 前記最小二乗問題は、離散ラプラス演算子を含むシステム行列を含む、請求項4に記載の方法。
  7. 前記位相関数を更新する前記ステップは、
    を解く段階を含む、請求項1に記載の方法。
  8. 前記最適化を実施する段階は、共役勾配法(CG)、BICGSTAB法、および準最小残差法(QMR)からなる群から選択されるアルゴリズムを適用する段階を含む、請求項4から6のいずれか一項に記載の方法。
  9. 像面におけるターゲット強度を前記レンズ面上へと後方ワーピングする前記ステップは、テクスチャマッピングオペレーションを実施する段階を含む、請求項1から7のいずれか一項に記載の方法。
  10. 前記テクスチャマッピングオペレーションは、グラフィックスプロセッサユニットで実施される、請求項8に記載の方法。
  11. 像面におけるターゲット強度を前記レンズ面上へと後方ワーピングする前記ステップは、
    を計算する段階を含む、請求項8または9に記載の方法。
  12. 像面で画像内のボケをモデル化する段階と、前記ボケを少なくとも部分的に補償するための振幅変調器の複数の制御値を生成する段階とを備える、請求項1から11のいずれか一項に記載の方法。
  13. 前記位相関数に従って前記位相変調器を制御することおよび前記位相変調器に光を照明することにより、前記ターゲット光パターンを表示する段階を含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記光は、広帯域光である、請求項13に記載の方法。
  15. 前記広帯域光は、白色光である、請求項14に記載の方法。
  16. 前記光は、単色である、請求項13に記載の方法。
  17. 前記光は、レーザ光である、請求項13または16に記載の方法。
  18. 前記光は、コリメートされている、請求項13から17のいずれか一項に記載の方法。
  19. 前記光は、前記レンズ面の法線方向から前記位相変調器に入射する、請求項18に記載の方法。
  20. 前記光パターンは、光の1または複数の輝点を含む、請求項1から19のいずれか一項に記載の方法。
  21. 光の前記1または複数の輝点を移動させるよう、前記位相変調器に適用される前記位相関数を制御する段階を含む、請求項20に記載の方法。
  22. 光の前記1または複数の輝点は、像面で均一照明の最大強度を超える強度を有する、請求項20または21に記載の方法。
  23. 前記位相変調器の解像度は、少なくとも1メガピクセルである、請求項1から22のいずれか一項に記載の方法。
  24. 前記位相変調器は、少なくとも5メガピクセルを含む、請求項23に記載の方法。
  25. 前記光パターンは、像面内の像域を占有し、前記位相変調器上の任意の点から前記像域の境界上の任意の点へと向けられた光線は、前記位相変調器上の前記任意の点からの前記位相変調器の法線と角度θをなし、|θ|≦12°である、請求項1から24のいずれか一項に記載の方法。
  26. 前記レンズ面内の複数の点に対する開口数は、近軸近似が1%以内までで成り立つような開口数である、請求項1から24のいずれか一項に記載の方法。
  27. 前記ワーピング済み画像を初期化する段階は、前記ワーピング済み画像を前記ターゲット光パターンと同一となるよう設定する段階を含む、請求項1から26のいずれか一項に記載の方法。
  28. 前記位相変調器は、液晶位相変調器を含む、請求項1から28のいずれか一項に記載の方法。
  29. 前記位相変調器は、LCoSデバイスを含む、請求項28に記載の方法。
  30. 前記位相変調器は、可変ミラーを含む、請求項1から28のいずれか一項に記載の方法。
  31. 前記画像データは、少なくとも20フレーム毎秒のフレームレートを有する動画データを含む、請求項1から30のいずれか一項に記載の方法。
  32. 前記動画データは、フレーム毎に異なるターゲット光パターンを提供し、前記方法は、フレーム毎に異なる位相関数を算出する段階を備える、請求項31に記載の方法。
  33. 複数の前記異なる位相関数をリアルタイムで算出する段階を備える、請求項33に記載の方法。
  34. 前記位相関数および前記ワーピング済み画像を精密化する段階は、前記複数回の反復のうちの10回またはそれより少ない反復において実施される、請求項1から33のいずれか一項に記載の方法。
  35. 前記位相関数および前記ワーピング済み画像を精密化する段階は、前記複数回の反復のうちの一定回数の反復において実施される、請求項1から34のいずれか一項に記載の方法。
  36. 前記位相関数および前記ワーピング済み画像を1または複数のグラフィックスプロセッサユニット内で並列に精密化する1または複数のステップを実行する段階を備える、請求項1から35のいずれか一項に記載の方法。
  37. 前記位相関数および前記ワーピング済み画像を周波数ドメインにおいて精密化する少なくともいくつかのステップを実施する段階を備える、請求項1から35のいずれか一項に記載の方法。
  38. 最適化関数を生成する段階と、前記ワーピング済み画像にフーリエ変換を実施する段階と、前記ワーピング済み画像の前記フーリエ変換を用いて前記周波数ドメインにおいて前記位相関数を生成する段階と、前記位相関数に逆フーリエ変換を実施する段階とを備える、請求項37に記載の方法。
  39. 前記フーリエ変換を実施するよう構成されたハードウェア内で前記フーリエ変換を実施する段階を備える、請求項38に記載の方法。
  40. 前記周波数ドメインにおける複数の前記ステップを実施する前に、周期境界条件を有するよう前記画像データを拡張する段階を備える、請求項37から39のいずれか一項に記載の方法。
  41. 前記画像データを拡張する段階は、前記画像データの各境界を横断して前記画像データの鏡像を作成する段階を含む、請求項40に記載の方法。
  42. 前記位相変調器により変調される光の強度を補正するための、空間光変調器の複数の制御信号を生成する段階を備える、請求項1から41のいずれか一項に記載の方法。
  43. 第1の空間解像度で前記複数回の反復のうちの1回または複数回の反復を実施する段階と、前記複数回の反復のうちの前記1回または複数回の反復により得られた前記更新済み位相関数をアップサンプリングする段階とを備える、請求項1から42のいずれか一項に記載の方法。
  44. 前記更新済み位相関数をアップサンプリングする段階の後に、前記第1の解像度より高い第2の解像度で前記複数回の反復のうちの1回または複数回の追加的な反復を実施する段階を備える、請求項43に記載の方法。
  45. 前記画像データは、動画データを含み、前記ターゲット光パターンは、前記画像データの複数のフレームのうちの1フレームについて定義され、異なる複数のターゲット光パターンは、前記画像データの他の複数のフレームについて前記画像データ内で定義される、請求項1から44のいずれか一項に記載の方法。
  46. 画像データにより定義されるターゲット光パターンを表示するよう位相変調器を制御するための装置であって、前記装置は、前記位相変調器と通信するデータプロセッサを備え、前記データプロセッサは、
    前記画像データを入力として受信し、
    レンズ面内の複数の領域についての前記位相変調器により適用される位相差を表す位相関数p(x)に対応する複数の歪みにより前記ターゲット光パターンからワーピングされた、ワーピング済み画像を、前記画像データに基づいて初期化し、
    複数回の反復を実施することにより前記位相関数および前記ワーピング済み画像を精密化し、
    精密化された前記位相関数に基づいて、前記位相変調器の複数の制御信号を生成する
    よう構成され、
    前記複数回の反復のそれぞれは、
    更新済み位相関数を得る最適化を実施することにより前記位相関数を更新するステップであって、前記更新済み位相関数は、前記ワーピング済み画像と前記ワーピング済み画像内の複数の点での前記位相関数により提供される倍率の逆数との間の差分測度を低減させる、ステップと、
    前記更新済み位相関数p(x)により生じる歪みu(x)を用いて、前記ターゲット光パターンを前記レンズ面上へとワーピングして、更新済みワーピング済み画像を得るステップとを含む、
    装置。
  47. 前記差分測度は、前記ワーピング済み画像の複数のピクセルと前記ワーピング済み画像内の前記複数の点での前記倍率の複数の逆数との間の複数の差分の二乗和を含む、請求項46に記載の装置。
  48. 前記位相関数を更新する前記ステップは、前記データプロセッサにより、前記ワーピング済み画像の複数のピクセルと、
    の対応する複数の値との間の複数の差分を計算することを含む、請求項46または47に記載の装置。
  49. 前記位相関数を更新する前記ステップは、前記データプロセッサにより、前記ワーピング済み画像の複数のピクセルと、
    の対応する複数の値との間の複数の差分を計算することを含む、請求項46または47に記載の装置。
  50. 前記位相関数を更新する前記ステップは、前記データプロセッサにより、線形最小二乗問題を解くことを含む、請求項46から48のいずれか一項に記載の装置。
  51. 前記最小二乗問題は、離散ラプラス演算子を含むシステム行列を含む、請求項49に記載の装置。
  52. 前記位相関数を更新する前記ステップは、前記データプロセッサにより、
    を解くことを含む、請求項46に記載の装置。
  53. 前記最適化を実施することは、前記データプロセッサにより、共役勾配法(CG)、BICGSTAB法、および準最小残差法(QMR)からなる群から選択されるアルゴリズムを適用することを含む、請求項49から51のいずれか一項に記載の装置。
  54. 像面におけるターゲット強度を前記レンズ面上へと後方ワーピングする前記ステップは、テクスチャマッピングオペレーションを実施することを含む、請求項46から52のいずれか一項に記載の装置。
  55. グラフィックスプロセッサユニットを備え、前記テクスチャマッピングオペレーションは、前記グラフィックスプロセッサユニットで実施される、請求項53に記載の装置。
  56. 像面におけるターゲット強度を前記レンズ面上へと後方ワーピングする前記ステップは、前記データプロセッサにより、
    を計算することを含む、請求項53または54に記載の装置。
  57. 前記データプロセッサは、像面で画像内のボケをモデル化し、前記ボケを少なくとも部分的に補償するための振幅変調器の複数の制御値を生成するよう構成される、請求項46から56のいずれか一項に記載の装置。
  58. 前記位相変調器と、前記位相変調器上に光を投影するための光源とを備え、前記データプロセッサは、前記位相関数に従って前記位相変調器を制御することおよび前記位相変調器に光を照明するよう前記光源を制御することにより、前記ターゲット光パターンを生成するよう構成される、請求項46から57のいずれか一項に記載の装置。
  59. 前記光は、広帯域光である、請求項58に記載の装置。
  60. 前記広帯域光は、白色光である、請求項59に記載の装置。
  61. 前記光は、単色である、請求項58に記載の装置。
  62. 前記光は、レーザ光である、請求項59または61に記載の装置。
  63. 前記光は、コリメートされている、請求項58から62のいずれか一項に記載の装置。
  64. 前記光源は、前記レンズ面の法線方向から前記位相変調器に入射する光を投影するよう構成される、請求項63に記載の装置。
  65. 前記位相変調器の解像度は、少なくとも1メガピクセルである、請求項58から64のいずれか一項に記載の装置。
  66. 前記位相変調器の前記解像度は、少なくとも5メガピクセルである、請求項65に記載の装置。
  67. 前記ターゲット光パターンは、像面内の像域を占有し、前記位相変調器上の任意の点から前記像域の境界上の任意の点へと向けられた光線は、前記位相変調器上の前記任意の点からの前記位相変調器の法線と角度θをなし、|θ|≦12°である、請求項58から66のいずれか一項に記載の装置。
  68. 前記位相変調器は、液晶位相変調器を含む、請求項58から67のいずれか一項に記載の装置。
  69. 前記位相変調器は、LCoSデバイスを含む、請求項68に記載の装置。
  70. 前記位相変調器は、可変ミラーを含む、請求項68から69のいずれか一項に記載の装置。
  71. 前記ターゲット光パターンは、光の1または複数の輝点を含む、請求項46から70のいずれか一項に記載の装置。
  72. 前記データプロセッサは、光の前記1または複数の輝点を移動させるよう、前記位相変調器に適用される前記位相関数を制御するよう構成される、請求項71に記載の装置。
  73. 光の前記1または複数の輝点は、像面で均一照明の最大強度を超える強度を有する、請求項71または72に記載の装置。
  74. 前記レンズ面内の複数の点に対する開口数は、近軸近似が1%以内までで成り立つような開口数である、請求項46から73のいずれか一項に記載の装置。
  75. 前記データプロセッサが、前記ワーピング済み画像を初期化するよう構成されることは、前記データプロセッサが、前記ワーピング済み画像を前記ターゲット光パターンと同一になるよう設定するよう構成されることを含む、請求項46から74のいずれか一項に記載の装置。
  76. 前記画像データは、少なくとも20フレーム毎秒のフレームレートを有する動画データを含む、請求項46から75のいずれか一項に記載の装置。
  77. 前記動画データは、フレーム毎に異なるターゲット光パターンを提供し、前記データプロセッサは、フレーム毎に異なる位相関数を算出するよう構成される、請求項76に記載の装置。
  78. 前記データプロセッサは、複数の前記異なる位相関数をリアルタイムで算出するよう構成される、請求項77に記載の装置。
  79. 前記データプロセッサは、10回またはそれより少ない反復において前記位相関数および前記ワーピング済み画像を精密化するよう構成される、請求項46から78のいずれか一項に記載の装置。
  80. 前記データプロセッサは、前記複数回の反復のうちの一定回数の反復において前記位相関数および前記ワーピング済み画像を精密化するよう構成される、請求項46から78のいずれか一項に記載の装置。
  81. 1または複数のグラフィックスプロセッサユニットを備え、前記データプロセッサは、前記位相関数および前記ワーピング済み画像を前記1または複数のグラフィックスプロセッサユニット内で並列に精密化する1または複数のステップを実行するよう構成される、請求項46から78のいずれか一項に記載の装置。
  82. 前記データプロセッサは、前記位相関数および前記ワーピング済み画像を周波数ドメインにおいて精密化する少なくともいくつかのステップを実施するよう構成される、請求項46から80のいずれか一項に記載の装置。
  83. 前記データプロセッサは、前記ワーピング済み画像にフーリエ変換を実施し、前記ワーピング済み画像の前記フーリエ変換を用いて前記周波数ドメインにおいて前記位相関数を生成し、前記位相関数に逆フーリエ変換を実施するよう構成される、請求項82に記載の装置。
  84. ハードウェアフーリエ変換デバイスを備え、前記データプロセッサは、前記フーリエ変換を実施するよう前記フーリエ変換デバイスを制御するよう構成される、請求項83に記載の装置。
  85. 空間光変調器を備え、前記データプロセッサは、前記位相変調器により変調される光の強度を補正するための複数の制御信号を前記空間光変調器に適用するよう構成される、請求項46から84のいずれか一項に記載の装置。
  86. 前記データプロセッサは、前記周波数ドメインにおける複数の前記ステップを実施する前に、周期境界条件を有するよう前記画像データを拡張するよう構成される、請求項82から84のいずれか一項に記載の装置。
  87. 前記画像データを拡張することは、前記画像データの各境界を横断して前記画像データの鏡像を作成することを含む、請求項86に記載の装置。
  88. 前記位相変調器により変調される光の強度を補正するための、空間光変調器の複数の制御信号を生成することを備える、請求項46から87のいずれか一項に記載の装置。
  89. 前記データプロセッサは、第1の空間解像度で前記複数回の反復のうちの1回または複数回の反復を実施し、前記複数回の反復のうちの前記1回または複数回の反復により得られた前記更新済み位相関数をアップサンプリングするよう構成される、請求項46から88のいずれか一項に記載の装置。
  90. 前記データプロセッサは、前記更新済み位相関数をアップサンプリングした後に、前記第1の解像度より高い第2の解像度で前記複数回の反復のうちの1回または複数回の追加的な反復を実施するよう構成される、請求項89に記載の装置。
  91. 前記画像データは、動画データを含み、前記ターゲット光パターンは、前記画像データの複数のフレームのうちの1フレームについて定義され、異なる複数のターゲット光パターンは、前記画像データの他の複数のフレームについて前記画像データ内で定義される、請求項46から90のいずれか一項に記載の装置。
  92. ターゲット光パターンを定義する画像データから位相変調器の複数の制御値を生成するための方法であって、
    前記光パターンにおける複数の点と前記位相変調器上の対応する複数の点との間の写像を確定する段階と、
    前記写像を用いて、前記ターゲット光パターンを前記位相変調器の座標空間へと写像することにより、前記複数の制御値を含む位相関数pを導出する段階と、
    写像された前記ターゲット光パターンを、前記位相変調器の前記座標空間において処理する段階と
    を備える、方法。
  93. 写像された前記ターゲット光パターンを処理する段階は、前記位相変調器上の前記複数の点での写像された前記ターゲット光パターンにおける強度と、前記複数の点の近傍における前記位相関数の対応する光学特性との比較に基づいて、試行位相関数を最適化する段階を含む、請求項92に記載の方法。
  94. 前記対応する光学特性は、倍率を含む、請求項93に記載の方法。
  95. 対応する複数の点での前記位相関数のラプラシアンに基づいて、前記光学特性を決定する段階を備える、請求項93および94のいずれか一項に記載の方法。
  96. 離散ラプラシアン演算子を用いて、前記位相関数の前記ラプラシアンを決定する段階を含む、請求項95に記載の方法。
  97. 所定のフレームレートで表示するための複数の動画フレームを特定する動画データを表示するための方法であって、
    前記動画データをリアルタイムで処理して、前記フレームレートでの一連の位相変調器制御信号を得る段階と、
    複数の前記位相変調器制御信号を、照明された2次元空間位相変調器に適用する段階と、
    得られた位相変調光を視域へと向ける段階と
    を備える、方法。
  98. 前記位相変調光をさらに振幅変調する段階を備える、請求項97に記載の方法。
  99. 前記位相変調光をさらに振幅変調する段階は、前記位相変調光の経路にある空間光変調器を制御する段階を含む、請求項98に記載の方法。
  100. 前記位相変調光におけるボケを計算する段階と、前記ボケを低減するよう前記空間光変調器を制御する段階とを備える、請求項99に記載の方法。
  101. 前記動画データを処理する段階は、
    光パターンにおける複数の点と光変調器上の対応する複数の点との間の写像を確定する段階と、
    前記写像を用いて、前記ターゲット光パターンを前記位相変調器の座標空間へと写像することにより、複数の制御値を含む位相関数pを導出する段階と、
    写像された前記ターゲット光パターンを、前記位相変調器の前記座標空間において処理する段階と
    を含む、請求項97から100のいずれか一項に記載の方法。
  102. 写像された前記ターゲット光パターンを処理する段階は、前記位相変調器上の前記複数の点での写像された前記ターゲット光パターンにおける強度と、前記複数の点の近傍における前記位相関数の対応する光学特性との比較に基づいて、試行位相関数を最適化する段階を含む、請求項101に記載の方法。
  103. 前記対応する光学特性は、倍率を含む、請求項102に記載の方法。
  104. 対応する複数の点での前記位相関数のラプラシアンに基づいて、前記光学特性を決定する段階を備える、請求項102または103に記載の方法。
  105. 離散ラプラシアン演算子を用いて、前記位相関数の前記ラプラシアンを決定する段階を含む、請求項104に記載の方法。
  106. 前記動画データを処理する段階は、周波数ドメインにおいて実施される、請求項97から102のいずれか一項に記載の方法。
  107. 前記動画データを処理する段階は、最適化関数を生成する段階と、前記最適化関数にフーリエ変換を実施する段階と、前記周波数ドメインにおいて位相関数を生成する段階と、前記位相関数に逆フーリエ変換を実施する段階とを含む、請求項106に記載の方法。
  108. 前記フーリエ変換を実施するよう構成されたハードウェア内で前記フーリエ変換を実施する段階を備える、請求項107に記載の方法。
  109. 前記位相変調器は、最大位相遅延を有し、前記方法は、前記位相変調器の前記最大位相遅延を超える前記位相関数の位相差を、2πの倍数で減算する段階を備える、請求項92から96および101から108のいずれか一項に記載の方法。
  110. 画像データにより定義される画像を表示するよう位相変調器を制御するための方法であって、
    前記画像データに基づいて目的関数を決定する段階と、
    前記目的関数を周波数空間へと変換する段階と、
    変換された前記目的関数を前記周波数空間において最小化して、位相関数を前記周波数空間において得る段階と、
    前記位相関数を逆変換して、前記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る段階と
    を備える、方法。
  111. 前記目的関数を変換する段階は、前記目的関数のフーリエ変換を計算する段階を含む、請求項110に記載の方法。
  112. 変換する段階の前に、周期境界条件を有するよう前記画像データを拡張する段階と、前記目的関数を拡張された前記画像データに基づかせる段階とを含む、請求項111に記載の方法。
  113. 前記画像データを拡張する段階は、前記画像データの各境界を横断して前記画像データの鏡像を作成する段階を含む、請求項112に記載の方法。
  114. 前記目的関数は、最小二乗目的関数である、請求項110から113のいずれか一項に記載の方法。
  115. 前記目的関数は、入力引数から外れさせるコストを含む、請求項110から114のいずれか一項に記載の方法。
  116. 前記方法は、反復的に実施され、複数回の反復のそれぞれにおいて、前記目的関数に対する入力引数は、前の反復の前記解となる位相関数である、請求項110から115のいずれか一項に記載の方法。
  117. 前記前の反復の前記解となる位相関数のフーリエ変換をキャッシュする段階と、前記解となる位相関数のキャッシュされた前記フーリエ変換を現在の反復において適用する段階とを備える、請求項116に記載の方法。
  118. 前記目的関数は、
    により与えられる近接演算子を含む、請求項110から117のいずれか一項に記載の方法。
  119. 変換された前記目的関数を評価する段階は、
    を決定する段階を含む、請求項118に記載の方法。
  120. である、請求項119に記載の方法。
  121. である、請求項119および120のいずれか一項に記載の方法。
  122. α>0が正則化パラメータである、請求項119から121のいずれか一項に記載の方法。
  123. 前記方法は、位相面を定数値として初期化する段階を備える、請求項110から122のいずれか一項に記載の方法。
  124. 変換された前記目的関数を評価する段階は、異なる複数の点について並列に実施される、請求項110から123のいずれか一項に記載の方法。
  125. 評価する段階は、グラフィックスプロセッシングユニット内で実施される、請求項124に記載の方法。
  126. 前記位相変調器を照明しつつ、前記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、前記画像を表示する段階を備える、請求項110から125のいずれか一項に記載の方法。
  127. 前記位相変調器にコリメート光を均等に照明する段階を備える、請求項126に記載の方法。
  128. 前記位相変調器は、複数の液晶ピクセルのアレイを含み、前記方法は、前記解となる位相関数に従って前記複数のピクセルに複数の制御信号を設定する段階を含む、請求項126から127のいずれか一項に記載の方法。
  129. 前記位相変調器は、LCoS位相変調器である、請求項128に記載の方法。
  130. 前記位相変調器は、可変形状ミラーである、請求項110に記載の方法。
  131. 前記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、請求項126から130のいずれか一項に記載の方法。
  132. 前記位相変調器は、最大位相遅延を有し、前記方法は、前記位相変調器の前記最大位相遅延を超える前記位相関数の位相差を、2πの倍数で減算する段階を備える、請求項110から131のいずれか一項に記載の方法。
  133. 画像データにより定義される画像を表示するよう位相変調器を制御するための方法であって、
    前記画像データに基づいて不動点反復を決定する段階と、
    前記不動点反復を周波数空間へと変換する段階と、
    前記不動点反復を前記周波数空間において評価して、位相関数を前記周波数空間において得る段階と、
    前記位相関数を逆変換して、前記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る段階と
    を備える、方法。
  134. 前記不動点反復を変換する段階は、前記不動点反復のフーリエ変換を計算する段階を含む、請求項133に記載の方法。
  135. 変換する段階の前に、周期境界条件を有するよう前記画像データを拡張する段階と、前記不動点反復を拡張された前記画像データに基づかせる段階とを含む、請求項134に記載の方法。
  136. 前記画像データを拡張する段階は、前記画像データの各境界を横断して前記画像データの鏡像を作成する段階を含む、請求項135に記載の方法。
  137. 前記不動点反復は、最小二乗不動点反復である、請求項133から136のいずれか一項に記載の方法。
  138. 前記不動点反復は、入力引数から外れさせるコストを含む、請求項133から137のいずれか一項に記載の方法。
  139. 前記方法は、反復的に実施され、複数回の反復のそれぞれにおいて、前記不動点反復に対する入力引数は、前の反復の前記解となる位相関数である、請求項133から138のいずれか一項に記載の方法。
  140. 前記前の反復の前記解となる位相関数のフーリエ変換をキャッシュする段階と、前記解となる位相関数のキャッシュされた前記フーリエ変換を現在の反復において適用する段階とを備える、請求項139に記載の方法。
  141. 前記不動点反復は、
    により与えられる近接演算子を含む、請求項133から140のいずれか一項に記載の方法。
  142. 変換された前記不動点反復を評価する段階は、
    を決定する段階を含む、請求項141に記載の方法。
  143. である、請求項142に記載の方法。
  144. である、請求項142および143のいずれか一項に記載の方法。
  145. α>0が正則化パラメータである、請求項143から144のいずれか一項に記載の方法。
  146. 前記方法は、位相面を定数値として初期化する段階を備える、請求項133から145のいずれか一項に記載の方法。
  147. 変換された前記不動点反復を評価する段階は、異なる複数の点について並列に実施される、請求項133から146のいずれか一項に記載の方法。
  148. 評価する段階は、グラフィックスプロセッシングユニット内で実施される、請求項147に記載の方法。
  149. 前記位相変調器を照明しつつ、前記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、前記画像を表示する段階を備える、請求項133から148のいずれか一項に記載の方法。
  150. 前記位相変調器にコリメート光を均等に照明する段階を備える、請求項17に記載の方法。
  151. 前記位相変調器は、複数の液晶ピクセルのアレイを含み、前記方法は、前記解となる位相関数に従って前記複数のピクセルに複数の制御信号を設定する段階を含む、請求項149から150のいずれか一項に記載の方法。
  152. 前記位相変調器は、LCoS位相変調器である、請求項151に記載の方法。
  153. 前記位相変調器は、可変形状ミラーである、請求項151に記載の方法。
  154. 前記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、請求項149から153のいずれか一項に記載の方法。
  155. 前記位相変調器は、最大位相遅延を有し、前記方法は、前記位相変調器の前記最大位相遅延を超える前記位相関数の位相差を、2πの倍数で減算する段階を備える、請求項133から154のいずれか一項に記載の方法。
  156. ターゲット光パターンを定義する画像データから位相変調器の複数の制御値を生成するための装置であって、前記装置は、前記位相変調器と通信するデータプロセッサを備え、前記データプロセッサは、
    前記光パターンにおける複数の点と前記位相変調器上の対応する複数の点との間の写像を確定し、
    前記写像を用いて、前記ターゲット光パターンを前記位相変調器の座標空間へと写像することにより、前記複数の制御値を含む位相関数pを導出し、
    写像された前記ターゲット光パターンを、前記位相変調器の前記座標空間において処理するよう構成される、装置。
  157. 前記データプロセッサが、写像された前記ターゲット光パターンを処理するよう構成されることは、前記データプロセッサが、前記位相変調器上の前記複数の点での写像された前記ターゲット光パターンにおける強度と、前記複数の点の近傍における前記位相関数の対応する光学特性との比較に基づいて、試行位相関数を最適化するよう構成されることを含む、請求項156に記載の装置。
  158. 前記対応する光学特性は、倍率を含む、請求項157に記載の装置。
  159. 前記データプロセッサは、対応する複数の点での前記位相関数のラプラシアンに基づいて、前記光学特性を決定するよう構成される、請求項157および158のいずれか一項に記載の装置。
  160. 前記データプロセッサは、離散ラプラシアン演算子を用いて、前記位相関数の前記ラプラシアンを決定するよう構成される、請求項159に記載の装置。
  161. 所定のフレームレートで表示するための複数の動画フレームを特定する動画データを表示するための装置であって、
    前記動画データをリアルタイムで処理して、前記フレームレートでの一連の位相変調器制御信号を得て、
    複数の前記位相変調器制御信号を、照明された2次元空間位相変調器に適用し、
    得られた位相変調光を視域へと向けるよう前記空間位相変調器を制御する
    よう構成されたデータプロセッサを備える、装置。
  162. 前記データプロセッサは、前記位相変調光を振幅変調するよう、前記位相変調光の経路にある空間光変調器を制御するよう構成される、請求項161に記載の装置。
  163. 前記データプロセッサは、前記位相変調光におけるボケを計算し、前記ボケを低減するよう前記空間光変調器を制御するよう構成される、請求項162に記載の装置。
  164. 前記データプロセッサが、前記動画データを処理するよう構成されることは、前記データプロセッサが、
    光パターンにおける複数の点と光変調器上の対応する複数の点との間の写像を確定し、
    前記写像を用いて、前記ターゲット光パターンを前記位相変調器の座標空間へと写像することにより、複数の制御値を含む位相関数pを導出し、
    写像された前記ターゲット光パターンを、前記位相変調器の前記座標空間において処理するよう構成されることを含む、請求項161から163のいずれか一項に記載の装置。
  165. 前記データプロセッサが、写像された前記ターゲット光パターンを処理するよう構成されることは、前記データプロセッサが、前記位相変調器上の前記複数の点での写像された前記ターゲット光パターンにおける強度と、前記複数の点の近傍における前記位相関数の対応する光学特性との比較に基づいて、試行位相関数を最適化するよう構成されることを含む、請求項164に記載の装置。
  166. 前記対応する光学特性は、倍率を含む、請求項165に記載の装置。
  167. 前記データプロセッサは、対応する複数の点での前記位相関数のラプラシアンに基づいて、前記光学特性を決定するよう構成される、請求項165または166に記載の装置。
  168. 前記データプロセッサは、離散ラプラシアン演算子を用いて、前記位相関数の前記ラプラシアンを決定するよう構成される、請求項167に記載の装置。
  169. 前記データプロセッサは、周波数ドメインにおいて前記動画データを処理するよう構成される、請求項161から165のいずれか一項に記載の装置。
  170. 前記データプロセッサが、前記動画データを処理するよう構成されることは、データプロセッサが、
    最適化関数を生成し、
    前記最適化関数にフーリエ変換を実施することにより、前記周波数ドメインにおいて前記位相関数を生成し、
    前記周波数ドメインにおいて位相関数に逆フーリエ変換を実施する
    よう構成されることを含む、請求項169に記載の装置。
  171. 前記フーリエ変換を実施するよう構成されたハードウェアを備え、前記データプロセッサは、前記フーリエ変換を実施するよう前記ハードウェアを制御するよう構成される、請求項170に記載の装置。
  172. 前記位相変調器は、最大位相遅延を有し、前記データプロセッサは、前記位相変調器の前記最大位相遅延を超える位相関数の位相差を、2πの倍数で減算するよう構成される、請求項161から165および169から171のいずれか一項に記載の装置。
  173. 画像データにより定義される画像を表示するよう位相変調器を制御するための装置であって、前記方法は、
    前記画像データに基づいて目的関数を決定する段階と、
    前記目的関数を周波数空間へと変換する段階と、
    変換された前記目的関数を前記周波数空間において最小化して、位相関数を前記周波数空間において得る段階と、
    前記位相関数を逆変換して、前記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る段階と
    を備える、装置。
  174. 前記データプロセッサが、前記目的関数を変換するよう構成されることは、前記データプロセッサが、前記目的関数のフーリエ変換を計算するよう構成されることを含む、請求項173に記載の装置。
  175. 前記データプロセッサは、変換することの前に、周期境界条件を有するよう前記画像データを拡張し、前記目的関数を拡張された前記画像データに基づかせるよう構成される、請求項174に記載の装置。
  176. 前記データプロセッサが、前記画像データを拡張するよう構成されることは、前記データプロセッサが、前記画像データの各境界を横断して前記画像データの鏡像を作成するよう構成されることを含む、請求項175に記載の装置。
  177. 前記目的関数は、最小二乗目的関数である、請求項173から176のいずれか一項に記載の装置。
  178. 前記目的関数は、入力引数から外れさせるコストを含む、請求項173から177のいずれか一項に記載の装置。
  179. 前記データプロセッサは、前記目的関数を反復的に決定し、前記目的関数を変換し、変換された前記目的関数を評価するよう構成され、複数回の反復のそれぞれにおいて、前記目的関数に対する入力引数は、前の反復の前記解となる位相関数である、請求項173から178のいずれか一項に記載の装置。
  180. 前記データプロセッサは、前記前の反復の前記解となる位相関数のフーリエ変換をキャッシュし、前記解となる位相関数のキャッシュされた前記フーリエ変換を現在の反復において適用するよう構成される、請求項179に記載の装置。
  181. 前記目的関数は、
    により与えられる近接演算子を含む、請求項173から180のいずれか一項に記載の装置。
  182. 前記データプロセッサが、変換された前記目的関数を評価するよう構成されることは、前記データプロセッサが、
    を決定するよう構成されることを含む、請求項181に記載の装置。
  183. である、請求項182に記載の装置。
  184. である、請求項182または183に記載の装置。
  185. α>0が正則化パラメータである、請求項182から184のいずれか一項に記載の装置。
  186. 前記データプロセッサは、位相面を定数値として初期化するよう構成される、請求項173から185のいずれか一項に記載の装置。
  187. 前記データプロセッサは、変換された前記目的関数を異なる複数の点について並列に評価するよう構成される、請求項173から186のいずれか一項に記載の装置。
  188. 前記データプロセッサは、グラフィックスプロセッシングユニットを含み、前記グラフィックスプロセッシングユニットは、変換された前記目的関数を評価する、請求項187に記載の装置。
  189. 前記位相変調器と、前記位相変調器上に光を投影するための光源とを備え、前記データプロセッサは、前記位相変調器を照明するよう前記光源を制御しつつ、前記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、前記画像を表示するよう前記位相変調器を制御するよう構成される、請求項173から188のいずれか一項に記載の装置。
  190. 前記光源は、前記位相変調器にコリメート光を均等に照明するよう構成される、請求項189に記載の装置。
  191. 前記位相変調器は、複数の液晶ピクセルのアレイを含み、前記データプロセッサは、前記解となる位相関数に従って前記複数のピクセルに複数の制御信号を設定するよう構成される、請求項189から190のいずれか一項に記載の装置。
  192. 前記位相変調器は、LCoS位相変調器である、請求項191に記載の装置。
  193. 前記位相変調器は、可変形状ミラーである、請求項19に記載の装置。
  194. 前記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、請求項189から193のいずれか一項に記載の装置。
  195. 前記位相変調器は、最大位相遅延を有し、前記データプロセッサは、前記位相変調器の前記最大位相遅延を超える前記位相関数の任意の位相差を、2πの倍数で減算するよう構成される、請求項173から194のいずれか一項に記載の装置。
  196. 画像データにより定義される画像を表示するよう位相変調器を制御するための装置であって、前記位相変調器と通信するデータプロセッサを備え、前記データプロセッサは、
    前記画像データに基づいて不動点反復を決定し、
    前記不動点反復を周波数空間へと変換し、
    前記不動点反復を前記周波数空間において評価して、位相関数を前記周波数空間において得て、
    前記位相関数を逆変換して、前記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得るよう構成される、装置。
  197. 前記データプロセッサが、前記不動点反復を変換するよう構成されることは、前記データプロセッサが、前記不動点反復のフーリエ変換を計算するよう構成されることを含む、請求項196に記載の装置。
  198. 前記データプロセッサは、変換することの前に、周期境界条件を有するよう前記画像データを拡張し、前記不動点反復を拡張された前記画像データに基づかせるよう構成される、請求項197に記載の装置。
  199. 前記データプロセッサが、前記画像データを拡張するよう構成されることは、前記データプロセッサが、前記画像データの各境界を横断して前記画像データの鏡像を作成するよう構成されることを含む、請求項198に記載の装置。
  200. 前記不動点反復は、最小二乗不動点反復である、請求項196から199のいずれか一項に記載の装置。
  201. 前記不動点反復は、入力引数から外れさせるコストを含む、請求項196から200のいずれか一項に記載の装置。
  202. 前記データプロセッサは、前記不動点反復を反復的に決定し、前記不動点反復を変換し、変換された前記不動点反復を評価するよう構成され、複数回の反復のそれぞれにおいて、前記不動点反復に対する入力引数は、前の反復の前記解となる位相関数である、請求項196から201のいずれか一項に記載の装置。
  203. 前記データプロセッサは、前記前の反復の前記解となる位相関数のフーリエ変換をキャッシュし、前記解となる位相関数のキャッシュされた前記フーリエ変換を現在の反復において適用するよう構成される、請求項202に記載の装置。
  204. 前記不動点反復は、
    により与えられる近接演算子を含む、請求項196から203のいずれか一項に記載の装置。
  205. 前記データプロセッサが、変換された前記不動点反復を評価するよう構成されることは、前記データプロセッサが、
    を決定するよう構成されることを含む、請求項204に記載の装置。
  206. である、請求項205に記載の装置。
  207. である、請求項205または206に記載の装置。
  208. α>0が正則化パラメータである、請求項205から207のいずれか一項に記載の装置。
  209. 前記データプロセッサは、位相面を定数値として初期化するよう構成される、請求項196から208のいずれか一項に記載の装置。
  210. 前記データプロセッサは、変換された前記不動点反復を異なる複数の点について並列に評価するよう構成される、請求項196から209のいずれか一項に記載の装置。
  211. 前記データプロセッサは、グラフィックスプロセッシングユニットを含み、前記グラフィックスプロセッシングユニットは、変換された前記不動点反復を評価する、請求項210に記載の装置。
  212. 前記位相変調器と、前記位相変調器上に光を投影するための光源とを備え、前記データプロセッサは、前記位相変調器を照明するよう前記光源を制御しつつ、前記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、前記画像を表示するよう前記位相変調器を制御するよう構成される、請求項196から211のいずれか一項に記載の装置。
  213. 前記光源は、前記位相変調器にコリメート光を均等に照明するよう構成される、請求項212に記載の装置。
  214. 前記位相変調器は、複数の液晶ピクセルのアレイを含み、前記データプロセッサは、前記解となる位相関数に従って前記複数のピクセルに複数の制御信号を設定するよう構成される、請求項212から213のいずれか一項に記載の装置。
  215. 前記位相変調器は、LCoS位相変調器である、請求項214に記載の装置。
  216. 前記位相変調器は、可変形状ミラーである、請求項214に記載の装置。
  217. 前記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、請求項212から216のいずれか一項に記載の装置。
  218. 前記位相変調器は、最大位相遅延を有し、前記データプロセッサは、前記位相変調器の前記最大位相遅延を超える前記位相関数の任意の位相差を、2πの倍数で減算するよう構成される、請求項1から22のいずれか一項に記載の装置。
  219. 画像データにより定義される画像を表示するよう位相変調器を制御するための方法であって、
    前記画像データに基づいて目的関数の近接演算子を決定する段階と、
    前記近接演算子を周波数空間へと変換する段階と、
    変換された前記近接演算子を前記周波数空間において評価して、位相関数を前記周波数空間において得る段階と、
    前記位相関数を逆変換して、前記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得る段階と
    を備える、方法。
  220. 前記近接演算子を変換する段階は、前記近接演算子のフーリエ変換を計算する段階を含む、請求項219に記載の方法。
  221. 変換する段階の前に、周期境界条件を有するよう前記画像データを拡張する段階と、前記近接演算子を拡張された前記画像データに基づかせる段階とを含む、請求項220に記載の方法。
  222. 前記画像データを拡張する段階は、前記画像データの各境界を横断して前記画像データの鏡像を作成する段階を含む、請求項221に記載の方法。
  223. 前記目的関数は、最小二乗目的関数である、請求項219から222のいずれか一項に記載の方法。
  224. 前記近接演算子は、入力引数から外れさせるコストを含む、請求項219から223のいずれか一項に記載の方法。
  225. 前記方法は、反復的に実施され、複数回の反復のそれぞれにおいて、前記近接演算子に対する入力引数は、前の反復の前記解となる位相関数である、請求項219から224のいずれか一項に記載の方法。
  226. 前記前の反復の前記解となる位相関数のフーリエ変換をキャッシュする段階と、前記解となる位相関数のキャッシュされた前記フーリエ変換を現在の反復において適用する段階とを備える、請求項225に記載の方法。
  227. 前記近接演算子は、
    により与えられる、請求項219から226のいずれか一項に記載の方法。
  228. 変換された前記近接演算子を評価する段階は、
    を決定する段階を含む、請求項227に記載の方法。
  229. である、請求項226に記載の方法。
  230. である、請求項228および229のいずれか一項に記載の方法。
  231. α>0が正則化パラメータである、請求項228から230のいずれか一項に記載の方法。
  232. 前記方法は、位相面を定数値として初期化する段階を備える、請求項219から231のいずれか一項に記載の方法。
  233. 変換された前記近接演算子を評価する段階は、異なる複数の点について並列に実施される、請求項219から232のいずれか一項に記載の方法。
  234. 評価する段階は、グラフィックスプロセッシングユニット内で実施される、請求項233に記載の方法。
  235. 前記位相変調器を照明しつつ、前記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、前記画像を表示する段階を備える、請求項219から234のいずれか一項に記載の方法。
  236. 前記位相変調器にコリメート光を均等に照明する段階を備える、請求項235に記載の方法。
  237. 前記位相変調器は、複数の液晶ピクセルのアレイを含み、前記方法は、前記解となる位相関数に従って前記複数のピクセルに複数の制御信号を設定する段階を含む、請求項235から236のいずれか一項に記載の方法。
  238. 前記位相変調器は、LCoS位相変調器である、請求項237に記載の方法。
  239. 前記位相変調器は、可変形状ミラーである、請求項237に記載の方法。
  240. 前記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、請求項235から239のいずれか一項に記載の方法。
  241. 前記位相変調器は、最大位相遅延を有し、前記方法は、前記位相変調器の前記最大位相遅延を超える前記位相関数の位相差を、2πの倍数で減算する段階を備える、請求項219から240のいずれか一項に記載の方法。
  242. 画像データにより定義される画像を表示するよう位相変調器を制御するための装置であって、前記位相変調器と通信するデータプロセッサを備え、前記データプロセッサは、
    前記画像データに基づいて目的関数の近接演算子を決定し、
    前記近接演算子を周波数空間へと変換し、
    変換された前記近接演算子を前記周波数空間において評価して、位相関数を前記周波数空間において得て、
    前記位相関数を逆変換して、前記位相変調器の位相を2次元における位置に関連付ける、解となる位相関数を得るよう構成される、装置。
  243. 前記データプロセッサが、前記近接演算子を変換するよう構成されることは、前記データプロセッサが、前記近接演算子のフーリエ変換を計算するよう構成されることを含む、請求項242に記載の装置。
  244. 前記データプロセッサは、変換することの前に、周期境界条件を有するよう前記画像データを拡張し、前記近接演算子を拡張された前記画像データに基づかせるよう構成される、請求項243に記載の装置。
  245. 前記データプロセッサが、前記画像データを拡張するよう構成されることは、前記データプロセッサが、前記画像データの各境界を横断して前記画像データの鏡像を作成するよう構成されることを含む、請求項244に記載の装置。
  246. 前記目的関数は、最小二乗目的関数である、請求項242から245のいずれか一項に記載の装置。
  247. 前記近接演算子は、入力引数から外れさせるコストを含む、請求項242から246のいずれか一項に記載の装置。
  248. 前記データプロセッサは、前記近接演算子を反復的に決定し、前記近接演算子を変換し、変換された前記近接演算子を評価するよう構成され、複数回の反復のそれぞれにおいて、前記近接演算子に対する入力引数は、前の反復の前記解となる位相関数である、請求項242から247のいずれか一項に記載の装置。
  249. 前記データプロセッサは、前記前の反復の前記解となる位相関数のフーリエ変換をキャッシュし、前記解となる位相関数のキャッシュされた前記フーリエ変換を現在の反復において適用するよう構成される、請求項248に記載の装置。
  250. 前記近接演算子は、
    により与えられる、請求項242から249のいずれか一項に記載の装置。
  251. 前記データプロセッサが、変換された前記近接演算子を評価するよう構成されることは、前記データプロセッサが、
    を決定するよう構成されることを含む、請求項250に記載の装置。
  252. である、請求項251に記載の装置。
  253. である、請求項251または252に記載の装置。
  254. α>0が正則化パラメータである、請求項251から253のいずれか一項に記載の装置。
  255. 前記データプロセッサは、位相面を定数値として初期化するよう構成される、請求項242から254のいずれか一項に記載の装置。
  256. 前記データプロセッサは、変換された前記近接演算子を異なる複数の点について並列に評価するよう構成される、請求項242から255のいずれか一項に記載の装置。
  257. 前記データプロセッサは、グラフィックスプロセッシングユニットを含み、前記グラフィックスプロセッシングユニットは、変換された前記近接演算子を評価する、請求項256に記載の装置。
  258. 前記位相変調器と、前記位相変調器上に光を投影するための光源とを備え、前記データプロセッサは、前記位相変調器を照明するよう前記光源を制御しつつ、前記解となる位相関数に従って位相変調器の複数のピクセルを制御することにより、前記画像を表示するよう前記位相変調器を制御するよう構成される、請求項242から257のいずれか一項に記載の装置。
  259. 前記光源は、前記位相変調器にコリメート光を均等に照明するよう構成される、請求項258に記載の装置。
  260. 前記位相変調器は、複数の液晶ピクセルのアレイを含み、前記データプロセッサは、前記解となる位相関数に従って前記複数のピクセルに複数の制御信号を設定するよう構成される、請求項258から259のいずれか一項に記載の装置。
  261. 前記位相変調器は、LCoS位相変調器である、請求項260に記載の装置。
  262. 前記位相変調器は、可変形状ミラーである、請求項260に記載の装置。
  263. 前記位相変調器上の複数の点に対する最大開口数は、0.21またはそれより小さい、請求項258から262のいずれか一項に記載の装置。
  264. 前記位相変調器は、最大位相遅延を有し、前記データプロセッサは、前記位相変調器の前記最大位相遅延を超える前記位相関数の任意の位相差を、2πの倍数で減算するよう構成される、請求項242から264のいずれか一項に記載の装置。
  265. データプロセッサに、上記の方法請求項のいずれか一項に記載の方法を実施させるよう構成される、複数のコンピュータ可読ソフトウェア命令を備える、コンピュータ可読媒体。
  266. 本明細書に記載の任意の新規性および進歩性のある特徴、複数の特徴の組み合わせ、または複数の特徴のサブコンビネーションを有する装置。
  267. 本明細書に記載の任意の新規性および進歩性のある複数のステップ、複数の動作、複数のステップおよび/もしくは複数の動作の組み合わせ、または、複数のステップおよび/もしくは複数の動作のサブコンビネーションを有する方法。
JP2016571109A 2014-06-03 2015-06-03 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング方法及び装置 Active JP6715188B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462007341P 2014-06-03 2014-06-03
US62/007,341 2014-06-03
US201562118945P 2015-02-20 2015-02-20
US62/118,945 2015-02-20
PCT/CA2015/050515 WO2015184549A1 (en) 2014-06-03 2015-06-03 Efficient, dynamic, high contrast lensing with applications to imaging, illumination and projection

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020099433A Division JP7104098B2 (ja) 2014-06-03 2020-06-08 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング方法及び装置

Publications (3)

Publication Number Publication Date
JP2017520022A true JP2017520022A (ja) 2017-07-20
JP2017520022A5 JP2017520022A5 (ja) 2018-07-12
JP6715188B2 JP6715188B2 (ja) 2020-07-01

Family

ID=54765907

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016571109A Active JP6715188B2 (ja) 2014-06-03 2015-06-03 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング方法及び装置
JP2020099433A Active JP7104098B2 (ja) 2014-06-03 2020-06-08 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング方法及び装置
JP2022109538A Pending JP2022180345A (ja) 2014-06-03 2022-07-07 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020099433A Active JP7104098B2 (ja) 2014-06-03 2020-06-08 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング方法及び装置
JP2022109538A Pending JP2022180345A (ja) 2014-06-03 2022-07-07 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング

Country Status (6)

Country Link
US (6) US10003776B2 (ja)
EP (1) EP3152616B2 (ja)
JP (3) JP6715188B2 (ja)
CN (3) CN116260951A (ja)
CA (1) CA2950958A1 (ja)
WO (1) WO2015184549A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021235093A1 (ja) 2020-05-21 2021-11-25 ソニーグループ株式会社 画像表示装置、学習済みニューラルネットワークモデルの生成方法、並びにコンピュータプログラム
WO2021250993A1 (ja) 2020-06-07 2021-12-16 ソニーグループ株式会社 信号処理装置、信号処理方法、プログラム、照明装置
JP2022505275A (ja) * 2018-10-18 2022-01-14 ソニーグループ株式会社 大きなサイズの画像のトレーニング及びアップスケーリング
EP4156866A4 (en) * 2020-05-18 2023-10-25 Sony Group Corporation LIGHTING DEVICE, LIGHTING METHOD AND PROJECTOR DEVICE

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286484A (zh) * 2013-10-20 2019-09-27 Mtt创新公司 光场投影装置及方法
EP3143763B8 (en) 2014-05-15 2023-12-27 MTT Innovation Incorporated Light projector and method for displaying an image
EP3175282B1 (en) 2014-07-31 2021-06-09 Mtt Innovation Incorporated Numerical approaches for free-form lensing: area parameterization free-form lensing
CA3238721A1 (en) 2014-08-14 2016-02-18 Mtt Innovation Incorporated Multiple-laser light source
JP2016106721A (ja) * 2014-12-03 2016-06-20 キヤノン株式会社 画像処理装置および画像処理方法
US10203499B2 (en) * 2015-08-24 2019-02-12 Finisar Corporation Image projection system
US10162086B2 (en) * 2016-03-07 2018-12-25 Microsoft Technology Licensing, Llc Imaging through highly diffusive media with wavefront shaping
JP6889495B2 (ja) 2016-03-09 2021-06-18 リフレクション メディカル, インコーポレイテッド 放射線療法のためのフルエンスマップ生成方法
CN109073903B (zh) 2016-04-12 2022-05-27 麦格纳国际公司 高功率动态透镜
US10652435B2 (en) * 2016-09-26 2020-05-12 Rambus Inc. Methods and systems for reducing image artifacts
US10531055B2 (en) 2016-09-30 2020-01-07 Dolby Laboratories Licensing Corporation Beam combining for highlight projection
CN110933951B (zh) * 2017-03-14 2023-03-10 快照公司 具有减小的斑点的激光照明系统
WO2018179980A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 投射装置、投射画像制御方法、および投射画像制御プログラムが記録された記録媒体
CN110651471B (zh) 2017-05-12 2022-02-25 Mtt创新公司 高明度投影系统和方法
US10416539B2 (en) * 2017-06-21 2019-09-17 Dolby Laboratories Licensing Corporation Spatial light modulator for reduction of certain order light
CN114679577B (zh) 2017-09-25 2024-03-26 杜比实验室特许公司 用于在双重调制投影系统中显示高质量图像的系统和方法
US10488746B2 (en) 2017-11-14 2019-11-26 Dolby Laboratories Licensing Corporation Aperture sharing for highlight projection
EP3975555A1 (en) * 2017-12-22 2022-03-30 Dolby Laboratories Licensing Corporation Temporal modeling of phase modulators in multi-modulation projection
GB201807461D0 (en) 2018-05-08 2018-06-20 Barco Nv Closed loop driving of a highlighter type projector
CN110581984A (zh) * 2018-06-08 2019-12-17 深圳光峰科技股份有限公司 投影设备
US11665324B2 (en) * 2018-08-06 2023-05-30 University Of Maryland, College Park High fidelity configuration for two-photon SLM microscopy
EP3845964A4 (en) * 2018-08-31 2021-11-10 Sony Group Corporation LIGHTING DEVICE AND DISPLAY DEVICE
CN109557028B (zh) * 2018-12-09 2021-05-14 山西大学 一种具有密集光斑图案的多通池
EP3931607A1 (en) 2019-02-28 2022-01-05 Barco n.v. Method and system for spatial and angular uniformization of light beams
US10880529B2 (en) * 2019-04-09 2020-12-29 GM Global Technology Operations LLC Speckle reduction with image dithering
US10880528B1 (en) 2019-10-31 2020-12-29 Christie Digital Systems Usa, Inc. Device, system and method for modulating light using a phase light modulator and a spatial light modulator
CN115552511A (zh) 2020-04-28 2022-12-30 杜比实验室特许公司 用于hdr显示器的图像相关对比度和亮度控制
CN114326119A (zh) * 2020-05-15 2022-04-12 华为技术有限公司 抬头显示装置和抬头显示方法
US11880124B2 (en) * 2020-12-17 2024-01-23 Texas Instruments Incorporated Scrolling laser illumination with a phase light modulator
CN116868563A (zh) * 2021-02-16 2023-10-10 Mtt创新公司 用于光转向投影仪的贴片校正
CN113093379B (zh) * 2021-03-25 2022-02-25 上海交通大学 面向光子伊辛机的正交空间相位调制方法
BR112023018225A2 (pt) * 2021-03-25 2023-10-03 Dolby Int Ab Sistema de projeção e método de acionar um sistema de projeção com mapeamento de campo
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
CN117813196A (zh) * 2021-08-23 2024-04-02 根特大学 一种用于导出用于图案化平面光学部件的光对准层的自由曲面主透镜的表面轮廓的方法
CN113805414B (zh) * 2021-10-11 2023-05-09 中国科学院上海光学精密机械研究所 一种曲面投影的方法
US11822218B2 (en) * 2021-12-20 2023-11-21 Himax Display, Inc. Projection system having phase modulator
WO2023161237A1 (en) 2022-02-22 2023-08-31 Barco N.V. Apparatus and methods for adjusting digital images
US11889033B2 (en) * 2022-05-11 2024-01-30 Samsung Electronics Co., Ltd. Flare mitigation via deconvolution using high dynamic range imaging
WO2023230126A1 (en) * 2022-05-25 2023-11-30 Dolby Laboratories Licensing Corporation Optical architecture for beam-steering projectors

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0657760A1 (en) * 1993-09-15 1995-06-14 Texas Instruments Incorporated Image simulation and projection system
JPH11504129A (ja) * 1995-04-28 1999-04-06 フォースクニングスセンター リソ 位相コントラスト画像形成
WO2003036368A1 (en) * 2001-10-25 2003-05-01 Hamamatsu Photonics K.K. Phase modulation apparatus and phase modulation method
US20090128875A1 (en) * 2006-05-11 2009-05-21 Cambridge Enterprise Limited Phase retrieval and phase hologram synthesis
WO2012145200A1 (en) * 2011-04-19 2012-10-26 Dolby Laboratories Licensing Corporation High luminance projection displays and associated methods
CN103325129A (zh) * 2012-03-19 2013-09-25 无锡奥普顿光电子有限公司 一种利用相位调制器件输出图像的方法
WO2014073611A1 (ja) * 2012-11-12 2014-05-15 浜松ホトニクス株式会社 位相変調方法および位相変調装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2317290B (en) 1996-09-11 2000-12-06 Seos Displays Ltd Image display apparatus
US7109473B2 (en) * 2002-09-16 2006-09-19 University Of Chicago Transverse optical accelerator and generalized optical vortices
GB0329012D0 (en) * 2003-12-15 2004-01-14 Univ Cambridge Tech Hologram viewing device
JP2006235406A (ja) * 2005-02-25 2006-09-07 Tohoku Univ フーリエ面を介する投射光学系
JP4933083B2 (ja) * 2005-11-04 2012-05-16 株式会社日立製作所 投写型映像表示装置とその投写光学ユニット
CN101086608A (zh) * 2006-06-05 2007-12-12 中国科学院物理研究所 一种投影显示装置
JP5371180B2 (ja) * 2006-06-15 2013-12-18 日立コンシューマエレクトロニクス株式会社 投写型映像表示装置
JP2008026793A (ja) * 2006-07-25 2008-02-07 Ricoh Co Ltd 画像投影装置
DE102007023739B4 (de) * 2007-05-16 2018-01-04 Seereal Technologies S.A. Verfahren zum Rendern und Generieren von Farbvideohologrammen in Echtzeit und holographische Wiedergabeeinrichtung
JP4635102B2 (ja) * 2007-06-12 2011-02-16 パナソニック株式会社 投写型画像表示装置
US7551341B1 (en) * 2008-01-28 2009-06-23 Dolby Laboratories Licensing Corporation Serial modulation display having binary light modulation stage
GB2461894B (en) * 2008-07-16 2010-06-23 Light Blue Optics Ltd Holographic image display systems
JP2010072374A (ja) * 2008-09-19 2010-04-02 Hitachi Ltd 投射光学系
JP2010152178A (ja) * 2008-12-25 2010-07-08 Seiko Epson Corp 画像表示装置
CN101749641B (zh) * 2009-12-31 2013-02-13 华南理工大学 用于大功率led路灯照明的自由曲面偏光透镜
CN101794028B (zh) * 2010-03-04 2011-12-28 首都师范大学 光学实时三维立体显示装置及方法
RU2429513C1 (ru) * 2010-04-20 2011-09-20 Закрытое Акционерное Общество "Мегавижн" Трехмерный дисплей
GB201011830D0 (en) * 2010-07-14 2010-09-01 Two Trees Photonics Ltd Imaging
SG189850A1 (en) * 2010-12-01 2013-06-28 Exxonmobil Upstream Res Co Simultaneous source inversion for marine streamer data with cross-correlation objective function
KR20130011420A (ko) * 2011-07-21 2013-01-30 삼성전자주식회사 공간 광변조기 및 이를 적용한 광학장치
JP5370427B2 (ja) * 2011-07-24 2013-12-18 株式会社デンソー ヘッドアップディスプレイ装置
JP2013122478A (ja) * 2011-12-09 2013-06-20 Nikon Corp 表示装置及び撮像装置
US9262995B2 (en) * 2011-12-20 2016-02-16 Nec Display Solutions, Ltd. Image projection apparatus and control method therefor
CN202581120U (zh) * 2012-03-21 2012-12-05 广州市鸿利光电股份有限公司 一种led矩形光斑透镜
CN103592702B (zh) * 2013-10-30 2015-05-20 浙江大学 用于激光光束整形的双自由曲面透镜及其设计方法
US9307208B2 (en) * 2014-03-07 2016-04-05 The University Of British Columbia System and method for solving inverse imaging problems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0657760A1 (en) * 1993-09-15 1995-06-14 Texas Instruments Incorporated Image simulation and projection system
US5508841A (en) * 1993-09-15 1996-04-16 Texas Instruments Incorporated Spatial light modulator based phase contrast image projection system
JPH11504129A (ja) * 1995-04-28 1999-04-06 フォースクニングスセンター リソ 位相コントラスト画像形成
WO2003036368A1 (en) * 2001-10-25 2003-05-01 Hamamatsu Photonics K.K. Phase modulation apparatus and phase modulation method
US20090128875A1 (en) * 2006-05-11 2009-05-21 Cambridge Enterprise Limited Phase retrieval and phase hologram synthesis
WO2012145200A1 (en) * 2011-04-19 2012-10-26 Dolby Laboratories Licensing Corporation High luminance projection displays and associated methods
CN103325129A (zh) * 2012-03-19 2013-09-25 无锡奥普顿光电子有限公司 一种利用相位调制器件输出图像的方法
WO2014073611A1 (ja) * 2012-11-12 2014-05-15 浜松ホトニクス株式会社 位相変調方法および位相変調装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022505275A (ja) * 2018-10-18 2022-01-14 ソニーグループ株式会社 大きなサイズの画像のトレーニング及びアップスケーリング
US11533413B2 (en) 2018-10-18 2022-12-20 Sony Group Corporation Enhanced color reproduction for upscaling
EP4156866A4 (en) * 2020-05-18 2023-10-25 Sony Group Corporation LIGHTING DEVICE, LIGHTING METHOD AND PROJECTOR DEVICE
WO2021235093A1 (ja) 2020-05-21 2021-11-25 ソニーグループ株式会社 画像表示装置、学習済みニューラルネットワークモデルの生成方法、並びにコンピュータプログラム
WO2021250993A1 (ja) 2020-06-07 2021-12-16 ソニーグループ株式会社 信号処理装置、信号処理方法、プログラム、照明装置

Also Published As

Publication number Publication date
JP2020173449A (ja) 2020-10-22
EP3152616A4 (en) 2018-02-21
US20200014895A1 (en) 2020-01-09
CN106662739A (zh) 2017-05-10
US20230179749A1 (en) 2023-06-08
US20180270457A1 (en) 2018-09-20
JP2022180345A (ja) 2022-12-06
US11877102B2 (en) 2024-01-16
US20210092337A1 (en) 2021-03-25
US10834369B2 (en) 2020-11-10
JP6715188B2 (ja) 2020-07-01
CN111641817A (zh) 2020-09-08
EP3152616A1 (en) 2017-04-12
CN106662739B (zh) 2020-06-12
CN116260951A (zh) 2023-06-13
EP3152616B1 (en) 2020-08-12
US10404957B2 (en) 2019-09-03
JP7104098B2 (ja) 2022-07-20
US10003776B2 (en) 2018-06-19
EP3152616B2 (en) 2023-06-07
US11558590B2 (en) 2023-01-17
US20240179279A1 (en) 2024-05-30
CA2950958A1 (en) 2015-12-10
WO2015184549A1 (en) 2015-12-10
CN111641817B (zh) 2023-02-17
US20170085846A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
JP7104098B2 (ja) 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング方法及び装置
Jang et al. Holographic near-eye display with expanded eye-box
Damberg et al. High brightness HDR projection using dynamic freeform lensing
Maimone et al. Holographic near-eye displays for virtual and augmented reality
JP2022130532A (ja) フリーフォームレンジングのための数値的アプローチ、エリアパラメータ化フリーフォームレンジング
US11281003B2 (en) Near eye dynamic holography
US11611727B2 (en) System and method for displaying high quality images in a dual modulation projection system
Damberg et al. Efficient freeform lens optimization for computational caustic displays
JPWO2018211878A1 (ja) 位相変調データ生成装置、照明装置、およびプロジェクタ
US20140210942A1 (en) Fast processing of information represented in digital holograms
JP2015125331A (ja) 立体像表示素子及びこれを用いた立体像表示装置
Sun et al. Correcting the proximity effect in nanophotonic phased arrays
CN110494795B (zh) 伪散斑图案生成装置、伪散斑图案生成方法、观察装置和观察方法
Choi et al. High-quality holographic displays using double SLMs and camera-in-the-loop optimization
Yang et al. Diffraction-engineered holography: Beyond the coherent limits of holographic displays

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R150 Certificate of patent or registration of utility model

Ref document number: 6715188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250