JP2015509208A - 位相回復 - Google Patents

Abstract

【課題】より迅速に許容可能な品質のホログラムに収束する及び／又は特定の反復回数後に改善された再構成品質をもたらす位相回復方法を提供する。【解決手段】ピクセル化画像を処理して画像を表す位相分布を回復する方法が提供される。画像を表す位相分布は、フーリエ領域である。この方法は、画像ピクセルをパディングピクセル又は非画像ピクセルでパディングして、ピクセル化画像中のピクセルの総数を増加することを備える。この方法はさらに、反復方法の各反復において、画像ピクセルとは異なってパディングピクセル又は非画像ピクセルを処理することを備える。【選択図】図２

Description

本発明は、例えばコンピュータ処理のホログラムを用いた画像処理及び画像再生の分野に関する。本明細書に開示された実施の形態は、概して２次元強度分布などの画像から位相情報を回復する反復方法に関する。より具体的には、本明細書に開示された実施の形態は、概して、リアルタイムで位相情報を回復するための修正されたＧｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムに関する。

物体から散乱した光は、振幅と位相両方の情報の両方を含んでいる。この振幅及び位相情報は、例えば、干渉縞を備える、ホログラフィック記録又は「ホログラム」を形成するための周知の干渉技術による感光板上にとらえることができる。「ホログラム」は、元の物体を表すホログラフィック再構成、すなわち画像を再生するために、それを適切な光で照射することにより再構成されてもよい。

許容品質のホログラフィック再構成は、元の物体に関連する位相情報のみを含む「ホログラム」から形成可能であることが見いだされている。このようなホログラフィック記録は、位相限定ホログラム（phase-only holograms）と称されてもよい。コンピュータ処理のホログラフィは、コンピュータ処理の位相限定ホログラムを作り出すために、例えばフーリエ技術を用いて干渉プロセスを数値的にシミュレートしてもよい。コンピュータ処理の位相限定ホログラムは、物体を表すホログラフィック再構成を作り出すために用いられてもよい。

従って、「ホログラム」という用語は、物体についての情報を含む記録に関連するとともに、物体を表す再構成を形成するために用いることができる。ホログラムは、物体についての周波数領域、すなわちフーリエ領域の情報を含んでもよい。

ホログラフィック技術を２次元画像投影システムに用いることが提案されている。このシステムは、２次元画像フレームの時間的なシーケンスを入力として受け取ってもよい。入力は、対応するホログラム（例えば、位相限定ホログラム）のリアルタイムシーケンスに変換されてもよい。ここで、各ホログラムは一つの画像フレームに対応する。各ホログラムは、スクリーン上に結像させるために可視光源を用いて照射され、入力を表す２次元投影を作り出してもよい。特定の装置は、画像シーケンスをリアルタイムで形成するのに十分な速度でのホログラフィックデータの書き込むを可能とし、フレームを見ることを可能とする。従って、コンピュータ処理のホログラムのシーケンスを用いて画像フレームのシーケンスを投影するために、リアルタイムの２次元ビデオプロジェクタが提供されてもよい。

位相限定ホログラムを用いてビデオ画像を投影する利点は、計算方法によって、例えば投影画像のアスペクト比、解像度、コントラスト及びダイナミックレンジ等の多くの画像特性を制御する能力である。位相限定ホログラムの更なる利点は、振幅変調によって失われる光エネルギーがないことである。

コンピュータ処理の位相限定ホログラムは、「ピクセル化」されてもよい。すなわち、位相限定ホログラムは、個別の位相素子のアレイ上に表されてもよい。各個別素子が「ピクセル」と呼ばれてもよい。各ピクセルは、例えば位相変調素子などの光変調素子の機能を果たしてもよい。コンピュータ処理の位相限定ホログラムは、それ故、例えばＬＣＯＳ（liquid crystal on silicon）空間光変調器（ＳＬＭ）等の位相変調素子のアレイ上に表されてもよい。ＬＣＯＳは反射型であってよく、これは変調光がＬＣＯＳから反射して出射されることを意味する。

各位相変調素子、すなわちピクセルは、位相変調素子に入射する光に対して制御可能な位相遅延を与えるために状態が変化してもよい。例えばＬＣＯＳ ＳＬＭ等の位相変調素子のアレイは、それ故、コンピュータ的に決定された位相遅延分布を表示（又は「ディスプレイ」）してもよい。位相変調素子のアレイに入射する光がコヒーレントである場合、この光は、ホログラフィック情報、すなわちホログラムで変調される。ホログラフィック情報は、周波数領域、すなわちフーリエ領域であってよい。

あるいは、位相遅延分布は、キノフォームに記録されてもよい。「キノフォーム」という用語は、一般的に、位相限定ホログラフィック記録、すなわちホログラムに言及するために使用されてよい。

位相遅延は量子化されてもよい。すなわち、各ピクセルは、位相レベルの離散数の一つで設定されてもよい。

位相遅延分布は、（例えばＬＣＯＳ ＳＬＭを照射することにより）入射光波に適用され、再構成されてもよい。空間での再構成の位置は、空間領域でホログラフィック再構成、すなわち「画像」を形成するために、光学的フーリエ変換レンズを用いることにより制御される。あるいは、再構成がファーフィールドで起こる場合には、フーリエ変換レンズは必要ないかもしれない。

コンピュータ処理のホログラムは、例えばＧｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎなどのアルゴリズムを用いることを含む多くの方法で計算可能である。Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムは、空間領域での振幅情報（例えば２次元画像）からフーリエ領域の位相情報を導き出すために用いられる。すなわち、物体に関する位相情報は、空間領域での強度情報、すなわち振幅情報のみから「回復（リトリーブ）」され得る。その結果、フーリエ領域における物体の位相限定ホログラフィック表示が計算される。

例えばスクリーン上などのリプレイフィールド（replay field）に画像（ホログラフィック再構成）を形成するために、フーリエ領域のホログラムを照射して、例えばフーリエ変換レンズを用いて光学的フーリエ変換を実行することにより、ホログラフィック再構成が形成されてもよい。

図１は、本開示に係る、例えばＬＣＯＳＳＬＭ等の反射型ＳＬＭを用いて、リプレイフィールド位置にホログラフィック再構成を作り出す一実施例を示す。

例えばレーザ又はレーザダイオード等の光源（１１０）は、コリメートレンズ（１１１）を介してＳＬＭ（１４０）を照射するよう配置される。コリメートレンズは、通常平面的な光の波面をＳＬＭに入射させる。波面の方向は、わずかにオフノーマルである（例えば、透明層の面に対して真に直交した状態から２°又は３°離れている）。この配置は、光源からの光がＳＬＭ裏面の鏡面で反射し、位相変調層と相互作用して出射波面（１１２）を形成するようになっている。出射波面（１１２）は、フーリエ変換レンズ（１２０）を含む光学系に与えられる。この光学系は、スクリーン（１２５）にその焦点を有する。

フーリエ変換レンズ（１２０）は、ＳＬＭから出射する位相変調された光のビームを受け、空間領域でスクリーン（１２５）にホログラフィック再構成を作り出すために周波数−空間変換を行う。

このプロセスでは、光源からの光（画像投影システムの場合には可視光）はＳＬＭ（１４０）にわたって、及び位相変調層（すなわち位相変調素子のアレイ）にわたって分布する。位相変調層から出射した光は、リプレイフィールドにわたって分布可能である。ホログラムの各ピクセルは、全体として再生画像に寄与する。すなわち、再生画像上の特定の点と特定の位相変調素子との間の１対１の相関関係は存在しない。

Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムは、平面Ａ及びＢそれぞれにおける光ビームの断面強度Ｉ_Ａ（ｘ、ｙ）及びＩ_Ｂ（ｘ、ｙ）が既知であり、且つＩ_Ａ（ｘ、ｙ）及びＩ_Ｂ（ｘ、ｙ）が一つのフーリエ変換により関係づけられるときに、位相回復問題を検討する。所与の断面強度があれば、平面Ａ及びＢそれぞれにおける位相分布Φ_Ａ（ｘ、ｙ）及びΦ_Ｂ（ｘ、ｙ）に対する近似が見いだされる。Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムは、以下の反復プロセスによりこの問題に対する解決法を見いだす。

Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムは、空間領域とフーリエ（スペクトル）領域との間でＩ_Ａ（ｘ、ｙ）及びＩ_Ｂ（ｘ、ｙ）を表すデータセット（振幅及び位相）を繰り返し転送する間に、空間制限及びスペクトル制限を反復して適用する。空間制限及びスペクトル制限は、それぞれＩ_Ａ（ｘ、ｙ）及びＩ_Ｂ（ｘ、ｙ）である。空間領域とスペクトル領域のいずれか一方の制限は、データセットの振幅に課される。対応する位相情報は、一連の反復を通じて回復される。

より迅速に許容可能な品質のホログラムに収束する及び／又は特定の反復回数後に改善された再構成品質をもたらす位相回復方法を提供することが望ましい。

本発明の態様は、添付の独立請求項に規定される。

要約すると、本開示の態様は、ピクセル化画像を処理して、画像を表すフーリエ領域、すなわち周波数領域の位相分布を回復する方法に関する。

本発明者は、画像を表す位相分布が、パディングピクセル、すなわち非画像ピクセルを追加することによりホログラム面中のピクセル数を増加することで改善されることを認識した。本発明者は、さらに、パディングピクセル、すなわち非画像ピクセルを処理してパディング中に含まれるノイズを抑制するいくつかの有利な方法を確認した。

実施形態では、入力画像を適切に表すホログラムに収束するのに必要な、修正されたＧｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズム等の反復アルゴリズムの反復数が減少する。すなわち、再構成される際、ホログラムは許容可能な品質の再構成画像を生成する。さらに、再構成画像の品質は同じ反復数に対して改善されることが見いだされた。

ホログラムは、平均二乗誤差が所定の閾値未満であるか、又はピーク信号対雑音比が所定の閾値を超える場合に、許容可能と見なすことができる。

本明細書に開示された実施形態は、ビデオシーケンスの各フレームに関して位相分布（ホログラム）のリアルタイムの回復を含む２次元ビデオ画像の投影に関する。それにより、限られた時間のみがホログラムを計算するのに利用可能であり、従って、次のフレームが投影されなければならないときより前に、本方法の限られた数の反復のみが実行され得る。この時間は、例えばフレーム間時間に関係してよい。

本願発明の他の利点及び特徴は、以下の図を用いて説明された記載を読むことによって明らかとなるであろう。
例えばＬＣＯＳ等の反射型ＳＬＭがホログラフィック再構成をリプレイフィールド位置に生成することを概略的に示す図である。 修正されたＧｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムの機能を示すチャートである。 ランダム位相シードの一例を示す図である。 パッドされた画像の一例を示す図である。 本開示の実施形態に係る方法を示す図である。 実施形態に係る画像投影システムを示す図である。 ＬＣＯＳ ＳＬＭの概略図である。

図面では類似の符号は類似の部分と見なされる。

ホログラフ的に生成された２次元ビデオ画像は、特に解像度と効率性に関して、従来の方法で投影された対応物よりも大きな利点を有することが知られている。しかしながら、現在のホログラム生成アルゴリズムにおける計算とハードウェアの複雑性は、これまではリアルタイムアプリケーションでのそれらの使用を不可能にしていた。近年、これらの問題は解決されている。例えば、国際公開第２００５／０５９８８１号を参照されたい。これは、参照により本明細書に組み込まれる。

Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎに基づく修正アルゴリズムが開発されている。例えば、同時係属の国際公開第２００７／１３１６５０号を参照されたい。これは、参照により本明細書に組み込まれる。

これらの改善された技術は、２次元ビデオ投影を実現可能とするのに十分な速度でホログラムを計算することができる。本明細書に記載された実施形態は、このような修正Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムを用いて計算されたコンピュータ処理のホログラムを用いた２次元ビデオ投影に関する。

図２は、既知の振幅情報Ｔ［ｘ，ｙ］３６２を生じさせるデータセットのフーリエ変換の位相情報Ψ［ｕ，ｖ］を回復する修正アルゴリズムを示す。振幅情報Ｔ［ｘ，ｙ］３６２は、目標画像（例えば写真）を表す。位相情報Ψ［ｕ，ｖ］は、像平面に目標画像を表すホログラフィックを生成するために用いられる。

強度（マグニチュード）と位相が本質的にフーリエ変換に組み合わされているので、（位相と同様に）変換された強度は、計算されたデータセットの精度についての有意な情報を含む。従って、このアルゴリズムは、振幅情報と位相情報の両方にフィードバックを提供してよい。

図２に示すアルゴリズムは、（振幅情報３０１及び位相情報３０３を有する）複合波入力と、（同様に振幅情報３１１及び位相情報３１３を有する）複合波出力とを有するものと考えることができる。振幅情報及び位相情報は本来組み合わされてデータセットを形成しているが、便宜上それらは分離しているものと考える。振幅情報と位相情報の両方はそれら自身がファーフィールド画像のための空間座標（ｘ，ｙ）とホログラムのための空間座量（ｕ,ｖ）の関数であり、両方が振幅分布及び位相分布を考えることができることを留意すべきである。

図２を参照して、処理ブロック３５０は、強度情報３０１及び位相情報３０３を有する第１のデータセットからフーリエ変換を行う。その結果が第２のデータセットであり、これは強度情報と位相情報Ψ_ｎ［ｕ,ｖ］３０５を有する。処理ブロック３５０からの振幅情報は、光源を表す分布に設定されるが、位相情報Ψ_ｎ［ｕ,ｖ］３０５は保持される。位相情報３０５は、処理ブロック３５４により量子化され、位相情報Ψ［ｕ,ｖ］３０９として出力される。位相情報３０９は、処理ブロック３５６に送られ、処理ブロック３５２により新たな強度と組み合わされる。第３のデータセット３０７，３０９は、逆フーリエ変換を行う処理ブロック３５６に与えられる。これは、振幅情報｜Ｒ_ｎ［ｘ，ｙ］｜３１１と位相情報∠Ｒ_ｎ［ｘ，ｙ］３１３を有する空間領域の第４のデータセットＲ_ｎ［ｘ，ｙ］を生成する。

第４のデータセットをはじめとして、その位相情報３１３は、第５のデータセットの位相情報を形成し、次の反復３０３’の第１のデータセットとして適用される。その振幅情報Ｒ_ｎ［ｘ，ｙ］３１１は、振幅情報３１５のセットを生成するために、目標画像からの振幅情報Ｔ［ｘ，ｙ］３６２からの減算により修正される。スケーリングされた振幅情報３１５（αによりスケーリング）は、次の反復に第１のデータセットとして適用するための第５のデータセットの入力振幅情報η［ｘ，ｙ］３０１を生成するために、目標振幅情報Ｔ［ｘ，ｙ］３６２から減算される。これは、以下の式で数学的に表される。

ここで、
Ｆ’は逆フーリエ変換、
Ｆは順フーリエ変換、
Ｒはリプレイフィールド、
Ｔは目標画像、
∠は角度情報、
Ψは角度情報の量子化バージョン、
εは新たな目標強度（ε≧０）、
αは利得要素〜１
である。

利得要素αは、入力目標画像データのサイズ及び速度に基づいて予め定められてもよい。

前回の反復からの位相情報がない場合、アルゴリズムの初回の反復は、ランダム位相発生器を用いて、出発点としての位相情報を供給する。図３は、ランダム位相シード（random phase seed）の一例を示す。

ある修正では、処理ブロック３５０から結果として得られる振幅情報は、廃棄されない。目標振幅情報３６２は、新たな振幅情報を生成するために振幅情報から引かれる。処理ブロック３５６に対する入力振幅情報を生成するために、複数の振幅情報が振幅情報３６２から引かれる。

更なる代替では、位相は、完全にフィードバックされず、最後の２回の反復以降の変化に比例した一部分のみがフィードバックされる。

これらのＧｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムに対する修正は、特定のフレームに対する位相回復演算内でのフィードバックパラメータに関連する。これは、前のフレームに対する位相回復計算に関連する引き継ぎパラメータと異なり、「フレーム引き継ぎ」と称されてもよい。

要約すれば、位相回復の改善された方法が提供される。この方法は、Ｇｅｒｃｈｂｅｒｇ−ＳａｘｔｏｎやＧｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎの修正版などの既存の位相回復アルゴリズムと併せて用いられてよい。

伝統的に、Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムは、いわゆる「１対１」モードで使用される。すなわち、ホログラフィック再構成のピクセル数は、ホログラムのピクセル数と等しい。Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎに基づくアルゴリズムは、高速フーリエ変換（ＦＦＴ）を用いる。それ故、再構成用の画像（例えば入力写真）のピクセル数は、ホログラムのピクセル数と一致していなければならない。

再構成用の画像は、例えば１２８×１２８ピクセルであってよい。実施形態では、最終的な画像の再構成品質は、ホログラム面のピクセル数を増大することにより改善される。例えば２５６×２５６ピクセル（又は５１２×５１２ピクセル）を含むことが対応するホログラムにとって都合がよい。これを実現するために、初回の反復に対する入力振幅分布は、１２８×１２８ピクセルから２５６×２５６ピクセルにサイズを大きくする必要がある。実施形態では、これは、再構成用の画像（例えば入力写真）の周囲にボーダー（縁）を形成することにより達成される。この技術は、「パディング（padding）」とも呼ばれる。別の実施形態では、内部パディングが用いられる。例えば、行や列の一つおきのピクセルが「パディング」で形成されてもよい。「パディング」は、均一又は不均一であってよい。パッド入りの領域は、任意の対称又は非対称形状をとってもよい。要約すれば、ホログラムの複数のピクセルが画像内容を含まない実施形態がその結果提供される。これらのピクセルは、「パディングピクセル」又は「非画像ピクセル」とも称され、画像が再構成される物体に関する情報を含む「画像ピクセル」と対比されてもよい。

実施形態では、再構成用の初期画像は、図４に示すように均一な強度のボーダーでパッドされている。これは、「一定パディング（constant padding）」と呼ばれてもよい。しかしながら、ホログラムのピクセル数が増大しているにもかかわらず、場合によっては、結果として生じる再構成の平均二乗誤差がこの種のパディングを用いることにより実際に増大することが予想外に見いだされた。パディングは非常に少量のノイズを内部に含んでいることが見いだされた。これは、この例ではアルゴリズムがパディングピクセルを１（unity）に最適化しようともしていることを表している。これは、位相限定変調を用いて照明の大きな均一領域を作り出す際に、良質な結果を得ることが難しいことを表している。従って、この方法によれば、ボーダーを最適化仕様とすることに計算パワーが浪費される。本開示の実施形態は、パディングピクセルのノイズの悪影響を抑制し、その結果再構成の品質を改善する方法に関する。

「自己設定パディング（self-setting padding）」として知られる方法が試みられている。この方法では、例えばパディングピクセルのボーダー等のパディングピクセルは、アルゴリズムのフィードバックステップにより変更されない。さらに具体的には、ｎ番目の反復のパディングピクセルの振幅情報Ｒ_ｎ［ｘ，ｙ］は、（ｎ＋１）番目の反復用の入力振幅情報を生成するために引き算により修正されない。言い換えると、各パディングピクセルの振幅値は、修正されずにフィードバックされる。それに対して、各画像ピクセルの振幅値Ｒ_ｎ［ｘ，ｙ］は、図２に関して上述したように引き算により処理される。これにより、アルゴリズムは、どのようにノイズがパディング領域に分布するかを効果的に決定できる。この実施形態は、「自己設定パディング」とも呼ばれる。「自己設定パディング」を用いることにより、このアルゴリズムはより速く（典型的には、６０回の反復に対して７回の反復未満で）収束することが分かる。すなわち、再構成の平均二乗誤差は（入力画像と比較したとき）より速く収束する。言い換えると、従来設定された高品質の再構成に達するのに必要な反復が少なくなる。

しかしながら、ある場合には、再構成の平均二乗誤差は自己設定パディングを用いることにより増大する可能性がある。本発明者は、これは（ランダムシード位相分布が再構成品質を支配しているとき）パディングのノイズがアルゴリズムの最初の少なく反復の結果により大きく支配されるためであることを確認している。

実施形態では、アルゴリズムの最初の反復に対するパディングピクセルの初期値は、疑似乱数であり、図３に示すランダムシードと似ている。これは、ランダムノイズフィールド（random noise field）とも呼ばれる。別の実施形態では、パディングピクセルの初期値は同じである。これは、均一強度フィールド（uniform intensity field）とも呼ばれる。その後の反復のパディングピクセルの値は勿論、アルゴリズムにより決定される。

実施形態では、ｎ番目の反復からのパディングピクセルのＲ_ｎ［ｘ，ｙ］３１１は、図５に示されるように、修正されたパディングピクセル３９０を形成するために追加処理ステップ３８０を受ける。画像ピクセル３９２は、ステップ３５８にフィードバックされ、前述のように処理される。画像ピクセル３９２及び修正されたパディングピクセル３９０は再結合して（ｎ＋１）番目の反復の完全な入力３０１になる。当業者であれば、例えばパディング配置の予備知識（すなわちどちらがパディングピクセルでどちらが画像ピクセルであるか）を持つことにより、パディングピクセルと画像ピクセルを異なって処理するためにどのようにシステムが構成されればよいかを容易に想像できるであろう。

一実施形態では、アルゴリズムに不利に働くパディングのノイズに対処しようとするために、パディングピクセルが一定の減衰係数により減衰される。より具体的には、処理ステップ３８０は、各パディングピクセルに０より大きいが１よりも小さい（例えば０．５から０．９、例えば０．８）減衰係数を掛ける。本発明者は、これはパディングのノイズにより引き起こされる悪影響を抑制することを見いだした。従って、この実施形態では再構成の平均二乗誤差の実質的減少が見られた。さらに、この実施形態は、自己設定パディングの上記の利点、すなわち反復の減少（より速い収束）を保持している。

一実施形態では、追加処理ステップ３８０は、可変減衰係数β（０より大きいが１より小さい）によりパディングピクセルを減衰する。ある実施例では、減衰係数はアルゴリズムの反復数によって決まる。さらに有利には、減衰係数は各反復で増加する。すなわち、減衰量が各反復とともに減少する。ある実施例では、ｎ番目の反復に対する減衰係数は、（ｎ＋１）番目の反復に対する減衰係数より小さい。これは、アルゴリズムが収束するため効果的であることが分かっている。

一実施形態では、アルゴリズムにより用いられる減衰係数β及び／又は利得αは、反復数により決定される。一実施例では、各反復数に対するα及び／又はβの値は、事前の計算（又はキャリブレーション）により決定される。ある実施例では、事前の計算は、動作中に位相回復アルゴリズムに対して入力として期待される画像のいくつかの予備知識に基づいて行われる。例えば、キャリブレーションアルゴリズムは、再構成のための有限数の画像例が設けられてもよい、又は事前に与えられてもよい。キャリブレーションアルゴリズムは、その後、各反復数に対するα及び／又はβの好ましい又は最適化された値を決定する。一実施例では、これは、有限数の画像に対する、結果として生じる位相回復画像のメトリクス（数的指標）を一緒に合計し、各反復に対する最適化されたα及び／又はβを決定することにより達成される。別の実施例では、一つの画像が動作中に期待される画像を十分に表しているとしてもよい。好ましい又は最適なα及び／又はβの値は、任意の適切な測定基準を用いて、又は例えばコントラストを最大化する、画像ピクセルのエネルギーを最大化する、又はパディングピクセルのエネルギーを最小化するなどの任意の適切な技術により決定されてよい。最適化されたα及び／又はβの値は、再構成のために期待される画像の種類によって決まる。このようにして、位相回復アルゴリズムは有限数の代表的な画像を用いて期待される入力の種類に合わせられてもよい、又はキャリブレーションされてもよい。別の実施形態では、利得αは、パッドされていない画像に対して上記のように（例えば反復数の関数として）決定される。

一実施形態は、追加処理ステップ３８０は、所定の閾値を超える値を有するパディングピクセルの値を所定値に変更する。この技術は、「クリッピング」と称されてもよい。実施例では、パディングピクセルは、追加処理ステップ３８０により１（unity）又は最大値の２５％等の他の所定値に設定される最大ピクセル値の２５％を超える値を有する。これは、ほとんどの支配的なパディングピクセルを抑制する効果があり、その結果パディングのノイズを抑制する。

一実施形態では、追加処理ステップ３８０は、各パディングピクセルの値を置き換える又は上書きする。ある実施例では、置換値は、ランダムシードなどの疑似ランダム値の所定のアレイである。この置換ランダムシードは、最大ピクセル値の２５％等の所定値未満のピーク値を随意に有してもよい。置換ランダムシードは、パディングピクセルに対する初期ランダムシードと随意に同じであってもよい。

前述の実施形態の変形である一実施形態では、置換ランダムシードは、新しいランダムシード値である。すなわち、パディングピクセルに対する置換ランダムシードは、初期ランダムシード及び／又はアルゴリズムの前回の反復に対して用いられたランダムシードと異なる。本発明者は、これがアルゴリズムの性能、ひいては結果として得られる画像品質をさらに高めることを見いだした。第４及び第５実施形態は、「ランダムパディング」と呼ばれてもよい。

本開示の実施形態は、再構成の平均二乗誤差を計算することにより比較された。この比較のために、Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎ（ＧＳ）アルゴリズムの修正版が用いられた。

目標画像のピクセル数が４倍に増加している（オリジナルの１２８×１２８ピクセルから２５６×２５６ピクセルに増加）とともに、平均二乗誤差がほぼ４分の一に減少しており、ピクセル数と再構成誤差に直線関係が存在していることを表していることは興味深いことである。

実施形態では、最終ホログラムに収束するのに必要な反復数が大幅に減少する。例えば、アルゴリズムの反復数は６０からおよそ７に減少する可能性がある。その結果、貴重な処理能力及び時間が節約される。

実施形態では、修正Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムの反復数が少なくて済むことにより、各ピクセルと関連付けられた位相値がわずか６４レベルのうち一つに有利に量子化され、最適化された再構成品質を確保した。

本発明者は、画像パディングに自己設定ボーダーを用いる修正Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムの更なる改良において、目標画像幅とボーダー幅の比率が７５％〜９０％（随意に８３％）及び／又はアルゴリズムで用いられる利得αが０．５〜０．９（随意に０．７７５）であることを見いだした。しかしながら、当業者であれば、正確な最適値は画像に依存しやすいものであることを理解するであろう。

本発明者はまた、画像パディングにランダムノイズボーダーを用いる修正Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムの更なる改良において、目標画像幅とボーダー幅の比率が７５％〜９０％（随意に８２％）及び／又はアルゴリズムで用いられる利得αが０．５〜０．９（随意に０．６７０）及び／又はボーダーノイズピーク値が４０〜７０（随意に５９）であることを見いだした。しかしながら、当業者であれば、正確な最適値は画像に依存しやすいものであることを理解するであろう。

本発明者はさらに、随意に、任意の所与の画像のＲＭＳ値（ｘ）に対してボーダーで使用されるべき最適なピークランダムノイズは６０未満であるべきであり、随意に、式：Ｐ_{ｎｏｉｓｅ}＝０．４７９１×−１．６４５３を満たすべきであると判断した。

ピーク信号対雑音比（ＰＳＮＲ）は、ＪＰＥＧ等のＣＯＤＥＣが用いられる画像品質を定量化する標準的方法である。ＰＳＮＲが高くなるほど、処理された画像は優れている。比較のために、不可逆画像圧縮の結果として生じるＰＳＮＲ値は通常は３０ｄＢから５０ｄＢである。無線伝送に関する許容値は、２０ｄＢから２５ｄＢであると考えられている。ボーダーを用いた更に改善された修正ＧＳアルゴリズムが定量化された。実施例の結果を下記に示す。

画像効率（image efficiency）は、再構成における全ての光に対する画像に含まれる光量の割合として計算される。これは、高次までのパワー損失も考慮する回折効率ではない。

結果は、２種類のパディング間の実質的な画像品質の違いを示している。しかしながら、この違いは画像効率を犠牲にして成り立っている。

再構成されたホログラムの品質は、再構成の回折性の結果であるいわゆる０次問題によっても影響される可能性がある。このような０次光は「ノイズ」と見なすことができ、例えばＳＬＭからの鏡面的な反射光及びその他の不要な光を含む。

「ノイズ」は、通常、フーリエレンズの焦点に焦点合わせされ、再構成されたホログラムの中心に輝点をもたらす。従来は、０次光は単に遮断されていたが、これは輝点を灰色点で置き換えることを明らかに意味するであろう。

しかしながら、ホログラムが３次元情報を含むとき、再構成を空間の異なる面内に移動させることができる例えば国際公開第２００７／１３１６４９号を参照されたい。これは、参照により本明細書に組み込まれる。

ここで説明される実施形態は、１フレーム当たり一つのホログラムを表示することに関連しているが、本開示は決してこの点に限定されず、一つ以上のホログラムがどの時点においてもＳＬＭ乗に表示されてよい。

例えば、実施形態は、「タイリング」の技術を実行する。この技術では、ＳＬＭの表面積が多数のタイルに細分され、そのそれぞれが元のタイルのそれと類似又は全く同じ位相分布に設定される。従って、各タイルは、仮にＳＬＭの全割当面積が一つの大きな位相パターンとして用いられた場合よりも小さな表面積である。タイルの周波数成分の数が少なくなるほど、画像が生成時に再構成ピクセルはさらに別々に分離される。画像は、０次の回折次数以内で生成され、１次及びそれに続く次数は画像とオーバーラップしないのに十分なほど遠くに移動され、そして空間フィルタによって遮断されることが好ましい。

上述したように、本方法により生成される画像は、（タイリング有り無しにかかわらず）、画像ピクセルを形成するスポットを含む。タイルの数が多くなればなるほど、これらのスポットは小さくなる。無限正弦波のフーリエ変換の例を挙げると、単一の周波数が生成される。これは最適な出力である。実際には、ただ一つのタイルが用いられる場合、これは正弦波の一つの位相の入力に対応し、ゼロ値が正弦波の端点（end nodes）から正負方向に無限に伸びている。そのフーリエ変換から生成される単一の周波数の代わりに、基本周波数成分（principle frequency component）がその両側の一連の隣接周波数成分とともに生成される。タイリングの使用は、これらの隣接する周波数成分の強度を低減し、これの直接的な結果として、隣接する画像ピクセル間で発生する（建設的又は破壊的な）干渉が少なくなり、それにより画像品質を向上する。

望ましくは、わずかなタイルを使用することが可能ではあるが、各タイルが全体のタイルである。

実施形態はＧｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムの変形に関連しているが、当業者であれば、別の位相回復アルゴリズムも本明細書に開示ｓれた改良方法を実施可能であることを理解するであろう。

当業者であれば、本明細書に開示された改良方法は、物体の３次元再構成を形成するために用いられるホログラムの計算に同様に適用可能であることを理解するであろう。

同様に、本開示は、単色画像の投影に限定されない。

カラーの２次元ホログラフィック再構成を生成することが可能であり、これを達成する２つの主な方法が存在する。これらの方法の一つは、「ＦＳＣ（frame-sequential colour）」（ＦＳＣ）として知られている。ＦＳＣシステムでは、３つのレーザ（赤、緑及び青）が用いられ、各レーザは、ビデオの各フレームを生成するためにＳＬＭにおいて連続して点灯される。カラーは、人間の観察者が３つのレーザの組み合わせから多色画像を見えるのに十分速い速度で循環される（赤、緑、青、赤、緑、青など）。各ホログラムは、それ故、カラー仕様である。例えば、１秒当たり２５フレームのビデオでは、最初のフレームは赤レーザを１秒の１／７５の間点灯し、次に緑レーザを１秒の１／７５の間点灯し、最後に青レーザを１秒の１／７５の間点灯することにより生成される。その後、次のフレームが赤レーザから続けて生成される、といった具合である。

「ＳＳＣ（spatially separated colours）」と呼ばれる別の方法では、３つのレーザ全てが同時に点灯されるが、例えばそれぞれが異なるＳＬＭを用いる、又は一つのＳＬＭの異なる領域を用いるなど異なる光路を取り、その後カラー画像を形成するために結合される。

フレームシーケンシャルカラー（ＦＳＣ）法の利点は、ＳＬＭ全体が各カラーのために用いられることである。これは、ＳＬＭの全てのピクセルが各カラー画像に用いられるため、生成される３つのカラー画像の品質が損なわれないことを意味する。しかしながら、ＦＳＣ法の欠点は、各レーザが３分の１の時間用いられるだけのため、生成される全体的な画像がＳＳＣ法により生成される対応する画像と比べて約３倍明るくならないことである。この欠点は、レーザを過度に動作させること、又はより強力なレーザを用いることにより潜在的に解決可能であろうが、これはより多くの電力を必要とし、コスト高となり、システムがコンパクトでなくなるであろう。

ＳＳＣ法の利点は、３つの全てのレーザが同時に点灯されるため、画像がより明るいことである。しかしながら、空間の制約上一つのみのＳＬＭを用いることが求められる場合、ＳＬＭの表面積が３つの等しい部分に分割され、実質的に３つの別々のＳＬＭとして動作する。この欠点は、各単色画像に利用可能なＳＬＭ表面積の減少により、各単色画像の品質が低下することである。従って、多色画像の品質が低下する。利用可能なＳＬＭ表面積の減少は、使用可能なＳＬＭのピクセルが少なくなることを意味し、それ故に画像の品質が低下する。画像の品質は、その解像度が減少するために低下する。

当業者であれば、ユーザがホログラフィック再構成の実像又は虚像を見ることができることを理解するであろう。

本開示に係る実施形態は、ヘッドアップディスプレイで実現されてよい。

図６は、ホログラフィック再構成（７１０）の実像を提供するＳＬＭを用いたシステム（７０５）を有するヘッドアップディスプレイ（７００）を示す。ホログラフィック再構成は、いわゆるリプレイフィールドで形成される。

このディスプレイは、光コンバイナ（７２０）と、ホログラフィック再構成（７１０）とコンバイナ（７２０）との間に配置されたレンズ（７３０）とから成る。この配置は、コンバイナ（７２０）の方に向いている観察者（７４０）が、観察者から距離ｄを置いてコンバイナ（７２０）の後方のホログラフィック再構成（７１０）の虚像（７５０）を見るようになっている。このようなシステムは、例えばヘッドアップディスプレイやヘッドマウントディスプレイに用いることができる。

実施形態では、ＳＬＭはＬＣＯＳ（Liquid Crystal over silicon）装置である。ＬＣＯＳ ＳＬＭは、信号ライン、ゲートライン及びトランジスタが鏡面の下にあるという利点を有する。これは、高いフィルファクター（典型的には９０％を超える）及び高解像度をもたらす。

ＬＣＯＳ装置は、現在４．５μｍ乃至１２μｍのピクセルで利用可能である。

ＬＣＯＳ装置の構造が図７に示されている。

ＬＣＯＳ装置は、単結晶シリコン基板（８０２）を用いて形成される。それは、ギャップ（８０１ａ）の間隙をあげて基板の上面に配置された平面正方形のアルミニウム電極（８０１）の２次元アレイを有する。各電極（８０１）は、基板（８０２）に埋め込まれた電気回路網（８０２ａ）を介してアドレス指定可能である。各電極は、個別の平面鏡を形成する。電極層上には配向層（８０３）が配置されており、配向層（８０３）上には液晶層（８０４）が配置されている。液晶層（８０４）上には第２配向層（８０５）が配置されており、第２配向層（８０５）上には例えばガラスなどの平面透明層（８０６）が配置されている。透明層（８０６）と第２配向層（８０５）との間には例えばＩＴＯ等の単一の透明電極が配置されている。

各正方形電極（８０１）は、透明電極（８０７）の覆っている領域及び介在する液晶材料とともに、制御可能な位相変調素子（８０８）を規定し、これはよくピクセル（画素）と称される。有効ピクセル領域、すなわちフィルファクターは、光学活性される全てのピクセルであり、ピクセル間のスペース（８０１ａ）を考慮している。透明電極（８０７）に対して各電極（８０１）に印加される電圧の制御により、各位相変調素子の液晶材料の特性が変化可能であり、それにより入射光に可変の遅延を与える。この効果は、位相限定変調（phase-only modulation）を波面に与える、すなわち振幅の影響は何も起こらない。

反射型ＬＣＯＳ空間光変調器を用いることの大きな利点は、液晶層が、仮に透過型装置が用いられた場合に必要な厚さの半分の厚さにできることである。これは、液晶のスイッチング速度（動画像の投影のキーポイント）を改善する。また、ＬＣＯＳ装置は、他に類を見ないほど、小さな開口で位相限定素子の大きなアレイを表示することが可能である。小さな素子（典型的にはおよそ１０ミクロン又はそれ以下）は実用的な回折角（数度）をもたらすので、結果光学システムは非常に大きな光路を必要としない。

ＬＣＯＳ ＳＬＭの小さな開口（数平方センチメートル）を適切に照射するのは、大きな液晶装置の開口に対してよりも容易である。ＬＣＯＳ ＳＬＭはまた、大きな開口率を有し、ピクセル間に非常に小さなデッドスペースしかない（それらを駆動する電気回路網が鏡の下に埋められているため）。これは、リプレイフィールドの光学ノイズの削減にとって重要な課題である。

上述の装置は、典型的には、１０℃から約５０℃の温度範囲内で動作し、最適な装置動作温度は約４０℃から５０℃であるが、これは使用されるＬＣ構成に依存する。

シリコンバックプレーンを用いることは、ピクセルが光学的にフラットであるという利点を有する。これは、位相変調装置にとって重要である。

実施形態は反射型ＬＣＯＳ ＳＬＭに関するが、当業者であれば、透過型ＳＬＭが使用可能を含む任意のＳＬＭが使用可能であることを理解するであろう。

当業者であれば、本明細書に開示された改善された方法は、位相回復技術を用いるディスプレイではないアプリケーションにも等しく適用可能であることを理解するであろう。

本発明は、記載された実施形態に限定されないが、添付の請求項の全範囲にまで及ぶ。

Claims (26)

1. 画像ピクセルを含むピクセル化画像を処理して、画像を表すフーリエ領域の位相分布を回復する反復方法であって、
   前記画像ピクセルを非画像ピクセルでパディングして前記ピクセル化画像中のピクセル数を増加することと、
   前記非画像ピクセルを前記画像ピクセルとは異なって処理することと、
   を備える方法。
2. 最初の反復において、前記非画像ピクセルは初期ランダムノイズフィールド又は均一強度フィールドを備える、請求項１に記載の方法。
3. 前記非画像ピクセルは、各非画像ピクセルの値を減衰係数で減衰することにより処理される、及び／又は、前記画像ピクセルは、利得係数を用いて処理される、請求項１又は２に記載の方法。
4. 前記利得係数及び／又は前記減衰係数は、所定の固定値である、請求項３に記載の方法。
5. 前記利得係数及び／又は前記減衰係数は、変数値である、請求項３に記載の方法。
6. 可変利得係数及び／又は可変減衰係数は、当該反復方法の反復数によって決まる、請求項５に記載の方法。
7. 当該反復方法のｎ番目の反復に対する減衰係数は、（ｎ＋１）番目の反復に対する減衰係数より小さい、請求項６に記載の方法。
8. 当該反復方法のｎ番目の反復に対する利得係数は、（ｎ＋１）番目の反復に対する利得係数より大きい、請求項６又は７に記載の方法。
9. 可変利得係数及び／又は可変減衰係数は、キャリブレーションアルゴリズムを用いて各反復に対して少なくとも部分的に最適化される、請求項６から８のいずれかに記載の方法。
10. 前記非画像ピクセルは、少なくともいくつかの前記非画像ピクセルの値を置き換えることにより処理される、請求項１から９のいずれかに記載の方法。
11. 少なくともいくつかの前記非画像ピクセルは、所定の閾値を超える値を有する非画像ピクセルから成る、請求項１０に記載の方法。
12. 少なくともいくつかの前記非画像ピクセルは、全ての非画像ピクセルから成る、請求項１０に記載の方法。
13. 少なくともいくつかの前記非画像ピクセルは、所定値、随意に１、に置き換えられる、請求項１０から１２のいずれかに記載の方法。
14. 前記非画像ピクセルは、ランダムノイズフィールドにより置き換えられる、請求項１０から１２のいずれかに記載の方法。
15. 前記ランダムノイズフィールドは、請求項２の初期ランダムノイズフィールドと同じである、請求項１４に記載の方法。
16. ピクセル化画像の各ピクセルとランダム位相値を関連付けて、複数の要素、各要素が振幅情報及びランダム位相情報を有する、を有する第１のデータセットを生成することをさらに備える、請求項１から１５のいずれかに記載の方法。
17. 以下の
    前記第１のデータセットのフーリエ変換を行って複数の要素、各要素が振幅及び位相情報を有する、を有する第２のデータセットを生成するステップ、
    前記第２のデータセットからの位相情報を量子化するステップ、
    複数の要素、各要素が振幅及び位相情報を有し、位相情報が前記第２のデータセットから導かれる、を有する第３のデータセットを形成するステップ、
    前記第３のデータセットに逆フーリエ変換を行って複数の要素、各要素が振幅及び位相情報を有する、を有する第４のデータセットを生成するステップ、
    前記第４のデータセットの振幅及び／又は位相情報を上書きして複数の要素、各要素が振幅及び位相情報を有する、を有する第５のデータセットを生成するステップ、及び
    前記第５のデータセットを次の反復の第１のデータセットとして用いるステップ、
    の（ｎ＋１）回の反復をさらに備える、請求項１６に記載の方法。
18. 前記第３のデータセットの各要素の振幅情報を１に設定することを備える、請求項１７に記載の方法。
19. 前記第５のデータセットの振幅情報（３１１）は、前記いずれかの請求項に記載の非画像ピクセルと関連付けられた振幅情報を備える、請求項１７又は１８に記載の方法。
20. 前記第５のデータセットの振幅情報（３１１）は、画像ピクセルと関連付けられた振幅情報をさらに備える、請求項１９に記載の方法。
21. 前記非画像ピクセルは、前記画像ピクセルの周囲にボーダーを形成し、随意に、ファーフィールドのピクセル化画像の幅とボーダー幅の比率が７５％〜９０％である、請求項１から２０のいずれかに記載の方法。
22. 位相分布を再構成して画像のホログラフィック再構成を形成することをさらに備える、請求項１から２１のいずれかに記載の方法。
23. 前記画像は、ビデオフレームの２次元シーケンスのｎ番目のフレームである、請求項１から２２のいずれかに記載の方法。
24. 前記いずれかの請求項に記載の方法を実行するよう構成された処理部と、
    位相分布を表示するよう構成された空間光変調器と、
    前記空間光変調器を照明するよう構成された光源と、
    前記空間光変調器から出力された光に光学的な周波数−空間変換を行うよう構成されたフーリエ変換レンズと、
    を備える投影システム。
25. 請求項２４に記載の投影システムを備えるヘッドアップディスプレイ。
26. 添付図面を参照して実質的に以上に記載された位相情報を回復する方法、プロジェクタ又はヘッドアップディスプレイ。

Images