本発明は、フェムト秒レーザを用いて、触ることができる空中ボルメトリックグラフィックスを生成し、且つ、没入型オーディオを生成するシステムを提供する。本明細書に開示および記載されている本実施形態に従って、空気中に生成されるレーザ誘誘起スポットを用いて、インタラクティブなオーディオビジュアル体験を提供する。本実施形態の目的は、汎用的、且つ、広範囲なアプリケーションのために安全且つスケーラブルな高輝度レーザを実現することである。
光スポットを生成するレーザ誘起効果には、蛍光、キャビテーション、及び、イオン化を含む3つのタイプがある。関連する特定の効果は、ディスプレイ媒体に依存する。図1(a)〜(d)は、様々なディスプレイ毎のレーザ誘起効果媒体を示している。
レーザを使用して蛍光溶液または蛍光体を励起すると、レーザ誘起蛍光が発生する。はじめに、原子が1つ以上の光子を吸収すると、分子又は原子中の軌道電子が励起される。次に、電子が緩和すると、新しい光子が放出される。2つの光子が同時に吸収されると、放出された光子の波長は元の光子の半分になる。電子の励起に必要な波長は、蛍光物質の種類によって異なる。N個の光子が同時に吸収されると、放射光はN倍の短波長を持つ。この効果は、比較的低強度のレーザで発生する(nJ〜mJのエネルギーで十分である)。
レーザを使用して液体媒体を励起すると、レーザ誘起キャビテーションが発生する。マイクロバブルが、液体媒質中のレーザの焦点で生成される。このローカライズされたマイクロバブルのクラスタは、入射レーザを拡散するので、レーザは点光として観察される。この点光の色は、入射レーザの波長に直接依存する。この事実は、複数のレーザを使用してRGB画像を表現できることを示している。この効果は、材料にかかわらず、且つ、マイクロバブルの生成に強烈なレーザが必要である。
最後に、レーザを使用してガス媒体を励起すると、レーザ誘起イオン化が発生する。特に、トンネルイオン化は、十分な可視光を生成することができ、レーザ強度が1014W/cm2より大きい場合に特に優位に発生する。分子または原子の井戸型ポテンシャルは、ポテンシャル障壁を有する高輝度レーザの電界によって変形し、次いで、電子は、トンネル効果に基づいて原子から離脱する(すなわち、イオン化する)機会を有する。レーザの強度が高くなるほど、トンネルイオン化の確率が高くなる、すなわち、より多くの電子がイオン化されることが知られている。イオン化された電子は、半周期後の原子と組み換えられ、且つ、フォトンが放出される(この効果は、レーザ破壊と呼ばれる)。放出された光は、青白色を有する。
本実施形態は、空中でより容易に実現され、且つ、より広範囲なアプリケーションを有することから、イオン化効果に着目するが、他の効果は、ディスプレイ媒体毎に議論されることを考慮されたい。さらに、本実施形態で誘起されるプラズマは、触れることができる。さらに、誘起されるプラズマは、音波を生成するために変調することができるインパルス状の衝撃波を生成する。
図2は、本実施形態お同時マルチポイントボルメトリックグラフィックスを生成するシステム100を示す。システム100は、システムコントローラ101と、フェムト秒レーザ光源110と、空間光変調器120と、3次元位置スキャナ(ガルバノミラースキャナユニット130およびバリフォーカルレンズ135を含む)と、対物レンズ160と、光学レンズ及びミラー140、142、144、146、及び、148と、を備える。システム100は、様々なディスプレイ媒体(例えば、空気及び水を含む)に画像を表示するのに使用可能である。
システムコントローラ101は、空間光変調器120と、ガルバノスキャナ部130と、バリフォーカルレンズレンズ135と、に作動的に結合される。光回路を介して、レーザパルスビームを指向させることにより、ワークスペース190で画像195を形成する。システムコントローラ101は、これらのコンポーネントをオブジェクトイメージに対応させ、且つ、フェムト秒光源110を同期させることにより、システムコントローラ101によって生成されたグラフィックスを形成する。
図2に示すように、フェムト秒光源110は、空間光変調器120によって変調されるレーザパルスビーム112を生成する。変調レーザパルスビームは、ビームレデューサとして作用する2つのレンズ140及び142を通過する。次に、レーザパルスビームは、ガルバノスキャナユニット130によって方向が変わり、ワークスペース190におけるレーザ光のXY軸上の焦点が決まる。方向が変わったレーザパルスビームは、ビームエキスパンダとして作用する2つのレンズ144及び146を通過する。次に、レーザパルスビームは、ミラー148によって方向が変えられ、バリフォーカルレンズユニット135を通過することにより、ワークスペース190におけるレーザ光のZ軸上の焦点が決まる。最後に、レーザパルスビームは、対物レンズ160に入射し、ワークスペース190におけるディスプレイ媒体(例えば、空気、水、蛍光板、又は、蛍光液)の特定の位置を励起させる焦点に集束する。
システムコントローラ101は、例えば、従来のビデオ出力ポート(例えば、DVIポート)及びUSB(Universal Serial Bus)ポートを有するパーソナルコンピュータ (以下「PC」という)とすることができる。
フェムト秒光源120は、市販のレーザを使用することができる。超短パルスは、低強度且つ長時間のパルスを高輝度且つ短時間のパルスに変換するおとによって生成可能である。時間平均レーザ出力が一定である場合、ピーク強度はパルス幅によって異なる。例えば、30fsパルス幅は、同一の時間平均出力の点で、100fsパルス幅より大きなピーク強度を有する。空中プラズマ生成に関しては、パルス幅よりレーザピーク強度の方が重要である。
ボルメトリックディスプレイ用のフェムト秒光源の選択においては、ディスプレイ媒体が主なファクタである。光スポットの誘起方法に応じて利用可能な波長が異なる。イオン化の場合、プラズマ色は、波長非依存であるので、不可視波長(例えば、赤外線又は紫外線)の使用が妥当である。蛍光の場合、複数の光子が分子によって吸収され、且つ、より短波長の単一光子となるので、多電子蛍光が妥当である。このように、発光が可視である場合にのみ、不可視の紫外光が利用可能である。一方、キャビテーションを適用する場合、入射波長はマイクロバブルによって拡散され、観測され、且つ、普遍であるので、発光体として可視波長を使用する必要がある。
空間光変調器120は、ホログラムの形成に利用可能な光学デバイスであるSLM(Spatial Light Modulator)の市販品を使用可能である。SLMは、位相及び強度の少なくとも1つを変調し、且つ、干渉に基づく様々な光の空間分布を発生させる。これは、任意のレーザパターンの生成に使用可能である。これは、コンピュータ生成ホログラム(CGH)、すなわち、レーザビームの2次元断面に基づく計算位相変調を適用することによって実現される。所望の出力画像及びそれに対応するCGHの例を図5(a)及び図5(c)に示す。図5(a)は、ターゲット画像を示す。図5(c)は、ターゲット画像から得られるCGHを示す。SLMは、CGH画像を使用してレーザパルスビームを変調する。したがって、SLMは、1つのレーザパルスビーム(同時にアドレスされたボクセルを含む)から、3次元空間で1つ以上の焦点を生成する。
本実施形態では、任意の所望の3Dグラフィックスは、以下のようなSLMを用いた計算ホログラフィによって生成することができる。
光の空間的位相制御によって、横(XY)方向と軸(Z)方向の両方に沿って焦点位置を制御することができる。コンピュータ生成ホログラム(CGH)Urからの再構成の複素振幅(CA)は、設計されたCGHパターンUhのフーリエ変換によって与えられる。
ここで、SLMに表示されるホログラム面の振幅及び位相は、それぞれ、再構成される面の振幅及び位相である。単純化すると、CGHに対する放射光が均一な強度分布を有する平面波として近似することができる場合、一定であるとみなせる。これは、ORA(Optimal Rotation Angle)法により導出される。再構成の空間強度分布が、|Ur|2=ar 2として、実際に観察された。
横(XY)方向に沿った集束位置の制御に対して、CGHは、多様な方位角を持つブレーズグレーティングのCAsの重ね合わせに基づいて設計される。再構成がN個のマルチ集束スポットを有する場合、CGHは、Nブレーズグレーティングを含む。軸(Z)方向に沿った集束位置の制御において、位相フレネルレンズパターンは、φhに単純加算される。
ここで、誘起スポットの大きさがレーザの焦点の大きさに等しい場合、SLMの空間分解能が最小焦点距離を決める。
ORA法は、一様な強度を持つスポットアレイから構成されるCGHの再構成を得るための最適化アルゴリズムである。図4(a)及び図4(c)は、元画像、及び、元画像に対応するCGHの一例を示す。これは、i番目の反復プロセスにおいて、ピクセルhの振幅をah、ピクセルhの位相をφh、再構成平面上の集束位置に対応するピクセルrの複素振幅を(CA)Ur (i)とすると、コンピュータでは以下のように記述される。
ここで、Uhrは、CGH平面上のピクセルhから再構成平面上のピクセルrまで影響を受けるCAであり、φhrは、ピクセルhからピクセルrまでの光伝搬によって影響を受ける位相であり、ωr (i)は、ピクセルrの光強度を制御する重み係数である。ピクセルr毎の光強度の合計Σr|Ur (i)|2を最大化するために、ピクセルhでφh (i)に加算される位相変化Δφh (i)は、以下の数式を用いて計算される。
ここで、ωrは、再構成平面上のピクセルrでの位相である。CGHφh (i)は、Δφh (i)によって以下のように更新される。
さらに、ωr (i)は、また、再構成平面上のピクセルrでの光強度を制御するために、式(7)のフーリエ変換によって得られる再構成の光強度に応じて更新される。
ここで、Ir (i)=|Ur (i)|2は、i番目の反復プロセスにおいて、最高性平面上のピクセルrでの光強度であり、ir (d)は、所望の光強度であり、αは一定である。Ir (i)がIr (d)に略等しくなるまで、位相変化Δφh (i)は、上記繰り返しプロセス(式(4)〜(8))によって最適化される。したがって、ORA法は、高品質なCGHの生成を容易にする。
一般に、SLMは、レーザビームの強度及び位相の少なくとも1つを変調するピクセルのアレイを有する。SLMsは、動的に再構成可能なピクセルを有する。例えば、SLMsは、位相を変調するLCOS SLMsと、強度を変調するDMD SLMsと、を含む。デュアルマスクSLMsは、位相及び強度の両方を変調することができる。
液晶SLMsは、液晶分子の層を含む。この層における液晶分子の配向は、電極(すなわち、ピクセル)によって制御され、且つ、この層内で反射又は通過する光線の位相は、液晶分子の配向に応じて空間的に変調される。つまり、2種類の液晶ベースSLMs(液晶(LC)−SLMs及びシリコン上の液晶(LCOS)−SLMs)がある。
LC−SLMは、液晶ディスプレイ(LCD)及びレーザダイオード(LD)と結合された、平行配向したネマチック液晶空間光変調器(PAL−SLM)である。このデバイスは、リアルタイムCGHsの表示によく使用される。PAL−SLMは、液晶層と、指定された波長範囲の誘電体ミラー層と、アモルファスシリコンを含む光学的にアドレスされた光導電層と、を有する。これらの層は、2つの透明なインジウムスズ酸化物電極間に挟持される。液晶層の液晶分子は、平行に配置される。入射光が光導電層に入射すると、光導電層のインピーダンスが小さくなり、且つ、それに応じて液晶層の電界が増加する。この電解の増加に伴い、液晶分子は、読み出し光の伝搬方向に傾き、且つ、液晶層の実効屈折率が減少する。フェムト秒レーザの偏光方向が液晶分子の方向と平行である場合にのみ、純粋な位相変調が発生する。LDによって照射されたLCD上のCGHパターンは、イメージング光学を介して、光導電層に適用される。
LCOS−SLMは、液晶層がシリコン基板上に配置された構造を有する空間光変調器である。電気アドレス指定回路は、半導体技術によりシリコン基板上に形成される。トップ層は、それぞれが独立して、その電気的電位を制御するアルミニウム電極によって作られたピクセルを含む。シリコン基板上に一定の間隙を保ったままガラス基板を配置し、その間隙に液晶材料を充填する。液晶分子は、シリコン基板とガラス基板に適用された配向制御技術によって、両基板間にねじれがない状態で平行に配向される。液晶層を挟んだ電界は、ピクセル単位で制御することができる。これは、光の位相を変調することができるように、電界に応じて液晶分子を傾かせる。また、誘電体ミラー層は、反射率を向上させることにより、内部吸収を低減し、高出力レーザでの動作を可能にする。
デジタルマイクロミラーデバイス(DMD)は、顕微鏡の層、すなわちピクセルと、ミラーの位置を制御する各ミラーで2対の電極と、を含む。各顕微鏡は、オン又はオフを個別に切り替え可能である。この層で反射した光線の振幅は、ミラーの方向に応じて空間的に調整される。
換言すると、SLMsは、光学フェーズドアレイとして機能する。このように、光の波を正確に制御することにより、SLMは、ホログラムを生成する光ビームパターン形成に利用可能である。式(3)〜(8)を参照すると、LCOS SLMに関しては、ahは1に固定され、φhが算出される。代わりに、DMD SLMに関しては、φhは0に固定され、ahは0≦ah≦1で計算される。その後、ahは0又は1に丸められる。ahが0の場合、0≦ah≦0.5であり、且つ、ahが0.5の場合、0.5<ah≦1である。
ボルメトリックディスプレイ用のSLMの選択においては、SLMの分解能及びスピードが主に考慮すべき要因である。LCOS SLMは、DMD SLMと比べて、より高い回折効率を有するにもかかわらず、より低い動作周波数を有する。これは、LCSO SLMsは、遅いが高分解能であることを意味する。DMD SLMは、LCOS−SLMに比べて、より高い熱抵抗を有し、且つ、より高い動作周波数を有する。考慮すべき要因の概要を表1に示す。
図2は、反射型SLMsに基づく光学回路を示すが、反射型SLMsに代えて、透過型SLMsも利用可能である。好ましくは、SLM120は、ネマチック液晶素子を使用する反射型線形アレイSLMであり、例えば、液晶SLMs(LC−SLMs)及びシリコンekしようSLMs(LCOS−SLMs)を含む。SLM120のエネルギー変換効率は、約65%〜約95%になるべきである。
現在市販されているSLMsは、強力なレーザ光源に対する耐性がないため、レーザ光源のレーザパワーを最大限に活用することはできない。さらに、光回路は、高強度レーザを使用する場合、光回路にイオン化が発生することがあるため、慎重な開発及び処理が必要である。これは、出力エネルギーを低減させ、且つ、光学部品を破壊することがある。
SLMの代替は、受動型小型レンズアレイ、すなわちマイクロレンズアレイである変調器である。マイクロレンズアレイの開口部には、孔を有するカバー(例えば、ペーパシート)がセットされる。各レンズは独自の焦点を有するので、変調器は、マルチアクセスを提供する。変調器は静的であるが、高分解能という利点を有する。
3次元位置スキャナは、市販されている光学素子の組み合わせで実現可能である。図2に示された3次元位置スキャナは、ガルバノスキャナユニット130と、バリフォーカルレンズ135と、を備える。ガルバノスキャナユニット130は、横方向に沿った光点をスキャンし(Xスキャン及びYスキャン)、バリフォーカルレンズ135は、軸方向の焦点を変えることができる(Zスキャン)。ガルバノスキャナユニット130及びバリフォーカルレンズ135は、システムコントローラ101によって制御される。さらに、システムコントローラは、追加の制御回路と組み合わせても良い。
別の例示的な実施形態では、光の空間位相制御が横(XY)方向及び軸(Z)方向の両方に沿って集束位置の制御を可能にするので、SLMを3次元スキャナとして用いても良い。
したがって、3次元位置スキャナに関しては、当業者は、任意の位置にポイントを配置するための3つのオプションがあることを理解されたい。1つ目のオプションは、ガルバノスキャナ及びバリフォーカルレンズを調整することによりレーザを誘導するものである。2つ目のオプションは、SLMによってレーザの断面分布を変調することによって焦点を変化させるものである。SLM、並びに、ガルバノスキャナユニット及びバリフォーカルレンズの組み合わせは、略同一の領域にグラフィックスを形成することができる。これらのデバイスの条件及び応答時間が、適当な3次元位置スキャナを決める。3つ目のオプションは、SLM、ガルバノスキャナユニット、及び、バリフォーカルレンズの組み合わせである。
SLMは、単一フレームの追加ドットの形成に使用され、ガルバノスキャナは、主に形成されたホログラムの位置決めに使用される。1kHzの周波数でパルス化されるフェムト秒レーザに関しては、理論的なレンダリング限界は、毎秒30フレームについて毎秒33ドットである。
システムコントローラ101は、一般的なパーソナルコンピュータ(以下「PC」という)である。PCは、カスタムソフトウェアアプリケーションを実行し、且つ、3次元位置スキャナと直接的又は間接的に(例えば、USBケーブル、又は、光学的インタフェース回路ボード、すなわちPCIドライバボードを介して)、接続される。好ましくは、システムコントローラ101は、USBを介してガルバノスキャナユニット130及びボイバリフォーカルレンズ135と接続される。
SLMsは、標準的なコンピュータシステムのビデオ出力ポート(例えば、DVIポート)と接続可能なコントロールインタフェースポートがある。液晶分子又はマイクロミラーの配向は、ピクセル単位で制御可能である。好ましくは、SLM120は、DVIポートを介して外部ディスプレイとしての制御コントローラ101に接続される。
システムコントローラ101は、所望の出力画像に基づいてCGHを駆動し、且つ、フェムト秒レーザ光源110と同期して、SLM120、ガルバノスキャナユニット130、及び、バリフォーカルレンズ135を制御することにより、ワークスペース190に出力画像を表示する。ワークスペース190をモニタするために、カメラが、システムコントローラ101に接続可能である。
対物レンズには、市販の光学レンズを使用可能である。対物レンズは、特殊なレンズではなく、光回路の端に配置された通常の光学レンズである。対物レンズは、空中プラズマの生成に必要である。レーザプラズマの生成は、レーザパワー(PW/cm2)を必要とする。したがって、対物レンズは、光を集束させて、焦点を形成することにより、空中プラズマを生成するために必要である。ガルバノスキャナユニット130の角度レンジ、すなわちXYスキャニングは、対物レンズの絞りサイズによって制限されるので、対物レンズの絞りサイズは、最大ワークスペースを規定する。絞りサイズが大きくなるほど、ガルバノスキャナの角度レンジが広がるが、絞りサイズが小さくなるほど、レーザパワーが大きくなる。
他の例示的な実施形態では、対物レンズは任意である。水の励起に必要なレーザパワーは、空気の励起に必要なレーザパワーより小さい。したがって、表示媒体として水を用いるボルメトリックディスプレイでは、対物レンズは必要ない。これらのディスプレイのワークスペースのサイズは、ガルバノスキャナの角度範囲と、及び、バリフォーカルレンズレンズの深度範囲と、によって制限される。
図2に示す実施形態では、光回路は、一対のビームエキスパンダレンズと、一対のレデューサレンズと、を含む。これらのビームエキスパンダ及びレデューサレンズは、市販の光学レンズである。これらは、レーザビームのビームスポットサイズの調整に使用され、且つ、商業目的、すなわち、ビームスポットサイズ毎に光学回路の素子が動作する場合に追加される。
ディスプレイ媒体は、潜在的なインタラクションを決める上でのキーファクタであるが、これは、ボクセルの輝度が選択された媒体の吸収レートに依存するためである。必要なエネルギーのオーダが空気から水に向かって減少する。したがって、トンネルイオン化に関する空気のブレイクダウンは、PW/cm2オーダのエネルギーを必要とする一方、水は、MW/cm2オーダのエネルギーを必要とする。さらに、媒体の柔らかさもインタラクションを決める。
空中プラズマを使用すると、ユーザは手を挿入することができ、またプラズマに触れることができる。フルカラーレーザ光源が採用された場合、キャビテーションによって起こる液体ボクセルは、フルカラー表現をもたらす。しかし、空気ブレイクダウン法は、モノクロ表現のみを提供することができる。
ボクセルのサイズ(すなわち、発光効果)は、レーザの焦点の大きさに関する。焦点は、通常、2つの直径を有する卵形である。1つは、レーザビームのパスに垂直な直径wfである。これは回折限界であり、且つ、オリジナルビーム幅a、焦点距離r、及び、波長λによって決まり、以下のように表される。
もう1つは、レーザビームのパスに平行な直径wdである。これは、a:wf=r:wd/2の関係から、幾何学的に以下のように導かれる。
高輝度レーザによって生成された発光ドットは、伝搬方向(フィラ)に沿った尾を有する。尾は、光学的カー効果に起因して振る舞う自己集束として生成される。それは、レーザビームの自然回折と競合し、且つ、空中に3次元グラフィックスを形成する場合には望ましくないものである。特に、この効果は、人間の目には見えないものである。これは、焦点での光がより明るいためである。
ボルメトリックディスプレイの時空間分解能は、フレーム毎のドット数(dpf)によって規定される。ドットが暗闇に表示される場合、ドット毎の最小必要エネルギーは、レーザのブレイクダウン閾値Elbdと等しい。合計出力エネルギーEtotは、SLMによって、ドット間で分割される。レーザパルス毎のドット数をNdotとすると、以下の式が成立する。
フレーム毎のドット数は、Ndot、レーザパルスの繰り返し周波数Frep、及び、フレーム時間Tfによって、ヒューマンビジョンの持続性に基づいて以下のように決定される。
例えば、Ndot=100、Frep=1kHz、及び、Tf=100msである場合、10000dpfのアニメーションは10fpsで再生される。実際には、毎フレームのドット数は、Frepに代えて、ガルバノスキャナ及び/又はSLMの応答時間のボトルネックによって決まる。
時空間分解能は、SLMを使用して同時にアドレスされるボクセルを生成し、且つ、レーザ光源の繰り返し周波数を増加させることにより、改善することができる。フーリエCGHは、同時にアドレスされるボクセルの生成に使用される。フーリエCGHは、ORA(Optimal Rotation Angle)法を使用することにより最適化することができる。同時にアドレスされるボクセルの使用により得られる分解能の改善量は、(1)レーザ光源のエネルギー、(2)SLMの耐久性、(3)SLMのリフレッシュレート、及び、(4)SLMの分解能に依存する。しかし、SLMの液晶分子の性質に起因して、SLMのリフレッシュレート及び耐久性の改善には限界がある。したがって、空中プラズマイメージングの高分解能化を実現するためには、繰り返し周波数が、分解能の増加に対して重要な役割を果たす。より高いエネルギー及びより高い繰り返し周波数が分解能問題を解決する。
これに対して、水中発光の誘起に必要なエネルギーはより小さいので、SLMは、水媒体における高分解能画像の実現に重要な役割を果たす。したがって、3次元位置に対する平行なアクセスにより、ボルメトリックディスプレイの高分解能化を達成することができる。
(実験)
以下の実験が、本発明の可能性を証明し、且つ、様々な利点を示すために実施された。
下記の実験は、通常の雰囲気中(海抜で80%のN2及び20%のO2の混合を有する通常の空気)の下で、20.5℃で実施された。水は、水道水であった。
ビジュアル実験1〜6のそれぞれについて、以下の1つ以上の好ましい実施形態を使用した。
好ましい実施形態(ここでは「システムA」という)は、図2に示された光学システムセットアップに基づいて、以下に説明される。
システムAは、Coherent社製のフェムト秒レーザ光源を含む。このフェームと秒レーザ光源は、中心波長が800nmであり、繰り返し周波数が1kHzであり、パルスエネルギーが最大2mJであり、パルス持続時間が30fs〜100fsで調整可能である。図4(a)〜(d)は、この光源で、30fsパルスセッティング及び100fsパルスセッティングのスペクトラル及びパルスエネルギーを示す。平均レーザパルスエネルギーが不変である場合、ピークエネルギーは、レーザのパルス持続時間毎に異なる。実際には、30fsパルス持続時間は、同一の平均エネルギーセッティングで100fsパルス持続時間より3倍大きなピークエネルギーを有する。ビジュアル実験1〜6では、実験は、パルス幅は30に設定し、パルス持続時間は100fsに設定して実施された。実験及び結果は、それぞれ、システムA(30fs)及びシステムA(100fs)として示されている。レーザの平均パワーよりもピーク輝度は、たとえ短パルスであったとしても、空中プラズマの生成に重要である。システムAは、空気を励起し、且つ、イオン化プラズマを生成するのに十分なピーク輝度を有する。
システムAは、さらに、浜松ホトニクス社製LC−SLMを備える。このLC−SLMは、LCD及び680nmのレーザダイオードと接続されるPAL−SLMを備える。このデバイスは、2ラジアン以上の位相のみの変調を実施することができ、且つ、768ピクセルx768ピクセルの分解能と、20x20μm2のピクセルサイズと、100msの応答時間と、を有する。
システムAは、さらに、2つのレンズを備える。2つのレンズは、それぞれ、450mm及び150mmの焦点距離を有する。2つのレンズユニットは、ビームスポットサイズを1/3に低減する。
システムAは、さらに、ガルバノスキャナユニットを備える。ガルバノスキャナユニットは、スキャナコントローラボード(キヤノンGB−501)によって駆動されるスキャンヘッドユニット(キヤノンGH−315)を備える。スキャンヘッドユニット(キヤノンGH−315)は、ビームの直径が10〜14mmであり、スキャン角度が±0.17radであり、誤差が5μrad以下であり、分解能が20ビットである。スキャンヘッドは、約10x10mm2以上の面積を覆う。スキャナコントローラボード(キヤノンGB−501)は、スキャンヘッドユニットと、XY平面の任意の座標にレーザビームを指向するレーザユニットと、を制御する。標準化されたPCIバスは、PCとインタフェースし、且つ、PCコマンドから指示を取得する。
システムAは、さらに、2つのレンズを備える。2つのレンズは、それぞれ、焦点距離540mm及び150mmを有し、ガルバノスキャナユニットの後段に位置する。この2つのレンズユニットは、ビームスポットサイズを1.5倍にする。
システムAは、さらに、バリフォーカルレンズレンズユニットOptotune 社製EL-10-30)を備える。バリフォーカルレンズ(EL-10-30)の開口は10mmであり、応答時間は2.5ms未満であり、焦点距離は+45〜+120mmである。バリフォーカルレンズ(EL-10-30)は、ボルメトリックスクリーン上のレーザビームのZ軸の焦点位置を調整する。
システムAは、さらに、対物レンズを備える。対物レンズの焦点距離は40mmである。
システムAは、さらに、システムコントローラを備える。システムコントローラは、オペレーティングシステム(Windows(登録商標))で動作するPCを備える。SLMの動作と、ガルバノスキャナユニットと、バリフォーカルレンズと、を制御する全てのプログラムは、C++でコーディングされる。ガルバノスキャナユニット及びバリフォーカルレンズユニットは、固有のスレッドで動作し、且つ、新しい描画パターンを受領すると同期する。ユーザ入力は、20Hzで取り込まれても良い。制御システムは、さらに、USBマイクロスコープを備える。USBマイクロスコープは、光学セットアップとディスプレイ媒体との間のインタラクションのモニタリングに使用される。
システムAのエネルギー変換レートは53%である。
図3の光学システムセットアップに基づく別の好ましい実施形態(以下「システムB」という)を以下に説明する。
システムBは、フェムト秒レーザ(IMRA America社製FCPA μJewel DE1050)を備える。フェムト秒レーザの中心波長は1045mmであり、繰り返し周波数は200kHzであり、パルスエネルギーは最大50μJであり、パルス持続時間は269fsである。システムBは、空気の励起及びイオン化プラズマの生成に十分なピーク輝度を有する。
システムBは、さらに、ガルバノスキャナ(Intelliscan 20i)を備える。ガルバノスキャナのスキャン角度は±0.35radであり、誤差は5μrad未満であり、分解能は20ビットである。
システムBは、さらに、バリフォーカルレンズユニット(Optotune 製EL-10-30)を備える。バリフォーカルレンズユニット(EL-10-30)の開口は10mmであり、応答時間は2.5ms未満であり、焦点距離範囲は+45〜+120mmである。バリフォーカルレンズユニット(EL-10-30)は、ボルメトリックスクリーン上のレーザビームのZ軸の焦点を調整する。
システムBは、さらに、2つのレンズを備える。2つのレンズの焦点距離は、50mm及び80mmである。
システムBは、さらに、対物レンズを備える。対物レンズの焦点距離は、20mmである。
システムBは、さらに、制御システムを備える。制御システムは、オペレーティングシステム(Windows(登録商標))で動作するPCを備える。ガルバノスキャナユニット及びバリフォーカルレンズの動作を制御する全てのプログラムは、C++でコーディングされる。制御システムは、さらに、カメラを備える。カメラは、光学セットアップとディスプレイ媒体との間のインタラクションのモニタリングに使用される。
システムBのエネルギー変換効率は80%である。
空気中のレーザ誘起プラズマ発光効果は、平方センチメートルあたりペタワットオーダ(PW/cm2)のレーザパワーを必要とする。
(視覚実験1:エネルギーvs.明るさ)
本発明者らは、プラズマ生成エネルギーと結果画像の明るさとの間の関係を評価する実験を実施した。入力エネルギーに対するボクセルの明るさは、時空間分解能の向上に対して重要である。この実験の目的は、システムAの可能性の検証、及び、ボクセル表示への適用方法の調査である。したがって、最小ピークエネルギー値を決めた。
実験は、パルス幅を30fsにセットしたシステムAを用いて実施した。フェムト秒レーザ光源(Coherent社製)は、最大7Wの出力を提供したが、対物レンズより前段の光学回路の幾つかの素子は、高出力によって空気破壊を発生させた。このように、レーザ光源のフルパワーを用いることはできない。また、SLM(浜松ホトニクス社製)のエネルギー容量は、2Wが保証されていない。したがって、実験は、0.05〜1.00Wの出力レンジで実施した。マイクロスコープカメラは、結果画像の取込に使用した。
(視覚実験2:パルス幅vs.明るさ)
本発明者は、パルス持続時間とボクセルの明るさとの間の関係を評価する実験を実施した。これは、スケーラビリティ、特に、より高速なレーザ光源の開発において重要である。ピークエネルギーがプラズマの生成に重要な役割を果たすので、ピークパルスと結果画像の明るさとの間の関係も実験した。
実験は、パルス幅30fs及び100fsであり、且つ、0.05〜1.00Wの出力レンジでシステムAを用いて実施した。顕微鏡カメラは、結果画像の取込に使用した。
図6に結果を示す。パルス30fs及び100fsは、同一の平均出力で異なるスペクトラム及びピークエネルギーを生み出す。30fsレーザは、3倍以上のピークパルスを生み出した。実験は、100fsレーザが、1パルスあたり0.45mJで始まるプラズマを生成できること、及び、ピーク輝度が24PW/cm2であることを示した。
(視覚実験3:ディスプレイ媒体毎の実験)
本発明者らは、ガスイオン化プラズマ、フォトン吸収、及び、キャビテーションを含む各種レーザ誘起効果間におけるエネルギー消費性能と、様々なディスプレイ技術にフェムト秒レーザシステムを適用するための探索手段と、を比較するために、ディスプレイ媒体毎の実験を実施した。
実験は、パルス幅30fsのシステムAを用いて行った。顕微鏡カメラは、結果画像の取込に使用した。図7に示すように、実験結果は、必要なパルスエネルギーの値は、ディスプレイ媒体に応じて桁違いに異なる。蛍光は、約0.01μJで発生し、キャビテーションは、約2μJで発生し、且つ、イオン化は、100μJより大きいエネルギーで発生する。
(視覚実験4:空中での同時アドレス指定)
本発明者らは、空中で高解像度グラフィックスを生成するレーザパルスビームの位相を変調するために、CGHsのスケーラビリティを判断する実験を行った。従来のシステムでは、複数のボクセルを同時に生成することはできなかった。この実験は、特に、SLMを使用して、単一の光源から同時にアドレスされたボクセルを生成することによる分解能のスケーラビリティを探索するために実施された。同時アドレス指定は、時空間分解能を向上させるので重要であるが、エネルギーがボクセル間で分散するので、同時にアドレスされるボクセルは、単一ボクセルより暗くなる。本発明者は、CGHsの使用が同時に複数のプラズマスポットの生成に使用可能であると仮定した。同時アドレス指定は、単一のSLM↑に適切な\ホログラムを表示することにより、側面(X,Y)及びビーム(Z)軸の両方に利用可能である。しかし、この実験では、容易化のために、横方向の軸の同時アドレス指定のみを調査した。
この実験は、パルス幅が30fsであり、且つ、レーザパワーレンジが0.05〜1.84Wに設定されたシステムAを用いて実施した。
図8(a)〜(c)は、結果と、SLMに使用されるCGHsと、を示す。図8(c)に示されるように、同時にアドレスされるボクセルは可視である。その結果、システムAの電源の制約の下で、4つの並行アクセスまでが観察可能であった。SLMの回折効果は、約50%とした。
(ビデオ実験5:水中での同時アドレス指定)
本発明者らは、水中で高解像度グラフィックスを生成するためのレーザパルスビームの位相を変調するCGHsを使用することの実現可能性を決定する実験を実施した。この実験は、パルス幅が30fsであり、且つ、レーザパワーレンジが0.05〜1.84Wに設定されたシステムAを用いて実施した。顕微鏡カメラは、結果画像の取込に使用した。
(ビジュアルアプリケーション1:空中ディスプレイ)
レーザ励起プラズマは、空中に浮遊する。別の実施形態では、高解像度駆虫ボルメトリックディスプレイを提供する。図10(c)〜(d)は、空中で生成されたボルメトリック画像を示す。トンネルイオン化を利用した空中ボルメトリックディスプレイは、システムA及びBによって実現可能である。図14(a)〜(d)は、システムA及びBを利用して空中に生成された様々なグラフィックスを示す。システムA及びBに関しては、ワークプレイスは、それぞれ、10x10x10mm3及び8x8x8mm3である。先行研究と比べると、ワークスペースは小さいが、解像度は10〜200倍である。最大時空間分解能は、システムAが毎秒4000ドットであり、且つ、システムBが毎秒200000ドットである。画像フレームレートは、モデルに使用された頂点の数によって決まる。
(ビジュアルアプリケーション2:現実世界のオブジェクトに対する空間仮想現実)
本発明の別の実施形態によれば、拡張現実ディスプレイが提供される。レンダリングされたプラズマ画像が現実世界のオブジェクトと共に利用可能である。例えば、図10(a)は、現実オブジェクト10の拡張又はアクセサリとして生成されたプラズマ画像11を示す。別の仮想現実の例として、図14(e)は、種から芽生えたもやしの写真である。現実世界のオブジェクトに対して空間ARを適用する技術のメリットは、ARコンテンツは、仮想のオブジェクトと同じスケールになる点である。また、空中ディスプレイは、顕微鏡カメラと組み合わせて使用することができる。顕微鏡カメラは、ワークスペースのオブジェクトを検出可能であり、プラズマがオブジェクトに触れたタイミングを検出可能であり、且つ、ARコンテンツをオブジェクトに重畳させてオブジェクトの拡張を表現することが可能である。
これは、3次元空間位置への対応という点で従来のアプローチよりも有利である。従来のAR技術では、任意の3次元位置でARコンテンツを示すことは困難である。しかし、本発明は、ワークスペース内の現実空間の任意の位置でのプラズマスポットの生成を可能にする。
ビジュアルアプリケーション3:水中カラーボルメトリックディスプレイ
本発明の別の実施形態によれば、水を使用したカラーレーザベースのボルメトリックディスプレイのディスプレイ媒体が提供される。システムA及びBは、水を表示媒体として使用する。この構成では、ワークスペースは、それぞれ、1及び10cm3である。これらのワークスペースは、対物レンズの焦点領域に依存する。このアプリケーションでは、ボクセルの取得に使用される原理は、他のアプリケーションとは異なる。このアプリケーションでは、ボクセルは、マイクロバブルを使って光を反射し、且つ、ユーザは、水で満たされた3次元空間内の点でレーザ光の色を視認可能である。水を励起するために必要な最小エネルギーはジュールレンジにある。システムBを使用すると、このシステムの波長が1064mmであるので、ユーザは、泡のみを見ることができる。
(スケーラビリティ)
ワークスペースのサイズのスケーラビリティは主な関心事である。ディスプレイ媒体は、レーザ励起効果の生成に必要なエネルギー量を決めるので、サイズのスケーラビリティは、ディスプレイ媒体のタイプに依存する。
空中ディスプレイに関しては、トンネルイオン化を誘発するためには、焦点領域で大量のパワーが必要であるので、PW/cm2オーダのエネルギーが必要である。したがって、空中プラズマの生成は、焦点にレーザビームを集束させる対物レンズの属性に主に制限される。対物レンズの絞りが大きくなるほど、ワークスペースが大きくなる。
平均パワーと高強度のピークパルスに関する実験は、毎日のアプリケーションの場合、安全、安定、適切なワークスペースサイズの達成において次の3つの要因が鍵となることを示している。3つの要因は、レーザ光源のパワーの増加、(2)パルスの短縮及びピークエネルギーの増加、及び、(3)スキャニングスピードの増加である。これらの要因を達成することにより、ワークスペースは、アプリケーションにおいて触感及び視認性を維持したまま拡大することができる。
表示媒体として水を含むボルメトリックディスプレイに関しては、キャビテーションの誘発に必要なエネルギーは十分に小さいので、ワークスペースは、対物レンズによる制約を受けない。これらのタイプのディスプレイのワークスペースは、3次元スキャナ(つまり、ガルバノスキャナユニット及びバリフォーカルレンズユニット)のワークスペースによって制約される。一般に、ガルバノスキャナユニット及びバリフォーカルレンズユニットは、大きな空間のスキャンに対して十分に高速である。これらのディスプレイに関してワークスペースの拡大を実現するためには、複数のレーザ集束システムが使用可能である。
(触感相互作用)
一般に、プラズマは、高エネルギーを有するので、人に対して危険である。しかし、フェムト秒レーザは、長短パルスを発するので、産業目的で非熱ブレーキングによく使用される。したがって、本発明者は、フェムト秒レーザによって誘起されるプラズマへの接触は、光源がピーク強度に制限される場合、人に対してそれほど危険ではない。
(触感実験1:皮膚露光)
本発明者は、フェムト秒レーザによって誘起されるプラズマの人の皮膚への露光がダメージを引き起こすかどうかの探索実験を実施した。
実験は、1Wで30fsで構成されたシステムAと、1Wで100fsで構成されたシステムAと、を用いて実施した。プラズマ露光期間は、50〜6000msで変化した。図9(d)は、実験結果を示しており、30fsパルス及び100fsパルスは、皮膚に対してほぼ同一の効果を示す。前述のとおり、30fsパルスは、3倍以上のピークエネルギーを有し、且つ、より明るいボクセルを生成することができる。しかし、50msの期間(50ショット)では、30fsの結果と100fsの結果との間にはほとんど差はない。この実験では、平均パワーは、結果を決める要因である。2000ms(2000ショット)未満の露光では、直径100μmの孔が現れ、且つ、革に対する熱損傷は起きなかった。2000msより長い期間では、孔の周辺に熱効果が観察された。
継続的な(非パルス化)ナノ秒レーザでのテストを、この結果との比較のために実施した。ナノ秒レーザを用いた場合、100ms以内に革が萌えた。これは、パルス期間、繰り返し回数、及び、エネルギーが、レーザによって引き起こされる損傷のレベルに影響を与える重要な要因であることを意味する。
本発明者は、超短パルスレーザが、ナノ秒レーザの熱弾性効果とは異なる非熱効果を有することを検証した(Jun et al. 2015; Lee et al. 2015を参照)。したがって、フェムト秒レーザから発した超短レーザパルスがより安全である。システムA及びBは、明るく、且つ、それほど集中していない平均出力を有するプラズマスポットを誘発する。
(触感実験2:接触効果)
本発明者は、プラズマが人の皮膚に接触したときに起こる事象を探索するためのテストを実施した。このテストは、システムAを用いて実施した。
本発明者が空中画像のプラズマボクセルに指で触れたときに、接触と同時にプラズマが衝撃波を生成し、本発明者は、空中画像がプラズマは幾つかの物理物質を有するように、指にインパルスを感じることができた。タッチ感覚は、フェムト秒レーザパルスの蒸発効果に基づく。これは、皮膚の表面を切除し、且つ、衝撃波を生成する。感覚は、鮮明、且つ、シャープで、電気刺激、例えば、静電気放電又は粗い砂の紙に似ている。
本発明者は、また、プラズマと指との間の接触によりプラズマが明るくなることに着目した。空気と人の皮膚との間の密度の差は、光の明るさを変化させる。この効果は、図14(c)及び(g)に示されており、インタラクティブアプリケーションの接触の表示に使用可能である。
(接触実験3:知覚閾値)
本発明者は、皮膚に対するレーザプラズマの衝撃波の知覚閾値を評価するための検討を実施した。図16(a)は、この検討に用いた光回路セットアップを示す。図16(a)に示すように、調整可能なパワーセッティングを有するフェムト秒レーザ光源1610は、レーザパルス1612を、プラズマを誘発するための焦点でのレーザパルスを集束させる対物レンズ1660に向かって発せられる。蒸発効果を力(N)として測定することは困難であるので、閾値は、レーザ出力パワー(W)に対して測定した。レーザ出力パワーは、0.05、0.10、0.13、又は、0.16Wに設定した。最も低いパワーは、使用したフェムト秒レーザ光源によって制限され、且つ、最も高いパワーは、予備的な安全テストによって決定した。
この研究には、7人の被験者が参加した(平均年齢22.5歳、男性5人、助成2人)。被験者には、右の人差し指でプラズマを誘発するフェムト秒レーザに触れることを依頼した。1人の被験者あたり8回の試行を実施した。各試行では、被験者は10個のプラズマドットに触れ、且つ、人差し指に何かを感じたか否かを質問した。プラズマドットの生成に用いられた出力パワーの設定のオーダは、ランダムに決定し、且つ、各出力パワーの設定は、少なくとも1回は繰り返した。被験者は、視覚情報を除外するために目隠しを着用し、聴覚情報を除外するために、ヘッドホンを着用してホワイトノイズを再生した。
結果を図18(a)に示す。試行回数に応じた知覚率は、各レーザパワーの試行回数に対して被験者が刺激を感じた試行の数の割合である。50%閾値は、0.03〜0.04Wと思われる。被験者は、0.16Wで、自信を持って刺激を感じた(つまり、90%より大きい)。
触覚フィードバックは、たとえ、空中プラズマが生成されなかったとしても可能である。衝撃波は、空中でプラズマの生成に十分な出力を有していない集束レーザで皮膚の表面に発生する。この衝撃波は、皮膚のアブレーションから起こる。
(触覚実験4:パターン検出)
本発明者は、被験者がレーザプラズマで形成された空間パターンを区別できたか否かをテストするための実験を実施した。図16(b)は、この検証に用いられた光回路セットアップを示す。図16(b)に示すように、フェムト秒レーザ光源1610は、プログラムされたパターンをスキャンすることができるガルバノスキャナユニット1630に対してレーザパルス1612を発する。対物レンズ1660は、プログラムされたパターンを形成するプラズマドットを誘発するためのパルスを集束させる。
図19は、レーザプラズマの繰り返しガルバノスキャンによって形成されたパターンの例を示す。この実験では、2つの空間パターン(ドット及びライン)を用いた。被験者には、右の人差し指でプラズマパターンに触れることを依頼した。被験者は、触覚実験3の被験者と同一である。被験者毎に8回の試行を実施した。各試行は、10個のプラズマパターンへの接触と、人差し指に感じたパターンの質問と、を含んでいた。プラズマパターンは、ランダムで生成され、且つ、各プラズマパターンは、少なくとも1回は繰り返した。被験者は、視覚情報を除外するために目隠しを着用し、聴覚情報を除外するために、ヘッドホンを着用してホワイトノイズを再生した。
図20には、結果が示されている。統合された結果は、被験者が2つのパターンは区別できたが、逆の回答をする蛍光を示している。正解率は、一度でもパターンを認識すると改善するであろう。しかし、全てのパターンを区別できなかった被験者もいた。さらに、2種類の傾向が現れた。1つは、曖昧なグループであり、もう一方は、「バイアス対ライン」グループである。
(触覚実験5:クロスフィールド効果)
超音波触覚フィードバックは、長年にわたって、密接に研究されてきた。超音波触覚フィードバック(Hoshi et al. 2010; Carter et al. 2013; Inoue et al. 2014)は、超音波フェーズドアレイの利用のために、大いにプログラマブルである。超音波触フィードバックは、相対的に、他の空間ハプティックフィードバックの手法と比較して、高い空間分解能を有し、且つ、波長(40kHzの超音波で、8.5mm)によって制限される。空気中での吸収損失のために、より高い周波数の超音波(すなわちより短い波長)は、触覚フィードバックには適していない。その他の制約は、刺激の弱さであり、これは接触の瞬間のようなインパルスを再現するのには不十分である。18×18アレイによって生成される最大力は、16mN程度に低くなり得る[Hoshi et al. 2010]。そして、より大きな力を得るためには、より大きなアレイが必要である。[Hasegawa and Shinoda 2013]。超音波ハプティックスは、振動ではなく、皮膚表面を圧迫する音響放射圧に基づいています。これは皮膚に長時間適用することができるが、これは比較的弱い(10〜20mN)。感覚は狭い領域内の層流空気流に似ています。
本発明者らは、触覚を改善し、且つ、フェムト秒レーザ誘起プラズマに触れたときに被験者が感じる、刺すような感覚を軽減するために、音場の鈍い触覚を使用してフェムト秒レーザ光場の鋭い触覚を増強できるかどうかを検討した。レーザ誘起プラズマの2つの場は互いに物理的に独立しており、したがって同じ場所および時間に印加することができ、弾性波としておよび/または神経系内で神経信号として皮膚に混合することができる。例えば、レーザ場は皮膚と仮想物体との間の最初の接触をシミュレートし、その後、超音波場はそれらの間に連続的な接触を生じさせる。
本発明者らは、フェムト秒レーザ光フィールドが超音波音場と組み合わされたときの触感を調査するために一連の実験を行った。本発明者らは、異なる物理量の2つの場を組み合わせることが上記で提案した重ね合わせ効果だけでなく、感覚の修正などの相乗効果ももたらすであろうと仮定した。
図21は、本発明の超音波振動子アレイシステム500の例示的な実施形態を示す。システム500は、システムコントローラ510と、1つ以上の超音波フェーズドアレイ520と、を含む。各フェーズドアレイ520は、2つの回路基板521、525を含む。第1回路基板は、超音波振動子526のアレイ525である。第2回路基板は、超音波振動子526を駆動する駆動回路521を含む。2つの回路基板(したがって、振動子アレイ525と駆動回路521)は相互に接続されている。
図21に示すように、超音波振動子アレイ525は、グリッドパターンで配置された数100の超音波振動子526を含む。各超音波振動子526は、十分な時間遅延又は十分な位相遅延で個別に制御される。これらの時間遅延又は位相遅延は、システムコントローラ510によって特定され、且つ、駆動回路521によって適用される。このようにして、超音波振動子526の各アレイ525は様々な分布の超音波を発生させることができる。
(i,j)−thに対応する振動子アレイ525の振動子526の時間遅延Δtijは、式13によって与えられる。
矩形振動子アレイから生成される超音波の空間分布は、sinc関数のような形状であることが理論的および実験的に示されている[Hoshi et al. 2010]。長方形配列の辺に平行なメインローブの幅wは式(14)で表される。
ここで、λは波長であり、Rは焦点距離であり、Dは長方形アレイの一辺の長さである。この数式は、空間分解能とアレイサイズとの間にトレードオフがあることを意味する。
超音波振動子アレイシステム500は、ハプティック画像を形成する超音波の分布を生成するように制御可能である。ハプティック画像Hiは、焦点の時間総和である(式(15))。
ここで、fpは、式13に基づいて生成された超音波焦点kであり、pは、音圧であり、tは時間である。
図21を参照すると、駆動回路521は、USBインタフェース回路522と、フィールドプログラマブルゲートアレイFPGA523と、ドライバ524(不図示)と、を含む。
図21に示すように、システムコントローラ510は、制御アプリケーション512の指示の下で、超音波振動子アレイ525を制御して、1つまたは複数の超音波振動子アレイ525によって生成される音場に所望の変化をもたらす。システムコントローラ510はPCとすることができる。システムコントローラ510は、USBケーブル530を介して各超音波フェーズドアレイ520を制御する。
本発明による一実施形態では、制御アプリケーション512は、ウィンドウズ(登録商標)オペレーティングシステム上で、C++で開発される。システムコントローラ510は、焦点のX座標、Y座標、及び、Z座標と、超音波ビームの要求出力強度と、を含む必要なデータを駆動ボード521に送信する。駆動回路521は、USBインタフェース522を使用してこのデータを受信する。次に、FPGA523の位相計算機527は、式(13)又は式(15)に基づいて超音波振動子アレイ525の各超音波振動子526の適切な時間遅延(又は位相遅延)を計算する。信号生成器528は、次に、システムコントローラ510によって提供されたビーム強度データと、位相計算器527によって計算された時間遅延(又は位相遅延)とに基づいて、振動子アレイ525内の各振動子に対する駆動信号を生成する。駆動信号は、ドライバのプッシュプル増幅器を介して、振動子アレイ525の振動子526に送信される。
各振動子526に印加される駆動信号529に対する相対的な時間遅延(又は位相遅延)の修正は、1つ以上の超音波フェーズドアレイ525によって生成される音場の分布を変化させるために実行される。各振動子526の出力強度は、振動子に印加される駆動信号529のパルス幅変調(PWM)制御を用いて変化させる。
(触覚実験5a:超音波の触感閾値)
本発明者らは、集束超音波によって励起される音響放射圧の触感閾値を評価するための検証を実施した。図16(c)は、この検証に使用される基本的なセットアップを示す。図16(c)に示すように、超音波フェーズドアレイ1680は、コンタクトポイント1602で触知可能な音場1682の生成に使用される。
超音波の直流電流出力は、知覚できないほど弱いが、人間の皮膚には振動に反応する感覚受容体がある。具体的には、表皮層に存在するパシニア小球(PC)およびマイスナー小球(RA)は、それぞれ、10〜200Hz(10〜50Hzのピーク)及び40〜800Hz(200〜300Hzのピーク)の周波数レンジの振動に反応する(Bolanowski et al. 1968)。そのため、この研究では、人差し指に200及び50Hzの矩形波で変調された振動触覚刺激の適用を検討した。
超音波焦点の直径は約20mmである。これは人差し指の幅より大きいので、人差し指に作用する力は超音波フェーズドアレイの出力設定よりわずかに小さい。出力は、参加者が知覚できる出力力値を決定する予備実験によって推定された閾値を中心にして14の値のうちの1つに設定した。
被験者は、触覚実験3及び4の参加者と同一であった。被験者は、50〜200Hzで同時に振動するように構成された超音波場に触れるために右手の人差し指を使うように依頼した。被験者あたり14の試験を実施した。各試験は、被験者が超音波場に触れることを含み、且つ、各被験者に対して自分の人差し指に何かを感じたか否かを尋ねた。超音波場の生成に使用される出力設定の順序はランダム化し、且つ、各出力設定を一度使用した。被験者は、視覚情報を除外するために目隠しを着用し、聴覚情報を除外するために、ヘッドホンを着用してホワイトノイズを再生した。
実験は、図21に示す超音波トランスデューサアレイシステムの設定に基づく好ましい実施形態(本明細書では「システムC」という)を使用して実施した。システムCについて後述する。
図21を参照すると、システムCは、40kHzの共振周波数を有する超音波フェーズドアレイ525を含む。焦点の位置は、波長の1/16の分解能(40kHzの超音波で約0.5mm)によってデジタル的に制御され、且つ、1kHzでリフレッシュ可能である。40kHzのフェーズドアレイは、日本セラミック社製の285個のT4010A1トランスデューサ526からなる。これらのトランスデューサは、直径10mmであり、且つ、170×170mm2の面積に配置される。焦点距離R=200mmの場合、焦点のピークでの音圧は2585PaRMS(測定値)である。単一のフェーズドアレイのサイズと重量は、それぞれ、19x19x5cm3及び0,6kgである。ワークスペースは30x30x30cm3であるが、フェーズドアレイのサイズに応じて拡張可能である。
図21を参照すると、システムCは、USBインタフェース522と、FPGA523と、信号ドライバ524(不図示)と、を有する駆動回路521をさらに含む。駆動回路のUSBインタフェース522は、英国グラスゴーのFuture Technology Devices International社製のFT2232H Hi-Speed Dual USB UART/FIFO集積回路を採用するUSBボードによって実施することができる。FPGA523は、カリフォルニア州サンノゼのAltera社製のCyclone III FPGAを含むFPGAボードによって実施することができる。信号の信号ドライバ524(不図示)は、プッシュプル増幅器ICを使用して実施することができる。
実験では、50Hz及び200Hzでの振動の触覚知覚を試験した。その結果を図18(b)に示す。知覚率は、被験者が刺激を感じた試行回数と、各超音波出力の試行回数との比である。200Hzと50Hzの刺激に対する50%の閾値は、それぞれ、約1.1mN及び1.6mNである。被験者は、それぞれ、約1.6mN及び2.4mNで200Hzおよび50Hzの刺激を確実に(つまり、90%)感じた。触覚の研究分野では、約200Hzの刺激に対して触感感度が高いことがよく知られており、且つ、我々の結果はこの知識と一致している。
(触感実験5b:クロスフィールド効果)
本発明者らは、知覚的閾値より弱い超音波振動触覚刺激の予荷重の下で、レーザプラズマの衝撃波に対する知覚的閾値を評価するための検証を実施した。レーザハプティクスに対する超音波の2つの影響が考えられる。1つはレーザプラズマの知覚閾値を向上させるマスキング効果であり、もう1つは、それを減らす確率的効果である。
9人の被験者がこの検証に参加した(平均21.6歳、女性4人、男性5人)。被験者には、右手の人差し指を使ってフェムト秒レーザ誘起プラズマに触れるように依頼した。レーザ出力パワーは、0.05、0.10、又は、0.15Wに設定した。超音波の変調周波数は、PCチャネル及びRAチャネルをそれぞれ刺激するために、200Hz又は50Hzであった。被験者あたり24の試行がある。各試行では、被験者が最大10個のプラズマドットに触れ、且つ、自分の人差し指に何か感じたか否かを被験者に尋ねた。レーザ出力と超音波周波数の組み合わせを無作為化し、且つ、各レーザ出力と各超音波周波数を各試行で少なくとも4回繰り返した。超音波刺激は、各周波数及び対象について知覚できる力のすぐ下になるように調整された。被験者は、視覚情報を除外するために目隠しを着用し、聴覚情報を除外するために、ヘッドホンを着用してホワイトノイズを再生した。
実験は、図1に示すシステム構成に基づく好ましい実施形態(本明細書では「システムD」という)を使用して実施した。システムDはシステムCの超音波振動子アレイシステムをシステムAのそれと同様の光回路システムと組み合わせる。
図17に示すように、システムDの光回路システム構成は、コヒーレント社製のフェムト秒レーザ光源310を備える。このフェムト秒レーザ光源310は、中心波長が800nmであり、繰り返し周波数が1kHzであり、且つ、パルスエネルギーが1〜2MJである。フェムト秒レーザ光源310は、40fsのレーザパルスを放射するように構成されている。システムDは、更に、浜松ホトニクス社製のSLM(XB267 LC-SLM)を更に備える。このSLMは、解像度が768×768ピクセルであり、ピクセルサイズが20×20μm2であり、且つ、応答時間が100msである。このSLMは、並列光アクセスに使用されるフーリエCGHを生成するように構成されている。CGHは、最適回転角度(ORA)メソッドから派生したものである。システムDは、ガルバノスキャナユニット330としてキヤノン社製GM-1010と、可変焦点レンズユニットとしてOptotune EL-10-30を使用する3D位置スキャナと、を含むセットアップを備える。これらのデバイスは、C++を使用して作成されたアプリケーションによって操作される。ワークスペースは2x2x2cm3であるが、ガルバノスキャナの角度範囲を拡張可能なより大きなレンズを使用することによって、拡大することができる。
システムDの超音波フェーズドアレイは、触覚画像をおおまかに生成することができる(空間解像度は、わずか16mm、波長の2倍である)。しかし、生成された触覚画像は、広い領域(約30cm)をカバーすることができ、且つ、放射圧は十分に強い(16mN)。システムDのフェムト秒レーザシステムは、触覚画像を正確に(空間分解能1μm)生成することができる。しかし、生成された触覚画像は、小さな領域(2cmまで)しかカバーすることができない。これらのレーザと超音波ハプティックスのワークスペースの重なり面積は2x2x2cm3である。
システムDは、PCを使用して制御され、すべてのプログラムは、C++でコーディングされる。PCは、超音波フェーズドアレイと、SLMと、ガルバノスキャナユニットと、可変焦点レンズユニットと、に接続されている。インタラクションをモニタするために、顕微鏡カメラをPCへのUSBリンクを介してシステムに接続する。超音波フェーズドアレイ、ガルバノスキャナユニット、及び、バリフォーカルレンズユニットは、それぞれ、異なるスレッドに沿って動き、且つ、新しい描画パターンが入力されると同期する。ユーザ入力は60Hzでキャプチャされ、且つ、SLMは、外部ディスプレイとしてのコンピュータに接続される。
光学システムでは、PCが直接座標を設定し、且つ、駆動ミラーと、レンズと、SLMと、を制御する。音響システムでは、PCは、FPGAに対して、焦点位置の座標と、出力と、を含むデータを送信する。FPGAは、データを受信すると、式(13)及び(15)に基づいて、振動子毎に適切な時間遅延を計算し、且つ、駆動信号を生成する。駆動信号は、増幅器を介して振動子に送られる。時間遅延計算アルゴリズムの修正は、音響ポテンシャル場の分布を変化させる。駆動力のパルス幅変調(PWM)制御によって出力が変化する。
結果を図18(d)に示す。ここで、「レーザのみ」は図18(a)と同一である。結果は、知覚的閾値より弱い超音波場がレーザ衝撃波の知覚に影響を及ぼすことを示している。知覚できない超音波予圧を持つレーザハプティクスの50%知覚閾値は約0.15Wである。これは「レーザのみ」のアプローチの約5倍である。(200Hz及び50Hzに対応する傾向線を「レーザのみ」に対応する傾向線と比較する図18(d)を参照)。
結果は、2つの場が重ね合わされる場合があること、及び、場の組み合わせが触覚知覚に対して相乗効果を有することを実証している。さらに、結果は、マスキング効果、すなわち超音波がレーザプラズマに対する人間の感受性を抑制することをサポートしている。音場は、レーザハプティクスの触覚に影響する。これは、超音波予圧がレーザハプティクスをそれほど驚くべきものではなく、且つ、痛みを抑えることを意味する。この分野の重ね合わせは、また、多重解像度触覚画像のような利点を提供する。
空中インタラクションのために、ボルメトリックディスプレイには2つの必要条件がある。ボルメトリックディスプレイは、安全で、且つ、アクセス可能であるべきである。実験は、システムDように設定されたシステムが安全で、且つ、アクセス可能な触覚インタラクションを提供できることを示している。
(触覚アプリケーション1)触覚インタフェース
本発明の他の実施形態によれば、対話型ユーザインタフェースが提供される。実験は、人間の接触がプラズマに与える効果について、検出可能であること、又は、コンテンツの変化を引き起こし得ることを示した。フェムト秒レーザ誘起プラズマは、接触しても安全な衝撃波を生成し、且つ、物体に接触すると明るくなる。図14(c)は、空中に生成された心臓と物体とのインタラクションの効果を示す。図14(f)は、指輪との接触後に「宝石」に変わる光点を示す。図14(g)は、輝点と指との間の直接的なインタラクションを示す。したがって、プラズマベースの空中ディスプレイは、カメラ又は他のセンサを追加することによって、対話型空中ディスプレイシステムに変えることができる。
センサ、例えば、カメラ又は光検出器は、プラズマとユーザとの間のインタラクションの検出に使用可能である。また、触感は、例えば、空中チェックボックスの生成に使用可能である。図10(b)は、ユーザと空中像との間のインタラクションを示す。フェムト秒レーザ場は、空中ボタングラフィック12の生成に使用される。ユーザ10が空中ボタングラフィック12に触れると、ユーザ10は、触覚フィードバックとして働くプラズマとの接触によって引き起こされる衝撃波14を感知することができる。また、接触は、プラズマの明るさの変化を引き起こす。これは、カメラ又はプロセッサに結合された他の光学センサによって検出可能である。この検出された変化は、空中ボタングラフィックが選択されたことの表示として登録可能である。制御システムは、空中ボタングラフィックが補助的視覚フィードバックとして選択されたことを視覚的に示す、異なる空中ボタングラフィック16を生成するようにレーザフィールドを制御することができる。
(触覚アプリケーション2:VR用マルチ分解能ハプティクス)
本発明に従って生成可能な音場の他の分布は、任意の3D形状を含む任意の形状を有する音場を含む。例えば、ワークスペースを囲む1つ以上の超音波フェーズドアレイを使用して、様々な形状の定在波を発生させて、任意の形状を有する音場を提供することができる。本実施形態によれば、式(2)を用いて複数のフェーズドアレイを用いた超音波計算ホログラフィで所望の3次元超音波分布を生成し、所望のCGHを形成することができる。複数のアレイを使用して定在波を生成する場合、各フェーズドアレイによって生成されるべきCGH Urは、他のフェーズドアレイに対するその空間位置に依存する。各フェーズドアレイについて、フェーズドアレイのUhを得るために、フェーズドアレイの相対位置に従ってCGH Urを回転させるべきである。所望の3次元超音波分布は、各超音波フェーズドアレイによって提供される3次元超音波分布を重ね合わせることによって最終的に得られる。
レーザ誘導触覚画像は、SLM画像とガルバノスキャナユニットとの組み合わせによって与えられる。ハプティック画像Hiは、焦点の時系列の合計であり、式(16)によって与えられる。
ここで、Urは、式(1)によって与えられるレーザ焦点位置を示し、tは期間を示し、pはレーザ強度を示す。
本発明の他の実施形態によれば、仮想現実のための多重分解能ハプティクスが提供される。音場は、単純な3次元触覚画像及び一般的な触覚領域の提示に使用可能である。ライトフィールドは、詳細な触覚画像に使用可能である。AR/VRでは、オブジェクトの周囲長(単一)を超音波によって表すことができ、且つ、内部構造及び/又は表示(詳細)をレーザによって表すことができる。
図23は、心臓の仮想3次元モデルにおける腫瘍の位置の提示に使用される拡張現実システムの一連の写真を示す。ARマーカ504は、カメラビューと3Dオブジェクトとの間の座標を一致させるために使用される。音場による低解像度の触覚画像は、3次元モデルの一部を指すための一般的なガイドとして使用されます。プラズマによる高解像度触覚画像は、対象となる3次元モデルの内部構造を正確に表現するために用いられる。参加者がシステムDによって生成された仮想3次元モデルに指を入れると、最初は仮想モデルの周囲に対応する外側の触覚画像を感じる。その後、参加者は仮想モデルの内側にレーザプラズマ触覚を感じる。このプラズマは、正確なポイント(例えば、臓器内の腫瘍、3次元触覚マップのポインタなど)への指標として機能する。このアプリケーションは、解像度と様々な触覚フィードバックパターンで従来の超音波ハプティクスを拡張する。
(触覚アプリケーション3:空中点字アルファベット)
従来の点字アルファベットディスプレイは、ピンアクチュエータアレイ又は他の接触型ディスプレイで作られている。従来の超音波又はエアジェット触覚ディスプレイでは、正確で高解像度の触覚画像を作成することはできない。本発明の別の実施形態によれば、空中点字システムが提供される。システムDは、空中の任意の位置に小さく且つ正確な触覚画像を表現するようにプログラム可能である。これらの触覚画像は、点字ディスプレイの生成に使用可能なドット及びダッシュの集合とすることができる。点字アルファベットからの英数字及びそれに対応するCGHを表す一連の生成されたプラズマ画像を示す。盲目の被験者は、もはや点字文章を探す必要はない。システムDと統合されたカメラシステムは、盲目の被験者の指の位置を識別可能である。音場は、詳細な触覚画像の一般的な領域の提示に使用される。さらに、音場は、視覚障害者の指を詳細な触覚画像のための一般的な領域に導くように形作ることができる。したがって、盲目の被験者は、詳細な触覚画像の一般的な領域を簡単に見つけることができる。それは「タッチ」から「来る」に点字アルファベットとのインタラクションを変えるであろう。
(オーディオの生成)
プラズマは、光と触知可能な衝撃波だけでなく、空中の音波も放射します。プラズマは、一連の衝撃波として可聴音を生成する。本発明者らは、各プラズマスポットが、平坦な周波数特性を有する理想的な点音源となり得ると仮定した。したがって、各プラズマスポットはスピーカとなり得る。
単一点音源の音圧pb(r)は、次式で表すことができる。
ここで、rは点音源の位置からの距離であり、tは時間であり、p0は単位距離での音圧であり、kは波数であり、ωは音の角周波数である。空間分布に焦点を合わせるために、時間成分e−jωtは計算で省略可能である。相対圧力値が解析に十分であるので、p0の値は1に等しいと仮定される。
本発明者らは、また、同時に生成される複数のプラズマスポットがスピーカアレイを形成可能であると仮定した。プラズマスピーカアレイによって生成された音場をグラフィカルに設計するためのシミュレータは、式17に基づいて開発された。シミュレータは、図30(a)に示すようなグラフィカルユーザインタフェースを有する。これにより、ユーザはグリッド上の点を選択することにより音源の位置を入力することができる。そして、音源から放射された音波を計算し、その結果を指向性として表示する。すなわち、図30(b)〜(c)に示すヒートマップ、又は、図30(d)〜(e)に示すヒートマップである。
上述したように、光学的カー効果による歪みは焦点形状を変化させてフィラメント化をもたらす。この効果は、スピーカアレイの指向性に影響を与える可能性があるので、自由空間で複数のプラズマ音源を生成するときに考慮する必要がある。フィラメント化効果は、細長い焦点に沿って分布したプラズマスポットの合計として計算した。このモデルは、次のように、定式化された。
ここで、rnは、目標位置(x;y;z)とn番目のプラズマスポットとの間の距離である。総エネルギーは実際にはN個のプラズマドットの間で分割されたが、それら全てに対してp0=1を使用し、且つ、計算において相対値を得た。
本発明者らは、フェムト秒パルスレーザによって誘発された空中プラズマの音波特性を調査するために一連の実験を行った。実験では、放射された音は、192kHz及び24ビットで録音するマイクロホンシステムによって録音する。各マイクはモノラルマイクである。
オーディオ実験1〜6のそれぞれについて、以下の好ましい実施形態のうちの1つ以上が使用された。
図31は、本発明によるマルチポイントプラズマスピーカを生成するためのシステム600の例示的実施形態を示す。システム600は、システムコントローラ601と、フェムト秒レーザ光源610と、2つの空間光変調器620、625と、光学レンズ642、644、及び646と、を備える。レンズ646は、対物レンズとして機能する。システム600は、3次元空間内の任意の位置にプラズマ音源690を生成するために使用可能である。ビームサイズ、偏光、及び、パワーは調整可能である。例えば、偏光ビームスプリッタ(PBS)をそのような調整に使用することができる。
図31に示す光学系設定に基づく好ましい実施形態(本明細書では「システムE」という)は、次の通りである。
システムEは、800nmの中心波長、1kHzの繰り返し周波数と、0.4〜7mJのパルスエネルギーと、を有するコヒーレント社製のフェムト秒レーザ光源を含む。
システムEは、ウィンドウズ(登録商標)オペレーティングシステムを実行するPCを備えるシステムコントローラをさらに含む。すべてのプログラムは、DMD SLMsの動作を制御するC++でコード化されている。
システムEは、Texas Instruments社製の2つのDMD SLMs、DLP4500を含む。これらは、1190x712の解像度と、4kHzのフレームレートと、7.6x7.6μm2のピクセルサイズと、を有する。DMD SLMは、USBインタフェースを介して制御される。第1DMD SLMは、波長分散を補償するために使用される。第1DMD SLMの全てのミラーピクセルは、一様に制御される。第2DMD SLMは、周波数変調と、複数のプラズマスピーカを空中に配置するための並列アクセスと、に使用される。第2DMD SLMのミラーピクセルは、パルス幅変調を用いて個々に切り替えられる。
システムEに関しては、1kHzまでの周波数(レーザ光源の繰り返し周波数)を有する音を放射することができる。1kHz未満の周波数は、余分なレーザパルスを差し引くことによって生成される。SLMのフレームレートは4kHzであるので、個々のレーザパルスを制御して目標点に送出するか否かを切替可能である。変動および周波数の範囲は、より高速なレーザ光源及びDMDを使用することによって改善することができる。
レンズ642及び644は、100mmの焦点距離を有し、且つ、レンズ646は、40mmの焦点距離を有する。
図32は、本発明によるマルチポイントプラズマスピーカを生成するためのシステム700の例示的実施形態を示す。システム700は、システムコントローラ701と、フェムト秒レーザ光源710と、空間光変調器720と、対物レンズとして機能する光学レンズ742と、を含む。システム700を使用して、3次元空間内の任意の位置に複数のプラズマ音源790を生成することができる。ビームサイズ、偏光、及び、パワーは、PBSを使用することによって調整可能である。
図32に示す光学系セットアップに基づく好ましい実施形態(以下「システムF」という)について説明する。
システムFは、コヒーレント社製のフェムト秒レーザ光源を含む。コヒーレント社製のフェムト秒レーザ光源は、800nmの中心波長と、1kHzの繰り返し周波数と、0.4〜7mJのパルスエネルギーと、を有する。
システムFは、ウィンドウズ(登録商標)オペレーティングシステムを実行するPCを含むシステムコントローラをさらに含む。すべてのプログラムはSLMの動作を制御するC++でコード化されている。
システムFは、浜松ホトニクス社製のLCOS−SLMを含む。このLCOS−SLMは、768×768の解像度と、10Hzのフレームレートと、20×20μm2の画素サイズと、を有する。LCOS−SLMは、USBインタフェース及びビデオグラフィックアレイ(GVA)ディスプレイインタフェースを介して制御される。
システムFに関しては、1kHzまでの周波数(レーザ源の繰り返し周波数)を有する音を放射することができる。より低い周波数は、過剰なレーザパルスを差し引くことによって生成可能である。SLMのフレームレートは10Hzであるので、最大5Hzのバースト波(無音の場合は10ms、1kHzのサウンド放射の場合は10ms)を生成することができる。変動及び周波数の分解能は、より高速なレーザ光源及びSLMを使用することによって改善することができる。
レンズ742は、焦点距離200mmを有する。
図33は、本発明によるマルチポイントプラズマスピーカを生成するためのシステム800の例示的実施形態を示す。システム800は、システムコントローラ801と、フェムト秒レーザ光源810と、SLM820と、光学ミラー及びレンズ842、844、及び846と、ガルバノスキャナユニット830と、マイクロレンズアレイ880と、を含む。マイクロレンズアレイは、対物レンズとして機能する。
図33に示す光学系セットアップに基づく好ましい実施形態(以下「システムG」という)について説明する。
システムGは、コヒーレント社製のフェムト秒レーザ光源を含む。このフェムト秒レーザ光源は、800nmの中心波長と、1kHzの繰り返し周波数と、2mJまでのパルスエネルギーと、30fs〜100fsの間で調整可能なパルス幅とを有する。
システムGは、浜松ホトニクス社製のLCOS−SLMをさらに含む。このデバイスは、2ラジアンを超える位相のみを変調することができ、且つ、768ピクセルx768ピクセルの解像度と、20x20μm2のピクセルサイズと、100msの応答時間と、を有する。
システムGは、さらに、ガルバノスキャナユニットを含む。これは、スキャナ制御ボード(キヤノンGB−501)によって駆動される走査ヘッドユニット(キヤノンGH−315)を含む。走査ヘッドユニット(キャノンGH−315)は、10〜14mmのビーム直径と、±0.17radの走査角度と、5μrad未満の誤差と、20ビットの分解能と、を有する。走査ヘッドは、少なくとも約10x10mm2の面積をカバーする。スキャナ制御ボード(キヤノンGB−501)は、スキャンヘッドユニットとレーザユニットを制御して、レーザビームをXY平面内の任意の座標に向ける。それは、PCとインタフェースするための標準的なPCIバスを有し、且つ、PCコマンドから命令を受け取る。
システムGは、ウィンドウズ(登録商標)オペレーティングシステムを走らせているすべてのプログラムがSLM、ガルバノスキャナユニット、及び、バリフォーカルレンズユニットの動作を制御するC++でコード化されたPCを含むシステムコントローラをさらに備える。ガルバノスキャナユニットとバリフォーカルレンズユニットは異なるスレッドに沿って走り、且つ、新しい描画パターンが受け取られたときに同期する。ユーザ入力は20Hzで取り込まれてもよい。制御システムは、さらに、光学系と表示媒体との間のインタラクションのモニタリングに使用されるUSB顕微鏡を含む。
システムGはマイクロレンズアレイをさらに含む。マイクロレンズアレイのレンズサイズは4x4mm2であり、且つ、焦点距離は38.24mmである。
システムGは、任意の位置に複数の音源を作り出すことができる。SLM820は、単一のレーザビーム812をCGHによって複数のビーム814に分割し、ガルバノミラー830はこれらのビームを複数の焦点に向ける。最後に、マイクロレンズアレイ880はこれらのビームを集束させてそれらを音源にする。
図34は、本発明によるマルチポイントプラズマスピーカを生成するためのシステム900の例示的実施形態を示す。システム900は、SLMの代わりに製造された変調器980を含む。変調器は、印刷マスクで覆われたマイクロレンズアレイである。
製造された変調器は、インクジェットプリンタを使用して透明フィルム上にグレースケールパターンを印刷することによって製作可能な受動型変調器である。レーザパルスビームは、ガルバノミラーを使用して製造された変調器上で走査され、且つ、焦点は、グレースケールパターンのエネルギー吸収によって変調される。この方法は、インクジェットプリンタの高い空間解像度を利用する。
図34に示す光学系セットアップに基づく好ましい実施形態(以下「システムH」という)について説明する。
システムHは、SLM830が光学ミラー940と置き換えられ、且つ、マイクロレンズアレイ880が製造された変調器980と置き換えられること以外は、システムGと同様である。
システムHは、300dpiの解像度を有する製造された変調器を含む。
ガルバノミラー930は、製造された変調器980のグレースケールパターンを通してプログラムされた軌跡に沿ってレーザビーム912を向ける。レーザビーム912は、グレースケールパターンによって減衰され、次いでマイクロレンズアレイは、レーザビームを集束させる。グレースケールパターンは、レーザビームの振幅の変調に使用される。グレースケールパターンは、再生用のオーディオデータ(フォノレコードのような方法)に従って導出可能であり、又は、ガルバノミラーがコード化パターン内の特定の位置にレーザビームを向けて特定の音を生成するコード化パターン(ピアノのような方法)とすることができる。
(オーディオ実験1:レーザパワーvsサウンドボリューム)
本発明者らは、プラズマ生成とスピーカの結果として生じる放射との間の関係を評価するために実験を行った。実験は、エネルギーレベルに対応する音量を決定した。実験は、0.05〜1.60Wの時間平均電力出力範囲に対して、30fsに構成されたシステムAを使用して行われた。実験は、0.16〜1.6mJの範囲内のパルス当たりのエネルギーの下で行われた。実験結果を図25(a)に示す。位相は、図25(b)に示すように、レーザビーム5の伝播方向とプラズマスポット2に対するマイクロホンの位置との間の相対角度である。縦軸は、音波の振幅をリニアスケール(デシベルではない)で示している。より明るいプラズマスポットは、より大きな音を伴う傾向がある。
(オーディオ実験2:極性特性)
本発明者らは、音波アプリケーションに対するレーザフィラメント化の影響を考慮するために、単一音源の極性特性を評価するための実験を行った。音源の極性特性は、近距離での音源の指向特性の尺度であるのに対して、指向性は、一般に遠距離での指向特性の尺度である。この実験及び以下の実験では、オーディオデータは短い距離で測定されたものであり、音波はさらに長い距離で互いに干渉し合う可能性がある。それにもかかわらず、極性特性及び指向性という用語は、振幅に対する角度を示すプロットに関して同様であり、本明細書では互換的に使用される。
指向性は音源の配置によって決まる。したがって、指向性に関するこれらのデバイスの違いは、それらが空中で音源をどの程度自由に生成できるかという点にある。
本発明者らは、3つの異なる焦点距離レンズ(f=40、100及び300mm)を用いて実験した。フェムト秒レーザ光源は、30fsのパルス幅と、6.62Wの光源出力と、1kHzの繰り返しパルス(6.62mJ/パルス)と、を有するように構成される。
図26は、左から右へ伝播するレーザビームに対する様々な焦点距離における単一焦点の極性特性を示す。実験は、短焦点距離レンズのフィラメント化が長焦点距離レンズより短いことを示した。実験は、また、フィラメント化が音放射の指向性を有することを示した。平行方向よりも垂直方向により強い音を放射する。このグラフは、焦点距離が長くなると顕著になるフィラメント化の特性を示している。
音源から放射される音波間の干渉は、それらの周りの複雑な音圧分布を作る。音圧の2次元空間マップは、これらの音源を記述するために使用される。しかし、遠くから見ると、これらの音源は指向性を持つ単一音源のように見える。そのため、角度、つまり極性特性は、単一音源の特性を十分に表す。
(オーディオ実験3:パルス幅vs.サウンドボリューム)
本発明者らは、パルス幅設定毎に、レーザ出力と結果として生じるスピーカの音量との間の関係を調べるために実験を行った。実験は、システムAを使用して、パルス幅を30fs及び100fsに設定し、レーザ出力パワー範囲を0.05〜1.60Wにして行った。オーディオ実験1で使用したものと同じマイクロホンを使用して、発生音を取り込んだ。
実験結果を図27に示す。100fsのパルス幅から生成されたプラズマは、30fsのパルス幅から生成されたプラズマよりもわずかに弱い音を放射するが、その差は同じレーザ光源の電力の下では最小である。
(オーディオ実験4:周波数領域の特性)
本発明者らは、高速フーリエ変換(FFT)を用いて測定音の周波数特性を解析した。図25(a)〜(b)は、単一焦点の例示的な音波形及び周波数特性を示す。図25(a)は、時間領域における記録波形を示し、図25(b)は、算出された周波数スペクトルを示す。1kHz間隔で鋭いピークがあるが、これはフェムト秒レーザ光源の繰り返し周波数が1kHzであることから予想される。時間領域で1msの間隔で繰り返される鋭いパルスは、周波数領域で1kHzの間隔でくし型関数によってサンプリングされた広域スペクトルに変換される。
(オーディオ実験5:マイクロレンズアレイによって同時アドレスされるボクセルの極性特性)
発明者らは、複数のプラズマ音源を同時に自由空間に生成できるか否かを判断するために実験を行った。同時アドレス指定は、音場の空間分布、音源の極性特性、及び、指向性スピーカの機能の生成に重要である。同時にアドレス指定されるプラズマスピーカは、エネルギーがそれらの間で分配されるので、単一のプラズマスピーカよりもスピーカの最大量が小さい。この実験では、マイクロレンズアレイから複数の音源を同時に発生させた。
マイクロレンズアレイは、個別の小型レンズを有する。マイクロレンズアレイは、一般に、格子状に配置された凹部を有する表面を有するガラス板である。各凹部は、レンズとして作用する。この実験では、4×4mm2のレンズを有するマイクロレンズアレイを使用した。
マイクロレンズアレイが対物レンズとして使用される場合、単一のレーザビームは小さなレンズによって分割され、且つ、マルチアクセスはSLMなしで達成される。例えば、レーザビームの直径が約8mmの場合、レーザビームは4つの隣接するレンズのグループを通過することができ、その結果として、焦点が形成される。図36(a)は、レンズ22を有するマイクロレンズアレイ20を示す。レーザビームは、レーザビームを4つのビームに分割する暗いレンズ24によって示されるレンズ群を通過する。SLMがマイクロレンズアレイと共に使用される場合、マイクロレンズアレイ上の任意のレンズが焦点の形成に利用可能である(例えば、図35(b)を参照)。図36(b)に示すように、暗色レンズ24は、レーザビームに対して異なる照射パターンを示す。
この実験は、同時に生成された複数の音源の極性特性を調査し、且つ、その結果を比較するためにシミュレータとホログラムジェネレータを検証することを目的とした。空間分布プラズマの違いを考慮するために、レンズの焦点距離が38.24mmのマイクロレンズアレイ(4×4mm2)を用いて実験を行った。サウンドは、−90°から90°までの様々な位置に配置されたモノラルマイクで録音された。図36(e)に示すように、レーザパルスビームは、4つのレンズ24を通過し、且つ、4つの焦点26でプラズマ放出効果を引き起こす4つのレーザパルスビーム21に分割される。誘導プラズマは相互作用する音波を発生して、音圧分布を形成する。それはプラズマの分布に依存する。図1および図2を参照する。図36(c)および図36(d)は、図35および図36に示す照射パターンを有するマイクロレンズアレイによって誘起されるプラズマ分布に対応する理論上の音圧分布を、それぞれ図36(a)および36(b)に示す。
変調器としてマイクロレンズアレイを利用するシステムの結果を図44に示す。図44は、10kHz、20kHz、30kHz、40kHz、50kHz、60kHz、70kHz、80kHz、及び、90kHz成分の指向特性を示している。これらの測定は、周波数に応じたレーザ生成音源間の干渉の基本特性を示している。
可能性のあるプラズマ分布はマイクロレンズの間隔によって制限される。マイクロレンズアレイの代わりに連続的な対物レンズは、任意の配置及び間隔で音源を生成することができる。
(オーディオ実験6:SLMによる同時アドレスされたボクセルの極性特性)
本発明者らは、SLM及びホログラムから同時に生成された複数の音源の極性特性を評価するために実験を行った。この実験は、オーディオ実験5に記載したマイクロレンズアレイによってプラズマの空間位置が固定された前述の実験で用いたホログラフィ技術を使用して生成された複数の音源の極座標特性の比較を目的とした。また、この実験は、音場の推定及び設計のために開発された指向性/分布シミュレータの検証も目的とした。この実験では、30mmの焦点距離が使用された。光路に向かって90°の位置に配置されたモノラルマイクロホンを使用して音を記録した。SLMからのプラズマ分布は、10°ステップでCGHを変えることによって循環させた。図32は、結果及びシミュレーションを示す。その結果、SLMとCGHを用いたプラズマ分布を生成することができ、且つ、測定された分布がシミュレーション結果を検証することを確認した。
この実験のために、システムFを使用した。
2つの音源及び4つの音源は、0.5mm間隔で生成されたが、効果的な干渉には短過ぎた。これは、より大きな直径の対物レンズを使用することによって改善可能である。音源間の間隔を長くするためのもう1つの方法として、マイクロレンズアレイをLCOS−SLMと組み合わせて使用することができる。
(オーディオアプリケーション)
(オーディオアプリケーション1:3次元空中オーディオスピーカ(空間オーディオ))
レーザ誘起プラズマは、3次元空間内の任意の位置に操作し、且つ、分布させることができる。超短パルスレーザの焦点に誘導されたプラズマはインパルス状の衝撃波を発生させる。衝撃波は変調され、且つ、空間音響設計に適合させることができる。このようにして、プラズマは、現実の世界では3次元(3D)構成の任意の位置にオーディオスピーカとして配置することができる。 この空間制御機能は、サウンド分配制御の可能なアプリケーションを拡大します。3次元オーディオの生成は、ビジュアルディスプレイとともに、ユーザをコミュニケーションやエンターテイメントに没頭させる上で重要な役割を果たす。
本発明の例示的実施形態によれば、プラズマベースの空中スピーカが提供される
本発明者らは、音量の制御方法を検討した。振幅制御は、レーザパルスの強度(すなわちパワー)を調整することによって行われる。一定強度のレーザパルスの場合、DMD SLM、LC−SLM、LCOS−SLM、製造された変調器、又は、ビームシャッタを用いてレーザパルスの強度を減衰させることができる。DMD SLMはオンになっているピクセルの数を制御することができるので、入射レーザパルスのうち反射されるレーザパルスの量の制御に使用することができる。LC型SLMは、単一のレーザパルスビームから複数の焦点を生成することができるので、レーザパルスビームを分割することによってレーザ強度を減少させるために使用することができる。グレースケールガラスは、入射レーザパルスのうち透過するレーザパルスの量を制御することができるので、レーザ強度を減衰させるために使用することができる。グレースケールガラスは、様々なグレースケールの透かし画像が印刷されたピクセル領域を有する製造された変調器である。ビームシャッタは、レーザパルスの強度を減衰させることもできる。ビームシャッタは、レーザパルスビームの断面積を減少させることができるので、入射レーザのうち透過するレーザの量を制御するために使用することができる。
本発明者らは、周波数の変調方法を検証した。周波数制御は、レーザパルスの繰り返し率を調整することによって行われる。固定周波数のレーザパルスの場合、幾つかのパルスを除去することができる。これは、意図した周波数でレーザパルスを音源位置に送ることによって実現できる。例えば、1kHzのパルスレーザ源が使用され、且つ、500Hzのトーンが望まれる場合、レーザ源によって生成されたパルスの半分だけが音源位置に向けられるべきである。
このようにして、繰り返し周波数の半分、3分の1、4分の1などを生成することができる。DMD SLM及び/又はガルバノスキャナを使用して、レーザ源から来る一連のパルスから過剰なレーザパルスを差し引くことができる。例えば、DMD SLMは、パルス列から特定のレーザパルスのみを反射するように制御することができる。ガルバノスキャナユニットは、パルス列から特定のレーザパルスのみを目標位置に向けるように制御することができる。図37(c)に示すように、ガルバノスキャナユニット85は、レーザビームパルスを目標位置82と終端位置86とに交互に向けることによって生成された周波数を半分にするために使用される。ガルバノスキャナユニットは、DMD SLMより遅いので、DMD SLMが好ましい。ビームチョッパ又はシャッタは、パルス列から特定のパルスを遮断するのに使用することもできる。より高速なレーザ源とSLMを用いると、生成可能な音の周波数の範囲を広げることができる。
フーリエコンピュータ生成ホログラフィ(CGH)もまた、分布パターンを変えることによって1秒当たりに音源位置に送られるレーザパルスの数を制御するために使用することもできる。しかし、これには、スキャン速度の速いSLMが必要である。
目標位置にレーザパルスビームの焦点を生成することにより位置制御が行われる。3次元スキャナ(例えば、ガルバノスキャナとバリフォーカルレンズとの組み合わせ)を使用することができる。ガルバノスキャナユニットは、横方向のX方向及びY方向にレーザパルスビームの方向を走査する。バリフォーカルレンズユニットは、焦点距離をZ軸方向に変更する。また、フーリエコンピュータ生成ホログラフィ(CGH)を使用して、音源を自由空間に配置することができる。
指向性制御は、結果として生じる波面がターゲットに向けられるように放射された音が互いに干渉するように、1つ以上の音源を配置することによって実行される。フェムト秒レーザパルスによって生成されたプラズマは、電磁波(スーパーコンティニュームとして知られる無線周波数及び光)、並びに、音波(可聴音及び超音波)を含む非常に広い周波数範囲の広帯域波を放射する。広いスペクトルの波が共存しているが、周波数帯域は別々に制御することができる。複数のプラズマスポットが自由空間に空間的に配置されると、光、電磁波、音、及び/又は超音波の「フェーズドアレイ」を生成することができる。
波源の位相は同じであるが、特定の干渉波パターンを作り出すために、波源(レーザ焦点)の配置によって特定の周波数波の指向性を制御することができる。プラズマスポット間の空間的位置及び距離は、時間(位相)差を決定する。したがって、それ自体が「フェーズドアレイ」ではなく、「空間アレイ」になる。
計算位相変調は、空気中の焦点の複雑な配置を可能にする。干渉パターンを制御し、且つ、波面を成形して放射音の方向制御を得るために、特定の空間アレイ配置を設計することができる。
LC型SLMは、導出されたCGHを使用することによって複数の干渉焦点を生成する。さらに、DMD SLMは、結果として生じる衝撃波が互いに干渉することができるように、レーザパルスビームの振幅を制御することができる。CGHは、音波分布を設計するためのシミュレータを使用して導き出すことができる。所望の波面を生成する音源の配置を決定した後、音源の位置に基づいて、LCSLM又はDMD SLMに対してCGHが計算される。
マイクロレンズアレイも使用することができる。個別の小型レンズは、マイクロレンズアレイの間隔で単一のレーザビームを、例えば4つの音源に分割する。間隔が十分に離れている場合は、4つの音源が互いに干渉する音を生成して、特定の音分布パターンを形成することができる。
より長いフィラメント化は、より強い音波をレーザの伝播方向に対して垂直に放射する。これにより、音波を目標点に効果的に届けるための好ましいレーザ方向を決定することができる。
本発明者らは、目標位置での音声データの再生方法を検討した。音と音声を生成する1つの方法は、振幅変調を使用することである。図40に示すように、ビームシャッタを使用して個々のパルスのパワーを制御することができる。44.1kHzのサンプリングデータを再生するには、パルスレーザ光源とシャッタの両方に最低44.1kHzが必要である。
これは、また、インパルス音の高調波を使用することによって(例えば、図38および図39に示す構成、又は、超高速なSLMを使用することによって)実現することができる。100kHzまで測定可能なマイクロホンを用いて、少なくとも96kHzまでの周波数を有する波が放射されたことを確認した。複数の周波数成分が同時に放射されるが、各周波数の指向性を制御することによって目標周波数を選択することができる。純粋なトーンは難しいかもしれないが、目標方向について少なくともほとんどの余分な周波数は取除くことができる。
(オーディオアプリケーション2:空間オーディオ仮想現実)
空中プラズマスピーカは、普通の物体をオーディオメディアに変えることができる。空中プラズマ音源は、現実世界のオブジェクトに重ね合わせることも、隣接させることもできる。したがって、あらゆる現実世界のオブジェクトが音源になり得る。例えば、おもちゃの置物が音源であるように見せるために、空中プラズマ音源をおもちゃの置物の口の隣に配置することができる。空間プラズマは、プラズマスピーカのワークスペースの周囲の環境を走査し、且つ、マッピングすることができるカメラシステムを利用することによって、空中プラズマを手動で再配置することも、自動的に再配置することもできる。
(オーディオアプリケーション3:空間スピーカ:実態のない空中スピーカ)
プラズマスポットの空間的位置及び強度は、CGHを変更することによって変えることができる。本発明の例示的実施形態によれば、レーザ誘起プラズマはどこでも発生させることができ、且つ、従来のスピーカのような点音源として可聴波を放射するように変調することができる。プラズマは、一組の従来のサラウンドサウンドスピーカとして機能するように複数の点に誘起させることができる。例えば、複数のレーザ誘起プラズマスポットが従来のサラウンドサウンド構成で室内に配置され、且つ、各プラズマスポットは異なるオーディオ信号で変調される。
本発明の例示的実施形態によれば、レーザプラズマスピーカは、パラメトリック指向性スピーカのように動作するように構成される。指向性は、複数の音源を配置することによって達成される。指向性は可変である。
(オーディオアプリケーション4:空間スピーカアレイ:指向性スピーカ)
超音波超指向性スピーカは、レーザ音源でシミュレーションすることができる。レーザ焦点は、超音波を放射する。これらの超音波は、音声データに基づいて変調される。空気の非線形性は、これらの変調された超音波を可聴音に復調する。
あるいは、SLM及び計算位相変調の使用は、空気中の焦点の複雑な配置を可能にする。干渉パターンを制御し、且つ、波面を整形して放射音の方向制御を得るために、特定の空間アレイ配置を設計することができる。
図41(d)に示すように、特定の目標に対して音波を指向させるために焦点を配置することができる。図43に示すように、焦点62は、焦点62で誘起されたプラズマによって生成された音64が仮想オブジェクトの動き及び配向に対して放射されるように見えるように、仮想オブジェクトの動き及び配向を追跡するために連続的に再配置することができる。
(安全なアプリケーションの改良)
空中プラズマ発生は、平方センチメートル当たりペタワットの瞬間レーザ出力を必要とする。光回路は慎重に開発し、取り扱う必要がある。高強度レーザが利用される場合、イオン化は光回路に沿って起こり得る。光学部品の損傷を避けなければならないので、これは利用可能なレーザ出力を制限する。また、プラズマ発生は非線形現象であるため、取り扱いには注意が必要である。アプリケーションの安全性を確保するために、これらの問題を慎重に検討する必要がある。より高い反射効率を有するSLMを使用し、且つ、時間平均レーザパワーを増加させることで、より多くの数の同時にアドレス指定されたボクセルを生成することができる。
望ましくないイオン化を回避するために、対物レンズを使用して低出力の高強度レーザパルスを空間内の特定の点に集束させてプラズマを発生させる。対物レンズを使用すると、ワークスペースの大きさに制限がある。ワークスペースは、ガルバノミラーの角度範囲と可変焦点レンズの深度範囲によって決まる。しかしながら、ガルバノミラーの角度範囲は、対物レンズの開口部に依存する。より大きい開口を有する対物レンズは、横方向におけるガルバノスキャナのより大きい角度範囲、すなわちX−Y走査を可能にする。
本発明の別の実施形態によれば、皮膚の損傷を防止するため又は不快感を最小限に抑えるための予防策として、走査速度を上げることによって安全性をさらに改善することができる。
例示的な実施形態では、ボリュメトリックディスプレイは、3次元空間を非常に迅速に走査する。したがって、長期間にわたって空間内の特定の点に留まることはないので、重大な損傷は起こり得ない。
本発明の別の実施形態によれば、対話式ハプティックスの安全性は、同じ点でのさらなる接触を防ぐことによって重大な損傷の可能性を回避するために、プラズマの目標位置を調整することによってさらに改善することができる。
例示的な実施形態では、カメラ又はセンサシステムを使用して、プラズマスポットが誘起される可能性があるワークスペース内及び周囲のユーザの活動をモニタリングすることができる。予防策として、プラズマボクセルは、カメラ又はセンサシステムがプラズマボクセルに接触していることを検出してから17ms(単一フレーム)以内に無効化又は再配置しても良い。この遮断時間は、有害な曝露時間である2000msよりも十分に短い[Ochiai et al. 2015]。レーザ源の繰り返し回数及びエネルギーが増加すると、より高速なカメラ認識システム及びより高速な走査システムが必要になる。
(没入型バーチャルリアリティアプリケーション−複合視聴覚触覚システム)
視覚、触覚、及び、音声のアプリケーションを組み合わせることが可能である。空中で生成された3次元画像は、ユーザに話しかけるように見える。ユーザは、タッチ操作を介して、これらの画像と対話することができる。視覚アプリケーションのコントロールレートは、30fpsであり、これは、触覚アプリケーションにとっては十分な値である。このレートは、音声アプリケーションのレートよりも大幅に低いため、視覚アプリケーションは音声アプリケーションに干渉しない。
本発明の例示的な実施形態によれば、フェムト秒レーザ誘起プラズマを利用して機能的な空中オーディオスピーカを実現する方法が提供される。超短パルスレーザの焦点に誘起されたプラズマは、インパルス状の衝撃波を発生するので、3次元空間内の任意の位置に焦点を分布させることができる。焦点の位置は動的に変化させることができる。7Wフェムト秒レーザ源を用いて空中に生成されたスピーカは、1kHzから96kHzの範囲の広い周波数特性を有する。
本明細書に記載の実験例、実験データ、表、グラフ、プロット、写真、図、並びに、処理及び/又は操作パラメータ(例えば、値及び/又は範囲)は、本発明のいくつかの可能な操作条件を例示することを意図している。開示されたシステム及び方法は開示されたものであり、本明細書に開示された方法及びシステムの他の実施形態の動作条件の範囲を限定することを意図するものではない。さらに、本明細書に開示される実験、実験データ、計算データ、表、グラフ、プロット、写真、図、及び、他のデータは、開示されるシステム及び方法の実施形態が効果的に機能して1つ以上の所望の結果を生み出すことができる様々な状況を示す。そのような運転計画および所望の結果は、例えば、表、グラフ、プロット、図、又は写真に示される運転パラメータ、条件、又は、結果の特定の値だけに限定されず、これらの特定の値を含む又はそれらに及ぶ適切な範囲も含む。したがって、本明細書に開示される値は、表、グラフ、プロット、図、写真などに列挙又は示される値のいずれかの間の値の範囲を含む。さらに、本明細書に開示される値は、表、グラフ、プロット、図、写真などに記載又は表示されている他の値によって実証されるように、表、グラフ、プロット、図、写真などに記載されている上若しくは下の何れかの値の範囲を含む。また、本明細書に開示されたデータは、特定の実施形態について1つ以上の有効動作範囲及び/又は1つ以上の所望の結果を確立するが、すべての実施形態がそのような各動作範囲で動作可能である必要はない。さらに、開示されたシステム及び方法の他の実施形態は、他の動作方式で動作し、及び/又は、例示の実験、実験データ、表、グラフ、プロット、写真、図、及び、他のデータを参照して示され説明された以外の結果を生み出す。
他のシステム、設定、及び、パラメータが他の実装形態で使用されてもよく、それは、同一の又は異なる結果を提供してもよい。多くの変形が可能であり、そして本開示の範囲内で想定することができる。
本発明の特定の実施形態を例示し説明してきたが、本発明の精神及び範囲から逸脱することなく他の様々な変更及び修正を加えることができることは当業者には明らかであろう。したがって、本発明の範囲内にあるそのようなすべての変更及び修正を添付の特許請求の範囲で網羅することを意図している。