JP2020525956A - コンピュータ媒介現実用の表示装置 - Google Patents

Abstract

本発明は、可動オブジェクト（20）に結合されるように構成された表示装置（100）であって、自己混合干渉測定によって参照オブジェクト（10、180）に対する前記可動オブジェクトの動きを割り出すように構成された少なくとも第1のレーザセンサモジュール（121）と、視野（152）を表示するための表示デバイス（110）とを備えており、前記表示デバイス（110）は、前記割り出された前記可動オブジェクト（20）の動きに応じて、前記視野（152）内に少なくとも1つの仮想オブジェクトを統合するように構成されている、表示装置（100）に関する。さらに、本発明は、少なくとも1つの仮想オブジェクトを含む画像を提供する方法に関する。最後に、本発明は、対応するコンピュータプログラム製品に関する。【選択図】 図3

Description

本発明は、少なくとも1つの仮想オブジェクトを含む画像を表示するための表示装置に関する。さらに、本発明は、少なくとも1つの仮想オブジェクトを含む画像を提供する方法に関する。最後に、本発明は、対応するコンピュータプログラム製品に関する。

米国特許第8,576,276号明細書が、ユーザに拡張現実画像を見せることができる例えば拡張現実眼鏡の形態のシースルー型ヘッドマウントディスプレイ（HMD）デバイスを開示している。慣性測定ユニットが、ユーザの頭部の向きおよび位置を追跡する。

欧州特許出願公開第1980999号明細書が、現実画像に仮想画像を重ね合わせることによって拡張現実画像を構成するための拡張現実画像システムを開示している。仮想画像は、現実画像の視野に対するユーザの頭部の位置および向きに依存して作られる。このシステムは、ユーザの頭部の相対的な位置および方向を決定するための少なくとも2つの個別の位置測定システムを備えている。

欧州特許出願公開第1980999号明細書

本発明の目的は、改良された表示装置を提供することである。本発明は、独立請求項によって定義される。従属請求項が、好都合な実施形態を定義する。

第1の態様によれば、表示装置が提供される。表示装置は、可動オブジェクトに結合されるように構成されている。この表示装置は、
自己混合干渉測定によって参照オブジェクトに対する可動オブジェクトの動きを割り出すように構成された少なくとも第1のレーザセンサモジュールと、
視野を表示するための表示デバイスと
を備え、
表示デバイスは、割り出された可動オブジェクトの動きに応じて、視野内に少なくとも1つの仮想オブジェクトを統合するように構成されている。

コンピュータ媒介現実または拡張現実とは、可動オブジェクトに結合されるように構成された表示装置の使用を通じて、現実へと情報を付加し、現実から情報を削除し、あるいは他のやり方で現実の知覚を操作する能力を指す。そのような表示装置の例は、スマートフォンまたは拡張現実（AR）ゴーグルなどの携帯デバイスであり得る。例えば、ARゴーグルは、現実世界に仮想オブジェクトを重ね合わせる。現実世界の情報は、2Dまたは3Dカメラデバイスなどのカメラデバイスを使用して取得され、仮想オブジェクトは、目的の場所で風景へと投影される。しかしながら、このようなシステムおよび取得画像の処理は、頭部の典型的な動きと比べてかなり遅い。このような動きにより、仮想オブジェクトが実際のシーン内で「飛び回る」ことになり、ユーザの満足度が大幅に低下する。頭部の動きは、きわめて普通であり、ほとんど避けることができず、きわめて低速からかなり高速までの広い範囲に及ぶ。検討されているさらなる技術として、米国特許第8,576,276号明細書に記載の加速度センサまたは三角測量を挙げることができる。既知の方法の精度は、問題である。理論的には6つの軸に沿った頭部の位置を追跡しなければならないが、網膜への投影およびその解像度が精度を決定するため、すべての軸が等しく重要なわけではない。

例えば、対応する自己混合干渉センサによる測定軸に沿ったオブジェクトの動きの3軸の測定が、6軸の動きに関する明確な情報をもたらす。速度の測定の精度は、典型的には、距離のみの測定よりも高いため、参照オブジェクトに対するオブジェクトの動きを、好ましくは測定軸に沿った相対速度の測定によって割り出すことができる。これに代え、あるいはこれに加えて、参照オブジェクトまでの相対距離を、自己混合干渉センサによって割り出すことができる。動きの方向を、レーザへの適切な駆動電流の供給、および／または自己混合干渉センサによってもたらされる測定信号の対応する信号解析（例えば、高速フーリエ変換に基づく）によって割り出すことができる。自己混合干渉センサによるそのような速度および／または距離の測定の原理は、当業者によく知られている（以下を参照）。

したがって、自己混合干渉測定によって参照オブジェクトに対する可動オブジェクトの動きを割り出すように構成されたレーザセンサモジュールは、割り出された動きに従って視野における1つ以上の仮想オブジェクトの位置を正確に調整することを可能にすることができる。表示デバイスを備える表示装置を、任意の可動オブジェクトに結合することができる。そのような可動オブジェクトの例は、例えばARゴーグルの場合のユーザの頭部、またはスマートフォンなどの携帯デバイスの場合のユーザの手であってよい。さらに、表示装置を、無線通信リンク（例えば、光通信またはRF通信）によって外部の処理デバイスと通信するよう構成することができる。表示装置は、対応する無線通信モジュールを備えてもよい。外部の処理デバイスを、レーザセンサモジュールによって決定された測定結果を分析し、例えば測定結果の分析に基づいて視野内の1つ以上の仮想オブジェクトの調整後の位置を計算するように構成することができる。1つ以上の仮想オブジェクトの調整後の位置を含むデジタル情報を、表示装置へと伝達し、表示デバイスによって表示することができる。視野は、ユーザまたはカメラの視野であってよい。前者の場合、表示装置は、例えば、ユーザが表示装置の向こうを見ることができるように半透明であってよい。表示装置は、伝達された情報に従ってユーザの視野内に仮想オブジェクトを表示するために、メモリおよび処理デバイスを備えることができる。表示デバイスは、後者の場合には、例えば、可動オブジェクトの動きに従ってカメラの視野および仮想オブジェクトを表示するように構成されたLCDまたはOLEDディスプレイなどの従来からのディスプレイであってよい。

これに代え、あるいはこれに加えて、表示装置を、信号処理の少なくとも一部またはすべてを実行するように構成することができる。表示装置は、そのような実施形態によれば、測定信号の評価およびその後の表示データの処理に関して自律的であり得る。

表示装置は、例えば、コントローラを備えることができる。コントローラを、視野内に少なくとも1つの仮想オブジェクトを統合するように構成することができる。さらに、コントローラを、割り出された可動オブジェクトの動きに基づいて、視野内の仮想オブジェクトの位置を調整するように構成することができる。

表示装置は、カメラデバイスをさらに備えることができる。カメラデバイスは、画像を記録することによって可動オブジェクトの視野を定めるように構成される。表示デバイスは、割り出された可動オブジェクトの動きに従って、記録された画像の少なくとも一部および少なくとも1つの仮想オブジェクトを表示するように構成される。カメラデバイスは、シーンの画像を記録するように構成される。各々の画像は、所定の瞬間におけるカメラの視野に対応する。カメラの視野、すなわちそれぞれの画像における仮想オブジェクトの位置が、表示装置が可動オブジェクトに結合されている場合に、それぞれの瞬間において検出された参照オブジェクトに対する可動オブジェクトの動きに応じて調整される。

コントローラを、表示画像内に少なくとも1つの仮想オブジェクトを統合するようにさらに構成することができる。コントローラを、割り出された可動オブジェクトの動きに基づいて、表示画像内の仮想オブジェクトの位置を調整するように構成することができる。コントローラは、上述のようにカメラデバイスによって記録されたそれぞれの画像によって定められるカメラの視野内の仮想オブジェクトの位置を調整するために、すべての測定、処理、などを実行するように構成された自律型の表示装置を可能にすることができる。

第1のレーザセンサモジュールを、3つの異なる空間方向に少なくとも3つの測定ビームを放射するように構成することができる。第1のレーザセンサモジュールは、これらの空間方向と同一直線上にある速度ベクトルを割り出すように構成される。第1のレーザセンサモジュールは、これらの空間方向と同一直線上にある少なくとも3つの独立した速度ベクトルを表す測定データを自己混合干渉測定に基づいて割り出すように構成される。後続のデータ処理を、上述したように、内部のコントローラおよび／または外部のデータ処理デバイスによって実行することができる。第1のレーザセンサモジュールを、異なる空間方向に4つ、5つ、または6つ以上の測定ビームを放射するように構成することができる。さらに、第1のレーザセンサモジュールを、同じ方向に2つ以上の測定ビームを放射するように構成することができる。第1のレーザセンサモジュールは、対応するスキャンデバイスによってレーザまたは測定ビームを動かすことによって少なくとも3つの測定ビームを放射するための1つのレーザ（例えば、半導体レーザダイオード）、またはレーザのアレイを備えることができる。自己混合干渉信号を、対応する検出器（例えば、レーザの層構造に組み込まれたフォトダイオード）によって検出することができる。1つ以上のレーザセンサモジュール（以下を参照）に含まれてよい自己混合レーザセンサの代案の実施形態は、当業者に周知である。第1のレーザセンサモジュールを、それぞれの空間方向に沿った参照オブジェクトまでの少なくとも3つの距離を決定するようにさらに構成することができる。少なくとも3つの速度ベクトルおよび／または距離のその後の測定を使用して、可動オブジェクトの回転を明らかにすることができる。

第1のレーザセンサモジュールを、視野と比べて表示装置の周りの仮想の球の異なる立体角に少なくとも3つの測定ビームを放射するように構成することができる。自己混合干渉測定は、正確かつ信頼性がある。自己混合干渉測定に基づいて動きを割り出すためのデータ処理は、多大なデータ処理能力を必要としない。自己混合干渉測定の検出範囲は、数メートルまでに制限され得る。したがって、測定ビームを、視野とは無関係に近傍の1つ以上の参照オブジェクトを割り出すように、例えば後方、左方、右方、床、または天井に向けることが、好都合かもしれない。視野外のこれらの参照オブジェクトに対する相対的な動きにより、視野における仮想オブジェクトの位置の正確かつ迅速な決定を可能にすることができる。

第1のレーザセンサモジュールを、表示装置が可動オブジェクトに結合されたときに少なくとも3つの測定ビームを参照オブジェクトへと放射するように構成することができる。参照オブジェクトは、この実施形態においては、可動オブジェクトに機械的に結合されている。（例えば、ヒンジまたはベアリングによって）機械的に結合された参照オブジェクトは、静止した参照オブジェクトまたは可動な参照オブジェクトであってよい。参照オブジェクトは、視野における仮想オブジェクトの位置を充分な精度で決定することができるように、生じ得る参照オブジェクトの動きが可動オブジェクトの動きと比べてはるかに遅い動きであるように選択される。可動オブジェクトに結合された参照オブジェクトを使用することで、可動オブジェクトと機械的に結合された参照オブジェクトとの間の距離がレーザセンサモジュールに含まれる自己混合干渉センサの検出しきい値を下回るようにレーザセンサモジュールを配置できるため、信頼性の高い動きの検出を可能にすることができる。

第1のレーザセンサモジュールは、レーザセンサのアレイを備えてもよい。レーザセンサのアレイは、多数の測定ビームをさまざまな方向に放射するように構成される。コントローラが、表示装置が可動オブジェクトに結合されたときに少なくとも3つのレーザセンサによってもたらされる自己混合干渉測定に基づいて可動オブジェクトの動きを割り出すように構成される。

コントローラを、とくには、レーザセンサが信頼できる自己混合干渉信号をもたらすか否かを確認するように構成することができる。さらに、コントローラを、信頼できない測定結果（範囲内に参照オブジェクトがない、それぞれの測定ビームに髪などの比較的高速で動く障害物が存在する、など）を破棄するように構成することができる。

表示装置は、少なくとも第2のレーザセンサモジュールを備えてもよい。第2のレーザセンサモジュールは、表示装置が可動オブジェクトに結合されたときに自己混合干渉測定によって可動オブジェクトの動きを割り出すように構成される。第2のレーザセンサモジュールは、第1のレーザセンサモジュールと比べて表示装置の周りの仮想の球の異なる立体角に少なくとも3つの測定ビームを放射するように構成される。レーザセンサのアレイに代え、あるいはレーザセンサのアレイに加えて、2つまたは3つ以上のレーザセンサモジュールを使用して、参照オブジェクトに対する可動オブジェクトの動きを割り出すことができる。レーザセンサモジュールを、例えば、それぞれのレーザセンサモジュールによってカバーされる立体角が重なるように配置することができる。重なりを、レーザセンサモジュールのうちの少なくとも1つがそれぞれのレーザセンサモジュールの検出範囲内の参照オブジェクトによって相対的な動きを決定できる可能性が高くなるように、それぞれの可動オブジェクトおよび参照オブジェクトに合わせて調整することができる。これに代え、あるいはこれに加えて、検出範囲内の参照オブジェクトによって相対的な動きを検出するように重なり合わない立体角（例えば、床に向けられた立体角および天井に向けられた立体角）をカバーする1つ以上のレーザセンサモジュールを設けてもよい。

レーザセンサモジュールのうちの1つ以上を、好ましくは、表示装置が可動オブジェクトに結合されているときに可動オブジェクトが参照オブジェクトに機械的に結合されている場合に、少なくとも3つの測定ビームを参照オブジェクトへと放射するように構成することができる。1つ以上のレーザセンサモジュールの測定ビームを機械的に結合された参照オブジェクトに向けることにより、上述のように広い範囲の動きについて信頼できる相対的な動きの検出を可能にすることができる。

コントローラを、好ましくは、それぞれのレーザセンサモジュールによって受信される自己混合干渉信号に応じてレーザセンサモジュールのうちの1つ以上（レーザセンサモジュールの数による）をオンまたはオフにするように構成することができる。レーザセンサモジュールをオンまたはオフにすることで、信頼できる自己混合干渉信号を受信するレーザセンサモジュールだけの使用を可能にすることができる。信頼できる自己混合干渉信号を受信しないレーザセンサモジュールを、所定の時間期間にわたってオフにすることができ、信頼できる自己混合干渉信号を測定できるか否かを判断するために再びオンにすることができる。レーザセンサモジュールをオフにすることによって、表示装置のエネルギ消費を削減することができる。エネルギ消費の削減は、表示装置がローカル電源（例えば、充電式バッテリ）に依存している場合、表示装置の動作時間を長くすることができる。

第2のレーザセンサモジュールを、表示装置が可動オブジェクトに結合されたときに少なくとも3つの測定ビームを参照オブジェクトへと放射するように構成することができる。参照オブジェクトは、この場合もやはり、可動オブジェクトに機械的に結合されている。コントローラは、第1のレーザセンサモジュールまたは第2のレーザセンサモジュールによって決定される自己混合干渉信号によって割り出される動きに応じて、第1のレーザセンサモジュールまたは第2のレーザセンサモジュールをオンまたはオフにするように構成される。

2つ、3つ、または4つ以上のレーザセンサモジュールのいくつかを、例えば、静止位置において、機械的に結合された参照オブジェクトの特定の部分に向けることができる。レーザセンサモジュールのうちの1つ以上を、参照オブジェクトまたは存在し得る他の既知の障害物の形状ゆえに他のセンサモジュールが信頼できる自己混合干渉信号をもたらし、あるいはもたらさない可能性が高い場合に、参照オブジェクトに対する推定された（あるいは、より正確には計算された）相対位置に応じて、作動させ、あるいは非作動にすることができる。信頼できる切り替え点を決定するために、参照オブジェクトまたは他の障害物の形状ならびに生じ得る相対的な動きについての知識が必要となり得る。対応する情報を、コントローラのメモリデバイスまたは外部の処理装置のメモリデバイスに保存することができる。レーザセンサモジュールの適応的な切り替えにより、表示装置のエネルギ消費を削減することができる。

可動オブジェクトは、ユーザの頭部であってよい。表示デバイスは、この実施形態において、ユーザの少なくとも一方の目に近接して配置されるように構成される。この場合、表示装置は、例えば、ARゴーグルなど（頭部装着型表示装置）であってよい。

表示装置は、少なくとも1つの延長部を有するフレームを備えることができる。延長部は、少なくとも第1のレーザセンサモジュールの読み取り範囲の改善をもたらすように配置される。延長部は、表示装置がユーザの頭部に装着されたときにとりわけユーザの身体（参照オブジェクト）に対する視角を改善するアンテナ状の構造であってよい。

第2の態様によれば、少なくとも1つの仮想オブジェクトを含む画像を提供する方法が提供される。この方法は、
自己混合干渉測定によって参照オブジェクトに対する可動オブジェクトの動きを割り出すステップと、
割り出された動きに従って視野に少なくとも1つの仮想オブジェクトを統合するステップと
を含む。

この方法は、上述の実施形態によるさらなるステップを含むことができる。

さらなる態様によれば、コンピュータプログラム製品が提示される。コンピュータプログラム製品は、上述のいずれかの実施形態による表示装置に含まれる少なくとも1つのメモリデバイス、または表示装置に結合された外部の計算装置に含まれる少なくとも1つのメモリデバイスに保存することができるコード手段を含む。コード手段は、表示装置に含まれる少なくとも1つの処理デバイスまたは表示装置に結合された外部の計算装置に含まれる少なくとも1つの処理デバイスによって上述の方法を実行できるように構成される。

1つ以上のメモリデバイスは、情報、とりわけデジタル情報を保存するように構成された任意の物理デバイスであってよい。メモリデバイスを、とくには、固体メモリまたは光学メモリのグループから選択することができる。

1つ以上の処理デバイスは、データ処理、とりわけデジタルデータの処理を実行するように構成された任意の物理デバイスであってよい。処理デバイスを、とくには、プロセッサ、マイクロプロセッサ、または特定用途向け集積回路（ASIC）のグループから選択することができる。

請求項1〜13のいずれか一項に記載の表示装置および請求項14に記載の方法が、とくには従属請求項に定義されるような類似および／または同一の実施形態を有することを、理解すべきである。

本発明の好ましい実施形態が、従属請求項とそれぞれの独立請求項との任意の組み合わせであってもよいことを、理解すべきである。

さらなる好都合な実施形態が、以下で定義される。

本発明のこれらの態様および他の態様が、以下で説明される実施形態を参照して明らかになり、解明されるであろう。

第1の表示装置の概略図を示している。 第2の表示装置の概略図を示している。 第3の表示装置の概略図を示している。 第3の表示装置を別の視点から示している。 第4の表示装置の概略図を示している。 第6の表示装置の概略図を示している。 第7の表示装置の概略図を示している。 第8の表示装置の概略図を示している。 少なくとも1つの仮想オブジェクトを含む画像を提供する方法の概要を示している。

図面においては、全体を通して、同じ番号は同じ対象物を指している。図中の対象物は、必ずしも比例尺で描かれていない。

次に、本発明のさまざまな実施形態を、図面によって説明する。

自己混合干渉が、オブジェクトの移動およびオブジェクトまでの距離を検出するために使用される。自己混合干渉に関する背景情報は、本明細書に援用される「Laser diode self-mixing technique for sensing applications」、Giuliani, G.; Norgia, M.; Donati, S.& Bosch, T., Laser diode self-mixing technique for sensing applications, Journal of Optics A:Pure and Applied Optics, 2002, 4, S.283 - S.294に記載されている。光学式入力装置におけるセンサに対する指先の動きの検出が、本明細書に援用される国際公開第02/37410号パンフレットに詳細に記載されている。自己混合干渉の原理が、国際公開第02/37410号パンフレットに提示の例に基づいて論じられる。レーザまたは測定ビームを放射するために、レーザキャビティを有するダイオードレーザが用意される。装置の上面に、例えば人間の指などのオブジェクトが移動する透明な窓が設けられる。レンズが、ダイオードレーザと窓との間に配置される。このレンズは、透明な窓の上面または上面付近にレーザビームの焦点を位置させる。この位置にオブジェクトが存在する場合、オブジェクトが測定ビームを散乱させる。測定ビームの放射の一部分が、照明ビームの方向に散乱され、この部分が、レンズによってレーザダイオードの放射面へと集められ、このレーザのキャビティに再び進入する。ダイオードレーザのキャビティに再び進入する放射は、レーザのゲインの変動、したがってレーザから放射される放射の強度の変動を引き起こし、この現象は、ダイオードレーザの自己混合効果と呼ばれる。

レーザによって放射される放射またはレーザキャビティ内の光波の強度の変化は、フォトダイオードまたはレーザキャビティ全体のインピーダンス変動を割り出すように構成された検出器によって、検出することが可能である。ダイオードまたはインピーダンス検出器は、放射の変動を電気信号に変換し、この電気信号を処理するために、電子回路が用意される。

自己混合干渉信号においては、例えば、短い信号バーストまたはいくつかの信号バーストが特徴となり得る。これらの信号において観測されるドップラー周波数は、光軸に沿った相対速度の尺度である。したがって、信号の検出および信号の分析を簡素化するために、DC駆動電流を使用することが好ましいかもしれない。変調された駆動電流を、例えばレーザ光の反射によって生じ得る自己混合干渉信号によってオブジェクトの位置または速度を決定するために使用することができる。距離（および、随意による速度）を、1つの測定において決定することができ、あるいは後続の測定ステップにおいて決定することができる。したがって、速度に関する測定信号を生成するために第1の時間期間においてDC駆動電流を使用し、距離を決定するために第2の時間期間において変調された駆動電流を使用することが可能であり、あるいは有益であり得る。例えば、国際公開第02/37410号パンフレットの図7および対応する説明に記載されている鋸歯状駆動電流のような特別な信号解析および／または変調された駆動電流を使用して、相対運動の方向を決定することができる。

図1が、第1の表示装置100の概略図を示している。第1の表示装置100は、ARゴーグルであり、このARゴーグルは、フレーム140と、ARゴーグルに機械的に結合したコントローラ130と、ゴーグルの右アームの端部に配置された第1のレーザセンサモジュール121と、表示デバイス110とを備えている。表示デバイス110は、2つの部分を備えており、各々の部分は、フレーム内に固定され、それぞれが通常の眼鏡のようにユーザの一方の目の前方に位置するように配置されている。表示デバイス110は、ARゴーグルを着用しているユーザが従来からの眼鏡のように表示デバイス110を通してシーンを見ることができるように、半透明である。コントローラ130は、ARゴーグルのユーザが目にするシーンに少なくとも1つの仮想オブジェクトを統合するように構成される。仮想オブジェクトは、例えば、ユーザによって観察されるシーン内のオブジェクトへのポインタまたはマーカ（例えば、情報を含む）であってよい。ポインタまたはマーカは、例えば、ARゴーグルの通信インターフェース（図示せず）を介してもたらされてよい。ARゴーグルは、例えば、無線通信リンク（例えば、ブルートゥース（登録商標）リンク）によって携帯デバイス（例えば、スマートフォン）に結合されてよい。携帯デバイスが、ユーザの近傍のオブジェクトに関する情報をもたらすことができ、さらには／あるいはユーザが、例えば「私の視野の中心にあるオブジェクトにマーカを」などの指示をもたらすことができる。コントローラ130は、互いに異なる空間方向を向きかつおおむね表示デバイス110の視野とは反対の方向を向いた3つの測定ビーム121a、121b、121cに基づく自己混合干渉測定データを受信するために、第1のレーザセンサモジュールに電気的に接続される。測定ビーム121a、121b、121cは、3つの異なるレーザ（例えば、VCSEL）によって放射され、各々のレーザは、第1のレーザセンサモジュールの検出範囲内の参照オブジェクト（図示せず）によって反射された反射レーザ光を受光するための一体のフォトダイオードを備える。参照オブジェクトは、例えばユーザの背後の壁などの任意のオブジェクトであってよい。3つの異なる測定ビーム121a、121b、121cによって可能にされる自己混合干渉測定により、参照オブジェクトに対するユーザの頭部（図示されていない可動オブジェクト）の動きをコントローラ130によって割り出すことが可能になる。ユーザによってもたらされる仮想オブジェクト（例えば、マークまたはラベル）の位置が、ユーザの頭部の動きに合わせて調整される。第1のレーザセンサモジュール121は、この実施形態においては、自己混合干渉によって3つの独立した速度ベクトルを割り出すように構成される。さらに、第1のレーザセンサモジュール121は、駆動電流をレーザセンサへと供給するために電気ドライバ（図示せず）を備える。さらに、第1の表示装置100は、コンポーネント、とりわけコントローラ130に電力を供給するために、充電式電池（図示せず）を備える。

図2が、第2の表示装置100の概略図を示している。第2の表示装置100の構成は、図1に関して説明した第1の表示装置100の構成にきわめて類似している。第2の表示装置100は、フレーム140の右アームの端部に位置する第1のレーザセンサモジュール121に加えて、フレーム140の左アームの端部に位置する第2のレーザセンサモジュール122を備える。第2のレーザセンサモジュール122は、通常は測定ビームがARゴーグルを着用しているユーザの身体に衝突するように、下方へと3つの異なる空間方向を向いた3つの測定ビーム122a、122b、122cを放射する3つのレーザセンサを備える。頭部と比べて通常はゆっくりと動くユーザの身体は、ユーザの頭部の動きを判断するためのさらなる参照オブジェクトとして使用することが可能である。この場合、第1および第2のレーザセンサモジュール121、122は、交互の時間期間においてそれぞれの参照オブジェクトに対する速度および距離を決定するように構成される。さらに、第2の表示装置100は、図1に関して説明した無線通信モジュールと同様の無線通信リンクを可能にする無線通信モジュール（図示せず）を備える。無線通信リンクは、第1および第2のレーザセンサモジュール121、122によってもたらされる測定データを外部の計算装置へと転送するために使用される。ARゴーグルと通信する外部の計算装置は、ユーザの身体またはレーザセンサモジュール121、122の検出範囲内の他の参照オブジェクトに対するユーザの頭部の動きに応じて仮想オブジェクトの位置を調整するために、測定データの評価をサポートし、評価に基づく情報をARゴーグルへと提供する。

図3が、第3の表示装置100の概略の側面図を示している。第3の表示装置100は、やはりARゴーグルである。ARゴーグルは、カメラデバイス（図示せず）を備える。カメラデバイスは、ARゴーグルを着用しているユーザの視線方向にある第3の表示装置の視野152を決定する。表示デバイス110（例えば、LCD）が、カメラデバイスの視野において記録された画像を表示するように構成される。第1のレーザセンサモジュールが、カメラデバイスの視野の反対側の半空間に3つの測定ビーム121a、121b、121cを放射する。3つの測定ビームは、ユーザの背後の壁180（参照オブジェクト）に衝突し、レーザ光の一部分が、第1のレーザセンサモジュールに含まれるそれぞれのレーザセンサへと反射して戻り、対応する自己混合干渉信号が割り出され、ユーザの頭部（可動オブジェクト20）のピッチ62が決定される。第3の表示装置100は、検出されたピッチ62に応じてカメラデバイスによって記録された画像内に仮想オブジェクトを配置し、仮想オブジェクトおよび記録された画像をユーザに表示するように構成される。仮想オブジェクトを、例えば、記録された画像に適用される画像認識によって、第3の表示装置100によって自動的に追加することができる。画像認識を、例えば、この実施形態において、第3の表示装置100に含まれるコントローラ（図示せず）によって実行することができる。これに代え、あるいはこれに加えて、無線通信リンクによって、仮想オブジェクトをカメラデバイスによって記録された画像に統合するために、より高度な画像認識処理およびデータベース（随意により位置検出と結合されたインターネット）へのアクセスを可能にすることもできる。

図4が、第3の表示装置100の概略の上面図を示している。第1のレーザセンサモジュールが、図1に関して図示および説明したARゴーグルと同様のARゴーグルの右アームの端部に組み込まれている。カメラデバイス（図示せず）が、ARゴーグルのフレームの左側前方の角に組み込まれている。図4は、3つの測定ビーム121a、121b、121cと、壁180から反射して戻るレーザ光とによるユーザの頭部のヨーの検出を示している。

図5が、第4の表示装置100の概略図を示している。第4の表示装置100は、第4の表示装置100の視野152を定めるカメラデバイス（図示せず）を備えるARゴーグルの別の例である。ARゴーグルは、ARゴーグルの右側前方の角に配置された追加の第2のレーザセンサモジュールを備える。第2のレーザセンサモジュールの3つの測定ビーム122a、122b、122cは、この場合にはユーザの身体であるさらなる参照オブジェクト10の方向に放射される。やはり可動オブジェクト20であるユーザの頭部は、首によってユーザの身体に機械的に結合している。第2のレーザセンサモジュールの3つの測定ビーム122a、122b、122cは、ユーザの頭部の広範囲の動きにおいて身体に衝突するように配置される。したがって、身体は、ほとんどの場合、第2のレーザセンサモジュールの検出範囲内にある。この場合に、記録された画像内の仮想オブジェクトの位置を、第1または第2のレーザセンサモジュールによってもたらされる自己混合干渉信号によって調整することができる。別の実施形態において、表示装置100は、レーザセンサモジュールをそれぞれが備える2つの横延長部を備えることができ、それぞれのレーザセンサモジュールは、それぞれのレーザセンサモジュールの下方の肩、背中、または乳房の一部分へと測定ビームを放射することができる。随意により3つ、4つ、または5つ以上の測定ビームを放射する随意によるさらなるレーザセンサモジュールを備えるこのような構成を使用して、頭部（可動オブジェクト20）の基本的にすべての考えられる動きについて、ユーザの身体によるレーザ光の反射に基づく動きの監視を可能にすることができる。

図6が、第6の表示装置100の概略図を示している。第6の表示装置100は、この場合には、ユーザへと向けることができる表示デバイス（図示せず）を備える携帯デバイス（例えば、スマートフォン）である。この携帯デバイスは、表示デバイスと比べて反対の方向に視野152を定めるカメラデバイス（例えば、スマートフォンの背面に組み込まれたカメラデバイス）（図示せず）をさらに備える。第6の表示装置100は、表示デバイスに目を向けているユーザの方向に3つの測定ビーム121a、121b、121cを放射する第1のレーザセンサモジュール（図示せず）をさらに備える。3つの測定ビーム121a、121b、121cが放射される参照オブジェクト10は、この場合にはユーザの頭部である。通常は、ユーザの頭部は、表示デバイスに対する所定の空間的関係において一定の範囲内にある。携帯デバイスは、この場合には可動オブジェクト20であるユーザの手に結合している。3つの測定ビーム121a、121b、121cの全部または一部を、別の実施形態においては、例えばユーザの胸部へと向けてもよい。随意により、参照オブジェクト10に対する可動オブジェクト20の相対運動を決定するために、4つ以上の測定ビーム121a、121b、121cが使用される。携帯デバイスの処理能力が、表示デバイスによって表示される記録されたシーンまたは画像に仮想オブジェクトを投影または統合するために使用される。仮想オブジェクトは、例えば、ユーザの意図する移動（ナビゲーション）の方向を指す矢印であってよい。ユーザは、（例えば、右または左に移動しなければならない場合に）矢印によって追加の情報を取得するために携帯デバイスを持ち上げることができる。まっすぐな矢印が、決定された動きに応じて、例えば右に曲がる矢印に変化することができる。あるいは、仮想オブジェクトは、記録および表示された画像に提示されるカメラデバイスの視野152内の建物に関する情報であってよい。携帯デバイスは、自己混合干渉測定により、情報がユーザの身体および／または頭部に対する携帯デバイスの相対的な動きから本質的に独立してそれぞれの建物に付着するように構成される。これに代え、あるいはこれに加えて、携帯デバイスは、異なる方向（例えば、地面）を指すレーザセンサモジュールを備えてもよい。これに代え、あるいはこれに加えて、携帯デバイスは、例えば携帯デバイスの側面に配置されるさらに多くのレーザセンサモジュールを備えてもよく、レーザセンサモジュールは、それぞれのレーザセンサモジュールが受信した自己混合干渉信号および／またはカメラデバイスによって記録された画像から抽出される情報に依存して、さらなる参照オブジェクトまたは別の参照オブジェクト10（例えば、地面）に対する相対運動を検出するために使用される。携帯デバイスを、例えば、この場合に、信頼できる自己混合干渉信号を受信せず、かつ／または参照オブジェクト10に衝突する可能性が低い方向（例えば、空）に向けられたレーザセンサモジュールをオフにするように構成することができる。

図7が、第7の表示装置100の概略図を示している。第7の表示装置100は、画像を記録するための視野152を定めるカメラデバイスを備える。第7の表示装置100は、可動オブジェクト20に結合している。可動オブジェクト20は、ベアリングによって参照オブジェクト10に結合している。可動オブジェクト20は、ベアリングによって定められる回転軸の周りを移動するように構成されている。第1のレーザセンサモジュール（図示せず）が、3つの測定ビーム121a、121b、121cを参照オブジェクト10へと放射するように配置されている。仮想オブジェクトが、参照オブジェクト10に対する可動オブジェクト20の検出された相対運動に従って、記録された画像に統合される。

図8が、第8の表示装置100の概略図を示している。第8の表示装置100は、4つの測定ビーム121a、121b、121c、121dを放射するように構成された第1のレーザセンサモジュール121と、測定ビーム121a、121b、121c、121dを導き、かつ／または焦点へと向けるための1つ以上の光学素子を備えることができるセンサ光学系125とを備える。第1のレーザセンサモジュール121は、この場合、4つのレーザセンサと、それぞれのレーザセンサの自己混合干渉信号を検出するための対応する検出器とを備える。さらに、第1のレーザセンサモジュール121は、電気駆動電流をレーザセンサへと供給するために電気ドライバを備える。さらに、第8の表示装置100は、カメラデバイス150と、カメラデバイス150の視野152を定めるカメラ光学系155とを備える。カメラデバイスの視野152は、測定ビーム121a、121b、121c、121dの空間方向と比較して異なる方向にある。第1のレーザセンサモジュール121およびカメラデバイス150は、コントローラメモリデバイス132とコントローラ処理デバイス134とを備えるコントローラ130に電気的に接続される。さらに、コントローラ130は、無線通信インターフェース160および表示デバイス110（OLEDディスプレイ）に接続される。コントローラ130は、カメラの視野152の記録された画像を表すカメラデバイス150からのデジタルデータを受信する。デジタルデータは、画像処理により、コントローラ処理デバイス134によって分析される。記録された画像内のオブジェクトが、画像処理によって認識され、記録された画像内のオブジェクトに関連する仮想オブジェクトが、コントローラメモリデバイス132に保存されたデータまたは無線通信インターフェース160を介して受信されるデータによって識別される。あるいは、ユーザが、無線通信インターフェース160または第8の表示装置100の直接入力インターフェース（例えば、コントローラ130に接続され、音声コマンドを受信するマイクロフォン）（図示せず）を介して受信することができるコマンドによって、記録された画像内のオブジェクトに仮想オブジェクトを結び付けることができる。さらに、コントローラ130は、第1のレーザセンサモジュール121によってもたらされる自己混合干渉測定からの測定データを受信する。コントローラ130は、測定データによって、第8の表示装置100を結合させた可動オブジェクト（図示せず）の参照オブジェクト（図示せず）に対する相対運動を割り出す。コントローラ130は、処理された記録画像を表すデータを表示デバイス110に転送する。処理された記録画像は、記録画像の少なくとも一部と、記録画像内の1つ以上のオブジェクトに関連する1つ以上の仮想オブジェクトとを含み、記録画像における仮想オブジェクトの位置が、自己混合干渉測定によって割り出された相対運動に合わせて調整される。表示デバイス110は、処理された記録画像を表すデータに基づいて、記録画像の少なくとも一部を1つ以上の仮想オブジェクトとともに表示する。第8の表示装置100および上述の他の実施形態の各々は、表示装置100のコンポーネントに電力を供給するためのローカル電源（図示せず）を備えることができる。

図9が、少なくとも1つの仮想オブジェクトを含む画像を提供する方法の概要を示している。参照オブジェクト10、180に対する可動オブジェクト20の動きが、ステップ210において、自己混合干渉測定によって検出される。ステップ220において、少なくとも1つの仮想オブジェクトが、割り出された動きに従って視野152内に統合される。

本発明を、図面および以上の説明において詳細に例示および説明してきたが、そのような例示および説明は、限定ではなく、例示または典型と見なされるべきである。

本開示を検討することで、他の変更が当業者にとって明らかになるであろう。そのような変更は、当技術分野ですでに知られており、本明細書においてすでに説明した特徴に代え、あるいは本明細書においてすでに説明した特徴に加えて使用することができる他の特徴を含むことができる。

当業者であれば、図面、本開示、および添付の特許請求の範囲を検討することで、本開示の実施形態の変種を理解して、生み出すことができるであろう。請求項において、「を備える」という単語は、他の要素またはステップを排除せず、不定冠詞「a」または「an」は、要素またはステップが複数であることを排除しない。特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを好都合に使用することが不可能であることを意味しない。

請求項中の参照符号を、請求項の範囲を限定するものとして解釈してはならない。

10 参照オブジェクト
20 可動オブジェクト
62 ピッチ
64 ヨー
66 移動
100 表示装置
110 表示デバイス
121 第1のレーザセンサモジュール
121a 第1のレーザセンサモジュールの第1の測定ビーム
121b 第1のレーザセンサモジュールの第2の測定ビーム
121c 第1のレーザセンサモジュールの第3の測定ビーム
122 第2のレーザセンサモジュール
122a 第2のレーザセンサモジュールの第1の測定ビーム
122b 第2のレーザセンサモジュールの第2の測定ビーム
122c 第2のレーザセンサモジュールの第3の測定ビーム
125 センサ光学系
130 コントローラ
132 コントローラメモリデバイス
134 コントローラ処理デバイス
140 フレーム
150 カメラデバイス
152 視野
155 カメラ光学系
160 無線通信インターフェース
180 壁
210 画像を記録するステップ
220 動きを割り出すステップ
230 記録された画像を表示するステップ
240 仮想オブジェクトを統合するステップ
250 仮想オブジェクトの位置を調整するステップ

Claims (13)

1. 可動オブジェクト（20）に結合されるように構成された表示装置（100）であって、
   自己混合干渉測定によって前記可動オブジェクト（20）に機械的に結合した参照オブジェクト（10、180）に対する前記可動オブジェクトの動きを割り出すように構成され、当該表示装置（100）が前記可動オブジェクト（20）に結合されたときに少なくとも3つの測定ビーム（121a、121b、121c）を前記参照オブジェクト（10）へと3つの異なる空間方向に放射するように構成され、前記空間方向と同一直線上にある速度ベクトルまたは距離を割り出すように構成された少なくとも第1のレーザセンサモジュール（121）と、
   視野（152）を表示するための表示デバイス（110）と
   を備えており、
   前記表示デバイス（110）は、前記割り出された前記可動オブジェクト（20）の動きに応じて、前記視野（152）内に少なくとも1つの仮想オブジェクトを統合するように構成されている、表示装置（100）。
2. 前記視野（152）内に前記少なくとも1つの仮想オブジェクトを統合するように構成されたコントローラ（130）をさらに備え、前記コントローラは、前記割り出された前記可動オブジェクトの動きに基づいて前記視野（152）における前記仮想オブジェクトの位置を調整するようにさらに構成されている、請求項１に記載の表示装置（100）。
3. 画像を記録することによって前記可動オブジェクト（20）の前記視野（152）を定めるように構成されたカメラデバイス（150）をさらに備え、前記表示デバイス（110）は、前記割り出された前記可動オブジェクト（20）の動きに応じて、前記記録された画像の少なくとも一部分および前記少なくとも1つの仮想オブジェクトを表示するように構成されている、請求項１または２に記載の表示装置（100）。
4. 前記コントローラ（130）は、前記記録された画像の前記少なくとも一部分に前記少なくとも1つの仮想オブジェクトを統合するようにさらに構成され、前記コントローラは、前記割り出された前記可動オブジェクト（20）の動きに基づいて、前記表示された画像における前記仮想オブジェクトの位置を調整するようにさらに構成されている、請求項２に従属するときの請求項３に記載の表示装置。
5. 前記第1のレーザセンサモジュール（121）は、前記視野（152）と比べて当該表示装置（100）の周りの仮想の球の異なる立体角に前記少なくとも3つの測定ビーム（121a、121b、121c）を放射するように構成されている、請求項１から４のいずれか一項に記載の表示装置（100）。
6. 前記第1のレーザセンサモジュール（121）は、レーザセンサのアレイを備え、前記レーザセンサのアレイは、異なる方向に複数の測定ビームを放射するように構成され、前記コントローラ（130）は、当該表示装置（100）が前記可動オブジェクト（20）に結合されたときに前記レーザセンサのアレイのうちの少なくとも3つのレーザセンサによってもたらされる自己混合干渉測定に基づいて、前記可動オブジェクト（20）の動きを割り出すように構成されている、請求項１から５のいずれか一項に記載の表示装置（100）。
7. 当該表示装置（100）が前記可動オブジェクト（20）に結合されたときに自己混合干渉測定によって前記可動オブジェクト（20）の動きを割り出すように構成された少なくとも第2のレーザセンサモジュール（122）を備え、前記第2のレーザセンサモジュール（122）は、前記第1のレーザセンサモジュール（121）と比べて当該表示装置（100）の周りの仮想の球の異なる立体角に少なくとも3つの測定ビーム（122a、122b、122c）を放射するように構成されている、請求項５に記載の表示装置（100）。
8. 前記コントローラ（130）は、前記第1のレーザセンサモジュール（121）または前記第2のレーザセンサモジュール（122）によって受信される自己混合干渉信号に応じて前記第1のレーザセンサモジュール（121）または前記第2のレーザセンサモジュール（122）をオンまたはオフにするように構成されている、請求項７に記載の表示装置（100）。
9. 前記第2のレーザセンサモジュール（122）は、当該表示装置（100）が前記可動オブジェクト（20）に結合されたときに少なくとも3つの測定ビーム（122a、122b、122c）を前記参照オブジェクト（10）へと放射するように構成され、前記参照オブジェクト（10）は、前記可動オブジェクト（20）に機械的に結合しており、前記コントローラ（130）は、前記第1のレーザセンサモジュール（121）または前記第2のレーザセンサモジュール（122）によって決定される自己混合干渉信号によって割り出される動きに応じて、前記第1のレーザセンサモジュール（121）または前記第2のレーザセンサモジュール（122）をオンまたはオフにするように構成されている、請求項８に記載の表示装置（100）。
10. 前記可動オブジェクト（20）は、ユーザの頭部であり、前記表示デバイス（110）は、ユーザの少なくとも一方の目に近接させて配置されるように構成されている、請求項１から９のいずれか一項に記載の表示装置（100）。
11. 当該表示装置（100）は、前記表示デバイス（110）を備える携帯デバイスであり、前記携帯デバイスは、前記カメラデバイス（150）をさらに備え、前記カメラデバイス（150）によって定められる前記視野（152）は、前記表示デバイス（110）と比べて反対の方向にあり、前記第1のレーザセンサモジュール（121）は、前記表示デバイス（110）を見つめるユーザの方向に前記少なくとも3つの測定ビーム（121a、121b、121c）を放射するように構成され、前記可動オブジェクト（20）は、前記ユーザの手である、請求項3または請求項3に従属するときの請求項４から１０のいずれか一項に記載の表示装置（100）。
12. 少なくとも1つの仮想オブジェクトを含む画像を提供する方法であって、
    表示装置（100）が可動オブジェクト（20）に結合されたときに、前記表示装置（100）によって少なくとも3つの測定ビーム（121a、121b、121c）を、前記可動オブジェクト（20）に機械的に結合している参照オブジェクト（10、180）へと3つの異なる空間方向に放射するステップと、
    前記放射された少なくとも3つの測定ビーム（121a、121b、121c）に基づく自己混合干渉測定によって、前記空間方向と同一直線上にある速度ベクトルまたは距離を割り出すことにより、前記参照オブジェクト（10、180）に対する前記可動オブジェクト（20）の動きを割り出すステップと、
    前記割り出された動きに応じて、視野（152）内に前記少なくとも1つの仮想オブジェクトを統合するステップと
    を含む方法。
13. 請求項１から１１のいずれか一項に記載の表示装置（100）に含まれる少なくとも1つのメモリデバイスに保存することができる符号手段を含んでいるコンピュータプログラム製品であって、
    前記符号手段は、請求項12に記載の方法を前記表示装置（100）に含まれる少なくとも1つの処理デバイスによって実行できるように構成されている、コンピュータプログラム製品。

Images