JP2014515130A5

JP2014515130A5 -

Info

Publication number: JP2014515130A5
Application number: JP2013557791A
Authority: JP
Filing date: 2012-03-05
Publication date: 2015-04-09
Anticipated expiration: 2032-03-05

Claims

透過型ディスプレイであって、ユーザの視点からのある物理的環境の写実的に表されたビューを、前記透過型ディスプレイの１つまたは複数の十分に透過的な部分を介して提供するように構成され、前記透過型ディスプレイを通して前記物理的環境を見ることができる前記透過型ディスプレイにおいて、前記写実的に表されたビューのテーマベースの拡張を実現する方法であって、
前記写実的に表されたビューを拡張する際に使用するためのテーマを選択する入力を前記ユーザから受けるステップであって、前記テーマは複数の可能な拡張を含む、ステップと、
前記物理的環境の環境情報を光学的にリアルタイムで取得するステップと、
前記環境情報に基づいて、前記物理的環境の空間モデルを生成するステップと、
前記空間モデルの解析を介して、それぞれが前記物理的環境内の１つまたは複数の物理的特徴に対応する、前記空間モデル内の１つまたは複数の特徴を識別するステップと、
前記解析に基づいて、前記テーマに関連し且つ可視である、識別された特徴の拡張を、前記物理的環境の部分を前記透過型ディスプレイを通して見ることができるまま前記透過型ディスプレイ上に表示するステップであって、該拡張は、前記複数の可能な拡張から、識別された前記１つまたは複数の特徴に基づき選択された、ステップと
を含む方法。
請求項１に記載の方法であって、前記空間モデルの解析時に、前記テーマに関連する複数の拡張から前記拡張を選択するステップをさらに含み、前記選択が、識別された前記１つまたは複数の特徴に基づく、方法。
請求項１に記載の方法であって、前記ディスプレイはヘッドアップディスプレイである、方法。
請求項１に記載の方法であって、前記ディスプレイはヘッドマウントディスプレイである、方法。
請求項１に記載の方法であって、前記拡張を表示するステップが、識別された前記特徴に対応する、前記物理的環境内の前記物理的特徴を前記ユーザの視点からオーバーレイする画像を表示するステップを含む、方法。
請求項１に記載の方法であって、前記拡張を表示するステップが、仮想皮膚を前記空間モデルの識別された前記特徴に適用するステップと、前記仮想皮膚の画像を表示するステップであって、該画像は、前記物理的環境内の対応する前記物理的特徴を前記ユーザの視点からオーバーレイする、ステップとを含む、方法。
請求項１に記載の方法であって、前記拡張を表示するステップが、仮想物体を前記空間モデルの識別された前記特徴上にオーバーレイするステップと、前記仮想物体の画像を表示するステップであって、該画像は、前記透過型ディスプレイを介して前記ユーザに可視である、前記物理的環境内の対応する前記物理的特徴を前記ユーザの視点からオーバーレイする、ステップとを含む、方法。
請求項１に記載の方法であって、前記環境情報を取得するステップは、前記環境情報を、前記ディスプレイと関連する１つまたは複数のセンサを介して検出するステップを含む、方法。
請求項１に記載の方法であって、前記ユーザが前記物理的環境の中を移動する際に、前記拡張の表示を維持するステップをさらに含む、方法。
ディスプレイ出力を介して拡張を提供するためのディスプレイシステムであって、
ヘッドマウント光透過型ディスプレイであって、ユーザの視点からの、ある物理的環境の写実的に表されたビューを、前記ディスプレイの１つまたは複数の十分に透過的な部分を介して提供するように構成され、前記ディスプレイを通して前記物理的環境が前記ユーザに可視である前記ヘッドマウント光透過型ディスプレイと、
前記物理的環境の環境情報を光学的にリアルタイムで取得するように構成された１つまたは複数の統合されたセンサと、
前記ディスプレイおよび前記１つまたは複数の統合されたセンサと動作上結合されたデータ保持サブシステムであって、
前記環境情報に基づいて、前記物理的環境の空間モデルを生成することと、
前記空間モデルの解析を介して、それぞれが前記物理的環境内の１つまたは複数の物理的特徴に対応する、前記空間モデル内の１つまたは複数の特徴を識別することと、
前記解析に基づいて、識別された特徴の拡張を、同時に前記物理的環境の他の部分の透過的ビューを提供しながら、前記ヘッドマウント光透過型ディスプレイ上に表示することと
を行うために、論理サブシステムによって実行可能な命令を含むデータ保持サブシステムと
を備えたディスプレイシステム。
ヘッドマウント透過型ディスプレイ上に、テーマベースの拡張を、ディスプレイ出力を介して、前記ヘッドマウント透過型ディスプレイの１つまたは複数の十分に透過な部分を介して提供する方法であって、前記ヘッドマウント透過型ディスプレイを通して物理的環境を見ることができ、前記方法は、
ユーザから、ある写実的に表されたビューを拡張するためのテーマを選択する入力を受けるステップであって、前記写実的に表されたビューは、前記ユーザの視点からの、前記ユーザが位置する物理的環境のものである、ステップと、
光学的にリアルタイムに、前記物理的環境のデプス情報を、前記ディスプレイ近くに位置する１つまたは複数のデプスカメラを介して検出するステップと、
前記ユーザの眺めからの前記物理的環境の空間モデルを、前記デプス情報に基づき生成するステップと、
前記空間モデルの解析を介して、それぞれが前記物理的環境内の１つまたは複数の物理的特徴に対応する、前記空間モデル内の１つまたは複数の特徴を識別するステップと、
識別された前記１つまたは複数の特徴に基づき、前記テーマに関連した複数の拡張から拡張を選択するステップと、
それに応じ、前記ヘッドマウント透過型ディスプレイ上に、識別された特徴の前記拡張を、前記物理的環境の前記写実的に表されたビューの少なくとも一部をいまだ提供させながら表示するステップと
を含む方法。
請求項１１に記載の方法であって、前記拡張を表示するステップは、前記拡張を、前記ユーザが前記物理的環境内を動くにつれて動的に表示して、前記写実的に表された結果的な変化を生じさせるステップを含む、方法。
請求項１０に記載のディスプレイシステムであって、前記１つまたは複数の統合されたセンサが、前記物理的環境の１つまたは複数の奥行き画像を取得するように構成された画像キャプチャデバイスを含む、ディスプレイシステム。
請求項１３に記載のディスプレイシステムであって、前記画像キャプチャデバイスは、飛行時間型デプスカメラを含む、ディスプレイシステム。
請求項１３に記載のディスプレイシステムであって、前記画像キャプチャデバイスは、構造化光型デプスカメラを含む、ディスプレイシステム。
請求項１３に記載のディスプレイシステムであって、前記命令は、前記空間モデルを、前記奥行き画像から前記物理的環境のデプスマップを生成し、前記デプスマップから前記物理的環境の機械可読表現を導出することによって生成するように実行可能である、ディスプレイシステム。
請求項１に記載の方法であって、前記空間モデルの解析を介して、それぞれが前記物理的環境内の１つまたは複数の物理的特徴に対応する、前記空間モデル内の１つまたは複数の特徴を識別するステップは、前記空間モデルに関する物体認識解析を実行して前記物理的環境内の物体を識別するステップを更に含む、方法。
請求項１７に記載の方法であって、前記拡張は、前記複数の可能な拡張から、識別された前記物体に基づき、識別された前記物体の寸法及び特徴の一方または双方に対応するようにサイズ変更され形状変更された拡張であるように選択される、方法。
請求項１１に記載の方法であって、識別された前記１つまたは複数の特徴に基づき、前記テーマに関連した複数の拡張から拡張を選択するステップは、前記物理的環境内に位置する物体の寸法及び特徴の一方または双方に対応するようにサイズ変更され形状変更された拡張を選択するステップを更に含む、方法。