JP4679661B1 - 情報提示装置、情報提示方法及びプログラム - Google Patents

情報提示装置、情報提示方法及びプログラム Download PDF

Info

Publication number
JP4679661B1
JP4679661B1 JP2009284300A JP2009284300A JP4679661B1 JP 4679661 B1 JP4679661 B1 JP 4679661B1 JP 2009284300 A JP2009284300 A JP 2009284300A JP 2009284300 A JP2009284300 A JP 2009284300A JP 4679661 B1 JP4679661 B1 JP 4679661B1
Authority
JP
Japan
Prior art keywords
virtual object
image
eye
wearer
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009284300A
Other languages
English (en)
Other versions
JP2011128220A (ja
Inventor
立義 野間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009284300A priority Critical patent/JP4679661B1/ja
Priority to US12/843,784 priority patent/US8094091B2/en
Application granted granted Critical
Publication of JP4679661B1 publication Critical patent/JP4679661B1/ja
Publication of JP2011128220A publication Critical patent/JP2011128220A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】現実空間の所定位置に仮想的に配置された仮想オブジェクトの提示に係る利便性を向上させることが可能な情報提示装置、情報提示方法及びプログラムを提供する。
【解決手段】ユーザの視点位置及び視線方向に基づいて当該ユーザの視界範囲を特定し、この視界範囲に包含される配置位置の仮想オブジェクトを現実空間内の該当する位置に仮想的に配置し、前記ユーザの左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成し、この左眼用画像を前記ユーザの左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前ユーザの右眼部分に設けられた表示ユニットに表示させる。
【選択図】図１

Description

本発明は、透過型のヘッドマウントディスプレイを用いてユーザに仮想オブジェクトの提示を行う情報提示装置、情報提示方法及びプログラムに関する。
従来、現実の光景と重ね合わせてＣＧ（Computer Graphics）を付加提示する拡張現実（Augmented Reality）と呼ばれる技術が存在している。係る技術では、情報の提示のための表示装置として、透明な視野を持つ透過型のヘッドマウンテッドディスプレイ（以下、ＨＭＤという）が利用される。例えば、特許文献１には、エンドユーザプログラマが、環境知能（Ambient Intelligence）の環境の仮想的なインタラクションのメカニズム／パターン（仮想オブジェクト）が現実の位置、表面、オブジェクト及び装置に重畳されるよう、物理的な大きさを持つ環境知能の環境を可視化することを可能とする、拡張現実感眼鏡のための技術が開示されている。
特表２００９−５０５２６８号公報
しかしながら、特許文献１に開示の技術では、透過型のＨＭＤ（ＡＲ眼鏡）を通じて現実空間中に仮想オブジェクトが重畳表示されるが、ユーザの両眼視差については何ら考慮されていないため、同一視点からの画像がユーザの両眼に提示されることになる。そのため、現実の物体と仮想オブジェクトとの見え方に違和感が生じ、仮想オブジェクトの現実感が損なわれるという問題がある。また、特許文献１に開示の技術では、ユーザの視点位置と仮想オブジェクトの配置位置との間にユーザ自身の手が存在するような場合、仮想オブジェクトがユーザの手に重畳された状態で提示されることになるため、仮想オブジェクトの現実感が損なわれるという問題がある。さらに、特許文献１に開示の技術では、仮想オブジェクトを現実空間内の固定の位置に配置することはできるものの、現実空間内を移動する自動車等の移動体に配置することができないという問題がある。
本発明は、上記に鑑みてなされたものであって、現実空間の所定位置に仮想的に配置された仮想オブジェクトの提示に係る利便性を向上させることが可能な情報提示装置、情報提示方法及びプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置であって、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定手段と、前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定手段と、前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定手段と、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶する記憶手段と、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置手段と、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、を備える。
また、本発明は、装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示方法であって、視点位置特定手段が、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定工程と、視線方向特定手段が、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定工程と、移動体位置特定手段が、前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定工程と、相対座標系設定手段が、前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定工程と、視界範囲特定手段が、前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定工程と、配置手段が、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶した記憶手段から、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置工程と、画像生成手段が、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成工程と、表示制御手段が、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御工程と、を含む。
また、本発明は、装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置のコンピュータを、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定手段と、前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定手段と、前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定手段と、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶した記憶手段から、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置手段と、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、して機能させる。
本発明によれば、現実空間の所定位置に仮想的に配置された仮想オブジェクトの提示に係る利便性を向上させることが可能な情報提示装置、情報提示方法及びプログラムを提供することできる。
図１は、第１の実施形態に係る情報提示装置の構成を模式的に示す図である。 図２は、第１の実施形態に係る情報提示装置のハードウェア構成を示す図である。 図３は、図２の記憶部に記憶された仮想オブジェクト管理テーブルのデータ構成の一例を示す図である。 図４は、図２の記憶部に記憶された配置管理テーブルのデータ構成の一例を示す図である。 図５は、第１の実施形態に係る本体部の機能構成を示す図である。 図６は、第１の実施形態に係る情報提示処理の手順を示すフローチャートである。 図７は、第１の実施形態に係る画像生成処理の手順を示すフローチャートである。 図８−１は、ＨＭＤを装着したユーザと、現実空間に存在するテーブルとの関係を示す図である。 図８−２は、図８−１のユーザに提示される仮想オブジェクトの一例を示す図である。 図８−３は、図８−１のユーザに提示される仮想オブジェクトの一例を示す図である。 図９−１は、ＨＭＤを装着したユーザと、現実空間に存在する窓部との関係を示す図である。 図９−２は、図９−１のユーザに提示される仮想オブジェクトの一例を示す図である。 図１０は、第１の実施形態に係る仮想オブジェクト操作処理の手順を示すフローチャートである。 図１１は、第１の実施形態の変形例に係る画像生成処理の手順を示すフローチャートである。 図１２は、図１１の画像生成処理により生成された左眼用画像及び右眼用画像の提示例を示す図である。 図１３は、第２の実施形態に係る情報提示装置のハードウェア構成を示す図である。 図１４は、図１３の記憶部に記憶された配置管理テーブルのデータ構成の一例を示す図である。 図１５は、第２の実施形態に係る本体部の機能構成を示す図である。 図１６は、第２の実施形態に係る情報提示処理の手順を示すフローチャートである。 図１７は、現実空間における移動体とユーザとの位置関係を示す図である。 図１８は、相対座標系における移動体とユーザとの位置関係を示す図である。 図１９は、第２の実施形態に係る画像生成処理の手順を示すフローチャートである。 図２０−１は、ＨＭＤを装着したユーザと、このユーザが乗車した移動体との関係を示す図である。 図２０−２は、図２０−１のユーザに提示される仮想オブジェクトの一例を示す図である。
以下、添付図面を参照して、本発明にかかる情報提示装置、情報提示方法及びプログラムの実施形態を詳細に説明する。なお、本発明は以下の実施形態に限定されないものとする。
［第１の実施形態］
図１は、本実施形態に係る情報提示装置の構成を模式的に示す図である。同図に示すように、本実施形態の情報提示装置１は、透過型のヘッドマウントディスプレイ（以下、ＨＭＤという）１０と、本体部２０とを有している。
ＨＭＤ１０は眼鏡形状に構成され、ユーザの眼前に配置されるフレーム部Ｇ１と、フレーム部Ｇ１の長手方向の両端部に連結されたテンプルＧ２とを有している。フレーム部Ｇ１は、後述する左眼用表示ユニット１３と右眼用表示ユニット１４とを有し、ユーザの左右の眼前に配置されるよう構成されている。また、フレーム部Ｇ１の上部には、後述する位置検出部１５、視線方向検出部１６、高度検出部１７、撮像部１８及び測距部１９等が備えられている。なお、位置検出部１５、視線方向検出部１６、高度検出部１７、撮像部１８及び測距部１９の配置位置や個数は、図１の例に限定されないものとする。
図２は、情報提示装置１のハードウェア構成を示す図である。同図に示すように、ＨＭＤ１０は、ＨＭＤ通信部１１と、入出力制御部１２と、左眼用表示ユニット１３と、右眼用表示ユニット１４と、位置検出部１５と、視線方向検出部１６と、高度検出部１７と、撮像部１８と、測距部１９とを有している。
ＨＭＤ通信部１１は、本体部２０（後述する本体通信部２２）との間で各種情報の授受を行う通信インタフェースである。なお、ＨＭＤ通信部１１の通信方式は特に問わず、例えば、ＵＳＢやＢｌｕｅｔｏｏｔｈ等の規格に準じたものを用いることができる。
入出力制御部１２は、ＨＭＤ１０の各部（位置検出部１５、視線方向検出部１６、高度検出部１７、撮像部１８及び測距部１９等）から入力される各種の情報を、ＨＭＤ通信部１１を介して本体部２０に出力する。また、入出力制御部１２は、ＨＭＤ通信部１１を介し本体部２０から入力される後述する左眼用画像を左眼用表示ユニット１３に出力するとともに、後述する右眼用画像を右眼用表示ユニット１４に出力する。
左眼用表示ユニット１３は、ＬＣＤ等の表示素子やレンズ等の光学系を有し（何れも図示せず）、入出力制御部１２から入力される左眼用画像を、現実の光景が観察可能な状態でユーザの左眼に提示する。また、右眼用表示ユニット１４は、左眼用表示ユニット１３と同様の構成を有し、入出力制御部１２から入力される右眼用画像を、現実の光景が観察可能な状態でユーザの右眼に提示する。
位置検出部１５は、現実空間に存在するＨＭＤ１０の水平方向での存在位置（例えば、緯度経度）を検出し、ＨＭＤ１０を装着したユーザの存在位置を表す位置情報として入出力制御部１２へ出力する。なお、存在位置の検出方法は特に問わず、例えば、位置検出部１５をＧＰＳ（Global Positioning System）受信機とした場合には、ＧＰＳ衛星により測位された位置情報を入出力制御部１２へ出力する。また、位置検出部１５をＷｉ−Ｆｉのアクセスポイントを用いて測位する測位装置、ジャイロ装置、地磁気センサとする形態としてもよい。
視線方向検出部１６は、ジャイロセンサや電子コンパス等であって、現実空間でのＨＭＤ１０自体の傾きを検出し、ユーザの視線方向を表す視線方向情報として入出力制御部１２へ出力する。
高度検出部１７は、測距センサや高度センサであって、現実空間に存在するＨＭＤ１０の垂直方向での存在位置（高度）を検出し、ユーザの視点の高さを表す高度情報として入出力制御部１２へ出力する。
撮像部１８は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有し、ＨＭＤ１０を装着するユーザの視界範囲を撮影し、撮影画像として入出力制御部１２へ出力する。
測距部１９は、赤外線や音波を用いた測距センサであって、ユーザの視線方向に存在する現実の物体（例えば、ユーザ自身の手）までの距離を測定し、測距情報として入出力制御部１２へ出力する。なお、測距部１９では、ユーザの視界範囲内に入るユーザ自身の手までの距離を測定することを主として用いるため、距離の測定が可能な範囲をユーザの手が届く範囲、例えば１ｍ程度とすることが好ましい。また、撮像部１８を測距部１９として用いる形態としてもよく、この場合、撮像部１８のフォーカス値から導出される物体までの距離を測距情報として用いることができる。
本体部２０は、ＰＣ（Personal Computer）やサーバ装置、携帯機器等の情報処理装置である。本体部２０は、ユーザの視界範囲となる現実空間内に仮想オブジェクトを仮装的に配置し、この配置状態を表した後述する左眼用画像及び右眼用画像を、ＨＭＤ１０を用いてユーザに提示する。
図２に示すように、制御部２１と、本体通信部２２と、記憶部２３とを有している。制御部２１は、図示しないＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等により構成され、記憶部２３に記憶された所定のプログラムとの協働により、本体部２０の各部の動作を統括的に制御する。
また、制御部２１は、記憶部２３に記憶された所定のプログラムとの協働により、後述する各機能部（図５参照）を実現させ、後述する情報提示処理（図６参照）や仮想オブジェクト操作処理（図１０参照）等の各種処理を実行する。
本体通信部２２は、ＨＭＤ１０（ＨＭＤ通信部１１）との間で各種情報の授受を行う通信インタフェースである。なお、本体通信部２２の通信方式は特に問わないものとするが、上述したＨＭＤ通信部１１の通信方式と同一又は互換性を有するものであるとする。
記憶部２３は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置を有し、制御部２１により読み出される各種のプログラムや各種の設定情報を予め記憶している。また、記憶部２３は、仮想オブジェクトを管理するための仮想オブジェクト管理テーブル２３１と、仮想オブジェクトの配置位置を管理するための配置管理テーブル２３２とを保持している。
ここで、仮想オブジェクトとは、所定の対象を表した２次元又は３次元のＣＧデータであって、例えば、特定の物品の形状を表したモデリングデータや、所定の機能を有したウィジェット（ガジェット）、ＧＵＩ（Graphical User Interface）、情報表示ウィンドウ等が挙げられる。各仮想オブジェクトには、配置位置を規定するための基準点（例えば、仮想オブジェクトの重心）と、配置角度を規定するための基準面（例えば、仮想オブジェクトを形成する一の面）が設けられている。なお、各仮想オブジェクトの実データは、記憶部２３や外部の記憶装置に予め格納されているものとする。
図３は、仮想オブジェクト管理テーブル２３１のデータ構成の一例を示す図である。同図に示すように、仮想オブジェクト管理テーブル２３１には、各仮想オブジェクトを識別するために予め割り当てられた仮想オブジェクトＩＤと、この仮想オブジェクトＩＤに対応する仮想オブジェクトの実データの格納先とが関連付けて登録されている。
図４は、配置管理テーブル２３２のデータ構成の一例を示す図である。同図に示すように、配置管理テーブル２３２には、仮想オブジェクトＩＤと、現実空間に相当する仮想的な座標系（以下、ワールド座標系という）での配置位置と、その配置位置での配置角度とが関連付けて登録されている。ここで、配置位置には、ワールド座標系における基準点の位置座標（三次元座標）が登録されている。また、配置角度には、ワールド座標系における基準面の傾き（各軸方向への回転角度）が登録されている。なお、ワールド座標系はＣＧの分野で用いられる、空間全体（現実空間）を表す仮想的な座標系である。
図５は、本体部２０の機能構成を示す図である。同図に示すように、本体部２０は、制御部２１と記憶部２３に記憶された所定のプログラムとの協働により、視点位置特定部２０１と、視線方向特定部２０２と、画像解析部２０３と、操作位置特定部２０４と、仮想オブジェクト処理部２０５とを機能部として備える。
視点位置特定部２０１は、位置検出部１５で取得された位置情報に基づいて、現実空間でのユーザの存在位置を特定する。また、視点位置特定部２０１は、高度検出部１７で取得された高度情報に基づいて、現実空間でのユーザの視点の高さを特定する。そして、視点位置特定部２０１は、ユーザの現在位置と視点の高さとを合わせた３次元の情報をユーザの視点位置として特定する。
視線方向特定部２０２は、視線方向検出部１６で取得された視線方向情報に基づいて、現実空間におけるユーザの視線方向を特定する。
画像解析部２０３は、撮像部１８で撮影された撮影画像を解析し、この撮影画像中にユーザの手を表す手画像が存在するか否かを判定する。また、画像解析部２０３は、撮影画像中に手画像の存在を認識した場合、この手画像の時系列的な変化量を解析することで、手のひねり（回転量）や指先動作を検出する。なお、撮影画像中の手画像の認識や時系列的な変化量の解析はパターン認識等の公知の技術を用いるものとする。
操作位置特定部２０４は、画像解析部２０３にて撮影画像中に手画像が認識された場合に、測距部１９で測定された測距情報に基づいて、ユーザの視界範囲に存在する物体、つまりＨＭＤ１０からユーザの手までの距離を特定する。また、操作位置特定部２０４は、ユーザの手までの距離及び撮影画像中の手画像の位置等から、現実空間におけるユーザの手の存在位置を操作位置として特定する。なお、操作位置の特定方法はこの形態に限らず、例えば、ユーザの手に現実空間での存在位置を測位するデジタイザ等の位置検出装置を装着し、この位置検出装置の検出結果を用いる形態としてもよい。
仮想オブジェクト処理部２０５は、ユーザの視点位置及び視線方向に基づいて、ＨＭＤ１０を装着したユーザの視界範囲を特定する。視界範囲の特定方法については特に問わず、例えば以下の方法を用いて導出することができる。まず、ユーザの視点位置を中心した所定の大きさの球状空間（例えば、半径３ｍ）を仮想的に設定する。続いて、この視点位置を頂点とし且つ、当該視点位置から視線方向へのベクトル線を垂線とする略円錐状の円錐空間を球状空間から切り出す。このとき、円錐空間の頂角をユーザの実際の視界範囲に応じた値とすることで、円錐空間をユーザの視界範囲として取り扱うことが可能である。なお、円錐空間の頂角の値は、設定情報として予め保持されているものとする。
また、仮想オブジェクト処理部２０５は、配置管理テーブル２３２を参照し、視界範囲に包含される配置位置の仮想オブジェクトＩＤが存在するか否かを判定し、存在する場合にその仮想オブジェクトＩＤ、配置位置及び配置角度を配置管理テーブル２３２から読み出す。また、仮想オブジェクト処理部２０５は、仮想オブジェクトＩＤに対応する仮想オブジェクト（実データ）を仮想オブジェクト管理テーブル２３１の格納先から読み出すと、当該仮想オブジェクトを配置位置及び配置角度に従ってワールド座標系に配置することで、現実空間に仮想的に配置する。さらに、仮想オブジェクト処理部２０５は、現実空間に仮想的に配置した仮想オブジェクトに基づき、ユーザの左眼及び右眼から見た各仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成し、ＨＭＤ１０へ送出する。
また、仮想オブジェクト処理部２０５は、画像解析部２０３で検出された指先動作の操作内容に応じて、この操作の対象となった仮想オブジェクトに所定の処理を施す。具体的には、操作内容が仮想オブジェクトの配置位置又は配置角度の変更（以下、総称して配置変更という）を指示するものであった場合、操作位置特定部２０４で検出される操作位置の移動量や画像解析部２０３で検出される回転量から新たな配置位置、配置角度を設定し、この操作の対象となった仮想オブジェクトの仮想オブジェクトＩＤと関連付けて配置管理テーブル２３２へ登録することで、配置管理テーブル２３２を更新する。なお、各仮想オブジェクト（実データ）には、自己の仮想オブジェクトの機能を有効化するための指先動作の操作内容が予め定義されているものとする。
以下、図６〜図１０を参照して、情報提示装置１の動作について説明する。ここで、図６は、情報提示処理の手順を示すフローチャートである。なお、本処理の前提として、ユーザがＨＭＤ１０を装着し、ＨＭＤ１０で取得される各種の情報が、ＨＭＤ通信部１１を介して本体部２０へ送出されているものとする。
まず、視点位置特定部２０１は、ＨＭＤ１０から入力される位置情報及び高度情報に基づき、現実空間におけるユーザの視点位置を特定する（ステップＳ１１）。また、視線方向特定部２０２は、ＨＭＤ１０から入力される視線方向情報に基づき、現実空間におけるユーザの視線方向を特定する(ステップＳ１２)。
続いて、仮想オブジェクト処理部２０５は、ステップＳ１１及びＳ１２で特定された視点位置及び視線方向を用いて、現実空間におけるユーザの視界範囲を特定すると(ステップＳ１３)、配置管理テーブル２３２を参照し、この視界範囲に包含される配置位置の仮想オブジェクトＩＤが存在するか否かを判定する（ステップＳ１４）。ここで、該当する仮想オブジェクトＩＤが存在しないと判定した場合（ステップＳ１４；Ｎｏ）、本処理を直ちに終了する。
一方、該当する仮想オブジェクトＩＤが存在すると判定した場合（ステップＳ１４；Ｙｅｓ）、仮想オブジェクト処理部２０５は、該当する仮想オブジェクトＩＤ、配置位置及び配置角度を配置管理テーブル２３２から読み出す(ステップＳ１５)。
続いて、仮想オブジェクト処理部２０５は、仮想オブジェクト管理テーブル２３１を参照し、ステップＳ１５で読み出した仮想オブジェクトＩＤの格納先から、当該仮想オブジェクトＩＤに対応する仮想オブジェクト（実データ）を読み出すと（ステップＳ１６）左眼用画像及び右眼用画像の生成を行う画像生成処理を実行する（ステップＳ１７）。以下、図７を参照して、ステップＳ１７の画像生成処理について説明する。
図７は、ステップＳ１７で実行される画像生成処理の手順を示すフローチャートである。まず、仮想オブジェクト処理部２０５は、ステップＳ１５で読み出した仮想オブジェクトＩＤの配置位置及び配置角度を用いて、当該仮想オブジェクトＩＤに対応する仮想オブジェクトをワールド座標系内の対応する位置に配置する（ステップＳ１７１）。
次に、仮想オブジェクト処理部２０５は、ワールド座標系に配置した仮想オブジェクトの配置状態がユーザの視点位置からの見え方となるよう、この視点位置を基準とした視点座標系にワールド座標系を変換する（ステップＳ１７２）。
続いて、仮想オブジェクト処理部２０５は、ユーザの両眼間距離から定まる視差量に基づいて視点座標系の原点位置（視点位置）を視差量に応じた値だけ左右にシフトさせることで、ユーザの左眼から見た各仮想オブジェクトの配置状態を表す左眼用視点座標系と、ユーザの右眼から見た各仮想オブジェクトの配置状態を表す右眼用視点座標系とを夫々生成する（ステップＳ１７３）。
次いで、仮想オブジェクト処理部２０５は、左眼用視点座標系及び右眼用視点座標系の夫々を、左眼用表示ユニット１３及び右眼用表示ユニット１４のディスプレイに応じたスクリーン座標系に変換する（ステップＳ１７４）。そして、仮想オブジェクト処理部２０５は、スクリーン座標系に変換した左眼用視点座標系及び右眼用視点座標系を夫々描画（レンダリング）することで、左眼用画像と右眼用画像とを生成し（ステップＳ１７５）、図６のステップＳ１８に移行する。
なお、本画像生成処理では、ワールド座標系を一の視点位置に基づいた視点座標系に変換した後、左眼用視点座標系及び右眼用視点座標系に変換する形態としたが、これに限らず、ワールド座標系から左眼用視点座標系及び右眼用視点座標系に直接変換する形態としてもよい。
図６に戻り、仮想オブジェクト処理部２０５は、ステップＳ１７の画像生成処理で生成した左眼用画像及び右眼用画像をＨＭＤ１０に送出することで、左眼用画像を左眼用表示ユニット１３に表示させるとともに、右眼用画像を右眼用表示ユニット１４に表示させ（ステップＳ１８）、本処理を終了する。
ここで、図８（図８−１、図８−２、図８−３）及び図９（図９−１、図９−２）を参照して、本実施形態の情報提示処理による仮想オブジェクトの提示例について説明する。
図８−１は、ＨＭＤ１０を装着したユーザＵと、現実空間に存在するテーブルＴとの関係を示す図である。同図において、符号ＤはユーザＵの視線方向を表し、テーブルＴの机上に向けられているとする。ここで、テーブルＴの机上の所定位置に、花瓶を表す仮想オブジェクトを配置することが配置管理テーブル２３２の配置位置に定義されていたとすると、上述した情報提示処理により、ユーザＵの眼前に図８−２に示すような花瓶を表す仮想オブジェクトＯＢ１１が提示されることになる。また、テーブルＴの机上の所定位置に、キーボードを表す仮想オブジェクトを配置することが配置管理テーブル２３２に定義されていたとすると、上述した情報提示処理により、ユーザＵの眼前に図８−３に示すようなキーボードを表す仮想オブジェクトＯＢ１２が提示されることになる。
また、図９−１は、ＨＭＤ１０を装着したユーザＵと、現実空間に存在する窓部Ｗとの関係を示す図である。同図において、ユーザＵの視線方向Ｄは窓部Ｗの左上の領域Ｗ１に向けられているとする。ここで、領域Ｗ１の所定位置に、アナログ時計を表す仮想オブジェクトと、風景画像を表す仮想オブジェクトを配置することが配置管理テーブル２３２に定義されていたとすると、上述した情報提示処理により、ユーザＵの眼前に図９−２示すようなアナログ時計を表す仮想オブジェクトＯＢ１３と、風景画像を表す仮想オブジェクトＯＢ１４とが提示されることになる。
このように、本実施形態の情報提示処理によれば、ＨＭＤ１０を装着したユーザの視界範囲の所定位置に仮想オブジェクトを仮想的に配置し、このユーザの左眼及び右眼から見た仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成して、ＨＭＤ１０の左眼用表示ユニット１３及び右眼用表示ユニット１４に表示させる。これにより、ユーザは仮想オブジェクトを立体的に知覚することができるため、現実の物体と仮想オブジェクトとの見え方の違和感を軽減させることが可能であり、仮想オブジェクトの現実感を向上させることができる。
次に、図１０を参照して、仮想オブジェクトが操作された際に実行される仮想オブジェクト操作処理について説明する。ここで、図１０は、制御部２１が実行する仮想オブジェクト操作処理の手順を示すフローチャートである。なお、本処理は、上述した情報提示処理のバックグラウンドで実行されるものであって、情報提示処理により仮想オブジェクトの提示が行われていることが前提となる。
まず、仮想オブジェクト処理部２０５は、画像解析部２０３により撮影画像中に手画像が検出するまで待機し（ステップＳ２１；Ｎｏ）、手画像が検出されたと判定すると（ステップＳ２１；Ｙｅｓ）、操作位置特定部２０４により特定される操作位置に仮想オブジェクトが存在するか否かを判定する（ステップＳ２２）。ここで、操作位置に仮想オブジェクトが存在しないと判定した場合（ステップＳ２２；Ｎｏ）、ステップＳ２１に再び戻る。
また、操作位置に仮想オブジェクトが存在すると判定した場合（ステップＳ２２；Ｙｅｓ）、仮想オブジェクト処理部２０５は、画像解析部２０３による指先動作の検出結果に基づき、仮想オブジェクトに対し所定の操作がなされたか否かを判定する（ステップＳ２３）。ここで、画像解析部２０３が指先動作を検出しない場合には（ステップＳ２３；Ｎｏ）、ステップＳ２１に再び戻る。
ステップＳ２３において、仮想オブジェクトに対し所定の操作がなされたと判定した場合（ステップＳ２３；Ｙｅｓ）、仮想オブジェクト処理部２０５は、その指先動作の操作内容が、仮想オブジェクトの配置変更を指示するものか否かを判定する（ステップＳ２４）。例えば、仮想オブジェクトを摘む等の指先動作が行われた場合に、仮想オブジェクト処理部２０５は、その仮想オブジェクトの配置変更が指示されたと判定する。
ステップＳ２４において、操作内容が仮想オブジェクトの配置変更を指示するものと判定した場合（ステップＳ２４；Ｙｅｓ）、仮想オブジェクト処理部２０５は、操作位置特定部２０４で検出される操作位置の移動量、画像解析部２０３で検出される手画像の回転量に応じて、操作の対象となった仮想オブジェクトの配置位置及び配置角度を新たに設定する（ステップＳ２５）。
続いて、仮想オブジェクト処理部２０５は、ステップＳ２５で設定した配置位置及び配置角度を用いて上述した画像生成処理を行うことで、配置変更後の左眼用画像及び右眼用画像を生成し（ステップＳ２６）、ＨＭＤ１０へ送出する（ステップＳ２７）。これにより、ユーザからの配置変更に追従して、配置変更後の仮想オブジェクトをユーザに提示させることができる。
次いで、仮想オブジェクト処理部２０５は、仮想オブジェクトの配置変更が完了したか否かを判定する（ステップＳ２８）。例えば、仮想オブジェクトを摘む指先動作が解除された場合に配置変更が完了したと判定する。
ステップＳ２８において、配置変更が完了していないと判定した場合（ステップＳ２８；Ｎｏ）、ステップＳ２４へ再び戻る。また、ステップＳ２８において、配置変更が完了したと判定した場合（ステップＳ２８；Ｙｅｓ）、仮想オブジェクト処理部２０５は、操作対象となった仮想オブジェクトの現在の配置位置及び配置角度を、この仮想オブジェクトの仮想オブジェクトＩＤと関連付けて配置管理テーブル２３２に登録し（ステップＳ２９）、本処理を終了する。
一方、ステップＳ２４において、指先動作による操作内容が、仮想オブジェクトが有する所定の機能の利用を指示するものと判定した場合（ステップＳ２４；Ｎｏ）、仮想オブジェクト処理部２０５は、指示された機能を操作の対象となった仮想オブジェクトに実現させた後（ステップＳ３０）、本処理を終了する。
なお、仮想オブジェクトが有する機能は、当該仮想オブジェクトの実データにプログラムとして予め組み込まれているものとする。また、機能の実現により仮想オブジェクトの形状等が変化する場合には、その操作内容に応じて仮想オブジェクトの形状を変更させるものとする。
例えば、図８−３に示したようなキーボード型の仮想オブジェクトＯＢ１２の場合、特定のキー位置で指先を押下する動作を検出すると、当該キーに割り当てられた文字や記号を入力する。また、図９−２に示したようなアナログ時計型の仮想オブジェクトＯＢ１３の場合、指先を短針又は長針に重畳させた状態で、時計回り又は反時計回りにスライドさせる動作を検出すると、そのスライド量に応じて短針又は長針の表示位置を変更する。
このように、本実施形態の仮想オブジェクト操作処理によれば、直感的な操作で仮想オブジェクトの配置変更を行うことができるため、ユーザの利便性を向上させることができる。
なお、上記実施形態では、ユーザ自身の手によって仮想オブジェクトが操作される形態を説明したが、これに限らず、スタイラスペン等の操作指示具を用いて仮想オブジェクトが操作される形態としてもよい。また、この場合、操作指示具に現実空間での存在位置を検出することが可能なデジタイザ等の位置検出装置を設け、この位置検出装置からの位置情報に基づいて操作位置や操作内容を特定する形態としてもよい。
ところで、上述した情報提示処理（画像生成処理）では、ユーザ自身の手が当該ユーザの視点位置と仮想オブジェクトの配置位置との間にあると、ユーザは仮想オブジェクトを自らの手に重畳された状態で観察することになる。この場合、視覚的な奥行き感に不整合が生じるため、提示される仮想オブジェクトの現実感が低下する可能性がある。そのため、上記の条件に該当する場合には、ユーザの手に仮想オブジェクトが重畳されていないよう見せかけることで、仮想オブジェクトの現実感を向上させることができる。以下、この形態の実現に係る画像生成処理を本実施形態の変形例として説明する。
［変形例］
図１１は、本実施形態の変形例に係る画像生処理の手順を示すフローチャートである。なお、ステップＳ４１〜Ｓ４５は、上述した画像生成処理のステップＳ１７１〜Ｓ１７５と同様であるため説明を省略する。
仮想オブジェクト処理部２０５は、ステップＳ４５で左眼用画像及び右眼用画像を生成した後、画像解析部２０３による撮影画像の解析結果に基づき、この撮影画像中に手画像が存在するか否かを判定する（ステップＳ４６）。ここで、撮影画像中に手画像が存在しないと判定した場合（ステップＳ４６；Ｎｏ）、本処理を終了する。
一方、ステップＳ４６において、撮影画像中に手画像が存在すると判定した場合（ステップＳ４６；Ｙｅｓ）、仮想オブジェクト処理部２０５は、操作位置特定部２０４により特定される操作位置に仮想オブジェクトが存在するか否かを判定する（ステップＳ４７）。ここで、操作位置に仮想オブジェクトが存在しないと判定した場合（ステップＳ４７；Ｎｏ）、本処理を終了する。
ステップＳ４７において、操作位置に仮想オブジェクトが存在すると判定した場合（ステップＳ４７；Ｙｅｓ）、仮想オブジェクト処理部２０５は、手画像の操作位置が視点位置と仮想オブジェクトの配置位置との間に存在するか否かを判定する（ステップＳ４８）。ここで、視点位置から見て仮想オブジェクトの配置位置が手画像の操作位置よりも手前に存在すると判定した場合（ステップＳ４８；Ｎｏ）、本処理を終了する。
また、視点位置から見て手画像の操作位置が仮想オブジェクトの配置位置よりも手前に存在すると判定した場合（ステップＳ４８；Ｙｅｓ）、仮想オブジェクト処理部２０５は、画像解析部２０３により撮影画像から手画像を抽出させる（ステップＳ４９）。そして、仮想オブジェクト処理部２０５は、ステップＳ４９で抽出された手画像を左眼用画像及び右眼用画像中の操作位置にスーパーインポーズ（重畳）することで、現実空間中の手の位置に手画像が重畳して提示されるよう画像処理を施した後(ステップＳ５０)、本処理を終了する。
ここで、図１２は、本変形例の画像生成処理により生成された左眼用画像と右眼用画像の提示例を示す図である。同図では、キーボート型の仮想オブジェクトＯＢ１２が提示された例を示している。ここで、ユーザ自身の手（操作位置）がユーザの視点位置と、仮想オブジェクトＯＢ１２の配置位置との間に存在した場合、本変形例の画像生成処理を実行することで、ユーザ自身の手に手画像を重畳して提示することができる。これにより、ユーザの視点位置と仮想オブジェクトの配置位置との間にユーザ自身の手が存在するような場合に、このユーザの手に仮想オブジェクトが重畳されないよう制御することが可能であるため、仮想オブジェクトＯＢ１２の現実感を向上させることができる。
なお、本変形例では、撮影画像中の手画像を左眼用画像及び右眼用画像に直接スーパーインポーズする形態としたが、これに限らず、撮像部１８の位置と両眼間距離とに基づいて、左眼及び右眼から見た手の形状に近付くよう手画像を夫々補正した後、左眼用画像及び右眼用画像にスーパーインポーズする形態としてもよい。
また、本変形例では、左眼用画像及び右眼用画像に手画像をスーパーインポーズすることで、ユーザの手が仮想オブジェクトに重畳されないよう制御する形態としたが、これに限らず、左眼用画像及び右眼用画像中の操作位置に対応する位置から手画像の形状に相当する領域をクリッピング（除去）することで、ユーザの手に相当する領域を空白として提示する形態としてもよい。
［第２の実施形態］
次に、第２の実施形態について説明する。上述した第１の実施形態では、現実空間での固定位置と関連付けて仮想オブジェクトを提示する形態を説明した。第２の実施形態では、現実空間中を移動する対象物（以下、移動体という）と関連付けて仮想オブジェクトを提示する形態について説明する。なお、第１の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。
図１３は、本実施形態に係る情報提示装置２のハードウェア構成の一例を示す図である。同図に示すように、本実施形態の情報提示装置２は、透過型のＨＭＤ３０と、本体部４０とを有している。なお、ＨＭＤ３０と本体部４０との接続関係は、図１に示した情報提示装置１と同様である。
図１３に示すように、ＨＭＤ３０は、ＨＭＤ通信部１１と、入出力制御部１２と、左眼用表示ユニット１３と、右眼用表示ユニット１４と、位置検出部１５と、視線方向検出部１６と、高度検出部１７と、撮像部１８と、測距部１９と、移動体識別情報取得部３１と、移動体位置情報取得部３２とを有している。
移動体識別情報取得部３１は、ユーザが乗車する自動車等の移動体を識別することが可能な移動体識別情報を取得するための機能部であって、取得した移動体識別情報を入出力制御部１２へ出力する。ここで、移動体識別情報は、例えば自動車登録番号や製造番号等であって、移動体識別情報取得部３１は移動体識別情報の保持方法に応じた構成で実現されているものとする。
例えば、識別情報が移動体自体に文字列として保持されている場合には、移動体識別情報取得部３１を、撮像部１８で撮影された文字列の文字認識を行う装置とすることで、識別情報を取得することができる。また、識別情報が移動体自体にバーコードや二次元コード等のコード化された状態で保持されている場合には、移動体識別情報取得部３１を、撮像部１８で撮影されたバーコードや二次元コードをデコードする装置とすることで、識別情報を取得することができる。また、識別情報がＲＦＩＤタグに格納された状態で保持されている場合には、移動体識別情報取得部３１を、ＲＦＩＤリーダ装置とすることで、識別情報を取得することができる。
移動体位置情報取得部３２は、現実空間における移動体の存在位置を取得し、移動体位置情報とし入出力制御部１２へ出力する。本実施形態では、乗車の対象となる移動体にＧＰＳ受信機等の位置検出装置が設けられているものとし、移動体位置情報取得部３２はこの位置検出装置で検出される移動体の位置情報（例えば、緯度経度）を取得するものとする。なお、位置検出装置からの取得方法は特に問わず、例えば、移動体位置情報取得部３２が移動体の位置検出装置にアクセス可能な構成とすることで、位置検出装置から直接取得する形態としてもよい。
本実施形態では、移動体識別情報取得部３１及び移動体位置情報取得部３２を、ＨＭＤ３０が備える形態とするが、これに限らず、本体部４０をユーザが携帯するような構成の場合、この本体部４０が移動体識別情報取得部３１及び移動体位置情報取得部３２を備える構成としてもよい。また、移動体識別情報取得部３１及び移動体位置情報取得部３２を、ＨＭＤ３０及び本体部４０と別体として設ける形態としてもよい。
一方、本体部４０は、制御部４１と、本体通信部２２と、記憶部４２とを有している。制御部４１は、図示しないＣＰＵ、ＧＰＵ、ＲＯＭ及びＲＡＭ等により構成され、記憶部４２に記憶された所定のプログラムとの協働により、本体部４０の各部の動作を統括的に制御する。また、制御部４１は、記憶部４２に記憶された所定のプログラムとの協働により後述する各機能部（図１５参照）を実現し、後述する情報提示処理(図１６参照)や仮想オブジェクト操作処理等の各処理を実行する。
記憶部４２は、ＨＤＤやＳＤＤ等の記憶装置を有し、制御部４１により実行される各種のプログラムや各種の設定情報を記憶している。また、記憶部４２は、仮想オブジェクト管理テーブル２３１と、配置管理テーブル４２１とを保持している。
図１４は、配置管理テーブル４２１のデータ構成の一例を示す図である。同図に示すように、配置管理テーブル４２１には、移動体識別情報と、仮想オブジェクトＩＤと、後述する相対空間座標における仮想オブジェクトの配置位置と、その配置角度とが関連付けて登録されている。
図１５は、本体部４０の機能構成を示すブロック図である。同図に示すように、本体部４０は、制御部４１と記憶部４２に記憶された所定のプログラムとの協働により、視点位置特定部２０１と、視線方向特定部２０２と、画像解析部２０３と、操作位置特定部２０４と、移動体位置特定部４０１と、仮想オブジェクト処理部４０２とを機能部として備える。
移動体位置特定部４０１は、移動体位置情報取得部３２で取得された移動体位置情報に基づいて、移動体の水平方向での存在位置を特定する。
仮想オブジェクト処理部４０２は、ユーザの存在位置と移動体の存在位置とに基づいて、ユーザの存在位置と移動体の存在位置との間の相対的な位置関係を表した後述する相対座標系を設定する。また、仮想オブジェクト処理部４０２は、相対座標系における、ユーザの視点位置と視線方向とに基づいて、ＨＭＤ１０を装着したユーザの視界範囲を仮想オブジェクト処理部２０５と同様に特定し、この視界範囲に包含される配置位置の仮想オブジェクトを相対座標系に配置することで、現実空間に仮想的に配置する。さらに、仮想オブジェクト処理部４０２は、現実空間に仮想的に配置した仮想オブジェクトに基づき、ユーザの左眼及び右眼から見た各仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成し、ＨＭＤ３０へ送出する。
また、仮想オブジェクト処理部４０２は、画像解析部２０３で検出された指先動作の操作内容に応じて、仮想オブジェクト処理部２０５と同様、この操作の対象となった仮想オブジェクトに所定の処理を施す。
以下、図１６を参照して、本実施形態の情報提示装置２の動作について説明する。ここで、図１６は、情報提示処理の手順を示すフローチャートである。なお、本処理の前提として、ＨＭＤ３０を装着したユーザは移動体に乗車しているものとし、この移動体の移動体識別情報が移動体識別情報取得部３１により取得されているものとする（ステップＳ６１）。
まず、視点位置特定部２０１は、ＨＭＤ３０から入力される位置情報及び高度情報に基づき、現実空間におけるユーザの視点位置を特定する（ステップＳ６２）。また、視線方向特定部２０２は、ＨＭＤ３０から入力される視線方向情報に基づき、現実空間におけるユーザの視線方向を特定する（ステップＳ６３）。また、移動体位置特定部４０１は、ＨＭＤ３０から入力される移動体位置情報に基づき、現実空間における移動体の存在位置を特定する(ステップＳ６４)。
続いて、仮想オブジェクト処理部４０２は、ユーザの存在位置（視点位置）と移動体の存在位置との間の相対的な位置関係を表した相対座標系を設定する（ステップＳ６５）。
例えば、図１７に示すように、現実空間における移動体の存在位置が（Ｘ１、Ｙ１）、ユーザの存在位置が（Ｘ２、Ｙ２）であったとすると、ステップＳ６５では、この移動体の存在位置（Ｘ１、Ｙ１）を両位置から減算する。そして、図１８に示したように、移動体の現在位置を基点（０、０）、ユーザの現在位置を（Ｘ２−Ｘ１、Ｙ２−Ｙ１）とした相対座標系を設定する。なお、本実施形態では、移動体の現在位置を基点とする形態としたが、これに限らず、ユーザの存在位置を基点とした相対座標系を用いる形態としてもよい。
図１６に戻り、仮想オブジェクト処理部４０２は、ステップＳ６２及びＳ６３で特定されたユーザの視点位置及び視線方向に基づき、相対座標系におけるユーザの視界範囲を特定する（ステップＳ６６）。次いで、仮想オブジェクト処理部４０２は、移動体識別情報取得部３１で取得された移動体識別情報に基づき、当該移動体識別情報に対応する仮想オブジェクトＩＤが、配置管理テーブル４２１に登録されているか否かを判定する（ステップＳ６７）。ここで、登録されていないと判定した場合（ステップＳ６７；Ｎｏ）、本処理を終了する。
一方、ステップＳ６７において、移動体識別情報が登録されていると判定した場合(ステップＳ６７；Ｙｅｓ)、仮想オブジェクト処理部４０２は、この移動体識別情報に関連付けられた仮想オブジェクトＩＤのうち、ステップＳ６６で特定した視界範囲に包含される配置位置の仮想オブジェクトＩＤが存在するか否かを判定する（ステップＳ６８）。ここで、該当する仮想オブジェクトＩＤが存在しないと判定した場合（ステップＳ６８；Ｎｏ）、本処理を終了する。
ステップＳ６８において、該当する仮想オブジェクトＩＤが存在すると判定した場合（ステップＳ６８；Ｙｅｓ）、仮想オブジェクト処理部４０２は、該当する仮想オブジェクトＩＤ、配置位置及び配置角度を配置管理テーブル２３２から読み出す(ステップＳ６９)。
続いて、仮想オブジェクト処理部４０２は、仮想オブジェクト管理テーブル２３１を参照し、ステップＳ６９で読み出した仮想オブジェクトＩＤの格納先から、当該仮想オブジェクトＩＤに対応する仮想オブジェクト（実データ）を読み出すと（ステップＳ７０）、左眼用画像及び右眼用画像の生成を行う画像生成処理を実行する（ステップＳ７１）。以下、図１９を参照して、ステップＳ７１の画像生成処理について説明する。
図１９は、ステップＳ７１の画像生成処理の手順を示すフローチャートである。まず、仮想オブジェクト処理部４０２は、ステップＳ７０で読み出した仮想オブジェクトＩＤの配置位置及び配置角度を用いて、当該仮想オブジェクトＩＤに対応する仮想オブジェクトを相対座標系内の対応する位置に配置する（ステップＳ７１１）。
次に、仮想オブジェクト処理部４０２は、相対座標系に配置した仮想オブジェクトの配置状態がユーザの視点位置からの見え方となるよう、この視点位置を基準とした視点座標系に相対座標系を変換する（ステップＳ７１２）。
続いて、仮想オブジェクト処理部４０２は、ユーザの両眼間距離から定まる視差量に基づいて視点座標系の原点位置（視点位置）を視差量に応じた値だけ左右にシフトさせることで、ユーザの左眼から見た各仮想オブジェクトの配置状態を表す左眼用視点座標系と、ユーザの右眼から見た各仮想オブジェクトの配置状態を表す右眼用視点座標系とを夫々生成する（ステップＳ７１３）。
次いで、仮想オブジェクト処理部４０２は、左眼用視点座標系及び右眼用視点座標系の夫々を、左眼用表示ユニット１３及び右眼用表示ユニット１４のディスプレイに応じたスクリーン座標系に変換する（ステップＳ７１４）。そして、仮想オブジェクト処理部４０２は、スクリーン座標系に変換した左眼用視点座標系及び右眼用視点座標系を夫々描画（レンダリング）することで、左眼用画像と右眼用画像とを生成し（ステップＳ７１５）、図１６のステップＳ７２に移行する。
図１６に戻り、仮想オブジェクト処理部４０２は、ステップＳ７１の画像生成処理で生成した左眼用画像及び右眼用画像をＨＭＤ１０に送出することで、当該左眼用画像及び右眼用画像をＨＭＤ３０の左眼用表示ユニット１３及び右眼用表示ユニット１４に表示させ（ステップＳ７２）、本処理を終了する。
ここで、図２０（図２０−１、図２０−２）を参照して、本実施形態の情報提示処理により提示された仮想オブジェクトの一例について説明する。
図２０−１は、ＨＭＤ３０を装着したユーザＵと、このユーザＵが乗車した移動体（自動車）Ｍとの関係を示す図である。同図において、ユーザＵの視線方向は移動体Ｍの前面方向（進行方向）に向けられているとする。ここで、この移動体Ｍの移動体識別情報と関連付けて仮想オブジェクトＩＤが配置管理テーブル４２１に登録され且つ、ユーザＵの視界領域に３つの仮想オブジェクトＩＤの配置位置が含まれていたとすると、上述した情報提示処理により、ユーザＵの眼前に図２０−２に示すような仮想オブジェクトＯＢ２１〜ＯＢ２３が提示されることになる。なお、同図において、仮想オブジェクトＯＢ２１は、テレビ放送の表示を行うためのものであり、仮想オブジェクトＯＢ２２は、所定の店舗の商品を注文するためのものであり、仮想オブジェクトＯＢ２３は、アナログ時計を表したものである。
このように、本実施形態の情報提示処理によれば、ＨＭＤ３０を装着したユーザと現実空間内を移動する移動体との相対的な位置関係に基づいて、当該移動体に仮想オブジェクトを配置することが可能であるため、移動体に関連付けた状態で仮想オブジェクトを提示することができる。
なお、本実施形態における仮想オブジェクト操作処理は、上述した第１の実施形態の仮想オブジェクト操作処理で用いる操作位置等の位置情報を、相対座標系での位置情報に変換するのみであるため説明を省略する。
以上、本発明に係る実施形態について説明したが、これに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加、組み合わせ等が可能である。
例えば、上記実施形態では、上述した各処理に係るプログラムを記憶部２３、記憶部４２に予め格納する形態としたが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
また、上述した各処理に係るプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した各処理に係るプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
以上のように、本発明にかかる情報提示装置、情報提示方法及びプログラムは、現実空間の所定位置に仮想的に配置した仮想オブジェクトを、透過型のＨＭＤを用いてユーザに提示する場合に有用である。
１ 情報提示装置
２ 情報提示装置
１０ ＨＭＤ
１１ ＨＭＤ通信部
１２ 入出力制御部
１３ 左眼用表示ユニット
１４ 右眼用表示ユニット
１５ 位置検出部
１６ 視線方向検出部
１７ 高度検出部
１８ 撮像部
１９ 測距部
２０ 本体部
２１ 制御部
２２ 本体通信部
２３ 記憶部
２０１ 視点位置特定部
２０２ 視線方向特定部
２０３ 画像解析部
２０４ 操作位置特定部
２０５ 仮想オブジェクト処理部
２３１ 仮想オブジェクト管理テーブル
２３２ 配置管理テーブル
３０ ＨＭＤ
３１ 移動体識別情報取得部
３２ 移動体位置情報取得部
４０ 本体部
４１ 制御部
４２ 記憶部
４０１ 移動体位置特定部
４０２ 仮想オブジェクト処理部
４２１ 配置管理テーブル

Claims (10)

  1. 装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置であって、
    現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、
    前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、
    前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定手段と、
    前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定手段と、
    前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定手段と、
    所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶する記憶手段と、
    前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置手段と、
    前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、
    前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、
    を備えたことを特徴とする情報提示装置。
  2. 前記視界範囲内において前記装着者により所定の操作が行われた操作位置を特定する操作位置特定手段と、
    前記操作位置に前記配置手段により仮想的に配置された前記仮想オブジェクトが存在するか否かを判定する配置関係判定手段と、
    前記判定手段により前記仮想オブジェクトが存在すると判定された場合、当該仮想オブジェクトに前記操作の内容に応じた処理を施す処理手段と、
    を更に備えたことを特徴とする請求項１に記載の情報提示装置。
  3. 前記処理手段は、前記仮想オブジェクトに対する操作により当該仮想オブジェクトの配置変更が行われた場合、前記操作位置特定手段により特定される配置変更後の操作位置をこの操作の対象となった仮想オブジェクトの新たな配置位置として前記記憶部に記憶することを特徴とする請求項２に記載の情報提示装置。
  4. 前記視界範囲を撮像する撮像手段と、
    前記撮像手段により撮影された撮影画像中に前記装着者の手を表す手画像が存在するか否かを判定する手画像判定手段と、
    前記ヘッドマウントディスプレイから前記視界範囲内に存在する物体までの距離を測定する測距手段と、
    を更に備え、
    前記操作位置特定手段は、前記手画像判定手段により前記手画像の存在が確認された場合に、前記撮影画像中の手画像の位置及び前記測距手段により測定された距離に基づいて特定した前記現実空間での前記装着者の手の存在位置を、前記操作位置とすることを特徴とする請求項２又は３に記載の情報提示装置。
  5. 前記配置関係判定手段により、前記操作位置が前記視点と前記仮想オブジェクトの配置位置との間に存在すると判定された場合に、前記左眼用画像及び前記右眼要画像中の前記操作位置に対応する位置に、前記手画像を重畳する重畳手段を更に備えたことを特徴とする請求項４に記載の情報提示装置。
  6. 前記配置関係判定手段により、前記操作位置が前記視点と前記仮想オブジェクトの配置位置との間に存在すると判定された場合に、前記左眼用画像及び前記右眼要画像中の前記操作位置に対応する位置から、前記手画像の形状の形状に相当する領域を除去する除去手段を更に備えたことを特徴とする請求項４に記載の情報提示装置。
  7. 前記移動体から当該移動体を識別するための移動体識別情報を取得する移動体識別情報取得手段を更に備え、
    前記記憶手段は、前記移動体識別情報と関連付けて前記仮想オブジェクトを記憶し、
    前記配置手段は、前記移動体識別情報取得手段で取得された移動体識別情報に該当し且つ、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出すことを特徴とする請求項１〜６の何れか一項に記載の情報提示装置。
  8. 前記記憶手段は、前記仮想オブジェクトの各々に配置角度を関連付けて記憶し、
    前記配置手段は、配置対象となった前記仮想オブジェクトを当該仮想オブジェクトに関連付けられた配置角度で配置することを特徴とする請求項１〜７の何れか一項に記載の情報提示装置。
  9. 装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示方法であって、
    視点位置特定手段が、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定工程と、
    視線方向特定手段が、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定工程と、
    移動体位置特定手段が、前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定工程と、
    相対座標系設定手段が、前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定工程と、
    視界範囲特定手段が、前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定工程と、
    配置手段が、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶した記憶手段から、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置工程と、
    画像生成手段が、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成工程と、
    表示制御手段が、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御工程と、
    を含むことを特徴とする情報提示方法。
  10. 装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置のコンピュータを、
    現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、
    前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、
    前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定手段と、
    前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定手段と、
    前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定手段と、
    所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶した記憶手段から、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置手段と、
    前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、
    前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、
    して機能させるためのプログラム。
JP2009284300A 2009-12-15 2009-12-15 情報提示装置、情報提示方法及びプログラム Expired - Fee Related JP4679661B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009284300A JP4679661B1 (ja) 2009-12-15 2009-12-15 情報提示装置、情報提示方法及びプログラム
US12/843,784 US8094091B2 (en) 2009-12-15 2010-07-26 Information presenting apparatus, method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009284300A JP4679661B1 (ja) 2009-12-15 2009-12-15 情報提示装置、情報提示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP4679661B1 true JP4679661B1 (ja) 2011-04-27
JP2011128220A JP2011128220A (ja) 2011-06-30

Family

ID=44080102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009284300A Expired - Fee Related JP4679661B1 (ja) 2009-12-15 2009-12-15 情報提示装置、情報提示方法及びプログラム

Country Status (2)

Country Link
US (1) US8094091B2 (ja)
JP (1) JP4679661B1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028922A (ja) * 2011-09-19 2018-02-22 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
JP2018169709A (ja) * 2017-03-29 2018-11-01 富士ゼロックス株式会社 コンテンツ表示装置およびコンテンツ表示プログラム
JP7110252B2 (ja) 2014-06-14 2022-08-01 マジック リープ， インコーポレイテッド 仮想および拡張現実を作成する方法およびシステム
US11507193B2 (en) 2014-06-14 2022-11-22 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11995244B2 (en) 2022-10-13 2024-05-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
EP3654147A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP5762892B2 (ja) * 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
JP5821464B2 (ja) * 2011-09-22 2015-11-24 セイコーエプソン株式会社 頭部装着型表示装置
JP5862865B2 (ja) * 2011-09-23 2016-02-16 国際航業株式会社 合成画像表示装置及び合成画像表示プログラム
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
EP2579128B1 (en) * 2011-10-05 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Portable device, virtual reality system and method
US20150153572A1 (en) * 2011-10-05 2015-06-04 Google Inc. Adjustment of Location of Superimposed Image
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
JP5799776B2 (ja) * 2011-11-29 2015-10-28 株式会社バッファロー 情報表示装置及びプログラム
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9052804B1 (en) 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
JP5942456B2 (ja) * 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
JP5651639B2 (ja) * 2012-06-29 2015-01-14 株式会社東芝 情報処理装置、情報表示装置、情報処理方法およびプログラム
US20140035819A1 (en) * 2012-08-03 2014-02-06 Research In Motion Limited Method and Apparatus Pertaining to an Augmented-Reality Keyboard
KR102009928B1 (ko) * 2012-08-20 2019-08-12 삼성전자 주식회사 협업 구현 방법 및 장치
US8482527B1 (en) * 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9378592B2 (en) * 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP6041604B2 (ja) * 2012-09-27 2016-12-14 京セラ株式会社 表示装置、制御システムおよび制御プログラム
WO2014050957A1 (ja) * 2012-09-27 2014-04-03 京セラ株式会社 表示装置、制御方法および制御プログラム
JP2014071499A (ja) 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US9778739B2 (en) * 2012-09-28 2017-10-03 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying three-dimensional object
US10108018B2 (en) 2012-11-13 2018-10-23 Sony Corporation Image display apparatus for displaying an image captured by a mobile apparatus
JP6111659B2 (ja) * 2012-12-28 2017-04-12 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
US9076257B2 (en) * 2013-01-03 2015-07-07 Qualcomm Incorporated Rendering augmented reality based on foreground object
JP6264855B2 (ja) * 2013-11-18 2018-01-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9916691B2 (en) 2013-02-14 2018-03-13 Seiko Epson Corporation Head mounted display and control method for head mounted display
WO2014128748A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
US9979946B2 (en) 2013-02-19 2018-05-22 Mirama Service Inc I/O device, I/O program, and I/O method
US10171800B2 (en) 2013-02-19 2019-01-01 Mirama Service Inc. Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
EP2975492A1 (en) 2013-03-11 2016-01-20 NEC Solution Innovators, Ltd. Three-dimensional user interface device and three-dimensional operation processing method
JP6318470B2 (ja) * 2013-05-15 2018-05-09 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
KR101882594B1 (ko) * 2013-09-03 2018-07-26 토비 에이비 휴대용 눈 추적 디바이스
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
KR101510340B1 (ko) * 2013-10-14 2015-04-07 현대자동차 주식회사 신체 착용 컴퓨터
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
WO2016008988A1 (en) * 2014-07-16 2016-01-21 Sony Corporation Apparatus for presenting a virtual object on a three-dimensional display and method for controlling the apparatus
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
JP6642432B2 (ja) * 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
US9934573B2 (en) 2014-09-17 2018-04-03 Intel Corporation Technologies for adjusting a perspective of a captured image for display
JP6600945B2 (ja) * 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
CN104598037B (zh) * 2015-03-02 2018-08-31 联想(北京)有限公司 信息处理方法及装置
JP5981591B1 (ja) * 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
JP6426525B2 (ja) * 2015-04-20 2018-11-21 ファナック株式会社 表示システム
JP6580373B2 (ja) * 2015-05-28 2019-09-25 株式会社コロプラ ヘッドマウントディスプレイを制御するプログラム、システム、及び方法。
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
KR101850544B1 (ko) * 2015-06-24 2018-04-19 주식회사 브이터치 사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR101712350B1 (ko) * 2015-10-15 2017-03-07 한국과학기술연구원 시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP6786792B2 (ja) * 2015-12-03 2020-11-18 セイコーエプソン株式会社 情報処理装置、表示装置、情報処理方法、及び、プログラム
CN108780228B (zh) * 2016-01-19 2021-04-20 奇跃公司 利用映像的增强现实系统和方法
JP6134019B1 (ja) * 2016-01-29 2017-05-24 株式会社コロプラ 仮想現実空間提供方法および仮想現実空間提供プログラム
JP6742760B2 (ja) * 2016-02-29 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6306083B2 (ja) * 2016-05-06 2018-04-04 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
US10539797B2 (en) 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
US10134190B2 (en) 2016-06-14 2018-11-20 Microsoft Technology Licensing, Llc User-height-based rendering system for augmented reality objects
JP2016224959A (ja) * 2016-06-29 2016-12-28 京セラ株式会社 表示装置および制御方法
CN107918482B (zh) * 2016-10-08 2023-12-12 深圳思蓝智创科技有限公司 沉浸式vr系统中避免过度刺激的方法与系统
DE102016225263A1 (de) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
JP6350705B2 (ja) * 2017-03-16 2018-07-04 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
EP3399398B1 (en) * 2017-05-02 2022-04-13 Nokia Technologies Oy An apparatus and associated methods for presentation of spatial audio
US10469819B2 (en) * 2017-08-17 2019-11-05 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd Augmented reality display method based on a transparent display device and augmented reality display device
US11508084B2 (en) 2017-11-01 2022-11-22 Sony Corporation Information processing apparatus and information processing method for accurately estimating a self location
GB2569544B (en) * 2017-12-19 2022-07-20 Displaylink Uk Ltd Transmission of a reverse video feed
US20190324283A1 (en) * 2018-04-19 2019-10-24 Htc Corporation Display device and display method
CN109032348B (zh) * 2018-06-26 2021-09-14 亮风台（上海）信息科技有限公司 基于增强现实的智能制造方法与设备
JP6703283B2 (ja) * 2018-07-17 2020-06-03 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
CN109714583B (zh) * 2019-01-22 2022-07-19 京东方科技集团股份有限公司 增强现实的显示方法及增强现实的显示系统
US10937218B2 (en) * 2019-07-01 2021-03-02 Microsoft Technology Licensing, Llc Live cube preview animation
US11568640B2 (en) 2019-09-30 2023-01-31 Lenovo (Singapore) Pte. Ltd. Techniques for providing vibrations at headset
TWI731430B (zh) * 2019-10-04 2021-06-21 財團法人工業技術研究院 資訊顯示方法與資訊顯示系統
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
CN115298646A (zh) * 2020-03-24 2022-11-04 索尼集团公司 信息处理设备、信息处理方法、计算机程序和增强现实感测系统
US11144759B1 (en) * 2020-05-12 2021-10-12 Lenovo (Singapore) Pte. Ltd. Presentation of graphical objects on display based on input from rear-facing camera
JP7024010B2 (ja) * 2020-05-28 2022-02-22 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
JP7000513B1 (ja) * 2020-08-07 2022-01-19 株式会社インフォマティクス 構造物管理業務支援システム
CN112618299A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 视力保护方法和系统及其vr眼镜
CN112613389A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 眼部手势控制方法和系统及其vr眼镜
WO2023090690A1 (ko) * 2021-11-16 2023-05-25 삼성전자 주식회사 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3338618B2 (ja) 1996-10-07 2002-10-28 ミノルタ株式会社 実空間画像と仮想空間画像の表示方法及び表示装置
JP3287312B2 (ja) 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
US8686922B2 (en) * 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
JP3913076B2 (ja) * 2002-02-20 2007-05-09 キヤノン株式会社 画像合成処理装置
WO2007020591A2 (en) 2005-08-15 2007-02-22 Koninklijke Philips Electronics N.V. System, apparatus, and method for augmented reality glasses for end-user programming
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028922A (ja) * 2011-09-19 2018-02-22 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
US11093045B2 (en) 2011-09-19 2021-08-17 Eyesight Mobile Technologies Ltd. Systems and methods to augment user interaction with the environment outside of a vehicle
US11494000B2 (en) 2011-09-19 2022-11-08 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
JP7110252B2 (ja) 2014-06-14 2022-08-01 マジック リープ， インコーポレイテッド 仮想および拡張現実を作成する方法およびシステム
US11507193B2 (en) 2014-06-14 2022-11-22 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP2018169709A (ja) * 2017-03-29 2018-11-01 富士ゼロックス株式会社 コンテンツ表示装置およびコンテンツ表示プログラム
US11995244B2 (en) 2022-10-13 2024-05-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Also Published As

Publication number Publication date
US8094091B2 (en) 2012-01-10
JP2011128220A (ja) 2011-06-30
US20110140994A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
JP4679661B1 (ja) 情報提示装置、情報提示方法及びプログラム
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US11886633B2 (en) Virtual object display interface between a wearable device and a mobile device
US11087728B1 (en) Computer vision and mapping for audio applications
US10095030B2 (en) Shape recognition device, shape recognition program, and shape recognition method
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US20160054791A1 (en) Navigating augmented reality content with a watch
US11277597B1 (en) Marker-based guided AR experience
CN116027894A (zh) 纤细形状因子的无源光学和惯性跟踪
CN105393192A (zh) 用于近眼显示器的网状分层菜单显示配置
US11854147B2 (en) Augmented reality guidance that generates guidance markers
JP6250024B2 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
JP2017146651A (ja) 画像処理方法及び画像処理プログラム
JPWO2014128747A1 (ja) 入出力装置、入出力プログラム、および入出力方法
CN111742281A (zh) 用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法
WO2016130462A1 (en) Removable face shield for augmented reality device
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
EP4165490A2 (en) Augmented reality environment enhancement
JP2019125215A (ja) 情報処理装置、情報処理方法、及び記録媒体
US20210406542A1 (en) Augmented reality eyewear with mood sharing
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20210407203A1 (en) Augmented reality experiences using speech and text captions

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees