JP2014072575A

JP2014072575A - 表示装置および制御方法

Info

Publication number: JP2014072575A
Application number: JP2012215079A
Authority: JP
Inventors: Yasuhiro Ueno; 泰弘上野; Shigeki Tanabe; 茂輝田辺
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2012-09-27
Filing date: 2012-09-27
Publication date: 2014-04-21

Abstract

【課題】利用者に対して利便性の高い操作方法を提供すること。
【解決手段】１つの態様に係る表示装置１は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示する表示部３２ａおよび３２ｂと、当該表示装置の現実の空間における方向の変化を検出する動きセンサ４８と、動きセンサ４８の検出する上記の方向の変化に応じて上記のオブジェクトを変化させる制御部２２とを備える。
【選択図】図６

Description

本発明は、表示装置および制御方法に関する。

表示部を備える表示装置には、画像等を立体表示することができるものがある（例えば、特許文献１参照）。立体表示は、両眼の視差を利用して実現される。

特開２０１１−９５５４７号公報

立体表示は利用者にとって親しみやすい表示形式であるにも関わらず、従来の表示装置では、立体表示は視聴目的でしか利用されず、操作の利便性を向上させるためには利用されてこなかった。本発明は、利用者に対して利便性の高い操作方法を提供することができる表示装置および制御方法を提供することを目的とする。

１つの態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示する表示部と、当該表示装置の現実の空間における方向の変化を検出するセンサと、前記センサの検出する前記方向の変化に応じて前記オブジェクトを変化させる制御部とを備える。

１つの態様に係る制御方法は、表示装置の制御方法であって、ユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示するステップと、当該表示装置の現実の空間における方向の変化を検出するステップと、前記方向の変化に応じて前記オブジェクトを変化させるステップとを含む。

本発明は、利用者に対して利便性の高い操作方法を提供することができるという効果を奏する。

図１は、第１の実施例に係る表示装置の斜視図である。図２は、利用者によって装着された表示装置を正面から見た図である。図３は、表示装置の変形例を示す図である。図４は、表示装置の他の変形例を示す図である。図５は、表示装置の他の変形例を示す図である。図６は、第１の実施例に係る表示装置のブロック図である。図７は、制御プログラムが提供する機能に基づく制御の例を示す図である。図８は、位置の変化に連動して３次元オブジェクトを変化させる例を示す図である。図９は、利用者の周囲に配置された操作画面を概念的に示す図である。図１０は、方向の変化に連動して３次元オブジェクトを変化させる例を示す図である。図１１は、位置および方向の変化と連動して３次元オブジェクトを変化させる制御の処理手順を示すフローチャートである。図１２は、オブジェクトデータに格納される情報の一例を示す図である。図１３は、作用データに格納される情報の一例を示す図である。図１４は、作用データに格納される情報の一例を示す図である。図１５は、作用データに格納される情報の一例を示す図である。図１６は、作用データに格納される情報の一例を示す図である。図１７は、作用データに格納される情報の一例を示す図である。図１８は、作用データに格納される情報の一例を示す図である。図１９は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第１の例について説明するための図である。図２０は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第１の例について説明するための図である。図２１は、第１の例における接触検出処理の処理手順を示すフローチャートである。図２２は、第１の例における操作検出処理の処理手順を示すフローチャートである。図２３は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第２の例について説明するための図である。図２４は、第２の例における操作検出処理の処理手順を示すフローチャートである。図２５は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第３の例について説明するための図である。図２６は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第３の例について説明するための図である。図２７は、第３の例における操作検出処理の処理手順を示すフローチャートである。図２８は、３次元オブジェクトを摘んで行う操作の検出の第１の例について説明するための図である。図２９は、第１の例における選択検出処理の処理手順を示すフローチャートである。図３０は、第１の例における操作検出処理の処理手順を示すフローチャートである。図３１は、３次元オブジェクトを摘んで行う操作の検出の第１の例の変形例について説明するための図である。図３２は、３次元オブジェクトを摘んで行う操作の検出の第２の例について説明するための図である。図３３は、第２の例における選択検出処理の処理手順を示すフローチャートである。図３４は、３次元オブジェクトを摘んで行う操作の検出の第２の例の変形例について説明するための図である。図３５は、３次元オブジェクトを摘んで行う操作の検出の第３の例について説明するための図である。図３６は、３次元オブジェクトを摘んで行う操作の検出の第３の例について説明するための図である。図３７は、第３の例における選択検出処理の処理手順を示すフローチャートである。図３８は、第３の例における操作検出処理の処理手順を示すフローチャートである。図３９は、３次元オブジェクトを摘んで行う操作の検出の第３の例の変形例について説明するための図である。図４０は、ピザの発注処理の開始について説明するための図である。図４１は、生地の大きさと厚みを決める工程について説明するための図である。図４２は、トッピングを載せる工程について説明するための図である。図４３は、ピザを発注する工程について説明するための図である。図４４は、配達されるピザの例を示す図である。図４５は、発注処理の処理手順を示すフローチャートである。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

まず、図１および図２を参照しながら、第１の実施例に係る表示装置１の全体的な構成について説明する。図１は、表示装置１の斜視図である。図２は、利用者によって装着された表示装置１を正面から見た図である。図１および図２に示すように、表示装置１は、利用者の頭部に装着されるヘッドマウントタイプの装置である。

表示装置１は、前面部１ａと、側面部１ｂと、側面部１ｃとを有する。前面部１ａは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部１ｂは、前面部１ａの一方の端部に接続され、側面部１ｃは、前面部１ａの他方の端部に接続される。側面部１ｂおよび側面部１ｃは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、表示装置１を安定させる。側面部１ｂおよび側面部１ｃは、装着時に、利用者の頭部の背面で接続されるように構成されてもよい。

前面部１ａは、装着時に利用者の目と対向する面に表示部３２ａおよび表示部３２ｂを備える。表示部３２ａは、装着時に利用者の右目と対向する位置に配設され、表示部３２ｂは、装着時に利用者の左目と対向する位置に配設される。表示部３２ａは、右目用の画像を表示し、表示部３２ｂは、左目用の画像を表示する。このように、装着時に利用者のそれぞれの目に対応した画像を表示する表示部３２ａおよび表示部３２ｂを備えることにより、表示装置１は、両眼の視差を利用した３次元表示を実現することができる。

表示部３２ａおよび表示部３２ｂは、利用者の右目と左目に異なる画像を独立して提供することができれば、１つの表示デバイスによって構成されてもよい。例えば、表示される画像が一方の目にしか見えないように遮蔽するシャッターを高速に切り替えることによって、１つの表示デバイスが右目と左目に異なる画像を独立して提供するように構成してもよい。前面部１ａは、装着時に外光が利用者の目に入らないように、利用者の目を覆うように構成されてもよい。

前面部１ａは、表示部３２ａおよび表示部３２ｂが設けられている面とは反対側の面に撮影部４０および撮影部４２を備える。撮影部４０は、前面部１ａの一方の端部（装着時の右目側）の近傍に配設され、撮影部４２は、前面部１ａの他方の端部（装着時の左目側）の近傍に配設される。撮影部４０は、利用者の右目の視界に相当する範囲の画像を取得する。撮影部４２は、利用者の左目の視界に相当する範囲の画像を取得する。ここでいう視界とは、例えば、利用者が正面を見ているときの視界である。

表示装置１は、撮影部４０によって撮影された画像を右目用の画像として表示部３２ａに表示し、撮影部４２によって撮影された画像を左目用の画像として表示部３２ｂに表示する。このため、表示装置１は、装着中の利用者に、前面部１ａによって視界が遮られていても、表示装置１を装着していないときと同様の光景を提供することができる。

表示装置１は、このように現実の光景を利用者に提供する機能に加えて、仮想的な情報を３次元的に表示し、仮想的な情報を利用者が操作することを可能にする機能を有する。表示装置１によれば、仮想的な情報は、実際に存在しているかのように、現実の光景と重ねて表示される。そして、利用者は、例えば、手を使って仮想的な情報を実際に触っているかのように操作し、移動、回転、変形等の変化を仮想的な情報に施すことができる。このように、表示装置１は、仮想的な情報に関して、直感的で利便性の高い操作方法を提供する。以下の説明では、表示装置１によって３次元的に表示される仮想的な情報を「３次元オブジェクト」と呼ぶことがある。

表示装置１は、表示装置１を装着していない場合と同様の広い視界を利用者に提供する。そして、表示装置１は、この広い視界の中の任意の位置に任意の大きさで３次元オブジェクトを配置することができる。このように、表示装置１は、表示デバイスの大きさの制約を受けることなく、広い空間の様々な位置に様々な大きさの３次元オブジェクトを表示することができる。さらに、３次元オブジェクトを見ることができる者を表示装置１の利用者に限定できるため、高いセキュリティを確保することができる。

図１および図２では、表示装置１が、眼鏡（ゴーグル）のような形状を有する例を示したが、表示装置１の形状はこれに限定されない。例えば、表示装置１は、図３に示す表示装置２のように、利用者の頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していてもよい。あるいは、表示装置１は、図４に示す表示装置３のように、利用者の顔面のほぼ全体を覆うようなマスクタイプの形状を有していてもよい。表示装置１は、図５に示す表示装置４のように、情報処理装置、バッテリ装置等の外部装置４ｄと有線または無線で接続される構成であってもよい。

次に、図６を参照しながら、表示装置１の機能的な構成について説明する。図６は、表示装置１のブロック図である。図６に示すように、表示装置１は、操作部１３と、制御部２２と、記憶部２４と、通信部１６と、表示部３２ａおよび３２ｂと、撮影部４０および４２と、検出部４４と、測距部４６と、動きセンサ４８とを有する。操作部１３は、表示装置１の起動、停止、動作モードの変更等の基本的な操作を受け付ける。

通信部１６は、他の装置との間で通信を行う。通信部１６は、無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈ（登録商標）のように比較的狭い範囲で無線通信を行う通信方式をサポートしてもよいし、通信キャリア向けの３Ｇ通信方式または４Ｇ通信方式のように比較的広い範囲で無線通信を行う通信方式をサポートしてもよい。通信部１６は、イーサネット（登録商標）のような有線による通信方式をサポートしてもよい。通信部１６は、複数の通信方式をサポートしてもよい。

表示部３２ａおよび３２ｂは、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬ（Organic Electro−Luminescence）パネル等の表示デバイスを備え、制御部２２から入力される制御信号に従って各種の情報を表示する。表示部３２ａおよび３２ｂは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。

撮影部４０および４２は、ＣＣＤ（Charge Coupled Device Image Sensor）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０および４２は、撮影した画像を信号に変換して制御部２２へ出力する。

検出部４４は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出する。検出部４４は、例えば、撮影範囲に存在する現実の物体のうち、予め登録された形状（例えば、人間の手の形状）にマッチする物体を検出する。検出部４４は、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲（形状および大きさ）を検出するように構成されてもよい。

測距部４６は、撮影部４０および４２の撮影範囲に存在する現実の物体までの距離を測定する。現実の物体までの距離は、表示装置１を装着している利用者のそれぞれの目の位置を基準として目毎に測定される。このため、測距部４６が距離を測定する基準位置がそれぞれの目の位置とずれている場合には、測距部４６の測定値は、そのずれに応じて、目の位置までの距離を表すように補正される。

本実施例においては、撮影部４０および４２が、検出部４４および測距部４６を兼ねる。すなわち、本実施例においては、撮影部４０および４２によって撮影される画像を解析することによって、撮影範囲内の物体が検出される。さらに、撮影部４０によって撮影される画像に含まれる物体と撮影部４２によって撮影される画像に含まれる物体とを比較することにより、物体との距離が測定（算出）される。

表示装置１は、撮影部４０および４２とは別に、検出部４４を備えてもよい。検出部４４は、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも１つを用いて、撮影範囲に存在する現実の物体を検出するセンサであってもよい。表示装置１は、撮影部４０および４２とは別に、測距部４６を備えてもよい。測距部４６は、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも１つを用いて、撮影範囲に存在する現実の物体までの距離を検出するセンサであってもよい。表示装置１は、ＴＯＦ（Time-of-Flight）法を用いたセンサのように、検出部４４および測距部４６を兼ねることができるセンサを備えてもよい。

動きセンサ４８は、表示装置１の位置の変化および方向（姿勢）の変化を検出する。位置の変化および方向の変化は、３次元的に検出される。すなわち、動きセンサ４８は、水平方向だけでなく、垂直方向での位置の変化および方向の変化を検出する。動きセンサ４８は、表示装置１の位置の変化および方向の変化を検出するために、例えば、３軸加速度センサを備える。動きセンサ４８は、表示装置１の位置の変化を検出するために、ＧＰＳ（Global Positioning System）レシーバまたは気圧センサを備えてもよい。動きセンサ４８は、表示装置１の位置の変化を検出するために、測距部４６による距離の測定結果を利用してもよい。動きセンサ４８は、複数の方式を組み合わせて、表示装置１の位置の変化を検出してもよい。動きセンサ４８は、表示装置１の方向の変化を検出するために、ジャイロセンサまたは方位センサを備えてもよい。動きセンサ４８は、複数の方式を組み合わせて、表示装置１の方向の変化を検出してもよい。

制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータや検出部４４を介して検出される操作がパラメータや判定条件の一部として利用される。

記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃと、仮想空間データ２４ｄとが含まれる。記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄは、通信部１６による通信によってサーバ装置等の他の装置から取得されてもよい。

制御プログラム２４ａは、表示装置１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、撮影部４０および４２が取得する画像に３次元オブジェクトを重ねて表示部３２ａおよび３２ｂに表示する機能、３次元オブジェクトに対する操作を検出する機能、検出した操作に応じて３次元オブジェクトを変化させる機能等が含まれる。

制御プログラム２４ａは、検出処理部２５と、表示オブジェクト制御部２６と、視点制御部２７と、画像合成部２８とを含む。検出処理部２５は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出するための機能を提供する。検出処理部２５が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれる。

表示オブジェクト制御部２６は、仮想空間にどのような３次元オブジェクトが配置され、それぞれの３次元オブジェクトがどのような状態にあるかを管理するための機能を提供する。表示オブジェクト制御部２６が提供する機能には、検出処理部２５の機能によって検出される現実の物体の動きに基づいて３次元オブジェクトに対する操作を検出し、検出した操作に基づいて３次元オブジェクトを変化させる機能が含まれる。

視点制御部２７は、仮想空間における利用者の視点の位置および方向を管理するための機能を提供する。視点制御部２７が提供する機能には、動きセンサ４８が検出する表示装置１の位置の変化および方向の変化に応じて、仮想空間における利用者の視点の位置および方向を変化させる機能が含まれる。例えば、動きセンサ４８によって表示装置１が前方移動したことが検出された場合、視点制御部２７は、仮想空間における利用者の視点を前方へ移動させる。例えば、動きセンサ４８によって表示装置１が右向きに回転したことが検出された場合、視点制御部２７は、仮想空間における利用者の視点を右向きに回転させる。このように、表示装置１の位置および方向の変化に合わせて仮想空間における利用者の視点の位置および方向を変化させることにより、現実の空間の画像に重ねて表示される仮想空間の画像の変化を現実の空間の画像の変化と一致させることができる。

画像合成部２８は、現実の空間の画像と仮想空間の画像とを合成することにより、表示部３２ａに表示する画像と表示部３２ｂに表示する画像とを生成するための機能を提供する。画像合成部２８が提供する機能には、検出処理部２５の機能によって測定される現実の物体までの距離と、仮想空間における視点から３次元オブジェクトまでの距離とに基づいて、現実の物体と３次元オブジェクトの前後関係を判定し、重なりを調整する機能が含まれる。

オブジェクトデータ２４ｂは、３次元オブジェクトの形状および性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に、３次元オブジェクトをどのように変化させるかを判定するために用いられる。ここでいう変化には、移動、回転、変形、消失置換等が含まれる。仮想空間データ２４ｄは、仮想空間に配置される３次元オブジェクトの状態に関する情報を保持する。３次元オブジェクトの状態には、例えば、位置、姿勢、変形の状況等が含まれる。

次に、図７を参照しながら、制御プログラム２４ａが提供する機能に基づく制御の例について説明する。画像Ｐ１ａは、撮影部４０によって得られる画像、すなわち、現実の空間を右目で見た光景に相当する画像である。画像Ｐ１ａには、テーブルＴ１と、利用者の手Ｈ１とが写っている。表示装置１は、同じ場面を撮影部４２によって撮影した画像、すなわち、現実の空間を左目で見た光景に相当する画像も取得する。

画像Ｐ２ａは、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像である。この例において、仮想空間データ２４ｄは、仮想空間中に存在するブロック状の３次元オブジェクトＢＬ１の状態に関する情報を保持し、オブジェクトデータ２４ｂは、３次元オブジェクトＢＬ１の形状および性質に関する情報を保持する。表示装置１は、これらの情報に基づいて仮想空間を再現し、再現した仮想空間を右目の視点から見た画像Ｐ２ａを生成する。仮想空間における右目（視点）の位置は、所定の規則に基づいて決定される。表示装置１は、同様に、再現した仮想空間を左目の視点で見た画像も生成する。すなわち、表示装置１は、画像Ｐ２ａと組み合わせることによって３次元オブジェクトＢＬ１が３次元的に表示される画像も生成する。

表示装置１は、図７に示すステップＳ１において、画像Ｐ１ａおよび画像Ｐ２ａを合成して、画像Ｐ３ａを生成する。画像Ｐ３ａは、右目用の画像として表示部３２ａに表示される画像である。このとき、表示装置１は、利用者の右目の位置を基準として、撮影部４０の撮影範囲にある現実の物体と、仮想空間内に存在する３次元オブジェクトとの前後関係を判定する。そして、現実の物体と３次元オブジェクトとが重なっている場合には、利用者の右目により近いものが前面に見えるように重なりを調整する。

このような重なりの調整は、現実の物体と３次元オブジェクトとが重なる画像上の領域内の所定の大きさの範囲毎（例えば、１画素毎）に行われる。このため、現実の空間における視点から現実の物体までの距離は、画像上の所定の大きさの範囲毎に測定される。さらに、仮想空間における視点から３次元オブジェクトまでの距離は、３次元オブジェクトの位置、形状、姿勢等を考慮して、画像上の所定の大きさの範囲毎に算出される。

図７に示すステップＳ１の場面では、３次元オブジェクトＢＬ１は、仮想空間において、テーブルＴ１が現実の空間で存在する位置のすぐ上に相当する位置に配置されている。さらに、図７に示すステップＳ１の場面では、利用者の手Ｈ１と３次元オブジェクトＢＬ１が、利用者の右目の位置を基準として、ほぼ同じ方向に、ほぼ同じ距離で存在している。このため、所定の大きさの範囲毎に重なりを調整することにより、合成後の画像Ｐ３ａでは、手Ｈ１と３次元オブジェクトＢＬ１とが重なっている領域のうち、手Ｈ１の親指に相当する部分では手Ｈ１が前面に現れ、他の部分では３次元オブジェクトＢＬ１が前面に現れている。さらに、テーブルＴ１と３次元オブジェクトＢＬ１とが重なっている領域では、３次元オブジェクトＢＬ１が前面に現れている。

このような重なりの調整により、図７に示すステップＳ１では、あたかもテーブルＴ１上に３次元オブジェクトＢＬ１が置かれ、３次元オブジェクトＢＬ１を利用者が手Ｈ１で摘んでいるかのような画像Ｐ３ａが得られている。表示装置１は、同様の処理により、撮影部４２によって撮影した画像と仮想空間を左目の視点から見た画像とを合成し、左目用の画像として表示部３２ｂに表示される画像を生成する。左目用の画像を生成する場合、現実の物体と３次元オブジェクトとの重なりは、利用者の左目の位置を基準として調整される。

表示装置１は、こうして生成した合成画像を表示部３２ａおよび３２ｂに表示する。その結果、利用者は、あたかも、３次元オブジェクトＢＬ１がテーブルＴ１の上に置かれ、自分の手Ｈ１で３次元オブジェクトＢＬ１を摘んでいるかのような光景を見ることができる。

図７に示すステップＳ２の場面では、利用者が手Ｈ１を矢印Ａ１の方向に移動させている。この場合、撮影部４０によって得られる画像は、手Ｈ１の位置が右へ移動した画像Ｐ１ｂに変化する。さらに、表示装置１は、手Ｈ１の動きを、３次元オブジェクトを摘んだままで右へ移動させる操作と判定し、操作に応じて、仮想空間における３次元オブジェクトの位置を右へ移動させる。仮想空間における３次元オブジェクトの移動は、仮想空間データ２４ｄに反映される。その結果、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像は、３次元オブジェクトＢＬ１の位置が右へ移動した画像Ｐ２ｂに変化する。表示装置１による操作の検出の詳細については、後述する。

表示装置１は、画像Ｐ１ｂおよび画像Ｐ２ｂを合成して右目用の画像Ｐ３ｂを生成する。画像Ｐ３ｂは、画像Ｐ３ａと比較して、テーブルＴ１上のより右側の位置で、３次元オブジェクトＢＬ１を利用者が手Ｈ１で摘んでいるかのような画像となっている。表示装置１は、同様に左目用の合成画像を生成する。そして、表示装置１は、こうして生成した合成画像を表示部３２ａおよび３２ｂに表示する。その結果、利用者は、あたかも、自分の手Ｈ１で３次元オブジェクトＢＬ１を摘んで右へ移動させたかのような光景を見ることができる。

このような表示用の合成画像の更新は、一般的な動画のフレームレートと同等の頻度（例えば、毎秒３０回）で実行される。その結果、利用者の操作に応じた３次元オブジェクトの変化は、表示装置１が表示する画像にほぼリアルタイムに反映され、利用者は、あたかも実際に存在しているかのように、違和感なく３次元オブジェクトを操作することができる。さらに、本実施例に係る構成では、３次元オブジェクトを操作する利用者の手が、利用者の目と表示部３２ａおよび３２ｂの間に位置することがないため、利用者は、手によって３次元オブジェクトの表示が遮られることを気にすることなく操作を行うことができる。

次に、図８から図１１を参照しながら、制御プログラム２４ａが提供する機能に基づく制御の他の例について説明する。図８は、位置の変化に連動して３次元オブジェクトを変化させる例を示す図である。図８に示すステップＳ３において、画像Ｐ１ｃは、撮影部４０によって得られる画像、すなわち、現実の空間を右目で見た光景に相当する画像である。画像Ｐ１ｃには、利用者の前方のジョギングコースが写っている。表示装置１は、同じ場面を撮影部４２によって撮影した画像、すなわち、現実の空間を左目で見た光景に相当する画像も取得する。

画像Ｐ２ｃは、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像である。この例において、仮想空間データ２４ｄは、ジョギングコースの脇に対応する位置に配置された標識の３次元オブジェクトの状態に関する情報を保持し、オブジェクトデータ２４ｂは、標識の３次元オブジェクトの形状および性質に関する情報を保持する。それぞれの３次元オブジェクトは、スタート地点からの距離を示す数字を記載され、記載された数値が示す距離だけジョギングコースに沿ってスタート地点から離れた位置に対応する位置に配置される。表示装置１は、同様に、仮想空間を左目の視点で見た画像も生成する。

表示装置１は、図８に示すステップＳ３において、画像Ｐ１ｃおよび画像Ｐ２ｃを合成して、画像Ｐ３ｃを生成する。画像Ｐ３ｃは、右目用の画像として表示部３２ａに表示される画像である。画像Ｐ３ｃでは、標識の３次元オブジェクトが、実際に存在しているかのように、ジョギングコースの光景に付加されている。

表示装置１は、利用者がジョギングコースを前方へ進むと、位置の変化を検出し、検出した位置の変化に応じて、仮想空間における視点の位置を前方へ移動させる。例えば、表示装置１の位置が１ｍ前方へ移動すると、表示装置１は、仮想空間における利用者の視点を１ｍに相当する距離だけ前方へ移動させる。このような変化を繰り返すことにより、利用者の前方の３次元オブジェクトは、コース脇の木と同様に、利用者が進むにつれて段々と利用者に近付いていき、利用者が通り過ぎると視界から消える。図８に示すステップＳ４では、ステップＳ３の段階では遠くに見えていた「６００ｍ」の標識の３次元オブジェクトが、利用者のすぐ前に表示されている。

このように、利用者は、表示装置１の位置を変化させることにより、手で操作を行わなくても、表示装置１に表示される３次元オブジェクトを変化させることができる。すなわち、表示装置１は、利用者による表示装置１の位置の変化を、３次元オブジェクトを変化させるための操作として受け付ける。このような位置の変化によって３次元オブジェクトを変化させる操作は、利用者が実際の空間で経験する現象に則した操作であるため、利用者にとって直感的で分かりやすい。さらに、位置の変化による操作は、手を使う操作等と組み合わせて行うことができるので、３次元オブジェクトの多様な変化を実現でき、利便性が高い。

また、図８に示した例では、実際には存在しない標識がジョギングコースの脇に表示される。このため、表示装置１は、利用者にとって有用な情報を、ジョギングコース上の位置と対応付けて表示することができる。さらに、表示装置１が表示する情報を利用者毎に異ならせることができるので、現実の標識と異なり、それぞれの利用者に都合のよい情報を標識に記載することができる。

位置の変化と連動して変化させる３次元オブジェクトは、標識に限定されない。例えば、３次元的な仮想商店街を構築し、利用者が部屋の中等を歩くのと連動して、利用者が見ることができる店舗が切り替わるようにしてもよい。表示装置１は、その場での足踏みの回数と連動して、３次元オブジェクトを変化させてもよい。

表示装置１は、検出した位置の変化よりも、３次元オブジェクトの変化の程度を大きくしてもよいし、小さくしてもよい。例えば、現実の空間での位置の変化の大きさの１０倍の変化を仮想空間の３次元オブジェクトに与えてもよい。例えば、図８に示した例において、標識の３次元オブジェクトが配置される間隔を、標識の記載が示す間隔よりも大きくしてもよいし、小さくしてもよい。このように標識の間隔を調整することにより、体調に応じて走る距離を調整することができる。表示装置１は、現実の空間での１０ｍの移動に対して、仮想空間での１００ｍの移動を対応付けてもよいし、仮想空間での１ｍの移動を対応付けてもよい。白い壁しかない室内のような場所で複数のアトラクション施設を３次元オブジェクトで表示する場合、検出した位置の変化よりも、３次元オブジェクトの変化の程度を大きくすることにより、離れた施設間を容易に移動することができる。例えば、３次元オブジェクトを精密に制御したい場合、検出した位置の変化よりも３次元オブジェクトの変化の程度を小さくしてもよい。

表示装置１は、上下方向の位置の変化と連動して、３次元オブジェクトを変化させてもよい。例えば、利用者がジャンプした場合に、表示する光景を、利用者が現在いる場所の建物等の３次元オブジェクトをジャンプの高さに対応付けられた高さから見た光景に変更してもよい。この場合、利用者が精一杯ジャンプしたときに、利用者が現在いる場所の建物等の３次元オブジェクトを上から見下ろす光景を表示してもよい。

表示装置１は、位置の変化量、すなわち、移動量を積算し、積算値に応じて３次元オブジェクトを変化させてもよい。例えば、移動量の積算値を、東京から京都まで歩く場合の到達地点に換算し、到達地点の特徴的な建物または風景を３次元オブジェクトとして、現実の空間の光景と重ねて表示してもよい。例えば、到達地点が横浜に相当する場合には、現実の光景の一部に中華街の門の３次元オブジェクトを重ねて表示してもよい。例えば、到達地点が静岡に相当する場合には、現実の光景の背後に、到達地点から見える富士山の３次元オブジェクトを重ねて表示してもよい。

図９は、利用者の周囲に配置された操作画面を概念的に示す図である。図１０は、方向の変化に連動して３次元オブジェクトを変化させる例を示す図である。図９および図１０に示す例において、仮想空間データ２４ｄは、操作画面Ｓ１〜Ｓ３の３次元オブジェクトの状態に関する情報を保持し、オブジェクトデータ２４ｂは、操作画面Ｓ１〜Ｓ３の３次元オブジェクトの形状および性質に関する情報を保持する。

操作画面Ｓ１は、仮想空間において、利用者の正面に対応する位置に配置されている。操作画面Ｓ２は、仮想空間において、利用者の右側面に対応する位置に配置されている。操作画面Ｓ３は、仮想空間において、利用者の左側面に対応する位置に配置されている。操作画面Ｓ１〜Ｓ３には、複数のアイコンが配列されている。

表示装置１を装着した利用者が正面を向いているときに、画像Ｐ３ｅのように、表示装置１は、操作画面Ｓ１を表示する。この状態で、利用者が手Ｈ１の指で操作画面Ｓ１上のアイコンを押すような動作を行うと、表示装置１は、アイコンに対応付けられた処理を実行する。

表示装置１は、利用者が右を向くと、検出した方向の変化に応じて、仮想空間における視点の方向を右へ変化させる。例えば、表示装置１を装着した利用者の頭部が右へ９０度回転すると、表示装置１は、仮想空間における利用者の視点の方向を９０度右へ変化させる。その結果、表示装置１は、画像Ｐ３ｆのように、仮想空間において利用者の右側面に配置されている操作画面Ｓ２を表示する。この状態で、利用者が手Ｈ１の指で操作画面Ｓ２上のアイコンを押すような動作を行うと、表示装置１は、アイコンに対応付けられた処理を実行する。

表示装置１は、利用者が左を向くと、検出した方向の変化に応じて、仮想空間における視点の方向を左へ変化させる。例えば、表示装置１を装着した利用者の頭部が左へ９０度回転すると、表示装置１は、仮想空間における利用者の視点の方向を９０度左へ変化させる。その結果、表示装置１は、画像Ｐ３ｇのように、仮想空間において利用者の左側面に配置されている操作画面Ｓ３を表示する。この状態で、利用者が手Ｈ１の指で操作画面Ｓ３上のアイコンを押すような動作を行うと、表示装置１は、アイコンに対応付けられた処理を実行する。

このように、利用者は、表示装置１の方向を変化させることにより、手で操作を行わなくても、表示装置１に表示される３次元オブジェクトを変化させることができる。すなわち、表示装置１は、利用者による表示装置１の方向の変化を、３次元オブジェクトを変化させるための操作として受け付ける。このような方向の変化によって３次元オブジェクトを変化させる操作は、利用者が実際の空間で経験する現象に則した操作であるため、利用者にとって直感的で分かりやすい。さらに、方向の変化による操作は、手を使う操作等と組み合わせて行うことができるので、３次元オブジェクトの多様な変化を実現でき、利便性が高い。

また、図９および図１０に示した例では、利用者の周囲に複数の操作画面が表示される。このため、利用者は、顔を向ける方向を変えるだけで、操作する操作画面を容易に切り替えることができる。

図９および図１０では、利用者の周囲の３面に操作画面を表示する例を示したが、表示装置１は、利用者の背面側を含む周囲の４面に操作画面を表示してもよい。あるいは、利用者を囲む円筒の内面のような連続した面を操作画面としてもよい。あるいは、利用者の頭上の面、すなわち、視点の方向を上へ向けた場合に見える面に操作画面を設けてもよい。

操作画面が、利用者を囲む複数の平坦な面に設けられている場合、表示装置１は、操作画面が設けられている面のうち利用者が向いている方向に存在し、利用者の視線との角度が９０度に最も近い面が利用者の視線と直交するように仮想空間における視点または３次元オブジェクトの方向を調整してもよい。このように視点または３次元オブジェクトの方向を調整することにより、操作画面の視認性を向上させることができる。

方向の変化と連動して変化させる３次元オブジェクトは、操作画面に限定されない。例えば、利用者の周囲の棚に商品の３次元オブジェクトを陳列し、表示装置１を装着した利用者が頭部の方向を変更するのと連動して、利用者が見て、手に取ることができる商品が変更されるように構成してもよい。利用者の周囲に建物の３次元オブジェクトを含む３次元的な地図を配置し、表示装置１を装着した利用者が頭部の方向を変更するのと連動して、表示される地図を利用者が向いている方向の地図へ変化させてもよい。表示装置１は、表示装置１を装着した利用者が頭部の方向を変更するのと連動して、利用者の視線が向いている地域の天気、行事、主要な施設等を３次元オブジェクトとして表示してもよい。

表示装置１は、利用者が首を振る方向を、何からの処理と対応付けてもよい。例えば、表示装置１は、利用者が右方向に首を振った場合には、表示している本の３次元オブジェクトのページを送り、利用者が左方向に首を振った場合には、本の３次元オブジェクトのページを戻す。この場合、振った首を元に戻すための方向の変化については、処理を連動させない。

図１１は、位置および方向の変化と連動して３次元オブジェクトを変化させる制御の処理手順を示すフローチャートである。図１１に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。制御部２２は、まず、ステップＳ１０１として、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて、仮想空間を生成する。そして、制御部２２は、ステップＳ１０２として、仮想空間における視点の位置と方向とを初期設定する。仮想空間における視点の位置と方向の初期設定は、例えば、予め定められている現実の空間と仮想空間との対応付けのルールに基づいて行われる。

続いて、制御部２２は、ステップＳ１０３として、動きセンサ４８の検出結果を取得する。そして、制御部２２は、ステップＳ１０４として、仮想空間における視点の位置を表示装置１の位置の変化に応じて変化させ、ステップＳ１０５として、仮想空間における視点の方向を表示装置１の方向の変化に応じて変化させる。

そして、制御部２２は、ステップＳ１０６として、３次元オブジェクトの表示が終了であるかを判定する。３次元オブジェクトの表示が終了でない場合（ステップＳ１０６，Ｎｏ）、制御部２２は、ステップＳ１０３に戻る。３次元オブジェクトの表示が終了の場合（ステップＳ１０６，Ｙｅｓ）、制御部２２は、図１１に示す処理手順を終了する。

次に、図１２から図１８を参照しながら、図６に示したオブジェクトデータ２４ｂおよび作用データ２４ｃについてさらに詳しく説明する。図１２は、オブジェクトデータ２４ｂに格納される情報の一例を示す図である。図１３から図１８は、作用データ２４ｃに格納される情報の一例を示す図である。

図１２に示すように、オブジェクトデータ２４ｂには、種別、形状情報、色、透明度等を含む情報が３次元オブジェクト毎に格納される。種別は、３次元オブジェクトの物理的な性質を示す。種別は、例えば、「剛体」、「弾性体」等の値をとる。形状情報は、３次元オブジェクトの形状を示す情報である。形状情報は、例えば、３次元オブジェクトを構成する面の頂点座標の集合である。色は、３次元オブジェクトの表面の色である。透明度は、３次元オブジェクトが光を透過させる度合いである。オブジェクトデータ２４ｂは、複数の３次元オブジェクトに関する情報を保持することができる。

図１３から図１８に示す例では、押す操作が検出された場合の変化に関する情報が３次元オブジェクトの種別毎に作用データ２４ｃに格納されている。図１３に示すように、３次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。ここでいう障害物とは、他の３次元オブジェクトであってもよいし、現実の物体であってもよい。また、押される速度が速いか遅いかは閾値に基づいて判定される。

３次元オブジェクトに支点がなく、押された方向に障害物がない場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。移動の仕方については、滑るのか回転するのかを３次元オブジェクトの形状に基づいて決定してよい。また、押す物体と一緒に移動するのか、押す物体にはじかれるように物体と離れて移動するのかについては、押される速度に基づいて決定してよいし、３次元オブジェクトと底面の摩擦抵抗の算出値または設定値に基づいて決定してもよい。

３次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。押された速度が速い場合は、３次元オブジェクトが障害物を破壊して移動を継続することとしてもよい。また、３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動させてもよい。

３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示される。また、３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。そして、３次元オブジェクトが他の剛体と接触した後は、他の剛体がはじかれて移動するように表示される。他の剛体と接触した後、３次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよい。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。

３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があるが、他の剛体はすり抜け可能である場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後も、他の剛体をすり抜けてそのまま移動し続けるように表示される。現実には、剛体が剛体をすり抜けることはないが、このようなすり抜けを可能にすることにより、利用者に斬新な体験を提供することができる。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。押される速度に閾値を設け、押される速度が閾値以下の場合は、３次元オブジェクトが他の剛体をすり抜けないこととしてもよい。

３次元オブジェクトに支点がある場合、３次元オブジェクトは、押された方向および量に応じて、支点を中心に回転するように表示される。ここでいう回転とは、３６０度ぐるぐると回る回転であってもよいし、所定の回転範囲内を往復する回動であってもよい。このように表示される３次元オブジェクトは、例えば、振り子、ボクシングのサンドバック、風車である。

また、図１４に示すように、３次元オブジェクトの種別が「弾性体」の場合、素材、変化量の制限の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。ここでいう素材は、３次元オブジェクトの想定上の素材であり、オブジェクトデータ２４ｂにおいて定義される。

３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、押される状態から解放されると元の形状に戻るように表示される。また、３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、その後、はじかれて、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。

３次元オブジェクトの素材がゴム系であり、変化量に制限がある場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、その後も押す操作が検出されると、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。

３次元オブジェクトの素材が金属系の場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、押される状態から解放されると元の形状に戻ったり変形したりを繰り返す（振動する）ように表示される。変形可能方向以外の方向に押された場合、３次元オブジェクトは、剛体と同様に移動する。このように表示される３次元オブジェクトは、例えば、板ばね、弦巻ばねである。

また、図１５に示すように、３次元オブジェクトの種別が「塑性体」の場合、３次元オブジェクトは、押された箇所がへこんで全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、粘土である。

また、図１６に示すように、３次元オブジェクトの種別が「液体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、押す物体が３次元オブジェクト、すなわち、液体につかるように表示される。押される速度が中程度の場合、押す物体が液体につかり、液体に波紋が拡がるように表示される。押される速度が速い場合、押す物体が液体につかり、液体から水しぶきがあがるように表示される。このように表示される３次元オブジェクトは、例えば、コップに入った水である。

また、図１７に示すように、３次元オブジェクトの種別が「気体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、３次元オブジェクト、すなわち、気体が押す物体によってさえぎられてその周囲を漂うように表示される。押される速度が中程度の場合、気体が押す物体によって散乱されるように表示される。押される速度が速い場合、押す物体の移動方向の後ろ側で乱流により気体に渦が生まれるように表示される。このように表示される３次元オブジェクトは、例えば、煙である。

また、図１８に示すように、３次元オブジェクトの種別が「集合体」の場合、集合体の要素の結合状況に応じて、押す操作が検出された場合の変化が異なる。集合体の要素の結合がない場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、砂、砂糖である。

集合体の要素の結合がある場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。さらに、押された箇所以外の要素が、押された箇所の要素に引っ張られて移動するように表示される。このように表示される３次元オブジェクトは、例えば、鎖である。

集合体の要素の結合はないが押す物体との間に引力または斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても移動するように表示される。押す物体との間に引力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体に引き寄せられる。また、押す物体との間に斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体から遠ざかる。このように表示される３次元オブジェクトと押す物体の組み合わせは、例えば、鉄粉と磁石の組み合わせである。

このように、オブジェクトデータ２４ｂに格納された情報と作用データ２４ｃに格納された情報とに基づいて３次元オブジェクトを変化させることにより、押す操作に応じて、３次元オブジェクトを多様に変化させることができる。オブジェクトデータ２４ｂおよび作用データ２４ｃに格納される情報は、上記の例に限定されず、用途等に応じて適宜変更してよい。例えば、押す物体の種別および大きさや押す物体と３次元オブジェクトの接触面積の大きさに応じて、３次元オブジェクトの変化の仕方が切り替わるように設定してもよい。

次に、図１９および図２０を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。以下の説明では、表示装置１を装着した利用者が見る空間を、表示空間と呼ぶことがある。表示装置１は、利用者の右目および左目にそれぞれの目に対応する画像を提供することにより、表示空間内に現実の物体および３次元オブジェクトを３次元的（立体的）に表示することができる。表示装置１は、仮想空間データ２４ｄに基づいて再現した仮想空間と、撮影部４０および４２によって撮影される現実の空間とを所定の規則に基づいて対応付け、これらの空間が重なった空間を表示空間として表示する。

図１９および図２０は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１９に示すステップＳ１１では、表示装置１は、表示空間５０中に、３次元オブジェクトＯＢ１を立体的に表示している。３次元オブジェクトＯＢ１は、例えば、ボールを模したオブジェクトである。また、ステップＳ１１では、３次元オブジェクトＯＢ１を支持する底面Ｂ１が表示されている。

ステップＳ１２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触する位置に置き、そのまま静止させている。表示装置１は、表示空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。

物体が３次元オブジェクトＯＢ１と接触しているかの判定は、現実の空間における物体の位置と、３次元オブジェクトＯＢ１の形状、姿勢、仮想空間における位置等に基づいて行われる。現実の空間での位置と仮想空間における位置との比較は、一方の空間の位置を上記の所定の規則に基づいて他方の空間の位置へ換算することによって行ってもよいし、両方の空間の位置を比較用の空間の位置へ換算することによって行ってもよい。現実の物体として指が検出された場合、指のつま先の位置を物体の位置として処理してもよい。人は、何かを操作するときに指のつま先を用いることが多いため、指のつま先の位置を物体の位置として処理することにより、より自然な操作感を利用者に提供することができる。

また、操作対象として選択されたことの通知は、例えば、３次元オブジェクトＯＢ１の全体の色を変更することや、３次元オブジェクトＯＢ１の表面のうち、物体と接触している位置の近傍の色を変更することによって実現される。表示装置１は、このような視覚的な通知に代えて、あるいは、このような視覚的な通知に加えて、音や振動による通知を行ってもよい。

このように、表示装置１は、指等の現実の物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。接触状態が所定時間以上継続して検出されることを条件として付加することにより、例えば、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択される可能性を低くすることができる。

３次元オブジェクトＯＢ１が操作対象として選択された後、ステップＳ１３に示すように、利用者が、３次元オブジェクトＯＢ１を押すように、指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。表示装置１は、操作対象として選択された３次元オブジェクト内に物体を侵入させる操作が検出された場合、操作に応じて３次元オブジェクトを変化させる。３次元オブジェクトをどのように変化させるかは、オブジェクトデータ２４ｂにおいて定義されている３次元オブジェクトの種別と、作用データ２４ｃにおいてその種別と対応付けて定義されている変化のルールとによって決定される。

例えば、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が弾性体であると定義され、作用データ２４ｃにおいて弾性体は押された場合に押された量に応じて押された方向に変形することが定義されていたものとする。この場合、表示装置１は、ステップＳ１４に示すように、指Ｆ１が侵入した部分が押されて凹んだように３次元オブジェクトＯＢ１を変化させる。

また、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が剛体であると定義され、作用データ２４ｃにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されていたものとする。この場合、表示装置１は、図２０のステップＳ１５に示すように、指Ｆ１に押されたように３次元オブジェクトＯＢ１を指Ｆ１の進行方向へ移動させる。図２０のステップＳ１５では、３次元オブジェクトＯＢ１は、底面Ｂ１に支持されているため、剛体によって印加される力の底面Ｂ１と水平方向の成分に従って移動している。

このように、３次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ２４ｂおよび作用データ２４ｃに基づいて３次元オブジェクトＯＢ１を変化させることにより、３次元オブジェクトを操作に応じて様々に変化させることができる。押すという操作は、現実の世界の様々な場面で利用されている操作であり、３次元オブジェクトＯＢ１を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができる。

３次元オブジェクトを操作するために用いられる物体は、指に限定されず、手、足、棒、器具等であってもよい。押す操作に応じて３次元オブジェクトを変化させる態様は、現実の物理法則に則していてもよいし、現実ではあり得ないものであってもよい。

表示装置１は、３次元オブジェクトに対する操作を検出する空間を操作可能範囲５１に限定してもよい。操作可能範囲５１は、例えば、表示装置１を装着している利用者の手が届く範囲である。このように、３次元オブジェクトに対する操作を検出する空間を限定することにより、表示装置１が操作を検出するために実行する演算処理の負荷を軽減することができる。

次に、図２１および図２２を参照しながら、３次元オブジェクトを押す操作に関して表示装置１が実行する処理手順の第１の例について説明する。図２１は、３次元オブジェクトの接触検出処理の処理手順を示すフローチャートである。図２１に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

図２１に示すように、制御部２２は、まず、ステップＳＡ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。

続いて、制御部２２は、ステップＳＡ０２として、検出部４４、すなわち、撮影部４０および４２によって所定の物体が検出されたかを判定する。所定の物体は、例えば、利用者の指である。所定の物体が検出されない場合（ステップＳＡ０２，Ｎｏ）、制御部２２は、ステップＳＡ０８として、操作終了が検出されたかを判定する。

操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出される。操作終了が検出された場合（ステップＳＡ０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳＡ０８，Ｎｏ）、制御部２２は、ステップＳＡ０２以降を再実行する。

所定の物体が検出された場合（ステップＳＡ０２，Ｙｅｓ）、制御部２２は、ステップＳＡ０３として、所定の物体の種別を判定する。所定の物体の種別は、例えば、撮影部４０および４２によって撮影された画像中の物体の大きさ、形状、色等に基づいて判定される。続いて、制御部２２は、ステップＳＡ０４として、所定の物体に接触している３次元オブジェクトを探す。所定の物体に接触している３次元オブジェクトがない場合（ステップＳＡ０５，Ｎｏ）、制御部２２は、ステップＳＡ０８へ進む。

所定の物体に接触している３次元オブジェクトがみつかった場合（ステップＳＡ０５，Ｙｅｓ）、制御部２２は、ステップＳＡ０６として、オブジェクトデータ２４ｂに基づいて、所定の物体に接触している３次元オブジェクトの種別を判定する。そして、制御部２２は、ステップＳＡ０７として、後述する操作検出処理を実行する。その後、制御部２２は、ステップＳＡ０８へ進む。

図２２は、操作検出処理の処理手順を示すフローチャートである。図２２に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

図２２に示すように、制御部２２は、まず、ステップＳＢ０１として、所定の物体と３次元オブジェクトの接触時間を取得する。そして、制御部２２は、ステップＳＢ０２として、所定の物体が３次元オブジェクトの内部に移動したかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳＢ０２，Ｎｏ）、制御部２２は、ステップＳＢ０１以降を再実行する。

所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳＢ０２，Ｙｅｓ）、制御部２２は、ステップＳＢ０３として、接触時間が所定時間以上であるかを判定する。接触時間が所定時間よりも短い場合（ステップＳＢ０３，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。

接触時間が所定時間以上の場合（ステップＳＢ０３，Ｙｅｓ）、制御部２２は、ステップＳＢ０４として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳＢ０５として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。

続いて、制御部２２は、ステップＳＢ０６として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳＢ０６，Ｎｏ）、制御部２２は、ステップＳＢ０４以降を再実行する。

所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳＢ０６，Ｙｅｓ）、制御部２２は、ステップＳＢ０７として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。

３次元オブジェクトの変化が継続する場合（ステップＳＢ０７，Ｙｅｓ）、制御部２２は、ステップＳＢ０８として、３次元オブジェクトを変化させ、その後、ステップＳＢ０７以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳＢ０７，Ｎｏ）、制御部２２は、操作検出処理を終了させる。

上述してきたように、第１の例では、押す操作に応じて３次元オブジェクトを多様に変化させ、それにより、利用者に対して利便性の高い操作方法を提供することができる。

３次元オブジェクトを押す操作に関する処理手順の第２の例について説明する。第２の例における接触検出処理は、第１の例における接触検出処理と同一である。そこで、第２の例については、第１の例と重複する説明は省略し、主として、操作検出処理について説明する。

まず、図２３を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図２３は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図２３に示すステップＳ２１では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触させ、ステップＳ２２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させている。

表示装置１は、表示空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触した後に３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。さらに、表示装置１は、ステップＳ２３に示すように、３次元オブジェクトＯＢ１を、あたかもステップＳ２１の段階で既に押す操作の対象として選択されていたかのように、接触検出以降の指Ｆ１による操作に応じて変化させる。

このように、物体と３次元オブジェクトの接触を検出した後は、物体がその場に留まらなくても押す操作を検出可能にすることにより、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。また、接触後に物体が３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続することを条件として付加することにより、例えば、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択される可能性を低くすることができる。

次に、図２４を参照しながら、第２の例における操作検出処理の処理手順について説明する。図２４は、操作検出処理の処理手順を示すフローチャートである。図２４に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。接触検出処理の処理手順は、図２１に示した手順と同様である。

図２４に示すように、制御部２２は、まず、ステップＳＣ０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳＣ０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。

所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳＣ０１，Ｙｅｓ）、制御部２２は、ステップＳＣ０２として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合（ステップＳＣ０２，Ｎｏ）、制御部２２は、ステップＳＣ０１以降を再実行する。

接触時間が所定時間以上の場合（ステップＳＣ０２，Ｙｅｓ）、制御部２２は、ステップＳＣ０３として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳＣ０４として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。

続いて、制御部２２は、ステップＳＣ０５として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳＣ０５，Ｎｏ）、制御部２２は、ステップＳＣ０３以降を再実行する。

所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳＣ０５，Ｙｅｓ）、制御部２２は、ステップＳＣ０６として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。

３次元オブジェクトの変化が継続する場合（ステップＳＣ０６，Ｙｅｓ）、制御部２２は、ステップＳＣ０７として、３次元オブジェクトを変化させ、その後、ステップＳＣ０６以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳＣ０６，Ｎｏ）、制御部２２は、操作検出処理を終了させる。

上述してきたように、第２の例では、指等の物体が３次元オブジェクトに接触する状態が所定時間以上継続しなくても押す操作が認識されることとしたので、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。

３次元オブジェクトを押す操作に関する処理手順の第３の例について説明する。第３の例における接触検出処理は、第１の例における接触検出処理と同一である。そこで、第３の例では、第１の例と重複する説明は省略し、主として、操作検出処理について説明する。

まず、図２５および図２６を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図２５および図２６は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図２５に示すステップＳ３１では、表示空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、利用者は、指Ｆ１を３次元オブジェクトＯＢ１と接触させている。

ここで、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。表示装置１は、３次元オブジェクトＯＢ１に接触した物体が３次元オブジェクトＯＢ１の内側に移動したことを検出すると、ステップＳ３２に示すように、その時点から、３次元オブジェクトＯＢ１を指Ｆ１による操作に応じて変化させる。図２５に示す例では、ステップＳ３２において、３次元オブジェクトＯＢ１は、指Ｆ１の移動に合わせて移動を開始している。

そして、表示装置１は、ステップＳ３３に示すように、指Ｆ１が３次元オブジェクトＯＢ１の内側へ向けて移動することが所定時間以上継続した段階で、３次元オブジェクトＯＢ１を操作対象として確定する。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として確定したことを利用者に通知する。その後も、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出される間、表示装置１は、３次元オブジェクトＯＢ１を変化させ続ける。

図２６のステップＳ３４に示すように、所定時間が経過する前に指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出されなくなった場合、表示装置１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳ３１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。

このように、３次元オブジェクトの内側への物体の侵入が検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。意図しない３次元オブジェクトが選択された場合、利用者は、所定時間が経過する前に操作を中止することにより、意図せずに選択された３次元オブジェクトを元の状態に戻すことができる。

指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも操作対象としての選択が確定した状態とも異なる態様（例えば、半透明）で表示してもよい。このように表示態様を変更することにより、利用者が３次元オブジェクトの状態を判別しやすくなる。

次に、図２７を参照しながら、第３の例における操作検出処理の処理手順について説明する。図２７は、操作検出処理の処理手順を示すフローチャートである。図２７に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。接触検出処理の処理手順は、図２１に示した手順と同様である。

図２７に示すように、制御部２２は、まず、ステップＳＤ０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳＤ０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。

所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳＤ０１，Ｙｅｓ）、制御部２２は、ステップＳＤ０２として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳＤ０３として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。

続いて、制御部２２は、ステップＳＤ０４として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合、すなわち、３次元オブジェクトが押す操作の対象として確定していない場合（ステップＳＤ０４，Ｎｏ）、制御部２２は、ステップＳＤ０５として、所定の物体の３次元オブジェクトの内部方向への移動が継続しているかを判定する。

３次元オブジェクトの内部方向への移動が継続している場合（ステップＳＤ０５，Ｙｅｓ）、制御部２２は、ステップＳＤ０２以降を再実行する。３次元オブジェクトの内部方向への移動が継続していない場合（ステップＳＤ０５，Ｎｏ）、制御部２２は、ステップＳＤ０６として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。

接触検出からの経過時間が所定時間以上である場合（ステップＳＤ０４，Ｙｅｓ）、制御部２２は、ステップＳＤ０７として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳＤ０７，Ｎｏ）、制御部２２は、ステップＳＤ０２以降を再実行する。

所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳＤ０７，Ｙｅｓ）、制御部２２は、ステップＳＤ０８として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。

３次元オブジェクトの変化が継続する場合（ステップＳＤ０８，Ｙｅｓ）、制御部２２は、ステップＳＤ０９として、３次元オブジェクトを変化させ、その後、ステップＳＤ０８以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳＤ０８，Ｎｏ）、制御部２２は、操作検出処理を終了させる。

上述してきたように、第３の例では、押す操作が検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が、押す操作の対象となっている３次元オブジェクトを認識しやすい。

３次元オブジェクトに関する操作として、３次元オブジェクトを押す操作について説明したが、表示装置１が３次元オブジェクトに関して検出する操作は、押す操作に限定されない。表示装置１は、利用者が３次元オブジェクトを摘んで行う操作も検出することができる。以下に３次元オブジェクトを摘んで行う操作について説明する。

図２８を参照しながら、３次元オブジェクトを摘んで行う操作の検出について説明する。図２８は、３次元オブジェクトを摘んで行う操作の検出について説明するための図である。図２８に示すステップＳ４１では、表示空間５０中に、３次元オブジェクトＯＢ１が立体的に表示されている。

ここで、利用者が３次元オブジェクトＯＢ１を摘んで何らかの操作を行いたいものとする。３次元オブジェクトＯＢ１を摘んで何らかの操作を行うには、まず、操作の対象として３次元オブジェクトＯＢ１を選択する必要がある。３次元オブジェクトＯＢ１を選択するために、利用者は、ステップＳ４２に示すように、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させ、その状態を所定時間以上維持する。

表示装置１は、表示空間内で２つの現実の物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。

２つの物体の間に３次元オブジェクトＯＢ１が位置しているかの判定は、現実の空間における２つの物体の位置と、３次元オブジェクトＯＢ１の形状、姿勢、仮想空間における位置等に基づいて行われる。現実の空間での位置と仮想空間における位置との比較は、一方の空間の位置を上記の所定の規則に基づいて他方の空間の位置へ換算することによって行ってもよいし、両方の空間の位置を比較用の空間の位置へ換算することによって行ってもよい。現実の物体として指が検出された場合、指のつま先の位置を物体の位置として処理してもよい。

このように、表示装置１は、指等の現実の物体の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が選択されたと判定する。指の間に３次元オブジェクトＯＢ１を挟むように指を配置するという操作は、人間が現実の空間の何かを選択するために何かを摘む操作と類似している。そのため、かかる操作は、３次元オブジェクトを選択するための操作として、直感的で分かりやすい。また、状態が所定時間以上継続して検出されることを条件として付加することにより、例えば、他の３次元オブジェクトを選択するために指を移動させる過程で、意図しない３次元オブジェクトが選択される可能性を低くすることができる。

表示装置１は、３次元オブジェクトＯＢ１が選択状態になったと判定した後、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。

次に、図２９および図３０を参照しながら、３次元オブジェクトを摘んで行う操作に関して表示装置１が実行する処理手順の第１の例について説明する。図２９は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図２９に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

図２９に示すように、制御部２２は、まず、ステップＳＥ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。

続いて、制御部２２は、ステップＳＥ０２として、検出部４４、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体は、現実の物体、例えば、利用者の指である。第１の物体および第２の物体が検出されない場合（ステップＳＥ０２，Ｎｏ）、制御部２２は、ステップＳＥ１０として、操作終了が検出されたかを判定する。

操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出される。操作終了が検出された場合（ステップＳＥ１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳＥ１０，Ｎｏ）、制御部２２は、ステップＳＥ０２以降を再実行する。

第１の物体および第２の物体が検出された場合（ステップＳＥ０２，Ｙｅｓ）、制御部２２は、ステップＳＥ０３として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳＥ０４，Ｎｏ）、制御部２２は、ステップＳＥ１０へ進む。

第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳＥ０４，Ｙｅｓ）、制御部２２は、ステップＳＥ０５として、第１の物体と第２の物体との間に３次元オブジェクトが位置している時間を取得する。取得した時間が所定時間未満の場合（ステップＳＥ０６，Ｎｏ）、制御部２２は、ステップＳＥ１０へ進む。

取得した時間が所定時間以上の場合（ステップＳＥ０６，Ｙｅｓ）、制御部２２は、ステップＳＥ０７として、第１の物体と第２の物体の距離を算出する。また、制御部２２は、ステップＳＥ０８として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを選択状態にする。そして、制御部２２は、ステップＳＥ０９として、後述する操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部２２は、ステップＳＥ１０へ進む。

図３０は、操作検出処理の処理手順を示すフローチャートである。図３０に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

図３０に示すように、制御部２２は、まず、ステップＳＦ０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＦ０２として、操作検出処理の開始時点以降の第１の物体と第２の物体の距離がほぼ一定であるかを判定する。距離がほぼ一定とは、例えば、現時点での第１の物体と第２の物体の距離の変化量が、操作検出処理の開始時点の距離と比較して、所定の範囲（第１の物体および第２の物体が通常の速度で移動した場合の距離の最大変化量の±１０％等）以内に収まっていることを意味する。また、第１の物体と第２の物体の距離が操作検出処理の開始時点以降縮まり続けている場合（第１の物体および第２の物体が３次元オブジェクトを押しつぶす方向に移動している場合）に、距離がほぼ一定であると判定してもよい。また、手振れ等の範囲内でしか両者の距離が変化していない場合に、距離がほぼ一定であると判定してもよい。

第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳＦ０２，Ｙｅｓ）、制御部２２は、ステップＳＦ０３として、第１の物体および第２の物体の移動速度を算出する。続いて、制御部２２は、ステップＳＦ０４として、算出した移動速度が閾値以下であるかを判定する。ここで用いられる閾値は、例えば、人がものを放り投げるときの指先の移動速度である。また、閾値と比較される移動速度は、第１の物体の移動速度と第２の物体の移動速度の平均であってもよいし、いずれか速い方であってもよいし、いずれか遅い方であってもよい。

移動速度が閾値以下の場合（ステップＳＦ０４，Ｙｅｓ）、制御部２２は、ステップＳＦ０５として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトに変化を加える。例えば、第１の物体および第２の物体の右方向への移動が検出された場合、制御部２２は、第１の物体および第２の物体の移動に合わせて３次元オブジェクトを右方向へ移動させる。第１の物体および第２の物体の左回りでの回転が検出された場合、制御部２２は、第１の物体および第２の物体の回転に合わせて３次元オブジェクトを左回りで回転させる。移動と回転が同時に検出された場合、移動と回転が同時に実行される。３次元オブジェクトの移動や回転に対する障害物がある場合、３次元オブジェクトが障害物に接触した時点で３次元オブジェクトの移動や回転を停止させてもよい。障害物は、現実の物体でもよいし、他の３次元オブジェクトでもよい。その後、制御部２２は、ステップＳＦ０１以降を再実行する。

移動速度が閾値より速い場合（ステップＳＦ０４，Ｎｏ）、制御部２２は、ステップＳＦ０６として、３次元オブジェクトを消去する。３次元オブジェクトを消去するに際して、３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。そして、制御部２２は、操作検出処理を終了させる。このように、３次元オブジェクトを放り投げるように第１の物体および第２の物体が高速で移動した場合に３次元オブジェクトを消去することにより、直感的な操作によって３次元オブジェクトの消去を実現することができる。第１の物体および第２の物体を高速で移動させる操作ではなく、例えば、３次元オブジェクトを握りつぶす操作に３次元オブジェクトの消去を割り当ててもよい。また、３次元オブジェクトを消去する代わりに、３次元オブジェクトを当初の配置場所に戻すこととしてもよい。表示装置１は、ステップＳＦ０３、ＳＦ０４およびステップＳＦ０６の処理を行わなくてもよい。すなわち、表示装置１は、ステップＳＦ０２で第１の物体と第２の物体の距離がほぼ一定と判定した場合には、２つの物体の移動速度にかかわらず、ステップＳＦ０５を実行してもよい。

第１の物体と第２の物体の距離がほぼ一定でない場合（ステップＳＦ０２，Ｎｏ）、制御部２２は、ステップＳＦ０７として、距離が、３次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合（ステップＳＦ０７，Ｙｅｓ）、制御部２２は、ステップＳＦ０８として、３次元オブジェクトの選択状態を解除する。第１の物体と第２の物体の距離を拡大するという操作は、摘んでいる現実のオブジェクトを放す操作と類似している。そのため、かかる操作は、３次元オブジェクトの選択を解除するための操作として、直感的で分かりやすい。

続いて、制御部２２は、ステップＳＦ０９として、選択状態を解除した３次元オブジェクトを重力等に従って移動させる。そして、制御部２２は、操作検出処理を終了させる。ここでの移動は、例えば、３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい。３次元オブジェクトが床やテーブルに衝突するときの衝撃の大きさを算出し、衝撃が所定の値よりも大きい場合には３次元オブジェクトを破損したように表示してもよい。また、実際の重力が働く場合よりも３次元オブジェクトをゆっくりと移動させてもよい。

第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合（ステップＳＦ０７，Ｎｏ）、制御部２２は、ステップＳＦ１０として、距離に応じて３次元オブジェクトを変形させる。そして、制御部２２は、ステップＳＦ０１以降を再実行する。３次元オブジェクトを変形させる程度は、例えば、３次元オブジェクトに属性として設定されている弾性に応じて変更してもよい。制御部２２は、ゴムボールを模した３次元オブジェクトのように属性として低い硬度を設定されているオブジェクトについては、第１の物体と第２の物体の距離が縮まるに応じて変形の度合いを高めてよい。また、制御部２２は、積み木を模した３次元オブジェクトのように属性として高い硬度を設定されているオブジェクトについては、第１の物体と第２の物体の距離が縮まっても変形の度合いを小さく保ってよい。

第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合に、表示装置１は、３次元オブジェクトを変形させるのではなく縮小させてもよい。第１の物体と第２の物体の距離が所定の値以下になった場合に、表示装置１は、３次元オブジェクトを破損したように表示してもよい。

上述してきたように、第１の例では、指等の物体の間に３次元オブジェクトが位置する状態が所定時間以上継続した場合に３次元オブジェクトが選択されることとしたので、３次元オブジェクトの選択を直感的で分かりやすい操作により実現することができる。

図３１に示すように、表示装置１は、第１の物体と第２の物体のうち少なくとも一方が３次元オブジェクトに接触している状態が所定時間以上継続することを、３次元オブジェクトを選択する条件としてもよい。３次元オブジェクトへの接触を選択の条件とすることにより、複数の３次元オブジェクトが近接して表示されている場合に、利用者が所望の３次元オブジェクトを選択し易くなる。

３次元オブジェクトを摘んで行う操作に関する処理手順の第２の例について説明する。第２の例における操作検出処理は、第１の例における操作検出処理と同一である。そこで、第２の例については、第１の例と重複する説明は省略し、主として、選択検出処理について説明する。

まず、図３２を参照しながら、３次元オブジェクトを摘んで行う操作の検出について説明する。図３２は、３次元オブジェクトを摘んで行う操作の検出について説明するための図である。図３２に示すステップＳ５１では、表示空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。

表示装置１は、表示空間内で２つの現実の物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する場合、２つの物体の距離の変化を監視する。そして、距離が所定時間以上ほぼ一定であれば、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。

表示装置１が２つの物体の距離の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳ５１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。

ステップＳ５１の状態から、ステップＳ５２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、表示装置１は、ステップＳ５３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。そして、表示装置１は、３次元オブジェクトＯＢ１を、あたかもステップＳ５１の段階で既に選択されていたかのように、指Ｆ１および指Ｆ２の間に移動させる。表示装置１は、ステップＳ５１からステップＳ５３までの指Ｆ１と指Ｆ２の動きを記憶しておき、記憶しておいた動きに合わせて３次元オブジェクトＯＢ１を回転等させてもよい。その後、表示装置１は、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。

このように、２つの物体が３次元オブジェクトを挟む位置に一旦移動した後は、物体がその場に留まらなくても３次元オブジェクトを選択可能にすることにより、利用者は、３次元オブジェクトを選択した後の操作を迅速に開始することができる。

次に、図３３を参照しながら、第２の例における選択検出処理の処理手順について説明する。図３３は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図３３に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

図３３に示すように、制御部２２は、まず、ステップＳＧ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。続いて、制御部２２は、ステップＳＧ０２として、検出部４４、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳＧ０２，Ｎｏ）、制御部２２は、ステップＳＧ１４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。仮選択状態とは、２つの物体の間に３次元オブジェクトが表示されている状態が検出された後、２つの物体の距離がほぼ一定に保たれているかが監視されている状態である。

そして、制御部２２は、ステップＳＧ１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳＧ１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳＧ１５，Ｎｏ）、制御部２２は、ステップＳＧ０２以降を再実行する。

第１の物体および第２の物体が検出された場合（ステップＳＧ０２，Ｙｅｓ）、制御部２２は、ステップＳＧ０３として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳＧ０３，Ｎｏ）、制御部２２は、ステップＳＧ０４として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳＧ０５，Ｎｏ）、制御部２２は、ステップＳＧ１５へ進む。

第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳＧ０５，Ｙｅｓ）、制御部２２は、ステップＳＧ０６として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳＧ０７として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＧ１５へ進む。

第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳＧ０３，Ｙｅｓ）、制御部２２は、ステップＳＧ０８として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＧ０９として、距離がほぼ一定であるかを判定する。距離がほぼ一定でない場合（ステップＳＧ０９，Ｎｏ）、制御部２２は、ステップＳＧ１４として、仮選択状態の３次元オブジェクトの仮選択状態を解除する。そして、制御部２２は、ステップＳＧ１５へ進む。

第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳＧ０９，Ｙｅｓ）、制御部２２は、ステップＳＧ１０として、距離がほぼ一定に保たれている期間が所定時間以上であるかを判定する。距離がほぼ一定に保たれている期間が所定時間未満の場合（ステップＳＧ１０，Ｎｏ）、制御部２２は、ステップＳＧ１５へ進む。

距離がほぼ一定に保たれている期間が所定時間以上の場合（ステップＳＧ１０，Ｙｅｓ）、制御部２２は、ステップＳＧ１１として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを選択状態にする。また、制御部２２は、ステップＳＧ１２として、第１の物体と第２の物体との間に３次元オブジェクトを移動させる。そして、制御部２２は、ステップＳＧ１３として、図３０に示した操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部２２は、ステップＳＧ１５へ進む。

上述してきたように、第２の例では、指等の物体の間に３次元オブジェクトが位置した後、物体の距離が所定時間以上ほぼ一定に保たれた場合に３次元オブジェクトが選択されることとしたので、利用者は、３次元オブジェクトの選択後の操作を迅速に開始することができる。

図３４に示すステップＳ６１からステップＳ６３のように、表示装置１は、第１の物体と第２の物体のうち少なくとも一方が３次元オブジェクトに接触した後に第１の物体と第２の物体の距離が所定時間以上ほぼ一定に保たれることを、３次元オブジェクトを選択する条件としてもよい。３次元オブジェクトへの接触を選択の条件とすることにより、複数の３次元オブジェクトが近接して表示されている場合に、利用者が所望の３次元オブジェクトを選択し易くなる。

３次元オブジェクトを摘んで行う操作に関する処理手順の第３の例について説明する。第３の例については、第１の例と重複する説明は省略し、主として、選択検出処理および操作検出処理について説明する。

まず、図３５および図３６を参照しながら、３次元オブジェクトを摘んで行う操作の検出について説明する。図３５および図３６は、３次元オブジェクトを摘んで行う操作の検出について説明するための図である。図３５に示すステップＳ７１では、表示空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。

表示装置１が２つの物体の距離の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳ７１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。

ステップＳ７１の状態から、ステップＳ７２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、表示装置１は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が表示されていることが検出された段階、すなわち、ステップＳ７１の段階から、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。そして、表示装置１は、ステップＳ７３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。

図３６のステップＳ７４に示すように、所定時間が経過する前に指Ｆ１と指Ｆ２の距離Ｄ１が拡大した場合、すなわち、選択が行われなかった場合、表示装置１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳ７１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。

このように、２つの物体の間に３次元オブジェクトが表示されていることが検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。表示装置１は、２つの物体の距離がほぼ一定に保たれた状態が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも選択状態とも異なる態様（例えば、半透明）で表示することにより、利用者が３次元オブジェクトの状態を判別しやすくしてもよい。

次に、図３７および図３８を参照しながら、３次元オブジェクトを摘んで行う操作に関して表示装置１が実行する処理手順について説明する。図３７は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図３７に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

図３７に示すように、制御部２２は、まず、ステップＳＨ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。続いて、制御部２２は、ステップＳＨ０２として、検出部４４、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳＨ０２，Ｎｏ）、制御部２２は、ステップＳＨ１０として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。

そして、制御部２２は、ステップＳＨ１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳＨ１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳＨ１１，Ｎｏ）、制御部２２は、ステップＳＨ０２以降を再実行する。

第１の物体および第２の物体が検出された場合（ステップＳＨ０２，Ｙｅｓ）、制御部２２は、ステップＳＨ０３として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳＨ０３，Ｎｏ）、制御部２２は、ステップＳＨ０４として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳＨ０５，Ｎｏ）、制御部２２は、ステップＳＨ１１へ進む。

第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳＨ０５，Ｙｅｓ）、制御部２２は、ステップＳＨ０６として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳＨ０７として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＨ１１へ進む。

第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳＨ０３，Ｙｅｓ）、制御部２２は、ステップＳＨ０８として、第１の物体と第２の物体の少なくとも一方が移動しているかを判定する。第１の物体と第２の物体のいずれも移動していない場合（ステップＳＨ０８，Ｎｏ）、制御部２２は、ステップＳＨ１１へ進む。

第１の物体と第２の物体の少なくとも一方が移動している場合（ステップＳＨ０８，Ｙｅｓ）、制御部２２は、ステップＳＨ０９として、図３８に示す操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部２２は、ステップＳＨ１１へ進む。

図３８は、操作検出処理の処理手順を示すフローチャートである。図３８に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図３８に示すように、制御部２２は、まず、ステップＳＩ０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＩ０２として、操作検出処理の開始時点以降の第１の物体と第２の物体の距離がほぼ一定であるかを判定する。

第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳＩ０２，Ｙｅｓ）、制御部２２は、ステップＳＩ０３として、操作検出処理が開始されてから所定時間が経過したかを判定する。所定時間が経過していた場合（ステップＳＩ０３，Ｙｅｓ）、制御部２２は、ステップＳＩ０４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトを選択状態にする。所定時間が経過していない場合（ステップＳＩ０３，Ｎｏ）、ステップＳＩ０４は実行されない。

続いて、制御部２２は、ステップＳＩ０５として、第１の物体および第２の物体の移動速度を算出する。そして、制御部２２は、ステップＳＩ０６として、算出した移動速度が閾値以下であるかを判定する。移動速度が閾値以下の場合（ステップＳＩ０６，Ｙｅｓ）、制御部２２は、ステップＳＩ０７として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトを移動させたり回転させたりする。そして、制御部２２は、ステップＳＩ０１以降を再実行する。

移動速度が閾値より速い場合（ステップＳ７０６，Ｎｏ）、制御部２２は、ステップＳＩ０８として、３次元オブジェクトを消去する。３次元オブジェクトを消去するに際して、３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。そして、制御部２２は、操作検出処理を終了させる。第１の物体および第２の物体を高速で移動させる操作ではなく、例えば、３次元オブジェクトを握りつぶす操作に３次元オブジェクトの消去を割り当ててもよい。３次元オブジェクトを消去する代わりに、３次元オブジェクトを当初の配置場所に戻すこととしてもよい。表示装置１は、ステップＳＩ０５、ＳＩ０６およびステップＳＩ０８の処理を行わなくてもよい。すなわち、表示装置１は、ステップＳＩ０３でＮｏと判定した場合またはステップＳＩ０４を実行した後に、２つの物体の移動速度にかかわらず、ステップＳＩ０７を実行してもよい。

第１の物体と第２の物体の距離がほぼ一定でない場合（ステップＳＩ０２，Ｎｏ）、制御部２２は、ステップＳＩ０９として、距離が、３次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合（ステップＳＩ０９，Ｙｅｓ）、制御部２２は、ステップＳＩ１０として、第１の物体と第２の物体の間に表示されていた３次元オブジェクトが仮選択状態であるかを判定する。

３次元オブジェクトが仮選択状態である場合（ステップＳＩ１０，Ｙｅｓ）、制御部２２は、ステップＳＩ１１として、３次元オブジェクトの仮選択状態を解除する。また、制御部２２は、ステップＳＩ１２として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。

３次元オブジェクトが仮選択状態でない場合、すなわち、選択状態の場合（ステップＳＩ１０，Ｎｏ）、制御部２２は、ステップＳＩ１３として、３次元オブジェクトの選択状態を解除する。また、制御部２２は、ステップＳＩ１４として、選択状態を解除した３次元オブジェクトを重力等に従って移動させる。そして、制御部２２は、操作検出処理を終了させる。ここでの移動は、例えば、３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい。３次元オブジェクトが床やテーブルに衝突するときの衝撃の大きさを算出し、衝撃が所定の値よりも大きい場合には３次元オブジェクトを破損したように表示してもよい。また、実際の重力が働く場合よりも３次元オブジェクトをゆっくりと移動させてもよい。

第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合（ステップＳＩ０９，Ｎｏ）、制御部２２は、ステップＳＩ１５として、距離に応じて３次元オブジェクトを変形させる。そして、制御部２２は、ステップＳＩ０１以降を再実行する。３次元オブジェクトを変形させる程度は、例えば、３次元オブジェクトに属性として設定されている硬度に応じて変更してもよい。

上述してきたように、第３の例では、指等の物体の間に３次元オブジェクトが位置していることが検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が３次元オブジェクトの選択を認識しやすい。

図３９に示すステップＳ８１からステップＳ８３のように、第１の物体と第２の物体のうち少なくとも一方が３次元オブジェクトに接触した後に第１の物体と第２の物体の距離が所定時間以上ほぼ一定に保たれることを、３次元オブジェクトを選択する条件としてもよい。３次元オブジェクトへの接触を選択の条件とすることにより、複数の３次元オブジェクトが近接して表示されている場合に、利用者が所望の３次元オブジェクトを選択し易くなる。

上記の実施例において説明した表示装置１は各種の用途に適用できる。操作の対象となる３次元オブジェクト（表示物）は、例えば、本、積み木、スプーン、箸、トランプ、粘土、楽器のように現実に存在するものを模したオブジェクトであってもよいし、仮想のアバター、ゲームのキャラクター、仮想現実のＡＲタグのように実在はしないオブジェクトであってもよい。また、検出された操作に応じて３次元オブジェクトに加えられる変化は、上記の移動、変形、消失等に限定されない。また、押す操作に応じて３次元オブジェクトに加えられる変化は、上記の実施例に限定されず、３次元オブジェクトの種類に応じて変更してよい。

例えば、粘土を模した３次元オブジェクト（以下、単に「粘土」という）を操作対象とする場合、押す操作に応じて粘土を変形させて、利用者が粘土を任意の形に成形できるようにしてもよい。また、時間の経過にしたがって、あたかも粘土が乾いていくかのように、粘土の粘性を低下させていってもよい。また、水の３次元オブジェクトに浸けた指や手で粘土を押す操作が検出された場合に、粘土の粘性を向上させてもよい。

また、レコード盤を模した３次元オブジェクト（以下、単に「レコード盤」という）を操作対象とする場合、押す操作に応じてレコード盤が支点を中心として回転するとともに、音を再生するようにしてもよい。回転と音の再生を連動させることにより、ディスクジョッキーによるスクラッチ等の技法を仮想的に実現してもよい。

表示装置１を、ネットワークを介した商品販売に適用した例について説明する。図４０から図４４は、表示装置１を、ネットワークを介したピザの販売に適用した例について説明するための図である。

図４０は、ピザの発注処理の開始について説明するための図である。ピザの発注を開始するに際にして、利用者は、表示装置１を装着し、ある程度の広さの平面がある場所を見る。例えば、利用者がテーブルＴ１を見ると、表示装置１は、実際のテーブルＴ１が写った画像Ｐ３ｈを表示する。表示装置１は、利用者の指示に従って通信部１６による通信によってピザの販売サイトからオブジェクトデータ２４ｂ、作用データ２４ｃ、および仮想空間データ２４ｄを取得し、取得したデータに基づいて仮想空間を生成する。生成した仮想空間の画像と現実の空間の画像を重ねることにより、表示装置１は、画像Ｐ３ｉを表示する。

画像Ｐ３ｉにおいては、テーブルＴ１上に複数の３次元オブジェクトが配置されている。配置されている３次元オブジェクトは、大きな生地６１Ｌと、中くらいの生地６１Ｍと、小さな生地６１Ｓと、セサミ、トマト、チーズ等のトッピングが入ったケース６２ａ〜６２ｆと、棒６３と、ケチャップチューブ６４と、オーブン６５とを含む。生地６１Ｌは、Ｌサイズのピザ用の生地であり、生地６１Ｍは、Ｍサイズのピザ用の生地であり、生地６１Ｓは、Ｓサイズのピザ用の生地である。このように、ピザの発注処理を開始することにより、ピザの材料およびオーブン６５が３次元オブジェクトとして、平面上に配置される。

表示装置１は、予め記憶部２４に記憶されているオブジェクトデータ２４ｂ、作用データ２４ｃ、および仮想空間データ２４ｄを用いて、ピザの材料およびオーブン６５を表示してもよい。

図４１は、生地の大きさと厚みを決める工程について説明するための図である。図４１のステップＳ１１１として、利用者は、生地６１Ｍを手Ｈ１で掴んでいる。掴むことによって生地６１Ｍは、選択され、手Ｈ１の移動に応じて移動する状態となる。ステップＳ１１２では、利用者は、生地６１ＭをテーブルＴ１の平面のほぼ中央に置き、棒６３を手Ｈ１で掴んでいる。掴むことによって棒６３は、選択され、手Ｈ１の移動に応じて移動する状態となる。

ステップＳ１１３において、利用者は、棒６３を生地６１Ｍの上に置き、手Ｈ１およびＨ２で回転させている。オブジェクトデータ２４ｂにおいて、棒６３は、剛体と定義され、生地６１Ｍは、塑性体と定義されている。そして、作用データ２４ｃにおいて、塑性体は、剛体によって押された場合、押された部分が凹むと定義されている。このため、利用者が生地６１Ｍの上で棒６３を回転させると、生地６１Ｍは、円状に延ばされて薄くなっていく。利用者は、ステップＳ１１４のように生地６１Ｍが所望の大きさと厚みになるまで、生地６１Ｍの上で棒６３を回転させる。

生地の大きさと厚みを決める操作は図４１に示した例に限定されない。例えば、利用者が生地６１Ｍを両手で挟んだ後に両手の間隔を広げていくと、生地６１Ｍが両手の間隔を直径とする円状に延ばされていくこととしてもよい。あるいは、利用者が生地６１Ｍの一部を２本の指で摘むと、生地６１Ｍ全体が、２本の指の間隔を厚みとする円状の薄い形に変形することとしてもよい。これらの操作では、手の間隔または指の間隔を調整することにより、生地の大きさと厚みを容易に調整することができる。

図４２は、トッピングを載せる工程について説明するための図である。図４２のステップＳ１１５として、利用者は、手Ｈ１の指でケース６２ｄに入っているセサミを摘んでいる。摘むことによってセサミは、選択され、手Ｈ１の移動に応じて移動する状態となる。ステップＳ１１６では、利用者は、セサミを生地６１Ｍ上の所望の位置まで移動させた後、手Ｈ１の指の間隔を広げている。この結果、セサミは、生地６１Ｍ上の所望の位置に配置される。

同様の操作を繰り返すことにより、利用者は、所望のトッピングを、所望の量、所望の位置に配置する。

ステップＳ１１７では、利用者は、手Ｈ１でケチャップチューブ６４を掴んでいる。掴むことによってケチャップチューブ６４は、選択され、手Ｈ１の移動に応じて移動する状態となる。ステップＳ１１８では、利用者は、出口を下向きにしてケチャップチューブ６４を持ち、腹の部分を押しながら生地６１Ｍの上を移動させている。作用データ２４ｃにおいて、チューブは、腹の部分を押された場合に内容物が出口から押し出されるように定義されている。この作用を利用して、ステップＳ１１８では、利用者によって、生地６１Ｍの上にケチャップで絵が描かれている。

図４３は、ピザを発注する工程について説明するための図である。図４３のステップＳ１１９として、利用者は、手Ｈ１でオーブン６５の前扉を開けている。利用者は、ステップＳ１２０では、手Ｈ１およびＨ２で生地６１Ｍを持ってオーブン６５内に入れ、ステップＳ１２１では、手Ｈ１の指でオーブン６５のスイッチを押している。

このように、ピザを加熱するための動作を行うと、ピザの発注が確定し、ピザの販売サイトに発注データが送信される。商品を作成するための最後の工程を、発注の実行に対応付けることにより、利用者は、商品を作成する工程を追いながら、無駄な操作をすることなく直感的に発注を実行することができる。ピザを発注するための操作は、他の操作であってもよい。例えば、ピザの材料とともに表示される発注用のボタンを有する３次元オブジェクトを表示し、このボタンを押す操作をピザを発注するための操作としてもよい。

発注データは、ピザの価格を決める目的と、発注されたピザを再現する目的とに利用される。発注データには、選択された生地の大きさ、延ばされた生地の大きさおよび厚み、トッピングの種類、量、位置等に関する情報が含まれる。発注データは、利用者が作ったピザの３次元オブジェクトの画像、または利用者がピザの３次元オブジェクトを作ったときの操作の履歴を含んでもよい。これらの情報は、利用者がピザの材料の３次元オブジェクトを操作して実際にピザを作るのと同様の工程を再現する過程で取得される。このため、利用者は、数量の入力のような面倒な操作を行うことなく、出来上がるピザを容易に想像することができる方法でピザを発注することができる。

その後、図４４に示すように、発注データに従って、ピザボックス７１に入ったピザ７２が配達される。ピザ７２は、図４０から図４３で作成されたピザの３次元オブジェクトをできるだけ正確に再現するように調理される。ピザの再現は、調理人が発注データを参照しながら行ってもよい。調理人は、利用者が３次元オブジェクトで作成したピザの画像を見ながら、または、利用者の操作履歴を再現する映像を見ながら、ピザを調理してもよい。あるいは、発注データに基づいて、調理機（ロボット）がピザを調理してもよい。

このように、３次元オブジェクトに対する操作に基づいて発注データを作成することにより、商品を自分の好みにカスタマイズして発注することを容易に実現することができる。

次に、図４５を参照しながら、発注処理の処理手順について説明する。図４５に示す発注処理は、制御部２２が、制御プログラム２４ａを実行することによって実現される。

図４５に示すように、制御部２２は、まず、ステップＳ１３１として、商品に関連する３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。続いて、制御部２２は、ステップＳ１３２として、発注データを初期設定する。具体的には、制御部２２は、現状の３次元オブジェクトが示す商品の状態と、発注データが示す商品の状態とを一致させる。

制御部２２は、ステップＳ１３３として、３次元オブジェクトに対する操作を検出する。そして、制御部２２は、ステップＳ１３４として、検出された操作が、発注の実行に対応付けられた操作であるかを判定する。検出された操作が、発注の実行に対応付けられた操作でない場合（ステップＳ１３４，Ｎｏ）、制御部２２は、ステップＳ１３５へ進む。ステップＳ１３５で、制御部２２は、検出された操作に応じて発注データを更新する。そして、制御部２２は、ステップＳ１３６として、検出された操作に応じて、表示部３２ａおよび３２ｂの表示を更新する。その後、制御部２２は、ステップＳ１３３へ戻る。

ステップＳ１３４において、検出された操作が、発注の実行に対応付けられた操作であった場合（ステップＳ１３４，Ｙｅｓ）、制御部２２は、ステップＳ１３７として、発注処理を実行する。具体的には、制御部２２は、通信部１６による通信によって、発注データを発注先へ送信する。その後、制御部２２は、発注処理を終了する。

上記の発注方式は、ネットワーク経由で他の食べ物を発注する場合にも利用できる。例えば、麺類を発注する場合、麺をゆでる工程と、スープを作る工程と、トッピングを載せる工程とを３次元オブジェクトを用いて再現することにより、麺の量と、麺のゆで加減（硬さ）と、味の濃さと、トッピングの種類、量、および配置とを指定することができる。例えば、弁当を発注する場合、弁当箱におかずを詰める工程と、弁当箱にご飯を詰める工程とを３次元オブジェクトを用いて再現することにより、おかずの種類、量、および配置と、ご飯の量とを指定することができる。例えば、寿司を発注する場合、寿司を握る工程を３次元オブジェクトを用いて再現することにより、寿司ネタの種類と、寿司桶への寿司の並べ方とを指定することができる。

上記の発注方式では、仮想空間を複数の利用者が共有できるようにしてもよい。この場合、複数の利用者が有する表示装置１の１つまたはサーバ装置等の他の装置で仮想空間が管理され、それぞれの表示装置１が検出した操作に関する情報が、通信によって、仮想空間を管理する装置へ送信される。仮想空間を管理する装置は、送信される操作に関する情報に基づいて、仮想空間内の３次元オブジェクトおよび発注データを更新する。このようにして仮想空間を複数の利用者で共有することにより、仮想空間でピザを作る作業を共同で行うことが可能になる。

上記の発注方式は、食べ物以外の商品をネットワーク経由で発注する場合にも応用することができる。例えば、花束またはフラワーアレンジメントを発注する場合、花屋に在庫している花を３次元オブジェクトとして表示してもよい。この場合、利用者は、好みの花の３次元オブジェクトを組み合わせて花束またはフラワーアレンジメントを作成する工程を再現することにより、好みの花が好みの配置で組み合わされた花束またはフラワーアレンジメントを購入することができる。この場合、花屋の店内を３次元オブジェクトで再現し、出来上がった花束またはフラワーアレンジメントをレジまで持っていくことによって発注が行われてもよい。花束またはフラワーアレンジメントは、自宅または送り先へ届けてもらってもよいし、商品が出来上がるタイミングの通知を店に指示するか、店から通知してもらった上で、利用者が花屋を訪れて受け取ってもよい。

上記の発注方式は、衣類およびアクセサリをネットワーク経由で発注する場合にも応用することができる。この場合、利用者は、衣類およびアクセサリの３次元オブジェクトを組み合わせて、コーディネートを確認した上で商品を購入することができる。組み合わせるのは、異なる売り場の商品の３次元オブジェクトであってもよい。さらに、利用者は、商品の３次元オブジェクトを、既に購入済みの現実の衣類またはアクセサリと組み合わせることができる。このように、衣類およびアクセサリを移動等の操作が可能な３次元オブジェクトとして表示することにより、多様な組み合わせを確認しながら商品を購入することができる。

さらに、衣類およびアクセサリを３次元オブジェクトとして現実の空間と重ねて表示することにより、利用者は、商品のサイズを正確に把握することができる。

衣類およびアクセサリをネットワーク経由で発注する場合、商品を、実際の店舗を模した仮想のショッピングモールに陳列してもよい。この場合、商品を空中に浮かせておく等、現実には不可能な展示をすることができる。さらに、紙のカタログと異なり、商品の在庫がなくなったならば、商品を非表示にする等の、在庫と表示を対応させることもできる。また、商品は仮想的に表示されているに過ぎないため、利用者が、いずれの店舗の商品であるかに関わらず、全ての商品の購入代金の支払いを１つの店舗で済ますことができるようにしてもよい。この場合、店舗毎の売り上げの振り分けは、バックグランドの処理において実行される。

商品の発注は、例えば、商品の３次元オブジェクトをレジに持っていくことにより、実行される。あるいは、商品の発注は、クレジットカードを模した３次元オブジェクトを財布から取り出す操作または提示する操作をすることによって実行される。実際の代金の支払いは、予め登録されている実際のクレジットカードによって実行される。

ショッピングモールを含む仮想空間を複数の利用者で共有できるようにしてもよい。この場合、仮想空間におけるそれぞれの利用者の視点に対応する位置に、アバター等の利用者を示す３次元オブジェクトを表示してもよい。利用者を示す３次元オブジェクトを表示することにより、店舗および商品の人気を把握し易くなる。

なお、上記の各実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。また、上記の各実施例を適宜組み合わせてもよい。例えば、上記の実施例で示した制御プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。

また、上記の実施例では、表示装置が単独で３次元オブジェクトに対する操作を検出することとしたが、表示装置がサーバ装置と協業して３次元オブジェクトに対する操作を検出することとしてもよい。この場合、表示装置は、撮影部が撮影した画像または検出部の検出した情報をサーバ装置へ逐次送信し、サーバ装置が操作を検出して検出結果を表示装置へ通知する。このような構成とすることにより、表示装置の負荷を低減することができる。

１〜４表示装置
１ａ前面部
１ｂ側面部
１ｃ側面部
４ｄ外部装置
１３操作部
１６通信部
２２制御部
２４記憶部
２４ａ制御プログラム
２４ｂオブジェクトデータ
２４ｃ作用データ
２４ｄ仮想空間データ
２５検出処理部
２６表示オブジェクト制御部
２７視点制御部
２８画像合成部
３２ａ、３２ｂ表示部
４０、４２撮影部
４４検出部
４６測距部
４８動きセンサ

Claims

表示装置であって、
装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示する表示部と、
当該表示装置の現実の空間における方向の変化を検出するセンサと、
前記センサの検出する前記方向の変化に応じて前記オブジェクトを変化させる制御部と
を備える表示装置。
前記制御部は、前記方向の変化に応じて前記視点の方向を変化させることによって前記オブジェクトを変化させる請求項１に記載の表示装置。
ユーザの両目のそれぞれに対応した画像を撮影する撮影部をさらに備え、
前記制御部は、前記撮影部によって撮影された画像と、前記視点から見た前記オブジェクトの画像とを重ねた画像をそれぞれの目毎に作成して前記表示部に表示させる請求項１または２に記載の表示装置。
前記撮影部の撮影範囲内の現実の物体を検出する検出部をさらに備え、
前記制御部は、前記現実の物体の動きに応じて前記オブジェクトを変化させる請求項３に記載の表示装置。
前記センサは、当該表示装置の現実の空間における位置の変化をさらに検出し、
前記制御部は、前記センサの検出する前記位置の変化に応じて前記視点の位置を変化させる請求項１から４のいずれか１つに記載の表示装置。
前記センサは、前記ユーザが首を振る動作を検出し、
前記制御部は、前記首を振る動作の方向に応じて、前記オブジェクトを変化させる請求項１から５のいずれか１つに記載の表示装置。
表示装置の制御方法であって、
ユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示するステップと、
当該表示装置の現実の空間における方向の変化を検出するステップと、
前記方向の変化に応じて前記オブジェクトを変化させるステップと
を含む制御方法。