JP2007304667A - ユーザインタフェース装置、ユーザインタフェース方法及びプログラム - Google Patents

Abstract

【課題】仮想空間において離間して配置された複数オブジェクトに関する処理をユーザが的確に指示できるようにすること。
【解決手段】複数の画像オブジェクト５２が配置された仮想空間５０の画像を、該仮想空間５０に配置された視点５６の位置に従ってリアルタイムに生成し、該画像を順次表示する仮想空間画像表示手段と、ユーザによる第１の操作に従って、前記仮想空間５０における前記視点５６の位置を変更する視点位置変更手段と、前記ユーザによる第２の操作に従って、前記仮想空間画像表示手段により表示される前記画像に表された前記画像オブジェクト５２の中から１又は複数を選択するオブジェクト選択手段と、を含む。
【選択図】図１０

Description

本発明はユーザインタフェース装置、ユーザインタフェース方法及びプログラムに関する。

仮想空間に各種のオブジェクト及び視点を配置して、視点から仮想空間を見た様子を示す画像をモニタに表示する、いわゆる３次元コンピュータグラフィックスが知られている。かかる技術によれば、視点やオブジェクトの位置をリアルタイムに移動させるとともに、視点から仮想空間を見た様子を示す画像をリアルタイムに更新することで、仮想現実感をユーザに与えることができる。

従来の３次元コンピュータグラフィックスでは、視点から仮想空間を見た様子を示す画像をモニタに表示するので、仮想空間において離間して配置されたオブジェクトを同時にモニタに表示することができず、そうした離間したオブジェクトに関する処理をユーザが的確に指示するのが困難であるという問題があった。

本発明は上記課題に鑑みてなされたものであって、その目的は、仮想空間において離間して配置された複数オブジェクトに関する処理をユーザが的確に指示することができるユーザインタフェース装置、ユーザインタフェース方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係るユーザインタフェース装置は、複数のオブジェクトが配置された仮想空間の画像を、該仮想空間に配置された視点の位置に従ってリアルタイムに生成し、該画像を順次表示する仮想空間画像表示手段と、ユーザによる第１の操作に従って、前記仮想空間における前記視点の位置を変更する視点位置変更手段と、前記ユーザによる第２の操作に従って、前記仮想空間画像表示手段により表示される前記画像に表された前記オブジェクトの中から１又は複数を選択するオブジェクト選択手段と、前記選択されたオブジェクトに関する所定の処理を実行する処理実行手段と、を含むことを特徴とする。

また、本発明の一態様では、前記オブジェクト選択手段は、前記ユーザによる前記第２の操作に従って、前記仮想空間画像表示手段により表示される前記画像における位置又は領域を特定するとともに、該特定される位置又は領域に表された１又は複数の前記オブジェクトの一部又は全部を選択する。

この態様では、前記オブジェクト選択手段は、前記特定される位置又は領域に表された前記各オブジェクトの位置と前記視点の位置との距離に従って、それらのうち一部又は全部を選択してよい。

また、前記オブジェクト選択手段は、前記特定される位置又は領域に表された前記各オブジェクトの属性に従って、それらのうち一部又は全部を選択してよい。

また、前記オブジェクト選択手段は、前記特定される位置又は領域に表された前記各オブジェクトの前記画像において占める面積に従って、それらのうち一部又は全部を選択してよい。

また、本発明の一態様では、前記視点位置変更手段は、前記ユーザによる前記第１の操作に応じて変更される操作装置の姿勢に従って、前記仮想空間における前記視点の位置を変更する。

また、本発明の一態様では、前記処理実行手段は、前記選択されたオブジェクトに関する画像を一括表示する処理を実行する。

また、本発明に係るユーザインタフェース方法は、複数のオブジェクトが配置された仮想空間の画像を、該仮想空間に配置された視点の位置に従ってリアルタイムに生成し、該画像を順次表示する仮想空間画像表示ステップと、ユーザによる第１の操作に従って、前記仮想空間における前記視点の位置を変更する視点位置変更ステップと、前記ユーザによる第２の操作に従って、前記仮想空間画像表示ステップで表示される前記画像に表された前記オブジェクトの中から１又は複数を選択するオブジェクト選択ステップと、前記選択されたオブジェクトに関する所定の処理を実行する処理実行ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、複数のオブジェクトが配置された仮想空間の画像を、該仮想空間に配置された視点の位置に従ってリアルタイムに生成し、該画像を順次表示する仮想空間画像表示手段、ユーザによる第１の操作に従って、前記仮想空間における前記視点の位置を変更する視点位置変更手段、前記ユーザによる第２の操作に従って、前記仮想空間画像表示手段により表示される前記画像に表された前記オブジェクトの中から１又は複数を選択するオブジェクト選択手段、及び前記選択されたオブジェクトに関する所定の処理を実行する処理実行手段としてコンピュータを機能させるためのプログラムである。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理システムの全体構成図である。同図に示すように、この情報処理システム１０は、インターネット等の通信ネットワーク１２に接続された複数の家庭内コンピュータ１８ａ〜１８ｘ、複数の無線通信基地局２０−１〜２０−ｎ及びサーバコンピュータ１４を含んで構成されている。

家庭内コンピュータ１８ａ〜１８ｘは、いずれもそれぞれのユーザの家庭内に設置されるコンピュータであり、家庭用テレビ受像機その他の家電機器に接続されており、いわゆるホームサーバとして機能するようになっている。また、家庭内コンピュータ１８ａ〜１８ｘは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体から読み取ったり、サーバコンピュータ１４からダウンロードしたりして、ゲームプログラムを取得し、これを実行することによりユーザにゲームを提供することができる。以下では、家庭内コンピュータ１８ａ〜１８ｘに共通する事項は、単に家庭内コンピュータ１８と記す。

家庭内コンピュータ１８の操作入力手段としては操作デバイス２２が用いられる。操作デバイス２２は、可搬型のコンピュータであって、図２にその外観を示すように長方形薄箱状に形成されており、表面中央に液晶の表示パネル４０が設けられている。また、表示パネル４０の左側には方向キー３０が設けられ、右側にはボタン３２Ａ〜３２Ｄからなるボタン群３２が設けられている。操作デバイス２２の一側面には補助ボタン３４Ｌ，３４Ｒが設けられており、他の側面には操作デバイス２２の動作モードを待機モード（省電力動作モード）から通常動作モードに切替え、また通常動作モードから待機モードに切り替えるための電源ボタン４２が設けられている。また、操作デバイス２２は、その長手方向の中央にジャイロ３８が内蔵されており、またその側方に加速度センサ３６も内蔵されている。加速度センサ３６は、互いに直交する３方向の加速度を検出する３軸加速度センサであり、図３に示すように、操作デバイス２２の左右方向（長手方向）であるＸ方向の、重力や操作デバイス２２の移動に起因する加速度と、操作デバイス２２の奥行き方向（短手方向）であるＹ方向の、重力や操作デバイス２２の移動に起因する加速度と、操作デバイスの厚さ方向であるＺ方向の、重力や操作デバイス２２の移動に起因する加速度と、を検出するものである。これら３方向の加速度に従って、操作デバイス２２や家庭内コンピュータ１８は、操作デバイス２２の姿勢を検知することができる。すなわち、操作デバイス２２がＹ軸に対してどれだけ回転したか（符号ＸＵ及びＸＤ）、Ｘ軸に対してどれだけ回転したか（符号ＹＵ及びＹＤ）を検知することができる。また、操作デバイス２２が鉛直方向に移動する際の加速度も検知することができる（符号ＺＵ及びＺＤ）。これにより、操作デバイス２２や家庭内コンピュータ１８は、操作デバイス２２が鉛直方向に持ち上げられたり、或いは操作デバイス２２が鉛直方向に置かれたりしたことを検知することができる。さらに、操作デバイス２２は上述したようにジャイロ３８を内蔵しており、これより操作デバイス２２の厚さ方向であるＺ方向周りの回転の角速度ωを検出することができる。

家庭内コンピュータ１８及び操作デバイス２２は、ＢｌｕｅＴｏｏｔｈ（商標）やワイヤレスＬＡＮ等の無線通信手段を備えており、操作デバイス２２は、加速度センサ３６やジャイロ３８により検出されるデータ、ボタン群３２、補助ボタン３４及び方向キー３０の入力状態、及びそれらの処理結果を、無線により家庭内コンピュータ１８に送信することができる。家庭内コンピュータ１８は、操作デバイス２２から送信されるデータを受信すると、そのデータに従って各種の情報処理を実行する。情報処理の実行結果はテレビ受像機により表示されたり、その内蔵スピーカにより音声出力されたりする。また、必要に応じて操作デバイス２２に送信され、操作デバイス２２ではそれを表示パネル４０に表示させたり、該操作デバイス２２の内蔵スピーカにより音声出力させたりする。

さらに、操作デバイス２２は、いずれの家庭内コンピュータ１８とも無線通信を行うことができるようになっており、ユーザは自分の操作デバイス２２を他のユーザの家庭に持っていくことにより、その家庭に設置された家庭内コンピュータ１８と操作デバイス２２との通信を行わせたり、或いは該家庭内コンピュータ１８及び通信ネットワーク１２を経由して、自宅の家庭内コンピュータ１８と操作デバイス２２との通信を行わせたりすることができる。

次に、無線通信基地局２０−１〜２０−ｎは、ＢｌｕｅＴｏｏｔｈ（商標）やワイヤレスＬＡＮ等の無線通信手段を備えており、操作デバイス２２と無線によりデータ通信を行い、操作デバイス２２が通信ネットワーク１２を介してサーバコンピュータ１４や自宅の家庭内コンピュータ１８と通信するのを中継するようになっている。無線通信基地局２０−１〜２０−ｎは、駅等の公共施設に設置されており、ユーザは操作デバイス２２を自宅の外に持ち出しても、これら無線通信基地局２０−１〜２０−ｎ及び通信ネットワーク１２を経由して、自宅の家庭内コンピュータ１８やサーバコンピュータ１４にアクセスできるようになっている。

サーバコンピュータ１４は、公知のコンピュータであり、データベース１６が接続されている。データベース１６は、各家庭内コンピュータ１８のユーザの識別情報に関連づけて、該ユーザに宛てて届いた電子メール、該ユーザに配信すべきゲームデータその他のデータを記憶しており、サーバコンピュータ１４は、各家庭内コンピュータ１８のユーザが操作デバイス２２を用いて自分の識別情報を送信してくると、その識別情報に関連づけてデータベース１６に記憶されている電子メールその他のデータを返信するようになっている。なお、サーバコンピュータ１４は、家庭内コンピュータ１８や操作デバイス２２に対し、他の様々なデータを配信してよい。

以上の構成により、ユーザは自ら所有する操作デバイス２２を用いて、自宅に設置された家庭内コンピュータ１８に操作信号を送信し、該家庭内コンピュータ１８の動作を制御することができる。家庭内コンピュータ１８にはテレビ受像機その他の家電機器が接続されているので、操作デバイス２２を操作することにより、それらの家電機器に所望の動作を行わせることもできる。例えば、ユーザは操作デバイス２２を用いて、家庭内コンピュータ１８にゲームプログラムを実行させ、その実行内容をテレビ受像機に映し出すことができる。また、ゲーム操作を、操作デバイス２２を用いて行うことができる。或いは、ユーザは操作デバイス２２を用いて、家庭内コンピュータ１８又は該家庭内コンピュータ１８に接続された図示しない記憶装置に記憶された、デジタルスチルカメラ画像その他の画像をテレビ受像機に表示させ、そのうち一部を、操作デバイス２２を用いて選択し、所定の処理、例えば印刷等を行うこともできる。また、家庭内コンピュータ１８は通信ネットワーク１２に接続されているので、操作デバイス２２を用いて、サーバコンピュータ１４から電子メールその他のデータを受信して、それをテレビ受像機や表示パネル４０に表示させることができる。

また、ユーザが自ら所有する操作デバイス２２を携帯して外出した場合、友人等の知人の家に設置された家庭内コンピュータ１８に該操作デバイス２２を通信接続することができる。この場合、知人宅の家庭内コンピュータ１８には、ユーザの操作デバイス２２と、その知人の操作デバイス２２と、の２つが通信接続されることになり、ユーザ及び知人は、それら２つの操作デバイス２２を用いて対戦ゲーム等の複数人が利用可能なアプリケーションプログラムの操作を行うことができる。また、知人宅の家庭内コンピュータ１８を中継装置として、通信ネットワーク１２を経由して、ユーザの操作デバイス２２と自宅の家庭内コンピュータ１８やサーバコンピュータ１４との間でデータ通信を行うこともできる。

また、ユーザが自分の操作デバイス２２を携帯して外出した場合、駅等の公共施設ではそれを無線通信基地局２０−１〜２０−ｎと接続させることができる。この場合も、通信ネットワーク１２を経由して、ユーザの操作デバイス２２と自宅の家庭内コンピュータ１８やサーバコンピュータ１４との間でデータ通信を行うことができる。

本実施形態においては、操作デバイス２２に加速度センサ３６及びジャイロ３８が取り付けられているので、操作デバイス２２の姿勢を変えたり、移動させたりすることで、それら加速度センサ３６及びジャイロ３８の出力に変化を与えることができる。そして、加速度センサ３６及びジャイロ３８の出力は、操作信号として、無線通信により家庭内コンピュータ１８やサーバコンピュータ１４に送信することができる。このため、ユーザは操作デバイス２２の姿勢を変えたり、移動させたりすることで、家庭内コンピュータ１８やサーバコンピュータ１４に動作指示を与えることができる。

また、本実施形態では、加速度センサ３６及びジャイロ３８の出力を、操作デバイス２２や該操作デバイス２２のユーザの状態を判断するための情報として用いている。具体的には、加速度センサ３６及びジャイロ３８の出力は所定時間毎に操作デバイス２２内に記憶されており、その記憶内容と事前に用意した加速度センサ３６やジャイロ３８の出力パターンとに従って、操作デバイス２２や該操作デバイス２２のユーザの状態を判断している。例えば、加速度センサ３６やジャイロ３８の出力が不変のまま所定時間経過後に、加速度センサ３６によりＺ方向の加速度が検出されるパターンが見出されると、ユーザが操作デバイス２２を取り上げた（持ち上げた）と判断する。操作デバイス２２では、加速度センサ３６やジャイロ３８の出力が不変のまま所定時間が経過すると、消費電力が小さな待機モード（省電力動作モード）で動作させつつ、加速度センサ３６及びジャイロ３８の出力に基づいて操作デバイス２２やそのユーザの状態を判断している。そして、上記のようにしてユーザが操作デバイス２２を取り上げたと判断すると、操作デバイス２２の動作モードを待機モードから通常動作モードに戻すとともに、自宅の家庭内コンピュータ１８に宛てて、該家庭内コンピュータ１８を待機モード（省電力動作モード）での動作を停止させるとともに、通常動作モードでの動作を開始させるよう指示する、動作指示を送信する。これにより、ユーザは、操作デバイス２２の電源ボタンを押下するなどの特段の操作をすることなく、家庭内コンピュータ１８における通常動作モードでの動作を開始させることができる。

また、操作デバイス２２では、加速度センサ３６によりＺ方向の負の加速度が検出された後、加速度センサ３６やジャイロ３６の出力が不変のまま所定時間が経過すると、ユーザが操作デバイス２２を机上に置いたと判断する。この場合、操作デバイス２２は、自宅の家庭内コンピュータ１８に宛てて、通常動作モードでの動作を停止させて、待機モードでの動作を開始させるよう指示する、動作指示を送信する。

さらに、加速度センサ３６の出力により一定方向に操作デバイス２２が上下していると判断されると、ユーザが操作デバイス２２を持って歩いたり、走ったりしていると判断する。操作デバイス２２では、ユーザが外出中、すなわち家庭内コンピュータ１８との通信圏外に操作デバイス２２が位置している場合に、このようにユーザが操作デバイス２２を持って歩いたり、走ったりしていると判断すると、その旨、すなわちユーザが歩いたり走ったりしている旨を、自宅の家庭内コンピュータ１８に送信する。すると、自宅の家庭内コンピュータ１８は、その状態に応じたサービスメニュー画面を表示パネル４０に表示させるためのデータを返信する。

また、一定方向への加速が所定時間以上続く場合等には、ユーザが車や電車等の移動手段を利用していると判断する。操作デバイス２２では、ユーザが外出中、すなわち家庭内コンピュータ１８との通信圏外に操作デバイス２２が位置している場合に、このように操作デバイス２２を所持したユーザが車や電車等の移動手段を利用していると判断すると、その旨、すなわちユーザが移動手段を利用している旨を、自宅の家庭内コンピュータ１８に送信する。すると、自宅の家庭内コンピュータ１８は、その状態に応じたサービスメニュー画面を表示パネル４０に表示させるためのデータを返信する。

本実施形態によれば、操作デバイス２２とそのユーザの自宅に設置された家庭内コンピュータ１８とが、通信ネットワーク１２を介さずに、直接無線通信可能であれば、図４に示すように、家庭内コンピュータ１８に接続されたテレビ受像機にテレビ放送の内容を表示させるための「ＴＶを見る」、家庭内コンピュータ１８にゲームプログラムを実行させるための「ゲームをする」、家庭内コンピュータ１８からサーバコンピュータ１８にアクセスして、該サーバコンピュータ１８からユーザの電子メールを受信し、それをテレビ受像機又は表示パネル４０に表示させるための「メールをチェックする」、家庭内コンピュータ１８又は該家庭内コンピュータ１８に接続された図示しない記憶装置に記憶された画像をテレビ受像機により表示させるための「画像を見る」の４つのメニュー項目が含まれるサービスメニュー画面が、家庭内コンピュータ１８により生成され、それが操作デバイス２２に送信される。そして、操作デバイス２２の表示パネル４０により表示される。

また、操作デバイス２２とそのユーザの知人宅に設置された家庭内コンピュータ１８とが、通信ネットワーク１２を介さずに、直接無線通信可能であれば、図５に示すように、知人宅に設置された家庭内コンピュータ１８にゲームプログラムを実行させ、知人と一緒にゲームをするための「友達とゲームをする」、知人宅に設置された家庭内コンピュータ１８を中継装置として、サーバコンピュータ１８からユーザの電子メールを受信し、それを表示パネル４０に表示させるための「メールをチェックする」の２つのメニュー項目が含まれるサービスメニュー画面が、自宅の家庭内コンピュータ１８により生成される。そして、それが操作デバイス２２に送信され、その表示パネル４０により表示される。

また、操作デバイス２２が家庭内コンピュータ１８のいずれとも直接無線通信可能ではないが、無線通信基地局２０−１〜２０−ｎのいずれかと直接無線通信可能である場合、上記のようにしてユーザが操作デバイス２２を携帯して歩いたり、走ったりしていると判断されれば、図６に示すように、自宅の家庭内コンピュータ１８ａから音楽データをダウンロードして、それを再生出力させるための「音楽を聴く」、自宅の家庭内コンピュータ１８ａから地図データをダウンロードして、それを表示パネル４０に表示させるための「地図を見る」の２つのメニュー項目が含まれるサービスメニュー画面が、自宅の家庭内コンピュータ１８により生成される。そして、それが操作デバイス２２に送信されて、表示パネル４０により表示される。

また、同じ場合、すなわち操作デバイス２２が家庭内コンピュータ１８のいずれとも直接無線通信可能ではないが、無線通信基地局２０−１〜２０−ｎのいずれかと直接無線通信可能である場合において、上記のようにしてユーザが移動手段を利用中であると判断されれば、図７に示すように、自宅の家庭内コンピュータ１８ａから音楽データをダウンロードして、それを再生出力させるための「音楽を聴く」、自宅の家庭内コンピュータ１８ａから通信ゲームプログラムをダウンロードして、それを操作デバイス２２で実行させるための「通信ミニゲームをする」、サーバコンピュータ１８からユーザの電子メールを受信し、それを表示パネル４０に表示させるための「メールをチェックする」の３つのメニュー項目が含まれるサービスメニュー画面が、自宅の家庭内コンピュータ１８により生成される。そして、それが操作デバイス２２に送信され、その表示パネル４０により表示される。

また、家庭内コンピュータ１８ａ〜１８ｘ、無線通信基地局２０−１〜２０−ｎのいずれとも操作デバイス２２が通信可能でない場合は、操作デバイス２２の状態に応じて、図８に示すサービスメニュー画面、又は図９に示すサービスメニュー画面が表示される。すなわち、上記のようにしてユーザが操作デバイス２２を携えて歩いたり、走ったりしていると判断される場合には、図８に示すように、操作デバイス２２自体に記憶されている音楽データを再生させるための「音楽を聴く」の１つのメニュー項目が含まれるサービスメニュー画面が操作デバイス２２により生成される。そして、それが表示パネル４０により表示される。また、ユーザが移動手段を利用中であると判断されれば、図９に示すように、操作デバイス２２自体に記憶されている音楽データを再生させるための「音楽を聴く」、及び操作デバイス２２自体に記憶されているゲームプログラムを実行させるための「ミニゲームをする」の２つのメニュー項目が含まれるサービスメニュー画面が操作デバイス２２により生成され、表示パネル４０により表示される。

本実施形態によると、操作デバイス２２に加速度センサ３６及びジャイロ３８を設けて、操作デバイス２２の動きや姿勢により家庭内コンピュータ１８を制御することができる。のみならず、それら加速度センサ３６及びジャイロ３８の出力に従って、操作デバイス２２やそのユーザの状態を判断して、その判断結果に応じた適切なサービスメニュー画面の表示を行うことができ、ユーザの利便性を向上させることができる。

ここで、家庭内コンピュータ１８の動作例として、該家庭内コンピュータ１８又はそれに接続された記憶装置に記憶された画像をテレビ受像機に表示させる処理について説明する。以下説明する処理は、家庭内コンピュータ１８で実行される画像ビューワプログラムに従って実現されるものであり、図４のサービスメニュー画面において「画像を見る」をユーザが選択する操作を操作デバイス２２において行った場合に、ユーザの自宅の家庭内コンピュータ１８において実行されるものである。

なお、プログラムは例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に格納され、そこから家庭内コンピュータ１８にインストールされる。或いは、通信ネットワーク１２を経由して他のコンピュータから家庭内コンピュータ１８にダウンロードされてもよい。

家庭内コンピュータ１８を画像ビューワとして動作させる場合、例えば内蔵又は外付けのハードディスクに多数の画像データが保存される。この画像データは、各種の記憶媒体から読み取られたり、通信ネットワーク１２上の他の装置からダウンロードされたりするものである。画像データは、様々な内容のものであってよく、ユーザにより撮影されたものであってもよいし、他人により撮影されたものであってもよい。或いは、ペイントソフトウェアにより作成されたものであってもよい。

本実施形態では、これら多数の画像データについて、よりデータサイズの小さなサムネイル画像のデータが事前に作成されており、それらサムネイル画像データがそれぞれテクスチャとしてマッピングされる多数の画像オブジェクトが配置される仮想３次元空間が家庭内コンピュータ１８のメモリ上に構築される。図１０は、この仮想空間の一例を示している。同図に示すように、仮想３次元空間５０には多数の画像オブジェクト５２が配置されている。画像オブジェクト５２は、矩形のオブジェクトであり、上記のサムネイル画像がテクスチャとしてマッピングされる。

なお、仮想３次元空間５０における各画像オブジェクト５２の位置座標は、各画像データの属性に従って決定される。すなわち、画像データの内容（使用される色情報、空間周波数の情報、顔認識等の認識結果）や画像データの付属情報（ファイルスタンプ、ファイル名、画像データに関連する他の文書データの内容）に基づいて、各画像データの特徴を示す特徴ベクトルを求めて、この特徴ベクトルに従って該画像データに係る画像オブジェクト５２の位置座標を決定すればよい。こうすれば、仮想３次元空間５０において、ある画像オブジェクト５２の近くに配置された画像オブジェクト５２ほど、似た内容の画像がマッピングされるようにでき、ユーザは仮想空間５０における各画像オブジェクト５２の位置関係を頼りに、所望の画像に係る画像オブジェクト５２を探し出すことができる。

また、仮想３次元空間５０には視点５６も配置されており、この視点５６には視線方向５４が設定されている。視点５６は操作デバイス２２による操作に従って、仮想３次元空間５０内を任意に移動できるようになっており、また視線方向５４も操作デバイス２２による操作に従って、任意の方向に設定できるようになっている。各画像オブジェクト５２の姿勢は、視点５６の方向を向くようリアルタイムに決定されており、視点５６が移動すると、それに応じて各画像オブジェクト５２の姿勢も変化するようになっている。

具体的には、操作デバイス２２を奥側に傾け、図３におけるＸ軸を中心に一方向に回転させたことが加速度センサ３６の出力から判断されると、視点５６を視線方向５４の方向に移動させる。また、操作デバイス２２を手前側に傾け、図３におけるＸ軸を中心に逆方向に回転させたことが加速度センサ３６の出力から判断されると、視点５６を視線方向５４の逆方億に移動させる。また、操作デバイス２２を右側に傾け、図３におけるＹ軸を中心に一方向に回転させたことが加速度センサ３６の出力から判断されると、視点５６を右方向に移動させる。さらに、操作デバイス２２を左側に傾け、図３におけるＹ軸を中心に逆方向に回転させたことが加速度センサ３６の出力から判断されると、視点５６を左方向に移動させる。また、図３におけるＺ方向に操作デバイス２２が動かされたことが加速度センサ３６の出力から判断されると、視点５６を上方向に移動させ、Ｚ方向とは逆方向に操作デバイス２２が動かされたことが加速度センサ３６の出力から判断されると、視点５６を下方向に移動させる。さらに、ジャイロ３８の出力に従って視線方向５４を旋回させる。

家庭内コンピュータ１８は、公知の３次元コンピュータグラフィックスの技術を適用して、視点５６から視線方向５４を見た様子を示す画像（空間画像）をリアルタイムに（所定時間毎に）生成して、それをテレビ受像機により表示している。図１１（ａ）は、空間画像の一例を示している。同図に示すように、空間画像には画像オブジェクト５２の他、空間画像の一部領域（小さな四角形の領域）を指示するカーソル５８が表されている。カーソル５８の空間画像における位置（２次元位置）は、方向キー３０の入力に従って更新されるようになっている。すなわち、方向キー３０が上方向に操作されると、カーソル５８を空間画像において上方に移動させ、下方向に操作されるとカーソル画像５８を下方向に移動させ、右方向に操作されるとカーソル画像５８を右方向に移動させ、左方向に操作されるとカーソル画像５８を左方向に移動させる。

また、操作デバイス２２のボタン３２Ｃを押下すると、その時点でのカーソル５８により示される空間画像の領域に表示されている画像オブジェクト５２を選択する。すなわち、カーソル５８により示される空間画像の領域に表示されている画像オブジェクト５２（候補オブジェクト）の全部を選択する。なお、リアルタイムに空間画像を生成し、表示する際に、カーソル５８により示される空間画像の領域に表示されている画像オブジェクト５２を特定し、それら画像オブジェクト５２を、周囲に枠を表示したり、或いは色調を変えたりして、事前に他の画像オブジェクト５２とは区別して表示するようにすれば好適である。こうすれば、ボタン３２Ｃを押せばどの画像オブジェクト５２が選択されるかを、ユーザが事前に理解することができる。操作デバイス２２では、こうして選択される画像オブジェクト５２の識別情報を順次記憶していく。

なお、ボタン３２Ｃが押下された場合に、カーソル５８により示される空間画像の領域に表示されている画像オブジェクト５２のうち一部を、所定基準により選択してもよい。例えば、候補オブジェクトである各画像オブジェクト５２と視点５６との各距離を算出して、その距離が所定値未満のものを選択してもよい。或いは、その距離が小さなものから順に所定個の画像オブジェクト５２を選択してもよい。或いは、候補オブジェクトである各画像オブジェクト５２の属性（上記の特徴ベクトル）と、ユーザの嗜好を表す特徴ベクトルと、の相関に従って、候補オブジェクトである画像オブジェクト５２の中から一部又は全部を選択してもよい。また、カーソル５８により示される空間画像の領域（指示領域）における、各候補オブジェクトである画像オブジェクト５２の表示面積に基づいて、それらのうち一部又は全部を選択してもよい。例えば、上記指示領域において最も表示面積を占める画像オブジェクト５２を選択してもよい。この場合も、カーソル５８により示される空間画像の領域に表示されている画像オブジェクト５２のうち、所定基準を満たすものを、事前に他とは区別して表示するようにすれば好適である。

また、図１１（ｂ）に示すように、選択済みの画像オブジェクト５２の仮想３次元空間５０における位置と、視点５６から前方（視線方向５４の方向）に所定距離だけ離れた位置５１と、の間に伸びる線状のオブジェクト５９を仮想３次元空間５０に、新たに画像オブジェクト５２が選択されるたびに配置し、この線状のオブジェクト５９がテレビ受像機により表示されるようにすれば、ユーザが既に選択した画像オブジェクト５２がどの方向にあるかを直感的に理解できるようになり、好適である。

その後、操作デバイス２２の補助ボタン３４Ｒが押下されると、家庭内コンピュータ１８は、記憶された識別情報により識別される、ユーザに選択された画像オブジェクト５２に対応する画像データを取得し、それをテレビ受像機により一覧表示する。図１２は、この一覧表示画面の一例を示している。

本実施形態によれば、操作デバイス２２を傾けたり、上下方向に動かしたり、水平面内で回転させたりすると、それが加速度センサ３６及びジャイロ３８の出力に表れる。この出力を表すデータは操作デバイス２２から家庭内コンピュータ１８に送信され、家庭内コンピュータ１８ではそれらデータに従って視点５６及び視線方向５４を変化させる。また、操作デバイス２２の方向キー３０を操作すると、その操作内容を示すデータが操作デバイス２２から家庭内コンピュータ１８に送信され、家庭内コンピュータ１８ではそれらデータに従ってカーソル５８の空間画像における位置を変化させる。そして、ボタン３２Ｃが押下された場合に、その時点でカーソル５８による指示領域内に表示されている画像オブジェクト５２の一部又は全部が選択される。こうして選択される画像オブジェクト５２の識別情報は家庭内コンピュータ１８のメモリに順次記憶され、後に補助ボタン３４Ｒが押下された場合に、テレビ受像機によりそれらの画像が一括して表示される。以上のユーザインタフェースにより、仮想３次元空間５０において離れた位置に配置された画像オブジェクト５２のうち任意のものを軽快に選択し、それらに係る画像を後に一覧することができるようになり、例えばその一覧画面を見ながら印刷対象を選択したり、一括編集したりといった作業を容易化することができる。

なお、以上の説明では、仮想３次元空間５０に画像オブジェクト５２を配置し、ユーザの操作に従って画像の閲覧を行えるようにしたが、画像だけでなく、動画やゲーム等の他のコンテンツやサービスの選択についても、本発明は同様に適用可能である。この場合、画像オブジェクト５２と同様、コンテンツやサービスの内容を示す画像がテクスチャとしてマッピングされたオブジェクトを仮想３次元空間５０に配置するとともに、上記と同様にしてそのうち一部のオブジェクトが選択された場合に、後に一括して表示等の処理対象とすればよい。

ここで、操作デバイス２２の構成について説明する。図１３は、操作デバイス２２の機能的構成を示す図である。同図に示すように、操作デバイス２２は、機能的には入力部９６，キャリブレーション部８２、入力履歴記憶部８４，パターン検出部８６、制御部８８、通信部９０、表示部９４及びサウンド出力部９２を含んでいる。これらの機能は、操作デバイス２２のＲＯＭに記憶されたプログラムを、コンピュータである操作デバイス２２が実行することにより実現されている。

まず、入力部９６は、ボタン操作部９６ａ及び状態検出部９６ｂを含んでいる。ボタン操作部９６ａは、ボタン群３２、補助ボタン３４、方向キー３０が押下されたか否かを所定時間毎に順次取得するものである。状態検出部９６は、操作デバイス２２の状態を所定時間毎に順次検知するものであり、特に操作デバイス２２の所定軸周りの回転の角速度を検出するジャイロ３８と、操作デバイス２２の加速度を検出する加速度センサ３６と、を含んでいる。状態検出部９６は、さらにＧＰＳやポヒマス等の測位手段を含んでもよい。また、地磁気センサ（方位センサ）を含んでもよい。なお、これら複数種類の状態の検出結果を相互に利用して、互いにキャリブレーションを施したり、信頼性の高い検出結果を利用して、他の検出結果に対してキャリブレーションを施したりしてよいのはもちろんである。また、状態検出部９６に、ユーザの状態、例えばユーザの血圧や脈拍数を検出するセンサを含んでもよい。入力部９６の動作は、待機モード及び正常動作モードのいずれでも継続される。

入力履歴記憶部８４は、入力部９６に入力されるデータ、すなわちボタン群３２、補助ボタン３４、方向キー３０がそれぞれ押下されたか否かを示すデータ、ジャイロ３８及び加速度センサ３６の出力を示すデータを順に記憶するものである。入力履歴記憶部８４の動作は、待機モード及び正常動作モードのいずれでも継続される。

キャリブレーション部８２は、この入力履歴記憶部８４の記憶内容に従って、操作デバイス２２の基準姿勢を決定するものである。例えば、入力履歴記憶部８４に記憶されているデータにより、所定時間にわたり操作デバイス２２の姿勢が所定の姿勢で維持されていることが分かれば、その姿勢を基準姿勢として決定する。キャリブレーション部８２により決定された基準姿勢は制御部８８に供給される。

パターン検出部８６は、入力履歴記憶部８４に記憶されるデータに所定のパターンが表れるか否かを監視するものであり、待機モード及び正常動作モードのいずれでも継続して監視を行う。具体的には、待機モードにおいては、入力履歴記憶部８４に、操作デバイス２２が所定の姿勢で所定時間以上にわたり静止した状態から少なくともＺ方向に該操作デバイス２２が動かされたことに相当するパターン（パターン１）のデータが記憶されたか否かを監視する。また、正常動作モードにおいては、上記のようにユーザの特定の行動（歩く、走る、或いは移動手段での移動）に相当するパターン（パターン２）のデータが記憶されたか否かを監視する。また、操作デバイス２２が所定の姿勢で所定時間以上にわたり静止したことに相当するパターン（パターン３）のデータが記憶されたか否かを監視する。

制御部８８は、パターン検出部８６の検出結果、入力部９６により取得される各種の入力データ、通信部９０により受信されるデータに基づいて、各種の情報処理を行うものである。また、表示部９４は制御部８８の指示に従って表示パネル４０に画像を表示するものである。また、サウンド出力部９２は制御部８８の指示に従って操作デバイス２２に内蔵されるスピーカから音声を出力するものである。

制御部８８は、具体的には、操作デバイス２２が待機モードにある場合に、上記パターン１のデータが入力履歴記憶部８４に記憶されたことがパターン検出部８６により検出されると、操作デバイス２２の動作モードを待機モードから通常動作モードに変更し、通常動作モードでの動作を開始させる。その後、操作デバイス２２と家庭内コンピュータ１８との間の通信経路、操作デバイス２２で上記パターン２のうちどのユーザの行動に相当するパターンのデータが入力履歴記憶部８４に記憶されたことが検知されたか、等に応じて、表示パネル４０にサービスメニュー画面を表示する。そして、制御部８８は、サービスメニュー画面におけるユーザの選択に応じた処理を実行し、その処理結果を表示部９４やサウンド出力部９２から出力する。このとき、入力部９６から供給されるデータに従って操作デバイス２２の姿勢を判断するとともに、その姿勢のキャリブレーション部８３により判断された基準姿勢からのずれを演算し、それをユーザの操作データとして用いる。なお、キャリブレーション部８２において基準姿勢を決定する代わりに、入力履歴記憶部８４の記憶内容の一部又は全部を、通常動作開始モードでの動作開始指示とともに、通信部９０を介して家庭内コンピュータ１８に送信して、家庭内コンピュータ１８の側（後述する制御部７４（図１４））で受信したデータに従って基準姿勢を決定してもよい。この場合、家庭内コンピュータ１８では、操作デバイス２２から送信される該操作デバイス２２の姿勢と、決定された基準姿勢と、のずれを演算し、それをユーザの操作データとして用いればよい。

一方、操作デバイス２２が通常動作モードにある場合に、上記パターン３のデータが入力履歴記憶部８４に記憶されたことがパターン検出部８６により検出されると、操作デバイスの動作モードを通常動作モードにおける動作を停止させたから、他機モードに移行する。

次に、家庭内コンピュータ１８の構成について説明する。家庭内コンピュータ１８は上記のように公知のコンピュータシステムであり、図１４に示すように、第１通信部７０、第２通信部７２、制御部７４を含んで構成されている。第１通信部７０は、通信ネットワーク１２に接続され、該通信ネットワーク１２を介して、他の家庭内コンピュータ１８や無線通信基地局２０−１〜２０−ｎ、或いはサーバコンピュータ１４とデータ通信を行うための通信デバイスである。一方、第２通信部７２は、ＢｌｕｅＴｏｏｔｈ等の近距離無線通信手段であり、操作デバイス２２の通信部９０との間で直接無線データ通信を行うものである。制御部７４は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体から読み出され、或いは通信ネットワーク１２を介してダウンロードされるプログラムを実行するコンピュータである。制御部７４は、第２通信部７２により操作デバイス２２から受信するユーザの操作内容を示すデータに従って、プログラムを実行する。また、必要に応じて第１通信部７１により通信ネットワーク１２上の他の装置と通信を行う。そして、処理結果をテレビ受像機に出力する。

ここで、操作デバイス２２における通常動作モードの開始時の処理を説明する。図１５は、操作デバイス２２における通常動作モードの開始時の処理を示すフロー図である。同図に示す処理は、ユーザが操作デバイス２２の電源ボタン４２を操作して、明示的に操作デバイス２２の動作モードを待機モードから通常動作モードに切り替えた場合の他、パターン検出部８６により上記パターン１のデータが入力履歴記憶部８４に記憶されているデータから見つかった場合に実行される。

同図に示すように、この処理では、まず家庭内コンピュータ１８に宛てて通常動作モードでの動作を開始するよう指示する信号を送信する（Ｓ１０１）。この信号には操作デバイス２２のＩＤが含まれる。

そして、自宅の家庭内コンピュータ１８、すなわち信号に含まれるＩＤに対応するＩＤが付与・記憶された家庭内コンピュータ１８が、この信号を第２通信部７２により受信した場合には、自らの動作モードが待機モードであれば、それを通常動作モードに切り替えるとともに、図９に示すサービスメニュー画面を操作デバイス２２に送信する。操作デバイス２２では、このサービスメニュー画面を受信して、それを表示パネル４０に表示する（Ｓ１０３）。そして、その後、操作デバイス２２は、自宅の家庭内コンピュータ１８の操作手段として動作する（Ｓ１０４）。すなわち、操作デバイス２２に加えられた各種操作の内容を示すデータを、キャリブレーション部８２により決定される基準姿勢に従って補正し、補正後のデータを家庭内コンピュータ１８に送信する。

また、知人宅の家庭内コンピュータ１８、すなわち操作デバイス２２から送信される信号に含まれるＩＤに対応するＩＤが付与・記憶されていない家庭内コンピュータ１８が、この信号を第２通信部７２により受信した場合には、自らの動作モードが待機モードであれば、それを通常動作モードに切り替えるとともに、信号に含まれるＩＤにより特定される、ユーザの自宅の家庭内コンピュータ１８に第１通信部７０を用いてアクセスし、そこから図５のサービスメニュー画面を取得し、それを操作デバイス２２に送信する。操作デバイス２２では、このサービスメニュー画面を受信して、それを表示パネル４０に表示する（Ｓ１０５）。そして、その後、操作デバイス２２は、知人宅の家庭内コンピュータ１８の操作手段として動作する（Ｓ１０６）。すなわち、操作デバイス２２に加えられた各種操作の内容を示すデータを、キャリブレーション部８２により決定される基準姿勢に従って補正し、補正後のデータを知人宅の家庭内コンピュータ１８に送信する。

一方、いずれの家庭内コンピュータ１８からも応答がなかった場合には、操作デバイス２２は無線通信基地局２０−１〜２０−ｎのいずれかと通信可能であるか否かを判断する（Ｓ１０７）。そして、そのような通信が可能であれば、無線通信基地局２０を介して自宅の家庭内コンピュータ１８にアクセスして、該家庭内コンピュータ１８にパターン検出部８６による検出結果、すなわちどの種類の行動（歩いたり走ったりしているか、移動手段を利用中であるか）をユーザがとっているかを示すデータ（行動種類データ）を送信する（Ｓ１０８）。そして、自宅の家庭内コンピュータ１８から返信される、行動種類データに応じたサービスメニュー画面（図６又は７）を受信し、表示パネル４０に表示する（Ｓ１０９）。その後、表示パネル４０に表示されるサービスメニュー画面に従って操作デバイス２２の動作を制御する（Ｓ１１０）。

一方、無線通信基地局２０−１〜２０−ｎのいずれとも通信できないと判断されると、パターン検出部８６による検出結果、すなわちどの種類の行動をユーザがとっているかを示す行動種類データに応じて、図８又は図９に示すサービスメニュー画面を生成し、それを表示パネル４０に表示する（Ｓ１１１）。その後、表示パネル４０に表示されるサービスメニュー画面に従って操作デバイス２２の動作を制御する（Ｓ１１２）。

最後に、上述した画像ビューワとして家庭内コンピュータ１８を機能させる場合における、家庭内コンピュータ１８の制御部７４の構成を説明する。図１６は、画像ビューワプログラムが制御部７４において実行される場合に、該制御部７４で実現される機能の関係を示している。同図に示すように、この場合、制御部７４には、一括表示ボタン入力検知部８８ａ、選択ボタン入力検知部８８ｂ、方向キー入力検知部８８ｃ、姿勢入力検知部８８ｄ、視点位置移動部８８ｅ、カーソル移動部８８ｆ、空間画像描画部８８ｇ、空間データベース８８ｈ、オブジェクト選択部８８ｉ、選択結果記憶部８８ｊ及び一括画像描画部８８ｋが備えられる。

まず、方向キー入力検知部８８ｃは、方向キー８０の操作内容を所定時間毎に検知し、その内容をカーソル移動部８８ｆに通知する。カーソル移動部８８ｆは、カーソル５８の空間画像における位置を方向キー８０の操作内容に従って所定時間毎に更新する。また、姿勢入力検知部８ｄは、加速度センサ３６及びジャイロ３８の出力を取得し、それを視点位置移動部８８ｅに通知する。視点位置移動部８８ｅは、加速度センサ３６及びジャイロ３８の出力に基づいて、視点５６の位置及び視線方向５４を所定時間毎に更新する。

空間データベース８８ｈは、仮想３次元空間５０における各画像オブジェクト５２の位置を記憶している。空間画像描画部８８ｇは、それらの位置及び視点位置移動部８８ｅにより更新された視点５６の位置及び視線方向５４に基づいて、仮想３次元空間５０において視点５６から視線方向５４を見た様子を示す画像を生成する。さらに、この画像における、カーソル移動部８８ｆにより更新された位置に、カーソル５８の画像を重畳させ、空間画像を表示用のメモリに描画する。この表示用のメモリの画像は所定時間毎に読み出され、テレビ受像機により表示される。

次に、選択ボタン入力検知部８８ｂは、選択ボタンであるボタン３２Ｃが押下されたか否かを所定時間毎に検知し、押下されればその旨をオブジェクト選択部８８ｉに通知する。オブジェクト選択部８８ｉは、ボタン３２Ｃが押下されたタイミングにおけるカーソル５８の位置、視点５６の位置及び視線方向５４に基づいて、カーソル５８により特定される領域（指示領域）に表された画像オブジェクト５２の中から一部又は全部を選択する。そして、選択された画像オブジェクト５２の識別情報を選択結果記憶部８８ｊに記憶する。

一括表示ボタン入力検知部８８ａは、一括表示ボタンである補助ボタン３４Ｒが押下されたか否かを所定時間毎に判断し、押下されればその旨を一括画像描画部８８ｋに通知する。一括画像描画部８８ｋは、補助ボタン８４Ｒが押下された場合に、選択結果記憶部８８ｊから識別情報を読みだし、その識別情報により識別される画像オブジェクト５２に関する画像データを空間データベース８８ｈから読み出す。そして、それら画像データを所定間隔で配置してなる一覧画面の画像を表示用のメモリに描画する。表示用のメモリの画像は上記のとおり所定時間毎に読み出され、テレビ受像機により表示されるので、補助ボタン８４Ｒが押下された場合には、速やかにテレビ受像機により一覧画面が表示される。

以上説明した実施形態によれば、仮想３次元空間５０を操作デバイス２２の姿勢や動きにより移動しながら、空間画像の一部を方向キー３０で指定して、所望の画像オブジェクト５２を選択することができるので、仮想３次元空間５０において離間して配置された画像オブジェクト５２を的確に選択することができる。

また、操作デバイス２２の複数方向の加速度を加速度センサ３６により検出して、この検出パターンに応じて、家庭内コンピュータ１８を待機モードから通常動作モードに移行させ、或いは通常動作モードから待機モードに移行させるようにしたので、従来のように電源ボタン等の特別のボタンの操作を必要とすることなく、速やかに必要な動作を開始させ、或いは動作を停止させることができる。

また、操作デバイス２２の状態検知部９６ｂによる検知パターンに応じて、家庭内コンピュータ１８から操作デバイス２２に送信するサービスメニュー画面の内容を変えるようにしたので、ユーザは、自らの状況に応じた適切なサービスメニュー画面を利用することができるようになる。なお、上述したように状態検知部９６ｂにおいてユーザの状態を検知するようにした場合には、それに応じた情報、例えばユーザの健康診断の結果をサービスメニュー画面に含めるようにしたり、あるいは、別の画面の内容として操作デバイス２２に送信したりするようにすれば好適である。また、状態検知部９６ｂに測位手段が含まれる場合には、家庭内コンピュータ１８では、ユーザがどこにいるかを把握することができる。この場合、家庭内コンピュータ１８は、ユーザがいる場所に応じて、適切な情報を操作デバイス２２に送信するようにすれば好適である。

本発明の実施形態に係る情報処理システムの全体構成図である。 操作デバイスの外観斜視図である。 操作デバイスにより検出されるデータを説明する図である。 ユーザが自宅に居る場合に、該自宅に設置された家庭内コンピュータからユーザが持つ操作デバイスに提供されるサービスメニュー画面を示す図である。 ユーザが友人宅に居る場合に、該友人宅に設置された家庭内コンピュータからユーザが持つ操作デバイスに提供されるサービスメニュー画面を示す図である。 ユーザが外出して歩行中に、自宅に設置された家庭内コンピュータから通信ネットワークを介してユーザが持つ操作デバイスに提供されるサービスメニュー画面を示す図である。 ユーザが外出して非歩行中に、自宅に設置された家庭内コンピュータから通信ネットワークを介してユーザが持つ操作デバイスに提供されるサービスメニュー画面を示す図である。 ユーザが外出して歩行中に、自宅に設置された家庭内コンピュータと通信を行うことなく、操作デバイス自体により提供されるサービスメニュー画面を示す図である。 ユーザが外出して非歩行中に、自宅に設置された家庭内コンピュータと通信を行うことなく、操作デバイス自体により提供されるサービスメニュー画面を示す図である。 画像閲覧プログラムの実行中にテレビ受像機等のモニタに表示される画面の生成方法を説明する図である。 画像閲覧プログラムの実行中にテレビ受像機等のモニタに表示される空間画像の一例を示す図である。 画像閲覧プログラムの実行中にテレビ受像機等のモニタに表示される画像一括表示画面の一例を示す図である。 操作デバイスの機能ブロック図である。 家庭内コンピュータの構成図である。 操作デバイスの通常動作開始時の処理を示すフロー図である。 画像閲覧プログラム実行時における家庭内コンピュータの機能ブロック図である。

符号の説明

１０ 情報処理システム、１２ 通信ネットワーク、１４ サーバコンピュータ、１６ データベース、１８ａ〜１８ｘ 家庭内コンピュータ、２０−１〜２０−ｎ 無線通信基地局、２２ 操作デバイス（可搬型コンピュータ）、３０ 方向キー、３２ ボタン群、３４ 補助ボタン、３６ 加速度センサ、３８ ジャイロスコープ、４０ 表示パネル、４２ 電源スイッチ、５０ 仮想３次元空間、５２ 画像オブジェクト、５４ 視線方向、５６ 視点、５８ カーソル、７０ 第１通信部、７２ 第２通信部、７４ 制御部、７６ テレビ受像機、８２ キャリブレーション部、８４ 入力履歴記憶部、８６ パターン検出部、８８ 制御部、９０ 通信部、９２ サウンド出力部、９４ 表示部、９６ 入力部、９６ａ ボタン操作部、９６ｂ 状態検出部、８８ａ 一括表示ボタン入力検知部、８８ｂ 選択ボタン入力検知部、８８ｃ 方向キー入力検知部、８８ｄ 姿勢入力検知部、８８ｅ 視点位置移動部、８８ｆ カーソル移動部、８８ｇ 空間画像描画部、８８ｈ 空間データベース、８８ｉ オブジェクト選択部、８８ｊ 選択結果記憶部、８８ｋ 一括画像描画部。

Claims (9)

1. 複数のオブジェクトが配置された仮想空間の画像を、該仮想空間に配置された視点の位置に従ってリアルタイムに生成し、該画像を順次表示する仮想空間画像表示手段と、
   ユーザによる第１の操作に従って、前記仮想空間における前記視点の位置を変更する視点位置変更手段と、
   前記ユーザによる第２の操作に従って、前記仮想空間画像表示手段により表示される前記画像に表された前記オブジェクトの中から１又は複数を選択するオブジェクト選択手段と、
   前記選択されたオブジェクトに関する所定の処理を実行する処理実行手段と、
   を含むことを特徴とするユーザインタフェース装置。
2. 請求項１に記載のユーザインタフェース装置において、
   前記オブジェクト選択手段は、前記ユーザによる前記第２の操作に従って、前記仮想空間画像表示手段により表示される前記画像における位置又は領域を特定するとともに、該特定される位置又は領域に表された１又は複数の前記オブジェクトの一部又は全部を選択する、
   ことを特徴とするユーザインタフェース装置。
3. 請求項２に記載のユーザインタフェース装置において、
   前記オブジェクト選択手段は、前記特定される位置又は領域に表された前記各オブジェクトの位置と前記視点の位置との距離に従って、それらのうち一部又は全部を選択する、
   ことを特徴とするユーザインタフェース装置。
4. 請求項２又は３に記載のユーザインタフェース装置において、
   前記オブジェクト選択手段は、前記特定される位置又は領域に表された前記各オブジェクトの属性に従って、それらのうち一部又は全部を選択する、
   ことを特徴とするユーザインタフェース装置。
5. 請求項２乃至４のいずれかに記載のユーザインタフェース装置において、
   前記オブジェクト選択手段は、前記特定される位置又は領域に表された前記各オブジェクトの前記画像において占める面積に従って、それらのうち一部又は全部を選択する、
   ことを特徴とするユーザインタフェース装置。
6. 請求項１乃至５のいずれかに記載のユーザインタフェース装置において、
   前記視点位置変更手段は、前記ユーザによる前記第１の操作に応じて変更される操作装置の姿勢に従って、前記仮想空間における前記視点の位置を変更する、
   ことを特徴とするユーザインタフェース装置。
7. 請求項１乃至６のいずれかに記載のユーザインタフェース装置において、
   前記処理実行手段は、前記選択されたオブジェクトに関する画像を一括表示する処理を実行する、
   ことを特徴とするユーザインタフェース装置。
8. 複数のオブジェクトが配置された仮想空間の画像を、該仮想空間に配置された視点の位置に従ってリアルタイムに生成し、該画像を順次表示する仮想空間画像表示ステップと、
   ユーザによる第１の操作に従って、前記仮想空間における前記視点の位置を変更する視点位置変更ステップと、
   前記ユーザによる第２の操作に従って、前記仮想空間画像表示ステップで表示される前記画像に表された前記オブジェクトの中から１又は複数を選択するオブジェクト選択ステップと、
   前記選択されたオブジェクトに関する所定の処理を実行する処理実行ステップと、
   を含むことを特徴とするユーザインタフェース方法。
9. 複数のオブジェクトが配置された仮想空間の画像を、該仮想空間に配置された視点の位置に従ってリアルタイムに生成し、該画像を順次表示する仮想空間画像表示手段、
   ユーザによる第１の操作に従って、前記仮想空間における前記視点の位置を変更する視点位置変更手段、
   前記ユーザによる第２の操作に従って、前記仮想空間画像表示手段により表示される前記画像に表された前記オブジェクトの中から１又は複数を選択するオブジェクト選択手段、及び
   前記選択されたオブジェクトに関する所定の処理を実行する処理実行手段
   としてコンピュータを機能させるためのプログラム。
   

Images