JP2020077365A - 画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法 - Google Patents

Abstract

【課題】感覚的な操作が可能で、優れた操作性を有する画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法を提供すること。【解決手段】画像表示システム１は、画像を表示する端末７と、端末７を操作する入力装置２と、を有する。また、入力装置２は、外力が入力される弾性層２２と、弾性層２２に配置され、弾性層２２の変形に伴って変位するマーカーＭと、を有する弾性入力部２８と、マーカーＭの変位に基づいて弾性層２２の変形を検出する検出部２３と、を備える。また、端末７に表示されるインターフェース７０は、三次元的に配列された複数のアイコン７１を有し、入力装置２からの入力により、複数のアイコン７１が移動する。【選択図】図１

Description

本発明は、画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法に関する。

例えば、パーソナルコンピューターへの入力は、特許文献１に示すような公知のマウス、キーボード等が使用される。

特表２００４−３０６７０９号公報

しかしながら、マウス、キーボード等の既存の入力装置では、直感的で多彩な入力を行うことができない。

本発明の目的は、感覚的で多彩な操作が可能で、優れた操作性を有する画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法を提供することにある。

このような目的は、下記の本発明により達成される。

（１） 画像を表示する端末と、
前記端末を操作する入力装置と、を有し、
前記入力装置は、
外力が入力される弾性層と、前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、を有する弾性入力部と、
前記マーカーの変位を検出する検出部と、を備えることを特徴とする画像表示システム。

（２） 前記端末に表示される前記画像としてのインターフェースは、三次元的に配列された複数のアイコンを有し、
前記入力装置からの入力により、前記複数のアイコンのうちの少なくとも１つが移動する上記（１）に記載の画像表示システム。

（３） 前記複数のアイコンの少なくとも一部は、前記インターフェースに仮想的に設定された仮想立体の表面に沿って配置され、前記仮想立体の表面に沿って移動する上記（２）に記載の画像表示システム。

（４） 前記仮想立体は、球形である上記（３）に記載の画像表示システム。

（５） 前記仮想立体は、少なくとも１つの前記アイコンが配置された第１層と、前記第１層の内側に設けられ、少なくとも１つの前記アイコンが配置された第２層と、を有する上記（２）から（４）のいずれかに記載の画像表示システム。

（６） 前記入力装置からの入力により、前記第２層に配置された前記アイコンが前記１層に移動する上記（５）に記載の画像表示システム。

（７） 前記仮想立体は、少なくとも１つの前記アイコンが配置された第１仮想立体と、少なくとも１つの前記アイコンが配置された第２仮想立体と、を有する上記（３）から（６）のいずれかに記載の画像表示システム。

（８） 前記第２仮想立体は、前記第１仮想立体を囲む環状である上記（７）に記載の画像表示システム。

（９） 前記弾性層を捩じることにより、その捩じり方向に沿って前記アイコンが移動する上記（３）から（８）のいずれかに記載の画像表示システム。

（１０） 前記弾性層を押圧することにより、前記複数のアイコンのうちの少なくとも１つが選択され、選択された前記アイコンに基づくプログラムが実行される上記（３）から（９）のいずれかに記載の画像表示システム。

（１１） 前記仮想立体の、前記弾性層の押圧個所に対応する部分に位置する前記アイコンが選択される上記（１０）に記載の画像表示システム。

（１２） 前記弾性層は、
使用者側に位置する前面部と、
前記前面部の反対側に位置する背面部と、を有し、
前記背面部を押圧することにより、複数の前記アイコンのうちの少なくとも１つが選択され、選択された前記アイコンが前記仮想立体の表面から離脱するように移動する上記（３）から（１１）のいずれかに記載の画像表示システム。

（１３） 前記仮想立体は、前記弾性層と同じ外形である上記（３）から（１２）のいずれかに記載の画像表示システム。

（１４） 画像を表示する端末に、三次元的に配列された複数のアイコンを有する前記画像としてのインターフェースを表示し、
入力装置からの入力に基づいて、前記複数のアイコンを三次元的に移動させることを特徴とするオペレーティングシステム。

（１５） 画像を表示する端末と、
前記端末を操作する入力装置と、を有し、
前記入力装置は、
外力が入力される弾性層と、前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、を有する弾性入力部と、
前記マーカーの変位を検出する検出部と、を備える画像表示システムの制御方法であって、
前記端末に、三次元的に配列された複数のアイコンを有する前記画像としてのインターフェースを表示し、
前記入力装置からの入力に基づいて、前記複数のアイコンを三次元的に移動させることを特徴とする画像表示システムの制御方法。

本発明によれば、入力装置の弾性層を押したり、捩じったり、摘まんで引っ張ったりすることにより入力が行われる。そのため、人間が日常で行う動作によって入力が可能であり、また感覚的で多彩な操作が可能となる。そのため、優れた操作性を発揮することができる画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法が得られる。

本発明の第１実施形態に係る画像表示システムの全体構成を示す図である。 図１に示す画像表示システムが有する入力装置の断面図である。 図２に示す入力装置の部分拡大断面図である。 図１に示すＨＭＤに表示されるインターフェースを示す図である。 図４に示すインターフェースの変形例を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 本発明の第２実施形態に係る画像表示システムが有する入力装置の部分拡大断面図である。 本発明の第３実施形態に係る画像表示システムが有するインターフェースを示す仮想断面図である。 本発明の第４実施形態に係る画像表示システムが有するインターフェースを示す図である。 ユーザーが入力装置を把持した状態を示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 本発明の第５実施形態に係る画像表示システムが有するインターフェースを示す図である。 インターフェースの操作方法を示す図である。 インターフェースの操作方法を示す図である。 本発明の第６実施形態に係る画像表示システムが有するインターフェースを示す図である。 本発明の第７実施形態に係る画像表示システムが有するインターフェースを示す図である。 インターフェースの操作方法を示す図である。

以下、本発明の画像表示システムおよび画像表示システムの制御方法を添付図面に示す好適な実施形態に基づいて詳細に説明する。

＜第１実施形態＞
図１に、画像表示システム１を示す。画像表示システム１は、画像を表示可能な端末７と、端末７に情報を入力する入力装置２と、を有する。なお、端末７および入力装置２は、有線、無線等の各種通信手段によって接続されている。また、端末７は、所定のプログラムを実行する少なくとも１つのＣＰＵ８１と、プログラムやデータを一時的に格納するメインメモリ８２と、フラッシュメモリのような補助メモリ８３と、を有するコンピュータ本体８と、コンピュータ本体８の出力装置としてのディスプレイ９と、を有する。また、ディスプレイ９は、ヘッドマウントディスプレイ９０で構成されている。

ヘッドマウントディスプレイ９０は、ユーザーＵの頭部に装着して使用され、ユーザーＵに画像を外界像と重畳した状態で視認させる装置である。すなわち、ヘッドマウントディスプレイ９０は、拡張現実（ＡＲ）型のヘッドマウントディスプレイである。ヘッドマウントディスプレイ９０は、ユーザーＵの頭部に装着されるフレーム９１と、フレーム９１に支持された表示部９２と、表示部９２に表示する画像を形成する画像形成装置９３と、を有する。画像形成装置９３は、コンピュータ本体８から出力される出力信号に基づいた画像を表示部９２に表示する。

フレーム９１は、眼鏡フレームのような形状をなし、本来レンズである部位には表示部９２が設けられている。表示部９２は、例えば、ホログラム素子、ハーフミラー等で構成された画面９２１を有し、画面９２１に画像形成装置９３が形成した画像を表示することにより、ユーザーには外界像と画像とが重なって見える。なお、画像形成装置９３としては、特に限定されないが、例えば、有機ＥＬパネル、液晶パネル等を用いた表示装置やレーザーを走査して画像を形成する光走査型の表示装置を用いることができる。また、画面９２１を省略し、ユーザーＵの網膜にレーザー光を走査することで網膜に直接画像を形成する直描型のヘッドマウントディスプレイを用いてもよい。また、図１では、画面９２１が右眼側にしか設けられていないが、左目側にも設け、右眼用の画像と左目用の画像とを用いた三次元表示が可能となっていてもよい。

なお、本実施形態では、ディスプレイ９としてヘッドマウントディスプレイ９０を用いているが、ディスプレイ９としては、画像を表示することができれば、特に限定されない。例えば、デスクトップ型のモニタ、スマートフォン、タブレット端末等の携帯端末装置に一体化されたモニタ等であってもよい。また、ヘッドマウントディスプレイ９０として、仮想現実（ＶＲ）型のヘッドマウントディスプレイを用いてもよい。

図２に入力装置２の断面を示す。入力装置２は、球状の基体２１と、基体２１の外周に設けられた球状の弾性入力部２８と、を有する。なお、説明の便宜上、図２において、弾性入力部の断面からハッチングを省略している。また、弾性入力部２８は、外力が入力される弾性層２２と、弾性層２２に配置され、弾性層２２の変形に伴って変位するマーカーＭと、を有する。また、入力装置２は、マーカーＭの変位に基づいて弾性層２２の変形を検出する検出部２３と、検出部２３の検出結果から入力信号を生成する信号生成部２４と、基体２１内から弾性入力部２８を照らす光源２５と、入力装置２の姿勢を検出する姿勢検出部２６と、を有する。そして、信号生成部２４で生成された入力信号がコンピュータ本体８に送信され、コンピュータ本体８は、受けた入力信号に基づいて各種処理を行う。

基体２１は、硬質な部材、具体的には指による押圧程度では実質的に変形しない程度の硬さを有する部材で構成されている。また、基体２１は、光透過性を有している。本実施形態では、基体２１は、樹脂材料で構成され、実質的に無色透明である。ただし、基体２１の構成は、これに限定されず、指による押圧によって容易に変形するほど柔らかくてもよい。また、弾性層２２が基体２１に支持されなくても一定の形状を保つことができる程度に硬い場合等には、基体２１を省略してもよい。

弾性層２２は、弾性を有する入力部である。例えば、ユーザーＵは、弾性層２２を押したり、摘まんだり、捩じったり、引っ張ったりすることにより入力装置２への入力を行う。これらの各動作は、人間が日常、特に意識することなく行っている動作である。そのため、直感的、感覚的な入力が可能であり、優れた操作性を有する入力装置２となる。また、入力装置２によれば、弾性層２２への入力の強さ、ベクトル、速度等をユーザーＵが無段階で自由に決定することができる。しかも、入力途中で、そのベクトルや速度を自由に変化させることもできる。そのため、入力装置２によれば、より細かく多彩な入力が可能となる。

図２に示すように、弾性層２２は、外力が入力される第１面としての外周面２２’および外周面２２’の反対側に位置する第２面としての内周面２２”を有する。弾性層２２は、基体２１に支持され、基体２１に倣った球状となっている。弾性層２２を球状とすることにより、入力装置２を両手で包み込むように保持することができ、弾性層２２に指を添え易くなり、弾性層２２への入力をより自然に行うことができる。また、弾性層２２を引っ張り易くもなるし、摘まみ易くもなるため、より繊細な入力を行うことができる。ただし、弾性層２２の外形としては、特に限定されず、球状の他にも、例えば、半球状、正四面体状、正六面体状、正八面体状等の多面体状、平らなシート状等であってもよい。

弾性層２２には、弾性層２２の変形によって変位するマーカーＭが配置されている。マーカーＭは、検出部２３で検出可能な検出対象である。マーカーＭは、弾性層２２の厚さ方向にずれて配置され、基体２１からの距離が互いに異なる第１マーカーＭ１、第２マーカーＭ２および第３マーカーＭ３を有する。これら第１マーカーＭ１、第２マーカーＭ２および第３マーカーＭ３は、それぞれ、弾性層２２の変形に伴って変位する。そのため、これら第１マーカーＭ１、第２マーカーＭ２および第３マーカーＭ３の変位に基づいて弾性層２２の変形を検出でき、弾性層２２の変形から弾性層２２への入力を検出することができる。

なお、本実施形態では、第１マーカーＭ１、第２マーカーＭ２および第３マーカーＭ３は、それぞれ、ドット状すなわち点形状をなしているが、これに限定されず、線形状、面形状、立体形状等であってもよい。また、複数の第１マーカーＭ１は、互いに形状が同じであってもよいし、異なっていてもよい。第２、第３マーカーＭ２、Ｍ３についても同様である。

弾性層２２は、基体２１の表面に配置され、第１マーカーＭ１を有する第１弾性層２２１と、第１弾性層２２１の表面に配置され、第２マーカーＭ２を有する第２弾性層２２２と、第２弾性層２２２の表面に配置され、第３マーカーＭ３を有する第３弾性層２２３と、第３弾性層２２３の表面に配置された保護層２２４と、を有する。

第１弾性層２２１、第２弾性層２２２および第３弾性層２２３は、それぞれ、光透過性および弾性を有する。そして、第１弾性層２２１の表面に複数の第１マーカーＭ１が互いに離間して配置され、第２弾性層２２２の表面に複数の第２マーカーＭ２が互いに離間して配置され、第３弾性層２２３の表面に複数の第３マーカーＭ３が互いに離間して配置されている。なお、本実施形態では、第１〜第３弾性層２２１〜２２３は、それぞれ、実質的に無色透明である。ただし、第１〜第３弾性層２２１〜２２３は、光透過性を有していれば、その少なくとも１つが、例えば、有色透明であってもよい。

第１〜第３マーカーＭ１〜Ｍ３は、それぞれ、第１〜第３弾性層２２１〜２２３の表面に貼着されたものであってもよいし、第１〜第３弾性層２２１〜２２３の表面にインク等を用いて印刷されたものであってもよい。また、例えば、第１〜第３マーカーＭ１〜Ｍ３は、それぞれ、第１〜第３弾性層２２１〜２２３内に埋設されていてもよい。

第１〜第３マーカーＭ１〜Ｍ３は、形状および色彩の少なくとも一方が互いに異なっており、検出部２３によって識別可能となっている。本実施形態では、第１〜第３マーカーＭ１〜Ｍ３は、互いに色彩が異なっており、例えば、第１マーカーＭ１が赤色、第２マーカーＭ２が緑色、第３マーカーＭ３が青色となっている。なお、第１〜第３マーカーＭ１〜Ｍ３の色彩ではなく形状を互いに異ならせる場合には、例えば、第１マーカーＭ１を円形、第２マーカーＭ２を三角形、第３マーカーＭ３を四角形とすることができる。もちろん、色彩および形状を共に異ならせてもよいし、色彩や形状を異ならせる以外の方法によって第１、第２、第３マーカーＭ１〜Ｍ３を検出部２３で識別可能としてもよい。

また、第１〜第３マーカーＭ１〜Ｍ３は、自然状態において、検出部２３のカメラ２３１から見て互いに重ならないように配置されていることが好ましい。すなわち、カメラ２３１によって撮像される画像上で、第２マーカーＭ２がその手前にある第１マーカーＭ１に隠れることなく、第３マーカーＭ３がその手前にある第１、第２マーカーＭ１、Ｍ２に隠れることがないように配置されていることが好ましい。これにより、カメラ２３１によって、より多くのマーカーＭの変位を検出することができる。そのため、弾性層２２への入力をより精度よく検出することができる。なお、前記「自然状態」とは、例えば、弾性層２２に重力以外の外力が加わっていない状態を言う。

保護層２２４は、第３弾性層２２３の表面に配置された第３マーカーＭ３を保護する機能を有している。保護層２２４は、第１〜第３弾性層２２１〜２２３と同様に、光透過性および弾性を有している。

以上、弾性入力部２８について説明したが、弾性入力部２８の構成としては、これに限定されない。例えば、第１マーカーＭ１を有していれば、第２、第３マーカーＭ２、Ｍ３を省略してもよい。つまり、厚さ方向にずれて配置されたマーカーＭが存在していなくてもよい。また、保護層２２４を省略し、第３マーカーＭ３が弾性層２２の表面に露出していてもよい。

検出部２３は、第１〜第３マーカーＭ１〜Ｍ３を変位に基づいて、弾性層２２の変形を三次元的に検出する。このような検出部２３の構成は、その機能を発揮することができれば、特に限定されないが、本実施形態では、ステレオ写真法を用いて弾性層２２の変形を三次元的に検出する。検出部２３は、撮像部としての複数のカメラ２３１を有する。複数のカメラ２３１は、弾性層２２の方を向いて配置され、それぞれ、弾性層２２を内周面２２”側から撮像する。弾性層２２の各部は、少なくとも２つのカメラ２３１で撮像できるようになっており、これにより、弾性層２２の各部を三次元画像認識すなわちステレオ画像認識することができる。なお、前記「弾性層２２の各部」とは、弾性層２２の全域を意味する場合もあれば、弾性層２２の選択された一部の領域を意味する場合もある。

また、図３に示すように、検出部２３は、各カメラ２３１からの画像情報に基づいて弾性層２２の三次元画像認識を行う処理部２３２を有する。処理部２３２は、例えば、所定のプログラムを実行する少なくとも１つのＣＰＵと、プログラムやデータを一時的に格納するメインメモリと、フラッシュメモリのような補助メモリと、を有するコンピュータで構成されている。

処理部２３２は、弾性層２２への入力に伴う第１〜第３マーカーＭ１〜Ｍ３の変位を三次元画像認識によって検出し、検出結果に基づいて、入力位置、入力方向、入力強度、入力速度、入力加速度等を含む入力情報を得る。以下、この入力情報を「接触入力情報」とも言う。特に、本実施形態では、第１〜第３マーカーＭ１〜Ｍ３が弾性層２２の厚さ方向にずれて配置されている。そのため、検出部２３は、弾性層２２の内層、中間層、外層のそれぞれでの変形を検出することができ、弾性層２２の変形をより詳細に検出することができる。

ここで、処理部２３２による入力情報の取得方法の一例について簡単に説明する。処理部２３２の記憶部には予め各カメラ２３１の３次元座量が記憶されている。そして、処理部２３２は、所定マーカーＭの変位を検出するのに用いられる２台のカメラ２３１によって同時刻における画像を取得し、両画像中の所定マーカーＭの２次元座標を取得する。次に、処理部２３２は、両画像中の所定マーカーＭの２次元座標のずれと各カメラ２３１の３次元座標とに基づいて所定マーカーＭの３次元座標を取得し、記憶する。処理部２３２は、この作業をフレーム毎に連続的に行う。そして、処理部２３２は、前回取得した所定マーカーＭの３次元座標と、今回新たに取得した所定マーカーＭの３次元座標とを比較することにより、その間に生じた所定マーカーＭの変位を検出することができる。処理部２３２は、このような作業を全マーカーＭについて行うことにより、入力情報を得ることができる。

以上、処理部２３２による入力情報の取得方法について説明したが、入力情報の取得方法は、これに限定されない。例えば、全マーカーＭについて上述の作業を行うと処理量が膨大となってしまい、処理部２３２の性能等によっては処理が追いつかない場合が考えられる。また、用途によっては、大まかな入力情報が得られれば、それで足りる場合も考えられる。そのため、このような場合には、例えば、処理部２３２は、予め選択した一部のマーカーＭについてのみ上述の作業を行うようにしてもよい。

また、処理部２３２は、例えば、自然状態における弾性層２２の各部の画像を基準画像として記憶しておき、この基準画像と、上述のように得された画像とをリアルタイムに比較して第１〜第３マーカーＭ１〜Ｍ３の変位を特定することにより、上記の入力情報を得てもよい。信号生成部２４は、検出部２３が取得した接触入力情報を受信し、受信した接触入力情報に基づいて入力信号を生成する。なお、受信した接触入力情報に基づいて生成した入力信号を以下では「接触入力信号」とも言う。

ここで、前述したように、第１〜第３弾性層２２１〜２２３および保護層２２４は、無色透明である。そのため、各カメラ２３１は、弾性層２２を介して弾性層２２の外界を撮像することができる。したがって、各カメラ２３１を用いて、外界にある操作者の手の動きを捉えることができ、弾性層２２に触れることのない入力や、第１〜第３マーカーＭ１〜Ｍ３が変位しない程度に軽く弾性層２２に触れた状態での入力が可能となる。

具体的には、例えば、弾性層２２の表面付近で手を動かしたり、弾性層２２の表面をなでたりすると、この手の動きを処理部２３２がカメラ２３１からの画像に基づいて検出し、その動きに基づく入力情報を得る。なお、以下では、この入力情報を前述した接触入力情報と区別するために「非接触入力情報」とも言う。このようにして得られた非接触入力情報も、信号生成部２４に送信され、信号生成部２４は、受信し非接触入力情報に基づいて入力信号を生成する。なお、以下では、非接触入力情報から生成された入力信号を前述した接触入力信号と区別するために「非接触入力信号」とも言う。このような構成によれば、前述した接触型の入力に加えて、非接触型の入力が可能となり、入力装置２の操作性、操作の多彩性および利便性がさらに向上する。

なお、非接触型の入力は必須ではなく、できなくてもよい。この場合、保護層２２４は、光透過性を有する必要がないため、光透過性を有していなくてもよい。保護層２２４が光透過性を有しなければ、光源２５の光が弾性層２２の外部に漏れないため、例えば、光源２５からの光量が大きい場合等に、ユーザーＵが眩しく感じることがなくなる。

光源２５は、基体２１の内側から弾性層２２を照らす。図２に示すように、光源２５は、基体２１の内部空間Ｓ内に配置された発光部２５１を有する。発光部２５１としては、特に限定されず、例えば、ＬＥＤを用いることができる。光源２５は、例えば、外界からの光によって弾性層２２を画像認識可能な程に十分に明るく保てる場合等には省略してもよい。また、内部空間Ｓに輝度センサーを配置して、この輝度センサーにより検知された内部空間Ｓの明るさに基づいて、発光部２５１の光量が制御されるようになっていてもよい。これにより、例えば、内部空間Ｓ内をほぼ一定の明るさに保つことができ、検出部２３による弾性層２２の画像認識をより安定して行うことができる。

姿勢検出部２６は、入力装置２の姿勢、移動方向、移動速度を検出する装置である。このような姿勢検出部２６は、慣性計測装置であり、例えば、互いに直交する軸をＸ軸、Ｙ軸およびＺ軸としたとき、Ｘ軸まわりの角速度、Ｙ軸まわりの角速度およびＺ軸まわりの角速度を検出する３軸ジャイロセンサーと、Ｘ軸方向の加速度、Ｙ軸方向の加速度およびＺ軸方向の加速度を検出する３軸加速度センサーと、を有する。ただし、姿勢検出部２６の構成としては、これに限定されない。姿勢検出部２６の検出信号は、信号生成部２４に入力され、信号生成部２４は、姿勢検出部２６の検出信号に基づいて入力信号を生成する。なお、姿勢検出部２６の検出信号に基づいて生成した入力信号を以下では「移動入力信号」とも言う。

以上、画像表示システム１の基本構成について説明した。次に、画像表示システム１の特徴の１つでもある画面９２１に表示される画像としてのインターフェース７０について説明する。インターフェース７０は、コンピュータ本体８にインストールされたオペレーティングシステム（ＯＳ）により提供され、ホーム画面とも呼ばれるグラフィックユーザーインターフェースである。このようなインターフェース７０は、図４に示すように、三次元的、すなわち、ユーザーＵが三次元的に見えるように配列された複数のアイコン７１を有し、入力装置２からの入力により、複数のアイコン７１が移動するように構成されている。このように、弾性入力部２８を有し、直感的な操作が可能で多彩な入力信号を生成できる入力装置２を用いることにより、端末７の操作性がより向上する。以下、このようなインターフェース７０について、詳しく説明する。

インターフェース７０には複数のアイコン７１が表示されている。各アイコン７１には、異なるプログラムが設定されており、ユーザーＵが入力装置２を用いて特定のアイコン７１を選択することにより、選択されたアイコン７１に対応するプログラムが実行される。なお、アイコン７１は、少なくとも１つのプログラムが格納されたフォルダであってもよい。

複数のアイコン７１は、例えば、画面中央に集合して三次元的に配列されている。具体的には、インターフェース７０には弾性層２２に見立てた球形の仮想立体Ｖが設定されており、この仮想立体Ｖの表面に沿って複数のアイコン７１が配置されている。これにより、ユーザーＵは、弾性層２２の表面に複数のアイコン７１が配置されている感覚で、端末７を操作することができる。そのため、直感的な操作が可能で、操作し易い画像表示システム１となる。また、複数のアイコン７１を三次元的に配置することにより、インターフェース７０のデザイン性が向上し、画像表示システム１への没入感を高めることができる。なお、仮想立体Ｖは、実際に設定されていてもよいし、設定されておらず、複数のアイコン７１の配列により存在しているように見える場合でもよい。また、以下では、これら複数のアイコン７１の集合体を「アイコン群７２」とも言う。

また、仮想立体Ｖの球形とすることにより、アイコン群７２がまとまって見え、アイコン群７２のデザイン性が向上する。特に、仮想立体Ｖは、弾性層２２と同じ外形となっている。つまり、仮想立体Ｖも弾性層２２も共に球形である。このように、仮想立体Ｖと弾性層２２とを同じ外形とすることにより、前述した「弾性層２２の表面に複数のアイコン７１が配置されている感覚」がより生じ易くなり、より操作し易い画像表示システム１となる。ただし、これに限定されず、例えば、仮想立体Ｖの外形は、図５に示すような立方体（正六面体）であってもよい。また、この他にも、仮想立体Ｖの外形は、四面体、立方体以外の六面体、八面体、十面体等であってもよい。また、仮想立体Ｖと弾性層２２との外形が互いに異なっていてもよい。

また、複数のアイコン７１は、入力装置２からの入力信号（非接触入力信号、接触入力信号、移動入力信号）に基づいて、仮想立体Ｖの表面に沿って移動する。複数のアイコン７１が仮想立体Ｖの表面に沿って立体的に移動することにより、従来からあるような画面９２１内でアイコン７１が平面的に移動する場合と比べて、アイコン７１の移動が視覚的に面白いものとなる。以下、具体的な操作例をいくつか説明する。

（回転操作）
例えば、図６に示すように、入力装置２を回転させると、それに合わせてアイコン群７２がその縦中心軸Ｊ１まわりに回転する。このとき、アイコン群７２に含まれる複数のアイコン７１の相対的位置は、維持される。このように、入力装置２の回転に対応してアイコン群７２が回転することにより、例えば、仮想立体Ｖの背面側に隠れたアイコン７１を前面側に移動させることができ、アイコン７１の検索が容易となる。また、不要なアイコン７１を仮想立体Ｖの背面側に隠すこともできる。なお、このような制御は、入力装置２を回転させることにより生成された移動入力信号に基づいて行われる。

（非変形操作）
弾性層２２に軽く触れながら、弾性層２２の表面をなでる（なぞる）ことで、そのなぞり方向に沿ってアイコン７１が移動する。具体的には、例えば、図７に示すように、実質的に変形しない程度の力で弾性層２２の表面に触れ、そのまま弾性層２２の表面をなぞると、所定の列（ハッチングで示した列）のアイコン７１のみが、なぞり方向に合わせて回転する。このような制御は、弾性層２２に触れることにより生成された非接触入力信号に基づいて行われる。

（スライド操作）
弾性層２２を押圧しながらスライドさせることで、その移動方向に沿ってアイコン７１が移動する。このような制御は、弾性層２２を押圧することにより生成された接触入力信号に基づいて行われる。

（捩じり操作）
弾性層２２を捩じることにより、その捩じり方向に沿ってアイコン７１が移動する。具体的には、例えば、図８に示すように、弾性層２２の上側部分２２ａを下側部分２２ｂに対して横方向に捩じると、それに合わせて仮想立体Ｖの上側部分Ｖａに位置する複数のアイコン７１（ハッチングで示すアイコン７１）が相対的位置関係を維持したまま、下側部分Ｖｂに対して縦中心軸Ｊ１まわりに横方向に回転する。同様に、例えば、図９に示すように、弾性層２２の左側部分２２ｃを右側部分２２ｄに対して縦方向に捩じると、それに合わせて仮想立体Ｖの左側部分Ｖｃに位置する複数のアイコン７１が相対的位置関係を維持したまま、右側部分Ｖｄに対して横中心軸Ｊ２まわりに縦方向に回転する。

このように、弾性層２２の捩じりに対応してアイコン７１が移動することにより、ユーザーＵは、より直感的な操作が可能となる。特に、立体パズル「ルービックキューブ（登録商標）」を操作しているような感覚でアイコン７１を移動させることができるため、アイコン７１の移動がより楽しいものとなる。また、より簡単に、複数のアイコン７１の相対的位置関係を変更することができるため、ユーザー好みのアイコン７１の配置とするのが容易である。また、入力装置２に姿勢検出部２６が設けられておらず、移動入力信号を生成できない場合には、このような捩じり操作によって仮想立体Ｖの背面側に隠れたアイコン７１についてもスムーズに検索することができる。また、不要なアイコン７１を仮想立体Ｖの背面側に隠すこともできる。なお、このような制御は、弾性層２２を捩じることにより生成された接触入力信号に基づいて行われる。

（第１押圧操作）
弾性層２２を押圧することにより、複数のアイコン７１のうちの少なくとも１つが選択され、選択されたアイコン７１に基づくプログラムが実行される。具体的には、例えば、図１０に示すように、弾性層２２の一部を押圧すると、仮想立体Ｖの、弾性層２２の押圧個所に対応する部分に位置するアイコン７１（ハッチングで示すアイコン７１）が選択され、選択されたアイコン７１に対応したプログラムが実行される。このような操作によれば、簡単に、目的のアイコン７１を選択することができ、インターフェース７０の操作性が向上する。これとは異なって、図１１に示すように、仮想立体Ｖの所定位置に固定された選択エリアＥが設定されており、弾性層２２の押圧個所によらず、選択エリアＥ内に位置するアイコン７１が選択され、選択されたアイコン７１に対応したプログラムが実行されるように構成されていてもよい。つまり、弾性層２２の押圧位置と選択されるアイコン７１の位置とが対応していなくてもよい。このような操作によれば、選択エリアＥが決まっているため、より確実に目的のアイコン７１を選択することができる。なお、このような制御は、弾性層２２を押圧することにより生成された接触入力信号に基づいて行われる。

また、例えば、図１２に示すように、弾性層２２を押圧した状態を維持したまま、押圧個所をスライドさせることにより、押圧によって選択したアイコン７１をドラッグすることができる。これにより、例えば、アイコン７１の配列をユーザーＵの好みに変更することができ、インターフェース７０の使い勝手が向上する。なお、このような制御は、弾性層２２を押圧することにより生成された接触入力信号に基づいて行われる。

ここで、アイコン群７２の背面側に隠れたアイコン７１は、視認できないため、アイコン群７２の背面側に隠れたアイコン７１を第１押圧操作によって選択するのは非常に困難である。そこで、第１押圧操作は、弾性層２２の前面部２２ｆすなわちユーザーＵ側に位置し、ユーザーＵと対面している側のエリアでのみ有効で、反対側の背面部２２ｇでは無効となっている。これにより、背面部２２ｇへの第１押圧操作によって誤ったアイコン７１が選択されてしまうことが防止され、画像表示システム１の操作性の悪化を抑制することができる。ただし、これに限定されず、背面部２２ｇにおいても第１押圧操作が可能となっていてもよい。

なお、本実施形態では、ユーザーＵが入力装置２を自由に把持できるため、弾性層２２のどの部分が前面部２２ｆおよび背面部２２ｇとなるかは、入力装置２の向きによって変化する。入力装置２の向きは、姿勢検出部２６によって検出可能であるため、この姿勢検出部２６の検出結果に基づいて弾性層２２のどの部分が前面部２２ｆおよび背面部２２ｇであるかを判断し、設定することができる。

なお、選択したアイコン７１がフォルダの場合には、フォルダ内に格納されたプログラムのアイコン７１が仮想立体Ｖの表面に沿って立体的に表示される。

（第２押圧操作）
前述したように、弾性層２２は、ユーザーＵ側に位置する前面部２２ｆと、前面部２２ｆの反対側に位置する背面部２２ｇと、を有する。第２押圧操作では、背面部２２ｇを押圧することにより、複数のアイコン７１のうちの少なくとも１つが選択され、選択された前記アイコンが仮想立体Ｖの表面から離脱するように移動する。

具体的には、例えば、図１３に示すように、弾性層２２の背面部２２ｇを押圧すると、その反対側つまり仮想立体Ｖの中心を介して押圧個所と対向する部分に位置するアイコン７１が仮想立体Ｖの表面から飛び出し、アイコン群７２から離脱する。例えば、使用頻度の高いアイコン７１をアイコン群７２から離脱させておけば、アイコン群７２の姿勢に影響を受けることなく、離脱させたアイコン７１を常にインターフェース７０に表示させておくことができる。そのため、その後のアイコン７１の選択が容易となる。これとは異なって、図１４に示すように、仮想立体Ｖの所定位置に固定された選択エリアＥが設定されており、背面部２２ｇの押圧個所によらず、選択エリアＥ内に位置するアイコン７１が仮想立体Ｖの表面から飛び出し、アイコン群７２から離脱する構成となっていてもよい。つまり、弾性層２２の押圧位置と選択されるアイコン７１の位置とが対応していなくてもよい。このような操作によれば、選択エリアＥが決まっているため、より確実に目的のアイコン７１をアイコン群７２から離脱させることができる。なお、このような制御は、弾性層２２を押圧することにより生成された接触入力信号に基づいて行われる。

（摘まみ操作）
弾性層２２を摘まむことにより、複数のアイコン７１のうちの少なくとも１つが選択され、選択された前記アイコンが仮想立体Ｖの表面から離脱するように移動する。具体的には、例えば、図１５に示すように、弾性層２２の一部を摘まむと、仮想立体Ｖの、弾性層２２の摘まんだ個所に対応する部分に位置するアイコン７１（ハッチングで示すアイコン７１）が選択され、選択されたアイコン７１が仮想立体Ｖの表面から飛び出して拡大表示され、摘まんだまま弾性層２２をさらに引っ張るとアイコン群７２から離脱する。例えば、使用頻度の高いアイコン７１をアイコン群７２から離脱させておけば、アイコン群７２の姿勢に影響を受けることなく、離脱させたアイコン７１を常にインターフェース７０に表示させておくことができる。そのため、その後のアイコン７１の選択が容易となる。さらに、摘まんだ状態でその部分をひねることにより、選択されたアイコン７１が、インターフェース７０の画面から消去されるようになっていてもよい。

（擦り操作）
弾性層２２を擦ることにより、複数のアイコン７１のうちの少なくとも１つが選択され、選択された前記アイコンが拡大される。具体的には、例えば、図１６に示すように、弾性層２２の一部を擦ると、仮想立体Ｖの、弾性層２２の擦った個所に対応する部分に位置するアイコン７１（ハッチングで示すアイコン７１）が選択され、選択されたアイコン７１が仮想立体Ｖの表面から飛び出して拡大される。このように、選択されたアイコン７１を拡大することにより、アイコン７１の確認が容易となる。なお、擦った部分が２つのアイコン７１にまたがる場合は、それぞれのアイコン７１を拡大して表示してもよい。

以上、代表的な操作例について説明したが、操作例は、これに限定されない。また、例えば、上述したように、第１押圧操作によって複数のアイコン７１のうちの少なくとも１つが選択され、選択されたアイコン７１に基づくプログラムが実行されるが、第１押圧操作によって選択されたアイコン７１の処理方法としては、これに限定されない。すなわち、第１押圧操作によって選択されたアイコン７１に対応するプログラムが実行されなくてもよく、例えば、アイコン群７２から削除されてもよいし、拡大表示されてもよい。上述した第１押圧操作以外の各操作例についても同様である。

＜第２実施形態＞
図１７に示すように、本実施形態の弾性入力部２８は、弾性層２２の変形によって変位せず、検出部２３で検出可能な基準マーカーＭ４を有する。図１７の構成では、基準マーカーＭ４は、第１弾性層２２１と基体２１との間であって基体２１の外周面に配置されている。ただし、基準マーカーＭ４の配置としては、これに限定されず、例えば、基体２１の内周面に配置されていてもよい。

基準マーカーＭ４は、各カメラ２３１との相対的位置関係が一定であり、検出部２３が第１、第２、第３マーカーＭ１、Ｍ２、Ｍ３の変位を検出する際の基準として機能する。このような構成によれば、例えば、検出部２３は、基準マーカーＭ４に対する第１、第２、第３マーカーＭ１、Ｍ２、Ｍ３の変位を検出することで、より精度よく入力情報を取得することができる。なお、基準マーカーＭ４は、検出部２３が第１、第２、第３マーカーＭ１、Ｍ２、Ｍ３のそれぞれと区別（識別）できるように、例えば、第１、第２、第３マーカーＭ１、Ｍ２、Ｍ３と形状および色彩の少なくとも一方が異なっていることが好ましい。

＜第３実施形態＞
本実施形態のインターフェース７０では、図１８に示すように、仮想立体Ｖが表層Ｖｘと、表層Ｖｘの内側に位置する中間層Ｖｙ（第２層）と、中間層Ｖｙの内側に位置する内層Ｖｚ（第３層）と、を有する。表層Ｖｘ、中間層Ｖｙおよび内層Ｖｚは、互いに同心的に配置されている。なお、仮想立体Ｖが有する層の数は、特に限定されない。

また、表層Ｖｘ、中間層Ｖｙおよび内層Ｖｚには、それぞれ、その表面に沿って複数のアイコン７１が配置されている。なお、中間層Ｖｙに配置されたアイコン７１および内層Ｖｚに配置されたアイコン７１は、その手前にある表層Ｖｘに配置されたアイコン７１によって、その一部または全部が隠れている。なお、例えば、表層Ｖｘに配置された各アイコン７１および中間層Ｖｙに配置された各アイコン７１が半透明であり、表層Ｖｘに配置されたアイコン７１の奥に中間層Ｖｙに配置されたアイコン７１や内層Ｖｚに配置されたアイコン７１が透けて見える構成となっていてもよい。

このように、複数のアイコン７１を表層Ｖｘと中間層Ｖｙと内層Ｖｚとに分けて配置することにより、より多くのアイコン７１を配置することができる。また、インターフェース７０のデザイン性が向上し、画像表示システム１への没入感を高めることができる。また、複数のアイコン７１を使用頻度、種類等に応じて表層Ｖｘと中間層Ｖｙと内層Ｖｚとに分けて配置することでアイコン７１の整理が可能となり、より使い易いインターフェース７０となる。なお、表層Ｖｘ、中間層Ｖｙおよび内層Ｖｚには、それぞれ、少なくとも１つのアイコン７１が配置されていればよい。

このようなインターフェース７０の操作方法としては、特に限定されない。例えば、弾性層２２を所定の力で押圧すると、表層Ｖｘに配置されていたアイコン７１が内層Ｖｚに移動し、内層Ｖｚに配置されていたアイコン７１が中間層Ｖｙに移動し、中間層Ｖｙに配置されていたアイコン７１が表層Ｖｘに移動する。さらには、弾性層２２を押圧したまま維持したり、繰り返し押圧したりすると、このような移動が繰り返され、中間層Ｖｙや内層Ｖｚに配置されたアイコン７１を自由に表層Ｖ２１に移動させることができる。そのため、中間層Ｖｙや内層Ｖｚに配置されたアイコン７１についても容易に確認することができる。このような構成によれば、中間層Ｖｙや内層Ｖｚにアイコン７１を隠しておくことができ、アイコン７１の整理が容易となる戸共に、多数のアイコン７１が画面に表示され過ぎるのを抑制することができる。

また、例えば、弾性層２２を第１の力（第１の変形量）で押圧すると、表層Ｖｘに配置された複数のアイコン７１の中から押圧位置に対応したアイコン７１が選択され、同様に、弾性層２２を第１の力よりも大きい第２の力（第１の変形量よりも大きい第２の変形量）で押圧すると、中間層Ｖｙに配置された複数のアイコン７１の中から押圧位置に対応したアイコン７１が選択され、弾性層２２を第２の力よりも大きい第３の力（第２の変形量よりも大きい第３の変形量）で押圧すると、内層Ｖｚに配置された複数のアイコン７１の中から押圧位置に対応したアイコン７１が選択されるようになっていてよい。

また、この際、弾性層２２を第１の力で押圧すれば、表層Ｖｘに配置され、押圧位置に対応したアイコン７１が表層Ｖｘよりも手前側に飛び出して表示され、弾性層２２を第２の力で押圧すれば、中間層Ｖｙに配置され、押圧位置に対応したアイコン７１が表層Ｖｘよりも手前側に飛び出して表示され、弾性層２２を第３の力で押圧すれば、内層Ｖｚに配置され、押圧位置に対応したアイコン７１が表層Ｖｘよりも手前側に飛び出して表示されるようにするのが好ましい。これにより、アイコン７１の検索および選択が容易となる。

＜第４実施形態＞
本実施形態のインターフェース７０では、図１９に示すように、仮想立体Ｖが２つ設定されている。具体的には、仮想立体Ｖは、第１仮想立体Ｖ１と、第１仮想立体Ｖ１の周囲に位置し、第１仮想立体Ｖ１を囲む環状の第２仮想立体Ｖ２と、を有する。特に、本実施形態では、第１仮想立体Ｖ１は、球形をなし、第２仮想立体Ｖ２は、円環状となっている。つまり、第１仮想立体Ｖ１および第２仮想立体Ｖ２が、土星のような形状となっている。ただし、第１、第２仮想立体Ｖ１、Ｖ２の形状は、特に限定されない。また、仮想立体Ｖは、第１、第２仮想立体Ｖ１、Ｖ２に加えて、第３仮想立体、第４仮想立体またはそれ以上の仮想立体を有していてもよい。

また、第１仮想立体Ｖ１には、その表面に沿って複数のアイコン７１が配置され、第２仮想立体Ｖ２には、その表面に沿って複数のアイコン７１が配置されている。このように、複数のアイコン７１を第１仮想立体Ｖ１と第２仮想立体Ｖ２とに分けて配置することにより、より多くのアイコン７１を配置することができる。また、インターフェース７０のデザイン性が向上し、画像表示システム１への没入感を高めることができる。また、複数のアイコン７１を使用頻度、種類等に応じて第１仮想立体Ｖ１と第２仮想立体Ｖ２とに分けて配置することでアイコン７１の整理ができ、より使い易いインターフェース７０となる。なお、第１仮想立体Ｖ１および第２仮想立体Ｖ２には、それぞれ、少なくとも１つのアイコン７１が配置されていればよい。

また、本実施形態では、前述した第１実施形態と比べて入力装置２が大きく、図２０に示すように、両手で把持するようになっている。なお、図２０では、ユーザーＵに見えているインターフェース７０を仮想的に図示している。

このようなインターフェース７０の操作方法としては、特に限定されない。例えば、図２１に示すように、入力装置２を回転させると、それに合わせて、第１仮想立体Ｖ１に配置された複数のアイコン７１が互いの相対的位置を維持しつつ第１仮想立体Ｖ１の表面に沿って回転移動すると共に、第２仮想立体Ｖ２に配置された複数のアイコン７１が互いの相対的位置を維持しつつ第２仮想立体Ｖ２の表面に沿って回転移動する。このように、入力装置２の回転に対応して第１、第２仮想立体Ｖ１、Ｖ２に配置されたアイコン７１が共に同じように回転することにより、例えば、第１、第２仮想立体Ｖ１、Ｖ２の背面側に隠れたアイコン７１を前面側に移動させることができ、アイコン７１の検索が容易となる。

また、例えば、図２２に示すように、弾性層２２を押圧しながらスライドさせると、そのスライド方向に沿って、第２仮想立体Ｖ２に配置された複数のアイコン７１が互いの相対的位置を維持しつつ第２仮想立体Ｖ２の表面に沿って回転移動する。この際、第１仮想立体Ｖ１に配置されたアイコン７１は、回転せずに静止している。これにより、第１仮想立体Ｖ１に配置されたアイコン７１と第２仮想立体Ｖ２に配置されたアイコン７１との相対的位置関係を変化させることができる。そのため、アイコン７１を検索し易くなり、さらには、アイコン７１の配置の自由度が増す。ただし、これとは逆に、第２仮想立体Ｖ２に配置されたアイコン７１は、回転せずに静止し、第１仮想立体Ｖ１に配置された複数のアイコン７１が互いの相対的位置を維持しつつ第１仮想立体Ｖ１の表面に沿って回転移動してもよい。

＜第５実施形態＞
本実施形態のインターフェース７０では、図２３に示すように、第２仮想立体Ｖ２が表層Ｖ２１（第１層）と、表層Ｖ２１の内側に位置する中間層Ｖ２２（第２層）と、中間層Ｖ２２の内側に位置する内層Ｖ２３（第３層）と、を有する。表層Ｖ２１、中間層Ｖ２２および内層Ｖ２３は、互いに同心的に、かつ、年輪状に配置されている。なお、第２仮想立体Ｖ２から内層Ｖ２３を省略してもよいし、これらに加えて１つまたは２つ以上の層を追加してもよい。

また、表層Ｖ２１、中間層Ｖ２２および内層Ｖ２３には、それぞれ、その表面に沿って複数のアイコン７１が配置されている。なお、中間層Ｖ２２に配置されたアイコン７１および内層Ｖ２３に配置されたアイコン７１は、その手前にある表層Ｖ２１に配置されたアイコン７１によって、その一部または全部が隠れている。

このように、複数のアイコン７１を表層Ｖ２１と中間層Ｖ２２と内層Ｖ２３とに分けて配置することにより、より多くのアイコン７１を配置することができる。また、インターフェース７０のデザイン性が向上し、画像表示システム１への没入感を高めることができる。また、複数のアイコン７１を使用頻度、種類等に応じて表層Ｖ２１と中間層Ｖ２２と内層Ｖ２３とに分けて配置することでアイコン７１の整理が可能となり、より使い易いインターフェース７０となる。なお、表層Ｖ２１、中間層Ｖ２２および内層Ｖ２３には、それぞれ、少なくとも１つのアイコン７１が配置されていればよい。

このようなインターフェース７０の操作方法としては、特に限定されない。例えば、前述の第４実施形態と同様に、入力装置２を回転させると、それに合わせて、第１仮想立体Ｖ１に配置された複数のアイコン７１が互いの相対的位置を維持しつつ第１仮想立体Ｖ１の表面に沿って回転移動すると共に、第２仮想立体Ｖ２の各層Ｖ２１、Ｖ２２、Ｖ２３に配置された複数のアイコン７１が互いの相対的位置を維持しつつ各層Ｖ２１、Ｖ２２、Ｖ２３の表面に沿って回転移動する。このように、入力装置２の回転に対応して第１、第２仮想立体Ｖ１、Ｖ２に配置されたアイコン７１が共に回転することにより、例えば、第１、第２仮想立体Ｖ１、Ｖ２の背面側に隠れたアイコン７１を前面側に移動させることができ、アイコン７１の検索が容易となる。

また、例えば、図２４に示すように、弾性層２２を押圧しながらスライドさせると、そのスライド方向に沿って、第２仮想立体Ｖ２の表層Ｖ２１に配置された複数のアイコン７１が互いの相対的位置を維持しつつ第２仮想立体Ｖ２の表面に沿って回転移動する。この際、中間層Ｖ２２および内層Ｖ２３に配置されたアイコン７１および第１仮想立体Ｖ１に配置されたアイコン７１は、回転せずに静止している。これにより、表層Ｖ２１に配置されたアイコン７１と、中間層Ｖ２２、内層Ｖ２３および第１仮想立体Ｖ１に配置されたアイコン７１との相対的位置関係を変化させることができる。そのため、アイコン７１を探し易くなり、さらには、アイコン７１の配置の自由度が増す。

また、例えば、弾性層２２を所定の力で押圧すると、表層Ｖ２１に配置されていたアイコン７１が内層Ｖ２３に移動し、内層Ｖ２３に配置されていたアイコン７１が中間層Ｖ２２に移動し、中間層Ｖ２２に配置されていたアイコン７１が表層Ｖ２１に移動する。さらには、弾性層２２を押圧したまま維持したり、繰り返し押圧したりすると、このような移動が繰り返され、中間層Ｖ２２や内層Ｖ２３に配置されたアイコン７１を自由に表層Ｖ２１に移動させることができる。そのため、中間層Ｖ２２や内層Ｖ２３に配置されたアイコン７１についても容易に確認することができる。このような構成によれば、中間層Ｖ２２や内層Ｖ２３にアイコン７１を隠しておくことができ、アイコン７１の整理が容易となる戸共に、多数のアイコン７１が画面に表示され過ぎるのを抑制することができる。

また、例えば、図２５に示すように、弾性層２２を第１の力（第１の変形量）で押圧すると、表層Ｖ２１に配置された複数のアイコン７１の中から押圧位置に対応したアイコン７１が選択され、同様に、弾性層２２を第１の力よりも大きい第２の力（第１の変形量よりも大きい第２の変形量）で押圧すると、中間層Ｖ２２に配置された複数のアイコン７１の中から押圧位置に対応したアイコン７１が選択され、弾性層２２を第２の力よりも大きい第３の力（第２の変形量よりも大きい第３の変形量）で押圧すると、内層Ｖ２３に配置された複数のアイコン７１の中から押圧位置に対応したアイコン７１が選択されるようになっていてよい。

また、弾性層２２を第１の力（第１の変形量）で押圧しつつ横方向へスライドさせると、表層Ｖ２１に配置された複数のアイコン７１がそれに対応して表層Ｖ２１に沿って移動し、同様に、弾性層２２を第１の力よりも大きい第２の力（第１の変形量よりも大きい第２の変形量）で押圧しつつ横方向へスライドさせると中間層Ｖ２２に配置された複数のアイコン７１がそれに対応して中間層Ｖ２２に沿って移動し、弾性層２２を第２の力よりも大きい第３の力（第２の変形量よりも大きい第３の変形量）で押圧しつつ横方向へスライドさせると、内層Ｖ２３に配置された複数のアイコン７１がそれに対応して内層Ｖ２３に沿って移動するようになっていてもよい。

また、この際、弾性層２２を第１の力で押圧すれば、表層Ｖ２１に配置され、押圧位置に対応したアイコン７１が表層Ｖ２１よりも手前側に飛び出して表示され、弾性層２２を第２の力で押圧すれば、中間層Ｖ２２に配置され、押圧位置に対応したアイコン７１が表層Ｖ２１よりも手前側に飛び出して表示され、弾性層２２を第３の力で押圧すれば、内層Ｖ２３に配置され、押圧位置に対応したアイコン７１が表層Ｖ２１よりも手前側に飛び出して表示されるようにするのが好ましい。これにより、アイコン７１の検索および選択が容易となる。

＜第６実施形態＞
前述した第１実施形態のインターフェース７０では、各アイコン７１が平面的に表示されているのに対して、本実施形態のインターフェース７０では、図２６に示すように、各アイコン７１が立体的に表示されている。また、仮想立体Ｖの外形が立方体であり、その各角部に１つのアイコン７１が配置されている。各アイコン７１を立体的に表示することにより、インターフェース７０のデザイン性が向上し、画像表示システム１への没入感を高めることができる。なお、図示の構成では、各アイコン７１の外形が立方体となっているが、これに限定されず、球体、四面体等であってもよい。また、仮想立体Ｖの外形としては、立方体に限定されず、例えば、四面体、立方体以外の六面体、八面体、十面体、十二面体等であってもよい。

＜第７実施形態＞
図２７に示すように、本実施形態のインターフェース７０では、立体的に表示された複数のアイコン７１が３次元的に配列されている。図示の構成では、各アイコン７１の外形が立方体となっており、これらのアイコン７１が同じく立方体状に横方向、奥行き方向および高さ方向に整列して配置されている。このような構成では、例えば、図２８に示すように、弾性層２２を摘まむことにより、対応するアイコン７１を摘まみ上げることができ、その奥に隠れているアイコン７１を視認できるようになる。アイコン７１を立体とすることにより、上述の操作において「アイコン７１を摘まむ感覚」がより生じ易くなり、より操作し易いインターフェース７０となる。

以上、本発明の画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法について、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。また、各実施形態を適宜組み合わせてもよい。

１ 画像表示システム
２ 入力装置
２１ 基体
２２ 弾性層
２２’ 外周面
２２” 内周面
２２ａ 上側部分
２２ｂ 下側部分
２２ｃ 左側部分
２２ｄ 右側部分
２２ｆ 前面部
２２ｇ 背面部
２２１ 第１弾性層
２２２ 第２弾性層
２２３ 第３弾性層
２２４ 保護層
２３ 検出部
２３１ カメラ
２３２ 処理部
２４ 信号生成部
２５ 光源
２５１ 発光部
２６ 姿勢検出部
２８ 弾性入力部
７ 端末
７０ インターフェース
７１ アイコン
７２ アイコン群
８ コンピュータ本体
８１ ＣＰＵ
８２ メインメモリ
８３ 補助メモリ
９ ディスプレイ
９０ ヘッドマウントディスプレイ
９１ フレーム
９２ 表示部
９２１ 画面
９３ 画像形成装置
Ｅ 選択エリア
Ｊ１ 縦中心軸
Ｊ２ 横中心軸
Ｍ マーカー
Ｍ１ 第１マーカー
Ｍ２ 第２マーカー
Ｍ３ 第３マーカー
Ｍ４ 基準マーカー
Ｓ 内部空間
Ｕ ユーザー
Ｖ 仮想立体
Ｖａ 上側部分
Ｖｂ 下側部分
Ｖｃ 左側部分
Ｖｄ 右側部分
Ｖ１ 第１仮想立体
Ｖ２ 第２仮想立体
Ｖ２１ 表層
Ｖ２２ 中間層
Ｖ２３ 内層

Claims (15)

1. 画像を表示する端末と、
   前記端末を操作する入力装置と、を有し、
   前記入力装置は、
   外力が入力される弾性層と、前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、を有する弾性入力部と、
   前記マーカーの変位を検出する検出部と、を備えることを特徴とする画像表示システム。
2. 前記端末に表示される前記画像としてのインターフェースは、三次元的に配列された複数のアイコンを有し、
   前記入力装置からの入力により、前記複数のアイコンのうちの少なくとも１つが移動する請求項１に記載の画像表示システム。
3. 前記複数のアイコンの少なくとも一部は、前記インターフェースに仮想的に設定された仮想立体の表面に沿って配置され、前記仮想立体の表面に沿って移動する請求項２に記載の画像表示システム。
4. 前記仮想立体は、球形である請求項３に記載の画像表示システム。
5. 前記仮想立体は、少なくとも１つの前記アイコンが配置された第１層と、前記第１層の内側に設けられ、少なくとも１つの前記アイコンが配置された第２層と、を有する請求項２から４のいずれか１項に記載の画像表示システム。
6. 前記入力装置からの入力により、前記第２層に配置された前記アイコンが前記１層に移動する請求項５に記載の画像表示システム。
7. 前記仮想立体は、少なくとも１つの前記アイコンが配置された第１仮想立体と、少なくとも１つの前記アイコンが配置された第２仮想立体と、を有する請求項３から６のいずれか１項に記載の画像表示システム。
8. 前記第２仮想立体は、前記第１仮想立体を囲む環状である請求項７に記載の画像表示システム。
9. 前記弾性層を捩じることにより、その捩じり方向に沿って前記アイコンが移動する請求項３から８のいずれか１項に記載の画像表示システム。
10. 前記弾性層を押圧することにより、前記複数のアイコンのうちの少なくとも１つが選択され、選択された前記アイコンに基づくプログラムが実行される請求項３から９のいずれか１項に記載の画像表示システム。
11. 前記仮想立体の、前記弾性層の押圧個所に対応する部分に位置する前記アイコンが選択される請求項１０に記載の画像表示システム。
12. 前記弾性層は、
    使用者側に位置する前面部と、
    前記前面部の反対側に位置する背面部と、を有し、
    前記背面部を押圧することにより、複数の前記アイコンのうちの少なくとも１つが選択され、選択された前記アイコンが前記仮想立体の表面から離脱するように移動する請求項３から１１のいずれか１項に記載の画像表示システム。
13. 前記仮想立体は、前記弾性層と同じ外形である請求項３から１２のいずれか１項に記載の画像表示システム。
14. 画像を表示する端末に、三次元的に配列された複数のアイコンを有する前記画像としてのインターフェースを表示し、
    入力装置からの入力に基づいて、前記複数のアイコンを三次元的に移動させることを特徴とするオペレーティングシステム。
15. 画像を表示する端末と、
    前記端末を操作する入力装置と、を有し、
    前記入力装置は、
    外力が入力される弾性層と、前記弾性層に配置され、前記弾性層の変形に伴って変位するマーカーと、を有する弾性入力部と、
    前記マーカーの変位を検出する検出部と、を備える画像表示システムの制御方法であって、
    前記端末に、三次元的に配列された複数のアイコンを有する前記画像としてのインターフェースを表示し、
    前記入力装置からの入力に基づいて、前記複数のアイコンを三次元的に移動させることを特徴とする画像表示システムの制御方法。
    
    

Images