JP2017097716A - 入力装置、入力方法、及びプログラム - Google Patents

Abstract

【課題】立体表示されたボタンを押下して情報を入力する入力装置の操作性を向上させる。
【解決手段】入力装置は、立体表示させたボタンの表示位置と、検出器で検出した物体の位置とに基づいてボタンに対する入力状態を判定する。また、入力装置は、ボタンに対する入力状態に基づいてボタンと対応した操作情報の入力を確定させるか否かを判定する。この入力装置は、確定枠指定部と、枠内映像指定部と、を含む。確定枠指定部は、ボタンに対する入力状態が当該ボタンを操作対象に選定した状態であると判定した場合に、当該ボタンを囲む所定の寸法の入力確定枠の表示を指定する。枠内映像指定部は、ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、押下量が入力を確定させるための押下量に近づくほど当該ボタンの外周が入力確定枠に近づく態様でボタンの表示寸法を指定する。
【選択図】図１１

Description

本発明は、入力装置、入力方法、及びプログラムに関する。

入力装置の１つとして、３次元空間に表示された立体映像に対して所定の動作を行うことにより入力が確定する装置が知られている（例えば、特許文献１及び特許文献２を参照）。

この種の入力装置では、立体映像の表示空間においてオペレータの指先等の所定の実物体を検出した場合に表示空間における当該実物体の位置を算出する。そして、入力装置は、立体映像内の操作用ボタン（以下単に「ボタン」という）の表示位置とオペレータの指先の位置との位置関係に基づいて、オペレータにより操作対象に選択されたボタンの有無を判定する。また、あるボタンが操作対象に選択された状態でオペレータの指先が奥行き方向に一定量移動したことを検出すると、入力装置は、選択されたボタンと対応する情報の入力を確定する。

特開２０１２−２４８０６７号公報 特開２０１１−１７５６２３号公報

上記の入力装置では、例えば、オペレータが操作対象に選択したボタンを押下する動作を行った場合、奥行き方向の移動量に応じてボタンの表示サイズを縮小することで、オペレータに対しボタンが遠ざかる感覚を与える。

しかしながら、上記の入力装置では、ボタンの表示サイズにより遠近感を与えるのみであり、ボタンを押下する際に指先を奥行き方向にどれだけ移動させると入力が確定するかまではわからない。また、実物体のボタンを押下する際とは異なり、３次元空間に表示された立体映像（ボタン）を押下する動作では、奥行き方向への移動範囲が制限されることがない。そのため、この種の入力装置では、入力を確定させるために必要な指先の移動量を把握しづらい。したがって、利用者（オペレータ）がこの種の入力装置の操作に不慣れである場合、スムーズな入力を行うことが難しく、入力ミスも発生しやすい。

１つの側面において、本発明は、立体表示されたボタンを押下して情報を入力する入力装置の操作性を向上させることを目的とする。

１つの態様の入力装置は、表示装置と、検出器と、情報処理装置と、を備える。表示装置は、映像を立体表示させる。検出器は、所定形状の物体を検出する。情報処理装置は、操作用のボタンを含む映像を生成するとともに、ボタンの表示位置と、検出器で検出した物体の位置とに基づいてボタンに対する入力状態を判定する。また、情報処理装置は、ボタンに対する入力状態に基づいてボタンと対応した操作情報の入力を確定させるか否かを判定する。この情報処理装置は、確定枠指定部と、枠内映像指定部と、を含む。確定枠指定部は、ボタンに対する入力状態が当該ボタンを操作対象に選定した状態であると判定した場合に、当該ボタンを囲む所定の寸法の入力確定枠の表示を指定する。枠内映像指定部は、ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、押下量が入力を確定させるための押下量に近づくほど当該ボタンの外周が入力確定枠に近づく態様でボタンの表示寸法を指定する。

上述の態様によれば、立体表示されたボタンを押下して情報を入力する入力装置の操作性が向上する。

入力装置の第１の構成例を示す図である。 入力装置の第２の構成例を示す図である。 入力装置の第３の構成例を示す図である。 入力装置の第４の構成例を示す図である。 第１の実施形態に係る入力装置で表示させる立体映像の例を示す図である。 立体映像におけるボタンの像の例を示す図である。 ボタンを押下する動作を行うときの立体映像の遷移を示す図（その１）である。 ボタンを押下する動作を行うときの立体映像の遷移を示す図（その２）である。 立体映像の表示に用いる操作用表示映像データの例を示す図である。 入力確定範囲及び確定状態維持範囲を示す図である。 第１の実施形態に係る情報処理装置の機能的構成を示す図である。 第１の実施形態に係る生成映像指定部の機能的構成を示す図である。 第１の実施形態に係る情報処理装置が行う処理を説明するフローチャートである。 ボタンと指先との相対位置を算出する処理を説明するフローチャートである。 入力装置における空間座標系の例を示す図である。 表示装置の空間座標系における表示座標の例を示す図（その１）である。 表示装置の空間座標系における表示座標の例を示す図（その２）である。 入力装置における空間座標系の別の例を示す図である。 第１の実施形態における入力状態判定処理を説明するフローチャート（その１）である。 第１の実施形態における入力状態判定処理を説明するフローチャート（その２）である。 第１の実施形態における入力状態判定処理を説明するフローチャート（その３）である。 第１の実施形態における生成映像指定処理を説明するフローチャート（その１）である。 第１の実施形態における生成映像指定処理を説明するフローチャート（その２）である。 第１の実施形態における生成映像指定処理を説明するフローチャート（その３）である。 隣接ボタンを非表示にする処理を説明する図である。 隣接ボタンを非表示にするか否かの判定方法の例を説明する図である。 押下中の指先座標のずれに対する許容範囲を示す図である。 仮選択及び押下中のボタンの像の別の例を示す図である。 入力確定枠の表示方法の別の例を示す図である。 ボタンの立体表示の例を示す図（その１）である。 ボタンの立体表示の例を示す図（その２）である。 ボタンの立体表示の別の例を示す図である。 入力確定中移動の例を示す図である。 入力確定中移動の別の例を示す図である。 入力確定中移動の更に別の例を示す図である。 立体映像の移動方向の変形例を示す図である。 立体映像の表示形状の変形例を示す図である。 複数の操作画面を含む立体映像を用いた入力操作の例を説明する図である。 食事メニューの選択操作における階層構造の例を示す図である。 第１階層の操作画面に表示されるボタンを押下したときの第２階層及び第３階層の操作画面の表示例を説明する図である。 食事メニューの選択操作を行う際の画面遷移の例を示す図である。 第１の実施形態に係る入力装置の適用例を示す図である。 第２の実施形態に係る入力装置における情報処理装置の機能的構成を示す図である。 第２の実施形態に係る生成映像指定部の機能的構成を示す図である。 第２の実施形態に係る情報処理装置が行う処理を説明するフローチャート（その１）である。 第２の実施形態に係る情報処理装置が行う処理を説明するフローチャート（その２）である。 第２の実施形態における生成映像指定処理を説明するフローチャート（その１）である。 第２の実施形態における生成映像指定処理を説明するフローチャート（その２）である。 第２の実施形態における生成映像指定処理を説明するフローチャート（その３）である。 第２の実施形態における生成映像指定処理を説明するフローチャート（その４）である。 ボタンの表示サイズの拡大方法の第１の例を示す図である。 ボタンの表示サイズの拡大方法の第２の例を示す図である。 ボタンの表示サイズの拡大方法の第３の例を示す図である。 第３の実施形態に係る情報処理装置が行う処理を説明するフローチャート（その１）である。 第３の実施形態に係る情報処理装置が行う処理を説明するフローチャート（その２）である。 第４の実施形態に係る入力装置の構成例を示す図である。 圧縮空気の噴射パターンを示すグラフである。 第４の実施形態に係る入力装置の別の構成例を示す図である。 コンピュータのハードウェア構成を示す図である。

［入力装置の構成例］
まず、本発明に係る入力装置の構成例について、図１から図４までを参照して説明する。

図１は、入力装置の第１の構成例を示す図である。
図１に示すように、第１の構成例の入力装置１は、表示装置２（２Ａ）と、距離センサ３と、情報処理装置４と、スピーカ５と、を備える。

表示装置２Ａは、装置外部の３次元空間に立体映像６（６０１，６０２，６０３）を表示する装置である。図１に示した表示装置２Ａは、裸眼３Ｄ液晶ディスプレイ、液晶シャッターメガネ式３Ｄディスプレイ等の立体映像表示装置である。この種の表示装置２Ａは、オペレータ７と表示装置２Ａとの間の空間に立体映像６が表示される。図１に示した立体映像６は、３枚の平面状の操作画面６０１，６０２，６０３を含む。各操作画面６０１，６０２，６０３には、操作用の複数のボタンが表示されている。各ボタンには入力装置１（情報処理装置４）が行う処理が対応付けられている。

距離センサ３は、立体映像６が表示された空間領域を含む所定の空間領域内におけるオペレータの手指の有無や立体映像６からの距離に関する情報等を検出する。

情報処理装置４は、距離センサ３の検出結果に基づいてオペレータが行った動作と対応した入力状態を判定し、その判定結果（入力状態）に応じた立体映像６を生成する。情報処理装置４は、生成した立体映像６を表示装置２に表示させる。また、オペレータが行った動作が所定の入力状態に該当する場合、情報処理装置４は、所定の入力状態に応じた音声を生成し、スピーカ５に出力する。

図１の入力装置１では、オペレータ７の指先７０１が立体映像６（操作画面６０１，６０２，６０３）に含まれるボタンの像に触れたことを検出すると、入力状態が仮選択となる。その後、オペレータ７がボタンの像を押下する動作を行い指先７０１が入力確定位置に到達すると、入力装置１は、入力状態を入力確定と判定する。入力状態が入力確定になると、入力装置１は、オペレータ７が押下したボタンと対応付けられた処理を実行する。

図２は、入力装置の第２の構成例を示す図である。
図２に示すように、第２の構成例の入力装置１は、表示装置２（２Ｂ）と、距離センサ３と、情報処理装置４と、スピーカ５と、スクリーン８と、立体視用メガネ１０と、を備える。

表示装置２Ｂは、装置外部の３次元空間に立体映像６を表示する装置である。図２に示した表示装置２Ｂは、例えば、液晶シャッター式等のメガネ着用型３Ｄプロジェクターであり、スクリーン８と向かう合うオペレータ７の後方からスクリーン８に左目用の映像と右目用の映像とを所定の時間間隔で切り替えながら投影する。この種の表示装置２Ｂは、オペレータ７とスクリーン８との間の空間に立体映像６が表示される。オペレータ７は、表示装置２Ｂにおける投影映像の切替タイミングに同期して像が見える状態（オン）と像が見えない状態（オフ）とが切り替わる立体視用メガネ１０を装着して所定の空間領域を観察することで立体映像６を視認することが可能となる。図２に示した立体映像６は、操作用のボタンの像６１１，６１２，６１３を所定の平面内に２次元配置した映像である。ボタンの像６１１，６１２，６１３には、入力装置１（情報処理装置４）が行う処理が対応付けられている。

距離センサ３は、立体映像６が表示された空間領域を含む所定の空間領域内におけるオペレータの手指の有無や立体映像６からの距離に関する情報等を検出する。

情報処理装置４は、距離センサ３の検出結果に基づいてオペレータが行った動作と対応した入力状態を判定し、その判定結果（入力状態）に応じた立体映像６を生成する。情報処理装置４は、生成した立体映像６を表示装置２に表示させる。また、オペレータが行った動作が所定の入力状態に該当する場合、情報処理装置４は、所定の入力状態に応じた音声を生成し、スピーカ５に出力する。

図２の入力装置１は、情報処理装置４のアンテナ４１１と立体視用メガネ１０のアンテナ１００１との間で無線通信を行うことにより立体視用メガネ１０の動作を制御する。なお、情報処理装置４と立体視用メガネ１０とは、通信ケーブルで接続してもよい。

図３は、入力装置の第３の構成例を示す図である。
図３に示すように、第３の構成例の入力装置１は、表示装置２（２Ｃ）と、距離センサ３と、情報処理装置４と、スピーカ５と、を備える。

表示装置２Ｃは、装置外部の３次元空間に立体映像６を表示する装置である。図２に示した表示装置２Ｃは、例えば、液晶シャッター式等のメガネ着用型３Ｄプロジェクターであり、表示装置２Ｃの上方に立体映像６を表示する向きで設置される。図３に示した立体映像６は、操作用のボタンの像等を平面内に２次元配置させた平面状の操作画面の映像である。ボタンの像には、入力装置１（情報処理装置４）が行う処理が対応付けられている。

距離センサ３は、立体映像６が表示された空間領域を含む所定の空間領域内におけるオペレータの手指の有無や立体映像６からの距離に関する情報等を検出する。

情報処理装置４は、距離センサ３の検出結果に基づいてオペレータが行った動作と対応した入力状態を判定し、その判定結果（入力状態）に応じた立体映像６を生成する。情報処理装置４は、生成した立体映像６を表示装置２に表示させる。また、オペレータが行った動作が所定の入力状態に該当する場合、情報処理装置４は、所定の入力状態に応じた音声を生成し、スピーカ５に出力する。

図３の入力装置１における表示装置２Ｃは、例えば、テーブルの天板上に設置されている。また、距離センサ３は、テーブルの天板の上方に設置されている。

図４は、入力装置の第４の構成例を示す図である。
図４に示すように、第４の構成例の入力装置１は、表示装置２（２Ｄ）と、距離センサ３と、情報処理装置４と、スピーカ５と、を備える。

表示装置２Ｄは、ヘッドマウントディスプレイ（ＨＭＤ）であり、装置外部の３次元空間に立体映像６が表示された映像をオペレータ７に提示する装置である。この種の表示装置２Ｄを備えた入力装置１では、例えば、表示装置２Ｄ内に設けたディスプレイ装置（映像表示面）に装置外部の映像と立体映像６とを合成した合成映像を表示させることで、オペレータ７に、前方に立体映像６が存在する感覚を与える。図４に示した立体映像６は、操作用のボタンの像等を平面内に２次元配置した映像である。各ボタンの像には、入力装置１（情報処理装置４）が行う処理が対応付けられている。

距離センサ３は、表示装置２Ｄに表示される所定の空間領域内（立体映像６が表示された空間領域内）におけるオペレータの手指の有無や立体映像６からの距離に関する情報等を検出する。

情報処理装置４は、距離センサ３の検出結果に基づいてオペレータが行った動作と対応した入力状態を判定し、その判定結果（入力状態）に応じた立体映像６を生成する。情報処理装置４は、生成した立体映像６を表示装置２に表示させる。また、オペレータが行った動作が所定の入力状態に該当する場合、情報処理装置４は、所定の入力状態に応じた音声を生成し、スピーカ５に出力する。

上記のように、入力装置１は、表示装置２の外部の３次元空間に表示させた立体映像６に含まれるボタンの像を押下する操作をオペレータ７が行った場合に、入力状態を判定し、判定結果に応じた処理を行う。なお、入力装置１におけるオペレータの手指の有無や立体映像６からの距離に関する情報等の検出には、距離センサ３に限らず、ステレオカメラ等を用いることも可能である。また、本明細書では、オペレータの指先７０１の位置の変化に応じて入力状態を判定しているが、入力装置１では、指先７０１に限らず、棒状の実物体の先端位置の変化に応じて入力状態を判定することも可能である。

［第１の実施形態］
図５は、第１の実施形態に係る入力装置で表示させる立体映像の例を示す図である。図６は、立体映像におけるボタンの像の例を示す図である。

第１の実施形態の入力装置１では、例えば図５に示すような立体映像６を３次元空間に表示させる。図５に示した立体映像６は、６個のボタン（６１１，６１２，６１３，６１４，６１５，６１６）と、背景６３０と、を含む。６個のボタン（６１１，６１２，６１３，６１４，６１５，６１６）には、それぞれ所定の処理が割り当てられている。オペレータ７が指先７０１等でボタンのいずれかに触れて押下する動作を行うと、入力装置１は、その動作を検出し、入力状態に応じてボタンの像を変化させる。入力状態は、図６に示すように、非選択と、仮選択と、押下中と、入力確定と、キーリピートと、を含む。

非選択は、オペレータ７の指先７０１等が触れていない入力状態である。入力状態が非選択であるボタンの像６２０は、例えば、所定のサイズであり、非選択であることを示す色の像である。

仮選択は、オペレータ７の指先７０１等が触れて押下操作の候補になった入力状態、言い換えると操作対象に選択された入力状態である。入力状態が仮選択である場合のボタンの像６２１は、非選択のボタンの像６２０よりもサイズの大きい像であり、内部に仮選択であることを示す領域６２１ａを含む。領域６２１ａは、非選択のボタンの像６２０と同一形状であり、かつ色が異なる。また、仮選択のボタンの像６２１の外周６２１ｂは、入力確定枠として機能する。

押下中は、オペレータ７に押下操作（入力操作）の対象に選択され、オペレータ７による押下する動作が行われている入力状態である。入力状態が押下中である場合のボタンの像６２２は、仮選択のボタンの像６２１と同じサイズであり、内部に押下中であることを示す領域６２１ｂを含む。領域６２１ｂは、仮選択のボタンの像６２１における領域６２１ａと同じ色であるが、サイズが異なる。押下中のボタンの像６２２における領域６２２ａのサイズは当該ボタンの押下量に応じて変化し、押下量が大きいほど領域６２２ａのサイズが大きくなる。この押下中のボタンの像６２２における外周６２２ｂは、上記の入力確定枠として機能する。すなわち、ボタンの像６２２における外周６２２ｂは、領域６２２ａの外周が外周６２２ｂと重なると入力が確定することを示している。

入力確定は、ボタンを押下する動作を行っているオペレータ７の指先７０１が所定の入力確定点に到達し、ボタンと対応付けられた情報の入力が確定した入力状態である。入力状態が入力確定である場合のボタンの像６２３は、非選択のボタンの像６２０と同一形状、同一サイズである。また、入力確定のボタンの像６２３は、非選択のボタンの像６２０及び仮選択のボタン６２１とは色が異なる。更に、入力確定のボタンの像６２３は、例えば、非選択のボタンの像６２０及び仮選択のボタン６２１と比べて外周の線が太くなっている。

キーリピートは、入力が確定してから所定期間以上オペレータ７の指先７０１が所定の確定状態継続範囲内に留まっており、情報の入力が繰り返される入力状態である。入力状態がキーリピートである場合のボタンの像６２４は、入力確定のボタンの像６２４と同一形状、同一サイズである。また、入力確定のボタンの像６２３は、非選択のボタンの像６２０及び仮選択のボタン６２１並びに入力確定のボタンの像６２４とは色が異なる。

図７Ａは、ボタンを押下する動作を行うときの立体映像の遷移を示す図（その１）である。図７Ｂは、ボタンを押下する動作を行うときの立体映像の遷移を示す図（その２）である。なお、図７Ａの（ａ）、（ｂ）、及び（ｃ）、並びに図７Ｂの（ｄ）、（ｅ）、及び（ｆ）は、それぞれ、左側の図がオペレータから見た立体映像を示したｘｙ平面の図であり、右側の図がｘｙ平面と直交するｙｚ平面の図である。

本実施形態に係る入力装置１（情報処理装置４）は、図７Ａの（ａ）に示すように、まず、全てのボタンの入力状態が非選択である立体映像６を生成し３次元空間に表示させる。オペレータ７から見た立体映像６の表示面Ｐ１の奥行き方向遠方側に入力確定点（入力確定面）Ｐ２が設定される。また、図７Ａの（ａ）に示したように、オペレータ７の指先７０１が立体映像６のボタン６１６を指している場合でも、指先７０１の位置が表示面Ｐ１を含む所定の奥行き範囲内に入っていなければ、ボタン６１６は、非選択のボタンの像６２０のままである。

そして、オペレータ７の指先７０１が仮選択領域内に入ると、入力装置１は、図７Ａの（ｂ）に示すように、指先７０１が触れたボタン６１６の像を非選択のボタンの像６２０から仮選択のボタンの像６２１に変更する。更に、オペレータ７の指先７０１がボタンを押下する方向（−ｚ方向）に移動すると、入力装置１は、図７Ａの（ｃ）及び図７Ｂの（ｄ）に示すように、指先７０１で指定（選択）しているボタン６１６の像を指先の移動量に応じた押下中のボタンの像６２２に随時変更する。

そして、オペレータ７の指先７０１が入力確定点Ｐ２に到達すると、入力装置１は、図７Ｂの（ｅ）に示すように、指先７０１で指定（選択）しているボタン６１６の像を押下中のボタンの像６２２から入力確定のボタンの像６２３に変更する。また、入力が確定した後、オペレータ７の指先７０１が所定期間以上、確定状態維持範囲Ａ１内に留まっている場合、入力装置１は、図７Ｂの（ｆ）に示すように、指先で指定（選択）しているボタン６１６の像をキーリピートのボタンの像６２４に変更する。

このように、本実施形態の入力装置１は、入力状態が仮選択又は押下中のボタンに対して入力確定枠を表示する。また、押下中のボタンに対して、入力装置１は、押下量に応じてボタンの像６２２に含まれる領域６２２ａのサイズを変化させる。そのため、オペレータ７は、ボタンが操作対象に選定されたことや、どこまで押下すれば入力が確定するかを直感的に把握することができる。

図８は、立体映像の表示に用いる操作用表示映像データの例を示す図である。図９は、入力確定範囲及び確定状態維持範囲を示す図である。

入力装置１の情報処理装置４は、例えば、操作用表示映像データを用いて、図５に示すような立体映像６を生成し表示装置２に表示させる。操作用表示映像データは、例えば、図８に示すように、アイテムＩＤと、イメージデータ名と、種別と、配置座標と、表示サイズと、を含む。また、操作用表示映像データは、確定枠の位置及びサイズと、確定までの移動量と、確定状態維持範囲と、キーリピート開始時間と、を含む。

アイテムＩＤは、立体映像６に含まれる要素（像）を識別する値である。イメージデータ名及び種別は、各アイテムの像の種類を指定する情報である。配置座標及び表示サイズは、それぞれ、立体映像６内における各アイテムの表示位置と表示サイズを指定する情報である。確定枠の位置とサイズは、入力状態が仮選択又は押下中である場合に表示される入力確定枠の表示位置及び表示サイズを指定する情報である。確定までの移動量は、入力状態が仮選択に移行した後、オペレータの指が奥行き方向にどれだけ移動すると入力状態を入力確定にするかを表す情報である。確定状態維持範囲は、入力状態が入力確定に移行した後、入力確定の状態が維持される指先の位置の範囲を指定する情報である。キーリピート開始時間は、入力状態が入力確定に移行してからキーリピートを開始するまでの時間を表す情報である。操作用表示映像データにおける確定までの移動量は、例えば、図９に示すように、立体映像６の表示面Ｐ１から入力確定点Ｐ２までの奥行き方向の距離を表す。すなわち、入力装置１は、オペレータ７の指先７０１が表示面Ｐ１に表示されたボタン６１６内を通り、入力確定点Ｐ２に到達すると、ボタン６１６と対応付けられた情報の入力を確定する。ところが、入力確定点Ｐ２にはオペレータ７の指先７０１の奥行き方向への移動を阻止する物体が存在しない。そのため、オペレータが入力確定点Ｐ２に到達した時点で指先の移動を止めることは難しく、指先７０１が入力確定点Ｐ２を超えて更に奥行き遠方に移動することが多い。そのため、図９に示したように、入力確定点Ｐ２から奥行き遠方側の所定範囲を入力確定範囲Ａ２とし、奥行き方向（押下方向）への指先７０１の移動が入力確定範囲Ａ２内で止まった場合、入力状態を入力確定としてもよい。この場合、図９に示した操作用映像表示データに入力確定範囲Ａ２を付加しておく。

また、入力確定の状態を継続させる場合、オペレータ７は、３次元空間で指先７０１の位置を確定状態維持範囲Ａ１内に留めておかなければならないが、３次元空間で指先の位置を固定することは難しい。そのため、入力確定状態の継続時間を計測する確定状態維持範囲Ａ２は、図９に示すように、入力確定点Ｐ２よりも奥行き方向手前側（＋ｚ方向）を含むようにしてもよい。

図１０は、第１の実施形態に係る情報処理装置の機能的構成を示す図である。
図１０に示すように、本実施形態に係る情報処理装置４は、手指検出部４０１と、入力状態判定部４０２と、生成映像指定部４０３と、映像生成部４０４と、音声生成部４０５と、制御部４０６と、記憶部４０７と、を備える。

手指検出部４０１は、距離センサ３から取得した情報に基づいてオペレータの手指の有無の判定や、手指がある場合の立体映像６から指先までの距離の算出等を行う。

入力状態判定部４０２は、手指検出部４０１の検出結果と、直前の入力状態とに基づいて、現在の入力状態を判定する。入力状態は、上記の非選択と、仮選択と、押下中と、入力確定と、キーリピートと、を含む。また、入力状態は、入力確定中移動、を更に含む。入力確定中移動は、入力確定の状態が継続しているボタン等を含む立体映像６を３次元空間内で移動させている状態である。

生成映像指定部４０３は、直前の入力状態と、現在の入力状態とに基づいて生成する映像、すなわち表示する立体映像６の生成に必要な情報を指定する。

映像生成部４０４は、生成映像指定部４０３からの指定情報に従って立体映像６の表示データを生成し、表示装置２に出力する。

音声生成部４０５は、入力状態が所定の状態であるときに出力する音声信号を生成する。音声生成部４０５は、例えば、入力状態が押下中から入力確定に変化したときや、入力確定状態が所定期間続いたとき等に音声信号を生成する。

制御部４０６は、直前の入力状態と、入力状態判定部４０２の判定結果とに基づいて、生成映像指定部４０３及び音声生成部４０５の動作を制御する。直前の入力状態は、制御部４０６内に設けたバッファ、或いは記憶部４０７に記憶させておく。制御部４０６は、手指検出部４０１が検出した指の位置の変化に応じてボタンの押下量の変化を示す表示を表示装置２に表示させる際に、ボタンの押下量がボタンの入力確定に達する押下量に対してどの程度かを示す情報を表示装置２に表示させる制御を行う。

記憶部４０７は、操作用表示映像データ群と、出力音データ群と、を記憶する。操作用表示映像データ群は、立体映像６毎に用意された複数の操作用表示映像データ（図８参照）の集合である。出力音データ群は、音声生成部４０５において音声を生成する際に用いるデータの集合である。

図１１は、第１の実施形態に係る生成映像指定部の機能的構成を示す図である。
生成映像指定部４０３は、上記のように、表示する立体映像６の生成に必要な情報を指定する。生成映像指定部４０３は、図１１に示すように、初期映像指定部４０３ａと、確定枠指定部４０３ｂと、枠内映像指定部４０３ｃと、隣接ボタン表示指定部４０３ｄと、入力確定映像指定部４０３ｅと、表示位置指定部４０３ｆと、を含む。

初期映像指定部４０３ａは、入力状態が非選択である場合の立体映像６の生成に必要な情報を指定する。確定枠指定部４０３ｂは、入力状態が仮選択又は押下中であるボタンの像における入力確定枠についての情報を指定する。枠内映像指定部４０３ｃは、入力状態が仮選択又は押下中であるボタンの像における入力確定枠内の情報、すなわち仮選択のボタンの像６２１における領域６２１ａや押下中のボタンの像６２２における領域６２２ａについての情報を指定する。隣接ボタン表示指定部４０３ｄは、入力状態が仮選択又は押下中であるボタンと隣接する他のボタンの表示／非表示を指定する。入力確定映像指定部４０３ｅは、入力状態が入力確定であるボタンの像についての情報を指定する。表示位置指定部４０３ｆは、入力状態が入力確定中移動であるボタン等を含む立体映像の表示位置を指定する。

図１２は、第１の実施形態に係る情報処理装置が行う処理を説明するフローチャートである。

本実施形態の情報処理装置４は、図１２に示すように、まず、初期映像を表示させる（ステップＳ１）。ステップＳ１において、情報処理装置４は、生成映像指定部４０３の初期映像指定部４０３ａにおいて入力状態が非選択である場合の立体映像６の生成に必要な情報を指定し、映像生成部４０４において立体映像６の表示データを生成する。初期映像指定部４０３ａは、記憶部４０７の操作用表示映像データ群を用いて立体映像６の生成に必要な情報を指定する。映像生成部４０４は、生成した表示データを表示装置２に出力し、表示装置２に立体映像６を表示させる。

次に、情報処理装置４は、距離センサ３が出力したデータを取得し（ステップＳ２）、手指の検出処理を行う（ステップＳ３）。ステップＳ２及びＳ３は、手指検出部４０１が行う。手指検出部４０１は、取得した距離センサ３からのデータに基づいて、立体映像６を表示している空間を含む検出範囲内にオペレータ７の手指が存在するか否かを調べる。ステップＳ３の後、情報処理装置４は、オペレータ７の手指を検出したか否かを判定する（ステップＳ４）。

オペレータ７の手指を検出した場合（ステップＳ４；Ｙｅｓ）と、情報処理装置４は、次に、指先の空間座標を算出し（ステップＳ５）、ボタンと指先との相対位置を算出する（ステップＳ６）。ステップＳ５及びＳ６は、手指検出部４０１が行う。手指検出部４０１は、既知の空間座標の算出方法及び相対位置の算出方法によりステップＳ５及びＳ６の処理を行う。ステップＳ５及びＳ６の後、情報処理装置４は、入力状態判定処理（ステップＳ７）を行う。一方、オペレータ７の手指を検出しなかった場合（ステップＳ４；Ｎｏ）、情報処理装置４は、ステップＳ５及びＳ６の処理をスキップして入力状態判定処理（ステップＳ７）を行う。

ステップＳ７の入力状態判定処理は、入力状態判定部４０２が行う。入力状態判定部４０２は、直前の入力状態と、手指検出部４０１におけるステップＳ３からＳ６までの処理の結果とに基づいて、現在の入力状態を判定する。

入力状態判定処理（ステップＳ７）を終えると、情報処理装置４は、次に、生成映像指定処理（ステップＳ８）を行う。生成映像指定処理は、生成映像指定部４０３が行う。生成映像指定部４０３は、現在の入力状態に基づいて、表示する立体映像６の生成に必要な情報を指定する。

ステップＳ８の生成映像指定処理を終えると、情報処理装置４は、表示する映像の表示データを生成し（ステップＳ９）、表示装置２に映像を表示させる（ステップＳ１０）。ステップＳ９及びＳ１０は、映像生成部４０４が行う。映像生成部４０４は、生成映像指定部４０３により指定された情報に基づいて立体映像６の表示データを生成し、生成した映像データを表示装置２に出力する。

また、入力状態判定処理（ステップＳ７）の後、情報処理装置４は、ステップＳ８からＳ１０までの処理と並行して、音声を出力するか否かの判定を行う（ステップＳ１１）。ステップＳ１１の判定は、例えば、制御部４０６が現在の入力状態に基づいて行う。音声を出力する場合（ステップＳ１１；Ｙｅｓ）、制御部４０６は、音声生成部４０５に音声データを生成させ、音声出力装置５に音声を出力させる（ステップＳ１２）。一方、音声を出力しない場合（ステップＳ１２；Ｎｏ）、制御部４０６は、ステップＳ１２の処理をスキップさせる。

ステップＳ８からＳ１０までの処理と、ステップＳ１１及びＳ１２の処理とを終えると、情報処理装置４は、処理を終了するか否かを判定する（ステップＳ１３）。処理を終了する場合（ステップＳ１３；Ｙｅｓ）、情報処理装置４は、処理を終了する。

一方、処理を続ける場合（ステップＳ１３；Ｎｏ）、情報処理装置４が行う処理はステップＳ２の処理に戻る。以降、情報処理装置４は、処理を終了するまでステップＳ２〜Ｓ１２までの処理を繰り返す。

図１３は、ボタンと指先との相対位置を算出する処理を説明するフローチャートである。

ボタンと指先との相対位置を算出するステップＳ６の処理において、手指検出部４０１は、図１３に示すように、まず、距離センサ及び表示装置の位置角度情報を読み込み済みであるか否かをチェックする（ステップＳ６０１）。距離センサの位置角度情報は、世界座標系と、距離センサ内で指定される空間座標系との変換関係を示す情報である。表示装置の位置角度情報は、世界座標系と、表示装置内で指定される空間座標系との変換関係を示す情報である。

距離センサ及び表示装置の位置角度情報が読み込み済みではない場合（ステップＳ６０１；Ｎｏ）、手指検出部４０１は、記憶部４０７から距離センサ及び表示装置の位置角度情報を読み込む（ステップＳ６０２）。距離センサ及び表示装置の位置角度情報を読み込み済みの場合（ステップＳ６０１；Ｙｅｓ）、手指検出部４０１は、ステップＳ６０２をスキップする。

次に、手指検出部４０１は、距離センサの空間座標系における指先座標の情報を取得し（ステップＳ６０３）、取得した指先座標を距離センサの座標系から世界座標系に変換する（ステップＳ６０４）。以下、指先座標のことを指先空間座標ともいう。

また、手指検出部４０１は、ステップＳ６０３及びＳ６０４の処理と並行して、操作用表示映像の情報を取得し（ステップＳ６０５）、各ボタンの表示座標を表示装置の空間座標系から世界座標系に変換する（ステップＳ６０６）。以下、表示座標のことを指先座標ともいう。

その後、手指検出部４０１は、世界座標系における指先座標と各ボタンの表示座標とに基づいて、各ボタンの表示面の法線方向及び表示面内方向での指先からボタンまでの相対距離を算出する（ステップＳ６０７）。

図１４は、入力装置における空間座標系の例を示す図である。図１５Ａは、表示装置の空間座標系における表示座標の例を示す図（その１）である。図１５Ｂは、表示装置の空間座標系における表示座標の例を示す図（その２）である。図１６は、入力装置における空間座標系の別の例を示す図である。

入力装置１には、図１４に示すように、表示装置２における空間座標系（Ｘｄ，Ｙｄ，Ｚｄ）、距離センサ３における空間座標系（Ｘｓ，Ｙｓ，Ｚｓ）、及び世界座標系（ｘ，ｙ，ｚ）の３種の空間座標系がある。表示装置２における空間座標系（Ｘｄ，Ｙｄ，Ｚｄ）は、例えば、表示装置２の表示面２０１の左下角部を原点とし、表示面２０１の法線方向をＺｄ方向とする３次元直交座標系である。距離センサ３における空間座標系（Ｘｓ，Ｙｓ，Ｚｓ）は、例えば、距離センサ３のセンサ面の中心を原点とし、検出範囲の中心に向かう方向をＺｓ方向とする３次元直交座標系である。世界座標系（ｘ，ｙ，ｚ）は、実空間内の任意の位置を原点とし、鉛直上方を＋ｙ方向とする３次元直交座標系である。

図１４に示した立体映像６の左上角部の座標は、世界座標系では（ｘ１，ｙ１，ｚ１）である。ところが、表示装置２に立体映像６を表示させるための表示データでは、例えば、図１５Ａ及び図１５Ｂに示すように、立体映像６の表示位置は表示装置２における空間座標系（Ｘｄ，Ｙｄ，Ｚｄ）における値で指定される。すなわち、立体映像６の左上角部の座標は、表示装置基準では（ｘｄ１，ｙｄ１，ｚｄ１）と表される。また、距離センサ３が出力するデータでは、世界座標系における点（ｘ１，ｙ１，ｚ１）が更に別の空間座標系（Ｘｓ，Ｙｓ，Ｚｓ）における値で表される。そのため、情報処理装置４の手指検出部４０１は、表示装置２の空間座標系（Ｘｄ，Ｙｄ，Ｚｄ）における座標、及び距離センサ３の空間座標系（Ｘｓ，Ｙｓ，Ｚｓ）における座標を、世界座標系（ｘ，ｙ，ｚ）における座標に変換する。これにより、立体映像６におけるボタンの表示位置と、距離センサ３で検出した指先の位置とを同一の空間座標系で表すことができ、ボタンと指先との相対位置を算出することが可能となる。

なお、世界座標系（ｘ，ｙ，ｚ）の原点は、上記のように実空間内の任意の位置に設定することができる。そのため、表示装置２としてヘッドマウントディスプレイを用いた場合、世界座標系（ｘ，ｙ，ｚ）は、図１６に示すようにオペレータ７の視点７０２（例えば左右の目の中間等）を原点としてもよい。

次に、図１２のステップＳ７（入力状態判定処理）について、図１７Ａから図１７Ｃまでを参照して説明する。

図１７Ａは、第１の実施形態における入力状態判定処理を説明するフローチャート（その１）である。図１７Ｂは、第１の実施形態における入力状態判定処理を説明するフローチャート（その２）である。図１７Ｃは、第１の実施形態における入力状態判定処理を説明するフローチャート（その３）である。

ステップＳ７の入力状態判定処理は、入力状態判定部４０２が行う。入力状態判定部４０２は、図１７Ａに示すように、まず、１ループ前の入力状態（直前の入力状態）を判定する（ステップＳ７０１）。

ステップＳ７０１において直前の入力状態が非選択であったと判定した場合、入力状態判定部４０２は、次に、指先座標と相対位置が一致するボタンがあるか否かを判定する（ステップＳ７０２）。ステップＳ７０２の判定は、ステップＳ６で算出したボタンと指先との相対位置に基づいて行う。入力状態判定部４０２は、指先との相対位置（距離）が所定の閾値以下であるボタンがある場合、指先座標と相対位置が一致するボタンがあると判定する。指先座標と相対位置が一致するボタンがない場合（ステップＳ７０２；Ｎｏ）、入力状態判定部４０２は、現在の入力状態を非選択と判定する（ステップＳ７０３）。一方、指先座標と相対位置が一致するボタンがある場合（ステップＳ７０２；Ｙｅｓ）、入力状態判定部４０２は、現在の入力状態を仮選択と判定する（ステップＳ７０４）。

ステップＳ７０１において直前の入力状態が仮選択であったと判定した場合、入力状態判定部４０２は、ステップＳ７０１の後、図１７Ｂに示すように、指先座標が押下方向に移動したか否かを判定する（ステップＳ７０５）。押下方向に移動していない場合（ステップＳ７０５；Ｎｏ）、入力状態判定部４０２は、次に、指先座標が押下方向とは反対の方向に移動したか否かを判定する（ステップＳ７０６）。指先座標が押下方向とは反対の方向に移動した場合、指先は奥行き方向手前側に移動しボタンから離れる。そのため、指先座標が押下方向とは反対の方向に移動した場合（ステップＳ７０６；Ｙｅｓ）、入力状態判定部４０２は、現在の入力状態を非選択と判定する（ステップＳ７０３）。また、指先座標が押下方向とは反対の方向にも移動していない場合（ステップＳ７０６；Ｎｏ）、入力状態判定部４０２は、次に、指先座標がボタン表示領域内であるか否かを判定する（ステップＳ７０７）。指先座標がボタン表示領域の外側にある場合、指先はボタンから離れている。そのため、指先座標がボタン表示領域内にない場合場合（ステップＳ７０６；Ｎｏ）、入力状態判定部４０２は、現在の入力状態を非選択と判定する（ステップＳ７０３）。一方、指先座標がボタン表示領域内にある場合、入力状態判定部４０２は、現在の入力状態を仮選択と判定する（ステップＳ７０４）。

また、直前の入力状態が仮選択であり、かつ指先座標が押下方向に移動した場合（ステップＳ７０５；Ｙｅｓ）、入力状態判定部４０２は、次に、指先座標が押下領域内であるか否かを判定する（ステップＳ７０８）。指先座標が押下領域内にある場合（ステップＳ７０８；Ｙｅｓ）、入力状態判定部４０２は、入力状態を押下中と判定する（ステップＳ７０９）。一方、指先座標が押下領域内にない場合（ステップＳ７０８；Ｎｏ）、入力状態判定部４０２は、現在の入力状態を非選択と判定する（ステップＳ７０３）。

ステップＳ７０１において直前の入力状態が押下中であったと判定した場合、入力状態判定部４０２は、ステップＳ７０１の後、図１７Ｂに示すように、指先座標が押下領域内にあるか否かを判定する（ステップＳ７１０）。指先座標が押下領域内にない場合（ステップＳ７１０；Ｎｏ）、入力状態判定部４０２は、現在の入力状態を非選択と判定する（ステップＳ７０３）。また、指先座標が押下領域内にある場合（ステップＳ７１０；Ｙｅｓ）、入力状態判定部４０２は、次に、指先座標が入力確定領域内に移動したか否かを判定する（ステップＳ７１１）。指先座標が入力確定領域内に移動した場合（ステップＳ７１１；Ｙｅｓ）、入力状態判定部４０２は、現在の入力状態を入力確定と判定する（ステップＳ７１２）。一方、指先座標が入力確定領域内に移動した場合（ステップＳ７１１；Ｎｏ）、入力状態判定部４０２は、現在の入力状態を押下中と判定する（ステップＳ７０９）。

ステップＳ７０１において直前の入力状態が入力確定であったと判定した場合、入力状態判定部４０２は、ステップＳ７０１の後、図１７Ｃに示すように、入力確定中移動の有無を判定する（ステップＳ７１３）。ステップＳ７１３において、入力状態判定部４０２は、立体映像６を３次元空間内で移動させる操作が行われているか否かを判定する。入力確定中移動がない場合（ステップＳ７１３；Ｎｏ）、入力状態判定部４０２は、次に、キーリピートの有無を判定する（ステップＳ７１４）。ステップＳ７１４において、入力状態判定部４０２は、入力状態の判定対象であるボタンがキーリピート可能なボタンであるか否かを判定する。キーリピート可能なボタンであるか否かは、図７に示したような操作用表示映像データを参照して判定する。キーリピート不可である場合（ステップＳ７１４；Ｎｏ）、入力状態判定部４０２は、現在の入力状態を非選択と判定する（ステップＳ７０３）。また、キーリピート可能である場合（ステップＳ７１４；Ｙｅｓ）、入力状態判定部４０２は、次に、指先座標が確定状態維持範囲内で維持されている否かを判定する（ステップＳ７１５）。指先座標が確定状態維持範囲内で維持されている場合（ステップＳ７１５；Ｙｅｓ）、入力状態判定部４０２は、現在の入力状態をキーリピートと判定する（ステップＳ７１６）。一方、指先座標が確定状態維持範囲の外部に移動した場合（ステップＳ７１５；Ｎｏ）、入力状態判定部４０２は、現在の入力状態を非選択と判定する（ステップＳ７０３）。

なお、直前の入力状態が入力確定であり、かつ入力確定中移動がある場合（ステップＳ７１３；Ｙｅｓ）、入力状態判定部４０２は、図１７Ｃに示すように、直前の入力状態が入力確定中移動であった場合と同じ判定処理を行う。

ステップＳ７０１において直前の入力状態がキーリピートであったと判定した場合、入力状態判定部４０２は、ステップＳ７０１の後、図１７Ｃに示すように、指先座標が確定状態維持範囲内で維持されている否かを判定する（ステップＳ７１５）。指先座標が確定状態維持範囲内で維持されている場合（ステップＳ７１５；Ｙｅｓ）、入力状態判定部４０２は、現在の入力状態をキーリピートと判定する（ステップＳ７１６）。一方、指先座標が確定状態維持範囲の外部に移動した場合（ステップＳ７１５；Ｎｏ）、入力状態判定部４０２は、現在の入力状態を非選択と判定する（ステップＳ７０３）。

ステップＳ７０１において直前の入力状態が入力確定中移動であったと判定した場合、入力状態判定部４０２は、ステップＳ７０１の後、図１７Ｃに示すように、指先座標が奥行き方向に移動したか否かを判定する（ステップＳ７１７）。指先座標が奥行き方向に移動した場合（ステップＳ７１７；Ｙｅｓ）、入力状態判定部４０２は、指先座標の移動量を立体映像の移動量に設定する（ステップＳ７１８）。なお、ステップＳ７１８において入力状態判定部４０２が設定する移動量は、移動方向と移動距離とを含む。

また、指先座標が奥行き方向に移動していない場合（ステップＳ７１７；Ｎｏ）、入力状態判定部４０２は、次に、指先座標が入力確定範囲における押下方向領域内に維持されているか否かを判定する（ステップＳ７１９）。押下方向領域は、押下領域を入力確定範囲側に延長したときに入力確定範囲に含まれる空間領域である。指先座標が押下方向領域の外部に移動した場合（ステップＳ７１９；Ｎｏ）、入力状態判定部４０２は、現在の入力状態を非選択と判定する（ステップＳ７０３）。一方、指先座標が押下方向領域内で維持されている場合（ステップＳ７１９；Ｙｅｓ）、入力状態判定部４０２は、指先座標のボタン表示面方向の移動量を立体映像の移動量に設定する（ステップＳ７２０）。

ステップＳ７１８又はＳ７２０により立体映像の移動量を設定した後、入力状態判定部４０２は、現在の入力状態を入力確定中移動と判定する（ステップＳ７２１）。

次に、図１２のステップＳ８（生成映像指定処理）について、図１８Ａから図１８Ｃまでを参照して説明する。

図１８Ａは、第１の実施形態における生成映像指定処理を説明するフローチャート（その１）である。図１８Ｂは、第１の実施形態における生成映像指定処理を説明するフローチャート（その２）である。図１８Ｃは、第１の実施形態における生成映像指定処理を説明するフローチャート（その３）である。

ステップＳ８の生成映像指定処理は、生成映像指定部４０３が行う。生成映像指定部４０３は、図１８Ａに示すように、まず、現在の入力状態を判定する（ステップＳ８０１）。

ステップＳ８０１において現在の入力状態が非選択であると判定した場合、生成映像指定部４０３は、全ボタンを非選択のボタンの像に指定する（ステップＳ８０２）。ステップＳ８０２の指定は、初期映像指定部４０３ａにより行う。

ステップＳ８０１において現在の入力状態が仮選択であると判定した場合、生成映像指定部４０３は、ステップＳ８０１の後、図１８Ｂに示すように、仮選択されたボタンを仮選択のボタンの像に指定し、他のボタンは非選択のボタンの像に指定する（ステップＳ８０３）。ステップＳ８０３の指定は、初期映像指定部４０３ａ、確定枠指定部４０３ｂ、及び枠内映像指定部４０３ｃにより行う。

また、ステップＳ８０１において現在の入力状態が押下中であると判定した場合、生成映像指定部４０３は、ステップＳ８０１の後、図１８Ｂに示すように、入力確定点から指先座標までの距離を算出する（ステップＳ８０７）。続けて、生成映像指定部４０３は、押下中のボタンに対し算出した距離に応じた押下中のボタンの像を指定し、他のボタンは非選択のボタンの像に指定する（ステップＳ８０８）。ステップＳ８０８の指定は、初期映像指定部４０３ａ、確定枠指定部４０３ｂ、及び枠内映像指定部４０３ｃにより行う。

更に、現在の入力状態が仮選択又は押下中である場合、生成映像指定部４０３は、ステップＳ８０３又はＳ８０８の後、隣接ボタンにおける仮選択又は押下中のボタンの像との重なり量を算出する（ステップＳ８０４）。ステップＳ８０４は、隣接ボタン表示指定部４０３ｄが行う。重なり量を算出すると、隣接ボタン表示指定部４０３ｄは、次に、重なり量が閾値以上のボタンがあるか否かを判定する（ステップＳ８０５）。重なり量が閾値以上のボタンがある場合（ステップＳ８０５；Ｙｅｓ）、隣接ボタン表示指定部４０３ｄは、該当するボタンを非表示に設定する（ステップＳ８０６）。一方、重なり量が閾値以上のボタンがない場合（ステップＳ８０５；Ｎｏ）、隣接ボタン表示指定部４０３ｄは、ステップＳ８０６の処理をスキップする。

ステップＳ８０１において現在の入力状態が入力確定であると判定した場合、生成映像指定部４０３は、ステップＳ８０１の後、図１８Ｃに示すように、入力確定のボタンに対し入力確定のボタンの像６２３を指定し、他のボタンは非選択のボタンの像を指定する（ステップＳ８０９）。ステップＳ８０９は，入力確定映像指定部４０３ｅが行う。

ステップＳ８０１において現在の入力状態がキーリピートである判定した場合、生成映像指定部４０３は、ステップＳ８０１の後、図１８Ｃに示すように、キーリピート中のボタンに対しキーリピートのボタンの像６２４を指定し、他のボタンには非選択のボタンの像６２０を指定する（ステップＳ８１０）。ステップＳ８１０は、例えば、入力確定映像指定部４０３ｅが行う。

ステップＳ８０１において現在の入力状態が入力確定中移動であると判定した場合、生成映像指定部４０３は、ステップＳ８０１の後、図１７Ｃに示すように、指先座標の移動量に基づいて、立体映像内のボタンの表示座標を修正する（ステップＳ８１１）。その後、生成映像指定部４０３は、表示位置を移動させるボタンに対し入力確定のボタンの像６２３を指定し、他のボタンには非選択のボタン６２０の像を指定する（ステップＳ８１２）。ステップＳ８１１及びＳ８１２は、入力確定映像指定部４０３ｅと、表示位置指定部４０３ｆとが行う。

図１９は、隣接ボタンを非表示にする処理を説明する図である。図２０は、隣接ボタンを非表示にするか否かの判定方法の例を説明する図である。

本実施形態に係る生成映像指定処理では、上記のように、現在の入力状態が仮選択又は押下中である場合、仮選択のボタンの像６２１又は押下中のボタンの像６２２を指定する。仮選択のボタンの像６２１及び押下中のボタンの像６２２は、図６等に示したように、入力確定枠を含む像であり、非選択のボタンの像６２０に比べてサイズが大きい。そのため、図１９の（ａ）に示すように、立体映像６内のボタンの配置間隔が狭い場合、仮選択のボタンの像６２１の外周部が隣接するボタン（非選択のボタンの像６２０）と重なることがある。このように仮選択のボタンの像６２１や押下中のボタンの像６２２の外周部が隣接するボタンと重なる場合、重なり量が多いと、ボタンの像６２１，６２２の外周が見づらくなり、入力確定枠の位置を把握しづらくなる可能性がある。そこで、本実施形態に係る生成映像指定処理では、上記のように、仮選択のボタンの像６２１又は押下中のボタンの像６２２と隣接ボタンとの重なり量が閾値以上である場合、図１９の（ｂ）に示したように、隣接ボタンを非表示にする。これにより、仮選択のボタンの像６２１又は押下中のボタンの像６２２の外周がよりわかりやすくなり、入力確定までの押下量を把握しやすくなる。

隣接ボタンを非表示にするか否かの判定に用いる重なり量の閾値は、例えば、隣接方向における隣接ボタン（非選択のボタンの像６２０）の寸法の１／２とする。図２０に示したように、立体映像６に３×３個の合計９個のボタンが表示されており、９個のボタンのうち右下角部のボタン６４１が仮選択のボタンの像６２１に指定された場合を考える。この場合、ボタン６４１として表示するボタンの像６２１におけるボタン本体を現す領域６２１ａを他のボタンと同一サイズで表示すると、ボタンの像６２１の外周部が隣接ボタン６４２，６４３，６４４と重なることがある。

ここで、ボタン６４１の左隣にあるボタン６４２の隣接方向の寸法をＷとし、隣接方向におけるボタン６４１とボタン６４２との重なり量をΔＷとすると、ステップＳ８０５では、例えば、ΔＷ≧Ｗ／２であるか否かを判定する。そして、図２０に示したように、ΔＷ＜Ｗ／２である場合、生成映像指定部４０３の隣接ボタン表示指定部４０３ｄは、ボタン６４１の左隣にあるボタン６４２を表示すると判定する。同様に、ボタン６４１の上隣にあるボタン６４３の隣接方向の寸法をＨとし、隣接方向におけるボタン６４１とボタン６４２との重なり量をΔＷとすると、ステップＳ８０５では、例えば、ΔＨ≧Ｈ／２であるか否かを判定する。そして、図２０に示したように、ΔＷ＜Ｗ／２である場合、生成映像指定部４０３の隣接ボタン表示指定部４０３ｄは、ボタン６４１の上隣にあるボタン６４３を表示すると判定する。また、ボタン６４１の左上方にある隣接ボタン６４４については、例えば、隣接方向を左右方向と上下方向とに分け、左右方向における重なり量ΔＷ及び上下方向における重なり量ΔＨについて、ΔＷ≧Ｗ／２かつΔＨ≧Ｈ／２であるか否かを判定する。そして、例えば、ΔＷ≧Ｗ／２かつΔＨ≧Ｈ／２の場合にのみボタン６４４を非表示にすると判定する。

なお、隣接ボタンを非表示にするか否かの判定に用いる重なり量の閾値は任意であり、非選択状態のボタンの像６２０の寸法やボタンの配置間隔等に基づいて設定すればよい。

また、上記の例では隣接ボタンを非表示にしているが、これに限らず、例えば、透明度を高くする、或いは色を薄くする等の方法により隣接ボタンが目立たなくなるよう表示を変更してもよい。

以上のように、第１の実施形態に係る入力装置１では、立体映像６に表示されているボタンのうちオペレータ７の指先７０１が触れて仮選択の状態（操作対象に選定された状態）となったボタンに対し、当該ボタンを囲む入力確定枠が表示される。また、オペレータ７が押下する動作を行っている入力状態が押下中のボタンに対しては、押下量に応じて入力確定枠内のボタン本体を示す領域のサイズを変化させる。加えて、入力状態が押下中のボタンにおいては、押下量と比例し、かつ押下する指先が入力確定点Ｐ２に到達する直前でボタン本体を示す領域の外周が入力確定枠と略一致する態様でボタン本体を示す領域のサイズを変化させる。そのため、オペレータ７が立体映像６に表示されているボタンを押下する際に、ボタンが操作対象に選定されたことや、指先７０１を奥行き方向遠方側にどれだけ移動させれば入力が確定するかを直感的に把握することが可能になる。

更に、第１の実施形態に係る入力装置１では、入力確定枠を含む仮選択のボタンの像６２１及び押下中のボタンの像６２２を表示する際に、隣接する非選択のボタンを非表示にすることができる。そのため、仮選択のボタンの像６２１及び押下中のボタンの像６２２を視認しやすくなる。特に、押下中のボタンの像６２２については、入力を確定させるためにどこまで指先を移動させればよいかを把握しやすくなる。そのため、例えば、指先の移動量が大きくなりすぎて入力の確定に失敗することや、奥行き方向遠方側にある他の立体映像のボタンを誤って押下してしまうことによる入力エラーを低減することが可能となる。

なお、本実施形態では、入力状態が仮選択及び押下中である場合に入力確定枠を表示しているが、これに限らず、例えば、仮選択の状態を押下量が０である押下中の状態とし、入力状態が押下中である場合にのみ入力確定枠を表示してもよい。

また、図１７Ａ、図１７Ｂ、及び図１７Ｃに示した入力状態判定処理は一例に過ぎず、必要に応じて一部の処理を変更してもよい。例えば、ステップＳ７０８及びＳ７１０の判定は、押下中に生じる指先座標のずれを考慮して行ってもよい。

図２１は、押下中の指先座標のずれに対する許容範囲を示す図である。
オペレータが立体映像６に表示されたボタンを押下する動作を行うと、図２１に示したように、立体映像６には押下中のボタンの像６２２が表示される。この際、オペレータ７の視線は、表示面Ｐ１の法線方向と平行ではない場合が多い。また、オペレータ７は、実物体のない３次元空間内で指先７０１を奥行き方向に移動させる。そのため、指先７０１を奥行き方向に移動させる際に、指先７０１が押下領域の外側に出てしまう可能性がある。ここで、押下領域Ａ３は、入力状態が非選択である場合に表示されるボタンの像６２０を奥行き方向に移動させたときのボタンの像６２０の外周の軌跡で囲まれる筒状の領域である。

図１７Ａ及び図１７Ｂに示した処理では、ボタンを押下する指先７０１が入力確定点Ｐ２に到達する前に指先７０１が押下領域Ａ３の外側に出てしまうと、入力状態が非選択になってしまう。そのため、オペレータ７は、再度ボタンを押下する動作を行うこととなる。このような事態を低減するため、図２１に示したように、押下領域Ａ３の周囲に許容範囲を設けた押下判定領域Ａ４を設定してもよい。許容範囲の大きさは任意であり、例えば、入力確定枠の大きさや押下中のボタンの像６２２におけるボタン本体を示す領域６２２ｂにする。また、許容範囲は、例えば、図２１に示したように、入力確定枠６２２ｂより大きい値にしてもよい。許容範囲を入力確定枠６２２ｂよりも大きくする場合、例えば、ボタンの外周から標準的な指の太さ分の範囲、隣接するボタンの外周まで、或いは隣接するボタンと所定の重なり量で重なる範囲等にすることができる。

また、図６に示した仮選択のボタンの像６２１及び押下中のボタンの像６２２は一例に過ぎず、立体映像６であることを利用し立体的な変化を組み合わせた像にすることも可能である。

図２２は、仮選択及び押下中のボタンの像の別の例を示す図である。図２２には、押下中のボタンの像の別の例として、略直方体のボタン状に成形したゴム部材１１を指で押したときの形状変化を組み合わせた像を示している。ボタン状に成形したゴム部材１１は、図２２の（ａ）に示すように、指先が軽く触れた状態（言い換えると押圧荷重が０又は非常に小さい状態）では厚さが均一である。そのため、仮選択のボタンの像６２１では、ボタン本体を示す領域全体を同じ色で表現する。

そして、ボタン状に成形したゴム部材１１を指先で押すと、ゴム部材１１は、図２２の（ｂ）及び（ｃ）に示すように、指先７０１から押圧荷重が印加されている中央部分の厚さが外周部分の厚さよりも薄くなる。また、指先７０１から押圧荷重を受けることにより、ゴム部材１１は平面内で広がるため、平面で見たゴム部材１１のサイズは、指で押す前のサイズよりも大きくなる。押下中のボタンの像６２２は、このゴム部材１１の厚さ及び平面サイズの段階的な変化を反映させるようにボタン本体を示す領域６２２ａ内の色及びサイズを段階的に変化させた複数通りの像としてもよい。このような押下中のボタンの像６２２を用いた場合、オペレータ７のボタンを押下する動作と連動してボタン本体を示す領域６２２ａの像が立体的に変化する。そのため、オペレータ７がボタンを押下する動作を行う際の感覚（視覚）を、実物体のボタンを押下しているときの感覚に近づけることができる。

更に、入力確定枠を表示する際には、図６に示した非選択のボタンの像６２０から仮選択のボタンの像６２１に切り替える代わりに、例えば、図２３に示すように、ボタンの外周から入力確定枠が広がり出るような表示方法にすることもできる。

図２３は、入力確定枠の表示方法の別の例を示す図である。図２３の（ａ）は、非選択のボタンの像６２０である。オペレータ７の指先７０１がボタンの像６２０に触れて入力状態が仮選択に切り替わると、まず、図２３の（ｂ）から（ｆ）に示すように、仮選択のボタンの像６２１におけるボタン本体を示す領域６２１ａの外方に領域６２１ａを囲む帯状領域が段階的に広がり出る。そして、広がり出た帯状領域の外形寸法が操作用表示映像データで指定された入力確定枠のサイズになると、帯状領域の広がりが止まる。また、図２３の（ｂ）から（ｆ）までの帯状領域の幅の変化はボタンを示す領域６２１ａの中心から広がる波紋を模した色で表現し、更に図２３の（ｇ）から（ｊ）に示すように、帯状領域の広がりが止まった後も、一定期間、波紋を模した色で表現する。このように、波紋を模した段階的な変化により入力確定枠を表示することにより、ボタンの像を立体的に変化させることができ、視覚効果の高い立体映像６の表示が可能となる。

また、仮選択のボタンの像６２１や押下中のボタンの像６２２は、図７Ａ等に示した平板状の像に限らず、ボタンの形状を模した立体像であってもよい。

図２４Ａは、ボタンの立体表示の例を示す図（その１）である。図２４Ｂは、ボタンの立体表示の例を示す図（その２）である。図２５は、ボタンの立体表示の別の例を示す図である。

上述の操作用表示映像データ（図８を参照）に基づいて表示される立体映像６は、例えば、図２４Ａの（ａ）に示すように、各ボタン、及び背景が平板状の像になる。すなわち、各ボタンの表示位置を背景の表示位置よりもオペレータ側（奥行き方向手前側）にすることで、立体的な像を表現している。このような立体映像６に表示されたボタンにオペレータの指先が触れた場合、図７Ａに示した例では、平板状の非選択のボタンの像６２０から平板状の仮選択のボタンの像６２１に変更される。しかしながら、仮選択のボタンの像６２１は、平板状のボタンの像に限らず、図２４Ａに示すように、四角錐台状の像にしてもよい。このように、四角錐台状のボタンの像６２１を表示する場合、例えば、上底面（オペレータ側の底面）を非選択のボタンと同じサイズとし、下底面を入力確定枠のサイズとする。更に、四角錘台状のボタンを押下する動作が行われた場合、図２４Ｂの（ｃ）に示すように、押下量に応じてボタン本体を示す領域６２２ａの形状が変換する押下中のボタンの像６２２が表示される。この際、ボタン本体を示す領域６２２ａは、押下量に正の比例定数で比例する態様で上底面のサイズを変化させるとともに、押下量に負の比例定数で比例する態様で上底面から入力確定点Ｐ２までの距離が変化させる。このように入力状態が仮選択及び押下中であるときのボタンの像６２１，６２２を立体像にすることで、オペレータ７がボタンを押下する動作を行う際の感覚（視覚）を、実物体のボタンを押下しているときの感覚により近づけることができる。

なお、仮選択及び押下中であるときのボタンの像６２１，６２２の立体形状は、四角錘台状に限らず、他の立体形状、例えば、図２５に示したよう直方体状であってもよい。

図２５の（ｂ’）には、仮選択のボタンの像６２１の立体形状の別の例を示している。この別の例においては、入力確定点Ｐ２に表示される背景６３０内に入力確定枠６２１ａを提示する領域が表示され、その領域からオペレータ側に立設する態様でボタン本体を示す領域６２１ａが立体表示されている。オペレータ７がこの仮選択のボタンの像６２１におけるボタン本体を示す領域６２１ａを指先７０１で押下する動作を行うと、図２５の（ｃ’）に示すように、押下量に応じてボタン本体を示す領域６２２ａの形状が変換する押下中のボタンの像６２２が表示される。この際、ボタン本体を示す領域６２２ａは、押下量に正の比例定数で比例する態様で底面のサイズ（ｘｙ面内でのサイズ）を変化させるとともに、押下量に負の比例定数で比例する態様で高さ（ｚ方向のサイズ）を変化させる。

次に、本実施形態の入力装置１における入力確定中移動の例について説明する。
図２６は、入力確定中移動の例を示す図である。図２６の（ａ）から（ｃ）には、３枚の操作画面６０１，６０２，６０３が立体的に配置された立体映像６を示している。また、各操作画面６０１，６０２，６０３には、それぞれ、画面を３次元空間内で移動させる処理を行うための移動用ボタン６５１，６５２，６５３が表示されている。

図２６の（ａ）に示すように、オペレータ７が奥行き方向で最も手前（オペレータ側）に表示されている操作画面６０１の移動用ボタン６５１を押下する動作を行い、入力状態が入力確定になると、移動用ボタン６５１は入力確定のボタンの像になる。その後、オペレータ７の指先座標が確定維持範囲内で維持されると、情報処理装置４は、操作画面６０１の移動用ボタン６５１に対する入力状態を入力確定中移動と判定する。これにより、操作画面６０１は、３次元空間内で移動可能な状態になる。操作画面６０１が移動可能な状態になった後、図２６の（ｂ）に示すように、オペレータ７が操作画面６０１を表示面内で平行移動させる動作を行うと、入力状態が入力確定中移動である移動用ボタン６５１を含む操作画面６０１のみが平行移動する。操作画面６０１を移動させた後、例えば、オペレータ７が指先７０１を移動用ボタン６５１から離す動作を行うと、移動用ボタン６５１に対する入力状態は非選択常態となり、移動用ボタン６５１は非選択のボタンの像に変更される。このように、複数の奥行き方向に重なった複数の操作画面のいずれかを独立して移動させることにより、移動させた操作画面の奥行き方向遠方側に表示された別の表示画面を見やすくすることができる。

なお、図１７Ｃに示したように入力状態が入力確定中移動であるときに立体映像６（操作画面６５１）を奥行き方向にも移動可能である場合、指先７０１を移動用ボタン６５１から離す動作をすると操作画面６５１が指先７０１とともに移動する。そのため、立体映像６を奥行き方向に移動可能である場合、例えば、図２６の（ｃ）に示すように、オペレータの手指を、立体映像６（操作画面６５１）を移動させるときとは異なる形にすることで、入力状態が入力確定中移動から非選択に変更されるようにする。

図２７は、入力確定中移動の別の例を示す図である。図２７の（ａ）から（ｃ）には、３枚の操作画面６０１，６０２，６０３が立体的に配置された立体映像６を示している。また、各操作画面６０１，６０２，６０３には、それぞれ、画面を３次元空間内で移動させる処理を行うための移動用ボタン６５１，６５２，６５３が表示されている。

図２７の（ａ）に示すように、オペレータ７が奥行き方向で最も手前（オペレータ側）に表示されている操作画面６０１の移動用ボタン６５１を押下する動作を行い、入力状態が入力確定になると、移動用ボタン６５１は入力確定のボタンの像になる。その後、オペレータ７の指先座標が確定維持範囲内で維持されると、情報処理装置４は、操作画面６０１の移動用ボタン６５１に対する入力状態を入力確定中移動と判定する。これにより、操作画面６０１は、３次元空間内で移動可能な状態になる。操作画面６０１が移動可能な状態になった後、図２７の（ｂ）に示すように、オペレータ７が操作画面６０１を奥行き方向させる動作を行うと、入力状態が入力確定中移動である移動用ボタン６５１を含む操作画面６０１のみが奥行き方向に移動する。このとき、図２７の（ｂ）に示したように、操作画面６０１が他の操作画面６０３の近傍に移動させると、２枚の操作画面６０１，６０３におけるボタンの表示面Ｐ１及び入力確定点Ｐ２が近接した状態となる。そのため、情報処理装置４の手指検出部４０１においてオペレータ７の指先７０１を検出した場合に、操作画面６０１のボタン及び操作画面６０３のボタンのいずれのボタンに対する操作（動作）を行っているのかを判別することが困難となる。よって、移動中の操作画面６０１が他の操作画面６０３に接近した場合、情報処理装置４は、例えば、図２７の（ｃ）に示したように、他の操作画面６０３の表示位置を移動中の操作画面６０１から離れた位置に移動させる。なお、図２７の（ｃ）に示した例では、操作画面６０３の表示位置を移動前の操作画面６０１の表示位置に移動させているが、これに限らず、奥行き方向遠方側に表示位置を移動させてもよい。また、図２７に示した操作画面６０１，６０３の表示位置の入れ替えは、例えば、奥行き方向遠方に表示されている操作画面６０３を奥行き方向手前に表示させるための操作として行ってもよい。これにより、例えば、操作画面６０３の移動用ボタン６５３が手前にある他の操作画面６０１，６０２に隠れて見えない場合でも、オペレータ７は、容易に操作画面６０３を見やすい位置に移動させることが可能となる。

図２８は、入力確定中移動の更に別の例を示す図である。
図２６及び図２７に示した立体映像６では、各操作画面６０１，６０２，６０３のそれぞれに画面を移動させるための移動用ボタン６５１，６５２，６５３が表示されている。しかしながら、立体映像６の移動は、移動用ボタンに限らず、例えば、立体映像６における背景等のボタンとは別の領域を押下する操作と対応付けてもよい。この例において、情報処理装置４の入力状態判定部４０２は、立体映像６における背景６３０に対してもボタンと同様の入力状態の判定を行う。このとき、図２８の（ａ）に示すように、オペレータ７の指先７０１が立体映像６（操作画面）における背景６３０に触れた場合に背景６３０に対する入力状態が非選択から仮選択に変更する。その後、例えば、背景６３０に対する入力状態が仮選択である状態が所定期間継続すると、入力状態判定部４０２は、背景６３０に対する入力状態を入力確定中移動に変更する。この入力状態の変更を受け、生成映像指定部４０３及び映像生成部４０４は、例えば、図２８の（ｂ）に示すように、背景６３０の表示を入力確定中移動であることを示す表示に変更した立体映像６を生成し、表示装置２に表示させる。これにより、オペレータ７は、立体映像６が３次元空間内で移動可能な状態であることを認識することが可能になる。そして、オペレータ７が指先７０１を移動させる動作を行うと、指先７０１の移動量に応じて立体映像６が移動する。また、オペレータ７が指先７０１を立体映像６（背景６３０）から離す動作、又は手指の形を変える動作を行うと、情報処理装置４は、背景６３０に対する入力状態を入力確定中移動から非選択に変更し、立体映像６の表示位置が固定される。

なお、図２６から図２８までに示した立体画像６の移動は、表示面と平行な面内或いは奥行き方向（表示面の法線方向）への移動であるが、これに限らず、立体映像６は、オペレータ７の視点等の特定の点を基準として移動させてもよい。

図２９は、立体映像の移動方向の変形例を示す図である。
立体映像６を移動させる場合、例えば、図２９の（ａ）に示すように、円柱状の空間領域における周面に沿って移動させてもよい。この場合、例えば、軸心方向を鉛直方向と一致させ、かつ軸心がオペレータ７の視点７０２を通る半径Ｒの円柱状の空間領域Ａ５を設定し、立体映像の表示位置を指定する座標（ｘ１，ｙ１，ｚ１）が円柱状の空間領域Ａ５における周面上になるよう表示位置及び移動量を設定する。円柱状の空間領域における周面に沿って立体映像６を移動させる場合、例えば、世界座標系はオペレータ７の視点７０２を原点とする円柱座標系（ｒ，θ，ｚ）とし、表示装置基準及び距離センサ基準の空間座標を円柱座標変換して表示位置を指定する。

また、立体映像６を移動させる場合、例えば、図２９の（ｂ）に示すように、球状の空間領域における空間表面に沿って移動させてもよい。この場合、例えば、オペレータ７の視点７０２を中心とする半径Ｒの球状の空間領域Ａ６を設定し、立体映像の表示位置を指定する座標（ｘ１，ｙ１，ｚ１）が球状の空間領域における空間表面上になるよう表示位置及び移動量を設定する。球状の空間領域Ａ６における空間表面に沿って立体映像６を移動させる場合、例えば、世界座標系はオペレータ７の視点７０２を原点とする極座標系（ｒ，θ，φ）とし、表示装置基準及び距離センサ基準の空間座標を極座標変換して表示位置を指定する。

このように、立体映像６を円柱状の空間領域の周面又は空状の空間領域の空間表面に沿って移動させることで、オペレータ７が所定の位置にいる状態における立体映像６の移動範囲を広くすることができる。また、立体映像６を移動させたときの移動前後における立体映像６を見る角度の差を小さくすることができ、立体映像６の表示内容が見づらくなることを抑制することができる。

図３０は、立体映像の表示形状の変形例を示す図である。
ここまでの説明で参照した図に示した立体映像６（操作画面）は平面状（平板状）であるが、立体映像６は、これに限らず、例えば、図３０に示すような曲面状であってもよい。立体映像６（操作画面）を曲面状にすることにより、例えば、オペレータ７の視点から操作画面における各点間での距離を略一定にすることができる。そのため、オペレータ７の視点からの距離の違いにより操作画面内の一部の領域の像がぼやける等の表示品質の劣化を抑制することができる。また、図２９に示したように立体映像６を円柱状の空間領域の周面や球状の空間領域の空間表面に沿って移動させる場合、操作画面のような立体映像６を曲面状にすることで、立体映像６の移動方向を視覚的に把握することができ、移動時の違和感が軽減される。

図３１は、複数の操作画面を含む立体映像を用いた入力操作の例を説明する図である。
本実施形態の入力装置１において複数の操作画面を含む立体映像を表示させて入力操作を行う場合、個々の操作画面に独立した別個の入力操作を割り当てることはもちろん、複数の操作画面に階層的な入力操作を割り当てることも可能である。例えば、図３１の（ａ）に示すように、３枚の操作画面６０１，６０２，６０３を含む立体映像６が表示された状態でオペレータ７が最前面に表示されている操作画面６０１のボタンを押下する操作を行ったとする。すると、図３１の（ｂ）に示すように、操作画面６０１が非表示となる。この状態で、オペレータ７が続けて、２枚目の操作画面６０２のボタンを押下する操作を行うと、図３１の（ｃ）に示すように、操作画面６０２も非表示となる。この状態から更に、オペレータ７が３枚目の操作画面６０３のボタンを押下する操作を行うと、例えば、図３１の（ｄ）に示すように、操作画面６０３も非表示となり、操作画面６０１，６０２，６０３とは別の第４の操作画面６０４が表示される。第４の操作画面６０４には、例えば、操作用のボタン（６６１，６６２，６６３，６６４，６６５）と、入力情報を表示する表示部６７０とが表示される。表示部６７０には、各操作画面６０１，６０２，６０３で押下したボタンと対応する入力情報が表示される。また、操作用のボタン（６６１，６６２，６６３，６６４，６６５）は、例えば、入力情報を確定するボタン、入力をやり直すボタン等である。オペレータ７は、表示部６７０に表示された入力情報を確認した後、操作用のボタン（６６１，６６２，６６３，６６４，６６５）のいずれかを押下する。例えば、入力情報に誤りがない場合、オペレータ７は、入力情報を確定するボタンを押下する。これにより、情報処理装置４は、オペレータ７が各操作画面６０１，６０２，６０３から押下したボタンと対応する入力情報に応じた処理を実行する。また、入力情報に誤りがない場合、オペレータ７は、入力やり直すボタンを押下する。これにより、情報処理装置４は、第４の操作画面６０４を非表示とし、図３１の（ａ）から（ｃ）までのいずれかの表示状態に戻る。

このような複数の操作画面による階層的な入力操作は、例えば、飲食店等における食事メニューの選択操作等に適用することが可能である。

図３２は、食事メニューの選択操作における階層構造の例を示す図である。図３３は、第１階層の操作画面に表示されるボタンを押下したときの第２階層及び第３階層の操作画面の表示例を説明する図である。図３４は、食事メニューの選択操作を行う際の画面遷移の例を示す図である。

３枚の操作画面を用いて階層的な食事メニューの選択操作を行う場合、例えば、図３２に示すように、第１階層（１枚目の操作画面６０１）は料理ジャンルを選択する操作画面とする。また、第２階層（２枚目の操作画面６０２）は使用する食材を選択する操作画面とし、第３階層（３枚目の操作画面６０３）は具体的な料理名を選択する操作画面とする。また、この食事メニューの選択操作においては、例えば、図３３に示すように、第１階層において料理ジャンルを指定した場合、選択した料理ジャンルに応じて第２階層において選択可能な食材及び第３階層において選択可能な料理名が絞り込まれる。なお、図３２及び図３３における洋食Ａ、洋食Ｂ、和食Ａ、中華Ａ、エスニックＡ等は実際には具体的な料理名（例えば、洋食Ａはハンバーグ、洋食Ｂはシチュー、和食Ａは寿司等）である。

図３２及び図３３に示した階層構造に基づいて食事メニューの選択操作を行う場合、各操作画面６０１，６０２，６０３には、まず、全ての項目のボタンが表示される。すなわち１枚目の操作画面６０１には、選択可能な料理ジャンルの総数と同数の４個のボタンが表示される。また、２枚目の操作画面６０２には選択可能な食材の総数と同数の１０個のボタンが表示され、３枚目の操作画面６０３には選択可能な料理名の総数と同数の複数個のボタンが表示される。

この状態で、オペレータ７が１枚目の操作画面６０１に表示された洋食のボタンを押下する操作を行うと、操作画面６０１は非表示となり、２枚目の操作画面６０２が最前面の表示となる。このとき、操作画面６０２には、図３４の（ａ）に示すように、１０個の食材のうち洋食を指定した場合に選択可能な７種の食材と対応したボタンのみが表示される。ここでオペレータ７が、操作画面６０２に表示された７個のボタンのいずれかを押下する操作を行うと、操作画面６０２は非表示となり、３枚目の操作画面６０３のみが表示された状態となる。このとき、操作画面６０３には、図３４の（ｂ）に示すように、第３階層に登録された全ての料理名のうち洋食でありかつ第２階層で指定した食材を用いた料理名と対応したボタンのみが表示される。ここでオペレータ７が、操作画面６０３に表示された１３個のボタンのいずれかを押下する操作を行うと、操作画面６０３は非表示となり、図３１の（ｄ）に示した第４の操作画面６０４が表示される。このとき、第４の操作画面６０４には、例えば、第１階層で指定した料理ジャンル、第２階層で指定した食材、及び第３階層で指定した料理名が表示される。そして、オペレータ７が第４の操作画面６０４に表示された入力情報を確定するボタンを押下する動作を行うと、例えば、第３階層で指定した料理名の料理の注文が確定する。

また、上記の階層的な食事メニューの選択操作では、例えば、第１階層（１枚目の操作画面６０１）における料理ジャンルの指定（選択）、及び第２階層（２枚目の操作画面６０２）における料理ジャンルの指定（選択）を省略することもできる。

例えば、オペレータ７は、３枚の操作画面６０１，６０２，６０３が表示された状態のときに、２枚目の操作画面６０２に表示された全ての食材のボタンのいずれかを押下することもできる。この場合、２枚目の操作画面６０２に表示された全ての食材のボタンのいずれかを押下すると、１枚目の操作画面６０１及び２枚目の操作画面６０２が非表示となる。そして、３枚目の操作画面には、２枚目の操作画面６０２で押下したボタンと対応した食材を用いた料理名と対応したボタンのみが表示される。また、オペレータ７は、オペレータ７は、３枚の操作画面６０１，６０２，６０３が表示された状態のときに、３枚目の操作画面６０３に表示された全ての料理名のボタンのいずれかを押下することもできる。

更に、階層的な入力操作においては、１枚の操作画面に表示された複数のボタンを押下することも可能である。例えば、一方、１枚目の操作画面６０１でボタンを押下して入力を確定した後、オペレータ７の指先が奥行き方向手前側（２枚目の操作画面６０２とは反対側）に移動した場合には、料理ジャンルの指定が継続されるようにする。そして、１枚目の操作画面６０１でボタンを押下して入力を確定した後、オペレータ７の指先がそのまま奥行き方向遠方側（２枚目の操作画面６０２側）に移動した場合には、料理ジャンルの指定を完了して操作画面６０１を非表示にする。これにより、第１階層（１枚目の操作画面６０１）から２種類以上の料理ジャンルを選択することが可能となる。

なお、上記の階層的な食事メニューの選択操作は複数の操作画面を用いた階層的な入力操作の一例に過ぎず、他の選択操作等にも上記と同様の階層的な入力操作を適用することができる。

図３５は、第１の実施形態に係る入力装置の適用例を示す図である。
本実施形態に係る入力装置１は、例えば、デジタルサイネージと呼ばれる情報発信システムに適用することが可能である。デジタルサイネージでは、例えば、図３５の（ａ）に示すように、距離センサ３、情報処理装置４、音声出力装置（スピーカ）５等を内蔵した表示装置２を街頭や公共施設等に設置し、近隣の地図、商店、施設等に関する情報を提供する。デジタルサイネージにおいては、表示装置２として、例えば、裸眼立体視が可能な立体映像表示装置を用いる。利用者（オペレータ７）が表示装置２の近傍で一定時間立ち止まると、情報処理装置４は、情報検索に用いる操作画面６０１，６０２，６０３を含む立体映像６を生成して表示装置２に表示させる。オペレータ７は、表示された立体映像６内のボタンを押下して入力を確定する動作を繰り返し、所望の情報を取得する。

デジタルサイネージの利用者の中には、立体映像６内のボタンを押下する動作に不慣れな利用者も多く、入力ミスにより所望の情報をスムーズに取得することができない可能性がある。これに対し、本実施形態に係る入力装置１では、上述のように仮選択のボタンの像及び押下中のボタンの像に入力確定枠が含まれるため、不慣れな利用者でも入力を確定するための適切な押下量を直感的に把握することができる。よって、本実施形態に係る入力装置１をデジタルサイネージに適用することで、利用者の入力ミスを低減させ、利用者が望む情報をスムーズに提供することが可能となる。

また、本実施形態に係る入力装置１は、例えば、自動取引機（例えば現金自動預払機（ＡＴＭ））や自動発券機等に適用することも可能である。自動取引機に適用する場合、例えば、図３５の（ｂ）に示すように、取引機本体１２に入力装置１を内蔵させる。自動取引機においては、表示装置２として、例えば、裸眼立体視が可能な立体映像表示装置を用いる。利用者（オペレータ７）は、自動取引機の表示装置２の上方に表示された立体映像６内のボタンを押下して入力を確定する動作を繰り返し、所望の取引を実行する。

自動取引機の利用者の中には、取引を行う際の操作手順については慣れていても、立体映像６内のボタンを押下する動作に不慣れな利用者も多く、入力ミスによりスムーズに取引を実行することができない可能性がある。これに対し、本実施形態に係る入力装置１では、上述のように仮選択のボタンの像及び押下中のボタンの像に入力確定枠が含まれるため、不慣れな利用者でも入力を確定するための適切な押下量を直感的に把握することができる。よって、本実施形態に係る入力装置１を自動取引機に適用することで、利用者の入力ミスを低減させ、利用者が望む取引をスムーズに実行するが可能となる。

また、本実施形態に係る入力装置１は、例えば、金融機関や行政機関等の窓口で行う顧客対応業務に適用することも可能である。顧客対応業務に適用する場合、例えば、図３５の（ｃ）に示すように、窓口に設置されたテーブル１３に入力装置１を内蔵させる。ＡＴＭにおいては、表示装置２として、例えば、裸眼立体視が可能な立体映像表示装置を用いる。また、表示装置２は、テーブル１３の天板に表示面を情報に向けて設置する。利用者（オペレータ７）は、表示装置２の上方に表示された立体映像６内のボタンを押下して入力を確定する動作を繰り返し、所望の情報を表示させる。

窓口での顧客対応においては、対応する側の利用者が立体映像６内のボタンを押下する動作に慣れていても、他方の窓口を訪れた利用者は動作に不慣れな場合が多い。そのため、動作（操作）に不慣れな利用者が入力操作を行う際に入力ミスが発生し、所望の情報をスムーズに表示させることができない可能性がある。これに対し、本実施形態に係る入力装置１では、上述のように仮選択のボタンの像及び押下中のボタンの像に入力確定枠が含まれるため、不慣れな利用者でも入力を確定するための適切な押下量を直感的に把握することができる。よって、本実施形態に係る入力装置１を顧客対応業務に適用することで、入力ミスを防ぎ、所望の情報をスムーズに表示させることが可能となる。

更に、本実施形態に係る入力装置１は、例えば、工場等における設備の保守点検業務に適用することも可能である。保守点検業務に適用する場合、例えば、図３５の（ｄ）に示すように、表示装置２としてヘッドマウントディスプレイを用い、情報処理装置４としてスマートフォンや無線通信が可能なタブレット型端末を用いる。

設備１４の保守点検業務においては、例えば、メータ１４０１の数値を記録する作業を行う場合がある。そのため、保守点検業務に入力装置１を適用する場合、情報処理装置４は、例えば、設備１４における現在の稼働状況等を入力する画面を含む立体映像６を生成して表示させる。このような保守点検業務においても、本実施形態に係る入力装置１を適用することにより、入力ミスを低減でき、点検業務をスムーズに行うことが可能となる。

更に、保守点検業務に適用する入力装置１においては、例えば、表示装置２に図示しない小型のカメラを装着しておき、設備１４に設けたＡＲマーカ１４０２が持つ情報を立体映像６として表示させることも可能である。この際、ＡＲマーカ１４０２には、例えば、設備１４の操作マニュアル等の情報を持たせることができる。

なお、本実施形態に係る入力装置１は、図３５の（ａ）から（ｄ）に示した適用例に限らず、種々の入力装置や業務に適用可能である。

［第２の実施形態］
図３６は、第２の実施形態に係る入力装置における情報処理装置の機能的構成を示す図である。

本実施形態に係る入力装置１は、第１の実施形態で例示した入力装置１と同様、表示装置２と、距離センサ３と、情報処理装置４と、音声出力装置（スピーカ）５とを備える。また、図３６に示すように、本実施形態に係る入力装置１における情報処理装置４は、手指検出部４０１と、入力状態判定部４０２と、生成映像指定部４０３と、映像生成部４０４と、音声生成部４０５と、制御部４０６と、記憶部４０７と、を備える。なお、本実施形態に係る入力装置１における情報処理装置４は、上記の各部に加え、指先サイズ算出部４０８を備える。

手指検出部４０１は、距離センサ３から取得した情報に基づいてオペレータの手指の有無の判定や、手指がある場合の立体映像６から指先までの距離の算出等を行う。また、本実施形態に係る情報処理装置４における手指検出部４０１は、上記の処理に加え、距離センサ３から取得した情報に基づいて指先のサイズの測定を行う。

指先サイズ算出部４０８は、手指検出部４０１で検出した指先のサイズと、記憶部４０７に記憶させた標準指先サイズとに基づいて、表示位置における相対的な指先サイズを算出する。

入力状態判定部４０２は、手指検出部４０１の検出結果と、直前の入力状態とに基づいて、現在の入力状態を判定する。入力状態は、上記の非選択と、仮選択と、押下中と、入力確定と、キーリピートと、を含む。また、入力状態は、入力確定中移動、を更に含む。入力確定中移動は、入力確定の状態が継続しているボタン等を含む立体映像６を３次元空間内で移動させている状態である。

生成映像指定部４０３は、直前の入力状態と、現在の入力状態と、指先サイズ算出部４０８で算出した指先サイズとに基づいて生成する映像、すなわち表示する立体映像６の生成に必要な情報を指定する。

映像生成部４０４は、生成映像指定部４０３からの指定情報に従って立体映像６の表示データを生成し、表示装置２に出力する。

音声生成部４０５は、入力状態が所定の状態であるときに出力する音声信号を生成する。音声生成部４０５は、例えば、入力状態が押下中から入力確定に変化したときや、入力確定状態が所定期間続いたとき等に音声信号を生成する。

制御部４０６は、直前の入力状態と、入力状態判定部４０２の判定結果とに基づいて、生成映像指定部４０３、音声生成部４０５、及び指先サイズ算出部４０８の動作を制御する。直前の入力状態は、制御部４０６内に設けたバッファ、或いは記憶部４０７に記憶させておく。また、制御部４０６は、表示させた立体映像６におけるボタンのサイズ等の情報に基づいて、入力状態判定部４０２における指先座標のずれの許容範囲等の制御を行う。

記憶部４０７は、操作用表示映像データ群と、出力音データ群と、標準指先サイズとを記憶する。操作用表示映像データ群は、立体映像６毎に用意された複数の操作用表示映像データ（図８参照）の集合である。出力音データ群は、音声生成部４０５において音声を生成する際に用いるデータの集合である。

図３７は、第２の実施形態に係る生成映像指定部の機能的構成を示す図である。
生成映像指定部４０３は、上記のように、表示する立体映像６の生成に必要な情報を指定する。生成映像指定部４０３は、図３７に示すように、初期映像指定部４０３ａと、確定枠指定部４０３ｂと、枠内映像指定部４０３ｃと、隣接ボタン表示指定部４０３ｄと、入力確定映像指定部４０３ｅと、表示位置指定部４０３ｆと、を含む。また、本実施形態に係る生成映像指定部４０３は、表示サイズ指定部４０３ｇを更に含む。

初期映像指定部４０３ａは、入力状態が非選択である場合の立体映像６の生成に必要な情報を指定する。確定枠指定部４０３ｂは、入力状態が仮選択又は押下中であるボタンの像における入力確定枠についての情報を指定する。枠内映像指定部４０３ｃは、入力状態が仮選択又は押下中であるボタンの像における入力確定枠内の情報、すなわち仮選択のボタンの像６２１における領域６２１ａや押下中のボタンの像６２２における領域６２２ａについての情報を指定する。隣接ボタン表示指定部４０３ｄは、入力状態が仮選択又は押下中であるボタンと隣接する他のボタンの表示／非表示を指定する。入力確定映像指定部４０３ｅは、入力状態が入力確定であるボタンの像についての情報を指定する。表示位置指定部４０３ｆは、入力状態が入力確定中移動であるボタン等を含む立体映像の表示位置を指定する。表示サイズ指定部４０３ｇは、指先サイズ算出部４０８で算出した指先サイズに基づいて、表示する立体映像６に含まれるボタンの像又は立体映像６全体の表示サイズを指定する。

図３８Ａは、第２の実施形態に係る情報処理装置が行う処理を説明するフローチャート（その１）である。図３８Ｂは、第２の実施形態に係る情報処理装置が行う処理を説明するフローチャート（その２）である。

本実施形態の情報処理装置４は、図３８Ａに示すように、まず、初期映像を表示させる（ステップＳ２１）。ステップＳ２１において、情報処理装置４は、生成映像指定部４０３の初期映像指定部４０３ａにおいて入力状態が非選択である場合の立体映像６の生成に必要な情報を指定し、映像生成部４０４において立体映像６の表示データを生成する。初期映像指定部４０３ａは、記憶部４０７の操作用表示映像データ群を用いて立体映像６の生成に必要な情報を指定する。映像生成部４０４は、生成した表示データを表示装置２に出力し、表示装置２に立体映像６を表示させる。

次に、情報処理装置４は、距離センサ３が出力したデータを取得し（ステップＳ２２）、手指の検出処理を行う（ステップＳ２３）。ステップＳ２２及びＳ２３は、手指検出部４０１が行う。手指検出部４０１は、取得した距離センサ３からのデータに基づいて、立体映像６を表示している空間を含む検出範囲内にオペレータ７の手指が存在するか否かを調べる。ステップＳ２３の後、情報処理装置４は、オペレータ７の手指を検出したか否かを判定する（ステップＳ２４）。

オペレータ７の手指を検出した場合（ステップＳ２４；Ｙｅｓ）と、情報処理装置４は、次に、指先の空間座標を算出し（ステップＳ２５）、ボタンと指先との相対位置を算出する（ステップＳ２６）。ステップＳ２５及びＳ２６は、手指検出部４０１が行う。手指検出部４０１は、既知の空間座標の算出方法及び相対位置の算出方法によりステップＳ２５及びＳ２６の処理を行う。手指検出部４０１は、ステップＳ２６として、例えば、図１３に示したステップＳ６０１からＳ６０７までの処理を行う。

ステップＳ２５及びＳ２６の後、情報処理装置４は、指先のサイズを算出するとともに（Ｓ２７）、表示しているボタンの最小サイズを算出する（ステップＳ２８）。ステップＳ２７及びＳ２８は、指先サイズ算出部４０８が行う。指先サイズ算出部４０８は、手指検出部４０１を介して入力される距離センサ３からの検出情報に基づいて表示空間における指先の幅を算出する。また、指先サイズ算出部４０８は、制御部４０６を介して入力される表示中の立体映像６についての映像データに基づいて表示空間におけるボタンの最小サイズを算出する。

オペレータ７の手指を検出した場合（ステップＳ２４；Ｙｅｓ）、ステップＳ２５からＳ２８までの処理を終えると、情報処理装置４は、図３８Ｂに示すように、入力状態判定処理（ステップＳ２９）を行う。一方、オペレータ７の手指を検出しなかった場合（ステップＳ２４；Ｎｏ）、情報処理装置４は、ステップＳ２５からＳ２８までの処理をスキップして入力状態判定処理（ステップＳ２９）を行う。

ステップＳ２７の入力状態判定処理は、入力状態判定部４０２が行う。入力状態判定部４０２は、直前の入力状態と、ステップＳ２５からＳ２８までの処理の結果とに基づいて、現在の入力状態を判定する。本実施形態の情報処理装置４における入力状態判定部４０２は、例えば、図１７Ａから図１７Ｃまでに示したステップＳ７０１からＳ７２１までの処理を行って現在の入力状態を判定する。

入力状態判定処理（ステップＳ２９）を終えると、情報処理装置４は、次に、生成映像指定処理（ステップＳ３０）を行う。生成映像指定処理は、生成映像指定部４０３が行う。生成映像指定部４０３は、現在の入力状態に基づいて、表示する立体映像６の生成に必要な情報を指定する。

ステップＳ３０の生成映像指定処理を終えると、情報処理装置４は、表示する映像の表示データを生成し（ステップＳ３１）、表示装置２に映像を表示させる（ステップＳ３２）。ステップＳ３１及びＳ３２は、映像生成部４０４が行う。映像生成部４０４は、生成映像指定部４０３により指定された情報に基づいて立体映像６の表示データを生成し、生成した映像データを表示装置２に出力する。

また、入力状態判定処理（ステップＳ２９）の後、情報処理装置４は、ステップＳ３０からＳ３２までの処理と並行して、音声を出力するか否かの判定を行う（ステップＳ３３）。ステップＳ３３の判定は、例えば、制御部４０６が現在の入力状態に基づいて行う。音声を出力する場合（ステップＳ３３；Ｙｅｓ）、制御部４０６は、音声生成部４０５に音声データを生成させ、音声出力装置５に音声を出力させる（ステップＳ３４）。制御部４０６は、例えば、入力状態が入力確定である場合、キーリピートである場合に音声を出力すると判定する。一方、音声を出力しない場合（ステップＳ３３；Ｎｏ）、制御部４０６は、ステップＳ３３の処理をスキップさせる。

ステップＳ３０からＳ３２までの処理と、ステップＳ３３及びＳ３４の処理とを終えると、情報処理装置４は、処理を終了するか否かを判定する（ステップＳ３５）。処理を終了する場合（ステップＳ３５；Ｙｅｓ）、情報処理装置４は、処理を終了する。

一方、処理を続ける場合（ステップＳ３５；Ｎｏ）、情報処理装置４が行う処理はステップＳ２２の処理に戻る。以降、情報処理装置４は、処理を終了するまでステップ２２〜Ｓ３４までの処理を繰り返す。

図３９Ａは、第２の実施形態における生成映像指定処理を説明するフローチャート（その１）である。図３９Ｂは、第２の実施形態における生成映像指定処理を説明するフローチャート（その２）である。図３９Ｃは、第２の実施形態における生成映像指定処理を説明するフローチャート（その３）である。図３９Ｄは、第２の実施形態における生成映像指定処理を説明するフローチャート（その４）である。

ステップＳ３０の生成映像指定処理は、生成映像指定部４０３が行う。生成映像指定部４０３は、図３９Ａに示すように、まず、現在の入力状態を判定する（ステップＳ３００１）。

ステップＳ３００１において現在の入力状態が非選択であると判定した場合、生成映像指定部４０３は、全ボタンを非選択のボタンの像に指定する（ステップＳ３００２）。ステップＳ３００２の指定は、初期映像指定部４０３ａにより行う。

ステップＳ３００１において現在の入力状態が仮選択であると判定した場合、生成映像指定部４０３は、ステップＳ３００１の後、図３９Ｂに示すように、仮選択されたボタンを仮選択のボタンの像に指定し、他のボタンは非選択のボタンの像に指定する（ステップＳ３００３）。ステップＳ３００３の指定は、初期映像指定部４０３ａ、確定枠指定部４０３ｂ、及び枠内映像指定部４０３ｃにより行う。また、ステップＳ３００１において現在の入力状態が仮選択であると判定した場合、生成映像指定部４０３は、ステップＳ３００３の後、図３９Ｄに示すステップＳ３０１０からステップＳ３０１６までの処理を行う。

ステップＳ３００１において現在の入力状態が押下中であると判定した場合、生成映像指定部４０３は、ステップＳ３００１の後、図３９Ｂに示すように、入力確定点から指先座標までの距離を算出する（ステップＳ３００４）。続けて、生成映像指定部４０３は、押下中のボタンに対し算出した距離に応じた押下中のボタンの像を指定し、他のボタンは非選択のボタンの像に指定する（ステップＳ３００５）。ステップＳ３００５の指定は、初期映像指定部４０３ａ、確定枠指定部４０３ｂ、及び枠内映像指定部４０３ｃにより行う。また、ステップＳ３００１において現在の入力状態が押下中であると判定した場合、生成映像指定部４０３は、ステップＳ３００３の後、図３９Ｄに示すステップＳ３０１０からステップＳ３０１６までの処理を行う。

ステップＳ３００１において現在の入力状態が入力確定であると判定した場合、生成映像指定部４０３は、ステップＳ３００１の後、図３９Ｂに示すように、入力確定のボタンに対し入力確定のボタンの像６２３を指定し、他のボタンは非選択のボタンの像を指定する（ステップＳ３００６）。ステップＳ３００６は，入力確定映像指定部４０３ｅが行う。また、ステップＳ３００１において現在の入力状態が入力確定であると判定した場合、生成映像指定部４０３は、ステップＳ３００３の後、図３９Ｄに示すステップＳ３０１０からステップＳ３０１３までの処理を行う。

ステップＳ３００１において現在の入力状態がキーリピートである判定した場合、生成映像指定部４０３は、ステップＳ３００１の後、図３９Ｃに示すように、キーリピート中のボタンに対しキーリピートのボタンの像６２４を指定し、他のボタンには非選択のボタンの像６２０を指定する（ステップＳ３００７）。ステップＳ３００７は、例えば、入力確定映像指定部４０３ｅが行う。また、ステップＳ３００１において現在の入力状態がキーリピートであると判定した場合、生成映像指定部４０３は、ステップＳ３００７の後、図３９Ｄに示すステップＳ３０１０からステップＳ３０１３までの処理を行う。

ステップＳ３００１において現在の入力状態が入力確定中移動であると判定した場合、生成映像指定部４０３は、ステップＳ３００１の後、図３９Ｃに示すように、指先座標の移動量に基づいて、立体映像内のボタンの表示座標を修正する（ステップＳ３００８）。その後、生成映像指定部４０３は、表示位置を移動させるボタンに対し入力確定のボタンの像６２３を指定し、他のボタンには非選択のボタンの像を指定する（ステップＳ３００９）。ステップＳ３００８及びＳ３００９は、入力確定映像指定部４０３ｅと、表示位置指定部４０３ｆとが行う。また、ステップＳ３００１において現在の入力状態が入力確定中移動であると判定した場合、生成映像指定部４０３は、ステップＳ３００３の後、図３９Ｄに示すステップＳ３０１０からステップＳ３０１３までの処理を行う。

現在の入力状態が非選択以外の状態である場合、上記のように、生成映像指定部４０３は、表示させるボタンの像や表示位置を指定した後、図３９Ｄに示すステップＳ３０１０以降の処理を行う。すなわち、生成映像指定部４０３は、指先空間座標に対応したボタンの表示サイズと指先サイズとを比較し（ステップＳ３０１０）、現在の表示サイズでボタンを表示した場合に指先でボタンが隠れるか否かを判定する（ステップＳ３０１１）。ステップＳ３０１０及びステップＳ３０１１は、表示サイズ指定部４０３ｇが行う。表示サイズ指定部４０３ｇは、例えば、ステップＳ２７で算出した指先サイズと、ステップＳ２８で算出したボタンの表示サイズとの差分を算出し、当該差分が閾値以上であるか否かを判定する。

指先でボタンが隠れると判定した場合（ステップＳ３０１１；Ｙｅｓ）、表示サイズ指定部４０３ｇは、ボタンの表示サイズを拡大する（ステップＳ３０１２）。ステップＳ３０１２において、表示サイズ指定部４０３ｇは、立体映像６全体の表示サイズ、又は立体映像６内の各ボタンの表示サイズのみを指定する。表示サイズ指定部４０３ｇにおいてボタンの表示サイズを拡大した後、生成映像指定部４０３は、入力状態が仮選択又は押下中であるか否かを判定する（ステップＳ３０１３）。一方、ボタンが隠れないと判定した場合（ステップＳ３０１１；Ｎｏ）、表示サイズ指定部４０３ｇは、ステップＳ３０１２の処理をスキップし、ステップＳ３０１３の判定を行う。

現在の入力状態が仮選択又は押下中である場合（スキップＳ３０１３；Ｙｅｓ）、生成映像指定部４０３は、次に、隣接ボタンにおける仮選択又は押下中のボタンの像との重なり量を算出する（ステップＳ３０１４）。ステップＳ３０１４は、隣接ボタン表示指定部４０３ｄが行う。重なり量を算出すると、隣接ボタン表示指定部４０３ｄは、次に、重なり量が閾値以上のボタンがあるか否かを判定する（ステップＳ３０１５）。重なり量が閾値以上のボタンがある場合（ステップＳ３０１５；Ｙｅｓ）、隣接ボタン表示指定部４０３ｄは、該当するボタンを非表示に設定する（ステップＳ３０１６）。一方、重なり量が閾値以上のボタンがない場合（ステップＳ３０１５；Ｎｏ）、隣接ボタン表示指定部４０３ｄは、ステップＳ３０１６の処理をスキップする。

また、現在の入力状態が仮選択でも押下中でもない場合（ステップＳ３０１３；Ｎｏ）、生成映像指定部４０３は、ステップＳ３０１４以降の処理をスキップする。

このように、本実施形態の入力装置１における情報処理装置４は、入力状態が仮選択又は押下中であり、かつ指先でボタンが隠れると判定した場合、ボタンの表示サイズを拡大する。これにより、オペレータ７がボタンを押下する動作を行う際、該当ボタンの位置（押下領域）を視認しながら押下することができる。そのため、押下する動作の途中で指先が押下領域の外側に移動すること等による入力ミスを低減することが可能となる。

図４０は、ボタンの表示サイズの拡大方法の第１の例を示す図である。図４１は、ボタンの表示サイズの拡大方法の第２の例を示す図である。図４２は、ボタンの表示サイズの拡大方法の第３の例を示す図である。

本実施形態の入力装置１においてボタンの表示サイズを拡大する方法には、いくつかの種類がある。例えば、図４０に示すように、立体映像６の表示サイズを変えずに、入力状態が仮選択又は押下中であるボタンの表示サイズのみを拡大する方法がある。図４０の（ａ）に示した立体映像６は、例えば、操作用表示映像データ（図８参照）に指定された表示サイズで表示されているとする。このとき、オペレータ７の指先７０１のサイズ（幅）が標準的なサイズよりも太めであると、指先７０１でボタンに押下する際、指先７０１でボタンが隠れてしまうことがある。このように指先７０１でボタンが隠れてしまうと、指先７０１を奥行き方向に移動させる際、押下領域がわかりづらくなり、移動中に指先が押下領域の外側に出てしまう可能性がある。すなわち、指先でボタンが隠れてしまう場合、少なくともオペレータ７が押下しようとしているボタン６４５をオペレータ７が視認できればよいと考えられる。そのため、拡大方法の第１の例では、図４０の（ｂ）に示すように、該当ボタンの表示サイズのみを拡大して表示している。

また、ボタンの表示サイズを拡大する際には、例えば、図４１に示すように、立体映像６全体の表示サイズを拡大してもよい。図４１の（ａ）に示した立体映像６は、例えば、操作用表示映像データ（図８参照）に指定された表示サイズで表示されているとする。このとき、オペレータ７の指先７０１のサイズ（幅）が標準的なサイズよりも太めであると、指先７０１でボタンに押下する際、指先７０１でボタンが隠れてしまうことがある。この場合、例えば、図４１の（ｂ）に示したように、立体映像６全体の表示サイズを拡大すると、立体映像６内の各ボタンのサイズも拡大される。これにより、指先７０１でボタンが隠れてしまうことを防ぐことが可能となる。また、立体映像６全体を拡大する場合、例えば、指先７０１の平面位置を中心として拡大する。これにより、拡大前に指先７０１により操作対象に選択していたボタンが拡大後に指先７０１から離間した位置にずれてしまうことを防ぐことができる。また、オペレータ７は、例えば、ボタン６４５を押下した後、他のボタンを押下するため立体映像６の表示面近傍で指先７０１を移動させることがある。この場合、立体映像６全体の表示サイズを拡大しておくと、他のボタンも全て拡大表示されているので、表示面近傍で移動させている指先７０１によりボタンが隠れてしまうのを防ぐことができる。そのため、ボタンを押下する前、言い換えると入力状態が非選択である段階におけるボタンと指先との位置あわせが容易になる。

更に、ボタンの表示サイズを拡大する際には、例えば、図４２の（ａ）及び（ｂ）に示すように、立体映像６全体の表示サイズは変えずに、各ボタンの表示サイズのみを拡大してもよい。この場合、立体映像６全体の表示サイズは変わらないが、全てのボタンが拡大表示されているので、表示面近傍で移動させている指先７０１によりボタンが隠れてしまうのを防ぐことができる。そのため、ボタンを押下する前、言い換えると入力状態が非選択である段階におけるボタンと指先との位置あわせが容易になる。

［第３の実施形態］
本実施形態では、第２の実施形態に係る情報処理装置４が行う処理の別の手順を説明する。

図４３Ａは、第３の実施形態に係る情報処理装置が行う処理を説明するフローチャート（その１）である。図４３Ｂは、第３の実施形態に係る情報処理装置が行う処理を説明するフローチャート（その２）である。

本実施形態の情報処理装置４は、図４３Ａに示すように、まず、初期映像を表示させる（ステップＳ４１）。ステップＳ４１において、情報処理装置４は、生成映像指定部４０３の初期映像指定部４０３ａにおいて入力状態が非選択である場合の立体映像６の生成に必要な情報を指定し、映像生成部４０４において立体映像６の表示データを生成する。初期映像指定部４０３ａは、記憶部４０７の操作用表示映像データ群を用いて立体映像６の生成に必要な情報を指定する。映像生成部４０４は、生成した表示データを表示装置２に出力し、表示装置２に立体映像６を表示させる。

次に、情報処理装置４は、距離センサ３が出力したデータを取得し、手指の検出処理を行う（ステップＳ４２）。ステップＳ４２は、手指検出部４０１が行う。手指検出部４０１は、取得した距離センサ３からのデータに基づいて、立体映像６を表示している空間を含む検出範囲内にオペレータ７の手指が存在するか否かを調べる。ステップＳ４２の後、情報処理装置４は、オペレータ７の手指を検出したか否かを判定する（ステップＳ４３）。オペレータ７の手指を検出しなかった場合（ステップＳ４３；Ｎｏ）、情報処理装置４は、入力状態を非選択に変更し（ステップＳ４４）、続けて図４３Ｂに示す入力状態判定処理（ステップＳ５０）を行う。

オペレータ７の手指を検出した場合（ステップＳ４３；Ｙｅｓ）と、情報処理装置４は、次に、指先の空間座標を算出し（ステップＳ４５）、ボタンと指先との相対位置を算出する（ステップＳ４６）。ステップＳ４５及びＳ４６は、手指検出部４０１が行う。手指検出部４０１は、既知の空間座標の算出方法及び相対位置の算出方法によりステップＳ４５及びＳ４６の処理を行う。手指検出部４０１は、ステップＳ４６として、例えば、図１３に示したステップＳ６０１からＳ６０７までの処理を行う。

ステップＳ４５及びＳ４６の後、情報処理装置４は、指先のサイズを算出するとともに（Ｓ４７）、表示しているボタンの最小サイズを算出する（ステップＳ４８）。ステップＳ４７及びＳ４８は、指先サイズ算出部４０８が行う。指先サイズ算出部４０８は、手指検出部４０１を介して入力される距離センサ３からの検出情報に基づいて表示空間における指先の幅を算出する。また、指先サイズ算出部４０８は、制御部４０６を介して入力される表示中の立体映像６についての映像データに基づいて表示空間におけるボタンの最小サイズを算出する。

ステップＳ４７及びＳ４８の後、情報処理装置４は、ボタンの表示サイズが指先サイズ以上になるよう立体映像を拡大する（ステップＳ４９）。ステップＳ４９は、生成映像指定部４０３の表示サイズ指定部４０３ｇが行う。表示サイズ指定部４０３ｇは、ステップＳ４７で算出した指先サイズとステップＳ４８で算出したボタンの表示サイズとの差分に基づいて表示サイズを拡大するか否かを判定する。表示サイズを拡大する場合、情報処理装置４は、例えば、図４１又は図４２に示した拡大方法によりボタンを拡大させた立体映像６を生成して表示装置２に表示させる。

オペレータ７の手指を検出した場合（ステップＳ４３；Ｙｅｓ）、ステップＳ４５からＳ４９までの処理を終えると、情報処理装置４は、図４３Ｂに示す入力状態判定処理（ステップＳ５０）を行う。

ステップＳ５０の入力状態判定処理は、入力状態判定部４０２が行う。入力状態判定部４０２は、直前の入力状態と、ステップＳ４５からＳ４９までの処理の結果とに基づいて、現在の入力状態を判定する。本実施形態の情報処理装置４における入力状態判定部４０２は、例えば、図１７Ａから図１７Ｃまでに示したステップＳ７０１からＳ７２１までの処理を行って現在の入力状態を判定する。

入力状態判定処理（ステップＳ５０）を終えると、情報処理装置４は、次に、生成映像指定処理（ステップＳ５１）を行う。生成映像指定処理は、生成映像指定部４０３が行う。生成映像指定部４０３は、現在の入力状態に基づいて、表示する立体映像６の生成に必要な情報を指定する。本実施形態の情報処理装置４における生成映像指定部４０３は、例えば、図１８Ａから図１８Ｃまでに示したステップＳ８０１からＳ８１２までの処理を行って立体映像６の生成に必要な情報を指定する。

ステップＳ５１の生成映像指定処理を終えると、情報処理装置４は、表示する映像の表示データを生成し（ステップＳ５２）、表示装置２に映像を表示させる（ステップＳ５３）。ステップＳ５２及びＳ５３は、映像生成部４０４が行う。映像生成部４０４は、生成映像指定部４０３により指定された情報に基づいて立体映像６の表示データを生成し、生成した映像データを表示装置２に出力する。

また、入力状態判定処理（ステップＳ５０）の後、情報処理装置４は、ステップＳ５１からＳ５２までの処理と並行して、音声を出力するか否かの判定を行う（ステップＳ５４）。ステップＳ５４の判定は、例えば、制御部４０６が現在の入力状態に基づいて行う。音声を出力する場合（ステップＳ５４；Ｙｅｓ）、制御部４０６は、音声生成部４０５に音声データを生成させ、音声出力装置５に音声を出力させる（ステップＳ５５）。制御部４０６は、例えば、入力状態が入力確定である場合、キーリピートである場合に音声を出力すると判定する。一方、音声を出力しない場合（ステップＳ５４；Ｎｏ）、制御部４０６は、ステップＳ５５の処理をスキップさせる。

ステップＳ５１からＳ５３までの処理と、ステップＳ５４及びＳ５５の処理とを終えると、情報処理装置４は、処理を終了するか否かを判定する（ステップＳ５６）。処理を終了する場合（ステップＳ５６；Ｙｅｓ）、情報処理装置４は、処理を終了する。

一方、処理を続ける場合（ステップＳ５６；Ｎｏ）、情報処理装置４が行う処理はステップＳ４２の処理に戻る。以降、情報処理装置４は、処理を終了するまでステップ４２〜Ｓ５５までの処理を繰り返す。

このように、本実施形態に係る情報処理装置４が行う処理では、オペレータ７の指先７０１を検出した場合に、入力状態によらずボタンの表示サイズが指先サイズ以上になるようボタンを拡大して表示する。そのため、入力状態が仮選択でも押下中でもない状態である場合にもボタンを拡大して表示することが可能となる。よって、例えば、オペレータ７があるボタンを押下した後、他のボタンを押下するため立体映像６の表示面近傍で指先７０１を移動させた場合にも、表示面近傍で移動させている指先７０１によりボタンが隠れてしまうのを防ぐことができる。そのため、ボタンを押下する前、言い換えると入力状態が非選択である段階におけるボタンと指先との位置あわせが容易になる。

［第４の実施形態］
図４４は、第４の実施形態に係る入力装置の構成例を示す図である。

図４４に示すように、本実施形態に係る入力装置１は、表示装置２と、距離センサ３と、情報処理装置４と、音声出力装置（スピーカ）５と、圧縮空気噴射装置１６と、圧縮空気送出制御装置１７と、を備える。このうち表示装置２、距離センサ３、情報処理装置４、及び音声出力装置５は、それぞれ、第１の実施形態から第３の実施形態までで説明したものと同様の構成及び機能を有する。

圧縮空気噴射装置１６は、圧縮空気１８を噴射する装置である。本実施形態の入力装置１における圧縮空気噴射装置１６は、例えば、噴射口１６０１の向きを変更可能に構成されており、立体映像６の表示空間内に向けて圧縮空気１８を噴射する際の噴射方向を適宜帰ることができる。

圧縮空気送出制御装置１７は、圧縮空気噴射装置１６の噴射口１６０１の向き、圧縮空気の噴射タイミングや噴射パターン等を制御する装置である。

本実施形態の入力装置１は、第１の実施形態から第３の実施形態までで説明したものと同様、オペレータ７が立体表示６内のボタン６０１を押下する動作を検出した際に、押下対象のボタンの周囲に入力確定枠を表示する。

更に、本実施形態の入力装置１では、入力状態が非選択以外のボタンがある場合、圧縮空気噴射装置１６によりオペレータ７の指先７０１に圧縮空気１８を吹き付ける。これにより、オペレータ７の指先７０１に擬似的な触覚、すなわち実物体のボタンを押下したときのような感覚を与えることが可能となる。

本実施形態の入力装置１における情報処理装置４は、上記の各実施形態で説明した処理を行う。また、情報処理装置４は、入力状態判定処理において現在の入力状態が非選択以外であると判定した場合、現在の入力状態と、手指検出部４０１で算出した指先の空間座標とを含む制御信号を圧縮空気送出制御装置１７に出力する。圧縮空気送出制御装置１７は、情報処理装置４からの制御信号に基づいて噴射口１６０１の向きを制御し、現在の入力状態に応じた噴射パターンで圧縮空気を噴射する。

図４５は、圧縮空気の噴射パターンを示すグラフである。図４５に示したグラフは、横軸が時間であり、縦軸が圧縮空気の噴射圧である。

入力装置１のオペレータ７が立体映像６のボタン６０１を押下する動作を行う際、ボタン６０１に対する入力状態は、図４５に示すように、非選択から始まり、仮選択、押下中、入力確定、キーリピートの順で変化した後、非選択に戻る。入力状態が非選択である場合、オペレータ７の指先７０１はボタン６０１に触れていないので、圧縮空気による触覚を与える必要はない。そのため、入力が非選択である場合の噴射圧は０（噴射しない）とする。その後、オペレータ７の指先７０１がボタン６０１に触れて入力状態が仮選択になると、ボタン６０１に触れた触覚を与えるため、圧縮空気送出制御装置１７は、圧縮空気噴射装置１６に噴射圧の低い圧縮空気を噴射させる。そして、オペレータ７の指先７０１が押下方向に移動して入力状態が押下中になると、圧縮空気送出制御装置１７は、圧縮空気噴射装置１６に仮選択のときよりも噴射圧の高い圧縮空気を噴射させる。これにより、オペレータ７の指先７０１に実物体のボタンを押下したときの抵抗に似た触覚が与えられる。

また、押下方向に移動するオペレータ７の指先７０１が入力確定点に到達して入力状態が入力確定になると、圧縮空気送出制御装置１７は、圧縮空気噴射装置１６に一度噴射圧を低くした後、噴射圧の高い圧縮空気を瞬間的に噴射させる。これにより、オペレータ７の指先７０１に実物体のボタンを押下して入力が確定したときのクリック感に似た触覚が与えられる。

更に、入力状態が入力確定である状態が所定時間継続して入力状態がキーリピートになると、圧縮空気送出制御装置１７は、圧縮空気噴射装置１６に噴射圧の高い圧縮空気を断続的に噴射させる。そして、オペレータ７が指先７０１をボタンから離す動作を行い入力状態が非選択になると、圧縮空気送出制御装置１７は、圧縮空気噴射装置１６に圧縮空気の噴射を終了させる。

このように、実物体のボタンを押下したときに指先７０１で得られる触覚と対応した噴射圧及び噴射パターンで圧縮空気を噴射させることにより、オペレータ７に実物体のボタンを押下したときのような感覚を与えることが可能となる。

なお、図４５に示した圧縮空気の噴射パターンは一例に過ぎず、噴射圧や噴射パターンは適宜変更可能である。

図４６は、第４の実施形態に係る入力装置の別の構成例を示す図である。
本実施形態に係る入力装置１において、圧縮空気噴射装置１６の構成や設置数は適宜変更可能である。そのため、例えば、図４６の（ａ）に示すように、表示装置２の上辺部及び下辺部にそれぞれ複数個の圧縮空気噴射装置１６を設置することもできる。このように複数個の圧縮空気噴射装置１６を設置することにより、ボタンを押下する指先７０１の移動方向とは反対の方向に近い方向から圧縮空気１８を指先７０１に噴射することが可能となる。そのため、オペレータ７に実物体のボタンを押下したときにより近い感覚を与えることが可能となる。

また、圧縮空気噴射装置１６は、例えば、図４６の（ｂ）に示すように、オペレータ７の手首に装着するタイプのものであってもよい。この種の圧縮空気噴射装置１６は、例えば、５個の噴射口１６０１を備え、各噴射口１６０１から個別に圧縮空気１８を噴射させることが可能である。このように圧縮空気噴射装置１６を手首に装着すると、ボタンに触れる指先により近い位置から圧縮空気を指先に噴射することができる。そのため、図４５や図４６の（ａ）に示した入力装置１と比べて噴射圧の低い圧縮空気で指先７０１に擬似的な触覚を与えることが可能となる。また、噴射口の位置が指先７０１に近くなるため、圧縮空気１８の噴射方向がずれて圧縮空気１８が指先７０１に当たらないといった事態の発生を抑制することが可能となる。

第１の実施形態から第４の実施形態までで説明した入力装置１は、コンピュータと、当該コンピュータに実行させるプログラムとを用いて実現することが可能である。以下、コンピュータとプログラムとを用いて実現される入力装置１について、図４７を参照して説明する。

図４７は、コンピュータのハードウェア構成を示す図である。図４７に示すように、入力装置１として動作させるコンピュータ２０は、Central Processing Unit（ＣＰＵ）２００１と、主記憶装置２００２と、補助記憶装置２００３と、表示装置２００４と、を備える。また、コンピュータ２０は、Graphics Processing Unit（ＧＰＵ）２００５と、インタフェース装置２００６と、記憶媒体駆動装置２００７と、通信装置２００８と、を更に備える。コンピュータ２０におけるこれらの要素２００１から２００８までは、バス２０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

ＣＰＵ ２００１は、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ２０の全体の動作を制御する演算処理装置である。

主記憶装置２００２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。ＲＯＭには、例えばコンピュータ２０の起動時にＣＰＵ ２００１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭ は、ＣＰＵ ２００１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。主記憶装置２００２のＲＡＭは、例えば、現在表示している立体映像についての操作用表示映像データ（図８を参照）、直前の入力状態等の一時的な記憶に利用可能である。

補助記憶装置２００３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置２００２に比べて容量の大きい記憶装置である。補助記憶装置２００３には、ＣＰＵ ２００１によって実行される各種のプログラムや各種のデータ等を記憶させることができる。補助記憶装置２００３に記憶させるプログラムとしては、例えば、立体映像を生成するプログラム等が挙げられる。また、補助記憶装置２００３に記憶させるデータとしては、例えば、操作用表示映像データ群、出力音データ群等が挙げられる。

表示装置２００４は、裸眼３Ｄ液晶ディスプレイ、液晶シャッターメガネ式３Ｄディスプレイ等の立体映像６の表示が可能な表示装置である。表示装置２００４は、ＣＰＵ ２００１やＧＰＵ２００５から送信される表示データに従って各種のテキスト、立体映像等を表示する。

ＧＰＵ ２００５は、ＣＰＵ ２００１からの制御信号等に従って立体映像６の生成における一部或いは全ての処理を行う演算処理装置である。

インタフェース装置２００６は、コンピュータ２０と他の電子機器とを接続し、コンピュータ２０と他の電子機器との間でのデータの送受信を可能にする入出力装置である。インタフェース装置２００６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタを備えたケーブルを接続可能な端子等を備える。インタフェース装置２００６によりコンピュータ２０と接続可能な電子機器としては、距離センサ３や撮像装置（例えばデジタルカメラ）等が挙げられる。

記憶媒体駆動装置２００７は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置２００３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。

通信装置２００８は、コンピュータ２０とインターネット或いはLocal Area Network（ＬＡＮ）等の通信ネットワークとを通信可能に接続し、通信ネットワークを介した他の通信端末（コンピュータ）との通信を制御する装置である。コンピュータ２０は、例えば、オペレータ７が立体映像６（操作画面）を介して入力した情報を他の通信端末に送信することができる。また、コンピュータ２０は、例えば、オペレータ７が立体映像６（操作画面）を介して入力した情報に基づいて、他の通信端末から各種データを取得して立体映像６として表示させることができる。

このコンピュータ２０は、ＣＰＵ ２００１が補助記憶装置２００３等から上述した処理を含むプログラムを読み出し、ＧＰＵ ２００５、主記憶装置２００２、補助記憶装２００３等と協働して立体映像６の生成処理を実行する。この際、ＣＰＵ ２００１は、オペレータ７の指先７０１の検出処理、入力状態判定処理、生成映像指定処理等を行う。また、ＧＰＵ ２００５は、立体映像を生成する処理等を行う。

なお、入力装置１として用いるコンピュータ２０は、図４７に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ＣＰＵ ２００１の処理能力が高い場合、ＧＰＵ ２００５を省略し、ＣＰＵ ２００１において上記の全ての演算処理を実行してもよい。

また、コンピュータ２０は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、入力装置１として動作させるための処理に特化した専用の情報処理装置でもよい。

以上記載した各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
映像を立体表示させる表示装置と、
所定形状の物体を検出する検出器と、
操作用のボタンを含む映像を生成するとともに、前記ボタンの表示位置と、前記検出器で検出した前記物体の位置とに基づいて前記ボタンに対する入力状態を判定し、当該入力状態に基づいて前記ボタンと対応した操作情報の入力を確定させるか否かを判定する情報処理装置と、を備え、
前記情報処理装置は、
前記ボタンに対する入力状態が当該ボタンを操作対象に選定した状態であると判定した場合に、当該ボタンを囲む所定の寸法の入力確定枠の表示を指定する確定枠指定部と、
前記ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、押下量が入力を確定させるための押下量に近づくほど当該ボタンの外周が前記入力確定枠に近づく態様で前記ボタンの表示寸法を指定する枠内映像指定部と、を含む、
ことを特徴とする入力装置。
（付記２）
前記情報処理装置は、
前記検出器の検出結果に基づいて前記物体の寸法を算出する寸法算出部と、
算出した前記物体の寸法と、立体表示させている前記映像内の前記ボタンの表示寸法とに基づいて、立体表示させる前記映像内の前記ボタンの表示寸法を指定する表示寸法指定部と、を更に含む、
ことを特徴とする付記１に記載の入力装置。
（付記３）
前記表示寸法指定部は、所定の視点から見た前記物体の寸法と前記ボタンの表示寸法とに基づいて、立体表示させる前記映像内の前記ボタンの表示寸法を指定する、
ことを特徴とする付記２に記載の入力装置。
（付記４）
前記表示寸法指定部は、前記ボタンの表示寸法が前記物体の寸法よりも大きくなるよう前記ボタンの表示寸法を拡大する、
ことを特徴とする付記２に記載の入力装置。
（付記５）
前記表示寸法指定部は、前記映像内の前記ボタンの表示寸法のみを拡大する、
ことを特徴とする付記４に記載の入力装置。
（付記６）
前記表示寸法指定部は、前記映像全体の表示寸法を拡大する、
ことを特徴とする付記４に記載の入力装置。
（付記７）
前記枠内映像指定部は、前記入力確定枠内に表示させる前記ボタンの色を、同心円状に変化する配色に指定する、
ことを特徴とする付記１に記載の入力装置。
（付記８）
前記情報処理装置は、
前記確定枠指定部において前記入力確定枠の表示を指定した場合に、当該入力確定枠に内包される前記ボタンと隣接する他のボタンの表示を変更する隣接ボタン表示指定部、を更に備える、
ことを特徴とする付記１に記載の入力装置。
（付記９）
前記隣接ボタン表示指定部は、前記入力確定枠に内包される前記ボタンと隣接する前記他のボタンを非表示にする、
ことを特徴とする付記８に記載の入力装置。
（付記１０）
前記隣接ボタン表示指定部は、前記入力確定枠に内包される前記ボタンと隣接する前記他のボタンの透明度を高くする、
ことを特徴とする付記８に記載の入力装置。
（付記１１）
前記映像は、当該映像を表示空間内で移動させる移動用のボタンを含み、
前記情報処理装置は、前記移動用のボタンに対する入力状態が前記映像の移動を確定する状態である場合に、前記物体の移動量に基づいて前記映像の表示位置を指定する表示位置指定部、を更に備える、
ことを特徴とする付記１に記載の入力装置。
（付記１２）
前記映像は、複数の操作画面を奥行き方向に配した映像であり、
前記情報処理装置は、前記複数の操作画面のいずれかの操作画面に含まれる所定のボタンに対する入力状態が当該ボタンと対応した操作情報の入力を確定した状態になると、入力を確定した前記操作情報に基づいて、当該ボタンを含む前記操作画面とは別の操作画面の表示を変更する、
ことを特徴とする付記１に記載の入力装置。
（付記１３）
前記情報処理装置は、前記ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、当該ボタンを押下している状態であると判定する前記物体の位置の範囲を、当該ボタンを押下方向に移動させたときの軌跡で表される空間領域よりも大きくする、
ことを特徴とする付記１に記載の入力装置。
（付記１４）
当該入力装置は、圧縮空気を噴射する圧縮空気噴射装置、を更に備え、
前記情報処理装置は、前記操作用のボタンが前記物体により操作対象に選定された状態又は押下している状態であるとであると判定した場合に、前記圧縮空気噴射装置に前記物体に向けて圧縮空気を噴射させる、
ことを特徴とする付記１に記載の入力装置。
（付記１５）
ボタンを表示させる表示装置と、
指の位置を検出する検出部と、
前記検出部が検出した前記指の位置の変化に応じて、前記ボタンの押下量の変化を示す表示を前記表示装置に表示させる際に、前記ボタンの押下量が前記ボタンの入力確定に達する押下量に対してどの程度かを示す情報を前記表示装置に表示させる制御部と、
を備えたことを特徴とする入力装置。
（付記１６）
コンピュータが、
操作用のボタンを含む映像を生成して立体表示させ、
所定形状の物体を検出し、
前記ボタンの表示位置と、前記検出器で検出した前記物体の位置とに基づいて前記ボタンに対する入力状態を判定し、
前記ボタンに対する入力状態が当該ボタンを操作対象に選定した状態であると判定した場合に、当該ボタンを囲む所定の寸法の入力確定枠の表示を指定し、
前記ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、押下量が入力を確定させるための押下量に近づくほど当該ボタンの外周が前記入力確定枠に近づく態様で前記ボタンの表示寸法を指定する、
処理を実行することを特徴とする入力方法。
（付記１７）
前記コンピュータが、更に、
前記検出器の検出結果に基づいて前記物体の寸法を算出し、
算出した前記物体の寸法と、立体表示させている前記映像内の前記ボタンの表示寸法とに基づいて、立体表示させる映像内の前記ボタンの表示寸法を指定する、
処理を実行することを特徴とする付記１６に記載の入力方法。
（付記１８）
前記ボタンの表示寸法を指定する処理において、前記コンピュータは、
所定の視点から見た前記物体の寸法と前記ボタンの表示寸法とに基づいて、立体表示させる映像内の前記ボタンの表示寸法を指定する、
ことを特徴とする付記１７に記載の入力方法。
（付記１９）
前記ボタンの表示寸法を指定する処理において、前記コンピュータは、
前記入力確定枠内に表示させる前記ボタンの色を、同心円状に変化する配色に指定する、
ことを特徴とする付記１６に記載の入力方法。
（付記２０）
前記コンピュータが、更に、
前記入力確定枠の表示を指定した場合に、当該入力確定枠に内包される前記ボタンと隣接する他のボタンの表示を変更する、
処理を実行することを特徴とする付記１６に記載の入力方法。
（付記２１）
前記映像を生成する処理において、前記コンピュータは、当該映像を表示空間内で移動させる移動用のボタンを含む映像を生成し、
当該コンピュータは、更に、
前記移動用のボタンに対する入力状態が前記映像の移動を確定する状態である場合に、前記物体の移動量に基づいて前記映像の表示位置を指定する、
処理を実行することを特徴とする付記１６に記載の入力方法。
（付記２２）
前記映像を生成する処理において、前記コンピュータは、複数の操作画面を奥行き方向に配した映像を生成し、
当該コンピュータは、更に、
前記複数の操作画面のいずれかの操作画面に含まれる所定のボタンに対する入力状態が当該ボタンと対応した操作情報の入力を確定した状態になると、入力を確定した前記操作情報に基づいて、当該ボタンを含む前記操作画面とは別の操作画面の表示を変更する、
処理を実行することを特徴とする付記１６に記載の入力方法。
（付記２３）
前記コンピュータは、前記ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、当該ボタンを押下している状態であると判定する前記物体の位置の範囲を、当該ボタンを押下方向に移動させたときの軌跡で表される空間領域よりも大きくする、
ことを特徴とする付記１６に記載の入力方法。
（付記２４）
操作用のボタンを含む映像を生成して立体表示させ、
所定形状の物体を検出し、
前記ボタンの表示位置と、前記検出器で検出した前記物体の位置とに基づいて前記ボタンに対する入力状態を判定し、
前記ボタンに対する入力状態が当該ボタンを操作対象に選定した状態であると判定した場合に、当該ボタンを囲む所定の寸法の入力確定枠の表示を指定し、
前記ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、押下量が入力を確定させるための押下量に近づくほど当該ボタンの外周が前記入力確定枠に近づく態様で前記ボタンの表示寸法を指定する、
処理をコンピュータに実行させるためのプログラム。

１ 入力装置
２，２Ａ，２Ｂ，２Ｃ，２Ｄ 表示装置
３ 距離センサ
４ 情報処理装置
４０１ 手指検出部
４０２ 入力状態判定部
４０３ 生成映像指定部
４０３ａ 初期映像指定部
４０３ｂ 確定枠指定部
４０３ｃ 枠内映像指定部
４０３ｄ 隣接ボタン表示指定部
４０３ｅ 入力確定映像指定部
４０３ｆ 表示位置指定部
４０３ｇ 表示サイズ指定部
４０４ 映像生成部
４０５ 音声出力部
４０６ 制御部
４０７ 記憶部
４０８ 指先サイズ算出部
５ 音声出力装置
６ 立体映像
６０１，６０２，６０３ 操作画面
６１１，６１２，６１３ （操作用の）ボタン
６５１，６５２，６５３ （移動用の）ボタン
６２０ 非選択のボタンの像
６２１ 仮選択のボタンの像
６２１ｂ 入力確定枠
６２２ 押下中のボタンの像
６２２ｂ 入力確定枠
７ オペレータ
７０１ （オペレータの）指先
１６ 圧縮空気噴射装置
１７ 圧縮空気送出制御装置

Claims (11)

1. 映像を立体表示させる表示装置と、
   所定形状の物体を検出する検出器と、
   操作用のボタンを含む映像を生成するとともに、前記ボタンの表示位置と、前記検出器で検出した前記物体の位置とに基づいて前記ボタンに対する入力状態を判定し、当該入力状態に基づいて前記ボタンと対応した操作情報の入力を確定させるか否かを判定する情報処理装置と、を備え、
   前記情報処理装置は、
   前記ボタンに対する入力状態が当該ボタンを操作対象に選定した状態であると判定した場合に、当該ボタンを囲む所定の寸法の入力確定枠の表示を指定する確定枠指定部と、
   前記ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、押下量が入力を確定させるための押下量に近づくほど当該ボタンの外周が前記入力確定枠に近づく態様で前記ボタンの表示寸法を指定する枠内映像指定部と、を含む、
   ことを特徴とする入力装置。
2. 前記情報処理装置は、
   前記検出器の検出結果に基づいて前記物体の寸法を算出する寸法算出部と、
   算出した前記物体の寸法と、立体表示させている前記映像内の前記ボタンの表示寸法とに基づいて、立体表示させる前記映像内の前記ボタンの表示寸法を指定する表示寸法指定部と、を更に含む、
   ことを特徴とする請求項１に記載の入力装置。
3. 前記表示寸法指定部は、所定の視点から見た前記物体の寸法と前記ボタンの表示寸法とに基づいて、立体表示させる前記映像内の前記ボタンの表示寸法を指定する、
   ことを特徴とする請求項２に記載の入力装置。
4. 前記枠内映像指定部は、前記入力確定枠内に表示させる前記ボタンの色を、同心円状に変化する配色に指定する、
   ことを特徴とする請求項１に記載の入力装置。
5. 前記情報処理装置は、
   前記確定枠指定部において前記入力確定枠の表示を指定した場合に、当該入力確定枠に内包される前記ボタンと隣接する他のボタンの表示を変更する隣接ボタン表示指定部、を更に備える、
   ことを特徴とする請求項１に記載の入力装置。
6. 前記映像は、当該映像を表示空間内で移動させる移動用のボタンを含み、
   前記情報処理装置は、前記移動用のボタンに対する入力状態が前記映像の移動を確定する状態である場合に、前記物体の移動量に基づいて前記映像の表示位置を指定する表示位置指定部、を更に備える、
   ことを特徴とする請求項１に記載の入力装置。
7. 前記映像は、複数の操作画面を奥行き方向に配した映像であり、
   前記情報処理装置は、前記複数の操作画面のいずれかの操作画面に含まれる前記操作用のボタンに対する入力状態が当該ボタンと対応した操作情報の入力を確定した状態になると、入力を確定した前記操作情報に基づいて、当該ボタンを含む前記操作画面とは別の操作画面の表示を変更する、
   ことを特徴とする請求項１に記載の入力装置。
8. 前記情報処理装置は、前記ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、当該ボタンを押下している状態であると判定する前記物体の位置の範囲を、当該ボタンを押下方向に移動させたときの軌跡で表される空間領域よりも大きくする、
   ことを特徴とする請求項１に記載の入力装置。
9. ボタンを表示させる表示装置と、
   指の位置を検出する検出部と、
   前記検出部が検出した前記指の位置の変化に応じて、前記ボタンの押下量の変化を示す表示を前記表示装置に表示させる際に、前記ボタンの押下量が前記ボタンの入力確定に達する押下量に対してどの程度かを示す情報を前記表示装置に表示させる制御部と、
   を備えたことを特徴とする入力装置。
10. コンピュータが、
    操作用のボタンを含む映像を生成して立体表示させ、
    所定形状の物体を検出し、
    前記ボタンの表示位置と、前記検出器で検出した前記物体の位置とに基づいて前記ボタンに対する入力状態を判定し、
    前記ボタンに対する入力状態が当該ボタンを操作対象に選定した状態であると判定した場合に、当該ボタンを囲む所定の寸法の入力確定枠の表示を指定し、
    前記ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、押下量が入力を確定させるための押下量に近づくほど当該ボタンの外周が前記入力確定枠に近づく態様で前記ボタンの表示寸法を指定する、
    処理を実行することを特徴とする入力方法。
11. 操作用のボタンを含む映像を生成して立体表示させ、
    所定形状の物体を検出し、
    前記ボタンの表示位置と、前記検出器で検出した前記物体の位置とに基づいて前記ボタンに対する入力状態を判定し、
    前記ボタンに対する入力状態が当該ボタンを操作対象に選定した状態であると判定した場合に、当該ボタンを囲む所定の寸法の入力確定枠の表示を指定し、
    前記ボタンに対する入力状態が当該ボタンを押下している状態であると判定した場合に、押下量が入力を確定させるための押下量に近づくほど当該ボタンの外周が前記入力確定枠に近づく態様で前記ボタンの表示寸法を指定する、
    処理をコンピュータに実行させるためのプログラム。