JP2014137668A - 情報表示装置、方法、およびプログラム - Google Patents

Abstract

【課題】表示画面によって表示細度が異なる場合であっても、操作対象となるオブジェクトをバーチャルハンドで効率よく選択操作可能とする。
【解決手段】変形比率計算部１７Ａが、表示データに含まれるオブジェクトの間隔または／および大きさに基づいて、画面表示における当該オブジェクトの表示細度を計算し、この表示細度とバーチャルハンドの指幅とから、当該バーチャルハンドの変形比率を計算し、バーチャルハンド変形部１７Ｂが、この変形比率に基づいて、バーチャルハンドを拡大または縮小することにより、画面表示におけるオブジェクトに適合した大きさに当該バーチャルハンドを変形する。
【選択図】 図１

Description

本発明は、情報表示技術に関し、特にタッチパネルやタッチパッドなどのタッチ操作検出装置で検出した操作面に対するユーザのタッチ操作に基づいて画面表示を操作するための画面表示操作技術に関する。

近年、タブレット端末やスマートホンなどの携帯情報端末では、ポインティングデバイスとしてタッチパネルが広く用いられている。タッチパネルは、ＬＣＤなどの表示画面上に配置された平面状のタッチセンサからなり、指やペンが接触した位置を検出し入力位置情報として出力する装置である。一般的なマウスポインタと比較して、デバイス自体のサイズが小さく、キーボードと一体化することができるとともに、位置入力に要する操作面積が小さくて済むというメリットがある。

このようなタッチパネルは、操作入力時に表示画面を直接触れる必要があるため、ユーザと表示画面とが離れている場合には、操作しにくいという問題点がある。例えば、車に搭載されるカーナビゲーション装置は、運転者の視線を進行方向から大きくそらすことなく表示画面を視認できるよう、運転者から離れた位置に表示画面が配置される。このため、運転者は、画面表示された操作シンボルを適切に操作することが難しくなる。

このような状況は、カーナビゲーション装置だけでなく、ビルやプラントなどの施設を監視・制御する分散制御システム（ＤＣＳ：Distributed Control System）などの監視制御システムでも発生する。このような監視制御システムでは、施設に設置されている各設備の状況を、大きな表示画面に表示して、複数のオペレータが監視・制御するものとなっている。したがって、このような監視制御システムにおいても、オペレータと表示画面との間に距離があるため、オペレータが表示画面上のタッチパネルに直接触れて操作することはできない。

従来、このような、ユーザの手元から離れた位置に取り付けられている表示画面を操作する技術として、手元に配置されているタッチパッドで表示画面を操作するカーナビゲーション装置が提案されている（例えば、特許文献１など参照）。
タッチパッドは、ノード型パーソナルコンピュータなどの情報端末で用いられるポインティングデバイスの１つであり、タッチパネルと同様に平面状のタッチセンサからなり、タッチパネルとほぼ同様の機能を有している。

このカーナビゲーション装置では、ユーザの仮想的な手として、手形状をなす操作ポインタ、すなわちバーチャルハンドを画面上に表示して、タッチパッドで検出されたユーザの手の位置に基づいてバーチャルハンドを移動させ、画面上に表示した操作ボタンだけでなく、音量つまみなどのアナログ的な操作ハンドルなどの操作オブジェクトを、バーチャルハンドで操作するものとなっている。
したがって、タッチパッドで検出した位置情報に基づきカーソルの位置を移動させて、表示画面上に表示された操作オブジェクトをカーソルで操作するという一般的な画面表示操作技術と比較して、高い操作性が得られる。

特開２００６−０７２８５４号公報

しかしながら、このような従来技術では、画面表示されるオブジェクトの表示細度が一定であることを前提として、バーチャルハンドの大きさが固定されているため、表示細度が変化するようなオブジェクトについては、バーチャルハンドの指幅が作オブジェクトの間隔や大きさと適合せず、操作性が低下するという問題点があった。

すなわち、従来技術のようなカーナビゲーション装置は、運転中に表示画面を見るため、ある程度の視認性を確保する必要がある。このため、操作ボタンや操作ハンドルなどの操作オブジェクトも、ある程度の大きさで画面表示されるものとなっており、一定の表示細度を有している。したがって、バーチャルハンドも、その表示細度に応じた固定的な大きさで画面表示される。

一方、ビルやプラントなどの施設を監視・制御する施設管理システムでは、状況に応じて監視・制御する範囲が変化する。また、操作対象も操作ボタンや操作ハンドルなどの操作を目的とした操作専用のオブジェクトではなく、実際の施設を構成するエリアや設備が操作対象となる。
例えば、ビル施設において、あるフロアの状況を監視する際には、施設全体の施設構成画面から監視対象となるフロアを選択操作して、当該フロア全体の系統図や配置図に温度や流量などの各種の測定データを表示したフロア画面を画面表示することにより、効率よくフロア全体の状況を把握することができる。

また、当該フロアのうちのいずれかのエリアで障害が生じた場合には、画面表示されているフロア画面上で障害発生エリアを選択操作して、その障害発生エリアの系統図や配置図に各種の測定データを表示したエリア画面を表示画面で表示することにより、効率よく障害発生エリアにおける設備を把握することができる。
さらに、エリア画面上で特定の設備オブジェクトを選択操作して、当該設備の構造や動作状況を示す設備画面を表示することにより、効率よく障害発生状況を把握することができる。

この際、例えばフロア画面とエリア画面とでは、設置されている設備の系統図や配置図が表示されるものの、実際に画面表示される設備オブジェクトの大きさが異なる。すなわち、フロア画面は、表示対象範囲が広いため、エリア画面と比較して、より多くの設備オブジェクトが表示されて、表示細度が高くなる。このため、フロア画面に表示される設備オブジェクトは、エリア画面に表示される設備オブジェクトより小さく表示される。

したがって、エリア画面の表示細度に合わせた大きさのバーチャルハンドで、フロア画面上で設備オブジェクトを選択操作しようとした場合、設備オブジェクトの大きさに比較してバーチャルハンドの指が太すぎて、一度に複数の設備オブジェクトを選択してしまい、特定の設備オブジェクトのみを効率よく選択操作できなくなる。
逆に、フロア画面の表示細度に合わせた大きさのバーチャルハンドで、エリア画面上で設備オブジェクトを選択操作しようとした場合、設備オブジェクトの大きさに比較してバーチャルハンドの指が細すぎて、設備オブジェクトを選択する移動距離が大きくなり、効率よく選択操作できなくなる。

本発明はこのような課題を解決するためのものであり、表示画面によって表示細度が異なる場合であっても、操作対象となるオブジェクトをバーチャルハンドで効率よく選択操作できる画面表示操作技術を提供することを目的としている。

このような目的を達成するために、本発明にかかる情報表示装置は、ユーザの選択操作対象となる複数のオブジェクトを含む表示データを、画面表示部で画面表示する情報表示装置であって、前記ユーザの手の画像を示すバーチャルハンドを作成するバーチャルハンド作成部と、前記表示データを示す画面データを作成し、当該画面データのうち、タッチ操作検出部が操作面で検出した前記ユーザのタッチ操作に応じた位置に、前記バーチャルハンドを合成した合成画面データを作成して、前記画面表示部へ出力する画面作成部とを備え、前記バーチャルハンド作成部は、前記表示データに含まれる前記オブジェクトの間隔または／および大きさに基づいて、前記画面表示における当該オブジェクトの表示細度を計算し、この表示細度と前記バーチャルハンドの指幅とから、当該バーチャルハンドの変形比率を計算する変形比率計算部と、前記変形比率に基づいて、前記バーチャルハンドを拡大または縮小することにより、前記画面表示における前記オブジェクトに適合した大きさに当該バーチャルハンドを変形するバーチャルハンド変形部とを含んでいる。

また、本発明にかかる上記情報表示装置の一構成例は、前記変形比率計算部が、前記表示細度を計算する際、前記バーチャルハンドの指位置を基準とした操作推定範囲を特定し、前記表示データのうち当該操作推定範囲に含まれる前記オブジェクトの間隔または大きさから前記表示細度を計算するようにしたものである。

また、本発明にかかる上記情報表示装置の一構成例は、前記変形比率計算部が、前記表示細度を計算する際、前記各オブジェクトの間隔および大きさの統計値を計算し、これら間隔および大きさの統計値のいずれか小さい統計値を前記表示細度として選択することを特徴とする情報表示装置。

また、本発明にかかる上記情報表示装置の一構成例は、前記バーチャルハンド作成部が、前記タッチ操作が前記バーチャルハンドの拡大・縮小操作を示す場合、前記バーチャルハンド変形部で用いる前記変形比率を増減調整する変形比率調整部をさらに含んでいる。

また、本発明にかかる情報表示方法は、ユーザの選択操作対象となる複数のオブジェクトを含む表示情報から表示データを作成し、画面表示部で画面表示する情報表示方法であって、バーチャルハンド作成部が、前記ユーザの手の画像を示すバーチャルハンドを作成するバーチャルハンド作成ステップと、画面作成部が、前記表示データを示す画面データを作成し、当該画面データのうち、タッチ操作検出部が操作面で検出した前記ユーザのタッチ操作に応じた位置に、前記バーチャルハンドを合成した合成画面データを作成し、前記画面表示部へ出力する画面作成ステップとを備え、前記バーチャルハンド作成ステップは、前記表示データに含まれる前記オブジェクトの間隔または大きさに基づいて、前記画面表示における当該オブジェクトの表示細度を計算し、この表示細度と前記バーチャルハンドの指幅とから、当該バーチャルハンドの変形比率を計算する変形比率計算ステップと、前記変形比率に基づいて、前記バーチャルハンドを拡大または縮小することにより、前記画面表示における当該オブジェクトに適合した大きさに当該バーチャルハンドを変形するバーチャルハンド変形ステップとを含んでいる。

また、本発明にかかるプログラムは、コンピュータを、上記したいずれか１つに記載の情報表示装置を構成する各部として機能させるためのプログラムである。

本発明によれば、バーチャルハンドの指幅が、画面表示されるオブジェクトの間隔やサイズと比べて、大きすぎたり小さすぎたりせず、適切な大きさで画面表示される。このため、表示画面によって表示細度が異なる場合であっても、バーチャルハンドで操作対象となるオブジェクトを効率よく選択操作することができる。したがって、表示画面から離れた位置でユーザがバーチャルハンドで画面表示を操作する場合であっても、優れた操作性を得ることができる。

第１の実施の形態にかかる情報表示装置の構成を示すブロック図である。 タッチ操作割当データの構成例である。 情報表示装置の表示制御処理を示すフローチャートである。 タッチ操作開始前を示す画面表示例である。 タッチ操作開始時における画面表示例である。 単純拡大表示画面表示例である。 バーチャルハンド変形処理を示すフローチャートである。 表示細度と指幅との関係を示す説明図である。 操作推定範囲の特定例である。 オブジェクト変形を含む拡大表示画面表示例である。 第２の実施の形態にかかる情報処理装置の構成を示すブロック図である。 変形比率調整処理を示すフローチャートである。 変形比率調整操作の説明図である。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる情報表示装置１０について説明する。図１は、第１の実施の形態にかかる情報表示装置の構成を示すブロック図である。

この情報表示装置１０は、全体としてサーバ装置やパーソナルコンピュータなどの情報処理装置からなり、ユーザの選択操作対象となる複数のオブジェクトを含む表示データを、ユーザ操作に応じてデータベースから読み出して、画面に表示する機能を有している。
情報表示装置１０には、主な機能部として、操作入力部１１、タッチ操作検出部１２、通信Ｉ／Ｆ部１３、画面表示部１４、記憶部１５、および演算処理部１６が設けられている。

操作入力部１１は、キーボードやマウスなどの操作入力装置からなり、ユーザの操作を検出して演算処理部１６へ出力する機能を有している。
タッチ操作検出部１２は、タッチパネルやタッチパッドなどの平面状のタッチセンサからなり、操作面に対するユーザのタッチ操作を検出して、その操作内容や検出位置などを検出結果として演算処理部１６へ出力する機能を有している。

通信Ｉ／Ｆ部１３は、ＬＡＮやＵＳＢなどの通信回線を介して外部装置（図示せず）とデータ通信を行うことにより、当該外部装置との間で各種データをやり取りする機能を有している。
画面表示部１４は、ＬＣＤなどの画面表示装置からなり、演算処理部１６から出力された、操作メニューや表示情報などを示す各種画面データを画面表示する機能を有している。

記憶部１５は、ハードディスクや半導体メモリなどの記憶装置からなり、演算処理部１６で実行する各種処理に用いる処理情報やプロクラム１５Ｐを記憶する機能を有している。
プログラム１５Ｐは、演算処理部１６のＣＰＵで実行されることにより、画面表示操作などの各種処理を実行する処理部を実現するためのプログラムであり、外部装置や記録媒体（共に図示せず）から通信Ｉ／Ｆ部１３を介して読み込まれて、予め記憶部１５に格納されている。

記憶部１５で記憶される主な処理情報として、表示情報ＤＢ１５Ａとバーチャルハンド図形データ１５Ｂがある。
表示情報ＤＢ１５Ａは、ユーザ操作に応じて画面表示部１４で表示する各種の表示データが登録されたデータベースである。例えば、監視制御システムでは、施設全体の施設構成図、各フロアの系統図や配置図、各設備の構造図、さらには、逐次更新される各設備の動作状況や測定データなどが、表示データとして表示情報ＤＢ１５Ａに登録されている。

これら表示情報には、表示画面上でユーザの選択操作対象となる複数のオブジェクトが含まれている。例えば、施設構成図を示す表示データには、建物、フロア、部屋、区画などのエリアに対応するオブジェクトが含まれており、系統図の表示データには、当該系統を構成するポンプ、モータ、バルブ、仕切弁、流量計、温度計、液面計、タンク、ヘッダ、配管などの各設備に対応するオブジェクトとして含まれている。

バーチャルハンド図形データ１５Ｂは、人の手形状をなす画像データやベクトルデータなどの図形データであり、予め記憶部１５に登録されている。このバーチャルハンド図形データ１５Ｂに基づいて、表示画面上にユーザの仮想的な手の画像として、バーチャルハンドが表示される。

演算処理部１６は、ＣＰＵとその周辺回路とを含み、記憶部１５のプログラム１５Ｐを読み出して実行することにより、画面表示操作などの各種処理を実行する処理部を実現する。
演算処理部１６で実現される主な処理部として、表示制御部１６Ａ、バーチャルハンド作成部１６Ｂ、および画面作成部１６Ｃがある。

表示制御部１６Ａは、操作入力部１１やタッチ操作検出部１２で検出されたユーザ操作の内容や位置情報に応じて、画面表示部１４で表示する表示対象となる表示データを特定し、記憶部１５の表示情報ＤＢ１５Ａから取得して、バーチャルハンド作成部１６Ｂおよび画面作成部１６Ｃへ出力する機能を有している。

図２は、タッチ操作割当データの構成例である。ここでは、ユーザによるタッチ操作に対する表示処理の割当内容が登録されており、スワイプ、ピンチイン、ピンチアウト、シングルタップ、ダブルタップなどのタッチ操作ごとに、実行すべき表示処理が対応付けられている。表示制御部１６Ａは、このようなタッチ操作割当データに基づいて、タッチ操作検出部１２で検出されたタッチ操作に対応する表示処理を実行する。

例えば、操作面に指を接触させた状態で指を滑らせるスワイプというタッチ操作には、画面スクロールという表示処理が割り当てられている。この場合、スワイプの方向によって画面スクロールの方向が決定されるため、例えば、左方向にスワイプした場合、表示画面を右から左へスクロールさせる表示処理が実行され、画面右側に隠れていた表示が現れることになる。また、上方向にスワイプした場合、表示画面を下から上へスクロールさせる表示処理が実行され、画面下側に隠れていた表示が現れることになる。また、スワイプの方向は縦横方向に限定さるものではなく、斜め方向へのスワイプに応じて、斜め方向への画面スクロールが実行される。

また、操作面で２本の指の間隔が狭くなるように滑らせるピンチイン、および、操作面で２本の指の間隔が広くなるように滑らせるピンチアウトは、それぞれ画面縮小および画面拡大という表示処理が割り当てられている。これにより、２本の指の中間位置を中心として、画面表示が縮小あるいは拡大される。
また、操作面で指を１回たたくシングルタップ、および、操作面で指を２回連続してたたくダブルタップは、オブジェクトに関する詳細画面を表示するという表示処理、および、オブジェクトに関する属性画面を表示するという表示処理が割り当てられている。これにより、タップの対象となるオブジェクトに関する詳細情報や属性情報が画面表示される。

一般に、マウスなどのポインティングデバイスを用いて画面表示を操作する場合、ユーザは複数の操作の組合せで実行する必要がある。例えば、画面スクロールを行う場合には、画面の右端や下端までマウスカーソルを移動させて、画面上のスクロールバーを選択し、そのスクロールバーを上下または左右にドラッグさせる必要がある。また、画面の拡大・縮小や詳細画面・属性画面の表示を行う場合には、操作位置や操作対応オブジェクトを決定する操作と、所望の表示処理に応じたボタンまでマウスカーソルを移動させて、ボタンをクリックする必要がある。さらに、表示処理に応じたボタンが用意されておらずメニューから選択する場合には、所望の表示処理がリスト表示されるコンテキストメニューなどのメニューを開く操作と、当該メニューから所望の表示処理を選択する操作が必要となる。

本実施の形態によれば、図２に示したように、各種タッチ操作に表示処理をそれぞれ対応付けておくことにより、ユーザが所望する新たな表示情報を画面表示することができる。これにより、前述したようなマウスなどのポインティングデバイスを用いた場合に必要となる煩雑な操作を省くことができ、極めて高い操作性を得ることができる。

また、タッチ操作に表示処理を割り当てる際、表示処理による表示内容の変化と類似する内容のタッチ操作を割り当てておけばよい。例えば、画面上で表示内容が任意の方向にスライドする画面スクロールは、操作面で指を滑らせるスワイプを割り当て、スクロール方向とスワイプ方向とを一致させればよい。また、画面上で表示間隔が狭くなる画面縮小は、指の間隔が狭くなるように滑らせるピンチインを割り当て、画面上で表示間隔が広くなる画面拡大は、指の間隔が広くなるように滑らせるピンチアウトを割り当てておけばよい。
これにより、ユーザは、所望する表示内容の変化に応じたタップ操作を直感的に連想することができ、操作マニュアルなどを参照することなく、効率よくスムーズに画面表示を操作することができる。

バーチャルハンド作成部１６Ｂは、記憶部１５のバーチャルハンド図形データ１５Ｂに基づいて、ユーザの手の画像を示すバーチャルハンドを作成する機能を有している。
このバーチャルハンド作成部１６Ｂには、変形比率計算部１７Ａとバーチャルハンド変形部１７Ｂの２つの処理部が設けられている。

変形比率計算部１７Ａは、表示制御部１６Ａからの表示データに含まれるオブジェクトの間隔または／および大きさに基づいて、画面表示における当該オブジェクトの表示細度を計算する機能と、この表示細度とバーチャルハンドの指幅とから、当該バーチャルハンドの変形比率を計算する機能とを有している。バーチャルハンドの指幅については、バーチャルハンド図形データ１５Ｂと変形比率とから求められる。

バーチャルハンド変形部１７Ｂは、変形比率計算部１７Ａで計算した変形比率に基づいて、記憶部１５のバーチャルハンド図形データ１５Ｂを相似変形させて、拡大または縮小することにより、画面表示におけるオブジェクトに適合した大きさに当該バーチャルハンドを変形する機能を有している。

バーチャルハンドによるオブジェクト選択時における操作性は、オブジェクト間隔やオブジェクトサイズなど、オブジェクトが画面表示される際の細かさを示す度合い、すなわち表示細度に左右される。例えば、バーチャルハンドの指幅に比較して、オブジェクト間隔が十分にある場合や、オブジェクトサイズが十分にある場合には、オブジェクトが選択し易くなる。
したがって、本発明では、オブジェクト間隔またはオブジェクトサイズを表示細度として計算し、この表示細度とバーチャルハンドの指幅とから、当該バーチャルハンドの変形比率を計算して、バーチャルハンドの大きさを調整するようにしたものである。

画面作成部１６Ｃは、表示制御部１６Ａからの表示データを示す画面データを作成する機能と、当該画面データのうち、タッチ操作検出部１２が操作面で検出したユーザのタッチ操作に応じた位置に、バーチャルハンド作成部１６Ｂで作成したバーチャルハンドを合成した合成画面データを作成して、画面表示部１４へ出力する機能とを有している。

［第１の実施の形態の動作］
次に、図３を参照して、本実施の形態にかかる情報表示装置１０の動作について説明する。図３は、第１の実施の形態にかかる情報表示装置の表示制御処理を示すフローチャートである。

表示制御部１６Ａは、タッチ操作検出部１２で検出されたユーザ操作の内容や位置情報に応じて、画面表示部１４で表示する表示対象となる表示データを特定し（ステップ１００）、記憶部１５の表示情報ＤＢ１５Ａから当該表示データを取得して、バーチャルハンド作成部１６Ｂおよび画面作成部１６Ｃへ出力する（ステップ１０１）。

次に、変形比率計算部１７Ａは、表示制御部１６Ａからの表示データに含まれるオブジェクトの間隔または／および大きさに基づいて、画面表示における当該オブジェクトの表示細度を計算し（ステップ１０２）、この表示細度とバーチャルハンドの指幅とから、当該バーチャルハンドの変形比率を計算する（ステップ１０３）。

続いて、バーチャルハンド変形部１７Ｂは、変形比率計算部１７Ａで計算した変形比率に基づいて、記憶部１５のバーチャルハンド図形データ１５Ｂを相似変形させて、拡大または縮小することにより、画面表示におけるオブジェクトに適合した大きさに当該バーチャルハンドを変形する（ステップ１０４）。

この後、画面作成部１６Ｃは、表示制御部１６Ａからの表示データを示す画面データを作成し、当該画面データのうち、タッチ操作検出部１２が操作面で検出したユーザのタッチ操作に応じた位置に、バーチャルハンド作成部１６Ｂで作成したバーチャルハンドを合成した合成画面データを作成し（ステップ１０５）、この合成画面データを画面表示部１４へ出力する（ステップ１０６）。
これにより、画面表示部１４には、タッチ操作によりユーザが所望した表示データが表示されるとともに、その表示画面上に、オブジェクトの表示細度に適合した大きさでバーチャルハンドが表示される。

図４は、タッチ操作開始前を示す画面表示例である。図５は、タッチ操作開始時における画面表示例である。図６は、単純拡大表示画面表示例である。ここでは、監視制御システムに本発明を適用して、系統図を画面表示した場合が例として示されている。

図４に示す表示画面のうち対象エリアＡを拡大表示したい場合、ユーザは、図５に示すように、タップなどにより対象エリアＡまでバーチャルハンドを移動させた後、ピンチアウトなどの拡大操作を行う。
ここで、バーチャルハンドを変形させずに、表示内容とバーチャルハンドとを単純に拡大表示した場合、図６に示すように、バーチャルハンドの指が太すぎて、オブジェクトを効率よく選択できなくなる。

したがって、本実施の形態では、オブジェクトの表示細度に応じてバーチャルハンドを適切な大きさに変形するための変形比率を計算するため、変形比率計算部１７Ａにおいて、図７に示すような、バーチャルハンド変形比率計算処理を実行する。図７は、バーチャルハンド変形処理を示すフローチャートである。

まず、変形比率計算部１７Ａは、バーチャルハンドの指位置から、バーチャルハンドによる操作推定範囲を特定し、表示制御部１６Ａからの表示データのうちから、当該操作推定範囲内に位置するオブジェクトを選択する（ステップ１１０）。
次に、変形比率計算部１７Ａは、当該操作推定範囲内に位置するオブジェクトについて、オブジェクト間隔の平均値からなる表示細度Ｌを求めるとともに（ステップ１１１）、オブジェクトサイズの平均値からなる表示細度Ｓを求める（ステップ１１２）。

この際、オブジェクト間隔は、２つのオブジェクトの中心位置（重心位置）の間隔からなると定義され、オブジェクトサイズは、当該オブジェクトの外周上に設けた任意の２点のうち最も距離が離れている２点の距離からなると定義される。したがって、オブジェクト間隔やオブジェクトサイズは、オブジェクトごとに異なるため、表示細度としてはこれらの平均値などの統計値を用いる。

ここで、統計値を求めるオブジェクトとしては表示画面全域を対象としてもよいが、バーチャルハンドの指位置を基準とした操作推定範囲を特定し、表示データのうち当該操作推定範囲に含まれるオブジェクトの間隔や大きさから表示細度を計算してもよい。これにより、ユーザの選択対象となる可能性の高い、バーチャルハンドの指周辺に位置するオブジェクトの表示細度に適合した変形比率を得ることができる。

この後、変形比率計算部１７Ａは、表示細度Ｌと表示細度Ｓのうちいずれか小さい値Ｍｉｎ（Ｌ，Ｓ）を選択し、これに規定変形倍率Ｐを乗算して、バーチャルハンドの指幅Ｆで除算することにより、バーチャルハンド全体の変形比率Ｒを求める（ステップ１１３）。ここで、規定変形倍率Ｐは、表示細度Ｌ，Ｓと指幅Ｆとの関係を示す比率であり、予めユーザの好みに応じて設定可能な値である。また、Ｍｉｎ（）は、複数の要素のうちから最小値を選択する関数である。

図８は、表示細度と指幅との関係を示す説明図である。オブジェクト間隔およびオブジェクトサイズの大小関係は、表示内容に応じて変化するため、バーチャルハンドによるオブジェクト選択時における操作性も変化する。例えば、バーチャルハンドの指に比較してオブジェクト間隔が十分にある場合でも、オブジェクトサイズが大きい場合、隣接するオブジェクトとの隙間が狭くなるため、オブジェクトを選択しづらくなる。また、バーチャルハンドの指に比較してオブジェクトサイズが十分にある場合でも、オブジェクト間隔が小さい場合、隣接するオブジェクトとの隙間が狭くなるため、オブジェクトを選択しづらくなる。

このようなことから、バーチャルハンドによるオブジェクト選択時における操作性は、これら表示細度Ｌと表示細度Ｓのうちいずれか小さい方に大きく影響を受けることがわかる。図８では、表示細度Ｌ＜指幅Ｆ＜表示細度Ｓとなった場合が例として示されており、変形比率Ｒを求める際には、これら表示細度Ｌと表示細度Ｓのうち、小さい値を示す表示細度Ｌが用いられる。

また、操作推定範囲については、前述したように、バーチャルハンドの表示位置に応じて、バーチャルハンドに対応する１つの操作推定範囲を特定してもよいが、例えば、これら指ごとに、その先端位置を中心とする円状の範囲を操作推定範囲として特定してもよい。
図９は、操作推定範囲の特定例である。ここでは、各指の操作範囲や操作頻度が高いほど、操作推定範囲が広くなるよう設定されている。

このように、指ｉごとに操作推定範囲Ａｉを特定した場合、個別変形比率Ｒｉを求めてからバーチャルハンド全体の全体変形比率を求めることになる。個別変形比率Ｒｉは、前述と同様にして、当該指ｉの操作推定範囲Ａｉ内に存在するオブジェクトから表示細度Ｌｉ，Ｓｉを求め、いずれか小さい値Ｍｉｎ（Ｌ，Ｓ）を選択し、これら規定変形倍率Ｐを乗算して、バーチャルハンドの指幅Ｆで除算することにより求められる。
また、全体変形比率Ｒは、これら指ｉの個別変形比率Ｒｉをそれぞれの重みＷｉで積和演算することにより求められる。なお、重みＷｉは、各指の操作範囲や操作頻度が高いほど、高い値を設定しておけばよい。

図１０は、オブジェクト変形を含む拡大表示画面表示例である。このようにして、オブジェクトの表示細度に基づいて計算した変形比率Ｒにより、バーチャルハンドを変形して画面表示することにより、表示画面上に、オブジェクトの表示細度に適合した大きさでバーチャルハンドを表示することができる。

［第１の実施の形態の効果］
このように、本実施の形態では、変形比率計算部１７Ａが、表示データに含まれるオブジェクトの間隔または／および大きさに基づいて、画面表示における当該オブジェクトの表示細度を計算し、この表示細度とバーチャルハンドの指幅とから、当該バーチャルハンドの変形比率を計算し、バーチャルハンド変形部１７Ｂが、この変形比率に基づいて、バーチャルハンドを拡大または縮小することにより、画面表示におけるオブジェクトに適合した大きさに当該バーチャルハンドを変形するようにしたものである。

これにより、バーチャルハンドの指幅が、画面表示されるオブジェクトの間隔やサイズと比べて、大きすぎたり小さすぎたりせず、適切な大きさで画面表示される。このため、表示画面によって表示細度が異なる場合であっても、バーチャルハンドで操作対象となるオブジェクトを効率よく選択操作することができる。したがって、表示画面から離れた位置でユーザがバーチャルハンドで画面表示を操作する場合であっても、優れた操作性を得ることができる。

また、本実施の形態において、変形比率計算部１７Ａが表示細度を計算する際、タッチ操作からユーザの指位置を基準とした操作推定範囲を特定し、表示データのうち当該操作推定範囲に含まれるオブジェクトの間隔または大きさから表示細度を計算するようにしてもよい。
これにより、ユーザの選択対象となる可能性の高い、バーチャルハンドの指周辺に位置するオブジェクトの表示細度に適合した変形比率を得ることができる。

また、本実施の形態において、変形比率計算部１７Ａが表示細度を計算する際、各オブジェクトの間隔および大きさの統計値を計算し、これら間隔および大きさの統計値のいずれか小さい統計値を表示細度として選択するようにしてもよい。
これにより、バーチャルハンドによるオブジェクト選択時における操作性に、より大きな影響を与える表示細度に基づいて、変形比率を計算することができ、より適切な大きさにバーチャルハンドを変形することができる。

なお、本実施の形態では、図９において、指ｉごとに操作推定範囲Ａｉを特定した場合を例示したが、５本の指すべてを対象とする必要はなく、例えば、タッチ操作において操作頻度の高い親指の操作推定範囲Ａ１と人差し指の操作推定範囲Ａ２のみを用いて、表示細度を求めても良い。
また、親指と人差し指は、他の指に比べて極めて高い頻度で使用されるため、これら親指と人差し指の先端位置を含む楕円状、長円状、または矩形状の操作推定範囲を１つ特定してもよい。これにより、親指と人差し指の周囲に位置するオブジェクトの表示細度に適合した大きさにバーチャルハンドを変形することができる。

［第２の実施の形態］
次に、図１１を参照して、本発明の第２の実施の形態にかかる情報表示装置１０について説明する。図１１は、第２の実施の形態にかかる情報処理装置の構成を示すブロック図である。

本実施の形態は、第１の実施の形態と比較して、バーチャルハンド作成部１６Ｂに、変形比率調整部１７Ｃが追加されている。
すなわち、変形比率調整部１７Ｃは、タッチ操作検出部１２で検出されたタッチ操作がバーチャルハンドの拡大・縮小操作を示す場合、バーチャルハンド変形部１７Ｂで用いる変形比率を増減調整する機能を有している。
本実施の形態にかかるその他の構成については、第１の実施の形態と同様であり、ここでの詳細な説明は省略する。

［第２の実施の形態の動作］
次に、図１２を参照して、本実施の形態にかかる情報表示装置の動作について説明する。図１２は、第２の実施の携帯にかかる情報表示装置の変形比率調整処理を示すフローチャートである。
変形比率調整部１７Ｃは、前述した図３の表示制御処理のうち、ステップ１０３からステップ１０４へ移行する際に、図１２の変形比率調整処理を実行する。

まず、変形比率調整部１７Ｃは、タッチ操作検出部１２で検出されたタッチ操作が、バーチャルハンドの拡大操作であるか確認する（ステップ２００）。ここで、バーチャルハンドの拡大操作である場合（ステップ２００：ＹＥＳ）、変形比率計算部１７Ａで計算した変形比率Ｒを規定率Ｑだけ増大させた後（ステップ２０１）、バーチャルハンド変形部１７Ｂへ出力する（ステップ２０２）。

一方、タッチ操作検出部１２で検出されたタッチ操作が、バーチャルハンドの拡大操作でない場合（ステップ２００：ＮＯ）、変形比率調整部１７Ｃは、当該タッチ操作が、バーチャルハンドの縮小操作であるか確認する（ステップ２０３）。ここで、バーチャルハンドの縮小操作である場合（ステップ２０３：ＹＥＳ）、変形比率計算部１７Ａで計算した変形比率Ｒを規定率Ｑだけ削減させた後（ステップ２０４）、バーチャルハンド変形部１７Ｂへ出力する（ステップ２０２）。

また、タッチ操作検出部１２で検出されたタッチ操作が、バーチャルハンドの縮小操作でない場合（ステップ２０３：ＮＯ）、変形比率計算部１７Ａで計算した変形比率Ｒを調整せず、そのままバーチャルハンド変形部１７Ｂへ出力する（ステップ２０２）。なお、拡大・縮小操作については、上記割り当て例に限定さるものではなく、他のタッチ操作を割り当ててもよい。

図１３は、変形比率調整操作の説明図である。ここでは、バーチャルハンド拡大操作として、ユーザの掌の付け根部をタッチ操作検出部１２の操作面でタップする操作が割り当てられている。このようなバーチャルハンド拡大操作が検出された場合、変形比率計算部１７Ａで計算した変形比率Ｒに、規定率Ｑ（Ｑ＞１）が乗算されて変形比率Ｒが増大調整される。

また、バーチャルハンド縮小操作として、ユーザの掌の小指側部をタッチ操作検出部１２の操作面でタップする操作が割り当てられている。このようなバーチャルハンド縮小操作が検出された場合、変形比率計算部１７Ａで計算した変形比率Ｒに、規定率Ｑ（Ｑ＞１）で除算されて変形比率Ｒが削減調整される。

［第２の実施の形態の効果］
このように、本実施の形態では、変形比率調整部１７Ｃにおいて、タッチ操作検出部１２で検出されたタッチ操作がバーチャルハンドの拡大・縮小操作を示す場合、バーチャルハンド変形部１７Ｂで用いる変形比率を増減調整するようにしたものである。
これにより、ユーザの意図に応じて、バーチャルハンドの大きさをタッチ操作により微調整することができ、極めて高い操作性を得ることができる。

［実施の形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。また、各実施形態については、矛盾しない範囲で任意に組み合わせて実施することができる。

１０…情報表示装置、１１…操作入力部、１２…タッチ操作検出部、１３…通信Ｉ／Ｆ部、１４…画面表示部、１５…記憶部、１５Ａ…表示情報ＤＢ、１５Ｂ…バーチャルハンド図形データ、１５Ｐ…プログラム、１６…演算処理部、１６Ａ…表示制御部、１６Ｂ…バーチャルハンド作成部、１６Ｃ…画面作成部、１７Ａ…変形比率計算部、１７Ｂ…バーチャルハンド変形部、１７Ｃ…変形比率調整部。

Claims (6)

1. ユーザの選択操作対象となる複数のオブジェクトを含む表示データを、画面表示部で画面表示する情報表示装置であって、
   前記ユーザの手の画像を示すバーチャルハンドを作成するバーチャルハンド作成部と、
   前記表示データを示す画面データを作成し、当該画面データのうち、タッチ操作検出部が操作面で検出した前記ユーザのタッチ操作に応じた位置に、前記バーチャルハンドを合成した合成画面データを作成して、前記画面表示部へ出力する画面作成部とを備え、
   前記バーチャルハンド作成部は、
   前記表示データに含まれる前記オブジェクトの間隔または／および大きさに基づいて、前記画面表示における当該オブジェクトの表示細度を計算し、この表示細度と前記バーチャルハンドの指幅とから、当該バーチャルハンドの変形比率を計算する変形比率計算部と、
   前記変形比率に基づいて、前記バーチャルハンドを拡大または縮小することにより、前記画面表示における前記オブジェクトに適合した大きさに当該バーチャルハンドを変形するバーチャルハンド変形部とを含む
   ことを特徴とする情報表示装置。
2. 請求項１に記載の情報表示装置において、
   前記変形比率計算部は、前記表示細度を計算する際、前記バーチャルハンドの指位置を基準とした操作推定範囲を特定し、前記表示データのうち当該操作推定範囲に含まれる前記オブジェクトの間隔または大きさから前記表示細度を計算することを特徴とする情報表示装置。
3. 請求項１または請求項２に記載の情報表示装置において、
   前記変形比率計算部は、前記表示細度を計算する際、前記各オブジェクトの間隔および大きさの統計値を計算し、これら間隔および大きさの統計値のいずれか小さい統計値を前記表示細度として選択することを特徴とする情報表示装置。
4. 請求項１〜請求項３のいずれか１つに記載の情報表示装置において、
   前記バーチャルハンド作成部は、前記タッチ操作が前記バーチャルハンドの拡大・縮小操作を示す場合、前記バーチャルハンド変形部で用いる前記変形比率を増減調整する変形比率調整部をさらに含むことを特徴とする情報表示装置。
5. ユーザの選択操作対象となる複数のオブジェクトを含む表示情報から表示データを作成し、画面表示部で画面表示する情報表示方法であって、
   バーチャルハンド作成部が、前記ユーザの手の画像を示すバーチャルハンドを作成するバーチャルハンド作成ステップと、
   画面作成部が、前記表示データを示す画面データを作成し、当該画面データのうち、タッチ操作検出部が操作面で検出した前記ユーザのタッチ操作に応じた位置に、前記バーチャルハンドを合成した合成画面データを作成し、前記画面表示部へ出力する画面作成ステップとを備え、
   前記バーチャルハンド作成ステップは
   前記表示データに含まれる前記オブジェクトの間隔または大きさに基づいて、前記画面表示における当該オブジェクトの表示細度を計算し、この表示細度と前記バーチャルハンドの指幅とから、当該バーチャルハンドの変形比率を計算する変形比率計算ステップと、
   前記変形比率に基づいて、前記バーチャルハンドを拡大または縮小することにより、前記画面表示における当該オブジェクトに適合した大きさに当該バーチャルハンドを変形するバーチャルハンド変形ステップとを含む
   ことを特徴とする情報表示方法。
6. コンピュータを、請求項１〜請求項４のいずれか１つに記載の情報表示装置を構成する各部として機能させるためのプログラム。

Images