JP2013097695A - Ｇｕｉ実行装置、ｇｕｉ実行方法、及びｇｕｉ実行プログラム - Google Patents

Abstract

【課題】タッチパネルを備える機器をＧＵＩの操作機器とした場合において、ＧＵＩがキー操作のみに対応している場合であっても、タッチパネルでの操作を可能にする。
【解決手段】タッチイベント処理部１０２は、ＧＵＩ２０１がタッチ操作不可である場合、タッチパネル１０１に表示された仮想リモコンＧＵＩ２０２に対するユーザからタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントＥＶ１をＧＵＩ表示制御部１０３に通知する。タッチイベント変換部１０６は、タッチイベント処理部１０２からＧＵＩ表示制御部１０３に通知されたタッチイベントＥＶ１を、ＧＵＩ２０１を操作するために予め対応付けられたキーイベントＫＥＶに変換し、ＧＵＩ表示制御部１０３に通知する。ＧＵＩ表示制御部１０３は、キーイベントＫＥＶの処理をＧＵＩ２０１に実行させる。
【選択図】図１

Description

本発明は、赤外線リモコン等のリモコン装置のキー操作によって操作することが想定されたグラフィカルユーザインターフェイス（ＧＵＩ）に対して、タッチパネルでのタッチ操作を可能とする技術に関するものである。

近年、テレビ（ＴＶ）や録画機などのＡＶ（Audio Visual）機器、タブレットやスマートフォンなどの携帯型情報端末、及びパーソナルコンピュータなどの様々なデジタル機器を相互にネットワーク接続し、様々な機器の機能を互いに連携させることにより実現される機器連携サービスが提案されている。

例えば、機器の相互接続方式を定めたＤＬＮＡ（登録商標：Digital Living Network Alliance）の規格では、録画機に保存された動画や写真などのコンテンツをネットワーク接続された機器から選択し、選択したコンテンツをネットワーク接続されたＴＶで再生することができる。

このような機器連携サービスの従来技術として、接続元の機器（例えば、ＴＶ）からネットワークを介して接続先（例えば、録画機）のコンテンツを取得し、再生するだけでなく、より使いやすいＧＵＩをユーザに提供するために、接続先の録画機からコンテンツ操作に適したＧＵＩを取得し、接続元の機器で実行するものが知られている（例えば、非特許文献１参照）。非特許文献１の技術によって、接続元の機器によらず、接続先の録画機と同じ見た目や操作感を持つＧＵＩを接続元の機器でも利用できることが可能になる。

松永繁樹他「お部屋ジャンプリンク」Panasonic Technical Journal Vol.56 No.1 Apr.2010 (P27-P29)

非特許文献１の技術では、リモコン装置でのキー操作に対応した接続先の録画機のＧＵＩを接続元のＴＶで取得し、ＴＶのリモコン装置を用いてキー操作することが前提とされている。

しかしながら、近年、普及が著しいタブレット端末やスマートフォンなどのタッチパネルを持つ機器をＧＵＩの操作機器とする場合、操作機器が取得する録画機のＧＵＩはリモコン装置でのキー操作のみに対応しており、タッチパネルで操作することができないという課題があった。

本発明の目的は、タッチパネルを備える機器をＧＵＩの操作機器とした場合、操作機器が接続先の機器から取得したＧＵＩがキー操作のみに対応している場合であっても、そのＧＵＩを操作機器のタッチパネルで操作することを可能にする技術を提供することである。

（１）本発明によるＧＵＩ実行装置は、ネットワークを介して接続されたＧＵＩサーバから取得したＧＵＩを実行するＧＵＩ実行装置であって、タッチパネルと、前記ＧＵＩサーバからＧＵＩを取得するＧＵＩ取得部と、前記ＧＵＩ取得部により取得されたＧＵＩがタッチ操作可能なＧＵＩであるか否かを判定するタッチ操作可否判定部と、前記タッチ操作可否判定部によりタッチ操作不可と判定された場合、前記ＧＵＩ取得部により取得されたＧＵＩを前記タッチパネルに表示し、かつ、前記タッチパネルに表示されたＧＵＩをタッチ操作するための仮想リモコンＧＵＩを表示するＧＵＩ表示制御部と、前記仮想リモコンＧＵＩへのタッチ操作を検知した場合、検知したタッチ操作の内容を示すタッチイベントを前記ＧＵＩ表示制御部に通知するタッチイベント処理部と、前記タッチイベント処理部から前記ＧＵＩ表示制御部に通知されたタッチイベントを、前記ＧＵＩを操作するために予め対応付けられたキーイベントに変換し、前記ＧＵＩ表示制御部に通知するタッチイベント変換部とを備え、前記ＧＵＩ表示制御部は、前記タッチイベント変換部から通知されたキーイベントの処理を前記ＧＵＩに実行させる。

この構成によれば、ＧＵＩサーバからＧＵＩが取得されると、そのＧＵＩがタッチ操作可能なＧＵＩであるか否かが判定され、タッチ操作不可のＧＵＩである場合、このＧＵＩに加えて、このＧＵＩをタッチ操作するための仮想リモコンＧＵＩが表示される。

そのため、ユーザは仮想リモコンＧＵＩをタッチ操作することで、タッチ操作不可のＧＵＩを操作することができる。これにより、タブレット端末やスマートフォン等の機器を用いた機器連携サービスをユーザに提供することができる。

また、本構成では、仮想リモコンＧＵＩのタッチ操作が検知されてタッチ操作の内容を示すタッチイベントが発生すると、そのタッチイベントが対応するＧＵＩを操作するためのキーイベントに変換され、そのキーイベントがＧＵＩによって処理される。そのため、ＧＵＩを提供する機器側に特別な構成を設けなくても、ＧＵＩ実行装置は仮想リモコンＧＵＩを介してユーザにＧＵＩを操作させることができる。なお、本発明のＧＵＩ実行方法及びＧＵＩ実行プログラムはＧＵＩ実行装置と同じ特徴を持っている。

（２）前記タッチイベント処理部は、前記仮想リモコンＧＵＩの表示領域外へのユーザのタッチ操作を検知した場合、前記仮想リモコンＧＵＩの表示領域外がタッチ操作されたことを示すタッチイベントを前記ＧＵＩ表示制御部に通知し、前記ＧＵＩ表示制御部は、前記タッチイベント処理部から前記仮想リモコンＧＵＩの表示領域外がタッチ操作されたことを示すタッチイベントが通知された場合、前記仮想リモコンＧＵＩへのタッチ操作を促すガイド画像を表示することが好ましい。

この構成によれば、ユーザに対してより確実に仮想リモコンＧＵＩの存在を認識させることができ、せっかく仮想リモコンＧＵＩを表示してもそれが全く使用されないという事態を回避することができる。

（３）前記ＧＵＩ表示制御部は、前記仮想リモコンＧＵＩの表示領域外がタッチ操作されたことを示すタッチイベントが連続して所定回数通知された場合、前記ガイド画像を表示することが好ましい。

この構成によれば、ユーザが誤ってタッチパネルをタッチした場合において、ガイド画像が表示されることが防止され、ユーザに煩わしさを与えることを防止することができる。

（４）前記タッチ操作可否判定部は、前記ＧＵＩ取得部により取得されたＧＵＩにタッチ操作可能であるか否かを示すタッチ対応フラグが設定されているか否かにより、前記ＧＵＩがタッチ操作可能であるか否かを判定することが好ましい。

この構成によれば、ＧＵＩがタッチ操作可能であるか否かを正確に判定することができる。

（５）前記タッチ操作可否判定部は、前記ＧＵＩ取得部により取得されたＧＵＩがタッチ操作可能であるか否かを前記ＧＵＩサーバに問い合わせることにより、前記ＧＵＩがタッチ操作可能であるか否かを判定することが好ましい。

この構成によれば、ＧＵＩに特別な情報を設定しなくても、ＧＵＩがタッチ操作可能か否かを判定することができる。

（６）前記タッチ操作可否判定部は、前記ＧＵＩ取得部により取得されたＧＵＩがＧＵＩ表示制御部により実行された際、タッチイベントの処理プログラムが呼び出されるか否かにより、前記ＧＵＩがタッチ操作可能であるか否かを判定することが好ましい。

この構成によれば、ＧＵＩに特別な情報を設定せず、かつ、ＧＵＩサーバにＧＵＩがタッチ操作可能か否かを問い合わせる処理を実行しなくても、ＧＵＩがタッチ操作可能であるか否かを判定することができる。

（７）前記ＧＵＩ表示制御部は、前記タッチ操作可否判定部により前記ＧＵＩ取得部により取得されたＧＵＩがタッチ操作可能と判定された場合、前記ＧＵＩのみを前記タッチパネルに表示し、前記タッチイベント処理部は、前記タッチパネルに表示されたＧＵＩへのタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントをＧＵＩ表示制御部に通知し、前記ＧＵＩ表示制御部は、前記タッチイベント処理部から通知されたタッチイベントの処理を前記ＧＵＩに実行させることが好ましい。

この構成によれば、ＧＵＩがタッチ操作可能である場合、ユーザはタッチ操作によりＧＵＩを直接的に操作することができる。

（８）前記仮想リモコンＧＵＩを予め記憶する記憶部を更に備えることが好ましい。

この構成によれば、仮想リモコンＧＵＩをネットワークを介して取得するような処理を行うことなく仮想リモコンＧＵＩをタッチパネルに表示させることができる。

（９）前記ＧＵＩ取得部は、前記仮想リモコンＧＵＩを前記ＧＵＩサーバから取得することが好ましい。

この構成によれば、必要に応じて仮想リモコンＧＵＩを取得することができ、ＧＵＩ実行装置のメモリリソースを節約することができる。また、ＧＵＩに対応する仮想リモコンＧＵＩをＧＵＩサーバから送信させることで、ＧＵＩの操作に適した仮想リモコンＧＵＩを取得することができる。

本発明によれば、取得したＧＵＩがタッチ操作不可のＧＵＩであっても、仮想リモコンＧＵＩをタッチ操作させることで、ユーザにＧＵＩを操作させることができる。そのため、タブレット端末やスマートフォン等のタッチパネルを入力手段とする機器を操作機器として別の機器を操作する場合の機器連携サービスを実現することができる。

本発明の実施の形態におけるＧＵＩ実行装置を備えた情報機器とネットワークで接続されたＧＵＩサーバとの構成図である。 （Ａ）はタッチパネルに表示されるＧＵＩの一例を示す画面図である。（Ｂ）はタッチパネルに表示される仮想リモコンＧＵＩの一例を示す画面図である。 イベント変換テーブルの一例を示した図である。 図１に示す情報機器の処理を示すフローチャートである。 ユーザがタッチパネルに表示されたＧＵＩ又は仮想リモコンＧＵＩをタッチ操作した際の情報機器の処理を示すフローチャートである。 （Ａ）はＧＵＩに重畳表示された仮想リモコンＧＵＩの画面図であり、（Ｂ）はタッチパネルに表示されたガイド画像の一例を示す画面図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。図１は、本発明の実施の形態におけるＧＵＩ実行装置を備えた情報機器１００とネットワーク１２０で接続されたＧＵＩサーバ１１０との構成図である。

図１において、ＧＵＩサーバ１１０は、本発明の実施の形態によるＧＵＩ実行装置で実行可能なＧＵＩを保持し、ＧＵＩ取得部１０５からのＧＵＩの取得要求に従いＧＵＩを情報機器１００に提供する。以下の説明では、ＧＵＩサーバ１１０は、例えば録画機等のデジタル機器を想定し、赤外線リモコン等のキー操作が可能なリモコン装置によって操作されるＧＵＩを備え、このＧＵＩを情報機器１００に送信する。

また、以下の説明では、情報機器１００は、例えばタブレット端末やスマートフォン等のタッチパネルを入力手段とする情報装置を想定している。

ＧＵＩサーバ１１０は、ＤＮＬＡ（登録商標）を拡張したＲＵＩ（Remote User Interface）技術に基づいて、自身が保存する動画や写真等のコンテンツを、ネットワークを介して情報機器１００に送信することができる。一方、情報機器１００も、ＲＵＩ技術に対応している。ＲＵＩ技術では、非特許文献１に示されるように、ネットワーク接続された異なる機器間において、コンテンツだけでなく、ＧＵＩも共有することができる。

したがって、情報機器１００は、ＧＵＩサーバ１１０から送信されたＧＵＩがタッチ操作可能であれば、ユーザがＧＵＩをタッチ操作したときに発生するイベントを、ＧＵＩに処理させることが可能となる。これにより、情報機器１００はＧＵＩサーバ１１０から取得した映像等のコンテンツをタッチパネル１０１上に表示することができる。

ネットワーク１２０としては、例えば、有線又は無線ＬＡＮを介して機器を相互に接続するホームネットワークが採用される。これにより、ＧＵＩサーバ１１０及び情報機器１００はユーザの自宅のホームネットワークを介して相互に通信可能に接続されることになる。

情報機器１００は、タッチパネル１０１、タッチイベント処理部１０２、ＧＵＩ表示制御部１０３、タッチ操作可否判定部１０４、ＧＵＩ取得部１０５、タッチイベント変換部１０６、通信インターフェース（通信Ｉ／Ｆ）１０７、及び仮想リモコン記憶部１０８を備えている。

ＧＵＩ取得部１０５は、通信Ｉ／Ｆ１０７及びネットワーク１２０を介してＧＵＩサーバ１１０からＧＵＩを取得する。ここで、ＧＵＩ取得部１０５がＧＵＩサーバ１１０から取得するＧＵＩは、例えば、ＸＭＬ（Extensible Markup Language）、ＨＴＭＬ（HyperText Markup Language）などのマークアップ言語やＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語といったプログラム言語を用いて記述されている。以下、ＧＵＩは、上記のプログラム言語で記述されたプログラムを指し、ＧＵＩ表示制御部１０３がＧＵＩを実行することでタッチパネル１０１にＧＵＩの画像が表示される。

タッチ操作可否判定部１０４は、ＧＵＩ取得部１０５により取得されたＧＵＩがタッチ操作可能なＧＵＩであるか否かを判定し、ＧＵＩ表示制御部１０３に判定結果を通知する。ここで、タッチ操作とは、ユーザがタッチパネル１０１をタッチする操作を指す。また、タッチ操作可能なＧＵＩとは、ユーザがタッチ操作することができるＧＵＩを指す。また、タッチ操作不可のＧＵＩとは、ユーザがタッチ操作することができないＧＵＩを指す。以下、タッチ操作不可のＧＵＩは、ユーザが赤外線リモコン等のリモコン装置のキー操作により操作することができるものとする。なお、キー操作とは、ユーザがリモコン装置に設けられたボタンを押す操作のことを指す。

ＧＵＩ表示制御部１０３は、ＧＵＩ取得部１０５により取得されたＧＵＩがタッチ操作不可であることを示す判定結果がタッチ操作可否判定部１０４から通知された場合、取得されたＧＵＩをタッチパネル１０１に表示し、かつ、タッチパネル１０１に表示されたＧＵＩをタッチ操作するための仮想リモコンＧＵＩを仮想リモコン記憶部１０８から読み出してタッチパネル１０１に表示する。

なお、ＧＵＩ表示制御部１０３は、プログラムであるＧＵＩ及び仮想リモコンＧＵＩの定義に従ってＧＵＩ要素の画像データを描画バッファに書き込み、ＧＵＩ及び仮想リモコンＧＵＩの画像をタッチパネル１０１に表示する。

図２（Ａ）は、タッチパネル１０１に表示されるＧＵＩ２０１の一例を示す画面図である。図２（Ａ）に示すＧＵＩ２０１は、例えば、ＧＵＩサーバ１１０が保存している動画像データを一覧表示するＧＵＩであり、ユーザが動画像データを再生する際に表示される。図２（Ａ）の例では、動画像データとして、例えば、動画カメラにより撮影された動画像データが採用されている。ＧＵＩ２０１は、垂直方向に並べられた複数の動画像データ表示欄２０１１を備えている。動画像データ表示欄２０１１は、１つの動画像データに対応して１つ設けられ、動画像データの“タイトル”、“撮影日”、及び“撮影時間”を表示する。

ＧＵＩ２０１は、タッチ操作不可のＧＵＩであり、リモコン装置でキー操作されるＧＵＩである。例えば、このＧＵＩ２０１が情報機器１００ではなく、ＧＵＩサーバ１１０のディスプレイに表示されている場合、ユーザはＧＵＩサーバ１１０のリモコン装置のＵＰキー又はＤＯＷＮキーをキー操作することで、図略のカーソルを移動させて動画像データ表示欄２０１１を選択することができる。図２（Ａ）の例では、１行目の動画像データ表示欄２０１１が網点で表示されており、この動画像データ表示欄２０１１にカーソルが位置決めされている。そして、ユーザはリモコン装置の決定キーを押すと、選択した動画像データ表示欄２０１１に対応する動画像データが再生される。

図２（Ｂ）は、タッチパネル１０１に表示される仮想リモコンＧＵＩ２０２の一例を示す画面図である。図２（Ｂ）に示す仮想リモコンＧＵＩ２０２は、ＵＰボタン２０２１、ＤＯＷＮボタン２０２２、ＲＩＧＨＴボタン２０２３、ＬＥＦＴボタン２０２４、決定ボタン２０２５、Ｍｅｎｕボタン２０２６、戻るボタン２０２７、及び閉じるボタン２０２８を備えている。

例えば、ＵＰボタン２０２１、ＤＯＷＮボタン２０２２、ＲＩＧＨＴボタン２０２３、ＬＥＦＴボタン２０２４は、それぞれ、ＧＵＩ２０１に表示されたカーソルを上、下、左、右に移動させるボタンであり、ユーザがＧＵＩ２０１上の種々の項目を選択するために使用される。図２（Ａ）、（Ｂ）の例では、ユーザは、ＵＰボタン２０２１又はＤＯＷＮボタン２０２２をタッチ操作することで、ＧＵＩ２０１上のカーソルを上又は下に移動させて所望の動画像データ表示欄２０１１を選択することができる。

決定ボタン２０２５は、例えば、ＵＰボタン２０２１やＤＯＷＮボタン２０２２を用いてユーザにより選択されたＧＵＩ２０１の項目を実行するために使用されるボタンである。例えば、ユーザは、再生を希望する動画像データ表示欄２０１１にカーソルを位置決めし、決定ボタン２０２５をタッチ操作すると、カーソルが位置決めされた動画像データ表示欄２０１１に対応する動画像データが再生される。

Ｍｅｎｕボタン２０２６は、例えば、種々の項目が一覧表示されたメニューのＧＵＩを表示する際に用いられる。戻るボタン２０２７は、例えば、現在表示されているＧＵＩを直前に表示されていたＧＵＩに戻す際に使用される。閉じるボタン２０２８は、仮想リモコンＧＵＩ２０２を非表示にする際に使用される。

本実施の形態では、ＧＵＩ表示制御部１０３は、図６（Ａ）、（Ｂ）に示すように仮想リモコンＧＵＩ２０２をＧＵＩ２０１に重畳して表示させる。このように、仮想リモコンＧＵＩ２０２をＧＵＩ２０１に重畳して表示させることで、仮想リモコンＧＵＩ２０２の存在をより確実にユーザに認識させることができ、仮想リモコンＧＵＩ２０２を用いたＧＵＩ２０１の操作をユーザに促すことができる。

図１に戻り、ＧＵＩ表示制御部１０３は、タッチ操作可否判定部１０４からＧＵＩ２０１がタッチ操作可能であるとの判定結果が通知された場合、仮想リモコンＧＵＩ２０２を表示させず、ＧＵＩ２０１のみ表示させる。この場合、ユーザは、ＧＵＩ２０１を直接タッチ操作することができる。

タッチイベント処理部１０２は、ＧＵＩ２０１がタッチ操作不可である場合、タッチパネル１０１に表示された仮想リモコンＧＵＩ２０２に対するユーザからタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントＥＶ１をＧＵＩ表示制御部１０３に通知する。

タッチイベントＥＶ１は、ＧＵＩ２０１がタッチ操作不可の場合に生成されるタッチイベントであり、例えば、仮想リモコンＧＵＩ２０２において、ユーザによりタッチ操作されたＧＵＩ要素の識別情報（例えば、ＧＵＩ要素名）が含まれている。例えば、ユーザがＵＰボタン２０２１をタッチ操作したとすると、ＵＰボタン２０２１のＧＵＩ要素名がタッチイベントＥＶ１に含まれる。

具体的には、タッチイベント処理部１０２は、ユーザがタッチしたタッチパネル１０１の座標を取得し、その座標が仮想リモコンＧＵＩ２０２の表示領域内にあれば、ユーザが仮想リモコンＧＵＩ２０２をタッチ操作したと判定する。このとき、タッチイベント処理部１０２は、ユーザがタッチした座標が仮想リモコンＧＵＩ２０２を構成するどのＧＵＩ要素の表示領域に存在するかを判定し、ユーザがタッチ操作したＧＵＩ要素を特定し、特定したＧＵＩ要素のＧＵＩ要素名を含むタッチイベントＥＶ１を生成する。一方、タッチイベント処理部１０２は、ユーザがタッチしたタッチパネル１０１の座標が仮想リモコンＧＵＩ２０２の表示領域外にあれば、ユーザは仮想リモコンＧＵＩ２０２の表示領域外をタッチ操作したと判定し、その情報を含むタッチイベントＥＶ１を生成する。

また、タッチイベント処理部１０２は、タッチパネル１０１に仮想リモコンＧＵＩ２０２が表示されない場合、すなわち、ＧＵＩ２０１がタッチ操作可能である場合、タッチパネル１０１に表示されたＧＵＩ２０１に対するユーザからのタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントＥＶ２をＧＵＩ表示制御部１０３に通知する。

タッチイベントＥＶ２は、ＧＵＩ２０１がタッチ操作可能の場合に生成されるタッチイベントであり、例えば、ＧＵＩ２０１において、ユーザによりタッチ操作されたＧＵＩ要素の識別情報（例えば、ＧＵＩ要素名）が含まれている。

具体的には、タッチイベント処理部１０２は、ユーザがタッチしたタッチパネルの座標がＧＵＩ２０１を構成するどのＧＵＩ要素の表示領域に存在するかを判定し、ユーザがタッチ操作したＧＵＩ２０１のＧＵＩ要素を特定し、特定したＧＵＩ要素のＧＵＩ要素名を含むタッチイベントＥＶ２を生成する。

タッチイベント変換部１０６は、タッチイベント処理部１０２からＧＵＩ表示制御部１０３に通知されたタッチイベントＥＶ１を、ＧＵＩ２０１を操作するために予め対応付けられたキーイベントＫＥＶに変換し、ＧＵＩ表示制御部１０３に通知する。

具体的には、タッチイベント変換部１０６は、ＧＵＩ表示制御部１０３からタッチイベントＥＶ１の変換依頼が通知されると、図３に示すようなイベント変換テーブルを仮想リモコン記憶部１０８から読み出し、変換依頼がされたタッチイベントＥＶ１に対応するキーイベントＫＥＶを特定し、特定したキーイベントＫＥＶをＧＵＩ表示制御部１０３に通知する。なお、変換依頼には、変換対象となるタッチイベントＥＶ１の内容を示す情報（具体的には、ＧＵＩ要素名）が含まれる。

図３は、イベント変換テーブルの一例を示した図である。イベント変換テーブルは、ＧＵＩ要素の欄とキーイベントの欄とを備えている。ＧＵＩ要素の欄には、仮想リモコンＧＵＩ２０２を構成する各ＧＵＩ要素のＧＵＩ要素名が記載されている。したがって、ＧＵＩ要素の欄には、ＵＰボタン２０２１、ＤＯＷＮボタン２０２２、ＲＩＧＨＴボタン２０２３、ＬＥＦＴボタン２０２４、決定ボタン２０２５、Ｍｅｎｕボタン２０２６、及び戻るボタン２０２７が記載されている。

キーイベントの欄には、各ＧＵＩ要素に対応するキーイベントが記載されている。ここで、キーイベントとは、リモコン装置をキー操作してＧＵＩ２０１を操作する際に発生するイベントである。例えば、リモコン装置のＵＰキーがキー操作された場合、ＫＥＹ＿ＵＰのキーイベントが発生し、リモコン装置の決定キーがキー操作された場合、ＫＥＹ＿ＥＮＴＥＲのキーイベントが発生する。

つまり、イベント変換テーブルは、タッチ操作に対応していないＧＵＩ２０１をリモコン装置を用いてキー操作する場合に発生する既存のキーイベントＫＥＶと、仮想リモコンＧＵＩ２０２をタッチ操作した場合に発生するタッチイベントＥＶ１とを対応付けたテーブルである。

そして、このイベント変換テーブルが存在しているため、情報機器１００は、ＧＵＩ２０１を操作するためのリモコン装置をユーザに用意させることなく、仮想リモコンＧＵＩ２０２をユーザにタッチ操作させることで、既存のＧＵＩ２０１をユーザに操作させることが可能となるのである。

図３の例では、ＵＰボタン、ＤＯＷＮボタン、ＲＩＧＨＴボタン、ＬＥＦＴボタン、Ｍｅｎｕボタン、戻るボタン、及び決定ボタンのＧＵＩ要素に対して、ＫＥＹ＿ＵＰ、ＫＥＹ＿ＤＯＷＮ、ＫＥＹ＿ＲＩＧＨＴ、ＫＥＹ＿ＬＥＦＴ、ＫＥＹ＿Ｆ１、ＫＥＹ＿ＢＡＣＫ、ＫＥＹ＿ＥＮＴＥＲのキーイベントが対応付けられている。

ＫＥＹ＿ＵＰ、ＫＥＹ＿ＤＯＷＮ、ＫＥＹ＿ＲＩＧＨＴ、ＫＥＹ＿ＬＥＦＴのキーイベントは、例えばＧＵＩ２０１のカーソルを上、下、左、右に移動させるキーイベントである。ＫＥＹ＿Ｆ１のキーイベントは、例えばタッチパネル１０１にＭｅｎｕのＧＵＩを表示させるキーイベントである。ＫＥＹ＿ＢＡＣＫのキーイベントは、タッチパネル１０１に表示されているＧＵＩを１つ前に表示されていたＧＵＩに戻すためのキーイベントである。ＫＥＹ＿ＥＮＴＥＲのキーイベントは、例えば、ＧＵＩ２０１においてカーソルで選択された動画像データ表示欄２０１１に対応する画像データを再生させるキーイベントである。

例えば、仮想リモコンＧＵＩ２０２において、ユーザがＵＰボタン２０２１をタッチ操作すると、ＵＰボタン２０２１のタッチイベントＥＶ１がタッチイベント処理部１０２で発生し、ＧＵＩ表示制御部１０３からタッチイベント変換部１０６にタッチイベントＥＶ１の変換依頼が通知される。タッチイベント変換部１０６は、変換依頼がされたタッチイベントＥＶ１をＫＥＹ＿ＵＰのキーイベントＫＥＶに変換し、ＧＵＩ表示制御部１０３に通知する。このキーイベントＫＥＶが通知されたＧＵＩ表示制御部１０３は、このキーイベントＫＥＶの処理をＧＵＩ２０１に実行させる。この場合、ＧＵＩ表示制御部１０３は、例えば、ＧＵＩ２０１のカーソルを１つ上の動画像データ表示欄２０１１に移動させる。

また、仮想リモコンＧＵＩ２０２において、ユーザが決定ボタン２０２５をタッチ操作すると、決定ボタン２０２５のタッチイベントＥＶ１がタッチイベント処理部１０２で発生し、ＧＵＩ表示制御部１０３からタッチイベント変換部１０６にタッチイベントＥＶ１の変換依頼が通知される。

タッチイベント変換部１０６は、変換依頼がされたタッチイベントＥＶ１をＫＥＹ＿ＥＮＴＥＲのキーイベントＫＥＶに変換し、ＧＵＩ表示制御部１０３に通知する。このキーイベントＫＥＶが通知されたＧＵＩ表示制御部１０３は、ＧＵＩ２０１にＫＥＹ＿ＥＮＴＥＲのキーイベントＫＥＶの処理を実行させる。この場合、ＧＵＩ表示制御部１０３は、例えば、ユーザにより選択された動画像データを再生させるための再生要求ＲＥＱを通信Ｉ／Ｆ１０７及びネットワーク１２０を介してＧＵＩサーバ１１０に送信し、ＧＵＩサーバ１１０に動画像データを再生させる。ＧＵＩサーバ１１０は、動画像データを情報機器１００に送信し、情報機器１００のタッチパネル１０１に動画像データを表示させる。これにより、ユーザは、例えば別の部屋に設置されたＧＵＩサーバ１１０に保存された動画像データを手元の情報機器１００に表示させることができる。

なお、ＧＵＩ表示制御部１０３は、タッチイベント処理部１０２からタッチイベントＥＶ２が通知された場合、キーイベントＫＥＶに変換させる必要がないため、通知されたタッチイベントＥＶ２の処理をそのままＧＵＩ２０１に実行させる。

通信Ｉ／Ｆ１０７は、例えば、通信回路により構成され、情報機器１００で生成された種々のデータをネットワーク１２０に送信し、かつ、ネットワーク１２０を流れる情報機器１００宛てのデータを受信する。本実施の形態では、通信Ｉ／Ｆ１０７は、ＧＵＩサーバ１１０から送信されるＧＵＩ２０１や動画像データを受信し、かつ、再生要求ＲＥＱ等をＧＵＩサーバ１１０に送信する。

仮想リモコン記憶部１０８は、例えば、不揮発性の記憶装置により構成され、仮想リモコンＧＵＩ２０２を予め記憶している。このように仮想リモコンＧＵＩ２０２を予め情報機器１００に持たせておくことで、情報機器１００が仮想リモコンＧＵＩ２０２を取得する処理を実行する手間を省くことができる。

また、仮想リモコンＧＵＩ２０２は図２（Ｂ）に示すようなＵＰボタン２０２１、ＤＯＷＮボタン２０２２等の４方向ボタン、決定ボタン２０２５、Ｍｅｎｕボタン２０２６、及び戻るボタン２０２７を備えている。

録画機器等のデジタル機器で採用されるＧＵＩは、これらのボタンがあれば操作可能にデザインされていることが一般的である。したがって、本実施の形態では、仮想リモコンＧＵＩ２０２を仮想リモコン記憶部１０８に予め記憶させている。そのため、ＧＵＩサーバ１１０から送信された様々なＧＵＩ２０１に対して、仮想リモコンＧＵＩ２０２はほぼ対応することが可能となる。

また、仮想リモコン記憶部１０８は、図３に示すイベント変換テーブルも予め記憶している。このイベント変換テーブルは仮想リモコンＧＵＩ２０２に対応して予め設計されている。そのため、タッチイベント変換部１０６は、仮想リモコン記憶部１０８に記憶されたイベント変換テーブルを用いることで、全てのタッチイベントＥＶ１を確実に対応するキーイベントＫＥＶに変換することができる。

図４は、図１に示す情報機器１００の処理を示すフローチャートである。以下、図４に従って、ＧＵＩ２０１及び仮想リモコンＧＵＩ２０２を表示する際の情報機器１００の具体的な処理について説明する。

まず、ステップＳ４０１において、ＧＵＩ取得部１０５は、ＧＵＩサーバ１１０からＧＵＩ２０１を取得する。この場合、ＧＵＩ取得部１０５は、ＧＵＩサーバ１１０のＵＲＬ（Uniform Resource Locator）を予め保持しておき、情報機器１００の電源がオンされたとき、このＵＲＬにアクセスすることで、ＧＵＩ２０１を取得すればよい。なお、ＧＵＩ取得部１０５は、例えば、“ｈｔｔｐ：／／ＧＵＩサーバ１１０のＩＰアドレス：接続ポート/ｉｎｄｅｘ．ｈｔｍｌ”というようにＵＲＬを指定して、ＵＲＬにアクセスすればよい。

なお、ＧＵＩサーバ１１０は、ＵＰｎＰ（Universal Plug and Play）規格で定められたＭ−Ｓｅａｒｃｈ機能などを利用してネットワーク１２０に存在する機器を検索することも可能である。この場合、例えば、ＧＵＩサーバ１１０は、Ｍ−Ｓｅａｒｃｈ機能を利用して情報機器１００を検知すると、情報機器１００に対して自身のＵＲＬを通知して、情報機器１００にＧＵＩサーバ１１０のＵＲＬを取得させるようにしてもよい。

ステップＳ４０２において、ＧＵＩ表示制御部１０３は、ＧＵＩ取得部１０５により取得されたＧＵＩ２０１を実行し、ＧＵＩ２０１をタッチパネル１０１へ表示する。このとき、ＧＵＩ表示制御部１０３は、ＧＵＩ２０１がタッチ操作対応であるか否かの判断依頼をタッチ操作可否判定部１０４に要求する。

ステップＳ４０３において、タッチ操作可否判定部１０４は、ＧＵＩ表示制御部１０３から判定依頼を受けたＧＵＩ２０１がタッチ操作可能であるか否かを判定し、判定結果をＧＵＩ表示制御部１０３へ渡す。

このとき、タッチ操作可否判定部１０４は、ＧＵＩ２０１において予めタッチ操作可能であるか否かを示す情報（例えば、タッチ対応フラグ）が設定されている場合、このタッチ対応フラグの状態に基づいて、ＧＵＩ２０１がタッチ操作可能であるか否かを判定すればよい。タッチ対応フラグの状態としては“オン”又は“オフ”が存在する。したがって、タッチ操作可否判定部１０４は、タッチ対応フラグの状態としてオンが設定されている場合、ＧＵＩ２０１はタッチ操作可能と判定し、タッチ対応フラグの状態としてオフが設定されている場合、ＧＵＩ２０１はタッチ操作不可と判定すればよい。

また、タッチ操作可否判定部１０４は、ＧＵＩ２０１がタッチ操作可能であるか否かをＧＵＩサーバ１１０に問い合わせることで判定してもよい。この場合、タッチ操作可否判定部１０４は、ＧＵＩ２０１がタッチ操作可能であるか否かの判定依頼を通信Ｉ／Ｆ１０７及びネットワーク１２０を介してＧＵＩサーバ１１０に送信する。この判定依頼を受信したＧＵＩサーバ１１０は、ＧＵＩ２０１がタッチ操作可能であるか否かを示す判定結果を情報機器１００に送信する。タッチ操作可否判定部１０４は、ＧＵＩサーバ１１０から送信された判定結果を通信Ｉ／Ｆ１０７を介して受信し、受信した判定結果がタッチ操作可能であることを示す場合、ＧＵＩ２０１はタッチ操作可能と判定し、受信した判定結果がタッチ操作不可であることを示す場合、ＧＵＩ２０１はタッチ操作不可と判定すればよい。

或いは、タッチ操作可否判定部１０４は、ＧＵＩ２０１がＧＵＩ表示制御部１０３により実行された際、タッチイベントの処理プログラムが呼び出されるか否かによりＧＵＩ２０１がタッチ操作可能であるか否かを判定してもよい。

ここで、ＧＵＩ２０１がタッチ操作可能である場合、タッチイベントを処理するための処理プログラムを呼び出すための命令が記述されている。なお、タッチイベントを処理するための処理プログラムは、情報機器１００で実行されるＯＳやミドルウェアにより予め用意されている。したがって、ＧＵＩ表示制御部１０３がＧＵＩ２０１を実行した際にこの処理プログラムが呼び出された場合、タッチ操作可否判定部１０４は、ＧＵＩ２０１がタッチ操作可能と判定し、この処理プログラムが呼び出されなかった場合、タッチ操作可否判定部１０４は、ＧＵＩ２０１がタッチ操作不可と判定すればよい。

或いは、タッチ操作可否判定部１０４は、ＧＵＩ２０１にタッチイベントの処理プログラムを呼び出す命令が記述されているか否かを判定し、この呼び出す命令がＧＵＩ２０１に記述されていれば、ＧＵＩ２０１がタッチ操作可能と判定し、この呼び出す命令がＧＵＩ２０１に記述されていなければ、ＧＵＩ２０１がタッチ操作不可であると判定してもよい。

ステップＳ４０４において、ＧＵＩ表示制御部１０３は、タッチ操作可否判定部１０４によりタッチ操作不可と判定された場合（ステップＳ４０４でＹＥＳ）、仮想リモコンＧＵＩ２０２をタッチパネル１０１に表示し、処理を終了する。つまり、ＧＵＩ２０１がタッチ操作不可である場合、ＧＵＩ２０１に重畳して仮想リモコンＧＵＩ２０２がタッチパネル１０１に表示される（ステップＳ４０５）。

一方、ステップＳ４０４において、ＧＵＩ表示制御部１０３は、タッチ操作可否判定部１０４によりＧＵＩ２０１がタッチ操作可能と判定された場合（Ｓ４０４でＮＯ）、仮想リモコンＧＵＩ２０２をタッチパネル１０１に表示することなく、処理を終了する。この場合、タッチパネル１０１にはＧＵＩ２０１のみが表示されることになる。

図５は、ユーザがタッチパネル１０１へ表示されたＧＵＩ２０１又は仮想リモコンＧＵＩ２０２をタッチ操作した際の情報機器１００の処理を示すフローチャートである。なお、図５のフローチャートは、例えば、ユーザがタッチパネル１０１をタッチ操作した際に開始される。

まず、ステップＳ５０１において、ＧＵＩ２０１がタッチ操作可能である場合（ステップＳ５０１のＮＯ）、タッチイベント処理部１０２は、ユーザがＧＵＩ２０１をタッチ操作した際のタッチ操作に応じたタッチイベントＥＶ２をＧＵＩ表示制御部１０３に通知し、ＧＵＩ表示制御部１０３は、ＧＵＩ２０１にタッチイベントＥＶ２の処理を実行させる（ステップＳ５０９）。

一方、ステップＳ５０１において、ＧＵＩ２０１がタッチ操作不可である場合（ステップＳ５０１でＹＥＳ）、タッチイベント処理部１０２は、仮想リモコンＧＵＩ２０２がタッチ操作されたか否かを判定する（ステップＳ５０２）。

なお、ステップＳ５０１の処理は、図４のフローチャートにおいて、タッチ操作可否判定部１０４がＧＵＩ２０１をタッチ操作可能と判定した場合、ＮＯと判定され、タッチ操作可否判定部１０４がＧＵＩ２０１をタッチ操作不可と判定した場合、ＹＥＳと判定される。

そして、タッチイベント処理部１０２は、仮想リモコンＧＵＩ２０２がタッチ操作されたと判定した場合（ステップＳ５０２でＹＥＳ）、ユーザがタッチ操作したＧＵＩ要素のＧＵＩ名を含むタッチイベントＥＶ１をＧＵＩ表示制御部１０３に通知し、ＧＵＩ表示制御部１０３はタッチイベントＥＶ１の変換依頼をタッチイベント変換部１０６に通知する（ステップＳ５０３）。

ステップＳ５０４において、タッチイベント変換部１０６は、図３に示すイベント変換テーブルを参照し、変換依頼がされたタッチイベントＥＶ１を対応するキーイベントＫＥＶに変換する。例えば、図３において、ＤＯＷＮボタン２０２２がタッチ操作された場合、タッチイベントＥＶ１はＫＥＹ＿ＤＯＷＮのキーイベントＫＥＶへ変換される。

ステップＳ５０５において、タッチイベント変換部１０６は、変換したキーイベントＫＥＶをＧＵＩ表示制御部１０３に通知する。例えば、ＤＯＷＮボタン２０２２のタッチイベントＥＶ１が発生したとすると、ＫＥＹ＿ＤＯＷＮのキーイベントＫＥＶがＧＵＩ表示制御部１０３に通知される。

ステップＳ５０６において、ＧＵＩ表示制御部１０３は、ＧＵＩ２０１に通知されたキーイベントＫＥＶの処理を実行させる。例えば、ＫＥＹ＿ＤＯＷＮのキーイベントＫＥＶの処理が実行されたとすると、ＧＵＩ２０１のカーソルが１つ下の動画像データ表示欄２０１１にずらされる。

一方、ステップＳ５０２において、タッチイベント処理部１０２は、仮想リモコンＧＵＩ２０２が表示されている場合であって、仮想リモコンＧＵＩ２０２の表示領域外がタッチ操作された場合（ステップＳ５０２のＮＯ）、仮想リモコンＧＵＩ２０２の表示領域外がタッチ操作された情報を含むタッチイベントＥＶ１をＧＵＩ表示制御部１０３に通知する（ステップＳ５０７）。

ステップＳ５０８において、ＧＵＩ表示制御部１０３は、ユーザのタッチ操作が無効であり、仮想リモコンＧＵＩ２０２へのタッチ操作を促すガイド画像を表示する。

図６（Ａ）はＧＵＩ２０１に重畳表示された仮想リモコンＧＵＩ２０２の画面図であり、図６（Ｂ）はタッチパネル１０１に表示されたガイド画像６０１の一例を示す画面図である。

ユーザが仮想リモコンＧＵＩ２０２の表示領域内をタッチ操作した場合、図６（Ａ）に示すように、ガイド画像６０１は表示されない。一方、ユーザが仮想リモコンＧＵＩ２０２の表示領域外をタッチ操作した場合、図６（Ｂ）に示すガイド画像６０１が表示される。

図６（Ｂ）の例では、“リモコンＧＵＩで操作できます”といった文言が記述されたガイド画像６０１が表示されている。これにより、ユーザに対してより確実に仮想リモコンＧＵＩ２０２の存在を認識させることができ、せっかく仮想リモコンＧＵＩ２０２を表示してもそれが全く使用されないという事態を回避することができる。

但し、仮想リモコンＧＵＩ２０２の表示領域外をタッチ操作するたびに、ガイド画像６０１を表示させるとユーザに煩わしさを与えてしまう虞がある。仮想リモコンＧＵＩ２０２の存在を一旦ユーザに認識させれば、以後、仮想リモコンＧＵＩ２０２の存在を頻繁に通知する必要はない。また、仮想リモコンＧＵＩ２０２の存在を認識しているユーザであっても、タッチ操作のミス等により偶然に仮想リモコンＧＵＩ２０２の表示領域外をタッチする可能性もある。

そこで、ＧＵＩ表示制御部１０３は、ユーザが仮想リモコンＧＵＩ２０２の表示領域外を連続して所定回数タッチ操作した場合に、ガイド画像６０１を表示するようにしてもよい。具体的には、ＧＵＩ表示制御部１０３は、表示領域外タッチ操作カウンタを設け、タッチイベント処理部１０２から仮想リモコンＧＵＩ２０２の表示領域外がタッチ操作されたことを示すタッチイベントＥＶ１が通知された回数をカウントする。そして、ＧＵＩ表示制御部１０３は、表示領域外タッチ操作カウンタのカウント数が所定回数に到達した場合、ガイド画像６０１を表示するようにしてもよい。

ここで、仮想リモコンＧＵＩ２０２の表示領域外としては、例えば、図６（Ａ）において、仮想リモコンＧＵＩ２０２が表示されている四角形の領域以外のタッチパネル１０１上の領域を採用してもよいし、仮想リモコンＧＵＩ２０２を構成するＧＵＩ要素の表示領域外のタッチパネル１０１上の領域を採用してもよい。

なお、ＧＵＩ表示制御部１０３は、表示領域外カウンタのカウント数が所定回数に到達するまでに仮想リモコンＧＵＩ２０２がタッチ操作されたことを示すタッチイベントＥＶ１が通知された場合、表示領域外カウンタをリセットすればよい。

ユーザはＧＵＩ２０１のダウンロードした直後は仮想リモコンＧＵＩ２０２の存在を認識していない可能性が高いが、ＧＵＩ２０１を何回かダウンロードすると仮想リモコンＧＵＩ２０２の存在を十分に認識すると考えられる。したがって、ＧＵＩ表示制御部１０３は、ＧＵＩ２０１のダウンロード回数が増大するにつれて、所定回数を連続的又は段階的に増大させてもよい。

図１に示す情報機器１００によれば、キー操作のみに対応したＧＵＩ２０１を、タッチパネル１０１に表示された仮想リモコンＧＵＩ２０２をタッチ操作させることで、ユーザに操作させることができる。

なお、ＧＵＩ表示制御部１０３は、仮想リモコンＧＵＩ２０２をタッチパネル１０１に表示した後、表示が不必要だと判定した場合、仮想リモコンＧＵＩ２０２を非表示にしてもよい。

ここで、表示が不必要であると判定する場合としては、例えば、仮想リモコンＧＵＩ２０２を表示した後、一定期間、ユーザからタッチ操作がされない場合や、仮想リモコンＧＵＩ２０２を操作して動画像データの再生指示がユーザにより行われ、動画像データの再生が情報機器１００で開始された場合等が該当する。

この場合、ＧＵＩ表示制御部１０３は、仮想リモコンＧＵＩ２０２の再度表示する必要があると判定した場合は、非表示にした仮想リモコンＧＵＩ２０２を再度タッチパネル１０１に表示させればよい。

再度表示する必要がある場合としては、ユーザが一定期間、仮想リモコンＧＵＩ２０２を操作しないために仮想リモコンＧＵＩ２０２を非表示にした場合においては、再び、ユーザがタッチパネル１０１にタッチした場合が挙げられる。また、動画像データの再生を開始したために仮想リモコンＧＵＩ２０２を非表示にした場合にあっては、動画像データの再生が終了し、再度、ＧＵＩ２０１が表示された場合が挙げられる。

また、本実施の形態において、ユーザはタッチパネル１０１に表示された仮想リモコンＧＵＩ２０２をタッチパネル上の任意の位置にスライドさせることが可能である。この場合、タッチイベント処理部１０２は、ユーザが仮想リモコンＧＵＩ２０２の表示領域内をタッチしてスライドさせた場合、仮想リモコンＧＵＩ２０２がスライド移動されていると判定し、その情報を含むタッチイベントＥＶ１をＧＵＩ表示制御部１０３に通知する。そして、ＧＵＩ表示制御部１０３は、このタッチイベントＥＶ１にしたがって、仮想リモコンＧＵＩ２０２をユーザの指の動きと連動させてタッチパネル１０１上で移動表示させればよい。

これにより、仮想リモコンＧＵＩ２０２によって隠れていたＧＵＩ２０１の領域が露出され、ユーザは隠れていたＧＵＩ２０１の領域の情報を認識することができる。

なお、上記実施の形態では、仮想リモコン記憶部１０８は、１種類の仮想リモコンＧＵＩ２０２を記憶していたが、本発明はこれに限定されない。すなわち、仮想リモコン記憶部１０８は、複数種類の仮想リモコンＧＵＩ２０２を記憶してもよい。

複数種類の仮想リモコンＧＵＩ２０２としては、例えばＧＵＩサーバ１１０の種類に応じた仮想リモコンＧＵＩ２０２が挙げられる。情報機器１００が取得するＧＵＩ２０１として、例えば、録画機器、テレビ、オーディオ等の機器のＧＵＩが想定されるのであれば、仮想リモコン記憶部１０８は、これらの機器のＧＵＩ２０１の操作に適した種類別の仮想リモコンＧＵＩ２０２を予め記憶しておけばよい。

この場合、ＧＵＩサーバ１１０からダウンロードされるＧＵＩ２０１に機器種類情報を含ませておき、ＧＵＩ表示制御部１０３は、この機器種類情報に基づいて対応する仮想リモコンＧＵＩ２０２を仮想リモコン記憶部１０８から読み出して実行すればよい。また、イベント変換テーブルも各仮想リモコンＧＵＩ２０２に対応するイベント変換テーブルを予め用意して仮想リモコン記憶部１０８に記憶させておけばよい。

また、上記実施の形態では、仮想リモコン記憶部１０８に予め記憶された仮想リモコンＧＵＩ２０２を使用するものとしたが、本発明はこれに限定されない。すなわち、ＧＵＩサーバ１１０からＧＵＩ２０１を取得する際、ＧＵＩ取得部１０５は、このＧＵＩ２０１に対応する仮想リモコンＧＵＩ２０２及びイベント変換テーブルを取得すればよい。この場合、ＧＵＩ取得部１０５は、ＧＵＩ２０１、仮想リモコンＧＵＩ２０２及び仮想リモコンＧＵＩ２０２をＧＵＩ表示制御部１０３に渡し、イベント変換テーブルをタッチイベント変換部１０６に渡すようにすればよい。こうすることで、情報機器１００はＧＵＩ２０１を確実に操作することができる仮想リモコンＧＵＩ２０２を取得することができる。

また、上記実施の形態では、ＧＵＩサーバ１１０はＧＵＩ２０１を実行する録画機等のデジタル機器を想定したが、本発明はこれに限定されない。すなわち、ＧＵＩサーバ１１０として、ＧＵＩ２０１を配信するインターネット上に設けられたＧＵＩ配信サーバを採用してもよい。この場合、ＧＵＩ取得部１０５は、このＧＵＩ配信サーバのＵＲＬを予め保持しておき、インターネットを介してＧＵＩ配信サーバにアクセスしてもよい。

この場合、情報機器１００はＧＵＩ２０１を持つ機器からＧＵＩ２０１の配信先であるＧＵＩ配信サーバのＵＲＬを取得し、このＵＲＬにアクセスすることでＧＵＩ２０１を取得するようにしてもよい。ここで、ＧＵＩ配信サーバは、ＧＵＩ２０１を配信する際、対応する仮想リモコンＧＵＩ２０２及びイベント変換テーブルも情報機器１００に送信すればよい。こうすることで、ＧＵＩ２０１を実行する機器に仮想リモコンＧＵＩ２０２等を保持させることなく、情報機器１００に仮想リモコンＧＵＩ２０２を取得させることができる。

なお、上述した本発明の実施の形態にかかるＧＵＩ実行装置の処理手順は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現されてもよい。この場合、プログラムデータは、記憶媒体を介して記憶装置内に導入されてもよいし、記憶媒体上から直接実行されてもよい。なお、記憶媒体は、ＲＯＭやＲＡＭやフラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤ等の光ディスクメモリ、及びメモリカード等をいう。また、記憶媒体は、電話回線や搬送路等の通信媒体を含む概念である。

また、上述した本発明の実施形態に係るＧＵＩ実行装置の各構成は、それぞれ集積回路であるＬＳＩとして実現することができる。これらは、個別に１チップ化されてもよいし、それぞれにおいて全てまたは一部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応例が可能性としてありえる。

本発明にかかるＧＵＩ実行装置は、ＧＵＩをネットワーク上のＧＵＩサーバから取得し実行する情報機器において、取得したＧＵＩがリモコン装置などのキー操作を想定したＧＵＩであってもタッチパネルを備えた機器上で実行可能とする場合に有用である。

１００ 情報機器
１０１ タッチパネル
１０２ タッチイベント処理部
１０３ ＧＵＩ表示制御部
１０４ タッチ操作可否判定部
１０５ ＧＵＩ取得部
１０６ タッチイベント変換部
１０７ 通信Ｉ／Ｆ
１０８ 仮想リモコン記憶部
１１０ ＧＵＩサーバ
２０１ ＧＵＩ
２０２ 仮想リモコンＧＵＩ
６０１ ガイド画像

Claims (11)

1. ネットワークを介して接続されたＧＵＩサーバから取得したＧＵＩを実行するＧＵＩ実行装置であって、
   タッチパネルと、
   前記ＧＵＩサーバからＧＵＩを取得するＧＵＩ取得部と、
   前記ＧＵＩ取得部により取得されたＧＵＩがタッチ操作可能なＧＵＩであるか否かを判定するタッチ操作可否判定部と、
   前記タッチ操作可否判定部によりタッチ操作不可と判定された場合、前記ＧＵＩ取得部により取得されたＧＵＩを前記タッチパネルに表示し、かつ、前記タッチパネルに表示されたＧＵＩをタッチ操作するための仮想リモコンＧＵＩを表示するＧＵＩ表示制御部と、
   前記仮想リモコンＧＵＩへのタッチ操作を検知した場合、検知したタッチ操作の内容を示すタッチイベントを前記ＧＵＩ表示制御部に通知するタッチイベント処理部と、
   前記タッチイベント処理部から前記ＧＵＩ表示制御部に通知されたタッチイベントを、前記ＧＵＩを操作するために予め対応付けられたキーイベントに変換し、前記ＧＵＩ表示制御部に通知するタッチイベント変換部とを備え、
   前記ＧＵＩ表示制御部は、前記タッチイベント変換部から通知されたキーイベントの処理を前記ＧＵＩに実行させるＧＵＩ実行装置。
2. 前記タッチイベント処理部は、前記仮想リモコンＧＵＩの表示領域外へのユーザのタッチ操作を検知した場合、前記仮想リモコンＧＵＩの表示領域外がタッチ操作されたことを示すタッチイベントを前記ＧＵＩ表示制御部に通知し、
   前記ＧＵＩ表示制御部は、前記タッチイベント処理部から前記仮想リモコンＧＵＩの表示領域外がタッチ操作されたことを示すタッチイベントが通知された場合、前記仮想リモコンＧＵＩへのタッチ操作を促すガイド画像を表示する請求項１記載のＧＵＩ実行装置。
3. 前記ＧＵＩ表示制御部は、前記仮想リモコンＧＵＩの表示領域外がタッチ操作されたことを示すタッチイベントが連続して所定回数通知された場合、前記ガイド画像を表示する請求項２記載のＧＵＩ実行装置。
4. 前記タッチ操作可否判定部は、前記ＧＵＩ取得部により取得されたＧＵＩにタッチ操作可能であるか否かを示すタッチ対応フラグが設定されているか否かにより、前記ＧＵＩがタッチ操作可能であるか否かを判定する請求項１〜３のいずれかに記載のＧＵＩ実行装置。
5. 前記タッチ操作可否判定部は、前記ＧＵＩ取得部により取得されたＧＵＩがタッチ操作可能であるか否かを前記ＧＵＩサーバに問い合わせることにより、前記ＧＵＩがタッチ操作可能であるか否かを判定する請求項１〜３のいずれかに記載のＧＵＩ実行装置。
6. 前記タッチ操作可否判定部は、前記ＧＵＩ取得部により取得されたＧＵＩがＧＵＩ表示制御部により実行された際、タッチイベントの処理プログラムが呼び出されるか否かにより、前記ＧＵＩがタッチ操作可能であるか否かを判定する請求項１〜３のいずれかに記載のＧＵＩ実行装置。
7. 前記ＧＵＩ表示制御部は、前記タッチ操作可否判定部により前記ＧＵＩ取得部により取得されたＧＵＩがタッチ操作可能と判定された場合、前記ＧＵＩのみを前記タッチパネルに表示し、
   前記タッチイベント処理部は、前記タッチパネルに表示されたＧＵＩへのタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントをＧＵＩ表示制御部に通知し、
   前記ＧＵＩ表示制御部は、前記タッチイベント処理部から通知されたタッチイベントの処理を前記ＧＵＩに実行させる請求項１〜６のいずれかに記載のＧＵＩ実行装置。
8. 前記仮想リモコンＧＵＩを予め記憶する記憶部を更に備える請求項１〜７のいずれかに記載のＧＵＩ実行装置。
9. 前記ＧＵＩ取得部は、前記仮想リモコンＧＵＩを前記ＧＵＩサーバから取得する請求項１〜７のいずれかに記載のＧＵＩ実行装置。
10. ネットワークを介して接続されたＧＵＩサーバから取得したＧＵＩを、タッチパネルを備えるＧＵＩ装置が実行するＧＵＩ実行方法であって、
    ＧＵＩ実行装置が、前記ＧＵＩサーバからＧＵＩを取得するＧＵＩ取得ステップと、
    ＧＵＩ実行装置が、前記ＧＵＩ取得ステップにより取得されたＧＵＩがタッチ操作可能なＧＵＩであるか否かを判定するタッチ操作可否判定ステップと、
    ＧＵＩ実行装置が、前記タッチ操作可否判定ステップによりタッチ操作不可と判定された場合、前記ＧＵＩ取得部により取得されたＧＵＩを前記タッチパネルに表示し、かつ、前記タッチパネルに表示されたＧＵＩをタッチ操作するための仮想リモコンＧＵＩを表示するＧＵＩ表示制御ステップと、
    ＧＵＩ実行装置が、前記仮想リモコンＧＵＩへのタッチ操作を検知した場合、検知したタッチ操作の内容を示すタッチイベントを通知するタッチイベント処理ステップと、
    ＧＵＩ実行装置が、前記タッチイベント処理ステップにより通知されたタッチイベントを、前記ＧＵＩを操作するために予め対応付けられたキーイベントに変換するタッチイベント変換ステップとを備え、
    前記ＧＵＩ表示制御ステップは、前記タッチイベント変換ステップにより通知されたキーイベントの処理を前記ＧＵＩに実行させるＧＵＩ実行方法。
11. ネットワークを介して接続されたＧＵＩサーバから取得したＧＵＩを実行するＧＵＩ実行装置としてコンピュータを機能させるＧＵＩ実行プログラムであって、
    前記ＧＵＩ実行装置は、タッチパネルを備え、
    前記ＧＵＩサーバからＧＵＩを取得するＧＵＩ取得部と、
    前記ＧＵＩ取得部により取得されたＧＵＩがタッチ操作可能なＧＵＩであるか否かを判定するタッチ操作可否判定部と、
    前記タッチ操作可否判定部によりタッチ操作不可と判定された場合、前記ＧＵＩ取得部により取得されたＧＵＩを前記タッチパネルに表示し、かつ、前記タッチパネルに表示されたＧＵＩをタッチ操作するための仮想リモコンＧＵＩを表示するＧＵＩ表示制御部と、
    前記仮想リモコンＧＵＩへのタッチ操作を検知した場合、検知したタッチ操作の内容を示すタッチイベントを前記ＧＵＩ表示制御部に通知するタッチイベント処理部と、
    前記タッチイベント処理部から前記ＧＵＩ表示制御部に通知されたタッチイベントを、前記ＧＵＩを操作するために予め対応付けられたキーイベントに変換し、前記ＧＵＩ表示制御部に通知するタッチイベント変換部としてコンピュータを機能させ、
    前記ＧＵＩ表示制御部は、前記タッチイベント変換部から通知されたキーイベントの処理を前記ＧＵＩに実行させるＧＵＩ実行プログラム。

Images