JP2012094060A - 電子装置 - Google Patents

Abstract

【課題】リモコン（特にタッチリモコン）を用いた電子装置の操作に際して、リモコンからの送出信号によって操作内容を一意的に特定するのではなく、これにリモコン外に保持されるルールに基づく解釈を加えることで操作内容を特定することができるようにした電子装置を提供する。
【解決手段】ディスプレイ出力手段と、リモコンからユーザの指などの動きを示す情報であるジェスチャ情報を取得する手段と、ユーザに対して許容する複数の操作の組合せによって装置状態を区別するための情報である装置ステータス情報を取得する手段と、装置ステータス情報に応じて前記取得するジェスチャ情報が前記許容される操作のいずれに対する命令であるかを解釈するための解釈情報を保持する手段と、取得したジェスチャ情報と取得した装置ステータス情報とから解釈情報を用いて装置操作命令を取得する手段と、取得した装置操作命令を実行する手段とを有する電子装置を提供する。
【選択図】図１

Description

本発明は、リモコンを利用する電子装置の操作命令を取得して実行するための電子装置に関する。

近年、テレビジョン装置をはじめとする電子装置は、ほとんどすべての装置がリモコンで遠隔操作ができるものとなっている。また、技術の進歩やユーザのニーズの多様化に伴い、テレビジョン装置などに数多くの機能が備えられたり他の機器と連動させた機能が備えられたりするようになっており、これに対応してテレビジョン装置などの操作内容も多様化、複雑化している。このため、リモコンもこのような様々な操作に対応できるものであることが求められている。この点、従来のボタン式のリモコンは、一般に操作内容に一意的に対応したボタンを固定的に配置するものであったため、このような操作内容の多様化、複雑化に対応するには限界があった。

一方、最近ではいわゆるタッチリモコンが普及しつつある。タッチリモコンは、リモコンのタッチ画面上にタッチセンサを配置したものであり、当該タッチセンサに対してユーザが指でなぞるなどの動作を行うと、当該動作が検知され、対象である電子装置に対して遠隔操作のための制御信号を送信するものである。このため、タッチリモコンは、上述のような従来のボタン式のリモコンとは異なり、タッチセンサに対応する操作内容を変更することができ、操作内容に柔軟性を持たせることができるというメリットがある。例えば、特許文献１には、このようなタッチリモコンを用いた遠隔操作システムが開示されている。同文献に記載されているタッチリモコンは、タッチパネルを備え、タッチパネルの表示内容とタッチパネルに対する操作とに対応した信号をタッチリモコンから送出することで、制御対象装置の遠隔操作を行うようにしたものであり、かつタッチパネルの表示内容を変更できるようにした点に特徴があるものである。このように、タッチリモコンは、操作内容に柔軟性を持たせることができることから、従来の固定ボタン式のリモコンに比べて、より操作内容の多様化、複雑化への対応に適したものであるといえる。

特開２００５−１３６５１８

しかしながら、特許文献１に記載されているタッチリモコンは、タッチパネルの表示内容を変更できるようにしたものにすぎず、リモコン側で操作内容を特定した上で当該操作命令を含む信号を送出するものである点では従来の固定ボタン式リモコンと何ら変わりはない。

しかし、リモコンの操作の容易性のためには、リモコン自体の構成はできるだけシンプルなものとすることが求められる。このような観点からは、リモコンから送出する信号はできるだけ簡単なものとした上で、リモコン外に保持される解釈ルールなどに従ってリモコンからの信号に対して特定の操作内容を示すための意味付けを行うことで、様々な操作内容の実行を可能にすることが望ましい。

そこで、本発明が解決しようとする課題は、リモコン（特にタッチリモコン）を用いた電子装置の操作に際して、リモコンからの送出信号によって操作内容を一意的に特定するのではなく、これにリモコン外に保持されるルールに基づく解釈を加えることで操作内容を特定することができるようにした電子装置を提供することにある。

以上の課題を解決するため、第一の発明は、ディスプレイ出力部と、リモコンからユーザの指などの動きを示す情報であるジェスチャ情報を取得するジェスチャ情報取得部と、ユーザに対して許容する複数の操作の組合せによって装置状態を区別するための情報である装置ステータス情報を取得する装置ステータス情報取得部と、装置ステータス情報に応じて前記取得するジェスチャ情報が前記許容される操作のいずれに対する命令であるかを解釈するための解釈情報を保持する解釈情報保持部と、取得したジェスチャ情報と取得した装置ステータス情報とから解釈情報を用いて装置操作命令を取得する装置操作命令取得部と、取得した装置操作命令を実行する実行部とを有する電子装置を提供する。また、第二の発明は、第一の発明を基礎として、装置ステータス情報に応じたＧＵＩ画面を保持するＧＵＩ画面保持部と、前記取得する装置ステータス情報に応じて前記保持するＧＵＩ画面をディスプレイ出力部からディスプレイに出力するＧＵＩ画面送出部とをさらに有する電子装置を提供する。また、第三の発明は、第二の発明を基礎として、装置ステータスに応じてＧＵＩ画面を表示するか表示しないかを定める装置ステータス情報テーブルを有し、実行部は、取得した装置ステータスがＧＵＩ画面を表示しないと定められた装置ステータスである場合にはＧＵＩ画面の表示なしに前記取得された装置操作命令を実行する電子装置を提供する。また、第四の発明は、第一から第三のいずれか一の発明を基礎として、実行部は、リモコンから操作種別を特定した特定操作命令を受けて直接的に装置操作命令を実行する直接操作手段を有する電子装置を提供する。また、第五の発明は、第一から第四のいずれか一の発明を基礎として、仮想画面をディスプレイに出力中の画面に対して上下、左右、右上、右下、左上または左下のいずれか一以上の組合せにて仮想配置し、選択可能に保持する仮想画面保持部を有し、前記解釈情報保持部には取得したジェスチャ情報に従って出力中の画面が仮想配置された仮想画面に切り換える命令に解釈する仮想画面選択解釈情報を保持する仮想画面選択解釈情報保持手段を有する電子装置を提供する。また、第六の発明は、前記電子装置を備えたテレビジョン装置を提供する。また、第七の発明は、前記電子装置を備えた操縦装置を提供する。また、第八の発明は、リモコンからユーザの指などの動きを示す情報であるジェスチャ情報を取得するジェスチャ情報取得ステップと、ユーザに対して許容する複数の操作の組合せによって装置状態を区別するための情報である装置ステータス情報を取得する装置ステータス情報取得ステップと、取得したジェスチャ情報と取得する装置ステータス情報とから、装置ステータス情報に応じて前記取得するジェスチャ情報が前記許容される操作のいずれに対する命令であるかを解釈するための解釈情報を用いて装置操作命令を取得する装置操作命令取得ステップと、取得した装置操作命令を実行する実行ステップとを有する電子装置の操作命令実行プログラムを提供する。

本発明により、リモコンを用いた電子装置の操作に際して、リモコンからの送出信号によって操作内容を一意的に特定するのではなく、これにリモコン外に保持されるルールに基づく解釈を加えることで操作内容を特定することができるようにした電子装置を提供することが可能となる。

実施例１の電子装置の機能ブロックの一例を示す図 本発明の電子装置に用いるリモコンの一例を示す図 解釈情報テーブルの一例を示す図 解釈情報テーブルの一例を示す図 解釈情報テーブルの一例を示す図 実施例１の電子装置のハードウェア構成の一例を示す概略図 実施例１の電子装置における処理の流れの一例を示す図 実施例２の電子装置の機能ブロックの一例を示す図 実施例２の電子装置におけるＧＵＩ画面の一例を示す概略図 実施例２の電子装置のハードウェア構成の一例を示す概略図 実施例２の電子装置における処理の流れの一例を示す図 実施例３の電子装置における処理の流れの一例を示す図 実施例４の電子装置の機能ブロックの一例を示す図 実施例５の電子装置の機能ブロックの一例を示す図 仮想画面について説明するための図 実施例５の電子装置のハードウェア構成の一例を示す概略図 実施例５の電子装置における処理の流れの一例を示す図

０１００ 電子装置
０１１０ ディスプレイ出力部
０１２０ ジェスチャ情報取得部
０１３０ 装置ステータス情報取得部
０１４０ 解釈情報保持部
０１５０ 装置操作命令取得部
０１６０ 実行部

以下に、本発明の実施例を説明する。実施例と請求項の相互の関係は以下のとおりである。実施例１は主に請求項１、６、７、８などに関し、実施例２は主に請求項２などに関し、実施例３は主に請求項３などに関し、実施例４は主に請求項４などに関し、実施例５は主に請求項５などに関する。なお、本発明はこれら実施例に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。

<概要>
本実施例の電子装置は、リモコン上のユーザの指の動きを示す情報（ジェスチャ情報）と電子装置のステータスを示す情報（装置ステータス情報）を取得するとともに、装置ステータス情報に応じて取得するジェスチャ情報がいずれの操作に対する命令であるかを解釈し、これに基づいて装置操作を実行するようにしたものである。

<構成>
（全般）
図１は、本実施例の電子装置の機能ブロックの一例を示す図である。本図に示す「電子装置」０１００は、「ディスプレイ出力部」０１１０と、「ジェスチャ情報取得部」０１２０と、「装置ステータス情報取得部」０１３０と、「解釈情報保持部」０１４０と、「装置操作命令取得部」０１５０と、「実行部」０１６０とを有する。
「電子装置」は、リモコンを用いて行う操作の対象となる電子装置自身（以下「操作対象装置」と略す）であってもよい。この場合における電子装置には、テレビジョン装置、（航空機などの）操縦装置、ゲーム装置、チューナを備えていないモニター装置、コンピュータ端末装置、デジタルフォトフレーム装置、カーナビゲーション装置などであって、ディスプレイを有するものが含まれる。あるいは、本実施例の電子装置は、操作対象装置とは別の装置であってもよく、この場合当該装置は専用装置であってもよいし、他の機能を有する電子装置と兼用の装置であってもよい。

（ディスプレイ出力部）
「ディスプレイ出力部」は、映像コンテンツやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面などをディスプレイに出力するための手段である。画面における画像情報の表示内容には特に限定がなく、テレビ番組などの映像コンテンツや電子装置を操作するためのメニュー画面をＧＵＩ画面で表示するもののほか、単に一定の情報を視覚的に表示するアイコンなどであってもよい。また、ディスプレイに出力される画面は電子装置の状態（ステータス）によって異なる。典型的な例としては、電子装置がテレビジョン装置である場合に、視聴状態とメニュー表示状態の切換えに応じて、視聴状態においては映像コンテンツを、メニュー画面表示状態においてはメニュー画面をディスプレイに出力するものが挙げられる。
なお、本実施例の電子装置が操作対象装置自身である場合には、当該装置自身がディスプレイを備えるが、操作対象装置とは別の専用装置などである場合には、操作対象装置のディスプレイを用いることが可能であるので、電子装置自身がディスプレイを備えている必要はない。即ち、ディスプレイは本実施例の電子装置の必須構成要素ではない。

（ジェスチャ情報取得部）
「ジェスチャ情報取得部」は、ジェスチャ情報を取得するように構成されている。「ジェスチャ情報」とは、ユーザの指などの動きを示す情報であって、リモコンから送出可能なものである。ここで想定されているリモコンはいわゆるタッチリモコンであり、タッチリモコンの場合、「ジェスチャ情報」は、タッチリモコンのタッチ面上に配置されたタッチセンサが検知したユーザの指の動きを示す情報である。もっとも、本発明に係る電子装置に利用するリモコンはかかるタッチリモコンに限られない。例えば、手で握ったリモコンを振るとか持ったまま走る、跳ぶといった動作によってリモコンを動かすことによって、掌、腕、頭、胴体、脚などの動きをリモコンに備えられたセンサで検知するものでもよい。即ち、ジェスチャ情報が示す動きの対象である「指など」には、指のほか、掌、腕、頭、胴体、脚などが含まれる。この場合において、指、掌、腕、頭、胴体、脚などの体の動きは、リモコンをこするとかリモコンを振るなどといったようなリモコンに対して直接加えられた動きである必要はなく、リモコンが何らかの形で検知できるものであればよい。例えば、カメラで撮影した映像の中から画像認識技術などを用いて体の動きを検出してリモコンに送信し、リモコンが当該検知信号に基づいてジェスチャ情報としてその体の動きを示す情報をジェスチャ情報取得部に送出する、といった構成であっても構わない。
リモコン自体は本発明に係る電子装置の必須の構成要素ではなく、電子装置外のリモコンから送られたジェスチャ情報を本発明に係る電子装置のジェスチャ情報取得部が取得するようになっていればよい。

図２は、本発明の電子装置に用いるリモコンの一例を示す図である。本図に示す「リモコン」０２９０はタッチリモコンの例であり、当該タッチリモコンは、「タッチ面」０２９１の略縦中心線と略横中心線に沿って略十字形に配置された「タッチセンサ」０２９２を有する。本図に示すタッチセンサは、複数のＬＥＤ素子を配置した例である。あるいは本図の例と異なり、タッチ面上に一個のタッチセンサだけを配置し、当該タッチセンサ上の指などの動きを複数箇所に配置された検知手段によって検知するようにしてもよい。
リモコン上におけるユーザの指などの動きとして、本例では主に指の動きを検知することとなる。検知の方法としては、例えば、指がタッチセンサの金属製パネルに触れた場合に当該パネルと指との間に生じる電圧の変化を検出するといった方法を用いればよい。なおこの場合、指がタッチセンサに完全に接触していなくても近傍にあれば電圧変化が生じ得るので、検知対象であるリモコン上におけるユーザの指の動きにはタッチセンサに近接した位置における動きも含まれる。この場合、例えば複数のタッチセンサ（あるいはタッチセンサが一個の場合は当該タッチセンサ上の複数の検知手段）の個々の位置座標を予め保持しておき、指が触れたタッチセンサの位置座標、接触の時間的先後関係などの情報からジェスチャ情報を取得することができる。

また、タッチリモコンから送出する信号をできるだけ簡単なものとするという観点からは、リモコン上における指の動きの検知結果をパターン化した情報としてジェスチャ情報を取得するようにしてもよい。リモコンが図２に示したようなタッチリモコンである場合の指の動きのパターンとして、例えば（１）縦方向に並んだ複数のタッチセンサ上を縦方向になぞる動作（以下「縦タッチスライド動作」という）、（２）横方向に並んだ複数のタッチセンサ上を横方向になぞる動作（同「横タッチスライド動作」）、（３）略円周上に並んだ複数のタッチセンサ上を略円を描くようになぞる動作（同「サークルトレース動作」）、（４）単数または一箇所に固まった複数のタッチセンサに指をあてがう動作（同「タップ動作」）などが考えられる。そこで、ジェスチャ情報取得部は、一定のルール（例えば、縦に並んだある特定の３つのタッチセンサが順次なぞられた場合には、縦方向スライド動作とみなすとのルール）に基づいて、検知結果を上記いずれかのパターンに分類してジェスチャ情報として取得するようにすればよい。その際、スライド・トレース動作であれば各タッチセンサの検知時間差の長短（換言すれば素早くなぞったかゆっくりなぞったか）によってパターンを区別したり、あるいはタップ動作であればどの位置のタッチセンサに触れたかでパターンを区別したりしてもよい。このように、パターンの定め方は、タッチリモコンから送出する信号をできるだけ簡単なものとするという要請に反しない範囲で、適切に設計することが可能な事項である。

（装置ステータス情報取得部）
「装置ステータス情報取得部」は、装置ステータス情報を取得するように構成されている。「装置ステータス情報」とは、ユーザに対して許容する複数の操作の組合せによって装置状態を区別するための情報である。装置ステータス情報の取得は、電子装置が操作対象装置自身である場合には、例えば自身の状態を判別して保持する装置ステータス情報をそのまま取得するようにすればよい。一方、電子装置が操作対象装置以外の装置である場合には、操作対象装置から通信手段を介して装置ステータス情報を取得するようにすればよい。
装置ステータス情報は、端的に言えば操作によって装置の状態（ステータス）を区別するための情報であり、その目的は、リモコンからの命令ではなく装置の状態に応じて電子装置側で解釈を加えた命令によって装置の操作を行うことを可能にすることにある。「操作・・・によって装置状態を区別する」とは、例えば操作が音量調整であれば装置状態は視聴状態であり、操作が特定のメニューの選択であれば装置状態はメニュー画面表示状態であるといったように区別がなされるという意味である。ただし、「操作・・・によって装置状態を区別する」といっても操作情報をトリガーとして装置状態を知るという意味ではない（つまり、リモコンからの信号送出段階で操作内容がすでに決まっていて、これに基づいて装置状態の区別がなされるという意味ではない）。あくまで、操作内容と装置状態が対応付けられていて操作の内容に応じて装置状態が区別されているという意味である。なお、装置ステータスの切換えは例えばリモコンに設けられた装置ステータス切換え用のボタン（例えば「メニューボタン」などと表示されたボタン）によって行われる。
また、「複数の操作の組合せ」とは、後述の解釈情報保持部の構成についての説明の中で述べるように、例えばテレビジョン装置の視聴状態における音量を大きくする音量調節、小さくする音量調節、昇順の選局、降順の選局、放送切換、消音・復帰といった操作の組合せやメニュー画面表示状態における下方向へのメニュー遷移、上方向へのメニュー遷移、右方向へのメニュー遷移、左方向へのメニュー遷移、ポインタ移動、決定といった操作の組合せをいう。本発明の特徴は単一の操作ではなく、このように操作の組合せによって装置ステータスを区別するようにした点にある。このように構成することで、後述のように解釈情報を用いて装置ステータスに応じた複数の操作の組合せの中からジェスチャ情報に従って解釈することによって操作命令を特定することが可能となっている。

また、「ユーザに対して許容する・・・操作」とは、その装置状態においてユーザにとって可能な操作をいう。例えば電子装置がテレビジョン装置の場合であれば、視聴状態における音量調整操作、選局操作や、メニュー画面表示状態における各メニューの選択・実行操作などが挙げられる。

（解釈情報保持部）
「解釈情報保持部」は、解釈情報保持するように構成されている。「解釈情報」とは、装置ステータス情報に応じて前記取得するジェスチャ情報が前記許容される操作のいずれに対する命令であるかを解釈するための情報をいう。解釈情報の保持は、例えば装置ステータス情報、ジェスチャ情報および許容される操作を対応付けたテーブル（以下「解釈情報テーブル」という）を保持することで行うようにしてもよい。

図３Ａ〜図３Ｃは、かかる解釈情報テーブルの一例を示す図である。いずれの図も電子装置がテレビジョン装置の場合の例である。また、いずれの図にでも、解釈情報テーブル０３０１において、装置ステータスは視聴状態とメニュー画面表示状態に区別されている。また、ジェスチャは縦タッチスライド動作（さらに上から下へのスライドと下から上へのスライドに区別される）、横タッチスライド動作（さらに左から右へのスライドと右から左へのスライドに区別される）、サークルトレース動作およびタップ動作に区別されている。そして、前記各装置ステータスに応じて、それぞれの状態の場合に前記各ジェスチャがどのような操作に係る命令であるかが対応付けられて保持されている。

例えば、図３Ａにおいては、視聴状態において上から下への縦タッチスライド動作がなされた場合は、音量調節（ボリュームをダウンさせる）という操作に対する命令であると解釈される。同様に、横タッチスライド動作は選局操作に対する命令であり、サークルトレース動作は放送切換（地上デジタル、ＢＳ、ＣＳなどの切換え）という操作に対する命令であり、タップ動作は消音（再度のタップ動作で出音への復帰）という操作に対する命令であると解釈される。
また、メニュー画面表示状態では、縦タッチスライド動作も横タッチスライド動作もメニュー遷移という操作に対する命令であると解釈されるようになっており、スライドの方向によってメニュー遷移の方向がそれぞれ視覚的にこれに対応する方向に対応付けられている。なお、ここでいうメニュー遷移とは、ディスプレイ画面内に表示されている複数のメニュー（例えば、映像調整、音声調整、省エネ設定などのメニュー。各メニューの内容については後述する）のうち現在選択可能なメニューとして強調表示などがなされる対象メニューを、強調表示位置を上下左右に動かすことで遷移させることを意味する。また、サークルトレース動作は画面上に現れているポインタを動作の方向に合わせて移動させるという操作に対する命令であり、タップ動作は選択可能なメニューを選択する決定を行うという操作に対する命令であると解釈される。このように、本例のメニュー画面表示状態におけるジェスチャは、すべて画面上での移動、選択に関する操作に対する命令となっている。
ここで想定するメニュー画面表示状態とは、ディスプレイの一部を用いてテレビジョン装置の操作のためのメニューを表示する画面をいい、典型的には映像コンテンツをディスプレイ内の一部の領域に縮小して表示し、残りの領域にメニューを表示するものである。あるいは、メニュー画面はディスプレイ全面に表示されるものであってもよい。
なお、本図は理解の容易のために簡単な例で示したが、実際には、ジェスチャ情報取得部の説明中で述べたように、タッチリモコンから送出する信号をできるだけ簡単なものとするという要請に反しない範囲で、ジェスチャはより詳細なパターンで定めることが考えられ、これに応じて命令の解釈基準はよりきめ細かく設定することが可能である。例えば、タップ情報に対応する操作は、タップの対象であるタッチセンサの座標位置に従ってそれぞれ異なる操作を対応付けるようにしてもよい。

図３Ｂは、解釈情報テーブルの別の一例を示す。本図では、視聴状態においてジェスチャに対応付けられている操作命令は図３Ａと同じであるが、メニュー画面表示状態にといてジェスチャに対応付けられている操作命令は、図３Ａのような移動、選択に関するものではなく、メニュー内容に関するものとなっている。具体的には、例えば縦タッチスライド動作（上から下へのスライド）には「画面サイズを変更する」とのメニューが対応付けられており、縦タッチスライド動作（下から上のスライド）には「タイマーで電源を切る」というメニューが対応付けられているといった具合である。また、タップ動作は図３Ａと同様に決定操作に対応付けられている。そこで、例えば、メニュー画面表示状態においてユーザがリモコン上で縦タッチスライド動作（上から下へのスライド）を行うと、「画面サイズを変更する」とのメニューが選択可能な状態となり、次にタップ動作を行うと当該メニューが選択され、その後の操作装置命令取得部および実行部の処理により画面サイズが変更されることになる。どのような画面サイズに変更するかは別途定めたルールを保持しておけばよく、この場合、当該ルールで変更後の画面サイズが一義的に特定されていれば当該メニューの選択によりその画面サイズへの変更が可能となる。あるいは、上述の例において、画面サイズを複数している場合は、装置ステータスを例えばメニュー画面表示状態（初期状態）、メニュー画面表示状態（画面サイズ変更メニュー選択状態）といったように細分化し、「画面サイズを変更する」とのメニューが選択された後は、メニュー画面表示状態（画面サイズ変更メニュー選択状態）において各ジェスチャに対応付けられている操作命令に従ってジェスチャに基づく解釈を行うようにしてもよい。

図３Ｃは、メニュー画面表示状態が細分化されている場合の例を示す。このような細分化は、上述の例のように選択された操作内容（上の例では画面サイズの変更）に対応する選択肢が複数ある場合（選択肢として複数の画面サイズ候補が示される場合）に有効である。また、メニューが階層的に構成されていて、上層のメニューを選択するとその下位にある複数のサブメニューが選択可能に表示されるといった場合にも有効である。本図ではこのような階層的メニューの例を示す。
本例では、装置ステータスのメニュー画面表示状態は、初期状態、映像調整メニュー選択状態、音声調整メニュー選択状態、（以下図示を省略するが）省エネ設定メニュー選択状態、本体設定メニュー調整状態、機能切換メニュー選択状態、デジタル設定メニュー選択状態、お知らせメニュー選択状態に細分化されている。なお、「映像調整」は、映像の明るさなどを好みの状態にするためのメニューであり、「音声調整」は、音声のバランスなどを好みの状態にするためのメニューであり、「省エネ設定」は、オフタイマーなど省エネのためのメニューであり、「本体設定」は、地域設定など使用環境に合わせた設置調整を行うためのメニューであり、「機能切換」は、ファミリンク（登録商標）などの機能設定・切換えを行うためのメニューであり、「デジタル設定」は、デジタル放送を視聴するためのメニューであり、「お知らせ」は、受信した情報を確認するためのメニューである。
また、本例では初期状態で特定のメニューが選択されると当該メニューのサブメニューを表示するとのルールが保持されている。そこで、初期状態で例えば縦タッチスライド動作（上から下へのスライド）がなされると、本テーブルに従って映像調整メニューが選択され、映像調整メニューが表示される。このとき装置ステータスは「映像調整メニュー選択状態」となり、この状態で次にジェスチャがなされると、本テーブルのうち「メニュー画面表示状態（映像調整メニュー選択状態）」における当該ジェスチャに対応付けられた操作に対する命令であると解釈されることとなる。例えば、縦タッチスライド動作（上から下へのスライド）がなされると当該ジェスチャ情報に基づいて「（画面の）明るさを暗くする」という操作に対する命令であると解釈され、以後当該命令が取得され、実行される。

なお、解釈情報は、ユーザが追加、変更または削除により編集できるようになっていてもよい。追加の例としては、図３Ａの例において、装置ステータスが視聴状態の場合においてジェスチャが横タッチスライド動作であるときに対応する操作命令が何も設定されていない場合に、ユーザが「選局」という操作命令を追加するといったものなどが挙げられる。変更の例としては、視聴状態におけるジェスチャの縦タッチスライド動作（上から下へのスライド）に対応する操作命令である音量調節を「ｄｏｗｎ」から「ｕｐ」に、縦タッチスライド動作（下から上へのスライド）に対応する操作命令である音量調節を「ｕｐ」から「ｄｏｗｎ」に変更するとか、縦タッチスライド動作の速度で操作命令を区別し、一定速度以上でスライドさせた場合には一定音量で変化させ、一定速度未満でスライドさせた場合はこれより小さい一定音量で変化させるというそれぞれの操作と対応付けるように変更するといったものなどが挙げられる。この場合、一定速度、一定音量の具体的内容は別途ルールとして定めて保持するようにしておけばよい。削除の例としては、追加の例とは逆に、装置ステータスが視聴状態の場合においてジェスチャが横タッチスライド動作であるときに対応する操作命令が「選局」である場合に、当該操作命令を削除して何も設定されていない状態にするといったものなどが挙げられる（この場合は、視聴状態のときにユーザがリモコンで横スライド動作を行っても何も起こらないことになる）。以上のようなユーザによる編集を行う方法としては、例えば、メニュー表示画面表示状態のときに表示させるメニューの中に編集用のメニューを設定しておき、その画面に従ってユーザによって入力された装置ステータス、ジェスチャとこれに対応する装置操作命令の内容を受け付けて、解釈情報保持部が保持する解釈情報の内容を書き換えるように構成すればよい。

（装置操作命令取得部）
「装置操作命令取得部」は、取得したジェスチャ情報と取得した装置ステータス情報とから解釈情報を用いて装置操作命令を取得するように構成されている。例えば、前出の図３の例に従えば、取得された装置ステータス情報がテレビジョン装置の視聴状態を示す情報である場合において、取得されたジェスチャ情報が上から下への縦タッチスライド動作を示す情報である場合には、同図に保持されている解釈情報を用いることによりボリュームをダウンさせるという音量調節を行えという装置操作命令が取得されることになる。

（実行部）
「実行部」は、取得した装置操作命令を実行するように構成されている。上の例に従えば、ボリュームをダウンさせるという音量調節を行えという装置操作命令が取得された場合に、当該命令を実行してボリュームをダウンさせるという音量調節を行う。

（その他）
以上では、電子装置がテレビジョン装置である場合を主に念頭において説明したが、上述のように本実施例の電子装置はこれに限られない。例えば、電子装置が例えば航空機の操縦装置（実機の操縦装置であっても訓練用やゲーム用のシミュレータなどであってもよい）の場合には、電子装置が航空機の進行方向をアイコン等で視覚的に表示できるディスプレイを備え、かかる表示を行う装置ステータスにおいてリモコンからの指の動きの検知結果を解釈して操縦に関する命令（例えば実機を上昇させる操作命令）を実行することができる。

（ハードウェア構成）
次に、本実施例の電子装置のハードウェア構成について説明する。
図４は本実施例の電子装置のハードウェア構成の一例を示す概略図である。本例の電子装置のディスプレイ出力部と、ジェスチャ情報取得部は、「記憶装置（記録媒体）」０４０１と、「メインメモリ」０４０２と、「ＣＰＵ」０４０３と、「Ｉ／Ｏ」０４０４とから構成される。装置ステータス情報取得部と、装置操作命令取得部と、実行部は、「記憶装置（記録媒体）」と、「メインメモリ」と、「ＣＰＵ」とから構成される。また、Ｉ／Ｏを介して「ディスプレイ」０４０５および「リモコン」０４０６が接続されている。
これらは「システムバス」０４０７などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。記憶装置はＣＰＵによって実行される各種プログラムなどを記憶している。またメインメモリは、プログラムがＣＰＵによって実行される際の作業領域であるワーク領域を提供する。また、このメインメモリや記憶装置にはそれぞれ複数のメモリアドレスが割り当てられており、ＣＰＵで実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。本例では、ディスプレイ出力プログラムとジェスチャ情報取得プログラムと装置ステータス情報取得プログラムと装置操作命令取得プログラムと実行プログラムが記憶装置に記憶されており、これらのプログラムは例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐する。

次に、各部のハードウェア構成の一例について説明する。
はじめに、ディスプレイ出力部のハードウェア構成について説明する。ディスプレイ出力プログラムは、映像コンテンツやメニュー画面などのＧＵＩ画面を、Ｉ／Ｏを介して接続されているディスプレイに出力する。
次に、ジェスチャ情報取得部のハードウェア構成について説明する。ジェスチャ情報取得プログラムは、リモコンから指動作の検知結果を示す信号をＩ／Ｏを介して受け付けてジェスチャ情報を取得する。その際、一定のルールに基づいて検知結果を一定のパターンに分類してジェスチャ情報を取得するようにしてもよい。この場合には、予め記憶装置に検知結果をパターンにあてはめるためのルールを保持しておき、ジェスチャ情報取得プログラムがこれをメインメモリに読み出し、検知結果を当該ルールと比較してジェスチャ情報を取得する。取得したジェスチャ情報はいったんメインメモリに格納される。
次に、装置ステータス情報取得部のハードウェア構成について説明する。装置ステータス情報取得プログラムは、装置ステータス情報を取得する。取得した装置ステータス情報もいったんメインメモリに格納される。
次に、解釈情報保持部のハードウェア構成について説明する。記憶装置には予め解釈情報がテーブル（解釈情報テーブル）等の形で保持されている。解釈情報テーブルの内容の一例は図３を用いて既に説明したとおりである。
次に、装置操作命令取得部のハードウェア構成について説明する。装置操作命令取得プログラムは、記憶装置から解釈情報テーブルをメインメモリに読み出すとともに、メインメモリに格納されている装置ステータス情報およびジェスチャ情報を、当該テーブルに保持されている解釈情報を用いて比較することで、装置操作命令を取得する。取得した装置操作命令もいったんメインメモリに格納される。
次に、実行部のハードウェア構成について説明する。実行プログラムは、前記装置操作命令取得プログラムが行った処理によってメインメモリに格納された装置操作命令に従って装置操作を実行する。

<処理の流れ>
図５は、本実施例の電子装置における処理の流れの一例を示す図である。まず、リモコンからの信号の送信があったかどうかの判断ステップＳ０５０１において、あったと判断された場合、ジェスチャ情報取得ステップＳ０５０２において、電子装置は、ジェスチャ情報を取得する。
次に、装置ステータス情報取得ステップＳ０５０３において、電子装置は、装置ステータス情報を取得する。
次に、解釈情報テーブル読出しステップＳ０５０４において、電子装置は、記憶装置などに記憶されている解釈情報テーブルをメインメモリに読み出す。
次に、装置操作命令取得ステップＳ０５０５において、電子装置は、前記ステップＳ０５０２において取得したジェスチャ情報と、前記ステップＳ０５０３において取得した装置ステータス情報とから、前記ステップＳ０５０４において読み出した解釈情報テーブルに保持されている解釈情報を用いて装置操作命令を取得する。
次に、装置操作命令実行ステップＳ０５０６において、電子装置は、前記ステップＳ０５０５において取得した装置操作命令を実行する。

<効果>
本実施例の発明により、リモコンを用いた電子装置の操作に際して、リモコンからの送出信号によって操作内容を一意的に特定するのではなく、これにリモコン外に保持されるルールに基づく解釈を加えることで操作内容を特定することができるようにした電子装置を提供することが可能となる。

<概要>
本実施例の電子装置は、基本的に実施例１の電子装置と共通するが、装置ステータス情報に応じたＧＵＩ画面を保持し、装置ステータス情報に応じてＧＵＩ画面をディスプレイに出力する手段を有する点にさらなる特徴を有する電子装置である。

<構成>
（全般）
図６は、本実施例の電子装置の機能ブロックの一例を示す図である。本図に示す「電子装置」０６００は、「ディスプレイ出力部」０６１０と、「ジェスチャ情報取得部」０６２０と、「装置ステータス情報取得部」０６３０と、「解釈情報保持部」０６４０と、「装置操作命令取得部」０６５０と、「実行部」０６６０と、「ＧＵＩ画面保持部」０６７０と、「ＧＵＩ画面送出部」０６８０とを有する。このうち、ＧＵＩ画面保持部とＧＵＩ画面送出部以外の各部の構成は実施例１で説明したところと共通するので説明を省略し、ここではＧＵＩ画面保持部とＧＵＩ画面送出部の構成について説明する。

（ＧＵＩ画面保持部）
「ＧＵＩ画面保持部」は、装置ステータス情報に応じたＧＵＩ画面を保持するように構成されている。「ＧＵＩ画面」とは、コンピュータを用いて作成した画像（コンピュータグラフィックス）であって、ユーザがポインティングデバイスを用いて直感的な操作を行うことができるようにしたものである。「装置ステータス情報に応じた」ＧＵＩ画面の保持とは、例えば電子装置がテレビジョン装置の場合において、装置ステータス情報が示す装置状態がメニュー画面表示状態のときにディスプレイ全体にメニュー画面を表示するためのＧＵＩ画面を保持するといった構成や、装置ステータス情報が示す装置状態が視聴状態のときに画面の右上に現在選局されているチャンネルを表示するためのＧＵＩ画面を保持するといった構成が該当する。ＧＵＩ画面は装置ステータス情報に応じて予め作成されたものを保持するようにすればよい（次に述べる図７に示すＧＵＩ画面は、このようにして予め作成された画面の一例である）。なお、装置状態によってはＧＵＩ画面をディスプレイに一切表示しないこととして、当該装置状態に応じたＧＵＩ画面を保持しない（例えばテレビジョン装置の視聴状態に応じたＧＵＩ画面を保持しない）といった構成も本実施例におけるＧＵＩ画面保持部の構成に含めてよい。

（ＧＵＩ画面送出部）
「ＧＵＩ画面送出部」は、前記取得する装置ステータス情報に応じて前記保持するＧＵＩ画面をディスプレイ出力部からディスプレイに出力するように構成されている。
図７は、本実施例の電子装置におけるＧＵＩ画面の一例を示す図である。このうち（ａ）は、ディスプレイに出力されたＧＵＩ画面の一例を示す。本図もテレビジョン装置の例であり、装置状態がメニュー画面表示状態のときに表示されているＧＵＩ画面の一例を示している。

本例では、メニュー画面に映像調整、音声調整、省エネ設定、本体設定、機能切換、デジタル設定、およびお知らせの七つのメニューを示すそれぞれのアイコンが表示されている。また、本例では当該テレビジョン装置の操作に利用するリモコンが図２に示したようなタッチセンサを略十字形に配置したタッチリモコンである。このためメニュー画面におけるこれら各メニューのアイコンも同様の略十字形に配置されている。例えば「映像調整」のメニューを示すアイコン０７１１は略十字形の最上端の位置に配置されている。また、本例では、ユーザにとっての視覚的な利便性を考えて、ＧＵＩ画面内の各アイコンの配置は、タッチリモコンから取得するジェスチャ情報が示す検知位置に対応する位置になっている。即ち、図７（ｂ）は、図２に示したタッチリモコンのうちタッチセンサ部分を拡大して示したものであるが、当該タッチセンサを形成する複数のＬＥＤ素子が破線で示す七つのエリアに区分されている。そして、それぞれのエリアがメニュー表示画面におけるアイコンの配置に対応している。例えば、（ｂ）に示す最上端のエリア（ここでは「上上エリア」と呼ぶ）０７１２がメニュー表示画面の最上端に配置された「映像調整」のアイコンに対応している。そこで、ユーザがタッチリモコン上で当該上上エリア０７１２に配置されているタッチセンサをタップした場合、映像調整のアイコンが選択される。ユーザはディスプレイ上のメニューアイコンを見ながらリモコン上の動作を行っているので、上上エリアのタッチセンサをタップすれば映像調整のアイコンが選択されることを直感的に把握しながら動作を行うことができ、ユーザにとって高い視覚的利便性が得られることになる。

ただし、ここでも重要なことは、リモコンは映像調整のアイコンを選択するという操作内容を特定する信号を送出しているわけではないということである。あくまで、リモコンから送出される信号は、上上エリアのタッチセンサがタップされたというジェスチャに関するものにすぎない。即ち、ここでもかかるジェスチャ情報と装置ステータス情報を解釈して操作内容が特定されることに変わりはない。

このため、本例においても、解釈情報が用いられる。図７（ｃ）にはかかる解釈情報を保持する解釈情報テーブル０７０１が示されている。本テーブルにおいては、例えば装置ステータス情報が示す装置ステータスの「メニュー画面表示状態」と、ジェスチャ情報が示すジェスチャの「上上エリアのタップ動作」と、操作内容である「映像調整」が対応付けられているので、かかる装置ステータス情報およびジェスチャ情報を取得した場合、「映像調整」を選択するという操作命令であると解釈されて、かかる操作が実行されることになる。他のメニューについても同様である。
なお、各メニューが階層的に構成されていてもよい点は実施例１に述べたところと同様である。

（ハードウェア構成）
次に、本実施例の電子装置のハードウェア構成について説明する。
図８は、本実施例の電子装置のハードウェア構成の一例を示す概略図である。ここでは、ＧＵＩ画面保持部とＧＵＩ画面送出部のハードウェア構成のみについて説明する。その余の各部の構成は実施例１で説明したところと同様であるので省略する。
本例の電子装置のＧＵＩ画面保持部は、「記憶装置（記録媒体）」０８０１と、「メインメモリ」０８０２と、「ＣＰＵ」０８０３とから構成される。また、ＧＵＩ画面送出部は、「記憶装置（記録媒体）」と、「メインメモリ」と、「ＣＰＵ」と「Ｉ／Ｏ」０８０４とから構成される。これらも「システムバス」０８０７などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。記憶装置はＣＰＵによって実行される各種プログラムなどを記憶している。またメインメモリは、プログラムがＣＰＵによって実行される際の作業領域であるワーク領域を提供する。本例では、実施例１で説明した電子装置と同様のプログラムのほか、ＧＵＩ画面送出プログラムが記憶装置に記憶されており、これらのプログラムは例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐する。以下、ＧＵＩ画面保持部とＧＵＩ画面送出部のハードウェア構成について説明する。

まず、ＧＵＩ画面保持部のハードウェア構成について説明する。記憶装置には、予め装置ステータスに応じて作成されたＧＵＩ画面が記憶されている。ＧＵＩ画面は装置ステータスの数に応じて複数保持されていてもよいし、ある装置ステータスについてはＧＵＩ画面を保持しないようにしてもよい。
次に、ＧＵＩ画面送出部のハードウェア構成について説明する。ＧＵＩ画面送出プログラムは、装置ステータス情報が示す装置ステータスがＧＵＩ画面を表示すると定められたものであるかどうか判断する。この結果、ＧＵＩ画面を表示すると定められたものであると判断した場合には、ＧＵＩ画面送出プログラムは、当該装置ステータスに対応するＧＵＩ画面を記憶装置からメインメモリに読み出す。このため、記憶装置には、予めどのような装置ステータスの場合にＧＵＩ画面を表示するかについてのルールが保持されていることが望ましく、これによりＧＵＩ画面送出プログラムは、当該ルールを適用してＧＵＩ画面を読み出すかどうかの判断を行うことが可能となる。次に、ＧＵＩ画面送出プログラムは、メインメモリに保持されているＧＵＩ画面をＩ／Ｏを介して接続されているディスプレイに送出する。送出されたＧＵＩ画面は、ディスプレイ出力プログラムがディスプレイに出力する。

<処理の流れ>
図９は、本実施例の電子装置における処理の流れの一例を示す図である。装置操作命令の実行のための全体の処理の流れは実施例１で説明したところと共通であるので、本図ではこれを省略し、ＧＵＩ画面をディスプレイに出力するための処理の流れについてのみ記載した。
まず、本実施例の電子装置は、装置ステータス情報を取得したか否かの判断ステップＳ０９０１において装置ステータス情報を取得したか否かの判断を行い、取得したと判断した場合には、次にその装置ステータスがＧＵＩ画面を表示すると定められた装置ステータスであるか否かの判断を行う（ステップＳ０９０２）。この判断は、例えば、予め保持されているどのような装置ステータスの場合にＧＵＩ画面を表示するかについてのルールに基づいて行われる。ここで、その装置ステータスがＧＵＩ画面を表示すると定められた装置ステータスであると判断された場合は、電子装置は、ＧＵＩ画面の読出しステップＳ０９０３においてＧＵＩ画面の読出しを行う。
次に、電子装置は、ＧＵＩ画面をディスプレイに送出し、当該画面をディスプレイに出力する（ステップＳ０９０４）。

<効果>

本発明により、リモコンを用いた電子装置の操作内容の特定に際して、ユーザに対してより視覚的な利便性を与えることでき、ユーザが操作内容を直感的に把握しながら動作を行うことが可能となる。

本実施例の電子装置は、基本的に実施例２の電子装置と共通する。ただし、本実施例の電子装置は、ＧＵＩ画面を表示する装置ステータスか否かが定められた装置ステータス情報テーブルを有し、このテーブルを用いた判断の結果ＧＵＩ画面を表示しないと定められた装置ステータスであると判断された場合は、ＧＵＩ画面の表示なしに装置操作命令を実行するように構成されている点に特徴を有する。

<構成>
（装置ステータス情報テーブル）
本実施例の電子装置は、基本的に実施例２の電子装置と共通する。ただし、本実施例の装置は、「装置ステータス情報テーブル」を有する。「装置ステータス情報テーブル」は、装置ステータスに応じてＧＵＩ画面を表示するか表示しないかを定めるテーブルである。具体的には、例えば、電子装置がテレビジョン装置の場合に、装置ステータスが視聴状態であればＧＵＩ画面を表示せず、装置ステータスがメニュー画面表示状態であればＧＵＩ画面を表示すると定めるテーブルなどが考えられる。

（実行部）
実行部は、取得した装置ステータスがＧＵＩ画面を表示しないと定められた装置ステータスである場合にはＧＵＩ画面の表示なしに前記取得された装置操作命令を実行するように構成されている。装置操作命令の実行に係る構成は実施例１、２で述べたところと同様である。即ち、装置操作命令取得部が取得したジェスチャ情報と取得した装置ステータス情報とから解釈情報を用いて装置操作命令を取得し、実行部が当該装置操作命令を実行する。例えば、上述のような装置ステータス情報テーブルが保持されている場合において、装置ステータスが視聴状態である場合には、実行部はＧＵＩ画面を表示せずに、例えばジェスチャ情報が縦タッチスライド動作を示す情報に対応付けられている音量調節操作を実行する。

本例の目的は、ＧＵＩ画面を表示することによりユーザに対してより高い視覚的利便性を与えることができる構成においても、ＧＵＩ画面を表示する必要がない場合には、これを省略して直ちに装置操作命令の実行を行うことで、不要な手順を省いて効率的な処理の実行を可能にすることにある。例えば、上述の例であれば、テレビジョン装置の視聴状態においては、メニュー画面表示状態と比較して対象となる操作の種類が多くなく、ユーザにとってＧＵＩ画面によって操作内容を視覚的に確認する必要性が乏しいことから、ＧＵＩ画面を表示せずに直ちに音量調節や選局などの操作を実行するようにした方が効率的であることから、このような構成が望ましいといえる。

<処理の流れ>
図１０は、本実施例の電子装置における処理の流れの一例を示す図である。本図でも、装置操作命令の実行のための全体の処理の流れは実施例１で説明したところと共通であるので省略し、ＧＵＩ画面をディスプレイに出力するための処理の流れおよびその後の装置操作命令の実行に係る処理の流れについてのみ記載した。
本図に示す処理の流れは基本的に図９で示した実施例２の処理の流れと共通する。ただし、取得した装置ステータスがＧＵＩ画面を表示すると定められた装置ステータスであるか否かの判断ステップＳ１００２においてＧＵＩ画面を表示すると定められた装置ステータスではないと判断された場合、電子装置はＧＵＩ画面を出力するためのステップ（ステップＳ１００３およびＳ１００４）を経ることなく直ちに解釈情報テーブル読出しステップＳ１００５に移行し、当該処理を実行する。その後の処理の流れは実施例１における処理の流れと同様である。

<効果>
本実施例の発明により、ＧＵＩ画面を表示することによりユーザに対してより高い視覚的利便性を与えることができる構成においても、ＧＵＩ画面を表示する必要がない場合には、これを省略して直ちに装置操作命令の実行を行うことで、不要な手順を省いて効率的な処理の実行が可能となる。

<概要>
本実施例の電子装置は、基本的に実施例１から３のいずれか一の電子装置と共通する。ただし、本実施例の電子装置は、実行部がリモコンから操作種別を特定した命令を受けて直接的に装置操作命令を実行する手段を有する点に特徴を有する。

<構成>
（実行部：直接操作手段）
図１１は、本実施例の電子装置の機能ブロックの一例を示す図である。本図に示す「電子装置」１１００は、「ディスプレイ出力部」１１１０と、「ジェスチャ情報取得部」１１２０と、「装置ステータス情報取得部」１１３０と、「解釈情報保持部」１１４０と、「装置操作命令取得部」１１５０と、「実行部」１１６０とを有する。「実行部」は、「直接操作手段」１１６１を有する。また、図示は省略したが、本実施例の電子装置は、このほか「ＧＵＩ画面保持部」と「ＧＵＩ画面送出部」を有していてもよい。さらにこれに加えて、「装置ステータス情報テーブル」を有し、「実行部」が取得した装置ステータスがＧＵＩ画面を表示しないと定められた装置ステータスである場合にはＧＵＩ画面の表示なしに取得された装置操作命令を実行するように構成されていてもよい。以上の構成のうち、実行部の直接操作手段以外の構成は実施例１などで説明したところと共通するので説明を省略し、ここでは実行部の直接操作手段の構成について説明する。

（実行部：直接操作手段）
「直接操作手段」は、リモコンから操作種別を特定した特定操作命令を受けて直接的に装置操作命令を実行するように構成されている。

「直接的に装置操作命令を実行する」とは、ジェスチャ情報と装置ステータス情報とから解釈情報を用いて装置操作命令を取得するという手順を経ることなく、リモコンから送信される信号に含まれる装置操作命令をそのまま実行するという意味である。従って「リモコンから受ける「操作種別を特定した特定操作命令」は、そのまま装置操作命令として実行可能な程度に特定された命令をいい、内容的には装置操作命令と同じものである。つまり、従来のボタン式のリモコンと同様にリモコンから送信される段階ですでに特定された操作命令として送信されるものである。

即ち、本構成は、本発明の基本的な特徴である「リモコン（特にタッチリモコン）を用いた電子装置の操作に際してリモコンからの送出信号によって操作内容を一意的に特定するのではなく、これにリモコン外に保持されるルールに基づく解釈を加えることで操作内容を特定することができるようにする」ための構成を備えつつも、かかる構成を用いずに装置操作命令の実行処理を行う方が望ましい場合があり得ることから、かかる処理のための構成を付加したものである。例えば、テレビジョン装置の視聴状態においては、ユーザによるリモコン操作として音量調節操作や選局操作が考えられるが、多くのメニューの中から特定のメニューを選択して操作する場合などと異なり、この程度の操作であれば、解釈情報を用いた本発明特有の構成を用いるまでもなく、従来と同様にリモコンから直接操作命令を送信しても差し支えないと考えられる。なぜなら、この程度の操作であれば、リモコンから送出する信号をはできるだけ簡単なものとするという要請に反することはないし、かえってユーザが意図する操作が直截に実行されるという点でユーザにとっても利便性が高まることも考えられるからである。そこで、本実施例の電子装置は、必要な場合にこのような操作方法法を選択できるように、かかる直接操作手段を構成に加えたものである。

いかなる場合にこの直接操作手段を用いるかを予め定めておいてもよい。このための構成として、例えば本実施例の装置は、直接操作の対象となる操作を列挙したテーブルを予め記憶装置に保持するとともに、当該対象となる操作に限り従来のリモコンと同様直接操作内容を特定した信号を送出するように構成されたリモコンを用いることとして、当該リモコンから当該信号をＩ／Ｏを介して受信するように構成することが考えられる。
あるいは、いかなる場合にこの直接操作手段を用いるかをユーザが選択可能なようにしてもよい。例えば、リモコンに従来と同様の直接操作内容を特定した信号を送出する手段と、指の動きの検知信号を送出する手段の両方を備えたうえで、ユーザがリモコンに設けられた切換えボタンなどを利用してどちらの手段を用いるかを選択できるようにするという構成が考えられる。この場合、本実施例の装置は、ユーザによって直接操作が選択された場合には直接操作を行うとのルールを予め記憶装置に保持しており、ユーザの入力に基づく選択内容をリモコンからＩ／Ｏを介して受け付け、その選択内容が直接操作であれば当該ルールを適用して直接操作を行うようにすればよい。

<効果>
本実施例の発明により、必要な場合にリモコンからの直接操作方法を選択できるようにすることで、リモコンから送出する信号をできるだけ簡単なものとするという要請に反することなしに、ユーザが意図する操作を直截に実行するようにしてユーザにとっての利便性を高めることができる。

<概要>
本実施例の電子装置は、基本的に実施例１から４のいずれか一の電子装置と共通する。ただし、本実施例の電子装置は、仮想画面をディスプレイに仮装配置して保持する手段と、ジェスチャ情報に従って出力中の画面を仮想画面に切り換える命令に解釈する情報を保持する手段を有する点に特徴を有する。

<構成>
（全般）
図１２は、本実施例の電子装置の機能ブロックの一例を示す図である。本図に示す「電子装置」１２００は、「ディスプレイ出力部」１２１０と、「ジェスチャ情報取得部」１２２０と、「装置ステータス情報取得部」１２３０と、「解釈情報保持部」１２４０と、「装置操作命令取得部」１２５０と、「実行部」１２６０と、「仮想画面保持部」１２９０を有する。「解釈情報保持部」は、「仮想画面選択解釈情報保持手段」１２４１を有する。また、図示は省略したが、本実施例の電子装置は、このほか「ＧＵＩ画面保持部」と「ＧＵＩ画面送出部」を有していてもよい。さらにこれに加えて、「装置ステータス情報テーブル」を有し、「実行部」が取得した装置ステータスがＧＵＩ画面を表示しないと定められた装置ステータスである場合にはＧＵＩ画面の表示なしに取得された装置操作命令を実行するように構成されていてもよい。また、「実行部」は「直接操作手段」を有していてもよい。以上の構成のうち、仮想画面保持部と解釈情報保持部の仮想画面選択解釈情報保持手段以外の構成は実施例１などで説明したところと共通するので説明を省略し、ここでは仮想画面保持部と解釈情報保持部の仮想画面選択解釈情報保持手段の構成について説明する。

（仮想画面保持部）
「仮想画面保持部」は、仮想画面をディスプレイに出力中の画面に対して上下、左右、右上、右下、左上または左下のいずれか一以上の組合せにて仮想配置し、選択可能に保持するように構成されている。「仮想画面」とは、ディスプレイに出力中の画面に対して上述の位置、即ちディスプレイ上には現れない位置に仮想配置されている画面をいう。

図１３は、仮想画面について説明するための図であり、このうち（ａ）は仮想配置の一例を示す図である。本図の例では、ディスプレイ１３１０に出力中の画面（Ａ）の上下左右の取り囲む位置に仮想画面（Ｂ）〜（Ｉ）が配置されている。仮想画面は、後述のように出力を切り換える命令を実行するだけでディスプレイに出力することができる画面であり、前出のＧＵＩ画面と同様、予め作成されて記憶装置などに保持されている画面である。本図の例では、仮想画面はディスプレイに出力中の画面に隣接する位置にのみ配置されているが、さらにその外側の位置（例えば（Ｃ）のさらに上の位置や（Ｅ）のさらに左の位置）などディスプレイに出力中の画面に隣接しない位置にも配置されていてもよい。この仮想画面も前出のＧＵＩ画面と同様に装置ステータスに応じて作成されたものであることが望ましく、装置ステータスによっては仮想画面を保持しない場合があってもよいこともＧＵＩ画面と同様である。

（解釈情報保持部：仮想画面選択解釈情報保持手段）
「解釈情報保持部」の「仮想画面選択解釈情報保持手段」は、仮想画面選択解釈情報を保持するように構成されている。「仮想画面選択解釈情報」は、取得したジェスチャ情報に従って出力中の画面が仮想配置された仮想画面に切り換える命令に解釈する情報である。
図１３（ｂ）は、仮想画面選択解釈情報を含む解釈情報テーブルの一例を示す。本図のテーブル１３０１には、装置ステータス情報およびジェスチャ情報に対応付けられた仮想画面選択解釈情報が保持されている。例えば、装置ステータスがメニュー画面表示状態であって、ジェスチャが縦タッチスライド動作（上から下へのスライド）である場合に、当該ジェスチャ情報に従って出力中の画面（Ａ）を仮想画面（Ｈ）に切り換える命令であると解釈する旨の情報が対応付けられて保持されている。また、（Ｈ）の下の位置にも仮想画面が配置されている場合にさらに当該画面に切り換えるには、例えばディスプレイに新たに出力された元の（Ｈ）の位置にあった画面を新たな（Ａ）の画面とし、（Ｈ）の下の位置にあった画面を新たな（Ｈ）の画面として、同様のジェスチャ情報に従って同様の解釈を行えばよい。また、本図の（Ｂ）、（Ｄ）、（Ｇ）、（Ｉ）の例のように左上などの斜めの位置に仮想画面が配置されている場合に、ディスプレイに出力中の画面（Ａ）からこれらの画面に切り換えるには、縦タッチスライド動作と横タッチスライド動作の組合せによってこれを行ってもよいが、何らかのジェスチャを斜めに配置された画面に直接切り換える命令であると解釈するようにしてもよい。
これにより、装置操作命令取得部が出力中の画面を仮想画面に切り換えるとの命令を取得し、実行部が当該命令を実行することができ、もってディスプレイに出力された画面を仮想画面に切り換えることが可能となる。

（ハードウェア構成）
次に、本実施例の電子装置のハードウェア構成について説明する。
図１４は、本実施例の電子装置のハードウェア構成の一例を示す概略図である。ここでは、仮想画面保持部と解釈情報保持部のハードウェア構成のみについて説明する。その余の各部の構成は実施例１で説明したところと同様であるので省略する。
本例の電子装置の仮想画面保持部と、解釈情報保持部（仮想画面選択解釈情報保持手段を含む）は、「記憶装置（記録媒体）」１４０１と、「メインメモリ」１４０２と、「ＣＰＵ」１４０３とから構成される。これらも「システムバス」１４０７などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。次に各部のハードウェア構成について説明する。
まず、仮想画面保持部のハードウェア構成について説明する。記憶装置には予め作成された仮想画面が保持されている。仮想画面は、前出の図１３の例のように複数画面保持されていてもよい。また仮想画面は、装置ステータスに応じて作成されたものであることが望ましく、従って、複数種類の仮想画面が保持されていてもよい。
次に、解釈情報保持部の仮想画面選択解釈情報保持手段のハードウェア構成について説明する。当該手段の構成は、基本的に実施例１において解釈情報保持部の構成について述べたところと同様であり、保持する解釈情報に仮想画面選択解釈情報が含まれている点のみが異なる。

<処理の流れ>
図１５は、本実施例の電子装置における処理の流れの一例を示す図である。本図でも、装置操作命令の実行のための全体の処理の流れは実施例１で説明したところと共通であるので省略し、ディスプレイに出力された画面を仮想画面に切り換えるための処理の流れについてのみ記載した。
仮想画面が存在するか否かの判断ステップＳ１５０１において、存在するとの判断がなされた場合、解釈テーブルの読出しステップＳ１５０２において、電子装置は、記憶装置に記憶されている解釈情報テーブルをメインメモリに読み出す。本実施例ではこの解釈情報テーブル中に仮想画面選択解釈情報が保持されている。
次に、装置操作命令の取得ステップＳ１５０３において、電子装置は、既に取得されているジェスチャ情報および装置ステータス情報（本図では取得ステップの記載を省略）に対応付けられている仮想画面選択解釈情報の解釈に従って、出力中の画面を仮想画面に切り換える装置操作命令を取得する。
さらに、装置操作命令実行ステップＳ１５０４において、電子装置は、当該命令を実行する。これによりディスプレイに出力中の画面の仮想画面への切換えが行われる。

<効果>
本実施例の発明により、ディスプレイに出力された画面の仮想画面への切換えについても、リモコン自体の構成はできるだけシンプルなものとした上で、より多くの操作内容の実行が可能となる。

Claims (8)

1. ディスプレイ出力部と、
   リモコンからユーザの指などの動きを示す情報であるジェスチャ情報を取得するジェスチャ情報取得部と、
   ユーザに対して許容する複数の操作の組合せによって装置状態を区別するための情報である装置ステータス情報を取得する装置ステータス情報取得部と、
   装置ステータス情報に応じて前記取得するジェスチャ情報が前記許容される操作のいずれに対する命令であるかを解釈するための解釈情報を保持する解釈情報保持部と、
   取得したジェスチャ情報と取得した装置ステータス情報とから解釈情報を用いて装置操作命令を取得する装置操作命令取得部と、
   取得した装置操作命令を実行する実行部と、
   を有する電子装置。
2. 装置ステータス情報に応じたＧＵＩ画面を保持するＧＵＩ画面保持部と、
   前記取得する装置ステータス情報に応じて前記保持するＧＵＩ画面をディスプレイ出力部からディスプレイに出力するＧＵＩ画面送出部と、
   をさらに有する請求項１に記載の電子装置。
3. 装置ステータスに応じてＧＵＩ画面を表示するか表示しないかを定める装置ステータス情報テーブルを有し、
   実行部は、取得した装置ステータスがＧＵＩ画面を表示しないと定められた装置ステータスである場合にはＧＵＩ画面の表示なしに前記取得された装置操作命令を実行する請求項２に記載の電子装置。
4. 実行部は、リモコンから操作種別を特定した特定操作命令を受けて直接的に装置操作命令を実行する直接操作手段を有する請求項１から３のいずれか一に記載の電子装置。
5. 仮想画面をディスプレイに出力中の画面に対して上下、左右、右上、右下、左上または左下のいずれか一以上の組合せにて仮想配置し、選択可能に保持する仮想画面保持部を有し、
   前記解釈情報保持部には取得したジェスチャ情報に従って出力中の画面が仮想配置された仮想画面に切り換える命令に解釈する仮想画面選択解釈情報を保持する仮想画面選択解釈情報保持手段を有する請求項１から４のいずれか一に記載の電子装置。
6. 前記電子装置を備えたテレビジョン装置。
7. 前記電子装置を備えた操縦装置。
8. リモコンからユーザの指などの動きを示す情報であるジェスチャ情報を取得するジェスチャ情報取得ステップと、
   ユーザに対して許容する複数の操作の組合せによって装置状態を区別するための情報である装置ステータス情報を取得する装置ステータス情報取得ステップと、
   取得したジェスチャ情報と取得する装置ステータス情報とから、装置ステータス情報に応じて前記取得するジェスチャ情報が前記許容される操作のいずれに対する命令であるかを解釈するための解釈情報を用いて装置操作命令を取得する装置操作命令取得ステップと、
   取得した装置操作命令を実行する実行ステップと、
   を有する電子装置の操作命令実行プログラム。

Images