JP2015014998A - 操作システム - Google Patents

Abstract

【課題】従来のリモコン装置による操作感を得ることが可能となる仮想的なタッチスクリーンディスプレイを実現する操作システムを提供する。
【解決手段】タッチパネルのタッチが検出されると、タッチパネル面上の空中を仮想的に操作する仮想的なホバリング操作がされたとしてタッチ位置を示す２次元座標情報と正の値である高さ位置情報を生成するホバリング操作モードへ移行し、前記仮想的なホバリング操作中に特定操作が受付けられると、仮想的なタッチ操作がされたとしてタッチ位置を示す２次元座標とゼロの値である高さ位置情報を生成する座標情報生成部と、キー画像に対して前記仮想的なホバリング操作の２次元位置に対応する表示位置に所定のホバリングカーソルを表示部に重畳表示させる表示制御部と、前記仮想的なタッチ操作がされると、対応するキーに割り当てられた機能情報を出力する機能情報出力部と、を備える。
【選択図】図１

Description

本発明は、タッチパネルを用いた操作システムに関する。

従来のタッチパッド型のユーザインタフェース装置では、一般的に、指先によるタッチ操作によって表示装置に重畳表示されるポインティングカーソルを移動させて、表示装置の表示画面内のオブジェクト（リンク情報やボタン機能など）を選択して機能を実行させる。

しかしながら、上記のような仮想的なポインティングカーソル操作では、画面表示されるオブジェクトに対する直接的な操作を実行できるものの、従来のリモコン装置によるキー操作のようなインタフェースを実現することはできなかった。

また、特許文献１には、タッチパッドと、該タッチパッドよりも比較的遠方に設置されたディスプレイを備える自動車用入出力装置が開示されている。この従来の自動車用入出力装置では、タッチパッドと操作指との距離に応じてディスプレイに表示させるカーソルの濃淡、大きさなどを変化させるとともに、タッチパッドに操作入力された絶対座標情報に基づいて、カーソルを絶対座標情報に対応する位置に表示させる。

特開２０１０−６１２２４号公報

上記特許文献１によれば、ユーザはタッチパッドの有る手元を見ずにディスプレイを見ながらカーソル操作を行うことができる。一般的にスマートフォンなどではタッチパネルとディスプレイが一体化されており、ユーザはディスプレイを見ながらタッチパネルにより操作を行える。上記特許文献１ではタッチパッドとディスプレイは離れて配置されるので、仮想的なタッチスクリーンディスプレイが実現されていると言える。

しかしながら、上記特許文献１でも、従来のリモコン装置によるキー操作のようなインタフェースは実現されていない。

なお、タッチパネルと液晶表示部を併せ持つ学習機能付きのリモコン装置が従来存在し、このリモコン装置では、リモコン装置側の表示画面にキーが表示され、その位置をタッチすることによってタッチ操作によるキー操作を実現させていた。しかしながら、このリモコン装置では、ユーザは手元にあるリモコン装置側の表示部を見ながら操作する必要があり、上記仮想的なタッチスクリーンディスプレイは実現されていなかった。

上記状況に鑑み、本発明は、従来のリモコン装置による操作感を得ることが可能となる仮想的なタッチスクリーンディスプレイを実現する操作システムを提供することを目的とする。

上記目的を達成するために本発明の一態様に係る操作システムは、タッチパネルと、
前記タッチパネルのタッチが検出されると、前記タッチパネルのタッチパネル面上の空中を仮想的に操作する仮想的なホバリング操作がされたとして前記タッチパネルのタッチ位置を示す２次元座標情報と正の値である高さ位置情報を生成するホバリング操作モードへ移行し、前記仮想的なホバリング操作中に特定操作が受付けられると、仮想的なタッチ操作がされたとして前記タッチパネルのタッチ位置を示す２次元座標とゼロの値である高さ位置情報を生成する座標情報生成部と、
遠隔操作用のキー画像に対して、前記仮想的なホバリング操作の２次元位置に対応する表示位置に所定のホバリングカーソルを表示部に重畳表示させる表示制御部と、
前記仮想的なタッチ操作がされると、前記仮想的なタッチ操作の２次元位置に対応するキーに割り当てられた機能情報を出力する機能情報出力部と、を備える構成としている。

このような構成によれば、ユーザがタッチパネルをタッチすると座標情報生成部はホバリング操作モードへ移行し、実際はタッチパネルにタッチして操作する仮想的なホバリング操作に対応してホバリングカーソルがキー画像に重畳されて表示される。そして、仮想的なホバリング操作中に特定操作を行うと、仮想的にホバリング状態からタッチパネルがタッチされたとして機能情報が出力される。機能情報の出力により、対応する機能が発現される。

ユーザは、タッチパネルから離れて存在する表示部に重畳表示されるキー画像とホバリングカーソルを見ながら、手元のタッチパネルは見ないでホバリング操作を行ってホバリングカーソルを操作し、特定操作を行えばホバリングカーソルが位置するキーに割り当てられた機能情報が出力される。従って、従来のリモコン装置による操作感を得ることが可能となる仮想的なタッチスクリーンディスプレイを実現できる。

また、ホバリング操作はタッチパネルにタッチして行うので、ホバリングカーソルが所望の位置で確実に特定操作を行い、機能情報の出力により所望の機能を確実に発現させることができる。

また、前記仮想的なタッチ操作がされると、前記表示制御部は、前記ホバリングカーソルから所定のタッチカーソルに表示を変化させる構成としてもよい。

このような構成によれば、ホバリングカーソルからタッチカーソルに表示が変化することにより、タッチ操作により機能情報が出力されたことがユーザに分かり易くなる。

また、前記特定操作の後、前記タッチパネルのタッチが解除されると、前記表示制御部は、前記キー画像と前記タッチカーソルの表示を解除させる構成としてもよい。

また、前記仮想的なホバリング操作中に前記タッチパネルのタッチが解除されると、前記表示制御部は、前記キー画像と前記ホバリングカーソルの表示を解除させる構成としてもよい。

また、前記特定操作は、前記タッチパネルの同一位置における一定時間の継続したタッチ操作、所定の操作キーの押し操作、前記タッチパネル上において同一位置でタッチ操作が継続した後一定時間以内のタッチ解除後に、再度タッチする一連の操作、及び、前記ホバリング操作モードへ移行するための前記タッチとは別の操作物によるタッチ操作のうち少なくともいずれかであることとしてもよい。

また、本発明の別の態様に係る操作システムは、タッチパネルと、
遠隔操作用のキー画像に対して、前記タッチパネルのタッチパネル面上の空中を実際に操作するホバリング操作の２次元位置に対応する表示位置に所定のホバリングカーソルを表示部に重畳表示させる表示制御部と、
前記ホバリング操作から前記タッチパネルをタッチするタッチ操作に切替えられると、前記タッチ操作の２次元位置に対応するキーの機能情報を出力する機能情報出力部と、を備える構成としている。

このような構成によれば、ユーザは、タッチパネル面上の空中を実際に操作する実ホバリング操作を行うことでキー画像に重畳表示されるホバリングカーソルを操作し、実ホバリング操作中に実際にタッチパネルをタッチすることでホバリングカーソルが位置するキーの機能情報が出力される。従って、従来のリモコン装置による操作感を得ることが可能となる仮想的なタッチスクリーンディスプレイを実現できる。また、本構成であれば、よりユーザにとって感覚的な操作性を実現できる。

また、前記タッチパネルを有する操作装置と、前記操作装置の把持姿勢の傾き或いは傾きを伴う動きを検出する検出部を更に備え、前記表示制御部は、前記検出部による検出結果に応じて前記キー画像の表示位置を変更する構成としてもよい。

このような構成によれば、キー画像を感覚的な操作により所望の位置に移動させることができ、キー画像が下層の画像の視認の妨げになることを防げる。

また、前記表示制御部は、前記ホバリング操作へ移行したときの操作物の前記タッチパネル面上の２次元位置に応じて前記キー画像の表示位置を変更する構成としてもよい。

このような構成によれば、ホバリング操作へ移行したときの操作物の位置によりキー画像を所望の位置に表示させることができ、キー画像が下層の画像の視認の妨げになることを防げる。

また、キー入力を必要とする局面であると判断する判断部を更に備え、前記判断部による判断があると、前記キー画像と前記ホバリングカーソルの重畳表示制御が可能となるキー入力モードへ自動的に移行する構成としてもよい。

本発明によると、従来のリモコン装置による操作感を得ることが可能となる仮想的なタッチスクリーンディスプレイを実現できる。

本発明の一実施形態に係る全体システム構成を示す図である。 本発明の一実施形態に係る操作装置のブロック構成図である。 本発明の一実施形態に係る処理装置のブロック構成図である。 本発明の一実施形態に係るテレビ装置のブロック構成図である。 本発明の一実施形態に係る操作装置による３次元座標出力動作に関するフローチャートである。 本発明の一実施形態に係る処理装置の制御動作に関するフローチャートである。 本発明の一実施形態に係るキー画像とホバリングカーソルの重畳表示を示す図である。 本発明の一実施形態に係るキー画像とタッチカーソルの重畳表示を示す図である。 本発明の一実施形態に係る全体システムにおける指での操作状態を示す図である。

＜第１実施形態＞
以下に本発明の一実施形態について図面を参照して説明する。本発明の第１実施形態に係る操作システムとテレビ装置から成るシステム構成を図１に示す。図１に示すシステムは、タッチパネル１０１を備えた操作装置１と処理装置２から成る操作システムと、テレビ装置３とから構成される。図１に示すシステムでは、ユーザがテレビ装置３の表示画面３５１を見ながら操作装置１のタッチパネル１０１を操作でき、仮想的なタッチスクリーンディスプレイが実現される。

操作装置１は、タッチパネル１０１の他に、後述する操作キー１１を備えている。操作装置１は、例えば、プラットフォームの一つであるアンドロイド（登録商標）に従った処理を行う。

テレビ装置３は、先述のように表示画面３５１を有する。処理装置２は、操作装置１との間で、例えば、近距離無線通信規格の１つであるBluetooth（登録商標）に従って無線通信を行い、所定の情報を送受する。

また、処理装置２は、テレビ装置３にＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブルＣを介して接続されており、テレビ装置３に所定の画像情報を提供する。なお、処理装置２とテレビ装置３とは、無線通信を行うことができるようにしてもよい。また、本実施形態では、操作装置１と処理装置２とが別個に設けられているが、この例には限られず、操作装置１及び処理装置２の各々の機能を有する装置単体としてもよい。

本実施形態に係る操作装置１のブロック構成図を図２に示す。操作装置１は、図２に示すように、ＳＯＣ（System-On-a-Chip）１２０と、タッチパネル１０１と、操作キー１１と、無線通信インタフェース１０９と、アンテナ１１０を備えている。

タッチパネル１０１は、例えば静電容量方式のタッチパネルであり、指などの操作物によりタッチされた２次元的な位置（図１に示すＸ,Ｙ座標位置）を検出する。なお、タッチパネル１０１自体は２次元的な位置を検出するが、操作装置１としては後述するように、仮想的なタッチパネル面に垂直方向の高さ位置情報（図１に示すＺ座標位置）も２次元座標情報に加えて出力する。

ＳＯＣ１２０では、以下の構成要素が内部バス１０３に接続されている。ＳＯＣ１２０
は、タッチパネルインタフェース１０２と、操作キーインタフェース１０４と、メモリ１０５と、ＣＰＵ（Central Processing Unit）１０６と、座標情報生成部１０７と、通信インタフェース１０８を備える。

タッチパネルインタフェース１０２は、タッチパネル１０１をＳＯＣ１２０に接続する
ためのインタフェースである。

操作キーインタフェース１０４は、操作キー１１をＳＯＣ１２０に接続するためのインタフェースである。操作キーインタフェース１０４は、操作キー１１が操作されたことを表す情報（例えば信号のオン期間を表す情報）を受け付け、当該情報をＣＰＵ１０６に出力する。

メモリ１０５は、操作装置１が動作するために必要な各種の制御プログラムが格納されている記憶媒体である。メモリ１０５には、制御プログラムの１つとして、先述のアンドロイド（登録商標）を構成するプログラムが予めインストールされている。

ＣＰＵ１０６は、メモリ１０５に格納された制御プログラム、例えば、アンドロイド（登録商標）によって作動することにより制御部としての機能を果たす。

通信インタフェース１０８は、無線通信インタフェース１０９をＳＯＣ１２０に接続するためのインタフェースである。

座標情報生成部１０７は、後述するように、タッチパネル１０１により検出されたタッチ位置の２次元座標情報に加えて、仮想的な高さ位置情報を生成・出力する。

操作キー１１は、後述する特定操作を行うための操作キーである。なお、特定操作の定義によっては、操作キー１１は必須ではない。

無線通信インタフェース１０９は、アンテナ１１０を通じてＳＯＣ１２０が処理装置２との間で無線通信を行うためのインタフェースである。

次に、本実施形態に係る処理装置２のブロック構成を図３に示す。処理装置２は、図３に示すように、アンテナ２１と、無線通信部２２と、制御部２３と、ＨＤＭＩインタフェース２４を備えている。

無線通信部２２は、アンテナ２１を介して操作装置１との間で、各種の情報を無線を通じて送受するユニットである。

制御部２３は、例えばアンドロイド（登録商標）が予め記憶されたメモリと、ＣＰＵを備え、処理装置２を制御する。

また、制御部２３は、座標情報変換部２３Ａを機能部として有しており、この機能部はソフトウェア的に実現される。座標情報変換部２３Ａについては後述する。

ＨＤＭＩインタフェース２４は、各種画像情報などの各種情報をＨＤＭＩ規格に準拠してＨＤＭＩケーブルＣ（図１）を介して制御部２３がテレビ装置３との間で送受するユニットである。

次に、本実施形態に係るテレビ装置３のブロック構成を図４に示す。テレビ装置３は、図４に示すように、ＨＤＭＩインタフェース３１と、制御部３２と、ＯＳＤ（オンスクリーンディスプレイ）部３３と、映像出力部３４と、表示部３５を備えている。

なお、テレビ装置３は、当然ながらチューナ等の放送受信に関する構成や音声出力に関する構成も有しているが、図４では図示を省略している。

ＨＤＭＩインタフェース３１は、処理装置２が備えるＨＤＭＩインタフェース２４（図３）との間で画像情報等の各種情報を送受するユニットである。

制御部３２は、テレビ装置３を統括的に制御する制御装置であり、例えばマイコンで構成される。

ＯＳＤ部３３は、制御部３２による指示によりオンスクリーンディスプレイ用の表示データを生成するユニットである。例えば、メニュー画面や後述するキー表示画像、カーソル画像などの表示データがＯＳＤ部３３により生成される。

映像出力部３４は、ＯＳＤ部３３から入力される表示データを表示部３５に適した映像信号に変換して表示部３５に出力する。なお、映像出力部３４は、放送受信による映像とオンスクリーンディスプレイの映像を重畳する機能も有する。

表示部３５は、例えば液晶表示部により構成され、表示画面３５１（図１）を有する。表示部３５は、映像出力部３４から入力される映像信号に基づき表示画面３５１に映像を表示させる。

次に、操作装置１による３次元座標出力動作について図５に示すフローチャートを用いて説明する。

図５に示すフローチャートが開始されると、ステップＳ１で、操作装置１の座標情報生成部１０７は待機状態となる。そして、タッチパネル１０１がタッチパネル面上のタッチを検出しない間は待機状態が継続される（ステップＳ２のＮ）。

ステップＳ２でタッチパネル１０１がタッチパネル面上のタッチを検出すると（ステップＳ２のＹ）、ステップＳ３に進み、座標情報生成部１０７は、タッチ位置の２次元座標情報（Ｘ，Ｙ）と、高さ位置情報（Ｚ＞０、即ちＺは正の所定値）を生成し、無線通信インタフェース１０９及びアンテナ１１０を介して処理装置２へ出力する。

ステップＳ３の後、ステップＳ４で、タッチパネル１０１がタッチパネル面上のタッチを検出しない場合は（ステップＳ４のＮ）、ステップＳ１に戻り、座標情報生成部１０７は待機状態に戻る。一方、ステップＳ４で、タッチパネル１０１がタッチパネル面上のタッチを検出した場合は（ステップＳ４のＹ）、ステップＳ５に進む。

ステップＳ５で、特定操作が受付けられていない場合は（ステップＳ５のＮ）、ステップＳ３に戻り、座標情報生成部１０７は、タッチ位置の２次元座標情報と正値の高さ位置情報を生成、出力する。

ここで、特定操作とは、例えば次の４つの操作となる。
（１）タッチパネル１０１の同一位置における一定時間の継続したタッチ操作
（２）操作キー１１の押し操作
（３）タッチパネル１０１上において同一位置でタッチ操作が継続した後一定時間以内のタッチ解除後に、再度タッチする一連の操作
（４）ステップＳ２で検出されたタッチとは別の操作物（指など）によるタッチ操作

ステップＳ５で、上記４つの特定操作のうちいずれかが受付けられた場合（ステップＳ５のＹ）、ステップＳ６に進む。なお、特定操作は、上記４つの操作のうち少なくともいずれかと定義してもよい。例えば、上記４つの操作のうちいずれか１つのみの操作を特定操作と定義してもよい。また、上記（２）の操作を特定操作としない場合は、操作キー１１は設けない構成としてもよい。

ステップＳ６で、座標情報生成部１０７は、タッチ位置の２次元座標情報（Ｘ，Ｙ）と、０の値である高さ位置情報（Ｚ＝０）を生成し、無線通信インタフェース１０９及びアンテナ１１０を介して処理装置２へ出力する。そして、ステップＳ４へ戻る。

以上が図５に示すフローチャートの処理となるが、ステップＳ２でタッチが検出された後、特定操作以外のタッチ操作がされる間はステップＳ３によりタッチ位置の２次元座標と正の値である高さ位置情報が出力される。つまり、実際にはタッチパネル１０１のタッチパネル面上をタッチ操作しているが、仮想的にタッチパネル面上の空中を操作している、即ち仮想ホバリング操作をしているとして正の値の高さ位置情報を含めた３次元座標が出力される。従って、ステップＳ２でタッチが検出されると、ホバリング操作モードへ移行していることとなる。

このような仮想ホバリング操作中に特定操作がされると、ステップＳ６でタッチ位置の２次元座標と共に０の値である高さ位置情報が出力される。つまり、仮想的にタッチパネル面上の空中を操作している状態からタッチパネル面上をタッチする操作、即ち仮想タッチ操作がされたとして値が０である高さ位置情報を含めた３次元座標が出力される。

なお、ステップＳ６の後、特定操作以外のタッチ操作がされると（ステップＳ５のＮ）、ステップＳ３へ戻り、ホバリング操作モードへ移行する。また、ステップＳ６の後、タッチ操作が解除されていれば（ステップＳ４のＮ）、ステップＳ１に戻って待機状態となる。

次に、上述した操作装置１の３次元座標出力動作と連動した処理装置２の制御動作について、図６に示すフローチャートを用いて説明する。

図６に示すフローチャートが開始されると、ステップＳ１１で、処理装置２の制御部２３は、操作装置１からアンテナ２１及び無線通信部２２を介して３次元座標情報（２次元座標情報と高さ位置情報）を受信したかを監視し、受信した場合（ステップＳ１１のＹ）、ステップＳ１２に進む。

ステップＳ１２で、制御部２３は、リモコン装置のキーの画像を表示するキー画像情報と、上記キー画像をテレビ装置３（表示部３５）に表示させる所定位置を示す座標情報をＨＤＭＩインタフェース２４を介してテレビ装置３へ送信する。それと共に制御部２３は、ホバリングカーソルを表示するホバリングカーソル画像情報と、上記ホバリングカーソルをテレビ装置３に表示させる所定位置を示す座標情報もＨＤＭＩインタフェース２４を介してテレビ装置３へ送信する。これにより、テレビ装置３の表示部３５には、所定の位置にキー画像とホバリングカーソルが重畳表示される。

キー画像とホバリングカーソルの重畳表示の一例を図７に示す。図７の例では、キー画像７１Ａ、７１Ｂ及び７１Ｃと、ホバリングカーソル７２が重畳表示されている。キー画像７１Ａは上下左右の十字キーを示し、キー画像７１Ｂは決定キーを示し、キー画像７１Ｃは「戻る」キー（前の画面に戻るなどのためのキー）を示す。また、キー画像とホバリングカーソルは、例えばメニュー画面などの基本画面に対して重畳表示される。

なお、キー画像は、図７の例に限らず、例えば音量キー、チャンネルキーなど各種キーを採用してよい。

ステップＳ１２の後、ステップＳ１３で制御部２３が操作装置１から３次元座標情報を受信すると（ステップ１３のＹ）、ステップＳ１５に進み、制御部２３は受信した高さ位置情報は正の値（Ｚ＞０）であるか否かを判定する。もし正の値であれば（ステップＳ１５のＹ）、ステップＳ１６に進み、制御部２３は、座標情報変換部２３Ａにより、受信した２次元座標（Ｘ，Ｙ）をテレビ装置３の表示部３５における表示位置の座標に変換し、変換した座標情報をＨＤＭＩインタフェース２４を介してテレビ装置３へ送信する。これにより、表示部３５において送信した座標情報の位置にホバリングカーソルを表示させる。そして、ステップＳ１３に戻る。

なお、ステップＳ１３で３次元座標情報を受信しない場合は（ステップＳ１３のＮ）、ステップＳ１４に進み、制御部２３は、テレビ装置３へＨＤＭＩインタフェース２４を介して制御信号を送ることにより、表示部３５におけるキー画像とホバリングカーソルの表示を解除させる。

また、ステップＳ１５で、受信した高さ位置情報が０である場合（ステップＳ１５のＮ）、ステップＳ１７に進み、制御部２３は、タッチカーソルを表示するタッチカーソル画像情報をＨＤＭＩインタフェース２４を介してテレビ装置３へ送信し、表示部３５におけるホバリングカーソルの表示をタッチカーソルの表示に変化させる。タッチカーソルの表示例を図８に示す。図８では、タッチカーソル８１が表示されている。タッチカーソルは、ホバリングカーソルと形状、色などを異ならせる。

それと共に、制御部２３は、座標情報変換部２３Ａにより、ステップＳ１３で受信した２次元座標を表示部３５における表示位置の座標に変換し、変換した座標位置のキーに対応する機能情報をＨＤＭＩインタフェース２４を介してテレビ装置３へ送信する（対応する機能情報がない場合は、機能情報は出力しない）。ＨＤＭＩ通信では、機能情報は例えばＣＥＣ（Consumer Electronics Control）コマンドとして送信される。

例えば、図７の例であれば、十字キーであるキー画像７１Ａの上下左右の各表示位置、決定キーであるキー画像７１Ｂの表示位置、「戻る」キーであるキー画像７１Ｃの表示位置の各表示位置に対応して各機能情報が割り当てられる。

テレビ装置３側では、ＨＤＭＩインタフェース３１が処理装置２から送信された機能情報を受信し、受信した機能情報に対応する制御動作を制御部３２が行う。例えば、十字キーのキー画像に対応する機能情報を受信した場合は、表示部３５に表示されるメニュー画面において項目選択を移動させる、「戻る」キーに対応する機能情報を受信した場合は、表示部３５において前の画面を表示させる、などである。

ステップＳ１７の後、ステップＳ１８で制御部２３が操作装置１から３次元座標情報を受信すると（ステップＳ１８のＹ）、ステップＳ２０に進み、制御部２３は、受信した高さ位置情報が０の値であるか否かを判定する。もし高さ位置情報が０の値であれば（ステップＳ２０のＹ）、ステップＳ１８へ戻る。

一方、高さ位置情報が正の値（Ｚ＞０）である場合は（ステップＳ２０のＮ）、ステップＳ２１に進み、制御部２３は、座標情報変換部２３Ａにより、ステップＳ１８で受信した２次元座標を表示部３５における表示位置の座標に変換し、変換した座標情報とホバリングカーソル画像情報をＨＤＭＩインタフェース２４を介してテレビ装置３へ送信する。これにより、テレビ装置３側では、表示部３５においてタッチカーソルからホバリングカーソルの表示へ変更される。この際、送信された座標情報の位置にホバリングカーソルが表示される。

ステップＳ２１の後は、ステップＳ１３へ戻る。また、ステップＳ１８で３次元座標情報を受信しない場合は（ステップＳ１８のＮ）、ステップＳ１９に進み、制御部２３は、制御信号をＨＤＭＩインタフェース２４を介してテレビ装置３へ送信することにより、表示部３５におけるキー画像とタッチカーソルの表示を解除させる。そして、ステップＳ１１へ戻る。

図５及び図６で示す処理を総合的に説明すると次の通りとなる。タッチパネル１０１をユーザが指でタッチすると操作装置１０１はホバリング操作モードへ移行し、仮想ホバリング操作（実際にはタッチパネル面上をタッチ操作）がされている間は正の値である高さ位置情報（Ｚ＞０）を含む３次元座標情報が操作装置１から処理装置２へ出力される（図５のステップＳ３）。

これにより、処理装置２側では、キー画像とホバリングカーソルをテレビ装置３に重畳表示させ（図６のステップＳ１２）、以降、操作装置１から受信した２次元座標（Ｘ，Ｙ）に対応する表示位置にホバリングカーソルを表示させる（ステップＳ１６）。即ち、仮想ホバリング操作として指をタッチパネル面上で移動させると、ホバリングカーソルが対応して移動表示される（図７の例では、ホバリングカーソル７２が移動する）。

そして、仮想ホバリング操作中に特定操作がなされると（例えば指を止めるなど）、操作装置１は仮想タッチ操作がされたとして、０の値である高さ位置情報（Ｚ＝０）を含む３次元座標情報を処理装置２へ出力する（ステップＳ６）。

これにより、処理装置２側では、テレビ装置３にホバリングカーソルからタッチカーソルに表示を変化させると共に、仮想タッチ操作がされた２次元座標位置に対応するキー画像の機能情報をテレビ装置３へ出力する（ステップＳ１７）。即ち、仮想タッチ操作がされたタッチパネル面上の位置に仮想的なキー（一例として図９の仮想キー９１）が存在するとした場合に、そのキー相当の機能情報が出力される。従って、テレビ装置３は機能情報に従った制御動作を行う。

このように本実施形態によれば、ユーザは、手元のタッチパネル１０１を見ないで、テレビ装置３の表示画面３５１に表示されたリモコン装置のキー画像を見ながら、仮想ホバリング操作及び仮想タッチ操作を行うことで、従来のリモコン装置による操作感を得ることができる。即ち、従来のリモコン装置による操作感を得ることが可能となる仮想的なタッチスクリーンディスプレイを実現できる。

また、仮想ホバリング操作中にタッチを解除すると（ステップＳ４のＮ）、操作装置１の座標情報生成部１０７が待機状態となるので（ステップＳ１）、処理装置２によってキー画像とホバリングカーソルの表示が解除される（ステップＳ１４）。

また、仮想タッチ操作の後、タッチを解除すると（ステップＳ４のＮ）、操作装置１の座標情報生成部１０７が待機状態となるので（ステップＳ１）、処理装置２によってキー画像とタッチカーソルの表示が解除される（ステップＳ１９）。

また、仮想タッチ操作の後、仮想ホバリング操作に移行すると（ステップＳ６→Ｓ４のＹ→Ｓ５のＮ）、処理装置２によってタッチカーソルの表示がホバリングカーソルの表示へ切替わる（ステップＳ２１）。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。本実施形態に係る操作装置、処理装置及びテレビ装置は、上記第１実施形態と基本的に同様の構成（図２〜図４）を採用できる。

但し、本実施形態では、操作装置１において、座標情報生成部１０７、操作キー１１などは不要であり、タッチパネル１０１はタッチパネル面上の指などの操作物の３次元位置を検出し、検出された３次元座標情報（Ｘ，Ｙ，Ｚ）が無線通信インタフェース１０９及びアンテナ１１０を介して処理装置２へ出力される。即ち、タッチパネル１０１のタッチパネル面上の空中に操作物が位置する場合は、操作物の高さ位置に応じた正の値の高さ位置情報（Ｚ＞０）を含む３次元座標情報が出力され、タッチパネル面上に操作物がタッチしている場合は、０の値の高さ位置情報（Ｚ＝０）を含む３次元座標情報が出力される。

本実施形態に係る処理装置２の制御動作については、上述した図６に示したフローチャートと同様であるので、以下、図６に沿って本実施形態に係る操作装置１の座標出力処理と併せて説明する。なお、操作物はユーザの指として説明する。

まず、タッチパネル１０１のタッチパネル面から高さ方向に所定距離以内に指を近付けると、タッチパネル１０１が反応し、タッチパネル１０１は指の３次元位置を検出し、３次元座標情報が操作装置１から処理装置２へ出力される。これにより、処理装置２側では、３次元座標情報を受信し（ステップＳ１１のＹ）、キー画像とホバリングカーソルをテレビ装置３に重畳表示させる（ステップＳ１２）。

そして、タッチパネル面上の空中を指で操作、いわば実ホバリング操作をする間、正の値である高さ位置情報（Ｚ＞０）を含む３次元座標情報が操作装置１から処理装置２へ出力される。これにより、処理装置２側では、テレビ装置３に、受信された２次元座標情報に対応する位置にホバリングカーソルを表示させる（ステップＳ１６）。

そして、実ホバリング操作からタッチパネル面のタッチ操作に切替えられると（いわば実タッチ操作がされると）、０の値である高さ位置情報（Ｚ＝０）を含む３次元座標情報が操作装置１から処置装置２へ出力される。これにより、処理装置２側では、テレビ装置３にホバリングカーソルからタッチカーソルに表示を変化させると共に、機能情報をテレビ装置３へ出力する（ステップＳ１７）。

このように本実施形態によれば、ユーザは、手元のタッチパネル１０１を見ないで、テレビ装置３の表示画面３５１に表示されたリモコン装置のキー画像を見ながら、実ホバリング操作及び実タッチ操作を行うことで、従来のリモコン装置による操作感を得ることができる。

なお、本実施形態では、実ホバリング操作をしているときにタッチパネル面を見ていないので思わずタッチパネル面にタッチして実タッチ操作してしまう場合がある。その点では、上記第１実施形態のように、実際にはタッチパネル面にタッチして操作する仮想ホバリング操作中に、特定操作によって仮想タッチ操作を行う実施形態のほうが、より確実な操作が可能となり望ましい。

また、本実施形態では、実ホバリング操作中に指をタッチパネル面上の空間から退避させると、操作装置１は３次元座標情報を出力しなくなるので、処理装置２によってキー画像とホバリングカーソルの表示が解除される（ステップＳ１４）。

また、実タッチ操作の後、指をタッチパネル面上の空間から退避させると、操作装置１は３次元座標情報を出力しなくなるので、処理装置２によってキー画像とタッチカーソルの表示が解除される（ステップＳ１９）。

また、実タッチ操作の後、実ホバリング操作に移行すると、処理装置２によってタッチカーソルの表示がホバリングカーソルの表示へ切替わる（ステップＳ２１）。

＜その他の変形例について＞
例えば、操作装置１において加速度センサを設け、操作装置１の把持姿勢の傾き、或いは傾きを伴う動きを検出するようにしてもよい。この場合、検出結果を操作装置１から処置装置２へ送信し、処理装置２側では、テレビ装置３に、受信された検出結果に応じてキー画像の表示位置を変更させる。これにより、ユーザが操作装置１の把持姿勢の傾きを変化させたり、或いは把持姿勢を傾けて動かすことにより、キー画像の表示位置を変更でき、キー画像が下層の画像の視認の妨げになることを防げる。

また、例えば、ホバリング操作へ移行したときの指などの操作物の２次元位置（第１実施形態であればタッチパネル面をタッチした位置、第２実施形態であればタッチパネル面に指などを近付けた位置）に応じてキー画像の表示位置を変更してもよい。即ち、図６のステップＳ１１で受信した２次元座標情報の位置に応じて、ステップＳ１２でキー画像の表示位置を変更する。例えば、２次元位置がタッチパネル面の中央、左側、または右側であれば、それに応じてキー画像も画面の中央、左側、または右側に表示させる。これにより、ユーザ所望の表示位置にキー画像を表示できるので、キー画像が下層の画像の視認の妨げになることを防げる。

また、例えば、テレビ装置３側でキー入力が必要となった局面（例えばメニュー画面の表示など）と判断すると、テレビ装置３から処理装置２へ制御信号が出力され、処理装置２の制御部２３がキー入力モードへ自動に移行してもよい。制御部２３がキー入力モードへ移行すると、例えば図６に示す処理が可能となってもよい。また、キー入力モードへ移行したときに制御部２３がキー画像をテレビ装置３に表示させ、キー入力モードへ移行したことをユーザに分かり易くしてもよい。

以上、本発明の実施形態について説明したが、本発明の趣旨の範囲内であれば、実施形態は種々の変更が可能である。

例えば、上記実施形態では、機能情報を処理装置２から出力するようにしていたが、操作装置１から処理装置２を介して出力するようにしてもよい。即ち、第１実施形態であれば、特定操作（図５のステップＳ５）がされた場合にタッチされた２次元位置に対応したキーの機能情報を操作装置１から出力すればよい。第２実施形態であれば、実タッチ操作をしたときのタッチの２次元位置に対応するキーの機能情報を操作装置１から出力すればよい。

また、例えば、操作装置においてタッチパネルと一体化した表示部を設け、表示部にキー画像を表示してもよい。これにより、ユーザはテレビ装置のみならず操作装置に表示されたキー画像も念のため確認することができる。

また、例えば、処理装置とテレビ装置は、単体のテレビ装置として構成してもよい。また、テレビ装置に限らず、例えばハードディスクレコーダ、光ディスクレコーダや、パーソナルコンピュータなどに適用することも可能である。

１ 操作装置
１１ 操作キー
１０１ タッチパネル
１０２ タッチパネルインタフェース
１０３ 内部バス
１０４ 操作キーインタフェース
１０５ メモリ
１０６ ＣＰＵ
１０７ 座標情報生成部
１０８ 通信インタフェース
１０９ 無線通信インタフェース
１１０ アンテナ
１２０ ＳＯＣ
２ 処理装置
２１ アンテナ
２２ 無線通信部
２３ 制御部
２４ ＨＤＭＩインタフェース
３ テレビ装置
３１ ＨＤＭＩインタフェース
３２ 制御部
３３ ＯＳＤ部
３４ 映像出力部
３５ 表示部
３５１ 表示画面
７１Ａ〜７１Ｃ キー画像
７２ ホバリングカーソル
８１ タッチカーソル
９１ 仮想キー

Claims (9)

1. タッチパネルと、
   前記タッチパネルのタッチが検出されると、前記タッチパネルのタッチパネル面上の空中を仮想的に操作する仮想的なホバリング操作がされたとして前記タッチパネルのタッチ位置を示す２次元座標情報と正の値である高さ位置情報を生成するホバリング操作モードへ移行し、前記仮想的なホバリング操作中に特定操作が受付けられると、仮想的なタッチ操作がされたとして前記タッチパネルのタッチ位置を示す２次元座標とゼロの値である高さ位置情報を生成する座標情報生成部と、
   遠隔操作用のキー画像に対して、前記仮想的なホバリング操作の２次元位置に対応する表示位置に所定のホバリングカーソルを表示部に重畳表示させる表示制御部と、
   前記仮想的なタッチ操作がされると、前記仮想的なタッチ操作の２次元位置に対応するキーに割り当てられた機能情報を出力する機能情報出力部と、
   を備える操作システム。
2. 前記仮想的なタッチ操作がされると、前記表示制御部は、前記ホバリングカーソルから所定のタッチカーソルに表示を変化させることを特徴とする請求項１に記載の操作システム。
3. 前記特定操作の後、前記タッチパネルのタッチが解除されると、前記表示制御部は、前記キー画像と前記タッチカーソルの表示を解除させることを特徴とする請求項２に記載の操作システム。
4. 前記仮想的なホバリング操作中に前記タッチパネルのタッチが解除されると、前記表示制御部は、前記キー画像と前記ホバリングカーソルの表示を解除させることを特徴とする請求項１〜請求項３のいずれか１項に記載の操作システム。
5. 前記特定操作は、前記タッチパネルの同一位置における一定時間の継続したタッチ操作、所定の操作キーの押し操作、前記タッチパネル上において同一位置でタッチ操作が継続した後一定時間以内のタッチ解除後に、再度タッチする一連の操作、及び、前記ホバリング操作モードへ移行するための前記タッチとは別の操作物によるタッチ操作のうち少なくともいずれかであることを特徴とする請求項１〜請求項４のいずれか１項に記載の操作システム。
6. タッチパネルと、
   遠隔操作用のキー画像に対して、前記タッチパネルのタッチパネル面上の空中を実際に操作するホバリング操作の２次元位置に対応する表示位置に所定のホバリングカーソルを表示部に重畳表示させる表示制御部と、
   前記ホバリング操作から前記タッチパネルをタッチするタッチ操作に切替えられると、前記タッチ操作の２次元位置に対応するキーの機能情報を出力する機能情報出力部と、
   を備える操作システム。
7. 前記タッチパネルを有する操作装置と、前記操作装置の把持姿勢の傾き或いは傾きを伴う動きを検出する検出部を更に備え、前記表示制御部は、前記検出部による検出結果に応じて前記キー画像の表示位置を変更することを特徴とする請求項１〜請求項６のいずれか１項に記載の操作システム。
8. 前記表示制御部は、前記ホバリング操作へ移行したときの操作物の前記タッチパネル面上の２次元位置に応じて前記キー画像の表示位置を変更することを特徴とする請求項１〜請求項７のいずれか１項に記載の操作システム。
9. キー入力を必要とする局面であると判断する判断部を更に備え、前記判断部による判断があると、前記キー画像と前記ホバリングカーソルの重畳表示制御が可能となるキー入力モードへ自動的に移行することを特徴とする請求項１〜請求項８のいずれか１項に記載の操作システム。

Images