JP2014219768A - 情報処理装置及び情報処理システム - Google Patents

Abstract

【課題】外部の表示装置だけを見て自然な感覚で手元のタッチパネルをタッチすることが可能な情報処理装置、及びこれを用いた情報処理システムを提供する。【解決手段】指先の座標位置を利用する第１座標生成モードを含む複数の座標生成モードを有する座標情報生成部１１６と、ある座標生成モードから別の座標生成モードに切り替える特定操作を受け付ける受付部１１６Ｂを有し、タッチパネル１０１にタッチされた位置の平面上の二次元座標と、高さ情報（Ｚ）と、を座標生成モードに応じて生成する座標情報生成部１１６を備え、タッチパネル１０１は透明であり、表示部１０と一体的に構成されることによってタッチスクリーンディスプレイ１０００として機能し、演算処理部１０８は、タッチパネル１０１のタッチ操作に連動して、座標生成モードに応じたカーソル画像を画像に重畳させ、カーソル画像が重畳された画像を表示装置に出力する。【選択図】図２

Description

本発明は、タッチパネルを有する情報処理装置、及びこれを用いた情報処理システムに関する。

近時、タッチパネルを操作対象として、タッチパネルにおける操作を表示画面に反映させる技術が存在する。

特許文献１には、操作キーを表す画像が表示された表示画面に指を対向させると、表示画面の指と対向する位置に、表示画面と指との間の距離に応じたカーソルを表示させる技術が開示されている。

また、特許文献２では、表示機能を兼ね備えたタッチパネルにおいてペン先をタッチさせると、タッチされた位置を、タッチパネルと外部の表示装置に表示させている。

特開２０１０−６１２２４号公報 特許第４０４４２５５号公報

ところが、特許文献１記載の技術では、表示画面に表示されたオブジェクトを選択して移動させる際には、指先を表示画面から常に一定の高さの範囲を保持しながら動かさないといけない。このように、指先を表示画面から常に一定の高さの範囲を保持しながら動かすには熟練を要し、操作性が良いとはいえない。

また、特許文献２記載の技術では、タッチパネルにおけるペン先のタッチ位置は外部の表示装置に表示されるが、タッチ直前の位置は外部の表示装置に表示されないため、ユーザは、ペン先のタッチ操作を、外部の表示装置ではなく手元のタッチパネルを見ながら行う必要があった。よって、特許文献１と同様に使い勝手が良いとはいえない。

本発明は、上述の課題を解決するためになされたものであり、外部の表示装置だけを見て自然な感覚で手元のタッチパネルをタッチすることが可能な情報処理装置、及びこれを用いた情報処理システムを提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る情報処理装置は、タッチされた平面上の座標位置を検出するタッチパネルと、表示部と、前記表示部に表示されている画像を外部の表示装置に出力する画像出力部と、演算処理部と、前記外部の表示装置を前記画像出力部に接続して前記画像を出力させる場合に、前記タッチパネルにおける指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する座標情報生成部と、ある座標生成モードから別の座標生成モードに切り替えるための特定操作を受け付ける受付部を有し、前記タッチパネルにタッチされた位置の平面上の二次元座標と、前記座標生成モードに応じて予め定められた高さ情報である、前記タッチパネルのタッチパネル面に対して垂直方向の高さ情報（Ｚ）と、を前記座標生成モードに応じて生成する座標情報生成部と、を備え、前記タッチパネルは透明であり、前記表示部と一体的に構成されることによってタッチスクリーンディスプレイとして機能し、前記演算処理部は、前記外部の表示装置を前記画像出力部に接続して画像出力させる場合に、前記タッチパネルのタッチ操作に連動して、前記座標生成モードに応じたカーソル画像を前記画像に重畳させ、前記カーソル画像が重畳された前記画像を前記表示装置に出力する。

この構成によると、指先をタッチパネル上に置いたままで、タッチパネル面におけるタッチ位置の平面上の二次元座標と、タッチパネル面に対して垂直方向の高さ情報（Ｚ
とを、座標生成モードに応じて生成するので、ユーザは、指先を表示画面から常に一定の高さの範囲を保持しながら動かす必要がない。

そのため、ユーザは、表示画面と指との距離に惑わされることなく、ストレスなく、情報処理装置を操作することができる。

また、外部の表示装置を画像出力部に接続して画像出力させる場合に、タッチパネルのタッチ操作に連動して、画像生成モードに応じたカーソル画像を重畳させるので、タッチパネルにおけるタッチ操作を、あたかも、表示装置側で行っているように感じさせることができる。

その結果、外部の表示装置だけを見て自然な感覚で手元のタッチパネルをタッチすることが可能な情報処理装置を提供することができる。

また、本発明の他の態様に係る情報処理装置は、タッチされた平面上の座標位置を検出するタッチパネルと、表示部と、前記表示部に表示される画像を外部の表示装置に出力する画像出力部と、演算処理部と、前記外部の表示装置を前記画像出力部に接続して前記画像を出力させる場合に、前記タッチパネルにおける指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する座標情報生成部と、ある座標生成モードから別の座標生成モードに切り替えるための特定操作を受け付ける受付部を有し、前記タッチパネルにタッチされた位置の平面上の二次元座標と、前記座標生成モードに応じて予め定められた高さ情報である、前記タッチパネルのタッチパネル面に対して垂直方向の高さ情報（Ｚ）と、を前記座標生成モードに応じて生成する座標情報生成部と、を備え、前記タッチパネルは透明であり、前記表示部と一体的に構成されることによってタッチスクリーンディスプレイとして機能するとともに、マウス操作相当機能を実現するタッチパッドとして機能し、前記演算処理部は、前記外部の表示装置を前記画像出力部に接続して画像出力させる場合に、前記タッチパネルのタッチ操作に連動してマウスカーソル画像を前記画像に重畳させ、前記マウスカーソル画像が重畳された前記画像を前記表示装置に出力する。

この構成によると、外部の表示装置を画像出力部に接続して画像出力させる場合に、タッチパネルのタッチ操作に連動してマウスカーソル画像を重畳させるので、外部の表示装置だけを見て自然な感覚で手元のタッチパネルを操作してマウスカーソル画像を移動させることができる。

また、前記タッチパネルは、タッチパネル面における指先のタッチ位置を検出する機能と共に、前記タッチパネル面の上空に存在する指先の前記タッチパネル面に対する高さを検出する機能を併せ持ち、前記タッチパネル面の上空の前記指先の三次元位置情報を三次元座標情報として生成する３Ｄ操作モードと、前記タッチパネル面の上空に指先が存在する場合に検出される前記三次元位置情報を利用せずに、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する２Ｄ操作モードとの２つの操作モードを持つ座標情報生成部を備え、前記座標情報生成部は、（１）前記３Ｄ操作モードの場合、前記指先が、前記タッチパネル面にタッチしている場合も含め、前記タッチパネル面上から一定高さ以内の三次元空間内に存在する場合に、前記指先の検出位置を三次元座標として生成し、（２）前記２Ｄ操作モードの場合、前記タッチパネルにタッチされた位置の平面上の二次元座標と、前記タッチパネル面に対して垂直方向の高さ情報（Ｚ）とを座標生成モードに応じて生成してもよい。

この構成によると、指先が、タッチパネル面上から一定の高さの範囲以内の三次元空間内に存在する場合に、指先の検出位置を三次元座標として生成する３Ｄ操作モードを有する。

３Ｄ操作モードとは、言い換えれば、指先をタッチパネル面から一定の高さの範囲内に位置させると、指先のタッチパネル面における二次元座標を表す平面位置情報と、指先とタッチパネル面からの高さを表す高さ情報と、を含む三次元位置情報を、外部の処理装置に出力するモードである。このモードでは、外部の処理装置は、指先とタッチパネル面との間の距離に応じたカーソルを、平面位置情報で表される座標位置に表示させる。

このような３Ｄ操作モードを有する操作装置は、２Ｄ操作モードでは、タッチパネルにタッチされた位置の平面上の二次元座標と、タッチパネル面に対して垂直方向の高さ情報（Ｚ）とを座標生成モードに応じて生成する。

これにより、先述の２Ｄ操作モードと、従来から存在する３Ｄ操作モードとを兼ね備えた操作装置を提供することができるので、ユーザは、操作装置を使用するケースに応じて、３Ｄ操作モードと２Ｄ操作モードとを切り分けることができるので、利便性で優れている。

また、前記座標情報生成部は、少なくとも、第１座標生成モードと第２座標生成モードとを有し、前記受付部は、前記第１座標生成モードから前記第２座標生成モードに切り替えるための第１特定操作を受け付け、前記座標情報生成部は、前記第１座標生成モードでは、前記高さ情報として、正値を与え、前記第２座標生成モードでは、前記高さ情報として、零値を与えてもよい。

この構成によると、第１座標生成モードでは高さ情報Ｚとして、正値を与え、第２座標生成モードでは高さ情報Ｚとして、零値を与えるので、平面座標位置を検出可能なタッチパネルを使用して、立体座標及び平面座標の両方を得ることができる。

また、前記座標情報生成部は、少なくとも、前記第１座標生成モード、第２座標生成モード、及び第３座標生成モードを有し、前記受付部は、少なくとも、前記第１座標生成モードから前記第３座標生成モードに切り替えるための第２特定操作と、前記第３座標生成モードから前記第２座標生成モードに切り替えるための第３特定操作とを受け付け、前記座標情報生成部は、前記第１座標生成モードでは、前記高さ情報として、一定値以上の正値を与え、前記第２座標生成モードでは、前記高さ情報として、零値を与え、前記第３座標生成モードでは、前記高さ情報として、一定値未満の正値を与えてもよい。

２Ｄ操作モードの場合、第１座標生成モードでは高さ情報Ｚとして、一定値以上の正値を与え、第２座標生成モードでは高さ情報Ｚとして、零値を与え、第３座標生成モードでは高さ情報Ｚとして、一定値未満の正値を与える。

この構成によると、第３座標生成モードは、第１座標生成モード及び第２座標生成モードとは異なる値の高さ情報を与えるので、第１座標生成モードと第２座標生成モードとの間の中間モードになることができる。

よって、第１座標生成モードからいきなり第２座標生成モードに遷移する場合と比べて、第１座標生成モードと第２座標生成モードとの間に、中間モードである第３座標生成モードが挟まれるので、ユーザは、きめ細かい操作感覚を得ることができる。

また、前記座標情報生成部は、前記タッチパネルが少なくとも２本の指先によってタッチされたことが検出された場合には、タッチ位置のそれぞれの座標を生成してもよい。

この構成によると、タッチパネルが少なくとも２本の指先によってタッチされたとき、タッチ位置のそれぞれの座標情報を生成するので、少なくとも２本の指での操作を伴うマルチタッチジェスチャが、実現できる。そのため、情報処理装置では、ピンチインやピンチアウトなどといったマルチフィンガージェスチャーを実現できるようになる。

また、前記座標情報生成部は、少なくとも前記情報処理装置が起動後は何れの座標生成モードでもない待機状態であり、前記待機状態から、前記タッチパネルが少なくとも１本の指先でタッチされたことを検出した場合には、第１座標生成モードに遷移してもよい。

この構成によると、待機状態からタッチパネルが少なくとも１本の指先でタッチされたことを検出した場合には、第１座標生成モードに遷移するので、待機状態においてタッチパネルを１本の指でタッチすれば、指先のタッチパネル面におけるタッチが、指先がタッチパネル面の上空に存在しているのと等価な状態となる。これにより、二次元情報しか出力できないタッチパネルを用いた場合であっても、第１座標生成モードに遷移することによって、高さ情報を含む三次元位置情報を出力することができる。

また、前記座標情報生成部は、前記第１座標生成モードで前記受付部が第１特定操作を受け付けた場合には、前記第２座標生成モードに遷移してもよい。

この構成によると、第１座標生成モードで第１特定操作を受け付けた場合には、第２座標生成モードに遷移する。

この構成によると、第１特定操作を受け付けた場合には、指先がタッチパネル面上空に位置すると仮定した状態から、指先がタッチパネル面にタッチしている状態に遷移できるので、二次元情報しか出力できないタッチパネルを用いた場合であっても、上記２つの状態を実現することができる。

また、前記座標情報生成部は、前記第１座標生成モードで前記受付部が第２特定操作を受け付けた場合には、前記第３座標生成モードに遷移してもよい。

この構成によると、第１座標生成モードで第２特定操作を受け付けた場合には、第３座標生成モードに遷移する。

このように、情報処理装置のモードを、第２特定操作によって、第１座標生成モードと第２座標生成モードとの中間モードである第３座標生成モードに遷移させることができる。よって、情報処理装置に対して高さ情報をきめ細かく与える操作を実現することができる。

また、前記座標情報生成部は、前記第３座標生成モードで前記受付部が前記第３特定操作を受け付けた場合には、前記第２座標生成モードに遷移してもよい。

この構成によると、第３座標生成モードで第３特定操作を受け付けた場合には、第２座標生成モードに遷移する。

このように、情報処理装置のモードを、第１座標生成モードと第２座標生成モードとの中間モードである第３座標生成モードにおいて、第３特定操作によって、中間モードから第２座標生成モードに遷移させることができる。よって、情報処理装置に対して高さ情報をきめ細かく与える操作を実現することができる。

また、前記座標情報生成部は、前記第１座標生成モード、前記第２座標生成モード、及び前記第３座標生成モードのいずかにおいて、前記タッチパネルにおいて一定時間の間継続してタッチを検出しない場合には、待機状態となってもよい。

この構成によると、第１座標生成モード〜第３座標生成モードのいずかにおいて、タッチパネルにおいて一定時間の間継続してタッチを検出しない場合には、待機状態となるので、第１座標生成モード〜第３座標生成モードのいずれかから待機状態にするのに特別な操作を必要としない。よって、自然な操作感覚を実現することができる。

さらに、前記座標情報生成部を前記第１座標生成モードから前記第２座標生成モードに遷移させることができる第１操作キーを備え、前記座標情報生成部は、前記受付部が前記第１特定操作として前記第１操作キーが操作されたことを受け付けた場合には、前記第２座標生成モードに遷移し、前記第１操作キーの操作を受け付けなくなった場合には、第１座標生成モードに遷移してもよい。

この構成によると、第１操作キーの操作によって、指先がタッチパネル面に位置するように扱う第２座標生成モードに遷移し、第１操作キーの操作を解除することによって、指先がタッチパネル面の上空に存在するかのように扱う第１座標生成モードに遷移する。

このように、第１操作キーの操作と、座標生成モードの遷移とが対応しているので、自然な操作感覚を実現することができる。

さらに、前記座標情報生成部は、前記第１座標生成モードにおいて、前記第１特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第２座標生成モードに遷移し、前記タッチが解除された場合には、前記第１座標生成モードに遷移してもよい。

この構成によると、タッチパネルの同一位置における一定時間の継続したタッチの有無によって、第１座標生成モードか第２座標生成モードかになる。これにより、タッチパネル面におけるタッチ位置の保持という意思を伴う操作によって座標生成モードが変化するので、自然な操作感覚を実現することができる。

また、前記第１特定操作は、前記タッチパネル上においてユーザの指を同一位置で静止させる操作を継続した後、さらに一定時間以内のタッチ解除後に前記タッチパネル上において前記平面を再度タッチする一連の操作であり、前記座標情報生成部は、前記第１座標生成モードで前記受付部が前記第１特定操作を受け付けたときには、前記第２座標生成モードに遷移し、前記タッチが解除された場合には、前記第１座標生成モードに遷移してもよい。

この構成によると、タッチパネル上において指先を同一位置で静止させている間、及びその後の一定時間以内のタッチ解除中には第１座標生成モードが継続され、その後の再タッチによって第２座標生成モードに遷移する。

そのため、指先をタッチパネル上において同一位置で静止させ、その後の一定時間の間は、タッチパネルをタッチしていても高さ情報が出力される、仮想的なタッチ操作が実現され、その後の再タッチによって、高さ情報が出力されない、現実のタッチ相当状態に遷移するので、より自然な操作感覚を実現できる。

また、前記第１特定操作は、前記第１座標生成モードへの遷移の要因となったタッチをしている指とは別の指による前記平面へのタッチ操作であり、前記座標情報生成部は、前記第２座標生成モードへの遷移の要因となったタッチをしている指のタッチ位置を示す平面座標を元に平面座標情報を生成し、前記第２座標生成モードへの遷移の要因となっている指先のタッチの解除によって、前記第１座標生成モードに遷移し、前記第２座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除によって、待機状態に遷移してもよい。

この構成によると、第１特定操作は、第１座標生成モードへの遷移の要因となったタッチをしている指とは別の指による平面へのタッチ操作であるので、 そのため、第１座標生成モードへの遷移の要因となった指先は連続してタッチしたまま、その指先とは別の指のタッチ操作によって第２座標生成モードに遷移させることができる。

その結果、第１座標生成モードへの要因となった指先を静止させたまま、動きのあるオブジェクトの座標を追跡して、そのオブジェクトの座標に対して座標生成モードをタッチ相当状態に変化させたいような場合に効果的である。

また、第２座標生成モードの原因となった指のタッチの解除によって、連続的に第１座標生成モードに復帰することができるので、第１座標生成モードへの遷移の要因となった指先によって、継続してオブジェクトを追跡するような場合に尚さら有効である。

また、前記座標情報生成部は、前記第１座標生成モードにおいて、前記第２特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第３座標生成モードに遷移し、タッチ位置が変化した場合、或いは前記タッチが解除された場合には、前記第１座標生成モードに遷移してもよい。

この構成によると、第２特定操作は、タッチパネルの同一位置における一定時間の継続したタッチである。そのため、タッチ位置の静止継続という意思を伴う操作によって第１座標生成モードと第３座標生成モードとを行き来出来るので、自然な操作感覚を実現することができる。

さらに、前記座標情報生成部を前記第３座標生成モードから前記第２座標生成モードに遷移させることができる第２操作キーを備え、前記座標情報生成部は、前記受付部が前記第３特定操作として前記第２操作キーが操作されたことを受け付けた場合には、前記第２座標生成モードに遷移し、その後、前記第２操作キーの操作を受け付けなくなった場合には、前記第３座標生成モードに遷移してもよい。

この構成によると、第２操作キーの操作によって、指先がタッチパネル面に位置するように扱う第２座標生成モードに遷移し、第２操作キーの操作を解除することによって、第１座標生成モードと第２座標モーとの間の中間モードである第３座標生成モードに遷移する。

このように、第２操作キーの操作と、座標生成モードの遷移とが対応しているので、自然な操作感覚を実現することができる。

また、前記座標情報生成部は、さらに、前記第３座標生成モードにおいて、前記第３特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第２座標生成モードに遷移し、その後、前記タッチが解除された場合には、前記第３座標生成モードに遷移してもよい。

この構成によると、タッチパネルの同一位置における一定時間の継続したタッチの有無によって、第３座標生成モードか第２座標生成モードとなる。これにより、タッチパネル面におけるタッチ位置の保持という意思を伴う操作によって座標生成モードが変化するので、自然な操作感覚を実現することができる。

また、前記第３特定操作は、一定時間以内のタッチ解除後に前記タッチパネル上において前記平面を再度タッチする一連の操作であり、前記座標情報生成部は、前記第３座標生成モードで前記受付部が前記第３特定操作を受け付けたときには、前記第２座標生成モードに遷移し、その後、前記タッチが解除された場合には、前記第３座標生成モードに遷移してもよい。

この構成によると、タッチパネル上において指先を同一位置で静止させている間、及びその後の一定時間以内のタッチ解除中には第３座標生成モードが継続され、その後の再タッチによって第２座標生成モードに遷移する。

そのため、指先をタッチパネル上において同一位置で静止させ、その後の一定時間の間は、タッチパネルをタッチしていても高さ情報が出力される、仮想的なタッチ操作が実現され、その後の再タッチによって、高さ情報が出力されない、現実のタッチ相当状態に遷移するので、より自然な操作感覚を実現できる。

また、前記第３特定操作は、前記第１座標生成モード及び前記第３座標生成モードへの遷移の要因となったタッチをしている指とは別の指による前記平面へのタッチ操作であり、 前記座標情報生成部は、前記第３座標生成モードへの遷移の要因となったタッチをしている指のタッチ位置を示す平面座標を元に平面座標情報を生成し、前記第３座標生成モードの要因となっている指先のタッチの解除によって、前記第１座標生成モードに遷移し、第３座標生成モードの要因となっている指先のタッチの一定時間以上の解除によって、待機状態に遷移してもよい。

この構成によると、第３特定操作は、第３座標生成モードへの遷移の要因となったタッチをしている指とは別の指による平面へのタッチ操作である。

そのため、第３座標生成モードへの遷移の要因となった指先は連続してタッチしたまま、その指先とは別の指のタッチ操作によって第１座標生成モードに遷移させることができる。

その結果、第３座標生成モードへの要因となった指先を静止させたまま、動きのあるオブジェクトの座標を追跡して、そのオブジェクトの座標に対して座標生成モードを仮想的なタッチ相当状態に変化させたいような場合に効果的である。

また、第３座標生成モードへの遷移の原因となった指のタッチの解除によって、連続的に第１座標モードに復帰することができるので、第３座標モードへの遷移の要因となった指先によって、継続してオブジェクトを追跡するような場合に尚さら有効である。

また、前記座標情報生成部は、さらに、マウス操作モードを有しており、前記マウス操作モードでは、前記タッチパネルの特定領域に、マウスの左ボタン、及び右ボタンのそれぞれを割り当ててもよい。

この構成によると、マウス操作モードでは、タッチパネルの特定領域に、マウスの左ボタン、及び右ボタンのそれぞれを割り当てるので、タッチパネルをあたかもマウスの左ボタン及び右ボタンのそれぞれのように使用することができるので、情報処理装置の使い勝手が向上する。

また、前記座標情報生成部は、さらに、マウス操作モードを有しており、前記マウス操作モードでは、前記タッチパネルに対する特定操作を、マウスの左ボタン操作、及び、右ボタン操作のそれぞれとして取り扱ってもよい。

この構成によると、マウス操作モードでは、タッチパネルにおける特定操作を、マウスの左ボタン操作、及び、右ボタン操作のそれぞれとして取り扱うので、タッチパネルをいかにもマウスのように使用することができ、利便である。

例えば、前記特定操作は、前記タッチパネルに対するシングルタップとダブルタップとであり、前記シングルタップが前記左ボタンのクリックに相当し、前記ダブルタップが前記右ボタンのクリックに相当してもよい。

この構成によると、タッチパネルにおけるシングルタップが、マウスの左ボタンのクリックに相当し、ダブルタップが、マウスの右ボタンのクリックに相当するので、タッチパネルをあたかもマウスの左ボタン及び左ボタンのそれぞれと見立てて使用することができる。よって、利便である。

また、前記演算処理部は、前記画像出力部によって、前記外部の表示装置に前記画像を出力させる場合に、前記座標情報生成部から平面座標情報及び前記高さ情報を受信したときには、前記高さ情報が設定値以上の正値であれば第１カーソルを表す画像を前記画像出力部によって出力させ、前記高さ情報が零値であれば第２カーソルを表す画像を前記画像出力部によって出力させ、前記高さ情報が設定値未満の正値であれば第３カーソルを表す画像を前記画像出力部によって出力させてもよい。

この構成によると、高さ情報が設定値以上の正値の座標値を受信した際に第１カーソルを表示させ、高さ情報が零値を受信した際に第２カーソルを表示させ、高さ情報が設定値未満の正値の座標値を受信した際に第３カーソルを表示させる。

これにより、情報処理装置が、第１座標生成モード、第２座標生成モード、及び第３座標生成モードのいずれにあるかを、容易に区別することができる。

また、ユーザ自身が、同じタッチ面上での操作であるにも拘わらず、自らの操作に応じて高さ座標Ｚが変化していることをカーソル表示の差によって直感的に認識することができる。

また、前記第１カーソルの画像、前記第２カーソルの画像、及び前記第３カーソルの画像の各々は、形状及び色の少なくとも一方が異なっていてもよい。

この構成によると、第１カーソル画像、第２カーソル画像、及び第３カーソル画像の各々は、形状及び色の少なくとも一方が異なっているので、各々のカーソル画像をより簡単に区別することができる。

また、前記演算処理部は、前記座標情報生成部が前記マウス操作モードを実行している際には、前記画像出力部によって、マウスカーソル画像を出力させてもよい。

この構成によると、マウス操作モードでは、マウスカーソル画像を表示させるので、マウス操作モードであることが一目で判る。

また、前記演算処理部は、前記座標情報生成部が、前記タッチパネル面の上空の前記指先の三次元位置情報を三次元座標情報として生成する３Ｄ操作モードの際と、前記タッチパネル面の上空に指先が存在する場合に検出される前記三次元位置情報を利用せずに、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する２Ｄ操作モードの際との間では、前記画像出力部によって出力される前記カーソル画像の形状及び色のいずれか一方を異ならせてもよい。

この構成によると、３Ｄ操作モードの際と、２Ｄ操作モードの際との間では、表示装置に表示させるカーソル画像の形状及び色を異ならせるので、３Ｄ操作モードか２Ｄ操作モードかの区別が容易につく。

また、前記演算処理部には、前記タッチパネルによる操作を受け付ける複数のプログラムが予めインストールされており、前記演算処理部は、前記外部の表示装置に前記画像出力部を接続して前記画像を出力させる場合、前記各プログラムの実行中に、当該プログラムの実行状態、又は、実行されている個別のプログラムに応じて、前記タッチパネル面の上空の前記指先の三次元位置情報を三次元座標情報として生成する３Ｄ操作モード、前記タッチパネル面の上空に指先が存在する場合に検出される前記三次元位置情報を利用せずに、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する２Ｄ操作モード、及びマウス操作モードのいずれかを表す操作モード情報を前記座標情報生成部に出力してもよい。

この構成によると、演算処理部が実行しているプログラムの実行状態、または実行されている個別のプログラムに応じて、操作モード情報を情報処理装置に送信するので、以下の効果が期待できる。

例えば、特定のゲームアプリケーションでは３Ｄ操作モードが適しているので、演算処理部は３Ｄ操作モード情報を座標情報生成部に出力して３Ｄ操作モードに遷移させることができる。

或いは、細かな画面オブジェクトを扱うことが多いＷＥＢブラウザではマウス操作モードが適しているので、演算処理部はマウス操作モード情報を座標情報生成部に出力してマウス操作モードに遷移させることができる。

或いは、ソフトウェアキーボードの実行時には、２Ｄ操作モードが適しているので、演算処理部は２Ｄ操作モード情報を座標情報生成部に出力して２Ｄ操作モードに遷移させることができる。

また、前記座標情報生成部は、前記情報処理装置の姿勢を表す姿勢情報によって、３Ｄ操作モード、２Ｄ操作モード、及びマウス操作モードのいずれかの操作モードとなってもよい。

この構成によると、情報処理装置の姿勢を表す姿勢情報によって、３Ｄ操作モード、２Ｄ操作モード、及びマウス操作モードのいずれかとなるので、利便である。

例えば、前記情報処理装置の姿勢を検出し、検出した姿勢を表す前記姿勢情報を出力する加速度センサを備えていてもよい。

この構成によると、姿勢情報は、加速度センサにより得られるので、三次元空間におけるあらゆる方向の姿勢を知ることができ、かつ加速度の変化から姿勢的な変化も知ることができる。

さらに、所定のタイミングで振動する振動部を備えていてもよい。

この構成によると、情報処理装置は振動部を備えるので、所定のタイミングで振動することにより、ユーザに所定の事項を触覚により伝えることができる。

さらに、所定のタイミングで発光する発光部を備えていてもよい。

この構成によると、情報処理装置は発光部を備えるので、所定のタイミングで発光することにより、ユーザに所定の事項を視覚により伝えることができる。

また、本発明の他の態様に係る情報処理システムは、請求項１〜３２のいずれか１項に記載の情報処理装置と、前記情報処理装置から出力された、前記カーソル画像が重畳された前記画像を表示する表示装置と、を備える。

この構成によると、先述の情報処理装置を備えるので、先述の効果を奏することができる。

本発明によると、外部の表示装置だけを見て自然な感覚で手元のタッチパネルをタッチすることが可能な情報処理装置、及びこれを用いた情報処理システムを提供することができる。

本発明の実施の形態１に係る情報処理システムの一例を表したシステム構成図である。 発明の実施の形態１に係る情報処理装置の機能ブロックの一例を示したブロック図である。 操作モードテーブルの構成例を示した図である。 特定操作テーブルの構成の一例を示した図である。 中継装置の機能構成の一例を示したブロック図である。 表示装置の機能構成の一例を示したブロック図である。 情報処理装置の座標情報生成部の基本動作の一例について示したフローチャートである。 情報処理装置の座標情報生成部の基本動作の一例について示したフローチャートである。 座標情報生成部がマウス操作モードのときのタッチパネルの機能構成の一例を示した図である。 座標情報生成部がマウス操作モードのときの基本動作の他の例を示したフローチャートである。 座標情報生成部がマウス操作モードのときの基本動作のさらに他の例を示したフローチャートである。 座標情報生成部における座標生成モード遷移処理について示したフローチャートである。 演算処理部の基本動作の一例について示したフローチャートである。 表示装置に表示されている画像にカーソル画像を重畳させる動作について説明するための図である。 表示装置に表示されている画像にカーソル画像を重畳させる動作について説明するための図である。 マウスカーソル画像の一例を示した図である。 本発明の実施の形態２に係る情報処理装置の座標情報生成部の基本動作の一例を示したフローチャートである。 本発明の実施の形態２において表示装置に表示されるカーソル画像の一例を示した図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
＜情報処理システムの構成＞
図１は、本発明の実施の形態１に係る情報処理システムの一例を表したシステム構成図である。図２は、本発明の実施の形態１に係る情報処理装置の機能ブロックの一例を示したブロック図である。

図１に示す情報処理システムは、情報処理装置１と、表示装置２と、中継装置３とを備える。

この情報処理システムは、情報処理装置１に表示されている画像１００にカーソル画像ＣＵ１を重畳させた画像を、中継装置３を介して表示装置２に送信することによって、表示装置２の表示画面２０に画像２００として表示させるシステムである。

また、情報処理装置１が後述するマウス操作モードのときには、情報処理装置１のタッチパネル１０１をあたかもマウスのように使用して、タッチパネル１０１におけるタッチ、ドラッグアンドドロップ、ダブルクリックなどの操作が、表示装置２の表示画面上で反映されるシステムである。

換言すれば、この情報処理システムは、表示装置２の表示画面２０を仮想タッチパネル及び仮想マウスとしてユーザに提供するシステムである。

情報処理装置１では、透明なタッチパネル１０１の背面に液晶ディスプレイ（表示部）１０が配置されることによって、タッチスクリーンディスプレイ１０００が構成されている。

このタッチスクリーンディスプレイ１０００は、ユーザのタッチ操作を検出する機能に加えて、マウス操作相当機能を実現するタッチパッドとしても機能する。タッチスクリーンディスプレイ１０００は、マウス操作相当機能として、ユーザのドラッグアンドドロップ、ダブルクリックなどといった、通常マウスで行われている操作を受け付ける。

情報処理装置１では、タッチスクリーンディスプレイ１０００のほかに、後述する各種操作キー１１Ａ及び１１Ｂを備える。情報処理装置１は、例えば、プラットフォームの１つであるアンドロイド（登録商標）に従った処理を行う。

表示装置２は、先述のように表示画面２０を有する。中継装置３は、情報処理装置１との間で、例えば、近距離無線通信規格の１つであるBluetooth（登録商標）に従って無線通信を行い、所定の情報を送受する。

また、中継装置３は、表示装置２に、ケーブルＣを介して接続されており、表示装置２に、情報処理装置１から送信された画像情報を中継する。

以上のように、情報処理装置１と中継装置３とは無線を介して接続されており、中継装置３と表示装置２とはケーブルＣを介して接続されている。情報処理装置１には、図２に示すように、画像出力部１１９が、内部バス２１０を介して、アンテナ１１２を通じて中継装置３との間で無線通信を行うための無線通信インタフェース１１１に接続されている。

これにより、画像出力部１１９は、無線を介して中継装置３に接続されることになる。そして、中継装置３は表示装置２に有線で接続されているから、画像出力部１１９は、表示装置２に接続されることとなる。

なお、中継装置３と表示装置２とは、無線通信を行うことができるようにしてもよい。また、本実施の形態１では、情報処理装置１と中継装置３とが別個に設けられているが、この例には限られず、情報処理装置１及び中継装置３の各々の機能を有する装置単体としてもよい。

＜情報処理装置１の構成＞
情報処理装置１は、図２に示すように、タッチパネル１０１の背面に液晶ディスプレイ（ＬＣＤ；Liquid Crystal Display）１０が配置されることによって構成されたタッチスクリーンディスプレイ１０００を備える。

また、情報処理装置１は、図２に示すように、ＳＯＣ（System-On-a-Chip）３００と、第１操作キー１１Ａと、第２操作キー１１Ｂと、マイクＭＩ及びスピーカＳＰを制御するオーディオ制御回路１０６と、無線通信インタフェース１１１と、アンテナ１１２と、外部電源コネクタ１１３と、電源制御回路１１４と、充電池１１５と、加速度センサＳと、振動部１１７と、発光部１１８と、を備える。

ＳＯＣ３００は、タッチパネルインタフェース１０２と、表示制御回路１０３と、操作キーインタフェース１０４と、オーディオインタフェース１０５と、メモリ１０７と、演算処理部１０８と、特定操作テーブル１１６Ａ及び受付部１１６Ｂを有する座標情報生成部１１６と、クロック出力部１０９と、通信インタフェース１１０と、画像出力部１１９と、を備える。

タッチパネルインタフェース１０２は、タッチパネル１０１をＳＯＣ３００に接続するためのインタフェースである。表示制御回路１０３は、液晶ディスプレイ１０に画像を表示させるための制御を行う回路である。表示制御回路１０３は、画像を表す画像情報に基づいて、液晶分子の向きを制御することにより、画像を液晶ディスプレイ１０に表示させる。

操作キーインタフェース１０４は、操作キー１１Ａ及び１１ＢをＳＯＣ３００に接続するためのインタフェースである。操作キーインタフェース１０４は、操作キー１１Ａ及び１１Ｂが操作されたことを表す情報（例えば信号のオン期間を表す情報）を受け付け、当該情報を演算処理部１０８に出力する。オーディオインタフェース１０５は、オーディオ制御回路１０６をＳＯＣ３００に接続するためのインタフェースである。

メモリ１０７は、この情報処理装置１が動作するために必要な各種の演算処理プログラムが格納されている記憶媒体である。メモリ１０７には、演算処理プログラムの１つとして、先述のアンドロイド（登録商標）を構成するプログラムが予めインストールされている。

演算処理部１０８は、ＣＰＵ（Central Processing Unit）、ＲＡＭ、ＲＯＭなどを組み合わせて構成されており、ＣＰＵが所定の演算処理プログラムを実行することによって実現される。例えば、演算処理部１０８は、メモリ１０７に格納された演算処理プログラム、例えば、アンドロイド（登録商標）によって作動することにより演算処理部としての機能を果たす。

演算処理部１０８は、操作モードテーブル１０８Ａを有する。この操作モードテーブル１０８Ａは、演算処理部１０８を構成するＲＡＭ内に記憶されている。図３は、操作モードテーブル１０８Ａの構成例を示した図である。

操作モードテーブル１０８Ａには、演算処理部１０８が実行するアプリケーションプログラム１０８０と、アプリケーションプログラム１０８０に対応する操作モード情報とが記憶されている。図３では、アプリケーションプログラム１０８０Ａに対応して３Ｄ操作モード情報１０８１Ａが記憶されている。また、アプリケーションプログラム１０８０Ｂに対応して２Ｄ操作モード情報１０８１Ｂが記憶されている。さらに、アプリケーションプログラム１０８０Ｃに対応してマウス操作モード情報１０８１Ｃが記憶されている。

なお、３Ｄ操作モード情報１０８１Ａ、２Ｄ操作モード情報１０８１Ｂ、及び、マウス操作モード情報１０８１Ｃの詳細については後述する。

図２に戻り、クロック出力部１０９は、演算処理部１０８が動作するためのクロック信号を出力するユニットである。

通信インタフェース１１０は、無線通信インタフェース１１１をＳＯＣ３００に接続するためのインタフェースである。

座標情報生成部１１６は、第１座標生成モード、第２座標生成モード、及び、第３座標生成モードを有している。なお、これらの座標生成モードの詳細については後述する。また、座標情報生成部１１６は、特定操作テーブル１１６Ａと、受付部１１６Ｂとを備える。

図４は、特定操作テーブル１１６Ａの構成の一例を示した図である。特定操作テーブル１１６Ａには、特定操作１１６０と、特定操作１１６０に対応した操作手法１１６１とが記憶されている。

本実施の形態１では、特定操作１１６０として、第１特定操作１１６０Ａ、第２特定操作１１６０Ｂ、及び、第３特定操作１１６０Ｃが記憶されている。

そして、第１特定操作１１６０Ａに対応して、（１）“操作キー１１Ａの押し操作”、（２）“タッチパネル１０１における一定時間の継続したタッチ操作”、（３）“タッチパネル１０１上においてユーザの指を同一位置で静止させる操作を継続した後、一定時間以内のタッチ解除後に、再度タッチパネル１０１をタッチする一連の操作”、及び、（４）“第１座標生成モードへの遷移の要因となったタッチとは別の指によるタッチ操作”が記憶されている。

また、第２特定操作１１６０Ｂに対応して、（５）“タッチパネル１０１の同一位置における一定時間の継続したタッチ操作”、及び（６）“タッチパネル１０１におけるタッチ位置の変化を遅くする操作”が記憶されている。

さらに、第３特定操作１１６０Ｃに対応して、（７）“操作キー１１Ｂの押し操作”、（８）“タッチパネル１０１の同一位置における一定時間の継続したタッチ操作”、（９）“タッチパネル１０１における一定時間以内のタッチ解除後に再度タッチする一連の操作”、及び（１０）“第１座標生成モード、第３座標生成モードへの遷移の要因となったタッチをしている指とは別の指によるタッチ操作”が記憶されている。

再び図２に戻り、画像出力部１１９は、メモリ１０７に記憶されている画像情報、つまりは、液晶ディスプレイ１０に表示されている画像を表す画像情報を、通信インタフェース１１０を介して中継装置３に出力するユニットである。

受付部１１６Ｂは、後述する、第１特定操作、第２特定操作、及び第３特定操作を受け付ける。

液晶ディスプレイ１０には先述のようにタッチパネル１０１が組み込まれている。タッチパネル１０１は、タッチパネル面を有し、当該タッチパネル面にタッチされた平面状の座標位置を検出する。

操作キー１１Ａは後述する第１特定操作を行うための操作キーである。第２キー１１Ｂは後述する第２特定操作を行うための操作キーである。なお、本実施の形態では、第１キー１１Ａ及び第２キー１１Ｂの各々に、専用の機能を割り当てているが、本発明ではこの例には限られず、第１キー１１Ａ及び第２キー１１Ｂの各々に、演算処理部１０８が実行している演算処理プログラムに応じた機能を割り当ててもよい。

オーディオ制御回路１０６は、マイクＭＩ及びスピーカＳＰを通じた、相手先（例えば、携帯電話機）との通話を行うための回路である。つまり、情報処理装置１は、携帯電話機としても機能する。

無線通信インタフェース１１１は、アンテナ１１２を通じて中継装置３との間で無線通信を行うためのインタフェースである。

外部電源コネクタ１１３は、充電器（図示せず）からの電源供給を受ける。電源制御回路１１４は、充電器から充電池１１５への充電を制御する。

加速度センサＳは、例えば、３軸加速度センサからなり、情報処理装置１の姿勢を表す姿勢情報を演算処理部１０８に出力する。

振動部１１７は、例えば、モーターやピエゾ素子で構成されており、所定のタイミングで振動する。発光部１１８は、例えば、発光ダイオードで構成されており、所定のタイミングで発光する。なお、所定のタイミングの例については後述する。

＜中継装置３の構成＞
表示装置２には、情報処理装置１が提供した画像が表示される。そのために、中継装置３は、情報処理装置１から画像を受信し、表示装置２へ中継する装置とされている。図５は、中継装置３の機能構成の一例を示したブロック図である。

中継装置３は、無線情報送受信部３１と、情報中継部３２と、ＣＰＵ３３と、インタフェース３４と、を備える。

無線情報送受信部３１は、情報処理装置１との間で、各種の情報を、無線を通じて送受するユニットである。なお、情報の種類は後述する。情報中継部３２は、情報処理装置１から受信した各種の情報を表示装置２に中継するユニットである。

ＣＰＵ３３は、所定の制御プログラムに従って、この中継装置３を制御する。インタフェース３４は、表示装置２を中継装置３に接続するためのインタフェースである。

＜表示装置２の構成＞
図６は、表示装置２の機能構成の一例を示したブロック図である。表示装置２は、表示画面２０と、表示制御部２１と、情報受付部２２と、インタフェース２３とを備える。表示画面２０は、例えば、液晶ディスプレイによって構成されている。表示制御部２１は、表示画面２０における画像の表示を制御する。例えば、表示制御部２１は、液晶分子の向きを制御することにより、表示画面２０に画像を表示する。情報受付部２２は、インタフェース２３を通じて中継装置３から送られてきた各種の情報を受け付ける。なお、情報の種類については後述する。

インタフェース２３は、表示装置２を中継装置３に接続するためのインタフェースである。

＜座標情報生成部１１６の動作＞
図７及び図８は、情報処理装置１の座標情報生成部１１６の基本動作の一例について示したフローチャートである。図９は、座標情報生成部１１６がマウス操作モードのときのタッチパネル１０１の機能構成の一例を示した図である。

まず、情報処理装置１の電源を立ち上げたときには座標情報生成部１１６は待機状態となる（ステップＳ１０）。

そして、タッチパネル１０１がタッチパネル面上のタッチ操作を検出した際には、（ステップＳ１１でＹＥＳ）、座標情報生成部１１６は、当該座標情報生成部１１６が、第１座標生成モード、第２座標生成モード、及び第３座標生成モードのいずれにあるかに応じて、以下の処理を行う。

すなわち、座標情報生成部１１６は、第１座標生成モードであるときには（ステップＳ１２でＹＥＳ）、タッチされた位置の二次元座標情報と、Ｚ１（但しＺ１は正の数値）以上の高さ情報とを生成し、演算処理部１０８に出力する（ステップＳ１３）。

また、座標情報生成部１１６は、第２座標生成モードであるときには（ステップＳ１４でＹＥＳ）、タッチされた位置の二次元座標情報と、零値の高さ情報とを生成し、演算処理部１０８に出力する（ステップＳ１５）。

さらに、座標情報生成部１１６は、第３座標生成モードであるときには（ステップＳ１４でＮＯ）、タッチされた位置の二次元座標情報と、Ｚ１未満の正の値の高さ情報とを生成し、演算処理部１０８に出力する（ステップＳ１６）。

そして、座標情報生成部１１６は、マウス操作モードに遷移したとき（ステップＳ１７でＹＥＳ）、演算処理部１０８にマウス操作モード情報を出力した後（ステップＳ１９）、以下の処理を行う。なお、座標情報生成部１１６が、マウス操作モードに遷移するイベントとしては、例えば、ドラッグなどによる、一定時間内のタッチパネル１０１におけるタッチ位置の変化が挙げられる。

座標情報生成部１１６は、マウス操作モードでは、タッチパネル１０１の左半分の領域の操作を、マウスの左ボタンの操作として扱う。具体的には、座標情報生成部１１６は、タッチパネル１０１の左半分の領域がタッチされたときには（ステップＳ１００でＹＥＳ）、マウスの左ボタンがクリックされたことを表す左クリック情報を生成し、当該左クリック情報をマウス操作情報として演算処理部１０８に出力する（ステップＳ１０１）。

一方で、座標情報生成部１１６は、タッチパネル１０１の右半分の領域の操作を、マウスの右ボタンの操作として扱う。具体的には、座標情報生成部１１６は、タッチパネル１０１の右半分の領域がタッチされたときには（ステップＳ１０２でＹＥＳ）、マウスの右ボタンがクリックされたことを表す右クリック情報を生成し、当該右クリック情報をマウス操作情報として演算処理部１０８に出力する（ステップＳ１０３）。

その後、座標情報生成部１１６は、一定時間の間、継続してタッチパネル１０１のタッチ操作が検出されない場合には（ステップＳ１０４でＹＥＳ）、待機状態に戻る（ステップＳ１０５）。

図１０は、座標情報生成部１１６がマウス操作モードのときの基本動作の他の例を示したフローチャートである。座標情報生成部１１６は、タッチパネル１０１における特定操作としてシングルタップがあったときには（ステップＳ２００でＹＥＳ）、左クリックされたことを表す左クリック情報を生成し、当該左クリック情報を演算処理部１０８に出力する（ステップＳ２０１）。

一方で、座標情報生成部１１６は、タッチパネル１０１における特定操作としてダブルタップがあったときには（ステップＳ２０２でＹＥＳ）、右クリックされたことを表す右クリック情報を生成し、当該右クリック情報を演算処理部１０８に出力する（ステップＳ２０３）。

その後、一定時間の間、継続してタッチパネル１０１のタッチ操作が検出されない場合には（ステップＳ２０４でＹＥＳ）、座標情報生成部１１６は待機状態に戻る（ステップＳ２０５）。

図１１は、座標情報生成部１１６がマウス操作モードのときの基本動作のさらに他の例を示したフローチャートである。座標情報生成部１１６は、タッチパネル１０１におけるタッチ位置が変化した場合には（ステップＳ３００のＹＥＳ）、その変化量を表す変化量情報をマウス操作情報として演算処理部１０８に出力する（ステップＳ３０１）。

そして、座標情報生成部１１６は、一定時間の間、継続してタッチパネル１０１のタッチ操作が検出されない場合には（ステップＳ３０２でＹＥＳ）、待機状態に戻る（ステップＳ３０３）。

次に、座標情報生成部１１６における座標生成モード遷移処理について説明する。図１２は、座標情報生成部１１６における座標生成モード遷移処理について示したフローチャートである。

座標情報生成部１１６は、待機状態において（ステップＳ３００）、タッチパネル１０１のタッチパネル面が１本の指で操作されたときには（ステップＳ３０１でＹＥＳ）、第１座標生成モードとなる（ステップＳ３０２）。一方で、待機状態でタッチパネル面が２本の指で操作されたときには（ステップＳ３０１でＮＯ、ステップＳ３０３でＹＥＳ）、座標情報生成部１１６は、タッチされた位置のそれぞれの平面座標情報を生成して、演算処理部１０８に出力する（ステップＳ３０４）。

このとき、演算処理部１０８は、画像出力部１１９から出力されている画像に、タッチされた位置のそれぞれの平面座標情報で表される２つの座標位置にカーソル画像（例えば、カーソル画像ＣＵ２；図１３Ｂ参照）を重畳させる。

その後、受付部１１６Ｂが第１特定操作１１６０Ａ（図４参照）を受け付けたとき（ステップＳ３０５でＹＥＳ）、座標情報生成部１１６は、第２座標生成モードに遷移する（ステップ３０６）。

このとき、第１特定操作１１６０Ａが、“第１座標生成モードへの遷移の要因となったタッチとは別の指によるタッチ操作”である場合には、別の指によるタッチ位置を示す平面座標を元に平面座標情報を生成し、演算処理部１０８に出力する。

一方、受付部１１６Ｂが第２特定操作１１８０Ｂ（図４参照）を受け付けたとき（ステップＳ３０９でＹＥＳ）、第３座標生成モードに遷移する（ステップＳ３１０）。

座標情報生成部１１６は、第２座標生成モードになってから（ステップＳ３０６）、第１座標生成モードへの遷移条件が成立した場合には（ステップＳ３０７でＹＥＳ）、第１座標生成モードに遷移する（ステップＳ３０２）。

ここにおいて、“第２座標生成モードから第１座標生成モードへの遷移条件”としては、例えば、“第１操作キー１１Ａの押し操作の中止”、“タッチパネル１０１の同一位置における一定時間の継続したタッチの後、当該タッチが解除されたこと”、“タッチパネル１０１上においてユーザの指を同一位置で静止させる操作を継続した後、さらに一定時間以内のタッチ解除後にタッチパネル１０１を再度タッチする一連の操作の後にタッチが解除されたこと”、及び、“第２座標生成モードへの遷移の要因となっている指先のタッチの解除”が挙げられる。

また、第２座標生成モードにおいて、第１座標生成モードへの遷移条件が成立しない場合には（ステップＳ３０７でＮＯ）、待機状態への遷移条件が成立すれば（ステップＳ３０８でＹＥＳ）、座標情報生成部１１６は待機状態へ戻る（ステップＳ３００）。

ここにおいて、“待機状態への遷移条件”としては、例えば、“タッチパネル１０１が一定時間の間継続してタッチされないこと”、及び、“第２座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除”が挙げられる。

座標情報生成部１１６は、第３座標生成モードに遷移してから（ステップＳ３１０）、受付部１１６Ｂが第３特定操作１１６０Ｃ（図４参照）を受け付けたときには（ステップＳ３１１でＹＥＳ）、第２座標生成モードに遷移する（ステップＳ３１４）。

このとき、第３特定操作１１６０Ｃが、“第３座標生成モードへの遷移の要因となったタッチをしている指とは別の指によるタッチ操作”である場合には、別の指によるタッチ位置を示す平面座標を元に平面座標情報を生成し、演算処理部１０８に出力する。

一方で、座標情報生成部１１６は、第３座標生成モードに遷移してから（ステップＳ３１０）、第１座標生成モードへの遷移条件が成立したときには（ステップＳ３１２でＹＥＳ）、第１座標生成モードに遷移する（ステップＳ３０２）。

ここにおいて、“第３座標生成モードから第１座標生成モードへの遷移条件”としては、例えば、“タッチパネル１０１の同一位置における一定時間の継続したタッチを検出した後、タッチ位置が変化した場合、或いはタッチが解除された場合”、“第３座標生成モードの要因となっている指先の解除”、及び“タッチパネル１０１上におけるタッチ位置の変化を早くする操作”が挙げられる。

そして、座標情報生成部１１６は、第３座標生成モードに遷移してから（ステップＳ３１０）、待機状態への遷移条件が成立したときには（ステップＳ３１３でＹＥＳ）、待機状態に戻る（ステップＳ３００）。

ここにおいて、“第３座標生成モードから待機状態への遷移条件”としては、例えば、“一定時間の間継続してタッチが検出されないこと”、及び、“第３座標生成モードの要因となっている指先のタッチの一定時間以上の解除”が挙げられる。

また、座標情報生成部１１６は、第２座標生成モードになってから（ステップＳ３１４）、第３座標生成モードへの遷移条件が成立したときには（ステップＳ３１５でＹＥＳ）、第３座標生成モードに遷移する（ステップＳ３１０）。

ここにおいて、“第２座標生成モードから第３座標生成モードへの遷移条件”としては、例えば、“第２操作キー１１Ｂの押し操作の停止”、“タッチパネル１０１の同一位置における一定時間の継続したタッチを検出した後、前記タッチが解除されたこと”、及び、“一定時間以内のタッチ解除後にタッチパネル１０１を再度タッチする操作がなされ、当該タッチが解除されたこと”が挙げられる。

そして、座標情報生成部１１６は、第２座標生成モードに遷移してから（ステップＳ３１４）、待機状態への遷移条件が成立したときには（ステップＳ３１６でＹＥＳ）、待機状態に戻る（ステップＳ３００）。

ここにおいて、“第２座標生成モードから待機状態への遷移条件”としては、“一定時間の間、継続してタッチパネル１０１がタッチされないこと”、及び“第２座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除”が挙げられる。

＜演算処理部１０８の動作＞
図１３は、演算処理部１０８の基本動作の一例について示したフローチャートである。

図１４Ａ及び図１４Ｂは、表示装置２に表示されている画像にカーソル画像を重畳させる動作について説明するための図である。なお、図１４Ａはカーソル画像が重畳されていない画像を表し、図１４Ｂはカーソル画像が重畳されている画像を表している。図１５は、マウスカーソル画像の一例を示した図である。

まず、演算処理部１０８は、メモリ１０７に予め記憶されており、且つ情報処理装置１の液晶ディスプレイ１０に表示されている画像（例えば、図１４Ａに示す画像）を表す画像情報の出力を開始する（ステップＳ４００）。

そして、座標情報生成部１１６からは、図７のフローチャートに示すように、演算処理部１０８に対して、二次元座標情報と高さ情報（Ｚ）とが出力されているので、演算処理部１０８は、これらを受けたとき（ステップＳ４０１でＹＥＳ）、以下のように動作する。

すなわち、演算処理部１０８は、一定値Ｚ１（但しＺ１は正の値）以上の高さ情報を受信したときには（ステップＳ４０２でＹＥＳ）、出力中の画像に、受信した二次元座標情報で表される座標位置に第１カーソル画像ＣＵ１を重畳させた画像を、中継装置３を介して表示装置２に出力する（ステップ４０３）。このとき、表示装置２の表示画面２０には、図１４Ｂの（ａ）に示されるように、第１カーソル画像ＣＵ１が重畳された画像が表示される。

また、演算処理部１０８は、零値の高さ情報を受信したときには（ステップＳ４０４でＹＥＳ）、出力中の画像に、受信した二次元座標情報で表される座標位置に第２カーソル画像ＣＵ２を重畳させた画像を、中継装置３を介して、表示装置２に出力する（ステップＳ４０５）。このとき、表示装置２の表示画面２０には、図１４Ｂの（ｂ）に示されるように、第２カーソル画像ＣＵ２が重畳された画像が表示される。

さらに、演算処理部１０８は、０を超え一定値Ｚ１（但しＺ１は正の値）未満の高さ情報を受信したときには（ステップＳ４０６でＹＥＳ）、出力中の画像に、受信した二次元座標情報で表される座標位置に第３カーソル画像ＣＵ３を重畳させた画像を、中継装置３を介して、表示装置２に出力する（ステップＳ４０７）。このとき、表示装置２の表示画面２０には、図１４Ｂの（ｃ）に示されるように、第３カーソル画像ＣＵ３が重畳された画像が表示される。

そして、演算処理部１０８は、座標情報生成部１１６から先述したマウス操作モード情報を受信したときには（ステップＳ４０８でＹＥＳ）、出力中の画像に、マウスカーソル画像ＣＵ４（図１５参照）を重畳させた画像を、中継装置３を介して、表示装置２に出力する（ステップＳ４０９）。

そして、演算処理部１０８は、座標情報生成部１１６から先述したマウス操作情報を受信したときには（ステップＳ４１０でＹＥＳ）、当該マウス操作情報に基づいた処理を行う（ステップＳ４１１）。

例えば、演算処理部１０８は、マウス操作情報に基づいた処理として、座標情報生成部１１６から左クリック情報が出力されてきた場合には、左クリックがなされたものとして所定の処理を行う。一方、座標情報生成部１１６から右クリック情報が出力されてきた場合には、演算処理部１０８は、右クリックがなされたものとして所定の処理を行う。

或いは、演算処理部１０８は、座標情報生成部１１６からマウス操作情報として、タッチパネル１０１におけるタッチ位置の変化量を表す変化量情報を受信したときには、当該変化量情報で表される変化量の分だけ座標位置を移動させたマウスカーソル画像ＣＵ４を、出力中の画像に重畳させる。

なお、演算処理部１０８は、図１４Ｂに示すように、第１カーソル画像ＣＵ１、第２カーソル画像ＣＵ２、及び、第３カーソル画像ＣＵ３の各々の形状及び色を異ならせている。図１４Ｂの（ａ）に示す第１カーソル画像ＣＵ１は丸で表されており、図１４Ｂの（ｂ）に示す第２カーソル画像ＣＵ２はハッチング入りの四角形で表されており、図１４の（ｃ）に示す第３カーソル画像ＣＵ３は白抜きの四角形で表されている。

＜効果＞
以上に説明したように、本実施の形態１によると、タッチパネル１０１をタッチ操作すると、このタッチ操作に連動して、表示装置２における画像にカーソル画像ＣＵ１〜ＣＵ３が重畳される。

そのため、ユーザに、情報処理装置１における液晶ディスプレイ１０が、あたかも表示装置２に存在するかのように思わせることができる。また、情報処理装置１におけるタッチパネル１０１が、あたかも表示装置２に存在するかのように思わせることもできる。

その結果、ユーザは、情報処理装置１に目を落とすことなく、表示装置２の表示画面２０を見ながら、表示装置２の画像中にカーソル画像ＣＵ１〜ＣＵ３を表示させることができる。これにより、使い勝手の良い情報処理装置１を提供することができる。

また、この構成によると、タッチパネル１０１は液晶ディスプレイ１０と一体的に構成されることによってマウス操作相当機能を実現するので、情報処理装置１のタッチパネル面においてタッチ位置を移動させれば、これに連動して、表示装置２におけるマウスカーソルＣＵ４が移動する。

そのため、タッチパネル１０１におけるタッチ位置の移動操作を、あたかも、表示装置２の表示画面２０上で行っているように、ユーザに思わせることができる。

その結果、ストレスなくマウスカーソルＣＵ４を移動させることができるので、使い勝手の良い情報処理装置１を提供することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。なお、情報処理装置１、表示装置２、及び中継装置３の基本構成は、先述の構成と同様である。ただし、タッチパネル１０１（図２参照）の機能が異なる。

実施の形態２では、タッチパネル１０１は、タッチパネル面における指先のタッチ位置を検出する機能と共に、タッチパネル面の上空に存在する指先のタッチパネル面に対する高さを検出する機能を有する。

すなわち、タッチパネル１０１は、タッチパネル面の上空の一定高さ以内の三次元空間内に指先が位置している場合には、指先の三次元位置情報を座標情報生成部１１６に出力する。

また、座標情報生成部１１６は、先述の、第１座標生成モード、第２座標生成モード、及び第３座標生成モードのほかに、３Ｄ操作モード、及び、２Ｄ操作モードを有している。

さらに、演算処理部１０８は、以下に示すように、３Ｄ操作モード情報１０８１Ａ、２Ｄ操作モード情報１０８１Ｂ、及びマウス操作モード情報１０８１Ｃのいずれかを、座標情報生成部１１６に出力する。

＜座標情報生成部１１６の動作＞
図１６は、本発明の実施の形態２に係る情報処理装置１の座標情報生成部１１６の基本動作の一例を示したフローチャートである。図１７は、本発明の実施の形態２において表示装置２に表示されるカーソル画像の一例を示した図である。

座標情報生成部１１６は、演算処理部１０８から３Ｄ操作モード情報１０８１Ａ（図３参照）を受信したときには（ステップＳ５００でＹＥＳ）、３Ｄ操作モードとなる（ステップＳ５０１）。ここにおいて、演算処理部１０８が３Ｄ操作モード情報１０８１Ａを出力するのは、例えば、演算処理部１０８がアプリケーションプログラム１０８０Ａ（図３参照）を実行しているときが挙げられる。

座標情報生成部１１６は、３Ｄ操作モードでは、タッチパネル１０１上空の一定高さ以内の三次元空間内の指先の三次元位置情報を表す立体座標情報を生成し、演算処理部１０８に出力する。演算処理部１０８は、タッチパネル１０１上空の指先のＸ−Ｙ座標位置情報を認識し、その座標位置情報で表される座標位置を判断する。また、演算処理部１０８は、立体座標位置を用いて、指先のタッチパネル１０１からの高さ情報を認識する。

演算処理部１０８は、画像出力部１１９が出力中の画像中に、高さ情報に応じたカーソル画像を、判断済みの座標位置に重畳させる。

なお、３Ｄ操作モードで表示するカーソル画像ＣＵ５は、図１６に示すように、２Ｄ操作モードにおけるカーソル画像ＣＵ１〜ＣＵ３とは異なる色及び形状であることが望ましい。

また、座標情報生成部１１６は、演算処理部１０８から２Ｄ操作モード情報１０８１Ｂ（図３参照）を受信したとき（ステップＳ５０２のＹＥＳ）、２Ｄ操作モードとなる（ステップＳ５０３）。ここにおいて、演算処理部１０８が２Ｄ操作モード情報１０８１Ｂを出力するのは、例えば、演算処理部１０８がアプリケーションプログラム１０８０Ｂ（図３参照）を実行しているときが挙げられる。

座標情報生成部１１６は、２Ｄ操作モードとなった場合には、タッチパネル１０１から出力された指先の三次元位置情報を利用せずに、タッチパネル１０１のタッチパネル面における指先の座標位置を表す平面座標情報を利用して、先述した実施の形態１と同様の処理を行う。

さらに、座標情報生成部１１６は、演算処理部１０８からマウス操作モード情報１０８１Ｃ（図３参照）を受信したときには（ステップＳ５０４でＹＥＳ）、マウス操作モードとなる（ステップＳ５０５）。ここにおいて、演算処理部１０８がマウス操作モード情報１０８１Ｃを出力するのは、例えば、演算処理部１０８がアプリケーションプログラム１０８０Ｃ（図３参照）を実行しているときが挙げられる。

座標情報生成部１１６は、マウス操作モードとなった場合には、先述した実施の形態１と同様の処理を行う。

＜効果＞
以上説明したように、本実施の形態２によると、三次元位置情報を検出可能なタッチパネル１０１を用いても、座標情報生成部１１６が２Ｄ操作モードの際には、演算処理部１０８及び座標情報生成部１１６は、実施の形態１と同様の動作を行う。

よって、三次元位置情報を検出可能なタッチパネルを使用しても、実施の形態１と同様の効果を奏することができる。

（その他の実施例等）
なお、本実施の形態１及び２では、演算処理部１０８を情報処理装置１に設けているが、本発明ではこの例には限られず、中継装置３や表示装置２にあってもよい。この場合は、中継装置３や表示装置２が、情報処理装置１の座標情報生成部から先述した各種の情報を受信して、当該情報に基づいて、表示装置２に表示中の画像にカーソル画像を重畳させる。

また、座標情報生成部１１６は、加速度センサＳから出力された姿勢情報に基づいて、３Ｄ操作モード、２Ｄ操作モード、及びマウス操作モードのいずれかのモードになってもよい。なお、加速度センサＳが検出する姿勢としては、例えば、把持姿勢、据え置き姿勢、水平方向での把持姿勢、縦方向での把持姿勢などが挙げられる。

また、情報処理装置１は、所定のタイミングで、振動部１１７（図２参照）或いは発光部１１８（図２参照）を作動させてもよい。なお、作動タイミングとしては、例えば、第２座標生成モードに切り替わったタイミング、第２座標生成モード中のタイミング、３Ｄ操作モードにおけるタッチ面へのタッチ中のタイミング、マウス操作モード中のタッチ面にタッチ中のタイミング、操作モードが切り替わったタイミング、情報処理装置１と中継装置３間の通信が確立したタイミング等が挙げられる。

以上、本発明の実施の形態に係る情報処理システム及び情報処理装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、また、上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、上記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。

本発明は、例えば、スマートフォンと、当該スマートフォンとの間でプラットフォームに基づいた処理を行う処理装置とを含む情報処理システム、又は当該スマートフォン等に適用できる。

１ 情報処理装置
２ 表示装置
１０ 液晶ディスプレイ
１１Ａ 第１操作キー
１１Ｂ 第２操作キー
２０ 表示画面
３ 処理装置
１０１ タッチパネル
１０８ 演算処理部
１０８Ａ 操作モードテーブル
１１６ 座標情報生成部
１１６Ａ 特定操作テーブル
１１６Ｂ 受付部
１１７ 振動部
１１８ 発光部
１０００ タッチスクリーンディスプレイ
１０８０Ａ アプリケーションプログラムＡ
１０８０Ｂ アプリケーションプログラムＢ
１０８０Ｃ アプリケーションプログラムＣ
１０８１Ａ ３Ｄ操作モード情報
１０８１Ｂ ２Ｄ操作モード情報
１０８１Ｃ マウス操作モード情報
１１６０Ａ 第１特定操作
１１６０Ｂ 第２特定操作
１１６０Ｃ 第３特定操作
ＣＵ１ 第１カーソル画像
ＣＵ２ 第２カーソル画像
ＣＵ３ 第３カーソル画像
ＣＵ４ マウスカーソル画像
ＣＵ５ ３Ｄ操作モードにおけるカーソル画像
Ｓ 加速度センサ

Claims (33)

1. タッチされた平面上の座標位置を検出するタッチパネルと、
   表示部と、
   前記表示部に表示されている画像を外部の表示装置に出力する画像出力部と、
   演算処理部と、
   前記外部の表示装置を前記画像出力部に接続して前記画像を出力させる場合に、前記タッチパネルにおける指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する座標情報生成部と、
   ある座標生成モードから別の座標生成モードに切り替えるための特定操作を受け付ける受付部を有し、前記タッチパネルにタッチされた位置の平面上の二次元座標と、前記座標生成モードに応じて予め定められた高さ情報である、前記タッチパネルのタッチパネル面に対して垂直方向の高さ情報（Ｚ）と、を前記座標生成モードに応じて生成する座標情報生成部と、を備え、
   前記タッチパネルは透明であり、前記表示部と一体的に構成されることによってタッチスクリーンディスプレイとして機能し、
   前記演算処理部は、前記外部の表示装置を前記画像出力部に接続して画像出力させる場合に、前記タッチパネルのタッチ操作に連動して、前記座標生成モードに応じたカーソル画像を前記画像に重畳させ、前記カーソル画像が重畳された前記画像を前記表示装置に出力する
   情報処理装置。
2. タッチされた平面上の座標位置を検出するタッチパネルと、
   表示部と、
   前記表示部に表示される画像を外部の表示装置に出力する画像出力部と、
   演算処理部と、
   前記外部の表示装置を前記画像出力部に接続して前記画像を出力させる場合に、前記タッチパネルにおける指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する座標情報生成部と、
   ある座標生成モードから別の座標生成モードに切り替えるための特定操作を受け付ける受付部を有し、前記タッチパネルにタッチされた位置の平面上の二次元座標と、前記座標生成モードに応じて予め定められた高さ情報である、前記タッチパネルのタッチパネル面に対して垂直方向の高さ情報（Ｚ）と、を前記座標生成モードに応じて生成する座標情報生成部と、を備え、
   前記タッチパネルは透明であり、前記表示部と一体的に構成されることによってタッチスクリーンディスプレイとして機能するとともに、マウス操作相当機能を実現するタッチパッドとして機能し、
   前記演算処理部は、前記外部の表示装置を前記画像出力部に接続して画像出力させる場合に、前記タッチパネルのタッチ操作に連動してマウスカーソル画像を前記画像に重畳させ、前記マウスカーソル画像が重畳された前記画像を前記表示装置に出力する
   情報処理装置。
3. 前記タッチパネルは、タッチパネル面における指先のタッチ位置を検出する機能と共に、前記タッチパネル面の上空に存在する指先の前記タッチパネル面に対する高さを検出する機能を併せ持ち、
   前記タッチパネル面の上空の前記指先の三次元位置情報を三次元座標情報として生成する３Ｄ操作モードと、前記タッチパネル面の上空に指先が存在する場合に検出される前記三次元位置情報を利用せずに、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する２Ｄ操作モードとの２つの操作モードを持つ座標情報生成部を備え、
   前記座標情報生成部は、
   （１）前記３Ｄ操作モードの場合、前記指先が、前記タッチパネル面にタッチしている場合も含め、前記タッチパネル面上から一定高さ以内の三次元空間内に存在する場合に、前記指先の検出位置を三次元座標として生成し、
   （２）前記２Ｄ操作モードの場合、前記タッチパネルにタッチされた位置の平面上の二次元座標と、前記タッチパネル面に対して垂直方向の高さ情報（Ｚ）とを座標生成モードに応じて生成する
   請求項１に記載の情報処理装置。
4. 前記座標情報生成部は、少なくとも、第１座標生成モードと第２座標生成モードとを有し、
   前記受付部は、前記第１座標生成モードから前記第２座標生成モードに切り替えるための第１特定操作を受け付け、
   前記座標情報生成部は、
   前記第１座標生成モードでは、前記高さ情報として、正値を与え、
   前記第２座標生成モードでは、前記高さ情報として、零値を与える
   請求項３に記載の情報処理装置。
5. 前記座標情報生成部は、少なくとも、前記第１座標生成モード、第２座標生成モード、及び第３座標生成モードを有し、
   前記受付部は、少なくとも、前記第１座標生成モードから前記第３座標生成モードに切り替えるための第２特定操作と、前記第３座標生成モードから前記第２座標生成モードに切り替えるための第３特定操作とを受け付け、
   前記座標情報生成部は、
   前記第１座標生成モードでは、前記高さ情報として、一定値以上の正値を与え、
   前記第２座標生成モードでは、前記高さ情報として、零値を与え、
   前記第３座標生成モードでは、前記高さ情報として、一定値未満の正値を与える
   請求項３に記載の情報処理装置。
6. 前記座標情報生成部は、
   前記タッチパネルが少なくとも２本の指先によってタッチされたことが検出された場合には、タッチ位置のそれぞれの座標を生成する
   請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記座標情報生成部は、
   少なくとも前記情報処理装置が起動後は何れの座標生成モードでもない待機状態であり、
   前記待機状態から、前記タッチパネルが少なくとも１本の指先でタッチされたことを検出した場合には、第１座標生成モードに遷移する
   請求項４〜６のいずれか１項に記載の情報処理装置。
8. 前記座標情報生成部は、
   前記第１座標生成モードで前記受付部が第１特定操作を受け付けた場合には、前記第２座標生成モードに遷移する
   請求項４〜７のいずれか１項に記載の情報処理装置。
9. 前記座標情報生成部は、
   前記第１座標生成モードで前記受付部が第２特定操作を受け付けた場合には、前記第３座標生成モードに遷移する
   請求項５に記載の情報処理装置。
10. 前記座標情報生成部は、
    前記第３座標生成モードで前記受付部が前記第３特定操作を受け付けた場合には、前記第２座標生成モードに遷移する
    請求項５に記載の情報処理装置。
11. 前記座標情報生成部は、
    前記第１座標生成モード、前記第２座標生成モード、及び前記第３座標生成モードのいずかにおいて、前記タッチパネルにおいて一定時間の間継続してタッチを検出しない場合には、待機状態となる
    請求項５に記載の情報処理装置。
12. さらに、
    前記座標情報生成部を前記第１座標生成モードから前記第２座標生成モードに遷移させることができる第１操作キーを備え、
    前記座標情報生成部は、前記受付部が前記第１特定操作として前記第１操作キーが操作されたことを受け付けた場合には、前記第２座標生成モードに遷移し、前記第１操作キーの操作を受け付けなくなった場合には、第１座標生成モードに遷移する
    請求項８に記載の情報処理装置。
13. さらに、
    前記座標情報生成部は、
    前記第１座標生成モードにおいて、前記第１特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第２座標生成モードに遷移し、前記タッチが解除された場合には、前記第１座標生成モードに遷移する
    請求項８に記載の情報処理装置。
14. 前記第１特定操作は、前記タッチパネル上においてユーザの指を同一位置で静止させる操作を継続した後、さらに一定時間以内のタッチ解除後に前記タッチパネル上において前記平面を再度タッチする一連の操作であり、
    前記座標情報生成部は、前記第１座標生成モードで前記受付部が前記第１特定操作を受け付けたときには、前記第２座標生成モードに遷移し、前記タッチが解除された場合には、前記第１座標生成モードに遷移する
    請求項８に記載の情報処理装置。
15. 前記第１特定操作は、前記第１座標生成モードへの遷移の要因となったタッチをしている指とは別の指による前記平面へのタッチ操作であり、
    前記座標情報生成部は、
    前記第２座標生成モードへの遷移の要因となったタッチをしている指のタッチ位置を示す平面座標を元に平面座標情報を生成し、
    前記第２座標生成モードへの遷移の要因となっている指先のタッチの解除によって、前記第１座標生成モードに遷移し、
    前記第２座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除によって、待機状態に遷移する、
    請求項８に記載の情報処理装置。
16. 前記座標情報生成部は、
    前記第１座標生成モードにおいて、前記第２特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第３座標生成モードに遷移し、
    タッチ位置が変化した場合、或いは前記タッチが解除された場合には、前記第１座標生成モードに遷移する
    請求項５に記載の情報処理装置。
17. さらに、
    前記座標情報生成部を前記第３座標生成モードから前記第２座標生成モードに遷移させることができる第２操作キーを備え、
    前記座標情報生成部は、
    前記受付部が前記第３特定操作として前記第２操作キーが操作されたことを受け付けた場合には、前記第２座標生成モードに遷移し、その後、前記第２操作キーの操作を受け付けなくなった場合には、前記第３座標生成モードに遷移する
    請求項５又は１０に記載の情報処理装置。
18. 前記座標情報生成部は、さらに、
    前記第３座標生成モードにおいて、前記第３特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第２座標生成モードに遷移し、その後、前記タッチが解除された場合には、前記第３座標生成モードに遷移する
    請求項５に記載の情報処理装置。
19. 前記第３特定操作は、一定時間以内のタッチ解除後に前記タッチパネル上において前記平面を再度タッチする一連の操作であり、
    前記座標情報生成部は、前記第３座標生成モードで前記受付部が前記第３特定操作を受け付けたときには、前記第２座標生成モードに遷移し、その後、前記タッチが解除された場合には、前記第３座標生成モードに遷移する
    請求項５又は１０に記載の情報処理装置。
20. 前記第３特定操作は、前記第１座標生成モード及び前記第３座標生成モードへの遷移の要因となったタッチをしている指とは別の指による前記平面へのタッチ操作であり、
    前記座標情報生成部は、
    前記第３座標生成モードへの遷移の要因となったタッチをしている指のタッチ位置を示す平面座標を元に平面座標情報を生成し、
    前記第３座標生成モードの要因となっている指先のタッチの解除によって、前記第１座標生成モードに遷移し、
    第３座標生成モードの要因となっている指先のタッチの一定時間以上の解除によって、待機状態に遷移する
    請求項５に記載の情報処理装置。
21. 前記座標情報生成部は、さらに、マウス操作モードを有しており、
    前記マウス操作モードでは、前記タッチパネルの特定領域に、マウスの左ボタン、及び右ボタンのそれぞれを割り当てる
    請求項１〜２０のいずれか１項に記載の情報処理装置。
22. 前記座標情報生成部は、さらに、マウス操作モードを有しており、
    前記マウス操作モードでは、前記タッチパネルに対する特定操作を、マウスの左ボタン操作、及び、右ボタン操作のそれぞれとして取り扱う
    請求項１〜２１のいずれか１項に記載の情報処理装置。
23. 前記特定操作は、前記タッチパネルに対するシングルタップとダブルタップとであり、
    前記シングルタップが前記左ボタンのクリックに相当し、
    前記ダブルタップが前記右ボタンのクリックに相当する
    請求項２２に記載の情報処理装置。
24. 前記演算処理部は、前記画像出力部によって、前記外部の表示装置に前記画像を出力させる場合に、前記座標情報生成部から平面座標情報及び前記高さ情報を受信したときには、
    前記高さ情報が設定値以上の正値であれば第１カーソルを表す画像を前記画像出力部によって出力させ、
    前記高さ情報が零値であれば第２カーソルを表す画像を前記画像出力部によって出力させ、
    前記高さ情報が設定値未満の正値であれば第３カーソルを表す画像を前記画像出力部によって出力させる
    請求項１に記載の情報処理装置。
25. 前記第１カーソルの画像、前記第２カーソルの画像、及び前記第３カーソルの画像の各々は、形状及び色の少なくとも一方が異なっている
    請求項２４に記載の情報処理装置。
26. 前記演算処理部は、
    前記座標情報生成部が前記マウス操作モードを実行している際には、前記画像出力部によって、マウスカーソル画像を出力させる
    請求項２１〜２５のいずれか１項に記載の情報処理装置。
27. 前記演算処理部は、前記座標情報生成部が、前記タッチパネル面の上空の前記指先の三次元位置情報を三次元座標情報として生成する３Ｄ操作モードの際と、前記タッチパネル面の上空に指先が存在する場合に検出される前記三次元位置情報を利用せずに、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する２Ｄ操作モードの際との間では、前記画像出力部によって出力される前記カーソル画像の形状及び色のいずれか一方を異ならせる
    請求項２４又は２５に記載の情報処理装置。
28. 前記演算処理部には、前記タッチパネルによる操作を受け付ける複数のプログラムが予めインストールされており、
    前記演算処理部は、前記外部の表示装置に前記画像出力部を接続して前記画像を出力させる場合、前記各プログラムの実行中に、当該プログラムの実行状態、又は、実行されている個別のプログラムに応じて、前記タッチパネル面の上空の前記指先の三次元位置情報を三次元座標情報として生成する３Ｄ操作モード、前記タッチパネル面の上空に指先が存在する場合に検出される前記三次元位置情報を利用せずに、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する２Ｄ操作モード、及びマウス操作モードのいずれかを表す操作モード情報を前記座標情報生成部に出力する
    請求項１〜２７のいずれか１項に記載の情報処理装置。
29. 前記座標情報生成部は、前記情報処理装置の姿勢を表す姿勢情報によって、３Ｄ操作モード、２Ｄ操作モード、及びマウス操作モードのいずれかの操作モードとなる
    請求項１〜２８のいずれか１項に記載の情報処理装置。
30. さらに、
    前記情報処理装置の姿勢を検出し、検出した姿勢を表す前記姿勢情報を出力する加速度センサを備える
    請求項２９に記載の情報処理装置。
31. さらに、所定のタイミングで振動する振動部を備える
    請求項１〜３０のいずれか１項に記載の情報処理装置。
32. さらに、所定のタイミングで発光する発光部を備える
    請求項１〜３１のいずれか１項に記載の情報処理装置。
33. 請求項１〜３２のいずれか１項に記載の情報処理装置と、
    前記情報処理装置から出力された、前記カーソル画像が重畳された前記画像を表示する表示装置と、を備える
    情報処理システム。

Images