JP2014115733A - 情報処理装置、情報処理方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】操作機器と表示機器が別の場合、指やペンが操作機器に接触する前にそれぞれの指やペンがどの位置に接近したか直観的な操作感を得られるようにする。
【解決手段】情報処理装置（１）は、指示物体がタッチパネルに近接した接近物体領域を含む第１表示情報を、表示装置（９９）に、既に表示されている第２表示情報を視認可能なように、当該第２表示情報の上に重畳して表示させる。
【選択図】図１

Description

本発明は、タッチパネル面に対する物体の接触および物体の接近を検出し、タッチパネル面に対する接触座標および接近した物体の画像を生成する情報処理装置に関する。

スマートフォンやタブレット端末等の携帯情報端末では、入力装置と表示装置の機能を併せ持つ、タッチパネルが一般的に備えらえている。上記携帯情報端末においては、入力装置と表示装置が一体化している為、タッチパネルに表示されたアイコン等を指やペンでタッチすることにより、当該アイコンを選択するという、操作者が直観的に理解しやすい操作方法がとられている。

しかし、入力装置と表示装置が一体ではなく、別の構成となっている場合、例えば表示装置をテレビ、入力装置をタッチパネルとした場合、操作者はテレビに表示されたアイコンを選択するために、タッチパネルのどの箇所をタッチすればよいか判断がつかないという問題が生じる。

この問題を解決するために、従来技術として、マウスカーソルあるいは、ポインタを用いる方法が一般的に行われている。操作者はテレビに表示されたマウスカーソルあるいはポインタを、タッチパネルを用いて操作対象の座標に移動させ、所望の座標においてマウスダウン等の指示を行うという方法が用いられる。

上記のように、マウスカーソルあるいは、ポインタを用いる場合に、操作者が所望する座標をどのようにテレビ等の表示装置に表示するのかについて、下記特許文献１から４のように、タッチパネルのタッチ箇所が表示装置にどのように表示されるかを示す技術が種々提案されている。

特開２０１０−１０８２５５号公報（２０１０年０５月１３日公開） 特開２０１１−１５０４１２号公報（２０１１年０８月０４日公開） 特開２００９−２６１５５号公報（２００９年０２月０５日公開） 特開２０１０−９２２１９号公報（２０１０年０４月２２日公開）

しかしながら、特許文献１〜４の何れの場合も、操作者が直感的な操作感を得にくいという問題が生じる。

本発明は、上記の各課題に鑑みなされたものであり、その目的は、操作機器と表示機器とが別の場合であっても、指やペンが操作機器に接触する前にそれぞれの指やペンがどの位置に接近したかを、操作者が直観的に理解することを可能とし、操作者がスマートフォンやタブレット端末等の携帯情報端末と同様の直観的な操作感を得ることを可能とする、情報処理装置を提供することにある。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、指示物体によるタッチ操作が可能なタッチパネルを備え、上記タッチパネルにおけるタッチ操作を、当該装置とは別に設けられた表示装置に反映させる情報処理装置において、指示物体とタッチパネルが近接した際、当該指示物体のタッチパネルに対する近接度合いを示す距離を、当該タッチパネルの座標毎に取得する距離取得手段と、上記距離取得手段が取得した距離のうち、予め設定した距離以下である距離に対応する座標の位置を繋げた接近物体領域を含む第１表示情報を生成する第１表示情報生成手段と、上記表示装置に表示される第２表示情報を視認可能なように、当該第２表示情報の上に、上記第１表示情報生成手段によって生成された第１表示情報を重畳して、第３表示情報を生成する表示合成処理手段とを備え、上記表示合成処理手段によって生成された第３表示情報を上記表示装置に表示させる。

本発明の一態様によれば、操作者は、指やペンがタッチパネルに接触する前にそれぞれの指やペンがどの位置に接近したかを直観的に理解することができるため、タッチすべき位置を調節してからタッチすることができる。

本発明の実施形態に係る情報処理装置の概略構成ブロック図である。 本発明の実施形態に係る情報処理装置における利用例を示す外観図である。 図１に示す情報処理装置の座標入力部の概略図である。 図１に示す情報処理装置において、接近した手が、光センサごとに、距離を計測されることを説明するための図である。 図１に示す情報処理装置のタッチパネル面において、指の接触と判定される座標が複数であることを示す図である。 図５に示す指の接触状態を画素毎に近接状態を濃淡で示した図である。 図１に示す情報処理装置における情報処理の流れを示すフローチャートである。 図１に示す情報処理装置において、第１表示情報と第２表示情報とを合成して、第３表示情報を生成することを説明するための図である。 図８に示す第３表示情報が表示装置に表示されている状態を示す図である。

〔実施形態〕
本発明の一実施形態について説明すれば以下の通りである。
＜装置の外観＞
図２は、本実施の形態に係る情報処理システムの外観図である。

上記情報処理システムは、図２に示すように、ユーザインタフェースとしてのタッチパネル面１ａを備えた情報処理装置１と、情報処理装置１において処理された表示情報を表示する表示装置９９とを含んだ構成となっている。

上記情報処理装置１は、タッチインタフェースを備えた機器を前提としたオペレーティングシステムを備えている。タッチインタフェースとは、タッチパネルディスプレイを備えたスマートフォン、タブレット端末の機器において、ディスプレイに表示されたアイコン等を指やペンなどの指示物体で触れることにより操作できるユーザインタフェースのことである。ただし、本実施形態に係る情報処理装置１は、操作者が指やペンなどで操作するためのタッチパネル等の入力手段は備えているが、アイコン等を表示するためのディスプレイ等の表示手段は備えていないものとする。

上記情報処理装置１は、タッチパネル等の入力手段により入力された情報を処理し、表示情報を生成し、情報処理システムを構成している、外部の表示装置９９に対して、有線（ＨＤＭＩ：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ等）または無線（ワイヤレスＨＤＭＩ、Ｂｌｕｔｏｏｔｈ等）による通信を介して、表示情報を送信する。

上記表示装置９９は、テレビ、インフォメーションディスプレイ等のディスプレイを備えたデバイスであり、情報処理装置１から受信した表示情報を表示する。
＜情報処理装置１の構成＞
図１は、本実施の形態に係る情報処理装置１の概略構成ブロック図である。

情報処理装置１は、タッチパネル面１ａにより、操作者からのタッチ操作を受け付ける入力装置であって、図１に示すように、操作者のタッチ操作による座標入力を受け付ける座標入力部１０と、本情報処理装置１で処理された表示情報を表示装置９９に送信する表示情報送信部２０と、ＧＵＩ表示情報（第２表示情報）を生成する為の接触情報処理部３０およびＧＵＩ情報処理部７０と、接近画像（第１表示情報）を生成する為の接近情報処理部４０および接近画像生成部６０と、ＧＵＩ情報画像と接近画像を合成する表示情報合成部８０とを備える。

（座標入力部１０）
座標入力部１０は、操作者の操作を受けて、指やスタイラスペン等の物体（以降、本実施形態では「指」として説明する）の対象物体の近接度合を示す距離を接触情報処理部３０と接近情報処理部４０に送る、平面形状のタッチ入力装置である。操作者は、座標入力部１０のタッチパネル面１ａに指を接触させることで座標入力部１０に対しての各入力が行える。座標入力部１０は、タッチパネル面１ａへの指の接触だけではなく、タッチパネル面１ａに対する指の接近についても検出する機能も有している。上記座標入力部１０が、指の接触を検出する手段と指の接近を検出する手段とを有している場合には、上記座標入力部１０は、指の接触を検出して得られる座標情報を接触情報として接触情報処理部３０に送り、指の接近を検出して得られる距離と座標情報とを接近情報処理部４０に送る。また、上記座標入力部１０が、指の接近を検出する手段のみを有している場合には、上記座標入力部１０は、指の接近を検出して得られる距離と座標情報とを接触情報処理部３０と接近情報処理部４０に送り、接触情報処理部３０が接触の有無を判定する。なお、上記座標入力部１０による、指の接触の検出、指の接近の検出についての詳細については後述する。

（接触情報処理部３０）
接触情報処理部３０は、座標入力部３０から取得した距離を受け取り、指が接触していると判定した場合に、指の座標を取得し、ＧＵＩ情報処理部７０に接触座標を送るようになっている。つまり、上記接触情報処理部３０は、座標入力部１０から取得した距離に基づき指の接触を判別し、指がタッチパネル面１ａに接触した座標を取得する部位である。

（ＧＵＩ情報処理部７０）
ＧＵＩ情報処理部７０は、接触情報処理部３０から接触座標を受け取り、ＧＵＩ表示情報を作成し、作成したＧＵＩ表示情報を表示情報合成部８０に送るようになっている。つまり、上記ＧＵＩ情報処理部７０は、情報処理装置１のオペレーティングシステム上で動作するプログラムやアプリケーションを処理する部位である。

ＧＵＩ情報処理部７０は、接触座標処理部３０で取得するタッチパネル面１ａに対する接触座標に基づき、ユーザがタッチパネル面１ａに対して行なう操作を判別し、情報処理装置１のオペレーティングシステム上またはオペレーティングシステム上で動作するプログラムやアプリケーションの入力コマンドとする。また、当該オペレーティングシステム、または当該オペレーティングシステム上で動作するプログラムやアプリケーションのＧＵＩ表示情報を生成する。ＧＵＩ表示情報とは、当該オペレーティングシステムの生成する表示情報であり、例えばアイコンやウィンドウなどの表示オブジェクトを２次元的に１または複数個配置した表示情報である。

（接近情報処理部４０）
接近情報処理部４０は、座標入力部３０から取得した距離を受け取り、物体（指）がタッチパネル面１ａに対して所定の距離まで接近していると判定した場合に、接近した座標と、各座標における距離を、接近画像生成部６０に送るようになっている。つまり、上記接近情報処理部４０は、座標入力部１０から取得した距離に基づき指の接近を判別し、タッチパネル面１ａの各座標における、指からタッチパネル面１ａまでの距離を取得する部位である。

（接近画像生成部６０）
接近画像生成部６０は、接近情報処理部４０から接近座標と、各座標における距離を受け取り、表示画面９９ａに表示する為の、２次元の画像を作成し、作成した接近画像を表示情報合成部８０に送るようになっている。

つまり、上記接近画像生成部６０は、接近情報処理部４０で取得した、タッチパネル面１ａの各座標における指からタッチパネル面１ａまでの距離に基づいて２次元の画像を生成し、当該２次元画像上で判別した指の形状に応じて表示画面に表示するための指の画像を生成するための部位である。

具体的には、接近画像生成部６０は、上記接近情報処理部４０が取得した距離のうち、予め設定した距離以下である距離に対応する座標の位置を繋げた接近物体領域を含む第１表示情報として２次元の画像を生成する。

（表示情報合成部８０）
表示情報合成部８０は、ＧＵＩ情報処理部７０から受け取ったＧＵＩ表示情報（第２表示情報）と、接近画像生成部６０から受け取った２次元の画像（第１表示情報）を合成した表示情報（第３表示情報）を作成して、表示情報送信部２０に送るようになっている。

つまり、上記表示情報合成部８０は、ＧＵＩ情報処理部７０が生成するＧＵＩ表示情報に対して、接近画像生成部７０が生成する指の画像を重畳して、表示装置９９のディスプレイに表示する映像である表示情報を生成する部位である。

具体的には、ＧＵＩ表示情報（第２表示情報）に対して、接近画像である指の画像（第１表示情報）は上に（手前に）重畳する。このとき、指の画像のうち、指の輪郭の外側は透明に、指の輪郭の内側は半透明に設定し、指の画像（第１表示情報）の下に（奥に）位置するＧＵＩ表示情報（第２表示情報）を視認できるようにする。指の輪郭の内側については、タッチパネル面１ａの各座標における指からタッチパネル面１ａまでの距離に応じて半透明度を変化させるように階調表示をしてもよい。もしくは、指の画像のうち、指の輪郭のみを不透明に、その他の領域は透明に設定してもよい。

（表示情報送信部２０）
表示情報送信部２０は、表示情報合成部８０から受け取った表示情報を、表示装置９９に送るようになっている。つまり、上記表示情報送信部２０は、表示装置９９に対して表示装置９９のディスプレイに表示する映像である表示情報を送信するための、無線または有線による通信装置である。
＜接触、接近の検出＞
上記構成の情報処理装置１において、タッチパネル面１ａに対して操作者の指の接触及び接近の検出は、上記座標入力部１０によって行われる。

上記座標入力部１０が、タッチパネル面１ａに対する接触と接近を検出する手段としては、例えば以下のようなものが考えられる。すなわち、光センサを用いること、静電容量式のタッチパネルにおいて静電容量の変化を用いること、光センサとタッチパネルを併用すること（光センサで接近を検出し静電容量式や透過膜式のタッチパネルで接触を検出すること）、である。なお、光センサとタッチパネルを併用する場合には、座標入力部１０は２つのデバイスにより構成される。

指がタッチパネル面１ａに接触したことと、指がタッチパネル面１ａに接近したことのうち、少なくとも指がタッチパネル面１ａに接近したことについては、タッチパネル面１ａの複数の座標において接近していることを、座標入力部１０は同時に検出できるものとする。本実施の形態では、座標入力部１０は光センサで構成されており、指からタッチパネル面１ａまでの距離を測定し、当該距離に応じて接近と接触とを判別するものとして説明を行う。

座標入力部１０は、図３に示すように、タッチパネル面１ａに、複数の光センサ１ｂが２次元的に配置されている。この光センサ１ｂを用いたセンシングを行ない、各光センサ１ｂから出力されるアナログデータから距離を算出するようになっている。ここで、座標入力部１０のタッチパネル面１ａには、図３に示すように、光センサ１ｂが縦横に格子状に配置されている。配置される光センサ１ｂの縦方向および横方向の数は、表示装置９９の画素数または解像度に一致させることが好ましい。光センサ１ｂは、発光素子と受光素子で構成されており、発光素子から照射した光が対象物に当たって反射してくると、受光素子に反射光が当たって電流が流れることにより、対象物の検出ができる。このとき、タッチパネル面１ａと指との距離に対応して反射光の強さが異なるため、受光素子から流れる電流の大きさが変化する。この電流の大きさ（アナログデータとして検出できる）の違いにより、光センサ１ｂごとの、すなわち、座標位置ごとのタッチパネル面１ａと指との距離を検出することができる。
＜接近、接触判定処理＞
次に、指の接近、接触の判定について、図４〜図６を参照し説明する。

図４（ａ）に示すように、各光センサ１ｂの手前に物体Ａ（例えば手）が配置されているとすると、各光センサ１ｂは、図４（ｂ）に示すように、光センサ１ｂから物体Ａまでの距離を測定することができる。ここで、光センサ１ｂごとに測定した距離が閾値１以下である場合、当該光センサ１ｂの座標において、タッチパネル面１ａに対して物体Ａ（手）が接触したと判定する。閾値１は１ｍｍ以下程度に設定することが望ましい。次に閾値１より大きい閾値２を設定する。閾値２は、５ｃｍ以下、好適には３ｃｍ以下程度に設定することが望ましい。ここで、光センサ１ｂごとに測定した距離が閾値２以下である場合、当該光センサ１ｂの座標において、タッチパネル面１ａに対して物体Ａ（手）が接近しているという判定を行う。

図６は、図５に示す物体Ａの一部（指ａ）が接触した状態で、光センサ１ｂが物体Ａをスキャンすること、すなわち座標位置ごとのタッチパネル面１ａと物体Ａとの距離を検出したことによって得られた画像である。画像を格子にて区切った各桝目において、黒色の桝目５Ａは、対応する光センサ１ｂから指までの距離が閾値２を超えている座標、すなわち指の接近を検出できなかった座標である。また、画像を格子にて区切った各桝目において、白色の桝目５Ｂは、対応する光センサ１ｂから指までの距離が閾値１以下の座標、すなわち指が接触している座標である。さらに、画像を格子にて区切った各桝目において、灰色の桝目５Ｃは、対応する光センサ１ｂから指までの距離が閾値１を超え閾値２以下である座標、すなわち指が接触していないが接近を検出できた座標である。ここで灰色の桝目５Ｃは１種類の色で表わされているわけではなく、指とタッチパネル面１ａとの間の距離が小さい場合にはより薄い灰色（白に近い灰色）で、指とタッチパネル面１ａとの間の距離が大きい場合にはより濃い灰色（黒に近い灰色）で、多段階に表現されている。

接触情報処理部３０は、光センサ１ｂから指ａまでの距離が閾値１以下の座標において、指ａがタッチパネル面１ａに接触していると判定する。ここで、指ａがタッチパネル面１ａに接触する場合、１つの座標のみで接触したことが検出されるわけではなく、図５に示すように、隣接する複数の点で接触したことが検出される。接触情報処理部３０は、隣接する複数の点で接触したことを検出すると、接触したことを検出した複数の座標の重心を計算し、当該重心座標を指ａの接触点とみなす。これにより、接触情報処理部３０は、指ａがタッチパネル面１ａに接触した座標を取得する。

接近情報処理部４０は、光センサ１ｂから指までの距離が閾値２以下の座標において、指がタッチパネル面１ａに接近していると判定する。
＜表示情報生成処理＞
ここで、上記接近、接触判定処理を用いた表示情報生成処理の流れについて、図７のフローチャートを参照しながら以下に説明する。

まず、接触情報処理部３０は、座標入力部１０から取得した距離に基づき、指がタッチパネル面１ａに接触したと判定した場合に、接触した座標を求める（ステップＳ１１）。

次に、ＧＵＩ情報処理部７０は、接触情報処理部３０から取得した接触座標をもとに、プログラムやアプリケーションの処理を行い、ＧＵＩ情報を生成する（ステップＳ１２）。

そして、接近情報処理部４０は、座標入力部１０から取得した距離に基づき、指がタッチパネル面１ａに接近したと判定した場合に、接近した座標と、各座標における接近した指までの近接度合を求める（ステップＳ１３）。近接度合とは、距離の大小であり、接近画像生成部６０で生成する画像の濃淡の度合を決定する基準である。

次に、接近画像生成部６０は、接近画像処理部４０から取得した接近座標と、近接度合に基づき、近接度合に応じて濃淡をつけた２次元の画像（１）を生成する（ステップＳ１４）
そして、接近画像生成部６０は、生成した２次元の画像（１）の中から接近した指の形状を認識する。接近画像生成部６０は、接近した物体の形状に応じて、不透明な輪郭線を設定し、輪郭線で囲まれた閉領域を半透明な色で塗りつぶし、閉領域の座標の中で、接近した指までの距離が最も小さい座標を強調表示して、２次元の画像（２）（第１表示情報）を生成する（ステップＳ１５）。

次に、表示情報合成部８０は、取得したＧＵＩ情報（第２表示情報）の上に、取得した２次元の画像（２）（第１表示情報）を重畳して、表示情報（第３表示情報）を作成する（ステップＳ１６）。

最後に、表示装置９９は、表示情報送信部９９から送信された表示情報を表示する（ステップＳ１７）。

接近画像生成部６０は、図６に示すような画像を生成し、光センサ１ｂから指までの距離が閾値２以下の座標を連結して構成される領域（接近物体領域）、すなわち図６の灰色の桝目５Ｃと白色の桝目５Ｂにより構成される領域の輪郭を生成する。このとき、灰色の桝目５Ｃと白色の桝目５Ｂにより構成される領域の形状を認識し、タッチパネル面１ａへの操作に用いられる物体（例えば、指やスタイラスペン）とは明らかに異なる形状の領域については、輪郭の生成を行なわなくてもよい。これは、光センサ１ｂに対する外光の影響、あるいは、タッチパネル面１ａへの操作に用いられる物体以外の物体の影の影響などを取り除くためである。そして、接近画像生成部６０は、生成した指の輪郭に基づき、表示画面に表示するための指の画像を生成する（例えば図８（ａ））。すなわち、（１）図６の灰色の桝目５Ｃと白色の桝目５Ｂにより構成される領域の輪郭を不透明な輪郭線で描く、（２）輪郭線で囲まれた閉領域を半透明な色で塗りつぶす、（３）さらに好適には、閉領域の座標の中で接近した指までの距離が最も小さい座標を強調表示する、ことにより「指の画像」を生成する。なお、ここでは「指の画像」と称しているが、「指の画像」とは前述のとおり、光センサ１ｂから指までの距離が閾値２以下の座標から構成される領域の画像のことである。

一方、ＧＵＩ情報処理部７０は、オペレーティングシステム、または当該オペレーティングシステム上で動作するプログラムやアプリケーションのＧＵＩ表示情報を生成する（例えば図８（ｂ））。

そして、表示情報合成部８０は、ＧＵＩ情報処理部７０が生成するＧＵＩ表示情報に対して、接近画像生成部７０が生成する指の画像を重畳して、表示装置９９のディスプレイに表示する映像である表示情報を生成する（例えば図８（ｃ））。

これにより操作者は、今自分の指が表示装置９９のディスプレイに表示された表示オブジェクト（例えば、アイコンなど）に対してどのあたりにあり、そのままタッチパネル面１ａに接触すればどの表示オブジェクトを操作できるのかを知ることができる。すなわち、接近画像生成部６０が生成する指の画像が、輪郭のみで構成されている（図９（ａ））、あるいは、半透明で表示される（図９（ｂ））ことにより、ＧＵＩ情報処理部７０が生成するＧＵＩ表示情報を操作者が視認する邪魔にならない。

輪郭の表示と半透明の表示は併用してもよいので、指の画像を示す閉領域は不透明色の輪郭線で構成される、及び、前記閉領域は半透明色で塗りつぶされていればよい。あるいは、指の画像を示す閉領域は不透明色の輪郭線で構成される、又は、前記閉領域は半透明色で塗りつぶされていればよい。

また、接近画像生成部６０は、指の画像を生成する際に、指の輪郭の内側の領域につき、光センサ１ｂから指までの距離に応じて半透明度あるいは色を変化させてもよい。これにより操作者は、指がタッチパネル面１ａに対してどの程度接近しているかを知ることができる。あるいはまた、接近画像生成部６０は、指の画像を生成する際に、光センサ１ｂから指までの距離として閾値１以下の座標がない場合には（接触が発生していないと判断される場合には）、光センサ１ｂから指までの距離が最も小さい座標を強調表示してもよい（図９（ｃ））。これにより操作者は、指をさらにタッチパネル面１ａに近づけた場合、どの座標で接触が起こるかを予想することができる。
＜変形例＞
上記では、タッチパネル面１ａに配置された光センサ１ｂ等を用いてタッチパネル面１ａから指やペン等の指示物体までの距離を用いて、タッチパネル面１ａに対する接近画像（第１表示情報）を生成する方法を説明したが、接近画像（第１表示情報）を生成する方法はこれには限られない。例えば、情報処理装置１にカメラを設け、カメラで撮影した画像から画像認識を用いて指やペン等の接近物体の領域を切り出し、第１表示情報を生成する方法が考えられる。さらに、カメラが複数あれば、複数の画像の視差情報を用いて、タッチパネル面１ａから指やペン等の接近物体までの距離を計算することも可能である。
＜本発明の利用例＞
図２は、操作者が表示装置９９の表示画面９９ａを見ながら、本実施の形態に係る情報処理装置１を用いて操作を行なう様子を示す概念図である。ここで、表示装置９９はテレビを想定する。また、情報処理装置１の内部では、タッチインタフェースを備えた機器を前提としたオペレーティングシステムが動作し、スマートフォンまたはタブレット端末と同じプログラムやアプリケーションが動作するものとする。

操作者が若者の場合は、スマートフォンやタブレット端末のような小さなタッチパネル画面で操作を行なうことは特に苦にならない。ところが、高齢者等においては、視力が低下しかつ焦点距離も長くなるため、スマートフォンやタブレット端末の画面で操作を行なうことは難しい。しかしながら、高齢者等にとっても、スマートフォンやタブレット端末のタッチインタフェースを前提としたユーザインタフェースは、直感的で使いやすいと感じる。

図２の概念図では、操作者が見るのは離れた位置に配置されたテレビ（表示装置９９）である。そのため、視力が低下し焦点距離が長くなった高齢者等にとっても、表示情報９９に表示される情報は非常に見やすい。また、操作者が操作するのは、手元にある情報処理装置１である。これにより、テレビがタッチパネルを備えていなくても、スマートフォンやタブレット端末のタッチインタフェースを前提としたユーザインタフェースを楽しむことができる。たとえテレビがタッチパネルを備えていたとしても、操作者はいちいちテレビに近づく必要はなく、好みの焦点距離の位置にとどまったまま操作することができる。

また、タッチインタフェースを前提としたユーザインタフェースでは、表示されているアイコン等の表示オブジェクトに直接触れることによって直感的な操作を実現しているが、本情報処理装置１は表示画面をもたないことを前提としている。その代わりに、操作者が指やペンを情報処理装置１のタッチパネル面１ａに接触させる前に、スマートフォンやタブレット端末の表示装置９９の表示画面９９ａに、スマートフォンやタブレット端末のＧＵＩ表示情報に重畳して指もしくは手、またはペン等の画像を表示する。操作者にとっては、あたかも手指の「影」がディスプレイに表示されたように感じられる。そのため、操作者は、当該ＧＵＩ表示情報のどの表示オブジェクトに対して指が接近したかを確認した後に、指をタッチパネル面に接触させることができる。これにより、操作者がアイコン等の表示オブジェクトを選択する際に誤ったアイコンを選択してしまうといった誤操作を防止し、かつ操作者に対して、表示されているアイコン等の表示オブジェクトに直接触れるのと同等の直感的なユーザインタフェースを提供することができる。

〔ソフトウェアによる実現例〕
情報処理装置１の各部は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、情報処理装置１の各部は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の一態様に係る情報処理装置１は、指示物体によるタッチ操作が可能なタッチパネル（座標入力部１０）を備え、上記タッチパネルにおけるタッチ操作を、当該装置とは別に設けられた表示装置９９に反映させる情報処理装置１において、指示物体（手Ａや指ａ）とタッチパネルが近接した際、当該指示物体のタッチパネルに対する近接度合いを示す距離を、当該タッチパネルの座標毎に取得する距離取得手段（接近情報処理部４０）と、上記距離取得手段が取得した距離のうち、予め設定した距離以下である距離（例えば１０ｃｍ以下の距離）に対応する座標の位置を繋げた接近物体領域を含む第１表示情報を生成する第１表示情報生成手段（接近画像生成部６０）と、上記表示装置に表示された第２表示情報を視認可能な状態で、当該第２表示情報の上に、上記第１表示情報生成手段によって生成された第１表示情報を重畳して、第３表示情報を生成する表示合成処理手段（表示情報合成部８０）とを備え、上記第３表示情報を上記表示装置に表示させることを特徴としている。

本発明の一態様に係る情報処理方法は、指示物体によるタッチ操作が可能なタッチパネルを備え、上記タッチパネルにおけるタッチ操作を、当該装置とは別に設けられた表示装置に反映させる情報処理方法において、指示物体とタッチパネルが近接した際、当該指示物体のタッチパネルに対する近接度合いを示す距離を、当該タッチパネルの座標毎に取得する距離取得ステップ（Ｓ１１）と、上記距離取得ステップによって取得した距離のうち、予め設定した距離以下である距離（例えば１０ｃｍ以下の距離）に対応する座標の位置を繋げた接近物体領域を含む第１表示情報を生成する第１表示情報生成ステップ（Ｓ１５）と、上記表示装置に表示される第２表示情報を視認可能な状態で、当該第２表示情報の上に、上記第１表示情報生成ステップによって生成した第１表示情報を重畳して、第３表示情報を作成する表示合成処理ステップ（Ｓ１６）と、表示合成処理ステップによって合成された第３表示情報を上記表示装置に表示させる表示ステップ（Ｓ１７）とを含むことを特徴としている。

上記の構成によれば、表示装置に表示される第３表示情報は、第２表示情報に第１表示情報が重畳された表示情報であり、上記第１表示情報には、指示物体とタッチパネルが近接した際に取得される距離のうち、予め設定した距離以下である距離に対応する座標の位置を繋げた接近物体領域が含まれているため、操作者は、この接近物体領域（指示物体に対応）が第２表示情報のどこに重畳されているかを、表示装置を見るだけで容易に確認することができる。

つまり、操作者は、表示装置に表示されている第３表示情報を確認するだけで、指やペンがタッチパネルに接触する前にそれぞれの指やペンがどの位置に接近したかを直観的に理解することができるため、タッチすべき位置を調節してからタッチすることができる。また、手の影全体が表示されるので、どの指がどの位置にあるかも容易に知ることができる。

本発明の一態様に係る情報処理装置は、第１表示情報は、上記接近物体領域が不透明色の輪郭線で構成され且つ、上記接近物体領域が半透明色で塗りつぶされた領域、上記接近物体領域が不透明色の輪郭線で構成された領域、上記接近物体領域が半透明色で塗りつぶされた領域の何れかの領域であることを特徴としている。

上記の構成によれば、第１表示情報が、操作者の指やペン等の指示物体を示す接近物体領域が不透明色の輪郭線で構成され且つ、上記接近物体領域が半透明色で塗りつぶされた領域、上記接近物体領域が不透明色の輪郭線で構成された領域、上記接近物体領域が半透明色で塗りつぶされた領域の何れかの領域であるので、表示装置に表示された第２表示情報を第１表示情報によって隠されないため、表示装置に表示されている第２表示情報を操作者が視認する邪魔にならない。

これによっても、操作者による操作性の向上を図ることができる。

本発明の一態様に係る情報処理装置は、第１表示情報は、上記接近物体領域の中で入力面に接近した物体との距離が一番近い位置を示すマークを含むことを特徴としている。

上記の構成によれば、第１表示情報が、上記接近物体領域の中で入力面に接近した物体との距離が一番近い位置を示すマークを含むことで、操作者は所望する位置にマークを移動させるだけで、簡単に、当該位置を選択することが可能となる。

本発明の一態様に係る情報処理装置は、上記第２表示情報を生成する第２表示情報生成手段（ＧＵＩ情報処理部７０）と、上記タッチパネルのタッチ面に対する接触点の座標値を取得する接触情報処理手段（接触情報処理部３０）とをさらに含み、上記第２表示情報生成部に、上記接触情報処理手段で取得した座標が入力されることを特徴としている。

上記の構成によれば、第２表示情報を、操作者が接触した位置に対応する状態に変化させた状態にすることができる。

本発明の一態様に係る情報処理装置は、上記表示合成処理手段が作成した第３表示情報を、当該装置とは別に設けられた上記表示装置に送信する表示情報送信手段（表示情報送信部２０）をさらに含むことを特徴としている。

上記の構成によれば、第２表示情報に第１表示情報が重畳された第３表示情報を表示装置に送信し、確実に表示させることができる。

本発明は、情報処理装置を動作させるためのプログラムであって、コンピュータを上記の各手段として機能させるためのプログラムであってもよい。また、このプログラムを、コンピュータ読み取り可能な記録媒体に記録してもよい。

この場合には、汎用なコンピュータにより本発明を実現できる。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、入力装置と表示装置が一体ではなく、入力装置の操作が表示装置に反映される情報処理システム一般に利用することができる。

１ 情報処理装置
１ａ タッチパネル面
９９ 表示装置
９９ａ 表示画面
１０ 座標入力部
２０ 表示情報送信部（表示情報送信手段）
３０ 接触情報処理部（接触情報処理手段）
４０ 接近情報処理部（距離取得手段）
６０ 接近画像生成部（第１表示情報生成手段）
７０ ＧＵＩ情報処理部（第２表示情報生成手段）
８０ 表示情報合成部（表示合成処理手段）
１ｂ 光センサ
Ａ 手
ａ 指

Claims (5)

1. 指示物体によるタッチ操作が可能なタッチパネルを備え、上記タッチパネルにおけるタッチ操作を表示装置に反映させる情報処理装置において、
   指示物体とタッチパネルが近接した際、当該指示物体のタッチパネルに対する近接度合いを示す距離を、当該タッチパネルの座標毎に取得する距離取得手段と、
   上記距離取得手段が取得した距離のうち、予め設定した距離以下である距離に対応する座標の位置を繋げた接近物体領域を含む第１表示情報を生成する第１表示情報生成手段と、
   上記表示装置に表示される第２表示情報を視認可能な状態で、当該第２表示情報の上に、上記第１表示情報生成手段によって生成された第１表示情報を重畳して、第３表示情報を生成する表示合成処理手段とを備え、
   上記第３表示情報を上記表示装置に表示させることを特徴とする情報処理装置。
2. 上記第１表示情報は、
   上記接近物体領域が不透明色の輪郭線で構成され且つ、上記接近物体領域が半透明色で塗りつぶされた領域、
   上記接近物体領域が不透明色の輪郭線で構成された領域、
   上記接近物体領域が半透明色で塗りつぶされた領域の何れかの領域であることを特徴とする請求項１に記載の情報処理装置。
3. 上記第１表示情報は、
   上記接近物体領域の中で入力面に接近した物体との距離が一番近い位置を示すマークを含むことを特徴とする請求項１または２に記載の情報処理装置。
4. 上記第２表示情報を生成する第２表示情報生成手段と、
   上記タッチパネルのタッチ面に対する接触点の座標値を取得する接触情報処理手段とをさらに含み、
   上記第２表示情報生成手段に、上記接触情報処理手段で取得した座標が入力されることを特徴とする請求項１から３の何れか１項に記載の情報処理装置。
5. 指示物体によるタッチ操作が可能なタッチパネルを備え、上記タッチパネルにおけるタッチ操作を表示装置に反映させる情報処理方法において、
   指示物体とタッチパネルが近接した際、当該指示物体のタッチパネルに対する近接度合いを示す距離を、当該タッチパネルの座標毎に取得する距離取得ステップと、
   上記距離取得ステップによって取得した距離のうち、予め設定した距離以下の距離に対応する座標の位置を繋げた接近物体領域を含む第１表示情報を生成する第１表示情報生成ステップと、
   上記表示装置に表示される第２表示情報を視認可能な状態で、当該第２表示情報の上に、上記第１表示情報生成ステップによって生成した第１表示情報を重畳して、第３表示情報を作成する表示合成処理ステップと、
   上記表示合成処理ステップによって合成された第３表示情報を上記表示装置に表示させる表示ステップとを含むことを特徴とする情報処理方法。

Images