JP2010061372A - 情報処理装置、ポインタ指定方法、及びプログラム - Google Patents

Abstract

【課題】ＰＤＡ等の小型端末に搭載された、高解像度の画面に対するタッチパネルに対する座標指定において、指等の接触面の広い指示装置を用いても、指定座標を目視し、かつ精度の高い入力を可能とする。
【解決手段】接触された座標及び面積を検出可能な接触検出手段と、接触検出手段で検出した座標及び面積に基づいて物理指定点を算出する手段と、接触検出手段で検出した座標及び面積と物理指定点とから論理指定点を算出する手段と、算出した論理指定点を入力座標としてＯＳ及び／又はアプリケーションプログラムに通知する手段とを設けることとした。
【選択図】図１

Description

本発明は、接触を検出可能な接触検出手段を有する情報処理装置、及び、当該情報処理装置で用いられるプログラム及びポインタの指定方法に関する。

昨今、様々な情報処理装置に、タッチパネル又はタッチスクリーンと呼ばれる接触検出部が設けられている。前記情報処理装置では、接触検出部を接触検出手段として用い、ＯＳ（Operating System）やアプリケーション等のソフトウェアに対して、ポインタが指し示す座標を通知している。

関連する技術としては、ＰＤＡ（Personal Digital Assistants）や携帯端末等で利用されるタッチパネルでの座標指定方式の指定精度を上げる技術が挙げられる。指定精度を上げる方法としては、例えばＧＵＩ（Graphical User Interface）上で指定対象となるアイコン等のサイズを大きくし、指定可能箇所の面積を増やすといった方法や、スタイラスの様な先端の細い器具により座標を指定する、或いは指に接点の小さくなる突起のついたシールを貼る等により、画面との接触面積を小さくすることによって、入力位置の精度を向上する方法が取られている。

また、別の一例として、特許文献１に記載されている情報処理装置が挙げられる。特許文献１に記載されている情報処理装置は、タッチポインティング手段と、それ以外のマウスポインタのいずれの入力であるかを判別する判別手段と、タッチポインティング手段による位置指定時（座標指定時）に、図８に示す様な環状部と矢印部とを組み合わせた定型の特殊なカーソルＣ３０８を用いて、タッチポインティング手段への接触である物理入力点Ｃ３０６を、当該カーソルＣ３０８の指示先座標Ｃ３０７にエミュレートする表示制御手段で構成されている。動作は、タッチポインタによる座標指定であるかどうかを判別手段により判定し、タッチポインタでの入力である場合に、前記したカーソルＣ３０８を読み出して表示すると共に、物理入力点Ｃ３０６からカーソルＣ３０８の長さを加算（減算）した座標（論理的入力点）を算出して利用する。

また、別の関連する技術としては、特許文献２に記載されたコンピュータ入力装置が挙げられる。特許文献２には、タブレットへの入力（接触）から、入力座標と接触面積を夫々算出する手段を有するコンピュータ入力装置が記載されている。

特開平１１−０２４８４１号公報 特開平１１−２７２４２２号公報

しかしながら、上述した技術は、未だ使用者の所望する座標指定の精度に課題を残している。

即ち、特許文献１に記載された技術を用いた場合は、必ずしも物理入力点と論理入力点を分ける必要の無いケースであっても、物理入力点と離間した論理入力点が設定されてしまい、逆に操作性が悪くなるケースがある。

その理由は、このような定型カーソルを読み出すためのトリガがタッチポインタによる入力であるかどうかの判定によるものであり、指の他にスタイラス等の様な先端の細い器具による入力を併用するケースを想定していないため、例えばタッチポインタをスタイラスの様に先端の細い器具で操作するケースでは、無駄に指定座標と異なる座標を指定する事になるためである。

また第２の問題点は、同様に特許文献１の方式では、アプリケーションがその動作によってカーソル形状を変化させるケースにおいて、意図した動作をしない可能性がある。

その理由は、特許文献１によれば、座標指定時にカーソル形状を通常のものと変更し、物理入力点とカーソル形状から定まる一定間隔離間した論理入力点の両方を表示する定形カーソルを表示するため、アプリケーションが動作状態、たとえば入力モード等の指定によりカーソル形状を例えば矢印から指状に変更していても、それらのカーソル形状を定型カーソルに変えてしまう事により、入力状態が判別出来なくなるためである。

また第３の問題点は、特許文献１の方式では、指定座標によっては必ずしも意図した表示位置に定形カーソルが来ない問題点がある。その理由は、該当文献によればカーソルの方向を表示位置によって決定、もしくは設定やボタン等により方向を変更しない設定となっているため、例えば右上に指がある状態で指の左側の座標を指定したい場合等に意図した指定が行えない可能性がある。

本発明の目的は、接触検出手段を有する情報処理装置において、物理指定点と異なる論理指定点を算出処理して指定点を可視可能にしつつ、所望の指定位置を選択可能とできる情報処理装置を提供することにある。

本発明の情報処理装置は、接触された座標及び面積を検出可能な接触検出手段と、前記接触検出手段で検出した座標及び面積に基づいて物理指定点を算出する手段と、前記接触検出手段で検出した座標及び面積と前記物理指定点とから論理指定点を算出する手段と、前記算出した論理指定点を入力座標としてＯＳ及び／又はアプリケーションプログラムに通知する手段とを備えることを特徴とする。

本発明によれば、接触検出手段を有する情報処理装置において、物理指定点と異なる論理指定点を算出処理して指定点を可視可能にしつつ、所望の指定位置を選択可能とできる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

図１は、第１の実施の形態の構成を示す機能ブロック図である。図２は、第１の実施の形態の構成における接触検出部と指との平面的位置関係示す説明図である。図３は、接触検出部とスタイラスとの平面的位置関係示す説明図である。

図１を参照すると、本発明の第１の実施の形態の情報処理装置１は、接触検出部１０、表示部２０、制御部３０および、座標・ベクトル一時記憶領域４０を含んで構成される。また、制御部３０は、接触領域判定手段１０１、指定座標決定手段１０２、画面制御手段１０３および、ＯＳ・アプリケーション画面処理手段１０４として、少なくとも機能する。

図２の記載を説明すると、Ｃ３０１はカーソル、Ｃ３０３は論理指定点、Ｃ３０４は物理指定点、Ｆ６０１は指、Ａ４０１は接触検出部１０が指Ｆ６０１によって接触された接触領域を示している。また、Ｖ５０１は、物理指定点Ｃ３０４および接触領域Ａ４０１から論理指定点Ｃ３０３を算出するためのオフセットベクトルである。尚、オフセットベクトルＶ５０１の算出は、後に詳説する。

図３の記載を説明すると、Ｃ３０１はカーソル、Ｃ３０２は論理指定点、Ｆ２０１はスタイラスを示している。

接触検出部１０は、接触表面上に何らかの入力器具や指等の接触を検出して、接触された座標及び面積を検出可能とするデバイスである。接触検出部１０は、タッチパネルやタッチスクリーン等を用いれば良い。尚、接触検出部１０は、画像を表示する表示部２０の表示面上、もしくは同一面上に物理的に配置、もしくは形成されるもので、本特許の対象とする接触検出手段を、例えば液晶ディスプレイ等の画素の素子毎、もしくはそれに準ずる密度で光学センサや圧力センサを用いて実現すれば良い。また、接触検出手段は、時系列等で接触をスキャンする等により、複数のセンサで同時に接触を検出する事を可能とする。

表示部２０は、制御部３０の画面制御手段１０３によって生成された表示情報を実際に表示するデバイスである。

制御部３０は、上記の各情報を演算処理もしくは制御する手段１０１、１０２、１０３、１０４を、実際に実行する物理装置である。

座標・ベクトル一時記憶領域４０は、記憶部に設けられ、指定座標決定手段１０２から出力される物理指定点Ｃ３０４、論理指定点Ｃ３０３、オフセットベクトルＶ５０１の情報を、一定時間記憶する記憶領域である。

接触領域判定手段１０１は、指Ｆ６０１等によって接触された接触領域Ａ４０１に関する信号を、接触検出部１０から読み込み、接触領域Ａ４０１の面積及び位置情報を領域範囲情報として、指定座標決定手段１０２に通知する。

指定座標決定手段１０２は、接触領域判定手段１０１から通知される接触領域Ａ４０１の領域範囲情報に基づき、当該領域の中心点である物理指定点Ｃ３０４の座標を判定処理し、さらに接触領域Ａ４０１の接触面積を用いてオフセットベクトルＶ５０１を算出処理し、論理指定点Ｃ３０３（座標情報）を算出処理する。更に、指定座標決定手段１０２は、判定又は算出した情報を、座標・ベクトル一時記憶領域４０に記録すると共に、表示部２０に表示させるカーソルＣ３０１の指し示す指定座標として論理指定点Ｃ３０３を画面制御手段１０３に通知する。尚、論理指定点Ｃ３０３は、物理指定点Ｃ３０４を基準にして表しても良いし、ＯＳの定めるＧＵＩ用の基準点を用いて表現してもよい。

画面制御手段１０３は、指定座標決定手段１０２によって通知される論理指定点Ｃ３０３の情報を用いて、カーソルＣ３０１の表示情報を生成処理し、さらにＯＳ・アプリケーション処理手段１０４に論理指定点Ｃ３０３を通知する。また、画面制御手段１０３は、ＯＳ・アプリケーション処理手段１０４によって生成されるＯＳやアプリケーションのＧＵＩ用の表示情報と合わせて、表示部２０に出力し、表示部２０に表示される画面を制御する。

尚、カーソルＣ３０１の表示情報は、ＯＳやアプリケーションの状態に応じて使い分けるために、複数生成処理することが望ましい。また、カーソルＣ３０１の表示情報は、ＯＳやアプリケーション毎に設定されている規定のカーソルを回転処理して用いる。

ＯＳ・アプリケーション画面処理手段１０４は、ＯＳやアプリケーションが生成するＧＵＩを画面に表示するための情報を生成し、さらに画面制御手段１０３によって通知された論理指定点Ｃ３０３の情報に基づき、カーソルの表示座標や状態を画面制御手段１０３に通知する。

尚、接触領域Ａ４０１の中心点である物理指定点Ｃ３０４の決定方式としては、例えば接触領域Ａ４０１の上下左右端に対する中心点を利用する方法や、接触領域の面積の重心を利用するといった方法を用いれば良い。

上記各部およびの手段はそれぞれ概略つぎのように動作する。
接触検出部１０は、指やその他の物体によりタッチパネル面上に接触領域が形成されると、その接触領域に対応した信号を接触領域判定手段１０１に通知する。

接触領域判定手段１０１は、接触検出部１０が生成した領域範囲情報を示す信号から、接触検出部１０に接触した検出物と接触検出部１０との接触面の情報を数値化し、接触領域Ａ４０１の領域範囲情報として指定座標決定手段１０２に通知する。

指定座標決定手段１０２は、接触領域判定手段１０１から通知された接触領域Ａ４０１の領域範囲情報に基づいて、接触領域Ａ４０１の位置情報から接触部分の物理指定点Ｃ３０４の座標を決定し、接触領域Ａ４０１の面積からオフセットベクトルＶ５０１の大きさを算出し、さらに上記２つの情報や、元の接触領域Ａ４０１の領域範囲情報を利用して、オフセットベクトルＶ５０１の方向を決定し、決定したオフセットベクトルＶ５０１と物理指定点Ｃ３０４の情報に基づいて、論理指定点Ｃ３０３の情報を算出処理し、画面制御手段１０３に通知する。

画面制御手段１０３は、指定座標決定手段１０２から通知された論理指定点Ｃ３０３の情報等に基づいてカーソルＣ３０１の表示情報を生成する。

さらに画面制御手段１０３は、論理指定点Ｃ３０３の情報をＯＳ・アプリケーション画面処理手段１０４に通知し、その結果生成されるＯＳやアプリケーションのＧＵＩの表示情報を受信する。

さらに画面制御手段１０３は、上記にて生成したカーソルＣ３０１の表示情報と、ＯＳ・アプリケーション画面処理手段１０４から通知されたＯＳやアプリケーションのＧＵＩの画面表示情報を組み合わせて、表示部２０に表示する画像表示情報を生成し、表示部２０に通知する。

ＯＳ・アプリケーション画面処理手段１０４は、ＯＳやアプリケーションの各画面情報および、画面上におけるカーソルの形状等を決定し、画面制御手段１０３に通知する。

表示部２０は、画面制御手段１０３によって通知された表示情報を用いて実際の画面の表示を行う。

次に、フローチャートを参照して本実施の形態の情報処理装置１の全体の動作について詳細に説明する。

図４は、情報処理装置１の動作を示すフローチャートである。
情報処理装置１の制御部３０は、接触領域判定手段１０１を用いて、接触検出部１０の状態を取得し、指Ｆ６０１やスタイラスＳ２０１等による接触検出部１０への接触状態(接触領域Ａ４０１の状態）を取得する（Ｓ１）。

次に制御部３０は、取得した接触検出部１０と接触物との接触状態を判定処理し、接触物を検出した場合（Ｙｅｓの場合）にはＶ５０１算出処理を呼び出し、そうでない場合（Ｎｏの場合）はタップ判定処理を呼び出す（Ｓ２）。

Ｖ５０１算出処理を行う場合、制御部３０は、指定座標決定手段１０２において、タッチ状態取得（Ｓ１の処理）によって取得された情報に基づき、物理指定点Ｃ３０４とオフセットベクトルＶ５０１を算出処理する。また、制御部３０は、論理指定点Ｃ３０３を算出処理する。更に、制御部３０は、算出した論理指定点Ｃ３０３、物理指定点Ｃ３０４、オフセットベクトルＶ５０１の情報を、座標・ベクトル一時記憶領域４０に一定時間分蓄積記録する（Ｓ３）。

タップ判定処理を行う場合、制御部３０は、接触判定の結果と、座標・ベクトル一時記憶領域４０に記録されている過去一定時間の座標変化や接触状態の変化に基づき、タッピングの有無を判定する（Ｓ４）。

タッピング処理を行う場合、制御部３０は、座標・ベクトル一時記憶領域４０に保持されている論理指定点Ｃ３０３の座標に対して、クリック動作が行われた事をＯＳ・アプリケーション画面処理手段１０４を用いて、ＯＳ及び／又はアプリケーションに通知するＯＳ処理・画面更新処理を呼び出す（Ｓ５）。

制御部３０は、ＯＳ処理・画面更新処理として、ＯＳ・アプリケーション画面処理手段１０４を用いて、ＯＳやアプリケーションに対し、論理指定点Ｃ３０３の情報と、付随する情報（クリック情報等）を通知すると共に、その結果として描画される画面の情報を処理し、画面制御手段１０３を利用して表示部２０にその処理された画面情報を出力する（Ｓ６）。

ここで、Ｖ５０１算出処理及びタップ判定処理の一例を詳説する。
オフセットベクトルＶ５０１の大きさの計算方式としては、例えば以下の（１）様な算術式を用いる。尚、オフセットベクトルＶ５０１は、ベクトルであるので、大きさと方向によって表現できる。また、オフセットベクトルＶ５０１の基点は、物理指定点Ｃ３０４である。
sqrt(2)*sqrt(min{β,max{面積-α,0}}/π)*γ（１）

上記（１）の例では、αは接触面積に対する最低値判定のパラメータ（検出閾値）で、接触領域Ａ４０１の面積がこの値以下の場合、論理指定点Ｃ３０３と、物理指定点Ｃ３０４を一致させる。即ち、接触検出部１０への接触閾値以下の接触は、オフセットベクトルＶ５０１の算出値をゼロとして扱う。βとγは利用者の指の太さに応じて適用されるパラメータであり、カーソルＣ３０１の座標が指の外周から適切な距離に表示するように、システム利用開始時にキャリブレーションを行う。

また、オフセットベクトルＶ５０１の方向の決定については、たとえば以下の様な方式によって決定する。
オフセットベクトルＶ５０１の方向を決定する１つの方式としては、接触領域Ａ４０１の面積に応じてオフセットベクトルＶ５０１の方向を変更する。
当該方式では、例えば指を寝かせて接触させている（指の腹の部分を下にして接触検出部１０に接触させている）場合、接触面積が広く、この場合指は手前（画面下部方向）から奥（画面上部方向）へ接触させているとみなす事により、画面上部方向にベクトルを決定する。一方、接触面積が狭い場合、指を立てて（指の先端部を接触させて）座標を指定しているものと見なし、この場合立てた指の手前側にカーソルが表示されるようにベクトルを決定する。これらの中間状態については、接触領域の外周部を左回り、もしくは右回りになぞる形で移動するようにベクトルの方向を決定する。

タッピングの判定は、たとえば以下の様な処理にて判定する。
１．現在（検出タイミングの瞬間）、指Ｆ６０１やスタイラスＳ２０１等が、接触検出部１０に接触しておらず、かつ直前に接触しており、さらにその接触していた時間が所定の時間より短い場合に、指等によるタッピング動作と見做し、論理指定点Ｃ３０３の座標を変更せずに、タッピング処理（Ｓ５の処理）を呼び出す。
２．現在、指Ｆ６０１やスタイラスＳ２０１等が、接触検出部１０に接触しており、かつ現在に至るまで一定時間以上接触し続けていて、かつ接触領域Ａ４０１の時系列の面積変化率が一定以下の場合には、座標の変更、もしくは指定とみなし、算出された物理指定点Ｃ３０４と論理指定点Ｃ３０３の座標、およびオフセットベクトルＶ５０１の情報を座標・ベクトル一時記憶領域４０に追加記録すると共に、論理指定点Ｃ３０３の座標を画面制御手段１０３に通知し、ＯＳ処理・画面更新処理を呼び出す。
３．上記以外の場合、座標の変更が発生していないものと見做し、座標・ベクトル一時記憶領域４０に記録された論理指定点Ｃ３０３の座標を、画面制御手段１０３に通知し、ＯＳ処理・画面更新処理を呼び出す。
尚、上記の処理は、接触検出部１０以外による座標指定が行われていないものとして処理する。即ち、マウスポインタによる移動操作の処理やＯＳ等による移動処理が行われる場合には、その指定座標の移動処理を実行する。

上記構成及び動作を採択することによって、情報処理装置１は、スタイラスＳ２０１や指Ｆ６０１等によるタッチパネルへの接触領域Ａ４０１の領域の面積に応じて、カーソルＣ３０１が指す論理指定点Ｃ３０３の座標を決定するため、特別な操作等によりカーソルの表示方式を切り替える事なく、いずれの場合による座標指定であっても、カーソルが指等に隠れる事なく、またスタイラス等の指定座標からから離れる事なく、精度の高い座標の指定が行える。

換言すれば、指の様なタッチパネル等に対する接触面積が比較的広い物から、スタイラスの様に接触面積が微小となる何れの入力物を利用しても、カーソル位置の指定が正確かつ容易に行える。即ち、指の様な接触面積の広い接触物による指定では、その外縁部もしくは外延部から離れた位置にカーソルが表示されるため、接触物の下にカーソルが隠れる事なく、カーソルを目視しながら座標の指定が可能となる。また、先端の細い器具で指定した場合には先端部位にカーソルが表示される事により、見て指定したままの位置が指定可能である。

また、更に本実施の形態では、指等による座標指定により、物理入力点と論理入力点の座標が異なる状態であっても、座標の指定に特殊な形状のカーソルを利用せず、ＯＳやアプリケーション等によって規定される元のカーソル形状を利用するため、カーソルの形状によって元のアプリケーションやＯＳの入力状態を視認出来る。

換言すれば、各種処理によって、指定座標を移動（調整）していても、元のカーソルと同様なカーソル形状で処理中やバックグランドで処理中などの入力状態等が確認可能である。即ち、カーソル形状を特殊な形状に変更せずに、予め設定されているカーソル形状を使用して、物理的接触点から距離を離してカーソルを表示するのみであるため、カーソル形状により元のアプリケーションの入力状態をそのまま視認可能である。

即ち、上記説明したように本発明によれば、タッチパネルなどの接触検出手段に座標を指定するために接触した、指やスタイラス等の器具と画面との接触領域の情報に応じて、カーソルを表示する座標を実際の接触箇所の外部にずらす事により、スタイラスの様な接触面積の小さい器具による座標指定時と、指の様な接触面積が比較的広い物による座標指定時で特別な切り替え措置等を実行することなく、座標指定用カーソルの視認性を向上できる。

次に、第２の発明を実施するための最良の形態について図面を参照して詳細に説明する。尚、上述した第１の実施の形態と同一の部分は同一の符号で示し、説明も省略する。

図５は、第２の実施の形態の構成を示す機能ブロック図である。図６は、第２の実施の形態の構成における接触検出部と指との平面的位置関係示す説明図である。

図５を参照すると、本発明の第２の実施の形態の情報処理装置２は、接触検出部１０、表示部２０、制御部３０ａおよび、座標・ベクトル一時記憶領域４０ａを含んで構成される。また、制御部３０ａは、接触領域判定手段１１１、指定座標・方向決定手段１１２、カーソル制御・入力状態判定手段１１３、画面制御手段１１４および、ＯＳ・アプリケーション画面処理手段１１５として、少なくとも機能する。

図６の記載を説明すると、Ｃ３０３は論理指定点、Ｃ３０４は物理指定点、Ｃ３０５はカーソル、Ｆ６０１は指、Ａ４０１は接触検出部１０が指Ｆ６０１によって接触された接触領域を示している。また、Ｖ５０１は、物理指定点Ｃ３０４および接触領域Ａ４０１から論理指定点Ｃ３０３を算出するためのオフセットベクトルである。Ｖ５０２は、オフセットベクトルＶ５０１等の情報を用いて、時系列処理を行って生成されるオフセットベクトルである。尚、オフセットベクトルＶ５０２の算出処理は、後に詳説する。

制御部３０ａは、接触検出部１０から取得した各情報を演算処理もしくは制御する手段１１１、１１２、１１３、１１４、１１５を、実際に実行する物理装置である。

座標・ベクトル一時記憶領域４０ａは、指定座標・方向決定手段１１２から出力される物理指定点Ｃ３０４、論理指定点Ｃ３０３、オフセットベクトルＶ５０１、オフセットベクトルＶ５０２の情報を、一定時間記憶する記憶領域である。

接触領域判定手段１１１は、指Ｆ６０１等によって接触された接触領域Ａ４０１に関する信号を、接触検出部１０から読み込み、接触領域Ａ４０１の形状及び位置情報を領域範囲情報として、指定座標・方向判定機能１１２に通知する。

指定座標・方向決定手段１１２は、接触領域判定手段１１１から通知される接触領域Ａ４０１の領域範囲情報に基づき、当該領域の中心点である物理指定点Ｃ３０４の座標を判定し、さらに接触領域Ａ４０１の接触面積や形状、接触させた指の方向や傾きを用いてオフセットベクトルＶ５０１を算出処理し、それらの情報を、カーソル制御・入力状態判定手段１１３に通知する。

カーソル制御・入力状態判定手段１１３は、指定座標・方向決定手段１１２から通知されたオフセットベクトルＶ５０１の情報を時系列判定し、その判定結果を座標・ベクトル一時記憶領域４０にオフセットベクトルＶ５０２として保存する。加えて、カーソル制御・入力状態判定手段１１３は、保存したオフセットベクトルＶ５０２と、指定座標・方向決定手段１１２によって通知された物理指定点Ｃ３０４の座標から、カーソルＣ３０５によって指示される論理指定点Ｃ３０３を決定し、画面制御手段１１４に通知する。

また、カーソル制御・入力状態判定手段１１３は、座標指定に関する状態として座標指定モードおよび、ベクトル決定モードの２つのモードを有し、動作する。尚、システム利用開始時のモードは、ベクトル決定モードから開始される。

画面制御手段１１４は、カーソル制御・入力状態判定手段１１３から通知される論理指定点Ｃ３０３および、保存されたオフセットベクトルＶ５０２の情報を用いて、カーソルＣ３０５の表示情報を生成処理し、さらにＯＳ・アプリケーション処理手段１１５に論理指定点Ｃ３０３の情報を通知する。また、画面制御手段１１４は、ＯＳ・アプリケーション処理手段１１５によって生成されるＯＳやアプリケーションのＧＵＩ用の表示情報と合わせて、表示部２０に出力し、表示部２０に表示される画面を制御する。

尚、カーソルＣ３０５の表示情報は、ＯＳやアプリケーションの状態に応じて使い分けるために、複数生成処理することが望ましい。また、カーソルＣ３０５の表示情報は、ＯＳやアプリケーション毎に設定されている規定のカーソルを回転処理して用いる。回転処理は、オフセットベクトルＶ５０１又はオフセットベクトルＶ５０２の方向を用いて、当該方向に対向する向きにカーソルＣ３０５の向きを合わせる様に回転させる。

また、カーソルＣ３０５の表示情報は、記憶部に多数の角度を示したカーソル群を予め生成して記憶し、当該カーソル群の中から、オフセットベクトルＶ５０１、Ｖ５０２の方向に対向するカーソルを選択するようにしても良い。即ち、カーソルＣ３０５の表示情報は、ＯＳやアプリケーションに設定されているカーソルのアイコンを回転させて用いることができれば、どのようにカーソルを回転させても良い。

ＯＳ・アプリケーション画面処理手段１１５は、画面制御手段１１４によって通知された論理指定点Ｃ３０３の情報を利用し、ＯＳやアプリケーションが生成するＧＵＩを画面に表示するための情報を生成し、画面制御手段１１４に通知する。

上記各部およびの手段はそれぞれ概略つぎのように動作する。
接触検出部１０は、指やその他の接触物によりタッチパネル面上に接触領域が形成されると、その接触領域に対応した信号を接触領域判定手段１１１に通知する。

接触領域判定手段１１１は、接触検出部１０が生成した接触範囲領域を示す信号から、接触検出部１０に接触した検出物と接触検出部１０との接触面の情報を数値化し、接触領域Ａ４０１の領域範囲情報として指定座標・方向決定手段１１２に通知する。

指定座標・方向決定手段１１２は、接触領域判定手段１１１から通知された接触領域Ａ４０１の領域範囲情報に基づいて、接触領域Ａ４０１の位置情報から接触部分の物理指定点Ｃ３０４の座標を決定し、接触領域Ａ４０１の面積や形状などからオフセットベクトルＶ５０１の大きさを算出する。

更に指定座標・方向決定手段１１２は、接触領域Ａ４０１の形状などからタッチパネルに接触された検出物（指Ｆ６０１）等の方向や傾きが算出可能な場合は、それらの情報に基づき、オフセットベクトルＶ５０１の方向を決定処理し、それらの情報をカーソル制御・入力状態判定手段１１３に通知する。

他方、指定座標・方向決定手段１１２は、接触させた物体の方向が算出出来ない場合は、物理指定点Ｃ３０４の座標や接触領域Ａ４０１の面積から、オフセットベクトルＶ５０１の方向を決定処理し、それらの情報をカーソル制御・入力状態判定手段１１３に通知する。

加えて、カーソル制御・入力状態判定手段１１３は、現在の座標指定に関する状態を、ベクトル決定モードであるか若しくは座標指定モードであるかを判定処理する。

ベクトル決定モードの場合、カーソル制御・入力状態判定手段１１３は、一定の時間（Ｃｔ）、オフセットベクトルＶ５０１の値を時系列処理し、その時系列平均を生成した後、座標指定の状態を、自動的に座標指定モードに変更する。生成されたオフセットベクトルＶ５０１の時系列平均は、別途保存するオフセットベクトルＶ５０２として、座標・ベクトル一時記憶領域４０ａに保存され、再度ベクトル決定モードに移行するまで保持される。即ち、オフセットベクトルＶ５０１の平均からオフセットベクトルＶ５０２を算出処理する。

座標指定モードである場合、カーソル制御・入力状態判定手段１１３は、座標・ベクトル一時記憶領域４０ａに保存されたオフセットベクトルＶ５０２の情報と、物理指定点Ｃ３０４を利用し、論理指定点Ｃ３０３、及びカーソルＣ３０５の回転角度を決定し、画面制御手段１１４に通知する。

座標指定モードは、指等によるタッチパネルに対するタッピング動作、もしくは他の入力デバイスによるクリック動作、あるいは他の一定条件（接触検出部１０に接触させている指の方向が一定角以上変化した場合等）が満たされる事により解除され、自動的にベクトル決定モードに移行する。

画面制御手段１１４は、カーソル制御・入力状態判定手段１１３から通知された論理指定点Ｃ３０３及び保存されたオフセットベクトルＶ５０２の情報に基づき、カーソルＣ３０５の表示情報を生成する。この際、生成されるカーソルの表示情報として、本来のカーソル（現在設定されているカーソル）を、論理指定点Ｃ３０３に対してオフセットベクトルＶ５０２の方向と対向となるようにカーソルＣ３０５の情報を生成する。

さらに画面制御手段１１４は、論理指定点Ｃ３０３の情報をＯＳ・アプリケーション画面処理手段１１５に通知し、その結果生成されるＯＳやアプリケーションのＧＵＩの表示情報を受信する。

さらに画面制御手段１１４は、上記にて生成したカーソルＣ３０５の表示情報と、ＯＳ・アプリケーション画面処理手段１１５から通知されたＯＳやアプリケーションのＧＵＩの画面表示情報を組み合わせて、表示部２０に表示する画像表示情報を生成し、表示部２０に通知する。

ＯＳ・アプリケーション画面処理手段１１５は、ＯＳやアプリケーションの各画面情報、及び画面上におけるカーソルの形状等を決定し、画面制御手段１１４に通知する。

表示部２０は、画面制御手段１１４によって通知された表示情報を元に実際の画面の表示を行う。

次に、フローチャートを参照して本実施の形態の情報処理装置２の全体の動作について詳細に説明する。

図７は、情報処理装置２の動作を示すフローチャートである。
情報処理装置２の制御部３０ａは、接触領域判定手段１１１を用いて、接触検出部１０の状態を取得し、接触検出部１０への接触状態(接触領域Ａ４０１、及び物理指定点Ｃ３０４の情報）を取得する（Ｓ１１）。

次に制御部３０ａは、取得した接触検出部１０と接触物との接触状態を判定処理し、接触物を検出した場合（Ｙｅｓの場合）にはＶ５０１算出処理を呼び出し、そうでない場合（Ｎｏの場合）はモード判定処理を呼び出す（Ｓ１２）。

Ｖ５０１算出処理を行う場合、制御部３０ａは、指定座標・方向決定手段１１２において、タッチ状態取得（Ｓ１１の処理）によって取得された情報に基づき、物理指定点Ｃ３０４とオフセットベクトルＶ５０１を算出処理する（Ｓ１３）。

尚、Ｖ５０１の大きさの計算方式としては、本発明の第１の構成におけるＶ５０１算出（Ｓ３の処理）と同様の処理を用いてもよい。また、オフセットベクトルＶ５０１の方向の決定については、たとえば以下の様な方式によって決定する。

Ｖ５０１の方向は、たとえば接触検出部１０に接触させた指の方向、あるいは、本発明の第１の構成におけるＶ５０１算出（Ｓ３）における方向の決定方式と同等の方式が利用可能である。

また、上記における接触物の方向判定は、接触面に外接する四角形を上下左右、或いは対角線によって均等分割し、それらの面積比によって決定する方法や、タッチパネルの接触センサが光学センサである場合は、その指の形状や、場合によっては指紋等の形状から判断するといった方法を利用可能である。この際、方向の判定には判定基準として最低値を持たせ、判定基準に満たない場合は、オフセットベクトルＶ５０１の方向を固定、あるいはシステムの規定値を利用する。

上記により決定されたオフセットベクトルＶ５０１は、カーソル制御・入力状態判定手段１１３に通知され、座標・ベクトル一時記憶領域４０に時系列記録されると共に、モード判定処理の呼び出しに利用される。

制御部３０ａは、カーソル制御・入力状態判定手段１１３を用いて、座標・ベクトル一時記憶領域４０ａに、オフセットベクトルＶ５０２が保持されているかどうかを判定し、保存されている場合（Ｙｅｓの場合）には、動作モードを座標指定モードであると判断してタップ判定処理を呼び出す。他方、オフセットベクトルＶ５０２が保存されていない場合（Ｎｏの場合）は、動作モードがベクトル決定モードであると判定し、Ｖ５０２算出処理を呼び出す（Ｓ１４）。

オフセットベクトルＶ５０２が保持されている保存されている場合、制御部３０ａは、タップ判定処理として、本発明の第１の構成におけるタップ判定（Ｓ４の処理）と同様、下記の様な処理を行う。即ち、制御部３０ａは、タップ判定処理を行う場合、接触判定の結果と、座標・ベクトル一時記憶領域４０ａに記録されている過去一定時間の座標変化や接触状態の変化に基づき、タッピングの有無を判定する（Ｓ１５）。

尚、タッピングの判定は、たとえば以下の様な処理にて判定する。
１．現在（検出タイミングの瞬間）、指Ｆ６０１やスタイラスＳ２０１等が、接触検出部１０に接触しておらず、かつ直前に接触しており、さらにその接触していた時間が所定の時間より短い場合に、指等によるタッピング動作と見做し、論理指定点Ｃ３０３の座標を変更せずに、タッピング処理（Ｓ１６の処理）を呼び出す。
２．現在、指Ｆ６０１やスタイラスＳ２０１等が、接触検出部１０に接触しており、かつ現在に至るまで一定時間以上接触し続けていて、かつ接触領域Ａ４０１の時系列の面積変化率が一定以下の場合には、座標の変更、もしくは指定とみなし、算出された物理指定点Ｃ３０４等の情報を座標・ベクトル一時記憶領域４０ａに追加記録すると共に、座標・ベクトル一時記憶領域４０ａに記録されているオフセットベクトルＶ５０２と、物理指定点Ｃ３０４を用いて、論理指定点Ｃ３０３を決定し、座標・ベクトル一時記憶領域４０ａに追記し、画面制御手段１１４に通知すると共に、モード変更Ａ（Ｓ１７の処理）を呼び出す。
３．上記以外の場合、座標の変更が発生していないものと見做し、座標・ベクトル一時記憶領域４０ａに記録された論理指定点Ｃ３０３の座標を、画面制御手段１０３に通知し、ＯＳ処理・画面更新（Ｓ２１の処理）を呼び出す。

尚、上記の処理は、接触検出部１０以外のデバイスによる座標指定が行われていないものとして処理する。

タッピング処理を行う場合、制御部３０ａは、座標・ベクトル一時記憶領域４０ａに保持されている論理指定点Ｃ３０３の座標に対して、クリック動作が行われた事をＯＳ・アプリケーション画面処理手段１１５を用いて、ＯＳ及び／又はアプリケーションに通知し、モード変更Ａ処理を呼び出す（Ｓ１６）。

制御部３０ａは、モード変更Ａ処理として、座標・ベクトル一時記憶領域４０ａに記録されたオフセットベクトルＶ５０２と物理指定点Ｃ３０４の情報を削除し、ＯＳ処理・画面更新処理を呼び出す（Ｓ１７）。

他方、オフセットベクトルＶ５０２が保存されていない場合、制御部３０ａは、Ｖ５０２算出処理として、カーソル制御・入力状態判定手段１１３において、最も最近、ベクトル判定モードに移行したのち、指定座標・方向決定手段１１２によって現在までに通知されている物理指定点Ｃ３０４の情報と、オフセットベクトルＶ５０１の情報から、それらの変動が一定範囲内であるという条件を満たすデータについて、オフセットベクトルＶ５０１と、物理指定点Ｃ３０４の時系列平均を算出し、Ｃｔ判定処理を呼び出す（Ｓ１８）。

次に、制御部３０ａは、Ｃｔ判定として、ベクトル判定モードに移行したのち、連続してこの処理が呼び出されている時間がＣｔよりも長いかどうかを判定し、長い場合（Ｙｅｓの場合）には、モード変更Ｂを呼び出す。他方、呼び出されている期間がＣｔよりも短い場合（Ｎｏの場合）は、論理指定点Ｃ３０３と、カーソルの表示を確定せず、ＯＳ側による画面更の処理のみ行うため、ＯＳ処理・画面更新を呼び出す（Ｓ１９）。

ベクトル判定モードに移行したのち、連続してこの処理が呼び出されている時間がＣｔよりも長い場合には、制御部３０ａは、モード変更Ｂとして、Ｖ５０２算出（Ｓ１８の処理）において算出されたオフセットベクトルＶ５０１の時系列平均をオフセットベクトルＶ５０２として、また物理指定点Ｃ３０４の座標平均を合わせて、座標・ベクトル一時記憶領域４０ａに記録した後、動作モードを座標指定モードに変更すると共に、記録したオフセットベクトルＶ５０２の情報と、物理指定点Ｃ３０４の情報をＯＳ・アプリケーション画面処理手段１１５を用いて、ＯＳやアプリケーションに通知し、ＯＳ処理・画面更新処理を呼び出す（Ｓ２０）。

制御部３０ａは、ＯＳ処理・画面更新処理として、ＯＳ・アプリケーション画面処理手段１１５を用いて、ＯＳやアプリケーションに対し、論理指定点Ｃ３０３の情報と、付随する情報（クリック情報やオフセットベクトルＶ５０１、Ｖ５０２の情報等）を通知すると共に、その結果として描画される画面の情報を処理し、画面制御手段１１４を利用して表示部２０にその処理された画面情報を出力する（Ｓ２１）。

尚、本構成においてはタッピング前に指をタッチパネルから離す際に、接触領域Ａ４０１の面積が減少することにより、カーソルＣ３０５の座標が移動する、あるいはベクトル決定モード時に最初に指をタッチパネルに接触させる際に、接触面積が急激に広がり、時系列平均が正しく算出出来ないといった問題が考えられるが、これについては、例えば接触領域Ａ４０１の面積の時系列変化が一定以上の場合、Ｃ３０４を移動させない等の対処を行う等により解決可能である。

上記構成及び動作を採択することによって、情報処理装置２は、情報処理装置１の奏する効果に加え、接触検出部１０に接触させる物体の方向を利用して、その論理指定点に対する対角線上にカーソルを配置し、さらにカーソルの画像を該当方向に回転させて表示させることにより、より視認性の高い座標の指定が可能となる。

また、更に本実施の形態では、座標指定に関する状態として、座標指定モードとベクトル決定モードの２つのモードを持ち、ベクトル決定モードにおいて指等が一定時間以上タッチパネルに接触していなければカーソル座標を移動可能な状態にしないため、誤ってタッチパネルに接触する等の誤操作により、誤った座標がアプリケーションに入力されることを防ぐ事が可能である。

即ち、上記説明したように本発明によれば、タッチパネルなどの接触検出手段に座標を指定するために接触した、指やスタイラス等の器具と画面との接触領域の情報に応じて、カーソルを表示する座標を実際の接触箇所の外部にずらす事により、スタイラスの様な接触面積の小さい器具による座標指定時と、指の様な接触面積が比較的広い物による座標指定時で特別な切り替え措置等を実行することなく、座標指定用カーソルの視認性を向上できる。

換言すれば、本発明を用いることによって、接触検出手段を有する情報処理装置において、物理指定点と異なる論理指定点を算出処理して指定点を可視可能にしつつ、所望の指定位置を選択可能とできる。

尚、本発明の情報処理装置の構成を上記説明と別の表現で説明すれば、各種演算処理を行う制御部、入力部としての接触検出部、出力部としての表示部、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリ等で構成される記憶部を備える。また、記憶部には、オペレーティングシステムを始め、接触検出部用のドライバやアプリケーションプログラム、情報処理装置の諸設定等が記憶される。本発明のプログラムは、接触検出部用のドライバとして説明したが、オペレーティングシステムや、アプリケーションプログラムに組み込んで動作させても良い。尚、当該プログラムが、制御部を、接触検出手段や、物理指定点を算出する手段、論理指定点を算出する手段、論理指定点を入力座標としてＯＳ及び／又はアプリケーションプログラムに通知する手段、接触部分の形状を検出する手段、接触物の接触方向を算出する手段、論理指定点を示すカーソルを、角度を変更して表示する画面表示手段などとして機能させる。

また、本発明の具体的な構成は前述の適応例に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。

本発明は、接触を検出可能な接触検出部を有する情報処理装置であれば、どのような情報処理装置にも適応できる。また、タッチパネルを搭載したモバイル端末である、画面サイズが小さくかつ解像度の高いＰＤＡや、スマートフォン、ＰＨＳ（Personal Handyphone System）、ＵＭＰＣ（Ultra Mobile Personal Computer）と呼ばれる小型ＰＣにおけるカーソル等のポインタの座標指定に好適である。

第１の実施の形態の構成を示す機能ブロック図である。 第１の実施の形態の構成における接触検出部と指との平面的位置関係示す説明図である。 接触検出部とスタイラスとの平面的位置関係示す説明図である。 情報処理装置１の動作を示すフローチャートである。 第２の実施の形態の構成を示す機能ブロック図である。 第２の実施の形態の構成における接触検出部と指との平面的位置関係示す説明図である。 情報処理装置２の動作を示すフローチャートである。 既存の発明における特殊なカーソルを示す図である。

符号の説明

１ 情報処理装置
２ 情報処理装置
１０ 接触検出部（物理装置）
２０ 表示部（物理装置）
３０ 制御部（物理装置）
４０ 座標・ベクトル一時記憶領域（記憶部）
１０１ 接触領域判定手段
１０２ 指定座標決定手段
１０３ 画面制御手段
１０４ ＯＳ・アプリケーション画面処理手段
Ａ４０１ 指とタッチパネルの接触領域
Ｃ３０１ カーソル
Ｃ３０２ 物理指定点（スタイラスとタッチパネルによる）
Ｃ３０３ 論理指定点
Ｃ３０４ 物理指定点（指とタッチパネルによる）
Ｃ３０５ カーソル
Ｆ２０１ スタイラス
Ｆ６０１ 指
Ｖ５０１ オフセットベクトル
Ｖ５０２ オフセットベクトル

Claims (21)

1. 接触された座標及び面積を検出可能な接触検出手段と、
   前記接触検出手段で検出した座標及び面積に基づいて物理指定点を算出する手段と、
   前記接触検出手段で検出した座標及び面積と前記物理指定点とから論理指定点を算出する手段と、
   前記算出した論理指定点を入力座標としてＯＳ及び／又はアプリケーションプログラムに通知する手段と
   を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記接触検出手段への接触部分の形状を検出する手段と、
   接触部分の形状から接触物の接触方向を算出する手段と、
   論理指定点の算出時に、前記算出した接触方向を用いて、論理指定点を決定する手段と、
   を備えることを特徴とする情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   論理指定点を示すカーソルを、予め設定されているカーソルの形状を用いて、角度を変更して表示する画面表示手段を備えることを特徴とする情報処理装置。
4. 請求項１ないし３の何れかに記載の情報処理装置であって、
   論理指定点を、予め設定されている利用者の指の太さに応じて、算出することを特徴とする情報処理装置。
5. 請求項１ないし４の何れかに記載の情報処理装置であって、
   論理指定点を、前記接触検出手段で検出した値に基づいて算出したベクトルを用いて設定することを特徴とする情報処理装置。
6. 請求項１ないし５の何れかに記載の情報処理装置であって、
   論理指定点を示すカーソルを、前記接触検出手段で検出した値に基づいて算出したベクトルを用いて回転させることを特徴とする情報処理装置。
7. 請求項１ないし６の何れかに記載の情報処理装置であって、
   論理指定点の算出時に、所定時間物理指定点に対するオフセットを計算するだけのモードと、オフセット計算後はタッピング又はクリックによるモード解除まで、オフセットを固定するモードを有するカーソル状態保持手段と
   を備えることを特徴とする情報処理装置。
8. 接触検出手段をもちいて、接触された座標及び面積を検出するステップと、
   前記接触検出手段で検出した座標及び面積に基づいて物理指定点を算出するステップと、
   前記接触検出手段で検出した座標及び面積と前記物理指定点とから論理指定点を算出するステップと、
   前記算出した論理指定点を入力座標としてＯＳ及び／又はアプリケーションプログラムに通知するステップと
   を有することを特徴とするポインタ指定方法。
9. 請求項８に記載のポインタ指定方法であって、
   前記接触検出手段への接触部分の形状を検出するステップと、
   接触部分の形状から接触物の接触方向を算出するステップと、
   論理指定点の算出時に、前記算出した接触方向を用いて、論理指定点を決定するステップと、
   を有することを特徴とするポインタ指定方法。
10. 請求項８又は９に記載のポインタ指定方法であって、
    論理指定点を示すカーソルを、予め設定されているカーソルの形状を用いて、角度を変更して表示することを特徴とするポインタ指定方法。
11. 請求項８ないし１０の何れかに記載のポインタ指定方法であって、
    論理指定点を、予め設定されている利用者の指の太さに応じて、算出することを特徴とするポインタ指定方法。
12. 請求項８ないし１１の何れかに記載のポインタ指定方法であって、
    論理指定点を、前記接触検出手段で検出した値に基づいて算出したベクトルを用いて設定することを特徴とするポインタ指定方法。
13. 請求項８ないし１２の何れかに記載のポインタ指定方法であって、
    論理指定点を示すカーソルを、前記接触検出手段で検出した値に基づいて算出したベクトルを用いて回転させることを特徴とするポインタ指定方法。
14. 請求項８ないし１３の何れかに記載のポインタ指定方法であって、
    論理指定点の算出時に、所定時間物理指定点に対するオフセットを計算するだけのモードと、オフセット計算後はタッピング又はクリックによるモード解除まで、オフセットを固定するモードを有することを特徴とするポインタ指定方法。
15. 接触された座標及び面積を検出可能な接触検出手段を有する情報処理装置の制御部を、
    前記接触検出手段で検出した座標及び面積に基づいて物理指定点を算出する手段と、
    前記接触検出手段で検出した座標及び面積と前記物理指定点とから論理指定点を算出する手段と、
    前記算出した論理指定点を入力座標としてＯＳ及び／又はアプリケーションプログラムに通知する手段
    として機能させることを特徴とするプログラム。
16. 請求項１５に記載のプログラムにおいて、
    前記制御部を
    前記接触検出手段への接触部分の形状を検出する手段と、
    接触部分の形状から接触物の接触方向を算出する手段と、
    論理指定点の算出時に、前記算出した接触方向を用いて、論理指定点を決定する手段
    として機能させることを特徴とするプログラム。
17. 請求項１５又は１６に記載のプログラムであって、
    前記制御部を、論理指定点を示すカーソルを、予め設定されているカーソルの形状を用いて、角度を変更して表示する画面表示手段として機能させることを特徴とするプログラム。
18. 請求項１５ないし１７の何れかに記載のプログラムであって、
    論理指定点を、予め設定されている利用者の指の太さに応じて、算出することを特徴とするプログラム。
19. 請求項１５ないし１８の何れかに記載のプログラムであって、
    論理指定点を、前記接触検出手段で検出した値に基づいて算出したベクトルを用いて設定することを特徴とするプログラム。
20. 請求項１５ないし１９の何れかに記載のプログラムであって、
    論理指定点を示すカーソルを、前記接触検出手段で検出した値に基づいて算出したベクトルを用いて回転させることを特徴とするプログラム。
21. 請求項１５ないし２０の何れかに記載のプログラムであって、
    前記制御部を、論理指定点の算出時に、所定時間物理指定点に対するオフセットを計算するだけのモードと、オフセット計算後はタッピング又はクリックによるモード解除まで、オフセットを固定するモードを有するカーソル状態保持手段として機能させることを特徴とするプログラム。

Images