JP2012027957A - 情報処理装置、プログラムおよびポインティング方法 - Google Patents

情報処理装置、プログラムおよびポインティング方法 Download PDF

Info

Publication number
JP2012027957A
JP2012027957A JP2011244324A JP2011244324A JP2012027957A JP 2012027957 A JP2012027957 A JP 2012027957A JP 2011244324 A JP2011244324 A JP 2011244324A JP 2011244324 A JP2011244324 A JP 2011244324A JP 2012027957 A JP2012027957 A JP 2012027957A
Authority
JP
Japan
Prior art keywords
cursor
display
detection
location
detection location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011244324A
Other languages
English (en)
Other versions
JP5275429B2 (ja
Inventor
Keijiro Yano
啓二郎 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011244324A priority Critical patent/JP5275429B2/ja
Publication of JP2012027957A publication Critical patent/JP2012027957A/ja
Application granted granted Critical
Publication of JP5275429B2 publication Critical patent/JP5275429B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】複数点での物体の接触または近接を検知することの可能なマルチタッチ機能を有する情報処理装置であって、ユーザが直感的に操作することのできるマウスエミュレートを実行可能な情報処理装置を実現することを課題とする。
【解決手段】PCのLCD11においてカーソル33を表示し、ユーザが指52タッチパネル12のカーソル33が表示されている箇所に接触しながら、他の指でタッチパネル12に接触すると、PCは他の指の触れた位置に応じた処理を行う。指51によって指52の接触箇所より表示上の左をタップすると、左クリックイベントが発生し、右側をタップすると右クリックイベントが発生する。PCはユーザのタッチパネル12への2箇所の接触箇所の座標情報に応じたマウス入力で操作入力可能な所定のイベントを発生させる。
【選択図】図5

Description

本発明はタッチパネルを有する情報処理装置に関するものであって、特にマルチタッチの検出可能なタッチパネルを有し画面上でポインティング操作するための方法、プログラム及び情報処理装置に関する。
近年のPC(Personal Computer)等では、表示画像の表示面に直接触れることでそのPCに対する各種操作入力が可能なタッチパネルが開発されている。通常のタッチパネル操作では、表示面のポイントしたい場所を短時間接触するようなタップ動作によって選択する操作(マウスで操作するときの左クリックに相当)を行う場合が多く、マウスで操作するときのようなカーソルは表示されない場合が多い。
しかし、マウスによるPCの操作では、所定の選択操作を行わずにアイコン上にカーソルを静止させて情報を表示するマウスオーバー機能や、右クリックによるコンテキストメニューの表示などユーザが使いなれた機能が多く存在している。それらの機能は、カーソルを表示しない場合や、タッチパネルをタップする操作では入力できず、ユーザは不便を感じることが多かった。
そこでタッチパネルを用いたポインティング操作においてもタッチパネルによる操作でマウスをエミュレートすることが可能な入力制御方法が提案されている(特許文献1を参照)。
特開2006−179006号公報
上記提案にかかる入力制御方法はマウスによる入力をエミュレートするものだが、ユーザは一連の操作をする際に一度指を離さなければならないなど、直感的な操作感覚を提供できるものではなかった。
本発明は上記問題に鑑みてなされたものであって、複数点での物体の接触または近接を検知することの可能なマルチタッチ機能を有する情報処理装置であって、ユーザが直感的に操作することのできるマウスエミュレートを実行可能な情報処理装置、プログラムおよびポインティング方法を実現することを目的とする。
本発明にかかる情報処理装置は、表示面に画像情報を表示する表示手段と、物体が前記表示面の第1及び第2の検知箇所に同時に接触又は近接したことを検知し、前記第1及び第2の検知箇所の座標情報を取得する座標情報取得手段と、前記第1の検知箇所が前記表示面上の所定の領域内であるとき、前記表示面に、前記物体の接触点の大きさよりも大きなカーソルを表示するカーソル表示手段と、前記第1の検知箇所が前記カーソル上にあるとき、前記第2の検知箇所の座標情報に応じて、マウスの入力操作に対応する所定のイベントを発生させ、前記第1の検知箇所が前記カーソル上にあり、且つ前記第1の検知箇所が連続して移動しているとき、前記第1の検知箇所が移動した先の表示場所に前記カーソルを表示する処理手段とを具備することを特徴としている。
また本発明にかかるプログラムは、情報処理装置において実行されるプログラムであって、表示面に画像情報を表示し、物体が前記表示面の第1及び第2の検知箇所に同時に接触又は近接したことを検知し、前記第1及び第2の検知箇所の座標情報を取得し、前記第1の検知箇所が前記表示面上の所定の領域内であるとき、前記表示面に、前記物体の接触点の大きさよりも大きなカーソルを表示し、前記第1の検知箇所が前記カーソル上にあるとき、前記第2の検知箇所の座標情報に応じて、マウスの入力操作に対応する所定のイベントを発生させ、前記第1の検知箇所が前記カーソル上にあり、且つ前記第1の検知箇所が連続して移動しているとき、前記第1の検知箇所が移動した先の表示場所に前記カーソルを表示することを前記情報処理装置に実行させることを特徴としている。
また本発明にかかるポインティング方法は、情報処理装置のためのポインティング方法であって、表示面に画像情報を表示し、物体が前記表示面の第1及び第2の検知箇所に同時に接触又は近接したことを検知し、前記第1及び第2の検知箇所の座標情報を取得し、前記第1の検知箇所が前記表示面上の所定の領域内であるとき、前記表示面に、前記物体の接触点の大きさよりも大きなカーソルを表示し、前記第1の検知箇所が前記カーソル上にあるとき、前記第2の検知箇所の座標情報に応じて、マウスの入力操作に対応する所定のイベントを発生させ、前記第1の検知箇所が前記カーソル上にあり、且つ前記第1の検知箇所が連続して移動しているとき、前記第1の検知箇所が移動した先の表示場所に前記カーソルを表示することを特徴としている。
複数点での物体の接触または近接を検知することの可能なマルチタッチ機能を有する情報処理装置であって、ユーザが直感的に操作することのできるマウスエミュレートを実行
可能な情報処理装置、プログラムおよびポインティング方法を実現することができる。
本発明の一実施形態におけるPCの概観の一例を示す斜視図。 本発明の一実施形態におけるPCのハードウェア構成の一例を示すブロック図。 本発明の一実施形態におけるカーソル表示方法の一例を示す図。 本発明の一実施形態におけるカーソル表示方法の一例を示す図。 本発明の一実施形態におけるマウスエミュレート入力方法の一例を示す図。 本発明の一実施形態におけるマウスオーバー機能発揮時のLCDの表示の一例を示す図。 本発明の一実施形態におけるカーソル表示変更機能の実現方法の一例を示す図。 本発明の一実施形態におけるPCの機能ブロックの一例を示す機能ブロック図。 本発明の一実施形態におけるクリック判別部の入力判別方法および各判別に基づいた処理の一例を示す図。 本発明の一実施形態における処理フローの一例を示すフロー図。 本発明の一実施形態におけるカーソル表示フェーズの一例を示すフロー図。
以下、本発明における実施の形態を図面を参照して説明する。
図1は本実施形態におけるPC10の概観の一例を示す斜視図である。図1にはPC10、LCD11、タッチパネル12、キーボード13、およびタッチパッド14が示されている。
PC10はユーザの指示によって各種計算処理を行う情報処理装置である。また、PC10は表示面への物体の接触又は近接を検知し、検知結果を利用した各種処理を行うタッチパネル機能を有している。本実施形態では情報処理装置の一例としてPCを例示しているがこれに限定されるものではなく、本発明はPDA等の様々な情報処理装置に適用可能である。
LCD11(Liquid Crystal Display)は液晶ディスプレイであって、PC10が出力する画像情報をユーザに向けて表示する表示手段としての機能を有している表示装置である。本実施形態においては液晶ディスプレイとして例示しているが、画像情報を表示可能な表示装置であればよく、他にもプラズマディスプレイ等の様々な表示装置が考えられる。
タッチパネル12はLCD11の表面に設けられており、物体の接触又は近接を検知し、検知情報を電気信号としてPC10に入力する機能を有している。また、タッチパネル12は2箇所同時の物体の接触又は近接であるマルチタッチを検知することが可能である。ここで2箇所同時のタッチパネル12への物体の接触又は近接をマルチタッチと呼び、1箇所のみによるタッチパネル12への物体の接触又は近接をシングルタッチと呼ぶ。タッチパネル12は透明であって、ユーザは透明なタッチパネル12を介してLCD11の表示を見ることが可能である。
キーボード13はユーザのキー押圧を検知し、PC10に検知情報を電気信号として入力する機能を有している。
タッチパッド14はユーザが表面を指でなぞるとその動きを検知し、検知情報をPC10に電気信号として入力する機能を有している。
図2は本実施形態におけるPC10のハードウェア構成の一例を示すブロック図である。図2にはPC10、CPU21、ROM22、RAM23、HDD24、表示制御部25、LCD11、タッチパネル12、入力制御部26、キーボード13、タッチパッド14、およびバス27が示されている。
CPU21は中央演算処理装置(Central Processing Unit)であり、PC10全体を制御している。また各種プログラムを実行し、そのプログラムに応じた所定の処理を実行する機能を有している。
ROM22は半導体メモリによって構成されCPU21の実行するプログラムを格納している。またROM22はPC10全体のシステムを制御するプログラムであるOS(Operation System)を有している。
RAM23は半導体メモリにより構成され、CPU21がプログラムを処理する際のプログラムおよびデータの格納用領域として利用される。
HDD24は例えば磁気ディスク装置であり、PC10のデータを保存する不揮発性の領域として利用される。CPU21の指示により、記憶されたプログラムやデータを読み出すことができる。またHDD24は本実施形態におけるマルチタッチの入力を制御するプログラムであるタッチ入力アプリケーションプログラムを有している。このタッチ入力アプリケーションプログラムに関しては後述にて説明する。
表示制御部25は画像処理用の半導体チップであり、CPU21等からの描画指示に従って画像を描画し、LCD11に出力する機能を持つ。
入力制御部26は、タッチパネル12、キーボード13、およびタッチパッド14からのユーザの入力情報を制御し、PC10に入力するコントローラである。
バス27は接続されるPC10内の各モジュールを通信可能に接続している。
図3は本実施形態におけるカーソル表示方法の一例を示す図である。図3にはPC10、LCD11、タッチパネル12、指31、指32、カーソル33、およびフォルダ34が示されている。
指31および指32はPC10を操作しているユーザの指である。このときユーザは指31あるいは指32の両方でタッチパネル12に接触することで、PC10に様々な指示を与えることができる。
カーソル33はLCD11の表示面上でオブジェクトの選択等を行なうための選択表示である。ユーザはカーソル33を移動させ、カーソル33の矢印の先端に存在するオブジェクトを選択するために指し示すことが可能である。本実施形態におけるPC10はカーソル33の大きさを指によるタッチパネル12への接触点の大きさより大きく表示している。カーソル33をこのように大きく表示すると、ユーザは指でカーソル33に接触しているとき、指によってカーソル33が見えなくなってしまうということはなくなり、常にユーザはカーソル33を視認しながら操作入力を行うことができる。
一方、カーソル33を表示しないときは、例えばユーザの指のタッチパネル12への接触点より小さいようなオブジェクトは、選択時に指によって見づらくなってしまう。このため目的のオブジェクトが正しく選択できているか否かをユーザが判別しづらく使いづらいものであった。しかしながらこの様にカーソル33を大きく表示するように構成すればカーソル33の矢印の先端によって選択を行うため、ユーザは選択したいオブジェクトを視認しやすく、また小さいオブジェクトであっても容易に選択することができる。
フォルダ34はユーザが使用するデータ等の格納先を示す表示オブジェクトである。ユーザはフォルダ34を選択することによって、使用したいデータの格納先を参照することができる。
本実施形態においては、初期状態ではLCD11にカーソル33を表示していない。この状態で、ユーザが選択対象のオブジェクトを指でタップするとタップしたオブジェクトが選択される。ここでタップとは比較的短い所定以下の時間タッチパネル12に接触をする操作を指す。また、タップとは異なる操作としてドラッグという操作入力がある。ドラッグとは前記所定の時間より長時間タッチパネル12に接触し続ける入力操作である。
本実施形態においては、ユーザが図3のようにタッチパネル21に指31と指32の2本の指で同時にタップ(マルチタッチ)するとPC10はLCD11にカーソル33を表示する。ここで、PC10はタッチパネル12における2箇所の接触検知点(指31、指32の接触点)の中点にカーソル33を表示する。このように本実施形態では2箇所の接触検知点の中点にカーソル33を表示するがこれはあくまで1つの例示であり、表示位置についてはこれに限定されない。マルチタッチの接触によるカーソル33を表示する場所の例としては、例えばどちらかの指が接触した点にカーソル33を表示するとしてもよいし、例えばタッチパネル12上のどの点に接触したとしても、LCD11の中心(又は右下等)に表示するような初期値を設けておいてもよい。また、本実施形態においてカーソル33は所定時間以上ユーザからのカーソル33を用いた操作入力を受付けなければ、カーソル33を非表示とする(後述にて説明する)。カーソル33が非表示となった後に再びカーソル33を表示するときには、このカーソル33が非表示となる直前に表示されていた場所に次回カーソル33表示時にはカーソル33を表示させるとしてもよい。また上記の組み合わせによるものも考えられる。
図4は本実施形態におけるカーソル表示方法の一例を示す図である。図4にはPC10、LCD11、タッチパネル12、フォルダ34、指41、およびカーソル表示領域42が示されている。ここでは図3で示したカーソル33の表示方法とは異なる表示方法の一例を説明する。
カーソル表示領域42とはユーザが指41でのタップによる操作入力を行うと、PC10がLCD11の表示上にカーソル33を表示する領域である。
図3においてはユーザにマルチタッチによってカーソル33を非表示から表示としたが、図4のようにカーソル表示領域42をタップすることによってカーソル33を表示するとしてもよい。このカーソル表示領域42はカーソル33が非表示の時には常に表示されている。ユーザがカーソル表示領域42にタップすることによりカーソル33が表示されたときには、このカーソル表示領域42はそのまま表示されていてもよいし、非表示となってもよい。カーソル33表示時にカーソル表示領域42を非表示とするならば、余計な表示がなくなりLCD11の表示は見やすいものとなる。カーソル33表示時にカーソル表示領域42を表示するとしたときは、ユーザがカーソル33表示時にカーソル表示領域42をタップすればカーソル33を非表示としてもよい。このときカーソル表示領域42はカーソル33の表示/非表示をトグルで切り替えるためのユーザの操作入力領域となっている。また本実施形態においてカーソル表示領域42はLCD11の画面上の右下に表示しているように例示しているが、表示位置は適宜自由に設計してかまわない。
またこのカーソル33の表示/非表示を切り替えるための入力をキーボード13の所定のキーの押下(又は所定の2つのキーの同時押下等)としてもよいし、又PC10に専用のボタンを設けてその専用ボタンを押下する等により入力とするという例も考えられる。
図5は本実施形態におけるマウスエミュレート入力方法の一例を示す図である。図5にはPC10、LCD11、タッチパネル12、カーソル33、フォルダ34、指51、指52、および指53が示されている。
ユーザは図5のように表示されているカーソル33上でドラッグ入力をしながら(所定の時間以上カーソル33の表示に接触し続けながら)指52を移動させると、指52の移動に沿って(指52と同移動方向に同移動量)カーソル33は移動する。
またユーザは指52よりも左側を(画面上破線より左側を)他の指によってタップすると、そのときマウス入力における左クリックを行うことができる。ユーザは指52よりも右側を(画面上破線より右側を)他の指によってタップすると、そのときマウス入力における右クリックを行うことができる。つまり、ユーザが指52より左側をタップすることで左クリックイベントが発生し、右側をタップすることで右クリックイベントが発生する。
このように構成すると、PC10はユーザが直感的に操作することが可能なマウスエミュレーションを行うことが可能となる。ユーザはマウスを使用するとき通常2本の指によってクリック操作を行う。本実施形態においてはマルチタッチ機能によって2本の指の接触を同時に検知することができるためシングルタッチによる入力とは異なり、ユーザは複数の指を使って通常マウスを使う感覚と似た感覚でタッチパネル12によるPC 10への操作入力を行うことが可能である。
このとき例えばユーザが指51によって図5中破線左側に所定時間以内に連続して2度タップ入力を行うと、マウスによる左クリックによるダブルクリックを行った場合と同様のイベントが発生する。
また指51によって指52よりタッチパネル12上の左側に接触したまま指52を移動させることにより、選択領域の範囲設定を簡易に行うことが可能である。このとき指51によるタッチパネル12への接触があると、指51による接触開始時にカーソル33の矢印の先端が存在する表示面上の点と、接触終了時にカーソル33の矢印の先端が存在する点とを対角点とする矩形領域が選択領域となる。タッチパネルでの操作入力において選択領域の範囲設定を行うとき、シングルタッチにおいては一度指を離す手順が必要であり、直感的な操作として選択領域の範囲設定を行うことが難しい。しかし本実施形態におけるPC10では一度指を離す等の手順を踏むことなく、直感的に選択領域の範囲設定を行うことが可能である。
図6は本実施形態におけるマウスオーバー機能発揮時のLCD11の表示の一例を示す図である。PC10、LCD11、タッチパネル12、カーソル33、フォルダ34、指61、およびツールチップ62が示されている。
本実施形態においてカーソル33の表示時に、指61のドラッグ操作によってカーソル33を移動させ、例えばフォルダ34のようなオブジェクト上でカーソル33を一定時間静止させると、PC10はマウスオーバー機能を発揮する。ここでのマウスオーバー機能とはユーザが左クリック等によるオブジェクトの選択を行わないまま、フォルダ34のようなオブジェクト上にカーソル33を静止させたとき、PC10が所定の処理を行う機能である。本実施形態においては、カーソル33をフォルダ34上で選択処理を行わないまま一定時間静止させるとPC10はマウスオーバー機能によってツールチップ62にフォルダ34に関する情報を表示する。図6で表示されている情報とはフォルダのサイズおよびフォルダ名である。図6においてフォルダ34は「特許データ」というフォルダ名であり、フォルダのサイズは500KBである。本実施形態においては前述の処理(カーソル33をフォルダ34上に静止させるとツールチップ62によってフォルダ34の情報を表示)を例示してマウスオーバー機能の説明を行うがこれに限定されるものではなく、他にもマウスオーバー機能としてはオブジェクトの輪郭を強調して現在カーソル33の矢印が指しているオブジェクトを目立たせる等の種々の処理が存在する。
このときカーソル33をフォルダ34から離すとツールチップ62は非表示となる。また、カーソル33はフォルダ34の表示上に存在している状態でユーザがタッチパネル12との接触をやめて、タッチパネル12から指を離したとしてもツールチップ62は表示されたままとなる。これらはツールチップ62の表示後のPC10の行う処理の例示であり、これに限定されない。
このように本実施形態ではタッチパネル入力方式においてカーソル33の表示を行なうためマウスオーバー機能を発揮することが可能となる。
図7は本実施形態におけるカーソル表示変更機能の実現方法の一例を示す図である。図7にはPC10、LCD11、タッチパネル12、カーソル33、フォルダ34、指71、および指72が示されている。
本実施形態においてカーソル表示変更機能とは、ユーザからの所定の操作入力によってカーソル33を回転または拡大/縮小を行うPC10の有する機能を言う。
本実施形態において図7(A)のようにユーザがタッチパネル12のカーソル33の表示上に2本の指を接触させ、図中矢印の方向へと指を回転させると、それに伴って図7(B)の様に矢印方向にカーソル33が回転する。
このときカーソル33は指71および指72とのそれぞれの接触点との位置関係を維持するように回転された後のカーソルが再描画される。すなわちカーソル33の指71と接触している点は指71の移動に伴って移動を行い、カーソル33の指72と接触している点は指72の移動に伴って移動を行う。カーソル33は2点それぞれの移動によって形状(カーソル33形状の縦横比等)が変化しないように回転、又は拡大/縮小を行い、形状の維持を行う。このとき、PC10は、カーソル33上の接触がなされている点を記憶し、ドラッグ操作によって移動したタッチパネル11上の接触点に先のカーソル33上の接触がなされていた点を一致させるようにカーソル33の描画処理を行う。このように構成することでユーザはカーソル33の表示上に2つの指を接触させて、指を動かすことによってカーソル33の回転、拡大/縮小を行うことが可能である。またこれらは移動と組み合わせて実現されてもよい。
本実施形態のようにカーソル33を大きく表示している場合は特に、矢印が向いている方向の逆方向となるLCD11の端は、カーソル33の矢印の先端を合わせづらい。矢印の先端を合わせようとすると指がLCD11の画面からはみ出してしまいタッチパネル12によって検知不可能となってしまうからである。そこで、本実施形態のようにカーソル33を回転可能としておけば、矢印の方向を適宜変更することができるので、カーソル33の矢印の先端を画面隅に合わせづらくなるケースは減少し、ユーザの使いやすいものとなる。また本実施形態においてはユーザは適宜カーソル33のサイズを変更することができ、カーソル33の使用方法に応じて好適なサイズのカーソル33を使用することができるのでユーザの利便性が向上する。
図8は本実施形態におけるPC10の機能ブロックの一例を示す機能ブロック図である。図8にはLCD11、タッチパネル12、入力制御部26、タッチ入力アプリケーション81、イベント受信部82、タッチ検知部83、クリック判別部84、イベント送信部85、カーソル表示部86、およびOS87が示されている。
タッチ入力アプリケーション81はHDD24に格納されているタッチ入力アプリケーションプログラムを実行するときのアプリケーションであり、タッチパネル12によるユーザ入力を制御してタッチ入力を実現する機能を有する処理手段である。マルチタッチアプリケーション81は入力制御部26からの信号入力に基づいて各種処理を行い、OS87および表示制御部25に対して各種信号を出力する機能を有している。またタッチ入力アプリケーション81はイベント受信部82、タッチ検知部83、クリック判別部84、イベント送信部85、およびカーソル表示部86を有している。
入力制御部26はタッチパネル12が指などの物体の接触又は近接を検知し、該検知によって発生する電気信号を取得するとともに、その電気信号をイベント受信部82のタッチ検知部83に対して出力する機能を有している。前述のように入力制御部26は2箇所同時のタッチパネル12への物体の接触又は近接(マルチタッチ)の情報を取得することが可能である。
イベント受信部82はタッチパネル12に対するユーザの操作入力を各種イベント情報として取得し、イベント送信部85およびカーソル表示部86に対して各種指示を出力する機能を有している。
タッチ検知部83はマルチタッチドライバ81より入力される電気信号に基づいて物体の接触又は近接箇所をタッチパネル12上の座標情報として算出する機能を有している。またタッチ検知部83は算出した物体の接触又は近接の座標情報を随時クリック判別部84に対して出力する。タッチパネル12およびタッチ検知部83は座標情報取得手段として機能している。
クリック判別部84はタッチ検知部83より取得するタッチパネル12上の物体の接触又近接箇所の座標情報に基づいて各種の判別を行い、判別結果に基づいた処理を行うようにイベント送信部85、カーソル表示部86に対して種々の指示を行う機能を有している。ここでクリック判別部84が判別する事項としては、タッチパネル12への物体の接触又は近接がシングルタッチ/マルチタッチであるか、タッチパネル12への入力がタップなのかドラッグ入力なのか、また取得した物体の接触または近接箇所の座標情報がLCD11におけるカーソル33の表示上であるのか否か等の項目がある。タッチパネル12への入力がタップ入力なのかドラッグ入力なのかの判別は、クリック判別部84は自身が有しているタイマ(図示しない)を用いて判別する。また、物体の接触又は近接箇所の座標情報がカーソル33の表示上であるのか否かの判別については後述する。クリック判別部84は上記の判別を行い、上記判別の組み合わせに基づいた処理を行う機能を有している。上記組み合わせおよびそれに基づいた処理とは図9を用いて後述する。
イベント送信部85はクリック判別部84から受信した処理指示をOS87に送信する機能を有している。
カーソル表示部86はクリック判別部84から受信する処理指示および座標情報に基づいた所定の処理を行う機能を有している。クリック判別部84からはカーソル表示部86に対してカーソル33の描画指示およびタッチパネル12上の物体の接触又は近接箇所の座標情報が送信される。カーソル表示部86はクリック判別部84からの指示に従いカーソル33の形状を作成し、表示制御部25にカーソル33を描画させるカーソル表示手段としての機能を有している。また、カーソル表示部86は作成したカーソル33の形状および位置情報をクリック判別部84に対して送信する。更にカーソル表示部86はカーソル33の矢印の先端のLCD11の表示面における位置情報をOS87に対して送信する機能を有している。
OS87はPC10全体を制御するアプリケーションである。OS87はユーザがタッチパネル12によって操作入力を行っているときも、カーソルの表示を行なわないこと以外はマウスやタッチパッド14によって操作入力を行われているとき同様に動作する。このときOS87はカーソル33の矢印の先端の座標情報をカーソル表示部86より受信しており、ユーザよりクリック動作が行われた際などにはこのカーソル33の矢印の先端の座標情報を用いてクリックの選択先を特定する。またカーソル33の矢印の先端の座標情報が所定のオブジェクト上に存在するとき等には、OS87はマウスオーバー機能を発揮する。
表示制御部25はカーソル表示部86から受信するカーソル33の描画指示に従ってカーソル33の画像を作成し、LCD11に表示させる機能を有している。
図9は本実施形態におけるクリック判別部84の入力判別方法および各判別結果に対応した、PC10が認識する処理の一例を示す図である。図9には判別テーブル900が示されている。
クリック判別部84はタッチ検知部83から取得するタッチパネル12上の物体の接触または近接箇所の座標情報およびカーソル表示部86から取得するカーソル33の表示位置の座標情報に基づいてユーザの入力操作を判別し、各判別結果に基づいた各種処理を行う。後述する本実施形態における処理フローでのカーソル表示フェーズにおいてはクリック判別部84は図9の判別テーブル900を参照してユーザの入力操作の判別および各種処理を行う。
判別テーブル900の一番上の列の欄(欄901、欄902)にはタッチ検知部83より取得する接触箇所(物体の接触又は近接箇所を以後簡単のため接触箇所と記載する)の座標情報がカーソル表示部86より取得するカーソル33の表示されている座標情報に含まれているか否かのステータス(カーソル上を含む/カーソル上を含まない)が示されている。上から二番目の列の欄(欄903、欄904)にはカーソル上を含む場合で、マルチタッチによる入力であった場合には、マルチタッチの接触箇所の座標情報が片方のみカーソル上であるのか、両方ともカーソル上であるのかステータス(片方/両方)が示されている。また、判別テーブル900の一番左の行の欄(欄905、欄906)には入力がマルチタッチであるか、シングルタッチであるかのステータス(マルチタッチ/シングルタッチ)が示されている。また左から二番目の行の欄(欄907〜欄910)にはそれぞれの入力がタップ入力であるのかドラッグ入力であるのかのステータス(タップ/ドラッグ)が示されている。
クリック判別部84はこれらの入力のステータスに基づいて、それに対応する処理を決定する。例えば、入力がシングルタッチによるドラッグ入力であって、接触箇所の座標情報がカーソル33を表示している座標情報に含まれる場合は、カーソル33の移動処理(欄919)を行う。このときのカーソル33の移動は図5において前述のように接触箇所の移動にそって(接触箇所と同移動方向に同移動量)の移動となる。
ここで判別テーブル900のそれぞれの欄についての説明を行なう。
欄911にはタップでのマルチタッチによる入力であり、片方の接触箇所のみカーソル33上に存在している場合の処理が示されている。このときにはカーソル33上の接触箇所とカーソル33上でない接触箇所との位置関係によって左クリックまたは右クリックどちらのイベントを発生させるかを決定し(カーソル33上でない接触箇所がカーソル33上の接触箇所より左側なら左クリック、カーソル33でない接触箇所がカーソル33上の接触箇所より右側なら右クリック)、決定したイベント情報をイベント送信部85を介してOS87に対して送信する。
欄912にはタップでのマルチタッチによる入力であり、両方の接触箇所がカーソル33上に存在している場合の処理が示されている。このときはクリック判別部84は特に処理を行わない。
欄913にはタップでのマルチタッチによる入力であり、接触箇所が二箇所ともカーソル33に含まれない場合の処理が示されている。このときはクリック判別部84はカーソル表示部86に対してカーソル33を非表示とするように指示を行なう。
欄914にはドラッグでのマルチタッチによる入力であり、片方の接触箇所のみカーソル33上に存在している場合の処理が示されている。このときには欄911の際の処理同様に各クリックイベントを発生させる。このときのクリックは押しっぱなしの状態であり、クリック判別部84はOS87に対してクリックの押しっぱなしである情報を送信する。これにより図5で説明した領域に選択範囲の設定を行うことができる。また例えば描画アプリケーション実行時等にはユーザの手書きの描線等の入力を行うことができるとしてもよい。
欄915にはドラッグでのマルチタッチによる入力であり、両方の接触箇所がカーソル33上に存在している場合の処理が示されている。このときクリック判別部84は図7に示すカーソル表示変更処理を行なう。クリック判別部84はカーソル表示部86に対しマルチタッチのそれぞれの接触箇所の座標情報を送信する。カーソル表示部86は受信する座標情報を用いて、上記に示すようにそれぞれの接触箇所移動に基づいてカーソル33の画像を再構成することで、カーソル33の回転、拡大/縮小等の表示を行なう。
欄916にはドラッグでのマルチタッチによる入力であり、接触箇所が二箇所ともカーソル33に含まれない場合の処理が示されている。このときクリック判別部84は何も処理を行わない。
欄917にはタップでのシングルタッチによる入力であり、接触箇所がカーソル33上である場合の処理が示されている。このときクリック判別部84は左クリックが行われたものとして左クリックイベントを発生させ、イベント送信部85を介して左クリックイベントの発生情報をOS87に対して送信する機能を有している。このときカーソル33の矢印の先端が選択されている箇所である。
欄918はタップでのシングルタッチによる入力であり、接触箇所がカーソル33上でない場合の処理が示されている。このときクリック判別部84はカーソル33の表示位置をそのときの接触箇所へと移動させる。クリック判別部84はカーソル表示部86に対してタッチパネル12における接触箇所の座標情報を送信して、該座標を矢印の先端としてカーソル33を表示するようにカーソル表示部86に対して指示を送信する。カーソル表示部86は指示に応じてカーソル33の形状を作成し、表示制御部25に描画させて、LCD11に移動後のカーソル33を表示させる。またカーソル表示部86はそのときのカーソル33の矢印の先端の座標情報をクリック判別部84に送信する。このように構成すると、ユーザはタッチパネル12上を指でなぞる必要なく、簡易に好適な位置にカーソル33を表示させることができる。
欄919にはドラッグでのシングルタッチによる入力であり、接触箇所がカーソル33上である場合の処理が示されている。このときクリック判別部84は接触箇所の座標情報をカーソル表示部86に対して送信し、カーソル表示部86は接触箇所に沿ってカーソル33を移動させるようにカーソル33の画像を作成し、表示させる。
欄920にはドラッグでのシングルタッチによる入力であり、接触箇所がカーソル33上でない場合の処理が示されている。このときクリック判別部84は接触箇所の座標情報をカーソル表示部86に対して送信し、カーソル表示部86は接触箇所にカーソル33を表示させ、更に接触箇所の移動に沿ってカーソル33が移動するように表示させる。
図10は本実施形態における処理フローの一例を示すフロー図である。図10における処理フローはカーソル33が表示されていない状態からスタートする。
まず、PC10はタッチパネル12において物体の接触又は近接を検知したか否かの判別を行う(S101)。タッチパネル12において物体の接触又は近接を検知していないとき(No)、処理フローは再びS101に戻る。S101でタッチパネル12において物体の接触又は近接を検知するとき(Yes)、入力制御部26はタッチ検知部83に対してタッチパネル12の検知結果を電気信号として送信し、タッチ検知部83は受信した該電気信号より検知箇所の座標情報取得し、座標情報をクリック判別部84に対して送信する。該検知箇所の座標情報を受信したクリック判別部84はタッチパネル12における物体の接触又は近接箇所が1箇所のみのシングルタッチであるのか、2箇所のマルチタッチであるのかの判別を行う(S102)。S102においてタッチパネル12における接触又は近接箇所が1箇所のみであると判別するとき(No)、クリック判別部84は左クリックのイベント発生情報をOS87に対して送信させるようイベント送信部85に対して指示を行う。指示を受けたイベント送信部85はOS87に対して左クリックのイベント発生情報を送信し、該情報を送信したOS87は左クリックが行われた場合の処理を行う(S103)。
S102においてクリック判別部84はマルチタッチであると判別すると(Yes)、カーソル表示部86に対して接触箇所の座標情報およびカーソル33の表示指示を行う。カーソル表示部86は受信した指示および座標情報に基づいてカーソル33の形状の作成を行う。このときカーソル33の表示される位置に関しては前述のようにLCD11上のどこでもよく、またカーソル表示部86は表示を行なうカーソル33の座標情報をクリック判別部84に対して送信する。カーソル33の形状の作成を行ったカーソル表示部86は表示制御部25に対してカーソル33の画像を生成し、LCD11に表示させるように指示を行ない、LCD11にカーソル33が表示される(S104)。またカーソル表示部86はカーソル33の矢印の先端の座標情報をOS87に対して送信する。S104が終了すると処理フローはカーソル表示フェーズへと移行する(S105)。カーソル表示フェーズに関しては図11を用いて後述する。カーソル表示フェーズ(S105)が終了すると、クリック判別部84はカーソル表示部86に対してカーソル33を非表示とするように指示を送信し、指示を受けたカーソル表示部86はカーソル表示処理を中断してカーソル33を非表示とする(S106)。S103およびS106が終了すると処理フローは終了となる。
ここで図4を用いて説明したようにカーソル表示領域42を設けてカーソル33の表示を行なう場合にはS102の判別が「接触検知箇所はカーソル表示領域42内であるか?」となり、カーソル表示領域42内であれば(Yes)、S104に進みそうでなければS103へと進む処理フローとなる。
図11は本実施形態におけるカーソル表示フェーズの一例を示すフロー図である。以下にて図10に示される処理フローのカーソル表示フェーズにおける処理を図11を参照して説明する。
まずカーソル33が表示された状態において、クリック判別部84はまず、所定時間以内にタッチパネル12に対する物体の接触又は近接があったか否かの判別を行う(S111)。ここで本実施形態における前記所定時間とは例えば30秒とするが、これはあくまで本実施形態における例示である。S111において30秒以内に物体の接触又は近接を検知すると(Yes)、クリック判別部84はその接触箇所のタッチパネル12上の座標情報およびカーソル33の表示されている座標情報を用いて、図9で示されるテーブルを参照しながらユーザの入力操作を判別し判別結果に応じた処理を決定する(S112)。クリック判別部84の決定した処理に応じて、クリック判別部84、イベント送信部85、カーソル表示部86、OS87、および表示制御部25等は図9を用いて前述した各種処理を行う(S113)。S113が終了すると処理フローはS111へと戻る。S111においてクリック判別部84が30秒以内に物体の接触又は近接を検知しないとき(No)、カーソル表示フェーズは終了となり、処理フローは図10におけるS106へと進む。
本実施形態におけるPC10とすれば表示面への複数箇所での物体の接触又は近接を検知したとき、それぞれの検知箇所に応じたマウス操作をエミュレーションすることができ、それによりユーザが直感的に操作することのできる情報処理装置を実現することが可能となる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
10:PC
11:LCD
12:タッチパネル
13:キーボード
14:タッチパッド
21:CPU
22:ROM
23:RAM
24:HDD
25:表示制御部
26:入力制御部
27:バス
31、32:指
33:カーソル
34:フォルダ
41:指
42:カーソル表示領域
51〜53:指
61:指
62:ツールチップ
71、72:指
81:タッチ入力アプリケーション
82:イベント受信部
83:タッチ検知部
84:クリック判別部
85:イベント送信部
86:カーソル表示部
87:OS
900:判別テーブル
901〜920:欄

Claims (7)

  1. 表示面に画像情報を表示する表示手段と、
    物体が前記表示面の第1及び第2の検知箇所に同時に接触又は近接したことを検知し、前記第1及び第2の検知箇所の座標情報を取得する座標情報取得手段と、
    前記第1の検知箇所が前記表示面上の所定の領域内であるとき、前記表示面に、前記物体の接触点の大きさよりも大きなカーソルを表示するカーソル表示手段と、
    前記第1の検知箇所が前記カーソル上にあるとき、前記第2の検知箇所の座標情報に応じて、マウスの入力操作に対応する所定のイベントを発生させ、前記第1の検知箇所が前記カーソル上にあり、且つ前記第1の検知箇所が連続して移動しているとき、前記第1の検知箇所が移動した先の表示場所に前記カーソルを表示する処理手段と
    を具備することを特徴とする情報処理装置。
  2. 前記処理手段は、
    前記第2の検知箇所の座標情報が前記第1の検知箇所の座標情報よりも、ユーザが存在すると仮定する側から見て左側を示すとき、マウスの入力操作におけるボタンの左クリックに相当するイベントを発生させ、前記第2の検知箇所の座標情報が前記第1の検知箇所の座標情報よりも右側を示すとき、マウスの入力操作におけるボタンの右クリックに相当するイベントを発生させること
    を特徴とする請求項1記載の情報処理装置。
  3. 前記カーソル表示手段は、前記カーソルの前記表示面への表示と非表示とを切り替える切り替え手段を更に有しており、
    前記処理手段は、
    前記カーソル表示手段が前記カーソルを表示していないときであって、前記表示面上の二箇所に同時に物体が接触もしくは近接したとき、又は所定時間以内に前記表示面上の二箇所に物体が連続して接触もしくは近接したときに前記カーソルを表示すること
    を特徴とする請求項1記載の情報処理装置。
  4. 前記第1及び第2の検知箇所が前記カーソル上にあり、且つ前記第1及び第2検知箇所のうちの少なくとも一箇所が動いているとき、
    前記カーソル表示手段は、
    前記第1の検知箇所の座標情報を有する前記カーソル上の第1の点と、前記第2の検知箇所の座標情報を有する前記カーソル上の第2の点とを、前記第1の点及び前記第2の点のカーソル上の位置が先に表示されていた前記カーソル上の位置と同様になるようにカーソルを拡大、縮小又は回転させるために、前記第1の検知箇所及び前記第2の検知箇所の座標情報の変化量分移動させ、前記カーソルを再描画して表示すること
    を特徴とする請求項1記載の情報処理装置。
  5. 前記カーソルが前記表示面上の所定の位置に所定の時間以上あるとき、前記所定の位置に対応する所定の情報を表示するマウスオーバー手段
    を更に具備することを特徴とする請求項1記載の情報処理装置。
  6. 情報処理装置において実行されるプログラムであって、
    表示面に画像情報を表示し、
    物体が前記表示面の第1及び第2の検知箇所に同時に接触又は近接したことを検知し、前記第1及び第2の検知箇所の座標情報を取得し、
    前記第1の検知箇所が前記表示面上の所定の領域内であるとき、前記表示面に、前記物体の接触点の大きさよりも大きなカーソルを表示し、
    前記第1の検知箇所が前記カーソル上にあるとき、前記第2の検知箇所の座標情報に応じて、マウスの入力操作に対応する所定のイベントを発生させ、
    前記第1の検知箇所が前記カーソル上にあり、且つ前記第1の検知箇所が連続して移動しているとき、前記第1の検知箇所が移動した先の表示場所に前記カーソルを表示することを前記情報処理装置に実行させる
    ことを特徴とするプログラム。
  7. 情報処理装置のためのポインティング方法であって、
    表示面に画像情報を表示し、
    物体が前記表示面の第1及び第2の検知箇所に同時に接触又は近接したことを検知し、前記第1及び第2の検知箇所の座標情報を取得し、
    前記第1の検知箇所が前記表示面上の所定の領域内であるとき、前記表示面に、前記物体の接触点の大きさよりも大きなカーソルを表示し、
    前記第1の検知箇所が前記カーソル上にあるとき、前記第2の検知箇所の座標情報に応じて、マウスの入力操作に対応する所定のイベントを発生させ、
    前記第1の検知箇所が前記カーソル上にあり、且つ前記第1の検知箇所が連続して移動しているとき、前記第1の検知箇所が移動した先の表示場所に前記カーソルを表示すること
    を特徴とするポインティング方法。
JP2011244324A 2011-11-08 2011-11-08 情報処理装置、プログラムおよびポインティング方法 Expired - Fee Related JP5275429B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011244324A JP5275429B2 (ja) 2011-11-08 2011-11-08 情報処理装置、プログラムおよびポインティング方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011244324A JP5275429B2 (ja) 2011-11-08 2011-11-08 情報処理装置、プログラムおよびポインティング方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009173742A Division JP2011028524A (ja) 2009-07-24 2009-07-24 情報処理装置、プログラムおよびポインティング方法

Publications (2)

Publication Number Publication Date
JP2012027957A true JP2012027957A (ja) 2012-02-09
JP5275429B2 JP5275429B2 (ja) 2013-08-28

Family

ID=45780715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011244324A Expired - Fee Related JP5275429B2 (ja) 2011-11-08 2011-11-08 情報処理装置、プログラムおよびポインティング方法

Country Status (1)

Country Link
JP (1) JP5275429B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218204A (ja) * 2012-04-11 2013-10-24 Nikon Corp 焦点検出装置および撮像装置
JP2014130384A (ja) * 2012-12-27 2014-07-10 Tokai Rika Co Ltd タッチ操作型入力装置
JP2015076045A (ja) * 2013-10-11 2015-04-20 Necパーソナルコンピュータ株式会社 情報処理装置、方法及びプログラム
JP2015115038A (ja) * 2013-12-16 2015-06-22 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法
KR20160069672A (ko) * 2014-12-09 2016-06-17 곽동선 핑거 입력장치
JP2016110343A (ja) * 2014-12-04 2016-06-20 キヤノン株式会社 情報処理装置、情報処理装置における情報処理方法、並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327788A (ja) * 1998-05-20 1999-11-30 Kenwood Corp タッチパネル装置
JP2005332231A (ja) * 2004-05-20 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> ポインティング方法およびポインティング装置、ならびにポインティングプログラム
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327788A (ja) * 1998-05-20 1999-11-30 Kenwood Corp タッチパネル装置
JP2005332231A (ja) * 2004-05-20 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> ポインティング方法およびポインティング装置、ならびにポインティングプログラム
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218204A (ja) * 2012-04-11 2013-10-24 Nikon Corp 焦点検出装置および撮像装置
JP2014130384A (ja) * 2012-12-27 2014-07-10 Tokai Rika Co Ltd タッチ操作型入力装置
JP2015076045A (ja) * 2013-10-11 2015-04-20 Necパーソナルコンピュータ株式会社 情報処理装置、方法及びプログラム
JP2015115038A (ja) * 2013-12-16 2015-06-22 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法
JP2016110343A (ja) * 2014-12-04 2016-06-20 キヤノン株式会社 情報処理装置、情報処理装置における情報処理方法、並びにプログラム
KR20160069672A (ko) * 2014-12-09 2016-06-17 곽동선 핑거 입력장치
KR101706909B1 (ko) * 2014-12-09 2017-02-27 곽동선 핑거 입력장치

Also Published As

Publication number Publication date
JP5275429B2 (ja) 2013-08-28

Similar Documents

Publication Publication Date Title
JP2011028524A (ja) 情報処理装置、プログラムおよびポインティング方法
TWI451309B (zh) Touch device and its control method
JP5691464B2 (ja) 情報処理装置
JP4869135B2 (ja) コンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法及びマウスをエミュレートするシステム
KR101085603B1 (ko) 다점 감지 장치를 이용한 제스처링
TWI413922B (zh) 觸控板之控制方法與應用該方法之觸控裝置
TWI416374B (zh) 輸入方法、輸入裝置及電腦系統
US20140380209A1 (en) Method for operating portable devices having a touch screen
US20120154313A1 (en) Multi-touch finger registration and its applications
US20120212420A1 (en) Multi-touch input control system
US20110060986A1 (en) Method for Controlling the Display of a Touch Screen, User Interface of the Touch Screen, and an Electronic Device using The Same
US9213482B2 (en) Touch control device and method
JP5275429B2 (ja) 情報処理装置、プログラムおよびポインティング方法
JP2009151718A (ja) 情報処理装置および表示制御方法
US11099723B2 (en) Interaction method for user interfaces
Matejka et al. The design and evaluation of multi-finger mouse emulation techniques
JP5388246B1 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
KR20160019762A (ko) 터치 스크린 한손 제어 방법
Ahn et al. Evaluation of edge-based interaction on a square smartwatch
Benko et al. Imprecision, inaccuracy, and frustration: The tale of touch input
JP5414134B1 (ja) タッチ式入力システムおよび入力制御方法
JP5477108B2 (ja) 情報処理装置及びその制御方法並びにプログラム
US20150100912A1 (en) Portable electronic device and method for controlling the same
JP2014241078A (ja) 情報処理装置
TWI439922B (zh) 手持式電子裝置及其控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130515

LAPS Cancellation because of no payment of annual fees