JP2015153197A - ポインティング位置決定システム - Google Patents

Abstract

【課題】画面上の位置に表示される画像の一部が操作体により隠されることなく、かつ、ドラッグ操作を自然に行うことのできるポインティング位置決定システムを提供すること。【解決手段】操作体４による画面上へのタッチ入力を検知した場合に、タッチ位置と異なる画面上の表示位置にポインタ画像５を表示するとともに、画像表示を、タッチ位置から表示位置への方向にそれらの離間距離、移動して、制御する。それにより、タッチ入力のあった画面位置からドラッグを開始しても、ドラッグ対象箇所が操作体４に隠れることなく表示される。【選択図】図２

Description

本発明は、画像を表示する画面上での操作体によるタッチ位置に基づいて、画面においてポインティングされている位置を決定するポインティング位置決定システムに関する。

画像を表示する画面上にタッチセンサが配された表示制御装置（タッチパネル）では、タッチセンサにより、指などの操作体による画面上での接触（タッチ）の位置が検出され、画面を表示しているアプリケーションプログラムに伝達される。例えば、複数の選択項目（を表すアイコン等のマーク）が表示されるメニュー画面において、選択する項目（マーク）の上をタッチすることで選択された項目に対応した処理が実行される。また、画面にタッチしたままでタッチ位置を移動するドラッグ操作を行うことで該ドラッグの軌跡に対応した処理（例えば一定の範囲のテキストの選択、地図上の経路の指定）が実行される。
このように、タッチパネルはマウスを用いることなくポインティング操作を実現するものであり、近年、携帯型コンピュータやスマートホンに広く用いられている。

一方、タッチパネルの面積は、そして表示される画像は、（特にスマートホンの場合）操作体である指に比してさほど大きくないことも多く、画面に接触する操作体により選択対象の項目が隠れてしまうという不便がある。このように操作体により画面上に表示される画像の一部が隠されることで、誤操作を招くおそれも生じる。そこで、例えば特許文献１では、操作体による画面上へのタッチにより、そのタッチ位置と異なる画面上の位置にポインタ画像が表示される情報処理装置が開示されている。このように、タッチ位置がそのままポインティング位置ではない場合には、ポインティング位置決定システムが有効である。

しかし、特許文献１に開示された情報処理装置は、画面上の１点を指定するための操作に特化して設計されており、ドラッグ操作に用いることは困難である。このことは、タッチパネルによるドラッグ操作をマウスによるドラッグ操作とを比較することで理解できる。

マウスによるドラッグ操作では、マウスのボタンを押さずにドラッグ開始位置にマウス（ポインタ）を移動し、マウスの（通常は）左ボタンを押したままでマウスを移動する。すなわち、左ボタンが押されているか否かによってドラッグと、ドラッグではないマウス移動（以下「ムーブ」と呼ぶ。）とを峻別することができる。

一方、タッチパネルにおいては、ドラッグとムーブとを峻別するための左ボタンが存在しないので、ドラッグを実現するためには、タッチが継続している限りにおいてドラッグであると仮定して処理せざるを得ない。そうすると、ドラッグ開始位置にマウス（ポインタ）を設定するムーブ操作は、必然的に、タッチしていない状態からタッチしている状態に遷移する際の最初のタッチによることとなる。すなわち、ユーザは、ポインタ画像が表示されていない状態でドラッグ開始位置を指定するためのタッチを行うこととなる。特許文献１に開示された情報処理装置でドラッグ捜査を行うためには、表示されていないポインタ画像の位置とタッチ位置との座標の相違に対応して、ドラッグ開始位置とは異なる位置をタッチせねばならない。これは極めて困難である。

特開平６−５１９０８号公報

本発明は、画面上の位置に表示される画像の一部が操作体により隠されることなく、かつ、ドラッグ操作を自然に行うことのできるポインティング位置決定システムを提供することを課題とする。

本発明のポインティング位置決定システムは、
画像を表示する画面上での操作体によるタッチ位置である第１位置の座標を検出する座標検出手段と、前記画面に画像を表示する表示手段とを備えたタッチパネルにおけるポインティング位置を決定するポインティング位置決定システムであって、
前記表示手段を制御する表示制御手段を備え、
前記表示制御手段は、前記座標検出手段が前記第１位置の座標を検知しない状態から最初に前記第１位置の座標を検知した場合に、（１）前記第１位置と異なる前記画面上の第２位置を指示するポインタ画像を前記表示手段を介して表示し、（２）前記画像を、前記第１位置から前記第２位置への方向に前記第１及び第２位置の離間距離だけ移動して表示し、
前記表示制御手段は、更に、前記第１位置の座標を検知している限り、前記第２位置の前記第１位置に対する相対座標を保持して前記第２位置を指示するポインタ画像を前記表示手段を介して表示し続けることを特徴とする。

タッチしていない状態からタッチしている状態に遷移する際の最初のタッチ位置が第１位置として座標が検知される。ユーザがタッチ位置を移動せずとも画像が第１位置から第２位置に移動し、ポインタ画像が表示される。その後は、捜査体（指）に隠されないポインタ画像を利用してドラッグ操作を行うことができる。

本発明のポインティング位置決定システムは、
画像を表示する画面上での操作体によるタッチ位置である第１位置の座標を検出する座標検出手段と、前記画面に画像を表示する表示手段とを備えたタッチパネルにおけるポインティング位置を決定するポインティング位置決定システムであって、
前記表示手段を制御する表示制御手段を備え、
前記座標検出手段が前記第１位置の座標を最初に検知した後の所定の時間内に前記座標検出手段が前記第１位置の座標が移動したことを検知しない場合において、前記所定の時間の経過後に、前記表示制御手段は、（１）前記第１位置と異なる前記画面上の第２位置を指示するポインタ画像を前記表示手段を介して表示し、（２）前記画像を前記第１位置から前記第２位置への方向に前記第１及び第２位置の離間距離だけ移動して表示し、（３）前記第１位置の座標を検知している限り、前記第２位置の前記第１位置に対する相対座標を保持して前記第２位置を指示するポインタ画像を前記表示手段を介して表示し続け、
前記座標検出手段が前記第１位置の座標を最初に検知した後の所定の時間内に前記座標検出手段が前記第１位置の座標が移動したことを検知した場合において、前記座標検出手段が前記第１位置の座標を検知している間は前記表示制御手段が起動されないことを特徴とする。

アプリケーションに依存して、指がドラッグ操作の支障にならない場合がある。かかる場合には、ポインタ画像を表示せずに指の位置でドラッグ操作を行うことができる。タッチしてから所定の時間（例えば１秒）の間にドラッグ操作が開始されるか否かによって、ポインタを表示すべきか否かを判断する。
ユーザは、ポインタ画像を表示するか否かを選択することができる。所定の時間が、指を動かすことができる程度に長く、ポインタ画像の表示を待つことに焦燥を感じない程度に短い時間、例えば１秒、であることが好ましい。

本発明のポインティング位置決定システムは、
前記第１位置の座標をポインティング位置とすることを特徴とする。

ポインティング位置決定システムを、アプリケーションプログラムと独立して実装することができる。画像の移動とポインタ画像の表示とはポインティング位置決定システムによって実行され、アプリケーションプログラムは、これらに関知せずに、ポインティング位置決定システムのない場合と同一のものでよい。すなわち、ポインティング位置決定システムを全てのアプリケーションプログラムで共通に使用することができる。
ここで「ポインティング位置」とは、ポインティングされている位置としてアプリケーションに送られる座標を言う。

本発明のポインティング位置決定システムは、
前記第２位置の座標をポインティング位置とすることを特徴とする。

第２位置の座標によって、ポインティングされている画像の位置が表される。アプリケーションプログラムがその情報を必要とする場合には、第２位置の座標をポインティング位置とすることが好ましい。
ただし、タッチしてから所定の時間（例えば１秒）の間にドラッグ操作が開始された場合等、ポインタを表示しない場合には、当然に、第１位置の座標をポインティング位置とする。

本発明のポインティング位置決定システムは、
前記第２位置は、前記第１位置に対して上側であることを特徴とする。

捜査体が指である場合、第１位置の下側を隠す。第２位置を第１位置に対して上側に設けることで、第２位置の画像が指によって隠されることがなくなる。

本発明のポインティング位置決定システムは、
前記第１及び第２位置の離間距離は、前記画面上において５ｍｍ以上であることを特徴とする。

指の幅又はそれ以上に第２位置を第１位置から離間させる。第２位置の画像が指によって隠されることがなくなる。

本発明のポインティング位置決定システムは、
スマートホン上で動作するものであることを特徴とする。

スマートホンは、本発明の利用に適している。

本発明の表示制御装置によれば、画面上の位置に表示される画像の一部が操作体により隠されることなく、かつ、ドラッグ操作を自然に行うことのできるポインティング位置決定システムを提供することが可能となる。

図１は、ポインティング位置決定システムの構成を示す図である。 図２は、ポインティング位置決定システムの動作を説明するための図である。 図３は、ポインティング位置決定システムのフローチャートである。 図４は、ポインティング位置決定システムを活用するアプリケーションの例を説明するための図である。

以下、本発明の実施例を、図１〜４を用いて説明する。

図１は、ポインティング位置決定システムの構成を示す図である。ポインティング位置決定システム１は、タッチパネル２とアプリケーションプログラム３との間で動作する。ポインティング位置決定システム１がない時にタッチパネル２を直接に制御していたアプリケーションプログラム３は、何らの変更をせずにポインティング位置決定システム１を利用することができる。すなわち、ポインティング位置決定システム１は、タッチパネル２のデバイスドライバとして動作することができる。

ポインティング位置決定システム１は、表示制御手段１１及び座標処理手段１２を備えている。座標処理手段１２から表示制御手段１１に向けてタッチ位置の座標に関する情報が送られる。

タッチパネル２は、画面、タッチセンサ、表示手段２１及び座標検出手段２２を備えている。広く用いられているものである。表示手段２１は、画像情報を取得し、それを画面に表示する。本実施例において、画像情報は、表示制御手段１１から入力される。座標検出手段２２は、タッチセンサに対する操作体（指など）によるタッチ操作を検知し、タッチ操作の行われた箇所の座標を出力する。タッチ操作が継続して座標が変位している場合には、変位した座標が継続的に出力される。本実施例において、座標は、座標処理手段１２に出力される。

図２は、ポインティング位置決定システムの動作を説明するための図である。図３は、ポインティング位置決定システムのフローチャートである。以下、図２及び３を用いてポインティング位置決定システムの動作を説明する。図２（Ａ）に示すように画面に表示される画像に含まれる複数の項目（のそれぞれを表すアイコンＡ〜Ｉ）のうちの幾つかを選択する場合を例として説明する。

ユーザが画面にタッチしていない状態においては、図２（Ａ）の画面が表示されている。図３のフローチャートにおける「スタート」の状態である。

ユーザは、Ａ、Ｂ、Ｄ、Ｅの４つの項目を選択しようとしている。そこで、まず、図２（Ｂ）に示すように、タッチパネルのＡが表示されている箇所を指４でタッチする。すると、その座標検出手段２２からポインティング位置決定システム１にタッチされた座標が送られる。ポインティング位置決定システム１は、タッチの開始を検出する（図３におけるステップ６Ｂ）。

ポインティング位置決定システム１は、所定の時間（本実施例では１秒）の間に、タッチ位置が移動した場合には、図の中列の処理に移行する。この処理は、タッチ位置そのものをポインティング位置とする一般的な処理であるので、詳細な説明は省略する。
ここで、タッチ位置が移動したか否かの判断は、最初のタッチ位置からの移動距離が例えば３ｍｍの閾値を超えた場合に移動したものとすればよい。
また、所定の時間は、１秒でなく、０．５秒、２秒等、設計事項として定めてよい。

所定の時間の間にタッチ位置が移動しない場合には、表示制御手段１１は、ポインタ画像５を表示し、タッチされた位置の座標とポインタ画像５によって指示される座標（矢印の先端が表示されている箇所の座標）との相違分だけ、画像表示を移動する（図３におけるステップ６Ｃ）。この結果、画面は図２（Ｃ）に示すようになる。その後、座標処理手段１２は、タッチされた位置の座標を出力（アプリケーションに送信）する。

図２（Ｂ）と図２（Ｃ）とを比較すると、図２（Ｂ）において指４にタッチされた箇所の画像は、図２（Ｃ）においてはポインタ画像５によって指示されている。そして、指４によっては隠されていない。このためには、指先の画面にタッチする部位と爪の先端との距離よりも大きな１０ｍｍ、もしくはそれ以上に画像表示を移動することが好ましい。

また、指４の根元側によってポインタ画像５によって指示されている箇所が隠れてしまうことのないよう、画像表示を上側に移動することが好ましい。

ユーザは、次に、ポインタ画像が項目Ｅを指示するように、指の先端を画面にタッチさせたまま移動させる。表示制御手段１１は、ポインタ画像５を指の動きに合わせて（タッチ位置の変位と同一の変位で）画面上で移動する（図３におけるステップ６Ｄ）。この結果、画面は図２（Ｃ）に示すようになる。指が移動している間、座標処理手段１２は、指４によってタッチされた位置の座標を出力（アプリケーションに送信）する。

ユーザは、指の動きによってポインタ画像５を移動させる。このため、ポインタ画像５の根元が指のタッチする位置に達していると、ポインタを指で抑えて動かしている感覚となって使いやすい。

ここで、座標処理手段１２によって出力（アプリケーションに送信）される座標は、画像表示を移動させた前後で、指４によってタッチされた位置の座標のままで不変であってよい。ポインタ画像５によって指示される箇所の座標を出力する必要はない。画像表示の移動は表示制御手段１１によって実行されており、アプリケーション３は移動前の座標に表示すべき画像をポインティング位置決定システム１に入力している。移動後の座標においてポインタ画像５によって指示される位置は、移動前の座標において指４によってタッチされた位置の座標に対応する。したがって、指４によってタッチされた位置の座標を出力すれば、アプリケーション動作に支障がない。

一方、指４によってタッチされた位置でなく、ポインタ画像５によって指示される位置の座標をアプリケーションプログラム３が必要とする場合も考えられる。例えばアプリケーションプログラム３が、ポイントされた座標に基づいて必要な画像の変更（例えばスクロール）を行う場合である。かかる場合には、座標処理手段１２によって座標を変換することが好ましい。

なお、ポインティング位置決定システム１をタッチパネル２のデバイスドライバとして動作させてもよい。この場合、アプリケーションプログラム３は、ポインタ画像５の表示や表示位置の変更の対処をしなくても（ポインティング位置決定システム１を使用しないものと同一であっても）、問題なく動作する。

一方、タッチ位置とポインタ画像５によって指示される位置との離間距離をアプリケーションプログラム３が（例えばＡＰＩによって）指定するようにして、アプリケーションプログラム３による詳細な制御を実現することもできる。アプリケーションプログラムが離間距離の情報を所持しているので、指４によってタッチされた位置とポインタ画像５によって指示される位置とのいずれかの座標を受け取るアプリケーションプログラムは、離間距離に関する補正を行うことができる。

ユーザは、最後に、指を画面から離す。座標検出手段２２から座標が送られることがなくなり、ポインティング位置決定システム１は、タッチの終了を検出する。

表示制御３段１１は、画像表示を移動し（元の位置に戻し）、ポインタ画像５を消去する（図３におけるステップ６Ｅ）。この結果、画面は図２（Ｅ）に示すようになる。

アプリケーションプログラム３は、図２（Ｅ）に太線で示したドラッグの軌跡を取得している。この軌跡に対応する処理を行うことができる。本実施例では、Ａ、Ｂ、Ｄ、Ｅの４つの項目の選択であり、画面を図２（Ｆ）に示すように更新する。

以上、ドラッグの処理について説明した。ドラッグの軌跡に対応する処理はアプリケーションプログラムに依存して異なってよい。図４は、ポインティング位置決定システムを活用するアプリケーションの例を説明するための図である。

例えば、図４（Ａ）のように、地図のアプリケーションにおいてドラッグの軌跡を道順として道のりを計算することもできる。

また、図４（Ｂ）のように、ゲームのアプリケーションにおいて、ドラッグの軌跡に沿ってブロックを消去し、上方のブロックを落としこむこともできる。特に（画面の小さな）スマートホン上で動作するゲームにおいて、ドラッグ位置が指によって隠されないことは、ゲームの楽しみを増す。

画面上の位置に表示される画像の一部が操作体により隠されることなく、かつ、ドラッグ操作を自然に行うことのできるポインティング位置決定システムであり、多くの携帯型コンピュータ製造者、スマートホン製造者、アプリケーションプログラム開発者による利用が考えられる。

１ ポインティング位置決定システム
１１ 表示制御手段
１２ 座標処理手段
２ タッチパネル
３ アプリケーションプログラム
４ 指（操作体）
５ ポインタ画像

Claims (8)

1. 画像を表示する画面上での操作体によるタッチ位置である第１位置の座標を検出する座標検出手段と、前記画面に画像を表示する表示手段とを備えたタッチパネルにおけるポインティング位置を決定するポインティング位置決定システムであって、
   前記表示手段を制御する表示制御手段を備え、
   前記表示制御手段は、前記座標検出手段が前記第１位置の座標を検知しない状態から最初に前記第１位置の座標を検知した場合に、（１）前記第１位置と異なる前記画面上の第２位置を指示するポインタ画像を前記表示手段を介して表示し、（２）前記画像を、前記第１位置から前記第２位置への方向に前記第１及び第２位置の離間距離だけ移動して表示し、
   前記表示制御手段は、更に、前記第１位置の座標を検知している限り、前記第２位置の前記第１位置に対する相対座標を保持して前記第２位置を指示するポインタ画像を前記表示手段を介して表示し続けることを特徴とする、ポインティング位置決定システム。
2. 画像を表示する画面上での操作体によるタッチ位置である第１位置の座標を検出する座標検出手段と、前記画面に画像を表示する表示手段とを備えたタッチパネルにおけるポインティング位置を決定するポインティング位置決定システムであって、
   前記表示手段を制御する表示制御手段を備え、
   前記座標検出手段が前記第１位置の座標を最初に検知した後の所定の時間内に前記座標検出手段が前記第１位置の座標が移動したことを検知しない場合において、前記所定の時間の経過後に、前記表示制御手段は、（１）前記第１位置と異なる前記画面上の第２位置を指示するポインタ画像を前記表示手段を介して表示し、（２）前記画像を前記第１位置から前記第２位置への方向に前記第１及び第２位置の離間距離だけ移動して表示し、（３）前記第１位置の座標を検知している限り、前記第２位置の前記第１位置に対する相対座標を保持して前記第２位置を指示するポインタ画像を前記表示手段を介して表示し続け、
   前記座標検出手段が前記第１位置の座標を最初に検知した後の所定の時間内に前記座標検出手段が前記第１位置の座標が移動したことを検知した場合において、前記座標検出手段が前記第１位置の座標を検知している間は前記表示制御手段が起動されないことを特徴とする、ポインティング位置決定システム。
3. 前記第１位置の座標をポインティング位置とすることを特徴とする、請求項１又は２に記載のポインティング位置決定システム。
4. 前記第２位置の座標をポインティング位置とすることを特徴とする、請求項１に記載のポインティング位置決定システム。
5. 前記画像を前記第１位置から前記第２位置への方向に前記第１及び第２位置の離間距離だけ移動して表示している時には前記第２位置の座標をポインティング位置とし、その他の時には前記第１位置の座標をポインティング位置とすることを特徴とする、請求項２に記載のポインティング位置決定システム。
6. 前記第２位置は、前記第１位置に対して上側であることを特徴とする、請求項１〜５のいずれか１項に記載のポインティング位置決定システム。
7. 前記第１及び第２位置の離間距離は、前記画面上において５ｍｍ以上であることを特徴とする、請求項１〜６のいずれか１項に記載のポインティング位置決定システム。
8. スマートホン上で動作するものであることを特徴とする、請求項１〜７のいずれか１項に記載のポインティング位置決定システム。