JP2010262556A - 情報処理装置および方法 - Google Patents

Abstract

【課題】タッチパネル上の小さなオブジェクトをダイレクトかつ自然に操作することができるようにする。
【解決手段】モバイル端末装置は、静電式タッチパネル２１上のオブジェクトを移動させる操作として、２つの操作モードを備える。Ａに示されるように、オブジェクトのサイズが指ｆの接触面積より著しく小さい場合、即ち、任意のオブジェクトのひとつを指ｆで操作することが困難な状態である場合、かき集め移動モードに切り替えられる。これに対して、オブジェクトのサイズが指ｆの接触面積と同等程度かそれよりも大きいサイズの場合、即ち、Ｂに示されるように、任意のオブジェクトのひとつを指ｆで操作することが容易に可能な状態の場合、ダイレクト移動モードに切り替えられる。本発明は、例えばタッチパネルを搭載した端末に適用することができる。
【選択図】図５

Description

本発明は、情報処理装置および方法に関し、特に、タッチパネル上の小さなオブジェクトをダイレクトかつ自然に操作することができるようになった、情報処理装置および方法に関する。

近年、ディスプレイの画面解像度の向上に伴い、モバイル端末装置には、高精細ディスプレイ画面が搭載されるようになってきた。

その結果、近年のモバイル端末装置でも、従来の据置型装置と同様の画像表示が実現できるようになってきた。

例えば、６４×６４ピクセルのサムネイル画像は、従来の据置型装置であれば１０ｍｍ平方程度のサイズでディスプレイ画面上に表示されていた。これに対して、近年のモバイル端末装置の高精細ディスプレイ画面上では、より小さなサイズ（例えば４ｍｍ平方程度のサイズ）でサムネイル画像が表示されるようになる。

さらに、高精細ディスプレイ画面であっても、サムネイル画像を構成する画素数は従来と変わらない。例えば上述の例では、６４×６４ピクセルのサムネイル画像が高精細ディスプレイ画面に表示される。したがって、高精細ディスプレイ画面を搭載する近年のモバイル端末装置においては、視認性を損なうことなく一度に多くのサムネイル画像を画面上に配置させ、俯瞰性を向上させることができるようになっている。俯瞰性の向上は、画面面の積が物理的に小さいモバイル端末装置においては、特に必要とされる要件である。

一方で、モバイル端末装置のタッチパネル上に表示されたオブジェクトに対する操作として、指を使ったダイレクトな操作の実現が可能になっている（例えば、特許文献１参照）。

特開平５−１００８０９号公報

しかしながら、高精細ディスプレイ画面を搭載することで、視認性を阻害しない範囲でオブジェクトの表示を小型化できるようになったとしても、ユーザの指の面積を小さくすることは不可能である。そのため、例えば４ｍｍ平方程度のサイズで表示されたオブジェクトを、タッチパネル上で指を使ってダイレクトに操作することは困難である。

特許文献１には、指の移動に基づいてオブジェクトを移動させる手法が開示されている。しかしながら、かかる手法を単に適用するだけでは、指の接触面積に対してはるかに小さいオブジェクトが複数表示されているような場合であっても、一方向の指の動きのみの操作しか実現できない。かかる操作では、すべてのオブジェクトを自然に移動させることは困難である。

本発明は、このような状況に鑑みてなされたものであり、タッチパネル上の小さなオブジェクトをダイレクトかつ自然に操作するものである。

本発明の一側面の情報処理装置は、オブジェクトを含む画像を表示する表示手段と、前記表示手段に積層され、前記表示手段に対する接触を検出する検出手段と、前記検出手段により接触が検出された前記表示手段の領域の面積に対する、前記表示手段に表示された前記オブジェクトの面積の比率に基づいて、前記表示手段に対する操作のモードを切り替える制御手段とを備える。

接触物体を前記表示手段に接触させたまま所定方向に所定距離だけ動かす操作がなぞり操作とされており、前記操作のモードとして、前記なぞり操作に対する処理として、前記なぞり操作による前記指の軌跡に従って、前記表示手段に表示された前記オブジェクトのうち前記指が接触しているオブジェトを移動させる処理が実行される第１のモードと、前記なぞり操作に対する処理として、前記表示手段に表示された前記オブジェクトのうち１以上のオブジェクトを、前記なぞり操作による指の軌跡に従って、かき集めていくように移動させる処理が実行される第２のモードとが存在し、前記制御手段は、前記比率が一定以上の場合、前記第１のモードに切り替え、前記比率が一定未満の場合、前記第２のモードに切り替える。

前記制御手段は、さらに、前記第１のモードと前記第２のモードのうち切り替えたモードに対応する処理の実行を制御する。

前記制御手段は、前記第２のモードに切り替えた場合、物理エンジンによる計算結果を用いて前記処理の実行を制御する

前記表示手段に表示された前記オブジェクトのうち、操作の対象となる対象オブジェクトの個数が複数である場合、前記制御手段は、複数の前記対象オブジェクトの面積の平均値またはその加工値を、前記オブジェクトの面積として用いて、前記比率を算出する。

本発明の一側面の情報処理方法は、上述した本発明の一側面の情報処理装置に対応する方法である。

本発明の一側面の情報処理装置および方法においては、オブジェクトを含む画像が表示され、前記表示に対する接触が検出され、接触が検出された領域の面積に対する、表示されたオブジェクトの面積の比率に基づいて、操作のモードが切り替えられる。

タッチパネル上の小さなオブジェクトをダイレクトかつ自然に操作できるようになる。

従来の、指を使ったタッチパネル上の操作を説明する図である。 本発明が適用される情報処理装置の一実施形態としてのモバイル端末装置の外観の構成例を示す斜視図である。 静電式タッチパネルの検出手法について説明する図である。 図２のモバイル端末装置の内部構成例を示すブロック図である。 図２のモバイル端末装置の操作モードとしてのダイレクト移動モードとかき集め移動モードについて説明する図である。 指の接触面積の時間的変化を示す図である。 接触時間と反発係数との関係を説明する図である。 図２のモバイル端末装置による操作モード対応インタラクション処理の一例を説明するフローチャートである。 図２のモバイル端末装置の操作モードの自動切り替えの具体例について説明する図である。 図２のモバイル端末装置の操作モードの自動切り替えの具体例について説明する図である。 図２のモバイル端末装置の操作モードの自動切り替えの具体例について説明する図である。 図２のモバイル端末装置の操作モードの自動切り替えの具体例について説明する図である。

[従来の操作]

初めに、本発明の実施の形態を説明する前に、本発明の理解を容易なものとすべく、従来のタッチパネル上の画像の操作の概要について説明する。

図１は、従来の指を使ったタッチパネル上の操作であって、上述した特許文献１に記載の操作を説明する図である。

例えば、図１のＡの右方のオブジェクト１が表示された状態が初期状態であるとする。初期状態において、ユーザの操作として、オブジェクト１の右方の白抜き矢印で示される位置を指ではじく操作がなされると、指のタッチパネル上の移動速度からオブジェクト１の移動速度が決定される。そして、タッチパネルの表示状態が、初期状態から、図１のＡの左方のオブジェクト１が表示された状態に遷移する。即ち、指が移動した方向にオブジェクト１の表示が移動する。この場合のオブジェクト１の移動は、もっぱら、指の移動速度を初速度とする慣性移動となる。

例えば、図１のＢの下方のオブジェクト１が表示された状態が初期状態であるとする。初期状態において、ユーザの操作として、オブジェクト１の下方の白抜き矢印で示される位置を指ではじく操作がなされたとする。白抜き矢印で示される位置とは、オブジェクト１の所定の１辺の中心からはずれた位置である。この場合、オブジェクト１は、指ではじいた位置を中心に所定の角度だけ回転して、タッチパネルの表示状態が、初期状態から、図１のＢの上方のオブジェクト１が表示された状態に遷移する。即ち、オブジェクト１は、指の移動方向に移動する。

例えば、図１のＣの左方のオブジェクト１が表示された状態が初期状態であるとする。初期状態において、ユーザの操作として、オブジェクト１上の白抜き矢印で示される位置を指ではじく操作がなされたとする。この場合、タッチパネルの表示状態が、初期状態から、図１のＣの右方のオブジェクト１が表示された状態に遷移する。即ち、オブジェクト１は、指の移動方向に移動する。

このように、従来のタッチパネル上の操作では、一方向の指の動きに基づいてオブジェクトが移動される。このような一方向の指の動きのみでは、指の接触面積に対してはるかに小さいオブジェクトが複数存在するような場合には、すべてのオブジェクトを自然に移動させることは困難である。そこで、一方向の指の動きのみでオブジェクトを自然に移動させるためには、例えば、指で操作できるサイズまでオブジェクトを拡大表示させるという案が考えられる。しかしながら、かかる案は適切ではない。指での操作性を重視した表示（オブジェクトの拡大表示）と、俯瞰性を重視した表示（小さいオブジェクトのままの縮小表示）とを切り替えて使用することは、操作性および視認性の低下につながるからである。

そこで、本発明人は、ユーザにとっては、タッチパネル上のオブジェクトを「かき集める」という直感的な操作をさせ、その操作に応じてオブジェクトを移動させる、という手法を発明した。このような手法を適用することで、タッチパネル上の指の接触面積と比較してもはるかに小さいオブジェクトが複数存在するような場合でも、ユーザにとっては、オブジェクトをダイレクトかつ自然に移動させることができるようになる。

以下、このような手法が適用された情報処理装置、即ち、本発明が適用された情報処理装置の一実施の形態としてのモバイル端末装置について説明していく。

[モバイル端末装置の外観構成例]

図２は、本発明が適用される情報処理装置の一実施の形態としてのモバイル端末装置の外観構成例を示す斜視図である。

モバイル端末装置１１の所定の面には、静電式タッチパネル２１が配置されている。静電式タッチパネル２１は、後述する図４の表示部２１−Ｄに対して、後述する図４のタッチパネル用静電式タッチセンサ２１−Ｓが積層されて構成される。静電式タッチパネル２１においては、表示部２１−Ｄの画面にユーザの指ｆ等が接触した場合、その接触が、タッチパネル用静電式タッチセンサ２１−Ｓの静電容量の変化という形態で検出される。そして、後述する図４のCPU２２において、タッチパネル用静電式タッチセンサ２１−Ｓにより検出された指ｆの接触位置の座標の遷移（時間推移）等が認識され、その認識結果に基づいて、操作の内容が検出される。なお、操作の具体例や、その検出手法については、後述する。

[静電式タッチセンサによる接触検出]

図３は、静電式タッチパネル２１の検出手法について説明する図である。

静電式タッチパネル２１に用いられるタッチパネル用静電式タッチセンサ２１−Ｓは、表示部２１−Ｄに格子状（例えば１０×７）に配置された静電センサの組み合わせから構成されている。静電センサは、静電容量の変化によってその値が常時変化する。よって、静電センサに指ｆ等の接触物体が近接または接触した場合には、静電センサの静電容量が増加する。後述するCPU２２は、静電センサの静電容量を常時監視し、その増加量の変化が一定の閾値を超えた場合に、静電式タッチパネル２１に近接または接触している指ｆ等の「接触」があったと判定する。換言すると、CPU２２は、「接触」があったと判定した静電センサの配置位置から、指ｆ等の接触位置の座標を検出する。即ち、CPU２２は、タッチパネル用静電式タッチセンサ２１−Ｓを構成する個々の静電センサの静電容量を同時に全て監視することが可能である。CPU２２は、全ての静電センサの静電容量の変化を同時に監視し、補間することによって、静電式タッチパネル２１に近接または接触している指ｆ等の位置、指ｆ等の形状、指ｆ等の接触面積等を検出することが可能である。

例えば図３の例では、静電式タッチパネル２１のうち、黒色の表示領域は、指ｆが近接または接触していないため静電容量が変化していない領域を示しており、白色の表示領域は、指ｆが近接または接触しているため静電容量が増加している領域を示している。この場合、CPU２２は、白色の領域の座標を指ｆの位置として認識することができるし、白色の領域の形状を指ｆの形状として検出することができるし、また、白色の領域の面積を指ｆの接触面積として検出することもできる。

なお、本明細書では、接触とは、静的な接触（所定の一領域のみの接触）だけではなく、動的な接触（指ｆ等の接触物体が所定の軌跡を描いて動く接触）も含む。例えば、静電式タッチパネル２１上の指ｆのなぞりも、接触の一形態である。また、以下においては、接触とは、完全な接触のみならず、近接も含むとする。

さらに、CPU２２は、指ｆ等の接触位置を時系列に検出していくことで、静電式タッチパネル２１における指ｆ等の軌跡を認識することができる。CPU２２は、そのような軌跡に対応する操作を検出し、その操作に対応する所定の処理（以下、インタラクション処理と称する）を実行することができる。

以上、静電式タッチパネル２１の検出手法について説明した。

[モバイル端末装置の構成例]

図４は、図２のモバイル端末装置１１の内部構成例を示すブロック図である。

モバイル端末装置１１は、上述した静電式タッチパネル２１に加えて、さらに、CPU(Central Processing Unit)２２、不揮発性メモリ２３、RAM（Random Access Memory）２４、および、ドライブ２５を含むように構成されている。

静電式タッチパネル２１は、上述したように、タッチパネル用静電式タッチセンサ２１−Ｓと表示部２１−Ｄとから構成されている。

CPU２２は、モバイル端末装置１１全体を制御する。このため、CPU２２には、タッチパネル用静電式タッチセンサ２１−Ｓ、表示部２１−Ｄ、不揮発性メモリ２３、RAM２４およびドライブ２５が接続されている。

例えば、CPU２２は、次のような一連の処理を実行することができる。即ち、処理の開始時等に、CPU２２は、静電式タッチパネル２１の静電容量の変化を監視するスレッド（以下、静電容量監視スレッドと称する）を生成する。そして、CPU２２は、静電容量監視スレッドの監視結果から、ユーザの指ｆが静電式タッチパネル２１に接触したか否かを判定する。CPU２２は、ユーザの指ｆが静電式タッチパネル２１に接触したと判定した場合、指ｆの接触面積を検出する。CPU２２は、指ｆの接触面積に対する、静電式タッチパネル２１に表示されているオブジェクトの面積との比率（面積比）を演算し、その面積比に応じて操作モードを切り替える。操作モード切り替え後においては、CPU２２は、操作モードに応じた操作がなされた場合、その操作に対応するインタラクション処理を実行する。なお、このような一連の処理を、以下、操作モード対応インタラクション処理と称する。操作モードの具体例や、操作モード対応インタラクション処理の詳細例については後述する。

不揮発性メモリ２３は、各種情報を記憶する。例えば、電源状態がオフ状態に遷移したときにも保持すべき情報等が不揮発性メモリ２３に記憶される。

RAM２４は、CPU２２が各種処理を実行する際のワークエリアとして必要なプログラムやデータを一時記憶する。

ドライブ２５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２６を駆動する。

[モバイル端末装置の操作モード]

このような構成を有するモバイル端末装置１１は、指ｆの接触面積に対するオブジェクトの面積の比率（面積比）に基づいて、例えば次のような２つの操作モードを自動的に切り替えることができる。

２つの操作モードのいずれにおいても、ユーザの操作としてはなぞり操作が基本になる。なぞり操作とは、接触物体（指ｆ等）を所定領域に接触させ、その後、接触物体（指ｆ等）の接触を維持したまま、所定領域を起点として所定方向に所定距離だけ接触物体（指ｆ等）を移動させる（ドラッグする）操作をいう。

ただし、静電式タッチパネル２１上でなぞり操作がなされた場合、操作モードによって、そのなぞり操作の意味付け（指示内容）が異なる。

即ち、２つの操作モードの一方においては、「なぞり操作による指ｆの軌跡に従って、指ｆが接触しているオブジェトを移動させる」というインタラクション処理が、なぞり操作に対応付けられている。即ち、このような操作モードにおけるなぞり操作とは、ユーザにとっては、従来のタッチパネル上の操作と同様の操作であって、オブジェトを指ｆでダイレクトに移動させる操作に該当する。よって、このようななぞり操作を、以下、ダイレクト移動操作と称する。また、このような操作モード、即ち、なぞり操作がダイレクト移動操作として認識される操作モードを、以下、ダイレクト移動モードと称する。

これに対して、２つの操作モードの他方においては、「１以上のオブジェクト（指ｆが接触しているオブジェトやその周囲のオブジェクト）を、なぞり操作による指ｆの軌跡に従って、あたかもかき集めていくように移動させる」というインタラクション処理が、なぞり操作に対応付けられている。このような操作モードにおけるなぞり操作とは、ユーザにとっては、指ｆで複数のオブジェクトをかき集めていく操作に該当する。よって、このようななぞり操作を、以下、かき集め操作と称する。また、このような操作モード、即ち、なぞり操作がかき集め操作として認識される操作モードを、以下、かき集め移動モードと称する。

このようなダイレクト移動モードとかき集め移動モードとを、指ｆの接触面積に対するオブジェクトの面積の比率（面積比）に応じて適切に切り替えていくことで、シームレスなオブジェクトの操作ができるようになる。

図５は、ダイレクト移動モードとかき集め移動モードについて説明する図である。

図５のＡ，Ｂの静電式タッチパネル２１内において、各種画像が描画された長方形の１つ１つが、１つのオブジェクトを示している。

例えば以下の例では、ダイレクト移動モードとかき集め移動モードとの一方から他方への切り替えは、静電式タッチパネル２１への指ｆの接触面積に対する、静電式タッチパネル２１に表示されている各オブジェクトの面積の平均値またはその加工値の比率（面積比）によって自動的に行われる。なお、ここでいう自動的とは、ユーザの明示な指示を介在することなく、モバイル端末装置１１自身の判断（例えば所定のプログラムに従った判断）で処理を実行することをいう。

オブジェクトのサイズが指ｆの接触面積より著しく小さい場合、即ち、図５のＡに示されるように、任意のオブジェクトのひとつを指ｆで操作することが困難な状態である場合、かき集め移動モードに切り替えられる。

これに対して、オブジェクトのサイズが指ｆの接触面積と同等程度かそれよりも大きいサイズの場合、即ち、図５のＢに示されるように、任意のオブジェクトのひとつを指ｆで操作することが容易に可能な状態の場合、ダイレクト移動モードに切り替えられる。

なお、図５に示されるように、オブジェクトのサイズは、同一ズーム率で表示されている場合であっても、同一ではなくまちまちである場合があり得る。そこで、操作モードの切り替えの判定において、指ｆの接触面積と比較するオブジェクトのサイズを決定しておく必要がある。このようなオブジェクトのサイズを、以下、モード判定サイズと称する。モード判定サイズの決定手法は、特に限定されないが、例えば本実施の形態では、上述の如く、静電式タッチパネル２１に表示されている各オブジェクトの面積の平均値に基づくサイズを、モード判定サイズとして決定するという手法が採用されている。ここで、平均値に基づくサイズとは、平均値そのものだけではなく、平均値に基づいて加工されたサイズを含む広義な概念である。

具体的には例えば、本実施の形態では、静電式タッチパネル２１への指ｆの接触面積に対するモード判定サイズの比率（面積比）が一定以上の場合、ダイレクト移動モードに切り替えられる。例えば、面積比（＝モード判定サイズ／接触面積）が１以上の場合、ダイレクト移動モードに切り替えられる。即ち、指ｆの接触面積が、モード判定サイズ（オブジェクトの平均的サイズ）より小さい場合、ダイレクト移動モードに切り替えられる。

これに対して、面積比が一定未満の場合、かき集め移動モードに切り替えられる。例えば、面積比が１未満の場合、かき集め移動モードに切り替えられる。即ち、指ｆの接触面積が、モード判定サイズ（オブジェクトの平均的サイズ）以上の場合、かき集め移動モードに切り替えられる。

ここで、図５のＡに示されるかき集め移動モードにおけるCPU２２のインタラクション処理例ついて説明する。

CPU２２は、指ｆによるオブジェクトのかき集めを模擬的に表現するために、物理エンジンを用いる。物理エンジンとは、物理的な衝突計算を行うソフトウェアライブラリをいう。物理エンジンとして代表的なものとして、Box2D（商標）が存在する。例えば本実施の形態では、２次元空間専用の物理エンジンが採用されるとする。

この場合、CPU２２は、タッチパネル用静電式タッチセンサ２１−Ｓを構成する各静電センサの静電容量の変化を監視する。

CPU２２は、静電容量の変化が一定の閾値以上であった各静電センサのそれぞれに対して、物理エンジンを用いて、物理オブジェクトをそれぞれ生成し、静電式タッチパネル２１上の各配置位置にそれぞれ対応する物理世界の各位置に配置させる。即ち、静電容量の変化が一定の閾値以上であった静電センサとは、接触が検出された静電センサを意味する。よって、CPU２２は、物理エンジンを用いて、静電式タッチパネル２１のうち指ｆの接触があった領域に対応する物理世界の空間（二次元領域）に、指ｆを模した物理オブジェクトを配置させると把握することができる。なお、以下、指ｆを模した物理オブジェクトを、指オブジェクトと称する。

また、CPU２２は、物理エンジンを用いて、静電式タッチパネル２１を構成する表示部２１−Ｄに表示された各オブジェクト（表示オブジェクト）を、それぞれの形状で物理オブジェクトとして定義する。そして、CPU２２は、物理エンジンを用いて、各表示オブジェクトを模したそれぞれの物理オブジェクトを、静電式タッチパネル２１上の各配置位置にそれぞれ対応する物理世界の各位置に配置させる。なお、以下、表示部２１−Ｄに表示されたオブジェクト（表示オブジェクト）を模した物理オブジェクトを、表示物オブジェクトと称する。

このように、CPU２２は、物理エンジンを用いることにより、接触状態を静電センサ単位でリアルタイムに物理オブジェクト化することができる。

この状態で、指ｆによるかき集め操作がなされると、物理世界においては、指オブジェクトが、指ｆの移動の軌跡に従って移動していく。指オブジェクトが、その移動中に、表示物オブジェクトに衝突した場合、物理世界においては次のような現象が生じる。即ち、その物理世界で適用される物理法則（後述する反発係数が採用された衝突の法則）に従って、指オブジェクトに衝突した表示物オブジェクトは弾かれる。さらに、弾かれた表示物オブジェクトと別の表示物オブジェクトが衝突した場合には、それぞれの表示物オブジェクとは相互に弾かれる。

CPU２２は、このような物理世界内の現象を反映させて、表示部２１−Ｄに表示されたオブジェクト（表示オブジェクト）を移動させていく。

その結果、ユーザの視点からすると、静電式タッチパネル２１上でかき集め操作をすることで、静電式タッチパネル２１内に表示されたオブジェクト（表示オブジェクト）があたかも指ｆに衝突して、自然な方向に弾かれていくという状態を、視認することができる。

[接触時間と反発係数との関係]

なお、物理エンジンにおける物理世界に対しては、自然界の物理法則とは異なる任意の物理法則を適用することができる。ただし、ユーザにとって、より自然なかき集め操作をしていると実感させるためには、次のようにして反発係数を決定すると好適である。即ち、指ｆが静電式タッチパネル２１に接触してから、指ｆの接触面積がモード判定サイズに達するまでの時間（以下、接触時間と称する）を、反発係数に反映させると好適である。以下、図６，７を用いて、接触時間と反発係数との関係について説明する。

図６は、指fの接触面積の時間的変化を示す図である。

なお、以下、指ｆが静電式タッチパネル２１へ接触する速度を、接触速度と称する。

図６のＡは、接触速度が遅い場合の指ｆの接触面積の時間変化を示している。これに対して、図６のＢは、接触速度が速い場合の指ｆの接触面積の時間変化を示している。

図６のＡ，Ｂにおいて、横軸は時間軸を示している。領域Ｃ１乃至Ｃ３のそれぞれは、とある時刻ｔにおける指ｆの接触領域を示している。即ち、領域Ｃ１乃至Ｃ３の面積が、指ｆの接触面積を示している。なお、領域Ｃ１乃至Ｃ３の順番で、時間は経過しているとする。

図６のＡ，Ｂにおいて、指ｆの接触が開始された時刻が時刻ｔ０であるとする。また、指ｆの接触面積がモード判定サイズと一致する時刻が、図６のＡの場合には時刻ｔ１であり、図６のＢの場合には時刻ｔ２であるとする。

また、以下においては、静電式タッチパネル２１への指ｆの接触面積に対するモード判定サイズの比率（面積比＝モード判定サイズ／接触面積）が１未満の場合、かき集め移動モードに切り替えられるとする。即ち、この場合、指ｆの接触面積が、モード判定サイズ以下の場合、ダイレクト移動モードに切り替えられる。これに対して、指ｆの接触面積が、モード判定サイズより大きい場合、かき集め移動モードに切り替えられる。

即ち、図６のＡにおいては、時刻ｔ０乃至ｔ１の時間ｍｄ１において、モバイル端末装置１１の動作モードは、ダイレクト移動モードとなる。即ち、時間ｍｄ１が接触時間である。接触が開始されてから接触時間ｍｄ１だけ経過した時刻ｔ１になると、指ｆの接触面積がモード判定サイズと一致するので、モバイル端末装置１１の動作モードは、ダイレクト移動モードからかき集め移動モードに切り替わる。そして、それ以降、モバイル端末装置１１の動作モードは、かき集め移動モードとなる。

一方、図６のＢにおいては、時刻ｔ０乃至ｔ２の時間ｍｄ２において、モバイル端末装置１１の動作モードは、ダイレクト移動モードとなる。即ち、時間ｍｄ２が接触時間である。接触が開始されてから接触時間ｍｄ２だけ経過した時刻ｔ２になると、指ｆの接触面積がモード判定サイズと一致するので、モバイル端末装置１１の動作モードは、ダイレクト移動モードからかき集め移動モードに切り替わる。そして、それ以降、モバイル端末装置１１の動作モードは、かき集め移動モードとなる。

このような図６のＡ，Ｂを比較するに、接触速度が遅い場合の図６のＡの接触時間ｍｄ１の方が、接触速度が速い場合の図６のＢの接触時間ｍｄ２よりも長いことがわかる。即ち、接触時間は、接触速度によって変化することがわかる。

ここで、ユーザの視点に立つと、接触速度が速い場合とは、静電式タッチパネル２１に勢いよく（素早く）指ｆを接触させた場合に該当する。このような場合、静電式タッチパネル２１に表示されたオブジェクト（表示オブジェクト）は、指ｆに衝突した場合に勢いよく跳ねかえるように移動した方（そのように表示された方）が、ユーザにとって自然に感じる。即ち、接触速度が速い場合には、物理エンジンにおける反発係数は大きい方が好適である。

これに対して、接触速度が遅い場合とは、ユーザにとっては、静電式タッチパネル２１に静かに（ゆっくりと）指ｆを接触させた場合に該当する。このような場合、静電式タッチパネル２１に表示されたオブジェクト（表示オブジェクト）は、指ｆに衝突した場合であってもさほど跳ねかえらない方（そのように表示された方）が、ユーザにとって自然に感じる。即ち、接触速度が遅い場合には、物理エンジンにおける反発係数は小さい方が好適である。

そこで、物理エンジンにおける物理法則として、例えば図７に示される法則が適用されると好適である。

図７は、接触時間と反発係数との関係を説明する図である。

図７において、横軸は接触時間を示し、縦軸は反発係数を示している。図７の例では、接触時間が短いほど、反発係数が大きくなっていくことがわかる。即ち、接触時間が短いことは移動速度が速いことを意味するので、移動速度が速くなるほど、反発係数が大きくなっていくことがわかる。

そこで、図７のグラフ（そのデータ）を図４のRAM２４等に保持させておくことで、CPU２２は、接触時間を計測し、その接触時間に応じて反発係数を求めることができる。そして、CPU２２は、かき集め移動モードにおけるインタラクション処理を実行する中で、求めた反発係数を、物理エンジンによる物理計算に用いることができるようになる。その結果、ユーザにとっては、かき集め操作を、実世界で物体をかきあつめる場合と同じような自然な操作として行うことができるようになる。

さらに、モバイル端末装置１１の構成要素として、振動センサが含まれていた場合、静電式タッチパネル２１への接触による振動を検出することができる。このような場合、CPU２２はさらに、振動センサによって検出された振動量も、反発係数に反映することができる。例えば、CPU２２は、振動量が大きいほど、反発係数が大きくなるように設定することができる。

[操作モード対応インタラクション処理]

次に、モバイル端末装置１１の処理例として、操作モード対応インタラクション処理の詳細について説明する。

図８は、操作モード対応インタラクション処理の一例を説明するフローチャートである。

ステップＳ１１において、CPU２２は、静電式タッチパネル２１の静電容量を取得し、任意の分解能に補間する。即ち、操作モード対応インタラクション処理の開始時点で、CPU２２は、上述したように、静電容量監視スレッドを生成する。CPU２２は、静電容量監視スレッドにより、静電式タッチパネル２１の静電容量を取得して、スレッド生成時の静電容量に対する差分を算出して、任意の分解能に補間する。

ステップＳ１２において、CPU２２は、静電式タッチパネル２１への指ｆの接触面積が閾値（例えば、静電式タッチパネル２１の面積の３０％）以上であるか否かを判定する。

接触面積が閾値未満である場合、静電式タッチパネル２１への指ｆの接触がないと推定できるため、ステップＳ１２においてＮＯであると判定され、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。

その後、ユーザが静電式タッチパネル２１に対して指ｆを接触させようとすると、とある時点で接触面積が閾値以上になる。このような時点で、ステップＳ１２においてＹＥＳであると判定され、処理はステップＳ１３に進む。

ステップＳ１３において、CPU２２は、新たに検出された接触か否かを判定する。

静電式タッチパネル２１への接触が、新たに検出された接触でない場合、即ち、操作の途中の接触である場合、ステップＳ１３においてＮＯであると判定され、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。

これに対して、静電式タッチパネル２１への接触が、新たに検出された接触である場合、ステップＳ１３においてＹＥＳであると判定され、処理はステップＳ１４に進む。

ステップＳ１４において、CPU２２は、接触時間の計測を開始する。即ち、ステップＳ１３の処理で静電式タッチパネル２１への接触が新たに検出された接触であると判定された時刻が、基準時刻とされる。CPU２２は、この基準時刻から計時動作を開始し、接触面積がモード判定サイズに達するまでの間（後述するステップＳ２１の処理を実行するまでの間）、その計時動作を継続する。

ステップＳ１５において、CPU２２は、静電容量を離散化し、閾値以上の画素を画面上の物理オブジェクトに変換する。即ち、CPU２２は、指オブジェクトを生成し、物理エンジン内の物理世界の空間（二次元領域）に配置させる。

ステップＳ１６において、CPU２２は、静電式タッチパネル２１の画面（表示部２１−Ｄ）上の任意の領域内のオブジェクトの面積の平均（その値そのものまたはその加工値）を、モード判定サイズとして算出する。

なお、モード判定サイズの算出手法は、特に限定されず、例えば、静電タッチパネル２１の画面全体の領域または指ｆ等の付近にある領域内に存在する各オブジェクトの面積の相加平均や相乗平均を求める手法を採用することができる。さらに、上述したように、オブジェクトの面積の平均値そのものをモード判定サイズとして採用することもできるが、オブジェクトの面積の平均値に対して加工したサイズをモード判定サイズとして採用することもできる。具体的には例えば、オブジェクトの面積の平均の任意の割合（面積の平均×α％）のサイズを、モード判定サイズとして採用することができる。

ステップＳ１７において、CPU２２は、接触面積がモード判定サイズ以上であるか否かを判定する。

接触面積がモード判定サイズ以上である場合、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ２１に進む。即ち、モバイル端末装置１１の操作モードがかき集め移動モードへ切り替えられ、ステップＳ２１以降の処理として、かき集め移動操作に対応するインタラクション処理が実行される。なお、ステップＳ２１以降の処理については後述する。

これに対して、接触面積がモード判定サイズよりも小さい場合、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ１８に進む。即ち、モバイル端末装置１１の操作モードがダイレクト移動モードへ切り替えられ、ステップＳ１８以降の処理として、ダイレクト移動操作に対応するインタラクション処理が実行される。

ステップＳ１８において、CPU２２は、指ｆがオブジェクトを接触しているか否かを判定する。

指ｆがオブジェクトを接触していない場合、ステップＳ１８においてＮＯであると判定されて、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。

これに対して、指ｆがオブジェクトを接触している場合、ステップＳ１８においてＹＥＳであると判定されて、処理はステップＳ１９に進む。

ステップＳ１９においてCPU２２は、接触されたオブジェクトを指ｆの移動に合わせて移動させる。即ち、ユーザの視点からすると、この間、ダイレクト移動操作が行われている。そこで、CPU２２は、ダイレクト移動操作に対応するインタラクション処理を実行する。これにより、処理はステップＳ２０に進む。なお、ステップＳ２０以降の処理については後述する。

このようなダイレクト移動モードの場合の処理に対して、かき集め移動モードの場合の処理は次のようになる。

即ち、ステップＳ１７において、接触面積がモード判定サイズ以上であると判定された場合、処理はステップＳ２１に進む。

ステップＳ２１において、CPU２２は、接触時間の計測を終了する。

ステップＳ２２において、CPU２２は、接触時間を反発係数に反映させる。即ち、ステップＳ２１で計測された接触時間を反発係数に反映させる（図７参照）。

ステップＳ２３において、CPU２２は、物理計算に基づいてオブジェクトを移動させる（そのような表示制御を行う）。即ち、ユーザの視点からすると、この間、かき集め操作が行われている。そこで、CPU２２は、かき集め操作に対応するインタラクション処理を実行する。これにより、処理はステップＳ２０に進む。

ステップＳ２０において、CPU２２は、処理の終了が指示されたか否かを判定する。

処理の終了が指示されなかった場合、ステップＳ２０においてＮＯであると判定されて、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。即ち、処理の終了が指示されるまでの間、ステップＳ１１乃至Ｓ２０のループ処理が繰り返される。

その後、処理の終了が指示された場合、ステップＳ２０においてＹＥＳであると判定されて、操作モード対応インタラクション処理は終了する。

[操作モードの自動切り替えの具体例]

ところで、以上の例では、操作モード（かき集め移動モードとダイレクト移動モード）の切り替え条件（以下、モード切替条件と称する）として、指ｆの接触面積とモード判定サイズとが同一であるという条件が採用されていた。

このモード切替条件が成立する状況としては、様々な状況が想定できる。そこで、以下、幾つかの異なった状況によりモード切替条件が成立する場合のそれぞれについて、モバイル端末装置１１による操作モードの自動切り替えの具体例について説明する。

図９乃至１２は、モバイル端末装置１１による操作モードの自動切り替えの具体例について説明する図である。

図９乃至図１２においても、図５と同様に、各種画像が描画された長方形の１つ１つが、１つのオブジェクトを示している。また、黒い領域（図９乃至図１１は指ｆによって隠された領域含む）は、指ｆの接触領域を示している。

図９は、表示のズーム率の変化によりモード切替条件が成立する場合の、モバイル端末装置１１の操作モードの自動切り替えの具体例について説明する図である。

図９のＡの場合の表示のズーム率が３０％であるのに対して、図９のＢの場合の表示のズーム率が１００％であるとする。この場合、指ｆの接触面積は図９のＡ、Ｂのどちらの場合も変わらない。しかしながら、図９のＡとＢでは、表示のズーム率に応じて、オブジェクトのサイズが異なる。即ち、図９のＡに示される静電式タッチパネル２１上のオブジェクトのサイズは、図９のＢに示されるオブジェクトのサイズが１００％であるとすると、３０％に縮小されている。

したがって、図９のＡの状態では、オブジェクトのサイズが、指ｆの接触面積よりも著しく小さくなる。その結果、図９のＡの状態では、指ｆの接触面積がモード判定サイズ以上となるので、モバイル端末装置１１の操作モードは、かき集め移動モードに自動的に切り替えられる。これに対して、図９のＢの状態では、オブジェクトのサイズが、指ｆの接触面積よりも同等程度のサイズかそれよりも大きなサイズとなる。その結果、図９のＢの状態では、モバイル端末装置１１の操作モードは、ダイレクト移動モードに切り替えられる。

このように、ユーザにとっては同じように指ｆで接触した場合であっても、表示のズーム率が変わると、モバイル端末装置１１の操作モードは自動で切り替えられ、異なるインタラクション処理が実行される。

図１０は、接触物体の接触面積の変化によりモード切替条件が成立する場合の、モバイル端末装置１１の操作モードの自動切り替えの具体例について説明する図である。

図１０のＡ、Ｂのどちらの場合も、表示のズーム率は同じであり、オブジェクトのサイズは変わらない。しかしながら、図１０のＡは、接触物体の一例である指ｆで静電式タッチパネル２１を接触しているのに対して、図１０のＢは、接触物体の別の例であるペンｇで静電式タッチパネル２１を接触している。即ち、図１０のＡの接触面積は、図１０のＢの接触面積に比べて大きい。

したがって、図１０のＡの状態では、オブジェクトのサイズが、指ｆの接触面積よりも著しく小さくなる。その結果、図１０のＡの状態では、指ｆの接触面積がモード判定サイズ以上となるので、モバイル端末装置１１の操作モードは、かき集め移動モードに自動的に切り替えられる。これに対して、図１０のＢの状態では、オブジェクトのサイズがペンｇの接触面積よりも同等程度のサイズかそれよりも大きなサイズとなる。その結果、図１０のＢの状態では、モバイル端末装置１１の操作モードは、ダイレクト移動モードに切り替えられる。

このように、オブジェクトのサイズが同じ場合（例えば表示のズム率は一定の場合）であっても、接触物体の接触面積が変わると、モバイル端末装置１１の操作モードは自動で切り替えられ、異なるインタラクション処理が実行される。その結果、例えば図１０の例のように、指ｆでオブジェクトをかき集めるように移動させるのに対して、ペンｇを用いてオブジェクトをダイレクトに移動させるという使い分けが可能になる。

図１１は、指ｆの接触面積の変化によりモード切替条件が成立する場合の、モバイル端末装置１１の操作モードの自動切り替えの具体例について説明する図である。

図１１のＡ、Ｂのどちらの場合も、表示のズーム率は同じであり、オブジェクトのサイズは変わらない。しかしながら、図１１のＡは、指ｆの平で静電式タッチパネル２１を接触しているのに対して、図１１のＢは、指ｆの先で静電式タッチパネル２１を接触している。即ち、図１１のＡの接触面積は、図１１のＢの接触面積に比べて大きい。

したがって、図１１のＡの状態では、オブジェクトのサイズが、指ｆの平の接触面積よりも著しく小さくなる。その結果、図１１のＡの状態では、指ｆの接触面積がモード判定サイズ以上となるので、モバイル端末装置１１の操作モードは、かき集め移動モードに自動的に切り替えられる。これに対して、図１１のＢの状態では、オブジェクトのサイズが指ｆの先の接触面積よりも同等程度のサイズかそれよりも大きなサイズとなる。その結果、図１１のＢの状態では、モバイル端末装置１１の操作モードは、ダイレクト移動モードに切り替えられる。

このように、オブジェクトのサイズが同じ場合（例えば表示のズム率は一定の場合）であっても、接触する指ｆの接触面積が変わると、モバイル端末装置１１の操作モードは自動で切り替えられ、異なるインタラクション処理が実行される。その結果、例えば図１１の例のように、指ｆの平を用いて（指ｆを強く押すことで）オブジェクトをかき集めるように移動させ、指ｆの先によって（指ｆを軽く接触させることで）オブジェクトをダイレクトに移動させる、という使い分けが可能になる。

図１２は、ユーザの嗜好度等によってオブジェクトのサイズが異なる場合であって、表示のズーム率の変化によりモード切替条件が成立する場合の、モバイル端末装置１１の操作モードの自動切り替えの具体例について説明する図である。

図１２のＡの場合の表示のズーム率が５０％であるのに対して、図１２のＢの場合の表示のズーム率が１００％であるとする。

また、本例では、モード判定サイズは、静電式タッチパネル２１の画面全体ではなく、指ｆの接触領域の周囲の小領域に存在する各オブジェクトの面積の平均に基づいて算出されるとする。

図１２のＡに示されるように、本例では、表示のズーム率が同一（図１２のＡの例では５０％）であっても、静電式タッチパネル２１上に表示される各オブジェクトの大きさは、ユーザの嗜好度等に応じてそれぞれ異なっている。例えば、ユーザが好むオブジェクトや、頻繁に操作されているオブジェクトは、嗜好度が高いオブジェクトに該当するので、大きく表示される。

この場合、指ｆの接触領域（黒い領域）が図１２のＡの状態では、同図上方に表示される２つの大きなオブジェクトに基づいてモード判定サイズが算出される。このため、指ｆの接触領域（黒い領域）が図１２のＡの状態では、モバイル端末装置１１の操作モードは、ダイレクト移動モードに切り替えられる。よって、指ｆの接触領域（黒い領域）が図１２のＡの状態では、ユーザは、ダイレクト移動操作をすることができる。即ち、ユーザは、指ｆを用いて、接触領域に存在するオブジェクト（黒色領域の下に表示されたオブジェクト）をダイレクトに移動させることができる。

しかしながら、例えば、図１２のＡの表示状態のままでは、同図の枠Ｓ内に存在するオブジェクトについては、ユーザは、ダイレクト移動操作をすることはできない。枠Ｓ内に存在するオブジェクトのサイズが、指ｆの接触面積よりも著しく小さいためである。即ち、図１２のＡの表示状態において、枠Ｓ内に指ｆの接触領域（同図に図示せず）がある場合、指ｆの接触面積がモード判定サイズ以上となるので、モバイル端末装置１１の操作モードは、かき集め移動モードに自動的に切り替えられてしまうからである。

そこで、枠Ｓ内の所望のオブジェクトに対してダイレクト移動操作をしたい場合、ユーザは、表示のズーム率を拡大して、所望のオブジェクトを拡大表示させればよい。例えば、ユーザは、表示のズーム率を、図１２のＡの場合の５０％から、図１２のＢの場合の１００％に変化させればよい。これにより、枠Ｓ内に存在するオブジェクトのサイズは、指ｆの接触面積に対して相対的に大きくなり、その結果、指ｆの接触面積がモード判定サイズ未満となり、モバイル端末装置１１の操作モードは、ダイレクト移動モードに自動的に切り替えられる。よって、図１２のＢの状態では、図１２のＡの状態では枠Ｓ内に存在していたオブジェクトに対しても、ユーザは、ダイレクト移動操作をすることができる。即ち、図１２のＢの状態では、ユーザは、指ｆを用いて、図１２のＡの状態では枠Ｓ内に存在していたオブジェクト（それゆえダイレクト移動操作ができなかったオブジェクト）に対しても、ダイレクト移動操作をすることができる。

このように、表示のズーム率を変更することで、ダイレクト移動操作の対象となるオブジェクトの個数を可変することができるようになる。即ち、表示のズーム率を拡大するほど、ダイレクト移動操作の対象となるオブジェクトの個数を増加させることができるようになる。換言すると、オブジェクト全体の中から、ダイレクト移動操作の対象となるオブジェクトを選択（フィルタリング）する場合、そのフィルタリングの度合いを、ズーム率の変更によって可変することができる。即ち、ダイレクト移動操作の対象となるオブジェクト（ドラッグで移動できるオブジェクト）がズーム率に応じて変化することになるので、フィルタリングされたオブジェクトのみを選択的にダイレクト移動操作する（ドラッグで移動させる）ことができる。

なお、図９乃至１２では、モバイル端末装置１１による操作モードの自動切り替えの具体例について個別に説明したが、任意の２つ以上の例を組み合わせて操作モードの自動切り替えを行ってもよい。

なお、上述の例では、モード切替条件は、指ｆの接触面積がモード判定サイズとが同一であるという条件が採用されていた。しかしながら、モード切替条件は、上述の例に限定されず、任意の条件を採用できることは上述したとおりである。

ところで、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

例えば図４のモバイル端末装置１１を制御するコンピュータによって実行してもよい。

図４において、CPU２２が、例えば、不揮発性メモリ２３に記憶されているプログラムを、RAM２４にロードして実行することにより、上述した一連の処理が行われる。

CPU２２が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２６に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

プログラムは、リムーバブルメディア２６をドライブ２５に装着することにより、不揮発性メモリ２３にインストールすることができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

１ オブジェクト， １１ モバイル端末装置， ２１ 静電式タッチパネル， ２１―Ｓ タッチパネル用静電式タッチセンサ， ２１―Ｄ 表示部， ２２ CPU， ２３ 不揮発性メモリ， ２４ RAM， ２５ ドライブ， ２６ リムーバブルメディア

Claims (6)

1. オブジェクトを含む画像を表示する表示手段と、
   前記表示手段に積層され、前記表示手段に対する接触を検出する検出手段と、
   前記検出手段により接触が検出された前記表示手段の領域の面積に対する、前記表示手段に表示された前記オブジェクトの面積の比率に基づいて、前記表示手段に対する操作のモードを切り替える制御手段と
   を備える情報処理装置。
2. 接触物体を前記表示手段に接触させたまま所定方向に所定距離だけ動かす操作がなぞり操作とされており、
   前記操作のモードとして、
   前記なぞり操作に対する処理として、前記なぞり操作による前記指の軌跡に従って、前記表示手段に表示された前記オブジェクトのうち前記指が接触しているオブジェトを移動させる処理が実行される第１のモードと、
   前記なぞり操作に対する処理として、前記表示手段に表示された前記オブジェクトのうち１以上のオブジェクトを、前記なぞり操作による指の軌跡に従って、かき集めていくように移動させる処理が実行される第２のモードと
   が存在し、
   前記制御手段は、前記比率が一定以上の場合、前記第１のモードに切り替え、前記比率が一定未満の場合、前記第２のモードに切り替える
   請求項１に記載の情報処理装置。
3. 前記制御手段は、さらに、前記第１のモードと前記第２のモードのうち切り替えたモードに対応する処理の実行を制御する
   請求項２に記載の情報処理装置。
4. 前記制御手段は、前記第２のモードに切り替えた場合、物理エンジンによる計算結果を用いて前記処理の実行を制御する
   請求項３に記載の情報処理装置。
5. 前記表示手段に表示された前記オブジェクトのうち、操作の対象となる対象オブジェクトの個数が複数である場合、
   前記制御手段は、複数の前記対象オブジェクトの面積の平均値またはその加工値を、前記オブジェクトの面積として用いて、前記比率を算出する
   請求項１に記載の情報処理装置。
6. オブジェクトを含む画像を表示する表示手段と、
   前記表示手段に積層され、前記表示手段に対する接触を検出する検出手段と
   を備える情報処理装置が、
   前記検出手段により接触が検出された前記表示手段の領域の面積に対する、前記表示手段に表示された前記オブジェクトの面積の比率に基づいて、前記表示手段に対する操作のモードを切り替える
   ステップを含む情報処理方法。

Images