JP2017168136A - 情報処理装置、プログラム及び情報処理方法 - Google Patents

Abstract

【課題】複数の接触点を検出可能である接触検出部を用いて、使用者の直感的な操作を適切に検出し、オブジェクトの移動を可能とする情報処理装置を提供する。【解決手段】情報処理装置は、接触検出部の検出する検出座標の変化に基づき、指定した表示情報を変更させるため、第１の表示情報及び第２の表示情報を表示する表示部と、接触検出部が第１の表示情報と第２の表示情報のそれぞれへの接触と、当該接触位置の同時的な同一方向への変化を検出した場合に、第１の表示情報及び第２の表示情報で構成される表示情報全体を、接触位置の変化に基づいて移動させるとともに、前記第１の表示情報及び前記第２の表示情報のそれぞれへの接触を検出した状態から、一つの接触点のみの移動を検出した場合に、他の接触点に対応する表示情報を固定し、移動が検出された接触点に対応する表示情報を移動させる制御部と、を備える。【選択図】図２

Description

本発明は、複数の接触点を検出可能な接触検出手段を有する情報処理装置、及び、当該情報処理装置で用いられるプログラム及び情報処理方法に関する。

昨今、様々な情報処理装置に、タッチパネル又はタッチスクリーンと呼ばれる接触検出部が設けられている。また、旧来からの一つの接触点のみを検出可能とする接触検出手段に代えて、複数の接触点を検出可能な接触検出手段が開発されている。

複数の接触点を検出可能であるタッチパネルディスプレイ又はタッチパネル装置が、特許文献１及び特許文献２にそれぞれ記載されている。

特開２００２−３０４２５６号公報 特開２００７−２７９６３８号公報

接触検出手段を備えた情報処理装置の操作方法は、使用者に直感的な操作を可能とするように設定される。このような操作方法は、使用者に直感的な操作感を与える反面、使用者の直感的なイメージ通りの処理（制御部へのコマンド指示や画面の遷移動作等）がなされない場合には、使用者に過大な負担をかける。

例えば、タッチパネルとの接触（ダウン確定）又はタッチパネルとの接触解除（アップ確定）の検出により、表示内容をスクロールさせる情報処理装置は、スクロール操作についてはユーザに十分な操作性を与える。その反面、所望とする表示情報の一部のみを座標移動させる場合や所望とする表示情報の一部のみをスクロールさせる場合、あるいは複数の接触点を用いて操作を行う場合など、細かな操作では、情報処理装置の設定と使用者の直感的な操作との間に（僅かな）違いが生じ易い。そのような場合、使用者は直感的な操作を繰り返し行うことになる。例示するならば、使用者がスクロール操作を意図してタッチパネルに接触した場合でも、スクロール操作の設定がアップ確定であった場合には、情報処理装置は動作しない。このような場合、使用者は所望の操作を実行できずに、同様な操作を繰り返し行うこととなり、使用者に過大な負担が掛かる。

また、結果として使用者の意図しない制御部へのコマンド指示や画面の遷移動作（スクロール等）が生じ、十分な操作性を提供できない。

本発明は、上記課題に鑑み成されたものであり、複数の接触点を検出可能である接触検出部を用いて、使用者の直感的な操作を適切に検出し、オブジェクトの移動を可能とする情報処理装置プログラム及び情報処理方法を提供する。

本発明の第１の要旨に係る情報処理装置は、複数の表示情報を表示する表示部と、前記表示部に対する複数の物体の接触位置を検出する検出部と、接触を検出している第一の表示情報が表示された領域と前記第一の表示情報を除く前記複数の表示情報が表示された領域とのうち、いずれか１つの接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域内における前記第一の表示情報の表示位置を変更する制御部と、を備える。

本発明の第２の要旨に係るプログラムは、複数の表示情報を表示する処理と、前記複数の表示情報に対する複数の物体の接触位置を検出する処理と、接触を検出している第一の表示情報が表示された領域と前記第一の表示情報を除く前記複数の表示情報が表示された領域とのうち、いずれか１つの接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域内における前記第一の表示情報の表示位置を変更する処理と、を情報処理装置に実行させる。

本発明の第３の要旨に係る情報処理方法は、複数の表示情報を表示し、前記複数の表示情報に対する複数の物体の接触位置を検出し、接触を検出している第一の表示情報が表示された領域と前記第一の表示情報を除く前記複数の表示情報が表示された領域とのうち、いずれか１つの接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域内における前記第一の表示情報の表示位置を変更する。

本発明によれば、複数の接触点を検出可能である接触検出部を用いて、使用者の直感的な操作を適切に検出し、オブジェクトの移動を可能とした情報処理装置、プログラム及び情報処理方法を提供できる。

本発明の第１の実施の形態に係る情報処理装置を示す機能ブロック図である。 図１の情報処理装置の識別動作を説明するためのフローチャートである。 本発明の第２の実施の形態に係る情報処理装置であるモバイル端末を示す機能ブロック図である。 図３のモバイル端末のスクロール処理動作を説明するためのフローチャートである。 図３のモバイル端末におけるシングルタッチ時の表示画面の遷移例を説明するための図であって、遷移前の状態を示す図である。 図３のモバイル端末におけるシングルタッチ時の表示画面の遷移例を説明するための図であって、遷移後の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第１の遷移例を説明するための図であって、遷移前の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第１の遷移例を説明するための図であって、遷移後の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第２の遷移例を説明するための図であって、遷移前の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第２の遷移例を説明するための図であって、遷移後の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第３の遷移例を説明するための図であって、遷移前の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第３の遷移例を説明するための図であって、遷移後の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第４の遷移例を説明するための図であって、遷移前の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第４の遷移例を説明するための図であって、遷移後の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第５の遷移例を説明するための図であって、遷移前の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第５の遷移例を説明するための図であって、遷移後の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第６の遷移例を説明するための図であって、遷移前の状態を示す図である。 図３のモバイル端末におけるマルチタッチ時の表示画面の第６の遷移例を説明するための図であって、遷移後の状態を示す図である。 図１１に示した表示画面の部分拡大図である。 本発明の第３の実施の形態に係る情報処理装置であるタブレットコンピュータを示す機能ブロック図である。 図１３のタブレットコンピュータの移動処理動作を説明するためのフローチャートである。 図１３のタブレットコンピュータにおけるマルチタッチ時の表計算プログラムの表示画面の遷移例を説明するための図であって、遷移前の状態を示す図である。 図１３のタブレットコンピュータにおけるマルチタッチ時の表計算プログラムの表示画面の遷移例を説明するための図であって、遷移後の状態を示す図である。

本発明の第１の実施の形態に係る情報処理装置について図１及び図２を参照して説明する。本発明の情報処理装置は、例えば、プログラム制御により動作し、通信機能（通話、メール送受信、インターネット接続）やカレンダー機能、スケジュール機能等を備えたモバイル端末として構成される。また、別の例としては、タッチスクリーン機能を具備したパーソナルコンピュータや、スマートフォン、ＰＤＡ（Personal Digital Assistants）、ＰＨＳ（Personal Handyphone System）などが挙げられる。

図１は、第１の実施形態に係る情報処理装置１００の概略構成を示す機能ブロック図である。

図１に示す情報処理装置１００は、各種演算処理を行う制御部１１０と、制御部１１０から指示された表示情報を表示する表示部１２０と、表示部１１０の表示情報が表示される座標領域における接触点の有無、その接触点の座標（接触座標または検出座標）、及び検出座標の変化（移動）を検出する接触検出部１２１と、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリ等で構成される記憶部１３０を備える。記憶部１３０には、オペレーティングシステムを始め、接触検出部１２１用のドライバやアプリケーションプログラム、情報処理装置１００の諸設定情報等が記憶されている。

制御部１１０は、表示部１２０を制御し、第１の表示範囲に第１の表示情報を表示させることができる。また、制御部１１０は、第１の表示範囲内の一部である第２の表示範囲に第２の表示情報を表示させることができる。ここで、「表示範囲」は、表示情報を表示可能な領域（外枠）を意味し、「座標領域」は、表示情報が実際に表示されている領域を意味する。したがって、第２の表示範囲は、第１の表示範囲に含まれるが、第２の表示情報が表示される座標領域は、第１の表示情報が表示される座標領域には含まれない。

制御部１１０は、また、接触検出部１２１を介して表示部１２０に表示される第１及び第２の表示情報が表示される座標領域における接触点の有無、その接触点の座標を検出可能にすると共に、検出した座標（検出座標）の変化（移動）を識別可能である。また、制御部１１０は、第１の表示情報が表示される座標領域及び第２の表示情報が表示される座標領域における複数の接触点を検出可能である。更に、制御部１１０は、複数の接触点のうち一つのみの検出座標の変化を検出した場合に、移動が検出された検出座標の接触点が存在する座標領域に表示された表示情報（オブジェクト）のみをその検出座標の変化に基づいて移動（スクロール）させる処理を実行する。

表示部１２０には、制御部１１０によって、表示画面全体又は所定の領域（アクティブ範囲）である第１の表示範囲に表示される第１の表示情報と、当該表示範囲内の一部に表示される第２の表示情報とが表示される。

尚、第２の表示情報（オブジェクト）は、画像、図形、文字、及び記号またはそれらの組み合わせを用いて構成することができる。また、第２の表示情報は、アイコン、ボタン、文字列、入力欄、若しくは制御部１１０にコマンドを指示する視覚的に示された領域情報の何れかまたはそれらの組み合わせとして表現することができる。また、文字列を含む第２の表示情報には、その文字列を範囲指定して選択した後に、選択された文字列を一括りとして管理するための情報も含まれる。

このような構成において、情報処理装置１００は、複数の接触点を検出可能である接触検出部１２１を用いて、使用者の直感的な操作を適切に検出してオブジェクトを移動可能にできる。なお、本明細書における「接触点」は、スタイラスペン等を用いた場合の比較的小さな「点」のみならず、人の指等を用いた場合の比較的大きな「領域」をも含む。

次に、情報処理装置１００の動作について説明する。

情報処理装置１００の制御部１１０は、記憶部１３０に記録されているアプリケーションプログラムやオペレーティングシステムに従って、表示部１２０の画面の第１の表示範囲に表示される第１の表示情報及び、第１の表示範囲内に表示される第２の表示情報を作画し、表示部１２０に表示させる。同時的に、制御部１１０は、接触検出部１２１用のドライバやオペレーティングシステム、アプリケーションプログラムに従い、第１の表示情報が表示される第１の座標領域、及び、前記第２の表示情報が表示される第２の座標領域への接触（接触点の発生）、接触解除（接触点の消滅）、検出座標及びその変化を、接触検出部１２１を用いて検出する。制御部１１０は、検出した接触、接触解除、及び検出座標の変化を、必要に応じてダウン確定、アップ確定及び移動指示として認識し、表示されたオブジェクト等への操作指示として決定する。

ここで、制御部１１０が、接触検出部１２１を介して検出した複数の接触点の検出座標の変化から、オブジェクトの移動指示を識別する処理を説明する。

制御部１１０は、各種ソフトウェアに従い、接触検出部１２１を介して複数の接触点を検出し、当該複数の接触点の位置座標（検出座標）及び位置座標の変化に基づいて、使用者の移動指示を識別する。移動指示と他の指示との区別は、個々の接触点の検出座標をベクトル化して、移動方向を識別処理することにより可能である。また、各接触点について接触検出から接触解除検出までの時間を求め、それらの差に基づいて、他の指示と区別することも可能である。

例えば、２つの接触点が同時的に検出され、同時的にそれらの検出座標が移動した場合には、それら移動方向に応じて、表示画面の拡大や縮小の操作であると判断することができる。一方、２つの接触点が時間間隔を空けて検出され、一方の接触点の検出座標が略移動せず、他方の接触点の検出座標が移動した場合には、移動指示と判断することができる。このように識別処理することで、複数の接触点の検出座標の変化の違いにより、異なる動作を実現できる。

また、接触面積の大きさを用いて操作を差別化しても良い。例えば、スタイラスペンと指の接触面積の大きさの違いを利用して、操作の差別化を図ってもよい。また、親指と他の指との接触面積の大きさの違いを利用して、操作の差別化を図ってもよい。例えば、接触検出部１２１は、情報処理装置１００を保持する手の指が位置する領域の周辺では、表示画面の下地のみを操作できるように、あるいは固定操作のみができるように設定されてよい。また、表示画面の表示情報の大きさに応じて、接触面積の大きい又は小さい接触点を無効な接触と判断するようにしてもよい。更に、情報処理装置１００が片手で保持されるか、両手で保持されるかに応じて、操作を異ならせるようにしてもよい。

いずれにしても、プログラムによって、情報処理装置１００の制御部１１０に、一つのオブジェクトの座標領域への接触による移動指示を検出した場合であっても、他の座標領域への接触との位置関係や接触の継続時間などに基づき、下地や背景を固定して一つのオブジェクトのみを移動させる処理をさせたり、アクティブな表示画面全体を移動する処理をさせたりすることにより、使用者の直感的な操作を適切に検出可能とできる。

図２は、情報処理装置１００の識別動作を説明するためのフローチャートである。図２に示す操作の識別処理は、上記説明した情報処理装置１００の動作時に、使用者にユーザインタフェースとして提供されるオブジェクトの移動機能を実現する動作である。

情報処理装置１００の制御部１１０は、接触検出部１２１を介して表示部１２０の表示画面への接触を監視する（ステップＳ２０１）。

接触を検知した場合、制御部１１０は、同時的に複数の接触点があるか判別し、複数の接触点を検出した場合には次ステップＳ２０３に進み、一つの接触点のみ検出した場合にはステップＳ２０５に進む（ステップＳ２０２）。換言すれば、第１及び第２の表示情報が夫々表示される第１及び第２の座標領域のいずれか一方のみにおいて接触点を検出したのか、第１及び第２の座標領域において複数の接触点を検出したのかを判別する。また、オブジェクトの表示範囲における接触点の検出に加え、前記オブジェクトの表示範囲を除く表示画面上のアクティブ範囲における接触点を検出しているかを判別する。

尚、第１の座標領域と第２の座標領域の双方における接触点の検出は、何れを先に検出しても同様の入力操作として判別する。他方、第１の座標領域と第２の座標領域における同時的な接触点の検出は、別の入力操作として処理しても良い。

複数の接触点を検出した場合、制御部１１０は、検出した複数の接触点の検出座標を監視し、一つの接触点のみが移動した（移動（スクロール）指示が成された）か否かを判別する。一つの接触点のみが移動した場合には次ステップＳ２０４に進み、複数の接触点が同時的に移動した場合にはステップＳ２０６に進む（ステップＳ２０３）。換言すれば、複数の接触点のうちの一つのみの検出座標の変化が検出されるか否かを判別する。別の表現で説明すれば、移動対象のオブジェクト表示範囲を除く表示画面上のアクティブ範囲における接触点を検出すると共にオブジェクトへの移動指示が検出されたか否かを判別する。

尚、制御部１１０は、移動指示と異なる他の操作（指示）が成された場合は、当該操作に応じた処理を行なう。

一つの接触点のみの移動が検出された場合、制御部１１０は、他の接触点が存在する座標領域に表示された表示情報を表示画面上で固定し、移動が検出された接触点が存在する座標領域に表示された表示情報を移動させる（ステップＳ２０４）。換言すれば、検出座標の変化が検出された接触点が存在する座標領域に表示された表示情報のみを検出座標の変化に基づいて移動させる。別の表現で説明すれば、オブジェクトをアクティブ範囲内で移動可能に制御し、移動指示されたオブジェクトを移動させる。

接触点が一つの場合、制御部１１０は、検出した接触点の検出座標を監視し、使用者によって移動の指示が成されたか否かを判別する（ステップＳ２０５）。

検出された複数の接触点が同時的に同一方向に移動した場合及び検出された接触点が一つであってその検出座標が変化した場合、制御部１１０は、アクティブになっている表示情報全体を移動（スクロール）させる（ステップＳ２０６）。換言すれば、制御部１１０は、全ての接触点の検出座標の変化を検出した場合に、前記第１及び第２の表示情報をともに、検出座標の変化に基づいて移動させる。

上記の操作の識別処理動作により、情報処理装置１００は、複数の接触点を検出可能である接触検出部を用いて、使用者の直感的な操作を適切に検出して表示情報（オブジェクト）を移動できる。

次に、本発明の第２の実施の形態に係る情報処理装置として、モバイル端末２００について説明する。

図３は、本実施の形態に係るモバイル端末２００の概略構成を示す機能ブロック図である。

モバイル端末２００は、図３に示すように、無線部２０１、放送受信部２０２、ＧＰＳ受信部２０３、カメラ部２０４、音響処理部２０５、接触検出機能付表示部２０６、記憶部２０７及び制御部２０８を備えている。

無線部２０１は、アンテナを介して無線基地局装置との間で無線により情報の送受を行う。放送受信部２０２は、放送局（地上局、衛星など）から送信された放送信号を受信し、受信した放送信号を復調して得た映像データ、音響データ、情報データ等の信号処理を行う。ＧＰＳ受信部２０３は、複数のＧＰＳ衛星から放射された電波がモバイル端末２００に到達するまでの時間を測定して夫々のＧＰＳ衛星とモバイル端末２００との距離を求め、当該距離を利用して位置座標を求める。カメラ部２０４は、画像情報の取得（撮影）を行う。音響処理部２０５は、マイク及びスピーカを介して入出力される音楽や報知音、あるいは音声である音響信号等の処理を行う。

接触検出機能付表示部２０６は、画像、図形、文字、記号などの表示情報出力（映像信号処理）を行う表示機能と、圧力や静電容量等の方式により利用者の入力操作を感知するスイッチ機能（位置座標検出機能、接触検出機能）とを兼ね備えたタッチスクリーン（タッチパネル）である。

記憶部２０７は、電話帳情報、送受信メール情報、発着呼情報、コンテンツ情報、アプリケーションプログラム、撮影画像、及びモバイル端末２００の諸設定情報等を格納する。

制御部２０８は、電話機能、メール機能、インターネット（web）接続機能、カメラ機能、テレビ受信機能、ＧＰＳ（測位）機能、コンテンツ再生機能、その他の端末の有する機能や各部の制御を行う。また、制御部２０８は、接触検出機能付表示部２０６に対して、表示機能を制御して電子画面を表示させると共に、接触検出機能付表示部２０６のスイッチ機能（位置座標検出機能、接触検出機能）を用いて使用者の操作指示を検出する。

次に、モバイル端末２００の操作（指示）の識別処理動作について、図４を参照して説明する。

図４は、モバイル端末２００のスクロール処理動作を説明するためのフローチャートである。

モバイル端末２００の制御部２０８は、接触検出機能付表示部２０６への接触を監視する（ステップＳ４０１）。接触を検知した場合、制御部２０８は、接触点の数が一つであるのか、複数であるかを判別する。複数の接触点を検出した場合には、次ステップＳ４０３に進み、一つの接触点の場合にはステップＳ４０５に進む（ステップＳ４０２）。

接触点の数が複数の場合、制御部２０８は、それら接触点のうちの少なくとも一つが予め定められた位置（または領域（移動固定座標領域）内）に位置しているか否か判定する。予め定められた位置については、後述する。

制御部２０８は、予め設定された位置への接触を検出した場合には次ステップＳ４０４に進み、予め設定された位置への接触を検出しない場合にはステップＳ４０５に進む（ステップＳ４０３）。

予め設定された位置への接触を検出し、且つ、オブジェクト（第２の表示情報に相当）への移動指示を検出した場合、制御部２０８は、背景表示（第１の表示情報に相当）を固定して、オブジェクトをアクティブ範囲内で移動可能に制御する（ステップＳ４０４）。

他方、接触点が一つの場合、制御部２０８は、接触が解除される（接触点が消滅する）までの接触点の移動量に基づいて表示全体をスクロールする（ステップＳ２０５−Ｓ２０６）。

ここで、予め設定された位置（または領域）について説明する。予め設定された位置は、移動対象となるオブジェクトを除いた表示画面範囲内や、移動対象となるオブジェクトを除いた表示画面上のアクティブ範囲内、使用者がモバイル端末２００を保持する手の接触（押圧）可能な位置（指定位置）に設定される。別の表現で説明すれば、予め設定された位置は、オブジェクトの表示範囲を除く表示画面上のアクティブ範囲内や、接触点が検出された第２の表示情報が表示される第２の座標領域を除く第１の表示情報が表示される第１の座標領域、アプリケーションプログラムに指定される指定座標領域、移動固定オブジェクトの表示範囲に設定される。

接触（押圧）可能な位置とは、モバイル端末２００を推奨される標準的な状態で保持したときに、親指や他の特定の指が届く位置である。尚、予め設定された位置は、図７Ａ及び図７Ａ以降に例示して説明する。

次に、モバイル端末２００の表示画面の遷移例を説明する。図５ないし図１１は、モバイル端末２００の表示画面の遷移例を示す図である。

図５ないし図１１には、制御部２０８によってそれぞれ接触検出機能付表示部２０６に表示される表示画面全体が示されている。図５Ａ、図６Ａ、図７Ａ、図８Ａ、図９Ａ、図１０Ａ及び図１１Ａは、オブジェクトの移動（スクロール）動作前の表示画面を示す。一方、図５Ｂ、図６Ｂ、図７Ｂ、図８Ｂ、図９Ｂ、図１０Ｂ及び図１１Ｂはオブジェクトの移動後の表示画面を示している。

図５Ａ及び図５Ｂは、シングルタッチ時の表示画面の遷移例を示す図である。

図５Ａにおいて、表示画面枠５００内には第１の表示情報（スケジュール表）５０１が表示されるとともに、第２の表示情報（オブジェクト）５０２が表示されている。この状態で、使用者が指で第２の表示情報５０２が表示される第２の座標領域に触れ、かつ、矢印で示すように図の下方へ移動させたとする。制御部２０８は、第１の表示情報５０１が表示される第１の座標領域における接触点を検出することなく、第２の表示情報５０２が表示される第２の座標領域における接触点を検出して、その接触点の検出座標の変化をスクロール指示として検出する。即ち、図５Ａは、図４に示されるステップＳ４０１からステップＳ４０２のＮｏを経てステップＳ４０５に至る動作を示している。

図５Ｂは、図５Ａの識別処理結果として、制御部２０８が第１及び第２の表示情報５０１，５０２、即ち表示情報全体を、検出座標の変化に基づいてスクロールさせた表示結果を示している。即ち、図４に示されるステップＳ４０６の動作後の状態を示している。

図５Ａに示したように、オブジェクト（第２の表示情報５０２）の表示範囲においてのみ接触点を検出した場合に、オブジェクトを移動させようと操作すると、スケジュール表（第１の表示情報５０１）とオブジェクトとが同時にスクロールする。

図６Ａ及び図６Ｂは、マルチタッチ時の表示画面の一遷移例を示す図である。図６Ａ及び図６Ｂでは、オブジェクト５０２の表示範囲を除く表示画面上のアクティブ範囲５０３（ハッチングで示す領域）における接触点を検出した場合に、オブジェクト５０２をアクティブ範囲５０３内で移動可能に制御した画面遷移例を示している。

図６Ａは、第１の表示情報５０１が表示される第１の座標領域及び第２の表示情報５０２が表示される第２の座標領域における複数の接触点を検出して、複数の接触点の一つである第２の座標領域に存在する接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。即ち、図４に示されるステップＳ４０１からステップＳ４０２のＹｅｓを経てステップＳ４０３のＹｅｓに至る動作を示している。

図６Ｂは、図６Ａの識別処理結果として、制御部２０８が検出座標の変化を検出した接触点が存在する座標領域に表示された表示情報である第２の表示情報（オブジェクト）５０２のみを検出座標の変化に基づいて移動させた表示結果を示している。即ち、図４に示されるステップＳ４０４の動作を示している。

図６Ａ及び図６Ｂに示したように、オブジェクトの表示範囲を除く表示画面上のアクティブ範囲５０３内において接触点を検出し、その検出座標が変化しない場合に、オブジェクトをアクティブ範囲５０３内で移動可能に制御することで、スケジュール表を固定すると共にオブジェクトを移動できる。

尚、制御部２０８は、第１の座標領域と第２の座標領域において複数の接触点を検出すると共に、第２の座標領域に存在する接触点の検出座標の変化を検出することなく、第１の座標領域に存在する接触点の検出座標の変化を検出した場合に、第１の表示情報５０１のみを検出座標の変化に基づいてスクロール（移動）させてもよい。なお、複数の接触点は必ずしも第１の座標領域と第２の座標領域の双方に存在している必要はない。

図７Ａ及び図７Ｂは、マルチタッチ時の表示画面の別の遷移例を示す図である。図７Ａ及び図７Ｂでは、予め設定された位置（指定位置、指定座標範囲、移動固定座標領域）への接触を検出した場合に、スケジュール表を固定して、『打ち合わせ』のオブジェクトのみを移動可能に制御した画面遷移例を示している。

図７Ａは、スケジュール表が表示される第１の座標領域内に設けられた予め設定された位置（移動固定座標領域）５０４における接触点、及び、オブジェクトが表示される第２の座標領域における接触点を検出し、更に、第２座標領域における接触点のみの検出座標の変化を移動指示として検出した場合を示している。

図７Ｂは、図７Ａの識別処理結果として、制御部２０８が検出座標の変化を検出した接触点が存在する座標領域に表示されたオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。即ち、図４に示されるステップＳ４０４の動作を示している。

図７Ａ及び図７Ｂに示したように、予め設定された位置への接触を検出した場合に、スケジュール表を固定した状態でオブジェクトを移動可能に制御することで、スケジュール表を固定すると共にオブジェクトを移動できる。このような制御は、第１の表示情報５０１と第２の表示情報５０２とを一体的に表示する（オブジェクト単位で表示を制御しない）プログラムに好適である。

図８Ａ及び図８Ｂは、マルチタッチ時の表示画面の更に別の遷移例を示す図である。図８Ａ及び図８Ｂでは、図７Ａ及び図７Ｂと同様に、予め設定された位置への接触を検出した場合に、スケジュール表を固定して、オブジェクトのみを移動可能に制御した画面遷移例を示している。図７Ａ及び図７Ｂとの違いは、図７Ａ及び図７Ｂではスケジュール表の時間表示部分に移動固定座標領域が設定されているのに対し、図８Ａ及び図８Ｂではアクティブ範囲の下部に、アプリケーションプログラムによって、移動固定指定位置５０５が可視可能に設定されている点である。

図８Ａは、スケジュール表が表示される第１の座標領域内に設けられた移動固定指定位置５０５における接触点、及び、オブジェクトが表示される第２の座標領域における接触点を検出し、更に、第２の座標領域における検出点の検出座標の変化をスクロール指示として検出した場合を示している。

図８Ｂは、図８Ａの識別処理結果として、制御部２０８が検出座標の変化を検出した接触点が存在する座標領域に表示されたオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。

図８Ａ及び図８Ｂに示したように、可視可能に設定された移動固定指定位置５０５への接触を検出した場合に、スケジュール表を固定した状態でオブジェクトを移動可能に制御することで、スケジュール表を固定すると共にオブジェクトを移動可能とできる。このような制御は、多数のオブジェクトを表示するアプリケーションに好適である。また、多数の階層を有してレイヤー構造を用いる表示情報を表示するアプリケーションに好適である。レイヤー構造を採用する場合、制御部は、オブジェクト（第２の表示情報）をスケジュール表（第１の表示情報）の上位レイヤーとする。即ち、第１の表示情報の前面側に第２の表示情報が重ねて表示されるようにする。

図９Ａ及び図９Ｂは、マルチタッチ時の表示画面の更に別の遷移例を示す図である。図９Ａ及び図９Ｂでは、他のマルチタッチ時の遷移例と同様に、予め設定された位置への接触を検出した場合に、スケジュール表を固定して、オブジェクトのみを移動可能に制御した画面遷移例を示している。図８Ａ及び図８Ｂに示す遷移例との違いは、図８Ａ及び図８Ｂでは、アクティブ範囲の下部にスケジュール表のアプリケーションプログラムによって移動固定指定位置５０５が設定されているのに対し、図９Ａ及び図８Ｂでは、スケジュール表のアプリケーションプログラム以外のプログラムによって移動固定オブジェクト５０６が設定されている点である。

図９Ａは、スケジュール表が表示される第１の座標領域内に設けられた移動固定オブジェクト５０６が表示された座標領域における接触点（選択）、及び、移動させたいオブジェクトが表示される第２の座標領域における接触点を検出し、更に、第２の座標領域における接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。

図９Ｂは、図９Ａの識別処理結果として、制御部２０８が検出座標の変化を検出した接触点が存在する座標領域に表示されるオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。

図９Ａ及び図９Ｂに示したように、アクティブなアプリケーションプログラム以外のプログラムによって移動固定オブジェクト５０６が表示された座標領域への接触を検出した場合に、スケジュール表を固定した状態でオブジェクトを移動可能に制御することで、スケジュール表を固定すると共にオブジェクトを移動できる。

尚、移動固定オブジェクト５０６は、画面上を移動可能であり、また、最前面に表示されるようにしても良い。このように制御することによって、比喩としてスケジュール表を紙と見立て、移動固定オブジェクトをおもしや文鎮のように使用可能とし、使用者の直感的な操作を適切に検出して移動指示されたオブジェクトを移動できる。

図１０Ａ及び図１０Ｂは、マルチタッチ時の表示画面の更に別の遷移例を示す図である。図１０Ａ及び図１０Ｂでは、他のマルチタッチ時の遷移例と同様に、予め設定された位置への接触を検出した場合に、スケジュール表を固定して、オブジェクトのみを移動可能に制御した画面遷移例を示している。図８Ａ及び図８Ｂの遷移例との違いは、図８Ａ及び図８Ｂでは、アクティブ範囲の下部にスケジュール表のアプリケーションプログラムによって移動固定指定位置５０５が設定されているのに対し、図１０Ａ及び図１０Ｂでは、接触検出機能付表示部２０６の検出範囲内であって、表示画面外の領域に、下地固定入力部５０７を設定している点である。

図１０Ａは、下地固定入力部５０７への接触、及び、移動させたいオブジェクトが表示される第２の座標領域への接触を検出し、更に、第２の座標領域に存在する接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。

図１０Ｂは、図１０Ａの識別処理結果として、制御部２０８が検出座標の変化を検出した接触点が存在する座標領域の表示されたオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。

図１０Ａ及び図１０Ｂに示したように、下地固定入力部５０７への接触を検出した場合に、下地（ここではスケジュール表）を固定した状態で移動させたいオブジェクトを移動可能に制御することで、下地を固定すると共にオブジェクトを移動できる。このように制御することによって、比喩としてスケジュール表を紙と見立て、下地固定入力部をその紙の縁部分を押えるように使用可能とし、使用者の直感的な操作を適切に検出してオブジェクトを移動できる。

図１１Ａ及び図１１Ｂは、マルチタッチ時の表示画面の更に別の遷移例を示す図である。図１１Ａ及び図１１Ｂでは、他のマルチタッチ時の遷移例と同様に、同時的に複数の接触点を検出した場合に、スケジュール表を固定して、オブジェクトのみを移動可能に制御した画面遷移例を示している。図１１Ａ及び図１１Ｂに示す例では、使用者がモバイル端末２００を保持している手の指によって、表示画面枠５００と下地（ここではスケジュール表）とに対応する座標領域に同時に接触した場合に、下地を固定して、他のオブジェクトを移動可能に制御する。尚、接触検出機能付表示部２０６の接触を検出する領域であるマルチタッチスクリーン検出可能領域５０８は、表示画面上のみでなく、表示画面枠の上にも掛かるように設けられている。更に、図１２に示すように、接触点が表示画面枠５００の上から表示画面５０９の上へ連続する場合に、移動固定座標領域への接触とみなす。

図１１Ａは、使用者がモバイル端末２００を保持している手の指によって、表示画面枠５００及び下地とに対応する座標領域における接触点と、移動させたいオブジェクトが表示される第２の座標領域における接触点とを検出し、更に、第２の座標領域における接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。

図１１Ｂは、図１１Ａの識別処理結果として、制御部２０８が検出座標の変化を検出した接触点が存在する座標領域に表示されるオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。

図１２は、図１１に示した表示画面の拡大図である。図１２に示すように、接触点（領域）５１０が、表示画面枠（筐体）５００と表示画面５０９との両方に掛かっているとき、移動固定座標領域への接触が検出される。即ち、表示画面枠（筐体）５００と下地とが、使用者の同一指によって同時に接触されている場合に、下地を固定する操作が為された判断する。

図１１Ａ、図１１Ｂ及び図１２に示したように、使用者がモバイル端末２００を保持している手の指によって、表示画面枠５００と下地（ここではスケジュール表）とに同時に接触した場合に、下地を固定した状態で移動させたいオブジェクトを移動可能に制御することで、下地を固定すると共にオブジェクトを移動できる。このように制御することによって、比喩としてスケジュール表を紙と見立て、その紙をモバイル端末２００の筐体に押えつけたようにすることが可能となる。別の表現では、筐体と指で下地を挟んだようにすることが可能となり、使用者の直感的な操作を適切に取得してオブジェクトを移動できる。

上記例示した遷移例のように制御することによって、複数の接触点を検出した場合に、下地（背景）であるスケジュール表（第１の表示情報）を固定（移動不可）し、入力項目である『打ち合わせ』（第２の表示情報）を移動可能とすることで、使用者の直感的な押さえる操作を検出すると共に使用者の操作による表示情報の移動（スクロール）指示を検出し、入力項目のみを移動できる。

このように制御することによって、入力項目を移動する時に、従来の、入力項目を選択して詳細情報を表示させ、詳細情報を変更して確定する操作のような、複数回の操作を省くことが出来る。また、従来の詳細情報に含まれる時刻指定情報を変更して入力項目を移動する場合と異なり、入力済の他のスケジュールを確認しながら入力項目を移動できる為、スケジュールのダブルブッキングを防止できる。

尚、表示画面上の端部付近に移動中のオブジェクトが到達した場合には、端部に表示されている情報（背景、下地である表示情報の表示画面上の端部）をアクティブ範囲の中心部付近、或いはオブジェクトの移動を妨げないように移動するように制御すれば、更に、使用者の直感的な操作を容易にする。例えば、表示情報が複数の画面表示分を有する（複数ページに渡る）場合などでは、制御部は、表示画面上の下端部付近に移動中のオブジェクトの到達を検出して、端部に表示されている情報をアクティブ範囲の中心部付近に移動する、或いは、表示情報を次ページ分に切り替えるように制御すればよい。

また、上記遷移例を別の観点から説明すれば、第１の表示情報が表示される第１の表示範囲内及び／又は第２の表示情報が表示される第２の表示範囲内に、予め移動固定座標領域を設け、移動固定座標領域において第１の接触点を検出するとともに、移動固定座標領域を除く第１の座標領域及び第２の座標領域のいずれか一方において第２の接触点を検出し、かつ第２の接触点の検出座標の変化を検出した場合に、第２の接触点が存在している第１又は第２の座標領域に表示される第１又は第２の表示情報のみを検出座標の変化に基づいて移動させることが可能である。

尚、上述の例はスケジュール表のアプリケーションプログラムについて説明したが、第1の表示情報（下地、背景）はスケジュール表に限定されるものではなく、地図やカレンダー、写真一覧などの表示であっても良い。また、アプリケーションプログラムは、文章入力プログラムや表計算プログラムであっても良い。この場合は、入力済の文章であって選択操作された範囲や個別のセルをオブジェクトとすればよい。文章入力プログラムに適用した場合には、写真や図に加えて選択された文章の一部を、使用者の直感的な操作によって、移動指示されたオブジェクトとして移動可能にできる。

また、表計算プログラムのような、背景表示が複数の領域で区切られている場合に、接触点が存在する座標領域のみを固定化するように制御しても良い。このようにすれば、所定の領域と離れた他の領域を並べて確認するなどの操作が可能となる。

次に、本発明の第３の実施の形態に係るタブレットコンピュータ３００について説明する。

図１３は、本実施の形態に係るタブレットコンピュータ３００の概略構成を示す機能ブロック図である。

タブレットコンピュータ３００は、図１３に示すように、各種演算処理を行う制御部３１０、情報を一時記憶するＲＡＭ３１１、基本制御プログラムが格納されているＲＯＭ３１２、情報を入出力するタッチパネルディスプレイ３２０、記憶部３３０、及びネットワークを介しインターネット等との通信を行うためのネットワークインタフェース３１３を含む。

タッチパネルディスプレイ３２０は、表示部３２１及び接触検出部３２２を有し、制御部３１０から出力された画像、図形、文字、記号などの表示情報を表示部３２１の表示画面上に表示すると共に、使用者からの接触検出部３２２への接触による入力を検出する。

記憶部３３０には、様々なアプリケーションプログラム３３１やタッチパネルディスプレイ３２０用のドライバ３３２、各種データ、各種コンテンツ、ＯＳ（Operating System）３３３などが格納されている。

制御部３１０は、ＯＳ３３３、ドライバ３３２、及び、アプリケーションプログラム３３１の指示に基づいて動作する。尚、ＯＳ３３３等のソフトウェアは、必要に応じてＲＡＭ３１１に展開されて使用される。

また、接触検出部３２２は、接触検出部３２２のハードウェア（マルチタッチスクリーン検出可能領域５０８）への接触を、ＯＳ３３３、ドライバ３３２、アプリケーションプログラム３３１の何れか又はその組み合わせに基づいて検出する。接触検出部３２２は、複数の接触点（領域）を検出できればよく、検出方式等は問わない。また、何れのソフトウェアを用いて実現してもよく、接触を検出できれば特に限定はない。

このような構成において、タブレットコンピュータ３００は、接触検出部３２２を用いて、使用者の直感的な操作を適切に検出し、オブジェクトの移動を可能にできる。

次に、タブレットコンピュータ３００の操作の識別処理動作を説明する。識別処理動作の説明は、図１４、図１５Ａ及び図１５Ｂを用いて、表計算プログラムの場合を例示して説明する。

図１４は、タブレットコンピュータ３００の移動処理動作を説明するためのフローチャートである。

図１４に示すステップＳ１４０１からＳ１４０３までは、図４のステップＳ４０１からＳ４０３と同様の動作である。また、ステップＳ１４０５、Ｓ１４０６も、図４のステップＳ４０５、Ｓ４０６と同様の動作である。

タブレットコンピュータ３００の制御部３１０は、タッチパネルディスプレイ３２０への接触を監視（ステップＳ１４０１）し、接触を検知した場合、接触点の数が一つであるのか、複数であるかを判別（ステップＳ１４０２）する。また、制御部３１０は、移動対象のオブジェクト（移動させたいセル）表示範囲を除く表示画面上の他のオブジェクト（他のセル）の表示範囲への接触を検出すると共に移動対象のオブジェクトへの移動指示を検出できるか否かを判別する（ステップＳ１４０３）。

他のオブジェクトの表示範囲への接触を検出して、且つ、移動対象オブジェクトへの移動指示を検出した場合、制御部３１０は、他のオブジェクトを固定して、移動対象オブジェクトを移動可能に制御する（ステップＳ１４０４）。

他方、接触点が一つの場合などは、所定の通常操作を実行する（ステップＳ１４０５−Ｓ１４０６）。

ここで、背景（下地、第１の表示情報）が複数の領域（オブジェクト）に区切られているアプリケーションプログラムの移動処理動作を、表計算プログラムの表示画面の遷移例を示して説明する。

図１５Ａ及び図１５Ｂは、マルチタッチ時の表計算プログラムの表示画面６００の遷移例を示す図である。

図１５Ａは、第１の表示情報（ここでは表）６０１が表示される第１の座標領域及び第２の表示情報（ここでは各セル）６０２が表示される第２の座標領域における複数の接触点を検出して、第２の座標領域における接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。即ち、図１４に示されるステップＳ１４０１からＳ１４０２のＹｅｓを経てステップＳ１４０３のＹｅｓに至る動作を示している。

図１５Ｂは、図１５Ａの識別処理結果として、制御部３１０が検出座標の変化を検出した接触点が存在する座標領域に表示された表示情報である第２の表示情報（オブジェクト）のみを検出座標の変化に基づいてスクロールさせた表示結果を示している。即ち、図１４に示されるステップＳ１４０４の動作を示している。

画面遷移は、図１５Ｂに示す様に、左上のセルと移動指示を受けていない（固定したい）セルとを対角とする長方形領域６０３を固定し、移動指示されたセル（7/10 9:00のセル）６０４を移動可能に制御する。更に、移動可能に制御されるセル６０４が、アクティブになっている領域の端部付近に移動した場合には、第１の表示情報を分割表示して、表計算プログラムの枠部分を表示しつつ、移動対象セル６０４を移動可能に制御する。

図１５Ａ及び図１５Ｂに示したように、移動を指示したオブジェクトの表示範囲を除く表示画面上のアクティブ範囲内への接触を検出した場合に、移動を指示したオブジェクトを前記アクティブ範囲内で移動可能に制御することで、使用者は、移動するセル（7/10 9:00）と、上下及び左右方向に離れた他のセルとを並べて視認しながら情報を移動させることができる。

別の表現で説明すれば、制御部３１０は、第１の表示情報が表示される枠内の複数の第２の表示情報が表示される座標領域への接触を検出すると共に、一つの接触点のみの検出座標の変化を検出した場合に、第１の表示情報を分割して表示し、検出座標の変化を検出した接触点が存在する座標領域に表示された第２の表示情報のみを検出座標の変化に基づいて移動させる。

以上説明したように、本発明の情報処理装置によれば、使用者による画面への複数箇所の接触と、表示されたオブジェクトに向けられた操作を認識し、当該認識結果に基づいてオブジェクトの移動制御を行うので、使用者の入力操作負荷を軽減することができる。

即ち、本発明によれば、複数の接触点を検出可能である接触検出部を用いて、使用者の直感的な操作を適切に検出し、オブジェクトの移動を可能とした情報処理装置、それを実現するプログラム及びそのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供できる。

また、上述した直感的な固定する操作例のうちの２以上を組み合わせて用いることも可能である。組み合わせた場合には、個々の使用者毎の差異を吸収し、使用者の利便性を更に高めることができる。

また、本発明の具体的な構成は上記実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。

本発明は、複数の接触点を検出可能な接触検出部を有する情報処理装置であれば、どのような情報処理装置にも適応できる。また、本発明は、モバイル端末のように、片手で情報処理装置を保持して、操作する情報処理装置に好適である。

１００ 情報処理装置
１１０ 制御部
１２０ 表示部
１２１ 接触検出部
１３０ 記憶部
２００ モバイル端末
２０１ 無線部
２０２ 放送受信部
２０３ ＧＰＳ受信部
２０４ カメラ部
２０５ 音響処理部
２０６ 接触検出機能付表示部
２０７ 記憶部
２０８ 制御部
３００ タブレットコンピュータ
３１０ 制御部
３１１ ＲＡＭ
３１２ ＲＯＭ
３１３ ネットワークインタフェース
３２０ タッチパネルディスプレイ
３２１ 表示部
３２２ 接触検出部
３３０ 記憶部
３３１ アプリケーションプログラム
３３２ ドライバ
３３３ ＯＳ
５００ 表示画面枠
５０１ 第１の表示情報
５０２ 第２の表示情報
５０３ アクティブ範囲
５０４ 予め設定された位置
５０５ 移動固定指定位置
５０６ 移動固定オブジェクト
５０７ 下地固定入力部
５０８ マルチタッチスクリーン検出可能領域
５０９ 表示画面
５１０ 接触点
６００ 表示画面
６０１ 第１の表示情報
６０２ 第２の表示情報
６０３ 長方形領域
６０４ セル

Claims (9)

1. 複数の表示情報を表示する表示部と、
   前記表示部に対する複数の物体の接触位置を検出する検出部と、
   接触を検出している第一の表示情報が表示された領域と前記第一の表示情報を除く前記複数の表示情報が表示された領域とのうち、いずれか１つの接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域内における前記第一の表示情報の表示位置を変更する制御部と、
   を備えることを特徴とする情報処理装置。
2. 前記制御部は、前記複数の表示情報を、前記表示部の所定の領域内に、特定の配列規則に基づいて配列して表示させる、請求項１に記載の情報処理装置。
3. 前記特定の配列規則とは、格子状配列である、請求項１又は２に記載の情報処理装置。
4. 前記制御部は、前記第一の表示情報が表示された領域と前記第一の表示情報を除く前記複数の表示情報が表示された領域とのそれぞれに対する接触の検出が、所定時間を空けて検出された場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域内における第二の表示情報の表示位置に対する前記第一の表示情報の表示位置を変更する、請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記制御部は、前記第一の表示情報が表示された領域と前記第一の表示情報を除く前記複数の表示情報が表示された領域とのそれぞれに対する接触の検出が、同時的である場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域の拡大縮小を行う、請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記制御部は、前記接触を検出している第一の表示情報が表示された領域と前記第一の表示情報を除く前記複数の表示情報が表示された領域との接触位置の同一方向の変化を検出した場合に、前記所定領域内における前記複数の表示情報の移動を行う、請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記第二の表示情報の表示位置に対する前記第一の表示情報の表示位置の変更とは、前記格子配列における、それぞれの表示情報の表示位置の間の行数、または列数の変更を示す、請求項３から６のいずれか一項に記載の情報処理装置。
8. 複数の表示情報を表示し、
   前記複数の表示情報に対する複数の物体の接触位置を検出し、
   接触を検出している第一の表示情報が表示された領域と前記第一の表示情報を除く前記複数の表示情報が表示された領域とのうち、いずれか１つの接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域内における前記第一の表示情報の表示位置を変更する、
   ことを特徴とする情報処理方法。
9. 複数の表示情報を表示する処理と、
   前記複数の表示情報に対する複数の物体の接触位置を検出する処理と、
   接触を検出している第一の表示情報が表示された領域と前記第一の表示情報を除く前記複数の表示情報が表示された領域とのうち、いずれか１つの接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域内における前記第一の表示情報の表示位置を変更する処理と、
   を情報処理装置に実行させることを特徴とするプログラム。

Images