JP2010067126A - 情報処理装置、及び情報処理方法 - Google Patents

Abstract

【課題】複数のオブジェクトを面で操作できるようにする情報処理装置を提供すること。
【解決手段】複数のオブジェクトが表示される表示パネル（１０２）と、前記表示パネル（１０２）上に位置する操作体（１０）を検知し、当該操作体（１０）に対応する前記表示パネル（１０２）上の面領域を検出する面領域検出部（１１４）と、前記面領域検出部（１１０）により検出された面領域に接触した一又は複数の前記オブジェクトを検知する接触オブジェクト検知部（１１６）と、前記接触オブジェクト検知部（１１６）により検知されたオブジェクトの一部又は全部を選択状態にするオブジェクト選択部（１１８）とを備える、情報処理装置（１００）が提供される。
【選択図】図４

Description

本発明は、情報処理装置、及び情報処理方法に関する。

近年、タッチパネルやタッチパッド等（以下、タッチパネル）を搭載した携帯型の情報処理装置が広く普及してきている。このような携帯型の情報処理装置としては、例えば、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯動画プレーヤ、携帯音楽プレーヤ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等がある。さらに、最近では、テレビジョン受像機、携帯ゲーム機、リモートコントローラ（以下、リモコン）等にもタッチパネルが搭載されるようになってきている。また、これらの情報処理装置の中には、タッチパネル以外の操作手段を持たないものもある。そのような情報処理装置を利用するユーザは、タッチパネルを利用してほぼ全ての操作を行うことになる。

このように、タッチパネルが広く利用されるようになり、利用形態の拡大に伴ってタッチパネルを用いた操作体系の改良が求められるようになってきた。通常、ユーザは、指やスタイラス等でタッチパネルの面上を押圧しつつ、指やスタイラス等を移動させることで所定の操作を行う。このような操作が行われると、タッチパネルは、押圧された点を座標として読み取る。そして、タッチパネルにより読み取られた座標が演算処理手段に伝送され、所定の処理が実行される。例えば、下記の特許文献１には、抵抗腹式アナログタッチパネルの構成が記載されている。

特開２００４−２１３３１２号公報

しかしながら、これまでのタッチパネルにおいては、ユーザが指やスタイラス等で接触した位置が１点の座標として認識される。そのため、タッチパネルの表示領域に複数のオブジェクトが表示されている場合に、複数のオブジェクトを同時に操作することが難しい。仮に、複数本の指やスタイラス等（以下、操作体）を用いて押圧された複数の位置を同時に認識できるタッチパネルを用いたとしても、その本数分のオブジェクトしか操作することができない。つまり、ユーザが５本の指で操作可能なオブジェクトの数は５つまでに限定されてしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作体の数よりも多くのオブジェクトを同時に操作することが可能な、新規かつ改良された情報処理装置、及び情報処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数のオブジェクトが表示される表示パネルと、前記表示パネル上に位置する操作体を検知し、当該操作体に対応する前記表示パネル上の面領域を検出する面領域検出部と、前記面領域検出部により検出された面領域に接触した一又は複数の前記オブジェクトを検知する接触オブジェクト検知部と、前記接触オブジェクト検知部により検知されたオブジェクトの一部又は全部を選択状態にするオブジェクト選択部と、を備える、情報処理装置が提供される。

また、上記の情報処理装置は、前記操作体が移動した場合に、当該操作体に対応する面領域の移動に合わせて前記オブジェクト選択部により選択状態にされたオブジェクトを移動させるオブジェクト移動部をさらに備えていてもよい。

また、前記接触オブジェクト検知部は、前記操作体の移動中に前記面領域に接触した前記オブジェクトを検知し、前記オブジェクト選択部は、前記操作体の移動中に前記接触オブジェクト検知部により検知されたオブジェクトを選択状態にするように構成されていてもよい。

また、前記オブジェクト選択部は、前記接触オブジェクト検知部により検知されたオブジェクトの中で、前記接触オブジェクト検知部により最初に検知されたオブジェクトと同じ属性を有するオブジェクトだけを選択状態にするように構成されていてもよい。

また、上記の情報処理装置は、前記オブジェクトに所定の順序を示す属性が付与されている場合に、前記オブジェクト選択部により選択されたオブジェクトを前記属性が示す順序に従って整列させるオブジェクト整列部をさらに備えていてもよい。

また、前記面領域検出部は、前記操作体に対応する面領域の大きさが所定値よりも小さい場合、当該面領域を１点の座標により表現するように構成されていてもよい。

また、前記面領域検出部は、前記表示パネル上に位置する複数の操作体を検知して当該複数の操作体に対応する一又は複数の面領域を検出するように構成されていてもよい。

また、前記オブジェクト移動部は、前記操作体の移動中に前記面領域の形状が変化した場合、当該変化後の面領域に前記オブジェクトの接触状態が維持されるように当該オブジェクトを移動させるように構成されていてもよい。

また、上記の情報処理装置は、前記オブジェクト選択部により選択された順序に従って当該オブジェクト選択部により選択されたオブジェクトを整列させるオブジェクト整列部をさらに備えていてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数のオブジェクトが表示パネルに表示されるステップと、前記表示パネル上に位置する操作体が検知され、当該操作体に対応する前記表示パネル上の面領域が検出される面領域検出ステップと、前記面領域検出ステップで検出された面領域に接触した一又は複数の前記オブジェクトが検知される接触オブジェクト検知ステップと、前記接触オブジェクト検知ステップで検知されたオブジェクトの一部又は全部が選択状態にされるオブジェクト選択ステップと、を含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、上記の情報処理装置が有する機能をコンピュータに実現させるためのプログラムが提供されうる。さらに、そのプログラムが記録されたコンピュータにより読み取り可能な記録媒体が提供される。

以上説明したように本発明によれば、タッチパネルを用いてオブジェクトを操作する場合に、操作体の数よりも多くのオブジェクトを同時に操作することが可能になる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１を参照しながら、本発明の一実施形態に係る情報処理装置の全体的な構成について説明する。次いで、図２を参照しながら、同実施形態の一変形例に係る情報処理装置の全体構成について説明する。その後、図３を参照しながら、同実施形態に係る装置及び方法により解決すべき課題について簡単に説明する。

次いで、図４を参照しながら、同実施形態に係る情報処理装置の機能構成について説明する。次いで、図５〜図１２を参照しながら、同実施形態に係る情報処理方法について説明する。次いで、図１３を参照しながら、同実施形態に係る情報処理装置のハードウェア構成について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。

＜実施形態＞
本発明の一実施形態について説明する。本実施形態は、操作体の接触部分を面で認識可能なタッチパネルを用いてオブジェクトが操作される場合に、操作体の本数よりも多くのオブジェクトを同時に操作できるようにする技術に関する。ところで、操作体がタッチパネルに直接接触しなくても、操作体が近接している部分を面領域として認識することが可能なタッチパネルが存在する。こうしたタッチパネルに対しても、本実施形態の技術が好適に用いられる。以下の説明においては、説明の都合上、タッチパネルに操作体が接触される場合を例に挙げて説明する。

［情報処理装置１００の全体構成］
まず、図１を参照しながら、本実施形態に係る情報処理装置１００の全体構成について説明する。図１は、本実施形態に係る情報処理装置１００の外観を示す説明図である。

図１に示すように、情報処理装置１００には、タッチパネル１０２が設けられている。タッチパネル１０２には、複数のオブジェクトが表示される。また、タッチパネル１０２には特定処理領域が設けられており、この特定処理領域にオブジェクトが移動されると、移動されたオブジェクトに対応する所定の処理が実行される。

例えば、オブジェクトが音楽データを示すものであり、特定処理領域が音楽データの再生処理に対応するものである場合、そのオブジェクトが特定処理領域に移動されると、そのオブジェクトに対応する音楽データが再生される。同様に、オブジェクトが画像データに対応し、特定処理領域が画像データの表示処理に対応するものである場合、そのオブジェクトが特定処理領域に移動されることで、画像データの表示処理が実行される。オブジェクトに対応付けられるデータの種類としては、音楽データや画像データの他にも、例えば、テキストデータ、動画データ、電子メールデータ、Ｗｅｂアドレス等がある。

このように、オブジェクトに対応付けられるデータの種類は多種多様である。また、こうしたデータの種類に応じて、特定処理領域にオブジェクトが移動された際に実行される処理の種類も異なる。例えば、テキストデータに対応する処理としては、テキストの表示、電子メールへの添付、データの削除、圧縮、編集アプリケーションの起動等がある。また、Ｗｅｂアドレスに対応する処理としては、Ｗｅｂブラウザの起動、起動したＷｅｂブラウザによるホームページの表示、Ｗｅｂアドレスが示すサーバ上にある動画データの再生等がある。なお、複数の画像データが特定処理領域に移動されると、画像表示アプリケーションが起動され、それら複数の画像データが一度に表示される。

上記のような所定の処理を実行するためには、ユーザがタッチパネル１０２に表示されたオブジェクトを選択し、そのオブジェクトを特定処理領域に移動させる必要がある。タッチパネル１０２には、操作体１０が接触した位置を検知するセンサが内蔵されており、操作体１０の接触位置とオブジェクトの位置とが一致した場合にオブジェクトが選択される。また、オブジェクトに接触された操作体１０が移動した場合、情報処理装置１００は、操作体１０の移動を検知し、操作体１０の移動に合わせてオブジェクトを移動させる。このように、操作体１０の接触動作によりオブジェクトが選択され、操作体１０の移動によりオブジェクトが移動される。

但し、上記の選択動作や移動動作は、情報処理装置１００により自動的に実行されるものである。ユーザは、タッチパネル１０２に操作体１０を接触させたまま、オブジェクトを移動させたい方向にスライドさせるだけである。このとき、ユーザとしては、移動操作のみを意識して操作体１０をスライドさせており、オブジェクトの選択操作を特に意識していない。つまり、オブジェクトの選択動作は、ユーザが行うオブジェクトの移動操作の自然な流れ中で行われるものである。

ところで、情報処理装置１００は、操作体１０の接触や移動に対し、オブジェクトの選択や移動の処理のみを実行するわけではない。例えば、操作体１０がタッチパネル１０２に接触した状態で所定の軌跡を描きながら移動した場合、情報処理装置１００は、操作体１０が描いた軌跡に対応する所定の処理を実行する。つまり、情報処理装置１００は、ジェスチャー入力機能を有している。例えば、所定のジェスチャーが入力された場合に、そのジェスチャーに対応付けられているアプリケーションが起動したり、或いは、そのジェスチャーに対応付けられている所定の処理が実行される。

操作体１０としては、例えば、ユーザの指等が用いられる。また、操作体１０として、例えば、スタイラスやタッチペン等が用いられることもある。また、タッチパネル１０２が光学式のものである場合、任意の物体が操作体１０になり得る。例えば、タッチパネル１０２が光学式のものである場合、タッチパネル１０２の押圧が難しいブラシのような軟質の道具も操作体１０として用いることができる。さらに、タッチパネル１０２がインセル型の光学式タッチパネルである場合、タッチパネル１０２に陰影が映るものであれば、どのような物体でも操作体１０になり得る。

ここで、インセル型の光学式タッチパネルについて簡単に説明する。光学式タッチパネルには、いくつかの種類がある。例えば、液晶ディスプレイを構成する液晶パネルの外枠に光学センサが設けられており、この光学センサにより液晶パネルに接触した操作体１０の位置や移動方向が検知される方式の光学式タッチパネルが比較的良く知られている。この方式とは異なり、インセル型の光学式タッチパネルは、液晶パネルに光学式センサアレイを搭載し、この光学式センサアレイにより液晶パネルに接触又は近接した操作体１０の位置や移動方向を検知する機構を有するものである。

より詳しくは、光学式タッチパネルのガラス基板上に光センサ、及びリード回路が形成されており、その光センサにより外部から入射される光が検知され、その強度がリード回路により読み出されることで操作体１０の陰影が認識される。このように、インセル型の光学式タッチパネルにおいては、操作体１０の陰影に基づいて操作体１０の形状や接触面積等が認識できる。そのため、他の光学式タッチパネルでは難しいとされていた接触「面」による操作が実現可能になる。また、インセル型の光学式タッチパネルを適用することにより、認識精度の向上や表示品質の向上、さらには、それを搭載した液晶ディスプレイ等におけるデザイン性の向上というメリットが得られる。

上記のインセル型光学式タッチパネルのように、接触「面」による操作が可能なタッチパネル１０２を利用して利便性の高い操作体系を実現することが本実施形態の目的である。なお、タッチパネル１０２が搭載される情報処理装置１００の構成は、例えば、図２のように変更することもできる。図２の例では、情報処理装置１００を構成するタッチパネル１０２と、タッチパネル１０２により検出された操作体１０の位置情報等を処理する演算処理装置１０４とが別体として構成されている。この構成例の場合、オブジェクトの移動処理やオブジェクトの移動に伴って発生するデータの処理は、演算処理装置１０４により実行される。このように、情報処理装置１００は、実施の態様に応じて、その構成を自由に変形することが可能である。

（課題の整理）
上記の通り、本実施形態は、接触「面」による操作が可能なタッチパネル１０２を搭載する情報処理装置１００に関するものである。以下、このような情報処理装置１００、及び本実施形態に係る情報処理方法について詳細に説明するが、これに先立ち、本実施形態が解決しようとする課題について簡単に整理しておくことにする。

まず、図３を参照しながら、一般的な情報処理装置１２の操作体系について説明する。図３は、一般的な情報処理装置１２の操作体系について説明するための説明図である。情報処理装置１２には、接触「面」による操作に対応していないタッチパネル１４が搭載されている。このタッチパネル１４は、操作体１０により接触された位置を１点の座標として認識する。そのため、有限の面積を有する操作体１０によりタッチパネル１４が押圧されても、タッチパネル１４上の１点のみが選択される。

例えば、図３に示すように、ユーザにより操作体１０でオブジェクトが選択されると、タッチパネル１４により、操作体１０の位置を示す１点の座標が検出される。このとき、情報処理装置１２は、タッチパネル１４により検出された１点の座標（例えば、座標（Ｘ１，Ｙ１））がオブジェクトに重なっている場合に、そのオブジェクトを選択状態にする。また、操作体１０が移動した場合、情報処理装置１２は、操作体１０の接触位置の移動に合わせてオブジェクトを移動させる。

このように、操作体１０の位置は１つの座標点として認識される。そのため、ユーザは、１つの操作体１０につき１つのオブジェクトしか操作できない。例えば、一方の手で情報処理装置１２の筐体を把持し、もう一方の手でオブジェクトを操作する場合、ユーザは５本の指しか使えないため、５つ以上のオブジェクトを同時に操作することができない。その結果、多数のコンテンツを一度に選択したり、一度に処理したりすることが難しい。

こうした困難に対し、例えば、複数のオブジェクトを１個ずつ選択して選択状態にし、選択状態にある複数のオブジェクトを同時に操作する方法も考えられる。しかし、複数のオブジェクトを１個ずつ選択状態にする第１の操作ステップと、選択状態のオブジェクトを操作する第２の操作ステップとが必要になり、操作ステップが増えてしまう。例えば、第１の操作ステップにおいて、ユーザは、１個のオブジェクトを選択状態にすると、指をタッチパネル１４から一旦離し、再び他のオブジェクトを選択状態にするために指をタッチパネル１４に接触させる。ユーザは、このような操作を繰り返し、所望する全てのオブジェクトが選択状態になった後で、第２の操作ステップを行う。しかし、このような操作により個々のオブジェクトを選択状態にしてから操作を行うのは大変不便である。

また、小型の情報処理装置１２に搭載されるタッチパネル１４にはサイズの小さいものが多い。このような場合、当然、タッチパネル１４に表示されるオブジェクトのサイズも小さくなる。上記のような操作により、小さなサイズのオブジェクトを１個ずつ選択するのは非常に難しい。特に、複数のオブジェクトが重なって表示されていたりすると、先の細いスタイラスを利用して慎重に操作しなければ所望のオブジェクトを選択することができない。そのため、複数のオブジェクトを一度に操作する際に、操作ステップが少なく、かつ、オブジェクトを１個ずつ選択しなくても済むような操作体系が求められている。このような操作体系の実現が、本実施形態の目的とするところである。

以下、上記の目的を達成することが可能な情報処理装置１００の機能構成について説明する。

［情報処理装置１００の機能構成］
図４を参照しながら、本実施形態に係る情報処理装置１００の機能構成について説明する。図４は、本実施形態に係る情報処理装置１００の機能構成例を示す説明図である。

図４に示すように、情報処理装置１００は、主に、タッチパネル１０２と、面領域検出部１１０と、表示制御部１１２と、記憶部１１４と、接触オブジェクト検知部１１６と、オブジェクト選択部１１８と、オブジェクト整列部１２０と、データ処理部１２２とにより構成される。

（タッチパネル１０２）
タッチパネル１０２は、オブジェクトを含む種々の画像を表示する表示機能と、画面上に接触された操作体１０の接触部分を検知するセンサ機能とを有する。タッチパネル１０２の表示機能としては、例えば、後述する表示制御部１１２から入力されるオブジェクトデータを表示する機能がある。このとき、タッチパネル１０２は、表示制御部１１２からオブジェクトデータと共に入力されるオブジェクトの位置情報に基づいてオブジェクトデータを表示する。一方、タッチパネル１０２のセンサ機能に関しては、上記の通り、操作体１０の接触部分を「面」領域として認識する機構が搭載されている。

図４に示すように、タッチパネル１０２には、光学センサ１０６と、リード回路１０８とが含まれる。光学センサ１０６は、タッチパネル１０２の外部から入射する光の強度を検知するものである。また、リード回路１０８は、光学センサ１０６により検知された光の強度を読み出して操作体１０の陰影を検知するものである。例えば、タッチパネル１０２に操作体１０が接触すると、操作体１０の陰影がタッチパネル１０２に投影される。投影された操作体１０の陰影は、光学センサ１０６により検知される。光学センサ１０６により検知された陰影は、リード回路１０８により読み出される。リード回路１０８で読み出される情報には、陰影の位置や形状等（以下、陰影データ）が含まれる。このような陰影データは、リード回路１０８から面領域検出部１１０に入力される。

（面領域検出部１１０）
面領域検出部１１０は、タッチパネル１０２のリード回路１０８から入力された陰影データに基づいて操作体１０に対応する面領域を検出する。例えば、操作体１０がタッチパネル１０２に接触した場合、操作体１０とタッチパネル１０２とが直接接触している部分と、所定距離以下に近接している部分とが陰影として検出され、その陰影データが面領域検出部１１０に入力される。陰影データには、操作体１０の陰影により外光輝度が所定値よりも低い座標の集合が含まれている。そこで、面領域検出部１１０は、陰影データを参照し、連続した座標の塊を検出する。但し、座標間の連続性については、座標間の距離が所定距離以下の場合に、それらの座標が連続していると判定されてもよい。面領域検出部１１０により検出された座標の塊は、操作体１０に対応する面領域として認識される。この面領域の情報は、面領域検出部１１０から表示制御部１１２、及び接触オブジェクト検知部１１６に入力される。

（表示制御部１１２）
表示制御部１１２は、タッチパネル１０２に表示される内容を制御する制御手段である。例えば、表示制御部１１２は、後述する記憶部１１４に記録されたオブジェクトデータを読み出してタッチパネル１０２に表示させる。このとき、表示制御部１１２は、タッチパネル１０２に対してオブジェクトの表示位置を指定し、その表示位置にオブジェクトデータを表示させる。そのため、表示制御部１１２には、タッチパネル１０２に表示されるオブジェクトの表示位置を示す情報が保持されている。オブジェクトの表示位置を示す情報は、表示制御部１１２から接触オブジェクト検知部１１６に入力される。

表示制御部１１２には、面領域検出部１１０から面領域の情報が入力される。例えば、タッチパネル１０２に接触している操作体１０が移動すると、表示制御部１１２には、面領域検出部１１０からはリアルタイムに面領域の情報が入力される。また、後述するオブジェクト選択部１１８から選択状態にあるオブジェクトの情報が入力される。例えば、選択状態にあるオブジェクトが存在する場合、表示制御部１１２は、面領域の情報が更新される度に、タッチパネル１０２に対して選択状態にあるオブジェクトの表示位置を更新させる。その結果、選択状態にあるオブジェクトが操作体１０に追従して移動するように、タッチパネル１０２上で表示される。

（記憶部１１４）
記憶部１１４には、タッチパネル１０２に表示されるオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース（以下、ＧＵＩ）を構成する任意のパーツ類が含まれる。また、記憶部１１４には、個々のオブジェクトデータに対し、属性情報が対応付けて格納されている。属性情報としては、例えば、オブジェクトデータ又は実体データの作成日時、更新日時、作成者名、更新者名、実体データの種別、実体データのサイズ、重要度、優先度等がある。

また、記憶部１１４には、オブジェクトデータに対応する実体データも相互に対応付けて格納されている。ここで言う実体データは、タッチパネル１０２に表示されたオブジェクトが操作された際に実行される所定の処理に対応するデータである。例えば、画像データに対応するオブジェクトデータには、その画像データが実体データとして対応付けられている。また、記憶部１１４には、その画像データを表示するための画像表示アプリケーションもオブジェクトデータ、画像データ、又は属性情報に対応付けて格納されている。

記憶部１１４に格納されているオブジェクトデータは、表示制御部１１２により読み出されてタッチパネル１０２に表示される。また、属性情報は、後述するオブジェクト選択部１１８により読み出されてオブジェクトを選択状態にする際に利用される。さらに、属性情報は、後述するオブジェクト整列部１２０により読み出されてオブジェクトの整列情報を生成する際に利用される。そして、記憶部１１４に格納された実体データは、後述するデータ処理部１２２により読み出されて所定のデータ処理に利用される。

（接触オブジェクト検知部１１６）
上記の通り、接触オブジェクト検知部１１６には、面領域検出部１１０から面領域の情報が入力される。さらに、接触オブジェクト検知部１１６には、表示制御部１１２からオブジェクトの表示位置を示す情報も入力される。そこで、接触オブジェクト検知部１１６は、面領域検出部１１０から入力された情報が示す面領域と、表示制御部１１２から入力されたオブジェクトの表示位置とを比較する。そして、接触オブジェクト検知部１１６は、その面領域に表示位置が含まれるオブジェクトを検知する。

接触オブジェクト検知部１１６により検知されたオブジェクトの情報（以下、オブジェクトＩＤ）は、オブジェクト選択部１１８に入力される。また、面領域に最初に接触したオブジェクト（以下、キーオブジェクト）の情報が接触オブジェクト検知部１１６からオブジェクト選択部１１８に通知される。なお、「最初」に接触したオブジェクトとは、例えば、操作体１０がタッチパネル１０２に接触してから離れるまでの間で、操作体１０に対応する面領域に１番目に当接したオブジェクトのことを言う。但し、所定の条件が課され、その条件の下で最初に接触したオブジェクトのことを言う場合もある。

（オブジェクト選択部１１８）
オブジェクト選択部１１８は、接触オブジェクト検知部１１６から入力されたオブジェクトＩＤ、及び記憶部１１４から読み出した属性情報に基づき、選択状態にするオブジェクトを決定する。まず、オブジェクト選択部１１８は、接触オブジェクト検知部１１６から入力されたオブジェクトＩＤにより特定されるオブジェクトデータに対応付けられた属性情報を記憶部１１４から読み出す。

接触オブジェクト検知部１１６からキーオブジェクトのオブジェクトＩＤが入力されている場合、オブジェクト選択部１１８は、キーオブジェクトの属性情報も記憶部１１４から読み出す。そして、オブジェクト選択部１１８は、キーオブジェクトの属性情報と同じ属性情報を有するオブジェクトを抽出し、それらのオブジェクトを選択状態にするオブジェクトに決定する。例えば、キーオブジェクトに対応する実体データが画像データである場合、オブジェクト選択部１１８により属性情報としてデータの種別が参照され、画像データに対応付けられたオブジェクトが選択状態にするオブジェクトに決定される。

一方、接触オブジェクト検知部１１６からキーオブジェクトのオブジェクトＩＤが入力されていない場合、オブジェクト選択部１１８は、接触オブジェクト検知部１１６から入力されたオブジェクトＩＤに対応する全てのオブジェクトを選択状態にするオブジェクトに決定する。この場合、オブジェクト選択部１１８は、記憶部１１４から属性情報を読み出さずに、選択状態にするオブジェクトを決定することができる。

選択状態にするオブジェクトのオブジェクトＩＤは、オブジェクト選択部１１８から表示制御部１１２に入力される。すると、表示制御部１１２に入力されたオブジェクトＩＤに対応するタッチパネル１０２上のオブジェクトが、表示制御部１１２により選択状態のオブジェクトデータに変更される。さらに、選択状態のオブジェクトを示すオブジェクトＩＤは、表示制御部１１２を介して後述するデータ処理部１２２にも入力され、実体データを処理する際にも参照される。また、選択状態のオブジェクトを示すオブジェクトＩＤは、オブジェクト選択部１１８からオブジェクト整列部１２０にも入力される。

（オブジェクト整列部１２０）
オブジェクト整列部１２０は、オブジェクト選択部１１８から入力されたオブジェクトＩＤに対応するオブジェクトの属性情報を記憶部１１４から読み出す。そして、オブジェクト整列部１２０は、記憶部１１４から読み出した属性情報に基づき、選択状態のオブジェクトを整列するための整列情報を生成する。例えば、オブジェクト整列部１２０により、属性情報に含まれる「実体データの作成日時」が参照され、その作成日時が新しい順にオブジェクトＩＤが記載された整列情報が生成される。なお、属性情報の表現方法については、この例に限定されず、属性情報にオブジェクトの整列順序が示されていればよい。

オブジェクト整列部１２０により生成された整列情報は、表示制御部１１２に入力される。表示制御部１１２に整列情報が入力されると、その整列情報に基づいてタッチパネル１０２上に表示された選択状態のオブジェクトが表示制御部１１２により整列される。例えば、操作体１０に対応する面領域の先端を始点として長手方向に沿って「実体データの作成日時」が新しい順に選択状態のオブジェクトが自動整列される。

（データ処理部１２２）
データ処理部１２２は、実体データを処理する手段である。上記の通り、データ処理部１２２には、表示制御部１１２を介してオブジェクト選択部１１８から選択状態にするオブジェクトのオブジェクトＩＤが入力されている。また、データ処理部１２２には、表示制御部１１２を介して面領域検出部１１０から面領域の情報が入力される。さらに、データ処理部１２２には、タッチパネル１０２に表示されているオブジェクトの表示位置を示す情報が表示制御部１１２から入力される。そして、データ処理部１２２は、記憶部１１４からオブジェクトデータ、属性情報、実体データ等を読み出すことができる。

そのため、データ処理部１２２は、タッチパネル１０２に表示されているオブジェクトの選択状態を認識することができる。また、データ処理部１２２は、操作体１０に対応する面領域の移動や変化を認識することができる。そのため、データ処理部１２２は、選択状態のオブジェクトに対して行われた操作を認識することができる。選択状態のオブジェクトに対して所定の操作が行われると、データ処理部１２２は、所定の操作が行われたオブジェクトに対応する実行データを読み出し、その実行データを用いて所定の処理を実行する。また、所定の処理が実行されたことによりオブジェクトの選択状態が変更された場合、データ処理部１２２は、変更後の選択状態を示す情報を記憶部１１４に記録する。

例えば、図１のように、音楽データに対応するオブジェクトが操作され、特定処理領域に移動した場合、データ処理部１２２は、その音楽データを記憶部１１４から読み出して再生する。このとき、データ処理部１２２は、音楽データを再生するための音楽再生アプリケーションを起動させ、記憶部１１４から読み出した音楽データを再生させる。また、Ｗｅｂアドレスに対応するオブジェクトが操作されて特定処理領域に移動した場合、データ処理部１２２は、Ｗｅｂブラウザを起動し、Ｗｅｂアドレスに対応するホームページ等を表示させる。さらに、画像データに対応する複数のオブジェクトが特定処理領域に移動された場合、データ処理部１２２は、画像表示アプリケーションを起動し、複数のオブジェクトに対応する複数の画像データを記憶部１１４から読み出して一度に表示させる。

以上説明したように、本実施形態に係る情報処理装置１００は、操作体１０の陰影に対応する面領域を検出し、その面領域を利用して複数のオブジェクトを一度に操作できるように構成されている。また、多量のオブジェクトを一度に操作したり、複数の小さなオブジェクトを操作したりする際の利便性を向上させるため、情報処理装置１００には、オブジェクトを選別したり、整列したりする機能が搭載されている。特に、本実施形態に係る選別機能や整列機能は、別途のキー操作や特殊な操作を必要とせず、オブジェクトの移動操作の中で実現される。そのため、ユーザは、選別や整列のために、操作体１０をタッチパネル１０２から離したり接触させたりを繰り返す必要がない。その結果、非常に利便性の高い操作体系が実現される。

［情報処理方法］
次に、図５〜図１２を参照しながら、本実施形態に係る情報処理方法について説明する。図５は、操作体１０に対応する面領域により一度に複数のオブジェクトが選択される様子を示した説明図である。図６は、操作体１０の移動により指定される面領域の一形態を示す説明図である。図７は、面領域が指定された場合に多数のオブジェクトが一度に選択される様子を示した説明図である。

図８は、操作体１０の移動に伴って複数のオブジェクトが移動される様子を示した説明図である。図９は、各オブジェクトの属性情報に基づいて選択されたオブジェクトが移動される様子を示した説明図である。図１０は、各オブジェクトの属性情報に基づいてオブジェクトが整列される様子を示した説明図である。図１１は、各オブジェクトの選択順序に基づいてオブジェクトが整列される様子を示した説明図である。図１２は、操作体１０の接触面積が変化した場合にオブジェクトが移動される様子を示した説明図である。

（複数オブジェクトの同時選択方法について）
まず、図５を参照する。既に述べた通り、本実施形態に係る情報処理装置１００においては、操作体１０の接触部分が面領域として認識される。図５に示すように、タッチパネル１０２に操作体１０が接触した際、接触部分にオブジェクトが存在すると、それらのオブジェクトが非選択状態から選択状態に遷移する。上記の通り、タッチパネル１０２は、操作体１０の接触部分を面領域Ｓ１として認識している。図５の例では、面領域Ｓ１に２つのオブジェクトが接触している。そのため、情報処理装置１００は、面領域Ｓ１に接触している２つのオブジェクトを選択状態に遷移させる。

図５に示すように、本実施形態においては、操作体１０の接触部分が面領域として認識されるため、１つの操作体１０により複数のオブジェクトを同時に選択することができる。図５の例では、操作体１０としてユーザの指が用いられているが、より幅の広い手等を用いると、より多くのオブジェクトを同時に選択することができる。例えば、タッチパネル１０２に表示された全てのオブジェクトを同時に選択することも可能になる。もちろん、複数の操作体１０を用いてオブジェクトを選択してもよい。その場合、個々の操作体１０で複数のオブジェクトを同時に選択することができる。

（操作体１０の移動操作について）
次に、図６を参照する。図５の例には、操作体１０を接触した段階で複数のオブジェクトが選択される構成例が示されていた。しかし、本実施形態においては、操作体１０を移動することにより、より多くのオブジェクトを一度に選択状態にすることができる。そこで、操作体１０の移動操作について説明する。図６に示すように、操作体１０が移動すると、情報処理装置１００は、タッチパネル１０２を介して検出された面領域の移動情報から接触領域の移動軌跡を認識することができる。なお、図６の例では、操作体１０の前面がタッチパネル１０２に接触しているものと仮定している。

タッチパネル１０２を介して検出される接触領域の移動軌跡は、所定周期で検出される面領域の集合として認識されている。所定周期が十分に短い時間であれば、ほぼ連続的な面領域の変化として認識される。但し、情報処理装置１００は、接触領域の移動軌跡を示す情報を保持しておく必要はない。例えば、情報処理装置１００は、面領域が検出された時点で、その面領域の情報に基づく所定の処理を実行し、処理が完了した後で面領域の情報を破棄する。従って、情報処理装置１００には、各時刻に対応する面領域の情報（移動軌跡の情報）が保持されていなくてもよい。

図６に示すように、本実施形態においては、操作体１０の接触部分を面領域として逐次認識しており、操作体１０が移動した場合に面領域の情報が逐次更新される。そのため、操作体１０の移動中における各瞬間において、操作体１０に対応する面領域の変化が認識され、その面領域の変化に応じてオブジェクトに対応する所定の処理が実行される。後述するように、操作体１０の接触部分に対応する面領域の面積や形状は逐次変化する。こうした面領域の変形等に応じてオブジェクトに対応する処理内容を変化させたりすることもできる。例えば、面領域が、ある所定の形状から他の所定の形状に変化した場合に、その形状変化に対応付けられた所定の処理が実行されるように構成されていてもよい。このような構成は、例えば、ジェスチャー入力機能に応用することができる。

（移動軌跡による複数オブジェクトの選択方法について）
次に、図７を参照する。図６に例示したように、操作体１０が移動すると、情報処理装置１００により、面領域の連続的な時間変化として移動軌跡が認識される。そこで、本実施形態においては、このようにして情報処理装置１００により認識される移動軌跡を用いて複数のオブジェクトを一度に選択する方法が提供される。例えば、図７に示すように、操作体１０がタッチパネル１０２に接触され、接触状態のまま移動した場合について考える。但し、操作体１０が移動する軌道上には、複数のオブジェクトが表示されている。

このような場合、タッチパネル１０２に表示されている複数のオブジェクトの中で、操作体１０の移動軌跡に含まれるオブジェクトが情報処理装置１００により選択状態に遷移される。上記の通り、情報処理装置１００は、逐次検出される面領域とオブジェクトの表示位置とを比較し、面領域に接触したオブジェクトを逐次的に選択状態に遷移させる。このようにしてオブジェクトを選択することにより、操作体１０が接触可能な面積に関わらず、多数のオブジェクトを一度に選択することが可能になる。この方法によると、ユーザは、多数のオブジェクトを選択する際に、タッチパネル１０２から操作体１０を離したり、再び接触させたりするような操作を行わずとも、多数のオブジェクトを選択できる。

なお、オブジェクトを選択状態に遷移させるタイミングについては、複数の変形が可能である。上記のように、面領域が検出される度に、その面領域に接触しているオブジェクトを検出し、逐次的に選択状態に遷移させる方法がある。また、操作体１０が移動を開始してから停止するまで、面領域に接触するオブジェクトを検出しておき、操作体１０が停止した段階で、検出された全てのオブジェクトを選択状態に遷移させる方法もある。さらには、操作体１０が移動を開始してから所定時間が経過した段階でオブジェクトを選択状態に遷移させる方法も考えられる。このように、オブジェクトを選択状態にするか否かの判定処理は実質的に同じであるが、オブジェクトを選択状態に遷移させるタイミングについては任意に設定することができる。

ここまでは、オブジェクトを「選択」する方法について説明した。しかし、上記の方法を「選択解除」に応用することもできる。例えば、選択状態のオブジェクトがタッチパネル１０２に表示され、これらのオブジェクトが移動軌跡に含まれる場合、情報処理装置１００は、オブジェクトを選択状態から非選択状態に遷移させる。このような構成にすることで、ユーザは、複数オブジェクトの「選択解除」を一度に実行することができるようになる。そのため、ユーザは、タッチパネル１０２に表示された全てのオブジェクトを手のひらで「選択」しておき、一部のオブジェクトを指で「選択解除」することができるようになる。その結果、タッチパネル１０２に表示されたオブジェクトの大部分を選択状態に遷移させたい場合において、その操作が非常に効率化される。

（複数オブジェクトの移動処理について）
次に、図８を参照する。図５〜図７の例では、主にオブジェクトの選択方法が説明されていた。図８の例では、選択された複数オブジェクトの移動処理について説明される。例えば、図８に示すように、操作体１０がタッチパネル１０２に接触されたまま移動され、情報処理装置１００により移動軌跡が検出されているものとする。図７の例では、情報処理装置１００により、移動軌跡に含まれるオブジェクトが非選択状態から選択状態に遷移された。図８の例では、選択状態に遷移されたオブジェクトが操作体１０に対応する面領域の移動に合わせて移動される。

操作体１０が移動した場合、情報処理装置１００は、まず、操作体１０に対応する面領域を逐次的に検出する。そして、情報処理装置１００は、逐次検出された面領域と、タッチパネル１０２に表示されているオブジェクトの表示位置とを照合する。このとき、面領域にオブジェクトの表示位置が含まれるならば、情報処理装置１００は、そのオブジェクトを非選択状態から選択状態に遷移させる。さらに、操作体１０が移動した場合、情報処理装置１００は、選択状態に遷移されたオブジェクトを面領域の移動に合わせて移動させる。例えば、情報処理装置１００は、選択状態に遷移させた時点における面領域とオブジェクトの表示位置との接点を基準とし、面領域の移動に合わせ、接点が移動するようにオブジェクトを移動させる。

このとき、接点の位置を面領域内の位置により表現しておくことで、オブジェクトが操作体１０に追従して移動する様子が表現される。但し、接点の位置として認識される基準は、面領域内で任意に設定される。例えば、面領域を形成する外縁の中で、進行方向に向いた縁部分にオブジェクトと面領域との接点が設定される。このような設定にすると、選択状態に遷移されたオブジェクトが操作体１０の進行方向に近い側面に集積され、オブジェクトが掻き集められている様子が表現される。

タッチパネル１０２を用いて行う操作は、実際にある机上の物体を移動させたり、掻き集めたりする操作に近いものである。しかし、タッチパネル１０２に表示されるオブジェクトは、ＧＵＩの一部であり、ユーザがオブジェクトの質感を直接感じることは難しい。そこで、オブジェクトの振る舞いを実在の物体における振る舞いに近づけることにより、ユーザの操作感を向上させる工夫が求められる。こうした理由から、本実施形態においては、移動中の操作体１０にオブジェクトが追従する際、オブジェクトが掻き集められるような振る舞いをするように工夫が凝らされているのである。

（属性に基づく選択的なオブジェクトの移動処理について）
次に、図９を参照する。図８の例では、操作体１０の移動軌跡に含まれる全てのオブジェクトが移動される構成について説明されていた。図９の例では、個々のオブジェクトに対応付けられた属性情報に基づいて選択状態に遷移されるオブジェクトを選別し、選択状態のオブジェクトだけを移動させる構成が説明される。以下の説明においては、説明の都合上、属性情報としてオブジェクトの種類が参照されるものとする。

図９に示すように、タッチパネル１０２に２種類のオブジェクト（オブジェクトＡ、オブジェクトＢ）が表示されているものとする。また、操作体１０の移動前において、全てのオブジェクトが非選択状態であるものとする。この状態において、まず、操作体１０がタッチパネル１０２に接触される。このとき、操作体１０に対応する面領域に非選択状態のオブジェクトＢが接触され、そのオブジェクトＢが接触状態に遷移されたものとする。

既に述べた通り、情報処理装置１００においては、例えば、最初に選択状態に遷移されたオブジェクトの属性情報（例えば、オブジェクトの種類）により、選択状態に遷移されるオブジェクトを選別することができる。上記の例においては、オブジェクトＢが最初に選択状態に遷移されているため、オブジェクトＢのみが選択状態に遷移される。図９に示すように、操作体１０の移動軌跡にオブジェクトＡ、オブジェクトＢが共に含まれていても、最初に選択状態に遷移されたオブジェクトの種類がオブジェクトＢであるから、オブジェクトＢだけが選択状態に遷移される。

一方、オブジェクトＡのオブジェクトは、非選択状態のまま維持される。そのため、オブジェクトＡのオブジェクトは、操作体１０の移動に関わらず移動されない。その結果、オブジェクトＢのオブジェクトのみが操作体１０により掻き集められる。このような構成によると、ユーザは、所望する種類のオブジェクトを最初に選択することで、所望する種類のオブジェクトだけを移動させることができる。このように、所望する種類のオブジェクトを選別する場合であっても、ユーザが行う基本的な操作は図８の例と同じである。従って、選択的にオブジェクトを操作する場合でも、ユーザの操作ステップが増加することはない。

（属性に基づくオブジェクトのソート処理について）
次に、図１０を参照する。図１０の例では、複数のオブジェクトが掻き集められた際に、個々のオブジェクトに対応付けられた属性情報に基づいてソート処理が実行される。図１０の例では、各オブジェクトに所定の順番を示す属性情報が対応付けられている。このような属性情報としては、例えば、各オブジェクトに対応する実行データの作成日時等が用いられる。ここでは、図１０に示すように、各オブジェクトに属性情報として優先度（１、…、９）が設定されているものとしよう。

図１０の例では、操作体１０の移動過程で、優先度（６、１、３、７、４、５）の順に５つのオブジェクトが接触する。その過程において、優先度の大きさに従い、オブジェクトが整列される。例えば、２つのオブジェクト（優先度６、優先度１）が操作体１０に接触した時点においては、優先度１のオブジェクト、優先度６のオブジェクトの順で整列される。同様に、３つのオブジェクト（優先度６、優先度１、優先度３）が操作体１０に接触した時点においては、優先度１のオブジェクト、優先度３のオブジェクト、優先度６オブジェクトの順で整列される。

このように、操作体１０の移動過程において、個々のオブジェクトが選択状態に遷移され、その都度、優先度に応じて整列される。５つのオブジェクトが掻き集められた段階においては、優先度１、優先度４、優先度５、優先度６、優先度７の順にオブジェクトが整列される（図１０を参照）。このような構成にすることで、ユーザは、オブジェクトを掻き集める順序を気にしたり、或いは、掻き集めた後で整列する操作を行ったりする必要がなくなる。また、図１０に例示した操作は、図８の例におけるユーザの操作と基本的に同じである。従って、属性情報に基づいてオブジェクトを整列させる場合でも、ユーザの操作ステップが増加することはない。

（選択順序に基づくオブジェクトのソート処理について）
次に、図１１を参照する。図１１の例では、複数のオブジェクトが掻き集められた際に、個々のオブジェクトが選択された順序に基づいてソート処理が実行される。図１１には、画面上に表示された複数のオブジェクト（Ａ〜Ｈ）のうち、一部のオブジェクトが順番に選択される様子が示されている。図中に示したＴ１〜Ｔ４は、時間の前後関係を示すものであり、Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４の関係を有する。また、図中には、各時点（Ｔ１、Ｔ２、Ｔ３、Ｔ４）における選択順序が示されている。

図１１に示すように、画面上に表示された複数のオブジェクトから一部のオブジェクトを選択的に掻き集めるような場合、掻き集めたオブジェクトを所定の順序にソートしたいことがある。例えば、掻き集めたオブジェクトの並び順に意味があり、掻き集め後の処理がオブジェクトの並び順に応じて異なるような場合に、オブジェクトを所定の順序にソートすることが求められる。図１０に示した例のように属性に応じてオブジェクトをソートする方法もあるが、属性とは無関係にソートしたい場合や、特定の属性を有するオブジェクトのソートを行いたい場合もある。

一例として、音楽再生アプリケーションを用いて、所定の順序で音楽を再生する場合について考えてみる。この場合、ユーザは、画面上に表示された音楽アルバムのオブジェクトを所定の順序で選択して特定処理領域に移動させる。上記の通り、本実施形態に係る技術を用いれば、複数のオブジェクトを一度に特定表示領域に移動させることができる。そこで、オブジェクトの並び順と同じ順序で音楽アルバムが再生されるように音楽再生アプリケーションを構成する。このような構成を採用する場合、掻き集められたオブジェクトの並び順に再生順序という意味が生まれてくる。

上記の例のように、オブジェクトの並び順に意味が生まれてくると、ユーザは、オブジェクトの並び順を所望する並び順に効率良くソートしたいと考えるであろう。例えば、音楽や映像等の再生アプリケーションにおいては、上記の例と同様に所望する再生順序になるよう、掻き集め動作の中でオブジェクトの並び順をソートしたいと考えるであろう。逆に、並び順のソートが容易にできるようになれば、オブジェクトの並び順に応じて所定のアプリケーションが起動するようなユーザインターフェースも実用的な操作手段として考えられるようになるかもしれない。

そこで、本実施形態においては、図１１に示すように、掻き集め動作の過程で自動的にオブジェクトの並び順がソートされるように制御する方法が提案される。なお、図１１に示す制御方法は、主に、情報処理装置１００のオブジェクト整列部１２０の機能により実現される。以下、図１１に示した例に沿ってオブジェクトの並び順をソートする方法について具体的に説明する。

図１１には、ｔ＝Ｔ１の時点で操作体１０によりオブジェクトＨが選択される様子が示されている。このとき、オブジェクト整列部１２０は、オブジェクトＨを第１番目に選択されたオブジェクトであると認識する。また、図１１には、操作体１０がオブジェクトＨを把持しながら移動し、ｔ＝Ｔ２の時点においてオブジェクトＥを選択状態にする様子が示されている。

このとき、本来ならば、オブジェクトＨよりも操作体１０の先端に近い位置で接触したオブジェクトＥがオブジェクトＨよりも操作体１０の先端近くに位置するはずである。しかし、本実施形態においては、ｔ＝Ｔ２の時点でオブジェクトＥが第２番目に選択されたオブジェクトであると認識され、オブジェクト整列部１２０により選択された順序でオブジェクトがソートされる。そのため、操作体１０の先端側からオブジェクトＨ、Ｅの順で並ぶように配置される。

さらに、図１１には、操作体１０がオブジェクトＨ、Ｅを把持しながら移動し、ｔ＝Ｔ３の時点においてオブジェクトＣを選択する様子が示されている。この場合についても、ｔ＝Ｔ２時点の処理と同様に、ｔ＝Ｔ３の時点でオブジェクトＣが第３番目に選択されたオブジェクトであると認識され、オブジェクト整列部１２０により選択された順序でオブジェクトがソートされる。そのため、操作体１０の先端側からオブジェクトＨ、Ｅ、Ｃの順で並ぶように配置される。

さらに、ｔ＝Ｔ４の時点でオブジェクトＢが選択されると、オブジェクトＢが第４番目に選択されたオブジェクトであると認識され、オブジェクト整列部１２０により選択された順序でオブジェクトがソートされる。そのため、操作体１０の先端側からオブジェクトＨ、Ｅ、Ｃ、Ｂの順で並ぶように配置される。この状態でオブジェクトＨ、Ｅ、Ｃ、Ｂが特定処理領域に移動されることで、オブジェクトＨ、Ｅ、Ｃ、Ｂの並び順に対応する処理が実行される。例えば、音楽アルバムＨ→Ｅ→Ｃ→Ｂの順序で音楽の再生処理が実行される。

以上説明したように、選択順序に基づいてオブジェクトの並び順をソートすることにより、一連の選択操作の中でユーザが所望するオブジェクトの並び順が実現される。なお、上記の方法を用いる際、操作ステップが増加しておらず、一連の選択操作の中でソート処理が実現される。その結果、オブジェクトの並び順に応じて異なる処理が実行されるような処理系において、本実施形態の方法を適用することにより、非常に効率的な操作体系を実現させることができる。

つまり、本実施形態の方法を用いると、「選択／非選択」という操作情報に加え、「並び順」という新たな操作情報を一連の操作ステップの中で入力できるようになるのである。このように、操作ステップを増加させずに、入力可能な操作情報の種類が増えることで、操作体系を複雑化させずに一連の操作で実行できる処理の種類を増加させることができる。その結果、ユーザの利便性が向上すると共に、入力インターフェースとしてのタッチパネル１０２の魅力を増大させることができる。

（面領域の変化に伴うオブジェクトの移動について）
次に、図１２を参照する。図１２には、操作体１０が移動する様子（Ａ）と、面領域が変化する様子（Ｂ）と、面領域の移動に伴って移動するオブジェクトの様子（Ｃ）とが描画されている。図６〜図１０に示した例においては面領域の形状があまり変化しておらず、面領域の形状変化に伴うオブジェクトの移動については言及していなかった。しかし、実際には、タッチパネル１０２に接触する操作体１０の押圧度合い等に応じて面領域の形状が大きく変化する場合がある。

例えば、図１２の（Ａ）に示すように、時間経過に伴って画面右側から画面左側に操作体１０がスライドする場合について考える。図１２の（Ａ）には、時刻ｔ＝ｔ０、時刻ｔ＝ｔ０＋ｄｔ１（ｄｔ１＞０）、時刻ｔ＝ｔ０＋ｄｔ２（ｄｔ２＞ｄｔ１）における操作体１０の位置が示されている。このとき、操作体１０の接触部分に対応する面領域は、例えば、図１２の（Ｂ）に示すように形状が変化する。この例においては、時間経過に伴って面領域が縮小されている。時刻ｔ＝ｔ０の時点では、面領域の長手方向の長さがＬ１である。時刻ｔ＝ｔ０＋ｄｔ１の時点では、面領域の長手方向の長さがＬ２（＜Ｌ１）に減少している。さらに、時刻ｔ＝ｔ０＋ｄｔ２の時点では、面領域の長手方向の長さがＬ３（＜Ｌ２）に縮小している。また、面領域の位置が変化する場合もある。

このように面領域が縮小されると、オブジェクトが接触する面領域の幅も縮小してしまう。仮に、時刻ｔ＝ｔ０の時点で、面領域の外縁に、長手方向に沿って満遍なくオブジェクトが接触していた場合、時刻ｔ＝ｔ０＋ｄｔ１、又は時刻ｔ＝ｔ０＋ｄｔ２の時点において、オブジェクトが面領域から離れてしまうことがある。また、操作体１０がタッチパネル１０２に接触していない部分の移動に追従してオブジェクトが移動するのは、ユーザに違和感を与えてしまう。そこで、本実施形態においては、面領域に接触することで選択状態に遷移されたオブジェクトが常に面領域に接触した状態になるように、操作体１０の移動中にオブジェクトの位置を移動させる。

例えば、図１２の（Ｃ）に示すように、時刻ｔ＝ｔ０の時点において５個のオブジェクトが満遍なく面領域に接触しているものとしよう。仮に、この状態のまま面領域が縮小されると、一部のオブジェクトが面領域から離れてしまう。そこで、図１２の（Ｃ）に示すように、時刻ｔ＝ｔ＋ｄｔ１、又は時刻ｔ＝ｔ＋ｄｔ２において縮小された状態の面領域に５個のオブジェクトが接触した状態になるようにオブジェクトの位置が調整される。例えば、５個のオブジェクトが面領域の中心に寄せて配置され、全てのオブジェクトが少なくとも面領域の外縁に接触した状態になるように移動される。

逆に、図１２の（Ｃ）において時刻ｔ＝ｔ＋ｄｔ２に対応する状態から、時刻ｔ＝ｔ０に対応する状態に面領域の形状が変化した場合には、面領域が拡大することになる。面領域が拡大した場合、拡大前の面領域に接触していたオブジェクトは、拡大後も面領域に接触した状態のまま維持される。そのため、面領域が縮小した場合のように、面領域からオブジェクトが離れてしまう心配はない。しかし、面領域が縮小した場合にオブジェクトが移動されるのに対し、面領域が拡大した場合にはオブジェクトが移動されないのはバランスが悪い。通常、ユーザは、対称的な操作に対して操作結果の対称性を予測する。つまり、面領域の拡大／縮小という対称的な「操作」に対し、一方でオブジェクトが移動し、他方でオブジェクトが移動しないという現象に違和感を感じるのである。

このような観点から、本実施形態においては、面領域が拡大した場合に、オブジェクトが拡大した面領域の外縁に沿って満遍なく広がるように構成されていてもよい。このような構成にすることで、ユーザは、面領域の拡大／縮小という「操作」を行うことにより、複数オブジェクトの位置を集約させたり、拡散させたりすることができるようになる。このような集約及び拡散という操作が実現されることで、次のような利便性が生まれる。

まず、「集約」について例を挙げて説明する。例えば、写真データを表示させたい場合、写真データに対応するオブジェクト（アイコン等）を写真表示アプリケーションに対応するオブジェクト（ショートカットのアイコン等）にドラッグする操作が行われる。本実施形態の構成により実現される操作体系を用いれば、複数のオブジェクトを同時に移動させることができるため、複数の写真データを選択状態にしてドラッグさせることができる。しかし、複数のオブジェクトがドラッグされる写真表示アプリケーションのオブジェクトは１個である。そのため、その１個のオブジェクトが表示された領域に対して写真データに対応する全てのオブジェクトをドラッグする必要がある。

この場合、写真データに対応する複数のオブジェクトが小さな領域に集約されていれば、それらのオブジェクトを容易に写真表示アプリケーションのオブジェクトにドラッグすることができる。特に、ユーザが操作体１０の先端に面領域を移動させつつ、面領域の大きさを縮小させることで、写真表示アプリケーションのオブジェクトに操作体１０の先端を移動させるだけで、写真データのオブジェクトを全てドラッグさせることができる。つまり、本実施形態に係る操作体系を用いると、複数オブジェクトを掻き集める際に、掻き集め操作の中で複数オブジェクトの集約処理までもが実行できるようになる。その結果、ドラッグアンドドロップによる直感的な操作が多く用いられるタッチパネル１０２を用いた操作体系の利便性を飛躍的に向上させることができるようになる。

次に、「拡散」について例を挙げて説明する。上記の通り、本実施形態の構成を適用すると、操作体１０の接触状態を変化させることで面領域の形状を変化させ、例えば、複数のオブジェクトを１点に集約させることができる。しかし、小さな面領域に集約された複数オブジェクトから一部のオブジェクトを選別することは非常に難しい。また、掻き集めた段階で複数のオブジェクトが重なってしまったりすると、あるオブジェクトの下に隠れたオブジェクトを選択することは難しい。このような場合に、操作体１０の接触状態を変化させて面領域を拡大し、集約したり、重なってしまったりしたオブジェクトを面領域に沿って拡散させることができれば、所望のオブジェクトを容易に選択できるようになる。

上記のように、ある時点で面領域に接触することで選択状態に遷移されたオブジェクトは、面領域の形状が変化した場合においても、その面領域に接触した状態になるように移動される。このような構成にすることで、ユーザは、操作体１０の押圧加減を調整したり、操作体１０の一部をタッチパネル１０２から浮かすことで、選択状態にあるオブジェクトの位置を集約させたり、広げたりすることができるようになる。また、複数オブジェクトを集約させたり、拡散させたりする際に、オブジェクトの間隔が均等になるように構成されていてもよい。また、一旦集約してから拡散した場合に、面領域の外縁に沿って均等にオブジェクトが配置されるように構成されていてもよい。このような構成にすることで、オブジェクトの選別操作がより容易になる。

［ハードウェア構成（情報処理装置１００）］
上記装置が有する各構成要素の機能は、例えば、図１３に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図１３は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機、又は各種の情報家電等の形態がこれに含まれる。

図１３に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。

入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。

出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、コンパクトフラッシュ（登録商標）（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。

接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。

［まとめ］
最後に、本実施形態の情報処理装置が有する機能構成と、当該機能構成により得られる作用効果について簡単に纏める。

まず、本実施形態に係る情報処理装置の機能構成は次のように表現することができる。当該情報処理装置は、表示パネルと、面領域検出部と、接触オブジェクト検知部と、オブジェクト選択部とを有する。なお、上記のタッチパネル１０２は、表示パネルの一例である。

上記の表示パネルは、複数のオブジェクトが表示されるものである。また、上記の面領域検出部は、前記表示パネル上に位置する操作体を検知し、当該操作体に対応する前記表示パネル上の面領域を検出するものである。このように、上記の情報処理装置においては、操作体の位置が１点の座標ではなく面領域として認識される。さらに、上記の接触オブジェクト検知部は、前記面領域検出部により検出された面領域に接触した一又は複数の前記オブジェクトを検知するものである。

このように、操作体の接触部分（又は近接部分）が面領域として認識されるため、複数のオブジェクトが接触した場合でも、それらのオブジェクトを検知することができる。そして、上記のオブジェクト選択部は、前記接触オブジェクト検知部により検知されたオブジェクトの一部又は全部を選択状態にするものである。上記の通り、面領域に対する複数オブジェクトの接触状態を検知することができるため、それらのオブジェクトを全て又は選択的に選択状態にすることができる。

また、上記の情報処理装置は、前記操作体が移動した場合に、当該操作体に対応する面領域の移動に合わせて前記オブジェクト選択部により選択状態にされたオブジェクトを移動させるオブジェクト移動部をさらに有していてもよい。なお、上記の表示制御部１１２は、オブジェクト移動部の一例である。このように、操作体に追従するようにオブジェクトが移動されることで、ユーザは、複数のオブジェクトを掻き集めることができる。このような動作は、複数のオブジェクトを所定の領域に移動させる場合に非常に有用である。特に、小さな領域に多数のオブジェクトを移動させる場合において、非常に利便性の高い操作体系を提供することができる。

また、前記接触オブジェクト検知部は、前記操作体の移動中に前記面領域に接触した前記オブジェクトを検知するように構成されていてもよい。この場合、前記オブジェクト選択部は、前記操作体の移動中に前記接触オブジェクト検知部により検知されたオブジェクトを選択状態にする。このように、操作体を移動させながら、逐次、オブジェクトが選択状態に遷移されることで、非選択状態のオブジェクトを選択状態に遷移させながら、それらのオブジェクトを掻き集めることができるようになる。

また、前記オブジェクト選択部は、前記接触オブジェクト検知部により検知されたオブジェクトの中で、前記接触オブジェクト検知部により最初に検知されたオブジェクトと同じ属性を有するオブジェクトだけを選択状態にするように構成されていてもよい。このように、選択状態にするオブジェクトの選別条件を「最初に」検知されたオブジェクトの属性に設定することで、ユーザが特別な設定操作を行わずとも、一連の掻き集め操作の中でオブジェクトを選択することができるようになる。

また、上記の情報処理装置は、前記オブジェクトに所定の順序を示す属性が付与されている場合に、前記オブジェクト選択部により選択されたオブジェクトを前記属性が示す順序に従って整列させるオブジェクト整列部をさらに有していてもよい。さらに、新たにオブジェクトが選択状態に遷移される度に、複数オブジェクトの順序が更新され、整列し直されるように構成されていてもよい。このような構成にすることにより、ユーザは、複数のオブジェクトを掻き集めた後で、それらのオブジェクトを整列し直す必要がなくなる。

また、掻き集められたオブジェクトが所定の属性に従って整列されているため、所望のオブジェクトを容易に識別することができるようになる。例えば、多数のオブジェクトの中から所定種類の少数オブジェクトのみを非選択状態にしたい場合、多数のオブジェクトを掻き集めて選択状態にしておき、所定種類の少数オブジェクトのみを容易に非選択状態に変更できるようになる。

また、前記面領域検出部は、前記操作体に対応する面領域の大きさが所定値よりも小さい場合、当該面領域を１点の座標により表現するように構成されていてもよい。上記の通り、面領域による操作体系は非常に有用であるが、１点の座標を指定して操作したい場合もある。こうした場合において、上記のように構成することで、ユーザは、操作体の接触度合い（又は近接度合い）を調整し、面領域を所定値よりも小さく絞ることで、１点の座標を指定して操作することができるようになる。このような構成により、１点の座標を用いて操作するアプリケーション等にも互換性を与えることができる。

また、前記面領域検出部は、前記表示パネル上に位置する複数の操作体を検知して当該複数の操作体に対応する一又は複数の面領域を検出するように構成されていてもよい。このような構成にすることで、複数の操作体に対応する面領域を用いた操作体系の構築が可能になる。また、複数の操作体に対応する面領域が連続している場合、その連続した面領域を１つの面領域として扱うこともできる。この場合においても個々の操作体に対して複数のオブジェクトが操作できるため、上記と同様に利便性の高い操作体系が実現される。

また、前記オブジェクト移動部は、前記操作体の移動中に前記面領域の形状が変化した場合、当該変化後の面領域に前記オブジェクトの接触状態が維持されるように当該オブジェクトを移動させるように構成されていてもよい。このような構成にすることで、面領域の大きさや形状が変化し、当初接触していたオブジェクトが面領域から離れてしまうのを防止することができる。また、面領域の大きさや形状をユーザが「操作」することにより、複数オブジェクトの位置を集約させたり、拡散させたりすることが可能になる。

また、上記の情報処理装置は、前記オブジェクト選択部により選択された順序に従って当該オブジェクト選択部により選択されたオブジェクトを整列させるオブジェクト整列部をさらに備えていてもよい。このように、選択順序に従ってオブジェクトが整列されることにより、一連の選択操作の中でオブジェクトを所望の並び順に整列させることができるようになる。その結果、オブジェクトの並び順に応じて異なる処理が実行されるようなアプリケーションを利用する場合に、ユーザの操作性を大きく向上させることができるようになる。さらに、オブジェクトの「並び順」という追加的な操作情報が容易に入力できるようになるため、「並び順」を積極的に利用して多様な処理を実現するアプリケーションがユーザに受け入れられやすくなる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の一実施形態に係る情報処理装置の外観を示す説明図である。 本発明の一実施形態に係る情報処理装置の外観を示す説明図である。 情報処理方法の一例を示す説明図である。 本発明の一実施形態に係る情報処理装置の機能構成例を示す説明図である。 本発明の一実施形態に係る情報処理方法の一例を示す説明図である。 本発明の一実施形態に係る情報処理方法の一例を示す説明図である。 本発明の一実施形態に係る情報処理方法の一例を示す説明図である。 本発明の一実施形態に係る情報処理方法の一例を示す説明図である。 本発明の一実施形態に係る情報処理方法の一例を示す説明図である。 本発明の一実施形態に係る情報処理方法の一例を示す説明図である。 本発明の一実施形態に係る情報処理方法の一例を示す説明図である。 本発明の一実施形態に係る情報処理方法の一例を示す説明図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成例を示す説明図である。

符号の説明

１０ 操作体
１００ 情報処理装置
１０２ タッチパネル
１０４ 演算処理装置
１０６ 光学センサ
１０８ リード回路
１１０ 面領域検出部
１１２ 表示制御部
１１４ 記憶部
１１６ 接触オブジェクト検知部
１１８ オブジェクト選択部
１２０ オブジェクト整列部
１２２ データ処理部

Claims (10)

1. 複数のオブジェクトが表示される表示パネルと、
   前記表示パネル上に位置する操作体を検知し、当該操作体に対応する前記表示パネル上の面領域を検出する面領域検出部と、
   前記面領域検出部により検出された面領域に接触した一又は複数の前記オブジェクトを検知する接触オブジェクト検知部と、
   前記接触オブジェクト検知部により検知されたオブジェクトの一部又は全部を選択状態にするオブジェクト選択部と、
   を備える、情報処理装置。
2. 前記操作体が移動した場合に、当該操作体に対応する面領域の移動に合わせて前記オブジェクト選択部により選択状態にされたオブジェクトを移動させるオブジェクト移動部をさらに備える、請求項１に記載の情報処理装置。
3. 前記接触オブジェクト検知部は、前記操作体の移動中に前記面領域に接触した前記オブジェクトを検知し、
   前記オブジェクト選択部は、前記操作体の移動中に前記接触オブジェクト検知部により検知されたオブジェクトを選択状態にする、請求項２に記載の情報処理装置。
4. 前記オブジェクト選択部は、前記接触オブジェクト検知部により検知されたオブジェクトの中で、前記接触オブジェクト検知部により最初に検知されたオブジェクトと同じ属性を有するオブジェクトだけを選択状態にする、請求項３に記載の情報処理装置。
5. 前記オブジェクトに所定の順序を示す属性が付与されている場合に、前記オブジェクト選択部により選択されたオブジェクトを前記属性が示す順序に従って整列させるオブジェクト整列部をさらに備える、請求項３に記載の情報処理装置。
6. 前記面領域検出部は、前記操作体に対応する面領域の大きさが所定値よりも小さい場合、当該面領域を１点の座標により表現する、請求項１に記載の情報処理装置。
7. 前記面領域検出部は、前記表示パネル上に位置する複数の操作体を検知して当該複数の操作体に対応する一又は複数の面領域を検出する、請求項２に記載の情報処理装置。
8. 前記オブジェクト移動部は、前記操作体の移動中に前記面領域の形状が変化した場合、当該変化後の面領域に前記オブジェクトの接触状態が維持されるように当該オブジェクトを移動させる、請求項２に記載の情報処理装置。
9. 前記オブジェクト選択部により選択された順序に従って当該オブジェクト選択部により選択されたオブジェクトを整列させるオブジェクト整列部をさらに備える、請求項３に記載の情報処理装置。
10. 複数のオブジェクトが表示パネルに表示されるステップと、
    前記表示パネル上に位置する操作体が検知され、当該操作体に対応する前記表示パネル上の面領域が検出される面領域検出ステップと、
    前記面領域検出ステップで検出された面領域に接触した一又は複数の前記オブジェクトが検知される接触オブジェクト検知ステップと、
    前記接触オブジェクト検知ステップで検知されたオブジェクトの一部又は全部が選択状態にされるオブジェクト選択ステップと、
    を含む、情報処理方法。

Images