JP2010039558A - 情報処理装置及びその制御方法 - Google Patents

Abstract

【課題】タッチパネル式ディスプレイの利用者が、簡易に、手の届かない範囲を含んだ領域をも指定できるようにする方法を提供する。
【解決手段】 マルチタッチパネルを制御する情報処理装置において、接触領域取得部は、マルチタッチパネルにおける接触領域を取得し、手側面判定部は、取得された接触領域が予め定められた形状を有するか否かを判定する。選択範囲決定部及び選択範囲配置部は、接触領域が所定の形状を有すると判定された場合に、接触領域の検出位置に基づいて選択範囲を配置し、配置された選択範囲をマルチタッチパネルに表示する。
【選択図】 図２

Description

本発明は、マルチタッチパネルを具備した情報処理装置及びその制御方法に関する。

近年、ゲーム機や音楽再生機等の携帯機器に搭載されている小型ディスプレイから、プレゼンテーションや会議・授業等で使われるような、比較的大型のディスプレイにおいてまで、タッチパネル機能を持つものが増えている。タッチパネルディスプレイは、表示されているオブジェクトに対する操作を、ユーザが直感的な指示により行うことが可能となるため、老若男女を問わず、様々な分野で普及が進んできている。タッチパネルディスプレイを利用した入力においては、オブジェクトの操作や選択等のために、対象となるオブジェクトを含んだ範囲を指定するようなタッチ入力が必要になる。

一般に、操作対象となるオブジェクトを選択する方法としては、
・指やペンによってオブジェクト内の一点をタッチすることで選択対象のオブジェクトを直に指定する、
・選択対象が複数ある場合などには、全体を囲うようにタッチ入力点を動かすことで選択対象のオブジェクトを指示する、
といった方法がある（特許文献１参照）。

また、近年では、多地点のタッチを同時に検知できるセンサを備えたタッチパネルも出現してきている（以下、マルチタッチパネル）。このようなマルチタッチパネルを有するディスプレイにおいては、両手で囲うような動作で範囲を指定するといったことが可能になってきている（非特許文献１参照）。
特開平１−１４２９６９公報 Tse, E.; Greenberg, S.; Shen,C.;Forlines, C., "Multimodal Multiplayer Tabletop Gaming",International Workshop on Pervasive Gaming Applications (Per Games), May 2006

しかし、これらの方法では、以下のような課題がある。
まず、手が届くところでしか、選択範囲の指定ができない。これは、大型のディスプレイを利用した会議や授業などで、大きな範囲を指定する必要がある場合などに、体の小さい人や、身体が不自由な人等にとって、特に大きな制約となる。

また、一度だけ範囲指定すれば済む場合は良いが、会議や授業で何度も範囲指定を繰り返すような場合、特に上記のような制約を受けやすい人ほど、体力的な影響も大きい。例えば、大きなディスプレイ上で、小さな子供が何度も大きな範囲を指定するような処理は大変な作業になる。

本発明は上記のような課題に鑑みてなされたものであり、タッチパネルの利用者が、簡易に、手の届かない範囲を含んだ領域をも指定できるようにする方法を提供することを目的とする。

上述した目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
マルチタッチパネルを制御する情報処理装置であって、
前記マルチタッチパネルにおける接触領域を取得する取得手段と、
前記取得手段によって取得された前記接触領域が予め定められた形状を有するか否かを判定する判定手段と、
前記判定手段によって前記接触領域が予め定められた形状を有すると判定された場合、前記接触領域の検出位置に基づいて選択範囲を配置する配置手段と、
前記配置手段で配置された前記選択範囲を前記マルチタッチパネルに表示する表示手段とを備える。

また、上記の目的を達成するための本発明の他の態様による情報処理装置の制御方法は、
マルチタッチパネルを制御する情報処理装置の制御方法であって、
前記マルチタッチパネルにおける接触領域を取得する取得工程と、
前記取得工程によって取得された前記接触領域が予め定められた形状を有するか否かを判定する判定工程と、
前記判定工程によって前記接触領域が予め定められた形状を有すると判定された場合、前記接触領域の検出位置に基づいて選択範囲を配置する配置工程と、
前記配置工程で配置された前記選択範囲を前記マルチタッチパネルに表示する表示工程とを有する。

本発明によれば、タッチパネルの利用者が、手の届かない範囲を含めた選択範囲を簡易に指定できるようになる。

以下、図面を参照して本発明の好適な実施形態を詳細に説明する。

＜第１実施形態＞
図１は、本実施形態による情報処理装置の構成例を示すブロック図である。

図１において、１０１は情報処理装置１００全体を制御するCentralProcessingUnit（ＣＰＵ）である。１０２は変更を必要としないプログラムやパラメータを格納するRead Only Memory（ＲＯＭ）である。１０３は外部記憶装置などから供給されるプログラムやデータを一時記憶するRandomAccessMemory（ＲＡＭ）である。１０４は情報処理装置１００に固定して設置されたハードディスクやメモリカードを含む外部記憶装置である。なお、外部記憶装置１０４としては、情報処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やCompactDisc（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。１０５はマルチタッチパネル１０８からのユーザの操作を受け、データを入力するデバイスとのインターフェイスである。１０６は情報処理装置１００の保持するデータや供給されたデータをマルチタッチパネル１０８のディスプレイ（表示パネル）に表示するためのインターフェイスである。１０７は１０１〜１０６の各ユニットを通信可能に接続するシステムバスである。入力デバイスインターフェイス１０５、出力デバイスインターフェイス１０６はいずれもマルチタッチパネル１０８と接続されている。

マルチタッチパネル１０８は、タッチ入力パネルと表示パネルを有する。タッチ入力パネル（接触面）上でのタッチ入力位置（接触点の座標）は入力デバイスインターフェイス１０５を介して情報処理装置１００に入力され、情報処理装置１００から表示パネルへの表示情報は出力デバイスインターフェイス１０６より出力される。

なお、本実施形態では、本発明内容を含む情報処理プログラムコードが外部記憶装置１０４に格納されており、ＣＰＵ１０１によって実行される。ユーザはマルチタッチパネル１０８を用いて操作し、やはりマルチタッチパネル１０８よりレスポンスを得る。情報処理プログラムコードは、ＲＯＭ１０２に格納されていてもよい。

なお、本実施形態に係るマルチタッチパネルは、接触面に含まれる複数の接触点を同時に感知可能とする。ただし、複数の接触点が同時に検出できればよく、その検出方法（センサ）については何の制約もない。さらには、接触点に相当する領域が取得できるのであれば、必ずしもユーザの接触を必要としなくても良い。例えば、光学式のセンサを利用して、画像として取得する場合等が該当する。なお、センサは一つに限定する必要もなく、例えば、人の肌の接触を感知するために静電容量方式のセンサを用い、指示された領域や人の手であることなどを判定するために光学式のセンサを利用するなど、複数のセンサを組み合わせて利用しても構わない。

図２は、本実施形態による情報処理装置の機能的な構成を説明するブロック図である。

図２において、２０１は、マルチタッチパネル１０８への手などの接触を感知して、該感知した領域を取得する接触領域取得部である。マルチタッチパネル上での感知イメージは図３の（ａ）、（ｂ）に示すようになる。この例では、手側面の領域を感知した様子が示されている。図３の（ａ）に示すように、接触点を感知する方式の場合は、接触した部位の全面がマルチタッチパネルに接触するため、ほぼ同時に、一定の密度でまとまった複数の接触点が感知される。接触領域取得部２０１は、マルチタッチパネル１０８により同時に検出された複数の接触位置が予め定められた密度以上の密度で存在する領域を接触領域として取得する。このように、ある一定の密度でまとまった接触点集合を一つの接触領域として判別することで、マルチタッチパネル上の複数箇所に同時に同様な部位の接触があった場合でも、両者の領域を区別して取得することが可能になる。また、図３の（ｂ）に示すように、光学式センサによる方式では、個々の手の連続した面の領域を画像として取得できるので、より精度の高い領域の取得が可能である。なお、上記では、マルチタッチパネルへの接触を前提とした例を述べたが、これに限られるものではなく、例えば光学式センサによる方式を利用する場合等は、非接触状態であっても、画像として利用者の操作指示領域を取得することが可能である。このような場合は、必ずしも手が接触することは必要ではない。

２０２は、接触領域取得部２０１で取得した領域が、手の側面の接触を感知して取得したものであるか否かを判定する手側面判定部である。取得した領域が手の側面であるか否かの判定は、簡単には、指やペンによる入力と切り分ければ良い場合が考えられるが、このような場合には、領域の面積の違いによって、推定する方法が考えられる。これは、指やペンを感知した場合の領域面積と、手の側面の領域面積との明らかな差を利用する方法である。

一方で、手の側面と区別しなければならない領域の種類が多い場合は、面積からだけでは簡単には推定できない。このような場合は、感知した領域のパタンマッチングによる推定方法が考えられる。パタンマッチングについて以下に説明する。

まず、あらかじめ、多くの人の手側面を感知した場合に取得した領域情報（領域に含まれる接触点の分布等）を学習データとした、学習済みのパタンを生成しておく。マルチタッチパネルへの入力が行われた場合は、感知した領域情報について、学習済みパタンの中に類似パタンが存在していれば手側面と判定し、類似パタンが存在していなかった場合は、手側面とみなさない。以上のような判定処理により、手側面を推定することができる。このとき、より精度を上げるために、実際にそのマルチタッチパネルを利用する利用者の手側面の領域情報を、あらかじめ学習パタンとして登録するようにしても良い。なお、領域の面積だけによる厳密な推定は困難なことは既に述べた通りだが、面積の情報を併用することで、パタンマッチングの判定処理をする対象を絞り込むようにすることは可能である。

さらに、図３の（ｂ）に示した光学式センサによる方式を利用可能な場合は、色や形状などを利用した認識処理を行ったり、接触点の情報と併用したりして、手側面の検出精度を上げるといったことも考えられる。

なお、上記は自動で手側面を判定する場合について述べたが、必ずしも自動で判定する必要もない。例えば、手側面による接触である旨を、マルチタッチパネル１０８などを介して明示的に指示するようにして、さらに精度を確保するようにしても構わない。

また、ここでは、手側面を判定する際、同時に手側面領域における手の平側と手の甲側の方向付けも行う。本実施形態で利用する手の形状は、手の平を軽く丸めた状態を想定しているため、感知した領域の形状から、該領域の手の平側がどちらかを推定することができる。

２０３は領域動作判定部であり、接触領域取得部２０１で取得した領域が、手側面判定部２０２で手側面であると判定された場合に、該領域の平行移動・回転移動、手の平の開閉動作といった動作を監視して、それら動作の実施有無の判定を行う。

２０４は選択範囲決定部であり、接触領域取得部２０１で取得した領域が、手側面判定部２０２で手側面であると判定された場合に、該領域の形状から、選択範囲の大きさを決定する。本実施形態においては、選択範囲は円状の範囲とする。領域の形状からの選択範囲の大きさを決定する方法としては、例えば図７のように、感知した手側面領域の両端の２つの点７０１と、中間の１つの点７０２を決定し、該３点から、それらを含む円を求める方法等が挙げられる。あるいは、手側面からは、図３の（ａ）のように接触点が複数感知されるので、該接触点の分布から近似円を求めて利用するようにしてもよい。

２０５は選択範囲配置部であり、選択範囲決定部２０４で決定した選択範囲を、マルチタッチパネル１０８上に接触している手側面領域の手の平側に配置する。
以上の２０１〜２０５の各機能部は、ＣＰＵ１０１がＲＯＭ１０２に格納されたプログラム或いは外部記憶装置１０４からＲＡＭ１０３にロードされたプログラムを実行することにより実現されるものである。

次に図４〜図６のフローチャートを用いて、本実施形態による情報処理装置の動作を説明する。

図４に示すフローチャートでは、手側面がマルチタッチパネルに置かれた際に、選択範囲を同パネル上に配置するまでの処理の手順を示す。
ステップＳ４０１において、接触領域取得部２０１は、マルチタッチパネル１０８の接触面への手などの接触を感知し、その接触領域を取得する。
ステップＳ４０２において、ステップＳ４０１で取得した接触領域が予め定められた形状を有するか否かを判定する。本実施形態では、上述したように、手側面判定部２０２が、ステップＳ４０１で取得した接触領域が手側面であるか否かを判定する。接触領域が所定の形状を有すると判定した場合（本実施形態では手側面であると判定した場合）は、ステップＳ４０３へ移行し、接触領域の検出位置に基づいて選択範囲が配置される。手側面と判定できない場合には、本処理を終了する。

ステップＳ４０３において、選択範囲決定部２０４は、接触領域の形状に基づいて選択範囲の大きさを決定する。本実施形態では、検出した手側面の領域の形から初期の選択範囲円の大きさが決定される。なお、本実施形態では、選択範囲決定部２０４により、接触領域の形状に基づいて動的に初期の選択範囲円の大きさを決定したが、これに限るものではなく、初期の選択範囲円の大きさはあらかじめ決めておいても良い。この場合、手側面の形状に応じて大きさを決められるというメリットは得られないが、一方でそのための計算コストを削減し、微調整は後述の図５のフローに示す処理によって行うというように構成することができる。なお、初期の選択範囲円の大きさを決めておく場合、該大きさはシステムで決まった値でも良いし、利用者が設定できるようにしてあっても良い。なお、予め決まった円を利用する場合は、ステップＳ４０３は飛ばして、ステップＳ４０２で手側面を認識した後、ステップＳ４０４へ処理を移行すれば良い。

ステップＳ４０４において、選択範囲配置部２０５は、ステップＳ４０３で決定した大きさの初期の選択範囲円を、マルチタッチパネル１０８上に配置する。本実施形態では、手側面の接触領域は湾曲形状を有しており、選択範囲配置部２０５は、この湾曲形状に基づいて選択範囲決定部２０４により決定された大きさの選択範囲円を、当該湾曲形状に沿うように配置する。すなわち、選択範囲配置部２０５は、マルチタッチパネル１０８上の手側面領域の、手の平側に沿うように選択範囲円を配置するようにする。選択範囲配置部２０５は、こうして配置した選択範囲を、マルチタッチパネル１０８に表示する。以上の処理を、図８の（ａ）、（ｂ）により、より具体的に説明する。マルチタッチパネル１０８上に手側面を載せると（図８の（ａ））、その手側面の接触領域に基づいて初期の選択範囲円の大きさが決定される（ステップＳ４０１〜Ｓ４０３）。該大きさの初期の選択範囲円は、手側面の手の平側に沿うように配される（図８の（ｂ）、ステップＳ４０４）。

図５は、図４に示した処理によって配置された選択範囲円を、手側面の動きに応じて、平行移動・回転移動・拡大・縮小を行う処理の手順を示すフローチャートである。なお、図５に示される処理は、図４に示した処理に継続するものであり、手側面が接触した状態であり、該手側面の領域に沿って選択範囲が配置された状態であるところから始まるものとする。

まず、ステップＳ５０１において、手側面判定部２０２は、手側面が接触している状態か否かを監視する。手側面領域が接触を維持している場合は、ステップＳ５０２に移行する。接触状態ではなくなった場合は、本処理は終了する。

ステップＳ５０２において、領域動作判定部２０３は、該領域に変動があるか否かを監視する。領域に変動があった場合は、ステップＳ５０３に移行する。変動がない場合は、ステップＳ５０１へ移行し、手側面領域の接触状態の監視を続ける。

ステップＳ５０３において、領域動作判定部２０３は、該変動の内容が、領域全体の移動を含むものであるか否かを判定する。領域全体の移動であった場合は、処理はステップＳ５０４へ移行し、以下に詳述するように、接触領域の移動に応じた選択範囲の移動が行われる。そうでない場合は、処理はステップＳ５０５へ移行する。領域全体の移動であるか否かは、領域の面積、形状がほぼ維持されたまま、別の座標へ移動したか否かで確認することができる。

ステップＳ５０４においては、領域全体の移動が発生しているので、選択範囲配置部２０５は、配置してある選択範囲を該領域の移動に合わせて、平行移動もしくは回転移動する。すなわち、図９の（ａ）、（ｂ）ように、手側面との配置関係を維持しながら、手側面の移動に合わせて、選択範囲を移動する。なお、図９の（ａ）、（ｂ）の例では、操作により選択範囲がマルチタッチパネルの境界を超えているが、この場合、マルチタッチパネル外の範囲指定は有効・無効のいずれかに決まっていれば良く、いずれでも構わない。

ステップＳ５０５，Ｓ５０６では、接触領域の形状の変化に応じて選択範囲の大きさが変更される。まず、ステップＳ５０５において、領域動作判定部２０３は、該変動の内容が、手側面を曲げ伸ばしする動作を含むものであるか否かを判定する。領域の変動が、手側面の曲げ伸ばしに相当する動作であった場合、処理はステップＳ５０６へ移行する。そうでない場合は、ステップＳ５０１へ移行し、監視を続ける。手側面を曲げ伸ばしする動作であるか否かは、例えば、感知した接触点から近似曲線を求め、該曲線の曲率などの変動を見ればよい。あるいは、光学的なセンサを備える場合等は、手の形状そのものを取得できるので、その形状から判定するなどしても構わない。

ステップＳ５０６において、選択範囲決定部２０４は、手側面の曲げ伸ばし動作に応じて、選択範囲の縮小、拡大を行う。以下、図１０を参照して、本実施形態の選択範囲縮小拡大について説明する。

図１０の（ｂ）に示すように、変動内容が、手側面の曲げ動作（１００６）であった場合は、選択範囲円と手側面との位置関係を維持したまま、選択範囲円の縮小を行う。選択範囲円の縮小は、例えば次のように行われる。まず、手側面領域の中心部のある点と選択範囲円の中心点とを結ぶ法線（１００５）上において、選択範囲円の中心点（１００４）を手の方向へ移動させる。そして、移動後の中心点から手側面領域の中心点の距離を半径とした選択範囲円を、移動後の中心点を中心として配置する。こうして、図１０の（ａ）の状態から図１０の（ｂ）の状態となり、選択範囲円の縮小が行われる。一方、図１０の（ｃ）に示すように、手側面の伸ばし動作（１００７）であった場合は、選択範囲円の中心点１００４を法線１００５上で、手から遠ざかる方向へ移動させ、選択範囲円の拡大を行う。

なお、縮小・拡大後の選択範囲円の大きさについては、図７で説明したような方法で再計算しても良いし、あるいは、該曲げ伸ばし動作の変動量や変動速度（ジェスチャの大きさや速さ）等から、拡大・縮小の量を決めても構わない。なお、手側面領域の中心部の点は、例えば、領域を通る選択範囲円の弧の中心部分（弧の両端の点から均等な距離にある、弧上の点）等を採用すれば良い。これは、例えば、図７の７０２のような点に相当する。

図６は、図４乃至図５に示す処理によってマルチタッチパネル上に配置した選択範囲を確定する処理手順の例を示すフローチャートである。図４乃至図５のフローチャートでは、選択範囲を配置し、それを移動したり拡大縮小したりして、選択範囲を決める前段階の処理を行ってきた。図６のフローチャートは、この選択範囲を確定する処理として位置付けられる。なお、図６のフローチャートは、図４乃至図５に示す処理を実施することによって、選択範囲が配置されている状態から始まるものとする。本実施形態では、接触領域取得部２０１が接触領域の消滅を検出した場合に、選択範囲配置部２０５で配置された選択範囲を確定する確定手段を更に備える。但し、選択範囲配置部２０５で選択範囲を配置してから所定時間継続して当該接触領域が存在していたことを条件とする。以下、詳細に説明する。

まず、ステップＳ６０１において、接触領域取得部２０１は、感知していた接触領域が無くなった、あるいは、手側面判定部２０２で手側面と判定できる領域が無くなったことを検知する。次に、ステップＳ６０２において、手側面領域が選択範囲配置後に継続してどれだけ接触していたかを取得する。手側面の接触開始時間は、手側面判定部２０２で手側面と判定された領域が検出された時点等を用いることができる。該開始時間を保持しておけば、ステップＳ６０１での検知時間から取得できる。

次にステップＳ６０３において、選択範囲配置部２０５は、該接触時間が一定時間以上であるか否かを判定し、一定時間を超えて接触していた場合は、ステップＳ６０４へ処理を移行し、選択範囲を確定する。そうでない場合は、ステップＳ６０５へ移行し、当該選択範囲を破棄する。

なお、選択範囲の確定処理は、上記に限定されるものではなく、範囲選択処理と区別可能な判断基準を含んだ処理であればどのような処理でも構わない。

例えば、一定時間以上、領域の変動を感知しなかった場合には、手側面の接触状態を維持したまま、確定処理を行っても構わない。あるいは、マルチタッチパネル上への明示的な確定処理を示す指示（例えば、マルチタッチパネル上に表示されたボタンへのタッチやジェスチャ等）を受け、選択範囲の確定を行っても良い。物理的なボタンを利用しても構わないことは言うまでもない。さらには、マイク等の音声入力デバイスと音声認識部を設けることで、「選択範囲確定」などの音声入力を受けて、選択範囲の確定を行うようにしても構わない。

以上のように、第１実施形態によれば、片手で選択範囲の移動や大きさの変更を行うことができるので、操作性が向上する。

＜第２実施形態＞
第１実施形態では、選択範囲を配置し、該範囲を確定するところまでの処理の手順を示した。しかし、本発明の適用範囲はこれに限定されるものではなく、例えば、確定した後の選択範囲に含まれるオブジェクトに対する平行移動・回転移動・拡大・縮小等の処理に適用することも可能である。ただし、第１実施形態において示した確定処理の方法によっては、既に手側面がマルチタッチパネルから離れている場合があり、この場合は、選択範囲と再度感知した手側面領域とを関連付ける処理が別途必要になる。手側面と確定済み選択範囲の関連付けは、確定済み選択範囲の外周付近への手側面領域を感知した場合（より、一般的に言えば、選択範囲から所定の距離内で所定の形状を検出した場合）に、手側面を該選択範囲と関連づける等の方法が挙げられる。なお、手側面をマルチタッチパネルから離さずに確定する方法を取った場合（例えば、物理的なボタンや音声入力を利用して確定する場合）は、この関連付けの手順は不要である。

それ以降は、図５に示すフローと同等の処理で、該範囲の平行移動、回転移動、拡大・縮小処理を行い、それに合わせて包含しているオブジェクトを移動・拡大・縮小する。このような選択範囲に合わせたオブジェクトの平行移動、回転移動、拡大縮小は、オブジェクトに対するアフィン変換として一括して扱うことができる。

第２実施形態の例は、図１１のようになる。ここでは、マルチタッチパネル１０８において図１１の（ａ）に示されるように選択範囲１１０１を確定した後、図１１の（ｂ）に示されるように該領域に含まれるオブジェクトを拡大する例を示している。マルチタッチパネル１０８上に置かれた手の側面により検出される円弧の中心角を大きくすることにより、１１０２で示されるようにオブジェクトが拡大され、逆に中心角を小さくすればオブジェクトが縮小される。これは、例えば、大型ディスプレイを使ったプレゼンテーションにおいて、オブジェクトを拡大操作して、視聴者に見やすく提示するといった場合に、適用可能である。

なお、これまで選択範囲の回転は、図９（ａ）、（ｂ）に示すやり方を提示していたが、オブジェクトの回転に関しては、さらに図１２のような回転操作を可能にすることで、オブジェクトを回転させるようにしてもよい。この処理は、図１２に示したように、選択範囲の外周に沿った手側面の移動を検知した際に、行うようにすれば良い。

なお、上記では、一つのオブジェクトを操作する場合について述べたが、選択範囲１１０１内のオブジェクトは単体であっても、複数であっても構わない。選択範囲１１０１にオブジェクトが複数ある場合は、それらをまとめて移動したり、拡大縮小を行なったりすれば良い。また、選択範囲１１０１に含まれるオブジェクトであるか否かの判定については、表示されたオブジェクトが選択範囲の中に一定割合以上含まれているか否かといった判定によって決定すれば良い。例えば表示されたオブジェクトの面積の７０％以上が選択範囲１１０１に含まれている場合は、当該選択範囲内であるとみなすといった方法等が考えられる。なお、オブジェクトが多数ある場合や、選択範囲内か否かの判定条件付近のオブジェクトがある場合等は、いずれが選択されているかが一見しては分かり難い。このため、選択されていることを示すように選択範囲内と判定されたオブジェクトを強調表示するなどしても良い。なお、強調表示の仕方としては上記の手法に限定されるものではなく、印をつけたり、枠をつけたり、色をつけたりといった種々の方法のいずれを用いても構わない。

以上のように、第２実施形態では、第１実施形態で説明した手順で選択範囲が確定した後に、当該選択範囲から予め定められた距離内に検出された所定形状の接触領域の変化に基づいて当該選択範囲に存在するオブジェクトの表示が変更される。オブジェクトの表示の変更としては、例えば、拡大、縮小、平行移動、回転等が挙げられる。このため、ユーザは、例えば、手の側面をマルチタッチパネルに接触させながら、その湾曲の状態を変更することでオブジェクトの操作を行うことができ、より直感的な操作を実現することができる。

＜第３実施形態＞
上記第１実施形態では、手の曲げ伸ばしによって、選択範囲の拡大縮小を行ったが、選択範囲の平行移動、回転移動時に、意図せず手の曲げ伸ばしを行ってしまうことが起こりうる。平行移動・回転移動中に、選択範囲が大きくなったり小さくなったりを繰り返すことは、選択範囲の確定を目指す上では避けることが望ましい。よって、平行移動・回転移動を行っている最中は、該操作を受け付けないようにし、拡大縮小をロックするようにしても良い。同様に、拡大縮小の操作中においては、微量な平行移動・回転移動については無視するようにしても良い。このように、選択範囲の移動中は、当該選択範囲の大きさの変更を禁止することにより、より操作性が向上する。

＜第４実施形態＞
上記第２実施形態では、選択範囲円を配置、確定し、該円の平行移動・回転移動・拡大縮小について述べた。このとき、該選択範囲円に対する変形操作を受け付けるようにしても構わない。例えば、図１３に示すように、片手で選択範囲の指定を行い、もう一方の手で、選択範囲円を変形したりしても構わない。以上のように、選択範囲配置部２０５は、配置した選択範囲から予め定められた距離内に、当該選択範囲を決定した接触領域に含まれない接触の入力を検出した場合に、接触領域の形状を前記接触の位置に基づいて変更する。

＜第５実施形態＞
上記第１実施形態の説明において、選択範囲円を配置する方法は既に述べたとおりであるが、初期の形状を、該選択範囲円に内接する別の図形に設定しておくことで、例えば図１４に示すように、円以外の選択範囲を扱うことができることは言うまでもない。なお、図９に示したような選択範囲円の回転移動にともなう内接図形の移動では、回転に付随して内接図形も回転することになる（図１５の（ａ））。内接図形の形状次第では、意図的に回転させることで効率的に選択対象のオブジェクトを範囲内におさめることができるようになり、この操作は有効である。一方で、平行移動を主とした選択範囲の移動や拡大縮小時などに、手側面が意図せずに回転してしまった場合に、選択範囲がその都度傾いたりすることが望ましくない場合も考えられる。そのような場合は、図１５の（ｂ）のように、選択範囲円の回転移動時の内接図形の回転をロックするようにしても良い。なお、回転時の振る舞いは、ここで説明した二通りのいずれか一方である必要は無い。上記のように、好適なケースに応じて自動で切り替えても良いし、適宜利用者からの入力操作に応じて切り替えるようにしても良い。

＜第６実施形態＞
上記各実施形態では、手の側面の形から初期の選択範囲円を配置する方法について述べたが、これに限定されるものではなく、手の形状に沿った形の選択範囲を配置するようにしても構わない。すなわち、判定された接触領域の形状にしたがって、選択範囲の形状を決定するようにしてもよい。例えば、手の側面を弧状に曲げた場合だけでなく、手の側面を直角状に曲げた領域を認識可能にし、手側面領域が弧状なら円状の選択範囲を配置し、直角状の場合は矩形状の選択範囲を配置するなどしても良い。

＜第７実施形態＞
上記各実施形態では、手の側面を初期選択範囲の配置に必要な領域としたが、選択範囲を決定できる形状を、マルチタッチパネルに感知させられれば良く、必ずしも手側面でなくても構わない。例えば指先を揃えて弧状に並べた状態を所定形状の接触領域として検出し、初期選択範囲を配置するようにしても構わない。さらには、例えば、マルチタッチパネルへの入力指示として、指で弧を描く動作が行なわれた場合に、該動作をジェスチャとして認識し、該ジェスチャを認識した際には、描かれた弧の領域をもとに、該弧に合わせて選択範囲を配置するようにしても構わない。なお、指で弧を描くことで確定した選択範囲のサイズの変更や範囲の移動には、例えば、第２実施形態で説明した構成を用いることができる。

＜第８実施形態＞

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

第１実施形態による情報処理装置の構成例を示すブロック図である。 第１実施形態による情報処理装置の機能構成を示すブロック図である。 第１実施形態の情報処理装置において、マルチタッチパネルでの片手側面を感知したセンサの検出状態のイメージを表した図である。 第１実施形態の情報処理装置における、初期の選択範囲円を配置する処理の手順を示すフローチャートである。 第１実施形態の情報処理装置における、選択範囲円の平行移動・回転移動・拡大縮小といった処理の手順を示すフローチャートである。 第１実施形態の情報処理装置における、選択範囲を確定する処理の手順を示すフローチャートである。 第１実施形態の情報処理装置における、感知した片手側面の領域から選択範囲円を求める例を示す図である。 第１実施形態の情報処理装置において、マルチタッチパネル上へ片手側面を置いた際に選択範囲円が配置される例を示す図である。 第１実施形態の情報処理装置における、選択範囲の平行移動・回転移動の例を示す図である。 第１実施形態の情報処理装置における、選択範囲の拡大・縮小を行う例を示す図である。 第２実施形態の情報処理装置における、確定した選択範囲内のオブジェクトを、選択範囲の拡大に合わせて、拡大処理する例を示す図である。 第２実施形態の情報処理装置における、確定した選択範囲内のオブジェクトを、選択範囲の回転に合わせて、回転処理する例を示す図である。 第４実施形態の情報処理装置の、選択範囲の変形を行なう例を示す図である。 第４実施形態の情報処理装置の、選択範囲円に内接する図形を設定して、選択範囲とする例を示す図である。 第５実施形態の情報処理装置の、選択範囲円に内接する図形の回転移動の例を示す図である。

Claims (14)

1. マルチタッチパネルを制御する情報処理装置であって、
   前記マルチタッチパネルにおける接触領域を取得する取得手段と、
   前記取得手段によって取得された前記接触領域が予め定められた形状を有するか否かを判定する判定手段と、
   前記判定手段によって前記接触領域が予め定められた形状を有すると判定された場合、前記接触領域の検出位置に基づいて選択範囲を配置する配置手段と、
   前記配置手段で配置された前記選択範囲を前記マルチタッチパネルに表示する表示手段とを備えることを特徴とする情報処理装置。
2. 前記取得手段は、前記マルチタッチパネルにより同時に検出された複数の接触位置が予め定められた密度以上の密度で存在する領域を前記接触領域として取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記配置手段は、
   前記接触領域の形状に基づいて前記選択範囲の大きさを決定する手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
4. 前記接触領域は湾曲形状を有し、
   前記配置手段は、前記湾曲形状に基づいて決定される大きさの円を前記選択範囲とし、 大きさが決定された前記円を前記湾曲形状に沿うように配置することを特徴とする請求項３に記載の情報処理装置。
5. 前記取得手段によって取得される前記接触領域の形状の変化に応じて前記選択範囲の大きさを変更する変更手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
6. 前記変更手段は、更に、前記接触領域の移動に応じて前記選択範囲を移動することを特徴とする請求項５に記載の情報処理装置。
7. 前記変更手段は、前記選択範囲の移動中は、前記選択範囲の大きさの変更を禁止することを特徴とする請求項６に記載の情報処理装置。
8. 前記取得手段が前記接触領域の消滅を検出した場合に、前記配置手段で配置された前記選択範囲を確定する確定手段を更に備えることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記確定手段によって選択範囲が確定した後に、当該選択範囲から予め定められた距離内に、前記取得手段によって予め定められた形状の接触領域が検出された場合に、前記接触領域の変化に基づいて前記選択範囲により選択されたオブジェクトに対して拡大、縮小、平行移動、回転の少なくともいずれかを行って前記オブジェクトの表示を変更する変更手段を更に備えることを特徴とする請求項８に記載の情報処理装置。
10. 前記配置手段により配置された前記選択範囲から予め定められた距離内に前記接触領域に含まれない接触を検出した場合に、前記選択範囲の形状を前記接触の位置に基づいて変更する手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
11. 前記判定手段によって判定された前記接触領域の形状にしたがって、前記選択範囲の形状を決定することを特徴とする請求項１に記載の情報処理装置。
12. マルチタッチパネルを制御する情報処理装置の制御方法であって、
    前記マルチタッチパネルにおける接触領域を取得する取得工程と、
    前記取得工程によって取得された前記接触領域が予め定められた形状を有するか否かを判定する判定工程と、
    前記判定工程によって前記接触領域が予め定められた形状を有すると判定された場合、前記接触領域の検出位置に基づいて選択範囲を配置する配置工程と、
    前記配置工程で配置された前記選択範囲を前記マルチタッチパネルに表示する表示工程とを有することを特徴とする情報処理装置の制御方法。
13. コンピュータに、請求項１２に記載の情報処理装置の制御方法を実行させるプログラム。
14. コンピュータに、請求項１２に記載の情報処理装置の制御方法を実行させるプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images