JP2010262557A

JP2010262557A - 情報処理装置および方法

Info

Publication number: JP2010262557A
Application number: JP2009114196A
Authority: JP
Inventors: Fumitada Honma; 文規本間; Tatsushi Nashida; 辰志梨子田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-05-11
Filing date: 2009-05-11
Publication date: 2010-11-18
Also published as: CN101887343A; CN101887343B; US20100287470A1

Abstract

【課題】タッチパネルに依存することなくジェスチャ操作を実現できるようにする。
【解決手段】モバイル端末装置１１の上側面、下側面、右側面、左側面には、それぞれ側面静電式タッチセンサ２１−１乃至２１−４が配置される。ユーザの指等が側面静電式タッチセンサ２１接触した場合、その接触が、側面静電式タッチセンサ２１の静電容量の変化という形態で検出される。側面静電式タッチセンサ２１により検出された指の接触位置に基づいて、ジェスチャ操作が検出される。そして、そのジェスチャ操作に対応するインタラクション処理が実行される。例えば、タッチパネルを搭載した端末に適用することができる。
【選択図】図１

Description

本発明は、情報処理装置および方法に関し、特に、タッチパネルに依存することなくジェスチャ操作が実現できるようになった、情報処理装置および方法に関する。

近年、iPhone（Apple社の登録商標）に代表されるように、ユーザがタッチパネルに対してマルチタッチ方式でジェスチャ操作をすることができる情報処理装置が普及してきている。このような情報処理装置では、ユーザのジェスチャ操作に対応した所定の処理（以下、インタラクション処理と称する）が実行される（例えば、特許文献１参照）。

特開平５−１００８０９号公報

しかしながら、マルチタッチ方式のジェスチャ操作を実現するためには、タッチパネルの画面の面積が一定以上であることが必要とされる。例えば、腕時計型の情報処理端末のように、形状が特殊で画面の面積が小さい情報処理装置においては、タッチパネル上でのマルチタッチ方式のジェスチャ操作の実現は困難である。換言すると、タッチパネル上でのジェスチャ操作を実現するためには、タッチパネルの画面の面積や、情報処理装置の形状に一定の制限がかけられる。

本発明は、このような状況に鑑みてなされたものであり、タッチパネルに依存することなくジェスチャ操作を実現できるようにするものである。

本発明の一側面の情報処理装置は、画像を表示する表示手段と、前記表示手段が配置される領域とは異なる領域に配置され、前記領域に対する接触を検出する検出手段と、前記検出手段により前記接触が検出された２以上の接触位置の組み合わせに基づいて操作内容を認識し、その操作内容に応じた処理の実行を制御する制御手段とを備える。

相異なる領域にそれぞれ配置された複数の前記検出手段を備える。

前記制御手段は、さらに、前記検出手段が配置された前記領域のうち、前記接触が検出された接触領域の面積を認識し、前記面積に基づいて、前記操作内容の認識の制御の実行許可と実行禁止とを切り替える。

前記制御手段は、前記面積が閾値以上である場合、前記検出手段により検出された接触は、ユーザによる前記情報処理装置の把持が目的であると推定して、前記操作内容の認識の制御の実行を禁止し、前記面積が閾値未満である場合、前記検出手段により検出された接触は、前記ユーザによる所定の操作が目的であると推定して、前記所定の操作について、その操作内容の認識の制御を許可する。

前記検出手段は、接触による静電容量の変化を出力する静電センサと、前記静電センサに結合される、可変形状の導電性物質とを有する。

本発明の一側面の情報処理方法は、上述した本発明の一側面の情報処理装置に対応する方法である。

本発明の一側面の情報処理装置および方法においては、画像が表示され、前記画像の表示が配置される領域とは異なる領域に対する接触が検出され、前記接触が検出された２以上の接触位置の組み合わせに基づいて操作内容が認識され、その操作内容に応じた処理の実行が制御される。

以上のごとく、本発明によれば、タッチパネルに依存することなくジェスチャ操作が実現できるようになる。

本発明が適用された情報処理装置の一実施形態としてのモバイル端末装置の外観の構成例を示す斜視図である。静電式タッチパネル２２に用いられるタッチパネル用静電式タッチセンサ２２−Ｓの検出手法について説明する図である。モバイル端末装置１１の側面に対するジェスチャ操作と、そのジェスチャ操作に対応するインタラクショ処理の一例について説明する図である。図１のモバイル端末装置１１の内部構成例を示すブロック図である。側面ジェスチャ操作対応インタラクション処理の一例を説明するフローチャートである。ジェスチャ操作誤検出防止処理について説明する図である。ジェスチャ操作誤検出防止処理について説明する図である。モバイル端末装置１１のインタラクション処理の具体例について説明する図である。モバイル端末装置１１のインタラクション処理の具体例について説明する図である。本発明が適用される情報処理装置の一実施形態としてのモバイル端末装置の外観の構成例であって、図１の例とは異なる例を示す図である。発明が適用された情報処理装置の一実施形態としてのモバイル端末装置の外観の構成例であって、図１や図１０の例とは異なる例を示す図である。

以下、図面を参照して、本発明の実施の形態について説明する。

[本発明の情報処理装置の外観構成例]

図１は、本発明が適用される情報処理装置の一実施形態としてのモバイル端末装置の外観構成例を示す斜視図である。

モバイル端末装置１１の所定の面には、静電式タッチパネル２２が配置されている。静電式タッチパネル２２は、後述する図４の表示部２２−Ｄに対して、後述する図４のタッチパネル用静電式タッチセンサ２２−Ｓが積層されて構成される。静電式タッチパネル２２においては、表示部２２−Ｄの画面に対してユーザの指等が接触した場合、その接触が、タッチパネル用静電式タッチセンサ２２−Ｓの静電容量の変化という形態で検出される。そして、後述する図４のCPU２３において、タッチパネル用静電式タッチセンサ２２−Ｓにより検出された指の接触位置の座標の遷移（時間推移）等が認識され、その認識結果に基づいて、ジェスチャ操作が検出される。なお、ジェスチャ操作の具体例や、その検出手法については、図２以降を参照して後述する。

なお、以下、モバイル端末装置１１を構成する面のうち、表示部２２−Ｄが配置される面を表面と称し、表面の法線と直交する法線を有する面を側面と称する。図１の例では、側面としては４つの面が存在する。そこで、以下、静電式タッチパネル２２（表示部２２−Ｄ）の画面表示のデフォルトの方向を基準にして、表面に対して、上方向、下方向、右方向、および左方向のそれぞれに配置される側面を、上側面、下側面、右側面、および左側面のそれぞれと称する。

モバイル端末装置１１には、上側面に配置される側面静電式タッチセンサ２１−１、および、下側面に配置される側面静電式タッチセンサ２１−２がそれぞれ設けられている。さらに、モバイル端末装置１１には、右側面に配置される側面静電式タッチセンサ２１−３、および、左側面に配置される側面静電式タッチセンサ２１−４が、それぞれ設けられている。

なお、以下、側面静電式タッチセンサ２１−１乃至２１−４を個々に区別する必要がない場合、それらをまとめて、側面静電式タッチセンサ２１と称する。

モバイル端末装置１１の側面に対してユーザの指等が接触した場合、その接触が、側面静電式タッチセンサ２１の静電容量の変化という形態で検出される。そして、後述する図４のCPU２３において、側面静電式タッチセンサ２１により検出された指の接触位置の座標の遷移（時間推移）等が認識され、その認識結果に基づいて、ジェスチャ操作が検出される。なお、ジェスチャ操作の具体例や、その検出手法については、図２以降を参照して後述する。

[静電式タッチセンサによる接触検出]

図２は、静電式タッチパネル２２に用いられるタッチパネル用静電式タッチセンサ２２−Ｓの検出手法について説明する図である。

タッチパネル用静電式タッチセンサ２２−Ｓは、表示部２２−Ｄに格子状（例えば１０×７）に配置された静電センサの組み合わせから構成されている。静電センサは、静電容量の変化によってその値が常時変化する。よって、静電センサに指等が近接または接触した場合には、静電センサの静電容量が増加する。後述するCPU２３は、静電センサの静電容量を常時監視し、その増加量の変化が一定の閾値を超えた場合に、静電式タッチパネル２２に近接または接触している指等の接触があったと判定することができる。換言すると、CPU２３は、接触があったと判定した静電センサの配置位置から、指等の接触位置の座標を検出することができる。即ち、CPU２３は、タッチパネル用静電式タッチセンサ２２−Ｓを構成する個々の静電センサの静電容量を同時に全て監視することが可能である。CPU２３は、全ての静電センサの静電容量の変化を同時に監視し、補間することによって、静電式タッチパネル２２に近接または接触している指等の位置や、指の形状等を検出することが可能である。

例えば図２の例では、静電式タッチパネル２２のうち、黒色の表示領域は、指ｆが近接または接触していないため静電容量が変化していない領域を示しており、白色の表示領域は、指ｆが近接または接触しているため静電容量が増加している領域を示している。この場合、CPU２３は、白色の領域の座標を指ｆの位置として認識することができるし、白色の領域の形状を指ｆの形状として検出することができる。

なお、本明細書では、接触とは、静的な接触（所定の一領域のみの接触）だけではなく、動的な接触（指ｆ等の接触物体が所定の軌跡を描いて動く接触）も含む。例えば、静電式タッチパネル２２上の指等のなぞりも、接触の一形態である。また、以下においては、接触とは、完全な接触のみならず、近接も含むとする。

さらに、CPU２３は、指等の接触位置を時系列に検出していくことで、静電式タッチパネル２２における指等の軌跡を認識することができる。CPU２３は、そのような軌跡に対応するジェスチャ操作を検出し、そのジェスチャ操作に対応するインタラクション処理を実行することができる。

以上、静電式タッチパネル２２に用いられるタッチパネル用静電式タッチセンサ２２−Ｓの検出手法について説明した。このような検出手法は、側面静電式タッチセンサ２１についても同様である。

即ち、CPU２３は、側面静電式タッチセンサ２１の静電容量の変化を監視することで、モバイル端末装置１１の側面に対するジェスチャ操作を検出し、そのジェスチャ操作に対応するインタラクション処理を実行することができる。

[インタラクションの一例]
図３は、モバイル端末装置１１の側面に対するジェスチャ操作と、そのジェスチャ操作に対応するインタラクション処理の一例について説明する図である。

例えば、静電式タッチパネル２２の表示状態が、図３のＡに示される表示状態、すなわち、静電式タッチパネル２２に、デフォルトの表示方向で、１つのオブジェクト（犬）を含む静止画が表示されている状態であるとする。デフォルトの表示方向とは、上述したように、側面静電式タッチセンサ２１−１が配置された上側面が上方向になるように画像が表示される方向をいう。また、この表示状態で、ユーザの指ｆ１がモバイル端末装置１１の上側面（側面静電式タッチセンサ２１−１の配置面）の中央付近の位置、即ち、図３のＡ中丸印で示される位置に接触されているとする。また、ユーザの指ｆ２がモバイル端末装置１１の右側面（側面静電式タッチセンサ２１−３の配置面）の上方付近の位置、即ち、図３のＡ中丸印で示される位置に接触されているとする。

ここで、ユーザが、指ｆ２を、図３のＡの状態から図３のＢの状態に移動させるジェスチャ操作をさせたとする。即ち、ユーザが指ｆ１はそのままの状態で、側面静電式タッチセンサ２１−３に接触させている指ｆ２のみを、図３のＢの矢印で示される下方向になぞり操作したとする。

なぞり操作とは、ジェスチャ操作のひとつであって、ユーザが指を所定領域に接触させ、その後、指の接触を維持したまま、所定領域を起点として所定方向に所定距離だけ指を移動させる（ドラッグする）操作をいう。

このような右側面に対する下方向へのなぞり操作が行われると、図３のＢに示されるように、インタラクション処理として、静電式タッチパネル２２の表示方向をなぞり操作の方向に変化させる処理が実行される。即ち、デフォルトの表示方向（図３のＡの状態の表示方向）に対して右方向に９０度回転させる処理が実行される。

このように、ユーザは、モバイル端末装置１１の側面に対するジェスチャ操作をすることで、モバイル端末装置１１にインタラクション処理を実行させることができる。なお、ジェスチャ操作やインタラクション処理のその他の例については、図８や図９を参照して後述する。

次に、このような、インタラクション処理を実行するモバイル端末装置１１の構成例について、図４を参照して説明する。

[モバイル端末装置の構成例]

図４は、図１のモバイル端末装置１１の内部構成例を示すブロック図である。

モバイル端末装置１１は、上述した側面静電式タッチセンサ２１と静電式タッチパネル２２に加えて、さらに、CPU(Central Processing Unit)２３、不揮発性メモリ２４、RAM（Random Access Memory）２５、および、ドライブ２６を含むように構成されている。

静電式タッチパネル２２は、上述したように、タッチパネル用静電式タッチセンサ２２−Ｓと表示部２２−Ｄとから構成されている。

CPU２３は、モバイル端末装置１１全体を制御する。このため、CPU２３には、側面静電式タッチセンサ２１、静電式タッチパネル２２、不揮発性メモリ２４、RAM２５およびドライブ２６が接続されている。

例えば、CPU２３は、モバイル端末装置１１の側面に対するジェスチャ操作に応じて、インタラクション処理を実行する。即ち、インタラクション処理の開始時等に、CPU２３は、側面静電式タッチセンサ２１−１乃至２１−４の各静電容量の変化をそれぞれ監視するスレッド（以下、静電容量監視スレッド）を生成する。そして、CPU２３は、静電容量監視スレッドの監視結果から、ユーザの指が側面（側面静電式タッチセンサ２１）に接触したか否かを判定する。CPU２３は、接触したと判定した場合、所定のジェスチャ操作を検出し、対応するインタラクション処理を実行する。なお、以下、このようなCPU２３による一連の処理を、側面ジェスチャ操作対応インタラクション処理と称する。側面ジェスチャ操作対応インタラクション処理の詳細については、図５以降の図面を参照して後述する。

不揮発性メモリ２４は、各種情報を記憶する。例えば、電源状態がオフ状態に遷移したときにも保持すべき情報等が不揮発性メモリ２４に記憶される。

RAM２５は、CPU２３が各種処理を実行する際のワークエリアとして必要なプログラムやデータを一時記憶する。

ドライブ２６は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２７を駆動する。

[側面ジェスチャ操作対応インタラクション処理]

図５は、このような構成を有するモバイル端末装置１１による側面ジェスチャ操作対応インタラクション処理の一例を説明するフローチャートである。

ステップＳ１１において、CPU２３は、側面静電式タッチセンサ２１の静電容量を取得し、任意の分解能に補間する。即ち、側面ジェスチャ操作対応インタラクション処理の開始時点で、CPU２３は、上述したように、静電容量監視スレッドを生成する。CPU２３は、静電容量監視スレッドにより、側面静電式タッチセンサ２１の静電容量を取得して、スレッド生成時の静電容量に対する差分を算出して、任意の分解能に補間する。

ステップＳ１２において、CPU２３は、接触面積が閾値（例えば、側面静電式タッチセンサ２１の面積の３０％）以上の側面静電式タッチセンサ２１はあるか否かを判定する。

側面静電式タッチセンサ２１−１乃至２１−４のうち、接触面積が閾値以上の側面静電式タッチセンサ２１が１つ以上ある場合、ステップＳ１２においてＹＥＳであると判定され、処理はステップＳ１３に進む。

ステップＳ１３において、CPU２３は、接触面積が閾値以上の側面静電式タッチセンサ２１をジェスチャ操作対象から除外する。即ち、詳細については、図６と図７を参照して後述するが、接触面積が閾値以上の側面静電式タッチセンサ２１には、それが配置されている側面を把持する目的で、ユーザの指や手の平等が接触されていると推定される。そこで、CPU２３は、かかる側面静電式タッチセンサ２１に対するジェスチャ操作の検出を禁止する。これにより、処理はステップＳ１４に進む。

これに対して、指の接触面積が閾値以上の側面静電式タッチセンサ２１が１つもない場合、ジェスチャ操作の検出を禁止すべき側面静電式タッチセンサ２１は存在しないので、ステップＳ１２においてＮＯであると判定される。そして、ステップＳ１３の処理は実行されずに、処理はステップＳ１４に進む。

ステップＳ１４において、CPU２３は、ジェスチャ操作が検出されたか否かを判定する。

ジェスチャ操作の検出が禁止されていない側面静電式タッチセンサ２１の全てにおいて、ジェスチャ操作が検出されない場合、ステップＳ１４においてＮＯであると判定され、処理はステップＳ１１に戻さ、それ以降の処理が繰り返される。即ち、ジェスチャ操作が検出されるまでの間は、ステップＳ１１乃至Ｓ１４のループ処理が繰り返される。

その後、ジェスチャ操作の検出が禁止されてない側面静電式タッチセンサ２１のうち少なくとも１つにおいて、ジェスチャ操作が検出された場合、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。

ステップＳ１５において、CPU２３は、ジェスチャ操作に対応するインタラクション処理を実行する。

ステップＳ１６において、CPU２３は、処理の終了が指示されたか否かを判定する。

処理の終了が指示されていない場合、ステップＳ１６においてＮＯであると判定されて、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。

これに対して、処理の終了が指示された場合、ステップＳ１１においてＹＥＳであると判定されて、側面ジェスチャ操作対応インタラクション処理は終了する。

[ジェスチャ操作の誤検出の防止]

以下、側面ジェスチャ操作対応インタラクション処理のうち、ステップＳ１２，Ｓ１３の処理について、さらにその詳細を説明する。

本実施の形態のモバイル端末装置１１の側面には、側面静電式タッチセンサ２１が配置されている。したがって、ユーザは、ジェスチャ操作をするために、指や手の平等でモバイル端末装置１１の側面を把持する場合、その側面に配置された側面静電式タッチセンサ２１に、把持のための指や手の平等が接触することになる。このような場合も、CPU２３は、その接触を検出することになるが、かかる接触を所定のジェスチャ操作であると誤検出してしまうと、誤ったインタラクション処理を実行してしまうことになる。

そこで、このような誤検出を回避するために、側面ジェスチャ操作対応インタラクション処理において、ステップＳ１２，Ｓ１３の処理が実行されるのである。なお、以下、ステップＳ１２，Ｓ１３の処理を、ジェスチャ操作誤検出防止処理と称する。

図６と図７は、ジェスチャ操作誤検出防止処理について説明する図である。

例えば、図６のＡに示される側面静電式タッチセンサ２１−３の領域Ｔ（灰色の楕円状の領域Ｔ）において、接触が検出されたとする。この領域Ｔにおいて、一定以上の連続する接触が検出された面積が、ステップＳ１２，Ｓ１３でいう接触面積に相当する。

従って、領域Ｔの接触面積が閾値以上である場合には、側面静電式タッチセンサ２１−３に対する接触は、ジェスチャ操作のための接触ではなく、モバイル端末装置１１を把持するための接触であると推定することができる。即ち、ユーザは、図６のＢに示されるように、モバイル端末装置１１を右手で把持するために、側面静電式タッチセンサ２１−３が配置された右側面を右手の平等で接触させている状態であることが推定される。換言すると、ユーザは、右側面以外の側面に対して、ジェスチャ操作をする或いはその準備をしている状態であることが推定される。なお、接触面積の閾値は任意に設定可能であり、例えば、側面静電式タッチセンサ２１の面積の３０％と設定することができる。

そこで、このような場合、図５のステップＳ１２の処理でＹＥＳであると判定されて、ステップＳ１３の処理で、側面静電式タッチセンサ２１−３は、従って、後段のステップＳ１４の処理におけるジェスチャ操作の検出対象から除外されるのである。即ち、ユーザにとっては、側面静電式タッチセンサ２１−３に対して、把持している以外の指等でジェスチャ操作をしても、そのジェスチャ操作は無効になる。

これに対して、例えば、図７のＡに示される側面静電式タッチセンサ２１−３の領域Ｔ１，Ｔ２，Ｔ３（灰色の円状の領域Ｔ１，Ｔ２，Ｔ３）において、接触がそれぞれ検出されたとする。これらの領域Ｔ１,Ｔ２，Ｔ３のそれぞれにおいて、一定以上の連続する接触が検出された面積が、ステップＳ１２，Ｓ１３でいう接触面積に相当する。

従って、領域Ｔ１，Ｔ２，Ｔ３の接触面積が全て閾値未満である場合には、側面静電式タッチセンサ２１−３に対する接触は、モバイル端末装置１１を把持するための接触ではないと推定することができる。即ち、側面静電式タッチセンサ２１−３に対する接触は、ジェスチャ操作をするため或いはその準備のための接触であると推定することができる。即ち、ユーザは、図７のＢに示されるように、モバイル端末装置１１を左手で把持するために、左側面を左手の平等で接触させている状態であることが推定される。換言すると、ユーザは、左側面以外の側面に対して、ジェスチャ操作をする或いはその準備をしている状態であることが推定される。即ち、ユーザにとっては、側面静電式タッチセンサ２１−３が配置された右側面は、ジェスチャ操作の対象となり得る側面であることが推定される。要するに、領域Ｔ１，Ｔ２，Ｔ３に対する接触は、ジェスチャ操作のための接触か、或いは、モバイル端末装置１１の把持の補助的な接触であることが推定される。

そこで、このような場合、即ち、右側面を含む全側面に配置されている各側面静電式タッチセンサ２１の接触面積が全て閾値未満である場合、図５のステップＳ１２の処理でＮＯであると判定される。そして、ステップＳ１３の処理は実行されずに、処理はステップＳ１４に進む。従って、側面静電式タッチセンサ２１−３は、ステップＳ１４の処理におけるジェスチャ操作の検出対象となる。即ち、ユーザにとっては、側面静電式タッチセンサ２１−３に対してジェスチャ操作をすると、そのジェスチャ操作は有効になる。

このように、モバイル端末装置１１はジェスチャ操作誤検出防止処理を実行することで、例えばユーザが片手でモバイル端末装置１１の把持とジェスチャ操作を同時に行うような場合であっても、ジェスチャ操作の誤検出を防止することができるようになる。その結果、ユーザは、片手のみでも、モバイル端末装置１１の側面に対するジェスチャ操作を行うことが可能となる。

次に、側面ジェスチャ操作対応インタラクション処理のステップＳ１５におけるインタラクション処理の具体例について、図８、９を参照して説明する。

[インタラクション処理の具体例]

図８、９は、モバイル端末装置１１のインタラクション処理の具体例について説明する図である。

図８の例では、ユーザは、モバイル端末装置１１の対向する２つの側面に対してジェスチャ操作をする。

図８のＡ１，Ａ２は、モバイル端末装置１１の右側面と左側面を同時に同方向になぞり操作するジェスチャ操作を示している。

図８のＡ１の例では、ジェスチャ操作として、モバイル端末装置１１の右側面と左側面に対する下方向へのなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−３，２１−４にそれぞれ接触させている指ｆ２，ｆ１を、下方向に同時になぞり操作をする。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、静電式タッチパネル２２に対する通常のスクロール操作をした場合と比較して、より早い速度で表示画像を下方向に移動させる。

図８のＡ２の例では、ジェスチャ操作として、モバイル端末装置１１の右側面と左側面に対する上方向へのなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−３，２１−４にそれぞれ接触させている指ｆ２，ｆ１を、上方向に同時になぞり操作をする。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、静電式タッチパネル２２に対する通常のスクロール操作をした場合と比較して、より早い速度で表示画像を上方向に移動させる。

なお、図８のＡ１，Ａ２の例では、アフォーダンスが得られない場合も考えられる。このような場合、表示部２２−Ｄに表示されるオブジェクトを縮小する等して俯瞰的に表示し、ジェスチャ操作による表示画像の移動速度が速くなったことを視覚的に示すこともできる。

図８のＢ１，Ｂ２は、モバイル端末装置１１の左側面の所定の位置を接触させておきながら、右側面を上または下方向になぞり操作するジェスチャ操作を示している。

図８のＢ１の例では、ジェスチャ操作として、モバイル端末装置１１の左側面の所定の位置を接触させながら、右側面に対する上方向へのなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−４の所定の位置を指ｆ１で接触させながら、側面静電式タッチセンサ２１−３に接触させている指ｆ２を、上方向になぞり操作する。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、静電式タッチパネル２２に対する通常の上方向へのスクロール操作をした場合と同様に、表示画像を上方向に移動させる。

図８のＢ２の例では、ジェスチャ操作として、モバイル端末装置１１の左側面の所定の位置を接触させながら、右側面に対する下方向へのなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−４の所定の位置を指ｆ１で接触させながら、側面静電式タッチセンサ２１−３に接触させている指ｆ２を、下方向になぞり操作する。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、静電式タッチパネル２２に対する通常の下方向へのスクロール操作をした場合と同様に、表示画像を下方向に移動させる。

なお、右側面のなぞり操作をするときに、左側面を指ｆ１で接触させておくのは、右側面のみをスクロール操作する場合の誤操作を回避させるためである。

図８のＣ１，Ｃ２は、モバイル端末装置１１の左側面と右側面を、同時に逆方向になぞり操作するジェスチャ操作を示している。

図８のＣ１の例では、ジェスチャ操作として、モバイル端末装置１１の右側面と左側面に対する逆方向へのなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−４に接触させている指ｆ１を下方向になぞり操作すると同時に、側面静電式タッチセンサ２１−３に接触させている指ｆ２を上方向になぞり操作する。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、表示画像を拡大または縮小させる。

図８のＣ２の例では、ジェスチャ操作として、モバイル端末装置１１の右側面と左側面に対する逆方向へのなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−４に接触させている指ｆ１を上方向になぞり操作すると同時に、側面静電式タッチセンサ２１−３に接触させている指ｆ２を下方向になぞり操作する。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、表示画像を縮小または拡大させる。

なお、図８の例では、モバイル端末装置１１の対向する２つの側面に位置する側面静電式タッチセンサ２１として、左側面と右側面に位置する側面静電式タッチセンサ２１−３と２１−４に対するジェスチャ操作について説明した。しかしながら、モバイル端末装置１１の対向する２つの側面として、上側面と下側面に位置する側面静電式タッチセンサ２１−１と２１−２を採用することもできる。なお、上側面と下側面を採用した場合、右方向へのなぞり操作をした場合は、通常の右方向へのスクロール操作をした場合と同様に、表示画像を右方向に移動させる。また、左方向へのなぞり操作をした場合は、通常の左方向へのスクロール操作をした場合と同様に、表示画像を左方向に移動させる。

図９の例では、ユーザは、モバイル端末装置１１の隣接する２つの側面に位置する側面静電式タッチセンサ２１−１と２１−３に対して、ジェスチャ操作をする。

図９のＡ１，Ａ２は、モバイル端末装置１１の上側面の所定の位置を接触させながら、右側面を上または下方向になぞり操作するジェスチャ操作を示している。

図９のＡ１の例では、ジェスチャ操作として、モバイル端末装置１１の上側面の所定の位置を接触させながら、右側面に対する上方向のなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−１の所定の位置を指ｆ１で接触させながら、側面静電式タッチセンサ２１−３に接触させている指ｆ２を、上方向になぞり操作をする。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、表示画像をなぞり操作の方向に回転させる。この場合、側面静電式タッチセンサ２１−１が配置された上側面が上方向になるように画像が表示されるデフォルトの表示方向に対して左方向に９０度回転させる処理が実行される。

図９のＡ２の例では、ジェスチャ操作として、モバイル端末装置１１の上側面の所定の位置を接触させながら、右側面に対する下方向のなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−１の所定の位置を指ｆ１で接触させながら、側面静電式タッチセンサ２１−３に接触させている指ｆ２を、下方向になぞり操作をする。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、表示画像をなぞり操作の方向に回転させる。この場合、デフォルトの表示方向に対して右方向に９０度回転させる処理が実行される。

図９のＢ１，Ｂ２は、モバイル端末装置１１の上側面と右側面を、同時に接近する方向または離れる方向になぞり操作するジェスチャ操作を示している。

図９のＢ１の例では、ジェスチャ操作として、モバイル端末装置１１の上側面と右側面に接触している指ｆ１と指ｆ２を、同時に接近する方向になぞり操作するジェスチャ操作を示している。即ち、ユーザは、側面静電式タッチセンサ２１−１に接触させている指ｆ１を右方向になぞり操作すると同時に、側面静電式タッチセンサ２１−３に接触させている指ｆ２を、上方向になぞり操作する。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、指ｆ１または指ｆ２の側面静電式タッチセンサ２１への接触がなくなるまで、表示画像を右上方向に移動させる。

図９のＢ２の例では、ジェスチャ操作として、モバイル端末装置１１の上側面と右側面に接触している指ｆ１と指ｆ２を、同時に離れる方向になぞり操作するジェスチャ操作を示している。即ち、ユーザは、側面静電式タッチセンサ２１−１に接触させている指ｆ１を左方向になぞり操作すると同時に、側面静電式タッチセンサ２１−３に接触させている指ｆ２を、下方向になぞり操作する。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、指ｆ１または指ｆ２の側面静電式タッチセンサ２１への接触がなくなるまで、表示画像を左下方向に移動させる。

図９のＣ１，Ｃ２は、モバイル端末装置１１の上側面または右側面から、右側面または上側面に連続してなぞり操作するジェスチャ操作を示している。

図９のＣ１の例では、ジェスチャ操作として、モバイル端末装置１１の上側面に接触させている指ｆの、右側面への連続したなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−１に接触させている指ｆを右方向になぞり操作し、そのまま側面静電式タッチセンサ２１−３を下方向になぞり操作する。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、表示画像を、現在のページから、次のページまたは前のページの表示画像へ表示を移動させる。

図９のＣ２の例では、ジェスチャ操作として、モバイル端末装置１１の右側面に接触させている指ｆの、上側面への連続したなぞり操作が行われる。即ち、ユーザは、側面静電式タッチセンサ２１−３に接触させている指ｆを上方向になぞり操作し、そのまま側面静電式タッチセンサ２１−１を左方向になぞり操作する。その結果、CPU２３は、次のようなインタラクション処理を実行する。即ち、CPU２３は、表示画像を、現在のページから、前のページまたは次のページの表示画像へ表示を移動させる。

なお、図９のＣ１，Ｃ２の例の場合、隣接する２つの側面に位置する側面静電式タッチセンサ２１が連続した一つのタッチセンサでない場合がある。この場合、例えば、次のようなインタラクション処理を実行するとしてもよい。即ち、一方の側面から隣接する他方の側面へなぞり操作をする場合に、一方の側面から他方の側面へのなぞり操作が一定時間以内にされた場合には、連続したなぞり操作であるとしてインタラクション処理を実行してもよい。

なお、図９の例では、モバイル端末装置１１の隣接する２つの側面に位置する側面静電式タッチセンサ２１として、上側面および右側面に配置される側面静電式タッチセンサ２１−１と２１−３に対するジェスチャ操作について説明した。しかしながら、モバイル端末装置１１の隣接する２つの側面として、２つの側面が隣接する側面であれば、採用される側面は限定されない。

上述したように、モバイル端末装置１１の側面に複数の側面静電式タッチセンサ２１を配置したことにより、静電式タッチパネル２２の一定の面積や形状が確保できないモバイル端末装置１１に対しても、ジェスチャ操作をすることができるようになる。

さらに、側面静電式タッチセンサ２１をモバイル端末装置１１の側面に配置することにより、モバイル端末装置１１の側面の形状を自由に変形することもできるようになる。以下、図１０を用いて、モバイル端末装置１１の側面の形状について説明する。

モバイル端末装置１１には、側面静電式タッチセンサ２１とタッチパネル用静電式タッチセンサ２２−Ｓとが採用されている。

しかしながら、タッチパネル用静電式タッチセンサ２２−Ｓは、表示部２２−Ｄに積層されて静電式タッチパネル２２を構成する。従って、表示部２２−Ｄへの表示を阻害しないように、タッチパネル用静電式タッチセンサ２２−Ｓとしては、透明な静電式タッチセンサを採用する必要がある。

これに対して、側面静電式タッチセンサ２１は、モバイル端末装置１１の側面に配置されるので、透明な静電式タッチセンサを採用する必要は特にない。したがって、側面静電式タッチセンサ２１と、自由に形状を変形することができる導電性物質とを結合させることにより、モバイル端末装置１１の側面を自由な形状とすることができる。

[本発明の情報処理装置の他の外観構成例]

例えば、図１０は、本発明が適用される情報処理装置の一実施形態としてのモバイル端末装置の外観の構成例であって、図１の例とは異なる例を示す図である。

図１０のＡに示されるように、例えば、モバイル端末装置１２は、曲面の形状の側面を有し、直方体状の本体部４２が中央に配置される構成を有している。本体部４２の表面には、静電式タッチパネル２２が配置されている。

モバイル端末装置１２の本体部４２には、上側面に配置される側面静電式タッチセンサ２１−ａ、および、下側面に配置される側面静電式タッチセンサ２１−ｂが、それぞれ設けられている。また、モバイル端末装置１２の本体部４２には、右側面に配置される側面静電式タッチセンサ２１−ｃ、および、左側面に配置される側面静電式タッチセンサ２１−ｄが、それぞれ設けられている。

モバイル端末装置１２の側面には、その側面（曲面）に沿って湾曲した形状を有するアルミ等の導電性物質４１−ａ乃至４１−ｄが配置されている。

側面静電式タッチセンサ２１−ａ乃至２１−ｄのそれぞれには、導電性物質４１−ａ乃至４１−ｄのそれぞれが結合されている。

なお、以下、側面静電式タッチセンサ２１−ａ乃至２１−ｄを個々に区別する必要がない場合には、それらをまとめて、側面静電式タッチセンサ２１と称する。同様に、導電性物質４１−ａ乃至４１−ｄを個々に区別する必要がない場合には、それらをまとめて導電性物質４１と称する。

具体的には例えば、図１０のＢに示されるように、側面静電式タッチセンサ２１に対して、アルミ等の導電性物質４１を結合させる。側面静電式タッチセンサ２１は、導電性物質４１を介しても、指の接触等による静電容量の変化を検出することができる。したがって、側面静電式タッチセンサ２１に結合させる導電性物質４１の形状を自由に変形させることができる。即ち、導電性物質４１の形状を、本発明が適用される情報処理装置側の側面の形状にあわせることができるので、本発明が適用される情報処理装置の側面を自由な形状とすることができる。図１０の例では、上述のごとく、モバイル端末装置１１の側面の形状が曲面であるので、導電性物質４１は、その曲面に沿った湾曲した形状を有している。

なお、図１０のＢに示されるように、導電性物質４１は、側面静電式タッチセンサ２１を構成する静電センサの個数で分割され、分割された導電性物質４１の間には、非導電性物質４３が配置される。即ち、導電性物質４１への指の接触等による静電容量の変化は、導電性物質４１内を均一に伝搬する。したがって、仮に導電性物質４１の間を非導電性物質４３で区切らなかった場合、側面静電式タッチセンサ２１は正確な静電容量の変化を検出することができない。そこで、側面静電式タッチセンサ２１を構成する静電センサの個数分だけ導電性物質４１を非導電性物質４３で区切るのである。これにより、側面静電式タッチセンサ２１のうち、導電性物質４１の接触面の指の接触等があった位置に対応する領域（その領域を受け持つ静電センサ）にのみ、静電容量の変化が伝搬される。

なお、以上では、本発明の理解を容易なものとすべく、複数の静電センサの組を側面静電式タッチセンサ２１とし、その側面静電式タッチセンサ２１に対して、導電性物質４１が結合されるという説明をした。しかしながら、複数の静電センサと、それらに結合された導電性物質４１とから、側面静電式タッチセンサ２１が構成されると把握してもよい。

さらにまた、本発明が適用される情報処理装置の実施の形態は、上述した例に特に限定されず、様々な実施の形態を取ることができる。

例えば、上述した例では、静電式タッチパネル２２以外のジェスチャ操作は、モバイル端末装置１１，１２の側面に対してなされることが前提とされた。このため、側面静電式タッチセンサ２１が側面に配置された。しかしながら、静電式タッチパネル２２以外のジェスチャ操作の場所は、静電式タッチパネル２２以外と記述している通り、静電式タッチパネル２２以外の場所であれば足りる。即ち、本発明が適用される情報処理装置は、静電式タッチパネル２２以外のジェスチャ操作が可能な場所に、静電式タッチセンサを配置させた構成を有していれば足りる。

例えば、図１１は、本発明が適用された情報処理装置の一実施形態としてのモバイル端末装置の外観の構成例であって、図１や図１０の例とは異なる例を示す図である。

図１１の例では、モバイル端末装置１３の表面であって、静電式タッチパネル２２の配置領域以外の領域に、静電式タッチセンサ５１−１乃至５１−４が配置されている。

また、ジェスチャ操作を検出するセンサは、上述した例では静電式タッチセンサが採用されたが、さらに言えば、本発明が適用される情報処理装置にとって、タッチパネルや表示部は必須な構成要素ではない。即ち、ジェスチャ操作が可能な領域を有する情報処理装置であれば、本発明は適用可能である。例えば、本発明は、ヘッドホンにも適用可能である。ヘッドホンの耳あて部分等でジェスチャ操作が可能であるからである。

ところで、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

例えば図４のモバイル端末装置１１を制御するコンピュータによって実行してもよい。

図４において、CPU２３が、例えば、不揮発性メモリ２４に記憶されているプログラムを、RAM２５にロードして実行することにより、上述した一連の処理が行われる。

CPU２３が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２７に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

プログラムは、リムーバブルメディア２７をドライブ２６に装着することにより、不揮発性メモリ２４にインストールすることができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

１１，１２，１３モバイル端末装置，２１側面静電式タッチセンサ, ２２静電式タッチパネル，２２―Ｓタッチパネル用静電式タッチセンサ，２２―Ｄ表示部，２３ CPU，２４不揮発性メモリ，２５ RAM，２６ドライブ，２７リムーバブルメディア，４１導電性物質，４２本体部４３非導電性物質

Claims

画像を表示する表示手段と、
前記表示手段が配置される領域とは異なる領域に配置され、前記領域に対する接触を検出する検出手段と、
前記検出手段により前記接触が検出された２以上の接触位置の組み合わせに基づいて操作内容を認識し、その操作内容に応じた処理の実行を制御する制御手段と
を備える情報処理装置。
相異なる領域にそれぞれ配置された複数の前記検出手段を備える
請求項１に記載の情報処理装置。
前記制御手段は、さらに、
前記検出手段が配置された前記領域のうち、前記接触が検出された接触領域の面積を認識し、
前記面積に基づいて、前記操作内容の認識の制御の実行許可と実行禁止とを切り替える
請求項１に記載の情報処理装置。
前記制御手段は、
前記面積が閾値以上である場合、前記検出手段により検出された接触は、ユーザによる前記情報処理装置の把持が目的であると推定して、前記操作内容の認識の制御の実行を禁止し、
前記面積が閾値未満である場合、前記検出手段により検出された接触は、前記ユーザによる所定の操作が目的であると推定して、前記所定の操作について、その操作内容の認識の制御を許可する
請求項３に記載の情報処理装置。
前記検出手段は、
接触による静電容量の変化を出力する静電センサと、
前記静電センサに結合される、可変形状の導電性物質と
を有する請求項１に記載の情報処理装置。
画像を表示する表示手段と、
前記表示手段が配置される領域とは異なる領域に配置され、前記領域に対する接触を検出する検出手段と
を備える情報処理装置が、
前記検出手段により前記接触が検出された２以上の接触位置の組み合わせに基づいて操作内容を認識し、その操作内容に応じた処理の実行を制御する
ステップを含む情報処理方法。