JP2012503241A - 多点接触タッチ画面上のグラフィックオブジェクトの操作によって電子装置を制御する装置 - Google Patents

Abstract

【課題】高速で複雑な操作の保証を鑑みてタスクを２本の手で平等に分担するマンマシンインタフェースを提供する。
【解決手段】本発明は、グラフィックオブジェクト（２、３ａ、３ｂ、３ｃ、３ｄ）をハンドリングすることによって電子装置（１）を制御する装置に関する。この装置は、ディスプレイ画面（４）と、複数のポインティング手段（５、６）によって生成される多点接触タッチ情報を取得する透明多点接触タッチセンサと、タッチ情報に基づいて制御信号を生成しディスプレイ画面（４）にグラフィックオブジェクト（２、３ａ、３ｂ、３ｃ、３ｄ）を生成する電子制御回路と、を有する。グラフィックオブジェクトのそれぞれは、少なくとも１つの特有の処理ルールに関連付けられる。タッチ情報の各ピースは、グラフィックオブジェクト（２、３ａ、３ｂ、３ｃ、３ｄ）のポジションに対する位置によって決定される特有の処理にかけられる。この装置は、次のような特徴を有する。この装置は、主機能およびその補足の従機能をそれぞれ少なくとも１つの特有の主処理ルールと少なくとも１つの特有の従処理ルールに関連付ける第１列の主グラフィックオブジェクト（２）および第２列の従グラフィックオブジェクト（３ａ、３ｂ、３ｃ、３ｄ）を有する。すべてのグラフィックオブジェクト（２、３ａ、３ｂ、３ｃ、３ｄ）は、第１列が第１セットのポインティング手段（５）によってハンドリングされ、第２列が第１セットのポインティング手段（５）と異なる第２セットのポインティング手段（６）によってハンドリングされるように、構成される。従グラフィックオブジェクト（３ａ、３ｂ、３ｃ、３ｄ）のうちの少なくとも１つのハンドリングによって、主グラフィックオブジェクト（２）のうちの少なくとも１つのプロパティが変更される。
【選択図】図１

Description

本発明は、ユーザが電子機器または情報処理機器を制御できるようにするすべての装置に関わるマンマシンインタフェースの分野に関する。この分野は、例えば、ボタン、キーボードまたはスクロールホイールなどのメカニカルインタフェースを包含する。また、この分野は、マウス、タッチパッド（英語で「trackpad（トラックパッド）」）、ジョイスティックまたはグラフィックタブレットなどのポインティングインタフェースを包含することがある。

より詳細には、本発明は、グラフィックオブジェクトの操作によって電子機器を操作する装置に関する。この装置は、ディスプレイ画面と、複数のポインティング手段によって作り出された多点接触タッチ情報アイテムを取得する透明多点接触タッチセンサと、これらのタッチ情報アイテムに従って制御信号を生成し、ディスプレイ画面上のグラフィックオブジェクトを生成することができる電子制御回路と、を伴って提供される。これらのグラフィックオブジェクトのそれぞれは、少なくとも１つの特有の処理ルールに関連付けられる。これらのタッチ情報アイテムのそれぞれから、グラフィックオブジェクトのポジション（position）に対するタッチ情報アイテムのそれぞれの位置（localisation）によって決定される特有の処理オブジェクトが作られる。

電子機器（移動電話、コンピュータなど）の制御には、適切な操作によって供与される多様な機能にアクセスできるように、少なくとも１つのマンマシンインタフェース装置が必要である。

この操作は、少なくとも２つの装置を連携して使用することによって大幅に簡易化され改善される。実際に、一定の装置は一定のタイプのタスクにより適合し、他の装置は第２のタイプのタスクにより適合する。また、ユーザは、両手を利用してより高速により多数のタスクを実行することができる。

例えば、パーソナルコンピュータの場合、ユーザは、キーボードおよびマウスの２つの装置を使用することができる。この場合、それぞれの手は、１セットのタスクに割り当てられる。例えば、利き手は、マウス（または、他の任意のポインティング周辺機器）によってポインティングし、また、必要であれば、他の処理操作（右クリック、スクロールホイール）を実行する。そして、他の手は、従タスク（キーボードショートカット、ファンクションキー）を実行する。両手を組み合せることによって、利き手を別個に用いるよりはるかに高速で効率よく複雑なソフトウェアプログラムの機能セットにアクセスすることができる。

また、非利き手の指によってキーを押すことによって、マウスのポジションに対応してカーソルが位置付けられたポジションに、ドロップダウンメニューを表示することができてもよい。この場合、利き手によって、マウスでドロップダウンメニュー内のカーソルを変位させることによって、リスト中の処理操作を選択することができる。同様に、一定のソフトウェアプログラムによって、両手の同期動作を必要とする高度な文書編集手段が供与される。例えば、ユーザは、グラフィックオブジェクト、ファイルまたはテキストを含むブロックをコピーするのに、非利き手の指でキーボードのキーを押下すると同時に、利き手の指でマウスボタンを押す。そして、ユーザは、キーボードキーおよびマウスボタンを押下することによって選択したオブジェクトを変位させてコピーする。

しかしながら、グラフィックオブジェクトの高速操作に関するこのタイプの相互作用による解決方法は、ポータブル電子装置、より詳細には、第三世代移動電話、ウルトラモバイルコンピュータ、または携帯ゲーム機のコンソールにさえ用いることができない。実際に、益々高度な機能が供与されているが、これらの装置の小型化および空間的制約のため、複数のマンマシンインタフェース装置を組み合わせることは不可能である。

これらの空間的制約に応じるため、増え続けるポータブル電子装置の製造業者は、タッチ画面を主要なマンマシンインタフェース装置として用いている。

特許文献の仏国特許発明第２７５１４４２号明細書には、ポータブルマンマシンインタフェース装置の操作を簡易にする１つの解決方法が記載されている。この文献には、サイズが縮小されたキーボードと、このキーボードに関連付けられたタッチ画面と、を伴って提供される装置が提案されている。一方では、このキーボードは、従来のキーボードのキーの数と比べてより少ない数のキーを伴って提供される。他方では、このキーボードによって、カーソルをポジショニングし、画面上のオブジェクトを選択することができる。タッチ画面によって、キーボード上に提供されない文字を用いたり、コンテキストコマンドをアクティブにしたりすることができる。キーボードキーおよび／またはタッチ画面のキーでドライバ手段を駆動することによって、キーボード上に提供されない英数字をタッチ画面上に表示し、同時に、キーボード上に提供された英数字をディスプレイ画面上に表示することができる。キーボードキーおよび／またはタッチ画面のキーでディスプレイ画面を制御する手段それ自体を駆動することによって、キーボード上またはタッチ画面上に提供される英数字のディスプレイ画面上への表示を開始することができる。

しかしながら、キーボードとタッチ画面とを組み合わせたこのタイプの解決方法には、ユーザの一方の手が他方の手を圧倒することを配慮しないという欠点がある。実際に、タッチ画面の操作において、他方の手の労力をほとんど必要としないので利き手は明白である。ポータブル装置（電話、ｍｐ３読取装置、ＧＰＳなど）の特定の場合において、この他方の手の機能は、装置を支えるのみである。両方の手が貢献しないため、画面の使用が遅くなり、ユーザは、複雑な処理操作（文書の編集など）を実行することができない。また、キーボードは、必然的に小型化されたキーを表すので、その結果、キーを高速に操作するのは難しい。

したがって、同時に複数のポインティング手段で操作可能な多点接触タッチ画面のみを伴って提供されたポータブル機器の場合、ユーザの両方の手を使うことによってグラフィックオブジェクトの操作を改善することを配慮していない。特許文献の米国特許出願公開第２００３／０９８８５８号明細書において、タッチ画面は、仮想キーセットを伴って提供される仮想標準キーボードを表示する。ユーザは、ポインティング手段（指、スタイレットなど）を用いてキーをポインティングすることによって、キーを使用することができる。特許文献の米国特許出願公開第２００６／０９７９９１号明細書では、ユーザは、タッチ画面の処理におけるマンマシンインタフェースによって、ポインティング手段を移動してグラフィックオブジェクトを容易に選択することができる。特許文献の仏国特許出願第２８６６７２６号明細書では、タッチ画面は、画面と、タッチ情報アイテムを取得する透明多点接触タッチセンサと、これらのタッチ情報アイテムに従って制御信号を生成する算出手段と、を有する。グラフィックオブジェクトはタッチ画面上で生成され、これらのグラフィックオブジェクトのそれぞれは、少なくとも１つの特有の処理ルールに関連付けられる。センサは、取得するごとに複数のタッチ情報アイテムを送出する。これらのタッチ情報アイテムのそれぞれから、これらのグラフィックオブジェクトのうちの１つのポジションに対するタッチ情報アイテムのそれぞれの位置によって決定された特有の処理オブジェクトが作られる。

しかしながら、実際に、これらのインタフェースシステムは、２本の手で平等に分担してタスクを管理するように提供されないので、これらの解決方法のいずれも、両方の手を用いて動作するように設計されない。したがって、ポータブル多点接触タッチ画面を支える機能を果たす手は、この機能のみを果たす。また、マンマシンインタフェースは、従タスクを実行することによって結果として利き手のワークロードを軽くし、このようにグラフィックオブジェクトの操作を簡易にするように設定されていない。

本発明は、この技術的課題に対処すること、または言い換えると、高速で複雑な操作の保証を鑑みてタスクを２本の手で平等に分担することを目的とする。この目的のため、本発明は、第１列の主グラフィックオブジェクトおよび第２列の従グラフィックオブジェクトを規定し、それぞれを特有の処理ルールと主機能および従機能とに関連付けることを提案する。これらの２つのタイプのグラフィックオブジェクトは、予め定められた複雑なタスクの実行を鑑みて補足的に相互作用してもよい。グラフィックオブジェクトは、第１列のオブジェクトを第１セットのポインティング手段で操作し、第２列のオブジェクトを第２セットのポインティング手段で操作することができるようにディスプレイ画面上に編成される。

この解決方法へのアプローチは、異なるレベルのグラフィックオブジェクトがそれぞれの操作の困難さに従って相互作用することができる解決方法を探し求めることを含む。この場合、グラフィックオブジェクトの機能の相補的性質に従ってそれぞれのセットのポインティング手段に割り当てられたタスクを分配することによって、グラフィックオブジェクトのセットを、例えば、所定のユーザの２本の異なる手の指などの複数のポインティング手段と組み合わせることができることが明らかになった。

このため、本発明の目的は、グラフィックオブジェクトの操作によって電子機器を制御する装置である。この装置は、ディスプレイ画面と、複数のポインティング手段によって作り出される多点接触タッチ情報アイテムを取得する透明多点接触タッチセンサと、これらのタッチ情報アイテムに従って制御信号を生成しこのディスプレイ画面上にグラフィックオブジェクトを生成することができる電子制御回路と、を有する。これらのグラフィックオブジェクトのそれぞれは、少なくとも１つの特有の処理ルールに関連付けられる。これらのタッチ情報アイテムのそれぞれから、グラフィックオブジェクトのポジションに対するタッチ情報アイテムのそれぞれの位置によって決定される特有の処理オブジェクトが作られる。この装置は、第１列の主グラフィックオブジェクトおよび第２列の従グラフィックオブジェクトを有し、これらの主グラフィックオブジェクトのそれぞれは、主機能を表し、少なくとも１つの特有の主処理ルールに関連付けられ、これらの従グラフィックオブジェクトのそれぞれは、従機能を表し、少なくとも１つの特有の従処理ルール関連付けられる。これらの従グラフィックオブジェクトの機能は、これらの主グラフィックオブジェクトの機能を補足する。これらの従グラフィックオブジェクトは、ディスプレイ画面上のこれらの主グラフィックオブジェクトの位置と異なる位置で配備される。これらのグラフィックオブジェクトは、この第１列の主グラフィックオブジェクトが第１セットのポインティング手段で操作され、この第２列の従グラフィックオブジェクトが第１セットのポインティング手段と別の第２セットのポインティング手段で操作されるように編成される。これらの従グラフィックオブジェクトのうちの少なくとも１つの操作によって、これらの主グラフィックオブジェクトのうちの少なくとも１つのプロパティが変更される。

グラフィックオブジェクトをそれらの特有の処理ルールおよび関連する機能によって分けることと、ポインティング手段に関してグラフィックオブジェクトを編成することとを組合せることによって、時間を費したり複雑で冗長な操作に労力を使ったりすることなく、異なるポインティング手段を有するタッチ画面を装備した電子装置を操作することができる。

特定の実施形態によれば、従グラフィックオブジェクトのうちの少なくとも１つの操作によって変更される主グラフィックオブジェクトのうちの少なくとも１つのプロパティのうちの１つは、表示である。

上記実施形態を補足する実施形態によれば、従グラフィックオブジェクトのうちの少なくとも１つの操作によって変更される主グラフィックオブジェクトのうちの少なくとも１つのプロパティのうちの１つは、関連付けられた特有の処理ルールである。

また、上記実施形態を補足する実施形態によれば、従グラフィックオブジェクトのうちの少なくとも１つの操作によって変更される主グラフィックオブジェクトのうちの少なくとも１つのプロパティのうちの１つは、ディスプレイ画面上の位置である。

第１セットのポインティング手段は、片手で操作されることが好ましい。

この場合、特定の実施形態によれば、第１セットのポインティング手段は、片手で操作されるスタイレットを有することによって、特に電子機器に伴って提供されるタッチ画面上に精巧に書く機能を実行することができる。

他の実施形態によれば、第１セットのポインティング手段は、片手の少なくとも１本の指を有する。

第２セットのポインティング手段は、片手で操作されることが好ましい。

この場合、特定の実施形態によれば、第２セットのポインティング手段は、片手の少なくとも１本の指を有する。このように、例えば、アプリケーションが必要とするニーズに従って電子機器を支える機能に関して、この手で利点が得られることがある。

第１セットのポインティング手段および第２セットのポインティング手段のそれぞれの手は、ユーザの２本の異なる手であることが有利である。このように、グラフィックオブジェクトの操作は、ユーザの２本の手の相補的性質を使用して最適化される。

第１セットのポインティング手段および第２セットのポインティング手段の手は、それぞれ、利き手および非利き手を有する場合、主グラフィックオブジェクトは、利き手によって操作され、従グラフィックオブジェクトは、非利き手によって操作されることが好ましい。このように、それぞれの手によって実行されるタスクは、適切なレベルの複雑さに割り当てられるので、グラフィックオブジェクトのより精密な操作が可能となる。

特定の実施形態によれば、少なくとも１つの主グラフィックオブジェクトの主機能は、書く機能である。

他の特定の実施形態によれば、少なくとも１つの主グラフィックオブジェクトの主機能は、ポインティング機能である。

他の特定の実施形態によれば、少なくとも１つの従グラフィックオブジェクトの従機能は、利き手で操作される少なくとも１つの主グラフィックオブジェクトに割り当てられた機能を選択する機能である。

再び、第１セットのポインティング手段および第２セットのポインティング手段のそれぞれの手は、利き手および非利き手を有する場合、主グラフィックオブジェクトおよび従グラフィックオブジェクトは、それぞれ、利き手および非利き手により近くになるよう位置付けられることが好ましい。このように、ポインティング手段の移動距離は短くなるので、操作速度が最適化される。

電子機器がポータブルである場合、非利き手は、電子機器を支えることが有利である。このように、この手に第２キーを利用する機能の他に二重の機能が与えられる。

少なくとも１つの従グラフィックオブジェクトのポジションは、ユーザによって変更されることが好ましい。この処理操作は、追加のグラフィックオブジェクト、または、対応する検出ゾーンを押さえながら対応するポインティング手段をスライドする処理操作によって実行してもよい。

取得のプロパティは、第１セットのポインティング手段および第２セットのポインティング手段と、主グラフィックオブジェクトおよび従グラフィックオブジェクトと、に従って変更されることが好ましい。このように、例えば、考慮するグラフィックオブジェクトのニーズに従って、スキャンの解像度および周波数を適応させることができる。例えば、機能が書くことである主グラフィックオブジェクトの場合、このグラフィックオブジェクト上で非常に高い解像度の取得を保証することによって、ユーザが書いたものに関してより精巧なタッチ情報アイテムを取得することができる。

本発明に係る多点接触タッチ画面を組み込んだ電子機器を制御する装置の図である。 本発明に係る多点接触タッチ画面を有する装置の構造図である。 主グラフィックオブジェクトによって表すことができる異なる機能を例示する図である。 主グラフィックオブジェクトと従グラフィックオブジェクトとの間の相互作用および相補的性質を例示する図である。 主グラフィックオブジェクトと従グラフィックオブジェクトとの間の相互作用および相補的性質を例示する図である。 主グラフィックオブジェクトと従グラフィックオブジェクトとの間の相互作用および相補的性質を例示する図である。 主グラフィックオブジェクトと従グラフィックオブジェクトとの間の相互作用および相補的性質を例示する図である。 主グラフィックオブジェクトと従グラフィックオブジェクトとの間の相互作用および相補的性質を例示する図である。 主オブジェクト上で検出されたカーソルの数およびそれぞれの変位に従って、適切な制御ルールを選択することができるステップの機能図である。 従オブジェクト（３ａ〜３ｄ）によって特有の制御ルールのコレクションを決定し、この制御ルールのコレクションの中からポインティングモードに従って適切な制御ルールを選択可能なステップを示す図である。 コンテキストオブジェクトを表示可能なステップを示す図である。 図１１で説明した方法の変形例を示す図である。

次に、本発明の実施形態について、添付の図面を参照しながら説明する。

上記の図面において、同一の参照符号は、そうでないと示さない限り同様の技術特性に関する。

図１に例示するように、装置は、周知のタイプのディスプレイ装置などの電子機器１を有する。このディスプレイ装置は、例えば液晶ディスプレイ装置でもよい。このディスプレイ装置によって、複数のグラフィックオブジェクト２および３を表示することができる。透明多点接触タッチセンサ４は、ディスプレイ装置上に配備される。この透明多点接触タッチセンサ４によって、同時に１セットの接触ポイントを取得することができる。それぞれの接触は、センサ４の表面上の物体５ｂまたは指５ｃ、５ｄもしくは６ｂの存在に対応しており、主グラフィックオブジェクト２および従グラフィックオブジェクト３ａ、３ｂ、３ｃおよび３ｄのセットを操作することができる。

使用される接触手段のうち、第１セット５は、スタイレット５ｂを保持する利き手５ａを構成する。また、親指５ｃおよび人差し指５ｄは、ポインティング手段としての役割を果たす。第２セット６は、非利き手６ａを構成する。また、第２セット６は、電子機器がポータブルである場合、電子装置の支えとしての役割を果たす。この場合、ポインティングを実行する唯一の可動な指は、親指６ｂである。

第１の主グラフィックオブジェクト２は、利き手５ａで操作してもよく、従グラフィックオブジェクト３ａ、３ｂ、３ｃおよび３ｄのセットは、非利き手６ａで操作してもよい。これらのグラフィックオブジェクトは、親指６ｂが従グラフィックオブジェクト３ａ〜３ｄの近くに置かれ、利き手５ａで操作されるスタイレット５ｂが主グラフィックオブジェクト２の近くに置かれるように画面４上に配備される。このため、ポインティング手段の移動距離は、かなり短くなる。また、従グラフィックオブジェクト３ａ〜３ｄは、縦軸に沿って並列して配備されるので、オブジェクトのうちの１つから他へのシフトが簡易になる。

図１は、利き手５ａがユーザの右手で、一方、非利き手６ａが左手である場合を示す。ユーザの性向が逆の場合、ユーザは、この新たな性向に従ってグラフィックオブジェクトをポジショニングするという観点で、画面を調整することができる。あるいは、言い換えると、ユーザは、従グラフィックオブジェクト３ａ〜３ｄを画面の右側に、主グラフィックオブジェクト２を左側に位置付けることができる。

従グラフィックオブジェクト３ａ〜３ｄは、これらの多様性およびサイズが小さいことによって、特にドロップダウンメニューとして使用することができる。これらの従グラフィックオブジェクトのそれぞれは、表示されている主グラフィックオブジェクトのうち少なくとも１つに影響を及ぼすことが可能な選択肢を構成する。このため、接触によって従グラフィックオブジェクト３ａ、３ｂ、３ｃまたは３ｄが駆動されることによって、例えば、表示、関連付けられた特有の処理ルールまたはディスプレイ画面４上の位置などの主グラフィックオブジェクト２またはその時までに表示されていない他の主グラフィックオブジェクトのプロパティを変更してもよい。

このタイプの主グラフィックオブジェクトと従グラフィックオブジェクトとの間の相互作用では、使用可能な異なるポインティング手段の能力が最適に活かされる。実際に、非利き手の親指６ｂは、あまり動き易くなく制御が容易でないが、それにもかかわらずドロップダウンメニューで選択する従タスクを実行するには十分である。このドロップダウンメニューは、利き手でも達成可能なタスクを構成する従グラフィックオブジェクト３ａ〜３ｄを有する。しかし、非利き手の親指の動き易さおよび器用さで可能なタスクより複雑なタスクに費やされる時間を損失する。利き手５ａで操作されるスタイレット５ｂ（または親指５ｃもしくは人差し指５ｄ）には、その能力を完全に活かす複雑なタスク（書く、描くなど）を排他的に割り当てる。

次に、図２を参照しながら、装置の構造図について説明する。図２は、一実施形態による装置の断面図を示す。この装置は、透明マトリックス型タッチセンサ７と、ディスプレイ画面４と、検出インタフェース９と、メインプロセッサ１０と、グラフィックプロセッサ１１と、を有する。

このタッチ装置の第１基本要素は、検出インタフェース９による取得（多点接触操作）に必要なタッチセンサ７である。この検出インタフェース９は、取得および分析回路を有する。タッチセンサ７は、マトリックス型である。このタッチセンサは、検出の高速化のため、必要であれば、複数の部分に分割してそれぞれの部分を同時に走査することができる。

検出インタフェース９から発したデータは、フィルタリングされてメインプロセッサ１０に送信される。メインプロセッサ１０は、ローカルプログラムを実行して、画面パッドからのデータを画面４上に割り当てられた操作用グラフィックオブジェクトに関連付けることができる。また、メインプロセッサ１０は、ディスプレイ画面４上に表示するデータをグラフィックプロセッサ１１に送信する。このグラフィックプロセッサは、グラフィックインタフェイスを駆動する。

マトリックス型センサ１は、例えば、抵抗式または投影型静電容量式センサである。このセンサは、２つの重なった透明な層を有し、これらの層上には、導線に対応する行または列が編成される。このように、これらの層は、導線のマトリックス型ネットを形成する。したがって、タッチセンサ７は、それぞれが透明電極のネットを表す２つの重なったワイヤから構成される。これらは、例えばインジウム錫酸化物（ＩＴＯ）で作られる。第１層の電極は、第２層の電極に対して垂直に構成されることによってマトリックスを形成する。２つの層は、間隔を保持するステーによって絶縁されることが好ましい。２つの層を作る電極セットは、制御回路に接続される。この制御回路は、順次タッチセンサに電力を供給して走査することによって、それぞれの取得フェーズ中にマトリックスのそれぞれのノードの状態を推定することができる。

接触がアクティブになったか否かを知りたい場合、マトリックスのそれぞれのノード端子における電気特性（電圧、キャパシタンスまたはインダクタンス）を測定する。この装置は、センサ７およびメインプロセッサ１０に統合された制御回路を利用することによって、１００Ｈｚのオーダのサンプリング周波数を用いてセンサ７全体のデータを取得することができる。

パッシブマトリックスを有するタッチセンサの場合、取得は以下のように実行される。列には電力が供給され、センサの行のそれぞれにおける応答を検出する。これらの応答に従って、状態が休止状態に比べて変更されたノードに対応する接触ゾーンを決定する。状態が変更された１つまたは複数のセットの隣接するノードを決定する。この１セットの隣接ノードによって、１つの接触ゾーンが規定される。このノードセットから、本発明でカーソルを意味するポジション情報を算出する。非アクティブゾーンによって分離されたノードセットが複数ある場合、所定の走査フェーズ中に複数の独立したカーソルを決定する。

この情報は、新たな走査フェーズ中に周期的にリフレッシュされる。カーソルは、順次行われる走査中に得られた情報に基づいて作成され、追跡され、消滅する。例えば、カーソルは、接触ゾーンの重心を求める関数によって計算される。一般的な原理として、タッチセンサ上で決定された接触ゾーンと同数のカーソルを作成し、その時間的変化を追跡する。利用者が自分の指をセンサから離すと、関連付けられていたカーソルは消滅する。こうして、タッチ検出センサ上にある複数の指のポジションおよび変遷を同時に検出することができる。

メインプロセッサ１０は、センサからのデータをディスプレイ画面８に割り当てられた操作用グラフィックオブジェクトに関連付けることができるプログラムを実行する。

有利な実施形態によれば、それぞれの取得フェーズにおいてマトリックスのそれぞれのノードで測定される電気特性は、電位である。このように、例えば、指またはペンにかかわらず動作を検出することができる。また、電位の測定と並行してまたは電位の測定後続けて電極間の静電容量を測定することができる。

制御回路は、集積回路１０に統合してもよい。これは、周知のタイプのマイクロコントローラでもよい。代替方法として、集積回路は、ＦＰＧＡまたはマイクロプロセッサでもよい。このマイクロプロセッサは、電子装置１のメインプロセッサでもよい。集積回路上の入力数および出力数を制限するため、マルチプレクサを挿入してもよい。

図３は、本発明を利用した一実施形態による、グラフィックオブジェクト上における利き手を用いたポインティングの異なる形態を示す。単一の接触ポイント１２（カーソル）が主グラフィックオブジェクト２ａ上で検出された場合、第１ポインティングモードをアクティブにする（図３（Ａ））。２つの指が検出された場合、制御回路は、２つの作成されたカーソル１３ａおよび１３ｂの間で軌跡、方向および距離を算出する。これらのカーソルが互いの距離が実質的に増加することなく同じ方向で同時に１つのフレームから他のフレームに変位した場合、第２ポインティングモードをアクティブにする（図３（Ｂ））。カーソル１３ａおよび１３ｂが２つの逆の方向に変位するか、または互いの距離が１つの取得フェーズから他の取得フェーズで実質的に増減した場合、第３ポインティングモードをアクティブにする（図３（Ｃ））。

図９は、主オブジェクト上で検出されたカーソルの数およびそれぞれの変位に従って適切な制御ルールを選択することができるステップの機能図を示す。

ここで、ポインティングモードに従って、表示されたグラフィックオブジェクトに関連付けられた特有の処理ルールが適用される。例えば、グラフィックオブジェクト２ａが写真または図面である場合、第１モードによって、例えば、カーソル１２のポジショニングに従ってグラフィックオブジェクト２ａを変位させることができる。第２モードでは、例えば、２つのカーソル１３ａおよび１３ｂの軌跡に従って変位を加速することができる。一方、第３モードでは、例えば、２つのカーソル１３ａおよび１３ｂの間の距離に従ってオブジェクトを拡大することができる。

図３で例示されたポインティングモードは、他のタイプのグラフィックオブジェクトに適用されてもよい。例えば、グラフィックオブジェクトが、ユーザが指またはスタイレットによって手書き原稿を取得することができるテキストゾーンである場合、ポインティングモードに従って、このオブジェクトに特有の処理ルールが適用される。例えば、第１ポインティングモードでは、カーソルの軌跡は１つの取得フェーズから他の取得フェーズへと追跡される。そして、線分または補間された曲線が１つの点から他の点へとプロットされる。このように、文字認識処理を適用することによって手書きを復元することができる。第２ポインティングモードでは、ユーザは、テキストゾーンをスクロールすることができる。第３ポインティングモードでは、ユーザは、指を離して広げたり、または、より近づけたりすることによって、テキストゾーンを拡大することができる。

図４は、非利き手６ａを用いてポインティングするモードを示す。一般に、ポータブル装置では、非利き手６ａは装置を支える。親指６ｂのみが処理操作に使用することができる。しかしながら、画面の端部に配備されたボタンなどのグラフィックオブジェクトを操作することができる。

このタイプの配列には、これらのグラフィックオブジェクトが偶然駆動されるというリスクが倍増するという欠点がある。このリスクを最小にするために、優先ポインティングモードによって画面４の内部の左コーナにポジショニングされた第１ボタン１４をアクティブにすることができる。この結果、画面に沿って規定された数のボタン３ａ〜３ｄを有するドロップダウンメニューが表示される。異なるボタンにアクセスするため、非利き手６ａの親指６ｂを縦方向にスライドさせる。

一番下のボタン１４が駆動されたとき、カウントダウン（ＴＴＬ：英語で「Time to Live（有効時間）」）をアクティブにすることが有利である。このように、このカウントダウンの終了時点でメニューのグラフィックオブジェクト３ａ〜３ｄのいずれも駆動されなかった場合、ドロップダウンメニューの表示を終了する。例えば、ＴＴＬ遅延は、２秒でもよい。この構成によって、高速かつ高い信頼性で複数の補助機能にアクセスするという利点が供与される。

このドロップダウンメニューによって、第１ドロップダウンメニューに対して垂直に配備されたサブメニューが示されることが有利である。

操作をより効果的にするため、上記のポインティングモードを組み合わせてもよい。

図５は、図３および図４で記載したポインティングモードを組合せたモードを示す。写真または他の任意の画像を操作可能なアプリケーションの（上記で参照された）実施例では、非利き手６ａの親指６ｂによってドロップダウンメニューのボタンがアクティブになると、利き手５ａで操作されるグラフィックオブジェクト２ａに適用される特有の処理ルールが変更される。したがって、「選択（英語で「Select」）」ボタン３ｄが選択された場合、利き手５ａの第１ポインティングモード（図５（Ａ））によって画像の一部を取り囲んで選択できるようにしたり、第３ポインティングモード（図５（Ｂ））によってこの選択範囲を拡大できるようにしたりする。

同じボタン３ｄの起動で手書形式のテキストを取得することができるアプリケーションの（上記で参照された）他の実施例において、同じボタン３ｄがアクティブになると、第１ポインティングモード（図５（Ａ））によってテキストを文字ごとに選択することができる。そして、第３ポインティングモード（図５（Ｂ））によってテキストすべてを選択することができる。

図１０は、従オブジェクト（３ａ〜３ｄ）によって特有の制御ルールのコレクションを決定し、この制御ルールのコレクションの中からポインティングモードに従って適切な制御ルールを選択することができるステップを示す。

同様に、図６および図７は、上記のポインティングモードを組み合わせた他のモードを例示する。ここで、利き手５ａで操作される主グラフィックオブジェクト２ａを処理する特有のルールを変更する代わりに、非利き手６ａの親指６ｂによってドロップダウンメニューのボタンの３ｃがアクティブになると、主オブジェクト２ａ上に重ねた他の主オブジェクトを一時的に表示する。このオブジェクトは、例えば、番号付きリストまたはアイコンリストの形式で異なる機能を供与するドロップダウンメニューでもよい。この場合、利き手５ａでこれらの機能のうちの１つを選択してもよい。このように、図６で例示されるように、非利き手６ａの親指によって「編集（英語で「Edit」）」ボタン３ｃを選択した場合、ドロップダウンメニュー１５が現れ、利き手５ａによって、コピー（Copy）１５ａ、カット（Cut）１５ｂおよび削除（Delete）１５ｃなど複数の処理操作を実行することができる。図７で例示されるように、非利き手６ａの親指６ｂが「エクスポート（英語で「Export」）」ボタン３ａを選択した場合、メニュー１６が現れ、例えば、文書を「エクスポート」したいフォーマットまたはターゲットを選択することができる。

図１１は、コンテキストオブジェクトを表示することができるステップの図を示す。コンテキストオブジェクトは、画面の例えば中央などの任意のポジションに表示されることに留意されたい。

図１２は、図１１で説明した方法の変形例を示す。本実施形態では、任意に決定された座標ではなく、最後に検出されたポインタの最後のポジションに従って、コンテキストオブジェクトを表示する。本実施形態は、特に大画面に関して有利である。このように、ユーザの利き手が存在した最後のポジションにコンテキストオブジェクトを表示する。したがって、コンテキストオブジェクトを使用するのに利き手を画面の任意のポジションに変位させるのを防止する。

図８の場合、書く機能がアクティブになっている。利き手５ａでスタイレット５ｂを操作することによって、ディスプレイ画面４のグラフィックオブジェクト２ａ上に書くことができる（図８（Ａ））。接触ゾーン１７（図８（Ｂ））の存在によって、筆跡が検出されるゾーンにおいて、より高い解像度で多点接触タッチセンサのマトリックスに関する取得が達成されることを前提としてもよいことが有利である。このように、最後に検出された接触ポイント１７の周囲の小さいサイズのゾーンで解像度を高くすることによって、次の取得中にスタイレットｓｂの変位を予想することができる。したがって、接触ゾーンの近くで同様により精密なタッチ情報アイテムが取得される。

上記の本発明の本実施形態は、実施例として与えられたものであり、決して限定的ではない。当業者であれば、特許請求の範囲から逸脱することなく本発明の異なる変形例を達成可能であることを理解されたい。

Claims (18)

1. グラフィックオブジェクトの操作によって電子機器を制御する装置であって、該装置は、
   ディスプレイ画面と、複数のポインティング手段によって作り出される多点接触タッチ情報アイテムを取得する透明多点接触タッチセンサと、前記タッチ情報アイテムに従って制御信号を生成し前記ディスプレイ画面上にグラフィックオブジェクトを生成することができる電子制御回路と、を有し、
   前記グラフィックオブジェクトのそれぞれは、少なくとも１つの特有の処理ルールに関連付けられ、
   前記タッチ情報アイテムのそれぞれから、前記グラフィックオブジェクトのポジションに対する前記タッチ情報アイテムのそれぞれの位置によって決定される特有の処理オブジェクトが作られ、
   第１列の主グラフィックオブジェクトおよび第２列の従グラフィックオブジェクトを有し、
   前記主グラフィックオブジェクトのそれぞれは、主機能を表し、少なくとも１つの特有の主処理ルールに関連付けられ、
   前記従グラフィックオブジェクトのそれぞれは、従機能を表し、少なくとも１つの特有の従処理ルール関連付けられ、
   前記従グラフィックオブジェクトの機能は、前記主グラフィックオブジェクトの機能を補足し、
   前記従グラフィックオブジェクトは、ディスプレイ画面上の前記主グラフィックオブジェクトの位置と異なる位置で配備され、
   前記グラフィックオブジェクトは、前記第１列の主グラフィックオブジェクトが第１セットのポインティング手段で操作され、前記第２列の従グラフィックオブジェクトが第１セットのポインティング手段と別の第２セットのポインティング手段で操作されるように編成され、
   前記従グラフィックオブジェクトのうちの少なくとも１つの操作によって、前記主グラフィックオブジェクトのうちの少なくとも１つのプロパティが変更される、装置。
2. 前記従グラフィックオブジェクトのうちの少なくとも１つの操作によって変更される前記主グラフィックオブジェクトのうちの少なくとも１つのプロパティのうちの１つは、表示である、請求項１に記載の装置。
3. 前記従グラフィックオブジェクトのうちの少なくとも１つの操作によって変更される前記主グラフィックオブジェクトのうちの少なくとも１つのプロパティのうちの１つは、前記関連付けられた特有の処理ルールである、請求項１または２に記載の装置。
4. 前記従グラフィックオブジェクトのうちの少なくとも１つの操作によって変更される前記主グラフィックオブジェクトのうちの少なくとも１つのプロパティのうちの１つは、前記ディスプレイ画面上の位置である、請求項１〜３のいずれか１項に記載の装置。
5. 前記第１セットのポインティング手段は、片手で操作される、請求項１〜４のいずれか１項に記載の装置。
6. 前記第１セットのポインティング手段は、片手で操作されるスタイレットを有する、請求項５に記載の装置。
7. 前記第１セットのポインティング手段は、片手の少なくとも１本の指を有する、請求項５または６に記載の装置。
8. 前記第２セットのポインティング手段は、片手で操作される、請求項１〜７のいずれか１項に記載の装置。
9. 前記第２セットのポインティング手段は、片手の少なくとも１本の指を有する、請求項８に記載の装置。
10. 前記第１セットのポインティング手段および前記第２セットのポインティング手段に関するそれぞれの手は、ユーザの２本の異なる手である、請求項５に従属する請求項８に記載の装置。
11. 前記第１セットのポインティング手段および前記第２セットのポインティング手段に関するそれぞれの手は、利き手および非利き手を有し、
    前記主グラフィックオブジェクトは、前記利き手によって操作され、
    前記従グラフィックオブジェクトは、前記非利き手によって操作される、請求項１０に記載の装置。
12. 少なくとも１つの主グラフィックオブジェクトの主機能は、書く機能である、請求項１１に記載の装置。
13. 少なくとも１つの主グラフィックオブジェクトの主機能は、ポインティング機能である、請求項１１または１２に記載の装置。
14. 少なくとも１つの従グラフィックオブジェクトの従機能は、前記利き手で操作される少なくとも１つの主グラフィックオブジェクトに割り当てられた機能を選択する機能である、請求項１１〜１３のいずれか１項に記載の装置。
15. 前記主グラフィックオブジェクトおよび前記従グラフィックオブジェクトは、それぞれ、前記利き手および前記非利き手により近くになるよう位置付けられる、請求項１１〜１４のいずれか１項に記載の装置。
16. 前記電子機器はポータブルであり、前記非利き手は、前記電子機器を支える、請求項１１〜１５のいずれか１項に記載の装置。
17. 少なくとも１つの従グラフィックオブジェクトのポジションは、ユーザによって変更される、請求項１〜１６のいずれか１項に記載の装置。
18. 取得のプロパティは、前記第１セットのポインティング手段および前記第２セットのポインティング手段と、前記主グラフィックオブジェクトおよび前記従グラフィックオブジェクトと、に従って変更される、請求項１〜１７のいずれか１項に記載の装置。

Images