JP2012531667A - 協働する入力ソースと効率的な動的座標リマッピングを用いるデュアルポインタ管理方法 - Google Patents

Abstract

ポインタ管理技術は、デュアルポインタの管理を絶対的入力モードおよび相対的入力モードの両方で行うためのプロトコルおよび方法を確立するものである。この方法は、入力センサの座標と対象画面の座標との間のコンテキストに応じた動的リマッピングのための特性／制約のセットを定義する。左のポインタ（右のポインタ）のリマッピングは、対象画面領域における右のポインタ（左のポインタ）の位置に依存する。このように相互に依存することによって、コンテキストに応じた配置を利用して瞬時にリマッピング変換を再評価するため、より柔軟で効果的なインタラクションが可能になる。

Description

本発明は、入力デバイスからの入力に応じて、ポインタまたはカーソルを生成して表示システムに表示する方法、コントローラ、および制御装置に関する。より具体的には、本発明は、複数の入力ソースに応じて複数のポインタまたはカーソルを生成する方法、コントローラ、および制御装置に関する。

新規かつ高度なインタラクション方法を提供する、コンシューマ向け電気製品用の無線または有線のコントローラが新しく多数開発されている。新たな傾向では、従来のボタンベースの手法から離れ、タッチパッド、タッチスクリーン、ジャイロスコープ、加速度計、静電容量式センサ等の複数のセンサを用いることでユーザが新たな体験ができるようにすることを目指している。テレビの分野において、この傾向は、一つには展開中のインターネットベースのサービス、マルチメディアエンターテイメント、およびゲームに関連する新たなアプリケーションの市場に応えるためのものである。

アプリケーションに共通して必要な普遍的なインタラクションの１つは、表示システムのグラフィカルユーザインターフェースに表示されている要素を指定して選択できる機能に関する。この種のインタラクションは、グラフィカルポインタまたはカーソルの使用に依存しており、これによってユーザは、たとえばタッチスクリーン、タッチパッド、またはジャイロスコープからの入力によって制御することができる。ポインタベースのインタラクションシステムのほとんどは、１つのポインタを使用しており、これは実際にはコンピュータの世界において行われるマウスポインタを用いるインタラクションを模倣したものである。

これが一般的に普及して広く採用されていることから、１つのポインタ（シングルポインタ）を用いる手法は、過去数十年にわたってその利便性と価値が証明されていることは確かである。しかしながら、ここでは、２つのポインタ（デュアルポインタ）によるインタラクションは、ユーザにさらなる利便性およびインタラクションの高速化という効果をもたらし、多くのタスクにおいて利点があると指摘する。デュアルモードのインタラクションでは、ユーザは一般的に両手を使う（それぞれの手が１つのポインタを制御する）。具体的には、改善の対象となるタスクには以下のことが含まれる。
・インターフェースに表示される仮想キーボードを用いたテキスト入力
・インターフェースに表示されているオブジェクトの集合の中から複数のオブジェクトを選択

デュアルポインタのインタラクションは、単に２つの入力ソース（たとえば２つのタッチパッド）を用いて、これらのポインタを独立して（絶対的または相対的な入力モードにおいて）管理することによって行うことができる。これらの独立してポインタを管理する方法には、インタラクティブスクリーン全体に対し、基本的なポインタをオーバーレイする方法（すなわち１つの共通領域に２つのポインタ）、または表示画面に表示されているインタラクション領域を２つの静止サブ領域（各ポインタに対して確定される１つの領域）に、基本的な分割を行う方法がある。

しかしながら、利便性、ユーザビリディ、および／またはポインタの指定精度のこととなると、デュアルポインタを独立させて管理する手法には欠点および制限がある。これらの制限は、インタラクションに関する２つの根本的な見解に関連している。１つ目は、互いに交差可能な２つのポインタを制御することは、ユーザを混乱させる。右手で制御するポインタは、左手で制御されるポインタの右手側に留まることが好ましく、その逆も同様である。２つ目は、ポインタが、ある特定の領域に限定されている場合、左のポインタの使用が１つのアクションセットに強制され、かつ右手の使用が別のアクションセットに強制されることは（たとえば、スプリットキーボードのように）、ユーザにとって苛立たしいものと思われる。

本発明は、新たな相互依存のデュアルポインタ管理方法を用いて効率的にこれらの制限を克服するものである。

ここに開示する技術により、２つの入力ソース間（たとえば、２つのタッチパッド、２つの入力領域を有するマルチタッチ・タッチパッド、２つのジョイスティック）で協働するモデルを用いる新たなポインタ管理方法を定義することで、コンテキストに応じた効率的な動的座標リマッピング手法によって、デュアルポインタベースの入力に応じてより直感的で利便性があり効率の良いインタラクションが可能になる。

この手法により、左右（または上下）のポインタを互いに交差しないようにする一方、ユーザは任意のポインタを用いていつでもオブジェクトを指定することができるので、インタラクションが便利かつ直感的なものになる。また、これにより、ユーザは、ポインタ動作を特定の各状況に応じてさらに容易に最適化できるため、ユーザインタラクションの速度をさらに高速化することができる。

本開示の実施の形態は、テキスト入力および複数のオブジェクト選択等の特定のタスクを対象としているが、本開示の技術を他の用途に用いることもできる。デュアルポインタの概念は、２つを超える入力ソースまたは２つを超えるポインタを有するマルチポインタの用途にも拡張することができる。

以下に詳細を記載しているように、本開示の技術は以下のような多くの効果を有するが、これらに限定されるものではない。
１．ポインタ（たとえば左右のポインタ）を交差させないようにするデュアルポインタの管理プロトコルを定義する。
２．主に絶対的デュアルポインタモードを対象とするが、中核となる原理には相対的ポイントモードも適用することができる。
３．左右のポインタ情報を用いて（たとえば１つのタッチパッドからの）入力座標を、（たとえば画面上への）出力座標に変換する相互依存のリマッピング処理を定義する。
４．相互依存のリマッピングパラメータは、左および／または右の指がそれぞれ動かされた後、再評価される（固定リマッピングとは反対のコンテキストリマッピング）。
５．リマッピングの機能によって、入力センサのエッジにおけるコンテクスチュアルな粘着性によって、ポインタの動きの連続性および滑らかさが得られる。
６．この方法は、片手の動作から両手の動作、またはその逆への滑らかな切り替えを支援するものである。

一実施の形態において、本開示の技術は、複数のポインタを表示画面上に生成する装置を提供する。前記装置は、複数の入力デバイスからの位置入力データを受信可能なマルチ位置入力システムと、前記表示画面においてそれぞれ異なるポインタ位置に表示するために複数のポインタを生成するポインタ生成システムとを備える。前記装置は、さらに、前記複数の入力デバイスからのすべての前記位置入力データを、各ポインタ位置を算出する際に反映させることによって前記異なるポインタ位置を算出するマッピング統合プロセッサを備える。前記マッピング統合プロセッサは、さらに、前記異なるポインタ位置を、前記プロセッサによって前記複数の入力デバイスからの前記入力データの情報に基づいて調整された動的境界においてそれぞれの位置が別々の側に位置するように算出する。

別の実施の形態によると、本開示の技術は、複数の入力デバイスに応答可能な複数のポインタを表示画面上に生成する方法を提供する。この方法によると、第１の入力デバイスから第１の位置信号を受信し、第２の入力デバイスから第２の位置信号を受信し、２つを超える入力デバイスがある場合にはさらなる位置信号を受信する。これらの位置信号は、電子的に処理され、表示画面に関連付けられた所定の表示座標系内における第１のポインタ位置および第２のポインタ位置が算出される。２を超える位置信号を受信した場合、追加のポインタ位置を算出する。算出したポインタ位置は、互いに異なるものであり、各ポインタ位置は、少なくとも第１の位置信号および第２の位置信号の両方に基づいている。第１のポインタおよび第２のポインタは表示画面上に生成され、前記第１のポインタは前記第１のポインタ位置に表示され、前記第２のポインタは前記第２のポインタ位置に表示される。２を超えるポインタ位置が算出された場合、追加のポインタが生成される。

当該方法によると、前記処理ステップは、前記第１および第２のポインタ位置を前記表示座標系内における動的境界の異なる側に限定するように行われ、前記動的境界は、前記第１および第２の位置信号に基づいて計算により調整される。

図１Ａは、本発明の制御技術の実施に役立つ、２つの別個のクリック可能なタッチパッドを有する遠隔制御装置の一例である。 図１Ｂは、本発明の制御技術の実施に役立つ、１つのマルチタッチのクリック可能なタッチパッドを有する遠隔制御装置の一例である。 図２は、図１Ａの制御装置の一例を示す図であり、表示画面上の同じ画面領域にマッピングされる複数のポインタの制御に使用されていることを示す。同図は、デュアルポインタシステムにおいて、ユーザが混乱する理由の１つを示している。 図３は、図１Ａの制御装置の一例を示す図であり、２つの固定サブ領域に限定されている複数のポインタの制御に、左右のポインタが用いられることを示す。これらのサブ領域は、重複してもよい場合と、重複してはならない場合がある。 図４は、図１Ａの制御装置の一例を示し、左右のポインタが画面上の２つの固定サブ領域に限定されている場合における、近接度の矛盾の一例を示す。 図５Ａは、図１Ａの制御装置の例であり、右手側のポインタのアドレス指定空間が、左手側のポインタのＸ軸位置によってどのように左側に固定または限定されるのかを示し、左手側のポインタのアドレス指定空間が、右手側のポインタのＸ軸位置によって右側に固定または限定されるのかを示す。同図において、これらの境界は動的に動く。 図５Ｂは、図１Ａの制御装置の例であり、右手側のポインタのアドレス指定空間が、左手側のポインタのＸ軸位置によってどのように左側に固定または限定されるのかを示し、左手側のポインタのアドレス指定空間が、右手側のポインタのＸ軸位置によって右側に固定または限定されるのかを示す。同図において、これらの境界は動的に動く。 図６は、図１Ａの制御装置の一例を示す図であり、デュアルポインタ管理技術の第１の実施の形態における境界の制約を示す。 図７は、動的スプリットが軽度のポインタのオーバーレイを許容する、デュアルポインタ管理技術の他の実施の形態を示す図である。 図８は、動的スプリットが外部境界を制限して有効ポインタ分解能を向上させる、デュアルポインタ技術の別の実施の形態を示す図である。 図９は、デュアルポインタ管理技術の別の実施の形態を示す図であり、右のインタラクション領域の動的領域が左側よりも大きいため、相対的モードにおいて、画面空間で配置が外れることは左のポインタよりも右のポインタに大きな影響力があることを示す。 図１０は、表示画面と関連して動作する制御装置の一実施の形態を示すハードウェア回路のブロック図である。 図１１は、制御装置によって与えられた機能を有効にするために、図１０のＣＰＵ（またはプロセッサ）およびグラフィック生成器によって行われる処理の例を示すフローチャート図である。 図１２は、表示画面上に複数のポインタを生成する制御装置の機能の例を示す機能ブロック図である。 図１３は、マルチ位置入力システムを使用する前記制御装置の他の実施の形態を示す機能ブロック図である。

本発明の技術は、デュアルポインタまたはマルチポインタの入力が可能な種々の入力デバイスに用いることができる。例示を目的として、代表的な２つの入力デバイスを図１Ａおよび図１Ｂに示す。図１Ａに示す装置は、２つのクリック可能な別個のタッチパッドという特徴を有する遠隔制御装置である。図１Ｂに示す装置は、複数のタッチによる入力を同時に識別することが可能な、１つのマルチタッチ面という特徴を有する遠隔制御装置である。当然のことながら、これらは単に可能性のある２つの例示的な実施の形態であり、他の種類のコントロールセンサを用いる別の実施の形態も可能である。たとえば、デュアルポインタのデバイスは、複数のジョイスティック、トラックボール、近接センサ等を用いることによって実現されてもよい。

本発明における概念をさらに理解できるように、種々のポインタ管理方法を以下に説明する。ポインタ管理方法は、ポインティングデバイスの（たとえばタッチパッド面の）空間と画面の対象領域との間に存在するマッピングの種類に依存する。本開示は、まず絶対的ポイント法に注目するが、ここに記載する基本概念は、相対的ポイント法にも該当するものである。本発明は、静的手法を用いる従来の手法（オーバーレイ法、基本スプリット法）とは対照的に、デュアルポインタまたはマルチポインタの管理において動的手法を用いる。

本明細書から明らかなように、ここに記載する画期的な技術は、２つ以上の別個のアドレス指定空間を提供する入力デバイス（複数であってもよい）に適用され、これは、たとえば２つ以上の別個のセンサ（たとえば、図１Ａの２つのタッチパッド）、または２つの論理領域を含む２つ以上の別個の領域を有する１つのセンサ（図１Ｂの１つのマルチタッチ・タッチパッド）を用いて実現されてもよい。

図１Ａを参照して、例示した遠隔制御装置は、２つのクリック可能なタッチパッド２０、２２およびアプリケーション定義可能なボタン群２４を有することを特徴とする。デバイスの向き（横向き、縦向き）、および手の位置は、静電容量式センサおよび加速度センサによって自動的に検出される。図１Ｂを参照すると、例示した遠隔制御装置は、マルチタッチ・タッチパッド２６を１つ有することを特徴としている。所望であれば、タッチパッド２６上の所定の指定領域を、タップされた時に、図１Ａの実施の形態のボタン群２４と同様に機能するアプリケーション定義可能なボタン群に付与することができる。

［オーバーレイポインタ法における課題］
図２に示すように、オーバーレイ法は、対象の画面領域３０と２つのタッチパッド領域２０、２２の任意の領域との間で１対１のマッピングを使用する。ユーザは、右または左に関わらず、いずれかのポインタを用いることで、画面領域内の任意の位置をポインタで指すことができる。（図２および後続の図２〜９において、左右のポインタを、部分的に描かれた人の左右の親指の図で示し、右ポインタ３２および左ポインタ３４として図示している。）このオーバーレイ法の大きな欠点は、左右のポインタが容易に交差可能であることであり、これによってユーザは時々混乱することがある。また別の問題は、各タッチパッドが同じ画面領域を対象としているため、全体的な場所指定の分解能があまり良好ではないことである。水平空間において、２つのタッチパッド（左右のタッチパッド）の幅を、２つの画面の幅にマッピングするために利用する。

［スプリットポインタ法における課題］
図３に示すように、基本的なスプリット法は、一般的に、各タッチパッドと対象画面領域のサブ領域との間で１対１のマッピングを作成する。実際には、右手で制御される右手側のポインタ３２は、画面領域の右手側のサブ領域３０Ｒ内に限定され、左手で制御される左手側のポインタ３４は、左手側のサブ領域３０Ｌ内に限定される。この方法を用いると、左右のポインタは交差することはないが、どちらのポインタも中間３０Ｍにおいては、交差することなく同時に存在することが可能である。また、スプリットポインタ法においては、２つのタッチパッドの幅が１つの対象画面領域の幅にマッピングされるので、場所指定の分解能が向上される。したがって、基本スプリット法は、明らかにオーバーレイ法を超える効果を有する。しかしながら、実験よって、ユーザは図４に示すような近接度の矛盾を感じるため、時に不快に感じることがわかった。

図４に示すように、対象物の近さによって、ユーザが自然と左のポインタではなく右のポインタを使いたくなる時があるが、固定のサブ領域によって分割された領域が固定されるので、そのように行うことができない。そのため近接度に矛盾を感じる。ほとんどのユーザは、入力対象物Ｔにアクセスするために右のポインタ３２を使用することが自然と思うだろうが、右のポインタは表示画面の右側の部分に限定されているため、その位置まで移動することができない。

［上記課題の解決策］
本発明は、上記需要に応えるため、以下のような新しい動的スプリット手法を用いる。
・交差しない左右のポインタ
・場所指定が高分解能であること
・いずれの指を用いても任意の対象座標をポインタで示すことができること

新たな動的スプリット手法を用いることで、左右のポインタに対する画面上のアドレス指定領域は静的に確定されず、この左右のポインタの実際の位置に基づいて動的に調整される。図５Ａおよび５Ｂに示されるように、右手側のポインタのアドレス指定空間Ｒは、左手側のポインタのＸ軸の位置によって左側に限定される。同様に、左手側のポインタのアドレス指定空間Ｌは、右手側のポインタのＸ軸の位置によって右側に限定される。これらの境界は、ポインタが移動する度にリアルタイムで動的に変動する。

動的なスプリット手法を用いることで、本発明をさまざまな方法で実施することができ、それにより絶対的なポインタ管理および相対的なポインタ管理をどちらも実現することができる。以下に、これを実現する方法をいくつか記載する。図６に示す基本動的ポインタの管理方法は、左右のそれぞれのポインタが互いのポインタ領域まで交差しないように動的領域を常に推定し直す。図７に示す軽度のポインタ交差方法は、全般的に絶対的ポインタ管理方法の動的手法を実行するが、各ポインタが他のポインタの領域と軽度に重複することを許容する。図８に示すポインタ管理方法は、基本動的手法を確実に実行させ、外部境界を制限する追加の特徴によって、さらに効率よくポインタの分解能を向上させる。以下の詳細説明において、絶対的ポインタ管理についてまず検討し、その後に相対的ポインタ管理について述べる。

以下の記述から明らかなように、動的境界は、共通の表示空間を左領域と右領域とに細分割する。ここにおいて、動的境界は、左領域の右側のエッジおよび右領域の左側のエッジを画定する。基本動的ポインタの管理方法においては、動的境界は、概ね、左右のエッジが一致する（つまり、左右の領域が互いに隣接する）一次元の垂直線によって示してもよい。軽度に重複する動的ポインタの管理方法において、動的境界は、左右の領域を分割する二次元の境界領域（たとえば、長方形の領域等）を表す。軽度に重複する場合において、左右のエッジが、その間にある動的境界領域によって相互に離間される。

［絶対的ポインタ管理］
［基本動的境界方法］
動的境界の結果、タッチパッド座標と画面座標との間のリマッピングは、継続的に再推定する必要がある。この新たなリマッピング方法により、所望の特性および制約を定義することによって、連続性および動きの滑らかさが得られる。以下は、中核となる制約を表す。
（１）Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬＬｘ（ｔ））＝＝ＳＬＬｘ（ｔ）
（２）Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬＲｘ（ｔ））＝＝ＳＬＲｘ（ｔ）
（３）ＳＬＲｘ（ｔ）＝＝ＳＲｘ（ｔ）
（４）ＳＲｘ（ｔ）＝＝Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲｘ（ｔ））
（５）Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲＲｘ（ｔ））＝＝ＳＲＲｘ（ｔ）
（６）Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲＬｘ（ｔ））＝＝ＳＲＬｘ（ｔ）
（７）ＳＲＬｘ（ｔ）＝＝ＳＬｘ（ｔ）
（８）ＳＬｘ（ｔ）＝＝Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬｘ（ｔ））
（９）ＳＬＲｘ（ｔ）＝＝ＳＲｘ（ｔ）
（１０）ＳＲＬｘ（ｔ）＝＝ＳＬｘ（ｔ）

上記制約（３）および（７）によって、到達可能性および連続性を実現する変動粘着性が形成される。この変動粘着性は、左のタッチパッドの右手側、および右のタッチパッドの左手側が最も強い。たとえば、右のタッチパッド上のユーザの指の位置がＴＲＬｘであると仮定した場合、左のポインタを動かすと右のポインタも動く。粘着性は、右のタッチパッドのユーザの指の位置がＴＲＲｘに向かうと次第に薄れていく。

正規化された空間が、タッチパッドおよび画面の座標にそれぞれ使用された場合（すなわちＴＬＬｘ＝０．０、ＴＲＬｘ＝０．０、ＳＬＬｘ＝０．０、ＴＬＲｘ＝１．０、ＴＲＲｘ＝１．０およびＳＲＲｘ＝１）、これらの式は、以下のように再公式化することができる。
（１）Ｌｅｆｔ＿Ｒｅｍａｐ（０．０）＝＝０．０
（２）Ｌｅｆｔ＿Ｒｅｍａｐ（１．０）＝＝ＳＬＲｘ（ｔ）
（３）ＳＬＲｘ（ｔ）＝＝ＳＲｘ（ｔ）
（４）ＳＲｘ（ｔ）＝＝Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲｘ（ｔ））
（５）Ｒｉｇｈｔ＿Ｒｅｍａｐ（１．０）＝＝１．０
（６）Ｒｉｇｈｔ＿Ｒｅｍａｐ（０．０）＝＝ＳＲＬｘ（ｔ）
（７）ＳＲＬｘ（ｔ）＝＝ＳＬｘ（ｔ）
（８）ＳＬｘ（ｔ）＝＝Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬｘ（ｔ））
（９）ＳＬＲｘ（ｔ）＝＝ＳＲｘ（ｔ）
（１０）ＳＲＬｘ（ｔ）＝＝ＳＬｘ（ｔ）

これらの制約の結果として、ポインタが交差できないようにするとともに、対象の画面領域において所望したあらゆる位置を任意のポインタで指定することができるようにすることが重要である。このような対象の特性を含む変換を多数構成することが可能である。

本発明の好ましい実施の形態は、正規化された空間を用いる場合、左右のポインタの以下の変換によって定義される。
Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬｘ（ｔ））＝０．５＊ＴＬｘ（ｔ）＋０．５＊ＴＲｘ（ｔ）＊ＴＬｘ（ｔ）
Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲｘ（ｔ））＝０．５＊ＴＬｘ（ｔ）＋１．０＊ＴＲｘ（ｔ）−０．５＊ＴＲｘ（ｔ）＊ＴＬｘ（ｔ）
上記は、以下の行列の積によって表すことができる。

これは、特定の二次方程式の系
に対応する。式中、二乗の項ＴＬｘ（ｔ）^２およびＴＲｘ（ｔ）^２は、使用しない。Ｃｌｉｐ（）関数は、［０．０：１．０］の範囲外の値を除外する。

上記式は、２本指のインタラクションに適用するが、１本指のインタラクションにも容易に拡張することができる。左手側の指がタッチパッド面から持ちあげられた場合であっても、以下を定義することによって、上記式は依然として有効である。
ＳＬＸ（ｔ）＝＝０．０

同様に、右手側の指がタッチパッド面から持ちあげられた場合であっても、以下を定義することによって、上記式は依然として有効である。
ＳＲＸ（ｔ）＝＝１．０

他の実施の形態は、この中核となる制約のいくつかを緩和することによって得られる、別の制約に基づいている。

［軽度のポインタ交差のオプション］
軽度のポインタ交差を含む別の実施の形態は、以下の制約を用いる。
（１）Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬＬｘ（ｔ））＝＝ＳＬＬｘ（ｔ）
（２）Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬＲｘ（ｔ））＝＝ＳＬＲｘ（ｔ）
（３）ＳＬＲｘ（ｔ）＝＝Ｍｉｎ（１，ＳＲｘ（ｔ）＋Ｏｆｆｓｅｔｘ）
（４）ＳＲｘ（ｔ）＝＝Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲｘ（ｔ））
（５）Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲＲｘ（ｔ））＝＝ＳＲＲｘ（ｔ）
（６）Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲＬｘ（ｔ））＝＝ＳＲＬｘ（ｔ）
（７）ＳＲＬｘ（ｔ）＝＝Ｍａｘ（０，ＳＬｘ（ｔ）−Ｏｆｆｓｅｔｘ）
（８）ＳＬｘ（ｔ）＝＝Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬｘ（ｔ））
（９）ＳＬＲｘ（ｔ）＝＝ＳＲｘ（ｔ）
（１０）ＳＲＬｘ（ｔ）＝＝ＳＬｘ（ｔ）
この実施の形態における変換は、以下の通りである。
式中、αは、オーバーレイの制御係数を示す。

外部境界の制限を含む別の実施の形態は、以下の制約を用いる。
（１）Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬＬｘ（ｔ））＝＝ＳＬＬｘ（ｔ）
（２）Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬＲｘ（ｔ））＝＝ＳＬＲｘ（ｔ）
（３）ＳＬＲｘ（ｔ）＝＝Ｍｉｎ（ＳＲｘ（ｔ），ＬｉｍｉｔＬｘ）
（４）ＳＲｘ（ｔ）＝＝Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲｘ（ｔ））
（５）Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲＲｘ（ｔ））＝＝ＳＲＲｘ（ｔ）
（６）Ｒｉｇｈｔ＿Ｒｅｍａｐ（ＴＲＬｘ（ｔ））＝＝ＳＲＬｘ（ｔ）
（７）ＳＲＬｘ（ｔ）＝＝Ｍａｘ（ＳＬｘ（ｔ），ＬｉｍｉｔＲｘ）
（８）ＳＬｘ（ｔ）＝＝Ｌｅｆｔ＿Ｒｅｍａｐ（ＴＬｘ（ｔ））
（９）ＳＬＲｘ（ｔ）＝＝ＳＲｘ（ｔ）
（１０）ＳＲＬｘ（ｔ）＝＝ＳＬｘ（ｔ）
本実施の形態における変換は、以下の通りである。
式中、ωは、境界制御係数を示す。

［相対的ポインタ管理］
上記説明は、絶対的ポインタ入力モードに注目したものであった。以下の説明は、相対的モードについてである。相対的モードにおいて、交差しないポインタと同じ制約（つまり動的領域管理）を保持するが、タッチパッドの指の動きは、現在の画面のポインタ位置から外れたものと解釈する。好ましい実施の形態において、外れ値は、現在の画面領域の幅に比例する。すなわち、左のポインタについては、ＷＬｘ（ｔ）＝ＳＬＲｘ（ｔ）−ＳＬＬｘ（ｔ）に比例し、右のポインタについては、ＷＲｘ（ｔ）＝ＳＲＲｘ（ｔ）−ＳＲＬｘ（ｔ）に比例する。

この比例の効果は、１）画面領域が小さい場合、指定精度を向上させることができ、かつ２）画面領域が大きい場合、アクセスを高速化することができる。図９は、画面空間において異なる外れ値となる、左右のタッチパッドにおける同じスワイプモーションの効果を示す。相対的モードでは、各タッチパッドでの同じスワイプモーションであっても、図示した画面空間において配置が外れることは、左のポインタに比べ右のポインタに２倍の影響力を与えるものである。なぜなら、右のインタラクション領域の幅は、左のインタラクション領域の幅の２倍であるからである。

上述のポインタ管理の技術は、さまざまな異なる物理的な実施の形態において実行することができる。一例として、図１０を参照すると、図１Ａの遠隔制御装置がどのように実現されるかを示している。図示されているように、タッチパッドＡおよびタッチパッドＢは、図１Ａのクリック可能なタッチパッド２０、２２に対応する。これらは、各タッチ面がタッチパッド面に垂直に押す力によってクリックされる、戻り止め構造に実装された静電容量式タッチ面として実現されてもよい。このようなクリック動作によって、タッチパッドの下に実装されるマイクロスイッチが有効になる。このマイクロスイッチは、タッチパッドがクリックされる度に、瞬間的にバイナリ信号を与える。

図１Ｂにおけるマルチタッチの実施の形態において、マルチタッチ面は、右手と左手からの接触を個別に検出してこれらを識別することができるため、タッチパッド面と接している各指に対して、個別の位置データポイント（ｘ，ｙ）を与える。ユーザが選択した所望の位置（ｘ，ｙ）は、たとえば、ユーザの指による瞬時のタップを感知することによって有効になる。

図１０に示されている実施の形態において、タッチパッドＡおよびＢは、それぞれ、指が接触した箇所である（ｘ，ｙ）位置を示す第１の出力信号と、マイクロスイッチクリックデータを含む第２の出力信号とを出力する。これらの出力信号は、各タッチパッドからの出力信号を受信するためのデジタルインターフェースを提供するデュアルポートタッチパッドインターフェース５０に出力される。インターフェース５０は、識別データまたはアドレスデータを受信した信号に関連付けて、タッチパッドＡ（すなわち図１Ａの左手のタッチパッド２０）の信号と、タッチパッドＢ（すなわち図１Ａの右手のタッチパッド２２）の信号とを区別する。アドレスが関連付けられたデータは、インターフェース５０からプロセッサ（ＣＰＵ）５２のシリアル入力に与えられる。プロセッサ（ＣＰＵ）５２は、マイクロコントローラ、マイクロプロセッサ等として実現されてもよい。プロセッサ５２には、プロセッサがどのように機能するかを制御する動作命令を格納している第１のメモリ５４（たとえばＥＥＰＲＯＭメモリ）が接続されている。これらの命令を示すフローチャートを図１１に示す。上述の行列変換を行うワーキングメモリを設けるために、それに適した第２のメモリ５６（たとえばＲＡＭメモリ）が設けられる。図１０において、変換行列を５７として図式的に示す。

ボタンアレイ５８もプロセッサに接続されている。ボタンアレイは、アプリケーション定義可能なボタン群（図１Ａのボタン群２４）を示す。ボタンアレイは、それに適したマイクロスイッチ、メンブレンスイッチ等を用いて実現されてもよい。ボタンアレイは、図示しているように、シリアルインターフェースを介してプロセッサ５２に接続されてもよく、このアレイの各ボタンがプロセッサの専用のデジタル入力によって接続されてもよい（図示せず）。

ポインタ表示システムの制御を実行するために、図１０の遠隔制御装置には、対応の無線受信機６２と通信する無線送信機６０が含まれる。無線通信は、無線周波数（ＲＦ）信号または赤外線（ＩＲ）信号を使用することによって、もしくはこの両方を用いることによって実行される。上述の行列変換に基づき、プロセッサは、ポインタ間の動的境界がタッチパッドの出力信号の各（ｘ，ｙ）位置の情報に基づいて調整されるように、マッピング統合機能を用いて各ポインタの位置を算出する。プロセッサは、送信機６０および受信機６２を介して、これらのポインタ位置データをグラフィックス生成回路６４に送信する。グラフィックス生成回路は、表示装置６８の表示空間または表示領域６６内において、表示用の各ポインタのグラフィック画像を生成するように設計されている。グラフィックス生成器は、ビットマップまたはベクタグラフィックスのデータを提供して、ポインタの画像を描画する。この画像が描画される画面上の位置は、遠隔制御装置から無線で受信した情報に基づいている。当然のことながら、所望であれば、プロセッサ５２とグラフィックス生成器６４とは、有線で接続されていてもよい。このような実施の形態において、無線の送信機および無線の受信機は用いられない。

上述のプロセッサに基づく別の実施の形態として、所望であれば、上述のコントローラ回路は、特定用途集積回路（ＡＳＩＣ）を用いて実現することができる。

上述した実施の形態において、遠隔制御装置内のプロセッサによってマッピング統合機能がもたらされる。しかしながら、所望であれば、マッピング統合機能は、制御されているコンシューマ向け電気製品（たとえば、セットトップボックス、テレビ、コンピュータシステム）に備えることもできる。このような他の実施の形態において、位置信号が制御されたデバイスに送信され、搭載プロセッサまたは前記制御されたデバイスに関連付けられたＡＳＩＣがマッピング統合機能を実行する。

図１１は、プロセッサ５２がどのようにプログラムされるか、およびグラフィックス生成器６４がどのようにプロセッサから受信した命令を処理するのかを示すフロー図である。ステップ１００において、プロセッサは入力デバイス（この場合、タッチパッドＡおよびＢ）からの入力を受信する。これらの入力値からタッチパッド座標（ｘ，ｙ）が得られ、これらの入力値は、どのタッチパッドからデータが提供されたのかを示す対応のアドレスを有する。

ステップ１０２において、プロセッサは、使用された変換行列モデルに基づいて変換行列５７をＲＡＭに構築することによって、これらの入力データを処理する。上記記述において、所望のシステム動作に基づいて使用し得るさまざまな異なる変換行列を詳細に説明した（絶対的―相対的、基本、軽度のポインタ交差が可能、外部境界の制約がある場合とない場合）。当然のことながら、プロセッサは、用いられた行列に基づき、入力データの行列乗算を行うことによってポインタ位置を算出する。

したがって、ステップ１０４において、プロセッサは、変換行列によって処理された変換入力に基づいて、それぞれのポインタの位置を算出する。そして、これらのポインタ位置は、表示空間の共通の座標系を用いて、表示画面の表示空間にマッピングされる。

ステップ１０６において、ポインタ位置はグラフィックス生成器に送信される。グラフィックス生成器６４は、以下のステップを実行する。

ステップ１０８において、表示される各ポインタに対してグラフィック画像が生成される。上述したように、これらのグラフィック画像は、ポインタ画像がメモリに予め記憶されているビットマップのグラフィックスを用いて生成してもよく、またはオンザフライで画像を生成するベクタグラフィックス技術を用いることによって生成される。どちらの場合においても、ステップ１１０に示すように、画像はステップ１０４において特定された位置に基づいて、表示画面の共有表示空間内の位置に配置される。

［動的制御方法の関数解析］
関数の面から、デュアルポインタ（またはマルチポインタ）を管理する手法は、両方の（すべての）入力デバイスからのデータを用いて、両方の（すべての）ポインタの位置をそれぞれ算出する。実際は、入力データは、変換行列によってたすき掛けされ、算出されたポインタ位置が相互に依存するようにする。この方法によって、システムは、共通の表示座標系内に動的境界を生成する。この動的境界は、入力デバイスからのそれぞれの位置信号の情報に基づきプロセッサによって調整される。

説明のため、図１２を参照のこと。同図は、本開示の発明によるポインタ制御装置の機能ブロック図を示す。入力デバイス（デバイスＮｏ．１およびデバイスＮｏ．２）およびこれに関連付けられたコントローラは、位置信号を信号線２００、２０２にそれぞれ送信する。これらの信号は、マッピング統合器に送られ、データライン２０６、２０８における左右のポインタのポインタ位置データが生成される。これらのポインタ位置データが、左ポインタコントローラ２１０および右ポインタコントローラ２１２によって用いられ、表示空間６６内で表示するために左右のポインタがそれぞれ生成される。マッピング統合器は、第１の入力デバイスの位置信号に部分的に基づき、かつ第２の入力デバイスの位置信号に部分的に基づいて表示座標系内の第１のポインタの位置を算出する。第２のポインタの位置は、第２の入力デバイスの位置信号に部分的に基づき、かつ第１の入力デバイスの位置信号に部分的に基づいて表示座標系内の第２のポインタの位置を算出する。

さらなる説明のため、マルチデバイスシステムを示す図１３を参照する。この例において、３つの入力デバイスを図示しているが、マルチデバイスシステムが任意の数の入力デバイス（すなわち２以上の入力デバイス）を備えてもよいことは理解されるであろう。本実施の形態において、１つのマルチ位置入力システムを用いる。このシステムは、各入力デバイス２２２から入力位置信号を受信し、これらの入力位置信号を示すデータをマッピング統合器２０４に送信する。マルチ位置入力システムは、各入力デバイスの信号を受信し、各信号にアドレス情報を追加してデータが（ａｄｄｒ，ｘ，ｙ）の形式になるようにする。次に、これらのデータをシリアルストリームでマッピング統合器２０４に送信する。マッピング統合器は、上述のように機能して各ポインタ位置信号を生成する。さらに、マッピング統合器は、算出された各ポインタ位置にポインタ識別タグも追加する。そのため、マッピング統合器の出力は、（ポインタタグ，ｘ，ｙ）の形式となり、このポインタタグは、ポインタが対応するデータ（左、右、中間等）を示し、ｘ，ｙ値は、共通の表示座標系（すなわち表示空間内）における位置を示す。ポインタ生成システム２０５は、マッピング統合器の出力データを受信し、ポインタタグによってこのデータを解析し、ポインタ画像を表示空間内に生成して表示する。

［結論］
上記から、本発明は、新たな動的境界制御技術を用いて、マルチポインタ制御を用いるにあたって起こる多くの課題を解決する。本発明により、交差しない（または軽度に交差する）ポインタの手法に基づくデュアルポインタベースの入力に対して、より直感的なモデルが可能になり、ユーザが任意のポインタを用いて表示画面のあらゆる領域に移動させることが可能になる。入力デバイスは、タッチパッド、タッチスクリーン、およびジョイスティック等の少なくとも１以上の動きを与えるポインティングデバイスであれば、どのようなデバイスであってもよい。従来の入力方法と比較すると、本発明において、精度／柔軟性をトレードオフする動的な管理によって、入力速度の向上効果も得られる。

デュアルポインタの入力の典型的な用途は、たとえば、画面上に表示された仮想キーボードを用いてテキスト入力を行うか、複数の対象物を選択するタスク等である。デュアルポインタ技術は、ゲームのアプリケーションにも好適に適合する。

本発明の記載は、単に例示を目的としているため、本発明の趣旨から逸脱しない変形例は、本発明の範囲に含まれるものである。このような変形例は、本発明の精神および範囲から逸脱するものではない。たとえば、ここに記載の実施の形態の一部においては、行列変換（変換行列を用いること）を利用しているが、これらの変換を行う他の代替的な方法を用いてもよい。

Claims (31)

1. 第１の入力デバイスに関連付けられた第１の座標系を用いて表される位置信号を提供する第１の入力デバイスと、
   第２の入力デバイスに関連付けられた第２の座標系を用いて表される位置信号を提供する第２の入力デバイスと、
   共通の表示座標系を有する共通表示空間での表示のために、前記第１の入力デバイスに関連付けられた第１のポインタと、前記第２の入力デバイスに関連付けられた第２のポインタとを生成するポインタ生成システムと、
   前記第１の入力デバイスの位置信号に部分的に基づき、かつ前記第２の入力デバイスの位置信号に部分的に基づいて表示座標系内の前記第１のポインタの位置を算出し、前記第２の入力デバイスの位置信号に部分的に基づき、かつ前記第１の入力デバイスの位置信号に部分的に基づいて表示座標系内の前記第２のポインタの位置を算出するマッピング統合プロセッサとを備え、
   前記マッピング統合プロセッサは、さらに、前記第１のポインタおよび前記第２のポインタの位置が、前記共通表示座標系内における動的境界の互いに異なる側にそれぞれ限定されるように前記第１のポインタおよび前記第２のポインタの位置を算出し、前記動的境界は、前記第１の入力デバイスおよび前記第２の入力デバイスのそれぞれの位置信号の情報に基づいて前記プロセッサによって調整される
   ポインタ制御装置。
2. 前記動的境界は、前記共通表示空間を２つの重複しない連続領域に細分割し、前記２つの領域を結合した領域は、前記共通表示空間に等しい
   請求項１に記載のポインタ制御装置。
3. 前記動的境界は、前記共通表示空間を２つの一部重複する連続領域に細分割する
   請求項１に記載のポインタ制御装置。
4. 前記動的境界は、前記共通表示空間を動的な端に沿って静的に制約される２つの連続領域に細分割する
   請求項１に記載のポインタ制御装置。
5. 前記第１の入力デバイスは左の位置信号を提供し、前記第２の入力デバイスは右の位置信号を提供し、
   前記動的境界は、前記共通表示空間を左領域と右領域とに細分割し、前記動的境界は、前記左領域の右端と前記右領域の左端とを画定し、
   前記マッピング統合プロセッサは、前記右の位置信号に基づき前記右端を算出し、前記左の位置信号に基づき前記左端を算出する
   請求項１に記載のポインタ制御装置。
6. 前記左端および前記右端は、互いに一致する
   請求項５に記載のポインタ制御装置。
7. 前記左端および前記右端は、相互に離間されている
   請求項５に記載のポインタ制御装置。
8. 前記第１の入力デバイスおよび前記第２の入力デバイスは、互いに独立して動作する
   請求項１に記載のポインタ制御装置。
9. 前記第１の入力デバイスおよび前記第２の入力デバイスは、同じ種類のセンサを用いて位置信号を生成する
   請求項１に記載のポインタ制御装置。
10. 前記第１の入力デバイスおよび前記第２の入力デバイスは、異なる種類のセンサを用いて位置信号を生成する
    請求項１に記載のポインタ制御装置。
11. 前記ポインタ制御装置は、さらに、追加の入力信号を提供する少なくとも１つの追加の入力デバイスを備え、
    前記ポインタ生成システムは、前記追加の入力デバイスに関連付けられたポインタを生成し、
    前記マッピング統合プロセッサは、前記第１の入力デバイスの位置信号と、前記第２の入力デバイスの位置信号と、前記追加の入力信号とに基づき前記追加の入力デバイスに関連付けられたポインタの位置を算出する
    請求項１に記載のポインタ制御装置。
12. 前記第１の座標系および前記第２の座標系のうちの少なくとも一方は、一次元の座標系である
    請求項１に記載のポインタ制御装置。
13. 前記第１の座標系および前記第２の座標系のうちの少なくとも一方は、二次元の座標系である
    請求項１に記載のポインタ制御装置。
14. 前記第１の座標系および前記第２の座標系のうちの少なくとも一方は、三次元の座標系である
    請求項１に記載のポインタ制御装置。
15. 前記マッピング統合プロセッサは、少なくとも１つの変換を実行する
    請求項１に記載のポインタ制御装置。
16. 前記マッピング統合プロセッサは、前記第１のポインタおよび前記第２のポインタがどちらも同時に中間領域に位置することを可能にするオーバーレイ制御係数を含む、少なくとも１つの変換を実行する
    請求項４に記載のポインタ制御装置。
17. 前記マッピング統合プロセッサは、前記第１の入力デバイスおよび前記第２の入力デバイスの所定の位置が表示座標系にマッピングされない外部境界の制限を含む少なくとも１つの変換を実行する
    請求項１に記載のポインタ制御装置。
18. 前記プロセッサは、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、コンピュータ、および特定用途集積回路（ＡＳＩＣ）からなる群から選択される
    請求項１に記載のポインタ制御装置。
19. 前記プロセッサは、前記第１の入力デバイスおよび前記第２の入力デバイスのうち少なくとも１つに内蔵される
    請求項１に記載のポインタ制御装置。
20. 前記プロセッサは、前記プロセッサに接続された機械読み取り可能なメモリに格納されたプログラム命令によって設定される
    請求項１に記載のポインタ制御装置。
21. 複数の入力デバイスに反応する表示画面上に複数のポインタを生成する方法であって、
    前記方法は、
    第１の入力デバイスから第１の位置信号を電子的に受信する受信ステップと、
    第２の入力デバイスから第２の位置信号を電子的に受信する受信ステップと、
    前記第１の位置信号および前記第２の位置信号を電子的に処理して、表示画面に関連付けられた所定の表示座標系内において、前記第１の位置信号および前記第２の位置信号の両方に基づく互いに異なる第１のポインタ位置および第２のポインタ位置を算出する処理ステップと、
    第１のポインタおよび第２のポインタを生成して、前記表示画面上において、前記第１のポインタ位置に前記第１のポインタを表示し、かつ前記第２のポインタを前記第２のポインタ位置に表示する生成表示ステップとを含み、
    前記処理ステップは、前記第１のポインタ位置および前記第２のポインタ位置を前記表示座標系内における動的境界の異なる側に限定し、前記動的境界を、前記第１の位置信号および前記第２の位置信号に基づき計算により調整する
    方法。
22. 前記第１の位置信号は左の位置信号であり、前記第２の位置信号は右の位置信号であり、
    前記処理ステップは、前記左領域の右端と前記右領域の左端を画定する前記動的境界が表示空間を左領域と右領域とに細分割し、
    前記処理ステップは、さらに、前記右の位置信号に基づいて前記右端を算出し、前記左の位置信号に基づいて前記左端を算出することを含む
    請求項２１に記載の方法。
23. 前記処理ステップは、前記第１の位置信号および前記第２の位置信号の変換を適用することで実行される
    請求項２１に記載の方法。
24. 前記処理ステップは、前記第１の位置信号および前記第２の位置信号間の二次関数を定義する変換を適用することで実行される
    請求項２１に記載の方法。
25. 前記処理ステップは、前記第１のポインタ位置および前記第２のポインタ位置が前記動的境界に関連付けられた共通の中間領域に位置することを可能にするオーバーレイ制御係数を含む変換であり、前記第１の位置信号および前記第２の位置信号間の二次関数を定義する変換を適用することで実行される
    請求項２１に記載の方法。
26. 前記第１の入力デバイスおよび前記第２の入力デバイスは、それぞれ選択可能な位置の関連範囲を有し、
    前記処理ステップは、前記第１の入力デバイスおよび前記第２の入力デバイスの関連範囲の所定の部分が表示座標系にマッピングされない外部境界の制限を含む変換であり、前記第１の位置信号および前記第２の位置信号間の二次関数を定義する変換を適用することで実行される
    請求項２１に記載の方法。
27. 前記処理ステップは、前記表示画面を２つの連続領域に細分割する動的線形境界を定義して実行される
    請求項２１に記載の方法。
28. 前記処理ステップは、前記表示画面を２つの連続領域に細分割する動的曲線境界を定義して実行される
    請求項２１に記載の方法。
29. 前記処理ステップは、前記表示画面を中間領域の両側の２つの連続領域に細分割する前記中間領域を含む動的境界を定義して実行される
    請求項２１に記載の方法。
30. 前記電子的処理は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、コンピュータ、および特定用途集積回路（ＡＳＩＣ）からなる群から選択されるデバイスを用いて実行される
    請求項２１に記載の方法。
31. 複数のポインタを表示画面上に生成する装置であって、
    前記装置は、
    複数の入力デバイスからの位置入力データを受信可能なマルチ位置入力システムと、
    複数のポインタを、前記表示画面上の異なるポインタ位置にそれぞれ表示するために生成するポインタ生成システムと、
    前記複数の入力デバイスからのすべての前記位置入力データを、各ポインタ位置を算出する際に反映させることによって前記異なるポインタ位置を算出するマッピング統合プロセッサとを備え、
    前記マッピング統合プロセッサは、さらに、前記異なるポインタ位置を、前記プロセッサによって前記複数の入力デバイスからの前記入力データの情報に基づいて調整された動的境界においてそれぞれの位置が別々の側に位置するように算出する
    装置。