JP2010244517A - 内蔵光センサを有するディスプレイ・パネルの入力検出システム及び方法 - Google Patents

Abstract

【課題】内蔵センサを有するディスプレイへの複数の発信元からの光入力を識別する方法を提供する。
【解決手段】ディスプレイ上の第１及び第２の位置へ光学的に送信された第１及び第２の入力を受信する段階、該第１及び該第２の入力についての（１）前記ディスプレイ上の位置、（２）入力のタイミング、のうちの少なくとも１つを識別する段階、及び該第１及び該第２の入力についての（１）波長、（２）入力のフラッシュ又はパルス周波数、（３）入力の継続期間、（４）入力のタイミング、（５）入力の強度、（６）入力に関連付けられた変調方式、（７）推定入力パターン、（８）入力の少なくとも一方の予測軌跡、のうちの少なくとも１つに基づき、第１及び第２の入力が単一の発信元からか複数の発信元からかを決定する段階、及び（１）対応する位置、（２）対応するタイミング、の少なくとも１つを有する第１及び第２の入力情報を提供する段階を有する。
【選択図】図２

Description

本願明細書に開示されるシステム及び方法は、内蔵光センサを有するディスプレイ・パネルに関し、より詳細には複数の発信元からの入力を検出及び追跡する内蔵光センサを有するディスプレイ・パネルに関する。

多くのデジタル・データ・ディスプレイ・システムは、ユーザに対して対話型ディスプレイを有し、関連するコンピュータ・システムと通信するという利点を有する。これらのシステムは、ビデオ・ゲーム・システム、携帯電話機、テレビジョン、パーソナル・デジタル・アシスタント、コンピュータ、ラップトップ、サーバ、ＡＴＭ及びデジタル画像フレームを有する。

技術の進歩とともに、対話型ディスプレイを実現する多数の方法が可能になってきている。タッチスクリーン装置はユーザの入力を認識し追跡するよう動作しうる。タッチスクリーン装置の一例は、ユーザがスクリーンに触れると接触し容量性効果を変化させる基板及び軟質フィルムを備えた装置を有する。異なる場所における抵抗又はキャパシタンスの変化は、ユーザ入力の場所を決定するために検出されうる。或いは、光学タッチスクリーンは、入力対象により生成される又はそれに由来する影効果又は他の光学的効果によりユーザ入力を検出するために用いられてよい。対話型ディスプレイで用いられる別の技術は、入力を検出する表面に沿って伝達する弾性表面波の検出を有しうる。しかしながら、入力検出方法の多くの例では、入力検出は、通常、異なる発信元から生じた入力を区別しないか、又は異なる発信元を表すことを意図していない。つまり、多くの入力検出方法は、このような異なる発信元から生じた複数の入力の可能性を考慮せず、また複数の発信元が入力を供給している場合に同一の発信元から生じた入力を識別及び追跡しない。

従って、複数の発信元からの入力を認識し追跡する必要がある。

本発明によると、内蔵センサを有するディスプレイ領域への複数の光入力を識別する方法が提供される。当該方法は；視覚情報を表示する、内蔵センサを有するディスプレイ領域を設ける段階；前記ディスプレイ領域上の第１の位置へ光学的に送信された第１の入力を受信する段階；前記ディスプレイ領域上の第２の位置へ光学的に送信された第２の入力を受信する段階；前記第１の入力及び前記第２の入力を処理し、（１）該第１の入力及び該第２の入力の前記ディスプレイ領域に対する位置、（２）該第１の入力及び該第２の入力のタイミング、のうちの少なくとも１つを識別する段階；及び前記第１の入力及び前記第２の入力が単一の発信元から又は複数の発信元から生じたのかを、（１）該第１の入力及び該第２の入力の波長、（２）該第１の入力及び該第２の入力のフラッシュ又はパルス周波数、（３）該第１の入力及び該第２の入力の継続期間、（４）該第１の入力及び該第２の入力のタイミング、（５）該第１の入力及び該第２の入力の強度、（６）該第１の入力及び該第２の入力に関連付けられた変調方式、（７）該第１の入力及び該第２の入力の推定入力パターン、（８）該第１の入力及び該第２の入力の少なくとも一方の少なくとも１つの予測軌跡、のうちの少なくとも１つに基づき決定する段階；及び（１）前記ディスプレイ領域に対する対応する入力の位置、（２）対応する入力のタイミング、の少なくとも１つをそれぞれ有する第１の入力情報及び第２の入力情報を提供する段階；を有する。

更に、本発明によると、内蔵センサを有するディスプレイ領域への複数の光入力を識別するシステムが提供される。当該システムは；視覚情報を表示する、内蔵センサを有するディスプレイ領域；前記ディスプレイ領域上の第１の位置及び第２の位置へそれぞれ光学的に送信された第１の入力及び第２の入力を受信する入力検出部；及びプロセッサ；を有し、当該プロセッサは：（１）前記第１の入力及び前記第２の入力の前記ディスプレイ領域に対する位置、（２）前記第１の入力及び前記第２の入力のタイミング、のうちの少なくとも１つを識別し；（１）前記第１の入力及び前記第２の入力の波長、（２）該第１の入力及び該第２の入力のフラッシュ又はパルス周波数、（３）該第１の入力及び該第２の入力の継続期間、（４）該第１の入力及び該第２の入力のタイミング、（５）該第１の入力及び該第２の入力の強度、（６）該第１の入力及び該第２の入力に関連付けられた変調方式、（７）該第１の入力及び該第２の入力の推定入力パターン、（８）該第１の入力及び該第２の入力の少なくとも一方の少なくとも１つの予測軌跡、のうちの少なくとも１つに基づき、該第１の入力及び該第２の入力が単一の発信元から又は複数の発信元から生じたのかを決定し；及び（１）前記ディスプレイ領域に対する対応する入力の位置、（２）対応する入力のタイミング、の少なくとも１つをそれぞれ有する第１の入力情報及び第２の入力情報を提供する；ことを特徴とする。

理解されるべき点は、前述の本発明の全体的記載及び以下の詳細な記載は本発明の例であり、特許請求の範囲に記載した発明を限定しないことである。

添付の図面は、本願明細書に組み込まれ、本願明細書の一部であり、種々の実施例を説明する。

特定の開示された実施例に対応するパネル・モジュールの一例である。 内蔵光センサを有するディスプレイ・パネルのための光センサ及び薄膜トランジスタの配置の一例の図である。 内蔵光センサを有するディスプレイ・パネルのための光センサ及び薄膜トランジスタの配置の一例の図である。 内蔵光センサを有するディスプレイ・パネルのための光センサ及び薄膜トランジスタの配置の一例の図である。 特定の開示された実施例に対応する入力分析処理の一例である。 図２に示された入力分析処理の一部を示す。 特定の開示された実施例に対応する入力分析処理の一例を示す。 特定の開示された実施例に対応する入力分析処理の一例を示す。

以下の説明は、説明を目的とし、本発明の範囲を限定することなく、本発明に対応する技術及び実施例の一例を提供する。特定の段階の順序、インタフェース及び構成は、本願明細書の技術を理解するために説明されうる。これらの技術及び実施例は主として添付の図面に沿って説明されるが、当業者は、これらの技術及び実施例が他のディスプレイ・システムでも実施され又はシステム設計若しくは用途に依存して変更されうることを理解するだろう。

以下に本発明の例である実施例の詳細を説明する。これらの例は添付の図面に図示される。可能な場合には、同一又は類似の部分を表すため、同一の参照符号が複数の図を通じて用いられる。

図１Ａは、特定の開示された実施例に対応するパネル・モジュール１０２を示すブロック図１００である。パネル・モジュール１０２は、１又は複数の発信元１０４から１又は複数の入力を受信してよい。また、パネル・モジュール１０２は、ディスプレイ・パネル１０６、プロセッサ１０８、制御部１１０及びメモリ１１２を有してよい。ディスプレイ・パネル１０６、プロセッサ１０８、制御部１１０及びメモリ１１２は、パネル・モジュール１０２内で相互に接続されている。或いは、それらは特定の所望の構成に従って接続されてよい。一例として、ディスプレイ・パネル１０６は、制御部１１０及びメモリ１１２に結合されうるプロセッサ１０８に結合されてよい。当業者は、パネル・モジュール１０２が図１Ａに示されない入力又は出力インタフェース、音声入力及び出力構成要素等の他の構成要素を有してもよいことを理解するだろう。

パネル・モジュール１０２は、独立型の対話型ディスプレイ装置、望ましくはホスト１１６及び任意的な装置１１８と互換性があるか、それらに取り付けられるか又はそれらの構成要素として形成された内蔵光センサを有するディスプレイ・パネルであってよい。ホスト１１６及び任意的な装置１１８、又はパネル・モジュール１０２を有する全体のシステムの例は、ビデオ・ゲーム・システム、テレビジョン、パーソナル・デジタル・アシスタント、コンピュータ、ラップトップ、サーバ、ＡＴＭ、デジタル画像フレーム又は携帯電話機を有する。システムのディスプレイ構成要素ではなく、代案としてパネル・モジュール１０２は静止画を表示する装置であってもよい。

図１Ａに示す１又は複数の発信元１０４のような入力装置は、光学的に又はエネルギ・ビームの形式のような入力をパネル・モジュール１０２に供給してよい。エネルギ・ビームは、赤外線、不可視光線又は可視光線の形式のビームを有してよい。幾つかの実施例では、１又は複数の発信元１０４は、スタイラス若しくは他の指示装置、ビデオ・ゲーム・コントローラ又はコントローラとして用いられる如何なる他の物を操作する１又は複数のユーザからの入力を有してよく、或いは指又は如何なる他の身体部分による更に多くのユーザによる接触を有してもよい。

ディスプレイ・パネル１０６は、１又は複数の発信元１０４により供給された入力の、該入力の場所及びタイミングを含む種々の特徴を検出可能な内蔵光センサを有する。ディスプレイ・パネル１０６により検出されうる入力の他の特徴は、波長、パルス周波数、期間、タイミング、強度、変調方式、入力パターン、温度及び大きさを有する。例えば、変調方式は、振幅変調、パルス変調及び周波数偏移変調のようなアナログ又はデジタル変調方式の何れを有してもよい。別の例として、入力パターンは、方形、円形、三角形又は直線のような入力の領域を有する異なる形状を有してよい。

ディスプレイ・パネル１０６は、静止画、ビデオ画像、テキスト又は如何なる他の種類のグラフィックの形式の情報を表示するために適応されてよい。ディスプレイ・パネル１０６により表示される情報は、ユーザにシステムについて知らせるため及び／又はユーザ・インタフェースの一部を形成するために用いられてよい。ユーザは、ユーザ・インタフェースと相互作用し、システムに特定の機能又はタスクを実行するよう指示する。ディスプレイ・パネル１０６は、液晶ディスプレイ（「ＬＣＤ」）画面であってよい。より詳細には、ディスプレイ・パネル１０６は、第１のマトリックスに配置されたディスプレイ制御素子及び第２のマトリックスに配置された光センサを有してよい。本発明の例では、光センサは、追加の半導体層又は構造を基板上に形成することを必要とせずに、トランジスタ又は薄膜トランジスタ（「ＴＦＴ」）のようなディスプレイ制御素子と一緒に製造されてよい。換言すると、本発明の例は、製造過程を複雑化することなく又は有意に製造コストを増大することなく、ディスプレイ装置の入力又は対話型機能をディスプレイ装置に組み込むことを可能にする。本発明の例では、電気的に結合されたゲート及びドレインを有するトランジスタ又は同様の構成を有する２以上のトランジスタは、広過ぎる基板領域を占有することなく光トランジスタを提供するために用いられてよい。

図１Ｃ乃至図１Ｄは、内蔵光センサを有するディスプレイ・パネル１０６のための光センサ及び薄膜トランジスタの配置の一例の図である。しかしながら、当業者は、如何なる種類のディスプレイ画面が開示された実施例と共に用いられてもよいことを理解するだろう。例えば、発光ダイオード（ＬＥＤ）に基づくディスプレイ、有機発光ダイオード（「ＯＬＥＤ」）、陰極線技術、他の薄膜トランジスタ（「ＴＦＴ」）ディスプレイ、プラズマ・ディスプレイ・パネル（「ＰＤＰ」）、電界発光ディスプレイ等のような他の種類のディスプレイ画面が用いられてもよい。

図１Ｂは、内蔵光センサを有するディスプレイ・パネル１０６の一例を示す。ディスプレイ・パネル１０６は、第１のマトリックス内に一式のデータ線及び一式の走査線を有してよく、第２のマトリックス内に多数の読み出し線及び多数のゲート線を有してよい。例えば、限定ではなく、幾つかの走査線は、共有されるか又は幾つかのゲート線として用いられてよく、光センサ１１が走査線を有する対応する画素電極と相互接続することを可能にする。画素電極１１０は、キャパシタＣｓｔにより共通線（Ｖｃｏｍｍｏｎ）と相互接続されてよい。光センサ１１を例に取ると、光センサ１１は、ゲート端子１１ｇ、ドレイン端子１１ｄ及びソース端子１１ｓを有する光トランジスタを有してよい。ソース端子１１ｓは、対応する読み出し線に結合されてよい。ゲート端子１１ｇは、本例ではゲート線としても参照される対応する走査線に結合されてよい。ドレイン端子１１ｄは、図示された例では走査線に結合されているゲート端子１１ｇに結合されてよい。

図１Ｃを参照すると、画素領域２１、２２及び２３の各光センサは、他のディスプレイ素子と一緒に第２のマトリックス内に配置されてよい。光センサ２１を例に取ると、光センサ２１は光トランジスタ２１１及びスイッチング・トランジスタ２１２を有してよい。光トランジスタ２１１は、ある場所で光信号を検出してよい。スイッチング・トランジスタ２１２は、検出された情報が読み出され関連する検知又は処理回路に出力される時を制御してよい。他の光センサも同様に配置されてよい。光トランジスタ２１１を例に取ると、光トランジスタ２１１は、対応するスイッチング・トランジスタ２１２のドレイン端子２１２ｄに結合されたソース端子２１１ｓを有する。光トランジスタ２１１のゲート端子２１１ｇは、バイアスされた電圧源に結合される。また、光トランジスタ２１１のドレイン端子２１１ｄは、同じバイアスされた電圧源又は別個の電圧源に結合されてよい。更に、１本の共通線が２本の走査線の間に配置され、画素電極２２０のゲート端子２２０ｇが第１の走査線に結合され、スイッチング・トランジスタ２１２のゲート端子２１２ｇが第２の走査線に結合されようになっている。図示された例では、第１及び第２の走査線は、順々に動作し、画素電極２２０に達する。また、スイッチング・トランジスタ２１２は、第１の走査線及び第２の走査線により順々にそれぞれ作動される。

図１Ｄは、本発明の更に別の例に対応する内蔵光センサを有するディスプレイ・パネル１０６の概略図である。図１Ｄは、図１Ｃに示された内蔵光センサを有するディスプレイ・パネル１０６と同様であるが、例えば光トランジスタ３１１の位置とスイッチング・トランジスタ３１２の位置が逆になっている点が異なる。代表的な光トランジスタ３１１及び代表的なスイッチング・トランジスタ３１２は、複数の走査線のうちの１本と該走査線に垂直な複数のデータ線のうちの１本との交点の近くに配置される。スイッチング・トランジスタ３１２は、走査線に結合されたゲート端子３１２ｇ、共通線（Ｖｃｏｍｍｏｎ）に結合されたドレイン端子３１２ｄ及びソース端子３１２ｓを有してよい。当業者は、トランジスタのドレインとソースが、それらが接続されている電圧レベルに依存して交換可能であることを理解するだろう。光トランジスタ３１１は、スイッチング・トランジスタ３１２のソース端子３１２ｓに結合されたドレイン端子３１１ｄ、読み出し線に結合されたソース端子３１１ｓ及び光トランジスタ３１１のドレイン端子３１１ｄと結合されたゲート端子３１１ｇを有してよい。

プロセッサ１０８は、ディスプレイ・パネル１０６により受信された入力を受信及び処理し、ディスプレイ・パネル１０６により検出された１又は複数の入力の１又は複数の対応する発信元を決定する。例として、プロセッサ１０８は、予め設定されたロジック若しくは回路又はマイクロプロセッサのようなプログラム可能なロジック素子であってよい。

制御部１１０は、パネル・モジュール１０２内の多数の構成要素の制御を含む１又は複数の制御タスクを実行してよい。例えば、制御部１１０は、表示、電力、入力検出感度及び出力のようなディスプレイ・パネル１０６の種々のパラメータを調整してよい。制御部１１０は、１又は複数の発信元１０４のパラメータを制御してもよい。ある実施例では、制御部１１０は、ユーザ入力に応答してディスプレイ・パネル１０６により表示される情報を変化させてよい。更に、制御部１１０は、パネル・モジュール１０２に接続又は組み込まれた制御ホスト１１６及び／又は任意的な装置１１８を制御してよい。

メモリ１１２は、任意の又は如何なる又はあらゆる種類の不揮発性又は揮発性メモリを有してよい。種々の実施例では、例としてＥＰＲＯＭ、ＲＯＭ、ＤＲＡＭ、ＥＥＰＲＯＭ及びフラッシュメモリ素子のような半導体メモリ素子、内部ハードディスク及び取り外し可能なディスクのような磁気ディスク、光磁気ディスク及びＣＤ−ＲＯＭディスクを含む異なるメモリ素子が用いられてよい。幾つかの実施例では、メモリ１１２は、入力を検出又は処理するときにパネル・モジュール１０２により用いられるデータを格納又は供給してよく、プロセッサ１０８又は制御部１１０により用いられるデータを格納してよい。メモリ１１２は、種々の処理タスクの実行中にプロセッサ１０８で実行されうるアプリケーション・プログラム、コード及び／又は命令を有するコンピュータ可読記憶媒体を有してもよい。更に、メモリ１１２は、ホスト１１６及び装置１１８からのデータを格納してよく、及び／又はデータをホスト１１６及び装置１１８に供給してよい。

プロセッサ１０８は、入力を処理して複数の入力を識別してよい。図２は、特定の開示された実施例に対応する処理２００の一例を示す。本実施例では、プロセッサ１０８は、入力を処理し、入力信号に基づき又はディスプレイ・パネル１０６からの位置情報を含む受信信号に基づき入力位置を識別してよい。

段階２０２で、プロセッサ１０８は、ディスプレイ・パネル１０６が入力を検出しているか否かを決定してよい。ディスプレイ・パネル１０６が如何なる入力も検出していない場合、プロセッサ１０８は、スタンバイのままであり（段階２０４）、後の入力を監視又は受信し続けてよい。ディスプレイ・パネル１０６が１又は複数の入力を検出している場合、段階２０６で、プロセッサ１０８は、第１の所定の時間制限のような特定の期間内に１又は複数の入力が受信されたか否かを決定してよい。ある実施例では、該期間は１秒よりも遙かに小さくてよく、その間に入力が受信されうる。該期間内に受信された複数の入力は、同時に受信されたとみなされてよい。該期間中に１つの入力のみが受信された場合、プロセッサ１０８は如何なる同時の入力も受信されなかったと結論づけてよい。

プロセッサ１０８が、ディスプレイ・パネル１０２はある期間内に複数の入力、つまり複数の同時の入力を検出したと決定した場合、プロセッサ１０８は、該入力を分析し、該入力の間に変化するパラメータが存在するかどうかを決定する（段階２０８）。変化するパラメータは、ある入力を別の入力から区別しうるパラメータであり、各入力の波長、フラッシュ（点滅）又はパルス周波数、継続期間、タイミング、強度、変調方式、入力パターン、温度、サイズ又は光信号変調の形式であってよい。例えば、対話型射撃ゲームでは、２人のユーザは、ライフル銃のようなゲーム・コントローラを用いてディスプレイ・パネル１０６に向けて入力をそれぞれ供給しうる。該ゲーム・コントローラは、異なるフラッシュ又はパルス周波数で入力を供給する。プロセッサ１０８は、異なるフラッシュ又はパルス周波数を、あるユーザの入力を別のユーザの入力と区別する変化するパラメータとみなす。別の例として、各人の指を用いて同一のディスプレイに共に円を描く２人のユーザは、強度、温度及び／又は大きさの異なる入力を供給しうる。プロセッサ１０８は、入力同士のこれらの相違を分析し、異なる強度、温度及び大きさのうちの１つ又はそれらの組み合わせを変化するパラメータとして選択してよい。

プロセッサ１０８は、入力同士の相違を分析し、ある発信元の（１又は複数の）入力と別の発信元の（１又は複数の）入力とを区別する変化するパラメータが存在すると決定すると、第１の分析を実行し、変化するパラメータに基づきある入力を別の入力と区別する（段階２１０）。対話型射撃ゲームに関する上述の例では、プロセッサ１０８は、入力のフラッシュ又はパルス周波数の相違に基づき、入力Ａと入力Ｂがそれぞれ異なる発信元に属すると結論づけてよい。

一方で、プロセッサ１０８は、入力と入力の間に如何なる変化するパラメータも存在しないと結論づけてもよい。プロセッサ１０８は、例えば入力パラメータが同一である場合、入力と入力の間のパラメータの相違が食い違いのないものであるか実質的でない場合及び変化するパラメータとして適さない場合に、このような結論を出してよい。プロセッサ１０８は、入力と入力の間に如何なる変化するパラメータも存在しないと結論づけた場合、段階２２０で、ある入力を別の入力から識別するために第２の分析を実行する。第２の分析は、図３と関連して説明される。

図３では、プロセッサ１０８は、ある発信元からの入力と別の発信元からの入力を区別しうる如何なる変化するパラメータも有さないと段階２０８で決定された入力を分析する。段階２２２で、プロセッサ１０８は、（１又は複数の）直近の過去の入力があるかメモリ１１２を調べてよい。直近の過去の入力は、プロセッサ１０８により現在分析されている入力の直前に、ディスプレイ・パネル１０６により受信された入力である。例えば、ユーザがディスプレイ・パネル１０６上で曲線を描いた場合、該ユーザは、直近の過去の入力が現在の入力より先行する連続的な入力を行っている。或いは、このような入力は、ユーザが同一の曲線を描いていたときから、ディスプレイ・パネル１０６により早い時点で認識される。プロセッサ１０８は、過去の入力と現在の入力との間の時間及び距離の近さに基づき、直近の過去の入力を識別してよい。

プロセッサ１０８は、直近の過去の入力が存在すると決定した場合、分析のために第１の発信元を選択してよい（段階２２４）。分析のために第１の発信元を選択する際に、プロセッサ１０８は、種々の基準に基づき、メモリ１１２から複数の既知の発信元のうちの１つを選択してよい。本発明のある実施例によると、プロセッサ１０８は、どの発信元が最も新しい入力を供給したかに基づき、分析のための第１の発信元を選択してよい。

ある実施例では、プロセッサ１０８は、正確な発信元を識別する必要がなく、ある発信元が別の発信元と異なることを認識するだけでよい。例えば、プロセッサ１０８は、入力を供給する２つの発信元がペン型のスタイラス及び無線ビデオ・ゲームを有することを式熱する必要はなく、それぞれを発信元１及び発信元２のような異なる発信元として指定するだけでよい。

第１の発信元が分析のために選択された後、プロセッサ１０８は、段階２２６で、ディスプレイ・パネル１０６から現在の入力データ得て、メモリ１１２から第１の発信元と関連付けられたより早く入力されたデータを得てよい。現在の入力データを得る際に、プロセッサ１０８は、ディスプレイ・パネル１０６又はメモリ１１２から、現在分析されている入力に基づき、該入力のタイミング、位置及びベクトル特性を含むデータを受信してよい。前の入力データを得る際に、プロセッサ１０８は、メモリ１１２から、現在分析されている入力の直前の第１の発信元により供給された入力データを読み出してよい。

前の入力データ及び現在の入力データに基づき、プロセッサ１０８は、段階２２８で、第１の発信元からの前の入力経路を表す種々のベクトル特性及び現在の入力の現在のベクトルを生成してよい。本発明のある実施例によると、プロセッサ１０８は、３つの前の連続する入力に基づき計算されたベクトル間の差分を決定することによりベクトルの動向を計算し、該ベクトルの動向に基づき現在の入力の方向、動向又は方向及び動向の両方を推定する。連続する入力及びベクトルの動向に基づき複数のベクトルを決定することにより、プロセッサ１０８は、入力の傾向を推定する。該入力の傾向は、現在のユーザ入力を更に良好に識別するため、及び現在のユーザ入力を他のユーザから又は別の発信元からの入力と区別するために用いられてよい。プロセッサ１０８の推定及び計算の例を、図４及び５と関連して詳細に説明する。

段階３２０で、プロセッサ１０８は、前のベクトルを分析し、前のベクトルに基づき、現行の軌跡のベクトル動向が変化しているか否かを決定する。プロセッサ１０８は、ベクトルの動向に変化があったと結論づけた場合、段階２３２でベクトルの動向の変化量に基づき推定ベクトルを計算し、段階２３４で推定ベクトルに基づき選択された発信元から生じた入力を識別する。一方で、プロセッサ１０８は、ベクトルの動向に変化がないと結論づけた場合、段階２３２を飛び越えて、選択された発信元から生じた入力を直ちに識別する（段階２３４）。

図４及び５に示された仮想的な入力と関連して、以下に段階２２８−２３２に示した処理を詳細に説明する。

図４は、それぞれ異なる発信元による入力として供給されている２つの軌跡がディスプレイ・パネル１０６上の入力として同時に供給されている仮想的な状況を示す。図４中の略図は、ディスプレイ・パネル１０６に供給された入力の正面図を示す。第１の軌跡は点Ａ、Ｂ、Ｃ及びＥを有する上向きの曲線であり、第２の軌跡は点Ｃ及びＤを有する下向きの曲線である。２つの軌跡内の入力は、ディスプレイ・パネル１０６の左側から右側へ供給されている。２つの軌跡は、入力Ｃで一点に集まって交わり、入力Ｅ及びＤで分かれる。本例では、入力Ｅ及びＤは、段階２０６で同時の入力を有すると決定され、段階２０８で変化するパラメータを有さないと決定された現在の入力である。段階２２４で選択された発信元は、第１の軌跡に入力を供給している。従って、プロセッサ１０８は、段階４０２−４１２で、入力Ｅ若しくはＤ又は入力Ｅ及びＤの両方が選択された発信元により供給されている上側の軌跡に属するか否かを決定する。

段階４０２で、プロセッサ１０８は、連続する前の入力Ａ、Ｂ及びＣを用いて前のベクトルＭ及びＮを生成する。ベクトルＭはＡとＢの間の差であり、ベクトルＮはＢとＣの間の差である。段階４０４で、プロセッサ１０８は、現在の入力Ｅ及びＤ並びに２つの軌跡内でＥとＤの両方の直前の入力Ｃを用いて、現在のベクトルＯ及びＰを生成する。ベクトルＯはＣとＥの間の差であり、ベクトルＰはＣとＤの間の差である。つまり、プロセッサ１０８は、段階４０２及び４０４で、図３の段階２２８で説明したように前のベクトルと現在のベクトルを決定する。

次に、プロセッサ１０８は、前のベクトルが互いに対して変化しているか否かを決定する（段階４０６及び２３０）。本発明のある実施例によると、プロセッサ１０８は、ベクトルＮをベクトルＭと比較することによりどちらがベクトルＮの直前かを決定する。段階４０６で、プロセッサ１０８は、Ｍ及びＮが等しくなく、ベクトルＭ及びＮの間で変化が生じていると結論づける。その後、プロセッサ１０８は、前のベクトルＭとＮとの間の差を計算することにより、ベクトルＭとＮとの間の変化量又はベクトルの動向を決定する（段階４０８）。

ベクトルＭ及びＢからのベクトル動向の決定に基づき、プロセッサ１０８は、推定ベクトルを計算し（段階４１０及び２３２）、入力Ｃの直後の入力又はベクトルＭ及びＮの決定に用いられた直近の入力がどこに位置するかを予測する。本発明のある実施例によると、プロセッサ１０８は、入力ＣにベクトルＮとＭとの差を加算することにより、推定ベクトルを計算する。つまり、現在のベクトルは、前のベクトルの間の変化に基づき推定される。最後に、段階４１２で、プロセッサ１０８は、推定ベクトルに最も適合する現在の入力を選択する（段階２３４）。ある実施例では、予測された経路とＥとの差が予測された経路とＥとの差より小さいので、入力Ｅが選択されてもよい。

本発明に従う別の実施例では、プロセッサ１０８は、第１の入力の発信元を識別すると、第１の現在の入力及び該第１の現在の入力の直前の入力から計算されたベクトル動向を表す軌跡に基づき、第２の現在の入力が第１の現在の入力と同一の発信元から生じたかを決定してよい。例えば、図４では、プロセッサ１０８は、入力Ｅは選択された発信元から生じたと決定すると、第１の現在の入力であるＥ及びＥの直前のＣから生成されたベクトルＯに基づき第１の軌跡を計算してよい。次に、プロセッサ１０８は、Ｏに基づき、第２の現在の入力ＤがＥと同一の発信元から生じたか否かを決定する。また、プロセッサ１０８は、第２の現在の入力が第１の現在の入力と同一の発信元から生じていないと決定した場合、第１の発信元とは異なる第２の発信元から生じている前の入力に基づき第２の軌跡を計算し、第２の入力が第２の発信元から生じている第２の軌跡の一部であるかどうかを決定してよい。例えば、図４では、プロセッサ１０８は、ＤがＥと同一の発信元から生じていないと決定した場合、下側の軌跡内に含まれる前の入力、例えばＣ及び別の点（図示されない）に基づくベクトルを有する第２の軌跡又は略図の下側の軌跡を生成し、Ｅが入力の下側の軌跡の一部であるか否かを決定する。

図５は、それぞれ異なる発信元による入力として供給されている２つの軌跡がディスプレイ・パネル１０６上の入力として同時に供給されている２つの異なる仮想的な状況を示す。図５中の上側及び下側の略図は、ディスプレイ・パネル１０６に供給された入力の正面図を示す。図４の略図と同様に、図５の２つの略図の軌跡の入力は、ディスプレイ・パネル１０６の左側から右側へ供給されている。上側の略図は、入力Ａ、Ｂ、Ｃ及びＤを有する上向きの軌跡がＣを有する下向きの軌跡と交わり交差する仮想的な状況を表す。前の入力はＡ、Ｂ及びＣであり、現在の入力はＤである。下側の略図は、入力Ａ、Ｂ、Ｃ及びＤを有する上側の軌跡がＥを有する下側の軌跡と交わらない別の仮想的な状況を表す。前の入力はＡ、Ｂ及びＣであり、現在の入力はＤ及びＥである。２つの略図では、段階２２４で選択された発信元は、上側の軌跡に入力を供給している。従って、プロセッサ１０８は、段階５０２−５０８で、入力Ｅ若しくはＤ又は入力Ｅ及びＤの両方が選択された発信元により供給されている上側の軌跡に属するか否かを決定する。

本発明のある実施例によると、プロセッサ１０８は、これら２つの状況に対して同一の分析段階に関与する。段階５０２で、プロセッサ１０８は、連続する前の入力Ａ、Ｂ及びＣに基づき前のベクトルＭ及びＮを生成する。ベクトルＭはＡとＢの間の差であり、ベクトルＮはＢとＣの間の差である。

段階５０４で、プロセッサ１０８は、入力ＤとＣとの差を計算することにより、現在のベクトルＰを決定する。ある実施例では、Ｅ−Ｃの計算は、ベクトルＭ及びＮと有意に異なるため、省略される。段階５０６で、プロセッサ１０８は、前のベクトルＭ及びＮが互いに実質的に等しい又は近いと決定し、前のベクトルＭ及びＮに基づきベクトル動向に僅かな変化しかない又は如何なる変化もないと結論づける。段階５０６で、プロセッサ１０８は、現在の入力Ｄのベクトルを表すベクトルＰが前のベクトルＭ及びＮと実質的に等しい又は近いと決定する。段階５０８で、プロセッサ１０８は、前のベクトルＭ及びＮの間に僅かな変化しか生じていない又は如何なる変化も生じていない、従って各略図の推定ベクトルは前のベクトルと実質的に等しい又は近いと決定する。この推定ベクトルに基づき、プロセッサ１０８は、現在の入力Ｄが前のベクトルＭ及びＮに実質的に等しい又は近いので、各略図で、現在の入力Ｅではなく現在の入力Ｄが選択された発信元により供給された上側の軌跡に属すると結論づける（段落５１０）。

図３に戻ると、プロセッサ１０８は、選択された発信元から生じた全ての入力を識別した後（段落２３４）、発信元を識別されていない現在の入力があるか否かを決定する（段落２３６）。例えば、図５で、現在の入力Ｄは選択された発信元から生じた識別された入力であり、入力Ｅは発信元の識別されていない現在の入力と見なされてよい。少なくとも１つの識別されていない現在の入力が残っている場合、プロセッサ１０８は、プロセッサ１０８が前のデータを取得した発信元と異なる第２の発信元を選択し、分析に用いる（段階２３８）。

第２の発信元が選択されると、プロセッサ１０８は、段階２２６−２３６を繰り返し、第１の発信元により供給された軌跡の一部に属さないと決定された残りの現在の入力が実際に第２の発信元により供給された軌跡の一部に属するか否かを決定する。つまり、プロセッサ１０８は、第２の発信元に関連する前の入力データを得て（段階２２６）、第２の発信元に関連付けられた前のベクトルを生成し（段階２２８）、第２の発信元からの前のベクトルに変化があるかどうかを決定し（段階２３０）、第２の発信元から生じている入力を識別する（段階２３４）。プロセッサ１０８は、メモリ１１２が直近の過去の入力を有する全ての発信元が分析され現在の入力と相関されるまで又は全ての現在の入力が識別されるまで、何れか先に生じるときまで、段階２２４−２３８を繰り返してよい。

一方で、プロセッサ１０８は、段階２２４でメモリ１１２が如何なる直近の過去の入力も有さないと決定した場合、アプリケーションに基づき、全ての入力を１つの発信元から生じたとして又は異なる発信元から生じたとして扱う。例えば、ディスプレイ・パネル１０６が１人用の射撃ゲームで用いられる標的に似ている場合、プロセッサ１０８は、全ての入力を１つの発信元に由来するとして取り扱ってよい。別の例では、ディスプレイ・パネル１０６が複数のユーザが同時に軌跡を入力し始める対話型製図板として動作する場合、プロセッサ１０８は、全ての入力を異なる発信元から生じているとして扱ってよい。しかしながら、後者の例では、供給された初期入力が分析されると、同一の軌跡に属する後の入力は、段階２２４−２３８で説明した分析を実行されるだろう。何故なら、プロセッサ１０８は、後の入力に対して最初の入力を直近の過去の入力と見なすからである。

図２に戻ると、変化するパラメータを有する入力及び有さない入力を含む（段階２０８、２１０、２２０）同時の入力と見なされた（段階２０６）全ての入力が分析されると、プロセッサ１０８は、第１の所定の時間制限内に含まれないが第２の所定の時間制限に含まれる現在の入力が存在するか否かを決定する。第２の所定の時間制限は、第１の所定の時間制限より長い、１秒より遙かに短い間継続する期間である。第２の所定の時間制限内に受信された複数の入力は、連続する軌跡の一部であると見なされる。本発明によるある実施例では、第２の所定の時間制限は、図３の直近の過去の入力を決定する際に用いられた制限と同じであり、現在の入力の間の時間及び距離の近さに基づき決定される。

また、ディスプレイ・パネル１０６に供給された複数の入力が同時の入力ではない場合でも、それらの入力は連続する軌跡に属する入力であるかも知れない。従って、段階２１２で、プロセッサ１０８は、第１の所定の時間制限内に含まれない全ての入力を分析し（段階２０６）、それらが第２の所定の時間制限内に含まれるかどうかを決定する。

段階２１２で、プロセッサ１０８は、第２の所定の時間制限内に含まれる入力があると決定した場合、それらの入力を分析のために現在の入力として選択する（段階２１８）。次に、プロセッサ１０８は、軌跡の一部に属すると推定されるこれらの新たに選択された現在の入力に対し、段階２０６、２０８、２１０及び２２０で説明した分析を繰り返す。プロセッサ１０８は、全ての現在の入力が検討されるまで段階２０６、２０８、２１０及び２２０を繰り返す。そして第１又は第２の所定の時間制限内に含まれない現在の入力が残る。つまり同時でも連続でもない現在の入力が残る。次に、プロセッサ１０８は、図３の段階２４０と関連して説明した分析と同様に、アプリケーションに基づき、これらの残りの現在の入力を１つの発信元から生じている又は異なる発信元から生じているとして扱う。

プロセッサ１０８が対応する発信元で現在の入力を識別すると、制御部１１０は、この情報を用いて種々のタスクを実行できる。例えば、制御部１１０は、同一の発信元から生じたこれらの入力に、該入力の位置に第１のグラフィックを表示することにより応答するよう、及び異なる発信元から生じたこれらの入力に、該入力の位置に第１のグラフィックと異なる第２のグラフィックを表示することにより応答するよう、ディスプレイ・パネル１０６に指示してよい。別の例として、入力を供給する２つの識別された発信元がコントローラである場合、制御部１１０は、該コントローラから生じた入力を検出及び識別すると振動するようこれらのコントローラの１つに指示してよい。制御部１１０は，パネル・モジュール１０２、ホスト１１６又は装置１１８に、入力の１又は複数の発信元に対応する異なる音を出力させてもよい。

以上の説明は、説明を目的として提示された。以上の説明は網羅的ではなく、本発明を詳細な形式又は開示された実施例に限定するものではない。本発明の変更及び適応は、開示された本発明の実施例の詳細及び実施を検討することにより当業者に明らかである。

本発明の他の実施例は、本願明細書に開示された本発明の詳細及び実施を検討することにより当業者に明らかである。これらの詳細及び例は単なる例であり、本発明の真の範囲及び精神は特許請求の範囲により示される。
［関連出願の相互参照］
本出願は２００９年４月８日に出願された米国特許出願番号１２／４２０，１４７号に基づく優先権を主張するものであり、当該米国特許出願の全内容をここに本出願に援用する。

１０２ パネル・モジュール
１０４ １又は複数の発信元
１０６ 内蔵光センサを有するディスプレイ・パネル
１０８ プロセッサ
１１０ 制御部
１１２ メモリ
１１６ ホスト
１１８ 装置

Claims (15)

1. 内蔵センサを有するディスプレイ領域への複数の光入力を識別する方法であって；
   視覚情報を表示する、内蔵センサを有するディスプレイ領域を設ける段階；
   前記ディスプレイ領域上の第１の位置へ光学的に送信された第１の入力を受信する段階；
   前記ディスプレイ領域上の第２の位置へ光学的に送信された第２の入力を受信する段階；
   前記第１の入力及び前記第２の入力を処理し、（１）該第１の入力及び該第２の入力の前記ディスプレイ領域に対する位置、（２）該第１の入力及び該第２の入力のタイミング、のうちの少なくとも１つを識別する段階；及び
   （１）該第１の入力及び該第２の入力の波長、（２）該第１の入力及び該第２の入力のフラッシュ又はパルス周波数、（３）該第１の入力及び該第２の入力の継続期間、（４）該第１の入力及び該第２の入力のタイミング、（５）該第１の入力及び該第２の入力の強度、（６）該第１の入力及び該第２の入力に関連付けられた変調方式、（７）該第１の入力及び該第２の入力の推定入力パターン、（８）該第１の入力及び該第２の入力の少なくとも一方の少なくとも１つの予測軌跡、のうちの少なくとも１つに基づき、前記第１の入力及び前記第２の入力が単一の発信元から又は複数の発信元から生じたのかを決定する段階；及び
   （１）前記ディスプレイ領域に対する対応する入力の位置、（２）対応する入力のタイミング、の少なくとも１つをそれぞれ有する第１の入力情報及び第２の入力情報を提供する段階；
   を有する方法。
2. 前記第１の入力及び前記第２の入力が単一の発信元から又は複数の発信元から生じたのかを決定する段階は：
   前記第１の入力を生じた第１の発信元を決定する段階；
   該第１の発信元から、時間的に該第１の入力に先行する複数の過去の入力を受信する段階；
   前記第１の入力及び前記複数の過去の入力のうちの少なくとも１つに基づき、第１の入力軌跡を計算する段階；及び
   該第１の入力軌跡に基づき、前記第２の入力が前記第１の発信元から生じたかを決定する段階；
   を有する、
   ことを特徴とする請求項１記載の方法。
3. 第２の発信元からの複数の過去の入力のうちの少なくとも２つに基づき、第２の入力軌跡を計算する段階；及び
   前記第１の入力軌跡及び前記第２の入力軌跡に基づき、前記第２の入力が該第１の入力軌跡又は該第２の入力軌跡の一部であるかを決定する段階；
   を有する請求項２記載の方法。
4. 前記第１の入力及び前記第２の入力が単一の発信元から又は複数の発信元から生じたのかを決定する段階は：
   第１の発信元から、時間的に前記第１の入力に先行する複数の過去の入力を受信する段階；
   前記複数の過去の入力に基づき、第１の入力軌跡を計算する段階；及び
   該第１の入力軌跡に基づき、前記第１の入力又は前記第２の入力が前記第１の発信元から生じたかを決定する段階；
   を有する、
   ことを特徴とする請求項１記載の方法。
5. 前記第１の入力軌跡を計算する段階は、推定軌跡を計算する段階を有し；
   前記第１の入力又は前記第２の入力が前記第１の発信元から生じたかを決定する段階は、前記第１の入力及び前記第２の入力を前記推定軌跡と比較する段階を有する、
   ことを特徴とする請求項４記載の方法。
6. 前記第１の入力軌跡を計算する段階は：
   前記複数の過去の入力のうちの少なくとも２つ及び前記第１の入力に基づき、少なくとも２つのベクトルを識別する段階；及び
   前記少なくとも２つのベクトルの間の差を決定する段階；
   を有する、
   ことを特徴とする請求項４記載の方法。
7. 前記第２の入力は前記第１の入力軌跡の一部であるかを決定する段階は：
   （１）第１のユーザからの連続する入力の動向、（２）第１のユーザからの連続する入力の動向の方向、（３）前記第１の入力及び前記複数の過去の入力のうちの少なくとも１つに基づき、前記第１の入力軌跡の一部である入力の推定位置、のうちの１つを観測する段階；
   を有する、
   ことを特徴とする請求項３記載の方法。
8. 内蔵センサを有するディスプレイ領域への複数の光入力を識別するシステムであって；
   視覚情報を表示する、内蔵センサを有するディスプレイ領域；
   前記ディスプレイ領域上の第１の位置及び第２の位置へそれぞれ光学的に送信された第１の入力及び第２の入力を受信する入力検出部；及び
   プロセッサ；
   を有し、
   当該プロセッサは：
   （１）前記第１の入力及び前記第２の入力の前記ディスプレイ領域に対する位置、（２）前記第１の入力及び前記第２の入力のタイミング、のうちの少なくとも１つを識別し；
   （１）前記第１の入力及び前記第２の入力の波長、（２）該第１の入力及び該第２の入力のフラッシュ又はパルス周波数、（３）該第１の入力及び該第２の入力の継続期間、（４）該第１の入力及び該第２の入力のタイミング、（５）該第１の入力及び該第２の入力の強度、（６）該第１の入力及び該第２の入力に関連付けられた変調方式、（７）該第１の入力及び該第２の入力の推定入力パターン、（８）該第１の入力及び該第２の入力の少なくとも一方の少なくとも１つの予測軌跡、のうちの少なくとも１つに基づき、該第１の入力及び該第２の入力が単一の発信元から又は複数の発信元から生じたのかを決定し；及び
   （１）前記ディスプレイ領域に対する対応する入力の位置、（２）対応する入力のタイミング、の少なくとも１つをそれぞれ有する第１の入力情報及び第２の入力情報を提供する；
   ことを特徴とするシステム。
9. 前記第１の入力及び前記第２の入力のそれぞれは、可視光、赤外光及びレーザのうちの少なくとも１つを有する、
   ことを特徴とする請求項８記載のシステム。
10. 前記第１の入力及び前記第２の入力が単一の発信元から又は複数の発信元から生じたのかを決定することは：
    前記第１の入力を生じた第１の発信元を決定し；
    該第１の発信元から、時間的に該第１の入力に先行する複数の過去の入力を受信し；
    前記第１の入力及び前記複数の過去の入力のうちの少なくとも１つに基づき、第１の入力軌跡を計算し；及び
    該第１の入力軌跡に基づき、前記第２の入力が前記第１の発信元から生じたか否かを決定する；
    ことを有する、
    ことを特徴とする請求項８記載のシステム。
11. 前記プロセッサは更に：
    第１の発信元からの複数の過去の入力のうちの少なくとも２つに基づき、第２の入力軌跡を計算し；及び
    前記第１の入力軌跡及び前記第２の入力軌跡に基づき、前記第２の入力が該第１の入力軌跡又は該第２の入力軌跡の一部であるかを決定する；
    ことを特徴とする請求項１０記載のシステム。
12. 前記第１の入力及び前記第２の入力が単一の発信元から又は複数の発信元から生じたのかを決定することは：
    第１の発信元から、時間的に前記第１の入力に先行する複数の過去の入力を受信し；
    前記複数の過去の入力に基づき、第１の入力軌跡を計算し；及び
    該第１の入力軌跡に基づき、前記第１の入力又は前記第２の入力が前記第１の発信元から生じたかを決定する；
    ことを有する、
    ことを特徴とする請求項８記載のシステム。
13. 前記第１の入力軌跡を計算することは、推定軌跡を計算することを有し；
    前記第１の入力又は前記第２の入力が前記第１の発信元から生じたかを決定することは、前記第１の入力及び前記第２の入力を前記推定軌跡と比較することを有する、
    ことを特徴とする請求項１２記載のシステム。
14. 前記第１の入力軌跡を計算することは：
    前記複数の過去の入力のうちの少なくとも２つ及び前記第１の入力に基づき、少なくとも２つのベクトルを識別し；及び
    前記少なくとも２つのベクトルの間の差を決定する；
    ことを有する、
    ことを特徴とする請求項１２記載のシステム。
15. 前記第２の入力は前記第１の入力軌跡の一部であるかを決定することは：
    （１）第１のユーザからの連続する入力の動向、（２）第１のユーザからの連続する入力の動向の方向、（３）前記第１の入力及び前記複数の過去の入力のうちの少なくとも１つに基づき、前記第１の入力軌跡の一部である入力の推定位置、のうちの１つを観測する；
    ことを有する、
    ことを特徴とする請求項１１記載のシステム。

Images