JP2016521874A - 光学的接近センサ - Google Patents

Abstract

ハウジングと、検出平面に沿ってハウジングから光を投射するための複数の光パルス放射器と、放射器により投射された光の、検出平面内の反射物体による反射を検出するための複数の一次光検出器と、放射器及び一次検出器に対して配向される複数の一次レンズであって、放射器・検出器の各対に対して、検出平面内の位置の一次セットの中から、その放射器・検出器対に関連した位置に物体が位置されたときに、その対の放射器により放射された光が一次レンズの１つを通過しそして物体により一次レンズの１つを通してその対の検出器へ反射されるようにする複数の一次レンズと、放射器・検出器対を共アクチベートし、そして検出平面における物体の二次元位置を計算するように構成されたプロセッサと、を備えた接近センサ。【選択図】 図２

Description

関連出願の相互参照：本出願は、次のものから優先権の利益を主張する。
●発明者パー・ローゼングレン、ラース・スパルフ、エリック・ローゼングレン、及びトーマス・エリクソンにより２０１３年５月３０日に出願された“OPTICAL TOUCH SCREEN SYSTEMS USING REFLECTED LIGHT”と題する米国プロビジョナル特許出願第６１／８２８，７１３号；
●発明者パー・ローゼングレン、ラース・スパルフ、エリック・ローゼングレン、トーマス・エリクソン、ジョセフ・シャイン、ステファン・ホルムグレン、ジョン・カールソン、及びレモ・ベダシュにより２０１３年６月２３日に出願された“OPTICAL GAME ACCESSORIES USING REFLECTED LIGHT”と題する米国プロビジョナル特許出願第６１／８３８，２９６号；
●発明者リチャード・バーグリンド、トーマス・エリクソン、シモン・フェリン、パー・ローゼングレン、ラース・スパルフ、エリック・ローゼングレン、ジョセフ・シャイン、ステファン・ホルムグレン、ジョン・カールソン、及びレモ・ベダシュにより２０１３年７月１５日に出願された“PROXIMITY SENSOR FOR LAPTOP COMPUTER AND ASSOCIATED USER INTERFACE”と題する米国プロビジョナル特許出願第６１／８４６，０８９号；
●発明者トーマス・エリクソン、ステファン・ホルムグレン、ジョン・カールソン、レモ・ベダシュ、エリック・ローゼングレン、ラース・スパルフ、及びアレクサンダー・ジュブナーにより２０１４年１月２２日に出願された“CLOUD GAMING USER INTERFACE”と題する米国プロビジョナル特許出願第６１／９２９，９９２号；
●発明者サイラム・イヤ、カール・エリック・パトリック・ノルドストロム、パー・ローゼングレン、ステファン・ホルムグレン、エリック・ローゼングレン、ロバート・ペターソン、ラース・スパーフ、及びトーマス・エリクソンにより２０１４年３月３０日に出願された“OPTICAL TOUCH SCREEN SYSTEMS”と題する米国プロビジョナル特許出願第６１／９７２，４３５号；
●発明者サイラム・イヤ、カール・エリック・パトリック・ノルドストロム、ラース・スパーフ、パー・ローゼングレン、エリック・ローゼングレン、トーマス・エリクソン、アレクサンダー・ジュブナー、及びジョセフ・シャインにより２０１４年４月３０日に出願された“OPTICAL TOUCH SCREEN SYSTEMS”と題する米国プロビジョナル特許出願第６１／９８６，３４１号；及び
●発明者トーマス・エリクソン及びステファン・ホルムグレンにより２０１３年１２月２６日に出願された“LIGHT-BASED PROXMITY DETECTION SYSTEM AND USER INTERFACE”と題する米国特許出願第１４／１４０，６３５号。

これらの特許出願の内容は、参考としてここにそのまま援用される。

本発明は、光ベースのタッチスクリーンに関する。

多くの消費者向け電子装置は、現在、指又はスタイラスのタッチユーザ入力で使用するためにタッチ感知スクリーンと共に製造されている。これらの装置は、移動電話及び車載娯楽システムのような小型スクリーン装置から、ノートブックコンピュータのような中間サイズのスクリーン装置、更には、空港のチェックインステーションのような大型スクリーン装置までの範囲に及ぶ。

本発明は、光ベースのタッチスクリーンに関する。従来の光ベースのタッチスクリーンは、光放射器及び光検出器でスクリーンの境界を取り巻き、スクリーン表面上に光ビーム格子を生成する。上からスクリーンにタッチする物体は、ビームの対応部分を阻止する。

１６個のＬＥＤ及び１６個のＰＤを有する従来の光ベースタッチスクリーンを示す図１を参照する。図１のスクリーン１００は、２つの縁に沿った放射器１３０と、残りの２つの縁に沿ったホトダイオード（ＰＤ）受信器２４０とで取り巻かれ、それらは、一緒に、光ビームの格子でスクリーンをカバーできるようにする。

従来の光ベースタッチスクリーンの１つの欠点は、スクリーンの４辺全部に沿って多数の光放射器及び光検出器を収容する必要があることである。この必要性は、装置の内部コンポーネントのレイアウトを著しく変更せずに既存の電子装置に光ベースのタッチ検出を挿入するのを困難にする。必要なコンポーネントの数を減少し、且つスクリーン全体を取り巻くのではない限定エリアにそれらを配置できるようにするのが好都合である。必要な光放射器及び光検出器の合計数を減少することは、部品表（ＢＯＭ）を減少するという利益を付加する。

本発明の実施形態は、光放射器及び検出器を交互に置いた一次元アレイを使用して二次元（２Ｄ）タッチ検出を提供する。本発明の他の実施形態は、スクリーンの１つの縁のみに沿って光放射器の一次元アレイを及びスクリーンの逆の縁に沿って光検出器の逆アレイを使用して、２Ｄタッチ検出を提供する。又、本発明は、２Ｄ検出器と同じ原理に基づいて三次元（３Ｄ）タッチ又はホバー検出器も提供する。

従って、本発明の一実施形態によれば、交互に光放射器及び検出器の行が提供される。光放射器は、行に垂直に且つそのシーケンスにおいて互いに平行に、コリメートされた光ビームを投射する。光検出器は、光ビーム路に挿入された物体により反射された放射器からの光を検出する。各検出器は、放射ビームの平面において、それらビームに対して固定の角度で光を検出する。放射器と、放射器のビームから反射された光を検出する検出器との間の距離を、その固定の角度と一緒に使用して、三角法により反射物体の位置を決定する。

更に、本発明の一実施形態によれば、スクリーンの下縁に沿った光放射器の行及びスクリーンの上縁に沿った光検出器の行が設けられる。各光放射器は、全ての光検出器により検出される非常に巾の広いビームを投射する。スクリーンにタッチする物体のｘ座標は、スクリーンの側縁に平行に延びる阻止ビームに対応する。ｙ座標は、対角方向の阻止ビーム間の交点を識別することにより決定される。

本発明の一実施形態によれば、接近物体の二次元座標を決定するための接近センサにおいて、ハウジングと、検出平面に沿ってハウジングから光を投射するためにハウジングにマウントされた複数の光パルス放射器と、放射器により投射された光の、検出平面内の反射物体による反射を検出するためにハウジングにマウントされた複数の一次光検出器と、放射器及び一次検出器に対してハウジングにマウント及び配向される複数の一次レンズであって、放射器・検出器の各対に対し、検出平面における位置の一次セットの中から、その放射器・検出器の対に関連した二次元位置に物体が位置されたときに、その対の放射器により放射された光が一次レンズの１つを通過しそして物体により一次レンズの１つを通してその対の検出器へ反射されるようにする複数の一次レンズと、放射器及び一次検出器に接続され、放射器・検出器対を同期して共アクチベートし、且つ検出平面における物体の二次元位置を計算するように構成されたプロセッサであって、該計算は、共アクチベートされる放射器・検出器対の中で、検出器が最大量の光を検出する放射器・検出器対を決定し、それに関連した位置を識別し、共アクチベートされる放射器・検出器対に関連し且つそのように識別された位置に隣接する付加的な位置を決定し、そしてそのように識別された位置及びそのように決定された付加的な位置の重み付けされた平均値を計算することによって行われ、その平均値における各位置の重みは、その位置に関連した放射器・検出器対に対する反射光ビームの検出の度合いに対応するものであるプロセッサと、を備えた接近センサが提供される。

更に、本発明の一実施形態によれば、スライダコントローラに沿った指の方向性移動を決定するための接近センサにおいて、ハウジングと、前記ハウジングにマウントされ且つスライダコントローラのための露出した上面を有する多層光透過性カバーであって、このカバーの層間の境界は、不透明又は反射部分により分離された光透過性部分のパターンを含み、そして光透過性部分或いは不透明又は反射部分のサイズは、そのパターンにわたって増加するようにした光透過性カバーと、このカバーの上層へ光を投射するためにハウジングにマウントされた光パルス放射器であって、投射される光は、内部全反射（ＴＩＲ）により上層に拘束され、露出した上面にタッチする指がＴＩＲ光を妨害して、光の一部分を、前記パターンにおける光透過性部分を通して、上層の下にあって前記パターンによりそこから分離された第２層へ入り込むようにさせ、第２層に入る光の部分は、露出した上面にタッチする指の下の光透過性部分のサイズに対応するものである光パルス放射器と、第２層における光の強度を検出するためにハウジングにマウントされた光検出器と、前記パターンにわたって物体の方向性移動を決定するために光検出器に接続されたプロセッサであって、移動の方向は、光検出器が時間に伴う検出光強度の増加シリーズを検出するか又は減少シリーズを検出するかに対応するプロセッサと、を備えた接近センサが提供される。

更に、本発明の一実施形態によれば、スライダコントローラに沿った物体の方向性移動を決定するための接近センサにおいて、ハウジングと、このハウジングにマウントされ、スライダコントローラのための露出した上面を有し、不透明又は反射部分により分離された光透過性部分のパターンを含む光透過性カバーであって、その光透過性部分或いは不透明又は反射部分のサイズは、パターンにわたって増加するものである光透過性カバーと、このカバーの上に光を投射するためにハウジングにマウントされた光パルス放射器と、反射物体によりカバーへ反射される投射光の強度を検出するためにハウジングにマウントされた光検出器であって、物体によりカバーへ反射される光の量は、物体の下の光透過性部分のサイズに依存するものである光検出器と、パターンにわたる物体の方向性移動を決定するために光検出器に接続されたプロセッサであって、移動の方向は、光検出器が時間に伴う検出光強度の増加シリーズを検出するか又は減少シリーズを検出するかに対応するプロセッサと、を備えた接近センサが提供される。

更に、本発明の一実施形態によれば、ハウジングと、インターネットゲームサーバーと通信するためにハウジングにマウントされたコミュニケータと、ゲームサーバーからコミュニケータによって受け取られたゲームユーザインターフェイスの一部分をレンダリングするためにハウジングにマウントされたディスプレイと、付近に配置される第２のゲーム装置を検出するためにハウジングにマウントされ且つコミュニケータに接続されたセンサと、を備え、コミュニケータは、前記センサによりゲームサーバーに与えられる検出情報を、近傍の第２のゲーム装置に関わりなく、通信するハンドヘルド電子ゲーム装置が提供される。

更に、本発明の一実施形態によれば、インターネットゲームサーバーと、該ゲームサーバーと各々通信するハンドヘルド電子ゲーム装置である２つ以上のゲーム装置とを備え、各ゲーム装置は、ハウジングと、ゲームサーバーと通信するためのコミュニケータと、前記ゲームサーバーからコミュニケータによって受け取られたゲームユーザインターフェイス（ＵＩ）の各部分をレンダリングするためにハウジングにマウントされたディスプレイと、付近のゲーム装置の存在を検出するためにハウジングにマウントされ且つコミュニケータに接続されたセンサとを備え、ゲームサーバーは、ゲーム装置の数に基づいてゲームＵＩの各部分のサイズを決定するインターネットゲームシステムが提供される。

本発明は、添付図面を参照した以下の詳細な説明から完全に理解され、明らかになるであろう。

１６個のＬＥＤ及び１６個のＰＤを有する従来の光ベースタッチスクリーンの図である。 本発明の実施形態により二次元検出エリアにおいて物体の二次元座標を検出するための接近センサの簡単な図である。 本発明の実施形態により図２の接近センサを使用するタッチスクリーンシステムの簡単な図である。 本発明の実施形態による光学的接近センサの分解図である。 本発明の実施形態による光学的接近センサの分解図である。 本発明の実施形態による光学的接近センサを上から見た図である。 本発明の実施形態による光学的接近センサに使用される放射及び反射された光ビームの簡単な図である。 本発明の実施形態による光学的接近センサに使用される放射及び反射された光ビームの簡単な図である。 本発明の実施形態による光学的接近センサに使用される放射及び反射された光ビームの簡単な図である。 本発明の実施形態による光学的接近センサに使用される放射及び反射された光ビームの簡単な図である。 本発明の実施形態による光学的接近センサに使用される放射及び反射された光ビームの簡単な図である。 本発明の実施形態による光学的接近センサに使用される放射及び反射された光ビームの簡単な図である。 本発明の実施形態によるタッチ検出マップを示す。 本発明の実施形態によるタッチ検出マップを示す。 本発明の実施形態による交互に放射器及び検出器を伴うレンズアレイの簡単な図である。 本発明の実施形態により光学的接近センサを使用してタッチ位置を計算するのに使用されるアルゴリズムを示す簡単なタッチ検出マップである。 本発明の実施形態により光学的接近センサを使用してタッチ位置を計算するのに使用されるアルゴリズムを示す簡単なタッチ検出マップである。 本発明の実施形態により光学的接近センサを使用してタッチ位置を計算するのに使用されるアルゴリズムを示す簡単なタッチ検出マップである。 本発明の実施形態による検出信号の補間を示す。 本発明の実施形態によるハフ変換を示す。 本発明の実施形態による検出マップである。 本発明による種々のタッチスクリーンシステム実施形態のための簡単なタッチ検出マップである。 （ａ）から（ｆ）は、本発明による種々のタッチスクリーンシステム実施形態のための簡単なタッチ検出マップである。 本発明の実施形態による二重解像度センサの簡単な図である。 本発明の実施形態による二重解像度センサの簡単な図である。 （ａ）及び（ｂ）は、本発明の実施形態による二重解像度センサに使用される２つの検出マップの簡単な図である。 本発明の実施形態による二重解像度センサのためのＰＣＢ上のＬＥＤ及びＰＤを上から見た簡単な図である。 本発明の実施形態による二重解像度センサの簡単な断面図である。 本発明の実施形態による二重ディスプレイラップトップの簡単な図である。 本発明の実施形態による二重ディスプレイラップトップの一部分の簡単な図である。 本発明の実施形態によるＰＣの簡単な図である。 本発明の実施形態による図３１のＰＣのキーボードの簡単な図である。 本発明の実施形態によるＰＣトラックパッドの簡単な図である。 本発明の実施形態による透明なＰＣキーボードの簡単な図である。 本発明の実施形態による図２４の透明キーボードの簡単な側面斜視図である。 本発明の実施形態によりキーボード及びＧＵＩ機能を与える二次ディスプレイの簡単な図である。 本発明の実施形態によるラップトップキーボードの簡単な図である。 本発明の実施形態による図３７のラップトップキーボードの簡単な断面図である。 本発明の実施形態によりディスプレイの側縁に接近するウェーブジェスチャーを検出するための接近センサを伴うＰＣの簡単な図である。 本発明の実施形態によりタッチパネルのバーチャルキーパッド部分の上に配置された規範的な４ボタンキーパッドシャーシの３つの図を簡単に示す。 本発明の実施形態によりタッチパネルのバーチャルキーパッド部分の上に配置された規範的な４ボタンキーパッドシャーシの簡単な断面図である。 （ａ）から（ｃ）は、本発明の実施形態により解除及び押圧されるスプリング弾力性キーの簡単な図である。 （ａ）及び（ｂ）は、本発明の実施形態によるゴムのような伸縮性弾力性材料より成るボタンの簡単な断面図である。 （ａ）から（ｃ）は、本発明の実施形態による別のボタン構成の簡単な図である。 本発明の実施形態によるキーボードディスプレイと光ファイバフェースプレートキーとの間のマイクロレンズアレイの構成の簡単な図である。 本発明の実施形態によるキー又はボタンの簡単な図である。 本発明の実施形態によるスライダコントローラの簡単な図である。 本発明の実施形態による図４７のスライダコントローラを使用するジェスチャーの種々の検出パターンの簡単な図である。 本発明の実施形態による別のスライダコントローラの簡単な図である。 本発明の実施形態によるゲーム付属品の簡単な図である。 本発明の実施形態によるゲーム付属品の簡単な図である。 本発明の実施形態によるゲーム付属品の簡単な図である。 本発明の実施形態によるゲーム付属品の簡単な図である。 本発明の実施形態による複数の光学的接近センサを使用する三次元センサの簡単な図である。 本発明の実施形態によりインターネットゲームサーバーと通信するためのコミュニケータを有するハンドヘルド電子ゲーム装置の簡単な図である。 本発明の実施形態によりハンドセットにおいてレンダリングされるインターネットゲームの簡単な図である。 本発明の実施形態によりインターネットゲームをレンダリングするために一緒に使用される２つのハンドセットの簡単な図である。 本発明の実施形態により２つのハンドセットで形成されるインターネットゲーム用の２パネルディスプレイの簡単な図である。 本発明の実施形態により４つのハンドセットで形成されるインターネットゲーム用の４パネルディスプレイの簡単な図である。 本発明の実施形態により、センサで検出されてゲームサーバーへ通信される各ディスプレイの相対的な位置及び配向に基づきゲームＧＵＩが４つのディスプレイ間に分散される図５９の４つのゲーム装置の構成を簡単に示す。

以下のテーブルは、番号付けされた要素を列挙しそして番号付けされた各要素が現れる図面をリストしたものである。同様に、番号付けされた要素は、同じタイプの要素を表わすが、同じ要素である必要はない。

本発明の態様は、光ベースのタッチスクリーン及び光ベースのタッチ表面に関する。この明細書全体にわたり、「タッチスクリーン」という語は、電子ディスプレイを含まないタッチ表面、特に、多数のラップトップコンピュータに含まれるマウスタッチパッド及びハンドヘルド装置のバックカバーを含む。又、これは、本発明により提供されるセンサに隣接する非包囲エアスペースも含む。

本発明の実施形態によれば、光ベースのタッチセンサは、複数の赤外線又は近赤外線の発光ダイオード（ＬＥＤ）と、検出平面の１辺に沿って配置された複数のホトダイオード（ＰＤ）とを備えている。ある実施形態では、検出平面は、上述したように、タッチスクリーンの表面又は界面エリアである。ＬＥＤは、検出平面に沿ってコリメートされた光を投射し、そしてその光が指又はスタイラスのような挿入物体により反射されたとき、その反射光がＰＤにより検出される。アクチベートされるＬＥＤと、反射光を検出するＰＤとの位置の幾何学形状は、検出エリア内のポインタの二次元座標を三角法で決定するのに充分である。ＬＥＤ及びＰＤは、プロセッサにより選択的にアクチベートされる。一般的に、各ＬＥＤ及びＰＤは、Ｉ／Ｏコネクタを有し、そしてどのＬＥＤ及びどのＰＤをアクチベートするか指定するために信号が送信される。

本発明の実施形態により二次元検出エリアにおいて物体の二次元座標を検出するための接近センサの簡単な図である図２を参照する。図２は、下縁に沿った交互の放射器及び検出器の行と、上縁に沿ったレンズ３１２のアレイと、左縁のプロセッサ７０２とを特徴とする接近センサ５１２を示している。放射器及び検出器は、全て、図示簡単化のため番号が付けられていることに注意されたい。従って、図２には、放射器１０１−１０３及び検出器２０２−２０８と番号付けされている。放射器及び検出器の交互の配置は、放射器１０１−１０３及び検出器２０６−２０８で示されている。

各放射器は、アレイ３１２における各コリメートレンズの光学軸に位置される。図２においては、放射器１０１−１０３が各光ビーム４０３−４０５を投射するように示されている。

又、図２は、各検出器のための反射光ビームも示している。それらの５つが、４０６−４０９及び４１３と番号付けされている。アレイ３１２の各レンズは、そのレンズの放射器に隣接する２つの検出器へ反射光を伝送する。例えば、放射器１０２に対向するレンズは、反射ビーム４１３を検出器２０７に指向すると共に、反射ビーム４０９を検出器２０８に指向する。以下に述べるように、検出器は、特定の角度でレンズに入るビームから最大の強度を受けるようにレンズの対物平面に沿って位置される。これは、各放射器・検出器対に対応する二次元エリア内の位置を決定できるようにする。図２において、それらの位置は、放射器ビームと反射ビームとの間の交点である。図２において、５つのそのような位置が９０２−９０６と番号付けされている。

本発明の実施形態によれば、各放射器は、プロセッサ７０２により各検出器と同期して共アクチベートされる。共アクチベート中に反射光が検出された場合には、図２に示すように、アクチベートされた放射器のビームと、共アクチベートされた検出器に対する対応反射ビームとの間の対応交点位置の付近に物体が位置することを示す。プロセッサ７０２は、共アクチベートされた放射器・検出器対の中で、検出器が最大量の光を検出する放射器・検出器対を決定し、そしてそれに関連した位置を識別することにより、物体の座標を計算する。例えば、最大の検出は、放射器・検出器対１０２−２０２に対して識別され、即ち放射器のビーム４０４がビーム４０８に沿って反射されたときに識別される。この検出に対応する位置は、検出平面内の位置９０２である。プロセッサ７０２は、共アクチベートされた放射器・検出器対に関連し且つ最大検出の識別位置に隣接する付加的な位置、例えば、対応位置が９０３である放射器・検出器対１０２−２０３、及び対応位置が９０５である放射器・検出器対１０１−２０２を決定する。又、付加的な検出及びそれに対応する位置、例えば、位置９０４及び９０６に対応する検出も使用される。プロセッサ７０２は、最大検出の識別された位置、及びそのように決定された付加的な位置の重み付けされた平均値を計算し、その平均値における各位置の重みは、その位置に関連した放射器・検出器対に対する反射光ビームの検出の度合いに対応する。

プロセッサ７０２は、１つの放射器を２つ以上の検出器と同期して同時に共アクチベートするように動作する。ある実施形態では、プロセッサ７０２は、以下に述べるハフ変換を使用して物体の位置を計算する。

ＬＥＤのような放射器及びホトダイオード（ＰＤ）のような検出器は、典型的に、個々の基板上にマウントされ、そして個々のレンズカバーで包囲される。接近センサ５１２のコストを減少するために、ある実施形態では、放射器及び検出器は、個々のレンズをもたず且つ個々の基板をもたずに、接近センサ５１２のＰＣＢ又は他の基板上に裸のダイオードとしてマウントされる。レンズアレイ３１２は、これらダイオードのための唯一のレンズとして働く。この場合、接近センサ５１２は、大きなマルチダイオードコンポーネントと考えることができる。このコンポーネントは、事前に製造され、そしてＯＤＭ又はエンドユーザにより装置に挿入されて、タッチ検出を行うことができる。

例えば、このコンポーネントは、ユーザが車窓においてタップ及びジェスチャー入力を行えるように車窓の上又は下に配置することができる。プロセッサ７０２は、カーステレオ又はユーザの電話とワイヤレス通信するためにコミュニケータプロセッサ、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）を備えている。同様に、このコンポーネントは、ユーザが家の窓又は家の壁においてタップ及びジェスチャー入力を行えるように家の窓の上又は下或いは家の壁に配置することができる。数字及びアイコンを伴う透明のシートを窓ガラス上又はその中或いは壁に配置して、各位置におけるユーザのタッチでどんな入力動作がアクチベートされたか指示することができる。

この説明において、接近センサ５１２は、タッチセンサバー５０１及びタッチセンサバー５１０とも称される。

本発明の実施形態により接近センサ５１２を使用するタッチスクリーンシステムの簡単な図である図３を参照する。図３は、遠隔物体９０１により反射された光をタッチセンサバー５０１が検出するところを示す。タッチセンサバー５０１は、５つのＰＤ２０１−２０５を含む。ＰＤの各対間にＬＥＤが挿入される。従って、タッチセンサバー５０１には４つのＬＥＤがある。しかしながら、図３には、１つのＬＥＤ、即ちＬＥＤ１０１しか示されていない。

タッチセンサバー５０１は、ＬＥＤ及びＰＤの前に光ガイド３０１を備え、これは２つの機能を果たす。即ち、第１に、発光ダイオードからの光をコリメートし、そして光ビーム４０１で示すように、スクリーンの表面を横切ってそれを投射し；第２に、固定の角度で光ガイド３０１に入る反射光をホトダイオードに収束させる。従って、光ガイド３０１は、接続された一連のコリメートレンズを含み、そのうちのレンズ３０２及び３０３が図２Ｂに示されている。レンズ３０２は、放射器１０１のビームをコリメートするように示され、そしてレンズ３０３は、特定の固定角度で光ガイド３０１に入る反射光４０２をホトダイオード２０５に収束させるように示されている。

本発明の実施形態によるタッチ検出装置の分解図である図４及び５を参照する。図４は、上から見たタッチセンサバー５１０の分解図である。上部及び下部のケーシング部分６０１と６０２との間に、ＰＣＢ６０３及び光ガイド３１０が示されている。ＰＣＢ６０３は、交互のＬＥＤ１０１及びＰＤ２０１の行を有し、その行の両端の最も外側のダイオードは、ＰＤ２０１である。従って、１１個のＰＤがＰＣＢ６０３において１０個のＬＥＤとインターリーブされている。図３は、１０個のコリメートレンズ３１１で形成された光ガイド３１０も示しており、１つのレンズが各ＬＥＤに直接対向している。上述したように、各コリメートレンズ３１１は、２つの機能、即ち出て行くビームをコリメートすること、及び到来する反射ビームをＰＤに収束すること、を遂行する。ＬＥＤは、それに対向するレンズの焦点に位置される。この焦点から各ＰＤの横方向のずれは、レンズが到来ビームをＰＤへの狭い角度範囲内のみに向けるように保証する。レンズ３１１への入射角がその狭い角度範囲より大きいか又は小さい到来ビームは、ターゲットＰＤから離れて収束される。

漂遊ＬＥＤ光が隣接ＰＤを飽和させるのを防止するために、一連の光バリア３２０−３２１が各ＬＥＤをその隣接ＰＤから分離する。図５は、下から見たタッチセンサバー５１０の別の分解図である。光バリア３２０及び３２１は、上部ケーシング６０１の下面から突出して示されている。

本発明の実施形態によるタッチ検出装置の上から見た図である図６を参照する。図６は、上からタッチセンサバー５１０を見た図である。図６は、バリア３２０及び３２１によって各々分離されるＬＥＤ１０１及びＰＤ２０１の交互の行；各ＬＥＤ１０１に対向するレンズ３１１、並びにＬＥＤ１０１及びＰＤ２０１を順次にアクチベートし且つＰＤ検出信号を受信するためのコントローラ７０１を示している。ＰＤ検出信号に基づいて行われるタッチ計算は、コントローラ７０１により実行されるか、又は個別の処理ユニット、例えば、ホストへオフロードされる。

本発明の実施形態によるタッチスクリーンシステムに使用される放射及び反射光ビームの簡単な図である図７−１２を参照する。図７は、ＰＤ２１０及び２１１により各々検出される２組の反射ビーム４１１及び４１２に基づいて離れた物体９１０を検出することを示している。図７は、１つの放射器１１１からのビームが２つのＰＤ２１０及び２１１によってどのように検出されるかを示している。反射ビーム４１１及び４１２は、各々、ある角度で各レンズ３１１に入り、レンズは、ビームを各ＰＤに収束させる。

図８は、レンズ３１１の設計事項、並びに放射器１０１及びＰＤ２０１の配置を示している。レンズ３１１は、非球面であり、そしてＬＥＤ１０１及びＰＤ２０１両方への同時収束を維持するためにフラットな画像平面９１２を達成するように最適化される。ＬＥＤ１０１は、レンズ３１１を中心として光学軸上に位置する。点９１３は、画像平面９１２におけるＬＥＤ１０１の画像である。ＰＤ２０１は、視野の縁に位置する。点９１４は、画像平面９１２におけるＰＤ２０１の画像である。レンズを通して対物平面９１６に捕獲される画像に関して、ＬＥＤ１０１は、中心ピクセルであり、そしてＰＤ２０１は、捕獲画像の縁のピクセルである。ＰＤ２０１の視野は、レンズ３１１の巾を通して見たＰＤチップサイズにより決定される。ＰＤ２０１の視野以外の角度からレンズ３１１に入る光線は、同じ平面９１６に画像を形成するが、ＬＥＤ１０１とＰＤ２０１との間のどこかである。従って、これらの光線は、ＰＤ２０１によって捕獲されない。

放射器１０１のビーム４２０とＰＤ２０１の反射ビーム４２１との間の角度９１５は、アクティブなタッチ検出エリアの意図された形状に適合するように選択される。アクティブなタッチ検出エリアが方形であるときには、角度９１５は、方形の半分の対角線、即ちｔａｎ^-1（１／２）≒２６．６°である。視野の深さがタッチセンサバーの巾より長いときには、角度は、より小さい。

図９は、ＬＥＤ１０１が光ビーム４１０をスクリーン９１１の表面上に及び表面を横切って投射するところを示す側面図である。レンズ３１１によりコリメートされるのに加えて、ビーム４１０は、スクリーンの表面から離れるように若干上に向けられる。これは、スクリーン９１１の表面により反射される光の量を減少し、タッチ検出に利用される光を最大にする。

図１０は、１つのコリメートレンズ３１１、放射器１０１及びＰＤ２０１の、上から見た図である。ビーム４１０と４１１との間の入射角度でレンズ３１１に接近する反射光ビームは、放射器１０１とＰＤ２０１との間の位置に収束される。ビーム４１１より鋭角の入射角でレンズ３１１に接近する反射光ビームは、ＰＤ２０１より上の位置に収束される。従って、レンズ及びＰＤの構成は、システムが特定の角度でレンズ３１１に入る反射光を感知することを保証する。

図１１は、図１０のレンズ及びコンポーネントの斜視図である。

図１２は、タッチ検出バー５１０から距離３において物体９１０により反射されたビーム４１１及び４１２を示す。上述したように、ＰＤ及びレンズが構成される検出角度に基づいて、ＰＤ２１０及び２１１に最大の検出信号が発生される。従って、タッチ位置は、距離３において、アクチベートされた放射器１１１に対向していると決定される。これらの座標は、Ｘ、Ｙスクリーン座標に容易に変換される。例えば、タッチ位置がビーム４１０に沿っているが、タッチ検出バー５１０から距離２にある場合には、最大検出信号は、ＰＤ２１２及び２１３に到着する。同様に、タッチ位置がビーム４１０に沿っているが、タッチ検出バー５１０から距離１にある場合には、最大検出信号は、ＰＤ２１４及び２１５に到着する。より一般的には、放射器のビームに沿った各距離単位は、放射器からのＰＤオフセットに対応する。従って、ＰＤ２１４及び２１５は、放射器１１１からオフセット０であり、ＰＤ２１２及び２１３は、オフセット１であり、そしてＰＤ２１０及び２１１は、オフセット２である。右及び左の検出角度がビーム４１１及び４１２で示されている。

本発明の実施形態によるタッチ検出マップを示した図１３及び１４を参照する。図１３は、放射器０−９からの光ビームに対してスクリーン上の対応タッチ位置へマップされたＰＤオフセットを示す。図１３において、ＰＤオフセットは、センサオフセットとして示され、そして放射器インデックスは、ソースインデックスとして示される。各放射器ビームは、ソースインデックスの１つで始まる垂直線で表される。マップされたタッチ感知エリアのダイヤモンドパターンの各頂点は、スクリーン上のタッチ位置に対応し、そして破線の対角線は、特定の右及び左の検出角度における反射ビームを表す。各頂点の高さは、放射器からのＰＤオフセットに対応する。従って、ＰＤは、１つの行において、放射器とインターリーブされるが、ＰＤオフセットは、明瞭化のために図１３の第２の軸に沿って配置される。

上述した例では、各検出器は、２つのレンズからビームを受け取り、そして第１レンズの対物平面内の第１位置において、第２レンズの対物平面と対向する位置に配置される。その結果、レンズの光学軸に対して角度θで第１レンズに入る反射ビームと、光学軸に対して角度−θで第２レンズに入る反射ビームとを検出するように位置される。その結果、第１の放射器・検出器対に関連した多数の位置は、第２の放射器・検出器対にも関連している。放射器・検出器対に関連したより独特の位置を与えるために、検出器は、２つのレンズに関して非対称的な位置に配置される。これは、図１５に示されている。

本発明の実施形態による交互に放射器及び検出器を伴うレンズアレイ３１２の簡単な図である図１５を参照する。図１５は、検出器がレンズアレイ３１２の２つのレンズに対して２つの非対称的な対向位置にあることを示す。従って、放射器ビーム４０３は、２つの異なる位置９０７及び９０８において反射ビーム４０７及び４０６と交差する。ある実施形態では、各検出器は、そのレンズの対物平面内で若干異なる位置対に配置される。これは、放射器・検出器対に関連した位置の非均一な分布を与える。

タッチ座標アルゴリズム
ここでは、追跡される物体の位置を決定するために行われる動作を詳細に説明する。上述したように、アクチベートされる放射器ごとに、いずれのＰＤも、放射器と反射物体との間の距離に基づいて、収束された反射ビームを受け取る。それ故、スクリーン全体をスキャンすることで、ＰＤ検出値のテーブルが出力され、その列はＬＥＤに対応し、そしてその行はＰＤに対応する。従って、１０個のＬＥＤ及び１１個のＰＤを有する検出では、出力テーブルは、１１の行と１０の列を有し、列１の１１の入力は、放射器１がアクチベートされたときに各ＰＤの検出値を含み、列２の１１の入力は、放射器２がアクチベートされたときに各ＰＤの検出値を含み、等々である。テーブルＩは、生の検出値を含む規範的なテーブルである。

テーブルＩ：生の検出値

テーブルＩにおける２つの最大値、即ち生の検出値１４１及び１４４は、ＬＥＤ５がアクチベートされたときにＰＤ４及びＰＤ７から各々得られる。ＰＤ４及びＰＤ７は、ＬＥＤ５からオフセットが１である。というのは、ＰＤ５及び６がＬＥＤ５の直接的な左右の隣接物であり、オフセットが０だからである。

アクチベートされたＬＥＤからオフセット０又は１のＰＤに近傍の物体により反射される光の量は、アクチベートされたＬＥＤからオフセット７又は８のＰＤに遠い物体により反射される光の量より多い。実際に、他の全てのパラメータが一定であると仮定すれば、ＰＤオフセットが大きいほど、ＰＤに到達する光は少ない。ＰＤ値は、１２ビット又は１６ビットのような所与の解像度を有するＡ／Ｄコンバータによってデジタル化される。この範囲の値を充分に活用するために、ある実施形態では、ターゲットＰＤのオフセットに基づいて、各放射器が、異なる量の電流でアクチベートされるか、又は異なる期間中アクチベートされる。最大の検出値に到達し及びおそらくその値をオーバーフローする危険を生じずに全範囲の値を活用するためには、オフセットが大きいほど、電流及び／又はアクチベーション時間が大きくされる。レンズ３１１の高さ及び指向物体の反射率を含む他のファクタも、考えられ又は予想されるＰＤ検出値の範囲に貢献する。特に、スクリーン表面上のレンズの高さが高いほど、ターゲットＰＤに多くの光が入り込む。ある実施形態では、異なるＰＤオフセットに対する予想ＰＤ検出値の量は、実験に基づいて発見的に決定される。

ある実施形態では、Ａ／Ｄコンバータは、タッチ位置を計算するためにプロセッサにより使用される以上のビットを出力する。例えば、ある実施形態では、Ａ／Ｄコンバータは、１２ビット値を出力し、そしてプロセッサは、８ビット値を使用する。これらのケースでは、最大予想１２ビット値を決定することが重要である。この最大値に基づき、システムは、最上位ビット（ｍｓｂ）を除去するが、それは、除去されるｍｓｂに非ゼロ値が含まれるおそれがないときだけである。オーバーフローのおそれがあってシステムがｍｓｂを破棄するのを妨げる場合には、システムは、最下位ビット（ｌｓｂ）を除去して、８ビット値に到達する。これらの最大値も、発見的手段により決定され、且つＰＤオフセットに依存する。

発見的手段は、ＬＥＤ・ＰＤ対ごとに参照検出値を準備するのにも使用される。従って、前記検出テーブルにおける検出ＰＤ値の各々は、各参照値で除算されて、テーブル内の全ての値が０−１の範囲に正規化される。図１４は、オフセット±５のＬＥＤ２及びＰＤに対応するタッチに対する正規化された検出値の検出マップを示す。ＬＥＤ２からオフセット−５の対応ＰＤはないので、オフセット＋５のＰＤだけがこの最大検出信号を発生する。図１４の検出マップは、実線及び破線の同心形状９１７を含み、各内側形状は、その外側の隣接部より大きく、最大の検出信号が中心に生じるようにする。図１５をカラーで又は変化するグレースケールレベルでレンダリングした場合には、最も内側の形状が最も暗く、そしてそれら形状が膨張するにつれて、徐々に明るくなる。しかしながら、純粋な白黒でレンダリングするためにカラー及び陰影は図１４から除去されている。

タッチ位置を決定するのに有用なものは、検出信号の絶対値だけではなく、隣接信号間の関係も重要なファクタである。

本発明の実施形態によりタッチスクリーンシステムにおけるタッチ位置を計算するために使用されるアルゴリズムを示す簡単なタッチ検出マップである図１６−２１を参照する。図１６は、図１３の検出マップの一部分を示す。上述したように、垂直の実線は、放射器ビームを表す。より詳細には、各垂直線は、所与の放射器からのビームの中心を表す。放射器ビームは、ビームの中心の周りの通常のベル形状の分布を有すると考えられる。同様に、図１６における対角方向の実線は、所与のオフセットのＰＤに最大の検出値を発生する最適な反射ビームを表す。これら対角方向のビームに平行なビーム及びそれらビームの間にあるビームの検出値は、所与のオフセットのＰＤにおいて通常のベル形状の検出分布を有すると考えられる。これら分布特性は、垂直方向の実線と対角方向の実線との間の位置、又は最大検出点を指示する図１３の検出マップの頂点間の位置を、隣接検出信号を比較することで決定する能力を与える。従って、接触点は、以下に述べる６つのテーマに基づく。

テーマ１：反射物体がＰＤの対角方向検出線に平行に並進移動する場合には、同じＬＥＤを検出する隣接ＰＤの検出信号間の関係が一定に保たれる。

テーマ１は、図１６に示されている。図１６は、図１３の検出マップの一部分を示すもので、３本の垂直方向の実線は、３本の放射器ビームの部分を表し、そして４本の対角方向の実線は、４本の検出器ビームを表す。上述したように、最大検出レベル点は、放射器ビームが検出器ビームと交差する頂点にある。図１６には、３つのそのような頂点、即ちｐ０、ｒ１及びｄ１が表示され、各表示は、その対応頂点の右側になされている。タッチ物体がｐ０とｄ１との間の中間点にあるケースでは、点ｐ０を表わす検出信号と点ｄ１を表わす検出信号との比がほぼ等しい。更に、タッチ物体がｐ０とｄ１との間の対角方向の破線に沿って並進移動される限り、この比が一定に保たれる。従って、同じＬＥＤを検出する隣接ＰＤの２つの最も高い検出信号間の比に基づいて、図１６において、対角方向の破線に平行に線を描くことができ、そしてその描かれた線のどこかにタッチ位置があるはずである。描かれた線は、その比の大きさに基づいて頂点ｐ０又はｄ１に接近する。

テーマ２：反射物体がＬＥＤの垂直方向放射器線に平行に並進移動する場合には、２つの隣接ＬＥＤを検出する検出する１つのＰＤの検出信号間の関係が一定に保たれる。

テーマ２も、図１６に示されている。頂点ｐ０は、アクチベートされたＬＥＤからオフセットｎのＰＤにおいて反射が検出されるＬＥＤビームを表す。頂点ｒ１は、アクチベートされたＬＥＤからオフセットｎ＋１のＰＤにおいて反射が検出される隣接ＬＥＤビームを表す。しかしながら、ｒ１についてアクチベートされたＬＥＤは、ｐ０についてアクチベートされたＬＥＤの隣接部であるから、ｐ０について使用される同じＰＤ（そのオフセットはｎである）が、ｒ１について使用される。というのは、ｒ１のＬＥＤからのこのＰＤのオフセットがｎ＋１だからである。タッチオブジェクトがｐ０とｒ１との間の中間点にあるケースでは、点ｐ０を表わす検出信号と、点ｒ１を表わす検出信号との比は、ほぼ等しい。更に、タッチ物体がｐ０とｒ１との間の垂直方向破線に沿って並進移動する限り、この比は、一定に保たれる。従って、２つの隣接ＬＥＤを検出する１つのＰＤの２つの最も高い検出信号間の比に基づいて、図１６において垂直方向の破線に平行に線を描くことができ、その描かれた線のどこかにタッチ位置があるはずである。描かれた線は、その比の大きさに基づいて頂点ｐ０又はｒ１に接近する。

テーマ３：テーマ１と２を結合すると、タッチが位置する菱形のエリアが与えられる。この菱形エリアの頂点の３つは、頂点ｒ１、ｐ０及びｄ１である。更に、厳密なタッチ位置は、テーマ１の描かれた線とテーマ２の描かれた線との間の交点である。

テーマ１−３は、単一の点からの光を反射する小さなタッチ物体に適用される。大きなタッチ物体は、ＬＥＤビームに垂直な物体の側部に沿って反射する。従って、大きなタッチ物体の場合には、各ＬＥＤから等距離にある一連の反射点を表わす最大の検出値のより広い、より均一な分布が存在する。テーマ４−６は、大きなタッチ物体に関連している。

テーマ４：反射物体がＬＥＤの垂直方向の放射器線に垂直に並進移動される場合には、同じＬＥＤを検出する隣接ＰＤの検出信号間の関係が一定に保たれる。

テーマ４−６は、図１７に示されている。図１７は、図１３の検出マップの一部分を示すもので、３本の垂直方向の実線は、３本の放射器ビームの一部分を表し、そして４本の対角方向の実線は、４本の検出器ビームを表す。上述したように、最大検出レベル点は、放出器ビームが検出器ビームと交差する頂点である。そのような３つの頂点、即ちｐ０、ｒ１及びｄ１が図１７に表示されており、各表示は、その対応する頂点の右にある。ｐ０とｄ１との間に大きな反射物体が入った場合には、点ｐ０を表わす検出信号と、点ｄ１を表わす検出信号との比がほぼ等しくなる。更に、タッチ物体がｐ０とｄ１との間の水平の破線に沿って並進移動する限り、この比は、一定に保たれる。従って、同じＬＥＤを検出する隣接ＰＤの２つの最も高い検出信号間の比に基づき、図１７において対角方向の破線に平行に線を描くことができ、その描かれた線のどこかにタッチ位置があるはずである。描かれた線は、その比の大きさに基づいて頂点ｐ０又はｄ１に接近する。

テーマ５：ＬＥＤの垂直方向放射器線に平行に反射物体が並進移動する場合、各ＬＥＤから同様のオフセットを有する検出信号間の関係が一定に保たれる。

テーマ５は、ＬＥＤの行から等距離にある多数の位置で光を反射する巾の広い反射物体に関連しているので、各ＬＥＤから同様のオフセットをもつ隣接ＰＤから２つの最も高い検出値が到来する。従って、テーマ５も図１７に示されている。頂点ｐ０は、アクチベートされたＬＥＤからオフセットｎのＰＤにおいて反射が検出されるＬＥＤビームを表す。頂点ｒ１は、アクチベートされたＬＥＤからオフセットｎのＰＤにおいて反射が検出される隣接ＬＥＤビームを表す。タッチ物体がｐ０とｒ１との間の点にあるケースでは、点ｐ０を表わす検出信号と、点ｒ１を表わす検出信号との比がほぼ等しい。更に、タッチ物体がｐ０とｒ１との間の垂直方向破線に沿って並進移動する限り、この比は、一定に保たれる。従って、２つの隣接ＬＥＤを検出する２つの隣接ＰＤの２つの最も高い検出信号間の比に基づいて、図１７において垂直方向破線に平行に線を描くことができ、そしてその描かれた線のどこかにタッチ位置があるはずである。描かれた線は、その比の大きさに基づいて頂点ｐ０又はｒ１に接近する。

テーマ６：テーマ４と５を結合すると、タッチが位置する長方形エリアが与えられる。この長方形エリアの頂点の３つは、図１７において頂点ｒ１、ｐ０及びｄ１である。更に、タッチ位置は、テーマ４の描かれた線とテーマ５の描かれた線との間の交点である。

本発明のある実施形態によれば、タッチ位置は、テーマ１−６の結合に基づいて導出される。この方法は、３つのステップで進められる。ステップ１は、２つの隣接ＬＥＤビームに沿った２つの補間点を計算する。ステップ２は、２つの補間点を結ぶ線を描く。ステップ３は、ステップ１で計算された２つの終点の振幅を補間することにより、ステップ２で描かれた線に沿った点を計算する。この方法は、図１８を参照して説明する。

図１８は、図１３の検出マップの一部分を示し、３本の垂直方向の実線は、３本の放射器ビームの一部分を表し、そして４本の対角方向の実線は、４本の検出器ビームを表す。上述したように、最大検出レベル点は、放射器ビームが検出器ビームに交差する頂点である。図１８には６つのそのような頂点が表示され、即ちｐ０、ｄ０及びｄ１は、対応頂点の右側に各々表示され、そしてｒ１ａ、ｒ１ｂ及びｒ１ｃは、対応頂点の左側に各々表示されている。この方法を遂行するとき、点ｐ０は、このタッチ物体に対する最大検出信号である。点ｐ０に対するＰＤは、２つの隣接ＰＤで、その１つは、左であり（検出点ｄ１のための）そしてもう１つは、右であり（検出点ｄ０のための）、これは、ｐ０に使用される同じＬＥＤを検出する。より高い検出信号を有するＰＤが使用される。図１６Ａにおいて、ｐ０と同じＬＥＤを検出する隣接ＰＤのこの第２の検出信号は、ｄ１である。ｐ０及びｄ１における正規化された検出信号は、頂点ｐ０とｄ１との間のＬＥＤビームに新たな位置ｃ０を発生するように補間される。この位置ｃ０に加えて、補間は、ｃ０における信号の振幅も計算する。

次いで、この方法は、隣接ＬＥＤビームに沿った第２の新たな位置を計算する。従って、左右の隣接ビームからの当該反射を比較して、より大きな信号を返送するビームが使用される。図１８において、ｐ０ビームの左側のビームが選択される。頂点ｒ１ｂは、ｐ０に対して使用されるものと同じＰＤを使用するが、左に隣接するＬＥＤを検出する。次いで、ｒ１ａ及びｒ１ｃの正規化された信号が比較され、そしてより大きな信号が選択される。ｒ１ｂ検出信号及び選択されたｒ１ａ／ｒ１ｃ信号は、頂点ｒ１ｂとｒ１ａ又はｒ１ｃとの間のＬＥＤビームに新たな位置ｃ１を発生するように補間される。位置ｃ１に加えて、補間は、ｃ１における信号の振幅も計算する。

２つの点ｃ０及びｃ１は、タッチ位置を見つけるべき線を画成する。これは、図１７における破線である。ｃ０及びｃ１における計算された信号振幅は、この線に沿ってタッチ位置を決定するように補間される。

上述したように、２つの信号間の関係は、それらの間の商（ｑ）として表される。ソースビームの光強度は、ビーム中心線の両側における正規分布として振舞うことが仮定される。反射強度は、光の強度に比例する。又、反射の検出信号値も、検出中心線の両側における正規分布として分布されることが仮定される。これら分布の標準偏差は、反射物体の距離に基づいて変化するが、小さな距離範囲内で一定であると仮定する。

信号ｓ−ｆ_sr及びｆ_sdの反射（ｒ）及び検出（ｄ）強度は、各々、正規分布であるから、ガウスの関数として表される。
（式１）
但し、ｉは、ｒ又はｄであり、ｘは、反射位置であり、ｘ_siは、ソースビーム又はセンサ検出線の位置であり、ｐ_i（ｘ）は、現在反射距離における典型的なピーク強度であり、そしてＡは、振幅である。２つの強度間の商は、次のようになる。
（式２）

ｘ∈［０、１］と仮定し、そして次のように近似すれば、
式２は、次のように簡単化される。
（式３）
これは、補間座標ｘ
（式４）
及び振幅Ａ
（式５）
を与える。

ある実施形態において、接近センサにより検出されるべき物体のサイズ及び形状が既知であるときには、ハフ変換が使用される。例えば、指を使用して入力を行うときは、検出平面内のその予想形状が既知のサイズの楕円である。この場合は、プロセッサ７０２に、検出平面内での複数の候補楕円が与えられる。プロセッサ７０２は、検出器が検出信号を発生するのはどの共アクチベート放射器・検出器対か決定し、そしてそれに関連した位置を識別する。次いで、プロセッサ７０２は、２つの関連位置が隣接する２つの共アクチベート放射器・検出器対について検出信号を補間して、それら２つの関連位置間の中間位置を決定する。次いで、プロセッサ７０２は、各中間位置に配向を指定し、該配向は、２つの隣接する関連位置を結ぶ線に垂直である。このプロセスは、図１９に示されている。

図１９は、放射器・検出器対に各々関連した位置９０２−９０６を示す。位置９０２は、位置９０３と補間されて、水平の配向を有する中間位置９５２を発生する。位置９０２に対応する検出信号は、ここに示す例では、位置９０３に対応する検出信号より大きい。従って、中間位置９５２の位置は、９０３より９０２に接近している。同様に、中間位置９５３は、位置９０４及び９０５を使用して補間され、位置９０４に対応する検出信号は、位置９０５に対応する検出信号より大きく、そして中間位置９５４は、位置９０５及び９０６を使用して補間され、これらの位置に対応する検出信号は、ほぼ等しく、従って、９５４の位置は、位置９０５と９０６との間の中点である。

候補楕円ごとに、プロセッサ７０２は、候補楕円に一致値を指定し、一致値とは、候補楕円の縁と中間位置の位置及び配向との間の一致の程度を表す。図２０は、４つの楕円９５５−９５８を示す。補間された位置９５３には、楕円９５５及び９５６に対する高い一致値と、楕円９５７及び９５８に対する低い（又はゼロの）一致値とが指定される。というのは、補間された位置９５３の配向が、これら楕円におけるその対応位置の配向に一致しないからである。

プロセッサ７０２は、候補楕円ごとにそのように指定された一致値の和を計算し、そしてその候補楕円に、そのように計算された最大の和を検出平面における物体の位置として指定する。

実施
信号は、最大のものについてフィルタリングされる。最大のものとは、８つの中間隣接部、即ち上、下、左、右、及び４つの対角方向隣接部より大きな信号である。反射物体が、２つの検出信号、即ちアクティブなＬＥＤからオフセット＋ｎにある検出信号及びオフセット−ｎにある検出信号を発生するタッチ感知エリアの部分について、反射物体により２つの最大信号が発生される。この場合、ある実施形態では、これら２つの最大信号のうち大きい方だけが使用される。図２１は、最大信号９３０を示している。

上述したように、最大信号は、反射物体が位置するエリアの１つの角である。このエリアは、近隣の隣接部を結ぶ長方形又は菱形である。このエリアは、最も強い信号を含むように選択される。推測される反射位置は、このエリア内のどこかである。

次いで、最大信号に隣接する２つの信号が比較され、即ち最大信号ＰＤの各側の２つのＰＤが最大信号と同じＬＥＤを検出する。これらは、同じ放射器ビームに沿った図２１の最大信号９３０の上下の頂点に対応する。これら２つの信号の大きい方が選択され、従って、長方形又は菱形の物体位置エリアの１辺が、最大信号頂点から、選択された隣接頂点へと延びる。図２１では、最大信号９３０の上の頂点が選択されている。

次いで、隣接ＬＥＤからその左右に対して信号を比較して、反射物体が位置するエリアを左へ延ばすか右へ延ばすか判断する。左側の場合には、第１エリア側の位置のすぐ左の２つの位置と、それらの真下のもう１つの位置が使用される。右側の場合は、右側の２つの点と、それらの上のもう１つの点である。最も高い信号を含む側は、エリアが延長される側である。左側において、最も上の信号が最も下より強い場合には、反射物体が位置するエリアが長方形であると決定される。さもなければ、最も下の位置を含むように延長される菱形である。右側においても、同じ比較がなされる。最も下の信号が最も上より強い場合には、反射物体が位置するエリアが長方形であると決定される。さもなければ、最も上の位置を含むように延長される菱形である。図２１において、反射物体が位置するエリアは、左下へ延長される菱形、即ち右下角に頂点９３０を伴う菱形９３１である。

上述したように、１つのＬＥＤからの２つの反射検出を表す選択された頂点の各対は、反射物体が位置する線９３２を画成する２つの点（図１８のｃ０、ｃ１）を見出すように補間される。これらの点の位置及び振幅の両方は、上述したように、計算される。

この線に沿った反射位置及びその振幅を見出すために同じ補間方法が再び使用される。振幅は、反射率として解釈され、これは、次いで、反射物体の直径に比例する。

時々、複数の非接続の最大値が識別される。そのようなケースでは、各最大値の補間された位置及び反射率が計算される。規定のスレッシュホールドより上の反射率及び振幅値を有すると分かっている座標が反射物体の位置として記憶される。従って、スキャンされた全タッチエリアを表すフレームは、対応する位置を各々有する同時タッチ物体のリストを含む。

そのようなフレームのシーケンスにおいて、時間ｔ＋１におけるフレーム内の反射物体は、時間ｔにおける以前のフレームの反射物体と比較される。２つのフレームの物体は、対にされる物体間の最小距離に基づいて、グリーディ(greedy)ペアリングアルゴリズムを使用して対にされる。対にされた物体は、同じ物体として追跡される。対にされない新たな障害物は、新たな追跡ターゲットとして追加され、そして新たなものと対にされない古い追跡ターゲットは、除去される。

追跡される障害物の位置及び反射率パラメータは、一定速度に基づく予想で更新される古いパラメータ（時間ｔにおける）、及び新たなパラメータ（時間ｔ＋１における）に向かう部分補間として計算される。検出位置Ｉ_dは、以前の追跡位置Ｉ₀を追跡速度ベクトルｖ₀と共に更新して、更新位置及び速度Ｉ₁及びｖ₁を決定するのに使用される。
（式６）
（式７）
但し、αは、補間において検出（ｔ＋１）位置に適用される相対的な重みであり、そしてβは、速度がどれほど一定であると仮定されるかを表す。

本発明による種々のタッチスクリーンシステム実施形態のための簡単なタッチ検出マップである図２２及び２３（ａ）−（ｆ）を参照する。上述したように、光学的接近センサＰＤは、図２２及び２３（ａ）−（ｆ）に対角線で示された角度θに対して反射光の検出を最適化するレンズと対にされる。図２２及び２３（ａ）−（ｆ）の垂直線は、センサＬＥＤによって放射される光を表す。検出ホットスポットは、垂直の放射器ビームと、対角方向に最適化された検出路との間の交点である。これらのホットスポットは、各交点において小さな丸で示される。

図２２は、センサにより物体が検出されない三角形区分９１９を示す。図２３（ａ）−（ｆ）は、光学的接近センサが物体を検出できるエリアのサイズが、センサのＰＤが最適化される角度にどのように依存するか示している。図２３（ａ）では、θ＝２０°；図２３（ｂ）では、θ＝３０°；図２３（ｃ）では、θ＝４０°；図２３（ｄ）では、θ＝５０°；図２３（ｅ）では、θ＝６０°；そして図２３（ｆ）では、θ＝７０°である。図２３（ａ）−（ｆ）の例では、センサバーからの最大距離が１２０ｍｍであり、バーは、９１ｍｍの長さであり、そしてバーに沿った隣接光素子間のピッチは、７ｍｍである。図２３（ａ）において、スクリーンの高さ（１２０ｍｍ）は、検出ホットスポットでカバーされる。

これらホットスポットの密度は、センサバー内の隣接光素子間のピッチである光学的ｘ解像度、及び角度θに依存する光学的ｙ解像度に分割することができる。図２３（ａ）−（ｆ）に示す例は、ｙ次元の解像度増加がより浅い検出ゾーンにどのように対応するかを示す。

従って、本発明は、センサバーに隣接する狭いエリアが高解像度のタッチ検出を与え、そしてセンサバーから離れた第２エリアが低解像度のタッチ検出を与えるように二重解像度スクリーンを教示する。本発明の実施形態による二重解像度センサの簡単な図である図２４及び２５を参照する。図２４は、タッチセンサバー５１１、狭い高解像度検出ゾーン９２１、及び低解像度検出ゾーン９２２を示す。この二重解像度センサの１つの用途は、キーパッド及び他のタップアクチベートのコントローラが高解像度ゾーンに配置され、そしてスイープジェスチャー及びピンチジェスチャーのような粗いジェスチャーが低解像度ゾーンでサポートされるＧＵＩを提供することである。

２つの解決策は、複数解像度ゾーンを与える。第１の解決策は、２つごとの放射器間に２つの検出器を配置する。従って、各レンズピッチは、２つの検出器及び１つの放射器を有し、そして各レンズは、４つの異なる反射ビームを４つの異なる検出器に向ける。これは、放射器１０１−１０３及び検出器２０１−２０４を示す図２５に示されている。

第２の解決策は、あるＰＤレンズが第１の検出角、例えば、θ₁＝５０°に対して最適化され、そして他のＰＤレンズが異なる検出角、例えば、θ₂＝２０°に対して最適化されるタッチセンサバーを教示する。第１の検出角は、バーに隣接する高解像度の検出ゾーンを与え、そして第２の検出角は、センサバーから更に離れた低解像度の検出を与える。

本発明の実施形態による二重解像度センサに使用される２つの検出マップの簡単な図である図２６（ａ）及び（ｂ）を参照する。図２６（ａ）は、センサから１２０ｍｍ延びるが、２０ｍｍの低い光学的ｙ解像度を有するゾーンを示し、そして図２６（ｂ）は、６ｍｍの高い光学的ｙ解像度を有するセンサ付近の検出ゾーンを示す。

ここに提案する二重解像度センサバーのある実施形態では、図４及び５を参照して上述した交互のＬＥＤ１０１及びＰＤ２０１のレイアウトが維持され、そしてＰＤ１０１は、第１の検出角θ₁から最大量の光を受け取るように位置される。更に、第２検出角θ₂から最大量の光を受け取るためにＰＤの第２の平行な行が設けられる。従って、二重解像度センサでは、図４及び５のセンサの２倍のＰＤが使用され、そして二重解像度センサの反射光ビームは、２つのＰＤ間で分割される。

本発明の実施形態による二重解像度センサのためのＰＣＢ上のＬＥＤ及びＰＤを上から見た簡単な図である図２７を参照する。図２７は、二重解像度センサの実施形態におけるＰＣＢ６０３上の光素子のレイアウトを上から見た図である。図２７は、交互のＬＥＤ１０１及びＰＤ２０１の第１の行と、ＰＤ２０２の平行な行を示す。第２の行におけるＰＤ２０２間のピッチは、第１の行におけるＰＤ２０１間のピッチと同じである。

本発明の実施形態による二重解像度センサの簡単な断面図である図２８を参照する。図２８は、二重解像度センサにおけるレンズ及びＰＤの配置を示す。ＰＤ２０２は、センサバー付近に狭い高解像度検出ゾーン９２１を形成し、そしてＰＤ２０１は、センサバーから遠く離れて延びる長い低解像度検出ゾーン９２２を形成する。図２８には、スクリーン１００、ＰＣＢ６０３が示され、ＰＣＢ６０３にはＰＤ２０１及び２０２が光ガイド３０４と一緒にマウントされる。光ガイド３０４は、３つの反射小面３０５、３０６及び３０７を含む。物体タッチスクリーン１００により反射された光は、光ガイド３０４に入り、そして反射小面３０５により下方に向け直される。この下向きのビームは、次いで、２つの反射器３０７及び３０６により分割され、ビームの異なる部分がＰＤ２０１及び２０２に各々向けられる。

用途
本発明は、小型サイズ、中間サイズ及び大型サイズのスクリーンを含むタッチ感知スクリーンを伴う電子装置に広く応用される。そのような装置は、特に、コンピュータ、ラップトップ及びコンピュータ用のトラックパッド、ホームエンターテイメントシステム、カーエンターテイメントシステム、セキュリティシステム、ＰＤＡ、セルラー電話、電子ゲーム及び玩具、デジタルホトフレーム、デジタル楽器、ｅ−ブックリーダー、ＴＶ、及びＧＰＳナビゲータを含む。

二次キーボードディスプレイ
本発明の実施形態による二重ディスプレイラップトップの簡単な図である図２９を参照する。このラップトップは、ヒンジにより接続された２つのパネルを特徴とする。上部パネルは、一次ラップトップディスプレイ１３１を含む。下部パネルは、ラップトップへの入力装置として使用されるタッチ感知の二次ディスプレイ１３２を含む。従って、キーパッドは、二次ディスプレイ１３２上にレンダリングされ、そしてテキストは、表示されたキーに対するユーザのタップにより入力される。タップジェスチャーは、二次ディスプレイとの短時間接触、即ちタッチ・アンド・リリースにより特徴付けられる。従って、タップジェスチャーは、ディスプレイと長く接触し、その間に、接触点がディスプレイに沿って並進移動されることを特徴とする滑走ジェスチャーとは区別できる。従って、テキスト入力に加えて、二次ディスプレイは、ユーザが自分の指を二次ディスプレイ上で滑走させるときに一次ディスプレイ上のマウスカーソルを制御する。

本発明の実施形態によれば、二次ディスプレイ１３２に関連して使用されるタッチセンサは、二次ディスプレイの１辺に沿って位置される上述した光学的接近センサ５１２である。本発明の実施形態による二重ディスプレイラップトップの一部分の簡単な図である図３０を参照する。図３０は、光学的接近センサを収容するための二次ディスプレイの上縁に沿ってベゼル３３１を示している。

本発明の実施形態によるＰＣの簡単な図である図３１を参照する。図３１は、本発明の実施形態によるディスプレイ１３１、キーボード１３３及び２つのトラックパッド１３４を有するＰＣを示している。

本発明の実施形態による図３１のＰＣのキーボード１３３の簡単な図である図３２を参照する。このキーボードは、４つの埋設された光学的接近センサ５１３−５１６を有する。光学的接近センサ５１３、５１５及び５１６は、キーボードを取り巻くエアスペースにおいて手及び指のジェスチャーを検出するためにキーボードから離れる方向を向いてキーボード１３３の左、右及び下縁に沿って配置される。これらのジェスチャーは、コンピュータへの入力として働いて、例えば、マウスポインタを制御するか、又はディスプレイの画像を拡大又は回転する。光学的接近センサ５１４は、キーボード１３３の上縁に沿ってキーボードに向いている。これは、コンピュータへの入力としてキーの表面に沿った滑走ジェスチャーを検出し、例えば、マウスポインタを制御するか、又はディスプレイの画像を拡大又は回転する。従来のトラックパッドに対してキーボードが大型サイズであることで、キーボードの表面を２つのトラックパッド区分へ分割することができる。キーボード１３３の左半分は、絶対位置トラックパッドとして働く。これは、キーボードのこの半分における各位置がスクリーン上の対応位置へマップされることを意味する。滑走ジェスチャーが行われる前に、マウスカーソルは、スクリーン上のある初期位置にある。キーボードの左半分において滑走ジェスチャーが行われると、カーソルは、ディスプレイ上の対応位置へ急激に移動される。例えば、マウスカーソルがディスプレイの右上角にあり且つユーザがキーボードの左下角において滑走ジェスチャーを開始すると、マウスカーソルは、スクリーンの左下からその対応移動を開始する。これは、スクリーンを横切ってカーソルを移動させるために長いマウスジェスチャーを行わねばならない努力をユーザにかけさせない。キーボード１３３の右半分は、相対的位置トラックパッドとして働き、これは、キーボードのこの半分において滑走ジェスチャーが検出されたときに、マウスカーソルが、滑走ジェスチャーの相対的移動に基づいてその初期スクリーン位置から並進移動されることを意味する。従って、ユーザは、キーボードの左半分において初期スライドジェスチャーを行って、スクリーンの望ましいエリアにマウスカーソルを配置し、そしてキーボードの右半分に滑走ジェスチャーを適用して、カーソルを移動させることができる。

本発明の実施形態によるＰＣトラックパッド１３４を簡単に示す図３３を参照する。このトラックパッド１３４は、ユーザに向かって若干傾斜したアクリル系の透明スラブである。トラックパッドの上縁に沿った光学的接近センサ５１７は、スラブにおけるユーザのジェスチャーを追跡する。光学的センサの外側でトラックパッドには電子回路が必要とされないので、トラックパッド１３４は、全体的にクリアな透明のアクリル又はガラスで作られる。

本発明の実施形態による透明なＰＣキーボード１３５を簡単に示す図３４を参照する。又、本発明の実施形態による図３４の透明キーボード１３５の側面斜視図である図３５も参照する。図３３のトラックパッド１３４と同様に、キーボード１３５は、その上縁に沿った光学的接近センサ及びアクリルの透明スラブによってイネーブルされる。透明のアクリルスラブには、キーボードキャラクタがエッチングされており、アクリルスラブに可視光が投射されると、エッチング部により光が反射されて文字が見えるようになる。この光がオフにされると、エッチング部は見えず、キーボードは、空の透明スラブのような見掛けになる。従って、キーボードモードでは、可視光がオンにされ、そしてマウス又はスイープジェスチャー入力モードでは、可視光がオフにされる。可視光源は、アクリル系スラブの上縁に沿って光学的接近センサと一緒にマウントされる。

本発明の実施形態によりキーボード及びＧＵＩ機能を与える二次ディスプレイを簡単に示す図３６を参照する。図３６は、タッチ感知ディスプレイを有するキーボードを示す。キーボードキャラクタは、ディスプレイによりレンダリングされる。しかしながら、あるアプリケーションでは、他のＵＩコントローラをレンダリングして、どんなジェスチャーでキーボード表示を行うか指示することもできる。図３６では、利用できる回転ジェスチャー及びスライドジェスチャーをユーザに示す２つのスライダホイール１３６及び２つのスライダバー１３７がレンダリングされる。

本発明の実施形態によるラップトップキーボードを簡単に示す図３７を参照する。又、本発明の実施形態による図３７のラップトップキーボードの簡単な断面図である図３８も参照する。図３７は、図２９及び３０のラップトップを示すが、図３７では、二次ディスプレイ１３２が、該ディスプレイ１３２の対向縁に沿って配置された放射器１０１と受光器２０１との間でディスプレイ上を横切る光ビーム４３２を使用する。光ガイド３３２は、ディスプレイ１１２上に延びて、ディスプレイ上に及びディスプレイを横切って光ビーム４３２を投射するベゼルを形成する。図３７及び３３の実施形態では、周囲ベゼルにより形成されたディスプレイ上の空洞には、透明液体１３９が充填される。放射器１０１から受光器２０１への光ビームは、透明液体１３９を通過する。液体層１３９の上に、薄い透明な弾力性プラスチック膜１４１が配置される。その下に横たわる二次ディスプレイ１３２は、液体１３９及びプラスチック膜１４１を通して見ることができる。ユーザが、例えば、二次ディスプレイ１３２上に表示されるキーボードキャラクタを選択するため弾力性プラスチック膜１４１を押すと、ユーザの指が液体１３９に押圧を生じさせ、指の位置の下の光ビーム４３２を中断させる。又、ユーザが二次ディスプレイ１３２上のこの従順な層を押したときに、液体及び弾力材は、ユーザに触感も与える。プラスチック膜１４１又は液体１３９に接続された任意の触覚発生器が付加的な触覚フィードバックを与える。ユーザの指の押圧が充分な量のビームを阻止して、タッチが検出光に実質的な減少を生じさせるために、光は、ベゼルの上部付近で薄い上部液体層１３９を通して送光されるだけである。これは、光ビーム４３２がディスプレイ１３２の表面付近で液体１３９に入るのを防止する光ブロッカー１４０によって達成される。他の実施形態では、空洞に液体を充填するのではなく、透明なゲル又は弾力のあるゼラチン固体材料が空洞に充填される。

垂直ツールバー接近ジェスチャー
マイクロソフトコーポレーションからのウインドウズ８オペレーティングシステムは、タッチスクリーンの右縁からスイープするか、又はスクリーンの右隅のホットスポットにカーソルを向けることによりアクセスされるチャーム(charms)として知られている垂直ツールバーを特徴とする。ＷＩＮＤＯＷＳ（登録商標）は、マイクロソフトコープレーションの登録商標である。チャームツールバーは、システムへのアクセス、及びａｐｐ関連機能、例えば、サーチ、シェア、装置管理、設定及びスタートボタンを与える。タッチスクリーンの一次ディスプレイの左縁からスイープするか、又は一次ディスプレイの左上角をクリックすると、ａｐｐとデスクトップとの間を切り換えることができる。ユーザにとって便利なこれらのスイープジェスチャーを行うために、多くのコンピュータは、アクティブなディスプレイエリアの外側の境界で開始されるスイープジェスチャーをサポートする。本発明の実施形態によれば、一次ディスプレイの縁からのスイープと同じ機能を果たすために別のジェスチャーが与えられる。このジェスチャーは、一次ディスプレイの縁を越えてエアスペースに手を置きそしてその縁に向けて手を動かすことにより行われる。一次ディスプレイのハウジングに手が触れるまでジェスチャーを続ける場合には、ディスプレイの厚みに手が触れる。即ち、ディスプレイの前部をディスプレイの後部に接続するハウジングの縁に手が触れる。しかしながら、手がディスプレイに届く必要はなく、側部からディスプレイに接近する物体の検出は、ジェスチャーとして確認される。

本発明の実施形態によりディスプレイの側縁に接近するウェーブジェスチャーを検出するための接近センサを伴うＰＣを簡単に示す図３９を参照する。図３９は、ディスプレイの縁を越えてエアスペースにおいてこの接近ジェスチャーを検出するためにディスプレイのハウジングの左外縁に沿って配置された光学的接近センサ５１２を有するＰＣディスプレイ１３１を示す。ユーザに便利なこれらのスイープジェスチャーを行うために、多くの従来のコンピュータは、アクティブなディスプレイエリアの外側の境界で開始されるスイープジェスチャーをサポートする。本発明による接近ジェスチャーは、このジェスチャーのためにディスプレイの周りに境界エリアを必要としないので、アクティブなディスプレイエリアを最大にすることができる。又、本発明によるジェスチャーは、アクティブなディスプレイエリアへのタッチも必要とせず、従って、アクティブなディスプレイエリアへ指を引っ張る従来のスイープジェスチャーから生じるディスプレイ上の汚れを回避する。

キー押圧及びマウスジェスチャーのための二次ディスプレイの使用
上述したように、本発明の実施形態は、タッチ感知であり且つキーボード入力及びマウス入力の両方に使用される二次ディスプレイを提供する。本発明は、キーボードキー押圧とマウスジェスチャーとの間を区別するための幾つかの方法を提供する。

第１の実施形態では、タップジェスチャーがキーボードのキー押圧に関連され、そして滑走ジェスチャーが、マウスカーソルを移動するマウスジェスチャーに関連される。更に、キーボードのキー押圧とは異なる３つのマウスクリックジェスチャー、即ち単一クリック、二重クリック及び右クリック、が与えられる。

本発明による右クリックジェスチャーは、素早いタッチ・アンド・リリースであるタップジェスチャーとは対照的に、１つの位置に留まる長いタッチである。

二重クリックジェスチャーは、マウスカーソルの位置に配置されたアイテムをアクチベートする。本発明によれば、二重クリックジェスチャーは、当然、別のマウスジェスチャーに続くもので、即ちマウスジェスチャー後の第１タップであるという点で、キー押圧とは区別される。従って、マウス並進移動ジェスチャーが行われた後に、次のタップジェスチャーは、二重クリックジェスチャーの第１の半分であるか、又はキー押圧ジェスチャーである。システムは、タップに何が続くかに基づきこのタップを明瞭化する。このタップの直後に、第１タップとほぼ同じ位置に第２タップが続く場合には、両タップが二重タップジェスチャーとして処理され；第１タップの直後に、第１タップとほぼ同じ位置に第２タップが続かない場合には、第１タップは、キーボードのキー押圧に関連付けられる。従って、マウス滑走動作に続くこの第１タップに関して、システムは、それに対応するキー押圧ジェスチャーに関連したキャラクタを直ちに入力しない。むしろ、システムは、タップが実際に意図されたキー押圧でありそして二重クリックジェスチャーの開始でないことを決定するまで待機する。しかしながら、その後の全てのタップは、別のマウス滑走ジェスチャーが行われるまでキーボードキー押圧であると明確に決定される。更に、二重クリックは、二重クリックジェスチャーに直ちに続くものではなく、従って、二重クリックが実行されたときでも、第３のタップは、明確にキー押圧ジェスチャーである。それ故、スクリーンにキャラクタを提示する遅れは、滑走又は右クリックのようなマウス動作に続く第１タップジェスチャーに関してのみ生じるだけであり、他のキー押圧については生じない。

単一クリックは、マウスドラグ動作を行うのに使用される。本発明の一実施形態によれば、マウスドラグ動作は、第１のマウス滑走ジェスチャーに直ちに続く第２のマウス滑走ジェスチャーに関して行われるだけである。従って、第１の滑走ジェスチャーは、スクリーン上のマウスカーソルを移動するだけである。ユーザが自分の指を持ち上げそして短い時間内にスクリーンに自分の指を戻して、第２の滑走ジェスチャーを行う場合には、その滑走ジェスチャーがドラグジェスチャーであると解釈される。観察されるユーザの振舞いに基づき短い時間が構成されるが、あるケースでは、１又は２秒である。ドラグ動作なしにマウスカーソルを移動する第２動作を遂行するために、第１の滑走ジェスチャーと第２の滑走ジェスチャーとの間に、構成された短い時間より長い休止がなければならない。

別の実施形態では、キー押圧とマウスジェスチャーとの間の区別ファクタは、ジェスチャーを遂行する指の本数である。従って、１本指ジェスチャーは、キーボードキー押圧であり、そして２本指ジェスチャーは、マウスジェスチャーである。３本以上の指で行われるジェスチャーも、マウスジェスチャーである。

陰影のある光パルスに基づいてタッチを検出する本発明の教示によるシステムは、陰影エリアのサイズに基づいてジェスチャーを行う指の本数を決定する。広いエリアは、複数本の指が使用されることを示す。同様に、反射光パルスに基づきタッチを検出する本発明の教示によるシステムは、反射を検出する異なる放射器・受光器チャンネルの数に基づきジェスチャーを遂行する指の本数を決定する。より多くの位置に対応する多くのチャンネル数は、スクリーンの広い表面積に膨らんでタッチがなされ、即ち複数本の指が使用されることを指示する。

ある実施形態では、アップ／ダウン並進移動ボタンのアレイは、キーボードを通してデータを入力するとき慣習的なプッシュボタンユーザ経験を与えるために二次ディスプレイの上部に配置される。本発明の実施形態によりタッチパネルのバーチャルキーパッド部分の上に配置された規範的な４ボタンキーパッドシャーシの３つの図を簡単に示す図４０を参照する。図４０は、除去可能なシャーシ１２におけるキー１０を示す。タッチパネル１４は、シャーシ１２の下に配置される。放射器及び受光器１６は、タッチパネルの一部分として示されている。放射器及び受光器１６は、表面１４の下に配置されるが、図４０では、タッチ検出光ビーム２０を明確に示すためにスクリーンの上に示されている。

本発明の実施形態によりタッチパネルのバーチャルキーパッド部分の上に配置された規範的な４ボタンキーパッドシャーシの断面Ａ−Ａを簡単に示す図４１を参照する。図４１は、除去可能なシャーシ１２におけるキー１０を示す。放射器及び受光器レンズ２２は、タッチパネル１４の表面上のタッチ検出光ビーム２０と共に示されている。

本発明の実施形態により解除及び押圧されるスプリング弾力性キーを簡単に示す図４２（ａ）−（ｃ）を参照する。図３７（ａ）は、除去可能なシャーシ１２の一部分におけるキー１０を示す。シャーシ１２の下にはタッチパネル１４が配置されている。放射器及び受光器レンズ２２は、タッチパネル１４の表面上のタッチ検出光ビーム２０と共に示されている。

図４２（ｂ）は、ボタン１０の破断図で、ボタン１０をシャーシ１２の上方に且つ光ビーム２０の上に維持するためのスプリングメカニズム２４を示す。図４２（ｃ）は、ボタン１０の破断図で、ユーザがボタン１０を押圧することにより作用される下向きの圧力でスプリングメカニズム２４が圧縮されるところを示す。このケースでは、光ビーム２０をブロックするためにボタン１０の下部が下げられる。ユーザがこの下向きの圧力を解除したとき、スプリング２４がボタン１０を図３７（ｂ）の位置へ戻す。

本発明の実施形態によるゴムのような伸縮性弾力性材料より成るボタンの簡単な断面図である図４３（ａ）及び（ｂ）を参照する。図４３（ａ）は、シャーシ１２の上方にあり且つ光ビーム２０の上にある弾力性ボタン１０の破断図で、光ビーム２０は、放射器及び受光器レンズ２２を通してタッチパネル１４上を且つタッチパネル１４を横切って投射される。

図４３（ｂ）は、ボタン１０を押圧するユーザにより作用される下向きの圧力でボタン１０が押圧されることを示す破断図である。この場合に、ボタン１０の下部は、光ビーム２０をブロックするように下げられている。ユーザが下向き圧力を解放すると、ボタン１０は、その弾力性及び伸縮性特性のために、図４３（ａ）の位置へ復帰する。

本発明の実施形態による別のボタン構成を簡単に示す図４４（ａ）−（ｃ）を参照する。図４４のボタン１０は、その幹部を通して２つの公差空洞３０を有し、光ビーム２０の通過を許す。ボタン１０が押圧されると、空洞が下げられ、幹部の内実部分が光ビームをブロックする。

図４４（ａ）は、ボタンの３Ｄ図である。図４４（ｂ）は、ボタンの上面図であり、そして図４４（ｃ）は、ボタンの側面図である。図４４（ｄ）は、ボタンの線Ｍ−Ｍに沿った断面図である。図４４のボタン１０は、図４２のスプリング負荷実施形態、又は図４３の弾力性材料実施形態のいずれかを使用してその上方位置に維持される。

本発明によれば、これらのボタンは、光ファイバフェースプレートで作られる。光ファイバフェースプレート（ＦＯＦＰ）とは、その入力面からその出力面へ画像を正確に伝達するコヒレントな光ファイバプレートである。従って、各キーの下に表示される画像は、ＦＯＦＰによりキーの上面へ伝達され、そしてユーザには、画像がキーの上面にあるかのように見える。

しかしながら、本発明は、キーが押されたときにキーを下げられるように各ＦＯＦＰキーとディスプレイとの間にエアギャップを与える。更に、上述されると共に、参考としてここに援用される２０１２年９月３日に出願された“LIGHT ACTUATOR FOR MOVABLE BUTTONS ON A KEYPAD”と題する同時係争中の米国特許出願第１３／６０２，２１７号に述べられたように、下げられたキーがビームをブロックして、どのキーが押圧されたか示すように、キーの下に光ビームが投射される。このエアギャップは、表示される画像をＦＯＦＰ入力表面の焦点から外れるようにさせる。ある実施形態では、エアギャップの高さは、１．５ｍｍである。

この問題を修正するために、本発明は、物体、このケースでは、表示スクリーン、を数ミリメータの距離にわたって再現する複数のマイクロレンズアレイを提供する。本発明の実施形態によるキーボードディスプレイと光ファイバフェースプレートキーとの間のマイクロレンズアレイの構成を簡単に示す図４５を参照する。図４５は、二次ディスプレイ５６とＦＯＦＰボタンのＦＯＦＰ入力表面５７との間に軸方向に対称的に整列された４つのマイクロレンズアレイ５１−５４を示している。各光学的チャンネルにおいて、第１及び第２のマイクロレンズアレイ５１及び５２は、中間画像平面にディスプレイスクリーンの各部分の縮小反転画像を発生する。同じマイクロレンズの反転グループ５３及び５４は、中間画像をＦＯＦＰ入力表面５７へ中継する。各部分画像は、倍率１であるから、全ての部分画像の合計画像は、最終画像を完全に再構成する。隣接部分画像のサイズ及びおそらくは重畳は、軸方向対称性の中心にあるアパーチャーマスク５５により制御される。

規範的な実施形態において、レンズアレイは、ポリカーボネート、０．１ｍｍ厚みであり、各レンズレットは、０．２ｍｍ平方であり、アパーチャーマスクは、０．０７６ｍｍ平方のホールを有し、そして物体から画像の距離は、４．７ｍｍである。

本発明の実施形態によるキー又はボタン５９を簡単に示す図４６を参照する。マイクロレンズアレイ５１−５４は、ＦＯＦＰ５８に接続され、そして一緒に上下に移動する。ボタンが休止不作動位置にあるときは、マイクロレンズアレイとディスプレイ表面との間の距離ｄ１は、マイクロレンズアレイとＦＯＦＰとの間の距離ｄ２に等しい。これは、ディスプレイの画像がＦＯＦＰに鮮明に再現されることを保証する。ユーザがボタンを押圧することによりボタンが下がったときには、距離ｄ１が減少されて、ＦＯＦＰの画像を焦点からずらす。しかしながら、これは、ユーザにとって問題ではない。というのは、ユーザの指がＦＯＦＰ５８の出力表面をカバーし、焦点ずれした画像が見えないからである。ユーザがキーから指を離すと、キーは、その休止位置へ戻り、ＦＯＦＰ５８は、再び、焦点が合う。

接近センサのためのバーコード
本発明の実施形態は、線型ＵＩコントローラに沿った方向性滑走ジェスチャーを検出するための低コスト接近センサを提供する。例えば、装置の縁に沿った狭い窓としてボリュームコントローラが実現される。窓に沿って一方向にスライドすると、ボリュームが上がり、そして窓に沿って逆方向にスライドすると、ボリュームが下がる。

本発明の実施形態によるスライダコントローラを簡単に示す図４７を参照する。図４７は、方向性滑走を検出するように動作するスライダ窓の側部破断図である。窓は、２つの隣接する光ガイドを含み、上方の光ガイド３３３は、放射器１０１に結合され、そして下方の光ガイド３３４は、検出器２０１に結合される。２つの光ガイドの間には、食い違いの一連の不透明又は反射性光ブロック素子３３５があり、これは、２つの光ガイド間での光通過を許さない。これら不透明又は反射性素子間のスペースは、異なるサイズである。放射器１０１からの光４３３は、全内部反射（ＴＩＲ）のために含まれている光ガイド３３３に入る。指が光ガイド３３３にタッチすると、光を散乱させると共にＴＩＲを阻止し、ＦＴＩＲ光の大部分４３４は、下部光ガイド３３４へ及び検出器２０１に向かって直接散乱される。しかしながら、光は、不透明又は反射性素子３３５間のスペースを通して光ガイド３３４へ通過するだけである。それ故、不透明又は反射性素子３３５間のスペースが広いエリアに対向して指が位置するときには、多くの光が光ガイド３３４へ通過しそしてＰＤ２０１に到着する。一方、不透明又は反射性素子３３５間のスペースが狭いエリアに対向して指が位置するときには、僅かな光が光ガイド３３４へ通過しそしてＰＤ２０１に到着する。光ガイド３３３に沿って指が滑走するとき、素子３３５間に異なるサイズのギャップを有する区分を横切って指が通過する。その結果、指の移動は、時間と共にＰＤ２０１における光検出のパターンから推測される。

本発明の実施形態による図４７のスライダコントローラを使用するジェスチャーの種々の検出パターンを簡単に示す図４８を参照する。図４８は、４つの異なる検出パターンを示す。各グラフは、時間に伴うＰＤの光検出のサンプルを示す。ｘ軸は、時間を表し、ｙ軸は、検出された光の量を表す。従って、光ガイドに沿った移動方向は、検出のパターンにより示され、この例では、増加するパターンは、右へスライドすることに対応し、一方、減少するパターンは、逆方向への移動を示す。移動速度は、検出の変化率によって示され、速い変化率は、速い移動に対応する。

本発明の実施形態による別のスライダコントローラを簡単に示す図４９を参照する。図４９は、光ガイド３３３の上面にタッチする指９２２に放射器１０１が光ビーム３３６を直接投射し、光ガイド３３３には不透明又は反射性素子３３５のパターンがあって、反射光が光ガイド３３３に入るのを防止する実施形態を示している。それ故、指９２４で反射される異なる量の光３３６が、指付近の光ブロック素子のパターンに基づいて、光ガイド３３３に入り、検出器２０１により検出される。

光学的接近センサの娯楽用途
本発明の１つの用途は、ＧＯＯＧＬＥ（登録商標）ＧＬＡＳＳ（登録商標）のような双方向メガネである。ＧＯＯＧＬＥ及びＧＯＯＧＬＥ ＧＬＡＳＳは、カリフォルニア州、マウンティンビューのグーグル・インクの登録商標である。この双方向メガネは、メガネレンズの一方又は両方にヘッドアップディスプレイを含む。この双方向メガネは、典型的に、鼻のブリッジにあるパッド、及び耳に掛けるこめかみアーム（つる）により支持される。ある双方向メガネでは、こめかみアームは、こめかみアームにおけるタップジェスチャー又はスライドジェスチャーによりユーザコマンドを通信できるようにするタッチセンサを含む。

従って、本発明のある実施形態では、本発明の光学的接近センサが双方向メガネのこめかみアームに埋め込まれ、ある範囲の距離だけこめかみアームから離れたところでユーザの入力ジェスチャーを行えるようにした。これは、空気中でのユーザ入力ジェスチャーのためにこめかみアームに対向する２Ｄエアスペースを可能にする。こめかみアームに沿って積み重ねた複数行の光学的接近センサは、３Ｄセンサを構成する。他の実施形態では、第１の光学的接近センサがユーザのこめかみから離れる方を向き、そして第２の光学的接近センサが空の方に向き、ユーザの手の側部及び上へのジェスチャーを検出する。

別の用途は、腕時計として着用されるセンサである。本発明の種々の手首着用実施形態では、光学的接近センサは、ダイオードの一次元行；ダイオードの二次元行；ダイオードの二次元スノーフレークパターン；着用品目の２つ以上の縁に沿った２つ以上の一次元ダイオード行である。１つの規範的な実施形態では、光学的接近センサは、腕時計に埋め込まれ、そして時計面又はその周囲ベゼルを通して光ビームを上方に突出させる。ユーザは、時計の上で手を波のように振るホバージェスチャーを行うことにより時計にコマンドを発生する。或いは又、ユーザは、時計を着用した手首を回転して、光学的接近センサで検出される反射光の量を変化させ、これがコマンドに変換される。例えば、光学的接近センサは、ＢＬＵＥＴＯＯＴＨ（登録商標）を経てユーザのセルラー電話と通信し、手首の回転は、到来するコールに返答するコマンドである。ＢＬＵＥＴＯＯＴＨ（登録商標）は、ブルーツースＳＩＧインクの商標である。低速回転のジェスチャーは、セルラー電話のハンドセットのボリュームを上げ下げするコマンドである。

又、光学的接近センサは、局所的な反射を戻す指ジェスチャーと、光学的接近センサの大きな部分を横切って反射を戻すフラットな掌でなされるジェスチャーとの間も区別する。これは、１つのタイプのジェスチャー（指又は掌）だけに応答できるようにする。

更に、本発明の光学的接近センサは、センサの上のフラットな掌と、センサの上の傾斜した掌との間を区別する。光学的接近センサの上で掌が傾斜されるときには、傾斜した掌とセンサの部分間の種々の距離に基づいて反射は均一ではない。対照的に、センサの放射ビームに垂直なフラットな掌は、全てのセンサビームを同様に反射する。

別の用途は、丸めた指を検出するためにユーザの掌の下に向けられた検出平面をもつブレスレットである。手の４本の指は、４つのビット位置を表し、そしてユーザは、自分の指を丸めることにより４ビットワードを形成し、ここで、丸めた指は、‘１’のビット値であり、そして伸ばした指は、‘０’のビット値である。これらの４ビット値は、光学的接近センサにより検出されそしてコマンドに変換される。

付加的な用途は、２つのそのようなブレスレットを、各手首に１つ、使用する。ユーザは、各手の４本の指を組み合わせて丸めることによって８ビットワードを形成する。これは、２５６の独特の組み合わせを与え、それら組み合わせのサブセットがアルファベットの各文字に指定される。ユーザは、自分の指を丸めて種々の８ビット文字の組み合わせを形成することによりテキストをタイプする。これは、キーパッドなしにテキストを入力する別の方法を与える。

別の用途は、移動電話の保護ケーシングである。この用途は、参考としてここにそのまま援用される“REMOVABLE PROTECTIVE COVER WITH EMBEDDED PROXIMITY SENSOR”と題する米国特許出願第１３／７７５，２６９号に詳細に説明されている。この保護ケーシングに基づくゲーム付属品のアプリケーションを、図５０−５３を参照して説明する。

この付属品は、多数のゲームに使用できるスリングショット、特に、ＡＮＧＲＹ ＢＩＲＤＳ登録商標の所有者であるフィンランド、エスポのロビオ・エンターテイメント・リミテッドにより出版されたＡＮＧＲＹ ＢＩＲＤＳ（登録商標）である。このビデオゲームでは、プレーヤがスリングショット又はカタパルトを使用して放射物として鳥を発射させる。プレーヤは、カタパルトを望ましい程度まで引き戻し、スクリーンに沿って自分の指をスライドさせることにより放射物である鳥のパワーを与える。スクリーンから指を持ち上げると、カタパルトが解除され、ターゲットに向けて空気中を経て鳥を投げつける。カタパルトが引き戻される角度は、鳥が投げつけられる方向を決定する。カタパルトが引き戻される程度は、放射物の力を決定する。

この付属品は、プレーヤが電話のケーシングの縁に取り付けられた実際の弾力性スリングショットを引き戻せるようにする。接近センサが埋め込まれた電話カバーの一例を示す米国特許出願第１３／７７５，２６９号の図３６を参照されたい。米国特許出願第１３／７７５，２６９号の図３４は、図３６のカバー内の電話を示している。米国特許出願第１３／７７５，２６９号の図３９は、図３６の電話カバー内のＰＣＢ上のコンポーネントのレイアウトを示している。

本発明の実施形態は、上述した光学的接近センサ５１２を保護電話カバーに合体する。異なる実施形態では、カバーの１−４縁に沿って光学的接近センサが設けられる。

本発明の実施形態によるゲーム付属品を簡単に示す図５０−５３を参照する。従って、ＰＣＢ９７６は、ケーシングの下縁に沿って交互の放射器１０１及び検出器２０１のアレイを有して示されている。ケーシングの下縁の２つの角に取り付けられているのは、スリングショットパッド９３４に結合された弾力性バンド９３３である。放射器及び検出器のこのアレイは、プレーヤがスリングショットパッド９３４をどのように引き戻すか示す。

図５１−５３は、スリングショット９３４の３つの異なる延長９３５を示す。各図において、下縁に沿って一次元アレイにより検出されるｘ及びｙオフセットは、破線の矢印で示されている。

例えば、図５１−５３の延長矢印９３５で示されたように、スリングショットが引き戻される程度及び角度を決定するのに多数の異なる方法が使用される。第１実施形態では、弾力性バンド９３３は、スリングショットパッド９３４より実質的に薄い。それ故、弾力性バンド９３３によって反射される光の量は、スリングショットパッド９３４による反射より実質的に少なく、システムは、スリングショットパッド９３４の位置を追跡することができる。同様に、スリングショットパッド９３４が存在しなくても、ユーザが弾力性バンドを挟んで引き戻す２本の指は、弾力性バンドより非常に広く、それ故、ユーザの２本の指を追跡することができる。更に別の実施形態では、弾力性バンド９３３は、接近検出器により投射される光ビームとは異なる高さに位置される。従って、弾力性バンド９３３は、検出器によって検出されない。しかしながら、弾力性バンドを引き戻す大きなスリングショットパッド及び／又はユーザの指は、検出器により投射される光ビームの平面を通して延び、それ故、検出される。更に別の実施形態では、検出器は、放射器、検出器及びレンズの２つの積み重ねアレイにより形成される。２つのアレイの合成高さは、弾力性バンド９３３の巾より大きい。それ故、弾力性バンド９３３は、両方のアレイにおいて同じ検出信号を発生することがない。しかしながら、２つのアレイの合成高さは、スリングショットパッド９３４及びユーザの２本の指の巾より小さく、それ故、これらアイテムは、両アレイに同様の検出信号を発生する。更に別の実施形態では、弾力性バンド９３３は、著しく検出可能な信号を発生する。このケースでは、引き戻される弾力性バンド及び検出アレイの各区分間の異なる距離に対応して検出器アレイ全体にわたり信号パターンが発生される。最も遠い距離は、スリングショットパッド又はユーザの指の位置である。従って、検出信号をマップすることで、引き戻しスリングショットの形状に対応して三角形状がマップされる。

別の実施形態では、光学的接近センサ５１２がヒンジを経てディスプレイの縁に取り付けられる。ある実施形態では、複数の光学的接近センサ５１２がディスプレイの複数の縁に取り付けられる。本発明の実施形態により回転ヒンジでディスプレイに接続された４つの接近センサバーにより取り巻かれたディスプレイを簡単に示す図５４を参照する。図５４は、４辺において光学的接近センサ５１２で取り巻かれたディスプレイ９１１を示す。各タッチセンサバーは、ヒンジ９５０を経てディスプレイハウジングに取り付けられる。上述したように、各光学的接近センサ５１２は、２Ｄ検出平面を投射する。従って、ヒンジ９５０は、各タッチセンサバー５１０に対する２Ｄ検出平面をディスプレイ９１１に対してある角度に向けられるようにする。２Ｄ検出平面をディスプレイ９１１上のある角度に向けるために回転したとき、タッチセンサバー５１０は、ホバー検出を行う。２Ｄ検出平面をスクリーン面に対して平行に向けるために回転したとき、光学的接近センサ５１２は、タッチ検出を行う。更に、１つ以上の光学的接近センサ５１２が２Ｄ検出平面をスクリーン面に平行に向けるために回転され、そして第２の１つ以上のアレイが２Ｄ検出平面をスクリーン上のある角度に向けるために回転されるとき、タッチ検出及びホバー検出の両方が行われる。図５４において、４つ全部の光学的接近センサ５１２がそれらの各検出平面をディスプレイ９１１にわたり且つディスプレイ９１１上の各角度に向けるために回転される。このケースでは、４つの公差する検出平面がスクリーン９１１上の３Ｄ検出ボリュームを与える。

別の娯楽用途は、クラウドゲームアプリケーションをマルチパネルディスプレイとして複数のハンドセットに表示できるようにする。ユーザは、ハンドセットをタイルとして配置して、大きな長方形のマルチパネルディスプレイを形成する。ゲームサーバーは、マルチパネルディスプレイ内のどこに各ハンドセットディスプレイが配置されるか識別する。ゲームサーバーは、ゲームＧＵＩの各部分を各ハンドセットへストリーミングして、全スクリーンゲームＧＵＩがハンドセットにわたって分布されるようにする。ある実施形態では、マルチパネルディスプレイの各ハンドセットは、上述した光学的接近センサ５１２を有する。

本発明の実施形態によりインターネットゲームサーバー９９１と通信するためのコミュニケータ７０３を有するハンドヘルド電子ゲーム装置９９４を簡単に示す図５５を参照する。装置９９４のディスプレイ１００は、ゲームサーバー９９１からコミュニケータ７０３により受け取られたゲームユーザインターフェイス（ＵＩ）の一部分をレンダリングする。センサ５１８は、近傍に配置された第２のゲーム装置を検出し、そしてコミュニケータ７０３に接続されて、検出情報をゲームサーバーに送信する。本発明の実施形態によれば、センサ５１８は、上述した光学的接近センサ５１２と同様である。

本発明の実施形態によりハンドセットにおいてレンダリングされるインターネットゲームを簡単に示す図５６を参照する。図５６は、ハンドセット９９４と通信するインターネットゲームサーバー９９１を示している。ゲームロジックは、ハンドセット９９４にゲームＧＵＩを送信するサーバー９９１により処理される。ゲームのＧＵＩは、単一のスクリーン上にレンダリングされる。ハンドセット９９４の４辺全部を取り巻くエリアは、上述したようにゲームをコントロールするためのユーザジェスチャーに使用される。これらのジェスチャーは、ハンドセットの縁に沿うか又はハンドセットと一緒に使用される保護カバーの縁に沿った接近センサ５１２によって検出され、それらの縁は、上下の検出ゾーン９９８及び左右の検出ゾーン９９９を形成するものである。

本発明の実施形態によりインターネットゲームをレンダリングするために一緒に使用される２つのハンドセットを簡単に示す図５７を参照する。図５７は、各通信プロセッサ９８３及び９８４を経て２つのハンドセット９９４及び９９５と通信するインターネットゲームサーバー９９１を示す。２つのハンドセットは、共通の縁に沿って整列され、即ちハンドセット９９４の長い下縁は、ハンドセット９９５の長い上縁と整列される。従って、２つのハンドセット間のこれらの縁は、ハンドセットの外側でのジェスチャーを検出するのには使用できない。しかしながら、これらの縁は、互いに検出する。例えば、ハンドセット９９５の上縁に沿った検出ゾーン９９８は、ハンドセット９９４を検出する。従って、ハンドセット９９５は、ハンドセット９９５の長い上縁全体が接近物体により占有されることをサーバー９９１に通信する。同様に、ハンドセット９９４は、ハンドセット９９４の長い下縁全体が接近物体により占有されることをサーバー９９１に通信する。この情報に基づき、サーバー９９１は、各ハンドセットにより検出される接近物体が隣接ハンドセットであることを決定する。従って、サーバー９９１は、ゲームＧＵＩの上半分をハンドセット９９４へそしてゲームＧＵＩの下半分をハンドセット９９５へ送信する。更に、スクリーンの配向、例えば、検出ハンドセットのディスプレイ上のピクセル（０、０）に対する検出縁の位置に基づき、サーバー９９１は、ＧＵＩ画像をそのターゲットハンドセット上に適切にレンダリングするために半ＧＵＩ画像の一方を回転すべきか両方を回転すべきか決定する。これは、２つのハンドセットが一緒に隣接ＧＵＩを表示するように、あるハンドセットディスプレイから次のハンドセットディスプレイへの継続性を保証する。

本発明の実施形態により２つのハンドセットで形成されるインターネットゲーム用の２パネルディスプレイを簡単に示す図５８を参照する。図５８は、２つのハンドセット９９４及び９９５にレンダリングされるインターネットゲームを示し、即ちゲームＧＵＩは、２つのスクリーンにレンダリングされ；ＧＵＩの上半分はハンドセット９９４にレンダリングされ、そしてＧＵＩの下半分はハンドセット９９５にレンダリングされる。現在ゲームの場合にインターネットゲームサーバーと通信する装置の数は２であるから、ゲームサーバーは、ＧＵＩを２つの部分に分割する。ゲームサーバーがＧＵＩを分割する部分の数は、特定のゲームにおいてインターネットゲームサーバーと通信する装置の数に基づく。

図５７を参照して上述したように、２つのハンドセット間の縁は、ハンドセットの外側でのジェスチャーを検出するのに使用できない。しかしながら、各ハンドセットの残りの３つの露出縁は、ハンドセットの外側のオープンスペースでのユーザ入力ジェスチャーを検出するのに使用できる。ハンドセットの露出縁は、マルチパネルディスプレイの周囲を形成し、そしてマルチパネルディスプレイの外側のオープンスペースでのユーザジェスチャーを検出するのに使用される。２つのハンドセットが互いにどのような配向されそしてＧＵＩのどんな部分が各ハンドセットにおいてレンダリングされるかをサーバー９９１が決定するときの前記ハンドセット整列情報は、ゲームサーバーが２つのハンドセットのオープンスペースに及ぶジェスチャーを単一のジェスチャーとしてマップできるようにもする。例えば、ユーザが、矢印９３９で示すように、マルチパネルディスプレイの右縁に対向して上方に自分の指を滑走することにより滑走ジェスチャーを行う場合には、そのジェスチャーが、先ず、ハンドセット９９５のゾーン９９９で検出され、次いで、ハンドセット９９４のゾーン９９８で検出される。各ハンドセットは、その接近ゾーン検出情報をサーバー９９１へ送信する。サーバー９９１は、パネルの配列に関する情報を記憶する。ハンドセット整列情報に基づき、サーバー９９１は、それら２つの滑走検出を合成して、マルチパネルディスプレイの右縁に対向して１つの長い上方滑走ジェスチャーを形成する。

本発明の実施形態により４つのハンドセットで形成されるインターネットゲーム用の４パネルディスプレイを簡単に示す図５９を参照する。図５９は、４つのハンドセット９９４−９９７におけるインターネットゲームを示す。ゲームＧＵＩは、４つのスクリーンにおいてレンダリングされ、各スクリーンは、ＧＵＩの各四半分を表示する。上述したように、隣接ハンドセット間の各縁は、隣接ハンドセットを検出する。従って、４ハンドセット構成では、各ハンドセットが２つの隣接物を検出する。この情報をサーバーへ送信することにより、サーバーは、４つのハンドセットをどのように配置するかマップし、そして４つのハンドセットが一緒に隣接ＧＵＩを表示するようにＧＵＩの適当な四半分を各ハンドセットに送信する。上述したように、サーバーは、異なるハンドセットへ送られる画像の幾つかを回転することが必要である。

ある実施形態では、装置の各縁に沿った検出器は、交互の一連の光放射器及び光検出器であり、従って、検出器は、隣接装置のような物体により反射される光を検出する。しかしながら、ある実施形態では、装置の縁に沿った光放射器のアクチベーションパターンがその隣接装置の検出器の対向アレイによって検出される。これは、隣接するアクティブな装置を検出するための別の方法である。又、これは、２つの装置の相対的な配向を決定することもできる。例えば、ディスプレイの上部付近の放射器が、ディスプレイの下部付近でアクチベートされる放射器とは異なるアクチベーションパターンでアクチベートされる場合に、隣接装置は、隣接装置の上部がどこに位置しているかその光検出器における異なる検出に基づいて決定する。

上述したように、残りの露出したハンドセット縁は、マルチパネルディスプレイの周囲を形成し、そしてマルチパネルディスプレイの外側のオープンスペースにおけるユーザジェスチャーを検出するのに使用される。ハンドセット間に位置するハンドセット縁に基づく前記整列情報は、図５９のゾーン９９８及び９９９として示された２つのハンドセットに対向するオープンスペースに及ぶジェスチャーをゲームサーバーが単一のジェスチャーとしてマップできるようにする。

ある実施形態では、各装置は、２つの装置間の通信チャンネルを動的に設定する自動ネゴシエーションプロセスを使用する専用の放射器及びセンサを備えている。インフォメーションテクノロジー、テレコミュニケーション及び関連分野において、このプロセスは、ハンドシェーキングとして知られている。従って、例えば、第１装置の放射器は、ハンドシェーク信号を発生し、これは、隣接装置のセンサで検出される。隣接装置の放射器は、相互ハンドシェーク信号を発生し、これは、第１装置のセンサで検出される。光放射器と光センサは、ハンドシェークを行うことができる。しかしながら、他の形式の放射器／センサ、特に、ＲＦＩＤも、本発明の範囲内である。従って、使用する技術に関わりなく、（ａ）隣接装置が互いに検出を行い、（ｂ）各装置がこの検出をインターネットゲームサーバーに通信し、及び（ｃ）この情報に基づき、インターネットゲームサーバーがゲームＧＵＩの各部分を各装置に送信する。

本発明の実施形態により、センサ５１８で検出されてゲームサーバー９９１へ通信される各ディスプレイの相対的な位置及び配向に基づいてゲームＧＵＩが４つのディスプレイ１４２−１４５間に分散されるような図５９に示す４つのゲーム装置の構成を簡単に示す図６０を参照する。従って、図６０は、インターネットゲームサーバー９９１及び多数のゲーム装置を特徴とするインターネットゲームシステムを示し、各ゲーム装置は、各装置に埋め込まれた個々のコミュニケータ７０３を経てゲームサーバーと通信するハンドヘルド電子ゲーム装置である。各装置は、ゲームサーバー９９１からコミュニケータ７０３によって受け取られたゲームユーザインターフェイス（ＵＩ）の各部分をレンダリングするために各ディスプレイ１４２−１４５を有する。又、各装置は、隣接ゲーム装置の存在を検出するためにコミュニケータ７０３に接続された各センサ５１８も有する。ゲームサーバー９９１は、ゲーム装置の数に基づいてゲームＵＩの各部分のサイズを決定する。

以上、本発明は、特定の規範的実施形態について説明された。しかしながら、この特定の規範的実施形態に対して本発明の広い精神及び範囲から逸脱せずに、種々の変更や修正がなされることが明らかである。従って、明細書及び添付図面は、例示に過ぎず、これに限定されるものではない。

１００：スクリーン
１０１−１０３：放射器
１３０：放射器
１３２：ディスプレイ
１３４：トラックパッド
１３５：キーボード
１３６：スライダホイール
１３７：スライダバー
１３９：液体層
１４０：光ブロッカー
１４１：弾力性プラスチック膜
２０１：ＰＤ
２０２−２０８：検出器
２０５、２１０、２１１：ホトダイオード
２４０：ホトダイオード（ＰＤ）受光器
３０１、３０４、３１０：光ガイド
３０２、３０３：レンズ
３１１：コリメートレンズ
３１２：レンズアレイ
３２０、３２１：光バリア
４０１−４０５、４０９−４１３：光ビーム
５０１、５１０：タッチセンサバー
５１２、５１７：接近センサ
６０１、６０２：ケーシング部分
６０３：ＰＣＢ
７０１：コントローラ
７０２：プロセッサ
９０１、９１０：遠隔物体
９０２、９０４、９０６、９０７、９０８：位置
９１２：フラットな画像平面
９１３、９１４：点
９１５：角度
９１６：対物平面

Claims (32)

1. 接近物体の二次元座標を決定するための接近センサにおいて、
   ハウジングと、
   検出平面に沿って前記ハウジングから光を投射するために前記ハウジングにマウントされた複数の光パルス放射器と、
   前記放射器により投射された光の、検出平面内の反射物体による反射を検出するために前記ハウジングにマウントされた複数の一次光検出器と、
   前記放射器及び前記一次検出器に対して前記ハウジングにマウント及び配向される複数の一次レンズであって、放射器・検出器の各対に対し、検出平面における位置の一次セットの中から、その放射器・検出器の対に関連した二次元位置に物体が位置されたときに、その対の放射器により放射された光が一次レンズの１つを通過しそして物体により一次レンズの１つを通してその対の検出器へ反射されるようにする複数の一次レンズと、
   前記放射器及び前記一次検出器に接続され、放射器・検出器対を同期して共アクチベートし、且つ検出平面における物体の二次元位置を計算するように構成されたプロセッサであって、その計算は、
   前記共アクチベートされる放射器・検出器対の中で、検出器が最大量の光を検出する放射器・検出器対を決定し、そしてそれに関連した位置を識別し、
   前記共アクチベートされる放射器・検出器対に関連し且つそのように識別された位置に隣接する付加的な位置を決定し、及び
   そのように識別された位置及びそのように決定された付加的な位置の重み付けされた平均値を計算する、
   ことによって行われ、その平均値における各位置の重みは、その位置に関連した放射器・検出器対に対する反射光ビームの検出の度合いに対応するものであるプロセッサと、
   を備えた接近センサ。
2. 前記プロセッサは、ハフ変換を使用して検出平面内の物体の位置を計算するように構成され、その計算は、
   検出平面内に複数の候補楕円を与え、
   検出器が検出信号を発生するところの共アクチベートされた放射器・検出器対を決定し、そしてそれに関連した位置を識別し、
   ２つの関連位置が隣接している共アクチベートされた放射器・検出器対の２つに対して検出信号を補間して、それら２つの関連位置間の中間位置を決定し、
   各中間位置に配向を指定し、この配向は、前記２つの隣接する関連位置を接続する線に垂直であり、
   各々の候補楕円に対して、
   候補楕円の縁と、中間位置の位置及び配向との間の一致の程度を表す一致値を候補楕円に指定し、及び
   そのように指定される一致値の和を計算し、及び
   そのように計算された最大の和をもつ候補楕円を、検出平面内の物体の位置であるとして指定する、
   ことにより行われる、請求項１に記載の接近センサ。
3. 前記プロセッサは、更に、そのように決定された放射器・検出器対の放射器が物体位置計算の一連の時間にわたり同じ放射器であり続けるときに前記一次レンズの１つの光学軸に平行な方向に物体が移動し、そしてその対の検出器により検出される光の量が、付加的な位置の１つに関連した共アクチベートされた対の検出器により検出される光の量に対して、前記計算の一連の時間にわたり同じ比を有すると推測する、請求項１に記載の接近センサ。
4. 前記レンズは、各放射器・検出器対について、物体が検出平面内の関連位置にあるときにその対の放射器により放射される光が、物体により、前記一次レンズの１つの光学軸に対して角度θ又は−θで検出器へ反射して戻されるように配向され、そして前記プロセッサは、更に、そのように決定された放射器・検出器対の検出器が物体位置計算の一連の時間にわたり同じ検出器であり続けるときに前記光学軸に対し前記角度θ又は−θに平行な方向に物体が移動し、そしてその対の検出器により検出される光の量が、付加的な位置の１つに関連した共アクチベートされた対の検出器により検出される光の量に対して、前記計算の一連の時間にわたり同じ比を有すると推測する、請求項１に記載の接近センサ。
5. 前記共アクチベートされた放射器・検出器対は、
   放射器がそのように決定された放射器・検出器対と同じ放射器であるところの少なくとも１つの放射器・検出器対と、
   検出器がそのように決定された放射器・検出器対と同じ検出器であるところの少なくとも１つの放射器・検出器対と、
   を含む、請求項１に記載の接近センサ。
6. 検出平面内の反射物体による投射光の反射を検出するために前記ハウジングにマウントされた複数の二次光検出器を更に備え、放射器と二次検出器との各放射器・検出器対について、その対の放射器により放射された光は、前記一次レンズの１つを通過し、そして物体が二次元位置にあるとき、検出平面内の二次セットの位置の中から、物体により、前記一次レンズの１つを通してその対の検出器へ反射して戻され、前記二次セットの位置は、一次セットの位置とは異なる、請求項１に記載の接近センサ。
7. 前記二次セットの位置の隣接位置は、前記一次セットの位置の隣接位置より互いに接近している、請求項６に記載の接近センサ。
8. 検出平面内の反射物体による投射光の反射を検出するために前記ハウジングにマウントされた複数の二次光検出器と、
   前記放射器及び前記二次検出器に対して前記ハウジングにマウント及び配向された複数の二次レンズであって、放射器と二次検出器との各放射器・検出器対について、その対の放射器により放射された光は、前記一次レンズの１つを通過し、そして物体が二次元位置にあるときに、検出平面内の二次セットの位置の中から、物体により、前記二次レンズの１つを通してその対の検出器へ反射して戻され、前記二次セットの位置は、一次セットの位置とは異なるものである、二次レンズと、
   を更に備えた請求項１に記載の接近センサ。
9. 前記二次セットの位置の隣接位置は、前記一次セットの位置の隣接位置より互いに接近している、請求項８に記載の接近センサ。
10. 前記検出平面は、反射面上を通過し、そして前記一次レンズは、前記放射器により投射された光ビームを前記反射面に対して上方の角度に向けて、その面による投射光の反射を最小にする、請求項１に記載の接近センサ。
11. 前記放射器及び一次検出器は、個々のプラスチックケースレンズをもたずに且つ個々の基板をもたずに前記ハウジングにマウントされるダイオードを含む、請求項１に記載の接近センサ。
12. 交差する各検出平面に向けられた請求項１に記載の複数の接近センサを含む、接近物体の三次元座標を決定する複数の接近センサ。
13. 各接近センサは、別の接近センサが向けられる方向に対して実質的に垂直な方向に向けられる、請求項１２に記載の複数の接近センサ。
14. スライダコントローラに沿った指の方向性移動を決定する接近センサにおいて、
    ハウジングと、
    前記ハウジングにマウントされ且つスライダコントローラのための露出した上面を有する多層光透過性カバーであって、このカバーの層間の境界は、不透明又は反射部分により分離された光透過性部分のパターンを含み、そして光透過性部分或いは不透明又は反射部分のサイズは、そのパターンにわたって増加するものである光透過性カバーと、
    前記カバーの上層へ光を投射するために前記ハウジングにマウントされた光パルス放射器であって、投射される光は、内部全反射（ＴＩＲ）により上層に拘束され、前記露出した上面にタッチする指がＴＩＲ光を妨害して、光の一部分を、前記パターンにおける光透過性部分を通して、上層の下にあって前記パターンによりそこから分離された第２層へ入り込むようにさせ、前記第２層に入る光の部分は、前記露出した上面にタッチする指の下の光透過性部分のサイズに対応するものである光パルス放射器と、
    前記第２層における光の強度を検出するために前記ハウジングにマウントされた光検出器と、
    前記パターンにわたって物体の方向性移動を決定するために前記光検出器に接続されたプロセッサであって、移動の方向は、前記光検出器が時間に伴う検出光強度の増加シリーズを検出するか又は減少シリーズを検出することに対応するものであるプロセッサと、
    を備えた接近センサ。
15. スライダコントローラに沿った物体の方向性移動を決定する接近センサにおいて、
    ハウジングと、
    前記ハウジングにマウントされ、スライダコントローラのための露出した上面を有し、不透明又は反射部分により分離された光透過性部分のパターンを含む光透過性カバーであって、その光透過性部分或いは不透明又は反射部分のサイズは、そのパターンにわたって増加するものである光透過性カバーと、
    前記カバーの上に光を投射するために前記ハウジングにマウントされた光パルス放射器と、
    反射物体により前記カバーへ反射される投射光の強度を検出するために前記ハウジングにマウントされた光検出器であって、物体により前記カバーへ反射される光の量は、物体の下の光透過性部分のサイズに依存するものである光検出器と、
    前記パターンにわたる物体の方向性移動を決定するために前記光検出器に接続されたプロセッサであって、移動の方向は、前記光検出器が時間に伴う検出光強度の増加シリーズを検出するか又は減少シリーズを検出するかに対応するプロセッサと、
    を備えた接近センサ。
16. ハウジングと、
    インターネットゲームサーバーと通信するために前記ハウジングにマウントされたコミュニケータと、
    前記ゲームサーバーから前記コミュニケータによって受け取られたゲームユーザインターフェイス（ＵＩ）の一部分をレンダリングするために前記ハウジングにマウントされたディスプレイと、
    付近に配置される第２のゲーム装置を検出するために前記ハウジングにマウントされ且つ前記コミュニケータに接続されたセンサと、
    を備え、前記コミュニケータは、前記センサによりゲームサーバーに与えられる検出情報を、近傍の第２のゲーム装置に関わりなく通信する、ハンドヘルド電子ゲーム装置。
17. 前記センサは接近センサである、請求項１６に記載のハンドヘルド電子ゲーム装置。
18. 前記接近センサは、ゲーム装置に沿って物体を移動することを含むユーザ入力ジェスチャーを検出するように動作し、そして前記コミュニケータは、前記センサによりゲームサーバーに与えられるジェスチャー情報を通信する、請求項１７に記載のハンドヘルド電子ゲーム装置。
19. 前記接近センサは、ゲーム装置に沿って検出された物体の二次元位置を決定するように動作し、そして前記コミュニケータは、前記センサによってゲームサーバーに与えられる物体位置情報を通信する、請求項１７に記載のハンドヘルド電子ゲーム装置。
20. 前記ゲームサーバーは、ゲームＵＩのどの部分がゲーム装置へ送信するかを、前記コミュニケータにより通信される検出情報に基づいて決定する、請求項１６に記載のハンドヘルド電子ゲーム装置。
21. 前記センサは、前記ハウジングにマウントされた光検出器であって、第２ゲーム装置にマウントされた光放射器により放射された光を検出する光検出器を含む、請求項１６に記載のハンドヘルド電子ゲーム装置。
22. 前記第２ゲーム装置の光放射器は、前記第２装置がゲーム装置であることを示す特定のパターンでアクチベートされる、請求項２１に記載のハンドヘルド電子ゲーム装置。
23. 前記第２ゲーム装置の少なくとも１つの光放射器は、前記第２ゲーム装置内のその相対的位置を示すパターンでアクチベートされる、請求項２２に記載のハンドヘルド電子ゲーム装置。
24. インターネットゲームサーバーと、
    前記ゲームサーバーと各々通信するハンドヘルド電子ゲーム装置である２つ以上のゲーム装置と、
    を備え、各ゲーム装置は、
    ハウジング、
    前記ゲームサーバーと通信するためのコミュニケータ、
    前記ゲームサーバーから前記コミュニケータによって受け取られたゲームユーザインターフェイス（ＵＩ）の各部分をレンダリングするために前記ハウジングにマウントされたディスプレイ、及び
    付近のゲーム装置の存在を検出するために前記ハウジングにマウントされ且つ前記コミュニケータに接続されたセンサ、
    を備え、前記ゲームサーバーは、前記ゲーム装置の数に基づいてゲームＵＩの各部分のサイズを決定する、インターネットゲームシステム。
25. 前記ゲームサーバーは、更に、前記ゲーム装置の数に基づき及び各コミュニケータにより通信される検出情報に基づきゲームＵＩの各部分の寸法を決定する、請求項２４に記載のインターネットゲームシステム。
26. 前記ゲームサーバーは、ゲーム装置のコミュニケータにより通信される隣接ゲーム装置の存在に関する検出情報に基づき各ゲーム装置へゲームＵＩの各部分を送信する、請求項２４に記載のインターネットゲームシステム。
27. 前記ゲームサーバーは、各コミュニケータにより通信される隣接ゲーム装置の存在に関する検出情報に基づいて、ゲームＵＩの各部分を送信する前に、それら部分の少なくとも１つを回転する、請求項２６に記載のインターネットゲームシステム。
28. 各ゲーム装置の前記センサは、そのゲーム装置に沿った物体の移動より成るユーザ入力ジェスチャーを検出するように動作する接近センサを含み、前記コミュニケータは、前記接近センサにより与えられるジェスチャー情報を前記ゲームサーバーへ通信し、そして前記ゲームサーバーは、各ゲーム装置のコミュニケータにより通信されるジェスチャー情報を、そのゲーム装置のディスプレイにレンダリングされるゲームＵＩの部分へマップする、請求項２４に記載のインターネットゲームシステム。
29. 各ゲーム装置の前記センサは、そのゲーム装置に沿った物体の移動より成るユーザ入力ジェスチャーを検出するように動作する接近センサを含み、前記コミュニケータは、前記接近センサにより与えられるジェスチャー情報を前記ゲームサーバーへ通信し、そして前記ゲームサーバーは、２つのゲーム装置のコミュニケータから通信されるジェスチャー情報を、それら２つのゲーム装置のディスプレイにレンダリングされるゲームＵＩの各部分に基づいて、１つの連続ジェスチャーとして解釈する、請求項２４に記載のインターネットゲームシステム。
30. 前記ゲーム装置の数は、２より多く、各ゲーム装置の前記センサは、そのゲーム装置の２つの辺に沿った隣接ゲーム装置を検出するように動作する、請求項２４に記載のインターネットゲームシステム。
31. 各ゲーム装置の前記センサは、そのゲーム装置のハウジングにマウントされた光検出器であって、隣接ゲーム装置のハウジングにマウントされた光放射器から放射された特定の光パターンを検出する光検出器を含む、請求項２４に記載のインターネットゲームシステム。
32. 前記特定の光パターンは、隣接ゲーム装置のハウジング内の光放射器の相対的位置を示す、請求項３１に記載のインターネットゲームシステム。