JP2003532216A

JP2003532216A - ヒューマン・マシーンインターフェイス

Info

Publication number: JP2003532216A
Application number: JP2001580609A
Authority: JP
Inventors: トゥルバート、デビッド、ジェイ．
Original assignee: トゥルバート、デビッド、ジェイ．
Priority date: 2000-05-01
Filing date: 2001-04-30
Publication date: 2003-10-28
Also published as: AU2001252083A1; US20110214094A1; WO2001084251A3; US8937613B2; US7859519B2; US20030137494A1; EP1287409A2; WO2001084251A2

Abstract

(57)【要約】【解決手段】ヒューマン・マシーンインターフェイス（１０）は、エネルギー伝達素材で形成されていて、コンタクト面（１２ａ）を有しており、その面に１つまたはそれ以上の接触が同時に成されるようなパネル（１２）を含む。エネルギー源（１４）はパネルに向けてエネルギーを導く。前記パネル（１２）はエネルギー源から受け取ったエネルギーを前記コンタクト面へ伝達する。前記パネルによって伝達されたエネルギーの少なくとも１つのパラメータは、前記コンタクト面（１２ａ）に形成された接触領域で変化する。検出器（２４）はパネルに連結していて、前記エネルギーの少なくとも1つのパラメータをコンタクト面のほぼ上に検出に、これに対応する値を出力する。処理器（２６）は前記検出器と通信している。前記処理器（２６）は出力値を処理し前記コンタクト面上の接触領域の位置と各々の接触に関連する他の属性のうち少なくとも１つを決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

本発明は、一般には入力装置に、特に表面および対象との接触を検出するため
のヒューマン・マシーンインタフェースおよび方法に関する

【従来の技術】

プログラムコードを実行しているコンピュータにユーザー入力を容易にするマ
ウスおよびジョイスティックのような入力装置は、公知技術である。この性質の
入力装置を処理しているユーザーは、コンピュータによって実行されているソフ
トウェアアプリケーションと対話することが可能である。これらの入力装置が一
般的であるけれども、接触感知パネルはまた、ユーザーにコンピュータによって
実行されているソフトウェアアプリケーションと対話するのを可能にすると考慮
された。

【０００２】たとえば、Ｙａｓｕｔａｋａに対する米国特許第５，４８３，２６１号は、後
部の取り付けられたビデオカメラによって撮像される複数の半透明の、光拡散パ
ネルを有する接触検出制御装置を含んでいる双方向グラフィックシステムを開示
する。ビデオカメラは、パネルに近接して対象（例えば指）によって生じるパネ
ル上の影を検出するために配置される。ビデオカメラ出力は、ユーザー制御可能
な対象を表示しているモニタを有するコンピュータへ伝えられる。コンピュータ
によって実行されるプログラムコードは、ビデオカメラ出力を処理して、パネル
上の影の動きに従ってユーザー制御可能な対象を動かすためにディスプレーをア
ップデートする。

【０００３】アイ・ビー・エムに対するヨーロッパの特許出願Ｎｏ．０５５４４９２は
、コンピュータに指令またはデータのオプティカル入力のための入力装置を開示
する。入力装置は、カメラの視界の範囲内で仮想キーボードを含む。カメラによ
って捕らえられた画像は、仮想キーボードのキーの上の手動きを検出するために
解析され解釈される。対応するデータ入力信号は、入力装置によって発生させら
れて、処理のためにコンピュータに伝えられる。

【０００４】Ｍａｌｌｏｓに対する米国特許第４，３４６，３７６号は、陰極線管（ＣＲＴ
）の上に位置し、それから放射された光を受ける接触位置感知パネルを開示する
。接触位置感覚パネルの端部には、パネルの中で閉じ込められる光を検出するた
めに光電検出器が取り付けられる。ユーザーがパネル表面と接触するときに、Ｃ
ＲＴからの光は全反射によってパネルの中に閉じ込められ、光電検出器によって
検出される。光電検出器の出力は、接触された表面位置を決定するべきＣＲＴラ
スター位置と比較される。

【０００５】Ｂｅｒｇｓｔｒｏｍに対する米国特許第４，６２９，８８４号は、放射線源お
よび放射線検出器の間で配置される放射-伝搬性プリズムを含んでいる接触感知
キーを開示する。ユーザーがプリズムの上面と接触するときに、プリズムに入る
光源からの放射はプリズムの側面へ散乱して、放射線検出器によって検出される
。

【０００６】Ｋａｓｄａｙに対する米国特許第４，７１０，７６０号は、スクリーンの２つ
の隅部に光反射型端および発光／受信モジュールを有する光弾性接触検知スクリ
ーンを開示する。光は、モジュールによるスクリーンに焦点に集まって、内面反
射によって広がって、スクリーンの端を離れて反射して、木工丸鋸歯研削盤偏光
子によって吸収のためのモジュールに復帰される。スクリーン上部の表面に接触
したときに、光の偏光は変わる。偏光変化の程度は、スクリーン上部の表面に加
えられる力に依存している。偏光変化は、分類学的位置を許している円偏波器お
よび決定されるスクリーン上部の表面上の接点のフォースによって検出される。

【０００７】上述の基準は、ユーザーとの接触を検出し、対応する出力信号を生成するため
に接触感知パネルを開示するが、ユーザー入力能力を強化するために改良された
接触感知パネルが要求される。従って、本発明の目的は、新しいヒューマン・マ
シーンインタフェース、および表面とオブジェクト間の接点を検出する方法を提
供することである。

【０００８】

【発明の概要】

本発明の一態様では、ヒューマン・マシーンインターフェイスは以下から形成
されている：エネルギー伝達材料によって形成されたパネルであって、１もしくはそれ以上
の接触部が同時に形成されるであろうコンタクト面を有するパネルと；前記パネルにエネルギーを導くエネルギー源であって、前記パネルは前記エネ
ルギー源から受け取ったエネルギーを前記コンタクト面に伝達し、前記パネルに
よって伝達されたエネルギーのパラメータは前記コンタクト面に形成された接触
部の領域で変化する、前記エネルギー源と；検出器であって、前記コンタクト面上の接触領域に対応する前記エネルギーの
少なくとも１つのパラメータの変化を検出し、これに対応する値を出力する、検
出器と；前記検出器と通信する処理器であって、この処理器は前記出力値を処理し前記
コンタクト面上の接触領域の位置と前記各接触部に関連する他の属性のうちの少
なくとも１つを決定する、処理器と。

【０００９】好適な実施例において、前記少なくとも１つの他の属性は、前記各接触領域で
前記パネルに適用される垂直方向の力を含む。属性が剪断力の最少の一つで、更
に含む少なくとも一つのその他が各々の接触領域でパネルに適用されて、瞬間接
触はパネルでなされる、そして、接触が終わる瞬間、各々の接触の継続および通
常の力の振動は接触の間、パネルに印加した。

【００１０】好適な実施例において、接点はユーザーの指を有するパネルの接触面に作られ
る。パネルおよび指間の接触するパネルによって伝送されるエネルギーの方向を
変える。この場合、接点領域は、形状において一般に楕円である。前記パネルの
直上領域は照明され、これによって一定間隔を介して接触面から離間する指また
はその部分を照明する。前記少なくとも１つの他の属性は、：前記各接触領域で前記パネルに適用される垂直方向の力；前記各接触領域で前記パネルに適用される剪断方向の力；前記パネルに接触がなされた瞬間及び接触が終了した瞬間；前記パネルに接触がなされる時の速度と、前記接触が終了される時の速度；前記接触の存続期間；前記接触の間に前記パネルに適用される垂直方向の力における振幅。

【００１１】前記垂直方向の力は、前記楕円形の接触領域の面積を決定することにより算出
される。前記接触領域の中心に対して置き換えられた指先の座標を決定すること
によって剪断方向の力を算出する。

【００１２】本発明の別の態様では、以下のものが、提供されている。コンタクト面を有し
かつエネルギー伝達材料によって形成されたパネル上で接触を検出する方法であ
って；パネルによって伝達されたエネルギーをパネルへ導き、パネルによって伝達さ
れたエネルギーの少なくとも１つのパラメータは、コンタクト面で接触が形成さ
れる領域で変化し；前記コンタクト面上の接触領域に対応する前記エネルギーの少なくとも１つの
パラメータの変化を検出し、これに対応する値を出力し；前記出力値を処理しコンタクト面上の接触領域の位置と各接触部に関連する他
の属性のうちの少なくとも１つを決定する方法である。

【００１３】本発明の更に別の態様によれば以下のものが、提供されている。：検出器であって、前記コンタクト面上の接触領域に対応する前記エネルギーの
少なくとも１つのパラメータの変化を検出し、これに対応する値を出力する、検
出器と；前記検出器と通信する処理器であって、この処理器は前記出力値を処理し前記
コンタクト面上の接触領域の位置と前記各接触部に関連する他の属性のうちの少
なくとも１つを決定する、処理器と、を有する。

【００１４】本発明の更に別の態様によれば、イメージを投影するディスプレイ装置は、提
供される：エネルギー伝達材料で形成されたパネルであって、前記像を見ることができる
ディスプレイ面を有するパネルと、スキャナであって、前記パネルへ光線を導き、前記像を投影するためにラスタ
ーパターンで前記ディスプレイ面全体にわたって前記光線をスキャンする、スキ
ャナと、前記スキャナであって、前記光線を生成するための光源と前記光線の通
り道に配置されている可動性複合光学要素を有する、スキャナと、前記複合光学
要素であって、前記複合光学要素は、前記コンタクト面を横切るように前記複合
光学要素が動くことによって前記光線を前記ラスターパターンでスキャンする、
複合光学要素。

【００１５】好適な実施例において、前記複合光学要素は離間した回転式ホログラフィック
光学素子（ＨＯＥ）を少なくとも２つ有し、各ＨＯＥは、円周上に離間して配置
された回折格子の環を有するのであって、前記各回折格子は前記複合光学要素が
回転し、前記光線がその上で衝突する場合、前記ラスターパターンの各列全体に
わたって前記光線をスキャンするものである。

【００１６】実施例において、前記コンタクト面と反対側の前記パネルの表面上に配置され
ている回折格子からなる配列をさらに有する。前記配列中の回折格子各列は、Ｈ
ＯＥ上の各回折格子と関連づけられていて、前記各列全体にわたる前記光線スキ
ャン中に、前記コンタクト面上で前記光線の集光を補助する。

【００１７】パネル接触面を有する複数の同時接点が高度な正確さによって検出されること
ができるという点で、本発明は利点を提供する。また、パネルに印加される接触
力は、高度な正確さによって検出されることができる。その結果、ユーザは複素
数および自然な人間のしぐさを使用しているヒューマンマシンインターフェース
と相互に作用することが可能である。これは、もちろんユーザーが仮想的により
よくヒューマンマシンインターフェースが接続されるあらゆるマシンと相互に作
用することができる。さらに、ユーザーが対応する出力信号を生成するためにパ
ネルの接触面に小さい力を与えるだけでよいという点で、本発明は利点を提供す
る。反復的な過労怪我（ＲＳＩ）の危険性を減らすと共に、これは高度な触覚を
有する速いユーザーとの対話処理を可能にする。さらに、ユーザーが手動で指先
端の手のひら表面上の柔らかいパルプ組織を使用している接触面と相互に作用す
るという点で、本発明は利点を提供する。この組織は、体の他のいかなる皮膚よ
りも素晴らしい触覚受容体を高い記録密度で含んでいる。

【００１８】イメージ（例えばコンピュータ・ビデオスクリーンに表示される）がパネルの
接触面に表示されてもよいという点で、本発明も利点を提供する。そして、ユー
ザーが直接グラフィックオブジェクト（例えばメニュー、アイコン、仮想対象物
のイメージ又は操作を必要とするデータ）と相互に作用することができる。前記イメージは、アップデートされてもよいか又はユーザーの必要を必要に応じ
て満たすリアルタイムおよび／またはヒューマンマシンインターフェースが接続
されるマシンにおいて修正されてもよい。イメージが接触面に表示した、そして
、ユーザーの手がユーザーの視野のままであるので、ユーザーの脳の手-目機構
は係合するままである。そして、手動の物標取得の速度の重大な増加に結果とし
てなる。加えて、標的の空間の場所のメモリー（直観像を見る人物標取得として
当業者にとって公知の）に基づく手動の物標取得にも対して責任があるユーザー
の脳の機構は、係合するままである。直観像を見る人物標取得によって本発明の
ユーザーがヘッドおよび／または目位置の変化のために、もはや視野の標的に触
れないことができる。そして、それは以前に見られた。

【００１９】

【発明の実施の形態】

図１には、この発明によるヒューマン・マシーン・インタフェースが示され、
参照番号１０によって一般に指示される。図示されるように、ヒューマン・マシ
ーン・インタフェース１０は接触面１２ａと一般に平行して上側主要接触面１２
ａおよび下側主要な表面１２ｂを有するエネルギ伝達パネル１２を含む。本実施
例におけるパネル１２は、ガラスのような光伝導性の材料で形づくられる。細長
い、コヒーレントでない光源１４は、パネルの一方端１６に沿って延在して、パ
ネル１２に光エネルギを放射する。半円筒状反射鏡１８は、光源１４の露出側を
囲む。ミラー１８は、パネルの横縁１６から離れる方向に移動している光源１４
から発した光を反射しパネル１２の横縁へと戻す。接触面１２ａに標準を延在し
ている軸に関して測られるように、パネルの内面反射の臨界角より大きい角で、
横縁１６を経たパネル１２に入っている光の光線はパネル１２の範囲内で閉じ込
められるままである。

【００２０】二次光源２０は、パネル１２の下に配置される。光源２０は、それより上にパ
ネル１２および領域を照らす波面２２を放射する。光源２０によって放射される
光の強度は、光源１４によって放射される光の強度に関して選ばれる。その結果
、パネル１２の接触面１２ａより上に僅かに間隔を置かれる対象または部分２３
（図２参照）（例えば接触面１２ａに実際に接触していない部分の指）が光源２
０によって照らされる。しかしそれは光源１４及び光源２０の両方によって照ら
されている接触面１２ａに実際に接触している指の部分に対するものよりははる
かに小さい範囲である。

【００２１】固体ＣＣＤまたはＣＭＯＳ面検出器カメラ２４の形の画像捕捉素子２４は、ま
た、パネルの画像を得るためにパネル１２の下に配置される。カメラ２４はデジ
タルフレームグラバー２８に連結される。そして、それはパソコンであるプロセ
ッサ２６に順番に連結される。フレーム・グラバー２８は画像を捕らえて、格納
する。そして、その中のデジタル方式のメモリにおいて、カメラ２４によって得
られる。パソコン２６は、獲得した画像を解析して、パネル１２の接触面１２ａ
を有するユーザー接触に対応する出力信号を発生させるために影像解析ソフトウ
ェア３０を実行する。影像解析の間、各々の獲得した画像のラフな走査は、画像
がパネル１２を有するユーザー接触を示している一つ以上の明るい領域を含むか
どうか決定するために実行される。画像が一つ以上の明るい領域を含む場合、各
々の明るい領域はそれから接触面１２ａ上の接触および接触（「接触計数値接触
属性」）の性質の位置を決定するために綿密に解析される。以下、ヒューマン・
マシンインタフェース１０の具体例を、図１〜１４を参照して説明する。

【００２２】このヒューマン・マシーン・インタフェース１０によって、接触面１２ａの異
なる領域に対する複数の接触が検出されて、実際上同時に処理されることができ
る。ヒューマン・マシーン・インタフェース１０が接触が起こる接触面１２ａ上
の位置だけでなく接触と関連する一つ以上の接触計数値も検出するので、ヒュー
マン・マシーン・インタフェースはそれが高水準機能を行っているプロセッサー
を有するインタフェースに使われることができている各々の接触に対応する複数
の出力信号を出力することができる。

【００２３】指４０または他の対象が図１で示す接触面１２ａと接触するときに、接触領域
でのパネル１２の内面反射の臨界角は上がる。その結果、パネル１２の閉じ込め
られた光は接触（すなわち明るい領域）の領域で、高められた照明に結果として
なっている接触の領域で、パネルから漏れる。そして、形において接触領域と一
致する。両者間に屈折率が空気のそれより大きい対象と接触する所で、これは各
々の領域で起こる、そして、接触面１２ａは起こる。接触領域で逃げている光の
強度は、対象によって接触面１２ａに適用される圧力に、依存していない。しか
し、指のような、パネル１２と接触している対象が変形可能な場合、パネル１２
の接触面１２ａに印加される増加する圧力は対象および接触面１２ａ間のより大
きい接触領域に結果としてなる。これは、より大きい明るい領域に結果としてな
る。

【００２４】図３ａおよび３ｂは、パネル１２の下から見た接触検出パネルと接触する指を
図示するものである。図３ａで分かるように、指４０がパネル１２と接触するよ
うに持ってこられて、小さい力が接触面１２ａに適用される際、指先端部の手の
ひら表面上の軟かいパルプ組織の小さい楕円形状領域４２が接触面１２ａを有す
る実際の接触において生じる。指４０によってパネル１２に印加される力が増加
するときに、接触面１２ａを有する実際の接触の指４０の楕円形状領域４４は図
３ｂに示すように増加する。その結果、接触面１２ａを有する実際の接触の指４
０の楕円形状領域のサイズは、指４０の弾性コンプライアンスの関数として、垂
直の方向の指によってパネル１２に適用される圧力の指示を提供する。接触領域
の範囲内のいかなる点でも光の強さは同じものであって、それは印加圧力に依存
していないことはいうまでもない。

【００２５】印加法線圧力に加えて、他の接触計数値は、指４０間の接触およびパネル１２
の接触面１２ａの性質から決定されることができる。たとえば、指のパルプ組織
によって、接触面１２ａに印加される剪断力は、だ円接触領域の重心に関して、
光源２０によってより明るく照らされない指外形の幾何学先端の移動を測定する
ことによって決定されることができる。

【００２６】図４ａは、接触面１２ａと接触して幾何学の先端４１を有する指４０を示す。
この例では、指４０によってパネル１２に適用される力の方向は、接触面１２ａ
の平面に垂直である。その結果、だ円接触領域４６の重心４７は、指外形４０の
幾何学の先端４１から、確定した水平および垂直線オフセットにおいて、指４０
の肉趾に心出しされる。図４ｂは、下記から見られるときに、剪断力が左の方へ
曲がった状況を図で示す指４０による接触面１２ａに印加する。この場合、だ円
接触領域４６は、摩擦のために動かない。しかし、下記から見られるときに、骨
および下にある組織は左に引かれる。その結果、指外形４０の幾何学的な先端４
１は、だ円接触領域４６の重心４７に関して、量４８によって左にシフトされる
。図４ｃは、指の幾何学の先端４１の方へ曲げられる剪断力が指４０によって接
触面１２ａに適用される状況を図で示す。その結果、下記から見られる場合、指
外形４０の幾何学の先端４１は量４９によってだ円接触領域４６の重心４７から
離れてシフトされる。

【００２７】カメラ２４は、一体化された装置として動作するように構成される光検出器の
アレーを含む。各々の光検出器は、パネル１２の領域と関連して、カメラ２４に
よって得られる各々の画像のピクセルに対応する出力を発生させる。パネル１２
に現れている明るい領域中の明るい点と関連する各々の光検出器は、各々の画像
フレームの間、あるピクセル強度値を獲得する。各々の光検出器が最大のピクセ
ル強度値を獲得するために、光検出器が画像フレームの比例してより少ない分の
ための明るい点にさらされる場合、光検出器が全体の画像フレームおよび比例し
てより小さいピクセル強度値のための明るい領域の明るい点に露出される場合、
カメラ２４のコントラストおよび感度は選ばれる。したがって、与えられた画像
フレームの終わりに起こる画像ピクセル強度値のヒストグラムは、画像フレーム
の間、パネル１２を有する接触の換算に関して、ヒストリーデータを提供する。
これらのヒストグラムの審査は、画像フレーム中の明るい領域の現在の変更につ
いて、有益な情報（直ちには得られない）を提供する。

【００２８】図５は、画像フレームの間変わらない接触領域のカメラ２４によって得られる
画像を示す。図示されるように、だ円接触領域４６と関連する画像ピクセルのピ
クセル強度値はすなわち白い最大のピクセル値を達成する。実際の接触領域４６
の近くに、指の部分と関連する画像ピクセルのピクセル強度値はすなわちかなり
より低く灰色である。その一方で、指輪郭の外でエリアと関連する画像ピクセル
のピクセル強度値は最小値（すなわち黒）である。

【００２９】図６ａおよび６ｂおよび７ａおよび７ｂは、画像フレームの結論で、画像フレ
ーム（接触面１２ａに適用される垂直力の換算の結果として）の間の明るい領域
における換算および関連する画像ピクセルの強度値の換算間の関係を図で示して
いるグラフである。図６ｃおよび７ｃは、関連するピクセル強度値のヒストグラ
ムを示す。

【００３０】図６ａで分かるように、前記グラフは、単一の画像フレームの上の発達する明
るい（増加している）領域の区域（面積）の変化を示す。すなわち、前記指４０
および前記接触面１２ａ間の前記実際の接触面積は、前記画像フレームの間、増
加する。図６ｂは、図６ａに示される前記画像フレームの終端における前記明る
い領域と関連する前記像画素のピクセル強度値のグラフである。ピクセル強度値
は、画像ピクセルに対応する接触面点における接触の持続時間に線形に関連する
。図６ｃは、３２個の箱にソートされる図６ｂのピクセル強度値のヒストグラム
である。前記箱番号が右から左に水平軸にグラフで示されると共に、前記箱の前
記計数（カウント）は垂直軸にグラフで示される。左上の箱０は、すなわち最大
のピクセル強度画像ピクセルが画像フレームの全体の継続期間の間の明るい領域
によって照らされた効果があっている画像フレームの範囲内で、画像ピクセルの
カウントを含む。全体の画像フレームの間、時間の最小の量のために明らかにさ
れた画像フレームの範囲内で、箱３１は画像ピクセルのカウントを含む。画像フ
レームの間、まったく照らされなかった画像フレームの範囲内で、箱３２は画像
ピクセルのカウントを含む。このように、したがって、箱３２のカウントは、有
効な情報を提供しない。

【００３１】図７ａは、単一の画像フレームの上の減少している明るい領域の区域の変化を
示しているグラフである。すなわち、前記指４０および前記接触面１２ａ間の前
記実際の接触面積は、前記画像フレームの間、減少する。図７ｂは、図７ａに示
される前記画像フレームの終端の前記明るい領域と関連する前記像ピクセルの前
記ピクセル強度値のグラフである。図７ｃは、箱でソートされる図７ｂの前記ピ
クセル強度値のヒストグラムである。認識されるように、図６ｃおよび７ｃに示
される前記ヒストグラムは同一である。その結果、単に前記ヒストグラムを調べ
るだけでは、発達する明るい領域と減少している明るい領域とを区別することは
可能でない。前記ヒストグラムは、しかしながら明るい領域を複数のカテゴリに
ソートすることができる他の情報を提供する。たとえば、カウントがゼロに等し
い箱０を有するヒストグラムは、前記画像フレームを開始した後に起こっている
発達する明るい領域又は画像フレームの終わりの前に終わる減少している明るい
領域のいずれかを示す。

【００３２】通常操作の間、前記光源１４および２０の前記相対的な輝度、前記カメラ・レ
ンズ（前記カメラ２４の前記露光時間）の前記Ｆストップおよび前記カメラ２４
の前記コントラストが、調整され、それにより、前記表面１２ａと接触していな
い指４０の領域と関連するカメラ・ピクセルが、約４から１２７までピクセル値
を獲得し、前記表面１２ａと接触している指４０の領域と関連するカメラ・ピク
セルが、約１２８から２５５までピクセル値を獲得し、指４０の領域と関連しな
いカメラ・ピクセルは、約０から３までピクセル値を獲得する。一旦パネル１２
の画像がカメラ２４によって得られると、画像を形づくる光検出器によって達成
されるピクセル強度値はフレーム・グラバー２８によって捕らえられて、そのデ
ジタル方式のメモリにロードされる。ピクセル強度値は、それによりパソコンに
よって実行される画像解析ソフトウェア３０によって、分析のためのパソコン２
６からアクセス可能である。図８は、画像解析ソフトウェア３０の前記ロジック
を図解しているフローチャートである。

【００３３】まず最初に、前記画像解析ソフトウェア３０は、像ピクセルと予め設定された
ピクセル値閾値１２７と間の比較演算を実行することにより、１２７を超えるピ
クセル強度値を有する像ピクセルの位置を決めるためにラフ走査ソフトウェア・
サブルーチン１００を起動する。前記ラフな走査サブルーチン１００は、速い動
作のために設計されて、前記パネル像をスキャンするために自己修正コードを使
用する。更に速度を改良するためにまばらに配置されたグリッド上のパネル像ピ
クセルのサブセットだけがこのルーチンの間、調べられる。域値より上の画像ピ
クセルが検出されるとすぐに、ラフな走査ソフトウェア・サブルーチン１００は
サブルーチン１０２に分岐する。

【００３４】実行の間、前記明るい領域のエッジが検出されるまで、サブルーチン１０２は
前記明るいピクセルを囲んでいる前記近隣の像ピクセルを調べることによって前
記明るい領域を囲んでいる前記最も小さい直交座標表示領域の水平及び垂直境界
を決定する。記述されているように、サブルーチン１０２は、それからこの境界
データをデータベースに書き込む。コントロールはそれからソフトウェア・サブ
ルーチン１０４に移る。そして、それは前記楕円明るい領域の前記像ピクセルを
調べて、前記明るい領域の面積、その重心、その長軸、およびそのピクセル強度
値の前記ヒストグラムを計算する。サブルーチン１０４はまた、より明るく照ら
されなかった指輪郭の長軸、前記指輪郭の幾何学的図形の先端および前記指輪郭
の幅を計算する。これらの計算された値は、パソコン２６のメモリの範囲内で、
接触（「ＲＣ」）データベース１０８の領域において記録される。図９は、画像
フレームの各々の明るい領域のための前記データベース１０８において記録され
る前記データのための前記記録フィールド形式を示す。各々の明るい領域につい
て、前記データベース１０８は、前記明るい領域が発生した前の各フレームの記
録を維持する。前記データベース１０８は、環状であってもよい。すなわち、前
記データベースに割り当てられる前記最後の空きメモリ場所が使われるときに、
前記ソフトウェア３０は自動的に前記割り当てられたメモリーの初めに古いデー
タに上書きし始める。この場合、前記環状のデータベース１０８に割り当てられ
る前記メモリーは、上書きされたデータがもはや役立たないことを確実にするた
めに十分に大きい。前記メモリーは、代わりに記録の適当なサブセットを記憶す
るだけでも良い。これは、動作を遅くするけれども必要メモリーの量はかなり減
少する。

【００３５】一旦データがサブルーチン１０４によってデータベース１０８に格納されると
、それが割り込まれた点で、ラフな走査サブルーチン１００は再開され、パネル
像の次の明るい領域が検出されることができる。パネル像の次の明るい領域が検
出されるときに、サブルーチン１０２および１０４は実行される、そして、上記
した同じ手順が再実行される。上記のプロセスは、パネル像に検出される各明る
い領域のために実行される。

【００３６】パネル像の更なる明るい領域が検出されないと、コントロールはサブルーチン
１１０に移る。実行の間、サブルーチン１１０は、電流画像フレームの各明るい
領域のためのデータベース１０８において記録されるデータを前の画像フレーム
に認められる明るい領域の全てのために記録されるデータと比較し、各現在の明
るい領域が前の画像フレームの明るい領域のうちの１つと実質的に同じ場所にあ
るかどうかを決定する。もしそうならば、サブルーチン１１０は現在の明るい領
域が前の画像フレームに存在する明るい領域と時間的に継続すると推定し、デー
タベース１０８のその明るい領域の記録の中のバイト０−３に前記明るい領域の
先例のレコード番号を記憶する。現在の明るい領域が前の画像フレームの明るい
領域の一つと実質的に同じ場所に現れない場合には、サブルーチン１１０は、明
るい領域が新規であると推定し、そして、データベース１０８の明るい領域の記
録のステータスバイト８にビット７をセットする。前記サブルーチン１１０は、
現在の画像フレームに現れていない、以前の画像フレームの全ての明るい領域の
ステータスバイト９（「トラッキング高さ」）のビット４のステータスを調べる
。このビットがセットされたなら、サブルーチン１１０はそれから後述するよう
に指高さ属性の計算ために、現在の画像フレーム内のその領域の指の輪郭の幅を
決定する。

【００３７】前記サブルーチン１１０は、それから１４の可能なケースのうちの１に現在の
画像フレームの各明るい領域を分類する。前記１４の可能なケースは、図１０ａ
〜１２ｃに関して後述する。

【００３８】図１０ａ〜１０ｅは、それらに関連するピクセル強度値のヒストグラムと共に
、画像フレーム中の明るい領域の５つの発達又は減少するケースを示したもので
ある。これらのケースそれぞれにおいて、全体画像フレームにこれらの領域の点
が存在しないため、各ヒストグラムの箱０のカウントはゼロに等しい。これらの
ケースは、ＲＣ＿ＯＮ、ＦＡＳＴ＿ＲＣ＿ＯＮ、ＤＥＡＤ＿ＲＣ、ＦＡＳＴ＿Ｒ
Ｃ＿ＯＦＦおよびＲＣ＿ＦＡＳＴ＿ＴＡＰと称する。前記ＲＣ＿ＯＮケースは新
規な明るい領域が現在の画像フレームにおいて発生して、すなわち現在の画像フ
レームの終りでまだストライク状態であるような条件を表現する。すなわち、ヒ
ストグラムの特性によって示されるように、明るい領域のエリアが現在の画像フ
レームの終わりにおいてもまだ増加しているような場合である。前記ＦＡＳＴ＿
ＲＣ＿ＯＮケースは、ヒストグラムの特性によって示されるように、新規な明る
い領域が現在の画像フレームで起こって、現在の画像フレームの終りで安定し最
大面積を獲得するような条件を表現する。前記ＤＥＡＤ＿ＲＣケースは、ヒスト
グラムの特性によって示されるように、明るい領域（それは前の画像フレームが
ＲＣ＿ＯＦＦケース（下記参照）又はＲＣ＿ＤＥＣＬＩＮＩＮＧケース（下記参
照）であった）が現在の画像フレームで終わったような条件を表現する。前記Ｆ
ＡＳＴ＿ＲＣ＿ＯＦＦケースは、ヒストグラムの特性によって示されるように、
明るい領域（それは前の画像フレームがＥＮＤ＿ＲＣ＿ＯＮケース（下記参照）
（ＦＡＳＴ＿ＲＣ＿ＯＮケース）又はＲＣ＿ＯＳＣＩＬＬＡＴＩＮＧケース（下
記参照）であった）のエリアが現在の画像フレーム中に安定値からゼロまで減少
した条件を表現する。前記ＲＣ＿ＦＡＳＴ＿ＴＡＰケースは、ヒストグラムの特
性によって示されるように、新規な明るい領域が現在の画像フレームで起こるが
、画像フレームの終りまでにゼロに減少する条件を表現する。理解されるように
、各々の上記の５のケースにおいて、発達する又は減少している明るい領域すべ
てのものは現在の画像フレームに、始点若しくは終端として接続される。

【００３９】図１１ａ〜１１ｆは、それらに関連するピクセル強度値のヒストグラムと共に
、画像フレーム中の明るい領域の６つの発達又は減少するケースを示したもので
ある。これらの各ケースにおいて、各ヒストグラムの箱０のカウントは、ゼロよ
り大きい。これらのケースは、ＧＲＯＷＩＮＧ＿ＲＣ、ＥＮＤ＿ＲＣ＿ＯＮ、Ｒ
Ｃ＿ＯＦＦ、ＲＣ＿ＤＥＣＬＩＮＩＮＧ、ＲＣ＿ＯＳＣＩＬＬＡＴＩＮＧ（上方
）およびＲＣ＿ＯＳＣＩＬＬＡＴＩＮＧ（下方）と称する。前記ＧＲＯＷＩＮＧ
＿ＲＣケースは、ヒストグラムの特性によって示されるように、明るい領域（そ
れは以前の画像フレームのＲＣ＿ＯＮケース又はＧＲＯＷＩＮＧ＿ＲＣケースで
あった）のエリアが現在の画像フレームにおいて成長し続けるような条件を表現
する。前記ＥＮＤ＿ＲＣ＿ＯＮケースは、ヒストグラムの特性によって示される
ように、明るい領域（それは以前の画像フレームのＲＣ＿ＯＮケース又はＧＲＯ
ＷＩＮＧ＿ＲＣケースであった）のエリアが現在の画像フレームにおいて成長す
るのをやめるような条件を表現する。前記ＲＣ＿ＯＦＦケースは、ヒストグラム
の特性によって示されるように、明るい領域（それは以前の画像フレームのＥＮ
Ｄ＿ＲＣ＿ＯＮケース（ＦＡＳＴ＿ＲＣ＿ＯＮケース）又はＲＣ＿ＯＳＣＩＬＬ
ＡＴＩＮＧケースであった）のエリアが画像解析ソフトウェア３０にプログラム
される最小閾値より大きい一定量によって減少する条件を表現する。明るい領域
の範囲の減少がこの最小閾値より小さい場合、サブルーチン１１０は接触面１２
ａに適用された通常の力の発振が、意図的な圧力制御ユーザー入力を表現する明
るい領域範囲の変化を表現したと推定し、指を離すことを始めたと推定しない。
前記ＲＣ＿ＤＥＣＬＩＮＩＮＧケースは、ヒストグラムの特性によって示される
ように、明るい領域（それは以前の画像フレームのＲＣ＿ＯＦＦケース又はＲＣ
＿ＤＥＣＬＩＮＩＮＧケースであった）が画像フレームの範囲内で完全に消える
ことのない範囲において減少し続けるような条件を表現する。前記ＲＣ＿ＯＳＣ
ＩＬＬＡＴＩＮＧケースは、ヒストグラムの特性によって示されるように、明る
い領域（それは以前の画像フレームのＥＮＤ＿ＲＣ＿ＯＮケース（ＦＡＳＴ＿Ｒ
Ｃ＿ＯＮケース）又はＲＣ＿ＯＳＣＩＬＬＡＴＩＮＧケースであった）の範囲が
上記で参照した最小閾値より小さい一定量だけ増加若しくは減少した条件を表現
する。明るい領域の範囲が減少する場合には、ＲＣ＿ＯＳＣＩＬＬＡＴＩＮＧケ
ースとしての資格を得るために、明るい領域が減少させる量はＲＣ＿ＯＦＦケー
スとしての資格を得ることを必要とする量未満でなければならない。理解される
ように、各々の上記のケースにおいて、明るい領域は以前の画像フレームから生
じた明るい領域の全ての継続である。

【００４０】図１２a〜１２ｃは、それらに関連するピクセル強度値のヒストグラムと共に
、画像フレーム中の明るい領域の３つの発達又は減少する特別なケースを示した
ものである。これらの各ケースにおいて、各ヒストグラムの箱０のカウントは、
また、ゼロより大きい。これらのケースは、ＳＷＩＴＣＨ＿ＲＣ、ＳＷＩＴＣＨ
２＿ＲＣおよびＳＷＩＴＣＨ３＿ＲＣと称する。前記ＳＷＩＴＣＨ＿ＲＣケース
は、以前の画像フレームがＥＮＤ＿ＲＣ＿ＯＮケース、ＲＣ＿ＯＦＦケース、Ｒ
Ｃ＿ＤＥＣＬＩＮＩＮＧケース又はＲＣ＿ＯＳＣＩＬＬＡＴＩＮＧケースのいず
れかである明るい領域が、ヒストグラムに示されるように、現在の画像フレーム
中で突然の過渡増加を減る場合を表現する。前記上記の３のスペシャル・ケース
は、各ケースのための範囲増加の異なっている動きを原因として生じるので、僅
かに異なるヒストグラムとなる。しかしながら、全ての３のケースのためのヒス
トグラムは、箱０で右方でちょうど著しい凹面を示す。前記サブルーチン１１０
は、これらの発達する又は落ちている明るい領域を、マウス又はトラック・パッ
ド上の押しボタンの押下に対する類似する、スイッチの押下動作と解釈する。理
解されるように、各々の上記の３のスペシャル・ケースにおいて、明るい領域は
全て以前の画像フレームから生じた明るい領域の継続である。

【００４１】明らかであるように、通常操作の間、新規な明るい領域は一定のシーケンスで
展開する。具体的には、明るい領域は、成長し、場合によっては振動し、衰退し
、そして消える。サブルーチン１１０は、各明るい範囲の展開の進展の現在の状
態を決定する。これは、データベース１０８の記憶データである以前の画像フレ
ームの同じ明るい領域と関連するステータスバイト８および９のデータに関して
、現在の画像フレームの明るい領域と関連するヒストグラムを分析することによ
って完了する。明るい領域の進化のステータスの変化により、サブルーチン１１
０は明るい領域のためのデータベースレコードのステータスバイト８および９を
修正する。どの時点においても、特定の新しい展開の状態のみが可能である。予
想されるように、進展のシーケンスが発生しない場合、サブルーチン１１０はし
たがって、エラー条件を生成する。

【００４２】明るい領域と関連するヒストグラムおよびデータベース１０８の以前の関連エ
ントリを調べることによって上記の１４のケースのうちの１つに明るい領域を分
類した後に、それが存在する場合、明るい領域が新規な場合にはサブルーチン１
１０はデータベース１０８に「ルート」エントリをつくり、明るい領域が実質的
に以前の画像フレームの同じ場所に存在する場合にはデータベース１０８に新規
な「子」エントリをつくる。

【００４３】画像フレームの明るい領域の全てが検出され分類されたとき、画像解析ソフト
ウェア３０はサブルーチン１１２を起動する。そして、分類された明るい領域の
全てをもしあればそれらの先例と比較する。さらに新規な明るい領域のために、
サブルーチン１１２は接点属性を計算する。そして、それは後で説明するように
対応する出力コードを生成するために使用される。以前の画像フレームの中に存
在した明るい領域のために、その明るい領域と関連する接点属性の変化が計算さ
れて、対応する出力コードを生成されるために使用される。具体的には、明るい
領域の展開の状態およびユーザーの必要条件に適当であるように、画像フレーム
の各明るい領域のために、サブルーチン１１２は以下の接点属性のうちの１以上
を決定する：各楕円状の明るい領域の重心の絶対ＸＹ座標；基準ピッチ線と指輪郭の長軸とを比較することによる指の回転；指皮膚組織の弾性コンプライアンス関連性を考慮に入れて楕円状の明るい領域
の範囲を調べることによる指によってパネル１２に適用された通常の力；明るい領域の重心に関する指先端のＸおよびＹ変位を計算し、その変位をデー
タベース１０８のルート・エントリと比較し、弾性コンプライアンス関連性を考
慮に入れることによる、Ｘ及びＹせん断力；楕円状の明るい領域の長軸および指輪郭の長軸の間で弧に対される角度を決定
することによる、パネル１２に適用された各回転力；指がパネル１２に最初に接触したときの指輪郭の幅とその指輪郭の現在の幅と
を比較することによる、もはや接触面１２ａと接触しない手の指が位置する接触
面１２ａからの高さ；最初の接点の明るい領域が現れて、それから消える画像フレームを決定するこ
とによって、そして、より大きい正確さで明るい領域の最初及び最後のフレーム
のヒストグラムを調べることにより、最も古いピクセルが現れ最後のピクセルが
消える箱番号を決定することによる、パネル１２に対する指の接触とリリースの
瞬間；開始およびリリースインターバルの間、明るい領域の範囲の変化率と比例して
いるヒストグラム・プロファイルの傾きを計算することによるパネル１２から接
触し離れる指の開始速度およびリリース速度；上記で決定されたリリース瞬間を接点瞬間から減ずることによる指およびパネ
ル１２間の接点の持続時間；そして、先に述べた通りに、現在の明るい領域のヒストグラムの輪郭を調べる
ことによるあらゆるスイッチ領域の存在。

【００４４】接触およびリリース瞬間の決定に関して、解像度は画像フレーム時間の１／Ｍ
である（Ｍはヒストグラムの箱の番号である）。この解像度は、カメラ２４の強
度解像度の精度によって制限される。

【００４５】一旦さまざまな接触属性がパネル像の各明るい領域のために算出されると、サ
ブルーチン１１２は重要な接触属性に対応する制御コード又は重要な接触属性の
変化を計算する。前記制御コードは、それから出力のために待ち行列であるデー
タ・テーブル１１４に挿入される。データ・テーブル１１４の各制御コード・エ
ントリは、属性コード値ペアという形をとる。データ・テーブル１１４の前記デ
ータは、それですばやくユーザーがそれとともに相互に作用することができるよ
うにするためにパーソナルコンピュータ２６又は他マシン又はプロセシング装置
によって実行される他のソフトウェアへ運ばれることができる。

【００４６】リアルタイムクロック１１８に応答するクロック割込みルーチン１１６によっ
て、データ・テーブル１１４の前記出力は、制御される。ヒューマンマシンイン
ターフェース１０が動作を開始したあと、クロック割込みルーチン１１６はＴｆ
ｒ＋Ｔｍｐｒ秒だけ実行し始める。ここで、Ｔｆｒはカメラ２４のために画像フ
レームを得ることを必要とする時間である、そして、Ｔｍｐｒは画像解析ソフト
ウェア３０が最大許容数の明るい領域を含んでいる画像フレームを処理するため
に必要とされる時間である。前記クロック割込みルーチン１１６は、各画像フレ
ーム中でＮ回発生するようにプログラムされている（Ｎは、１から、パーソナル
コンピュータ２６の処理容量をオーバーロードさせない範囲で最大数を取る）。

【００４７】クロック割込みルーチン１１６が画像フレームにつき二回以上発生する場合（
すなわちＮ>１）、データ・テーブル１１４はＮページにセグメント化される。
この場合、サブルーチン１１２はデータ・テーブル１１４の適当なページに一連
の内挿された制御コード・エントリを挿入する。いくつかの接触属性のために、
サブルーチン１１２は補間から得られるそれらより正確な現在の変化を計算する
ためにサブルーチン１０４によって計算される現在の又は以前の画像フレームと
関連するヒストグラム・データを分析してもよい。

【００４８】機械制御アプリケーションの１の実施例において、ヒューマンマシンインター
フェース１０は、パーソナルコンピュータ２６内部の又は別の外部のシャシーの
どちらかにハードウェアが設けられている電子音楽シンセサイザを制御するため
に用いられる。この種のシンセサイザは、１６又はそれ以上の同時オーディオ出
力チャンネル上で楽音を生成する能力がある。前記ユーザーは「パッチ・プログ
ラム」をつくって、ロードすることによって各異なる音声の多くの属性を特定し
てもよい。そして、それは各チャンネルによって概して異なる。前記パッチ・プ
ログラムは、一定の値に対する音声のいくつかの属性をセットするが、リアル・
タイムでの外部制御シグナルにより多数の他の属性を制御することを許可する。

【００４９】従来技術のシステムにおいて、制御信号は「ＭＩＤＩコントローラ」と呼ばれ
る独立したピアノ型のキーボード装置によって、典型的に生成される。前記制御
信号は、シンセサイザ内でチャンネルを特定している直列デジタルデータ、制御
される特定の属性、そして、コントロール値である。たとえば、音符の周波数は
シンセサイザに「音符オン」のシグナルを送ることによって通常制御される。そ
して、それはシンセサイザ・チャンネルおよび周波数を特定する。前記ユーザー
は、特定の白い又は黒い鍵を押し下げることによって音符のチャンネルおよび周
波数を特定する。前記ＭＩＤＩコントローラは、鍵押下のストローク速度を測定
してもよくて、周波数情報とともにそれを伝送してもよい。前記ユーザーは、電
位差計ノブ、車輪又はＭＩＤＩコントローラの前面パネルの上に位置するスライ
ダの設定を処理することにより、音（例えば容量およびビブラート等）の他の属
性を制御する。前記最も高度なＭＩＤＩコントローラはまた、押し下げられた鍵
に印加される通常の力を表現している制御信号を生成する。

【００５０】残念なことに、ＭＩＤＩコントローラは、一度に２、３の制御信号を生成する
ことが可能なだけであり、それは、第１に、それが限られた数の電位差計を含み
、第２に、鍵および電位差計がユーザーの手による最適で、高速で、機敏なイン
タラクションを許可しないからである。対照的に、シンセサイザは各チャンネル
の音声の動的に多くのより多くの属性を制御することが可能である。さらに、シ
ンセサイザが現実的な音声を作るためには、ＭＩＤＩコントローラで許容されて
いるよりも多くの属性が制御される必要がある。その結果、電子音楽は現実の機
器を演奏している音楽家によってなされる音楽と比較して「フラット」で生命が
ないように聞こえる。たとえば、バイオリン・シンセサイザ・プログラムは非常
に生きているようなバイオリン音声を生産することで能力がある、しかし、ＭＩ
ＤＩコントローラは良いバイオリン奏者が制御することができる優雅の程度の近
くでどこにも彼のバイオリンを有するプログラムを制御することができない。リ
スナーにそれらが合成であると実現するために時間がないために、ＭＩＤＩコン
トローラを使用している現実的なアコースティックオーケストラの音楽を生産す
ることを望んでいる音楽家は概して比較的短い音符を使用する。

【００５１】このヒューマンマシンインターフェース１０が人間の手の印象的な器用さを利
用するという理由から、現在のヒューマンマシンインターフェース１０がＭＩＤ
Ｉコントローラを作ることができて、適切にシンセサイザ・プログラムの多くの
制御可能な属性を制御することができる。さらに、パネル１２の表面１２ａ上の
接触および生成される対応する出力制御コードの領域間の関係は、あらゆる所望
のやり方でプログラムされることができて、仮想的に即座に変更されることがで
きる。それで、たとえば、バイオリン・シンセサイザ・プログラムのために、接
触面１２ａは現実のバイオリン又は他のいかなる望ましい形態もと同じ形態を仮
定するようにプログラムされることができる。

【００５２】この特定のアプリケーションにおいて、前記ＭＩＤＩ直列コントロールデータ
・プロトコルは、実行される。前記ユーザーは、画像解析ソフトウェア３０によ
って指属性およびＭＩＤＩ制御コード出力間の対応付けを特定することができる
。この場合、画像解析ソフトウェア３０は、それらの属性に対応するＭＩＤＩ制
御コードを生成して、出力データ・テーブル１１４の制御コードを挿入する。前
記ユーザーは、また、画像解析ソフトウェア３０が制御コードの完全なシーケン
スを出力する１画像フレームについての回数を制御することができる。

【００５３】上記の実施例において、本発明は専門の機器（すなわちマシン）を制御するた
めに用いる。しかしながら、また、このヒューマンマシンインターフェース１０
は、一般的なタイプの装置を制御することに用いることが可能である。たとえば
、ヒューマンマシンインターフェースがコンピュータＣＲＴ（ＣＲＴ）ディスプ
レイ場合、仮想対象物、例えばメニューおよびアイコン、又はグラフィック表示
は、それらがワークトップ上の小さい現実の対象物である場合と同じ便利さで、
制御することが可能であろう。人体にかなり適している方法でこれを実行するた
め、小さい現実の対象物を処理するときに、画像解析ソフトウェア３０は通常使
用する人間のジェスチャを認識するための付加ソフトウェア・サブルーチンを含
む。加えて、前記画像解析ソフトウェア３０は、他特定のジェスチャを認識する
ようにプログラムされるかもしれなくて、制御コードをそれらに割り当てるかも
しれない。

【００５４】マシンを制御するために使用される場合、本発明は他の効果がある。「キース
トローク」を動かすことを必要とする前記力は非常に小さい。そして、それによ
ってマニュアル・インタラクションの速度を増やすと共に、反復的な過労怪我（
産業の重大な健康体問題）の発生率を減らす。加えて、ユーザーの視野において
直接マニュアル・インタラクションのための標的およびユーザーの手を配置する
ことによって、本発明は人間の手-目調整脳機構の完全な使用をなされる。これ
らの高度な仕組みは、何百万年以上もかけて進歩してきたもので、それによって
人間の手は現実の小さい対象物に対して迅速かつ機敏に動くことができる。加え
て、本発明は指先端の手のひら表面上の柔らかいパルプ組織を利用することによ
って肉塊から脳まで触覚フィードバックを最大にする、その組織は人体の触覚受
容体の最も高い密度を含む。

【００５５】図１３ａおよび１３ｂに戻って、マンマシンインタフェースの他の実施例は、
本発明によれば示されて、参照番号１１０’によって一般に指示される。図示さ
れるように、ヒューマンマシンインターフェース１１０’は光源１１４’から光
を受け入れている接触検出パネル１１２’を含む。点光源１２０’およびカメラ
１２４’は、パネル１１２’の下に配置される。

【００５６】プロセシング・サーキットリ１３１’は、前記カメラ１２４’およびフレーム
グラバ１２８’の間で作用する。画像解析ソフトウェア１３０’を実行している
パーソナルコンピュータ１２６’は、フレームグラバ１２８’に連結する。前記
処理サーキットリ１３１’は、一定のＩＣＭＩＭ１５３’と同様にカメラ１２
４’の出力を受け入れているコンパレータ１５１’を含む。コンパレータ１５１
’の前記出力は、マルチプレクサ１５５’に適用される。パーソナルコンピュー
タ１２６’によって計算される値をロードされる４つのルックアップ・テーブル
（ＬＵＴｓ）１５７’〜１６３’は、カメラ１２４’のビデオおよびクロック出
力によってアドレス指定を行われる。ＬＵＴｓの前記出力は１６９’に乗算器１
６５’に適用される。そして、それはマルチプレクサ１５５’に順番に出力を提
供する。

【００５７】前記ヒューマンマシンインターフェース１１０’は、この場合それを除いて以
前の実施例のそれに類似した方法で動き、パネル１１２’の接触面１１２ａ’よ
り上に間隔を介して位置する指の点における高さを算出することができる。この
計算は、点光源からの距離と照度（照明の強さ）間の逆二乗関係を使用すること
によってなされる。パネル１１２’と接触しない手上の点と関連する像ピクセル
のピクセル値強度は、光源１２０’からの距離の逆二乗によって変化する。

【００５８】指上の点が接触面１１２ａから間隔を置いて配置される距離を算出するために
、手の一般的な形状を算出するのと同様に、デカルト座標系の使用が都合が良い
。図１３ｂは、パネル１１２’の接触面１１２ａ’から間隔を置いて配置される
平面１３５’上の点１３３’を示す。前記光源１２０’は、また、距離Ｌによっ
てパネル１１２’の中心１３７’の下で配置されて示される。光源１２０’およ
び点１３３’間の前記距離は、ラインＬＬによって示される。接触面１１２ａ’
の中心１３７’での輝度がＩｏである場合、逆二乗則は以下の式をもたらすため
に適用することができる：

【数１】

【００５９】Ｉｎは、接触面１１２ａ’上若しくは上方のあらゆる点の強度である。前記ライ
ンＬＬは、それから以下の式で表されることができる：

【数２】

【００６０】前記デカルトの座標系の前記中心として、前記点光源１２０’を使用して、座標
は次のように表されることができる：

【数３】

【００６１】

【数４】

【００６２】

【数５】

【００６３】理解されるように、これらの同格の式がビデオレートで計算される場合、接触面
１１２ａ’より上の手の完全な三次元表示を計算することが可能である。

【００６４】ヒューマンマシンインターフェース１１０の動作の間、カメラ１２４’からの
ビデオ信号は定数ＩＣＭＩＮにデジタル型比較器１５１’によって比較される。
そして、それは明るい領域のための最小ピクセル強度を表現する。ビデオ信号が
上記のＩＣＭＩＮであるときに、コンパレータ１５１’はマルチプレクサ１５５
’を送る。これに応じて、像が以前に記述されている方法の画像解析ソフトウェ
ア１３０’によって処理される像の明るい領域として得られるように、マルチプ
レクサ１５５’はフレームグラバ１２８’にカメラ１２４’の生のディジタルビ
デオ信号出力を運ぶ。

【００６５】カメラ１２４’の前記生のディジタルビデオ信号出力もＬＵＴ１５７’のアド
レス線を制御する。そして、それは上式（２）を使用して、Ｉｎから計算される
ＬＬの為の値を保つ。カメラ１２４’からの前記ｘおよびｙピクセル・クロック
信号はＬＵＴｓ１５９’、１６１’および１６３’のアドレス線を制御する。そ
して、それはそれぞれ式（３）、（４）および（５）の第２の項のための値を保
つ。乗算器１６５’、１６７’および１６９’はそれぞれ式（３）、（４）およ
び（５）に対する解を発生する。それはそれぞれＬＵＴｓ１５９’、１６１’お
よび１６３’の出力にＬＵＴ１５７’の出力に掛けることによるＺ、ＸおよびＹ
座標である。

【００６６】上記ピクセル値がＩＣＭＩＮよりも下であるときに、マルチプレクサ１５５’
は乗算器出力をパーソナルコンピュータ１２６’へ運び、これによりフレームグ
ラバ１２８’が計算されたデカルトの座標データを解析のための画像解析ソフト
ウェア１３０’へ運ぶことができる。

【００６７】この場合、ソフトウェア・サブルーチン１０４は、それが異なるデータを処理
することができるために修正される。前記サブルーチン１０４は、デカルトの座
標データを使用し、指輪郭の長軸および幾何学的図形の先端を検出する。前記画
像解析ソフトウェア１３０’は、選択的により高いレベルのサブルーチンを含ん
でもよく、それにより点光源１２０’に関し接触面１１２ａ’と接触しない手の
一部の形状および位置を識別し、そして、そこから制御信号を引き出す。前記画
像解析ソフトウェア１３０’は、また、手動のしぐさを識別するためのパターン
認識サブルーチンを含んでもよい。手の形状および位置を決定するためのしぐさ
認識および関連したアルゴリズムは、当業者にとって周知である。

【００６８】光源１２０’の代わりに点光源の配列のような、より合成の光源が使われる場
合、接触面１１２ａ’上のあらゆるピクセル（ｘ，ｙ）のための検出強度Ｉｎの
訂正は必要である。これは、検出強度Ｉｎに複素数光源のジオメトリの機能であ
る補正率ｋ（ｘ，ｙ）を掛けることによって完了している。ビデオレートにて訂
正を達成するために、補正率ｋ（ｘ，ｙ）もＬＵＴｓに格納されることは、好ま
しい。

【００６９】図１４に、ここで戻って、ヒューマンマシンインターフェースのための接触感
知パネルの本発明による他の実施例が示される。この実施例においては、二次光
源２０は、パネル２１２の接触面２１２ａより上に配置される二次光源２２０と
取り替えられる。前記光源２２０は、線状の白熱電球２２５および円柱レンズ２
２７を含んで、ほぼ０．２５インチだけ接触面２１２ａより上に間隔を置かれる
光２２９のシートを放射する。前記光源２２０によって放射される光２２９の前
記シートは、厚さほぼ０．２５インチであって、前記接触面２１２ａに対して平
行である。

【００７０】指が接触面２１２ａと接触して持ってこられるときに、月形のハイライト２２
８は光２２９のシートによって指先端に発生される。前記月形のハイライトは、
カメラ（図示せず）によって得られるパネル像において捕らえられる。画像フレ
ームのプロセシングの間、接触属性（本実施例におけ画像解析ソフトウェア）を
算出することは、指輪郭の幾何学的図形の先端よりむしろ月形のハイライトの先
端を検出する。

【００７１】パネル像の明るい領域の場所及び各接触領域でパネル１２に印加される通常の
力を決定することのみが臨まれる場合、二次光源は省略されることができる。

【００７２】図１５に、ここで戻って、また、ヒューマンマシンインターフェースの他の実
施例が示され、これは参照番号３１０によって一般に識別される。本実施例にお
いて、パネルが内面反射導波管として作用するために、接触面３１２ａおよびパ
ネル３１２の底面３１２ｂは平行である。カメラ３２４は、パネル３１２の一方
に配置されて、表面３１２ａおよび３１２ｂから内部で反映されるレジスタ像を
、カメラで撮像するために結合プリズム３２１が配置される。光源（図示せず）
からの指向的な照射３１４は、カメラ３２４と同じ方向に向けられていて、鋭角
でパネル３１２の底面３１２ｂに衝突し、そして、パネルの接触面３１２ａに対
して鋭角でパネル３１２に入射する。カメラ３２４の対向する、接触面３１２ａ
上のａｒｔｉｆａｃｔｕａｌなグリーススポットによる光３１４の反射は、この
カメラおよび光源配置の結果、減少する。加えて、内面反射の規則によれば、接
触面３１２ａによる導波管３１２に入っている全ての外来の環境の光は、底面３
１２ｂを通過する。このように、外来の環境の光は、環境の光源に反応しない前
記マンマシンインタフェース３１０をなされている前記カメラ３２４の方へ、内
部で反映されない。二次元のマトリックス・シャッタ３２３は、導波管３１２に
異なる画角の選択を許容するためにプリズム３２１の露出した表面に配置される
。

【００７３】動作中に、方向付けられた光３１４は、導波管３１２の方へ光源によって発さ
れる。一般的に、前記光３１４は、導波管３１２を通過する。しかしながら、指
３４０のような対象物が前記接触面３１２ａと接触して持ってこられるときに、
前記光源によって放射される光は前記指によって反射され全ての角度で前記導波
管の中へと戻る。角度が内面反射の臨界角より大きい反射は、プリズム３２１に
複数の内面反射を経て導波管３１２で伝播される。前記マトリックス・シャッタ
３２３は、前記カメラ３２４のための異なる画角を選ぶ。その結果、米国特許第
５，８１２，１８６号に記載されているように、前記カメラは、前記導波管３１
２の異なる伝搬モードの画像フレームを得る。デジタル論理回路３２５は、マト
リックス・シャッタ３２３のビュー角度を高速で順番付けるためにパーソナルコ
ンピュータ３２６によってプログラムされ、それによって全ての接触面３１２ａ
のコヒ―レント走査を発生する。

【００７４】前記カメラ３２４によって得られる前記像は、前記フレームグラバ３２８によ
って捕らえられて、以前に記述されているそれと同様の方法の前記パーソナルコ
ンピュータによって実行される画像解析ソフトウェア３３０によって分析される
。本実施例において、画像解析ソフトウェアは、しかしながらモデルキャプチャ
方法論によって導入されるモデルアーチファクトを除去するための付加サブルー
チン（図示せず）を含む。

【００７５】それが導波管３１２と接触しない手の領域から反射される像光に所望の場合、
第２のカメラ３５０は図示するようにパネル３１２の下に配置されてもよい。あ
るいは、ミラー-シャッタ・システム（図示せず）を、カメラ３２４に下からパ
ネル３１２の像を捕らえるのを可能にするために用いてもよい。

【００７６】前記パネル３１２の前記表面３１２ａおよび３１２ｂが並列であると共に近接
している場合、前記パネルは自己結像導波管として作用する。Shono and Inuzuk
a ("Modally Allotted Transmission of Optical Images through Homogeneous
Planar Waveguides", Japanese Journal of Applied Physics, 21, L135; 1982)
は、自己結像現象を通して、導波管に対するオブジェクトおよび入力プリズムの
間で配置されているレンズなしでさえ、この種の導波管が標準のカメラ・レンズ
を使用しているカメラ３２４に撮像されることができる結合プリズム３２１によ
る導波管の出力で、イメージを生産するためにコヒーレントでなく反射されたモ
ノクロもしくはカラー波頭を映するだろうことを示す。接触面３１２ａと接触す
る対象物（例えば指）の反射によって導波管に導入される像は、同じメカニズム
によって撮像される。必要に応じて、ＳｈｏｎｏおよびＩｎｕｚｕｋａによって
教示されるように、マトリックス・シャッタ３２３のためのニーズは非常に薄い
パネル３１２および適当な結像系を使用することによって取り除かれることがで
きる。

【００７７】図１６に、ここで戻って、ヒューマンマシンインターフェースの更なる他の実
施例は、参照番号５１０によって一般に指示される。本実施例においては、蛍光
体が非常に速く衰えるＣＲＴ（ＣＲＴ）５１４が、パネル５１２の下に配置され
る。前記ＣＲＴ５１４は、赤青緑（ＲＢＧ）強度シグナルおよび像生成ロジック
５３５により出力されたＸおよびＹ走査信号出力に応答して像を表示する。前記
像は、無視してよい減衰列を有する浮動ＣＲＴスポット５１１によって記述され
る。小さいポジティブな強度オフセットがＲＢＧ強度シグナルに加えられるため
、ＣＲＴスポット５１１は決して黒くならない。前記ＣＲＴ５１４によって表示
される像は、レンズ５３３を経て前記パネル５１２に投影される。接触面５１２
ａを見ると、パネル５１２に投影された像が見える。

【００７８】本実施例において、接触がパネル表面５１２ａになされる領域で、パネル５１
２に映される像を記述している浮動ＣＲＴスポット５１１は反射される。内面反
射の臨界角未満の入射角を有する反射光線は、パネル５１２の底面を通過して、
レンズ５３７によって集められる。内面反射の臨界角より大きい入射角を有する
反射光線は、パネルの軽微なエッジに、内面反射を通って伝播する。レンズ５３
７によって集められる前記光は、３のフォトダイオード５２４上へ、赤緑青フィ
ルタ（図示せず）を通って集光される。ＲＧＢチャンネルの反射率（すなわち入
射光に対する反射光の比率）は像生成ロジック５３５から受け取れるＲＧＢ強度
シグナルによってＲＧＢフォトダイオード出力信号を分割するシグナル分割器５
３９によってリアルタイムにおいて算出される。パネル５１２の後ろのエリアが
遠くて一般に非反射性であるので、ユーザーの指が接触面５１２ａに接触してい
るか又は僅かに上にある場合を除き、シグナル分割器５３９により出力されたＲ
ＧＢ反射は０（黒い）である。

【００７９】示されているように、シグナル分割器５３９によって出力されるＲＧＢシグナ
ルは回路５５０に通過し、この回路は、グレースケールイメージを発生するため
に正しい比例においてＲＧＢ像を一つに結合する。前記グレースケールイメージ
は、それから画像解析ソフトウェア５３０によって処理される前にフレームグラ
バ５２８へ運ばれる。接触領域に対応する前記グレースケール反射は、以前の実
施例で記述されているピクセル値強度と同じである、そして、したがって、画像
解析ソフトウェア５３０によって直ちに認識できる。あるいは、ＲＧＢシグナル
は、ＶＬＳＩビデオプロセッサ５５１に発送されることができる、それはＲＧＢ
シグナルをクロマキーするかそれらのコントラスト、ペデスタルおよび色バラン
スを変化させ、ユーティリティーを特定の方法で改良することができる。たとえ
ば、人間の皮ふは赤い領域においてより反射する。その一方で、パネル５１２の
接触面５１２ａのオイルマークは青い領域においてより反射する。ＲＧＢシグナ
ルの赤オレンジ領域のクロマ−キーイングは、したがって、この種のマークを異
ならせるのを助けることができる。前記ＲＧＢシグナルは、それから回路５５０
によってグレースケールイメージに変換される。回路５５０から、グレースケー
ルイメージは画像解析ソフトウェア５３０によって処理される前にフレームグラ
バ５２８へ運ばれる。ビデオプロセッサ５５１による色プロセシングが所望でな
い場合、ＲＧＢフォトダイオード５３７は直接グレースケールイメージを発生す
る単一のフォトダイオードに置換することができる。この配置によれば、回路５
５０と同様にシグナル分割器５３９のうちの２つを除去されることができる。基
本の色プロセシングは、一つのフォトダイオードの上の所望の帯域通過特性を有
するカラーフィルタを配置することによって提供されることができる。

【００８０】パネル５１２に映される前記像は、独立した領域を識別してもよくておよび／
または指定された制御コードが割り当てられるグラフィック対象物を示してもよ
い。このように、パネル５１２の領域に成された接触又は接触面５１２ａに見え
るグラフィック対象物は、ヒューマンマシンインターフェース５１０により出力
された特定の制御コードに結果としてなる。

【００８１】ＣＲＴが本実施例においてパネル５１２の方へ光を放射するために用いられる
ので、ＣＲＴ蛍光体の減衰が遅い場合、反射率計測の精度はグレードを落される
。この場合、あらゆる瞬間でＲＧＢフォトダイオード５２４で測定されるシグナ
ルは、下式であらわされる：

【数６】

【００８２】ここで、Ｖは瞬間的なフォトダイオード信号であり；ｔは、時間である；それ
は、時間ｔ＝０でのＣＲＴスポットからの最初のエネルギーインシデントである
；ｒｔは、動いている点の又はエネルギーを受け入れている表面より上のパーセ
ント反射率である；０<ｇ（ｔ）<１は、蛍光体の時制の減衰機能である；そして
、Ｔは強度がなんらかの最低値に減衰しなかったＣＲＴ上の以前のスポットの数
である。

【００８３】パネル５１２が遅い蛍光体減衰を有する典型的商用のＣＲＴ５１４から光によ
って放射されることである場合、それは蛍光体減衰の遅鈍を補償するのに必要で
ある。上の式（６）によれば、適当なロールオフ特性を有するアナログ・ローパ
スフィルタを使用しているシグナルＶを微分することによって時間ｔ＝０で新規
なＣＲＴスポット５１１によってなされるＶに対する貢献（Ｉ０×Ｒ０）を算出
することが可能である。Ｉ０がロジック５３５を生成している像からの周知のデ
ータ入力であるので、ＣＲＴスポットによって照らされる点の反射率はＩ０によ
って単純な分割によってリアルタイムにおいて計算されることができる。

【００８４】ところで図１７ａを参照して、ヒューマンマシンインターフェースの更なる他
の実施例は、本発明によれば示されて、参照番号６１０によって一般に指示され
る。以前の実施例と同様に、遅い減衰蛍光体を使用している市販のＣＲＴ６１４
は、像をパネル６１２に映す。前記ＣＲＴ６１４は、ビデオ供与源６５１からの
ＲＧＢ強度シグナルおよびＸＹ走査信号を受け入れて、パネル６１２全体のＣＲ
Ｔスポットをスィープし、像を記述する。前記ビデオ供与源６５１も、ピクセル
時間によって同期するクロック信号を発生する。

【００８５】図１６の実施例と異なって、レンズ５１３はＣＲＴ６１４がパネル６１２への
近接した隙間を介して置かれることができるように省略される。理解されるよう
に、ＣＲＴおよびパネル間の垂直線間距離は図１７aにおいて誇張される。プラ
スチック６５３の薄いシートは、ＣＲＴ６１４およびパネル６１２の間に挿入さ
れる。プラスチック・シート６５３の表面のうちの１つは、フレネルレンズ、小
さいレンズの配列又はその上のホログラフィック光学素子、のいずれかを有する
。前記レンズ、レンズ又はホログラフィック光学素子は、ＣＲＴスポットからパ
ネル６１２上の点まで、照度を集中させるように設計されている。

【００８６】パネル６１２にＣＲＴ６１４を近接させることはレンズ５３７の使用を排除し
、パネル６１２の接触面と接触する対象物によって反射される光をＲＧＢフォト
ダイオードの上へ集光させる。したがって、接触面６１２ａと接触して対象物に
よって反射される光を収集するために、ＲＧＢフォトダイオード６５５は、パネ
ル６１２の横縁に沿って配置される。この場合、ＲＧＢフォトダイオード６５５
は、パネル６１２において内部で反射される接触面６１２ａと接触して、対象物
によって反射される光を収集する。本実施例において、２つの方法が、ＲＧＢフ
ォトダイオード・シグナルを処理するために備えられる。参照を簡略化するため
に、１の色チャンネルだけのためのサーキットリが示される。

【００８７】最初の方法において、ＲＧＢフォトダイオード出力信号は微分回路６５７へ運
ばれる。そして、それは残余減衰成分からＲＧＢシグナルの現在のピクセル成分
を切り離す。ＣＲＴ６１４からの定数照度の下で、ＲＧＢフォトダイオード６５
５にストライクしている光の強度は、パネル６１２の範囲内で異なる経路の長さ
に応じて変化してもよい。しかしながら、これらの変異は、乗法的補正率をパネ
ル６１２上のＣＲＴスポット像の各ＸおよびＹ位置のためのＲＧＢシグナルに適
用するためにＬＵＴｓを使用することによってキャンセルされることができる。

【００８８】使用の前に、ヒューマンマシンインターフェース６１０はパネル６１２の増倍
率（ｍｕｌｔｉｐｌｉｃａｔｉｏｎｆａｃｔｏｒ）のアレイを得ることによっ
て調整される。前記増倍率は、パネルによって変化する。調節は、パネル６１２
の接触面６１２ａに対する一定の反射率（例えば白いプレキシガラス）を有する
表面を一時的に貼ることによってＲＧＢチャンネルのために完了する。白い照度
の一定のスポットは、それからＣＲＴスポットによってパネル上の各（Ｘ，Ｙ）
点に適用される。各点のために、ＤＣＲＧＢフォトダイオード出力はデジタル
化される、そして、倍率補正要素が決定されて、ＲＧＢＬＵＴｓ６７０に格納
される。そして、それはビデオ・データ・レートでアドレス指定を行われること
ができる。

【００８９】前記ＬＵＴｓ６７０は好ましくはＲＯＭに格納される。その結果、外部データ
ソースは必要でない。前記ＬＵＴｓ６７０は、ＣＲＴスポットがパネル６１２に
集中するときに、各ピクセルのための正しい赤緑青増倍率を出力するためにＸお
よびＹ走査信号によってアドレッシングされる。デジタルアナログ変換器（ＤＡ
Ｃ）６７２は増倍率をアナログ形式に対する変換する。アナログ乗算器６７４は
、訂正を微分回路６５７によって出力されるアナログＲＧＢシグナルに適用する
。シグナル分割器６３９は、ＲＧＢチャンネルの反射率を決定するためにビデオ
供与源６５１から受信されたＲＧＢ強度シグナルによって、修正されたＲＧＢシ
グナルを分ける。

【００９０】アナログ微分回路６５７を使用している信号処理は、ＲＧＢフォトダイオード
・シグナルが、式（６）に示すように、全てのＴ以前のピクセルのトータル光減
衰シグナルの絶対値への依存である効果がある。しかしながら、式（６）は、異
なる減衰しているピクセルのためのパネル６１２の範囲内で、異なる経路の長さ
の結果として、異なる必要な倍率補正要素のための項を含まない。これらの間違
いは、微分回路６５７のローパスおよび高域特性を微調整することによって部分
的に修正されることができるだけである。

【００９１】ＲＧＢフォトダイオード・シグナルを処理するための第２の方法において、Ｉ
ｏはより正確に算出されることができる。そして、図１７aの破線によって示さ
れる代替電子的経路を使用する。以下、本実施例において、以下に説明するよう
に、オペアンプ６８０が、チャージ保存回路６８２によって計算される倍増率を
含む総合減衰シグナルをＩｏから減ずる。増幅器６８０によって出力される前記
シグナルは、したがって、より正確に現在のピクセルのＲＧＢ強度値を表現する
。これらの強度シグナルは、前述したように、アナログ乗算器６７４によって修
正される。

【００９２】乗算器６７４の前記修正された出力はチャージ保存回路６８２の動作を制御す
る。そして、それは電気チャージ保存ネットワーク６８２ａによるフィードバッ
クループにおいて接続されるオペアンプ６８２ｂから成る。前記ネットワーク６
８２ａは、抵抗器、コンデンサ、誘導子および他要素を含んでもよくて、減衰が
カーブする積分器がＲＧＢ蛍光体のそれらと一致するように、オペアンプ６８２
ｂと連動して動くために構成される。それぞれチャージ記憶コンデンサ（図示せ
ず）を有する前記ネットワーク６８２ａは、積分器のチャージ収納機能を提供す
る。電源がヒューマンマシンインターフェース６１０に適用されるときに、ＣＲ
Ｔ上の最後のＴピクセルが黒かったと推定される、そして、記憶コンデンサの初
充電はしたがって、ゼロである。

【００９３】チャージ・ジェネレータ６８４は、チャージ記憶コンデンサに、チャージｑＲ
、ｑＧおよびｑＢを注射する低インピーダンス出力を提供する。これらのチャー
ジは、アナログ乗算器６７４によって生成される出力信号電圧に正比例する。乗
算器６７４の出力が安定値に定まるときに、前記チャージ・ジェネレータ６８４
はピクセル時間の終わりの前に、時間のインターバルだけの間、これらのチャー
ジを注入するためにピクセル・クロックによって計時される。それで、チャージ
保存回路は、全ての以前の減衰しているピクセルの強度に等しい瞬間的なシグナ
ルを計算する。各入力チャージは乗算器６７４によって修正される、そして、そ
れゆえに、トータル出力信号は経路の長さ差のために修正される。

【００９４】先に述べた通りに、シグナル分割器６３９は、ＲＧＢチャンネルの反射率を決
定するためにビデオ供与源６５１からＲＧＢ強度シグナルによって計算されたＲ
ＧＢシグナルを分ける。前記ＲＧＢ反射率シグナルは、それから以前に記述され
ている方法で処理される。

【００９５】前記ＲＧＢフォトダイオード６５５は、パネル６１２の範囲内で単に内面反射
だけによる光を受信する。内面反射の規則のために、パネル６１２の上面と接触
ない指の部分から下方へ反射された光線は一切内部で反射されない。その代わり
に、それらは下方へパネルを通り抜けて、下にあるＣＲＴによって吸収される。
したがって、分割器６３９により出力された反射シグナルは、パネル６１２の上
面と接触しない指の部分のためのデータを含まない。このデータなしで、画像解
析ソフトウェア５３０は、指の先端の場所を決定することができなくて、それゆ
えに、指によってパネル６１２に印加される剪断力を決定することができない。
この状況は、図１７ｂに示すように非常に微細に磨かれたトップの表面又は半透
明のきめのある表面コーティングを有するパネル６１２を使用することによって
修正されることができる。図示されるように、パネル６１２の磨かれ又はコーテ
ィングされた表面は表面が水平に関してｔの角度を形成する多くのローカル微細
カーブ領域６９２を含む。これらの領域６９２で、指（それはパネル６１２の接
触面と接触してない）の部分６１４から反射される光線６９０は、全反射に結果
としてなっている角度でパネル６１２に入ることができる。光線６９４のように
前記光線６９０は、ＲＧＢフォトダイオード６５５にぶつかる。理想的には、角
度ｔが小さいために、表面特性は制御される。

【００９６】図１８〜２１に、ここで戻って、ヒューマンマシンインターフェースの更なる
他の実施例は、参照番号７１０によって一般に指示される。示されているように
、ヒューマンマシンインターフェース７１０はパネル７１２に光学上連結するパ
ネル７１２およびホログラフィック・スキャナ７４０を含む。前記ホログラフィ
ック・スキャナ７４０は、図の平易のためにパネル７１２に関して拡大される。
指７１５は、領域７１６でパネル７１２の上面７１２ａと接触してある。前記ス
キャナ７４０は、表面７１２ａを横切るラスター・パターンに光を導く。前記ラ
スター・パターンは、異なるＹ座標を有するＸ方向の複数の平行線を含む。スキ
ャナ７４０は、より携帯型、フラット・ヒューマンマシンインターフェースをつ
くって、ＣＣＤ又はＣＭＯＳカメラのためのニーズを取り除くためにｏｆｆ−ａ
ｘｉｓプロジェクタとして構成される。ホログラフィック・スキャナの実施例は
、米国特許番号４，５９３，９６７で記述されている。

【００９７】前記スキャナ７４０は、近赤外域の光のビームを発しているモノクロの光源７
４１を含む。前記光ビームは、ビーム調整オプティックス７４１ｂを通過し、薄
い、コリメートされた平面波ビーム７４３を発生させる。前記平行ビーム７４３
はそれから７４１ｃホログラフィック光学素子（ＨＯＥ）を通過する。そして、
それは短波長位相変動によって生じるビーム変異を修正する。前記ビーム７４３
は、それからビームスプリッタ７４２を通過して、図１９aの、そして、それか
ら一定の光学素子上の拡大図に示される環状の回転複合光学素子７３０を打つ。
回転及び固定の光学素子は、ラスター・パターンのパネル７１２全体のビーム７
４３をスキャンするように機能する。

【００９８】前記複合光学素子７３０は、３つの間隔を置かれた、環状の、多面的なＨＯＥ
ｓ７３１、７３４および７３６を含む。前記ＨＯＥｓは、適切な透過的材料でで
きているディスク基板７３２および７３５に植えつけられるか、押されるか又は
マウントされている。環状の金属的な分離環７３３は、ＨＯＥ７３１およびＨＯ
Ｅ７３４間に一定の距離を維持する。ＨＯＥｓ間のＹ方向の距離が図１９ａにお
いて非常に誇張されるていることはいうまでもない。ディスク材料の独立した層
に複数のＨＯＥｓを含んでいる複合光学素子は、公知技術である。たとえば、米
国特許第５，４７１，３２６号は三次元領域の放射状の走査をつくるために複合
光学素子を開示する。前記複合光学素子７３０は、モータ７２０によって回転さ
せられる軸７２５にマウントされる。

【００９９】固定光学素子は、ブラケットによって適所に保持される一対の間隔を置かれたＨ
ＯＥｓ７３７および７３８を含む。ＨＯＥ７３８がＨＯＥ７３６およびパネル７
１２の間に位置すると共に、ＨＯＥはＨＯＥｓ７３１および７３４の間に位置す
る。

【０１００】本出願のコンテクストの範囲内で、用語ホログラフィック光学素子（ＨＯＥ）
は、一般的な感覚において光学素子（すなわち、光手段によって発生される適切
な媒体干渉縞の記録によって作られる）の３つの一般のタイプのうちの１つを示
すために用いる；適切な媒体の記録によって作られるそれらは、コンピュータ制
御光源を使用している干渉縞を計算した；そして、それらは適切な媒体において
つくることによって印刷の又は関連した技術を使用している三次元状態構造を作
った。前記最後のＨＯＥ（一般に共通にバイナリ光学素子（ＢＯＥ）と呼び出さ
れる）は、より高い伝送効率を提供する。

【０１０１】図１９ｂは、よりよくＨＯＥ７３１を図解する。図示されるように、ＨＯＥ７
３１は前記ラスター・パターンのＸ方針スキャンラインの前記所望の数に、数に
おいて等しい複数の回折格子７７０を含む。前記格子７７０は、環状の基板７３
２の外側のエッジの近くで、環状アレイに配置される。各格子の大きさが基板の
大きさと比較して少ない限り、各格子の罫線ラインは実質的に格子を通過してい
る基板の半径に対して平行である。前記格子７７０は、米国特許第５，８２５，
５２３号で記述されていて、図２０ａにおいて図解される格子のような平行罫線
ラインを含む。隣接した罫線ライン間の前記距離は、格子機能Ｇ１（ｘ）によっ
て与えられる。

【０１０２】前記ＨＯＥ７３７は、格子機能Ｇ２（ｘ）を有する同じタイプの単一の格子で
あって、格子７７０に関して放射状に整列配置される。

【０１０３】米国特許第５，８２５，５２３号において教示されるように、ビーム７４３が
格子７７０および７３７を通過するときに、そして、格子７７０が図２０aの暗
い矢印によって示される線形方向にｄｘによってトランスレートされるときに、
ＨＯＥ７３７が、図２０ｂに示されるように、角度ｑによりビーム７４３を偏向
させるトランスレートの１ミリメータにつき１０−２０ラジアンオーダーの大き
い偏向は、回折が限定された精度によって可能である。したがって、小さい径の
光学ビーム７４３のために、ＨＯＥ７３７上の格子７７０および格子は、役立つ
角偏向を発生しつつ、非常に小さく作られることができる。前記量ｄｑ／ｄｘは
定数である。そして、それはＨＯＥｓ、ビームの波長および特定の格子機能Ｇ１
（ｘ）およびＧ２（ｘ）間の距離ｄに依存する。ＨＯＥｓ７３１および７３７に
おいて、ｄ、Ｇ１（ｘ）およびＧ２（ｘ）は、米国特許第５，８２５，５２３号
において教示される式によって選ばれ、これにより次の隣接した格子７７０に対
する１の格子７７０からの基板７３２の回転の間、ビーム７４３がＸ方向のパネ
ル７１２全体の必要距離を横切る。次の隣接した格子７７０がビーム７４３を従
事する瞬間で、ビームはその起動Ｘ−ポジションへスナップバックする。

【０１０４】ＨＯＥ７３４は、図１９cにおいてよりよく図解されて、同様に基板７３５に
植えつけられるか、押されるか又はマウントされる複数の回折格子７７１を含む
。格子７７１の前記数は、Ｘ方向の平行スキャンラインの所望の数に等しい。前
記格子７７１は、格子７７０と一致するために整列配置される。格子７７１は、
また、米国特許第５，８２５，５２３号で記述されているタイプであって、格子
機能Ｇ３（ｘ）を有する。図１９ｃに示すように、格子７７１は格子７７０の罫
線ラインに関して、９０度回転させられるそれらの罫線ラインの角度で、環状の
基板７３５の外側のエッジの近くで、放射状に配置される。各格子７７１の大き
さが基板７３５の大きさと比較して少ない限り、各格子７７１の罫線ラインは実
質的に格子を通過している基板７３５の半径に対して垂直である。

【０１０５】前記ＨＯＥ７３６は、基板７３５の反対の表面に、同様に植えつけられるか、
押されるか又はマウントされる。ＨＯＥ７３６は、ＨＯＥ７３４と同じ回折格子
の数を有し、格子機能Ｇ４（ｘ）を有する。ＨＯＥ７３６上の前記格子は、ＨＯ
Ｅ７３４上の格子と一致するために整列配置される。それで、米国特許第５，８
２５，５２３号において教示されるように、ＨＯＥｓ７３４および７３６は複数
の格子対を提供する。

【０１０６】ＨＯＥ７３４の格子７７１がＨＯＥ７３６のその対応する格子に関して、一定
量ｄｚによってＺ方向で表現されることができる場合、格子を通過しているビー
ム７４３はＹＺ平面の同位角ｄｊで回転させられる。前記一定の量ｄｊ／ｄｚは
、基板７３５、ビーム７４３の光の波長および特定の格子機能Ｇ３（ｘ）および
Ｇ４（ｘ）の厚みに依存する。しかしながら、格子対が基板７３５に永久に固定
されるので、本発明において、この種のトランスレーションは可能でない。した
がって、スキャナ７４０において、各格子７７１の格子ラインパターンは、僅か
に以前の格子７７１と異なるために作られる。より具体的には、ビーム７４３の
遠近法から、各連続した格子パターン７７１は、量ｄｚ．によって以前の格子７
７１のリニア翻訳から生じるパターンを表現する。加えて、化合物光学素子７３
０の１の完全な回転の間、ビーム７４３が、シーケンシャルに全ての格子７７１
を通過した後に、正確にスキャンラインの最も近い終わりから、スキャンライン
の最も遠い終わりまで、表面７１２ａ全体のＹ方向の距離を横切るために、基板
７３５の厚みおよび格子機能Ｇ３（ｘ）およびＧ４（ｘ）は選ばれる。

【０１０７】スキャナ７４０の通常動作において、モータ７２０は、一定の角速度で回転し
、このことにより、コンパウンド光学素子７３０は回転し、それにより、ビーム
７４３は、パネル７１２に渡ってＹ方向に沿って僅かに異なる場所でＸ方向の複
数のＮスキャンラインをトレースする。各々のNスキャンラインのために、最初
のビーム７４３は、ディスク７３１上の可動格子７７０および固定されたＨＯＥ
７３７上の回折格子によって構成される格子の最初の対を通過する。ＨＯＥ７３
７上の格子に関する格子７７０の前記運動によって、Ｘ次元の角度ｑによる走査
のためのビームを生じる。このＸ方向において走査すると共に、ビーム７４３は
格子７３７およびＨＯＥ７３４間の小さい区切りを横切る。前記ビームは、それ
からＨＯＥｓ７３４および７３６上の整列配置された格子の対応する対を通過す
る。この対応する対の前記格子ラインは、ビームが走査されるＸ方向に対して実
質的に平行である。したがって、モータ軸７２５の回転によるＨＯＥｓ７３４お
よび７３６の運動は、ビームにおいてＸ方向の付加走査運動誘導しない。しかし
ながら、Ｙ次元のビームの固定された偏向は、各連続した格子７７１のための格
子ライン・パターンの上述した差によって発生する。

【０１０８】ＨＯＥｓ７３１、７３４又は７３６のうちの１つ以上は、また、回折格子７７
０の環に同心の環の基板に植えつけるか又は押される複数の暗いマーク７７２を
含む。これらのマークは、あるモータ７２０の速度を示しているクロック信号を
発生する電気光学（図示せず）によって読む。モータの前記速度は、一定のクロ
ック周波数を発生するために閉ループ・サーボシステム（図示せず）によって制
御される。

【０１０９】理解されるように、（モータ軸７２５が一定の角速度でモータ７２０によって
回転させられる場合）、ホログラフィック・スキャナ７４０はビーム７４３にお
いて一定の角速度を有するが可変線速を有するＸ方向の直線走査を発生させる。
しかしながら、走査が一定の線速で発生することは、望ましい。一般的に、ｆ−
Ｔｈｅｔａ光学レンズは必要訂正を獲得することを必要とする。そして、それは
「ｆ−Ｔｈｅｔａ」訂正と呼ばれる。図１８の実施例において、ビーム７４３は
パネル７１２（レンズで集中することの代わりに）に、直接ぶつかる。したがっ
て、ｆ−Ｔｈｅｔａ光学レンズを使用することよりむしろｆ−Ｔｈｅｔａ訂正を
適用するための代替方式を使用することは、より実際的である。本実施例におい
て、ｆ−Ｔｈｅｔａ訂正は、格子機能Ｇ’１（ｘ）の新規なセットを発生するた
めに全ての格子７７０のための同一の方法の格子機能Ｇ１（ｘ）を変更すること
によって印加される。格子機能の前記新規なセットは、一定の線速、しかし、可
変角速度を有するビーム走査に結果としてなる。あるいは、ｆ−Ｔｈｅｔａ訂正
は、ＨＯＥ７３７の後、配置される独立したＨＯＥ（図示せず）に組み込まれる
ことができる。

【０１１０】ホログラフィック・スキャナ７４０がｏｆｆ−ａｘｉｓであるビームを有する
パネル７１２をスキャンするので、「キーストーン」効果は導入される。その結
果、Ｘ方向において必要な角走査偏向の量は、Ｙ方向の与えられたスキャンライ
ンの場所に従い変化する。したがって、各格子７７０のための格子機能Ｇ’１（
ｘ）は、更に与えられたＹ位置のための適当なＸ走査偏向を提供する各格子７７
０の為の新規な格子機能Ｇ’’１（ｘ）を発生するようにされる。Ｇ’１（ｘ）
は全ての格子７７０で同一である、しかし、Ｇ’’１（ｘ）は各格子７７０のた
めに異なる。

【０１１１】あるいは、Ｘ走査方向のための必要台形補正（ｋｅｙｓｔｏｎｅｃｏｒｒｅ
ｃｔｉｏｎ）機能は、ＨＯＥ７３８の後、配置される独立したＨＯＥ（図示せず
）に組み込まれることができる。この独立したＨＯＥにおいて、ビーム７４３が
ＨＯＥ（Ｙ次元の異なるスキャンラインに対応する）にぶつかるＺ方向の各位置
のための拡張の異なる程度については、Ｘ方向のビーム７４３の角偏向は、必要
に応じて拡張される。

【０１１２】Ｙ走査方向のための類似した訂正は、スキャンラインがＹ次元の各々から等距
離のことを確実にするためにいずれのＧ３（ｘ）も又はＧ４（ｘ）に適用される
。

【０１１３】理解されるように、ホログラフィック・スキャナ７４０（それはＹ次元におい
てより顕著である）のｏｆｆ−ａｘｉｓ性質は楕円に走査ビーム７４３の所望の
環状のプロファイルを延長する。楕円の前記長軸が次元２ｒ／ｃｏｓＪを有す
るＹ方向に位置する。ここで、ｒは走査ビームの環状のプロファイルの半径であ
る、そして、ｊは走査ビーム７４３および交点の間際に接触面７１２ａに垂直の
ライン間の角度である。それがパネル７１２にぶつかる前に、アナモルフィック
・レスポンス関数を有する付加固定されたＨＯＥ７３８はしたがって、Ｙ次元の
ビームを圧縮するために提供される。ビーム圧縮の量がビーム７４３がHOE ７３
８にぶつかるＺ次元の位置に依存するために、前記ＨＯＥ７３８は作られる。そ
の結果、ＨＯＥ７３８は正しくＹ次元の各可能な偏角のためのビームを圧縮する
。ＨＯＥ７３８の設計を単純化するために、最も近い光線７５０および最も遠い
光線７６０間の角度ｊの範囲が制限されることは、望ましい。前記ＨＯＥ７３８
は、したがって、限られた範囲のアナモルフィック訂正を発生することを必要と
する。Ｘ方向のビーム７４３のなんらかの延長がまたあるけれども、これは、Ｈ
ＯＥ７３８の変換関数において、Ｘ次元のビーム圧縮の一定量を提供することに
よって修正されることができる。そして、それはビーム７４３がＨＯＥ７３８に
ぶつかるＸ次元の位置に依存する。

【０１１４】ヒューマンマシンインターフェースが大きい場合、光学ビーム７４３が逸脱を
開始し始め、望ましくなく大きい画素を発生するという点で問題は起こる。この
問題を処理するために、付加レスポンス関数は、ベッセル・ビーム・プロファイ
ルにビーム７４３のプロファイルを変換するためにＨＯＥ７３８に加えられるこ
とができる。ベッセル・ビームは、非常により長い光学距離の上の定数であるよ
り小さいスポットサイズを呈する。米国特許第５，３３６，８７５号は、ビーム
をベッセル・ビームに変換するためのホログラフィック光学的方法を開示する。
前記ベッセル関数は、ＨＯＥ７３８の後、配置される他のＨＯＥ（図示せず）に
よって、代わりに出力されることができる。

【０１１５】ＨＯＥ７３８を通過した後に、パネル７１２の底面７１２ｂを経たパネル７１
２に入る前に、ビームは任意のＨＯＥ７１３を通過してもよい。一度パネル７１
２内に入ると、ビームはトップの表面７１２ａを打つ。ビーム７４３が表面７１
２ａと接触する領域７１６で又は表面７１２ａと接触する指７１５の領域以外で
指７１５にぶつかるときに、光が反射されて、全方向でパネル７１２に入る。い
くつかの光は、複合光学素子７３０を通して、ビームスプリッタ７４２に復帰す
る。前記復帰された光は、それからフォトダイオード７４５の方向を目指す。フ
ォトダイオード７４５の前記出力は、以前に記述されている画像解析ソフトウェ
アによって、プロセシングに適している一連のピクセル・データを表現している
シグナルを発生するために増幅される。上述の暗いマーク７７２は、表面７１２
ａ上のピクセルの場所を特定しているクロック信号を発生する電気光学（図示せ
ず）による読取りである。

【０１１６】前記フォトダイオード７４５は、より有利な動作を提供するために他の場所に
置かれてもよい。たとえば、フォトダイオード７４５およびビームスプリッタ７
４２は、ＨＯＥ７３８および両者間にＨＯＥ７３８および表面７１２ｂの近くに
配置されてもよい。復帰した光線は、それからスキャナ７４０の光学部品を通過
することなくフォトダイオード７４５にぶつかる。この位置において、フォトダ
イオード７４５は反射光の実質的により大きい部分を受信する。そして、より高
いＳＮ比に結果としてなる。

【０１１７】あるいは、図１７の実施例にて説明したように、フォトダイオード７４５はパ
ネル７１２のエッジへの近接して置かれてもよい。この位置において、ビームス
プリッタ７４２は除去される。そして、それによって光量を表面７１２ａにぶつ
かる光源７４１から増やす。しかしながら、この位置において、フォトダイオー
ド出力は、画像解析ソフトウェアによってプロセシングに適している形式にフォ
トダイオード出力を配置するため、図１７の実施例に記述されている経路の長さ
補正率を掛けられなければならない。トップの表面７１２ａが図１７の実施例に
関して記述されている方法で修正されない限り、本実施例における画像解析ソフ
トウェアが剪断力を決定することができないことはいうまでもない。

【０１１８】前記フォトダイオード７４５は、また、上方を向く底面７１２ｂの下に直ちに
配置されてもよい。この位置において、フォトダイオードが指で反射した光線の
大部分が受信するという理由から、ビームスプリッタ７４２は省略されることが
できる。この配置において、フォトダイオード７４５も図１７の実施例に関して
記述されている方法のパネル７１２の表面７１２ａを変えることなく、接触およ
び非接触の領域から反射される光線を受信する。しかしながら、この位置におい
て、フォトダイオード出力は、照らされた指およびフォトダイオード表面間の角
関係に依存する。前記フォトダイオード出力は、画像解析ソフトウェアによって
それをプロセシングに適している形式に入れるためにそれにパス角度補正率を掛
けることによって修正されることができる。この訂正は、図１７の実施例に関し
て記述されている経路の長さ訂正方法と同一の手段を使用する。

【０１１９】単一のフォトダイオード７４５の代わりに、パネルの底面７１２ｂの直下に配
置され上方を向く第２のフォトダイオードと共に、第１ののフォトダイオードが
パネル７１２のエッジへの近接して使われることができる。この配置は、上で議
論される利点を提供する。第１のフォトダイオードによって提供されるシグナル
が接触領域７１６だけに関するという点で、この配置も更なる利点を提供する。
その一方で、第２のフォトダイオードのシグナルから、第１のフォトダイオード
のシグナルを減ずることによって引き出されるシグナルは指の非接触の領域だけ
に関連がある。両方のシグナルのデータが画像解析ソフトウェアによって処理さ
れるときに、指７１５によってパネル７１２に印加される剪断力のより正確な計
算は可能である。

【０１２０】好適な実施例において、スキャナ７４０は表面７１２ｂの近くに、そして、図
１９ａにて図示したように、角度ｏｆｆ−ａｘｉｓで状態にある。そして、それ
によってフラットな装置をつくる。しかしながらスキャナ７４０および底面７１
２ｂ間の光学通路を長くするためにパネル７１２の下で一対のフォールディング
ミラー（図示せず）を取り入れることが可能である。前記折りたたんでいるミラ
ーは、最も近い光線７５０および最も遠い光線７６０間の焦点深度を非常に減少
させる。その結果フォールディング・ミラーは、スキャナ７４０および表面７１
２ｂ間に付加レンズ（図示せず）の移入を許可し、パネル上の点にビーム７４３
を結像させる。その場合、ＨＯＥ７３８のベッセル変換関数は、除去されてもよ
い。

【０１２１】フラットな装置が必要でない場合、スキャナ７４０はパネル７１２の中心を通
過している光軸上の遠い位置に配置することができる。この場合、ベッセル、キ
ーストーンおよび以前に記述されているアナモルフィック訂正の全てが除去され
てもよいこと、そして、スキャナ７４０および表面７１２ｂ間に付加レンズ（図
示せず）が、パネル７１２への点にビーム７４３を結像させるために用いられて
も良い。

【０１２２】前記ＨＯＥｓ７３１、７３４、７３６、７３７および７３８は、非常に安いコ
ストで大量生産されるものであってもよい。一般的に、前記回折格子の前記パタ
ーンは、数学的に決定されて、直接コンピュータ制御レーザー又は電子ビームを
使用しているマスタ光記憶装置媒体に書き込まれる。前記マスタは、それから従
来技術においてそれらにとって周知の手段によって複製されてもよい。前記ＨＯ
Ｅｓ７３１、７３４、７３６、７３７および７３８は、バイナリ回析光学素子（
例えば米国特許５，４７７，３８および５，４４８，４０３で記述されているそ
れら）であっても良い。バイナリ回析要素として、フォト・マイクロ・リソグラ
フィ又は集積回路を生産するための類似した方法が、三次元表面を有するマスタ
を生産するために用いる。前記マスタが、ＨＯＥｓを大量生産するための型とし
て使われる。

【０１２３】前記走査の前記精度は、前記パネル７１２の前記底面７１２ｂ上に付加ＨＯＥ
７１３をインプリンティング、押し付け若しくは取り付けることによって改良さ
れるかもしれない。前記ＨＯＥ７１３は、図１９ｄで示す回折格子７８０のマト
リックスを含む。前記ビームが前記パネル７１２に入るように、各々の回折格子
７８０は前記ビーム７４３を変えることによって前記パネル７１２に映される前
記像の前記特性を改良するように設計されている。すなわち、ビームは接触面７
１２ａ上の所望の点の方へより正確にさらに集光され、成形され、方向付けされ
ることができる。

【０１２４】たとえば、アナモルフィックＨＯＥ７３８は、ビームがＨＯＥ７１３にぶつか
るときに、Ｘ次元において伸びている小さいラインに、ビーム７４３のプロファ
イルを圧縮する単純な円柱レンズと取り替えられることができる。前記回折格子
７８０は、それから直角定規ピクセルを表面７１２ａの上に形成するために適当
な量（それは、回折格子７８０の位置に依存する）によって、Ｙ次元のビームを
拡張することができる。回折格子７８０（７１３が一連の帯番組ホログラムの中
で含んでもよいＨＯＥ）のマトリックスの代わりに、それぞれはＸ方向の表面７
１２ｂ全体に伸びる、そして、それは全ての表面をカバーするためにＹ次元にお
いてスタックされる。ビーム７４３の特定のトランスフォーメーションのために
、表面７１２ｂ全体のビーム７４３のトランスレーションがＸ次元において連続
するので、Ｘ次元において連続する片ホログラムはより良い結果を提供するだろ
う。この場合、ＨＯＥ７１３は片ホログラムの垂直スタックを含んでもよい。前
記ＨＯＥ７１３は、また、パネル７１２の底面７１２ｂに取り付けられる単一の
大きいホログラム又は回折格子を含んでもよい。

【０１２５】前記ＨＯＥｓ７３１、７３７、７３４、７３６および７３８は、また、スペク
トラムの可視域の光のために最適化される回折格子７７４の第２の類似した連続
を含んでもよい。ＨＯＥｓ７３１、７３４および７３６の場合、第２の回折格子
は、同心の回折格子７７０の環および環の内部に配置される。図２１ａは、格子
７７４の第２のリングを図解する。この第２のリングが事実ＨＯＥｓ７３１、７
３４および７に含まれる格子の環の各格子に対応する１の格子を含む複合環であ
ることは、しかしながら理解される前記第２のリングは同様のラスタースキャン
をつくる、しかし、可視域の光のために設計した格子を使用する。前記ヒューマ
ンマシンインターフェース７１０もこの場合速くスイッチで切り替えができる第
２の光源（図示せず）を含む。そして、それは格子７７４に当たる可視の、平行
にされたモノクロの照明を発生する。軸７２５が複合光学素子７３０を回転させ
るときに、この第２のリングは表面７１２ａに可視光の第２のラスタースキャン
を発生する。像のビデオ信号を有する可視の光源を調整することによって、像は
接触面７１２ａに現れる。この配置は、像が低付加コストで表面７１２ａに映さ
れることができる。前記像は、パネル７１２上の異なる機能の範囲を定義してい
るマップを含んでもよい。フルカラー像がまた、単一の第２の光源に連結する１
の環よりむしろ赤緑青のモノクロの光源に連結する３つの環を使用することによ
って発生されることができることはいうまでもない。

【０１２６】第２の複合回折格子７７４の同心の環が使われるときに、任意のＨＯＥ７１３
は図２１ｂで示す回折格子７８０の直交マトリックスを含む。回折格子７８０の
マトリックスの各行７８２は、回折格子７８４および７８６の上下のｓｕｂ−ｒ
ｏｗｓを含む。回折格子の各上のｓｕｂ−ｒｏｗ７８４は、回折格子７７０のう
ちの１つと関連する。回折格子の各下段のｓｕｂ−ｒｏｗ７８６は、回折格子７
７４のうちの１つと関連する。回折格子の各々のｓｕｂ−ｒｏｗｓ７８４および
７８６は、２の光源のうちの１の波長のために最適化される。光の各波長のため
に、適当な同心の環は、適当な行に対する光およびマトリックスのｓｕｂ−ｒｏ
ｗ（サブ列）の点を導く。いうまでもなく、この場合、表面７１２ａの各ピクセ
ル７８９のための２の回折格子７８７および７８８がある、そして、図２１ｂに
示すように、回折格子はしたがって、少なくとも一つの次元において圧縮されな
ければならない。回折格子７８７および７８８の各対の前記光学関数は調整され
、それによって両方の格子が表面７１２ａの同じピクセル７８９に映される。前
記任意のＨＯＥ７１３は多くの片ホログラムを含んでもよい。その場合には、各
片は、２の光源のうちの１の波長のために最適化される上下のｓｕｂ−ｓｔｒｉ
ｐ（サブ片）を含む、そして、全体ピクセル上にイメージするために調整される
。

【０１２７】理解されるように、回折格子７７４の３つの環を提供することによって、複合
光学素子７３０はパネル７１２の上へ目指す赤外線走査ビームと同様にフルカラ
ー像を生成する。必要に応じて、スキャナ７４０がプロジェクタもｏｎ−ａｘｉ
ｓ又はｏｆｆ−ａｘｉｓ像として使われてもよいか又は接触検知なしで機能する
。

【０１２８】図２２ａおよび２２ｂは、本発明によるヒューマンマシンインターフェース８
１０の更なる他の実施例を示す。図示されるように、ヒューマンマシンインター
フェース８１０はＸＹラスター・パターンのパネル表面全体にスィープされる光
のスポットを有するパネル８１２の上面１１２ａをスキャンするためにスキャナ
８４０を含む。本実施例において、スキャナ８４０はＸ−次元スキャナ８４０ａ
そして、Ｙ−次元スキャナ８４０ａを含む。指８１５は、領域８１６でパネル８
１２の接触面８１２ａと接触して示される。前記スキャナ８４０は、近い赤外域
の光を好ましくは発しているモノクロの光源８４１を含む。前記光は、ビーム調
整オプティックス８４１ｂを通過し、薄く、平行化された、平面波ビーム８４３
を生成する。前記平行ビームはそれからＨＯＥ８４１ｃを通過する。そして、そ
れは短波長位相変動によって生じるビーム変化を修正する。前記ビーム８４３は
、それからＸ次元スキャナ８４０ａに入る前にビームスプリッタ８４２を通過す
る。スキャナ８４０ａは、米国特許第５，８２５，５２３号で記述されているタ
イプの、そして、以前に図１８の実施例に関する２つの回折格子８３１および８
３７を含む。前記格子８３１および８３７は格子機能Ｇ１（ｘ）およびＧ２（ｘ
）を所有して、それらの格子ラインが垂直であるように方向付けされる。格子８
３１は、電子的アクチュエータ・ドライブ回路８５１（図２３を見る）に応答し
て、往復型アクチュエータ８５０ａによって格子８３７を通じて水平にトランス
レートされる。電気信号がアクチュエータを駆動するときに、それは水平方向の
格子８３１の比例した変位ｄｘを発生する。前記変位ｄｘによって、前記ビーム
８４３の水平偏向ｄｑが生じる。

【０１２９】前記Ｙ次元スキャナ８４０ｂは、スキャナ８４０ａからのビーム８４３を受信
して、更に２つの回折格子８３４および８３６を含む。格子８３７および格子８
３４間の前記距離は小さいが、図２２ａおよび２２ｂでは誇張された方法で表現
される。前記格子８３４および８３６は、格子機能Ｇ３（ｘ）およびＧ４（ｘ）
を所有する、そして、それらの格子ラインが水平であるように方向付けされてい
る。格子８３４は、アクチュエータ・ドライブ回路８５１に応答して往復型アク
チュエータ８５０ｂによって格子８３６を通じて垂直に翻訳される。

【０１３０】本出願のコンテクストの範囲内で、用語「往復型アクチュエータ」は、小さい
回折格子の線形トランスレーションが生じることが可能なあらゆる装置を記述さ
れているために用いる。必要線形トランスレーションの前記速度および精度は、
ヒューマンマシンインターフェース８１０の所望の大きさ、解像度および速度に
依存する。したがって、用語「往復型アクチュエータ」は、ヒューマンマシンイ
ンターフェース８１０の特定の実施例のための設計要件を満たす圧電、ｅｌｅｃ
ｔｒｏｓｔｒｉｃｔｉｖｅ、ｍａｇｎｅｔｏｓｔｒｉｃｔｉｖｅ、ボイスコイル
、電気機械又は他のタイプの往復型アクチュエータを指す。更に、Ｘ次元スキャ
ナ８５０ｂにおいて使用する往復型アクチュエータ８５０ａは、Ｙ次元スキャナ
８４０ｂにおいて使用する往復型アクチュエータ８２０ｂとは異なるタイプであ
っても良い。スキャナ８４０ｂを出た後の前記ビーム８４３はＨＯＥ８３８を通
過する。そして、先に述べた通りに、それは図１８の実施例に関してベッセル・
ビーム・プロファイルにビーム８４３のプロファイルを変換する。

【０１３１】前記ビーム８４３はそれからＨＯＥ８３９に入る。そして、先に述べた通りに
Ｙ次元のビームを圧縮するために、それはアナモルフィック・レスポンス関数を
提供する。出力されるビーム圧縮の量がビーム８４３がＨＯＥ８３９にぶつかる
Ｚ次元の位置に依存するように、前記ＨＯＥ８３９は作られる。そして、それに
よってＹ次元の各可能な偏角のための正しいビーム圧縮を提供する。ＨＯＥ８３
９の設計を単純化するために、ＹＺ平面の走査角度ｊの範囲が制限されることは
、望ましい。Ｘ次元のビーム８４３のなんらかの延長がまた、ある、これはある
ことができる修正されたによってビーム８４３がＨＯＥ８３９にぶつかるＸ次元
の位置への被支配頂であるＸ次元のビーム圧縮のＨＯＥ８３９の一定量の変換関
数の提供する。

【０１３２】本実施例において、パネル８１２はフォールディング・ミラー８７０および８
７１を含む。前記スキャナ８４０は、フォールディング・ミラー８７１の角度に
対してＹＺ平面のわずかな正の角で方向付けされる。

【０１３３】以下、図２２ａ〜図２２ｄを参照してフォールディングミラー８７０及び８７
１について説明する。透明性の上に横たわるように、図２２ａおよび２２ｂはビ
ーム８４３の個々の折り目セグメント８７２〜８７５を示す。その一方で、図２
２ｃおよび２２ｄは開いたビーム８４３の個々の折り目セグメント８７２〜８７
５を示す。それがフォールディング・ミラー８７０および８７１によって囲まれ
る空間で移動するように、図面のセグメント８７２〜８７５が時間にわたって集
積化される走査ビーム８４３の軌跡を表現するために用いることはいうまでもな
い。あらゆる与えられた瞬間で、ビーム８４３は非常に薄い光線である。

【０１３４】ビームがフォールディング・ミラー８７０の下で通過して、フォールディング
・ミラー８７１にぶつかるときに、走査ビーム８４３の前記第１の折り目セグメ
ント８７２は発生する。ビームがフォールディング・ミラー８７０の方へフォー
ルディング・ミラー８７１から反射され返されるときに、前記第２の折り目セグ
メント８７３は発生する。８７０がフォールディング・ミラー８７１の方へ逆行
させるフォールディング・ミラーから、ビームが反射されるときに、前記第３の
折り目セグメント８７４は発生する。図２２ｂおよび２２ｄの側面図のために、
位置および折り目セグメント８７４の大きさはビームに他折り目セグメントと重
ならせる、そして、それは図２２ｄの分解図だけにおいて可視である。前記第４
の折り目セグメント８７５は、ビームが、フォールディング・ミラー８７１から
、パネル８１２の底面８１２ｂに、そして、それからそのトップの表面８１２ａ
に当たって反射するときに発生する。図２２ａおよび２２ｃのＸＹ平面の折られ
たビームの角度がＹ次元位置が表面８１２ａの左端に最も近いラインのための正
しい角度であることはいうまでもない。表面８１２ａの右方のエッジの近くのラ
イン８７７のために、図２２ｄの三角形８７６の頂点は、折り返されたビームの
増加する角度を表現する。

【０１３５】前記フォールディング・ミラー８７０および８７１は、角偏向ｑによって弧に
対される全長およびスキャナ８４０によって走査ビーム７４３において導入され
るｊを拡大する。前記フォールディング・ミラーは、したがって、より小さい角
偏向を使用している表面８１２ａのより大きい範囲の走査を許可する。より小さ
い角偏向を使用することは、より小さい回折格子８３１、８３７、８３４および
８３６（より小さい線形トランスレーションおよびより速いトランスレーション
時間を有する往復型アクチュエータ８５０ａおよび８５０ｂの使用と同様に）の
使用を許可する。加えて、フォールディング・ミラー８７０および８７１がかな
り光学通路を長くするので、それらはスキャナ８４０によって投影される最も近
くて最も遠い光線間の焦点深度を減少させる。したがって、レンズ（図示せず）
は、表面８１２ａ上の点にビーム８４３を映すためにスキャナ８４０およびフォ
ールディング・ミラー８７０の間に位置してもよい。この場合、ＨＯＥｓ８３８
および８３９は除去されてもよい。本実施例がビーム８４３を４つのセグメント
に折りたたむけれども、より多くの又はより少しのセグメントが表面８１２ａ又
は異なる走査速度の異なる範囲のために、都合よくつくられてもよいことはいう
までもない。小さい装置の場合、フォールディング・ミラーの使用は、完全に除
去されてもよい。

【０１３６】フォールディング・ミラー８７０および８７１を通過した後に、ビームはパネ
ル８１２の底面８１２ｂに押すか、植えつけるか又は取り付けられる任意のＨＯ
Ｅ８１３の（図示せず）を通過してもよい。ＨＯＥ８１３の前記機能および可能
な配位は、上記したＨＯＥ７１３のそれらと同一である。

【０１３７】Ｘ次元スキャナ８４０ａおよびＹ次元スキャナ８４０ｂを駆動している前記ア
クチュエータ・ドライブ回路８５１は、図２３に関して概要で記述されている。
当業者は、往復型アクチュエータ８５０ａおよび８５０ｂを駆動するために、多
くの異なるタイプの回路が造られてもよいと認識する。前記回路８５１は、後述
するようにデジタル波-テーブル合成を使用する。この設計は、ＶＬＳＩ製作プ
ロセスに対するその適合性と同時に、その固有のシンプルさ、精度および柔軟性
のために、選ばれた。前記往復型アクチュエータ８５０ａおよび８５０ｂは、閉
回路配位において制御されて、適切な位置のフィードバック装置およびサーボア
ンプに接続していて、基準信号として波−テーブル・シンセサイザからの出力を
使用している。

【０１３８】図示されるように、回路８５１は、水平同期（ＨＳＹＮＣ）シグナル、ピクセ
ル・クロック（ＰＣＬＯＣＫ）シグナル、そして、ＥＮＤ−ＯＦ−ｆｒａｍｅ（
ＥＯＦ）シグナルを入力としてとる。ＨＹＳＹＮＣシグナルは、X次元の各新規
なスキャンラインの初めに生成されるパルスである。ＰＣＬＯＣＫシグナルは、
与えられたスキャンラインの各ピクセルの初めに生成されるパルスである。

【０１３９】前記ＰＣＬＯＣＫおよびＨＳＹＮＣシグナルはピクセル・アドレスバス８５４
上のディジィタル・アドレスをそれぞれ提供するためにバイナリデジタルカウン
タ８５２および８５３を計時する。そして、それはフレームの各ピクセルのため
にユニークである。前記計数器８５３もライン・アドレスバス８５５上のディジ
ィタル・アドレスを提供する。そして、それは各スキャンラインのためにユニー
クである。

【０１４０】ピクセル・アドレスバス８５４上の前記アドレスは、出力にピクセルメモリ８
５６ａにピクセル・データバス８５８上の格納された値を引き起こす。前記出力
値は、それからマルチプレクサ８６９およびデータバス８５８を経た速いデジタ
ル／アナログ（D／Ａ）コンバータ８６０に適用される。前記Ｄ／Ａ変換器８６
０はそれからデジタル量をアナログ電圧に変換する。そして、折返し雑音を除去
するローパスフィルタ８６２によるフィルタリングの後、それはＸ次元電子回路
サーボアンプ８６４のための基準信号になる。実際問題として、前記ピクセルメ
モリ８５６ａの前記大きさはＮ×Ｍである。ここで、Ｎはラインにつきピクセル
の前記所望の数である、そして、Ｍはフレームにつきラインの前記所望の数であ
る。ピクセルメモリ８５６ａの各記憶場所はデジタル量Ｂビットの幅を有する。
ここで、ＢはＸ次元基準信号の正確さの所望のレベルを提供するために十分に大
きい。

【０１４１】一般的に９<Ｂ<１２である。

【０１４２】ライン・アドレスバス８５５上の前記アドレスによって加入者メモリ８５７ａ
を引き起こす。そして、ライン・データバス８５９上の格納された値を出力する
。前記出力値は、それからマルチプレクサ８６９およびデータバス８５９を経た
デジタル／アナログ（Ｄ／Ａ）コンバータ８６１に印加される。前記Ｄ／Ａ変換
器８６１はそれからデジタル量をアナログ電圧に変換する。そして、折返し雑音
を除去するローパスフィルタ８６３によるフィルタリングの後、それはＹ次元電
子回路サーボアンプ８６５のための基準信号になる。実務的には、ピクセルメモ
リの大きさは、１フレームにつきＭラインである。ピクセルメモリ８５７ａの各
記憶場所はデジタル量ｂビットの幅を有する。ここで、ｂはＸ次元基準信号の正
確さの所望のレベルを提供するために十分に大きい。

【０１４３】一般的に９<ｂ<１２である。

【０１４４】前記アクチュエータ８５０ａ及び８５０ｂは、増幅器８６４および８６５の前
記それぞれのアウトプットに応答して、それぞれ位置センサ８６６および８６７
を含む。前記位置センサは、電気抵抗歪ゲージ、線形可変差動変圧器（ＬＶＤＴ
）、ｃａｐａｃｉｔａｔｉｖｅな位置センサ、光干渉計測センサ又は前記所望の
精度および速度を提供するいかなるタイプのセンサーであればよい。異なる電子
部品（図示せず）が、サーボアンプ８６４および８６５のエラー入力に接続する
前に位置センサ８６６および８６７のアウトプットを処理するために要求される
。前記サーボアンプ８６４および８６５は、所望のパフォーマンスを提供するあ
らゆるタイプの中であってもよくて、それぞれ、アクチュエータ８５０ａ及び８
５０ｂに、正しい電気駆動シグナルを供給してもよい。

【０１４５】スキャナ８４０の通常操作において、、計数器８５２および８５３はＨＳＹＮ
Ｃ及びＰＣＬＯＣＫシグナルによって駆動され、ピクセルメモリ８５６ａおよび
加入者メモリ８５７ａを生じ、データ・バス８５８及び８５９上にＭ×Ｎラスタ
ー・シーケンスＸ及びY次元ビーム位置データ値を出力する。これらのデータ値
は、前記増幅器８６４および８６５へ運ばれる前に順番にアナログ値に変換され
る。前記増幅器の前記出力は、前記往復型アクチュエータ８５０ａ及び８５０ｂ
に適用される。これは、スキャナ８４０ａ及び８４０ｂの格子８３４および８３
６の相対的な運動に結果としてなる。その結果、前記ビーム８４３は、ラスター
・パターンの前記表面８１２ａ全体に走査する。各々の完全なラスタースキャン
の終わりに、前記ＥＯＦシグナルは、それらのＲＳＴ入力による前記計数器８５
２および８５３の前記値をリセットして、新規なラスタースキャンを始めるパル
スを提供する。

【０１４６】光走査ビーム８４３が指８１５に、表面８１２ａの接触点８１６若しくは表面
８１２ａと接触しない指８１５の領域のどちらかでぶつかるときに、光は全方向
でパネルの下方へ反射される。いくつかの前記光は、前記ビームスプリッタ８４
２に前記スキャナ８４０を通って戻る。前記戻った光は、それからフォトダイオ
ード８４５の方向を目指す。フォトダイオード８４５の前記アウトプットは、以
前に記述されている画像解析ソフトウェアによって、プロセシングに適している
一連のピクセル・データを表現しているシグナルを発生するために増幅される。
ピクセル・アドレスバス８５４上の前記データは、表面８１２ａ上のピクセルの
場所を特定する。

【０１４７】前記フォトダイオード８４５は、図１８の実施例に関して上記したようにより
有利な動作を提供するために他の場所に置かれてもよい。

【０１４８】図１８の実施例において、ｆ−Ｔｈｅｔａおよび台形補正（ｋｅｙｓｔｏｎｅ
ｃｏｒｒｅｃｔｉｏｎｓ）の適用が議論された。これらの訂正がまた、メモリ
ー８５６ａに格納されるデータの一時変更で、又は光学上ヒューマンマシンイン
ターフェース８１０および８５７aまで印加されることができることは、理解さ
れる。

【０１４９】好適な実施例において、スキャナ８４０は表面８１２ｂの近くに、そして、図
２２ｂにて図示したように、角度ｏｆｆ−ａｘｉｓで状態にある。そして、それ
によってフラットな装置をつくる。フラットな装置が必要でない場合、スキャナ
８４０はパネル８１２の中心を通過している光軸上で遠く離れた場所に位置する
ことができる。この場合、ベッセル、キーストーンおよび以前に記述されている
アナモルフィック訂正は全く除去されてもよい、そして、スキャナ８４０および
表面８１２ｂ間の付加レンズ（図示せず）は８１２a表面に点にビーム８４３を
映すために用いてもよい。

【０１５０】前記マルチプレクサ８６９は、調節コンピュータ８６８の使用による製造の間
、スキャナ８４０の極めて正確な調節を許可する。調節の間、調節コンピュータ
８６８は、マルチプレクサ８６９を引き起こしているそのＣＯＮＴＲＯＬシグナ
ルがピクセルおよび行データをメモリー８５６ａおよび８５７ａからよりむしろ
調節コンピュータ８６８からデータ・バス８５８および８５９へ移すと主張する
。その結果、調節コンピュータは、ビーム８４３の偏向を制御する。前記調節コ
ンピュータは、表面８１２ａの小さい部分を拡大された形式で映す電子カメラ（
図示せず）から入力を受信する。前記カメラの視野は、表面８１２ａのあらゆる
所望の部分を映すために適切な手段（図示せず）によってコンピュータの制御の
下で前記表面をスキャンすることができる。

【０１５１】調節の間、調節コンピュータ８６８のソフトウェアプログラムは、表面８１２
ａの特定の部分のイメージを捕らえるためにカメラを配置する。トライアルデー
タ値の最初のセットを使用することで、調節コンピュータ８６８は、それから、
好ましくはそれらが通常計数器８５２および８５３によって駆動されるのと同じ
レートでマルチプレクサ８６９によるピクセルおよび行データ・バス８５８およ
び８５９を駆動することによって、表面の部分を走査するビーム８４３を発生す
る。前記調節コンピュータ８６８は、カメラによって表面の部分の上のビーム８
４３の走査の像を同時に捕らえる。前記コンピュータ８６８は、それから各ピク
セルのための表面８１２a上のビーム８４３の位置を決定するためにイメージを
分析する。必要であるならば、コンピュータ８６８は精度を改良する適切なアル
ゴリズムおよび走査の直線性による試行のデータ値の新規なセットを計算して、
表面８１２ａの同じ部分の他の目視検査を実行する。前記プロセスは、精度のあ
らゆる所望のレベルを達成する表面８１２ａおよび走査の直線性の同じ部分のた
めの多くの時、繰り返されることができる。前記調節コンピュータは、それから
表面８１２ａの次の部分にカメラの視野を変更する。

【０１５２】各調整されたピクセルのために、ソフトウェアは調節コンピュータ８６８の範
囲内で最終的な試行のデータ値および関連ピクセルおよび行アドレスをメモリー
・テーブルに格納する。調整手順の最後で、コンピュータはそれからそれからソ
ケット８５６ｂ及び８５７ｂに挿入される２つのＥＰＲＯＭメモリーに、完全な
メモリー・テーブルを書き込む。

【０１５３】この方法を使用して、光学ビームはＸＹラスタースキャンの各点のための表面
８１２ａ上の大きい正確さによって配置されてもよい。それゆえに、ｆ−Ｔｈｅ
ｔａおよび上記した台形補正は、光学部品によるよりむしろアクチュエータ・ド
ライブ回路８５１によるスキャナ８４０ａおよび８４０ｂに、充分な正確さによ
って適用されてもよい。このアプローチは、設計のシンプルさの利点を提供する
。訂正のカスタマイズされたセットが各製造されたユニットのために決定される
ことができるという点で、それは更なる利点を提供する。そして、このことによ
りはるかに走査の正確さを改善する。それがヒューマンマシンインターフェース
８１０が単にＥＰＲＯＭ８５６ａ及び８５７ａのデータ・テーブルの値を変更す
ることによって様々な走査解像度および速度で機能することができるという点で
、このアプローチは更なる利点を提供する。一群のデータ・テーブルがＥＰＲＯ
Ｍ８５６ａ及び８５７ａに書かれるかもしれないことは、そして、前記ユーザー
がそれから前記適当なテーブルを前記基から選択することによって前記マンマシ
ンインタフェースの前記動作特性を調整するかもしれないことは、明らかである
。アクチュエータのなんらかのタイプのために、上記した調節の電子的方法によ
ってスキャナ８４０が開ループ方法で動くことができてもよいことはまた、明ら
かである。そして、それによって位置センサ８６６および８６７およびそれらの
関連する電子部品（図示せず）を除去する。

【０１５４】通常操作の間、Ｘ次元スキャナ８４０ａは、Ｙ次元スキャナ８４０ｂよりも非
常に高い速度で動く。ヒューマンマシンインターフェース８１０が特定のアプリ
ケーションの高走査速度で作動されることである場合、往復型アクチュエータ８
５０ａの速度は限定要因になるかもしれない。前記スキャナ８４０ａはこの場合
、従来の技術において公知なように、電気光学又は音響光学的なビーム・デフレ
クタのいずれかと交換されてもよい。

【０１５５】いうまでもなく、図１８の実施例の様に、図２２ａ〜２２ｆの実施例は、付加
可視の光源を取り入れることによってイメージ・プロジェクタとして役立つこと
ができる。図２４は３つの可視モノクロの光源８４１を含んでいるマンマシンイ
ンタフェースの他の実施例を示す。そして、前記スペクトラムが前記赤緑青領域
の３つのビーム光線を生成する。本実施例において、光ビームはビーム調整オプ
ティックス８４１ｂを通過し、薄い、平行な平面波ビーム８４３を生成する。前記平行ビームはそれから複合ＨＯＥ８４１ｃを通過する。そして、短波長位相
変動によって引き起こされるビーム変異を修正するために、３つの異なる波長の
ための独立したセクションを含む。前記ビーム８４３はそれから８４１dプリズ
ムを通過する。そして、それはビーム８４３間の区切りを減らす。前記ビーム８
４３は、それからビームスプリッタ８４２および３のレンズ（符号をつけていな
い）を通過する。

【０１５６】前記ビームはそれから格子８３１、８３７、８３４、８３６、８３８および８
３９を通過する。そして、その全ては３つの要素からなる複合格子である。前記
要素は図２２ａ〜２２ｆの実施例の格子８３１、８３７、８３４、８３６、８３
８および８３９に、同一の機能を実行する、しかし、各ケースにおいて、要素は
ビーム８４３の波長のために正規化される。表面８１２ａの方へ、先に述べてい
たように、前記ビーム８４３はそれからフォールディング・ミラー８７０および
８７１によって定義される空間に入って、導かれる。ＨＯＥ８３９をレンズと取
り替えることによって、複合ＨＯＥ８３９の３の要素に又は適当な変換関数をＨ
ＯＥ８１３に取り入れることによって適当なレンズ機能を加えることによって、
ビームは表面８１２ａ（例えば代表的な点８７９）上の単一の点に互いに近よる
ために作られる。あるいは、複合格子８３４および８３６の３の格子機能は、表
面８１２ａ上の一つの点にビーム８４３の収束を発生するために修正されること
ができる。

【０１５７】他の全ての注意において、図２４の前記マンマシンインタフェースの前記機能は
、図２２ａ〜２２fの前記実施例のそれと同様である。

【０１５８】ガラスの中で形成されるように、ヒューマンマシンインターフェースのパネル
が記述されていたけれども、いくつかの例ではパフォーマンスを他の表面を利用
することによって強化するようにしてもよい。唯一の制限は、表面が接触の領域
が検出されることができるためにエネルギーを伝送しなければならないというこ
とである。特に、特定のオプティカルコーティングは、イメージのコントラスト
を強化するため、又は接触面上のスクラッチおよび油によるａｒｔｉｆａｃｔｕ
ａｌなイメージ成分に対する感度を減少させるために用いてもよい。接触面に配
置されるマイラーの薄いフレキシブル・シート等は、また、コントラストを強化
するため及びａｒｔｉｆａｃｔｕａｌなイメージおよびほこりに対する感度下げ
るために用いてもよい。また、平らであるように、パネルが記述されていたけれ
ども、非平面表面が特定のアプリケーションのエルゴノミクスの利点を提供して
もよいことはいうまでもない。加えて、ユーザーの手の型をとって、綿密にユー
ザーの手の輪郭に似ているパネル上の複素数凹曲面を発生することによって特定
の個体のためのパネルをカスタマイズすることは、また、有利でもよい。

【０１５９】上記した実施例において、インシデント・エネルギーは、可視で又は赤外線に
最も近いことを示す。近い赤外線照明が可視光からの干渉による非感受のために
利点を提供することはいうまでもない。また、パネル上の指油アーチファクトは
、赤外線範囲の比較的低屈折率を有して、それでパネル・イメージの明るいイメ
ージを発生しない。他の波長、例えば紫外線又は遠赤外線でさえ、使われること
ができる。

【０１６０】電磁放射の他に、他のタイプのエネルギーおよびイメージング、例えば音響イ
メージング、が使われてもよい。エネルギーの前記選択肢は、当然のことながら
、パネルと接触するどの指又は他の対象物が影響を及ぼすか及びどれがスキャン
されてパネルイメージを発生させるかというタイプに応じて制限される。

【０１６１】上記した実施例において、インシデント・エネルギーは、変更されていない形
式で接触領域に分配される。インシデント照射が空間的に又は時間的に変化して
もよいことは、しかしながら理解される。たとえば、パルスされたインシデント
・エネルギー（例えばストロボスコープの光）は、接点の速く変更領域の検出を
強化するか又は環境光に排除を改良するために用いてもよい。

【０１６２】また、上記した実施例において、パネルに対する接触による光の強度が、検出
される。しかしながら、偏光又は位相のような他エネルギー特性又はパラメータ
が測定されてもよいことはいうまでもない。また、エネルギーの複数のパラメー
タが測定されてもよい。同様に、特定の実施例が記述されているけれども、パネ
ルを有する接点に応答して検出しておよび／またはインシデント又は変更エネル
ギーを処理する他の方法は使用されることができる。

【０１６３】本発明の好適な実施例が記述されていたけれども、当業者意志がそれを理解す
るように、他バリエーションおよび変更が、添付の請求の範囲に記載のそれの趣
旨および範囲から逸脱することなく行われても良い。

【図面の簡単な説明】

【図１】図１は、この発明によるビューマンマシンインターフェースの、部分的に遠近
法で表した概略図である。

【図２】図２は、図１の拡大した部分のブロック線図である。

【図３】図３ａおよび３ｂは、図１の前記ヒューマンマシンインターフェースの部品を
形成している接触感知パネルと接触している指を示している図である；

【図４】図４ａ〜４ｃは、接触感知パネル接触している指を示している追加の図である
。

【図５】図５は、図１の前記ヒューマンマシンインターフェースの部品を形成している
像取得装置によって捕らえられる前記接触感知パネルと接触している指の像を図
示するものである。

【図６】図６ａ〜６ｃは、指と接触感知パネル間の接点の発達する領域から生じた、広
がる照明領域区域の変化と、画像フレームの間の像ピクセル強度との間の関係を
示すグラフ、及びそれに関連するピクセル強度ヒストグラムを示すものである。

【図７】図７ａ〜７ｃは、指と接触感知パネル間の接点の発達する領域から生じた、広
がる照明領域区域の変化と、画像フレームの間の像ピクセル強度との間の関係を
示すグラフ、及びそれに関連するピクセル強度ヒストグラムを示すものである。

【図８】図８は、指および前記接触感知パネル間の接点の領域を検出するために前記ヒ
ューマンマシンインターフェースの部品を構成するプロセッサによって実行され
る工程を示すフローチャートである。

【図９】図９は、前記像取得装置によって得られる像のプロセシングの間、前記プロセ
ッサの範囲内でメモリーに格納されるデータを示す；

【図１０】図１０ａ〜１０ｅは、指および接触感知パネルとの接触の領域を例示している
グラフと、それに関連する、イメージ・フレーム中の異なるケースのピクセル強
度ヒストグラムを示すものである。

【図１１】図１１ａ〜１１ｆは、指および接触感知パネルとの接触の領域を例示している
グラフと、それに関連する、イメージ・フレーム中の異なるケースのピクセル強
度ヒストグラムを示すものである。

【図１２】図１２ａ〜１２ｃは、指および接触感知パネルとの接触の領域を例示している
グラフと、それに関連する、イメージ・フレーム中の異なるケースのピクセル強
度ヒストグラムを示すものである。

【図１３ａ】図１３ａは、この発明による別の実施形態のビューマンマシンインターフェー
スの、部分的に遠近法で表した概略図である。

【図１３ｂ】図１３ｂは、手上の点が図１３ａの前記ヒューマンマシンインターフェースの
部品を形成している前記接触感知パネルより上に間隔を置かれることを前記距離
の前記計算に明らかにしている表示である；

【図１４】図１４は、この発明による別の実施形態のビューマンマシンインターフェース
の、部分的に遠近法で表した概略図である。

【図１５】図１５は、本発明によればまだヒューマンマシンインターフェースの他の別の
実施例の側面図の概略図である；

【図１６】図１６は、この発明による別の実施形態のビューマンマシンインターフェース
の、部分的に遠近法で表した概略図である。

【図１７】図１７ａは、この発明による別の実施形態のビューマンマシンインターフェー
スの、部分的に遠近法で表した概略図である。図１７ｂは、図１７ａの前記ヒューマンマシンインターフェースの部品を形成
している前記接触感知パネルの一部を表示するものである。

【図１８】図１８は、本発明によれるヒューマンマシンインターフェースの更なる他の別
の実施例の側面図の概略図である。

【図１９】図１９ａは、図１８の前記ヒューマンマシンインタフェースの一部の拡大側面
立面図である。図１９ｂおよび１９ｃは、図１８の前記ヒューマンマシンインターフェースの
部品を形成しているホログラフィック光学素子の平面図である。図１９ｄは、図１８の前記ヒューマンマシンインターフェースの前記接触感知
パネルに配置されるパネル回折格子の配列の平面図である。

【図２０】図２０ａおよび２０ｂは、従来技術の回折格子による光学パスを示すものであ
る。

【図２１】図２１aは、図１８の前記ヒューマンマシンインターフェースのためのホログ
ラフィック光学素子の別の実施例の平面図である；図２１bは、図１８の前記ヒューマンマシンインターフェースのためのパネル
回折格子の配列の別の実施例の平面図である。

【図２２ａ】図２２aは、本発明によるヒューマンマシンインターフェースの更なる他の実
施例の平面図である；

【図２２ｂ】図２２bは、図２２aのヒューマンマシンインターフェースの側面立面図である
。

【図２２ｃ】図２２ｃは、図２２ａのヒューマンマシンインターフェースの部品を形成して
いるフォールディング・ミラーの側面立面図である。

【図２２ｄ】図２２dは、図２２ａのヒューマンマシンインターフェースの部品を形成して
いるフォールディング・ミラーの側面立面図である。

【図２２ｅ】図２２ｅは、図２２ａの一部のヒューマンマシンインターフェースの拡大頂部
および側面立面図である；

【図２２ｆ】図２２ｆは、図２２aの一部のヒューマンマシンインターフェースの拡大頂部
および側面立面図である；

【図２３】図２３は、図２２aのヒューマンマシンインターフェースの部品を形成してい
るアクチュエータ・ドライブ回路の回路図である；

【図２４】図２４は、本発明による図２２aのヒューマンマシンインターフェースと同様
のヒューマンマシンインターフェースの更なる他の実施例の側面立面図である。

【図２５】図２５は図２４のヒューマンマシンインターフェースの一部の拡大側面立面図
である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，ＣＡ，ＣＨ，ＣＮ，ＣＯ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ

Claims

【特許請求の範囲】

【請求項１】ヒューマン・マシーンインターフェイスであって、エネルギー伝達材料によって形成されたパネルであって、１もしくはそれ以上
の接触部が同時に形成されるであろうコンタクト面を有するパネルと、前記パネルにエネルギーを導くエネルギー源であって、前記パネルは前記エネ
ルギー源から受け取ったエネルギーを前記コンタクト面に伝達し、前記パネルに
よって伝達されたエネルギーのパラメータは前記コンタクト面に形成された接触
部の領域で変化する、前記エネルギー源と、検出器であって、前記コンタクト面上の接触領域に対応する前記エネルギーの
少なくとも１つのパラメータの変化を検出し、これに対応する値を出力する、検
出器と、前記検出器と通信する処理器であって、この処理器は前記出力値を処理し前記
コンタクト面上の接触領域の位置と前記各接触部に関連する他の属性のうちの少
なくとも１つを決定する、処理器と、を有するヒューマン・マシーンインターフェイス。
【請求項２】請求項１記載のヒューマン・マシーンインターフェイスにおい
て、前記少なくとも１つの他の属性は、前記各接触領域で前記パネルに適用され
る垂直方向の力を含む。
【請求項３】請求項２記載のヒューマン・マシーンインターフェイスにおい
て、前記少なくとも１つの他の属性は、前記各接触領域で前記パネルに適用され
る剪断方向の力を更に含む。
【請求項４】請求項１記載のヒューマン・マシーンインターフェイスにおい
て、前記位置は、前記接触領域の座標を算出することによって決定される。
【請求項５】請求項４記載のヒューマン・マシーンインターフェイスにおい
て、前記位置は、前記接触領域の中心の座標を算出することによって決定される
。
【請求項６】請求項２記載のヒューマン・マシーンインターフェイスにおい
て、前記少なくとも１つの他の属性は、前記パネルに接触がなされた瞬間と、接
触が終了した瞬間とを更に含む。
【請求項７】請求項６記載のヒューマン・マシーンインターフェイスにおい
て、前記少なくとも１つの他の属性は、前記各接触部の存続期間を更に含む。
【請求項８】請求項２記載のヒューマン・マシーンインターフェイスにおい
て、前記少なくとも１つの他の属性は、前記接触の間に前記パネルに適用される
垂直方向の力における振幅を更に含む。
【請求項９】請求項１記載のヒューマン・マシーンインターフェイスにおい
て、前記接触は、前記パネルの接触面にユーザーの指が触れることによって形成
され、パネルと前記指との間の接触は、前記パネルによって伝達されたエネルギ
ーの方向を変更させ、前記接触領域は一般に楕円形である。
【請求項１０】請求項９記載のヒューマン・マシーンインターフェイスにお
いて、前記パネルの直上領域は照明され、これによって一定間隔を介して接触面
から離間する指またはその部分を照明する。
【請求項１１】請求項１０記載のヒューマン・マシーンインターフェイスで
あって、前記少なくとも１つの他の属性は、前記各接触領域で前記パネルに適用される垂直方向の力、前記各接触領域で前記パネルに適用される剪断方向の力、前記パネルに接触がなされた瞬間及び接触が終了した瞬間、前記パネルに接触がなされる時の速度と、前記接触が終了される時の速度、前記接触の存続期間、前記接触の間に前記パネルに適用される垂直方向の力における振幅、のうち１つまたはそれ以上を有するものである。
【請求項１２】請求項１１記載のヒューマン・マシーンインターフェイスに
おいて、前記垂直方向の力は、前記楕円形の接触領域の面積を決定することによ
り算出される。
【請求項１３】請求項１２記載のヒューマン・マシーンインターフェイスに
おいて、前記処理器は、前記パネルと接触している前記ユーザーの指先の位置を
決定し、前記接触領域の中心に対して置き換えられた指先の座標を決定すること
によって剪断方向の力を算出する。
【請求項１４】請求項１１記載のヒューマン・マシーンインターフェイスに
おいて、前記検出器は、選択された周期で前記パネルの像を獲得し、前記各像は
多数のピクセルによって構成されているものであって、前記各ピクセルは、前記
周期び間に前記エネルギーの少なくとも１つのパラメータの露光量に比例したピ
クセル値に達しているものであって、前記検出器は、前記像内の接触領域に対応
するピクセルのに対する前記ピクセル値のヒストグラムを生成する。
【請求項１５】請求項１記載のヒューマン・マシーンインターフェイスにお
いて、前記パネルに導かれるエネルギーは、内面全反射により、前記パネル内で
伝導される。
【請求項１６】請求項１５記載のヒューマン・マシーンインターフェイスに
おいて、前記エネルギー源は光源であり、前記パラメータの少なくとも１つは強
度光線であり、前記パネル内で伝達された光線は、前記コンタクト面上に接触部
が形成される領域で前記パネルから流出し、それによって前記エネルギーを変化
させる。
【請求項１７】請求項１６記載のヒューマン・マシーンインターフェイスに
おいて、前記検出器は、選択された周期で前記パネルの像を取得し、各像は、多
数のピクセルによって構成されていて、それは光線の強さの露出に比例したピク
セル値を有し、前記ピクセル値は前記検出器によって出力される。
【請求項１８】請求項１７記載のヒューマン・マシーンインターフェイスに
おいて、前記光源は可視光線を放出し、前記検出器は、前記パネルの前記接触面
と反対側に相対的に配置されていて、前記光線は前記接触領域で前記パネルから
流出し、明るい領域として表れる。
【請求項１９】請求項１８記載のヒューマン・マシーンインターフェイスに
おいて、前記パネルの直上領域は照明され、これによって一定間隔を介して接触
面から離間する指またはその部分を照明する。
【請求項２０】請求項１９記載のヒューマン・マシーンインターフェイスに
おいて、前記少なくとも１つの他の属性は、前記各接触領域で前記パネルに適用される垂直方向の力、前記各接触領域で前記パネルに適用される剪断方向の力、前記パネルに接触がなさた瞬間と、前記接触が終了した瞬間、前記パネルに接触がなされる時の速度と、前記接触が終了される時の速度、前記接触の持続期間、前記接触の間に前記パネルに適用される垂直方向の力における振幅、のうち１つまたはそれ以上を有するものである。
【請求項２１】請求項２０記載のヒューマン・マシーンインターフェイスで
あって、垂直方向の力は、前記像内の明るい領域の面積を検定することによって
決定される。
【請求項２２】請求項２１記載のヒューマン・マシーンインターフェイスは
、第二光源を更に含み、前記コンタクト面の直上領域を照明する。
【請求項２３】請求項２２記載のヒューマン・マシーンインターフェイスに
おいて、前記第二光源は、前記コンタクト面の直上に光のシートを生成し、前記
光のシートは、指先を照明し、その当てた部分が前記コンタクト面に十分に接触
することで、月のようなハイライト部を前記検出器により取得された像内に有し
、前記処理器は、前記像内の月のようなハイライト部に対応するピクセル値を利
用し、前記指の中心縦軸を決定する。
【請求項２４】請求項２３記載のヒューマン・マシーンインターフェイスで
あって、剪断方向の力は、幾何学的な月のようなハイライト部の先端について前
記明るい領域の位置をなぞることにで決定される。
【請求項２５】請求項２２記載のヒューマン・マシーンインターフェイスで
あって、前記第二光源は、前記コンタクト面の反対側から前記パネルを照明する
ものであって、前記第二光源は指を照明し、その当てた部分が前記コンタクト面
に十分に接触することで、前記指の輪郭が前記検出器によって取得された像内に
含まれるものであって、前記検出器は、前記像内の前記指の輪郭に対応するピク
セル値を利用して前記指の中枢領域を決定するものである。
【請求項２６】請求項２５記載のヒューマン・マシーンインターフェイスで
あって、前記剪断方向の力は、幾何学的な指の輪郭の先端について、前記明るい
領域の位置をなぞることで決定される。
【請求項２７】請求項１記載のヒューマン・マシーンインターフェイスであ
って、前記エネルギー源は前記エネルギーを、前記コンタクト面と反対側の前記
パネルの表面へ向けて導き、前記エネルギーは、前記パネルを通過して前記コン
タクト面を経由して露出し、エネルギーは、前記コンタクト面と接触するオブジ
ェクトから出て反射され、前記パネル内に戻り、前記検出器は、前記パネル内に
戻るエネルギーを検出し、前記パネルで伝達するのであって、選択された周期で
前記パネルの像を獲得する。
【請求項２８】請求項２６記載のヒューマン・マシーンインターフェイスで
あって、前記検出器は、プリズムに介して前記パネルに光学的に連結されていて
、前記各像は、多数のピクセルによって構成され、そのピクセルは、前記エネル
ギーの少なくとも1つのパラメータへの露光に比例してピクセル値に達し、前記
ピクセル値は前記検出器によって出力される。
【請求項２９】請求項２８記載のヒューマン・マシーンインターフェイスで
あって、前記プリズムに関連した光バルブを更に含み、前記光バルブは起動可能
で、前記検出器とパネルを連結する。
【請求項３０】請求項２９記載のヒューマン・マシーンインターフェイスで
あって、前記検出器は、前記パネルに対して鋭角に向けられている。
【請求項３１】請求項２９記載のヒューマン・マシーンインターフェイスで
あって、前記光バルブは、前記検出器のために異なる画角を選択するために起動
可能なシャッターである。
【請求項３２】請求項２７記載のヒューマン・マシーンインターフェイスで
あって、前記エネルギー源は、表面に向けて光を鋭角に導く。
【請求項３３】請求項３２記載のヒューマン・マシーンインターフェイスで
あって、前記表面および前記接触面は平行で近接していて、セルフイイメージン
グの導波管を定義する。
【請求項３４】請求項３３記載のヒューマン・マシーンインターフェイスで
あって、前記コンタクト面の上に配置されたほぼ透過性のシートを更に含み、前
記シートは、表面に凸凹と前記パネルより低い屈射率を有する。
【請求項３５】請求項２７記載のヒューマン・マシーンインターフェイスで
あって、前記接点はユーザーの指によって前記パネルの上に形成され、前記接触
はほぼ一般に楕円形である。
【請求項３６】請求項３５記載のヒューマン・マシーンインターフェイスで
あって、前記パネルの直上領域は照明され、これによって一定間隔を介して接触
面から離間する指またはその部分を照明する。
【請求項３７】請求項３６記載のヒューマン・マシーンインターフェイスで
あって、前記少なくとも１つの他の属性は、前記各接触領域の前記パネルに適用される垂直方向の力、前記各接触領域で前記パネルに適用される剪断方向の力、前記パネルに接触がなされた瞬間と接触が終了した瞬間、前記パネルに接触がなされる時の速度と前記接触が終了される時の速度、前記接触の存続期間、前記接触の際に前記パネルに適用される垂直方向の力における振幅、のうち１つまたはそれ以上を有する。
【請求項３８】請求項３７記載のヒューマン・マシーンインターフェイスで
あって、前記垂直方向の力は前記楕円形接触位置の面積を決定することによって
算出される。
【請求項３９】請求項１記載のヒューマン・マシーンインターフェイスであ
って、前記パネル上へ像を投影する方法を更に有し、前記像は前記コンタクト面
を見た場合に可視である。
【請求項４０】請求項３９記載のヒューマン・マシーンインターフェイスで
あって、前記エネルギー源は、陰極線管（ＣＲＴ）であり、前記コンタクト面と
反対側に相対的に配置されていて、前記ＣＲＴは、エネルギー光線で前記表面を
スキャンすることで、前記パネル上に前記像を投影し、前記コンタクト面と接触
しているオブジェクトは、前記光線のエネルギーを反射して同じ物のように変化
し、前記検出器は反射エネルギーを検出し、それに対応しているピクセル値を出
力する。
【請求項４１】請求項４０記載のヒューマン・マシーンインターフェイスで
あって、前記検出器は赤・青・緑（ＲＧＢ）フォトダイオードを有しており、前
記反射エネルギーを検出する。
【請求項４２】請求項４１記載のヒューマン・マシーンインターフェイスで
あって、前記検出器は前記ＣＲＴを駆動する赤・緑・青の強度信号と前記フォト
ダイオードの出力を受信する信号分割機器を更に有し、前記信号分割器は反射エ
ネルギーの反射率を算出し、それによって前記ピクセル値を生成する。
【請求項４３】請求項４２記載のヒューマン・マシーンインターフェイスで
あって、前記ＣＲＴは前記パネルから離間していて、前記ヒューマン・マシーン
インターフェイスは、前記ＣＲＴと前記パネルの間に配置された少なくとも１つ
のレンズと、前記ＲＧＢフォトダイオードと前記パネルの間に配置された少なく
とも1つのレンズを更に含む。
【請求項４４】請求項４１記載のヒューマン・マシーンインターフェイスで
あって、前記ＣＲＴは前記パネルに近接しており、前記ヒューマン・マシーンイ
ンターフェイスは、伝達材料のシートを更に有しており、その中にモールディン
グされた少なくとも1つのレンズを有し、前記パネル上に配置され、前記パネル
と前記ＣＲＴの間に位置している。
【請求項４５】請求項４４記載のヒューマン・マシーンインターフェイスで
あって、前記接触面は凸凹の表面を有する。
【請求項４６】請求項１記載のヒューマン・マシーンインターフェイスであ
って、前記エネルギー源は、光線を前記パネルへ導き、ラスターパターンで前記
コンタクト面を横切るように前記光線をスキャンするスキャナを有する。
【請求項４７】請求項４６記載のヒューマン・マシーンインターフェイスで
あって、前記スキャナは、前記光線を生成する光源と前記光線の通り道に配置さ
れている可動複合光学要素を有していて、前記複合光学要素は、前記コンタクト
面を横切るように前記複合光学要素が動くことによって前記光線を前記ラスター
パターンでスキャンするものである。
【請求項４８】請求項４７記載のヒューマン・マシーンインターフェイスで
あって、前記複合光学要素は離間した回転式ホログラフィック光学素子（ＨＯＥ
ｓ）を少なくとも２つ有し、各ＨＯＥは、円周上に離間して配置された回折格子
の環を少なくとも１つ有するのであって、前記各回折格子は前記複合光学要素が
回転し、前記光線がその上で衝突する場合、前記ラスターパターンの各列全体に
わたって前記光線をスキャンするものである。
【請求項４９】請求項４８記載のヒューマン・マシーンインターフェイスで
あって、前記スキャナはオフアクシス（ｏｆｆ−ａｘｉｓ）であって、前記回折
格子は格子機能を有していてキーストン効果を補正するものである。
【請求項５０】請求４８記載のヒューマン・マシーンインターフェイスであ
って、前記各ＨＯＥは回折格子の同一中心の環を有し、1つの前記環の回折格子
は、ラスターパターンで前記パネル全体にわたって前記光線をスキャンするもの
であって、もう一方の前記環は、パネル上の像を投影し、それはコンタクト面を
見た場合に可視である。
【請求項５１】請求項４８記載のヒューマン・マシーンインターフェイスで
あって、前記コンタクト面と反対側の前記パネルの表面上に配置されている複数
列の回折格子からなる配列をさらに有し、前記配列中の回折格子各列は、ＨＯＥ
上の各回折格子と関連づけられていて、前記各列全体にわたる前記光線スキャン
中に、前記コンタクト面上で前記光線の集光を補助する。
【請求項５２】請求項１記載のヒューマン・マシーンインターフェイスであ
って、前記エネルギー源は一対のスキャナを有し、それは前記パネルへ光線を導
くものであって、この光線をラスターパターンで前記コンタクト面を横切るよう
にスキャンするものである。
【請求項５３】請求項５２記載のヒューマン・マシーンインターフェイスで
あって、前記各スキャナは、相対的に可動する一対の回折格子を有し、Ｘ方向に
前記パネル全体にわたって前記光線をスキャンする片一方の前記スキャナの回折
格子の動きと、Ｙ方向に前記光線を動かすもう片方のスキャナの回折格子の動き
を有する。
【請求項５４】請求項５３記載のヒューマン・マシーンインターフェイスで
あって、前記パネルはその反対端にミラーを有し、前記ミラーは前記コンタクト
面上に前記光線が衝突する前に、前記パネル内部で前記光線の光学パスを延ばす
ために、複数回にわたってあちこちに前記パネルに入ってくる光線を反射するも
のである。
【請求項５５】コンタクト面を有しかつエネルギー伝達材料によって形成さ
れたパネル上で接触を検出する方法であって、パネルによって伝達されたエネルギーをパネルへ導き、パネルによって伝達さ
れたエネルギーの少なくとも1つのパラメータは、コンタクト面で接触が形成さ
れる領域で変化し、前記コンタクト面上の接触領域に対応する前記エネルギーの少なくとも1つの
パラメータの変化を検出し、これに対応する値を出力し、前記出力値を処理しコンタクト面上の接触領域の位置と各接触部に関連する他
の属性のうち少なくとも１つを決定する方法である。
【請求項５６】請求項５５記載の方法であって、前記出力値は処理され、各接触領域でパネルに適用される垂直方向の力、各接触領域でパネルに適用される剪断方向の力、パネルに接触がなされた瞬間と、接触が終了した瞬間、パネルに接触がなされる時の速度と、接触が終了される時の速度、接触の存続期間、接触の間にパネルに適用される垂直方向の力における振幅、のうち少なくともひとつを決定するものである。
【請求項５７】請求項５６記載の方法であって、コンタクト面を見た場合に
可視であるパネル上の像を投影する工程を更に有する。
【請求項５８】インターフェイスであって、エネルギー伝達材料で形成され
かつ1つまたはそれ以上の接点が同時に形成されるであろうコンタクト面を有す
るパネルとともに使用され、前記パネルはエネルギー源から受け取られたエネル
ギーをコンタクト面へ伝達し、前記パネルによって伝達されるエネルギーの少な
くとも1つのパラメータは、コンタクト面に形成された接触部の領域で変化され
たものであって、前記インターフェイスは、検出器であって、前記コンタクト面上で接触領域に対応する前記エネルギーの
少なくとも1つのパラメータの変化を検出し、これに対応する値を出力する検出
器と、前記検出器と通信する処理器であって、この処理器は前記出力値を処理し前記
コンタクト面上の前記接触領域の位置と前記各接触部に関連する他の属性のうち
少なくとも１つを決定する処理器と、を有する。
【請求項５９】請求項５８記載のインターフェースであって、前記他の属性
のうち少なくとも1つは前記各接触領域で前記パネルに適用される垂直方向の力
を含む。
【請求項６０】請求項５９記載のインターフェースであって、前記他の属性
のうち少なくとも１つは前記各接触領域で前記パネルに適用される剪断方向の力
を更に含む。
【請求項６１】請求項５８記載のインターフェースであって、前記位置は前
記接触領域の座標を算出することで決定される。
【請求項６２】請求項６１記載のインターフェースであって、前記位置は前
記接触領域中心部の座標を算出することで定義される。
【請求項６３】請求項５９記載のインターフェースであって、前記少なくと
も１つの他の属性は、前記パネルに接触がなされた瞬間と接触が終了した瞬間を
更に含む。
【請求項６４】請求項６３記載のインターフェースであって、前記少なくと
も１つの他の属性は、前記各接触の存続期間を更に含む。
【請求項６５】請求項５９記載のインターフェースであって、前記少なくと
も１つの他の属性は、前記接触の間に前記パネルに適用される垂直方向の力にお
ける振幅を更に含む。
【請求項６６】ディスプレイ装置は像を投影するものであって、エネルギー伝達材料で形成されたパネルであって、前記像を見ることができる
ディスプレイ面を有するパネルと、スキャナであって、前記パネルへ光線を導き、前記像を投影するためにラスタ
ーパターンで前記ディスプレイ面全体にわたって前記光線をスキャンする、スキ
ャナと、前記スキャナであって、前記光線を生成するための光源と前記光線の通
り道に配置されている可動性複合光学要素を有する、スキャナと、前記複合光学
要素であって、前記複合光学要素は、前記コンタクト面を横切るように前記複合
光学要素が動くことによって前記光線を前記ラスターパターンでスキャンする、
複合光学要素と、を有するインターフェイス。
【請求項６７】請求項６６記載のディスプレイ装置であって、前記複合光学要素は離間した回転式ホログラフィック光学素子（ＨＯＥ）を少
なくとも２つ有し、各ＨＯＥは、円周上に離間して配置された回折格子の環を有
するのであって、前記各回折格子は前記複合光学要素が回転し、前記光線がその
上で衝突する場合、前記ラスターパターンの各列全体にわたって前記光線をスキ
ャンするものである。
【請求項６８】請求項６７記載のディスプレイ装置であって、前記コンタク
ト面と反対側の前記パネルの表面上に配置されている回折格子からなる配列をさ
らに有し、前記配列中の回折格子各列は、ＨＯＥ上の各回折格子と関連づけられ
ていて、前記各列全体にわたる前記光線スキャン中に、前記コンタクト面上で前
記光線の集光を補助する。
【請求項６９】請求項６７記載のディスプレイ装置であって、前記スキャナ
は、オフアクシス（ｏｆｆ−ａｘｉｓ）であって、前記回折格子は格子機能を有
していてキーストン効果を補正するものである。