JP2006048650A - 赤外線画像作成システムにおける不要信号の影響を低減させるための方法およびシステム - Google Patents

Abstract

【課題】 赤外線光源を用いる画像システムにおいて、不要赤外線の影響を低減させる。
【解決手段】 必要赤外線光源が活性化され、画像データの第１組が第１の画像キャプチャ区間中に獲得される。その後、必要赤外線光源が非活性化され、画像データの第２組が第２の画像キャプチャ区間中に獲得される。その後、画像データの第２組の第２値に対応する画像データの第１組の第１値から減じることで画像データの合成組が生成される。これにより、ＩＲ光路から信号の発生しない減算された画像からＩＲ光源から発生する信号と、他のＩＲ信号との両方を含み、ＩＲ光源からだけ生じる信号を含むデータを除く全赤外線信号のデータが収集される画像組を画像データの合成組が含む。
【選択図】 図６

Description

本発明は、主に能動赤外線（ＩＲ）画像作成、特に能動ＩＲ光源からの画像データの質を改善するため、関心領域における意図しない不要ＩＲ光源から受信されるＩＲ信号を取り除くことに関する。

不要信号の有無は、ほとんどあらゆる電磁信号の処理における関心事である。ラジオといった比較的単純なシステムにおいても、当該信号が受信されていない際に聞こえる不要な背景空電雑音を避けるようある大きさ未満の信号を減衰させるため、スケルチ制御が行われることが多い。何が不要な背景空電雑音になるかはユーザが判断するものであり、ユーザは、その判断に基づいて受信信号の可聴性を制限するようスケルチ制御を設定できる。

コンピュータが自動的に入力信号に応答する自動信号処理システムには、さらに難しい問題がある。上述のスケルチ制御の例と異なり、ユーザが経験と判断に基づいてスケルチレベルを調節できる場合、必要な信号タイプと不要な信号タイプとを区別するため自動的に制限値を設定するようコンピュータシステムのプログラムを行うことは、さらに困難である。例えば、コンピュータは、キーボード、ポインティング装置やそれに類する入力装置からの明確な入力に対しては良好に応答するが、音声命令に対しては十分に応答しない。音声認識プログラムを用いた人は、ユーザが用いたある言葉に対してコンピュータが認識に失敗した場合の難しさを経験したことがあるが、コンピュータが感知する音声入力に影響を与える背景雑音あるいはその他の音声がある場合、こういったケースはさらに多くなる。

コンピュータビジョンには、概して音声認識よりもはるかに複雑な問題がある。コンピュータが処理すべき視覚信号が多すぎる、あるいは視覚信号の範囲が広すぎる場合、入力がコンピュータで誤って読み込まれる恐れが大きくなる。一方、コンピュータが視覚信号の抑制を行いすぎると、コンピュータが視覚入力を誤って読み込む、あるいは意図された視覚入力を全て無視してしまう可能性がある。

現行のコンピュータビジョンは、コンピュータやそのインタフェースをさらにユーザが使いやすくする必要性が高まるにつれて徐々に重要な領域になりつつある。例えば、『メタデスク：有形ユーザインタフェースのためのモデルおよびプロトタイプ』ＵＩＳＴ１０／１９９７：１４−１７でブリグ・ウルマーおよびヒロシ・イシイが報告しているとおり、ＭＩＴメディア研究室が『キーボードのない』ヒューマンマシンインタフェースの新たな形態を開発した。メタデスクには、一般的に、計算システムのテキストおよび図形出力を表示するだけでなく、図形面に設置された対象を『見て』それに応じることでユーザの入力を受け入れる平面図形面を含む。メタデスクの図形面の合成対象応答性および表示性は、メタデスク面の下部に配設されたＩＲランプ、ＩＲカメラ、ビデオカメラ、ビデオプロジェクタ、鏡を用いて容易になる。図形表示面上部からユーザが見ることのできる画像をもたらすため、鏡は図形表示面の下部にプロジェクタで映し出された図形画像を反射する。ＩＲカメラは、図形面に設置された対象下面からのＩＲ反射を検出することができる。図形表示面に配設される対象から特別に形成された対象あるいはＩＲ反射光を『見て』それを検出することにより、メタデスクは表示面上の対象の同時設置や移動に応答し、ＭＩＴのキャンパス地図を表示させて移動させるといった所定機能を実行することができる。

その他、同様のキーボードのないインタフェースが開発されている。例えば、株式会社ソニー・コンピュータ・サイエンス研究所のジュン・レキモトとその関係者による論文では、表面に画像を表示する『ホロウォール』や『ホロテーブル』および表面に隣接して設置された対象を検出するためのＩＲ光線について説明している。

メタデスクおよびホロウォール／ホロテーブルは両方とも対象および動きを見るためにＩＲ光線を用いるが、それには十分な理由がある。システムが可視光線に対して反応すれば、システムで投影され対話面で反射された可視光線によりコンピュータシステムが誤った読み込みを行う恐れがある。さらに、反射が抑えられたとしても、システムが暗い部屋におかれない限り、対話面を通過する部屋の光やその他の光により、コンピュータビジョンシステムにかなりの悪影響をもたらす恐れがある。

対話表示面に設置された対象を検出するために反射ＩＲ光線を用いることにより、いたるところにある可視光線を用いて対象を認識しようとする試みで発生する問題の多くを避けることができる。しかし、大部分の光源で生成される光線のＩＲ成分について大まかにわかるようになってきたが、裸眼で見ることができないことから、コンピュータビジョンシステムに悪影響をもたらす周囲ＩＲ光線信号も非常に一般的なものである。白色光、太陽光、さらにその他のさまざまな一般的光源もＩＲ光線を発生させる。こういった意図されないＩＲ信号は、意図されない可視光線信号とまったく同様に、ＩＲ感知式コンピュータビジョンシステムに望ましくない入力をもたらしうる。帯域フィルタを用いれば可視光線や他の非ＩＲ光線をおさえることができるが、背景ＩＲ光線から検出される対象から反射されるＩＲ光線を分離する際には役に立たない。
いくつかの文献に上述のような従来の技術に関連した技術内容が開示されている（例えば、特許文献１参照）。

米国特許第４，９９２，６５０号明細書

そのため、ＩＲ光線ビジョンシステムが外部のＩＲ光線信号に反応することを防ぐため、意図しない不要なＩＲ光線のフィルタリング、マスクを行う、あるいはその影響を低減させることが必要である。ＩＲコンピュータビジョンシステムを全ての背景ＩＲ光源からの遮蔽を行う環境下で作動させることなく、対象検出時に不要背景ＩＲ光線の影響を避ける必要がある。

本発明は、このような状況に鑑みてなされたもので、その目的とするところは、能動ＩＲ光源からの画像データの質を改善する、赤外線画像作成システムにおける不要信号の影響を低減させるための方法およびシステムを提供することにある。

本発明のさらに重要な機能の１つは、ＩＲ画像システムにおいて、太陽光、白色光、その他のＩＲ光源などの周囲光源を含む不要ＩＲ光源の影響を低減させることである。画像データは、ＩＲ画像システムで制御されるＩＲ光源が活性化されている場合と、それが活性化されていない場合の両方で獲得される。制御されたＩＲ光源が非活性化されている際に収集される画像データは、不要ＩＲ光源による画像データである。これにより、ＩＲ光源が活性化されている際に収集された画像データ組からＩＲ光源が非活性化されている際に収集された画像データ組を画素に関して減算することにより、得られた合成画像データ組が、制御されたＩＲ光源で生成された照射による画像データだけを含む。

本発明の１つの観点は、このように、ＩＲ光源を用いる画像システムにおける不要ＩＲ光源の影響を低減させるための方法に関する。ＩＲ光源は第１の画像キャプチャ区間中で活性化され、画像データの第１組が第１の画像キャプチャ区間中に獲得される。その後、ＩＲ光源が非活性化され、画像データの第２組が第２の画像キャプチャ区間中に獲得される。その後、画像データの第２組の第２値に対応する画像データの第１組の第１値から減じることで画像データの合成組が生成される。

本発明の１つの実施形態において、画像キャプチャ装置で生成される画像キャプチャ信号によりＩＲ光源を第１の画像キャプチャ区間中で活性化し、第２の画像キャプチャ区間中で非活性化するようＩＲ光源の活性化が画像キャプチャ装置で制御される。

ＩＲ光源は透光面の第１面に配設される。その結果、ＩＲ光源が、透光面の反対側に隣接配設される対象物にＩＲ光線を向ける。ＩＲ光源のような画像キャプチャ装置は透光面の第１面に配設され、対象物により反射されたＩＲ光源で発せられたＩＲ光線を獲得するために用いられる。

画像処理システムは、対象物の特性を認識するため、画像データの合成組において対象物で反射される光線を用いる。この方法において、画像データの第１組の第１値は、ＩＲ光源が活性化されている際に第１の画像キャプチャ区間で透光面の第１面にわたる複数点のそれぞれに対して獲得されるＩＲ光線の強度を示す。この画像データ組の第２値は、ＩＲ光源が非活性化されている際に第２の画像キャプチャ区間で透光面の第１面にわたる複数点のそれぞれに対して獲得されるＩＲ光線の強度を示す。

本発明の１つの実施形態において、合成画像データは式：
Ｄ（ｘ，ｙ）＝Ｉ_ＯＮ（ｘ，ｙ）−Ｉ_ＯＦＦ（ｘ，ｙ）
で決められ、
ここで：
・ｘ，ｙは、透光面の第１面のある点の座標位置を示し；
・Ｉ_ＯＮ（ｘ，ｙ）は、点ｘ，ｙにおける第１の画像キャプチャ区間中で検出されるＩＲ光線の強度を示し；
・Ｉ_ＯＦＦ（ｘ，ｙ）は、点ｘ，ｙにおける第２の画像キャプチャ区間中で検出されるＩＲ光線の強度を示し；
・Ｄ（ｘ，ｙ）は、第２の画像キャプチャ区間中において点ｘ，ｙで獲得されるＩＲ光線の強度が、第１の画像キャプチャ区間中において点ｘ，ｙで獲得されるＩＲ光線の強度から減算される際の点ｘ，ｙにおけるＩＲ光線の正味強度を示す。

生成される画像データの合成組は画像処理システムに送られる。ここで、対象物で反射されるＩＲ光線は、対象物の特性を認識するために用いられる。さらに、好ましくは、プロジェクタが透光面の第１面に設置され、このプロジェクタを透光面の反対側に画像を示すために用いることが可能である。透光面の反対側にある対象物は、このように、その上で示される画像と相互作用が可能である。
本発明の前述の観点および付随する多数の利点については、添付される図面と連係させた、以下の詳細な説明を参照することでさらによく理解されることがすぐに認められるであろう。

以下、図面を参照して本発明を適用できる実施形態を詳細に説明する。

本発明を実施するための例示的なコンピューティングシステム
図１を参照すると、本発明のさまざまな部分を実行する際に適した代表的システムが示されている。このシステムは、プロセッサ２１、システムメモリ２２、システムバス２３とともに従来型ＰＣ（personal computer）２０形態の汎用計算装置を含む。システムバスは、システムメモリを含むさまざまなシステム構成要素をプロセッサ２１に結合し、メモリバスあるいはメモリ制御装置、周辺バス、さまざまなバス構成のいずれかを用いるローカルバスを含む複数タイプのバス構造のいずれかである。システムメモリには読出専用メモリ（ＲＯＭ）２４やランダムアクセスメモリ（ＲＡＭ）２５がある。起動中といったＰＣ２０内の要素間で情報を転送する際に助けとなる基本ルーチンを含む基本入出力システム２６（ＢＩＯＳ）がＲＯＭ２４に保存される。パソコン２０にはさらに、（図示されていない）ハードディスクからの読み込みやそこへの書き込みを行うためのハードディスクドライブ２７、リムーバブル磁気ディスク２９からの読み込み、あるいはそこへの書き込みを行うための磁気ディスクドライブ２８、コンパクトディスク読出専用メモリ（ＣＤ−ＲＯＭ）あるいは他の光媒体といったリムーバブル光ディスク３１からの読み込み、あるいはそこへの書き込みを行うための光ディスクドライブ３０が含まれる。ハードディスクドライブ２７、磁気ディスクドライブ２８、光ディスクドライブ３０は、ハードディスクドライブインタフェース３２、磁気ディスクドライブインタフェース３３、光ディスクドライブインタフェース３４によりそれぞれシステムバス２３に結合される。ドライブと、関連するコンピュータ読み込み可能媒体により、ＰＣ２０に対するコンピュータ読み込み可能マシン命令、データ構造、プログラムモジュール、他のデータの非揮発性保存が行われる。ここで説明された典型的環境ではハードディスク、リムーバブル磁気ディスク２９、リムーバブル光ディスク３１を用いているものの、磁気カセット、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）、ベルヌーイカートリッジ、ＲＡＭ、ＲＯＭ等のコンピュータでアクセス可能なデータやマシン命令を保存することのできる他のタイプのコンピュータ読み込み可能媒体を、典型的作動環境でも用いることができることを当業者であれば認めるであろう。

オペレーティングシステム３５、１つ以上のアプリケーションプログラム３６、他のプログラムモジュール３７、プログラムデータ３８を含む多数のプログラムモジュールが、ハードディスク、磁気ディスク２９、光ディスク３１、ＲＯＭ２４あるいはＲＡＭ２５で保存される。ユーザは、ＰＣ２０に命令や情報を入力し、キーボード４０やポインティング装置４２といった入力装置を通して制御入力を行う。ポインティング装置４２にはマウス、スタイラス、ワイヤレスリモコン、その他のポインタがあるが、ユーザが入力および制御に対して対話表示を用いることができるため、本発明に関しては、そのような従来型ポンティング装置をなくすことができる。これ以降、『マウス』という用語は、スクリーン上のカーソル位置を制御する上で有用な、実質的にあらゆるポンティング装置を含むと意図される。（図示されていない）他の入力装置には、マイク、ジョイスティック、触覚ジョイスティック、ヨーク、フットペダル、ゲームパッド、衛星ディスク、スキャナ等が含まれる。これらの、そして、さらに他の入出力（Ｉ／Ｏ）装置が、システムバス２３に結合されたＩ／Ｏインタフェース４６を通してプロセッサ２１に結合されることが多い。Ｉ／Ｏインタフェースという用語は、特にシリアルポート、パラレルポート、ゲームポート、キーボードポート、および／またはユニバーサルシリアルバス（ＵＳＢ）に対して用いられる各インタフェースを含むよう意図される。システムバス２３はまた、カメラインタフェース５９に接続されており、このカメラインタフェースは、以下に説明するとおり内部に含まれるデジタルビデオカメラからの信号を受信するため対話ディスプレイ６０に結合されている。代わりにデジタルビデオカメラは、ＵＳＢバージョン２．０ポートといった適当なシリアルＩ／Ｏポートに結合される。オプションとして、モニタ４７はビデオアダプタ４８といった適当なインタフェース経由でシステムバス２３に接続可能である；しかし、本発明の対話ディスプレイテーブルにより、さらに詳細な表示を行い、ユーザに対して情報入力やソフトウェアアプリケーションの制御のための対話を行わせることができるため、ビデオアダプタと結合されることが好ましい。ＰＣは、スピーカ（音声カードあるいは他の音響インタフェース図示されていない）やプリンタといった（図示されていない）他の周辺出力装置に結合されることが多いということが認められるであろう。

ＰＣ２０は、リモートコンピュータ４９といった１つ以上のリモートコンピュータへの論理結合を用いるネットワーク環境で作動するものの、本発明は単体のマシン上でも実行できる。リモートコンピュータ４９は、他のＰＣ、（典型的には、ＰＣ２０と非常に似た形で一般的に構成される）サーバ、ルータ、ネットワークＰＣ、ピアデバイス、衛星あるいは他の共通ネットワークノードであり、典型的には、ＰＣ２０に関して上述の要素の多く、あるいはその全てを含むものであるが、図1では外部メモリ記憶装置５０だけが示されている。図1に示される論理結合にはローカルエリアネットワーク（ＬＡＮ）５１やワイドエリアネットワーク（ＷＡＮ）５２が含まれる。このようなネットワーク環境は、事務所、全社的コンピュータネットワーク、イントラネット、インターネットでは普通のものである。

ＬＡＮネットワーク環境で用いられる場合、ＰＣ２０はネットワークインタフェースあるいはアダプタ５３経由でＬＡＮ５１に結合される。ＷＡＮネットワーク環境で用いられる場合、ＰＣ２０は、典型的には、モデム５４、あるいはケーブルモデム、デジタル加入者回線（ＤＳＬ）インタフェースといった他の手段、インターネットのような、ＷＡＮ５２上での通信を確立するための統合サービスデジタルネットワーク（ＩＳＤＮ）インタフェースを含む。内部あるいは外部にあるインターネットモデム５４は、システムバス２３に接続される、あるいは、Ｉ／Ｏ装置インタフェース４６、すなわちシリアルポートを通してバスに結合される。ネットワーク環境において、ＰＣ２０で使用されるプログラムモジュール、あるいはその一部がリモートメモリストレージ装置内に保存される。ここで示されたネットワーク接続は代表的なものであり、無線通信広帯域ネットワークリンクといったコンピュータ間で通信リンクを確立するための他の手段も使われるということが認められよう。

例示的な対話面
図２において、代表的な対話ディスプレイテーブル６０が示されているが、これはフレーム６２内にＰＣ２０を含んでおり、コンピュータ用の光入力とビデオディスプレイ装置との両方に対して機能する。この対話ディスプレイテーブルの断面図では、テキストおよび図形画像を表示するために用いられる光線が、一般的に点線で示されており、対話ディスプレイテーブルの表示装置６４ａ上、あるいはそのすぐ上に置かれた対象を検出するために用いられる赤外（ＩＲ）光線が一点鎖線を用いて示されている。表示面６４ａは対話ディスプレイテーブルの上面６４内に設定される。テーブル面の周囲は、表示面６４ａに表示されている図形画像あるいは仮想環境との相互作用のために用いられる対象を含む、ユーザの腕や他の対象を支持するために有用である。

ＩＲ光源６６は、好ましくは複数のＩＲ発光ダイオード（ＬＥＤ）を含み、フレーム６２の内側に設けられる。ＩＲ光源６６で生成されるＩＲ光線は、点線７８ａ，７８ｂ，７８ｃで示されるとおり、表示面６４ａの下部に向けて上方に向けられている。ＩＲ光源６６からのＩＲ光線は、光拡散性の、ベラム（上質皮紙）あるいは他の適当な半透明材料を備えるテーブルの半透明層６４ｂを通過後に表示面の上あるいはその近傍にある任意の対象から反射される。１つのＩＲ光源６６だけが示されているものの、フレーム６２の内側付近の離れた場所に複数のＩＲ光源が設けられ、表示面６４ａの均等照射を行うことが認められるであろう。ＩＲ光源で生成される赤外線は：
・点線７８ａで示されるとおり、対象を照射することなくテーブル面を通して抜け出る；
・点線７８ｂで示されるとおり、テーブル面の対象を照射する；
・あるいは、点線７８ｃで示されているとおり、テーブル面上の少し離れたところにあってそれに接触しない対象を照射する。

表示面６４ａ上の対象は、表示面上にある『接触』対象７６ａと、表示面近くにあってそれには実際に接触しない『ホバー』対象７６ｂとを含む。表示面を通過するＩＲ光線を拡散させるための表示面下部の半透明層６４ｂを用いた結果、対象が表示面６４ａの最上部に近づくにつれ、対象で反射されるＩＲ光線量が増加し、対象が実際に表示面と接触するとＩＲ光線量が最大レベルに達する。

デジタルビデオカメラ６８は、表示面６４ａ上に配設される接触対象あるいはホバー対象から反射されるＩＲ光線を受信する上で適した位置の表示面６４下部のフレーム６２に設けられる。デジタルビデオカメラ６８は、点線８４ａに沿って表示面６４ａを通過するＩＲ光線だけを通して周辺可視光線をブロックするＩＲ帯域フィルタ８６ａを備える。ＩＲ光源から直接発せられるＩＲ光線がデジタルビデオカメラに入ることを防ぐため、ＩＲ光源６６とデジタルビデオカメラとの間にバッフル７９が配設される。これは、デジタルビデオカメラが、表示面６４ａのすぐ上、あるいはそれに接触する対象からの反射ＩＲ光線にだけ反応し、表示面に、あるいはその上にある対象からの反射ＩＲ光線の画像に応じた出力信号を生成する必要があるためである。デジタルビデオカメラ６８が、対話ディスプレイ内部の上から、あるいはその中へ表示面６４ａを通して通過する周辺光線に含まれる任意のＩＲ光線（例えば、点線８４ａで示される経路を同様に通る周辺ＩＲ光線）にも反応することは明らかである。

テーブル面上あるいはその上部から反射されるＩＲ光線は：
・一点鎖線８０ａおよび８０ｂで示されるとおり、半透明層６４ｂを通って、ＩＲ帯域フィルタ８６ａを通って、デジタルビデオカメラ６８のレンズに反射して戻され；または、
・一点鎖線８０ｃで示されるとおり、デジタルビデオカメラ６８のレンズに入ることなく対話ディスプレイ内の他の内面で反射あるいは吸収される。

半透明層６４ｂは入射ＩＲ光線と反射ＩＲ光線との両方を拡散させる。これにより、上で説明したとおり、表示面６４ａに近い方の『ホバー』対象は、表示面からもっと離れた同じ反射率の対象よりもデジタルビデオカメラ６８にＩＲ光線を多く反射する。デジタルビデオカメラ６８は、画像部内の『接触』および『ホバー』対象からのＩＲ光線を検出し、各対象の場所、さらにオプションとして、対象の大きさ、向き、形状を判定する処理のためＰＣ２０に入力される反射ＩＲ光線の画像に対応するデジタル信号を生成する。（ユーザの前腕といった）対象の一部はテーブルの上部にあり、（ユーザの指といった）他の部分は表示面に接触していることに注意するべきである。さらに、対象は、対象、あるいは対象が一部を占める関連対象のクラスに特定の底面にＩＲ光線反射様式、あるいはコード化識別子（例えば、バーコード）を含む。したがって、本発明により、デジタルビデオカメラ６８からの画像信号は、そのような特定対象を検出するためだけでなく、反射様式から反射されるＩＲ光線によりその向きを判定するためにも用いることができる。この機能を実行するために実施される論理ステップを以下に説明する。

ＰＣ２０は、図２に示すとおり対話ディスプレイテーブル６０に統合されてもよく、その他、図３の実施形態に示すとおり、対話ディスプレイテーブルの外部においてもよい。図３において、対話ディスプレイテーブル６０はデータケーブル６３経由で外部ＰＣ２０（上述のとおり、任意のモニタ４７を含む）に接続される。さらに同図で示すとおり、直交するＸ軸およびＹ軸の組は、『０』で示される原点と同様に、表示面６４ａと関連付けられている。特に示されていないが、各直交軸に沿った複数の座標位置により表示面６４ａの任意の位置を示すことができることが認められる。

対話ディスプレイテーブルが（図３に示すとおり）外部ＰＣ２０、あるいは（図示されていない）セットトップボックス、ビデオゲーム、ラップトップコンピュータ、メディアコンピュータといった他のタイプの外部計算装置に接続されている場合、対話テーブルは入出力装置を含む。対話ディスプレイテーブル用電源は入力線６１を通して供給されるが、この入力線は（図示されていない）通常の交流（ＡＣ）線電源に結合される。データケーブル６３は対話ディスプレイテーブル６０’に接続するものであり、ＰＣ２０上のＵＳＢ２．０ポート、米国電気電子学会（ＩＥＥＥ）１３９４（すなわちファイヤーワイヤー）ポート、あるいはイーサネット（登録商標）ポートに結合できる。無線接続の速度が向上するにつれ、そのような高速無線接続を通して、あるいは他の適切な有線または無線データ通信リンクを通してＰＣ２０のような計算装置に対話ディスプレイテーブルを接続させることも考えられている。対話ディスプレイの一部として内部に含まれるにしても、外部に置かれるにしても、ＰＣ２０は、デジタルビデオカメラ６８からのデジタル画像の処理のためのアルゴリズムを実行し、対話ディスプレイテーブル６０のさらに直感的なユーザインタフェース機能を有利に用いるよう設計されたソフトウェアアプリケーションを実行するとともに、そのような機能を利用するよう特に設計されてはいない、他のソフトウェアアプリケーションを実行する。さらに他の方法として、対話ディスプレイが、外部計算装置に結合できるとともに、画像処理や外部ＰＣで実行されない他の作業を行うための内部計算装置を含む。

対話ディスプレイテーブルの重要で強力な特性（すなわち上で説明した実施形態の特性）は、ゲームあるいは他のソフトウェアアプリケーションに対する図形画像あるいは仮想環境を表示し、表示面６４ａで見ることのできる図形画像、あるいは仮想環境と、対象７６ａといった表示面上にある、あるいは対象７６ｂといったそのすぐ上の空間にある対象との間の対話を可能にするものである。これは、そのような対象や、この豊富な相互作用を大いに簡略化する、ユーザの操作により動くユーザの指あるいは他の対象を視覚的に検出するための対話ディスプレイテーブルの機能である。

再び図２を参照すると、対話ディスプレイテーブル６０は、図形画像、仮想環境、あるいはテキスト情報を表示面６４ａに表示するために用いられるビデオプロジェクタ７０を含む。ビデオプロジェクタは、好ましくは、液晶ディスプレイ（ＬＣＤ）あるいはデジタル光プロセッサ（ＤＬＰ）タイプ、あるいは少なくとも６４０×４８０ピクセルの解像度をもつシリコン上液晶（ＬＣｏＳ）ディスプレイタイプでできている。ＩＲカットフィルタ８６ｂは、ビデオプロジェクタにより発せられるＩＲ光線が、表示面６４ａ上の、あるいはその上部にある対象からの反射ＩＲ光線とＩＲ光線が干渉する対話ディスプレイテーブルの内部に入り込むことを防ぐため、ビデオプロジェクタ７０のプロジェクタレンズの前に設けられる。第１の鏡アセンブリ７２ａは、フレーム６２の透明開口９０ａを通して点線８２ａに沿ってプロジェクタレンズからくる投射光を、この投射光が第２の鏡アセンブリ７２ｂに入射するように向ける。第２の鏡アセンブリ７２ｂは投射光を半透明層６４ｂに向けて反射させるが、この層はプロジェクタレンズの焦点にあり、そのため投射画像を、表示面６４ａの焦点で見られる。

アラインメント装置７４ａおよび７４ｂが設けられ、この装置は、表示面に投射される画像が表示面に対して位置合わせされるよう第１および第２の鏡アセンブリの角度を調節するためのねじ棒および回転可能な調整ナット７４ｃを含む。投射画像を必要な方向に向けることに加えて、これら２つの鏡アセンブリを利用することにより、プロジェクタ７０と半透明層６４ｂとの間の経路が長くなり、さらに重要なこととして、対話ディスプレイテーブルの必要な大きさと形状を実現する助けとなるため、対話ディスプレイテーブルが大きくなりすぎず、ユーザが快適にその隣に座ることが可能になるような大きさと形状になる。

上述の、さらに以下の解説は、対話ディスプレイテーブル６０および６０’の形状の対話ディスプレイ装置を説明している。しかし、対話表示面はほぼ水平のテーブルトップ形状である必要はないということが理解される。本発明の説明で示した原理には、異なる形状や曲率の表示面を適切に含み、それに適用され、さらに水平以外の向きにも適切に設置される。これにより、以下の説明では対象物を対話表示面『上』に設置するとしているが、対象物は、これを表示面に接して設置する、あるいは表示面に近接して設置することで隣接設置してもよい。

制御されたＩＲ光源でキャプチャされたＩＲ画像と制御されたＩＲ光源なしでキャプチャされたＩＲ画像
対話ディスプレイテーブル６０（図２）はＩＲ帯域フィルタ８６ａを用いるものの、このフィルタは、非ＩＲ光線がＩＲビデオカメラに到達することを排除するだけである。不要なＩＲ光線信号が対話ディスプレイテーブル６０の機能と干渉することを防ぐため、これらの無用な信号に対して制限を行い、相殺しなければならない。図４Ａ〜４Ｆは、対話ディスプレイテーブルの一部であり、意図されないＩＲ信号がどのように対話面６４ａに係るユーザの手４０２のＩＲスペクトル画像を変形させるかを示している。

図４Ａは、表示面６４ａに対して部分的に接触し、この表示面に対して部分的に『ホバー』状態にあるユーザの手４０２を示す。ＩＲ画像システムは、対話表示面に接している対象物と表示面に近接して離れている対象物との間の違いに対応することができ、これについては、２００４年３月３１日に提出された『対話面に対する３Ｄ対象の接続性およびオフセットの判定』という件名の、同一出願人による、同時係属中の米国特許出願第１０／８１４，７６１号で説明されているが、この明細書および図面については、ここでは特に参照によって組み込まれている。

さらに詳細には、図４Ａ，４Ｃ，４Ｅにおいて、ユーザの手４０２の親指４０４と中指４０８は対話表示面に接しているが、人差し指４０６と薬指４１０は対話表示面６４ａ上の少し離れたところに『ホバー』しており、小指４１２は対話表示面６４ａからさらに少し離れたところにホバーしている。

図４Ａにおいて、ＩＲ光源６６から放射するＩＲ光線４１４ビームは対話表示面６４ａを通過し、ユーザの手４０２に入射している。反射されたＩＲ光線４１６のビームは対話表示面６４ａを通って戻り、ＩＲ帯域フィルタ８６ａに続いてＩＲビデオカメラ６８に入射する。ＩＲビデオカメラは、カメラに入射するＩＲ光線の画像に対応する信号を発生させる。この画像は、ＩＲビデオカメラに達するＩＲ光線ビーム４１６やその他の任意のＩＲ光線の関数である。図４Ａにおいて、ＩＲ光線の唯一の光源はＩＲ光源６６である；図４Ａでは意図されない周辺、あるいは無用なＩＲ光源がない。バッフル７９は、ＩＲ光源６６からのＩＲ光線が直接にＩＲビデオカメラ６８のレンズに入射することを防ぐ。

図４Ｂは、ユーザの手４０２で反射されるＩＲ光源６６に対するＩＲ光線４１６ビームだけに応じて得られるＩＲビデオカメラ６８で生成されるユーザの手４０２ａのＩＲ画像を示す。反射されるＩＲ光線４１６ビームに応じて、この画像ではユーザの手４０２ａは背景４２０ａよりも強度あるいは明るさが大きい。さらに、親指４０４ａおよび中指４０８ａの先端は残りの指４０６ａ，４１０ａ，４１２ａや、手４０２ａの残りの部分よりも強度あるいは明るさが大きい。親指４０４ａおよび中指４０８ａの先端は、表示面６４ａに接している手４０２ａのほんの一部であるため（図４Ａ）、親指や中指の先端から反射されるＩＲ光線は、対話表示面６４ａの散乱による減衰が少なく、そのため、手４０２ａの他の部分や背景４２０ａよりも強度が大きい。２つのはっきり異なる強度レベルだけが図４Ｂで示されているが、反射されるＩＲ光線の強度は、対象物の反射度や対話表示面６４ａからの距離により変わりうる。

図４Ｃにおいて、ＩＲ光源６６は非活性化されている。これにより、図４Ａに示したものとは異なり、ＩＲ光線４１４のビームはユーザの手４０２に向けて投影されておらず、ユーザの手から反射されてＩＲビデオカメラ６８に向いたＩＲ光線４１６のビームはない。しかし、図４Ａに示したものとは異なり、図４Ｃは、対話表示面６４ａを越えたところにあり、ＩＲビデオカメラ６８で獲得されるＩＲ光源４２２および４２４のビームを示す。例えば、ＩＲビーム４２２は、対話ディスプレイテーブルの周囲環境にある白色光源から放出されるＩＲ光線を示し、ＩＲビーム４２４は、（図示されていない）窓を通って周囲環境を照らす太陽光線に含まれるＩＲ光線ビームを示す。ＩＲ光線ビーム４２２および４２４はユーザの手４０２周囲とユーザの指４０４〜４１２間を通り、続けてＩＲ帯域フィルタ８６ａを通る。したがって、ユーザの手４０２の『背面光』により、図４Ｄに示すとおり明るい背景４２０ｂに対してユーザの手４０２の影を含む画像ができる。

図４Ｄにおいて、ユーザの手４０２は暗い−図４Ｂにように明るくなく、照らされていない。ユーザの手４０２からのみ来るＩＲ光線は、この画像におけるユーザの手よりもはるかに明るく見えるため、ユーザの手は、明るい背景４２０ｂに対する影にしか見えない。図４Ｄの画像は、太陽を背景にして人が立っているものであり、その人が太陽により背面から照らされているものと理解できる。背面光の拡散光線により、非常に明るい背景に対する均一な人の影の画像ができる。図４Ｄでわかるとおり、親指４０４ｂや中指４０８ｂの指先端と、図４Ｂにあるような手４０２ｂや指４０６ｂ，４１０ｂ，４１２ｂの画像の残りの部分との間で明確な差異はない。これにより、周囲ＩＲ光線のある場合のユーザの手の背面光は、少なくとも、指や手が接している場合とホバーしている場合の対比が小さくなる傾向があり、ユーザの手４０２を含む画像の画像処理の有利さがかなり小さくなる。一般的に、画像の区分、すなわち各画素に対してユーザの手の一部であるかどうかのラベリングを行う、あるいは対話表示面上におかれた対象の一部であるかどうかのラベリングを行うことは、こういった条件下ではさらに難しくなる。周辺光レベルは、ＩＲ光源からの反射ＩＲ光のレベルにすぐに匹敵する。一般的に、ある対象の表面外観を読み取ることは可能である（対象が不透明であれば、その対象から戻る光に周辺光が影響を与えないため）が、外形や形状、あるいはどの対象が対話表示面と接しているかを示す画像における絶対画素強度に頼るのは不可能である。

図４Ｅにおいて、ＩＲ光源６６は、図４Ａのように再び活性化される。しかしこの場合、ＩＲ光源も活性であることから、例えば、白色光４２２や太陽光線４２４からの周辺ＩＲ光線が存在することになる。図４Ｅで示されるとおり、ＩＲ光線４１４の照射ビームはＩＲ光源６６からユーザの手４０２および指４０４〜４１２に到達し、手および指からのＩＲ光線４１６の反射ビームはＩＲビデオカメラ６８に到達する。同時に、周辺ＩＲ光線４２２および４２４はユーザの手４０２周囲を照らし、ユーザの指４０４〜４１２を通って、同様にＩＲビデオカメラに到達する。ここでもまた、ビーム４１６，４２２，４２４はいずれもＩＲ帯域フィルタ８６ａでブロックされない。

図４Ｆで得られた画像は、ユーザの手から反射されたＩＲ光線ビーム４１６と周辺ＩＲ光線ビーム４２２および４２４が効果的にお互いに相殺しあっている様子を示している。その結果、対話ディスプレイ６４ａに接しているユーザの指４０４ｃおよび４０８ｃの先端と、ユーザの手４０２ｃおよび指４０６ｃ，４１０ｃ，４１２ｃの残りの部分との間だけでなく、一般的に、ユーザの手４０２ｃおよび指４０４ｃ〜４１２ｃと背景４２０ｃとの間においてもコントラストがかなり低減される。背景４２０ｃは図４Ｄに示すとおり明るく、ユーザの指４０４ｃおよび４０８ｃが、ＩＲ光源からの反射ＩＲのために識別可能になる。また、ユーザの手４０２ｃは、明るい周辺背景に対する影として明確になる。ユーザの手からの反射ＩＲ光線４１６のビームが、周辺ＩＲ光線４２２および４２４のビームよりも実質的にはるかに大きい場合、ユーザの手４０２ｃおよび指４０４ｃ〜４１２ｃの画像は背景４２０ｃよりも明るく浮かび上がる。ＩＲ光源６６の強度の能動的調整は、周辺光線４２２および４２４のビームを考慮しながら、対話表示面６４ａに接している指４０４ｃおよび４０８ｃの先端と、周辺ＩＲ光線ビーム４２２および４２４で照らされる背景との間のコントラストを保つよう試みなければならない。

したがって、本発明により、ＩＲ光線の周辺光源が実質的に除去される画像データの合成組を作成することで、外部白色光４２２および太陽光線４２４といったＩＲ光源の不必要な、および／または意図しない周辺光源の効果を相殺できる。再び図４Ｂ，４Ｄ，４Ｅを参照すると、必要なことは、図４Ｂの画像と等価なものを得ることであり、ここではＩＲ光線４１６（図４Ａ）の反射ビームだけがＩＲビデオカメラ６８で受信される。残念ながら、環境における周辺ＩＲ光線の大部分を実質的になくさない限り、ＩＲ光線４２２および４２４の外部光源がＩＲ光線４１６の反射ビームに含まれるため、周辺ＩＲ光線が相殺されなければ図４Ｆによく似た画像になってしまうことになる。適切な相殺がなければ、環境中に周辺ＩＲ光源があると、図４Ｄの画像における不要な背景が、図４Ｂのように対象から反射されるＩＲ光線の必要画像に追加され、そのため、図４Ｆのような問題のある画像になる。

図４Ｂの画像が別個の配置以外で自然に獲得される際、図４Ｃおよび４Ｅの環境が典型的な配置で選択的に得られる。図４Ｃは、無用なＩＲ光線ビーム４２２および４２４が図４Ｄの画像を作成する環境を示し、これはＩＲ光源６６が非活性化された場合に獲得される。図４Ｅは、（ＩＲ光源６６が活性化された場合の）反射ＩＲ光線ビーム４１６と無用のＩＲ光線ビーム４２２および４２４との両方を含む典型的な環境を示す。このように、図４Ｆの画像は、無用なＩＲ光線がある場合にＩＲ光源６６が選択的に活性化されると獲得される。図４Ｆの画像が、図４Ｂの必要反射ＩＲ光線から得られる画像と、図４Ｄの不要で無用なＩＲ光線から得られる画像とを整理したものであることから、画像４Ｆの画像から図４Ｄの画像を減算することにより図４Ｂの画像が得られ、それにより無用あるいは周辺のＩＲ光線に対する相殺を行う。

これにより、２組の画像データを収集することにより、典型的な環境で図４Ｂとほぼ同じ必要画像が得られる。第１組の画像データはＩＲ光源６６を活性化させ、既存の周囲もしくは無用ＩＲ光源のある状態で収集される。第２組の画像データについてはＩＲ光源６６を非活性化させた状態でも収集される。収集された第２組の画像データはその後、第１組の画像データから画素毎に減算され、これによりＩＲ光源で生成された反射ＩＲ光線ビームだけを含む相殺された画像データ組を生成する。無用光源が効果的に取り除かれる。理想的には、第１、２組の画像データはできるだけ近づけて即座に、かつ順次収集され、対話表示面上に同一条件で異なる照射がなされた画像が得られる。

本発明の好適実施形態は、静的周囲ＩＲ測定、あるいは初期較正に基づいて意図しないＩＲ光源の影響を低減させることを試みるものではない。したがって、ＩＲビデオカメラによる画像取得の開始時点において、画像較正のための遅れがない。さらに、本発明は、周囲ＩＲ光源や光レベルにおける変化に対して、静的較正あるいは相殺法よりも良好に適用される。例えば、画像較正のために対話表示面から対象物を取り除き、その後に対話表示面の利用を継続するようユーザが依頼を受けた場合、この較正データでは、較正後に対話表示面に追加された対象物がどのように周囲ＩＲ光源からの信号をブロックするかについて考慮していない。しかし本発明では、周囲ＩＲ光源をブロックしている対象物により作られる図４Ｄに示されるようなＩＲの影について考慮する。このように、本発明では、ＩＲ光源が活性化された状態で獲得されたＩＲ画像が、対象物のない状態で獲得された静的ＩＲ光源画像に匹敵するものよりも、その点においてＩＲコントラストがはるかに大きな画像データを作成する。

さらに、本発明は、周囲ＩＲ光源や環境中のＩＲ光線における変化を継続的に適切に考慮し、対応する。その結果、室内灯が点灯あるいは消灯される、あるいは天候の変動のために窓を通過する太陽光線の強度が変化する、時間の経過とともに太陽の角度が変わる、ブラインドの移動といった周囲ＩＲ光源の変化があっても、本発明による意図されないＩＲ光源の低下の効果は損なわれない。同様に、例えば、人が対話表示面と照明あるいは窓との間を歩いた場合といった周囲ＩＲ光源からの光のより一時的な変化があったとしても、本発明により相殺される。

不要ＩＲ光源の効果を減じるための画像データ生成システム
図５は、不要ＩＲ光源の影響が実質的に相殺される合成画像データを生成するためのシステム５００を示す。システム５００は対話表示面６４ａとともに作動する。（図１〜３で示される）ＰＣ２０は画像処理機能を実行するものであり、記憶装置５１６を含む。対話表示面上、あるいはその近辺にあるユーザの指４０８もしくは他の対象物の有無および／または移動を検出するため、ＰＣは、ＩＲビデオカメラで生成された画像を処理する。

図４Ａ，４Ｃ，４Ｅと関連して前に述べたとおり、対話表示面６４ａにＩＲ光線ビーム４１４を向けるため、ＩＲ光源６６が選択的に活性化される。反射されたＩＲ光線ビーム４１６は、白色光４２２や太陽光４２４からの周囲ＩＲ光線ビームと同様に対話表示面６４ａを通過し、ＩＲ帯域通過フィルタ８６ａに続いて、ＩＲビデオカメラ６８のセンサ５０２で検出される。

ＩＲビデオカメラ６８は、各画像キャプチャ区間の開始時に画像キャプチャ信号を生成する画像キャプチャ同期出力５０４を含む。画像キャプチャ信号はＩＲ光源制御装置５０６で受信され、この制御装置が画像キャプチャ区間毎にＩＲ光源６６を活性化する。例えば、ＩＲビデオカメラのフレーム率が毎秒Ｘフレームであれば、ＩＲ光源６８を活性化させるための実効率は毎秒Ｘ／２倍である。その結果、ＩＲビデオカメラ６８で獲得されデータ出力ポート５０８から信号として送られた他の各画像フレームは、反射ＩＲビーム４１６と周囲ＩＲビーム４２２および４２４とを含み、他の各画像フレームは周囲ＩＲビーム４２２および４２４だけを含む。このアプローチは現在、好適実施形態で用いられているが、それに代わり他のアプローチを用いることもできる。ＩＲビデオカメラおよびＩＲ光源はＰＣ２０により同期的に起動でき、このＰＣがＩＲ光源を活性化させる、あるいは非活性化させるための命令を出し、その後すぐにＩＲビデオカメラを用いてフレームを取得することができる。あるいは、同期を維持するため特別な回路を備えることもできる。上述の実施形態において、簡便化のため、クロックを用いてＩＲビデオカメラを駆動し、その出力パルスと単純に同期させるというのが好ましい。

典型的なビデオカメラは、毎秒合計３０フレームを獲得する。したがって、ＩＲ光源６６を活性化させた状態で獲得される１５フレームと、ＩＲ光源６６を非活性化させた状態で獲得される１５フレームとを合成することで、毎秒１５の画像データの合成組が獲得される。高いフレーム率のほうが好ましいということが認められる。毎秒獲得されるフレームが多くなるほど、ＩＲ光源６６が活性化、および非活性化された状態でフレームが正確に獲得されるかにより、対話表示面６４ａに対象がどのように時間どおり現れるかを示す。

本発明の１つの実施形態において、データ出力ポート５０８経由で出力される画像はデータバッファメモリ５１０に保存される。各フレームは、ＩＲ光源がオンあるいはオフの状態でフレームが獲得されたかどうかによりタグが付けられる。フレームのタグ付けは、ＩＲ光源がオンまたはオフの状態でフレームが獲得されたかどうかを示すためのフラグを設定することで適切に達成される。その他、奇数あるいは偶数番号のフレームだけでＩＲ光源が活性化されている場合、フレームにタグを付けることができる。現在の好適実施形態において、フレームの強度は、画像に対する画素強度を合計し、１つのフレームと次のフレームとの強度の合計を比較することで評価される。強度の合計が大きいフレームはフレーム『上』にある。その他、対話表示面６４ａを囲むエプロンの下部の既知の場所に白い目安をおくことが可能であり、これにより、既知の場所の画素強度を調べることで、あるフレームにおけるＩＲ光源が活性であるかどうかをすぐに判定できる。

データバッファメモリ５１０からフレームがフレームセパレータ５１２で分割されるが、このフレームセパレータは、フレームが獲得された際にＩＲ光源が活性化されているかどうかに応じてフレームを分割する。ＩＲ光源が活性化されたフレームは加算器５１４のプラス側に送られ、ＩＲ光源６６が非活性化されたフレームは加算器５１４のマイナス側に送られるため、周辺ＩＲ光源からだけＩＲ照射のある場合の各フレームにおける各点あるいは画素に対する値が、ＩＲ光源６６が活性化され、かつ周辺ＩＲ光源がある場合の点あるいは画素に対応する値から減算することができる。『ＩＲ光源オン』フレームから『ＩＲ光源オフ』フレームを画素に関して減算することにより、ＩＲ光源６６からの反射ＩＲ光線だけを示し、実質的に周辺ＩＲ照射の影響を除去したＩＲ値をもつ合成画像データが得られる。

さらに詳細には、各画像の点は次の式に従って加算器５１４において画素に関して減算される：
Ｄ（ｘ，ｙ）＝Ｉ_ＯＮ（ｘ，ｙ）−Ｉ_ＯＦＦ（ｘ，ｙ）
ここで：
・ｘ，ｙは、透光面の対話面のある点の座標位置を示し；
Ｉ_ＯＮ（ｘ，ｙ）は、点ｘ，ｙにおける第１の画像キャプチャ区間中で検出されるＩＲ光線の強度を示し；
・Ｉ_ＯＦＦ（ｘ，ｙ）は、点ｘ，ｙにおける第２の画像キャプチャ区間中で検出されるＩＲ光線の強度を示し；
・Ｄ（ｘ，ｙ）は、第２の画像キャプチャ区間中において点ｘ，ｙで獲得されるＩＲ光線の強度が、第１の画像キャプチャ区間中において点ｘ，ｙで獲得されるＩＲ光線の強度から減算される際の点ｘ，ｙにおけるＩＲ光線の正味強度を示す。

対応する活性化ＩＲ光源６６と非活性化ＩＲ光源のフレーム対が加算器５１４で結合されると、生成される画像データの合成組は画像処理あるいは保存装置に送られるため、対話表示面上、あるいはそれに近接して置かれる１つ以上の対象物４０８の特性が処理され、その結果が対話表示システムで利用される。

図６は、本発明による不要ＩＲ照射の影響を実質的になくす、あるいはそれを低減させるための代表的な論理ステップを示すフロー図６００である。ステップ６０２において、対話表示面のＩＲ画像作成が始まる。ステップ６０４において、ＩＲ光源は、ＩＲビデオカメラ（あるいは、それに代わって用いられる他の画像装置）で生成される画像取得信号と選択的に同期される。選択的ＩＲ光源同期化が必要な理由は、前に説明したとおり、他の画像取得区間毎だけでＩＲ光源が活性化されるためである。

ステップ６０６において、ＩＲ光源が活性化される。ステップ６０８において、ＩＲ光源がオンの状態で対話表示面が画像表示される。ステップ６１０において、ＩＲ光源は非活性化され、ステップ６１２において、ＩＲ光源がオフの状態で対話表示面が画像表示される。ステップ６０８および６１２で獲得された画像フレームを用いて、ステップ６１４で、不要ＩＲ光線からの光線の影響を相殺するための図５および式（１）と合わせてすでに説明したとおり、これら２つの異なる照射条件でのフレーム対に対して獲得された画像データが画素に関して結合される。画像データがステップ６１４で結合されて合成データが生成された後、ステップ６１６において、対話表示面上、あるいはその近辺の対象物を検出するよう、この合成データが画像処理用に用いられる、あるいはこのデータがその後の処理用に保存される。

判定ステップ６１８において、ＩＲ画像データが続けて獲得されるかどうかが判定される。獲得される場合、このフロー図はステップ６０６に戻り、ここで選択的活性化・非活性化および画像キャプチャが継続される。一方、判定ステップ６１８でＩＲ画像作成が完了したと判定されると、フロー図はステップ６２０に進んで終了する。

本発明はそれを実行するための好適な形態やそれに対する改良に関連付けて説明されたが、当該分野の通常の当業者であれば、請求項における適用範囲内で本発明に対する多数の他の改良ができるということを理解するであろう。そのため、本発明の適用範囲は、いかなる場合でも上述の説明により制限されることを意図したものではなく、請求項を全て参照することで判断されるものである。

本発明の実施で用いられる対話表示面に対する画像処理に適した、一般に従来の計算装置あるいはパソコン（ＰＣ）の機能ブロック図である。 内部構成要素を示すテーブル型対話表示面の断面図である。 外部ＰＣに結合されるテーブル型対話表示面の実施形態の等角図である。 制御されたＩＲ光源からのＩＲ光線および／または周囲ＩＲ光線で照射される表示面に隣接する手を用いた場合の表示面部分の拡大断面図である。 手からの反射ＩＲ光線により表示面から獲得された画像の図である。 制御されたＩＲ光源からのＩＲ光線および／または周囲ＩＲ光線で照射される表示面に隣接する手を用いた場合の表示面部分の拡大断面図である。 手からの反射ＩＲ光線により表示面から獲得された画像の図である。 制御されたＩＲ光源からのＩＲ光線および／または周囲ＩＲ光線で照射される表示面に隣接する手を用いた場合の表示面部分の拡大断面図である。 手からの反射ＩＲ光線により表示面から獲得された画像の図である。 本発明の１つの実施形態による不要ＩＲ光源の影響を低減させるためのシステムのブロック図である。 本発明の１つの実施形態による不要ＩＲ照射の影響を低減させるための論理ステップを示すフロー図である。

符号の説明

６６ ＩＲ光源
６８ ＩＲカメラ
５０２ センサ
５０４ 画像キャプチャ同期
５０６ ＩＲ光源制御装置
５０８ データ出力
５１０ データバッファメモリ
５１２ フレームセパレータ
５１４ 加算器
５１６ 画像処理／保存

Claims (31)

1. 必要赤外線光源を用いる画像システムにおける不要赤外線光源の影響を低下させる方法であって、
   （ａ）第１の画像キャプチャ区間中で必要赤外線光源を活性化するステップと、
   （ｂ）第１の画像キャプチャ区間中で画像データの第１組を獲得するステップと、
   （ｃ）第２の画像キャプチャ区間中で必要赤外線光源を非活性化するステップと、
   （ｄ）第２の画像キャプチャ区間中で画像データの第２組を獲得するステップと、
   （ｅ）画像データの第２組の第２値に対応する画像データの第１組の第１値から減じることで画像データの合成組を生成するステップと
   を備えることを特徴とする方法。
2. 画像キャプチャ装置で発生させる画像キャプチャ信号により、必要赤外線光源を第１の画像キャプチャ区間中で活性化し、第２の画像キャプチャ区間中で非活性化するよう画像キャプチャ装置で必要赤外線光源の活性化を制御するステップ
   をさらに備えることを特徴とする請求項１に記載の方法。
3. （ａ）透光面の反対側に隣接して配設される対象物に赤外線を向けるよう必要赤外線光源を透光面の第１面に設置するステップと、
   （ｂ）必要赤外線光源で生成され対象物に反射される赤外線を獲得するよう画像キャプチャ装置を透光面の第１面に設置するステップと
   をさらに備えることを特徴とする請求項２に記載の方法。
4. 画像データの第１組の第１値が、必要赤外線光源が活性化されている際の第１の画像キャプチャ区間中で透光面の第１面にわたる複数点に対して獲得される赤外線の強度を示し、画像データの組の第２値が、必要赤外線光源が非活性化されている際の第２の画像キャプチャ区間中で透光面の第１面にわたる複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項３に記載の方法。
5. 画像データの第２組の第２値に対応する画像データの第１組の第１値からの減算が、
   Ｄ（ｘ，ｙ）＝Ｉ_ＯＮ（ｘ，ｙ）−Ｉ_ＯＦＦ（ｘ，ｙ）で定義され、
   ここで：
   （ａ）ｘ，ｙは、透光面の第１面のある点の座標位置を示し、
   （ｂ）Ｉ_ＯＮ（ｘ，ｙ）は、点ｘ，ｙにおける第１の画像キャプチャ区間中で検出される赤外線の強度を示し、
   （ｃ）Ｉ_ＯＦＦ（ｘ，ｙ）は、点ｘ，ｙにおける第２の画像キャプチャ区間中で検出される赤外線の強度を示し、
   （ｄ）Ｄ（ｘ，ｙ）は、第２の画像キャプチャ区間中で点ｘ，ｙで獲得される赤外線の強度が、第１の画像キャプチャ区間中で点ｘ，ｙで獲得される赤外線の強度から減算される際の点ｘ，ｙにおける赤外線の正味強度を示す
   ことを特徴とする請求項４に記載の方法。
6. 画像データの合成組を画像処理システムに送信するステップ
   をさらに備えることを特徴とする請求項３に記載の方法。
7. 対象物の特性を認識するため、対象物に反射される赤外線を用いるステップ
   をさらに備えることを特徴とする請求項６に記載の方法。
8. 透光面に向けられるプロジェクタからの光が、対象物と相互作用する透光面の反対側で見える画像を示すために用いられるよう透光面の第１面にプロジェクタを設置するステップ
   をさらに備えることを特徴とする請求項３に記載の方法。
9. 必要赤外線光源を用いる画像システムにおける不要赤外線光源の影響を低下させる方法であって、
   （ａ）画像キャプチャ装置で発生させた画像信号で必要赤外線光源の活性化を選択的に調整するステップと、
   （ｂ）画像信号が第１の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を活性化するステップと、
   （ｃ）第１の画像キャプチャ区間中で画像データの第１組を獲得するステップと、
   （ｄ）画像信号が第２の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を非活性化するステップと、
   （ｅ）第２の画像キャプチャ区間中で画像データの第２組を獲得するステップと、
   （ｆ）画像データの第２組の第２値に対応する画像データの第１組の第１値から減じることで画像データの合成組を生成するステップと、
   （ｇ）画像データの合成組を画像処理システムに送信するステップと
   を備えることを特徴とする方法。
10. （ａ）透光面の反対側に隣接して配設される対象物に赤外線を向けるよう必要赤外線光源を透光面の第１面に設置するステップと、
    （ｂ）対象物に反射される必要赤外線光源からの赤外線を獲得するよう画像キャプチャ装置を透光面の第１面に設置するステップと
    をさらに備えることを特徴とする請求項９に記載の方法。
11. 画像データの第１組の第１値が、必要赤外線光源が活性化されている際の第１の画像キャプチャ区間中で透光面の第１面にわたる複数点に対して獲得される赤外線の強度を示し、この画像データ組の第２値が、必要赤外線光源が非活性化されている際の第２の画像キャプチャ区間中で透光面の第１面にわたる対応する複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項１０に記載の方法。
12. 画像データの第２組の第２値に対応する画像データの第１組の第１値からの減算が、
    Ｄ（ｘ，ｙ）＝Ｉ_ＯＮ（ｘ，ｙ）−Ｉ_ＯＦＦ（ｘ，ｙ）で定義され、
    ここで、
    （ａ）ｘ，ｙは、透光面の第１面のある点の座標位置を示し、
    （ｂ）Ｉ_ＯＮ（ｘ，ｙ）は、点ｘ，ｙにおける第１の画像キャプチャ区間中で検出される赤外線の強度を示し、
    （ｃ）Ｉ_ＯＦＦ（ｘ，ｙ）は、点ｘ，ｙにおける第２の画像キャプチャ区間中で検出される赤外線の強度を示し、
    （ｄ）Ｄ（ｘ，ｙ）は、第２の画像キャプチャ区間中で点ｘ，ｙで獲得される赤外線の強度が、第１の画像キャプチャ区間中で点ｘ，ｙで獲得される赤外線の強度から減算される際の点ｘ，ｙにおける赤外線の正味強度を示す
    ことを特徴とする請求項１１に記載の方法。
13. 対象物の特性を認識するため、対象物に反射される赤外線を用いるステップをさらに備えることを特徴とする請求項１０に記載の方法。
14. 透光面に向けられたプロジェクタからの光が、対象物と相互作用する透光面の反対側で見える画像を示すために用いられるよう透光面の第１面にプロジェクタを設置するステップ
    をさらに備えることを特徴とする請求項１０に記載の方法。
15. 必要赤外線光源と画像キャプチャ装置とを用いて透光面上に、あるいはそれに隣接するよう配設される対象物に対して画像データを獲得するための方法であって、
    （ａ）赤外線を対象物に向けるよう必要赤外線光源を透光面の第１面に設置するステップと、
    （ｂ）必要赤外線光源で投射され対象物で反射される赤外線を獲得するよう画像キャプチャ装置を透光面の第１面に設置するステップと、
    （ｃ）画像信号が第１の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を活性化するステップと、
    （ｄ）第１の画像キャプチャ区間中で画像データの第１組を獲得するステップと、
    （ｅ）画像信号が第２の画像キャプチャ区間の開始点を示す場合に必要赤外線光源を非活性化するステップと、
    （ｆ）第２の画像キャプチャ区間中で画像データの第２組を獲得するステップと、
    （ｇ）画像データの第２組の第２値に対応する画像データの第１組の第１値から減じることで画像データの合成組を生成するステップと
    を備えることを特徴とする方法。
16. 画像キャプチャ装置で生成される画像キャプチャ信号により、必要赤外線光源を第１の画像キャプチャ区間中で活性化し、第２の画像キャプチャ区間中で非活性化するよう画像キャプチャ装置で必要赤外線光源の活性化を制御するステップ
    をさらに備えることを特徴とする請求項１５に記載の方法。
17. 請求項１５に記載の方法であって、画像データの第１組の第１値が、必要赤外線光源が活性化されている際の第１の画像キャプチャ区間中で透光面の第１面にわたる複数点に対して獲得される赤外線の強度を示し、画像データの組の第２値が、必要赤外線光源が非活性化されている際の第２の画像キャプチャ区間中で透光面の第１面にわたる複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項１５に記載の方法。
18. 画像データの第２組の第２値に対応する画像データの第１組の第１値からの減算が、
    Ｄ（ｘ，ｙ）＝Ｉ_ＯＮ（ｘ，ｙ）−Ｉ_ＯＦＦ（ｘ，ｙ）で定義され、
    ここで、
    （ａ）ｘ，ｙは、透光面の第１面のある点の座標位置を示し、
    （ｂ）Ｉ_ＯＮ（ｘ，ｙ）は、点ｘ，ｙにおける第１の画像キャプチャ区間中で検出される赤外線の強度を示し、
    （ｃ）Ｉ_ＯＦＦ（ｘ，ｙ）は、点ｘ，ｙにおける第２の画像キャプチャ区間中で検出される赤外線の強度を示し、
    （ｄ）Ｄ（ｘ，ｙ）は、第２の画像キャプチャ区間中で点ｘ，ｙで獲得される赤外線の強度が、第１の画像キャプチャ区間中で点ｘ，ｙで獲得される赤外線の強度から減算される際の点ｘ，ｙにおける赤外線の正味強度を示す
    ことを特徴とする請求項１７に記載の方法。
19. 画像データの合成組を画像処理システムに送信するステップ
    をさらに備えることを特徴とする請求項１５に記載の方法。
20. 対象物の特性を認識するため、対象物に反射される赤外線を用いるステップ
    をさらに備えることを特徴とする請求項１９に記載の方法。
21. プロジェクタが、対象物と相互作用する透光面の反対側で見える画像を示すため、透光面に光を向けるよう透光面の第１面にプロジェクタを設置するステップ
    をさらに備えることを特徴とする請求項１５に記載の方法。
22. 実行中のアプリケーションに入力を行うためのシステムであって、
    （ａ）処理面と相互作用面とをもつ透光面であって、対象物を相互作用面上に、あるいはそれに隣接して配設できるよう構成され、処理面が相互作用面の反対側にある透光面と、
    （ｂ）透光面の処理面に配設される必要赤外線光源であって、この必要赤外線光源が選択的に赤外線を照射し、これが透光面を通して相互作用面に伝えられて、透光面の相互作用面上に、あるいはそれに隣接して配設される対象物によって透光面を通して後方反射される赤外線光源と、
    （ｃ）透光面の処理面に配設される画像キャプチャ装置であって、対象物とその場所とを検出するため、透光面を通過して相互作用表示面に画像形成する赤外線をこの画像キャプチャ装置が検出する画像キャプチャ装置と、
    （ｄ）必要赤外線光源と画像キャプチャ装置に通信するプロセッサと、
    （ｅ）プロセッサと通信するメモリであって、このメモリがデータとマシン命令とを保存し、マシン命令がプロセッサに複数の機能を実行させ、該機能が、
    （ｉ）第１の画像キャプチャ区間中で必要赤外線光源を活性化するステップと、
    （ｉｉ）画像キャプチャ装置を用いて第１の画像キャプチャ区間中で画像データの第１組を獲得するステップと、
    （ｉｉｉ）第２の画像キャプチャ区間中で必要赤外線光源を非活性化するステップと、
    （ｉｖ）画像キャプチャ装置を用いて第２の画像キャプチャ区間中で画像データの第２組を獲得するステップと、
    （ｖ）画像データの第２組の第２値に対応する画像データの第１組の第１値から減算することで画像データの合成組を発生させるステップであって、画像キャプチャ装置で獲得され必要赤外線光源で照射されない赤外線の影響がデータの合成組で大幅に除去されるステップと
    を含むメモリと
    を備えたことを特徴とするシステム。
23. 画像データの第１組の第１値が、必要赤外線光源が活性化されている際の第１の画像キャプチャ区間中で透光面の第１面にわたる複数点に対して画像キャプチャ装置で獲得される赤外線の強度を示し、画像データ組の第２値が、必要赤外線光源が非活性化されている際の第２の画像キャプチャ区間中で透光面の第１面にわたる複数点に対して画像キャプチャ装置で獲得される赤外線の強度を示すことを特徴とする請求項２２に記載のシステム。
24. メモリに保存されるマシン命令により、さらに、プロセッサに画像データの第２組の第２値に対応する画像データの第１組の第１値からの減算を行わせ、この減算が、
    Ｄ（ｘ，ｙ）＝Ｉ_ＯＮ（ｘ，ｙ）−Ｉ_ＯＦＦ（ｘ，ｙ）で定義され、
    ここで、
    （ａ）ｘ，ｙは、透光面の第１面のある点の座標位置を示し、
    （ｂ）Ｉ_ＯＮ（ｘ，ｙ）は、点ｘ，ｙにおける第１の画像キャプチャ区間中で画像キャプチャ装置により検出される赤外線の強度を示し、
    （ｃ）Ｉ_OFF（ｘ，ｙ）は、点ｘ，ｙにおける第２の画像キャプチャ区間中で画像キャプチャ装置により検出される赤外線の強度を示し、
    （ｄ）Ｄ（ｘ，ｙ）は、第２の画像キャプチャ区間中で点ｘ，ｙで獲得される赤外線の強度が、第１の画像キャプチャ区間中で点ｘ，ｙで獲得される赤外線の強度から減算される際の点ｘ，ｙにおける赤外線の正味強度を示す
    ことを特徴とする請求項２２に記載のシステム。
25. メモリに保存されるマシン命令により、さらに、対象物の特性を認識するため、プロセッサに対象物で反射される赤外線を用いさせることを特徴とする請求項２２に記載のシステム。
26. プロジェクタからの光が透光面に向けられ、対象物と相互作用する透光面の相互作用面で見える画像を示すために用いられるよう透光面の処理面に設置されるプロジェクタをさらに備えたことを特徴とする請求項２２に記載のシステム。
27. 実行中のアプリケーションに入力を行うためのシステムであって、
    （ａ）処理面と相互作用面とをもつ透光面であって、対象物を相互作用面上に、あるいはそれに隣接して配設できるよう構成され、処理面が相互作用面の反対側にある透光面と、
    （ｂ）透光面の処理面に配設される画像キャプチャ装置であって、対象物とその場所とを検出するため、透光面を通過して相互作用表示面に画像形成する赤外線をこの画像キャプチャ装置が検出し、当該画像キャプチャ装置が画像キャプチャ信号を発生させるよう構成される画像キャプチャ装置と、
    （ｃ）透光面の処理面に配設される必要赤外線光源であって、この必要赤外線光源が選択的に赤外線を照射し、これが透光面を通して相互作用面に伝えられて、透光面の相互作用面上に、あるいはそれに隣接して配設される対象物によって透光面を通して後方反射される赤外線光源と、
    （ｄ）赤外線光源制御装置であって、
    （ｉ）画像キャプチャ信号を受け入れ、
    （ｉｉ）必要赤外線光源が、第１の画像キャプチャ区間を示す第１の画像キャプチャ信号受信時に活性化され、第２の画像キャプチャ区間を示す第２の画像キャプチャ信号受信時に非活性化されるよう画像キャプチャ信号受信に応じて必要赤外線光源を選択的に操作させる
    よう構成される赤外線光源制御装置と、
    （ｅ）赤外線光源および画像キャプチャ装置と通信するプロセッサと、
    （ｆ）プロセッサと通信するメモリであって、このメモリがデータとマシン命令とを保存し、マシン命令がプロセッサに複数の機能を実行させ、該機能が、
    （ｉ）画像キャプチャ装置を用いて第１の画像キャプチャ区間中で画像データの第１組を獲得するステップと、
    （ｉｉ）画像キャプチャ装置を用いて第２の画像キャプチャ区間中で画像データの第２組を獲得するステップと、
    （ｉｉｉ）画像データの第２組の第２値に対応する画像データの第１組の第１値から減算することで画像データの合成組を発生させるステップであって、画像キャプチャ装置で獲得される不要赤外線の影響がデータの合成組で大幅に相殺されるステップと
    を含むメモリと
    を備えたことを特徴とするシステム。
28. 画像データの第１組の第１値が、必要赤外線光源が活性化されている際の第１の画像キャプチャ区間中で透光面の第１面にわたる複数点に対して画像キャプチャ装置で獲得される赤外線の強度を示し、画像データ組の第２値が、必要赤外線光源が非活性化されている際の第２の画像キャプチャ区間中で透光面の第１面にわたる複数点に対して獲得される赤外線の強度を示すことを特徴とする請求項２７に記載のシステム。
29. メモリに保存されるマシン命令により、さらに、プロセッサに画像データの第２組の第２値に対応する画像データの第１組の第１値からの減算を行わせ、この減算が、
    Ｄ（ｘ，ｙ）＝Ｉ_ＯＮ（ｘ，ｙ）−Ｉ_ＯＦＦ（ｘ，ｙ）で定義され、
    ここで、
    （ａ）ｘ，ｙは、透光面の第１面のある点の座標位置を示し、
    （ｂ）Ｉ_ＯＮ（ｘ，ｙ）は、点ｘ，ｙにおける第１の画像キャプチャ区間中で検出される赤外線の強度を示し、
    （ｃ）Ｉ_ＯＦＦ（ｘ，ｙ）は、点ｘ，ｙにおける第２の画像キャプチャ区間中で検出される赤外線の強度を示し、
    （ｄ）Ｄ（ｘ，ｙ）は、第２の画像キャプチャ区間中で点ｘ，ｙにおいて獲得される赤外線の強度が、第１の画像キャプチャ区間中で点ｘ，ｙにおいて獲得される赤外線の強度から減算される際の点ｘ，ｙにおける赤外線の正味強度を示す
    ことを特徴とする請求項２８に記載のシステム。
30. メモリに保存されるマシン命令により、さらに、対象物の特性を認識するため、プロセッサに対象物に反射される赤外線を用いさせることを特徴とする請求項２７に記載のシステム。
31. プロジェクタで生成される光が透光面に向けられ、対象物と相互作用する透光面の相互作用面で見える画像を示すために用いられるよう透光面の処理面に設置されるプロジェクタ
    をさらに備えたことを特徴とする請求項２７に記載のシステム。
    

Images