JP2004265410A - 個別に検出可能なポインタ追跡信号を用いた可視ポインタ追跡システムおよび方法 - Google Patents

Abstract

【課題】プレゼンテーションの表示画面上のポインタの位置を容易に追跡することのできる方法および装置を提供する。
【解決手段】本発明は、投影された表示から個別に検出可能な光学特性を保有する信号を用いたポインタ追跡に関する。投影された表示の領域が検出される。検出は、個別に検出される光学特性のフィルタリングによって行われる。
【選択図】図２

Description

本発明は、プレゼンテーションおよびプレゼンテーション装置の分野である。本発明の更なる分野は、例えばレーザ・ポインタなどの可視ポインティング装置である。

プレゼンテーションは、画像を、多数の人に表示するための面上に投影することによって支援される。学校、会社、法廷、セミナー、および他の環境において、プレゼンタは、投影表示画像を表示したいと思うことが多い。プレゼンタは、例えばレーザ・ポインタなどのポインタを使って、表示画像のおよその場所を指し示し、それに注意を向ける。ポインティングは、プレゼンタが、対象となるおよその場所にポインタを維持している間続く。表示画像に注意を向ける他の選択肢には、プレゼンタが、表示エンジンとの接続によって投影表示画像を生成するのに使用されているコンピュータと対話することがある。プレゼンタが着席して静止していない限り、プレゼンテーション中のコンピュータの使用は厄介である。これにより、プレゼンテーションが失敗することがある。

最近になって、ポインタ追跡および対話システムが注目されてきた。このシステムでは、一般に、画像を記録するためにカメラが使用される。画像が解析され、画像内のポインタが調べられる。次に、ポインタに関する情報を使って、表示されている画像と対話し、その画像を変更する（modify）ことができる。しかしながら、そのような追跡および対話システムの大きな課題は、解析している画像内のポインタを確実に認識する能力である。多くの環境条件と特定の表示条件では、ポインタ・スポットとプレゼンテーション内容またはビデオとのコントラストが低くなり、検出した表示画像内のポインタを認識し追跡する能力が悪影響を受ける。複雑な画像解析技術は、成功する可能性が高いが、そのようなプロセスは、多くの場合、計算に多くの費用がかかる。商用のプレゼンテーション・システムでは、ハードウェアを比較的安価に抑える必要がある。さらに、ポインタの認識に失敗しやすいシステムあるいはポインタの認識が遅いシステムは、プレゼンテーションの支援として効果がないことが分かるであろう。

本発明は、投影された表示から個別に検出可能な光学特性を保有する信号を使用したポインタ追跡に関する。投影された表示の領域が検出される。検出は、個別に検出される光学特性のフィルタリングによって行われる。

本発明は、投影された表示から個別に検出可能な光学特性を保有する信号を使用するポインタ追跡を対象とする。好ましい実施形態において、光学特性は、表示画像が保有しないものであり、したがって表示画像の一部として間違われることがない。それにより、表示画像とポインタ追跡信号の間の高いコントラストが実現される。例えば、好ましい実施形態において、可視ポインタは、放射を可視ポインタ放射と位置合わせする不可視スペクトル源を備える。不可視スペクトル源の放射は、イメージ・センサによって容易に検出することができる。それにより、表示画像上のポインタの位置を示す信号を、可視画像と別に検出することができ、この信号は、対物レンズ（objective）が検出画像内のポインタ位置を決定しているときに、ノイズと見なされることがある。

本明細書において、ポインタは、一般に、指示（indication）を意味するように使用され、必ずしも小さい丸い点でなくてもよい。本発明に使用される可視ポインタとポインタ追跡信号は、点を使用してもよく、あるいはもっと複雑な放射パターンを使用してもよい。好ましい例には、矢印、ロゴまたは商標を示す複雑なパターンを表す可視ポインタがある。

次に、本発明を好ましい実施形態の装置に関して例示する。また、以下の検討から本発明の方法も明らかである。本発明を説明する際に、例示のために、特定の装置の例を使用する。装置の例は、本発明の例示および理解のために、概略的に表され、誇張されていることがある。

図１において、好ましい、表示およびポインタ追跡システムの全体を１０で示す。システム１０は、投影および検出ユニット１２とポインタ１４とを含む。投影および検出ユニット１２は、関連付けられたプロセッサ１６から提供される画像などの画像を表示面１８に表示する。表示面１８は、一般に投射システムと組み合わせて使用されるようなスクリーンでよいが、認識可能な画像を提供するのに十分な反射特性を有する任意の表面が適している（例えば、壁などを含む）。ポインタ１４は、オペレータの制御下で、表示面１８上に可視ビームを投影することができる。ポインタ１４は、可視ビームと共に、図２に示すイメージ・センサ２０が個別に検出することができるポインタ追跡信号を投影する。投影および検出ユニット１２によって投影される画像は、静止画像またはビデオ画像を含んでもよく、一貫性のために、本明細書では全般に表示画像と呼ぶ。イメージ・センサ２０は、表示画像の領域全体を撮像し、少なくともポインタ追跡信号を検出することが好ましい。

少なくともポインタ追跡信号の検出期間中、表示画像自体は、イメージ・センサ２０からフィルタリングされることが好ましい。例示的な実施形態において、ポインタ１４は、投影表示画像によって利用される波長の範囲以外の波長を有するポインタ追跡信号を放射する。ポインタ追跡信号は、例えば近赤外（ＮＩＲ）などの、可視範囲の外側であることが好ましい。フィルタは、イメージ・センサ自体の固有の特性を有することができ、すなわち、イメージ・センサ２０は、ポインタ追跡信号によって使用される波長の範囲だけを含む検出範囲を有することができる。しかしながら、イメージ・センサ２０は、ポインタ追跡信号と表示画像の両方を含む検出範囲を有する。そのように、イメージ・センサ２０は、検出表示画像の記憶ならびにポインタ追跡信号の検出に使用することができる。好ましいイメージ・センサは、ＣＣＤアレイである。ＣＣＤアレイの利点は、約９８０ｎｍを超える不可視波長の範囲で高い感度を有することである。ポインタ１４から放射されたポインタ追跡信号を、イメージ・センサ２０のピーク感度と一致させると有利である。したがって、ポインタ追跡信号の好ましい放射範囲は、代表的なＣＣＤ検出素子のピーク感度を含む範囲である約９８０ｎｍ〜約１１００ｎｍ（〜980−〜1100nm）の範囲である。

表示画像を示すデータを取得しポインタ追跡信号を検出するためにイメージ・センサ２０が使用されるとき、イメージ・センサ２０に至る光路に、個別のフィルタ２２が配置されることが好ましい。図２は、好ましい実施形態を示し、ここで、表示エンジン２４は、スライド・ショーが記憶されたラップトップなどのコンピュータなどのプロセッサ１６からの表示画像を、例えばキューブまたはダイクロイック・ビーム・スプリッタ・フィルタで実現できるビーム・スプリッタ２６を介して投影するために使用される。表示画像は、レンズ２８によって集束される。レンズ２８は、また、イメージ・センサ２０の共通レンズとして働く。検出画像は、レンズ２８とフィルタ２２を介してイメージ・センサ２０に送られる。フィルタ２２は、例えばイメージ・センサ２０を制御する働きもするコントローラ３０によって選択的に作動されることが好ましい。フィルタ２２は、任意の適切な波長のフィルタでよく、電気的または機械的に制御することができる。電気的または機械的な動作は、コントローラ３０からのコマンドに応答する。代替の実施形態において、フィルタは、図２のように適用されるかまたはレンズ２８に適用される連続的に回転するフィルタを含む。回転フィルタはデューティ・サイクルを有し、サイクルの一部分において検出表示画像をフィルタリングし、一部分において検出表示画像を通過させる。コントローラ３０は、ポインタ追跡機能にデューティ・サイクルの活動フィルタ部分を使用する。

代替の実施形態において、ポインタ追跡信号は、波長以外の光学特性によって区別される。１つの例は輝度である。表示画像によって利用される輝度範囲から十分に外れた輝度を有するポインタ追跡信号を、輝度しきい値に基づいてフィルタリングするように設定されたフィルタ２２や、イメージ・センサ２０により検出された画像に基づいてコントローラ３０によって行われる電子的フィルタリングなどのフィルタリングの後で、イメージ・センサ２０が確実に検出し、コントローラ３０が認識することができる。この実施形態は、波長の実施形態、特に不可視ポインタ追跡信号を使用する好ましい実施形態よりも魅力が限られる場合がある。プレゼンテーションでポインタとして使用されたときに、きわめて強い信号が目立つことがある。もう１つの例示的な実施形態は、表示画像の変調範囲以外の変調範囲で変調されたポインタ追跡信号である。ポインタ追跡信号の変調周波数は、変調周波数が表示画像の範囲外にありかつ観察者によって気が付かれないように設定される。次に、周波数に基づいて、フィルタリングが行われる。

表示エンジン２４の視野と実質的に同一の視野を有するイメージ・センサ２０の所望の結果を単純化するために、図２では共通レンズ２８が使用されている。実質的に同一の視野は、表示画像に対するポインタ追跡信号の位置の決定を容易にすることができるので、ポインタ追跡信号の高機能な使用を強力に支援する。ポインタ追跡の好ましい１つの用途は、プロセッサ３０がメモリ３２にオーバーレイ・データを記憶することである。オーバーレイ・データは、基本的には、プロセッサ１６によって提供されるオリジナル画像を、本発明を使用して行われるプレゼンテーションと関連付けられたオーバーレイ・データで補完することができるような態様で、ポインタ追跡データおよび任意の変更表示データが記憶される、検出表示画像フレームまたはスライドの記憶バージョンである。

より詳細に、図３を参照して、ポインタ追跡の好ましい方法を示す。ポインタ追跡方法は、ポインタ追跡信号の検出によって開始される（ステップ３４）。このステップは、例えば、イメージ・センサ２０によって検出された画像をコントローラ３０が検査することによって行われる。代替は、ポインタ１４の活動化を指示する別の信号の使用である。図４は、好ましいポインタのブロック図を示す。ポインタは、従来の可視スペクトル源３６を含む。これは、例えば６７０ｎｍの波長を有する赤色ダイオード・レーザである。また、可視スペクトル源３６は、様々な可視放射波長の１つまたは複数のダイオード・レーザによって実現することもでき、あるいはビームを投影画像に投影するように構成された１つまたは複数の代替照明源を使用することもできる。不可視スペクトル源３８は、ポインタ追跡信号を生成する。オペレータが、例えばボタン４０などのオペレータ・インタフェースを押すことによって、可視スペクトル源３６を活動化したとき、不可視スペクトル源３８も活動化する。また、ボタン４０の押し下げを使用して、無線高周波（ＲＦ）送信器４２などの信号送出装置を活動化することができる。受信器（図２）４４は、送信器４２の信号を、ポインタが使用中であることの指示として受け取る。次に、コントローラ３０は、ポインタ追跡信号を検出するステップ３４を開始することができる。

可視スペクトル源３６のポインタ信号と不可視スペクトル源のポインタ追跡信号を導く光学素子は、可視スペクトル源３６の波長をよく透過させかつ不可視スペクトル源の波長をよく反射するダイクロイック・ビーム結合器４５を含む。ミラー４６は、不可視スペクトル源３８の放射をビーム結合器４５に導く。ビーム結合器４５は、ポインタ信号とポインタ追跡信号を同一の光学経路で照準合わせすることが好ましいが、ポインタ追跡信号とポインタは、少なくとも、不可視スペクトル源３８のポインタ追跡信号に基づいてポインタ位置を決定できるように一直線上に放射されなければならない。ポインタとポインタ追跡信号は、カバーまたは窓４８から出る。

光路に沿ったいくつかの場所で、可視スペクトル源３６のポインタ信号をパターン化して、表示面１８に当たるスポットを作成することができる。図４は、可視スペクトル源のポインタ信号をパターン化する格子４９を示す。スポットは、任意のサイズ、形状または色を有することができる。好ましい例には、ロゴのスポットがある。

検出（ステップ３４）が始まると、コントローラ３０は、任意の数の有効なポインタ追跡および対話方法を開始することができる。最初に追跡に取り組む。再度図３に関して、表示画像に対するポインタ追跡信号の位置（および、推論の結果としてポインタ）、表示画像に対してポインタ追跡信号によりトレースされる経路、および／または、ポインタ追跡信号の活動化／非活動化、などのポインタ情報を獲得する（ステップ５０）ことは有用である。ポインタ情報は、フィルタリング期間中にイメージ・センサ２０から収集され、コントローラ３０は、また、表示画像の検出画像を得ることができる（ステップ５２）。例えばプレゼンテーションの態様を記憶化するために、ポインタ情報と表示画像を一緒にメモリに記憶することができる（ステップ５４）。もう１つの代替は、コントローラがポインタ情報だけを記憶するものである（ステップ５６）。ポインタ情報は、表示画像と関連付けることができる。例えば、コントローラ３０は、おそらくプロセッサ１６に駐在しているソフトウェアと協力して、１組のオーバーレイを作成し、表示画像の表現と関連付けることができる（ステップ５８）。このオーバーレイは、表現が提示されポインタ情報が記憶されたときに得られたポインタ情報を再作成するのに使用することができる。

表示制御（ステップ６０）は、コントローラによりイメージ・センサ２０を介して得られたポインタ情報に基づくものでよい。コントローラ３０は、例えば、ポインタ情報内の解釈可能なパターンを探索する（ステップ６２）。解釈可能なパターンの認識に応じて、コントローラは、表示エンジン２４によって投影されている表示画像の変更を行うことができる（ステップ６４）。これにより、ポインタ１４を使用するオペレータが、プレゼンテーションの表示画像を変更できるようにすることにより、プレゼンテーションとの対話が可能になる。ポインタを使用してパターンを追跡することによって、オペレータは、一般にプレゼンテーション・ソフトウェアで使用可能なコマンドのような、事前に定義されたコマンドを呼び出すことができる。トレース・パターンは、例えば事前に定義されたストローク・パターンと一致するパターンを形成する投影光スポットの１つまたは複数の線、曲線または他の動きを含むことができる。事前に定義されたストローク・パターンは、投影および検出ユニット１２のコマンド、あるいは関連プロセッサ１６上に駐在し投影および検出ユニット１２によって表示画像を提示するために使用されるソフトウェアのコマンドと関連付けられた一連の１つまたは複数の連続ストロークを含むことができる

ポインタ１４の使用による表示画像の制御は、また、追加のボタン６６の活動化により不可視信号を変形するポインタの追加の好ましい機能によって使用可能にされ得る。図４の好ましい実施形態において、追加ボタン６６は、不可視スペクトル源３８を変調する変調器６８を制御する。ボタン６６とボタン４０は、マウスの従来の様式、すなわち右マウス・ボタンと左マウス・ボタンのように配置することができる。次に、ボタン６６を活動化すると、変調ポインタ追跡信号が生成され、この信号は、コントローラ３０が検出し、制御信号として解釈することができる（ステップ６９）。有利なことに、これにより、オペレータが、ポインタ１４をマウスと同じように使用することができ、ソフトウェアのグラフィカル・ユーザ・インタフェースが、表示エンジン２４によって表示画像として提示されている間に、プロセッサ１６に使用されている多くの一般的なタイプのソフトウェアの従来の機能を、慣れたやり方で完全に利用することができる。例えば、コントローラ３０は、変調信号と無変調信号をマウス・コマンドとして解釈し、プロセッサ１６のマウス・ポートに提示することができる。したがって、コントローラ３０は、表示画像を生成するために使用されるソフトウェアのマウス制御機能を活動化することによって、表示画像を変化させることができる。

解釈可能なパターンまたは変調ポインタ追跡信号に応答してコントローラ３０によって行われる表示制御（ステップ６０）は、また、表示エンジン２４またはレンズ２８の制御によって表示画像を変更することができる。次に、ポインタ１４を使用して、例えば焦点、明るさ、スタンバイなどの代表的な機能を制御することができる。

技術者は、コントローラ３０を、ハードウェア、ファームウェア、または、プログラムされた汎用処理コンピュータとして実現できることを理解されよう。好ましい実施形態は、投影および検出ユニット１２にコントローラ３０を含むが、コントローラを、例えばプロセッサ１６に常駐するソフトウェアなど、投影および検出ユニットの外部に実現することもできる。次に、投影および検出ユニット１２のポインタ追跡機能は、コントローラ３０の機能を含むプロセッサが投影および検出ユニット１２と共に使用されるときだけ使用可能になる。

イメージ・センサ２０は、また、表示エンジン２４から分離されていてもよいが、これにより、イメージ・センサ２０が見る視野を表示エンジン２４が表示する視野に較正する必要が生じる。同じ必要は、図５の実施形態において生じ、イメージ・センサ２０は、レンズ２８から離れたレンズ７０を使用する。レンズ２８と７０を同じ面に固定することにより、イメージ・センサ２０と表示エンジン２４が実質的に同一の視野を得ることが簡単になる。レンズ２８と７０が光学的にも同一の場合、プロセッサ３０は、レンズ７０をレンズ２８と同じ焦点とズームの設定を有するように制御することによって較正することができる。レンズ特性が共通でなく、レンズ制御が共通でなく、レンズが共通平面に配置されていない場合は、較正手順を行わなければならない。

好ましい較正手順は、表示エンジン２４を使用してテスト・パターンを表示する。例えば、テスト・パターンは、表示エンジンによって表示される表示画像の境界を示すのに十分な任意のパターンを含むことができる。共通の矩形表示画像は、例えば交差するライン７２（図６を参照）のテスト・パターンを有することができ、これから、表示画像の境界を決定することができる。次に、プロセッサは、イメージ・センサ２０によって検出されたテスト・パターンを使用して、レンズ７０を制御して、イメージ・センサ２０の視野を、テスト・パターンによって示された視野に合うように調整する。

また、表示エンジン２４の関与なしに較正を行うこともできる。例えば、オペレータは、ポインタ１４を使用して、表示エンジン１４によって表示画像が作成された後の較正手順を行うことができる。ポインタは、表示画像上の様々な場所を指すことができ、次に、それらの場所は、イメージ・センサ２０によって検出される。次に、コントローラ３０は、レンズ７０を制御してイメージ・センサ２０の視野を調整する。

本発明の特定の実施形態を示し説明したが、当業者には、他の変形、代用および代替が明らかであることを理解されたい。そのような変形、代用および代替は、併記の特許請求の範囲から決定される本発明の精神および範囲から逸脱せずに行うことができる。

本発明の様々な特徴は、併記の特許請求の範囲において説明される。

本発明の好ましい実施形態の、表示およびポインタ追跡システムを示すブロック図である。 好ましい実施形態の、表示および検出ユニットを示すブロック図である。 好ましいポインタ追跡方法のブロック図である。 好ましい実施形態のポインタのブロック図である。 別の実施形態の、表示および検出ユニットを示すブロック図である。 本発明の好ましい視野較正手順に使用されるテスト・パターンの例を示す図である。

符号の説明

１０：ポインタ追跡システム
１２：投影および検出ユニット
１４：ポインタ装置
１６：プロセッサ
２０：イメージ・センサ
２２：フィルタ
２４：表示エンジン
２６：ビーム・スプリッタ
２８：レンズ
３０：コントローラ
３２：メモリ
３６：可視スペクトル源
３８：不可視スペクトル源
４０、６６：ボタン
４５：ビーム結合器
４６：ミラー
４９：格子
６８：変調器

Claims (10)

1. 可視放射を生成する可視スペクトル源と、
   前記可視スペクトルの外側の放射を生成する不可視スペクトル源と、
   前記可視放射と前記可視スペクトルの外側の放射とを一直線上に出力する光学素子と、
   を具備するポインタ装置。
2. 前記光学素子が、前記可視放射を、前記可視スペクトルの外側の放射と照準合わせする、請求項１に記載の装置。
3. 請求項１に記載のポインタ装置を有し、
   前記可視スペクトルの外側の放射を含む検出範囲を有するイメージ・センサをさらに具備するポインタ追跡システム。
4. 前記不可視スペクトル源を変調する変調器をさらに具備する、請求項１に記載のポインタ装置。
5. 請求項１に記載のポインタ装置を有し、
   表示画像を表面に投影する表示エンジンと、
   前記表示エンジンの表示の領域を撮像し、前記可視スペクトルと前記可視スペクトルの外側の放射とを検出することのできるイメージ・センサと、
   前記表示の領域と前記イメージ・センサとの間に配置され、前記可視スペクトルと前記可視スペクトルの外側の放射とを選択的に区別するフィルタと、
   前記イメージ・センサが受け取った画像を記憶するメモリと、
   前記不可視スペクトル源の放射に照らして、前記表示エンジンによる表示と前記メモリによる記憶画像とを制御するコントローラと、
   をさらに具備する表示システム。
6. 前記コントローラが、前記不可視スペクトル源からの無変調放射を、投影表示画像の画像と共にデータとして記憶し、前記不可視スペクトル源からの変調放射を、前記表示エンジンを制御するためのコマンドとして解釈する、請求項５に記載の表示システム。
7. 前記コントローラが、前記イメージ・センサによって検出された画像を監視し、前記不可視スペクトル源の放射が、解釈可能なパターンをトレースするかどうかを決定する、請求項５に記載の表示システム。
8. 投影表示と共に使用されるポインタ信号の検出方法であって、
   前記投影表示から個別に検出可能な光学特性を保有するポインタ追跡信号を提供するステップと、
   前記光学特性をフィルタリングする一方で前記投影表示の領域を検出するステップと、
   を含む方法。
9. 前記フィルタリングが、前記検出するステップを行うために使用されるイメージ・センサの固有の特性によって行われる、請求項８に記載の検出方法。
10. 前記フィルタリングが、前記表示と、前記検出するステップを行うために使用されるイメージ・センサとの間に配置されたフィルタによって行われる、請求項８に記載の検出方法。
    

Images