JP2009503747A - スマート・スクリーン機能及び他の拡張機能のためのプロジェクタ・プラットフォームにおけるｃｃｄカメラの利用 - Google Patents

Abstract

説明されているのは、光学的投影デバイス（１０２）と組み合わされる画像センサを有する、光学的投影及び捕捉システム（１００）である。この組み合わされたデバイスは、インタラクティブなプレゼンテーションを提供するためにレーザー・ポインタと接続されてもよい。レーザー・ポインタは、投影された画像（１０８）上のレーザー光スポットの特定及び追跡を改善するために脈動され得る。これらの応用例は、ゲームやインタラクティブ・グラフィック用のリア・プロジェクション・システムまで拡張されてもよい。

Description

開示される実施例は、光学的投影デバイスに関連し、更に特定して言えば、スマート・スクリーン機能及び他の拡張機能のため、画像センサを入力デバイスと共に光学的投影デバイスと組み合わせることに関連する。

業務用プロジェクタなどの光学的投影デバイスは、市場において、及びクライアントや顧客に対しプレゼンテーションをするためにビジネスにおいて普及している。

プレゼンテーションは、それを見るクライアントや顧客が物理的に存在しない場合に後で再生するために記録することができるが、このようなプレゼンテーションの記録には付加的な記録設備が必要である。また、プレゼンテーションをする人が、ホワイトボードや黒板に書いたりして、自分のプレゼンテーションを更に説明する必要がある可能性もある。

電荷結合デバイス（ＣＣＤ）カメラや相補型金属酸化膜半導体（ＣＭＯＳ）画像センサなどの画像捕捉デバイスは、業務用プロジェクタや高精細テレビ（ＨＤＴＶ）など、フロント・又はリア・プロジェクション・デバイスに統合され得る。一実施例において、インタラクティブなプレゼンテーションを可能及び円滑にするため、このような統合されたデバイスと関連してレーザー・ポインタなどの入力デバイスが用いられ得る。レーザー・ポインタは、投影された画像上のレーザー光スポットの特定及び追跡を改善するために脈動されてもよい。別の実施例において、適用範囲は、ゲームやインタラクティブ・グラフィックのためのリア・プロジェクション・システムまで拡張されてもよい。

図１は、投影レンズ１０４を介してスクリーン１１０上に画像１０８を投影するためのプロジェクタ１０２を備えた光学的投影システム１００を図示する。画像１０８は、スライドショー・プレゼンテーション又は映像であってもよい。このシステム１００に更に含まれるのは、電荷結合デバイス（ＣＣＤ）カメラや相補型金属酸化膜半導体（ＣＭＯＳ）画像センサなどの画像捕捉デバイス１０６である。画像捕捉デバイス１０６は、プロジェクタ１０２内に組み込まれてもよい。現在開示している実施例は、フロント・プロジェクション・システム１００において投影された画像１０８をモニターするためのＣＣＤイメージング・カメラ１０６をプロジェクタ１０２内に統合している。ＣＣＤカメラ１０６は、プロジェクタ１０２内の小さな穴を介してイメージングするが、（図示するように）既存の投影レンズ１０４の周囲の外側にある、小型レンズ又はピンホールとして示されている。代替として、ＣＣＤカメラ１０６は、同一の光路を投影レンズ１０４と共有してもよい。例えば、ＣＣＤカメラ１０６は、既存の投影レンズ１０４の下側半分が用いられていない場合、既存の投影レンズ１０４の下側半分をイメージング光路の部分として用いても良く、この方式は非テレセントリック光学系を用いる多くの卓上型プロジェクタに時折見られる。

ＣＣＤカメラ１０６をプロジェクタ１０２と組み合わせることは、幾つかの付加価値機能を提供する。カメラ１０６は、周囲光検知を用いてプロジェクタ１０２と表示スクリーン１１０との間の距離を測定し、ランプ寿命の延長及び熱低減のためにランプ電力を低減させることができる。これは、カメラ１０６内の画像処理で得られた、投影された画像１０８の見掛けの大きさを調べることによっても達成され得る。例えば、カメラ１０６内の画像１０８が小さいほど、スクリーン１１０から離れている。この手法を、ランプ電力低減量を決めるために、周囲光検知と組み合わせることもできる。また、ＣＣＤカメラ１０６は、ランプ老朽化を埋め合わせるために必要とされるだけ、画像１０８の輝度又はカラーバランス／強度をモニター及び修正することも可能である。カラー／強度補正は、白レベル又は特定の色レベルを強めることによって達成され得る。光源を交換する必要があるとき、プロジェクタ１０２がユーザに通知又は警告することも可能である。

図２は、処理電子機器及び画像捕捉ハードウェア／ソフトウェアの幾つかを図示する電気的ブロック図である。処理電子機器１１４などの電子的回路及びハードウェア・センサ１１２は、プロジェクタ１０２と組み合わされる。ハードウェア・センサ１１２は、ＣＣＤカメラ１０６と組み合わされ得、周囲光検知を提供するため、及び表示された画像１０８の輝度及びカラーバランス／強度をモニターするために、プロジェクタ１０２内に組み込まれ得る。ハードウェア・センサ１１２は、ハードウェア・センサ１１２からの測定値及び検出値に応じて、ランプ寿命の延長及び投影システム１００全体への熱の低減のためにプロジェクタ１０２内の光源を調整する処理電子機器１１４であってもよい。その結果、処理電子機器１１４は、光源を交換する必要があるとき、ユーザに通知又は警告するため音声又は視覚的信号１１６を発する又は発するようにさせることも可能である。また、ハードウェア・センサ１１２及び処理電子機器１１４は、リアルタイム画像処理機能を有していてもよい（即ち、リアルタイムで、画像１０８を表示、捕捉、処理、調整、又は補償する）。

図３は別の実施例を図示し、この実施例において、プロジェクタ１０２内に統合されたＣＣＤカメラ１０６は、入力デバイス１１８からのマーキング１２０を検出し得、「スマート・スクリーン」機能を提供し得る。入力デバイス１１８はレーザー・ポインタであり得、マーキング１２０はレーザー光スポットであり得る。この実施例では、レーザー光スポット１２０の位置を検出してシステム１００への入力として用いることができ、それにより、システム１００とレーザー・ポインタ１１８との間の電気的通信を何ら必要とすることなく、通常はコンピュータ・マウスによって成される種々の機能が可能になる。ユーザは、マウスを使うように、スクリーン１１０上に投影された、アプリケーションの動作アイコンをレーザー・ポインタ１１８で指す／クリックすることができる（例えば、パワーポイント（登録商標）には、クリックすると次のスライドに進むようになっている矢印アイコンがある）。レーザー・ポインタ１１８上のボタンの押し下げ時に、レーザー・ポインタの出力を変調させる（例えば、オン／オフ状態を切替える）ようにレーザー・ポインタ１１８を改良することによって、この変調は、システム１００によっても検出され得、典型的なコンピュータ・マウス入力デバイスのクリック機能に類似する「クリック」機能として効果的に機能し得る。一方で、このアプローチでも、レーザー・ポインタ１１８への電気的接続や、レーザー・ポインタ１１８からのシステム１００との通信を必要としないという利点がある。

リアルタイム画像処理機能は、レーザー・ポインタ１１８からのレーザー光スポット１２０の動きを検出するため、デジタル・シグナル・プロセッサ（ＤＳＰ）などによって提供され得る。このような処理機能は、前に述べたようなプロジェクタ１０２内に組み込まれた、組み合わされた処理電子機器ハードウェア１１２及びソフトウェア１１４によって提供され得る。プロジェクタ１０２がスクリーン１１０上に画像１０８を投影すると、投影スクリーン１１０はスマートボードのように機能する。プレゼンテーションをする人は、図４に図示するような、第１の標準的な操作ボタン１２２を押すことによって、レーザー・ポインタ１１８を標準的なレーザー・ポインタ１１８として用い、レーザー光スポット１２０をスクリーン１１０上に投影させることができる。また、レーザー・ポインタ１１８は、第２の瞬時接触ボタン１２４を有するようにカスタマイズされてもよく、第２の瞬時接触ボタン１２４は、レーザー・ポインタ１１８を脈動又は発振させ、それを或る周波数で「コマンド・モード」にさせることもできる。例えば、レーザー・ポインタ１１８は、「コマンド・モード」の１５Ｈｚで脈動され得る。スクリーン１１０上のレーザー光スポット１２０の検出／感度を向上させるために、更に、差動連続フレーム動き検出手法と共にレーザー・ポインタ１１８の脈動が用いられてもよく、それにより、スクリーン１１０上のレーザー光スポット１２０の特定又は追跡を一層容易にすることができる。

ユーザが「クリック」動作を実行したい場合、ユーザは、レーザー・ポインタ１１８のボタン１２４を強く押す又はボタン１２４への圧力を強めることができ、これは、押したことが感じられる「クリック」フィードバック応答（従来のマウス・ボタンの「クリック」動作によく似ている）を伴う反応となる。このような動作によりスイッチ接触対が閉じ、これがレーザー・ポインタ１１８を約１５Ｈｚで脈動させる。マウス・クリック事象が認識されたことが確認されると、その後、適切な動作がとられる。システム１００は、その後「ドラッグ」オペレーションを捕捉するため、画像１０８内でレーザー光スポット１２０がどこにあるかをモニター及び追跡し続け、画像１０８内の現在のレーザー光スポット位置１２０のＸ、Ｙ画素位置を含む、適切なマウス・ドラッグ事象を送信することができる。その後、システム１００は、レーザー光スポット１２０が脈動しなくなり、システム１００が左マウス・クリック「中断」事象を発するまで、画像１０８のモニターを継続し得る。ユーザがレーザー・ポインタ１１８上の「マウス・ボタン」を放すまで、レーザー光スポット１２０の後続の動きをモニターすること及びそれを追跡することにより、レーザー・ポインタ１１８が、このようにして（「クリック」、「ドラッグ」、又は「放す」ことができる）マウスの代わりとなり、これにより、持ち運び可能なビルトイン「スマート・スクリーン」機能を提供する。結果として生じる「マウス・コマンド」は、ディスプレイ又はテレビ電子機器で用いることができ、或いは、ＰＣ又はセット・トップ・ボックスなど、接続されたシステムへ送信されてもよい。

また、「ドラッグ」オペレーションを把握するためのレーザー光スポット１２０の「追跡」の間、リアルタイム処理オーバーヘッドを低減させるために画像１０８の局所的な領域が拡大表示されてもよい。これは、レーザー・ポインタ１１８がコマンド・モードにあると特定されると、及びレーザー・ポインタ・スポット１２０の位置が画像１０８内で特定されると、取得した１つのＣＣＤフレームから取得した次のフレームへの位置の微小の変化が生じ得るためである。マウスの動きのための画像１０８の分析は、処理集中オペレーションであり、その分析を一層小さな部分に制限すること、即ち、画像１０８の拡大表示など、により、この処理集中オペレーションを最小限にすることができる。

別の実施例において、レーザー・ポインタ１１８の脈動回路及び／又は周波数は、その部屋のＡＣ配線とＣＣＤカメラ１０６のフレームレートとの間で同期化されてもよい。代替として、レーザー・ポインタ１１８の脈動回路は、レーザー・ポインタ１１８内に組み込まれ、プロジェクタ・スクリーン１１０によって生成される周囲光のフリッカ率を感知し得る、小型光学的センサ（図示せず）を用いて、プロジェクタ１０２のフレームレートに同期化されてもよい。更に別の実施例において、レーザー・ポインタ１１８内の小型ワイヤレス・レシーバ（図示せず）と組み合わせた、プロジェクタ１０２内の小型ワイヤレス・トランスミッタが、プロジェクタ１０２にレーザー・ポインタ１１８への同期信号を送信させることが可能である。これらの場合、依存するものが周囲６０ＨｚのＡＣ電界であれ、プロジェクタ光フリッカであれ、ワイヤレス信号であれ、同期化信号は、レーザー・ポインタ１１８がプロジェクタ１０２及び／又はカメラ１０６のフレームレートと正確に同期して随意に脈動し得るように、精密に位相ロックされた同期化信号を提供し得る、レーザー・ポインタ１１８内の位相ロックループを駆動し得る。

上述のような脈動されるレーザー光のフレーム識別は、画像検出及び感度を向上させ得る。１５Ｈｚで脈動する画像領域１０８を検出するために、連続するフレームの従来の分析をビデオ・プロセッサ（図示せず）が行い、そのため、脈動するレーザー光スポット１２０の存在をまず検出することが可能である。比較的遅い１５Ｈｚ周波数を用いることで、全フレーム露出の間レーザー・ポインタ１１８が「オン」であろうと「オフ」であろうと、画像１０８から（典型的な秒速フレーム３０Ｈｚで）任意の２つの連続して捕捉されたフレーム内で、それらのフレームのうちの少なくとも１つが、何らかの方式でレーザー光スポット１２０を捕捉し得ることが確実になり得る。カメラ１０６のフレームレートが、プロジェクタの１０２のフレームレートに同期化される必要はない。１５Ｈｚで脈動するレーザー・ポインタ１１８の存在を検出するための手法は、順次取得したフレームを順に減算し（画素強度の画素毎減算を実行し、この「差」画像の絶対値を見つけ）、その後、遷移（脈動するレーザー・ポインタ１１８の立ち上がり又は立ち下がりに関連する）を強調する急激な変化を探すことである。また、フレーム識別手法は、感度を上げてノイズを低減させるための、密接に関連する同期検出手法と合わされてもよい。こういった組み合わせ手法は、レーザー・ポインタ・スポット１２０を視覚化することが難しい事象においてユーザに音声／視覚的信号フィードバック１１６を提供するため、画像１０８上にマウス・ポインタを置くハードウェア・センサ１１２及び処理電子機器１１４を必要とする。

別の実施例において、脈動レーザー・ポインタ１１８は、時間符号化信号を用いてもよい。コンピュータ「マウス」の動作に対応して、多数の時系列パターン及びパルスが生成され得る。例えば、「マウス・ボタン・ダウン」、「マウス・ボタン・ホールド」、及び「マウス・ボタン・アップ」事象が、レーザー・ポインタ１１８上の単一のボタン（１２２又は１２４）で用いられ得る。まず、「マウス・ボタン・ダウン」を押すと、周波数ｆ_１のパルス列シーケンスが送信される。「マウス・ボタン・ダウン」を押し続けると、パルス周波数は、ボタンが押し下げられたことを意味する第２の周波数ｆ_２に自動的に変わる。ボタン（１２２又は１２４）を放すと、マウス・ボタンが放されたことを意味する周波数ｆ_３のパルスの短いバーストが送信される。周波数を変えることで、異なる事象を特定することが容易になる。レーザー・ポインタ１１８は、他の周波数又は別の方式で特別に符号化された時間的パターンを送信する付加的なボタン（図示せず）を有していてもよい。

上述の実施例は、リア・プロジェクション・システム２００、すなわち、ゲーム（シューティング・タイプのゲーム）、インタラクティブ・グラフィック、又はインターネット・サーフィンなどのための、リア・プロジェクション・テレビ（ＲＰＴＶ）又は高精細テレビ（ＨＤＴＶ）に用いることができる。図５は、リア・プロジェクション・システム２００のための、組み合わされた光学的捕捉／投影デバイスを図示し、全般的に、ＲＰＴＶ又はＨＤＴＶ２０２で開始する。テレビ２０２内部にあるのは、ＣＣＤカメラ１０６に組み合わされた光学的投影デバイス１０２である。光学的投影デバイス１０２は、折り返しミラー２０４を介してスクリーン１１０上に画像を投影することができ、ＣＣＤカメラ１０６は、スクリーン１１０からの画像を記録及び捕捉することができる。従って、前に説明したように、レーザー光スポット１２０もレーザー・ポインタ１１８からスクリーン１１０上に投影され得る。リア・プロジェクション・アプリケーション２００において、レーザー光スポット１２０は、スクリーンの透明性のため、テレビスクリーン１１０を介して貫入し得る。その結果、レーザー光スポット１２０は、ＣＣＤカメラ１０６によって特定、記録、及び捕捉され得、その情報は、前に述べたものに類似する処理電子機器によって処理され得る。また、スクリーン１１０上の画像の捕捉及び投影を促進するために他の光学的要素（図示せず）を必要としてもよい。

本明細書に開示した実施例は、単に例示的なものであり、限定的なものではない。当業者であれば、他の実施例及び説明した例示の実施例の変形は特許請求の範囲に包含されることが理解されるであろう。

図１は、光学的投影デバイス内に統合された画像センサを図示する。 図２は、組み合わされた光学的捕捉／投影デバイスの構成要素の電気的のブロック図を図示する。 図３は、入力デバイスと接続される、組み合わされた光学的捕捉／投影デバイスを図示する。 図４は、改良された入力デバイスを図示する。 図５は、リア・プロジェクション・アプリケーションにおける、組み合わされた光学的捕捉／投影デバイスを図示する。

Claims (10)

1. 光学的投影及び捕捉装置であって、
   スクリーン上に第１の画像を投影するように動作し得る投影デバイスと、
   前記スクリーンから第２の画像を捕捉するように動作し得る画像センサと、
   前記スクリーン上に投影される指向された出力光を生成するように動作し得る入力デバイスであって、前記指向された出力光の周波数脈動が、前記スクリーン上の前記指向された出力光を特定及び追跡することを容易にし、前記指向された出力光が前記画像センサに受信及び検出される、入力デバイス、
   を含む装置。
2. 請求項１に記載の装置であって、
   前記投影デバイスは、前記第１の画像を、前記スクリーンの前面で見るために前記スクリーンを介して投影するように動作し得、
   前記画像センサは、前記スクリーンのスクリーン背面から前記第２の画像を捕捉するように動作し得、更に、
   前記入力デバイスは、前記スクリーンの前面に及び更に前記スクリーンの背面にマーキングを生成するように動作し得、このマーキングは画像センサによって検出される、装置。
3. 請求項１又は２に記載の装置であって、前記入力デバイスがレーザー・ポインタである装置。
4. 請求項１又は２に記載の装置であって、前記入力デバイスの前記周波数脈動が約１５Ｈｚである、装置。
5. 請求項１又は２に記載の装置であって、前記入力デバイスの前記周波数脈動が、前記投影デバイスの前記第１の画像又は前記画像センサの前記第２の画像と同期が取られる、装置。
6. 請求項１又は２に記載の装置であって、前記指向された出力光が、更に、前記画像センサに結合される電子的処理回路へのコマンドを提供するために変調される、装置。
7. 請求項１又は２に記載の装置であって、前記入力デバイスの前記周波数脈動が、時間符号化信号、及び振幅を含む、装置。
8. 光学的リア・プロジェクション及び捕捉装置であって、
   スクリーンの前面で見るために前記スクリーンを介して第１の画像を投影するように動作し得る投影デバイスと、
   前記スクリーンのスクリーン背面から第２の画像を捕捉するように動作し得る画像センサと、
   前記スクリーンの前面に、及び更に、前記スクリーンを介して及び前記スクリーンの背面に、マーキングを生成するように動作し得る入力デバイスを含み、
   該マーキングが画像センサによって検出される、装置。
9. 光学的投影及び捕捉の方法であって、
   スクリーン上に第１の画像を投影し、
   指向された出力光にして、周波数脈動を有した出力光を前記スクリーン上に生成し、
   前記指向された出力光の前記周波数脈動に応答して、前記スクリーン上の前記指向された出力光を画像センサを用いて特定及び追跡する、
   ことを含む方法。
10. 請求項９に記載の方法であって、前記指向された出力光が、更に、前記画像センサに結合される電子的処理回路へのコマンドを提供するために変調される、方法。

Images