JP2005500590A - カメラビュー内の制御可能なディスプレイの可視点のロバスト決定方法 - Google Patents
カメラビュー内の制御可能なディスプレイの可視点のロバスト決定方法 Download PDFInfo
- Publication number
- JP2005500590A JP2005500590A JP2002565239A JP2002565239A JP2005500590A JP 2005500590 A JP2005500590 A JP 2005500590A JP 2002565239 A JP2002565239 A JP 2002565239A JP 2002565239 A JP2002565239 A JP 2002565239A JP 2005500590 A JP2005500590 A JP 2005500590A
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- display area
- images
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Abstract
複数の選択された画像に対応する画像データ（１０Ａ）を生成するためのコンピューティング装置（１０）と、複数の選択された画像を表示する（２０）ための表示エリア（１０Ｂ）と、それぞれが選択された画像の１つを含む複数の画像をその取り込みエリアに取り込む（２１）ための画像取り込み装置（１３）と、複数の取り込まれた画像に対応する画像データから建設的および破壊的フィードバックデータを得る（２２）ことにより取り込みエリア内の表示エリアを見つけるための表示エリアロケータ（１４）と、を備えたユーザ対話式コンピュータ制御表示システムの表示エリアを見つけるためのシステムおよび方法。
【選択図】図２
【選択図】図２
Description
【技術分野】
【０００１】
本発明は、コンピュータ制御可能な表示システムに関し、特に、ユーザと、コンピュータ制御される画像表示または投影画像との対話に関する。
【背景技術】
【０００２】
コンピュータ制御投影システムは、一般に、画像データを生成するためのコンピュータシステムおよびその画像データを投影スクリーンに投影するためのプロジェクタを有する。通常、コンピュータ制御投影システムは、プレゼンタが、コンピュータシステムを用いて作成されたプレゼンテーションをより大きなスクリーンに投影し、一人より多くのビューアがそのプレゼンテーションを容易に見ることができるようにするために用いられる。大抵の場合、プレゼンタは、投影画像上の注目すべきエリアを指、レーザポインタまたは他のポインティング装置で指すことによって投影画像と対話する。
【０００３】
このタイプのシステムにおける問題は、ユーザが投影画像を任意に変更したい場合に、マウス、キーボードまたはリモートデバイスなどの入力装置を用いてコンピュータシステムと対話しなければならないことである。例えば、装置は、大抵の場合、赤外線信号を介してコンピュータシステムを遠隔制御し、プレゼンテーションにおける次のスライドを表示するためにプレゼンタによって用いられる。しかし、これは、プレゼンテーションのビューアの注意をそらす可能性がある。なぜなら、プレゼンタは、ビューアおよび投影されたプレゼンテーションともはや対話せず、その代わりに、コンピュータシステムと対話しているからである。大抵の場合、この対話は、プレゼンテーションにおいて著しい中断を引き起こし得る。
【０００４】
従って、コンピュータのみとの対話という問題を克服するために開発された上記のシステムの変形形態によって、プレゼンタは、投影画像と直接対話することができる。このシステムでは、コンピュータシステムは、画像プロジェクタ装置でスクリーン（例えば、投影スクリーン）に投影される画像データ（例えば、プレゼンテーションスライド）を生成する。システムはまた、投影画像を取り込むためにデジタルカメラなどのデジタル画像取り込み装置を有する。取り込まれた投影画像データは、コンピューティングシステムに再び送信され、ポインティング装置などのスクリーンの前の物体の位置を決定するために用いられる。次に、コンピュータシステムは、ポインティング装置の決定された位置に応じて制御され得る。例えば、本願の譲受人に譲渡された米国特許第５，１３８，３０４号では、光ビームは、スクリーンに投影され、カメラで検出される。光ビームの位置を決定するために、投影画像の取り込まれた画像データおよび元の画像データは、比較され、ポインタ位置が決定される。次に、コンピュータは、ポインタ位置にビデオ画像内のカーソルを位置決めするか、ポインタ位置に応答して投影画像を変更するようになされる。
【０００５】
ユーザ対話式コンピュータ制御表示または投影システムを実施するために、コンピュータシステムがスクリーンの位置、すなわち、具体的には、カメラの取り込みエリア内の、画像が表示されるエリアを決定する初期の較正ステップが必要である。取り込みエリア内の表示エリアの位置を決定することによって、システムは、表示された画像の一部ではない任意の物体（例えば、表示された画像の前の物体）を識別することができる。１つの従来システムでは、取り込みエリア内の表示エリアの位置は、大量のコンピューティング時間およびシステムメモリ使用を必要とする、複雑であり時にはすぐ失敗するパターンマッチングアルゴリズムを用いることによって決定される。
【０００６】
本発明は、ユーザ対話式コンピュータ制御表示または投影システムにおける画像取り込み装置の取り込みエリア内の画像表示エリアを見つけるための効率的で、ロバストかつ簡単な技法である。
【発明の開示】
【０００７】
ユーザ対話式コンピュータ制御画像表示エリアを見つけるためのシステムは、複数の選択されたデジタル画像を表示するための表示エリアと、デジタル画像データを提供して、複数の選択されたデジタル画像を表示するためのコンピューティングシステムと、それぞれが選択されたデジタル画像の１つを含む、取り込みエリア内の複数の画像を取り込むための、画像取り込みエリアを有する画像取り込み装置と、複数の取り込まれた画像に対応するデジタル画像データからの建設的または破壊的フィードバックデータを引き出し、画像取り込みエリア内の表示エリアの位置を決定するための手段を含む表示エリアロケータと、を有する。
【０００８】
画像取り込み装置の画像取り込みエリア内のユーザ対話式コンピュータ制御表示エリアの位置を決定するための方法は、複数の選択された画像を表示エリアに表示し、それぞれが複数の選択された画像の１つを含む取り込みエリア内の複数の画像を取り込み、複数の取り込まれた画像に対応する画像データからの建設的または破壊的画像フィードバックデータを引き出して画像取り込み装置の画像取り込みエリア内の表示スクリーンを見つけることによって実施される。
【０００９】
発明の詳細な説明
図１は、画像データ１０Ａを生成するためのコンピューティングシステム１０と、画像データ１０Ａに対応する選択された画像１０Ｂを表示エリア１２に表示するためのグラフィカルインターフェース１１とを有する対話式コンピュータ制御画像表示システムのブロック図を示す。グラフィカルインターフェースは、コンピューティングシステムの一部であるか、またはコンピューティングシステムの外部にある別個の要素であり得ることを理解されたい。システムはさらに、複数の選択された表示画像１０Ｂのうちの１つをそれぞれが有する複数の画像を取り込むための関連の画像取り込みエリア１３Ａを有する画像取り込み装置１３を有する。取り込まれた画像はまた、表示エリア内にない画像１０Ｃを含む。非表示エリアの画像は、表示エリア内に表示されているもの以外のあらゆるものを含む。複数の取り込まれた画像は、デジタル画像データ１３Ｂに変換され、デジタル画像データ１３Ｂは、表示エリアロケータ１４に送信される。表示ロケータ１４は、取り込まれた画像データ１３Ｂからの建設的および破壊的画像フィードバックデータ１５を引き出し、画像取り込みエリア１３Ａ内の表示エリア１２の位置を決定するための手段を有する。次に、表示ロケータは、スクリーン位置情報１４Ａをコンピューティングシステム１０に任意選択的に送信し、この情報は、ユーザ対話式コンピュータ制御表示システムにおいて用いられる。
【００１０】
本実施形態では、コンピューティングシステムは、少なくとも、中央処理装置（ＣＰＵ）と、デジタルデータ（例えば、画像データ）を格納するためのメモリとを有し、少なくとも３つのレベルのグレイスケール画像を生成する能力を有する。表示エリアは、グラフィカルインターフェースによって駆動されるコンピュータモニタであり得るか、または投影スクリーンもしくは投影エリア（例えば、壁）上のエリアであり得る。画像が投影を用いて表示される場合、システムは、グラフィカルインターフェースから提供される画像データに応答する画像プロジェクタ（図１に示されない）を含む。
【００１１】
一実施形態では、画像取り込み装置は、少なくとも既知の時間遅延内に表示エリア１２に表示されるすべての画像１０Ｂを取り込むように構成されたデジタルカメラである。画像が、カメラの取り込みエリア内で、センサに到達する光の強度を検出するセンサのアレイを用いてデジタルカメラによって取り込まれることは、デジタル画像取り込みの分野において既知である。次に、光強度信号は、取り込まれた画像に対応するデジタル画像データに変換される。従って、取り込まれた画像データ１３Ｂは、取り込まれた画像に対応するデジタル画像データである。他の実施形態では、画像取り込み装置は、表示エリアの静止画像を取り込むことが可能なデジタルビデオカメラであり得る。
【００１２】
一実施形態では、選択された画像１０Ｂは、表示エリアに順次表示され、画像取り込み装置によって取り込まれる複数の単一輝度グレイスケール画像である。
【００１３】
表示ロケータ１４の機能のすべてまたは一部は、コンピューティングシステムによって実施され得ることを理解されたい。従って、表示ロケータ１４はコンピューティングシステムの外部に示されているが、表示ロケータ１４のすべてまたは一部は、コンピューティングシステム内で実施され得る。
【００１４】
表示ロケータは、ソフトウェア実施態様、ハードウェア実施態様、またはソフトウェアおよびハードウェア実施態様の任意の組み合わせで実施され得ることをさらに理解されたい。
【００１５】
図２は、ユーザ対話式コンピュータ制御表示システムにおける画像取り込み装置の取り込みエリア内の表示エリアの位置を決定する方法の第１の実施形態を示す。本実施形態によると、複数の選択された画像が表示エリア内に表示される（ブロック２０）。複数の画像が画像取り込み装置の取り込みエリア内で取り込まれ、取り込まれた画像のそれぞれは選択された画像の１つを含む（ブロック２１）。建設的および破壊的フィードバックデータは、取り込まれた画像に対応する画像データから引き出され、取り込みエリア内の表示エリアを見つける（ブロック２２）。
【００１６】
図３は、ユーザ対話式コンピュータ制御表示システムにおける画像取り込み装置の取り込みエリア内の表示エリアの位置を決定する方法の第２の実施形態を示す。この方法では、少なくとも３つの単一輝度グレイスケール画像が表示エリア内に表示される（ブロック３０）。それぞれが少なくとも３つの単一輝度グレイスケール画像のうちの１つを含む複数の画像が、画像取り込み装置の取り込みエリア内で取り込まれる（ブロック３１）。建設的または破壊的フィードバックデータは、少なくとも３つの画像のうちの第１の画像を含む第１の取り込まれた画像に対応する画像データを画素アレイに格納することにより（ブロック３２）、および少なくとも第２および第３の単一輝度グレイスケール画像を含む取り込まれた画像の残りに対応する画像データに応じて画素値を増減することにより（ブロック３３）引き出される。図示されるように、ブロック３３では、取り込みエリア内の表示エリアの位置を示す画像データが生成される。建設的フィードバックとは、所与の画素値が増加されることを意味し、破壊的フィードバックとは、所与の画素値が減少されることを意味することを理解されたい。一実施形態では、表示エリアに対応するアレイ内の画素値は、第１の所定の一定値だけ増加され、非表示エリアに対応するアレイ内の画素値は、第２の所定の一定値だけ減少される。第３の実施形態の一変形形態では、フィードバックは、反復的に適用され得る。この反復プロセスは、少なくとも第２および第３の画像を再表示し、アレイ内の画素値を再び増減することによって成し遂げられる。
【００１７】
図４Ａは、本発明の方法の第３の実施形態を示し、図４Ｂは、この方法によって実施される対応する動作を例示する。まず、デジタル格納部のアレイＡc（ｘ，ｙ）は、デジタルメモリ格納エリア内で初期化され、アレイ内の各要素は、取り込み装置の画像取り込みエリア内の各画素位置に対応する値を格納する。アレイの初期化により、アレイ内のすべての値はゼロに設定され、Ａc＝（ｘ，ｙ）＝０となる（ブロック４０Ａおよび４０Ｂ）。
【００１８】
Ｉmid（ここで、ＩHIGH＞Ｉmid＞ＩLOW）の輝度を有する第１の単一輝度グレイスケール画像が、表示エリア１２内に表示され、第１の画像が、画像取り込みエリア１３Ａ内で取り込まれて、対応する画像データのアレイＡc1（ｘ，ｙ）を有する（ブロック４１Ａおよび４１Ｂ）。第１の取り込まれた画像は、ディスプレイ１２に表示された第１の単一グレイスケール画像を有する。具体的には、４１Ｂで示されるように、第１の取り込まれた画像は、すべてがＩmidの輝度を有する表示エリア１２に対応する画素ｓのエリア、および非表示エリアに対応する画素（バーｓ）のエリアを含む。アレイＡc1（ｘ，ｙ）もまた格納される。
【００１９】
次に、ＩHIGHの最大輝度レベルを有する第２の単一輝度グレイスケール画像が、表示エリア１２に表示され、第２の画像が、画像取り込みエリア内で取り込まれて、対応する画像データアレイＡc2（ｘ，ｙ）を有する（ブロック４２Ａ）。アレイＡc2（ｘ，ｙ）は、ＩHIGHの輝度を有する画素ｓおよび非表示エリア画素（バーｓ）を含む（ブロック４２Ｂ）。アレイＡcl（ｘ，ｙ）の画素値は、Ａc2（ｘ，ｙ）の対応する画素値と比較され（ブロック４３）、Ａc（ｘ，ｙ）の値は、以下の条件に従って増減される（ブロック４４Ａ）。
Ａc2（ｘ，ｙ）＞Ａc1（ｘ，ｙ）の場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃpos； 条件１
そうでない場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃneg； 条件２
ここで、ｃnegは、負の整数であり、ｃposは、正の整数である。一実施形態では、ｃpos＝２０かつｃneg＝−１６である。換言すると、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃfeedback1である。
【００２０】
Ａc（ｘ，ｙ）の値は、表示および非表示エリアにおける第１の取り込まれた画像から第３の取り込まれた画像までの対応する画素値の動的な挙動に依存することに留意されたい。この結果、第２の取り込まれた画像（４２Ｂ）内の表示エリア画素ｓの輝度レベルは、ＩHIGHであり、第１の取り込まれた画像（４１Ｂ）内の表示エリア画素ｓの輝度レベルは、Ｉmidであるため、表示エリアｓ内では、Ａc2（ｘ，ｙ）＞Ａc1（ｘ，ｙ）となる。この結果、条件１が適用され、ｃposが、アレイＡc（ｘ，ｙ）内の表示エリアに対応するすべての値に加えられる。Ａc（ｘ，ｙ）は、すべての値がブロック４４Ａの前に０に設定されるように初期化されるため、アレイＡc（ｘ，ｙ）におけるｓに対応する値は、第１のフィードバックデータが適用された後にｃposの値に増加される。
【００２１】
あるいは、表示エリアの背景が変化しないと想定すると、非表示エリア画素（バーｓ）の輝度は同じであり、Ａc2（ｘ，ｙ）＝Ａc1（ｘ，ｙ）となる。この結果、条件２が適用され、ｃnegが、アレイＡc（ｘ，ｙ）内の非表示画素に対応する値に加えられる。しかし、場合によっては、条件２は、画像ノイズに起因して、または背景が変化する場合に適用され得る。この結果、非表示エリア（バーｓ）に対応するＡcの値は、（ｃpos）→（ｃneg）の値の範囲となる。
【００２２】
従って、建設的フィードバックは、アレイＡc（ｘ，ｙ）内の表示エリアに対応するすべての値に適用され、大抵の部分では、破壊的フィードバックは、アレイＡc（ｘ，ｙ）内の非表示エリアに対応する値に適用される。この結果、表示エリア値は、正の方向に駆動され、非表示エリア値は、負の方向に駆動される。
【００２３】
次に、ＩLOWの輝度レベルを有する第３の単一輝度グレイスケール画像が、表示エリア１２内に表示され、第３の画像が、取り込みエリア１３Ａで取り込まれて、対応する画像データのアレイＡc3（ｘ，ｙ）を有する（ブロック４５Ａおよび４５Ｂ）。図示されるように、画素アレイＡc3（ｘ，ｙ）は、ＩLOWの輝度を有する画素ｓおよび画素（バーｓ）を含む（４５Ｂ）。次に、アレイＡc1（ｘ，ｙ）の画素値が、Ａc3（ｘ，ｙ）の対応する画素値と比較され（ブロック４６）、Ａc（ｘ，ｙ）の値は、次の条件に従って増減される（ブロック４７Ａ）。
Ａc3（ｘ，ｙ）＜Ａc1（ｘ，ｙ）の場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃpos； 条件３
そうでない場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃneg； 条件４
換言すると、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃfeedback2である。条件３および４は、実質的に条件１および２の逆であることに留意されたい。この結果、第３の取り込まれた画像データ（４５Ｂ）内の表示エリア画素ｓの輝度はＩLOWであり、Ａc1（ｘ，ｙ）内の表示エリア画素ｓの輝度はＩmidであるため、表示エリアｓ内では、Ａc3（ｘ，ｙ）＜Ａc1（ｘ，ｙ）となる。この結果、条件３が適用され、ｃposが、アレイＡc（ｘ，ｙ）内の表示エリアｓに対応するすべての値に再び加えられる。従って、建設的フィードバックは、第１および第２のフィードバックデータが適用される場合、アレイＡc（ｘ，ｙ）内の表示エリア値に適用される。
【００２４】
これに対して、第３の取り込まれた画像データ４５Ｂ内の非表示画素値がまだ変化していないと想定すると、大抵の場合、条件４が適用され、ｃnegがＡc（ｘ，ｙ）内の非表示値に再び適用される。非表示エリア画像が変化した場合、またはノイズに起因して、条件３が適用され得る。しかし、大抵の場合、第１および第２のフィードバックデータの両方が適用されるときには、破壊的フィードバックがアレイＡc（ｘ，ｙ）内の非表示エリア値に適用される。
【００２５】
フィードバックブロック４４Ａおよび４７Ａの正味の影響は、表示エリアｓに対応するＡc（ｘ，ｙ）内の値が正の方向に駆動され、非表示エリア（バーｓ）の値が負の方向に駆動されることである。図４Ａはまた、反復ループ４８が、第２および第３の取り込まれた画像のそれぞれに対して、ｉがループ４８内の反復回数である場合に以下のように、さらなるフィードバックがＡc（ｘ，ｙ）に加えられるように実施され得る。
【００２６】
【数１】
【００２７】
結果として得られるアレイＡcfinal（ｘ，ｙ）は、表示エリアに対応する画素位置にきわめて正の値を含み、非表示エリアに対応する画素位置にきわめて負の値を含む。従って、閾値の比較が、極端に正／負の値を識別するために用いられ、それゆえ画像取り込み装置の取り込みエリア内の表示エリアの位置を識別するために用いられ得る。
【００２８】
図５Ａは、取り込みエリア１３Ａ内で取り込まれた表示エリア１２の例示的な画像を示す。特に、表示エリア１２は、コンピュータモニタである。図５Ｂは、表示エリア１２の位置情報を提供するデータ（すなわち、Ａcfinal（ｘ，ｙ））を示す。図から理解されるように、表示エリア１２は、ＩHIGHの最大輝度レベルを有する画素値に対応する白領域であり、取り込みエリア１３Ａ内の、表示エリアを取り囲む非表示エリアは、ＩLOWの最小輝度レベルを有する画素値に対応する黒領域である。
【００２９】
本発明の方法の第４の実施形態では、第２および第３の画像は、単一グレイスケール輝度で表示されない。その代わりに、第２の画像は、画像の第１の領域が第１の輝度値を有するように表示され、第２の領域が第２の輝度値を有するように表示され、また第３の画像は、対応する領域において反対の輝度を有するように表示されるように、表示される。例えば、図６Ａおよび図６Ｂは、取り込みエリア１３Ａ内の表示エリア１２、ならびに第２および第３の画像が本発明の方法の第４の実施形態について表示される様式を示す。図６Ａに示されるように、第２の画像６０は、表示エリア１２の領域Ｐ1が、ＩHIGHに対応するグレイスケール輝度値（すなわち、白）に設定され、他の領域Ｐ2が、ＩLOWに対応するグレイスケール値（すなわち、黒）に設定されるように、表示エリア１２内に表示される。領域Ｐ2は、実質的に表示エリア１２を構成することに留意されたい。領域Ｐ3は、非表示エリアに対応する。逆に、図６Ｂに示される第３の画像６１は、領域Ｐ1がＩLOWに対応するグレイスケール輝度値に設定され、領域Ｐ2がＩHIGHに対応するグレイスケール輝度値に設定される。
【００３０】
図６Ａおよび図６Ｂに示される第２および第３の画像を表示する効果は、曖昧でない、すなわち「明確な」境界を周囲に有する表示エリア領域Ｐ1として、取り込みエリア内の表示エリアの位置を識別する最終アレイデータＡcfinal（ｘ，ｙ）を得ることである。特に、図４Ａおよび図４Ｂに示される方法を用い、図６Ａおよび図６Ｂに示される第２および第３の画像を表示することによって、表示エリアＰ1は、正の方向に押しやられ、非表示スクリーンエリアＰ3は、負の方向に押しやられ、表示エリア境界Ｐ2は、よりはっきりした境界が表示エリアＰ1の周りに確立されるように、非表示スクリーンエリアよりもさらに負の方向に駆動される。
【００３１】
第２、第３および第４の実施形態は、アレイＡc（ｘ，ｙ）が、第１および第２のフィードバックを反復的に適用する前に正規化されるように実施され得る（ブロック４３Ａから４８Ａ）。正規化は、以下のように、アレイにおけるすべての画素値から静的な一定値を減算することによって実施される。
Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）−ｃstatic 式１
【００３２】
この正規化は、建設的フィードバックを有する領域と、建設的フィードバックを有さない領域とをより良好に区別するために実施される。換言すると、正規化は、表示エリアおよび非表示エリアを識別するための最適化された最終アレイデータを提供する際に反復フィードバックをより効果的にするために実施される。
【００３３】
他の実施形態では、システムおよび方法は、建設的フィードバックをアレイＡc（ｘ，ｙ）の表示エリア値に適用し、破壊的フィードバックをアレイＡc（ｘ，ｙ）の非表示エリア値に適用する代わりに、逆フィードバック条件を適用するように実施され得る。特に、画像取り込み装置の取り込みエリア内の非表示エリアを識別するために、破壊的フィードバックは、表示エリア値に適用され、建設的フィードバックは、非表示エリア値に適用される。
【００３４】
さらに他の実施形態では、システムおよび方法は、格納された第１の画像の画素値を第２および第３の取り込まれた画像データの対応する画素値と比較する（図４Ａおよび図４Ｂ、ブロック４３および４６）代わりに、第１の取り込まれた画像の画素値を、ノイズ調整された第２および第３の取り込まれた画像の画素値と比較するように実施され得る。ここで、ノイズ調整された画素値は、元の画素値にノイズ因子値ｃnfを加えたものである。例えば、条件１および３は、以下のようになる。
Ａc2（ｘ，ｙ）＋ｃnf＞Ａc1（ｘ，ｙ）の場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃpos； 条件１’
Ａc3（ｘ，ｙ）＋ｃnf＜Ａc1（ｘ，ｙ）の場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃpos； 条件３’
ここで、ｃnfは、照明条件、カメラ品質、ならびに表示された画像の品質およびタイプによる、ユーザ対話式コンピュータ制御表示システム内の画素値の小さな変化を考慮する一定の値である。ノイズ因子を加えると、本発明のシステムおよび方法のよりロバストな実施態様が得られる。
【００３５】
このように、ユーザ対話式コンピュータ制御表示システムにおける画像取り込み装置の取り込みエリア内の表示エリアを見つけるための数学的に複雑でない解決法を提供するシステムおよび方法について記載した。
【００３６】
上記の説明では、本発明を完全に理解してもらうために、フィードバック定数、輝度値および画像タイプなどの多くの具体的な詳細を提示した。しかし、当業者には、これらの具体的な詳細は、本発明を実施するために用いられる必要はないことが明らかであろう。その他、本発明を不必要に不明瞭にするのを避けるため、既知の画像処理技法については記載していない。
【００３７】
さらに、本発明の要素を特定の実施形態に関連して記載したが、本発明は、様々な他の方法で実施され得ることが理解される。この結果、例示として図示され記載される特定の実施形態は、限定するものとして見なされることを決して意図しないことが理解されるであろう。これらの実施形態の詳細を参照することは、本発明の本質と見なされる特徴のみを記載する特許請求項を限定することを意図するものではない。
【図面の簡単な説明】
【００３８】
【図１】ユーザ対話式コンピュータ制御表示システムにおける表示エリアを見つけるためのシステムの第１の実施形態のブロック図である。
【図２】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第１の実施形態を例示する図である。
【図３】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第２の実施形態を例示する図である。
【図４Ａ】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第３の実施形態を例示する図である。
【図４Ｂ】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第３の実施形態を例示する図である。
【図５Ａ】取り込みエリアにおける表示エリアの例示的な画像を示す図である。
【図５Ｂ】本発明の方法を実施することによって得られる画像データに対応する画像を示す図である。
【図６Ａ】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第４の実施形態を表示するための選択された画像を例示する図である。
【図６Ｂ】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第４の実施形態を表示するための選択された画像を例示する図である。
【符号の説明】
【００３９】
１０：コンピューティングシステム
１０Ｂ：選択された表示画像
１０Ｃ：表示エリア内にない画像
１１：グラフィカルインターフェース
１２：表示エリア
１３：画像取り込み装置
１３Ａ：画像取り込みエリア
１４：表示エリアロケータ
【０００１】
本発明は、コンピュータ制御可能な表示システムに関し、特に、ユーザと、コンピュータ制御される画像表示または投影画像との対話に関する。
【背景技術】
【０００２】
コンピュータ制御投影システムは、一般に、画像データを生成するためのコンピュータシステムおよびその画像データを投影スクリーンに投影するためのプロジェクタを有する。通常、コンピュータ制御投影システムは、プレゼンタが、コンピュータシステムを用いて作成されたプレゼンテーションをより大きなスクリーンに投影し、一人より多くのビューアがそのプレゼンテーションを容易に見ることができるようにするために用いられる。大抵の場合、プレゼンタは、投影画像上の注目すべきエリアを指、レーザポインタまたは他のポインティング装置で指すことによって投影画像と対話する。
【０００３】
このタイプのシステムにおける問題は、ユーザが投影画像を任意に変更したい場合に、マウス、キーボードまたはリモートデバイスなどの入力装置を用いてコンピュータシステムと対話しなければならないことである。例えば、装置は、大抵の場合、赤外線信号を介してコンピュータシステムを遠隔制御し、プレゼンテーションにおける次のスライドを表示するためにプレゼンタによって用いられる。しかし、これは、プレゼンテーションのビューアの注意をそらす可能性がある。なぜなら、プレゼンタは、ビューアおよび投影されたプレゼンテーションともはや対話せず、その代わりに、コンピュータシステムと対話しているからである。大抵の場合、この対話は、プレゼンテーションにおいて著しい中断を引き起こし得る。
【０００４】
従って、コンピュータのみとの対話という問題を克服するために開発された上記のシステムの変形形態によって、プレゼンタは、投影画像と直接対話することができる。このシステムでは、コンピュータシステムは、画像プロジェクタ装置でスクリーン（例えば、投影スクリーン）に投影される画像データ（例えば、プレゼンテーションスライド）を生成する。システムはまた、投影画像を取り込むためにデジタルカメラなどのデジタル画像取り込み装置を有する。取り込まれた投影画像データは、コンピューティングシステムに再び送信され、ポインティング装置などのスクリーンの前の物体の位置を決定するために用いられる。次に、コンピュータシステムは、ポインティング装置の決定された位置に応じて制御され得る。例えば、本願の譲受人に譲渡された米国特許第５，１３８，３０４号では、光ビームは、スクリーンに投影され、カメラで検出される。光ビームの位置を決定するために、投影画像の取り込まれた画像データおよび元の画像データは、比較され、ポインタ位置が決定される。次に、コンピュータは、ポインタ位置にビデオ画像内のカーソルを位置決めするか、ポインタ位置に応答して投影画像を変更するようになされる。
【０００５】
ユーザ対話式コンピュータ制御表示または投影システムを実施するために、コンピュータシステムがスクリーンの位置、すなわち、具体的には、カメラの取り込みエリア内の、画像が表示されるエリアを決定する初期の較正ステップが必要である。取り込みエリア内の表示エリアの位置を決定することによって、システムは、表示された画像の一部ではない任意の物体（例えば、表示された画像の前の物体）を識別することができる。１つの従来システムでは、取り込みエリア内の表示エリアの位置は、大量のコンピューティング時間およびシステムメモリ使用を必要とする、複雑であり時にはすぐ失敗するパターンマッチングアルゴリズムを用いることによって決定される。
【０００６】
本発明は、ユーザ対話式コンピュータ制御表示または投影システムにおける画像取り込み装置の取り込みエリア内の画像表示エリアを見つけるための効率的で、ロバストかつ簡単な技法である。
【発明の開示】
【０００７】
ユーザ対話式コンピュータ制御画像表示エリアを見つけるためのシステムは、複数の選択されたデジタル画像を表示するための表示エリアと、デジタル画像データを提供して、複数の選択されたデジタル画像を表示するためのコンピューティングシステムと、それぞれが選択されたデジタル画像の１つを含む、取り込みエリア内の複数の画像を取り込むための、画像取り込みエリアを有する画像取り込み装置と、複数の取り込まれた画像に対応するデジタル画像データからの建設的または破壊的フィードバックデータを引き出し、画像取り込みエリア内の表示エリアの位置を決定するための手段を含む表示エリアロケータと、を有する。
【０００８】
画像取り込み装置の画像取り込みエリア内のユーザ対話式コンピュータ制御表示エリアの位置を決定するための方法は、複数の選択された画像を表示エリアに表示し、それぞれが複数の選択された画像の１つを含む取り込みエリア内の複数の画像を取り込み、複数の取り込まれた画像に対応する画像データからの建設的または破壊的画像フィードバックデータを引き出して画像取り込み装置の画像取り込みエリア内の表示スクリーンを見つけることによって実施される。
【０００９】
発明の詳細な説明
図１は、画像データ１０Ａを生成するためのコンピューティングシステム１０と、画像データ１０Ａに対応する選択された画像１０Ｂを表示エリア１２に表示するためのグラフィカルインターフェース１１とを有する対話式コンピュータ制御画像表示システムのブロック図を示す。グラフィカルインターフェースは、コンピューティングシステムの一部であるか、またはコンピューティングシステムの外部にある別個の要素であり得ることを理解されたい。システムはさらに、複数の選択された表示画像１０Ｂのうちの１つをそれぞれが有する複数の画像を取り込むための関連の画像取り込みエリア１３Ａを有する画像取り込み装置１３を有する。取り込まれた画像はまた、表示エリア内にない画像１０Ｃを含む。非表示エリアの画像は、表示エリア内に表示されているもの以外のあらゆるものを含む。複数の取り込まれた画像は、デジタル画像データ１３Ｂに変換され、デジタル画像データ１３Ｂは、表示エリアロケータ１４に送信される。表示ロケータ１４は、取り込まれた画像データ１３Ｂからの建設的および破壊的画像フィードバックデータ１５を引き出し、画像取り込みエリア１３Ａ内の表示エリア１２の位置を決定するための手段を有する。次に、表示ロケータは、スクリーン位置情報１４Ａをコンピューティングシステム１０に任意選択的に送信し、この情報は、ユーザ対話式コンピュータ制御表示システムにおいて用いられる。
【００１０】
本実施形態では、コンピューティングシステムは、少なくとも、中央処理装置（ＣＰＵ）と、デジタルデータ（例えば、画像データ）を格納するためのメモリとを有し、少なくとも３つのレベルのグレイスケール画像を生成する能力を有する。表示エリアは、グラフィカルインターフェースによって駆動されるコンピュータモニタであり得るか、または投影スクリーンもしくは投影エリア（例えば、壁）上のエリアであり得る。画像が投影を用いて表示される場合、システムは、グラフィカルインターフェースから提供される画像データに応答する画像プロジェクタ（図１に示されない）を含む。
【００１１】
一実施形態では、画像取り込み装置は、少なくとも既知の時間遅延内に表示エリア１２に表示されるすべての画像１０Ｂを取り込むように構成されたデジタルカメラである。画像が、カメラの取り込みエリア内で、センサに到達する光の強度を検出するセンサのアレイを用いてデジタルカメラによって取り込まれることは、デジタル画像取り込みの分野において既知である。次に、光強度信号は、取り込まれた画像に対応するデジタル画像データに変換される。従って、取り込まれた画像データ１３Ｂは、取り込まれた画像に対応するデジタル画像データである。他の実施形態では、画像取り込み装置は、表示エリアの静止画像を取り込むことが可能なデジタルビデオカメラであり得る。
【００１２】
一実施形態では、選択された画像１０Ｂは、表示エリアに順次表示され、画像取り込み装置によって取り込まれる複数の単一輝度グレイスケール画像である。
【００１３】
表示ロケータ１４の機能のすべてまたは一部は、コンピューティングシステムによって実施され得ることを理解されたい。従って、表示ロケータ１４はコンピューティングシステムの外部に示されているが、表示ロケータ１４のすべてまたは一部は、コンピューティングシステム内で実施され得る。
【００１４】
表示ロケータは、ソフトウェア実施態様、ハードウェア実施態様、またはソフトウェアおよびハードウェア実施態様の任意の組み合わせで実施され得ることをさらに理解されたい。
【００１５】
図２は、ユーザ対話式コンピュータ制御表示システムにおける画像取り込み装置の取り込みエリア内の表示エリアの位置を決定する方法の第１の実施形態を示す。本実施形態によると、複数の選択された画像が表示エリア内に表示される（ブロック２０）。複数の画像が画像取り込み装置の取り込みエリア内で取り込まれ、取り込まれた画像のそれぞれは選択された画像の１つを含む（ブロック２１）。建設的および破壊的フィードバックデータは、取り込まれた画像に対応する画像データから引き出され、取り込みエリア内の表示エリアを見つける（ブロック２２）。
【００１６】
図３は、ユーザ対話式コンピュータ制御表示システムにおける画像取り込み装置の取り込みエリア内の表示エリアの位置を決定する方法の第２の実施形態を示す。この方法では、少なくとも３つの単一輝度グレイスケール画像が表示エリア内に表示される（ブロック３０）。それぞれが少なくとも３つの単一輝度グレイスケール画像のうちの１つを含む複数の画像が、画像取り込み装置の取り込みエリア内で取り込まれる（ブロック３１）。建設的または破壊的フィードバックデータは、少なくとも３つの画像のうちの第１の画像を含む第１の取り込まれた画像に対応する画像データを画素アレイに格納することにより（ブロック３２）、および少なくとも第２および第３の単一輝度グレイスケール画像を含む取り込まれた画像の残りに対応する画像データに応じて画素値を増減することにより（ブロック３３）引き出される。図示されるように、ブロック３３では、取り込みエリア内の表示エリアの位置を示す画像データが生成される。建設的フィードバックとは、所与の画素値が増加されることを意味し、破壊的フィードバックとは、所与の画素値が減少されることを意味することを理解されたい。一実施形態では、表示エリアに対応するアレイ内の画素値は、第１の所定の一定値だけ増加され、非表示エリアに対応するアレイ内の画素値は、第２の所定の一定値だけ減少される。第３の実施形態の一変形形態では、フィードバックは、反復的に適用され得る。この反復プロセスは、少なくとも第２および第３の画像を再表示し、アレイ内の画素値を再び増減することによって成し遂げられる。
【００１７】
図４Ａは、本発明の方法の第３の実施形態を示し、図４Ｂは、この方法によって実施される対応する動作を例示する。まず、デジタル格納部のアレイＡc（ｘ，ｙ）は、デジタルメモリ格納エリア内で初期化され、アレイ内の各要素は、取り込み装置の画像取り込みエリア内の各画素位置に対応する値を格納する。アレイの初期化により、アレイ内のすべての値はゼロに設定され、Ａc＝（ｘ，ｙ）＝０となる（ブロック４０Ａおよび４０Ｂ）。
【００１８】
Ｉmid（ここで、ＩHIGH＞Ｉmid＞ＩLOW）の輝度を有する第１の単一輝度グレイスケール画像が、表示エリア１２内に表示され、第１の画像が、画像取り込みエリア１３Ａ内で取り込まれて、対応する画像データのアレイＡc1（ｘ，ｙ）を有する（ブロック４１Ａおよび４１Ｂ）。第１の取り込まれた画像は、ディスプレイ１２に表示された第１の単一グレイスケール画像を有する。具体的には、４１Ｂで示されるように、第１の取り込まれた画像は、すべてがＩmidの輝度を有する表示エリア１２に対応する画素ｓのエリア、および非表示エリアに対応する画素（バーｓ）のエリアを含む。アレイＡc1（ｘ，ｙ）もまた格納される。
【００１９】
次に、ＩHIGHの最大輝度レベルを有する第２の単一輝度グレイスケール画像が、表示エリア１２に表示され、第２の画像が、画像取り込みエリア内で取り込まれて、対応する画像データアレイＡc2（ｘ，ｙ）を有する（ブロック４２Ａ）。アレイＡc2（ｘ，ｙ）は、ＩHIGHの輝度を有する画素ｓおよび非表示エリア画素（バーｓ）を含む（ブロック４２Ｂ）。アレイＡcl（ｘ，ｙ）の画素値は、Ａc2（ｘ，ｙ）の対応する画素値と比較され（ブロック４３）、Ａc（ｘ，ｙ）の値は、以下の条件に従って増減される（ブロック４４Ａ）。
Ａc2（ｘ，ｙ）＞Ａc1（ｘ，ｙ）の場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃpos； 条件１
そうでない場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃneg； 条件２
ここで、ｃnegは、負の整数であり、ｃposは、正の整数である。一実施形態では、ｃpos＝２０かつｃneg＝−１６である。換言すると、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃfeedback1である。
【００２０】
Ａc（ｘ，ｙ）の値は、表示および非表示エリアにおける第１の取り込まれた画像から第３の取り込まれた画像までの対応する画素値の動的な挙動に依存することに留意されたい。この結果、第２の取り込まれた画像（４２Ｂ）内の表示エリア画素ｓの輝度レベルは、ＩHIGHであり、第１の取り込まれた画像（４１Ｂ）内の表示エリア画素ｓの輝度レベルは、Ｉmidであるため、表示エリアｓ内では、Ａc2（ｘ，ｙ）＞Ａc1（ｘ，ｙ）となる。この結果、条件１が適用され、ｃposが、アレイＡc（ｘ，ｙ）内の表示エリアに対応するすべての値に加えられる。Ａc（ｘ，ｙ）は、すべての値がブロック４４Ａの前に０に設定されるように初期化されるため、アレイＡc（ｘ，ｙ）におけるｓに対応する値は、第１のフィードバックデータが適用された後にｃposの値に増加される。
【００２１】
あるいは、表示エリアの背景が変化しないと想定すると、非表示エリア画素（バーｓ）の輝度は同じであり、Ａc2（ｘ，ｙ）＝Ａc1（ｘ，ｙ）となる。この結果、条件２が適用され、ｃnegが、アレイＡc（ｘ，ｙ）内の非表示画素に対応する値に加えられる。しかし、場合によっては、条件２は、画像ノイズに起因して、または背景が変化する場合に適用され得る。この結果、非表示エリア（バーｓ）に対応するＡcの値は、（ｃpos）→（ｃneg）の値の範囲となる。
【００２２】
従って、建設的フィードバックは、アレイＡc（ｘ，ｙ）内の表示エリアに対応するすべての値に適用され、大抵の部分では、破壊的フィードバックは、アレイＡc（ｘ，ｙ）内の非表示エリアに対応する値に適用される。この結果、表示エリア値は、正の方向に駆動され、非表示エリア値は、負の方向に駆動される。
【００２３】
次に、ＩLOWの輝度レベルを有する第３の単一輝度グレイスケール画像が、表示エリア１２内に表示され、第３の画像が、取り込みエリア１３Ａで取り込まれて、対応する画像データのアレイＡc3（ｘ，ｙ）を有する（ブロック４５Ａおよび４５Ｂ）。図示されるように、画素アレイＡc3（ｘ，ｙ）は、ＩLOWの輝度を有する画素ｓおよび画素（バーｓ）を含む（４５Ｂ）。次に、アレイＡc1（ｘ，ｙ）の画素値が、Ａc3（ｘ，ｙ）の対応する画素値と比較され（ブロック４６）、Ａc（ｘ，ｙ）の値は、次の条件に従って増減される（ブロック４７Ａ）。
Ａc3（ｘ，ｙ）＜Ａc1（ｘ，ｙ）の場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃpos； 条件３
そうでない場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃneg； 条件４
換言すると、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃfeedback2である。条件３および４は、実質的に条件１および２の逆であることに留意されたい。この結果、第３の取り込まれた画像データ（４５Ｂ）内の表示エリア画素ｓの輝度はＩLOWであり、Ａc1（ｘ，ｙ）内の表示エリア画素ｓの輝度はＩmidであるため、表示エリアｓ内では、Ａc3（ｘ，ｙ）＜Ａc1（ｘ，ｙ）となる。この結果、条件３が適用され、ｃposが、アレイＡc（ｘ，ｙ）内の表示エリアｓに対応するすべての値に再び加えられる。従って、建設的フィードバックは、第１および第２のフィードバックデータが適用される場合、アレイＡc（ｘ，ｙ）内の表示エリア値に適用される。
【００２４】
これに対して、第３の取り込まれた画像データ４５Ｂ内の非表示画素値がまだ変化していないと想定すると、大抵の場合、条件４が適用され、ｃnegがＡc（ｘ，ｙ）内の非表示値に再び適用される。非表示エリア画像が変化した場合、またはノイズに起因して、条件３が適用され得る。しかし、大抵の場合、第１および第２のフィードバックデータの両方が適用されるときには、破壊的フィードバックがアレイＡc（ｘ，ｙ）内の非表示エリア値に適用される。
【００２５】
フィードバックブロック４４Ａおよび４７Ａの正味の影響は、表示エリアｓに対応するＡc（ｘ，ｙ）内の値が正の方向に駆動され、非表示エリア（バーｓ）の値が負の方向に駆動されることである。図４Ａはまた、反復ループ４８が、第２および第３の取り込まれた画像のそれぞれに対して、ｉがループ４８内の反復回数である場合に以下のように、さらなるフィードバックがＡc（ｘ，ｙ）に加えられるように実施され得る。
【００２６】
【数１】
結果として得られるアレイＡcfinal（ｘ，ｙ）は、表示エリアに対応する画素位置にきわめて正の値を含み、非表示エリアに対応する画素位置にきわめて負の値を含む。従って、閾値の比較が、極端に正／負の値を識別するために用いられ、それゆえ画像取り込み装置の取り込みエリア内の表示エリアの位置を識別するために用いられ得る。
【００２８】
図５Ａは、取り込みエリア１３Ａ内で取り込まれた表示エリア１２の例示的な画像を示す。特に、表示エリア１２は、コンピュータモニタである。図５Ｂは、表示エリア１２の位置情報を提供するデータ（すなわち、Ａcfinal（ｘ，ｙ））を示す。図から理解されるように、表示エリア１２は、ＩHIGHの最大輝度レベルを有する画素値に対応する白領域であり、取り込みエリア１３Ａ内の、表示エリアを取り囲む非表示エリアは、ＩLOWの最小輝度レベルを有する画素値に対応する黒領域である。
【００２９】
本発明の方法の第４の実施形態では、第２および第３の画像は、単一グレイスケール輝度で表示されない。その代わりに、第２の画像は、画像の第１の領域が第１の輝度値を有するように表示され、第２の領域が第２の輝度値を有するように表示され、また第３の画像は、対応する領域において反対の輝度を有するように表示されるように、表示される。例えば、図６Ａおよび図６Ｂは、取り込みエリア１３Ａ内の表示エリア１２、ならびに第２および第３の画像が本発明の方法の第４の実施形態について表示される様式を示す。図６Ａに示されるように、第２の画像６０は、表示エリア１２の領域Ｐ1が、ＩHIGHに対応するグレイスケール輝度値（すなわち、白）に設定され、他の領域Ｐ2が、ＩLOWに対応するグレイスケール値（すなわち、黒）に設定されるように、表示エリア１２内に表示される。領域Ｐ2は、実質的に表示エリア１２を構成することに留意されたい。領域Ｐ3は、非表示エリアに対応する。逆に、図６Ｂに示される第３の画像６１は、領域Ｐ1がＩLOWに対応するグレイスケール輝度値に設定され、領域Ｐ2がＩHIGHに対応するグレイスケール輝度値に設定される。
【００３０】
図６Ａおよび図６Ｂに示される第２および第３の画像を表示する効果は、曖昧でない、すなわち「明確な」境界を周囲に有する表示エリア領域Ｐ1として、取り込みエリア内の表示エリアの位置を識別する最終アレイデータＡcfinal（ｘ，ｙ）を得ることである。特に、図４Ａおよび図４Ｂに示される方法を用い、図６Ａおよび図６Ｂに示される第２および第３の画像を表示することによって、表示エリアＰ1は、正の方向に押しやられ、非表示スクリーンエリアＰ3は、負の方向に押しやられ、表示エリア境界Ｐ2は、よりはっきりした境界が表示エリアＰ1の周りに確立されるように、非表示スクリーンエリアよりもさらに負の方向に駆動される。
【００３１】
第２、第３および第４の実施形態は、アレイＡc（ｘ，ｙ）が、第１および第２のフィードバックを反復的に適用する前に正規化されるように実施され得る（ブロック４３Ａから４８Ａ）。正規化は、以下のように、アレイにおけるすべての画素値から静的な一定値を減算することによって実施される。
Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）−ｃstatic 式１
【００３２】
この正規化は、建設的フィードバックを有する領域と、建設的フィードバックを有さない領域とをより良好に区別するために実施される。換言すると、正規化は、表示エリアおよび非表示エリアを識別するための最適化された最終アレイデータを提供する際に反復フィードバックをより効果的にするために実施される。
【００３３】
他の実施形態では、システムおよび方法は、建設的フィードバックをアレイＡc（ｘ，ｙ）の表示エリア値に適用し、破壊的フィードバックをアレイＡc（ｘ，ｙ）の非表示エリア値に適用する代わりに、逆フィードバック条件を適用するように実施され得る。特に、画像取り込み装置の取り込みエリア内の非表示エリアを識別するために、破壊的フィードバックは、表示エリア値に適用され、建設的フィードバックは、非表示エリア値に適用される。
【００３４】
さらに他の実施形態では、システムおよび方法は、格納された第１の画像の画素値を第２および第３の取り込まれた画像データの対応する画素値と比較する（図４Ａおよび図４Ｂ、ブロック４３および４６）代わりに、第１の取り込まれた画像の画素値を、ノイズ調整された第２および第３の取り込まれた画像の画素値と比較するように実施され得る。ここで、ノイズ調整された画素値は、元の画素値にノイズ因子値ｃnfを加えたものである。例えば、条件１および３は、以下のようになる。
Ａc2（ｘ，ｙ）＋ｃnf＞Ａc1（ｘ，ｙ）の場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃpos； 条件１’
Ａc3（ｘ，ｙ）＋ｃnf＜Ａc1（ｘ，ｙ）の場合は、Ａc（ｘ，ｙ）＝Ａc（ｘ，ｙ）＋ｃpos； 条件３’
ここで、ｃnfは、照明条件、カメラ品質、ならびに表示された画像の品質およびタイプによる、ユーザ対話式コンピュータ制御表示システム内の画素値の小さな変化を考慮する一定の値である。ノイズ因子を加えると、本発明のシステムおよび方法のよりロバストな実施態様が得られる。
【００３５】
このように、ユーザ対話式コンピュータ制御表示システムにおける画像取り込み装置の取り込みエリア内の表示エリアを見つけるための数学的に複雑でない解決法を提供するシステムおよび方法について記載した。
【００３６】
上記の説明では、本発明を完全に理解してもらうために、フィードバック定数、輝度値および画像タイプなどの多くの具体的な詳細を提示した。しかし、当業者には、これらの具体的な詳細は、本発明を実施するために用いられる必要はないことが明らかであろう。その他、本発明を不必要に不明瞭にするのを避けるため、既知の画像処理技法については記載していない。
【００３７】
さらに、本発明の要素を特定の実施形態に関連して記載したが、本発明は、様々な他の方法で実施され得ることが理解される。この結果、例示として図示され記載される特定の実施形態は、限定するものとして見なされることを決して意図しないことが理解されるであろう。これらの実施形態の詳細を参照することは、本発明の本質と見なされる特徴のみを記載する特許請求項を限定することを意図するものではない。
【図面の簡単な説明】
【００３８】
【図１】ユーザ対話式コンピュータ制御表示システムにおける表示エリアを見つけるためのシステムの第１の実施形態のブロック図である。
【図２】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第１の実施形態を例示する図である。
【図３】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第２の実施形態を例示する図である。
【図４Ａ】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第３の実施形態を例示する図である。
【図４Ｂ】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第３の実施形態を例示する図である。
【図５Ａ】取り込みエリアにおける表示エリアの例示的な画像を示す図である。
【図５Ｂ】本発明の方法を実施することによって得られる画像データに対応する画像を示す図である。
【図６Ａ】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第４の実施形態を表示するための選択された画像を例示する図である。
【図６Ｂ】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアを見つける方法の第４の実施形態を表示するための選択された画像を例示する図である。
【符号の説明】
【００３９】
１０：コンピューティングシステム
１０Ｂ：選択された表示画像
１０Ｃ：表示エリア内にない画像
１１：グラフィカルインターフェース
１２：表示エリア
１３：画像取り込み装置
１３Ａ：画像取り込みエリア
１４：表示エリアロケータ
Claims (11)
- 画像取り込み装置の画像取り込みエリア内のコンピュータ制御表示エリアの位置を決定するための方法であって、
前記表示エリア内に複数の選択された画像を表示すること（２０）と、
それぞれが前記表示された選択された画像の１つを含む、前記画像取り込み装置の前記取り込みエリア内の複数の画像を取り込むこと（２１）と、
前記複数の取り込まれた画像に対応する画像データから建設的および破壊的フィードバックデータを得ること（２２）と、
を含む方法。 - 前記複数の選択された画像を表示することは、関連する単一輝度グレイスケール値をそれぞれが有する複数の選択された画像を表示することを含む、請求項１に記載の方法。
- 前記複数の選択された画像を表示すること（３０）は、第１の単一輝度グレイスケール値Ｉ1を有する第１の選択された画像を表示することと、第２の単一輝度グレイスケール値Ｉ2を有する第２の選択された画像を表示することと、第３の単一輝度グレイスケール値Ｉ3を有する第３の選択された画像を表示することと、を含み、ここで、Ｉ2＞Ｉ1＞Ｉ3である、請求項２に記載の方法。
- 前記第２の単一輝度グレイスケール値は、最大輝度レベルおよび最小輝度レベルのうちの一方に対応し、前記第３の単一輝度グレイスケール値は、前記最大輝度レベルおよび前記最小輝度レベルのうちの他方に対応し、前記第１の単一輝度グレイスケール値は、前記最大輝度値と最小輝度値との間の値である、請求項３に記載の方法。
- 前記複数の選択された画像を表示することは、第１の領域が、対応する輝度値Ｉ2を有し、第２の領域が、対応する輝度値Ｉ3を有するように、前記第２の選択された画像および前記第３の選択された画像のそれぞれを表示することを含む、請求項３に記載の方法。
- 前記画像データから建設的および破壊的フィードバックデータを得ることは、
前記取り込みエリアに関連する画素アレイ内に前記第１の選択された画像を含む前記複数の取り込まれた画像のうちの第１の取り込まれた画像に対応する画像データを格納すること（３２）と、
前記第２の選択された画像を含む、前記複数の取り込まれた画像のうちの第２の取り込まれた画像に対応する画像データに応じて、および前記第３の選択された画像を含む、前記複数の取り込まれた画像のうちの第３の取り込まれた画像に対応する画像データに応じて、前記画素アレイ内の画素値を増加および減少させることの一方（３３）と、
を含む、請求項３に記載の方法。 - 前記画素値は、第１の所定の一定値だけ増加され、前記画素値は、第２の所定の一定値だけ減少される、請求項６に記載の方法。
- 前記取り込みエリア内の前記表示エリアに対応する画素値は、前記建設的なフィードバックデータを生成するように増加され、前記表示エリアに対応しない画素値は、前記破壊的なフィードバックデータを生成するように減少される、請求項６に記載の方法。
- 前記画素値を増加および減少させることは、前記第１の取り込まれた画像の取り込まれた画像データを前記第２および第３の取り込まれた画像のそれぞれに対応する画像データと比較し、比較結果に応じて増加および減少させることをさらに含む、請求項６に記載の方法。
- 前記比較は、前記第１の取り込まれた画像データの画素値を前記第２および第３の取り込まれた画像データのそれぞれの対応するノイズ調整された画素値と比較することをさらに含み、前記ノイズ調整された画素値は、元の画素値にノイズ因子値を加えたものから構成される、請求項９に記載の方法。
- 前記表示エリアは、投影スクリーンであり、前記画像取り込み装置は、デジタルカメラである、請求項６に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/774,452 US6731330B2 (en) | 2001-01-30 | 2001-01-30 | Method for robust determination of visible points of a controllable display within a camera view |
| PCT/US2002/002716 WO2002065388A2 (en) | 2001-01-30 | 2002-01-29 | Method for robust determination of visible points of a controllable display within a camera view |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005500590A true JP2005500590A (ja) | 2005-01-06 |
| JP2005500590A5 JP2005500590A5 (ja) | 2005-12-22 |
Family
ID=25101272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002565239A Withdrawn JP2005500590A (ja) | 2001-01-30 | 2002-01-29 | カメラビュー内の制御可能なディスプレイの可視点のロバスト決定方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6731330B2 (ja) |
| EP (1) | EP1356422A2 (ja) |
| JP (1) | JP2005500590A (ja) |
| WO (1) | WO2002065388A2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008123090A (ja) * | 2006-11-09 | 2008-05-29 | Casio Comput Co Ltd | カメラポインタ装置、ラベリング方法及びプログラム |
| JP2012230702A (ja) * | 2007-05-26 | 2012-11-22 | Moon Key Lee | カメラとマーク出力とによるポインティング装置 |
| US9785253B2 (en) | 2007-05-26 | 2017-10-10 | Moon Key Lee | Pointing device using camera and outputting mark |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7031034B2 (en) * | 2000-10-02 | 2006-04-18 | Eastman Kodak Company | Articulating camera for digital image acquisition |
| FI117488B (fi) | 2001-05-16 | 2006-10-31 | Myorigo Sarl | Informaation selaus näytöllä |
| US6885553B2 (en) * | 2002-09-27 | 2005-04-26 | Rockwell Automation Technologies, Inc. | Bus bar assembly for use with a compact power conversion assembly |
| JP2004199299A (ja) * | 2002-12-18 | 2004-07-15 | Casio Comput Co Ltd | 手書き情報記録方法、投影記録装置 |
| CA2429880C (en) * | 2003-05-27 | 2009-07-07 | York University | Collaborative pointing devices |
| JP2004354858A (ja) * | 2003-05-30 | 2004-12-16 | Seiko Epson Corp | 画像表示装置および画像表示システム |
| US7555164B2 (en) * | 2004-12-23 | 2009-06-30 | Hewlett-Packard Development Company, L.P. | Robust estimation of pixel values |
| US20090297062A1 (en) * | 2005-03-04 | 2009-12-03 | Molne Anders L | Mobile device with wide-angle optics and a radiation sensor |
| US20090305727A1 (en) * | 2005-03-04 | 2009-12-10 | Heikki Pylkko | Mobile device with wide range-angle optics and a radiation sensor |
| CN101213550B (zh) | 2005-06-30 | 2011-09-28 | 诺基亚公司 | 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置 |
| US7835544B2 (en) | 2006-08-31 | 2010-11-16 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and system for far field image absolute navigation sensing |
| US8994644B2 (en) | 2007-01-26 | 2015-03-31 | Apple Inc. | Viewing images with tilt control on a hand-held device |
| ES2323399B2 (es) * | 2007-06-19 | 2010-02-26 | Gat Microencapsulation Ag | Suspensiones en aceites de sulfonilureas y combinaciones agroquimicas. |
| FR2952396A1 (fr) * | 2009-11-12 | 2011-05-13 | Conception Mecanique Soc D | Dispositif de paumelle motorisee pour porte battante tres lourde et porte battante tres lourde equipee d'un tel dispositif |
| US8947415B1 (en) * | 2010-04-19 | 2015-02-03 | Green Display LLC | Display system and method |
| WO2011133553A1 (en) * | 2010-04-19 | 2011-10-27 | Mowry Craig P | Display system and device with sustainable power generation |
| CN101840291A (zh) * | 2010-05-24 | 2010-09-22 | 鸿富锦精密工业（深圳）有限公司 | 光源式定位系统及其方法 |
| JP2012145646A (ja) * | 2011-01-07 | 2012-08-02 | Sanyo Electric Co Ltd | 投写型映像表示装置 |
| JP6398248B2 (ja) | 2014-01-21 | 2018-10-03 | セイコーエプソン株式会社 | 位置検出システム、及び、位置検出システムの制御方法 |
| WO2016036370A1 (en) * | 2014-09-04 | 2016-03-10 | Hewlett-Packard Development Company, L.P. | Projection alignment |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5528263A (en) * | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
| JP3270643B2 (ja) | 1994-12-22 | 2002-04-02 | キヤノン株式会社 | 指示位置検出方法及び装置 |
| CA2158384C (en) * | 1994-12-27 | 1999-09-28 | Alexander Gibson Fraser | Multimedia program editing system and method |
| DE19612949C1 (de) * | 1996-04-01 | 1997-08-14 | Siemens Ag | Verfahren zur Erkennung mindestens eines fingerförmigen Objekts in einem ersten, handförmigen Objekt durch einen Rechner |
| US5973672A (en) * | 1996-10-15 | 1999-10-26 | Raytheon Company | Multiple participant interactive interface |
| US6075895A (en) | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
| US6512507B1 (en) * | 1998-03-31 | 2003-01-28 | Seiko Epson Corporation | Pointing position detection device, presentation system, and method, and computer-readable medium |
| US6292171B1 (en) * | 1999-03-31 | 2001-09-18 | Seiko Epson Corporation | Method and apparatus for calibrating a computer-generated projected image |
| US6346933B1 (en) * | 1999-09-21 | 2002-02-12 | Seiko Epson Corporation | Interactive display presentation system |
| US6486894B1 (en) * | 1999-11-18 | 2002-11-26 | International Business Machines Corporation | Contrasting graphical user interface pointer |
-
2001
- 2001-01-30 US US09/774,452 patent/US6731330B2/en not_active Expired - Fee Related
-
2002
- 2002-01-29 EP EP02702108A patent/EP1356422A2/en not_active Withdrawn
- 2002-01-29 WO PCT/US2002/002716 patent/WO2002065388A2/en active Application Filing
- 2002-01-29 JP JP2002565239A patent/JP2005500590A/ja not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008123090A (ja) * | 2006-11-09 | 2008-05-29 | Casio Comput Co Ltd | カメラポインタ装置、ラベリング方法及びプログラム |
| JP2012230702A (ja) * | 2007-05-26 | 2012-11-22 | Moon Key Lee | カメラとマーク出力とによるポインティング装置 |
| JP2015187884A (ja) * | 2007-05-26 | 2015-10-29 | キィ リー、ムーン | カメラとマーク出力とによるポインティング装置 |
| US9785253B2 (en) | 2007-05-26 | 2017-10-10 | Moon Key Lee | Pointing device using camera and outputting mark |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002065388A3 (en) | 2002-10-31 |
| US6731330B2 (en) | 2004-05-04 |
| US20020126136A1 (en) | 2002-09-12 |
| WO2002065388A2 (en) | 2002-08-22 |
| EP1356422A2 (en) | 2003-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005500590A (ja) | カメラビュー内の制御可能なディスプレイの可視点のロバスト決定方法 | |
| JP3909554B2 (ja) | プレゼンテーション制御システム及びその制御方法 | |
| JP3885458B2 (ja) | 投写画像の校正方法及びその装置、並びに機械可読媒体 | |
| TWI576771B (zh) | 透明顯示裝置及其透明度調整方法 | |
| US8644554B2 (en) | Method, device, and computer-readable medium for detecting object in display area | |
| JP5213831B2 (ja) | タッチポイント検出方法及び装置 | |
| JP2001273091A (ja) | 多重解像度画像解析による指示位置検出 | |
| TW200913687A (en) | Moving body image extraction apparatus and program | |
| US20020136455A1 (en) | System and method for robust foreground and background image data separation for location of objects in front of a controllable display within a camera view | |
| EP1356423B1 (en) | System and method for extracting a point of interest of an object in front of a computer controllable display captured by an imaging device | |
| CN111179159B (zh) | 消除视频中目标影像的方法、装置、电子设备及存储介质 | |
| US8929684B2 (en) | Image display apparatus and control method thereof | |
| US20120113255A1 (en) | Apparatus, system, and method of image processing, and recording medium storing image processing control program | |
| KR101647969B1 (ko) | 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램 | |
| US7633499B2 (en) | Method and apparatus for synchronizing an analog video signal to an LCD monitor | |
| CN110855917A (zh) | 一种台标调整方法、oled电视及存储介质 | |
| JP4229702B2 (ja) | 表示情報の局部的向上 | |
| JP2017212638A (ja) | 表示装置、表示装置の制御方法、及びプログラム | |
| JP2011090606A (ja) | 画像処理装置、画像表示システム、及び画像処理方法 | |
| JP4795314B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
| US20130057564A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6489733B2 (ja) | 画像出力装置、画像出力方法、およびプログラム | |
| KR20200144244A (ko) | 전자 문서에 삽입된 차트 이미지에서 차트 영역과 범례 영역에 대한 자동 매칭을 가능하게 하는 전자 장치 및 그 동작 방법 | |
| ES2371895B1 (es) | Método de detección de la opción seleccionada en un menú de aplicación multimedia. | |
| JP2018156363A (ja) | 情報表示システム、情報表示装置、制御方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050128 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070907 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071206 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20080414 |