JP2004535610A

JP2004535610A - カメラビュー内の制御可能なディスプレイの前にある物体の位置の決定のための前景および背景画像データのロバストな分離のためのシステムおよび方法

Info

Publication number: JP2004535610A
Application number: JP2002561687A
Authority: JP
Inventors: リン，イ‐ジョン
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2001-01-31
Filing date: 2002-01-29
Publication date: 2004-11-25
Also published as: AU2002255491A1; WO2002061583A2; US20020136455A1; EP1381947A2; WO2002061583A3

Abstract

システム（５０〜５３および６０〜６３）を較正して、表示エリアと、画像取り込み装置の取り込みエリアにおける取り込み表示エリアとの間の座標位置マッピング関数および輝度マッピング関数を得ることによって実施される、ユーザ対話式コンピュータ制御表示エリアの前に位置する物体の位置を決定するシステムおよび方法である。一旦較正されると、表示エリア（２１）画像データをマッピング関数を用いて変換して予想取り込み表示エリアデータを得、表示エリア画像（２２）を取り込んで実際の取り込み表示エリアデータを得、また予想データおよび実際のデータ（２３）を比較して取り込みエリア内の表示エリアの前の物体の位置を決定することによって、リアルタイムシステム操作中に物体の位置が決定され得る。

Description

【技術分野】
【０００１】
本発明は、コンピュータ制御可能な表示システムに関し、特に、ユーザと、コンピュータ制御される画像表示または投影画像との対話に関する。
【背景技術】
【０００２】
コンピュータ制御投影システムは、一般に、画像データを生成するためのコンピュータシステムおよびその画像データを投影スクリーンに投影するためのプロジェクタを有する。通常、コンピュータ制御投影システムは、プレゼンタが、コンピュータシステムを用いて作成されたプレゼンテーションをより大きなスクリーンに投影し、一人より多くのビューアがそのプレゼンテーションを容易に見ることができるようにするために用いられる。大抵の場合、プレゼンタは、投影画像上の注目すべきエリアを当該プレゼンタの指、レーザポインタ、または、他のポインティング装置または器具で指すことによって投影画像と対話する。
【０００３】
このタイプのシステムにおける問題は、ユーザが投影画像を任意に変更したい場合に、マウス、キーボードまたはリモートデバイスなどの入力装置を用いてコンピュータシステムと対話しなければならないことである。例えば、装置は、大抵の場合、赤外線信号を介してコンピュータシステムを遠隔制御し、プレゼンテーションにおける次のスライドを表示するためにプレゼンタによって用いられる。しかし、これは、プレゼンテーションのビューアの注意をそらす可能性がある。なぜなら、プレゼンタは、ビューアおよび投影されたプレゼンテーションともはや対話せず、その代わりに、コンピュータシステムと対話しているからである。大抵の場合、この対話は、プレゼンテーションにおいて著しい中断を引き起こし得る。
【０００４】
従って、コンピュータのみとの対話という問題を克服するために開発された上記のシステムの変形形態によって、プレゼンタは、投影画像と直接対話することができ、従って視聴者とより良好に対話することができる。このシステムでは、コンピュータは、画像プロジェクタで投影スクリーンに投影される画像データ（例えば、プレゼンテーションスライド）を生成する。システムはまた、投影画像を取り込むためにデジタルカメラなどのデジタル画像取り込み装置を有する。取り込まれた投影画像データは、コンピューティングシステムに再び送信され、スクリーンの前の任意の物体（例えばポインティング装置）の位置を決定するために用いられる。次に、コンピュータシステムは、ポインティング装置の決定された位置に応じて制御され得る。例えば、本願の譲受人に譲渡された米国特許第５，１３８，３０４号では、光ビームは、スクリーンに投影され、カメラで検出される。光ビームの位置を決定するために、投影画像の取り込まれた画像データおよび元の画像データは比較される。次に、コンピュータは、ポインタ位置にビデオ画像内のカーソルを位置決めするか、ポインタ位置に応答して投影画像を変更するようになされる。
【０００５】
ユーザ対話式コンピュータ制御表示または投影システムを実施するために、まず、カメラの取り込みエリア内のスクリーンの位置（すなわち、画像が表示されるエリア）を決定するために較正が行われなければならない。スクリーンの位置が決定されると、この情報は、表示エリア内であるが、表示画像の一部ではない取り込みエリア内の物体（例えば、表示エリアの前にある物体）を識別するために用いられ得る。例えば、システムは、表示エリアの前にあるポインタまたは指および表示エリア内のその位置を識別することができる。物体が表示エリアの前のどこにあるかが分かることを利用して、表示エリア内のその位置に応じてシステムを物体に応答させることができる。
【０００６】
米国特許第５，９４０，１３９号に記載された１つの既知の技法では、映像の前景および背景は、前景を可視光で照明し、背景を赤外線と可視光との組み合わせで照明し、２つの異なるカメラを用いて信号を得、前景から背景を抽出することによって分離される。米国特許第５，３４５，３０８号に記載された他の既知の技法では、人工物体は、ビデオカメラに設けられた偏光子を用いることによってビデオ信号内で区別される。人工物体は、偏光され得る光を反射する垂直面および水平面の両方を有するのに対して、背景は、偏光成分を有さない。このように、人工物体は、ビデオ信号からフィルタリングされる。これらの技法は、さらなる照明方法、異なるタイプのカメラまたはフィルタリングハードウェアを必要とする点で厄介であり、従って、スライドプレゼンテーションの用途における物体の正確な位置決定またはリアルタイム操作に適していない。
【０００７】
米国特許第５，８３５，０７８号に記載されたさらに他の既知の技法では、赤外線ポインタは、大きなスクリーン表示デバイス上に投影され、赤外線ポインタの識別および位置が決定される。専用の赤外線ポインティング装置は、各装置に特有の周波数を発する。所与のポインタの識別および位置は、赤外線カメラを用いてその周波数を検出することによって検出される。次に、ポインタの識別および位置を用いて、コンピュータシステムが、大きなスクリーンディスプレイ上の赤外線ポインタが位置する点に所与のポインタに対応するマークを表示するようにする。この技法では、表示スクリーン上に投影される物体の位置は識別されるが、赤外線ポインタおよび赤外線カメラを含む専用の機器を用いる必要がある。さらに、この技法は、表示画像上の赤外線を検出する簡単なプロセスに依存する。これに対して、表示画像の前景にある物理的物体の分離には、物体の背景に対応する画像データからの、物体に対応する画像データの実際の分離（すなわち、前景画像と背景画像の分離）が必要である。
【０００８】
本発明は、ユーザ対話式コンピュータ制御表示システムにおける画像取り込み装置の取り込みエリア内の表示エリアの前景および背景画像データを分離する技法である。
【発明の開示】
【０００９】
ユーザ対話式コンピュータ制御表示エリアの前に位置する物体の位置を決定するシステムおよび方法は、表示エリア内に画像を表示するためのコンピュータシステムと、導出された座標位置マッピング関数および導出された輝度マッピング関数を用いて表示画像データを予想取り込み表示エリアデータに変換するための手段と、画像取り込みエリア内の画像を取り込み、取り込みエリア内の表示エリアの所定の位置に対応する取り込み表示エリアデータを含む取り込みデータを得るための画像取り込み装置と、取り込み表示エリアデータの各座標位置において予想取り込み表示エリアデータを取り込み表示エリアデータと比較するための手段とを備え、一致しない比較された画像データは、表示エリアの前にある物体の画素位置に対応する。
【００１０】
コンピュータ制御表示エリアを含むシステムの他の実施形態では、システムは、それぞれが較正物体を含む複数の較正画像を表示エリア内に表示し、それぞれが複数の較正画像の１つを含む複数の画像を取り込みエリア内で取り込み、表示エリア内の較正物体の座標位置と、各取り込み画像に対する取り込みエリアにおける較正物体の座標位置との間のマッピングを決定し、複数の取り込み画像の位置マッピングから座標位置マッピング関数を導出することによって較正される。
【００１１】
他の実施形態では、システムはさらに、異なる表示輝度値を有する少なくとも２つの輝度較正物体を表示エリア内に表示し、取り込みエリア内の輝度較正物体を取り込み、表示輝度値に対応する取り込み輝度値を得て、表示輝度値を取り込み輝度値にマッピングし、表示輝度値と取り込み輝度値との間のマッピングから輝度マッピング関数を導出することによって較正される。
【００１２】
発明の詳細な説明
画像データ１０Ａを生成するためのコンピューティングシステム１０と、画像データ１０Ａに対応する画像１０Ｂを表示エリア１２に表示するためのグラフィカルインターフェース１１とを備えたユーザ対話式コンピュータ制御画像表示システムのブロック図が図１に示される。グラフィカルインターフェースは、コンピューティングシステムの一部であるか、またはコンピューティングシステムの外部にある別個の要素であり得ることを理解されたい。システムはさらに、表示画像１０Ｂを取り込むための関連する画像取り込みエリア１３Ａを有する画像取り込み装置１３を有する。取り込み画像はまた、表示エリア１０Ｂの外側にある物体または領域の画像１０Ｃを含む。取り込み画像はまた、表示エリア１２の前にある画像取り込みエリア１３Ａ内に位置する物体１０Ｄを含み得る。非表示エリア画像は、表示エリアへと延在する物体を含む、画像データ１０Ａに応答して表示エリア内に表示されるもの以外のものを含む。取り込み画像は、デジタル画像データ１３Ｂに変換され、物体ロケータ１４に送信される。物体ロケータ１４は、画像データ変換器１５および画像データ比較ユニット１６を有する。画像データ変換器１５は、導出された座標位置関数および輝度マッピング関数１５Ｂを用いて、コンピューティングシステムによって生成される表示エリア画像データ１０Ａを予想取り込み表示エリア画像データ１５Ａに変換する。予想画像データ１５Ａは、取り込み画像データ１３Ｂおよび所定の表示エリア位置情報１３Ｃと共に、画像データ比較ユニット１６に結合される。画像データ比較ユニット１６は、予想取り込み表示エリア画像データ１５Ａを、所定の表示エリア位置内の表示エリアに対応する、取り込み画像データ１３Ｂの一部分と比較する。一致しない比較されたデータは、物体が位置する取り込み表示エリア画像データ１３Ｂ内の画素位置に対応する。物体位置情報１６Ａは、コンピューティングシステム１０に送信され、ユーザ対話式コンピュータ制御表示システムにおいて用いられることができる。
【００１３】
本実施形態では、コンピューティングシステム１０は、少なくとも、中央処理装置（ＣＰＵ）と、デジタルデータ（例えば、画像データ）を格納するためのメモリとを有し、少なくとも３つのレベルのグレイスケール画像を生成する能力を有する。表示エリアは、グラフィカルインターフェースによって駆動されるコンピュータモニタであり得るか、または投影スクリーンもしくは投影エリア（例えば、壁）上のエリアであり得る。画像が投影を用いて表示される場合、システムは、グラフィカルインターフェースから提供される画像データに応答する画像プロジェクタ（図１に示されない）を含む。
【００１４】
一実施形態では、画像取り込み装置は、少なくとも既知の時間遅延内に表示エリア１２に表示されるすべての画像１０Ｂを取り込むように構成されたデジタルスチルまたはビデオカメラあるいはデジタルビデオカメラである。画像が、カメラの取り込みエリア内でセンサに到達する光の強度を検出するセンサのアレイを用いてデジタルカメラによって取り込まれることは、デジタル画像取り込みの分野において既知である。次に、光強度信号は、取り込まれた画像に対応するデジタル画像データに変換される。従って、取り込まれた画像データ１３Ｂは、取り込まれた画像に対応するデジタル画像データである。他の実施形態では、画像取り込み装置は、アナログスチルまたはビデオカメラであり、取り込まれたアナログ画像データは、取り込みデジタル画像データ１３Ｂに変換される。
【００１５】
一実施形態では、画像１０Ｂは、コンピュータにより生成されたユーザのスライドプレゼンテーションにおける複数のスライドに対応する。
【００１６】
表示画像当たり、表示画像データの予想取り込み画像データへの１回の変換が必要であることに留意されたい。しかし、表示画像の前に位置する非静的物体の移動および位置を検出するために、表示画像当たり２回以上の比較を実施することが可能である。例えば、単一画像が表示されるが、それは、画像取り込み装置１３によって連続して取り込まれ、新しく取り込まれた各画像は、画像データ比較ユニット１６によって、予想取り込み画像データと比較され、異なる時間間隔で物体の位置を決定することができる。
【００１７】
物体ロケータ１４の機能のすべてまたは一部は、コンピューティングシステムによって実施され得ることを理解されたい。この結果、物体ロケータ１４はコンピューティングシステムの外部に示されるが、物体ロケータ１４のすべてまたは一部は、コンピューティングシステム内で実施され得る。
【００１８】
物体ロケータは、ソフトウェア実施態様、ハードウェア実施態様、またはソフトウェアおよびハードウェア実施態様の任意の組み合わせにおいて実施され得ることをさらに理解されたい。
【００１９】
表示エリア１２の前に位置する物体の位置を決定するための方法の第１の実施形態を、図２Ａに示す。画像は、表示エリア内に表示される（ブロック２０）。画像は、図１に示されるシステムのリアルタイム使用中に表示されるユーザのスライドプレゼンテーションの複数の画像の現在の１つの画像に対応し得る。図２Ａに示される方法は、スライドプレゼンテーションの複数の画像（すなわち、スライド）のそれぞれに対して実施され、表示エリアの前の物体の位置決定はプレゼンテーション中にリアルタイムで実施され得ることに留意されたい。
【００２０】
表示エリア内に画像を表示するためにコンピューティングシステムによって用いられる対応する画像データ１０Ａ（図１）は、予想取り込み表示エリアデータに変換される（ブロック２１）。画像データは、導出された座標位置マッピング関数および導出された輝度マッピング関数を用いて変換される。図２Ｂは、予想取り込み表示エリア画像データへの表示エリア画像データの変換を例示する。表示エリア画像２５は、画像を投影または表示するためのコンピューティングシステムによって生成される画像データ１０Ａに対応する。画像データ１０Ａは、導出された座標位置マッピング関数および輝度マッピング関数を用いて変換され、予想取り込み表示エリア画像２６に対応するデータを生成する。
【００２１】
表示画像を、画像取り込み装置の取り込みエリア内で取り込み、取り込みエリア画像データを得る（ブロック２２）。図２Ｃは、表示エリアデータ２８および非表示エリア画像データ２９を含む取り込み画像データ２７を示す。表示エリアデータは、表示エリア内の表示画像の前に位置する少なくとも１つの物体３０の一部を含む。この結果、表示エリアデータは、物体の一部に対応する画像データを含む。
【００２２】
取り込みエリア内の表示エリアの位置は事前決定される。この事前決定は、ユーザ対話式コンピュータ制御表示システムのリアルタイム使用の前に、システムの較正中に実施され得る。一実施形態では、表示エリアの位置の事前決定は、本明細書において参照により援用する米国特許出願第０９／７７４，４５２号に開示されるシステムおよび方法に従って実施される。具体的には、この方法によると、表示エリアの位置は、複数の取り込み較正画像に対応する画像データから建設的および破壊的フィードバックデータを引き出すことによって決定される。取り込みエリア内の表示エリアの位置を決定する他の方法を用いて、本発明に従って表示スクリーンの前にある物体の位置を決定するシステムおよび方法を実施し得ることを理解されたい。取り込みエリア内の表示スクリーンの位置の事前決定により、取り込み画像データ２７からの取り込み表示エリアデータ３１の分離／識別が可能になる（図２Ｃ）。特に図２Ｃに示されるように、取り込みエリア内の表示エリアの位置の事前決定により、表示画像データ２８Ａおよび表示エリアの前にある物体の一部分に対応するデータ２８Ｂを共に含む表示エリアデータのみの分離／識別が可能になる。
【００２３】
予想取り込み表示エリアデータ２６は、マッピングされた画素値を比較することによって、識別された取り込み表示エリアデータ３１と比較される（ブロック２３、図２Ｄ）。一致しない画素値は、表示エリアの前の物体の位置を示す（ブロック２４）。図２Ｄに示されるように、物体２８Ｂは、一致しない画素データを表し、それによって、表示エリアの前にある物体を示す。
【００２４】
表示画像当たり、予想取り込み画像データへの表示画像データの１回だけの変換（ブロック２１）が最低限必要であるが、表示画像の前に位置する非静的物体の移動および位置を検出するために、表示画像当たり２回以上の比較（ブロック２３）が実施され得ることを理解されたい。例えば、単一画像が表示されるが、これは、連続して取り込まれ（ブロック２２）、予測取り込み画像データと比較され（ブロック２３）、画像が表示されている間に異なる時間間隔で物体の位置を決定する。
【００２５】
図３および図４は、図２Ａに示されるユーザ対話式コンピュータ制御表示システムの前にある物体の位置を決定する方法を例示する画像を示す。特に、図３は、表示エリア３４および表示エリア３４の前に位置する物体３５（すなわち、手）を含む画像を有する取り込みエリア３３を示す。図４は、ディスプレイの前の手の位置を決定するために図２Ａに示される方法を用いて得られるデータを示す。この例では、図２Ａの方法は、取り込み画像データをさらに変更し、手の座標位置４０における画素値（すなわち、輝度値）を１つの輝度値（例えば、白）に設定し、物体が検出されない座標位置４１の画素値を異なる輝度値（例えば、黒）に設定することによって、取り込みエリア内の表示エリアの前の手の位置を示す。
【００２６】
図２Ａに示される方法によると、取り込み表示エリアデータは、予想取り込み表示エリアデータ（予想データ（ＥｘｐｅｃｔｅｄＤａｔａ））を取り込み表示エリアデータ（実際のデータ（ＡｃｔｕａｌＤａｔａ））から減算することによって予想される表示エリアデータと比較され、差の値を得ることができる。
【００２７】
【数１】

ここで、（ｕ_i，ｖ_i）は、取り込み表示エリア内の座標位置である。次に、差の値δ（ｕ_i，ｖ_i）は、閾値ｃ_threshと比較される。ここで、ｃ_threshは、照明条件、表示される画像、およびカメラ品質によって決定される定数である。差の値が閾値よりも大きい場合（すなわち、δ（ｕ_i，ｖ_i）＞ｃ_thresh）、物体は、その座標点に存在する。換言すると、所定の表示エリア位置におけるコンピュータの輝度予想値に合致しないディスプレイ上の点は、カメラとディスプレイとの間の視線内に物体を有する。
【００２８】
図５Ａは、ユーザ対話式コンピュータ制御表示エリアの前に位置する物体の位置を決定するためのシステムを較正する方法を示す。較正は、まず、複数の座標較正画像を表示することによって成し遂げられる（ブロック５０）。図５Ｂは、較正物体５４を含む座標較正画像５５の例を示す。較正画像は、較正物体が各較正画像内の異なる位置に位置するという特徴を有する。物体は、形状が円形である必要はなく、他の形状をとって本願の方法を実施することができることに留意されたい。
【００２９】
複数の較正画像は、各取り込み画像が較正物体の１つを含むように取り込みエリア内で順次取り込まれる（ブロック５１）。各取り込み画像に対して、表示エリア較正物体の座標位置が取り込みエリア内の表示エリアの所定の位置内の較正物体の座標位置にマッピングされる（ブロック５２）。表示エリア較正物体の座標位置は、画像データ１０Ａ（図１）から既知であり、取り込みエリア内の較正物体の座標位置は、取り込みデータ１３Ｂから既知であることに留意されたい。
【００３０】
図５Ｃに示されるように、表示された表示較正画像５５は、ｘ−ｙ座標系を有するものとして観察され、取り込み画像５８は、ｕ−ｖ座標系を有するものとして観察されることができ、それによって、較正物体５４のｘ−ｙ座標位置は、取り込み物体５４’のｕ−ｖ座標位置にマッピングされることが可能となる。
【００３１】
取り込みエリアにおける表示エリア５７に対応する画像データは、取り込みエリア内の表示エリアの位置を事前決定することによって識別される。上記のように、表示エリア位置の事前決定は、米国特許出願第０９／７７４，４５２号に開示されるシステムおよび方法に従って実施され得るが、他の方法を用いることもできる。取り込みエリア内の表示スクリーンの位置の事前決定により、取り込み表示エリアデータの識別、この結果、表示された表示較正物体５４のｘ−ｙ座標位置の、所定表示エリア内の取り込み較正物体５４’のｕ−ｖ座標位置へのマッピングが可能になる。
【００３２】
較正物体位置の個々のマッピングにより、２つの座標系間の関数の導出が可能になる（ブロック５３）。
【００３３】
【数２】

【００３４】
一実施形態では、位置マッピング関数を導出するために、透視変換関数（式３および式４）が用いられる。
【００３５】
【数３】

【００３６】
【数４】

【００３７】
式３および式４の変数ａ_ijは、各較正物体に対して個々の位置マッピングを決定することによって導出される。簡単な移動マッピング関数またはアフィンマッピング関数などの他の変換関数が用いられ得ることに留意されたい。
【００３８】
例えば、表示エリア内で表示される較正画像内の所定の較正物体については、対応するｘ，ｙ座標は、コンピュータシステムによって生成される画像データ１０Ａから既知である。さらに、取り込み較正画像内の同じ較正物体のｕ，ｖ座標もまた、取り込みエリア内の表示エリアの所定の位置に対応する取り込み画像データ１３Ｂの一部分から既知である。既知のx，ｙ，ｕ，ｖ座標値は、所定の較正物体に対して、式３および式４に代入される。複数の較正画像内の較正物体のそれぞれは、同じようにマッピングされ、ｘおよびｙ較正マッピング式（式３および式４）が得られる。
【００３９】
次に、各較正物体の位置マッピングを用いて、座標位置関数（式３および式４）を導出する。具体的には、較正マッピング式は、同時に解かれ、変換関数式３および式４の係数ａ₁₁〜ａ₃₃が求められる。一旦求められると、係数は、式３および式４に代入され、それによって表示エリア内の所定のｘ、ｙ座標位置に対して、対応するｕ−ｖ座標位置が決定され得る。ｕ−ｖ座標からｘ，ｙ座標への逆マッピング関数もまた、係数ａ₁₁〜ａ₃₃から導出され得ることに留意されたい。
【００４０】
二次元変換関数（例えば、式３および式４）の場合、９個の係数（例えば、ａ₁₁〜ａ₃₃）が求められる必要があるため、少なくとも９個の式が必要である。較正画像当たり２つのマッピング式があるため、その関数を解くために少なくとも５つの較正画像が必要である。さらに多くの較正物体を用いてもよく、また、この過剰制約された問題（すなわち、係数を解くために必要なよりも多くの較正物体）が、ＬＳＱ（すなわち、最小二乗法）当てはめを用いてロバストに近似され得ることに留意されたい。
【００４１】
図５Ａに示される方法は、輝度マッピング関数を求めるための図６に示される較正方法をさらに含み得る。較正は、互いに異なる輝度値を有する少なくとも２つの輝度較正物体を表示することによって成し遂げられる（ブロック６０）。少なくとも２つの輝度較正物体は、別個の画像または同じ画像で表示され得る。少なくとも２つの物体は、１つの画像または複数の画像内の同じ位置または異なる位置に表示され得る。輝度較正物体は、色またはグレイスケール画像物体であり得る。表示された表示輝度較正物体の表示輝度値は、コンピューティングシステム１０によって生成される画像データ１０Ａから既知である（図１）。取り込まれた物体が表示輝度値に対応する関連の取り込み輝度値を有する取り込みデータ１３Ｂを得るために、少なくとも２つの較正物体が取り込まれる（ブロック６１）。表示輝度値は、取り込み輝度値にマッピングされる（ブロック６２）。輝度マッピング関数は、少なくとも２つの輝度マッピングから導出される（ブロック６３）。導出された座標位置マッピング関数は、表示エリアと、取り込まれた表示エリアとの間の対応する画素位置を識別し、対応する位置における画素間の輝度マッピングを可能にするために用いられることに留意されたい。
【００４２】
一実施形態では、輝度マッピング関数は、補間を用いて求められる。例えば、表示輝度値と取り込み輝度値との間のマッピングを想定すると、表示値および対応するマッピングされた取り込み値の範囲は、線形補間を用いて求められ得る。次に、取り込み輝度値および補間取り込み輝度値は、ルックアップテーブルに格納され、表示輝度値がテーブルにアクセスすると、対応のマッピングされた取り込み輝度値を得ることができるようになっている。マッピングが線形補間に限定されず、他のより高次すなわち非線形補間方法が用いられ得ることに留意されたい。
【００４３】
このように、輝度および座標位置マッピング関数は、式１におけるＥｘｐｅｃｔｅｄＤａｔａ（ｕ_i，ｖ_i）を計算するために求められる。次に、ＥｘｐｅｃｔｅｄＤａｔａ（ｕ_i，ｖ_i）とＡｃｔｕａｌＤａｔａ（ｕ_i，ｖ_i）との間の絶対差（すなわち、δ（ｕ_i，ｖ_i））を求めて、取り込みデータの表示エリアにおける物体の位置を決定する。
【００４４】
ユーザ対話式コンピュータ制御表示システムにおける画像取り込み装置の取り込みエリア内の表示エリアの前にある物体の位置を決定するための数学的に複雑でない解決法を提供するシステムおよび方法について記載した。具体的には、画像がフレーム毎の単位で表示され、簡単な一連の操作が連続して実施され、表示画像の前の物体の位置を決定するシステムについて記載した。
【００４５】
上記の説明では、本発明を完全に理解してもらうために、較正画像タイプおよび透視変換関数などの多くの具体的な詳細を提示した。しかし、当業者には、これらの具体的な詳細は、本発明を実施するために用いられる必要はないことが明らかであろう。その他、本発明を不必要に不明瞭にするのを避けるため、既知の画像処理技法については記載していない。
【００４６】
さらに、本発明の要素を特定の実施形態に関連して記載したが、本発明は、様々な他の方法で実施され得ることが理解される。この結果、例示として図示され記載された特定の実施形態は、限定するものとして見なされることを決して意図しないことが理解されるであろう。これらの実施形態の詳細を参照することは、本発明の本質と見なされる特徴のみを記載する特許請求項を限定することを意図するものではない。
【図面の簡単な説明】
【００４７】
【図１】本発明によるユーザ対話式コンピュータ制御表示システムにおける表示エリアの前にある物体の位置を決定するためのシステムの第１の実施形態のブロック図である。
【図２Ａ】本発明によるユーザ対話式コンピュータ制御表示システムにおける取り込みエリア内の表示エリアの前にある物体の位置を決定するための方法の第１の実施形態を例示する図である。
【図２Ｂ】予想取り込み表示エリア画像データへの表示エリア画像データの変換を例示する図である。
【図２Ｃ】所定の表示エリア位置情報を用いた、取り込み表示エリア画像データの識別を例示する図である。
【図２Ｄ】予想取り込み表示エリア画像データと取り込み表示エリア画像データとの比較を例示する図である。
【図３】表示エリアおよび表示エリアの前に位置する手の画像を含む取り込みエリアを示す図である。
【図４】本発明による図２Ａに例示される方法を実施することによって得られる図３に例示される取り込みエリア内の手の位置を示す画像データを示す図である。
【図５Ａ】本発明による座標位置関数を導出する方法を例示する図である。
【図５Ｂ】較正物体を含む較正画像を例示する図である。
【図５Ｃ】取り込み表示画像の座標システムへの、表示画像座標システム内の較正物体の座標位置のマッピングを例示する図である。
【図６】本発明による輝度マッピング関数を導出する方法を示す図である。
【符号の説明】
【００４８】
１０：コンピューティングシステム
１０Ｂ：表示画像
１０Ｃ：外側にある物体または領域の画像
１０Ｄ：物体
１１：グラフィカルインターフェース
１２：表示エリア
１３：画像取り込み装置
１３Ａ：画像取り込みエリア
１４物体ロケータ
１５：画像データ変換器
１６：画像データ比較ユニット

Claims

コンピュータ制御表示エリアの前に位置する物体の位置を決定する方法であって、
対応する画像データを有する画像を前記表示エリアに表示すること（２０）と、
導出された座標位置関数および導出された輝度関数を用いて、前記画像データを予想取り込み表示エリアデータに変換すること（２１）と、
画像取り込みエリア内で前記画像を取り込んで、前記取り込みエリア内の前記表示エリアの所定の位置に対応する取り込み表示エリアデータを含む取り込みデータを得ること（２２）と、
前記予想取り込み表示エリアデータを前記取り込み表示エリアデータと比較すること（２３）と、
を含み、
一致しない比較された画像データ位置が、前記物体の位置に対応する（２４）、方法。
それぞれが前記表示エリア内に関連座標位置を有する較正物体を有する複数の較正画像を前記表示エリア内に表示すること（５０）と、
それぞれが前記複数の較正画像の１つを含む前記表示エリアの複数の画像を前記取り込みエリア内で取り込むこと（５１）と、
各取り込み画像に対して、前記表示エリア内の前記較正物体の前記座標位置を、前記取り込みエリア内の前記表示エリアの前記所定の位置内における前記較正物体の座標位置にマッピングすること（５２）と、
前記座標位置マッピングから、前記表示エリアから前記取り込み表示エリアへの前記位置関数を導出すること（５３）と、
によって、前記座標位置関数を導出することをさらに含む、請求項１に記載の方法。
それぞれが異なる関連する表示輝度値を有する少なくとも２つの輝度較正物体を前記表示エリア内で少なくとも１つの画像に表示すること（６０）と、
前記少なくとも１つの画像における前記少なくとも２つの表示物体を取り込んで、前記表示輝度値に対応する取り込み輝度値を得ること（６１）と、
前記表示輝度値を前記取り込み輝度値にマッピングすること（６２）と、
前記輝度値マッピングから前記輝度関数を導出すること（６３）と、
によって、前記輝度関数を導出することをさらに含む、請求項２に記載の方法。
表示輝度値および取り込み輝度値は、グレイスケール輝度値および色輝度値の１つである、請求項３に記載の方法。
補間を用いて前記輝度関数を表すルックアップテーブルを決定することをさらに含む、請求項３に記載の方法。
透視変換を用いて座標マッピングから前記位置関数を導出することをさらに含む、請求項２に記載の方法。
５個またはそれ以上の較正画像を表示することと、二次元透視変換を決定するための９個の関連係数を有する透視変換を用いて前記位置関数を導出することと、をさらに含む、請求項６に記載の方法。
前記取り込み表示エリアデータの対応する画素値から前記予想取り込み表示エリアデータの画素値を減算して、前記表示エリアの各座標位置における異なるデータを得ることと、
各座標位置について、前記異なるデータを閾ノイズ値と比較して、前記表示エリアの前にある前記物体の位置を識別することと、
によって、前記予想取り込み表示エリアデータを、前記表示エリアの前記所定の位置に対応する前記取り込み表示エリアデータの部分と比較することをさらに含む、請求項１に記載の方法。
前記閾ノイズ値が、照明条件、表示される画像のタイプ、およびカメラの品質に依存する、請求項８に記載の方法。
前記取り込み表示エリアデータの一致しない位置における画素値が、第１の輝度値に設定され、前記取り込み表示エリアデータの残りの画素値が、第２の輝度値に設定される、請求項１に記載の方法。