JP2015517244A

JP2015517244A - 画像を表示するシステム

Info

Publication number: JP2015517244A
Application number: JP2015501652A
Authority: JP
Inventors: メイン・ジェフレイ; ショート・デービッド; ウェインステイン・ダニエル; リードラー・ダン
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2012-04-24
Filing date: 2012-04-24
Publication date: 2015-06-18
Anticipated expiration: 2032-04-24
Also published as: EP2842121A1; BR112014018565A2; JP6084285B2; EP2842121B1; US9565394B2; WO2013162515A1; US20150244983A1; CN104081450B; BR112014018565A8; EP2842121A4; CN104081450A; BR112014018565B1

Abstract

画像を表示するシステム及び方法が本明細書において開示される。本システムは、その上に画像が表示される表面と、表面上に画像を表示するディスプレイレンダリングデバイスとを備える。本システムは更に、表面を検出するキャプチャデバイスと、プロセッサと、非一時的コンピュータ可読記憶媒体とを備える。非一時的コンピュータ可読記憶媒体は、プロセッサに、表面の寸法を特定させる命令と、表面の第１の向きを特定させる命令と、表面の特定された寸法と、表面の特定された第１の向きとに基づいて、画像を変換させ、表面上に表示させる命令と、第２の向きへの表面の再位置決めを検出させる命令と、表面の第２の向きを特定させる命令と、表面の特定された寸法と、キャプチャデバイスに対する表面の特定された第２の向きとに基づいて、画像を変換させ、表面上に表示させる命令とを含む。【選択図】図１

Description

本発明は、画像を表示するシステム及び方法に関する。

消費者は電子デバイスにおいて使いやすさ及び融通性を高く評価する。消費者の要求への適応性も望ましい。それゆえ、企業は、これらの目的のうちの１つ又は複数に向けられる電子デバイスを設計しようと努め得る。

以下の詳細な説明は図面を参照する。

表面上に画像を表示するシステムの一例を示す図である。２つの表面上に画像を表示するための図１のシステムの別の例を示す図である。図１のシステムのキャプチャデバイスのセンサの較正の一例を示す図である。図１のシステムのキャプチャデバイスのセンサの較正の一例を示す図である。深度検知を使用して、表面の角の場所を特定することができる１つの方法の一例を示す図である。赤外線（ＩＲ）又は赤色、緑色及び青色（ＲＧＢ）検知を使用して、表面の角の場所を特定することができる別の方法の一例を示す図である。作業環境内で表面の寸法及び向きを特定する一例を示す図である。作業環境からの表面の角度ファイ（Φ）を特定する一例を示す図である。ディスプレイレンダリングデバイスによって与えられる２次元画像から、画面の３次元平面の２次元逆投影への変換の一例を示す図である。画像を表示することができる画面を有するウエッジ又はパック（puck）の一例を示す図である。作業環境内で場所を特定された表面上に画像を表示する方法の一例を示す図である。図１１の方法の更なる要素の一例を示す図である。図１１の方法の更なる要素の一例を示す図である。

人々は、連帯感、注意、関心及び理解を高める等の種々の理由から、多くの場合に、会話中に視線を合わせることを大切にしている。テレビ会議システムとの関連では、システムディスプレイに対するシステムカメラの配置に起因して、これは達成するのが難しい可能性がある。例えば、或る場所にいるテレビ会議システムのユーザが、そのシステムに接続される別の場所にいる別の人の画像を見るとき、そのユーザは、自分の姿を捕捉しているカメラも同時に直接見ることはできない。カメラと、特定の場所において投影された人を表示するディスプレイとの間の距離が大きいほど、ユーザとその人の視線が合わないことが多くなる可能性がある。

１つのカメラしか存在しない１つの場所において複数のユーザを参加させるテレビ会議中に、この状況は悪化する可能性がある。例えば、他の遠隔地にあるディスプレイ上で、或る場所にいる全てのユーザを同時に見ることができない場合がある。或る場所にいる複数のユーザが見える場合には、その場所にあるカメラから複数のユーザまでの距離が異なる場合がある。この結果、遠隔地における複数のユーザの画像において視線が合わない程度が異なり得る。

そのようなテレビ会議システムに関して生じる可能性がある別の問題は、リモートユーザが共有コンテンツで作業する状況において生じる。例えば、リモートユーザの表示された画像が、共有コンテンツがその上に位置決めされるか、又は表示されるローカル作業環境の一部又は全てを覆い隠し得る。更には、又は代替的には、リモートユーザの画像をローカルディスプレイ上で見えるようにするには、そのユーザがリモート作業環境から離れすぎている場合があり、それにより、そのようなテレビ会議を通しての共同作業の目的が妨げられ得る。

本明細書において用いられるときに、「表示している」、「表示する」及び「表示される」という用語は、限定はしないが、投影すること、及び投影を含むように定義される。「画像」という用語は、限定はしないが、同じ又は異なるコンテンツの１つ又は複数のビデオストリームを含むように定義される。この画像は、インターネット、コンピュータ、ハンドヘルドデバイス（例えば、モバイル電話、タブレット又は携帯情報端末（ＰＤＡ））等の種々の情報源のいずれかに由来し得る。また、この画像は、ＭＰＥＧ、ＰＤＦ、ＷＡＶ、ＪＰＥＧ等の種々のフォーマットのいずれかとし得る。

「ディスプレイレンダリングデバイス」という用語は、限定はしないが、プロジェクタを含むように定義される。「カメラ」という用語は、限定はしないが、後に表示するために１つ又は複数の人又は物体に関連付けられる可視コンテンツ又はデータを捕獲するデバイスを含むように定義される。「表面」という用語は、限定はしないが、その上に画像を表示し得るエリア又は立体空間（volume）（例えば、画面）を有する任意の２次元物体又は３次元物体を含むように定義される。「向き」という用語は、限定はしないが、作業環境上のＸ、Ｙ及びＺデカルト座標、並びに作業環境に対する角度（例えば、θ_x、θ_y及びθ_zすなわちロール、ピッチ及びヨー）を含む。「キャプチャデバイス」という用語は、限定はしないが、撮像デバイス、センサ又は検出器を含むように定義される。

本明細書において用いられるときに、「非一時的記憶媒体」及び「非一時的コンピュータ可読記憶媒体」という用語は、プログラム、情報及びデータを含むか、記憶するか、又は保持することができる任意の媒体を指している。非一時的記憶媒体及び非一時的コンピュータ可読記憶媒体は、例えば、電子媒体、磁気媒体、光媒体、電磁媒体又は半導体媒体のような数多くの物理媒体のうちのいずれか１つを含み得る。適切な非一時的記憶媒体及び非一時的コンピュータ可読記憶媒体のより具体的な例は、限定はしないが、フロッピーディスケットのような磁気コンピュータディスケット又はハードドライブ、磁気テープ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ、フラッシュドライブ、コンパクトディスク（ＣＤ）、又はデジタルビデオディスク（ＤＶＤ）を含む。

本明細書において用いられるときに、「プロセッサ」という用語は、コンピュータ／プロセッサに基づくシステム、特定用途向け集積回路（ＡＳＩＣ）若しくはハードウェア及び／又はソフトウェアシステムのような、命令実行システムを指している。これらの命令実行システムは、非一時的記憶媒体及び非一時的コンピュータ可読記憶媒体からロジックを取り出すか、又は入手することができ、その中に含まれる命令を実行することができる。

テレビ会議システムに関して上記で論じられた問題に対処することに向けられる、画像１２を表示するシステム１０の一例が図１に示される。図１において見ることができるように、システム１０は、その上に画像１２が表示される表面１４を含む。また、システム１０は、矢印１８、２０及び２２によって示されるように、表面１４上に画像１２を表示するディスプレイレンダリングデバイス１６と、矢印２６によって示されるように、表面１４を検出するキャプチャデバイス２４とを含む。システム１０は、プロセッサ２８を更に含む。プロセッサ２８は、矢印３０によって示されるように、キャプチャデバイス２４に結合され、かつ矢印３４及び３６によって示されるように、画像変換デバイス３２を介してディスプレイレンダリングデバイス１６に結合される。画像変換デバイス３２は、矢印３３によって示されるように、画像１２に関する処理を実行し、それにより、画像は、ディスプレイレンダリングデバイス１６によって利用するのに適したフォーマットにされる。

システム１０は、非一時的コンピュータ可読記憶媒体３８を更に含む。非一時的コンピュータ可読記憶媒体３８は、プロセッサ２８によって実行されるときに、プロセッサ２８に、キャプチャデバイス２４によって検出された表面１４の寸法（例えば、長さ及び幅）を特定させる命令と、キャプチャデバイス２４に対する表面１４の空間内の第１の向きを特定させる命令とを含む。非一時的コンピュータ可読記憶媒体３８は、プロセッサ２８によって実行されるときに、表面１４の特定された寸法、及びキャプチャデバイス２４に対する表面１４の特定された第１の向きに基づいて、プロセッサ２８に、画像変換デバイス３２を使用して画像１２を変換させ、ディスプレイレンダリングデバイス１６を介して表面１４上に表示させる更なる命令を含む。

同じく図１において見ることができるように、表面１４は、矢印４０によって示されるように、システム１０のユーザによって、実線において示される第１の向きから、破線において示される第２の向きに移動され得る。システム１０のユーザは、ユーザと遠隔地にいる１人又は複数のユーザとの間の視線を合わせる感覚を改善することのような種々の理由から、表面１４を第１の向きから第２の向きに移動し得る。システム１０のユーザが表面１４を第１の向きから第２の向きに移動し得る別の理由は、表面１４によって覆い隠されるか、又は遮断される作業環境の量を最小化することである。これは、共有コンテンツが作業環境内に投影されているか又は表示されているときに有用である可能性がある。

非一時的コンピュータ可読記憶媒体３８は、プロセッサ２８によって実行されるときに、プロセッサ２８に、破線矢印４２によって示されるように、キャプチャデバイス２４に対する第２の向きへの表面１４のこの再位置決めを検出させる更なる命令と、キャプチャデバイス２４に対する表面１４の空間内の第２の向きを特定させる更なる命令とを含む。非一時的コンピュータ可読記憶媒体３８は、プロセッサ２８によって実行されるときに、プロセッサ２８に、破線矢印４４、４６及び４８によって示されるように、表面１４の以前に特定された寸法、及びキャプチャデバイス２４に対する表面１４の特定された第２の向きに基づいて、画像変換デバイス３２を使用して画像１２を変換させ、ディスプレイレンダリングデバイス１６を介して表面１４上に表示させる更なる命令を含む。

２つの表面５０及び５２上に画像１２を表示するシステム１０の別の例が図２に示される。これらの２つの表面５０及び５２を使用することは、種々の状況において、種々の理由から有用であることとわかり得る。例えば、表面５０及び５２のうちの一方だけに表示するには或る場所にあまりにも多くのユーザが存在し得る。別の例として、或る場所にいる複数のユーザが単一の表面において見える場合には、その場所にあるカメラからユーザへの距離が異なり得る。この結果、遠隔地におけるユーザの画像の視線が合わない程度が異なる可能性がある。更なる例として、表面５２上に表示される画像とは異なる画像が、表面５０上に表示され得る。

図２において見ることができるように、ディスプレイレンダリングデバイス１６は画像１２を、矢印５４、５６及び５８によって示されるように、表面５０上に、かつ矢印６０、６２及び６４によって示されるように、表面５２上に表示する。同じく図２に示されるように、キャプチャデバイス２４は、矢印６６によって示されるように、表面５０を検出し、矢印６８によって示されるように、表面５２を検出する。非一時的コンピュータ可読記憶媒体３８は、プロセッサ２８によって実行されるときに、プロセッサ２８に、キャプチャデバイス２４によって検出された表面５０の寸法（例えば、長さ及び幅）を特定させる命令と、キャプチャデバイス２４に対する表面５０の空間内の第１の向きを特定させる命令とを含む。また、非一時的コンピュータ可読記憶媒体３８は、プロセッサ２８によって実行されるときに、プロセッサ２８に、キャプチャデバイス２４によって検出された表面５２の寸法（例えば、長さ及び幅）を特定させる命令と、キャプチャデバイス２４に対する表面５２の空間内の第２の向きを特定させる命令とを含む。非一時的コンピュータ可読記憶媒体３８は、プロセッサ２８によって実行されるときに、プロセッサ２８に、表面５０及び５２の特定された寸法と、キャプチャデバイス２４に対する表面５０及び５２のそれぞれ特定された第１の向き及び第２の向きとに基づいて、画像変換デバイス３２を使用して画像１２を変換させ、ディスプレイレンダリングデバイス１６を介して表面５０及び５２上に表示させる更なる命令を含む。

同じく図２において見ることができるように、表面５０及び５２は、矢印７０によって示されるように、システム１０の１人又は複数のユーザによって、実線において示されるそれぞれの第１の向き及び第２の向きから、破線において示されるそれぞれの第３の向き及び第４の向きに移動され得る。図２に示されるシステム１０の例の１人又は複数のユーザは、図１に関連して上記で論じられたような種々の理由から、表面５０及び５２をそれぞれの第１の向き及び第２の向きからそれぞれの第３の向き及び第４の向きに移動し得る。

非一時的コンピュータ可読記憶媒体３８は、プロセッサ２８によって実行されるときに、プロセッサ２８に、破線矢印７２及び７４によって示されるように、キャプチャデバイス２４に対するそれぞれの第３の向き及び第４の向きへの表面５０及び５２のこの再位置決めを検出させる更なる命令と、キャプチャデバイス２４に対する表面５０と５２の空間内のそれぞれの第３の向き及び第４の向きを特定させる更なる命令とを含む。非一時的コンピュータ可読記憶媒体３８は、プロセッサ２８によって実行されるときに、プロセッサ２８に、表面５０及び５２の以前に特定された寸法、及びキャプチャデバイス２４に対する表面５０及び５２のそれぞれ特定された第３の向き及び第４の向きとに基づいて、画像変換デバイス３２を使用して画像１２を変換させ、ディスプレイレンダリングデバイス１６を介して表面５０及び５２上に表示させる更なる命令を含む。表面５０に関しては、破線矢印７６、７８及び８０によって示され、表面５２に関しては破線矢印８２、８４及び８６によって示される。

キャプチャデバイス２４のセンサの較正の一例が図３及び図４に示される。図３において見ることができるように、キャプチャデバイス２４のセンサによってカバーされるエリア８８は幅９０及び高さ９２を含む。同じく図３において見ることができるように、ディスプレイレンダリングデバイス１６は、角ｐ１９６、角ｐ２９８、角ｐ３１００及び角ｐ４１０２によって囲まれるか、又は画定される投影エリア９４を有する。図３及び図４に示される例では、エリア８８は実質的に長方形であるように示され、エリア９４は実質的に台形であるように示される。しかしながら、画像を表示するシステムの他の例では、これらのエリアは異なる形状を有し得ることは理解されたい。これは、投影される画像の少なくとも２つの点が、その上に画像が投影される表面の外縁と接触する限り、任意の表面形状上に任意の画像形状を投影できるためである。

矢印１０６によって示されるように、ホモグラフィ行列（Ｈ）１０４を作成して、以下のように、これを較正することができる。
幅９０＝キャプチャデバイスWidthPixels／ディスプレイレンダリングデバイスWidthPixels
高さ９２＝キャプチャデバイスHeightPixels／ディスプレイレンダリングデバイスHeightPixels
ｓ１＝｛（ディスプレイレンダリングデバイスWidthPixels−１）＊幅９０，０｝
ｓ２＝｛０，０｝
ｓ３＝｛０，（ディスプレイレンダリングデバイスHeightPixels−１）＊高さ９２｝
ｓ４＝｛（ディスプレイレンダリングデバイスWidthPixels−１）＊幅９０，（ディスプレイレンダリングデバイスHeightPixels）｝，（ディスプレイレンダリングデバイスHeightPixels−１）＊高さ９２｝
In＝｛ｐ１，ｐ２，ｐ３，ｐ４｝
Out＝｛ｓ１，ｓ２，ｓ３，ｓ４｝
Ｈ₁₀₄＝perspectiveXfrm（In，Out）

キャプチャデバイス２４のセンサによってカバーされるエリア８８内の投影エリア９４の角ｐ１９６、ｐ２９８、ｐ３１００及びｐ４１０２が特定され、図３に示されるように、かつ上記で論じられたように、ホモグラフィ行列（Ｈ）１０４が作成されると、矢印１０８によって示されるように、かつ図４に示されるように、キャプチャデバイス２４からのデータがホモグラフィ行列（Ｈ）１０４によって変換される。この結果、図４に示されるように、ディスプレイレンダリングデバイス１６のエリア９４の実質的に台形の形状が、実質的に長方形の形状からなるキャプチャデバイス２４のセンサによってカバーされるエリア８８により良好に適合するか、又はエリア８８を占める、同じく実質的に長方形の形状を有するエリア１１０に変換される。

作業環境１２２において、その上に画像１２が表示されるウエッジ１２１の表面１２０の角ｃ１１１２、ｃ２１１４、ｃ３１１６及びｃ４１１８の場所を特定する必要がある。図５は、深度検知を使用して、キャプチャデバイス２４によって角ｃ１、ｃ２、ｃ３及びｃ４の場所を特定し得る１つの方法の一例である。具体的には、角１１２、１１４、１１６及び１１８は、ウエッジ１２１のセグメント化の外周１２４から特定される。空間内の表面１２０の向きは、作業環境１２２からの角ｃ１、ｃ２、ｃ３及びｃ４の相対的な高さに基づいて、キャプチャデバイス２４によって特定される。

作業環境１３８において、その上に画像１２が表示される異なるウエッジ１３６の表面１３４の角ｃ１１２６、ｃ２１２８、ｃ３１３０及びｃ４１３２の場所を、キャプチャデバイス２４によって赤外線（ＩＲ）又は赤色、緑色及び青色（ＲＧＢ）検知を使用して特定し得る別の方法の一例が図６に示される。この技法は、それぞれの角ｃ１、ｃ２、ｃ３及びｃ４に隣接するフィデューシャル１４０、１４２、１４４及び１４６を使用することを伴う。ＲＧＢ検知の場合、これらのフィデューシャルは、それぞれの角１２６及び１３０に隣接するフィデューシャル１４０及び１４４がそれぞれの角１２８及び１３２に隣接するフィデューシャル１４２及び１４６とは異なるように設計された固有のマークであり得る。キャプチャデバイス２４によるＩＲ検知の場合、これらのフィデューシャルは、角ｃ１、ｃ２、ｃ３及びｃ４のそれぞれに隣接する赤外線ＬＥＤであり得、角１２６及び１３０に隣接する赤外線ＬＥＤは、角１２８及び１３２に位置する赤外線ＬＥＤとは異なる。この違いは、色（すなわち、波長）、強度、サイズ等の種々の異なる特性のいずれかであるように選択することができる。

図６に示されるこの例示的な技法を利用する、キャプチャデバイス２４は、フィデューシャル１４０、１４２、１４４及び１４６の場所を特定する。上側フィデューシャル１４２及び１４６は下側フィデューシャル１４０及び１４４とは異なるので、キャプチャデバイス２４は、空間内のウエッジ１３６の向きを特定することができる。これにより更に、キャプチャデバイス２４は、それぞれのフィデューシャル１４０、１４２、１４４及び１４６に隣接する角ｃ１、ｃ２、ｃ３及びｃ４の場所を特定できるようになる。

ウエッジ１３６の表面１３４のような表面の寸法（例えば、長さ及び幅）及び空間内のその向きを特定する一例が図７に示される。図７において見ることができるように、角ｃ１１２６は、ウエッジ１３６の左下角を表す（図６を参照）。さらに、キャプチャデバイス２４によって検出可能であるか、又は監視される作業環境１３８の部分が４つの象限に、すなわち、象限１１４８、象限２１５０、象限３１５２及び象限４１５４に分割される。角ｃ１１２６及びｃ３１３０は、上記で論じられたように、角ｃ２１２８及びｃ４１３２から区別可能であり、ウエッジ１３６の表面１３４の前部を表す。非一時的コンピュータ可読記憶媒体３８上の命令が、プロセッサ２８に、原点すなわち４つ全ての象限１４８、１５０、１５２及び１５４の交点１５６に存在するように表される角ｃ１に対して、角ｃ３が存在するのが４つの象限のうちのどの象限であるかを判断させる。角ｃ１１２６から角ｃ３１３０へのベクトルＷ１６０の角度シータ（θ）１５８は、キャプチャデバイス２４によって検出可能であるか、又は監視される作業環境１３８内のウエッジ１３６の表面１３４の向きの角度である。角ｃ１から角ｃ３までの距離は、ウエッジ１３６の表面１３４の２つの寸法のうちの一方に対応するベクトルＷ１６０の長さを表す。角ｃ３から角ｃ４までの距離は、ウエッジ１３６の表面１３４の２つの寸法のうちの他方に対応するベクトルＬ１６２の長さを表す。

ウエッジ１３６の表面１３４のような表面の、作業環境１３８からの角度ファイ（Φ）を求める一例が図８に示される。図８において見ることができるように、角度ファイは以下のように求めることができる。
Φ＝ｔａｎ^-1（ｚ／Ｌ）
ただし、Ｌは角ｃ３１３０から角ｃ４１３２までの距離であり、図７に関連して上記で論じられた、ベクトルＬ１６２の長さに等しく、
ｚはｃ３からｃ４までの相対的な「高さ」であり、図５に関連して上記で論じられたタイプの深度センサを使用して求めることができる。

ディスプレイレンダリングデバイス１６４によって与えられる２次元画像を、作業環境１６８内に位置決めされた表面１６６の３次元平面の２次元逆投影に変換する一例が図９に示される。用いられる基本的な方法は、ディスプレイレンダリングデバイス１６４から表面１６６の各角までのベクトルを構成することである。この例では、ディスプレイレンダリングデバイス１６４から表面１６６の角ｃ１１７２までのベクトル１７０、ディスプレイレンダリングデバイス１６４から表面１６６の角ｃ２１７６までのベクトル１７４、ディスプレイレンダリングデバイス１６４から表面１６６の角ｃ３１８０までのベクトル１７８、及びディスプレイレンダリングデバイス１６４から表面１６６の角ｃ４までのベクトル１８２を生成する。次に、各ベクトル１７０、１７４、１７８及び１８２が、作業環境１６８と接触するまで（必要に応じて）延長される（この場合には、ベクトル１７４及び１８２）。次に、各ベクトルがディスプレイレンダリングデバイス１６４の対応する場所に加えられる。この和は、その角に対する３次元／２次元変換を与える。

例えば、
ｃ１、ｃ２、ｃ３及びｃ４は画面１６６の角の場所であり；
Ｉ１８６は作業環境１６８から画面１６６の上部までの距離であり；
Ｐ１８８＝［Ｐｘ，０，Ｐｚ］はディスプレイレンダリングデバイス１６４の左上座標であり；
ｈはディスプレイレンダリングデバイス１６４の上部から作業環境１６８までのオフセットであると仮定する。
Ｃ２をｃ２の３次元座標とする。
その際、Ｃ１＝［ｃｌｘ，ｃ２ｙ＋ｈ，Ｉ］及びＣ４＝［ｃ４ｘ，ｃ４ｙ＋ｈ，Ｉ］である。
ベクトル（Ｖ）が、以下のように、ディスプレイレンダリングデバイス１６４から画面１６６の各角（Ｃ）まで構成される：Ｖ＝Ｃ−Ｐ
各ベクトル（Ｖ）が、作業環境１６８と接触するまで延長される：Ｖ＝Ｖ＊（Ｐ_z／（Ｐ_z−１））
その後、各ベクトル（Ｖ）がディスプレイレンダリングデバイス１６４の対応する場所に加えられ、その角に対する３次元／２次元変換を与える：ｓ＝Ｐ＋Ｖ
図９に示される例では、ｓ１＝ｃ１であり、ｓ２は作業環境１６８上の点１９０に位置し、ｓ３＝ｃ３であり、ｓ４は作業環境１６８内の点１９２に位置する。

次に、キャプチャデバイス（図９には示されない）の座標がディスプレイレンダリングデバイス１６４の座標に変換される。例えば、以下のように行われる。
ｓ４＝｛（キャプチャデバイスWidthPixels−１）＊幅キャプチャデバイス，（キャプチャデバイスHeightPixels−１｝＊高さキャプチャデバイス｝
ｐ１＝｛（ディスプレイレンダリングデバイスWidthPixels−１）＊幅キャプチャデバイス，０｝
ｐ２＝｛０，０｝
ｐ３＝｛０，（ディスプレイレンダリングデバイスHeightPixels−１）＊高さキャプチャデバイス｝
ｐ４＝｛（ディスプレイレンダリングデバイスWidthPixels−１）＊高さキャプチャデバイス，（ディスプレイレンダリングデバイスHeightPixels−１）＊高さキャプチャデバイス｝
In＝｛ｓ１，ｓ２，ｓ３，ｓ４｝
Out＝｛ｐ１，ｐ２，ｐ３，ｐ４｝
ホモグラフィ行列（H）＝perspectiveXfrm（In，Out）
Ｓ＝｛ｓ１，ｓ２，ｓ３，ｓ４｝
Ｈ×Ｓ
Ｗ＝表面１６６の変換後の２次元座標

その上に画像１２を表示し得る画面１９６を有するウエッジ又はパック１９４の一例が図１０に示される。図１０において見ることができるように、ウエッジ１９４は、１人又は複数のユーザにとって都合の良い場所及び空間内の向きにおいて作業環境（図示せず）内の任意の場所に配置し得る基部１９８を含む。同じく図１０において見ることができるように、画面１９６が基部１９８に対して所定の固定角度２００に位置決めされる。図１０に示される例では、角度２００は、約４０度〜約７０度の範囲内に入るように選択される。システム１０とともに用いるためのウエッジ又はパックの別の例では、角度２００は約２０度〜約４０度の範囲内に入るように選択し得る。

図１０において更に見ることができるように、ウエッジ又はパック１９４は、表面１９６に隣接してウエッジ又はパック１９４上の場所に位置決めされるカメラ２０２を含む。カメラ２０２は、遠隔地において表示するためにウエッジ又はパック１９４の１人又は複数のユーザの１つ又は複数の画像を捕獲するように設計される。ウエッジ又はパック１９４は基部１９８に対して所定の角度２００をなす固定表面１９６を有するように示されるが、他の例では、表面１９６は、基部１９８に対して或る範囲の角度にわたって移動可能にし得ることは理解されたい。

作業環境内に位置する表面上に画像を表示する方法２０４の一例が図１１に示される。図１１において見ることができるように、方法２０４は、ブロック２０８によって示されるように、表面の寸法を特定し、ブロック２１０によって示されるように、作業環境に対する表面の空間内の第１の向きを特定することによって起動するか又は開始する（２０６）。その後、方法２０４は、ブロック２１２によって示されるように、表面の特定された寸法及び作業環境に対する表面の特定された第１の向きに基づいて、画像を変換し、表面上に表示する。その後、方法２０４は、ブロック２１４によって示されるように、作業環境内の異なる場所への表面の再位置決めを検出し、ブロック２１６によって示されるように、作業環境に対する異なる場所における表面の空間内の第２の向きを特定し得る。その後、方法２０４は、ブロック２１８によって示されるように、表面の特定された寸法及び作業環境に対する異なる場所における表面の空間内の特定された第２の向きに基づいて、画像を変換し、表面上に表示し得る。その後、方法２０４は終了し得る（２２０）。

図１２において見ることができるように、方法２０４は以下の更なる要素も含み得る。方法２０４は、ブロック２２２によって示されるように、表面の寸法と、作業環境に対する表面の空間内の第１の向きとを特定する際に用いられるキャプチャデバイスの座標を、画像を表面上に表示するディスプレイレンダリングデバイスの座標に較正し得、ブロック２２４によって示されるように、キャプチャデバイスの較正後の座標において表面の角の座標を特定し得る。そのような場合に、方法２０４は、ブロック２２６によって示されるように、その表面の角の座標をディスプレイレンダリングデバイスの座標に更に変換し得、ブロック２２８によって示されるように、キャプチャデバイス座標をディスプレイレンダリングデバイスの座標に変換し得る。

図１３において見ることができるように、方法２０４は以下の更なる要素を更に含み得る。方法２０４は、ブロック２３０によって示されるように、作業環境内の更なる表面を検出し得、ブロック２３２によって示されるように、更なる表面の寸法を特定し得る。また、方法２０４は、ブロック２３４によって示されるように、作業環境に対する更なる表面の空間内の第３の向きをも特定し得、ブロック２３６によって示されるように、更なる表面の特定された寸法と、作業環境に対する更なる表面の特定された第３の向きとに基づいて、画像を変換し、更なる表面上に表示し得る。そのような場合に、方法２０４は、ブロック２３８によって示されるように、作業環境に対する第４の向きへの更なる表面の再位置決めを更に検出し得、ブロック２４０によって示されるように、作業環境に対する更なる表面の空間内の第４の向きを特定し得る。その後、方法２４２は、ブロック２４２によって示されるように、更なる表面の特定された寸法と、作業環境内の異なる場所における更なる表面の空間内の特定された第４の向きとに基づいて、画像を変換し、更なる表面上に表示し得る。

幾つかの例が詳細に説明及び例示されてきたが、それらの例は単に例示することだけを意図していることを明確に理解されたい。これらの例は、本発明を網羅的に述べることも、本発明を開示されるのと全く同じ形に、又は開示される例示的な実施形態に限定することも意図してない。当業者には変更及び変形が十分に明らかであり得る。例えば、図２には２つの表面５０及び５２が例示されたが、１人若しくは複数のユーザ又はシステム１０の特定の要求に応じて、システム１０の他の例は、同じ、又は更なる画像とともに更なる表面を用い得ることは理解されたい。別の例として、図１及び図２には、キャプチャデバイス２４が、表面１４、５０及び５２の下方にあるように例示されるが、画像を表示するシステムの他の例では、キャプチャデバイス２４は他の場所に（例えば、１つ又は複数の表面の上方に、及び／又は側方に）位置し得ることは理解されたい。更なる例として、画像を表示するシステムは２つの場所との関連で例示されてきたが、それに限らないことは理解されたい。むしろ、画像を表示するシステムの他の例は、３つ以上の場所におけるテレビ会議のために用い得る。本発明の趣旨及び範囲は、添付の特許請求の範囲の条件によってのみ制限されるべきである。

さらに、単数形の要素を参照することは、明示されない限り、唯一を意味する意図はなく、むしろ、１つ又は複数を意味する。さらに、要素又は構成要素が添付の特許請求の範囲において明示的に列挙されるか否かにかかわらず、その要素又は構成要素が公共に捧げられることを意図するものではない。

Claims

その上に画像が表示される表面と、
前記表面上に前記画像を表示させるディスプレイレンダリングデバイスと、
前記表面を検出するキャプチャデバイスと、
前記キャプチャデバイス及び前記ディスプレイレンダリングデバイスに結合されるプロセッサと、
非一時的コンピュータ可読記憶媒体と、
を備えた、画像を表示するシステムであって、
前記非一時的コンピュータ可読記憶媒体は、前記プロセッサによって実行されるときに、前記プロセッサに、
前記キャプチャデバイスによって検出された前記表面の寸法を特定させる命令と、
前記キャプチャデバイスに対する前記表面の空間内の第１の向きを特定させる命令と、
前記表面の前記特定された寸法と、前記キャプチャデバイスに対する前記表面の前記特定された第１の向きとに基づいて、前記画像を変換させ、前記ディスプレイレンダリングデバイスを介して前記表面上に表示させる命令と、
前記キャプチャデバイスに対する第２の向きへの前記表面の再位置決めを検出させる命令と、
前記キャプチャデバイスに対する前記表面の空間内の前記第２の向きを特定させる命令と、
前記表面の前記特定された寸法と、前記キャプチャデバイスに対する前記表面の前記特定された第２の向きとに基づいて、前記画像を変換させ、前記ディスプレイレンダリングデバイスを介して前記表面上に表示させる命令と、
を含む、画像を表示するシステム。
前記キャプチャデバイスによって前記表面を検出するのに利用される、前記表面に隣接する複数のフィデューシャルを更に備える、請求項１に記載のシステム。
作業環境と、
前記作業環境の一部において物体を記録するカメラと、
を更に備え、
前記カメラは前記表面に結合され、前記表面とともに移動可能である、請求項１に記載のシステム。
前記ディスプレイレンダリングデバイスによって前記画像が表示される更なる表面を更に備え、前記キャプチャデバイスは前記更なる表面を検出し、さらに、前記非一時的コンピュータ可読記憶媒体は、前記プロセッサによって実行されるときに、前記プロセッサに、
前記キャプチャデバイスによって検出された前記更なる表面の寸法を特定させる更なる命令と、
前記キャプチャデバイスに対する前記更なる表面の空間内の第３の向きを特定させる更なる命令と、
前記更なる表面の前記特定された寸法と、前記キャプチャデバイスに対する前記更なる表面の前記特定された第３の向きとに基づいて、前記画像を変換させ、前記ディスプレイレンダリングデバイスを介して前記更なる表面上に表示させる更なる命令と、
を含む、請求項１に記載のシステム。
前記非一時的コンピュータ可読記憶媒体は、前記プロセッサによって実行されるときに、前記プロセッサに、
前記キャプチャデバイスに対する第４の向きへの前記更なる表面の再位置決めを検出させる更なる命令と、
前記キャプチャデバイスに対する前記表面の空間内の前記第４の向きを特定させる更なる命令と、
前記表面の前記特定された寸法と、前記キャプチャデバイスに対する前記表面の前記特定された第４の向きとに基づいて、前記画像を変換させ、前記ディスプレイレンダリングデバイスを介して前記表面上に表示させる更なる命令と、
を含む、請求項４に記載のシステム。
作業環境内に位置する表面上に画像を表示する方法であって、
前記表面の寸法を特定することと、
前記作業環境に対する前記表面の空間内の第１の向きを特定することと、
前記表面の前記特定された寸法と、前記作業環境に対する前記表面の前記特定された第１の向きとに基づいて、前記画像を変換し、前記表面上に表示することと、
前記作業環境内の異なる場所への前記表面の再位置決めを検出することと、
前記作業環境に対する前記異なる場所における前記表面の空間内の第２の向きを特定することと、
前記表面の前記特定された寸法と、前記作業環境に対する前記異なる場所における前記表面の空間内の前記特定された第２の向きとに基づいて、前記画像を変換し、前記表面上に表示することと、
を含む、作業環境内に位置する表面上に画像を表示する方法。
前記表面の前記寸法と、前記作業環境に対する前記表面の空間内の前記第１の向きとを特定する際に用いられたキャプチャデバイスの座標を前記表面上に前記画像を表示するディスプレイレンダリングデバイスの座標に較正することと、
前記キャプチャデバイスの前記較正後の座標において前記表面の角の座標を特定することと、
を更に含む、請求項６に記載の方法。
前記表面の前記特定された寸法と、前記作業環境に対する前記表面の空間内の前記特定された第１の向きとに基づいて、前記画像を変換し、前記表面上に表示することは、
前記表面の前記角の座標を前記ディスプレイレンダリングデバイスの前記座標に変換することと、
前記キャプチャデバイス座標を前記ディスプレイレンダリングデバイスの前記座標に変換することと、
を含む、請求項７に記載の方法。
前記作業環境において更なる表面を検出することと、
前記更なる表面の寸法を特定することと、
前記作業環境に対する前記更なる表面の空間内の第３の向きを特定することと、
前記更なる表面の前記特定された寸法と、前記作業環境に対する前記更なる表面の前記特定された第３の向きとに基づいて、前記画像を変換し、前記更なる表面上に表示することと、
を更に含む、請求項６に記載の方法。
前記作業環境に対する第４の向きへの前記更なる表面の再位置決めを検出することと、
前記作業環境に対する前記更なる表面の空間内の前記第４の向きを特定することと、
前記更なる表面の前記特定された寸法と、前記作業環境内の異なる場所における前記更なる表面の空間内の前記特定された第４の向きとに基づいて、前記画像を変換し、前記更なる表面上に表示することと、
を更に含む、請求項９に記載の方法。
前記作業環境の一部において物体を記録することを更に含む、請求項６に記載の方法。
作業環境内の表面上に画像を表示するシステムのプロセッサによって実行されるときに、前記プロセッサに、
前記作業環境内の前記表面の寸法を特定させる命令と、
前記作業環境に対する前記表面の空間内の第１の向きを特定させる命令と、
前記表面の前記特定された寸法と、前記作業環境に対する前記表面の前記特定された第１の向きとに基づいて、前記画像を変換させ、前記表面上に表示させる命令と、
前記作業環境内の異なる場所への前記表面の再位置決めを検出させる命令と、
前記作業環境に対する前記異なる場所における前記表面の空間内の第２の向きを特定させる命令と、
前記表面の前記特定された寸法と、前記作業環境に対する前記異なる場所における前記表面の空間内の前記特定された第２の向きとに基づいて、前記画像を変換させ、前記表面上に表示させる命令と、
を含む、非一時的コンピュータ可読記憶媒体。
前記プロセッサによって実行されるときに、前記プロセッサに、
前記表面の前記寸法と、前記作業環境に対する前記表面の空間内の前記第１の向きとを特定する際に用いられた前記システムのキャプチャデバイスの座標を前記表面上に前記画像を表示するディスプレイレンダリングデバイスの座標に較正させる命令と、
前記キャプチャデバイスの前記較正後の座標において前記表面の角の座標を特定させる命令と、
を更に含む、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
前記プロセッサによって実行されるときに、前記プロセッサに、
前記作業環境において更なる表面を検出させる命令と、
前記更なる表面の寸法を特定させる命令と、
前記作業環境に対する前記更なる表面の空間内の第３の向きを特定させる命令と、
前記更なる表面の前記特定された寸法と、前記作業環境に対する前記更なる表面の前記特定された第３の向きとに基づいて、前記画像を変換し、前記更なる表面上に表示させる命令と、
を更に含む、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
前記プロセッサによって実行されるときに、前記プロセッサに、
前記作業環境に対する第４の向きへの前記更なる表面の再位置決めを検出させる命令と、
前記作業環境に対する前記更なる表面の空間内の前記第４の向きを特定させる命令と、
前記更なる表面の前記特定された寸法と、前記作業環境の異なる場所における前記更なる表面の空間内の前記特定された第４の向きとに基づいて、前記画像を変換し、前記更なる表面上に表示させる命令と、
を更に含む、請求項１４に記載の非一時的コンピュータ可読記憶媒体。