JP2013141207A - ハンドヘルドプロジェクタを用いたマルチユーザインタラクション - Google Patents

ハンドヘルドプロジェクタを用いたマルチユーザインタラクション Download PDF

Info

Publication number
JP2013141207A
JP2013141207A JP2012231991A JP2012231991A JP2013141207A JP 2013141207 A JP2013141207 A JP 2013141207A JP 2012231991 A JP2012231991 A JP 2012231991A JP 2012231991 A JP2012231991 A JP 2012231991A JP 2013141207 A JP2013141207 A JP 2013141207A
Authority
JP
Japan
Prior art keywords
tracking signal
handheld
projected
image
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012231991A
Other languages
English (en)
Inventor
Darcy Daniel Willis Karl
ダーシー ダニエル ウィリス カール
Poupyrev Ivan
パピレブ アイバン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of JP2013141207A publication Critical patent/JP2013141207A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【解決手段】デバイスに取り付けられる赤外線（ＩＲ）カメラ及びハイブリッド可視光／ＩＲ光プロジェクタが、（裸眼には）不可視の追跡信号（例えば、近ＩＲ参照マーカ）と一緒に可視のアニメーションシーケンスを投影するために使用され得る。（ハンドヘルドデバイス上にあるか、又は当該デバイスが通信するかのいずれかの）ソフトウェア（又はファームウェア）プラットフォームが、近ＩＲスペクトルで投影されるときの追跡信号を用いて、複数の独立した投影された画像を互いに関連して追跡することができる。
【効果】結果として得られるシステムは、環境が機器を取り付けられることを全く必要とせずに、適切な照明条件を有する任意の環境内で複数のハンドヘルドプロジェクタが使用される広範な新しいインタラクションのシナリオを可能にする。
【選択図】図２

Description

[0001]本発明の実施形態は、ハンドヘルドプロジェクタに関する。より具体的には、実施形態は、複数の独立した投影された画像を互いに関連して追跡するように構成されたデバイスに取り付けられるカメラ及びハイブリッド可視光／赤外線プロジェクタを提供する。
[0002]ここ１０年間で、人の手に楽に収まるほど十分に小型の画像投影システムが開発された。そのようなデバイス（ポケットプロジェクタ、又はモバイルプロジェクタ、又はピコプロジェクタと呼ばれることもある）は、任意の近くの画面に画像を投影することができるハンドヘルドデバイスを提供する。
[0003]加えて、ハンドヘルドプロジェクタは、携帯電話、携帯情報端末、及びデジタルカメラなどのその他のポータブルデバイスに接続される（又は統合される）ことができる。これらのようなハンドヘルドデバイスは、コンポーネントの中でもとりわけ、大きな表示領域、タッチ感知面、及びカメラを完備した洗練されたコンピューティングプラットフォームを提供する。さらに、これらのデバイスの計算能力は、着実に向上し、洗練されたコンピューティングアプリケーションが人の手のひらから実行されることを可能にした。例えば、ハンドヘルドデバイスは、今や、３Ｄグラフィックスの画像をリアルタイムでレンダリングすることができるコンピューティングハードウェアを含むことが多く、さまざまなレンダリングアプリケーションが、ハンドヘルドデバイス用に利用可能である。ハンドヘルドプロジェクタは、これらの種類のポータブルデバイスに接続される（又は統合される）ことができる。ハンドヘルドプロジェクタと組み合わされる（又はコンピューティングシステムに接続される）とき、ハンドヘルドプロジェクタは、ハンドヘルドデバイスによって生成された任意の画像を画面に投影することができる。
[0004]投影される画像の比較的大きなサイズは、それらの画像が複数のユーザによって容易に見られることを可能にする。しかし、２つのデバイス（及び投影される画像）が互いにインタラクションすることを可能にすることは、概して、制御された環境を必要としてきた。例えば、１つの公開されたアプローチは、ハンドヘルドプロジェクタにいくつかの再帰反射性マーカ（ｒｅｔｒｏｒｅｆｌｅｃｔｉｖｅ ｍａｒｋｅｒ）を取り付け、次いで、それらのマーカが、環境内に設置されたモーションキャプチャシステムによって追跡されることであった。或いは、別のアプローチは、環境に機器を（例えば、ハンドヘルドデバイスのセンサに見えるマーカを）取り付けることであった。両方のアプローチとも、投影されるハンドヘルドが制御された環境内で使用されることに依拠する。
[0005]本発明の一実施形態は、第１のハンドヘルドプロジェクタを用いて投影される表示フレームを表示するためのコンピュータで実施される方法を提供する。概して、この方法は、ハンドヘルドプロジェクタから投影すべき可視画像を描写する第１の表示フレーム、及び第１の表示フレームと合成すべき少なくとも第１の追跡信号を生成するステップと、少なくとも第１の追跡信号と合成された第１の表示フレームを表示面に投影するステップと、ハンドヘルドプロジェクタのセンサの視野内の少なくとも第２の追跡信号を検出するステップとを含み得る。第２の追跡信号は、第２のハンドヘルドプロジェクタによって表示面に投影される。この方法は、第１の追跡信号及び第２の追跡信号から、第１の表示フレームと第２の表示フレームとの相対的位置を判定するステップと、第１のハンドヘルドプロジェクタから投影すべき１つ又は複数の後続の表示フレームを生成するステップとをさらに含み得る。それぞれの後続の表示フレームは、少なくとも第１の追跡信号を含む。また、後続の表示フレームは、第１の追跡信号と第２の追跡信号との相対的位置に少なくとも部分的に応答する。
[0006]本発明のさらに別の実施形態は、ハンドヘルドプロジェクタを用いたマルチユーザインタラクションのための方法を含む。概して、この方法は、少なくとも第１のハンドヘルドプロジェクタによって、投影面に表示画像の第１の組を投影するステップと、第１のハンドヘルドプロジェクタによって、投影面に追跡信号を投影するステップとを含み得る。追跡信号は、第１のハンドヘルドプロジェクタによって投影された表示画像の組を見る人には感知不可能である。第２のハンドヘルドプロジェクタが、投影面に表示画像の第２の組を投影する。第２のハンドヘルドプロジェクタは、第１のハンドヘルドプロジェクタによって投影された追跡信号を検出するように構成される。
[0007]その他の実施形態は、処理ユニットが開示される方法の１つ又は複数の態様を実施することを可能にする命令を含むコンピュータ可読媒体と、開示される方法の態様を実施するように構成されたシステムとを限定することなく含む。
[0008]本発明の上述の特徴が詳細に理解され得るように、上で簡潔にまとめられた本発明のより具体的な説明が、実施形態を参照してなされることができ、実施形態の一部が、添付の図面に示される。しかし、添付の図面は、本発明の典型的な実施形態のみを示し、したがって、本発明の範囲の限定とみなされてはならず、その理由は、本発明がその他の同等の効果のある実施形態をもたらし得るからであることに留意されたい。
[0009] 本発明の一実施形態による、ハンドヘルド投影デバイスを用いて互いにインタラクションする複数のユーザの例を示す図である。 [0009] 本発明の一実施形態による、ハンドヘルド投影デバイスを用いて互いにインタラクションする複数のユーザの例を示す図である。 [0010] 本発明の一実施形態による、ハンドヘルド投影デバイスを用いて互いにインタラクションする複数のユーザの例をさらに示す図である。 [0011] 本発明の一実施形態によるハンドヘルド投影デバイスの例を示す図である。 [0012] 本発明の一実施形態による、ハンドヘルドプロジェクタが画像フレーム内の近ＩＲ参照マーカ（ｆｉｄｕｃｉａｌ ｍａｒｋｅｒ）を投影し、検出し、それに反応するための方法を示す図である。 [0013] 本発明の一実施形態による、近ＩＲ参照マーカと組み合わされた可視投影画像がハンドヘルドプロジェクタによって投影される画像を制御するために使用される例を示す図である。 [0014] 本発明の一実施形態による、複数のハンドヘルド投影デバイスから投影された重なり合う参照マーカを伴う投影された画像の例を示す図である。 [0015] 本発明の一実施形態による、ハンドヘルド投影デバイスを用いて互いにインタラクションするユーザのさらなる例を示す図である。 [0015] 本発明の一実施形態による、ハンドヘルド投影デバイスを用いて互いにインタラクションするユーザのさらなる例を示す図である。 [0015] 本発明の一実施形態による、ハンドヘルド投影デバイスを用いて互いにインタラクションするユーザのさらなる例を示す図である。 [0016] 本発明の一実施形態による、コンピューティングデバイスに統合されたハンドヘルドプロジェクタの例を示す図である。
[0017]ハンドヘルドコンピューティングデバイスは、現代の生活のどこにでもある一部になった。これらのデバイスは、人が任意の場所で情報を伝達し、取り出し、記録すること、コンテンツを見ること及び作成すること、並びに働くこととゲームをすることの両方を可能にする。しかし、これらのハンドヘルドコンピューティングデバイスとのインタラクションは、ユーザがそのユーザの手の中のスクリーンを眺める孤独な単独のユーザエクスペリエンスのままであることが多い。（コンピューティングシステムと連携した）ハンドヘルドプロジェクタは、片手で持たれるのに十分なだけ小さく、あちこちに移動されるのに十分なだけ軽いデバイスもたらす。複数のユーザが、デジタルコンテンツを物理的な環境に直接投影することができる。投影される画像の比較的大きなサイズは、それらの画像が複数のユーザによって容易に見られることを可能にし、それらの画像を、同じ場所にいる複数のユーザのインタラクションのシナリオに特に無理なく適合させる。
[0018]本発明の実施形態は、デバイスに取り付けられるカメラを、可視光プロジェクタと赤外線プロジェクタの両方と組み合わせるハンドヘルドデバイスを提供する。可視光プロジェクタは、ユーザの観衆のために目に見える画像を投影するために使用される。赤外線プロジェクタは、（裸眼には）不可視の画像であるが、ただし、デバイスに取り付けられるカメラ（例えば、赤外線センサ）には可視である画像を投影するために使用される。近赤外線（ＩＲ）参照マーカが、各デバイスが複数の独立に投影された画像を互いに関連して追跡することを可能にする。例えば、マーカは、各プロジェクタによって追跡され、シーン内のそれぞれの投影された画像の互いに対する大きさ、位置、及び向きを計算するために登録されることができる。この情報を用いて、投影された画像の空間的構成の全体を把握し、投影される可視のコンテンツ、例えば、キャラクタアニメーションを変更することによって互いに対して反応することができるインタラクティブなアプリケーションが、開発され得る。マーカは、−各投影フレームに関する基準として使用される−静的なマーカと、−ハンドヘルドプロジェクタの間でイベントを伝えるために使用される−イベントドリブンマーカとの両方を含み得る。
[0019]例えば、図１Ａ〜１Ｂは、本発明の一実施形態による、ハンドヘルド投影デバイスを用いて互いにインタラクションする複数のユーザの例を示す。示されるように、プロジェクタ１０５が、画像１２０１を投影し、プロジェクタ１１０が、画像１２５１を投影する。例示的に、画像１２０１、１２５１は、それぞれ、ボクサーを示す。ボクシングのキャラクタの可視画像に加えて、プロジェクタ１０５及び１１０によって投影された表示画像１２０１、１２５１は、それぞれ、（やはり裸眼には）不可視の参照マーカを含み得る。この例に関して、投影された画像は、互いのまわりで「ボビング及びウィービングをする」ボクシングのキャラクタのアニメーションをもたらすと仮定する。さらに、各デバイス１０５、１１０は、そのデバイスが投影するマーカと、他方のデバイス１０５、１１０によって投影されたマーカとを検出することができる。そして今度は、デバイス１０５、１１０は、これらのマーカを基準マーカとして使用して、デバイス１０５、１１０によって投影された投影フレームの相対的位置を判定することができる。したがって、デバイス１０５、１１０は、異なる投影フレーム内のボクシングのキャラクタの相対的位置を判定することができる。
[0020]さらに、デバイス１１０、１１５は、さまざまな制御メカニズム、例えば、ボタン、ジョイスティック、タッチスクリーン／面などを含み得る。例えば、示されるように、デバイス１０５は、ボタン１１５を含む。デバイス１１０のユーザがボタン１１５を押すとき、投影デバイス１１０は、パンチを打つボクシングのキャラクタをアニメーションさせるように構成され得る。この結果が、デバイス１１０によって投影された画像が画像１２５２を示す図１Ｂに示される。さらに、可視画像１２５２に加えて、デバイス１１０は、−静的な又は基準マーカを投影することに加えて−（「イベントマーカと呼ばれる」）参照マーカを投影することができる。デバイス１１０によって投影されたイベントマーカは、アニメーションされたキャラクタ１２５がパンチを打ったことをデバイス１０５に知らせる。この例において、デバイス１０５は、投影フレーム内のキャラクタの相対的位置を判定することによって反応し、「妥当な」相対的位置にあるとき、プロジェクタ１０５によって投影されるキャラクタをパンチで打たれているようにアニメーションさせる。画像１２０２は、この結果を示し、ボクサーの投影された画像は、「パン（ｐｏｗ）」という語を有するアニメの吹き出しを含む。この比較的単純な例が示すように、本発明の実施形態は、独立した投影デバイスが、環境に機器を取り付けることを必要とせずに不可視の参照マーカを介して通信することができるアプローチを提供する。したがって、本明細書に記載の実施形態は、好適な照明条件を有する任意の場所で実用的に使用され得る。
[0021]より全般的に言って、発明者の実施形態は、機器を取り付けられた環境を必要とせず、ほとんどあらゆる場所で使用され得るハンドヘルドプロジェクタを用いたアドホックなマルチユーザインタラクションのために設計されたシステムを提供する。各プロジェクタは、２つの情報のストリーム−１つは見る人のための表示画像（例えば、図１Ａ及び１Ｂのボクサー）を与えるストリーム−を投影する。第２の通信ストリームは、各プロジェクタが、所与のアプリケーションに関連するイベント（例えば、１つのアニメーションされたボクサーがもう１つのアニメーションされたボクサーにパンチを打とうとしたこと）の発生を伝えるためにその他のプロジェクタによって投影された表示フレームを追跡することを可能にする。つまり、各プロジェクタは、第２の通信ストリームを使用して、投影フレームと、ユーザがハンドヘルドプロジェクタを用いてインタラクションする間に起こるプログラムのイベントとについてのメッセージを符号化し、復号する。
[0022]重要なことに、第２の情報ストリームは、投影画像を見る人には感知不可能な方法で投影され得る。つまり、第２の情報ストリームは、概して、裸眼には不可視である可能性がある。例えば、一実施形態において、デバイスに取り付けられる赤外線（ＩＲ）カメラ及びハイブリッド可視光／ＩＲ光プロジェクタが、不可視の参照マーカと一緒に可視のアニメーションシーケンスを投影するために使用される。（ハンドヘルドデバイス上にあるか、又は当該デバイスが通信するかのいずれかの）ソフトウェアプラットフォームが、近ＩＲスペクトルで投影される不可視の参照マーカを用いて、複数の独立した投影された画像を互いに関連して追跡することができる。結果として得られるシステムは、ユーザが決まった位置に拘束されない幅広い「サイドバイサイドの（ｓｉｄｅ−ｂｙ−ｓｉｄｅ）」インタラクションのシナリオを可能にする。例えば、「サイドバイサイドの」アプリケーションが、個人の連絡先情報又はメディアファイルなどのデジタルコンテンツを交換するために使用されることができ、いかなるインフラストラクチャもなしに開始されることができる。同様に、複数のユーザが、アドホックなゲーム空間を作成することによって、投影された「サイドバイサイドの」ゲームを一緒にプレイすることができる。その他の「サイドバイサイドの」アプリケーションは、共有された情報空間を用いて教師と生徒とが一緒に学習することを可能にする教育のためのインタラクションのシナリオを含む。
[0023]近ＩＲマーカに加えて、追跡信号は、見る人に感知不可能な紫外線（ＵＶ）マーカを用いて生成される可能性もある。同様に、投影される表示画像は、ステガノグラフィ技術を用いて符号化された追跡信号、又は時間的光パルス（ｔｅｍｐｏｒａｌ ｌｉｇｈｔ ｐｕｌｓｅ）で符号化された追跡信号などの追跡信号を含むように修正される可能性がある。
[0024]以下で、本発明の実施形態に関する言及がなされる。しかし、本発明は、特定の説明される実施形態に限定されない。そうではなく、以下の特徴及び要素の任意の組み合わせが、異なる実施形態に関連するか否かに関わらず、本発明を実装し、実施するために想定される。さらに、本発明の実施形態はその他のあり得る解決策及び／又は従来技術に優る利点を実現し得るが、特定の利点が所与の実施形態によって実現されるか否かは、本発明の限定ではない。したがって、以下の態様、特徴、実施形態、及び利点は、単に例示的であるに過ぎず、（１つ又は複数の）請求項に明示的に記載されている場合を除いて、添付の特許請求の範囲の要素又は限定とみなされない。同様に、「本発明」との言及は、本明細書において開示されるいかなる発明の主題の一般化ともみなされてはならず、（１つ又は複数の）請求項に明示的に記載されている場合を除いて、添付の特許請求の範囲の要素又は限定とみなされてはならない。
[0025]本発明の態様は、システム、方法、又はコンピュータプログラム製品として具現化され得る。したがって、本発明の態様は、すべてハードウェアの実施形態、すべてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又はすべてが概して本明細書において「回路」、「モジュール」、若しくは「システム」と呼ばれることがあるソフトウェアの態様とハードウェアの態様とを組み合わせる実施形態の形態をとる可能性がある。さらに、本発明の態様は、コンピュータ可読プログラムコードを具現化する１つ又は複数のコンピュータ可読媒体で具現化されるコンピュータプログラム製品の形態をとる可能性がある。
[0026]１つ又は複数のコンピュータ可読媒体の任意の組み合わせが、利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体である可能性がある。コンピュータ可読ストレージ媒体は、これらに限定されないが、例えば、電子的、磁気的、光学的、電磁的、赤外線、若しくは半導体システム、装置、若しくはデバイス、又はこれらの任意の好適な組み合わせである可能性がある。コンピュータ可読ストレージ媒体のより具体的な例（非網羅的なリスト）は、以下、すなわち、１つ若しくは複数の配線を有する電気的な接続、持ち運び可能なコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ若しくはフラッシュメモリ）、光ファイバ、持ち運び可能なコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光学式ストレージデバイス、磁気式ストレージデバイス、又はこれらの任意の好適な組み合わせを含む。本明細書の文脈においては、コンピュータ可読ストレージ媒体は、命令実行システム、装置、若しくはデバイスによる使用のための、又は命令実行システム、装置、若しくはデバイスに関連するプログラムを含むか又は記憶することができる任意の有形の媒体である可能性がある。
[0027]図面の流れ図及びブロック図は、本発明のさまざまな実施形態によるシステム、方法、及びコンピュータプログラム製品のあり得る実装のアーキテクチャ、機能、及びオペレーションを示す。その際、流れ図又はブロック図の各ブロックは、（１つ又は複数の）規定された論理的な機能を実装するための１つ又は複数の実行可能命令を含むモジュール、セグメント、又はコードの一部を表す可能性がある。一部の代替的な実装においては、ブロックで示された機能が、図面に示された順序とは異なる順序で行われる可能性がある。例えば、連続で示された２つのブロックが、実際には実質的に同時に実行される可能性があり、又はそれらのブロックは、関連する機能に応じて逆順に実行される場合もあり得る。ブロック図及び／又は流れ図の各ブロックと、ブロック図及び／又は流れ図のブロックの組み合わせとは、規定された機能若しくは動作を実行する専用のハードウェアに基づくシステム、又は専用のハードウェアとコンピュータ命令の組み合わせによって実装され得る。
[0028]さらに、概して、実施形態は、ユーザの動き及びジェスチャに反応するように構成されたプログラムを実行するハンドヘルドコンピューティングデバイスと統合された投影システムに関して本明細書において説明される。しかし、当業者は、本発明の実施形態がさまざまな方法で実装され得ることを認めるであろう。例えば、コンピューティングシステムは、ハンドヘルドプロジェクタと統合される必要はなく、しかし、無線（又は有線）通信ネットワークを介して通信する可能性がある。加えて、実施形態は、（ハンドヘルドプロジェクタを介したユーザの直接の制御下にあるアバタである可能性があり、又はそのようなアバタではない可能性がある）投影フレーム内の「キャラクタ」に関して説明される場合がある。しかし、より全般的に言って、投影フレーム内の任意の投影される物体（例えば、投影されるシンボル、形状、画像、乗り物、動物など）が、本明細書に記載のジェスチャによる入力技術を用いて制御され得る。さらにまた、そのような投影フレームは、２次元又は３次元の画像を生成するために使用され得る。
[0029]最後に、例示的な実施形態は−見る人に感知できないように−近ＩＲスペクトルで参照マーカを投影するように以下で説明されるが、マーカを投影するためのその他のアプローチが使用され得る。例えば、マーカは、ステガノグラフィ技術を使用して可視画像に参照マーカを埋め込んで投影され得る。同様に、投影は、見る人に感知不可能なＵＶマーカである可能性もある。さらに、マーカ自体が、バーコード、ＱＲコード（登録商標）、又はハンドヘルド投影デバイスによって投影される表示フレームを生成するコンピュータコードによって検出され、認識され、解釈され得る投影画像内の不可視マーカを「描く」ために使用される任意のその他の好適なマーキング技術として実装され得る。例として、以下で説明される参照マーカは、マーカ内で照射されるか、又は照射されないかのいずれかである可能性がある点の６４×６４のグリッド（４０９６個の異なるあり得るマーカをもたらす）を用いる拡張現実タグ（ＡＲタグ）を使用する。さらに、本発明の実施形態が、２つのハンドヘルド投影デバイスを用いるいくつかのインタラクティブなシナリオに関連して説明される。しかし、当業者は、本明細書に記載のアプローチが、より多くのハンドヘルド投影デバイスで使用するために容易に拡張され得ることをすぐに認識するであろう。
[0030]図２は、本発明の一実施形態による、ハンドヘルド投影デバイスを用いて互いにインタラクションする複数のユーザの例を示す。示されるように、投影環境２００が、プロジェクタ２０５によって投影された投影フレーム２２５と、プロジェクタ２１０によって投影された投影フレーム２３０とを含む。プロジェクタ２０５は、視野２１５を有するカメラ２０６も含む。プロジェクタ２１０は、視野２２０を有するカメラを含む。例示的に、デバイス２１０によって投影された画像（投影フレーム２３０）は、カメラ２０６の視野内にあり、その逆も同様である。つまり、各デバイス２０５、２１０のカメラが、他方の投影フレームを「見る」ことができる。
[0031]一実施形態において、プロジェクタ２０５、２１０は、それぞれ、−可視表示画像に加えて−投影フレーム２２５、２３０内の参照マーカの近ＩＲ画像を投影する。例えば、ＩＲ画像２２６は、各投影フレームにおいてデバイス２０５を識別するために使用される基準マーカ２２７を表す。基準マーカ２２７は、デバイス２０５によって投影される各表示フレームの中央に投影される可能性がある。一実施形態において、プロジェクタ２０５は、ＩＲ画像２２６を可視画像２３０と合成して、投影フレーム２２５として投影される混合画像２３５を生成する。
[0032]さらに、投影フレーム２２５、２３０は、両方とも、カメラ２０６の視野２１５内にあるので、これらの投影フレーム内の近ＩＲマーカは、デバイス２０５のセンサユニット２０７（この例においてはＩＲセンサ）によって検出され得る。例えば、検出されたＩＲ画像２４０は、センサ２０７によって検出されたマーカ２４１及び２４２を示す。マーカ２４１は、ＩＲ画像２２６内のマーカ２２７に対応する。一実施形態において、プロジェクタ２０５は、この基準マーカから投影フレーム２２５のサイズ、位置、及び向きを判定するように構成され得る。
[0033]例示的に、マーカ２４２は、プロジェクタ２１０による投影フレーム２３０に埋め込まれた近ＩＲマーカに対応する。このマーカはプロジェクタ２０５の視野２１５内にあるので、このプロジェクタは、投影フレーム２３０のサイズ、位置、及び向きを判定するようにやはり構成され得る。例えば、追跡データ２４５は、２つのフレームの導出された相対的位置を示す。一実施形態において、可視画像２３０（すなわち、投影されるアニメーション）を生成するデバイスのコンポーネントは、基準マーカの相対的位置、すなわち、２つの投影フレームの追跡された位置に応答することができる。例えば、投影環境２００に示されるように、投影フレーム２２５及び２３０内のアニメのキャラクタの目は、ユーザが投影フレームの位置を１つの場所から別の場所へと移動させるにつれて、他方のキャラクタの位置を大まかに追いかけるように構成され得る。
[0034]図３は、本発明の一実施形態によるハンドヘルド投影デバイス３００の例を示す。示されるように、ハンドヘルド投影デバイス３００は、カメラ３１５、ＲＧＢプロジェクタ３２０、及びＩＲプロジェクタ３１５、及びＩＲセンサ３２５を含む。ハンドヘルド投影デバイス３００は、さまざまなインターフェース制御要素も含み得る。この例において、ハンドヘルド投影デバイス３００は、方向キーパッド３１０並びに（「Ａ」及び「Ｂ」とラベル付けされた）２つのボタン３０５−１２を含む。もちろん、ジョイスティック、又はタッチ感知式のアイコン若しくはコントロールを表示するディスプレイスクリーン面などのその他のメカニズムが、使用される可能性がある。加えて、ハンドヘルド投影デバイス３００は、コンピューティングシステム３３０に接続される（又は統合される）可能性がある。
[0035]コンピューティングシステム３３０は、サイドバイサイドのアプリケーション３３５を実行する。コンピューティングシステム３３０は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレット端末、ビデオゲーム機などを含むさまざまなコンピューティングデバイスを代表するものとして含められる。したがって、コンピューティングシステム３３５は、ハンドヘルド投影デバイス３００に関連してサイドバイサイドのアプリケーション３３５を記憶し、ロードし、実行するために使用されるプロセッサ、メモリ、及びストレージなどのコンポーネントを含み得る。コンピューティングシステム３３５は、さまざまなよく知られている周辺機器、例えば、ネットワークインターフェース、キーボード、ディスプレイ、マウスなども含み得る。
[0036]一実施形態において、サイドバイサイドのアプリケーション３３５は、ＲＧＢプロジェクタ３２０によって投影される可視表示画像を生成するように構成される。加えて、ＩＲプロジェクタ３１５は、サイドバイサイドのアプリケーション３３５によって生成された追跡信号（例えば、基準マーカ）を投影するように構成され得る。そのような基準マーカは、ＲＧＢプロジェクタ３２０によって投影される表示画像とともにＩＲプロジェクタ３１５によって投影されることができる。基準マーカは、プロジェクタには可視であるが、ユーザには概して感知不可能な追跡信号を符号化する。ＩＲセンサ３２５は、ハンドヘルド投影デバイス３００によって投影された任意のイベントマーカとともにハンドヘルド投影デバイス３００によって送られた基準マーカを検出することができる。さらに、ＩＲセンサは、その他のハンドヘルドデバイスによって投影された任意の参照マーカを検出することができる。感知されたマーカは、サイドバイサイドのアプリケーション３３５に送信されることができる。サイドバイサイドのアプリケーションは、デバイス３００（及びその他のハンドヘルド投影システム）によって投影されたマーカの相対定位置、有り、無しに応じて、そのようなハンドヘルド投影システムを制御するユーザに豊かなインタラクティブな体験を提供することができる。
[0037]例えば、図４は、本発明の一実施形態による、ハンドヘルドプロジェクタが画像フレーム内の近ＩＲ参照マーカを投影し、検出し、それに反応するための方法４００を示す。示されるように、方法４００は、ハンドヘルドプロジェクタが近ＩＲ画像と合成された可視画像フレームを投影するステップ４０５で始まる。近ＩＲ画像は、そのデバイスに関する基準マーカを提供する。可視的な投影される画像及び近ＩＲ画像は、デバイスから投影すべき２つの独立した通信ストリームを提供する。１つの通信ストリームは、見る人に対して投影されるコンテンツ、すなわち、アニメーションされる表示画像を提供する。他方の通信ストリームは、概して見る人に感知不可能である可能性があり、投影フレームと、所与のサイドバイサイドのアプリケーションに関連するその他のイベントとについての追跡信号を符号化するために使用され得る。見る人には感知不可能であるが、第２の通信ストリームは、ハンドヘルドプロジェクタのセンサ（例えば、ＩＲ又はＵＶカメラ）には可視であり、このセンサは、ユーザがハンドヘルドプロジェクタを用いてインタラクションする間に追跡信号を観察し、復号することができる。
[0038]基準マーカは、投影フレームの中央に配置され、（所与のフレームに関して）デバイスによって投影されている投影フレームの位置及びサイズを判定するためにそのデバイスによって使用され得る。さらに、デバイスが別のデバイスの基準マーカを検出するとき、各投影フレームの相対的位置、サイズ、及び向きが、判定されることができる。述べられたように、デバイスによって投影されるアニメーションの要素は、基準マーカの相対的位置に応答することができる。
[0039]ステップ４１０において、デバイスは、例えば、現在の投影の状態に基づいて任意のイベントマーカが投影される必要があるかどうかを判定することができる。投影される必要がある場合、ステップ４１５において、イベントマーカが投影される。基準マーカと同様に、イベントマーカは、見る人には感知できないが、ハンドヘルド投影のＩＲセンサには可視である近ＩＲ画像として投影されることができる。例えば、デバイスは、ボタン（又はその他の物理的な若しくはグラフィカルなコントロール要素）を含み得る。そのような場合、ユーザがボタンを押すとき、デバイスは、ボタンが押されたことを示すためのイベントマーカを投影することができる。そのようにすることは、１つのハンドヘルド投影デバイスが、（イベントマーカが任意のその他のハンドヘルド投影デバイスのＩＲセンサの視野内にある場合に）任意のその他のハンドヘルド投影デバイスに可視であるメッセージを送ることを効果的に可能にする。
[0040]ステップ４２０及び４２５において、ハンドヘルド投影デバイスは、そのデバイス及びその他のデバイスによって投影された基準マーカ（及びもしあればイベントマーカ）を検出する。例えば、図５は、本発明の一実施形態による、近ＩＲ参照マーカと組み合わされた可視投影画像の例を示す。示されるように、ＩＲカメラ画像５０５が、ハンドヘルドデバイスの投影フレーム及び投影を見る領域（ｐｒｏｊｅｃｔｉｏｎ ｖｉｅｗ ａｒｅａ）内のその他のデバイスの投影フレームを含む投影を見る領域の画像を撮影するハンドヘルドデバイスのセンサによって生成される。ＩＲ画像５０５は、２つの参照マーカ５１０及び５１５を含む。
[0041]この例において、マーカ５１０及び５１５は、それぞれ、異なるハンドヘルド投影デバイスによって投影された追跡信号に対応する。マーカ５１０及び５１５は、それぞれ、投影フレームの中央にある。パネル５２０は、基準マーカ５１０に対応する投影フレーム５２５と、基準マーカ５１５に対応する投影フレーム５３０とを示す。投影フレームの相対的サイズ、位置、及び向きを導出することによって、１つのデバイスが、投影フレーム内の視覚的画像の投影空間をマッピングすることができ−そのような要素のアニメーションが別のデバイスによって投影された視覚的要素に反応するように見えることを可能にする。パネル５４０は、基準マーカ５１５の上に重ねられた視覚的アニメーション５４５と、その他のハンドヘルド投影デバイスの投影フレームの境界とを示す。
[0042]方法４００に戻り、ステップ４２０において、ハンドヘルドデバイスは、ＩＲ画像から（例えば、ＩＲ画像５０５から）そのハンドヘルドデバイス自身の基準マーカを差し引くことができる。そのようにすることは、第１のハンドヘルド投影デバイスが、第１のハンドヘルドデバイスによって投影された基準（又はイベント）マーカと重なり合う第２のハンドヘルドデバイスによって投影された基準マーカを見ることを可能にすることができる。各デバイスによって投影されるＩＲ光は加算的である（つまり、ＩＲマーカの重なり合う部分はより明るくなる）ので、デバイス自身の（１つ又は複数の）投影された基準マーカによってもたらされた光が、差し引かれることができる。そのようにすることは、そのようなマーカが、その他のデバイスによって投影されたマーカの検出を妨げることを防止する。
[0043]例えば、図６は、本発明の一実施形態による、重なり合う参照マーカを伴う、複数のハンドヘルド投影デバイスから投影された近ＩＲ画像を示す。ＩＲ画像６０５に示されるように、参照マーカ６０６及び６０７は、互いに重なり合う。ハンドヘルドデバイスは、重なり合う要素が原因で、どちらの参照マーカも正しく識別することができない。しかし、パネル６１０に示されるように、ＩＲ画像６０５から参照マーカ６０７を差し引くことは、マーカ６０６だけを見えるようにする。同様に、ＩＲ画像６０５から参照マーカ６０６を差し引くことは、マーカ６０７だけが見える結果となる。
[0044]より全般的に言って、通常不透明である印刷されたマーカとは異なり、投影されたマーカは、重なり合い、依然として、各マーカを個々に識別するための十分な情報を残す可能性がある。重なり合う領域は、ＩＲ画像６１５１〜２に示されるように、投影された光の加算的な性質のために明るさが増す。一実施形態において、１つのデバイスによるフレームの中央に投影される基準マーカは、その他のハンドヘルドデバイスに知られており、その他のハンドヘルドデバイスの基準マーカとは異なる。記憶されたマーカ画像６２５１〜２をＩＲ画像から差し引くことによって、１つのデバイスが、その他のデバイスによってその記憶されたマーカ画像６２５１〜２の上に投影されたマーカを復元することができる。差し引かれたＩＲ画像６３０１〜２に示されるように。次いで、回復されたマーカが、パネル６３５１〜２に示されるように識別され、追跡されることができる。
[0045]マーカを差し引く１つのアプローチは、単純に、基準マーカの静的な表現を記憶し、その表現を投影フレームのＩＲ画像の中央から差し引くことである。しかし、照明、及び投影面の特性などの環境条件は、ユーザが任意の所与の環境中を移動するにつれて常に変化する。したがって、一実施形態において、各デバイスは、重なり合いがないときに基準マーカの記憶された画像をリフレッシュすることによって、変化する環境条件に適応し、堅牢性をさらに高める。しかし、カメラの軸とプロジェクタの軸とが光学的に近接して並んでいるので、カメラによって観察される投影された画像は、投影面に対するカメラの位置的変化に対して比較的変化しないことに留意されたい。つまり、たとえユーザがデバイスを鋭角で投影面に向けるときであっても、投影されたマーカは、ＩＲセンサに対して比較的静止しており、長方形であるように見える。したがって、単純に基準マーカの静的な表現を差し引くことが、多くの条件のもとで適切である可能性がある。
[0046]方法４００に戻って、ハンドヘルド投影デバイスがその他のデバイスの投影フレーム（及びそのようなデバイスによって投影された任意のイベントマーカ）を復元した後、ハンドヘルド投影デバイスは、所与のサイドバイサイドのアプリケーションに関して必要に応じて任意のプログラムの状態情報を更新することができる（ステップ４２５）。例えば、図１Ａ〜１Ｂに示されたように、投影デバイスは、−投影フレームの相対的位置及び向きと、第２のハンドヘルド投影デバイスのユーザが確かにパンチを繰り出したことを示すイベントマーカの存在とから判定されるように−別のハンドヘルドデバイスによって投影されたボクサーがパンチを打つときにボクサーの画像を更新することができる。デバイス／デバイスのインタラクションのさらなる例が、以下で与えられる。次に、方法４００はステップ４０５に戻り、ステップ４０５において、次の表示フレームが生成され、投影される。概して、プロセスは、ユーザがハンドヘルド投影デバイスで実行されるサイドバイサイドのアプリケーションによって互いにインタラクションすることを終了するまで継続する。
[0047]上述の技術を利用するためのさまざまなサイドバイサイドのアプリケーションが、開発され得る。例えば、「サイドバイサイドの」アプリケーションは、ユーザが個人の連絡先情報又はメディアファイルなどのデジタルコンテンツを交換することを可能にするように構成される可能性がある。図７Ａは、コンピューティングデバイス間でファイルを転送するためのインターフェースの例を示す。示されるように、ユーザは、（第１のハンドヘルド投影デバイスを用いて投影された）投影画像７０５とインタラクションして、第２の投影画像７１０を制御するユーザに転送すべき転送元ファイルを選択する。投影画像７０５は、３つのファイルの視覚的表示を含み、現在選択されているファイル７２０が、投影画像７０５の中央に示されている。投影画像は、画像の中央に基準マーカ７１５も含むことに留意されたい。この例において、ユーザは、別のファイルを選択するために、ハンドヘルド投影デバイスのボタンを押して上下にスクロールすることができる。代替的に、ハンドヘルド投影デバイスは、デバイスを持っているユーザによって行われるジェスチャに反応するように構成され得る。例えば、ハンドヘルド投影デバイスは、素早く上に（又は下に）さっと動かす動作を認識し、投影画像内に示されるファイルをスクロールさせることによって反応するように構成された慣性測定ユニット（例えば、一式の加速度計）を含む可能性がある。もちろん、ハンドヘルドプロジェクタによって認識されるジェスチャ（及び反応）は、特定のサイドバイサイドのアプリケーションに適するように調整され得る。
[0048]第１のユーザが別のユーザに転送すべきファイルを識別すると、第１のユーザは、選択されたファイルの投影された画像を、投影画像７１０内に描かれたフォルダ７３０の上に位置付ける。さらに、投影画像７１０は、（裸眼には）不可視の基準マーカ７２５を含む。基準マーカ７１５が基準マーカ７２５と重なり合うとき、第１のデバイス及び第２のデバイスは、第１のデバイスから第２のデバイスへのファイル転送を開始することによって反応する。例えば、第１のデバイスは、ＦＴＰ、ＨＴＴＰ、又はさまざまなその他のネットワーキングプロトコルを用いて第２のデバイスにファイルを転送することができる。
[0049]同様のスキームが、ユーザが連絡先情報を交換（又は共有）することを可能にするために使用され得る。しかし、ネットワーク接続を介してデータを転送することに加えて、連絡先情報は、その連絡先情報を表示画像内に埋め込むことによって交換される可能性もある。例えば、第１のユーザが共有すべき所望の連絡先を選択する（及び投影画像をドラッグして重ね合わせる）と、第１のハンドヘルドプロジェクタが、第２のハンドヘルドプロジェクタによって検出される連絡先情報の符号化を生成し、表示することによって反応する可能性がある。符号化は、バーコード、ＱＲコードなどである可能性がある。さらに、そのような符号化は、可視投影画像内に表示され得るが、近ＩＲ域で投影され、そのような符号化が受け取るデバイスのＩＲセンサによって見られることを可能にする可能性もある。そのような場合、投影される画像は、情報の転送が完了したことを示すメッセージを表示する可能性がある。この後者のアプローチは、送るデバイスと受け取るデバイスの間のいかなるネットワークの（又はその他の）直接通信も必要とせずに情報が交換されることを可能にすることに留意されたい。その代わりに、すべてのインタラクションが、基準マーカ及びイベントマーカの使用によって仲介される。
[0050]図７Ｂ〜７Ｃは、教育用のゲームを提供するために使用されるサイドバイサイドのアプリケーションの別の例を示す。図７Ｂに示されるように、第１の投影画像７５０は、３つの単語の上に投影された３つの基準マーカ７５５１〜３を含む。第２の投影フレーム７５２は、単語のうちの１つと合致する絵−この場合は車−を表示する。投影フレーム７５２は、矢印と合成された基準マーカ７５４も含む。第２の投影フレームを制御するユーザは、矢印を投影された画像に合致する単語の上に位置付ける。例示的に、図７Ｂにおいて、ユーザは、矢印を単語「自転車」の横に位置付けた。それに応じて、第１の投影画像７５０を管理するサイドバイサイドのアプリケーションは、基準マーカ７５４を検出し、選択が正しくないと判定し、第１の投影フレーム７５０内にメッセージ「もう一度やってみよう」を表示する。
[0051]図７Ｃは、この例を続ける。示されるように、第１の投影画像７６０は、近ＩＲマーカ７７０１〜３とともに３つの単語を含む。しかし、第２のプロジェクタを制御するユーザは、（基準マーカ７７５と合成された）矢印が正しい単語を指すように投影フレーム７６５を位置付けた。それに応じて、第１の投影画像７６５を管理するサイドバイサイドのアプリケーションは、基準マーカ７７５を検出し、選択が正しいと判定し、第１の投影フレーム７６０内にメッセージ「正解！」を表示する。その後、第１の投影画像を管理するサイドバイサイドのアプリケーションは、正しい選択が行われたことを示すイベントマーカを投影し、単語の新しい組を投影する可能性がある。そしてそれに応じて、第２の投影画像を管理する第２のサイドバイサイドのアプリケーション（すなわち、第２のプロジェクタ）は、単語のうちの１つに合致するアイコンの表示を含むように投影される画像を更新する可能性がある（すなわち、第２のサイドバイサイドのアプリケーションは、車を何らかの他のものと入れ替える可能性がある）。
[0052]しかし、図７Ａ〜７Ｃの例は、複数のユーザが、機器を取り付けられた表示環境を必要とせず、制御データによって表示画像の見た目を損なうことなしにハンドヘルドプロジェクタを用いて互いにインタラクションすることを可能にするために投影画像内の近ＩＲマーカを用いるための異なるアプローチを示すように含められていることに留意されたい。当然、当業者は、図７Ａ〜７Ｃに示された試験アプリケーション（Ｅｘａｍｉｎｅｒ）に加えて、上述のアプローチを用いて広範なアプリケーションが開発され得ることを認めるであろう。
[0053]図８は、本発明の一実施形態による、コンピューティングデバイスに統合されたハンドヘルドプロジェクタの例を示す。この例において、ハンドヘルドプロジェクタ８００は、ハンドヘルド又はモバイルコンピューティングデバイス（例えば、携帯電話又はコンピューティングタブレット）と統合されたハンドヘルドプロジェクタとして示される。示されるように、ハンドヘルドプロジェクタ８００は、ＩＲトランシーバ８０５と、ディスプレイ８０７と、ネットワークインターフェース８２５と、カメラ８１５と、ＲＧＢプロジェクタユニット８１０と、慣性測定ユニット８４０と、ファームウェア／プロセッサ８２０と、メモリ及びデータストレージ８３０とを限定することなく含む。加えて、ハンドヘルドプロジェクタ８００は、さまざまな感知及び／又はシグナリングコンポーネントも含む可能性があり、ハンドヘルドプロジェクタ８００が環境及び環境内の物体を監視することを可能にする。例えば、ハンドヘルドプロジェクタ８００は、ＩＲトランシーバ８０５、温度モニタ、マイクロホン、超音波距離計、光センサ、カメラ８１５、無線周波数（ＲＦ）モニタ、レーザスキャナなどの組み合わせを含む可能性があり、例えば、ＲＦ又はＢｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、ＲＦＩＤ送信機などのネットワークインターフェース８２５に加えて、データ通信のために使用されるシグナリングコンポーネントを含む可能性がある。
[0054]ファームウェア／プロセッサ８２０は、メモリ及び／又はストレージ８３０に記憶されたプログラミング命令を取り出し、実行する。ファームウェア／プロセッサ８２０は、単一のＣＰＵ、複数のＣＰＵ、複数の処理コアを有する単一のＣＰＵ、複数の実行経路を有するＧＰＵ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを代表するものとして含められる。概して、メモリ及びストレージ８３０は、ランダムアクセスメモリ及び／又はフラッシュメモリデバイス、磁気ディスクドライブなどを代表するものとして含められる。ネットワークインターフェース８２５は、ハンドヘルドプロジェクタ８００がデータ通信ネットワーク（例えば、有線イーサネット（登録商標）接続又は８０２．１１無線ネットワーク）に接続することを可能にすることができる。メモリ及びストレージ８３０は単一のコンポーネントとして示されているが、ハンドヘルド又はモバイルコンピューティングデバイスは、さまざまな統合されたメモリ及びストレージアーキテクチャを使用することができることに留意されたい。
[0055]ハンドヘルドプロジェクタ８００は、ユーザインターフェースを提供するために使用されるディスプレイ８０７も含み得る。例えば、ディスプレイ８０７は、ユーザが異なるアプリケーションプログラムを選択すること（例えば、どのサイドバイサイドのアプリケーション８３３を実行すべきかを選択すること）を可能にするタッチ感知面を提供することができる。代替的に又は追加的に、ハンドヘルドプロジェクタ８００は、一組のボタン、スイッチ、又はハンドヘルドプロジェクタ８００を制御するためのその他の物理的なデバイスのメカニズムを含み得る。例えば、ハンドヘルドプロジェクタ８００は、ディスプレイ８０７に表示された（又はＲＧＢプロジェクタ８１０によって投影された）メニューをナビゲーションするために使用される（図３に示されたような）一組の方向ボタンを含む可能性がある。そのような場合、メニューは、ユーザがどのサイドバイサイドのアプリケーション８３３のプログラムを実行すべきかを選択することを可能にする可能性がある。加えて、ユーザインターフェースは、ユーザが、サイドバイサイドのアプリケーション８３３によって使用されるデータを選択するか、購入するか、又はその他の方法で入手して異なるサイドバイサイドのアプリケーション８３３及び異なるキャラクタ又はグラフィックスをダウンロードすることを可能にする可能性がある。
[0056]ＩＲトランシーバ８０５は、ハンドヘルドプロジェクタ８００が、ハンドヘルドプロジェクタ８００が使用されている物理的な環境に／から信号を送受信することを可能にする。例えば、ＩＲトランシーバ８０５は、ＲＧＢプロジェクタ８１０によって投影されるそれぞれの可視表示フレームの中央の追跡として使用される参照マーカ８３６を投影することができる。そのような追跡信号は、その他のハンドヘルド投影デバイスによって感知され、複数の投影フレームの相対的位置及び向きを導出するために使用され得る。さらに、ＩＲトランシーバ８０５は、所与のサイドバイサイドのアプリケーション８３３によって使用されるイベントマーカを投影することができる。
[0057]慣性測定ユニット８４０は、ハンドヘルドプロジェクタ８００の加速度、すなわち、自由落下に対するハンドヘルドプロジェクタ８００の加速度を測定するコンポーネントを提供する。一実施形態において、加速度計が、ハンドヘルドデバイス８００の加速度の大きさ及び／又は方向を指定されたレートでベクトル量として監視するために使用されることができ、例えば、一部の現在入手可能なハンドヘルドデバイスの加速度計は、１００Ｈｚのレートで動作する。慣性測定ユニット８４０からのデータは、ハンドヘルドプロジェクタ８００のサイドバイサイドのアプリケーション８３３のプログラムによって、投影面に仮想的な環境を投影しながら記憶され、アクセスされる可能性がある。例えば、慣性測定ユニット８４０からのデータは、サイドバイサイドのアプリケーション８３３を制御するためにユーザによって行われるジェスチャを検出するために使用され得る。素早く上げる（又は下げる）動作を用いてハンドヘルドプロジェクタ８００によって投影されたファイルのリストをスクロールする例が、上で説明された。
[0058]カメラ８１５は、データストレージ８３０に記憶される静止画及び映像を撮影するように構成されたＣＣＤデバイスを提供することができる。一実施形態において、サイドバイサイドのアプリケーション８３３は、カメラ８１５を使用して物理的な環境について知ることができる。同様に、カメラ８１５は、環境内の物体を認識し、認識したときに、投影される画像の変更をトリガするために使用され得る。例えば、一実施形態においては、画像分析アプリケーションが、カメラ８１５を用いて撮影された画像を分析し、（基準マーカ及びイベントマーカの使用と併せて）サイドバイサイドのアプリケーション８３３によって投影される仮想的な環境を更新、変更、又は修正するように構成され得る。例えば、ユーザが表面を横切って表示画像を動かすとき、分析アプリケーションは、カメラ８１５を使用して表面の角度の変化を特定し、投影された画像に対する遠近感（ｐｅｒｓｐｅｃｔｉｖｅ）の修正を行う可能性がある。
[0059]有利なことに、発明者の実施形態は、機器を取り付けられた環境を必要とせず、適切な照明条件が存在するあらゆる場所で使用され得るハンドヘルドプロジェクタを用いたアドホックなマルチユーザインタラクションのために設計されたシステムを提供する。デバイスに取り付けられる赤外線（ＩＲ）カメラ及びハイブリッド可視光／ＩＲ光プロジェクタが、見る人には感知できない追跡信号と一緒に可視のアニメーションシーケンスを投影するために使用される。代替的に、追跡信号は、見る人に感知不可能な紫外線（ＵＶ）マーカを用いて生成される可能性がある。同様に、投影される表示画像は、ステガノグラフィ技術を用いて符号化された追跡信号、又は時間的光パルスで符号化された追跡信号などの追跡信号を含むように修正される可能性がある。
[0060]（ハンドヘルドデバイス上にあるか、又は当該デバイスが通信するかのいずれかの）ソフトウェア（又はファームウェア）プラットフォームが、追跡信号を用いて、複数の独立した投影された画像を互いに関連して追跡することができる。結果として得られるシステムは、ユーザが決まった位置に拘束されない幅広いインタラクションのシナリオを可能にする。例えば、個人の連絡先情報又はデータファイルなどのデジタルコンテンツを交換することが、表示環境内のいかなるインフラストラクチャもなしに開始され得る。複数のユーザが、アドホックなゲーム空間を作成することによって、投影されたゲームを一緒にプレイすることができる。教育のためのインタラクションのシナリオは、共有された情報空間を用いて教師と生徒とが一緒に学習することを可能にする。これらのインタラクションのシナリオは、あらゆる場所で−ビジネス会議に向かうエレベータの中で、明かりを消した後の子供の寝室で、又は教室の外の廊下で−起こり得る。
[0061]本発明が、特定の実施形態を参照して上で説明され、多くの特定の詳細が、本発明のより完全な理解をもたらすために記載されている。しかし、当業者は、本発明のより広い精神及び範囲から逸脱することなしにそれらに対するさまざまな修正及び変更がなされ得ることを理解するであろう。したがって、上述の説明及び図面は、限定的な意味ではなく例示的な意味に解釈されるべきである。
１０５…プロジェクタ、１１０…プロジェクタ、１１５…ボタン、１２０１…画像、１２５１…画像、２００…投影環境、２０５…プロジェクタ、デバイス、２０６…カメラ、２０７…センサユニット、２１０…プロジェクタ、デバイス、２１５…視野、２２５…投影フレーム、２２６…ＩＲ画像、２２７…基準マーカ、２３０…投影フレーム、可視画像、２３５…混合画像、２４０…検出されたＩＲ画像、２４１…検出されたマーカ、２４２…検出されたマーカ、２４５…追跡データ、３００…ハンドヘルド投影デバイス、３０５−１…ボタン、３０５−２…ボタン、３１０…方向キーパッド、３１５…カメラ、ＩＲプロジェクタ、３２０…ＲＧＢプロジェクタ、３２５…ＩＲセンサ、３３０…コンピューティングシステム、３３５…サイドバイサイドのアプリケーション、４００…方法、５０５…ＩＲカメラ画像、ＩＲ画像、５１０…参照マーカ、基準マーカ、５１５…参照マーカ、基準マーカ、５２０…パネル、５２５…投影フレーム、５３０…投影フレーム、５４０…パネル、５４５…視覚的アニメーション、６０５…ＩＲ画像、６０６…参照マーカ、６０７…参照マーカ、６１０…パネル、６１５１…ＩＲ画像、６１５２…ＩＲ画像、６２５１…記憶されたマーカ画像、６２５２…記憶されたマーカ画像、６３０１…差し引かれたＩＲ画像、６３０２…差し引かれたＩＲ画像、６３５１…パネル、６３５２…パネル、７０５…投影画像、７１０…第２の投影画像、７１５…基準マーカ、７２５…基準マーカ、７３０…フォルダ、７５０…第１の投影画像、７５２…第２の投影フレーム、７５４…基準マーカ、７５５１…基準マーカ、７５５２…基準マーカ、７５５３…基準マーカ、７６０…第１の投影画像、７６５…投影フレーム、７７０１…近ＩＲマーカ、７７０２…近ＩＲマーカ、７７０３…近ＩＲマーカ、７７５…基準マーカ、８００…ハンドヘルドプロジェクタ、８０５…ＩＲトランシーバ、８０７…ディスプレイ、８１０…ＲＧＢプロジェクタユニット、８１５…カメラ、８２０…ファームウェア／プロセッサ、８２５…ネットワークインターフェース、８３０…メモリ及びデータストレージ、８３３…サイドバイサイドのアプリケーション、８３６…参照マーカ、８４０…慣性測定ユニット

Claims (13)

  1. 第１のハンドヘルドプロジェクタを用いて投影される表示フレームを表示するためのコンピュータで実施される方法であって、
    前記ハンドヘルドプロジェクタから投影すべき可視画像を提供する第１の表示フレーム、及び前記第１の表示フレームと合成すべき少なくとも第１の追跡信号を生成するステップと、
    少なくとも前記第１の追跡信号と合成された前記第１の表示フレームを表示面に投影するステップと、
    前記ハンドヘルドプロジェクタのセンサの視野内の少なくとも第２の追跡信号を検出するステップであり、前記第２の追跡信号が、第２のハンドヘルドプロジェクタによって前記表示面に投影される、ステップと、
    前記第１の追跡信号及び前記第２の追跡信号から、前記第１の表示フレームと第２の表示フレームとの相対的位置を判定するステップと、
    前記第１のハンドヘルドプロジェクタから投影すべき１つ又は複数の後続の表示フレームを生成するステップであり、それぞれの後続の表示フレームが、少なくとも前記第１の追跡信号を含み、前記１つ又は複数の後続の表示フレームが、前記第１の追跡信号と前記第２の追跡信号との前記相対的位置に少なくとも部分的に応答する、ステップとを含む、方法。
  2. 前記第１のハンドヘルドプロジェクタによって、前記第１の表示フレームと合成すべき少なくとも第３の追跡信号を生成するステップであり、前記第３の追跡信号が、プログラムのイベントの状態を前記第２のハンドヘルドプロジェクタに伝える、ステップをさらに含む請求項１に記載の方法。
  3. 前記ハンドヘルドプロジェクタが、慣性モーションユニットを含み、前記第３の追跡信号が、前記慣性モーションユニットによって感知されたジェスチャに応答して生成される請求項２に記載の方法。
  4. 前記ハンドヘルドプロジェクタが、慣性モーションユニットを含み、前記１つ又は複数の後続の表示フレームのうちの少なくとも１つが、前記慣性モーションユニットによって感知されたジェスチャに少なくとも部分的に応答する請求項１に記載の方法。
  5. 前記第１のハンドヘルドプロジェクタによって、少なくとも第３の追跡信号を検出するステップであり、前記第３の追跡信号が、前記第２のハンドヘルドプロジェクタによって前記表示面に投影され、前記第３の追跡信号が、プログラムのイベントの状態を前記第２のハンドヘルドプロジェクタに伝える、ステップをさらに含む請求項１に記載の方法。
  6. 少なくとも第２の追跡信号を検出するステップが、前記視野の画像を前記センサから得るサブステップを含み、前記方法が、前記視野の前記画像から前記第１の追跡信号を差し引くステップをさらに含む請求項１に記載の方法。
  7. 前記追跡信号が、前記第１の表示フレーム及び前記第２の表示フレームを見る人には感知不可能である近赤外線（ＩＲ）画像として投影される請求項１に記載の方法。
  8. 前記第１の追跡信号が、前記第１の表示フレームの中央に投影され、前記第２の追跡信号が、前記第２の表示フレームの中央に投影される請求項１に記載の方法。
  9. 少なくとも第２の追跡信号を検出するステップが、前記視野の画像を前記センサから得るサブステップを含み、前記方法が、前記視野の前記画像に描かれた前記第１の追跡信号の表現を記憶するステップをさらに含む請求項１に記載の方法。
  10. プロセッサによって実行されたときに第１のハンドヘルドプロジェクタを用いて投影される表示フレームを表示するためのオペレーションを実行する命令を記憶するコンピュータ可読ストレージ媒体であって、前記オペレーションが、請求項１〜９のいずれか一項に記載の方法を含む、コンピュータ可読ストレージ媒体。
  11. 第１のハンドヘルドプロジェクタと、
    プロセッサと、
    センサと、
    プロセッサで実行されたときに前記第１のハンドヘルドプロジェクタを用いて投影される表示フレームを表示するためのオペレーションを実行するアプリケーションプログラムを記憶するメモリであり、前記オペレーションが、請求項１〜９のいずれか一項に記載の方法を含む、メモリとを具備するシステム。
  12. ハンドヘルドプロジェクタを用いたマルチユーザインタラクションのためのコンピュータで実施される方法であって、
    少なくとも第１のハンドヘルドプロジェクタによって、投影面に表示画像の第１の組を投影するステップと、
    前記第１のハンドヘルドプロジェクタによって、前記投影面に追跡信号を投影するステップとを含み、前記追跡信号が、前記第１のハンドヘルドプロジェクタによって投影される表示画像の前記組を見る人には感知不可能であり、第２のハンドヘルドプロジェクタが、前記投影面に表示画像の第２の組を投影し、前記第２のハンドヘルドプロジェクタが、前記第１のハンドヘルドプロジェクタによって投影された前記追跡信号を検出するように構成される、方法。
  13. 前記第２のハンドヘルドプロジェクタが、前記表示面に追跡信号を投影するように構成され、前記方法が、
    前記第２のハンドヘルドプロジェクタによって投影された前記追跡信号から、前記第１のハンドヘルドプロジェクタによって、表示画像の前記第１の組の表示フレームに対する表示画像の前記第２の組の表示フレームの位置及び向きを判定するステップをさらに含む請求項１２に記載の方法。
JP2012231991A 2011-10-21 2012-10-19 ハンドヘルドプロジェクタを用いたマルチユーザインタラクション Pending JP2013141207A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/278,974 US8902158B2 (en) 2011-10-21 2011-10-21 Multi-user interaction with handheld projectors
US13/278,974 2011-10-21

Publications (1)

Publication Number Publication Date
JP2013141207A true JP2013141207A (ja) 2013-07-18

Family

ID=47044898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012231991A Pending JP2013141207A (ja) 2011-10-21 2012-10-19 ハンドヘルドプロジェクタを用いたマルチユーザインタラクション

Country Status (3)

Country Link
US (1) US8902158B2 (ja)
EP (1) EP2584403A3 (ja)
JP (1) JP2013141207A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152043A1 (ja) * 2015-03-24 2016-09-29 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
US10122976B2 (en) 2014-12-25 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Projection device for controlling a position of an image projected on a projection surface

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130110974A1 (en) * 2011-10-31 2013-05-02 Nokia Corporation Method and apparatus for controlled selection and copying of files to a target device
JP5879536B2 (ja) * 2012-01-18 2016-03-08 パナソニックＩｐマネジメント株式会社 表示装置および表示方法
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
KR20140057087A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법
WO2014085781A1 (en) * 2012-11-30 2014-06-05 Waba Fun, Llc Systems and methods for preventing friendly fire through infrared recognition and authentication
US9001037B2 (en) * 2013-01-08 2015-04-07 Zeroplus Technology Co., Ltd. Pointer positioning system
WO2014209355A1 (en) * 2013-06-28 2014-12-31 Thomson Licensing Apparatus and method of communicating between portable projection devices
EP3014869B1 (en) 2013-06-28 2019-08-21 InterDigital CE Patent Holdings Highlighting an object displayed by a pico projector
US9860480B2 (en) * 2013-12-23 2018-01-02 Beijing Lenovo Software Ltd. Method for processing information and electronic device
CN104731441B (zh) * 2013-12-23 2018-01-23 联想(北京)有限公司 信息处理的方法、以及电子设备
US9355599B2 (en) 2014-03-06 2016-05-31 3M Innovative Properties Company Augmented information display
JP6420077B2 (ja) * 2014-06-30 2018-11-07 株式会社バンダイナムコエンターテインメント ゲームシステム
US20160132708A1 (en) * 2014-11-06 2016-05-12 Kuei-Sheng Tsou Displaying method and decoding method for a dynamic recognizable two-dimensional code
TW201617719A (zh) * 2014-11-12 2016-05-16 原相科技股份有限公司 投影方法以及投影系統
JP6101944B2 (ja) * 2014-12-25 2017-03-29 パナソニックＩｐマネジメント株式会社 投影装置
US10447979B2 (en) * 2014-12-25 2019-10-15 Panasonic Intellectual Property Management Co., Ltd. Projection device for detecting and recognizing moving objects
WO2017122512A1 (ja) * 2016-01-15 2017-07-20 富士フイルム株式会社 撮像システム、撮像装置及び撮像装置の作動方法
US10751605B2 (en) * 2016-09-29 2020-08-25 Intel Corporation Toys that respond to projections
KR20180090115A (ko) * 2017-02-02 2018-08-10 삼성전자주식회사 3차원 프로젝션 시스템
US20190192978A1 (en) * 2017-12-27 2019-06-27 Josiah Eatedali Video game group dynamic building
TWI735882B (zh) * 2018-05-21 2021-08-11 仁寶電腦工業股份有限公司 互動式投影系統和互動式投影方法
EP3588470A1 (en) * 2018-06-26 2020-01-01 Siemens Aktiengesellschaft Method and system for sharing automatically procedural knowledge
US10831286B1 (en) * 2019-01-09 2020-11-10 Facebook, Inc. Object tracking based on detected tracking patterns in a non-visible spectrum range
US11265387B2 (en) * 2019-11-13 2022-03-01 At&T Intellectual Property I, L.P. Synchronizing multiple user devices in an immersive media environment using time-of-flight light patterns
US10999227B1 (en) * 2020-07-06 2021-05-04 TraDove, Inc. Systems and methods for electronic group exchange of digital business cards during video conference, teleconference or meeting at social distance
CN117152688A (zh) * 2023-10-31 2023-12-01 江西拓世智能科技股份有限公司 一种基于人工智能的智慧课堂行为分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000352761A (ja) * 1999-06-10 2000-12-19 Sony Corp 映像投射装置及び方法並びに映像投射制御装置
JP2008046216A (ja) * 2006-08-11 2008-02-28 Canon Inc 携帯型画像投射装置
JP2010164981A (ja) * 2010-02-16 2010-07-29 Seiko Epson Corp 画像転送装置および画像転送における画像表示制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7193608B2 (en) * 2003-05-27 2007-03-20 York University Collaborative pointing devices
US6764185B1 (en) 2003-08-07 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. Projector as an input and output device
US8521217B2 (en) * 2009-06-10 2013-08-27 Digimarc Corporation Content sharing methods and systems
US20110109560A1 (en) 2009-11-06 2011-05-12 Santiago Carvajal Audio/Visual Device Touch-Based User Interface
US8506090B2 (en) * 2010-03-22 2013-08-13 Microvision, Inc. Projection system with image orientation correction and corresponding method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000352761A (ja) * 1999-06-10 2000-12-19 Sony Corp 映像投射装置及び方法並びに映像投射制御装置
JP2008046216A (ja) * 2006-08-11 2008-02-28 Canon Inc 携帯型画像投射装置
JP2010164981A (ja) * 2010-02-16 2010-07-29 Seiko Epson Corp 画像転送装置および画像転送における画像表示制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10122976B2 (en) 2014-12-25 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Projection device for controlling a position of an image projected on a projection surface
WO2016152043A1 (ja) * 2015-03-24 2016-09-29 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
JP2016181824A (ja) * 2015-03-24 2016-10-13 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法

Also Published As

Publication number Publication date
EP2584403A3 (en) 2013-11-06
EP2584403A2 (en) 2013-04-24
US20130100009A1 (en) 2013-04-25
US8902158B2 (en) 2014-12-02

Similar Documents

Publication Publication Date Title
US8902158B2 (en) Multi-user interaction with handheld projectors
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
US10133342B2 (en) Human-body-gesture-based region and volume selection for HMD
US8847879B2 (en) Motionbeam interaction techniques for handheld projectors
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
CN108038726B (zh) 物品展示方法及装置
US20160306433A1 (en) Touch fee interface for augmented reality systems
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US8814363B2 (en) Trackable projection surfaces using hidden marker tracking
CN111045511B (zh) 基于手势的操控方法及终端设备
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US10990240B1 (en) Artificial reality system having movable application content items in containers
US10359906B2 (en) Haptic interface for population of a three-dimensional virtual environment
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
CN108474950A (zh) Hmd设备及其控制方法
EP2702464B1 (en) Laser diode modes
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
CN111913674B (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
US20140111551A1 (en) Information-processing device, storage medium, information-processing method, and information-processing system
US8970483B2 (en) Method and apparatus for determining input
KR102463080B1 (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
WO2023250361A1 (en) Generating user interfaces displaying augmented reality graphics

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140603