JP2014513836A - カラー・チャネルおよび光マーカー - Google Patents

Abstract

カラー・チャネル光マーカー技法について記載する。１つ以上の実施態様において、カメラから得られた複数のカラー・チャネルを調べる。これらカラー・チャネルの各々が表現する光マーカーは、カラー・チャネルの他のものが表現する他の光マーカーとは異なるスケールを有する。複数のカラー・チャネルのそれぞれにおいて少なくとも１つの光マーカーを識別し、識別した光マーカーを用いて、光基準を計算する。この光基準は、計算デバイスの一部の少なくとも位置または向きを記述するために使用可能である。
【選択図】図１

Description

[0001] 計算デバイスによって利用される表示技法は、常に発展しつつある。例えば、初期の計算デバイスには、白黒モニターが設けられていた。ユーザーは、この白黒モニター上で単純なテキストを見て、キーボードを通じてテキストを入力し、このテキストがモニター上で見ることができることによって、計算デバイスと対話処理をしていた。

[0002] 次いで、表示技法は、カラーおよびグラフィカル・ユーザー・インターフェースの使用に拡大した。これらの技法は、例えば、カラーを用いて、ファイル、計算デバイスに接続されているデバイス、画像等を表すグラフィクスを示すために利用することができる。次いで、ユーザーは、キーボードを用いて、更にはマウスのようなカーソル制御デバイスを用いることによって、グラフィカル・ユーザー・インターフェースと対話処理することができるようになった。

[0003] 表示技法は、三次元テレビジョンを視聴するためのめがねの使用、仮想技術の使用等によるというようにして、発展し続けている。しかしながら、これらの技法を実現するにあたって複雑さが生ずることもあり、従前からの計算デバイスによってこれらの技法を実現することが難しい場合もある。

[0004] カラー・チャネル光マーカー技法について記載する。１つ以上の実施態様では、カメラから得られた複数のカラー・チャネルを検査する。これらのカラー・チャネルの各々が表現する光マーカーは、他のカラー・チャネルにおいて表現されている他の光マーカーとは異なるスケール(scale)を有する。複数のカラー・チャネルのそれぞれにおいて、少なくとも１つの光マーカーを識別し、この識別した光マーカーを用いて、光基準(optical basis)を計算する。光基準は、計算デバイスの一部の少なくとも位置または向きを記述するために使用可能である。

[0005] １つ以上の実施態様では、装置は、第１光タグと、第２光タグとを含む。第１光タグは、計算デバイスのカメラによって第１距離において解明可能であり、第１カラーを用いて表現される。第２光タグは、計算デバイスのカメラによって第１光タグが解明できない第２距離において解明可能である。第２光タグは、第１カラーとは異なる第２カラーを用いて表現される。

[0006] １つ以上の実施態様では、装置は、カメラと、ディスプレイ・デバイスと、１つ以上のモジュールとを含む。１つ以上のモジュールは、カメラの赤チャネルから第１画像、カメラの緑チャネルから第２画像、カメラの青チャネルから第３画像を得るように構成されている。また、１つ以上のモジュールは、第１、第２、または第３画像の内どれが、１つ以上のモジュールによって解明可能な光マーカーを表現するか特定し、本装置の少なくとも一部の位置または向きを判定し、本装置の少なくとも一部の位置および向きを記述する基準を計算し、この計算した基準を用いてディスプレイ・デバイスによって表示する拡張現実表示を生成するように構成されている。

[0007] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断する際に補助として使用されることを意図するのでもない。

[0008] 添付図面を参照して、詳細な説明を記載する。図では、参照番号の内一番左側にある数字（１つまたは複数）が、その参照番号が最初に現れる図を特定する。同じ参照番号が説明および図において異なる場合に用いられるときは、同様の項目または同一の項目を示すことがある。

図１は、本明細書において説明する拡張現実技法を採用するために動作可能な一実施態様例における環境の図である。 図２は、計算デバイスのための基準生成に採用した場合における図１の拡張リアリティ・モジュールを更に詳細に示す、一実施態様例におけるシステムの図である。 図３は、異なるサイズおよびカラーを有する複数のＡＲタグから形成した複合拡張現実（ＡＲ）タグを示す、一実施態様例における装置を示す。 図４は、計算デバイスの少なくとも一部に対する光基準を計算するためにカラー・チャネル技法を利用する一実施態様例における手順を示す流れ図である。 図５は、赤、緑、および青カラー・チャネルから光マーカーの分解能(resolution)に基づいて拡張現実表示を生成する、一実施態様例における手順を示す流れ図である。

全体像
[0014] 本明細書の例では、拡張現実技法について説明する。拡張現実技法は、音響またはグラフィクスのようなコンピューター生成出力を用いて拡張した、実世界環境の場面(view)を生成するために利用することができる。このように、ユーザーの実世界視野(view)は、計算デバイスによって生成された感覚的入力を含むことができ、このためにユーザーの体験を向上させることができる。

[0015] 以下の論述では、光マーカーおよびカラー・チャネルの使用を伴う拡張現実技法について説明する。例えば、ユーザーのメディア・ルームのような、計算デバイスの物理的環境の画像を取り込むために、カメラを利用することができる。次いで、この画像を分析して、物理的環境に対するカメラの位置および／または向きの指示を与えるマーカーを突き止めることができる。拡張現実タグ（ＡＲタグ）は、例えば、カメラとこれらのタグとの間の距離を示すため、更にはタグに対する向きを示すために用いることができる。このように、画像は、物理的環境におけるカメラの向きおよび／または位置を判定するための光基準を計算する役割を果たすことができる。

[0016] しかしながら、従前のＡＲタグでは、これらのタグがカメラによって解明可能な範囲が非常に限られていた。例えば、カメラは所与の分解能を有するはずであり、従前のＡＲタグは、カメラとＡＲタグとの間の限られた距離範囲においてタグがカメラによって解明可能となるように、通例１つのスケールで形成されていた。つまり、設計者は、従来、カメラおよびＡＲタグの典型的な動作範囲を決めるように強制されていたのであり、ＡＲタグおよび計算デバイスの設計対象になっていない他の範囲では、この技法の有用性が妨げられることにもなり得る。

[0017] したがって、本明細書では、多数のＡＲタグを重ねる(overlay)ことができる技法について記載する。更に、これらのタグは、計算デバイスによって解明可能なカラー・チャネルに対応するために異なるスケールおよびカラーを採用することができる。例えば、計算デバイスは、赤、緑、および青チャネルをサポートするカメラを含むことができる。これらのカラーを有するＡＲタグは、これらのカラーに対応する異なるスケールをサポートする複合ＡＲタグとして重ねることができる。例えば、大きなスケールのＡＲタグは赤に着色することができ、中間スケールのＡＲタグは緑に着色し、赤いＡＲタグの上に重ねることができる。同様に、小さいスケールのＡＲタグは青に着色することができ、赤および緑のＡＲタグと共に重ねることができる。次いで、カメラは、複合タグの画像を取り込み、別々の赤チャネル、緑チャネル、および青チャネルを用いて、大きなタグ、中間タグ、または小さいタグの１つ以上を解明することができる。このように、計算デバイスによるＡＲタグの有効範囲は、これらの異なる範囲を用いることによって、複合タグの全体的なサイズを拡大することなく、三倍に広げることができる。当然、他のカラーの例や光マーカー技法も考えられ、これらについてのこれ以上の論述は、以下の章と関連付けて見いだすことができる。

[0018] 以下の論述では、本明細書において説明する技法を採用することができる環境の一例について説明する。次いで、この環境の一例および他の環境でも実行することができる手順例について説明する。したがって、これらの手順例の実行は、環境の一例に限定されるのではなく、環境の一例は手順例の実行に限定されるのではない。

環境例
[0019] 図１は、本明細書において説明する拡張現実技法を採用するために動作可能な一実施態様例における環境１００の図である。図示する環境１００は、計算デバイス１０２を含む。計算デバイス１０２は、種々の方法で構成することができる。例えば、計算デバイス１０２は移動体通信デバイス（例えば、タブレット、ワイヤレス電話機）として示されているが、計算デバイス１０２は種々の他の方法で構成することもできる。例えば、計算デバイス１０２は、デスクトップ・コンピューター、移動局、娯楽機器、ディスプレイ・デバイスと通信状態で結合されているセット・トップ・ボックス、ゲーム・コンソール、タブレット等というような、ネットワーク１０４を通じて通信可能なコンピューターとして構成することもできる。

[0020] したがって、計算デバイス１０２は、大量のメモリーおよびプロセッサー・リソースを有するリソース充実デバイス(full resource device)（例えば、パーソナル・コンピューター、ゲーム・コンソール）から、メモリーおよび／または処理リソースが限られている低リソース・デバイス（例えば、従前のセット・トップ・ボックス、ハンドヘルド・ゲーム・コンソール）までの範囲を取ることができる。加えて、１つの計算デバイスが示されているが、計算デバイス１０２は、ユーザーが装着可能なヘルメットおよびゲーム・コンソール、「クラウド」においてプラットフォームを提供する動作を実行するために業務によって利用される多数のサーバ、リモコンおよびセット・トップ・ボックスの組み合わせ等というような、複数の異なるデバイスを表すこともできる。

[0021] また、計算デバイス１０２は、拡張現実モジュール１０６を含むようにも示されている。拡張現実モジュール１０６は、計算デバイス１０２の実世界の周囲状況の表示を拡張するための計算デバイス１０２の機能を表す。図示する例では、例えば、計算デバイス１０２は、部屋１０８内に物理的に存在するように示されている。部屋１０８には、ソファ１１０、椅子１１２、およびテーブル１１４があり、これらは部屋１０８の隅に配置されている。

[0022] 計算デバイス１０２は、カメラ１１６を含む。カメラ１１６は、計算デバイス１０２の物理的な周囲の状況、例えば、この例では部屋１０８の１つ以上の画像を取り込むように構成されている。これら１つ以上の画像は、拡張すべき「現実」の場面を取り込むために用いることができるが、マイクロフォンのような他の入力デバイスも考えられる。拡張現実モジュール１０６は、カメラ１１６からデーター（例えば、１つ以上の画像）を受け取り、フレーム１１８を生成することができる。フレーム１１８は、計算デバイス１０２のフレーム・バッファ１２０に格納されるように示されている。

[0023] 次いで、フレーム１１８を計算デバイス１０２のディスプレイ・デバイス１２２によって表示することができる。ディスプレイ・デバイス１２２は移動体通信デバイスの一部として図示されているが、種々の構成を取ることもできる。１つ以上の実施態様では、ディスプレイ・デバイス１２２は、ヘルメットの一部に含まれ、ユーザーの目の１つ以上によって見ることができるように位置付けることもできる。加えて、ディスプレイ・デバイス１２２は、部分的に透過性であってもなくてもよい。例えば、ディスプレイ・デバイス１２２は、カメラ１１６によって取り込んだ画像を増強(augmentations)と共に表示するように構成することもできる。他の例では、ディスプレイ・デバイス１２２は、カメラ１１６によって取り込んだ画像の表示をせずに増強のみを表示するように構成すればよいが、ディスプレイ・デバイス１２２の少なくとも一部を通じて物理的な周囲状況の場面も見ることができるように構成することもできる。このように、拡張現実モジュール１０６によって生成される増強は、種々の方法で表示することができる。

[0024] 図示した例では、ディスプレイ・デバイス１２２によって表示されたフレーム１１８は、カメラ１１６によって取り込まれた画像を含む。また、フレーム１１８は、拡張現実モジュール１０６によって生成された複数の拡張も含む。ディスプレイ・デバイス１２２によって表示された図示の例は、部屋１０８の壁に位置付けられたように見える第１および第２ピクチャ１２４、１２６と、テーブル１１４上に置かれたように見える洗面器１２８とを含む。つまり、拡張現実モジュール１０６は、ディスプレイ・デバイス１２２によって表示される現実の場面を拡張することができる。尚、拡張現実モジュール１０６によって生成される拡張は、ゲームの一部としての物体、および計算デバイス１０２の周囲の状況に対するその他の変化というような、種々の他の形態を取ってもよいことは、容易に認められよう。

[0025] この場面を生成し、拡張に対して「どこに」配置するが把握するために、拡張現実モジュール１０６は種々の技法を利用して、環境、例えば、図示のような部屋１０８に対する計算デバイス１０２の向きおよび／または位置を判定することができる。例えば、拡張現実モジュール１０６は、１つ以上の光マーカーを利用して、計算デバイス１０２をどのように位置付けるか、向きを決めるか、移動させるか等を決定することができる。これらの光マーカーは、種々の形態を取ることができる。例えば、拡張現実モジュール１０６は、居間の中における１つ以上の視点をマーカーとして設定することができ、したがって、テーブル１１４の角、椅子１１２の向き等というような、向きおよび／または位置付けを判定する基準としての役割を果たすことができる。つまり、部屋の中にある物品は、計算デバイス１０２を部屋１０８内のどこに位置付けるか決定するための基準として機能することができる。

[0026] 他の例では、拡張現実モジュール１０６は、計算デバイス１０２の周囲環境内に物理的に位置付けられている１つ以上の拡張現実（ＡＲ）タグの表示(view)を利用することもできる。ＡＲタグの一例１３０が、部屋１０８の中にあるテーブル１１４の上に位置付けられているのが示されている。１つのＡＲタグ１３０が示されているが、この環境において複数のＡＲタグを利用することもできる。ＡＲタグの一例１３０（または他のマーカー）は、深度（例えば、ＡＲタグ１３０とカメラ１１６との間の距離）、ＡＲタグ１３０に対する計算デバイス１０２の三次元的な向き等を判定する基準として用いることができる。

[0027] 例えば、ＡＲタグ１３０は、計算デバイス１０２のＡＲタグ１３０からの距離および／またはＡＲタグ１３０に対する向きを判定するために、拡張現実モジュール１０６によって認識することができるパターンを含むことができる。このように、物理的環境において計算デバイス１０２が「どこに」そして「どのように」位置付けられているか判定するために、拡張現実モジュール１０６によってマーカーを利用することができる。拡張現実モジュール１０６は、この判定を、計算デバイス１０２のユーザーが見るために出力される拡張を生成する基準として用いることができる。

[0028] また、拡張現実モジュール１０６は、計算デバイス１０２の位置および／または向きを判定するために、１つ以上のセンサー１３２を利用することもできる。例えば、センサー１３２は、慣性測定ユニット（ＩＭＵ）として構成することができ、ジャイロスコープ、１つ以上の加速度計、磁力計等、およびこれらのいずれかの組み合わせを含むことができる。これらのユニットは、既に説明した光マーカー技法を使用して生成される基準を検証するための、外部基準を生成する際に用いることができる。例えば、カメラ１１６を利用し前述の光マーカー技法を用いて生成される基準は、１つ以上のセンサー、例えば、ＩＭＵ１３４によって生成される基準を用いて、不一致について評価することができる。このように、本技法は、計算デバイス１０２のその物理的な周囲の状況に対する向きおよび位置を判定するために用いることができる。

[0029] 更に、拡張現実モジュール１０６は、マーカー識別モジュール１３６を含むように示されている。マーカー識別モジュール１３６は、ＡＲタグ１３０のような光マーカーと共にカラー・チャネル技法を採用する機能を表す。例えば、マーカー識別モジュール１３６は、各々異なるカラーの、多数のチャネルを有するフィード(feed)をカメラ１１６から受け取ることができる。ＡＲタグ１３０の異なるスケールは、カメラ１１６によってサポートされるカラー・チャネルにしたがって、ＡＲタグ１３０に着色することによって、サポートすることができる。このように、光マーカー技法の有効範囲は、異なるスケールおよび異なるカラーを利用することによって拡大することができる。これについてのこれ以上の論述は、図２に関して見いだすことができる。

[0030] 一般に、本明細書において説明する技法はいずれも、ソフトウェア、ファームウェア、ハードウェア（例えば、固定論理回路）、手作業の処理、またはこれらの実施態様の組み合わせを用いて実現することができる。「モジュール」および「機能」という用語は、本明細書において用いられる場合、一般に、ハードウェア、ソフトウェア、ファームウェア、またはその組み合わせを表す。ソフトウェア実施態様の場合、モジュール、機能、またはロジックは、ハードウェア、例えば、１つ以上のプロセッサーおよび／または機能ブロックによって指定される動作を実行する命令およびハードウェアを表す。

[0031] 例えば、計算デバイス１０２は、計算デバイスのハードウェアに動作を実行させるエンティティ（例えば、ソフトウェア）、例えば、プロセッサー、機能ブロック等も含むことができる。例えば、計算デバイス１０２は、当該計算デバイス、更に特定すると計算デバイス１０２のハードウェアに動作を実行させる命令を維持するように構成することができるコンピューター読み取り可能媒体を含むことができる。つまり、命令は、動作を実行するようにハードウェアを構成するように機能し、このようにして、機能を実行するようにハードウェアの変換を行う。命令は、コンピューター読み取り可能媒体によって、計算デバイス１０２に種々の異なる構成を通じて供給することができる。

[0032] コンピューター読み取り可能媒体のこのような一構成は、信号支持媒体であり、したがって、ネットワーク１０４を通じてというようにして、計算デバイスのハードウェアに命令を送信する（例えば、搬送波として）ように構成されている。また、コンピューター読み取り可能媒体は、コンピューター読み取り可能記憶媒体として構成することもでき、したがって信号支持媒体ではない。コンピューター読み取り可能記憶媒体の例には、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、光ディスク、フラッシュ・メモリー、ハード・ディスク・メモリー、ならびに命令およびその他のデーターを格納するために磁気、光、またはその他の技法を用いることができる他のメモリー・デバイスが含まれる。

[0033] 図２は、一実施態様例におけるシステム２００の図であり、複数の異なるカラー・チャネルを利用する計算デバイス１０２に対する基準生成のために図１の拡張現実モジュール１０６を採用する場合を、更に詳しく示す。この例では、カメラ１１６はＡＲタグ１３０の画像を取り込むことが示されている。

[0034] 画像は、複数のカラー・チャネルに分離されることが示されている。カラー・チャネルの例には、赤カラー・チャネル２０２、緑カラー・チャネル２０４、および青カラー・チャネル２０６が含まれる。これらのチャネルの各々は、それぞれのチャネルのカラーに対応するマーカーの画像を含むことが示されている。例えば、赤カラー・チャネル２０２は、比較的大きなスケールで赤ＡＲタグの画像を含み、つまりカメラ１１６とＡＲタグ１３０間の距離が相対的に大きいときに見えるように構成されている。一方、緑カラー・チャネル２０４は、緑ＡＲタグの画像を含む。これは、赤ＡＲタグの大きなスケールと比較すると相対的に中間のスケールを想定しており、したがってカメラとＡＲタグ１３０との間の距離が相対的に中間であるときに見えるように構成されている。同様に、青カラー・チャネル２０６は、青ＡＲタグの画像を含む。これは、相対的に小さなスケールを想定しており、したがってカメラ１１６とＡＲタグ１３０との間の距離が相対的に近いときに見えるように構成されている。このように、カメラ１１６の１つの分解能を用いて、カラー・チャネルの各々を特定の距離範囲に関係付けることができ、特定の距離範囲はカメラ１１６とＡＲタグ１３０との間で（例えば、全体的または部分的に）異なってもよい。

[0035] 次いで、マーカー識別モジュール１３６は、赤、緑、および青カラー・チャネル２０６を比較して、解明可能な１つ以上の画像を突き止め、計算デバイス１０２の一部、例えば、カメラ１１６を含む一部の位置または向きを判定することができる。例えば、赤および緑カラー・チャネル２０２、２０４から取り込んだ画像におけるＡＲタグは解明可能であるが、青カラー・チャネル２０６に含まれるＡＲタグは解明できない距離に、カメラ１１６を配置すればよい。

[0036] この例では、マーカー識別モジュール１３６はＡＲタグの解明された画像の内１つ以上を利用して（たとえば、平均、加重平均、信頼度値、ＡＲタグの「最も明確な」画像のみの使用等）、識別されたマーカー２０８に到達することができる。次いで、識別されたマーカー２０８は、基準計算モジュール２１０によって、計算デバイス１０２の一部の位置または向きを記述する光基準２１２を計算するために用いることができる。この光基準２１２は、次に、前述のような拡張現実表示を生成するためというように、種々の目的に用いることができる。

[0037] このように、本明細書において説明するカラー・チャネル技法は、従前からの技法を用いたときに生ずる種々の欠点を克服することができる。例えば、従前からの技法は、以前より、ＡＲタグの画像を取り込むために用いられるカメラの分解能の限界により、範囲が限られていた。従前では、ＡＲタグの利用は、固定サイズの識別マーカーに依存していたので、従前のＡＲタグとカメラとの間の動作距離範囲は、この組み合わせによって限定される。例えば、この組み合わせのために、カメラが一旦ＡＲタグの画像の分解能の範囲を超えて移動すると、動作しない可能性がある。例えば、ＡＲタグの特徴を解明する能力は、カメラの画素分解能がその特徴を解明するのに十分でなくなると、失われる可能性がある。

[0038] 同様に、従前の「大きな」ＡＲタグは、ＡＲタグを解明できる最小距離に限界がある場合がある。何故なら、通例、取り込まれる画像は、その画像を解明できるためには、タグの大部分を含まなければならないからである。例えば、至近距離では、カメラは光基準を計算するためにタグを識別できるだけ十分に大きなＡＲタグの部分の画像を取り込むことができないこともあり得る。

[0039] 他の例では、従前のＡＲタグを計算デバイスによって分類できない場合、これらのＡＲタグが飛ばされる可能性がある。このため、誤りが生じ、ＡＲタグが識別のために利用できない場合、光基準の決定ができないと考えられる。更に他の例では、従前のＡＲタグは重複することができなかった。したがって、物理的環境が比較的小さいがミクロおよびマクロの距離から見えなければならない場合、従前の技法を用いると、これらの異なる距離をサポートするために用いられる各タイプのＡＲタグを含ませるだけの十分な空間が、この環境にはない可能性がある。

[0040] しかしながら、本明細書において説明するカラー・チャネル技法を用いると、異なるスケールを有する光マーカーの画像を取り込むために別個のチャネルを用いることができ、これによってカメラとマーカーとの間の有効距離の範囲を広げることができる。例えば、カメラ１１６から入って来るＲＧＢストリームを、図示のように、その成分である赤、緑、および青のチャネル２０２、２０４、２０６に分離することができる。次いで、これらのチャネルを中間階調に変換し、処理してマーカーを識別することができる。このように、異なるカラー・チャネル毎に、別個のスケールのマーカーをエンコードすることができる。更に、以前の基準位置に基づいて、マーカー識別モジュール１３６は、どの画像が、所与のフレームに対して、比較から、最も関連がありそうか推定することによって、十分な画素適用範囲(pixel coverage)の拡大を図ることができる。

[0041] 図示のように、大きい方のマーカー・チャネル（例えば、赤カラー・チャネル２０２）は、比較的長い距離におけるカメラ位置または向きの登録(registration)に用いることができる。一方、小さい方のマーカー・チャネル（例えば、青カラー・チャネル２０６）は、比較的短い距離におけるカメラ１１６位置または向きの登録に用いることができる。カメラ１１６が大きいＡＲタグに至近まで近づくと、例えば、カメラ１１６の視野からこの大きなＡＲタグの領域がはみ出す可能性があり、この大きなタグのその部分の画像が識別されるのが妨げられる可能性がある。したがって、このような場合に対応するＡＲタグ（例えば、緑または青カラー・チャネル２０４、２０６）を識別するためには、他のカラー・チャネルを用いればよい。

[0042] 加えて、マーカー識別モジュール１３６は、多数のカラー・チャネルからＡＲタグの分解能を利用することができる。例えば、マーカー識別モジュール１３６は、複数のカラー・ストリームのそれぞれに含まれる複数のＡＲタグを識別することができることもある。これらの識別されたＡＲタグは、次に、加重和、信頼度値の平均等を取ることによってというようにして、組み合わせ値に到達するために用いることができる。複数の異なるカラーの使用によって、ＡＲタグ１３０を組み合わせて複合ＡＲタグを形成することもでき、こうして、利用する空間量を縮小しつつも、サポートする距離範囲を広げることができる。これについてのこれ以上の論述は、以下の図に関連付けて見いだすことができる。

[0043] 図３は、異なるサイズおよびカラーを有する複数のＡＲタグから形成した複合ＡＲタグを示す、一実施態様例における装置３００を表す。この例では、３つの異なるサイズのマーカーが示されており、異なるスケールを有する。赤マーカー３０２は相対的に大きなスケールを有し、緑マーカー３０４は中間サイズのスケールを有し、青マーカー３０６は相対的に小さなスケールを有する。赤マーカー３０２による赤の使用は、右下がりの線影(forward hashing)の使用によって図示されており、緑マーカー３０４による緑の使用は、右上がりの線影(backward hashing)によって図示されており、青マーカー３０６による青の使用は、垂直な線影の使用によって図示されている。

[0044] 異なるカラーの使用により、赤、緑、および青マーカー３０６を含む複合マーカー３０８を形成することができる。例えば、複合マーカー３０８の部分は、１つのカラー、２つのカラー、３つのカラー、カラー無し等を含むこともできる。つまり、これらのカラーは、マーカーの異なるスケールを複合マーカー３０８によってサポートすることができるように、重ね合わせることができる。チャネルを分離することによって、これらのカラーの各々は、重なり合わされていても、解明することができる。

[0045] この例では３つのカラーについて説明したが、本発明の主旨や範囲から逸脱することなく、種々の異なる数のカラーおよびカラー自体を利用できることは容易に認められるはずである。更に、これらの例ではＡＲタグについて説明したが、図１に関連付けて先に説明したような物理的環境において通例見られ識別可能な物体というような、種々の光マーカーも利用できることも、容易に認められるはずである。

手順例
[0046] 以下の論述では、これまでに説明したシステムおよびデバイスを利用して実現することができる拡張現実技法について説明する。手順の各々の態様は、ハードウェア、ファームウェア、ソフトウェア、またはその組み合わせで実現することができる。これらの手順は、１組のブロックとして示されており、これらのブロックは、１つ以上のデバイスによって実行される動作を指定し、それぞれのブロックによって動作を実行するために示される順序には必ずしも限定されない。以下の論述の一部では、図１の環境１００、ならびに図２および図３のシステムおよび装置２００、３００をそれぞれ参照する。

[0047] 図４は、計算デバイスの少なくとも一部について光基準を計算するためにカラー・チャネル技法を利用する一実施態様例における手順４００を示す。カメラから得られた複数のカラー・チャネルを調べる。これらのカラー・チャネルの各々は、カラー・チャネルの他の１つに表現されている他の光マーカーとは異なるスケールを有する光マーカーを表現する（ブロック４０２）。例えば、カメラ１１６は、ＡＲタグ１３０、部屋１０６内にある物体（光マーカーとして用いることができる）等の画像を取り込むことができる。

[0048] 複数のカラー・チャネルの各々において、光マーカーの少なくとも１つを識別する（ブロック４０４）。マーカー識別モジュール１３６は、例えば、異なるカラー・チャネルにおける画像を調べて、画像の１つ以上が、光マーカーを識別するのに十分であるか否か判断する。

[0049] 識別した光マーカーを用いて、光基準を計算する。この光基準は、計算デバイスの一部の少なくとも位置または向きを記述するために使用可能である（ブロック４０６）。例えば、光基準の計算は、１つのカラー・チャネルにおいて識別された１つの光マーカー、多数のチャネルから取り込んだ画像に基づくことができ、以前の光基準および／またはカラー・チャネルから取り込んだ画像を用いる補間を伴うのでもよい。

[0050] 少なくとも部分的に光基準に基づいて、計算デバイスによる表示のために、拡張現実表示を生成する（ブロック４０８）。例えば、拡張現実表示は、拡張現実モジュール１０６によって生成され、光基準にしたがって表示内に位置付けられた物体を含むように構成することができる。

[0051] 図５は、赤、緑、および青カラー・チャネルからの光マーカーの分解能に基づいて拡張現実表示を生成する一実施態様例における手順を示す。カメラの赤チャネルから第１画像を得て、カメラの緑チャネルから第２画像を得て、カメラの青チャネルから第３画像を得る（ブロック５０２）。例えば、カメラ１１６は、赤画像、緑画像、および青画像を取り込み、これらの画像を別個のカラー・チャネルを通じて供給するように構成されているセンサーを含むことができる。他の例では、ＲＧＢフィードを計算デバイス１０２によって赤、緑、および青チャネルに分離することもできる。

[0052] 装置の少なくとも一部の位置または向きを判定するために、１つ以上のモジュールを用いて、第１画像、第２画像、または第３画像の内どれが、１つ以上のモジュールによって解明可能な光マーカーを表現するのか、識別する（ブロック５０４）。既に説明したように、これらの画像を中間階調に変換し、処理して、これらの画像の１つ以上が、ＡＲタグのような光マーカーを識別するために解明可能か否か判断することができる。

[0053] 装置の少なくとも一部の位置または向きを記述する基準を計算する（ブロック５０６）。この基準は、ＡＲタグの１つの画像、これらの画像の内２つからの平均値、３つのカラー・チャネルの加重平均等から計算することができる。次いで、計算した基準を用いて、ディスプレイ・デバイスによって表示するための拡張現実表示を生成することができる（ブロック５０８）。前述のように、赤、緑、青のカラー・チャネルについて説明したが、本発明の主旨や範囲から逸脱することなく、種々の異なるカラーも利用することができる。

結論
[0054] 以上、構造的特徴および／または方法論的動作に特定的な文言で本発明について説明したが、添付した特許請求の範囲において定義されている発明は、これらの説明した具体的な特徴や動作には必ずしも限定されないことは、理解されてしかるべきである。逆に、これらの具体的な特徴および動作は、特許請求する発明を実現する形態例として開示したまでである。

Claims (10)

1. 計算デバイスによって実装する方法であって、
   カメラから得られた複数のカラー・チャネルを調べるステップであって、各前記カラー・チャネルが表現する光マーカーが、他の前記カラー・チャネルにおいて表現されている他の光マーカーとは異なるスケールを有する、ステップと、
   前記複数のカラー・チャネルのそれぞれにおいて、少なくとも前記光マーカーを識別するステップと、
   前記識別した光マーカーを用いて、前記計算デバイスの一部の少なくとも位置または向きを記述するために使用可能な光基準を計算するステップと、
   を備えている、方法。
2. 請求項１記載の方法において、前記複数のカラー・チャネルが、赤カラー・チャネルと、緑カラー・チャネルと、青カラー・チャネルとを含む、方法。
3. 請求項１記載の方法において、前記光マーカーの異なるスケールが、それぞれ、前記カメラから異なる距離において解明可能である、方法。
4. 請求項１記載の方法であって、更に、前記複数のカラー・チャネルを、前記検査に用いるための別個のフィードに分離するステップを備えている、方法。
5. 請求項１記載の方法において、前記計算するステップが、前記複数のカラー・チャネルからのそれぞれの光タグを用いて計算した信頼度値の加重出力を用いて、座標フレームを解明するステップを含む、方法。
6. 請求項１記載の方法において、前記識別するステップが、複数のカラー・チャネルから取り込んだ画像から、前記光基準を計算するのに十分な分解能を有する少なくとも１つの前記光マーカーを選択するステップを含む、方法。
7. 請求項１記載の方法において、前記光マーカーが、複数の異なるカラーで形成された複合光マーカーの一部であり、前記カラーの各々が、それぞれの前記カラー・チャネルに対応し、それぞれの前記スケールにおいてそれぞれの前記光マーカーを示すために解明可能である、方法。
8. 請求項１記載の方法において、前記計算デバイスの一部が、ユーザーによって装着可能である、方法。
9. 請求項１記載の方法であって、更に、前記光基準に少なくとも部分的に基づいて、前記計算デバイスによる表示のために、拡張現実表示を生成するステップを備えている、方法。
10. 計算デバイスのカメラによって第１距離において解明可能であり、第１のカラーを用いて表現された第１光タグと、
    前記計算デバイスのカメラによって前記第１光タグが解明不可能な第２距離において解明可能な第２光タグであって、前記第１のカラーとは異なる第２のカラーを用いて表現された、第２光タグと、
    を備えている、装置。

Images