JP2014515961A - 拡張現実向けの玩具構築システム - Google Patents

Abstract

玩具構築要素を備える玩具構築システムであって、玩具構築要素は、玩具構築要素を脱着可能に相互連結する結合手段を備え、玩具構築システムは、そのような結合手段を備えると共にそれぞれが画像処理手段によって認識可能な視覚的外観を有する１つ又は複数のマーカー構築要素と、画像捕捉手段、画像処理手段及び表示手段を備えるデータ処理システムであって、データ処理システムは、玩具構築要素から構築された玩具構築モデルの画像を捕捉し、捕捉画像を処理して、少なくとも、捕捉画像内のマーカー構築要素のうちの少なくとも１つの存在を検出し、検出されたマーカー構築要素に応じてコンピューター生成画像を生成し、生成されたコンピューター生成画像が重ね合わされた捕捉画像を含む合成画像を表示手段上に表示するように構成される、データ処理システムと、を備える玩具構築システム。
【選択図】図２

Description

本発明は、構築要素を脱着可能に相互連結する結合手段を有する構築要素を備える玩具構築システムに関する。

そのような玩具構築システムは数十年にわたって知られている。特に、構築要素を互いに脱着可能に相互連結する結合手段を有する玩具構築要素を備える玩具構築システムは高い人気を得ている。単純な組立ブロックは、プレイ価値を高める機械的機能又は電気的機能を有する専用構築要素で補われている。そのような機能には、例えばモーター、スイッチ及びランプが含まれる。

物理構築モデルのプレイ価値を高め、ユーザーがコンピューターを介して物理構築モデルと対話することを可能にすることが一般的に望ましい。この目的で、センサーからの入力を受け取り、受信したセンサー入力に応じて機能要素をアクティブ化することができ、かつ適切にプログラムされたコンピューターによってユーザーがプログラムすることができる、プログラマブルプロセッサを備える物理構築モデルが開示されている。

例えば、特許文献１は、構築要素を脱着可能に相互連結する結合手段を有する構築要素を備える玩具構築システムを開示している。玩具構築システムは、構築システムの１つ又は複数の機能要素を制御する１つ又は複数の論理コマンドを生成するプログラミング環境を提供するようにプログラムされたデータ処理システムを更に備える。この目的で、玩具構築システムは、玩具構築モデルをコンピューターに電気的に結合することを可能にし、かつコンピューターが玩具構築モデル内にいずれの機能要素が含まれているかを検出することを可能にするインターフェース構築要素を備える。

上記の従来技術によるシステムが、ユーザーがコンピューターによって物理構築モデルとインタラクトすることを可能にするにもかかわらず、物理構築モデルのより密な統合及びコンピューターにおいて生成される仮想現実を提供することが依然として望ましい。

画像認識及びコンピューターグラフィックの様々な技術分野において、拡張現実（ＡＲ）を利用するシステムがますます関心を得ている。拡張現実（ＡＲ）は、物理的な現実世界の環境の１つ又は複数のアイテムの捕捉されたライブビューが、コンピューター生成グラフィックによって拡張される、すなわちユーザーが、例えばライブビューをコンピューターグラフィックと重ねた／重畳させた形態で、ライブビュー及びコンピューター生成グラフィックを含む合成ビューを提示される技術である。

これらのシステムにおいて、画像特徴は捕捉されたビュー内で検出され、次にシステムは指定された画像特徴に応じてコンピューター生成画像を生成し、その生成された画像を捕捉されたビュー上に重ね合わせることができる。さらに、画像特徴の検出を容易にする所定の拡張現実マーカー又はタグを含むビデオ画像上へのコンピューター生成画像の重畳も知られている。

拡張現実は、箱に入れて販売される玩具構築要素から組み立てることができる玩具構築モデルのコンピューター生成画像をユーザーに提示するのに用いられてきた。この目的で、箱はその外側に拡張現実マーカーを含む。ユーザーが店内のキオスクシステムのビデオカメラの前で箱を抱えると、キオスクシステムは、箱の捕捉ビデオ画像を、あたかも箱の上に組み立てられたかのように示される構築モデルのコンピューター生成画像により拡張して示す。ユーザーがカメラの前で箱を動かすか又は回転させると、構築モデルのコンピューター生成画像はこれらの動きを追う。

しかしながら、物理構築モデルのより密な統合及びコンピューターにおいて生成される仮想現実を提供することが依然として望ましい。

このため、小さな子供、例えば就学前の児童が、物理的な玩具構築モデルをコンピューターが生成した仮想のプレイ体験と組み合わせることを可能にする玩具構築システムを提供することが問題として残っている。

また、プログラミング技法、制御システム等を詳細に理解しない子供向けの玩具構築システムを提供することが一般的に望ましい。

また、玩具構築システムの教育価値及びプレイ価値を高めることが一般的に望ましい。

国際公開第０９／０４７２２５号

本明細書において、玩具構築要素が、該玩具構築要素を脱着可能に相互連結する結合手段を備える玩具構築要素を備える、玩具構築システムが開示される。玩具構築システムの実施形態は、そのような結合手段を備え且つそれぞれがマーカー構築要素の捕捉画像において画像処理システムによって認識可能な視覚的外観を有する１つ又は複数のマーカー構築要素と、画像捕捉手段、処理手段及び表示手段を備えるデータ処理システムと、を備える。該データ処理システムは、前記玩具構築要素から構築された玩具構築モデルの画像を捕捉し、前記捕捉画像を処理して、少なくとも、該捕捉画像内の前記マーカー構築要素のうちの少なくとも１つの存在を検出し、前記検出されたマーカー構築要素に応じてコンピューター生成画像を生成し、前記生成されたコンピューター生成画像が重ね合わされた前記捕捉画像を含む合成画像を前記表示手段上に表示する、
ように構成される、データ処理システムと、
を備える。

玩具構築システムと適合する結合手段を含むマーカー構築要素を提供することによって、マーカー構築要素は玩具構築システムの他の構築要素と脱着可能に連結することができる。一般的に、マーカー構築要素は、玩具構築システムと適合する結合手段と、マーカー構築要素の捕捉画像において画像処理システムによって認識可能な視覚的外観、例えばマーカー構築要素の捕捉画像において容易に検出可能な印、とを含む玩具構築要素である。結合手段は、例えば摩擦による連結、ラッチ又はスナップ留め機能、及び／又は任意の他の機械的非接着連結によって、玩具構築要素を互いに機械的に連結する任意の適した手段とすることができる。したがって、ユーザーは１つ又は複数のマーカー要素を玩具構築モデルに繰り返しかつ脱着可能に結合し、それによって玩具構築モデルの特徴を、玩具構築モデルの捕捉画像においてマーカー構築要素を認識するように構成されたＡＲシステムによって検出可能にすることができる。このため、ユーザーは、玩具構築要素から構築された任意の玩具構築モデルをＡＲ使用可能モデルに容易に変換する、すなわち、データ処理システムが、検出されたマーカー構築要素の存在及びオプションで他の特性に応じて、コンピューター生成画像を生成し重ね合わせることを可能にすることができる。このため、ユーザーは、単に玩具構築システムの構築要素をインターフェースとして用いることによって、ＡＲアプリケーションを制御することができる。

本明細書において説明される玩具構築システムの実施形態の更なる利点は、マーカー構築要素が所与の玩具構造内の他のマーカー構築要素と容易に交換可能であり、それによってＡＲシステム内で多岐にわたり異なった起こり得る相互作用を可能にすることができることである。

いくつかの実施形態では、結合手段は、連結方向を規定し、各構築要素を別の構築要素に対し離散した数の所定の相対的な向きでその別の構築要素と相互連結することを可能にするように構成され、マーカー構築要素が玩具構築システムの少なくとも１つの他の玩具構築要素に結合されているとき、全ての印は規定された連結方向に対して少なくとも１つの所定の方向から見えるように配置される。このため、そのような玩具構築システムによって、様々なマーカー構築要素が交換されている場合であっても、印の適切な可視性が容易に保証されるように、マーカー構築要素が玩具構築システムの他の構築要素と相互連結されている玩具構造の構築が可能になる。

いくつかの実施形態では、玩具構築システムは少なくとも２つのマーカー構築要素を含み、これらの２つのマーカー構築要素はそれらの結合手段を介して、複合マーカー要素を形成するように互いに脱着可能に連結可能である。マーカー構築要素は互いに直接的に連結可能とすることができ、及び／又は例えば２つのマーカー構築要素を共通の第３の玩具構築要素（又は構築要素群）と連結することによって、互いに間接的に連結可能とすることができる。コンピューターシステムは、複合マーカー要素を検出し、この複合マーカー要素の検出に応じて選択的にコンピューター生成グラフィックを生成するように構成することができる。このため、マーカー構築要素を異なる形で相互連結することによって、ユーザーは比較的少数の基本マーカー構築要素から多岐にわたる新たな複合マーカー要素を構築し、それによってそのような複合マーカーの検出に応じて、コンピューターによって作成することができる起こり得る拡張現実シナリオの可変性を増大させることができる。例えば、１組のマーカー構築要素は、例えば所定のコードに従って、ＡＲシステムによって認識可能な単語を形成するアルファベットの文字と非常に類似した形で機能することができる。

１つの実施形態では、玩具構築システムは、各面が玩具構築システムの構築要素によって形成された交換可能な面を有するサイコロを含み、マーカー構築要素のうちの１つ又は複数は、マーカー構築要素をサイコロに結合することを可能にするように構成された形状及びサイズ並びに結合手段を有し、マーカー構築要素はサイコロの面を形成するように構成され、ここでマーカー構築要素はサイコロの面を形成するその表面の一部に視覚的に検出可能な印を含む。サイコロの実施形態は、ボードゲーム、カードゲーム又は何らかの他のゲーム等のゲーム用のサイコロとすることができる。ゲーム用サイコロは、平面支持体上にあるときに、ゲーム用サイコロを安定して載置することができる少なくとも６つの面を含む本体を備えることができ、そのような面のうちの１つ又は複数に、印保持マーカー要素を取り付ける結合手段が設けられる。いくつかの実施形態では、サイコロの少なくとも１つの面に、少なくとも２つの印保持マーカー要素を同時に取り付ける結合手段を設けることができる。したがって、コンピューターシステムはマーカー要素（複数可）を検出し、それぞれの応答を作成し、これによってゲーム用サイコロが投げられたときに新たな種類のゲームの更なるオプション又は異なる結果のより多くのオプションを可能にすることができる。

いくつかの実施形態では、結合手段は３次元（３Ｄ）格子等の規則的な格子を規定し、玩具構築モデル内の構築要素の位置を上記規則的な格子上の離散的な位置に制限する。特に、結合手段は、例えば互いに平行にかつ規則的な平面内距離に配列される複数の平面状の格子として規定される３次元の規則的な格子の格子点上に位置決めされた複数の結合要素を含むことができる。結合手段によって規定される固有の離散座標系により、異なるマーカー要素間及び／又はマーカー構築要素と玩具構築モデルの別の要素又は特徴との間の空間関係の検出が容易になる。特に、マーカー構築要素の視覚的に検出可能な特徴がマーカー構築要素の結合手段に対し一様な位置に位置決めされているとき、玩具構築モデル内のＡＲマーカーの位置を確実かつ正確に求めることが容易になる。

マーカー構築要素はそれぞれ、印等の視覚的に検出可能な特徴を含むことができる。特に、構築要素が離散的で有限な１組の値（例えば限られた数の別個の色）のうちの１つを仮定することができる少なくとも１つの特性を有するとき、そのような特性は容易に検出可能なＡＲマーカーとして用いることができ、その特性はＡＲコンピューターシステムによって検出可能であり解釈可能である。本説明の目的で、ＡＲシステムによって認識可能なマーカー構築要素の視覚的特徴もＡＲマーカーと呼ばれる。

ＡＲマーカー、例えば印は、例えば本明細書において説明されるような玩具構築システムの固有の座標系又は規則的な格子に対する１つ又は複数の方向を規定し、これによってＡＲシステムがＡＲマーカーの向き、例えばカメラ位置に対する及び／又は別のＡＲマーカーに対する向きを検出することを可能にすることができる。

いくつかの実施形態では、各マーカー構築要素は、コンピューターにより認識可能な印、例えばマーカー構築要素の外面上のコンピューターにより認識可能な印、例えばコンピューターにより認識可能なバーコード、マトリックスコード及び／又は別の適切な２Ｄシンボル、を含む。

いくつかの実施形態では、マーカー構築要素は２つの異なるＡＲマーカーと、第１の位置と第２の位置との間で動かすことができる可動要素、例えば蝶着された要素、回転可能に配置された要素等とを含むことができ、可動要素が、それぞれ第１の位置及び第２の位置に位置決めされたときに、それぞれのマーカーを見えなくするよう選択的に遮蔽するようになっている。このため、構成要素の動きによって異なるマーカーが視認可能になり、これによってＡＲコンピューターシステムが可動構成要素の状態を検出することが可能になる。

玩具構築システムの実施形態は、ユーザーが、均一で十分構造化された方法で、かつ限られた１組の様々な構築要素を用いて、ＡＲ機能を容易にする多岐にわたる玩具構築モデルを構築することを可能にする。例えば、玩具構築システムは、異なる印を有する複数のマーカー構築要素を含む玩具構築セットとして提供することができる。オプションで、そのような玩具構築セットは、以下のもの、すなわち画像捕捉デバイス、従来の構築要素、インストラクションマニュアル（instruction manual）、コンピューターに本明細書において説明される方法の実施形態のステップを実行させるように構成されるコンピュータープログラム手段が記憶されているコンピューター可読媒体等、のうちの１つ又は複数を含むことができる。

玩具組立セットは、当該技術分野において既知の従来の組立ブロック等の、動作／機能を実行又は制御する能力を有するか又は有しない能動及び／又は受動構築要素等の更なるタイプの構築要素を含むことができることに留意されたい。

本発明の異なる態様は、上記及び下記で説明される玩具構築システムと、対応する方法、装置、及び製造手段とを含む様々な形で実施することができる。これらはそれぞれが、上記で説明した態様のうちの少なくとも１つとの関連で説明される利益及び利点のうちの１つ又は複数をもたらし、それぞれが上記及び下記で説明される態様のうちの少なくとも１つとの関連で説明され及び／又は従属請求項において開示される好ましい実施形態に対応する１つ又は複数の好ましい実施形態を有する。さらに、本明細書において説明される態様のうちの１つとの関連で説明される実施形態は、他の態様にも等しく適用することができることが理解されよう。

特に、玩具構築モデルの画像を生成する方法が提供される。さらに、データ処理システム上で実行されると、本明細書において説明される方法のステップをデータ処理システムに実行させるように構成されたプログラムコード手段を備えるコンピュータープログラム製品が提供される。

コンピュータープログラム製品は、ＣＤ−ＲＯＭ、ＤＶＤ、光ディスク、メモリカード、フラッシュメモリ、磁気記憶デバイス、フロッピーディスク、ハードディスク等のコンピューター可読媒体として提供することができる。他の実施形態ではコンピュータープログラム製品は、ダウンロード可能なソフトウェアパッケージとして、例えばインターネット又は他のコンピューター又は通信ネットワークを介したダウンロード用にウェブサーバー上に提供することができる。特に、玩具構築セットの一実施形態は、本明細書において説明されるような１つ又は複数のマーカー構築要素を含む玩具構築要素と、適切なデータ処理システム上にコンピュータープログラム製品をインストールすることのインストールインストラクション(instructions)とを含むことができる。

データ処理システムは、ＰＣ、ポータブル又はハンドヘルドコンピューター、ＰＤＡ、スマートフォン等の任意の適切なコンピューター又は他の処理デバイスを含むことができる。

データ処理システムの実施形態は、カメラ、例えばビデオカメラ、又は玩具構築モデルの画像を取得する任意の他の適切なデバイス等の画像捕捉手段を含む。

データ処理システムの実施形態は、画像処理手段、例えば特徴検出動作等の１つ又は複数の画像処理動作を捕捉画像に対し実行するように構成された処理手段、を含む。

ここで、及び以下において、処理手段及び処理ユニットという用語は、本明細書において説明される機能を実行するように適切に構成された任意の回路及び／又はデバイスを含むように意図される。特に、上記の用語は、汎用プログラマブルマイクロプロセッサ若しくは専用プログラマブルマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理アレイ（ＰＬＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用電子回路等、又はそれらの組合せを含むことができる。

このため、本明細書において説明される玩具構築セットの実施形態は、ユーザーが多岐にわたる玩具モデルを構築し、容易にかつ正確に再現可能な方法でコンピューター認識可能なマーカー要素を加えることを可能にする。これによって、適切にプログラムされたコンピューターが玩具モデルの画像を捕捉し、認識されたマーカー構築要素に応じて、捕捉画像をコンピューター生成画像により拡張するか又は捕捉画像をコンピューター生成画像と置き換えることが可能になる。

ＡＲマーカーの検出に応じてコンピューター生成画像を生成することは、ＡＲマーカー、例えば仮想環境におけるアクティビティ、１つ又は複数の仮想キャラクターの行動等のトリガーイベント、の検出によってトリガーされた更なる機能を実行すること、を含むことができる。

さらに、いくつかの実施形態によれば、ユーザーは、適切なマーカー構築要素を玩具構築モデルに結合し、及び／又はそのようなマーカー構築要素を含む玩具構築モデルの少なくとも一部を操作することによって、コンピューター生成画像の生成及び表示を制御することができる。

ａ−ｄは、それぞれ従来技術による玩具組立ブリックを示す図である。 本明細書において開示されるような玩具構築システムの一実施形態を示す図である。 マーカー構築要素の例を概略的に示す図である。 マーカー構築要素の例を概略的に示す図である。 ａ−ｇは、複合マーカー構築要素の例を示す図である。 複合マーカー構築要素の使用の例を示す図である。 複合マーカー構築要素の使用の例を示す図である。 ａ−ｄは、規則的な格子を規定する玩具構築システムの例を示す図である。 本明細書において説明されるような玩具構築システムの例の使用例を示す図である。 本明細書において説明されるような玩具構築システムの例の使用例を示す図である。 ａ−ｂは、２つの選択的に視認可能なＡＲマーカーを含むマーカー構築要素の例を示す図である。

ここで、本明細書において開示される玩具構築システムの様々な態様及び実施形態を、ブリックの形態の玩具構築要素を参照して説明する。しかしながら、本発明は玩具構築セットにおいて用いられる他の形態の構築要素に適用することもできる。

図１ａ〜図１ｄはそれぞれ、上面の結合スタッド１０５と、底面からブリック内に延在するキャビティ１０２とを有する従来技術による玩具組立ブリックを示している。図１ａ及び図１ｂは玩具組立ブリックの上面側を示している一方、図１ｂは同じ玩具組立ブリックの底面側を示している。図１ｃ及び図１ｄは、異なる大きさの類似した玩具組立ブリックの例を示している。そのような構築要素は、ＬＥＧＯという商標で広く入手可能である。キャビティは中央のチューブ１０３を有し、米国特許第３００５２８２号に開示されているように、別のブリックの結合スタッドを摩擦による係合でキャビティ内に受容することができる。残りの図面に示す組立ブリックは、この既知のタイプの結合手段を、協働するスタッド及びキャビティの形態で有することができる。しかしながら、他のタイプの結合手段も用いることができる。結合スタッドは正方形の平面状の格子に配列され、すなわち、結合スタッドのシーケンスがそれに沿って配列される直交方向を規定する。一般に、結合要素のそのような配列によって、玩具ブリックが互いに対し離散的な数の向きで、特に互いに対し直角に、相互連結されることが可能になる。結合要素の他の幾何学的配列により、結果として様々な向きの制約が生じる場合があることが理解されよう。例えば、結合要素は、組立要素が３つの異なる向きで別の組立要素上に配置されることを可能にする、三角形の規則的な格子に配列される場合がある。

図２は、本明細書において開示されているような玩具構築システムの一実施形態を示している。本システムは、コンピューター１５と、ディスプレイ１と、ビデオカメラ５と、本明細書において説明されるような玩具構築システムの少なくとも１つの玩具構築要素及び少なくとも１つのマーカー構築要素１１から構築された玩具構築モデル１０とを備える。コンピューターは、パーソナルコンピューター、デスクトップコンピューター、ラップトップコンピューター、ハンドヘルドコンピューター、ゲームコンソール、ハンドヘルド娯楽デバイス又は任意の他の適切にプログラム可能なコンピューターとすることができる。ディスプレイ１は、コンピューター１５に動作可能に結合（例えば統合）され、コンピューター１５の制御下でビデオ画像を表示するように動作可能である。本システムは、キーボード、マウス２又は他のポインティングデバイス等の、コンピューター１５に動作可能に結合することができる更なるコンピューター周辺デバイスを含むことができることが理解されよう。ビデオカメラ５は、ビデオカメラが配置されている環境、例えば、表面４、例えば机の上、床等の可視表面エリア８を含む視野７のビデオ画像を捕捉するように動作可能である。このため、可視表面エリア８は表面４に対するビデオカメラの視野の投影である。ビデオカメラは、コンピューター１５に動作可能に結合（例えば統合）され、捕捉ビデオ画像を、例えばコンピューター１５の適切な入力インターフェースを介して、コンピューター１５の処理ユニットに転送するように動作可能である。例えば、ビデオカメラは、コンピューター１５に接続又は統合されたウェブカメラとすることができる。図２の例では、ビデオカメラは、表面４の上方の所定の高さにカメラを支持する三脚等のカメラ支持体６の上に位置決めされる。

ここで、ビデオカメラ５は、このビデオカメラが配置されている環境８のビデオ画像を捕捉し、捕捉ビデオ画像をコンピューター１５に転送する。例えば、ビデオカメラが配置されている環境は玩具構築モデル１０を含むことができる。玩具構築モデル１０に加えて、環境は、他の日用品、玩具等の更なる物体を含む場合がある。

次に、コンピューター画像はコンピューター１５によってディスプレイ１上にレンダリングされる。したがって、ユーザーは玩具構築モデル１０をビデオカメラ５の視野の方々で動かし、及び／又は他の形で玩具構築モデルを視野内で操作し、玩具構築モデルのビデオカメラ５からのライブビデオを見ることができる。代替的に又は付加的に、ユーザーは、様々な位置からの（例えば静止した）玩具構築モデルの画像を捕捉するように、ビデオカメラの位置及び／又は向きを変更することができる。それに加えて、コンピューターは、捕捉ビデオ画像を、コンピューターのハードディスク等のストレージデバイス上に記憶し、及び／又は捕捉ビデオを、例えばコンピューターネットワークを介して別のコンピューターに転送するように動作可能とすることができる。例えば、コンピューターは捕捉ビデオ画像をウェブサイトにアップロードするように動作可能とすることができる。

コンピューター１５は、拡張現実モードで動作するように適切にプログラムされ、拡張現実モードでは、コンピューターは捕捉ビデオ画像内の１つ又は複数の所定の拡張現実マーカー又はタグを検出するように、その捕捉ビデオ画像に対する画像処理を実行する。検出されたＡＲマーカー（複数の場合もある）に応じて、コンピューターは、変更されたビデオ画像、例えば捕捉ビデオ画像にコンピューター生成画像を重ね合わされたものとして形成されるビデオ画像、又は捕捉ビデオ画像の少なくとも一部分がコンピューター生成画像によって置き換えられているビデオ画像、を生成するようにプログラムすることができる。コンピューター１５は、変更されたビデオ画像をディスプレイ１上に表示するように動作可能である。本説明の目的で、ビデオカメラ及びディスプレイに動作可能に接続された、ＡＲ機能を実施するように動作可能なコンピューターは、ＡＲシステムとも呼ばれる。

ＡＲマーカーを検出し、検出されたＡＲマーカーに応じて変更されたビデオ画像を生成する画像処理方法は、それ自体が当該技術分野において既知である（例えば、Daniel Wagner及びDieter Schmalstieg「ARToolKitPlus for Pose Tracking on Mobile Devices」Computer Vision Winter Workshop 2007, Michael Grabner, Helmut Grabner (eds.), St. Lambrecht, Austria, February 6-8, Graz Technical Universityを参照されたい）。

図２の例では、物理玩具構築モデル１０は、マーカー構築要素１１が連結された玩具構築要素９を含む。マーカー構築要素１１はその上面に、二次元機械可読コードの形態の印を有する。

コンピューター１５は、捕捉画像内の２次元機械可読コードの存在を検出するように動作可能である。さらに、コンピューター１５は、ビデオカメラ１５の位置に対する２次元機械可読コードの相対的な位置及び向きを求めることができる。

したがって、コンピューター１５は、玩具構築モデルの捕捉画像を変更することができ、結果として変更されたビデオ画像１２がディスプレイ１上に表示される。この例では、変更された画像は玩具構築モデルの捕捉画像１３及び捕捉画像に重ね合わされたコンピューター生成画像要素１４を示している。コンピューターは、マーカー構築要素１１のＡＲマーカーの検出された位置及び向きから求められたとおりのビデオ画像１２内の位置及び向きにおいてコンピューター生成画像要素を生成する。

ユーザーが、ビデオカメラの投影エリア８内で、物理玩具構築モデル１０を、例えばその物理モデルを動かし及び／又は回転させることによって操作すると、コンピューター１５は物理的な玩具のマーカー構築要素１１の印の位置及び向きを追跡する。コンピューター１５はビデオカメラ（ミラーモード）のライブビデオフィードをディスプレイ１上に表示し、印の検出された位置及び向きに応じて、ライブビデオフィードに拡張現実の特殊効果を加える。

図３及び図４は、マーカー構築要素の例を概略的に示している。

図３は、図１ｃの組立ブリックに類似した玩具組立ブリック３１１、すなわち玩具組立ブリックの上面に平面状の正方形格子に配列された結合スタッド３０５を含む組立ブリックの形態の玩具構築要素を示している。玩具組立ブリックは、別の類似した玩具構築ブリックの結合スタッドを受容し摩擦により係合する１つ又は複数のキャビティもその底面に含む（図３には示されていない）。玩具組立ブリックは、その側面のうちの１つに、２Ｄバーコードの形態の拡張現実マーカー３２１を含む。

２Ｄバーコードの代わりに他の形態のＡＲマーカーを用いることができることが理解されよう。一般的に、ＡＲマーカーは、既知の画像認識方法を用いて捕捉ビデオ画像内で自動的に区別するのが比較的容易な任意の物体とすることができる。ＡＲマーカーが画像認識方法を用いて検出される場合、ＡＲマーカーは、例えば立方体又は円柱等の３次元物体とすることもできるし、正方形又は円等の２次元マーカーとすることもできる。通常、ＡＲマーカーは、白黒の正方形等の容易に区別可能なパターンを含むが、特定の色又は色のパターン等を用いる等の他の方法をマーカー認識に用いることができる。

ＡＲマーカーは、コンピューターがＡＲマーカーの位置及び／又は向きを検出することを可能にする１つ又は複数の要素を含むことができる。例えば、ＡＲマーカーは、２本以上の交差する線を含むことができる。付加的に又は代替的に、ＡＲマーカーは、情報を符号化し、これによってコンピューターが異なるタイプのマーカーを識別及び区別し、マーカーの特定のタイプに応じてコンピューター生成画像を選択的に生成することを可能にする視覚要素を含むことができる。

ＡＲマーカーは、結合手段、すなわち上面の結合スタッド、及び／又は底面の結合キャビティに対し均一になるように配置することができる。例えば、ＡＲマーカーは結合手段によって規定される平面格子に対し平行又は垂直な方向を規定することができる。これによって、マーカーブリックは交換可能となり、図１〜図３におけるようなブリックから組み立てられた玩具構造において、いくつかのマーカーブリックを交換可能に用いることができ、いくつかの構築において特定のマーカーブリックを用いることができる。玩具構築システムは、様々な印が適用され、コンピューターシステムに様々なコンピューター生成画像を生成させるそのようなマーカーブリックのうちのいくつかを含むことができる。それにもかかわらず、全てのマーカーブリックが均一の位置に印を含む場合、そのようなマーカーブリックは本明細書において説明される組立ブリックから組み立てられた玩具構築内で容易に交換することができる。

印がマーカー構築要素の表面の一部に位置し、印を含む表面の部分が結合手段を一切有しないようになっているとき、印はマーカー構築要素に結合された他の構築要素によって意図せずに遮蔽される可能性がより低い。マーカー構築要素は、例えば玩具構築要素の様々な面上に（又はそうでない場合、表面の様々な部分上に）複数の印を含むことができる。

図４は、マーカー構築要素を玩具構築モデルの別の玩具構築要素にどのように結合することができるかを示している。この例では、玩具構築モデルは玩具構築要素４１０及び４１２、並びにマーカー構築要素４１１を含む。図４ａは個々の構築要素を示し、図４ｂは構築要素４１０に脱着可能に結合されたマーカー構築要素４１１を示している。この目的で、玩具構築要素４１０は、図１との関連で説明したようにその上面に結合スタッド４０５を含む。マーカー構築要素４０４は、そのマーカー構築要素が結合スタッド４０４に摩擦により係合することを可能にするキャビティをその底面に含む（図４には示されていない）。

このため、ユーザーは、３Ｄ空間における玩具モデルの追跡を容易にすると共に仮想的なグラフィック及び効果を重ね合わせるように、ＡＲマーカーを含むマーカー構築要素を構築された玩具モデルに連結し、それによって物理的な玩具に仮想的な属性を与えることができ、構築された玩具モデルがＡＲアプリケーションの一部になることを可能にすることができる。図３の例におけるように、マーカー構築要素４１１の印は、結合要素を含まないマーカー構築要素の面上に位置する。

図５ａ〜図５ｇは、複合マーカー構築要素、すなわち、玩具構築システムの結合手段によって、例えば互いに対し所定の空間関係で、直接又は間接的に互いに連結された複数のマーカー構築要素の例を示している。一般的に、複合マーカー構築要素によって、ユーザーは、それぞれ多数の一意的なＡＲマーカーのうちの１つによって識別可能な別個の物体の大きな組を作成することが可能になる。特に、多数の一意的なＡＲマーカーは、個々のマーカー構築要素の比較的限られた組から作成することができる。なぜなら、組立システムを通じてマーカーのより小さな組を組み合わせることによって、組合せの可能性の総数が劇的に増大するためである。

図５ａは、３つのマーカー構築要素、すなわち、フィギュアの頭部を模した要素５１１、フィギュアの胴部を模した要素５１２、及びフィギュアの脚部を模した要素５１３から構築される人型フィギュアの例を示している。構築要素は、頭部及び脚部が胴部に脱着可能に結合されることを可能にする結合要素を設けられている。頭部、胴部及び脚部は、例えば頭部の顔特徴並びに胴部及び／又は脚部の衣類特徴の形態で、印を含むことができる。これによって、ＡＲシステムのビデオカメラに提示されると、ＡＲシステムは頭部、胴部及び脚部の特徴を、例えば図５ｂに概略的に示すようにそれぞれ頭部、胴部及び脚部の検出された特徴５２１、５２２、５２３によって検出することができる。このため、様々な頭部、胴部及び脚部を組み合せることによって、ＡＲマーカーの広範にわたる組合せを作成することができる。いずれのフィギュアがＡＲシステムによって検出されるかに応じて、ＡＲシステムは様々なコンピューター作成画像に応答し、それによって広範にわたる相互作用を可能にすることができる。

図５ｃ及び図５ｄは、図１ｃに示すような玩具組立ブリックから構築された類似の複合マーカー構築要素を示している。玩具組立ブリック５３１、５３２及び５３３は、異なる色、例えばそれぞれ赤、白及び青を有する。組立ブリックは、互いの上に積み重ねられ、それぞれの結合手段によって相互連結されるとき、色のシーケンスを規定し、それによってこれらをＡＲシステムによって検出することができる。図５ｄに示されているように色の順序を変更することによって、３つの異なるマーカー構築要素のみから、様々な一意的な複合ＡＲマーカーを構築することができる。

図５ｅは、印の形態でＡＲマーカーを側面に有する図３に示す玩具組立ブリックと類似した玩具組立ブリック５４１、５４２、５４３を含む複合マーカー要素の同様の例を示している。

図５ｆ及び図５ｇは、複合マーカー要素の更に別の例を示している。この例では、複合マーカー要素はベース組立ブリック５５０、例えば図１ｃのブリックに類似しているがその上面により多数の結合要素を有するブリックを含む。複合マーカー要素は、ベース組立ブリック５５０に連結されたマーカー構築要素５５１、５５２、５５３を更に含む。このため、この例では、マーカー構築要素５５１、５５２及び５５３は複合マーカー構築要素を形成するように固定した（rigid）構成で互いに間接的に結合される。この目的で、マーカー構築要素は、その底面に結合要素、例えばキャビティを有し、この結合要素は、ベース組立ブリック５５０の上面において対応する結合要素、例えばスタッドと係合することができる。各マーカー構築要素はその上面に印を有し、この例ではローマ字の文字である。マーカー構築要素は並んで配列されているので、これらはＡＲシステムによって検出可能な印のシーケンスを規定する。

図５ｇに示すように、マーカー構築要素の印は面の向きを規定することができ、個々のマーカー要素は互いに対し回転させ、これによって複数のコードを規定する自由度を更に増大させることができる。なぜなら、ＡＲシステムは、互いに対する及び／又は玩具構築モデルの別の特徴に対する、それぞれのＡＲマーカーの向きを検出することができるためである。

このため、図５の例では、それぞれが他のマーカー構築要素と別個の視覚的に検出可能な特徴を含む個々のマーカー構築要素は、視覚的に検出可能な特徴のシーケンスが規定されように、それらの結合要素によって相互連結される。このため、視覚的に検出可能な特徴のそれぞれの別個のシーケンスによって複合ＡＲマーカーを規定することができる。例えば、個々の視覚的に検出可能な特徴は、ＡＲシステムによってコードのシンボルとして検出することができ、検出されたシンボルのシーケンスは、シンボルのシーケンスにより符号化された情報を取得するように、ＡＲシステムによって復号化することができる。いくつかの実施形態では、システムは、検出誤りに対しコードをよりロバストにする既知の誤り検出技法及び／又は誤り訂正技法を用いることができる。

図６及び図７は、複合マーカー構築要素の使用例を示している。

図６ａ及び図６ｂは、図５ａ及び図５ｂのマーカー構築要素の使用を示している。図６ａはＡＲシステムのビデオカメラ５及びディスプレイ１を示している。最初に、ディスプレイはシーン６１２を示す。ユーザーが人型のフィギュア６１３をＡＲシステムのビデオカメラ５に提示すると、ＡＲシステムは、頭部、胴部及び脚部の組合せを検出し、対応する組み合わされたＡＲマーカーを決定し、検出された組み合わされたマーカーに応じて表示画像を変更することができる。例えば、ＡＲシステムはシーン６１２内にフィギュアの画像６２３を生成することができる。フィギュアは物理的なフィギュア６１３を模すことができ、検出された組み合わされたＡＲマーカーに応じてＡＲシステムによって決定される行動（例えば友好的、怒る、悲しむ等）を示すようにアニメートすることができる。

図６ｃ及び図６ｄは、図５ｃ又は図５ｅのマーカー構築要素の使用を示している。図６ｃはＡＲシステムのビデオカメラ５及びディスプレイ１を示している。ユーザーが複合マーカー要素６３３をＡＲシステムのビデオカメラ５に提示すると、ＡＲシステムはマーカー構築要素の組合せを検出することができる。オプションで、ＡＲシステムは、複合マーカー要素を形成する個々のマーカーの互いに対する相対的な位置及び／又は向きを求めることができる。次に、ＡＲシステムは、検出された複合マーカー要素に応じて反応することができる。例えば、図６ｄに示されているように、ＡＲシステムは組み合わされたマーカー要素を、例えばゲームアプリケーションの所定のレベルまでＡＲシステムの上級機能にアクセスを与えるアクセスコード等として解釈することができる。提示された組み合わされたマーカー要素が記憶されているアクセスコードと一致する場合、ユーザーはアクセスを与えられる。そうでない場合、アクセスを拒否することができる。

図７ａ〜図７ｄは、組み合わされたマーカー構築要素、例えば図５ｆ及び図５ｇに示すタイプのマーカー構築要素の別の使用例を示している。図７ａは、玩具構築要素の結合要素７０５、例えば図１に関して説明されたような結合スタッドを概略的に示している。結合要素は平面状の正方形格子に配列されている。図７ｂは、結合要素によって玩具構築要素に結合されたマーカー構築要素７１１を示している。結合要素の配列によって、マーカー構築要素が４つの別個の向きで別の玩具構築要素に連結されることが可能になる。図７の例では、マーカー構築要素７１１は、方向を規定する印を有する。この特定の例では、印は雲及び太陽の画像を模しており、すなわちこの画像は「上」方向を規定する。図７ｃは、マーカー構築要素７１１に隣接して結合要素７０５に結合されたマーカー構築要素７１３を示している。マーカー構築要素７１３も、方向を規定する印を有し、この例では矢印を模す。マーカー構築要素７１２は、その方向が構築要素７１１によって規定される方向に対し４つの異なる向きを指した状態でマーカー構築要素７１１に対し配置することができる。これらの向きのうちの３つが図７において点線の円７１２によって示されている。同様に、図７ｄは、マーカー構築要素７１１に隣接して結合要素７０５に結合された別のマーカー構築要素７１５を示している。マーカー構築要素７１５も、方向を規定する印を有し、この例では矢印を模す。マーカー構築要素７１５は、その方向が構築要素７１１によって規定される方向に対し４つの異なる向きを指した状態でマーカー構築要素７１１に対し配置することができる。これらの向きのうちの３つが図７において点線の円７１４によって示されている。組み合わされたマーカー構築要素は要素７１１、７１３及び７１５を含み、これによって、順番に配列され、互いに対し検出可能な向きを有するＡＲマーカーのシーケンスを規定する。ＡＲシステムのカメラに提示されると、ＡＲシステムは３つのマーカー構築要素、それらの相対位置及び相対ロケーションを検出することができる。結果として、２つの異なるタイプのマーカー構築要素（「雲及び太陽」タイプのマーカー及び「矢印」マーカー）のみを用いて、マーカー要素を様々な相対的な向き及び／又は位置（例えば異なる順番）で玩具構築要素に結合することによって、多数の異なる複合マーカーを構築することができる。

例えば、コンピューター生成画像要素を生成するとき、ＡＲシステムは気候現象、例えば雲、雨、太陽、雪等を模した画像要素を生成することができる。このため、ＡＲシステムは、マーカー構築要素７１１、７１３及び７１５の向きに応じて気候現象を表示するように制御可能とすることができる。例えば、ＡＲシステムが、ユーザーがマーカー構築要素７１１を玩具構築モデルに連結したことを検出すると、ＡＲシステムは、気候現象を模した画像要素の表示を制御する機能を始動することができる。マーカー構築要素７１３を、その矢印が（マーカー構築要素７１１に対し）上を向いた状態で配置することによって、ＡＲシステムは、太陽を模した画像要素の表示を制御する機能を始動することができる。矢印が左又は下を向いた状態で配置することによって、それぞれ「雨」及び「雪」を表示する表示機能を始動することができる。

マーカー構築要素７１５を、その矢印が（マーカー構築要素７１１に対し）右を向いた状態で配置することによって、ＡＲシステムに、選択された画像要素（この例では「太陽」）の「中」程度（例えば雲によって部分的に覆われている）での表示を制御する機能を始動させることができる。矢印が上又は下を向いた状態で配置することによって、選択された画像要素をそれぞれより高い度合い又はより低い度合い（例えば大きな太陽（a lot of sun）又は小さな太陽（a little sun））で表示する機能を始動することができる。

一般的に、マーカー構築要素の結合手段が、玩具構築システムの別の玩具構築要素（例えば別のマーカー構築要素）へのそのマーカー構築要素の結合を、その別の玩具構築システムに対し所定の数の離散的な相対的位置及び／又は離散的な相対的向きでのみ可能にするとき、ＡＲシステムは、互いに対する少なくとも２つのマーカー構築要素の相対的な位置及び／又は向きを検出し、検出された相対的な位置及び／又は向きに応じてコンピューター生成画像特徴を作成するように構成することができる。例えば、マーカー構築要素の結合要素が平面状の規則的な格子を規定し、結合要素がその平面のうちの１つの中で互いに対し所定の数の角度で玩具構築要素の結合を可能にするとき、限られた数の離散的な相対的位置及び向きを提供することができる。

図８ａ〜図８ｄは、規則的な格子を規定する玩具構築システムの例を示している。図８ａは、格子の各格子点が玩具構築モデル内の連結要素の有効な位置を規定する規則的な３Ｄ格子を示している。格子の全ての格子点が実際に結合要素により装着される必要がないが、いくつかの実施形態では、全ての結合要素が規則的な格子の格子点上に位置決めされることが一般的に理解されよう。特に、図８ａの例では、格子点は平行な面８０１ａ〜ｄ内に配列され、面内の格子点は１つ又は複数の玩具構築要素の表面上の連結要素、例えば図１に示す組立ブリックの結合スタッド、の位置を規定する。平行な面間の距離は、結合要素を有する構築要素の表面間の距離を規定する。例えば、いくつかの実施形態では、構築要素は格子の２つの近傍面間の距離に等しい（又はその整数倍に等しい）高さを有する。

玩具構築システムが規則的な格子を規定するとき、ＡＲマーカーの位置及び／又は向きはＡＲシステムによって格子に対し正確に求めることができる。さらに、組立システムの格子において組立要素に取り付けられた追跡マーカーは、タグ付けされた要素がモデルにおいてどのように用いられるかに関する更なる情報を提供する。タグが正しく組み立てられ、すなわち格子内に収まった場合、アプリケーション内のイベントを選択的にトリガーすることができる。

このため、ＡＲマーカーは、格子に対するＡＲマーカーの所定の位置及び／又は向き（及び／又は他の位置制約）に応じてコンピューター生成画像要素の作成をＡＲシステムに始動させることができる。このため、ＡＲアプリケーションは、組立システムにおいて物理的要素がどのように用いられるかに応じることができる。

図８ｂ〜図８ｄはそのような位置検知トリガー機能の例を示している。

図８ｂは、結合要素が図８ａに示すような３Ｄ格子を規定している、玩具構築要素から構築される玩具構築モデルの例を概略的に示している。このため、構築要素の上面は適切な座標系の原点に対し所定の高さにのみ位置することができる。例えば、図８ｂの構築要素８１０ａが第１の高さに位置する一方、構築要素８１０ｂは第２の高さに位置し、構築要素８１０ｃは第３の高さに位置する。

構築要素８１０ａ〜８１０ｃの上面は、ＡＲシステムによって検出可能とすることができ、仮想ボタンとして機能することができる。図８ｃに示されているように、ユーザーがマーカー構築要素８１１を、仮想ボタンとしてＡＲシステムによって解釈されている構築要素のうちの１つに連結する場合、マーカー構築要素の検出によって、ＡＲシステムは仮想動作をトリガーすることができ、例えば図８ｄに示されているように仮想ボタンのロケーションにコンピューター生成画像要素８１２を表示することができる。いくつかの実施形態では、トリガーされる動作は、マーカー要素８１２の印及び／又は他の条件、例えばマーカー要素が仮想ボタンのうちの２つに連結されていることに依拠することもできることが理解されよう。

ＡＲシステムは、ＡＲシステムのカメラの視野内に位置決めされた玩具構築モデルによって規定された固有の離散座標系の格子点のロケーションを求めように構成することができることが理解されよう。例えば、ＡＲシステムは、対応するマーカー構築要素の結合要素に対し所定の空間関係で配置された結合要素の位置及び／又はＡＲマーカーの位置を検出することができる。求められたグリッドロケーションに基づいて、ＡＲシステムは、カメラ位置に対する規則的な格子の位置及び／又は向きを求めることができる。ＡＲシステムは、更には検出された物理的な格子から規則的な画像格子を作成することができ、例えば画像格子が物理的結合要素の画像と合致する格子点を有するようにすることができる。次に、ＡＲシステムは画像格子を用いて、検出された画像格子に対する或るロケーションにおいてコンピューター生成画像の画像特徴を生成することができる。

図９及び図１０は、本明細書において説明されるような玩具構築システムの例の使用例を示している。

図９は、図１に示すタイプの玩具構築要素９１１ａ及び９１１ｂを示している。この例では、異なる構築要素はそれぞれの印、異なる色、及び／又は別の区別可能な視覚特徴を有する。玩具構築要素のそれぞれは、玩具構築モデル内のＡＲシステムによって検出されるとき、所定の動作をトリガーする。例えば、図９の例では、構築要素９１１ａ〜９１１ｄのそれぞれが、草地、水域、雪、火等の異なるタイプの風景又は環境現象を表す。このため、各構築要素は、ＡＲシステムによって検出されるとき、ＡＲシステムがそれぞれ草地、水域、雪、火を表す対応する画像要素を表示することによって拡張することができる。これによって、ユーザーは、例えば図９ｂに示されているように、構築要素によって風景を組み立てることが可能になる。

マーカー構築要素はＡＲシステム内の更なる動作をトリガーすることもできることが理解されよう。例えば、図９ｂの風景はＡＲシステムにおいて、ゲームが実行される風景として用いることができ、すなわちユーザーは物理的な組立要素を用いることによってコンピューターゲームのユーザー独自のレベルを組み立てることができる。

図１０は、６つの同一の面を有する本体部材２を含むゲーム用サイコロを示しており、これらの面のそれぞれは、ゲーム用サイコロを投げた後にそのゲーム用サイコロが所与の面で止まる確率が、そのゲーム用サイコロの全ての面について等しい高さであるように実質的に正方形であるように構成される。

本体部材２の面は実質的に同一であり、このためそのようなゲーム用サイコロを投げること自体は有意味でなく、ユーザー又はＡＲシステムがそのようにサイコロを投げた結果を区別することは不可能である。したがって、このサイコロの例によれば、４つの結合スタッド３が本体部材２の面のそれぞれに設けられ、結合スタッド３が正方形の角を形成するように正方形パターンに配列され、これらの結合スタッド３は、玩具組立システムからの組立要素を結合スタッド３上に取り付けることが可能であるように構成され、ゲーム用サイコロの面に異なるそのような組立要素を取り付けると、そのゲーム用サイコロの面が特性を変更することができるようにされる。

組立要素４ａ、４ｂ、４ｃの下側には、組立要素４ａ、４ｂ、４ｃのゲーム用サイコロへの取付け後にそのゲーム用サイコロ上の結合スタッド３の外面に摩擦により接合する結合フランジが構成される。そのような結合フランジを様々な方法で構成する数多くの機会が存在し、当業者はそのようなオプションを自由に指摘することができる。

このため、ゲーム用サイコロ上に様々な組立要素を取り付けることによって、ゲーム用サイコロ上に取り付けられた要素の数、形状又は外観自体が変動する場合、ゲーム用サイコロの各面に独自の特性を与えることが可能である。

図１０は、ゲーム用サイコロの少なくとも３つの可視の面に玩具組立システムからの組立プレート４ａ、４ｂ、４ｃが取り付けられている同じゲーム用サイコロを示している。このため、上を向く１つの面上にその面の４つ全ての結合スタッドを覆う正方形の組立プレート４ａが取り付けられ、組立プレートがその面上に更なる組立要素を取り付ける余地を残さないようにされる。ゲーム用サイコロの２つの他の可視の面では、一方の面において結合スタッド３のうちの正確に１つの単一の結合スタッドを覆う単一の正方形の組立プレート４ｂが取り付けられ、他方の面において、それぞれがその面の正確に２つの結合スタッド３をそれぞれ覆う２つの長方形組立プレート４ｃが取り付けられ、それらの２つの長方形組立プレート４ｃがその面上に更なる取付けの余地を残さないようにされる。

このため、異なるＡＲマーカーをゲーム用サイコロの異なる面と関連付けることができる。このため、本明細書において説明されるようにＡＲシステムのビデオカメラの視野内でサイコロを投げることによって、ＡＲシステムに、例えばサイコロの面上のＡＲマーカーを検出させ、仮想ゲームの対応する結果を提示させることができる。様々なＡＲマーカーをサイコロの面と関連付けることができるので、ＡＲシステムはＡＲシステムを再プログラムする必要も、別の形で再構成する必要もなく、単にサイコロのそれぞれの面に連結されたＡＲマーカー構築要素を置き換えることによって様々なゲームを実施することができる。

図１１ａ及び図１１ｂは、２つの選択的に可視のＡＲマーカーを含むマーカー構築要素の例を示している。図１１ａ及び図１１ｂは、ドア１１０３が図１１ａに示すような閉位置と図１１ｂに示すような開位置との間で枢動することを可能にするフレーム１１０２に蝶着されたドア１１０３を含む玩具構築モデル１１０１を概略的に示している。フレーム及びドアは、例えば蝶番を適所にスナップ留めすることによって、互いに脱着可能に相互連結可能とすることができる。代替的に又は付加的に、フレーム１１０２は、例えば玩具構造における開口部を覆う移動可能な障壁を提供するように、フレーム及びドア構造がより大きな玩具構築モデルに連結することを可能にする１つ又は複数の結合要素（図１１には明示的に示されていない）を含むことができる。ドア１１０３は、ドアのそれぞれの側に異なるマーカー構築要素１１１１ａ及び１１１１ｂが連結されることを可能にする結合要素（図１１には明示的に示されていない）を両側に有する。例えば、構築マーカー要素１１１１ａ及び１１１１ｂは、図４ａの要素４１１に類似した要素とすることができる。マーカー構築要素１１１１ａ及び１１１１ｂは、それぞれの面上にドアから離れる方に向いた異なる印を含む。図１１の例では、マーカー構築要素１１１１ａは、正方形のフレーム及びフレーム内の文字「Ａ」を含む一方、マーカー構築要素１１１１ｂは、正方形のフレーム及びフレーム内の文字「Ｂ」を含む。このため、印１１１１ａは、ドアが閉位置にあるときに可視である一方、印１１１１ｂはドアが開位置にあるときに可視である。このため、本明細書において説明されるように構造１１０１がＡＲシステムのビデオカメラ１１０５の視野内に位置決めされるとき、ＡＲシステムは印のうちのいずれが可視であるかを検出し、それによってドアが開位置にあるか又は閉位置にあるかを検出することができ、ドアの検出された状態に応じてコンピューター生成画像を生成することができる。例えば、ＡＲシステムは閉位置にあるとき、玩具構造によって規定された環境の回りを動く可動物体（例えば人又は動物のようなフィギュア）のコンピューター生成画像により、ドアを含む玩具構造のライブビューを拡張することができる。ＡＲシステムが、ドアが閉じられることを検出すると、可動物体の動きを環境の一部分に制約することができる（又は物体を全く見えないようにすることができる）一方、ドアが開位置にあることが検出されると、可動物体はドアによって覆われた開口部を通り抜けるように示されることができる。

このため、２つのＡＲマーカーが、それらのマーカーのうちのいずれか一方が機能要素の状態に応じて可視となるように玩具構築モデルの機能要素に連結されると、機能要素の状態がＡＲシステムによって検出可能となる。ＡＲマーカー構築要素１１１１ａ及び１１１１ｂは、異なる機能玩具構築要素に脱着可能に連結することができるので、玩具構築システムは第１の状態を示す第１のマーカー構築要素及び第２の状態を示す第２のマーカー構築要素を含み、これによってＡＲシステムが異なる機能構築要素の異なる状態を検出することを可能にすることができる。

いくつかの手段を列挙する装置クレームにおいて、これらの手段のうちのいくつかを、ハードウェアの全く同じ要素、構成要素又はアイテムによって実施することができる。単に或る特定の手段（measure）が互いに異なる従属クレームで挙げられることも、異なる実施形態において説明されることも、これらの手段の組み合わせを用いて利益を得ることができないことを意味するものではない。

用語「備える、含む（comprises/comprising）」は、本明細書において用いられるとき、述べた特徴、整数、ステップ、又は構成要素の存在を特定するために使われるが、１つ又は複数の他の特徴、整数、ステップ、構成要素、又はそれらのグループの存在又は付加を排除するものではないことを強調すべきである。

Claims (17)

1. 玩具構築要素を備える玩具構築システムであって、前記玩具構築要素は、前記玩具構築要素を脱着可能に相互連結する結合手段を備え、前記玩具構築システムは、
   そのような結合手段を備えると共に、それぞれが画像処理手段によって認識可能な視覚的外観を有する１つ又は複数のマーカー構築要素と、
   画像捕捉手段、画像処理手段及び表示手段を備えるデータ処理システムと、を備え、
   前記データ処理システムは、前記玩具構築要素から構築された玩具構築モデルの画像を捕捉し、前記捕捉画像を処理して、少なくとも、前記捕捉画像内の前記マーカー構築要素のうちの少なくとも１つの存在を検出し、前記検出されたマーカー構築要素に応じてコンピューター生成画像を生成し、前記生成されたコンピューター生成画像が重ね合わされた前記捕捉画像を含む合成画像を前記表示手段上に表示する、ように構成される、玩具構築システム。
2. 少なくとも２つのマーカー構築要素を備え、複合マーカー要素を形成するように、前記２つのマーカー構築要素は、前記マーカー構築要素のそれぞれの結合手段により互いに脱着可能に連結可能である、請求項１に記載の玩具構築システム。
3. 前記データ処理システムは、前記複合マーカー要素を検出し、前記複合マーカー要素の検出に応じて前記コンピューター生成画像を選択的に生成するように更に構成される、請求項２に記載の玩具構築システム。
4. 各マーカー構築要素は、情報を符号化するコードのコードシンボルを示す印を含み、前記データ処理システムは、前記複合マーカー要素の視覚的外観から符号化されたコードシンボルの組を求め、前記求められたコードシンボルの組を復号化して復号化された情報を得るように更に構成される、請求項３に記載の玩具構築システム。
5. 平面支持体上にあるときに、ゲーム用サイコロを安定して載置することができる少なくとも６つの面を含む本体を備える前記ゲーム用サイコロを備え、そのような面のうちの少なくとも１つ又は複数に、前記少なくとも１つのマーカー構築要素のうちの１つを取り付ける結合手段が設けられる、請求項１〜４のいずれか１項に記載の玩具構築システム。
6. 前記結合手段は、玩具構築モデルにおける前記玩具構築要素の位置及び／又は向きを、規則的な格子に対し離散的位置及び／又は離散的向きに制限する前記規則的な格子を規定する、請求項１〜５のいずれか１項に記載の玩具構築システム。
7. 少なくとも２つのマーカー構築要素を含み、前記データ処理システムは、前記規則的な格子に対する玩具構築モデルにおける前記２つのマーカー構築要素のそれぞれの位置及び／又は向きを検出し、前記検出されたそれぞれの位置及び／又は向きに応じて前記コンピューター生成画像を生成するように構成される、請求項６に記載の玩具構築システム。
8. 前記データ処理システムは、前記マーカー構築要素の前記検出されたロケーションから規則的な画像格子の格子ロケーションを求め、前記検出された画像格子に対し或るロケーションにおいてコンピューター生成画像の画像特徴を生成するように構成される、請求項７に記載の玩具構築システム。
9. 前記玩具構築要素は少なくとも１つの特性を有し、前記玩具構築システムの各マーカー構築要素は前記特性の値を有し、前記値は前記特性の所定の離散値の組から選択される、請求項１〜８のいずれか１項に記載の玩具構築システム。
10. 前記マーカー構築要素は、印と、第１の位置と第２の位置との間で動くことができる可動要素とを含み、前記可動要素は、前記第１の位置に位置決めされるとき、前記印が見えるようにし、前記第２の位置に位置決めされるとき、前記印を視界から遮り、前記データ処理システムは、前記印の少なくとも可視性を検出し、前記印の前記検出された可視性に応じて前記コンピューター生成画像を生成するように構成される、請求項１〜９のいずれか１項に記載の玩具構築システム。
11. 前記結合手段は、連結の方向を規定する１つ又は複数の規則的な平面状の格子に配列され、各マーカー構築要素は、前記マーカー構築要素が前記玩具構築システムの少なくとも１つの他の玩具構築要素に連結されているとき、前記平面状の格子のうちの少なくとも１つに平行な方向から、又は前記平面状の格子のうちの少なくとも１つに対し垂直な方向から見える印を含む、請求項１〜１０のいずれか１項に記載の玩具構築システム。
12. 前記マーカー構築要素のそれぞれは、上面、底面、及び少なくとも１つの側面を有し、前記結合手段は前記上面及び前記底面のうちの少なくとも一方の上に配置され、前記マーカー構築要素は結合手段を有しない少なくとも第１の面を含み、前記第１の面は前記印を含む、請求項１１に記載の玩具構築システム。
13. 前記結合手段は、１つ又は複数の突起部及び１つ又は複数のキャビティを含み、各キャビティは摩擦係合で前記突起部のうちの少なくとも１つを受容するように構成される、請求項１〜１２のいずれか１項に記載の玩具構築システム。
14. 玩具構築システムの玩具構築要素から構築された玩具構築モデルの画像を生成するためにコンピューターで実施される方法であって、前記玩具構築要素は、前記玩具構築要素を脱着可能に相互連結する結合手段を備え、前記玩具構築システムは、そのような結合手段を備えると共にそれぞれが画像処理システムによって認識可能な視覚的外観を有する１つ又は複数のマーカー構築要素を備え、前記方法は、
    前記玩具構築要素から構築された玩具構築モデルの画像を捕捉することと、
    前記捕捉画像を処理し、少なくとも、前記捕捉画像内の前記マーカー構築要素のうちの少なくとも１つの存在を検出することと、
    前記検出されたマーカー構築要素に応じてコンピューター生成画像を生成することと、
    前記生成されたコンピューター生成画像が重ね合わされた前記捕捉画像を含む合成画像を表示することと、
    を含む、コンピューターで実施される方法。
15. 画像捕捉手段、処理手段及び表示手段を備えるデータ処理システムであって、前記データ処理システムによって実行されたときに、前記データ処理システムに請求項１４に記載の方法のステップを実行させるように構成されるコンピュータープログラム手段を備える、データ処理システム。
16. データ処理システムによって実行されたときに、前記データ処理システムに請求項１４に記載の方法のステップを実行させるように構成されるプログラムコード手段を備える、コンピュータープログラム。
17. 玩具構築要素を備える玩具構築セットであって、前記構築要素は、前記玩具構築要素を脱着可能に相互連結する結合手段を備え、前記玩具構築セットは、
    そのような結合手段を備えると共にそれぞれが画像処理システムによって認識可能な視覚的外観を有する１つ又は複数のマーカー構築要素と、
    画像捕捉手段、処理手段及び表示手段を備えるデータ処理システム上に、請求項１６に記載のコンピュータープログラムをインストールするためのユーザーインストラクションと、
    を備える、玩具構築セット。