JP2009211251A

JP2009211251A - 拡張現実感表示装置

Info

Publication number: JP2009211251A
Application number: JP2008051753A
Authority: JP
Inventors: Masanobu Sato; 正伸佐藤; Hiroshi Yamaguchi; 博志山口; Manabu Tanaka; 学田中; Teppei Tadokoro; 鉄平田所; Yutaka Iwasaki; 裕岩崎
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2008-03-03
Filing date: 2008-03-03
Publication date: 2009-09-17

Abstract

【課題】実際の店舗に配置した場合であっても、マーカーのトラッキング精度が低下することのない拡張現実感表示装置を提供する。
【解決手段】拡張現実感表示装置１は、マーカー２のトラッキング精度が低下することを防止するために、カメラ１１への外光を防ぐように設計された外光遮蔽部材１５と、ＬＥＤ光源１３と、パネル光源１４を備えている。更に、拡張現実感表示装置１には、外光遮蔽部材１５を備えた場合であっても操作性が悪化しないように、様々な処理に対応した複数の操作ボタン１６０が設けられた操作パネル１６が備えられている。
【選択図】図１

Description

本発明は、マーカーを利用した拡張現実感表示装置に関し、更に詳しくは、マーカーのトラッキング精度を向上させるための技術に関する。

コンピュータ技術の発展に伴い、３次元コンピュータグラフィックス（３ＤＣＧ）を実写映像にリアルタイムで合成して表示する拡張現実（AR: Augmented Reality）は、汎用的なコンピュータで実現可能となり、時計、装飾品、洋服、靴、バックなどをユーザが身に付けた状態をシミュレーションする拡張現実感表示装置を、比較的安価な価格で開発することができるようになった。

実写映像に３ＤＣＧを合成する位置を検出する手法としては、特許文献１の背景技術に記載されているように、３ＤＣＧを合成する位置の目印となるマーカーを含む実写映像を撮影し、マーカーの位置をトラッキングすることで、実写映像に３ＤＣＧを合成する位置を検出する手法や、実写映像に含まれる任意の画像の特徴点の位置をマーカーの代用としてトラッキングするマーカーレスの手法があるが、時計や装飾品などを実際に身に付けたときの状態をシミュレーションするときは、トラッキング精度の高い、マーカーを用いた手法の方が用いられる。
特開２００５−２５０９５０号公報

しかし、時計や装飾品などを実際に身に着けたときの状態をシミュレーションする拡張現実感表示装置を実際の店舗に配置した場合、店舗の照明光などが外乱になり、マーカーのトラッキングにミスが生じ、正確な実写映像上の位置に３ＤＣＧを合成できないケースがあった。

そこで、本発明は、時計や装飾品などを実際に身に着けたときの状態をシミュレーションする拡張現実感表示装置を、実際の店舗に配置した場合であっても、マーカーのトラッキング精度が低下することのない拡張現実感表示装置を提供することを目的とする。

上述した課題を解決する第１の発明は、３次元コンピュータグラフィックス（３ＤＣＧ）を合成する位置の目印となるマーカーを含む実写映像を撮影するカメラと、前記実写映像を解析し、前記マーカーの位置をトラッキングするマーカートラッキング手段と、前記マーカーの位置や方向に整合させるように、前記マーカーに対応する前記３ＤＧＣを前記実写映像に合成するグラフィック描写手段と、前記３ＤＣＧが合成された前記実写映像を表示するディスプレイと、前記カメラへの外光を防ぐように設計された外光遮蔽部材と、前記外光遮蔽部材で覆われた空間内を照射する光源を備えたことを特徴とする拡張現実感表示装置である。

第１の発明によれば、前記拡張現実感表示装置に設けられた前記外光遮蔽部材が前記カメラへの外光を遮蔽することで、前記カメラの焦点合わせが容易になり、前記マーカーがぼやけることなく撮影されるため、前記マーカーのトラッキング精度が低下することを防止できる。また、前記光源を前記拡張現実感表示装置に設けることで、前記外光遮蔽部材によって生じる光量不足を補うことができる。なお、ここで、前記拡張現実感表示装置とは、前記マーカーを利用して、時計、装飾品、洋服、靴、バックなどをユーザが身に付けた状態をシミュレーションする装置を意味している。

更に、第２の発明は、第１の発明に記載の拡張現実感表示装置であって、前記光源として、前記外光遮蔽部材で覆われた空間を上から照射する第１の光源と、前記外光遮蔽部材で覆われた空間を下から照射し、平面状である第２の光源を備えていることを特徴とする。

第２の発明によれば、前記拡張現実感表示装置が前記第２の光源を備えることで、被写体の影が前記実写映像に映らなくなるため、被写体の影の影響によって生じる前記マーカーのトラッキングミスを減少させることができる。

更に、第３の発明は、第１の発明または第２の発明に記載の拡張現実感表示装置であって、複数の操作ボタンを有する操作パネルを備え、前記グラフィック描写手段は、前記操作ボタンが押されたことを検知すると、押された前記操作ボタンに対応する処理を実行し、前記ディスプレイの表示内容を変更することを特徴とする。

更に、第４の発明は、第３の発明に記載の拡張現実感表示装置であって、前記操作パネルは、前記実写映像に合成する前記３ＤＣＧのサイズを変更する複数の第１の操作ボタンを有し、前記グラフィック描写手段は、前記第１の操作ボタンが押されたことを検知すると、押された前記第１の操作ボタンに関連付けられているサイズに、前記実写映像に合成する前記３ＤＣＧのサイズを変更する処理を実行することを特徴とする。

更に、第５の発明は、第３の発明または第４の発明に記載の拡張現実感表示装置であって、前記操作パネルは、前記実写映像に合成する前記３ＤＣＧを変更する第２の操作ボタンを有し、前記グラフィック描写手段は、前記第２の操作ボタンが押されたことを検知すると、押された前記第２の操作ボタンに従い、前記実写映像に合成する前記３ＤＣＧを変更する処理を実行することを特徴とする。

更に、第６の発明は、第３の発明から第５の発明のいずれか一つに記載の拡張現実感表示装置であって、前記操作パネルは、前記実写映像に合成する前記３ＤＣＧの説明文を表示する前記第３の操作ボタンを有し、前記グラフィック描写手段は、前記第３の操作ボタンが押されたことを検知すると、前記３ＤＣＧの説明文を前記ディスプレイに表示する処理を実行することを特徴とする。

更に、第７の発明は、第３の発明から第６の発明のいずれか一つに記載の拡張現実感表示装置であって、前記操作パネルは、カラーテクスチャーを前記３ＤＣＧの下に轢くように表示する複数の第４の操作ボタンを有し、前記グラフィック描写手段は、前記第４の操作ボタンが押されたことを検知すると、押された前記第４の操作ボタンに対応した前記カラーテクスチャーを、前記３ＤＣＧの下に轢くように合成して表示する処理を実行することを特徴とする。

第３の発明によれば、前記拡張現実感表示装置が前記外光遮蔽部材を備えた場合であっても、前記拡張現実感表示装置が前記操作パネルを備えることで、前記拡張現実感表示装置の操作性が悪化することを防止できる。なお、前記操作パネルに設ける前記操作ボタンは、第４の発明から第７の発明に記載の前記操作ボタンとすることが好適である。

上述した発明によれば、拡張現実感表示装置に外光遮蔽部材を設けることで、マーカーを含む実写映像を撮影するときに外光の影響を軽減させることができ、カメラの焦点合わせが容易になり、マーカーのトラッキング精度を向上させることができるようになる。拡張現実感表示装置に外光遮蔽部材で覆われた空間内に光源を設けることで、カメラの光量不足を補うことができるようになる。

上述した発明によれば、外光遮蔽部材で覆われた空間内に操作パネルを設けることで、例えば、マーカーに対応する物が時計であったとしても、マーカーを付けた腕で操作パネルを操作できるため、ユーザの操作性を損なうことはなくなる。

ここから、本発明に係わる拡張現実感表示装置１について、図を参照しながら詳細に説明する。本実施形態は、時計を装着したときの状態をシミュレーションする装置に、本発明を適用した実施形態で、図１は、拡張現実（AR: Augmented Reality）を利用し、実際に時計を身に付けたときの状態をシミュレーションする拡張現実感表示装置１の外観図である。

図１に図示した拡張現実感表示装置１には、時計の３次元コンピュータグラフィックス（３ＤＣＧ）を合成する位置の目印となるマーカー２を含む実写映像を撮影するカメラ１１と、マーカー２の位置や方向に整合するように、マーカー２に対応した時計の３ＤＣＧを実写映像に合成するコンピュータ１０と、時計の３ＤＣＧが合成された実写映像を表示するディスプレイ１２に加え、カメラ１１への外光を遮断するように、カメラ１１の周辺部を覆うように設けられた外光遮蔽部材１５と、外光遮蔽部材１５で覆われた空間を上から照射するＬＥＤ光源１３と、外光遮蔽部材１５で覆われた空間を下から照射するパネル光源１４と、ユーザが片手で操作できる操作パネル１６と、が設けられている。

図２は、時計の３ＤＣＧを合成する位置の目印となり、ユーザが腕に付けるマーカー部材２０およびマーカー２を説明する図である。マーカー２は、一般的なビニール素材で作られたマーカー部材２０上に印刷され、マーカー部材２０は、マジックテープ（登録商標）２０ａを利用することで、時計バンドのようにユーザの腕に付けることができる構造になっている。

更に、マーカー２はマーカー部材２０毎に異なように印刷され、すでに公知であるＡＲＴｏｏｌＫｉｔに従い、マーカー２の絵柄は、マーカー２の外枠となる正方形枠２ａと、マーカー２を識別するためのマーカー識別ＩＤがエンコードされた識別コード２ｂから構成されている。

ここから、マーカー２の位置をトラッキングする拡張現実感表示装置１について詳細に説明する。図３は、図１で図示した拡張現実感表示装置１にハードウェアブロック図で、図４は、図１で図示した拡張現実感表示装置１の機能ブロック図である。

上述しているように、拡張現実感表示装置１は、カメラ１１、外光遮蔽部材１５、ＬＥＤ光源１３、パネル光源１４、ディスプレイ１２、操作パネル１６およびコンピュータ１０を備え、コンピュータ１０は、中央演算処理装置（ＣＰＵ）１０ａ、メインメモリであるＲＡＭ１０ｃ、ＢＩＯＳなどが実装されているＲＯＭ１０ｂ、画像処理ボード１０ｄ、および、大容量のデータ記憶装置１０ｅを備えている。

また、図４に図示したように拡張現実感表示装置１は、カメラ１１、外光遮蔽部材１５、ＬＥＤ光源１３、パネル光源１４、ディスプレイ１２および操作パネル１６に加え、コンピュータプログラムによって実現される手段として、実写映像に撮影されているマーカー２の位置をトラッキングするマーカートラッキング手段１００と、マーカー２の位置や方向に整合させるように、マーカー２に対応する時計の３ＤＣＧを実写映像に合成するグラフィック描写手段１０１と、マーカー２に対応する時計の３ＤＣＧなどを記憶する３ＤＣＧデータベース１０２を備えている。

拡張現実感表示装置１に備えられたマーカートラッキング手段１００およびグラフィック描写手段１０１は、拡張現実感表示装置１に備えられたコンピュータ１０をそれぞれの手段として機能させるためのコンピュータプログラムで実現され、このコンピュータプログラムは、拡張現実感表示装置１にデータ記憶装置１０ｅに実装されている。また、３ＤＣＧデータベース１０２は、拡張現実感表示装置１のデータ記憶装置１０ｅに構築されている。

まず、拡張現実感表示装置１で実行されるシミュレーションの内容を説明しながら、拡張現実感表示装置１に備えられたマーカートラッキング手段１００およびグラフィック描写手段１０１の基本的な動作について説明する。

図５は、拡張現実感表示装置１で実行されるシミュレーションの内容を説明する図である。時計を腕に付けたシミュレーションを実行していない時、拡張現実感表示装置１のマーカートラッキング手段１００は、拡張現実感表示装置１のディスプレイ１２に表示されている枠内の映像を常に監視し、マーカー２の検出動作を実行している。

拡張現実感表示装置１を利用するユーザが、シミュレーションしたい時計に対応するマーカー部材２０を腕に付け（図５（ａ））、拡張現実感表示装置１のディスプレイ１２に表示されている枠内にマーカー２が入るように、ユーザの腕を移動させると（図５（ｂ））、拡張現実感表示装置１のマーカートラッキング手段１００は、枠内の映像を解析することで、マーカー部材２０に印刷されたマーカー２を識別し、マーカー２の識別コード２ｂにエンコードされたマーカー識別ＩＤを読み取り、マーカー識別ＩＤをグラフィック描写手段１０１に引き渡す。

更に、マーカートラッキング手段１００は、マーカー２を識別すると、マーカー２の位置のトラッキングを開始し、一定間隔毎（例えば、実写映像のフレーム毎）に、実写映像に含まれるマーカー２の正方形枠２ａの重心を求めるなどして、実写映像上のマーカー２の位置を算出すると共に、正方形枠２ａの変形度合いから、マーカー２の方向などを算出し、算出したこれらの情報をグラフィック描写手段１０１に引き渡す。

グラフィック描写手段１０１は、マーカートラッキング手段１００から引き渡されたマーカー識別ＩＤに対応する時計の３ＤＣＧを、３ＤＣＧデータベース１０２から取得し、更に、マーカートラッキング手段１００から引き渡されたマーカー２の位置や方向と整合させるように、時計の３ＤＣＧを実写映像に合成させ、時計の３ＤＣＧを合成した実写映像をディスプレイ１２に表示させる（図５（ｃ））。

このように、拡張現実感表示装置１のマーカートラッキング手段１００は、実写映像を解析することでマーカー２の位置をトラッキングするが、拡張現実感表示装置１が家電量販店に設置された場合、家電量販店の照明は非常に明るく、カメラ１１への外光が強いため、マーカートラッキング手段１００が正確にマーカー２を認識することができなくなり、時計の３ＤＧＣを正確な位置に表示させることができないケースがあった。

そこで、本発明に係わる拡張現実感表示装置１には、拡張現実感表示装置１が家電量販店に設置された場合であっても、マーカー２のトラッキング精度が低下することを防止すべく、カメラ１１への外光の影響が少なくなるよう、カメラ１１の周辺部を覆うように外光遮蔽部材１５を設け、かつ、外光遮蔽部材１５で覆われた空間内にＬＥＤ光源１３とパネル光源１４を設けている。

本実施形態においては、拡張現実感表示装置１を家電量販店に設置した場合を想定し、家電量販店の天井に設けられた照明外光と、床面からの反射光を遮蔽すべく、外光遮蔽部材１５は、カメラ１１の上方から入射する外光と、カメラ１１の下方から入射する外光を遮蔽する形状に設計されている。

また、カメラ１１への外光を減らすべく、拡張現実感表示装置１の光源の向きとカメラ１１の視線方向は垂直になるように設計され、更に、外光遮蔽部材で覆われた空間内を一様に照らすために、複数のＬＥＤがＳ字状に配列されたＬＥＤ光源と、パネル光源を拡張現実感表示装置１に設けている。

外光を遮蔽できれば、外光遮蔽部材１５の材質・形状は如何なる材質・形状でもよいが、外光遮蔽部材１５の表面をミラーにした材質を用いることで、拡張現実感表示装置１の外観を良くすることができる。また、外光遮蔽部材１５の形状は、拡張現実感表示装置１が設置される場所に合わせたデザインにするとよい。

拡張現実感表示装置１に設けられた外光遮蔽部材１５がカメラ１１への外光を遮蔽することで、カメラ１１の焦点合わせが容易になり、ユーザの腕に付けられたマーカー２がぼやけることなく撮影されるため、マーカー２のトラッキング精度が低下することを防止できる。

また、外光遮蔽部材１５でカメラ１１の周辺部を覆うと、カメラ１１の光量が少なくなり、カメラ１１で撮影される実写映像が薄暗くなってしまうため、外光遮蔽部材１５の内側に、Ｓ字上にＬＥＤが配列されたＬＥＤ光源１３やパネル光源１４を設けることで、カメラ１１の光量不足を補うことができると同時に、拡張現実感表示装置１が設置される場所に関わらず、拡張現実感表示装置１を開発したときと同じ環境をフィールドにおいても実現できるメリットがある。

なお、拡張現実感表示装置１にパネル光源１４を備えさせるのは、ユーザの腕の影を実写映像に映らなくさせるためである。ユーザの腕の影が実写映像に映っていると、ユーザの腕の影の影響によって、マーカー２のトラッキングミスが生じるケースがあるため、拡張現実感表示装置１にパネル光源１４を設けることで、ユーザの腕の影が実写映像に撮影されなくなり、マーカー２のトラッキングミスを減少させることができる。

このように、拡張現実感表示装置１に外光遮蔽部材１５やＬＥＤ光源１３などを設けることで、マーカー２のトラッキング精度が低下することを防止できるが、ユーザが拡張現実感表示装置１を利用するためには、外光遮蔽部材１５で覆われた空間内に、マーカー部材２０を付けた片腕を入れなければならないため、拡張現実感表示装置１の操作性が問題になってしまう。

そこで、本実施形態に係わる拡張現実感表示装置１には、ユーザが片手で操作するための操作パネル１６がカメラ１１の近傍に設けられ、マーカー部材２０を付けた片腕で、ユーザが拡張現実感表示装置１を操作できるようにしている。

図６は、拡張現実感表示装置１に設けられた操作パネル１６の一例を説明する図である。図６に図示したように、操作パネル１６には複数の操作ボタン１６０が備えられ、拡張現実感表示装置１のグラフィック描写手段１０１は、ユーザが押した操作ボタン１６０の内容に応じた処理を実行し、ディスプレイ１２の表示内容を変更する。なお、それぞれの操作ボタン１６０を区別するとき、操作ボタン１６０に記載されている文字を括弧で括って表記する。

図６においては、時計の３ＤＣＧの表示サイズを変更する操作ボタン１６０として、時計の３ＤＣＧの表示サイズをＳサイズにする操作ボタン１６０（Ｓ）と、時計の３ＤＣＧの表示サイズをＭサイズにする操作ボタン１６０（Ｍ）、時計の３ＤＣＧの表示サイズをＬサイズにする操作ボタン１６０（Ｌ）とが、操作パネル１６に設けられている。例えば、Ｍサイズを１００％としたとき、Ｓサイズは、Ｍサイズよりも小さい９５％のサイズで、Ｌサイズは、Ｍサイズよりも大きい１０５％のサイズである。

時計の３ＤＣＧの表示サイズを変更する操作ボタン１６０は、何らかの影響で、実際の時計のサイズよりも、大幅に大きく（または、小さく）、時計の３ＤＣＧが表示されてしまったときに、時計の３ＤＣＧのサイズを修正するために利用することができる。

更に、ディスプレイ１２に表示する時計の３ＤＣＧを変更する操作ボタン１６０として、マーク識別ＩＤをデクリメントする操作ボタン１６０（Ｄｏｗｎ）と、マーク識別ＩＤをインクリメントする操作ボタン１６０（Ｕｐ）が操作パネル１６に設けられている。

更に、ディスプレイ１２に３ＤＣＧを表示している時計の説明文をテロップで表示する操作ボタン１６０として、説明文のテロップの表示をＯＮにする操作ボタン１６０（Ｏｎ）と、説明文のテロップをＯＦＦにする操作ボタン１６０（Ｏｆｆ）が、操作パネル１６に設けられている。

ディスプレイ１２に表示する時計の３ＤＣＧを変更する操作ボタン１６０を利用することで、ユーザは、腕に付けたマーカー部材２０を変更することなく、シミュレーションする時計の型番を他の型番に変更することができる。更に、時計の説明文をテロップで表示する操作ボタン１６０を利用することで、時計のカタログを開かなくても、時計の説明文を読むことができるようになる。

加えて、時計の３ＤＣＧの下に轢くようにカラーテクスチャを合成して表示する操作ボタン１６０として、カラー１のカラーテクスチャを表示する操作ボタン１６０（Ｃ１）と、カラー２のカラーテクスチャを表示する操作ボタン１６０（Ｃ２）と、カラー３のカラーテクスチャを表示する操作ボタン１６０（Ｃ３）とが、操作パネル１６に設けられている。

時計の３ＤＣＧの下に轢くようにカラーテクスチャを合成して表示する操作ボタン１６０は、マーカー２のサイズよりも小さい時計を表示するときや、洋服の色とのカラーコーディネイトを確かめたいときに利用される。

なお、図６の操作パネル１６には、拡張現実感表示装置１のディスプレイ１２の表示内容を初期状態に戻す操作ボタン１６０（Ｒｅｓｅｔ）が設けられている。

拡張現実感表示装置１のグラフィック描写手段１０１は、操作パネル１６に設けられた操作ボタン１６０のいずれかが、ユーザによって押されたことを検知すると、処理に必要なデータを３ＤＣＧデータベース１０２から取得して、押された操作ボタン１６０に対応する処理を実行し、ディスプレイ１２の表示内容を変更する。

図７は、３ＤＣＧデータベース１０２のデータ構造の一例を説明する図である。図７に図示したように、３ＤＣＧデータベース１０２には、作成されたマーカー２部材に印刷されたマーカー２の識別コード２ｂにエンコードされたマーカー識別ＩＤ１０２ａ毎に、マーカー識別ＩＤ１０２ａに関連付けて、Ｓサイズの時計の３ＤＣＧデータ１０２ｂと、Ｍサイズの時計の３ＤＣＧデータ１０２ｃと、Ｌサイズの時計の３ＤＣＧデータ１０２ｄと、カラー１のカラーテクスチャデータ１０２ｅと、カラー２のカラーテクスチャデータ１０２ｆと、カラー３のカラーテクスチャデータ１０２ｇと、時計の説明文が記述されたテキスト１０２ｈが記憶されている。

それぞれの３ＤＣＧデータ１０２ｂ〜１０２ｄは、アニメーション効果（例えば、長針・短針の動きや、デジタル表示の数字の動き）を有し、更に、カラーテクスチャの色は、時計の文字盤のなど、時計の色にカラーコーディネイトされて決定されている。

操作パネル１６の操作ボタン１６０（Ｓ）、操作ボタン１６０（Ｍ）および操作ボタン１６０（Ｌ）は、それぞれ、３ＤＣＧデータベース１０２に記憶された時計の３ＤＣＧ１０２ｂ、時計の３ＤＣＧ１０２ｃおよび時計の３ＤＣＧ１０２ｄに関連付けられている。

拡張現実感表示装置１のグラフィック描写手段１０１は、操作ボタン１６０（Ｓ）が押されるとＳサイズの時計の３ＤＣＧデータ１０２ｂを読み出し、操作ボタン１６０（Ｍ）が押されるとＭサイズの時計の３ＤＣＧデータ１０２ｃを読み出し、操作ボタン１６０（Ｌ）が押されるとＬサイズの時計の３ＤＣＧデータ１０２ｄを読み出し、実写映像に合成して表示する。

図８は、時計の３ＤＣＧのサイズを変更する内容を説明する図で、図８（ａ）は、ユーザが操作パネル１６を操作する前のディスプレイ１２の表示内容で、拡張現実感表示装置１のグラフィック描写手段１０１は、操作パネル１６が操作されるまでは、Ｍサイズの時計の３ＤＣＧデータ１０２ｃを３ＤＣＧデータベース１０２から読み出して合成する。

図８（ｂ）は、操作ボタン１６０（Ｌ）が押された後のディスプレイ１２の表示内容で、拡張現実感表示装置１のグラフィック描写手段１０１は、操作パネル１６の操作ボタン１６０（Ｌ）が押されると、Ｌサイズの時計の３ＤＣＧデータ１０２ｄを３ＤＣＧデータベース１０２から読み出して合成し、図８（ｂ）に図示したように、時計の３ＤＣＧはサイズが大きくなって表示される。

操作パネル１６の操作ボタン１６０（Ｕｐ）、（Ｄｏｗｎ）のいずれかが押されると、拡張現実感表示装置１のグラフィック描写手段１０１は、押された操作ボタン１６０に従い、マーカー識別ＩＤを他のマーカー識別ＩＤに変更し、変更したマーカー識別ＩＤに関連付けられているＭサイズの時計の３ＤＣＧデータ１０２ｃを読み出し、実写映像に合成することで、ディスプレイに表示する時計の型番を変更する。

図９は、時計の型番を変更する内容を説明する図で、図９（ａ）は、ユーザが操作パネル１６を操作する前のディスプレイ１２の表示内容で、図９（ａ）では、文字盤が丸い時計の３ＤＣＧが合成されている。

図９（ｂ）は、操作ボタン１６０（Ｕｐ）が押された後のディスプレイ１２の表示内容で、操作ボタン１６０（Ｕｐ）が押されることで、マーク識別ＩＤはインクリメントされ、３ＤＣＧを表示する時計の型番は変更される。図９（ｂ）では、文字盤が四角い時計の３ＤＣＧが合成されている。

操作パネル１６の操作ボタン１６０（Ｃ１）、操作ボタン１６０（Ｃ２）および操作ボタン１６０（Ｃ３）は、それぞれ、カラーテクスチャデータ１０２ｅ、カラーテクスチャデータ１０２ｄおよびカラーテクスチャデータ１０２ｅに関連付けられている。

拡張現実感表示装置１のグラフィック描写手段１０１は、操作ボタン１６０（Ｃ１）が押されるとカラー１のカラーテクスチャデータ１０２ｅを読み出し、操作ボタン１６０（Ｃ２）が押されるとカラー２のカラーテクスチャデータ１０２ｆを読み出し、操作ボタン１６０（Ｃ３）が押されるとカラー３のカラーテクスチャデータ１０２ｇを読み出し、時計の３ＤＣＧの下に轢くようにカラーテクスチャを合成して表示する。

図１０は、カラーテクスチャを表示する内容を説明する図で、図１０（ａ）は、ユーザが操作パネル１６を操作する前のディスプレイ１２の表示内容で、拡張現実感表示装置１のグラフィック描写手段１０１は、操作パネル１６が操作されるまでは、カラーテクスチャは表示しない。

図１０（ｂ）は、操作ボタン１６０（Ｃ１）が押された後のディスプレイ１２の表示内容で、拡張現実感表示装置１のグラフィック描写手段１０１は、操作パネル１６の操作ボタン１６０（Ｃ１）が押されると、カラーがカラー１であるカラーテクスチャデータ１０２ｅを３ＤＣＧデータベース１０２から読み出し、図１０（ｂ）に図示したように、時計の３ＤＣＧの下に轢くように、カラーテクスチャを合成して表示する。

操作パネル１６の操作ボタン１６０（Ｏｎ）が押されると、拡張現実感表示装置１のグラフィック描写手段１０１は、使用している時計の３ＤＣＧの説明文が記述されたテキスト１０２ｈを３ＤＣＧデータベース１０２から読み出し、読み出したテキスト１０２ｈをテロップでディスプレイ１２に表示させ、操作パネル１６の操作ボタン１６０（Ｏｆｆ）が押されると、テロップを非表示にする。

図１１は、テロップを表示する内容を説明する図で、図１１（ａ）は、ユーザが操作パネル１６を操作する前のディスプレイ１２の表示内容で、図１１（ａ）では、ディスプレイ１２にテロップが表示されていない。

図１１（ｂ）は、操作ボタン１６０（Ｏｎ）が押された後のディスプレイ１２の表示内容で、操作ボタン１６０が押されることで、３ＤＣＧが表示されている時計の説明文がテロップでディスプレイ１２に表示される。

なお、本発明は、これまで説明した実施形態に限定されることなく、種々の変形や変更が可能である。例えば、本発明に係わる拡張現実感表示装置が実写映像に合成する物は、何ら時計に限定されず、装飾品、洋服、靴、バックなどをユーザが身に付ける物であればよい。更に、拡張現実感表示装置に備えられた外光遮蔽部材の形状は、図１で図示した形状に限定されるものではく、具体的には、実写映像に合成する物と拡張現実感表示装置が設置される環境によって決定される。例えば、実写映像に合成する物を洋服とした場合、拡張現実感表示装置は試着室のような構成になり、外光遮蔽部材は、試着室のカーテンのような形状になる。加えて、拡張現実感表示装置１に備えられた操作パネル１６に設けられた操作ボタン１６０も、図６で図示した内容に限定するものではない。

図１２は、外光遮蔽部材の変形例を説明する図である。図１２で図示した拡張現実感表示装置３は、図１で図示した様な一体型の装置ではなく、実写を撮影するカメラ３４と、ディスプレイ３２、コンピュータ３０などは個別に配置される。

図１２においては、ショーケース３６上には、マーカー部材３７を置くスタンド３３、カメラ３４、ディスプレイ３２が設置され、ショーケース３６の下には、コンピュータ３０が設置されている。また、カメラ周辺部に設けられる外光遮蔽部材３１の形状はボックス型で、操作パネル３５は、この外光遮蔽部材３１で覆われた空間内に設置されている。

本発明に係わる拡張現実感表示装置の外観図。ユーザが腕に付けるマーカー部材およびマーカーを説明する図。拡張現実感表示装置にハードウェアブロック図。拡張現実感表示装置の機能ブロック図。拡張現実感表示装置で実行されるシミュレーションの内容を説明する図。操作パネルの一例を説明する図。３ＤＣＧデータベースのデータ構造の一例を説明する図。時計の３ＤＣＧのサイズを変更する内容を説明する図。時計の型番を変更する内容を説明する図。カラーテクスチャを表示する内容を説明する図。テロップを表示する内容を説明する図。外光遮蔽部材の変形例を説明する図。

符号の説明

１拡張現実感表示装置
１０コンピュータ
１１カメラ
１２ディスプレイ
１３ＬＥＤ光源
１４パネル光源
１５外光遮蔽部材
１６操作パネル
１００マーカートラッキング手段
１０１グラフィック描写手段
１０２３ＤＣＧデータベース
２マーカー
２ａ正方形枠
２ｂ識別コード
２０マーカー部材

Claims

３次元コンピュータグラフィックス（３ＤＣＧ）を合成する位置の目印となるマーカーを含む実写映像を撮影するカメラと、前記実写映像を解析し、前記マーカーの位置をトラッキングするマーカートラッキング手段と、前記マーカーの位置や方向に整合させるように、前記マーカーに対応する前記３ＤＧＣを前記実写映像に合成するグラフィック描写手段と、前記３ＤＣＧが合成された前記実写映像を表示するディスプレイと、前記カメラへの外光を防ぐように設計された外光遮蔽部材と、前記外光遮蔽部材で覆われた空間内を照射する光源を備えたことを特徴とする拡張現実感表示装置。
請求項１に記載の拡張現実感表示装置であって、前記光源として、前記外光遮蔽部材で覆われた空間を上から照射する第１の光源と、前記外光遮蔽部材で覆われた空間を下から照射し、平面状である第２の光源を備えていることを特徴とする拡張現実感表示装置。
請求項１または請求項２に記載の拡張現実感表示装置であって、複数の操作ボタンを有する操作パネルを備え、前記グラフィック描写手段は、前記操作ボタンが押されたことを検知すると、押された前記操作ボタンに対応する処理を実行し、前記ディスプレイの表示内容を変更することを特徴とする拡張現実感表示装置。
請求項３に記載の拡張現実感表示装置であって、前記操作パネルは、前記実写映像に合成する前記３ＤＣＧのサイズを変更する複数の第１の操作ボタンを有し、前記グラフィック描写手段は、前記第１の操作ボタンが押されたことを検知すると、押された前記第１の操作ボタンに関連付けられているサイズに、前記実写映像に合成する前記３ＤＣＧのサイズを変更する処理を実行することを特徴とする拡張現実感表示装置。
請求項３または請求項４に記載の拡張現実感表示装置であって、前記操作パネルは、前記実写映像に合成する前記３ＤＣＧを変更する第２の操作ボタンを有し、前記グラフィック描写手段は、前記第２の操作ボタンが押されたことを検知すると、押された前記第２の操作ボタンに従い、前記実写映像に合成する前記３ＤＣＧを変更する処理を実行することを特徴とする拡張現実感表示装置。
請求項３から請求項５のいずれか一つに記載の拡張現実感表示装置であって、前記操作パネルは、前記実写映像に合成する前記３ＤＣＧの説明文を表示する前記第３の操作ボタンを有し、前記グラフィック描写手段は、前記第３の操作ボタンが押されたことを検知すると、前記３ＤＣＧの説明文を前記ディスプレイに表示する処理を実行することを特徴とする拡張現実感表示装置。
請求項３から請求項６のいずれか一つに記載の拡張現実感表示装置であって、前記操作パネルは、カラーテクスチャーを前記３ＤＣＧの下に轢くように表示する複数の第４の操作ボタンを有し、前記グラフィック描写手段は、前記第４の操作ボタンが押されたことを検知すると、押された前記第４の操作ボタンに対応した前記カラーテクスチャーを、前記３ＤＣＧの下に轢くように合成して表示する処理を実行することを特徴とする拡張現実感表示装置。