JP2019133507A - 複合現実システム、プログラム、方法、及び携帯端末装置 - Google Patents

Abstract

【課題】より簡易に、その場所に応じたＭＲを体験させることが可能な複合現実システムを提供する。【解決手段】本発明は、サーバ、並びに所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を備え、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムであって、所定の実空間内にある実オブジェクト上の予め定められた１以上の位置に、各々の位置に対応する位置情報を包含する識別子を含む識別コードと多角形の形状を有する位置合わせ用マーカとから構成されるＭＲマーカが配置され、サーバは、仮想空間データ記憶部と、アプリケーション記憶部とを備え、携帯端末装置は、ブラウザ部と、マーカ認識部と、位置決定部と、画像生成部とを備える。【選択図】図１

Description

本発明は、複合現実システム等に関し、特に所定の実空間内にいるユーザに対して複合現実感を体感させることができる複合現実システム等に関する。

近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術は、これを体験するユーザに対して、あたかもその場に仮想の物体が存在するかのような体験を行わせることができる。ＭＲ技術については、ユーザに違和感を与えることなく仮想空間の物体を表示させるような、ＭＲそのものを高精度に実行する技術が開発されている。例えば特許文献１は、複合現実環境において実空間の環境をリアルタイムに認識することができるシステムを開示している。

特許第６０８８０９４号

しかしながら、ユーザがＭＲ体験を開始するためには、例えばスマートフォンに専用のアプリをインストールする必要があった。更に、そのような専用のアプリを、場所に応じてユーザにダウンロードさせるためには、その場所に広帯域の無線通信を用意する必要があり、かつユーザにアプリのインストールを促す必要があるため、現実的に運用することは困難であった。

本発明は、このような課題を解決するためになされたものであり、ユーザに、より簡易に、その場所に応じたＭＲを体験させることが可能な複合現実システム等を提供することを主目的とする。

上記の目的を達成するために、本発明の一態様としての複合現実システムは、サーバ、並びに所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を備え、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムであって、前記所定の実空間内にある実オブジェクト上の予め定められた１以上の位置に、各々の位置に対応する位置情報を包含する識別子を含む識別コードと多角形の形状を有する位置合わせ用マーカとから構成されるＭＲマーカが配置され、前記サーバは、 予め取得された前記所定の実空間内にある実オブジェクトの３次元空間データであって各々が仮想空間における３次元位置情報を有する３次元形状要素から構成される３次元空間データと該仮想空間に配置される仮想オブジェクトデータとを含む仮想空間データを記憶する仮想空間データ記憶部と、前記識別コードに含まれる識別子により特定されるＷｅｂアプリケーションを記憶するアプリケーション記憶部であって、該Ｗｅｂアプリケーションは複合現実画像表示用ウェブページを提供し、該複合現実画像表示用ウェブページは、前記携帯端末装置により読み込まれると前記撮影装置を起動させるものであり、前記撮影装置が撮影する実空間の撮影画像に基づいた複合現実画像の表示領域を含むものである、アプリケーション記憶部と、を備え、前記携帯端末装置は、前記識別コードに含まれる識別子にアクセスして前記Ｗｅｂアプリケーションが提供する前記複合現実画像表示用ウェブページを表示するブラウザ部と、前記Ｗｅｂアプリケーションが起動され、前記撮影装置により前記ＭＲマーカが撮影されて前記識別コードが認識された場合、該ＭＲマーカを構成する前記位置合わせ用マーカを認識するマーカ認識部と、前記ブラウザ部がアクセスした識別子が包含する位置情報、及び前記マーカ認識部により認識された前記位置合わせ用マーカの形状及び大きさから決定される前記携帯端末装置と該位置合わせ用マーカとの位置関係に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定する位置決定部と、前記仮想空間データと前記仮想カメラの視点位置とに基づいて、前記複合現実画像表示用ウェブページにおける前記表示領域に表示するための、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を生成する画像生成部と、を備えることを特徴とする。

また、本発明において好ましくは、前記携帯端末装置は、前記撮影装置により前記ＭＲマーカが撮影される場合、前記識別コードを認識する識別コード認識部を備え、前記ブラウザ部は、前記識別コード認識部により認識された前記識別コードに含まれる識別子にアクセスして前記Ｗｅｂアプリケーションが提供する前記複合現実画像表示用ウェブページを表示する。

また、本発明において好ましくは、前記仮想空間データ記憶部は、前記識別コードに含まれる識別子の各々に対応する前記仮想空間データを記憶し、前記ブラウザ部は、アクセスした識別子に対応する前記仮想空間データを前記仮想空間データ記憶部から取得し、前記画像生成部は、前記仮想空間データ記憶部から取得された前記仮想空間データを用いて前記仮想カメラの視点位置からみた複合現実画像を生成する。

また、本発明において好ましくは、前記携帯端末装置は、前記Ｗｅｂアプリケーションが起動されて認識された前記識別コードに含まれる識別子が、前記ブラウザ部がアクセスした識別子と同一であるか否かを判定する識別子判定部を更に備え、前記マーカ認識部は、前記識別子判定部により同一であると判定された場合、前記位置合わせ用マーカを認識する。

また、本発明において好ましくは、前記ブラウザ部は、前記識別子判定部により同一でないと判定された場合、前記Ｗｅｂアプリケーションが起動されて認識された前記識別コードに含まれる他の識別子にアクセスし、該他の識別子に対応する前記仮想空間データを前記仮想空間データ記憶部から取得し、再読み込みをせずに前記複合現実画像表示用ウェブページを表示し、前記マーカ認識部は、前記他の識別子を含む前記識別コードとともに前記ＭＲマーカを構成する前記位置合わせ用マーカを認識する。

また、本発明において好ましくは、前記識別子はＵＲＬである。

また、本発明において好ましくは、前記３次元形状要素は、ポリゴンから構成されるメッシュである。

また、本発明において好ましくは、前記識別コードはＱＲコード（登録商標）又はデータマトリックスである。

また、本発明において好ましくは、前記位置合わせ用マーカは、正方形の形状を有する。

また、本発明において好ましくは、前記位置合わせ用マーカは、前記識別コードの縁に沿うように配置される。

また、本発明において好ましくは、前記マーカ認識部は、前記識別コードを予め定められた色で塗りつぶして消去することにより、前記位置合わせ用マーカを認識する。

また、本発明において好ましくは、前記位置合わせ用マーカは、前記識別コードの近傍に、前記識別コードと所定の位置関係を有する位置に配置される。

また、本発明において好ましくは、前記携帯端末装置は、前記サーバに前記画像生成部が生成する複合現実画像を構成する前記撮影装置が撮影する実空間の撮影画像及び仮想オブジェクトの画像データをそれぞれ送信し、他の端末装置が、該複合現実画像を取得することができるように構成される。

また、上記の目的を達成するために、本発明の一態様としてのプログラムは、所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を備え、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムのためのプログラムであって、前記システムは、前記所定の実空間内にある実オブジェクト上の予め定められた１以上の位置に、各々の位置に対応する位置情報を包含する識別子を含む識別コードと多角形の形状を有する位置合わせ用マーカとから構成されるＭＲマーカが配置され、予め取得された前記所定の実空間内にある実オブジェクトの３次元空間データであって各々が仮想空間における３次元位置情報を有する３次元形状要素から構成される３次元空間データ及び該仮想空間に配置される仮想オブジェクトデータを含む仮想空間データと、前記識別コードに含まれる識別子により特定されるＷｅｂアプリケーションと、を記憶し、該Ｗｅｂアプリケーションは複合現実画像表示用ウェブページを提供し、該複合現実画像表示用ウェブページは、前記携帯端末装置により読み込まれると前記撮影装置を起動させるものであり、前記撮影装置が撮影する実空間の撮影画像に基づいた複合現実画像の表示領域を含むものであり、前記プログラムは、前記携帯端末装置に、前記撮影装置が起動され、かつ前記撮影装置により前記ＭＲマーカが撮影される場合、前記識別コードを認識することにより、ブラウザを起動して該認識された前記識別コードに含まれる識別子にアクセスして前記複合現実画像表示用ウェブページを表示するステップと、前記Ｗｅｂアプリケーションが起動され、前記撮影装置により前記ＭＲマーカが撮影されて前記識別コードが認識された場合、該ＭＲマーカを構成する前記位置合わせ用マーカを認識するステップと、前記認識された前記位置合わせ用マーカの形状及び大きさから決定される前記携帯端末装置と前記位置合わせ用マーカとの位置関係、及び前記識別コードに含まれる識別子が包含する位置情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定するステップと、前記仮想空間データと前記仮想カメラの視点位置とに基づいて、前記複合現実画像表示用ウェブページにおける前記表示領域に表示するための、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を生成するステップと、を実行させることを特徴とする。

また、上記の目的を達成するために、本発明の一態様としての方法は、所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を備え、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにより実行される方法であって、前記システムは、前記所定の実空間内にある実オブジェクト上の予め定められた１以上の位置に、各々の位置に対応する位置情報を包含する識別子を含む識別コードと多角形の形状を有する位置合わせ用マーカとから構成されるＭＲマーカが配置され、予め取得された前記所定の実空間内にある実オブジェクトの３次元空間データであって各々が仮想空間における３次元位置情報を有する３次元形状要素から構成される３次元空間データ及び該仮想空間に配置される仮想オブジェクトデータを含む仮想空間データと、前記識別コードに含まれる識別子により特定されるＷｅｂアプリケーションと、を記憶し、該Ｗｅｂアプリケーションは複合現実画像表示用ウェブページを提供し、該複合現実画像表示用ウェブページは、前記携帯端末装置により読み込まれると前記撮影装置を起動させるものであり、前記撮影装置が撮影する実空間の撮影画像に基づいた複合現実画像の表示領域を含むものであり、前記携帯端末装置が、前記撮影装置が起動され、かつ前記撮影装置により前記ＭＲマーカが撮影される場合、前記識別コードを認識することにより、ブラウザを起動して該認識された前記識別コードに含まれる識別子にアクセスして前記複合現実画像表示用ウェブページを表示するステップと、前記Ｗｅｂアプリケーションが起動され、前記撮影装置により前記ＭＲマーカが撮影されて前記識別コードが認識された場合、該ＭＲマーカを構成する前記位置合わせ用マーカを認識するステップと、前記認識された前記位置合わせ用マーカの形状及び大きさから決定される前記携帯端末装置と前記位置合わせ用マーカとの位置関係、及び前記識別コードに含まれる識別子が包含する位置情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定するステップと、前記仮想空間データと前記仮想カメラの視点位置とに基づいて、前記複合現実画像表示用ウェブページにおける前記表示領域に表示するための、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を生成するステップと、を含むことを特徴とする。

また、上記の目的を達成するために、本発明の一態様としての携帯端末装置は、サーバ、並びに所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を備え、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおける携帯端末装置であって、前記システムは、前記所定の実空間内にある実オブジェクト上の予め定められた１以上の位置に、各々の位置に対応する位置情報を包含する識別子を含む識別コードと多角形の形状を有する位置合わせ用マーカとから構成されるＭＲマーカが配置され、予め取得された前記所定の実空間内にある実オブジェクトの３次元空間データであって各々が仮想空間における３次元位置情報を有する３次元形状要素から構成される３次元空間データ及び該仮想空間に配置される仮想オブジェクトデータを含む仮想空間データと、前記識別コードに含まれる識別子により特定されるＷｅｂアプリケーションと、を記憶し、該Ｗｅｂアプリケーションは複合現実画像表示用ウェブページを提供し、該複合現実画像表示用ウェブページは、前記携帯端末装置により読み込まれると前記撮影装置を起動させるものであり、前記撮影装置が撮影する実空間の撮影画像に基づいた複合現実画像の表示領域を含むものであり、前記携帯端末装置は、前記識別コードに含まれる識別子にアクセスして前記Ｗｅｂアプリケーションが提供する前記複合現実画像表示用ウェブページを表示するブラウザ部と、前記Ｗｅｂアプリケーションが起動され、前記撮影装置により前記ＭＲマーカが撮影されて、前記識別コードが認識された場合、該ＭＲマーカを構成する前記位置合わせ用マーカを認識するマーカ認識部と、前記ブラウザ部がアクセスした識別子が包含する位置情報、及び前記マーカ認識部により認識された前記位置合わせ用マーカの形状及び大きさから決定される前記携帯端末装置と該位置合わせ用マーカとの位置関係に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定する位置決定部と、前記仮想空間データと前記仮想カメラの視点位置とに基づいて、前記複合現実画像表示用ウェブページにおける前記表示領域に表示するための、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を生成する画像生成部と、を備えることを特徴とする。

本発明によれば、ユーザに、より簡易に、その場所に応じたＭＲを体験させることができる。

本発明の一実施形態による複合現実システムの全体構成図である。 本発明の一実施形態によるサーバのハードウェア構成を示すブロック図である。 本発明の一実施形態による携帯端末装置のハードウェア構成を示すブロック図である。 複合現実システムがユーザに複合現実感を提供する所定の実空間の一例を示す図である。 ＭＲマーカの一例を示す図である。 識別コードの一例を示す図である。 位置合わせ用マーカの一例を示す図である。 本発明の一実施形態によるサーバ３の機能ブロック図である。 本発明の一実施形態による携帯端末装置の機能ブロック図である。 本発明の一実施形態による複合現実システムの情報処理を示すフローチャートである。 ＭＲマーカの変形例を示す図である。

以下、図面を参照して、本発明の実施形態による複合現実システムについて説明する。本実施形態による複合現実システムは、例えばスマートフォンの画面を通してユーザが視認する実空間の撮影画像に対して、仮想空間の存在である仮想オブジェクトを重畳させて描画することにより、ユーザにＭＲを体験させる。仮想オブジェクトは、例えばゲームキャラクタのように、画面上のごく一部だけを占めるコンピュータグラフィックスである。本明細書においては、説明の便宜上、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成についての重複説明を省略する場合がある。

図１は、本発明の一実施形態による複合現実システム１の全体構成図である。図１に示すように、複合現実システム１は、サーバ３と、携帯端末装置４と備え、サーバ３及び携帯端末装置４は、インターネットなどのネットワーク２に接続され、互いに通信可能である。

図２は本発明の一実施形態によるサーバ３のハードウェア構成を示すブロック図である。サーバ３は、プロセッサ１１、表示装置１２、入力装置１３、記憶装置１４、及び通信装置１５を備える。これらの各構成装置はバス１６によって接続される。バス１６と各構成装置との間には必要に応じてインタフェースが介在しているものとする。

プロセッサ１１は、サーバ３全体の動作を制御するものであり、例えばＣＰＵである。なお、プロセッサ１１としては、ＭＰＵ等の電子回路が用いられてもよい。プロセッサ１１は、記憶装置１４に格納されているプログラムやデータを読み込んで実行することにより、様々な処理を実行する。１つの例では、プロセッサ１１は、複数のプロセッサから構成される。

表示装置（ディスプレイ）１２は、プロセッサ１１の制御に従って、アプリケーション画面などをサーバ３の使用者に表示する。入力装置１３は、サーバ３に対するユーザからの入力を受け付けるものであり、例えば、タッチパネル、タッチパッド、キーボード、又はマウスである。

記憶装置１４は、主記憶装置及び補助記憶装置を含む。主記憶装置は、例えばＲＡＭのような半導体メモリである。ＲＡＭは、情報の高速な読み書きが可能な揮発性の記憶媒体であり、プロセッサ２１が情報を処理する際の記憶領域及び作業領域として用いられる。主記憶装置は、読み出し専用の不揮発性記憶媒体であるＲＯＭを含んでいてもよい。この場合、ＲＯＭはファームウェア等のプログラムを格納する。補助記憶装置は、様々なプログラムや、各プログラムの実行に際してプロセッサ１１が使用するデータを格納する。補助記憶装置は、例えばハードディスク装置であるが、情報を格納できるものであればいかなる不揮発性ストレージ又は不揮発性メモリであってもよく、着脱可能なものであっても構わない。補助記憶装置は、例えば、オペレーティングシステム（ＯＳ）、ミドルウェア、アプリケーションプログラム、これらのプログラムの実行に伴って参照され得る各種データなどを格納する。

好適な１つの例では、記憶装置１４は各種データベース用のデータ（例えばテーブル）やプログラムを記憶する。プロセッサ１１の動作などにより、各種データベースは実現される。サーバ３は、データベースサーバ機能を備えることもできるし、１又は複数のデータベースサーバを含むこともできるし、又は他のサーバを含むこともできる。

通信装置１５は、ネットワーク２を介して携帯端末装置４などの他のコンピュータとの間でデータの授受を行う。例えば通信装置１５は、イーサネット（登録商標）ケーブル等を用いた有線通信や移動体通信、無線ＬＡＮ等の無線通信を行い、ネットワーク４へ接続する。

図３は本発明の一実施形態による携帯端末装置４のハードウェア構成を示すブロック図である。本実施形態において、携帯端末装置４はスマートフォンである。携帯端末装置４は、プロセッサ２１、表示装置２２、入力装置２３、撮影装置２４、記憶装置２５、及び通信装置２６を備える。これらの各構成装置はバス２７によって接続される。バス２７と各構成装置との間には必要に応じてインタフェースが介在しているものとする。ただし、携帯端末装置４は、上記の構成を備えるものであれば、タブレット型コンピュータ、タッチパッド等の接触型入力装置を備えるコンピュータなどとすることができる。

プロセッサ２１は、携帯端末装置４全体の動作を制御するものであり、例えばＣＰＵである。なお、プロセッサ２１としては、ＭＰＵ等の電子回路が用いられてもよい。プロセッサ２１は、記憶装置２４に格納されているプログラムやデータを読み込んで実行することにより、様々な処理を実行する。１つの例では、プロセッサ２１は、複数のプロセッサから構成される。

表示装置（ディスプレイ）２２は、プロセッサ２１の制御に従って、アプリケーション画面や撮影装置２４によって撮影された画像などを携帯端末装置４のユーザに表示する。好ましくは液晶ディスプレイであるが、有機ＥＬを用いたディスプレイやプラズマディスプレイ等であってもよい。

入力装置２３は、タッチパネル、タッチパッド、入力ボタン等のようにユーザからの入力を受け付ける機能を有するものである。本実施形態では、携帯端末装置４はスマートフォンであるため、携帯端末装置４は入力装置２３としてタッチパネルを備え、タッチパネルは表示装置２２としても機能し、表示装置２２と入力装置２３は一体となった構造である。ただし、表示装置２２と入力装置２３は、別の位置に配置される別個の形態であってもよい。

撮影装置（撮像装置）２４は、実空間の静止画又は動画を撮影（撮像）するものであり、撮影した画像又は動画データを記憶部２５に格納する。撮影装置２４は、例えばイメージセンサなどから構成されるカメラである。

記憶装置２５は、揮発性メモリであるＲＡＭ及び不揮発性メモリであるＲＯＭを含む、一般的なスマートフォンが備える記憶装置である。記憶装置２５は、外部メモリを含むこともできる。

１つの例では、記憶装置２５は、主記憶装置及び補助記憶装置を含む。主記憶装置は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、プロセッサ２１が情報を処理する際の記憶領域及び作業領域として用いられる。補助記憶装置は、様々なプログラムや、各プログラムの実行に際してプロセッサ２１が使用するデータを格納する。補助記憶装置は、例えばハードディスク装置であるが、情報を格納できるものであればいかなる不揮発性ストレージ又は不揮発性メモリであってもよく、着脱可能なものであっても構わない。補助記憶装置は、例えば、オペレーティングシステム（ＯＳ）、ミドルウェア、アプリケーションプログラム、これらのプログラムの実行に伴って参照され得る各種データなどを格納する。

通信装置２６は、ネットワーク２を介してサーバ３などの他のコンピュータとの間でデータの授受を行う。例えば通信装置２６は、移動体通信や無線ＬＡＮ等の無線通信を行い、ネットワーク２へ接続する。１つの例では、通信装置２６によって、プログラムをサーバ３からダウンロードして、記憶装置２５に格納する。ただし、通信装置２６は、イーサネット（登録商標）ケーブル等を用いた有線通信を行ってもよい。

本実施形態の複合現実システム１がユーザに複合現実感（ＭＲ）を提供する現実世界の空間（所定の実空間）として、図４に示すような予め定められた屋内の空間である実空間５０を想定する。実空間５０内には、現実世界の実オブジェクトである机５１が配置される。

本実施形態においては、実空間５０に対応付けされた仮想空間６０において、各々が仮想空間における３次元位置情報を有する基本単位を用いた３次元空間データにより、実オブジェクトの３次元形状を表す。この基本単位を３次元形状要素と表現する。本実施形態においては、３次元形状要素として３次元メッシュを用いる。したがって、３次元区間データは３次元メッシュから構成される。３次元メッシュは、１又は複数のポリゴンから形成され、各々の３次元メッシュを構成するポリゴンの頂点の少なくとも１つは３次元位置情報を有する。なお、３次元形状要素は、点群データなどとすることもできる。

３次元空間データは、以下のように予め取得される。１つの例では、最初に、例えば高精度なレーザスキャナ（図示せず）を用いることにより、実空間５０内の実オブジェクトの３次元形状を示す点群データを予め取得する。点群データのそれぞれは、例えば３次元座標（ｘ、ｙ、ｚ）を有し、実空間５０に対応付けられた仮想空間６０内に配置される。なお点群データのそれぞれは、色情報を有する色付き点群データである。続いて、既知の方法を用いて、上記のように取得された色付き点群データから各点群を頂点としたポリゴンが形成される。３次元メッシュは、当該ポリゴンから形成される。他の例では、３次元メッシュは、実空間５０内における複数の撮影画像から、既知の方法を用いて生成される。なお、３次元空間データを構成する３次元形状要素は、色情報を有する必要はないため、上記例示において、点群データは色情報を有していなくてもよい。

実空間５０内にある実オブジェクトの机５１の予め定められた１以上の位置には、ＭＲマーカ５２が配置される。１つの例では、図４に示すように、机５１の表面の複数箇所にＭＲマーカ５２が配置される。

図５は、ＭＲマーカ５２の一例を示す図である。ＭＲマーカ５２は、配置されるＭＲマーカ５２の各々の位置に対応する位置情報を包含する識別子５５を含む識別コード５３と四角形の形状を有する位置合わせ用マーカ５４とから構成される。

図６は、識別コード５３の一例を示す図である。本実施形態では、識別コード５３はＱＲコード（登録商標）（以下、「二次元コード」という。）であり、識別子５５はＵＲＬであるものとする。識別コード５３は、携帯端末装置４により撮影されることにより、ブラウザを起動するためのマーカであり、撮影されたＭＲマーカ５２を識別するためのマーカである。識別子５５は、サーバ３が記憶するＷｅｂアプリケーションの起動及び初期化と、配置されるＭＲマーカ５２の各々の位置に対応する位置情報を含む。１つの例では、二次元コード５３は、二次元コードリーダアプリ（ＱＲコード（登録商標）リーダアプリ）により認識され、二次元コード５３が包含するＵＲＬ５５は、二次元コードリーダアプリにより抽出される。他の変形例では、識別コード５３は、データマトリックスなどの他の二次元バーコードとすることもできる。

１つの例では、ＵＲＬ５５は以下に示すＵＲＬ（１）である。
https://サーバ名/MRシーンのID/@緯度,経度,アングル
サーバ名及びＭＲシーンのＩＤはサーバ３に対してアクセスする位置を指定するものであり、各々が英数字の文字列データから構成される。緯度、経度、及びアングルは、ＭＲマーカ５２の緯度、ＭＲマーカ５２の経度、ＭＲマーカ５２のアングル（方位）を示すものであり、各々が数値データから構成される。ＵＲＬ（１）は、ＭＲマーカ５２の標高を示す数値データを含むこともできる。ただし、識別子５５はＵＲＬ以外のファイル位置を指定する識別子とすることもできる。

図７は、位置合わせ用マーカ５４の一例を示す図である。本実施形態では、位置合わせ用マーカ５４は、正方形の形状を有し、識別コードの縁に沿うように配置される。位置合わせ用マーカ５４は、携帯端末装置４により撮影されることにより、携帯端末装置４の位置姿勢を算出するためのマーカであり、予め大きさ及び形状は定められている。位置合わせ用マーカ５４は、携帯端末装置４の位置姿勢を算出するためのマーカであるため、四角形以外の多角形の形状とすることもできる。好ましくは、位置合わせ用マーカ５４は、ＭＲマーカ５２を識別するためのマーカではないため、正方形の形状を有し、配置されるすべてのＭＲマーカ５２で同じである。これにより、システムの演算量を低減することができる。

なお、説明の便宜上、本実施形態の複合現実システム１がユーザにＭＲを提供する所定の実空間を図４に示すような実空間５０としているが、図４は１つの例であってこれに限定されない。例えば、実空間５０は、壁に覆われた屋内の空間であってもよいし、屋外の空間であってもよい。また例えば、実空間５０は、１つの区切られた空間であってもよいし、複数の区切られた空間を含むものであってもよい。また例えば、実オブジェクトは、机５１でなくてもよく、椅子、棚、壁又は地面などであってもよく、実空間５０は複数の実オブジェクトを含んでもよい。また例えば、ＭＲマーカ５２の位置は、実空間５０内にある実オブジェクトの予め定められた１以上の位置であれば、机５１の表面の複数箇所でなくてもよい。

図８は、本発明の一実施形態によるサーバ３の機能ブロック図である。サーバ３は、仮想空間データ記憶部３１と、アプリケーション記憶部３２と、を備える。本実施形態においては、プロセッサ１１によりプログラムが実行されることによりこれらの機能が実現される。本実施形態においては、各種機能がプログラム読み込みにより実現されるため、１つのパート（機能）の一部を他のパートが有していてもよい。ただし、各機能の一部又は全部を実現するための電子回路等を構成することによりハードウェアによってもこれらの機能は実現してもよい。なおサーバ３は、１つのサーバ装置から構成してもよいし、複数のサーバ装置から構成してもよい。

仮想空間データ記憶部３１は、予め取得された実空間５０内にある実オブジェクトの３次元空間データと、仮想空間６０に配置される３次元の仮想オブジェクトのデータである仮想オブジェクトデータとを含む仮想空間データを記憶する。３次元形状要素が３次元メッシュである場合、仮想オブジェクトデータも３次元メッシュにより形成される。仮想空間データ記憶部３１は、配置されるＭＲマーカ５２ごとに、ＭＲマーカ５２の周囲の実空間５０に対応する仮想空間６０における仮想空間データを記憶する。具体的には、仮想空間データ記憶部３１は、識別コード５３に含まれる識別子５５の各々に対応させて仮想空間データを記憶することにより、配置されるＭＲマーカ５２ごとに仮想空間データを記憶する。

１つの例では、仮想空間データ記憶部３１は、仮想空間データを記憶するデータベースとして機能し、記憶装置１４はデータベース用のデータ及びプログラムを記憶する。１つの例では、サーバ３は、仮想空間データ記憶部３１として、仮想空間データを記憶するデータベースサーバを備える。１つの例では、仮想オブジェクトデータは、時間に応じて形状が変化する仮想オブジェクトのデータである。

アプリケーション記憶部３２は、識別コード５３に含まれる識別子５５により特定されるＷｅｂアプリケーション３３（以下、「Ｗｅｂアプリ３３」という。）を記憶する。Ｗｅｂアプリ３３は、Ｗｅｂアプリ３３にアクセスする携帯端末装置４へ複合現実画像表示用ウェブページ３４（以下、「ＭＲ体験用ページ３４」という。）を提供する。ＭＲ体験用ページ３４は、携帯端末装置４により読み込まれると撮影装置２４を起動させるものであり、撮影装置２４が撮影する実空間５０の撮影画像（又は撮影動画）に基づいた複合現実画像の表示領域を含むものである。ＭＲ体験用ページ３４は、重畳させて描画させる仮想オブジェクトが無い場合、複合現実画像の表示領域には、撮影装置２４が撮影する実空間５０の撮影画像（又は撮影動画）を表示する。なお、複合現実画像の表示領域が、一般的なカメラのアプリと同様にして、ディスプレイ２２の大部分を占めるように、ＭＲ体験用ページ３４は構成されるのが好ましい。

１つの例では、携帯端末装置４は、二次元コードリーダアプリを通じて二次元コードから抽出されるＵＲＬ５５をＷｅｂブラウザのＵＲＬと解釈し、携帯端末装置４のブラウザは、ＵＲＬ５５へそのままアクセスする。サーバ３は、Ｗｅｂアプリ３３の実行に必要なHTML、JavaScript（登録商標）、画像等をレスポンスとして、携帯端末装置４へ送信する。当該レスポンスとして携帯端末装置４へ送信されるデータにより携帯端末装置４においてＷｅｂページとして表示されるものが、本実施形態におけるＭＲ体験用ページ４に対応する。ＭＲ体験用ページ３４は、JavaScript（登録商標）が組み込まれ、ＭＲ体験用ページ３４が携帯端末装置４に読み込まれたときにJavaScript（登録商標）が実行され、例えばHTML Media Capture APIにより、撮影装置２４を起動させる。１つの例では、サーバ３は、アプリケーション記憶部３２として、Ｗｅｂアプリ３３を記憶するアプリケーションサーバを備える。１つの例では、ＵＲＬ５５が前述のＵＲＬ（１）である場合において、ＭＲ体験用ページ３４により携帯端末装置４においてJavaScript（登録商標）からＵＲＬ５５が読み込まれる場合、携帯端末装置４は、＠以降も含んだＵＲＬ５５へアクセスする。この場合、サーバ３は、携帯端末装置４からのアクセスがＷｅｂアプリ３３からのアクセスであると判定して、ＵＲＬ５５に対応する仮想空間データ又は仮想オブジェクトデータをレスポンスとして、携帯端末装置４へ送信する。

図９は本発明の一実施形態による携帯端末装置４の機能ブロック図である。携帯端末装置４は、第１の識別コード認識部４１と、ブラウザ部４２と、第２の識別コード認識部４３と、識別子判定部４４と、マーカ認識部４５と、位置決定部４６と、画像生成部４７と、を備える。本実施形態においては、プロセッサ２１によりプログラムが実行されることによりこれらの機能が実現される。本実施形態においては、各種機能がプログラム読み込みにより実現されるため、１つのパート（機能）の一部を他のパートが有していてもよい。ただし、各機能の一部又は全部を実現するための電子回路等を構成することによりハードウェアによってもこれらの機能は実現してもよい。

第１の識別コード認識部４１は、撮影装置２４によりＭＲマーカ５２が撮影される場合、識別コード５３を認識する。ブラウザ部４２は、第１の識別コード認識部４１により認識された識別コード５３に含まれる識別子５５にアクセスして、該識別子５５により特定されるＷｅｂアプリ３３が提供するＭＲ体験用ページ３４を表示する。

１つの例では、携帯端末装置４は、一般的なスマートフォンにおいてインストールされているような二次元コードリーダアプリ及びブラウザがインストールされている。この場合、二次元コードリーダアプリが第１の識別コード認識部４１の機能を有し、ブラウザがブラウザ部４２の機能を有する。この場合、二次元コードリーダアプリは、実行されることにより撮影装置２４を起動し、起動された撮影装置２４によりＭＲマーカ５２が撮影されると、撮影画像から二次元コード５３を認識（識別）し、当該二次元コード５３からＵＲＬ５５を抽出する。二次元コードリーダアプリは、ＵＲＬ５５を抽出すると、ブラウザを起動する。ブラウザは、二次元コードリーダアプリが抽出したＵＲＬ５５にアクセスすると、該ＵＲＬ５５により特定されたサーバ３上のＷｅｂアプリ３３へアクセスし、サーバ３から受信したレスポンスに基づいてＭＲ体験用ページ３４を表示する。Ｗｅｂアプリ３３は、このようにアクセスされることで起動する。

１つの例では、ＵＲＬ５５が前述のＵＲＬ（１）である場合、サーバ４上のＷｅｂアプリ３３は、＠の前の部分により特定され、携帯端末装置４は、ＵＲＬ５５へアクセスすることで当該Ｗｅｂアプリ３３にアクセスする。

第２の識別コード認識部４３は、携帯端末装置４がＭＲ体験用ウェブページ３４にアクセスした後、撮影装置２４がＭＲマーカ５２を撮影する場合、撮影画像から識別コード５３を新たに認識する。或いは、第２の識別コード認識部４３は、ブラウザがＭＲ体験用ウェブページ３４にアクセスしており又は該ウェブページ３４を表示しており、かつ撮影装置２４がＭＲマーカ５２を撮影する場合、撮影画像から識別コード５３を新たに認識する。１つの例では、ＭＲ体験用ページ３４に組み込まれたJavaScript（登録商標）が自動的に実行されることにより、撮影装置２４が起動され、第２の識別コード認識部４３の機能が実現される。１つの例では、ブラウザが第２の識別コード認識部４３の機能を有する。１つの例では、携帯端末装置４が備える１つのアプリケーションやＡＰＩが、第１の識別コード認識部４１及び第２の識別コード認識部４３の機能を有する。このように、第１の識別コード認識部４１と第２の識別コード認識部４３は、同一のソフトウェアモジュールとすることができる。

識別子判定部４４は、Ｗｅｂアプリ３３が起動され、第２の識別コード認識部４３により識別コード５３が認識された場合、認識された識別コード５３に含まれる識別子５５が、ブラウザ部４２がアクセスした識別子５５と同一であるか否かを判定する。１つの例では、識別子判定部４４は、ブラウザがアクセスしているＵＲＬ５５と、ＭＲ体験用ページ３４内の複合現実画像の表示領域に表示するＭＲマーカ５２より認識される二次元コード５３から抽出されるＵＲＬ５５とが同一であるか否かを判定する。

マーカ認識部４５は、第２の識別コード認識部４３により識別コード５３が新たに認識された場合、位置合わせ用マーカ５４を認識する。好適な１つの例では、マーカ認識部４５は、更に識別子判定部４４により同一であると判定された場合に、位置合わせ用マーカ５４を認識する。このように構成される場合、マーカ認識部４５は、新たに認識された認識コード５３がＷｅｂアプリ３３を起動させたＭＲマーカ５２が含むものである場合に位置合わせ用マーカ５４を認識するため、Ｗｅｂアプリ３３を起動させたＭＲマーカ５２とそれ以外のＭＲマーカ５２を識別することが可能となる。

１つの例では、マーカ認識部４５は、ＭＲマーカ５２が識別コード５３と位置合わせ用マーカ５４とが一体として構成されるため、ＭＲマーカ５２のそのままの画像から位置合わせ用マーカ５４を認識することができない。そのため、マーカ認識部４５は、認識された識別コード５３を画像処理として消去することにより、位置合わせ用マーカ５４を抽出し、認識する。例えば、マーカ認識部４５は、ＭＲマーカ５２が配置されている机５１の背景色などの予め定められた色で識別コード５３を塗りつぶして消去することにより、位置合わせ用マーカ５４を認識する。

位置決定部４６は、ブラウザ部４２がアクセスした識別子５５が包含する位置情報、及び位置合わせ用マーカ５２の形状及び大きさから決定される携帯端末装置４と位置合わせ用マーカ５２との位置関係に基づいて、実空間５０における携帯端末装置４の位置及び撮影装置２４の撮影している角度を決定する。すなわち、位置決定部４６は、携帯端末装置４の位置（撮影装置２４の位置）及び撮影装置２４の撮影方向に対応する仮想空間５０における仮想カメラの視点位置を決定する。位置決定部４６が参照する識別コード５３は、第２の識別コード認識部４３により認識された識別コード５３であり、ブラウザ部４２がアクセスしている識別子５５を包含している識別コード５３である。

１つの例では、位置決定部４６は、以下のように仮想カメラの視点位置を決定する。識別子５５が、ＭＲマーカ５２の緯度、経度、標高、及びアングル（方位）の情報を含む場合、位置決定部４６は、識別子５５が含む情報から、携帯端末装置４の大まかな位置を、絶対的な位置として決定する。ここで決定される位置は、例えば絶対位置としての６ＤｏＦである。更に位置決定部４６は、マーカ認識部４５により認識された位置合わせ用マーカ５４を画像として認識し、式（１）に示すような、マーカ座標系からカメラ座標系へ変換するための座標変換行列Ｔを算出する。

（式１）
式（１）において、ｒは回転成分であり、ｔは並進成分を示している。位置決定部４６は、座標変換行列Ｔを用いることにより、撮影装置２４による撮影画像中のＭＲマーカ５２のカメラ座標系における位置及び姿勢を算出し、ＭＲマーカ５２の撮影装置２４に対する相対的な位置を決定する。ここで決定される位置は、例えば相対位置としての６ＤｏＦである。位置決定部４６は、上記のように決定される絶対位置及び相対位置を用いて、仮想空間６０における撮影装置２４の絶対位置を決定することにより、仮想カメラの視点位置を決定する。なお撮影装置２４の絶対位置は、６ＤｏＦであってもよいし、クオータニオンであってもよい。

画像生成部４７は、仮想空間データ記憶部３１に記憶される仮想空間データと位置決定部４６により決定される仮想カメラの視点位置とに基づいて、実空間５０の撮影画像に仮想オブジェクトを重畳させた複合現実画像を生成する。ブラウザ部４２が、識別子５５にアクセスすると、画像生成部４７は、仮想空間データ記憶部３１から識別子５５に対応する仮想空間データを取得し、取得された仮想空間データを用いて、仮想カメラの視点位置からみた複合現実画像を生成する。複合現実画像の生成にあたっては、特許文献１に示すような既知の方法を用いることができる。画像生成部４７により生成された複合現実画像は、ＭＲ体験用ページ３４における表示領域に表示される。好適な１つの例では、画像生成部４７は、所定のフレームレートで複合現実画像を生成することにより、ＭＲ動画を生成する。１つの例では、ブラウザ部４２が、画像生成部４７により生成された複合現実画像をＭＲ体験用ページ３４における表示領域に表示する。なお、画像生成部４７が撮影画像に重畳させるデータは仮想オブジェクトデータであるため、画像生成部４７が仮想空間データ記憶部３１から取得するデータは、仮想空間データのうちの仮想オブジェクトデータのみとすることもできる。

以下に、識別子判定部４４により同一でないと判定された場合の各部の処理について更に説明する。第２の識別コード認識部４３は、認識対象の撮影画像から識別部判定部４４により判定されていない識別コード５３を認識し、識別部判定部４４は、該認識された識別コード５３に含まれる識別子５５が、ブラウザ部４２がアクセスした識別子５５と同一であるか否かを判定する。第２の識別コード認識部４３及び識別部判定部４４は、認識対象の撮影画像に識別部判定部４４により判定されていない識別コード５３が含まれる限り、上記の処理を行う。

上記の場合において、識別子判定部４４が同一であると判定する識別コード５３が第２の識別コード認識部４３により認識されなかった場合、アクセス部４２は、第２の識別コード認識部４３により新たに認識された識別コード５３のうちの１つの識別コード５３に含まれる識別子５５にアクセスする。当該識別コード５３は、例えば第２の識別コード認識部４３の認識対象の撮影画像において一番中央に位置する識別コード５３である。このとき、ブラウザ部４２は、表示されているＭＲ体験用ページ３４の再読み込みを行わずに、ＭＲ体験用ページ３４の表示を継続する。マーカ認識部４５は、ブラウザ部４２によりアクセスされた識別子５５を含む識別コード５３を構成するＭＲマーカ５２が含む位置合わせ用マーカ５４を認識する。画像生成部４７は、仮想空間データ記憶部３１から、ブラウザ部４２によりアクセスされた識別子５５に対応する仮想空間データを取得し、取得された仮想空間データを用いて、仮想カメラの視点位置からみた複合現実画像を生成する。

１つの例では、上記のブラウザ部４２の機能は、ブラウザにおいて標準化されているＡＰＩであるhistory.pushState()関数を用いて実現される。これにより、ブラウザは、ＭＲ体験用ページ３４の再読み込みを行わずに履歴情報を残し、ＵＲＬ５５を動的に書き換えることが可能となる。１つの例では、上記の画像生成部４７のＵＲＬ５５に対応する仮想空間データを取得する機能は、JavaScript（登録商標）のfetch()関数を用いて実現される。当該JavaScript（登録商標）を実行することにより、携帯端末装置４は、書き換えられたＵＲＬ５５に対応するデータをサーバ３から取得することが可能となる。このとき携帯端末装置４は、ＵＲＬ５５が前述のＵＲＬ（１）である場合、＠以降も含んだＵＲＬ５５へアクセスする。サーバ３は、当該アクセスをＷｅｂアプリ３３からのアクセスであると判定して、＠以降も含んだＵＲＬ５５に対応する仮想空間データを携帯端末装置４へ送信する。この場合、ＭＲ体験用ページ３４はJavaScript（登録商標）が組み込まれ、携帯端末装置４は、上記のように、ＵＲＬ５５が動的に書き換えられたときに、書き換えられたＵＲＬ５５に対応するデータをサーバ３から取得するように構成される。

本実施形態による複合現実システム１は、更に、ネットワーク２に接続可能なスマートフォンなどの他の端末装置に、携帯端末装置４が表示しているＭＲ体験用ページ３４における表示領域に表示される複合現実画像又はＭＲ動画を配信できるように構成される。

１つの例では、サーバ３は、ＵＲＬ５５を介して、携帯端末装置４からのアクセスを受け付けており、例えばＵＲＬに関連付けて、記憶装置２５の所定の格納場所に複合現実画像又はＭＲ動画を記憶する。他の端末装置は、当該ＵＲＬにアクセスすることで、複合現実画像又はＭＲ動画を閲覧することができる。

１つの例では、サーバ３は、ＷＥＢＲＴＣを提供する配信用ウェブページを記憶し、配信用ウェブページは、ＵＲＬ５５を介して、携帯端末装置４からのアクセスを受け付けている。この場合、携帯端末装置４にインストールされているブラウザは、ＷＥＢＲＴＣをサポートするものである。配信用ウェブページは、画像生成部４８が生成する複合現実画像を構成する、撮影装置２４が撮影する実空間５０の撮影画像と該撮影画像に重畳される仮想オブジェクトの画像データとを受信する。他の端末装置が配信用ウェブページにアクセスすると、サーバ３は、携帯端末装置４及び他の端末装置のＩＰアドレス及びポート番号をお互いに通知し、２つの端末装置がPeer-to-Peer通信できるように設定する。これにより、他の端末装置は、携帯端末装置４のユーザが閲覧する複合現実画像を閲覧することが可能となる。この場合、２以上の端末装置が、Peer-to-Peer通信可能である。他の例では、サーバ３以外のサーバが配信用ウェブページを記憶する。他の例では、他の端末装置が配信用ウェブページにアクセスすると、他の端末装置は、サーバ３又はサーバ３以外のサーバ（例えばＭＣＵサーバ又はＳＦＵサーバ）から、撮影装置２４が撮影する実空間５０の撮影画像と該撮影画像に重畳される仮想オブジェクトの画像データとを受信する。

次に、本発明の一実施形態による複合現実システム１の情報処理について図１０に示したフローチャートを用いて説明する。図１０に示す情報処理は、プログラムを携帯端末装置４に実行させ、かつプログラムをサーバ３に実行させることで実現される。本処理においては、携帯端末装置４を持っているユーザは実空間５０内におり、携帯端末装置４は、一般的なスマートフォンにおいてインストールされているような二次元コードリーダアプリ及びブラウザがインストールされている。

ステップ１０１で、二次元コードリーダアプリが起動された携帯端末装置４は、ＭＲマーカ５２を撮影すると、撮影装置２４の撮影画像から二次元コードを認識（抽出）する。携帯端末装置４（二次元コードリーダアプリ）は、二次元コード５３からＵＲＬ５５を抽出して読み込むと、ブラウザを起動し、当該ＵＲＬ５５をパラメータとして受け渡す。

ステップ１０２で、携帯端末装置４（ブラウザ）は、ＵＲＬ５５にアクセスし、ＭＲ体験用ページ３４を表示する。ブラウザがＵＲＬ５５にアクセスすると、ブラウザ内でJavaScript（登録商標）が自動的に実行され、撮影装置２４が起動される。なお、ステップ１０１からステップ１０２における撮影装置２４の起動までは一連の動作であるため、最初のユーザの一般的な動作においては、撮影装置２４は、ステップ１０１で撮影されたＭＲマーカ５２を撮影したままである。この場合、ＭＲ体験用ページ３４の表示領域には、当該ＭＲマーカ５２が表示される。

携帯端末装置４（ブラウザ）は、撮影装置２４の撮影画像から二次元コード５３を認識すると（ステップ１０３）、ステップ１０４で、携帯端末装置４（ブラウザ）は、撮影画像の中にある１つの二次元コード５３をデコードし、ＵＲＬ５５を抽出する。ステップ１０３では、携帯端末装置４（ブラウザ）は、二次元コード５３を認識するまで本処理を実行し続けるように構成されるが、エラーメッセージをディスプレイ２４に表示するように構成してもよい。ステップ１０４では、ブラウザが有する機能により二次元コード５３をデコードしてＵＲＬ５５を抽出してもよいし、ブラウザ内で実行されるJavaScript（登録商標）により、二次元コード５３をデコードしてＵＲＬ５５を抽出してもよい。

ステップ１０５で、携帯端末装置４は、ブラウザがアクセスしているＵＲＬ５５と、ステップ１０４において抽出されたＵＲＬ５５とが同一であるか否かを判定する。ステップ１０５で、同一であると判定された場合、本処理はステップ１０８へ進み、同一でないと判定された場合、本処理はステップ１０６へ進む。

ステップ１０６で、携帯端末装置４（ブラウザ）は、撮影装置２４の撮影画像から既に認識した二次元コード５３以外の二次元コード５３が有るか否かを判定する。ステップ１０６で有ると判定された場合、ステップ１０４で、携帯端末装置４（ブラウザ）は、撮影画像の中にある二次元コード５３であって、まだ認識していない二次元コード５３からＵＲＬ５５を更に抽出する。

本処理は、ステップ１０４〜ステップ１０６を繰り返し、撮影画像から認識された二次元コード５３に含まれるＵＲＬ５５のいずれもが、ブラウザがアクセスしているＵＲＬ５５と同一でない場合、ステップ１０７へ進む。ステップ１０５で同一でないと判定された場合において撮影画像に１つの二次元コード５３のみが含まれる場合においても、本処理は、ステップ１０６からステップ１０７へ進む。

ステップ１０７で、携帯端末装置４（ブラウザ）は、例えば撮影画像の一番中央に位置する二次元コード５３から抽出されるＵＲＬ５５を、携帯端末装置４がアクセスしているＵＲＬとして、例えばブラウザの最新履歴として、更新する。携帯端末装置４（ブラウザ）は、撮影画像に１つの二次元コード５３のみが含まれる場合、当該二次元コード５３から抽出されるＵＲＬ５５を、携帯端末装置４がアクセスしているＵＲＬとして更新する。

ステップ１０８で、携帯端末装置４は、ブラウザがアクセスしているＵＲＬ５５を含む二次元コード５３を、該二次元コード５３を構成するＭＲマーカ５２から画像処理として消去することにより、該ＭＲマーカ５２が含む位置合わせ用マーカ５４を認識する。１つの例では、ステップ１０５で同一であると判定された場合、ステップ１０８で、携帯端末装置４は、ステップ１０４で認識された二次元コード５３を画像処理として消去することにより、位置合わせ用マーカ５４を抽出し、認識する。ステップ１０５で同一でないと判定され、ステップ１０７でブラウザがアクセスしているＵＲＬを撮影画像にある１つの二次元コード５３から抽出されるＵＲＬ５５に更新した場合、ステップ１０８で、該二次元コード５３を画像処理として消去することにより、位置合わせ用マーカ５４を抽出し、認識する。ステップ１０８で、携帯端末装置４は、位置合わせ用マーカ５４を認識し、座標変換行列Ｔを算出する。

ステップ１０９で、携帯端末装置４は、算出された座標変換行列Ｔを用いて、仮想空間６０における仮想カメラの視点位置を決定する。仮想カメラの視点位置は、複合現実画面において仮想空間５０を表示する際の仮想的なカメラ位置である。

ステップ１１０で、携帯端末装置４は、ブラウザがアクセスしているＵＲＬ５５に対応する仮想空間データをサーバ３から取得し、取得された仮想空間データを用いて、仮想カメラの視点位置からみた複合現実画像を生成する。本処理は、例えばアプリケーションが終了するなどにより終了しない限り、ステップ１０３へ進む（ステップ１１１）。

次に、本発明の実施形態による複合現実システム１の作用効果について説明する。本実施形態では、複合現実システム１には、実空間５０内に二次元コード５３と位置合わせ用マーカ５４とを統合したＭＲマーカ５２が配置される。携帯端末装置４は、既存の任意の二次元コードリーダアプリを用いて、ＭＲマーカ５２の二次元コード５３を読み込んでＵＲＬ５５を抽出し、当該ＵＲＬ５５にアクセスすることによりサーバ３上に記憶されるＷｅｂアプリ３３を実行する。携帯端末装置４は、Ｗｅｂアプリ３３を起動させたＭＲマーカ５２の識別に二次元コード５３を用い、携帯端末装置４の位置姿勢を算出するために、該二次元コード５３とともに該ＭＲマーカ５２を構成する位置合わせ用マーカ５４を用いる。

このように、複合現実システム１は、二次元コード５３を識別用マーカとして用い、識別用マーカの内容に応じて、姿勢制御マーカとして用いる位置合わせ用マーカ５４を選択することが可能となる。このような多段階のコード識別を行う構成とすることにより、撮影装置２４が複数のＭＲマーカ５２を撮影した場合であっても、二次元コード５３及び位置合わせ用マーカ５４を適切に関連付けて認識することが可能となる。

また本実施形態では、複合現実システム１は、既存の二次元コードリーダアプリ及びブラウザがインストールされたスマートフォンなどの携帯端末装置４を用いる。したがって、ユーザは、携帯端末装置４に特別なアプリケーションのインストールを行うことなく、より簡易に、ＭＲを体験することが可能となる。

また本実施形態では、複合現実システム１は、携帯端末装置４が二次元コード５３から抽出されるＵＲＬ５５に特定されるＷｅｂアプリ３３にアクセスすることにより実現される。そのため、複合現実システム１は、ＵＲＬ５５を、ＭＲ体験の開始の基点として用いるだけでなく、ＭＲ体験を共有する基点として用いることが可能となる。

また本実施形態では、サーバ３は、二次元コード５３に含まれるＵＲＬ５５の各々に対応する仮想空間データを記憶する。記憶される仮想空間データは、配置されるＭＲマーカ５２ごとに、ＭＲマーカ５２の周囲の実空間５０に対応する仮想空間６０における仮想空間データである。携帯端末装置４は、二次元コード５３を読み込んでＵＲＬ５５を抽出し、当該ＵＲＬ５５にアクセスすることにより、サーバ３上に記憶される仮想空間データを取得し、取得されたデータを用いて仮想カメラの視点からみた複合現実画像を生成する。複合現実システム１は、このように構成され、また前述のとおり二次元コード５３及び位置合わせ用マーカ５４を適切に関連付けて認識することが可能であるため、ユーザに、配置されるＭＲマーカ５２ごとに、その場所に応じたＭＲを体験させることが可能となる。

また本実施形態では、携帯端末装置４は、二次元コード５３に含まれるＵＲＬ５５に対応する仮想空間データを取得するとともに、該二次元コード５３とともにＭＲマーカ５２を構成する位置合わせ用マーカ５４を認識する。そして、携帯端末装置４は、二次元コード５３に含まれるＵＲＬ５５が包含する位置情報、及び認識された位置合わせ用マーカ５２の形状及び大きさから決定される携帯端末装置４と位置合わせ用マーカ５２との位置関係に基づいて、実空間６０における撮影装置２４の位置及び撮影方向に対応する仮想空間５０における仮想カメラの視点位置を決定する。このような構成とすることにより、実空間５０内の実オブジェクトと仮想オブジェクトとがほぼ正確に接触する、高精度な複合現実空間をユーザに提供することが可能となる。

また本実施形態では、携帯端末装置４は、Ｗｅｂアプリ３３を起動した後に新たに認識された二次元コード５３から抽出されたＵＲＬ５５が、ブラウザによりアクセスしているＵＲＬ５５と同一であるか否かを判定する。携帯端末装置４は、同一でないと判定した場合、ＭＲ体験用ページ３４の再読み込みをせずに、新たに認識された二次元コード５３から抽出されたＵＲＬ５５を、携帯端末装置４がアクセスしているＵＲＬとして、例えばブラウザの最新履歴として、更新する。携帯端末装置４は、更新されたＵＲＬ５５を含む二次元コード５３とともにＭＲマーカ５２を構成する位置合わせ用マーカ５４を認識し、これにより算出された座標変換行列Ｔを用いて、仮想空間６０における仮想カメラの視点位置を決定する。携帯端末装置４は、更新されたＵＲＬ５５に対応する仮想空間データをサーバ３から取得し、取得された仮想空間データを用いて、仮想カメラの視点位置からみた複合現実画像を生成する。

このような構成とすることにより、携帯端末装置４は、最初に基準となるＭＲマーカ５２を設定し、ユーザの移動により撮影装置２４が他のＭＲマーカ５２の二次元コード５３を認識したとき、基準となるＭＲマーカ５２を変更する「ローミング処理」を行うことが可能となる。この「ローミング処理」において、携帯端末装置４は、Ｗｅｂアプリ３３起動後のＭＲマーカ５２の識別に二次元コード５３を用いている。これにより、実空間５０内を移動するユーザに対して、ＭＲ体験を提供し続けることが可能となる。またこのとき、ブラウザは、ＭＲ体験用ページ３４の再読み込みを行わずにＵＲＬ５５を動的に書き換えるため、実空間５０内を移動するユーザに対して、ＭＲ体験をシームレスに提供し続けることが可能となる。

また本実施形態では、サーバ３は、ＵＲＬ５５を介して、携帯端末装置４からのアクセスを受け付けており、他の端末装置は、例えばサーバ３にアクセスすることにより、携帯端末装置４が表示しているＭＲ体験用ページ３４における表示領域に表示されるＭＲ動画等を取得する。このような構成とすることにより、携帯端末装置４のユーザは、例えばＭＲ動画等にアクセス可能なＵＲＬをＳＮＳ上に投稿することにより、自身が体験する複合現実感を他のユーザと共有することが可能となる。近年、スマートフォンを用いたＷｅｂ利用者、特にＳＮＳ利用者が多いが、上記のように、複合現実システム１は、今まで実施されていないような、複合現実感の体験を既存のＷｅｂシステムを用いて共有するシステムを提供するため、ＭＲシステムを、より簡易に、より一般的に使用することが可能となる。

このように複合現実システム１は、ＵＲＬ５５を、ＭＲ体験の開始・閲覧・共有の基点として利用可能なシステムを実現している。これにより、ユーザに、より簡易に、その場所に応じたＭＲを体験させることが可能となる。

上記の作用効果は、特に言及が無い限り、他の実施形態や他の実施例においても同様である。

本発明の他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現するプログラムを格納したコンピュータ読み取り可能な記憶媒体とすることもできる。また他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現する方法とすることもできる。また他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現するプログラムをコンピュータに供給することができるサーバとすることもできる。また他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現する仮想マシンとすることもできる。

以下に本発明の実施形態の変形例について説明する。以下で述べる変形例は、矛盾が生じない限りにおいて、適宜組み合わせて本発明の任意の実施形態に適用することができる。

１つの例では、ＭＲマーカ５２は、識別コード５３と、識別コード５３の近傍に、識別コード５３と所定の位置関係を有する位置に配置される、多角形の形状を有する位置合わせ用マーカ５４とから構成される。図１１は、ＭＲマーカ５２の変形例を示す図である。本変形例では、位置合わせ用マーカ５４は、正方形の形状を有し、識別コード５３に隣接して配置され、マーカ認識部４５は、ＭＲマーカ５２のそのままの画像から位置合わせ用マーカ５４を認識することができる。この場合、マーカ認識部４５は、第２の識別コード認識部４３により識別コード５３が新たに認識されると、該識別コード５３と所定の位置関係を有する位置に配置された位置合わせ用マーカ５４を認識する。

１つの例では、識別子判定部４４は、同一でないと判定した場合、第２の識別コード認識部４３により新たに認識された識別コード５３に含まれる識別子５５が包含する位置情報と、ブラウザ部４２がアクセスした識別子５５が包含する位置情報とが所定距離範囲内であるか否かを更に判定する。所定距離範囲内でない場合、ブラウザ部４２は、第２の識別コード認識部４３により新たに認識された識別コード５３に含まれる識別子５５にアクセスせず、マーカ認識部４５は、該識別コード５３を構成するＭＲマーカ５２が含む位置合わせ用マーカ５４を認識しない。

以上に説明した処理又は動作において、あるステップにおいて、そのステップではまだ利用することができないはずのデータを利用しているなどの処理又は動作上の矛盾が生じない限りにおいて、処理又は動作を自由に変更することができる。また以上に説明してきた各実施例は、本発明を説明するための例示であり、本発明はこれらの実施例に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。

１ 複合現実システム
２ ネットワーク
３ サーバ
４ 携帯端末装置
１１ プロセッサ
１２ 表示装置
１３ 入力装置
１４ 記憶装置
１５ 通信装置
１６ バス
２１ プロセッサ
２２ 表示装置
２３ 入力装置
２４ 撮影装置
２５ 記憶装置
２６ 通信装置
２７ バス
３１ 仮想空間データ記憶部
３２ アプリケーション記憶部
４１ 第１の識別コード認識部
４２ ブラウザ部
４３ 第２の識別コード認識部
４４ 識別子判定部
４５ マーカ認識部
４６ 位置決定部
４７ 画像生成部
５０ 実空間
５１ 机
５２ ＭＲマーカ
５３ 識別コード
５４ 位置合わせ用マーカ
５５ 識別子

Claims (16)

1. サーバ、並びに所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を備え、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムであって、
   前記所定の実空間内にある実オブジェクト上の予め定められた１以上の位置に、各々の位置に対応する位置情報を包含する識別子を含む識別コードと多角形の形状を有する位置合わせ用マーカとから構成されるＭＲマーカが配置され、
   前記サーバは、
   予め取得された前記所定の実空間内にある実オブジェクトの３次元空間データであって各々が仮想空間における３次元位置情報を有する３次元形状要素から構成される３次元空間データと該仮想空間に配置される仮想オブジェクトデータとを含む仮想空間データを記憶する仮想空間データ記憶部と、
   前記識別コードに含まれる識別子により特定されるＷｅｂアプリケーションを記憶するアプリケーション記憶部であって、該Ｗｅｂアプリケーションは複合現実画像表示用ウェブページを提供し、該複合現実画像表示用ウェブページは、前記携帯端末装置により読み込まれると前記撮影装置を起動させるものであり、前記撮影装置が撮影する実空間の撮影画像に基づいた複合現実画像の表示領域を含むものである、アプリケーション記憶部と、を備え、
   前記携帯端末装置は、
   前記識別コードに含まれる識別子にアクセスして前記Ｗｅｂアプリケーションが提供する前記複合現実画像表示用ウェブページを表示するブラウザ部と、
   前記Ｗｅｂアプリケーションが起動され、前記撮影装置により前記ＭＲマーカが撮影されて前記識別コードが認識された場合、該ＭＲマーカを構成する前記位置合わせ用マーカを認識するマーカ認識部と、
   前記ブラウザ部がアクセスした識別子が包含する位置情報、及び前記マーカ認識部により認識された前記位置合わせ用マーカの形状及び大きさから決定される前記携帯端末装置と該位置合わせ用マーカとの位置関係に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定する位置決定部と、
   前記仮想空間データと前記仮想カメラの視点位置とに基づいて、前記複合現実画像表示用ウェブページにおける前記表示領域に表示するための、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を生成する画像生成部と、
   を備える複合現実システム。
2. 前記携帯端末装置は、
   前記撮影装置により前記ＭＲマーカが撮影される場合、前記識別コードを認識する識別コード認識部を備え、
   前記ブラウザ部は、前記識別コード認識部により認識された前記識別コードに含まれる識別子にアクセスして前記Ｗｅｂアプリケーションが提供する前記複合現実画像表示用ウェブページを表示する、請求項１に記載の複合現実システム。
3. 前記仮想空間データ記憶部は、前記識別コードに含まれる識別子の各々に対応する前記仮想空間データを記憶し、
   前記ブラウザ部は、アクセスした識別子に対応する前記仮想空間データを前記仮想空間データ記憶部から取得し、
   前記画像生成部は、前記仮想空間データ記憶部から取得された前記仮想空間データを用いて前記仮想カメラの視点位置からみた複合現実画像を生成する、請求項１又は２に記載の複合現実システム。
4. 前記携帯端末装置は、前記Ｗｅｂアプリケーションが起動されて認識された前記識別コードに含まれる識別子が、前記ブラウザ部がアクセスした識別子と同一であるか否かを判定する識別子判定部を更に備え、
   前記マーカ認識部は、前記識別子判定部により同一であると判定された場合、前記位置合わせ用マーカを認識する、請求項３に記載の複合現実システム。
5. 前記ブラウザ部は、前記識別子判定部により同一でないと判定された場合、前記Ｗｅｂアプリケーションが起動されて認識された前記識別コードに含まれる他の識別子にアクセスし、該他の識別子に対応する前記仮想空間データを前記仮想空間データ記憶部から取得し、再読み込みをせずに前記複合現実画像表示用ウェブページを表示し、
   前記マーカ認識部は、前記他の識別子を含む前記識別コードとともに前記ＭＲマーカを構成する前記位置合わせ用マーカを認識する、請求項４に記載の複合現実システム。
6. 前記識別子はＵＲＬである、請求項１から５のいずれか１項に記載の複合現実システム。
7. 前記３次元形状要素は、ポリゴンから構成されるメッシュである、請求項１から６のいずれか１項に記載の複合現実システム。
8. 前記識別コードはＱＲコード（登録商標）又はデータマトリックスである、請求項１から７のいずれか１項に記載の複合現実システム。
9. 前記位置合わせ用マーカは、正方形の形状を有する、請求項１から８のいずれか１項に記載の複合現実システム。
10. 前記位置合わせ用マーカは、前記識別コードの縁に沿うように配置される、請求項１から９のいずれか１項に記載の複合現実シテム。
11. 前記マーカ認識部は、前記識別コードを予め定められた色で塗りつぶして消去することにより、前記位置合わせ用マーカを認識する、請求項１０に記載の複合現実システム。
12. 前記位置合わせ用マーカは、前記識別コードの近傍に、前記識別コードと所定の位置関係を有する位置に配置される、請求項１から９のいずれか１項に記載の複合現実システム。
13. 前記携帯端末装置は、前記サーバに前記画像生成部が生成する複合現実画像を構成する前記撮影装置が撮影する実空間の撮影画像及び仮想オブジェクトの画像データをそれぞれ送信し、他の端末装置が、該複合現実画像を取得することができるように構成される、請求項１から１２のいずれか１項に記載の複合現実システム。
14. 所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を備え、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムのためのプログラムであって、
    前記システムは、
    前記所定の実空間内にある実オブジェクト上の予め定められた１以上の位置に、各々の位置に対応する位置情報を包含する識別子を含む識別コードと多角形の形状を有する位置合わせ用マーカとから構成されるＭＲマーカが配置され、
    予め取得された前記所定の実空間内にある実オブジェクトの３次元空間データであって各々が仮想空間における３次元位置情報を有する３次元形状要素から構成される３次元空間データ及び該仮想空間に配置される仮想オブジェクトデータを含む仮想空間データと、
    前記識別コードに含まれる識別子により特定されるＷｅｂアプリケーションと、を記憶し、該Ｗｅｂアプリケーションは複合現実画像表示用ウェブページを提供し、該複合現実画像表示用ウェブページは、前記携帯端末装置により読み込まれると前記撮影装置を起動させるものであり、前記撮影装置が撮影する実空間の撮影画像に基づいた複合現実画像の表示領域を含むものであり、
    前記プログラムは、前記携帯端末装置に、
    前記撮影装置が起動され、かつ前記撮影装置により前記ＭＲマーカが撮影される場合、前記識別コードを認識することにより、ブラウザを起動して該認識された前記識別コードに含まれる識別子にアクセスして前記複合現実画像表示用ウェブページを表示するステップと、
    前記Ｗｅｂアプリケーションが起動され、前記撮影装置により前記ＭＲマーカが撮影されて前記識別コードが認識された場合、該ＭＲマーカを構成する前記位置合わせ用マーカを認識するステップと、
    前記認識された前記位置合わせ用マーカの形状及び大きさから決定される前記携帯端末装置と前記位置合わせ用マーカとの位置関係、及び前記識別コードに含まれる識別子が包含する位置情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定するステップと、
    前記仮想空間データと前記仮想カメラの視点位置とに基づいて、前記複合現実画像表示用ウェブページにおける前記表示領域に表示するための、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を生成するステップと、
    を実行させるプログラム。
15. 所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を備え、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにより実行される方法であって、
    前記システムは、
    前記所定の実空間内にある実オブジェクト上の予め定められた１以上の位置に、各々の位置に対応する位置情報を包含する識別子を含む識別コードと多角形の形状を有する位置合わせ用マーカとから構成されるＭＲマーカが配置され、
    予め取得された前記所定の実空間内にある実オブジェクトの３次元空間データであって各々が仮想空間における３次元位置情報を有する３次元形状要素から構成される３次元空間データ及び該仮想空間に配置される仮想オブジェクトデータを含む仮想空間データと、
    前記識別コードに含まれる識別子により特定されるＷｅｂアプリケーションと、を記憶し、該Ｗｅｂアプリケーションは複合現実画像表示用ウェブページを提供し、該複合現実画像表示用ウェブページは、前記携帯端末装置により読み込まれると前記撮影装置を起動させるものであり、前記撮影装置が撮影する実空間の撮影画像に基づいた複合現実画像の表示領域を含むものであり、
    前記携帯端末装置が、
    前記撮影装置が起動され、かつ前記撮影装置により前記ＭＲマーカが撮影される場合、前記識別コードを認識することにより、ブラウザを起動して該認識された前記識別コードに含まれる識別子にアクセスして前記複合現実画像表示用ウェブページを表示するステップと、
    前記Ｗｅｂアプリケーションが起動され、前記撮影装置により前記ＭＲマーカが撮影されて前記識別コードが認識された場合、該ＭＲマーカを構成する前記位置合わせ用マーカを認識するステップと、
    前記認識された前記位置合わせ用マーカの形状及び大きさから決定される前記携帯端末装置と前記位置合わせ用マーカとの位置関係、及び前記識別コードに含まれる識別子が包含する位置情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定するステップと、
    前記仮想空間データと前記仮想カメラの視点位置とに基づいて、前記複合現実画像表示用ウェブページにおける前記表示領域に表示するための、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を生成するステップと、
    を含む方法。
16. サーバ、並びに所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を備え、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおける携帯端末装置であって、
    前記システムは、
    前記所定の実空間内にある実オブジェクト上の予め定められた１以上の位置に、各々の位置に対応する位置情報を包含する識別子を含む識別コードと多角形の形状を有する位置合わせ用マーカとから構成されるＭＲマーカが配置され、
    予め取得された前記所定の実空間内にある実オブジェクトの３次元空間データであって各々が仮想空間における３次元位置情報を有する３次元形状要素から構成される３次元空間データ及び該仮想空間に配置される仮想オブジェクトデータを含む仮想空間データと、
    前記識別コードに含まれる識別子により特定されるＷｅｂアプリケーションと、を記憶し、該Ｗｅｂアプリケーションは複合現実画像表示用ウェブページを提供し、該複合現実画像表示用ウェブページは、前記携帯端末装置により読み込まれると前記撮影装置を起動させるものであり、前記撮影装置が撮影する実空間の撮影画像に基づいた複合現実画像の表示領域を含むものであり、
    前記携帯端末装置は、
    前記識別コードに含まれる識別子にアクセスして前記Ｗｅｂアプリケーションが提供する前記複合現実画像表示用ウェブページを表示するブラウザ部と、
    前記Ｗｅｂアプリケーションが起動され、前記撮影装置により前記ＭＲマーカが撮影されて、前記識別コードが認識された場合、該ＭＲマーカを構成する前記位置合わせ用マーカを認識するマーカ認識部と、
    前記ブラウザ部がアクセスした識別子が包含する位置情報、及び前記マーカ認識部により認識された前記位置合わせ用マーカの形状及び大きさから決定される前記携帯端末装置と該位置合わせ用マーカとの位置関係に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定する位置決定部と、
    前記仮想空間データと前記仮想カメラの視点位置とに基づいて、前記複合現実画像表示用ウェブページにおける前記表示領域に表示するための、実空間の撮影画像に仮想オブジェクトを重畳させた複合現実画像を生成する画像生成部と、
    を備える携帯端末装置。

Images