JP2014149791A - 拡張現実プログラム及び登録プログラム - Google Patents

Abstract

【課題】拡張現実プログラムにおいて画像データ中のマーカで特定される物品とほぼ同じ縮尺で表示可能な三次元オブジェクトを容易に作成できるようにする。
【解決手段】拡張現実プログラムは、画像データから検出されたマーカに重畳して、画像データに三次元オブジェクトを描画した合成画像を表示するものであって、三次元オブジェクトにおける所定の２点間の距離の入力を受け付け、三次元オブジェクトと所定の２点間の距離とを関連付けて登録する距離登録ステップと、原寸が所定の大きさであるマーカを画像データから検出し、合成画像に描画する三次元オブジェクトの所定の２点間の距離を、距離登録ステップにおいて登録された所定の２点間の距離と、マーカの原寸に対する検出された画像データ中のマーカの大きさとに基づいて決定するステップとをコンピュータに実行させる。
【選択図】図５

Description

本発明は、拡張現実プログラム及び登録プログラムに関する。

カメラを用いて取得した画像に情報を付加して電子機器に表示するような、いわゆる拡張現実に関する技術が存在する。

例えば、拡張現実感タイプの表示用に、現実世界の基準アイテムに関連づけられる電子的に生成された画像及び／又はテキストを表示するための、方法及び装置が提案されていた（特許文献１を参照）。この技術によれば、シンプルな空白の用紙などの現実のアイテムの存在及び配置を識別し、画像を現実のアイテム上に重ねて表示することができる。

また、現実の対象物の画像と重ね合わせるために設計されたデータモデルが、現実の対象物を表現するために３次元ＣＡＤモデルを作成する工程と、その後、３次元ＣＡＤモデルの異なった合成２次元景観（ｖｉｅｗ）を生成する工程と、生成された各景観に対して、各景観において抽出された少なくとも１つのエッジを決定するためにエッジの抽出を行なう工程と、各景観から抽出されたエッジが決定されるべきデータモデルに対応した３次元輪郭モデルに変換される工程とにより、輪郭モデルを現実の対象物の画像に重ね合わせる為に設計されたデータモデルとして、迅速かつ効率的に生成するという技術も提案されていた（特許文献２を参照）。

また、客体を含む映像を獲得する映像獲得部、および客体の３次元位置情報を算出して、客体に対応する拡張現実データを算出した３次元位置情報に応じて変換して、変換した拡張現実データと獲得した映像を用いて３次元拡張現実イメージを生成する映像処理部を含む３次元拡張現実提供装置が提案されていた（特許文献３を参照）。この技術では、３次元位置情報は、例えば自動焦点調節機能を利用して２つのカメラから客体を撮影したときの撮影距離を用いて求める。

特開２００１−１４２６０４号公報 特開２００７−２０７２５１号公報 特開２０１２−０１４６９０号公報

例えば、ある空間に、機器等の物を設置又は収納等する前に、表示装置に表示された当該空間に重ね合わせて機器等の物を仮想的に表示できれば、ユーザは設置後又は収納後の空間の状態をイメージし易い。しかしながら、表示する空間に重ね合わせ、当該空間と同等の縮尺で表示可能なオブジェクトを容易に作成できる技術は、これまで提案されていなかった。

本発明は、上記のような問題に鑑みてなされたものであり、拡張現実アプリケーションにおいて画像データ中のマーカで特定される物品とほぼ同じ縮尺で表示可能な三次元オブジェクトを容易に作成できるようにすることを課題とする。

本発明に係る拡張現実プログラムは、画像データから検出されたマーカに重畳して、画像データに三次元オブジェクトを描画した合成画像を表示するものであって、三次元オブジェクトにおける所定の２点間の距離の入力を受け付け、三次元オブジェクトと所定の２点間の距離とを関連付けて登録する距離登録ステップと、原寸が所定の大きさであるマーカを画像データから検出し、合成画像に描画する三次元オブジェクトの所定の２点間の距離を、距離登録ステップにおいて登録された所定の２点間の距離と、マーカの原寸に対する検出された画像データ中のマーカの大きさとに基づいて決定するステップとをコンピュータに実行させる。

このような拡張現実プログラムによれば、画像データ中のマーカで特定される物品とほぼ同じ縮尺で表示可能な三次元オブジェクトを容易に作成できるようになる。

また、上記拡張現実プログラムは、三次元オブジェクトが表す物を周囲の物から離隔させる距離の入力を受け付け、三次元オブジェクトと入力された離隔させる距離とを関連付けて登録する間隔登録ステップをさらにコンピュータに実行させ、離隔させる距離の外延を合成画像に描画するようにしてもよい。このようにすれば、三次元オブジェクトが表す物の周囲に確保する空間を、拡張現実プログラムにおいて表示できるようになる。

また、テクスチャデータを抽出するための画像において、三次元オブジェクトの面分の頂点に対応する点群の入力を受け付け、入力された点群で画定される領域を抽出し三次元オブジェクトの面分にマッピングするテクスチャデータとして登録する、テクスチャ登録ステップをさらにコンピュータに実行させ、テクスチャデータを三次元オブジェクトの面分にマッピングして合成画像に描画する。より詳細には、入力された点群で画定される領域を抽出し、三次元オブジェクトの面分の形状に合致するように、アフィン変換や透視変換等の射影変換を抽出した領域に施して、三次元オブジェクトの面分にマッピングするテクスチャデータを生成する。このようにすれば、拡張現実アプリケーションにおいて表示可能な、テクスチャをマッピングした三次元オブジェクトをより容易に作成及び表示できるようになる。

さらに、複数の三次元オブジェクト及び当該複数の三次元オブジェクトの相対的な位置を示す情報の入力を受け付け、当該複数の三次元オブジェクトの組合せを登録する組合せ登録ステップをさらにコンピュータに実行させ、複数の三次元オブジェクトの組合せを合成画像に描画するようにしてもよい。このようにすれば、拡張現実アプリケーションにおいて表示可能な三次元オブジェクトの組合せを容易に作成及び表示できるようになる。特に、マーカ上に１つの三次元オブジェクトしか合成できない場合であっても、縦に複数の物品を重ねた状態の三次元オブジェクトを表示できるようになる。

また、本発明に係る登録プログラムは、画像データから検出されたマーカに重畳して、画像データに重畳して描画する三次元オブジェクトを登録するものであって、原寸が所定の大きさであるマーカを画像データから検出した場合に、マーカの原寸に対する検出された画像データ中のマーカの大きさに基づいて描画する三次元オブジェクトの所定の２点間の距離を決定するための、三次元オブジェクトの所定の２点間の距離の原寸の入力を受け付けるステップと、入力された三次元オブジェクトの所定の２点間の距離の原寸を、三次元オブジェクトと関連付けて登録するステップと、をコンピュータに実行させる。

このようにすれば、画像データ中のマーカで特定される物品とほぼ同じ縮尺で表示可能な三次元オブジェクトを容易に作成できる。

また、本発明に係る他の拡張現実プログラムは、画像データから検出されたマーカに重畳して、画像データに三次元オブジェクトを描画した合成画像を表示するものであって、
ユーザによって入力された、三次元オブジェクトにおける所定の２点間の距離の原寸を記憶しているデータ格納部から、当該所定の２点間の距離の原寸を読み出す読出しステップと、原寸が所定の大きさであるマーカを画像データから検出し、合成画像に描画する三次元オブジェクトの所定の２点間の距離を、読出しステップにおいて読み出された所定の２点間の距離の原寸と、マーカの原寸に対する検出された画像データ中のマーカの大きさとに基づいて決定するステップと、をコンピュータに実行させる。

このようにすれば、ユーザが容易に作成した三次元オブジェクトを、画像データ中のマーカで特定される物品とほぼ同じ縮尺で表示できる。

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていても良い。ここで、コンピュータが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD
、DAT、8mmテープ、メモリカード等がある。また、コンピュータに固定された記録媒体としてハードディスクやＲＯＭ（Read Only Memory）等がある。

拡張現実アプリケーションにおいて画像データ中のマーカで特定される物品とほぼ同じ縮尺で表示可能な三次元オブジェクトを、容易に作成できるようになる。

図１は、システム構成の一例を示す図である。 図２は、サーバの一例を示す機能ブロック図である。 図３は、端末の一例を示す機能ブロック図である。 図４は、コンピュータの一例を示す装置構成図である。 図５は、オブジェクト登録処理の処理フローを示す図である。 図６は、オブジェクト登録画面の一例を示す図である。 図７は、オブジェクトテーブルのデータ構造の一例を示す図である。 図８は、組合せ登録処理の処理フローを示す図である。 図９は、組合せ登録画面の一例を示す図である。 図１０は、組合せテーブルのデータ構造の一例を示す図である。 図１１は、マーカ・オブジェクト関連付け処理の処理フローを示す図である。 図１２は、関連付けテーブルのデータ構造の一例を示す図である。 図１３は、ＡＲ処理の処理フローを示す図である。 図１４は、端末に表示される合成画像の一例を示す図である。 図１５Ａは、動作前の三次元オブジェクトの一例を示す図である。 図１５Ｂは、動作後の三次元オブジェクトの一例を示す図である。

以下、図面を参照して本発明を実施するための形態について説明する。なお、実施の形態の構成は例示であり、本発明は実施の形態の構成に限定されない。

＜システム構成＞
図１は、実施の形態に係るシステム構成の一例を示す図である。本実施の形態に係るシステムは、サーバ１と、複数の端末２（２ａ及び２ｂ）とを含み、サーバ１と端末２とはネットワーク３を介して接続されている。サーバ１はコンピュータであり、拡張現実（ＡＲ：Augmented Reality）アプリケーション（プログラムとも呼ぶ）で使用する三次元オ
ブジェクト（三次元モデルとも呼ぶ）のデータや、二次元コードのようなマーカのデータを保持する。端末２は、パーソナルコンピュータや、タブレット端末、モバイル端末等のコンピュータであり、カメラを介して取得した画像に三次元オブジェクトを重畳して表示させるＡＲアプリケーションを実行したり、ＡＲアプリケーションで使用する三次元オブジェクトを登録したりする。なお、画像は、例えばカメラを介して取得した映像の１フレームに相当する。また、図１では２つの端末２を例示しているが、端末２の数は２つには限られない。

図２は、本実施の形態に係るサーバ１の一例を示す機能ブロック図である。サーバ１は、データ格納部１１と、通信部１２とを有する。そして、データ格納部１１は、三次元オブジェクトのデータやマーカのデータを保持する。通信部１２は、ネットワークを介して端末２と通信を行う。また、通信部１２は、データ格納部１１からデータを読み出したり、データ格納部１１にデータを書き込んだりする。

図３は、本実施の形態に係る端末２の一例を示す機能ブロック図である。端末２は、登録処理部２１と、ＡＲ処理部２２と、データ格納部２３とを有する。登録処理部２１は、三次元オブジェクトをサーバ１に登録する処理を行う。また、ＡＲ処理部２２は、カメラを介して取得した画像に三次元オブジェクトを重畳して表示させるＡＲ処理を行う。データ格納部２３は、三次元オブジェクト等のデータや、サーバ１から取得したマーカのデータなどを保持する。なお、本実施の形態に係る三次元オブジェクトは、何らかの機器や用具など、現実の物品を表す仮想的なデータであり、原寸を示すデータと関連付けられて用いられる。

また、登録処理部２１は、形状設定部２１１と、テクスチャ設定部２１２と、余裕領域設定部２１３と、組合せ設定部２１４と、通信部２１５とを有する。形状設定部２１１は、三次元オブジェクトの大きさを設定する処理を行う。テクスチャ設定部２１２は、写真等の画像データからユーザに指定された領域を抽出し、三次元オブジェクトの面分に貼付（マッピング）するテクスチャとして登録する。余裕領域設定部２１３は、三次元オブジェクトが表す物品を配置する際に当該物品の周囲に設けるべき空間を示すデータを設定する処理を行う。組合せ設定部２１４は、複数の三次元オブジェクトを組み合わせて、例えば上下に物品を重ねた状態を表す新たな三次元オブジェクトを生成したり、例えば蓋が開閉するなど可動する物品の動作前後の状態を表す三次元オブジェクトを生成したりする。通信部２１５は、ネットワークを介してサーバ１と通信を行う。

また、ＡＲ処理部２２は、関連付け設定部２２１と、現地画像取得部２２２と、マーカ検出部２２３と、合成画像生成部２２４と、通信部２２５とを有する。関連付け設定部２２１は、三次元オブジェクトのデータとマーカのデータとを関連付けてデータ格納部２３に登録する。現地画像取得部２２２は、端末２が有するカメラを用いて画角に収まる現地の光景を撮影した画像データ（便宜上、「現地画像」と呼ぶ）を取得する。なお、撮影される現地画像は、屋外の画像であっても屋内の画像であってもよい。また、ユーザは、例えば、二次元コードを印刷した紙等、所定のマーカを、撮影される場所に予め配置し、所定のマーカが写り込んだ現地画像を撮影する。マーカ検出部２２３は、例えば現地画像を走査して、現地画像から所定のマーカを検出する。合成画像生成部２２４は、検出されたマーカに関連付けて登録されている三次元オブジェクトのデータをデータ格納部２３から読み出す。また、合成画像生成部２２４は、マーカの向き及び大きさに基づいて三次元オブジェクトの座標変換を行い、座標変換後の三次元オブジェクトを現地画像に重畳して表示する合成画像を生成する。なお、本実施の形態では、マーカが存在する面を三次元オブジェクトの底面として、また、マーカが示す所定の方向を三次元オブジェクトの正面として、合成画像生成部２２４は三次元オブジェクトを座標変換して現地画像に重畳する。そして、合成画像生成部２２４は、合成画像を端末２が有するディスプレイ等の表示装置に
表示させる。通信部２２５は、ネットワークを介してサーバ１と通信を行う。

本実施の形態におけるマーカは、例えば、平面上に表される図形であり、前後左右表裏（すなわち、向き）が判別できるように、各軸に対して回転対称性を持たない。また、マーカは、その存在を画像内から検出し易い特徴を持っていることが好ましい。例えば、マーカは、黒色の矩形の枠で縁取りされていてもよい。また枠の太さは、１辺の長さの２５％程度であってもよい。また、マーカの内部は、外観上、自然物や一般的な建造物等とは区別し易い符号を含むようにしてもよい。

このような矩形の枠と内部の符号とを含むマーカの場合、マーカ検出部２２３は、まず、画像から黒色の矩形領域をサーチする。そして、矩形領域が検出された場合、マーカ検出部２２３は、矩形領域内部の符号の特徴量を算出し、事前に登録されているマーカの特徴量と比較して、マーカの種類を特定する。

また、本実施の形態では、マーカの大きさを予め定めておき、ユーザは所定の大きさでマーカを印刷等し、使用する。例えば、マーカの外形を表す矩形の枠は、一辺が予め定められた長さの正方形とする。マーカの大きさが予めわかっていれば、マーカの歪みと各辺の長さ（ピクセル数）から、カメラとマーカとの距離や、マーカが配置された平面とカメラとの位置関係を特定することができる。

より具体的なマーカの例としては、領域内を所定の解像度で分割し、分割した領域ごとに色を数値化し、分割した領域全体の一致度からマーカの種類を特定するＡＲマーカや、その他、マトリックス式又はスタック式の二次元コード等が挙げられる。また、回転対称性のない写真等の画像をマーカの符号部分に用いるようにしてもよい。例えば、マーカで特定される物品（例えば家具や家電製品等）の写真を用いるようにしてもよい。

なお、サーバ１及び端末２は、図４に示すようなコンピュータである。図４は、コンピュータの一例を示す装置構成図である。例えば、コンピュータは、ＣＰＵ（Central Processing Unit）１００１、主記憶装置１００２、補助記憶装置１００３、通信ＩＦ（Interface）１００４、入出力ＩＦ（Interface）１００５、ドライブ装置１００６、通信バス
１００７を備えている。ＣＰＵ１００１は、プログラムを実行することにより本実施の形態で説明する処理を行う。主記憶装置１００２は、ＣＰＵ１００１が読み出したプログラムやデータをキャッシュしたり、ＣＰＵの作業領域を展開したりする。主記憶装置は、具体的には、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等である。補助記憶装置１００３は、ＣＰＵ１００１により実行されるプログラムや、本実施の形態で用いる設定情報などを記憶する。補助記憶装置１００３は、具体的には、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ等である。主記憶装置１００２や補助記憶装置１００３は、図２に示したデータ格納部１１や図３に示したデータ格納部２３として働く。通信ＩＦ１００４は、他のコンピュータ装置との間でデータを送受信する。通信ＩＦ１００４は、具体的には、有線又は無線のネットワークカード等である。入出力ＩＦ１００５は、入出力装置と接続され、ユーザから入力を受け付けたり、ユーザへ情報を出力したりする。入出力装置は、具体的には、カメラ等の画像入力装置、キーボード、マウス、ディスプレイ、磁気センサーや測距センサー等のセンサー類、又はタッチパネル等である。ドライブ装置１００６は、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）等の記憶媒体に記録されたデータを読み出したり、記憶媒体にデータを書き込んだりする。以上のような構成要素が、通信バス１００７で接続されている。なお、これらの構成要素は複数設けられていてもよいし、一部の構成要素（例えば、ドライブ装置１００６）を設けないようにしてもよい。また、入出力装置がコンピュータと一体に構成されていてもよい。そして、ドライブ装置で読み取り可能な可搬性の記憶媒体や、ＵＳＢメモリのような補助記憶装置、ネ
ットワークＩＦなどを介して、本実施の形態で実行されるプログラムが提供されるようにしてもよい。そして、ＣＰＵ１００１がプログラムを実行することにより、上記のようなコンピュータをサーバ１又は端末２として働かせる。なお、例示したコンピュータの構成の少なくとも一部がネットワーク上に存在してもよい。例えば、上記構成の一部を担う１以上のサーバによってユーザに提供される、いわゆるクラウド等のような態様であってもよい。

＜オブジェクト登録処理＞
図５に、オブジェクト登録処理の処理フローを示す。オブジェクト登録処理は、端末２の登録処理部２１が実行する。まず、登録処理部２１の形状設定部２１１は、三次元オブジェクトの大きさを設定する（図５：Ｓ（ステップ）１）。ここでは、形状設定部２１１は、入出力ＩＦを介してユーザから三次元オブジェクトの大きさの入力を受け付け、データ格納部２３に登録する。本実施の形態では、例えば、基本的な三次元オブジェクトとして直方体を採用し、本ステップでは直方体の横幅、高さ及び奥行きを登録する。また、本実施の形態では、例えば、三次元オブジェクトが表す物品の原寸を登録する。横幅、高さ又は奥行きを、三次元オブジェクトの所定の２点間の距離とも呼ぶ。

また、登録処理部２１は、例えば図６に示すようなオブジェクト登録画面を、入出力ＩＦを介して表示装置に表示し、ユーザから三次元オブジェクトの大きさの入力を受け付ける。図６のオブジェクト登録画面は、三次元オブジェクトの外観を表示するプレビュー領域と、三次元オブジェクトが表す物品の横幅、高さ及び奥行き（単位は、例えばセンチメートル）を入力するための領域と、後述する余裕領域を入力するための領域と、直方体の面分に貼付するテクスチャを指定及びプレビューするための領域とを含む。なお、図６の例では、「Ｆｉｌｅ．．．」ボタンを押下すると端末に記憶されている画像データを選択することができ、選択された画像データが表示される。また、表示された画像データ上において、選択範囲を示す四角形（図６：太線）の頂点をドラッグして、三次元オブジェクトの面分の頂点に対応する点を指定するようにしてもよい。さらに、選択範囲の頂点と三次元オブジェクトの面分の頂点との対応付けを、時計回り又は反時計回りに変更するためのボタン（図６：９０度曲がった矢印）を設けてもよい。また、本実施の形態では、三次元オブジェクトの底面は、マーカの存在する面に接しているので合成画像上に表示されない。よって、底面のテクスチャは登録しないようにしてもよい。

図５の説明に戻り、登録処理部２１のテクスチャ設定部２１２は、三次元オブジェクトに貼付するテクスチャの指定を、入出力ＩＦを介してユーザから受け付け、指定されたテクスチャをデータ格納部２３に登録する（Ｓ２）。本ステップでは、ユーザは、三次元オブジェクトの面分ごとに、データ格納部２３に記憶されている画像データを選択する。画像データは、例えば、端末２が有するカメラを用いて撮影された物品の写真データであってもよいし、デジタルカメラのような他の機器によって生成された物品の写真データであってもよい。また、写真に限らずイラストや設計図等の画像データを選択できるようにしてもよい。

三次元オブジェクトが直方体である場合、テクスチャ設定部２１２は、例えば直方体の底面以外について画像データの選択を受け付ける。なお、底面についてもテクスチャを設定してもよい。そして、テクスチャ設定部２１２は、例えば図６のテクスチャ入力領域に示すように、三次元オブジェクトの面分の各頂点に対応する画像データ上の点の指定を受け付ける。三次元オブジェクトが直方体である場合、ユーザは、画像データ上において、選択範囲を示す四角形の頂点をドラッグして、三次元オブジェクトの面分の頂点に対応する４点を指定する。そして、テクスチャ設定部２１２は、指定された点で囲われた領域を画像データから抽出し、例えば射影変換（ホモグラフィ変換）により形状を変形して、三次元オブジェクトの面分と合同なテクスチャデータを生成する。射影変換は既存の技術を
利用することができるため詳細には説明しないが、三次元オブジェクトが直方体の場合、画像データ上で指定された領域である四角形の内部を線形補間（バイリニア補間）して三次元オブジェクトの面分に相当する長方形に変形する。なお、テクスチャ設定部２１２は、生成されたテクスチャを三次元オブジェクトの面分に貼り付けた状態を、図６のプレビュー領域に表示するようにしてもよい。

そして、登録処理部２１の余裕領域設定部２１３は、三次元オブジェクトが表す物品の周囲に設けるべき空間（換言すれば、三次元オブジェクトが表す物を周囲の物から離隔させる距離）を示す余裕領域（離隔させる距離）の入力を、入出力ＩＦを介してユーザから受け付け、設定する（Ｓ３）。例えば、三次元オブジェクトが、空調機器や調理機器等の物品を表している場合、当該物品は吸排気、排熱等のため、周囲の壁面から所定の間隔をあけて設置することが望ましいこともある。本実施の形態では上記所定の間隔を記憶させておくことにより、ＡＲアプリケーションは上記所定の間隔を合成画像上にワイヤフレーム等で表示することができる。例えば、ユーザは、図６の余裕入力領域に、三次元オブジェクトの横幅、高さ、及び奥行きをそれぞれ拡張する距離を入力し、余裕領域設定部２１３は入力された各距離をデータ格納部２３に登録する。図６の例では、横幅、高さ及び奥行きの各々について正又は負の値を登録し、物品の外形を登録された値だけ拡張した領域が破線で示されている。この場合、例えば左右いずれかにしか拡張することができないが、左、右、上、下、前及び後ろそれぞれについて拡張する大きさを登録するようにしてもよい。この余裕領域は、左右・上下・前後に非対称であっても良い。

その後、登録処理部２１の通信部２１５は、データ格納部２３に登録されたデータをサーバ１に登録する（Ｓ４）。ここでは、通信部２１５は、データ格納部２３に登録された三次元オブジェクトのデータ及び三次元オブジェクトが表す物品の大きさ等のデータをサーバ１に送信し、サーバ１の通信部１２は、データを受信してデータ格納部１１に登録する。データ格納部１１には、三次元オブジェクトのデータの他、例えば図７に示すようなデータが登録される。図７は、三次元オブジェクトを登録するオブジェクトテーブルのデータ構造の一例を示す図である。図７に示すオブジェクトテーブルは、「オブジェクト識別情報」、「物品横幅」、「物品高さ」、「物品奥行き」、「余裕横幅」、「余裕高さ」、「余裕奥行き」、「正面テクスチャ」、「背面テクスチャ」、「左正面テクスチャ」、「右側面テクスチャ」及び「平面テクスチャ」の各カラムを有している。「オブジェクト識別情報」には、例えば、三次元オブジェクトのパス等、サーバ１において三次元オブジェクトを一意に特定することができる識別情報が設定される。また、「オブジェクト識別情報」は、サーバ１及び端末２において三次元オブジェクトを一意に特定することができる識別情報であってもよい。「物品横幅」、「物品高さ」、「物品奥行き」には、三次元オブジェクトが表す物品の原寸を設定する。「余裕横幅」、「余裕高さ」、「余裕奥行き」には、それぞれ横幅、高さ、奥行きを拡張する大きさを設定する。「正面テクスチャ」、「背面テクスチャ」、「左正面テクスチャ」、「右側面テクスチャ」、「上面テクスチャ」には、各面にマッピングするテクスチャのデータが登録される。なお、図７のデータ構造は概念的なものであり、実際は、本実施の形態に係る三次元オブジェクトのファイルに、テクスチャや物品の大きさ等のデータが含まれていてもよい。

また、三次元オブジェクトが直方体以外の場合も、例えば物品の横幅、高さ又は奥行きに相当する所定の２点間の距離を設定することは可能である。例えば、円柱の場合は、底面の直径（又は半径）、高さ、Ｘ軸・Ｙ軸・Ｚ軸を回転軸とした回転角度、直径方向の余裕、上面方向の余裕、下面方向の余裕、上面テクスチャ、底面テクスチャ、側面テクスチャといったパラメータを登録してもよい。なお、Ｙ軸については任意の角度に対して回転対称であるため、省略してもよい。円柱の場合、例えば、直径もしくは半径又は高さが所定の２点間の距離に相当する。また、三次元オブジェクトが直方体の場合も、所定の軸（Ｘ軸・Ｙ軸・Ｚ軸）に対する回転角度を登録するようにしてもよい。

また、サーバ１のデータ格納部１１に登録された三次元オブジェクトのデータ及び三次元オブジェクトが表す物品の大きさ等のデータを通信部１２が他の端末２に配信できるようにすれば、オブジェクト登録処理で登録された三次元オブジェクトを複数の端末２でダウンロードして利用することができるようになる。以上で、登録処理部２１は、オブジェクト登録処理を終了する。

＜組合せ登録処理＞
図８に、組合せ登録処理の処理フローを示す。組合せ登録処理も、端末２の登録処理部２１が実行する。なお、端末２のデータ格納部２３には、オブジェクト登録処理で登録された三次元オブジェクト等のデータ又はサーバ１から取得した三次元オブジェクト等のデータが予め複数格納されているものとする。

まず、登録処理部２１の組合せ設定部２１４は、データ格納部２３から、複数の三次元オブジェクトの選択を受け付ける（図８：Ｓ１１）。本ステップでは、ユーザは入出力ＩＦを介して例えば２つの三次元オブジェクトを選択する。

登録処理部２１は、例えば図９に示すような組合せ登録画面を、入出力ＩＦを介して表示装置に表示し、ユーザから三次元オブジェクトの組み合わせの入力を受け付ける。図９の組合せ登録画面は、三次元オブジェクトの外観を表示するプレビュー領域と、組み合わせる三次元オブジェクトを選択するためのボタン及び選択されたオブジェクトを表示する領域と、三次元オブジェクトの配置方向を「上下」、「左右」又は「前後」のいずれかからラジオボタンで指定する「配置方向」欄と、三次元オブジェクトの相対的な位置を調節する方向をラジオボタンで選択し、距離を入力する「位置調節」とを含む。例えば、選択欄左側のオブジェクトを基準として、右側のオブジェクトの相対的な位置が指定される。組合せ登録処理では、複数の三次元オブジェクトの組み合わせを登録し、ＡＲ処理又は組合せ登録処理において、複数の三次元オブジェクトの組合せを１つの三次元オブジェクトとして扱うことができるようにする。なお、三次元オブジェクトを平行移動して配置するだけでなく、回転移動できるようにしてもよい。すなわち、組合せを構成するオブジェクトの少なくとも一方について、３軸方向それぞれに回転させる角度を登録できるようにしてもよい。

図８の説明に戻り、登録処理部２１の組合せ設定部２１４は、ユーザから組み合わせる三次元オブジェクトの配置入力を受け付け、データ格納部２３に登録する（Ｓ１２）。本ステップでは、組合せ設定部２１４は、例えば基準となる三次元オブジェクトと、当該三次元オブジェクトに組み合わせる三次元オブジェクトとの相対的な座標の入力をユーザから受け、データ格納部２３に登録する。例えば、三次元オブジェクトそれぞれのローカル座標系における原点を基準として、三次元オブジェクトの相対的な位置を表す。

その後、登録処理部２１の通信部２１５は、データ格納部２３に登録されたデータをサーバ１に送信する（Ｓ１３）。ここでは、通信部２１５は、組合せを構成する三次元オブジェクトを特定するための識別情報や、組合せを構成する三次元オブジェクトの相対的な位置を示すデータを送信する。これらのデータは、組合せ後の三次元オブジェクトのファイルに含まれていてもよい。一方、サーバ１の通信部１２は、受信したデータをデータ格納部１１に登録する。データ格納部１１には、例えば図１０に示すようなデータが登録される。図１０は、組合せを登録する組合せテーブルのデータ構造を示す概念的な図である。図１０に示す組合せテーブルは、「オブジェクト識別情報」、「構成オブジェクト１」、「構成オブジェクト２」及び「相対座標」の各カラムを有している。「オブジェクト識別情報」には、サーバ１において、又はサーバ１及び端末２において、三次元オブジェクトを一意に特定することができる識別情報が設定される。「オブジェクト識別情報」は、
ファイルのパスであってもよい。また、「構成オブジェクト１」、「構成オブジェクト２」には、組合せを構成する三次元オブジェクトを特定する識別情報が設定される。例えば図７のオブジェクトテーブルや、図９の組合せテーブルに登録されているオブジェクト識別情報を登録する。そして、「相対座標」には、例えば「構成オブジェクト１」のローカル座標系における原点を基準として「構成オブジェクト２」のローカル座標系における原点の位置を示す相対的な座標が登録される。なお、構成オブジェクト１又は構成オブジェクト２について、３軸方向それぞれに回転させる角度を登録できるようにしてもよい。

＜マーカ・オブジェクト関連付け処理＞
図１１に、マーカと三次元オブジェクトとの関連付けを設定するマーカ・オブジェクト関連付け処理の処理フローを示す。マーカ・オブジェクト関連付け処理は、端末２のＡＲ処理部２２が実行する。なお、端末２のデータ格納部２３には、オブジェクト登録処理で登録された三次元オブジェクト又はサーバ１から取得した三次元オブジェクトと、サーバ１から取得したマーカのデータが予め格納されているものとする。マーカは、例えば二次元コードのような画像で表され、各マーカは、マーカを一意に識別できる識別情報と予め関連付けられているものとする。さらに、各マーカについて、マーカを画像中から検出するパターンマッチング処理において用いるテンプレートのデータや、特徴値のデータ等を予め生成しておき、各マーカと関連付けてサーバ１から取得できるようにしてもよい。

ＡＲ処理部２２の関連付け設定部２２１は、データ格納部２３に格納されているマーカと、三次元オブジェクトとの組み合わせの選択を、入出力ＩＦを介してユーザから受け付ける（図１１：Ｓ２１）。そして、関連付け設定部２２１は、選択されたマーカを示すマーカ識別子と、選択された三次元オブジェクトを示すオブジェクト識別子とを関連付けてデータ格納部２３に登録する（Ｓ２２）。

データ格納部２３には、例えば図１２に示すようなデータが登録される。図１２は、マーカ及び三次元オブジェクトの関連付けを保持するマーカ・オブジェクト関連付けテーブルのデータ構造を示す図である。マーカ・オブジェクト関連付けテーブルは、「マーカ識別情報」及び「オブジェクト識別情報」の各カラムを有している。次に説明するＡＲ処理では、端末２は、画像データからマーカを検出した場合、検出されたマーカを示すマーカ識別情報に関連付けられて登録されているオブジェクト識別情報を、マーカ・オブジェクト関連付けテーブルから取得する。そして、端末２は、取得されたオブジェクト識別情報が示すオブジェクトを、画像データにおけるマーカの位置及び向きに基づいて画像データに重畳して表示する。

＜ＡＲ処理＞
図１３に、ＡＲ処理の処理フローを示す。ＡＲ処理は、端末２のＡＲ処理部２２が実行する。なお、端末２のデータ格納部２３には、オブジェクト登録処理で登録された三次元オブジェクト又はサーバ１から取得した三次元オブジェクトと、サーバ１から取得したマーカのデータと、マーカ及び三次元オブジェクトの関連付けを示すデータとが予め格納されているものとする。また、パターンマッチング処理において用いるテンプレートのデータや、特徴値のデータ等も、データ格納部２３に予め格納されているものとする。なお、パターンマッチング処理において用いるテンプレートのデータや、特徴値のデータ等は、サーバ１から取得してもよいし、端末２がマーカのデータに基づいて生成してもよい。

ＡＲ処理部２２の現地画像取得部２２２は、端末２が有するカメラが撮像した現地画像データを、入出力ＩＦを介して取得し、データ格納部２３に保持させる（図１３：Ｓ３１）。

そして、ＡＲ処理部２２のマーカ検出部２２３は、データ格納部２３に保持されている
現地画像データを探索して所定のマーカを検出する（Ｓ３２）。本ステップでは、例えば、テンプレートマッチング等のパターンマッチング手法により、現地画像データを走査し、現地画像データに所定のマーカが含まれているか判断する。所定のマーカとは、例えば、データ格納部２３において三次元オブジェクトと関連付けられているマーカである。例えば、マーカ検出部２２３は、所定のマーカのテンプレートをデータ格納部２３から読み出し、現地画像データ中に読み出したテンプレートと合致する箇所があるか判断する。

パターンマッチングとしては、テンプレートマッチングの他、特徴値を抽出してベクトルマッチングさせる手法など、様々な手法を利用することができる。

現地画像データからマーカが検出されなかった場合（Ｓ３２：ＮＯ）、処理はＳ３１に戻る。一方、現地画像データからマーカが検出された場合（Ｓ３２：ＹＥＳ）、合成画像生成部２２４は、現地画像データ中におけるマーカの大きさ及び向きを特定する（Ｓ３３）。例えばピクセル単位で、マーカの外形が多角形の場合は一辺の長さを特定してもよい。また、合成画像生成部２２４は、例えば、マーカの外形に含まれる少なくとも３点から、マーカが存在する仮想的な平面を特定する。そして、合成画像生成部２２４は、マーカから正面の方向を特定する。例えば回転対称性のないパターンを二次元コード（マーカ）として採用すれば、マーカの向きに基づいて三次元オブジェクトの向きを一意に決定することができるようになる。

また、合成画像生成部２２４は、検出されたマーカに関連付けられている三次元オブジェクトを、データ格納部２３から読み出す（Ｓ３４）。具体的には、合成画像生成部２２４は、検出されたマーカのマーカ識別情報に関連付けられているオブジェクト識別情報をマーカ・オブジェクト関連付けテーブルから抽出する。そして、抽出されたオブジェクト識別情報が示す三次元オブジェクトのファイルをデータ格納部２３から読み出す。なお、本ステップでは三次元オブジェクトと関連付けて設定されている余裕領域のデータも併せて読み出すようにしてもよい。

そして、合成画像生成部２２４は、読み出した三次元オブジェクトを、現地画像データに重ね合わせられるように座標変換する（Ｓ３５）。本ステップでは、合成画像生成部２２４は、三次元オブジェクトを端末２に接続されたディスプレイ等の表示装置に表示することができるよう、例えばスクリーン座標系に変換する。すなわち、現地画像データから検出されたマーカの位置、大きさ、向き等に基づいて、マーカで特定される物品の、仮想的な空間における位置、大きさ、向き等を決定する。具体的には、合成画像生成部２２４は、登録されている三次元オブジェクトの大きさに対する表示する三次元オブジェクトの大きさが、予め定められているマーカの一辺の大きさに対するＳ３３で特定した現地画像中のマーカの一辺の大きさとなるように、表示する三次元オブジェクトの大きさを拡大又は縮小する。このように、予め大きさがわかっているマーカを用いることにより、本実施の形態では、三次元モデルをマーカの縮尺に基づいて表示することができるようになる。すなわち、三次元オブジェクトは、マーカで特定される物品とほぼ同じ縮尺で表示される。また、三次元オブジェクトの正面が、マーカが示す正面を向くように、Ｓ３３で特定された平面におけるマーカ上に三次元オブジェクトを配置する。

さらに、合成画像生成部２２４は、座標変換した三次元オブジェクトを現地画像に重畳（オーバーレイ）して合成画像を生成し、入出力ＩＦを介して合成画像を表示装置に表示する（Ｓ３６）。なお、本ステップでは、三次元オブジェクトと関連付けて設定されている余裕領域の外延も、例えばワイヤフレームで表示される。その後、例えばマーカ検出部２２３はＳ３１で取得した現地画像の走査が完了したか判断し（Ｓ３７）、完了していないと判断された場合（Ｓ３７：ＮＯ）は、Ｓ３２の処理に戻る。一方、完了したと判断された場合（Ｓ３７：ＹＥＳ）は、Ｓ３１の処理に戻り、新たに取得する現地画像を対象と
してＡＲ処理を繰り返す。図１３の処理は、例えば、ＡＲアプリケーションが終了されるまで繰り返される。

本実施の形態によれば、ユーザはオブジェクト登録処理において、物品の大きさの入力及び物品の外観を表す画像のマッピングを行うことにより、ＡＲアプリケーションで用いる三次元オブジェクトを登録することができる。すなわち、業者等が三次元オブジェクトのデータを配信していないような物品についても、マーカの縮尺とほぼ同じ縮尺で表示可能な三次元オブジェクトをユーザは容易に作成することができる。また、ＡＲ処理においては、ユーザは表示させたい物品と関連付けて登録したマーカを、予め定められた大きさで印刷等して、当該物品を配置したい場所に置いておくものとする。予め外形形状の大きさがわかっているマーカを用いることにより、本実施の形態では、三次元モデルをマーカで特定される物品とほぼ同じ縮尺で表示することができるようになる。また、端末２には予め三次元オブジェクトのデータを記憶させておき、マーカと三次元オブジェクトとを対応付けておけば、サーバ１と接続することなくＡＲ処理を実行することができる。

＜実施例＞
例えば、自動販売機や空調機器等の機器を表す三次元オブジェクトを作成し、タブレット（すなわち「端末」）の記憶領域（すなわち「データ格納部」）に、所定の二次元コード（すなわち「マーカ」）と関連付けて登録しておく。そして、例えば機器を設置したい空間の床に三次元オブジェクトと関連付けられたマーカを置き、ＡＲアプリケーションを利用して当該空間の合成画像をタブレットに表示する。図１４に、合成画像を表示するタブレットの例を示す。図１４の例では、余裕領域を破線で示している。また、三次元モデルに下に存在するマーカを二点鎖線で示している。このようにすれば、マーカ大きさ及び向きに基づいて、機器を表示することができ、機器を設置した後の当該空間の様子をシミュレートすることができる。マーカが示す機器とほぼ同じ縮尺で三次元オブジェクトを表示することができるため、周囲の物品と干渉することなく空間に機器が設置できるか否かといった事項や、機器を設置した場合に圧迫感があるか否かといった事項について、ユーザは評価し易くなる。

また、本実施の形態では、三次元オブジェクトに余裕領域を設定しておき、ＡＲ処理において余裕領域の外延をワイヤフレーム等で表示する。すなわち、三次元オブジェクトが表す機器の周囲に余裕をもって設けるべき空間を、合成画像上に付加的な情報として表示することができる。

さらに、機器の複数のバリエーションを表す三次元オブジェクトを、それぞれ異なるマーカと関連付けて予め登録しておくこともできる。このようにすれば、空間の床に置くマーカを変更することにより、機器の複数のバリエーションをそれぞれ設置した場合の当該空間の様子をシミュレートすることができる。また、１つのマーカを空間に置いた状態で、マーカ・オブジェクト関連付け処理を実行し、マーカと三次元オブジェクトとの関連付けを変更することもできる。このようにすれば、マーカを交換することなく、ＡＲ処理において表示する機器を変更することができる。本実施の形態では、マーカと三次元オブジェクトとの関連付けをユーザが自由に設定できるため、三次元オブジェクトの数だけマーカを用意する必要はなく、ユーザは限られた数のマーカを用いて、数の制限なく三次元オブジェクトとの関連付けを変更して表示させることができる。

また、ユーザは容易に三次元オブジェクトを登録することができる。ユーザの家具や家電製品などの私物を撮影して、三次元オブジェクトに貼付することができるため、例えば引越や部屋の模様替えをする際に、物品の配置を変更した状態をＡＲアプリケーションにより具体的にシミュレートすることができる。マーカ上にオブジェクトを合成するＡＲアプリケーションでは、上下方向のオブジェクトの重ね合わせが困難であるという問題があ
るが、本実施の形態に係る組合せ登録処理によれば、三次元オブジェクトの組み合わせを１つの三次元オブジェクトとして登録することができるため、より自由に物品のレイアウトをシミュレートすることができる。

＜変形例＞
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更することができる。例えば、実施の形態に示した処理フローは、結果が変わらない限りにおいて処理の順序を変更してもよい。また、上記の実施形態及び下記の変形例は、可能な限り組み合わせて実施することができる。

図３に示した端末２は、登録処理部２１とＡＲ処理部２２とを有しているが、登録処理部２１及びＡＲ処理部２２の機能を提供するのは、１つの端末又は１つのアプリケーションでなくてもよい。すなわち、登録処理部２１とデータ格納部２３とを有する端末２と、ＡＲ処理部２２とデータ格納部２３とを有する端末２とを用いることもできる。また、端末２を登録処理部２１やＡＲ処理部２２として機能させるアプリケーションを、サーバ１が配信するようにしてもよいし、図１には図示していない配信サーバが配信するようにしてもよい。

また、三次元オブジェクトの形状は直方体又は直方体の組合せには限定されない。例えば、３Ｄモデリングを行うＣＡＤ（Computer Aided Design）アプリケーションによって
作成した三次元オブジェクトを、ＡＲアプリケーションで利用可能な形式に変換するようにしてもよい。３Ｄモデリングを行うアプリケーションは、カメラやセンサ等を用いて物品を周囲から撮影・計測し、得られたデータを基に三次元モデルを生成するような技術を利用することもできる。

さらに、例えば図１２に示した関連付けテーブルにおいて、１つのマーカに対して、動作前後の物品を示す２以上の三次元オブジェクトを関連付けるようにしてもよい。図１５Ａ及び図１５Ｂに、扉が開閉する物品の動作前後の状態を示す三次元オブジェクトの一例を示す。２つの三次元オブジェクトを交互に表示すれば、ユーザは周囲の物品と干渉しないか容易に判断できるようになる。

さらに、上述したマーカの他、ＧＰＳ（Global Positioning System）や、磁気センサ
（いわゆる電子コンパス）、測距センサ等のセンサ類、ＲＦ（Radio Frequency）タグの
ような非接触ＩＣタグ等を併用してもよい。例えば、マーカ周囲の物品や壁に例えばＲＦタグを埋め込み、又は配置し、マーカと端末２との位置関係や、マーカ周囲の物品や壁と端末２との位置関係を取得すれば、マーカ上に表示される三次元オブジェクトとマーカ周囲の物品や壁との衝突判定を行うことができる。

また、カメラを介して取得した複数の画像から、自己位置推定及び環境地図作成を行う技術（例えば、ＳＬＡＭ（Simultaneous Localisation and Mapping））等を利用しても
よい。環境地図とは、物や壁の配置などの周辺環境を表す情報をいう。画像から特徴点やエッジを検出し、追跡することにより、マーカレスで、周囲の物や壁、カメラの位置や向き等を特定することができる。このような技術により特定した情報を用いて、衝突判定を行うようにしてもよい。

１ サーバ
２ 端末
３ ネットワーク
１１ データ格納部
１２ 通信部
２１ 登録処理部
２２ ＡＲ処理部
２３ データ格納部
２１１ 形状設定部
２１２ テクスチャ設定部
２１３ 余裕領域設定部
２１４ 組合せ設定部
２１５ 通信部
２２１ 関連付け設定部
２２２ 現地画像取得部
２２３ マーカ検出部
２２４ 合成画像生成部
２２５ 通信部

Claims (6)

1. 画像データから検出されたマーカに重畳して、前記画像データに三次元オブジェクトを描画した合成画像を表示する拡張現実プログラムであって、
   前記三次元オブジェクトにおける所定の２点間の距離の入力を受け付け、前記三次元オブジェクトと前記所定の２点間の距離とを関連付けて登録する距離登録ステップと、
   原寸が所定の大きさであるマーカを画像データから検出し、前記合成画像に描画する三次元オブジェクトの所定の２点間の距離を、前記距離登録ステップにおいて登録された前記所定の２点間の距離と、前記マーカの原寸に対する検出された前記画像データ中のマーカの大きさとに基づいて決定するステップと、
   をコンピュータに実行させる拡張現実プログラム。
2. 三次元オブジェクトが表す物を周囲の物から離隔させる距離の入力を受け付け、前記三次元オブジェクトと入力された前記離隔させる距離とを関連付けて登録する間隔登録ステップ
   をさらにコンピュータに実行させ、
   前記離隔させる距離の外延を前記合成画像に描画する、請求項１に記載の拡張現実プログラム。
3. テクスチャデータを抽出するための画像において、前記三次元オブジェクトの面分の頂点に対応する点群の入力を受け付け、入力された点群で画定される領域を抽出し前記三次元オブジェクトの面分にマッピングするテクスチャデータとして登録する、テクスチャ登録ステップ
   をさらにコンピュータに実行させ、
   前記テクスチャデータを前記三次元オブジェクトの面分にマッピングして前記合成画像に描画する請求項１又は２に記載の拡張現実プログラム。
4. 複数の三次元オブジェクト及び当該複数の三次元オブジェクトの相対的な位置を示す情報の入力を受け付け、当該複数の三次元オブジェクトの組合せを登録する組合せ登録ステップ
   をさらにコンピュータに実行させ、
   前記複数の三次元オブジェクトの組合せを前記合成画像に描画する、請求項１から３のいずれか一項に記載の拡張現実プログラム。
5. 画像データから検出されたマーカに重畳して、前記画像データに重畳して描画する三次元オブジェクトを登録する登録プログラムであって、
   原寸が所定の大きさであるマーカを画像データから検出した場合に、前記マーカの原寸に対する検出された前記画像データ中のマーカの大きさに基づいて描画する三次元オブジェクトの所定の２点間の距離を決定するための、前記三次元オブジェクトの所定の２点間の距離の原寸の入力を受け付けるステップと、
   入力された前記三次元オブジェクトの所定の２点間の距離の原寸を、前記三次元オブジェクトと関連付けて登録するステップと、
   をコンピュータに実行させる登録プログラム。
6. 画像データから検出されたマーカに重畳して、前記画像データに三次元オブジェクトを描画した合成画像を表示する拡張現実プログラムであって、
   ユーザによって入力された、前記三次元オブジェクトにおける所定の２点間の距離の原寸を記憶しているデータ格納部から、当該所定の２点間の距離の原寸を読み出す読出しステップと、
   原寸が所定の大きさであるマーカを画像データから検出し、前記合成画像に描画する三
   次元オブジェクトの所定の２点間の距離を、前記読出しステップにおいて読み出された前記所定の２点間の距離の原寸と、前記マーカの原寸に対する検出された前記画像データ中のマーカの大きさとに基づいて決定するステップと、
   をコンピュータに実行させる拡張現実プログラム。

Images