JP2012190085A - マーカー認識処理装置、認識処理プログラム及び認識処理方法 - Google Patents

Abstract

【課題】三次元位置認識のためのマーカーにより三次元画像を表示しつつ、ＱＲコードにより多くの情報を提供する。

【解決手段】マーカー認識処理装置１の撮影部２により撮影される、三次元位置認識のためのマーカーとＱＲコードを含む撮影画像から、ＱＲコードを検出した際に、これをデコードして仮想物体とＤＬサイトＵＲＬと閲覧サイトＵＲＬを取得し、マーカーパターンを識別するための参照パターンと対応付けて記憶部１０に格納する。そして、マーカー検出の際、マーカーパターンに対応する閲覧サイトＵＲＬ及び仮想物体を取得済であるか判定し、既に閲覧サイトＵＲＬ及び仮想物体を取得済の場合、ユーザーは、マーカーを認識するだけで、三次元画像を表示させつつ閲覧サイトにアクセスできる。
【選択図】図１

Description

本発明は、仮想物体を現実世界の映像の中に重畳させる技術において、特に三次元位置認識のためのマーカーと二次元コードの認識処理に関するものであり、マーカーと二次元コードを複合した複合マーカーの認識処理装置、認識処理プログラム及び認識処理方法に関するものである。

従来、ＱＲコード（登録商標）等の二次元コードが幅広く利用されている。ＱＲコードは、バーコード等の一次元コードに比べ多くの情報を記述することができ、例えば、ＵＲＬが記述され、特定のウェブサイトへの誘導手段として広告や商品に印刷され利用されている。このＱＲコードを携帯端末のカメラで読取り、その結果得られたＵＲＬを用いてインターネットに接続することにより特定のウェブサイトにアクセスすることができる。

また、近年、現実空間に仮想物体が存在するかのように重畳表示させる拡張現実感（Augmented Reality：ＡＲ）技術が提案されている。このＡＲ技術の一つとして、マーカーの二次元空間の頂点情報を三次元空間座標系に変換し、その座標をさらにモニタ上の座標系に変換することによって、仮想物体を現実世界の適切な位置に表示させるものが非特許文献１に開示されている。ＡＲ用のマーカーの多くは、正確な位置合わせや処理の複雑化を避けるため画像認識のし易い簡単なマーカーパターンで提供されており、携帯端末で読取り、三次元画像表示が可能となっている。このＡＲ用のマーカーも広告や商品に印刷され消費者に視覚的に訴求する販促手法として利用されている。

加藤博一、MarkBillinghurst、浅野浩一、橘啓八郎、マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、日本バーチャルリアリティ学会論文誌、Vol.４、No.４、１９９９

しかしながら、上述したＱＲコードは、ＱＲコードの目が細かく、特に解像度の低いカメラで読取る場合には、カメラをＱＲコードに近づけてかつなるべく静止状態にして読取りを行わないと認識できないという問題があった。

また、ＡＲ用のマーカーの多くは画像認識のし易いマーカーパターンで提示され、ＱＲコードに比してカメラをマーカーから離した状態で認識することができる一方、情報量の多いＵＲＬ等の情報を記述することができなかった。

本発明は、上述した従来技術による問題点を解消するためになされたものであり、ユーザーに対して、ＡＲ用のマーカーにより三次元画像を表示して視覚的に訴求をしつつ、ＱＲコードにより多くの情報を提供することのできるマーカー認識処理装置、認識処理プログラム及び認識処理方法を提供することを目的とする。

上記課題を解決するため、本発明に係るマーカー認識処理装置は、三次元位置認識のためのマーカーと情報コードを撮影する撮影手段と、撮影手段により撮影された撮影画像からマーカーを検出し、マーカーパターンを用いてマーカーを認識するマーカー認識手段と、
マーカーパターンに応じた仮想物体を生成する仮想物体生成手段と、撮影画像と仮想物体を合成した三次元画像を生成し、表示部に出力する画像生成手段と、撮影画像から情報コードを検出し、情報コードをデコードして記述情報を取得する情報コード処理手段と、マーカーパターンを識別するためのパターン情報と、パターン情報に対応する仮想物体と、情報コードの記述情報とを、少なくとも対応付けて記憶する記憶手段と、マーカー認識手段によりマーカーを認識する際、当該マーカーのマーカーパターンに対応する情報コードの記述情報を取得済であるか判定する判定手段を備え、判定の結果、対応する情報コードの記述情報を取得済の場合、マーカー認識により三次元画像を表示するとともに当該情報コードの記述情報を利用可能とすることを特徴とする。

また、マーカー認識処理装置は、さらにユーザーによる入力手段の操作にしたがった処理を行う入力操作処理手段を備え、三次元画像中の仮想物体に対する入力操作を受け付けた場合、情報コードの記述情報に基づく処理を実行することを特徴とする。このように構成することにより、ユーザーは、表示された三次元画像を見て、さらに情報コードの記述情報を利用するか否かを選択することができる。

また、情報コードには、第一の記述情報と第二の記述情報とが記述され、情報コード処理手段により、情報コードがデコードされた際に、第一の記述情報に基づき仮想物体を取得するとともに第二の記述情報を取得し、当該仮想物体及び第二の記述情報を、マーカーパターンを識別するパターン情報に対応付けて記憶することを特徴とする。このように、情報コードをデコード後に仮想物体を取得するように構成することで、仮想物体の取得元（仮想物体を管理するサイト等）において仮想物体の変更等が可能となる。

また、情報コードは、マーカー内部の所定位置に重畳して形成され、情報コードの外周にマーカーのマーカーパターンが形成されるのが好適である。このように、マーカーと情報コードとが一体に形成された複合マーカーであれば、マーカーと情報コードとの対応関係を分かり易いものとすることができる。また、マーカーと情報コードによる占有面積が小さくなり、一撮影画像中に複数のマーカーを収めることもできる。

また、撮影画像中に複数の情報コード及び複数のマーカーを含む場合、複数の情報コードの記述情報を取得し、複数のマーカーのマーカーパターンに応じた複数の仮想物体を撮影画像と合成した三次元画像を表示するとともに、複数の情報コードを利用可能とすることすることを特徴とする。

また、仮想物体は、情報コードの記述情報と関連するものとするのが好適である。これにより、ユーザーは仮想物体（若しくは撮影画像と仮想物体とが合成された三次元画像）を見ることで情報コードの記述情報を感得することができる。

また、本発明に係るマーカー認識処理プログラムは、撮影手段により撮影された撮影画像を取得する処理と、撮影画像中の三次元位置認識のためのマーカーを検出し、マーカーパターンを用いてマーカーを認識する処理と、マーカーパターンに応じた仮想物体を生成する処理と、撮影画像と前記仮想物体を合成した三次元画像を生成し、表示部に出力する処理と、撮影画像から情報コードを検出し、情報コードをデコードして記述情報を取得する処理と、マーカーパターンを識別するためのパターン情報と、パターン情報に対応する仮想物体と、情報コードの記述情報とを、少なくとも対応付けて記憶する処理と、マーカーを認識する際、当該マーカーのマーカーパターンに対応する情報コードの記述情報を取得済であるか判定する処理を実行し、判定の結果、対応する情報コードの記述情報を取得済の場合、マーカー認識により三次元画像を表示するとともに当該情報コードの記述情報を利用可能とすることを特徴とする。

また、本発明に係るマーカー認識処置方法は、撮影手段により撮影された撮影画像を取得するステップと、撮影画像中の三次元位置認識のためのマーカーを検出し、マーカーパターンを用いてマーカーを認識するステップと、マーカーパターンに応じた仮想物体を生成するステップと、撮影画像と前記仮想物体を合成した三次元画像を生成し、表示部に出力するステップと、撮影画像から情報コードを検出し、情報コードをデコードして記述情報を取得するステップと、マーカーパターンを識別するためのパターン情報と、パターン情報に対応する仮想物体と、前記情報コードの記述情報とを、少なくとも対応付けて記憶するステップと、マーカーを認識する際、当該マーカーのマーカーパターンに対応する情報コードの記述情報を取得済であるか判定するステップを含み、判定の結果、対応する情報コードの記述情報を取得済の場合、マーカー認識により三次元画像を表示するとともに当該情報コードの記述情報を利用可能とすることを特徴とする。

本発明によれば、ユーザーに対して三次元位置認識のためのマーカーにより三次元画像を提供しつつ、情報コードの記述情報も提供することができる。

本発明の一実施形態に係るマーカー認識処理装置の機能構成を示すブロック図である。 本発明の一実施形態に係る複合マーカーの例を示す図である。 マーカー認識処理装置における記憶部のデータテーブルの一例を示す図である。 マーカー認識処理装置で複合マーカーを読取る様子を示す模式図である。 マーカー認識処理装置における処理全体のフローチャートである。 図５のＳ４におけるマーカー検出処理のフローチャートである。 図５のＳ５におけるＱＲコード処理のフローチャートである。 図５のＳ６における仮想物体生成処理のフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、以下の説明においては、ウェブカメラやウェブブラウザを備えた高機能携帯端末を、本実施形態に係るマーカー認識処理装置として適用し、マーカーの認識及びＱＲコードの検出・デコードをする場合について説明する。また、詳細は図２を用いて後述するが、本実施形態では、三次元位置認識のためのマーカーとＱＲコードとを重畳させて複合マーカーを形成するものであり、以下、三次元位置認識のためのマーカー（部分）を単にマーカーといい、特にＱＲコードを含む全体を指す場合には複合マーカーといい説明する。

図１は、本発明の一実施形態に係るマーカー認識処理装置の機能構成を示すブロック図であり、図２は、本発明の一実施形態に係る複合マーカーの例を示す図である。図３は、マーカー認識処理装置における記憶部のデータテーブルの一例を示す図である。図４は、マーカー認識処理装置で複合マーカーを読取る様子を示す模式図である。

図１に示すように、マーカー認識処理装置１は、撮影部２と、撮影画像取得部３、マーカー認識部４、仮想物体生成部５、画像生成部６、ＱＲコード処理部７、入力操作処理部８、撮影モード切換部９からなる制御部２０と、記憶部１０、入力部１１、表示部１２を備え、以下のように機能する。

撮影部２は、複合マーカーが印刷された広告印刷物等の現実世界の様子を撮影する。撮影画像取得部３は、撮影部２により撮影された撮影画像の静止フレームを取得し、記憶部１０に格納する。マーカー認識部４は、記憶部１０に格納された撮影画像の静止フレームからマーカーの検出を行い、マーカーの頂点座標、向き及びマーカーパターンを記憶部１０に格納する。

ここで、本実施形態における複合マーカー１００は、図２（ａ）に示すように、黒色正方形状であり、その内部にＱＲコード１０１と白色矩形パターン（マーカーパターン）１０２が配置されている。ＱＲコード１０１は、マーカー内部の図示右下方部分に配置され、周囲に余白が設けられている。

ＱＲコード１０１には、撮影画像と合成し三次元画像を生成するための仮想物体をダウンロードするウェブサイトＵＲＬ（以下、ＤＬサイトＵＲＬという）、ユーザーが閲覧するウェブサイトＵＲＬ（以下、閲覧サイトＵＲＬという）、及びマーカーパターンＩＤが記述されている。

白色矩形パターン１０２は、図２（ａ）に示す複合マーカー１００では、マーカー内部の図示右上方部分及び左下方部分に配置されている。この白色矩形パターン１０２を、マーカー内部の図示左上方、下方及び右上方の３部分の何れに配置するかにより、図２（ｂ）、（ｃ）に示すようなマーカーパターンも含め計８パターンのマーカーを制作することができる。

なお、本実施形態では、白色矩形パターン１０２の配置により複数のマーカーパターンを実現するものとしたが、これに限らず、例えば、白色ドットパターンを配置するようにしてもよく、白色部分の配置変更により容易に複数パターンのマーカーの制作が可能なものであれば他のパターンでもよい。また、マーカーパターンは３ビット計８パターンとしたが、白色矩形パターン１０２の大きさを調整することによって、マーカーパターンを増やすこともできる。

図１に戻り、マーカー認識部４は、検出したマーカーの頂点座標や向きに基づきマーカーの三次元位置を算出する。また、マーカーパターンと記憶部１０に予め格納されている参照パターン（図３参照）とのパターンマッチングを行う。更に、マーカー認識部４は、検出したマーカーのマーカーパターンに対応するＱＲコードに記述された閲覧サイトＵＲＬが、ＱＲコード処理部７によって取得済であるかを判定する。この判定の結果、閲覧サイトＵＲＬが取得済である場合には、ユーザーは閲覧サイトＵＲＬを用いて閲覧サイトにアクセスすることができる。

仮想物体生成部５は、マーカー認識部４により認識されたマーカーに対応して表示する仮想物体を記憶部１０から選択し、マーカーの三次元位置に基づいて仮想物体を生成する。画像生成部６は、撮影画像と仮想物体生成部５により生成された仮想物体を合成して三次元画像を生成する。

ＱＲコード処理部７は、ＱＲコードを検出し、これをデコードしてＱＲコードに記述された情報に基づく処理を行う。具体的には、ＱＲコードに記述されたＤＬサイトＵＲＬ、閲覧サイトＵＲＬ、及びマーカーパターンＩＤを取得し、ＤＬサイトＵＲＬに自動的にアクセスをしてマーカーパターンＩＤに対応する仮想物体をダウンロードする。そして、仮想物体と閲覧サイトＵＲＬを、取得したマーカーパターンＩＤをキーにして記憶部１０の対応するレコードに格納する。

入力操作処理部８は、入力部１１からユーザーにより入力された指示にしたがった処理を行う。撮影モード切換部９は、撮影モードの切換を行うものであり、本実施形態における撮影モードは、フルスキャンモードとパッチトラッカーモードの二つのモードがある。フルスキャンモードは、マーカー全体が一撮影画面内に捉えられた際、そのマーカー全体をスキャンするモードであり、パッチトラッカーモードは、現在の一フレーム前の撮影画像におけるマーカー位置周辺をスキャンし、マーカー外枠の線分を検出した場合、検出したマーカーを一フレーム前に認識済のマーカーと同一マーカーであるものとして処理をするスキャン時間短縮用のモードである。本実施形態では、撮影モードの切換は、ユーザー操作により行うものとするが、例えば、パッチトラッカーモードで検出できない場合にフルスキャンモードに切り換わる等、自動的に切り換わるように構成してもよい。

記憶部１０は、撮影画像取得部３、マーカー認識部４、仮想物体生成部５、画像生成部６、ＱＲコード処理部７、入力操作処理部８、撮影モード切換部９からなる制御部２０の制御を行うアプリケーションプログラムや、マーカー認識部４により検出されたマーカーとパターンマッチングを行うための参照パターン、参照パターンに対応する仮想物体、マーカーパターンＩＤ、及び閲覧サイトＵＲＬを格納する。また、撮影画像取得部３により取得された撮影画像の静止フレームや、マーカー認識部４により検出されたマーカーの頂点座標等を格納する。

ここで、図３を用いて、本実施形態のマーカー認識処理装置１の記憶部１０のデータテーブルについて説明する。記憶部１０は、参照パターンフィールド１０ａと仮想物体フィールド１０ｂとマーカーパターンＩＤフィールド１０ｃと閲覧サイトＵＲＬフィールド１０ｄから構成されるレコードを複数記憶している。各フィールドのうち、参照パターンとマーカーパターンＩＤは、予め格納されている。仮想物体と閲覧サイトＵＲＬは、ＱＲコードがデコードされた際に取得され、この際取得されるマーカーパターンＩＤ（予め格納されたマーカーパターンＩＤとは別のマーカーパターンＩＤ）をキーにして記憶部１０の対応するレコードに格納される。

これにより、マーカー認識処理装置１は、一旦ＱＲコードをデコードした後は、再度ＱＲコードをデコードすることなく、マーカーを認識する際に記憶部の対応するレコードを参照することで、ＱＲコードに記述された閲覧サイトＵＲＬをユーザーが利用可能な状態とすることができる。すなわち、ユーザーは、マーカー認識処理装置１で三次元画像を表示させつつ、閲覧サイトＵＲＬを用いて閲覧サイトにアクセスすることができる。

図１に戻り、入力部１１は、ユーザーによる指示・操作を入力し、表示部１２は、画像生成部６により生成された三次元画像を表示するほか、アプリケーション操作するための操作メニュー等の表示を行う。

ここで、上記各機能部を実現するハードウェア構成の一例について説明をする。撮影部２は、ウェブカメラ等の撮影装置によって構成することができる。また、撮影画像取得部３、マーカー認識部４、仮想物体生成部５、画像生成部６、ＱＲコード処理部７、入力操作処理部８、撮影モード切換部９からなる制御部２０は、ＣＰＵ（中央処理装置）等の任意のプロセッサにより構成され制御される機能であり、ＣＰＵ上で実行されるソフトウェアとして構成したり、または、各機能の処理に特化した専用のプロセッサ等によって構成したりすることができる。記憶部１０は、ＲＯＭ、ＲＡＭ等のメモリ、その他記憶媒体によって構成することができる。入力部１１は、各種キーボード、ボタン等（ハードウェアとしてのキーボード、ボタンでも、表示部１２に表示されるソフトキーボード、ボタン等でもよい）によって構成することができる。表示部１２は、液晶ディスプレイ等の任意の表示装置によって構成することができる。

続いて、図４を用いて、ユーザーがマーカー認識処理装置１で複合マーカーを読取る様子の一例について説明する。広告印刷物２００には、複数の複合マーカー３００、３１０が印刷されている。ユーザーが、マーカー認識処理装置１を複合マーカー３００、３１０にかざし、マーカー認識処理装置１がマーカーの検出可能範囲Ａ１（図４（ｂ）参照）内にあれば、マーカーが同時に検出される。この際、ユーザーが既にマーカー内のＱＲコード３０１、３１１を読取り済であれば、各マーカーパターンに対応する仮想物体（不図示）が表示される。

表示される仮想物体としては、マーカー内のＱＲコード３０１、３１１に記述された閲覧サイトＵＲＬの接続先ウェブサイトの内容に関連する仮想物体が好適である。例えば、ＱＲコード３０１には、閲覧サイトＵＲＬとして音楽配信ウェブサイトのＵＲＬが記述されていて、仮想物体として楽器を表示するようにし、ＱＲコード３１１には、天気予報ウェブサイトのＵＲＬが記述されていて、太陽（マーク）を表示するようにする。これにより、ユーザーは、表示される仮想物体からＱＲコードに記述された閲覧サイトＵＲＬの接続先ウェブサイトの内容を感得することができる。

ユーザーは、表示された仮想物体を見て、閲覧サイトにアクセスしたい場合には、ユーザー操作（例えば、表示された仮想物体をタップ操作）により、対応する閲覧サイトにアクセスすることができる。

一方、マーカーが検出された際、ユーザーがマーカー内のＱＲコード３０１、３１１を、まだ読取り済でない場合は、仮想物体は表示されず、ＱＲコードを読取るためにマーカー認識処理装置１をＱＲコード検出可能範囲Ａ２（図４（ｂ）参照）内に近づける必要がある。

このように、ユーザーは、一旦ＱＲコード３０１、３１１を読取れば、再度ＱＲコード３０１、３１１を読取る必要がなく、マーカーを認識させるだけでＱＲコード３０１、３１１に記述された閲覧サイトＵＲＬを用いて閲覧サイトにアクセスすることができる。また、ユーザーは、マーカー認識処理装置１をＱＲコード検出可能範囲Ａ２内まで近づける必要がないため、一撮影画面中に複数の複合マーカー３００、３１０を捉えることができ、複数の複合マーカー３００、３１０に対応する三次元画像を同時に表示させることができる。

続いて、図５〜図８を用いてマーカー認識処理装置の処理の流れについて説明する。図５は、マーカー認識処理装置における処理全体のフローチャートである。

図５に示すように、マーカー認識処理装置１においてアプリケーションが起動されると、タイマー等のパラメータの初期化処理が行われる（Ｓ１）。以降ユーザーによるアプリケーション終了操作がなされた場合（Ｓ２のＹｅｓ）、Ｓ３〜Ｓ６の繰返し処理をスキップして終了する。一方、ユーザーによりアプリケーションの終了操作がなされない場合（Ｓ２のＮｏ）、Ｓ３〜Ｓ６の繰返し処理が行われ、先ず撮影部２が、複合マーカーを含む広告印刷物を撮影する（Ｓ３）。次に、マーカー認識部４が、撮影画像に含まれるマーカーの検出処理を行い（Ｓ４）、ＱＲコード処理部７が、ＱＲコードの検出処理を行う（Ｓ５）。次に、仮想物体生成部５が、マーカー上に表示する仮想物体を生成し、画像生成部６が、仮想物体と撮影画像を合成して三次元画像を表示する仮想物体生成処理を行う（Ｓ６）。

図６は、図５のＳ４におけるマーカー検出処理のフローチャートである。まず、マーカー認識部４は、記憶部１０に格納された撮影画像の静止フレームを取得し（Ｓ４１）、撮影画像中に検出すべきマーカーが存在するかを判定する（Ｓ４２）。撮影画像中にマーカーを検出した場合（Ｓ４２のＹｅｓ）、検出したマーカーのマーカーパターンや頂点座標等のデータを記憶部１０に格納する（Ｓ４３）。Ｓ４２、Ｓ４３の処理は、撮影画像中のマーカーを全て検出するまで繰返し処理され、全てのマーカーの検出終了後（Ｓ４２のＮｏ）、ＱＲコード処理（Ｓ５）に進む。

図７は、図５のＳ５におけるＱＲコード処理のフローチャートである。まず、マーカー認識部４が、マーカー検出処理において検出し記憶された全てのマーカーにつき対応するＱＲコードがデコード済であるか判定をする（Ｓ５１）。すなわち、マーカー認識部４は、既に先行して行われたループ処理中（図５のＳ３〜Ｓ６）にＱＲコードがデコードされ、今回のループ処理中に検出されたマーカーのマーカーパターンに対応する閲覧サイトＵＲＬが記憶部１０に格納されているか判定する。検出されたマーカーの全てについて対応するＱＲコードがデコード済である場合（Ｓ５１のＹＥＳ）、新たにＱＲコードをデコードする処理を行う必要がないため仮想物体生成処理（Ｓ６）に進む。これにより、不要なデコード処理を省略することができマーカー認識処理装置１における全体処理速度の向上が実現する。

一方、検出されたマーカーのうち対応するＱＲコードがデコード済でないものがある場合（Ｓ５１のＮｏ）、ＱＲコード処理部７は、ユーザーがマーカー認識処理装置１を移動させた等によって新たにＱＲコードを検出したか判定する（Ｓ５２）。この結果、新たにＱＲコードを検出した場合（Ｓ５２のＹｅｓ）、検出したＱＲコードをデコードし（Ｓ５３）、ＤＬサイトＵＲＬ、閲覧サイトＵＲＬ、及びマーカーパターンＩＤを取得する（Ｓ５４）。そして、取得したＤＬサイトＵＲＬに自動的にアクセスしてマーカーパターンＩＤに対応する仮想物体をダウンロードする（Ｓ５５）。更に、この仮想物体と閲覧サイトＵＲＬを、取得したマーカーパターンＩＤをキーにして記憶部１０の対応するレコードに格納する。（Ｓ５６）。ユーザーがマーカー認識処理装置１を移動させたこと等によって新たにＱＲコードを検出しない場合（Ｓ５２のＮｏ）、Ｓ５３〜Ｓ５６の処理をスキップし、仮想物体生成処理（Ｓ６）に進む。

図８は、図５のＳ６における仮想物体生成処理のフローチャートである。まず、マーカー認識部４は、記憶部１０を参照し仮想物体を生成する対象の未処理のマーカーが存在するかの判定をする（Ｓ６１）。仮想物体を生成する対象の未処理のマーカーが存在する場合には（Ｓ６１のＹｅｓ）、記憶部１０に格納された頂点座標等に基づきマーカーの三次元位置を算出し（Ｓ６２）、参照パターンとのパターンマッチングを行う（Ｓ６３）。この結果、未処理マーカーのマーカーパターンが参照パターンと一致する場合（Ｓ６４のＹｅｓ）、仮想物体生成部５が、記憶部１０を参照し対応する仮想物体を生成する（Ｓ６５）。次に、画像生成部６が仮想物体と撮影画像を合成した三次元画像を生成し、表示部１２に出力することで、三次元画像が表示される（Ｓ６６）。一方、未処理マーカーのマーカーパターンと参照パターンとが不一致の場合（Ｓ６４のＮｏ）、三次元画像は生成されず撮像画像がそのまま表示される（Ｓ６７）。なお、マーカーパターンと参照パターンとのパターンマッチングは、完全に一致するかを判定するものでなく、例えば所定の閾値以上の一致率であれば一致と判定し、所定の閾値以下の一致率であれば不一致と判定するものである。Ｓ６１〜Ｓ６７の処理は、仮想物体を生成する対象の未処理マーカー全てを処理するまで繰返し処理され、未処理マーカーの全てにつき、三次元画像を表示、または、撮影画像をそのまま表示（通常画像表示）する処理がされ、未処理マーカーが無くなった場合（Ｓ６１のＮｏ）仮想物体生成処理を終了する。

以上、本実施形態においては、三次元位置認識のためのマーカーのマーカーパターンを判定するための参照パターンと、マーカーパターンＩＤとが予め対応付けられて記憶されていて、ＱＲコードを検出した際にＱＲコードに記述された閲覧サイトＵＲＬ及び仮想物体をこれに対応付けて記憶する。これにより、マーカー検出の際、検出したマーカーパターンと一致する参照パターンに対応するデータテーブルのレコードを参照することで、検出したマーカーに対応するＱＲコードがデコード済であるかを判定することができる。したがって、ユーザーは、一旦ＱＲコードを読取った後は、マーカーを認識させるだけでマーカー認識処理装置１に三次元画像を表示させつつ、閲覧サイトＵＲＬを用いて閲覧サイトにアクセスすることができる。

なお、本実施形態においては、マーカー認識処理装置１として高機能携帯端末を例に説明したが、ウェブカメラを備えたＰＣ等をマーカー認識処理装置として適用してもよい。また、ＱＲコード記述情報としてＵＲＬを例に説明をしたが、これに限られずメールアドレスや説明文等を記述するようにしてもよい。

また、本実施形態においては、マーカーとＱＲコードとを重畳させて複合マーカーを形成するものとしたが、例えば、広告印刷物のデザイン上の観点からマーカーとＱＲコードとを別個に広告印刷物に印刷するように構成してもよい。この場合であっても、ユーザーは一旦ＱＲコードを読取った後であれば、マーカーを認識するだけでＱＲコードの記述情報も取得することができる。

また、本実施形態においては、記憶部１０の構成として参照パターンが予め格納され、仮想物体及び閲覧サイトＵＲＬを後から格納するものとしたが、例えば、仮想物体についても予め記憶部１０に格納しておくように構成してもよい。このように構成することにより、ＱＲコードのデコード前であっても、マーカーを認識することにより三次元画像を表示させることができる。

また、本実施形態においては、三次元画像中の仮想物体をユーザーがタップ操作をすることにより閲覧サイトにアクセスすることができるものとしたが、特にユーザー操作を必要とせず、所定の間三次元画像を表示させた後、自動的に閲覧サイトに接続させるように構成してもよい。

以上、本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であり、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部等は論理的に矛盾しないように再配置可能であり、複数の機能部を１つに組み合わせたり、あるいは分割したりすることが可能である。

１…マーカー認識処理装置、２…撮影部、３…撮影画像取得部、４…マーカー認識部、５…仮想物体生成部、６…画像生成部、７…ＱＲコード処理部、８…入力操作処理部、９…撮影モード切換部、１０…記憶部、１０ａ…参照パターンフィールド、１０ｂ…仮想物体フィールド、１０ｃ…マーカーパターンＩＤフィールド、１０ｄ…閲覧サイトＵＲＬフィールド、１１…入力部、１２…表示部、２０…制御部、１００、３００、３１０…複合マーカー、１０１、３０１、３１１…ＱＲコード、１０２…白色矩形パターン、２００…広告印刷物、Ａ１…マーカー検出可能範囲、Ａ２…ＱＲコード検出可能範囲。

Claims (8)

1. 三次元位置認識のためのマーカーと情報コードを撮影する撮影手段と、
   前記撮影手段により撮影された撮影画像からマーカーを検出し、マーカーパターンを用いてマーカーを認識するマーカー認識手段と、
   前記マーカーパターンに応じた仮想物体を生成する仮想物体生成手段と、
   前記撮影画像と前記仮想物体を合成した三次元画像を生成し、表示部に出力する画像生成手段と、
   前記撮影画像から情報コードを検出し、情報コードをデコードして記述情報を取得する情報コード処理手段と、
   前記マーカーパターンを識別するためのパターン情報と、パターン情報に対応する仮想物体と、前記情報コードの記述情報とを、少なくとも対応付けて記憶する記憶手段と、
   前記マーカー認識手段によりマーカーを認識する際、当該マーカーのマーカーパターンに対応する情報コードの記述情報を取得済であるか判定する判定手段を備え、
   前記判定の結果、対応する情報コードの記述情報を取得済の場合、マーカー認識により三次元画像を表示するとともに当該情報コードの記述情報を利用可能とすることを特徴とするマーカー認識処理装置。
2. ユーザーによる入力手段の操作にしたがった処理を行う入力操作処理手段を備え、
   前記三次元画像中の仮想物体に対する入力操作を受け付けた場合、前記情報コードの記述情報に基づく処理を実行することを特徴とする請求項１記載のマーカー認識処理装置。
3. 前記情報コードは、第一の記述情報と第二の記述情報とが記述され、
   前記情報コード処理手段により、情報コードがデコードされた際に、前記第一の記述情報に基づき仮想物体を取得するとともに第二の記述情報を取得し、当該仮想物体及び第二の記述情報を、前記マーカーパターンを識別するパターン情報に対応付けて記憶することを特徴とする請求項１または２に記載のマーカー認識処理装置。
4. 前記情報コードは、前記マーカー内部の所定位置に重畳して形成され、情報コードの外周に前記マーカーのマーカーパターンが形成されることを特徴とする請求項１〜３の何れか１項に記載のマーカー認識処理装置。
5. 前記撮影画像中に複数の情報コード及び複数のマーカーを含む場合、前記複数の情報コードの記述情報を取得し、前記複数のマーカーのマーカーパターンに応じた複数の仮想物体を前記撮影画像と合成した三次元画像を表示するとともに、前記複数の情報コードの情報コードを利用可能とすることを特徴とする請求項１〜４の何れか１項に記載のマーカー認識処理装置。
6. 前記仮想物体は、前記情報コードの記述情報と関連するものであることを特徴とする請求項１〜５の何れか１項に記載のマーカー認識処理装置。
7. 撮影手段により撮影された撮影画像を取得する処理と、
   前記撮影画像中の三次元位置認識のためのマーカーを検出し、マーカーパターンを用いてマーカーを認識する処理と、
   前記マーカーパターンに応じた仮想物体を生成する処理と、
   前記撮影画像と前記仮想物体を合成した三次元画像を生成し、表示部に出力する処理と、
   前記撮影画像から情報コードを検出し、情報コードをデコードして記述情報を取得する処理と、
   前記マーカーパターンを識別するためのパターン情報と、パターン情報に対応する仮想物体と、前記情報コードの記述情報とを、少なくとも対応付けて記憶する処理と、
   前記マーカーを認識する際、当該マーカーのマーカーパターンに対応する情報コードの記述情報を取得済であるか判定する処理を実行し、
   前記判定の結果、対応する情報コードの記述情報を取得済の場合、マーカー認識により三次元画像を表示するとともに当該情報コードの記述情報を利用可能とすることを特徴とするマーカー認識処理プログラム。
8. 撮影手段により撮影された撮影画像を取得するステップと、
   前記撮影画像中の三次元位置認識のためのマーカーを検出し、マーカーパターンを用いてマーカーを認識するステップと、
   前記マーカーパターンに応じた仮想物体を生成するステップと、
   前記撮影画像と前記仮想物体を合成した三次元画像を生成し、表示部に出力するステップと、
   前記撮影画像から情報コードを検出し、情報コードをデコードして記述情報を取得するステップと、
   前記マーカーパターンを識別するためのパターン情報と、パターン情報に対応する仮想物体と、前記情報コードの記述情報とを、少なくとも対応付けて記憶するステップと、
   前記マーカーを認識する際、当該マーカーのマーカーパターンに対応する情報コードの記述情報を取得済であるか判定するステップを含み、
   前記判定の結果、対応する情報コードの記述情報を取得済の場合、マーカー認識により三次元画像を表示するとともに当該情報コードの記述情報を利用可能とすることを特徴とするマーカー認識処理方法。