JP2014093034A - 情報処理用プログラム、情報処理装置、情報処理システム、および情報処理方法 - Google Patents

Abstract

【課題】拡張現実技術において、仮想空間に関して可能な処理にバリエーションを持たせることを課題とする。
【解決手段】コンピュータを、現実空間における特徴を検出する特徴検出部２２と、特徴に基づいて配置された仮想オブジェクトを含む仮想空間の画像を生成する画像生成部２５と、仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御部２６と、仮想空間に関して行うことが可能な処理を、特徴に基づいて決定する処理決定部２７と、決定された処理をユーザーに指示させるためのメニューをユーザーから操作可能に出力するメニュー出力部２８として機能させるプログラムとした。
【選択図】図２

Description

本発明は、現実空間に各種情報を重畳する情報処理用プログラム、情報処理装置、情報処理システム、および情報処理方法に関する。

従来、現実空間に各種情報を重畳する技術である拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ
Ｒｅａｌｉｔｙ）の分野において、仮想オブジェクトを表示するための基準座標判別に関する研究が行われている。例えば、非特許文献１には、カメラによって撮像された画像におけるマーカーの位置および姿勢に基づいて、仮想オブジェクトを表示する方法が開示されている。

加藤博一、Ｍａｒｋ Ｂｉｌｌｉｎｇｈｕｒｓｔ、浅野浩一、橘啓八郎、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、Ｖｏｌ４、Ｎｏ．４、１９９９年、ｐ．６０６−６１６

しかし、従来の拡張現実技術では、マーカー等の現実空間における特徴は、仮想オブジェクトの表示のための基準として用いられるのみであり、また、仮想オブジェクトが配置される仮想空間に関して可能な処理は、現実空間における特徴に拘らず画一的なものであった。

本発明は、上記した問題に鑑み、拡張現実技術において、仮想空間に関して可能な処理にバリエーションを持たせることを課題とする。

本発明では、上記課題を解決するために、以下の構成を採用した。即ち、本発明は、コンピュータを、現実空間に配置された特徴を検出する特徴検出手段と、前記特徴に基づいて配置された仮想オブジェクトを含む仮想空間の画像を生成する画像生成手段と、前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、前記仮想空間に関して行うことが可能な処理を、前記特徴に基づいて決定する処理決定手段と、前記処理決定手段によって決定された処理をユーザーに指示させるためのメニューをユーザーから操作可能に出力するメニュー出力手段として機能させる情報処理用プログラムである。

ここで、表示装置は、本発明に係るプログラムを実行するコンピュータに周辺機器として接続されたものであってもよいし、通信網等を介して接続されたものであってもよい。また、本発明に係るプログラムの実行主体となるコンピュータは、所謂クラウド等の仮想的な環境に構築されたものであってもよい。

また、現実空間に配置された特徴とは、例えば、所謂ＡＲ用のマーカー、または二次元バーコード等のコードである。そして、このような特徴は、例えばカード等の部品に付されてよい。また、このような特徴は、専用のマーカーやコード等に限られない。他用途に用いられる物品であっても、仮想オブジェクトの表示基準を取得可能なものであれば、前
記特徴として用いることが出来る。

本発明によれば、仮想空間に関して行うことが可能な処理を、現実空間から検出された特徴に基づいて決定し、決定された処理をユーザーに指示させるためのメニューを出力することで、拡張現実技術において、仮想空間に関して可能な処理に、現実空間内の特徴に応じたバリエーションを持たせることが可能となった。

なお、本発明が適用される拡張現実技術の種類は限定されない。本発明は、例えば、撮像画像に仮想空間画像を合成した合成画像を表示することで仮想空間の画像が現実空間に重畳されてユーザーから視認されるタイプの拡張現実技術にも適用可能であるし、ユーザーの視界に仮想空間画像を映写することで仮想空間の画像が現実空間に重畳されてユーザーから視認されるタイプの拡張現実技術（例えば、ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ等）にも適用可能である。

また、前記プログラムは、前記コンピュータを、撮像装置によって撮像された撮像画像を取得する撮像画像取得手段として更に機能させ、前記特徴検出手段は、前記撮像画像に撮像された前記現実空間における特徴を、該撮像画像から検出してもよい。

また、前記表示制御手段は、前記撮像画像に前記仮想空間の画像を重畳した合成画像を前記表示装置に表示させることで、ユーザーが、前記仮想空間の画像が現実空間に重畳されて視認可能としてもよい。

また、前記特徴検出手段は、前記特徴の種類、前記現実空間における位置および姿勢の少なくとも何れかを特定可能な特徴を検出し、前記処理決定手段は、前記特徴検出手段によって検出された前記特徴によって特定される、該特徴の種類、前記現実空間における位置および姿勢の少なくとも何れかを用いて、前記処理を決定してもよい。

また、前記処理決定手段は、前記特徴検出手段によって検出された前記特徴の種類、位置または姿勢の少なくとも何れかに応じて前記処理を決定してもよい。

また、前記処理決定手段は、前記特徴検出手段によって検出された複数の前記特徴の種類の関係、位置の関係または姿勢の関係の少なくとも何れかに応じて前記処理を決定してもよい。

また、前記処理決定手段は、前記特徴検出手段によって検出された特徴が１つである場合には、該特徴に基づいて前記処理を決定し、前記特徴検出手段によって検出された特徴が複数である場合には、該複数の特徴の関係に基づいて前記処理を決定してもよい。

複数の特徴の組み合わせに応じて実行可能な処理を決定することで、現実空間内の特徴同士の関係に応じて、実行可能な処理を異ならせることが出来、より柔軟性の高い拡張現実機能を提供することが出来る。

また、前記プログラムは、前記コンピュータを、前記メニューに対するユーザー操作を受け付ける操作受付手段と、前記操作受付手段によって受け付けられたユーザー操作に応じた処理を実行する処理実行手段と、として更に機能させてもよい。

また、前記処理は、前記仮想オブジェクトに対する処理、前記仮想オブジェクトの動きに関する処理、および前記仮想オブジェクトを含む前記仮想空間に対する処理、の少なくとも何れかであってもよい。

また、前記処理決定手段は、前記特徴検出手段によって複数の特徴が検出された場合、前記処理を、前記特徴毎に決定してもよい。

また、前記処理決定手段は、前記特徴検出手段によって検出された特徴について複数の組み合わせが存在する場合、前記処理を、前記組み合わせについて決定してもよい。

また、前記表示装置は、第一の表示領域および第二の表示領域を有し、前記表示制御手段は、前記仮想空間の画像を前記第一の表示領域に表示させ、前記メニュー出力手段は、前記メニューを前記第二の表示領域に表示されるよう出力してもよい。

また、本発明は、情報処理装置、１または複数の情報処理装置を有する情報処理システム、コンピュータによって実行される方法、またはコンピュータに実行させるプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

本発明によれば、拡張現実技術において、仮想空間に関して可能な処理にバリエーションを持たせることが可能となる。

実施形態に係る情報処理装置を含むシステムの概略を示す図である。 実施形態に係る情報処理装置の機能構成の概略を示す図である。 実施形態に係る情報処理の流れを示すフローチャートである。 実施形態において１つのマーカーが検出されている場合の表示画面の例１を示す図である。 実施形態において１つのマーカーが検出されている場合の表示画面の例２を示す図である。 実施形態において２つのマーカーが検出されている場合の表示画面の一例を示す図である。 実施形態において３つのマーカーが検出されている場合の表示画面の一例を示す図である。

以下、本発明の実施の形態を、図面に基づいて説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態毎に具体的構成が適宜採用されてよい。例えば、本発明は、携帯可能な情報処理装置のコンピュータにおいて実行される情報処理プログラム、情報処理装置、１または複数の情報処理装置を有する情報処理システムおよび情報処理方法等に適用することが出来る。

＜システムの構成＞
図１は、本実施形態に係るシステム１００の構成を示す図である。システム１００には、情報処理装置１、および複数のカード２ａ〜２ｄ（但し、カードの種類を区別しない場合には、単に「カード２」と称する）が含まれる。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏ
ｎｌｙ Ｍｅｍｏｒｙ）１３、補助記憶装置１４、撮像装置１５、ディスプレイ（表示装置）１６、および各種ボタンやタッチパネル等の入力装置１７が電気的に接続された情報処理装置である。なお、情報処理装置１の具体的なハードウェア構成に関しては、実施の形態毎に適宜構成要素の省略や置換、追加が行われてよい。

ＣＰＵ１１は、中央処理装置であり、ＲＡＭ１２およびＲＯＭ１３等に展開された命令及びデータを処理することで、ＲＡＭ１２、補助記憶装置１４等の、情報処理装置１に備えられた各構成を制御する。また、ＲＡＭ１２は、主記憶装置であり、ＣＰＵ１１によって制御され、各種命令やデータが書き込まれ、読み出される。即ち、ＣＰＵ１１、ＲＡＭ１２、およびＲＯＭ１３は、情報処理装置１の制御部を構成する。

補助記憶装置１４は、不揮発性の記憶装置であり、主に情報処理装置１の電源を落としても保持したい情報、例えば、ＲＡＭ１２にロードされる情報処理装置１のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、後述する処理を実行するための各種プログラム、情報処理装置１によって使用される各種データ、等が書き込まれ、読み出される。補助記憶装置１４としては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ
Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等を用いることが出来る。また、補助記憶装置１４として、情報処理装置１に対して着脱可能に装着される可搬媒体が用いられてもよい。可搬媒体の例としては、ＥＥＰＲＯＭ等によるメモリーカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等が挙げられる。可搬媒体による補助記憶装置１４と、可搬型ではない補助記憶装置１４とは、組み合わせて用いることも可能である。

カード２ａ〜２ｄには、印刷等の方法で互いに異なるマーカー３ａ〜３ｄ（但し、マーカーの種類を区別しない場合には、単に「マーカー３」と称する）が付されている。このマーカー３は、情報処理装置１によって表示される仮想オブジェクトと対応付けられており、該マーカー３に対応付けられた仮想オブジェクトが表示される際の位置姿勢の基準を示す指標である。図１においてカード２は４枚示されているが、用いられるカード２は１枚であってもよいし、２枚以上のその他の枚数であってもよい。また、カード２ａ〜２ｄには、異なる仮想オブジェクトを表示するために夫々異なるマーカー３ａ〜３ｄが付されているが、同一のマーカーが付されたカード２が用いられてもよい。

本実施形態において、仮想オブジェクトは、情報処理装置１のディスプレイ１６において、対応付けられたマーカー３に対して所定位置に合成表示される。また、仮想オブジェクトは、上下、前後、および左右の方向を有する。そのため、マーカー３は、仮想オブジェクトの表示姿勢を特定することが可能なものであることが好ましい。即ち、マーカー３は、撮像装置１５を用いて撮像されることで、撮像装置１５に対する位置および姿勢を特定可能な記号、文字、図形、絵、およびそれらの組み合わせ等であることが好ましい。

次に、本実施形態に係る情報処理装置１が備える機能について説明する。本実施形態に係る情報処理装置１は、所謂ＡＲ機能を備えた情報処理装置である。情報処理装置１は、撮像装置１５を用いて撮像された実空間の撮像画像に、仮想カメラを用いて描画（レンダリング）された仮想空間内の仮想オブジェクトを合成して、ディスプレイ１６に表示する機能を有する。本実施形態において、仮想オブジェクトは、３次元の画像データである。但し、仮想オブジェクトは、２次元の画像データであってもよい。

図２は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。本実施形態に係る情報処理装置１は、ＣＰＵ１１が、ＲＡＭ１２に展開された各種プログラムを解釈および実行することで、撮像画像取得部２１、特徴検出部２２、表示基準情報更新部２
３、表示基準情報記憶部２４、画像生成部２５、表示制御部２６、処理決定部２７、メニュー出力部２８、操作受付部２９および処理実行部３０を備える情報処理装置として機能する。本実施形態では、これらの機能がいずれも汎用のＣＰＵ１１によって実行される例について説明しているが、これらの機能は、その一部または全部が、１または複数の専用のプロセッサによって実現されてもよい。

撮像画像取得部２１は、撮像装置１５によって撮像された撮像画像を取得する。そして、特徴検出部２２は、撮像装置１５によって撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって、当該画像に含まれるマーカー３を検出することができる。マーカー３の検出は、例えば、画像認識エンジンを用いて行われる。

表示基準情報更新部２３は、検出されたマーカー３に基づいて、撮像画像に撮像された空間における位置および姿勢を示す基準となる情報を取得し、表示基準情報を更新する。本実施形態では、カメラが動いたり、マーカー３が移動されたりした場合であっても、カメラに対する最新のマーカー位置および姿勢に従って、表示基準情報記憶部２４によって記憶されている表示基準情報が更新される。

表示基準情報記憶部２４は、仮想空間に配置される仮想オブジェクトの位置および姿勢を決定するための表示基準情報を記憶する。本実施形態において、表示基準情報とは、仮想空間内における仮想オブジェクトの位置および姿勢を示すために用いられる基準である。但し、表示基準情報は、仮想空間内における仮想オブジェクトの位置および姿勢の何れか一方のみを示すために用いられる基準であってもよい。本実施形態の基準取得処理では、表示基準情報として、マーカー３の中心点を原点とし、互いに直交する３軸を用いたマーカー座標系が、マーカー３毎に取得される。ただし、表示基準情報として、撮像画像そのもの等、マーカー座標系以外のものが用いられてもよい。また、複数のマーカー３間で、１つのマーカー座標系を共有して用いることも可能である。実空間に配置されたマーカー３を基準として仮想空間の座標系が定義されることにより、実空間と仮想空間とを対応付けることができる。なお、実空間と仮想空間との対応付けには、マーカー座標系を用いる方法以外の方法が採用されてもよい。

本実施形態において、仮想空間に配置される仮想オブジェクトは、当該仮想オブジェクトが対応づけられたマーカー３のマーカー座標系に配置される。マーカー座標系は、撮像画像に含まれるマーカー３の見え方から、撮像装置１５に対するマーカー３の位置および姿勢を算出することで、取得することができる。マーカー座標系における仮想カメラの位置および姿勢は、実空間の撮像装置１５の位置および姿勢と一致される。このため、マーカー３に基づいて仮想空間が定義され、当該仮想空間において、撮像装置１５の位置や撮像方向を変化させると、ディスプレイ１６に表示される仮想空間の画像も変化する。

画像生成部２５は、仮想空間に、表示基準情報記憶部２４によって記憶されている表示基準情報に従って位置および姿勢が決定される仮想オブジェクトを配置し、仮想カメラから見た仮想空間の画像を生成することで、仮想空間画像を描画（レンダリング）する。そして、本実施形態に係る情報処理装置１は、上記説明したＡＲ機能のために、撮像画像取得部２１によって取得された撮像画像と、画像生成部２５によって生成された仮想オブジェクトを含む仮想空間画像と、を重畳した合成画像を生成する。

表示制御部２６は、生成された合成画像を、表示装置であるディスプレイ１６によって表示させる。このようにすることで、ユーザーは、現実空間に、実際に仮想オブジェクトが存在するかのような感覚を得ることが出来る。

処理決定部２７は、マーカーの種類、組み合わせ、数、位置姿勢、等を特定し、特定さ
れた特徴に基づいて、仮想空間に関して実行可能な処理を決定する。そして、メニュー出力部２８は、処理決定部２７によって決定された実行可能な処理をユーザーに選択および指示させるためのメニューを、ユーザーから操作可能に出力する。

また、本実施形態に係るＡＲ機能では、仮想空間についてユーザー操作に応じた処理を可能とする機能が提供される。このような機能を提供するため、操作受付部２９は、ユーザー操作を受け付け、処理実行部３０は、受け付けられたユーザー操作に対応する、仮想空間についての処理を実行する。

次に、本実施形態に係る情報処理装置１が保持する情報について説明する。情報処理装置１は、上記説明した表示基準情報記憶部２４によって記憶される表示基準情報の他に、マーカー情報、オブジェクト情報および処理情報を保持する。

マーカー情報は、マーカー３に関する情報である。マーカー情報には、例えば、マーカー３を識別するためのマーカーＩＤ、マーカー画像、マーカーサイズ、対応オブジェクトＩＤ、仮想オブジェクトの位置姿勢、オブジェクトの表示サイズ等が含まれる。マーカー画像は、マーカー３の外観を示す画像である。また、マーカーサイズは、マーカー３の縦横の長さ等、マーカー３の大きさを示す情報である。情報処理装置１の表示基準情報更新部２３は、マーカー画像とマーカーサイズに基づいて、撮像画像に含まれるマーカー３の見え方から、撮像装置１５とマーカー３との距離、マーカー３の姿勢等、即ち、マーカー３の位置姿勢情報およびマーカー座標系を取得することができる。対応オブジェクトＩＤは、マーカー３に対応する位置に表示される仮想オブジェクトの識別番号である。なお、１つのマーカー３に対して２以上の仮想オブジェクトが対応付けられていてもよい。本実施形態では、マーカー情報には、該当マーカー座標系によって管理される仮想オブジェクトのオブジェクトＩＤが含まれる。仮想オブジェクトの位置姿勢は、マーカー座標系における位置（座標値）および姿勢（ベクトル）で示される。マーカー情報は、システム１００において使用される各マーカー３に対して存在する。

オブジェクト情報は、マーカー３に対応する位置に表示される仮想オブジェクトに関する情報である。オブジェクト情報には、例えば、仮想オブジェクトを識別するためのオブジェクトＩＤおよびオブジェクトのデータが含まれる。オブジェクト情報は、システム１００において使用される各オブジェクトについて存在する。

処理情報は、仮想空間について実行される処理に関する情報である。処理情報には、例えば、処理ＩＤ、処理が実行される契機となるユーザー操作の内容、ユーザー操作が受け付けられた場合に実行されるプログラム等を示すポインタ、当該処理が実行可能とされるための条件、等が含まれる。処理情報は、ユーザーによって指示可能な処理毎に保持される。ここで、処理が実行される契機となるユーザー操作の内容は、例えば、関連付けられたボタンの押下や、タッチパネルディスプレイ（図示は省略する）に表示された関連付けられたアイコンへのタッチ操作、等である。

また、条件は、検出されたマーカーに基づく条件を含むことが出来る。例えば、条件は、検出されたマーカーの種類（マーカーＩＤ等を用いて判定可能）や、検出された複数のマーカーの組み合わせ、検出されたマーカーの数、検出されたマーカーの位置姿勢、検出された複数のマーカーの位置関係、等である。また、条件は、前記各要素（検出されたマーカーの種類、検出された複数のマーカーの組み合わせ、検出されたマーカーの数、検出されたマーカーの位置姿勢、検出された複数のマーカーの位置関係、等）の組み合わせであってもよい。また、本実施形態において仮想空間について実行される処理は、仮想オブジェクトに対する処理（仮想オブジェクトへのゲーム上の攻撃処理等）、仮想オブジェクトの動きに関する処理（仮想オブジェクトのアニメーション処理等）、および仮想オブジ
ェクトを含む仮想空間に対する処理（仮想空間に対するゲーム上の攻撃処理等）、を含んでよい。

＜処理の流れ＞
次に、本実施形態において実行される処理の流れを説明する。なお、本実施形態に係るフローチャートに示された処理の具体的な内容および処理順序は、本発明を実施するための一例である。具体的な処理内容および処理順序は、本発明の実施の形態毎に適宜選択されてよい。

図３は、本実施形態に係る情報処理の流れを示すフローチャートである。本フローチャートに示された情報処理は、情報処理装置１において、ＡＲ機能を起動するユーザー操作が受け付けられたことを契機として開始される。表示基準情報記憶部２４によって記憶される情報はＡＲ機能の起動時に初期化され、表示基準情報記憶部２４はＡＲ機能の起動時において表示基準情報を記憶しない。なお、本実施形態に係る処理は、６０フレーム／秒で分割されたフレーム毎に繰り返し実行される。

ステップＳ１０１およびステップＳ１０２では、撮像画像が取得され、撮像画像からマーカー３が検出される。撮像画像取得部２１は、撮像装置１５によって撮像された撮像画像を取得する（ステップＳ１０１）。撮像画像が取得されると、特徴検出部２２は、撮像画像から、撮像された空間における特徴として、マーカー情報に含まれるマーカー画像に該当するマーカー３を全て検出する。マーカー３の検出は、一般的な画像認識エンジンを用いて行うことが可能である。その後、処理はステップＳ１０３へ進む。

ステップＳ１０３では、マーカー３毎に基準取得処理が実行される。表示基準情報更新部２３は、検出されたマーカー３の全てについて、マーカー３毎に、実空間におけるマーカー３の位置姿勢情報を取得し、マーカー３毎の表示基準情報を更新する。より具体的には、表示基準情報更新部２３は、マーカー３の撮像画像中の位置、マーカー情報に含まれるマーカーサイズと撮像画像に含まれる該マーカー３のサイズとの比較結果、および、マーカー情報に含まれるマーカー画像に対する撮像画像中のマーカー３の歪み、に基づいて、実空間におけるマーカー３の位置および姿勢を取得する。表示基準情報更新部２３は、このようにして取得された、実空間におけるマーカー３の位置姿勢情報をもって、表示基準情報を更新する。その後、処理はステップＳ１０４へ進む。

ステップＳ１０４およびステップＳ１０５では、特徴に基づいて実行可能な処理が決定される。処理決定部２７は、はじめに、マーカーの種類、組み合わせ、数、位置姿勢、等を特定する（ステップＳ１０４）。例えば、処理決定部２７は、検出されたマーカーのマーカーＩＤに基づいて各マーカーの種類や複数のマーカーの組み合わせを特定することが出来る。また、例えば、処理決定部２７は、ステップＳ１０３で取得された複数のマーカーの位置姿勢情報の関係から、マーカーの位置関係を特定することが出来る。ここで特定される位置関係には、マーカーの並びや、マーカーの向きの関係（角度等）、が含まれてよい。

そして、処理決定部２７は、仮想空間に関して実行可能な処理を、特徴に基づいて決定する（ステップＳ１０５）。具体的には、処理決定部２７は、処理情報を検索することで、ステップＳ１０４で特定された特徴の種類、数、状態、組合せ等が、処理の実行が実行可能とされるための条件を満たす処理を抽出し、抽出された処理を、仮想空間に関して実行可能とされる許可処理として決定する。その後、処理はステップＳ１０６へ進む。

ステップＳ１０６では、メニューが表示される。メニュー出力部２８は、処理決定部２７によって決定された実行可能な処理をユーザーに選択および指示させるためのメニュー
を、ユーザーから操作可能に出力する。メニュー出力部２８は、例えば、実行可能な処理に関連付けられたタッチ操作可能なアイコンからなるメニューを、タッチパネルディスプレイに出力することで、実行可能な処理をユーザーに選択および指示させるためのメニューを、ユーザーから操作可能に出力する。その後、処理はステップＳ１０７へ進む。

ステップＳ１０７では、ユーザー操作の有無が判定される。操作受付部２９は、ステップＳ１０５で実行可能と決定された処理を指示するユーザー操作を受け付ける。そして、情報処理装置１は、ユーザー操作が操作受付部２９によって受け付けられたか否かを判定する。操作が受け付けられたと判定された場合、処理はステップＳ１０８へ進む。一方、操作が受け付けられていないと判定された場合、処理はステップＳ１０９へ進む。

ステップＳ１０８では、ユーザー操作に応じた処理が実行される。処理実行部３０は、操作受付部２９によって受け付けられたユーザー操作に応じた実行可能な処理を実行する。例えば、処理実行部３０は、受け付けられたユーザー操作を用いて処理情報を検索し、検索によって得られた処理のためのプログラムのポインタを取得し、当該ポインタによって示されたプログラムを実行する等の方法で、実行可能な処理を実行する。実行される処理の具体的な内容は、図４から図７を用いて後述する。その後、処理はステップＳ１０９へ進む。

ステップＳ１０９では、仮想空間の画像が生成される。画像生成部２５は、表示基準情報に従って位置および姿勢の少なくとも何れかが決定されてマーカー座標系に配置された１または複数の仮想オブジェクトを含む仮想空間の画像を、マーカー座標系において撮像装置１５と同一の位置に配置された仮想カメラの視点から描画する。仮想オブジェクトを描画するためのオブジェクトのデータは、オブジェクト情報から取得される。なお、仮想オブジェクトは、１または数フレーム毎に変化することでアニメーションしてもよい。アニメーションは、例えば、仮想オブジェクトのキャラクターが表情を変えたり、動いたりするものとすることが出来る。その後、処理はステップＳ１１０へ進む。

ステップＳ１１０では、表示処理が実行される。表示制御部２６は、撮像画像に仮想空間の画像を重畳した合成画像を生成し、この合成画像をディスプレイ１６に出力し、表示させる。

先述の通り、本フローチャートのステップＳ１０１からステップＳ１１０に示された処理は、フレーム毎に実行されるものである。このため、本フローチャートに示された処理は、ユーザー操作等に基づいてＡＲ機能が終了されるまで（ステップＳ１１１）、定期的にステップＳ１０１から繰り返し実行される。

図４から図７は、本実施形態に係る情報処理によってＡＲ機能が提供される場合の、ディスプレイ１６の表示画面の一例を示す図である。なお、本実施形態では、２つの表示領域を備える表示装置が用いられる場合の表示画面の例について説明する。本実施形態において、表示装置は縦に並べられた上側の表示領域と下側の表示領域とを有している。そして、上側の表示領域には撮像画像に仮想空間の画像が重畳されることで生成された合成画像が表示され、下側の表示領域には、実行可能な処理をユーザー操作によって選択させるためのメニューが表示される。但し、図４から図７に示す表示画面は、本発明を実施するうえでの一例であり、表示の形態にはその他の形態が採用されてもよい。例えば、単一の表示領域に、合成画像およびメニューが重畳して表示されてもよい。

先述の通り、表示基準情報記憶部２４によって記憶される情報はＡＲ機能の起動時に初期化され、表示基準情報記憶部２４はＡＲ機能の起動時において表示基準情報を記憶しない。このため、ユーザー操作に応じて情報処理装置１のＡＲ機能が起動された直後、撮像
画像にマーカーが含まれていない場合、仮想空間に仮想オブジェクトは配置されず、ディスプレイ１６には、撮像装置１５によって得られた撮像画像のみが表示される。

撮像装置１５の撮像範囲にマーカー３が入り、撮像画像にマーカー３が含まれると、特徴検出部２２によって検出されたマーカー３に基づいて表示基準情報更新部２３が表示基準情報を更新し、画像生成部２５によって、マーカー３に対応する位置および姿勢で仮想オブジェクトが描画される。このため、ディスプレイ１６にはマーカー３の上に仮想オブジェクトが重畳された合成画像が表示される（図４から図７を参照）。

図４および図５は、本実施形態において１つのマーカーが検出されている場合の表示画面の一例を示す図である。但し、図４に示された例では、カード２ａに付されたマーカー３ａが検出されており、図５に示された例では、図４のマーカー３ａとは異なるマーカー３ｄ（カード２ｄに付されている）が検出されている。ここで、先述の通り、特徴検出部２２は、マーカー３を検出すると、マーカー情報を参照し、マーカー３のマーカーＩＤを取得する。そして、処理決定部２７は、マーカーＩＤを用いて処理情報を検索し、対応する処理を決定する。

図４に示された例では、マーカー３ａに関連付けられた仮想オブジェクトが、本実施形態に係るＡＲ機能を用いて行われるゲーム上の味方にあたるキャラクターの仮想オブジェクトであるため、仮想空間に関して実行可能な処理として「あいさつ」および「ジャンプ」が取得される。具体的には、処理決定部２７は、処理情報を検索して、マーカーＩＤが味方キャラクターのマーカーＩＤであることが条件として設定された処理を索出することで、「あいさつ」および「ジャンプ」の処理を抽出する。なお、ここで抽出された「あいさつ」および「ジャンプ」は、仮想空間内の仮想オブジェクトの動きに関する処理である。ユーザーは、これらのメニューを介して何れかの実行可能な処理を選択する操作を行うことで、キャラクターが挨拶したりジャンプしたりするアニメーションを表示させることが出来る。

一方、図５に示された例では、マーカー３ｄに関連付けられた仮想オブジェクトが、当該ゲーム上の敵にあたるキャラクターの仮想オブジェクトであるため、仮想空間に関して実行可能な処理として「交渉する」および「攻撃する」が取得される。具体的には、処理決定部２７は、処理情報を検索して、マーカーＩＤが敵キャラクターのマーカーＩＤであることが条件として設定された処理を索出することで、「交渉する」および「攻撃する」の処理を抽出する。なお、ここで抽出された「交渉する」は、仮想空間内の仮想オブジェクトに対する処理であり、「攻撃する」は、仮想オブジェクトを含む仮想空間に対する処理である。ユーザーは、これらのメニューを介して何れかの実行可能な処理を選択する操作を行うことで、敵キャラクターに対してゲーム進行上の交渉や攻撃を行うことが出来る。

また、上記説明では、マーカーに係るキャラクターがゲーム上の味方か敵かに基づいて実行可能な処理が異なっているが、マーカーの種類は、敵／味方の区分に限られない。例えば、敵キャラクターに係るマーカーであっても、マーカーの種類によって敵の種類を区別し、夫々について異なる攻撃方法が実行可能な処理として決定されてもよい。例えば、戦闘機の敵キャラクターのマーカーが検出されている場合には、マーカーＩＤに基づいて「機関銃発射」の処理が決定され、戦車の敵キャラクターのマーカーが検出されている場合には、マーカーＩＤに基づいて「ランチャー発射」の処理が決定される、等のバリエーションを提供することが出来る。このようにすることで、ユーザーに対して、マーカーの種類に応じて異なる遊び方を提供することが出来る。具体的には、上記バリエーションによれば、「機関銃発射」を含むメニューによって、直線的に敵を狙う遊びを提供し、「ランチャー発射」を含むメニューによって、放物線状の弾道を予測しながら敵を狙う遊びを
提供することができる。

図６は、本実施形態において２つのマーカーが検出されている場合の表示画面の一例を示す図である。図６に示された例では、マーカー３ａに係るキャラクターとマーカー３ｂに係るキャラクターとの関係が本実施形態に係るＡＲ機能を用いて行われるゲーム上の仲間同士であるため、仮想空間に関して実行可能な処理として「あいさつ」および「画面保存」が取得される。具体的には、処理決定部２７は、処理情報を検索して、複数のマーカーＩＤの組み合わせが仲間同士であることが条件として設定された処理を索出することで、「あいさつ」および「画面保存」の処理を抽出する。ユーザーは、これらのメニューを選択する操作を行うことで、キャラクター同士が挨拶するアニメーションを表示させたり、表示されている画像を保存したりすることが出来る。

なお、図６に示された例によれば、マーカーの組み合わせに応じて、メニューの内容を異ならせることが出来る。例えば、複数のマーカーに係るキャラクターの関係がゲーム上の敵同士である場合、「交渉する」および「攻撃する」の処理が抽出されることとしてもよい。

また、条件には、検出されたマーカーの数が設定されてもよい。例えば、「仮想オブジェクトのキャラクターが全員ピースサインをする」処理に、条件「検出されたマーカーの数が３以上」が設定されている場合、検出されているマーカーが２つである場合には検出されたマーカーの組み合わせに応じた処理が決定されるが、検出されているマーカーが３つ以上である場合には、「仮想オブジェクトのキャラクターが全員ピースサインをする」処理が実行可能な処理として決定される。

図７は、本実施形態において３つのマーカーが検出されている場合の表示画面の一例を示す図である。図７に示された例では、夫々のマーカー３ａ、３ｂに係るキャラクターを操作するための処理が、マーカーの組み合わせについて決定され、マーカー毎にメニューが表示される。即ち、処理決定部２７は、検出されたマーカーについて複数の組み合わせが存在する場合、実行可能な処理を、組み合わせについて決定する。

ここで、各マーカーに係るキャラクターを操作するための処理は、マーカーの組み合わせおよび敵との位置関係に基づいて決定される。具体的には、マーカー３ａとマーカー３ｃとの組み合わせは敵対関係であり、マーカー３ａとマーカー３ｃとの位置関係は、その間に他のマーカー３ｂが配置されている位置関係である。このため、処理決定部２７は、処理情報から、条件が「敵対関係の組み合わせ」で、且つ「その間に他のマーカーが存在する」ことである処理（「弓で攻撃」および「防御する」）を抽出し、実行可能な処理として決定する。一方、マーカー３ｂとマーカー３ｃとの組み合わせは敵対関係であり、マーカー３ｂとマーカー３ｃとの位置関係は、その間に他のマーカー３が配置されていない位置関係である。このため、処理決定部２７は、処理情報から、条件が「敵対関係の組み合わせ」で、且つ「その間に他のマーカーが存在しない」ことである処理（「交渉する」、「剣で攻撃」および「防御する」）を抽出し、実行可能な処理として決定する。

＜実施形態のバリエーション＞
上記説明した実施形態において、表示制御部２６は、撮像画像に仮想空間の画像を重畳した合成画像を表示装置に表示させることで、ユーザーが、仮想空間の画像が現実空間に重畳されて視認可能とする。但し、表示制御部２６は、仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させればよく、合成画像を表示する方式に限定されない。例えば、本発明は、ＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）や、ユーザーが装着しているメガネに仮想空間画像を映写する方式等、ユーザーの視界に仮想空間画像を映写することで仮想空間の画像が現実空間に重畳されてユーザーか
ら視認されるタイプの拡張現実技術に適用されてもよい。

また、上記説明した実施形態では、表示基準情報としてマーカー座標系を用いる例を説明したが、表示基準情報は、現実空間から得られた情報であって、仮想空間における仮想オブジェクトの位置および姿勢の少なくとも何れかの基準として用いることが可能なものであればよい。例えば、表示基準情報は、撮像画像自体であってもよい。撮像画像を表示基準情報として用いる場合、画像生成部２５は、フレーム毎に、表示基準情報として記憶されている撮像画像から、仮想オブジェクトの表示基準を抽出する。

１ 情報処理装置
２ａ、２ｂ、２ｃ、２ｄ カード
３ａ、３ｂ、３ｃ、３ｄ マーカー

Claims (14)

1. コンピュータを、
   現実空間に配置された特徴を検出する特徴検出手段と、
   前記特徴に基づいて配置された仮想オブジェクトを含む仮想空間の画像を生成する画像生成手段と、
   前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、
   前記仮想空間に関して行うことが可能な処理を、前記特徴に基づいて決定する処理決定手段と、
   前記処理決定手段によって決定された処理をユーザーに指示させるためのメニューをユーザーから操作可能に出力するメニュー出力手段
   として機能させる情報処理用プログラム。
2. 前記特徴検出手段は、前記特徴の種類、前記現実空間における位置および姿勢の少なくとも何れかを特定可能な特徴を検出し、
   前記処理決定手段は、前記特徴検出手段によって検出された前記特徴によって特定される、該特徴の種類、前記現実空間における位置および姿勢の少なくとも何れかを用いて、前記処理を決定する、
   請求項１に記載の情報処理用プログラム。
3. 前記処理決定手段は、前記特徴検出手段によって検出された前記特徴の種類、位置または姿勢の少なくとも何れかに応じて前記処理を決定する、
   請求項２に記載の情報処理用プログラム。
4. 前記処理決定手段は、前記特徴検出手段によって検出された複数の前記特徴の種類の関係、位置の関係または姿勢の関係の少なくとも何れかに応じて前記処理を決定する、
   請求項３に記載の情報処理用プログラム。
5. 前記処理決定手段は、
   前記特徴検出手段によって検出された特徴が１つである場合には、該特徴に基づいて前記処理を決定し、
   前記特徴検出手段によって検出された特徴が複数である場合には、該複数の特徴の関係に基づいて前記処理を決定する、
   請求項４に記載の情報処理用プログラム。
6. 前記コンピュータを、
   前記メニューに対するユーザー操作を受け付ける操作受付手段と、
   前記操作受付手段によって受け付けられたユーザー操作に応じた処理を実行する処理実行手段
   として更に機能させる、請求項１から５の何れか一項に記載の情報処理用プログラム。
7. 前記処理は、前記仮想オブジェクトに対する処理、前記仮想オブジェクトの動きに関する処理、および前記仮想オブジェクトを含む前記仮想空間に対する処理、の少なくとも何れかである、
   請求項１から６の何れか一項に記載の情報処理用プログラム。
8. 前記処理決定手段は、前記特徴検出手段によって検出された特徴について複数の組み合わせが存在する場合、前記処理を、前記組み合わせについて決定する、
   請求項１から７の何れか一項に記載の情報処理用プログラム。
9. 前記コンピュータを、
   撮像装置によって撮像された撮像画像を取得する撮像画像取得手段として更に機能させ、
   前記特徴検出手段は、前記撮像画像に撮像された前記現実空間における特徴を、該撮像画像から検出する、
   請求項１から８の何れか一項に記載の情報処理用プログラム。
10. 前記表示制御手段は、前記撮像画像に前記仮想空間の画像を重畳した合成画像を前記表示装置に表示させることで、ユーザーが、前記仮想空間の画像が現実空間に重畳されて視認可能とする、
    請求項９に記載の情報処理用プログラム。
11. 前記表示装置は、第一の表示領域および第二の表示領域を有し、
    前記表示制御手段は、前記仮想空間の画像を前記第一の表示領域に表示させ、
    前記メニュー出力手段は、前記メニューを前記第二の表示領域に表示されるよう出力する、
    請求項１から１０の何れか一項に記載の情報処理用プログラム。
12. 現実空間に配置された特徴を検出する特徴検出手段と、
    前記特徴に基づいて配置された仮想オブジェクトを含む仮想空間の画像を生成する画像生成手段と、
    前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、
    前記仮想空間に関して行うことが可能な処理を、前記特徴に基づいて決定する処理決定手段と、
    前記処理決定手段によって決定された処理をユーザーに指示させるためのメニューをユーザーから操作可能に出力するメニュー出力手段
    を備える情報処理装置。
13. 撮像装置によって撮像されることで、該撮像装置に対する位置および姿勢を特定可能な特徴が付された部品と、
    情報処理装置と、を備える情報処理システムであって、
    前記情報処理装置は、
    現実空間に配置された特徴を検出する特徴検出手段と、
    前記特徴に基づいて配置された仮想オブジェクトを含む仮想空間の画像を生成する画像生成手段と、
    前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、
    前記仮想空間に関して行うことが可能な処理を、前記特徴に基づいて決定する処理決定手段と、
    前記処理決定手段によって決定された処理をユーザーに指示させるためのメニューをユーザーから操作可能に出力するメニュー出力手段を有する、
    情報処理システム。
14. コンピュータが、
    現実空間に配置された特徴を検出する特徴検出ステップと、
    前記特徴に基づいて配置された仮想オブジェクトを含む仮想空間の画像を生成する画像生成ステップと、
    前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置
    に画像を表示させる表示制御ステップと、
    前記仮想空間に関して行うことが可能な処理を、前記特徴に基づいて決定する処理決定ステップと、
    前記処理決定ステップにおいて決定された処理をユーザーに指示させるためのメニューをユーザーから操作可能に出力するメニュー出力ステップ
    を実行する情報処理方法。

Images