JP2019091203A - プログラム、情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】撮影画像中の被写体の領域に種々のコンテンツを重ねて表示するためのプログラム等を提供する。【解決手段】情報処理装置は、マーカを表面に有するアースボールを被写体として撮影を行い、撮影画像を取得する。情報処理装置は、取得した撮影画像中のアースボールを前記マーカに基づいて認識する。そして、情報処理装置は、認識した撮影画像中のアースボールに対して、アースボールの全領域を覆うようにコンテンツ画像を重ねて表示する。【選択図】図１

Description

本発明は、プログラム、情報処理装置及び情報処理方法に関する。

近年、ＡＲ（Augmented Reality）システムを用いた商品の開発が行われている。ＡＲシステムでは、スマートフォン、タブレット端末、携帯ゲーム機等のようにカメラ及び表示部を有する情報機器に、ＡＲマーカを認識するためのアプリケーションプログラムをインストールしておく。このような情報機器を用いて、ＡＲマーカが付された被写体を撮影すると、情報機器がＡＲマーカを認識し、認識したＡＲマーカに応じたコンテンツを、撮影画像の上に重ねて表示する。これにより、ユーザは、撮影対象の被写体にコンテンツが重畳された画像を表示部にて見ることができる。特許文献１には、立体対象物を撮影し、撮影した画像中の立体対象物の上に画像又は文字等の付加情報を重ねて表示するシステムが開示されている。

特開２０１３−９２４０７号公報

ＡＲシステムにおいては、どのようなものを被写体とすべきか、また、撮影画像に重ねて表示されるコンテンツについて種々の検討が行われている。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、画像中の被写体の領域に種々のコンテンツを重ねて表示するためのプログラム等を提供することにある。

本開示の一態様に係るプログラムは、コンピュータに、マーカを表面に有する球体を撮影した撮影画像を取得し、取得した前記撮影画像中の前記球体を前記マーカに基づいて認識し、認識した前記撮影画像中の前記球体の全領域を覆うようにコンテンツ画像を表示する処理を実行させる。

本開示の一態様に係るプログラムは、コンピュータに、マーカを表面に有する球体を撮影した撮影画像を取得し、取得した前記撮影画像中の前記球体を前記マーカに基づいて認識し、認識した前記撮影画像中の前記球体に、日時情報を含む複数のコンテンツ画像を、前記日時情報が示す日時の順に重畳して表示する処理を実行させる。

本開示の一態様によれば、球体を撮影した画像中の球体の領域に種々のコンテンツを重ねて表示でき、ユーザに応じた楽しみ方を実現できる。

ＡＲシステムの構成例を示す模式図である。 情報処理装置の構成例を示すブロック図である。 情報処理装置の制御部によって実現される機能を示すブロック図である。 情報処理装置が行う処理の手順を示すフローチャートである。 ＡＲ画像の表示例を示す模式図である。 ＡＲ画像の表示例を示す模式図である。 ＡＲ画像の表示例を示す模式図である。 ＡＲ画像の表示例を示す模式図である。 実施形態２の情報処理装置の制御部によって実現される機能を示すブロック図である。 情報処理装置が行う処理の手順を示すフローチャートである。 ＡＲ画像の表示例を示す模式図である。 実施形態３の情報処理装置の制御部によって実現される機能を示すブロック図である。 情報処理装置が行う処理の手順を示すフローチャートである。 ＡＲ画像の表示例を示す模式図である。 ＡＲ画像の表示例を示す模式図である。 ＡＲ画像の表示例を示す模式図である。 ＡＲ画像の表示例を示す模式図である。 ＡＲ画像の表示例を示す模式図である。 実施形態４の情報処理装置の制御部によって実現される機能を示すブロック図である。 情報処理装置が行う処理の手順を示すフローチャートである。 情報処理装置が行う処理の手順を示すフローチャートである。 情報処理装置が行う処理の手順を示すフローチャートである。 ＡＲ画像の表示例を示す模式図である。

以下に、本開示のプログラム等について、その実施形態を示す図面に基づいて具体的に説明する。

（実施形態１）
図１は、ＡＲシステムの構成例を示す模式図である。本実施形態のＡＲシステムは、ＡＲマーカ（マーカ）を表面に有する球体であるアースボール２０を被写体とし、アースボール２０を情報処理装置１０で撮影して使用する。アースボール２０は例えば空気を充填することにより球体となるＰＶＣ（ポリ塩化ビニル）製のボールであるが、これに限らない。アースボール２０の表面には、例えば地球上の地図が印刷されており、地図中の適宜位置にＡＲマーカが付されている。例えば図１に示す例では、地図中の海及び大陸のそれぞれに名称が付されており、各国及び都市のそれぞれに国名及び都市名が付されている。これらの文字はＡＲマーカを構成する。また、図１では省略しているが、地図中に各国の国境線が含まれており、国境線もＡＲマーカを構成する。また、地図中の河川、平野、山脈等は地形毎に所定の色で色分けされており、各色もＡＲマーカを構成する。更に、地図中の海にはそれぞれの海、海域等を識別するために所定のマークＭ１〜Ｍ４（例えば船のマークＭ１，Ｍ２、亀やカモメ等の動物のマークＭ３，Ｍ４）が付されている。また、地図中の大陸にはそれぞれの大陸、地域等を識別するために所定のマークＭ５〜Ｍ７が付されている。これらのマークＭ１〜Ｍ７もＡＲマーカを構成する。

図２は、情報処理装置１０の構成例を示すブロック図である。情報処理装置１０は、スマートフォン、タブレット端末、パーソナルコンピュータ、ゲーム機等の情報機器であり、可搬型の情報機器であれば操作が容易である。情報処理装置１０は、制御部１１、記憶部１２、操作パネル１３、カメラ１６、通信部１７等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）等のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラムを適宜実行することにより、情報処理装置１０が行う種々の情報処理及び制御処理等を行う。

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部１２に記憶される制御プログラムには、本開示のプログラムである画像処理アプリケーションプログラム（以下では、画像処理アプリという）Ｐが含まれる。また、記憶部１２に記憶されるデータには、コンテンツＤＢ１２ａ及びアルバム１２ｂが含まれる。なお、コンテンツＤＢ１２ａは、画像処理アプリＰに組み込まれていてもよいし、ネットワークＮを介して情報処理装置１０と通信可能な記憶装置に記憶されていてもよい。またアルバム１２ｂは、ネットワークＮを介して情報処理装置１０と通信可能な記憶装置に記憶されていてもよい。

コンテンツＤＢ１２ａには、文字、画像等のコンテンツが記憶されており、各コンテンツは、アースボール２０に付与されたＡＲマーカを識別するための情報、又は地球上の位置を示す位置情報（緯度及び経度）にそれぞれ対応付けられて記憶されている。アルバム１２ｂには、情報処理装置１０を用いてユーザが撮影した静止画像及び動画映像、通信部１７にて外部装置から受信した静止画像及び動画映像等のコンテンツが記憶されている。静止画像及び動画映像等のコンテンツは、それぞれの撮影日時又は作成日時等を示す日時情報と、撮影場所、作成場所又は各コンテンツに応じた場所等を示す位置情報と共にアルバム１２ｂに記憶されている。なお、日時情報及び位置情報を有しない静止画像及び動画映像がアルバム１２ｂに記憶されていてもよい。また、アルバム１２ｂに記憶されるコンテンツには、例えば全天球カメラを用いて取得した全天球画像を正距円筒図法により平面に展開した矩形のパノラマ画像、被写体の全周面を撮影した画像を合成して正距円筒図法により平面に展開した矩形のパノラマ画像等が含まれる。

操作パネル１３は、入力部１４及び表示部１５が一体として構成されたタッチパネルである。入力部１４は、表示部１５の表面に配置されたタッチセンサであり、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は別体として構成されてもよい。

カメラ１６は、レンズ及び撮像素子等を有し、レンズを介して入射した光を撮像素子にて光電変換して電子データ（画像データ）を取得する。カメラ１６は、制御部１１からの指示に従って撮影を行い、取得した画像データ（撮影画像）を逐次制御部１１へ送出する。なお、情報処理装置１０は、カメラ１６が内蔵された構成のほかに、外部カメラの接続が可能な接続部を備える構成でもよい。この場合、接続部は、外部カメラにて取得された映像データの入力を受け付け、入力された映像データを逐次制御部１１へ送出する。
通信部１７は、インターネット等のネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。

情報処理装置１０は、通信部１７を介して外部装置から画像処理アプリＰを取得して記憶部１２に記憶してもよい。また、情報処理装置１０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、可搬型記憶媒体から画像処理アプリＰを読み出して記憶部１２に記憶してもよい。また情報処理装置１０は、表示部１５にゴーグル型又は眼鏡型のヘッドマウントディスプレイを使用するＨＭＤ（Head Mounted Display）型の情報機器であってもよい。この場合、入力部１４に、音声入力を行うマイク、又はユーザの視線を検知する視線入力装置等を使用することが望ましい。情報処理装置１０は、カメラ１６及び表示部１５を有する情報機器であれば、どのような機器でもよい。

以下に、情報処理装置１０において制御部１１が画像処理アプリＰを実行することによって実現する機能について説明する。図３は、情報処理装置１０の制御部１１によって実現される機能を示すブロック図である。情報処理装置１０の制御部１１は、記憶部１２に記憶してある画像処理アプリＰを実行した場合、アースボール認識部２１、コンテンツ読出部２２、抽出部２３、画像処理部２４、重畳部２５の各機能を実現する。なお、本実施形態では、これらの各機能を制御部１１が画像処理アプリＰを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。

情報処理装置１０の制御部１１は、例えば操作パネル１３（入力部１４）を介してユーザから画像処理アプリＰの実行指示を受け付けた場合、カメラ１６による撮影を開始する。カメラ（取得部）１６は撮影を開始した場合、所定のタイミング（例えば１／３０秒毎、１／１５秒毎）で撮影画像を取得する。

アースボール認識部（認識部）２１は、カメラ１６が取得した撮影画像に対して、撮影画像中のアースボール２０の領域を認識し、また、アースボール２０における撮影領域（撮影範囲）等を認識する。例えば、アースボール認識部２１は、撮影画像に対して、アースボール２０の輪郭である円形を認識することにより、撮影画像中のアースボール２０の輪郭（領域）を特定する。またアースボール認識部２１は、撮影画像中のＡＲマーカを認識し、認識したＡＲマーカに基づいて、撮影されたアースボール２０の領域（撮影範囲）を特定する。例えば、アースボール認識部２１は、ＡＲマーカに基づいて、撮影されたアースボール２０（アースボール２０の撮影範囲）に含まれる海、大陸、国、都市等を特定する。またアースボール認識部２１は、アースボール２０の撮影範囲内の各位置（各地点）における地球上の位置情報（緯度及び経度）を特定する。なお、画像処理アプリＰには、それぞれのＡＲマーカがアースボール２０に付された位置に関する情報、例えば、海、大陸、国、都市等の情報、又は地球上の位置情報が含まれている。よって、アースボール認識部２１は、ＡＲマーカを認識した場合、認識したＡＲマーカの位置情報を特定でき、特定した位置情報に基づいてアースボール２０の撮影範囲を特定できる。

コンテンツ読出部２２は、コンテンツＤＢ１２ａ又はアルバム１２ｂから、ＡＲ画像を生成するためのコンテンツを読み出す。コンテンツ読出部２２は例えば、アースボール認識部２１が撮影画像から認識したＡＲマーカに応じたコンテンツをコンテンツＤＢ１２ａから読み出す。また、コンテンツ読出部２２は、例えば操作パネル１３（入力部１４）を介してユーザが指示したコンテンツをアルバム１２ｂから読み出す。

抽出部２３は、コンテンツ読出部２２がコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出したコンテンツから、アースボール認識部２１が特定したアースボール２０の撮影範囲に対応する領域を抽出する。例えば、コンテンツが地球上の各位置に応じた画像を含む場合、抽出部２３は、アースボール２０の撮影範囲の緯度及び経路に対応する領域に応じた画像をコンテンツから抽出する。具体的には、アースボール２０の撮影範囲が日本を中心とした所定領域である場合、抽出部２３は、コンテンツから、日本を中心とした所定領域に対応する部分を抽出する。

画像処理部２４は、抽出部２３がコンテンツから抽出した領域（以下ではコンテンツという）に対して種々の画像処理を行う。例えば、画像処理部２４は、コンテンツに対して拡大処理又は縮小処理を行う。また、画像処理部２４は、コンテンツを撮影画像中のアースボール２０の円形領域に表示するために、コンテンツを円形画像に変形（変換）する処理を行う。なお、処理対象のコンテンツが、正距円筒図法により平面に展開した矩形のパノラマ画像である場合、円形画像への変換処理を行うことによって全天球画像に戻すことができ、円形領域に表示した場合に良好に表示できる。更に画像処理部２４は、コンテンツに対して各種の加工処理を行ってもよく、操作パネル１３を介してユーザによって手書き入力された文字等をコンテンツに追加する処理を行ってもよい。

重畳部２５は、アースボール認識部２１によって特定された撮影画像中のアースボール２０の全領域を覆うように、画像処理部２４によって処理されたコンテンツに基づく円形のコンテンツ画像を重畳させてＡＲ画像を生成する。これにより、アースボール２０をカメラ１６で撮影した撮影画像において、アースボール２０の全領域に、円形に処理されたコンテンツが表示されるＡＲ画像が生成できる。情報処理装置１０は、重畳部２５によって生成されたＡＲ画像を表示部１５に表示する。

上述した各機能により、情報処理装置１０は、カメラ１６で撮影したアースボール２０に、コンテンツＤＢ１２ａ又はアルバム１２ｂに記憶してあるコンテンツを重畳させたＡＲ画像を生成できる。なお、抽出部２３がアースボール２０の撮影範囲に対応する領域をコンテンツから抽出し、画像処理部２４が、抽出された領域に対して画像処理を行う。これにより、アースボール２０の撮影範囲内の各位置（各場所）と、コンテンツにおける各位置（各場所）とを位置合せした状態でコンテンツをアースボール２０に重畳させることができる。

以下に、情報処理装置１０によるＡＲ画像の表示処理についてフローチャートに基づいて説明する。図４は、情報処理装置１０が行う処理の手順を示すフローチャートであり、図５〜図８は、ＡＲ画像の表示例を示す模式図である。以下の処理は、情報処理装置１０の記憶部１２に記憶してある制御プログラムに従って制御部１１によって実行される。

情報処理装置１０は、例えば操作パネル１３を介してユーザから画像処理アプリＰの実行指示を受け付けた場合、画像処理アプリＰを実行する。画像処理アプリＰを実行した情報処理装置１０において、制御部１１は、カメラ１６による撮影を開始する（Ｓ１）。制御部１１は、カメラ１６にて撮影画像を取得し（Ｓ２）、取得した撮影画像に対して、撮影画像中のＡＲマーカを認識し、ＡＲマーカ及び撮影画像に基づいて、撮影画像中のアースボール２０を認識する（Ｓ３）。ここでは、制御部１１は、撮影画像中のアースボール２０の領域、及びアースボール２０の撮影範囲等を特定する。

制御部１１は、認識したアースボール２０において、撮影範囲が変更されたか否かを判断する（Ｓ４）。例えば制御部１１は、ステップＳ３で特定したアースボール２０の撮影範囲を記憶部１２に記憶しておき、次にアースボール２０の撮影範囲を特定した場合に、前回の撮影範囲から変更されたか否かを判断する。撮影範囲が変更されていないと判断した場合（Ｓ４：ＮＯ）、制御部１１は、ステップＳ２の処理に戻り、所定のタイミングで撮影画像を取得し、取得した撮影画像に基づいてアースボール２０を認識する処理を繰り返す。

撮影範囲が変更されたと判断した場合（Ｓ４：ＹＥＳ）、又は初めてアースボール２０の認識が行われた場合、制御部１１は、ＡＲ画像に用いるコンテンツをコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出す（Ｓ５）。制御部１１は、例えばステップＳ３で認識したアースボール２０又はＡＲマーカに応じたコンテンツをコンテンツＤＢ１２ａから読み出す。アースボール２０又はＡＲマーカに応じたコンテンツとは、例えば、撮影画像中のアースボール２０の領域内の絵柄、地図等に応じたコンテンツ、又は撮影画像に含まれるＡＲマーカに応じたコンテンツである。なお、操作パネル１３を介してユーザから、ＡＲ画像に用いるコンテンツを指定された場合、制御部１１は、指定されたコンテンツをアルバム１２ｂから読み出す。

次に制御部１１は、ステップＳ５で読み出したコンテンツから、ステップＳ３で特定したアースボール２０の撮影範囲に応じた領域（対応領域）を抽出する（Ｓ６）。例えば、制御部１１は、アースボール２０の撮影範囲の緯度及び経路に対応する領域の画像をコンテンツ画像から抽出する。そして、制御部１１は、ステップＳ６で抽出した領域（コンテンツ）に対して画像処理を行う（Ｓ７）。ここでは、制御部１１は、コンテンツを、撮影画像中のアースボール２０の円形領域に表示できるように円形画像に変形する処理を行う。更に、制御部１１は、撮影画像中のアースボール２０の領域を全て覆うように、ステップＳ７で処理を行ったコンテンツに基づく円形のコンテンツ画像を重畳させてＡＲ画像を生成する（Ｓ８）。制御部１１は、生成したＡＲ画像を操作パネル１３に表示する（Ｓ９）。

制御部１１は処理を終了するか否かを判断する（Ｓ１０）。処理を終了する場合とは、例えばユーザから操作パネル１３を介して終了の指示を受け付けた場合である。制御部１１は、処理を終了しないと判断した場合（Ｓ１０：ＮＯ）、ステップＳ２の処理に戻り、処理を終了すると判断した場合（Ｓ１０：ＹＥＳ）、処理を終了する。
ステップＳ２の処理に戻った場合、制御部１１は、所定のタイミングで撮影画像を取得する都度、ステップＳ３〜Ｓ９の処理を行う。これにより、カメラ１６によって逐次取得される撮影画像に基づいて、アースボール２０の認識、認識したアースボール２０の撮影範囲に応じたコンテンツの重畳が行われ、アースボール２０の撮影範囲に応じたＡＲ画像が生成される。よって、撮影対象のアースボール２０を回す、又はアースボール２０に対する撮影方向を変更することによってアースボール２０の撮影範囲が変更された場合、アースボール２０に重畳されるコンテンツがリアルタイムで変更される。

図５に示す例は、ＮＡＳＡ（アメリカ航空宇宙局）によって公開されている正距円筒図法による月面写真をコンテンツに用いた場合のＡＲ画像である。正距円筒図法による月面写真を用いる場合、制御部１１は、撮影されたアースボール２０の撮影範囲の緯度及び経度に応じた月面緯度及び月面経度（月面座標）の領域の画像をコンテンツ（月面写真）から抽出する。そして制御部１１は、抽出した画像に対して円形に変形する画像処理を行った後、撮影画像中のアースボール２０の円形領域に重畳する。これにより、図５に示すような月球儀のＡＲ画像を生成できる。また、撮影対象のアースボール２０を回す、又はアースボール２０に対する撮影方向を変更することによってアースボール２０の撮影範囲が変更された場合、制御部１１は、変更後の撮影範囲に応じた領域の画像をコンテンツ（月面写真）から抽出する。そして制御部１１は、抽出した画像に対して円形に変形する画像処理を行った後、撮影画像中のアースボール２０の円形領域に重畳する。これにより、アースボール２０の撮影範囲が変更された場合、変更後のアースボール２０の撮影範囲に応じた月面写真がアースボール２０に重畳される。よって、図５に示すような月球儀のＡＲ画像において、アースボール２０の撮影範囲を変更することにより、月球儀を回転させることができ、月球儀を様々な方向から見た画像の表示が可能となる。

図６Ａ，Ｂに示す例は、衛星から地球の全周面を撮影した写真を合成して正距円筒図法により平面に展開した衛星写真をコンテンツに用いた場合のＡＲ画像である。このような衛星写真を用いる場合、制御部１１は、撮影されたアースボール２０の撮影範囲の緯度及び経度に応じた領域の画像をコンテンツ（衛星写真）から抽出する。そして制御部１１は、抽出した画像に対して円形に変形する画像処理を行った後、撮影画像中のアースボール２０の円形領域に重畳する。これにより、図６Ａ，Ｂに示すように、衛星から見た地球のＡＲ画像を表示できる。なお、図６Ａは、アフリカ大陸及びユーラシア大陸が昼間である衛星写真の例を示し、図６Ｂは、アメリカ大陸が夜中である衛星写真の例を示す。図６Ａ，Ｂに示す画面が表示されている状態において、撮影対象のアースボール２０を回す、又はアースボール２０に対する撮影方向を変更することによってアースボール２０の撮影範囲が変更された場合、変更後のアースボール２０の撮影範囲に応じた衛星写真がアースボール２０に重畳される。よって、図６Ａに示すＡＲ画像が表示部１５に表示された状態で、アースボール２０の撮影範囲が南アメリカに変更された場合、南アメリカに対応する衛星写真に基づいて図６Ｂに示すＡＲ画像に変更される。即ち、図６Ａ，Ｂに示すようなＡＲ画像において、アースボール２０の回転に伴ってＡＲ画像中の地球も回転させることができ、地球を様々な方向から見た画像（写真）の表示が可能となる。なお、このようなコンテンツは、例えば日本標準時に基づいて指定可能であり、ユーザによって任意に指定可能である。

図７Ａ，Ｂに示す例は、大陸の形状の経時的変化（地殻変動）を示す画像をコンテンツに用いた場合のＡＲ画像である。このような画像を用いる場合、制御部１１は、撮影されたアースボール２０の撮影範囲の緯度及び経度に応じた領域の画像をコンテンツから抽出する。そして制御部１１は、抽出した画像に対して円形に変形する画像処理を行った後、撮影画像中のアースボール２０の円形領域に重畳する。これにより、図７Ａに示すように、アースボール２０の撮影範囲に対応する２億年前の大陸（地球）のＡＲ画像を表示できる。なお、図７Ａに示すＡＲ画像が表示部１５に表示された状態で、アースボール２０の撮影範囲が変更された場合、変更後の撮影範囲に応じた画像に基づいて、変更後の撮影範囲における２億年前の大陸（地球）のＡＲ画像が表示される。よって、図７Ａに示すＡＲ画像においても、被写体のアースボール２０の回転に伴ってＡＲ画像中の２億年前の地球も回転させることができ、２億年前の地球を様々な方向から見た画像の表示が可能となる。

また、大陸の地殻変動を示す画像のコンテンツは、２億年前から現在までの各年代の地球の画像を複数含む。よって、図７Ａに示す表示画面には、ＡＲ画像として表示すべき画像の年代を指定するためのインジケータ１３ａが表示されている。図７Ａに示す表示画面において、操作パネル１３を介してインジケータ１３ａが操作された場合、制御部１１は、インジケータ１３ａによって指定された年代の地球の画像（コンテンツ）から、アースボール２０の撮影範囲に応じた領域を抽出する。そして制御部１１は、抽出した領域（コンテンツ）に画像処理を行って、撮影画像のアースボール２０に重畳させてＡＲ画像を生成する。これにより、インジケータ１３ａによって指定された年代において、アースボール２０の撮影範囲に応じた場所の大陸の画像がＡＲ画像として表示される。なお、図７Ａに示す表示画面は、インジケータ１３ａを介して２億年前の地球が指定された場合の例であり、図７Ｂに示す表示画面は、現在の地球が指定された場合の例である。図７Ａ，Ｂに示す表示画面において、インジケータ１３ａによって連続して年代の変更が指定された場合、逐次指定される年代に応じた画像を用いたＡＲ画像が表示される。

図８に示す例は、例えば情報処理装置１０を用いて犬を撮影した写真をコンテンツに用いた場合のＡＲ画像である。このような写真を用いる場合、制御部１１は、例えば矩形の写真に対して円形に変形する画像処理のみを行い、撮影画像中のアースボール２０の円形領域に重畳する。このように任意の写真をＡＲ画像に用いることができるので、ユーザに応じたＡＲ画像を生成でき、ユーザは自身で撮影した写真をより楽しむことができる。また、月面写真のように被写体の全周を撮影した写真をコンテンツに用いた場合には、アースボール２０の撮影範囲の変更に伴い、変更後のアースボール２０の撮影範囲に応じた写真がアースボール２０に重畳される。よって、撮影対象のアースボール２０を回す、又はアースボール２０に対する撮影方向を変更することによって、ＡＲ画像中の写真（写真中の被写体）も回転させることができる。

本実施形態では、上述した例のほかに、例えば各国の国境、領土、国名の経時的変化、各国の地方の区分、地名の経時的変化を示す画像をコンテンツに用いてもよい。この場合にも、アースボール２０の撮影範囲に応じて、撮影された国、地方等において、各種の経時的変化を示すコンテンツを重畳させたＡＲ画像を生成することができる。

本実施形態によると、撮影画像中のアースボール２０の全領域を覆うように、コンテンツＤＢ１２ａ又はアルバム１２ｂから読み出したコンテンツが重畳される。よって、アースボール２０の円形領域を表示領域として、各種のコンテンツを表示することができる。また、情報処理装置１０のカメラ１６及び表示部１５を介してアースボール２０を見ることにより、アースボール２０上に各種のコンテンツが表示されているように見ることができる。更に、アースボール２０の撮影範囲を変更することにより、重畳されるコンテンツも変更されるので、アースボール２０の撮影範囲の変更に伴ってＡＲ画像中の物体（例えば月球儀）も回転させることができる。

（実施形態２）
本実施形態は、複数のコンテンツを順次切り替えてアースボール２０に重畳させたＡＲ画像を生成する情報処理装置１０に関する。本実施形態の情報処理装置１０は、実施形態１の情報処理装置１０と同様の構成を有するので、実施形態１と共通する部分については、説明を省略する。

図９は、実施形態２の情報処理装置１０の制御部１１によって実現される機能を示すブロック図である。本実施形態の情報処理装置１０の制御部１１は、画像処理アプリＰを実行した場合、実施形態１と同様にアースボール認識部２１、コンテンツ読出部２２、抽出部２３、画像処理部２４、重畳部２５の各機能を実現する。なお、本実施形態では、コンテンツ読出部２２は順序特定部２６を有する。本実施形態においても、これらの各機能の一部を専用のハードウェア回路で実現してもよい。

順序特定部２６は、コンテンツ読出部２２がコンテンツＤＢ１２ａ又はアルバム１２ｂから複数のコンテンツを読み出す際に、各コンテンツの日時情報に基づいて、各コンテンツの読み出し順序（表示順序）を特定する。日時情報は、各コンテンツが作成又は撮影された日時を示す情報だけでなく、関連する複数のコンテンツにおいて表示順序を示す情報であってもよい。日時情報は、各コンテンツに対応付けてコンテンツＤＢ１２ａ又はアルバム１２ｂに記憶されている。順序特定部２６は、コンテンツ読出部２２がコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出すべきコンテンツの日時情報をコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出す。順序特定部２６は、読み出した日時情報に基づいて、コンテンツＤＢ１２ａ又はアルバム１２ｂから読み出すべき複数のコンテンツに対して読み出し順序を特定する。例えば、日時情報が各コンテンツの表示順序を示す場合、順序特定部２６は、各コンテンツの読み出し順序を、それぞれの日時情報が示す順序に決定する。また、日時情報がコンテンツの撮影日時又は作成日時を示す場合、順序特定部２６は、それぞれの日時情報が示す日時の順（例えば古い順又は新しい順）に、各コンテンツの読み出し順序を決定する。コンテンツ読出部２２は、順序特定部２６が特定した順に、各コンテンツをコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出す。

上述したように読み出されたコンテンツは、実施形態１と同様に、抽出部２３にてアースボール２０の撮影範囲に応じた領域が抽出され、画像処理部２４にて画像処理が行われた後、重畳部２５にて撮影画像中のアースボール２０の円形領域に重畳される。これにより、ＡＲ画像が生成される。なお、コンテンツ読出部２２は、順序特定部２６が特定した順に複数のコンテンツを読み出し、抽出部２３、画像処理部２４及び重畳部２５は、順次読み出されたコンテンツに各種の処理を行ってＡＲ画像を生成する。情報処理装置１０は、重畳部２５によって順次生成されるＡＲ画像を所定のタイミングで切り替えて表示部１５に表示する。これにより、本実施形態では、カメラ１６で撮影したアースボール２０に、複数のコンテンツが順次切り替えられて重畳されたＡＲ画像を表示することができる。

以下に、本実施形態の情報処理装置１０によるＡＲ画像の表示処理についてフローチャートに基づいて説明する。図１０は、情報処理装置１０が行う処理の手順を示すフローチャートである。以下の処理は、情報処理装置１０の記憶部１２に記憶してある制御プログラムに従って制御部１１によって実行される。本実施形態の情報処理装置１０の制御部１１は、図４中のステップＳ１〜Ｓ４と同様の処理を行う（Ｓ２１〜Ｓ２４）。

制御部１１は、アースボール２０の撮影範囲が変更されたと判断した場合（Ｓ２４：ＹＥＳ）、又は初めてアースボール２０の認識が行われた場合、ＡＲ画像に用いる複数のコンテンツに対してそれぞれの表示順序を特定する（Ｓ２５）。例えば、制御部１１は、コンテンツＤＢ１２ａ又はアルバム１２ｂから読み出すべき複数のコンテンツの日時情報をコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出し、読み出した日時情報に基づいてそれぞれの表示順序を特定する。なお、ＡＲ画像に用いるコンテンツに対する指定を操作パネル１３にてユーザから受け付けていた場合、制御部１１は、このコンテンツの日時情報をアルバム１２ｂから読み出す。また、ステップＳ２３で認識したアースボール２０又はＡＲマーカに応じたコンテンツをＡＲ画像に用いる場合、制御部１１は、このコンテンツの日時情報をコンテンツＤＢ１２ａから読み出す。

制御部１１は、特定した表示順序に従って、１つのコンテンツをコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出し（Ｓ２６）、読み出したコンテンツに対して、図４中のステップＳ６〜Ｓ９と同様の処理を行う（Ｓ２７〜Ｓ３０）。これにより、撮影されたアースボール２０に１つのコンテンツを重畳させたＡＲ画像が表示される。そして制御部１１は、ＡＲ画像に用いる全てのコンテンツに対する表示（重畳）処理が終了したか否かを判断する（Ｓ３１）。制御部１１は、全ての表示処理が終了していないと判断した場合（Ｓ３１：ＮＯ）、ステップＳ２６に処理を移行し、ステップＳ２５で特定した表示順序に従って、次のコンテンツをコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出す（Ｓ２６）。そして制御部１１は、読み出したコンテンツに対してステップＳ２７〜Ｓ３０の処理を行う。ＡＲ画像に用いる全てのコンテンツに対する処理が終了したと判断した場合（Ｓ３１：ＹＥＳ）、制御部１１は処理を終了するか否かを判断する（Ｓ３２）。制御部１１は、処理を終了しないと判断した場合（Ｓ３２：ＮＯ）、ステップＳ２２の処理に戻り、処理を終了すると判断した場合（Ｓ３２：ＹＥＳ）、処理を終了する。

上述した処理により、例えば図５〜図８に示すように撮影画像中のアースボール２０の全領域を覆うようにコンテンツが重畳されるＡＲ画像において、所定のタイミングでコンテンツが切り替えられて表示される。よって、アースボール２０の円形領域を表示領域として、複数のコンテンツを切り替えて表示することができるので、ユーザに応じたＡＲ画像を生成でき、ユーザは自身で撮影した写真をより楽しむことができる。

本実施形態のＡＲ画像は、撮影画像中のアースボール２０の全領域に対して、複数のコンテンツを順次切り替えて表示する構成のほかに、図１１に示すように撮影画像中のアースボール２０の領域の一部に各コンテンツを表示する構成でもよい。図１１は、ＡＲ画像の表示例を示す模式図である。図１１Ａに示す例では、撮影画像中のアースボール２０の領域において、複数のコンテンツが重ならないように並べて表示されている。なお、図１１Ａ中の１〜５の数字は各コンテンツの表示順序を示す。また、図１１Ｂに示すように、撮影画像中のアースボール２０の領域において、複数のコンテンツをそれぞれの一部を重畳させて表示させてもよい。図１１Ｂ中の１〜４の数字は各コンテンツの表示順序を示す。このようにＡＲ画像を生成する際に撮影画像中のアースボール２０に重畳させる複数のコンテンツの表示態様は適宜変更可能である。また、各コンテンツの表示態様をユーザからの指定に応じて切り替え可能としてもよい。図１１Ａ，Ｂではそれぞれのコンテンツの表示領域を円形で示したが、矩形であってもよい。

（実施形態３）
本実施形態は、複数のコンテンツを、撮影画像中のアースボール２０内の対応する各位置（各場所）に重畳させたＡＲ画像を生成する情報処理装置１０に関する。本実施形態の情報処理装置１０は、実施形態２の情報処理装置１０と同様の構成を有するので、実施形態２と共通する部分については、説明を省略する。

図１２は、実施形態３の情報処理装置１０の制御部１１によって実現される機能を示すブロック図である。本実施形態の情報処理装置１０の制御部１１は、画像処理アプリＰを実行した場合、実施形態２と同様にアースボール認識部２１、コンテンツ読出部２２、画像処理部２４、重畳部２５の各機能を実現する。なお、本実施形態では、抽出部２３を備える必要はなく、重畳部２５は位置特定部２７を有する。本実施形態においても、これらの各機能の一部を専用のハードウェア回路で実現してもよい。

位置特定部２７は、重畳部２５が撮影画像中のアースボール２０にコンテンツを重畳する際に、各コンテンツの位置情報に基づいて、重畳すべき位置を特定する。位置情報は、例えば各コンテンツが撮影又は作成された位置（場所）を示す情報、各コンテンツを表示すべき位置（場所）を示す情報であり、地球上（地図上）の位置を示す情報（緯度及び経度等）が用いられる。また位置情報は、アースボール２０に付された各ＡＲマーカを示す情報であってもよい。位置情報は、各コンテンツに対応付けてコンテンツＤＢ１２ａ又はアルバム１２ｂに記憶されており、本実施形態では、コンテンツ読出部２２が、コンテンツを読み出す際に、各コンテンツの位置情報もコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出す。

コンテンツの位置情報が地球上の位置を示す情報である場合、位置特定部２７は、アースボール認識部２１がＡＲマーカに基づいて特定した、撮影画像中のアースボール２０内の各位置の位置情報とコンテンツの位置情報とに基づいて、コンテンツを重畳すべき位置を特定する。即ち、位置特定部２７は、撮影画像中のアースボール２０内の各位置の位置情報に基づいて、コンテンツの位置情報が示す位置がアースボール２０内のどの位置であるかを特定し、特定した位置を、コンテンツを重畳すべき位置に決定する。また、コンテンツの位置情報が、対応するＡＲマーカを示す情報である場合、位置特定部２７は、アースボール認識部２１が特定した、対応するＡＲマーカの位置を、コンテンツを重畳すべき位置に特定する。

本実施形態の重畳部２５は、撮影画像中のアースボール２０において、位置特定部２７が特定した位置に、画像処理部２４によって処理されたコンテンツに基づくコンテンツ画像を重畳させてＡＲ画像を生成する。本実施形態では、コンテンツ読出部２２が、順序特定部２６にて特定された順に複数のコンテンツを読み出すので、所定の順に読み出されたコンテンツをアースボール２０のそれぞれ対応する位置に重畳したＡＲ画像を生成できる。なお、重畳部２５は、コンテンツ読出部２２によって順次読み出されて画像処理部２４によって処理された複数のコンテンツを、所定のタイミングで順次切り替えて撮影画像中のアースボール２０に重畳させてもよいし、所定のタイミングで順次追加して撮影画像中のアースボール２０に重畳させてもよい。情報処理装置１０は、重畳部２５によって生成されるＡＲ画像を表示部１５に表示する。これにより、情報処理装置１０は、カメラ１６で撮影したアースボール２０の各位置に、各位置に応じたコンテンツを重畳させたＡＲ画像を生成して表示することができる。

以下に、本実施形態の情報処理装置１０によるＡＲ画像の表示処理についてフローチャートに基づいて説明する。図１３は、情報処理装置１０が行う処理の手順を示すフローチャートであり、図１４〜図１８は、ＡＲ画像の表示例を示す模式図である。以下の処理は、情報処理装置１０の記憶部１２に記憶してある制御プログラムに従って制御部１１によって実行される。本実施形態の情報処理装置１０の制御部１１は、図１０中のステップＳ２１〜Ｓ２６と同様の処理を行う（Ｓ４１〜Ｓ４６）。なお、本実施形態では、ステップＳ４６で、制御部１１は、コンテンツＤＢ１２ａ又はアルバム１２ｂからコンテンツを読み出す際に、コンテンツの位置情報も読み出す。

制御部１１は、ステップＳ４６で読み出したコンテンツに対して画像処理を行う（Ｓ４７）。ここでは、制御部１１は、必要に応じてコンテンツのサムネイル画像を生成する処理を行う。なお、画像処理を行う必要がないコンテンツの場合には、制御部１１はコンテンツに対して何も行わなくてもよい。次に制御部１１は、コンテンツＤＢ１２ａ又はアルバム１２ｂから読み出したコンテンツの位置情報に基づいて、撮影画像中のアースボール２０において、コンテンツを重畳すべき表示位置を特定する（Ｓ４８）。そして制御部１１は、特定した表示位置に、ステップＳ４７で画像処理を行ったコンテンツに基づくコンテンツ画像（例えばサムネイル画像）を重畳させてＡＲ画像を生成し（Ｓ４９）、操作パネル１３に表示する（Ｓ５０）。これにより、撮影されたアースボール２０の対応する位置に、１つのコンテンツ（例えばサムネイル画像）を重畳させたＡＲ画像が表示される。

制御部１１は、ＡＲ画像に用いる全てのコンテンツに対する表示（重畳）処理が終了したか否かを判断する（Ｓ５１）。制御部１１は、全ての表示処理が終了していないと判断した場合（Ｓ５１：ＮＯ）、ステップＳ４６に処理を移行し、ステップＳ４５で特定した表示順序に従って、次のコンテンツをコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出す（Ｓ４６）。そして制御部１１は、読み出したコンテンツに対してステップＳ４７〜Ｓ５０の処理を行う。ＡＲ画像に用いる全てのコンテンツに対する処理が終了したと判断した場合（Ｓ５１：ＹＥＳ）、制御部１１は処理を終了するか否かを判断する（Ｓ５２）。制御部１１は、処理を終了しないと判断した場合（Ｓ５２：ＮＯ）、ステップＳ４２の処理に戻り、処理を終了すると判断した場合（Ｓ５２：ＹＥＳ）、処理を終了する。

上述した処理により、例えば図１４〜図１８に示すように撮影画像中のアースボール２０において、各コンテンツがそれぞれ対応する位置に重畳されたＡＲ画像を生成できる。図１４に示す例は、台風の画像をコンテンツＣ０に用いた場合のＡＲ画像である。このコンテンツＣ０を用いる場合、制御部１１は、撮影されたアースボール２０の撮影範囲において、このコンテンツＣ０の位置情報（緯度及び経度）に対応する表示位置を特定し、撮影画像中のアースボール２０の特定した位置にコンテンツＣ０を重畳する。これにより、撮影したアースボール２０上に台風の画像を表示させたＡＲ画像を生成できる。なお、複数の画像で１つのコンテンツが構成されている場合、制御部１１は、各画像の日時情報に応じた表示順序で各画像を表示させることにより、アースボール２０上に台風の経路図を重畳させることができる。また、アースボール２０の撮影範囲を変更した場合には、制御部１１は、変更後の撮影範囲に応じたコンテンツ（台風の画像）を、撮影画像中のアースボール２０の対応する位置に重畳する。よって、撮影対象のアースボール２０を回す、又はアースボール２０に対する撮影方向が変更された場合には、ＡＲ画像における地球も回転され、回転後の地球上の各場所で発生している台風の画像が表示される。

図１５に示す例は、例えばユーザが旅行中に撮影した写真をコンテンツＣ１〜Ｃ３に用いた場合のＡＲ画像である。ユーザが撮影した写真をコンテンツに用いる場合、制御部１１は、撮影されたアースボール２０の撮影範囲において、撮影範囲内の各場所で撮影された写真をアルバム１２ｂから読み出す。そして制御部１１は、読み出した各写真のサムネイル画像を生成する。なお、アルバム１２ｂに各写真のサムネイル画像が記憶されている場合、制御部１１は、各写真のサムネイル画像をアルバム１２ｂから読み出せばよい。また制御部１１は、撮影されたアースボール２０の撮影範囲において、各コンテンツＣ１〜Ｃ３（各写真）の位置情報（緯度及び経度）に対応する表示位置を特定する。そして制御部１１は、コンテンツＣ１〜Ｃ３の撮影順に、撮影画像中のアースボール２０の特定した位置に各コンテンツＣ１〜Ｃ３を重畳する。これにより、図１５に示すように、旅行中に撮影した写真を、アースボール２０上の撮影場所に対応する位置に、各写真を撮影した順に表示させたＡＲ画像を生成できる。

図１５では３つのコンテンツＣ１〜Ｃ３がアースボール２０のそれぞれ対応する位置に表示されている状態を示すが、各コンテンツＣ１〜Ｃ３は所定のタイミングで切り替えて表示されてもよい。即ち、アースボール２０上には常に１つのコンテンツのみが重畳される構成でもよい。また、図１５に示す画面において、いずれかのコンテンツＣ１〜Ｃ３に対する選択操作が操作パネル１３を介して行われた場合、制御部１１は、選択されたコンテンツを拡大表示してもよい。即ち、制御部１１は、選択されたコンテンツをアルバム１２ｂから読み出し、最前面に表示してもよい。なお、図１５に示す画面においても、撮影対象のアースボール２０を回す、又はアースボール２０に対する撮影方向を変更することによってアースボール２０の撮影範囲が変更された場合、制御部１１は、変更後の撮影範囲に応じたコンテンツ（変更後の撮影範囲内で撮影された写真）をアルバム１２ｂから読み出し、同様の処理を行う。これにより、アースボール２０を回転させることによってアースボール２０の撮影範囲を変更することにより、変更後の撮影範囲に応じた写真が重畳されたＡＲ画像を表示できる。

図１６に示す例は、旅行前において旅行で滞在する予定の場所を示す位置情報及び滞在日時に対応付けてコンテンツＤＢ１２ａに記憶されたコンテンツＣ４〜Ｃ５を用いた場合のＡＲ画像である。ここでは、制御部１１は、撮影されたアースボール２０の撮影範囲において、撮影範囲内の各滞在予定場所を示す位置情報と、この位置情報に対応する滞在日時及びコンテンツＣ４〜Ｃ６とをコンテンツＤＢ１２ａから読み出す。そして制御部１１は、読み出した位置情報（緯度及び経度）に基づいて、撮影されたアースボール２０の撮影範囲において、各コンテンツＣ４〜Ｃ６の表示位置を特定する。そして制御部１１は、コンテンツＣ４〜Ｃ６の滞在日時の順に、撮影画像中のアースボール２０の特定した位置に各コンテンツＣ４〜Ｃ６を重畳する。これにより、図１６に示すように、撮影画像中のアースボール２０において、滞在順序を示すアイコン等のコンテンツＣ４〜Ｃ６が、滞在順序に従って、それぞれの滞在予定場所に対応する位置に重畳されたＡＲ画像を生成できる。

図１６に示す画面において、コンテンツＣ４〜Ｃ６は例えば滞在日時を示すアイコンであってもよい。また、図１６に示すように各コンテンツＣ４〜Ｃ６を結ぶ線を追加して表示することにより、アースボール２０上に旅行経路を表示できる。更に、図１６に示す画面において、各コンテンツＣ４〜Ｃ６に所定のウェブサイトへのリンクを設定しておいてもよい。この場合、いずれかのコンテンツＣ４〜Ｃ６に対する選択操作が操作パネル１３を介して行われたときに、制御部１１は、選択されたコンテンツに設定されたウェブサイトから、この滞在場所に関する情報を取得して表示するようにしてもよい。

図１７に示す例は、図１５と同様にユーザが撮影した写真をコンテンツに用いた場合のＡＲ画像である。図１７に示す画面は、図１５に示す画面に、ＡＲ画像として表示すべき写真の撮影日時を指定するための期間指定欄１３ｂが追加されたものである。図１７に示す表示画面において、操作パネル１３を介して期間が指定された場合、制御部１１は、撮影されたアースボール２０の撮影範囲において、撮影範囲内の各場所で撮影された写真のうちで、指定された期間内に撮影された写真をアルバム１２ｂから読み出す。そして制御部１１は、読み出した各写真のサムネイル画像を生成し、各写真（コンテンツ）の撮影順に、撮影画像中のアースボール２０のそれぞれ対応する表示位置に、各写真のサムネイル画像を重畳する。これにより、アースボール２０の撮影範囲内で、ユーザによって指定された期間内に撮影された写真を、アースボール２０上の撮影場所に対応する位置に表示させたＡＲ画像を生成できる。図１７に示す画面においても、いずれかのコンテンツに対する選択操作が操作パネル１３を介して行われた場合、制御部１１は、選択されたコンテンツを拡大表示してもよい。また、撮影対象のアースボール２０を回す、又はアースボール２０に対する撮影方向を変更することによってアースボール２０の撮影範囲が変更された場合、変更後の撮影範囲に応じたコンテンツ（変更後の撮影範囲内で撮影された写真）が重畳されたＡＲ画像が表示される。

図１７に示す画面では、期間指定欄１３ｂとして、プルダウンメニューが設定されており、プルダウンメニューによって任意の期間の設定が可能である。しかし、期間指定欄１３ｂはこのような構成に限らない。例えば操作パネル１３を介した文字入力によって期間が設定されてもよい。また、指定された期間内において、ＡＲ画像として表示すべき写真の撮影した年又は年月を指定するためのインジケータが表示されてもよい。この場合、図７に示した例と同様に、インジケータによって指定された年又は年月に撮影された写真をＡＲ画像として表示させることができる。
本実施形態において、写真等のコンテンツは、記憶部１２に記憶されている必要はなく、ネットワークを介して情報処理装置１０と通信可能な外部装置、例えばクラウドサーバに記憶されていてもよい。この場合、制御部１１は、アースボール２０の撮影範囲に対応する場所で撮影された写真、ユーザによって指定された期間内に撮影された写真等のコンテンツをクラウドサーバから読み出せばよい。

本実施形態において、アースボール２０上の各位置を示す位置情報（各ＡＲマーカを示す情報でもよい）と、各コンテンツとを対応付けてコンテンツＤＢ１２ａに記憶させておいてもよい。図１８に示す例は、アースボール２０上の各位置に、三畳紀、ジュラ紀、白亜紀等において各位置に生息していた恐竜の画像をコンテンツＣ７〜Ｃ９として用いた場合のＡＲ画像である。ここでは、制御部１１は、撮影されたアースボール２０の撮影範囲において、撮影範囲内の各位置に対応するコンテンツＣ７〜Ｃ９をコンテンツＤＢ１２ａから読み出し、撮影されたアースボール２０において、各コンテンツＣ７〜Ｃ９の表示位置を特定する。そして制御部１１は、撮影画像中のアースボール２０のそれぞれ対応する表示位置に各コンテンツＣ７〜Ｃ９を重畳する。これにより、図１８に示すように、三畳紀、ジュラ紀、白亜紀等における恐竜の生息場所を示すＡＲ画像を表示できる。図１８に示す画面においても、撮影対象のアースボール２０を回す、又はアースボール２０に対する撮影方向が変更された場合には、ＡＲ画像における地球も回転され、回転後の地球上の各場所に対応する恐竜の画像（コンテンツ）が表示される。

本実施形態では、上述した例のほかに、例えばアースボール２０上の各国の位置情報と、各国の国旗とを対応付けてコンテンツＤＢ１２ａに記憶しておくことにより、撮影画像中のアースボール２０において、各国の表示位置に国旗を重畳させたＡＲ画像を生成できる。また、アースボール２０上の各位置情報と、世界遺産登録された建築物等のサムネイル画像とを対応付けてコンテンツＤＢ１２ａに記憶しておいてもよい。この場合、撮影画像中のアースボール２０において、世界遺産登録された建物等の場所に、世界遺産のサムネイル画像を重畳させたＡＲ画像を生成できる。

更に、本実施形態では、例えばフライトレコーダに記録された飛行ルート又は飛行予定ルートに基づいて、アースボール２０において、飛行ルート上の都市等の位置にコンテンツを重畳させたＡＲ画像を生成できる。また、例えばコロンブス、バスコ・ダ・ガマ、マゼラン等の探検家が航海した航路に基づいて、アースボール２０上に各航路を示すコンテンツを重畳させたＡＲ画像を生成できる。これにより、ＡＲ画像上で各航路を復元できる。更に、アースボール２０の撮影領域に応じて、撮影された場所において、各場所の地形を視角的に把握できるコンテンツを重畳させたＡＲ画像を生成することもできる。上述したようにアースボール２０の撮影範囲に応じた各種のコンテンツを用いてＡＲ画像を生成することにより、ＡＲ画像によって種々の学習を行うことができる。また、ユーザが撮影した写真等をコンテンツに用いた場合には、ユーザに応じたＡＲ画像を生成でき、ユーザは自身で撮影した写真をより楽しむことができる。

上述した各実施形態において、コンテンツは、１つの静止画像であってもよいし、複数の静止画像により構成されていてもよいし、動画映像により構成されていてもよい。複数の静止画像又は動画映像により構成されたコンテンツを用いる場合、撮影されたアースボール２０において、重畳されたコンテンツが動いた状態で表示される。

（実施形態４）
本実施形態は、スケジューラに設定された予定情報に基づいてＡＲ画像を生成する情報処理装置１０に関する。本実施形態の情報処理装置１０は、実施形態３の情報処理装置１０と同様の構成を有するので、実施形態３と共通する部分については、説明を省略する。本実施形態の情報処理装置１０は、記憶部（予定記憶部）１２に予定情報ＤＢ１２ｃを記憶している。予定情報ＤＢ１２ｃには、例えばスケジューラに設定された予定情報が記憶されており、予定情報は、仕事、旅行等の予定日時の日時情報及び予定場所の位置情報を含む。

図１９は、実施形態４の情報処理装置１０の制御部１１によって実現される機能を示すブロック図である。本実施形態の情報処理装置１０の制御部１１は、画像処理アプリＰを実行した場合、実施形態３と同様にアースボール認識部２１、コンテンツ読出部２２、画像処理部２４、重畳部２５の各機能を実現する。なお、本実施形態では、コンテンツ読出部２２の順序特定部２６は、予定情報ＤＢ１２ｃから予定情報の日時情報を取得し、重畳部２５の位置特定部２７は、予定情報ＤＢ１２ｃから予定情報の位置情報を取得する。

以下に、本実施形態の情報処理装置１０によるＡＲ画像の表示処理についてフローチャートに基づいて説明する。図２０は、情報処理装置１０が行う処理の手順を示すフローチャートである。以下の処理は、情報処理装置１０の記憶部１２に記憶してある制御プログラムに従って制御部１１によって実行される。なお、図２０は、図１３中のステップＳ４１の処理の前にステップＳ６１の処理を追加したものであり、図２０では図１３中のステップＳ４２〜Ｓ５２の図示を省略する。

本実施形態の情報処理装置１０において、制御部１１は、予定情報ＤＢ１２ｃから例えば旅行の予定情報を読み出す（Ｓ６１）。予定情報には例えば、旅行で滞在する予定の場所を示す位置情報と、滞在日時を示す日時情報とが含まれる。制御部１１は、読み出した予定情報に基づいて、ステップＳ４１以降の処理を行う。具体的には、ステップＳ４５で制御部１１は、読み出した予定情報に含まれる滞在日時に基づいて、ＡＲ画像に用いる複数のコンテンツに対してそれぞれの表示順序を特定する。またステップＳ４８で制御部１１は、読み出した予定情報に含まれる位置情報に基づいて、撮影画像中のアースボール２０において、各コンテンツを重畳すべき表示位置を特定する。

なお、読み出した予定情報が未来の情報である場合、即ち、予定情報が示す旅行に行く前である場合、ステップＳ４６で制御部１１は、図１６に示すようなコンテンツ（例えばアイコン）をコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出す。また、読み出した予定情報が過去の情報である場合、即ち、予定情報が示す旅行に行った後である場合、ステップＳ４６で制御部１１は、例えば図１５に示すように、予定情報の日時情報が示す日時に対応するコンテンツ（例えば写真）をコンテンツＤＢ１２ａ又はアルバム１２ｂから読み出す。

上述した処理により、実施形態３と同様に、図１５，１６に示すようなＡＲ画像を生成できる。即ち、図１５に示すように、アースボール２０において、旅行した各場所に対応する位置に、各場所で撮影した写真Ｃ１〜Ｃ３を重畳させたＡＲ画像を予定情報に基づいて生成できる。また、図１６に示すように、アースボール２０において、滞在予定の各場所に対応する位置に、滞在順序を示すアイコン等のコンテンツＣ４〜Ｃ６を重畳させたＡＲ画像を予定情報に基づいて生成できる。本実施形態において、コンテンツＤＢ１２ａ又はアルバム１２ｂに記憶してあるコンテンツは、静止画像であっても動画映像であってもよい。また、写真等のコンテンツは、記憶部１２に記憶されているだけでなく、例えばクラウドサーバに記憶されていてもよい。

（実施形態５）
本実施形態は、撮影画像中のアースボール２０の全領域を覆うように１つのコンテンツを重畳させ、その上に複数のコンテンツを重畳させたＡＲ画像を生成する情報処理装置１０に関する。本実施形態の情報処理装置１０は、実施形態１，３の情報処理装置１０と同様の構成を有するので、実施形態１，３と共通する部分については、説明を省略する。

以下に、本実施形態の情報処理装置１０によるＡＲ画像の表示処理についてフローチャートに基づいて説明する。図２１及び図２２は、情報処理装置１０が行う処理の手順を示すフローチャートであり、図２３は、ＡＲ画像の表示例を示す模式図である。以下の処理は、情報処理装置１０の記憶部１２に記憶してある制御プログラムに従って制御部１１によって実行される。本実施形態の情報処理装置１０の制御部１１は、図４中のステップＳ１〜Ｓ９と同様の処理を行う（Ｓ７１〜Ｓ７９）。これにより、アースボール２０の撮影範囲に応じたコンテンツが、撮影画像中のアースボール２０の全領域に重畳されたＡＲ画像が生成される。

次に制御部１１は、図１３中のステップＳ４５〜Ｓ５１と同様の処理を行う（Ｓ８０〜Ｓ８６）。ここでは、制御部１１は、ステップＳ７３で認識されたアースボール２０に基づいて各処理を行う。制御部１１は、ＡＲ画像に用いる全てのコンテンツに対する処理が終了したと判断した場合（Ｓ８６：ＹＥＳ）、制御部１１は処理を終了するか否かを判断する（Ｓ８７）。制御部１１は、処理を終了しないと判断した場合（Ｓ８７：ＮＯ）、ステップＳ７２の処理に戻り、処理を終了すると判断した場合（Ｓ８７：ＹＥＳ）、処理を終了する。

上述した処理により、図２３に示すように、撮影画像中のアースボール２０の全領域を覆うようにコンテンツが重畳され、更にその上に、アースボール２０の撮影範囲内の各場所で撮影された写真のサムネイル画像が重畳されたＡＲ画像が生成される。なお、図２３に示す例では、アースボール２０の全領域を覆うように、日本が夜間のときに撮影された衛星写真が重畳されており、複数の写真のサムネイル画像は、アースボール２０上のそれぞれの撮影場所に対応する位置に重畳されている。また、各写真のサムネイル画像は、各写真を撮影した順に表示させることができる。これにより、図１１に示したような表示態様で複数のコンテンツ（サムネイル画像）を表示する際に、背景画像として任意のコンテンツを表示させることができる。

上述した各実施形態では、カメラ１６に対するアースボール２０の向き（撮影方向）を変更することによって、アースボール２０の撮影領域を変更する構成に限らない。例えば、情報処理装置１０は、アースボール２０の全周を撮影位置を移動させながら撮影した複数の撮影画像を適宜切り替えることにより、表示部１５に表示されるアースボール２０の領域を変更する構成を有してもよい。この場合、表示部１５に表示されるアースボール２０の領域が、コンテンツが重畳されるアースボール２０の領域となる。このような構成を有する場合、情報処理装置１０は、自装置１０の傾きを検知する傾きセンサ等を有する。そして、情報処理装置１０は、傾きセンサによって検知した自装置１０の傾きに応じて、表示部１５に表示されるアースボール２０を回転させ、表示されるアースボール２０の表示領域を切り替える。その後、情報処理装置１０は、表示部１５に表示されたアースボール２０に対して、上述した各実施形態で説明したような処理を行うことにより、表示中のアースボール２０に対して各種のコンテンツを重畳させたＡＲ画像を表示させることができる。

各実施形態で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 操作パネル
１５ 表示部
１６ カメラ
２０ アースボール（球体）
２１ アースボール認識部
２２ コンテンツ読出部
２３ 抽出部
２４ 画像処理部
２５ 重畳部
２６ 順序特定部
２７ 位置特定部

本開示の一態様に係るプログラムは、コンピュータに、地図中に海、大陸、国及び都市の名称を含む世界地図、及び地域別に描かれたキャラクタを表面に有する球体を撮影した撮影画像を取得し、取得した前記撮影画像中の前記球体を前記世界地図及びキャラクタに基づいて認識し、前記世界地図及びキャラクタに基づいて認識した前記撮影画像中の前記球体の全領域を覆うようにコンテンツ画像を表示部に表示し、前記球体の全領域を覆うようにコンテンツ画像を表示しない場合、撮影した前記世界地図及びキャラクタを表面に有する前記球体の撮影画像を前記表示部に表示する処理を実行させる。

本開示の一態様に係るプログラムは、コンピュータに、マーカを表面に有する球体を撮影した撮影画像を取得し、取得した前記撮影画像中の前記球体を前記マーカに基づいて認識し、前記撮影画像中の前記マーカに基づいて、日時情報及び位置情報を含む複数のコンテンツ画像を取得し、取得した前記複数のコンテンツ画像の日時情報に基づいて、前記複数のコンテンツ画像の表示順序を特定し、取得した前記複数のコンテンツ画像の位置情報及び前記撮影画像中の前記マーカに基づいて、前記撮影画像中の前記球体における前記コンテンツ画像のそれぞれの表示位置を特定し、認識した前記撮影画像中の前記球体に、取得した前記複数のコンテンツ画像を、特定した前記表示順序で、それぞれ特定した表示位置に重畳して表示する処理を実行させる。

Claims (13)

1. コンピュータに、
   マーカを表面に有する球体を撮影した撮影画像を取得し、
   取得した前記撮影画像中の前記球体を前記マーカに基づいて認識し、
   認識した前記撮影画像中の前記球体の全領域を覆うようにコンテンツ画像を表示する
   処理を実行させるプログラム。
2. 前記コンピュータに、
   前記コンテンツ画像の表示領域が前記撮影画像中の前記球体の全領域となるように前記コンテンツ画像に画像処理を行う
   処理を実行させる請求項１に記載のプログラム。
3. 複数の前記コンテンツ画像のそれぞれは日時情報を含み、
   前記コンピュータに、
   前記日時情報が示す日時の順に、前記撮影画像中の前記球体の全領域に前記コンテンツ画像を表示する
   処理を実行させる請求項１又は２に記載のプログラム。
4. コンピュータに、
   マーカを表面に有する球体を撮影した撮影画像を取得し、
   取得した前記撮影画像中の前記球体を前記マーカに基づいて認識し、
   認識した前記撮影画像中の前記球体に、日時情報を含む複数のコンテンツ画像を、前記日時情報が示す日時の順に重畳して表示する
   処理を実行させるプログラム。
5. 前記コンテンツ画像は位置情報を含み、
   前記コンピュータに、
   前記マーカ及び前記位置情報に基づいて、前記撮影画像中の前記球体の対応する位置に前記コンテンツ画像を表示する
   処理を実行させる請求項４に記載のプログラム。
6. 前記コンピュータは、日時情報及び位置情報を含む予定情報を記憶する予定記憶部を有し、
   前記コンピュータに、
   前記予定記憶部から読み出した前記予定情報に含まれる日時情報が示す日時の順に、前記撮影画像中の前記球体の、前記予定情報に含まれる位置情報及び前記マーカに基づく位置にコンテンツ画像を表示する
   処理を実行させる請求項４又は５に記載のプログラム。
7. 前記コンピュータは、前記コンテンツ画像を記憶する記憶部を有し、
   前記コンピュータに、
   前記撮影画像中の前記球体に、前記記憶部から読み出した前記コンテンツ画像を表示する
   処理を実行させる請求項１から６までのいずれかひとつに記載のプログラム。
8. 前記コンテンツ画像は、前記記憶部に記憶されているアルバムに記憶されており、
   前記コンピュータに、
   前記アルバムから読み出した前記コンテンツ画像を加工して、前記撮影画像中の前記球体に表示する
   処理を実行させる請求項７に記載のプログラム。
9. 前記コンテンツ画像は動画映像である
   請求項１から８までのいずれかひとつに記載のプログラム。
10. マーカを表面に有する球体を撮影した撮影画像を取得する取得部と
    前記取得部が取得した前記撮影画像中の前記球体を前記マーカに基づいて認識する認識部と、
    前記認識部が認識した前記撮影画像中の前記球体の全領域を覆うようにコンテンツ画像を表示する表示部と
    を備える情報処理装置。
11. マーカを表面に有する球体を撮影した撮影画像を取得する取得部と、
    前記取得部が取得した前記撮影画像中の前記球体を前記マーカに基づいて認識する認識部と、
    前記認識部が認識した前記撮影画像中の前記球体に、日時情報を含む複数のコンテンツ画像を、前記日時情報が示す日時の順に重畳して表示する表示部と
    を備える情報処理装置。
12. 情報処理装置が、
    マーカを表面に有する球体を撮影した撮影画像を取得し、
    取得した前記撮影画像中の前記球体を前記マーカに基づいて認識し、
    認識した前記撮影画像中の前記球体の全領域を覆うようにコンテンツ画像を表示する
    処理を行う情報処理方法。
13. 情報処理装置が、
    マーカを表面に有する球体を撮影した撮影画像を取得し、
    取得した前記撮影画像中の前記球体を前記マーカに基づいて認識し、
    認識した前記撮影画像中の前記球体に、日時情報を含む複数のコンテンツ画像を、前記日時情報が示す日時の順に重畳して表示する
    処理を行う情報処理方法。