JP2020095602A - 表示プログラム、表示装置および表示方法 - Google Patents

Abstract

【課題】ＡＲのコンテンツを容易に提供する。【解決手段】本願に係る表示プログラムは、静止画像の一部に、所定の対象を複数の視点から表示可能なコンテンツを重ねて表示させる表示手順と、所定の条件が満たされた場合は、前記コンテンツにおける前記所定の対象に対する視点を変更する表示制御手順とをコンピュータに実行させる。【選択図】図１

Description

本発明は、表示プログラム、表示装置および表示方法に関する。

近年、インターネットの飛躍的な普及および配信技術の向上により、インターネットを介して多様なコンテンツの閲覧が可能になっている。このようなコンテンツの一例として、拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が知られている。このようなＡＲの技術においては、例えば、撮影した利用者の手の平の上に３次元モデルを配置した状態で表示し、撮影位置の変更や利用者の操作に応じて３次元モデルの表示態様を変更するといった技術が知られている。また、このような３次元モデルを表示する技術の一例として、複数の視点位置に配置された撮像手段により撮影された撮影画像から、撮影対象の３次元モデルを生成し、生成した３次元モデルを仮想的な視点に応じて表示する技術が知られている。

特開２０１６−１２６４２５号公報

しかしながら、上述した従来技術では、ＡＲのコンテンツを容易に提供しているとは言えない場合がある。

例えば、上述した従来技術では、利用者の動画像を撮影し、撮影された動画像の各フレームごとに、３次元モデルの重畳を行い、全体のレンダリングを行うので、処理負荷が増大する。

本願は、上記に鑑みてなされたものであって、ＡＲのコンテンツを容易に提供することを目的とする。

本願に係る表示プログラムは、静止画像の一部に、所定の対象を複数の視点から表示可能なコンテンツを重ねて表示させる表示手順と、所定の条件が満たされた場合は、前記コンテンツにおける前記所定の対象に対する視点を変更する表示制御手順とをコンピュータに実行させる。

実施形態の一態様によれば、ＡＲのコンテンツを容易に提供することができる。

図１は、実施形態に係る生成処理の一例を示す図である。 図２は、実施形態に係る端末装置が実行する第１表示処理の一例を示す図である。 図３は、実施形態に係る端末装置が表示する対象画像の一例を示す図である。 図４は、実施形態に係る端末装置が対象画像を撮影画像に重ねて表示する際の処理の一例を示す図である。 図５は、実施形態に係る端末装置が実行する第２表示処理の一例を示す図である。 図６は、実施形態に係る情報提供装置の構成例を示す図である。 図７は、実施形態に係る対象画像群データベースの一例を示す図である。 図８は、実施形態に係る情報提供装置が対象画像群ごとに異なる対象画像群を生成する処理の一例を示す図である。 図９は、実施形態に係る端末装置が有する機能構成の一例を説明する図である。 図１０は、実施形態に係る第１アプリケーションが実現する機能構成の一例を示す図である。 図１１は、実施形態に係る第２アプリケーションが実現する機能構成の一例を示す図である。 図１２は、実施形態に係る第１表示処理の流れの一例を示すフローチャートである。 図１３は、実施形態に係る第２表示処理の流れの一例を示すフローチャートである。 図１４は、ハードウェア構成の一例を示す図である。

以下に、本願に係る表示プログラム、表示装置および表示方法を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る表示プログラム、表示装置および表示方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

[実施形態]
〔１．自由視点画像を生成する生成処理について〕
まず、表示装置の一例である端末装置１０（例えば、図２を参照）が実行する表示処理の説明に先駆けて、端末装置１０が表示処理において用いる多視点画像を生成する生成処理の一例について説明する。例えば、図１は、実施形態に係る生成処理の一例を示す図である。図１に示す例では、情報提供装置１００が所定の撮影対象ＰＴ１を撮影した撮影画像から、多視点画像を生成する生成処理の一例について記載した。

図１に示す情報提供装置１００は、生成処理を行う情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。また、図１に示すカメラＣＭは、例えば、デジタルカメラであり、撮影対象ＰＴ１を撮影する機能を有する。

以下、生成処理の流れについて説明する。まず、カメラＣＭは、視点を変更しながら、撮影対象ＰＴ１を撮影することで、撮影対象ＰＴ１を含む複数の撮影画像であって、視点がそれぞれ異なる撮影画像群を取得する（ステップＳ１）。そして、カメラＣＭは、撮影画像群を情報提供装置１００へと提供する（ステップＳ２）。

なお、図１に示す例では、単一のカメラＣＭを用いて、視点を変更しながら撮影対象ＰＴ１を撮影することで、視点がそれぞれ異なる撮影画像群を取得する処理について記載した。しかしながら、実施形態は、これに限定するものではない。例えば、撮影画像群は、それぞれ異なる位置に配置された複数のカメラＣＭが同時期に撮影した画像であってもよい。より具体的な例を挙げると、撮影画像群は、複数のカメラＣＭによって、所謂バレットタイム撮影により撮影された画像であってもよい。

また、撮影画像群は、動画像であってもよい。例えば、利用者は、カメラＣＭを用いて、視点を変更しながら撮影対象ＰＴ１を撮影した動画像を撮影する。このような場合、情報提供装置１００は、撮影された動画像のデータから生成された画像、すなわち、各フレームの画像を撮影画像群としてもよい。

なお、撮影画像群に含まれる各画像は、共通する撮影対象ＰＴ１が撮影されており、かつ、それぞれ視点が異なる画像であれば、任意の画像が採用可能である。例えば、各画像における注視点や焦点は、統一されている必要はない。また、各画像のうち撮影対象ＰＴ１が含まれる範囲は、共通していてもよく、共通してなくともよい。

このようにして撮影された撮影画像群には、異なる視点から撮影された撮影対象ＰＴ１の像が含まれることとなる。しかしながら、単一のカメラＣＭを用いて撮影対象ＰＴ１を順次撮影した場合、撮影対象ＰＴ１の像が含まれる範囲が画像ごとに変化したり、注視点がそれぞれ異なったりすると考えられる。また、複数のカメラを用いて撮影対象ＰＴ１を撮影するのは、手間がかかる。

そこで、情報提供装置１００は、カメラキャリブレーションの技術を用いて、撮影画像群から、撮影対象の３次元形状を示す３次元情報を取得する（ステップＳ３）。そして、情報提供装置１００は、三次元情報と撮影画像群とに基づいて、注視点が撮影対象ＰＴ１から所定の範囲に収まり、かつ、視点がそれぞれ異なる複数の対象画像を対象画像群として生成する（ステップＳ４）。

例えば、情報提供装置１００は、各撮影画像について、撮影対象や背景等といった各撮影画像内に含まれるオブジェクトの表面の３次元座標点を、各撮影画像を撮影したカメラＣＭと対応するパラメータを考慮した透視投影変換を用いて画像平面に写像されたものと見做す。そして、情報提供装置１００は、カメラＣＭと対応するパラメータから透視投影変換を実現する関数（行列）の逆関数（逆行列）を求め、逆行列を用いて、各撮影画像に撮影されたオブジェクトの表面の３次元座標点を推定する。より具体的には、情報提供装置１００は、各撮影画像ごとに、オブジェクトの３次元座標点の推定を行う。

なお、情報提供装置１００は、カメラＣＭと対応するパラメータとして、レンズのゆがみ等といった各種のパラメータを採用可能である。また、このような３次元座標点の推定については、カメラキャリブレーションをはじめとした撮影画像からオブジェクトの３次元座標点を推定する各種の公知技術が採用可能である。

続いて、情報提供装置１００は、撮影画像ごとに推定された３次元座標点の解析結果に基づいて、撮影対象ＰＴ１が撮影された範囲を撮影画像ごとに推定する。例えば、情報提供装置１００は、撮影画像ごとの３次元座標点の解析結果に基づいて、各撮影画像から撮影対象ＰＴ１が撮影されている範囲を推定する。そして、情報提供装置１００は、各撮影画像から推定した範囲をトリミングした画像を対象画像として生成する。すなわち、情報提供装置１００は、各撮影画像から、注視点が撮影対象ＰＴ１から所定の範囲内に収まり、かつ、視点がそれぞれ異なる撮影画像群を生成する。なお、情報提供装置１００は、同じ表示サイズの対象画像を生成してもよく、各対象画像内において撮影対象ＰＴ１が含まれる割合や領域が同程度に収まるように、各画像の拡大や縮小を行ってもよい。

続いて、情報提供装置１００は、生成した各対象画像と視点の角度とを推定する。例えば、情報提供装置１００は、対象画像からいずれかの対象画像を選択し、選択した対象画像を基準となる対象画像とする。続いて、情報提供装置１００は、３次元情報を用いて、基準となる対象画像における視点と注視点（すなわち、撮影対象ＰＴ１）とを結ぶ軸（以下、「視線軸」と記載する。）と、他の対象画像における視線軸との間の角度を推定する。そして、情報提供装置１００は、各対象画像と、各対象画像ごとに推定した基準となる対象画像からの角度とを対応付けた対象画像群を生成する。なお、情報提供装置１００は、利用者から基準となる対象画像の選択を受付けてもよく、各対象画像と基準となる対象画像との間の角度の入力を利用者から受付けてもよい。

このような処理の結果、情報提供装置１００は、位置を固定した複数のカメラＣＭを準備せずとも、１台のカメラＣＭを用いて順次撮影した撮影画像群から、撮影対象ＰＴ１を異なる視点から撮影した対象画像群を生成することができる。より具体的には、あたかも注視点を撮影対象ＰＴ１に据えたまま、視点を順次変更することで撮影されたような複数の画像を生成することができる。なお、このような対象画像群は、いわゆる自由視点画像と呼ばれる画像に対応する。

〔２．端末装置について〕
続いて、図２を用いて、端末装置１０が実行する第１表示処理の一例について説明する。図２は、実施形態に係る端末装置が実行する第１表示処理の一例を示す図である。端末装置１０は、ＰＣ（Personal Computer）、サーバ装置、スマートテレビジョン、スマートフォン若しくはタブレット等といったスマートデバイス等により実現され、例えば、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、Ｗｉｆｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークＮ（例えば、図６参照）を介して、情報提供装置１００等との通信を行う。

ここで、端末装置１０は、カメラを有し、任意の撮影対象を撮影可能な機能を有する。例えば、端末装置１０は、静止画像若しくは動画像の撮影が可能である。なお、端末装置１０は、例えば、カメラを有さないタブレットやＰＣと、カメラＣＭとを組み合わせることにより実現されてもよい。

〔３−１．第１表示処理について〕
ここで、拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が知られている。このようなＡＲの技術では、例えば、撮影した利用者の手の平の上に３次元モデルを配置した状態で表示し、撮影位置の変更や利用者の操作に応じて３次元モデルの表示態様を変更するといった技術が知られている。しかしながら、３次元モデルの生成には、手間やコストがかかる。また、人物の３次元モデルを生成した場合、３次元モデルの精度によっては、不気味の谷と呼ばれる現象により、閲覧する利用者に不快感を及ぼしてしまう恐れがある。

そこで、端末装置１０は、上述した自由視点画像を用いた第１表示処理を実行することにより、ＡＲのコンテンツの提供を容易にする。まず、端末装置１０は、撮影画像に撮影された撮影対象と、当該撮影画像を撮影した撮影装置との位置関係を推定する。そして、端末装置１０は、所定の対象を異なる視点から撮影した複数の対象画像のうち、推定された位置関係と対応する視点から撮影された対象画像を、撮影画像内に配置して表示させる。

例えば、端末装置１０は、任意の撮影対象を撮影し、撮影画像から所定の指標図形が配置された撮影対象、すなわち、マーカを特定する。そして、端末装置１０は、特定した撮影対象と撮影装置との位置関係を推定する。例えば、端末装置１０は、撮影対象を貫く軸と撮影装置との位置関係を推定する。具体的には、端末装置１０は、撮影画像が端末装置１０のカメラにより撮影されている場合は、マーカと端末装置１０との間の位置関係を推定する。一方、端末装置１０は、撮影画像が端末装置１０以外のカメラＣＭにより撮影されている場合は、マーカとカメラＣＭとの間の位置関係を推定する。

また、端末装置１０は、対象画像群のうち、推定された位置関係と対応する対象画像群を選択する。例えば、端末装置１０は、マーカが構成する平面に対して垂直な軸を設定し、設定した軸回りの角度であって、マーカが示す所定の方向を０度とした際に撮影装置が所在する角度を推定する。すなわち、端末装置１０は、マーカから見た視点の方向を推定する。そして、端末装置１０は、推定した角度と対応付けられた対象画像を対象画像群から選択し、選択した対象画像をマーカと重ねて表示する。

このような処理を繰り返し実行することで、端末装置１０は、マーカに対する撮影位置の変更に伴い、マーカ上に重ねる対象画像を順次変更する。このような処理の結果、端末装置１０は、マーカに対する視点の位置の変更に伴い、撮影対象ＰＴ１に対する視点が異なる対象画像群のうちいずれかの対象画像を表示する。この結果、端末装置１０は、３次元モデルを用いずとも、あたかもマーカ上に撮影対象ＰＴ１が配置され、撮影位置の変更に伴って撮影対象ＰＴ１に対する視点も変更するといった態様のコンテンツ、すなわち、ＡＲに関するコンテンツ（以下、「ＡＲコンテンツ」と記載する。）を表示させることができる。

例えば、端末装置１０が表示する対象画像群は、撮影画像から抽出された画像であるため、従来の３次元モデルよりも撮影対象ＰＴ１を詳細に示すことができ、利用者に対して不快感を及ぼす可能性が少ない。また、一般的な情報処理技術においては、３次元モデルのレンダリングに要する処理能力よりも、画像の表示に要する処理能力の方が少ない。このため、端末装置１０は、より容易にＡＲコンテンツを提供することができる。

〔３−２．第１表示処理の一例について〕
以下、図２を用いて、端末装置１０が実行する第１表示処理の流れの一例について説明する。まず、端末装置１０は、図１に示す生成処理により生成された対象画像群を情報提供装置１００から取得する（ステップＳ１）。すなわち、端末装置１０は、撮影対象ＰＴ１を異なる視点から撮影した複数の対象画像を取得する。

続いて、端末装置１０は、撮影対象を逐次撮影する（ステップＳ２）。具体的には、端末装置１０は、自装置に設置されたカメラを用いて、ＡＲコンテンツの背景となる画像を撮影する。図２に示す例では、端末装置１０は、女性である撮影対象ＴＵがマーカＴＭを手に持っている姿を、視点を移動させながら逐次撮影する。なお、端末装置１０が撮影する画像は、動画像であってもよい。このような処理の結果、端末装置１０は、少なくとも、撮影対象ＴＵとマーカＴＭとを撮影対象として含む撮影画像Ｐ１を得ることとなる。

このような場合、端末装置１０は、撮影画像Ｐ１から所定の撮影対象として、マーカＴＭを抽出する（ステップＳ３）。例えば、端末装置１０は、各種の画像解析技術を用いて、あらかじめ登録されていた図形が表面に印刷されている物体、すなわちマーカＴＭを検出する。続いて、端末装置１０は、抽出したマーカＴＭの画像を用いて、マーカとカメラとの間の位置関係を推定する（ステップＳ４）。例えば、端末装置１０は、予め登録されていたマーカＴＭの画像と、撮影されたマーカＴＭの画像との比較により、カメラとマーカーＴＭとの位置関係を推定する。例えば、端末装置１０は、予め登録されていたマーカＴＭの画像を撮影されたマーカＴＭの画像へと変換する変換行列に基づいて、マーカＴＭとカメラとの間の距離や角度等を位置関係として推定する。

例えば、端末装置１０は、マーカＴＭが構成する平面上にｘ軸およびｙ軸を設定する。例えば、端末装置１０は、マーカＴＭが構成する平面上において、マーカＴＭ上に印刷された図形が示す所定の方向をｙ軸とし、ｙ軸と共にマーカＴＭが構成する平面上の方向であって、ｙ軸に対して垂直な方向をｘ軸とする。なお、端末装置１０は、マーカＴＭの図形が示す所定の方向をｘ軸およびｙ軸としてもよい。また、端末装置１０は、マーカＴＭが構成する平面に対して垂直な軸方向をｚ軸とする。

そして、端末装置１０は、ｘ軸およびｙ軸からなるｘｙ平面上における視線軸の角度θを推定する。すなわち、端末装置１０は、マーカＴＭに対するｘｙ平面上のカメラの方向を推定する。換言すると、端末装置１０は、マーカＴＭが構成する平面と水平な平面上の角度を推定する。

また、端末装置１０は、ｙ軸およびｚ軸からなるｙｚ平面上における視線軸の角度φを推定する。すなわち、端末装置１０は、マーカＴＭに対するｙｚ平面上のカメラの方向を推定する。換言すると、端末装置１０は、撮影装置と注視点とを結ぶ軸とｚ軸との間の角度を推定する。

また、端末装置１０は、マーカＴＭが構成する平面を基準としたカメラの傾きｒを推定する。例えば、端末装置１０は、端末装置１０の長尺方向（或いは、短尺方向）の軸とｚ軸との間の角度を傾きｒとして推定する。換言すると、端末装置１０は、撮影装置と注視点とを結ぶ軸を中心とした角度を推定する

また、端末装置１０は、マーカＴＭと端末装置１０との間の距離ｄを推定する。なお、上述した各種の角度や距離の推定は、画像から撮影対象とカメラとの間の位置関係を推定する各種の推定技術が採用可能である。また、例えば、端末装置１０は、マーカＴＭが曲面を有する場合、マーカＴＭが構成する曲面のうちマーカＴＭが示す位置（例えば、指示図形の中央）における法線をｚ軸として推定し、推定したｚ軸に対して垂直な面をｘｙ平面に設定してもよい。

そして、端末装置１０は、対象画像群から推定された位置関係と対応する対象画像を選択する（ステップＳ６）。例えば、端末装置１０は、角度θと角度＃１とが対応する場合は、角度＃１と対応付けられた対象画像ＴＰ１を選択する。より具体的な例を挙げると、端末装置１０は、角度θが−９０度となる場合、すなわち、カメラがマーカＴＭの正面方向（−ｙ軸方向）に所在する場合は、対象画像群のうち、対象画像ＴＰ１を正面から撮影した対象画像ＴＰ１を選択する。また、端末装置１０は、角度θが０度となる場合、すなわち、カメラがマーカＴＭの右横側（ｘ軸方向）に所在する場合は、対象画像群のうち、対象画像ＴＰ１を右横から撮影した対象画像を選択する。また、端末装置１０は、角度θが１８０度となる場合、すなわち、カメラがマーカＴＭの左横側（−ｘ軸方向）に所在する場合は、対象画像群のうち、対象画像ＴＰ１を左横から撮影した対象画像を選択する。

そして、端末装置１０は、撮影画像のうち特定したマーカＴＭに、選択した対象画像を重ねた重畳画像を生成する（ステップＳ７）。例えば、端末装置１０は、撮影画像Ｐ１のうち、マーカＴＭが撮影されている範囲を特定し、特定した範囲に、対象画像ＴＰ１を配置した重畳画像ＯＰ１を生成する。そして、端末装置１０は、重畳画像ＯＰ１を表示する（ステップＳ８）。

ここで、端末装置１０は、画像の撮影を行う度に、ステップＳ３〜ステップＳ８の処理を実行する。例えば、端末装置１０は、動画像の撮影を行い、撮影された動画像に含まれる撮影画像ごとに、端末装置１０とマーカＴＭとの間の位置関係を推定し、動画像に含まれる撮影画像ごとに、推定された位置関係と対応する視点から撮影された対象画像を配置した撮影画像を表示する。このような処理の結果、端末装置１０は、例えば、視点を移動させながら撮影対象ＴＵやマーカＴＭを撮影した際に、マーカＴＭ上に、撮影対象ＰＴ１が撮影された撮影画像であって、移動後の視点と対応する視点から撮影された撮影画像することができる。換言すると、端末装置１０は、視点の移動に伴い、撮影対象ＰＴ１に対する視点が変化するといった対応で、対象画像の切り替えを行う。このような処理の結果、端末装置１０は、３Ｄモデルを用いずとも、ＡＲコンテンツの表示を実現することができる。

〔３−３．視点に応じて表示する対象画像について〕
ここで、図３を用いて、マーカＴＭに対する視点の移動に応じてどのような視点から撮影した対象画像を表示するかの一例について説明する。図３は、実施形態に係る端末装置が表示する対象画像の一例を示す図である。なお、図３に示す例では、マーカＴＭに対する端末装置１０の位置、すなわちマーカＴＭに対する視点と、端末装置１０が表示対象とする対象画像との関係の一例について記載した。また、図３に示す例において、マーカＴＭが構成する平面と垂直な軸をｚ軸とし、マーカＴＭが有する平面において紙面左右方向の軸をｘ軸、マーカＴＭが有する平面において紙面奥行方向の軸をｙ軸とした。また、図３に示す例においては、手前側（−ｙ軸方向）がマーカＴＭの正面であるものとする。

例えば、端末装置１０は、マーカＴＭ上のパターンからマーカＴＭと端末装置１０との位置関係を推定する。そして、端末装置１０は、例えば、端末装置１０がマーカＴＭの正面側となる第１方向に位置すると推定される場合、撮影対象ＰＴ１を正面から撮影した対象画像ＴＰ１を表示する。また、端末装置１０は、例えば、端末装置１０が第１方向から、ｚ軸方向を中心として反時計回りに９０度移動した場合、すなわち、マーカＴＭの右側方向（＋ｘ軸方向）である第２方向に移動したと推定される場合、対象画像ＴＰ１に代えて、撮影対象ＰＴ１を右側から撮影した対象画像ＴＰ２を表示する。

また、端末装置１０は、例えば、端末装置１０が第１方向から、ｚ軸方向を中心として時計回りに９０度移動した場合、すなわち、マーカＴＭの左側方向（−ｘ軸方向）である第３方向に移動したと推定される場合、対象画像ＴＰ１に代えて、撮影対象ＰＴ１を左側から撮影した対象画像ＴＰ３を表示する。なお、端末装置１０は、第３方向から第１方向へと端末装置１０が移動したと推定される場合は、対象画像ＴＰ３に代えて対象画像ＴＰ１を表示すればよい。また、端末装置１０は、第２方向から第１方向へと端末装置１０が移動したと推定される場合は、対象画像ＴＰ２に代えて対象画像ＴＰ１を表示すればよい。

なお、端末装置１０は、ｚ軸を中心とする回転方向に視線を移動させながら撮影対象ＰＴ１を撮影した画像のみならず、ｘ軸やｙ軸を中心とする回転方向、すなわち、撮影対象ＰＴ１の上側や下側に視線を移動させながら撮影対象ＰＴ１を撮影した画像が対象画像群に含まれている場合、端末装置１０がｘ軸やｙ軸を中心とする回転方向に移動したことを契機として、撮影対象ＰＴ１の上側や下側に視線を移動させながら撮影対象ＰＴ１を撮影した画像を表示してもよい。例えば、端末装置１０は、端末装置１０が第１方向から、ｘ軸方向を中心として時計回りに９０度移動した場合、すなわち、マーカＴＭの上方向（＋ｚ軸方向）である第４方向に移動したと推定される場合、対象画像ＴＰ１に代えて、撮影対象ＰＴ１を上側から撮影した対象画像ＴＰ４を表示すればよい。

なお、図３に示す例では、各軸方向に視線の位置を９０度動かした際に表示する対象画像の一例について記載したが、実施形態は、これに限定されるものではない。例えば、端末装置１０は、撮影対象ＰＴ１を注視点とし、視点の位置を各軸方向に３０度ずつ移動させながら撮影した複数の画像を対象画像群として受付けた場合、マーカＴＭを注視点として端末装置１０の位置が各軸方向に３０度ずつ移動する度に、表示される対象画像を切替えればよい。

〔３−４．対象画像の表示態様について〕
ここで、端末装置１０は、撮影対象ＰＴ１の大きさを考慮した表示を行ってもよい。例えば、端末装置１０は、端末装置１０とマーカＴＭとの間の距離ｄが離れれば離れる程、選択された対象画像の表示サイズを縮小してもよい。また、端末装置１０は、距離ｄが縮まれば縮まる程、対象画像の表示サイズを拡大してもよい。

また、端末装置１０は、撮影対象ＰＴ１の大きさを考慮した処理を行ってもよい。例えば、端末装置１０は、予めマーカＴＭの大きさを示す情報と撮影対象ＰＴ１の大きさを示す情報とを取得し、取得した情報の比較結果に応じて、対象画像を表示する際の表示サイズを決定してもよい。なお、上述した各種表示サイズの変更は、対象画像の変更を伴わずとも、任意のタイミングで実行されてよい。

すなわち、端末装置１０は、推定された位置関係と対応する視点から撮影された対象画像を、位置関係と対応する表示態様で、撮影画像内に配置して表示させればよい。このような表示態様において、どのようなタイミングで対象画像の変更を行うか、対象画像の表示サイズをどのような表示サイズに設定するかについては、各種任意の設定が採用可能である。

なお、上述した説明では、マーカＴＭに対する端末装置１０の位置関係に基づいて、対象画像の表示態様を変更する例に説明したが、実施形態は、これに限定されるものではない。例えば、端末装置１０は、撮影対象ＴＵがマーカＴＭを傾けた場合、マーカＴＭ上に対象画像を傾けた状態で配置して表示すればよい。例えば、端末装置１０は、推定した角度ｒだけ、各対象画像を傾けた状態で表示してもよい。

なお、端末装置１０は、各軸方向に視点を移動させた対象画像群を用いる必要はない。例えば、情報提供装置１００は、撮影対象ＰＴ１を貫く上方向の軸をｚ軸として、ｚ軸を中心に回転させた複数の撮影画像から対象画像群を生成する。このような場合、端末装置１０は、マーカＴＭのｚ軸を中心として端末装置１０が移動した際に、表示される対象画像を逐次変更すればよい。

〔３−５．対象画像の表示手法について〕
なお、撮影画像に対して対象画像を重ねて表示する場合、端末装置１０は、以下の処理を実行する。まず、端末装置１０は、撮影画像のうち、マーカＴＭ等の撮影対象と対応する位置に撮影装置と対向する向きの仮想的な平面を設定し、設定した平面上に対象画像を配置して表示させる。例えば、図４は、実施形態に係る端末装置が対象画像を撮影画像に重ねて表示する際の処理の一例を示す図である。なお、図４に示す例では、端末装置１０が対象画像を表示する際に実行する処理の一例を、基準状態、時計回り状態、および反時計回り状態に分けて記載した。

例えば、端末装置１０は、基準状態に示すように、視点の位置が撮影画像Ｐに含まれるマーカＴＭの正面に位置する場合、マーカＴＭ上に不可視なビルボードＢＢの設定を行う。より具体的には、端末装置１０は、マーカＴＭ上に、マーカＴＭの傾き等に係わらず、視線軸に対して垂直なビルボードＢＢの設定を行う。そして、端末装置１０は、ビルボードＢＢ上に選択した対象画像ＴＰ１を配置して、最終的に表示する重畳画像ＯＰ１のレンダリングを行う。

一方、端末装置１０は、反時計回り状態に示すように、視点の位置が撮影画像Ｐに含まれるマーカＴＭの左側に移動した場合も、視線軸に対して垂直なビルボードＢＢをマーカＴＭ上に設定する。そして、端末装置１０は、ビルボードＢＢ上に選択した対象画像ＴＰ６を配置して、最終的に表示する重畳画像ＯＰ１のレンダリングを行う。また、端末装置１０は、時計回り状態に示すように、視点の位置が撮影画像Ｐに含まれるマーカＴＭの右側に移動した場合も、視線軸に対して垂直なビルボードＢＢをマーカＴＭ上に設定する。そして、端末装置１０は、ビルボードＢＢ上に選択した対象画像ＴＰ５を配置して、最終的に表示する重畳画像ＯＰ１のレンダリングを行う。

なお、端末装置１０は、マーカＴＭが傾いた場合、ビルボードＢＢを傾けることで、対象画像の傾きを再現してもよく、対象画像をビルボードＢＢ上に配置する際に、対象画像そのものを傾けて配置することで、マーカＴＭの動きに撮影対象ＰＴ１を追従させてもよい。

〔３−６．位置推定について〕
なお、端末装置１０は、カメラキャリブレーションの技術を用いて、撮影画像に撮影された撮影対象と、撮影装置との３次元的な位置関係を推定してもよい。例えば、端末装置１０は、カメラキャリブレーションの技術を用いて、撮影対象ＴＵやマーカＴＭと、端末装置１０との位置関係の推定を行ってよい。

〔３−７．撮影対象について〕
ここで、端末装置１０は、マーカＴＭを用いずとも、上述した第１表示処理を実現してもよい。例えば、端末装置１０は、撮影画像に撮影された複数の撮影対象のうち、所定の条件を満たす撮影対象と撮影装置との位置関係を推定し、推定された位置関係と対応する視点から撮影された対象画像を、撮影画像のうち所定の条件を満たす撮影対象と対応する位置に配置して表示させてもよい。

例えば、端末装置１０は、カメラキャリブレーションの技術を用いて、撮影画像Ｐに含まれる撮影対象のうち、平面を構成する撮影対象を特定する。例えば、端末装置１０は、撮影対象ＴＵが手のひらを上に向けている画像を撮影した場合、撮影対象ＴＵの手のひら部分を平面を構成する撮影対象として特定する。なお、カメラキャリブレーションを用いる場合、端末装置１０は、少なくとも同一平面を構成する３点を有する撮影対象を特定すればよい。

そして、端末装置１０は、撮影対象ＴＵの手のひら部分と端末装置１０との位置関係を推定し、推定結果に応じた表示対象で、対象画像を撮影対象ＴＵの手のひらと重なる位置に配置して表示すればよい。例えば、端末装置１０は、特定した撮影対象が構成する平面に対して垂直な軸をｚ軸として推定し、推定したｚ軸に対する端末装置１０の位置関係を推定して、推定結果に応じて対象画像を切替えればよい。このような処理の結果、端末装置１０は、撮影対象が構成する平面上に、撮影対象ＰＴが配置されている態様で、対象画像を表示する。このため、端末装置１０は、あたかも撮影対象ＴＵの手のひらの上に撮影対象ＰＴ１が乗っているといった態様のＡＲコンテンツを表示することができる。

なお、端末装置１０は、撮影画像Ｐに含まれる撮影対象から、対象画像を重ねて表示する対象の選択を受付けてもよい。例えば、端末装置１０は、撮影画像Ｐに含まれる撮影対象から、各種平面を構成する撮影対象やマーカＴＭ等を特定し、利用者に提示する。そして、端末装置１０は、提示した撮影対象のうち利用者によって選択された撮影対象に、対象画像を重畳して表示してもよい。

〔３−８．対象画像について〕
ここで、上述した説明では、端末装置１０は、対象画像群として、視点が異なる静止画像の表示を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１００は、撮影対象に対する視点がそれぞれ異なる複数の動画像を対象画像群として生成してもよい。このような場合、端末装置１０は、端末装置１０とマーカＴＭ等といった撮影対象との位置関係を推定し、推定した位置関係と対応する視点から撮影された動画像を表示することとなる。

〔４−１．第２表示処理について〕
ここで、ＡＲ技術においては、動画像に撮影されたマーカ上に３次元モデルを配置して表示するといった態様が考えられる。しかしながら、このような技術では、位置関係の推定、３次元モデルの設定、およびレンダリングという一連の処理を動画像の各フレームごとに実行する必要があり、処理コストが増大する。また、このような技術では、３次元モデルを重畳するコンテンツが動画像に限定されてしまう。

そこで、端末装置１０は、以下の第２表示処理を実行してもよい。例えば、端末装置１０は、静止画像の一部に、所定の対象を複数の視点から表示可能なコンテンツを重ねて表示させる。そして、端末装置１０は、所定の条件が満たされた場合は、コンテンツにおける所定の対象に対する視点を変更する。

すなわち、端末装置１０は、動画像ではなく、１枚の静止画像上に、視点の変更が可能なコンテンツを配置して表示する。例えば、端末装置１０は、利用者が手の平を差し出している画像において、手の平の上に３次元モデルや上述した多視点画像を表示し、静止画の表示態様を変更することなく、３次元モデルや多視点画像における視点の切り替えを行う。このような処理の結果、端末装置１０は、処理コストの軽減を図ることができる。

〔４−２．第１表示処理の一例について〕
以下、図５を用いて、端末装置１０が実行する第２表示処理の流れの一例について説明する。図５は、実施形態に係る端末装置が実行する第２表示処理の一例を示す図である。なお、図５に示す例では、端末装置１０は、視点を変更可能なコンテンツとして、情報提供装置１００により生成された対象画像群をあらかじめ保持しているものとする。

まず、端末装置１０は、静止画像を撮影する（ステップＳ１）。具体的には、端末装置１０は、自装置に設置されたカメラを用いて、ＡＲコンテンツの背景となる画像を撮影する。図５に示す例では、端末装置１０は、女性である撮影対象ＴＵが手のひらを差し出している姿を撮影した静止画像を撮影画像Ｐ２として撮影する。

このような場合、端末装置１０は、カメラキャリブレーションの技術を用いて、平面を構成する撮影対象を特定する（ステップＳ２）。例えば、端末装置１０は、第１表示処理と同様に、カメラキャリブレーションの技術を用いて、利用者の手のひら等といった平面を構成する撮影対象ＴＡを特定する。すなわち、端末装置１０は、所定の条件を満たす撮影対象を撮影画像Ｐ２から特定する。

続いて、端末装置１０は、特定した撮影対象ＴＡが構成する平面上に、対象画像群のうちいずれかの対象画像を配置して表示する（ステップＳ３）。例えば、端末装置１０は、第１表示処理と同様に、撮影対象ＴＡが構成する平面上にビルボードＢＢを設定し、設定したビルボードＢＢ上に対象画像ＴＰ１を配置して表示する。なお、端末装置１０は、例えば、カメラキャリブレーションの技術を用いて、撮影画像Ｐ２を撮影した際の端末装置１０と撮影対象ＴＡとの間の位置関係を推定し、推定した位置関係に応じた表示態様で、表示する対象画像の選択を行ってもよく、表示する対象画像の表示サイズ等を適宜変更してもよい。

ここで、端末装置１０は、利用者からの操作を受付ける（ステップＳ４）。このような場合、端末装置１０は、撮影画像Ｐ２の表示態様を変更することなく、撮影画像Ｐ２に重ねて表示された対象画像を、利用者からの操作に応じて異なる視点の対象画像に変更する（ステップＳ５）。例えば、端末装置１０は、対象画像ＴＰ１を、他の視点から撮影対象ＰＴ１を撮影した対象画像ＴＰ２、ＴＰ３、ＴＰ５、ＴＰ６へと順次変更する。例えば、端末装置１０は、対象画像ＴＰ１を対象画像ＴＰ６に切換え、その後、対象画像ＴＰ２に切替えた後、対象画像ＴＰ２を対象画像ＴＰ６に切換える。また、端末装置１０は、対象画像ＴＰ６を対象画像ＴＰ１に切替えた後に、対象画像ＴＰ１を対象画像ＴＰ５に切換え、対象画像ＴＰ５を対象画像ＴＰ３に切替える。このような処理を実行することで、端末装置１０は、撮影対象ＰＴ１が利用者の手の平の上で立体的に回転しているといった態様のＡＲコンテンツを提供することができる。

すなわち、端末装置１０は、所定の対象を異なる視点から撮影した複数の対象画像のうちいずれかの対象画像を静止画像の一部に重ねて表示させ、静止画像に重ねられた対象画像を、視点が異なる他の対象画像に変更する。このような処理を実行することで、端末装置１０は、所定の対象が撮影対象が構成する平面上に配置される態様で、ＡＲコンテンツを撮影画像内に配置して表示させることができる。

〔４−３．撮影対象について〕
上述した例では、端末装置１０は、撮影対象ＴＡとして、平面を構成する対象画像を特定した。しかしながら、実施形態は、これに限定されるものではない。例えば、端末装置１０は、所定の条件を満たす撮影対象として、所定の指標図形が配置された撮影対象、すなわち、マーカＴＭを特定してもよい。例えば、端末装置１０は、第１表示処理と同様に、撮影対象ＴＵがマーカＴＭを保持している場合、マーカＴＭを特定し、特定したマーカＴＭ上で、対象画像を順次切り替えてもよい。また、端末装置１０は、静止画像に撮影された撮影対象のうち、利用者により選択された撮影対象を特定してもよい。

〔４−４．対象画像の切り替えについて〕
ここで、端末装置１０は、任意の条件に応じて、対象画像の切り替えを行ってもよい。例えば、端末装置１０は、利用者からの操作によらず、自動的に、対象画像の切り替えを順次行うことで、静止する利用者の手のひらの上で撮影対象が立体的に回転するといった表示態様を実現してもよい。また、端末装置１０は、利用者の操作に応じて、コンテンツにおける所定の対象に対する視点を変更してもよい。例えば、利用者がタップやスクロール操作を行った場合に、対象画像の切り替えを行ってもよい。例えば、端末装置１０は、画像Ｐ２が配置された各種のコンテンツに対するスクロール操作が行われた場合に、対象画像の切り替えを行ってもよい。

また、端末装置１０は、端末装置１０の物理的な状態に応じて、コンテンツにおける所定の対象に対する視点を変更してもよい。例えば、端末装置１０は、端末装置１０が移動した場合は、コンテンツにおける所定の対象に対する視点を、端末装置１０が移動した方向と対応する方向に変更してもよい。

例えば、端末装置１０は、ジャイロセンサ、傾きセンサ、加速度センサ等の各種のセンサ情報を用いて、端末装置１０の動きを推定する。そして、例えば、端末装置１０は、仮想的な物体を回り込みながら撮影しているような動きが推定された場合は、推定された動きに従って、対象画像の切り替えを行ってもよい。例えば、端末装置１０は、仮想的な物体にカメラを向けながら、仮想的な物体を中心として反時計回りに動いたと推定される場合は、対象画像ＴＰ１を対象画像ＴＰ６や対象画像ＴＰ２に変更してもよい。また、端末装置１０は、端末装置１０の向きや高さが変化したと推定された場合は、推定結果に応じて、表示する対象画像を切替えてもよい。

〔４−５．対象画像について〕
ここで、上述した説明では、端末装置１０は、対象画像群として、視点が異なる静止画像の表示を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、端末装置１０は、視点が異なる複数の動画像を対象画像群として取得している場合、視点が異なる複数の動画像を逐次切替えて表示してもよい。例えば、端末装置１０は、所定の対象を異なる視点から撮影した複数の動画像のうちいずれかの動画像を静止画像の一部に重ねて表示させ、静止画像に重ねられた動画像を、所定のタイミングで、視点が異なる他の動画像に変更すればよい。

なお、第２表示処理においては、端末装置１０は、対象画像に代えて、視点を変更可能な３次元モデルを静止画の一部に重ねて表示させ、３次元モデルに対する視点のみを順次変更してもよい。このような処理においても、端末装置１０は、静止した利用者の手の平野上で、撮影対象が立体的に回転するといった表示態様のＡＲコンテンツを提供可能である。

〔４−６．投稿について〕
なお、第２表示処理によって生成されるＡＲコンテンツ（重畳画像）においては、端末装置１０がカメラを用いて画像を撮影し続ける必要はない。このため、第２表示処理において生成された重畳画像は、ＳＮＳ（Social Networking Service）やマイクロブログ、ニュース等に投稿されてもよい。このように投稿された重畳画像を表示する場合、端末装置１０は、配信されたコンテンツに対するスクロール操作等に応じて、重畳画像に含まれる対象画像を逐次切替えればよい。

また、このような重畳画像は、所謂広告として配信されるものであってもよい。例えば、端末装置１０は、広告を構成する背景画像と対象画像群との配信を受付ける。このような場合、端末装置１０は、背景画像上に対象画像群のいずれかを配置し、利用者からの操作等に応じて、表示する対象画像を切替えればよい。

なお、広告、営利若しくは非営利の広告だけではなく、ボランティアの募集、公共広告、公共に対する通知、重畳画像とともに表示されるコンテンツに関する情報の一部、その他任意のコンテンツであるものとする。すなわち、広告は、いわゆる広告関連の情報を含むコンテンツのみならず、利用者に興味を抱かせ、重畳画像に含まれる情報、または、重畳画像と関連するコンテンツ（例えば、ランディングページ等）に含まれる情報を広く報知するものであれば任意の内容の広告が適用可能である。

〔４−７．背景となる画像について〕
ここで、端末装置１０は、自装置により撮影された撮影画像のみならず、配信された撮影画像に対して対象画像群を重ねて表示してもよい。例えば、端末装置１０は、撮影画像と対象画像群との配信を受付け、配信された撮影画像上で対象画像群を逐次切替えてもよい。

〔４−８．実装について〕
ここで、端末装置１０は、任意の実装手法により上述した第２表示処理を実現してもよい。例えば、端末装置１０は、対象画像のうち第１の対象画像を静止画像に重ねた第１の重畳画像を生成し、生成した第１の重畳画像を表示させ、第１の対象画像とは異なる第２の対象画像を静止画像に重ねた第２の重畳画像を生成し、生成した第２の重畳画像を表示させてもよい。例えば、端末装置１０は、撮影画像と対象画像群とを取得した場合、撮影画像に対して各対象画像を重ねた複数の重畳画像をそれぞれ生成する。そして、端末装置１０は、表示する重畳画像を逐次変更することで、上述した第２表示処理を実現してもよい。

また、端末装置１０は、静止画像を表示させるとともに、静止画像の前面に対象画像のうち第１の対象画像を重ねた状態で表示させ、第１の対象画像を、第１の対象画像とは異なる第２の対象画像に変更させてもよい。例えば、端末装置１０は、静止画像からマーカＴＭや手のひら等の所定の条件を満たす撮影対象を特定する。そして、端末装置１０は、静止画像を表示するとともに、表示した静止画像のうち特定した撮影対象上に、対象画像群のうちいずれかの対象画像を配置して表示する。その後、端末装置１０は、表示する対象画像を逐次切替えることで、上述した第２表示処理を実現してもよい。

ここで、撮影対象があたかもマーカＴＭや利用者の手の上で立体的に回転しているように表示を行うには、背景を除いた状態の対象画像群を表示するのが望ましい。そこで、情報提供装置１００は、各種の画像抽出技術を用いて、撮影対象のみを含み、他の範囲が透過領域となる画像を対象画像群として生成してもよい。また、端末装置１０は、各種の画像抽出技術を用いて、対象画像に含まれる撮影対象を抽出し、抽出した撮影対象以外の範囲を透過状態に変換して、対象画像の表示や重畳画像の生成を行ってもよい。

また、端末装置１０は、クロマキーの技術を用いて背景を除外してもよい。例えば、情報提供装置１００は、緑色等といった所定の色彩を背景とした撮影対象の画像を撮影し、撮影した画像から対象画像群を生成する。このような場合、端末装置１０は、対象画像のうち第１の対象画像を、所定の色彩を透過させた状態で静止画像の前面に重ねた状態で表示する。すなわち、端末装置１０は、対象画像から緑色等といった背景色を特定し、特定した背景色が設定された画素を透過領域に変換し、表示してもよい。

また、端末装置１０は、カメラキャリブレーションの技術に基づいて、所定の対象を異なる視点から撮影した複数の画像から、所定の対象を含む範囲をそれぞれ抽出した抽出画像を生成する。そして、端末装置１０は、抽出画像のうちいずれかの対象画像を静止画像の一部に重ねて表示させ、静止画像に重ねられた抽出画像を、視点が異なる他の抽出画像に変更してもよい。例えば、端末装置１０は、カメラキャリブレーションの技術を用いて、各対象画像から撮影対象が含まれる部分を特定し、特定した部分のみを抽出した抽出画像を静止画像に重ねて表示してもよい。また、端末装置１０は、所定の色彩を背景とした撮影対象の画像から生成された対象画像に対し、カメラキャリブレーションの技術と、クロマキーの技術とを併用することで、より精度よく撮影対象が含まれる範囲を特定し、特定した範囲を抽出画像として表示してもよい。

〔５．実行主体について〕
なお、上記では端末装置１０が第１表示処理や第２表示処理を実行したが、実施形態は、これに限定されるものではない。例えば、上述した第１表示処理や第２表示処理は、情報提供装置１００等、重畳画像を表示する装置以外の装置により実現されてもよい。例えば、情報提供装置１００は、端末装置１０が撮影した動画像を取得し、取得した動画像の各フレームごとに上述した第１表示処理を実行することで重畳画像を生成し、生成した重畳画像を端末装置１０に配信して表示させてもよい。また、情報提供装置１００は、静止画像と対象画像群とを端末装置１０に配信し、上述した第２表示処理を実行させてもよい。

このような場合、情報提供装置１００は、端末装置１０に対して上述した各種の処理を実行させるための制御情報を配信する。このような制御情報は、例えば、背景となる静止画像や動画像、対象画像群と共に配信されるＪａｖａＳｃｒｉｐｔ（登録商標）やＣＳＳ（Cascading Style Sheets）、ＷｅｂＧＬ（Web Graphics Library）、ＨＴＴＰ（Hypertext Transfer Protocol）のｃａｎｖａｓ等により実現されてもよい。

また、上述した制御情報は、各種の投稿情報や広告等を配信する配信サーバにより配信されてもよい。例えば、配信サーバは、背景となる静止画像と対象画像群と共に、上述した第２表示処理を実現するための制御情報を配信する。このような場合、端末装置１０は、制御情報に従って、配信された静止画像に対象画像を配置して表示し、逐次表示する対象画像を変更することで、上述した第２表示処理を実現する。

〔６．機能構成の一例〕
以下、上記した各処理を実行するため、情報提供装置１００および端末装置１０が有する機能構成の一例について説明する。

〔６−１．情報提供装置が有する機能構成の一例〕
まず、図６を用いて、情報提供装置１００が有する機能構成の一例について説明する。図６は、実施形態に係る情報提供装置の構成例を示す図である。図６に示すように、情報提供装置１００は、通信部１２０、記憶部１３０、および制御部１４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１０やカメラＣＭとの間で情報の送受信を行う。

記憶部１３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部１３０は、対象画像群データベース１３１を記憶する。

対象画像群データベース１３１には、各種の対象画像群が登録される。例えば、図７は、実施形態に係る対象画像群データベースの一例を示す図である。図７に示す例では、対象画像群データベース１３１には、「対象画像群ＩＤ（Identifier）」、「対象画像ＩＤ」、「画像データ」、「位置情報」といった情報が登録される。なお、図７に示す情報以外にも、対象画像群データベース１３１には、対象画像群に関する任意の情報が登録されていてよい。

ここで、「対象画像群ＩＤ」とは、対象画像群を識別する識別子である。また、「対象画像ＩＤ」とは、対象画像に含まれる対象画像を識別する識別子である。また、「画像データ」、とは、対象画像のデータである。また、「位置情報」とは、対応付けられた対象画像を撮影した際の、撮影対象とカメラＣＭとの位置関係を示す情報である。

例えば、図７に示す例では、対象画像群データベース１３１には、対象画像群ＩＤ「ＩＤ＃１」、対象画像ＩＤ「ＩＤ＃１−１」、画像データ「画像データ＃１−１」、および位置情報「位置＃１−１」が対応付けて登録されている。このような情報は、対象画像群ＩＤ「ＩＤ＃１」が示す対象画像群に、対象画像ＩＤ「ＩＤ＃１−１」が示す対象画像が含まれており、その対象画像のデータが画像データ「画像データ＃１−１」である旨を示す。また、このような情報は、対象画像ＩＤ「ＩＤ＃１−１」が示す対象画像を撮影した際の撮影対象とカメラＣＭとの位置関係が位置情報「位置＃１−１」が示す位置関係であった旨を示す。なお、図７に示す例では、「画像データ＃１」、「位置＃１−１」といった概念的な値を記載したが、実際には、各種形式の画像データや、位置関係を示す各種数値等が対象画像群データベース１３１に登録されることとなる。

図６に戻り、説明を続ける。制御部１４０は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報提供装置１００内部の記憶装置に記憶されている各種プログラム（通知プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１４０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図６に示すように、制御部１４０は、受付部１４１、解析部１４２、生成部１４３、および提供部１４４を有する。受付部１４１は、カメラＣＭから撮影画像を受付ける。例えば、受付部１４１は、カメラＣＭが撮影位置、すなわち視点を変更しながら撮影した複数の画像を受付ける。

解析部１４２は、受付部１４１が受け付けた撮影画像の解析を行い、撮影対象の３次元情報を生成する。例えば、解析部１４２は、カメラＣＭのレンズ等に基づくパラメータを用いて、カメラキャリブレーションの技術により、撮影画像から撮影対象の３次元情報を生成する。そして、解析部１４２は、各撮影画像の３次元情報の共通性等に基づいて、撮影対象に対するカメラＣＭの位置や、各撮影画像のどの範囲に各撮影対象が含まれているかを解析する。

生成部１４３は、複数の撮影画像の解析結果に基づいて、所定の撮影対象が含まれる対象画像を生成する。例えば、生成部１４３は、各撮影画像に含まれる所定の撮影対象を特定し、特定した撮影対象を注視点とし、視点がそれぞれ異なる対象画像を生成する。例えば、生成部１４３は、表示サイズが同一であり、撮影対象のうち所定の位置を共通する注視点とし、かつ、視点がそれぞれ異なる対象画像を生成する。そして、生成部１４３は、生成した複数の対象画像を対象画像群として対象画像群データベース１３１に登録する。

ここで、生成部１４３は、撮影画像に複数の撮影対象が含まれる場合、撮影対象毎に異なる対象画像群を生成してもよい。例えば、図８は、実施形態に係る情報提供装置が対象画像群ごとに異なる対象画像群を生成する処理の一例を示す図である。例えば、図８に示す例では、カメラＣＭは、隣接する撮影対象ＰＴ１と撮影対象ＰＴ２とを視点を移動させたながら撮影している。このような場合、情報提供装置１００は、撮影対象ＰＴ１と撮影対象ＰＴ２とを含む複数の撮影画像である撮影画像群を取得する。

このような場合、解析部１４２は、カメラキャリブレーションの技術を用いて、撮影画像群のうち、撮影対象ＰＴ１と撮影対象ＰＴ２とがそれぞれ含まれる範囲を推定することができる。そこで、生成部１４３は、解析部１４２の解析結果に基づいて、同一の撮影画像群から、撮影対象ＰＴ１が含まれる第１対象画像群と、撮影対象ＰＴ２が含まれる第２対象画像群とをそれぞれ生成する。

図６に戻り、説明を続ける。提供部１４４は、対象画像群を端末装置１０に対して提供する。例えば、提供部１４４は、端末装置１０からのリクエストに応じて、対象画像群データベース１３１に登録された対象画像群を端末装置１０へと配信する。

〔６−２．端末装置が有する機能構成の一例〕
続いて、図９を用いて、端末装置１０が有する機能構成の一例について説明する。図９は、実施形態に係る端末装置が有する機能構成の一例を説明する図である。図９に示すように、端末装置１０は、通信部２０、記憶部３０、入力部４０、出力部５０、物理センサ６０、カメラ７０、および制御部８０とを有する。

通信部２０は、例えば、ＮＩＣ等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、情報提供装置１００との間で情報の送受信を行う。なお、通信部２０は、各種のコンテンツを配信する配信サーバと通信可能であってもよい。

記憶部３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、対象画像群３１を記憶する。対象画像群３１は、情報提供装置１００により生成された対象画像群であり、端末装置１０のリクエストにより情報提供装置１００から配信された対象画像群のデータである。

入力部４０は、利用者から各種操作を受け付ける入力装置である。例えば、入力部４０は、キーボードやマウスや操作キー等によって実現される。出力部５０は、各種情報を表示するための表示装置であり、すなわち、画面である。例えば、出力部５０は、液晶ディスプレイ等によって実現される。なお、端末装置１０にタッチパネルが採用される場合には、入力部４０と出力部５０とは一体化される。また、以下の説明では、出力部５０を画面と記載する場合がある。

物理センサ６０は、端末装置１０の物理的な状態を検知するセンサである。例えば、物理センサ６０は、端末装置１０の３軸方向の傾きを測定するジャイロセンサである。なお、物理センサ６０は、ジャイロセンサに限定されるものではなく、例えば、加速度センサ、温度センサ、音量センサ、明度センサ等、任意のセンサが適用可能である。

カメラ７０は、画像（動画或いは静止画）を撮像するための撮像装置である。カメラ７０は、例えば、ＣＣＤ（Charged-coupled devices）センサやＣＭＯＳ（Complementary metal-oxide-semiconductor）センサ等の撮像素子により構成される。なお、カメラ７０は、端末装置１０の背面側（画面が設置された面の反対側の面）に設置されるメインカメラと、端末装置１０の背面側（画面が設置された面）に設置されるサブカメラとにより構成されていてもよい。

制御部８０は、例えば、コントローラであり、ＣＰＵやＭＰＵ等によって、端末装置１０内部の記憶装置に記憶されている各種プログラム（表示プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部８０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図９に示す例では、制御部８０は、第１アプリケーション８１や第２アプリケーション８２を実行することで、上述した第１表示処理や第２表示処理を実現するための機能構成を有することとなる。なお、制御部８０は、例えば、端末装置１０のＯＳ（Operating System）となるアプリケーションや、各種操作の受付を実現するためのアプリケーション等、任意のアプリケーションを他にも実行していてよい。

〔６−３．第１アプリケーションが実現する機能構成の一例〕
第１アプリケーション８１は、上述した第１表示処理を端末装置１０に実行させる。例えば、図１０は、実施形態に係る第１アプリケーションが実現する機能構成の一例を示す図である。図１０に示すように、第１アプリケーション８１は、第１撮影部８１１、第１推定部８１２、および第１表示部８１３を実現する。

第１撮影部８１１は、第１表示処理において対象画像を重畳する画像を撮影させる。例えば、第１撮影部８１１は、カメラ７０を制御し、対象画像を重畳する動画像を撮影させる。そして、第１撮影部８１１は、撮影された動画像のデータから描画される各フレームの画像を第１推定部８１２へと逐次提供する。

第１推定部８１２は、撮影画像に撮影された撮影対象と、撮影画像を撮影した撮影装置との位置関係を推定する。例えば、第１推定部８１２は、撮影画像に撮影された複数の撮影対象のうち、所定の条件を満たす撮影対象と撮影装置との位置関係を推定する。より具体的には、第１推定部８１２は、所定の条件を満たす撮影対象として、所定の指標図形が配置された撮影対象、すなわちマーカＴＭを特定し、特定した撮影対象と撮影装置との位置関係を推定する。例えば、第１推定部８１２は、マーカＴＭに配置された指標図形の大きさや変形具合等に応じて、端末装置１０とマーカＴＭとの間の位置関係を推定する。

ここで、第１推定部８１２は、マーカＴＭを基準とした端末装置１０の各軸方向の位置やマーカＴＭと端末装置１０との間の距離等を位置関係として推定する。例えば、第１推定部８１２は、位置関係として、マーカＴＭが構成する平面に対して水平な平面上の角度（すなわち、ｚ軸回りの角度）を推定する。また、第１推定部８１２は、位置関係として、撮影装置と注視点とを結ぶ軸と軸との間の角度（すなわち、ｚｙ平面上の角度）を推定する。また、第１推定部８１２は、位置関係として、撮影装置と注視点とを結ぶ軸を中心とした角度（すなわち、視線軸回りの角度）を推定する。また、第１推定部８１２は、位置関係として、撮影対象と撮影装置との間の距離を推定する。

なお、第１推定部８１２は、マーカＴＭ以外にも、所定の条件を満たす撮影対象を特定し、特定した撮影対象と端末装置１０との間の位置関係を推定してもよい。例えば、第１推定部８１２は、カメラキャリブレーションの技術を用いて、撮影対象を特定し、特定した撮影対象のうち利用者により選択された撮影対象と端末装置１０との間の位置関係を推定してもよい。また、第１推定部８１２は、平面を構成する撮影対象を特定し、特定した撮影対象と端末装置１０との間の位置関係を推定してもよい。この際、第１推定部８１２は、撮影対象が構成する平面に対して垂直な軸をｚ軸とし、ｚ軸回りの角度を推定してもよい。また、第１推定部８１２は、カメラキャリブレーションの技術を用いて、撮影対象と端末装置１０との間の位置関係を推定してもよい。

第１表示部８１３は、所定の対象を異なる視点から撮影した複数の対象画像のうち、推定された位置関係と対応する視点から撮影された対象画像を、撮影画像内に配置して表示させる。例えば、第１表示部８１３は、撮影画像に撮影された撮影対象のうち、マーカＴＭが配置された領域を特定する。そして、第１表示部８１３は、対象画像群３１のうち、第１推定部８１２により推定された位置関係と対応する対象画像を選択し、選択した対象画像をマーカＴＭ上に配置した重畳画像を生成する。そして、第１表示部８１３は、生成した重畳画像を画面上に表示させる。

すなわち、第１表示部８１３は、推定された位置関係と対応する視点から撮影された対象画像を、撮影画像のうち所定の条件を満たす撮影対象と対応する位置に配置して表示させることとなる。例えば、第１表示部８１３は、所定の条件を満たす撮影対象の表面上に、所定の対象が配置されている態様で、所定の対象が撮影された対象画像を撮影画像内に配置して表示させる。より具体的には、第１表示部８１３は、撮影画像における撮影対象が構成する平面上に、対象画像の撮影対象が配置される態様で、対象画像を撮影画像内に配置して表示させる。

なお、第１表示部８１３は、推定された位置関係と対応する視点から撮影された対象画像を、位置関係と対応する表示態様で、撮影画像内に配置して表示させてもよい。例えば、第１表示部８１３は、マーカＴＭと端末装置１０との間の距離に応じて、対象画像を表示する表示サイズを変更してもよい。なお、第１表示部８１３は、撮影画像のうち、マーカＴＭと対応する位置に撮影装置と対向する向きの仮想的な平面を設定し、設定した平面上に対象画像を配置して表示させてもよい。

また、第１表示部８１３は、カメラ７０が撮影した動画像の各画像ごとに、第１推定部８１２により推定された位置関係と対応する対象画像を重畳して表示させることで、対象画像が重畳された動画像を表示させることとなる。また、第１表示部８１３は、対象画像群が動画像により構成される場合、動画像のうち推定された位置関係と対応する視点から撮影された対象画像を配置した画像を表示させてもよい。

〔６−４．第２アプリケーションが実現する機能構成の一例〕
第２アプリケーション８２は、上述した第２表示処理を端末装置１０に実行させる。例えば、図１１は、実施形態に係る第２アプリケーションが実現する機能構成の一例を示す図である。図１１に示すように、第２アプリケーション８２は、第２撮影部８２１、特定部８２２、第２表示部８２３、および表示制御部８２４を実現する。

第２撮影部８２１は、第２表示処理において対象画像を重畳する画像を撮影させる。例えば、第２撮影部８２１は、カメラ７０を制御し、対象画像を重畳する静止画像を撮影させる。

特定部８２２は、第２撮影部８２１によって撮影された静止画像に撮影された撮影対象のうち、所定の条件を満たす撮影対象を特定する。例えば、特定部８２２は、画像解析の技術を用いて、所定の指標図形が配置されたマーカＴＭを特定する。また、例えば、特定部８２２は、カメラキャリブレーションの技術を用いて、静止画像に撮影された撮影対象の３次元的な位置の解析を行い、平面を構成する撮影対象を特定してもよい。また、例えば、特定部８２２は、特定した撮影対象を利用者に提示し、提示された撮影対象のうち利用者が選択した撮影対象を特定してもよい。

第２表示部８２３は、静止画像の一部に、所定の対象を複数の視点から表示可能なコンテンツを重ねて表示させる。例えば、第２表示部８２３は、第２撮影部８２１が撮影した静止画像のうち、特定部８２２により特定された撮影対象が撮影されている位置に、所定の対象を複数の視点から表示可能なコンテンツを重ねて、画面上に表示させる。より具体的な例を挙げると、第２表示部８２３は、所定の対象を異なる視点から撮影した複数の対象画像、すなわち、対象画像群のうちいずれかの対象画像を静止画像の一部に重ねて表示させる。なお、第２表示部８２３は、対象画像群ではなく、視点を変更可能な３次元モデルを静止画像の一部に重ねて表示させてもよい。また、第２表示部８２３は、対象画像群として、それぞれ視点が異なる複数の動画像を取得していた場合、所定の対象を異なる視点から撮影した複数の動画像のうちいずれかの動画像を静止画像の一部に重ねて表示させてもよい。

なお、第２表示部８２３は、第１推定部８１２や第１表示部８１３と同様の処理を実行することにより、端末装置１０と撮影対象との間の位置関係を推定し、対象画像群のうち、推定した位置関係と対応する視点から撮影された対象画像を静止画像の一部に重ねて表示してもよい。また、第２表示部８２３は、所定の対象が撮影対象が構成する平面上に配置される態様で、対象画像を撮影画像内に配置して表示させてもよい。

表示制御部８２４は、所定の条件が満たされた場合は、コンテンツにおける所定の対象に対する視点を変更する。例えば、表示制御部８２４は、コンテンツとして対象画像群のうちいずれかの対象画像が静止画像と重ねて表示されている場合、表示されている対象画像を視点が異なる他の対象画像に変更する。例えば、表示制御部８２４は、対象画像群の中から表示されている対象画像の視点と隣接する視点から撮影された対象画像を選択し、表示されてる対象画像を選択した対象画像に変更する。なお、表示制御部８２４は、動画王が静止画像と重ねて表示されている場合、表示されている動画像を、視点が異なる他の動画像に変更してもよい。また、表示制御部８２４は、３次元モデルが静止画像と重ねて表示されている場合、３次元モデルに対する視点を変更してもよい。

ここで、表示制御部８２４は、任意のタイミングで、コンテンツにおける視点を変更してもよい。例えば、表示制御部８２４は、利用者のスクロール操作やタップ操作に応じて、コンテンツにおける視点を変更させてもよい。また、表示制御部８２４は、静止画像とコンテンツとが表示された場合は、自動的に視点を変更させてもよい。

また、表示制御部８２４は、端末装置１０の物理的な状態に応じて、コンテンツにおける所定の対象に対する視点を変更してもよい。例えば、表示制御部８２４は、物理センサ６０が検出した端末装置１０の傾きや動き等に応じて、コンテンツにおける視点を変更してもよい。例えば、表示制御部８２４は、端末装置１０が移動した場合は、コンテンツにおける所定の対象に対する視点を、端末装置１０が移動した方向と対応する方向に変更してもよい。

なお、第２表示部８２３および表示制御部８２４は、任意の態様で、上述した第２表示処理による画面表示を実現してよい。例えば、第２表示部８２３は、静止画像に各対象画像を重畳した重畳画像を対象画像ごとに生成し、生成した重畳画像のいずれかを表示させる。そして、表示制御部８２４は、利用者の操作や端末装置１０の物理的な状態に応じて、生成された重畳画像を他の重畳画像に変更することで、表示される対象画像の切り替えを行ってもよい。

また、第２表示部８２３は、静止画像を画面上に表示させるとともに、静止画像の前面に対象画像のうちいずれかの対象画像を重ねた状態で表示させる。そして、表示制御部８２４は、静止画像を表示させたまま、静止画像と重ねて表示された対象画像を、異なる対象画像に変更することで、表示させる対象画像の切り替えを行ってもよい。

また、クロマキーの技術を用いる場合、第２表示部８２３は、静止画像を表示させるとともに、対象画像のうちいずれかの対象画像を、所定の色彩を透過させた状態で静止画像の前面に重ねた状態で表示させる。そして、表示制御部８２４は、表示されている第１の対象画像を、異なる第２対象画像に変更させるとともに、第２の対象画像のうち所定の色彩を透過させた状態で表示させてもよい。

また、第２表示部８２３は、カメラキャリブレーションの技術に基づいて、所定の対象を異なる視点から撮影した複数の画像から、所定の対象が撮影された範囲を抽出した抽出画像を生成する。そして、第２表示部８２３は、抽出画像のうちいずれかの抽出画像を静止画像の一部に重ねて表示させる。その後、表示制御部８２４は、表示された抽出画像を他の抽出画像に変更すればよい。

〔７．処理手順〕
次に、図１２を用いて、実施形態に係る第１表示処理の手順の一例について説明する。図１２は、実施形態に係る第１表示処理の流れの一例を示すフローチャートである。例えば、端末装置１０は、撮影画像から所定の条件を満たす撮影対象を特定する（ステップＳ１０１）。そして、端末装置１０は、所定の条件を満たす撮影対象と撮影装置との位置関係を推定する（ステップＳ１０２）。

続いて、端末装置１０は、対象画像から、推定された位置関係と対応する視点の対象画像を選択し（ステップＳ１０３）、選択した対象画像を撮影対象と重ねて表示する（ステップＳ１０４）。その後、端末装置１０は、新たな撮影画像を受付けたか否かを判定し（ステップＳ１０５）、受付けた場合は（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０１を実行する。一方、端末装置１０は、新たな撮影画像を受付けていない場合は（ステップＳ１０５：Ｎｏ）、処理を終了する。

次に、図１３を用いて、実施形態に係る第２表示処理の手順の一例について説明する。図１３は、実施形態に係る第２表示処理の流れの一例を示すフローチャートである。例えば、端末装置１０は、撮影画像から所定の条件を満たす撮影対象を特定する（ステップＳ２０１）。そして、端末装置１０は、特定した撮影対象に対象画像群のいずれかの画像を重ねて表示する（ステップＳ２０２）。

ここで、端末装置１０は、操作を受付けたか否かを判定し（ステップＳ２０３）、操作を受付けていない場合は（ステップＳ２０３：Ｎｏ）、ステップＳ２０２を実行する。一方、端末装置１０は、操作を受付けた場合は（ステップＳ２０３：Ｙｅｓ）、操作に応じて対象画像を視点が異なる対象画像に変更し（ステップＳ２０４）、処理を終了する。

〔８．変形例〕
上述した第１表示処理や第２表示処理は、上記実施形態以外にも種々の異なる形態にて実施されてもよい。そこで、以下では、第１表示処理や第２表示処理の他の実施形態について説明する。

〔８−１．対象画像や静止画像の配信について〕
第２表示処理の説明では、端末装置１０が撮影した動画像や静止画像に対象画像や３Ｄモデルを配置して表示する処理の一例について記載した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１００は、広告等を構成する任意の静止画像と対象画像群とを端末装置１０に配信し、静止画像上に対象画像群のいずれかを配置して表示させてもよい。また、このような配信は、ホームページや広告等、各種のコンテンツを配信する配信装置により実現されてもよい。

また、情報提供装置１００は、配信対象となる対象画像群の指定を受付けてもよい。例えば、情報提供装置１００は、端末装置１０により撮影された動画像の解析により、それぞれ異なる撮影対象を注視点とする複数の対象画像群を生成する。そして、情報提供装置１００は、各対象画像群のサムネイルを端末装置１０を介して利用者に提示する。その後、情報提供装置１００は、利用者が選択したサムネイルと対応する対象画像群を配信対象としてもよい。

なお、端末装置１０は、第１表示処理によって表示された重畳画像からなるＡＲコンテンツをＳＮＳ等に投稿可能としてもよい。このような場合、ＳＮＳ等にアクセスしたＰＣやスマートデバイス等の情報表示装置は、重畳画像を逐次表示することで、第１表示処理において表示された各重畳画像を動画像として表示することとなる。また、端末装置１０は、第２表示処理によって表示される重畳画像、若しくは、静止画像と対象画像群と制御情報とからなるＡＲコンテンツをＳＮＳ等に投稿可能としてもよい。このような場合、情報表示装置は、制御情報に従って、静止画像上に対象画像群のうちいずれかたの対象画像を重ねて表示し、その後、対象画像を順次切り替えることで、ＡＲコンテンツの表示を実現することとなる。

〔８−２．対象画像群の生成について〕
上述した説明では、情報提供装置１００は、あるカメラＣＭが撮影した複数の撮影画像群から対象画像群を生成した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１００は、それぞれ異なる複数のカメラＣＭ（例えば、それぞれ異なるスマートフォンが有するカメラ）により撮影された複数の撮影画像群から、各カメラに対応するパラメータを用いて、カメラキャリブレーションの技術により、対象画像群の生成を行ってもよい。このような処理により、情報提供装置１００は、例えば、それぞれ異なる利用者が撮影したアイドルの撮影画像群から、対象画像群を生成することができる。なお、情報提供装置１００は、それぞれ撮影された日時が異なる複数の撮影画像群から、対象画像群の生成を行ってもよい。また、情報提供装置１００は、このような対象画像群の生成において、各種の色彩補正や表示サイズの補正、撮影対象の像の補間等を実行してもよい。

〔８−３．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔８−４．プログラム〕
また、上述した実施形態に係る端末装置１０や情報提供装置１００は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。図１４は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が端末装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部８０の機能を実現する。

〔９．効果〕
上述してきたように、端末装置１０は、撮影画像に撮影された撮影対象と、その撮影画像を撮影した撮影装置との位置関係を推定する。そして、端末装置１０は、所定の対象を異なる視点から撮影した複数の対象画像のうち、推定された位置関係と対応する視点から撮影された対象画像を、撮影画像内に配置して表示させる。このような処理の結果、端末装置１０は、撮影位置に応じた視点から撮影された所定の対象を撮影画像と重ねて表示することができるので、３Ｄモデルを用いずとも、ＡＲコンテンツの表示を実現できる。この結果、端末装置１０は、処理負荷を軽減する結果、ＡＲのコンテンツを容易に提供することができる。

また、端末装置１０は、撮影画像に撮影された複数の撮影対象のうち、所定の条件を満たす撮影対象と撮影装置との位置関係を推定し、推定された位置関係と対応する視点から撮影された対象画像を、撮影画像のうち所定の条件を満たす撮影対象と対応する位置に配置して表示させる。例えば、端末装置１０は、所定の条件を満たす撮影対象として、所定の指標図形が配置された撮影対象を特定し、特定した撮影対象と撮影装置との位置関係を推定する。このような処理の結果、例えば、端末装置１０は、マーカＴＭ上に所定の対象が乗っているといった態様のＡＲコンテンツの表示を実現できる。

なお、端末装置１０は、複数の撮影対象のうち、利用者により選択された撮影対象と撮影装置との位置関係を推定してもよい。また、端末装置１０は、所定の条件を満たす撮影対象として、平面を構成する撮影対象を特定し、特定した撮影対象と撮影装置との位置関係を推定してもよい。そして、端末装置１０は、所定の対象が撮影対象が構成する平面上に配置される態様で、対象画像を撮影画像内に配置して表示させる。すなわち、端末装置１０は、所定の条件を満たす撮影対象の表面上に、所定の対象が配置されている態様で、その所定の対象が撮影された対象画像を撮影画像内に配置して表示させる。このような処理の結果、端末装置１０は、撮影対象上に所定の対象があたかも乗っているといった態様のＡＲコンテンツを表示できる。

また、端末装置１０は、撮影対象を貫く軸を設定し、設定した軸と撮影装置との位置関係を推定する。また、端末装置１０は、撮影対象が有する平面に対して垂直な軸を設定し、設定した軸と撮影装置との位置関係を推定する。また、端末装置１０は、位置関係として、軸に対して水平な平面上の角度を推定する。また、端末装置１０は、位置関係として、撮影装置と注視点とを結ぶ軸と軸との間の角度を推定する。また、端末装置１０は、位置関係として、撮影装置と注視点とを結ぶ軸を中心とした角度を推定する。また、端末装置１０は、位置関係として、撮影対象と撮影装置との間の距離を推定する。そして、端末装置１０は、推定された位置関係と対応する視点から撮影された対象画像を、その位置関係と対応する表示態様で、撮影画像内に配置して表示させる。このような処理の結果、端末装置１０は、撮影対象と撮影装置との間の位置関係を、表示する対象画像における視点と撮影対象との位置関係に反映させることができるので、より適切なＡＲコンテンツを表示させることができる。

また、端末装置１０は、カメラキャリブレーションの技術を用いて、撮影画像に撮影された撮影対象と、撮影装置との３次元的な位置関係を推定する。このため、端末装置１０は、より適切に位置関係の推定を実現できる。

また、端末装置１０は、撮影画像のうち、撮影対象と対応する位置に撮影装置と対向する向きの仮想的な平面を設定し、設定した平面上に対象画像を配置して表示させる。このため、端末装置１０は、対象画像を用いたＡＲコンテンツを実現することができる。

また、端末装置１０は、撮影された動画像に含まれる撮影画像ごとに、位置関係を推定し、動画像に含まれる撮影画像ごとに、推定された位置関係と対応する視点から撮影された対象画像を配置した動画像を表示させる。このため、端末装置１０は、例えば、端末装置１０の移動（すなわち、視点の移動）に応じて、対応する対象画像を表示させ続けることができるので、ＡＲコンテンツを適切に表示させることができる。

また、端末装置１０は、所定の対象を異なる視点から撮影した複数の動画像のうち、推定された位置関係と対応する視点から撮影された動画像を、撮影画像内に配置して表示させる。このような場合、端末装置１０は、撮影された撮影対象上で、所定の対象があたかも動いているといった態様のＡＲコンテンツを表示させることができる。

また、端末装置１０は、静止画像の一部に、所定の対象を複数の視点から表示可能なコンテンツを重ねて表示させ、所定の条件が満たされた場合は、コンテンツにおける所定の対象に対する視点を変更する。このような処理の結果、端末装置１０は、ＡＲコンテンツを容易に表示させることができる。

また、端末装置１０は、静止画像に撮影された撮影対象のうち、所定の条件を満たす撮影対象を特定し、特定された撮影対象とコンテンツとを重ねて表示させる。例えば、端末装置１０は、所定の条件を満たす撮影対象として、所定の指標図形が配置された撮影対象を特定する。また、例えば、端末装置１０は、静止画像に撮影された撮影対象のうち、利用者により選択された撮影対象を特定する。また、例えば、端末装置１０は、所定の条件を満たす撮影対象として、平面を構成する撮影対象を特定する。そして、端末装置１０は、所定の対象が撮影対象が構成する平面上に配置される態様で、コンテンツを撮影画像内に配置して表示させる。このような処理の結果、端末装置１０は、撮影対象のうち一部の撮影対象に対する視点が動くといった態様のＡＲコンテンツを提供することができる。

また、端末装置１０は、コンテンツとして、所定の対象を異なる視点から撮影した複数の対象画像のうちいずれかの対象画像を静止画像の一部に重ねて表示させ、静止画像に重ねられた対象画像を、視点が異なる他の対象画像に変更する。このような処理の結果、端末装置１０は、処理負荷をさらに軽減することができる。

また、端末装置１０は、対象画像のうち第１の対象画像を静止画像に重ねた第１の重畳画像を生成し、生成した第１の重畳画像を表示させ、第１の対象画像とは異なる第２の対象画像を静止画像に重ねた第２の重畳画像を生成し、生成した第２の重畳画像を表示させる。また、端末装置１０は、静止画像を表示させるとともに、その静止画像の前面に対象画像のうち第１の対象画像を重ねた状態で表示させ、第１の対象画像を、その第１の対象画像とは異なる第２の対象画像に変更させる。また、端末装置１０は、静止画像を表示させるとともに、対象画像のうち第１の対象画像を、所定の色彩を透過させた状態で静止画像の前面に重ねた状態で表示させ、第１の対象画像を、その第１の対象画像とは異なる第２の対象画像に変更させるとともに、その第２の対象画像のうち所定の色彩を透過させた状態で表示させる。また、端末装置１０は、カメラキャリブレーションの技術に基づいて、所定の対象を異なる視点から撮影した複数の画像から、その所定の対象が撮影された範囲をそれぞれ抽出した複数の抽出画像を生成し、生成された複数の抽出画像のうちいずれかの抽出画像を静止画像の一部に重ねて表示させ、静止画像に重ねられた抽出画像を、視点が異なる他の抽出画像に変更する。これらの処理の結果、端末装置１０は、静止画像上で所定の対象が立体的に動いているといった態様のＡＲコンテンツを実現できる。

また、端末装置１０は、コンテンツとして、所定の対象を異なる視点から撮影した複数の動画像のうちいずれかの動画像を静止画像の一部に重ねて表示させ、静止画像に重ねられた動画像を、視点が異なる他の動画像に変更する。また、端末装置１０は、コンテンツとして、視点を変更可能な３次元モデルを静止画像の一部に重ねて表示させ、３次元モデルに対する視点を変更してもよい。このような処理の結果、端末装置１０は、撮影対象のうち一部の撮影対象に対する視点が動くといった態様のＡＲコンテンツを提供することができる。

また、端末装置１０は、静止画像とコンテンツとを重ねて表示する端末装置の物理的な状態に応じて、コンテンツにおける所定の対象に対する視点を変更する。また、端末装置１０は、端末装置が移動した場合は、コンテンツにおける所定の対象に対する視点を、その端末装置が移動した方向と対応する方向に変更する。また、端末装置１０は、利用者の操作に応じて、コンテンツにおける所定の対象に対する視点を変更する。このような処理の結果、端末装置１０は、利用者の操作や端末装置１０の位置等といった様々な条件に応じて表示態様を変化させるＡＲコンテンツを実現できる。

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１０ 端末装置
２０、１２０ 通信部
３０、１３０ 記憶部
３１ 対象画像群
４０ 入力部
５０ 出力部
６０ 物理センサ
７０ カメラ
８０、１４０ 制御部
８１ 第１アプリケーション
８２ 第２アプリケーション
１００ 情報提供装置
１３１ 対象画像群データベース
１４１ 受付部
１４２ 解析部
１４３ 生成部
１４４ 提供部
８２１ 第２撮影部
８２２ 特定部
８２３ 第２表示部
８２４ 表示制御部
８１１ 第１撮影部
８１２ 第１推定部
８１３ 第１表示部
ＣＭ カメラ

Claims (18)

1. 静止画像の一部に、所定の対象を複数の視点から表示可能なコンテンツを重ねて表示させる表示手順と、
   所定の条件が満たされた場合は、前記コンテンツにおける前記所定の対象に対する視点を変更する表示制御手順と
   をコンピュータに実行させるための表示プログラム。
2. 前記静止画像に撮影された撮影対象のうち、所定の条件を満たす撮影対象を特定する特定手順
   を前記コンピュータに実行させ、
   前記表示手順は、前記特定手順により特定された撮影対象と前記コンテンツとを重ねて表示させる
   ことを特徴とする請求項１に記載の表示プログラム。
3. 前記特定手順は、前記所定の条件を満たす撮影対象として、所定の指標図形が配置された撮影対象を特定する
   ことを特徴とする請求項２に記載の表示プログラム。
4. 前記特定手順は、前記静止画像に撮影された撮影対象のうち、利用者により選択された撮影対象を特定する
   ことを特徴とする請求項２に記載の表示プログラム。
5. 前記特定手順は、前記所定の条件を満たす撮影対象として、平面を構成する撮影対象を特定する
   ことを特徴とする請求項２〜４のうちいずれか１つに記載の表示プログラム。
6. 前記表示手順は、前記所定の対象が前記撮影対象が構成する平面上に配置される態様で、前記コンテンツを前記撮影画像内に配置して表示させる
   ことを特徴とする請求項２〜５のうちいずれか１つに記載の表示プログラム。
7. 前記表示手順は、前記コンテンツとして、前記所定の対象を異なる視点から撮影した複数の対象画像のうちいずれかの対象画像を前記静止画像の一部に重ねて表示させ、
   前記表示制御手順は、前記静止画像に重ねられた対象画像を、視点が異なる他の対象画像に変更する
   ことを特徴とする請求項１〜６のうちいずれか１つに記載の表示プログラム。
8. 前記表示手順は、前記対象画像のうち第１の対象画像を前記静止画像に重ねた第１の重畳画像を生成し、生成した第１の重畳画像を表示させ、
   前記表示制御手順は、前記第１の対象画像とは異なる第２の対象画像を前記静止画像に重ねた第２の重畳画像を生成し、生成した第２の重畳画像を表示させる
   ことを特徴とする請求項７に記載の表示プログラム。
9. 前記表示手順は、前記静止画像を表示させるとともに、当該静止画像の前面に前記対象画像のうち第１の対象画像を重ねた状態で表示させ、
   前記表示制御手順は、前記第１の対象画像を、当該第１の対象画像とは異なる第２の対象画像に変更させる
   ことを特徴とする請求項７に記載の表示プログラム。
10. 前記表示手順は、前記静止画像を表示させるとともに、前記対象画像のうち第１の対象画像を、所定の色彩を透過させた状態で前記静止画像の前面に重ねた状態で表示させ、
    前記表示制御手順は、前記第１の対象画像を、当該第１の対象画像とは異なる第２の対象画像に変更させるとともに、当該第２の対象画像のうち所定の色彩を透過させた状態で表示させる
    ことを特徴とする請求項７に記載の表示プログラム。
11. 前記表示手順は、カメラキャリブレーションの技術に基づいて、前記所定の対象を異なる視点から撮影した複数の画像から、当該所定の対象が撮影された範囲をそれぞれ抽出した複数の抽出画像を生成し、生成された複数の抽出画像のうちいずれかの抽出画像を前記静止画像の一部に重ねて表示させ、
    前記表示制御手順は、前記静止画像に重ねられた抽出画像を、視点が異なる他の抽出画像に変更する
    ことを特徴とする請求項７〜１０のうちいずれか１つに記載の表示プログラム。
12. 前記表示手順は、前記コンテンツとして、前記所定の対象を異なる視点から撮影した複数の動画像のうちいずれかの動画像を前記静止画像の一部に重ねて表示させ、
    前記表示制御手順は、前記静止画像に重ねられた動画像を、視点が異なる他の動画像に変更する
    ことを特徴とする請求項１〜１１のうちいずれか１つに記載の表示プログラム。
13. 前記表示手順は、前記コンテンツとして、視点を変更可能な３次元モデルを前記静止画像の一部に重ねて表示させ、
    前記表示制御手順は、前記３次元モデルに対する視点を変更する
    ことを特徴とする請求項１〜６のうちいずれか１つに記載の表示プログラム。
14. 前記表示制御手順は、前記静止画像と前記コンテンツとを重ねて表示する端末装置の物理的な状態に応じて、前記コンテンツにおける前記所定の対象に対する視点を変更する
    ことを特徴とする請求項１〜１３のうちいずれか１つに記載の表示プログラム。
15. 前記表示制御手順は、前記端末装置が移動した場合は、前記コンテンツにおける前記所定の対象に対する視点を、当該端末装置が移動した方向と対応する方向に変更する
    ことを特徴とする請求項１４に記載の表示プログラム。
16. 前記表示制御手順は、利用者の操作に応じて、前記コンテンツにおける前記所定の対象に対する視点を変更する
    ことを特徴とする請求項１〜１５のうちいずれか１つに記載の表示プログラム。
17. 静止画像の一部に、所定の対象を複数の視点から表示可能なコンテンツを重ねて表示させる表示部と、
    所定の条件が満たされた場合は、前記コンテンツにおける前記所定の対象に対する視点を変更する表示制御部と
    を有することを特徴とする表示装置。
18. 表示装置が実行する表示方法であって、
    静止画像の一部に、所定の対象を複数の視点から表示可能なコンテンツを重ねて表示させる表示工程と、
    所定の条件が満たされた場合は、前記コンテンツにおける前記所定の対象に対する視点を変更する表示制御工程と
    を含むことを特徴とする表示方法。

Images