JP2013196616A - 情報端末装置、情報処理方法 - Google Patents

Abstract

【課題】リアル（実写画像）とバーチャル（合成用ＣＧ）とのマッチングの際に一致度を評価するためのデータベース側画像特徴などを得るためのＣＧ（評価用ＣＧ）における光源等の影響を考慮することによって実際に撮影された画像から得られる画像特徴との一致度を改善するためのＡＲ情報処理技術を提供するとともに利用者にとって操作性を損なわず、違和感のない映像の提供を端末に行う。
【解決手段】撮像された画像もしくは画像から生成される画像特徴と緯度経度を含む位置情報と日付時刻情報とを含むAR情報要求に基づいて、ＡＲ情報を取得する情報端末装置であって、前記位置情報と前記日付情報と配信装置から取得した天候情報と評価用ＣＧモデルデータと合成用ＣＧモデルデータに基づいて、表示部に表示するＣＧを描画し画像を作成するＣＧ描画処理部と、描画したＣＧとＡＲ情報とを合成して表示するＡＲ画像表示制御部と、を有することを特徴とする情報端末装置。
【選択図】図５Ａ

Description

本発明は、情報処理技術に関し、より詳細には、拡張現実（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ： 以下ＡＲと称する。）に関連する情報処理技術に関する。

ＡＲとは、例えば、街の景色や陳列された商品など、実際に目にしているリアルな世界にバーチャルな情報を重ねて現実の「知覚体験」を拡張する手法である。

最近のスマートフォンやタブレットＰＣなどの携帯端末の利用の拡がりに伴って、現実の世界にバーチャルな情報を重畳して、現実の知覚体験を拡張するＡＲが、より身近なものとなってきている。

例えば、実空間をＡＲ端末で撮影した画像上にコンピュータグラフィック（ＣＧ）描画された画像としてのＡＲ情報を表示し操作することで、ナビゲーションなどのサービスを提供することが提案されている。

下記特許文献１は、撮像された画像から生成されたＣＧによる特徴データベース（ＤＢ）とＡＲ端末撮像画像等の情報から得られるＣＧによる特徴との一致を評価し、ＡＲ情報を提供する技術が提案されている。

また、下記特許文献２は、３次元地図を利用した場合を含め、撮影画像により時間帯や天候（気象）、季節に応じた画像特徴を収集し、地図データベースを分類、更新、構築するとともに、撮像画像等をＤＢに蓄え、利用者ＡＲ端末から取得した撮像画像の画像特徴との一致を評価することでＡＲ情報を提供する技術が提案されている。

また、下記特許文献３には、光源方向を推定することで、ＡＲにおいて合成される仮想物体としてのＡＲ情報であるＣＧオブジェクト画像に関し、ＣＧオブジェクト画像の表示品質を改善する技術が提案されている。

また、非特許文献１としてはＡＲ情報であるＣＧオブジェクト画像の光源推定と陰影の表現についての技術が論述されている。

特開平１１−６６３５０ 特開２００２−２７５２９号公報 特開２００８−１６９１８号公報

「画像の認識・理解シンポジウム」ＭＩＲＵ２００４年７月，現実環境の照明条件と奥行きの実時間推定による仮想物体の陰影表現が可能な拡張現実感，神原 他

特許文献１に記載の技術や特許文献２に記載の技術は、光源の影響を考慮していないばかりでなく、刻々と変わる天候や時間による光源の変化にともなう画像等をすべてＤＢに納めなければならないという課題がある。また、一般的に、３次元地図は、外観形状のみの情報であるため、撮影画像と色が異なるという問題がある。これを改善するために、モデルデータにテクスチャを貼るという方法もあるが、テクスチャ画像が昼間に撮影された画像を基準にしたものであることが多く、光源の影響を考慮しないと、影の方向や照明の具合などが実際のＡＲ端末から送られる撮像画像とは一致せず、ＡＲの位置特定の際に不具合が生じるという課題があった。また、操作においては通信遅延や周辺画像特徴などの認識誤差により操作性が少なからず損なわれるという課題があった。

また、特許文献３や非特許文献１に記載の技術では、ＡＲにおいて合成されるＣＧの光源の影響を推定するものの、リアル（実写画像）にバーチャル（合成用ＣＧ）を重ねる際の画像表現において合成される側のＡＲ情報としてのバーチャルなＣＧの光源を考慮するものである。すなわち、これらの発明は、推定した光源に基づいて合成表示用のＡＲ情報としてのＣＧを作成する方法についての発明である。

一方、ＡＲ技術においては、現在の端末の撮像画像（実写画像）とバーチャルなＡＲ情報（合成用ＣＧなど）を合成する位置を特定するためのマッチング（一致度、類似度、距離計算）の際に、現在のＡＲ端末の撮像画像とＤＢから取得したデータに基づいて生成される評価用ＣＧ画像やＤＢから取得される撮像画像との一致度を評価するためにＤＢから取得したデータに基づいて生成もしくはＤＢから取得される画像（ＣＧを含む）における光源等の影響を考慮しないとＡＲ情報提供がうまくいかないという課題がある。

より具体的には、拡張現実は主に次のステップにより実施される。
１．ＡＲ装置によるＧＰＳ、ジャイロ、撮像画像などに応じた拡張現実実施場所の特定
２．ＡＲ装置による撮像画像における拡張現実情報の表示位置の特定
３．特定されたＡＲ装置へのＡＲ情報（合成用ＣＧなど）の撮像画像に対する合成もしくは多重表示

このうち、ステップ１と２は特許文献１や特許文献２のような方法と本願のような方法があり、より具体的には、
ａ．撮像された画像からＣＧを生成しＤＢに蓄え、ＤＢの内容と利用者ＡＲ端末の撮像画像から生成されたＣＧとを特徴情報やＶＱコードなどにより比較して類似する箇所に対しＡＲ情報の提供を行う特許文献１。
ｂ．撮像された画像をＤＢに蓄え、ＤＢの内容と利用者ＡＲ端末の撮像画像とを特徴情報やＶＱコードなどにより比較して類似する箇所に対しＡＲ情報の提供を行う特許文献２。
ｃ．撮像された画像から生成もしくは取得された情報に基づきＣＧ（評価用ＣＧ）の部品データを生成しＤＢに蓄え、ＤＢに基づいて生成されたＣＧ（評価用ＣＧ）と利用者ＡＲ端末の撮像画像とを特徴情報やＶＱコードなどにより比較して類似する箇所に対しＡＲ情報の提供を行う本願。
といった、複数の方法が検討されている。

そして、それぞれの構成において点群処理、線群処理、面群処理、といった形状などの比較がなされ、画像特徴には色特徴、輝度特徴、彩度特徴、色相特徴、形状特徴、輪郭特徴、色空間特徴などの各種特徴情報がある。
なお、特許文献３や非特許文献１は上述の３番目のステップに関する技術である。

このＡＲ端末の撮像画像とＤＢ内容に基づく位置や場所のマッチング方法は特許文献１であれば撮像画像より生成されたＣＧに基づくデータベースとＡＲ端末が現在撮像している撮像画像から生成されるＣＧとのマッチングにより、適切なラベルを利用者に提示している。特許文献２であれば撮像画像が位置、天候、時刻、季節などにより分類された画像データベースの画像特徴とＡＲ端末で現在撮像されている撮像画像から生成される画像特徴とのマッチングにより、適切なラベルをはじめとする各種情報が表示される。特許文献３であれば撮像画像の位置と方向と時刻に基づいて推定される太陽光源方向に合わせた合成用のバーチャル画像としてのＣＧを生成し実画像に対して合成する。

しかしながら、いずれの先行文献もデータベース側画像特徴などとＡＲ端末の撮像画像から生成された画像特徴などのマッチングにおいて、データベース側画像などがＣＧに基づいて構成される場合の光源の変化にともなうＣＧ（評価用ＣＧ）の変化は想定されていない。

本発明は、前記２のステップにおいてリアル（実写画像）とバーチャル（合成用ＣＧ）とのマッチングの際に一致度を評価するためのデータベース側画像特徴などを得るためのＣＧ（評価用ＣＧ）における光源・天候等の影響を考慮することによって実際に撮影された画像から得られる画像特徴との一致度を改善するためのＡＲ情報処理技術を提供するとともに利用者にとって操作性を損なわず、違和感のない映像の提供を端末に行うことを目的とする。さらに端末側での表示のずれが生じないように画像生成・演算方法を改善する。

本発明は、利用者ＡＲ端末で撮像された実写画像とＤＢに記録されたデータに基づいて生成されたＣＧ（評価用ＣＧ）とを画像情報や特徴情報、ＶＱコードなどといった画像等により比較し、両者のうち類似する箇所に対しＡＲ情報の提供を行うことを特徴とする。なお、前記実写画像から抽出もしくは取得された情報に基づき、ＣＧの部品データを生成しＤＢを更新してもよい。

本発明の一観点によれば、撮像された実写画像もしくは実写画像から抽出される画像特徴やＶＱコードなどと緯度経度を含む位置情報と日付時刻情報とを含むＡＲ情報要求に基づいて、ＡＲ情報（合成用ＣＧなど）を作成するＡＲサーバであって、前記位置情報と天候情報取得部により取得した気象情報とに基づいて、ＣＧ画像の作成を依頼するＡＲ情報要求処理情報作成部と、前記ＡＲ情報要求処理情報作成部により作成したＡＲ情報要求処理情報により、光源の影響を考慮したＣＧ（評価用ＣＧ）の作成をＡＲクラウドＣＧ描画装置に依頼し、返信として得られたＣＧ（評価用ＣＧ）などと、前記実写画像の一致度を評価する照合部と、を有し、前記照合部による照合結果として得られたＡＲ情報（合成用ＣＧなど）を、前記画像に情報支援として合成して表示させることを特徴とするＡＲサーバが提供される。

また、撮像された実写画像から抽出もしくは取得された情報に基づきＣＧ（評価用ＣＧ）の部品データを生成しＤＢに蓄え、ＤＢに基づいて生成されたＣＧ（評価用ＣＧ）と利用者ＡＲ端末の撮像画像とを画像同士自体や特徴情報、ＶＱコードなどの画像等により比較して類似する箇所に対しＡＲ情報（合成用ＣＧなど）と評価用ＣＧが合成された画像の提供を行う。この際、生成された画像を直接端末に送るばかりではなく、評価用ＣＧと合成用ＣＧに用いるモデルデータ（ポリゴン情報、テクスチャ情報、ＵＶマップ情報の類）を利用者端末に送信し適宜利用者端末で描画生成してもよい。

前記ＡＲ情報要求処理情報は、太陽又は月を光源として、前記位置情報と前記日付時刻情報とに依存する前記光源の角度及び照度を光源パラメータとして有しており、前記画像の被写体である建造物の位置と、モデルデータと、高さとを有するデータベースを参照し、前記位置情報と前記建造物の位置とが一致する建造物の高さと前記光源パラメータとに基づいて、前記ＡＲクラウドＣＧ描画装置に前記建造物の影のＣＧを作成させることが好ましい。

ここで、前記ＡＲクラウドＣＧ描画装置によるＣＧ（評価用ＣＧ）の作成の際に、前記建造物ＩＤと、前記建造物の立っている標高と、モデルデータと、前記建造物の周辺の前記光源による影に影響を与える隣接情報と、を有する地形データベースを参照して、前記建造物の影のＣＧを作成させることが好ましい。

また、前記ＡＲクラウドＣＧ描画装置によるＣＧ（評価用ＣＧ）の作成の際に、前記位置情報をキーとして、前記建造物の周辺の地物の高さと、モデルデータと、地物の面積とを保持する地物データベースを参照して、前記光源による前記建造物の影に影響を与える前記地物の影響を求めることが好ましい。

前記位置情報は、ＧＰＳ情報や電子コンパス情報、加速度センサ情報、ジャイロセンサ情報を含む前記ＡＲ端末装置の位置や視線方向を特定するための情報群のうちの少なくともいずれか１であることが好ましい。

本発明は、情報支援のための付加情報を付加する付随情報付加部を有することを特徴とする上記ＡＲサーバであっても良い。ここで、付加情報は、例えば、インターネットにより取得した建造物で提供される料理の情報や、イベントの情報、口コミ情報、日替わり情報、商品情報、価格・在庫情報などといったサービス情報などである。

前記画像特徴として、画像から抽出される画像特徴や画像ＶＱコードもしくはそれらの群情報としての面群情報、点群情報、線群情報を用いることを特徴とする上記ＡＲサーバであっても良い。

また、本発明は、上記のいずれかに記載の画像又は画像特徴を送るＡＲ端末装置であって、前記ＡＲサーバから受信したＡＲ情報を表示部に表示させることを特徴とするＡＲ端末装置である。

このとき、自端末で撮像された画像にＡＲ情報を合成してもよいし、配信装置側から提供されるＡＲクラウドＣＧ描画装置３が描画したＣＧ画像にＡＲ情報を付加することで表示してもよい。また、ＡＲ情報は画像情報として提供されたり、ポリゴンモデル（合成用ＣＧなど）や文字コード、フォント情報、マークアップ言語、音声などによって提供されたりしてもよい。また、ＡＲ情報表示における表示位置の指定は前述のＡＲサーバの照合部で用いた情報をＡＲ端末装置に提供し、ＡＲ端末装置側の挙動に基づいて予測・補正し、表示位置を決定してもよい。また、ＡＲ端末装置がＡＲサーバ１経由でＡＲクラウドＣＧ描画装置３のＣＧ描画用モデリングデータなどを取得し、端末側の状況に合わせて適切な表示位置指定の算出に利用してもよい。ＡＲ情報を、付加情報とともに、表示部に表示させるようにしても良い。

また、本発明は、上記に記載のＣＧ（評価用ＣＧ）を作成するＣＧ描画装置であって、ＣＧを生成するＣＧ生成部と、建造物の影を生成する影生成部と、季節や日時による日の出、日の入りの影響を算出する光学的影響算出部と、太陽や月などの光源の種別等の影響を算出する光源影響算出部と、緯度、経度の影響を算出する緯度経度影響算出部とを有するＣＧ作成部を有することを特徴とするＣＧ描画装置である。

さらに、その位置における建造物を格納する建造物ＤＢと、その位置における標高や周囲との標高差などを格納する地形ＤＢと、その位置における植生の領域を格納する地物ＤＢと、を有し、前記影生成部は、前記建造物と前記地形と前記植生との少なくともいずれかの影響を考慮して、影を生成することを特徴とする。

その他、ＣＧ作成部におけるＣＧ描画に必要な様々な影響を考慮してＣＧを生成することができる。特に、光源の影響を考慮して、リアルな画像との一致度を評価するＣＧを描画するためのものであるため、実際の画像とできるだけ近いＣＧを得ることができる。このため端末上で表示される画像は実画像と合成用CG画像の合成処理をせずにマッチング評価のみを行うため、評価に基づいた合成済みモデルデータや描画済み合成CG画像などを配信装置（サーバ）は端末に提供し、それらの情報に基づいて端末側でＡＲ描画処理を行うため表示される画像上では、ずれが生じなくなるとともに光源や気象状況が反映されたＡＲを実現することができる。

本発明の他の観点によれば、撮像された画像もしくは画像から生成される画像特徴と緯度経度を含む位置情報と日付時刻情報とを含むＡＲ情報要求に基づいて、ＡＲ情報を作成するＡＲサーバを用いた情報処理方法であって、前記位置情報と天候情報取得部により取得した気象情報とに基づいて、ＣＧ画像の作成を依頼するＡＲ情報要求処理情報作成ステップと、前記ＡＲ情報要求処理情報作成ステップにより作成したＡＲ情報要求処理情報により、光源の影響を考慮したＣＧの作成をＡＲクラウドＣＧ描画装置に依頼し、返信として得られたＣＧと、前記ＡＲ情報との一致度を評価する照合ステップと、を有し、前記照合ステップによる照合結果として得られたＡＲ情報を、前記画像に情報支援として合成して表示させることを特徴とする情報処理方法が提供される。

本発明は、上記に記載の情報処理方法を、コンピュータに実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。

本発明によれば、緯度・経度・時刻や天候による日照状態などの照明・光源環境に基づいた処理を行うことにより、ＡＲにおける端末が撮像した実空間画像と位置や場所を特定するためのＤＢ側で構成される評価用ＣＧ画像とのマッチング（類似度評価、一致度評価、距離評価）における精度をより実画像に近い光源を考慮した評価用ＣＧと合成用ＣＧの組合せによって実現することにより、光源変化の影響を低減させた端末側のＣＧ表示ができることで利用者にとっての違和感を低減させ表示品質を改善させることができる。くわえて、３次元モデルデータと光源非依存のテクスチャデータによる立体地図データをＤＢに保存することにより、多様な光源を考慮した状態の膨大な画像群やＣＧ群や特徴群等をＤＢに保存する必要がなくなり、記憶効率および検索効率の改善を図ることができる。また、画像データそのものばかりではなくモデルデータ（ポリゴン、テクスチャ、ＵＶマップ類を含む）などを端末に送り端末側で描画することにより配信装置側の負荷を低減することもできる。

本発明の一実施の形態によるＡＲ情報処理システムの一構成例を示す機能ブロック図である。 本実施の形態によるＡＲ情報処理システムのうち、ＡＲサーバの一構成例を示す機能ブロック図である。 本実施の形態によるＡＲ情報処理システムのうち、ＡＲ端末装置の一構成例を示す機能ブロック図である。 本実施の形態によるＡＲ情報処理システムのうち、ＡＲクラウドＣＧ描画装置の一構成例を示す機能ブロック図である。 本実施の形態による情報処理方法の処理の流れの一例をＡＲサーバ側から示したフローチャート図である。 本実施の形態による情報処理方法の処理の流れの一例をＡＲ情報端末側から示したフローチャート図である。 本実施の形態における、ＡＲ情報要求処理情報の一例を示す図である。 本実施の形態における、建造物ＤＢの一例を示す図である。 本実施の形態における、地形ＤＢの一例を示す図である。 本実施の形態における、地物ＤＢの一例を示す図である。 建物の影の天候依存の一例を示す図である。 建物の影の時間依存の一例を示す図である。 建物の影の光源の種類依存の一例を示す図である。 建物の影の北半球と南半球との位置依存の一例を示す図である。 建物の影の緯度依存の一例を示す図である。

以下、本発明の一実施の形態によるＡＲ情報処理技術について、図面を参照しながら説明を行う。図１は、本実施の形態のＡＲ情報処理システムの一構成例を示す機能ブロック図である。図１に示すように、本実施の形態によるＡＲ情報処理システムＡは、ＡＲサーバ１と、ＡＲクラウドＣＧ演算装置３と、ＡＲ（情報）端末装置５と、を有している。ＡＲサーバ１とＡＲ端末装置５とは、インターネットやローカルネットワークなどのネットワークＮＴにより接続される。ＡＲ端末装置５は、例えば、スマートフォンや携帯電話機などの携帯端末である。

図２は、ＡＲサーバ１の一構成例を示す機能ブロック図である。図２に示すように、ＡＲサーバ１は、例えば、制御部（ＣＰＵ）１−１と、通信部１−２と、照合部（マッチング部）１−３と、記憶部（ＡＲデータベース、データベースへのアクセス手段であっても良い。）１−４と、付随情報付加部１−５と、天候情報取得部１−６と、日時情報取得部１−７と、ＡＲ情報要求処理情報作成部１−８と、を有している。制御部（ＣＰＵ）１−１は、全体の制御を行う。通信部１−２は、ＡＲ端末装置５、ＡＲクラウドＣＧ演算装置３との間で情報をやり取りする機能を有する。照合部（マッチング部）１−３は、ＡＲにおけるリアルな実空間画像とバーチャルなＣＧ画像とのマッチング（類似度評価）を行う。ＡＲデータベース（記憶部又はデータベースへのアクセス手段）１−４は、リアルな画像や、その画像の位置情報、名称などの属性情報などを格納する。付随情報付加部１−５は、リアルな画像に付随する付加的な情報を付加する。付随的な情報としては、リアルな画像の属性、例えば建造物であればその名称や高さ、場所などである。天候情報取得部１−６は、気象衛星や気象レーダ、雨量計のネットワーク、自動車のワイパー挙動情報などから、ある時点の天候、例えば、現在の天候などの、画像撮影時の天候などを取得する。日時情報取得部１−７は、現在日時や、異なる国などの時差も考慮した日時を取得する。ＡＲ情報要求処理情報作成部１−８は、ＡＲサーバ１がＡＲＣＧ演算装置３に対して要求する形状情報やテクスチャ情報などを考慮したＣＧの作成を要求するためのＡＲ情報要求処理の情報を作成する。

ＡＲクラウドＣＧ演算装置３は、単体ではなく、例えば、世界中にある装置を連携させる仕組みを含むことを意図したものである。もちろん、単体の装置を排除するものではない。

図３（ａ）は、ＡＲ端末装置５の一構成例を示す機能ブロック図である。図３に示すように、ＡＲ端末装置５は、例えば、スマートフォンや携帯電話機であり、制御部（ＣＰＵ）５−１と、通信部５−２と、ＧＰＳなどの位置情報取得部５−３と、カメラやムービーなどの撮影部５−４と、液晶ディスプレイなどの表示部５−５と、画像データ等を記憶する記憶部５−６と、を有している。その他、タッチパッドやボタンなどの入力部、音声通話部、加速度センサ、人感センサ、ジャイロセンサなどを有していても良い。通話や認識に伴う音声や各種センサによるセンシング情報、入力文字列もしくはそれらを用いた検索結果などを、ＡＲ画像に反映させるようにしても良い。
図３（ｂ）は、制御部５−１の一構成例を示す機能ブロック図である。図３（ｂ）に示すように、制御部５−１（ＣＰＵやＧＰＵ、ゲートアレイ、ＤＳＰ、ＰＬＤ、プログラムなどによって構成される。）は、ＣＧ描画処理部５−１−１と、ＡＲ画像表示制御部５−１−２と、を有している。ＣＧ描画処理部５−１−１は、配信装置から受信した情報に基づいてＡＲ情報の統合されたＣＧをＡＲ端末装置５の表示部５−５に描画する。この際、受信される情報は撮像画像と位置情報等から推定される屋外景観や屋内風景のモデルデータ（形状データ、テクスチャデータ、各種マップデータ、シェーディング処理選択データなどを含む）と光源状況に関する情報群（光源箇所、日照の具合、天候、光源種別など）で構成されており、ＣＧ算出部３−４と等価であるとともに通信回線経由でＡＲクラウドＣＧ演算装置３のＤＢ部３−９等からモデルデータ等（光源データ、天候データ、影算出部３−５などで算出される影データなどを含む）を取得したり、モデルデータ等をキャッシュとして残したりする。ＡＲ画像表示制御部５−１−２は、センサなどからの情報に応じてＣＧ描画処理部５−１−１を制御しＡＲ情報を表示部５−５に合成表示させる。

図４は、ＡＲクラウドＣＧ演算装置３の一構成例を示す機能ブロック図である。図４に示すように、ＡＲクラウドＣＧ演算装置３は、制御部（ＣＰＵ）３−１と、通信部３−２と、ＣＧ演算部３−３と、ＤＢ部３−９と、を有している。

ＣＧ演算部３−３は、後述する部分３−５、３−６、３−７、３−８とＤＢ部３−９に基づいて座標系やテクスチャなどのマッピング、シェーダ-処理などのＣＧ算出処理をするＣＧ算出部３−４と、建物などの地物の影を算出する影算出部３−５と、季節や日時による日の出、日の入りの影響等を算出する光学的影響算出部３−６と、太陽や月などの光源の種別等の影響を算出する光源影響算出部３−７と、緯度、経度の影響を算出する緯度経度影響算出部３−８等を有している。ＤＢ部３−９は、例えば、その位置におけるビルや家屋、タワー、遊園地などのいわゆる施設や建造物などを格納する建造物ＤＢ３−１０と、その位置における標高や周囲との標高差などを格納する地形ＤＢ３−１１と、その位置における森、湖などの地物（植生）の領域等を格納する地物ＤＢ３−１２等と、を有している。その他、ＣＧ演算部３−３におけるＣＧ描画に必要な様々な影響を考慮したＣＧをＣＧ算出部３−４によって算出することができるとともにＡＲ端末側装置５のＣＧ描画処理部５−１−１において配信装置から取得した情報に基づいて同様のことができることが好ましい。本実施の形態では、特に、光源の影響を考慮して、実写画像との一致度を評価するＣＧを描画するためのものであるため、実際の画像とできるだけ近いＣＧ（評価用ＣＧ）を得ることができるようにすることが好ましく、この際、天候情報の影響などを考慮してもよい。

図５Ａ、図５Ｂは、本実施の形態による情報処理方法の流れの一例を示すフローチャート図である。まず、処理を開始するために、ＡＲ端末装置５において、撮像部５−４でリアルな画像、例えばビルなどの建物を撮像する（動画撮影を継続していても良い）。そして、位置情報取得部５−３により、緯度・経度に基づく現在位置を取得して、例えば、現在位置との関係やカメラの画角、撮像姿勢（撮像角度、視線方向角度）、焦点距離、F値等により建物の位置を求め、建物の画像と位置情報との関連付けを行う。この際、ＡＲ端末装置が建物を撮影しているカメラの画角と測距機能などに基づいて現在位置から建物の位置を求めた情報を取得するようにしても良い。また、位置情報の他に、日付、時刻などの属性情報を取得するようにしても良い。

さらに、画像とともに、又は、画像に代えて、特徴量やＶＱコードなどを作成しても良い。ＡＲ端末装置５の通信部５−２が、これらの情報をＡＲサーバ１に送ると（図５ＢのステップＳ１１）、図５ＡのステップＳ１に示すように、ＡＲサーバ１の通信部１−２は、撮像画像等と撮像画像等の属性情報を受信する。次いで、ステップＳ２において、ＡＲサーバ１がＡＲ端末装置５からの撮像画像等と撮像画像等の属性情報に加えて、必要に応じて、日時取得部１−７、天候情報取得部１−６を用いて、必要な日時や、天候の情報などの追加情報を取得するようにしても良い。

なお、属性情報とは、必要に応じてＡＲ端末装置５のＧＰＳなどによる位置情報であったり、撮像部の撮像方向を特定するための傾斜センサやジャイロセンサ、加速度センサ、重力センサ、照度センサなどであったり、画角や焦点距離、絞り値、レンズ径、日時などであったりしてもよい。

尚、上記特許文献３にも記載されているように、ＡＲ端末装置５で取得した画像中において、ビルやタワーなど建造物等である被写体の画像に関しては、ＡＲ端末装置５の撮像部（カメラ）５−４において、上記傾斜センサやジャイロセンサ、重力センサ、加速度センサなどから求まる角度情報と焦点距離とに基づいて、姿勢情報（姿勢行列、例えば、「岡谷貴之、“メカニカルセンサとイメージセンサの融合による３次元形状復元”、情報処理学会研究報告会、２００５−ＣＶＩＭ−１４７、ｐｐ．１２３−１３０、２００５」参照）と被写体までの距離を求めることができる。ＧＰＳ等で求めたカメラの位置と、上記傾斜センサやジャイロセンサ出力と焦点距離とに基づいて、カメラ画像中の建造物等の位置を知ることができる。

次いで、ステップＳ３において、ＡＲサーバ１が、ＡＲクラウドＣＧ演算装置３に対して、ステップＳ１で受信した属性情報と、ステップＳ２で取得した追加情報と、に基づく、位置、日付、時刻、天候の情報を送信する。

図６は、ＡＲサーバ１が、ＡＲクラウドＣＧ演算装置３に対して送るＡＲ情報要求処理情報の一構成例を示す図であり、この情報を、ＡＲサーバ１の記憶部１−４に記憶しておいても良い。

図６に示すＡＲ情報要求処理情報は、ＡＲサーバ１がＣＧ演算装置３に対して要求する形状情報やテクスチャ情報などを考慮したＣＧの作成を要求するためのＡＲ情報要求処理の情報であり、例えば、ＡＲ端末装置５から送られた撮像画像の属性情報と、追加情報と、に基づいて作成する情報である。例えば、東京、札幌、福岡などの撮影場所の地名と（より詳細な地名であるが、ここでは、例示として上記３箇所の地名を挙げる）、撮影したＡＲ端末装置５の位置情報（緯度、経度、標高等）、撮影年月日、撮影時刻（時計などから取得する）、と、位置情報に依存する光源に関する情報である、０−２４時までの時刻と、日の出、日の入りの時刻、南中高度と時刻、時間毎の日照量（昼間）、月明かりにより照度（夜間）等の光源パラメータを有する。光源パラメータを含むこのＡＲ情報要求処理情報により、ＡＲクラウドＣＧ演算装置３において、光源の影響を詳細に考慮してＣＧ画像を作成することができる。

ＡＲクラウドＣＧ演算装置３は、通信部３−２により受信した位置、日付、時刻、天候のＡＲ情報要求処理情報に基づいて、ＣＧ演算を行う。ここで、ＣＧ算出部３−４は、位置、日付、時刻のＡＲ情報要求処理情報を基に、記憶部（ＤＢ部）３−９の建造物ＤＢ３−１０と地形ＤＢ３−１１と地物ＤＢ３−１２とを検索し、これらの建造物と地形と地物とに対して、日付、時刻、天候のＡＲ情報要求処理情報を基に、影算出部３−５が影を算出する。

図７は、建造物ＤＢの一例を示す図である。図７に示すように、建造物ＤＢは、建造物を一意に識別する建造物ＩＤと、建造物の名称と、緯度、経度による位置と、モデルデータと、建造物の高さとを有している。モデルデータは、（ｘ，ｙ、ｚ）座標の組からなり、例えば、立方体であれば、各頂点の（ｘ，ｙ、ｚ）座標により指定される。モデルデータとは、ポリゴン形状データやテクスチャデータ、ＵＶマップデータなどによる物体のＣＧ描画を実施するためのデータを指す。

建造物ＤＢの位置とＡＲ情報要求処理情報における位置とを対比させて、同じ位置の建造物を特定し、その高さやモデルデータ、南中高度等から光源に依存する影を求めることができる。

図８は、地形ＤＢの一例を示す図である。図８に示すように、地形ＤＢは、建造物ＩＤに対応して、モデルデータと、その標高と隣接（周囲）情報とを有している。モデルデータは、（ｘ，ｙ、ｚ）座標の組からなり、例えば、立方体であれば、各頂点の（ｘ，ｙ、ｚ）座標により指定される。標高は、図６により基本的には求まるが、撮影位置での標高と、被写体である建造物等の標高とは異なる場合が多いため、建造物の標高を基準に影を求めることが好ましい。また、隣接情報は、周囲に建造物以外に建造物の影にかかるようなビルがあるかどうか、そのようなビルが有る場合には、どの程度の高さのビルがどの位置にあるかなどの情報を格納している。これにより、ビルなどの形状や影の形などをより詳細かつ精度良く求めることができる。

図９は、地物ＤＢの一例を示す図である。図９に示すように、地物ＤＢは、自然の地形、例えば、湖や山などの地物の情報を格納する。地物を一意に特定する地物ＩＤと、湖や山などの種別と、モデルデータと、位置と、高さ及び面積などからなり、これらの地物の光源及び影に与える影響を求めることができる。これらのモデルデータは、（ｘ，ｙ、ｚ）座標の組からなり、例えば、台形に近い山であれば、各頂点の（ｘ，ｙ、ｚ）座標により指定される。例えば、太陽と建造物との間に大きな山があれば、影はほとんど生成されず、湖があれば、その湖の領域には、光源が建造物に与える影響がほとんどないことを推定することができる。また、物理演算モデルなどを用いて、起立した崖の崩落や水面の波の変化や水流をＣＧでシミュレーション的に描画してもよくシミュレーションされたＣＧと実写の類似を単位面積当たりの輝度確率や近似色相評価によって処理してもよい。

以上のように、図６から図９までの情報に基づいて、ＡＲ情報要求処理情報に基づく、光源及び影を含む精度の良いＣＧを生成することができる。

なお、このときのＣＧに用いる描画データは、図７、図８、図９において指定されているデータを用いる構成が考えられ、緯度・経度・時刻・視線方向によって選択されモデルデータに従った一致度評価用のＣＧが描画される。このため、端末の緯度経度と視線から算出される拡張現実画像表示対象の緯度経度を得ることにより適切なＡＲの実現を可能とする。また、図７、図８、図９においてモデルデータは直接記載されるものではなく、各データへのリンクＩＤであったり、各データのファイル名であったりしてもよい。

その際、光学的影響算出部３−６が、ＡＲ情報要求処理情報に基づいて、季節、日時による日の入り、日の出の時刻や、天候などの情報などから、建造物に対する光学的な変化の影響を算出し、さらに、光源影響算出部３−７が季節や時刻などにより、光源の影響、例えば、太陽、月などの光源の種別や光源による照度の影響などを算出する。この際、緯度・経度影響算出部３−８が、光源等に関する緯度、経度の依存性も考慮する。このような処理により、ＣＧ算出部３−４が作成する評価用ＣＧをより精度の良いものとすることができる。また、夜間であったり、昼間のビル群における複数反射光を物体が受ける状況であったりした場合であれば各種照明や反射光などの複数光源を考慮して評価用ＣＧや合成用ＣＧを描画したり、演算したりしてもよい。

また、属性情報として、ＡＲ端末の撮像部での撮影に伴い取得した画角や方向、絞り、照度、色温度などを加味して評価用ＣＧを生成してもよい。

なお、評価用ＣＧばかりではなく本発明を利用して光源を考慮した陰影や画質の適応された合成用ＣＧを生成してもよい。

次いで、ステップＳ４において、ＡＲクラウドＣＧ演算装置３が演算した評価用ＣＧをＡＲサーバ１に返信する。ここで、評価用ＣＧとともに、又は、評価用ＣＧに代えて、評価用ＣＧの特徴量、ＶＱコードなどを送るようにしても良い。ステップＳ５において、ＡＲサーバ１が、ＡＲクラウドＣＧ演算装置３からのＣＧ画像情報などを受信する。次いで、ステップＳ６において、ＡＲサーバ１の照合部１−３が、ステップＳ５で受信した評価用ＣＧ画像情報等と、ステップＳ１においてＡＲ端末装置５から受信した撮像画像等とを照合し、ＣＧなどとＡＲ情報とを合成する。この際、照合部１−３からの照合結果である一致度評価に基づいて、ＡＲデータベース１−４内に格納されているＡＲ情報を端末から得られた撮像画像内のマッチングに基づく位置情報等に基づいて検索し、検索結果として得られたＡＲ情報をＣＧなどと合成し、ＡＲ端末装置５に通信部１−２から送信する（ステップＳ７）。位置情報等とはＧＰＳ情報や電子コンパス情報、加速度センサ情報、ジャイロセンサ情報、重力センサ情報、ＨＭＤ（ヘッドマウントディスプレイ）における瞳孔検出情報などのＡＲ端末装置の位置や視線方向を特定するための情報群を指し、他の発明においても言及されるＡＲ情報表示の特定に必要な情報を含むものとする。

この際、情報支援のために、付加情報を付加して送っても良い。付加情報は、例えば、インターネットにより取得した建造物で提供される料理の情報や、イベントの情報、口コミ情報、日替わり情報、商品情報、価格・在庫情報などといったサービス情報などである。

また、画像等の別の処理方法として、単純に端末から画像を送信したり、ＡＲクラウドＣＧ描画装置からＣＧ画像を送信したりするばかりではなく、それら画像から生成される画像特徴や画像ＶＱコードもしくはそれらの群情報としての面群情報、点群情報、線群情報を画像の代わりに利用してもよい。

図５Ｂに示すように、図５ＡのステップＳ７の送信処理に応じて、ＡＲ端末装置５は、ＡＲサーバ１から受信したＡＲ情報と描画済みの評価用ＣＧもしくは評価用ＣＧのモデルデータを受信し（ステップＳ１２）、付加情報とともに、評価用ＣＧのモデルデータに基づいてＣＧ描画処理部５−１−１によりＣＧ算出部３−４と等価な処理系で評価用ＣＧ描画し、ＡＲ画像表示制御部５−１−２により、ＡＲ情報として受信した画像もしくは合成用ＣＧモデルデータ等と評価用ＣＧとを各種センサ情報に基づいてCG画像の向きなどを整え、ＡＲ情報と合成して表示部５−５に表示させることができる（ステップＳ１３）。このとき、自端末で撮像された画像を記憶部５−６に記憶しておき、これにＡＲ情報を合成してもよいし、配信装置側から提供されるＡＲクラウドＣＧ描画装置３が描画したＣＧ画像（評価用ＣＧ）にＡＲ情報を付加することで表示してもよいし、配信装置から提供された評価用ＣＧモデルデータに基づいてＣＧ描画を行うとともに同様に受信したＡＲ情報を合成してもよいし、評価用ＣＧモデルデータと合成用ＣＧモデルデータを端末の各種センサ情報に応じて変化させながら組み合わせてリアルタイムにＣＧを描画してもよい。

また、ＡＲ情報は画像情報として提供されたり、ポリゴンモデル（合成用ＣＧ）や文字コード、フォント情報、マークアップ言語、音声などによって提供されたりしてもよい。また、ＡＲ情報表示における表示位置の指定は前述のＡＲサーバ１の照合部１−３で用いた情報をＡＲ端末装置に提供し、ＡＲ端末装置側の挙動に基づいて予測・補正し、表示位置を決定してもよい。また、ＡＲ端末装置がＡＲサーバ１経由でＡＲクラウドＣＧ演算装置３のＣＧ描画用モデリングデータなどを取得し、端末側の状況に合わせて適切な表示位置の算出や端末においてＡＲサーバ経由で取得されるCG画像やモデルデータとしての評価用CGと合成用CGを組合せた表示に利用してもよい。

さらに、本発明はサーバ側から光源位置情報を送信することでステップS１２において、光源位置情報を受信し端末側でモデルデータからＡＲ画面を生成するときに光源計算を効果的に行い利用者の視覚上の利便性を改善するように構成してもよい。この結果、夜間など街灯といった複数光源であっても現実味のあるＡＲ情報の表示が可能となる。これらの光源位置情報は配信装置の地図情報内に記録されていてもよいし、撮像画像の輝度などから光源を検出し、視線方向と位置情報を検出し配信装置の地図情報と照合し特定の光源として決定づけてもよい。

尚、上記の例において、ＡＲクラウドＣＧ描画装置３は、インターネットなどの通信手段を介して複数に分散配置されていても良い。また、ＡＲクラウドＣＧ描画装置３はＡＲサーバ１に組み込まれていても良い。

上記の情報処理方法によれば、ＡＲ端末装置から送られた撮影画像や属性情報により推定できる天気や光源の状態等に基づいて評価用ＣＧを描画し、この描画した評価用ＣＧとＡＲ端末装置から送られてきた画像等との一致度に基づいて、ＡＲデータベースからＡＲ情報を取得して、このＡＲ情報をＡＲ端末装置に送って表示させることができるため、一致度（類似度）の精度を向上させることができ、より精度の高いＡＲ表示をできるようにＡＲ情報等を求めてＡＲ端末装置にＡＲ情報等を送ることができる。また、画像データやＡＲ情報そのものを直接端末に送るばかりではなく評価用ＣＧや合成用ＣＧ（ＡＲ情報）に用いられるモデルデータ（ポリゴン、テクスチャ、ＵＶマップ類を含む）などを併せてＡＲ端末に送り端末側でＣＧ描画することにより配信装置側の描画負荷を低減することによりシステムとしての利便性を図りインタラクション性の高いＡＲ端末が実現できる。

以下に、評価用ＣＧを描画する際の光源の影響を例にして、本実施の形態についてより具体的簡易的に例示して説明する。実際のＣＧ描画はより光源色を意識したり、反射を意識したり、多光源を意識したり、端末装置の撮像部の光学系を意識したりした光学的補正の行われた評価用ＣＧ描画であることが好ましい。

図１０は、建造物（ビル等）Ｂの影に与える天候の依存性を示す図である。図１０（ａ）に示すように、天候が晴れの場合には、ビルＢの影は色濃くなるのに対して、図１０（ｂ）に示すように曇りの場合には、ほとんど影が見えないので、天候情報に基づいて、ＣＧにおける影を推測することができる。このようにして得たＣＧをリアルな画像との一致度評価に用いることで、より精度の高いＡＲ情報を検索して提示することができる。

同様に、図１１は、時間依存、太陽の方向依存を示す図である。図１１（ａ）に示すように、太陽などの光源は、時間により方向（角度などを含む）が変化する。そこで、朝であれば、東の方向に太陽が位置するため、その方向と反対の方向に建物Ｂの影ができる。一方、図１１（ｂ）に示すように、夕方であれば、西の方向に対応が位置するため、その方向と反対の方向に建物Ｂの影ができる。

図１２は、光源の種類（昼と夜）依存を示す図である。図１２（ａ）に示すように、昼間は、太陽が光源であるため、建物Ｂの影は色が濃いが、図１２（ｂ）に示すように、夜であれば、月がでている程度であるため、ほとんど影は生成されない。また、夜と昼とでは、周囲の明るさも大きく異なる。

図１３は、位置依存を示す図であり、例えば、図１３（ａ）に示すように、北半球では、昼の晴れの日においては、影は、ビルの北側に出ており、図１３（ｂ）に示すように、南半球では、影はビルの南側にでる。従って、北半球と南半球により、影の位置は大きく異なることを考慮する必要がある。

図１４は、位置依存のうち緯度・経度の影響を示す図である。例えば、同じ日本でも、緯度の高い札幌と、緯度の低い福岡とを比べると、例えば午後３時の影は、札幌の方が大きくなる（太陽の傾きが低いため）。

以上のように、一致度比較のためのＣＧ描画において、光源等の影響を詳細に考慮することで、ＡＲにおける実空間画像とＣＧ画像の類似度評価の精度を向上させることができる。くわえて、太陽の南中高度が季節により変化することや赤緯と時角が時刻により変化することなどを考慮してＣＧを描画することがより好ましい。より正確には、任意の地点における任意時刻の太陽の高度と方位角を天文年表掲載値に従って計算する。

ここで、高度 h 、方位角Aは、例えば、以下の三式で 求めることができる。
[数１]
cosh × sinA = −cosδ × sinΔ … (1)
cosh × cosA = cosφ × sinδ − sinφ × cosδ × cosΔ … (2)
sinh = sinφ ×sinδ ＋ cosφ × cosδ × cosΔ … (3)

ここで、δは太陽の視赤緯、Δは時角、φは場所の緯度である。tを高度・方位角を求める時刻−標準時（日本の場合は９ｈ）とし、λを場所の経度（東経を＋、西経を−で表し、１５で割って時間の単位にする）、θ_０を世界時０ｈのグリニジ視恒星時、αを太陽の視赤経とすれば、時角はΔ=θ_０＋ｔ×１．００２７３７９＋λ−αで求められる。影の長さは影をつくる物体の高さ×cothで、影の方位角は太陽の方位角に１８０°を加えて求める（３６０°を超えた場合、３６０°を減算する）。

このような計算によって算出された太陽光源に基づいてＣＧの描画を行い同時に影の算出も行うことができる。なお、実際の計算精度はこれより高い精度の値を用いてもよい。

また、これらの計算によって求められた太陽光源は超遠距離による仮想面光源となるため、気象レーダなどの天候観測に伴って雲の有無により散乱光源となるような計算を行いＣＧ描画の際の光源処理として実施してもよいし、空気遠近法などを用いたＣＧ描画をしてもよいし、ビル壁面や水域等における各種反射光の単位面積当たりの発生確率や反射強度などを踏まえてＣＧ描画をしてもよい。

また、これらの演算式を逆算することで高さと日時の解っている物体の撮像画像における影の長さから緯度経度が近似値であるか評価することで、正当な端末からの情報であることを評価したり、ＣＧ描画装置内のＤＢを更新したりしてもよい。

（まとめ）
以上に説明したように、本実施の形態によれば、緯度・経度・時刻や天候による日照状態などの照明・光源環境に基づいた処理を行うことにより、ＡＲにおける端末が撮像した実空間画像と位置や場所を特定するためのＤＢ側で構成されるＣＧ画像とのマッチング（類似度評価、一致度評価、距離評価）における精度をより実画像に近い光源を考慮したＣＧとの比較によって実現することにより、光源変化の影響を低減させることで改善させることができる。くわえて、３次元モデルデータと光源非依存のテクスチャデータによる立体地図データをＤＢに保存することにより、多様な光源を考慮した状態の画像群やＣＧ群や特徴群等をＤＢに保存する必要がなくなり、記憶効率および検索効率の改善を図ることができる。

尚、上記の説明では、昼は昼のＣＧ、夜は夜のＣＧを構成することで利用者のＡＲ端末の撮像画像に近づけ、影の方向、長さや濃淡なども可能な限り近づけることで、より一致度を評価しやすくなる。もちろん、日の陰り具合に応じて光源色を変化させるなどの処理をしてもよい。

また、撮影画像や属性情報から推定できる天候や光源に基づいて、比較用のＣＧの影を作成するようにしても良い。

さらに、ネットワーク経由や画像認識などによりで、建造物等の照明状況（ネオンサイン、イルミネーション、デジタルサイネージなど）を取得して、ＣＧ描画の変更や特徴一致の許容誤差の指定を行っても良い。

光源の色や強さを、ＡＲ端末の撮像画像の属性情報としての日時、緯度・経度から推定しても良く、逆にＡＲ端末の撮像画像に写った高さの解っている物体の影と日時から、緯度・経度を推定しても良い。くわえて、厳密に計算するならば地軸の歳差運動に対する補正を行ってもよい。

また、建物とくに高層階や屋根、電柱の上部、信号機など人や車などが通過しないことによる特徴誤差の少ない箇所の特徴情報を優先的に評価処理してもよく、ベランダや歩道や車道などの変化のある場所は特徴一致の比較における許容誤差範囲を広げてもよい。

また、処理を任意のサーバ、クライアント、それらを連携したクラウドなどの組合せによって実施してもよい。

また、赤外線やノクトビジョン画像などをはじめとする不可視光から立体モデルやテクスチャを生成してもよい。

また、画像等には特徴量や特徴情報などを含み、それらは色、形状、輝度、色相、彩度などを始めにＶＱコードなどを含む識別基準となる情報を指す。

また、端末からの画像などとＤＢに基づいて生成された画像など比較において、微分箇所と積分箇所の差の大きいところや特徴情報などの変化の激しい場所である場合、分散を拡げて特徴一致の比較における許容誤差範囲を拡大するなどの処理を行ってもよい。

また、多眼立体視に基づいた立体形状や二次元情報によるＶＱコードなどの特徴情報を位置に基づいて索引付けされた辞書構造のＤＢなどを利用してもよい。

また、落葉樹、常緑樹などを地図情報に登録し地表に近い低層に於いては緯度経度などに応じて特徴評価にもちいる評価色を変更できるように構成してもよいし、これらを季節や日時に応じて評価対象としての選択範囲を変更してもよい。

位置に基づいた点群データ、線群データ、面群データ、テクスチャデータ等を特徴量やＶＱコードとして位置に基づいて分類し基地局から位置に応じて適宜提供、内容変更するシステムを構成してもよい。

また、合成されたＣＧに基づいた合成ＡＲ画像の影を太陽やビルの反射などの光源方向に基づいて算出する。もちろん、太陽光ばかりでなく月光や日蝕、月蝕を考慮してもよいし、各種電灯やネオンライト、デジタルサイネージなどをＤＢ化して光源計算に用いたり、提供情報の索引に用いたりしてもよい。

また、屋外ばかりではなく屋内も同様に時間帯等における屋外光源を推定しながら評価用ＣＧ描画をしてもよいし、空気遠近法による描画補正を行ってもよい。

また、合成される現実画像に対する評価用ＣＧ画像に関して、特徴比較の際にどの程度の分散を許容するのかを画像の部位やモデルベース、地図ベースごとに指定しデータベース化してもよい。

また、演算効率を改善するために端末からのアクセスのたびに評価用ＣＧを生成するのではなく、例えば毎分ごとにＣＧ画像や特徴量やＶＱコード等を生成して群情報として再利用可能な状態でＡＲサーバやＡＲクラウドＣＧ演算装置やＡＲ端末装置などの記憶部に適宜保存してもよい。

また、端末側撮像画像の特徴から天候を推定したり、色温度から天候や時間帯を推定したりしてもよい。

また、位置情報等に基づいて各種群情報等の辞書情報を適宜キャッシュしたり、更新したりしてもよい。

また、撮像画像と位置情報や姿勢情報、視線情報等からモデルデータを推定したり、光源補正や光源位置算出を行うことで影を補正したりしたテクスチャデータの抽出や補正を行ってもよい。この際、例えばフーリエ解析やウエーブレット解析、ルベーク積分などを用いたり、ガボールフィルタなどを用いたりして抽出した形状特徴とベイズ推定やマハラノビス汎距離などの共分散行列や固有値・固有ベクトルなどを応用した距離計算とを用いて類似度判定を行うようにしてもよい。

また、位置連携情報サービスに基づくソーシャルゲームやソーシャルサービスなどを実施してもよい。

また、ドロネー三角分割などを用いた粒度の荒いポリゴン画像を評価用ＣＧとして用いてもよい。
また、タイムセールに応じて表示を変更してもよい。

また、人に対して行われる拡張現実はその人のもつＡＲ端末から出力される位置情報に応じて表示位置が変化してもよい。

また、図７、図８、図９においてモデルデータとされるデータは、実データが直接レコード内にあるばかりではなくモデルデータのファイル名であったり、モデルデータのリンク情報となるＩＤやハッシュ値であったりしてもよい。

また、情報支援のために、付加情報は、例えば、インターネットにより取得した建造物で提供される飲食店の料理の種類や価格の情報や、イベントの情報、販売店の取扱商品情報や在庫・価格情報、口コミ情報、混雑・空席情報、不動産価格情報、観光情報などの任意の情報である。さらに、生成された現実画像に対する評価用ＣＧ画像に関して、どの程度の分散を許容するのかを画像の部位ごとに指定しデータベース化してもよいし、生成された評価用ＣＧに基づいた合成用ＣＧ画像としてのＡＲ画像の影を太陽やビルの反射などの光源方向に基づいて算出し合成したりしてもよい。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能であり、過去の複数の特許と組合せて実施することができる。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳをはじめとした各種ソフトウェアや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、評価用ＣＧと実写画像の特徴などが異なった場合において更新可能性フラグをセットし、複数のＡＲ端末からフラグを配信装置が受信した場合において地図情報となる評価用ＣＧの各種情報を適宜更新してもよい。また、月の満ち欠けに応じて描画する評価用ＣＧの内容を変更してもよい。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置（各種記憶媒体）のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本発明は、情報処理装置として利用可能である。

Ａ…ＡＲ情報処理システム、１…ＡＲサーバ、３…ＡＲクラウドＣＧ演算装置、５…ＡＲ端末装置、１−１…制御部、１−２…通信部、１−３…照合部（一致度評価部）、１−４…記憶部（ＡＲデータベース）、１−５…付随情報付加部、１−６…天候情報取得部、１−７…日時取得部、１−８…ＡＲ情報要求処理情報作成部、３−１…制御部（ＣＰＵ）、３−２…通信部、３−３…ＣＧ演算部、３−４…ＣＧ算出部、３−５…影算出部、３−６…光学的影響算出部、３−７…光源影響算出部、３−８…緯度経度影響算出部、３−９…記憶部（ＤＢ部）、３−１０…建造物ＤＢ、３−１１…地形（水域等を含む）ＤＢ、３−１２…地物（植生等）ＤＢ、５−１…制御部、５−１−１…ＣＧ描画処理部、５−１−２…ＡＲ画像表示制御部、５−５…表示部、５−６…記憶部。

Claims (8)

1. 撮像された画像もしくは画像から生成される画像特徴と緯度経度を含む位置情報と日付時刻情報とを含むAR情報要求に基づいて、ＡＲ情報を取得する情報端末装置であって、
   前記位置情報と前記日付情報と配信装置から取得した天候情報と評価用ＣＧモデルデータと合成用ＣＧモデルデータに基づいて、
   表示部に表示するＣＧを描画し画像を作成するＣＧ描画処理部と、描画したＣＧとＡＲ情報とを合成して表示するＡＲ画像表示制御部と、を有することを特徴とする情報端末装置。
2. 撮像された画像もしくは画像から生成される画像特徴と緯度経度を含む位置情報と日付時刻情報とを含むAR情報要求に基づいて、ＡＲ情報を取得する情報端末装置であって、
   前記位置情報と前記日付情報と配信装置から取得した天候情報と合成用ＣＧモデルデータに基づいて、
   表示部に表示するＣＧを描画し画像を作成するＣＧ描画処理部と、配信装置から取得した評価用ＣＧと合成して表示するＡＲ画像表示制御部と、を有することを特徴とする情報端末装置。
3. 撮像された画像もしくは画像から生成される画像特徴と緯度経度を含む位置情報と日付時刻情報とを含むAR情報要求に基づいて、ＡＲ情報を取得する情報端末装置であって、
   前記位置情報と前記日付情報と配信装置から取得した天候情報と評価用ＣＧモデルデータに基づいて、
   情報端末装置内で表示部に表示するＣＧを描画し画像を作成するＣＧ描画処理部と、配信装置から取得した合成用ＣＧ画像と合成して表示するＡＲ画像表示制御部と、を有することを特徴とする情報端末装置。
4. 前記位置情報は、
   ＧＰＳ情報や電子コンパス情報、加速度センサ情報、ジャイロセンサ情報を含む前記情報端末装置の位置や視線方向を特定するための情報群のうちの少なくともいずれか１であることを特徴とする請求項１から３までのいずれか１項に記載の情報端末装置。
5. 請求項１から４までのいずれか１項に記載のＣＧを作成するＣＧ演算装置であって、
   ＣＧを生成するＣＧ生成部と、建造物の影を生成する影生成部と、季節や日時による日の出、日の入りの影響を算出する光学的影響算出部と、太陽や月などの光源の種別等の影響を算出する光源影響算出部と、緯度、経度の影響を算出する緯度経度影響算出部とを有するＣＧ作成部を有することを特徴とするＣＧ演算装置。
6. 前記位置情報により特定される建造物の建造物ＩＤを格納する建造物ＤＢと、前記位置情報により特定される位置における標高や周囲との標高差などを格納する地形ＤＢと、前記位置情報により特定される位置における植生の領域を格納する地物ＤＢと、を有し、
   前記影生成部は、前記建造物と前記地形と前記植生との少なくともいずれかの影響を考慮して、影を生成することを特徴とする請求項５に記載のＣＧ描画を行うＣＧ演算装置。
7. 撮像された画像もしくは画像から生成される画像特徴と緯度経度を含む位置情報と日付時刻情報とを含むＡＲ情報要求に基づいて、ＡＲ情報を作成する情報端末装置を用いた情報処理方法であって、
   前記位置情報と天候情報取得部により取得した気象情報とに基づいて、CG画像もしくはモデルデータの作成を依頼するＡＲ情報要求処理情報作成ステップと、
   前記ＡＲ情報要求処理情報作成ステップにより作成したＡＲ情報要求処理情報により、光源の影響を考慮したCG画像もしくはモデルデータの作成をＡＲクラウドＣＧ描画装置に依頼し、返信として得られたＣＧ画像もしくはモデルデータと、前記ＡＲ情報との一致度を評価する照合ステップと、を有し、
   前記照合ステップによる照合結果として得られたＡＲ情報を、前記画像に情報支援として合成して表示させることを特徴とする情報処理方法。
8. 請求項７に記載の情報処理方法を、コンピュータに実行させるためのプログラム。

Images