JP2022030844A

JP2022030844A - 情報処理プログラム、情報処理装置及び情報処理方法

Info

Publication number: JP2022030844A
Application number: JP2020135131A
Authority: JP
Inventors: レミドリアンクール; Driancourt Remi; サイモンフランシススタンナス; Francis Stannus Simon
Original assignee: Square Enix Co Ltd
Current assignee: Square Enix Co Ltd
Priority date: 2020-08-07
Filing date: 2020-08-07
Publication date: 2022-02-18
Anticipated expiration: 2040-08-07
Also published as: JP7125963B2

Abstract

【課題】周辺の現実のオブジェクトとの整合性を考慮したＡＲ表示を可能とすること。【解決手段】ユーザ端末の位置情報、時刻情報及び天候情報から天然光源の状況を推定し、ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上の現実対応オブジェクトの情報を取得し、ユーザ端末で撮影して得られた撮影画像及び撮影方向情報を取得し、推定した天然光源状況における現実対応オブジェクトに対する光源の影響を演算し、ユーザ端末の位置周辺に配置されカメラ装置の撮影範囲内に存在する可能性のある仮想オブジェクトの情報を取得し、現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した天然光源状況における仮想オブジェクトに対する光源の影響を演算し、撮影画像上における仮想オブジェクトの接地位置を特定し、仮想オブジェクト及び演算した光源影響を撮影画像上の特定した接地位置に対して重畳表示させる。【選択図】図１

Description

本発明は、現実環境における光源の状況を考慮したＡＲ技術に関するものである。

近年、ＡＲ（Augmented Reality：拡張現実）技術を採用したソフトウェアが普及しつつある。ユーザが所持するユーザ端末によって撮影した撮影画像中に仮想オブジェクトを表示させてあたかも現実空間に仮想オブジェクトが登場したかのような表示を実現することができる。

例えば、特許文献１には、現実空間の特定の位置に関連付けて記憶されるＡＲ表示対象の仮想オブジェクトについて、ＡＲ空間で他のユーザと共有したい情報及び共有を望まない情報をユーザが容易に取り扱うことのできる技術が開示されている。

特表２０１２－１６８６４６号公報

ところで、ユーザ端末で撮影した撮影画像に対してＡＲ技術によって仮想オブジェクトを表示させる場合に、現実環境における光源の状況を一切考慮せずに表示を行うと不自然な表示となるおそれがある。例えば、太陽などの光源の影響を反映させることなく表示を行うと、周辺の現実のオブジェクトとの整合がとれずに違和感が生じるといえる。また、取得した撮影画像における太陽などの光源の位置を推測して、推測した光源の情報に基づいてシェーディング処理を実行することも考えられるが、仮想オブジェクトに対する光源の影響のみを考慮する構成として、現実空間に存在する現実のオブジェクトとの関係を一切考慮せずに表示させてしまうと、例えば、現実のオブジェクトの影の上に仮想オブジェクトの影を重ねて描画した結果、影の上により濃い影が描画されるといった現実では起こり得ない状況が生じてしまうという問題があった。

本発明は、上記問題点に鑑みなされたものであり、現実環境における光源の状況を推測し、かつ、周辺の現実のオブジェクトとの整合性を考慮したＡＲ表示が可能な情報処理プログラム、情報処理装置及び情報処理方法を提供することを目的とする。

非限定的な観点によると、本発明の一実施形態に係る情報処理プログラムは、ユーザが所持するユーザ端末によって撮影された撮影画像に対して、現実空間の所定位置と対応付けて記憶させた仮想オブジェクトを重畳表示させる処理をコンピュータに実現させるための情報処理プログラムであって、前記コンピュータに、前記ユーザ端末の位置情報を取得する位置情報取得機能と、現在時刻情報を取得する時刻取得機能と、ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得機能と、取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定機能と、前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得機能と、前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得機能と、推定した前記天然光源状況における前記現実対応オブジェクトに対する光源の影響を演算する第一光源影響演算機能と、前記ユーザ端末の位置周辺に配置され前記カメラ装置の撮影範囲内に位置する可能性のある前記仮想オブジェクトの情報を取得する仮想オブジェクト情報取得機能と、前記現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する第二光源影響演算機能と、前記撮影画像上における前記仮想オブジェクトの接地位置を特定し、前記仮想オブジェクト及び演算した光源影響を前記撮影画像上の特定した接地位置に対して重畳表示させる重畳表示機能とを実現させることを特徴とする。

非限定的な観点によると、本発明の一実施形態に係る情報処理装置は、ユーザが所持するユーザ端末によって撮影された撮影画像に対して、現実空間の所定位置と対応付けて記憶させた仮想オブジェクトを重畳表示させる処理を行うための情報処理装置であって、前記ユーザ端末の位置情報を取得する位置情報取得部と、現在時刻情報を取得する時刻取得部と、ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得部と、取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定部と、前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得部と、前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得部と、推定した前記天然光源状況における前記現実対応オブジェクトに対する光源の影響を演算する第一光源影響演算部と、前記ユーザ端末の位置周辺に配置され前記カメラ装置の撮影範囲内に位置する可能性のある前記仮想オブジェクトの情報を取得する仮想オブジェクト情報取得部と、前記現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する第二光源影響演算部と、前記撮影画像上における前記仮想オブジェクトの接地位置を特定し、前記仮想オブジェクト及び演算した光源影響を前記撮影画像上の特定した接地位置に対して重畳表示させる重畳表示部とを備えることを特徴とする。

非限定的な観点によると、本発明の一実施形態に係る情報処理方法は、ユーザが所持するユーザ端末によって撮影された撮影画像に対して、現実空間の所定位置と対応付けて記憶させた仮想オブジェクトを重畳表示させる処理をコンピュータに実行させるための情報処理方法であって、前記ユーザ端末の位置情報を取得する位置情報取得手順と、現在時刻情報を取得する時刻取得手順と、ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得部と、取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定手順と、前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得手順と、前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得手順と、推定した前記天然光源状況における前記現実対応オブジェクトに対する光源の影響を演算する第一光源影響演算手順と、前記ユーザ端末の位置周辺に配置され前記カメラ装置の撮影範囲内に位置する可能性のある前記仮想オブジェクトの情報を取得する仮想オブジェクト情報取得手順と、前記現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する第二光源影響演算手順と、前記撮影画像上における前記仮想オブジェクトの接地位置を特定し、前記仮想オブジェクト及び演算した光源影響を前記撮影画像上の特定した接地位置に対して重畳表示させる重畳表示手順とを含むことを特徴とする。

非限定的な観点によると、本発明の一実施形態に係る情報処理プログラムは、ユーザが所持するユーザ端末によって撮影された撮影画像に映る現実のオブジェクトと、現実のオブジェクトに予め対応させて記憶させた仮想空間上のオブジェクト（現実対応オブジェクト）とを照合して撮影画像に映るオブジェクトを特定する処理をコンピュータに実現させるための情報処理プログラムであって、前記コンピュータに、前記ユーザ端末の位置情報を取得する位置情報取得機能と、現在時刻情報を取得する時刻取得機能と、ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得機能と、取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定機能と、前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得機能と、前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得機能と、前記撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも１パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した前記天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する仮想撮影画像生成機能と、前記撮影画像と前記仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する撮影オブジェクト特定機能とを実現させることを特徴とする。

非限定的な観点によると、本発明の一実施形態に係る情報処理装置は、ユーザが所持するユーザ端末によって撮影された撮影画像に映る現実のオブジェクトと、現実のオブジェクトに予め対応させて記憶させた仮想空間上のオブジェクト（現実対応オブジェクト）とを照合して撮影画像に映るオブジェクトを特定する処理を行うための情報処理装置であって、前記ユーザ端末の位置情報を取得する位置情報取得部と、現在時刻情報を取得する時刻取得部と、ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得部と、取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定部と、前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得部と、前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得部と、前記撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも１パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した前記天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する仮想撮影画像生成部と、前記撮影画像と前記仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する撮影オブジェクト特定部とを実現させることを特徴とする。

非限定的な観点によると、本発明の一実施形態に係る情報処理方法は、ユーザが所持するユーザ端末によって撮影された撮影画像に映る現実のオブジェクトと、現実のオブジェクトに予め対応させて記憶させた仮想空間上のオブジェクト（現実対応オブジェクト）とを照合して撮影画像に映るオブジェクトを特定する処理をコンピュータに実行させるための情報処理方法であって、前記ユーザ端末の位置情報を取得する位置情報取得手順と、現在時刻情報を取得する時刻取得手順と、ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得手順と、取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定手順と、前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得手順と、前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得手順と、前記撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも１パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した前記天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する仮想撮影画像生成手順と、前記撮影画像と前記仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する撮影オブジェクト特定手順とを含むことを特徴とする。

本願の各実施形態により１または２以上の不足が解決される。

本発明の少なくとも１つの実施形態における情報処理装置の構成の例を示すブロック図である。本発明少なくとも１つの実施形態における情報処理装置を適用するシステム構成の例を示すブロック図である。本発明の少なくとも１つの実施形態における情報処理の例を示すフローチャートである。本発明の少なくとも１つの実施形態を適用していない場合のＡＲ表示の例を表した説明図である。本発明の少なくとも１つの実施形態を適用していない場合のＡＲ表示の例の一部を拡大した説明図である。本発明の少なくとも１つの実施形態における天然光源推定処理の一例の概念を表した概念図である。本発明の少なくとも１つの実施形態を適用した場合のＡＲ表示の例を表した説明図である。本発明の少なくとも１つの実施形態を適用した場合のＡＲ表示の例の一部を拡大した説明図である。本発明の少なくとも１つの実施形態における情報処理装置の構成の例を示すブロック図である。本発明の少なくとも１つの実施形態における情報処理の例を示すフローチャートである。本発明の少なくとも１つの実施形態におけるトラッキング処理の一例の概念を表した概念図である。本発明の少なくとも１つの実施形態におけるカメラ方位推定処理の一例の概念を表した概念図である。

以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。

［第１の実施形態］
図１は、本発明の少なくとも１つの実施形態における情報処理装置の構成の例を示すブロック図である。図１に示すように、本発明の第１の実施形態における情報処理装置１０は、位置情報取得部１１と、時刻情報取得部１２と、天候情報取得部１３と、天然光源推定部１４と、現実対応オブジェクト情報取得部１５と、撮影画像取得部１６と、第一光源影響演算部１７と、仮想オブジェクト情報取得部１８と、第二光源影響演算部１９と、重畳表示部２０と、記憶部２１とを備える。図１の各構成の詳細については後述する。

図２は、本発明少なくとも１つの実施形態における情報処理装置を適用するシステム構成の例を示すブロック図である。ユーザが所持するユーザ端末を本発明の第１の実施形態における情報処理装置１０として機能させるものであってもよいが、ユーザが所持するユーザ端末から通信ネットワークを介して接続可能なサーバ装置を情報処理装置１０として機能させるものであってもよい。図２に示すように、システムは、サーバ装置３０と、各ユーザが所持するユーザ端末４０１～４０ｎ（ｎは任意の整数。以下、これらを代表して単にユーザ端末４０と表現する場合がある。）とを含む。

サーバ装置３０と複数のユーザ端末４０１～４０ｎは、それぞれインターネットなどの通信ネットワーク５０に接続されている。なお、図示しないが、複数のユーザ端末４０１～４０ｎは、例えば、通信業者によって管理される基地局と無線通信回線によるデータ通信を行うことによって、通信ネットワーク５０と接続する。

システムは、サーバ装置３０と複数のユーザ端末４０１～４０ｎとを備えることにより、ユーザの操作に応じて各種処理を実行するための各種機能を実現する。

サーバ装置３０は、情報処理装置１０の管理者によって管理され、複数のユーザ端末４０１～４０ｎに対して各種処理に関する情報を提供するための各種機能を有する。本例において、サーバ装置３０は、ＷＷＷサーバなどの情報処理装置によって構成され、各種情報を格納する記憶媒体を備える。なお、サーバ装置３０は、制御部や通信部などコンピュータとして各種処理を行うための一般的な構成を備えるが、ここでの説明は省略する。また、情報処理装置１０においては、複数のユーザ端末４０１～４０ｎそれぞれにかかる処理負荷を軽減させるといった観点から、各種情報はサーバ装置３０が管理することが好ましい。ただし、各種情報を記憶する記憶部は、サーバ装置３０がアクセス可能な状態で記憶領域を備えていればよく、例えば専用の記憶領域をサーバ装置３０の外部に有する構成とされていてもよい。

複数のユーザ端末４０１～４０ｎは、それぞれ、ユーザによって管理され、例えば携帯電話端末やＰＤＡ（Personal Digital Assistants）などの通信端末が挙げられ、ユーザが動画及び／又は静止画の撮影を行うためのカメラ装置を搭載しており、かつ、撮影画像データ等を表示するためのディスプレイを備えた構成である必要がある。ユーザ端末の構成の他の例には、スマートウォッチなどの所謂ウェアラブルデバイスや、ウェアラブルデバイスと通信端末等との組み合わせがある。また、カメラ装置は、光学式カメラの他、３次元カメラ装置を併用するものであってもよい。また、ユーザ端末４０１～４０ｎは、描画情報を入力するためのマウス、タッチパネル、タッチペン等の入力手段を備えている。

また、複数のユーザ端末４０１～４０ｎは、それぞれ、通信ネットワーク５０に接続し、サーバ装置３０との通信を行うことにより各種処理を実行するためのハードウェアおよびソフトウェアを備える。なお、複数のユーザ端末４０１～４０ｎそれぞれは、サーバ装置３０を介さずに互いに直接通信を行うこともできる構成とされていてもよい。

情報処理を行う過程においては、サーバ装置３０は適宜ユーザ端末４０１～４０ｎに対して処理過程を送信するものとし、ユーザ端末４０１～４０ｎ側では、受信した処理過程の内容に基づいた画面内容を表示装置の表示画面に表示させるものとする。画面内容の生成は、サーバ装置３０側で行ってもよいし、ユーザ端末４０１～４０ｎ側で行ってもよい。

以下においては、図２に示すサーバ装置３０を図１に示す情報処理装置１０として機能させる場合を例として説明を行う。

位置情報取得部１１は、ユーザ端末の位置情報を取得する機能を有する。ここで、位置情報は、ユーザ端末の位置を示す情報であればどのようなものであってもよい。一例としては、ＧＰＳによって取得した緯度経度情報や、複数種類の無線信号の受信強度に基づく位置推定による位置情報などが考えられる。また、最後に正確に位置情報を取得した位置からユーザ端末が移動した場合の移動方向及び移動距離を推測してユーザ端末の位置情報を推定するＤＲ（Dead Reckoning：自律航法）を採用して取得した位置情報であってもよい。

時刻情報取得部１２は、日付を含む現在時刻情報を取得する機能を有する。日付を含む現在時刻を取得可能であればどのような方法であってもよい。

天候情報取得部１３は、ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する機能を有する。天候情報は、現在の実際の気象情報を示す情報であってもよいし、予め予測された気象予測情報を天候情報として取得するものであってもよい。気象予測情報を天候情報として取得する際には、現在時刻情報を併せて利用する。

天然光源推定部１４は、取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する機能を有する。ここで、天然光源とは、自然界における光源のことをいう。天然光源としては、例えば、太陽は最も影響の大きい直接光源であり、月も直接光源である。また、太陽を含む直接光源を反射することで光源となる間接光源も天然光源に含まれる。また、青空、雲、霧などは、アンビエントライト（ambient light：周囲光）としての天然光源である。取得する天然光源の情報は、レンダリングの際に演算に用いる光源として定義したものを取得する構成である必要がある。簡略化した天然光源情報の取得例としては、日時とユーザ端末の位置情報とから推定される太陽の方向の情報を取得し、シーン内のすべてのオブジェクトに拡散アンビエントカラーを追加するだけの半球状の光源とするために天候情報から推定される空の色を取得することが考えられる。

現実対応オブジェクト情報取得部１５は、位置情報に基づいてユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（以下、現実対応オブジェクトという）の情報を取得する機能を有する。現実対応オブジェクトは、例えば、ビル等の建築物、街灯、信号などの屋外における現実のオブジェクトや、ドア、窓ガラス、照明などの屋内における現実のオブジェクトなどについて、仮想空間上に現実の配置と同一の配置にて予め３次元モデルを生成して記憶させておく。現実対応オブジェクト情報取得部１５では、予め記憶させた現実対応オブジェクトのうち、ユーザ端末の位置情報周辺の現実対応オブジェクトを取得するようにする。

撮影画像取得部１６は、ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた撮影画像及び撮影方向情報を取得する機能を有する。撮影画像は、動画であってもよいし、静止画であってもよい。撮影方向情報は、ユーザ端末が備える方位センサによって取得する。

第一光源影響演算部１７は、推定した天然光源状況における現実対応オブジェクトに対する光源の影響を演算する機能を有する。具体的には、取得した現実対応オブジェクトに対する天然光源の影響を考慮したシェーディングを含むレンダリング処理を実行することで、現実対応オブジェクトに生じる影、反射、明るさの変化など、光源からの影響を演算によって求める処理を行う。

仮想オブジェクト情報取得部１８は、ユーザ端末の位置周辺に配置されカメラ装置の撮影範囲内に位置する可能性のある仮想オブジェクトの情報を取得する機能を有する。仮想オブジェクトの配置は、位置座標に紐付けて記憶させたものであってもよいし、オブジェクトの所定位置に対して紐付けて記憶させたものであってもよい。また、どの範囲の仮想オブジェクトの情報を取得するかは適宜設定可能であり、撮影方向情報に基づいて撮影範囲を予測して仮想オブジェクト情報を取得する手法であってもよいし、ユーザ端末の位置から所定の距離に配置された全ての仮想オブジェクトの情報を取得する手法であってもよい。

第二光源影響演算部１９は、現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する機能を有する。この第二光源影響演算部１９では、現実対応オブジェクトの中に仮想オブジェクトを配置した状態において、仮想オブジェクトに対する天然光源の影響を演算する。例えば、仮想オブジェクトと現実対応オブジェクトであるビルが近接している場合、光源である太陽の向きによっては、ビルの影が仮想オブジェクトに掛かって、仮想オブジェクトの一部に太陽の光が直接は当たらない状況となる可能性がある。このような場合には、仮想オブジェクトのうちビルの影が掛かった箇所は、他のオブジェクトに対して影を落とすことはないことになる。このように、現実対応オブジェクトの中に配置した状態での光源の影響を演算することで、現実のオブジェクトの中に仮想オブジェクトが実際に存在すると仮定したときのリアルな光源の影響を表現することが可能となる。具体的な演算方法の一例としては、現実対応オブジェクトの中に仮想オブジェクトを配置した状態において天然光源の影響を考慮したレンダリング処理を実行した結果から、第一光源影響演算部１７における演算結果を減算することで、仮想オブジェクトに対する天然光源の影響のみを抽出することが考えられる。

重畳表示部２０は、撮影画像上における仮想オブジェクトの接地位置を特定し、仮想オブジェクト及び演算した光源影響を撮影画像上の特定した接地位置に対して重畳表示させる機能を有する。

記憶部２１は、情報処理装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。

次に、本例の情報処理装置１０において行われる情報処理の流れについて説明を行う。図３は、本発明の少なくとも１つの実施形態における情報処理の例を示すフローチャートである。この図３に示すように、情報処理は、先ず、情報処理装置１０において、ユーザ端末の位置情報、現在時刻情報及び天候情報を順次取得することによって開始される（ステップＳ１０１）。次に、情報処理装置１０は、取得した位置情報、時刻情報及び天候情報に基づいて、ユーザ端末の位置における天然光源の状況を推定する（ステップＳ１０２）。次に、情報処理装置１０は、位置情報に基づいてユーザ端末の周辺に存在する現実のオブジェクトに対応した現実対応オブジェクトの情報を取得する（ステップＳ１０３）。次に、情報処理装置１０は、ユーザ端末による撮影画像及び撮影方向情報を取得する（ステップＳ１０４）。次に、情報処理装置１０は、推定した天然光源状況における現実対応オブジェクトに対する光源の影響を演算する（ステップＳ１０５）。次に、情報処理装置１０は、ユーザ端末の位置周辺に配置されカメラ装置の撮影範囲内に位置するＡＲとして表示させる可能性のある仮想オブジェクトの情報を取得する（ステップＳ１０６）。次に、情報処理装置１０は、現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する（ステップＳ１０７）。この処理により、重畳表示の際に描画する仮想オブジェクト、及び、影、反射等の仮想オブジェクトに起因する光源の影響を取得する。そして、情報処理装置１０は、撮影画像上における前記仮想オブジェクトの接地位置を特定し、仮想オブジェクト及び演算した光源影響を撮影画像上の特定した接地位置に対して重畳表示させて（ステップＳ１０６）、情報処理を終了する。

次に、本例の情報処理装置１０を適用した場合の結果について、具体例に基づいて説明を行う。図４は、本発明の少なくとも１つの実施形態を適用していない場合のＡＲ表示の例を表した説明図である。また、図５は、本発明の少なくとも１つの実施形態を適用していない場合のＡＲ表示の例の一部を拡大した説明図である。この図４は、現実のオブジェクトであるビルの周囲に複数の球体を仮想オブジェクトとして配置し、かつ、現実のオブジェクトであるビルの窓ガラス部分に文字を表示させるＡＲ表示を行った例である。図５は、図４の一部を拡大した画像である。この図４及び図５に示すように、本発明を適用せずに、仮想オブジェクトに対する光源の影響のみを演算して、その演算結果を重畳表示すると、本来はビルの影に掛かって他のオブジェクトに対して影を落とさない箇所が、影を落とすように演算結果が出てしまうため、ビルの影と仮想オブジェクトの影が重なって描画されてしまうという本来は生じ得ない状況が生じてしまうという問題があった。

そこで、本例では、ユーザ端末の位置における天然光源の状況を推定して、その天然光源による現実対応オブジェクトに対する影響を演算し、かつ、現実対応オブジェクトの近傍に配置された仮想オブジェクトに対する天然光源の影響を演算することで、仮想オブジェクトに対する天然光源の影響のみを抽出して重畳表示することを可能にしている。

図６は、本発明の少なくとも１つの実施形態における天然光源推定処理の一例の概念を表した概念図である。現実世界の現象を忠実に再現すべく天然光源の状況を詳細に設定することも可能であるが、そのような複雑な現象をリアルタイムに演算するには相当な演算処理能力が必要となるため、現実的には、天然光源の状況を簡略化して推定することが好ましい。そこで、この図６に示すように、日時とユーザ端末の位置情報とから太陽の方向を推定し、半球状の光源を設定して、その半球状の光源はその内側に位置する全てのオブジェクトに対して拡散アンビエントカラーを追加するアンビエントライトとして機能するものとする。具体的には、天候情報から推定される空の色をアンビエントライトのカラーとして採用する。晴天の場合には青色を採用し、曇天の場合には灰色を採用する。また、夜の場合には黒色、朝方や夕方は赤みを帯びた色など、時刻によって異なる色を採用する。また、曇天の場合には太陽からの直接光源の影響を減少させるようにしてもよい。このような簡略化した天然光源推定処理を行うことで、その後の光源の影響の演算処理の負荷量を軽減することが可能となる。

図７は、本発明の少なくとも１つの実施形態を適用した場合のＡＲ表示の例を表した説明図である。また、図８は、本発明の少なくとも１つの実施形態を適用した場合のＡＲ表示の例の一部を拡大した説明図である。この図７及び図８は、図４及び図５と同一の状況であるが、この図７及び図８に示すように、本発明の少なくとも１つの実施形態を適用した場合には、仮想オブジェクトに対する天然光源の影響のみを抽出して重畳表示できるので、ビルの影と仮想オブジェクトの影が重なって描画されることなく、より自然な状況で描画が実行される。

以上に説明したように、上記の実施形態の一側面として、情報処理装置１０が、位置情報取得部１１と、時刻情報取得部１２と、天候情報取得部１３と、天然光源推定部１４と、現実対応オブジェクト情報取得部１５と、撮影画像取得部１６と、第一光源影響演算部１７と、仮想オブジェクト情報取得部１８と、第二光源影響演算部１９と、重畳表示部２０と、記憶部２１とを備える構成とし、ユーザ端末の位置情報を取得し、現在時刻情報を取得し、ユーザ端末の位置情報に基づいて当該位置の天候情報を取得し、取得した位置情報、時刻情報及び天候情報に基づいて、ユーザ端末の位置における天然光源の状況を推定し、位置情報に基づいてユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上の現実対応オブジェクトの情報を取得し、ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた撮影画像及び撮影方向情報を取得し、推定した天然光源状況における現実対応オブジェクトに対する光源の影響を演算し、ユーザ端末の位置周辺に配置されカメラ装置の撮影範囲内に存在する可能性のある仮想オブジェクトの情報を取得し、現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した天然光源状況における仮想オブジェクトに対する光源の影響を演算し、撮影画像上における仮想オブジェクトの接地位置を特定し、仮想オブジェクト及び演算した光源影響を撮影画像上の特定した接地位置に対して重畳表示させるようにしたので、周辺の現実のオブジェクトとの整合性を考慮したＡＲ表示が可能となる。

［第２の実施形態］
第１の実施形態においては、周辺の現実のオブジェクトとの整合性を考慮した仮想オブジェクトのＡＲ表示を行うために、現実対応オブジェクトを配置した仮想空間上に仮想オブジェクトを配置してから、推定した天然光源の影響を演算するようにしていたが、この第２の実施の形態においては、現実対応オブジェクトに対する天然光源の影響を演算してその状況を仮想カメラで撮影して仮想撮影画像を得ることで、ユーザが実際に撮影した撮影画像に映るオブジェクトを特定するためのトラッキング処理に利用する例について説明する。

図９は、本発明の少なくとも１つの実施形態における情報処理装置の構成の例を示すブロック図である。図９に示すように、本発明の第２の実施形態における情報処理装置１０は、位置情報取得部１１と、時刻情報取得部１２と、天候情報取得部１３と、天然光源推定部１４と、現実対応オブジェクト情報取得部１５と、撮影画像取得部１６と、仮想撮影画像生成部２２と、撮影オブジェクト特定部２３と、記憶部２１とを備える。なお、第１の実施形態と同一の符号を付したものについては、第１の実施形態と同様に機能するものであるため、説明を省略する。

仮想撮影画像生成部２２は、撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも１パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する機能を有する。本例では、現実対応オブジェクト情報取得部１５においてユーザ端末の位置周辺の現実対応オブジェクトを取得している。そして、その状況において、ユーザ端末から取得した位置情報が実際のユーザ端末の位置を正確に示すものであれば、現実対応オブジェクトを配置した仮想空間上において同一位置かつ同一撮影方向で撮影することで、ユーザ端末による撮影画像に映るオブジェクトと一致する現実対応オブジェクトを特定することができる。その特定精度を向上させるために、天然光源推定部１４で推定した天然光源の状況を用いてレンダリング処理を行って仮想撮影画像を取得するようにする。なお、ユーザ端末の位置情報が必ずしも正確でない場合がある。例えば、ＧＰＳ情報は周囲の建築物の影響等でずれる可能性があるし、複数種類の無線信号の受信強度に基づく位置推定やＤＲによる位置推定も正確な位置を示さない可能性がある。よって、仮想カメラによる仮想撮影画像の生成を１パターンのみならず、仮想カメラの位置や撮影角度を異ならせた複数パターンについて仮想撮影画像を生成するようにしてもよい。

撮影オブジェクト特定部２３は、撮影画像と仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する機能を有する。撮影画像と仮想撮影画像を照合して視覚的特徴の一致箇所を抽出し、例えば、一致箇所に関するスコアが所定の閾値を超えた場合に、撮影画像に映るオブジェクトと現実対応オブジェクトが同一のオブジェクトであると特定する。これにより、撮影画像に映るオブジェクトを特定することができる。

次に、本例の情報処理装置１０において行われる情報処理の流れについて説明を行う。図１０は、本発明の少なくとも１つの実施形態における情報処理の例を示すフローチャートである。この図１０に示すように、情報処理は、先ず、情報処理装置１０において、ユーザ端末の位置情報、現在時刻情報及び天候情報を順次取得することによって開始される（ステップＳ２０１）。次に、情報処理装置１０は、取得した位置情報、時刻情報及び天候情報に基づいて、ユーザ端末の位置における天然光源の状況を推定する（ステップＳ２０２）。次に、情報処理装置１０は、位置情報に基づいてユーザ端末の周辺に存在する現実のオブジェクトに対応した現実対応オブジェクトの情報を取得する（ステップＳ２０３）。次に、情報処理装置１０は、ユーザ端末による撮影画像及び撮影方向情報を取得する（ステップＳ２０４）。次に、情報処理装置１０は、推定した天然光源状況における現実対応オブジェクトに対する光源の影響を演算する（ステップＳ２０５）。次に、情報処理装置１０は、ユーザ端末の位置周辺に配置されカメラ装置の撮影範囲内に位置するＡＲとして表示させる可能性のある仮想オブジェクトの情報を取得する（ステップＳ２０６）。次に、情報処理装置１０は、撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも１パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する（ステップＳ２０７）。そして、情報処理装置１０は、撮影画像と仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定して（ステップＳ１０６）、情報処理を終了する。

図１１は、本発明の少なくとも１つの実施形態におけるトラッキング処理の一例の概念を表した概念図である。この図１１の左側がユーザ端末によって撮影した撮影画像であり、図１１の右側が仮想空間上の現実対応オブジェクトを撮影した仮想撮影画像である。この図１１に示すように、天然光源の状況を反映させてより現実に近い状況でレンダリングを行って得た仮想撮影画像を用いることで、影、反射、明るさなどの状況が近似している条件で照合を行うことができるので、トラッキングの精度を向上させることが可能となる。

以上に説明したように、上記の実施形態の一側面として、情報処理装置１０が、位置情報取得部１１と、時刻情報取得部１２と、天候情報取得部１３と、天然光源推定部１４と、現実対応オブジェクト情報取得部１５と、撮影画像取得部１６と、仮想撮影画像生成部２２と、撮影オブジェクト特定部２３と、記憶部２１とを備える構成とし、ユーザ端末の位置情報を取得し、現在時刻情報を取得し、ユーザ端末の位置情報に基づいて当該位置の天候情報を取得し、取得した位置情報、時刻情報及び天候情報に基づいて、ユーザ端末の位置における天然光源の状況を推定し、位置情報に基づいてユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上の現実対応オブジェクトの情報を取得し、ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた撮影画像及び撮影方向情報を取得し、撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも１パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成し、撮影画像と仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定するようにしたので、天然光源の状況を反映させてより現実に近い状況でレンダリングを行って得た仮想撮影画像を用いることで、影、反射、明るさなどの状況が近似している条件で照合を行うことができるので、トラッキングの精度を向上させることが可能となる。

［第３の実施形態］
第１及び第２の実施形態においては、ユーザ端末による撮影方向は、ユーザ端末が備える方位センサによって取得するものとして説明を行ったが、撮影画像に映るオブジェクトトとその影の伸びる方向に基づいて、ソーラーコンパスの原理によって撮影方向を特定するようにしてもよい。

図１２は、本発明の少なくとも１つの実施形態におけるカメラ方位推定処理の一例の概念を表した概念図である。この図１２に示すように、ソーラーコンパスの原理は、撮影を行った日時が判明している場合、太陽の方向は一意に特定されるため、［２］影の向きが指す方位が判明し、これに基づいて［１］北の方位が判明する。この状況において、［１］北の方位、［２］影の向き、［３］影の向き、［４］太陽方位角、［５］相対的な影方位に基づいて、［６］カメラ方位を特定することが可能となる。

このように、ソーラーコンパスの原理によってカメラ方位を特定する手法を採用して、第１及び第２の実施の形態を実施するようにしてもよい。

以上に説明したように、本願の各実施形態により１または２以上の不足が解決される。なお、夫々の実施形態による効果は、非限定的な効果または効果の一例である。

なお、上述した各実施形態では、複数のユーザ端末４０１～４０ｎとサーバ装置３０は、自己が備える記憶装置に記憶されている各種制御プログラム（例えば、ビデオゲーム処理プログラム）に従って、上述した各種の処理を実行する。

また、本願の各実施形態における情報処理装置１０を適用するシステムの構成は、上述した各実施形態の例として説明した構成に限定されず、例えばユーザ端末４０が実行する処理として説明した処理の一部または全部をサーバ装置３０が実行する構成としてもよいし、サーバ装置３０が実行する処理として説明した処理の一部または全部を複数のユーザ端末４０１～４０ｎの何れかが実行する構成としてもよい。また、サーバ装置３０が備える記憶部の一部または全部を複数のユーザ端末４０１～４０ｎの何れかが備える構成としてもよい。すなわち、システムにおけるユーザ端末４０とサーバ装置３０のどちらか一方が備える機能の一部または全部を、他の一方が備える構成とされていてもよい。

１０情報処理装置
１１位置情報取得部
１２時刻情報取得部
１３天候情報取得部
１４天然光源推定部
１５現実対応オブジェクト情報取得部
１６撮影画像取得部
１７第一光源影響演算部
１８仮想オブジェクト情報取得部
１９第二光源影響演算部
２０重畳表示部
２１記憶部
２２仮想撮影画像生成部
２３撮影オブジェクト特定部
３０サーバ装置
４０、４０１～４０ｎユーザ端末
５０通信ネットワーク

Claims

ユーザが所持するユーザ端末によって撮影された撮影画像に対して、現実空間の所定位置と対応付けて記憶させた仮想オブジェクトを重畳表示させる処理をコンピュータに実現させるための情報処理プログラムであって、
前記コンピュータに、
前記ユーザ端末の位置情報を取得する位置情報取得機能と、
現在時刻情報を取得する時刻取得機能と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得機能と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定機能と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得機能と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得機能と、
推定した前記天然光源状況における前記現実対応オブジェクトに対する光源の影響を演算する第一光源影響演算機能と、
前記ユーザ端末の位置周辺に配置され前記カメラ装置の撮影範囲内に位置する可能性のある前記仮想オブジェクトの情報を取得する仮想オブジェクト情報取得機能と、
前記現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する第二光源影響演算機能と、
前記撮影画像上における前記仮想オブジェクトの接地位置を特定し、前記仮想オブジェクト及び演算した光源影響を前記撮影画像上の特定した接地位置に対して重畳表示させる重畳表示機能と
を実現させる情報処理プログラム。
前記天然光源推定機能は、日時と前記ユーザ端末の位置情報とから推定される太陽の方向の情報を取得し、また、内側に位置する全てのオブジェクトに対して拡散アンビエントカラーを追加するアンビエントライトとして機能する半球状の光源を定義して、前記時刻情報及び前記天候情報から推測される空の色を半球状の光源に設定されるアンビエントカラーとする
請求項１記載の情報処理プログラム。
前記第二光源影響演算機能は、前記現実対応オブジェクトの中に前記仮想オブジェクトを配置した状態において前記天然光源の影響を考慮したレンダリング処理を実行した結果から、前記第一光源影響演算機能における演算結果を減算することで、前記仮想オブジェクトに対する天然光源の影響のみを抽出する
請求項１又は２に記載の情報処理プログラム。
ユーザが所持するユーザ端末によって撮影された撮影画像に対して、現実空間の所定位置と対応付けて記憶させた仮想オブジェクトを重畳表示させる処理を行うための情報処理装置であって、
前記ユーザ端末の位置情報を取得する位置情報取得部と、
現在時刻情報を取得する時刻取得部と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得部と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定部と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得部と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得部と、
推定した前記天然光源状況における前記現実対応オブジェクトに対する光源の影響を演算する第一光源影響演算部と、
前記ユーザ端末の位置周辺に配置され前記カメラ装置の撮影範囲内に位置する可能性のある前記仮想オブジェクトの情報を取得する仮想オブジェクト情報取得部と、
前記現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する第二光源影響演算部と、
前記撮影画像上における前記仮想オブジェクトの接地位置を特定し、前記仮想オブジェクト及び演算した光源影響を前記撮影画像上の特定した接地位置に対して重畳表示させる重畳表示部と
を備える情報処理装置。
ユーザが所持するユーザ端末によって撮影された撮影画像に対して、現実空間の所定位置と対応付けて記憶させた仮想オブジェクトを重畳表示させる処理をコンピュータに実行させるための情報処理方法であって、
前記ユーザ端末の位置情報を取得する位置情報取得手順と、
現在時刻情報を取得する時刻取得手順と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得部と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定手順と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得手順と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得手順と、
推定した前記天然光源状況における前記現実対応オブジェクトに対する光源の影響を演算する第一光源影響演算手順と、
前記ユーザ端末の位置周辺に配置され前記カメラ装置の撮影範囲内に位置する可能性のある前記仮想オブジェクトの情報を取得する仮想オブジェクト情報取得手順と、
前記現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する第二光源影響演算手順と、
前記撮影画像上における前記仮想オブジェクトの接地位置を特定し、前記仮想オブジェクト及び演算した光源影響を前記撮影画像上の特定した接地位置に対して重畳表示させる重畳表示手順と
を含む情報処理方法。
ユーザが所持するユーザ端末によって撮影された撮影画像に映る現実のオブジェクトと、現実のオブジェクトに予め対応させて記憶させた仮想空間上のオブジェクト（現実対応オブジェクト）とを照合して撮影画像に映るオブジェクトを特定する処理をコンピュータに実現させるための情報処理プログラムであって、
前記コンピュータに、
前記ユーザ端末の位置情報を取得する位置情報取得機能と、
現在時刻情報を取得する時刻取得機能と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得機能と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定機能と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得機能と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得機能と、
前記撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも１パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した前記天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する仮想撮影画像生成機能と、
前記撮影画像と前記仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する撮影オブジェクト特定機能と
を実現させる情報処理プログラム。
ユーザが所持するユーザ端末によって撮影された撮影画像に映る現実のオブジェクトと、現実のオブジェクトに予め対応させて記憶させた仮想空間上のオブジェクト（現実対応オブジェクト）とを照合して撮影画像に映るオブジェクトを特定する処理を行うための情報処理装置であって、
前記ユーザ端末の位置情報を取得する位置情報取得部と、
現在時刻情報を取得する時刻取得部と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得部と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定部と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得部と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得部と、
前記撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも１パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した前記天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する仮想撮影画像生成部と、
前記撮影画像と前記仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する撮影オブジェクト特定部と
を備える情報処理装置。
ユーザが所持するユーザ端末によって撮影された撮影画像に映る現実のオブジェクトと、現実のオブジェクトに予め対応させて記憶させた仮想空間上のオブジェクト（現実対応オブジェクト）とを照合して撮影画像に映るオブジェクトを特定する処理をコンピュータに実行させるための情報処理方法であって、
前記ユーザ端末の位置情報を取得する位置情報取得手順と、
現在時刻情報を取得する時刻取得手順と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得手順と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定手順と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト（現実対応オブジェクト）の情報を取得する現実対応オブジェクト情報取得手順と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得手順と、
前記撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも１パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した前記天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する仮想撮影画像生成手順と、
前記撮影画像と前記仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する撮影オブジェクト特定手順と
を含む情報処理方法。