JP2021086355A - 情報処理方法、プログラム、及び情報処理装置 - Google Patents

Abstract

【課題】簡便な処理を用いて疑似３Ｄモデルを適切に生成する。【解決手段】情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、対象物を撮影すること、撮影される画像に含まれる特徴点群を用いて３次元空間を作成すること、３次元空間内の情報処理装置の自己位置を推定すること、対象物に関連して３次元空間内に設定される基準位置と、３次元空間内で推定された情報処理装置の自己位置との相対位置を取得すること、情報処理装置の位置又は角度が変更される所定のタイミングごとに、位置又は角度により撮影された画像と、位置又は角度に対応して取得された相対位置を示す相対位置情報とを他の情報処理装置に送信すること、基準位置に基づく第１オブジェクトを画面に表示制御し、第１オブジェクトを用いて対象物の未撮影の位置を視認可能に表示制御すること、を実行する。【選択図】図１

Description

本開示は、情報処理方法、プログラム、及び情報処理装置に関する。

３Ｄモデルを生成する一般的な手法の一つとして、フォトグラメトリがある（例えば非特許文献１参照）。このフォトグラメトリでは、対象物を複数の視点からスキャンして、このスキャン画像から３Ｄモデルを構築する。しかし、この手法は、技能のあるユーザでなければ、適切な３Ｄモデルを構築するのが難しい。さらに、この手法は、処理負荷が大きく、高性能なＰＣ（Personal Computer）等が必要となる。

また、３Ｄモデル構築に関して処理負荷を減らす方法の一つに、Ｉｍｐｏｓｔｅｒがある（例えば非特許文献２）。このＩｍｐｏｓｔｅｒでは、対象物を複数の視点から撮影し、撮影した画像をつなぎ合わせることで、疑似的な３Ｄモデルを生成する。

Ｐｓｙｃｈｉｃ ＶＲ Ｌａｂ、"フォトグラメトリ入門 撮影方法〜３Ｄモデル作成"、［online］、［２０１９年１１月１１日検索］、インターネット＜https://styly.cc/ja/tips/photogrammetry_discont_photogrammetry/＞ ３Ｄ人、"Impostor - 偽りの全方向ビルボード！UE4やUnityで手軽に使える用になりました。"、［online］、［２０１９年１１月１１日検索］、インターネット＜https://3dnchu.com/archives/easy-impostors/＞

しかしながら、疑似的な３Ｄモデル（以下、「疑似３Ｄモデル」とも称す。）を生成する従来技術では、対象物を少なくとも１８０度の様々な角度で静止画を撮影する必要があり、これを実行可能にする専用の器具が用いられており、気軽に疑似３Ｄモデルを生成することはできなかった。

本開示は、簡便な処理を用いて疑似３Ｄモデルを適切に生成することを可能にする情報処理方法、プログラム、及び情報処理装置を提供することを目的の一つとする。

本開示の一実施形態に係る情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、対象物を撮影すること、撮影される画像に含まれる特徴点群を用いて３次元空間を作成すること、前記３次元空間内の前記情報処理装置の自己位置を推定すること、前記対象物に関連して前記３次元空間内に設定される基準位置と、前記３次元空間内で推定された前記情報処理装置の自己位置との相対位置を取得すること、前記情報処理装置の位置又は角度が変更される所定のタイミングごとに、当該位置又は角度により撮影された画像と、前記位置又は角度に対応して取得された前記相対位置を示す相対位置情報とを他の情報処理装置に送信すること、前記基準位置に基づく第１オブジェクトを画面に表示制御し、前記第１オブジェクトを用いて前記対象物の未撮影の位置を視認可能に表示制御すること、を実行する。

開示の技術によれば、簡便な処理を用いて疑似３Ｄモデルを適切に生成することを可能にする。

実施形態における情報処理システムの各構成例を示す図である。 実施形態に係るユーザ端末の一例を示すブロック図である。 実施形態に係るサーバの一例を示すブロック図である。 実施形態に係るユーザデータの一例を示す図である。 実施形態に係る取引データの一例を示す図である。 実施形態に係る商品データの一例を示す図である。 実施形態に係る画像データの一例を示す図である。 実施形態に係る情報処理システムにおける疑似３Ｄモデルの生成処理の一例を示すシーケンス図である。 実施形態に係る情報処理システムにおける疑似３Ｄモデルの表示処理の一例を示すシーケンス図である。 実施形態に係る撮影中の表示画面の具体例を説明するための図である。 実施形態に係る疑似３ＤモデルをＡＲ表示する例を示す図である。 実施形態に係る疑似３ＤモデルをＡＲ表示する例を示す図である。 実施形態に係る疑似３ＤモデルをＡＲ表示する例を示す図である。 実施形態に係る疑似３Ｄモデルを所定の表示ツールを用いて表示する例を示す図である。 実施形態に係る疑似３Ｄモデルを所定の表示ツールを用いて表示する例を示す図である。 実施形態に係る疑似３Ｄモデルを所定の表示ツールを用いて表示する例を示す図である。

以下、本開示の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

［実施形態］
実施形態では、第１ユーザ（例えば出品者）が、出品対象の対象物（例えば商品）を、いろいろな角度から第１情報処理装置（例えば携帯端末等）のカメラで撮影し、撮影された画像（例えば静止画像）をサーバに送信する。このとき、第１情報処理装置は、公知技術を用いて３次元空間の環境地図を作成し、この３次元空間内での自己位置推定を行い、３次元空間内の対象物と第１情報処理装置との相対位置を求め、撮影された画像とともに相対位置の情報（以下、「相対位置情報」とも称す。）もサーバに送信する。また、第１情報処理装置は、対象物に対して未撮影の位置を視認可能にすることで、適切な位置及び／又は角度での撮影を第１ユーザに案内（ガイド）する。

第１情報処理装置は、ガイド等により、例えば、カメラの位置や角度が変更された画像が撮影される度に、その自己位置での相対位置情報と画像とをサーバに送信する。このとき、第１情報処理装置は、対象物を識別するための情報を示す対象物ＩＤ（例えば商品ＩＤ）を、画像及び相対位置情報ともにサーバに送信してもよい。

サーバは、第１ユーザにより撮影された画像と、その画像に対する相対位置情報とを関連付けて保存する。また、サーバは、その画像に含まれる対象物の対象物ＩＤに、画像及び相対位置情報のセットを関連付ける。対象物ＩＤは、画像と相対位置情報とのセットとともに送信される場合は、サーバは、その対象物ＩＤを利用する。また、サーバは、画像に含まれる対象物に対して物体検出を行い、検出された物体にＩＤを割り当て、このＩＤを対象物ＩＤとして管理してもよい。なお、この対象物ＩＤごとに関連付けられる画像及び相対位置情報のセットが疑似３Ｄモデルを構成する。

サーバは、第２ユーザ（例えば閲覧者）が利用する第２情報処理装置から対象物ＩＤを受信した場合、この対象物ＩＤに関連付けられている各画像と各相対位置情報とを第２情報処理装置に送信する。

第２情報処理装置は、サーバから各画像と各相対位置情報とを受信すると、予め設定された基準位置に、受信された各画像のうちの一つの第１画像を表示する。次に、第２情報処理装置は、この第１画像に対応する相対位置情報を基準に、この相対位置情報が示す相対位置を変更するユーザ操作に応じて、変更後の相対位置に対応する画像を表示する。

以上の実施形態によれば、第１情報処理装置を用いて、簡便な処理により疑似３Ｄモデルを適切に生成することがでできる。第１情報処理装置では、ＡＲ（Augmented Reality）の技術で用いられる環境地図作成処理、自己位置推定処理を用いることで、撮影空間に関する３次元空間を構築し、この３次元空間における対象物とカメラ（第１情報処理装置）との相対位置情報を求めることができる。求められた相対位置情報は、画像とともに管理されることで、疑似３Ｄモデルを生成することが可能になる。また、対象物に対して未撮影の位置を視認可能にすることで、必要十分な位置、角度での撮影を可能にし、適切な疑似３Ｄモデルを生成することが可能になる。

＜システムの適用例＞
図１は、実施形態における情報処理システム１の各構成例を示す図である。図１に示す例では、各ユーザが利用する各情報処理装置１０Ａ、１０Ｂ、電子商取引プラットフォームを管理するサーバ２０がネットワークＮを介して接続される。なお、情報処理装置１０Ａ、１０Ｂは、任意の数がネットワークＮに接続される。

情報処理装置１０Ａ、１０Ｂは、例えば、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ、ＰＤＡ（Personal Digital Assistant）などであり、内蔵又は外付けにより撮影装置を有する。情報処理装置１０Ａ、１０Ｂは、特に区別しない場合は、情報処理装置１０、又はユーザ端末１０とも表記する。

情報処理装置２０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置２０は、電子商取引プラットフォームを管理し、また、出品商品の画像を管理して、疑似３Ｄモデルを閲覧者に提供することも可能である。以下、情報処理装置２０は、サーバ２０とも表記する。

図１に示す例では、ユーザ端末１０Ａは、例えば第１ユーザＵＡが利用する端末であり、カメラ機能を起動し、出品対象の商品Ｇを撮影し、撮影された画像をサーバ２０に送信する。このとき、ユーザ端末１０Ａは、公知の自己位置推定処理を実行し、３次元空間内の自端末の位置を推定し、３次元空間内の商品Ｇの位置と自己位置との相対位置を算出する。算出された相対位置を示す相対位置情報は、画像とともにサーバ２０に送信される。

サーバ２０は、受信した画像と相対位置情報とを関連付けて管理する。このとき、サーバ２０は、商品Ｇの商品情報を管理するとともに、商品ＩＤに関連付けて、画像と相対位置情報とのセットを複数管理する。これにより、サーバ２０は、商品ごとに、画像と相対位置情報とのセットを複数含む疑似３Ｄモデルを構築することができる。

ユーザ端末１０Ｂは、例えば第２ユーザＵＢが利用する端末であり、ユーザ操作に基づいて、出品中の商品から閲覧したい商品を選択し、選択した商品の商品ＩＤをサーバ２０に送信する。ユーザ端末１０Ｂは、送信した商品ＩＤに対応する疑似３Ｄモデルをサーバ２０から受信し、疑似３Ｄモデルを画面に表示制御する。表示の仕方としては、例えば、疑似３Ｄモデルを起動中のカメラの画像にＡＲ表示制御してもよいし、所定のツールを用いて表示制御してもよい。

＜構成の一例＞
図２は、実施形態に係るユーザ端末１０の一例を示すブロック図である。ユーザ端末１０は、１つ又は複数の処理装置（ＣＰＵ）１１０、１つ又は複数のネットワーク又は他の通信インタフェース１２０、メモリ１３０、ユーザインタフェース１５０、撮影装置１６０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス１７０を含む。

ユーザインタフェース１５０は、例えば、ディスプレイ装置１５１及び入力装置（キーボード及び／又はマウス又は他の何らかのポインティングデバイス等）１５２を備えるユーザインタフェース１５０である。また、ユーザインタフェース１５０は、タッチパネルでもよい。

メモリ１３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。

また、メモリ１３０の他の例として、ＣＰＵ１１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施形態において、メモリ１３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

オペレーティングシステム１３１は、例えば、様々な基本的なシステムサービスを処理するとともにハードウェアを用いてタスクを実行するためのプロシージャを含む。

ネットワーク通信モジュール１３２は、例えば、ユーザ端末１０を他のコンピュータに、１つ又は複数のネットワーク通信インタフェース１２０及び、インターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ又は複数の通信ネットワークを介して接続するために使用され、送受信モジュールとしても使用されうる。

アプリデータ１３３は、ユーザが電子商取引プラットフォームを利用する際に処理されるデータを含む。例えば、アプリデータ１３３は、ユーザ情報や、撮影装置１６０を起動中に撮影（又は撮像）された画像や、サーバ２０から取得された情報を含む。他にも、疑似３Ｄモデルの情報などがアプリデータ１３３に含まれる。

以下、取引制御モジュール１３４及び表示制御モジュール１３９は、疑似３Ｄモデルを生成するための撮影側の処理と、疑似３Ｄモデルを表示するための表示側の処理とで、それぞれの処理が異なるため、場合分けをして説明する。

（撮影側の処理）
取引制御モジュール１３４は、サーバ２０が提供する電子商取引プラットフォームにおける商品の売買などの取引を制御する。例えば、取引制御モジュール１３４は、疑似３Ｄモデルの生成に関する撮影制御モジュール１３５、地図生成モジュール１３６、位置推定モジュール１３７、取得モジュール１３８を少なくとも有する。

撮影制御モジュール１３５は、第１ユーザ等の操作に応じてカメラ機能を起動させ、撮影装置１６０により、対象物が撮影された画像を取得し、サーバ２０に送信するよう制御する。カメラ起動後にレンズを通して取得される画像は、表示制御モジュール１３９により画面に表示制御されてもよい。

地図生成モジュール１３６は、レンズを通して取得される画像に含まれる特徴点群を用いて３次元空間のモデルを作成する。例えば、地図生成モジュール１３６は、周囲環境マッピング処理や、環境地図生成処理と呼ばれる公知の技術を用いて、撮影中の画像から３次元空間を生成する。

位置推定モジュール１３７は、生成された３次元空間内のユーザ端末１０の自己位置を推定する。例えば、位置推定モジュール１３７は、ユーザ端末１０（又は撮影装置１６０）の位置が３次元空間内でどこにいるのかを推定する自己位置推定処理と呼ばれる公知の技術を用いてもよい。

なお、例えば、地図生成モジュール１３６及び位置推定モジュール１３７は、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて、画像をもとに平面や物体を認識して空間を作成する周囲環境マッピング処理と、撮影している撮影装置１６０の位置が空間内でどこにいるのかを推定する自己位置推定処理とを同時に行ってもよい。

また、地図生成モジュール１３６及び位置推定モジュール１３７は、Ａｐｐｌｅ（登録商標）社が提供するＡＲＫｉｔ、Ｇｏｏｇｌｅ社が提供するＡＲＣｏｒｅなどを用いて、ＶＩＯ（Visual-Inertial Odometry）に基づき周囲環境マッピング処理と、自己位置推定処理とを行ってもよい。ＶＩＯ技術では、ユーザ端末１０の加速度センサやジャイロセンサからのセンシング情報も用いて、自己位置推定を行う。

取得モジュール１３８は、対象物に関連して３次元空間内に設定される基準位置と、３次元空間内で推定されたユーザ端末１０の自己位置との相対位置を取得する。例えば、取得モジュール１３８は、検出された特徴群を用いて、対象物が存在すると推定される面を基準面とし、基準面上における対象物の中心を基準位置として設定してもよい。また、取得モジュール１３８は、簡易的に、撮影時の対象物は画面の中心にあると予測し、画面の中心を基準位置として設定してもよく、その他の基準で基準位置を設定してもよい。なお、取得モジュール１３８の相対位置情報を取得する処理は、位置推定モジュール１３７が実行してもよい。

取引制御モジュール１３４は、ユーザ端末１０の位置又は角度が変更される所定のタイミングごとに、この位置又は角度により撮影された画像と、この位置又は角度に対応して取得された相対位置情報とをサーバ２０に送信するよう制御する。これにより、ネットワーク通信モジュール１３２は、撮影される所定のタイミングで、画像及び相対位置情報をサーバ２０に送信することが可能になる。所定のタイミングは、撮影ボタンなどが押下され、静止画像が取得されたタイミングでもよい。

表示制御モジュール１３９は、画面に対して設定された基準位置に基づく第１オブジェクトを画面に表示制御し、第１オブジェクトを用いて対象物の未撮影の位置を視認可能に表示制御する。例えば、表示制御モジュール１３９は、対象物を略覆うような略半球状で半透明の第１オブジェクトの中心が基準位置になるように表示制御する。

次に、表示制御モジュール１３９は、撮影された位置及び角度に対応する第１オブジェクトの表面の所定領域を識別可能にする。これにより、撮影済みの領域と未撮影の領域とを区別することができ、第１ユーザに対し、未撮影の位置及び角度で撮影するための案内を提供することができる。なお、第１オブジェクトは半球状に限らず、ボックス型、楕円型、任意の形状を有するオブジェクトであればよい。また、所定領域の識別方法は、色の違いを用いたり、枠で囲ったりすること等が考えられる。

これにより、簡便な処理を用いて疑似３Ｄモデルを適切に生成することが可能になる。例えば、対象物に対して撮影済み及び未撮影のそれぞれの領域を識別可能にすることで、未撮影の領域を第１ユーザに案内することができ、疑似３Ｄモデルを構築するために十分な量の画像を視覚的にわかりやすく表示することができる。

また、表示制御モジュール１３９は、撮影済の位置又は角度を示す第２オブジェクトを、第１オブジェクトに関連付けて表示制御することを含んでもよい。例えば、表示制御モジュール１３９は、撮像された画像の縮小版である第２オブジェクトを、撮影された位置及び角度に対応する第１オブジェクトの位置に表示制御する。より具体的には、表示制御モジュール１３９は、第２オブジェクトの中心を、自己位置と基準位置との線分が第１オブジェクトに交わる位置に表示制御する。第２オブジェクトの表示の仕方は、第１オブジェクトの表面に沿ってもよいし、沿わなくてもよい。

これにより、第１オブジェクトとは異なる第２オブジェクトを用いて、撮影された範囲を視覚的に表現することが可能になる。また、第２オブジェクトとして、撮影された画像を用いることで、どの位置及び角度からどのような画像が表現できるかを視認させつつ、他の位置及び角度での撮影を第１ユーザにガイドすることが可能になる。なお、第２オブジェクトは、撮影された画像ではなく、撮影された領域に関連するようなオブジェクトでもよい。

また、表示制御モジュール１３９は、奥行き方向を用いて、第２オブジェクトを重畳して表示制御することを含んでもよい。例えば、第１ユーザが、同じ位置、同じ角度から撮影した画像でも、ズームを用いて遠近を変更した画像や、角度は同じでも遠近の位置が異なる画像を撮影したとする。このとき、表示制御モジュール１３９は、奥行き方向を用いて、第１オブジェクトに近いほど、拡大された対象物に関する第２オブジェクト、第１オブジェクトから離れるほど、縮小された対象物に関する第２オブジェクトが表示されるように表示制御する。

これにより、同じ角度から位置又はズームの異なる複数の画像が撮影された場合でも、奥行き方向を用いて適切に撮影領域又は未撮影領域を表現することが可能になる。

また、取得モジュール１３８は、対象物のカテゴリ情報を取得してもよい。例えば、取得モジュール１３８は、ユーザ端末１０に入力された対象物のカテゴリ情報（例えば商品のカテゴリ）を取得してもよい。

この場合、表示制御モジュール１３９は、カテゴリ情報が示すカテゴリに応じて、第１オブジェクトを用いての未撮影の位置の表示方法を変更してもよい。例えば、カテゴリ情報が車、家具、高級品などの購入者が細部を気にするような商品の場合には、表示制御モジュール１３９は、矢印などにより近接した位置での撮像を案内したりする。また、対象物のカテゴリに応じて、対象物の撮像する位置や角度を変更するような案内（例えば矢印や吹き出しコメント等）をしたりする。また、表示制御モジュール１３９は、第１オブジェクトの表面の色などを用いて、その領域の色が濃い方が撮影を要することを示すなど、第１オブジェクト自体を用いて表示方向を変更してもよい。

これにより、対象物のカテゴリごとに、必要十分な画像を第１ユーザに知らせることができ、結果的に、対象物のカテゴリごとに、適切な疑似３Ｄモデルを作成することが可能になる。

また、表示制御モジュール１３９により表示される第２オブジェクトのサイズは、撮影された画像に含まれる対象物のサイズに応じて変更されてもよい。例えば、表示制御モジュール１３９は、画像内の対象物が示す面積が大きければ、第２オブジェクトのサイズを大きくし、画像内の対象物が占める面積が小さければ、第２オブジェクトのサイズを小さくする。

これにより、第２オブジェクトのサイズを用いて、どのようなサイズ感の対象物の画像が撮像されたかを第１ユーザに知らせることができる。

（表示側の処理）
取引制御モジュール１３４は、電子商取引プラットフォームにおいて出品された対象物（例えば商品）を公開し、ユーザに対象物の情報等を公開する。ここで、第２ユーザが、公開された対象物に興味を持ち、一つの対象物の閲覧等を選択したとする。

取引制御モジュール１３４は、選択された対象物を特定し、その対象物の識別情報（対象物ＩＤ、例えば商品ＩＤ）を、ネットワーク通信モジュール１３２を介してサーバ２０に送信するよう制御する。

取引制御モジュール１３４は、サーバ２０から、送信した対象物ＩＤに関連付けられる対象物が撮影された各画像、及び各相対位置情報を、ネットワーク通信モジュール１３４を介して受信する。相対位置情報は、対象物を撮影したユーザ端末１０が３次元空間内のどの位置にいるかが推定された自己位置と、３次元空間内の基準位置との相対位置を示す情報を含む。なお、各画像及び各相対位置情報の情報群は、疑似３Ｄモデルを構成する情報である。

表示制御モジュール１３９は、画面内に基準位置を設定し、基準位置に対応して設定された第１画像を表示制御し、基準位置と第１画像との相対位置を変更するユーザ操作に応じて、変更後の相対位置に対応する画像を画面に表示制御する。

例えば、表示制御モジュール１３９は、撮影装置１６０を起動させ、撮影装置１６０から取得した像を画面に表示制御する。このとき、地図生成モジュール１３６及び位置推定モジュール１３７は、３次元空間のモデルを生成したり、自己位置を推定したりする。表示制御モジュール１３９は、３次元空間内に基準位置を設定する。基準位置は、机やテーブルなどの平面の中心や、画面の中心などである。

表示制御モジュール１３９は、設定された基準位置に、予め最初の画像として設定された第１画像を画面に重畳表示する。これにより、画面を介して見る現実世界のテーブルや机等の上に、対象物がＡＲ表示されることになる。第１画像は、例えば、対象物の正面画像が設定されるとよく、これに限らず、最初にサーバ２０に登録された画像などでもよい。

表示制御モジュール１３９は、ユーザがユーザ端末１０の位置や角度を変更することで、その位置及び角度における３次元空間内の位置及び角度を推定し、推定された位置及び角度と基準位置との位置関係に最も近い相対位置情報を特定し、特定された相対位置情報に関連付けられた画像を画面に表示制御する。

これにより、第２ユーザは、撮影装置１６０を起動して、例えば基準位置にＡＲ表示された対象物に対し、ユーザ端末１０の位置や角度を変えることで、その位置や角度に応じた画像がＡＲ表示され、いろいろな位置や角度で撮影された画像を見ることが可能になる。

また、表示制御モジュール１３９は、所定のツールを用いて疑似３Ｄモデルを表示制御してもよい。例えば、表示制御モジュール１３９は、疑似３Ｄモデルを表示するためのツールを起動し、最初の一枚として設定された第１画像を画面に表示制御する。

この場合、表示制御モジュール１３９は、ユーザ操作に応じて、表示対象の画像を特定し、特定した画像を画面に表示制御する。例えば、タッチパネル上で、縦方向又は横方向等へのフリック操作又はドラッグ操作等が検知されると、表示制御モジュール１３９は、フリック操作等の操作量に対応する移動量に応じた位置や角度と基準位置との位置関係に最も近い相対位置情報を有する画像を特定し、特定された画像を表示制御する。また、表示制御モジュール１３９は、ツール上に上下左右の矢印などを表示し、この矢印の操作により、表示中の画像の相対位置情報から操作された矢印方向の相対位置情報を有する画像を表示するように制御してもよい。

これにより、ユーザ端末１０を移動させなくても、画面上の直感的な操作に応じて適切な画像を表示することができる。

また、表示制御モジュール１３９は、基準位置に基づく第１オブジェクトを画面に表示制御し、この第１オブジェクトを用いて未表示の画像の位置を視認可能に表示制御してもよい。例えば、表示制御モジュール１３９は、上述したような第１オブジェクトを画面に表示し、第２ユーザが見た画像に対応する第１オブジェクトの表面領域について、色を変えるなどして、第２ユーザに未表示の面を視認可能にする。

これにより、第２ユーザに対し、第１オブジェクトを用いて、表示されていない画像を知らせることができる。さらに、撮影時に用いる第１オブジェクトを流用することができるため、実装が容易である。

また、表示制御モジュール１３９は、各画像に対するユーザの表示回数を示す度合を第１オブジェクトに関連付けて表示制御してもよい。例えば、表示制御モジュール１３９は、ヒートマップのように、第１オブジェクトの表面の色の濃さを用いてユーザの表示回数を表現してもよい。この場合、どの画像が何回表示されたかの情報については、ユーザ端末１０は、サーバ２０から疑似３Ｄモデルを受信する際に合わせて受信しておく。

なお、１つ又は複数の処理装置（ＣＰＵ）１１０は、メモリ１３０から、必要に応じて各モジュールを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）１１０は、メモリ１３０に格納されているネットワーク通信モジュール１３２を実行することで、通信部を構成してもよい。また、１つ又は複数の処理装置（ＣＰＵ）１１０は、メモリ１３０に格納されている取引制御モジュール１３４、撮影制御モジュール１３５、地図生成モジュール１３６、位置推定モジュール１３７、取得モジュール１３８、及び表示制御モジュール１３９をそれぞれ実行することで、取引制御部、撮影制御部、地図生成部、位置推定部、及び表示制御部を構成してもよい。

他の実施形態において、取引制御モジュール１３４、撮影制御モジュール１３５、地図生成モジュール１３６、位置推定モジュール１３７、取得モジュール１３８、及び表示制御モジュール１３９は、ユーザ端末１０のメモリ１３０に格納されるスタンドアロンアプリケーションであってもよい。スタンドアロンアプリケーションとしては、限定はされないが、取引制御アプリケーション、撮影制御アプリケーション、地図生成アプリケーション、位置推定アプリケーション、表示制御アプリケーションが挙げられる。さらに他の実施形態において、取引制御モジュール１３４、撮影制御モジュール１３５、地図生成モジュール１３６、位置推定モジュール１３７、取得モジュール１３８、及び表示制御モジュール１３９は別のアプリケーションへのアドオン又はプラグインであってもよい。

上記に示した要素の各々は、先述の記憶装置の１つ又は複数に格納され得る。上記に示したモジュールの各々は、上述される機能を実行するための命令のセットに対応する。上記に示したモジュール又はプログラム（すなわち、命令のセット）は別個のソフトウェアプログラム、プロシージャ又はモジュールとして実装される必要はないとともに、従ってこれらのモジュールの様々なサブセットは様々な実施形態で組み合わされるか、或いは再構成されてもよい。ある実施形態において、メモリ１３０は上記に示されるモジュール及びデータ構造のサブセットを格納し得る。さらには、メモリ１３０は上述されない追加的なモジュール及びデータ構造を格納し得る。

図３は、実施形態に係るサーバ２０の一例を示すブロック図である。サーバ２０は、１つ又は複数の処理装置（ＣＰＵ）２１０、１つ又は複数のネットワーク又は他の通信インタフェース２２０、メモリ２３０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス２７０を含む。

サーバ２０は、場合によりユーザインタフェース２５０を含んでもよく、これとしては、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）を挙げることができる。

メモリ２３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。

また、メモリ２３０の他の例は、ＣＰＵ２１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施形態において、メモリ２３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

オペレーティングシステム２３１は、例えば、様々な基本的なシステムサービスを処理するとともにハードウェアを用いてタスクを実行するためのプロシージャを含む。

ネットワーク通信モジュール２３２は、例えば、サーバ２０を他のコンピュータに、１つ又は複数の通信ネットワークインタフェース２２０及びインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ又は複数の通信ネットワークを介して接続するために使用され、送受信モジュールとしても使用されうる。

ユーザデータ２３３は、電子商取引プラットフォームを利用するユーザの情報を含む。例えば、ユーザデータ２３３は、各ユーザＩＤに関連付けて、ユーザ名称、住所、電話番号、ニックネーム等を含む。ユーザデータ２３３は、図４を用いて後述する。

取引データ２３４は、電子商取引プラットフォームにおける売買取引の情報を含む。例えば、取引データ２３４は、取引ＩＤに関連付けて、商品ＩＤ、買い手のユーザＩＤ、売り手のユーザＩＤ、成約日時などを含む。取引データ２３４は、図５を用いて後述する。

商品データ２３５は、電子商取引プラットフォームに登録された商品情報を含む。例えば、商品データ２３５は、出品された商品ごとに、商品ＩＤ、画像、価格、サイズ、使用状態、出品期限などを含む。商品データ２３５は、図６を用いて後述する。

画像データ２３６は、疑似３Ｄモデルを生成するために用いられる画像及び相対位置情報に関する情報を含む。例えば、画像データ２３６は、商品ＩＤに関連付けて、画像及び相対位置情報を示す位置情報、角度情報などを含む。画像データ２３６は、図７を用いて後述する。

取引管理モジュール２３７は、電子商取引プラットフォームにおける商品の売買処理を管理する。例えば、取引管理モジュール２３７は、商品説明を補助するための商品の疑似３Ｄモデルの生成、表示に関連して、データ管理モジュール２３８、画像送信モジュール２３９を有する。

データ管理モジュール２３８は、疑似３Ｄモデルを生成するための画像及び相対位置情報を、対象物ＩＤ（例えば商品ＩＤ）に関連付けて画像データ２３６として管理する。また、データ管理モジュール２３８は、ユーザデータ２３３、取引データ２３４、商品データ２３５のデータについても管理する。

また、データ管理モジュール２３８は、画像データ２３６に含まれる各画像が、ユーザ端末１０に表示された回数をカウントしてもよい。ユーザは、他のユーザも含まれる。これにより、サーバ２０は、良く表示されている画像を把握することができる。

画像送信モジュール２３９は、取引管理モジュール２３７が、ユーザから対象物ＩＤを取得した場合、この対象物ＩＤに対応する疑似３Ｄモデルに対応する各画像及び各相対位置情報を、対象物ＩＤを送信したユーザ端末１０に送信する。

なお、上述した１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０から、必要に応じて各モジュールを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０に格納されているネットワーク通信モジュール２２０を実行することで、通信部を構成してもよい。また、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０に格納されている取引管理モジュール２３７、データ管理モジュール２３８、及び画像送信モジュール２３９をそれぞれ実行することで、取引管理部、データ管理部、及び画像送信部を構成してもよい。

上記に示した要素の各々は先述される記憶装置の１つ又は複数に格納され得る。上記に示したモジュールの各々は、上述される機能を実行するための命令のセットに対応する。上記に示したモジュール又はプログラム（すなわち、命令のセット）は別個のソフトウェアプログラム、プロシージャ又はモジュールとして実装される必要はないとともに、従ってこれらのモジュールの様々なサブセットが様々な実施形態で組み合わされるか、或いは再構成され得る。ある実施形態において、メモリ２３０は上記に示されるモジュール及びデータ構造のサブセットを格納し得る。さらには、メモリ２３０は上述されない追加的なモジュール及びデータ構造を格納し得る。

図３は「サーバ」を示すが、図３は、本明細書に記載される実施形態の構造的な概略としてよりも、サーバのセットに存在し得る様々な特徴についての説明が意図されている。実際には、当業者により認識されるとおり、別個に示される項目が組み合わされ得るであろうとともに、ある項目が別個にされ得るであろう。例えば、図３において別個に示される項目は単一サーバ上に実装され得るであろうとともに、単一の項目が１台又は複数のサーバにより実装され得るであろう。

＜データ構造の一例＞
図４は、実施形態に係るユーザデータ２３３の一例を示す図である。ユーザデータ２３３には、電子商取引プラットフォームを運営、管理する者により作成された各会員ユーザに関する情報が管理される。「ユーザＩＤ」には、サーバ２０がユーザを一意に識別するためのユーザ識別情報（ユーザＩＤ：Identifier）が含められる。「ユーザ情報」には、ユーザのパーソナルな情報である「氏名」、「住所」、「電話番号」などが含められる。なお、ユーザＩＤは、ユーザ情報の一つに含められてもよい。

図５は、実施形態に係る取引データ２３４の一例を示す図である。取引データ２３４の「取引ＩＤ」には、売買の取引開始に応じて付与される取引ＩＤが含められる。「商品ＩＤ」には、出品された商品の識別情報が含められる。「買い手ユーザＩＤ」には、その商品の買い手であるユーザのユーザＩＤが含められる。「売り手ユーザＩＤ」には、その商品を出品したユーザのユーザＩＤが含められる。「成約日時」には、売買が成立した日時情報が含められる。なお、取引データ２３４は、その他のデータを含んでもよい。

図６は、実施形態に係る商品データ２３５の一例を示す図である。商品データ２３５の「商品ＩＤ」には、出品された商品の識別情報が含められる。「画像」には、その商品の画像データが含められる。「価格」には、その商品の価格が含められる。「サイズ」には、その商品のサイズ情報が含められる。「使用状態」は、商品の使用状態が含められ、複数のランクなどにより表現される使用状態でもよい。「出品期限」には、出品された商品の購入依頼を受け付ける期限を示す情報が含められる。なお、商品データ２３５は、商品のカテゴリやブランド、商品名などを含んでもよい。

図７は、実施形態に係る画像データ２３６の一例を示す図である。画像データ２３６の「商品ＩＤ」には、出品された商品の識別情報が含められる。「画像」には、その商品の画像データが含められる。「位置」には、３次元空間内の自己位置と基準位置との相対位置を示す情報が含められる。「角度」には、撮影時のユーザ端末１０の角度（例えば基準面（地面等）を０度としたときの角度）を示す情報が含められる。相対位置情報に角度情報を含めてもよい。なお、画像データ２３６は、その他のデータを含んでもよい。

位置情報は、例えば、３次元空間内の座標系において、自己位置の座標と基準位置の座標との差分により求められる。角度は、自己位置における撮影装置１６０の向きを示し、例えば、ユーザ端末１０に備えられるジャイロセンサなどにより計測されたユーザ端末１０の傾きなどを示す。上述した図４〜７に示すデータ構造は、あくまでも一例であって、この例に限られない。

＜動作説明＞
次に、実施形態に係る情報処理システム１の動作について説明する。図８は、実施形態に係る情報処理システム１における疑似３Ｄモデルの生成処理の一例を示すシーケンス図である。

（ステップＳ１０２）
ユーザＵＡは、ユーザ端末１０に設けられた撮影装置１６０を起動し、撮影装置１６０のレンズを対象物に向ける。

（ステップＳ１０４）
ユーザ端末１０の地図生成モジュール１３６及び位置推定モジュール１３７は、３次元空間のモデルを生成し、この３次元空間内におけるユーザ端末１０の自己位置を推定する。

（ステップＳ１０６）
ユーザＵＡは、自身が対象物を撮影したい位置又は角度で、ユーザ端末１０に撮影を指示する。例えば、撮影の指示方法としては、撮影ボタンの押下、又はジェスチャや音声などでの指示でもよい。

（ステップＳ１０８）
ユーザ端末１０は、撮影時の画像を取得し、３次元空間内における撮影時のユーザ端末１０の自己位置と、対象物に関する基準位置との相対位置を示す相対位置情報を取得し、画像及び相対位置情報をサーバ２０に送信する。

（ステップＳ１１０）
サーバ２０のデータ管理モジュール２３８は、取得した画像及び相対位置情報を対象物ＩＤに関連付けてデータベースに登録する。例えば、サーバ２０は、取得した画像及び位置情報をメモリ２３０に保存する。

（ステップＳ１１２）
ユーザ端末１０の表示制御モジュール１３９は、第１オブジェクトなどを画面にＡＲ表示することで、未撮影の領域や画像が不足している領域を視認可能にして、次に撮影すべき位置や角度を案内表示する（例えば図１０の画面Ｄ１２参照）。

次に、上述した案内にしたがって、ユーザにより新たな画像が撮影されると、ステップＳ１０６、Ｓ１０８、Ｓ１１０の処理が繰り返し実行される。

以上の処理により、未撮影の領域や画像が不足している領域を案内することで、サーバ２０側では、様々な位置や角度での画像を取得することができ、適切な疑似３Ｄモデルの生成が可能になる。

図９は、実施形態に係る情報処理システム１における疑似３Ｄモデルの表示処理の一例を示すシーケンス図である。

（ステップＳ２０２）
ユーザＵＢは、例えば、電子商取引プラットフォームで閲覧したい対象物を見つけ、その対象物を選択したとする。

（ステップＳ２０４）
ユーザ端末１０の取引制御モジュール１３４は、選択された対象物の対象物ＩＤを特定し、対象物ＩＤをサーバ２０に送信するよう制御する。

（ステップＳ２０６）
サーバ２０のデータ管理モジュール２３８は、取得した対象物ＩＤに関連付けられた疑似３Ｄモデルを構築する各画像及び各相対位置情報を取得する。

（ステップＳ２０８）
サーバ２０の取引管理モジュール２３７は、疑似３Ｄモデルの各画像及び各相対位置情報をユーザ端末１０に送信するよう制御する。

（ステップＳ２１０）
ユーザＵＢは、撮影装置１６０を起動し、又は撮影装置１６０が起動されてから、対象物を見たい場所に、撮影装置１６０の画角が入るように撮影装置１６０のレンズを向ける。

（ステップＳ２１２）
ユーザ端末１０の地図生成モジュール１３６及び位置推定モジュール１３７は、３次元空間のモデルを生成し、この３次元空間内におけるユーザ端末１０の自己位置を推定する。

（ステップＳ２１４）
ユーザ端末１０の表示制御モジュール１３９は、画面内に設定された基準位置に、予め設定された第１画像を表示する。例えば、第１画像は、各画像のうち、最初に撮影された画像又は対象物を正面から撮影した画像が好適である（例えば、図１１参照）。

この後、ユーザ操作に応じて、様々な角度で撮影された画像が画面に表示されることで、ユーザＵＢは、対象物の詳細を知ることができる。なお、画像がＡＲ表示される場合、ユーザ端末１０は、その都度、自己位置を推定し、推定された自己位置や角度をサーバ２０に送信することで、サーバ２０から１つの画像を取得し、その画像をＡＲ表示するようにしてもよい。

なお、疑似３Ｄモデルの表示方法については、ＡＲ表示以外にも、所定の表示ツールを用いて表示することも可能である（例えば図１２参照）。この場合、ユーザが画面上を操作することにより、表示される画像を切り替えることが可能である。

以上の処理により、、電子商取引プラットフォームにおいて、出品中の対象物について、ユーザが撮影した画像に基づき生成された疑似３Ｄモデルを表示可能にすることで、様々な角度や位置での対象物の画像を表示することができ、閲覧者に対し、対象物の使用状態などを把握しやすくすることができる。

＜表示画面の具体例＞
図１０は、実施形態に係る撮影中の表示画面の具体例を説明するための図である。図１０に示す画面Ｄ１１には、例えば出品対象の靴Ａ１が、撮影装置１６０の起動により画面を介して表示される例を示す。この例では、実際に撮影画像を得る前に、自己位置推定が行われ、画面中心を基準位置として第１オブジェクトＢ１１が画面に表示されている。なお、第１オブジェクトＢ１１は、略半球状のオブジェクトであり、基準位置を中心点にし、Ｘ軸、Ｙ軸、Ｚ軸が表示される。

次に、ユーザが様々な角度や位置で靴Ａ１を撮影すると、画面Ｄ１２に、撮影された位置及び角度に対応する第２オブジェクトＣ１１が第１オブジェクトにＢ１１に関連して表示される。第２オブジェクトは、撮影された数だけ表示され、撮影位置や角度が表現可能なオブジェクトであればよい。

図１１Ａ〜Ｃは、実施形態に係る疑似３ＤモデルをＡＲ表示する例を示す図である。図１１Ａは、撮影中の画面を流用する例を示す。図１１Ａに示す例では、画面Ｄ２１に、撮影中と同じように、第１オブジェクトＢ２１と第２オブジェクトＣ２１とが表示される。最初に表示される第１画像である画像Ｅ２１は、疑似３Ｄモデルに登録された各画像のうちの１つの画像であり、例えば、ユーザにより最初に撮影された画像や正面画像などである。

例えば、第１画像Ｅ２１及び第１オブジェクトＢ２１の中心が、画面内（又は３次元空間内）に設定された基準位置に位置するように表示される。第１画像の相対位置情報と、他の画像の相対位置情報との関係から、各第２オブジェクトＣ２１の表示位置が決定される。

閲覧者は、画面Ｄ２１を見ることにより、どの位置や角度からの画像があるかを容易に把握することができ、自分が見たい画像をすぐに選択してみることができる。さらに、撮影中と同じオブジェクトを流用できるため、メモリ削減や処理負荷軽減にも貢献することができる。

図１１Ｂは、ＡＲ表示する際に、撮影画像を第２オブジェクトとして表示する例を示す。図１１Ｂに示す例では、第１画像である画像Ｅ２１を中心に、撮影された位置や角度に対応する位置や角度に、縮小された画像が第２オブジェクトＣ２２として複数表示される。

例えば、第１画像Ｅ２１の中心が、画面内（又は３次元空間内）に設定された基準位置に位置するように表示される。第１画像の相対位置情報と、他の画像の相対位置情報との関係から、各第２オブジェクトＣ２２の表示位置が決定される。

閲覧者は、縮小画像をサムネイル画像として利用するとともに、どの位置や角度から撮影された画像であるかを直感的に把握することができる。

図１１Ｃは、ＡＲ表示する際に、撮影画像を第２オブジェクトとして表示する他の例を示す。図１１Ｃに示す例では、第１画像から対象物を物体認識して切り出し、必要な部分画像Ｅ２２が基準位置に表示される。第２オブジェクトＣ２２は、図１１Ｂに示す例と同様である。

なお、図１１Ａ〜Ｃにおいて、ユーザ端末１０を移動させることで、その都度、３次元空間内の自己位置が推定され、推定された自己位置や角度に最も近い位置や角度で撮影された画像が画面中央の画像に切り替わるようになる。

図１２Ａ〜Ｃは、実施形態に係る疑似３Ｄモデルを所定の表示ツールを用いて表示する例を示す図である。図１２Ａは、撮影中の画面を流用する例を示す。図１２Ａに示す例では、画面Ｄ３１に、撮影中と同じように、第１オブジェクトＢ３１と第２オブジェクトＣ３１とが表示される。最初に表示される第１画像である画像Ｅ３１は、疑似３Ｄモデルに登録された各画像のうちの１つの画像であり、例えば、ユーザにより最初に撮影された画像や正面画像などである。

例えば、第１画像Ｅ３１及び第１オブジェクトＢ３１の中心が、画面内に設定された基準位置に位置するように表示される。第１画像の相対位置情報と、他の画像の相対位置情報との関係から、各第２オブジェクトＣ３１の表示位置が決定される。

閲覧者は、画面Ｄ３１を見ることにより、どの位置や角度からの画像があるかを容易に把握することができ、自分が見たい画像をすぐに選択してみることができる。さらに、撮影中と同じオブジェクトを流用できるため、メモリ削減や処理負荷軽減にも貢献することができる。

図１２Ｂは、撮影画像を第２オブジェクトＣ３２として表示する例を示す。図１２Ｂに示す例では、第１画像である画像Ｅ２１を中心に、撮影された位置や角度に対応する位置や角度に、縮小された画像が第２オブジェクトＣ３２として複数表示される。

例えば、第１画像Ｅ３１の中心が、画面内に設定された基準位置に位置するように表示される。第１画像の相対位置情報と、他の画像の相対位置情報との関係から、各第２オブジェクトＣ３２の表示位置が決定される。

閲覧者は、縮小画像をサムネイル画像として利用するとともに、どの位置や角度から撮影された画像であるかを直感的に把握することができる。

図１２Ｃは、撮影画像を第２オブジェクトＣ３２として表示する他の例を示す。図１２Ｃに示す例では、第１画像から対象物を物体認識して切り出し、必要な部分画像Ｅ３２が基準位置に表示される。第２オブジェクトＣ３２は、図１２Ｂに示す例と同様である。

なお、図１２Ａ〜Ｃにおいて、ユーザ端末１０の画面上を操作（例えばドラッグして回転操作）することで、操作量に対応する移動量に応じた位置や角度に最も近い位置や角度で撮影された画像が画面中央の画像に切り替わるようになる。

開示技術は、上述した実施形態に限定されるものではなく、開示技術の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

本開示の実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、限定でなく例として、ソフトウェアプログラムやコンピュータプログラムを含む。

［変形例］
また、上述した実施形態における変形例では、上記実施形態において、サーバ１０は、電子商取引プラットフォームをベースとしなくてもよい。例えば、ユーザが手軽に疑似３Ｄモデルを生成するニーズがあれば如何なるシステムにも適用可能である。また、対象物ごとに疑似３Ｄモデルを生成するという観点においては、ユーザ端末１０は、必ずしも未撮影領域を識別可能にしなくてもよく、対象物ＩＤとともに、画像及び相対位置情報をサーバ２０に送信すればよい。

また、撮影中や表示中にＡＲ表示する第１オブジェクト又は第２オブジェクトは、対象物に重複しない領域に表示するよう制御されることで、対象物の視認性を向上させることができる。また、画像が不足している領域において、対象となる画像が登録されていれば、その画像を反転させて表示されるようにしてもよい。例えば、左側からの画像が撮影されていない場合に、右側からの画像が撮影されていれば、サーバ２０は、右側の画像を反転させた画像を左側からの画像として登録し、相対位置情報も左側からの画像になるように修正することで、サーバ２０側で画像を補完することができるようになる。

１ 情報処理システム
１０、１０Ａ、１０Ｂ 情報処理装置（ユーザ端末）
２０ 情報処理装置（サーバ）
１１０、２１０ 処理装置（ＣＰＵ）
１２０、２２０ ネットワーク通信インタフェース
１３０、２３０ メモリ
１３１、２３１ オペレーティングシステム
１３２、２３２ ネットワーク通信モジュール
１３４ 取引制御モジュール
１３５ 撮影制御モジュール
１３６ 地図生成モジュール
１３７ 位置推定モジュール
１３８ 取得モジュール
１３９ 表示制御モジュール
１５０ ユーザインタフェース
１６０ 撮影装置
１７０、２７０ 通信バス
２３７ 取引管理モジュール
２３８ データ管理モジュール
２３９ 画像送信モジュール

Claims (12)

1. 情報処理装置に含まれる１又は複数のプロセッサが、
   対象物を撮影すること、
   撮影される画像に含まれる特徴点群を用いて３次元空間を作成すること、
   前記３次元空間内の前記情報処理装置の自己位置を推定すること、
   前記対象物に関連して前記３次元空間内に設定される基準位置と、前記３次元空間内で推定された前記情報処理装置の自己位置との相対位置を取得すること、
   前記情報処理装置の位置又は角度が変更される所定のタイミングごとに、当該位置又は角度により撮影された画像と、前記位置又は角度に対応して取得された前記相対位置を示す相対位置情報とを他の情報処理装置に送信すること、
   前記基準位置に基づく第１オブジェクトを画面に表示制御し、前記第１オブジェクトを用いて前記対象物の未撮影の位置を視認可能に表示制御すること、
   を実行する情報処理方法。
2. 前記表示制御することは、
   撮影済の位置又は角度を示す第２オブジェクトを、前記第１オブジェクトに関連付けて表示制御することを含む、請求項１に記載の情報処理方法
3. 前記表示制御することは、
   奥行き方向を用いて、前記第２オブジェクトを重畳して表示制御することを含む、請求項２に記載の情報処理方法。
4. 前記取得することは、
   前記対象物のカテゴリ情報を取得することを含み、
   前記表示制御することは、
   前記カテゴリ情報が示すカテゴリに応じて、前記第１オブジェクトを用いての前記未撮影の位置の表示方法を変更することを含む、請求項１乃至３いずれか一項に記載の情報処理方法。
5. 前記第２オブジェクトのサイズは、撮影された前記画像に含まれる対象物のサイズに応じて変更される、請求項１乃至４のいずれか一項に記載の情報処理方法。
6. 情報処理装置に含まれる１又は複数のプロセッサに、
   対象物を撮影すること、
   撮影される画像に含まれる特徴点群を用いて３次元空間を作成すること、
   前記３次元空間内の前記情報処理装置の自己位置を推定すること、
   前記対象物に関連して前記３次元空間内に設定される基準位置と、前記３次元空間内で推定された前記情報処理装置の自己位置との相対位置を取得すること、
   前記情報処理装置の位置又は角度が変更される所定のタイミングごとに、当該位置又は角度により撮影された画像と、前記位置又は角度に対応して取得された前記相対位置を示す相対位置情報とを他の情報処理装置に送信すること、
   前記基準位置に基づく第１オブジェクトを画面に表示制御し、前記第１オブジェクトを用いて前記対象物の未撮影の位置を視認可能に表示制御すること、
   を実行させるプログラム。
7. １又は複数のプロセッサを含む情報処理装置であって、
   前記１又は複数のプロセッサが、
   対象物を撮影すること、
   撮影される画像に含まれる特徴点群を用いて３次元空間を作成すること、
   前記３次元空間内の前記情報処理装置の自己位置を推定すること、
   前記対象物に関連して前記３次元空間内に設定される基準位置と、前記３次元空間内で推定された前記情報処理装置の自己位置との相対位置を取得すること、
   前記情報処理装置の位置又は角度が変更される所定のタイミングごとに、当該位置又は角度により撮影された画像と、前記位置又は角度に対応して取得された前記相対位置を示す相対位置情報とを他の情報処理装置に送信すること、
   前記基準位置に基づく第１オブジェクトを画面に表示制御し、前記第１オブジェクトを用いて前記対象物の未撮影の位置を視認可能に表示制御すること、
   を実行する情報処理装置。
8. 情報処理装置に含まれる１又は複数のプロセッサが、
   対象物を識別する識別情報をサーバに送信すること、
   前記サーバから、前記識別情報に関連付けられる前記対象物が撮影された各画像、及び各相対位置情報を受信することであって、前記相対位置情報は、前記対象物を撮影した他の情報処理装置の３次元空間内における自己位置と、前記３次元空間内の基準位置との相対位置を示す情報を含む、前記受信すること、
   画面内に基準位置を設定し、前記基準位値に対応して設定された第１画像を表示制御し、前記基準位置と前記第１画像との相対位置を変更するユーザ操作に応じて、変更後の相対位置に対応する画像を画面に表示制御すること
   を実行する情報処理方法。
9. 前記表示制御することは、
   前記基準位置に基づく第１オブジェクトを画面に表示制御し、前記第１オブジェクトを用いて未表示の画像の位置を視認可能に表示制御することを含む、請求項８に記載の情報処理方法。
10. 前記表示制御することは、
    各画像に対するユーザの表示回数を示す度合を前記第１オブジェクトに関連付けて表示制御することを含む、請求項８又は９に記載の情報処理方法。
11. 情報処理装置に含まれる１又は複数のプロセッサに、
    対象物を識別する識別情報をサーバに送信すること、
    前記サーバから、前記識別情報に関連付けられる前記対象物が撮影された各画像、及び３次元空間内において推定された前記対象物を撮影した他の情報処理装置の各自己位置と、前記３次元空間内の基準位置との各相対位置を示す各相対位置情報を受信すること、
    画面内に基準位置を設定し、前記基準位値に対応して設定された第１画像を表示制御し、前記基準位置と前記第１画像との相対位置を変更するユーザ操作に応じて、変更後の相対位置に対応する画像を画面に表示制御すること、
    を実行させるプログラム。
12. １又は複数のプロセッサを含む情報処理装置であって、
    前記１又は複数のプロセッサが、
    対象物を識別する識別情報をサーバに送信すること、
    前記サーバから、前記識別情報に関連付けられる前記対象物が撮影された各画像、及び３次元空間内において推定された前記対象物を撮影した他の情報処理装置の各自己位置と、前記３次元空間内の基準位置との各相対位置を示す各相対位置情報を受信すること、
    画面内に基準位置を設定し、前記基準値に対応して設定された第１画像を表示制御し、前記基準位置と前記第１画像との相対位置を変更するユーザ操作に応じて、変更後の相対位置に対応する画像を画面に表示制御すること
    を実行する情報処理装置。

Images