JP2023011218A - マップ情報生成装置、位置特定装置、マップ情報生成方法、位置特定方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】 より正確なマップ情報を生成可能なマップ情報生成装置を提供する。【解決手段】 本発明のマップ情報生成装置１０において、画像取得部１１は、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得し、三次元モデル生成部１２は、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成し、前記第１の三次元モデル及び前記第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含み、マップ情報生成部１３は、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成する。【選択図】 図１

Description

本発明は、マップ情報生成装置、位置特定装置、マップ情報生成方法、位置特定方法、プログラム及び記録媒体に関する。

端末が撮像した画像から前記端末の位置を推定する技術が報告されている（例えば、特許文献１等）。

特開２０１７－２１４２7号公報

しかしながら、画像を撮像した端末の位置をより正確に特定するためには、より正確なマップ情報を用いる必要がある。このため、より正確なマップ情報を生成する技術が求められている。

そこで、本発明は、より正確なマップ情報を生成可能なマップ情報生成装置、位置特定装置、マップ情報生成方法、位置特定方法、プログラム及び記録媒体を提供することを目的とする。

前記目的を達成するために、本発明のマップ情報生成装置は、
画像取得部、三次元モデル生成部、及びマップ情報生成部を含み、
前記画像取得部は、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得し、
前記三次元モデル生成部は、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成し、
前記第１の三次元モデル及び前記第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含み、
前記マップ情報生成部は、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成する、装置である。

本発明のマップ情報生成方法は、
画像取得工程、三次元モデル生成工程、及びマップ情報生成工程を含み、
前記画像取得工程は、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得し、
前記三次元モデル生成工程は、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成し、
前記第１の三次元モデル及び前記第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含み、
前記マップ情報生成工程は、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成する、方法である。

本発明によれば、より正確なマップ情報を生成可能である。また、本発明によれば、前記マップ情報を用いて、例えば、画像を撮像した端末の位置をより正確に特定することができる。

図１は、実施形態１のマップ情報生成装置の一例の構成を示すブロック図である。 図２は、実施形態１のマップ情報生成装置のハードウエア構成の一例を示すブロック図である。 図３は、実施形態１のマップ情報生成装置における処理の一例を示すフローチャートである。 図４は、実施形態２の位置特定装置の一例の構成を示すブロック図である。 図５は、実施形態２の位置特定装置のハードウエア構成の一例を示すブロック図である。 図６は、実施形態２の位置特定装置における処理の一例を示すフローチャートである。 図７は、変形例１の位置特定装置における処理の一例を示すフローチャートである。 図８は、ユーザ端末と仮想画像の位置情報との位置関係の一例を示す模式図である。 図９は、マップ情報生成装置からユーザ端末に出力された合成画像が、前記ユーザ端末のディスプレイ上に表示されている一例を示す模式図である。

本発明のマップ情報生成装置において、例えば、
前記三次元画像情報は、前記特定エリア内を三次元的に撮像した全周囲パノラマ画像を含む、という態様であってもよい。

本発明のマップ情報生成装置は、例えば、
さらに、特徴点抽出部を含み、
前記特徴点抽出部は、機械学習により前記二次元画像情報から特徴点を抽出し、
前記マップ情報生成部は、前記特徴点が紐づけられた前記マップ情報を生成する、という態様であってもよい。

本発明の位置特定装置は、
マップ情報生成部、ユーザ端末情報取得部、及び特定部を含み、
前記マップ情報生成部は、本発明のマップ情報生成装置であり、
前記ユーザ端末情報取得部は、ユーザ端末から撮像画像及びセンサ情報を取得し、
前記特定部は、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、装置である。

本発明の位置特定装置において、例えば、
前記マップ情報生成部は、特徴点抽出部を含むマップ情報生成装置であり、
前記特徴点抽出部は、機械学習により前記撮像画像から特徴点を抽出し、
前記特定部は、前記二次元画像情報の特徴点及び前記撮像画像の特徴点に基づき、前記ユーザ端末の位置として複数の候補地点を特定し、
前記候補地点から前記ユーザ端末の位置を特定し、且つ
前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、という態様であってもよい。

本発明のマップ情報生成方法において、例えば、
前記三次元画像情報は、前記特定エリア内を三次元的に撮像した全周囲パノラマ画像を含む、という態様であってもよい。

本発明のマップ情報生成方法は、例えば、
さらに、特徴点抽出工程を含み、
前記特徴点抽出工程は、機械学習により前記二次元画像情報から特徴点を抽出し、
前記マップ情報生成工程は、前記特徴点が紐づけられた前記マップ情報を生成する、という態様であってもよい。

本発明の位置特定方法は、
マップ情報生成工程、ユーザ端末情報取得工程、及び特定工程を含み、
前記マップ情報生成工程は、本発明のマップ情報生成方法の各工程を実行する工程であり、
前記ユーザ端末情報取得工程は、ユーザ端末から撮像画像及びセンサ情報を取得し、
前記特定工程は、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、方法である。

本発明の位置特定方法において、例えば、
前記マップ情報生成工程は、特徴点抽出工程を含むマップ情報生成方法の各工程を実行する工程であり、
前記特徴点抽出工程は、機械学習により前記撮像画像から特徴点を抽出し、
前記特定工程は、前記二次元画像情報の特徴点及び前記撮像画像の特徴点に基づき、前記ユーザ端末の位置として複数の候補地点を特定し、
前記候補地点から前記ユーザ端末の位置を特定し、且つ
前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、という態様であってもよい。

本発明のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。

本発明の記録媒体は、本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。

次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。

［実施形態１］
図１は、本実施形態のマップ情報生成装置１０の一例の構成を示すブロック図である。図１に示すように、本装置１０は、画像取得部１１、三次元モデル生成部１２、及びマップ情報生成部１３を含む。また、本装置１０は、例えば、任意の構成として、さらに、特徴点抽出部１４を含んでもよい。

本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。

図２に、本装置１０のハードウエア構成のブロック図を例示する。本装置１０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７、撮像装置１０８、音入出力装置１０９等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。

中央処理装置１０１は、本装置１０の全体の制御を担う。本装置１０において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、画像取得部１１、三次元モデル生成部１２、マップ情報生成部１３、及び特徴点抽出部１４として機能する。

バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンター、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。

メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。

記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。

本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０によって生成した情報、本装置１０が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。

本装置１０は、例えば、さらに、入力装置１０５、表示装置１０６、撮像装置１０８、及び音入出力装置１０９を含んでもよい。入力装置１０５は、例えば、タッチパネル、キーボード、マウス等である。表示装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等が挙げられる。撮像装置１０８は、例えば、２Ｄカメラ、３Ｄカメラ、赤外線カメラ等が挙げられる。音入出力装置１０９は、例えば、マイク、スピーカー等が挙げられる。

つぎに、本実施形態のマップ情報生成方法の一例を、図３のフローチャートに基づき説明する。本実施形態のマップ情報生成方法は、例えば、図１のマップ情報生成装置１０を用いて、次のように実施する。なお、本実施形態のマップ情報生成方法は、図１のマップ情報生成装置１０の使用には限定されない。なお、図３において、括弧にて示した工程は、任意の工程であり、処理されなくともよい。

まず、画像取得部１１により、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得する（Ｓ１１）。前記特定エリアは、屋内であれば、特に制限されない。前記屋内としては、例えば、展示会場、イベント会場、デパート、大学等の学校等がある。前記三次元画像情報は、例えば、三次元カメラによって撮像される画像、具体的には、前記特定エリア内を三次元的に撮像した全周囲パノラマ画像を含む情報であってもよい。前記三次元カメラとは、縦横の情報だけでなく奥行き（深度）も撮影できるカメラを意味し、具体的には、例えば、ｍａｔｔｅｒｐｏｒｔ等の三次元カメラが挙げられる。前記三次元カメラは、例えば、外部の装置である。一方で、前記二次元画像情報は、例えば、二次元カメラによって撮像される画像を含む情報である。前記二次元カメラとは、縦横の情報を撮影できるカメラを意味する。前記各画像は、例えば、静止画でもよいし、動画でもよい。また、前記三次元画像情報及び前記二次元画像情報における各画像は、例えば、複数あり、複数の前記画像を繋ぎ合わせることで、全周囲パノラマ画像となり得る画像であってもよい。画像取得部１１は、例えば、複数の前記画像を取得することで前記全周囲パノラマ画像を生成してもよい。前記複数の画像から一方で、前記取得は、例えば、前記通信回線網を介して実行される。

次に、三次元モデル生成部１２により、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成する（Ｓ１２）。前記第１及び第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含む。前記形状情報とは、例えば、前記特定エリア内の表面の三次元形状を示す情報である。前記第１及び第２の三次元モデルは、例えば、前記点群データに基づく座標情報を有する。前記座標情報は、例えば、横（ｘ）及び奥行き（ｙ）の値から構成される二次元的な座標情報（ｘ、ｙ）であってもよいし、さらに、高さ（ｚ）の値も含む三次元的な座標情報（ｘ、ｙ、ｚ）であってもよい。前記特定エリア内の構成とは、例えば、前記特定エリア内部の構造のみならず、特定エリアに配置されている物体の位置及び形状等も含む。

以下、前記三次元画像情報から前記第１の三次元モデルを生成する一例について、具体的に説明するが、これに限定されず、公知の技術を用いることができる。まず、三次元モデル生成部１２は、前記三次元画像情報から点群データを抽出し、前記点群データに対してポリゴンメッシュによるモデリングを行う。前記点群データの抽出は、特に制限されず、前記形状情報となり得る箇所を前記点群データとして抽出すればよい。そして、三次元モデル生成部１２は、前記点群データに対応する画像を前記ポリゴンメッシュの表面に配置する。

三次元モデル生成部１２は、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）処理により、前記二次元画像情報から前記第２の三次元モデルを生成してもよい。なお、これに限定されず、三次元モデル生成部１２は、ＳｆＭ処理以外の公知の技術を用いて、前記二次元画像情報から前記第２の三次元モデルを生成してもよい。

そして、マップ情報生成部１３により、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成し（Ｓ１３）、終了する（ＥＮＤ）。前記対応付けは、例えば、位置合わせともいえる。すなわち、マップ情報生成部１３は、前記第１の三次元モデルと前記第２の三次元モデルとの座標を一致させる。前記対応付けの手法は、特に制限されない。前記マップ情報は、例えば、画像（二次元画像）を撮像した端末の位置を特定するために用いられる。

本装置１０は、前述のように、さらに、特徴点抽出部１４を含んでもよい。特徴点抽出部１４は、例えば、前記工程（Ｓ１３）の前に、機械学習により前記二次元画像情報から特徴点を抽出する（Ｓ１４）。前記機械学習は、例えば、教師なし学習であり、ニューラルネットワークをモデルとした機械学習である。前記モデルは、例えば、画像を入力として前記特徴点を抽出する。前記特徴点とは、その画像上の特徴的な箇所を示す点であり、前記点によって他の画像と識別可能である。前記工程（Ｓ１３）は、前記工程（Ｓ１３）の前であればよく、例えば、前記工程（Ｓ１２）の前に処理されてもよい。前記工程（Ｓ１２）では、例えば、三次元モデル生成部１２により、前記特徴点の位置と前記第２の三次元モデルとが紐づけられてもよい。

前記工程（Ｓ１４）にて前記特徴点を抽出した場合、マップ情報生成部１３は、例えば、前記工程（Ｓ１３）において、前記特徴点が紐づけられた前記マップ情報を生成してもよい。前記特徴点と前記マップ情報とは、例えば、前記第２の三次元モデルと前記特徴点とが紐づけられることで紐づけられてもよい。

ＳｆＭ処理に基づき生成された三次元モデルは、位置情報の精度が低いという問題がある。これに対し、本実施形態によれば、前記第１の三次元モデルと前記第２の三次元モデルとを用いて各点群データを対応付けることで、より正確なマップ情報を生成することができる。つまり、本実施形態は、三次元的に前記特定エリア内を撮像した画像を用いて生成される前記第１の三次元モデルにより位置情報の精度を高め、二次元的に前記特定エリア内を撮像した画像を用いて生成される前記第２の三次元モデルにより前記端末の位置の特定を可能にする。また、前記特徴点を抽出することで、より正確な前記端末の位置の特定に貢献するマップ情報を生成することができる。

［実施形態２］
図４は、本実施形態の位置特定装置２０の一例の構成を示すブロック図である。図４に示すように、本装置２０は、マップ情報生成部２１、ユーザ端末情報取得部２２、及び特定部２３を含む。本装置２０は、例えば、任意の構成として、さらに、仮想画像生成部２４、マップ情報管理部２５、及び合成画像情報出力部２６等を含んでもよい。

本装置２０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置２０は、前記通信回線網を介して、前述した外部装置と接続可能である。前記通信回線網は、特に制限されず、例えば、前述と同様である。また、本装置２０は、例えば、本発明のプログラムがインストールされた反射体付き表示装置であってもよい。さらに、本装置２０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。本装置２０は、例えば、前記通信回線網を介して前記実施形態１記載のマップ情報生成装置１０と通信可能である。

図５に、本装置２０のハードウエア構成のブロック図を例示する。本装置２０は、例えば、中央処理装置（ＣＰＵ、ＧＰＣ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７、撮像装置１０８、音入出力装置１０９等を含む。本装置２０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。特に記載しない限り、前記各部の説明は、図２に示すマップ情報生成装置１０のハードウエア構成の記載を援用できる。

中央処理装置１０１は、例えば、マップ情報生成部２１、ユーザ端末情報取得部２２、特定部２３、仮想画像生成部２４、マップ情報管理部２５、及び合成画像情報出力部２６等として機能する。

つぎに、本実施形態の位置特定方法の一例を、図６のフローチャートに基づき説明する。本実施形態の位置特定方法は、例えば、図４の位置特定装置２０を用いて、次のように実施する。なお、本実施形態の位置特定方法は、図４の位置特定装置２０の使用には限定されない。

まず、マップ情報生成部２１により、特定エリアのマップ情報を生成する（Ｓ２１）。具体的に、マップ情報生成部２１は、前記実施形態１記載のマップ情報生成装置１０の各部を含み、前述の記載を援用できる。

次に、ユーザ端末情報取得部２２により、ユーザ端末から撮像画像及びセンサ情報を取得する（Ｓ２２）。前記撮像画像は、前記ユーザ端末が撮像した画像（撮像画像ともいう）である。前記センサ情報は、前記ユーザ端末の各種センサ（例えば、加速度センサ等）等が測定する情報である。前記撮像画像及び前記センサ情報をまとめてユーザ端末情報ともいう。ユーザ端末情報取得部２２は、例えば、前記撮像画像と紐づけて、前記センサ情報を取得してもよい。ここで、前記ユーザ端末とは、特定エリア内にいるユーザの端末であり、例えば、パーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。前記ユーザ端末は、例えば、位置特定装置１０と併用される装置である。前記ユーザ端末の構成は、特に制限されず、例えば、少なくとも、前記画像を撮像でき、前記センサ情報を測定でき、前記画像及び前記センサ情報を位置特定装置２０に送信できればよい。

そして、特定部２３により、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定し（Ｓ２３）、終了する（ＥＮＤ）。

マップ情報生成部２１が特徴点抽出部１４を含むマップ情報生成装置１０である場合、特定部２３は、例えば、前記工程（Ｓ２３）において、２段階の処理で前記ユーザ端末の位置の特定を行ってもよい。具体的に、特定部２３は、前記二次元画像情報の特徴点及び前記撮像画像の特徴点に基づき、前記ユーザ端末の位置として複数の候補地点を特定し、前記候補地点から前記ユーザ端末の位置を特定してもよい。また、特定部２３は、前述と同様に、前記ユーザ端末の撮像方向も特定する。前記候補地点は、例えば、特定部２３により、前記二次元画像情報の特徴点毎に前記撮像画像の特徴点との類似度を算出することで特定される。特定部２３は、例えば、前記類似度が高い前記二次元画像情報の特徴点を有する地点を前記候補地点として特定する。

本実施形態によれば、より正確なマップ情報が生成されるため、より正確なユーザ端末の位置を特定することができる。なお、ここで、前記ユーザ端末の位置とは、前記撮像画像を撮った時点のユーザ端末の位置であり、例えば、ユーザの位置に相当する。また、前記ユーザ端末の撮像方向とは、前記撮像画像を撮った時点のユーザ端末の撮像方向であり、例えば、ユーザの正面方向に相当する。前記特定エリアが屋内であれば、室内の場合は、GPS（Global Positioning System）等の衛星測位システムを使用してユーザ端末の位置を特定することができない。しかしながら、本実施形態によれば、前記マップ情報により屋内のユーザ端末の位置を特定可能である。

（変形例１）
前記ユーザ端末に仮想画像を表示させる一例について説明する。

本変形例の位置特定装置２０は、前述のように、さらに、仮想画像生成部２４、マップ情報管理部２５、及び合成画像情報出力部２６を含む。

つぎに、本変形例の位置特定方法の一例を、図７のフローチャートに基づき説明する。本変形例の位置特定方法は、例えば、図４の位置特定装置２０を用いて、次のように実施する。なお、本変形例の位置特定方法は、図４の位置特定装置２０の使用には限定されない。

まず、マップ情報生成部２１により、特定エリアのマップ情報を生成する（Ｓ３１）。前記工程（Ｓ３１）は、図６に示す前記工程（Ｓ２１）と同様であり、前述の記載を援用できる。

次に、仮想画像生成部２４により、前記特定エリアに関する仮想画像を生成する（Ｓ３２）。前記仮想画像は、前記特定エリア内のユーザ端末が撮像した現地撮像画像に重畳される画像である。仮想画像生成部２４は、例えば、複数の仮想画像を生成してもよい。具体的に、前記仮想画像は、例えば、前記特定エリアの対象物毎の仮想画像を含む。前記対象物は、特に制限されず、任意に設定でき、人工物であってもよいし、自然のものであってもよい。前記人工物としては、例えば、施設、展示ブース、テナント、教室等が挙げられる。前記自然のものとしては、例えば、山、海、岩等が挙げられる。前記対象物毎の仮想画像は、例えば、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられている。前記位置画像は、例えば、前記対象物に関連する画像である。前記仮想画像の生成とは、例えば、予め、メモリ１０２や記憶装置１０４に記憶されている前記仮想画像を読み出すことを意味してもよいし、外部のデータベースから前記通信回線網を介して前記仮想画像を取得することを意味してもよい。また、仮想画像生成部２４は、例えば、前記対象物に関する情報（対象物情報ともいう）を取得し、前記対象物情報に基づき、前記仮想画像を生成してもよい。

また、仮想画像生成部２４により生成される前記対象物毎の仮想画像は、さらに、前記対象物の詳細情報画像を含んでもよい。この場合、前記対象物の位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられている。そして、後述の合成画像情報出力部２６は、例えば、さらに、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する。前記ウインドウ部は、例えば、複数の前記詳細情報画像を遷移可能な画面で表示可能である。前記詳細情報画像は、例えば、１層又は２層以上の階層構造の画像である。前記詳細情報画像が１層又は２層以上の階層構造の画像である場合、前記ウインドウ部は、例えば、前記詳細情報画像を階層毎の画像を遷移可能な画面で表示可能である。具体的に、前記詳細情報画像は、例えば、前記対象物の詳細情報に基づく画像であり、１つの前記対象物の位置画像に対し、１つの前記詳細情報画像が紐づけられていてもよいし、２つの前記詳細情報画像が紐づけられていてもよい。

次に、マップ情報管理部２５は、前記マップ情報と前記仮想画像と前記仮想画像の各座標情報とを紐づけて管理する（Ｓ３３）。前記仮想画像の位置情報は、例えば、前記仮想画像が表示される位置を示す情報である。前記仮想画像が表示される位置は、例えば、管理者によって任意に設定可能である。

次に、ユーザ端末情報取得部２２により、ユーザ端末から撮像画像及びセンサ情報を取得する（Ｓ３４）。前記工程（Ｓ３４）は、図６に示す前記工程（Ｓ２２）と同様であり、前述の記載を援用できる。

次に、特定部２３により、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する（Ｓ３５）。前記工程（Ｓ３５）は、図６に示す前記工程（Ｓ２３）と同様であり、前述の記載を援用できる。

そして、合成画像情報出力部２６により、前記撮像画像に前記仮想画像を重畳した合成画像を出力し（Ｓ３６）、終了する（ＥＮＤ）。具体的に、まず、合成画像情報出力部２６は、前記ユーザ端末の位置及び撮像方向に基づき、前記マップ情報を参照して、前記撮像画像内に前記仮想画像の座標情報と対応する位置が存在するか判定する。そして、合成画像情報出力部２６は、前記位置が存在する場合に、前記位置に前記仮想画像を重畳した合成画像を前記ユーザ端末に出力する。前記出力は、例えば、前記通信回線網を介して、実行されてもよい。合成画像情報出力部２６による前記合成画像の出力は、例えば、繰り返し実行されてもよい。

以下、前記撮像画像に前記仮想画像を重畳する一例を説明する。

図８は、ユーザ端末３０と前記仮想画像の位置情報との位置関係の一例を示す模式図である。図８に示すように、合成画像情報出力部２６は、例えば、ユーザ端末３０の位置及び撮像方向Ｘに基づき、撮像方向Ｘに仮想画像Ａ～Ｃの座標情報が存在すると判定する。

図９は、位置特定装置２０からユーザ端末３０に出力された合成画像が、ユーザ端末３０のディスプレイ上に表示されている一例を示す。図９に示すように、合成画像情報出力部２６は、例えば、撮像方向Ｘに存在する対象物Ａ～Ｃと対応する前記撮像画像内の位置に仮想画像Ａ～Ｃ（例えば、前記位置画像。以下、ピンともいう）を重畳した合成画像を生成する。ピンＡ～Ｃは、例えば、ユーザ端末３０の位置とピンＡ～Ｃの座標情報との距離に基づき、ユーザ端末３０と離れているピンを他のピンよりも小さくして重畳されていてもよい。一方で、ピンＡ～Ｃは、例えば、ユーザ端末３０の位置とピンＡ～Ｃの座標情報との距離に基づき、ユーザ端末３０と近いピンを他のピンよりも大きくして重畳されていてもよい。また、ピンは、例えば、ユーザ端末３０の位置とピンＡ～Ｃの座標情報との距離に応じて、ピンの外縁を色付けてもよい。

さらに、図９に示すように、前記詳細情報画像は、具体的に、ウインドウ部（Ｗｉｎｄｏｗ）１に表示される。図中において、ウインドウ部１は、前記撮像画像の下部に表示されているが、例示であって、これに限定されない。例えば、本発明を展示会に適用する場合、展示されている商品及びサービスや、そのブースの会社等の詳細な情報に基づき生成された詳細情報画像がウインドウ部１に表示される。

本変形例によれば、より正確なユーザ端末の位置を特定可能なため、ＡＲ（Augmented Reality：拡張現実感）技術を用いて、より正確な位置に前記仮想画像を表示することができる。なお、本変形例は例示であって、前記実施形態１のマップ情報生成装置１０及びマップ情報生成方法と、前記実施形態２記載の位置特定装置２０及び位置特定方法とは、ＡＲ技術への適用に限定されるものではない。

［実施形態３］
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。

以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。

＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得部、三次元モデル生成部、及びマップ情報生成部を含み、
前記画像取得部は、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得し、
前記三次元モデル生成部は、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成し、
前記第１の三次元モデル及び前記第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含み、
前記マップ情報生成部は、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成する、マップ情報生成装置。
（付記２）
前記三次元画像情報は、前記特定エリア内を三次元的に撮像した全周囲パノラマ画像を含む、付記１記載のマップ情報生成装置。
（付記３）
さらに、特徴点抽出部を含み、
前記特徴点抽出部は、機械学習により前記二次元画像情報から特徴点を抽出し、
前記マップ情報生成部は、前記特徴点が紐づけられた前記マップ情報を生成する、付記１又は２記載のマップ情報生成装置。
（付記４）
マップ情報生成部、ユーザ端末情報取得部、及び特定部を含み、
前記マップ情報生成部は、付記１から３のいずれかに記載のマップ情報生成装置であり、
前記ユーザ端末情報取得部は、ユーザ端末から撮像画像及びセンサ情報を取得し、
前記特定部は、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、位置特定装置。
（付記５）
前記マップ情報生成部は、付記３記載のマップ情報生成装置であり、
前記特徴点抽出部は、機械学習により前記撮像画像から特徴点を抽出し、
前記特定部は、前記二次元画像情報の特徴点及び前記撮像画像の特徴点に基づき、前記ユーザ端末の位置として複数の候補地点を特定し、
前記候補地点から前記ユーザ端末の位置を特定し、且つ
前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、付記４記載の位置特定装置。
（付記６）
画像取得工程、三次元モデル生成工程、及びマップ情報生成工程を含み、
前記画像取得工程は、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得し、
前記三次元モデル生成工程は、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成し、
前記第１の三次元モデル及び前記第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含み、
前記マップ情報生成工程は、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成する、マップ情報生成方法。
（付記７）
前記三次元画像情報は、前記特定エリア内を三次元的に撮像した全周囲パノラマ画像を含む、付記６記載のマップ情報生成方法。
（付記８）
さらに、特徴点抽出工程を含み、
前記特徴点抽出工程は、機械学習により前記二次元画像情報から特徴点を抽出し、
前記マップ情報生成工程は、前記特徴点が紐づけられた前記マップ情報を生成する、付記６又は７記載のマップ情報生成方法。
（付記９）
マップ情報生成工程、ユーザ端末情報取得工程、及び特定工程を含み、
前記マップ情報生成工程は、付記６から８のいずれかに記載のマップ情報生成方法の各工程を実行する工程であり、
前記ユーザ端末情報取得工程は、ユーザ端末から撮像画像及びセンサ情報を取得し、
前記特定工程は、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、位置特定方法。
（付記１０）
前記マップ情報生成工程は、付記８記載のマップ情報生成方法の各工程を実行する工程であり、
前記特徴点抽出工程は、機械学習により前記撮像画像から特徴点を抽出し、
前記特定工程は、前記二次元画像情報の特徴点及び前記撮像画像の特徴点に基づき、前記ユーザ端末の位置として複数の候補地点を特定し、
前記候補地点から前記ユーザ端末の位置を特定し、且つ
前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、付記９記載の位置特定方法。
（付記１１）
コンピュータに、画像取得手順、三次元モデル生成手順、及びマップ情報生成手順を含む手順を実行させるためのプログラム；
前記画像取得手順は、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得し、
前記三次元モデル生成手順は、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成し、
前記第１の三次元モデル及び前記第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含み、
前記マップ情報生成手順は、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成する。
（付記１２）
前記三次元画像情報は、前記特定エリア内を三次元的に撮像した全周囲パノラマ画像を含む、付記１１記載のプログラム。
（付記１３）
さらに、特徴点抽出手順を含み、
前記特徴点抽出手順は、機械学習により前記二次元画像情報から特徴点を抽出し、
前記マップ情報生成手順は、前記特徴点が紐づけられた前記マップ情報を生成する、付記１１又は１２記載のプログラム。
（付記１４）
コンピュータに、マップ情報生成手順、ユーザ端末情報取得手順、及び特定手順を含む手順を実行させるためのプログラム；
前記マップ情報生成手順は、付記１１から１３のいずれかに記載のプログラムの各手順を実行する手順であり、
前記ユーザ端末情報取得手順は、ユーザ端末から撮像画像及びセンサ情報を取得し、
前記特定手順は、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する。
（付記１５）
前記マップ情報生成手順は、付記１３記載のプログラムの各手順を実行する手順であり、
前記特徴点抽出手順は、機械学習により前記撮像画像から特徴点を抽出し、
前記特定手順は、前記二次元画像情報の特徴点及び前記撮像画像の特徴点に基づき、前記ユーザ端末の位置として複数の候補地点を特定し、
前記候補地点から前記ユーザ端末の位置を特定し、且つ
前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、付記１４記載のプログラム。
（付記１６）
付記１１から１５のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

本発明によれば、より正確なマップ情報を生成可能である。このため、本発明は、例えば、展示会やゲーム等のＡＲ技術を用いる分野において特に有用である。

１０ マップ情報生成装置
１１ 画像取得部
１２ 三次元モデル生成部
１３ マップ情報生成部
１４ 特徴点抽出部
２０ 位置特定装置
２１ マップ情報生成部
２２ ユーザ端末情報取得部
２３ 特定部
２４ 仮想画像生成部
２５ マップ情報管理部
２６ 合成画像情報出力部
３０ ユーザ端末
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 表示装置
１０７ 通信デバイス
１０８ 撮像装置
１０９ 音入出力装置

Claims (10)

1. 画像取得部、三次元モデル生成部、及びマップ情報生成部を含み、
   前記画像取得部は、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得し、
   前記三次元モデル生成部は、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成し、
   前記第１の三次元モデル及び前記第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含み、
   前記マップ情報生成部は、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成する、マップ情報生成装置。
2. 前記三次元画像情報は、前記特定エリア内を三次元的に撮像した全周囲パノラマ画像を含む、請求項１記載のマップ情報生成装置。
3. さらに、特徴点抽出部を含み、
   前記特徴点抽出部は、機械学習により前記二次元画像情報から特徴点を抽出し、
   前記マップ情報生成部は、前記特徴点が紐づけられた前記マップ情報を生成する、請求項１又は２記載のマップ情報生成装置。
4. マップ情報生成部、ユーザ端末情報取得部、及び特定部を含み、
   前記マップ情報生成部は、請求項１から３のいずれか一項に記載のマップ情報生成装置であり、
   前記ユーザ端末情報取得部は、ユーザ端末から撮像画像及びセンサ情報を取得し、
   前記特定部は、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、位置特定装置。
5. 前記マップ情報生成部は、請求項３記載のマップ情報生成装置であり、
   前記特徴点抽出部は、機械学習により前記撮像画像から特徴点を抽出し、
   前記特定部は、前記二次元画像情報の特徴点及び前記撮像画像の特徴点に基づき、前記ユーザ端末の位置として複数の候補地点を特定し、
   前記候補地点から前記ユーザ端末の位置を特定し、且つ
   前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、請求項４記載の位置特定装置。
6. 画像取得工程、三次元モデル生成工程、及びマップ情報生成工程を含み、
   前記画像取得工程は、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得し、
   前記三次元モデル生成工程は、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成し、
   前記第１の三次元モデル及び前記第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含み、
   前記マップ情報生成工程は、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成する、マップ情報生成方法。
7. さらに、特徴点抽出工程を含み、
   前記特徴点抽出工程は、機械学習により前記二次元画像情報から特徴点を抽出し、
   前記マップ情報生成工程は、前記特徴点が紐づけられた前記マップ情報を生成する、請求項６記載のマップ情報生成方法。
8. マップ情報生成工程、ユーザ端末情報取得工程、及び特定工程を含み、
   前記マップ情報生成工程は、請求項６又は７記載のマップ情報生成方法の各工程を実行する工程であり、
   前記ユーザ端末情報取得工程は、ユーザ端末から撮像画像及びセンサ情報を取得し、
   前記特定工程は、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する、位置特定方法。
9. コンピュータに、画像取得手順、三次元モデル生成手順、及びマップ情報生成手順を含む手順を実行させるためのプログラム；
   前記画像取得手順は、特定エリアを撮像した三次元画像情報及び二次元画像情報を取得し、
   前記三次元モデル生成手順は、前記三次元画像情報に基づく第１の三次元モデル、及び前記二次元画像情報に基づく第２の三次元モデルを生成し、
   前記第１の三次元モデル及び前記第２の三次元モデルは、前記特定エリア内の構成を示すモデルであり、形状情報を有する点群データを含み、
   前記マップ情報生成手順は、前記第１の三次元モデルにおける点群データと前記第２の三次元モデルにおける点群データとの位置を対応付け、前記特定エリアのマップ情報を生成する。
10. コンピュータに、マップ情報生成手順、ユーザ端末情報取得手順、及び特定手順を含む手順を実行させるためのプログラム；
    前記マップ情報生成手順は、請求項９記載のプログラムの各手順を実行する手順であり、
    前記ユーザ端末情報取得手順は、ユーザ端末から撮像画像及びセンサ情報を取得し、
    前記特定手順は、前記マップ情報の点群データ及び前記撮像画像に基づき、前記ユーザ端末の位置を特定し、且つ前記マップ情報の点群データ及び前記センサ情報に基づき、前記ユーザ端末の撮像方向を特定する。

Images