JP2021173801A - 情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】計測したデータを合わせ込み素材に好適に合わせ込むことにより、高精度な地図の作成が可能な情報処理装置を提供する。【解決手段】情報処理装置４は、取得手段と、合わせ込み手段と、補正手段とを有する。取得手段は、少なくも一部の計測点に対するメタ情報を含む点群データである計測データを取得する。合わせ込み手段は、計測データと、計測データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、メタ情報に基づき合わせ込みを行う。補正手段は、合わせ込みの結果に基づき、計測データを補正することで補正点群データＤｃを生成する。【選択図】図４

Description

本発明は、地図の生成技術に関する。

従来から、車両に設置されたセンサの出力に基づき地図の生成に必要な情報を取得する技術が知られている。例えば、特許文献１には、各車両がセンサにより地図データに対する変化点を検出した場合に、その変化点に関するデータを地図管理サーバに送信することで地図データの更新を行うシステムが開示されている。また、特許文献２には、反射強度を用いたスキャンマッチング手法が開示されている。さらに、非特許文献１には、色情報を用いたスキャンマッチング手法が開示されている。

特開２０１６−１５６９７３号公報 国際公開ＷＯ２０１９／１８８７０４

Bharat Lohani, Sandeep Sasidharan. Intensity Augmented ICP for Registration of Laser Scanner Point Clouds. XXXII INCA International Congress on Cartography for Sustainable Earth Resource Management, pp. 30 - 34, 2012.

ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）により地図を作成する場合、生成される点群地図に大きな歪みが生じることがあった。このような歪みは、１度の走行による計測又は複数の走行による計測によらず生じる。

本発明は、上記のような課題を解決するためになされたものであり、点群地図を好適に生成することが可能な情報処理装置を提供することを主な目的とする。

請求項に記載の発明は、少なくも一部の計測点に対するメタ情報を含む点群データを取得する取得手段と、前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行う合わせ込み手段と、前記合わせ込みの結果に基づき、前記点群データを補正する補正手段と、を有する情報処理装置である。

また、請求項に記載の発明は、コンピュータにより、少なくも一部の計測点に対するメタ情報を含む点群データを取得し、前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行い、前記合わせ込みの結果に基づき、前記点群データを補正する、制御方法である。

また、請求項に記載の発明は、少なくも一部の計測点に対するメタ情報を含む点群データを取得する取得手段と、前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行う合わせ込み手段と、前記合わせ込みの結果に基づき、前記点群データを補正する補正手段としてコンピュータを機能させるプログラムである。

点群地図生成システムの概略構成である。 車載機及び情報処理装置のブロック構成を示す。 合わせ込み素材のデータ構造の一例を示す。 情報処理装置の機能ブロック図を示す。 （Ａ）計測空間内の計測点を示すオルソ画像である。（Ｂ）合わせ込み素材となる設計図である。 （Ａ）合わせ込みポイントにおけるオルソ画像の拡大図である。（Ｂ）合わせ込みポイントにおける設計図の拡大図である。 点群地図生成処理の手順を示すフローチャートの一例である。

本発明の好適な実施形態によれば、情報処理装置は、少なくも一部の計測点に対するメタ情報を含む点群データを取得する取得手段と、前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行う合わせ込み手段と、前記合わせ込みの結果に基づき、前記点群データを補正する補正手段と、を有する。この態様により、情報処理装置は、合わせ込み素材に的確に合わせ込むように点群データを好適に補正することができる。

上記情報処理装置の一態様では、情報処理装置は、前記計測空間における合わせ込みポイントを選定する合わせ込みポイント選定手段をさらに有し、前記合わせ込み手段は、前記合わせ込みポイントを基準として、前記合わせ込みを行う。この態様では、情報処理装置は、マッチングが容易なポイントを合わせ込みポイントとして選定することで、合わせ込みを正確に実行することが可能となる。

上記情報処理装置の他の一態様では、前記メタ情報は、物体の特徴を示す指標である特徴情報であり、前記合わせ込み手段は、前記特徴情報に基づき、前記合わせ込みを行う。この態様では、情報処理装置は、特徴情報を用いてより高精度に合わせ込みを行い、点群データを好適に補正することができる。好適な例では、前記点群データは、カメラ又は測域センサにより計測されたデータであり、前記特徴情報は、前記カメラが計測する色若しくは輝度を示す情報、又は、前記測域センサが計測する反射強度を示す情報である。

上記情報処理装置の他の一態様では、前記メタ情報は、施設内において計測が行われた場合の前記計測空間となる階層を特定する情報を含み、前記合わせ込み手段は、前記点群データと、前記メタ情報により特定された前記階層に対応する前記合わせ込み素材との合わせ込みを行う。この態様により、情報処理装置は、複数の階層を有する施設内を計測する場合においても、点群データを合わせ込む対象となる階層を好適に特定し、点群データを好適に補正することができる。

上記情報処理装置の他の一態様では、前記合わせ込み素材は、前記計測空間に関する情報である付加情報をさらに有し、前記補正手段は、補正した計測データに前記付加情報を付加した点群地図を生成する。この態様により、情報処理装置は、合わせ込み素材に含まれている付加情報を踏襲した点群地図を好適に生成することができる。

上記情報処理装置の他の一態様では、前記点群データは、外界センサにより計測される前記外界センサの位置を基準とした点群データと、前記点群データの時系列での計測位置の軌跡を示す軌跡情報とを含み、前記補正手段は、前記合わせ込みの結果に基づき、前記点群データの軌跡情報を補正する。この態様により、情報処理装置は、合わせ込み素材に合わせ込むように点群データを好適に補正することができる。

本発明の他の好適な実施形態によれば、コンピュータにより、少なくも一部の計測点に対するメタ情報を含む点群データを取得し、前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行い、前記合わせ込みの結果に基づき、前記点群データを補正する、制御方法である。コンピュータは、この制御方法を実行することで、合わせ込み素材に的確に合わせ込むように点群データを好適に補正することができる。

本発明の他の好適な実施形態によれば、少なくも一部の計測点に対するメタ情報を含む点群データを取得する取得手段と、前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行う合わせ込み手段と、前記合わせ込みの結果に基づき、前記点群データを補正する補正手段としてコンピュータを機能させるプログラムである。コンピュータは、このプログラムを実行することで、合わせ込み素材に的確に合わせ込むように点群データを好適に補正することができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。

（１）システム概要
図１は、本実施例に係る点群地図生成システムの概略構成図である。図１に示す点群地図生成システムは、計測された点群データに基づく地図を生成するシステムであり、主に、計測を行いながら移動する計測装置１と、計測装置１により計測されたデータに基づき地図を生成する情報処理装置４とを有する。

計測装置１は、計測を行う対象となる空間（「計測空間」とも呼ぶ。）内を移動しながら計測装置１の周辺の計測を行うことで、情報処理装置４に供給する計測データ「Ｉｍ」を生成する。計測装置１は、種々の外界センサを有し、Ｖｉｓｕａｌ−ＳＬＡＭなどの任意のＳＬＡＭ技術を用いて、計測データＩｍを生成する。計測データＩｍは、周辺物体の表面の３次元位置を示す計測点の点群である点群データと、生成された点群データの計測位置の軌跡を示す軌跡情報とを含んでいる。ここで、「点群データ」は、上記の軌跡に基づき外界センサが出力するデータ（「センサデータ」とも呼ぶ。）を積算した点群地図（積算点群）データを指す。点群データと、軌跡情報とは、夫々日時情報などを含むことにより対応付けがなされている。計測装置１は、情報処理装置４とデータ通信可能であって、生成した計測データＩｍを、所定のタイミングにおいて情報処理装置４に送信する。

なお、計測空間は、屋外の所定エリアであってもよく、主に屋内となる施設内のエリアであってもよい。また、施設が階層化されたフロアを有する場合には、計測空間は、当該施設内の任意のエリアであってもよい。計測空間が施設内の場合、計測装置１は、例えば自走式のロボットである。また、計測空間が屋外の場合、計測装置１は、例えば、道路を走行する計測車両である。

情報処理装置４は、計測データＩｍを計測装置１から受信し、受信した計測データＩｍを蓄積する。そして、情報処理装置４は、計測データＩｍに基づき、計測空間内の点群地図を生成する。

なお、図１に示す点群地図生成システムの構成は一例であり、図１に示す構成に対して種々の変形を行ってもよい。

例えば、情報処理装置４は、計測装置１とのデータ通信により計測データＩｍを取得する代わりに、計測装置１が記憶媒体に記憶した計測データＩｍを記憶媒体から読み出すことで、計測データＩｍを取得してもよい。この場合、上記の記憶媒体は、計測車両の計測時には計測装置１に電気的に接続されることにより、計測装置１による計測データＩｍの書込みが行われる。また、計測車両の計測後、上記の記憶媒体は、情報処理装置４と電気的に接続されることにより、情報処理装置４による計測データＩｍの読み出しが行われる。また、計測装置１は、複数台存在してもよい。また、情報処理装置４は、複数の装置から構成されてもよい。この場合、複数の装置は、予め割り当てられた処理を実行し、かつ、互いに必要なデータの授受を装置間において行う。また、計測装置１は、情報処理装置４に相当する機能を有し、情報処理装置４が実行する点群地図生成処理を実行してもよい。

（２）装置構成
図２（Ａ）は、計測装置１の機能的構成を示すブロック図である。計測装置１は、主に、センサ群２と、インターフェース１１と、メモリ１２と、コントローラ１５とを有する。これらの各要素は、バスラインを介して相互に接続されている。

センサ群２は、計測データＩｍの生成に必要な複数のセンサであり、計測装置１の外部の計測を行うことでセンサデータを生成する外界センサを含む。

外界センサは、ライダなどの測域センサであってもよく、視差に基づき３次元位置を計測可能なカメラ（ステレオカメラ）又は視差を用いないＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）等に基づく３次元カメラ等であってもよい。センサデータは、例えば、計測装置１の位置及び方向（詳しくは外界センサの位置及び設置角度）を基準としたデータであり、例えば計測位置からの距離及び方位の組合せを示すデータである。また、センサデータ及びセンサデータに基づき生成された点群データは、色情報、輝度の情報、反射強度の情報などの計測対象の特徴を表す指標となる情報（「特徴情報」とも呼ぶ。）を、メタ情報として含む。この場合、計測装置１は、複数の外界センサの出力に基づきメタ情報となる上述の特徴情報を生成してもよい。例えば、計測装置１は、ライダとカメラとの両方の出力に基づき、各計測点が色情報又は輝度情報を有する点群データを含む計測データを生成してもよい。

なお、センサ群２は、内界センサをさらに含んでもよい。この場合、内界センサは、例えば、ＧＰＳ受信機、加速度センサ、ジャイロセンサ、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの複数のセンサを含んでいる。上記のＧＰＳ受信機は、ＲＴＫ測位方式（即ち干渉測位方式）に基づき計測車両の絶対的な位置（例えば緯度、経度、及び高度の３次元位置）を示す高精度な位置情報を生成するものであってもよい。この場合、コントローラ１５は、内界センサの出力に基づき、外界センサが生成する点群データの計測位置の時系列の軌跡を示す軌跡情報を生成してもよい。なお、内界センサは、外界センサの位置及び姿勢を直接検出するように外界センサに設けられてもよい。また、計測装置１は、計測装置１への外界センサの設置位置及び設置角度を示す情報に基づき、内界センサが出力する計測装置１の位置を示すデータを、外界センサの位置を示すデータに変換した軌跡情報を生成してもよい。

また、計測装置１は、複数の階層（フロア）を有する施設内での計測の場合、計測対象となる階層を特定するための情報をメタ情報として計測データに含めてもよい。この場合、例えば、計測データには、計測装置１に設けられた気圧センサが出力する気圧情報、又は、屋内の測位結果を示す屋内測位情報がメタ情報として含まれる。屋内測位情報は、ビーコンを利用した測位情報、ＩＭＥＳ（Ｉｎｄｏｏｒ ＭＥｓｓａｇｉｎｇ Ｓｙｓｔｅｍ）に基づく測位情報、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の電波強度に基づく測位情報、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に基づく測位情報であってもよい。

インターフェース１１は、計測装置１と外部装置とのデータの授受に関するインターフェース動作を行う。本実施例では、インターフェース１１は、コントローラ１５の制御に基づき、センサ群２が生成したデータをメモリ１２に記憶する。

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、不揮発性メモリ（ハードディスクドライブ、フラッシュメモリなどを含む）などの各種のメモリにより構成される。メモリ１２は、コントローラ１５が所定の処理を実行するためのプログラムが記憶される。また、メモリ１２は、コントローラ１５の作業メモリとして使用される。なお、コントローラ１５が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。

また、メモリ１２は、機能的には、点群データ記憶部１６と、軌跡情報記憶部１７とを有する。点群データ記憶部１６は、コントローラ１５の制御に基づき、生成された点群データを記憶する。軌跡情報記憶部１７は、コントローラ１５の制御に基づき、生成された軌跡情報を記憶する。

なお、点群データ記憶部１６及び軌跡情報記憶部１７の少なくとも一方は、インターフェース１１を介して計測装置１と接続されたハードディスクなどの計測装置１の外部の記憶装置に記憶されてもよい。

コントローラ１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ等を含み、計測装置１の全体を制御する。この場合、コントローラ１５は、メモリ１２等に記憶されたプログラムを実行することで、点群データ記憶部１６及び軌跡情報記憶部１７が記憶するデータの蓄積処理、及び、計測データＩｍの情報処理装置４への送信処理などを行う。

図２（Ｂ）は、情報処理装置４の機能的構成を示すブロック図である。情報処理装置４は、インターフェース４１と、メモリ４２と、コントローラ４５と、を有する。これらの各要素は、バスラインを介して相互に接続されている。

インターフェース４１は、情報処理装置４と外部装置とのデータの授受に関するインターフェース動作を行う。本実施形態では、インターフェース４１は、計測装置１が生成した計測データＩｍを受信する。インターフェース４１は、計測装置１と無線通信を行うためのワイヤレスインターフェースであってもよく、計測データＩｍを記憶した記憶媒体等から計測データＩｍを読み出すためのハードウェアインターフェースであってもよい。また、インターフェース４１は、ユーザ入力を受け付ける入力装置とのインターフェース動作を行ってもよい。

メモリ４２は、ＲＡＭ、ＲＯＭ、その他不揮発性メモリ（ハードディスクドライブ、フラッシュメモリなどを含む）などの各種のメモリにより構成される。メモリ４２は、コントローラ４５が所定の処理を実行するためのプログラムが記憶される。また、メモリ４２は、コントローラ４５の作業メモリとして使用される。なお、コントローラ４５が実行するプログラムは、メモリ４２以外の記憶媒体に記憶されてもよい。

また、メモリ４２は、機能的には、計測データ記憶部４６と、合わせ込み素材記憶部４７と、点群地図記憶部４８とを有する。計測データ記憶部４６は、計測装置１から受信した計測データＩｍを記憶する。

合わせ込み素材記憶部４７は、計測データ記憶部４６が記憶する計測データを合わせ込む対象となる合わせ込み素材を記憶する。合わせ込み素材は、計測空間の構造及び配置を示す地図データ（図面データ）であり、例えば、道路台帳、設計図、又はフロアマップなどの図面を含むデータである。また、計測空間が階層化された施設内の空間である場合、合わせ込み素材は、対象の施設の各階層の図面（フロアマップ）を示す情報であってもよい。合わせ込み素材のデータ構造については、図３を参照して説明する。

点群地図記憶部４８は、合わせ込み素材に合わせ込むように補正された計測データを点群地図として記憶する。点群地図は、計測空間における３次元計測点の点群データであってもよく、３次元空間の正規格子を示すボクセルごとに点群データを表したボクセルデータであってもよい。

なお、計測データ記憶部４６、合わせ込み素材記憶部４７、及び点群地図記憶部４８の少なくとも１つは、インターフェース４１を介して情報処理装置４と接続されたハードディスクなどの情報処理装置４の外部の記憶装置に記憶されてもよい。上記の記憶装置は、情報処理装置４と通信を行うサーバ装置であってもよい。また、上記の記憶装置は、複数の装置から構成されてもよい。

コントローラ４５は、ＣＰＵ、ＧＰＵなどのプロセッサ等を含み、情報処理装置４の全体を制御する。この場合、コントローラ４５は、メモリ４２等に記憶されたプログラムを実行することで、点群地図の生成に関する処理を行う。コントローラ４５は、「取得手段」、「合わせ込みポイント選定手段」、「合わせ込み手段」、「補正手段」及びプログラムを実行するコンピュータ等として機能する。

なお、コントローラ４５が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、コントローラ４５が実行する処理は、例えばＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、コントローラ４５が本実施例において実行するプログラムを実現してもよい。このように、コントローラ４５は、プロセッサ以外のハードウェアにより実現されてもよい。

ここで、合わせ込み素材記憶部４７が記憶する合わせ込み素材について、図３を参照して補足説明する。図３は、合わせ込み素材記憶部４７が記憶する合わせ込み素材のデータ構造の一例である。合わせ込み素材は、対象空間識別情報と、構造・配置情報と、メタ情報とを有する。

対象空間識別情報は、後述の構造・配置情報において構造及び配置が示される対象となる空間の識別情報である。対象空間識別情報は、対象となる空間の緯度及び経度などの絶対位置を示す情報であってもよく、絶対位置から特定可能な識別情報（例えば行政区画の識別情報等）であってもよい。また、対象空間識別情報は、絶対位置と紐付かない相対座標系の位置を示す情報であってもよい。

構造・配置情報は、対象となる空間内の構造及び空間内の特徴物等の配置を示す情報である。特徴物は、屋外であれば信号機や看板などの地物などが該当し、屋内であれば、壁、床、階段などが該当する。構造・配置情報は、対象となる空間の設計図などの図面（詳しくは図面を示す画像）であってもよい。また、構造・配置情報は、壁面の位置を示すレイヤ、寸法線を示すレイヤなどの複数のレイヤ構造を有するとよい。また、構造・配置情報には、スケールを示す情報が付加されてもよい。また、構造・配置情報では、計測データに含まれる軌跡情報において採用される座標系と同一又は相互に変換可能な座標系（「素材座標系」とも呼ぶ。）が設定されており、少なくとも一部の構造又は特徴物の配置が素材座標系により示されている。また、構造・配置情報は、対象の空間の３次元モデルが生成できるように３次元情報（立体的な構造及び配置の情報）を有してもよい。

メタ情報は、計測装置１による計測データと合わせ込み素材との合わせ込みの処理において使用されるデータであり、主に、特徴情報と、階層属性情報と、付加情報と、を含む。

特徴情報は、対応する構造・配置情報が対象とする空間において計測可能な物（床などの平面物を含む）の特徴の指標を示す情報である。特徴情報は、例えば、対象物が有する色情報であってもよく、対象物が計測される際の輝度を示す情報であってもよく、対物の反射強度を示す情報であってもよい。なお、特徴情報は、対象となる空間に存在する全ての物に付加されている必要はなく、一部の物（例えばペインティングされた専用スペース等）に付加されてもよい。

階層属性情報は、対応する構造・配置情報が対象とする空間が複数の階層（フロア）を有する施設内の１つの階層である場合に、当該階層の属性を示す情報である。例えば、計測データに気圧センサの値がメタ情報として含まれている場合には、階層属性情報は、対象の階層において計測される気圧の範囲を示す。同様に、計測データに屋内測位情報がメタ情報として含まれている場合には、階層属性情報は、対象の階層において測位される位置の範囲を示す。この階層属性情報は、階層属性情報をメタ情報として含む地図データを参照して特定の処理（例えば自己位置推定等）を行う場合においても好適に用いられる。

付加情報は、対応する構造・配置情報が対象とする空間内に関する付加的な情報である。付加情報は、例えば、対象の空間内に存在する施設（店舗）に関する情報（例えば、施設名、ジャンル、位置等に関する情報）、専用エリアに関する情報、その他一般的な地図データに含まれる施設情報である。付加情報は、補正済の計測データに付加されて点群地図記憶部４８に記憶される。

（３）機能ブロック
図４は、本実施例における情報処理装置４のコントローラ４５の機能的な構成を示すブロック図である。図４に示すように、コントローラ４５は、機能的には、合わせ込みポイント選定部２１と、加工部２２と、ずれ量算出部２３と、補正部２４とを有する。

合わせ込みポイント選定部２１は、計測データと合わせ込み素材とのマッチングを行うポイント（「合わせ込みポイントＰｍ」とも呼ぶ。）を選定する。例えば、合わせ込みポイント選定部２１は、ユーザ入力に基づき、計測空間から任意の部分空間を、合わせ込みポイントＰｍとして選定する。他の例では、合わせ込みポイント選定部２１は、合わせ込み素材において登録された特徴物が存在する所定サイズの部分空間を、合わせ込みポイントＰｍとして自動選定する。なお、合わせ込み素材には、合わせ込みポイントＰｍとして選定すべきポイントを示す情報が予め含まれてもよい。

加工部２２は、合わせ込みポイント選定部２１が選定した合わせ込みポイントＰｍに基づき、対象の計測データの加工を行うことで、加工データ「Ｄｐ」を生成する。ここで、後述のずれ量算出部２３が２次元でのマッチング（即ち水平方向のみのマッチング）を行う場合には、加工部２２は、合わせ込みポイントＰｍに対応する計測データを計測データ記憶部４６から抽出し、抽出した計測データに対して正射変換を行うことで、オルソ画像を生成する。そして、加工部２２は、合わせ込みポイントＰｍ毎に生成したオルソ画像を、加工データＤｐとしてずれ量算出部２３に供給する。一方、後述のずれ量算出部２３が３次元でのマッチング（即ち高さ方向を含めたマッチング）を行う場合には、加工部２２は、合わせ込みポイントＰｍに対応する計測データを、計測データ記憶部４６から抽出し、抽出した計測データを、加工データＤｐとしてずれ量算出部２３に供給する。また、加工部２２は、合わせ込みポイントＰｍに対応する計測データの抽出処理に加えて、ＶＧＦ（Ｖｏｘｅｌ Ｇｒｉｄ Ｆｉｌｔｅｒ）による点群のダウンサンプリング、又は、ボクセル化処理などの任意のフィルタリング処理を行ってもよい。この場合、加工データＤｐは、各計測点が合わせ込みポイントＰｍ内の３次元位置を示す点群データとなる。また、２次元マッチング又は３次元マッチングのいずれの場合においても、加工データＤｐには、抽出した計測データに含まれていたメタ情報が含まれている。

ずれ量算出部２３は、加工部２２から供給される加工データＤｐと、合わせ込み素材記憶部４７から抽出した合わせ込み素材との合わせ込みを行うことで、計測データの軌跡情報が示す軌跡のずれ量「ｄＭ」を算出する。この場合、ずれ量算出部２３は、計測データに階層を特定するためのメタ情報が含まれている場合には、当該メタ情報と、合わせ込み素材の階層属性情報とを参照することで、計測された階層に対応する合わせ込み素材（詳しくは構造・配置情報）を選択する。なお、ずれ量算出部２３は、合わせ込みを行う対象となる合わせ込み素材を指定するユーザ入力を受け付けることで、使用する合わせ込み素材を選択してもよい。そして、ずれ量算出部２３は、加工データＤｐと合わせ込み素材とのマッチングをメタ情報である特徴情報に基づき実行することで、ずれ量ｄＭを算出する。特徴情報に基づくマッチングについては後述する。なお、ずれ量算出部２３は、合わせ込みポイントＰｍを基準として計測データを分割し、分割した計測データ同士を合わせ込みポイントＰｍにおいてマッチングさせることで、分割した計測データ同士のずれ量をさらに算出してもよい。このずれ量を分割した計測データに適用することで、計測データ間のずれを好適に低減することができる。なお、計測データの分割は必須ではなく、例えば、合わせ込みポイントＰｍにおいて計測した軌跡が分かれていた場合には、分割を行う必要がない。

補正部２４は、ずれ量算出部２３が算出したずれ量ｄＭに基づき、対象の計測データを補正した点群データ（「補正点群データＤｃ」とも呼ぶ。）を生成する。この場合、補正部２４は、ずれ量ｄＭに基づき、対象の計測データに含まれる軌跡情報を補正し、補正した軌跡情報に基づき対応する点群データを補正することで、補正点群データＤｃを生成する。この場合、補正点群データＤｃは、修正された軌跡に基づき対応する点群データを補正した点群データであり、補正点群データＤｃを構成する各計測点は、素材座標系での３次元位置を示すデータとなる。なお、補正部２４は、計測空間に対応する合わせ込み素材に付加情報が存在する場合には、生成した補正点群データＤｃに当該付加情報を付加して点群地図記憶部４８に記憶するとよい。これにより、補正部２４は、計測空間内の店舗などの情報を、生成した点群地図に好適に付加することができる。

（４）合わせ込み処理
次に、ずれ量算出部２３が実行する合わせ込み処理について具体的に説明する。

図５（Ａ）は、計測空間内の計測点を示すオルソ画像であり、図５（Ｂ）は、合わせ込み素材として登録された設計図である。図５（Ｂ）では、選定された合わせ込みポイント「Ｐｍ１」〜「Ｐｍ５」が破線枠により明示されている。また、図５（Ａ）では、軌跡情報が示す軌跡が白線により明示され、かつ、合わせ込みポイントＰｍ１〜Ｐｍ５に対応する部分が白の破線枠により明示されている。なお、図５（Ａ）及び図５（Ｂ）の例では、合わせ込みポイントＰｍ３内に存在する特徴物５０に関する特徴情報が、メタ情報として合わせ込み素材に含まれているものとする。

図５（Ａ）に示すように、加工部２２は、対象となる計測データを、合わせ込み素材と同一の視点から撮影された画像となるように正射変換することで、オルソ画像に変換する。また、ずれ量算出部２３は、計測データにメタ情報として含まれる気圧情報又は屋内測位情報と、合わせ込み素材記憶部４７に記憶される合わせ込み素材の階層属性情報とに基づき、計測が行われた階層を特定する。そして、ずれ量算出部２３は、特定した階層の構造・配置情報を、合わせ込み素材記憶部４７から抽出することで、図５（Ｂ）に示される設計図を認識する。

また、図５（Ａ）、（Ｂ）に示すように、合わせ込みポイント選定部２１は、壁面や静止物などの特徴物を含む計測空間内の所定サイズの矩形領域を、夫々、オルソ画像及び合わせ込み素材である設計図の両方において夫々合わせ込みポイントＰｍ１〜Ｐｍ５として設定する。例えば、合わせ込みポイント選定部２１は、ユーザ入力に基づき合わせ込みポイントＰｍを選定する場合、図５（Ａ）に示すオルソ画像と図５（Ｂ）に示す設計図とを夫々ディスプレイ等の表示装置に表示させ、表示したオルソ画像及び設計図上において、合わせ込みポイントＰｍとなる矩形領域を指定する入力を受け付けてもよい。

そして、ずれ量算出部２３は、合わせ込みポイントＰｍ１〜合わせ込みポイントＰｍ５において、図５（Ａ）に示すオルソ画像と図５（Ｂ）に示す設計図とのテンプレートマッチングを行う。そして、ずれ量算出部２３は、テンプレートマッチングにより、図５（Ａ）に示す合わせ込みポイントＰｍ１〜合わせ込みポイントＰｍ５内のオルソ画像を平行移動・回転させる必要がある移動量を、ずれ量ｄＭとして算出する。この場合、ずれ量算出部２３は、例えば、オルソ画像を生成した計測データに基づき特定される、オルソ画像の各画素での素材座標系での位置と、合わせ込みにより特定される、オルソ画像の各画素での素材座標系での位置とのずれを、ずれ量ｄＭとして算出する。

図６（Ａ）は、図５（Ａ）に示すオルソ画像において合わせ込みポイントＰｍ５を拡大した図であり、図６（Ｂ）は、図５（Ｂ）に示す設計図において合わせ込みポイントＰｍ５を拡大した図である。例えば、合わせ込みポイントＰｍ５でのテンプレートマッチングでは、図６（Ａ）に示すオルソ画像と、図６（Ｂ）に示す設計図とのいずれにおいても、柱及び壁面が表示されている。よって、ずれ量算出部２３は、オルソ画像と設計図とにおいてこれらの特徴物の位置が一致するために必要な、合わせ込みポイントＰｍ５内でのオルソ画像の各画素の移動量を、ずれ量ｄＭとして算出する。そして、合わせ込みポイントＰｍ１〜合わせ込みポイントＰｍ５で夫々オルソ画像に必要な平行移動・回転量に相当するずれ量ｄＭの算出後、これらのずれ量ｄＭに基づき、計測データの剛体変換又は非剛体変換が行われる。なお、ずれ量ｄＭに基づき剛体変換を行う場合には、ずれ量算出部２３は、合わせ込みポイントＰｍ１〜合わせ込みポイントＰｍ５で夫々オルソ画像に必要な平行移動・回転量に相当するずれ量の平均値又はその他の代表値を、ずれ量ｄＭとして算出してもよい。また、ずれ量算出部２３は、合わせ込みポイントＰｍ１〜合わせ込みポイントＰｍ５以外の領域のデータをマスク処理により除外した上で、計測データと合わせ込み素材との合わせ込みを行うことで、ずれ量ｄＭを算出してもよい。

なお、図５及び図６の例では、ずれ量算出部２３は、２次元方向での合わせ込みを行ったが、これに代えて、高さ方向を含めた３次元での合わせ込みを行ってもよい。この場合、ずれ量算出部２３は、合わせ込みポイントＰｍ内の位置を示す計測データを、加工データＤｐとして抽出する。そして、ずれ量算出部２３は、合わせ込み素材から計測空間の３次元モデルを生成し、生成した３次元モデルと、合わせ込みポイントＰｍ内の位置を示す３次元点群データである加工データＤｐとのマッチングを行う。このマッチング方法は、種々の３次元マッチング手法により実現されてもよい。３次元マッチング手法は、例えば、ＮＤＴ（Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ Ｔｒａｎｓｆｏｒｍ）によるマッチング、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）によるマッチング、法線などの特徴量を利用したマッチング、３次元でのテンプレートマッチングなどが存在する。

次に、特徴情報に基づくマッチング方法について説明する。ずれ量算出部２３は、加工データＤｐ及び合わせ込み素材の両方に含まれるメタ情報である特徴情報に基づいてずれ量ｄＭを算出する。

第１の例として、合わせ込みポイントＰｍ３内の特徴物５０は、特定の色を有しており、合わせ込み素材には、特徴物５０の色情報が予めメタ情報として含まれている場合について考察する。この場合、合わせ込みポイントＰｍ３に対応する加工データＤｐのうち、特徴物５０の表面を形成する各計測点には、同様に計測装置１の外界センサにより取得された特徴物５０の色情報が含まれている。そして、ずれ量算出部２３は、合わせ込みポイントＰｍ３における合わせ込みを行う場合、色情報を考慮したマッチングを実行する。この場合、例えば、ずれ量算出部２３は、マッチングさせる点又はボクセル同士の重み付け値を、色情報に基づき設定する。具体的には、ずれ量算出部２３は、類似する色情報を有する点又はボクセル同士程、高い重み付けがなされるように、マッチングの度合を評価するための評価関数を定める。なお、ずれ量算出部２３は、色情報を重み付け値の算出に用いる代わりに、色情報のみに基づいてマッチングを行ってもよく、色情報のみに基づくマッチング結果と、色情報を重み付け値の算出に用いたマッチング結果とを組み合わせてもよい。色情報を用いたスキャンマッチングの手法については、例えば、非特許文献１に開示されている。

第２の例として、合わせ込み素材に特徴物５０の反射強度の情報が予めメタ情報として含まれている場合について考察する。この場合、合わせ込みポイントＰｍ３に対応する加工データＤｐのうち、特徴物５０の表面を形成する各計測点には、計測装置１の外界センサにより取得された特徴物５０の反射強度の情報が含まれている。そして、ずれ量算出部２３は、合わせ込みポイントＰｍ３における合わせ込みを行う場合、この反射強度を考慮したマッチングを実行する。この場合、ずれ量算出部２３は、類似する反射強度を有する点又はボクセル同士程、高い重み付けがなされるように、マッチングの度合を評価するための評価関数を定める。なお、ずれ量算出部２３は、反射強度を重み付け値の算出に用いる代わりに、反射強度のみに基づいてマッチングを行ってもよく、反射強度のみに基づくマッチング結果と、反射強度を重み付け値の算出に用いたマッチング結果とを組み合わせてもよい。なお、反射強度を用いたスキャンマッチングの手法については、例えば、特許文献２に開示されている。なお、合わせ込み素材に特徴物５０の輝度の情報が予めメタ情報として含まれていた場合においても、ずれ量算出部２３は、反射強度を考慮したスキャンマッチングと同様の処理を実行すればよい。

このように、ずれ量算出部２３は、メタ情報を考慮した合わせ込み処理を行うことで、合わせ込み素材へ合わせ込みを行うためのずれ量ｄＭをより的確に算出することができる。なお、３次元マッチングを行う場合には、直接色または反射強度による重みを用いる代わりに、ずれ量算出部２３は、ＣＣ−ＩＣＰの応用等として、メタ情報とそれ以外を複合してマッチングを行い、そのマッチング結果に基づきずれ量ｄＭを算出してもよい。

好適には、ずれ量算出部２３は、メタ情報が存在する合わせ込みポイントＰｍのマッチング結果を、メタ情報が存在しない合わせ込みポイントＰｍのマッチング結果よりも重み付けを高くするとよい。例えば、図５及び図６の例において、合わせ込みポイントＰｍ１〜Ｐｍ５の夫々でのマッチング結果であるずれ量の重み付け平均によりずれ量ｄＭを設定する場合について考察する。この場合、ずれ量算出部２３は、メタ情報が存在する合わせ込みポイントＰｍ３のずれ量に対する重み付け値を、他の合わせ込みポイントＰｍのずれ量に対する重み付け値よりも所定割合だけ高く設定する。他の好適な例では、ずれ量算出部２３は、メタ情報が存在するデータ同士のマッチング結果のみに基づき、ずれ量ｄＭを算出してもよい。この場合、図５及び図６の例では、ずれ量算出部２３は、合わせ込みポイントＰｍ３でのマッチング結果のみに基づきずれ量ｄＭを決定する。これらの例によれば、ずれ量算出部２３は、メタ情報を用いてより正確に合わせ込みができる箇所でのマッチング結果の重みを高くしたずれ量ｄＭを、好適に算出することができる。

（５）処理フロー
図７は、情報処理装置４のコントローラ４５が実行する点群地図生成処理の手順を示すフローチャートの一例である。

まず、コントローラ４５は、対象となる計測データを取得する（ステップＳ１０）。この場合、コントローラ４５は、例えば、計測データ記憶部４６に記憶された全ての計測データを計測データ記憶部４６から取得してもよく、ユーザ入力等により指定された計測空間における計測データを計測データ記憶部４６から取得してもよい。また、コントローラ４５は、インターフェース４１を介して計測装置１から計測データＩｍを受信した場合に、当該計測データＩｍを対象の計測データとみなしてもよい。

次に、コントローラ４５の合わせ込みポイント選定部２１は、１又は複数の合わせ込みポイントＰｍを選定する（ステップＳ１１）。この場合、合わせ込みポイント選定部２１は、ユーザ入力に基づき合わせ込みポイントＰｍを選定してもよく、ずれ量ｄＭを算出するためのマッチングに好適な特徴物が存在する計測空間内の部分空間を、合わせ込みポイントＰｍとして自動選定してもよい。

次に、加工部２２は、ステップＳ１１で選定された１又は複数の合わせ込みポイントＰｍでの計測データを加工した加工データＤｐを生成する（ステップＳ１２）。この場合、加工部２２は、後述のステップＳ１３において２次元でのマッチングが行われる場合には、合わせ込みポイントＰｍでの計測データから生成したオルソ画像を、加工データＤｐとして生成する。また、加工部２２は、後述のステップＳ１３において３次元でのマッチングが行われる場合には、計測データが示す計測点群のうち、合わせ込みポイントＰｍ内の位置を示す計測点群を、加工データＤｐとして抽出する。また、加工部２２は、合わせ込みポイントＰｍに対応する計測データの抽出処理に加えて、ＶＧＦによる点群のダウンサンプリング、又は、ボクセル化処理などの任意のフィルタリング処理を行ってもよい。

次に、ずれ量算出部２３は、メタ情報を用いて、合わせ込み素材に対する計測データのずれ量ｄＭを算出する（ステップＳ１３）。この場合、ずれ量算出部２３は、合わせ込み素材とステップＳ１２で生成した加工データＤｐとに夫々メタ情報として含まれる特徴情報に基づき、合わせ込みポイントＰｍにおける合わせ込み素材と加工データＤｐとのマッチングを行う。これにより、ずれ量算出部２３は、特徴情報を考慮した高精度なマッチングを行い、ずれ量ｄＭを的確に算出することができる。また、ずれ量算出部２３は、計測データに気圧情報又は屋内測位情報がメタ情報として含まれている場合、当該メタ情報と合わせ込み素材に含まれる階層属性情報とを参照することで、計測が行われた階層を特定し、特定した階層の構造・配置情報を、合わせ込み素材記憶部４７から抽出する。

そして、補正部２４は、ステップＳ１３で算出したずれ量ｄＭに基づき、補正点群データＤｃを生成する（ステップＳ１４）。この場合、ずれ量算出部２３が算出したずれ量ｄＭだけ計測データの軌跡情報を補正し、補正した軌跡情報に基づき点群データを補正することで、合わせ込み素材に合わせ込まれた補正点群データＤｃを生成する。その後、補正部２４は、生成した補正点群データＤｃを、対応する合わせ込み素材の付加情報を付加して点群地図記憶部４８に記憶する。このように、情報処理装置４は、合わせ込み素材に合わせ込んだ補正点群データＤｃを生成することで、合わせ込み素材に含まれていた付加情報を好適に引き継いだ点群地図を生成することができる。

以上説明したように、本実施例における情報処理装置４は、取得手段と、合わせ込み手段と、補正手段とを有する。取得手段は、少なくも一部の計測点に対するメタ情報を含む点群データである計測データを取得する。合わせ込み手段は、計測データと、計測データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、メタ情報に基づき合わせ込みを行う。補正手段は、合わせ込みの結果に基づき、計測データを補正することで補正点群データＤｃを生成する。これにより、情報処理装置４は、合わせ込み素材に的確に合わせ込んだ点群地図を好適に生成することができる。

なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１ 計測装置
２ センサ群
４ 情報処理装置
１６ 点群データ記憶部
１７ 軌跡情報記憶部
４６ 計測データ記憶部
４７ 合わせ込み素材記憶部
４８ 点群地図記憶部

Claims (10)

1. 少なくも一部の計測点に対するメタ情報を含む点群データを取得する取得手段と、
   前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行う合わせ込み手段と、
   前記合わせ込みの結果に基づき、前記点群データを補正する補正手段と、
   を有する情報処理装置。
2. 前記計測空間における合わせ込みポイントを選定する合わせ込みポイント選定手段をさらに有し、
   前記合わせ込み手段は、前記合わせ込みポイントを基準として、前記合わせ込みを行う、請求項１に記載の情報処理装置。
3. 前記メタ情報は、物体の特徴を示す指標である特徴情報であり、
   前記合わせ込み手段は、前記特徴情報に基づき、前記合わせ込みを行う、請求項１または２に記載の情報処理装置。
4. 前記点群データは、カメラ又は測域センサにより計測されたデータであり、
   前記特徴情報は、前記カメラが計測する色若しくは輝度を示す情報、又は、前記測域センサが計測する反射強度を示す情報である、請求項３に記載の情報処理装置。
5. 前記メタ情報は、施設内において計測が行われた場合の前記計測空間となる階層を特定する情報を含み、
   前記合わせ込み手段は、前記点群データと、前記メタ情報により特定された前記階層に対応する前記合わせ込み素材との合わせ込みを行う、請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記合わせ込み素材は、前記計測空間に関する情報である付加情報をさらに有し、
   前記補正手段は、補正した計測データに前記付加情報を付加した点群地図を生成する、請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記点群データは、外界センサにより計測される前記外界センサの位置を基準とした点群データと、前記点群データの時系列での計測位置の軌跡を示す軌跡情報とを含み、
   前記補正手段は、前記合わせ込みの結果に基づき、前記点群データの軌跡情報を補正する、請求項１〜６のいずれか一項に記載の情報処理装置。
8. コンピュータにより、
   少なくも一部の計測点に対するメタ情報を含む点群データを取得し、
   前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行い、
   前記合わせ込みの結果に基づき、前記点群データを補正する、
   制御方法。
9. 少なくも一部の計測点に対するメタ情報を含む点群データを取得する取得手段と、
   前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行う合わせ込み手段と、
   前記合わせ込みの結果に基づき、前記点群データを補正する補正手段
   としてコンピュータを機能させるプログラム。
10. 請求項９に記載のプログラムを記憶した記憶媒体。

Images