JP2022157660A - 点群情報処理装置、点群情報処理方法、点群情報処理プログラム - Google Patents

Abstract

【課題】複数の点群情報の位置合わせにおけるロバスト性を向上させることができる点群情報処理装置、等を提供すること。
【解決手段】異なる視点から撮像された画像情報を解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、ラベル付き画像情報を生成する画像解析部３１と、異なる視点の点群情報の各点に対して当該各点の位置情報に基づきラベル付き画像情報において対応する領域のラベルを付与してラベル付き点群情報を生成する点群ラベル付与部３２と、複数のラベル付き点群情報において共通するラベルを用いて、ラベル付き点群情報間の位置合わせを行う点群統合部３３と、を備える。
【選択図】図１

Description

本発明は、点群情報の処理技術に関するものである。

測量対象物の３次元データを取得する測量装置としてレーザスキャナが知られている。レーザスキャナは測距光であるレーザ光を走査（スキャン）して、測量対象物の点群情報を取得する。点群情報は、対象物を点の集合として捉えたもので、各点の位置情報（三次元座標）を含むデータである。

点群情報は、レーザスキャナの視点から影（死角）となる部分は得られない。これをオクルージョンという。よって、オクルージョンのない三次元モデルを作成する場合、複数の異なる視点から点群を取得し、それを統合する。この際、異なる視点から取得した点群同士をマッチングさせる作業が必要となる。

これに対し、計測された点群データに基づいて、対象物に相当する点群を自動で抽出し、同一の形状属性を持つ点群同士のみでマッチングを行うことで点群の位置合わせ（レジストレーションとも言う）を支援する物体認識装置が開示されている（特許文献１参照）。

ＷＯ２０１４／１５５７１５Ａ１号公報

しかし、特許文献１のように点群データのみに基づいて測量対象物に相当する点群を抽出する方法では、厚みのない壁のように点群の特徴量が少ない物体や、風でなびく木の葉のような物体や自動車等の移動体に相当する点群が含まれている場合には位置合わせがうまくできないという問題がある。

本発明はこのような問題点を解決するためになされたもので、その目的とするところは、測量装置を用いて複数の異なる視点から画像情報及び点群情報を用いて、複数の点群情報の位置合わせにおけるロバスト性を向上させることができる点群情報処理装置、点群情報処理方法及び点群情報処理プログラムを提供するものである。

上記した目的を達成するために、本発明に係る点群情報処理装置は、第１の視点から撮像された第１の画像情報、及び、第２の視点から撮像された第２の画像情報をそれぞれ解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、第１のラベル付き画像情報及び第２のラベル付き画像情報を生成する画像解析部と、前記第１の視点からスキャンされた位置情報を含む点の群からなる第１の点群情報、及び前記第２の視点からスキャンされた位置情報を含む点の群からなる第２の点群情報を取得し、前記第１の点群情報の各点に対して当該各点の位置情報に基づき前記第１のラベル付き画像情報において対応する領域のラベルを付与して第１のラベル付き点群情報を生成し、且つ、前記２の点群情報の各点に対して当該各点の位置情報に基づき前記第２のラベル付き画像情報において対応する領域のラベルを付与して第２のラベル付き点群情報を生成する点群ラベル付与部と、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において共通するラベルを用いて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行う点群統合部と、を備える。

また、上記点群情報処理装置として、前記点群統合部は、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において共通するラベルが付与された点群に対してランダムサンプリングを行い、ランダムサンプリングされた点群の位置情報に基づいて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行ってもよい。

また、上記点群情報処理装置として、前記点群統合部は、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において前記ラベルに応じた物体の少なくとも一部を形づくる一群の点群から当該物体の代表点を生成し、共通するラベルを用いて複数の前記物体の中からランダムサンプリングを行い、ランダムサンプリングされた物体の代表点に基づいて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行ってもよい。

また、上記点群情報処理装置として、前記画像解析部は、事前に機械学習させた画像解析モデルを用いて、前記第１の画像情報、及び、第２の画像情報をそれぞれ解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、第１のラベル付き画像情報及び第２のラベル付き画像情報を生成してもよい。

また、上記点群情報処理装置として、前記点群統合部は、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報について、各点群に付与されたラベルごとに異なる表示で表示可能でもよい。

また、上記した目的を達成するために、本発明に係る点群情報処理方法は、画像解析部が、第１の視点から撮像された第１の画像情報、及び、第２の視点から撮像された第２の画像情報をそれぞれ解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、第１のラベル付き画像情報及び第２のラベル付き画像情報を生成する画像解析ステップと、点群ラベル付与部が、前記第１の視点からスキャンされた位置情報を含む点の群からなる第１の点群情報、及び前記第２の視点からスキャンされた位置情報を含む点の群からなる第２の点群情報を取得し、前記第１の点群情報の各点に対して当該各点の位置情報に基づき前記第１のラベル付き画像情報において対応する領域のラベルを付与して第１のラベル付き点群情報を生成し、且つ、前記２の点群情報の各点に対して当該各点の位置情報に基づき前記第２のラベル付き画像情報において対応する領域のラベルを付与して第２のラベル付き点群情報を生成する点群ラベル付与ステップと、点群統合部が、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において共通するラベルを用いて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行う点群統合ステップと、を備える。

また、上記した目的を達成するために、本発明に係る点群情報処理プログラムは、第１の視点から撮像された第１の画像情報、及び、第２の視点から撮像された第２の画像情報をそれぞれ解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、第１のラベル付き画像情報及び第２のラベル付き画像情報を生成する画像解析ステップと、前記第１の視点からスキャンされた位置情報を含む点の群からなる第１の点群情報、及び前記第２の視点からスキャンされた位置情報を含む点の群からなる第２の点群情報を取得し、前記第１の点群情報の各点に対して当該各点の位置情報に基づき前記第１のラベル付き画像情報において対応する領域のラベルを付与して第１のラベル付き点群情報を生成し、且つ、前記２の点群情報の各点に対して当該各点の位置情報に基づき前記第２のラベル付き画像情報において対応する領域のラベルを付与して第２のラベル付き点群情報を生成する点群ラベル付与ステップと、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において共通するラベルを用いて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行う点群統合ステップと、をコンピュータに実行させるためのプログラムである。

上記手段を用いる本発明によれば、測量装置を用いて複数の異なる視点から画像情報及び点群情報を用いて、複数の点群情報の位置合わせにおけるロバスト性を向上させることができる。

本発明の実施形態に係る点群情報処理装置を含む点群情報処理システムの構成を示すブロック図である。 点群情報処理システムの測量対象物と測量点を示す上面図である。 図２の第１の測量点Ｌ１から撮像した第１の画像情報Ｐ１の例を示す図である。 図２の第１の測量点Ｌ１からスキャンした第１の点群情報Ｑ１の例を示す図である。 図２の第２の測量点Ｌ２から撮像した第２の画像情報Ｐ２の例を示す図である。 図２の第２の測量点Ｌ２からスキャンした第２の点群情報Ｑ２の例を示す図である。 第１のラベル付き画像情報ｐ１の例を示す図である。 第２のラベル付き画像情報ｐ２の例を示す図である。 第１のラベル付き点群情報ｑ１の例を示す図である。 第２のラベル付き点群情報ｑ２の例を示す図である。 本実施形態に係る点群情報処理装置１０の解析処理部３０が実行する解析処理動作を示すフローチャートである。 位置合わせに失敗した点群統合情報（３次元モデル）の表示例である。 本発明の実施形態に係るコンピュータの構成を示す概略ブロック図である。 図９の第１のラベル付き点群情報q１の上面図である。 図１０の第２のラベル付き点群情報ｑ２の上面図である。 第１のラベル付き点群情報q１に物体モデルをフィッティングした例を示す上面図である。 第２のラベル付き点群情報ｑ２に物体モデルをフィッティングした例を示す上面図である。 ラベル付き点群情報間で不一致の物体をサンプリングした例を示した上面図である。 図１８でサンプリングした物体の代表点を用いて位置合わせした例を示した上面図である。 ラベル付き点群情報間で一致する物体をサンプリングした例を示した上面部である。 図２０でサンプリングした物体の代表点を用いて位置合わせした例を示した上面図である。 第２変形例における点群情報処理装置１０’を含む点群情報処理システム１’の構成を示すブロック図である。

以下、本発明の実施形態を図面に基づき説明する。

＜構成＞
図１は、本発明の点群情報処理装置を含む点群情報処理システムの概略構成図である。以下これらの図に基づき本実施形態の点群情報処理装置１０を含む点群情報処理システム１の構成について説明する。

図１に示すように、本実施形態の点群情報処理システム１は、点群情報処理装置１０、及び、測量装置２０から構成される。また、点群情報処理装置１０は測量装置２０と有線または無線で通信可能に接続されている。本実施形態では、測量装置２０を複数の異なる測量点に設置して各測量点から測量対象物である物体または範囲を計測及び撮像してそれぞれ画像情報と三次元点群情報（以下、単に点群情報という）を取得する。なお、本実施形態では測量装置２０は地上設置型のものとして説明するが、ＵＡＶ等に搭載されて上空から計測及び測量を行うタイプのものでもよい。

点群情報処理装置１０は、異なる２つ以上の視点から取得された測量対象物の複数の点群情報について位置関係を算出し位置合わせ（レジストレーション）を行う機能、及び位置合わせをした点群情報を統合して測量対象物の三次元モデルを作成する機能を備えている。点群情報処理装置１０は、専用のコンピュータや、ソフトウエアがインストールされた汎用のコンピュータ等であり、キーボート、マウスやタッチパネル等の入力部１１、及び、液晶ディスプレイ等の画像表示が可能な出力部１２、記憶部１３、及び通信部１４を備える。なお、入力部１１、出力部１２、記憶部１３は点群情報処理装置１０と有線又は無線で通信可能に別に設けられていても良い。

測量装置２０は、例えば、３次元レーザスキャナであり、撮像部２１、スキャナ部２２、ＧＮＳＳ（Global Navigation Satellite System）２３を備えている。なお、測量装置２０は、撮像部２１、スキャナ部２２、ＧＮＳＳ２３を制御する測量制御部を備えていてもよい。

スキャナ部２２は、鉛直方向に一定の範囲でレーザ光（測距光）を往復させつつ水平方向に回動することでスキャン（走査）を行い、測量対象物を含む点群を取得して点群情報を生成する機能を有する。具体的には、スキャナ部２２は、レーザ光を照射してから物体に当たり反射して戻ってくるまでの時間に基づいて自身の位置から測量対象物の測量点までの相対距離を計測（測距）する。また、スキャナ部２２は、レーザ光の照射方向（水平角および鉛直角）を検出して測量点の相対角度を計測する。スキャナ部２２は、これら計測した相対距離と相対角度から各点の三次元座標を算出する。

撮像部２１は、例えばカメラであり、測量対象物を撮像して、画素毎に少なくともＲＧＢ強度等を含む二次元の画像情報を生成する。また、画像情報には、撮像時の測量装置２０に対する水平角の情報も含まれており、スキャナ部２２におけるレーザ光の照射方向との相対的な角度情報も算出可能である。従って、例えばスキャナ部２２により取得した各点の位置と撮像部２１により撮像した画像内の位置との対応付けが可能である。

ＧＮＳＳ２３は、例えばＧＰＳ（Global Navigation Satellite System）であり、グローバル位置座標の情報を取得可能である。つまり、ＧＮＳＳ２３は測量装置２０の位置情報、即ち測量装置２０の視点位置情報を取得可能である。視点位置情報は、スキャナ部２２においてはレーザ光の照射基点であり、撮像部２１においては撮像基点となる。なお、測量装置２０を既知点に設置する場合は、測量装置２０はＧＮＳＳ２３を用いなくとも作業者の入力操作により位置情報を取得可能である。スキャナ部２２は、測量装置２０の絶対的な位置情報に基づいて、点群情報に視点位置情報（レーザ光の照射基点）を含め、且つレーザ光のスキャンにより取得した点群の相対的な位置情報から絶対的な位置情報に変換可能である。また撮像部２１は、測量装置２０の絶対的な位置情報に基づいて、画像情報に視点位置情報（撮像基点）を含めることが可能である。

点群情報処理装置１０は、測量装置２０の撮像部２１により撮像した画像情報とスキャナ部２２により取得した点群情報とを解析処理する解析処理部３０を備えている。

詳しくは、解析処理部３０は、画像解析部３１、点群ラベル付与部３２、点群統合部３３を有している。解析処理部３０は、点群情報処理装置１０に備わる入力部１１、出力部１２、記憶部１３、通信部１４、等とも通信可能である。また、解析処理部３０は、測量装置２０から取得した画像情報及び点群情報を記憶部１３に記憶可能である。

画像解析部３１は、解析処理部３０が取得した複数の画像情報をそれぞれ解析する機能を有する。具体的には、画像解析部３１は、事前に機械学習させた画像解析モデルを使用して、各画像内において異なる物体や空間に対応する領域を自動認識し、認識した各領域に対してラベル付けを行う、いわゆるセマンティックセグメンテーション処理を行う機能を有する。つまり、画像解析部３１は、取得した画像情報の画像内に写る測量対象物を認識して、測量対象物に対応したラベルを付与可能である。例えば画像解析部３１は、画像内に写る建物の領域には建物のラベルを、ポールの領域に対してはポールのラベルを、空に対しては空、地面に対しては地面のラベルを付与する。また、画像解析部３１は、認識不能な領域には認識不能なラベルを付与し、画像内の全ての領域において、例えば１画素ごとにラベルを付与する。画像解析部３１は、取得した画像情報ごとに画像解析モデルを用いたセマンティックセグメンテーション処理を行い、それぞれのラベル付き画像情報を生成する。生成されたラベル付き画像情報は記憶部１３に記憶される。

点群ラベル付与部３２は、画像解析部３１で生成された複数のラベル付き画像情報と、測量装置２０のスキャナ部２２にて生成された複数の点群情報を取得し、同一の視点のラベル付き画像情報と点群情報とから、ラベル付き点群情報を生成する機能を有する。

詳しくは、点群ラベル付与部３２は、点群情報及びラベル付き画像情報のそれぞれに含まれる視点位置情報から、同一の視点となる点群情報とラベル付き画像情報を、記憶部１３から抽出する。そして、点群ラベル付与部３２は、抽出した点群情報の各点に対して、当該各点の位置情報に基づき同一の視点のラベル付き画像情報において対応する領域のラベルを付与することで、ラベル付き点群情報を生成する。つまり、ラベル付き画像情報のラベル付けされた各領域に点群情報を重ね合わせて、重なっている領域のラベルを各点に反映させることで、各点にラベルを付与している（いわゆる点群のアノテーション）。生成されたラベル付き点群情報は記憶部１３に記憶される。

点群統合部３３は、点群ラベル付与部３２で生成された各ラベル付き点群情報について、付与された各点のラベルに基づいて点群同士の位置合わせ（レジストレーション）を行い、点群を統合した点群統合情報を生成する機能を有する。点群統合情報は、いわゆる３次元モデルとなる。

詳しくは、点群統合部３３は、異なる視点位置情報を持つラベル付き点群情報を記憶部１３から抽出して、各ラベル付き点群情報において共通して含まれるラベルの点群をサンプリング（例えばランダムサンプリング）により抽出し、抽出した点群の位置情報を取得する。そして、位置情報を取得した点群に対して、例えばＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）等の点群マッチング手法による位置合わせ（レジストレーション）を行う。そして、点群統合部３３は、このようなラベル付き点群情報同士の位置合わせを行っていくことで点群情報を統合した点群統合情報を生成する。この点群統合情報は記憶部１３に記憶される。

点群情報処理装置１０は、記憶部１３に記憶された、画像情報、ラベル付き画像情報、点群情報、ラベル付き点群情報、点群統合情報、等を出力部１２に出力したり、入力部１１を介して編集したり、通信部１４を介して外部に送信したり、することも可能である。

＜解析手順の具体例＞
次に、点群情報処理装置１０を含む点群情報処理システム１における画像情報及び点群情報の取得から統合点群情報の作成までの一例を、図２から図１０を用いて具体的に説明する。図２は、点群情報処理システム１の測量対象物と測量点を示す上面図である。図３は、図２の第１の測量点Ｌ１から撮像した第１の画像情報Ｐ１の例を示す図である。図４は、図２の第１の測量点Ｌ１からスキャンした第１の点群情報Ｑ１の例を示す図である。図５は、図２の第２の測量点Ｌ２から撮像した第２の画像情報Ｐ２の例を示す図である。図６は、図２の第２の測量点Ｌ２からスキャンした第２の点群情報Ｑ２の例を示す図である。図７は、第１の画像情報Ｐ１を画像解析して生成された第１のラベル付き画像情報ｐ１の例を示す図である。図８は、第２の画像情報Ｐ２を画像解析して生成された第２のラベル付き画像情報ｐ２の例を示す図である。図９は、第１の点群情報Ｑ１に第１のラベル付き画像情報ｐ１のラベルを反映させた第１のラベル付き点群情報ｑ１の例を示す図である。図１０は、第２の点群情報Ｑ２に第２のラベル付き画像情報ｐ２のラベルを反映させた第２のラベル付き点群情報ｑ２の例を示す図である。なお、説明を簡略化するため、第１の画像情報Ｐ１と第２の画像情報Ｐ２、第１の点群情報Ｑ１と第２の点群情報Ｑ２はそれぞれ縮尺（スケール）や精度が一致しているものとする。

図２に示すように、測量対象物として、例えば、建物４１、及び建物４１に隣接して設置されているポール４２ａ～４２ｅを測量装置２０で地上から計測する場合について説明する。なお、図２において紙面上側が北であり、ポール４２ａ～４２ｅの高さは、建物４１の高さより低くなっている。

まず、測量装置２０は、建物４１の南西側に位置する第１の測量点Ｌ１（第１の視点）に設置され、撮像部２１及びスキャナ部２２により、建物４１及びポール４２ａ～４２ｅの少なくとも一部を含む同一視点からの第１の画像情報及び第１の点群情報を生成する。この時、第１の測量点Ｌ１からは、建物４１に遮られてポール４２ｃ～４２ｅは画像に映らないため、測量装置２０の撮像部２１によって撮像された画像は、例えば、図３に示した第１の画像情報Ｐ１のようになる。また同様に、測量装置２０のスキャナ部２２によって生成された点群は、例えば図４に示した第１の点群情報Ｑ１となる。図４に示す丸は、一つの点群を示し、点ごとにＲＧＢ強度及び三次元座標が紐づけられている。なお、図４では３次元的な奥行き感を出すために点群の大きさを奥に行くほど小さく表現ししているが、レーザ光の性質上、計測距離が長くなればなるほどレーザのビーム幅であるスポットの直径（スポットサイズ）が大きくなるため、実際は計測距離が長くなるほど点群同士のデータ間隔は広くなる。

次に、測量装置２０は、図２の建物４１の北側に位置する第２の測量点Ｌ２（第２の視点）に設置され、第１の測量点Ｌ１の場合と同様に建物４１及びポール４２ａ～４２ｅの少なくとも一部を含む第２の画像情報及び第２の点群情報を生成する。この時、第２の測量点Ｌ２からは、建物４１の手前に位置するすべてのポール４２ａ～４２ｅが画像に映り、測量装置２０の撮像部２１によって撮像された画像情報は、例えば、図５に示した第２の画像情報Ｐ２となる。また同様に、測量装置２０のスキャナ部２２のスキャンによって生成された点群は、例えば図６に示す第２の点群情報Ｑ２となる。

測量装置２０で生成された第１の画像情報Ｐ１及び第２の画像情報Ｐ２と、第１の点群情報Ｑ１及び第２の点群情報Ｑ２は、有線又は無線により点群情報処理装置１０に送信される。なお、本実施形態では説明の簡略化のため２つの視点Ｌ１、Ｌ２から取得した画像情報Ｐ１、Ｐ２および点群情報Ｑ１、Ｑ２を対象に処理を行っているが、３つ以上の異なる視点から取得した画像情報および点群情報を対象に処理を行うこともできる。

次に、点群情報処理装置１０の画像解析部３１は、事前に機械学習させた画像解析モデルを用いて第１の画像情報Ｐ１にセマンティックセグメンテーション処理を行い、図７の第１のラベル付き画像情報ｐ１を生成する。図７において、画像解析部３１は、例えば建物４１に該当する領域として、画像領域Ａ１を自動認識する。同様に、画像解析部３１は、第１の画像情報Ｐ１において、ポール４２ａに該当する画像領域Ａ２及びポール４２ｂに該当する画像領域Ａ３、空間に該当する画像領域Ａ０を自動認識する。

そして、点群ラベル付与部３２は、図７に示す画像領域Ａ１内の各画素に、建物４１に対応するラベル（以下建物ラベルという）を付与する。同様に点群ラベル付与部３２は、画像領域Ａ２、Ａ３内の各画素に、ポールに対応するラベル（以下、ポールラベルという）を付与する。物体が認識されなかったその他の画像領域の各画素については、空間に対応するラベルを付与する。このようにして第１の画像情報のすべての各画素にラベルが付与されて第１のラベル付き画像情報ｐ１が生成される。

また、画像解析部３１は、第２の画像情報Ｐ２にセマンティックセグメンテーション処理を行い、図８の第２のラベル付き画像情報ｐ２を生成する。図８において、画像解析部３１は、建物４１に該当する領域として画像領域Ａ４を自動認識する。同様に、画像解析部３１は、各ポール４２ａ～４２ｅに該当する画像領域Ａ５～Ａ９を自動認識する。

そして、点群ラベル付与部３２は、図８に示す画像領域Ａ４には建物に対応するラベルを、画像領域Ａ５～Ｓ９にはポールに対応するラベルを、画像領域Ａ１０には空間に対応するラベルを、それぞれの画像領域内部の各画素に付与する。このようにして第２の画像情報のすべての各画素にラベルが付与されて第２のラベル付き画像情報ｐ２が生成される。なお、図７、図８では各ラベルをハッチングの違いにより示しているが、例えばラベルに応じて異なる色を用いてラベルの違いを表現してもよい。

次に、点群ラベル付与部３２は、第１のラベル付き画像情報ｐ１と第１の点群情報Ｑ１のそれぞれの視点位置情報に基づいて、第１の点群情報Ｑ１を第１のラベル付き画像情報ｐ１に重ね合わせ、各点について重なった画素に付与されたラベルをその点に反映する。なお、本実施形態では、機種や撮影条件にもよるが、測量装置２０のカメラの画素分解能は、計測距離が１０ｍの場合に例えば２ｍｍ／ｐｉｘｅｌ、同じ計測距離のレーザスキャナの分解能（データ間隔）は例えば０．３ｍｍであり、同じ計測距離では撮像部２１の画素分解能の方がスキャナ部２２の分解能より大きいため、第１のラベル付き画像情報ｐ１の１画素に対し、第１の点群情報Ｑ１の複数の点が重なることになる。（同様に第２のラベル付き画像情報ｐ２と第２の点群情報Ｑ２についても対応して重なる位置にある画素が有するラベルを各点に反映する。これにより、第１のラベル付き画像情報ｐ１の各画素が有するラベルを第１の点群情報Ｑ１の各点に反映させた図９に示す第１のラベル付き点群情報ｑ１、及び第２のラベル付き画像情報ｐ２の各画素が有するラベルを第２の点群情報Ｑ２の各点に反映させた図１０に示す第２のラベル付き点群情報ｑ２が生成される。

次に、点群統合部３３は、第１のラベル付き点群情報ｑ１及び第２のラベル付き点群情報ｑ２に共通して含まれる、測量対象物である建物のラベル、ポールのラベルが付与された点に対して、処理の高速化のために点群情報のランダムサンプリングを行う。例えば、図９の第１のラベル付き点群情報では、建物のラベルが付与された点群の中の一つの点α１とポールのラベルが付与された点群の中の一つの点β１がランダムサンプリングにより抽出されている。第２のラベル付き点群情報において点α１及び点β１の位置情報に一致又は近接する点（マッチングする点）は、図１０における点α２及び点β２となる。なお、ランダムサンプリングにより抽出する点の数や位置はこれに限られず、建物のラベルが付与された点群のみから、又はポールのラベルが付与された点群のみからランダムサンプリングを行ってもよい。

そして、点群統合部３３点群位置算出部３４は、ランダムサンプリングされた第１のラベル付き点群情報ｑ１の点群の一部（例えば点α１、点β１）と第２のラベル付き点群情報ｑ２の点群の一部（例えば点α２、点β２）の位置情報からマッチングを行い、位置合わせ（レジストレーション）を行うことで、第１のラベル付き点群情報ｑ１と第２のラベル付き点群情報ｑ２との点群統合情報を生成する。

点群統合部３３は、他の異なる視点からの点群情報に対しても同様の処理を行い、点群統合情報に統合していくことで３次元モデルを生成する。

次に、本実施形態に係る点群情報処理装置１０の解析処理部３０が実行する解析処理動作について、図１１に示すフローチャートを参照しながら説明する。

ステップＳ１０１において、解析処理部３０は、通信部１４を介して測量装置２０から、又は記憶部１３から、複数の視点から撮像部２１により撮像した画像情報、及び複数の視点からスキャナ部２２によりスキャンした点群情報を取得する。例えば上述した第１の測量点（第１の視点）Ｌ１における第１の画像情報Ｐ１及び第１の点群情報Ｑ１と、第２の測量点（第２の視点）Ｌ２における第２の画像情報Ｐ２及び第２の点群情報Ｑ２を取得する。

ステップＳ１０２において、解析処理部３０の画像解析部３１は、取得した画像情報に対してセマンティックセグメンテーション処理を行うことでラベル付き画像情報を生成する（画像解析ステップ）。例えば画像解析部３１は、上述した第１の画像情報Ｐ１および第２の画像情報Ｐ２に対してセマンティックセグメンテーション処理を行うことで、各画像内における異なる領域を認識し、各領域に対応する建物、ポール、空間等のラベル付けを行い、第１のラベル付き画像情報ｐ１及び第２のラベル付き画像情報ｐ２を生成する。

ステップＳ１０３において、解析処理部３０の点群ラベル付与部３２は、同一の視点のラベル付き画像情報と点群情報とから、ラベル付き点群情報を生成する（点群ラベル付与ステップ）。例えば点群ラベル付与部３２は、上述した第１の点群情報Ｑ１の各点に対して当該各点の位置情報に基づき第１のラベル付き画像情報ｐ１において対応する領域のラベルを付与して第１のラベル付き点群情報を生成する。同様に第２の点群情報の各点に対して当該各点の位置情報に基づき第２のラベル付き画像情報ｐ２において対応する領域のラベルを付与して第２のラベル付き点群情報ｑ２を生成する。

ステップＳ１０４において、解析処理部３０の点群統合部３３は、各ラベル付き点群情報において共通するラベルが付与された点群に対してランダムサンプリングを行い、ランダムサンプリングされた点群の位置情報を取得する。例えば、点群統合部３３は、上述した第１のラベル付き点群情報ｑ１と第２のラベル付き点群情報ｑ２に共通する建物及びポールのラベルが付与されたそれぞれの点群に対してランダムサンプリングを行い、建物及びポールの点群の一部（例えば点α１、点β１）の位置情報を取得する。

続いてステップＳ１０５において、点群統合部３３は、ランダムサンプリングされた点群の位置情報に基づき、異なる視点のラベル付き点群情報における点のマッチングを行って、位置合わせ（レジストレーション）を行うことで、点群統合情報を生成する。例えば点群統合部３３は、上述のランダムサンプリングされた第１のラベル付き点群情報ｑ１の建物及びポールの点群の一部（点α１、点β１）と位置情報が一致または近接する第２のラベル付き点群情報ｑ２における建物及びポールの点群（点α２、点β２）とをマッチングし、位置合わせ（レジストレーション）を行うことで、第１のラベル付き点群情報ｑ１と第２のラベル付き点群情報ｑ２との点群統合情報を生成する。

ステップＳ１０６において、点群統合部３３は、生成した点群統合情報を記憶部１３に記憶する。なお、この際に点群統合部３３は、生成した点群統合情報を出力部１２にユーザが視認できる形で表示してもよい。

ステップＳ１０７において、解析処理部３０は、解析処理を終了するか否かを判別する。例えば、記憶部１３に記憶された処理すべき点群情報の全てを統合した場合や、ユーザの停止操作等が行われた場合は、判別結果が真（Ｙ）となり、解析処理を終了する。一方、ユーザの停止操作もなく、記憶部１３に処理すべき点群情報が残っている場合は、判別結果が偽（Ｎ）となり、ステップＳ１０１に戻って、他の画像情報及び点群情報について上述の処理を繰り返す。

以上のように本実施形態の点群情報処理装置１０は、画像情報の画像内の各領域にラベル付けを行ってラベル付き画像情報を生成し、当該ラベル付き画像情報に基づいて点群情報にもラベルを付与してラベル付き点群情報を生成し、共通するラベルを用いてラベル付き点群情報間の位置合わせ（レジストレーション）を行っている。

このように点群情報に付与されたラベルを基にして、点群の位置合わせを行うことで、厚みのない壁のように点群の特徴量が少ない物体でも壁に対応するラベルが付与されていることで、容易に壁を認識することができる。また、風でなびく木の葉のような物体や、自動車等のような移動体についても、樹木や移動体等のラベルが付与されることで、点群情報処理装置１０はこれらの物体を測量対象から除外することも容易に可能である。

従って、点群情報処理装置１０は、測量装置２０を用いて複数の異なる視点から画像情報及び点群情報を用いて、複数の点群情報の位置合わせにおけるロバスト性を向上させることができる。

また、点群情報処理装置１０の点群統合部３３は、ラベル付き点群情報において共通するラベルが付与された点群に対してランダムサンプリングを行い、ランダムサンプリングされた点群の位置情報に基づいて点群の位置合わせを行っている。このようにラベルにより絞り込みを行った上で、ランダムサンプリングを行うことで、より効率的に位置合わせを行うことができる。

また、点群情報処理装置１０の画像解析部３１は、事前に機械学習させた画像解析モデルを用いて、いわゆるセマンティックセグメンテーション処理を行うことで、容易に画像内における異なる領域の認識とラベル付けを行うことができる。

また、ラベルを用いてラベル付き点群情報間の位置合わせを行った統合点群情報は、位置合わせに失敗して、例えば点群間に乖離が生じた場合でも、ラベルごとに点群が異なる表示がされることで、位置合わせのずれを容易に確認することができる。具体的には、図１２に位置合わせに失敗した点群統合情報（３次元モデル）の表示例が示されている。同図では建物４１の第１の壁４１ａと第２の壁４１ｂに対応する点群がそれぞれ乖離して統合されているが、第１の壁４１ａと第２の壁４１ｂとはそれぞれ建物のラベルが付与されており、同じ表示（例えば色）で示されていることで、第１の壁４１ａと第２の壁４１ｂの乖離をユーザが容易に発見することができる。なお、例えば点群統合部が、生成された点群統合情報から、同一ラベルの点群における乖離を自動的に検出して、乖離を失くす方向に補正処理を行うようにしてもよい。

＜プログラム＞
ここで、本実施形態に係る点群情報処理装置１０を構成する各機能を実現するためのプログラムの詳細について説明する。

点群情報処理装置１０は、図１３で示すコンピュータ８０１に実装される。そして、点群情報処理装置１０の各構成要素の動作は、プログラムの形式で補助記憶装置８０４または有線又は無線で通信可能な外部のサーバ等に記憶され、当該プログラムは使用可能な状態である。ＣＰＵ８０２は、プログラムを補助記憶装置８０４から読み出して主記憶装置８０３に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ８０２は、プログラムに従って、上記の記憶部１３に対応する記憶領域を主記憶装置８０３に確保する。

当該プログラムは、具体的には、コンピュータ８０１に、第１の視点から撮像された第１の画像情報、及び、第２の視点から撮像された第２の画像情報をそれぞれ解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、第１のラベル付き画像情報及び第２のラベル付き画像情報を生成する画像解析ステップと、前記第１の視点からスキャンされた位置情報を含む点の群からなる第１の点群情報、及び前記第２の視点からスキャンされた位置情報を含む点の群からなる第２の点群情報を取得し、前記第１の点群情報の各点に対して当該各点の位置情報に基づき前記第１のラベル付き画像情報において対応する領域のラベルを付与して第１のラベル付き点群情報を生成し、且つ、前記２の点群情報の各点に対して当該各点の位置情報に基づき前記第２のラベル付き画像情報において対応する領域のラベルを付与して第２のラベル付き点群情報を生成する点群ラベル付与ステップと、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において共通するラベルを用いて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行う点群統合ステップと、を実行させるためのものである。

なお、補助記憶装置８０４は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェースを介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ８０１に配信される場合、配信を受けたコンピュータ８０１が当該プログラムを主記憶装置８０３に展開し、上記処理を実行しても構わない。

また、当該プログラムは、前述した機能の一部を実現するためのものであっても構わない。さらに、当該プログラムは、前述した機能を補助記憶装置８０４に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても構わない。

以上で本発明の各実施形態の説明を終えるが、本発明の態様はこれらの実施形態に限定されるものではない。

上記実施形態では、点群統合部３３は、異なる視点位置情報を持つラベル付き点群情報を記憶部１３から抽出して、各ラベル付き点群情報において共通して含まれるラベルの点群をサンプリング（例えばランダムサンプリング）により抽出し、抽出した点群の位置情報を取得して、位置情報を取得した点群に対して、例えばＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）等の点群マッチング手法による位置合わせ（レジストレーション）を行っていたが、サンプリング及び位置合わせの手法はこれに限られない。例えば、点群から物体の位置を示す代表値を算出して位置合わせを行っても良い。

以下、図１４から図２１に基づいて、点群統合部３３が、第１のラベル付き点群情報ｑ１及び第２のラベル付き点群情報ｑ２においてラベルに応じた物体の少なくとも一部を形づくる一群の点群から代表点を生成し、共通するラベルを用いて複数の物体の中からランダムサンプリングを行い、ランダムサンプリングされた物体の代表点に基づいて、第１のラベル付き点群情報ｑ１と第２のラベル付き点群情報ｑ２との位置合わせを行う第１変形例について説明する。

図１４は、図９の第１のラベル付き点群情報q１の上面図である。図１５は、図１０の第２のラベル付き点群情報ｑ２の上面図である。図１６は、第１のラベル付き点群情報q１に物体モデルをフィッティングした例を示す上面図である。図１７は、第２のラベル付き点群情報ｑ２に物体モデルをフィッティングした例を示す上面図である。図１８は、ラベル付き点群情報間で不一致の物体をサンプリングした例を示した上面図である。図１９は図１８でサンプリングした物体の代表点を用いて位置合わせした例を示した上面図である。図２０はラベル付き点群情報間で一致する物体をサンプリングした例を示した上面部である。図２１は図２０でサンプリングした物体の代表点を用いて位置合わせした例を示した上面図である。

図１４、図１５では、建物４１及びポール４２ａ～４２ｅは実像の外形を破線で、点群情報に含まれる各点は実線の円で示されている。図１４に示すように、第１のラベル付き点群情報ｑ１のうち、建物４１については南側壁面、西側壁面に沿って矩形面状に配列された一群の点群q１１が生成されている。また、第１のラベル付き点群情報ｑ１のうち、ポール４２ａ、４２ｂについては南側表面に半円筒状に点が配列された一群の点群ｑ１２ａ、ｑ１２ｂが生成されている。同様に、図１５に示すように、第２のラベル付き点群情報ｑ２のうち、建物４１の北側壁面および西側壁面に沿って矩形面状に配列された一群の点群ｑ２１、ポール４２ａ～４２ｅの北側表面に沿って半円筒状に点が配列された一群の点群ｑ２２ａ～ｑ２２ｅが生成されている。点群統合部３３は、こうした一つの物体の少なくとも一部を形づくる一群の点群に対して、それぞれ該当する物体モデルをフィッティングし、測量点Ｌ１またはＬ２からのスキャンでは得られない部分について補完処理を行う。物体モデルは予め記憶部１３に記憶されており、例えばポールであれば円柱形状、建物であれば立方体形状等、物体に応じた代表的な形状が物体モデルとして記憶されている。なお、物体モデルは、フィッティングする物体のおおよその大きさと位置が反映されていればよいことから、簡易的に円柱や楕円柱等としてもよい。

具体的には、点群統合部３３は、図１４に示す第１のラベル付き点群情報ｑ１の建物４１については、立方体形状の建物モデルをフィッティングし、ポール４２ａ、４２ｂに対しては円柱形状のポールモデルをフィッティングすることで図１６の斜線で示すそれぞれの補完点群ｑ１１’ｑ１２ａ’、ｑ１２ｂ’を生成する。なお、補完部分は点群情報に限られず、物体の外形の位置情報が判別できる形式であればよい。

そして、点群統合部３３は、各物体の一群の点群とその補完点群に基づいて代表点を生成する。代表点としては、例えば、一群の点群の中心を計算により求めたものを用いることができる。具体的には、点群統合部３３は、図１６のポール４２ａに該当する一群の点群ｑ１２ａとその補完点群ｑ１２ａ’のそれぞれの３次元位置情報に基づいて、中心点ｇ１２ａを算出する。同様に、ポール４２ｂ、建物４１についても中心点ｇ１２ｂ、ｇ１１を算出する。そして、点群統合部３３は、これら中心点ｇ１１、ｇ１２ａ、ｇ１２ｂを各物体の代表点として設定し各物体に該当する建物ラベルまたはポールラベルと紐づけて、記憶部１３に記憶する。

図１７に示すように第２のラベル付き点群情報ｑ２についても同様に、点群統合部３３は、中心点ｇ２１，ｇ２２ａ～ｇ２２ｅを算出して、これらを各物体の代表点として設定し、建物ラベルまたはポールラベルと紐づけて記憶部１３に記憶する。

次に、点群統合部３３は、各ラベル付き点群情報ｑ１、ｑ２それぞれについて、ラベルごとにサンプリングを行い、サンプリングされた物体の代表値を用いて位置合わせを行う。例えば、ここでは説明を簡略化するためラベルごとのサンプリング点数を１とした場合、つまりポールラベルから１つ、建物ラベルから１つサンプリングする場合を例に説明する。

図１８では、第１のラベル付き点群情報ｑ１からはポールラベルの中でのサンプリングとしてポール４２ａが選択され、建物ラベルの中でのサンプリングとして建物４１が選択されている。一方、第２のラベル付き点群情報ｑ２からはポールラベルの中でのサンプリングとしてポール４２ｂが選択され、建物ラベルの中でのサンプリングとして建物４１が選択されている。

これら第１のラベル付き点群情報ｑ１のポール４２ａの代表点ｇ１２ａ及び建物４１の代表点ｇ１１と、第２のラベル付き点群情報ｑ２のポール４２ｂの代表点ｇ２２ｂ及び建物４１の代表点ｇ２１とを位置合わせする。この位置合わせは、例えば同じラベルの代表点の距離がそれぞれ最小となるように点群情報を重ね合わせる。つまり、図１９に示すように第１のラベル付き点群情報ｑ１と第２のラベル付き点群情報ｑ２の各物体は一致せず各代表点間にずれが生じることとなる。

一方、図２０では、第１のラベル付き点群情報ｑ１からはポールラベルの中でのサンプリングとしてポール４２ａが選択され、建物ラベルの中でのサンプリングとして建物４１が選択されている。また第２のラベル付き点群情報ｑ２からもポールラベルの中でのサンプリングとしてポール４２ａが選択され、建物ラベルの中でのサンプリングとして建物４１が選択されている。

これら第１のラベル付き点群情報ｑ１のポール４２ａの代表点ｇ１２ａ及び建物４１の代表点ｇ１１と、第２のラベル付き点群情報ｑ２のポール４２ａの代表点ｇ２２ａ及び建物４１の代表点ｇ２１とを位置合わせすると、図２１に示すように第１のラベル付き点群情報ｑ１と第２のラベル付き点群情報ｑ２の各物体はほぼ一致して各代表点の位置もほぼ一致することとなる。このように、サンプリングされていない物体も含めて、各物体の代表点の位置が一致又は所定の範囲内まで近づくまでサンプリングを繰り返して、位置合わせを行う。

このように、同一ラベルの物体からサンプリングを行うことで、より効率的な位置合わせを行うことができる。また各物体の代表点を算出して、位置合わせを行うことで、まず大まかな位置合わせを行うことができる。さらにラベルに応じた物体モデルをフィッティングさせて代表点を算出することで、代表点の位置精度を向上させることができる。

上記実施形態では、点群情報処理装置１０は測量装置２０と分離して設けられていたが、測量装置２０に搭載されて、リアルタイム処理により測量装置２０の出力部や測量装置２０を操作するタブレットの出力部において表示および編集ができる構成であってもよい。これにより、車両や重機等の移動体等がノイズとして画像や点群に映りこんでも、出力部の表示を見ながらその場でそうしたノイズを点群情報から除外する編集を行ってから統合点群を生成することができる。すなわち、測量現場において正確な点群情報を生成することができる。

また、上記実施形態の解析処理部３０に点群特徴認識部３４を追加した解析処理部３０’とした、図２２に示すような第２変形例における点群情報処理装置１０’を含む点群情報処理システム１’としても良い。点群特徴認識部３４は、隣接する点群の位置情報から得られる法線ベクトルが一様かつＲＧＢ強度が一様な領域を抽出して測量対象物を認識し、簡易的な点群セグメンテーションを行う。当該点群セグメンテーション情報は、画像解析部３１において、画像情報のセグメンテーション処理後の補正（ノイズ除去等）に用いることができる。これにより、より精度の高い画像セグメンテーション処理結果が得られ、全体としての位置合わせ精度も向上する。セグメンテーション前の元画像とセグメンテーション処理後に補正をした結果とを新たな画像認識モデルの機械学習用データセットとすることもできる。

また、上記実施形態の撮像部２１は、ＲＧＢ強度等を含む二次元の画像情報を生成する可視光カメラであったが、赤外線情報等を含む二次元の画像情報を生成する赤外線カメラであってもよい。この場合、点群は、点ごとに赤外線強度及び三次元座標が紐づけられる。これにより、暗視野となる夜間においても測量が可能である。

また、上記実施形態の点群ラベル付与部３２は、複数あるポールに対して同一の「ポールラベル」を付与していたが、ポール４２ａ、ポール４２ｂ等を個別に識別してそれぞれ例えば「第１のポール」「第２のポール」等と別々のラベルを付与してもよい。これにより、位置合わせの精度が向上する。

１ ：点群情報処理システム
１０ ：点群情報処理装置
１１ ：入力部
１２ ：出力部
１３ ：記憶部
１４ ：通信部
２０ ：測量装置
３０ ：解析処理部
３１ ：画像解析部
３２ ：点群ラベル付与部
３３ ：点群統合部
４１ ：建物
４２ａ～４２ｅ ：ポール

Claims (7)

1. 第１の視点から撮像された第１の画像情報、及び、第２の視点から撮像された第２の画像情報をそれぞれ解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、第１のラベル付き画像情報及び第２のラベル付き画像情報を生成する画像解析部と、
   前記第１の視点からスキャンされた位置情報を含む点の群からなる第１の点群情報、及び前記第２の視点からスキャンされた位置情報を含む点の群からなる第２の点群情報を取得し、前記第１の点群情報の各点に対して当該各点の位置情報に基づき前記第１のラベル付き画像情報において対応する領域のラベルを付与して第１のラベル付き点群情報を生成し、且つ、前記第２の点群情報の各点に対して当該各点の位置情報に基づき前記第２のラベル付き画像情報において対応する領域のラベルを付与して第２のラベル付き点群情報を生成する点群ラベル付与部と、
   前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において共通するラベルを用いて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行う点群統合部と、
   を備える点群情報処理装置。
2. 前記点群統合部は、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において共通するラベルが付与された点群に対してランダムサンプリングを行い、ランダムサンプリングされた点群の位置情報に基づいて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行う
   請求項１に記載の点群情報処理装置。
3. 前記点群統合部は、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において前記ラベルに応じた物体の少なくとも一部を形づくる一群の点群から当該物体の代表点を生成し、共通するラベルを用いて複数の前記物体の中からランダムサンプリングを行い、ランダムサンプリングされた物体の代表点に基づいて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行う
   請求項１に記載の点群情報処理装置。
4. 前記画像解析部は、事前に機械学習させた画像解析モデルを用いて、前記第１の画像情報、及び、第２の画像情報をそれぞれ解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、第１のラベル付き画像情報及び第２のラベル付き画像情報を生成する
   請求項１から３のいずれか一項に記載の点群情報処理装置。
5. 前記点群統合部は、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報について、各点群に付与されたラベルごとに異なる表示で表示可能である
   請求項１から４のいずれか一項に記載の点群情報処理装置。
6. 画像解析部が、第１の視点から撮像された第１の画像情報、及び、第２の視点から撮像された第２の画像情報をそれぞれ解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、第１のラベル付き画像情報及び第２のラベル付き画像情報を生成する画像解析ステップと、
   点群ラベル付与部が、前記第１の視点からスキャンされた位置情報を含む点の群からなる第１の点群情報、及び前記第２の視点からスキャンされた位置情報を含む点の群からなる第２の点群情報を取得し、前記第１の点群情報の各点に対して当該各点の位置情報に基づき前記第１のラベル付き画像情報において対応する領域のラベルを付与して第１のラベル付き点群情報を生成し、且つ、前記２の点群情報の各点に対して当該各点の位置情報に基づき前記第２のラベル付き画像情報において対応する領域のラベルを付与して第２のラベル付き点群情報を生成する点群ラベル付与ステップと、
   点群統合部が、前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において共通するラベルを用いて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行う点群統合ステップと、
   を備える点群情報処理方法。
7. 第１の視点から撮像された第１の画像情報、及び、第２の視点から撮像された第２の画像情報をそれぞれ解析して、各画像内における異なる領域を認識し、各領域にラベル付けを行い、第１のラベル付き画像情報及び第２のラベル付き画像情報を生成する画像解析ステップと、
   前記第１の視点からスキャンされた位置情報を含む点の群からなる第１の点群情報、及び前記第２の視点からスキャンされた位置情報を含む点の群からなる第２の点群情報を取得し、前記第１の点群情報の各点に対して当該各点の位置情報に基づき前記第１のラベル付き画像情報において対応する領域のラベルを付与して第１のラベル付き点群情報を生成し、且つ、前記２の点群情報の各点に対して当該各点の位置情報に基づき前記第２のラベル付き画像情報において対応する領域のラベルを付与して第２のラベル付き点群情報を生成する点群ラベル付与ステップと、
   前記第１のラベル付き点群情報及び前記第２のラベル付き点群情報において共通するラベルを用いて、前記第１のラベル付き点群情報と前記第２のラベル付き点群情報との位置合わせを行う点群統合ステップと、
   をコンピュータに実行させるための点群情報処理プログラム。
   
   

Images