JP2020052046A - 測量データ処理装置、測量データ処理方法、測量データ処理用プログラム - Google Patents

Abstract

【課題】レーザースキャナを用いて複数の機械点から得た複数の点群データの対応関係の特定を簡便に行う。【解決手段】第１の視点から得た第１のパノラマ画像の画像データおよび第２の視点から得た第２のパノラマ画像の画像データを受け付けるパノラマ画像データ受付部３０１と、第１のレーザースキャナにより取得した第１の点群データ、および第２のレーザースキャナにより取得した第２の点群データを受け付ける点群データ受付部３０２と、第１のパノラマ画像および第２のパノラマ画像における共通の部分の指定を受け付ける共通部分指定受付部３０３と、前記共通部分に対応する第１の点群データと前記共通部分に対応する第２の点群データに基づき、第１の点群データと第２の点群データの対応関係を特定する対応関係特定部３０４とを備える測量データ処理装置３００。【選択図】図３

Description

本発明は、レーザースキャナが得た情報を処理する技術に関する。

レーザー光を用いてレーザースキャンを行い点群データを得るレーザースキャナが知られている（例えば、特許文献１を参照）。レーザースキャナから見て影となる部分は、測定用のレーザー光が届かず、点群データは得られない。この現象をオクル―ジョンという。この問題に対応するため、異なる２以上の機械点からレーザースキャンを行って、機械点が異なる２つの点群データを得、それを合成することでオクル―ジョンの無い（あるいは減らした）点群データを得る。

機械点の異なる複数の点群データを合成するには、複数の点群データ同士の間における対応関係を求める必要がある。各機械点におけるレーザースキャナの外部標定要素（位置と姿勢）が取得できれば、複数の点群データを共通の座標系で扱うことができるので、点群データの合成は簡単に行うことができる。しかしながらこの方法は、各機械点におけるレーザースキャナの外部標定要素を求める作業が必要であり、簡便性に欠ける。また、形状による点群マッチング等で点群データ同士のマッチング（対応関係の特定）を行う方法もあるが、ソフトウェア処理では、ある程度の粗マッチングが行われた後でないと無駄な演算が多くなる問題や精度が得られない問題が生じる。よって通常は、オペレータの操作により対応点が指定され、その後にソフトウェア処理による詳細なマッチングが行われる。

特許第６１８４２３７号公報

２つの点群データの間における対応点の指定をマニュアル操作で行う方法は、対応点を見つけ出す作業の作業性が良くなく、より簡便な方法が求められている。このような背景において、本発明は、レーザースキャナを用いて複数の機械点から得た複数の点群データの対応関係の特定を簡便に行える技術の提供を目的とする。

本発明は、第１の視点から得た第１のパノラマ画像の画像データおよび第２の視点から得た第２のパノラマ画像の画像データを受け付けるパノラマ画像データ受付部と、前記第１のパノラマ画像を得るための第１の機器に対する位置と姿勢の関係が既知な第１のレーザースキャナにより取得した第１の点群データ、および前記第２のパノラマ画像を得るための第２の機器に対する位置と姿勢の関係が既知な第２のレーザースキャナにより取得した第２の点群データを受け付ける点群データ受付部と、前記第１のパノラマ画像および前記第２のパノラマ画像における共通の部分の指定を受け付ける共通部分指定受付部と、前記共通の部分に対応する前記第１の点群データと前記共通の部分に対応する前記第２の点群データに基づき、前記第１の点群データと前記第２の点群データの対応関係を特定する対応関係特定部とを備える測量データ処理装置である。

本発明において、前記共通の部分は、少なくとも２点である態様が挙げられる。本発明において、前記共通の部分は、少なくとも１点であり、前記第１の点群データにおける前記少なくとも一点の座標、前記第２の点群データにおける前記少なくとも一点の座標、前記第１のパノラマ画像を得るための前記第１の機器の向き、および前記第２のパノラマ画像を得るための前記第２の機器の向きに基づき、前記第１の点群データと前記第２の点群データの対応関係の特定が行われる態様が挙げられる。

本発明において、前記第１の機器の向きは、前記第１の機器の水平方向における方位であり、前記第２の機器の向きは、前記第２の機器の水平方向における方位である態様が挙げられる。本発明において、前記第１のパノラマ画像上で特定の部分が指定された場合に、前記第１のパノラマ画像を得るための前記第１の機器の水平方向における方位と前記第２のパノラマ画像を得るための前記第２の機器の水平方向における方位に基づき、前記第２のパノラマ画像上における前記特定の部分の水平角度位置をアシスト表示するアシスト表示制御部を備える態様が挙げられる。

本発明において、前記アシスト表示が水平方位の角度表示である態様が挙げられる。本発明において、前記アシスト表示が第１のパノラマ画像と第２のパノラマ画像の水平方位を統合させた表示である態様が挙げられる。本発明において、前記共通する部分が線分または面である態様が挙げられる。

本発明において、前記第１の点群データに基づく第１の三次元モデルと前記第２の点群データに基づく第２の三次元モデルを形成する三次元モデル作成部と、前記第１の三次元モデルを構成する第１の線に一致する前記第２の三次元モデルを構成する第２の線を抽出する同一線抽出部と、前記第１の線と前記第２の線を強調表示する強調表示制御部とを備える態様が挙げられる。本発明において、前記第１の点群データに基づく第１の三次元モデルと前記第２の点群データに基づく第２の三次元モデルを形成する三次元モデル作成部と、前記第１の三次元モデルを構成する第１の面に一致する前記第２の三次元モデルを構成する第２の面を抽出する同一面抽出部と、前記第１の面と前記第２の面を強調表示する強調表示制御部とを備える態様が挙げられる。

本発明は、第１の視点から得た第１のパノラマ画像の画像データおよび第２の視点から得た第２のパノラマ画像の画像データを受け付けるパノラマ画像データ受付ステップと、前記第１のパノラマ画像を得るための第１の機器に対する位置と姿勢の関係が既知な第１のレーザースキャナにより取得した第１の点群データ、および前記第２のパノラマ画像を得るための第２の機器に対する位置と姿勢の関係が既知な第２のレーザースキャナにより取得した第２の点群データを受け付ける点群データ受付ステップと、前記第１のパノラマ画像および前記第２のパノラマ画像における共通の部分の指定を受け付ける共通部分指定受付ステップと、前記共通部分に対応する前記第１の点群データと前記共通部分に対応する前記第２の点群データに基づき、前記第１の点群データと前記第２の点群データの対応関係を特定する対応関係特定ステップとを備える測量データ処理方法としても把握できる。

本発明は、コンピュータに読み取らせて実行させる測量用プログラムであって、コンピュータに第１の視点から得た第１のパノラマ画像の画像データおよび第２の視点から得た第２のパノラマ画像の画像データを受け付けるパノラマ画像データ受付ステップと、前記第１のパノラマ画像を得るための第１の機器に対する位置と姿勢の関係が既知な第１のレーザースキャナにより取得した第１の点群データ、および前記第２のパノラマ画像を得るための第２の機器に対する位置と姿勢の関係が既知な第２のレーザースキャナにより取得した第２の点群データを受け付ける点群データ受付ステップと、前記第１のパノラマ画像および前記第２のパノラマ画像における共通の部分の指定を受け付ける共通部分指定受付ステップと、前記共通部分に対応する前記第１の点群データと前記共通部分に対応する前記第２の点群データに基づき、前記第１の点群データと前記第２の点群データの対応関係を特定する対応関係特定ステップとを実行させる測量データ処理用プログラムとして把握することもできる。

本発明によれば、レーザースキャナを用いて複数の機械点から得た複数の点群データの対応関係の特定を簡便に行える技術が得られる。

実施形態の概念図である。 レーザースキャナの正面図である。 レーザースキャナのブロック図である。 測量データ処理装置のブロック図である。 点群データの統合を説明する原理図である。 パノラマ画像の表示例を示すイメージ図である。 パノラマ画像の表示例を示すイメージ図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 反射強度画像とパノラマ画像の図面代用写真である。 距離画像とパノラマ画像の図面代用写真である。 法線ベクトル画像とパノラマ画像の図面代用写真である。

（概要）
図１には、室内を対象に、レーザースキャンを２ヵ所の機械点で行う場合が示されている。この例では、１台のレーザースキャナを用い、第１の機械点でレーザースキャンを行い、次に第２の機械点で２回目のレーザースキャンを行う。図１では、第１の機械点に設置されたレーザースキャナに符号１００を付与し、第２の機械点に設置されたレーザースキャナに符号１００’を付与している。当然、レーザースキャナ１００とレーザースキャナ１００’は同じものである。勿論、２台のレーザースキャナを用いる形態も可能である。また、３点以上の機械点を選択することもできる。機械点とは、レーザースキャナの光学原点の位置であり、レーザースキャンの視点となる点のことである。この機械点を原点として点群データが得られる。

ここで、レーザースキャナ１００とレーザースキャナ１００’は、水平が確保された状態で配置され、またその位置は未知である。ただし、方位計によりレーザースキャナ１００の方位は計測され既知である。ここで、方位は、水平面内におけるレーザースキャナの方向であり、例えば、北の方向を０°として、上から見て時計回りに測った角度である。例えば、東の方向は、方位９０°となる。

（レーザースキャナ）
図２にレーザースキャナ１００が示されている。レーザースキャナ１００は、点群データを得る。点群データは、対象物にレーザー光を点々と照射し、各反射点の三次元座標をレーザー測位の原理で求めることで得られる。点群データでは、三次元座標が取得された多数の点の集合として対象物の三次元計測データが得られる。レーザースキャナについては、例えば特開２０１０−１５１６８２号公報、特開２００８―２６８００４号公報等に記載されている。

レーザースキャナ１００は、本体となる水平回転部１０１、水平回転部１０１を水平回転が可能な状態で支える基台部１０２、基台部１０２が載せられた架台部１０３を有している。水平回転部１０１は、電動により基台部１０２に対して水平回転が可能である。架台部１０３は、水平回転部１０１の水平状態を調整できる調整機構を有している。なお、水平回転部１０１には水平状態を確認するための図示省略した水準器が配置されている。架台部１０３は、三脚等の上部に固定される。

水平回転部１０１は、略Ｕ字形状を有し、Ｕ字形状を構成する上方に延在する双頭形状の一対の延在部の間には、鉛直回転部１０４が配置されている。鉛直回転部１０４は、水平軸を中心に電動により鉛直回転（縦回転）する。鉛直回転部１０４は、対物レンズ１０５を備えている。水平回転部１０１の内部には、狭角カメラ１１１（図３参照）が配置されている。対物レンズ１０５は、点群データを得るための測距光（測距用レーザー光）と上記の狭角カメラ１１１とで共用されている。また、鉛直回転部１０４には、測距光と狭角カメラ１１１の光学系１１０の一部が内蔵されている。また、水平回転部１０１には、広角カメラ１０６が配置されている。

ここで、狭角カメラ１１１の画角は、水平角および鉛直角（上下角）で９〜１２°程度であり、広角カメラ１０６の画角は、水平角および鉛直角（上下角）で１７０°程度である。また、狭角カメラ１１１、広角カメラ１０６、レーザースキャナ１００の位置と姿勢の関係（外部標定要素の関係）は、予め求められており、既知である。

水平回転部１０１を水平回転させつつ、鉛直回転部１０４を鉛直回転させ、スキャンレーザー光（測距用レーザー光）を数十ｋＨｚ〜数百数ｋＨｚの間隔でパルス照射することで、レーザースキャンが行なわれ、点群データが得られる。

その他、水平回転部１０１には、各種の情報の表示および操作を行うためのタッチパネルディスプレイ（図示省略）が配置されている。

図３にレーザースキャナ１００の機能ブロック図を示す。レーザースキャナ１００は光学系１１０を備える。光学系１１０は、その一部が対物レンズ１０５の奥にある。光学系１１０により、狭角カメラ１１１と測距光の光路が分離され、また測距光の発光系と受光系とが分離される。

測距光は、測距光発光部１１２から発光され、光学系１１０と対物レンズ１０５を介して、外部に照射される。点群データ取得対象の対象物から反射された測距光は対物レンズ１０５に入射し、光学系１１０を介して、測距光受光部１１３で受光される。

水平回転部１０１の内部には、図示しない基準光路が設けられており、測距光発光部１１２からのパルス光は、分岐され、一方が測距光として対象物に照射され、他方が基準光として上記基準光路に導かれる。対物レンズ１０５から取り込まれた測距光と基準光路を伝搬した基準光は、光学系１１０で合成され、測距光受光部１１３で検出させる。この際、測距光と基準光には光路差があるので、測距光受光部１１３からの出力波形に位相差が生じる。この位相差に基づき、測距光の反射点までの距離が算出される。この計算が測距部１２０で行われる。

上記の測距値と、その時の水平回転部１０１の水平角および鉛直回転部１０４の鉛直角とからレーザースキャナ１００の光学原点（機械点）を原点とする測距光の反射点の三次元位置が算出される。この反射点の座標が点の座標となる。この処理が三次元位置算出部１２１で行われる。この反射点がスキャン点であり、その座標値の集まりが点群データとなる。そして、この点群データが点群データ取得部１１４で取得される。

また、レーザースキャナ１００周囲のパノラマ画像がパノラマ画像取得部１２２で取得される。パノラマ画像は、狭角カメラ１１１を用いて得ることもできるし、広角カメラ１０６を用いて得ることもできる。狭角カメラ１１１を用いてパノラマ画像を得る場合、複数の単写真画像を組み合わせることでパノラマ画像を得る。広角カメラ１０６を用いた場合、１回の撮影で広角範囲のパノラマ画像が取得できる。

回転制御部１１９は、水平回転部１０１の水平回転と鉛直回転部１０４の鉛直回転の回転制御を行う。水平回転部１０１の回転は、モータ、その駆動回路、ギア等の機構を備えた水平回転駆動部１１５によって行われる。鉛直回転部１０４の回転は、モータ、その駆動回路、ギア等の機構を備えた鉛直回転駆動部１１６によって行われる。

水平回転部１０１の水平角は、ロータリーエンコーダ等の角度検出センサとその周辺回路を備えた水平回転角計測部１１７によって計測される。鉛直回転部１０４の鉛直角は、ロータリーエンコーダ等の角度検出センサとその周辺回路を備えた鉛直回転角計測部１１８によって計測される。

方位センサ１３０は、レーザースキャナ１００の方位を計測する。方位センサ１３０として、磁気センサ、磁気センサとジャイロセンサを組み合わせたものが挙げられる。簡便な方法として、スマートフォンに内蔵された方位センサを利用する方法もある。この場合、水平回転部１０１にスマートフォンを固定するアタッチメントを装備させ、そこにスマートフォンを固定し、スマートフォンを方位センサとして利用する。

操作インターフェース部（タッチパネルディスプレイ）１３１は、レーザースキャナ１００の操作内容を受け付け、また各種情報を利用者に提供する。通信装置１２３は、後述する測量データ処理装置３００やその他の機器との間で通信を行う。この例では、通信装置１２３を介して、レーザースキャナ１００からパノラマ画像の画像データと点群データが測量データ処理装置３００に送信される。

（測量データ処理装置）
図４には、測量データ処理装置３００が示されている。測量データ処理装置３００は、図示する各機能部の機能を発揮するコンピュータである。測量データ処理装置３００は、図示する各機能部の機能を実現するためのＣＰＵ、メモリ、インターフェースを構成する電子回路により構成されている。測量データ処理装置３００は、汎用のコンピュータを利用して構成してもよいし、専用のハードウェアとして構成してもよい。例えば、タブレット、スマートフォン、ノート型ＰＣ等のコンピュータに、図３に示す各機能部の機能を実現するプログラムをインストールし、当該コンピュータを測量データ処理装置３００として利用することもできる。また、レーザースキャナ１００の内部に測量データ処理装置３００を組み込む形態も可能である。

測量データ処理装置３００は、パノラマ画像データ受付部３０１、点群データ受付部３０２、共通部分指定受付部３０３、対応関係特定部３０４、角度関係算出部３０６、表示制御部３０９、通信部３１１、パノラマ画像と点群データの統合部３１２、三次元モデル作成部３１３、面または線の方位算出部３１４、同一部位抽出部３１５、点群データ統合部３１６を備える。

パノラマ画像データ受付部３０１は、レーザースキャナ１００が備えたカメラが撮影した画像に基づくパノラマ画像のデータを受け付ける。パノラマ画像は、パノラマ画像の取得機能を有する広角カメラ１０６が撮影したものであってもよいし、狭角カメラ１１１が撮影した単写真画像を複数合成することで得たものであってもよい。測量データ処理装置３００の内部でパノラマ画像を作成する形態も可能である。この場合、測量データ処理装置３００の内部にパノラマ画像作成部を設け、そこで作成したパノラマ画像を利用する。

点群データ受付部３０２は、レーザースキャナ１００が取得した点群データを受け付ける。点群データとしてステレオ写真画像から得たものを利用することも可能である。ステレオ写真画像から点群データを得る技術については、例えば特開２０１３−１８６８１６号公報や特開２０１３−１７８６５６号公報に記載されている。

共通部分指定受付部３０３は、視点（機械点）の異なる２つのパノラマ画像中における共通する部分の指定を受け付ける。共通する部分の指定は、オペレータの手作業により行われる。この例では、測量データ処理装置３００を構成するＰＣ等のディスプレイ上に第１のパノラマ画像と第２のパノラマ画像とが分割表示され、その表示画像上で上記共通する部分の指定が行われる。この２分割表示されるパノラマ画像には、通常のパノラマ画像の他に、パノラマ表示した点群画像、パノラマ表示した反射強度画像、パノラマ表示した距離画像、パノラマ表示した法線ベクトル画像も含まれる。

対応関係特定部３０４は、指定された２つのパノラマ画像における共通する部分に基づき、各パノラマ画像に対応する点群データの対応関係を特定する。例えば、図１の状態で取得した２つの点群データは、異なる視点（機械点）からのレーザースキャンにより取得されている。ここで、レーザースキャン時の各機械点におけるレーザースキャナ１００の外部標定要素（位置と姿勢）は未知である。なお、姿勢は方位センサ１３０の計測値から得られるが、精度が低く、点群データのマッチングに利用できるレベルではない。よって、２つの点群データの対応関係は未知である。対応関係を求める方法としてテンプレートマッチング等の各種のマッチング技術があるが、粗マッチングを行い、ある程度初期条件を狭めなければ処理の負担が大きく、またマッチング誤差が大きい。

２つの点群データにおいて対応部分を指定することで、２つの点群データ間におけるある程度のマッチング（対応関係の特定）が行える。２つの点群データのマッチングを行うことで、２つの点群データが統合され、２つの点群データを共通の座標系で取り扱うことができる。上記の対応関係の特定に係る処理が対応関係特定部３０４で行われる。この処理として、以下の２通りの方法がある。

第１の方法は、１点の共通点と各機械点におけるレーザースキャナの方位を用いる方法である。図５に１点の共通点と各機械点におけるレーザースキャナの方位を用いて２つの点群データのマッチングを行う原理を示す。図５（Ａ）には、水平面における第１の点群データＣ_１と第２の点群データＣ_２が示されている。点群データＣ_１は、図１のレーザースキャナ１００によって取得された点群に対応し、点群データＣ_２は、図１のレーザースキャナ１００’によって取得された点群に対応する。

点群データＣ_１と点群データＣ_２を得た段階では、各機械点におけるレーザースキャナ１００および１００’の外部標定要素は未知なので、点群データＣ_１と点群データＣ_２の関係は未知であり、また座標系Ｘ_１−Ｙ_１と座標系Ｘ_２−Ｙ_２の関係も未知である。なお、レーザースキャン時におけるレーザースキャナ１００と１００’の水平は確保されているので、未知なのは、点群データＣ_１と点群データＣ_２の水平角の関係と平面上の座標の関係となる。

ここで、２つの点群データで共通する点Ｐが指定されたとする。点Ｐの座標系Ｘ_１−Ｙ_１における三次元座標系（Ｘ_１，Ｙ_１，Ｚ_１）と、点Ｐの座標系Ｘ_２−Ｙ_２における三次元座標系（Ｘ_２，Ｙ_２，Ｚ_２）は、点群データＣ_１と点群データＣ_２から判るので、（Ｘ_１，Ｙ_１，Ｚ_１）＝（Ｘ_２，Ｙ_２，Ｚ_２）となり、点Ｐにおける２つの点群データ間の対応関係が判別する。

各座標系における点Ｐの座標は、以下のようにして取得される。まず、共通部分指定受付部３０３が各パノラマ画像中における点Ｐの位置を受け付ける。この指定は、測量データ処理装置３００を操作するオペレータが手動で行う。各パノラマ画像中で点Ｐが指定されることで、各パノラマ画像における点Ｐの画面座標値（画面中の位置の座標）が得られる。パノラマ画像と点群データの統合部３１２の機能により、点群データＣ_１の各点と対応するパノラマ画像（点群データＣ_１を得た視点で取得されたパノラマ画像）の画面座標位置との関係が判る。よって、点群データＣ_１に対応するパノラマ画像上で点Ｐが指定されると、当該点Ｐの三次元座標値が点群データＣ_１から得られる。

なお、点群データには隙間があるので、パノラマ画像中の特定の点に対応する点群データにおける点が存在しない場合も有り得る。この場合は、指定された位置に最も近い点群データの点が対応する点として取得される。

点群データＣ_１と点群データＣ_２において、１点の共通点が確定した状態が図５（Ｂ）に示されている。この段階では、２つの点群データの水平面内における向きの関係が未知なので、点Ｐ以外の対応関係は判らない。この場合、点群データＣ_１と点群データＣ_２の水平角の関係が判れば、点群データＣ_１と点群データＣ_２の対応関係が判明する。すなわち、図５（Ｂ）の角度θが判れば、点群データＣ_１と点群データＣ_２の対応関係が判明する。角度θは、座標系Ｘ_１−Ｙ_１と座標系Ｘ_２−Ｙ_２の向きの関係である。この場合、点Ｐを中心に、座標系Ｘ_１−Ｙ_１を角度θ回転させると、座標系Ｘ_１−Ｙ_１と座標系Ｘ_２−Ｙ_２が一致する。

角度θは、レーザースキャナ１００と１００’の水平角の差である。水平角の差θは、レーザースキャナ１００と１００’における方位センサ１３０の測定値から取得できる。

よって、点群データＣ_１に対応するパノラマ画像と点群データＣ_２に対応するパノラマ画像において共通する１点を指定し、更に方位センサ１３０から各機械点における水平角の差θを得ることで、点群データＣ_１と点群データＣ_２のマッチング（対応関係の特定）が可能となる。なお、点の指定は厳密なものでなく、また方位センサ１３０の精度の問題もあるので、上記のマッチングは大凡の粗マッチングとなる。なお、共通の点の指定は、複数であってもよい。

以上が第１のパノラマ画像に対応する第１の点群データと、第２のパノラマ画像に対応する第２の点群データとの対応関係を特定する第１の方法である。次に第２の方法を説明する。この方法では、２つのパノラマ画像上で異なる２点の共通点を指定することで、該２つのパノラマ画像それぞれに対応する２つの点群データの対応関係が求められる。

この方法では、図５（Ｂ）の状態において、点Ｐに加えて別のもう一点の共通点が指定されることで、点群データＣ_１と点群データＣ_２のマッチング（対応関係の特定）が行われる。

この方法の応用として、線分の部分を共通部分として指定する形態、面の部分を共通部分として指定する形態も可能である。線分を利用する場合は、線状に分布した点を利用した形態、面を利用する場合は、面状に分布した点を利用した形態となる。

角度関係算出部３０６は、第１の機械点におけるレーザースキャナ１００の方位と第２の機械点におけるレーザースキャナ１００’の方位との関係を算出する。例えば、第１の機械点におけるレーザースキャナ１００のレーザースキャン開始時の方位が０°であり、第２の機械点におけるレーザースキャナ１００’のレーザースキャン開始時の方位が３０°である場合、両者の方位のズレが３０°であることが判る。この計算が角度関係算出部３０６で行われる。

表示制御部３０９は、上述したディスプレイ上におけるパノラマ画像その他の画像表示の制御を行う。表示制御部３０９は、アシスト表示制御部３１０を含んでいる。アシスト表示制御部３１０は、第１のパノラマ画像と第２のパノラマ画像の関係を視覚的に把握し易くする表示の制御を行う。

図６にアシスト表示が行われていない場合の画面表示を示し、図７にアシスト表示が行われている場合の画面表示を示す。なお、ここで例示する画面は、測量データ処理装置３００を構成するＰＣ等のディスプレイに表示される。

図６，７には、異なる２点の機械点から取得した２つのパノラマ画像を左右に２分割して同時に表示した場合の例が示されている。なお、図６，７の画面表示は、四角形の部屋の内部にレーザースキャナ１００を設置してパノラマ画像を得た場合が示されている。なお、実際のパノラマ画像は歪みがあるが、画角を狭め、また分かり易い様に歪みが目立たない場合の例が図６，７に示されている。

また、画面の下には、実際には表示されない位置関係概念図が示されている。この位置関係概念図は、この段階では未知である測定対象となる部屋とレーザースキャナ１００の位置関係を示すものである。

図示する例では、シンプルな対象が示されているが、それでも図７の画面表示の場合、左画面（第１のパノラマ画像）と右画面（第２のパノラマ画像）の対応関係の確定は難しい。

図７には、右画面の画像中にアシスト表示を行った場合の例である。この場合、各機械点におけるレーザースキャナ１００の方位情報に基づき、右画面と左画面の方位を統合させた（合わせた）表示とする。また、方位の情報を各画面中に表示する。このアシスト表示画面の表示制御がアシスト表示制御部３１０により行われる。

この例の場合、第１のパノラマ画像の基準方向と第２のパノラマ画像の基準方向とは、４５°ずれている。そこで、第２のパノラマ画像（右画像）の方位の表示を−４５°ずらし、２つのパノラマ画像で方位の表示と対象の位置関係を一致させる。これにより、図７に示す左右のパノラマ画像の中心の方位が略一致する。左右のパノラマ画像の視点（機械点）は異なるので、方位を合わせても、見える画像の様子は図７のように異なる。

しかしながら、方位を統一したパノラマ画像となるので、左右のパノラマ画像で共通の部分を容易に見出すことができる。オペレータは、図７の分割画像を見て、左右のパノラマ画像で共通する部分を見つけ、ＧＵＩを用いて当該共通部分を指定する。この指定情報が共通部分指定受付部３０３で受け付けられる。

表示制御部３０９は、後述する反射強度画像、距離画像、法線ベクトル画像の表示制御も行う。通信部３１１は、測量データ処理装置３００と外部との間の通信を行う。

パノラマ画像と点群データの統合部３１２は、パノラマ画像と点群データを統合する。パノラマ画像と点群データを統合することで、パノラマ画像中の任意の点の三次元座標を点群データから得ることができる。ここでは、上記の統合処理の一例として、パノラマ画像と点群画像を合成した合成画像を得る場合を説明する。なお、点群画像というのは、点群データの各点を視点（レーザースキャンの原点）から見た状態を視覚化した画像である。点群画像では、各スキャン点が点として表示され、この点の集まりにより、対象物が画像として表示される。

以下、パノラマ画像と点群画像を合成した合成画像の作成方法について説明する。この処理では、まずパノラマ画像の投影中心（光学原点）とレーザースキャンにより得た点群の各点とを結ぶ方向線を取得する。パノラマ画像を取得するためのカメラの投影中心とレーザースキャンの光学原点の位置の関係は既知である。よって、パノラマ画像の投影中心Ｏとレーザースキャンにより得た点群の各点Ｐｎと位置関係は計算で求めることができる。点Ｏと点Ｐｎの位置関係を求めることができれば、点Ｏと点Ｐｎを結ぶ方向線を求めることができる。

レーザースキャンで得られた点群の各点に関して、上記の方向線を得たら、パノラマ画像の投影面と上記の方向線との交点に点群の各点を投影し、当該投影面に点として表示させる。こうして、レーザースキャンで得た点群を点として表示した点群画像が得られる。この点群画像は、対応するパノラマ画像と同じ視点から見たパノラマ表示となる。そして両画像は、データ上で統合され、パノラマ画像と点群画像を合成した合成画像が得られる。

上記の合成画像において、パノラマ画像と点群画像を同時にディスプレイ上に表示することもできるし、いずれか一方のみをディスプレイ上に表示することもできる。ディスプレイは、測量データ処理装置３００として利用するＰＣ等のディスプレイ装置（液晶ディスプレイ等）が利用される。

三次元モデル作成部３１３は、レーザースキャンで得た点群データに基づき、レーザースキャン対象の三次元モデルを作成する。具体的には、点群データから線と面を抽出し、被測定物の輪郭線のデータを得る。この技術に関しては、例えば、国際公開番号ＷＯ２０１１/０７０９２７号公報、特開２０１２−２３０５９４号公報、特開２０１４−３５７０２号公報等に記載されている。

面または線の方位算出部３１４は、上記の三次元モデルを構成する線または面の方位を算出する。ここで、面は、鉛直な面を対象とし、その方位は、当該面の法線ベクトルの水平方向の方位（東西南北の方向）である。線は水平方向に延在する直線を対象とし、その方位は当該線の延在方向が対象となる。

同一部位抽出部３１５は、第１の三次元モデルと第２の三次元モデルから同じ面および／または線を抽出する。ここで、第１の三次元モデルは、第１の機械点で得た第１の点群データに基づく三次元モデルであり、第２の三次元モデルは、第２の機械点で得た第２の点群データに基づく三次元モデルである。

同じ線の抽出は、比較の対象となる２つの線において、線の方位の差と線の長さの差が予め定めた閾値以下であるか否か、を判定することで行われる。なお、線の長さは、線を構成する点群の両端の点の間の距離として算出される。

同じ面の抽出は、比較の対象となる２つの面において、面の法線の方位の差と面の面積の差が予め定めた閾値以下であるか否か、を判定することで行われる。なお、面の面積は、当該面を構成する点の占める面積を計算することで算出される。また、面は鉛直面を対象とする。

点群データ統合部３１６は、異なる機械点から取得された第１の点群データと第２の点群データとを統合する。具体的には、２つの点群データを同じ座標系で取り扱えるように一方または両方の点群データに座標変換を施す。レーザースキャナ１００を用いて第１の点群データを得、レーザースキャナ１００’を用いて第２の点群データを得た場合、共通する１点と方位の関係を求めるかまたは共通する２点以上の点を指定することで、２つの点群データの統合が可能となる。

（処理の一例）
以下、測量データ処理装置３００に係る処理の一例を説明する。最初に、異なる２つの機械点において点群データとパノラマ画像のデータを取得する。図８にこの際のフローを示す。まず、第１の機械点にレーザースキャナ１００を設置し、周囲の点群データの取得（ステップＳ１０１）、方位データの取得（ステップＳ１０２）、パノラマ画像の取得（ステップＳ１０３）を行う。

点群データとパノラマ画像の取得は、周囲３６０°に対してレーザースキャンを行うが、角度範囲を絞って行うことも可能である。これは、第２の機械点における計測でも同様である。なお、第１の機械点における計測対象（点群データとパノラマ画像の取得対象）と第２の機械点とにおける計測対象とを重複させる必要がある。

次に、第２の機械点にレーザースキャナ１００’を設置し、周囲の点群データの取得（ステップＳ１０４）、方位データの取得（ステップＳ１０５）、パノラマ画像の取得（ステップＳ１０６）を行う。なお、第１の機械点で用いるレーザースキャナと第２の機械点で用いるレーザースキャナとを別の機器で行う形態も可能である。

第１の機械点における点群データとパノラマ画像、および第２の機械点における点群データとパノラマ画像を取得したら図９の処理を行う。図９の処理は測量データ処理装置３００で行われる。図９の処理を実行するプログラムは、測量データ処理装置３００における適当な記憶領域に記憶される。このプログラムをサーバや記憶媒体に記憶させ、そこからダウンロードして利用する形態も可能である。

まず、第１の機械点と第２の機械点におけるレーザースキャナ１００の方位を取得する。（ステップＳ２０１）。次に、ステップＳ２０１で得た各機械点におけるレーザースキャナ１００の方位の情報に基づき、第１の機械点と第２の機械点におけるレーザースキャナ１００の方位の関係を算出する（ステップＳ２０２）。この処理は、角度関係算出部３０６で行われる。この処理により、第１の機械点と第２の機械点におけるレーザースキャナ１００の方位の初期値（基準方位）の差（ズレ）が得られる。

２つ機械点における基準方位の関係を得たら、アシスト表示を行う（ステップＳ２０３）。この場合、２つのパノラマ画像を左右に並べて同時に表示する。この状態でアシスト表示を行うことで、例えば図７の表示画面が得られる。アシスト表示をしたら、パノラマ画像上における指定部分の受付を行う（ステップＳ２０４）。

この際、図７に例示するように、パノラマ画像の方位が画面上に表示される。これにより、２つのパノラマ画像間における対応する部分の関係が視覚的に把握し易くなり、両パノラマ画像で対応する部分の指定が容易に行える。対応部分の指定を受け付けたら、それに基づき２つの点群データの統合を行う（ステップＳ２０５）。

（表示画面の例）
以下、図６に対応するディスプレイ上への第１のパノラマ画像と第２のパノラマ画像の表示例を説明する。図１０には、パノラマ表示された反射強度画像が示されている。反射強度画像は、点群各点の測距光の反射強度に応じて色彩を設定した画像である。なお、本実施形態の図では反射強度に応じた階調を設定している。図１０では、左側の上下に第１の反射強度画像と第２の反射強度画像が示され、右側の上下に第１のパノラマ画像と第２のパノラマ画像が示されている。

図１１には、パノラマ表示された距離画像が示されている。距離画像は、レーザースキャナから反射点までの距離に応じて色彩を設定した画像である。なお、本実施形態の図では距離に応じた階調を設定している。図１１では、左側の上下に第１の距離画像と第２の距離画像が示され、右側の上下に第１のパノラマ画像と第２のパノラマ画像が示されている。

図１２には、パノラマ表示された法線ベクトル画像が示されている。法線ベクトル画像は、面の法線の方向の違いが反映されるように、色彩を設定した画像である。なお、本実施形態の図では面の法線の方向の違いに応じた階調を設定している。図１２では、左側の上下に第１の法線ベクトル画像と第２の法線ベクトル画像が示され、右側の上下に第１のパノラマ画像と第２のパノラマ画像が示されている。

（他の例）
以下、アシスト表示の他の例を説明する。この例では、図１２に示す法線ベクトル画像において、面または線の方位を算出し、図１２に示す第１のパノラマ画像と第２のパノラマ画像において、同じ方位の面または線を強調表示する。

以下、面の場合を説明する。この例では、面として鉛直面を対象とする。まず、第１の機械点で取得した第１のパノラマ画像と第１の点群画像、さらにそれらを合成した第１の合成画像を取得する。また、第２の機械点で取得した第２のパノラマ画像と第２の点群画像、さらにそれらを合成した第２の合成画像を取得する。また、第１の機械点におけるレーザースキャナ１００の基準方位（第１の基準方位）と、第２の機械点におけるレーザースキャナ１００’の基準方位（第２の基準方位）を取得する。ここで基準方位は、レーザースキャン開始時におけるレーザースキャナの光軸の方位を採用する。

次に、第１の点群データに基づく三次元モデル（第１の三次元モデル）と第２の点群データに基づく三次元モデル（第２の三次元モデル）を三次元モデル作成部３１３で作成する。そして、第１の三次元モデルから鉛直面を抽出する。抽出する鉛直面の数は、可能な限り多くする。室内を計測対象とした場合、通常は、複数の鉛直面が抽出される。

レーザースキャナ１００は水平に設置されているので、第１の基準方位が得られることで、点群データ各点の第１の機械点からの絶対方位が判る。よって、点群データに基づく三次元モデルの向きが判り、上記鉛直面の法線の方位は計算できる。この原理により、第１の三次元モデルから抽出した複数の鉛直面の法線の方位を算出する。また、各鉛直面の面積を計算する。

同様の方法により、第２の三次元モデルからの鉛直面の抽出、各鉛直面の法線の方向の方位の算出を行う。また、各鉛直面の面積を計算する。

ここで、第１の三次元モデルから抽出された面と、第２の三次元モデルから抽出された面とを比較し、法線の方位と面積が一致すると見なせる組を抽出する。また、線の場合は、第１の三次元モデルから抽出された線と、第２の三次元モデルから抽出された線とを比較し、線の延在方向と長さが一致すると見なせる組を抽出する。この処理が、同一部位抽出部３１５で行われる。

そして、法線の方位と面積が一致すると見なせる１組の面を２つの三次元モデルで共通する面とみなし、例えば図６や図７の表示画面上で強調表示する。強調表示の方法としては、同じ色で表示する方法や同じタイミングで同期して点滅表示する方法等が挙げられる。また、抽出された２つの三次元モデルで同一とみなせる１組の線を、例えば図６や図７の表示画面上で強調表示する。強調表示の方法としては、面の場合と同じである。この強調表示に係る制御は、アシスト表示制御部３１０で行われる。

同一の面と判定する基準として、法線の方位と面の面積の一方のみを利用することも可能である。また、同一の線と判定する基準として、線の延在方向と線の長さの一方のみを利用することも可能である。

（カメラを利用しない場合の例）
パノラマ画像として、カメラが撮影した画像ではなく、レーザースキャナが得た点群データを画像化し、それをパノラマ画像としたものを採用することもできる。点群データを画像化したものとしては、点群画像、反射強度画像、距離画像、法線ベクトル画像が挙げられる。

点群画像は、投影面に点群データの点を投影した点で構成される画像である。ＲＧＢ画像は、反射点の色強度の情報を点として表示した点群画像である。反射強度画像は、点群各点の測距光の反射強度に応じて色彩を設定した画像である。距離画像は、レーザースキャナから反射点までの距離に応じて色彩を設定した画像である。法線ベクトル画像は、面の法線の方向の違いが反映されるように、色彩を設定した画像である。

これら点群データをパノラマ画像化したものをパノラマ画像として用いる場合、カメラは利用されない。よって、カメラを備えていないレーザースキャナを用いることができる。あるいは、レーザースキャナにカメラを備えているが、その撮影画像を用いないで本発明を実施することができる。なお、点群画像等の点群に基づく画像に基づくパノラマ画像を用いる場合、パノラマ画像を得るための機器とレーザースキャンを行う機器とは同一の機器となる。当然、パノラマ画像を得るための機器とレーザースキャナが同一であるので、両者の外部標定要素の関係は既知である。

なお、点群画像、後述のＲＧＢ画像、反射強度画像、距離画像、法線ベクトル画像等の点群データに基づく画像は、各画素の情報として、水平角、鉛直角、距離が記録されている。そのため、ユーザが画像中の特定の点をクリックした際に、即座に当該点のXYZ座標の抽出が可能となる。

（ＲＧＢ画像を利用する場合の例）
パノラマ画像としてＲＧＢ画像をパノラマ画像化したものを用いることもできる。ＲＧＢ画像は、点群画像にカメラが撮影した画像から取得した色情報を付与した画像である。

本発明は、異なる機械点から取得した点群データ同士のマッチングを行う技術に利用することができる。

Claims (12)

1. 第１の視点から得た第１のパノラマ画像の画像データおよび第２の視点から得た第２のパノラマ画像の画像データを受け付けるパノラマ画像データ受付部と、
   前記第１のパノラマ画像を得るための第１の機器に対する位置と姿勢の関係が既知な第１のレーザースキャナにより取得した第１の点群データ、および前記第２のパノラマ画像を得るための第２の機器に対する位置と姿勢の関係が既知な第２のレーザースキャナにより取得した第２の点群データを受け付ける点群データ受付部と、
   前記第１のパノラマ画像および前記第２のパノラマ画像における共通の部分の指定を受け付ける共通部分指定受付部と、
   前記共通の部分に対応する前記第１の点群データと前記共通の部分に対応する前記第２の点群データに基づき、前記第１の点群データと前記第２の点群データの対応関係を特定する対応関係特定部と
   を備える測量データ処理装置。
2. 前記共通の部分は、少なくとも２点である請求項１に記載の測量データ処理装置。
3. 前記共通の部分は、少なくとも１点であり、
   前記第１の点群データにおける前記少なくとも一点の座標、前記第２の点群データにおける前記少なくとも一点の座標、前記第１のパノラマ画像を得たときの前記第１の機器の向き、および前記第２のパノラマ画像を得たときの前記第２の機器の向きに基づき、前記第１の点群データと前記第２の点群データの対応関係の特定が行われる請求項１に記載の測量データ処理装置。
4. 前記第１の機器の向きは、前記第１の機器の水平方向における方位であり、前記第２の機器の向きは、前記第２の機器の水平方向における方位である請求項３に記載の測量データ処理装置。
5. 前記第１のパノラマ画像上で特定の部分が指定された場合に、前記第１のパノラマ画像を得たときの前記第１の機器の水平方向における方位と前記第２のパノラマ画像を得たときの前記第２の機器の水平方向における方位に基づき、前記第２のパノラマ画像上における前記特定の部分の水平角度位置をアシスト表示するアシスト表示制御部を備える請求項４に記載の測量データ処理装置。
6. 前記アシスト表示が水平方位の角度表示である請求項５に記載の測量データ処理装置。
7. 前記アシスト表示が第１のパノラマ画像と第２のパノラマ画像の水平方位を統合させた表示である請求項５に記載の測量データ処理装置。
8. 前記共通する部分が線分または面である請求項１に記載の測量データ処理装置。
9. 前記第１の点群データに基づく第１の三次元モデルと前記第２の点群データに基づく第２の三次元モデルを形成する三次元モデル作成部と、
   前記第１の三次元モデルを構成する第１の線に一致する前記第２の三次元モデルを構成する第２の線を抽出する同一線抽出部と、
   前記第１の線と前記第２の線を強調表示する強調表示制御部と
   を備える請求項４に記載の測量データ処理装置。
10. 前記第１の点群データに基づく第１の三次元モデルと前記第２の点群データに基づく第２の三次元モデルを形成する三次元モデル作成部と、
    前記第１の三次元モデルを構成する第１の面に一致する前記第２の三次元モデルを構成する第２の面を抽出する同一面抽出部と、
    前記第１の面と前記第２の面を強調表示する強調表示制御部と
    を備える請求項４に記載の測量データ処理装置。
11. 第１の視点から得た第１のパノラマ画像の画像データおよび第２の視点から得た第２のパノラマ画像の画像データを受け付けるパノラマ画像データ受付ステップと、
    前記第１のパノラマ画像を得るための第１の機器に対する位置と姿勢の関係が既知な第１のレーザースキャナにより取得した第１の点群データ、および前記第２のパノラマ画像を得るための第２の機器に対する位置と姿勢の関係が既知な第２のレーザースキャナにより取得した第２の点群データを受け付ける点群データ受付ステップと、
    前記第１のパノラマ画像および前記第２のパノラマ画像における共通の部分の指定を受け付ける共通部分指定受付ステップと、
    前記共通部分に対応する前記第１の点群データと前記共通部分に対応する前記第２の点群データに基づき、前記第１の点群データと前記第２の点群データの対応関係を特定する対応関係特定ステップと
    を備える測量データ処理方法。
12. コンピュータに読み取らせて実行させる測量用プログラムであって、
    コンピュータに
    第１の視点から得た第１のパノラマ画像の画像データおよび第２の視点から得た第２の パノラマ画像の画像データを受け付けるパノラマ画像データ受付ステップと、
    前記第１のパノラマ画像を得るための第１の機器に対する位置と姿勢の関係が既知な第１のレーザースキャナにより取得した第１の点群データ、および前記第２のパノラマ画像を得るための第２の機器に対する位置と姿勢の関係が既知な第２のレーザースキャナにより取得した第２の点群データを受け付ける点群データ受付ステップと、
    前記第１のパノラマ画像および前記第２のパノラマ画像における共通の部分の指定を受け付ける共通部分指定受付ステップと、
    前記共通部分に対応する前記第１の点群データと前記共通部分に対応する前記第２の点群データに基づき、前記第１の点群データと前記第２の点群データの対応関係を特定する対応関係特定ステップと
    を実行させる測量データ処理用プログラム。

Images