JP2012057960A - 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム - Google Patents

Abstract

【課題】異なる視点から得た三次元点群位置データを扱うための処理を効率化する技術を提供する。
【解決手段】第１の視点から得た測定対象物の三次元点群位置データに基づき三次元モデルを形成し、この三次元モデル上において、第２の視点から見た測定対象物の撮影画像との共通部分を指定する。次いで、上記共通部分において、対応点となる特徴点を算出し、対応点を指定する。そして、この指定された対応点に基づいて、第１の視点から得た三次元点群位置データを扱うための座標系に関連付けた第２の視点の三次元位置を算出する。
【選択図】図４

Description

本発明は、三次元点群位置データ処理技術に係り、異なる視点から得た三次元点群位置データの統合を効率よく行う技術に関する。

測定対象物の三次元点群位置データから三次元形状を生成する技術が知られている。三次元点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、三次元点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点（点群）と、この複数の測定点の三次元空間中の位置（三次元座標）とが関連付けされている。三次元点群位置データによれば、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の三次元座標が判るので、各点の三次元空間中における相対位置関係が把握でき、画面表示した三次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。

例えば、特許文献１に記載の発明では、走査レーザー装置が三次元対象を走査して、ポイントクラウドを生成する。ポイントクラウドは、走査点に関する深さと法線の変化に基づいて、エッジポイントと非エッジポイントのグループに分割される。各グループを幾何学的原図にフィットさせ、フィットした幾何学的原図を拡張、交差させることで、三次元形状を生成する。

特許文献２に記載の発明では、三次元点群位置データからセグメント（三角ポリゴン）を形成し、隣接するポリゴン同士の連続性、法線方向、または距離に基づき、エッジおよび面を抽出する。また、各セグメントの三次元点群位置データの平面性または曲面性を、最小二乗法を用いて、平面方程式または曲面方程式に置き換え、グループ分けを行い、三次元形状を生成する。

特許文献３に記載の発明では、三次元点群位置データに対して二次元矩形領域を設定し、その矩形領域に対応する測定点の合成法線ベクトルを求める。そして合成法線ベクトルがＺ軸方向と一致するように、矩形領域内の全ての計測点を回転移動する。更に矩形領域内の各計測点についてＺ値の標準偏差σを求め、標準偏差σが所定値を超えた場合、矩形領域の中心点と対応する計測点をノイズとして取り扱う。

特表２０００−５０９１５０号公報 特開２００４−２７２４５９号公報 特開２００５−０２４３７０号公報

レーザースキャナを用いて三次元点群位置データを得る場合、レーザースキャナから見て、ある対象物の背後の部分の三次元点群位置データは、影となるので取得できない。この影の部分が生じる現象をオクルージョンという。この影となる取得できなかった部分の三次元点群位置データは、以前は影であった部分にレーザー光を当てることができる位置に視点を変更し、再度のスキャニングを行うことで得ることができる。

しかしながら、この方法によってオクルージョンを解消するには、２つの視点から得られたそれぞれ数万点〜数億点にもなる三次元点群位置データを共通の座標系で取り扱うための位置合わせを行う処理が必要となる。この処理は、煩雑であり、また長い処理時間が必要となる。このような背景において、本発明は、異なる視点から得た三次元点群位置データを扱うための処理を効率化する技術を提供することを目的とする。

請求項１に記載の発明は、測定対象物の三次元点群位置データを取得する点群位置データ取得部と、前記測定対象物の画像データを取得する画像データ取得部と、第１の視点から見た前記測定対象物と前記第１の視点とは異なる第２の視点から見た前記測定対象物との画像上の共通の領域における対応点を指定する対応点指定部と、前記第１の視点において前記点群位置データ取得部で取得された三次元点群位置データにおける前記対応点指定部で指定された対応点の三次元点群位置データと前記第２の視点において前記画像データ取得部で取得された画像データにおける前記対応点指定部で指定された対応点の画面座標値に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行う座標演算部とを備えることを特徴とする点群位置データ処理装置である。

上記の発明において、画像上の共通の領域というのは、第１の視点から見た場合と第２の視点から見た場合における測定対象物の同じ部分（重複して見える部分）のことである。ここで比較の対象となる画像は、撮影することで得られた画像同士、第１の視点から見た三次元モデルの画像と第２の視点から見た撮影画像の組み合わせが挙げられる。なお、第１の視点から撮影した画像の代わりに、第１の視点で得た三次元点群位置データを画素情報として利用した画像を利用することもできる。また、第１の視点から撮影した画像と第１の視点で得た三次元点群位置データに基づく三次元モデルとを組み合わせた画像を第１の視点から見た画像として利用することもできる。

ここで、三次元点群位置データは、測定対象物の各測定点における三次元座標データを含んでいる。三次元座標を表示する座標系は、直交座標系または極座標系が採用される。画像データは、ＣＣＤ等による撮影により得られた画像のデータ、または三次元点群位置データを取得する際に得られた各測定点からの反射光の強度、各測定点の色や濃度の情報に基づいて画素を構成した画像のデータのことをいう。

本発明では、この共通の領域において対応点を指定し、この対応点における第１の視点から得られた測定対象物の三次元点群位置データと第２の視点から得られた測定対象物の画面座標値（画面中における画像を構成する画像要素の座標データ）に基づいて、第２の視点の三次元座標が算出される。ここで、第２の視点の三次元座標は、第１の視点から得た三次元点群位置データを取り扱う座標系に関連付けされた三次元位置として算出される。第１の視点から得た三次元点群位置データを取り扱う座標系に関連付けされた三次元位置というのは、第１の視点から得た三次元点群位置データを取り扱う座標系上で特定することが可能な三次元座標の値のことである。この関連付けは、直接的なものであってもよいし、何らかの変換式を介したものであってもよい。

測定対象物全体の三次元点群位置データの取得は、測定対象物が大規模になるほど時間がかり、またその処理に要する時間も長くなる。請求項１に記載の発明によれば、第２の視点からの三次元点群位置データの取得を行う前の段階で、第２の視点から撮影することで得た画像データおよび第１の視点から得た三次元点群位置データに基づき、この三次元点群位置データを取り扱う座標系に関連付けて特定が可能な第２の視点の位置が算出される。この構成によれば、第１の視点で用いた座標系上で第２の視点の位置を特定することが可能となる。このため、後に第２の視点から得た当該測定対象物の三次元点群位置データと、既に求められている第１の視点からの三次元点群位置データとの位置合わせが、この２つの三次元点群位置データ同士を比較しての位置合わせの場合に比較して容易となる。

すなわち、第１の視点において取得した当該測定対象物の三次元点群位置データと、第２の視点において取得した当該測定対象物の三次元点群位置データとを統合的に取り扱う場合、２つの三次元点群位置データ同士を比較し、その対応関係を明確にし、一方の三次元点群位置データの一つが、他方の三次元点群位置データのどれに対応するかを明らかにしておく必要がある。本発明の構成を採用しない場合、両視点からの三次元点群位置データを取得し、その後に両三次元点群位置データ同士を比較し、両者の対応関係を算出することになる。しかしながら、この方法は第２の視点からの膨大な数の三次元点群位置データを取得する手間と時間が必要であり、更にその後の三次元点群位置データ同士を比較しての膨大な演算が必要となる。

本発明によれば、対応点を指定することで、第２の視点からの撮影（これは三次元点群位置データの取得に比較すれば、一瞬の作業である）によって得た画像データにおける画面座標と第１の視点において得られた三次元点群位置データとに基づき、第２の視点の座標が、第１の視点における座標系上で特定される。他方で、第２の視点から得た三次元点群位置データは、第２の視点の座標と関連付けがされたものとして取得される（例えば、第２の視点を原点として）。よって、当該測定対象物の第２の視点からの三次元点群位置データの取得の際に、予め第２の視点の位置が第１の視点で得られた三次元点群位置データを取り扱うための座標系に関連付けされていると、１から両三次元点群位置データ同士を比較する場合に比較して、両三次元点群位置データ間の対応関係を求める処理が簡素化される。

第１の視点における座標系に関連付けされた第２の視点の三次元位置の算出は、まず第１の視点と第２の視点との対応関係を算出し、この対応関係に基づき、第２の視点の位置を第１の視点における座標系に関連付ける（例えば、第１の視点の座標系上における第２の視点の位置を特定する）ことで行われる。この対応関係を算出する手法として、単写真標定、相互標定、絶対標定が挙げられる。これら手法は、複数を組み合わせて利用することもできる。

なお、演算に必要な対応点の数は、手法によって異なる。例えば、絶対標定であれば３点以上であり、単写真標定であれば４点以上であり、相互標定であれば６点以上が必要とされる。また、対応点を自動で検出、特定するのに、ステレオマッチング法を利用できる。この場合は自動である程度の数の対応点が取得できる。

請求項２に記載の発明は、請求項１に記載の発明において、前記第１の視点から得られた前記測定対象物の三次元点群位置データに基づき、または前記第１の視点から得られた前記測定対象物の三次元点群位置データと前記第２の視点から得られた前記測定対象物の三次元点群位置データとに基づき、前記第２の視点から見た前記測定対象物の三次元モデルを形成する三次元モデル形成部を備えることを特徴とする。

請求項２に記載の発明によれば、第２の視点から見た測定対象物の三次元モデルを得ることができる。ここで、三次元モデルというのは、輪郭の情報に基づいて作成された三次元に表現された線図（対象物の輪郭を三次元的に表現した図）のことをいう。ここで第２の視点から見た三次元モデルには、前記第１の視点から得られた測定対象物の三次元点群位置データに基づく三次元モデルと、第１の視点から得られた測定対象物の三次元点群位置データと第２の視点から得られた測定対象物の三次元点群位置データとに基づく三次元モデルの２つがある。前者の三次元モデルは、第２の視点からの三次元点群位置データが抜けているので、第１の視点においてオクルージョンとる部分の三次元モデルが欠損した状態となる。後者の三次元モデルは、第１の視点ではオクルージョンとなるが、第２の視点からはオクルージョンとならない部分の三次元モデルの部分が得られる。

請求項３に記載の発明は、請求項１に記載の発明において、前記三次元モデル形成部は、前記第１の視点から得られた前記測定対象物の三次元点群位置データに基づく三次元モデルである第１視点三次元モデルを形成し、前記第１視点三次元モデル、あるいは前記第１の視点から得られた前記測定対象物の画像である第１視点画像と前記第２の視点から得られた画像である第２視点画像とを表示すると共に、前記第１視点三次元モデル、前記第１視点画像および前記第２視点画像の少なくとも一つにおいて、前記対応点を表示する制御を行う表示制御部を備えることを特徴とする。

請求項３に記載の発明によれば、液晶ディスプレイ等の画像表示装置上への第１の視点から見た測定対象物の画像または三次元モデルの表示、更に第２の視点から見た測定対象物の画像の表示、およびその中の少なくとも一つにおける対応点の表示が行われる。この構成によれば、ユーザが対応点の位置や両視点から測定対象物を見た場合の見た目の状態を視覚的に把握することができる。このため、対応点の手動での指定や、対応点の自動設定が上手くゆかない場合の対処をより迅速に操作性よく行うことができる。

請求項４に記載の発明は、請求項３に記載の発明において、前記第２視点画像において、前記対応点が指定された場合に、この指定された対応点に基づき、前記座標演算部における演算が行われることを特徴とする。例えば、平坦で一様な部分同士を比較して対応関係を求める処理を行った場合、同じようなＳ／Ｎ（たとえば同じような画像の濃淡）部分が繰り返し現れる。このため、対応関係が明確にならず、処理のリトライが繰り返されて処理が遅延する。他方において、例えば画像中で特徴として捉え易いエッジ部分や部分的に凹凸があり画像として目に付きやすい部分（これらを特徴点という）を対象として対応関係を求める場合、対応関係が算出され易いので、上記の処理遅延の問題が緩和される。請求項４に記載の発明によれば、対応点が指定されるので、対応点として上記の特徴点を指定することで、より処理の迅速化が可能となる。

請求項５に記載の発明は、請求項４に記載の発明において、前記第２視点画像において、前記対応点が指定された場合に、この指定された対応点に係る前記第２の視点から得られた前記測定対象物の三次元点群位置データに基づき、前記座標演算部における演算が行われることを特徴とする。請求項５に記載の発明によれば、第２の視点から見た測定対象物の中の指定された対応点の三次元点群位置データを取得し、それに基づく対応関係の特定が行われる。この場合、指定される対応点の数は、測定対象物全体を構成する点群から見れば、僅かな割合であるので、三次元点群位置データの取得、その処理に要する時間を短縮することができる。なお、第２の視点からの三次元点群位置データの取得は、対応点を含むその周辺において行っても良い。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記対応点指定部は、ユーザにより指定された位置を前記対応点として受け付ける対応点受け付け部を備えることを特徴とする。請求項６に記載の発明によれば、対応点が手動でユーザにより指定される。手動により対応点を指定することで、処理に適した特徴点を指定でき、上述した２つの座標系を統合する処理を効率よく行うことができる。

請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、前記対応点指定部は、前記第１の視点において得られた前記測定対象物の三次元点群位置データに基づいて前記対応点を検出する対応点検出部を備えることを特徴とする。請求項７に記載の発明によれば、演算により特徴点を検出することができる。

請求項８に記載の発明は、請求項１〜７のいずれか一項に記おいて、前記対応点指定部における対応点の指定は、前記第１の視点から得られた画像と第２の視点から得られた画像との間で、ステレオマッチングを行うことで実行されることを特徴とする。

請求項９に記載の発明は、請求項７または８に記載の発明において、前記対応点検出部は、前記測定対象物の特徴点となる部分を前記対応点として検出することを特徴とする。上述したように、対応点を用いて対応関係を求める処理は、対応点が特徴点として有効に機能する場合により効率よく行える。例えば、測定対象物の輪郭となる部分は、対象物の外観を特徴付ける部分であり、特徴点として機能する。したがって、特徴点となる部分を算出し、その部分を対応点することで、処理を効率化することができる。特徴点は、測定対象物のエッジ部分、凸の部分、凹の部分といった視覚的に目に付き易い部分である。特徴点は、平面と見なせない程度が局所的に大きくなっている部分として数学的に検出される。

請求項１０に記載の発明は、請求項９に記載の発明において、前記点群位置データ取得部は、前記対応点が指定された場合にこの指定された対応点を含む周辺部分の三次元点群位置データを前記第２の視点において取得し、この取得された三次元点群位置データに基づいて前記特徴点の算出が行われ、この算出に基づいて前記指定された対応点の特定が行われることを特徴とする。

請求項１０に記載の発明によれば、指定された部分を含む周辺部分の三次元点群位置データの取得が第２の視点において行われ、この部分的に取得された三次元点群位置データに基づいて、その領域における特徴点として対応点が算出される。このため、指定された対応点が特徴点からずれていても、最終的に取得される対応点を特徴点とすることができ、対応点を用いた対応関係の算出における効率と精度を高めることができる。またこの発明によれば、第２の視点において新たに取得される三次元点群位置データは、測定対象物の一部分のものでよい。このため、新たな三次元点群位置データの取得のための作業時間および取得した三次元点群位置データの処理時間の増加を抑えることができる。

請求項１１に記載の発明は、請求項１〜１０のいずれか一項に記載の発明において、前記座標演算部は、少なくとも３点における対応関係に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行うことを特徴とする。

請求項１２に記載の発明は、請求項１〜１０のいずれか一項に記載の発明において、前記点群位置データ取得部で取得される三次元点群位置データを測定するための点群位置データ測定光学系と、前記画像データの基となる画像を撮影する撮影光学系とを備え、前記点群位置データ測定光学系と前記撮影光学系とは同一軸回りに回動可能とされており、前記座標演算部は、少なくとも２点における対応関係に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行うことを特徴とする。

請求項１３に記載の発明は、請求項１〜１２のいずれか一項に記載の発明において、前記第１の視点の位置と前記第２の視点の位置とを特定するＧＰＳ部を備え、前記座標演算部は、前記ＧＰＳ部で特定された前記第１の視点の位置と前記第２の視点の位置とに基づく演算を行うことを特徴とする。

請求項１４に記載の発明は、第１の視点から見た前記測定対象物と前記第１の視点とは異なる第２の視点から見た前記測定対象物との画像上の共通の領域における対応点を指定する対応点指定ステップと、前記第１の視点において取得された三次元点群位置データにおける前記対応点指定ステップで指定された対応点の三次元点群位置データと前記第２の視点において取得された画像データにおける前記対応点指定ステップで指定された対応点の画面座標値に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行う座標演算ステップとを備えることを特徴とする点群位置データ処理方法である。

請求項１５に記載の発明は、測定対象物の三次元点群位置データを取得する点群位置データ取得手段と、前記測定対象物の画像データを取得する画像データ取得手段と、第１の視点から見た前記測定対象物と前記第１の視点とは異なる第２の視点から見た前記測定対象物との画像上の共通の領域における対応点を指定する対応点指定手段と、前記第１の視点において前記点群位置データ取得手段で取得された三次元点群位置データにおける前記対応点指定手段で指定された対応点の三次元点群位置データと前記第２の視点において前記画像データ取得手段で取得された画像データにおける前記対応点指定手段で指定された対応点の画面座標値に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行う座標演算手段とを備えることを特徴とする点群位置データ処理システムである。

請求項１６に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを測定対象物の三次元点群位置データを取得する点群位置データ取得部と、前記測定対象物の画像データを取得する画像データ取得部と、第１の視点から見た前記測定対象物と前記第１の視点とは異なる第２の視点から見た前記測定対象物との画像上の共通の領域における対応点を指定する対応点指定部と、前記第１の視点において前記点群位置データ取得部で取得された三次元点群位置データにおける前記対応点指定部で指定された対応点の三次元点群位置データと前記第２の視点において前記画像データ取得部で取得された画像データにおける前記対応点指定部で指定された対応点の画面座標値に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行う座標演算部として機能させることを特徴とする点群位置データ処理プログラムである。

請求項１に記載の発明によれば、闇雲に三次元点群位置データ同士や画像データ同士を比較する場合に比較して、異なる視点から得た点群位置データを扱うための処理を効率化できる。

請求項２に記載の発明によれば、一方の視点におけるオクルージョンを認識できる三次元モデルを得ることができる。また、２つ視点から得た三次元点群位置データに基づくことで、オクルージョンを減らした三次元モデルを得ることができる。

請求項３に記載の発明によれば、視覚的に把握し易い状態で対応点の指定を行うことができる。

請求項４に記載の発明によれば、指定された対応点に基づいて２つの座標系の間の対応関係の特定が行われるので、対応関係を特定するのに必要な演算を効率よく行うことができる。

請求項５に記載の発明によれば、第２の視点において、指定された対応点の部分の三次元点群位置データを取得すればよいので、第２の視点から測定対象物全体の三次元点群位置データを取得する場合に比較して、測定時間の短縮や負担の軽減が可能となる。

請求項６に記載の発明によれば、ユーザが対応点を指定することが可能とすることで、処理が効率化される。

請求項７に記載の発明によれば、第１の視点において得られた三次元点群位置データを利用して対応点を検出するので、測定対象物の対応点として相応しい特徴を効果的に演算により得ることができる。

請求項８に記載の発明によれば、対応点を演算により求めることができる。

請求項９に記載の発明によれば、特徴点を対応点とするので、対応関係を求める演算の効率をより高めることができる。

請求項１０に記載の発明によれば、２つの視点を対応付ける対応点として、特徴部分をより確実に、更に対応関係がより明確となる点を設定することができる。

請求項１１に記載の発明によれば、３点の対応点の特定で標定が行える絶対標定を用いた対応関係の特定が可能となる。

請求項１２に記載の発明によれば、対応点の数を減らすことができる。

請求項１３に記載の発明によれば、ＧＰＳ情報にリンクさせた統合座標を得ることができる。

請求項１４〜１６に記載の発明によれば、請求項１の効果と同様の効果を得ることができる。

実施形態における点群位置データ処理装置のブロック図である。 実施形態における測定を行う様子を示す概念図である。 実施形態における三次元モデル形成部のブロック図である。 実施形態における画像表示装置に表示される内容の一例を示す画面表示図である。 実施形態における画像表示装置に表示される内容の一例を示す画面表示図である。 実施形態における処理の手順の一例を示すフローチャートである。 三次元モデルを表示した画面表示の一例である。 相互標定の原理を説明する概念図である。 ステレオマッチングの原理を説明する原理図である。 レーザースキャナを備えた点群位置データ処理装置の概念図である。 レーザースキャナを備えた点群位置データ処理装置の概念図である。 実施形態の制御部のブロック図である。 実施形態の演算部のブロック図である。 点間距離が一定でない点群位置データを示す概念図である。 形成したグリッドを示す概念図である。

１．第１の実施形態
以下、発明を利用した点群位置データ処理装置の一例について、図面を参照して説明する。図１には、点群位置データ処理装置１００が示されている。点群位置データ処理装置１００は、パーソナルコンピュータ上においてソフトウェア的に構成されている。点群位置データ処理装置１００をパーソナルコンピュータ上で構成するプログラムは、パーソナルコンピュータ中にインストールされている。なお、このプログラムは、サーバや適当な記録媒体に記録しておき、そこから提供される形態であってもよい。

利用されるパーソナルコンピュータは、キーボートやタッチパネルディスプレイ等の入力部、液晶ディスプレイ等の画像表示装置、入力部と表示部を統合したユーザインターフェースであるＧＵＩ（グラフィカル・ユーザ・インターフェース）機能部、ＣＰＵおよびその他専用の演算デバイス、半導体メモリ、ハードディスク記憶部、光ディスク等の記憶媒体との間で情報のやり取りを行えるディスク記憶装置駆動部、ＵＳＢメモリ等の携帯型記憶媒体との間で情報のやり取りを行えるインターフェース部、無線通信や有線通信を行う通信インターフェース部を必要に応じて備えている。なお、パーソナルコンピュータとしては、ノート型、携帯型、卓上型等の形態が挙げられるが、その形態は限定されない。また、汎用のパーソナルコンピュータを利用する以外に、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）等を用いて構成した専用のハードウェアによって点群位置データ処理装置１００を構成することも可能である。

点群位置データ処理装置１００には、点群位置データ取得装置１０１、画像取得装置１０２、ＧＰＳ(Global Positioning System)装置１０３、画像表示装置１０４、操作入力装置１０５が接続されている。点群位置データ取得装置１０１は、後述するレーザースキャナである。点群位置データ取得装置１０１（レーザースキャナ）は、測定対象物にレーザ光を照射し、その反射光を検出することで三次元点群位置データを取得する。画像取得装置１０２は、ＣＣＤやＣＭＯＳイメージセンサを利用した撮影装置であり、三次元点群位置データの取得対象となる測定対象物の外観画像を撮影し、その画像データを取得する。点群位置データ取得装置１０１と画像取得装置１０２は、同じ方向に向くように一体化され、同一軸周りを回動可能とされている。

ＧＰＳ装置１０３は、ナビゲーションシステム等に利用されている位置特定装置であり、ＧＰＳ信号を受信し、それに基づいて位置データを取得する。画像表示装置１０４は、点群位置データ処理装置１００を構成するパーソナルコンピュータのディスプレイ（例えば、液晶ディスプレイ）である。操作入力装置１０５は、点群位置データ処理装置１００を構成するパーソナルコンピュータの操作入力装置（キーボード、マウス入力装置等のポインティングデバイス）である。操作入力装置１０５は、画像表示装置１０４と連動して公知のＧＵＩ(Graphical User Interface)を利用しての点群位置データ処理装置１００の操作が可能とされている。

点群位置データ処理装置１００は、点群位置データ取得部１１１、画像データ取得部１１２、共通領域指定部１１３、対応点指定部１１４、座標演算部１１７、三次元位置算出部１１８、表示制御部１２０を備えている。

点群位置データ取得部１１１は、点群位置データ取得装置１０１から出力される三次元点群位置データを受け付け、それを点群位置データ取得装置１００内に取り込む。画像データ取得部１１２は、画像取得装置１０２から出力される画像データを受け付け、点群位置データ取得装置１００内に取り込む。

共通領域指定部１１３は、２つの視点から見た測定対象物の重複する部分、すなわち２つの視点から見て共通に見える測定対象物の部分を共通領域として指定する。共通領域の指定は、ユーザにより行われる。なお、異なる視点から得られた画像データ同士や三次元点群位置データ同士を比較することで、演算により共通領域を算出することも可能である。

対応点指定部１１４は、対応点受け付け部１１５と対応点検出部１１６を備えている。対応点受け付け部１１５は、画像表示装置１０４上に表示された第１の視点からの三次元モデル（または撮影画像）と第２の視点からの撮影画像上でユーザのマニュアル操作によって行われる対応点の指定操作を受け付ける。この操作は、パーソナルコンピュータが備えたＧＵＩ機能を用いて行われる。対応点検出部１１６は、測定対象物のエッジ部分等の測定対象物を視認した際に特徴点として認識し易い部分を対応点として演算により検出する。この処理は、三次元モデル形成部１１９で行われる後述する演算を利用して行われる。

また、対応点検出部１１６は、ステレオマッチングにより、対応点の自動検出を行うこともできる。この場合、第１の視点から得た測定対象物の画像データと第２の視点から得た測定対象物の画像データとを比較して、両者で一致する特徴の部分が対応点として算出される。ステレオマッチングの詳細については後述する。

座標演算部１１７は、第１の視点において取得した測定対象物の三次元点群位置データと、第１の視点とは異なる第２の視点において撮影により得た測定対象物の画像データとの対応関係を求める演算、この演算に関係する演算、および第１の視点から得た三次元点群位置データを取り扱う座標系（第１の視点から測定対象物を見た場合に用いられる座標系）の上における第２の視点の位置座標を算出する処理を行う。

座標演算部１１７は、三次元位置算出部１１８を備えている。三次元位置算出部１１８は、上述した対応関係に基づき、第１の視点から得た三次元点群位置データを取り扱う座標系における第２の視点の三次元座標の値を算出する。この演算の結果を利用することで、第１の視点において得た三次元点群位置データを第２の視点から測定対象物を見た向きの座標系で取り扱うことができる。また、後に第２の視点から得た三次元点群位置データと、第１の視点から得た三次元点群位置データとを統合的に扱うことができる。上記の対応関係を求める手法には、後述するように、「単写真標定」、「相互標定」、「絶対標定」が挙げられる。

三次元モデル形成部１１９は、点群位置データ取得部１１１が取得した三次元点群位置データに基づいて、三次元モデルを形成する。三次元モデル形成部１１９の機能の詳細については後述する。ここでいう三次元モデルというのは、測定対象物の輪郭線を線図として表現した測定対象物の三次元構造を視覚化した画像である。輪郭線というのは、測定対象物の外観を視覚的に把握するために必要な、当該測定対象物の外形を形作っている線(outline)のことである。具体的には、折れ曲がった部分や急激に曲率が小さくなっている部分が輪郭線となる。輪郭線は、外側の輪郭の部分のみが対象となるとは限らず、凸状に飛び出している部分を特徴付ける縁の部分や、凹状に引っ込んでいる部分（例えば、溝構造の部分）を特徴づける縁の部分も対象となる。輪郭線により所謂線図が得られ、対象物の外観が把握し易い画像表示を行うことができる。なお、三次元モデルには、上述した線の情報だけではなく、測定対象物の外観を視覚的に把握する際の特徴部分となる点の情報も含まれる。

表示制御部１２０は、画像表示装置１０４に測定対象物の撮影画像や三次元モデルを表示するための制御を行う。特に表示制御部１２０は、後述する図４、図５、図７に係る画像表示を画像表示装置１０４上で行う制御を行う。

（座標演算部）
以下、図１の座標演算部１１７について説明する。まず、説明の前提となる三次元点群位置データを測定する状態の具体的な一例を説明する。図２には、三次元点群位置データを測定する状況の一例が概念的に示されている。図２には、図１の点群位置データ処理装置１００として機能するノート型のパーソナルコンピュータ１３０が示されている。パーソナルコンピュータ１３０には、点群位置データ取得装置の一例である三次元レーザースキャナ１３１が接続されている。図２には、測定を行う第１の視点となる第１の設置位置１３２に三次元レーザースキャナ１３１を配置して測定対象物１３４〜１３６の三次元点群位置データの取得および撮影による画像データの取得を行い、次に第２の視点となる第２の設置位置１３３に、三次元レーザースキャナ１３１を移動させ、そこで再度の三次元点群位置データおよび画像データの取得を行おうとする場合の例が示されている。なお、三次元レーザースキャナ１３１は、図１の点群位置データ取得装置１０１の機能に加えて、画像取得装置１０２、ＧＰＳ装置１０３の機能を備えている。また、レーザースキャナ１３１の光軸を動かした際に、画像取得装置の光軸が同じ向きとなるように、両者が一体化された構造とされている。

図２には、第１の設置位置１３２に三次元レーザースキャナ１３１を配置した状況において、三次元レーザースキャナ１３１側から見て、手前側に測定対象物１３４が位置し、その背後（後ろ側）に測定対象物１３５が位置している状況が示されている。また、第１の設置位置１３２から見て、測定対象物１３４の背後に隠れる位置に測定対象物１３６が位置している状態が示されている。

以下、図２の状況を例に挙げ、座標演算部１１７の機能について説明する。この場合、座標演算部１１７は、三次元レーザースキャナ１３１を第１の設置位置１３２（第１の視点）に設置した場合に取得された測定対象物１３４〜１３６の三次元点群位置データと、三次元レーザースキャナ１３１を第２の設置位置１３３（第２の視点）に設置して撮影を行うことで得た画像データとの対応関係（相関関係）を求める。

上記の対応関係も求める方法として、「単写真標定」、「相互標定」、「絶対標定」、が挙げられる。これらの方法は、その一つを用いても良いし、複数を組み合わせて用いても良い。上記の対応関係を求める処理は、図２の第１の設置位置（第１の視点）１３２から測定対象物１３４〜１３６を見た場合に得られる測定対象物の三次元点群位置データを取り扱うのに利用される座標系（第１の座標系）（Ｘ、Ｙ、Ｚ）と、第２の設置位置（第２の視点）１３３から測定対象物１３４〜１３６を見た場合に得られる測定対象物の三次元点群位置データを取り扱うのに利用される座標系（第２の座標系）（ｘ、ｙ、ｚ）との対応関係を明らかにする処理と捉えることができる。

この処理では、まず第１の視点において得られた三次元点群位置データに基づく三次元モデルと第２の視点において前記画像データ取得部１１２で取得された画像データを用いて、両画像の対応する部分（対応点）の指定が行われる。次いで、この対応点を足がかりとして、上記標定を用いての両座標系の対応関係の特定が行われる。

ところで、上述した標定を行う場合、各視点の位置が各座標系の原点となる。従って、第１の視点から得た三次元モデルと第２の視点から得た撮影画像との対応点を指定し、上述した標定により、両画像の対応点の間の対応関係を求めることで、第１の視点の座標系（第１の視点で得た三次元点群位置データを取り扱うための座標系）における第２の視点の三次元座標を知ることができる。

通常、第２の視点から得た画像データは、点群位置データ取得部１１１で第２の視点からの三次元点群位置データを取得しないかぎりは、三次元点群位置データと組み付けされない。しかしながら、上記の方法のように、対応点を指定しての標定を用い、第１の視点からの三次元点群位置データに関連付けされた第２の視点の三次元座標（第２の視点の位置）を求める場合、第２視点から得た三次元点群位置データが必ずしも取得されている必要はない。

また、同様の処理を第１の視点において得た画像データと第２の視点において得た画像データに基づき行うこともできる。この場合、まず第１の視点において画像データ取得部１１２で取得された画像データと、第２の視点において前記画像データ取得部１１２で取得された画像データとを用いて、両画像の対応する部分（対応点）の指定が行われる。次いで、この対応点を足がかりとして、上記標定を用いての両座標系の対応関係の特定が行われる。

ここで、既に取得されている第１の視点から得た画像データは、点群位置データ取得部１１１で取得された三次元点群位置データとその位置関係が組み付けされている。したがって、第１の視点からの画像データと第２の視点からの画像データとの間の対応点を指定することで、第２の視点における対応点と第１の視点から得た三次元点群位置データとの関係は簡単に分かる。そして標定を行うことで、第１の視点から得た三次元点群位置データを記述する座標系における第２の視点の三次元位置座標の算出が可能となる。

（単写真標定）
単写真標定とは、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置（Ｘ０、Ｙ０、Ｚ０）およびカメラの傾き（ω，φ，κ）を求め、写真座標ｘ、ｙと地上座標Ｘ、Ｙ、Ｚの間の関係を求める技術である。共線条件とは、投影中心、写真像および地上の対象物が一直線上にあるという条件である。また、カメラの位置（Ｘ０、Ｙ０、Ｚ０）とカメラの傾き（ω、φ、κ）は外部標定要素と呼ばれる。

ここでは、単写真標定の原理を用いて、第１の設置位置１３２（第１の視点）から対象物１３４〜１３６を見た場合の第１の座標系と、第２の設置位置１３３（第２の視点）から対象物１３４〜１３６を見た場合の第２の座標系との関係を求める方法を説明する。この場合、第１の設置位置において測定対象物１３４〜１３６の三次元点群位置データが取得されている状態で、第２の設置位置１３３から三次元レーザースキャナ１３１が備えている画像取得装置１０２（ＣＣＤカメラ）による画像の取得を行い、その上で以下の演算を行う。

まず、第１の座標系をＸ、Ｙ、Ｚ、第２の座標系をｘ、ｙ、ｚ、とし、第２の設置位置１３３において、画像取得装置１０２で撮影を行ったものとする。ここで、第１の設置位置１３２において得られた三次元点群位置データおよび第２の設置位置１３３から撮影した撮影画像の中から共通する４点を対応点として指定する。この対応点の選択は、以下の手順で行われる。まず共通領域指定部１１３の機能により、共通領域が指定される。更にこの指定された共通領域の中から、対応点指定部１１４の機能により、４点の対応点が指定される。この４点は、２つの座標系の対応関係を求める足掛かりとなる共通座標点であり、測定対象物の中から特徴点となる部分が選択される。この４点の選択を行う方法は、マニュアル操作によって行う方法や、対象物のエッジや角部分等の特徴点として把握し易い部分をソフトウェア的に自動抽出する方法、あるいはこの自動抽出された中から更にユーザがマニュアルで選択する方法が利用される。なお、単写真標定を用いた場合の対応点の指定は、５点以上であってもよいが、最低４点を指定することで、２つの座標系の対応関係を求めることができる。

そして、４点の画面座標値と対応する基準点の３次元座標を数１に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。ここで、４点の画面座標値は、第２の設置位置１３３から撮影した撮影画像の中から指定された４点の対応点の画面中における座標の位置である。対応する基準点の３次元座標というのは、第１の設置位置１３２において得られた三次元点群位置データから得られる上記指定された４つの対応点の三次元座標の値である。

数１のパラメータｂ１〜ｂ８を用いて、下記の数２から外部標定要素（Ｘ０、Ｙ０、Ｚ０）を求める。

次に、単写真標定の原理より、（Ｘ，Ｙ，Ｚ）に対応する、傾いた画像取得装置１０２の座標系（ｘｐ、ｙｐ、ｚｐ）を以下の数３から求める。数３では、数２で求まった画像取装置の傾き（ω、φ、κ）を代入し、回転行列の計算をして、パラメータａ１１〜ａ３３を求める。

求まったパラメータａ１１〜ａ３３と数２で求まったカメラの位置（Ｘ０、Ｙ０、Ｚ０）、および（Ｘ，Ｙ，Ｚ）を、投影中心、写真像および対象物が一直線上にあるという以下の数４の共線条件式に代入し、座標（ｘ、ｙ）を求める。ここで、ｃは画面距離（焦点距離）、ａ_１１〜ａ_３３は、３×３回転行列の要素として現される画像取得装置１０２の傾きであり、Δｘ、Δｙは、画像取得装置１０２内部の標定補正項である。

こうして、図２の第１の設置位置（第１の視点）１３２から測定対象物１３４〜１３６を見た場合の座標系（第１の座標系）（Ｘ、Ｙ、Ｚ）と、第２の設置位置（第２の視点）１３３から測定対象物１３４〜１３６を見た場合の座標系（第２の座標系）（ｘ、ｙ、ｚ）との対応関係が算出される。この対応関係が算出されることで、第１の座標系（ＸＹＺ）における第２の視点の位置を特定することが可能となる。なお、上記の算出方法では、ｚとＺの関係を求めていないが、第１の設置位置１３２と第２の設置位置１３３とが水平面内における位置の違いである場合、ｚ＝Ｚであるので、上記の方法で問題は生じない。

（相互標定）
相互標定は、画像中の６点以上の対応点により、第１の視点から見た測定対象物を記述する第１の座標系と、第２の視点から見た測定対象物を記述する第２の座標系との関係を求める技術である。図８は相互標定の原理を説明する概念図である。ここでは、第１の視点からの撮影（左側のカメラによる撮影）によって得られる画像の座標系（第１の座標系）と、第２の視点からの撮影（右側のカメラによる撮影）によって得られる画像の座標系（第２の座標系）との関係を求める場合を例に上げ、相互標定の手順について説明する。相互標定では、以下の共面条件式により各パラメータを求める。

図８に示すように、モデル座標系の原点を左側の投影中心Ｏ_１にとり、右側の投影中心Ｏ_２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要はない。このような条件にすると、数５の共面条件式は数６式のようになり、この式を解けば各パラメータが求まる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（１）初期近似値は通常０とする。
（２）数６の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数７、数８式により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（２）〜（５）までの操作を収束するまで繰り返す。

上述した方法で未知パラメータを求めることで、第１の座標系（Ｘ_１、Ｙ_１、Ｚ_１）と第２の座標系（Ｘ_２、Ｙ_２、Ｚ_２）との対応関係が求まる。そして、この対応関係が算出されることで、第１の座標系における第２の視点の位置を特定することが可能となる。また、相互標定でモデル空間（ローカル空間）を作成した後、絶対標定を用いて地上座標系（絶対座標系）に変換することで、地上座標系上で第２の視点の位置を記述することができる。

（絶対標定）
絶対標定は、モデル座標系を地上座標系（絶対座標系）に変換する方法である。絶対標定を用いた場合、第１の座標系を地上座標系に関連付け、他方で第２の座標系を地上座標系に関連付け、地上座標系を介して第１の座標系と第２の座標系の対応関係が取得される。まず、モデル座標系（ＸＭ、ＹＭ、ＺＭ）を地上座標系（Ｘ、Ｙ、Ｚ）に変換する。ここで、縮尺をｓ、３軸回りの回転をω、φ、κ、平行移動量を（Ｘ０、Ｙ０、Ｚ０）とすると、数９の関係式が得られる。

次に、ω、φが小さいとして、未知変量（ｓ、ω、φ、κ、Ｘ０、Ｙ０、Ｚ０）を求める。まず、ヘルマート変換により平面座標の調整を行う。平面座標に限定すると、下記数１０が成り立つ。なお、下記数１０において、cosκ=（a／ｓ）、sinκ＝（−ｂ／ｓ）である。

上記数１０において、最小二乗法により、係数ａ、ｂ、Ｘ０、Ｙ０を決定する。次に、縮尺の統一を行う。この場合、下記数１１が成り立つ。

次に、高さの調整を行う。この場合、下記数１２が成り立つ。

数１２において、最小二乗法により、ω、φ、Ｚ０を求める。そして求めた未知変量を用いて、モデル座標を下記数１３により修正する。

以上の処理を未知変量が収束するまで繰り返し、モデル座標系（ＸＭ、ＹＭ、ＺＭ）と地上座標系（Ｘ、Ｙ，Ｚ）との対応関係を求める。そして、モデル座標系として第１の視点からの第１の座標系と第２の視点からの第２の座標系を選択することで、地上座標系を介した第１の座標系と第２の座標系との対応関係が明らかになる。あるいは、２つ視点からの画像や２つの視点からの三次元点群位置データを共通の座標である地上座標系で取り扱うことができる。絶対標定を用いる場合、理論的には、３点の対応点を指定することで、標定が行われるが、例えば同じ高さ位置で異なる２つ視点からの座標系を問題とする場合のように、座標系を変えても一つの軸上の位置が同じであるので、標定に必要な対応点は２点であればよい。

（ステレオマッチング）
ステレオマッチング法は、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。ステレオマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求まり、対応点の自動抽出が可能となる。図９は、ステレオマッチングの原理を説明する原理図である。この方法では、図示するように、Ｎ_１×Ｎ_１画素のテンプレート画像を、それよりも大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下記数１４で示される相互相関関数Ｃ(a,b)が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。

ステレオマッチングを用いることで、比較する２つの画像の座標系の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる（特徴のない部分を比べても相関関係は決まり難い）。したがって、スレレオマッチングを用いることで、２つの画像の対応点の抽出が可能となる。すなわち、ステレオマッチングを用いた場合、対応点をマニュアルで指定しなくても、異なる２つ視点から得た画像データに基づいた対応点の検出（自動検出）が行える。ただし、２つの視点の位置および対象物の関係から上手く演算できない場合もある。

（三次元モデル形成部）
以下、図１の三次元モデル形成部１１９の機能について説明する。図３には、三次元モデル形成部１１９のブロック図が示されている。三次元モデル形成部１１９は、非面領域除去部２０１、面ラベリング部２０２、輪郭線算出部２０３を備えている。以下、これら各機能部について説明する。非面領域除去部２０１は、局所領域を取得する局所領域取得部２０１ａ、局所領域の法線ベクトルを算出する法線ベクトル算出部２０１ｂ、局所領域の局所曲率を算出する局所曲率算出部２０１ｃ、局所領域にフィッティングする局所平面を算出する局所平面算出部２０１ｄを備えている。

局所領域取得部２０１ａは、三次元点群位置データに基づき、注目点を中心とした一辺が３〜７画素程度の正方領域（格子状の領域）を局所領域として取得する。法線ベクトル算出部２０１ｂは、局所領域取得部２０１ａが取得した上記の局所領域における各点の法線ベクトルの算出を行う。この法線ベクトルを算出する処理では、局所領域における三次元点群位置データに着目し、各点の法線ベクトルを算出する。この処理は、全ての三次元点群位置データを対象として行われる。すなわち、三次元点群位置データが無数の局所領域に区分けされ、各局所領域において各点の法線ベクトルの算出が行われる。

局所曲率算出部２０１ｃは、上述した局所領域内の法線ベクトルのバラツキ（局所曲率）を算出する。ここでは、着目している局所領域において、各法線ベクトルの３軸成分の強度値（NVx, NVy, NVz）の平均（mNVx,mNVy,mNVz）を求め、さらに標準偏差（StdNVx,StdNVy,StdNVz）を求める。次に、標準偏差の二乗和の平方根を局所曲率（Local Curveture:crv）として算出する（下記数１５参照）。

局所平面算出部２０１ｄは、局所領域にフィッティング（近似）する局所平面を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。具体的には、複数の異なる平面方程式を求め、更にそれらを比較し、当該局所領域にフィッティングする局所平面の面の方程式を算出する。仮に、着目している局所領域が平面であれば、局所平面と局所領域とは一致する。以上の処理を、局所領域を順次ずらしながら、全ての三次元点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。

次に、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面（平面および曲面）を抽出するために、予め面でないと判断できる部分（非面領域）を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の（１）〜（３）の閾値によっては曲率の高い曲面を含む場合がある。

非面領域除去の処理は、以下に示す３つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の（１）〜（３）の方法による判定を上述した局所領域の全てに対して行い、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る三次元点群位置データを除去する。

（１）局所曲率の高い部分：上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面（平面および曲率の小さい曲面）ではその値が小さく、面以外（非面）ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。

（２）局所平面のフィッティング精度：局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。

（３）共平面性のチェック：ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる２つの局所領域のそれぞれにフィッティングする２つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が０であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、２つの局所平面が同一面上にない程度がより顕著であると判定される。

上記の（１）〜（３）の方法による判定において、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る三次元点群位置データを算出対象としている三次元点群位置データから除去する。以上のようにして、非面領域の除去が行われる。こうして、三次元点群位置データの中から非面領域の三次元点群位置データが非面領域除去部２０１において除去される。なお、除去された三次元点群位置データは、後の処理で利用する可能性があるので、適当な記憶領域に格納するなり、除去されなかった三次元点群位置データと識別できる状態とするなどして、後で利用できる状態にしておく。

次に面ラベリング部２０２の機能について説明する。面ラベリング部２０２は、非面領域除去部２０１において非面領域の三次元点群位置データが除去された三次元点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの３軸成分の標準偏差を用いて、ラベル（面）が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。

続いて、面積の小さいラベル（面）をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数（ラベルを構成する点の数）を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面（最も近い面）と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。

すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル（面）がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。

次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。以上が面ラベリング部２０２の機能である。

この面ラベリング部２０２の機能によれば、扱うデータ量を圧縮できるので、三次元点群位置データの処理を高速化できる。また必要なメモリ量を節約できる。また、測定中に紛れ込んだ通行人や通過した車両の三次元点群位置データをノイズとして除去することができる。

輪郭線算出部２０３は、隣接する面の三次元点群位置データに基づき、輪郭線を算出（推定）する。以下、具体的な算出方法について説明する。輪郭線算出部２０３は、間に非面領域を挟む隣接する面同士の交線を求め、それを輪郭線とする処理を行う。この際、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、非面領域を複数の局所平面によって近似する方法を採用することもできる。これは、複数の局所平面により構成される多面体で非面領域を近似したものと捉えることができる。この場合、隣接する面から局所平面をつないでゆき、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。

次に、二次元エッジ算出部２０４について説明する。以下、二次元エッジ算出部２０４で行われる処理の一例を説明する。まず、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化（区分け）された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、二次元エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ（ｚ値）と、その近傍の輪郭線（三次元エッジ）を構成する点の三次元座標の高さ（ｚ値）とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。

二次元エッジの算出後、輪郭線算出部２０３が算出した輪郭線と二次元エッジ算出部２０４が算出した二次元エッジとを統合する。これにより、三次元点群位置データに基づくエッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する線が抽出される。これにより、測定対象物の三次元モデル（線図の画像）が得られる。

具体的な例として、例えば、測定対象物として建物を選択し、この建物の三次元点群位置データに基づいて、三次元モデルを得た場合を説明する。この場合、当該建物の外観、外壁の模様、窓等の輪郭を線図で表した三次元モデルが得られる。なお、窓のような比較的凹凸の少ない部分の輪郭は、閾値の判定により、輪郭線として処理される場合もあるし、二次元エッジとして処理される場合もある。

座標演算部１１７において、第１の視点から測定対象物を見た場合の座標上における第２の視点の位置が算出されている場合、第１の視点において取得された三次元点群位置データに基づく三次元モデルを第２の視点から見た向きに回転させることができる。また、この状態において、新たに第２の視点において測定対象物の三次元点群位置データを取得すると、これら２つの視点において得られた三次元点群位置データを統合的に取り扱うことが可能となり、２つの視点から得た三次元点群位置データに基づく三次元モデルが得られる。この場合、同じ座標位置で三次元点群位置データが重複する部分は、いずれか一方の視点から得られた三次元点群位置データに基づいて、上述した処理が行われる。そして、一方の視点からはオクルージョンとなり、他方の視点からはオクルージョンとならない部分は、他方の視点から得た三次元点群位置データを利用して上述した処理が行われる。よって例えば、第１の視点からはオクルージョンとなる部分の三次元点群位置データを、第２の視点から得た三次元点群位置データによって補完した三次元モデルを形成することができる。

（動作例１）
以下、図２の状況を一例として挙げ、図１に示す点群位置データ処理装置１００の動作の一例を説明する。図４（Ａ）には、第１の設置位置１３２（第１の視点）において、測定対象物の三次元点群位置データと画像撮影による画像データとを取得し、次いで画像第２の設置位置１３３（第２の視点）にレーザースキャナ１３１を設置し、そこで撮影を行うことによる画像データを取得した状態におけるパーソナルコンピュータ１３０の液晶ディスプレイ上における画面表示の一例が示されている。

図４には、パーソナルコンピュータ１３０の液晶ディスプレイ上に左右に並んで２つの画面が表示されたＧＵＩ画面の様子が示されている。図４（Ａ）には、左側に第１の設置位置１３２において取得した三次元点群位置データに基づく、第１の設置位置１３２から見た測定対象物の三次元モデル（線図）が表示され、右側に第２の設置位置１３３から撮影した画像（Live画像）が表示された画面の様子が示されている。

図４（Ａ）に示すようにこのＧＵＩ画面上には、ＧＵＩのスイッチとして機能する表示ボタンが複数表示されている。ここで、「共通領域指定」と表示された表示ボタンをクリックし、更に左側の三次元モデルが表示された画面上でラベリングされている面の中から、左右の画像中の共通の領域と判断される部分を、マウス等のポインティングデバイスを用いてマニュアルで指定すると、その旨が共通領域指定部１１３で認識される。そして、この指定された内容に基づく表示を行うための指示データが共通領域指定部１１３から表示制御部１２０に送られ、ユーザによって操作された内容を反映した画像表示が、画像表示装置１０４において行われる。この様子が図４（Ｂ）に示されている。図４（Ｂ）には、ユーザが左側の三次元モデル図と右側のLive画像とを比較し、左側の三次元モデル図中で共通領域と判断される複数の面を指定した場合に、その部分が斜線で強調表示された状態が示されている。

図４（Ｂ）に示す共通領域の指定が行われた後、「対応点算出」の表示をクリックすると、図４（Ｂ）において強調表示されている共通領域の中で対応点に適した（つまり、２つの画像の対応する部分として取り扱うのに適した）点である対応点候補が算出され、それが視認し易い状態で表示される。この状態が図４（Ｃ）に示されている。図４（Ｃ）には、○で示された８点の対応点候補が表示されている例が示されている。

対応点候補の算出は、三次元モデル形成部１１９における演算を利用して行われる。以下、この点について説明する。三次元モデル形成部１１９では、非面としてエッジ部分のような局所的に曲率が大きく変化している部分等の隣接する部分との非一様な状態が顕著な部分が算出される。対応点は、標定を行う際の足がかりとなる点であるから、付近から区別し易い点（この意味で特徴点と称される）であることが好ましい。この要件は、非面領域の特徴そのものである。したがって、三次元モデル形成部１１９で取り扱われた局所曲率、局所平面のフィッティング精度、共平面性の中の一または複数に閾値を設け、この閾値に基づいて、対応点の候補とするのに適切な点が算出される。この処理は、対応点検出部１１６において行われる。

図４（Ｃ）に示す対応点候補の表示が行われた状態で、ユーザは、右側のLive画面（第２の設置位置１３３からの撮影画像）上で、対応する画像中の位置をマウス等のポインティングデバイスを利用して指定する。この操作内容が対応点受け付け部１１４によって受け付けられ、その指定された点が右側のLive画像中に表示される。この状態が図５（Ａ）に示されている。この例では、対応点として４点を指定する場合の例が示されている。

次いで、「対応点決定」の表示がクリックされると、図５（Ｂ）に示すように、第１の設置位置１３２から得た画面の左側に表示された三次元モデル表示上での対応点の位置と、第２の設置位置１３３から得た画面の右側に表示されたLive画像上における対応点の位置とが決定される。この後、「座標統合処理」の表示部分をクリックすると、選択された対応点に基づく演算（例えば、３点の対応点の指定によって標定が可能な絶対標定や４点の対応点の指定によって標定が可能な単写真標定の演算）が行われ、第１の設置位置１３２から得た三次元点群位置データを取り扱うための第１の座標系と、第２の設置位置１３３から得る三次元点群位置データを取り扱うための第２の座標系との対応関係を算出する処理が座標演算部１１７において行われる。そして、この対応関係に基づいて、三次元位置算出部１１８において、第１の設置位置１３２から測定対象物を見た場合に用いられる座標系における第２の視点の位置が算出され、その座標値が求められる。

図４および図５では、第１の設置位置１３２（第１の視点）から得た三次元点群位置データに基づく測定対象物の三次元モデルを表示（左側の画面）する例が示されているが、ここに第１の設置位置１３２（第１の視点）から撮影した撮影画像あるいは三次元点群位置データに基づく画像（画素を三次元点群位置データが持つ反射光の強度情報により構成した画像）を表示してもよい。この段階では、第１の設置位置１３２からの三次元点群位置データと撮影画像とは対応関係が明確になっているので、図４、図５に関連して説明した共通領域の指定や対応点の指定およびそれに係る処理を、第１の視点からの撮影画像上で行うことが可能である。

また、対応点候補を算出により検出せずにユーザが指定する形態も可能である。この場合、ユーザが特徴点となる部分をディスプレイ上において目視で判断し、それを指定する形態となる。また、動作例１において、第２の設置位置１３３から見た画像中における対応点が指定された際に、その部分およびその周辺の三次元点群位置データを取得し、それを標定に用いても良い。この場合、部分的な三次元点群位置データの取得となるので、測定作業およびその処理に係る負担の増加を全体の三次元点群位置データを取得する場合に比較して抑えることができる。

（動作例２）
以下、上述した「動作１」と重複する部分があるが、２つの視点から見た座標系の関係を算出し、それに基づき第１の視点から見た座標系上の第２の視点の位置を求める処理の一例を説明する。図６には、この処理の流れの一例が示されている。処理が開始されると（ステップＳ６０１）、まず第１の設置位置１３２（第１の視点）にレーザースキャナ１３１を設置し（ステップＳ６０２）、そこで測定対象物を撮影し画像データを取得し、更に三次元点群位置データの取得を行う（ステップＳ６０３）。次いで、レーザースキャナ１３１を第２の設置位置１３３（第２の視点）に移動させ（ステップＳ６０４）、そこで上記と同じ測定対象物を撮影し、その撮影画像をパーソナルコンピュータ１３０のディスプレイ上に表示する（ステップＳ６０５）。次いで、第１の設置位置１３２において取得した三次元点群位置データに基づいて、測定対象物の三次元モデルを形成し、更にそれをパーソナルコンピュータ１３０のディスプレイ上に表示する（ステップＳ６０６）。この状態の一例が図４（Ａ）に示されている。

次に、ユーザによる共通領域の指定が行われたか否か、が判定され（ステップＳ６０７）、共通領域が指定された場合、それをパーソナルコンピュータ１３０のディスプレイ上に表示する表示する。但し、マニュアルにて対応点を指定する場合は、必ずしも共通領域指定せずともそれら領域が表示部に表示されていればいい。この状態の一例が図４（Ｂ）に示されている。また、第１の設置位置１３２において得られた三次元点群位置データに基づき、対応点（特徴点）を演算により検出する（ステップＳ６０８）。この対応点（特徴点）の検出は、対応点検出部１１６において行われるもので、三次元モデル形成部１１９で取り扱われた局所曲率、局所平面のフィッティング精度、共平面性の中の一または複数に閾値を設け、この閾値に基づいて特徴点を算出することで行われる。そして、検出した対応点をパーソナルコンピュータ１３０のディスプレイ上に表示する（ステップＳ６０８）。この状態の一例が図４（Ｃ）に示されている。

次に、第２の設置位置から撮影した画像中でユーザにより対応点が指定されたか否か、が判定され（ステップＳ６０９）、対応点が指定された場合、それをパーソナルコンピュータ１３０のディスプレイ上に表示する。この状態の一例が図５（Ａ）に示されている。そして、第２の設置位置１３３から撮影した画像中でユーザにより指定された対応点を中心点として、その周辺の５×５点〜２５×２５点程度の正方領域の部分の三次元点群位置データが、第２の設置位置１３３において取得される（ステップＳ６１０）。次いで、この第２の設置位置１３３において取得された三次元点群位置データに基づいて特徴点の算出が行われ、それが第２の設置位置１３３から見た対応点とされる（ステップＳ６１１）。ここでは、上記取得された正方領域において、ステップＳ６０８の場合と同じ方法により、特徴点の算出が行われる。こうして、第２の設置位置１３３から見た対応点が取得される。

次いで、ステップＳ６０８において得られた第１の設置位置１３２から見た場合の対応点と、ステップＳ６１１において得られた第２の設置位置１３３から見た場合の対応点の三次元点群位置データに基づき、絶対標定を用いて２つの座標系の間の対応関係を算出する処理が行われる（ステップＳ６１２）。

ここで単写真標定を用いるのであれば、第２の設置位置１３３における三次元点群位置データの取得（ステップ６１０）は必要ではなく、第１の設置位置１３２において取得した三次元点群位置データと第２の設置位置１３３から撮影した画像の画像データに基づく標定が行われる。また、相互標定であれば、第１の設置位置１３２において得た画像データと第２の設置位置１３３において得た画像データに基づく標定が行われる。またこれらの対応点の位置自動検出にステレオマッチングを用いて対応関係を算出することができる。

ステップＳ６１２の対応関係の算出において、演算にリトライが繰り返される、演算に遅延が見られる、エラーが生じた場合、といった問題が生じたと判定される場合は、対応関係の算出に問題ありと判定され（ステップＳ６１３）、その旨がユーザに画像表示等により報知される。この場合、ステップＳ６０４の前段階に戻り、第２の設置位置１３３の選定がやり直され、ステップＳ６０４以下の処理が再度実行される。そして、対応関係の算出が終了したら、その結果に基づき、第１の設置位置において得た三次元点群位置データの座標系における第２の設置位置１３３の三次元座標の値を算出し（ステップＳ６１４）、処理を終了する（ステップＳ６１５）。

上記の処理によれば、対応点を確実に特徴点とすることができ、また両視点からの対応点の対応性がより正確となる。すなわち、第１の設置位置１３２から見た場合の対応点の指定は、第１の設置位置１３２から得られた三次元点群位置データに基づき、特徴点となる部分が演算により求められることで行われている（この点で特徴点の指定が確実に行われている）。

他方で、第２の設置位置１３３から見た場合の対応点の特定は、以下の段階を踏んで行われる。すなわち、（１）まず画面表示された第１の設置位置１３２から見た場合の対応点の表示に基づく、ユーザのマニュアル操作による対応点の仮指定、（２）このユーザによって仮指定された点の付近における三次元点群位置データの再取得、（３）この再取得された三次元点群位置データに基づく演算による当該付近における特徴点の算出、が行われる。したがって、マニュアル操作による第２の設置位置１３３から見た場合の対応点の位置の指定に誤差があっても、その付近における特徴点の算出が再度行われ、それに基づいて対応点が特定されるので、第２の設置位置１３３においても、第１の設置位置１３２において指定された対応点（特徴点）が、高い精度で取得できる。但し、上記（２）（３）の処理は、その対応点の指定が確実に行われれば必要ない。あるいは、仮指定であっても後処理によって正確な位置に補正する場合は必要ない。また、ステレオマッチングを行えば、自動での対応点検出、指定が可能である。

以上の理由により、第２の設置位置１３３から見た場合の対応点を、単にマニュアル操作のみで指定した場合に比較して、より精度の高い両座標系間における対応点の設定が可能となる。そして、両座標系間における対応点の設定の精度が高くなることで、両座標系間の対応関係の算出における演算処理の効率を高めることができる。なおここで説明した方法では、両座標系間の対応関係の算出の前に第２の設置位置１３３からの三次元点群位置データの取得が必要となるが、この際における第２の設置位置１３３からの三次元点群位置データの取得は、部分的なものであるので、処理時間の増加は最低限に抑えることができる。

（動作例３）
以下、三次元モデルの形成および表示に係る動作の一例を説明する。まず、第１の設置位置１３２おいて、測定対象物１３４〜１３６の撮影および測定対象物１３４〜１３６の三次元点群位置データ（正確にいうと、オクルージョンが発生するので、測定対象物１３６の三次元点群位置データは取得できない）の取得を行い、第１の設置位置１３２から見た向きの測定対象物の三次元モデルを形成する（図７（Ａ）参照）。

次に、レーザースキャナ１３１を第２の設置位置１３３に移動させ、測定対象物１３４〜１３６の画像を撮影する。そして、第１の設置位置１３２において取得した三次元点群位置データ（第１の三次元点群位置データ）と第２の設置位置１３３において取得した画像データとの対応関係を「単写真標定」を利用して算出する。

次に、第１の設置位置１３２から測定対象物を見た場合の座標系（既に得ている第１の三次元点群位置データの座標系）における第２の設置位置１３３の座標位置の算出を行う。そしてこの算出の結果に基づき、第２の設置位置１３３の視点から見た三次元モデルの表示を行うための演算を行う。つまり、第１の設置位置１３２から見た向きの三次元モデルを、第２の設置位置１３３から見た向きの三次元モデルに座標変換する。この処理は、第１の設置位置１３２から見た向きの座標系における第２の設置位置１３３の座標、およびこの座標系における第２の設置位置１３３に設置したレーザースキャナ１３１の向きに基づいて数学的な演算により行うことができる。この処理により、視点の位置が変わり、三次元モデルが回転する。こうして、第１の設置位置１３２において取得した三次元点群位置データに基づく三次元モデルを、第２の設置位置１３３の視点から見た状態を得る（図７（Ｂ）参照）。

図７（Ｂ）の状態では、第１の設置位置１３２からはオクルージョンとなる符号１３４ａの部分のデータが欠落し、その部分が影として強調されている。またこの際、第１の設置位置１３２からはオクルージョンとなって見えない測定対象物１３６は表示されない。

次いで、第２の設置位置１３３において測定対象物１３４〜１３６の三次元点群位置データ（第２の三次元点群位置データ）を取得する。この後、上述した第１の設置位置１３２から測定対象物を見た場合の座標系における第２の設置位置１３３の座標位置に基づき、第１の三次元点群位置データと第２の三次元点群位置データとを統合的に取り扱い、第１の三次元点群位置データと第２の三次元点群位置データとに基づく三次元モデルを形成する。この三次元モデルを画面上に表示した場合の一例が図７（Ｃ）に示されている。この場合、図２の測定対象物１３６が見える第２の設置位置１３３において得た三次元点群位置データも利用されて三次元モデルが形成されるので、測定対象物１３６はオクルージョン部分とならない。また、図２（Ａ）の視点に当該三次元モデルを回転させた場合に、第１の設置位置１３２おいて得られた三次元点群位置データに基づく三次元モデル部分が見えるので、第２の設置位置１３３から死角となる部分がオクルージョンとならず、表示される。

（動作例４）
図１の点群位置データ処理装置１００の内部で扱われる座標のデータをＧＰＳ装置１０３によって得られる経度緯度に関する座標データと関連付けることで、三次元モデルの座標や三次元点群位置データを得るための視点に係る位置データを地図データと関連付けることができる。これにより、例えばパーソナルコンピュータ上に表示された地図データ上に視点の位置を表示するといった機能が可能となる。

（その他）
図１の点群位置データ処理装置１００が備える複数の機能を分散させた構成も可能である。例えば、三次元モデル形成部１１９や座標演算部１１７の機能を通信回線で結ばれた別のコンピュータやサーバで行い、点群データ処理装置１００と同様の機能を有する点群位置データ処理システムを構成することもできる。また、点群位置データ処理装置１００の一部の機能をレーザースキャナ側に持たせ、このレーザースキャナと組み合わせたシステムとして本発明を実施することも可能である。

（第１の実施形態の優位性）
以上説明した実施形態によれば、第１の視点において測定対象物の三次元点群位置データを取得後に、第２の視点にレーザースキャン装置を移動させ、そこでの三次元点群位置データの本格的な取得の前に、撮影によって得た画像データに基づいて、新たな視点（第２の視点）の位置を、第１の視点から測定対象物を見た場合に用いる座標系上で特定する。この特定した結果を利用することで、第１の視点において得られた三次元点群座標データに基づく三次元モデルを第２の視点から見た向きに変えることができる。すなわち、第１の視点において得られた三次元点群座標データを第２の視点から測定対象物を見た場合の座標系で扱えるように座標変換を行うことが可能となるので、第１の視点において得られた三次元点群座標データに基づく三次元モデルを第２の視点から見た向きに回転させることができる。

また、第１の視点で用いる座標系における第２の視点の位置を算出することで、その後に第２の視点において得られる三次元点群位置データと、先に取得されている第１の視点からの三次元点群位置データとの対応関係を知ることができる。すなわち、第２の視点は、第２の視点から得られる三次元点群位置データの原点である。よって、この原点の位置を第１の視点で用いた座標上で求めておくことで、第１の視点で得た三次元点群位置データと第２の視点で得た三次元点群位置データの改めての位置合わせが不要となる（あるいは、概略の対応関係が与えられるので、位置合わせに要する負担が軽減される）。このため、２つの三次元点群位置データ同士を比較することで、位置合わせを行う場合に比較して、２つの点群位置データを統合的に取り扱うために要する処理を飛躍的に効率化（短縮化）できる。

また、第１の視点で用いる座標系における第２の視点の位置を求める処理は、第２の視点における測定対象物全体の三次元点群位置データの取得を前提としないので、第２の視点における測定対象物全体の三次元点群位置データの取得を行った後で、第２の視点が不適切であったことが判明した場合のような、膨大な処理が無駄になる問題の発生を避けることができる。つまり、第１の視点から測定対象物を見た場合の座標系における第２の視点の座標位置の特定がうまくできない場合（例えば、演算のリトライが繰り返される場合）や、オクルージョンの解消が不十分である等の理由に起因して、第２の視点が妥当でない場合における第２の視点の変更を簡単に行うことができる。このため、膨大な手間や時間を費やした測定作業や処理が無駄になる不都合を回避できる。

なお、図５に示す対応点の指定において、その操作がマウス等を用いたポインティングデバイスを用いたマニュアル操作であるので、対応点の指定位置に誤差が含まれる場合も有りうる。しかしながら、精度に問題があっても２つの三次元点群位置データを統合的に扱う際の概略の初期値を与えることができるので、数万点〜数億点となる第２の視点からの測定対象物全体の三次元点群位置データを取得した後に、両三次元点群位置データに基づいてそれらを統合的に取り扱うための処理を行う場合に比較して、処理を飛躍的に効率化（短縮化）できる。

２．第２の実施形態
以下、三次元レーザースキャナを備えた点群位置データ処理装置について説明する。この例において、点群位置データ処理装置は、測定対象物に対して測距光（レーザー光）を走査しつつ照射し、レーザー光の飛行時間に基づいて自身の位置から測定対象物上の多数の測定点までの距離を測距する。また、点群位置データ処理装置は、レーザー光の照射方向（水平角および高低角）を検出し、距離および照射方向に基づいて測定点の三次元座標を演算する。また、点群位置データ処理装置は、測定対象物を撮影した二次元画像（各測定点におけるＲＧＢ強度）を取得し、二次元画像と三次元座標とを結び付けた三次元点群位置データを形成する。さらに、ここで示す点群位置データ処理装置は、図１に関連して説明した点群位置データ処理装置１００の処理を行う機能を有している。

（構成）
図１０および図１１は、三次元レーザースキャナ機能を備えた点群位置データ処理装置１の構成を示す断面図である。点群位置データ処理装置１は、整準部２２、回転機構部２３、本体部２７、および回転照射部２８を備えている。本体部２７は、測距部２４、撮影部２５、制御部２６等から構成されている。なお、図１１は、説明の便宜のため、図１０に示す断面方向に対して、回転照射部２８のみ側方から見た状態を示している。

整準部２２は、台盤２９を有し、回転機構部２３は下部ケーシング３０を有する。下部ケーシング３０は、ピン３１と２個の調整ネジ３２とにより３点で台盤２９に支持されている。下部ケーシング３０は、ピン３１の先端を支点にして傾動する。なお、台盤２９と下部ケーシング３０との間には、台盤２９と下部ケーシング３０とが互いに離反しないようにするため、引っ張りスプリング３３が設けられている。

下部ケーシング３０の内部には、２個の整準モータ３４が設けられている。２個の整準モータ３４は、制御部２６によって互いに独立して駆動される。整準モータ３４の駆動により整準駆動ギア３５、整準従動ギア３６を介して調整ネジ３２が回転し、調整ネジ３２の下方への突出量が調整される。また、下部ケーシング３０の内部には傾斜センサ３７（図１２参照）が設けられている。２個の整準モータ３４は、傾斜センサ３７の検出信号により駆動され、これにより整準が実行される。

回転機構部２３は、下部ケーシング３０の内部に水平角用駆動モータ３８を有する。水平角用駆動モータ３８の出力軸には水平回動駆動ギア３９が嵌着されている。水平回動駆動ギア３９は、水平回動ギア４０に噛合されている。水平回動ギア４０は、回転軸部４１に設けられている。回転軸部４１は、回転基盤４２の中央部に設けられている。回転基盤４２は、下部ケーシング３０の上部に、軸受け部材４３を介して設けられている。

また、回転軸部４１には水平角検出器４４として、例えばエンコーダが設けられている。水平角検出器４４は、下部ケーシング３０に対する回転軸部４１の相対的回転角（水平角）を検出する。水平角は制御部２６に入力され、制御部２６は、その検出結果に基づき水平角用駆動モータ３８を制御する。

本体部２７は、本体部ケーシング４５を有する。本体部ケーシング４５は、回転基盤４２に固着されている。本体部ケーシング４５の内部には鏡筒４６が設けられている。鏡筒４６は、本体部ケーシング４５の回転中心と同心の回転中心を有する。鏡筒４６の回転中心は、光軸４７に合致されている。鏡筒４６の内部には、光束分離手段としてのビームスプリッタ４８が設けられている。ビームスプリッタ４８は、可視光を透過し、かつ、赤外光を反射する機能を有する。光軸４７は、ビームスプリッタ４８によって光軸４９と光軸５０とに分離される。

測距部２４は、鏡筒４６の外周部に設けられている。測距部２４は、発光部としてのパルスレーザ光源５１を有する。パルスレーザ光源５１とビームスプリッタ４８との間には、穴あきミラー５２、レーザー光のビームウエスト径を変更するビームウエスト変更光学系５３が配設されている。測距光源部は、パルスレーザ光源５１、ビームウエスト変更光学系５３、穴あきミラー５２で構成されている。穴あきミラー５２は、パルスレーザ光を穴部５２ａからビームスプリッタ４８に導き、測定対象物から反射して戻って来た反射レーザー光を測距受光部５４に向けて反射する役割を有する。

パルスレーザ光源５１は、制御部２６の制御により所定のタイミングで赤外パルスレーザ光を発する。赤外パルスレーザ光は、ビームスプリッタ４８によって高低角用回動ミラー５５に向けて反射される。高低角用回動ミラー５５は、赤外パルスレーザ光を測定対象物に向けて反射する。高低角用回動ミラー５５は、高低角方向に回転することで、鉛直方向に延びる光軸４７を高低角方向の投光光軸５６に変換する。ビームスプリッタ４８と高低角用回動ミラー５５との間でかつ鏡筒４６の内部には集光レンズ５７が配設されている。

測定対象物からの反射レーザー光は、高低角回動用ミラー５５、集光レンズ５７、ビームスプリッタ４８、穴あきミラー５２を経て測距受光部５４に導かれる。また、測距受光部５４には、内部参照光路を通って参照光も導かれる。反射レーザー光が測距受光部５４で受光されるまでの時間と、レーザー光が内部参照光路を通って測距受光部５４で受光されるまでの時間との差に基づき、点群位置データ処理装置１から測定対象物（測定対象点）までの距離が測定される。測距受光部５４は、ＣＭＯＳ光センサ等の光電変化素子により構成され、検出した光のＲＧＢ強度を検出する機能も有している。

撮影部２５は、画像受光部５８を備え、図１の画像取得装置１０２に対応するカメラとして機能する。画像受光部５８は、鏡筒４６の底部に設けられている。画像受光部５８は、多数の画素が平面状に集合して配列されたもの、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。画像受光部５８の各画素の位置は光軸５０によって特定される。例えば、光軸５０を原点として、Ｘ−Ｙ座標を想定し、このＸ−Ｙ座標の点として画素が定義される。

回転照射部２８は、投光ケーシング５９の内部に収納されている。投光ケーシング５９の周壁の一部は、投光窓となっている。図１１に示すように、鏡筒４６のフランジ部６０には、一対のミラーホルダー板６１が対向して設けられている。ミラーホルダー板６１には、回動軸６２が掛け渡されている。高低角用回動ミラー５５は、回動軸６２に固定されている。回動軸６２の一端部には高低角ギア６３が嵌着されている。回動軸６２の他端側には高低角検出器６４が設けられている。高低角検出器６４は、高低角用回動ミラー５５の回動角を検出し、その検出結果を制御部２６に出力する。

ミラーホルダー板６１の一方には、高低角用駆動モータ６５が取り付けられている。高低角用駆動モータ６５の出力軸には駆動ギア６６が嵌着されている。駆動ギア６６は、回転軸６２に取り付けられた高低角ギア６３に噛合されている。高低角用駆動モータ６５は、高低角検出器６４の検出結果に基づき、制御部２６の制御により適宜駆動される。

投光ケーシング５９の上部には、照星照門６７が設けられている。照星照門６７は、測定対象物を概略視準するのに用いられる。照星照門６７を用いた視準方向は、投光光軸５６の延びる方向、および回動軸６２の延びる方向に対して直交する方向とされている。また、図１１に示すように、投光ケーシング５９の上部には、ＧＰＳアンテナ８１が配置されている。ＧＰＳアンテナにより、ＧＰＳ情報が取得され、内部で行われる演算にＧＰＳ情報を利用することができる構成とされている。

図１２は、制御部のブロック図である。制御部２６には、水平角検出器４４、高低角検出器６４、傾斜センサ３７、ＧＰＳアンテナ８１からの検出信号が入力される。また、制御部２６は、操作部６から操作指示信号が入力される。制御部２６は、水平角用駆動モータ３８、高低角用駆動モータ６５、整準モータ３４を駆動制御する共に、作業状況、測定結果等を表示する表示部７を制御する。制御部２６には、メモリカード、ＨＤＤ等の外部記憶装置６８が着脱可能とされている。

制御部２６は、演算部４、記憶部５、水平駆動部６９、高低駆動部７０、整準駆動部７１、距離データ処理部７２、画像データ処理部７３等から構成されている。記憶部５は、測距や高低角と水平角の検出を行うために必要なシーケンスプログラム、演算プログラム、測定データの処理を実行する測定データ処理プログラム、画像処理を行う画像処理プログラム、三次元点群位置データから面を抽出し、更に輪郭線を算出するプログラム、この算出した輪郭線を表示部７に表示させるための画像表示プログラム、三次元点群位置データの再取得に係る処理を制御するプログラム等の各種のプログラムを格納すると共に、これらの各種のプログラムを統合管理するための統合管理プログラム等を格納する。また、記憶部５は、測定データ、画像データ等の各種のデータを格納する。水平駆動部６９は、水平角用駆動モータ３８を駆動制御し、高低駆動部７０は、高低角用駆動モータ６５を駆動制御し、整準駆動部７１は、整準モータ３４を駆動制御する。距離データ処理部７２は、測距部２４によって得られた距離データを処理し、画像データ処理部７３は、撮影部２５により得られた画像データを処理する。

また、制御部２６は、ＧＰＳ受信部８２を備えている。ＧＰＳ受信部８２は、ＧＰＳアンテナが受信したＧＰＳ衛星からの信号を処理し、地球上における座標データを算出する。これは、通常のＧＰＳ受信装置と同じである。ＧＰＳから得られた位置情報は、点群位置データ処理部１００’に入力される。

図１３は、演算部４のブロック図である。演算部４は、三次元座標演算部７４、リンク形成部７５、グリッド形成部９、点群位置データ処理部１００’を備えている。三次元座標演算部７４には、距離データ処理部７２から測定対象点の距離データが入力され、水平角検出器４４および高低角検出器６４から測定対象点の方向データ（水平角および高低角）が入力される。三次元座標演算部７４は、入力された距離データと方向データとに基づき、点群位置データ処理装置１の位置を原点（０，０，０）とした各測定点の三次元座標（直交座標）を算出する。

リンク形成部７５には、画像データ処理部７３から画像データおよび三次元座標演算部７４が算出した各測定点の三次元座標の座標データが入力される。リンク形成部７５は、画像データ（各測定点のＲＧＢ強度）と三次元座標を結び付けた三次元点群位置データ２を形成する。つまり、リンク形成部７５は、測定対象物のある点に着目した場合、その着目点の二次元画像中における位置と、その着目点の三次元座標とを関連付けしたものを作成する。この関連付けされたデータは、全ての測定点について算出され、それらが三次元点群位置データ２となる。

リンク形成部７５は、以上の三次元点群位置データ２をグリッド形成部９に出力する。グリッド形成部９は、三次元点群位置データ２の隣接点の点間距離が一定でない場合に、等間隔のグリッド（メッシュ）を形成し、グリッドの交点に最も近い点を登録する。または、グリッド形成部９は、線形補間法やバイキュービック法を用いて、グリッドの交点位置に全点を補正する。なお、三次元点群位置データ２の点間距離が一定である場合には、グリッド形成部９の処理を省略することができる。

以下、グリッドの形成手順について説明する。図１４は、点間距離が一定でない三次元点群位置データを示す概念図であり、図１５は、形成したグリッドを示す概念図である。図１４に示すように、各列の平均水平間隔Ｈ_１〜Ｎを求め、さらに列間の平均水平間隔の差分ΔＨ_ｉ，ｊを算出し、その平均をグリッドの水平間隔ΔＨとする（数１６）。垂直方向の間隔は、各列での垂直方向の隣接点との距離ΔＶ_Ｎ，Ｈを算出し、画像サイズＷ,Ｈの画像全体におけるΔＶ_Ｎ，Ｈの平均を垂直間隔ΔＶとする（数１７）。そして、図１５に示すように、算出した水平間隔ΔＨおよび垂直間隔ΔＶのグリッドを形成する。

次に、形成したグリッドの交点に最も近い点を登録する。この際、交点から各点までの距離には所定の閾値を設けて、登録を制限する。例えば、閾値は、水平間隔ΔＨおよび垂直間隔ΔＶの１／２とする。なお、線形補間法やバイキュービック法のように、交点との距離に応じた重みを付けて全点を補正してもよい。ただし、補間を行った場合には、本来計測していない点となる。

以上のようにして得られた三次元点群位置データは、点群位置データ処理部１００’に出力される。点群位置データ処理部１００’は、第１の実施形態で説明した動作を行う。また、その動作においてユーザに提示される画像の表示（例えば、図４、図５、図７の画面表示）が液晶ディスプレイである表示部７に表示される。この点は、第１の実施形態に関係して説明した場合と同じである。点群位置データ処理部１００’は、図１の点群位置データ処理装置１００と同様の機能を有するハードウェアであり、ＦＰＧＡを利用した専用の集積回路により構成されている。

点群位置データ処理部１００’には、ＧＰＳ受信部８２から得られた地球上における座標データが入力される。この構成によれば、点群位置データ処理部１００’で取り扱われる座標がＧＰＳから得られた位置データ（例えば、電子地図情報）とリンクされる。これにより、例えば、レーザースキャナを備えた点群位置データ処理装置１の設置位置を電子地図上に画面表示することができる。

（その他）
制御部２６の構成において、グリッド形成部９から三次元点群位置データが出力される形態とすると、図１０、図１１に示す装置は、第１の実施形態で示したパーソナルコンピュータを利用した点群位置データ処理装置と組み合わせて使用可能な三次元レーザースキャナとなる。点群位置データ処理部１００’が行う処理を分散して行う構成も可能である。例えば、点群位置データ処理部１００’の機能の一部を通信回線で結ばれたサーバで行うような構成も可能である。この場合、本発明の点群位置データ処理システムの一例として把握される。

画像を取得する方法として、ＣＣＤカメラ等を用いた撮影による方法が一般的であるが、点群データに基づいて測定対象物の画像を再現することもできる。レーザースキャン装置により三次元点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、三次元点群位置データを対象物の画像を構成する画素データとして取り扱うことで、三次元点群位置データに基づいて測定対象物の画像を再現することができる。つまり、ＣＣＤやＣＭＯＳイメージセンサ等の撮影手段の代わりに、レーザースキャン装置を用いて測定対象物の画像を得ることができる。この場合、図１の画像データ取得部１１２は、点群位置データ取得装置１０１から出力される三次元点群位置データに基づき、上述した原理により画像データを取得する。

本発明は、三次元情報の測定を行う技術に利用することができる。

１…三次元レーザースキャナを備えた点群位置データ処理装置、２…三次元点群位置データ、２２…整準部、２３…回転機構部、２４…測距部、２５…撮影部、２６…制御部、２７…本体部、２８…回転照射部、２９…台盤、３０…下部ケーシング、３１…ピン、３２…調整ネジ、３３…引っ張りスプリング、３４…整準モータ、３５…整準駆動ギア、３６…整準従動ギア、３７…傾斜センサ、３８…水平回動モータ、３９…水平回動駆動ギア、４０…水平回動ギア、４１…回転軸部、４２…回転基盤、４３…軸受部材、４４…水平角検出器、４５…本体部ケーシング、４６…鏡筒、４７…光軸、４８…ビームスプリッタ、４９、５０…光軸、５１…パルスレーザ光源、５２…穴あきミラー、５３…ビームウエスト変更光学系、５４…測距受光部、５５…高低角用回動ミラー、５６…投光光軸、５７…集光レンズ、５８…画像受光部、５９…投光ケーシング、６０…フランジ部、６１…ミラーホルダー板、６２…回動軸、６３…高低角ギア、６４…高低角検出器、６５…高低角用駆動モータ、６６…駆動ギア、６７…照星照門、６８…外部記憶装置、６９…水平駆動部、７０…高低駆動部、７１…整準駆動部、７２…距離データ処理部、７３…画像データ処理部、８１…ＧＰＳアンテナ、８２…ＧＰＳ受信部、１００’…点群位置データ処理部、１３０…点群位置データ処理装置として機能するパーソナルコンピュータ、１３１…三次元レーザースキャナ、１３２…三次元レーザースキャナを設置する第１の設置位置、１３３…三次元レーザースキャナを設置する第２の設置位置、１３４、１３５、１３６…測定対象物、１３４ａ…オクルージョン部分、

Claims (16)

1. 測定対象物の三次元点群位置データを取得する点群位置データ取得部と、
   前記測定対象物の画像データを取得する画像データ取得部と、
   第１の視点から見た前記測定対象物と前記第１の視点とは異なる第２の視点から見た前記測定対象物との画像上の共通の領域における対応点を指定する対応点指定部と、
   前記第１の視点において前記点群位置データ取得部で取得された三次元点群位置データにおける前記対応点指定部で指定された対応点の三次元点群位置データと前記第２の視点において前記画像データ取得部で取得された画像データにおける前記対応点指定部で指定された対応点の画面座標値に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行う座標演算部と
   を備えることを特徴とする点群位置データ処理装置。
2. 前記第１の視点から得られた前記測定対象物の三次元点群位置データに基づき、または前記第１の視点から得られた前記測定対象物の三次元点群位置データと前記第２の視点から得られた前記測定対象物の三次元点群位置データとに基づき、前記第２の視点から見た前記測定対象物の三次元モデルを形成する三次元モデル形成部を備えることを特徴とする請求項１に記載の点群位置データ処理装置。
3. 前記三次元モデル形成部は、前記第１の視点から得られた前記測定対象物の三次元点群位置データに基づく三次元モデルである第１視点三次元モデルを形成し、
   前記第１視点三次元モデル、あるいは前記第１の視点から得られた前記測定対象物の画像である第１視点画像と前記第２の視点から得られた画像である第２視点画像とを表示すると共に、前記第１視点三次元モデル、前記第１視点画像および前記第２視点画像の少なくとも一つにおいて、前記対応点を表示する制御を行う表示制御部を備えることを特徴とする請求項２に記載の点群位置データ処理装置。
4. 前記第２視点画像において、前記対応点が指定された場合に、この指定された対応点に基づき、前記座標演算部における演算が行われることを特徴とする請求項３に記載の点群位置データ処理装置。
5. 前記第２視点画像において、前記対応点が指定された場合に、この指定された対応点に係る前記第２の視点から得られた前記測定対象物の三次元点群位置データに基づき、前記座標演算部における演算が行われることを特徴とする請求項４に記載の点群位置データ処理装置。
6. 前記対応点指定部は、ユーザにより指定された位置を前記対応点として受け付ける対応点受け付け部を備えることを特徴とする請求項１〜５のいずれか一項に記載の点群位置データ処理装置。
7. 前記対応点指定部は、前記第１の視点において得られた前記測定対象物の三次元点群位置データに基づいて前記対応点を検出する対応点検出部を備えることを特徴とする請求項１〜６のいずれか一項に記載の点群位置データ処理装置。
8. 前記対応点指定部における対応点の指定は、前記第１の視点から得られた画像と前記第２の視点から得られた画像との間で、ステレオマッチングを行うことで実行されることを特徴とする請求項１〜７のいずれか一項に記載の点群位置データ処理装置。
9. 前記対応点検出部は、前記測定対象物の特徴点となる部分を前記対応点として検出することを特徴とする請求項７または８に記載の点群位置データ処理装置。
10. 前記点群位置データ取得部は、前記対応点が指定された場合にこの指定された対応点を含む周辺部分の三次元点群位置データを前記第２の視点において取得し、
    この取得された三次元点群位置データに基づいて前記特徴点の算出が行われ、この算出に基づいて前記指定された対応点の特定が行われることを特徴とする請求項９に記載の点群位置データ処理装置。
11. 前記座標演算部は、少なくとも３点における対応関係に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行うことを特徴とする請求項１〜１０のいずれか一項に記載の点群位置データ処理装置。
12. 前記点群位置データ取得部で取得される三次元点群位置データを測定するための点群位置データ測定光学系と、
    前記画像データの基となる画像を撮影する撮影光学系と
    を備え、
    前記点群位置データ測定光学系と前記撮影光学系とは同一軸回りに回動可能とされており、
    前記座標演算部は、少なくとも２点における対応関係に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行うことを特徴とする請求項１〜１０のいずれか一項に記載の点群位置データ処理装置。
13. 前記第１の視点の位置と前記第２の視点の位置とを特定するＧＰＳ部を備え、
    前記座標演算部は、前記ＧＰＳ部で特定された前記第１の視点の位置と前記第２の視点の位置とに基づく演算を行うことを特徴とする請求項１〜１２のいずれか一項に記載の点群位置データ処理装置。
14. 第１の視点から見た前記測定対象物と前記第１の視点とは異なる第２の視点から見た前記測定対象物との画像上の共通の領域における対応点を指定する対応点指定ステップと、
    前記第１の視点において取得された三次元点群位置データにおける前記対応点指定ステップで指定された対応点の三次元点群位置データと前記第２の視点において取得された画像データにおける前記対応点指定ステップで指定された対応点の画面座標値に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行う座標演算ステップと
    を備えることを特徴とする点群位置データ処理方法。
15. 測定対象物の三次元点群位置データを取得する点群位置データ取得手段と、
    前記測定対象物の画像データを取得する画像データ取得手段と、
    第１の視点から見た前記測定対象物と前記第１の視点とは異なる第２の視点から見た前記測定対象物との画像上の共通の領域における対応点を指定する対応点指定手段と、
    前記第１の視点において前記点群位置データ取得手段で取得された三次元点群位置データにおける前記対応点指定手段で指定された対応点の三次元点群位置データと前記第２の視点において前記画像データ取得手段で取得された画像データにおける前記対応点指定手段で指定された対応点の画面座標値に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行う座標演算手段と
    を備えることを特徴とする点群位置データ処理システム。
16. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータを
    測定対象物の三次元点群位置データを取得する点群位置データ取得部と、
    前記測定対象物の画像データを取得する画像データ取得部と、
    第１の視点から見た前記測定対象物と前記第１の視点とは異なる第２の視点から見た前記測定対象物との画像上の共通の領域における対応点を指定する対応点指定部と、
    前記第１の視点において前記点群位置データ取得部で取得された三次元点群位置データにおける前記対応点指定部で指定された対応点の三次元点群位置データと前記第２の視点において前記画像データ取得部で取得された画像データにおける前記対応点指定部で指定された対応点の画面座標値に基づき、前記第１の視点における座標系に関連付けされた前記第２の視点の三次元位置を求める演算を行う座標演算部と
    して機能させることを特徴とする点群位置データ処理プログラム。

Images