JP2010170288A

JP2010170288A - ３次元モデリング装置

Info

Publication number: JP2010170288A
Application number: JP2009011517A
Authority: JP
Inventors: Fumiko Kureyama; 史子紅山; Toshio Moriya; 俊夫守屋; Yasushi Yoshimura; 康史吉村; Masaru Yokoyama; 大横山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2009-01-22
Filing date: 2009-01-22
Publication date: 2010-08-05

Abstract

【課題】3次元モデリングを容易に実現する。
【解決手段】物体までの距離を計測し、モデリング用のデータを取得する第１のセンサと、物体までの距離を計測し、平面位置推定用のデータを取得する第２のセンサと、第１のセンサの上下方向に移動させる上下移動機構と、３次元モデリング装置を移動させる移動機構と、モデリング対象場所の地図データを格納するデータベースを備える計算機と、を備える。計算機は、第２のセンタから取得したデータと地図データとを照合して第１のセンサの平面位置を推測し、上下移動機構による第１のセンサの垂直位置及び推測された第１のセンサの平面位置から第１のセンサの３次元位置を取得し、第１のセンサが取得した複数のモデリング用のデータを、取得された３次元位置に応じて統合し、３次元モデルを出力する。
【選択図】図１

Description

本発明は、3次元モデリング装置に関し、特に、複数個所で取得したセンサデータを統合する3次元モデリング装置に関する。

建造物の実際の形状を詳細に計測・把握する、As-buildモデリングのニーズが非常に高まっている。距離センサを用いて実世界の空間モデルを作成するにあたり、一つの視点からでは、見えない部分が発生してしまうため、全ての状態を把握するためには、複数位置、且つ複数の高さからの計測が必要となる。複数の場所で測定したデータから対象場所のモデルを作成するには、各個所から取得したデータを一つに統合する必要がある。

複数個所から取得したデータを統合する方法として、その周囲に配された複数のマーカと一緒にデータを取得し、マーカの対応付けにより点群データを統合するものがある。マーカを用いることにより、より少ない処理量で対象物体の形状を作成することができる（特許文献１）。また、鉛直方向にのみ移動する2つのカメラを用いて被写体を撮影し、カメラの運動を推定することにより3次元点群を取得し、２つの3次元点群から特徴点を抽出、特徴点の対応付けにより2つのデータの統合を行う方法もある（特許文献２）。

特開2002-8014号公報特開2007-271408号公報

従来の計測では、計測の必要な場所にセンサを人手で移動していた。また、計測場所の位置関係が不明であるため、複数の場所で計測したデータを同一座標系に統合するためには、位置あわせを容易にするためのランドマークを計測対象場所に設置する必要がある上、計測対象場所にランドマークを複数設置する必要がある。それは、多地点から取得した距離データを、同一座標系に統合する時に、ランドマークがあると位置あわせが容易になるためである。特に大規模施設のデータ統合時には、データ量が膨大で、ランドマークがないと対応付けが困難となる。また、確実な位置あわせを行うには、データ計測時に、異なる2箇所から取得した距離データ内に同じランドマークが複数見えていなくてはならないため、どの位置にランドマークを設置するか、事前のプランニングが必要である。このように、計測自体に手間がかかったり、事前の計画及び準備が必要であったりした。

そこで、本発明の目的は、3次元モデリングを容易に実現することにある。

本発明の望ましい態様は次のような、３次元モデリング装置である。即ち、物体までの距離を計測し、モデリング用のデータを取得する第１のセンサと、物体までの距離を計測し、平面位置推定用のデータを取得する第２のセンサと、第１のセンサの上下方向に移動させる上下移動機構と、３次元モデリング装置を移動させる移動機構と、モデリング対象場所の地図データを格納するデータベースを備える計算機と、を備える。計算機は、第２のセンタから取得したデータと地図データとを照合して第１のセンサの平面位置を推測し、上下移動機構による第１のセンサの垂直位置及び推測された第１のセンサの平面位置から第１のセンサの３次元位置を取得し、第１のセンサが取得した複数のモデリング用のデータを、取得された３次元位置に応じて統合し、３次元モデルを出力する。

本発明によれば、3次元モデリングを容易に実現することが可能になる。

以下、実施形態について、図面を参照しながら説明する。

図１は、本実施例のデータ計測時のハードウェア構成を示す図である。

モデリング用の障害物との距離データを取得するセンサ１、センサ１の高さを調整する上下移動機構２、移動機構３、位置推定用に障害物との距離を測定する位置推定用センサ４、上記機器を全て接続し制御する計算機５からなる。なお、センサ１は、360度回転可能であり、上下移動機構２により、高さも調整できるものとする。また、計算機５はモデリング対象場所の平面地図を格納する２次元データベースを備えるものとする。

図２は、本３次元モデリング装置の機能ブロック図である。図２を用いて、本実施形態の概略を説明する。

第１のセンサ１を用いて、移動しながら複数地点でセンサデータを取得する。多地点で取得した複数のセンサデータを、多地点センサデータ群２０１として保存する。ここで取得するセンサデータは、モデリング用のセンサデータであり、センサ１を360度回転しながら、障害物との距離を取得する。センサ１のスキャン面が床面にたいして垂直になるように設置すれば、センサ１を360度回転させることにより、全周囲のセンサ情報を取得することが可能となる。複数の箇所で取得したモデリング用のセンサデータを、同一座標系に統合するためには、データを取得したときのセンサ１の位置及び向き情報が必要となる。第１のセンサ１の位置及び方向を算出するために、位置推定用の第２のセンサ４を別途設ける。第２のセンサ４は、スキャン面がｘ−ｙ平面（床面）と平行になるように、移動機構３上に固定する。移動中は、随時、第２のセンサ４でセンサデータ２０２を取得する。

センサ位置推定部１０１では、位置推定用センサデータ２０２、位置推定用センサデータ２０２を順次拡張しながら作成した2次元地図２０３を入力とし、両データの照合処理により2次元地図２０３内のどの位置・方向にセンサが向いているか推定し、センサ2次元位置２０４として出力する。センサ位置推定および、２次元地図２０３の拡張は、これら二つの計算を同時に実行するSLAM (Simultaneous Localization And Mapping)技術を用いる。具体的には、位置推定用センサデータ２０２と、それまでに作成した2次元地図２０３とをマッチングすることで、位置推定用センサ４の２次元地図２０３の位置を求め、これに基づき２次元地図２０３を逐次更新していく。

また同時に、計算機５で制御している上下移動機構２の高さデータも記録する。センサ2次元位置２０４と、第１センサ１の高さ（垂直位置）であるセンサ高２０５と、第１のセンサ１と第２のセンサ４とのｘ−ｙ平面における位置関係（既知とする）、及び、第１のセンサ１と上下移動機構２のｚ軸方向の位置関係（既知とする）より、第１のセンサの計測３次元位置および向き２０６を取得することができる。第１のセンサの計測３次元位置２０６は、2次元地図２０３の座標空間における計測位置(x,y,z)と計測の方向(α,β,γ)との組として得られる。センサデータ統合部１１０は、複数地点で取得したモデリング用センサデータ２０１とデータを取得したときの第１のセンサの計測３次元位置２０６を入力とし、３次元空間内にセンサ情報をプロットし、３次元モデル２１０を得る。ここでいう３次元モデル２１０とは、点群の集合により表されるものとする。

データ統合のイメージを、図３を用いて説明する。ここでは、説明を簡略化するため、センサ１を水平方向に回転させずに取得したデータを用いて説明する。

センサ１で測定したセンサデータは、(距離L、角度θ)（図３(a)）の点の集合によって表される。移動機構３の移動及び上下移動機構２の高さ調整により、移動し、移動先で取得したセンサデータを、データを取得したときのセンサ１の3次元位置を中心に同一３次元空間内に点列でプロットすることによって（図３(b)）、計測対象場所表面の形状を表す点群による3次元モデル２１０を作成する（図３(c)）。

図４は、拘束条件を用いてデータ統合を行う場合の機能ブロック図である。センサ１を移動させながら、又は、複数のセンサを用いて、複数地点で取得したモデリング用センサデータ２０１を用意する。取得したデータの特徴を確認するため、モデリング用センサデータ２０１を、データ表示部１０２にて、表示装置６に表示する。複数地点で取得したセンサデータを統合するにあたり、位置あわせを容易にするための拘束条件２０７を与える。拘束条件２０７は事前に複数準備しておき、表示装置６に表示されたモデリング用センサデータ２０１の特徴を人が目視にて確認し、拘束条件選択部１０３では、作業者がマウスやキーボードなどの入力装置７を用いて、データの特徴に応じた拘束条件２０８を選択する。データの特徴とは、例えば、平面が多い、柱(円柱)が多い、突起物がある、特徴のある形状のオブジェクトがある、などが挙げられる。どの拘束条件を使用するのが効果的であるか候補を自動的に選出し、提示してもよい。

選択された拘束条件２０８により、データ統合に必要な操作が決定する。例えば、平面の多いデータに対する拘束条件を選択した場合、作業者は異なるモデリングデータに対して同一平面を選択するなどの操作が必要になる。ガイダンス提示部１０４では、作業者が行う操作を文字で指示したり、平面の選択が必要である場合、任意の点を選択するだけでその点の含まれる平面の色を変えて表示するなど、選択が正しいかどうかの確認を視覚的に提示することにより、作業者の操作をガイドしたりする。作業者はガイドに従い、入力装置７を用いて、入力部１０５により必要な操作を行う。センサデータ統合部１１０では、選択された拘束条件２０８と、作業者による対応箇所入力により、データのあわせこみ処理を行い、3次元モデル２１０を作成する。

図５は、本３次元モデリング装置において、データ統合のための拘束条件を用いた場合のフローチャートである。
まず、モデリング用センサデータの特徴を確認するため、センサで取得したデータを表示する（Ｓ１０００）。次に、予め準備した拘束条件を複数提示し、データの特徴に応じて拘束条件を選択する（Ｓ１００１）。２つのデータの対応付けを行うにあたり、まず、データ１のみを操作可とする（Ｓ１００２）。次に、拘束条件に応じた特徴部分の指定を行う（Ｓ１００３）。この時、特徴部分全てを抽出・選択する必要はない。例えば、平面を拘束条件とする場合、平面の一部を選択するのみでよい。また、柱面を拘束条件とする場合、柱面の一部を選択するのみでよい。その特徴部分の一部を指定することにより、平面を拘束条件とした場合、その指定部分近傍の平面を自動的に推定し、柱面を拘束条件とした場合は、その指定部分近傍の柱面を自動的に推定する。平面の推定方法については、図６で後述する。次に、データ２のみを操作可とし（Ｓ１００４）、拘束条件に応じた特徴部分の指定を行う（Ｓ１００６）。または、Ｓ１００３で指定し推定した特徴部分と似た形状及び面積を持つ部分を、データの照合処理により探索し、候補を提示（Ｓ１００５）、その後、対となる特徴部分を選択してもよい。次に、データ統合のための特徴対が揃ったか否か判断し（Ｓ１００７）、揃っていない場合はＳ１００２に戻り、別の対となる特徴部分の指定を行う。

Ｓ１００７で、データ統合のための特徴対が揃ったと判断したら、平面間の距離を最小化するための計算を行い、データ統合処理を行う（Ｓ１００８）。データ統合結果を目視で確認し、正しい統合が行われているか否か判断し（Ｓ１００９）、行われていれば終了する。正しい統合が行われていない場合は、（１）拘束条件追加・変更、又は、（２）特徴部分入力修正を選択し（Ｓ１０１０）、（１）を選択した場合はＳ１００１に、（２）を選択した場合はＳ１００２に戻る。

図６を用いて、拘束条件として平面限定を選択した場合のデータ統合例を説明する。説明を簡単にするために、2つの線分の合わせ込みを例に説明する。
まず、データ１のみを操作可とする。操作を容易にするため、データ２は不可視にしてもよい。マウスなどの入力装置を用いて、データ１の対応付けに使用する平面を選択する。平面の選択を容易にするために、平面の一部分を選択するのみで、その部分が含まれる平面を自動的に推定する。例えば、選択した領域に含まれる点群に対してLMS(Least Mean Square)推定を行うことで平面を抽出する。平面の推定は、数式１に示すとおりである。
θは推定した平面パラメータ、r(θ)は平面から点群までの距離を示す。

次に、データ２のみを操作可とする。データ１で選択した平面と同じと思われる平面の一部分を選択する。そして、その部分が含まれる平面を自動的に推定する。
抽出された平面の組み合わせについて、数式２に示す評価値を最小化する事により、正しい位置関係を求める。ここで(n1,c1)は位置合わせの基準となるデータ１の選択した平面の法線と中心、(n2,c2) は移動させるデータ２の法線と中心である。(R,t)がセンサデータの回転・移動量となる。

１面のみの合わせこみを例に挙げたが、室内の3次元データを取得した場合、まず、データ１とデータ２の床面の一部分をマウスで指定する。位置あわせを実行するとデータ2の床面の高さ及び角度が補正される。次に、壁面の対応付けを行い、位置あわせを実行することにより、データ2の壁面の位置及び角度が補正される。このように、複数の壁面の対応付け及び位置あわせを繰り返すことにより、統合精度を高めていく。

以上説明した実施形態によれば、モデリング用センサを用いて複数の場所でデータを取得し、各データを取得した位置を推定することにより、自動的に３次元モデルを作成できる。又、位置推定機能がなくとも、データの特徴に応じた拘束条件を選択し、特徴の一部を指定するのみで、特徴部分の推定を行うことにより、少ない労力で3次元モデルを作成できる。

以上のように、本発明の実施形態によれば、3次元モデリングを容易に実現することが可能になる。例えば、環境にマーカを設置することなく複数個所で取得したデータを同一座標系に統合するにあたり、データ取得位置の自動算出や、拘束条件の選択・適用により、データの統合の簡易に行うことが可能となる。また更に、計測作業も自動的に行うことができる。

本実施例のデータ計測時のハードウェア構成を示す図である。３次元モデリング装置の機能ブロック図である。データ統合のイメージを説明する図である。拘束条件を用いてデータ統合を行う場合の機能ブロック図である。データ統合のための拘束条件を用いた場合のフローチャートである。拘束条件として平面限定を選択した場合のデータ統合例である。

１：第１のセンサ、２：上下移動機構、３：移動機構、４：第２のセンサ、５：計算機、１０１：センサ位置推定部、１０２：データ表示部、１０３：拘束条件選択部、１０４：ガイダンス提示部：、１０５：入力部、１１０：センサデータ統合部。

Claims

３次元モデリング装置であって、
物体までの距離を計測し、モデリング用のデータを取得する第１のセンサと、
物体までの距離を計測し、平面位置推定用のデータを取得する第２のセンサと、
前記第１のセンサの上下方向に移動させる上下移動機構と、
前記３次元モデリング装置を移動させる移動機構と、
前記第１のセンサ、前記第２のセンサ、前記上下移動機構及び前記移動機構と接続し、モデリング対象場所の地図データを格納するデータベースを備える計算機と、を備え、
前記計算機は、前記第２のセンタから取得したデータと前記地図データとを照合して前記第１のセンサの平面位置を推測し、
前記上下移動機構による前記第１のセンサの垂直位置及び前記推測された前記第１のセンサの平面位置から前記第１のセンサの３次元位置を取得し、
前記第１のセンサが取得した複数のモデリング用のデータを、前記取得された３次元位置に応じて統合し、３次元モデルを出力することを特徴とする３次元モデリング装置。
物体までの距離を計測しモデリング用のデータを取得する第1のセンサと、前記第1のセンサの高さを調整する上下移動機構と、物体までの距離を計測し位置推定用のデータを取得する第2のセンサと、前記二つのセンサ及び上下移動機構を移動させる移動機構と、
前記二つのセンサ及び上下移動機構、移動機構と接続し、
モデリング対象場所の地図を格納する2次元地図データを保持し、
前記2次元地図データと前記第2のセンサから取得した位置推定用センサデータとの照合、及び、第1のセンサと第2のセンサの相対位置関係により、第1のセンサの2次元位置を推定するセンサ2次元位置推定部、上下移動機構の高さ及び上下移動機構と第1のセンサの相対位置関係によりセンサ高を出力し、前記推定第1のセンサ2次元位置と前記出力センサ高より、第1のセンサの3次元位置を出力するセンサ3次元位置出力部、前記第1のセンサで取得したモデリング用センサデータを、モデリング用センサデータを取得したときの第1のセンサの3次元位置に応じて3次元空間内に統合し3次元モデルを出力するセンサデータ統合部を有する計算機を設けたことを特徴とする３次元モデリング装置。
前記第１のセンサで取得したモデリング用センサデータは、表示装置に表示され、データを統合するための拘束条件を提示し、適した拘束条件を選択する拘束条件選択部、統合するために必要な操作を指示するガイダンス提示部、対応付ける箇所を指定する入力部、指定された部分より対応付けの対象となる部分の形状を推定する特徴部分推定部を有する第２の形態の３次元モデリング装置。