JP2011080845A - ３次元データ作成方法及び３次元データ作成装置 - Google Patents

Abstract

【課題】移動中に取得した連続画像に基づき、簡便に移動体の位置の測定、及び３次元データ付きの画像データを作成することを可能とする。
【解決手段】周囲の景色を撮像し、デジタル画像データを取得する撮像装置８ａ，８ｂを用いた３次元データ作成方法であって、移動しつつ撮像装置８ａ，８ｂにより周囲の景色についての画像を連続的に撮像する工程と、所定の時間間隔毎に撮像した画像を測定用画像として取得する工程と、ランドマークをテンプレートとしてパターン認識により該測定用画像中からランドマークを抽出する工程と、時間的に隣接する２つの測定用画像の対応付けを行う工程と、少なくとも最初の１つの測定用画像に含まれるランドマークの３次元座標が既知であり、該測定用画像のランドマークの３次元座標に基づき測定用画像撮像地点の３次元座標を求める工程とを具備する。
【選択図】図１

Description

本発明は、移動体に位置検出装置を具備してなくとも移動中に取得した連続画像に基づき、移動体の位置の測定、及び３次元データ付きの画像データを作成する３次元データ作成方法及び３次元データ作成装置に関するものである。

地上の絶対座標を測定する測定装置としてＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置が普及している。ＧＰＳ装置は、少なくとも３以上の好ましくは５以上の人工衛星からの電波を利用して地上での３次元位置座標を測定するものである。ところが、電波が到達しない空間、例えば人工衛星の電波がカバーしない領域、或はビルディング等の障害物により電波が遮られる空間、或はトンネル等閉鎖状態の空間では、ＧＰＳ装置による位置測定を行うことができない。

そこで、本出願人は特許文献１に於いて、移動体に撮像装置を取付け、撮像装置により移動中に連続して画像を取得し、画像処理により画像中から特徴点を抽出し、既知である移動体の位置に基づき後方交会法により抽出した特徴点の位置測定を行い、更に位置が既知となった特徴点に基づき前方交会法により移動後の移動体の位置を測定する方法、及びその測定を行う測定装置を提案し、ＧＰＳ装置の様な位置測定装置がなくても、移動体の位置をリアルタイムで測定することを可能にした。

特許文献１に示される移動体の位置を測定する方法では、上記した様に、画像中の建築物等から特徴点を抽出している。特徴点の抽出は、例えば、建築物の角等コントラストが大きく変化する点を画像処理により抽出することで行われるが、移動体の移動により画像中の位置が変化し、又撮像方向が変化することで、他の建築物に遮られたり、或は天候の変化でコントラストが変化する等不確定要素を多く含む。

更に、特徴点の抽出過程で、誤差要因を含むことから、後方交会法、前方交会法による移動体の位置測定では誤差が累積する問題を含んでいる。

この為、精度を向上する為に多数の特徴点の抽出が必要である。又、特徴点の抽出、更に、画像間での特徴点の対応付け等を画像処理で行う必要があるので、データ処理量が多くなり、データ処理装置の負担が大きく、又処理時間が長くなる等の問題があった。

特開２００７−１４７３４１号公報 特開平８−２５５２４５号公報

本発明は斯かる実情に鑑み、より簡便に移動中に取得した連続画像に基づき、移動体の位置の測定、及び３次元データ付きの画像データを作成することを可能とする３次元データ作成方法及び３次元データ作成装置を提供するものである。

本発明は、周囲の景色を撮像し、デジタル画像データを取得する撮像装置を用いた３次元データ作成方法であって、移動しつつ前記撮像装置により周囲の景色についての画像を連続的に撮像する工程と、所定の時間間隔毎に撮像した画像を測定用画像として取得する工程と、ランドマークをテンプレートとしてパターン認識により該測定用画像中からランドマークを抽出する工程と、時間的に隣接する２つの測定用画像の対応付けを行う工程と、少なくとも最初の１つの測定用画像に含まれるランドマークの３次元座標が既知であり、該測定用画像のランドマークの３次元座標に基づき測定用画像撮像地点の３次元座標を求める３次元データ作成方法に係るものである。

又本発明は、前記２つの画像の対応付けがランドマークと特徴点を用いて行なわれる３次元データ作成方法に係り、又前記測定用画像に含まれるランドマークの３次元座標が測量機によって測定される工程を含む３次元データ作成方法に係り、又所定の移動範囲で撮像される画像中に含まれるランドマークの内、後方交会法による測定に必要とされるランドマークについての３次元座標が測量機によって測定される工程を含む３次元データ作成方法に係り、又所定の移動範囲で撮像される画像中に含まれるランドマークの内、後方交会法による測定に必要とされるランドマークについての３次元座標が測定される３次元データ作成方法に係るものである。

又本発明は、周囲の景色を撮像し、デジタル画像データを取得する撮像装置を少なくとも具備する位置検出センサを用いた３次元データ作成方法であって、移動しつつ前記撮像装置により周囲の景色についての画像を連続的に撮像する工程と、所定の時間間隔毎に撮像した画像を測定用画像として取得する工程と、ランドマークをテンプレートとしてパターン認識により該測定用画像中からランドマークを抽出する工程と、時間的に隣接する２つの測定用画像の対応付けを行う工程と、少なくとも最初の２つの測定用画像を撮像した２つの地点の３次元座標が既知であり、該２つの地点の３次元座標に基づき前記ランドマークの３次元座標を求める工程と、得られた前記ランドマークの３次元座標に基づき次の測定用画像撮像地点の３次元座標を求める工程とを具備する３次元データ作成方法に係るものである。

又本発明は、前記２つの画像の対応付けがランドマークと特徴点を用いて行なわれる３次元データ作成方法に係り、又前記位置検出センサがＧＰＳ位置検出装置を具備し、前記２つの地点の３次元座標は前記ＧＰＳ位置検出装置によって既知とされる３次元データ作成方法に係り、又前記２つの地点の３次元座標を測量機によって測定する工程を含み、前記２つの地点の３次元座標は前記測量機によって取得される３次元データ作成方法に係るものである。

又本発明は、周囲の景色を撮像し、デジタル画像を取得する撮像装置と、ランドマーク画像をテンプレートとして有し、所定時間間隔で取得したデジタル画像を測定用画像とし、該測定用画像と前記ランドマークとのパターン認識により前記測定用画像中からランドマークを認識する認識部と、撮像された測定用画像中に含まれるランドマークの３次元座標を予め具備し、前記認識されたランドマークの３次元座標に基づき撮像地点の３次元座標を後方交会法により測定するデータ処理作成部とを具備する３次元データ作成装置に係り、又前記データ処理作成部は、第１、第２地点の撮像地点の３次元座標を前記後方交会法により測定し、第２地点で撮像した測定用画像中の未知のランドマークについては第１、第２地点の撮像地点からの画像の対応付けに基づき前方交会法により未知のランドマークの３次元座標を測定する３次元データ作成装置に係り、又前記データ処理作成部は、所定の移動範囲に存在するランドマークの内、少なくとも、後方交会法に必要とされるランドマークの３次元座標を予め具備し、前記移動範囲中の撮像地点の３次元座標を後方交会法により測定する３次元データ作成装置に係り、又ランドマークの３次元座標は前記３次元データ作成方法により求められる３次元データ作成装置に係り、又ランドマークの３次元座標は、測量機によって予め測定して得られた３次元データ作成装置に係るものである。

又本発明は、周囲の景色を撮像し、デジタル画像を取得する撮像装置とを少なくとも有する位置検出センサと、ランドマーク画像をテンプレートとして有し、所定時間間隔で取得したデジタル画像を測定用画像とし、該測定用画像と前記ランドマークとのパターン認識により前記測定用画像中からランドマークを認識する認識部と、時間的に隣接する２つの測定用画像中のランドマークの対応付けを行なうことで、ステレオ測定を行い、少なくとも最初の２つの測定用画像を撮像した第１、第２の地点の３次元座標が既知であり、該２つの地点の３次元座標に基づき前方交会法により前記ランドマークの３次元座標を求め、求められた前記ランドマークの３次元座標と未知点である第３地点のステレオ測定結果に基づき後方交会法により第３地点の３次元座標を測定し、各撮像地点で取得した測定用画像に各撮像地点の３次元座標を関連付けるデータ処理作成部とを備える３次元データ作成装置に係るものである。

又本発明は、ＧＰＳ位置検出装置を更に具備し、第１、第２の地点の３次元座標はＧＰＳ位置検出装置により取得される３次元データ作成装置に係り、又前記第１、第２の地点の３次元座標は所定の手段で予め取得されている３次元データ作成装置に係るものである。

本発明によれば、周囲の景色を撮像し、デジタル画像データを取得する撮像装置を用いた３次元データ作成方法であって、移動しつつ前記撮像装置により周囲の景色についての画像を連続的に撮像する工程と、所定の時間間隔毎に撮像した画像を測定用画像として取得する工程と、ランドマークをテンプレートとしてパターン認識により該測定用画像中からランドマークを抽出する工程と、時間的に隣接する２つの測定用画像の対応付けを行う工程と、少なくとも最初の１つの測定用画像に含まれるランドマークの３次元座標が既知であり、該測定用画像のランドマークの３次元座標に基づき測定用画像撮像地点の３次元座標を求める工程とを具備するので、最初に所定のランドマークについての３次元座標を取得しておくだけで、撮像地点の３次元座標が測定できる。

又本発明によれば、周囲の景色を撮像し、デジタル画像データを取得する撮像装置を少なくとも具備する位置検出センサを用いた３次元データ作成方法であって、移動しつつ前記撮像装置により周囲の景色についての画像を連続的に撮像する工程と、所定の時間間隔毎に撮像した画像を測定用画像として取得する工程と、ランドマークをテンプレートとしてパターン認識により該測定用画像中からランドマークを抽出する工程と、時間的に隣接する２つの測定用画像の対応付けを行う工程と、少なくとも最初の２つの測定用画像を撮像した２つの地点の３次元座標が既知であり、該２つの地点の３次元座標に基づき前記ランドマークの３次元座標を求める工程と、得られた前記ランドマークの３次元座標に基づき次の測定用画像撮像地点の３次元座標を求める工程とを具備するので、従来の様に画像処理により特徴点を抽出する必要がなくデータ処理量が減少し、又形状、画像パターンが単純で周知であるので、ランドマークの認識精度が高く、座標の測定精度が向上する。

又本発明によれば、前記２つの画像の対応付けがランドマークと特徴点を用いて行なわれるので、ランドマークがない場合、或は数が不足した場合でも、中断することなく３次元データの作成を行える。

又本発明によれば、前記２つの地点の３次元座標を測量機によって測定する工程を含み、前記２つの地点の３次元座標は前記測量機によって取得されるので、ＧＰＳ位置検出装置が不要であり、又障害物の有無に限らず任意の地域での測定が可能である。

又本発明によれば、周囲の景色を撮像し、デジタル画像を取得する撮像装置と、ランドマーク画像をテンプレートとして有し、所定時間間隔で取得したデジタル画像を測定用画像とし、該測定用画像と前記ランドマークとのパターン認識により前記測定用画像中からランドマークを認識する認識部と、撮像された測定用画像中に含まれるランドマークの３次元座標を予め具備し、前記認識されたランドマークの３次元座標に基づき撮像地点の３次元座標を後方交会法により測定するデータ処理作成部とを具備するので、撮像地点の３次元座標を測定する為の測定装置が不要となり、又画像処理により特徴点を抽出する必要がなくデータ処理量が減少し、又形状、画像パターンが単純で周知であるので、ランドマークの認識精度が高く、座標の測定精度が向上する。

又本発明によれば、前記データ処理作成部は、所定の移動範囲に存在するランドマークの内、少なくとも、後方交会法に必要とされるランドマークの３次元座標を予め具備し、前記移動範囲中の撮像地点の３次元座標を後方交会法により測定するので、撮像位置の測定の為の測定装置が不要であり、又障害物の有無に関わらず、高精度で撮像位置の３次元座標の測定が可能となる。

又本発明によれば、周囲の景色を撮像し、デジタル画像を取得する撮像装置とを少なくとも有する位置検出センサと、ランドマーク画像をテンプレートとして有し、所定時間間隔で取得したデジタル画像を測定用画像とし、該測定用画像と前記ランドマークとのパターン認識により前記測定用画像中からランドマークを認識する認識部と、時間的に隣接する２つの測定用画像中のランドマークの対応付けを行なうことで、ステレオ測定を行い、少なくとも最初の２つの測定用画像を撮像した第１、第２の地点の３次元座標が既知であり、該２つの地点の３次元座標に基づき前方交会法により前記ランドマークの３次元座標を求め、求められた前記ランドマークの３次元座標と未知点である第３地点のステレオ測定結果に基づき後方交会法により第３地点の３次元座標を測定し、各撮像地点で取得した測定用画像に各撮像地点の３次元座標を関連付けるデータ処理作成部とを備えるので、従来の様に画像処理により特徴点を抽出する必要がなくデータ処理量が減少し、又形状、画像パターンが単純で周知であるので、ランドマークの認識精度が高く、座標の測定精度が向上する等の優れた効果を発揮する。

本発明の実施例に係る３次元データ作成装置の概略図である。 本発明に係る３次元データ作成装置を自動車に適用した場合の説明図である。 本発明の実施例に係る位置測定装置の概略ブロック図である。 本発明の実施例に於ける測定路線とランドマークとの関係を示す説明図である。 本発明の実施例に於ける測定の状態を示す説明図である。 （Ａ）は得られた画像について、前方交会法により追尾ポイントの位置測定を行う説明図、（Ｂ）は得られた画像に基づき後方交会法により撮像点の位置測定を行う説明図である。 本発明の第１の実施例の作用を示すフローチャートである。 本発明の第１の実施例の作用を示すフローチャートである。 本発明の第２の実施例に於ける測定の状態を示す説明図である。 本発明の第２の実施例の作用を示すフローチャートである。 本発明の第２の実施例の作用を示すフローチャートである。

以下、図面を参照しつつ本発明の実施例を説明する。

先ず、本発明の原理の概略を説明する。

本発明に於いても、移動体に撮像装置を有する位置検出センサを設け、前記撮像装置で移動体の移動中に連続画像を取得し、取得した画像から特徴点を抽出し、特徴点に基づき画像測量により、移動体の３次元位置を測定していくが、本発明では、道路標識、信号機等、電柱、マンホールの蓋等、道路脇或は道路に設置された陸上の目印となるもの（以下ランドマークと称す）を特徴点として取得する。更に、ランドマークの３次元位置データ（３次元座標）を取得し、画像中で認識したランドマークと、取得したランドマークの３次元座標に基づき移動体の３次元位置の測定をリアルタイムで実行する。

尚、ランドマークの３次元座標の取得については、前方交会法と後方交会法を交互に繰返し、移動中取得した連続画像から順次取得していく方法と、予めランドマークの３次元座標を測定して取得する方法とがある。

２つの地点から撮像した画像を用いて公知の方法で３次元位置を測定するステレオ測定に於いて、前方交会法とは、２以上の３次元座標が既知の点からの画像を用いて３次元座標の測定を行い、未知点の座標を演算する測定方法である。後方交会法とは、未知点から撮像した既知点の画像を用いてステレオ測定を行い、撮像した位置の座標を演算する測定方法である。

図１は、本発明に係る３次元データ作成装置１の概略を示すものであり、該３次元データ作成装置１は主にデータ処理作成部２、位置検出センサ３、操作部４、表示部５から構成される。前記位置検出センサ３は移動体、例えば自動車の運転室の屋根等見晴しのよい位置に設置され、又、前記データ処理作成部２、前記操作部４、前記表示部５は作業者、運転者が操作し、視認可能な場所、例えば運転室に設置される。尚、前記操作部４はタッチパネル等とし、前記表示部５と一体化してもよい。

図２は、移動体９が自動車であった場合を示しており、又前記位置検出センサ３が前記移動体９の屋根に設けられた場合を示している。

前記位置検出センサ３は、センサ本体６の上面に設けられたＧＰＳ位置検出装置７、前記センサ本体６の側面に４方向に向けられた撮像装置８ａ、撮像装置８ｂ、撮像装置８ｃ、撮像装置８ｄ（以下、総称する場合は撮像装置８とする）（図３参照）を具備している。

前記撮像装置８は、全周の景色を撮像可能に配置されるものであり、撮像装置８単体が広い画角を有するものであれば３個でよく、或は狭く画角を有する場合は、５以上設けられる。尚、１つの撮像装置８を水平方向に回転させ、所要回転角毎に撮影する様にしてもよい。

尚、前記移動体９の進行方向に対して直角な２方向の景色を撮像する様、２個の撮像装置８を設けてもよい。この場合、撮像角は適宜な範囲を有していればよく、１８０°である必要はない。

又、前記撮像装置８は、デジタルカメラ等、撮像した画像をデジタル画像データとして出力可能であり、前記撮像装置８は、多数の画素から構成される撮像素子、例えばＣＣＤセンサ、ＣＭＯＳセンサ等を具備し、１つの撮像装置８から出力される画像データの１フレームは各画素からの信号の集合として構成され、信号に対応する画素を特定することで、画像中の位置が特定される様になっている。

前記ＧＰＳ位置検出装置７は、ＧＰＳアンテナ１１、ＧＰＳ演算部１２（図３参照）を具備し、前記ＧＰＳアンテナ１１により複数の衛星からの信号を受信して、受信結果に基づき前記ＧＰＳ演算部１２が衛星と受信点との距離を３次元幾何学的に演算して３次元の測位を行うものである。尚、測位には単独測位、干渉測位等があるが、移動しつつ短時間で測定が可能なＲＴＫ（リアルタイムキネマティック）測位が採用されることが好ましい。

前記撮像装置８ａ、前記撮像装置８ｂ、前記撮像装置８ｃ、前記撮像装置８ｄは、所定時間間隔で同期して撮像し、取得された画像データは前記データ処理作成部２に送出され、該データ処理作成部２では画像データを撮像時間と関連付けて後述する画像データ格納部に格納する。尚、撮像間隔は移動体９の移動速度に対応して決定されてもよい。例えば、前記移動体９の移動速度が大きい場合、時間間隔を短く、移動速度が小さい場合は、時間間隔を長くする等である。

前記データ処理作成部２について図３を参照して説明する。

該データ処理作成部２は入出力制御部１３、ＣＰＵで代表される制御演算部１４、記憶部１５、ランドマーク認識部１８、通信制御部２３等で概略構成されている。

前記記憶部１５はメモリカード、ＨＤ、ＦＤ、ＭＯ等であり、内蔵され又は着脱可能に設けられる。

又該記憶部１５は、プログラム格納部１６、データ格納部１７を有しており、前記プログラム格納部１６には、装置の作動を制御するシーケンスプログラム、移動体９の位置に基づき特徴点の３次元データを前方交会法により演算し、又特徴点の３次元データに基づき移動体の位置を演算する後方交会法により演算する測量プログラム、得られた測定結果をデータ収集装置等の外部装置に送信する為の送信制御プログラム、位置測定結果を前記表示部５に表示させる為の表示プログラム等の各種プログラムが格納されている。

前記データ格納部１７には前記撮像装置８で取得した画像データの内、所定間隔毎に撮像した画像が測定用画像データとして格納され、更に、測定用画像を撮像した時の時間が測定用画像データと関連付けられる。尚、前記位置検出センサ３により３次元座標が取得可能な状態では、測定用画像データと３次元座標とが更に関連付けられる。従って、前記測定用画像データ、３次元座標は時系列のデータとなっている。

前記ランドマーク認識部１８は、演算器１９、記憶器２０を有し、該記憶器２０は更にテンプレート画像格納部２１及びプログラム格納部２２を有する。

尚、前記演算器１９は、前記制御演算部１４が兼ねてもよい。又、前記記憶部１５と前記記憶器２０とは同一の記憶装置とし、該記憶装置が前記プログラム格納部１６、前記データ格納部１７、前記テンプレート画像格納部２１、前記プログラム格納部２２を具備してもよい。

前記テンプレート画像格納部２１は道路標識、信号機等、電柱、マンホールの蓋等、各種ランドマークに対応する画像データをテンプレート画像として格納し、前記プログラム格納部２２は前記撮像装置８で取得された測定用画像と前記パターン画像とのパターン認識により、前記測定用画像中からランドマークを判別、抽出するランドマーク判別プログラムを格納する。ここで、道路標識等のランドマークの形状、図柄は全国共通であり、ランドマークをテンプレート画像とした場合のパターン認識精度が高く、又測定の度に、場所の変更がある度に設定し直す必要がない。

前記通信制御部２３は、外部データ処理装置、例えばＰＣ等とデータの授受を行う場合のデータの送受信を制御するものである。

図４、図５を参照して本発明の第１の本実施例の作用について説明する。

本発明では、走行中に撮像した連続画像中から、ランドマークを抽出してランドマークの位置（３次元データ）から移動体９の位置測定を行うものであり、第１の実施例では、ランドマークの３次元データ（以下、座標値）が未知であった場合を説明する。

図４は、測定する道路と、道路に沿ってランドマークとしての道路標識Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，…が立設され、又路面にはランドマークとしてのマンホールＣ１，Ｃ２，…が設置されている状態を示している。

図５は、障害物（景観形状）２５と障害物（景観形状）２６と前記移動体９、即ち位置検出センサ３との関係を示す模式図であり、図５中、Ａ１〜Ａ７が進行方向右側のランドマークを示し、図５中、Ｂ１〜Ｂ９が進行方向左側のランドマークを表している。図６（Ａ）は、取得した画像に基づき、前方交会法により測定ポイントの位置測定を行うことを示す説明図、図６（Ｂ）は、得られた画像に基づき後方交会法により撮像点の位置測定を行うことを示す説明図である。

図５に於いて、前記移動体９が障害物２５、障害物２６の間を進行し、前記位置検出センサ３が第１地点（測定ポイントＰ１）から第６地点（測定ポイントＰ６）（以下測定ポイントＰは単にＰと略称する）に移動した状態を示し、Ｐ１，Ｐ２では、前記ＧＰＳアンテナ１１により衛星からの信号を受信可能であり、Ｐ３〜Ｐ５では前記障害物２５、前記障害物２６により衛星からの信号が受信できない状態であり、Ｐ６で再び衛星からの信号を受信可能となっている。

尚、Ｐ１，Ｐ２については、ＧＰＳによる位置検出でなく他の測定装置により位置測定をして既知点とし、既知点化したＰ１，Ｐ２を基に測定、３次元データ作成を開始してもよい。

以下、図７を参照して、左側の景色、前記ランドマークについての画像の取得、該画像に基づく位置測定について説明する。

前記移動体９がＰ１となった時点で、前記制御演算部１４が前記ＧＰＳ位置検出装置７で測定された３次元座標を取得する。同時に前記撮像装置８で撮像した測定用画像データを取得する（ＳＴＥＰ：０１）。前記制御演算部１４はＰ１で撮像された画像Ｊ１を第１測定用画像データとし、該第１測定用画像データをＰ１の測定３次元座標と関連付けて前記データ格納部１７に格納する。

又、前記移動体９が移動している間中、前記撮像装置８により周囲の画像が連続的に撮像される（ＳＴＥＰ：０２）。又、各Ｐは、予め設定された時間間隔毎の前記移動体９の位置となっている。

前記制御演算部１４は各Ｐ毎に前記ＧＰＳ位置検出装置７から位置データの入力があるかどうかをチェックする。各Ｐでの前記ＧＰＳ位置検出装置７からの位置データの入力の有無により、後述する様に各Ｐの位置測定を前記位置検出センサ３による測定か、或は測定用画像データに基づく、前方交会法、後方交会法による演算による測定かが判断、選択され実行される。

前記ランドマーク認識部１８は、前記プログラム格納部２２に格納されたランドマーク判別プログラムにより、前記測定用画像データに対して、前記テンプレート画像格納部２１に格納された、前記テンプレート画像をテンプレートとしてパターン認識により前記測定用画像データ中からランドマークを認識する（ＳＴＥＰ：０３）。又、ランドマーク認識部１８はランドマークの中心位置を演算する。

ランドマークの中心位置（ランドマーク中心点）は、例えば図形中心であり、図形中心は撮像素子の画素の位置によって特定できる。又、ランドマークの認識数については、前方交会法による測定に必要な数とする。

尚、ランドマークの認識については、例えば特許文献２に開示された方法を用いることができる。

Ｐ１〜Ｐ２に至る過程でも、前記撮像装置８により周囲の景色が連続的に撮像されており、所定時間間隔で測定用画像データとテンプレート画像に基づくランドマークの認識が実行され、画像間でのランドマークの追尾が行われる。

前記位置検出センサ３が移動したＰ２に於いて、前記位置検出センサ３からの位置測定データが入力され、位置測定データとＰ２で撮像した画像Ｊ２の第２測定用画像データが前記データ格納部１７に格納される。

第２測定用画像データについても、テンプレート画像を用いたパターン認識でランドマークの認識が実行されると共にランドマークの中心点の方位が求められる。更に、追尾の結果に基づき第１測定用画像データで認識されたランドマークと第２測定用画像データで認識されたランドマークとの対応付けが行われる（ＳＴＥＰ：０４）。

認識されたランドマークの中心点は、パスポイント（Ｂ１，Ｂ２，Ｂ３，…）として、画像Ｊ１と画像Ｊ２の相互評定が行なわれ、画像Ｊ１と画像Ｊ２は３次元データを含む画像（ステレオ画像）化される。このステレオ画像によって得られた３次元座標と前方交会法により各ランドマーク中心点（Ｂ１，Ｂ２，Ｂ３，…）の３次元座標が演算される（ＳＴＥＰ：０５）。

演算の結果、各ランドマークの中心点（Ｂ１，Ｂ２，Ｂ３，…）は既知点となる。各ランドマークの中心点（Ｂ１，Ｂ２，Ｂ３，…）の３次元座標は、第１測定用画像データ、第２測定用画像データに関連付けられて前記データ格納部１７に格納される。又、画像Ｊ１と画像Ｊ２及び後述する測定ポイントＰで撮像した画像は３次元データと共に前記データ格納部１７に格納される。

前記移動体９がＰ３に移動すると、衛星からの電波が前記障害物２６により遮られ、前記位置検出センサ３による位置測定が入力されない。前記制御演算部１４は前記位置検出センサ３からの入力がないことを判断すると、後方交会法に基づく演算による位置測定に切替える。

Ｐ３に至る間も前記撮像装置８による撮像、撮像画像中のランドマークの認識、ランドマークの追尾は連続して行われている。

即ち、既に得られている各ランドマーク中心点（Ｂ１，Ｂ２，Ｂ３，…）の３次元座標、及びＰ２で取得した画像Ｊ２中の前記ランドマーク中心点（Ｂ１，Ｂ２，Ｂ３，…）とＰ３で取得した画像に基づき後方交会法によりＰ３の３次元座標が演算される（ＳＴＥＰ：０６、（図６（Ｂ））参照）。

尚、Ｐ１，Ｐ２，Ｐ３…と前記移動体９が移動し、撮像範囲が移動することに伴い、撮像した画像中には順次新しいランドマークが含まれ、テンプレート画像によるパターン認識で新しいランドマークの認識、更にランドマーク中心点が測定できる。

例えば、図６（Ａ）、図６（Ｂ）を参照すれば、画像Ｊ２にはＢ４、画像Ｊ３にはＢ５，Ｂ６のランドマークが発生する。新たに発生したランドマークについても追跡が行われ、更に発生したランドマークについて順次前方交会法によりランドマークの３次元座標が演算測定される。

後方交会法によりＰ３が既知点となる。

而して、画像中のランドマーク中心点の３次元座標からＰｎの位置を後方交会法により演算測定し、更に、既知となったＰ（ｎ−１）、及びＰｎの３次元座標から新たに発生したランドマーク中心点の位置を、画像を基に前方交会法により演算測定し、衛星からの電波が得られず、前記位置検出センサ３によるＰの位置測定ができない状態でも、前方交会法と後方交会法を交互に実施し、継続してＰの位置（３次元座標）測定が実施可能である。

次に、前記移動体９がＰ６に至ると、衛星からの電波の受信が可能となり、Ｐ６の位置が前記位置検出センサ３により測定され、該位置検出センサ３で測定された３次元座標が前記制御演算部１４に入力されると、該制御演算部１４は３次元座標入力有りと判断し、後方交会法による演算を停止する。又、前記撮像装置８によりＰ６で撮像した画像データ、該画像データより抽出したランドマーク中心点、該ランドマーク中心点の３次元データがステレオ画像の形成によって求められ、求められた３次元データはＰ６の３次元座標に関連付けられて前記データ格納部１７に格納される。

従って、前記位置検出センサ３から位置データが入力されている間は、該位置検出センサ３で測定された結果が、Ｐの位置測定のデータとして採用され、該位置検出センサ３からの位置データが途絶えると、ステレオ画像の形成によって求められた３次元データと前方交会法、後方交会法により演算されたＰの３次元座標が採用され、Ｐの位置は中断することなく連続的に測定される。

又、隣接する２つの撮像地点、例えばＰ２，Ｐ３についてＰ２，Ｐ３で取得した２つの画像についてランドマーク中心点をパスポイントとして相互標定を行い、３次元データを含む画像（ステレオ画像）とすれば、他の画像を構成する各画素の、位置データ及び方位データ、即ち３次元座標を画像により求めることができ、演算処理を高速化できる。相互標定により得られたＰのステレオ画像は、前記データ格納部１７に格納される（ＳＴＥＰ：０７）。

而して、各測定ポイントで撮像した画像はＧＰＳから取得された座標と関連した３次元データを含む画像とすることができ、単一のＧＰＳ位置検出装置７により、測定途中に衛星からの電波が遮られる陰の部分があった場合でも、位置測定が中断されることがなく、連続した又大量の３次元データ及び３次元データを有する画像の取得が可能となる。

尚、上記説明では、前記移動体９の左側の画像を撮像して、Ｐの位置測定を行ったが、左側の画像からランドマークが取得できない場合は、右側の画像を取得する等、取得する画像については状況に応じて、画像処理の段階で適宜選択される。

尚、測定用画像間の追尾には、図８、図９に示す様に、ランドマークを用いる他に特徴点抽出によって求められた特徴点を用いてもよい。

画像中にランドマークがない場合でも、特徴点を抽出し（ＳＴＥＰ：０２ａ）、特徴点抽出による画像の追尾を行うことが可能となる（ＳＴＥＰ：０４′）。又、連続した一連の画像の中に３点以上のランドマークが存在することで、或は３点以上のランドマークが出現した時点で、後方交会法により位置検出センサ３の３次元座標の測定が可能となる。

次に、ランドマークの位置、即ち３次元座標が既知である第２の実施例を説明する。

第１の実施例で説明した様に、撮像を開始した時に、２点での撮像地点の座標が既知であると、連続画像からランドマークを認識し、ランドマークの座標を測定することができる。

従って、最初の２点で撮像した場合の、２点の座標を前記ＧＰＳ位置検出装置７以外の測定装置、例えばトータルステーションで測定すれば、前記位置検出センサ３は前記ＧＰＳ位置検出装置７を具備していなくてもよい。

更に、図５で示したＰ１〜Ｐ６へ移動する過程で、道路標識Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，…、道路標識Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，…の座標が測定され、道路標識のそれぞれの３次元座標は既知となる。又、ランドマークとしてのマンホールＣ１，Ｃ２，…は地図データとして正確な３次元座標を持っている。

従って、１度通過し、測量を行った路線（以下測量済路線と称す）については、道路脇の画像、或は道路を通過する際に撮像した画像中に含まれるランドマークの３次元座標が既知となっており、２度目以降は、前方交会法によりランドマークの３次元座標を求める必要がなくなる。

２度目以降に測量済路線を走行する際の、移動体９の３次元座標は既知点となったランドマーク中心点の座標に基づき後方交会法による測定が可能となる。

第２の実施例について図３、図１１を参照して説明する。

第２の実施例に於ける、基本的な構成は図３で示したものと同等である。第２の実施例では、前記ランドマーク認識部１８に測定済ランドマークの情報、即ち測定済ランドマークの画像と３次元座標が関連付けられて予めランドマーク認識部１８に格納されている。

尚、第２の実施例では開始時の移動体９の３次元座標は必要なく、従って撮像地点の位置測定は必要ない。

前記移動体９の移動中に、周囲の景色を連続撮像し、連続画像を取得する（ＳＴＥＰ：１１）。

所定時間間隔で、測定用画像データとテンプレート画像に基づくランドマークの認識が実行され（ＳＴＥＰ：１２）、更に認識されたランドマークの座標位置が前記ランドマーク認識部１８より呼込まれ、認識されたランドマークの座標位置が特定される（ＳＴＥＰ：１３）。

所定時間を経た２つの測定用画像間でランドマークの追尾が行われ、ランドマークの対応付けがされる。又、現時点で撮像した測定用画像中の複数のランドマークの中心点の３次元座標に基づき、後方交会法により、現時点での位置検出センサ３の３次元座標が測定される（ＳＴＥＰ：１４）。

現時点で撮像された画像と、現時点の位置検出センサ３の３次元座標が関連付けられて前記データ格納部１７に格納される。

尚、測定用画像間の追尾には、図１１に示す様に、ランドマークを用いる他に特徴点抽出によって求められた特徴点を用いてもよい（ＳＴＥＰ：１１ａ）。画像中にランドマークがない場合でも、特徴点抽出による画像の追尾を行うことが可能となる。又、連続した一連の画像の中に３点以上のランドマークが存在することで、或は３点以上のランドマークが出現した時点で、後方交会法により位置検出センサ３の３次元座標の測定が可能となる。

而して、所定時間間隔毎に撮像された測定用画像から得られたランドマークの中心点座標と、該中心点座標に対する方位角により、現時点での位置検出センサ３の３次元座標がリアルタイムで測定され、又現時点での測定用画像データが３次元座標に関連付けられて格納される。又、上記測定用画像の撮像、測定用画像データと３次元座標との関連付け、測定用画像の格納が、前記移動体９の予定された移動範囲、或は所定の移動範囲に亘って繰返される。

又、第１の実施例と同様、隣接する２つの撮像地点で取得した２つの測定用画像について、ランドマーク中心点をパスポイントとして相互標定を行い、３次元データを含む画像（ステレオ画像）とし、相互標定により得られたＰのステレオ画像は、前記データ格納部１７に格納され、各撮像地点でステレオ画像が順次前記データ格納部１７に格納される（ＳＴＥＰ：１５）。

更に、ランドマークの地上座標系の絶対データに基づき、各画像の３次元データを、地上座標系のデータに順次変換する（ＳＴＥＰ：１６）。

前記移動体９が測定対象範囲を通過し終える迄、上記ＳＴＥＰ：１１〜ＳＴＥＰ：１６の工程が繰返され、測定対象範囲全域での３次元データ付の画像データが作成される。

尚、測定用画像間の追尾には、ランドマークを用いる他に特徴点抽出によって求められた特徴点を用いてもよい。画像中にランドマークがない場合でも、特徴点抽出による画像の追尾を行うことが可能となる。又、連続した一連の画像の中に３点以上のランドマークが存在することで、或は３点以上のランドマークが出現した時点で、後方交会法により位置検出センサ３の３次元座標の測定が可能となる（図９、図１０参照）。

尚、ランドマーク中心点の３次元座標の精度を向上させる為、第１の実施例によるランドマーク中心点の３次元座標の測定を複数回繰返し、平均化してもよい。

又、対象となる路線について、該路線に沿って存在するランドマークについて予め測量機により実測し、ランドマークの３次元座標データとして取得し、前記テンプレート画像格納部２１にテンプレート画像と共に３次元座標データを格納しておいてもよい。

この場合、位置検出センサ３として、ＧＰＳ位置検出装置７は省略することができる。

１ ３次元データ作成装置
２ データ処理作成部
３ 位置検出センサ
４ 操作部
５ 表示部
６ センサ本体
７ ＧＰＳ位置検出装置
８ 撮像装置
１４ 制御演算部
１５ 記憶部
１６ プログラム格納部
１７ データ格納部
１８ ランドマーク認識部
１９ 演算器
２０ 記憶器
２１ テンプレート画像格納部
２２ プログラム格納部
２３ 通信制御部

Claims (17)

1. 周囲の景色を撮像し、デジタル画像データを取得する撮像装置を用いた３次元データ作成方法であって、移動しつつ前記撮像装置により周囲の景色についての画像を連続的に撮像する工程と、所定の時間間隔毎に撮像した画像を測定用画像として取得する工程と、ランドマークをテンプレートとしてパターン認識により該測定用画像中からランドマークを抽出する工程と、時間的に隣接する２つの測定用画像の対応付けを行う工程と、少なくとも最初の１つの測定用画像に含まれるランドマークの３次元座標が既知であり、該測定用画像のランドマークの３次元座標に基づき測定用画像撮像地点の３次元座標を求める工程とを具備することを特徴とする３次元データ作成方法。
2. 前記２つの画像の対応付けがランドマークと特徴点を用いて行なわれる請求項１の３次元データ作成方法。
3. 前記測定用画像に含まれるランドマークの３次元座標が測量機によって測定される工程を含む請求項１の３次元データ作成方法。
4. 所定の移動範囲で撮像される画像中に含まれるランドマークの内、後方交会法による測定に必要とされるランドマークについての３次元座標が測量機によって測定される工程を含む請求項１の３次元データ作成方法。
5. 所定の移動範囲で撮像される画像中に含まれるランドマークの内、後方交会法による測定に必要とされるランドマークについての３次元座標が、請求項１に記載の工程により測定される請求項１の３次元データ作成方法。
6. 周囲の景色を撮像し、デジタル画像データを取得する撮像装置を少なくとも具備する位置検出センサを用いた３次元データ作成方法であって、移動しつつ前記撮像装置により周囲の景色についての画像を連続的に撮像する工程と、所定の時間間隔毎に撮像した画像を測定用画像として取得する工程と、ランドマークをテンプレートとしてパターン認識により該測定用画像中からランドマークを抽出する工程と、時間的に隣接する２つの測定用画像の対応付けを行う工程と、少なくとも最初の２つの測定用画像を撮像した２つの地点の３次元座標が既知であり、該２つの地点の３次元座標に基づき前記ランドマークの３次元座標を求める工程と、得られた前記ランドマークの３次元座標に基づき次の測定用画像撮像地点の３次元座標を求める工程とを具備することを特徴とする３次元データ作成方法。
7. 前記２つの画像の対応付けがランドマークと特徴点を用いて行なわれる請求項６の３次元データ作成方法。
8. 前記位置検出センサがＧＰＳ位置検出装置を具備し、前記２つの地点の３次元座標は前記ＧＰＳ位置検出装置によって既知とされる請求項６の３次元データ作成方法。
9. 前記２つの地点の３次元座標を測量機によって測定する工程を含み、前記２つの地点の３次元座標は前記測量機によって取得される請求項６の３次元データ作成方法。
10. 周囲の景色を撮像し、デジタル画像を取得する撮像装置と、ランドマーク画像をテンプレートとして有し、所定時間間隔で取得したデジタル画像を測定用画像とし、該測定用画像と前記ランドマークとのパターン認識により前記測定用画像中からランドマークを認識する認識部と、撮像された測定用画像中に含まれるランドマークの３次元座標を予め具備し、前記認識されたランドマークの３次元座標に基づき撮像地点の３次元座標を後方交会法により測定するデータ処理作成部とを具備することを特徴とする３次元データ作成装置。
11. 前記データ処理作成部は、第１、第２地点の撮像地点の３次元座標を前記後方交会法により測定し、第２地点で撮像した測定用画像中の未知のランドマークについては第１、第２地点の撮像地点からの画像の対応付けに基づき前方交会法により未知のランドマークの３次元座標を測定する請求項１０の３次元データ作成装置。
12. 前記データ処理作成部は、所定の移動範囲に存在するランドマークの内、少なくとも、後方交会法に必要とされるランドマークの３次元座標を予め具備し、前記移動範囲中の撮像地点の３次元座標を後方交会法により測定する請求項１０の３次元データ作成装置。
13. ランドマークの３次元座標は前記３次元データ作成方法により求められる請求項１２の３次元データ作成装置。
14. ランドマークの３次元座標は、測量機によって予め測定して得られた請求項１２の３次元データ作成装置。
15. 周囲の景色を撮像し、デジタル画像を取得する撮像装置とを少なくとも有する位置検出センサと、ランドマーク画像をテンプレートとして有し、所定時間間隔で取得したデジタル画像を測定用画像とし、該測定用画像と前記ランドマークとのパターン認識により前記測定用画像中からランドマークを認識する認識部と、時間的に隣接する２つの測定用画像中のランドマークの対応付けを行なうことで、ステレオ測定を行い、少なくとも最初の２つの測定用画像を撮像した第１、第２の地点の３次元座標が既知であり、該２つの地点の３次元座標に基づき前方交会法により前記ランドマークの３次元座標を求め、求められた前記ランドマークの３次元座標と未知点である第３地点のステレオ測定結果に基づき後方交会法により第３地点の３次元座標を測定し、各撮像地点で取得した測定用画像に各撮像地点の３次元座標を関連付けるデータ処理作成部とを備えることを特徴とする３次元データ作成装置。
16. ＧＰＳ位置検出装置を更に具備し、第１、第２の地点の３次元座標はＧＰＳ位置検出装置により取得される請求項１５の３次元データ作成装置。
17. 前記第１、第２の地点の３次元座標は所定の手段で予め取得されている請求項１５の３次元データ作成装置。

Images