JP2009121945A - 地物位置測定方法 - Google Patents
地物位置測定方法 Download PDFInfo
- Publication number
- JP2009121945A JP2009121945A JP2007296228A JP2007296228A JP2009121945A JP 2009121945 A JP2009121945 A JP 2009121945A JP 2007296228 A JP2007296228 A JP 2007296228A JP 2007296228 A JP2007296228 A JP 2007296228A JP 2009121945 A JP2009121945 A JP 2009121945A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- image
- laser
- image sensor
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Navigation (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
【課題】 道路地物任意ポイントの測定を車載計測システムで高信頼、高精度的に取得する方法を提供する。
【解決手段】 GPS/IMUの測位データを利用して、Kalmanフィルタセンサーに基づく初期位置と姿勢の計算を用いて、画像センサーとレーザーセンサーの初期位置と姿勢情報を求める。これらの情報とレーザーデータを融合した連結ポイントの自動抽出から求めた画像連結ポイントを利用して、バントル調整計算手法に基づいて画像センサーの位置と姿勢の最適化計算から画像センサーの最適化位置と姿勢を計算する。レーザーセンサーの位置と姿勢最適化処理から画像センサーとレーザーセンサーの最適化位置と姿勢情報を求める。画像データとレーザーデータを融合した道路地物位置測定は、上記両センサーの最適化位置と姿勢情報を用いて、直接定位方法に基づいて地物の位置を求める。
【選択図】 図7
【解決手段】 GPS/IMUの測位データを利用して、Kalmanフィルタセンサーに基づく初期位置と姿勢の計算を用いて、画像センサーとレーザーセンサーの初期位置と姿勢情報を求める。これらの情報とレーザーデータを融合した連結ポイントの自動抽出から求めた画像連結ポイントを利用して、バントル調整計算手法に基づいて画像センサーの位置と姿勢の最適化計算から画像センサーの最適化位置と姿勢を計算する。レーザーセンサーの位置と姿勢最適化処理から画像センサーとレーザーセンサーの最適化位置と姿勢情報を求める。画像データとレーザーデータを融合した道路地物位置測定は、上記両センサーの最適化位置と姿勢情報を用いて、直接定位方法に基づいて地物の位置を求める。
【選択図】 図7
Description
本発明は、画像センサー、レーザーセンサーおよびGPS/IMU定位センサーから得た諸データを融合して、車載計測システムの道路地物の高自動化高精度的な地物位置測定方法に関する。
ここ数年、カーナビゲーションなどの地理情報システムデータの応用と普及に対して、迅速なデータ取得と更新が大きな課題になっている。このため、ステレオビデオカメラを搭載する車載計測システムが多く研究されている。このため、車載計測システムの位置測定は重要なキーポイントになっている。移動計測システムの位置定位問題を解決するために、GPS/IMU定位システムを利用する。また画像センサーを利用して地物の位置を測定する方法が多く利用されている。ここで、GPSはグロバール測位システムを言う。上空に隠蔽がない条件で、一定精度の測位結果が得られる。GPS信号の弱い個所には測位精度が悪くなる。IMUは慣性計測装置を言う。一定の時間内で精度を保っているが、時間を径つと共に、精度が悪くなる。両者の利欠点(メリット・ディメリット)を利用して、Kalmanフィルタリングに基づいた総合測位システムは一定の精度で一部の応用に対応できる。
一方、多くの車載計測システムは画像センサーだけを利用して地物の位置情報を獲得する。画像センサーを利用して地物の位置を測定するには、ステレオ画像マッチング手法しかできない。しかし、濃淡のない路面地物の任意ポイントの3次元位置測定にはステレオ画像マッチング手法が利用できない。
上記車載測位システムは一部の応用に対して、一定の精度で対応できるが、高精度の位置測定に対して更に高信頼、高精度的に地物位置の測定が求められている。この場合、GPS/IMU測位システムに基づく定位方法の精度が対応できない。そのため、車載計測システムが高品質のGPS信号を受信できない地域で、信頼できる定位精度が得られない。どのようにして信頼できる高精度の定位情報を得るかが、本発明が解決しようとする課題である。一方、本発明が解決しようとする他の課題は、濃淡変化のあまりない地物の測定ができない問題も解決することにある。
上記課題を解決ために本発明は、画像データ、レーザー点群データおよびGPS/IMU測位データを融合した高信頼、高精度の道路地物位置計測アルゴリズム(方法)を提供する。
本発明は、車載計測システムから取得した系列画像の相対位置を計算できるという幾何関係を利用して、更にレーザー点群データを用いて系列画像間の連結ポイント(Tie Point)の抽出を補正することにより、高精度の地物測定アルゴリズム(方法)を提供する。具体的には、次項に示すとおりである。
すなわち、本発明に係る地物位置測定方法は、GPS/IMUの測位データを用いて、Kalmanフィルタ(カルマンフィルタ)に基づく画像センサー及びレーザーセンサーの初期位置および姿勢情報を取得する位置・姿勢取得ステップと、当該画像センサーと当該レーザーセンサーの初期位置及び姿勢情報、当該画像センサーの画像データ、並びに当該レーザーセンサーのレーザーデータを融合した連結ポイント(Tie Point)を自動抽出して画像連結ポイントを取得する連結ポイント取得ステップと、当該取得した画像連結ポイント及び地面基準点(GCP)を利用して、バントル調整計算手法に基づいて撮影地点における当該画像センサーの位置及び姿勢を最適化処理することによって当該画像センサーの撮影地点における位置と姿勢情報を取得する位置・姿勢最適化ステップと、当該画像センサー及び当該レーザーセンサーの位置と姿勢最適化処理から当該画像センサー及び当該レーザーセンサーの撮影地点間における任意地点の最適位置と姿勢情報を取得する位置・姿勢最適情報取得ステップと、当該画像センサー及びレーザーセンサーの最適化位置及び姿勢情報を用いて、画像データとレーザーデータを融合した道路地物位置測定を直接定位方法(Direct-Georeference)に基づいて行う地物位置測定ステップと、を含めてなることを特徴とする。
本発明によれば、GPS/IMUの測位データ、画像センサーの画像データ及びレーザーセンサーのレーザーデータからなるマルチセンサーデータを融合する技術を用いて、車載計測システムに信頼できる高精度の位置情報を求めることができる。特にGPS信号が弱い地区でも高精度の位置測定が可能である。また、写真測量バンドル調整計算方法に基づく画像センサーの位置と姿勢の最適化処理手法を用いてGPS/IMU測位システムの定位データを補助、最優化処理するので、車載計測システムのGPS信号弱い地区の位置測定精度の低下を防ぐことができる。バントル調整計算方法を利用して、画像センサーの位置と姿勢を取得するため、大量の画像連結ポイントが必要である。しかし、画像処理手法で系列画像から自動的に大量な画像連結ポイント(Tie Point)の抽出が困難である。本発明は画像データとレーザーデータを融合する技術を用いているので、レーザーデータを合わせて画像連結ポイントの自動抽出を容易にしている。写真測量バンドル調整計算方法で得られた画像センサーの位置と姿勢情報およびGPS/IMU測位システムから得られたオリジナル位置情報を利用して、レーザーセンサーの最適化位置と姿勢を求めることができる。画像センサーとレーザーセンサーの最適化処理した位置と姿勢情報および直接定位方法を用いて、道路地物の位置を高精度的に測定する。しかし、ステレオ画像マッチングだけを利用する場合、濃淡のない地物の位置測定が不可能であるが、本発明によれば係る位置測定が可能となる。
本発明によれば、写真測量バンドル調整計算方法で求めたセンサーの位置と姿勢情報とGPS/IMU測位システムのオリジナルデータで求めたレーザーセンサーの最適化位置と姿勢を用いて、道路地物任意ポイントの測定を車載計測システムで高信頼、高精度的に取得することができる。さらに本発明は画像データとレーザーデータを融合した地物測定方法であるから、画像データだけを利用した濃淡のない地物が測定できない問題を解決したため、濃淡のない地表面の任意ポイントの測定が可能である。
図6に示すフローチャートに基づいて、本発明に係る地物測定方法の概略について説明する。地物測定方法は、位置・姿勢取得ステップ(S1)と、連結ポイント取得ステップ(S3)と、位置・姿勢最適化ステップ(S5)と、位置・姿勢最適化情報取得ステップ(S7)と、最後の地物位置測定ステップ(S9)と、の手順で処理される。位置・姿勢取得ステップは、GPS/IMUの測位データを用いて、Kalmanフィルタに基づく画像センサー及びレーザーセンサーの初期位置および姿勢情報を取得する処理であり、連結ポイント取得ステップは、当該画像センサーと当該レーザーセンサーの初期位置及び姿勢情報、当該画像センサーの画像データ、並びに当該レーザーセンサーのレーザーデータを融合した連結ポイントを自動抽出して画像連結ポイントを取得する処理である。さらに、画像センサー情報取得ステップは、当該取得した画像連結ポイントを利用して、バントル調整計算手法に基づいて当該画像センサーの位置と姿勢の最適化処理から当該画像センサーの最適化位置と姿勢情報を取得するステップであり、レーザー情報取得ステップは、当該レーザーセンサーの初期位置と姿勢最適化処理から当該レーザーセンサーの最適化位置と姿勢情報を取得する処理である。そして最後の地物位置測定ステップは、当該画像センサー及びレーザーセンサーの最適化位置及び姿勢情報を用いて、画像データとレーザーデータを融合した道路地物位置測定を直接定位方法に基づいて行う処理である。詳細については、項を改めて説明する。
まずGPS/IMUの測位データ、Kalmanフィルタセンサーを用いて、画像センサーとレーザーセンサーの初期位置および姿勢情報を求める(S10)。現在多くの車載計測システムはこの方法を利用して、地物の3次元位置を求める。しかし、GPS測位の欠点は、Kalmanフィルタセンサーに基づくGPS/IMU測位データだけを利用する場合、高精度の地物位置測定ができない。高信頼、高精度の測位情報を求めるために、本発明は車載計測システムが取得した系列画像の相対位置を計算できるという幾何関係を利用して、写真測量バントル調整計算手法を用いて、GPS/IMU測位システムから求めたセンサーの位置情報を最適化処理して、高精度のセンサー位置情報を求める。この高精度のセンサー位置情報を利用して、高精度の地物位置情報が求められる。
写真測量バンドル手法を用いて画像センサーの位置を最適化処理するために、系列画像の連結ポイントが必要である。これは同一地物ポイントの隣接画像上の位置という。大量の連結ポイントが必要であるため、できる限り自動取得が望ましい。しかし、画像データだけを利用して画像連結ポイントの取得には以前から写真測量の難題であるため、自動的に大量の連結ポイントの取得は大きい課題である。本発明ではレーザーセンサーから直接地物表面の3次元座標を求める特徴を利用して、系列画像間の画像連結ポイントの自動取得ための信頼できるマッチング方法を開発した(S11)。
図2は隣接画像だけを利用して画像連結ポイントの自動抽出は困難であることを示す。左写真のAポイントに対して、右写真に幾つ似ているポイントが存在する。エピポラーラインを条件にして右画像のBポイントをマッチングして取得することができるが、ポイントがエピポラーラインと並行にある場合、Bポイントのマッチングがほぼ不可能である。しかし、レーザー3次元点群データがある場合、Aポイントが左写真上に1つの3次元ポイントに位置するに対して、写真測量の投影方法を利用して、右写真で同じ位置のBポイントを取得することができる。
自動抽出した大量の系列画像間の連結ポイントおよび既存の地面基準点(GCP)を利用して、バンドル調整計算に基づいて画像センサーの位置及び姿勢を最適化計算することができる(S12)。
写真測量の基本方程式(数1)は、1つの連結ポイントに対して、所在画像毎に1つの方程式が存在する。
数1に示すxpとypは連結ポイントの画像上の写真座標、x0,y0,f,△x,△yは画像センサーの内部標定要素およびセンサーの変形パラメータである。これらのパラメータはセンサーを標定したときに得られる。X,Y,Zは求める連結ポイントの3次元座標である。他の重要な未知数はセンサー位置パラメータXs,Ys,Zsと姿勢パラメータを含むa1,a2,a3,b1,b2,b3,c1,c2,c3である。未知パラメータの初期値はセンサーの初期定位情報から求められる。これは後の最適化処理に対してとても重要である。数2は、数1を他の形式で表現したものである。
数2において、lは連結ポイントの画像座標観測値、xは未知パラメータを示す。この方程式を一次方程式に変換して、次に示す数3を求める。
数3において、f(x0)はポイントの推測値、Aはヤコビマトリックス、δは未知数の推測値と連結ポイントの初期値の差分である。δを未知数の初期値に加えて、未知数は初期値より正確な推測値を得ることができる。次項に示す最小二乗法方程式(数4)を成立させる。
このような時系列画像の最適化処理により、オリジナルセンサー位置(初期センサー位置)情報より更に高精度の位置情報が得られる。ここで撮影地点の画像センサーの位置と姿勢情報の最適化処理を行うだけで、図3のように、最適化したポイントの位置情報とGPS/IMU測位システムのオリジナル測位データを統合して計算しなければならない。求められた位置情報を最適化したポイントに通過させる。これによって、レーザーセンサーの位置情報が最適化処理、補正される(S13)。このような位置情報を利用して地物の高精度的な位置測定情報が得られる。
それから地物の測定を行う(S14)。上記得られたセンサーの最適位置と姿勢情報を利用して、直接定位方法(Direct Georeference)に基づいて高精度の地物位置を求める。本発明は画像データとレーザーデータを融合した地物測定方法を提出した。この方法は濃淡のない地物の任意ポイントの測定が可能になる。しかし、ステレオ画像マッチングだけを利用する場合、濃淡のない地物の位置測定が不可能である。図4は3次元レーザー点群データを利用して、濃淡のない路面の3次元位置の測定を示す。レーザーデータがない場合とても困難である。
図7を参照しながら、これまで説明した道路地物位置測定方法を実施するための車両について説明する。車両101は、その天井に2台のステレオカメラ(画像センサー)103R,103Lと、GPS(全地球測位システム)の一部を構成するGPSアンテナ105,105と、レーザーセンサー107と、を備えている。車両101の内部には、IMUセンサー(慣性姿勢計測装置)109と、GPSシステムの一部として、また、各センサーから得たデータを処理して地物を測定する地物位置測定装置として機能するコンピュータ111を搭載してある。ステレオカメラ103Lは車両101の進行方向に向かって左側のカメラであり、ステレオカメラ103Rは同じく右側のカメラである(図7では、ステレオカメラ103Lの裏側で見えない)。GPSアンテナ105は、少なくとも1個あれば足りるが、本実施形態ではより正確なデータを得るために2個とした。必要に応じて3個以上とすることもできる。車両101に搭載したレーザーセンサー107は1個であるが、複数でもよい。たとえば、車両101の屋上の四隅に各々1個合計4個を設置すると、前方の2個のみでは検知できなかった地物(たとえば、電柱や樹木の進行方向側裏側)等を後方の2個との併用によって検知することができる。つまり、上記した電柱や樹木の逆進行方向側裏側は前方2個のレーザーセンサーによって検知可能であるが、その電柱や樹木を通過したときに進行方向側の裏側は前方2個のレーザーセンサーの背面に位置するため検知不能である(死角となる)。この点、後方にも併せて2個のレーザーセンサーを配しておくことによって、上記進行方向側裏側の死角部分をも検知可能となる。上記の各センサーから得たデータは、コンピュータ111によって処理され、これによって地物位置の測定が行われる。
101 車両
103R,L ステレオカメラ
105 GPSアンテナ
107 レーザーセンサー
109 IMUセンサー
111 コンピュータ
103R,L ステレオカメラ
105 GPSアンテナ
107 レーザーセンサー
109 IMUセンサー
111 コンピュータ
Claims (1)
- GPS/IMUの測位データを用いて、kalmanフィルタに基づく画像センサー及びレーザーセンサーの初期位置および姿勢情報を取得する位置・姿勢取得ステップと、
当該画像センサーと当該レーザーセンサーの初期位置及び姿勢情報、当該画像センサーの画像データ、並びに当該レーザーセンサーのレーザーデータを融合した連結ポイントを自動抽出する自動抽出ステップと、
当該取得した画像連結ポイント及び地面基準点を利用して、バントル調整計算手法に基づいて撮影地点における当該画像センサーの位置及び姿勢を最適化処理することによって当該画像センサーの撮影地点における位置と姿勢情報を取得する位置・姿勢最適化ステップと、
当該画像センサー及び当該レーザーセンサーの位置と姿勢最適化処理から当該画像センサー及び当該レーザーセンサーの撮影地点間における任意地点の最適位置と姿勢情報を取得する位置・姿勢最適情報取得ステップと、
当該画像センサー及びレーザーセンサーの最適化位置及び姿勢情報を用いて、画像データとレーザーデータを融合した道路地物位置測定を直接定位方法に基づいて行う地物位置測定ステップと、を含めてなる
ことを特徴とする地物位置測定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007296228A JP2009121945A (ja) | 2007-11-15 | 2007-11-15 | 地物位置測定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007296228A JP2009121945A (ja) | 2007-11-15 | 2007-11-15 | 地物位置測定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009121945A true JP2009121945A (ja) | 2009-06-04 |
Family
ID=40814254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007296228A Pending JP2009121945A (ja) | 2007-11-15 | 2007-11-15 | 地物位置測定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009121945A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10921460B2 (en) | 2017-10-16 | 2021-02-16 | Samsung Electronics Co., Ltd. | Position estimating apparatus and method |
CN114894110A (zh) * | 2022-03-24 | 2022-08-12 | 西安电子科技大学 | 智能蒙皮天线结构变形标定的方法 |
-
2007
- 2007-11-15 JP JP2007296228A patent/JP2009121945A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10921460B2 (en) | 2017-10-16 | 2021-02-16 | Samsung Electronics Co., Ltd. | Position estimating apparatus and method |
CN114894110A (zh) * | 2022-03-24 | 2022-08-12 | 西安电子科技大学 | 智能蒙皮天线结构变形标定的方法 |
CN114894110B (zh) * | 2022-03-24 | 2023-03-14 | 西安电子科技大学 | 智能蒙皮天线结构变形标定的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3631494B1 (en) | Integrated sensor calibration in natural scenes | |
JP5227110B2 (ja) | Gps付全方位カメラ及び空間データ収集装置 | |
JP4600357B2 (ja) | 測位装置 | |
JP6543520B2 (ja) | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム | |
CN108692719B (zh) | 物体检测装置 | |
JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
KR100647807B1 (ko) | 그림자 분석을 통한 3차원 건물정보 추출방법 | |
US8059887B2 (en) | System and method for providing mobile range sensing | |
JP5389964B2 (ja) | 地図情報生成装置 | |
US20110282580A1 (en) | Method of image based navigation for precision guidance and landing | |
US20130236107A1 (en) | Moving image processing device, moving image processing method, and recording medium having moving image processing program | |
CN110411457B (zh) | 基于行程感知与视觉融合的定位方法、系统、终端和存储介质 | |
JP6433200B2 (ja) | 演算装置、演算方法、およびプログラム | |
US10996337B2 (en) | Systems and methods for constructing a high-definition map based on landmarks | |
KR101255461B1 (ko) | 도로시설물 자동 위치측정 방법 | |
CN103411587A (zh) | 定位定姿方法及系统 | |
JP6135972B2 (ja) | 標定方法、標定プログラム、及び標定装置 | |
JP5716273B2 (ja) | 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム | |
JP7114165B2 (ja) | 位置計算装置、及び、位置計算プログラム | |
JP3808833B2 (ja) | 空中写真測量方法 | |
JP4752319B2 (ja) | 画像認識装置及び画像認識方法 | |
WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
JP2009121945A (ja) | 地物位置測定方法 | |
JP4892224B2 (ja) | 路面標示自動計測システム、装置及び方法 | |
CN115950435A (zh) | 无人机巡检影像的实时定位方法 |