JP2002031528A

JP2002031528A - モービルマッピング用空間情報生成装置

Info

Publication number: JP2002031528A
Application number: JP2000214766A
Authority: JP
Inventors: Yutaka Shimogaki; 豊下垣; Motomu Tsuji; 求辻; Tatsuo Konno; 達夫今野; Ryosuke Shibazaki; 亮介柴崎; Kisei Cho; 卉菁趙
Original assignee: Asia Air Survey Co Ltd
Current assignee: Asia Air Survey Co Ltd
Priority date: 2000-07-14
Filing date: 2000-07-14
Publication date: 2002-01-31
Anticipated expiration: 2020-07-14
Also published as: JP4486737B2

Abstract

(57)【要約】【課題】都市空間等の複雑な事物であってもレーザに
よる測距離データと画像データとを容易に精度良くマッ
チングさせた空間画像を得ることができるモービルマッ
ピング用空間情報生成装置を得る。【解決手段】モービルマッピング用空間情報生成装置
は、移動体１の屋根の後方に固定された画像取得装置１
２のレーザ２Ａ、２Ｂ、２Ｃ及びマルチラインカメラ３
Ａ、３Ｂ（それぞれ３個の魚眼レンズとラインセンサと
を有する）並びにハイブリット慣性航法装置及びＤＧＰ
Ｓによって取得された地物までの距離データＡｉ（Ａ
１、Ａ２、Ａ３）と、ラインセンサの画像データＤｉ
（Ｄ１、Ｄ２、Ｄ３）と、位置データＢｉ、姿勢データ
θｉと、ＧＰＳデータＦｉ（ＧＰＳ時刻データｆ１、位
置データｆ２）とを取り込んで、距離データＡｈと画像
データＤｉと位置データＢｉ、姿勢データθｉとを自動
的に精度良くつなぎ合わせた空間モデルを生成すること
によって、空間情報をグラフィック化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、都市空間等の複雑
な事物であってもレーザによる測距離データと画像デー
タとを容易に精度良くマッチングさせたモービルマッピ
ング用空間情報生成装置に関する。

【０００２】

【従来の技術】都市の３次元画像を得る場合において、
ＣＡＤで行った場合は、既存の地図又は写真を用いて手
作業で作成しなければならないので、非常に時間がかか
る。また、実際の画像、計測データを用いないのでリア
リティに欠ける。

【０００３】そこで、近年は、エリアセンサを用いるス
テレオ写真から建物や道路、樹木等（以下総称して地物
という）の３次元情報を計測している。

【０００４】

【発明が解決しようとする課題】物体全体の形状情報を
精度良く得るには、複数の地点、方向から計測されたレ
ンジ画像（ビュー）を同じグローバル座標系につなぎ合
わせなければならない。

【０００５】また、都市空間は地物が乱立しており、同
一の視点からの計測のみでは隠蔽部を計測できない。

【０００６】従って、都市空間等でレーザによる測距離
データと画像データとをマッチングさせ、隠蔽部を少な
くし、かつ高解像度の画像を得ることは極めて困難であ
るという課題があった。

【０００７】本発明は以上の課題を解決するためになさ
れたもので、都市空間等の複雑な事物であってもレーザ
による直接的に求められた地物までの測距離データと画
像データとを自動的に精度良く３次元の地図座標上にマ
ッチングさせた空間画像を効率良く得ることができるモ
ービルマッピング用空間情報生成装置を得ることを目的
とする。

【０００８】

【課題を解決するための手段】請求項１は、魚眼レンズ
とラインセンサとを組み合わせたカメラを水平に所定の
撮像角度を有して３台併設してなる２個のマルチライン
カメラと、ＤＧＰＳ受信器と、異なる方向にレーザを発
射して受信する３台のレーザスキャナと、慣性航法装置
とを移動体上に固定して移動しながら得たカメラデー
タ、レーザデータ、位置姿勢からなるＩＮＳデータ、Ｇ
ＰＳ時刻を用いて３次元グラフィック画像を生成するモ
ービルマッピング用空間情報生成装置であって、前記Ｇ
ＰＳ時刻を有するカメラデータ、レーザデータに対し
て、前記ＧＰＳ時刻を有する前記ＩＮＳデータを結びつ
ける手段と、前記各レーザスキャナのレーザデータを読
み込み、それぞれのレーザデータが示す測定点までの距
離値、測定点に対するレーザ方向の角度を、前記ＩＮＳ
データを基準にしてそれぞれの３次元の地理座標に定義
する手段と、前記それぞれの３次元の地理座標に定義さ
れた各レーザの単方向モデルを３次元座標上に合成する
手段と、前記合成モデルを所定条件に従った平面に分割
し、該分割エリアをポリゴン化する手段と、前記ポリゴ
ンの各距離値、角度に結びつけられる画像データをカメ
ラデータの前記ＩＮＳデータに基づいて検索し、該検索
した画像データを前記ポリゴンに割り付けて前記３次元
グラフィック画像を生成する手段とを備えたことを要旨
とする。

【０００９】請求項２は、前記カメラデータは第１の所
定間隔の撮影時刻で、前記ＩＮＳデータは第２の所定間
隔（第１の所定間隔＜第２の所定間隔）の計測時刻で、
前記レーザデータは第３の所定間隔（第２の所定間隔＜
第３の所定間隔）の測定時刻で行われ、前記結びつける
手段は、前記カメラデータの前記第１の所定間隔の時刻
に同期する前記レーザデータ、前記ＩＮＳデータを補間
して結び付けることを要旨とする。

【００１０】請求項３は、前記第２の所定間隔で前記移
動体の位置、及び姿勢からなる前記ＩＮＳデータを計測
したとき、前記ＧＰＳ時刻と同期を取った前記所定精度
以下の計測時刻とと遅れ時間とから前記ＩＮＳデータの
正確な計測時刻を求める手段とを起動させて前記各デー
タを結びつけさせることを要旨とする。

【００１１】請求項４は、平面の抽出は、前記平面に分
割したとき、これらのレンジセルが予め設定したしきい
値の範囲内で、レンジポイントが空間平面に回帰したと
き、その平面を抽出することを要旨とする。

【００１２】請求項５は、前記平面に分割したとき、こ
れらのレンジセルが予め設定したしきい値の範囲内で、
レンジポイントが空間平面に回帰しないときは所定の間
このプロセスを繰り返して最小の平面を抽出することを
要旨とする。

【００１３】

【発明の実施の形態】＜実施の形態１＞図１は本実施の
形態１のモービルマッピング用空間情報生成装置の概略
構成図である。

【００１４】本実施の形態のモービルマッピング用空間
情報生成装置は、移動体１の屋根の後方に固定された画
像取得装置１２のレーザ２Ａ、２Ｂ、２Ｃ及びマルチラ
インカメラ３Ａ、３Ｂ（それぞれ３個の魚眼レンズとラ
インセンサとを有する）並びにハイブリット慣性航法装
置及びＤＧＰＳによって取得された地物までの距離デー
タＡｉ（Ａ１、Ａ２、Ａ３）と、ラインセンサの画像デ
ータＤｉ（Ｄ１、Ｄ２、Ｄ３）と、位置データＢｉ、姿
勢データθｉと、ＧＰＳデータＦｉ（ＧＰＳ時刻データ
ｆ１、位置データｆ２）とを取り込んで、距離データＡ
ｈと画像データＤｉと位置データＢｉ、姿勢データθｉ
とを自動的に精度良くつなぎ合わせた空間モデルを生成
することによって、空間情報をグラフィック化する。

【００１５】本実施の形態のモービルマッピング用空間
情報生成装置の構成を説明する前に、空間情報取得装置
について簡単に説明する。

【００１６】前述の画像取得装置１２のマルチラインカ
メラ３Ａ、３Ｂについて図２、図３を用いて説明する。
図２はマルチラインカメラの側面図、図３はマルチライ
ンカメラの正面図である。

【００１７】マルチラインカメラ３は、図２に示すよう
に、魚眼レンズ６の後方に、画素の配列方向が鉛直方向
になるようにラインセンサ７を設けた光学系部８と、ラ
インセンサ７を駆動して被写体を撮像し、この撮像信号
を送出するカメラ本体９とからなるラインカメラ１０を
図３に示すように水平方向に３個併設して一体化（それ
ぞれを区別のために本実施の形態では、第１のラインカ
メラ１０ａ、第２のラインカメラ１０ｂ、第３のライン
カメラ１０ｃと称する。

【００１８】また、第１のラインカメラ１０ａ、第２の
ラインカメラ１０ｂ、第３のラインカメラ１０ｃは、中
央の第２のラインカメラ１０ｂを挟んで、両脇の第１の
ラインカメラ１０ａ、第３のラインカメラ１０ｃの撮像
方向が第２のラインカメラ１０ｂの撮像方向に対して４
５度となるように水平方向に一体化されている。

【００１９】そして、このようなマルチラインカメラ３
Ａ、３Ｂは、図４に示すように、平面板である架台４に
固定される。この架台４は図５に示すように移動体１の
後方に取り付けられ、マルチラインカメラ３Ａ、３Ｂ
は、それぞれの第２のラインカメラ１０ｂの撮像方向が
進行方向に対して垂直となるように架台４の両脇の中央
部に取り付けられている。

【００２０】また、架台４には、３台のレーザスキャナ
２Ａ、２Ｂ、２Ｃがそれぞれ所定角度ずらして配置され
ている。

【００２１】また、、架台４のほぼ中央部に設置された
ＤＧＰＳアンテナ４と、ＤＧＰＳ受信器（車内）と、ハ
イブリット慣性後航法装置１１（ＩＮＳともいう）とを
備えている。

【００２２】レーザスキャナ２Ａ、２Ｂ、２Ｃは、それ
ぞれテーパ面（傾斜を有する鏡）が回転自在なスキャナ
ヘッド２ａ、２ｂ、２ｃを有し、車両後部上の架台４の
両側の角部とその中央部にそれぞれ取り付けられてい
る。

【００２３】例えば、架台４の後方中央にレーザスキャ
ナ２Ａと配置し、このレーザスキャナ２Ａに対して水平
に４５度傾いて取り付けられている。この３台のレーザ
スキャナ２Ａ、２Ｂ、２Ｃは、パルス幅の非常に短い赤
外線レーザをスキャナヘッド２ａ、２ｂ、２ｃから照射
し、このレーザが建物や樹木等の地物から反射して戻っ
て来るまでの時間から距離を求めると共に、レーザを発
信したときのスキャナヘッド２ａ、２ｂ、２ｃの回転角
度と合わせて３６０度方向の断面プロファイル測定を行
い、距離データとレーザ角度データと得る。

【００２４】このような画像取得装置１２を移動体１に
搭載して走行して、図５に示すように周囲の画像及び距
離データ、位置、姿勢、角度を取得している。

【００２５】つまり、中央の第２のラインカメラの前に
樹木があった場合は、樹木を含んだ建物の映像が撮影さ
れるが、走行しているので、樹木位置をすぎたときに第
２のラインカメラで撮影できなかった樹木の裏の映像を
第１のラインカメラが得ることになる。また、それぞれ
のラインセンサは垂直方向に取り付けているので、魚眼
レンズから得る映像は垂直方向で１８０度以上の線画像
となる。

【００２６】また、同時に３台のレーザスキャナによっ
て、周囲の地物の各点の車との距離が取得される。

【００２７】本実施の形態１に用いる距離データＡｈ、
画像データＤｉ、位置データＢｉ、姿勢データθｉは、
このような移動体１によって取得したデータを用いてい
ることが前提となっている。

【００２８】また、距離データＡｈは２０Ｈｚ、画像デ
ータＤｉは１００Ｈｚ、位置姿勢データは５０Ｈｚの周
期でそれぞれ取得されている。

【００２９】次に、図１の構成を説明する。図１に示す
ように、本実施の形態のモービルマッピング用空間情報
生成装置１５は、距離データＡｈが記憶されたファイル
１６と、位置データＢｉ、姿勢データθｉが記憶された
ファイル１７と、画像データＤｉが記憶されたファイル
１８と、データ取込処理部２０と、データ同期処理部２
１と、センサキャリブレーション処理部２２と、単方向
モデル生成処理部２３と、多方向モデル合成処理部２４
と、サーフェースモデル生成処理部２５と、画像マッピ
ング処理部２６と、３次元グラフィックデータが記憶さ
れるデータベース２７と、マルチラインカメラセンサキ
ャリブレーション処理部３３（カメラキャリブレーショ
ン処理部ともいう）とを備えている。

【００３０】前述の各ファイルの画像データＤｉ、距離
データＡｈ、位置データＢｉ、姿勢データθｉについて
図６を用いて説明する。但し、本説明では画像データＤ
ｉは、片側のマルチラインカメラの画像データＤｉとし
て説明する。また、距離データＡｉは、一台のレーザス
キャナからの距離データＡｈとして説明する。

【００３１】画像データＤｉは、マルチラインカメラの
ラインカメラによって取得されたものであり、マルチラ
インカメラ制御装置（図示せず）が内部タイマーを予め
ＧＰＳ時刻と時刻合わせを行って時刻を計測し、カメラ
スタートパルスが１０ｍｓｅｃ（１００Ｈｚ）で入力す
る毎に、ラインセンサを駆動させて撮像させていると共
に、撮影時のＧＰＳ時刻Ｔｇと、ＰＰＳ信号からカメラ
スタートパルスの計測時刻Ｄｔと、カメラスタートパル
スが入力したときの内部タイマーの時刻Ｄｔｓ（撮影時
刻という）とを対応させて記憶している。

【００３２】つまり、ファイル１８には、図６の（ａ）
に示すように１００Ｈｚ周期（１０ｍｓｅｃ毎）で取得
された３ライン分の画像データＤｉがＧＰＳ時刻Ｔｇと
計測時刻Ｄｔと撮影時刻Ｄｔｓとが対応させれたレコー
ド単位で記憶されている。また、このレコードには年月
日が付加される場合もある。むろん、レコード単位では
なく、１走行あたりのファイルのヘッダとして付加して
もよい。

【００３３】さらに、このファイル（カメラ）には受注
番号、画像データ番号、レンズ焦点距離、レンズ絞り、
撮影幅、ルート名、測定者、照度、発注先などが付加さ
れているのが好ましい。これらのデータを総称して単に
カメラデータと称する。

【００３４】また、距離データＡｈは、レーザスキャナ
によって計測された地物の点までの距離データＡｈであ
り、レーザ制御装置がレーザスキャナーに対して各種指
令及び距離データＡｈを読み込む。

【００３５】このレーザ制御装置（図示せず）は、内部
タイマーを予めＧＰＳ時刻に合わせ、ＰＰＳ信号が入力
する毎に内部タイマーの同期をとり、２０Ｈｚ毎にレー
ザを発射させると共にデータ取得を行っている。また、
このとき、レーザスキャナのスキャンヘッドを回転させ
ている（５０ｍｓｅｃで一回転）。

【００３６】そして、レーザを受信したときのＧＰＳ時
刻Ｔｇ（レーザを発射したときにＧＰＳ時刻が入力する
と、そのＧＰＳ時刻、レーザを発射したときにＧＰＳ時
刻が入力しない場合は、前のＧＰＳ時刻）と、測定時の
レーザの内部タイマー時刻Ａｔ（距離測定時刻）とレー
ザ測定角度Ａｒ（スキャンヘッドの回転角度：Ａｒ＝Ａ
ｒｐ１、Ａｒｐ２…３６０）とレーザが当たった点まで
の距離Ａｈとを求めて記憶している。

【００３７】つまり、ファイル１６には、図６の（ｂ）
に示すように、２０Ｈｚ周期（５０ｍｓｅｃ毎）で取得
されたレーザの測定角Ａｒと、測定距離Ａｈと、測定時
のＧＰＳ時刻Ｔｇと距離計測時刻Ａｔとが対応させれた
レコード単位で記憶されている。また、このレコードに
は年月日が付加される場合もある。むろん、レコード単
位ではなく、１走行あたりのファイルのヘッダとして付
加してもよい。

【００３８】さらに、このファイル（レーザ）には天
気、気温等が付加されているのが好ましい。

【００３９】このような各データを単にレーザデータと
称する。

【００４０】また、位置データＢｉ、姿勢データθｉ
は、ＩＮＳによって測定されたものであり、ＩＮＳの内
部タイマー（カメラ、レーザ用の内部タイマーと比べて
時刻計測精度が粗い）は、ＰＰＳ信号が入力する毎に内
部タイマーの同期をとり、５０Ｈｚの周期間隔で測定パ
ルスを送出して、ＧＰＳからの基準位置と推測航法演算
による自装置の位置とから高精度の位置データＢｉを求
めると共に、傾きを求め（姿勢データθｉ）、かつＰＰ
Ｓ信号から測定パルスが入力するまでの内部タイマーに
よる時刻（タイムタグ）を求めてＧＰＳ時刻データを記
録し、これを位置データＢｉ、姿勢データθｉに付加し
ている。

【００４１】つまり、ファイル１７には、図６の（ｃ）
に示すように２０ｍｓｅｃ毎の位置データＢｉ、姿勢デ
ータθｉ、ＧＰＳ時刻Ｔｇ、測定時刻ＩＮＴと対応させ
らｒて記憶されている。

【００４２】このような各データを単にＩＮＳデータと
称する。

【００４３】データ取込処理部２０は、年月日、ルー
ト、測定者、撮影時間帯が入力されると、これらの関連
するデータをファイル１６、１７、１８から内部に取り
込む。

【００４４】例えば、２０００年、６月１日、３時から
４時の場合は、年月日とＧＰＳ時刻Ｔｇを読み、２００
０年、６月１日、３時から４時の間のデータを順次内部
のメモリ３０（カメラデータ用）、メモリ３１（ＩＮＳ
データ用）、メモリ３２（レーザデータ用）に取り込
む。

【００４５】データ同期処理部２１は、データが取り込
まれる毎に、各データの同期合わせ補間を行い、レーザ
データ、カメラデータに位置、姿勢データを結びつけ
る。

【００４６】センサキャリブレーション処理部２２は、
レーザの向き、それぞれの取り付け位置に応じて、位
置、姿勢、測距離間の相対関係を標定（キャリブレーシ
ョンデータ）する。

【００４７】また、カメラキャリブレーション処理部３
３は、カメラの向き、それぞれの取り付け位置に応じ
て、姿勢、画像データ間の相対関係を標定（キャリブレ
ーションデータ）する。

【００４８】単方向モデル生成処理部２３は、各レーザ
スキャンナのレーザデータをキャリブレーションデータ
を用いて地理座標における３次元モデルを各レーザ毎に
求める。

【００４９】多方向モデル合成処理部２４は、各方向の
レーザの３次元モデルを合成して精度の高いモデルを生
成する。

【００５０】サーフェースモデル生成処理部２５は、多
方向モデル合成処理部２４で生成された合成モデルの測
定点の集合から所定の条件に基づいて平面を抽出してサ
ーフェース化する。

【００５１】画像マッピング処理部２６は、サーフェー
スモデルの各面に対応するカメラデータを位置姿勢デー
タにより、割付して３次元グラフィック画像を生成す
る。

【００５２】上記のように構成されたモービルマッピン
グ用空間情報生成装置の動作を以下に説明する。

【００５３】データ取込処理部２０によって指定範囲の
各データがメモリ３０、３１、３２に記憶されると、デ
ータ同期処理部２１は、初めに、カメラデータにおいて
は、１００Ｈｚ周期（１０ｍｓｅｃ毎）で取得された１
個のラインカメラの画像データＤｉのＧＰＳ時刻Ｔｇを
読み込む。

【００５４】例えば、図６の（ａ）においては、ＧＰＳ
時刻は１０Ｈｚ周期で出力されるからＧＰＳ時刻Ｔｇ１
においては、１０個分の画像データＤｉ（Ｄ１１、Ｄ２
１、Ｄ３１、…Ｄ１０１）を引き当てる。１個のマルチ
ラインカメラは３個のラインカメラで構成されるので、
３個分のラインセンサの画像データを読み込んだとき
は、（Ｄ１１、Ｄ２１、Ｄ３１、…Ｄ１０１）と、（Ｄ
１２、Ｄ２２、Ｄ３２、…Ｄ１０２）と、（Ｄ１３、Ｄ
２３、Ｄ３３、…Ｄ１０３）とを読み込むことになる。

【００５５】また、データ同期処理部２１は、レーザデ
ータにおいては、２０Ｈｚ周期（５０ｍｓｅｃ毎）で取
得されたレーザデータを読み込む。

【００５６】例えば、図６の（ｂ）においては、ＧＰＳ
時刻は１０Ｈｚ周期で出力され、レーザデータは５０ｍ
ｓｅｃ毎に出力されるからＧＰＳ時刻Ｔｇ１においては
距離計測時刻Ａｔ１、Ａｔ２がとが読み込まれる。

【００５７】さらに、データ同期処理部２１は、ＩＮＳ
データにおいては、５０Ｈｚ周期（２０ｍｓｅｃ毎）で
ＧＰＳ時刻Ｔｇを読み、このＧＰＳ時刻Ｔｇ毎に、それ
ぞれの、タイムタグＩＮＴと位置データＢｉ、姿勢デー
タθｉと遅れ時間ｔｍとＧＰＳ時刻Ｔｇとを加算して正
確なＩＮＳ測定時刻ＩＴｈを求めてメモリ３１に順次記
憶する。

【００５８】例えば、図６の（ｃ）においては、ＧＰＳ
時刻は１０Ｈｚ周期で出力され、ＩＮＳデータは２０ｍ
ｓｅｃ毎に出力されるからＧＰＳ時刻Ｔｇ１においては
タイムタグＩＮＴ１…ＩＮＴ５、位置データＢ１…Ｂ
５、姿勢データθ１…θ５が読み込まれる。

【００５９】そして、このタイムタグＩＮＴ１と遅れ時
間ｔｍとＧＰＳ時刻Ｔｇ１とを加算して、それぞれの正
確なＩＮＳ測定時刻ＩＴｈを求め、図７に示すように、
これと位置データＢｉ、姿勢データθｉと対応させてメ
モリ３０に記憶する。

【００６０】次に、データ同期処理２１は、例えばメモ
リ３０に記憶したカメラデータの正確な撮影時刻Ｄｔｓ
を基準にして、この撮影時刻ＤｔｓのカメラデータＣＭ
ｉに一致するＩＮＳデータＮＭｉを補間して図９の
（ａ）に示すようにメモリ３０に記憶する。つまり、カ
メラデータに対応するＩＮＳデータを補間で得る。

【００６１】例えば、図８に示すように、１０ｍｓｅｃ
毎のカメラデータＣＭ１の正確な撮影時刻Ｄｔｓ１を読
み、このＤｔｓ１のカメラデータＣＭ１に同期するＩＮ
ＳデータＮＭＤ１の測定時刻ＩＴｈ１ｈ（補間された測
定時刻ＩＴｈ１ｈ）を補間する。

【００６２】また、同時に図９に示すように、この測定
時刻ＩＴｈ１ｈに基づいて、姿勢データθ１がθ１ｈに
補間され、位置データＢ１がＢ１ｈに補間される。

【００６３】同様に、カメラデータＣＭ２においても、
ＩＮＳデータＮＭ１とＮＭ２との間にＣＭ２に同期する
データ（ＩＮＳ測定時刻ＩＴｈ２ｈ、位置データＢ２
ｈ、姿勢データθ２ｈ）を補間する。

【００６４】一方、レーザデータＲＭｉと対応するＩＮ
ＳデータＮＭｉの補間は、例えば、図８に示すように、
５０ｍｓｅｃ毎のレーザデータＲＭｉに同期するＩＮＳ
データを補間する。

【００６５】例えば、図８に示すように、５０ｍｓｅｃ
毎のレーザデータの正確な時刻Ａｔ１を読み、このＡｔ
１に同期するＩＮＳデータ（図８においてはＮＭＤ２）
の測定時刻ＡＴｓ１ｈ（補間された測定時刻ＡＴｓ１
ｈ）を補間する。

【００６６】また、同時に図９に示すように、この測定
時刻ＡＴｓ１ｈに基づいて、姿勢データθ１がθθ１ｈ
に補間され、位置データＢ１がＢＢ１ｈに補間される。

【００６７】すなわち、データ同期処理部２１は、取り
込んだカメラデータ、ＩＮＳデータ、レーザデータとを
補間した時刻データを元にして結びつけている。

【００６８】そして、図１０に示すように、各レーザデ
ータＲＭ１、ＲＭ２、…に同期、補間したＩＮＳデータ
の位置姿勢データを対応させる。

【００６９】しかし、レーザとＩＮＳ、カメラとＩＮＳ
とは平面板１上では互いに異なる位置に配置されてい
る。このため、センサキャリブレーション処理部２２は
以下に説明する処理を行う。

【００７０】センサキャリブレーション処理部２２はレ
ーザの取り付け方向、取り付け位置等を図１１に示すよ
うに、複数の既知の基準点をレーザによって測定させ、
この測定時のａ^bおよびＲを数１に示すようにして定義
（例えば２月に一度）しておく。

【００７１】

【数１】そして、単方向モデル生成処理部２３は、メモリ３２の
レーザデータを入力する毎にキャリブレーションデータ
を用いて、地図座標における座標値（距離、角度、位
置、姿勢より求められる）を定義して、空間座標におけ
るレーザデータモデルを生成する。これは、レーザの３
方向について行っている。

【００７２】つまり、図１０の（ｂ）のレーザデータＲ
Ｍ（ＲＭＤ）は、図１２に示すような測定点の座標群に
変換して記憶される。そして、多方向モデル合成処理部
は、これらの３方向のレーザデータを地理座標空間にて
合成して、図１３に示すレーザモデルを得る。

【００７３】サーフェースモデル生成処理部２５は、こ
のレーザモデルを分割して図１４の（ａ）、（ｂ）、
（ｃ）に示すようにサーフェース化する。

【００７４】サーフェースを生成するに当たっての平面
パッチの抽出（図１４の（ｂ））は、初めにレンジポイ
ント（測定点）全体をあるルールによって分割する。分
割されたものをレンジセルと称する。分割に当たって
は、各レンジセルに注目して事前に設定したしきい値の
範囲内で対応するレンジポイントが空間平面に回帰でき
るかどうかを判断する（回帰の残差の分散値がしきい値
より小さいと一つの空間平面に回帰できると判断す
る）。

【００７５】そこで、一つの空間平面に回帰さらないレ
ンジセルはさらに分割し、このプロセスを繰り返す。

【００７６】分割が終わった後のレンジセルは平面パッ
チを抽出するプロセスにおける最小なユニットとなる。

【００７７】このような初期化によりレンジポイントを
幾つかのレンジセルに分割し（図１４の（ｂ））、各レ
ンジセルは最小二乗法による空間に一意な平面パッチに
対応しているので、空間物体の形状はこれらの平面パッ
チによって近似される。

【００７８】しかし、この時点での近似は、平面パッチ
の数が多くて近似効率が悪い、近似効率を高めるため
に、同じ平面に対応するレンジセルをマージしポリゴン
を生成する（図１４（ｃ）、図１５の（ａ）、
（ｂ））。このプロセスは、対応する平面がほぼ同一平
面上にある。すなわち、同じセンサ座標の原点から平面
に下ろした垂線の足の位置が最も近い２つのレンジセル
から始める。

【００７９】レンジセルをマージした結果として近似効
率は高まるが近似精度は悪くなる可能性もある。

【００８０】そこで、２つのレンジセルのマージするか
どうか、つまり、近似効率と近似精度のバランスは、Ｍ
ＤＬ（ＭｉｎｉｍｕｍＤｅｓｃｒｉｐｔｉｏｎＬｅ
ｎｇｈｔｈ）符号長が小さくなるかどうかによって決ま
る。

【００８１】次に、画像マッピング処理部２６は、サー
フェースモデルが生成されると、サーフェースモデルの
各ポリゴンを読み、このポリゴンに対応するカメラデー
タを位置姿勢データとカメラキャリブレーションデータ
より引き当て、この位置姿勢データに対応する全ての画
像データをポリゴンに割り当てた図１３の（ｂ）に示す
３次元グラフィック画像を生成する。

【００８２】つまり、この３次元グラフィック画像に
は、３次元位置とデータとが対応させられていることに
なるから、例えば地図座標に定義されたカーナビに本３
次元画像データを記憶しておくと、カーナビ画像の道路
上の所定の点を選択すると、その点の建物の３次元画像
を得ることができる。

【００８３】なお、以下に本発明に係る装置の代表的な
用途例について説明する。

【００８４】（１）都市防災都市には道路、建物及び大小様々な施設が密集してお
り、上空からでは捉えられない地物も存在するが、本発
明の装置は、都市構造物の空間的な配置や３次元形状を
正確に再現させることが可能となるため、災害時の避難
・誘導シミュレーションや被害予測システムを構築する
上で極めて有効な情報を提供できる。

【００８５】（２）施設管理大都市では、電力、ガス、上下水道等の膨大なライフラ
イン網が複雑に入り組んでいる。既に、公共企業が独自
の管理システムを構築しているが、情報の相互運用を図
るための基準情報や不足情報の新規取得に効力を発揮す
る。この情報を利用すれば、３次元地図画像で電柱と建
物の位置関係を見て工事の場所を決めたり、既設設備の
位置や劣化状況を正確に把握させることが可能となる。

【００８６】＜実施の形態２＞本発明によって得られた
３次元グラフィック画像は、実映像のテクスチャー情報
を持つため、３次元ＣＧを利用したリアルな景観シュミ
レーション、都市の中を動き回るウォークスルーやサイ
バーショッピングに利用できる。

【００８７】例えば、タクシーは常に街を回っている
が、その間は客が乗っていなければ無駄な走行であるが
街の最新の様子を知ることになる。また、客を乗せて走
ったとしても、料金は走行距離だけである。そこで、図
１６に示すように、例えば実施の形態１で用いたマルチ
ラインカメラとＧＰＳ、カメラ制御装置からなる画像取
得装置をタクシーに搭載し、この画像データをセンター
に送信する。

【００８８】センターは携帯電話又はパソコンからの要
望地点の取得し、この地点の画像をその携帯又はパソコ
ンに送信して課金すると共に、タクシーの会社サーバに
は画像取得の履歴を配信しておき、後日その分を支払
う。

【００８９】前述の画像取得装置４０（レンタルが好ま
しい）は、携帯電話４１に接続され、センター側から携
帯電話４１で「ｘｘ通りのｘｘｘビル当たりを取得」と
いう指示があったときに、画像取得装置４０に対して撮
影指示を入力して撮影させ、このマルチラインカメラの
各ラインセンサの画像データを年月日とＧＰＳ時刻と対
応させてメモリ（図示せず）に順次記憶する。このデー
タを総称してカメラデータという。

【００９０】そして、タクシーのドライバーは撮影が終
わると、携帯電話４１を用いてメモリのカメラデータを
ネットワークを介してセンターに送信する。センターの
画像収集装置４２は、タクシーからカメラデータが送信
される毎に、携帯電話４１の電話番号（タクシーＩＤと
して用いる）とカメラデータとを対応させてデータベー
ス（図示せず）に記憶する。

【００９１】また、センターの配信・課金サーバ４３
は、ユーザの携帯電話４４又はパソコン４５から例えば
「渋谷」のエリア地図の配信要求を受けたとき、携帯電
話４４の電話番号又はパソコンのネットワークＩＤをデ
ータベース４６に記憶すると共に、渋谷の地図をデータ
ベース４７から検索し、これを送信する。この地図は地
理座標に定義付けられたものであり、この地図の所望の
地点が選択されると、その地点の緯度経度が分かる。

【００９２】そして、ユーザは、携帯電話４４又はパソ
コン４５の画面に表示された渋谷の地図の所望の地点を
選択し、カメラデータの欲しい時間帯を入力する。

【００９３】これによって、選択地点の緯度経度と時間
帯がネットワークを介してセンターに送信され、配信・
課金サーバ４３が受信する。

【００９４】配信・課金サーバ４３は、ユーザからの緯
度経度、時間帯を有するカメラデータがデータベース４
２に存在するかどうかを判断し、存在する場合は、その
カメラデータをユーザ側の携帯電話４４又はパソコン４
５に送信する。

【００９５】これによって、携帯電話４４又はパソコン
４５には、渋谷の所望の地点のビル前の様子等を画像で
判断できるので、例えばこれから行きたい店が混んでい
るか又は車が道路に複数停車しているかが分かる。

【００９６】そして、配信・課金サーバ４３は、ユーザ
に配信した時間帯のカメラデータを取得したタクシーＩ
Ｄと取得画像配信日時刻とをデータベース４８に記憶
し、後日これをタクシー会社のサーバ４９に配信してお
く。タクシー会社はこのサーバの配信データの回数から
予め定められた金額をセンターに請求する。

【００９７】また、配信・課金サーバ４３は、要求のあ
ったパソコン又は携帯電話４４のＩＤ又は電話番号、要
求エリア、時間等をデータベースに４６に記憶してお
り、これらのデータに基づく所定の課金を行って、銀行
のユーザの口座からセンターの口座に引き落とす。

【００９８】さらに、ユーザからの緯度経度、時間帯を
有するカメラデータがデータベース４２に存在しない場
合は、タクシーの携帯電話４１に電話をかけて、「渋谷
のｘｘビルをｘｘｘ時間帯で取得することを通報する。

【００９９】この通報は、タクシーにＧＰＳを搭載して
いるので、タクシー側から現在位置を常に取得し、渋谷
のｘｘビルをｘｘｘ時間帯で最も早く通過するタクシー
を見つけて、通報する。

【０１００】なお、上記のユーザは、報道関係、警察で
あってもよい。特に警察の場合は、通りの駐車違反及び
車両番号を直ぐに分かることになると共に治安に役立
つ。

【０１０１】

【発明の効果】以上のように本発明によれば、２個のマ
ルチラインカメラと、ＤＧＰＳ受信器と、３台のレーザ
スキャナと、慣性航法装置とを移動体上に固定して移動
しながら得たカメラデータ、レーザデータ、ＩＮＳデー
タ、ＧＰＳ時刻を用いて３次元グラフィック画像を生成
するとき、ＩＮＳデータの位置姿勢データをカメラデー
タ、レーザデータに結びつけた後に、これらのレーザデ
ータを地理座標において合成し、この３次元のレーザデ
ータを所定条件に従って分割した平面のポリゴンに、各
距離値、角度に結びつけられる画像データをカメラデー
タのＩＮＳデータに基づいて検索する。そして、該検索
した画像データをポリゴンに割り付けて３次元グラフィ
ック画像を生成する。

【０１０２】このため、都市空間等をより忠実に再現で
きる。また、カメラデータとレーザデータには位置姿勢
データ、時刻が対応させられているから、各地点におけ
る所望の方向からの高精度画像を容易に得ることができ
るという効果が得られている。

【０１０３】また、それぞれのカメラデータは、撮像方
向の角度は４５度にされて取得したものであるから樹木
があっても、その樹木を除いた建物の映像を生成するこ
とができるとうい効果が得られている。

【図面の簡単な説明】

【図１】本発明の実施の形態１のモービルマッピング用
空間情報生成装置の概略構成図である。

【図２】マルチラインカメラの側面図である。

【図３】マルチラインカメラの正面図である。

【図４】架台上におけるマルチラインカメラとレーザ、
ＩＮＳ、ＤＧＰＳの取り付け位置を示す平面図である。

【図５】画像取得装置の撮像、測距離の方向を説明する
説明図である。

【図６】取得されたカメラデータ、レーザデータ、ＩＮ
Ｓデータを説明する説明図である。

【図７】正確な時刻にされたＩＮＳデータの説明図であ
る。

【図８】カメラデータ、レーザデータ、ＩＮＳデータの
同期、補間のタイミングチャートである。

【図９】同期、補間されたＩＮＳデータを説明する説明
図である。

【図１０】同期、補間されてＩＮＳデータが対応づけら
れたカメラデータ、レーザデータを説明する説明図であ
る。

【図１１】キャリブレーション処理を説明する説明図で
ある。

【図１２】キャリブレーション結果を反映したレーザデ
ータの説明図である。

【図１３】測距離データとサーフェース画像を説明する
説明図である。

【図１４】レーザデータによる合成モデルと分割を説明
する説明図である。

【図１５】本実施の形態による抽出画像を説明する説明
図である。

【図１６】実施の形態２のモービルマッピング取得デー
タの配信システムの概略構成図である。

【符号の説明】

１架台２レーザスキャナ３マルチラインカメラ２０データ取込処理部２１データ同期処理部２２センサキャリブレーション処理部２３単方向モデル生成処理部２４多方向モデル合成処理部２５サーフェースモデル生成処理部２６画像マッピング処理部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０１Ｓ 17/88 Ｇ０６Ｔ 1/00 ３１５５Ｊ０６２Ｇ０６Ｔ 1/00 ３１５３３０Ａ５Ｊ０８４３３０ 17/50 17/50 Ｇ０９Ｂ 29/00 ＺＧ０９Ｂ 29/00 Ｈ０４Ｎ 13/00 // Ｈ０４Ｎ 13/00 Ｇ０１Ｓ 17/88 Ｚ (72)発明者下垣豊東京都新宿区新宿４−２−18新宿光風ビルアジア航測株式会社内 (72)発明者辻求東京都新宿区新宿４−２−18新宿光風ビルアジア航測株式会社内 (72)発明者今野達夫東京都新宿区新宿４−２−18新宿光風ビルアジア航測株式会社内 (72)発明者柴崎亮介東京都江東区猿江１丁目５−３−408 (72)発明者趙卉菁東京都江東区平野３−４−11−803 Ｆターム(参考） 2C032 HB22 HB25 HC23 2F029 AB07 AC03 AC06 AC14 5B050 BA07 BA09 BA17 DA07 EA07 EA28 FA02 5B057 CA13 CB13 CE08 CE20 CH14 DA07 DB03 DC02 DC08 5C061 AB04 AB08 AB11 AB21 5J062 AA13 BB01 CC07 EE04 5J084 AA05 AB01 AC02 AD05 BA03 BA11 CA65 EA04

Claims

【特許請求の範囲】

【請求項１】魚眼レンズとラインセンサとを組み合わ
せたカメラを水平に所定の撮像角度を有して３台併設し
てなる２個のマルチラインカメラと、ＤＧＰＳ受信器
と、異なる方向にレーザを発射して受信する３台のレー
ザスキャナと、慣性航法装置とを移動体上に固定して移
動しながら得たカメラデータ、レーザデータ、位置姿勢
からなるＩＮＳデータ、ＧＰＳ時刻を用いて３次元グラ
フィック画像を生成するモービルマッピング用空間情報
生成装置であって、前記ＧＰＳ時刻を有するカメラデータ、レーザデータに
対して、前記ＧＰＳ時刻を有する前記ＩＮＳデータを結
びつける手段と、前記各レーザスキャナのレーザデータを読み込み、それ
ぞれのレーザデータが示す測定点までの距離値、測定点
に対するレーザ方向の角度を、前記ＩＮＳデータを基準
にしてそれぞれの３次元の地理座標に定義する手段と、前記それぞれの３次元の地理座標に定義された各レーザ
の単方向モデルを３次元座標上に合成する手段と、前記合成モデルを所定条件に従った平面に分割し、該分
割エリアをポリゴン化する手段と、前記ポリゴンの各距離値、角度に結びつけられる画像デ
ータをカメラデータの前記ＩＮＳデータに基づいて検索
し、該検索した画像データを前記ポリゴンに割り付けて
前記３次元グラフィック画像を生成する手段とを有する
ことを特徴とするモービルマッピング用空間情報生成装
置。
【請求項２】前記カメラデータは第１の所定間隔の撮
影時刻で、前記ＩＮＳデータは第２の所定間隔（第１の
所定間隔＜第２の所定間隔）の計測時刻で、前記レーザ
データは第３の所定間隔（第２の所定間隔＜第３の所定
間隔）の測定時刻で行われ、前記結びつける手段は、前記カメラデータの前記第１の所定間隔の時刻に同期す
る前記レーザデータ、前記ＩＮＳデータを補間して結び
付けることを特徴とする請求項１記載のモービルマッピ
ング用空間情報生成装置。
【請求項３】前記第２の所定間隔で前記移動体の位
置、及び姿勢からなる前記ＩＮＳデータを計測したと
き、前記ＧＰＳ時刻と同期を取った前記所定精度以下の
計測時刻とと遅れ時間とから前記ＩＮＳデータの正確な
計測時刻を求める手段とを起動させて前記各データを結
びつけさせることを特徴とする請求項１又は２記載のモ
ービルマッピング用空間情報生成装置。
【請求項４】平面の抽出は、前記平面に分割したとき、これらのレンジセルが予め設
定したしきい値の範囲内で、レンジポイントが空間平面
に回帰したとき、その平面を抽出することを特徴とする
請求項１、２又は３記載のモービルマッピング用空間情
報生成装置。
【請求項５】前記平面に分割したとき、これらのレン
ジセルが予め設定したしきい値の範囲内で、レンジポイ
ントが空間平面に回帰しないときは所定の間このプロセ
スを繰り返して最小の平面を抽出することを特徴とする
請求項４記載のモービルマッピング用空間情報生成装
置。