JP2004030011A

JP2004030011A - ３次元形状データ取得システムおよび方法

Info

Publication number: JP2004030011A
Application number: JP2002182723A
Authority: JP
Inventors: Seiichi Uchinami; 打浪　清一; Masahiro Ninomiya; 二宮　雅宏; Hiroyuki Kawakami; 川上　裕之; Ko Yoshida; 吉田　香; Yoshiro Takeda; 武田　芳郎; Shinji Wakizaka; 脇阪　信治
Original assignee: Zenrin Co Ltd; JECC Co Ltd
Current assignee: Zenrin Co Ltd; JECC Co Ltd
Priority date: 2002-06-24
Filing date: 2002-06-24
Publication date: 2004-01-29

Abstract

【課題】長い距離に渡って連続して３次元形状データを効率的に取得することができる３次元形状データ取得システムを提供すること。
【解決手段】３次元形状データ取得システムは、車両等の移動手段１０と、撮影画像を入力するカメラ１１と、車両の位置を検出するＧＰＳ装置１２と、カメラ、ＧＰＳ、姿勢センサから出力される情報に基づき、撮影画像を処理して３次元特徴点情報を出力する計算機１５とを備える。本発明によれば、奥行き方向の特徴点検出距離を限定することにより、任意の時点において処理すべきデータ容量を一定の容量以下に抑え、取り込み制限を無くしている。また、更新すべき部分のみを処理することにより、効率的に特徴点の抽出処理を実行でき、撮影しながらリアルタイムに特徴点を抽出することができる。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は３次元形状データ取得システムに関し、特に、自動車等の移動手段に搭載して移動しながら道路脇の建築物等の３次元形状データを連続して取得可能な３次元形状データ取得システムに関するものである。
【０００２】
【従来の技術】
従来、物体や景観などの３次元形状データを入力するための入力方法が提案されている。例えば特開２００１−２８０４９には、ビデオカメラで景観を撮影し、画像のぶれを補正しながらエピポーラ画像（ＥＰＩ）解析を行って３次元形状情報を抽出する技術が開示されている。
【０００３】
【発明が解決しようとする課題】
近年、カーナビゲーションシステムが普及しているが、例えばカーナビゲーションシステムにおいて道路の両側の景観を３次元形状の景観として表示するためには、主要な道路の両側の家やビル等の建築物の３次元景観データを長い距離に渡って連続して取得する必要がある。
【０００４】
ところが上記した従来の方式においては、長い距離に渡って連続して取得する点に配慮されておらず、長い距離に渡って連続して３次元形状データを効率的に取得することができないという問題点があった。
【０００５】
本発明の目的は、前記のような従来技術の問題点を解決し、長い距離に渡って連続して３次元形状データを効率的に取得することができる３次元形状データ取得システムを提供することにある。
【０００６】
【課題を解決するための手段】
本発明の３次元形状データ取得システムは、移動手段と、移動手段に搭載され、撮影画像を入力する撮影手段と、移動手段の位置を検出する位置検出手段と、撮影手段および位置検出手段から出力される情報に基づき、撮影画像を処理して３次元特徴点情報を出力する画像処理手段とを備えたことを特徴とする。
【０００７】
本発明によれば、画像処理手段においては、奥行き方向の特徴点検出距離の範囲を限定することにより、任意の時点において処理すべきＥＰＩ容量、及びハフ平面を一定の容量以下に抑え、取り込みの制限を無くすことができる。
【０００８】
また、１つ前の取り込み画像の処理データを利用して、次に取り込んだ画像データによって更新すべき部分のみを処理することにより、効率的に特徴点の抽出処理を実行でき、撮影しながらリアルタイムに特徴点を抽出することも可能となる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を詳細に説明する。図１は、本発明の３次元形状データ取得システム主要部の構成を示すブロック図である。例えば自動車等の移動手段１０には、１台あるいは複数台のビデオカメラ１１、ＧＰＳ装置１２、加速度、姿勢センサ１３、情報処理装置１５を含む３次元形状データ取得システムが搭載される。
【００１０】
ビデオカメラ１１としては、ＩＥＥＥ１３９４端子経由のＤＶあるいはＮＴＳＣ等の通常のデジタルあるいはアナログビデオ出力信号が得られる市販のビデオカメラを使用可能であるが、デジタルスチルカメラであっても、情報処理装置から取り込み（シャッター）信号に対応して所望の周期で静止画を連続して取り込めるものであれば使用可能である。なお、後述するが上下の視野角が不足する場合には２台以上のカメラを仰角を変えて設置してもよい。また、本発明においては基本的にはカラーおよびモノクロどちらでも実施可能であるが、最後に撮影した画像データを貼り付けるので、カラーの方が好ましい。
【００１１】
情報処理装置が画像を取り込む周期は、必要とする３次元形状データの精度、移動手段の移動速度、情報処理装置の処理速度等によって決定される。従って、３次元形状データ取得システムの取り込みあるいは処理速度が追いつかない場合には車両の移動速度を遅くすればよい。
【００１２】
ＧＰＳ装置１２は、周知のＧＰＳ信号を受信することによって位置情報を得るものである。ＧＰＳは単独測位では誤差が大きいので、基準点（基地局）において観測したＧＰＳの情報を測位すべき移動局に伝送して高精度で移動局の位置を求めることができるＲＴＫ（Ｒｅａｌ　Ｔｉｍｅ　Ｋｉｎｅｍａｔｉｃ）−ＧＰＳを採用する。
【００１３】
なお、ＲＴＫ−ＧＰＳは周知であり、任意の位置に基地局を設置し、当該基地局と無線で接続された移動局の位置を高精度に測定するシステムは市販されているので、例えばトリンブル社製２周波ＧＰＳ受信機５７００を使用した（株）ジェック製ＲＴＫ−ＧＰＳシステムＧＰＳ−ＧＵＩＤＥＲ　ＩＶを使用してもよい。よって詳細な説明は省略する。また、基地局および基地局と移動局との通信回線としては公知の任意のものを利用可能である。
【００１４】
加速度、姿勢センサ１３は市販のものを利用可能である。例えば日本航空電子工業株式会社から市販されている姿勢計測装置ＪＣＳ−７４０１ＧＡは、光ファイバージャイロおよび加速度センサを備えており、ロール角、ピッチ角、方位角、Ｘ加速度、Ｙ加速度、Ｚ加速度、Ｘ角速度、Ｙ角速度、Ｚ角速度をデジタル出力することができる。
【００１５】
情報処理装置１５は、映像データ、ＧＰＳデータ、姿勢データの入力ポートおよびデータ保存用のハードディスク等の大容量記憶装置を備えており、自動車等に搭載可能であれば、ノートパソコンなど市販の任意の計算機システムを使用可能である。また、ＥＰＩデータの生成以降の処理は、各ＥＰＩデータ毎に並列処理が可能であるので、必要な数だけ複数のパソコンをＬＡＮ等により接続してデータを分配して並列処理させてもよい。
【００１６】
なお、特徴点の抽出以降の処理は、リアルタイムに処理する必要はないので、保存された特徴点データを周知の任意の計算機システムに読み込んで、ワイヤフレームモデルの生成やテキスチャマッピング処理を行えばよい。
【００１７】
図２は、本発明のシステムによる３次元形状データの取得方法をを示す説明図である。移動手段としては自動車を使用し、例えば自動車の進行方向に対して９０度右側が撮影されるようににビデオカメラ１１を固定する。また、ＧＰＳ装置１２、加速度、姿勢センサ１３も車両に固定する。
【００１８】
カメラ１１は、図２（ｂ）に示すように、道路沿いの建造物が全て撮影できるように、仰角を付けて設置されるが、１台のカメラで建造物の上から下まで撮影できない場合には、２台のカメラを使用して上部と下部とを分けて撮影し、情報処理装置に取り込んだ後に１枚の画像に合成してもよい。
【００１９】
図３は、本発明のシステムによる画像処理方法を示す説明図である。本発明においては、例えば道路上を移動しながら移動方向と直角方向を所定の距離毎に撮影する。そして、図３の左側に示されているように、撮影された複数枚の画像の所定の位置の走査線の輝度データを集めて順に並べて（画像データの上側に追加して）いき、特定走査線のＥＰＩデータが生成される。
【００２０】
このＥＰＩデータは走査線毎に生成されるので、例えば有効な走査線が４００本あれば、ＥＰＩデータも４００個生成される。各ＥＰＩデータは特定の走査線、即ちカメラの特定の仰角の画像と対応している。図３において、例えば家の部分のみが黒く撮影された場合には、図示する特定の走査線のＥＰＩは家の幅を持つ傾斜した黒い帯の画像となる。
【００２１】
このＥＰＩの傾斜角度はカメラから家までの距離に対応している。即ち、近くにあるものは画像上を左から右へ早く移動するので、黒い帯の傾斜角度は小さくなり、逆に遠くにあるものはゆっくり移動するので、傾斜角度は大きくなる。従って、例えば画像処理によって黒い帯の縁の直線を検出し、その傾斜角度から物体までの距離を算出することができる（詳細は後述する）。また、走査線の番号から仰角が判明する。
【００２２】
よって、カメラの位置および撮影方向（移動方向）が判明すれば、家の縁の点（輝度の変化点＝特徴点）の３次元の絶対位置座標を算出することが可能となる。本発明においては、カメラの位置および向きをＧＰＳ装置および姿勢センサによりリアルタイムに計測し、連続して撮影した画像からＥＰＩデータを生成し、特徴点の３次元座標を得る。
【００２３】
図４は、本発明のシステムの処理内容全体を示すフローチャートである。Ｓ１においては、所定の距離ごとに移動画像データを連続して取り込む。Ｓ２においては、各走査線毎に上述したＥＰＩデータを生成する。Ｓ３においては、ＥＰＩデータをフィルタ処理し、エッジ（輝度の変化している部分）のみを抽出する。Ｓ４においては、公知のハフ変換処理によって直線を検出する。
【００２４】
Ｓ５においては、直線の傾き、カメラの位置、仰角等から特徴点の３次元位置座標データを生成し、保存する。なお、Ｓ１〜Ｓ５はリアルタイムに見かけ上あるいは実際にパイプライン処理される。また、複数のＥＰＩデータに対する処理は並列に処理されてもよい。
【００２５】
収集された特徴点データは、例えば別の計算機システムに入力され、Ｓ６においては、例えば２次元地図データや航空写真データ等を参照して、特徴点データから例えば家やビルの輪郭線を生成し、沿道の建築物の３次元ワイヤモデルを生成する。
【００２６】
図５は、本発明のシステムにおける各処理とデータの関係を示すブロック図である。図４のＳ１〜Ｓ５のリアルタイム処理２０によって３次元特徴点データ２１およびテキスチャ（例えば所定の間隔で撮影した画像を中心を通る水平方向の所定の範囲だけ切り出して接続した景観の連続画像）データ２２が生成される。３次元特徴点データ２１は２次元地図データ２４および衛星（航空）写真データ２７と共に直線検出処理２３に入力され、２次元地図データ２４および衛星写真データ２７を参照して不要な特徴点を削除し、例えばハフ変換処理によってビルなどの輪郭の直線を検出する。
【００２７】
検出された直線データはワイヤフレーム抽出処理２５によって、例えば直線の不足部分を延長したり、直線の端点同士を連結してビル等のワイヤフレームデータが生成される。テキスチャマッピング処理２６においては、ビル等のワイヤフレームモデルの表面に、テキスチャデータ２２や衛星写真データ２７の該当部分を切り取って貼り付けることにより、実際のビル等と同等の外観を表示可能な３次元立体形状データ２８を出力する。
【００２８】
図６は、公知のハフ変換の方法を示す説明図である。例えば図６（ａ）のようにｘｙ座標上に８個の点（ｘ_ｎ，ｙ_ｎ）３０が存在するものとすると、ハフ変換においては、各点をｍｃ座標（ハフ平面）上の直線３５に写像する。ここで、ｍ、ｃは直線式ｙ＝ｍｘ＋ｃを満足する値である。
【００２９】
直線式ｙ＝ｍｘ＋ｃに任意の点（ｘ_ｎ，ｙ_ｎ）３０を代入すると、ｙ_ｎ＝ｍｘ_ｎ＋ｃとなり、これは点（ｘ_ｎ，ｙ_ｎ）３０を通る任意の直線を表すが、ｃ＝−ｘ_ｎｍ＋ｙ_ｎと変形すると、ｍｃ座標上における特定の直線３５を表す。図６（ｂ）は、図６（ａ）の８個の点をｍｃ座標上に写像したグラフである。
【００３０】
次に、（ｂ）のグラフにおいて、例えば所定の大きさの領域（１×１）を通過する直線数を調べることにより、直線が最も集中している点３６、３７を抽出して、そのｍ、ｃを求める。この２つの点３６、３７は（ａ）のグラフの２つの直線３１、３２と対応しており、直線式はｙ＝ｍｘ＋ｃとなる。以上のような処理によって画像データから複数の直線データを抽出することができる。
【００３１】
なお、図６（ａ）のｘｙ平面上において垂直に近い直線は、ｍの値が非常に大きくなり、処理可能な範囲を超えてしまう。しかし、ＥＰＩ上において、ｍの値はカメラから対象物までの距離に対応し、所定の距離以上離れたものは測定する必要がないので、測定すべきｍの値の上限値を決め、ｍがそれ以下の直線のみを検出するようにすれば、上記問題は解決する。また、カメラに非常に近い位置にある対象物も、街路樹や電柱で、不要なものなので、カメラからある一定距離以上離れた対象物を認識すれば良く、結局最も近い認識したい点に対応するｍ_ｍｉｎと、最も遠い認識したい点に対応するｍ_ｍａｘの間の範囲に収まる直線群のみを抽出すれば良い。また、一方向に進行するので、被写体は画面上、同一方向に移動して行く。そのため直線の傾きは全て勾配の正負が揃い、該当する正あるいは、負勾配の一方のものの処理で十分である。
【００３２】
また、上記問題は、直線を表す式として以下に示すような極座標表現を採用することによっても解決できる。
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ
なお、ρは原点と直線との最短距離であり、θは正のｘ軸と前記最短距離を示す直線とのなす角度（０≦θ＜π）である。
但し、ハフ変換は極座標系でも可能であるが、極座標系を使用すると調べる区間が複雑な形となり、直角座標系ほどすっきりとした形に成らないので、直角座標系を採用した方が処理が効率的である。
【００３３】
図７は、本発明のシステムにおけるリアルタイム処理の内容を示すフローチャートである。また、図１１は、本発明のシステムにおけるリアルタイム処理の内容を示す説明図である。Ｓ１００においては、前回のサンプリング（撮影画像の取り込み）からの移動距離を算出する。Ｓ１０１においては、移動距離が所定の値に達したか否かを判定し、判定結果が否定の場合にはＳ１００に戻るが、肯定の場合にはＳ１０２に移行する。
【００３４】
Ｓ１０２においては、ビデオカメラ１１において撮影された最新の画像を取り込む。なお、ビデオカメラ１１によって撮影された画像は例えば常時情報処理装置のバッファメモリに取り込まれており、Ｓ１０２においては当該バッファメモリから画像データを取り込む。
【００３５】
Ｓ１０３においては、各走査線に対応するＥＰＩデータから所定回数（実施例では５回）以前に取り込まれた走査線輝度データを削除する。走査線データは各ＥＰＩデータにおいて５本のみ保存し、１本追加する毎に最も古いものを１本削除する。
【００３６】
５本を保存する理由は以下の通りである。後述する２回のフィルタ処理においては、それぞれ３×３の画素領域を参照して処理を行っている。従って、特定（中央）の走査線のフィルタ処理後のデータは、当該走査線データおよび上下それぞれ２本づつ、合計５本の走査線データから影響を受ける可能性があるためである。
【００３７】
Ｓ１０４においては、姿勢センサーによって検出された仰角データを読み込んで、仰角補正データを生成する。移動手段である車両は例えば道路の凹凸や傾斜等によって姿勢が変動するが、車両の変動のロール成分（前後方向を軸とする回転）はビデオカメラの仰角に影響し、ＥＰＩデータに追加される走査線データがずれてしまい、結果としてＥＰＩ上の直線の精度が劣化する。そこで、画像サンプリング時の車両の仰角を読み込み、静止時との差を走査線数に換算して仰角補正データを求める。
【００３８】
Ｓ１０５においては、仰角補正を考慮してフレームの各ライン（走査線）データを対応するＥＰＩデータに追加する。即ち、例えば仰角補正データが「＋５」（仰角が静止時よりも大きい）であれば、走査線番号Ｎに対応するＥＰＩデータに走査線番号（Ｎ＋５）番（５本下）の走査線データを追加する。なお上記の場合、最も走査線番号の大きい５個の走査線に対応するＥＰＩデータにはダミーデータを追加する。
【００３９】
Ｓ１０６においては、ＥＰＩデータをバッファにコピーしてフィルタ処理を施すことにより、ノイズを除去し、微分フィルタ処理によって輝度が急激に変化しているエッジ部分のみを抽出する。ノイズ除去フィルタとしては、例えば公知のメディアン（ｍｅｄｉａｎ）フィルタを採用可能である。メディアンフィルタとは、変換後の濃度（輝度）値を着目画素の近傍画素濃度の中央値（ｎ個ある場合はｎ／２番目の濃度値）とするものである。
【００４０】
また微分フィルタとしては、例えば公知のソベル（Ｓｏｂｅｌ）フィルタを採用可能である。図９は、ソベルフィルタの一例を示す説明図である。このフィルタはまずＸ軸方向とＹ軸方向それぞれについて、注目画素を含む周辺の９個の画素濃度値にそれぞれ図示する重みを乗算して加算したものを変換後の注目画素濃度（輝度）値とする処理を行う。そして、最後に、画素毎にＸ軸方向に検出されたエッジ画像の濃度値およびＹ軸方向に検出されたエッジ画像の濃度値をそれぞれ２乗し、加算して平方根をとることにより求める。
【００４１】
Ｓ１０７においては、ハフ変換（投票）データの内の、今回投票されることがない確定領域から、直線が集中している箇所（後述するポイントが所定値以上の正方形領域）を抽出することによってＥＰＩの直線に相当するデータがあれば抽出し、抽出後に当該確定領域の投票データを削除する。
【００４２】
ＥＰＩ上において、直線の傾斜角度は距離と対応しており、遠くにある特徴点ほど傾斜角度が垂直に近くなる。従って、特徴点を検出する最大距離を例えば５０メートルというように定めると、サンプリング間隔から当該最大距離に対応した直線の最大傾斜角度が決まり、それ以上の傾斜の直線を検出する必要はなくなる。従って、ハフ平面上におけるｍの最大値ｍ_ｍａｘが定まる。
【００４３】
また、傾斜角度の最大値が定まることにより、ＥＰＩ平面において追加した走査線が影響を与える直線がｙ軸と交わる点Ｃの最小値Ｃ_ｍｉｎが定まる。
【００４４】
Ｃ_ｍｉｎ＝−ｍ_ｍａｘ×ｘ_ｗ＋ｙ
但し、ｘ_ｗは走査線の水平方向の画素数であり、ｙは起点から追加された走査線の数を示し、１サンプル追加される毎に＋１される。従って、Ｃ_ｍｉｎも１サンプル追加される毎に＋１される。従って、ハフ平面におけるＣ_ｍｉｎ未満の領域は検出すべき直線（ｍ＜ｍ_ｍａｘの直線）についてはすでに投票が完了している確定領域となる。
【００４５】
Ｓ１０８においては、Ｓ１０６においてフィルタ処理したデータの内の中央（３本目）の走査線のエッジデータの全ての点をハフ平面に投票する。投票方法は、例えばハフ平面を所定の間隔で縦横に区切って複数の正方形領域を定義し、上記エッジデータの点に相当する写像直線が通過する正方形領域の全てにポイント１を加算する。
【００４６】
Ｓ１０９においては、抽出したＥＰＩ上の直線の傾き（ｍ）、走査線番号（＝仰角）および現在位置座標から３次元特徴点データを生成する。
図１０は、直線の傾き（ｍ）から距離（Ｌ）を算出する方法を示す説明図である。ある地点において、カメラの正面から角度θだけ左に見えていた特徴点が、カメラが距離ｄだけ移動した後には正面に見えており、このときのＥＰＩは図１０の右側に示すようになっていたものとする。
【００４７】
画像は等間隔にサンプリングされているので、カメラの移動距離ｄはＥＰＩの特徴点に対応する垂直方向の画素数ｎ_ｙに比例する。
【００４８】
ｄ＝ｋ_１ｎ_ｙ
なお、ｋ_１は画像のサンプリング間隔を表す定数である。
また、ｔａｎθはＥＰＩの特徴点に対応する水平方向の画素数ｎ_ｘに比例する。
【００４９】
ｔａｎθ＝ｋ_２ｎ_ｘ
なお、ｋ_２はカメラの撮影範囲（水平画角）や走査線の水平方向画素数から定まる定数であり、例えば水平画角がαであり、水平画素数がβであればｋ_２は以下のようになる。
【００５０】
ｋ_２＝（ｔａｎ（α／２））／（β／２）
なお、水平画角はビデオカメラの３５ｍｍ換算の焦点距離データが判明していれば、そのデータから算出できる。
【００５１】
また、ｔａｎθ＝ｄ／Ｌであるから、カメラから特徴点までの距離Ｌは以下のように求められる。
【００５２】
Ｌ＝ｄ／ｔａｎθ＝ｋ_１ｎ_ｙ／ｋ_２ｎ_ｘ＝ｋ_３（ｎ_ｙ／ｎ_ｘ）
なお、ｋ_３＝ｋ_１／ｋ_２である。（ｎ_ｙ／ｎ_ｘ）はＥＰＩにおける直線の傾きであり、前述したハフ平面におけるｍに相当する。従って、ハフ平面におけるｍを求めれば、これに予め算出された定数ｋ_３を乗算することによって直ちに距離Ｌが求められる。
【００５３】
カメラの現在位置の座標および（水平方向の）向きは後述するように常時求められており、また、カメラの仰角は走査線番号と対応しており、ＧＰＳ装置とカメラのオフセット（距離）も既知である。従って、上記のようにしてカメラから特徴点までの距離Ｌが判明すれば、特徴点の３次元絶対座標を算出することができる。
【００５４】
Ｓ１１０においては、算出した特徴点データを保存する。Ｓ１１１においては、例えばオペレーターによる終了指示があったか否かにより、処理を終了するか否か判定し、判定結果が否定の場合にはＳ１００に移行するが、肯定の場合には処理を終了する。
【００５５】
図８は、本発明のシステムにおけるタイマー割込処理の内容を示すフローチャートである。この処理は所定周期のタイマー割り込みによって起動する。Ｓ１２０においては、加速度計の測定データを読み込む。Ｓ１２１においては、加速度を積分して起点（前回のＧＰＳ測定点）からの水平移動距離を算出する。Ｓ１２２においては、ロール角情報から現在の仰角を算出する。
【００５６】
Ｓ１２３においては、新たなＧＰＳ出力が有るか否かが判定され、判定結果が否定の場合にはＳ１２５に移行するが、肯定の場合にはＳ１２４に移行する。Ｓ１２４においては、ＧＰＳ測定装置から測定データを読み込む。この測定データには、３次元座標データおよび時刻データが含まれている。Ｓ１２５においては、加速度データに基づく移動距離データを読み込む。Ｓ１２６においては、最新のＧＰＳ位置データおよび移動距離データに基づいて、現在位置座標を算出する。
【００５７】
以上のような処理によって、所定のタイマー周期でＧＰＳ装置（カメラ）の位置座標が算出される。
【００５８】
以上、実施例を開示したが、本発明においては以下のような変形例も考えられる。実施例としては車両の右側を撮影する例を開示したが、左側あるいは両側を撮影してもよく、左側を撮影した場合にはＥＰＩの傾斜が反対になることを考慮すれば、実施例の方式をそのまま適用可能である。
【００５９】
実施例においては、車両の位置座標データを得る手段として、ＧＰＳ装置および姿勢センサを使用する例を開示したが、更に、車両の移動距離データとして、車両のタイヤの回転情報、あるいは車両に装着した距離測定用タイヤの回転情報を使用してもよい。
実施例においては、リアルタイム処理において特徴点の抽出まで行う例を開示したが、本発明の方式を使用しても、多数のＥＰＩについて特徴点の抽出を行うためには大きな処理能力が必要である。そこで、車両に搭載する処理装置１５においては撮影画像、ＧＰＳ装置、姿勢センサなどからの出力データを同期して取り込んで、記録あるいは移動体無線伝送システムを利用したデータ伝送のみを行い、当該記録あるいは伝送された情報を大きな処理能力のあるコンピュータシステムに取り込んで、その後の処理を行うようにしてもよい。
【００６０】
実施例においては、仰角補正についてのみ開示したが、ロール角および方位角の変動についても補正するようにすることが可能である。ロール角補正は、例えば撮影時のロール角と静止時のロール角との差に基づき、撮影画像の回転処理を行う。
また、方位角変動については、例えば道路上の障害物の回避や車線変更など、短時間で元の進行方向に戻る場合には、方位角の変動に基づいてＥＰＩに追加していく走査線データの水平画素位置を補正すればよい。但し、道路自体が曲がっている場合には補正による変位が継続してしまうので、補正値の生成に所定の時定数による微分特性を持たせて、方位角の変動が無くなった場合には、移動距離（時間）の経過と共に元の画素位置に戻るようにしてもよい。
【００６１】
【発明の効果】
以上述べたように、本発明によれば、画像処理手段においては、奥行き方向の特徴点検出範囲（距離）を限定することにより、任意の時点において処理すべきデータ容量を一定の容量以下に抑え、取り込みの制限を無くすことができる。また、取り込んだ画像データによって更新すべき部分のみを処理することにより、効率的に特徴点の抽出処理を実行でき、撮影しながらリアルタイムに特徴点を抽出することも可能となる。従って、長い距離に渡って連続して３次元形状データを効率的に取得することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の３次元形状データ取得システム主要部の構成を示すブロック図である。
【図２】本発明のシステムによる３次元形状データの取得方法をを示す説明図である。
【図３】本発明のシステムによる画像処理方法を示す説明図である。
【図４】本発明のシステムの処理内容全体を示すフローチャートである。
【図５】本発明のシステムにおける各処理とデータの関係を示すブロック図である。
【図６】公知のハフ変換の方法を示す説明図である。
【図７】本発明のシステムにおけるリアルタイム処理の内容を示すフローチャートである。
【図８】本発明のシステムにおけるタイマー割込処理の内容を示すフローチャートである。
【図９】ソベルフィルタの一例を示す説明図である。
【図１０】直線の傾きから距離を算出する方法を示す説明図である。
【図１１】本発明のシステムにおけるリアルタイム処理の内容を示す説明図である。
【符号の説明】
１０…移動手段、１１…ビデオカメラ、１２…ＧＰＳ装置、１３…姿勢センサ、１５…情報処理装置、２０…リアルタイム処理、２１…３次元特徴点データ、２２…テキスチャデータ、２３…直線検出処理、２４…２次元地図データ、２５…ワイヤフレーム抽出処理、２６…テキスチャマッピング処理、２７…衛星写真データ、２８…３次元立体形状データ

Claims

移動手段と、
移動手段に搭載され、撮影画像を入力する撮影手段と、
移動手段の位置を検出する位置検出手段と、
撮影手段および位置検出手段から出力される情報に基づき、撮影画像を処理して３次元特徴点情報を出力する画像処理手段と、
を備えたことを特徴とする３次元形状データ取得システム。
前記画像処理手段は、
複数の撮影画像から特定の垂直位置の水平方向画素列情報を抽出して順に並べたＥＰＩを生成するＥＰＩ生成手段と、
当該ＥＰＩの輝度の変化点を抽出するフィルタ手段と、
当該変化点情報からハフ変換によって特徴点までの距離情報を抽出する距離算出手段と、
前記位置検出手段の出力情報および前記距離算出手段の出力情報に基づき、特徴点の３次元座標情報を算出する３次元座標算出手段と
を備えたことを特徴とする請求項１に記載の３次元形状データ取得システム。
更に、地図データおよび上空からの写真データの少なくとも一方を参照しながら、３次元ワイヤフレームモデルデータを生成するワイヤフレームデータ生成手段を備えたことを特徴とする請求項２に記載の３次元形状データ取得システム。
更に、ワイヤフレームの表面に対応する位置の撮影画像データを切り貼りするテキスチャマッピング手段を備えたことを特徴とする請求項３に記載の３次元形状データ取得システム。
前記ＥＰＩ生成手段は、それぞれのＥＰＩデータに新たな走査線データを追加すると共に、最も古い走査線データを削除することによって最新の所定の本数の走査線データのみを保持し、
前記距離算出手段は、前記追加された走査線データに対応する前記変化点情報をハフ平面に写像すると共に、前記削除された走査線データに対応する変化点の写像データを削除する
ことを特徴とする請求項２に記載の３次元形状データ取得システム。
移動手段に搭載され、撮影画像を入力するステップと、
移動手段の位置を検出するステップと、
撮影画像および位置情報に基づき、撮影画像を処理して３次元特徴点情報を出力するステップと
を繰り返し実行することを特徴とする３次元形状データ取得方法。