JP2006163851A - 形状データ生成装置、形状データ生成方法、及び形状データ生成プログラム - Google Patents

Abstract

【課題】 対応付けの際に誤対応が多く起こる市街地などの屋外においても安定して精度高くステレオ画像上の対応検索処理範囲を決定し、検出した物体位置に基づいてステレオ画像上の同一物体の対応付けを行い対象物の復元を行う。
【解決手段】 ステレオ画像を取得する画像取得手段１１、ステレオ画像間の類似度を算出して、算出した類似度と当該類似度が算出された地点の３次元座標とを関連付ける粗対応付け手段１２、３次元座標と類似度との関連付け結果に基づいて対象物の位置の検出を行う物体位置検出手段１３、物体位置に基づいて、ステレオ画像上の同一物体の対応付けを行い対象物の復元を行う密対応付け手段１４を用いて形状データ生成装置を構成する。
【選択図】 図１

Description

本発明は、画像からステレオ視の原理を用いて市街地などの３次元モデルを生成する技術に関するものである。

画像からステレオ視の原理を用いて３次元位置を求めるには画像間の同一物体を対応づける必要があるが、対応点探索を行う技術として主に以下の３つが知られている。

(１) あらかじめ解像度の低い画像を用いて画像間の同一物体の対応付けを行うことにより、対応候補を減らし、その結果を元に対応点探索範囲を限定し、より高い解像度の画像で対応付けを行い、ステレオ視を行う。低解像度画像を用いて概ねの対応を計算することにより、高解像度での対応点探索範囲が狭められ高速化が可能となる。さらに、低解像度での視差が高解像度画像での対応点探索に伝播するので周囲の点との連続性を仮定することにより視差の整合性を図ることが可能となる(例えば、特許文献１参照。)。

(２)あらかじめ画像から特徴を抽出し、その特徴同士のマッチングを行うことで、対応点候補を減らし、あいまいさの少ない対応付けを行うことで精度の高いステレオ視を行う。特徴には、エッジの他にｃｏｎｉｃなどの高次の特徴が用いられることが多い(例えば、非特許文献１参照。)。

(３)２枚のステレオ画像を撮影するステレオカメラの位置関係から対応点探索範囲を算出し、ステレオ画像とは別に撮影した第３の画像上での対応点探索範囲の投影点を算出して、その投影点が第３の画像上における背景と切り離されたシルエット領域内にあるかを判定する。そして、領域内であると判定された対応点探索範囲に関してのみステレオ対応探索を行う (例えば、特許文献２参照。)。
特開平７−１０３７３４号公報 特開２０００−３３１１６０号公報 松山隆司、久野義徳、井宮淳 編、「コンピュータビジョン：技術評論と将来展望」、新技術コミュニケーションズ、１９９８年

しかし、上記(１)記載の技術は、一般に疎なレベルで誤差があると密なレベルでも誤ってしまうという根本的な問題があり、例えば市街地などの鏡面反射をするものや周期的な模様、また模様のない物体が多い屋外を対象としたときは、低解像度画像での対応付け結果にも誤りが多く、誤差が伝播してしまうという問題がある。さらに、市街地を撮影する場合には、街路樹や看板など建物側面と大きく奥行きが異なる物が多々存在するため、位置関係は不連続になる場所が多く、連続性を仮定して整合性を図ることが難しい。

上記(２)記載の技術は、屋外のように日照関係が不安定でコントラストが低い箇所が多い場合においては、エッジやコーナといった特徴点の抽出が困難な箇所が多く、対応点探索範囲の限定が難しいという欠点がある。

上記(３)記載の技術は、シルエットを求める必要があり、市街地などのような屋外、特に建物低階層部を撮影した場合は画像中のほとんどが対象物となり、背景と切り分けることが意味のないものであったり、困難であるという欠点がある。

本発明はかかる事情に鑑みてなされたもので、その目的は、上記課題を解決した、ステレオ視の原理を用いた形状データ生成技術を提供することにある。

そこで、上記課題を解決するために、請求項１に記載の発明は、対象物のステレオ画像から当該対象物の形状を復元する形状データ生成装置であって、ステレオ画像を取得する画像取得手段と、前記ステレオ画像間の類似度を算出して、算出した類似度と当該類似度が算出された地点の３次元座標とを関連付ける粗対応付け手段と、前記３次元座標と類似度との関連付け結果に基づいて前記対象物の物体位置の検出を行う物体位置検出手段と、前記物体位置に基づいて、前記ステレオ画像上の同一物体の対応付けを行い前記対象物の復元を行う密対応付け手段と、を有することを特徴とする。

また、請求項２に記載の発明は、前記粗対応付け手段は、前記ステレオ画像を低解像度化し、低解像度化した一の画像に設定した基準領域と低解像度化した他方の画像に設定した視差候補領域との類似度を計算する、ことにより前記粗対応付け処理を行うことを特徴とする。

また、請求項３に記載の発明は、前記物体位置検出手段は、前記３次元座標と類似度との関連付け結果のｘ座標及びｙ座標を固定しｚ座標を変化させて前記類似度を加算することによりｘｙ投影類似度値を算出して、当該ｘｙ投影類似度値をｘｙ平面に濃淡値表示したｘｙ投影図を作成し、前記ｘｙ投影図の前記各濃淡値を直線のパラメータ空間に投票して当該投票の投票数から前記対象物の位置に相当する点を検出し、前記対象物の位置に相当する点に基づいて前記ｘｙ投影図から前記対象物に対応する線分を検出し、前記線分から前記対象物の物体位置を検出する、ことにより前記物体位置検出処理を行うことを特徴とする。

また、請求項４に記載の発明は、前記密対応付け手段は、前記検出した物体位置に基づいて対応検索範囲を決定し、当該対応検索範囲についてのみ前記ステレオ画像の同一物体について対応付けを行う、ことにより前記密対応付け処理を行うことを特徴とする。

また、請求項５に記載の発明は、対象物のステレオ画像から当該対象物の形状を復元する形状データ生成装置における形状データ生成方法であって、画像取得手段がステレオ画像を取得する画像取得ステップと、粗対応付け手段が前記ステレオ画像間の類似度を算出して、算出した類似度と当該類似度が算出された地点の３次元座標とを関連付ける粗対応付けステップと、物体位置検出手段が前記３次元座標と類似度との関連付け結果に基づいて前記対象物の物体位置の検出を行う物体位置検出ステップと、密対応付け手段が前記物体位置に基づいて、前記ステレオ画像上の同一物体の対応付けを行い前記対象物の復元を行う密対応付けステップと、を有することを特徴とする。

また、請求項６に記載の発明は、前記粗対応付け手段は、前記ステレオ画像を低解像度化し、低解像度化した一の画像に設定した基準領域と低解像度化した他方の画像に設定した視差候補領域との類似度を計算する、ことにより前記粗対応付けステップを行うことを特徴とする。

また、請求項７に記載の発明は、前記物体位置検出手段は、前記３次元座標と類似度との関連付け結果のｘ座標及びｙ座標を固定しｚ座標を変化させて前記類似度を加算することによりｘｙ投影類似度値を算出して、当該ｘｙ投影類似度値をｘｙ平面に濃淡値表示したｘｙ投影図を作成し、前記ｘｙ投影図の前記各濃淡値を直線のパラメータ空間に投票して当該投票の投票数から前記対象物の位置に相当する点を検出し、前記対象物の位置に相当する点に基づいて前記ｘｙ投影図から前記対象物に対応する線分を検出し、前記線分から前記対象物の物体位置を検出する、ことにより前記物体位置検出ステップを行うことを特徴とする。

また、請求項８に記載の発明は、前記密対応付け手段は、前記検出した物体位置に基づいて対応検索範囲を決定し、当該対応検索範囲についてのみ前記ステレオ画像の同一物体について対応付けを行う、ことにより前記密対応付けステップを行うことを特徴とする。

また、請求項９に記載の発明は、上記の請求項１〜８のいずれか１項に記載の形状データ生成装置又は形状データ生成装置を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。

請求項１及び５に記載の発明では、粗対応付けにより、３次元座標と類似度との関連付けを行う。そして、物体位置検出により、関連付け結果から対象物の位置を検出する。そして、密対応付けにより、検出された対象物の位置から決定する対応検索範囲についてステレオ画像上の同一物体の対応付けを行う。このように、対象物の位置を検出することにより、対応付けの際に誤対応が多く起こる市街地などの屋外においても安定して精度高くステレオ画像上の対応検索処理範囲を決定できる。また、検出した物体位置に基づいて、ステレオ画像上の同一物体の対応付けを行い対象物の復元を行うので、より高い解像度のステレオ画像で対応付けを行うことができ、処理の迅速が図れる。

請求項２及び６に記載の発明では、低解像度化したステレオ画像を用いて処理を行うことで、処理の迅速が図れる。

請求項３及び７に記載の発明では、関連付けの結果に対して投票を行うことにより、重要度の高い物体位置を検出することが可能となる。

請求項４及び８に記載の発明では、検出された重要度の高い物体位置から対応検索処理範囲を限定できるので、より高い解像度のステレオ画像で対応付けを行うことができ、処理の迅速が図れる。

請求項９に記載の発明では請求項１〜８についてのプログラムを実現でき、請求項１〜８に係る技術を容易に供給することができる。

請求項１〜９に記載の発明によれば、精度よく主要度の高いと思われる物体の位置を検出して探索範囲を決定することにより、屋外画像のようなステレオ視のマッチング処理の際に誤対応を多く発生させるような画像のステレオ視においても、安定して精度のよい形状復元が可能となる。これにより効率的に実際の市街地の３次元都市空間を構築できるようになる。

図１に本発明の形状データ生成装置の構成図を示す。図１に示すように、形状データ生成装置は、画像取得手段１１、粗対応付け手段１２、物体位置検出手段１３、密対応付け手段１４、及び出力手段１５を有している。

画像取得手段１１では、カメラ等の撮影装置を用いてステレオ画像を取得する。

粗対応付け手段１２では、画像取得手段１１で取得したステレオ画像間の類似度を計測し、３次元座標と類似度とを関連付ける処理を行う。

物体位置検出手段１３では、粗対応付け手段１２における３次元座標と類似度との関連付け結果に基づいて、類似度の投票により物体位置を検出する処理を行う。

密対応付け手段１４では、物体位置検出手段１３で得られた物体位置に基づいて限定された対応点探索範囲内で、ステレオ対応を取る処理を行う。

出力手段１５では、密対応付け手段１４で得られた対応付け結果に基づいて、形状を出力する処理を行う。

以下に、各構成手段について説明する。

まず画像取得手段１１について説明する。本実施形態では、横軸が平行投影の画像を取得する場合について説明する。具体的には、２台のラインセンサカメラを車両に搭載し、移動しながら市街地の建造物の横軸が平行投影の画像を取得する。なお、ここでいう平行投影とは、物体から放射される平行光と投影面とが交差する点で結像するように表現することであり、実空間中での物体のサイズと画像上での物体のサイズとは比例関係になる。一般に普通のカメラで撮影した場合には、透視投影で表現され、実空間のサイズとは比例関係にはない。またここでいう横軸が平行投影な画像とは、画像横軸が実空間と比例関係にある画像のことを指す。

図２は、画像取得方法を説明するための図である。

図２に示すように、２台のラインセンサカメラは同時に撮影を開始し、その撮影開始地点を座標系の原点とする。車両の移動方向２４にｘ軸２１、ｘ軸２１に垂直で車両２９と建造物２５とを結ぶ方向にｙ軸２２、ｘｙ平面に垂直なｚ軸２３をとる。以後、すべての図においてｘ軸、ｙ軸、ｚ軸はこの設定と同様なものとする。また、ｙｚ平面から移動方向２４にある角度傾いた方向を撮影しているラインセンサカメラをカメラＡ２７、ｙｚ平面から移動方向２４と逆にある角度傾いた方向を撮影しているラインセンサカメラをカメラＢ２８とする。また、カメラＡ２７及びカメラＢ２８のライン方向２６はｚ軸２３と平行にする。さらにラインセンサカメラの光軸がｙｚ平面に対称になるように設置する。

図３に、図２の平面図を示す。図３に示すように、ｙｚ平面とカメラＡ２７及びカメラＢ２８の光軸とのなす角は等しく、カメラ角度３１は共にθ1とする。

このような構成及び配置の２台のラインセンサカメラを移動させつつ、ロータリーエンコーダを用いて一定距離ごとに画像（１ライン）を取り込む。なお、ロータリーエンコーダとは車両等に取り付けることにより、一定距離ごとに特定信号を発生させる装置のことである。カメラＡ２７及びカメラＢ２８から取得したライン画像を時系列に並べて横軸が平行投影な２枚の長尺画像を作成する。

次に粗対応付け手段１２について説明する。

粗対応付け手段１２では、画像取得手段１１で取得した２枚の長尺画像に基づいてマッチング処理を行い３次元座標上の各点の類似度を取得する。３次元座標と類似度が関連付けられたものを類似度表と呼ぶ。以下に、この類似度表を作成する方法について説明する。

まず、取得した２枚の長尺画像を低解像度化する。解像度を低くする手法は既知のどの手法を用いてもよく、例えば、ｘ方向及びｙ方向に１／Ｓする場合には、ある画素（ｘ，ｙ）に、元画像におけるｘ方向およびｙ方向にＳ倍した画素値（Ｓｘ，Ｓｙ）の値を当てはめる手法などがある。また縮小する際に高周波ノイズがのらないようにするために、元画像にガウシアンフィルタ（「画像処理標準テキストブック」財団法人 画像情報教育振興協会 平成９年 参照。）をかけてから上記の処理を施してもよい。

ここで、図４を用いて低解像度化した長尺画像を用いて類似度を算出する方法を説明する。なお、長尺画像の時間軸方向をａ軸４１、ライン方向をｂ軸４２と呼ぶことにする。以後、すべての図においてａ軸４１、ｂ軸４２はこの設定と同様のものとする。また、４３、４４はそれぞれカメラＡ、カメラＢによる長尺画像を縮小した画像を示す。

長尺画像Ａ４３上のサイズＭ×Ｎの局所領域を基準領域とし、この基準領域４５について長尺画像Ｂ４４上を移動させながら類似度を計算する。長尺画像Ｂ４４上で基準領域上と同一の物体が撮像されている可能性のある領域は、基準領域とｂ軸方向の座標が同じになる。この基準領域上と同一の物体が撮像されている可能性のある領域を視差候補領域と呼ぶ。

図４において、４５はある画素（ｘ_A，ｙ_A）を中心とする基準領域、４６は視差候補領域の一つを示す。視差候補領域４６の中心のｂ座標はｙAで常に一定となる。この基準領域４５と、中心座標が（ｘ_B，ｙ_A），（ｘ_B+1，ｙ_A），（ｘ_B＋２，ｙ_A）…の視差候補領域４６との類似度計算というように、基準領域４５に対し、同一の物体が撮像されている可能性のある領域上のすべての視差候補領域４６との類似度を計算する。なお、類似度の計算法としては、２つの領域の対応する画素の画素値の差を取る方法がある。この他にも相互相関係数による方法（「画像解析ハンドブック」東京大学出版会 １９９１年 参照。）などがあげられる。

その後、先の基準領域４５と異なる領域である（ｘ_A+1，ｙ_A）を中心とする領域を基準領域２として、基準領域２とすべての視差候補領域との類似度を計算する。このようにして長尺画像Ａ４３上のすべての基準領域について類似度計算をおこなう。なお、ここでは１画素ずつずらす例を説明したが、後に説明する線分検出に十分な密度であれば、画素をとばしながら類似度を計算してもよい。

なお、（ｘ_A，ｙ_A）を中心とする基準領域４５と（ｘ_B，ｙ_A）を中心とする視差候補領域４６とが同じ地点を撮影しているときは、この地点の３次元座標は下記の式（１）〜（３）で求められる。なお（３）の導出にはピンホールカメラのモデルを用いている。

ここで、画像移動量定数は、画像を構成する縦方向のライン画像間の撮影間隔の距離である。またｆはピンホールカメラモデルにおける焦点距離である。

上記の方法で算出した２枚の長尺画像上における局所領域ごとの類似度を上記（１）〜（３）で算出される（ｘ，ｙ，ｚ）と関連付けて類似度表として保存する。

この類似度表の一例を図５(ａ)に示す。図５(ａ)に示すように類似度表は上記数式（１）〜（３）で算出される（ｘ，ｙ，ｚ）とそれに関連付けられた類似度とからなる。この類似度を濃淡値を用いて、類似度が高いほど黒く表し、ｘ軸５１、ｙ軸５２、ｚ軸５３からなる３次元空間上にプロットした一例を図５(ｂ)に示す。図５(ｂ)に示すように、建造物の側面５４と街路樹５５が黒く浮かびあがっており、この領域の類似度が高いことがわかる。

次に、物体位置検出手段１３について説明する。図１に示したカメラＡ２７及びカメラＢ２８から見て歩道の奥側に建物側面があり、歩道の手前側に街路樹が配置されている例を挙げて、類似度表から物体検出をする方法を説明する。

図６に類似度表から物体位置を検出するフローチャートを示す。図６に示すように、物体位置検出手段１３は類似度表に基づいて地面方向（ｚ軸方向）に類似度を加算して行うｘｙ投影類似度表作成（Ｓ６１−１）及びｘｙ投影図作成（Ｓ６１−２）からなる、ｘｙ投影類似度表作成処理を行う(Ｓ６１)。

このｘｙ投影類似度表及びｘｙ投影図に基づいて、ｘｙ投影図上のｘｙ投影線分検出（Ｓ６２−１）及びｘｙ投影端点検出（Ｓ６２−２）からなる、ｘｙ投影図における線分検出処理を行う(Ｓ６２)。

このｘｙ投影線分及びｘｙ投影端点に基づいて物体の位置を限定する物体位置限定処理を行う（Ｓ６３）。

まず、ｘｙ投影類似度表作成処理（Ｓ６１）について説明する。類似度表の（ｘ，ｙ）を固定し、ｚを変えながら類似度を加算する。例えば、（ｘ，ｙ）を（１，１）に固定した場合、ｚ_maxをｚの最大値とすると（１，１，０）、（１，１，１）…（１，１，ｚ_max）までの類似度を加算し、記録する。単純な加算以外に、類似度に重みをつけて加算してもよいし、しきい値以上の類似度の値を加算してもよい。各（ｘ，ｙ）ごとに加算した値をそれぞれｘｙ投影類似度値、その集合をｘｙ投影類似度表と呼ぶ。このｘｙ投影類似度値を２５６階調に換算し、その値を各（ｘ，ｙ）に濃淡で表示する。この図をｘｙ投影図と呼ぶ。ここでは類似度が高いほど黒くなるものとする。

図７(ａ)、(ｂ)にｘｙ投影図の一例を示す。図７(ｂ)において、ｘｙ投影領域Ａ７４は街路樹に相当する部分、ｘｙ投影領域Ｂ７５は建造物側面を示す。ここでは黒いほどｘｙ投影類似度値が高いことを示す。

線分検出処理(Ｓ６２)では、ｘｙ投影図における直線を検出し、その直線に基づいて建物側面、街路樹を示す線分を検出する。

まずｘｙ投影図において直線の検出方法について説明する。直線の検出においては、ｘｙ投影図上の各濃淡値を直線のパラメータ空間に投票する。このパラメータ空間（ｐ，ｑ）は、直線をｐｘ＋ｑｙ＝１とし、パラメータｐ，ｑによって張られる空間とする。パラメータ空間の分解能は、任意に決めればよい。ここでは、一例としてパラメータ空間の分解能を設定する場合で、ｐ，ｑそれぞれ１ｃｍの分解能に設定する。このような設定において、投票数の多い（ｐ，ｑ）の値を用いて直線を引く。ここではカメラから見て歩道の奥側に建物側面があり、歩道の手前側に街路樹が配置されている場合が対象であることを前提としているので、建物側面位置にあたる点と街路樹位置に相当する点との２点を抽出すればよく、投票数の上位２位までの点（ｐ₁，ｑ₁）（ｐ₂，ｑ₂）を検出する。この他、検出する点に対する投票の数やしきい値は、任意に決めてよい。

図８に図７(ａ)、(ｂ)のｘｙ投影図から直線を検出するための、直線パラメータ空間（ｐ，ｑ）の例を示す。ここでは直線のモデルはｐｘ＋ｑｙ＝１とする。図８において、８１，８２は、それぞれｐ軸、ｑ軸を表し、８３，８４は投票数の多い点を示す。図８に示すように投票された点は黒くなっている。

図９に図７(ａ)、(ｂ)のｘｙ投影図から直線を検出した結果を示す。図９に示すように、９１、９２はそれぞれ検出したｘｙ投影直線Ａとｘｙ投影直線Ｂを示す。

次に、直線から線分を検出する方法について説明する。

まず、検出した直線ｐ₁ｘ＋ｑ₁ｙ＝１，ｐ₂ｘ＋ｑ₂ｙ＝１をもとに線分の検出を行う。ｘｙ投影図上の画素値が２５５（白色）以外の値を持ち、かつ直線ｐ₁ｘ＋ｑ₁ｙ＝１，ｐ₂ｘ＋ｑ₂ｙ＝１上にある画素値のみ残すようにして線分の検出を行う。線分を検出できるものであれば、これ以外の方法を用いてもよい。２５５（白色）以外の値をもつ画素を追跡することで、線分の両端の座標を検出する。

図１０に図９のｘｙ投影図から線分を検出した結果を示す。図１０において、１０１、１０２はそれぞれ検出したｘｙ投影線分Ａとｘｙ投影線分Ｂとする。また、ｘｙ投影線分Ａ１０１、ｘｙ投影線分Ｂ１０２それぞれの両端の座標をｘｙ投影端点１０３、１０４とする。

物体位置限定処理（Ｓ６３）では、線分検出処理（Ｓ６２）で検出した線分に基づいて物体の位置を限定する。

次に、図１１を用いて物体位置限定処理（Ｓ６３）について説明する。なお、図１１においては、カメラから見て歩道の奥側に建物側面があり、歩道の手前側に街路樹が配置されている場合が対象であることを前提としているので、抽出した２つの線分のうち、ｙ座標が小さいｘｙ投影線分Ａ１１１は街路樹などのオクルージョン要因の位置であり、ｙ座標が大きいｘｙ投影線分Ｂ１１２は建物側面位置と判定する。建物を対象とした場合は、街路樹の後ろに当たる部分は画像には写らず対応付けが出来ないため、太い線分で表された部分を物体位置１１３と限定し、対応点探索範囲とする。

街路樹が立ち並ぶ市街地を撮影する場合は道路から近いところに街路樹などのオクルージョン要因、遠いほうに建物側面がある場合が多いので、この例では建物位置を奥にあるほうとして判定したが、他の知見があらかじめある場合はこれに基づいて決定すればよい。以上の方法で、物体位置領域を検出する。

次に密対応付け手段１４について説明する。密対応付け手段１４では、物体位置検出処理１３により推定した物体位置領域を基にして、長尺画像上の同一物体の対応付けを行う。

ここで、図１２(ａ)、(ｂ)、(ｃ)を用いて対応付けの説明を行う。図１２(ａ)はｘｙ投影図を示し、図１２(ｂ)及び図１２(ｃ)は図１２(ａ)の基となる類似度表を作成するために用いた長尺画像である。この図１２(ｂ)を長尺画像Ａ、図１２(ｃ)を長尺画像Ｂとする。図１２(ａ)は粗対応付け手段１２で説明したように、１／Ｓの縮尺の長尺画像から求めたｘｙ投影図であり、１２１は物体位置検出手段１３で検出された対応付け対象の領域を示す。長尺画像Ａ及び長尺画像Ｂは元画像であり、最も高解像度で対応付けを行う場合を示す。長尺画像Ａでは時間軸方向をａ軸１２２、ライン方向をｂ軸１２３とする。

図１２(ａ)において、ｘ軸方向にｘ1，ｙ軸方向にＤの位置にある対象物は、上記数式（１）〜（３）より長尺画像Ａ上の（Ｓ×（ｘ₁−Ｄ／２），Ｓ×ｂ₁）、長尺画像Ｂ上の（Ｓ×（ｘ₁＋Ｄ／２），Ｓ×ｂ₁）の位置に写っていることがわかる。

そこで、物体位置領域がｘｙ投影図上の（ｘ1，Ｄ）にある場合には、長尺画像Ａ上の（Ｓ×（ｘ₁−Ｄ／２），Ｓ×ｂ₁）を中心とする領域を基準画像１２４とし、長尺画像Ｂ上の画像ａ軸方向に（Ｓ×（ｘ₁＋Ｄ／２−α），Ｓ×ｂ₁）を中心とする領域から（Ｓ×（ｘ₁＋Ｄ／２＋α），Ｓ×ｂ₁）を中心とする領域１２５まで移動させながら類似度を算出し、類似度が一番大きい箇所を対応点とする。なお、αは、０でもよいし、推定した物体位置に雑音がのっている可能性がある場合等はαを多めにしてもよい。この対応付け処理を全てのｂに対して行う。

さらに、長尺画像Ａ上の基準画像を（Ｓ×（ｘ₁−Ｄ／２），Ｓ×ｂ₁）から（Ｓ×（ｘ₂−Ｄ／２），Ｓ×ｂ₁）まで画像ａ軸１２２方向に一画素ずつずらしながら上記の処理を行い、対応点を決定していく。ｘ2まで計算を行ったときに、（Ｓ×（ｘ₃−Ｄ／２），Ｓ×ｂ₁）からまた一画素ずつ画像ａ１２２軸方向にずらしながら対応付けを行う。

このようにして、ｘｙ投影図上の物体位置領域すべてに対して対応付け処理を行う。対応付けられた座標を上記数式（１）〜（３）に代入することで、３次元座標が得られる。

出力手段１５は密対応付け手段１４で得られた対応付け結果に基づいて形状の出力を行うが、ディスプレイ、プロジェクタ、ＬＥＤ、プリンタ等の画像や文字などの情報を表示できるものであればよい。

本実施形態では、横軸が平行投影の画像を用いた場合について説明をしたが、本発明はこれに限ったものではなく、一般のデジタルカメラ等を用いてもよい。デジタルカメラを用いた例を図１３に示す。ここでは、２台のカメラ、カメラＡ１３１及びカメラＢ１３２の焦点距離ｆが等しく、かつ光軸が互いに平行で、各々の画像面が同一平面上にのるように配置されている場合について述べる。２台のカメラで撮影対象である建造物１３３を撮影した画像を１／Ｓに縮小した画像をそれぞれ画像Ｌ、画像Ｒと呼ぶ。画像Ｌ上の（ｘ₁，ｙ）を中心とする領域と画像Ｒ上の（ｘ_r，ｙ）を中心とする領域が同じ地点を撮影しているときは、その地点の３次元座標（ＳＸ，ＳＹ，ＳＺ）は下記の式（４）〜（６）で求められる。

ただし、ｋは基線長１３４、ｄは視差、ｆは焦点距離を表している。

この（ＳＸ，ＳＹ，ＳＺ）と画像Ｌ上の（ｘ₁，ｙ）を中心とする領域と画像Ｒ上の（ｘ_r，ｙ）を中心とする領域との類似度とを関連付け、類似度表を作成し、物体位置検出手段に１３おいて前記の手法により物体位置を限定する。求めた物体位置が（ｘ_d，Ｄ_d）の場合、縮小する前の原画像Ｌ上の（Ｓ×ｘ_OL，Ｓ×ｙ₁）を中心とする領域と、縮小する前の原画像Ｒ上の（Ｓ×（ｘ_OR−α），Ｓ×ｙ₁）を中心とする領域から（Ｓ×（ｘ_OR＋α），Ｓ×ｙ₁）を中心とする領域まで移動させながら類似度を算出し、類似度が一番大きい箇所を対応点とする。ｘ_OL，ｘ_ORは、以下の式(７)、(８)で表せる。

ただし、ｋは基線長、ｆは焦点距離を表している。

αは、０でもよいし、推定した物体位置に雑音がのっている可能性がある場合等はαを多めにしてもよい。この対応付け処理を全てのｙに対して行い、原画像Ｌと原画像Ｒの対応点を決定し、上記（４）〜（６）式に対応付けられた座標を代入することにより、３次元形状を算出する。

以上のように、類似度表を作成してこの類似度表に基づいて物体位置を決定し、探索範囲を限定することにより、高解像度画像における対応付けの処理を軽減するだけでなく、雑音の影響も小さくなり、安定して形状を復元することが可能となる。

なお、形状データ生成装置は、例えば、コンピュータ装置が有するＣＰＵによって実現され、必要とする粗対応付け、物体位置検出、密対応付けなどをアプリケーションプログラムとして搭載することができる。

また、コンピュータ装置には上記説明した粗対応付け、物体位置検出、密対応付けなど行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。

本発明の形状データ生成装置の構成図。 画像取得手段における画像取得の説明図。 画像取得手段における画像取得の平面図。 ステレオ画像における類似度算出の説明図。 (ａ)類似度表、(ｂ)３次元空間上への類似度プロット図。 物体位置検出手段の処理フローチャート。 (ａ) ３次元空間上への類似度プロット図、(ｂ) ｘｙ投影図。 直線パラメータ空間図。 ｘｙ投影図から直線を検出した結果を示す図。 ｘｙ投影図から線分を検出した結果を示す図。 物体位置限定処理を示す図。 (ａ)ｘｙ投影図、(ｂ)、(ｃ) ｘｙ投影図の基となる類似度表を作成するために用いた長尺画像。 デジタルカメラを用いた画像取得手段を示す図。

符号の説明

１１…画像取得手段
１２…粗対応付け手段
１３…物体位置検出手段
１４…密対応付け手段
１５…出力手段
２１…ｘ軸
２２…ｙ軸
２３…ｚ軸
２４…移動方向
２５…建造物
２６…ライン方向
２７…カメラＡ
２８…カメラＢ
２９…移動車両
３１…カメラ角度
４１…ａ軸
４２…ｂ軸
４３…長尺画像
４４…長尺画像
４５…基準領域
４６…視差候補領域
５１…ｘ軸
５２…ｙ軸
５３…ｚ軸
５４…建造物
５５…街路樹
７１…ｘ軸
７２…ｙ軸
７３…ｚ軸
７４…ｘｙ投影領域
７５…ｘｙ投影領域
８１…ｐ軸
８２…ｑ軸
８３…投票数の多い点
８４…投票数の多い点
９１…ｘｙ投影直線
９２…ｘｙ投影直線
１０１…ｘｙ投影線分
１０２…ｘｙ投影線分
１０３…ｘｙ投影端点
１０４…ｘｙ投影端点
１１１…オクルージョン要因の位置
１１２…ｘｙ投影線分
１１３…物体位置
１２１…物体位置領域
１２２…ａ軸
１２３…ｂ軸
１２４…基準画像
１２５…対象物検出領域
１３１…カメラＡ
１３２…カメラＢ
１３３…構造物
１３４…基線長

Claims (9)

1. 対象物のステレオ画像から当該対象物の形状を復元する形状データ生成装置であって、
   ステレオ画像を取得する画像取得手段と、
   前記ステレオ画像間の類似度を算出して、算出した類似度と当該類似度が算出された地点の３次元座標とを関連付ける粗対応付け手段と、
   前記３次元座標と類似度との関連付け結果に基づいて前記対象物の物体位置の検出を行う物体位置検出手段と、
   前記物体位置に基づいて、前記ステレオ画像上の同一物体の対応付けを行い前記対象物の復元を行う密対応付け手段と、を有することを特徴とする形状データ生成装置。
2. 前記粗対応付け手段は、
   前記ステレオ画像を低解像度化し、低解像度化した一の画像に設定した基準領域と低解像度化した他方の画像に設定した視差候補領域との類似度を計算する、ことにより前記粗対応付け処理を行うことを特徴とする請求項１に記載の形状データ生成装置。
3. 前記物体位置検出手段は、
   前記３次元座標と類似度との関連付け結果のｘ座標及びｙ座標を固定しｚ座標を変化させて前記類似度を加算することによりｘｙ投影類似度値を算出して、当該ｘｙ投影類似度値をｘｙ平面に濃淡値表示したｘｙ投影図を作成し、
   前記ｘｙ投影図の前記各濃淡値を直線のパラメータ空間に投票して当該投票の投票数から前記対象物の位置に相当する点を検出し、
   前記対象物の位置に相当する点に基づいて前記ｘｙ投影図から前記対象物に対応する線分を検出し、
   前記線分から前記対象物の物体位置を検出する、ことにより前記物体位置検出処理を行うことを特徴とする請求項１または２に記載の形状データ生成装置。
4. 前記密対応付け手段は、
   前記検出した物体位置に基づいて対応検索範囲を決定し、当該対応検索範囲についてのみ前記ステレオ画像の同一物体について対応付けを行う、ことにより前記密対応付け処理を行うことを特徴とする請求項３に記載の形状データ生成装置。
5. 対象物のステレオ画像から当該対象物の形状を復元する形状データ生成装置における形状データ生成方法であって、
   画像取得手段がステレオ画像を取得する画像取得ステップと、
   粗対応付け手段が前記ステレオ画像間の類似度を算出して、算出した類似度と当該類似度が算出された地点の３次元座標とを関連付ける粗対応付けステップと、
   物体位置検出手段が前記３次元座標と類似度との関連付け結果に基づいて前記対象物の物体位置の検出を行う物体位置検出ステップと、
   密対応付け手段が前記物体位置に基づいて、前記ステレオ画像上の同一物体の対応付けを行い前記対象物の復元を行う密対応付けステップと、を有することを特徴とする形状データ生成方法。
6. 前記粗対応付け手段は、
   前記ステレオ画像を低解像度化し、低解像度化した一の画像に設定した基準領域と低解像度化した他方の画像に設定した視差候補領域との類似度を計算する、ことにより前記粗対応付けステップを行うことを特徴とする請求項５に記載の形状データ生成方法。
7. 前記物体位置検出手段は、
   前記３次元座標と類似度との関連付け結果のｘ座標及びｙ座標を固定しｚ座標を変化させて前記類似度を加算することによりｘｙ投影類似度値を算出して、当該ｘｙ投影類似度値をｘｙ平面に濃淡値表示したｘｙ投影図を作成し、
   前記ｘｙ投影図の前記各濃淡値を直線のパラメータ空間に投票して当該投票の投票数から前記対象物の位置に相当する点を検出し、
   前記対象物の位置に相当する点に基づいて前記ｘｙ投影図から前記対象物に対応する線分を検出し、
   前記線分から前記対象物の物体位置を検出する、ことにより前記物体位置検出ステップを行うことを特徴とする請求項５または６に記載の形状データ生成方法。
8. 前記密対応付け手段は、
   前記検出した物体位置に基づいて対応検索範囲を決定し、当該対応検索範囲についてのみ前記ステレオ画像の同一物体について対応付けを行う、ことにより前記密対応付けステップを行うことを特徴とする請求項７に記載の形状データ生成方法。
9. 上記の請求項１〜８のいずれか１項に記載の形状データ生成装置又は形状データ生成装置を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。

Images