JP2010181919A - 三次元形状特定装置、三次元形状特定方法、三次元形状特定プログラム - Google Patents

Abstract

【課題】障害物の位置と高さを含む三次元形状を詳細に特定することが可能な三次元形状特定装置、三次元形状特定方法、及び三次元形状特定プログラムを提供する。
【解決手段】移動するカメラの移動前後において画像が撮影される。特徴点抽出部５１にて、撮影画像内に含まれる対象物の特徴点が抽出される。次いで特徴点対応付け部５２にて、異なる撮影画像の特徴点同士が対応付けられる。次いで高さ判定部５５にて、基準平面に対してｄ_α（α＝１，２，…，Ｎ）離れた位置に仮想的に配置される仮想平面に対する射影変換行列であって、予めカメラの移動パラメータや位置情報に基づいて算出された射影変換行列の関係を満たす特徴点の対応が抽出される。抽出された特徴点の対応にて示される対象物の部位は、仮想平面上に配置していると判断する。次いでグルーピング部５６にて、同一仮想平面上に載る特徴点がグルーピングされる。
【選択図】図７

Description

本発明は、三次元形状特定装置、三次元形状特定方法、及び三次元形状特定プログラムに関する。より詳細には、基準平面に対して平行な仮想平面に基づく射影変換行列を用いることによって、撮影画像内に含まれる対象物の三次元形状を特定する三次元形状特定装置、三次元形状特定方法、及び三次元形状特定プログラムに関する。

カメラやセンサ等を用い、対象物の位置や形状を特定する技術が知られている。この技術は、自律走行を行う車やロボットの運動制御に利用されているばかりでなく、近年、高度交通システムにおいて運転者支援を行う場合の制御にも利用可能であるとして、重要性が高まっている。

障害物等の対象物を検知する方法としては、能動的なセンサであるレーザやミリ波、超音波などのレーダーを用いる方法と、カメラなどの受動的なセンサにより可視光画像や赤外線画像を撮影し、撮影された画像（撮影画像）を解析して対象物の情報を特定する方法に大別される。前者は、装置が高価であるばかりでなく、空間分解能が低いため、対象物の大まかな位置や形状しか計測できない。一方後者は、異なる視点にて撮影された撮影画像に基づき対象物の位置や三次元形状が特定可能である。例えば特許文献１に記載の障害物検出方法では、はじめに、ステレオカメラを用いて２つの撮影画像が取得される。そして、道路上に配置される障害物の２撮影画像間の相違量を示す射影変換行列を算出することによって、障害物の位置や三次元形状を特定している。

特開２０００−２９３６９３号公報

しかしながら上述の方法では、障害物の位置は詳細に特定できるものの、その高さを含む三次元形状を詳細に特定することが困難であった。また、検出不要な僅かな障害物も検出されてしまうという問題点があった。

本発明は上述の問題点を解決するためになされたものであり、障害物の位置と高さを含む三次元形状を詳細に特定することが可能であり、且つ、わずかな障害物を検出対象外とすることが可能な三次元形状特定装置、三次元形状特定方法、及び三次元形状特定プログラムを提供することを目的とする。

上述の問題点を解決するために、請求項１に係る発明の三次元形状特定装置は、対象物を複数の異なる視点から撮影して得られる複数の撮影画像に基づき、前記対象物の三次元形状を特定する三次元形状特定装置であって、前記撮影画像を取得する取得手段と、前記取得手段にて取得された前記撮影画像から、前記対象物の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により、一の前記撮影画像から抽出される前記特徴点である第一特徴点、及び、他の前記撮影画像から抽出される前記特徴点である第二特徴点のうち、前記対象物の同一点を示す前記第一特徴点と前記第二特徴点とを対応付ける特徴点対応付け手段と、前記特徴点対応付け手段にて対応付けられた前記第一特徴点及び前記第二特徴点のうち、前記撮影画像内に含まれる基準平面に並行な仮想平面であって前記基準平面より所定間隔離れた位置に配置される前記仮想平面上に配置する前記第一特徴点及び前記第二特徴点との関係を示す射影変換行列であって、前記視点の移動情報、及び、前記仮想平面に対する前記一の撮影画像が撮影された前記視点の位置情報に基づいて算出される前記射影変換行列を、前記所定間隔の異なる複数の前記仮想平面毎に記憶する記憶手段と、前記第一特徴点及び前記第二特徴点のうち、前記記憶手段に記憶された前記射影変換行列にて示される関係を満たす前記第一特徴点及び前記第二特徴点を選択する選択手段と、前記選択手段にて選択された前記第一特徴点及び前記第二特徴点にて示される前記対象物の前記特徴点が、前記選択手段にて関係を満たすとされた前記射影変換行列の基となる前記仮想平面上に配置されていると特定することによって、前記対象物の形状を特定する形状特定手段とを備えている。

また、請求項２に係る発明の三次元形状特定装置は、請求項１に記載の発明の構成に加えて、前記形状特定手段は、前記選択手段において、同一の前記射影変換行列にて示される関係を満たすとして選択された前記特徴点同士をグループ化することによって、前記対象物の形状を特定するグループ化手段を備えたことを特徴とする。

また、請求項３に係る発明の三次元形状特定装置は、請求項１又は２に記載の発明の構成に加えて、前記取得手段は、移動可能な唯一の撮影手段の移動の前後において前記対象物が撮影された結果得られる前記撮影画像を取得することを特徴とする。

また、請求項４に係る発明の三次元形状特定装置は、請求項２に記載の発明の構成に加えて、前記グループ化手段は、前記特徴点を頂点とするデローネ三角形を形成させることによって前記特徴点をグループ化することを特徴とする。

また、請求項５に係る発明の三次元形状特定方法は、対象物を複数の異なる視点から撮影して得られる複数の撮影画像に基づき、前記対象物の三次元形状を特定する三次元形状特定方法であって、前記撮影画像を取得する取得ステップと、前記取得ステップにて取得された前記撮影画像から、前記対象物の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップにより、一の前記撮影画像から抽出される前記特徴点である第一特徴点、及び、他の前記撮影画像から抽出される前記特徴点である第二特徴点のうち、前記対象物の同一点を示す前記第一特徴点と前記第二特徴点とを対応付ける特徴点対応付けステップと、前記特徴点対応付けステップにて対応付けられた前記第一特徴点及び前記第二特徴点のうち、前記撮影画像内に含まれる基準平面に並行な仮想平面であって前記基準平面より所定間隔離れた位置に配置される前記仮想平面上に配置する前記第一特徴点及び前記第二特徴点との関係を示す射影変換行列であって、前記視点の移動情報、及び、前記仮想平面に対する前記一の撮影画像が撮影された前記視点の位置情報に基づいて算出される前記射影変換行列を、前記所定間隔の異なる複数の前記仮想平面毎に記憶する記憶手段と、前記第一特徴点及び前記第二特徴点のうち、前記記憶手段に記憶された前記射影変換行列にて示される関係を満たす前記第一特徴点及び前記第二特徴点を選択する選択ステップと、前記選択ステップにて選択された前記第一特徴点及び前記第二特徴点にて示される前記対象物の前記特徴点が、前記選択ステップにて関係を満たすとされた前記射影変換行列の基となる前記仮想平面上に配置されていると特定することによって、前記対象物の形状を特定する形状特定ステップとを備えている。

また、請求項６に係る発明の三次元形状特定方法は、請求項５に記載の発明の構成に加えて、前記形状特定ステップは、前記選択ステップにおいて、同一の前記射影変換行列にて示される関係を満たすとして選択された前記特徴点同士をグループ化することによって、前記対象物の形状を特定するグループ化ステップを備えたことを特徴とする。

また、請求項７に係る発明の三次元形状特定方法は、請求項５又は６に記載の発明の構成に加えて、前記取得ステップは、移動可能な唯一の撮影手段の移動の前後において前記対象物が撮影された結果得られる前記撮影画像を取得することを特徴とする。

また、請求項８に係る発明の三次元形状特定方法は、請求項６に記載の発明の構成に加えて、前記グループ化ステップは、前記特徴点を頂点とするデローネ三角形を形成させることによって前記特徴点をグループ化することを特徴とする。

また、請求項９に係る発明の三次元形状特定プログラムは、請求項１乃至４のいずれかに記載の三次元形状特定装置の各処理手段としてコンピュータを駆動させる。

請求項１に係る発明の三次元形状特定装置では、撮影画像が撮影された位置（視点）間の移動情報（カメラの並進ベクトル、及びカメラの移動前後の回転）と、基準平面（道路平面等）と平行に仮想的に配置される仮想平面の位置情報（基準平面の単位法線ベクトル、及びカメラと仮想平面との間の距離）とに基づいて、撮影画像間の射影変換行列が求められる。本発明では、カメラとの距離が異なる複数の射影変換行列をあらかじめ算出し記憶手段に記憶しておく。次いで、射影変換行列にて示される関係を満たす撮影画像の特徴点の移動前後の組み合わせを抽出する。そして抽出された特徴点組が、射影変換行列の基となる仮想平面上に配置されていると判断する。これによって、特徴点が示す対象物の形状（基準平面からの高さ）を詳細に特定することが可能となる。

上述のようにして対象物の三次元形状を特定する方法では、仮想平面間の距離を調整することにより、基準平面からの高さが所定未満の対象物を検出対象外とすることが可能となる。これによって、不要な対象物をフィルタリングして検出しないように設定することが可能となる。従って、結果の解析が容易となり、必要な対象物を容易かつ迅速に抽出することが可能となる。例えば、車載される凹凸検出装置等において、無視可能な路面の凹凸や障害物等は検出せず、走行に支障を来す可能性のある対象物のみ選択して三次元形状を特定することが可能となる。

また、請求項２に係る発明の三次元形状特定装置は、請求項１に記載の発明の効果に加えて、基準平面とは異なる高さの隣接した特徴点同士を特定してグループ化することが可能となるので、複数の対象物が近接して配置されている場合であっても、双方の三次元形状を区別して特定することが可能となる。これによって、対象物の三次元形状を詳細に特定することが可能となる。

また、請求項３に係る発明の三次元形状特定装置は、請求項１又は２に記載の発明の効果に加えて、撮影画像は共通の撮影手段（カメラ等）により撮影される。そして撮影手段が移動する場合における移動の前後にて撮影された結果の撮影画像が、三次元形状特定のために使用される。これによって、撮影手段の数を最小限に抑えることが可能となり、三次元形状特定のために必要な設備のコストを抑制することが可能となる。また、複数の撮影画像を複数の撮影手段より取得する構成とした場合、撮影手段は所定距離以上離して配置させなければならないため、設置場所の制約が大きくなるが、本発明では、撮影手段の設置制限を受けることなく撮影画像を取得し三次元形状を特定することが可能となる。

また、請求項４に係る発明の三次元形状特定装置は、請求項２に記載の発明の効果に加えて、デローネ三角形分割により基準平面とは異なる高さの隣接した特徴点同士をグループ化するので、対象物における形状を正確に特定することが可能となる。

また、請求項５に係る発明の三次元形状特定方法では、撮影画像が撮影された位置（視点）間の移動情報（カメラの並進ベクトル、及びカメラの移動前後の回転）と、基準平面（道路平面等）と平行に仮想的に配置される仮想平面の位置情報（基準平面の単位法線ベクトル、及びカメラと仮想平面との間の距離）とに基づいて、撮影画像間の射影変換行列が求められる。本発明では、カメラとの距離が異なる複数の射影変換行列をあらかじめ算出し記憶手段に記憶しておく。次いで、射影変換行列にて示される関係を満たす撮影画像の特徴点の移動前後の組み合わせを抽出する。そして抽出された特徴点組が、射影変換行列の基となる仮想平面上に配置されていると判断する。これによって、特徴点が示す対象物の形状（基準平面からの高さ）を詳細に特定することが可能となる。

上述のようにして対象物の三次元形状を特定する方法では、仮想平面間の距離を調整することにより、基準平面からの高さが所定未満の対象物を検出対象外とすることが可能となる。これによって、不要な対象物をフィルタリングして検出しないように設定することが可能となる。従って、結果の解析が容易となり、必要な対象物を容易かつ迅速に抽出することが可能となる。例えば、車載される凹凸検出装置等において、無視可能な路面の凹凸や障害物等は検出せず、走行に支障を来す可能性のある対象物のみ選択して三次元形状を特定することが可能となる。

また、請求項６に係る発明の三次元形状特定方法は、請求項５に記載の発明の効果に加えて、基準平面とは異なる高さの隣接した特徴点同士を特定してグループ化することが可能となるので、複数の対象物が近接して配置されている場合であっても、双方の三次元形状を区別して特定することが可能となる。これによって、対象物の三次元形状を詳細に特定することが可能となる。

また、請求項７に係る発明の三次元形状特定方法では、請求項５又は６に記載の発明の効果に加えて、撮影画像は共通の撮影手段（カメラ等）により撮影される。そして撮影手段が移動する場合における移動の前後にて撮影された結果の撮影画像が、三次元形状特定のために使用される。これによって、撮影手段の数を最小限に抑えることが可能となり、三次元形状特定のために必要な設備のコストを抑制することが可能となる。また、複数の撮影画像を複数の撮影手段より取得する構成とした場合、撮影手段は所定距離以上離して配置させなければならないため、設置場所の制約が大きくなるが、本発明では、撮影手段の設置制限を受けることなく撮影画像を取得し三次元形状を特定することが可能となる。

また、請求項８に係る発明の三次元形状特定方法では、請求項６に記載の発明の効果に加えて、デローネ三角形分割により同一高さに存在する特徴点同士をグループ化するので、対象物における形状を正確に特定することが可能となる。

また、請求項９に係る発明の三次元形状特定プログラムは、請求項１乃至４のいずれかに記載の三次元形状特定装置の各処理手段としてコンピュータを駆動させることが可能となる。

対象物の三次元配置特定方法の原理を示す模式図である。 対象物の三次元配置特定方法の原理を示す模式図である。 対象物の形状特定方法（グルーピング方法）の原理を示す模式図である。 対象物の形状特定方法（グルーピング方法）の原理を示す模式図である。 対象物の形状特定方法（グルーピング方法）の原理を示す模式図である。 対象物の形状特定方法（グルーピング方法）の原理を示す模式図である。 三次元形状特定装置３１にて実行される三次元形状特定方法を機能的に示すブロック図である。 三次元形状特定装置３１の電気的構成を示す模式図である。 三次元形状特定処理を示すフローチャートである。 カメラ移動前の撮影画像を示した写真である。 カメラを直進移動させた後の撮影画像を示した写真である。 カメラを左折移動させた後の撮影画像を示した写真である。 直進移動前の撮影画像より抽出された特徴点を示した写真である。 直進移動後の撮影画像より抽出された特徴点を示した写真である。 直進移動時における特徴点の対応関係を示す模式図である。 左折移動前の撮影画像より抽出された特徴点を示した写真である。 左折移動後の撮影画像より抽出された特徴点を示した写真である。 左折移動時における特徴点の対応関係を示す模式図である。 直進移動時、撮影空間を左方から見た場合の特徴点の分布を示した模式図である。 直進移動時、撮影空間を後方から見た場合の特徴点の分布を示した模式図である。 直進移動時、撮影空間を上方から見た場合の特徴点の分布を示した模式図である。 左折移動時、撮影空間を左方から見た場合の特徴点の分布を示した模式図である。 左折移動時、撮影空間を後方から見た場合の特徴点の分布を示した模式図である。 左折移動時、撮影空間を上方から見た場合の特徴点の分布を示した模式図である。 直進移動前の撮影画像より抽出された特徴点を示した写真である。 直進移動後の撮影画像より抽出された特徴点を示した写真である。 特徴点を正射影した状態を示す模式図である。 特徴点に対してデローネ三角形分割を適用させた結果を示す模式図である。 特徴点の分布及びグルーピングの結果を示す模式図である。

以下、本発明の実施の形態における三次元形状特定装置、三次元形状特定方法、三次元形状特定プログラムについて、図面を参照して説明する。なおこれらの図面は、本発明が採用し得る技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。

図１〜図６を参照し、本発明の三次元形状特定方法の原理について説明する。図１及び図２は、対象物の三次元配置を特定する方法の原理を示す模式図である。図３〜６は、対象物の形状特定方法（グルーピング方法）の原理を示す模式図である。

はじめに図１を参照し、対象物の三次元配置を特定する方法の原理について説明する。図１では、基準平面３上に配置される点２を正規化カメラ（カメラの校正によって、通常のカメラから換算可能である。以下、単に「カメラ」と呼ぶ。）１にて撮影し、撮影画像を解析することによって、点２を特徴点として含む対象物の三次元配置を特定する場合を想定している。図１には、移動前後のカメラ１（移動前：カメラ１１、移動後：カメラ１２）、座標（ｘ_１，ｙ_１，ｚ_１）に配置された点２、及び基準平面３が示されている。また、カメラ１の移動に伴う並進ベクトルｔ、カメラ１の移動に伴う回転を表わす行列Ｒ、移動前のカメラ１（カメラ１１）から基準平面３までの距離ｄ、基準平面３の単位法線ベクトルｎが模式的に示されている。ここで、基準平面３の単位法線ベクトルｎは、基準平面３上の点２を表わすベクトル（ｘ_１，ｙ_１，ｚ_１）との内積が正となるように定義する。

点２は、移動前の位置（カメラ１１）と移動後の位置（カメラ１２）との両方の位置で撮影される。ここで、移動前のカメラ１１にて撮影された点の投影像と、移動後のカメラ１２にて撮影された点の投影像とを、それぞれ（ｘ，ｙ）（ｘ´，ｙ´）とする。そして以下、これらを（１）式のベクトルｘ及びｘ´にて示す。

次に、基準平面３に対する点２の投影像間の関係を示す射影変換行列Ｈを定義する。単位行列をＩとし、図１に示す並進ベクトルｔ、行列Ｒ、距離ｄ、単位法線ベクトルｎを用いた場合、基準平面３に対する点２の投影像間の関係を示す射影変換行列Ｈは、（２）式にて表わされる。

図１においては、ベクトルｘ及びｘ´は基準平面３上の点２を示しているので、カメラ１の移動前後の投影像の関係は、ベクトルの第３要素を１とする正規化行列をＺ［］とすると、（３）式にて表わされる。

カメラ１１にて撮影される基準平面３上の点２の投影像のベクトルｘと、カメラ１２にて撮影される基準平面３上の点２の投影像のベクトルｘ´とは、必ず（３）式の関係を満たす。言い換えれば、（３）式を満たす投影像のベクトル（ｘ及びｘ´）から求まる点は基準平面３上に配置されるといえる。本実施の形態ではこの関係を利用し、対象物の特徴点の基準平面３からの高さを特定することによって、対象物の三次元配置を特定している。詳細は後述する。

次に、図２を参照し、対象物の三次元配置を特定する方法の原理について説明する。ここで仮想平面７（仮想平面５、仮想平面６など）は、基準平面３と同一の法線ベクトルｎを持ち、移動前のカメラ１からの距離ｄ_α（α＝１，２，・・・，Ｎ）が基準平面３との間の距離ｄとは異なる、仮想的に定義されたＮ枚の平面群である。図２では、仮想平面６上に配置される点４をカメラ１にて撮影し、撮影画像を解析することによって、点４を特徴点として含む対象物の三次元配置を特定する場合を想定している。図２には、移動前後のカメラ１（移動前：カメラ１１、移動後：カメラ１２）、座標（ｘ_２，ｙ_２，ｚ_２）に配置された点４、基準平面３、仮想平面７（仮想平面５、仮想平面６など）が示されている。また、並進ベクトルｔ、行列Ｒ、移動前のカメラ１（カメラ１１）から基準平面３までの距離ｄ、移動前のカメラ１（カメラ１１）から仮想平面６の距離ｄ_１、移動前のカメラ１（カメラ１１）から仮想平面５までの間の距離ｄ_２、及び、基準平面３の単位法線ベクトルｎが模式的に示されている。以下、Ｎ枚の仮想平面７をそれぞれ仮想平面Π_α （α＝１，２，３，・・・，Ｎ）と呼ぶ。

仮想平面Π_αに対する点４の投影像間の関係を示す射影変換行列Ｈ_αを定義する。単位行列をＩとし、上述の並進ベクトルｔ、行列Ｒ、距離ｄ_α、単位法線ベクトルｎを用いた場合、仮想平面Π_αに対する投影像間の関係を示す射影変換行列Ｈ_αは、（４）式にて表わされる。なおＨ_αは、基準平面３に対する射影変換行列Ｈの算出式（（２）式参照）におけるｄを、ｄ_αに変更することによって得られる。

図２において、仮想平面Π_α上の点４を示すベクトルをベクトルｘ及びｘ´と表記すると、カメラ１の移動前後の投影像の関係は、（５）式にて示される。

カメラ１１にて撮影された仮想平面Π_α上の点４の投影像のベクトルｘと、カメラ１２にて撮影された仮想平面Π_α上の点４の投影像のベクトルｘ´とは、必ず（５）式の関係を満たす。言い換えれば、（５）式を満たす投影像のベクトル（ｘ及びｘ´）から求まる点は仮想平面Π_α上に配置されるといえる。

本実施の形態では、ｄ_αの異なるＮ枚の仮想平面Π_αに対する、仮想平面Π_α上に配置された点の投影像間の関係を示す射影変換行列Ｈ_αをあらかじめ算出しておく。次いで、Ｎ枚のＨ_αのうち一に対して、実際に移動前後のカメラ１にて撮影された投影像のベクトルの組み合わせ（ｘ、ｘ´）を当てはめる。そして、射影変換行列の関係を充足する投影像のベクトルの組み合わせ（ｘ、ｘ´）が見つかった場合に、該当する（ｘ、ｘ´）にて示される点が仮想平面Π_α上に配置されていると判断する。射影変換行列の関係を充足する投影像のベクトルの組み合わせが見つからなかった場合には、他の射影変換行列が順次当てはめられる。仮想平面Π_αは、基準平面３と平行であり且つ移動前のカメラ１１からの距離が特定された平面として定義されている。従って上述の処理を行うことによって、投影像のベクトル（ｘ、ｘ´）にて示される点の基準平面３からの高さを特定することが可能となる。

なお実際には、対象物の特徴点の組があらかじめ複数定義される。そして、定義された特徴点の組の全てに対して、上述の処理が繰り返し実行される。これによって、対象物の特徴点の基準平面３からの高さが特定され、対象物の三次元配置が詳細に特定される。

図３〜６を参照し、対象物の形状特定方法（グルーピング方法）について説明する。本実施の形態では、はじめに既述した方法によって対象物の特徴点の三次元配置が特定される。次いで、基準平面３からの高さが同一の特徴点をグルーピングする処理を行うことによって、対象物の形状を特定する。

グルーピングする処理では、はじめに、既述した方法によって特徴点の三次元配置が特定される。次いで図３に示すように、特徴点２１等の群について、特定された三次元配置の情報（すなわち、基準平面３からの高さの情報）を一旦０とする。これによって、特徴点２１等の群を上方より正射影視する。図３では、特定された三次元配置の情報を一旦０とし、上方より正射影視した場合の特徴点２１等の群が模式的に示されている。

次に、図４に示すように、正射影視された特徴点２１等の群に対し、デローネ三角形分割を適用する。具体的には、正射影視後の特徴点２１等の群を頂点とするようなデローネ三角形が形成されるように、特徴点２１等を辺２２等で結ぶ。図４では、正射影された特徴点２１等同士が辺２２等により接続され、複数のデローネ三角形が形成された状態が模式的に示されている。以下、形成されたデローネ三角形の頂点に存在する特徴点を特に「ノード」と呼ぶ。また、形成されたデローネ三角形の辺を特に「アーク」と呼ぶ。

次に、図５に示すように、形成されたノード２１、２３、２４等に、特定された三次元配置の情報（基準平面３からの高さの情報）を特徴量として与える。図５では、基準平面３からの高さに基づき、ノードがそれぞれ「●」「○」及び「△」として模式的に示されている。ノード２１等は「●」にて示されている。ノード２３等は「○」にて示されている。ノード２４等は「△」にて示されている。ここで「●」は、基準平面３からの高さが「０」であるノードを示している。「○」は、基準平面３からの高さが０より大きい値（例えば「Ａ」）であるノードを示している。「△」は、基準平面３からの高さが０より大きい値（例えば「Ｂ」、Ａ≠Ｂ）であるノードを示している。

次に、図６に示すように、基準平面３からの高さが特徴量として各ノードに与えられた状態において、与えられた特徴量が０以下のノードが選択される。次いで、選択されたノードに接続されているアークがすべて削除される。図６に示す例では「●」にて示されるノード２１等は基準平面３からの高さが「０」であることを示しているので、ノード２１等に接続されているアーク２２等がすべて削除されている。また「○」にて示されるノード２３等、及び「△」にて示されるノード２４等は、基準平面３からの高さが「０」より大きいので、これらのノードに接続されているアーク２５、アーク２６が残されている。上述の処理の結果、ノード及びノードに接続されたアークにて囲まれるグループを、対象物が正射影視された場合の形状として特定する。

なお、上述の説明では、特徴量として与えられた基準平面３からの高さが「０」のノードを選択し、選択したノードに接続されているアークをすべて削除する処理を行っているが、本発明はこの方法に限定されない。例えば、特徴量として与えられた高さが所定の閾値の範囲内であるノードを選択し、選択したノードに接続されているアークをすべて削除する処理を行ってもよい。

図７を参照し、本実施の形態の三次元形状特定装置３１（図８参照）にて実行される三次元形状特定方法の概略について説明する。図７は、三次元形状特定装置３１（図８参照）にて実行される三次元形状特定方法を機能的に示すブロック図である。

三次元形状特定方法が実行される場合における前提条件について説明する。本実施の形態の三次元形状特定方法では、カメラ１は１台であり、移動可能とする。また、カメラ１の内部パラメータ（焦点距離、画像中心、歪み係数）は予め校正済みであるとする。また、カメラ１の初期校正により、カメラ座標系から見た基準平面３（道路平面）の法線ベクトルｎ（図１参照）、移動前のカメラ１１と基準平面３との間の距離ｄ（図１参照）は既知であるとする。

なお、カメラ１の並進ベクトルｔ及び行列Ｒ（図１参照）についても、本実施の形態では既知であるとする。なお、これらの値は、別途センサにより検出する構成であってもよい。

図７に示すように、三次元形状特定方法では、はじめに、特徴点抽出部５１において、カメラ１（図１参照）にて撮影される撮影画像中から特徴点が抽出される。特徴点抽出部５１では、移動前のカメラ１１（図１参照）にて撮影された撮影画像６０と、移動後のカメラ１２（図１参照）にて撮影された撮影画像６１との其々が取得される。そして、取得された撮影画像６０及び撮影画像６１の其々に基づいて特徴点が抽出される。特徴点を抽出する為のアルゴリズムとしては、従来周知の様々なアルゴリズムが使用可能である。例えば、ＨａｒｒｉｓオペレータやＳＩＦＴ（Scale Invariant Feature Transform）などのアルゴリズムが使用可能である。以下、移動前の撮影画像６０より抽出された特徴点の投影像を示すベクトルをｘ_ｉ（ｉ＝１，２，・・・）にて示し、移動後の撮影画像６１より抽出された特徴点の投影像を示すベクトルをｘ_ｉ´（ｉ＝１，２，・・・）にて表わす。

特徴点抽出部５１にて抽出された特徴点は、次に特徴点対応付け部５２において、同一点を示す特徴点同士が対応付けられる。詳細には、撮影画像６０より抽出された特徴点と撮影画像６１より抽出された特徴点とで、対象物の同一点を示す特徴点同士が対応付けられる。特徴点同士を対応付ける方法としては、従来周知の様々なアルゴリズムが使用可能である。例えば、特徴点の局所領域のテンプレートマッチングによる方法や、ＳＩＦＴ特徴量を使う方法などが使用可能である。以下、対応付けられた特徴点の投影像のベクトルの組み合わせを｛ｘ_ｉ，ｘ_ｉ´｝（ｉ＝１，２，・・・）にて示す。

次に、基準平面検出部５４において、基準平面３（図１参照）が撮影画像内より検出される。基準平面３としては、例えば撮影画像内の道路平面等が検出される。検出された基準平面３は、特徴点の高さの基準とされる。基準平面３を検出する方法としては、例えば基準平面３に特徴的な部分（道路平面であれば、道路に描かれている線等）をエッジ検出や外周調査等のアルゴリズムにより検出する方法が使用可能である。なお、基準平面３を検出する場合には、検出された基準平面３の特徴的部分とのマッチングを行うための基準平面パラメータ６４が参照される。なお、基準平面パラメータが未知の場合には，別途センサなどで計測することにより、基準平面パラメータを取得してもよい。

なお、上述の基準平面検出部５４、及び基準平面パラメータ６４は、本発明においては省略することも可能である。

次に、高さ判定部５５において、特徴点対応付け部５２にて対応付けられた特徴点の三次元配置が特定される。詳細には、カメラ１の移動パラメータ（並進ベクトルｔ、行列Ｒ、図１参照）６６に基づき射影変換行列Ｈ_α６５が予め算出される。そして算出された射影変換行列Ｈ_α６５が参照され、射影変換行列Ｈ_αにて示される関係を満たす投影像のベクトルの組み合わせ｛ｘ_ｉ，ｘ_ｉ´｝が抽出される。

ベクトルの組み合わせを抽出する工程では、Ｎ枚の射影変換行列Ｈ_αのうち一に対して、特徴点対応付け部５２にて対応付けられた｛ｘ_ｉ，ｘ_ｉ´｝が当てはめられる。そして、下記の式（６）を満たす｛ｘ_ｉ，ｘ_ｉ´｝を選択する。

そして（６）式の関係を満たすとして選択された組み合わせ（以下「｛ｘ^α _ｊ，ｘ´^α _ｊ｝」にて示す。）は、仮想平面Π_α上に配置されている点を示すベクトルとして特定される。上述の処理を、すべての｛ｘ_ｉ，ｘ_ｉ´｝を射影変換行列Ｈ_αのいずれかに対して当てはめる処理を実行することによって、特徴点の三次元配置が基準平面３からの距離として特定される。

次に、グルーピング部５６において、デローネ三角形分割が適用される。そして、基準平面３からの高さが指定値以上の特徴点同士がグルーピングされる。これによって、特徴点を正射影した場合の形状が特定される。

次に、三次元復元部５７において、仮想平面Ｈ_α上に配置されているとされた特徴点の投影像を示すベクトルの組み合わせ｛ｘ^α _ｊ，ｘ´^α _ｊ｝の三次元位置ｒ^α _ｊを、（７）式に基づいて算出する。但し、式中（ｎ，ｘ^α _ｊ）は、ベクトルｎとｘ^α _ｊとの内積を表わす。

図８を参照し、三次元形状特定装置３１の電気的構成について説明する。図８は、三次元形状特定装置３１の電気的構成を示す模式図である。三次元形状特定装置３１は、既述の三次元形状特定方法を実現するための装置である。三次元形状特定装置３１としては、例えばパーソナルコンピュータが使用可能である。

図８に示すように、三次元形状特定装置３１は、各種演算処理や各種入出力処理が実行されるＣＰＵ３２、ブートプログラムやＢＩＯＳが記憶されるＲＯＭ３３、ＣＰＵ３２が処理を行う場合に必要となる一時的な記憶領域を提供する為のＲＡＭ３４、及び、各種パラメータやリストが記憶されるハードディスク（ＨＤＤ）４１を備えている。そして、ＣＰＵ３２よりＲＯＭ３３、ＲＡＭ３４、及びＨＤＤ４１を参照することが可能なように、ＣＰＵ３２とＲＯＭ３３、ＲＡＭ３４、及びＨＤＤ４１とは其々バスを介して電気的に接続されている。ＨＤＤ４１に記憶されている情報の詳細は後述する。

三次元形状特定装置３１は、ディスプレイ３５に所望の像を表示させる制御を行うための表示ドライバ３６を備えている。そして、ＣＰＵ３２よりディスプレイ３５に所望の像を表示させることが可能なように、ＣＰＵ３２と表示ドライバ３６とは電気的に接続されている。また表示ドライバ３６とディスプレイ３５とは電気的に接続されている。

三次元形状特定装置３１は、入力部３７を介してユーザにより入力される各種情報をＣＰＵ３２にて認識することが可能なように、ＣＰＵ３２と入力部３７とは電気的に接続されている。入力部３７としては、例えばキーボードやマウス等が使用可能である。

三次元形状特定装置３１は、カメラ１にて撮影された撮影画像を取り込むことが可能なカメラドライバ３８を備えている。そして、ＣＰＵ３２にて撮影画像を認識することが可能なように、ＣＰＵ３２とカメラドライバ３８とは電気的に接続されている。またカメラドライバ３８とカメラ１とは電気的に接続されている。カメラ１としては、ＣＣＤカメラやＣＭＯＳカメラ等が使用可能である。

三次元形状特定装置３１は、記憶媒体４０に記憶されている情報を読み取ることが可能な読取ドライブ３９を備えている。そして、読取ドライブ３９にて読み取られた情報をＣＰＵ３２にて認識することが可能なように、読取ドライブ３９とＣＰＵ３２とは電気的に接続されている。記憶媒体４０には、三次元形状特定装置３１のＣＰＵ３２の駆動に必要なプログラム等が記憶される。記憶媒体４０としては特段限定されず、従来周知の様々な記憶媒体が使用可能である。

ＨＤＤ４１に記憶されている各種情報の詳細について、図８を参照して説明する。図８では、基準平面パラメータ記憶領域４１１、移動パラメータ記憶領域４１２、射影変換行列記憶領域４１３、点特徴量リスト記憶領域４１４、対応候補リスト記憶領域４１５、対応リスト記憶領域４１６、撮影画像記憶領域４１７、及び、特徴点記憶領域４１８が模式的に示されている。

基準平面パラメータ記憶領域４１１には、カメラ１にて撮影された撮影画像中に配置されている基準平面３（図１参照）を検出する場合に必要な基準平面パラメータが記憶されている。移動パラメータ記憶領域４１２には、撮影時におけるカメラ１の移動に関するパラメータが記憶される。例えば、図１における並進ベクトルｔ、行列Ｒ、距離ｄ等のパラメータが記憶される。射影変換行列記憶領域４１３には、仮想平面Π_αに対する射影変換行列Ｈ_αが記憶されている。点特徴量リスト記憶領域４１４には、対象物の特徴点を検出した場合に、同時に検出される特徴点の特徴量のリストが記憶される。対応候補リスト記憶領域４１５には、ＳＩＦＴアルゴリズム等に基づいて特徴点の対応付けを行う場合に必要となる対応候補リストが記憶される。対応リスト記憶領域４１６には、アウトライア除去工程（Ｓ２５、図９参照、後述）において、ＲＡＮＳＡＣ（RANdom SAmple Consensus）処理を行う場合に必要となる対応リストが記憶される。撮影画像記憶領域４１７には、カメラ１にて撮影された結果の撮影画像のデータが記憶される。特徴点記憶領域４１８には、撮影画像より抽出された特徴点の位置情報及び三次元配置情報が記憶される。

図９を参照し、三次元形状特定装置３１のＣＰＵ３２にて実行される三次元形状特定処理について説明する。図９は、三次元形状特定処理を示すフローチャートである。三次元形状特定処理は、ユーザにより入力部３７（図８参照）を介して三次元特定処理を実行する旨の入力がなされた場合に、ＣＰＵ３２により起動され実行される。

図９に示すように、三次元形状特定処理では、はじめに、移動前の状態のカメラ１（カメラ１１、図１参照）にて画像が撮影される（Ｓ１１）。撮影画像のデータは、ＨＤＤ４１の撮影画像記憶領域４１７に記憶される。次いで、Ｓ１１にて撮影された地点とは異なる地点にカメラ１が移動する。そして、移動後の状態のカメラ１（カメラ１２、図１参照）にて画像が撮影される（Ｓ１３）。撮影画像のデータは、ＨＤＤ４１の撮影画像記憶領域４１７に記憶される。

次いで、撮影画像中から特徴点が抽出される（Ｓ１５）。抽出された特徴点の位置情報は、ＨＤＤ４１の特徴点記憶領域４１８に記憶される。特徴点を抽出する場合に、同時に特徴点の特徴量をＨＤＤ４１の点特徴量リスト記憶領域４１４に記憶する。また既述のように、ＨａｒｒｉｓオペレータやＳＩＦＴなどのアルゴリズムを使用して特徴点を抽出することも可能である。

次いで、カメラ１の移動前後で、対象物の同一点を示す特徴点同士が対応付けられる（Ｓ１７）。ここで特徴点同士を対応付ける方法としてＳＩＦＴ特徴量が使用される場合には、ＨＤＤ４１の点特徴量リスト記憶領域４１４の中で、類似した特徴量を持つ特徴点の組を、対応候補リスト記憶領域４１５に格納する。また既述のように、テンプレートマッチングなどを用いて対応付けを行うことも可能である。

次いでＳ２５では、幾何学的に正しい対応点対は、エピ極線拘束条件と呼ばれる条件を満足することを利用し、アウトライアを除去する（Ｓ２５）。具体的には，ＲＡＮＳＡＣを用いたロバスト推定によって特徴点対に基礎行列と呼ばれる行列を当てはめ、閾値処理によって残差の大きいデータを除去する。ＲＡＮＳＡＣを用いたロバスト推定の工程では、ランダムにいくつかのサンプルを抽出し、最小二乗法（ＬＭＳ）などに当てはめることを繰り返す。抽出したサンプルに外れ値が含まれなければ、より確からしい推定が得られ、且つ外れ値の数が全特徴点の数に比べて少なければ、推定される誤差範囲内により多くの特徴点を含ませることが可能となる。アウトライア除去工程では、正しいとみなされた対応をHDD４１の対応リスト記憶領域４１６に格納する。

次いで、基準平面３が撮影画像内より検出される（Ｓ２７）。基準平面３として、撮影画像内の道路平面が検出される。検出された基準平面３は、特徴点の高さの基準とされる。具体的には、道路平面の特徴的部分（道路に描かれている線等）のパターンを検出することや、画像内で最も大きな平面を求めたりすることによって、道路平面が検出される。検出する方法としては、既述のようにエッジ検出や外周調査などのアルゴリズムや、ＲＡＮＳＡＣを用いた平面検出アルゴリズムが使用可能である。なお必要に応じて、ＨＤＤ４１の基準平面パラメータ記憶領域４１１に記憶されている基準平面パラメータが参照される。

次いで、Ｓ１７にて対応付けられた特徴点組に対して高さ判定がなされる（Ｓ２９）。高さ判定は、予め算出されＨＤＤ４１の射影変換行列記憶領域４１３に記憶されている射影変換行列Ｈ_αが参照される。そして、射影変換行列Ｈ_αにて示される関係を満たす特徴点の組み合わせが抽出される（（６）式参照）。抽出された特徴点の組み合わせにて特定される対象物の特徴点は、仮想平面Π_α上に配置されていると特定される。これによって、特徴点の三次元配置の情報（道路平面からの高さの情報）が特定される。特定された三次元配置の情報は、特徴点の位置情報に対応付けられ、ＨＤＤ４１の特徴点記憶領域４１８に記憶される。

高さ判定は、Ｓ１７において対応付けが可能であったすべての特徴点に対して仮想平面Π_αが当てはめられることによって実行される。高さ判定が実行されていない特徴点が存在する場合には（Ｓ３１：ＮＯ）、Ｓ２９に戻り、未処理の特徴点について上述の処理が繰り返し実行される。すべての特徴点について高さ判定が実行された場合（Ｓ３１：ＹＥＳ）、グルーピング処理を実行するためにＳ３３に移行される。

Ｓ３３では、高さ判定がなされた特徴点に対して、グルーピングが実行される（Ｓ３３）。グルーピングでは、道路平面からある値以上の高さを持つ特徴点同士がグルーピングされる。具体的には、デローネ三角形分割が適用されることによって、道路平面からある値以上の高さを持つ特徴点同士がグルーピングされる。これによって、特徴点を正射影視した場合の形状が特定される。

次いで、特徴点の其々の三次元位置が算出される（Ｓ３５、（７）式参照）。これによって、特徴点の三次元形状が特定される。算出された特徴点の三次元形状は、ディスプレイ３５（図８参照）に表示され（Ｓ３７）、撮影空間に存在する対象物の三次元形状をユーザが視認可能となる。

以上説明したように、三次元形状特定装置３１では、撮影画像内に存在する対象物の特徴点の三次元配置と正射影時の形状を特定することによって、対象物の三次元形状を特定することが可能となっている。ここで、仮想平面間の距離を調整することにより、基準平面３からの高さが所定未満の対象物を検出対象外とすることが可能となる。これによって、不要な対象物をフィルタリングして検出しないように設定することが可能となる。従って、結果の解析が容易となり、必要な対象物を容易かつ迅速に抽出することが可能となる。例えば、車載される凹凸検出装置等において、無視可能な路面の凹凸や障害物等は検出せず、走行に支障を来す可能性のある対象物のみを特定することが可能となる。

また、対象物において基準平面３からの高さがある値以上の特徴点同士をデローネ三角形分割により特定してグループ化することが可能となる。これによって、複数の対象物が近接して配置されている場合であっても、双方の三次元形状を区別して特定することが可能となる。

なお、三次元形状特定装置３１では、唯一のカメラ１を移動させることによって異なる視点より撮影された撮影画像を取得している。これによって、カメラ１の数を最小限に抑えることが可能となり、三次元形状特定のために必要な設備のコストを抑制することが可能となる。また、複数の撮影画像を複数の撮影手段より取得する構成とした場合、撮影手段は所定距離以上離して配置させなければならないため、設置場所の制約が大きくなるが、本発明では、カメラ１の設置制限を受けることなく撮影画像を取得し三次元形状を特定することが可能となる。

なお、図９のＳ１１及びＳ１３の処理を行うＣＰＵ３２が本発明の「取得手段」に相当し、Ｓ１５の処理を行うＣＰＵ３２が本発明の「特徴点抽出手段」に相当し、Ｓ１７の処理を行うＣＰＵ３２が本発明の「特徴点対応付け手段」に相当する。図９のＳ１１にて取得された撮影画像に基づき、Ｓ１５にて抽出される特徴点が本発明の「第一特徴点」に相当し、Ｓ１３にて取得された撮影画像に基づき、Ｓ１５にて抽出される特徴点が本発明の「第二特徴点」に相当する。図８の射影変換行列記憶領域４１３に記憶されている射影変換行列が本発明の「射影変換行列」に相当し、射影変換行列記憶領域４１３が本発明の「記憶手段」に相当する。図９のＳ２９の処理を行うＣＰＵ３２が本発明の「選択手段」に相当し、Ｓ３３及びＳ３５の処理を行うＣＰＵ３２が本発明の「形状特定手段」に相当する。図９のＳ３３の処理を行うＣＰＵ３２が本発明の「グループ化手段」に相当する。図８のカメラ１が本発明の「撮影手段」に相当する。

図９のＳ１１及びＳ１３の処理が本発明の「取得ステップ」に相当し、Ｓ１５の処理が本発明の「特徴点抽出ステップ」に相当し、Ｓ１７の処理が本発明の「特徴点対応付けステップ」に相当する。図９のＳ２９の処理が本発明の「選択ステップ」に相当し、Ｓ３３及びＳ３５の処理が本発明の「形状特定ステップ」に相当する。図９のＳ３３の処理が本発明の「グループ化ステップ」に相当する。

以下、上述の三次元形状特定装置３１を使用した実施例１の方法及び結果について、図面を参照して説明する。実施例１では、カメラを所定方向に移動させた場合の移動前後の位置で撮影される撮影画像を解析し、撮影画像内の道路平面上に置かれた対象物（障害物）の三次元配置を特定した。三次元形状の特定は、カメラを前方直進方向に移動させた場合（以下単に「直進移動」という。）と、前方直進方向に移動させた後左方向に視野方向を傾けた場合（以下単に「左折移動」という。）との両方の場合について行った。カメラとして、ＳＯＮＹ製「ＤＦＷ−Ｖ５００」を使用した。レンズとして、ＹＣＬ−０８ＹＭ（Ｃマウント、焦点距離：８ｍｍ）を使用した。カメラを直進移動させた場合、及び、左折移動させた場合の運動パラメータを表１に示す。道路平面上に置かれた障害物の高さを表２に示す。

カメラ移動前の位置において撮影された撮影画像を図１０に示す。カメラを直進移動させた後の位置において撮影された撮影画像を図１１に示す。カメラを左折移動させた後の位置において撮影された撮影画像を図１２に示す。なお、図１０の撮影画像にて示される撮影空間のうち、紙面手前側を撮影空間の後方、紙面手奥行き側を撮影空間の前方、紙面左側を撮影空間の左側、紙面右側を撮影空間の右側と定義する。

次に、得られた其々の撮影画像より特徴点を抽出し、移動前後の撮影画像内で同一部分を示す特徴点同士を対応付けた。そして、ＲＡＮＳＡＣによりアウトライアを除去した。カメラを直進移動させた場合の移動前後の撮影画像より抽出された特徴点のうち、対応付けができた特徴点について、図１３（移動前撮影画像）、図１４（移動後撮影画像）に示す。また双方の特徴点の対応関係を表わすために、直進移動前の特徴点の位置から、移動後の特徴点に対して線分を描いた模式図を図１５に示す。なお、カメラを直進移動させた場合における撮影画像について、対応付けができた特徴点の組み合わせは６３３組であった。

カメラを左折移動させた場合の移動前後の撮影画像より抽出された特徴点のうち、対応付けができた特徴点について、図１６（移動前撮影画像）、図１７（移動後撮影画像）に示す。また双方の特徴点の対応関係を表わすために、左折移動前の特徴点の位置から、移動後の特徴点に対して線分を描いた模式図を図１８に示す。なお、カメラを左折移動させた場合における撮影画像について、対応付けができた特徴点の組み合わせは５４０組であった。

次に、得られた特徴点の組み合わせを用い、予め用意した複数の射影変換行列にて示される関係を満たす特徴点の組み合わせを選択した。用意した射影変換行列間の高さ方向の分解能（射影変換行列間距離）は５０ｍｍに設定した。特徴点の組み合わせは、より近距離に位置する射影変換行列に関連させることによって、すべての特徴点の基準平面からの高さを特定した。結果を図１９〜図２４に示す。

図１９〜図２１は、カメラを直進移動させた場合の撮影画像に基づいて抽出された特徴点の道路平面からの高さを示す模式図である。図１９は、撮影画像にて示される撮影空間を左方から道路平面と平行方向に見た場合の特徴点の分布を示している。図１９のうち、紙面右側が撮影空間の下側に相当する。紙面左側が撮影空間の上側に相当する。紙面上側が撮影空間の後方に相当する。紙面下側が撮影空間の前方に相当する。図２０は、撮影空間を後方から道路平面と平行方向に見た場合の特徴点の分布を示している。図２０のうち、紙面右側が撮影空間の下側に相当する。紙面左側が撮影空間の上側に相当する。紙面上側が撮影空間の右側に相当する。紙面下側が撮影空間の左側に相当する。図２１は、撮影空間を上方から道路平面と垂直方向に見た場合の特徴点の分布を示している。図２１のうち、紙面右側が撮影空間の後方に相当する。紙面左側が撮影空間の前方に相当する。紙面上側が撮影空間の右側に相当する。紙面下側が撮影空間の左側に相当する。

また図２２〜図２４は、カメラを左折移動させた場合の撮影画像に基づいて抽出された特徴点の道路平面からの高さを示す模式図である。図２２は、撮影画像にて示される撮影空間を左方から道路平面と平行方向に見た場合の特徴点の分布を示している。図２２のうち、紙面右側が撮影空間の下側に相当する。紙面左側が撮影空間の上側に相当する。紙面上側が撮影空間の後方に相当する。紙面下側が撮影空間の前方に相当する。図２３は、撮影空間を後方から道路平面と平行方向に見た場合の特徴点の分布を示している。図２３のうち、紙面右側が撮影空間の下側に相当する。紙面左側が撮影空間の上側に相当する。紙面上側が撮影空間の右側に相当する。紙面下側が撮影空間の左側に相当する。図２４は、撮影空間を上方から道路平面と垂直方向に見た場合の特徴点の分布を示している。図２４のうち、紙面右側が撮影空間の後方に相当する。紙面左側が撮影空間の前方に相当する。紙面上側が撮影空間の右側に相当する。紙面下側が撮影空間の左側に相当する。図１９〜図２４では、道路平面状の特徴点は●にて示されている。また、道路平面から所定の高さに配置されている特徴点は、同一高さの特徴点毎に異なる記号（▲、◆、■など）にて示されている。

図１９〜図２１と撮影画像（図１０及び図１１参照）とを比較した結果、図中☆にて示される特徴点がテーブル（高さ：４５１ｍｍ）に相当し、図中▲にて示される特徴点が板（高さ：６０ｍｍ）に相当し、図中×にて示される特徴点が箱（高さ：２６０ｍｍ）に相当していることがわかった。またこれらの障害物（テーブル、箱、板）が其々、テーブル：右、箱：左前方、板：左後方に配置されている様子が、実撮影空間と良好に一致した。

図２２〜図２４と撮影画像（図１０、図１３参照）とを比較した結果、図中▲にて示される特徴点が板（高さ：６０ｍｍ）に相当し、図中■にて示される特徴点が箱（高さ：２６０ｍｍ）に相当していることがわかった。またテーブルは、移動後の撮影画像内に存在しておらず、図２２〜図２４においては特徴点として表わされていない。またこれらの障害物（箱、板）が其々、箱：左前方、板：左後方に配置されている様子が、実撮影空間と良好に一致した。

また図１９〜図２４のいずれの結果からも、道路平面上や、テーブル、板、及び箱の上に載せられている紙や雑誌の高さは検出されなかった。

以上の結果から、撮影空間のうち道路平面上に置かれた障害物（左後方のテーブル（高さ：６０ｍｍ）、左前方の箱（高さ：２６０ｍｍ）、右側のテーブル（高さ：４５１ｍｍ））の撮影空間内における位置や、道路平面からの高さが、結果に良好に再現されることがわかった。従って上述の方法により、対象物の三次元配置を詳細に特定できることが明らかとなった。また、準備した射影変換行列の分解能以下の高さを有する障害物を検出対象外とすることが可能であることが明らかとなった。

以下、上述の三次元形状特定装置３１を使用した実施例２の方法及び結果について、図面を参照して説明する。実施例２では、カメラを直進移動させた場合の移動前後の位置で撮影される撮影画像を解析し、撮影画像内の道路平面上に置かれた対象物（障害物）の形状を特定した。カメラ及びレンズの条件、カメラの運動パラメータについては、実施例１と同様とした。撮影にて得られた其々の撮影画像より特徴点を抽出し、移動前後の撮影画像内で同一部分を示す特徴点同士を対応付けた。そして、ＲＡＮＳＡＣによりアウトライアを除去した。カメラを直進移動させた場合の移動前後の撮影画像より抽出された特徴点のうち、対応付けができた特徴点について、図２５（移動前撮影画像）、図２６（移動後撮影画像）に示す。

次に、得られた特徴点の組み合わせを用い、予め用意した複数の射影変換行列にて示される関係を満たす特徴点の組み合わせを選択した。用意した射影変換行列、及び、特徴点の組み合わせの当てはめ方法については、実施例１と同様とした。

次に、得られた特徴点の群の高さを「０」として正射影視した。結果を図２７に示す。図２７は、特徴点を正射影した状態（撮影画像にて示される撮影空間を上方から道路平面と垂直方向に見た状態）を示す模式図である。図２７のうち、紙面上側が撮影空間の前方に相当する。紙面下側が撮影空間の後方に相当する。紙面右側が撮影空間の右側に相当する。紙面左側が撮影空間の左側に相当する。

次に、高さを「０」として正射影した状態の特徴点群に対してデローネ三角形分割を適用させた。結果を図２８に示す。図２８は、撮影画像にて示される撮影空間を上方から道路平面と垂直方向に見た場合の特徴点に対してデローネ三角形分割を適用させた結果を示す模式図である。図２８のうち、紙面上側が撮影空間の前方に相当する。紙面下側が撮影空間の後方に相当する。紙面右側が撮影空間の右側に相当する。紙面左側が撮影空間の左側に相当する。

次に、デローネ三角形分割が適用された後の特徴点に対してグルーピングを行った。グルーピングの結果を図２９に示す。図２９は、撮影画像にて示される撮影空間を上方から道路平面と垂直方向に見た場合の特徴点の分布およびグルーピングの結果を示している。図２９のうち、紙面上側が撮影空間の前方に相当する。紙面下側が撮影空間の後方に相当する。紙面右側が撮影空間の右側に相当する。紙面左側が撮影空間の左側に相当する。

図２９と撮影画像（図２５、図２６参照）とを比較した結果、図中○にて示される特徴点がテーブル（高さ：４５１ｍｍ）に相当し、図中☆にて示される特徴点が板（高さ：６０ｍｍ）に相当し、図中◇にて示される特徴点が箱（高さ：２６０ｍｍ）に相当していることがわかった。またこれらの障害物（テーブル、箱、板）が其々、テーブル：右、箱：左前方、板：左後方に配置されている様子が、実撮影空間と良好に一致した。さらに特徴点同士を接続する線分によって囲まれる部分の形状が、其々の障害物の正射影時の形状と良好に一致した。

これらの結果から、撮影空間に置かれた障害物（左後方のテーブル、左前方の箱、右側のテーブル）がそれぞれ良好にグルーピングされることがわかった。従って上述の方法により、対象物の形状を詳細に特定できることが明らかとなった。

１、１１、１２ カメラ
３ 基準平面
５ 仮想平面
３１ 三次元形状特定装置
４０ 記憶媒体
３２ ＣＰＵ
４１ ＨＤＤ
４１３ 射影変換行列記憶領域

Claims (9)

1. 対象物を複数の異なる視点から撮影して得られる複数の撮影画像に基づき、前記対象物の三次元形状を特定する三次元形状特定装置であって、
   前記撮影画像を取得する取得手段と、
   前記取得手段にて取得された前記撮影画像から、前記対象物の特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段により、一の前記撮影画像から抽出される前記特徴点である第一特徴点、及び、他の前記撮影画像から抽出される前記特徴点である第二特徴点のうち、前記対象物の同一点を示す前記第一特徴点と前記第二特徴点とを対応付ける特徴点対応付け手段と、
   前記特徴点対応付け手段にて対応付けられた前記第一特徴点及び前記第二特徴点のうち、前記撮影画像内に含まれる基準平面に並行な仮想平面であって前記基準平面より所定間隔離れた位置に配置される前記仮想平面上に配置する前記第一特徴点及び前記第二特徴点との関係を示す射影変換行列であって、前記視点の移動情報、及び、前記仮想平面に対する前記一の撮影画像が撮影された前記視点の位置情報に基づいて算出される前記射影変換行列を、前記所定間隔の異なる複数の前記仮想平面毎に記憶する記憶手段と、
   前記第一特徴点及び前記第二特徴点のうち、前記記憶手段に記憶された前記射影変換行列にて示される関係を満たす前記第一特徴点及び前記第二特徴点を選択する選択手段と、
   前記選択手段にて選択された前記第一特徴点及び前記第二特徴点にて示される前記対象物の前記特徴点が、前記選択手段にて関係を満たすとされた前記射影変換行列の基となる前記仮想平面上に配置されていると特定することによって、前記対象物の形状を特定する形状特定手段と
   を備えた三次元形状特定装置。
2. 前記形状特定手段は、
   前記選択手段において、同一の前記射影変換行列にて示される関係を満たすとして選択された前記特徴点同士をグループ化することによって、前記対象物の形状を特定するグループ化手段を備えたことを特徴とする請求項１に記載の三次元形状特定装置。
3. 前記取得手段は、
   移動可能な唯一の撮影手段の移動の前後において前記対象物が撮影された結果得られる前記撮影画像を取得することを特徴とする請求項１又は２に記載の三次元形状特定装置。
4. 前記グループ化手段は、
   前記特徴点を頂点とするデローネ三角形を形成させることによって前記特徴点をグループ化することを特徴とする請求項２に記載の三次元形状特定装置。
5. 対象物を複数の異なる視点から撮影して得られる複数の撮影画像に基づき、前記対象物の三次元形状を特定する三次元形状特定方法であって、
   前記撮影画像を取得する取得ステップと、
   前記取得ステップにて取得された前記撮影画像から、前記対象物の特徴点を抽出する特徴点抽出ステップと、
   前記特徴点抽出ステップにより、一の前記撮影画像から抽出される前記特徴点である第一特徴点、及び、他の前記撮影画像から抽出される前記特徴点である第二特徴点のうち、前記対象物の同一点を示す前記第一特徴点と前記第二特徴点とを対応付ける特徴点対応付けステップと、
   前記特徴点対応付けステップにて対応付けられた前記第一特徴点及び前記第二特徴点のうち、前記撮影画像内に含まれる基準平面に並行な仮想平面であって前記基準平面より所定間隔離れた位置に配置される前記仮想平面上に配置する前記第一特徴点及び前記第二特徴点との関係を示す射影変換行列であって、前記視点の移動情報、及び、前記仮想平面に対する前記一の撮影画像が撮影された前記視点の位置情報に基づいて算出される前記射影変換行列を、前記所定間隔の異なる複数の前記仮想平面毎に記憶する記憶手段と、
   前記第一特徴点及び前記第二特徴点のうち、前記記憶手段に記憶された前記射影変換行列にて示される関係を満たす前記第一特徴点及び前記第二特徴点を選択する選択ステップと、
   前記選択ステップにて選択された前記第一特徴点及び前記第二特徴点にて示される前記対象物の前記特徴点が、前記選択ステップにて関係を満たすとされた前記射影変換行列の基となる前記仮想平面上に配置されていると特定することによって、前記対象物の形状を特定する形状特定ステップと
   を備えた三次元形状特定方法。
6. 前記形状特定ステップは、
   前記選択ステップにおいて、同一の前記射影変換行列にて示される関係を満たすとして選択された前記特徴点同士をグループ化することによって、前記対象物の形状を特定するグループ化ステップを備えたことを特徴とする請求項５に記載の三次元形状特定方法。
7. 前記取得ステップは、
   移動可能な唯一の撮影手段の移動の前後において前記対象物が撮影された結果得られる前記撮影画像を取得することを特徴とする請求項５又は６に記載の三次元形状特定方法。
8. 前記グループ化ステップは、
   前記特徴点を頂点とするデローネ三角形を形成させることによって前記特徴点をグループ化することを特徴とする請求項６に記載の三次元形状特定方法。
9. 請求項１乃至４のいずれかに記載の三次元形状特定装置の各処理手段としてコンピュータを駆動させる三次元形状特定プログラム。