JP2004046574A - 全周囲空間情報獲得方法、全周囲空間情報獲得装置、全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】本発明は、市街地などの交通渋滞が多い場所での全方位カメラを画像入力装置として使った屋外撮影において、多視点の時系列画像データを効率的に取得し、その取得した時系列画像から外界に関する高精度の空間情報を獲得できるようにする新たな全周囲空間情報獲得技術の提供を目的とする。
【解決手段】全方位画像を撮影する画像入力装置をある幾何パターンに従って移動させて、その移動を計測するとともに、それに同期して多視点画像を取得し、その取得した多視点画像に含まれる空間特徴点の時間的な動きの変化を測定して、多視点位置情報を使った多視点計測により、全周囲に渡る外界の空間情報を獲得、復元するように処理する。これにより、撮影機材を搭載した車両を空間情報の獲得対象に合わせて移動させることなく、全周囲に渡る外界の空間情報を高精度に獲得、復元できるようになる。
【選択図】　　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、多視点の全方位画像を使って空間情報を獲得する全周囲空間情報獲得方法及びその装置と、その全周囲空間情報獲得方法の実現に用いられる全周囲空間情報獲得プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
海上からの屋外映像や車両からの車載映像などから屋外の空間的構造を測定できるようになると、新たな応用分野が開かれることが期待される。これから、そのような測定技術の構築が叫ばれている。
【０００３】
【従来の技術】
これまで、複数のカメラを使用した多眼計測（文献１）や、単眼カメラで撮影した各々の時系列画像などの多視点画像からの物体形状認識、物体形状獲得、物体形状復元が提案されてきた（文献２）。
【０００４】
文献１：奥富正敏、金出武雄；　“複数の基線長を利用したステレオマッチング”，電子情報通信学会論文誌Ｄ−ＩＩ　Ｖｏｌ．Ｊ７５−ＤＩＩ　Ｎｏ．８，　１９９２−８．
文献２：Ｃ．Ｔｏｍａｓｉ　ａｎｄ　Ｔ．Ｋａｎａｄｅ；”Ｓｈａｐｅ　ａｎｄ　Ｍｏｔｉｏｎ　ｆｒｏｍ　Ｉｍａｇｅ　Ｓｔｒｅａｍｓ　Ｕｎｄｅｒ　Ｏｒｔｈｏｇｒａｐｈｙ：　Ａ　Ｆａｃｔｏｒｉｚａｔｉｏｎ　Ｍｅｔｈｏｄ”，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　Ｖｏｌ．９，　Ｎｏ．２，　１９９２．
これらの手法の多くは、時間的冗長性を生かした「動きからの形状取得（Ｓｈａｐｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）」の原理に基づいており、従来のステレオ視や三角測量を用いた計測方法と同等の精度で物体形状を獲得、復元する性能があり、オペレータ介在を必要としない自動型の空間情報獲得システムに適している。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来技術では有限画角のカメラを用いており、これから、従来技術に従っていると、大局的な映像シーンを使った空間情報の獲得処理を実現できないという問題がある。
【０００６】
一方、全方位カメラは、一度に３６０　度の景観を撮影可能であり、マシン・ナビゲーション、自動走行や運動制御を目的とした視覚センサとして応用が行われてきた。全方位カメラは、大局的な映像シーンを取得する手段として有効であり、特に、屋外撮影においては多様な建物を撮影することができる。
【０００７】
しかし、全方位カメラを使うと、３６０　度の景観をイメージサークルの内部へ投影することから、全方位画像の中心から遠ざかるに従い、空間解像度として不均一な画素量子化により幾何情報が潰れるといった問題がある。
【０００８】
こうした問題に対して、全方位画像へ　Ｓｈａｐｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ原理を利用することで、従来のコンピュータビジョン的アプローチにより空間情報を獲得、復元するという方法も試みられているが、屋外で使用した場合の画像計測時の雑音の影響は大きく、空間情報の獲得、復元の精度は悪い。
【０００９】
また、一般道路を走行しながら様々な建物の映像を取得する撮影環境では、市街地特有の混雑のために撮影に適した環境が必ずしも存在するわけではなく、これから、従来技術に従っていると、空間情報獲得のための最低限の時系列画像から、外界の空間形状、空間構造を獲得、復元しなければならないという制約がある。
【００１０】
本発明は、このような従来技術の持つ問題を背景にしてなされたものであり、市街地などの交通渋滞が多い場所での全方位カメラを画像入力装置として使った屋外撮影において、多視点の時系列画像データを効率的に取得し、その取得した時系列画像から外界に関する高精度の空間情報を獲得できるようにする新たな全周囲空間情報獲得技術の提供を目的とする。
【００１１】
【課題を解決するための手段】
本発明の全周囲空間情報獲得装置は、画像入力装置により取得した多視点の全方位画像から空間情報を獲得する処理を行うものであって、▲１▼画像入力装置を移動させる移動手段と、▲２▼移動手段を制御することにより画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する取得手段と、▲３▼取得手段の取得した全方位画像から１つ又は複数の特徴点の画像座標位置を特定することで、その特徴点の動き情報を検出する検出手段と、▲４▼取得手段の取得した視点位置の位置情報と、検出手段の検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する獲得手段とを備えるように構成する。
【００１２】
このように構成される本発明の全周囲空間情報獲得装置が動作することで実現される本発明の全周囲空間情報獲得方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供することができる。
【００１３】
本発明の全周囲空間情報獲得装置では、画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する。
【００１４】
例えば、▲１▼基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得したり、▲２▼基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得したり、▲３▼基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定し、さらに、その基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得するのである。
【００１５】
このとき、１台の画像入力装置を複数の基準位置に移動させることで複数の基準位置を設定して、それらの基準位置ごとに複数の視点位置を設定したり、複数の基準位置に対応付けて複数台数の画像入力装置を備えることで複数の基準位置を設定して、それらの基準位置ごとに複数の視点位置を設定したりすることなどにより、基準位置を複数設定して、それらの基準位置ごとに複数の視点位置を設定するように処理することがある。
【００１６】
このようにして、各視点位置での全方位画像と、各視点位置の位置情報とを取得すると、本発明の全周囲空間情報獲得装置では、その取得した全方位画像から１つ又は複数の特徴点の画像座標位置を特定して、その特徴点の動き情報を検出し、そして、その取得した視点位置の位置情報と、その検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する。
【００１７】
このように、本発明では、全方位画像を撮影する画像入力装置をある幾何パターンに従って移動させて、その移動を計測するとともに、それに同期して多視点画像を取得し、その取得した多視点画像に含まれる空間特徴点の時間的な動きの変化を測定して、多視点位置情報を使った多視点計測により、外界の空間情報を獲得、復元するように処理することから、全周囲に渡る外界の空間情報を高精度に獲得、復元できるようになる。
【００１８】
そして、市街地などの交通量が変動する場所での屋外撮影においても、撮影機材を搭載した車両を空間情報の獲得対象に合わせて移動させる必要がないことから、屋外撮影に伴う二次的な交通渋滞、交通の妨げを招くことなく、全周囲に渡る外界の空間情報を高精度に獲得、復元することができるようになる。
【００１９】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００２０】
本発明は、全方位カメラから取得した多視点の全方位画像をデータ蓄積部へ格納しつつ、その蓄積した時系列の全方位画像での特徴点の時間的変動と、その全方位画像を取得したときの全方位カメラの位置情報とを使い、多視点のステレオ視を応用した方法でもって、外界の物体の形状や構造などの空間情報を獲得する処理を行う。
【００２１】
図１に、本発明の一実施形態例を図示する。
【００２２】
この図に示す実施形態例では、本発明の全周囲空間情報獲得装置１０を自動車１に搭載することを想定しており、この自動車１には、▲１▼魚眼レンズなどで構成される全方位カメラ２と、▲２▼回転体５の先端に全方位カメラ２を取り付けて、設定される基準位置を回転中心として全方位カメラ２を回転させるとともに、自動車１のルーフ部分に設けられる２次元移動用レール６を移動することで、その基準位置を変更する移動回転機構３と、▲３▼移動回転機構３に対応付けて設けられて、移動回転機構３の回転中心となる基準位置を検出するとともに、移動回転機構３の回転角度を検出する位置回転検出センサ４とを備える。
【００２３】
この自動車１に搭載される全方位カメラ２／移動回転機構３／位置回転検出センサ４を受けて、本発明の全周囲空間情報獲得装置１０は、図２に示すように、全方位画像取得部２０と、移動回転制御部２１と、全方位カメラ位置取得部２２と、全体制御部２３と、データベース部２４と、特徴点探索部２５と、空間情報獲得部２６とを備える。
【００２４】
この全方位画像取得部２０は、全体制御部２３からの取得指示を受けて、全方位カメラ２の撮影する全方位画像を取得することで、多視点の全方位画像を取得する。
【００２５】
移動回転制御部２１は、全体制御部２３からの回転指示を受けて、移動回転機構３を回転させることで基準位置を回転中心として全方位カメラ２を反時計周りに回転させ、また、全体制御部２３からの移動指示を受けて、移動回転機構３を２次元移動用レール６上を移動させることで、回転中心となる基準位置を変更する。
【００２６】
全方位カメラ位置取得部２２は、全体制御部２３からの取得指示を受けて、位置回転検出センサ４の検出値に従って、全方位カメラ２の回転中心となる基準位置を取得するとともに、全方位カメラ２の回転角度を取得し、それに基づいて、全方位画像が取得されたときの全方位カメラ２の位置情報を取得する。
【００２７】
全体制御部２３は、全方位画像の取得処理と、全方位カメラ２の回転処理と、全方位カメラ２の回転中心となる基準位置の設定処理と、全方位カメラ２の位置情報の取得処理とを制御する。
【００２８】
データベース部２４は、全方位画像取得部２０により取得された全方位画像と、全方位カメラ位置取得部２２により取得された全方位画像が取得されたときの全方位カメラの位置情報とを蓄積する。
【００２９】
特徴点探索部２５は、データベース部２４に蓄積される画像データの持つ特徴点を時間的に追跡（探索）することで、その特徴点の時間的変動を取得する。
【００３０】
空間情報獲得部２６は、特徴点探索部２５により取得された特徴点の時間的変動と、データベース部２４に蓄積される全方位カメラの位置情報とから、外界の物体の形状や構造などの空間情報を獲得する。
【００３１】
図３に、このように構成される本発明の全周囲空間情報獲得装置１０の実行する処理フローの一実施形態例を図示する。
【００３２】
ここで、以下の説明では、魚眼レンズなどを利用して、等距離投影（光軸からの入射角に比例した投影）の光学系を組み込んだ全方位カメラ２を利用した場合について説明する。なお、本発明は、他の全方位カメラ２で取得した時系列画像に対しても適用可能であることは言うまでもない。
【００３３】
図３の処理フローの説明に入る前に、図４及び図５を使って、全方位カメラ２と外界の物体との幾何的位置関係、および本発明で用いているカメラパラメータについて説明しておく。
【００３４】
図４に、ＸＹ平面での外界の物体と全方位カメラ２の視点との幾何的関係、および本発明で用いているカメラパラメータについて示す。
【００３５】
図４に示すように、空間中に設定したＸＹＺ座標系を基準座標系として、この座標系における外界の物体上の点の空間情報を（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）と表すならば、本発明の全周囲空間情報獲得装置１０は、この物体上の点の空間情報（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）を獲得する処理を行う。
【００３６】
前述したように、本発明では、このＸＹＺ座標系において、時間とともに全方位カメラ２の視点が移動することになる。
【００３７】
このとき、図４に示すように、全方位カメラ２に設定した座標系Ｘ_０Ｙ_０が、ＸＹ平面において、全方位カメラ２の視点の光軸と平行なＺ軸の周りで回転した角（Ｘ_０軸とＸ軸とのなす角）をθ_０ｉとし、視点の位置を（Ｔ_ｘｉ，Ｔ_ｙｉ）として移動するものとする。
【００３８】
本発明の全周囲空間情報獲得装置１０は、本発明に従って外界の物体の空間情報（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）を獲得するために、このＸＹ平面の位置（Ｔ_ｘｉ，Ｔ_ｙｉ）の時間的変化と、方位角θ_０ｉの時間的変化とを獲得することになる。
【００３９】
なお、説明の便宜上、初期状態においては、全方位カメラ２の視点に設定したＸ_０Ｙ_０座標系の方向と基準座標系のＸＹ座標系の方向とは一致しているものとする。すなわち、初期状態においては、「θ_０ｉ＝０」であるとする。
【００４０】
また、全方位カメラ２の視点のＺ軸方向の並進運動、すなわち、光学中心（Ｔ_ｘｉ，Ｔ_ｙｉ）のＺ軸方向の並進運動はないものとし、方位角θ_０ｉ以外の角の時間的変化、すなわち、Ｘ_０軸周りの回転の時間的変化やＹ_０軸周りの回転の時間的変化はないものとする。
【００４１】
また、全方位カメラ２の視点である光学中心（Ｔ_ｘｉ，Ｔ_ｙｉ）と外界の物体上の点（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）とを結んだ直線をＸＹ平面に投影した直線、すなわち、（Ｔ_ｘｉ，Ｔ_ｙｉ）と（Ｘ_ｊ，Ｙ_ｊ，０）とを結んだ直線と、Ｘ_０軸とのなす角をρ_ｉｊとする。
【００４２】
一方、図５に、ＹＺ平面での外界の物体と全方位カメラ２の視点との幾何的関係、および本発明で用いているカメラパラメータについて示す。
【００４３】
全方位カメラ２の視点である光学中心（Ｔ_ｘｉ，Ｔ_ｙｉ）と外界の物体上の点（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）とを結んだ直線と、ＸＹ平面とのなす角φ_ｉｊとする。
【００４４】
加えて、魚眼レンズの光学的性質として、図６に示すように、図５で説明した外界の物体上の点（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）と全方位カメラの視点である光学中心（Ｔ_ｘｉ，Ｔ_ｙｉ）とを結んだ場合の入射角をφ_ｉｊとすると、光軸に入射した光（φ_ｉｊ＝９０度）が画像上の画像中心（Ｃ_ｘ，Ｃ_ｙ）に投影され、ＸＹ平面で入射した光（φ_ｉｊ＝０度）がイメージサークル（全方位画像として映る画像での限界）上に投影される。
【００４５】
また、魚眼レンズは光学的に等距離投影で設計されており、入射角をφ_ｉｊとした場合、その角度に比例して画像中心（Ｃ_ｘ，Ｃ_ｙ）　からの距離Ｒ_ｉｊに投影されることになる。ここで、焦点距離をｆとし、Ｑを比例定数（１画素あたりの重み付け）とすると、等距離投影では、
Ｑ×Ｒ_ｉｊ＝ｆ×［（π／２）−φ_ｉｊ］
Ｒ_ｉｊ：画像中心（Ｃ_ｘ，Ｃ_ｙ）　と投影点との間の距離
が成立する。
【００４６】
また、投影点の画像座標値を（ｘ_ｉｊ，ｙ_ｉｊ）とした場合、
Ｑ×［（ｘ_ｉｊ−Ｃ_ｘ）^２＋（ｙ_ｉｊ−Ｃ_ｙ）^２］^１／２＝ｆ×［（π／２）−φ_ｉｊ］
φ_ｉｊ＝（π／２）−（Ｑ／ｆ）［（ｘ_ｉｊ−Ｃ_ｘ）^２＋（ｙ_ｉｊ−Ｃ_ｙ）^２］^１／２
というように表現できる。
【００４７】
一方、外界の物体の点は、この全方位カメラ２の光学的性質により、全方位画像上において、図７に示すように、Ｗ×Ｈの画像サイズ（全方位カメラ２の仕様により定められる）で、Ｈ／２の半径のイメージサークルより内側の点（ｘ_ｉｊ，ｙ_ｉｊ）に投影される。なお、この図では、「Ｗ＞Ｈ」を想定している。
【００４８】
ここで、Ｘ_０軸およびＹ_０軸がそれぞれ全方位画像上のｘ_０軸およびｙ_０軸に投影されるとすると、（Ｔ_ｘｉ，Ｔ_ｙｉ）と（Ｘ_ｊ，Ｙ_ｊ，０）とを結んだ直線とＸ_０軸とのなす角をρ_ｉｊは、光学的性質から、
ρ_ｉｊ＝ｔａｎ（（ｙ_ｉｊ−Ｃ_ｙ）／（ｘ_ｉｊ−Ｃ_ｘ））
で表現できる。
【００４９】
以上に説明した、外界の物体と全方位カメラ２の視点の位置の幾何学的配置、全方位カメラ２の光学的性質、およびカメラパラメータを前提として、図３に示す処理フローに従って、本発明の全周囲空間情報獲得装置１０により実行される空間情報の獲得処理について説明する。
【００５０】
なお、説明の便宜上、前述したように、Ｘ_０軸およびＹ_０軸周りの全方位カメラ２本体の回転はないものとする。
【００５１】
本発明の全周囲空間情報獲得装置１０は、図３の処理フローに示すように、前述したような外界の物体と全方位カメラ２の視点位置において、先ず最初に、初期状態とする全方位カメラ２の位置での全方位画像と、その位置情報（後述することから分かるように、位置回転検出センサ４の検出する前述した基準位置で特定されることになる）とを取得する。このときの位置を初期位置とする。
【００５２】
ここで、初期状態のときでない場合（基準位置が新たなものに変更となる場合以外の状態）には、位置回転検出センサ４の検出する初期位置からの全方位カメラ２の回転角度を取得し、その取得した回転角度に基づいて、全方位カメラ２の位置情報を取得することになる。
【００５３】
すなわち、全方位カメラ２は、移動回転制御部２１により基準位置を回転中心として回転することになるので、全方位カメラ２の位置情報については、位置回転検出センサ４の検出する初期位置からの全方位カメラ２の回転角度により取得することが可能である。
【００５４】
図１に示す構成から分かるように、この実施形態例の場合には、全方位カメラ２は、図８に示すように、基準位置を回転中心とした半径Ｌの円周上を反時計周りに回転しながら移動することになる。
【００５５】
この図８において、Ｘ_ｔ軸を基準の軸とし、全方位カメラ２が回転移動したときについて説明する。
【００５６】
移動回転機構３により回転する回転体５の中心、すなわち、基準位置（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）が予め規定されているので、この点を原点とする座標系Ｘ_ｔＹ_ｔを設定し、全方位カメラ２を移動させる前の初期位置として、Ｘ_ｔ軸に沿った距離Ｌのところを移動開始位置とする。この初期位置での全方位カメラ２の座標は（Ｘ_ｓ＋Ｌ，Ｙ_ｓ，Ｚ_ｓ）となり、この初期位置についての絶対的な位置情報については、初期状態のときに取得する基準位置（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と予め規定されている半径Ｌとを加算することで取得する。
【００５７】
一方、初期位置以外の全方位カメラ２の絶対的な位置情報（Ｔ_ｘｉ，Ｔ_ｙｉ，Ｔ_ｚｉ）については、全方位カメラ２の回転角度θ_ｉを使い、図９に示す算出式に従って求める。
【００５８】
このようにして、本発明の全周囲空間情報獲得装置１０は、移動回転制御部２１により全方位カメラ２を回転させながら、各々の位置での全方位画像を取得し、それと同時に、そのときの位置情報を、基準位置（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と回転角θ_ｉと半径Ｌとにより図９に示す算出式に従って逐次算出する。
【００５９】
図１０に、この状況での外界物体と全方位カメラ２との関係を図示する。
【００６０】
この図１０では、Ｆ個の視点での全方位画像を取得したときの状況を例にしており、位置１、位置２、・・・、位置Ｆの各位置で取得した全方位画像と、それらの各位置の位置情報とに基づいて、外界の物体上の点（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）を獲得する例について説明する。
【００６１】
外界の物体上の点（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）が位置１で全方位カメラ２に撮影されたときに投影される画像座標値を（ｘ_１ｊ，ｙ_１ｊ）とし、その物体上の点（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）が位置２で全方位カメラ２に撮影されたときに投影される画像座標値を（ｘ_２ｊ，ｙ_２ｊ）とし、以下同様にして、その物体上の点（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）が位置Ｆで全方位カメラ２に撮影されたときに投影される画像座標値を（ｘ_Ｆｊ，ｙ_Ｆｊ）とする。
【００６２】
図１０に示す例は、Ｚ軸方向（全方位カメラ２の光軸方向）の移動がない場合、すなわち、「Ｔ_ｚ１＝Ｔ_ｚ２＝‥‥＝Ｔ_ｚＦ」の場合を想定している。
【００６３】
このようにして取得した多視点の全方位画像から、特徴点（ｊ＝１，２，…，Ｐ；合計でＰ個）ごとに、画像座標値（ｘ_ｉｊ，ｙ_ｉｊ）を計測して、この計測した画像座標値（ｘ_ｉｊ，ｙ_ｉｊ）と、前述した
φ_ｉｊ＝（π／２）−（Ｑ／ｆ）［（ｘ_ｉｊ−Ｃ_ｘ）^２＋（ｙ_ｉｊ−Ｃ_ｙ）^２］^１／２
ρ_ｉｊ＝ｔａｎ（（ｙ_ｉｊ−Ｃ_ｙ）／（ｘ_ｉｊ−Ｃ_ｘ））
とにより、画像上の位相角ρ_ｉｊと仰角φ_ｉｊとを求める。
【００６４】
なお、特徴点を抽出するアルゴリズムについては、公知の画像処理技術（エッジ検出、ハフ変換、交点検出など）を用いることが可能である。
【００６５】
さらに、各々の視点の位置を図９に示す算出式を使って求め、続いて、それらの各視点位置の方位角θ_ｉ（　図１０に示すもの）から、図１１及び図１２に示す計算式を使って、特徴点（ｊ＝１，２，…，Ｐ）ごとに、空間情報（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）を獲得する。
【００６６】
ここで、図１１に示す計算式において、λ_ｉｊは、第ｉ番目の全方位カメラ視点位置（Ｔ_ｘｉ，Ｔ_ｙｉ，Ｔ_ｚｉ）から空間点（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）までの距離を示している。
【００６７】
この方法により基準位置を固定して、全方位カメラ２を回転させ、次々と空間情報を獲得し、それが終了すると、次の位置に基準位置を移動させて、さらに、全方位カメラ２を同様の方法に従って回転させることにより、空間情報（空間の構造や形状を示している）を全周囲的に獲得することができるようになる。
【００６８】
以上に説明した実施形態例では、基準位置を回転中心として全方位カメラ２を回転させることで全方位画像の時系列画像を取得し、その回転により得られる視差を利用して外界の物体上の特徴点の空間情報を獲得するという方法を用いたが、図１３に示すように、基準位置を基準にして全方位カメラ２を光軸方向（Ｚ軸方向）に移動させることで全方位画像の時系列画像を取得し、その移動により得られる視差を利用して外界の物体上の特徴点の空間情報を獲得するという方法を用いることも可能である。
【００６９】
この場合には、基準位置を（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）としたときに、各々の位置での全方位カメラ２の座標（Ｔ_ｘｉ，Ｔ_ｙｉ，Ｔ_ｚｉ）は、
Ｔ_ｘｉ＝Ｘ_ｓ
Ｔ_ｙｉ＝Ｙ_ｓ
Ｔ_ｚｉ＝Ｚ_ｓ＋ΔＺ_ｉ
但し、ｉ＝１，２，‥‥，Ｎ
となる。
【００７０】
ここで、ΔＺ_ｉについては、等間隔であってもよいし、ランダムな間隔であってもよい。
【００７１】
このとき、対象とする空間点の画像座標値（ｘ_ｉｊ，ｙ_ｉｊ）と、基準位置（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と、Ｚ軸方向に移動させたときの各々の全方位カメラ２の視点位置（Ｔ_ｘｉ，Ｔ_ｙｉ，Ｔ_ｚｉ）とを、図１４及び図１５に示す計算式に代入して、その空間点の空間情報を獲得する。
【００７２】
ここで、この実施形態例では、　［Ｐ］　において、「θ_１＝θ_２＝‥‥＝θ_Ｎ＝θ」、「ρ_１ｊ＝ρ_２ｊ＝‥‥＝ρ_Ｎｊ」である。
【００７３】
また、全方位カメラ２を回転させながら取得した全方位画像と、全方位カメラ２を光軸方向に移動させながら取得した全方位画像とから、外界の物体上の特徴点の空間情報を獲得するという構成を用いることも可能である。
【００７４】
この場合には、基準位置を（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）としたときに、各々の位置での全方位カメラ２の座標（Ｔ_ｘｉ，Ｔ_ｙｉ，Ｔ_ｚｉ）は、
Ｔ_ｘｉ＝Ｘ_ｓ＋ΔＸ_ｉ
Ｔ_ｙｉ＝Ｙ_ｓ＋ΔＹ_ｉ
Ｔ_ｚｉ＝Ｚ_ｓ＋ΔＺ_ｉ
但し、ｉ＝１，２，‥‥，Ｍ
となる。
【００７５】
ここで、ΔＸ_ｉ，ΔＹ_ｉについては、図９に示す算出式に従って求められる。また、ΔＺ_ｉについては、等間隔であってもよいし、ランダムな間隔であってもよい。
【００７６】
このとき、図１６及び図１７に示す計算式に代入して、対象とする空間点の空間情報を獲得する。
【００７７】
このように、全方位カメラ２を回転させながら取得した全方位画像と、全方位カメラ２を光軸方向に移動させながら取得した全方位画像とから、外界の物体上の特徴点の空間情報を獲得するという構成を用いると、様々な視点から見た全方位画像が得られることから、対象とする空間点の空間情報を高精度に獲得できるようになる。
【００７８】
図に示した実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、全方位カメラ２を１台用意する構成を採って、それを各々の基準位置まで移動させて、そこで、基準位置を回転中心として全方位カメラ２を回転させるという構成を一例として示したが、基準位置に対応付けて複数の全方位カメラ２を複数台用意する構成を採って、それぞれの全方位カメラ２を対応付けられる基準位置を回転中心として回転させるという構成を用いることでもよい。
【００７９】
また、実施形態例では、自動車１を停止させて空間情報を獲得することで説明したが、ＧＰＳなどを使って自動車１の移動位置を取得して、それに基づいて全方位カメラ２の位置を補正するようにすれば、自動車１が走行中であっても空間情報を獲得できるようになることは言うまでもない。
【００８０】
【発明の効果】
以上説明したように、本発明では、全方位画像を撮影する画像入力装置をある幾何パターンに従って移動させて、その移動を計測するとともに、それに同期して多視点画像を取得し、その取得した多視点画像に含まれる空間特徴点の時間的な動きの変化を測定して、多視点位置情報を使った多視点計測により、外界の空間情報を獲得、復元するように処理することから、全周囲に渡る外界の空間情報を高精度に獲得、復元できるようになる。
【００８１】
そして、市街地などの交通量が変動する場所での屋外撮影においても、撮影機材を搭載した車両を空間情報の獲得対象に合わせて移動させる必要がないことから、屋外撮影に伴う二次的な交通渋滞、交通の妨げを招くことなく、全周囲に渡る外界の空間情報を高精度に獲得、復元することができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態例である。
【図２】本発明の一実施形態例である。
【図３】本発明の実行する処理フローの一実施形態例である。
【図４】全方位カメラと外界物体との幾何的位置関係の説明図である。
【図５】全方位カメラと外界物体との幾何的位置関係の説明図である。
【図６】魚眼レンズの等距離投影による光学射影の説明図である。
【図７】全方位画像上の座標値の説明図である。
【図８】全方位カメラの視点の動きの一例である。
【図９】全方位カメラの位置情報の算出式の説明図である。
【図１０】空間情報の獲得処理の説明図である。
【図１１】空間情報の算出式の説明図である。
【図１２】空間情報の算出式の説明図である。
【図１３】空間情報の獲得処理の説明図である。
【図１４】空間情報の算出式の説明図である。
【図１５】空間情報の算出式の説明図である。
【図１６】空間情報の算出式の説明図である。
【図１７】空間情報の算出式の説明図である。
【符号の説明】
１　　自動車
２　　全方位カメラ
３　　移動回転機構
４　　位置回転検出センサ
５　　回転体
６　　２次元移動用レール
１０　全周囲空間情報獲得装置
２０　全方位画像取得部
２１　移動回転制御部
２２　全方位カメラ位置取得部
２３　全体制御部
２４　データベース部
２５　特徴点探索部
２６　空間情報獲得部

Claims (13)

1. 画像入力装置により取得した多視点の全方位画像から空間情報を獲得する全周囲空間情報獲得方法であって、
   画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する第１のステップと、
   上記取得した全方位画像から１つ又は複数の特徴点の画像座標位置を特定することで、その特徴点の動き情報を検出する第２のステップと、
   上記取得した視点位置の位置情報と、上記検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する第３のステップとを備えることを、
   特徴とする全周囲空間情報獲得方法。
2. 請求項１記載の全周囲空間情報獲得方法において、
   上記第１のステップで、基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定することを、
   特徴とする全周囲空間情報獲得方法。
3. 請求項１記載の全周囲空間情報獲得方法において、
   上記第１のステップで、基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定することを、
   特徴とする全周囲空間情報獲得方法。
4. 請求項１記載の全周囲空間情報獲得方法において、
   上記第１のステップで、基準位置を中心として画像入力装置を水平方向に回転させることで複数の視点位置を設定し、さらに、その基準位置を基準にして画像入力装置を垂直方向に移動させることで複数の視点位置を設定することを、
   特徴とする全周囲空間情報獲得方法。
5. 請求項２ないし４のいずれか１項に記載の全周囲空間情報獲得方法において、
   上記第１のステップで、基準位置を複数設定して、それらの基準位置ごとに複数の視点位置を設定することを、
   特徴とする全周囲空間情報獲得方法。
6. 画像入力装置により取得した多視点の全方位画像から空間情報を獲得する全周囲空間情報獲得装置であって、
   画像入力装置を移動させる移動手段と、
   上記移動手段を制御することにより画像入力装置を移動させることで複数の視点位置を設定して、各視点位置での全方位画像と、各視点位置の位置情報とを取得する取得手段と、
   上記取得した全方位画像から１つ又は複数の特徴点の画像座標位置を特定することで、その特徴点の動き情報を検出する検出手段と、
   上記取得した視点位置の位置情報と、上記検出した特徴点の動き情報とから、各特徴点の持つ空間情報を獲得する獲得手段とを備えることを、
   特徴とする全周囲空間情報獲得装置。
7. 請求項６記載の全周囲空間情報獲得装置において、
   上記移動手段は、基準位置を中心として画像入力装置を水平方向に回転させることを、
   特徴とする全周囲空間情報獲得装置。
8. 請求項６記載の全周囲空間情報獲得装置において、
   上記移動手段は、基準位置を基準にして画像入力装置を垂直方向に移動させることを、
   特徴とする全周囲空間情報獲得装置。
9. 請求項６記載の全周囲空間情報獲得装置において、
   上記移動手段は、基準位置を中心として画像入力装置を水平方向に回転させるとともに、基準位置を基準にして画像入力装置を垂直方向に移動させることを、
   特徴とする全周囲空間情報獲得装置。
10. 請求項７ないし９のいずれか１項に記載の全周囲空間情報獲得装置において、
    １台の画像入力装置が複数設定される基準位置に応じて移動することで、複数の基準位置が設定されるように構成されることを、
    特徴とする全周囲空間情報獲得装置。
11. 請求項７ないし９のいずれか１項に記載の全周囲空間情報獲得装置において、
    画像入力装置が複数設定される基準位置に対応付けて複数台数用意されることで、複数の基準位置が設定されるように構成されることを、
    特徴とする全周囲空間情報獲得装置。
12. 請求項１ないし５のいずれか１項に記載の全周囲空間情報獲得方法の実現に用いられる処理をコンピュータに実行させるための全周囲空間情報獲得プログラム。
13. 請求項１ないし５のいずれか１項に記載の全周囲空間情報獲得方法の実現に用いられる処理をコンピュータに実行させるための全周囲空間情報獲得プログラムを記録した記録媒体。

Images