JP2004127080A

JP2004127080A - 全方位カメラ運動と空間情報の復元方法、装置、プログラム、およびそのプログラムを記録した記録媒体

Info

Publication number: JP2004127080A
Application number: JP2002292366A
Authority: JP
Inventors: Isao Miyagawa; 宮川　勲; Shiro Ozawa; 小澤　史朗; Yoshiori Wakabayashi; 若林　佳織; Tomohiko Arikawa; 有川　知彦
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-10-04
Filing date: 2002-10-04
Publication date: 2004-04-22

Abstract

【課題】Ｒｏｌｌ回転、Ｐｉｔｃｈ回転を含めてカメラ運動と物体形状を、雑音の多い画像から高精度に復元する。
【解決手段】データベース１に取得した全方位カメラの時系列画像に特徴点計測部２で特徴点を設定し、計測行列変換部３は各時系列画像中の特徴点の時間的変動を行列表示した計測行列を求め、行列分解処理部５は計測行列をカメラ視点の運動を表現する運動行列と、外界の物体形状を表現する形状行列に分解し、変換行列算出部６は運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、カメラ運動復元部７は変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を取り出し、空間情報復元部８は変換行列を使って形状行列を変換し、物体形状を構成する空間情報を復元する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、全方位カメラを使って取得した車載画像または室内画像、船上からの海上画像、空撮などの時系列画像全般に対して利用可能であり、全方位カメラで取得した時系列画像から、全方位カメラ視点に関するＲｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ回転に基づくカメラ姿勢、並びに並進運動、並びに、時系列映像に写っている外界の形状、すなわち、被写体（物体）の外観形状を構成する空間情報を復元する全方位カメラ運動と空間情報の復元方法および装置に関する。
【０００２】
【従来の技術】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。
【０００３】
一方、全方位カメラは、一度に全周囲の景観を撮像できるという特徴のため、従来からロボットナビゲーションに応用されてきた。そのため、全方位画像からのカメラ運動と物体形状を復元する場合でも、従来はロボットナビゲーションで必要となる精度を確保することに主眼が置かれており、「計測」の観点からは、精度が不十分であった（例えば、非特許文献１、２参照）。
【０００４】
また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に、計測、または獲得する手法の代表的な手法として、因子分解法がある（例えば、非特許文献３、４参照）。これらの手法によれば、物体が撮影されている複数の時系列画像から、空間形状または空間構造に関する３次元位置情報、並びに、カメラ視点に関する運動を獲得、復元することができる。
【０００５】
しかし、移動手段などを利用して撮影カメラを動かしながら撮影した時系列映像においては、撮影時の環境、撮影カメラの微小な動きによりシームレスに映像取得が困難であり、時系列映像中にランダム性の雑音が混入し、カメラ運動や物体形状を正確に復元することが困難な場合がある。
【０００６】
さらに、画像面が平面とした直交座標系で表現できる画像座標値から、因子分解法（非特許文献３、４）などを利用して、ユークリッド空間でのカメラ運動と物体形状の復元が可能であるが、有限画角のカメラを使用する場合は、フレームイン、または、フレームアウトするため、画像入力装置の回転運動を大域的に、または、長期的に復元する、さらに、外界の物体の形状を大規模に、大域的に、復元することは困難である。
【０００７】
一方、このような有限画角の問題を回避するために、一度に３６０度の景観を取得する手段として、全方位カメラによる撮像が考えられる。しかし、全方位カメラの使用は、カメラ光軸が鉛直上向きに設置してあるような理想状態では、全方位カメラ視点の姿勢推定や外界に関する空間計測には便利（非特許文献５参照）であるが、Ｙａｗ回転以外に、Ｒｏｌｌ回転やＰｉｔｃｈ回転を含む場合、全方位カメラによる簡便な計算が使えず、計算が複雑になり、上記のような全方位カメラに関する微小なカメラ姿勢変化を検出、または、復元できないなどの問題があった。
【０００８】
一方、屋外においては、近年、高精度になりつつあるＧＰＳ、ディファレンシャルＧＰＳ、ジャイロなどのセンシング装置を使うことで、画像入力の位置情報、姿勢情報に関する状態を測位することができる。しかし、ディファレンシャルＧＰＳの受信状態が悪い場所ではセンシングデータが欠落するため、ジャイロセンサや磁気センサ等を駆使した自律航法計測によるデータ補間などの対策がとられてきた。しかし、このような自律航法計測では、移動観測手段のバースト的な揺れに対するカメラ姿勢を正確に検出することはできない。さらに、市街地のようなロケーションでは、品質の高い測位データを取得する条件として、ＧＰＳ衛星の幾何的配置が整った時間帯に限定されるのが現状の技術である。
【０００９】
【非特許文献１】
岩佐英彦、粟飯原述宏、横矢直和、竹村治雄、「全方位画像を用いた記憶に基づく位置推定」、信学論（Ｄ−ＩＩ）、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．２，ｐｐ．３１０−３２０．２００１。
【００１０】
【非特許文献２】
Ｐ．Ｃｈａｎｇ，Ｍ．Ｈｅｂｅｒｔ、「Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ　Ｓｔｒｕｃｔｕｒｅ　Ｆｒｏｍ　Ｍｏｔｉｏｎ」、Ｐｒｏｃ．ＩＥＥＥ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ　Ｖｉｓｉｏｎ，ｐｐ．１２７−１３３．２０００。
【００１１】
【非特許文献３】
Ｃ．Ｔｏｍａｓｉ，Ｔ．Ｋａｎａｄｅ、「Ｓｈａｐｅ　ａｎｄ　Ｍｏｔｉｏｎ　ｆｒｏｍ　Ｉｍａｇｅ　Ｓｔｒｅａｍｓ　Ｕｎｄｅｒ　Ｏｒｔｈｏｇｒａｐｈｙ：　Ａ　Ｆａｃｔｏｒｉｚａｔｉｏｎ　Ｍｅｔｈｏｄ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，Ｖｏｌ．９，Ｎｏ．２，１９９２。
【００１２】
【非特許文献４】
Ｃ．Ｊ　Ｐｏｅｌｍａｎ，Ｔ．Ｋａｎａｄｅ、「Ａ　Ｐａｒａｐｅｒｓｐｅｃｔｉｖｅ　Ｆａｃｔｏｒｉｚａｔｉｏｎ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｓｈａｐｅ　ａｎｄ　Ｍｏｔｉｏｎ　Ｒｅｃｏｖｅｒｙ」，ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄＭａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１９，Ｎｏ．３，ｐｐ．２０６−２１８，１９９７。
【００１３】
【非特許文献５】
宮川勲、若林佳織、有川知彦、「全方位射影型因子分解法による全方位画像からの運動と形状復元」、信学技報、ＰＲＭＵ２００２−３７，ｐｐ．４５−５２，６，２００２．
【００１４】
【発明が解決しようとする課題】
一般に、画像入力装置（カメラ）から取得した時系列画像から、カメラの動き、並びに、対象物の形状を同時に復元する場合、時系列画像に混入するランダム雑音の影響により、撮影時のカメラの微小な動きを正確に復元することは困難である。このような問題を扱うべく、コンピュータビジョンでは因子分解法（非特許文献３、４）が存在する。
【００１５】
一方、ＧＰＳ装置などを利用した位置情報計測において、ＧＰＳ衛星の幾何学的配置、または、測位条件の良好な時間帯に限定される。また、位置計測の周囲の環境において、市街地一般には街路樹が立ち並び、大都市などのような高層な建物が立ち並ぶ環境では、ＧＰＳセンサを利用した測位は不利である。
【００１６】
また、移動手段を使って、全方位カメラのような一度に３６０度の景観を映像化する撮影環境で取得した時系列画像において、ステレオ視の原理を応用した計測方法により、外界の物体の空間情報を獲得、復元できるが、様々な撮影環境の中での移動撮影においては、カメラが微小に動くため、容易にシームレスな時系列画像を取得できない。そのため、ランダム性雑音の影響も大きく、常に、安定的に、カメラの動きと物体の形状を、同時に、かつ、高精度に復元することは困難である。
【００１７】
本発明の目的は、全方位カメラを使ったカメラ運動推定（自己位置推定を含む）と空間計測のために、因子分解法を基本手法として採用し、この方法を全方位カメラの射影モデル（カメラモデル）に適用可能なものに改良し、従来技術と比較して、雑音に対しロバストであり、安定的にカメラ運動と物体形状とを同時に、かつ高精度に復元でき、さらにＲｏｌｌ回転、Ｐｉｔｃｈ回転が生じる屋外撮影でもカメラ運動と物体形状を復元できる全方位カメラ運動と空間情報の復元方法、装置、プログラム、および記録媒体を提供することにある。
【００１８】
【課題を解決するための手段】
本発明は、画像入力装置で取得した時系列の全方位画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、対象物の形状、並びに、時系列に関する全方位カメラ視点の運動、並びに、外界の物体の形状、または物体形状を構成する空間情報を復元する方法、装置、プログラムおよびそのプログラムを記録した記録媒体であって、
時系列画像上に設定した画像座標系において、各時系列画像中の特徴点の時間的変動量を集計したデータ（以降、計測行列と称する）を、カメラ視点の運動を表現する運動行列と、外界の物体の外観を表現する形状行列に分解し、前記運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を復元し、この変換行列を使って、物体の外観を表現する形状行列を変換し、物体形状を構成する空間情報として復元し、さらに形状行列や運動行列上で雑音除去しておくことを特徴とする。
【００１９】
この本発明の方法、装置によれば、全方位カメラを使って取得した時系列画像全般（移動手段を利用して撮影した車載画像、海上画像、空撮画像、屋内画像など）から、対象物に関する物体形状を高精度に獲得、復元することが可能となる。また、これまでの測量技術並の高精度な３次元立体視が可能となる。さらに、屋外での微小なカメラ姿勢の変動、並びに、ディファレンシャルＧＰＳを補間する精度の並進運動を正確に計測することが可能となる。また、本発明で使用する計算は、大半が線形演算で構成されるため、コンピュータ言語での実装が容易となる。
【００２０】
したがって、本発明は、以下の全方位カメラ運動と空間情報の復元方法、装置、プログラム、および記録媒体を特徴とする。
【００２１】
（方法の発明）
（１）全方位カメラで取得した時系列の全方位画像中において、特徴点に関する画像座標値の時間的変化から、全方位カメラ視点の運動、並びに外界の物体形状を構成する空間情報を復元する方法であって、
時系列画像上に設定した座標系において、各時系列画像中の特徴点の時間的変動を行列表示した計測行列を行列分解し、カメラ視点の運動を表現する運動行列と、外界の物体形状を表現する形状行列に分離するステップと、
前記ステップで得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を取り出すステップと、
前記ステップで得た変換行列を使って、物体形状を表現する形状行列を変換し、物体形状を構成する空間情報を復元するステップを有することを特徴とする。
【００２２】
（２）上記（１）記載の全方位カメラ運動と空間情報の復元方法であって、
時系列画像上に設定した座標系を、射影中心を原点とした別の座標系に座標変換し、その変換した座標系で表現した特徴点座標値の計測行列を行列分解し、全方位カメラ視点に関する運動と物体形状を構成する空間情報を復元するステップを有することを特徴とする。
【００２３】
（３）上記（１）記載の全方位カメラ運動と空間情報の復元方法であって、
前記ステップで得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って得た運動行列において、進行方向の軸に関する回転、または、カメラ光軸周りの回転運動、または、それ以外の軸周りの回転を復元するステップを有することを特徴とする。
【００２４】
（４）上記（１）記載の全方位カメラ運動と空間情報の復元方法であって、
前記ステップで得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の並進運動に対応する情報を取り出し、さらに全方位カメラの回転運動を復元した情報を利用してユークリッド空間における並進運動を復元するステップを有することを特徴とする。
【００２５】
（５）上記（１）記載の全方位カメラ運動と空間情報の復元方法であって、
前記ステップで得た変換行列を使って、物体形状を表現する形状行列を変換し、形状行列の中の要素を使って、ユークリッド空間での物体形状を構成する空間情報を復元するステップを有することを特徴とする。
【００２６】
（６）上記（１）〜（５）のいずれか１つにおいて、前記特異値分解処理で得る各行列に対して、ランク５以上の行または列を雑音として削除するステップを有することを特徴とする。
【００２７】
（装置の発明）
（７）全方位カメラで取得した時系列の全方位画像中において、特徴点に関する画像座標値の時間的変化から、全方位カメラ視点の運動、並びに外界の物体形状を構成する空間情報を復元する装置であって、
時系列画像上に設定した座標系において、各時系列画像中の特徴点の時間的変動を行列表示した計測行列を行列分解し、カメラ視点の運動を表現する運動行列と、外界の物体形状を表現する形状行列に分離する手段と、
前記手段で得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を取り出す手段と、
前記手段で得た変換行列を使って、物体形状を表現する形状行列を変換し、物体形状を構成する空間情報を復元する手段を備えたことを特徴とする。
【００２８】
（８）上記（７）記載の全方位カメラ運動と空間情報の復元装置であって、
時系列画像上に設定した座標系を、射影中心を原点とした別の座標系に座標変換し、その変換した座標系で表現した特徴点座標値の計測行列を行列分解し、全方位カメラ視点に関する運動と物体形状を構成する空間情報を復元する手段を備えたことを特徴とする。
【００２９】
（９）上記（７）記載の全方位カメラ運動と空間情報の復元装置であって、
前記手段で得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って得た運動行列において、進行方向の軸に関する回転、または、カメラ光軸周りの回転運動、または、それ以外の軸周りの回転を復元する手段を備えたことを特徴とする。
【００３０】
（１０）上記（７）記載の全方位カメラ運動と空間情報の復元装置であって、
前記手段で得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の並進運動に対応する情報を取り出し、さらに全方位カメラの回転運動を復元した情報を利用してユークリッド空間における並進運動を復元する手段を備えたことを特徴とする。
【００３１】
（１１）上記（７）記載の全方位カメラ運動と空間情報の復元装置であって、
前記手段で得た変換行列を使って、物体形状を表現する形状行列を変換し、形状行列の中の要素を使って、ユークリッド空間での物体形状を構成する空間情報を復元する手段を備えたことを特徴とする。
【００３２】
（１２）上記（７）〜（１１）のいずれか１つにおいて、前記特異値分解処理で得る各行列に対して、ランク５以上の行または列を雑音として削除する手段を備えたことを特徴とする。
【００３３】
（プログラムの発明）
（１３）上記（１）〜（６）のいずれか１つに記載の全方位カメラ運動または空間情報の復元方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
【００３４】
（記録媒体の発明）
（１４）上記（１）〜（６）のいずれか１つに記載の全方位カメラ運動または空間情報の復元方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００３５】
【発明の実施の形態】
図１は本発明の請求項１等に対応する基本構成図である。また、図２は請求項５等に対応する空間情報復元のための構成図、図３は請求項４等に対応するカメラ運動復元のための構成図である。また、図４は本発明の復元方法に対応する全体処理フローであり、その各ステップＳ１〜Ｓ８は図１の各部１〜８に対応する。
【００３６】
なお、本実施形態では、等距離射影（光軸からの入射角に比例した射影）で光学的に設計された魚眼レンズを使用した全方位カメラ撮像装置の場合を説明するが、他の射影（立体角射影、等立体角射影）で設計された魚眼レンズを使用した全方位カメラ撮像装置、並びに、六角錘ミラーや双曲線ミラーなどで構成した全方位カメラ撮像装置で取得した時系列画像に対しても適用可能である。
【００３７】
まず、図９において、本発明で復元する対象の形状を構成する点Ｐ_ｊ（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）と、全方位カメラの運動、すなわち、Ｒｏｌｌ回転（ω_ｉ）、Ｐｉｔｃｈ回転（ψ_ｉ）、Ｙａｗ回転（θ_ｉ）、並びに、並進運動（Ｔｘ_ｉ，Ｔｙ_ｉ，Ｔｚ_ｉ）を説明する。この図は、全方位カメラの初期状態を表しており、説明の都合上、全方位カメラが進行する軸をＹ軸とする。全方位カメラは、並進運動（Ｔｘ_ｉ，Ｔｙ_ｉ，Ｔｚ_ｉ）で移動しながら、Ｒｏｌｌ回転（ω_ｉ）、Ｐｉｔｃｈ回転（ψ_ｉ）、Ｙａｗ回転（θ_ｉ）の回転をする。このとき、初期状態での全方位カメラのカメラ光軸をＺ軸方向に向けている。また、射影中心Ｃの位置は運動の中心であるとし、初期状態での全方位カメラの位置を（０，０，０）とし、第ｉフレームでの並進運動後の位置を（Ｔｘ_ｉ，Ｔｙ_ｉ，Ｔｚ_ｉ）とする。さらに、進行軸周りのりの回転をＲｏｌｌ回転ω_ｉ（初期状態ではＹ軸周りの回転）、カメラ光軸周りの回転をＹａｗ回転θ_ｉ（初期状態ではＺ軸周りの回転）、カメラ光軸と進行軸で張られる面の法線周りの回転をＰｉｔｃｈ回転ψ_ｉ（初期状態ではＸ軸周りの回転）とする。一方、外界の対象物上の点Ｐ（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）は、イメージサークル内の画像面において画像座標値ｐ_ｉｊ（ｘ_ｉｊ，ｙ_ｉｊ）へ射影されるとする。下記の式（１）は等距離射影と呼ばれる光学的射影であり、図９中の位相角ρ_ｉｊは、画像座標値（ｘ_ｉｊ，ｙ_ｉｊ）から、式（２）を使って得ることができる。ただし、画像面での射影中心Ｃの画像座標値を（Ｃｘ，Ｃｙ）としている。また、本願では、全方位カメラのＺ軸方向の並進運動はない（Ｔｚ_ｉ＝０）とする。また、ｆは焦点距離、Ｒはイメージサークルの半径である。
【００３８】
【数１】

【００３９】
【数２】

【００４０】
次に，図１〜図３の構成および図４の処理フローについて説明する。時系列画像データベース１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用したり、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちちでも構わない。また、全方位カメラ撮像装置からリアルタイムで画像情報が取り込まれ、画像処理での一時的なデータ保管として利用することもできる。
【００４１】
まず、特徴点計測部２において、全方位カメラで景観を撮影した全方位画像を時系列画像データベース１から取り出し、全方位画像上に特徴点を設定する。この特徴点設定には、濃淡の１次元的、または、２次元的変化による勾配値が大きくなる画素を検出したり、またはエッジ検出やハフ変換などの画像処理手法により特徴点を自動的に発生させるか、または、オペレータが介在して適当に特徴点をマークするなどして初期画像上に特徴点を配置する。このとき配置する特徴点の数をＰ個（ｊ＝１，２，…，Ｐ）とし、配置したときの特徴点の２次元座標値として、図９での画像座標系での原点からの座標値（ｘ_ｉｊ，ｙ_ｉｊ），〔ｊ＝１，２，…，Ｐ〕を記録しておく。
【００４２】
次に、初期画像に続く時系列画像をデータベース１から１枚ずつ読み込み、初期画像に配置した特徴点を、時系列画像間の濃淡の変化に着目した手法、特徴点を中心とした画素パターンを各フレーム間で追跡する方法、または、全方位画像特有の射影歪みを考慮した手法を駆使して追跡し、各時系列画像（初期画像から第ｉ番目の画像）の特徴点の画像座標値として図９での画像座標系での原点からの２次元座標値（ｘ_ｉｊ，ｙ_ｉｊ）を記録する。時系列画像を読出し続けた場合、特徴点が画像間で消失したり、障害物（オクルージョン）などにより隠れてしまったときは追跡を停止し、特徴点追跡を終了する。特徴点追跡が終了した時点で、読み出した時系列画像の数は、初期画像を含めてＦ枚とする（ｉ＝１，２，…，Ｆ）。特徴点計測部２では、各時系列画像における特徴点の時間的な画像座標的配置の変化量は下記式（３）のデータ形式に配列して、計測行列［Ａ］として保持しておく。
【００４３】
【数３】

【００４４】
次に、計測行列変換部３では、特徴点計測部で取得した画像座標値を要素とする計測行列［Ａ］から、第ｉフレームでの第ｊ番目の特徴点の画像座標値（ｘ_ｉｊ，ｙ_ｉｊ）を取り出し、下記式（４）の変換により座標変換し、全方位座標値（ｕ_ｉｊ，ｖ_ｉｊ）を得る。即ち、図９において、射影中心（Ｃｘ，Ｃｙ）を中心とした相対的な画像座標値に一次変換し、前記式（１）（２）を使ってρ_ｉｊとφ_ｉｊを求める。
【００４５】
【数４】

【００４６】
次に、式（４）の変換により座標変換し、全方位座標値（ｕ_ｉｊ，ｖ_ｉｊ）を得る。この変換を全フレーム、全特徴点に対して行う。変換後のデータ形式として、下記式（５）に示す要素形式の計測行列［Ｂ］を計測行列入力部４において保持しておく。
【００４７】
【数５】

【００４８】
上記のように、画像座標値（ｘ_ｉｊ，ｙ_ｉｊ）から位相角ρ_ｉｊと仰角φ_ｉｊを求めて、（ｕ_ｉｊ，ｖ_ｉｊ）に座標変換すると、図９に示す点Ｐの奥行きＲ_ｉｊおよび高さｈ_ｉｊがそれぞれ互いに等しい点の集合を表す全方位画像上のＲ−ｈ曲線が、ｖ軸に対して平行な直線に変換される。したがって、特徴点として奥行きＲ_ｉｊおよび高さｈ_ｉｊがそれぞれ互いに等しい点の集合（建物中で高さｈ_ｉｊが同じ点、例えばＰ_ｊとＱ_ｊ）を設定し、ｕｖ平面上の直線を用いることにより、ｘｙ平面上のＲ−ｈ曲線を用いる場合に比べ、カメラ視点の運動および空間情報をはるかに高精度に計測することが可能となる。
【００４９】
また、本座標変換では、仰角φ_ｉｊが小さい特徴点（建物の底に近い点）ほど、ｖ軸から離れた点に、測定誤差が強調されて変換される。すなわち、同じ操作により特徴点を測定した場合、ｘｙ平面上では分かりづらかった誤差や不一致がｕｖ平面上ではより正確に把握できるようになる。従って、この強調された誤差が最小となるようにカメラ視点の運動および空間情報を求めれば、やはり高精度な計測が可能となる。
【００５０】
次に、計測行列入力部４に保持しておいた行列［Ｂ］のデータは、行列分解処理部５において、図５に示すように、行列［Ｂ］を読み込み（Ｓ１１）、特異値分解処理（Ｓ１２）により下記式（６）のように３つの行列［Ｕ］，［Ｗ］，［Ｖ］に行列分解する。ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。さらに、各行列から雑音除去のため、下記式（７）の第二項に示されるランク５以上の各行列の成分を削除する。
【００５１】
【数６】

【００５２】
【数７】

【００５３】
上記のランク５以上の行列成分の削除は、図５において、特異値分解処理した運動行列［Ｕ］を抽出し（Ｓ１３）、この行列の要素において第５から第Ｐ列目までを削除して雑音除去し、残りの成分からなる行列［Ｕ_１］を保持しておく（Ｓ１４）。また、行列［Ｗ］を抽出し（Ｓ１５）、この行列の要素において第５から第Ｐ行目並びに第５から第Ｐ列目までを削除して雑音除去し（Ｓ１６）、残りの成分からなる行列［Ｗ_１］を保持しておく。また、特異値分解処理した形状行列［Ｖ］を抽出し（Ｓ１７）、この行列の要素において第５から第Ｐ行目までを削除して雑音除去し（Ｓ１８）、残りの成分からなる行列［Ｖ_１］を保持しておく。なお、各行列は下記式（ａ）〜式（ｃ）のようになる。
【００５４】
【数８】

【００５５】
次に、第５から第Ｐ行目並びに第５から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方根をとった行列［Ｗ’］を生成し（Ｓ２０）、さきほど保持しておいた行列から、行列［Ｕ’］と［Ｖ’］を生成する（Ｓ１９，Ｓ２１）。これら行列［Ｗ’］，［Ｕ’］，［Ｖ’］は下記式（９）〜（１１）として得られる。
【００５６】
【数９】

【００５７】
【数１０】

【００５８】
【数１１】

【００５９】
以上のように、特異値分解処理後の各行列からランク５以上の行列要素を削除する点が本発明の方法と従来の因子分解法との異なる点である。この処理によって雑音の多い画像から雑音が除去される。一方、カメラの微小な動きに比例した成分（後述の式（１９）におけるｍ_ｉ、ｎ_ｉ）は、運動行列［Ｕ］のランク１から４の部分に含まれているため、雑音除去処理後の行列を用いることにより、カメラの微小な動きを雑音から分離して検出・復元することが可能となる。
【００６０】
次に、変換行列算出部６における処理フローを図６に示す。変換行列算出部６ではまず、図５のステップＳ１９において、保持してある行列［Ｕ’］を取り出し（Ｓ３１）、下記式（１３）〜（１５）に示す連立する条件式を満たす式（１２）で表される対称行列［Ｃ］の各要素にかかる係数を計算する（Ｓ３２）。これらの係数計算は、行列演算により容易に得られるものであり、この条件式を全フレームに対して計算する。
【００６１】
【数１２】

【００６２】
【数１３】

【００６３】
【数１４】

【００６４】
【数１５】

【００６５】
次に、全フレームの式（１３）〜（１５）に示す連立条件式に対して、最小二乗法などの数値計算を利用するなどして３×３サイズの行列［Ｃ］の各要素を決定する（Ｓ３３）。さらに、求めた行列［Ｃ］を式（１６）に示すように固有値分解処理する（Ｓ３４）。そして、固有ベクトルの抽出（Ｓ３５）と固有値行列抽出をし（Ｓ３６）、この固有値行列の平方根を計算し（Ｓ３７）、この平方根と固有ベクトルから、式（１７）の行列を生成し、この行列要素を成分にもつ式（１８）に示す変換行列［Ｑ］を生成する（Ｓ３８）。
【００６６】
【数１６】

【００６７】
【数１７】

【００６８】
【数１８】

【００６９】
図７はカメラ運動復元部７での処理フローを示す。まず、図６のステップＳ３８で求めた行列［Ｑ］と、その前のステップＳ３１で保持しておいた行列［Ｕ’］から、式（１９）の行列演算により行列［Ｍ’］を計算する（Ｓ４１〜Ｓ４３）。
【００７０】
【数１９】

【００７１】
次に、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍ_ｉｘ，ｎ_ｉｙ）を取り出し（Ｓ４４）、式（２０）を使って、Ｙａｗ回転θ_ｉを復元する（Ｓ４５）。このＹａｗ回転θ_ｉを元に、式（２１）に示す回転行列［Ｒθ］を計算しておく（Ｓ４６）。
【００７２】
【数２０】

【００７３】
【数２１】

【００７４】
次に、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍ_ｉｚ，ｎ_ｉｚ）を取り出し（Ｓ４７）、これと回転行列［Ｒθ］とから式（２２）を使ってＲｏｌｌ回転ω_ｉとＰｉｔｃｈ回転ψ_ｉを復元する（Ｓ４８）。
【００７５】
【数２２】

【００７６】
一方、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔ_ｉｕ，Ｔ_ｉｖ）を取り出す（Ｓ４９）。さらに、復元したＲｏｌｌ回転ω_ｉとＰｉｔｃｈ回転ψ_ｉと回転行列［Ｒθ］から、式（２３）に示す要素（μ_ｉｕ，μ_ｉｖ）の計算（Ｓ５０）、および式（２４）に示す要素（ν_ｉｕ，ν_ｉｖ）を計算し（Ｓ５１）、これらの要素を式（２５）に代入し、先に取り出した（Ｔ_ｉｕ，Ｔ_ｉｖ）から、式（２５）を使って、第ｉフレームにおけるユークリッド空間での並進運動（Ｔ_ｉｘ，Ｔ_ｉｙ）を計算する（Ｓ５２）。
【００７７】
【数２３】

【００７８】
【数２４】

【００７９】
【数２５】

【００８０】
最後に、空間情報復元部８での処理フローを図８に示す。この処理では、まず、先に保持しておいた行列［Ｖ’］を読み込み（Ｓ６１）、および変換行列算出部６で得られた行列［Ｑ］を読み込み（Ｓ６２）、式（２６）に示す行列演算を行い、行列［Ｓ’］を求める（Ｓ６３）。次に、行列［Ｓ’］の要素に対して、式（２７）に示す変換を行い、これを要素とする行列を［Ｐ］を計算する（Ｓ６４）。行列［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での空間情報、すなわち、３次元座標値（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）になっている。
【００８１】
【数２６】

【００８２】
【数２７】

【００８３】
以上のように、本実施形態によれば、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち、三軸周りの回転と並進運動、並びに、物体形状を構成する空間情報、すなわち、３次元座標値を復元することができる。
【００８４】
なお、本発明は、図４に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現することができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００８５】
【発明の効果】
以上のとおり、本発明によれば、Ｒｏｌｌ回転、Ｐｉｔｃｈ回転を含めてカメラ運動と物体形状を、雑音の多い画像から高精度に復元することができる。
【００８６】
また、座標変換の適用により、計測誤差をより軽減できる。
【図面の簡単な説明】
【図１】本発明による全方位カメラ運動と空間情報の復元装置の基本構成図。
【図２】本発明における空間情報復元のための構成図。
【図３】本発明におけるカメラ運動復元のための構成図。
【図４】本発明による全方位カメラ運動と空間情報の復元方法の全体処理フロー。
【図５】本発明における行列分解処理部の処理フロー。
【図６】本発明における変換行列算出部の処理フロー。
【図７】本発明におけるカメラ運動復元部の処理フロー。
【図８】本発明における空間情報復元部の処理フローを示す図。
【図９】全方位カメラと復元する空間情報とカメラ座標系を示す図。
【符号の説明】
１…時系列画像データベース
２…特徴点計測部
３…計測行列変換部
４…計測行列入力部
５…行列分解処理部
６…変換行列算出部
７…カメラ運動復元部
８…空間情報復元部

Claims

全方位カメラで取得した時系列の全方位画像中において、特徴点に関する画像座標値の時間的変化から、全方位カメラ視点の運動、並びに外界の物体形状を構成する空間情報を復元する方法であって、
時系列画像上に設定した座標系において、各時系列画像中の特徴点の時間的変動を行列表示した計測行列を行列分解し、カメラ視点の運動を表現する運動行列と、外界の物体形状を表現する形状行列に分離するステップと、
前記ステップで得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を取り出すステップと、
前記ステップで得た変換行列を使って、物体形状を表現する形状行列を変換し、物体形状を構成する空間情報を復元するステップを有することを特徴とする全方位カメラ運動と空間情報の復元方法。
請求項１記載の全方位カメラ運動と空間情報の復元方法であって、
時系列画像上に設定した座標系を、射影中心を原点とした別の座標系に座標変換し、その変換した座標系で表現した特徴点座標値の計測行列を行列分解し、全方位カメラ視点に関する運動と物体形状を構成する空間情報を復元するステップを有することを特徴とする全方位カメラ視点運動と空間情報の復元方法。
請求項１記載の全方位カメラ運動と空間情報の復元方法であって、
前記ステップで得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って得た運動行列において、進行方向の軸に関する回転、または、カメラ光軸周りの回転運動、または、それ以外の軸周りの回転を復元するステップを有することを特徴とする全方位カメラ運動の復元方法。
請求項１記載の全方位カメラ運動と空間情報の復元方法であって、
前記ステップで得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の並進運動に対応する情報を取り出し、さらに全方位カメラの回転運動を復元した情報を利用してユークリッド空間における並進運動を復元するステップを有することを特徴とする全方位カメラ運動の復元方法。
請求項１記載の全方位カメラ運動と空間情報の復元方法であって、
前記ステップで得た変換行列を使って、物体形状を表現する形状行列を変換し、形状行列の中の要素を使って、ユークリッド空間での物体形状を構成する空間情報を復元するステップを有することを特徴とする空間情報の復元方法。
請求項１〜５のいずれか１項において、前記特異値分解処理で得る各行列に対して、ランク５以上の行または列を雑音として削除するステップを有することを特徴とする全方位カメラ運動と空間情報の復元方法。
全方位カメラで取得した時系列の全方位画像中において、特徴点に関する画像座標値の時間的変化から、全方位カメラ視点の運動、並びに外界の物体形状を構成する空間情報を復元する装置であって、
時系列画像上に設定した座標系において、各時系列画像中の特徴点の時間的変動を行列表示した計測行列を行列分解し、カメラ視点の運動を表現する運動行列と、外界の物体形状を表現する形状行列に分離する手段と、
前記手段で得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の回転運動に対応する情報と、並進運動に対応する情報を取り出す手段と、
前記手段で得た変換行列を使って、物体形状を表現する形状行列を変換し、物体形状を構成する空間情報を復元する手段を備えたことを特徴とする全方位カメラ運動と空間情報の復元装置。
請求項７記載の全方位カメラ運動と空間情報の復元装置であって、
時系列画像上に設定した座標系を、射影中心を原点とした別の座標系に座標変換し、その変換した座標系で表現した特徴点座標値の計測行列を行列分解し、全方位カメラ視点に関する運動と物体形状を構成する空間情報を復元する手段を備えたことを特徴とする全方位カメラ視点運動と空間情報の復元装置。
請求項７記載の全方位カメラ運動と空間情報の復元装置であって、
前記手段で得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って得た運動行列において、進行方向の軸に関する回転、または、カメラ光軸周りの回転運動、または、それ以外の軸周りの回転を復元する手段を備えたことを特徴とする全方位カメラ運動の復元装置。
請求項７記載の全方位カメラ運動と空間情報の復元装置であって、
前記手段で得た運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の並進運動に対応する情報を取り出し、さらに全方位カメラの回転運動を復元した情報を利用してユークリッド空間における並進運動を復元する手段を備えたことを特徴とする全方位カメラ運動の復元装置。
請求項７記載の全方位カメラ運動と空間情報の復元装置であって、
前記手段で得た変換行列を使って、物体形状を表現する形状行列を変換し、形状行列の中の要素を使って、ユークリッド空間での物体形状を構成する空間情報を復元する手段を備えたことを特徴とする空間情報の復元装置。
請求項７〜１１のいずれか１項において、前記特異値分解処理で得る各行列に対して、ランク５以上の行または列を雑音として削除する手段を備えたことを特徴とする全方位カメラ運動と空間情報の復元方法。
請求項１〜６のいずれか１項に記載の全方位カメラ運動または空間情報の復元方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
請求項１〜６のいずれか１項に記載の全方位カメラ運動または空間情報の復元方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする全方位カメラ運動または空間情報の復元方法を記録した記録媒体。