JP2009186287A - 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム - Google Patents

平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム Download PDF

Info

Publication number
JP2009186287A
JP2009186287A JP2008025677A JP2008025677A JP2009186287A JP 2009186287 A JP2009186287 A JP 2009186287A JP 2008025677 A JP2008025677 A JP 2008025677A JP 2008025677 A JP2008025677 A JP 2008025677A JP 2009186287 A JP2009186287 A JP 2009186287A
Authority
JP
Japan
Prior art keywords
image
estimation
image pair
parameter estimation
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008025677A
Other languages
English (en)
Inventor
Shigeki Sugimoto
茂樹 杉本
Masatoshi Okutomi
正敏 奥富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2008025677A priority Critical patent/JP2009186287A/ja
Priority to PCT/JP2009/051922 priority patent/WO2009099117A1/ja
Publication of JP2009186287A publication Critical patent/JP2009186287A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

【課題】多眼ステレオ画像を用いて平面パラメータを短時間で安定且つ精度良く推定する平面パラメータ推定装置を提供する。
【解決手段】多眼ステレオ画像の画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない諸量を１度だけ計算する前処理計算部と、各画像ペアのヘッセ行列に基づき、１つの画像ペア又は２つの画像ペアを選択する画像ペア選択部と、選択された画像ペアに対して基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、第１推定を別々に行う第１推定部と、第１のコスト関数の値の小さい方の第１推定の平面パラメータ推定値を初期値とし、ＳＳＤを全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、第２推定を行い、得られた推定値を平面パラメータとする第２推定部とを備える。また、第１推定及び第２推定における繰返し計算を行う際に諸量を利用する。
【選択図】図１

Description

本発明は、デジタル画像処理技術に関し、特に、多眼ステレオカメラで撮影された多眼ステレオ画像（多眼ステレオカメラで取得された複数の画像データ）から、撮影対象の平面の３次元パラメータを推定する平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラムに関するものである。
ステレオ画像を利用して、平面の３次元パラメータ（即ち、平面の単位法線と基準カメラの光学中心から平面までの距離）を推定する「平面パラメータ推定技術」は、例えば、ロボット歩行のための床面センシング（非特許文献１を参照）や、ヘリコプターの着陸のための地平面センシング、実物体のサーフェス生成（非特許文献２を参照）など、様々なアプリケーションに応用できる有用な技術である。以下、「平面の３次元パラメータ」を単に「平面パラメータ」とも称する。
ステレオ画像を利用して平面パラメータを精度よく求めるには、画像間のＳＳＤ(Sum of Squared Differences)をコスト関数とし、最適化アルゴリズムによってそのコスト関数を最小にする平面パラメータを求める、いわゆる直接法が有効である（非特許文献３を参照）。
しかし、２眼ステレオカメラで撮影された２眼ステレオ画像を用いて、平面パラメータを推定する場合、撮影対象のテクスチャがエピポーラ線と平行なエッジによって構成されていると、奥行き（基準カメラの光学中心から平面までの距離）推定に曖昧性が生じる問題が存在することが知られており、このような問題が生じた場合、２眼ステレオ画像による平面パラメータ推定が不可能となる。
ステレオ計測の分野では、上記のような問題を解決する方法として、多眼ステレオカメラで撮影された多眼ステレオ画像を利用し、ＳＳＳＤ(Sum of SSD)を評価するマルチベースラインアルゴリズムが知られている（非特許文献４を参照）。
淺谷南己・杉本茂樹・奥富正敏共著,「二足歩行ロボットのための歩行計画に基づくステレオ画像センシング」,画像の認識・理解シンポジウム(MIRU2007)論文集,p.899-904,2007年 エス. スギモト（S. Sugimoto）、エム. オクトミ（M. Okutomi）共著,「ア ダイレクト アンド エフィシェント メソッド フォー ピースワイズ プラーナ サーフェス リーコンストラクション フロム ステレオ イメージズ（A direct and efficient method for piecewise-planar surface reconstruction from stereo images）」,ＩＥＥＥ コンピュータ ソサイアティ カンファレンス オン コンピュータ ビジョン アンド パターン リコグニション（IEEE Computer Society Conference on Computer Vision and Pattern Recognition）,2007年 キュー. ケ（Q. Ke）、ティー. カナデ（T. Kanade）共著,「トランスフォーミング カメラ ジオメトリー トゥー ア バーチャル ダウンワード ルッキング カメラ： ローバスト エゴモーション エスティメイション アンド グラウンド レイヤー デテクション（Transforming camera geometry to a virtual downward-looking camera: Robust ego-motion estimation and ground-layer detection）」,CVPR, 第1巻, p.390-397,2003年 エム. オクトミ（M. Okutomi）、ティー. カナデ（T. Kanade）共著,「ア マルチプル ベースライン ステレオ（Amultiple-baseline stereo）」.ＩＥＥＥ トランスアクションズ オン パターン アナリシス アンド マシン インテリジェンス（IEEE Transactions on Pattern Analysis and Machine Intelligence）,第15巻,第4号,p.353-367,1993年4月 エム. ハッベクケ（M. Habbecke）、エル. コブベルト（L. Kobbelt）共著,「（Iterative multi-view plane fitting）」,プロシーデングズ オフ ザ １１ｔｈ インターナショナル フォール ワークショップ オン ビジョン, モデリング, アンド ビジュアライザション（ＶＭＶ２００６）（Proceedings of the 11th International Fall Workshop on Vision, Modeling, and Visualization (VMV2006)）,p.73-80,2006年 マーティン ハッベクケ（Martin Habbecke）、ライフ コブベルト（Leif Kobbelt）共著,「（A Surface-Growing Approach to Multi-View Stereo Reconstruction）」,プロシーデングズ オフ ＩＥＥＥ カンファレンス オン コンピュータ ビジョン アンド パターン リコグニション（ＣＶＰＲ２００７）（proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR2007)）,p.1-8,2007年 杉本茂樹・奥富正敏共著,「ステレオ画像を用いた高速な平面パラメータ推定法」,情報処理学会論文誌：コンピュータビジョンとイメージメディア,第48巻,第SIG 1(CVIM 17)号,p.24-34,2007年 オー. ファゲラス（O. Faugeras）、エフ. ラストマン（F. Lustman）共著,「モーション アンド ストラクチャー フロム モーション イン ア ピースワイズ プラーナ インバイアロンメント（Motion and structure from motion in a piecewise planar environment）」,レポート デ レチャルチャ デ １’ ＩＮＲＩＡ（Report de Recherche de l’INRIA）,1988年 ケイ. チン（K. Chen）著,「マトリクス プレコンディショニング テクニックズ アンド アプリケイションズ（Matrix Preconditioning Techniques and Applications）」, ケンブリッジ ユニバーシティー プレス（Cambridge University Press）,2005年 ジェー. ワイ. ボウグエト（J.-Y. Bouguet）著,「カメラ キャリブレーション ツールボックス フォー マットラブ（Camera Calibration Toolbox for Matlab）」,URL（http://www.vision.caltech.edu/bouguetj/calibdoc/"） ヴィ. ビシュ(V. Vaish)他共著,「シンセティック アパーチャー フォーカシング ユーシング ア シーアワープ ファクトライザション オフ ザ ビューイング トランスフォーム（Synthetic aperture focusing using a shear-warp factorization of the viewing transform）」,ＩＥＥＥ コンピュータ ソサイアティ カンファレンス オン コンピュータ ビジョン アンド パターン リコグニション（IEEE Computer Society Conference on Computer Vision and Pattern Recognition）,p.129,2005年 ティー. ゴト（T. Goto）、エム. オクトミ（M. Okutomi）共著,「ダイレクト スーパーレゾルーション アンド レジストレーション ユーシング ロー ＣＦＡ イメージズ（Direct super-resolution and registration using raw CFA images）」,ＩＥＥＥ コンピュータ ソサイアティ カンファレンス オン コンピュータ ビジョン アンド パターン リコグニション（IEEE Computer Society Conference on Computer Vision and Pattern Recognition）,第II巻,p.600607,2004年 池田薫・清水雅夫・奥富正敏共著,「撮影位置の異なる複数の画像を用いた高解像仮想焦点面画像生成」,情報処理学会研究報告(コンピュータビジョンとイメージメディア2006-CVIM-156),第2006巻,第13号,p.101108,2006年
従来、ＳＳＳＤをコスト関数として利用した多眼ステレオカメラで撮影された多眼ステレオ画像による平面パラメータ推定方法は、非特許文献５において定式化されており、そして、非特許文献６において実用のための平面パラメータの初期値の推定方法が提案されている。非特許文献６では、８自由度の平面射影変換パラメータを求めてから、３自由度の平面パラメータを求めて平面パラメータの初期値としている。
しかし、非特許文献５及び非特許文献６に提案された、多眼ステレオカメラで撮影された多眼ステレオ画像による平面パラメータ推定方法を利用して、平面パラメータを推定する場合では、次のような問題点がある。
問題点その１：
８自由度を持つ平面射影変換パラメータを事前に推定することは、平面パラメータ推定の安定性を損なう。
問題点その２：
ＳＳＳＤのコスト関数を最小化するための最適化計算アルゴリズムが非効率である。
問題点その３：
多眼ステレオカメラで撮影された多眼ステレオ画像の全ての画像ペア（全画像ペア）について加算したＳＳＳＤをコスト関数としているため、つまり、平面パラメータ推定に悪影響を与える画像ペアをも含めて、ＳＳＳＤのコスト関数を最適化しているため、平面パラメータ推定の収束の安定性が悪い。
問題点その４：
多眼ステレオカメラで撮影された多眼ステレオ画像の画像ペア数に比例して、平面パラメータ推定するための計算コストが大きくなる。また、各画像ペアにおけるＳＳＤは、常に同一の更新量によって小さくなるとは言えないため、算出される更新量に競合が発生することがある。このことにより、コスト関数の最適化処理における繰返し計算回数が増加し、また、平面パラメータ推定の失敗を引き起こす。
本発明は、上述のような事情から成されたものであり、本発明の目的は、多眼ステレオカメラで撮影された多眼ステレオ画像を利用して、撮影対象の平面パラメータを短時間（少ない計算コスト）で安定且つ精度良く推定する、平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラムを提供することにある。
本発明は、既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置に関し、本発明の上記目的は、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算部と、前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択部と、前記画像ペア選択部で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定部とを備え、前記第１推定部で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することにより、或いは、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算部と、前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択部と、前記画像ペア選択部で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定部と、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定部とを備え、前記第１推定部で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、前記第２推定部で行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することによって、効果的に達成される。
また、本発明の上記目的は、前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムであることにより、或いは、前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択することにより、或いは、前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択することにより、或いは、前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかであることにより、或いは、前記全画像ペアを、前記第２推定部で利用される前記多数の画像ペアとして利用することにより、或いは、所定の複数画像ペア選択基準により、前記全画像ペアから選択した、前記画像ペア選択部で選択された前記１つの画像ペア又は前記２つの画像ペアも含めた複数の画像ペアを、前記第２推定部で利用される前記多数の画像ペアとして利用することにより、或いは、前記所定の複数画像ペア選択基準とは、前記第２推定の初期値として利用された前記第１推定の平面パラメータ推定値を用いて、前記全画像ペアに対し、前記ＳＳＤを計算し、計算した結果が小さい画像ペアのみを前記第２推定部で利用される前記多数の画像ペアとして選択するものであることにより、或いは、前記第１のコスト関数は、
によって表され、前記第２のコスト関数は、
によって表され、ただし、
と表される座標変換式と等価な座標変換関数であり、
の関係は、
によって定められ、
が成立し、そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
とｎ番目の参照画像上における対応点
との関係は同次座標表現
を用いて、
で表され、
は３×３の平面射影変換行列を表し、
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
は平行移動ベクトルを表し、
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
は前記複数のパラメータであることによってより効果的に達成される。
また、本発明は、既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置における平面パラメータ推定方法に関し、本発明の上記目的は、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算ステップと、前記前処理計算ステップで算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択ステップと、前記画像ペア選択ステップで選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定ステップとを有し、前記平面パラメータ推定装置は、前記第１推定ステップで行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することにより、或いは、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算ステップと、前記前処理計算ステップで算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択ステップと、前記画像ペア選択ステップで選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定ステップと、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定ステップとを有し、前記平面パラメータ推定装置は、前記第１推定ステップで行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、前記平面パラメータ推定装置は、前記第２推定ステップで行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することによって、効果的に達成される。
更に、本発明は、既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定するために、コンピュータを機能させるための平面パラメータ推定プログラムに関し、本発明の上記目的は、コンピュータを、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算手段、前記前処理計算手段で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択手段、前記画像ペア選択手段で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定手段として機能させ、前記第１推定手段で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することにより、或いは、コンピュータを、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算手段、前記前処理計算手段で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択手段、前記画像ペア選択手段で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定手段、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定手段として機能させ、前記第１推定手段で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、前記第２推定手段で行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することによって、効果的に達成される。
本発明は、多眼ステレオカメラで撮影された多眼ステレオ画像を利用して、撮影対象の平面パラメータを短時間で安定且つ精度良く推定できるようにした、平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラムに関するものである。
本発明では、多眼ステレオ画像の全画像ペアから選択した多数の画像ペアを用いて、多眼ステレオ画像による平面パラメータ推定（第２推定）を行う前に、まず、平面パラメータ推定に好ましい画像ペアを選択して、選択された画像ペアを用いて、２眼ステレオ画像による平面パラメータ推定（第１推定）を行うようにする。次に、第１推定で得られた平面パラメータ推定値を、第２推定の平面パラメータの初期値とし、多眼ステレオ画像の全画像ペアから選択した多数の画像ペアを用いて第２推定を行う。
本発明によれば、多眼ステレオ画像による平面パラメータ推定を２段階（第１推定、第２推定）で順次行うことにより、また、基準画像と参照画像の役割を入れ替えて定式化したＳＳＤ及びＳＳＳＤをそれぞれ第１推定及び第２推定のコスト関数とすることにより、コスト関数を最適化するための計算コストを大幅に抑えることができ、平面パラメータを短時間（少ない計算コスト）で安定且つ精度良く推定できるという優れた効果を奏する。
まず、本発明の着眼点について説明する。
多眼ステレオカメラで撮影された多眼ステレオ画像（多眼ステレオカメラで取得された複数の画像データ）を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定技術では、画像ペアの画素値の差分二乗和(ＳＳＤ)を全画像ペアについて加算したＳＳＳＤを、コスト関数とする場合に、そのコスト関数を最適化するのにGauss-Newton法による繰返し計算が有効である。
しかし、非特許文献５及び非特許文献６に記載された従来の多眼ステレオ画像による平面パラメータ推定方法のコスト関数を最適化するのに、Gauss-Newton法を適用すると、ヘッセ行列を繰返しごとに計算し直さなければならず、収束解を得るまでの計算コストが非常に大きいという問題が発生してしまう。
一方、非特許文献７に開示されたように、本発明の発明者らにより提案された「ステレオ画像を用いた高速な平面パラメータ推定法」では、２眼ステレオ画像を用いた平面パラメータ推定において、基準画像と参照画像の役割を入れ替えてＳＳＤを定式化することにより、Gauss-Newton法における繰返し計算ごとのヘッセ行列がスケール倍を除いて固定されることが見出されている。つまり、本発明の発明者らが提案した「２眼ステレオ画像による平面パラメータ推定方法」では、ヘッセ行列がスケール倍を除いて固定されることから、Gauss-Newton法による高速な平面パラメータ推定アルゴリズムを実現している。
そこで、本発明の発明者らは、自らの研究成果である「２眼ステレオ画像による平面パラメータ推定方法」（非特許文献７を参照）を、多眼ステレオ画像による平面パラメータ推定に拡張し、更に、多眼ステレオ画像による平面パラメータ推定を２段階で順次行うことにより、多眼ステレオ画像による高精度な平面パラメータ推定を安定に実現すると同時に、平面パラメータ推定の計算コストの大幅な低減をも実現するようにした、本発明の平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラムを発明した。
また、前述したように、非特許文献５及び非特許文献６に記載された従来の多眼ステレオ画像を用いた平面パラメータ推定方法では、多眼ステレオ画像の全画像ペアについて加算したＳＳＳＤをコスト関数としているため、全画像ペアの中に平面パラメータ推定に悪影響を与える画像ペアが存在することがあり、その画像ペアが原因で多数の繰返し計算を必要としたり、解が適切に収束しなかったりするという問題点がある。
そこで、本発明では、多眼ステレオ画像の全画像ペアから平面パラメータ推定に悪影響を与える画像ペアを排除する、つまり、多眼ステレオ画像の全画像ペアから平面パラメータ推定に悪影響を与えない画像ペアのみを選択して、選択された画像ペアを用いて平面パラメータ推定を２段階で順次行うという技術的思想を採用することにより、この問題点を解決した。
要するに、本発明では、本発明の発明者らに提案された非特許文献７の２眼ステレオ画像を用いた平面パラメータ推定方法を多眼ステレオ画像による平面パラメータ推定に拡張することにより、多眼ステレオ画像の全画像ペアについて、画像ペア毎に異なるヘッセ行列を算出することができる。そして、算出されたヘッセ行列は、対応する画像ペアのみを用いて平面パラメータ推定を行う際に利用され、そのヘッセ行列は繰返し計算を通して変化しない。特に、ヘッセ行列の条件数の小ささは、そのヘッセ行列が対応する画像ペアのみを用いて平面パラメータ推定を行う際の解の安定性を示していると言える。よって、ヘッセ行列が解に与える影響を調べ、良好な解が得られるヘッセ行列を特定することができれば、そのヘッセ行列を持つ画像ペア、即ち、そのヘッセ行列が対応する画像ペアは、平面パラメータ推定に好ましい画像ペアであると言える。
そこで、本発明では、多眼ステレオ画像の全画像ペアから得られた多数の画像ペアを用いて、多眼ステレオ画像による平面パラメータ推定（以下、単に「第２推定」とも言う。）を行う前に、まず、後述する本発明の独自の画像ペア選択基準により、平面パラメータ推定に好ましい画像ペアを選択して、選択された画像ペアを用いて、２眼ステレオ画像による平面パラメータ推定（以下、単に「第１推定」とも言う。）を行う。
次に、第１推定で得られた平面パラメータ推定結果（平面パラメータ推定値）を、第２推定の平面パラメータの初期値とし、多眼ステレオ画像の全画像ペアから得られた多数の画像ペアを用いて第２推定を行う。つまり、第２推定では、多眼ステレオ画像の全画像ペアから得られた多数の画像ペアを用いて、第１推定で得られた平面パラメータ推定値を平面パラメータの初期値とし、コスト関数（ＳＳＳＤ）を最適化することにより平面パラメータを推定する。
本発明では、このように平面パラメータ推定を２段階で順次行うことにより、効率的に（少ない計算コストで）高精度な平面パラメータを安定に推定することができる。
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
図１は、本発明に係る平面パラメータ推定装置の一実施形態を示すブロック構成図である。図１に示されたように、本発明の平面パラメータ推定装置１は、前処理計算部１０と、画像ペア選択部２０と、第１推定部３０と、第２推定部４０とから構成される。
本発明の平面パラメータ推定装置１では、多眼ステレオカメラで撮影された多眼ステレオ画像（多眼ステレオカメラで取得された複数の画像データ）を入力とし、前処理計算部１０、画像ペア選択部２０、第１推定部３０、及び第２推定部４０での一連の処理により、撮影対象の平面パラメータを推定し、推定した平面パラメータを出力する。
本発明では、多眼ステレオ画像を撮影するための多眼ステレオカメラの一台を基準カメラとし、基準カメラで撮影された画像（基準カメラで取得された画像データ）を基準画像とする。また、多眼ステレオカメラから基準カメラを除いて他の全てのカメラを参照カメラとし、これら複数の参照カメラで撮影された複数の画像（複数の参照カメラで取得された複数の画像データ）を複数の参照画像とする。即ち、基準画像以外の多眼ステレオ画像を参照画像とする。
そして、多眼ステレオカメラについて、各カメラの画角や焦点距離等の内部パラメータ（以下、単に「カメラ内部パラメータ」とも言う。）、及び基準カメラ座標系に対する各カメラの位置や傾きを示す外部パラメータ（以下、単に「カメラ間の外部パラメータ」とも言う。）は、予めキャリブレーションにより求められているものとする。即ち、本発明では、既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、平面パラメータを推定する。
ここで、本発明の平面パラメータ推定装置１及び平面パラメータ推定方法を用いて、多眼ステレオ画像（１枚の基準画像及び複数の参照画像）から、撮影対象の平面パラメータを推定する平面パラメータ推定処理の処理手順について説明する。
ここで、まず、基準画像が前処理計算部１０に入力される前に、基準画像上に３次元平面を観測した領域を注目領域(ＲＯＩ)として定める。即ち、３次元平面（以下、単に平面とも言う。）が観測されている基準画像上の領域を注目領域(ＲＯＩ)と設定する。基準画像上に定めた注目領域（ＲＯＩ）に関して平面パラメータを以下のように推定する。
最初に、前処理計算部１０では、入力された基準画像、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータ、注目領域(ＲＯＩ)内の画像座標と画素値に基づいて、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない諸量を計算する。
次に、画像ペア選択部２０では、前処理計算部１０で算出された各画像ペアのヘッセ行列から、本発明の独自の画像ペア選択基準により、平面パラメータ推定に好ましい画像ペアを選択する。
本発明の画像ペア選択基準の第１実施形態とは、多眼ステレオ画像の全画像ペアのうち、画像ペアから算出されるヘッセ行列の条件数が最小で、且つ画像ペアを撮影したカメラ間のベースライン長が最短（最小）の画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択することである。つまり、全画像ペアのうち、ヘッセ行列の条件数とカメラ間のベースライン長がともに最小値を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択する。
本発明では、画像ペア選択部２０で画像ペア選択基準の第１実施形態により、画像ペアを選択する際に、例えば、まず、カメラ間のベースライン長の小さい画像ペアを複数個選択しておき、次に、選択された小さいベースライン長を有する複数の画像ペアの中から最小の条件数を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択するようにしても良い。また、逆に、まず、ヘッセ行列の条件数の小さい画像ペアを複数個選択しておき、次に、選択された小さい条件数を有する複数の画像ペアの中から最小のカメラ間のベースライン長を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択するようにしても良い。
そして、本発明の画像ペア選択基準の第２実施形態とは、多眼ステレオ画像の全画像ペアのうち、画像ペアから算出されるヘッセ行列から導出されるコスト関数の曲率が最大で、且つ画像ペアを撮影したカメラ間のベースライン長が最短（最小）の画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択することである。つまり、全画像ペアのうち、ヘッセ行列から導出されるコスト関数の曲率が最大値で、カメラ間のベースライン長が最小値を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択する。なお、本発明で言うコスト関数の曲率とは、主曲率、平均曲率、ガウス曲率などの何れかを意味する。
本発明では、画像ペア選択部２０で画像ペア選択基準の第２実施形態により、画像ペアを選択する際に、例えば、まず、カメラ間のベースライン長の小さい画像ペアを複数個選択しておき、次に、選択された小さいベースライン長を有する複数の画像ペアの中から最大の曲率を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択するようにしても良い。また、逆に、まず、ヘッセ行列から導出されるコスト関数の曲率が大きい画像ペアを複数個選択しておき、次に、選択された大きい曲率を有する複数の画像ペアの中から最小のカメラ間のベースライン長を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択するようにしても良い。
次に、第１推定部３０では、画像ペア選択部２０で選択された画像ペアを用いて、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤをコスト関数として、Gauss-Newton法などの最適化アルゴリズムを利用して、２眼ステレオ画像による平面パラメータ推定（第１推定）を行う。
即ち、第１推定部３０では、選択された画像ペアにおいて、注目領域内の基準画像座標における画素値と、平面パラメータが定める座標変換によって決まる参照画像座標における画素値との差分を、注目領域内の全ての画素について加算した二乗和(ＳＳＤ: Sum of Squared Differences)をコスト関数とし、そのコスト関数を最小化する平面パラメータを、例えばGauss-Newton法などの最適化アルゴリズムを用いて推定する。
そして、第２推定部４０では、第１推定部３０で行った第１推定によって得られた平面パラメータ推定値を、第２推定部４０自身で行う多眼ステレオ画像による平面パラメータ推定（第２推定）の平面パラメータの初期値として、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを、多眼ステレオ画像の全画像ペアから得られた「多数の画像ペア」について加算したＳＳＳＤ（Ｓｕｍ ｏｆ ＳＳＤ）をコスト関数として、Gauss-Newton法などの最適化アルゴリズムを利用して、多眼ステレオ画像による平面パラメータ推定（第２推定）を行う。
即ち、第２推定部４０では、第１推定部３０で行った第１推定によって得られた平面パラメータ推定値を平面パラメータの初期値として、画像ペアにおいて、注目領域内の基準画像座標における画素値と、平面パラメータが定める座標変換によって決まる参照画像座標における画素値との差分を注目領域内の全ての画素について加算したＳＳＤを、多眼ステレオ画像の全画像ペアから得られた「多数の画像ペア」について加算したＳＳＳＤをコスト関数とし、そのコスト関数を最小化する平面パラメータを、例えばGauss-Newton法などの最適化アルゴリズムを用いて推定する。
ここでは、第２推定部４０で利用される「多数の画像ペア」とは、多眼ステレオ画像の全画像ペアから得られた複数の画像ペアを意味し、当該複数の画像ペアに第１推定部３０において利用された画像ペアが含まれている。
多眼ステレオ画像の全画像ペアから第２推定部４０で利用される「多数の画像ペア」を決定（選択）するのに、
（１）複数画像ペア選択基準を設けずに、多眼ステレオカメラによって取得された全ての画像ペア（全画像ペア）を、第２推定部４０で利用される「多数の画像ペア」として利用する方法と、
（２）所定の複数画像ペア選択基準により、多眼ステレオカメラによって取得された全ての画像ペア（全画像ペア）から、複数の画像ペアを第２推定部４０で利用される「多数の画像ペア」として選択する方法がある。
上記方法（２）では、所定の複数画像ペア選択基準の第１実施形態とは、第１推定部３０による第１推定によって得られた平面パラメータ推定値を用いて、２枚の画像においてその３次元平面（ここで言う「その３次元平面」とは、「基準画像上に３次元平面を観測した領域を注目領域(ＲＯＩ)として定める」における３次元平面を意味する。）が観測されていると判断される画像ペアのみを、第２推定部４０で利用される「多数の画像ペア」として選択することである。
また、上記方法（２）では、所定の複数画像ペア選択基準の第２実施形態とは、第１推定部３０による第１推定によって得られた平面パラメータ推定値を用いて、ＳＳＤを計算した結果が小さい画像ペアのみを、第２推定部４０で利用される「多数の画像ペア」として選択することである。
以上では、図１に基づき、本発明に係る平面パラメータ推定装置の一実施形態を説明したが、本発明はそれに限定されることはなく、他の実施形態を有することもできる。
つまり、本発明に係る平面パラメータ推定装置の他の実施形態（以下、単に「本発明の平面パラメータ推定装置２」という。）では、即ち、本発明の平面パラメータ推定装置２は、図１の前処理計算部１０と、図１の画像ペア選択部２０と、図１の第１推定部３０とから構成される。
本発明の平面パラメータ推定装置２では、多眼ステレオカメラで撮影された多眼ステレオ画像（多眼ステレオカメラで取得された複数の画像データ）を入力とし、前処理計算部１０、画像ペア選択部２０、及び第１推定部３０での一連の処理により、撮影対象の平面パラメータを推定し、推定した平面パラメータを出力する。
本発明の平面パラメータ推定装置２の特徴とは、平面パラメータ推定装置１に必要である「第２推定部４０による第２推定処理」が不要で、第１推定部３０による第１推定処理により得られた平面パラメータ推定値を、第２推定部４０の初期値とせずにそのまま平面パラメータとすることである。
つまり、本発明の平面パラメータ推定装置２における第１推定部３０では、画像ペア選択部２０で選択された、画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤをコスト関数とし、そのコスト関数をGauss-Newton法などの最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（第１推定）を行い、第１推定によって得られた平面パラメータ推定値を平面パラメータとする。
また、本発明の平面パラメータ推定装置２における第１推定部３０では、画像ペア選択部２０で選択された画像ペアが２つの画像ペアである場合に、その２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤをコスト関数とし、そのコスト関数をGauss-Newton法などの最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（第１推定）を別々に行い、そのコスト関数の値の小さい方の第１推定の平面パラメータ推定値を前記平面パラメータとする。

以下では、本発明の平面パラメータ推定装置１（図１を参照）及び平面パラメータ推定方法に用いられる平面パラメータ推定アルゴリズムについて、詳細に説明する。

＜１＞平面射影変換と平面パラメータ
Ｎ台のカメラＣｎ，（ｎ＝１，…，Ｎ）を用いて３次元平面Πを撮影し、それぞれのカメラから得られる画像をＩｎ，（ｎ＝１，…，Ｎ）とする。ただし、Ｃｍ，ｍ∈{１，…，Ｎ}を基準カメラとし、Ｔを基準画像(基準カメラから得られる画像)とする。基準画像上の座標（基準画像座標）を
とし、ｎ番目の画像（参照画像）上における対応点座標を
と表す。
ただし、以下では、煩雑さを避けるために、画像座標を、内部パラメータが正規化された座標（正規化画像座標）で示すものとする。また、行列及びベクトルをそれぞれ大文字と小文字の太字体で表記する。
基準画像上の点
と、ｎ番目の画像上における対応点
との関係は、同次座標表現
を用いて、下記数１及び数２で表される（非特許文献８を参照）。
ただし、
は３×３の平面射影変換行列を表し、
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
は平行移動ベクトルを表す。また、
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルである（非特許文献７を参照）。以下では、
を求めるべき平面パラメータベクトルとする。
また、座標変換関数
を用いることにより、上記数１で表される座標変換は、下記数３のようになる（非特許文献７を参照）。
ただし、
は、平面射影変換行列
の要素をラスタ順に並べた９次元のベクトルであり、その要素は、上記数２式で表されるように、
の関数となる。

＜２＞多眼ステレオ画像による高速平面パラメータ推定アルゴリズム
ここで、本発明の発明者らが提案した２眼ステレオ画像による高速平面パラメータ推定アルゴリズム（非特許文献７を参照）を多眼ステレオ画像による平面パラメータ推定に拡張した方法について述べる。
基準画像Ｔと、ｎ番目の画像（参照画像）Ｉｎの２枚の画像を利用して、平面パラメータベクトル（以下、単に、平面パラメータとも言う）
を求めるには、現在の推定量
と微小変化量
を用いて
とおき、下記数４で表す評価関数（即ち、コスト関数）を最小にする
の推定と
の更新を繰返し行う（非特許文献３を参照）。
ただし、ＲＯＩは基準画像上の注目領域を表し、即ち、基準画像上に３次元平面を観測した領域である。
上記数４のように、二乗和(ＳＳＤ)で表現されたコスト関数を最適化するにはGuass-Newton法が有効である。しかし、数４で表すコスト関数を利用した場合は、その計算コストが大きい。これに対し、本発明の発明者らによる提案した非特許文献７では、数４を下記数５のように書き換えることにより、換言すれば、基準画像と参照画像の役割を入れ替えて数４のコスト関数を定式化して得られた下記数５のコスト関数を用いることにより、平面パラメータ推定の精度を損なうことなく平面パラメータ推定の高速化を実現している。
ただし、
と表される座標変換式と等価な座標変換関数である。また、
の関係
は、下記数６によって定められる。
上記数５で表すコスト関数は、２枚の画像間のＳＳＤ(Sum of Squared Differences)を表している。多眼ステレオカメラで撮影された全ての画像（多眼ステレオ画像）による平面パラメータ推定に、数５のコスト関数を適用する場合は、多眼ステレオ画像の全画像ペアに関するＳＳＳＤ(Sum of SSD)をコスト関数とし、そのコスト関数を最小にする
を求めればよい。
つまり、２枚の画像間のＳＳＤを表す数５のコスト関数を、多眼ステレオ画像に拡張して得られたコスト関数は、下記数７である。
上記数７のコスト関数にGauss-Newton法を適用することにより、下記数８〜数１６が得られる。
ただし、
の積によって得られる１×３の行ベクトルである。
は、基準画像上の座標（基準画像座標）
における基準画像勾配を表す１×２の行ベクトルを示し、下記数１７で表す（非特許文献７を参照）。
は、基準画像座標
における２×９のヤコビ行列を示し、下記数１８で表す（非特許文献７を参照）。
は、どちらも
において評価されているため、座標
ごと異なるものの、繰返し計算ごとに変化しない。
のみで定まる９×３のヤコビ行列であり、下記数１９で表す（非特許文献７を参照）。なお、
の結果には、繰返し計算ごとに変化するスカラー項
が存在しているので、そのスカラー項をキャンセルするために、数１９に示すように、
が積算されている。
ただし、
をラスタ順に並べたベクトルである。また、
である。
はカメラ外部パラメータ
にのみ依存しているため、繰返し計算ごとに変化しない。
以上のことから、
は画素ごと異なる値を持つものの、繰返し計算ごとに変化せず、よって、
の加算によって得られる
は、一度だけ計算すればよいことが明らかである。
これにより、数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定を行った場合は、数４のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定を行った場合と比較して、繰返しごとの計算コストが大幅に削減された高速平面パラメータ推定アルゴリズムを実現した（詳細は非特許文献７を参照）。
さらに、数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定（多眼ステレオ画像による高速平面パラメータ推定アルゴリズム）では、各画像ペアにおける
が固定されるため、ヘッセ行列
を計算する際に、
を画像ペア数だけ加算するだけでよく、非特許文献６で利用されている多眼ステレオ画像による平面パラメータ推定アルゴリズムより、高速な平面パラメータ推定アルゴリズムを提供する。ただし、繰返し計算の前処理として、ｎ番目の画像ペア（基準画像Ｔ及びｎ番目の画像（参照画像）Ｉｎ）に対する座標
ごとの
を計算する必要があり、繰返し計算ごとに
を計算する必要があるため、その計算コストは画像ペア数に比例する。

＜３＞本発明の画像ペア選択部における画像ペア選択アルゴリズム
多眼ステレオ画像による平面パラメータ推定の利点は、複数のベースラインを組み合わせることにより、ベースラインとテクスチャによって生じる曖昧性の問題を回避できる点と、多くの情報を利用することによる高精度な平面パラメータ推定ができる点が挙げられる。
一方で、多眼ステレオ画像を用いた平面パラメータ推定では、上述のように、画像ペア数に比例して計算コストが増大するとの問題がある。例えば、２５眼ステレオカメラ(２４ペアの画像ペア)を用いた場合は、２眼ステレオカメラ（１ペアの画像ペア）を用いた場合と比較して、２４倍の計算コストが必要となる。
また、多眼ステレオカメラ（多眼ステレオ画像）による平面パラメータ推定では、推定に悪影響を与える画像ペアが存在することがあり、悪影響を与える画像ペアの存在が原因で、収束が遅くなったり、場合によっては推定に失敗したりするとの問題がある。
本発明を適用した多眼ステレオ画像による平面パラメータ推定は、多眼ステレオ画像による平面パラメータ推定の利点を保持したまま、上述の問題を解決した。
つまり、本発明において、まず、画像ペア選択部２０では、多眼ステレオ画像の全画像ペアから、曖昧性と初期値の両方に関して問題がない画像ペア（即ち、平面パラメータ推定に好ましい画像ペア）を、独自の画像ペア選択基準により選択する。
次に、第１推定部３０では、選択された画像ペアを用いて第１推定（２眼ステレオ画像による高速平面パラメータ推定アルゴリズムによる推定）を行う。そして、第２推定部４０では、第１推定で得られた平面パラメータ推定結果（平面パラメータ推定値）を初期値として、全画像ペアから得られた「多数の画像ペア」を用いて第２推定（多眼ステレオ画像による高速平面パラメータ推定アルゴリズムによる推定）を行う。
以下、本発明の画像ペア選択部における画像ペア選択アルゴリズム（画像ペア選択基準）の詳細について説明する。

＜３−１＞ヘッセ行列の条件数による画像ペア選択
上記数８及び数９より、２眼ステレオ画像のみによる平面パラメータ推定では、Gauss-Newton法によって導かれるヘッセ行列
は、下記数２１で表される。
はスカラーであるため、ヘッセ行列
の条件数は
と同じである。＜２＞で述べたように、
は繰返し計算ごとに変化しない行列であるから、ヘッセ行列
の条件数も繰返し計算ごとに変化せず一定値となる。即ち、繰返し計算を行う前に、各画像ペアにおけるヘッセ行列の条件数を評価することができる。
また、ヘッセ行列の条件数の画像ペアごとの違いは、数２０により、ベクトル
の要素のみによって生じることがわかる。ここで、
とおくと、
は、基準カメラ座標系で定義された参照カメラの光学中心の位置を表わすため、このヘッセ行列の条件数は、実質的に平行移動
の方向のみに依存していると言える。
即ち、基準カメラと、基準カメラの光学中心を通る直線上に光学中心を持つ全ての参照カメラとの画像ペアでは、参照カメラがいかなる方向を向いていても、ヘッセ行列の条件数は全て同じになる。
ｎ番目の画像ペア（基準画像Ｔ及びｎ番目の画像（参照画像）Ｉｎ）におけるヘッセ行列が特異ではないということは、基準カメラによって観測されたテクスチャから平面パラメータを推定する目的において、ｎ番目の画像ペアを利用すれば解の曖昧性を生じないことを示している。
また、ヘッセ行列の条件数は、２眼ステレオ画像を用いた平面パラメータ推定法（非特許文献７を参照）の解の安定性に寄与するものであり、ヘッセ行列の条件数の値が小さいほど、画像ノイズなどのデータ誤差に対して堅牢であることが広く知られている（非特許文献９を参照）。即ち、最小の条件数を持つ画像ペアを選択して平面パラメータ推定を行うことにより、テクスチャとエピポーララインによって生じる曖昧性の問題を回避することができるとともに、マルチベースラインの利点を損なうことなく効率的な平面パラメータ推定も可能となる。
よって、本発明では、最小のヘッセ行列の条件数を持つ画像ペアを、曖昧性と初期値の両方に関して問題がない画像ペア（即ち、平面パラメータ推定に好ましい画像ペア）として選択する。

＜３−２＞カメラ間のベースライン長による画像ペア選択
上述のように、ヘッセ行列の条件数が最小の画像ペアを選択することにより、テクスチャによる曖昧性を回避しつつ画像ノイズ等の影響を受けにくい平面パラメータ推定が可能となる。しかし、ヘッセ行列の条件数が最小の画像ペアを選択しても、常に正しい平面パラメータ推定ができるとは限らない。
上述のように、ヘッセ行列の条件数の違いは、平行移動ベクトル
の向きに依存しており、基準カメラの光学中心を通る直線上に他のカメラ（参照カメラ）の光学中心を並べた場合に、基準画像と参照画像との画像ペアでは、カメラの視線方向によらず、ヘッセ行列の条件数は全て同じになる。このとき、真値と大きく異なる、平面パラメータの初期値
を与えると、基準画像
と参照画像
との間の位置ずれが大きい画像ペアでは、最適化による推定に失敗する可能性が大きい。このような問題を回避するためには、ヘッセ行列の条件数が小さいだけでなく、基準画像と参照画像との間の位置ずれが小さい画像ペアを選択する必要がある。
図２は、本発明で利用される、多眼ステレオカメラ配置及び画像ペアインデックスを説明するための模式図である。図２（Ａ）に多眼ステレオカメラ配置を示しており、図２（Ｂ）にカメラインデックス（各画像の番号ｎ）及び画像ペアインデックスを示している（即ち、基準画像と参照画像の画像ペアのインデックスは、参照カメラのインデックスによって定めた）。図２から分かるように、多眼ステレオカメラ配置の中央にあるカメラ（即ち、基準カメラ）で撮影された画像を基準画像（１３番目の画像）とし、他のカメラ（即ち、参照カメラ）で撮影された画像を参照画像（１番目の画像〜２５番目の画像、ただし、１３番目の画像を除く。）とする。また、全てのカメラの光学中心は、同一の平面上に配置され、平行な視線方向を持つものとする。ただし、視点の同一平面性や視線方向の平行性などは厳密である必要はない。
更に、無限遠に存在する平面パラメータ
を平面パラメータの初期値として与え、数２により、平面射影変換行列
となり、ｎ番目の画像（参照画像）を変形した結果
は、基準カメラと完全に平行な視線方向を持つ画像となる。
即ち、平面パラメータの初期値によってｎ番目の画像（参照画像）を変形した結果は、基準カメラと平行な視線を持つ画像として、自動的にレクティフィケーションされる。このとき、基準画像上の座標（基準画像座標）
との間の位置ずれを
と表わすと、
が十分小さいとき、下記数２２が成立する。
ただし、ｄは基準カメラの光学中心から撮影対象（平面）までの奥行き（距離）を示す。これにより、位置ずれ量
の小さい画像ペアを選択するためには、
が小さい、即ち、カメラ間のベースライン長が小さい画像ペアを選択すればよいことがわかる。
よって、本発明では、ヘッセ行列の条件数が最小で、且つ、最小のカメラ間のベースライン長を持つ画像ペアを、曖昧性と初期値の両方に関して問題がない画像ペア（即ち、平面パラメータ推定に好ましい画像ペア）として選択する。

＜３−３＞オクルージョンを考慮した画像ペア選択
上記＜３−１＞及び＜３−２＞で述べた画像ペア選択基準（画像ペア選択基準の第１実施形態）を用いて、平面パラメータ推定に好ましい画像ペアとして、画像ペアを１つだけ選択すると、その画像ペアにオクルージョンが発生していた場合には、平面パラメータ推定に失敗することがある。
そこで、オクルージョンが原因で平面パラメータ推定が失敗してしまうとの問題を回避するために、本発明では、画像ペア選択部にて画像ペアを選択する際に、画像ペア選択基準を用いて、基準画像を中心に対称な２つの画像ペアを選択するようにする。
次に、選択された対称な２つの画像ペアを用いて、第１推定部にて、それぞれ独立に２眼ステレオ画像による平面パラメータ推定（第１推定）を行い、そして、選択された対称な２つの画像ペアについて、第１推定における繰返しの最後に得られたコスト関数の値、若しくは、画像間の輝度差に関するＲＭＳＥ(Root Mean Squared Error)を評価し、コスト関数の値若しくはＲＭＳＥの小さい方の画像ペアから得られた平面パラメータ推定結果を「第１推定の平面パラメータ推定結果」とする。
このようにすることにより、選択された対称な２つの画像ペアにおいて、どちらかの画像ペアでオクルージョンが発生していても（その一例として、例えば、注目領域が柱のすぐ横にあった場合）、平面パラメータ推定に成功した一方の画像ペアの平面パラメータ推定結果を利用することができる。
本発明では、全てのカメラが均等な間隔で配置され、かつ平行視線を持つ理想的なステレオカメラ配置を有する多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて平面パラメータ推定を行う場合、画像ペアを選択する際に、まず、各画像ペアのヘッセ行列の条件数を先に評価し、その後にカメラ間のベースライン長を評価することにより、基準カメラに隣接する２台の参照カメラ（基準カメラについて対称配置を有する２台の参照カメラ）が選択され、選択された２台の参照カメラで得られた参照画像と基準画像とで構成された２つの画像ペアを第１推定に利用する。
しかし、多眼ステレオカメラは、必ず理想的なステレオカメラ配置を有するとは限らない。例えば、実際に複数のカメラを配置して多眼ステレオカメラとして利用する場合、
の方向が全て異なるため、ヘッセ行列の条件数を先に評価すると、基準カメラに隣接しない参照カメラが１つだけ選択される可能性がある。この場合、画像のずれが大きいという問題が発生する可能性があるため、本発明の画像ペア選択アルゴリズムでは、先に、ベースライン長の小さい（即ち、基準カメラに隣接する）参照カメラグループを選択しておき、次に、選択した参照カメラグループの中でヘッセ行列の条件数を評価して、最小の条件数を持つ画像ペアを選択し、そして、選択された画像ペアと対称な配置をもつ画像ペアをもう一つ選択する。

＜４＞本発明の平面パラメータ推定装置における処理手順
本発明では、画像ペア選択部にて選択された画像ペアを用いて第１推定（数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定）によって得られた平面パラメータ推定結果を、第２推定の平面パラメータの初期値として、数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定（第２推定）を行う。
つまり、数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定（第１推定）において得られた平面パラメータ推定結果は、数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定（第２推定）にとって良好な初期値であり、本発明では、このように、ともに高速化した２段階の平面パラメータ推定（第１推定及び第２推定）を行うことにより、少ない計算コスト（短時間）で安定且つ精度良く平面パラメータを推定することを実現した。
上記＜３＞で述べた画像ペア選択アルゴリズムを実装した本発明の平面パラメータ推定装置の処理手順を図３に示す。ただし、図３に沿って本発明の平面パラメータ推定装置の処理手順を説明する前に、前提条件として、予め基準カメラに隣接するカメラグループ（参照カメラグループ）は選択されたものとする。また、基準画像中の注目領域（ＲＯＩ）は、予め指定されたものとする。更に、繰返し計算の終了条件として、例えは、繰返し回数の最大数や、算出された
のノルムの最小値などを事前に指定する。
図３に示されたように、本発明の平面パラメータ推定装置では、注目領域（ＲＯＩ）が指定された（与えられた）直後に、座標
に関する全ての画像ペアｎの
を、数１３を用いて計算し、更に、数１０により、全ての画像ペアｎについて、
を計算する。全ての画像ペアｎについての
は、繰返し計算の前処理(pre-computation)として前処理計算部にて行われる。
そして、予め選択された、基準カメラに隣接する参照カメラグループについて、それらのヘッセ行列の条件数を計算し、最小値の条件数を持つ画像ペアｉ（即ち、基準画像と参照画像ｉで構成された画像ペア）を１つ選ぶ。更に、基準画像に関して、参照画像ｉと対称配置を持つ参照画像ｊをもう１つ選ぶことにより、画像ペアｊ（即ち、基準画像と参照画像ｊで構成された画像ペア）を選択する。
選択された２つの画像ペア（画像ペアｉ及び画像ペアｊ）について、それぞれ独立に平面パラメータを推定する。つまり、画像ペアｉ及び画像ペアｊに対し、それぞれ独立に、数５のコスト関数を用いてGauss-Newton法を利用し、２眼ステレオ画像による平面パラメータ推定（第１推定）を行う。
なお、画像ペアｉ及び画像ペアｊによる第１推定では、一方の画像ペアによる第１推定が終了した後に、もう一方の画像ペアによる第１推定を実行させる手順、又は、両者の繰返し回数を同期させておき、一方の画像ペアによる第１推定が終了条件に達した時点で、もう一方の画像ペアによる第１推定を終了させる手順を採用することができる。
いずれの手順でも、第１推定により得られた２つの平面パラメータ推定値（２つの平面パラメータベクトル）のうち、最後の繰返し計算において得た画像間のＲＭＳＥが小さい方を、第２推定（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）の平面パラメータベクトルの初期値
とする。
さらに、第２推定（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）に利用する「多数の画像ペア」を選択するために、
を画像間のＲＭＳＥの値
とする
ただし、
は２眼ステレオ画像による平面パラメータ推定（第１推定）において得られた小さい方の画像間のＲＭＳＥとし、ｓはユーザが定めた定数とする。
つまり、多眼ステレオ画像の全画像ペアから、画像間のＲＭＳＥの値
を超えない画像ペアのみを「多数の画像ペア」として選択する。
次に、数７のコスト関数を用いた第２推定（多眼ステレオ画像による平面パラメータ推定）を行う。このとき、多眼ステレオ画像の全画像ペアに対し、先に求めた
を利用して、繰返しごとに、数９を用いて
を計算することができるが、
を算出する前に、まず、多眼ステレオ画像の全画像ペアについて、各画像ペアにおける画像間のＲＭＳＥの値
を計算する。そして、計算された画像間のＲＭＳＥの値
が先に定めた閾値
を超えない画像ペアのみについて、
を利用して数９により
を算出し、算出された
に基づき、数８により、第２推定における平面パラメータベクトルの更新値
を求める。
本発明では、このようにすることにより、多眼ステレオ画像のうち、特定の画像にオクルージョンが発生した場合に、その画像を排除して、即ち、計算された画像間のＲＭＳＥの値
が先に定めた閾値
を超えた画像ペアを排除して、オクルージョンの影響を受けずに第２推定を行うことができる。
以下では、図４〜図７を通して、本発明の平面パラメータ推定装置の処理手順を、平面パラメータ推定装置起動後の処理手順、前処理計算部及び画像ペア選択部の処理手順、第１推定部の処理手順、及び第２推定部の処理手順に分けて、説明する。
なお、以下で述べる本発明の平面パラメータ推定装置による推定処理に利用される多眼ステレオ画像は、図２（Ａ）に示すような平行視線を持つ多眼ステレオカメラを用いて撮影された多眼ステレオ画像である。また、図２（Ｂ）に示すように、画像ペアは、基準カメラ（基準画像）とペアになる参照カメラ（参照画像）のインデックスｎによって表される。以下では、参照カメラ（参照画像）のインデックスｎを画像ペアの番号（画像ペアインデックス）として扱い、つまり、図２（Ａ）に示すような２５眼ステレオカメラを用いた場合に、画像ペアインデックスは、基準画像（１３番）のみを除いた１〜２５の値を持つものとする。
本発明の平面パラメータ推定装置による処理は、大きく分けると、４つの処理に分けることができる。図４に示す「１つ目の処理」は、本発明の平面パラメータ推定装置起動時に行われる処理であり、前処理計算部にて行われる前処理の一部であり、シーンや注目領域(ＲＯＩ)に依存しないパラメータを求める。
図５に示す「２つ目の処理」は、注目領域(ＲＯＩ)が選択された後に行われる処理であり、前処理計算部及び画像ペア選択部にて行われる前処理及び画像ペア選択処理であり、繰返し計算に必要な諸量（ヘッセ行列を含む、画像ペア毎に定まり、且つ繰返し計算ごとに変化しない複数のパラメータ）を求め、そして、各画像ペアのヘッセ行列の条件数を計算し、算出された各ヘッセ行列の条件数及び画像ペアを撮影したカメラ間のベースライン長に基づき、「３つ目の処理」において利用する２つの画像ペアを選択する。
図６に示す「３つ目の処理」は、「２つ目の処理」で選択された２つの画像ペアから、第１推定部にてそれぞれ独立に、数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定（第１推定）を行い、得られた２つの平面パラメータ推定値（２つの平面パラメータベクトル）のうち、最後の繰返し計算において得た画像間のＲＭＳＥが小さい方を、「４つ目の処理」にて行う第２推定の平面パラメータベクトルの初期値とするとともに、第２推定に利用する画像ペアを選択するための閾値
を求める処理である。
図７に示す「４つ目の処理」は、「３つ目の処理」で得られた閾値
に基づき、全画像ペアから選択された「多数の画像ペア」を用いて、第２推定（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）を行う処理である。

以下では、それぞれの処理手順について詳細に説明する。
＜４−１＞平面パラメータ推定装置起動後の処理手順
図４には本発明の平面パラメータ推定装置起動後の処理手順を示す。つまり、図４に示す「１つ目の処理」は、本発明の平面パラメータ推定装置が起動した直後に行われる処理である。
平面パラメータ推定では、座標
における列ベクトル
を、画像ペアごとに求める必要がある。１×３の列ベクトルである
は、数１３によって計算されるが、このうち、シーンによって変化するものは、画像勾配
だけである。よって、事前に
を求めておくことによって、平面パラメータ推定時の計算コストを低減することができる。行列
は、２×３のサイズを有するため、ここでは、基準画像中の全ての座標
における行列
の６個の値を画像ペアごとに求め、求めた全ての値を本発明の平面パラメータ推定装置のメモリに格納する。
基準画像における画素単位の座標
は、基準カメラの内部パラメータ行列
を用いて、全て正規化画像座標
（内部パラメータが正規化された画像座標）に変換され、そして、数１８により
が算出される。また、各画像ペアの行列
は、画像ペアインデックスｎに対応するカメラ間の外部パラメータ
を用いて、数１９により算出される。そして、算出された
を積算した値、即ち、
を本発明の平面パラメータ推定装置のメモリに格納する。

＜４−２＞前処理計算部及び画像ペア選択部の処理手順
図５には本発明の平面パラメータ推定装置の前処理計算部及び画像ペア選択部の処理手順を示す。つまり、本発明の平面パラメータ推定装置起動時に、図４に示す「１つ目の処理」が行われた後に、ユーザが注目領域（ＲＯＩ）を選択する。そして、注目領域（ＲＯＩ）が選択された後に、図５に示す「２つ目の処理」が開始される。
まず、前処理計算部で前処理として、ＲＯＩ中の座標
に対して計算された行列
と画像勾配
とに基づき、列ベクトル
を計算する。そして、ＲＯＩ中の全ての座標に対して計算された
の値に基づき、画像ペアｎにおけるヘッセ行列
を算出する。列ベクトル
もヘッセ行列
も、全画像ペアについて計算される。ここで、算出された全ての
は、本発明の平面パラメータ推定装置のメモリに格納される。ちなみに、前述した「繰返し計算に必要な諸量」とは
のことである。
ただし、画像勾配
は、画像座標
における画素単位の勾配値を、正規化画像座標
における勾配値に変換することで求められる。また、行列
は、「１つ目の処理」によって既に算出されている。
次に、画像ペア選択部で画像ペア選択処理（図５の下部の網がけされた部分）として、各画像ペアのヘッセ行列
の条件数
を計算し、小さなベースライン長を持つカメラグループ（例えば、図２に示す２５眼ステレオカメラで撮影した多眼ステレオ画像を用いた場合に、カメラインデックス７、８、９、１２、１４、１７、１８、１９から構成される参照カメラグループ）の中で、最小の条件数を持つ画像ペアを選択する。
小さなベースライン長を持つカメラグループの中で最小の条件数を持つ画像ペアが２つある場合は、その２つの画像ペアを「３つ目の処理」において利用する画像ペアとして選択する。また、小さなベースライン長を持つカメラグループの中で最小の条件数を持つ画像ペアが１つしかない場合は、その１つの画像ペアを「３つ目の処理」において利用する画像ペアとして選択した上で、更に、基準画像に関して対称配置となるもう１つの画像ペアを「３つ目の処理」において利用する画像ペアとして選択する。
なお、本発明の画像ペア選択部で画像ペアを選択する際に、必ずしも２つの画像ペアを選択する必要はなく、１つの画像ペアのみを選択するようにしても良く、また、ヘッセ行列の条件数がある程度小さい画像ペアを複数選択しても良い。ちなみに、図２に示す２５眼ステレオカメラを用いた場合は、条件数とベースライン長から選択される画像ペアは、常に２つとなる。
以下では、画像ペア選択部で２つの画像ペアを選択したものとし、選択したカメラインデックスをｉ、ｊとする。

＜４−３＞第１推定部の処理手順
図６には本発明の平面パラメータ推定装置の第１推定部の処理手順を示す。つまり、図６に示す「３つ目の処理」は、「２つ目の処理」で選択された２つの画像ペアを用い、それぞれ独立に第１推定を行い、得られた２つの平面パラメータ推定値から、「４つ目の処理」にて行う第２推定の平面パラメータベクトルの初期値とするものを選択するとともに、第２推定に利用する画像ペアを選択するための閾値
をも求める処理である。
「２つ目の処理」で２つの画像ペア（２つのカメラインデックス）が選択された後に、第１推定部では、「２つ目の処理」で選択されたカメラインデックスｉ、ｊ（参照画像ｉ、参照画像ｊ）それぞれと基準画像との２つの画像ペアを用いて、それぞれ独立に、数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定を行う。
図６に示すように、第１推定処理では、平面パラメータベクトルの初期値として与えられた
が、２つの平面パラメータベクトル
の初期値として用いられ、平面パラメータベクトル
は、繰返し計算によってそれぞれ別々に更新される。なお、平面パラメータベクトルの初期値として、無限遠に存在するの平面、即ち、
を用いても良く、また、基準カメラの光軸に垂直で十分遠方にある平面を用いても良く、更に、ユーザが与えた平面を用いても良い。
ここで、基準画像と参照画像ｉとの画像ペアによる第１推定の処理手順について説明する。
まず、現在の平面パラメータベクトル
を用いて、基準画像の注目領域内の座標
を変換した座標
を求める。ただし、座標
を計算するのに、
カメラの外部パラメータ
基準カメラの内部パラメータ行列
参照カメラ（カメラインデックスｉ）の内部パラメータ行列
を利用する。
次に、参照画像ｉの画素値
を計算することによって、参照画像ｉを変形する。そして、基準画像と変形後の参照画像ｉとの画素値の差分
を算出する。
さらに、算出された画素値の差分
と前処理計算部で求めた
とを積算し、注目領域（ＲＯＩ）の画素ごとの積算値を加算することにより、つまり、
に基づき、
を求める。一方で、現在の平面パラメータベクトル
を用いて、
に基づき、
を求めておく。
そして、上述のように求めた
及び前処理計算部で求めたヘッセ行列
を用いて、
に基づき、平面パラメータベクトルの更新値
を求め、
により平面パラメータベクトル
を更新する。
上述した一連の処理は、所定の推定処理終了条件を満たすまで繰り返される。換言すれば、所定の推定処理終了条件を満たしたら、第１推定処理を終了する。そして、第１推定処理を終了する直前に更新された平面パラメータベクトル
を、基準画像と参照画像ｉとの画像ペア（画像ペアｉ）による第１推定処理の平面パラメータ推定値とする。
ここで、所定の推定処理終了条件として、例えば、平面パラメータベクトルの更新値のノルム
が十分小さくなった場合に第１推定処理を終了するようにしても良く、又、繰返しが所定の回数に達した場合に第１推定処理を終了するようにしても良い。
基準画像と参照画像ｉとの画像ペア（画像ペアｉ）による第１推定処理は、以上の手順に沿って行われる。同様に、基準画像と参照画像ｊとの画像ペア（画像ペアｊ）による第１推定処理も、以上のような手順で行われる。
要するに、上述の第１推定処理は、画像ペアｉ、画像ペアｊについて、それぞれ行われ、どちらか一方が先に所定の推定処理終了条件を満たしたら、両方の繰返し計算（第１推定処理）を終了する。ただし、両方終了するまで繰返し計算を別々に行うこともできる。
そして、繰返し計算を終了する直前に、即ち、一番最後の繰返し計算により算出された
から、
に基づき、輝度差のＲＭＳＥ（Root Mean Squared Error）
をそれぞれ求める。
求めた
から、値の小さい方のＲＭＳＥを
とする。
に対応する平面パラメータ推定値を、「４つ目の処理」で行われる第２推定処理（多眼ステレオ画像による平面パラメータ推定）の平面パラメータベクトルの初期値とする。さらに、
を第２推定処理に利用される画像ペアを選択するための閾値
とする
ただし、ｓは事前に定めた定数であり、例えば、２〜３という程度の実数値を利用する。

＜４−４＞第２推定部の処理手順
図７には本発明の平面パラメータ推定装置の第２推定部の処理手順を示す。つまり、図７に示す「４つ目の処理」は、「３つ目の処理」で得られた閾値
に基づき、全画像ペアから選択された「多数の画像ペア」を用いて、第２推定（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）を行う処理である。
図７に示すように、第２推定部では、「３つ目の処理」で得られた平面パラメータ推定結果、即ち、
に対応する平面パラメータ推定値を平面パラメータベクトル
の初期値として、第２推定処理（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）を行う。
第２推定処理（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定処理）では、各参照画像に関して、例えば、図２に示す２５眼ステレオカメラで撮影した多眼ステレオ画像を用いた場合、ｎ＝１、２、…、２５の各画像（ただし、１３番基準画像は除く）に関して、各参照画像の変形から
の計算までの手順は、前述の第１推定処理の場合と、基本的に同じである。
ただし、第２推定処理では、図７の中央部の網がけされた部分で示すように、基準画像と変形後の参照画像ｎとの画素値の差分
を算出した後に、まず、
に基づき、輝度差のＲＭＳＥ
を計算する。そして、算出した
の条件を満たすｎ（参照画像ｎ）のみについて、
に基づき、
を求める。つまり、第２推定処理では、このようにして、閾値
に基づき、全ての参照画像から第２推定で使用する多数の参照画像（多数の画像ペア）を選択している訳である。
次に、
（ただし、ｎは
の条件を満たす。）に基づき、
を算出する。
そして、上述のように求めた
を用いて、
に基づき、平面パラメータベクトルの更新量
を求め、
によって平面パラメータベクトル
を更新する。上述した一連の処理は、所定の推定処理終了条件を満たすまで繰り返される。換言すれば、所定の推定処理終了条件を満たしたら、第２推定処理を終了する。
そして、第２推定処理を終了する直前に更新された平面パラメータベクトル
を、第２推定処理の平面パラメータ推定値とする。つまり、第２推定処理の平面パラメータ推定値は、本発明の平面パラメータ推定装置によって推定された平面パラメータ（平面パラメータベクトル）である。
ここで、所定の推定処理終了条件として、例えば、平面パラメータベクトルの更新値のノルム
が十分小さくなった場合に第２推定処理を終了するようにしても良く、又、繰返しが所定の回数に達した場合に第２推定処理を終了するようにしても良い。

以上のように、図４〜図７を通して、本発明の平面パラメータ推定装置の処理手順を、平面パラメータ推定装置起動後の処理手順、前処理計算部及び画像ペア選択部の処理手順、第１推定部の処理手順、及び第２推定部の処理手順に分けて説明した。
なお、本発明の平面パラメータ推定装置は、上述した処理手順に限定されることはなく、画像ペア選択部で行う画像ペア選択処理と、第１推定部で行う第１推定処理を行わずに、上述した平面パラメータ推定装置起動後の処理手順、上述した前処理計算部の処理手順、上述した第２推定部の処理手順を行うことによって平面パラメータを推定することもできる。ただし、その場合は、第２推定部の処理手順について、図７の中央部の網がけされた部分で示す処理は行わない。つまり、第２推定部において、画像ペアを選択せずに、全画像ペアを用いて第２推定処理を行う。また、第２推定処理の平面パラメータベクトル
の初期値として、無限遠に存在する平面、即ち、
を用いても良く、また、基準カメラの光軸に垂直で十分遠方にある平面を用いても良く、更に、ユーザが与えた平面を用いても良い。
また、上述した本発明に係る平面パラメータ推定装置及び平面パラメータ推定方法（平面パラメータ推定アルゴリズム）は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。

＜５＞本発明を適用した具体的な実施例
以下では、本発明を適用した具体的な実施例（合成画像による実施例１、及び実画像による実施例２）について説明する。

＜５−１＞合成画像による実施例１
実施例１では、図２に示す２５台のカメラアレイ（２５眼ステレオカメラ）を用いて、コンピュータグラフィックス（ＣＧ：Computer Graphic）によって生成された図８に示す２５枚の合成画像（画像サイズは、全て６４０×４８０ピクセルである。）を利用した。なお、生成した２５枚の合成画像は全てカラー画像であるが、本実施例では、これら２５枚の合成画像を全てモノクロ画像に変換してから、変換後のモノクロ画像を用いて平面パラメータ推定処理を行った。また、合成画像のシーンは、床面、２枚の壁面、及び１つの柱によって構成され、それぞれの面にテクスチャを貼り付けたものである。
実施例１で使用する２５眼ステレオカメラは、全てのカメラの光軸は平行とし、各カメラは水平方向及び垂直方向に等間隔に並んでおり、水平方向及び垂直方向に隣接するカメラ間のベースライン長は、全て０.２[ｍ]とし、全てのカメラは、同じカメラ内部パラメータ行列
を持ち、画角は約４０°とした。基準カメラの光学中心から最遠方点（２枚の壁面と床面の交差点）までの距離は２５.５[ｍ]であった。
各画像ペアは、基準画像１３(reference image)とペアになる参照画像を撮影した参照カメラのインデックスｎ（参照画像ｎ）によって表され、ｎは基準画像(１３番)を除外した１〜２５の値を持つものとする。
本実施例では、作成した全ての合成画像に、標準偏差３[gray level]のガウスノイズを加えるとともに、平面パラメータ推定処理では、σ＝３[pixel]のガウシアンフィルタを用いて画像を平滑化した。また、第１推定処理でも、第２推定処理でも、繰返しごと算出された平面パラメータベクトルの更新値のノルムが１０−４以下になった場合を、繰返しの終了条件（所定の推定処理終了条件）とした。そして、第１推定処理の平面パラメータベクトル
の初期値は、無限遠の平面、即ち
とした。更に、第２推定処理に利用される画像ペアを選択するための閾値
について、ｓ＝３により定めた。
図９には、図８の２５眼ステレオ画像から選択した基準画像１３（合成画像）及び当該基準画像上に定めた注目領域（ＲＯＩ）を示している。図９で四角の枠で示された注目領域（ＲＯＩ）のサイズは、１００×１００ピクセルである。この注目領域（ＲＯＩ）は、シーンの右壁面の一部を示しており、この注目領域（ＲＯＩ）を利用して、右壁面の３次元平面パラメータ（平面パラメータベクトル）を推定した。
まず、ここで、図８の２５眼ステレオ画像（合成画像）を用いて、１つの画像ペアによる平面パラメータ推定処理を２４組別々に行った場合と、全画像ペアを用いて平面パラメータ推定処理を行った場合との違いを検証した。
図１０は、図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアによる平面パラメータ推定及び全画像ペアによる平面パラメータ推定の画像間のＲＭＳＥと繰返し回数との関係を示すグラフである。つまり、図１０には、基準画像と参照画像との役割を入れ替えて定式化したコスト関数（即ち、数５及び数７で表すコスト関数）を利用し、Gauss-Newton法を適用した繰返し計算結果の様子を示している。
以下、説明の便宜上、図１０における各画像ペア及び数５のコスト関数を利用した２眼ステレオ画像による平面パラメータ推定を、単に「従来の高速化した２眼ステレオ画像による平面パラメータ推定」とも言う。また、図１０における全画像ペア及び数７のコスト関数を利用した多眼ステレオ画像による平面パラメータ推定を、単に、「従来の高速化した多眼ステレオ画像による平面パラメータ推定」とも言う。
図１０では、繰返し回数を横軸に示し、また、コスト関数値を画素サイズで割った値の根（ルート）を縦軸に示しており、即ち、縦軸は、画素値の差分に関するＲＭＳＥ（Root Mean Squared Differences）であり、その単位は画素値のグレイレベルである。また、図１０では、全画像ペア（２４つの画像ペア）を用いて平面パラメータ推定処理を行った場合を太い実線で示しており、１つの画像ペアのみを利用して平面パラメータ推定処理を行った場合を細線で示しており、それぞれに画像ペアインデックスを付与している。図１０では、繰返し終了条件（推定処理終了条件）として、繰返しごとに算出される平面パラメータベクトルの更新量
が０.０００１よりも小さくなった場合に、コスト関数の最適化処理が収束したものとして繰返し計算（平面パラメータ推定処理）を終了した。
図１０を見ると、各画像ペアによる平面パラメータ推定処理の場合も、全画像ペアによる平面パラメータ推定処理の場合も、１２０回までの繰返しまでに、繰返し終了条件に達しており、それぞれのＲＭＳＥのグラフの終端付近に、対応する画像ペアインデックスｎを付与している。
図１０を見ると、各画像ペアをそれぞれ独立に用いて平面パラメータ推定処理（従来の高速化した２眼ステレオ画像による平面パラメータ推定）を行った場合、全画像ペアのうち、約半分の画像ペアは終了時のＲＭＳＥ値が小さいことから（ＲＭＳＥの値が２０グレイレベル以下で、即ち、コスト関数の値が十分小さくなっていることから）、平面パラメータ推定処理に成功しており、それ以外の画像ペアは局所解に陥り、平面パラメータ推定処理に失敗していることが分かる。これに対し、全画像ペアを用いた平面パラメータ推定処理（従来の高速化した多眼ステレオ画像による平面パラメータ推定）は成功しており、多くの画像を利用することにより、解を安定に得られることが示されている。
一方で、図１０において、２眼ステレオ画像による平面パラメータ推定処理では、特にコスト関数の最適化処理の収束が速い画像ペアは、画像ペアインデックス８番と１８番の画像ペアであり、約１０回の繰返しで平面パラメータ推定処理に成功している。また、図１０において、全画像ペアを用いた平面パラメータ推定処理を行った場合に、平面パラメータ推定処理に成功しているものの、約１２０回の繰返しを必要としている。これは、従来の高速化した多眼ステレオ画像による平面パラメータ推定処理では、多眼ステレオ画像の全画像ペアを利用しているため、即ち、平面パラメータ推定処理に失敗する可能性のある約半分の画像ペアも利用しているため、コスト関数の最適化処理の収束が遅くなる現象を生じた訳である。
ここで、本発明では、前処理計算部及び画像ペア選択部にて行われる前処理及び画像ペア選択処理を行うことによって、第１推定部に利用する画像ペアを選択するようにしている。まず、本発明では、図８の２５眼ステレオ画像（合成画像）について、各画像ペアにおけるヘッセ行列の条件数を算出することができる。図１１は、図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアにおけるヘッセ行列の条件数を示す図であり、横軸に各画像ペアのインデックス番号を示している。図１１から、画像ペアインデックス３番、８番、１８番、２３番の各画像ペアにおけるヘッセ行列の条件数が一番小さいことが分かる。
また、図１１では、小さなベースライン長を持つ画像ペアグループ（画像ペアインデックス７番、８番、９番、１２番、１４番、１７番、１８番、１９番、合計８つの画像ペア）を黒い実線で表示しており、本発明の画像ペア選択部では、最小の条件数を持ち、かつベースライン長の小さい画像ペア（画像ペアインデックス８番、１８番の２つの画像ペア）を、第１推定部に利用する画像ペアとして、選択する。このように選択された画像ペアを第１推定に利用することにより、効率よく平面パラメータを推定することができる。
図１２は、図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアのヘッセ行列から導出されたコスト関数のガウス曲率（ヘッセ行列の行列式の値）を、カメラベースライン長によって正規化したものを示しており、横軸に各画像ペアのインデックス番号を示している。図１２から、画像ペアインデックス３番、８番、１８番、２３番の各画像ペアにおけるヘッセ行列から導出されたコスト関数のガウス曲率が一番大きいことが分かる。
図１１と同じように、図１２では、小さなベースライン長を持つ画像ペアグループ（画像ペアインデックス７番、８番、９番、１２番、１４番、１７番、１８番、１９番、合計８つの画像ペア）を黒い実線で表示している。
図１２により、図１０においてコスト関数の最適化処理の収束の速かった画像ペアインデックス８番と１８番の画像ペアは、最大のガウス曲率を持ち、かつベースライン長の小さい画像ペアであることがわかる。
そこで、本発明では、画像ペア選択部で画像ペア選択処理を行う際に、ヘッセ行列から算出された条件数の代わりに、ヘッセ行列から導出されたコスト関数のガウス曲率を用いて、第１推定部で利用する画像ペアを選択することも可能である。つまり、本発明では、最大のガウス曲率を持ち、かつベースライン長の小さい画像ペアを、第１推定部で利用する画像ペアとして選択することもできる。
図１３は、図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアのヘッセ行列から導出されたコスト関数の平均曲率（３個の固有値の値の平均）を、カメラベースライン長によって正規化したものを示しており、横軸に各画像ペアのインデックス番号を示している。図１３から、画像ペアインデックス３番、８番、１８番、２３番の各画像ペアにおけるヘッセ行列から導出されたコスト関数の平均曲率が一番大きいことが分かる。
図１１と同じように、図１３では、小さなベースライン長を持つ画像ペアグループ（画像ペアインデックス７番、８番、９番、１２番、１４番、１７番、１８番、１９番、合計８つの画像ペア）を黒い実線で表示している。
図１３により、図１０においてコスト関数の最適化処理の収束の速かった画像ペアインデックス８番と１８番の画像ペアは、最大の平均曲率を持ち、かつベースライン長の小さい画像ペアであることがわかる。
そこで、本発明では、画像ペア選択部で画像ペア選択処理を行う際に、ヘッセ行列から算出された条件数の代わりに、ヘッセ行列から導出されたコスト関数の平均曲率を用いて、第１推定部で利用する画像ペアを選択することも可能である。つまり、本発明では、最大の平均曲率を持ち、かつベースライン長の小さい画像ペアを、第１推定部で利用する画像ペアとして選択することもできる。
次に、図８の２５眼ステレオ画像（合成画像）を用いて本発明を適用した平面パラメータ推定を行った結果を示す。ここでは、画像ペア選択部では、画像ペアごとのヘッセ行列の条件数と、画像ペアのカメラベースライン長とに基づき、第１推定部で利用する画像ペアを選択する。つまり、まず、画像ペア選択部では、ベースライン長の小さい画像ペア、即ち、７番、８番、９番、１２番、１４番、１７番、１８番、１９番の画像ペアを先に選択し、その中から最小の条件数を持つ画像ペア、即ち、８番と１８番の画像ペアを選択する。そして、第１推定部では、選択された２つの画像ペア（８番と１８番の画像ペア）に対して別々に、２眼ステレオ画像による平面パラメータ推定（第１推定）を行った。次に、２つの画像ペア（８番と１８番の画像ペア）それぞれの第１推定結果から、コスト関数の値の小さい方の第１推定結果を選択し、選択したその第１推定結果を、第２推定の平面パラメータの初期値として、全画像ペア（２４つの画像ペア）による平面パラメータ推定処理を行った。だだし、ここでも、第１推定処理及び第２推定処理において、繰返しごとに算出される平面パラメータの微小変化量が０.０００１よりも小さくなった場合に、最適化処理が収束したものとして繰返し計算を終了した。
図１４は、図８の２５眼ステレオ画像（合成画像）を用いて本発明を適用した場合の繰返し計算ごとの推定精度
の変化を対数スケールで示したものである。図１４では、画像ペアインデックス８番と１８番の画像ペアが選択され、この２つの画像ペアを独立に用いた平面パラメータ推定処理（第１推定処理）が行われ、どちらも９回の繰返し計算で所定の推定処理終了条件に達している。第１推定処理の初期段階では、
の傾きが大きく変化するため、
の値は一時的に大きくなることがあるが、９回の繰返し計算により誤差の小さい平面パラメータ推定値が得られた。
図１４から分かるように、第１推定処理の終了時に、画像ペアインデックス８番の画像ペアのＲＭＳＥの方が小さかった（画像ペアインデックス８番の画像ペアのコスト関数の値が小さかった）ため、画像ペアインデックス８番の画像ペアによって推定された平面パラメータを、第２推定処理（多眼ステレオ画像による推定処理）の平面パラメータの初期値として利用し、全画像ペア（２４つの画像ペア）による第２推定処理は２回の繰返し計算（トータルでは１０回目と１１回目の繰返し計算）で終了している。
即ち、図１０に示すような従来の高速化した多眼ステレオ画像による平面パラメータ推定処理では、平面パラメータを推定するために、１２０回の繰返し計算を必要としたのに対し、本発明を適用した平面パラメータ推定処理では、第１推定処理と第２推定処理を含めてトータル１１回の繰返し計算のみで、平面パラメータ推定を行うことが出来た。図１０及び図１４を比較することにより、本発明を適用した平面パラメータ推定処理が、安定かつ効率的な平面パラメータ推定を実現できたことが分かる。
図１４から分かるように、全画像ペアによる第２推定処理では、２眼ステレオ画像による平面パラメータ推定処理（第１推定処理）よりも推定誤差が一桁小さくなり、推定された平面パラメータの精度は、多眼ステレオ画像を用いることによって改善された。
ここで、１つの画像ペアのみを用いた２眼ステレオ画像による平面パラメータ処理を行った場合と、本発明の全画像ペアによる第２推定処理を行った場合との平面パラメータ推定精度の比較を、表１に示す。
つまり、表１は、１つの画像ペアのみを用いた「従来の高速化した２眼ステレオ画像による平面パラメータ推定処理」を行った場合と、本発明を適用して全画像ペア（２４つの画像ペア）による第２推定処理を行った場合における、推定された平面パラメータのエラーを示したものである。表１では、差分ノルム
平面パラメータの真値と平面パラメータ推定値におけるＲＯＩ中心の距離（奥行き）の差(|depth err|)、及び、平面パラメータの角度差(|angle err|)を示したものである。平面パラメータの真値は
で、ＲＯＩ中心の距離（奥行き）は２１.１６９４６[ｍｍ]である。
また、表１では、１つの画像ペアのみを用いた「従来の高速化した２眼ステレオ画像による平面パラメータ推定処理」において表示した画像ペアインデックス（Image Index）は、画像間のＲＭＳＥが１５[gray level]以下になり、平面パラメータ推定に成功したと判断できるもののみを表示している。そして、表１の「Image Index」の欄の「All」は、本発明を適用して全画像ペア（２４つの画像ペア）による第２推定処理を行う場合を意味する。
表１を見ると、差分ノルム及び平面パラメータの角度差においては、本発明による第２推定処理（All）で得られた平面パラメータ推定値が最も精度がよいことが分かる。また、真値と推定値におけるＲＯＩ中心の距離の差は、ベースライン長の比較的長い画像ペアインデックス１６番の画像ペアが最も良いが、平面パラメータの角度差は、本発明による第２推定処理（All）で得られた平面パラメータ推定値がはるかに良好であるため、本発明による多眼推定結果（本発明による第２推定処理結果）が最も精度が良いと言える。
表２は、従来の高速化した多眼ステレオ画像による平面パラメータ推定処理に必要な計算時間と、本発明を適用した平面パラメータ推定処理（本発明による画像ペア選択を伴う多眼ステレオ画像による平面パラメータ推定処理）に必要な計算時間をそれぞれ示したものである。また、表２に示す推定処理は、Pentium-IV（登録商標）2.8GHz及びLinux（登録商標）を搭載したパーソナルコンピュータによって実行される。
表２において、「pre-computation」は、繰返し計算を行う前に、ヘッセ行列等の諸量
を計算するために要した時間を示しており、つまり、前処理計算時間を示している。また、「per iteration」は、１回の繰返し計算に要する計算時間を示しており、本発明を用いた場合では、第１推定処理では、２眼ステレオ画像による平面パラメータ推定処理を２つの画像ペア利用して別々に行ったため、第１推定処理に要する時間と、第２推定処理に要する時間との両方を併記している。そして、「total (for Fig.9)」は、図９に示す注目領域（ＲＯＩのサイズ：１００×１００ピクセル）に対して平面パラメータ推定処理を行った場合に要するトータルの計算時間を示している。
表２から分かるように、従来の高速化した多眼ステレオ画像による平面パラメータ推定処理を行った場合では、繰返し計算の回数が１１７回であることから、トータルの計算時間は１４４２６.７［ミリ秒］であるのに対して、本発明を適用した平面パラメータ推定処理を行った場合では、２眼ステレオ画像による第１推定処理の繰返し計算の回数が９回で、多眼ステレオ画像による第２推定処理の繰返し計算の回数が２回である（合計で１１回である）ことから、トータルの計算時間は５６３.８２［ミリ秒］である。
本発明による平面パラメータ推定処理は、従来の高速化した多眼ステレオ画像による平面パラメータ推定処理よりも、約２５倍短い時間で推定できており、又は、非常に少ない繰返し回数で平面パラメータ推定処理を終了しており、本発明の効率の良さ（少ない計算コストで平面パラメータを安定に推定できたこと）が実証された。
なお、多眼ステレオ画像による平面パラメータ推定を行うことは、全ての参照画像を基準画像に重ね合わせるための平面射影変換パラメータを推定することと等価である。本発明の応用例として、本発明によって推定された平面パラメータを利用して、多眼ステレオ画像の全画像を統合することにより、仮想焦点面画像（非特許文献１１を参照）や超解像度画像（非特許文献１２及び非特許文献１３を参照）を生成することができる
図１５は、図８の２５眼ステレオ画像（合成画像）を用いて本発明によって推定された平面パラメータを利用して生成された仮想焦点面画像を示す図である。仮想焦点面画像とは、被写界深度の大きな複数の画像から生成された被写界深度の小さい画像である。
図１５の仮想焦点面画像は、本発明によって推定された平面パラメータを利用して、全ての参照画像（合計２４枚の参照画像）を基準画像に重なるように変形し、変形後の２４枚の参照画像と基準画像とを含む合計２５枚の画像を平均化することによって、生成された。本発明によって推定された平面パラメータの精度が非常に高いため、図１５を見れば分かるように、右側の壁面全体に対してのみ焦点のあった画像が生成されている。

＜５−２＞実画像による実施例２
実施例２では、図１６に示す２５眼カメラを利用して、図１７に示す２５眼ステレオ画像（実画像）を利用した。２５枚の実画像の画像サイズは、全て６４０×４８０ピクセルである。また、Matlabのカメラキャリブレーションツール（非特許文献１０を参照）を利用して、図１６に示す２５眼カメラの全カメラのキャリブレーションを行ったところ、隣接するカメラの平均のベースライン長は１２.３[ｍｍ]であることが分かった。
図１７の２５眼ステレオ画像（実画像）を用いて本発明によって推定された平面パラメータを利用して生成された仮想焦点面画像を図１８に示す。図１８（Ａ）、（Ｂ）、（Ｃ）の四角の枠で囲まれた１００×１００ピクセルのＲＯＩを定め、それらの注目領域（ＲＯＩ）に関して、本発明を利用して平面パラメータを推定した。
本発明による平面パラメータ推定処理では、第１推定処理の繰返し計算の回数がそれぞれのＲＯＩについて６回、８回、８回で、第２推定処理の繰返し計算の回数が３回、３回、４回であり、それぞれのＲＯＩに関するトータルの計算時間は、６５６.２ミリ秒、６７５.５ミリ秒、７９６.８ミリ秒であり、全ての平面パラメータ推定処理は、１秒以内に計算を終えていることが分かった。このように、実画像の多眼ステレオ画像に本発明を適用することによって、少ない計算コストで平面パラメータを精度良く推定できたことは、実証された。
また、図１８（Ｂ）、（Ｃ）において、その２つの注目領域（ＲＯＩ）の対象が平面とは言えない。それにもかかわらず、本発明により推定された平面パラメータを利用することにより、良好な仮想焦点面画像が生成されており、本発明の有効性が実証された。
本発明に係る平面パラメータ推定装置の一実施形態を示すブロック構成図である。 多眼ステレオカメラ配置及び画像ペアインデックスを説明するための模式図である。 本発明に係る平面パラメータ推定装置の処理手順を示す図である。 本発明に係る平面パラメータ推定装置起動後の処理手順を示す図である。 本発明に係る平面パラメータ推定装置の前処理計算部及び画像ペア選択部の処理手順を示す図である。 本発明に係る平面パラメータ推定装置の第１推定部の処理手順を示す図である。 本発明に係る平面パラメータ推定装置の第２推定部の処理手順を示す図である。 コンピュータグラフィックスによって生成された２５眼ステレオ画像（合成画像）を示す図である。 図８の２５眼ステレオ画像から選択した基準画像（合成画像）を示す図である。 図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアによる平面パラメータ推定及び全画像ペアによる平面パラメータ推定のＲＭＳＥと繰返し回数との関係を示すグラフである。 図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアにおけるヘッセ行列の条件数を示す図である。 図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアにおけるヘッセ行列から導出されたガウス曲率を示す図である。 図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアにおけるヘッセ行列から導出された平均曲率を示す図である。 図８の２５眼ステレオ画像（合成画像）を用いて本発明を適用した場合に、本発明における繰返し回数による平面パラメータ推定精度の変化を示す図である。 図８の２５眼ステレオ画像（合成画像）を用いて本発明によって推定された平面パラメータを利用して生成された仮想焦点面画像を示す図である。 本発明の実施例２に利用された実画像を撮影したViewplus社製の２５眼カメラを示す図である。 図１６の２５眼カメラで撮影した２５眼ステレオ画像（実画像）を示す図である。 図１７の２５眼ステレオ画像（実画像）を用いて本発明によって推定された平面パラメータを利用して生成された仮想焦点面画像を示す図である。
符号の説明
１ 平面パラメータ推定装置
１０ 前処理計算部
２０ 画像ペア選択部
３０ 第１推定部
４０ 第２推定部

Claims (45)

  1. 既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置であって、
    １つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算部と、
    前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択部と、
    前記画像ペア選択部で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定部と、
    を備え、
    前記第１推定部で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定装置。
  2. 前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項１に記載の平面パラメータ推定装置。
  3. 前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項２に記載の平面パラメータ推定装置。
  4. 前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項２に記載の平面パラメータ推定装置。
  5. 前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項４に記載の平面パラメータ推定装置。
  6. 前記第１のコスト関数は、
    によって表され、
    ただし、
    と表される座標変換式と等価な座標変換関数であり、
    の関係は、
    によって定められ、
    が成立し、
    そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
    とｎ番目の参照画像上における対応点
    との関係は同次座標表現
    を用いて、
    で表され、
    は３×３の平面射影変換行列を表し、
    は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
    は平行移動ベクトルを表し、
    は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
    は前記複数のパラメータである請求項２乃至請求項５のいずれかに記載の平面パラメータ推定装置。
  7. 既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置であって、
    １つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算部と、
    前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択部と、
    前記画像ペア選択部で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定部と、
    前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定部と、
    を備え、
    前記第１推定部で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、
    前記第２推定部で行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定装置。
  8. 前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項７に記載の平面パラメータ推定装置。
  9. 前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項８に記載の平面パラメータ推定装置。
  10. 前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項８に記載の平面パラメータ推定装置。
  11. 前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項１０に記載の平面パラメータ推定装置。
  12. 前記全画像ペアを、前記第２推定部で利用される前記多数の画像ペアとして利用する請求項８乃至請求項１１のいずれかに記載の平面パラメータ推定装置。
  13. 所定の複数画像ペア選択基準により、前記全画像ペアから選択した、前記画像ペア選択部で選択された前記１つの画像ペア又は前記２つの画像ペアも含めた複数の画像ペアを、前記第２推定部で利用される前記多数の画像ペアとして利用する請求項８乃至請求項１１のいずれかに記載の平面パラメータ推定装置。
  14. 前記所定の複数画像ペア選択基準とは、前記第２推定の初期値として利用された前記第１推定の平面パラメータ推定値を用いて、前記全画像ペアに対し、前記ＳＳＤを計算し、計算した結果が小さい画像ペアのみを前記第２推定部で利用される前記多数の画像ペアとして選択するものである請求項１３に記載の平面パラメータ推定装置。
  15. 前記第１のコスト関数は、
    によって表され、
    前記第２のコスト関数は、
    によって表され、
    ただし、
    と表される座標変換式と等価な座標変換関数であり、
    の関係は、

    によって定められ、
    が成立し、
    そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
    とｎ番目の参照画像上における対応点
    との関係は同次座標表現
    を用いて、
    で表され、
    は３×３の平面射影変換行列を表し、
    は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
    は平行移動ベクトルを表し、
    は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
    は前記複数のパラメータである請求項８乃至請求項１４のいずれかに記載の平面パラメータ推定装置。
  16. 既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置における平面パラメータ推定方法であって、
    １つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算ステップと、
    前記前処理計算ステップで算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択ステップと、
    前記画像ペア選択ステップで選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定ステップと、
    を有し、
    前記平面パラメータ推定装置は、前記第１推定ステップで行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定方法。
  17. 前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項１６に記載の平面パラメータ推定方法。
  18. 前記画像ペア選択ステップにおいて、前記平面パラメータ推定装置は、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項１７に記載の平面パラメータ推定方法。
  19. 前記画像ペア選択ステップにおいて、前記平面パラメータ推定装置は、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項１７に記載の平面パラメータ推定方法。
  20. 前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項１９に記載の平面パラメータ推定方法。
  21. 前記第１のコスト関数は、
    によって表され、
    ただし、
    と表される座標変換式と等価な座標変換関数であり、
    の関係は、
    によって定められ、
    が成立し、
    そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
    とｎ番目の参照画像上における対応点
    との関係は同次座標表現
    を用いて、
    で表され、
    は３×３の平面射影変換行列を表し、
    は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
    は平行移動ベクトルを表し、
    は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
    は前記複数のパラメータである請求項１７乃至請求項２０のいずれかに記載の平面パラメータ推定方法。
  22. 既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置における平面パラメータ推定方法であって、
    １つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算ステップと、
    前記前処理計算ステップで算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択ステップと、
    前記画像ペア選択ステップで選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定ステップと、
    前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定ステップと、
    を有し、
    前記平面パラメータ推定装置は、前記第１推定ステップで行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、
    前記平面パラメータ推定装置は、前記第２推定ステップで行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定方法。
  23. 前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項２２に記載の平面パラメータ推定方法。
  24. 前記画像ペア選択ステップにおいて、前記平面パラメータ推定装置は、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項２３に記載の平面パラメータ推定方法。
  25. 前記画像ペア選択ステップにおいて、前記平面パラメータ推定装置は、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項２３に記載の平面パラメータ推定方法。
  26. 前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項２５に記載の平面パラメータ推定方法。
  27. 前記平面パラメータ推定装置は、前記全画像ペアを、前記第２推定ステップで利用される前記多数の画像ペアとして利用する請求項２３乃至請求項２６のいずれかに記載の平面パラメータ推定方法。
  28. 前記平面パラメータ推定装置は、所定の複数画像ペア選択基準により、前記全画像ペアから選択した、前記画像ペア選択ステップで選択された前記１つの画像ペア又は前記２つの画像ペアも含めた複数の画像ペアを、前記第２推定ステップで利用される前記多数の画像ペアとして利用する請求項２３乃至請求項２６のいずれかに記載の平面パラメータ推定方法。
  29. 前記所定の複数画像ペア選択基準とは、前記第２推定の初期値として利用された前記第１推定の平面パラメータ推定値を用いて、前記全画像ペアに対し、前記ＳＳＤを計算し、計算した結果が小さい画像ペアのみを前記第２推定ステップで利用される前記多数の画像ペアとして選択するものである請求項２８に記載の平面パラメータ推定方法。
  30. 前記第１のコスト関数は、
    によって表され、
    前記第２のコスト関数は、
    によって表され、
    ただし、
    と表される座標変換式と等価な座標変換関数であり、
    の関係は、
    によって定められ、
    が成立し、
    そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
    とｎ番目の参照画像上における対応点
    との関係は同次座標表現
    を用いて、
    で表され、
    は３×３の平面射影変換行列を表し、
    は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
    は平行移動ベクトルを表し、
    は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
    は前記複数のパラメータである請求項２３乃至請求項２９のいずれかに記載の平面パラメータ推定方法。
  31. 既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定するためにコンピュータを、
    １つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算手段、
    前記前処理計算手段で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択手段、
    前記画像ペア選択手段で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定手段、
    として機能させるための平面パラメータ推定プログラムであって、
    前記第１推定手段で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定プログラム。
  32. 前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項３１に記載の平面パラメータ推定プログラム。
  33. 前記画像ペア選択手段では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項３２に記載の平面パラメータ推定プログラム。
  34. 前記画像ペア選択手段では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項３２に記載の平面パラメータ推定プログラム。
  35. 前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項３４に記載の平面パラメータ推定プログラム。
  36. 前記第１のコスト関数は、
    によって表され、
    ただし、
    と表される座標変換式と等価な座標変換関数であり、
    の関係は、
    によって定められ、
    が成立し、
    そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
    とｎ番目の参照画像上における対応点
    との関係は同次座標表現
    を用いて、
    で表され、
    は３×３の平面射影変換行列を表し、
    は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
    は平行移動ベクトルを表し、
    は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
    は前記複数のパラメータである請求項３２乃至請求項３５のいずれかに記載の平面パラメータ推定プログラム。
  37. 既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定するためにコンピュータを、
    １つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算手段、
    前記前処理計算手段で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択手段、
    前記画像ペア選択手段で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定手段、
    前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定手段
    として機能させるための平面パラメータ推定プログラムであって、
    前記第１推定手段で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、
    前記第２推定手段で行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定プログラム。
  38. 前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項３７に記載の平面パラメータ推定プログラム。
  39. 前記画像ペア選択手段では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項３８に記載の平面パラメータ推定プログラム。
  40. 前記画像ペア選択手段では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項３８に記載の平面パラメータ推定プログラム。
  41. 前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項４０に記載の平面パラメータ推定プログラム。
  42. 前記全画像ペアを、前記第２推定手段で利用される前記多数の画像ペアとして利用する請求項３８乃至請求項４１のいずれかに記載の平面パラメータ推定プログラム。
  43. 所定の複数画像ペア選択基準により、前記全画像ペアから選択した、前記画像ペア選択手段で選択された前記１つの画像ペア又は前記２つの画像ペアも含めた複数の画像ペアを、前記第２推定手段で利用される前記多数の画像ペアとして利用する請求項３８乃至請求項４１のいずれかに記載の平面パラメータ推定プログラム。
  44. 前記所定の複数画像ペア選択基準とは、前記第２推定の初期値として利用された前記第１推定の平面パラメータ推定値を用いて、前記全画像ペアに対し、前記ＳＳＤを計算し、計算した結果が小さい画像ペアのみを前記第２推定手段で利用される前記多数の画像ペアとして選択するものである請求項４３に記載の平面パラメータ推定プログラム。
  45. 前記第１のコスト関数は、
    によって表され、
    前記第２のコスト関数は、
    によって表され、
    ただし、
    と表される座標変換式と等価な座標変換関数であり、
    の関係は、
    によって定められ、
    が成立し、
    そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
    とｎ番目の参照画像上における対応点
    との関係は同次座標表現
    を用いて、
    で表され、
    は３×３の平面射影変換行列を表し、
    は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
    は平行移動ベクトルを表し、
    は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
    は前記複数のパラメータである請求項３８乃至請求項４４のいずれかに記載の平面パラメータ推定プログラム。
JP2008025677A 2008-02-05 2008-02-05 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム Pending JP2009186287A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008025677A JP2009186287A (ja) 2008-02-05 2008-02-05 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
PCT/JP2009/051922 WO2009099117A1 (ja) 2008-02-05 2009-01-29 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008025677A JP2009186287A (ja) 2008-02-05 2008-02-05 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム

Publications (1)

Publication Number Publication Date
JP2009186287A true JP2009186287A (ja) 2009-08-20

Family

ID=40952190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008025677A Pending JP2009186287A (ja) 2008-02-05 2008-02-05 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム

Country Status (2)

Country Link
JP (1) JP2009186287A (ja)
WO (1) WO2009099117A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222743A (ja) * 2011-04-13 2012-11-12 Canon Inc 撮像装置
JP2013120083A (ja) * 2011-12-06 2013-06-17 Honda Motor Co Ltd 環境認識装置
WO2014141522A1 (ja) * 2013-03-12 2014-09-18 富士フイルム株式会社 画像判定装置、撮像装置、３次元計測装置、画像判定方法、及びプログラム
CN105783785A (zh) * 2016-04-11 2016-07-20 重庆理工大学 一种小波脊相位提取方法
JPWO2021106027A1 (ja) * 2019-11-25 2021-06-03
CN112966558A (zh) * 2021-02-03 2021-06-15 华设设计集团股份有限公司 基于优化ssd目标检测模型的港口自动识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053754A (ja) * 2004-08-11 2006-02-23 Honda Motor Co Ltd 平面検出装置及び検出方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222743A (ja) * 2011-04-13 2012-11-12 Canon Inc 撮像装置
JP2013120083A (ja) * 2011-12-06 2013-06-17 Honda Motor Co Ltd 環境認識装置
US8896689B2 (en) 2011-12-06 2014-11-25 Honda Motor Co., Ltd. Environment recognition apparatus
WO2014141522A1 (ja) * 2013-03-12 2014-09-18 富士フイルム株式会社 画像判定装置、撮像装置、３次元計測装置、画像判定方法、及びプログラム
JP5819564B2 (ja) * 2013-03-12 2015-11-24 富士フイルム株式会社 画像判定装置、撮像装置、３次元計測装置、画像判定方法、及びプログラム
US9721346B2 (en) 2013-03-12 2017-08-01 Fujifilm Corporation Image assessment device, method, and computer readable medium for 3-dimensional measuring and capturing of image pair range
CN105783785A (zh) * 2016-04-11 2016-07-20 重庆理工大学 一种小波脊相位提取方法
JPWO2021106027A1 (ja) * 2019-11-25 2021-06-03
WO2021106027A1 (ja) * 2019-11-25 2021-06-03 日本電信電話株式会社 カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム
JP7208571B2 (ja) 2019-11-25 2023-01-19 日本電信電話株式会社 カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム
CN112966558A (zh) * 2021-02-03 2021-06-15 华设设计集团股份有限公司 基于优化ssd目标检测模型的港口自动识别方法及系统

Also Published As

Publication number Publication date
WO2009099117A1 (ja) 2009-08-13

Similar Documents

Publication Publication Date Title
JP7173772B2 (ja) 深度値推定を用いた映像処理方法及び装置
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US9841271B2 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
US8406509B2 (en) Three-dimensional surface generation method
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
CN112102458A (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
WO2019160032A1 (ja) ３次元計測システム及び３次元計測方法
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN112381847B (zh) 管路端头空间位姿测量方法及系统
WO2021195939A1 (zh) 一种双目拍摄装置的外参的标定方法、可移动平台及系统
JP2013178656A (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
CN113256718B (zh) 定位方法和装置、设备及存储介质
JP7116262B2 (ja) 画像深度推定方法および装置、電子機器、ならびに記憶媒体
JP2016024052A (ja) ３次元計測システム、３次元計測方法及びプログラム
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
CN114332125A (zh) 点云重建方法、装置、电子设备和存储介质
JP5178538B2 (ja) 深度マップを画像から決定する方法、深度マップを決定する装置
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2009530701A5 (ja)
EP3832600A1 (en) Image processing device and three-dimensional measuring system
Yan et al. Rethinking disparity: a depth range free multi-view stereo based on disparity
JP2007323616A (ja) 画像処理装置及びその処理方法