JP2016015037A - 情報処理装置及びその制御方法、並びに、ビデオカメラ - Google Patents

Abstract

【課題】 例えば２つの画像における画像１から画像２へのホモグラフィ行列の推定を高速に行えるようにする。
【解決手段】 ｎ（ｎ＝２，３）次元の第１の空間の特徴点から第２の空間の特徴点への射影変換行列の推定を行う情報処理方法であって、前記第１の空間、第２の空間の特徴点座標とは異なる基準座標を設け、当該基準座標の原点と各座標軸の単位座標の点で構成されるｎ＋１点から、前記第１の空間に対する第１のアフィン変換パラメータを抽出する工程と、該アフィン変換パラメータから逆アフィン変換行列を生成する工程と、該逆アフィン変換行列を他の行列に乗算して、前記射影変換行列を推定する工程とを有する。
【選択図】 図２

Description

本発明は、２次元又は３次元座標データを２次元座標データに変換するための座標変換行列の演算技術に関するものである。

射影変換には２次元空間から２次元空間への変換であるホモグラフィ変換や、３次元空間から３次元空間への変換などがある。２つの空間の対応点の座標データから前記ホモグラフィ変換行列や３次元射影変換行列を計算することはコンピュータビジョンにおいて基本的な処理である。これらの行列は、パノラマ画像の生成、プロジェクタの投影位置の補正、平面パターンを用いるカメラ校正、対象物の３次元形状推定・復元、道路面上の障害物検出など幅広い用途で利用することが出来る。

以下、ホモグラフィ行列を利用して実現する動画撮影カメラの防振機能の原理、ホモグラフィ行列の求め方を説明した後、その課題について言及する。

動画撮影して得られる連続フレームのフレーム間のブレを幾何変換行列として検出し、該幾何変換行列を十数フレームに渡って平滑化した行列で、画像を逆補正することにより、フレーム間のブレを平滑化でき、動画撮影時の手ぶれ防振機能を実現できる。

カメラから被写体までの距離が十分に離れており、被写体の各注目点が同一平面上に存在すると見なしても問題無い場合、前記フレーム間のブレを表現する幾何変換行列はホモグラフィ行列で表すことができ、フレーム間の画素の座標は式（１）で対応付けられる。

式（１）における右辺の３行３列の行列がホモグラフィ行列であり、前のフレームの（ｕ，ｖ）座標の画素は、（ｘ，ｙ）座標に変換される。また、式（１）は、同次座標を用いることにより、非線形な射影変換を線形演算で表現できるようにしたものである。

式（１）の３行３列の右下の９番目の要素を規格化と称し、１に設定すると、他の８つの要素が自由な値をとることが可能であり、自由度８の行列となる。一方、式（１）の関係で表される２画像間の座標を展開すると、次の式（Ａ）に示す２つの方程式が得られる。
（ｇｕ₁＋ｈｖ₁+１）ｘ₁＝ａｕ₁＋ｂｖ₁＋ｃ
（ｇｕ₁＋ｈｖ₁+１）ｙ₁＝ａｕ₁＋ｂｖ₁＋ｆ …（Ａ）

４組の対応点から８つの方程式、すなわち、８元連立方程式を立てることができ、この連立方程式を解くことによりホモグラフィ行列を１つ求めることができる。

このような方法を用い、画像中の４つの特徴点の組合せに対して、ホモグラフィ行列を求めて評価を行い、その中で評価結果の一番良い行列を選出し、画像間の関係を表すホモグラフィ行列とするといった推定方法が、ＲＡＮＳＡＣ推定として知られている。評価の高い行列を得るには、なるべく多くの特徴点の組合せに対してホモグラフィ行列を求めて評価を行う必要があり、その回数は画像毎に数百〜数千という数になる。

該連立方程式を解く手法としてガウス法、ガウスジョルダン法などがよく知られているが、演算量が多い上に、数値計算上の演算誤差が大きくなることがある。もちろん、その対策としてピボットという手法も考えられているが、それを実行するとさらに処理量が増える。

一方、非特許文献１において、上記手法とは全く異なるアプローチで画像間のホモグラフィ行列を推定する手法が述べられている。該手法について簡単に説明する。

画像１から画像２へのホモグラフィ行列を推定する際に、それらの画像とは別の空間に、単位正方形を定め、該単位正方形から画像１への第１のホモグラフィ行列Ｈ１と、該単位正方形から画像２への第２のホモグラフィ行列Ｈ２とを推定する。その後に、第１のホモグラフィ行列Ｈ１の逆行列Ｈ１^-1に第２のホモグラフィ行列Ｈ２を乗算し、Ｈ２・Ｈ１^-1を画像１から画像２へのホモグラフィ行列として算出する、というものである。

この手法では、２つのホモグラフィ行列を推定し、一方のホモグラフィ行列の逆行列を計算し、該ホモグラフィ行列の逆行列ともう一方のホモグラフィ行列とを乗算するといった処理が必要となる。

Ｐａｕｌ Ｓ．Ｈｅｃｋｂｅｒｔ．“Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ ａｎｄ Ｉｍａｇｅ Ｗａｒｐｉｎｇ”，Ｍａｓｔｅｒ Ｔｈｅｓｉｓ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ，Ｂｅｒｋｅｌｅｙ，Ｊｕｎｅ，１９８９．

ビデオカメラなどの撮像装置における防振機能等の用途では、１フレーム中から何百もの特徴点を抽出し、フレーム間で対応点を探索する。そして、１フレーム時間内に該対応点の種々の組合せに対して、ホモグラフィ行列を推定計算する必要があり、１つの行列推定を高速に行う必要がある。昨今のビデオカメラにおける撮像画素数は多くなる一方であることを踏まえると、より短時間に上記の行列推定を行う技術が望まれる所以である。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
ｎ（ｎ＝２、又は３）次元の第１の空間の特徴点から第２の空間の特徴点への射影変換行列の推定を行う情報処理装置であって、
前記第１の空間、第２の空間の特徴点座標とは異なる基準座標を設け、当該基準座標の原点と各座標軸の単位座標点で構成されるｎ＋１点から、前記第１の空間に対する第１のアフィン変換パラメータを抽出する手段と、
該アフィン変換パラメータから逆アフィン変換行列を生成する手段と、
該逆アフィン変換行列を他の行列に乗算して、前記射影変換行列を推定する手段とを有する。

本発明によれば、例えば２つ画像に対するホモグラフィ行列の内、逆行列を求める側のホモグラフィ行列をアフィン変換行列に関する処理に置き換えることが可能となり、演算処理を削減することができ、画像１から画像２へのホモグラフィ行列の推定を高速に行えるようになる。

基準座標における３点とそれに対応付ける画像中の３つの特徴点、基準座標における４点とそれに対応付ける画像中の４つの特徴点を表す図・ 第１の実施形態の処理フローを表す図。 第２の実施形態の処理フローを表す図。 第３の実施形態の処理フローを表す図。 実施形態が適用するビデオカメラのブロック構成図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下ではホモグラフィ行列を推定する情報処理装置として、防振機能を有するビデオカメラに適用した例を説明する。

［第１の実施形態］
図５は実施形態におけるビデオカメラの主要部分のブロック構成図である。以下、同図を参照し、構成要素とその機能を説明する。

制御部５０１は装置全体の制御を司るものであり、ＣＰＵ等のプロセッサを含む。また、制御部５０１は、その処理手順（プログラム）を格納するメモリ５０１ａを有する。そして、制御部５０１には、操作者からの指示を受け付けるための操作部５０２が接続されている。撮像部５０３は、光学レンズ、撮像素子で構成され、例えば１秒当たり３０フレームの画像データを取得し、スイッチ５０４を介してフレームメモリ５０５，５０６に、フレーム単位に交互にフレーム画像を格納する。この結果、フレームメモリ５０５，５０６には時間的に前後する２個のフレーム画像が保持されることになる。ブレ検出部５０８は、フレームメモリ５０５，５０６に格納された連続する２つのフレーム画像からホモグラフィ変換行列を推定することで、ブレ量を検出する。そして、ブレ検出部５０８は推定したホモグラフィ変換行列に基づくスキャン順を決定し、その情報をスキャン部５０９に提供する。スイッチ５０７は、フレームメモリ５０５，５０６のうち、後続する側のフレーム画像を格納している方をスキャン部５０９と接続する。スキャン部５０９は、ブレ検出部５０８からの情報に基づき、スイッチ５０７が選択中のフレームメモリから画像データを読み出し、ブレ量を相殺したフレーム画像を符号化部５１０に出力する。符号化部５１０は、スキャン部５０９から出力されたフレーム画像を符号化し、符号化データを記録部５１１に出力する。記録部５１１は、符号化データを、メモリカード（例えばＳＤカード）等の記憶媒体５１２に動画像ファイルとして記録する。ブレ検出部５０８、スキャン部５０９、符号化部５１０、記録部５１１は、それぞれ独立の回路で構成してもよいし、制御部５０１と同一のプロセッサが、メモリ５０１ａに格納されたそれぞれ別の処理手順（プログラム）を実行することで、実現してもよい。

次に上記実施形態におけるブレ検出部５０８におけるホモグラフィ変換行列の推定処理を説明する。本実施形態はホモグラフィ行列および３次元から３次元への射影変換行列を画像・空間間の対応特徴点から推定する処理に関するものである。本実施形態の変換行列の推定処理の一部において、基準座標の原点（０，０）及び２つの単位座標点（１，０）、（０，１）から、時間的に前に位置するフレーム画像１の対応付けした３つの特徴点へのアフィン変換行列を推定し、該アフィン変換行列の逆行列を計算する。そして、処理を含んだフレーム画像１（以下、単に画像１）から時間的に後続するフレーム画像２（以下、単に画像２）へのホモグラフィ行列の推定処理を行う。

まず、第１の実施形態におけるホモグラフィ行列の分解と、分解した各行列について説明する。下記の式（２）の左辺は自由度８のホモグラフィ行列を表しており、該ホモグラフィ行列を、右辺左側に示す自由度６のアフィン変換行列と右辺右側に示す自由度２のパラメータ行列とに分解する。このように分解すると、後述するように各パラメータの推定や逆行列の計算を簡略化することが出来るようになる。

式（２）の右辺左側の第１の行列が自由度６、右辺右側の第２の行列が自由度２であることは一目瞭然であり、それらの積である左辺の行列は自由度８になる。よって、自由度８のホモグラフィ行列は、式（２）の左辺にて表現でき、式（２）の右辺のように分解できる。後は右辺の２つの行列を求めればよい。

本実施形態におけるパラメータ推定処理の最大の特徴は、右辺の２つの行列のパラメータを推定することである。これらのパラメータは後述するように各行列で独立に求めることができ、逆行列パラメータも独立に計算できる。これらによりパラメータ推定を簡略化できるわけである。

本実施形態では、画像とは別に定める基準座標における原点（０，０）及び２つの単位座標（１，０）、（０，１）を、画像中の特徴点３点に対応付ける。この対応付けはアフィン変換行列で表現でき、それが式（２）の右辺の第１の行列である。そして、右辺第２の行列は、画像中の４つ目の特徴点に対応する基準座標の座標値を定めるパラメータ行列である。

一般的に、アフィン変換行列は、対応付ける３点の座標が定まれば求められる。ここでは、一方の座標の３点を図１（Ａ）に示す基準座標の原点（０，０）及び２つの単位座標（１，０）、（０，１）とする。そして、対応付ける画像中の３つの特徴点と座標を図１（Ｂ）に示す、Ｑ０（ｘ０，ｙ０），Ｑ１（ｘ１，ｙ１），Ｑ３（ｘ３，ｙ３）とすると、そのアフィン変換行列は式（２）の右辺第１の行列になることは、次に示す式（３）から直ちに分かる。

上記式（３）の左辺左側の行列はアフィン変換行列であり、左辺右側の行列は基準座標上の前記３点の同次座標、右辺は変換後の同次座標を表している。

次に、式（２）右辺第２行列のパラメータ推定の前に、該行列の性質について説明する。該行列による変換は、基準座標の原点（０，０）と２つの単位座標（１，０）、（０，１）を変換後も保ち、座標（１，１）を（ｓ，ｔ）／（ｓ＋ｔ−１）へ移動する。これを同次座標で表現すると式（４）のようになる。

この変換行列は、一般の射影変換行列からアフィン変換成分を除いた、遠近感を表現する射影成分のみの行列であると言える。そこで、本明細書では、これ以降、該変換行列を「射影成分行列」と呼ぶことにする。

式（４）における右辺の行列の上２行の２次元座標、すなわち、前記基準座標の３点と（１，１）を前記射影成分行列で変換した４点に対して、Ｒ０（０，０），Ｒ１（１，０），Ｒ３（０，１），Ｒ２（ｓ／（ｓ＋ｔ−１），ｔ／（ｓ＋ｔ−１））と定める。それらの位置関係は、例えば図１（Ｃ）のように表せる。

ここで、３つの点、点１点２点３から形成される三角形の面積を「△点１点２点３」にて表現する。すると点Ｒ２を頂点とする３種の三角形の面積の比、△Ｒ０Ｒ２Ｒ３：△Ｒ１Ｒ２Ｒ０：△Ｒ１Ｒ２Ｒ３は、ｓ：ｔ：１、になることが分かる。ちなみに変換前の比は１：１：１である。∵△Ｒ０Ｒ２Ｒ３＝１×ｓ／（ｓ＋ｔ−１）／２＝ｓ／２（ｓ＋ｔ−１）
△Ｒ１Ｒ２Ｒ０＝１×ｔ／（ｓ＋ｔ−１）／２＝ｔ／２（ｓ＋ｔ−１）
△Ｒ１Ｒ２Ｒ３＝△Ｒ１Ｒ２Ｒ０＋△Ｒ０Ｒ２Ｒ３−△Ｒ０Ｒ１Ｒ３
＝（ｓ＋ｔ）／２（ｓ＋ｔ−１）−１／２＝１／２（ｓ＋ｔ−１）
上記Ｒ２に対応させる画像中の４つ目の特徴点と座標をＱ２（ｘ２，ｙ２）とし、全４つの特徴点の位置関係を図１（Ｄ）に示す。上記面積比に対応する該画像における面積比は、△Ｑ０Ｑ２Ｑ３：△Ｑ１Ｑ２Ｑ０：△Ｑ１Ｑ２Ｑ３、になる。

「領域の面積比を保存する」アフィン変換の性質に基づき、Ｒ２をＱ２に対応させる、すなわち、Ｒ２を前記アフィン変換行列で変換した点がＱ２と同じになるようにする。
そのためには、ｓ＝△Ｑ０Ｑ２Ｑ３／△Ｑ１Ｑ２Ｑ３，ｔ＝△Ｑ１Ｑ２Ｑ０／△Ｑ１Ｑ２Ｑ３，に設定すればよいことが分かる。

具体的には式（５）に示すように、各々の三角形の２辺のベクトルの外積の比によって設定することができる。これで、「射影成分行列」における２つの射影成分パラメータが決まり、該行列が確定する。

先に示した非特許文献１における推定手法と同様に、本実施形態においても、基準座標から画像１と画像２に対するホモグラフィ行列を推定する。そのため、これまでに説明した、式（２）右辺のアフィン変換行列と射影成分行列のパラメータを該２つの画像に対して求める。

これまでに説明した諸性質を利用し、画像１から画像２へのホモグラフィ行列を推定する、ブレ検出部５０８における演算処理を、図２に示す処理フローを用いて説明する。

ステップＳ２０１にて、画像２の４つの特徴点の座標から射影成分パラメータｓ２，ｔ２を計算する。ステップＳ２０２にて、式（２）の左辺の行列における計算式に基づき、射影成分パラメータｓ２，ｔ２と特徴点座標から、画像２に対するホモグラフィ行列Ｈ２を算出する。

次に、ステップＳ２０３にて、画像１の４つの特徴点の座標から射影成分パラメータｓ１，ｔ１を求めて射影成分行列を生成し、その逆行列Ｐｉｎｖを計算する。そして、ステップＳ２０４にて、画像１の３つの特徴点の座標からアフィン変換パラメータを抽出し、このアフィン変換の逆変換行列Ａｉｎｖを生成する。

ステップＳ２０５にて、射影成分行列の逆行列Ｐｉｎｖとアフィン変換の逆変換行列Ａｉｎｖの積を計算して、基準座標から画像１へのホモグラフィ行列Ｈ１の逆行列（Ｈ１^-1）を算出する。次に、ステップＳ２０６にて、ホモグラフィ行列Ｈ１の逆行列（Ｈ１^-1）に、ステップ２０２で算出したホモグラフィ行列Ｈ２を乗算して、画像１から画像２に対するホモグラフィ行列Ｈ２１を計算する。

以上を要約すると、まず最初に、ホモグラフィ行列をアフィン変換行列とパラメータ行列の積に分解できることを示した。しかし、該パラメータ行列に関する性質や求め方について報告した先行技術が無いため、この分解はこれまで意味の無いものであった。本願発明者は、該パラメータ行列の主要なパラメータが、特徴点の座標から得られる幾何学的な特徴量である面積と密接な関係があることを見出し、この行列による変換は特徴点が形作る面積の比を変換する性質があることを示した。この面積の比を変換する性質が遠近感を醸し出すものであるため、該行列を「射影成分行列」と命名した。そして、該行列による変換の後に行うアフィン変換は、前記面積の比を保存した変換を行う関係にある。これらに基づいて、画像間の関係を表すホモグラフィ行列を少ない演算量で計算する新たな方法を示したのが本実施形態である。

特徴点の座標情報から各々独立に算出できるアフィン変換行列と射影成分行列の積でホモグラフィ行列を算出できるようにしたので、該ホモグラフィ行列の逆行列を各々の行列の逆行列の積によって計算できるようになった。その結果、画像間のホモグラフィ行列を少ない計算量で演算可能となった。

なお、射影成分行列の２つのパラメータｓ，ｔは、射影変換行列の３行目の左２つの要素に、各々１を加算した関係にあるため、従来手法で該２つの要素を求め、それに１を加算して射影成分行列の２つのパラメータｓ，ｔを計算してもよい。そのように計算しても前記ホモグラフィ行列の逆行列を前記２つの行列の逆行列の積によって計算できる。

［第２の実施形態］
前記射影成分行列間の演算には次のような性質がある。

上記の式（６）から、該射影成分行列の行列積は、２つのパラメータｓ，ｔを乗算するだけでよく、３行目の要素は各々から１を減算すればよいことが分かる。また、式（７）から、該射影成分行列の逆行列は、２つのパラメータｓ，ｔを逆数に変換するだけでよく、３行目の要素は各々から１を減算すればよいことが分かる。

以上の性質を利用して、本第２の実施形態では射影成分行列に関する演算をまとめて行う。具体的には、各々の画像の特徴点の座標値から、三角形の面積とその比を計算し、パラメータｓｉとｔｉ（ｉ＝１，２）を求める。

画像１に対する射影成分行列の逆行列と、画像２に対する射影成分行列のとの積は、画像１のパラメータの逆数を画像２の対応するパラメータに乗算するだけ、言い換えると、画像２のパラメータを画像１の対応するパラメータで割るだけである。この結果を使って、画像２に対するアフィン変換行列との積を計算する。この計算は第１の実施形態で述べたように、式（２）の左辺の行列中の計算式を用いる。そして、アフィン変換の逆行列を計算し、上記結果に乗算する。

次に示す式（８）は、画像１の座標をｕｖ座標、画像２の座標をｘｙ座標として区別し、画像１から画像２へのホモグラフィ行列を４つの行列の積として表し、左３つの行列を統合して１つのホモグラフィ行列の計算式にまとめている。本第２の実施形態では、前述の三角形の面積比を求めた後、該計算式によりホモグラフィ行列を算出する。

本第２の実施形態によれば、画像１から画像２へのホモグラフィ行列を、第１の実施形態より、さらに少ない演算量で計算することができる。

ここで本第２の実施形態における画像１から画像２へのホモグラフィ行列の推定演算処理を、図３に示す処理フローを用いて説明する。

ステップＳ３０１にて、画像１の４つの特徴点の座標から３種の三角形の面積を計算し、それらの比から射影成分パラメータｓ１，ｔ１を算出する。ステップＳ３０２にて、画像２の４つの特徴点の座標から３つの種類の三角形の面積を計算し、それらの比から射影成分パラメータｓ２，ｔ２を算出する。

次に、ステップＳ３０３にて、画像１と画像２の射影成分パラメータを統合した射影成分パラメータｓ＝ｓ２／ｓ１，ｔ＝ｔ２／ｔ１を計算する。そして、ステップＳ３０４にて、前記統合した射影成分パラメータｓ，ｔと画像２の特徴点の座標を、式（２）の左辺に代入し、ホモグラフィ行列Ｈ２’を算出する。

ステップＳ３０５にて、画像１の３つの特徴点の座標からアフィン変換パラメータを抽出し該アフィン変換の逆変換行列Ａｉｎｖを生成する。そして、ステップＳ３０６にて、このアフィン変換の逆変換行列（逆アフィン変換行列）Ａｉｎｖに、ステップ３０４で算出したホモグラフィ行列Ｈ２’を乗算して、画像１から画像２に対するホモグラフィ行列Ｈ２１を計算する。

図３の処理フローでは、射影成分パラメータｓ１，ｔ１，Ｓ２，ｔ２を算出した後に統合したが、第１の実施形態で用いた各種三角形の面積表現を用いると、
ｓ２／ｓ１＝△Ｑ０Ｑ２Ｑ３×△Ｒ１Ｒ２Ｒ３／（△Ｑ１Ｑ２Ｑ３×△Ｒ０Ｒ２Ｒ３）
ｔ２／ｔ１＝△Ｑ１Ｑ２Ｑ０×△Ｒ１Ｒ２Ｒ３／（△Ｑ１Ｑ２Ｑ３×△Ｒ１Ｒ２Ｒ０）
であるため、上記の統合パラメータを三角形の面積から直接計算してもよい。この場合、図３における３つの処理ステップＳ３０１，Ｓ３０２，Ｓ３０３は、上記統合パラメータを算出する１つのステップに置き換えられる。

［第３の実施形態］
上記では、画像１から画像２に対するホモグラフィ行列Ｈ２１の算出例を示したが、本第３の実施形態ではｎ次元空間（ｎは２、又は３）の空間１から空間２への射影変換行列Ｐを求める例を示す。

まず、空間１，２とは別の基準空間において原点（０，０，０）及び３つの単位座標（１，０，０），（０，１，０），（０，０，１）を定め、それらに対応付けする空間１（または空間２）の４つの特徴点と座標を次のように表現する。
Ｑ000（ｘ000，ｙ000，ｚ000），
Ｑ100（ｘ100，ｙ100，ｚ100），
Ｑ010（ｘ010，ｙ010，ｚ010），
Ｑ001（ｘ001，ｙ001，ｚ001）
また、５つ目の特徴点と座標を
Ｑ111（ｘ111，ｙ111，ｚ111）
とする。

まず、３次元（ｎ＝３であるので、座標軸が３つ）の射影変換行列を３次元アフィン変換行列と射影成分行列に分解した式を、上記対応付けした特徴点座標を用いて表すと、式（９）のようになる。

アフィン変換行列はこの段階で確定するので、後は射影成分行列の３つのパラメータｓ，ｔ，ｕを求めれば済む。

該射影成分行列による変換は、前記原点（０，０，０）及び３つの単位座標（１，０，０），（０，１，０），（０，０，１）を保ち、座標（１，１，１）を（ｓ，ｔ，ｕ）／（ｓ＋ｔ＋ｕ−２）へ移動する。これは該移動した点を頂点とする４種の四面体の体積比がｓ：ｔ：ｕ：２になるような座標である。分かり易いよう、該座標変換を式（１０）に示す。

そして、該移動した座標と前記５つ目の特徴点Ｑ111とを対応づける。３次元アフィン変換は「領域の体積比を保存する」性質があるため、空間１の対応する４種の四面体の体積を算出して、その比をｓ，ｔ，ｕに設定する。具体的には次のようにする。
３次元空間上の４点によって定まる四面体の体積の記号を便宜的に△（点列）とし、
ｖ＝△（Ｑ100，Ｑ010，Ｑ001，Ｑ111）／２ と置くと、
ｓ＝△（Ｑ000，Ｑ010，Ｑ001，Ｑ111）／ｖ，
ｔ＝△（Ｑ100，Ｑ000，Ｑ001，Ｑ111）／ｖ，
ｕ＝△（Ｑ100，Ｑ010，Ｑ000，Ｑ111）／ｖ，である。

上記の表記は簡略化しすぎて、具体的な計算内容が分かりにくいため、特徴点座標からパラメータｓを求める計算式を式（１１）に示す。

他のパラメータｔ，ｕの計算式もほぼ同じ形で容易に類推できるため列記するのを省略する。

空間１の特徴点座標を用いて算出したものをｓ１，ｔ１，ｕ１とし、空間２の特徴点座標を用いて算出したものをｓ２，ｔ２，ｕ２とすれば、空間１と空間２を合わせた射影成分パラメータｓ，ｔ，ｕは、上記の第２の実施形態で示したように、ｓ＝ｓ２／ｓ１，ｔ＝ｔ２／ｔ１，ｕ＝ｕ２／ｕ１となる。該パラメータｓ，ｔ，ｕと空間２の特徴点座標を式（９）の左辺に代入して行列を計算すると、基準空間から空間２への射影変換に空間１の射影成分を取り込んだ、射影変換行列が得られる。後は、空間１のアフィン変換行列の逆行列を計算し、該逆行列を上記射影変換行列に乗算すれば、空間１から空間２への３次元射影変換行列が得られる。

従来は幾何学的な意味の無い演算を数多く行って、３次元の射影変換行列を計算する必要があったが、本実施形態によれば、特徴点の座標情報から体積特徴量を計算して射影成分パラメータを算出し、それと特徴点座標を用いてホモグラフィ行列を計算できる。

本実施形態は３次元空間から３次元空間への射影変換行列を算出するものであるが、空間の次元に応じて基準空間の単位座標と特徴空間の特徴点を追加すれば、４次元以上の空間の射影変換行列の算出にも容易に応用できる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

５０１…制御部、５０２…操作部、５０３…撮像部、５０４、５０７…スイッチ、５０５、５０６…フレームバッファ、５０８…ブレ検出部、５０９…スキャン部、５１０…符号化部、５１１…記録部、５１２…記憶媒体

Claims (7)

1. ｎ（ｎ＝２、又は、３）次元の第１の空間の特徴点から第２の空間の特徴点への射影変換行列の推定を行う情報処理装置であって、
   前記第１の空間、第２の空間の特徴点座標とは異なる基準座標を設け、当該基準座標の原点と各座標軸の単位座標点で構成されるｎ＋１点から、前記第１の空間に対する第１のアフィン変換パラメータを抽出する手段と、
   該アフィン変換パラメータから逆アフィン変換行列を生成する手段と、
   該逆アフィン変換行列を他の行列に乗算して、前記射影変換行列を推定する手段と
   を有する情報処理装置。
2. 前記ｎ次元空間におけるｎ＋２個の特徴点の中のｎ＋１個で形成されるｎ＋１の種類の面積もしくは体積の比から、遠近感に関するｎ個の射影成分パラメータを算出する手段を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記逆アフィン変換行列を乗算する他の行列は、前記射影成分パラメータを行列で表現した射影成分行列、またはホモグラフィ行列であることを特徴とする請求項２に記載の情報処理装置。
4. 前記ｎを２とし、時間的に連続して動画像を構成するフレーム画像を撮像する手段と、請求項１乃至３のいずれか１項に記載の情報処理装置とを含み、時間的に先行して撮像したフレーム画像を前記第１の空間、後続するフレーム画像を前記第２の空間として、前記第１の空間に対する前記第２の空間のブレ量に対応する、ホモグラフィ変換行列を前記射影変換行列として求めることを特徴とするビデオカメラ。
5. ｎ（ｎ＝２、又は、３）次元の第１の空間の特徴点から第２の空間の特徴点への射影変換行列の推定を行う情報処理装置の制御方法であって、
   抽出手段が、前記第１の空間、第２の空間の特徴点座標とは異なる基準座標を設け、当該基準座標の原点と各座標軸の単位座標の点で構成されるｎ＋１点から、前記第１の空間に対する第１のアフィン変換パラメータを抽出する工程と、
   生成手段が、該アフィン変換パラメータから逆アフィン変換行列を生成する工程と、
   推定手段が、該逆アフィン変換行列を他の行列に乗算して、前記射影変換行列を推定する工程と
   を有する情報処理装置の制御方法。
6. コンピュータに読み込ませ実行させることで、前記コンピュータに請求項５の方法に記載の各工程を実行させるためのプログラム。
7. 請求項６に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images