JP2008259076A - 画像防振装置、撮像装置及び画像防振方法 - Google Patents

Abstract

【課題】意図的なカメラワークによる映像の動きを保存し、かつ意図しない振れに対する防振を可能とする。
【解決手段】画像防振装置は、複数の画像間の動きベクトルを算出する動きベクトル算出部１０４と、動きベクトルを入力として防振補正量を算出する防振パラメータ算出部１０６と、防振補正量に応じた画像の幾何変換を行う画像変換部１０７とを有する。防振パラメータ算出部は、動きベクトルに基づいて複数の画像間の画像変化量を算出する変化量算出部Ｓ５０２と、画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正部Ｓ５０３と、複数の画像間についての動き情報に基づいて防振補正量を算出する補正量算出部Ｓ５０４とを有する。
【選択図】図１

Description

本発明は、動画像における防振画像処理を行う画像防振装置及び画像防振方法に関する。さらに、本発明は、該画像防振装置を搭載した撮像装置に関する。

ビデオカメラ等の動画撮像装置には、手振れによる映像（動画像）の振れを抑制するための画像処理を行う画像防振技術が広く用いられている。特に、長焦点距離の撮像光学系を用いて撮像を行う場合には、微小なカメラの振れが映像の大きな振れに繋がるため、画像防振機能が不可欠である。また、撮像光学系の焦点距離が短い場合でも、移動しながら被写体を撮影する場合には、画像防振機能が有効に働くことが望まれる。

さらに、移動しながらの撮像では、意図的ではない手振れと意図的なカメラワークとを判別して、手振れによる画像振れのみを抑制するという高度な画像防振機能が要求される。従来、このような移動に対応した画像防振技術として、慣性フィルタリングを使用したり（非特許文献１参照）低次モデルフィッティングを使用したり（非特許文献２）するものが提案されている。

これらの画像防振技術では、画像からの動き推定(グローバルモーションもしくはカメラワークの推定)において、並進モデルやヘルマートモデル(相似モデル)等の近似モデルを用いている。このため、動き推定値として、水平並進、垂直並進、面内回転、拡大縮小、せん断のようなカメラワーク成分に対応した一次元時系列データのセットとして動き量が得られる。したがって、慣性フィルタやカルマンフィルタ等、信号処理で用いられる一次元時系列データセットを入力とするフィルタリング機構がそのまま利用可能である。

また、画像における動きとカメラワークが１対１で対応しているため、画像から求めた上記動き量フィルタリングの結果もしくは元の動き量とフィルタリング結果との差分量を単純に画像に作用させるだけで、意図した防振が実現される。

また、焦点距離が短い撮像装置は、大きな揺れを伴う歩行ロボットやヘリコプター、ウェアラブルカメラ等に搭載される可能性もある。ただし、焦点距離をさらに短くしていくと、画像上に現れる動きに変化が生じる。

すなわち、画像上の動きに対して許容されるカメラワークが焦点距離に反比例して大きくなるため、「あおり」と称される中程度以上の焦点距離映像では生じなかった動きが生じ、従来の近似モデルによる画像変化量の推定及び防振処理では防振しきれなくなる。そこで画像変化量の推定を、上記近似モデルに代えて、射影モデルにより行い、防振処理の幾何補正を射影変換で行う方法が提案されている。

上記用途では、動き推定は画像から行い、防振処理は画像の幾何変化の組み合わせで行うことが前提となる。この場合、大きく複雑なカメラワークに対する画像変化を高精度で検出しつつ、移動を前提とした大きな動きを補正する必要がある。ただし、従来の防振処理で多く使われたモーションセンサ単独では、多軸変化を高精度かつ低コストでセンシングすることが困難である。また、光学防振処理では、大きな揺れを補正できない。
Z.Zhu,et.al."Camera stabilization based on 2.5D motion estimation and inertial motion filtering.",ICIV,1998. A.Ktvin,J.Konrad,W.C.Karl,‘Probabilistic video stabilization using Kalman filtering and mosaicing',Proceedings of SPIE.Jan,2003,p.p.20-24 Michal Irani,et.al.,"Recovery of Ego-Motion Using Image Stabilization",CVPR('94), Seattle, June 1994

移動しながらの撮像映像の防振処理を射影モデルを採用して実現する場合、以下の課題が生じる。

１つ目は、意図するカメラワークと意図しない振れ（動き）を判別する処理において、従来の信号処理技術をベースとしたフィルタリング方法がそのままでは適切に働かないことである。これは、画像変換量を表す射影ホモグラフィが３×３のマトリクスで表される多次元量だからである。

射影ホモグラフィの１つの成分に対し、複数のカメラワークが影響を与えている。このため、特に前進のカメラワークが大きく生じている場合には、カメラワークの運動が等速な線形運動であっても、適切な防振ができなくなる。ホモグラフィの各項の成分変化が、前進カメラワークによる非線形な画像変化と、光軸に垂直な並進、回転等のカメラワークによる線形な画像変化との線形和となってしまうからである。この結果、線形変化を前提とするフィルタリングを射影ホモグラフィの各項に適用しても、適切な防振効果が得られなくなる。

２つ目は、画像変化量の推定及び防振処理を射影モデルに拡張したことにより生じる問題である。射影モデルへの拡張により、大きな回転カメラワークによる画像変化を検出することができるようになる。しかしながら、逆に、映像を構成するフレーム画像間の動きベクトルから求められる射影ホモグラフィを、直接又は動き判別を介して逆変換して防振補正量として用いても、適切に防振を行えない。この防振方法は、近似モデルでの防振において広く使われている。しかしながら、射影モデルでは、並進カメラワークの画像変化量への影響に、新たに射影ホモグラフィを算出した際の動きベクトル抽出点の空間分布に関連する基準面の向きが関係する。このため、問題が生じる。

フレーム画像間の画像変化量である射影ホモグラフィと、カメラワークと、基準面との関係を式で示すと、

Ｈは射影ホモグラフィ、Ｒ及び
はカメラの回転及び並進を表す。また、ｄ及び
は対応点の空間位置により決定される基準面の一方のカメラからの距離及び法線の向きである。

そして、動きベクトルを抽出した対応点の空間位置により形成される基準面が、多くの場合、鑑賞者が防振したいと感じる空間中の面の位置と異なるため、問題が生じる。上記式から分かるように、この問題は、並進カメラワークが発生した場合のみ問題となる。例えば、前進シーンにおいて画像面が倒れていったり、流し撮りシーンにおいて画像面が潰れていったりと画像が歪む。

そこで、非特許文献３にて提案されているように、同じようにフレーム画像間の動きベクトルから求まるカメラワークの３軸回転情報のみを利用して防振を行う妥協案も可能である。しかしながら、歩き振れによって生じる上下動による並進成分のカメラワークも防振対象の動きとして無視できない。

本発明は、意図的なカメラワークによる映像の動きを保存し、かつ意図しない振れに対する防振を可能とする画像防振装置及び方法を提供する。

本発明の一側面としての画像防振装置（及び画像防振方法）は、複数の画像間の動きベクトルを算出する動きベクトル算出部（動きベクトル算出ステップ）と、動きベクトルを入力として防振補正量を算出する防振パラメータ算出部（防振パラメータ算出ステップ）と、防振補正量に応じた画像の幾何変換を行う画像変換部（画像変換ステップ）とを有する。そして、防振パラメータ算出部（防振パラメータ算出ステップ）は、動きベクトルに基づいて複数の画像間の画像変化量を算出する変化量算出部（変化量算出ステップ）と、画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正部（変化量修正ステップ）と、複数の画像間についての動き情報に基づいて防振補正量を算出する補正量算出部（補正量算出ステップ）とを有すること特徴とする。

また、本発明の他の側面としての画像防振装置（及び画像防振方法）は、複数の画像間の対応する特徴部の変位を表す動きベクトルを算出する動きベクトル算出部（動きベクトル算出ステップ）と、動きベクトルを入力として防振補正量を算出する防振パラメータ算出部（防振パラメータ算出ステップ）と、防振補正量に応じて画像の幾何変換を行う画像変換部（画像変換ステップ）とを有する。そして、防振パラメータ算出部（防振パラメータ算出ステップ）は、動きベクトルに基づいて複数の画像間の画像変化量を算出する変化量算出部（変化量算出ステップ）と、複数の画像間についての画像変化量に基づいて動き情報を算出する変化量修正部（変化量修正ステップ）と、動き情報に基づいて防振補正量を算出する補正量算出部（補正量算出ステップ）とを有すること特徴とする。

本発明によれば、撮影者の意図的なカメラワークによる映像の動きを保存しつつ、撮影者が意図しないカメラ振れに対する効果的な画像防振を行うことができる。本発明は、特に短い焦点距離の撮像光学系を有する撮像装置で取得された映像の意図的なカメラワークによる動き保存と意図しないカメラ振れによる画像防振とに有効である。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１は、本発明の実施例１である画像防振装置を搭載した映像入力装置としてのビデオカメラ（撮像装置）の構成を示す。同図において、１０１は撮像光学系としてのレンズ光学系、１０２はＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。

１０３は前処理部、１０４は動きベクトル検出部（動きベクトル算出部）、１０５はワークメモリである。また、１０６は防振パラメータ算出部、１０７は幾何変換処理部（画像変換部）、１０８は符号・復号化部、１０９はワークメモリである。さらに、１１０はシステム制御部、１１１はズーム調整部、１１２は不揮発メモリ部、１１３は記録部、１１４は表示部、１１５は操作信号入力部、１１６は外部Ｉ／Ｆである。

前処理部１０３、動きベクトル検出部１０４、防振パラメータ算出部１０６、幾何変換処理部１０７及び符号・復号化部１０８により、映像信号処理部が構成される。この映像信号処理部は、画像防振装置の主要部を構成する。

レンズ光学系１０１は複数のレンズにより構成され、被写体の光学像（物体像）を形成する。

撮像素子１０２は、レンズ光学系１０１によって受光面上に形成された光学像を光電変換して撮像信号に変換する。

前処理部１０３は、撮像素子１０２より出力された撮像信号に対して映像処理を行い、処理された映像信号を出力する。撮像素子１０２と前処理部１０３により、物体像を光電変換して画像（映像）を生成する撮像系が構成される。前処理部１０３では、オートゲインコントロール、輝度／色差分離、鮮鋭化、ホワイトバランス調整、黒レベル調整、表色系変換等の映像処理が行われる。

動きベクトル検出部１０４は、前処理部１０３から得られる連続した輝度フレーム、輝度及び色差フレーム又は輝度／色差フレームを変換したＲＧＢフレーム等の映像フレーム（フレーム画像）を入力とする。ただし、動きベクトル検出用に処理された微分処理フレームや、２値コードフレーム等を入力としてもよい。

動きベクトル検出部１０４は、入力された連続フレーム間の動きベクトル（動き情報）を検出する。具体的には、前処理部１０３より入力された現在のフレーム画像、すなわちカレントフレームと、それ以前に入力されてワークメモリ１０５に蓄積された過去のフレーム画像、すなわち過去フレームとの間で動きベクトルを算出する。過去フレームはカレントフレームに対して連続したフレームでもよいし、それより以前のフレームでもよい。

ワークメモリ１０５は、例えば、いわゆる先入れ先出しのメモリであり、そのメモリブロック数により出力の遅延量が制御される。

図２には、２ブロックにより構成された先入れ先出しメモリを模式的に示す。先入れ先出しメモリは、プログラム的にはリスト配列で構成され、挿入動作（ｐｕｓｈ）と取り出し動作（ｐｏｐ）とが同時に行われる。カレントフレームをｎ番目のフレームとして挿入動作を行うと、同時に発生する取り出し動作により該メモリから溢れた過去に挿入されたｎ−２番目のフレームが出力される。メモリブロック数が３の場合には、ｎ−３番目のフレームが出力される。このように、構成されるメモリブロック数により挿入されるフレームと取り出されるフレームとの遅延関係が制御される。

防振パラメータ算出部１０６は、動きベクトル検出部１０４より出力される動きベクトルと、後述するシステム制御部１１０から得られるカメラ内部パラメータ、歪み係数等のカメラキャリブレーション情報を入力として防振補正量を算出する。詳しくは後述するが、防振パラメータ算出部１０６は、動きベクトルに基づいて複数の画像間の画像変化量を算出する変化量算出部と、画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正部として機能する。また、該複数の画像間についての動き情報に基づいて防振補正量を算出する補正量算出部として機能する。

カメラ内部パラメータは、焦点距離、撮像素子１０２のピクセルサイズ、画像のオフセットやせん断量により構成される。

焦点距離は、レンズ光学系１０１の焦点距離であり、映像フレーム取得時の該レンズ光学系１０１のズーム状態に対応した焦点距離である。

撮像素子１０２のピクセルサイズは、水平及び垂直方向での各ピクセルのサイズである。

オフセットは、通常は画像の左上端を原点として扱われる画像座標に対し、画像面上でレンズ光学系１０１の光軸が横切る点である画像中心を原点とするためのオフセットである。

せん断量は、画素の形状もしくは光軸が画像面に直交しないことにより生じる画素のひずみを表す。歪み係数は、レンズ光学系１０１の収差によるディストーション量を表す。

防振パラメータ算出部１０６は、算出した防振補正量、カメラ内部パラメータ及び歪み係数により構成される防振パラメータを出力する。

幾何変換処理部１０７は、防振パラメータ算出部１０６により算出された防振パラメータと、これに対応する映像フレームとを入力として、該映像フレームの幾何変換処理を行う。防振パラメータがフィルタリング処理等を経由することで、映像フレームとの対応関係に遅延が生じる場合がある。この場合には、映像フレームを一旦ワークメモリ１０９を経由させ、映像フレームと防振パラメータ間の関係をそろえる。ワークメモリ１０９は、ワークメモリ１０５と同様の先入れ先出しメモリである。

符号・復号化部１０８は、幾何変換処理部１０７から連続して出力される映像フレーム信号を、ＮＴＳＣ、ＭＰＥＧ４等の映像フォーマットに符号化する。また、符号・復号化部１０８は、記録された符号化済みの映像信号を再生するために記録部１１３から読み出された映像信号を復号化して、表示部１１４に表示する。

システム制御部１１０は、符号・復号化部１０８から出力された上記映像フォーマットに符号化された映像信号を記録部１１３に送って記録を行わせる。また、システム制御部１１０は、動きベクトル検出部１０４、防振パラメータ算出部１０６、幾何変換処理部１０７及び符号・復号化部１０８等の各処理ブロックのパラメータ制御を行う。パラメータ初期値は、不揮発メモリ部１１２から読み出される。各種パラメータは、表示部１１４に表示され、操作信号入力部１１５又はＧＵＩを用いて値を変更することができる。

動きベクトル検出部１０４に対しては、動きベクトル数や動きベクトルの探索範囲、テンプレートサイズ等の制御パラメータが保持される。幾何変換処理部１０７に対しては、防振パラメータ算出部１０６により算出された防振パラメータとその計算に用いられた内部パラメータや歪み係数等を制御パラメータとして与える。符号・復号化部１０８に対しては、符号化方式や圧縮率の制御パラメータを与える。

さらに、システム制御部１１０は、ワークメモリ１０５，１０９の制御を行い、出力の遅延量を制御する。また、システム制御部１１０は、レンズ光学系１０１のズーム動作を行うズーム調整部１１１を制御する。システム制御部１１０は、ズーム調整部１１１内のエンコーダによってズーム状態を表すズーム値を読み取る。そして、不揮発メモリ部１１２に保存されたズーム値と焦点距離との関係を示すルックアップテーブル又は変換式を用いて、任意のズーム状態におけるレンズ光学系１０１の焦点距離を算出して保持する。

ここで、焦点距離の変動に応じて歪み係数は変動する。このため、システム制御部１１０は、焦点距離に対応する歪み係数を算出する。具体的には、不揮発メモリ部１１２に保存された焦点距離と歪み係数との関係を示すルックアップテーブル又は変換式を用いて、任意の焦点距離における歪み係数を算出して保持する。さらに、焦点距離以外の内部パラメータについては、不揮発メモリ部１１２から読み出して保持する。

焦点距離ｆ以外の内部パラメータは、水平及び垂直方向のピクセルサイズk_u,k_v、せん断量φ、水平及び垂直方向のオフセット量u₀,ν₀により構成される。これら内部パラメータは、カメラの設計仕様又はカメラキャリブレーションにより得られる。システム制御部１１０は、これら内部パラメータ及び歪み係数を、防振パラメータ算出部１０６に通知する。

不揮発メモリ部１１２は、システム制御に必要な、動きベクトル検出部１０４、防振パラメータ算出部１０６、符号・復号化部１０８、前処理部１０３、撮像素子１０２等に対する制御パラメータの初期値を保存している。該制御パラメータには、カメラ内部パラメータ、ズーム位置と焦点距離との関係を示すルックアップテーブル又は変換式、焦点距離と歪み係数との関係を示すルックアップテーブル又は変換式が含まれる。これらの制御パラメータは、システム制御部１１０によって読み出される。

記録部１１３は、半導体メモリ、磁気テープ、光ディスク等の映像信号を記録可能な記録媒体に対して、符合・復号化部１０８により符号化された映像信号の書き込み（記録）と読み出し（再生）とを行う。

表示部１１４は、ＬＣＤ，ＬＥＤ，ＥＬ等の表示素子により構成される。表示部１１４は、例えば、パラメータ設定表示、警告表示、撮像された映像データの表示、記録部１１３により読み出された記録映像データの表示を行う。記録映像データを再生する場合には、記録部１１３から符号化された映像信号を読み出して、システム制御部１１０を通して符号・復号化部１０８に送る。復号化処理が行われた記録映像データは、表示部１１４にて表示される。

操作信号入力部１１５は、カメラの機能の選択や各種設定を外部から行うための設定用ボタンや、撮像の開始と終了を指示するボタンも含まれる。操作信号入力部１１５は、タッチパネル式表示方式を用いることで、表示部１１４と統合してもよい。

外部Ｉ／Ｆ１１６は、操作信号入力部１１５から入力された操作信号に代わる入力信号を外部から入力したり、符号化された映像信号を外部機器に出力したりするＩ／Ｆである。該外部Ｉ／Ｆ１１６は、ＵＳＢ、ＩＥＥＥ１３９４、無線ＬＡＮ等のＩ／Ｆプロトコルにより実現される。また、撮像時の焦点距離又はズーム状態、カメラ内部パラメータ、歪み係数等の防振に必要な情報を含んだ映像信号を外部から入力することも可能であり、これにより記録済み映像の防振処理を可能にする。

図３には、本実施例における防振処理手順を示す。動きベクトル算出ステップ、防振パラメータ算出ステップ、幾何変換処理ステップにより構成され、入力される映像フレームに対して処理を繰り返す。動きベクトル算出ステップ、防振パラメータ算出ステップ及び幾何変換処理ステップはそれぞれ、動きベクトル検出部１０４、防振パラメータ算出部１０６及び幾何変換処理部１０７にて処理が実行される。また、各部での処理は、システム制御部１１０に格納されたコンピュータプログラム（画像防振プログラム）によって制御される。

Ｓ（ステップ）３０１は、動きベクトル算出ステップである。このステップでは、前処理部１０３から直接入力されるカレントフレームと、ワークメモリ１０５から入力される過去フレームとの間で動きベクトルを算出する。動きベクトルの算出では、テンプレートマッチングや勾配法に基づくマッチングが行われる。

図４には、テンプレートマッチングの一種であるブロックマッチングの例を示す。ここでは、左側の映像フレーム（フレーム画像）４０１を基準画像とし、右側の映像フレーム（フレーム画像）４０２を探索画像とする。例えば、先に入力された過去フレームを基準画像とし、後から入力されたカレントフレームを探索画像として動きベクトルを検出する。左画像４０１中でグリッド状に配置した注目点４０４を中心とした所定サイズの部分領域をテンプレート４０３とする。そして、右画像４０２中で任意の探索領域４０７を設定し、該探索領域４０７を順次移動させながらテンプレート４０３と最も合致する位置を探索する。

具体的には、右画像４０２中の注目画素４０５を基準とした領域４０６と左画像４０１中のテンプレート４０３との類似度を計算する。類似度の指標としては、ＳＳＤ(Sum of Square Difference)、ＳＡＤ(Sum of Absolute Difference)、正規相互相関等の相関演算の結果が用いられる。実写映像のようにフレーム間の輝度変動が激しい場合は、正規相互相関が主に用いられる。正規相互相関の類似度スコアの算出式は以下の通りである。

探索領域の類似度を一通り算出した結果、最も類似度の高い位置を対応位置とみなして動きベクトルを算出する。オクルージョンがなければ、基準画像（左画像４０１）上で設定した注目点４０４の数だけ動きベクトルを算出する。動きベクトルはそれぞれ、基準画像中の注目点４０４の位置を始点とし、探索画像（右画像４０２）中の対応点の位置を終点とするベクトルにより、以下のように表現される。

以上、注目点をグリッド状に固定的に配置したブロックマッチングの例を示したが、基準画像上で動きベクトルを算出しやすい特徴点を抽出し、その位置を注目点としてもよい。

注目点の抽出には、通常Harrisオペレータ（C. Harris and M. Stephens, “A combined corner and edge detector”, Fourth Alvey Vision Conference, pp.147-151, 1988.）等の画像処理フィルタが用いられる。

Harrisオペレータは、まずウィンドウサイズＷを決定し、水平及び垂直方向についての微分画像(I_dx,I_dy)を計算する。この計算には、微分画像の計算Soblフィルタ等を用いればよい。例えば、フィルタは、ｈ＝[1,√2,1]/(2+√2)を横方向とし、縦方向に３つにならべた３×３フィルタｈ_ｘ及び横方向に３つならべた３×３フィルタｈ_ｙを画像に適用することで、(I_dx,I_dy)を得る。

そして、画像内の全ての座標(x,y)について、ウィンドウＷを用いて、次のマトリクスＧを計算する。

さらに、マトリクスＧの最小特異値が大きい座標(x,y)の順に特徴点を抽出していく。その際、特異点があまり密集しないほうが好ましい。そこで、既に特徴点が抽出済みの座標(x,y)を含むウィンドウサイズＷの周辺では特徴点を算出しない等の約束を設けてもよい。

Ｓ３０２は防振パラメータ算出ステップである。このステップでは、カレントフレームと過去フレーム間の動きベクトルを入力として、当該フレームに対する防振パラメータを出力する。算出処理に遅延が生じない場合は、カレントフレームに対応する防振パラメータとなる。遅延が生じている場合には、遅延量分過去のフレームが防振パラメータの算出対象フレームとなる。

防振パラメータ算出ステップＳ３０２では、図５に示すよう、さらに細分化されたステップにより、防振パラメータを算出する。防振パラメータは、カメラ内部パラメータ、歪み係数及び防振補正量を表す幾何変換マトリクスにより構成される。

まず、Ｓ５０１の正規化ステップでは、動きベクトルを入力フレームのピクセル座標系の動きベクトル値から正規化画像座標系における動きベクトル値に変換する。(x,y)は入力フレーム上のピクセル座標を、(u₀,ν₀)は歪みを含む正規化画像座標を示す。また、(u,ν)は歪みを除去した正規化画像座標を示す。ここでは、まず動きベクトルを内部パラメータにより正規化画像座標に変換する。inv（）は括弧内のマトリクスの逆行列を表す。

そして、歪み係数により歪みを除去する。

→の演算は、以下で説明する処理で行う。歪み除去は、放射ひずみの関係である、

を用いて行う。ｋ_１，ｋ_２，ｋ_３はそれぞれ、１次，２次，３次の放射方向の歪み係数を表す。これらは、レンズ光学系１０１の収差より生じる歪みである。

また、歪みは、レンズ光学系１０１の焦点距離によって変化する。このため、歪みと焦点距離との関係は、設計値から算出するか焦点距離を変化させて事前に計測される。そして、焦点距離に対応するルックアップテーブル又は焦点距離に関する変換式として、不揮発メモリ部１１２に記憶させる。

システム制御部１１０は、ズーム調整部１１１から通知されるレンズ光学系１０１のズーム状態から焦点距離を計算する。そして、対応する歪み係数を計算式からの計算又はルックアップテーブルの参照によって得て各処理部に通知する。

本実施例では、放射方向の歪みのみを除去するが、動径方向の歪みのような別の歪みが顕著ならば、別途、歪み除去処理を追加して行ってもよい。

Ｓ５０２の画像変化量算出ステップでは、正規化画像座標系に変換したフレーム間の動きベクトルを入力として、フレーム間の画像変化量を算出する。画像変化量の指標としては、射影ホモグラフィを用いる。過去フレームにおける正規化画像座標を(u_i,ν_i)とし、カレントフレームにおける正規化画像座標を(u_i’,ν_i’)とし、ｉ＝ｌ，Λ，ｍ（ｍは動きベクトル数）とすると、以下の射影ホモグラフィについての線形式を得ることができる。

この線形式は、対応点数ｍがｍ≧８ならば過決定となる。そして、線形最小二乗式として解くことにより、

が求められる。これを３×３のマトリクスに整形することにより、

で表される射影ホモグラフィ、つまりは画像変化量が求められる。

Ｓ５０３の見え変化成分除去ステップでは、フレーム間から求まる画像変化量から、見え変化成分を除去する。画像変化量、つまりは射影ホモグラフィは、回転と並進からなるカメラワークの情報（回転及び並進に関する情報）と、空間中の基準面の深さ位置及び方向からなるシーン配置の情報とにより構成されるフレーム間の動きを表す指標である。

射影ホモグラフィと、カメラワーク及びシーン配置の関係は次式により表される。

Ｒはカメラの回転を、
はカメラの並進を示す。ｄは基準面までの距離を、
は、基準面のカメラから離れる向きの法線、λは任意の定数である。ここで、２画像間からの算出では、空間平面の距離ｄとカメラワーク並進のノルムである、

の積を分けることはできない。ノルムとは、ベクトルの大きさを表す量である。つまり、
は、並進方向を表す単位方向ベクトルとしての、

として、ｄは空間平面までの距離と並進量の大きさの積として扱われる。

ここで、見え変化成分とは、基準面の方向について、任意の方向を向いた基準面と光軸に垂直な方向を向いた基準面との射影ホモグラフィとしての差分量として定義する。

つまり、まず任意の方向を向いた基準面に対して並進することにより生じる画像変化量があるとする。また、同じ深さ位置に存在し、光軸に垂直な基準面に対して、同じ量並進することにより生じる画像変化量が計算されるとする。これらの差分を見え変化量として定義している。

言い換えれば、見え変化成分とは、画像間の幾何変化におけるせん断を示す。この成分は、画像変化量の逆変換を補正量として防振を行う際に、画像を歪ませる成分に相当する。防振に適する動き情報を求める際には、見え変化成分を除去しなければならない。

また見方を変えれば、見え変化成分の除去は、対応点の空間中の分布により任意に決まるホモグラフィの基準面方向を変位前の画像面に平行な方向に向けることに対応する。つまり、基準面の法線方向を変位前の画像面の光軸方向に平行に向けることに対応する。

この見え変化成分を除去するため、射影ホモグラフィを、カメラワーク回転Ｒと、シーンの被写体を近似した面の方向
と、並進
及び深度ｄの積である、

とに分解する。そして、面の方向
をカメラ光軸に垂直な方向に置き換え、見え変化成分を除去したホモグラフィを再計算する。

まず、射影ホモグラフィの分解においては、以下の手順により可能な２つの解を算出する。射影ホモグラフィの２つの解への分解は、固有値分解又は特異値分解を利用し、不変量を見出すことで行われる。様々な解法を採りうるが、ここでは、B.Triggs,””Autocalibration from Planar Scene”,ECCV98で用いられたアプローチを参考に説明する。

最初に、Ｈの符号は、平面上の全ての対応点、

で、

を満たすように選択されるとする。

Ｈの特異値分解は、Ｈ＝ＵＳＶ^Ｔとなる。ここで、Ｕ及びＶは、３×３の回転マトリクスである。また、

は、正の降順対角要素σ_１≧σ_２≧σ_３≧０であり、Ｈの特異値とする。また、関連する直交マトリクスＵ及びＶの列要素をu₁,u₂,u₃及びν₁,ν₂,ν₃で表す。

第１カメラの参照系を採用し、３次元平面を、

とする。

ここで、
は外向き(カメラから離れる方向)の法線とする。ζ＝１／ｄ≧０は、平面に対する距離の逆数である。この参照系においては、第１カメラは３×４の射影マトリクス、

を持つ。そして、第２カメラは、Ｐ_２＝Ｒ［Ｉ_３×３｜ｔ］＝［Ｒ｜ｔ′］である。ｔ′＝−Ｒｔであり、ｔ，ｔ′はカメラ間の並進(つまり、第１カメラの光軸中心から第２カメラの光軸中心への並進)であり、Ｒはカメラ間の回転を表す。

第１カメラの画像１から第２カメラの画像２の間の画像変化を表すホモグラフィは、Ｈ＝ＲＨ_１であり、ここでは、

である。このとき、平面上の３次元点
に対して、

である。なぜなら、そこでは、

であるためである。そして、
を画像１内の任意点として扱うと、違いは全体のスケール因子のみである。

積である、

のみが復元可能であるため、‖ｔ‖＝‖ｎ‖＝１で正規化する。つまり、平面距離１／ζは、単位基線長‖ｔ‖において測定される。そして、可能な符号を決めるために、後述するデプス正制約テストを行う。

特異値分解のＨ＝ＵＳＶ^ＴとＨ_１＝Ｕ_１ＳＶ^ＴはＲの要素まで同じである。すなわち、Ｕ＝ＲＵ_１である。Ｈ_１において、外積ベクトル、

は不変である。もし特異値が明確ならば、

は特異ベクトルに対応しなければならない。これにより、これはいつも２番目の特異ベクトルν_２であると分かる。このため、Ｈの補正正規化はＨ→Ｈ／σ_２、つまり（σ_１，σ_２，σ_３）→（σ_１／σ_２，１，σ_３／σ_２）である。以下、σ_２による正規化が済まされているものと想定する。

画像フレーム１において＜

がν_２に対応することが与えられると、

は｛ν_１，ν_３｝により占められなければならない。つまり、任意のパラメータα、β（ただし、α^２＋β^２＝１）)に対して、

である。
に直交する任意方向(特に
)はＨもしくはＨ_１によって変化しないノルムを持つ。

ここで、

である。

ここで、

を上記のν_１もしくはν_３に対応させると、解がなくなってしまう。それゆえν_２のみが可能となる。

厳密には、左辺の同じ引数が、

を示す。
がＨ_１の固有値である、

の固有ベクトルを満たすならば、

を得る。このため、

である。また、単純化後は、ζ＝σ_１−σ_３である。

Ｈ_１の特異値分解の左辺である、

は表記

により復元可能であり、
がＨ_１の固有ベクトルであることが必要である。そこでは、

である。また、単純化後は、

である。そして、このため、

として、最後に回転Ｒが得られる。

以下、画像変化量を、回転と並進からなるカメラワークＲ、
(方向ベクトル)と空間の基準面の深さ位置ｄと方向
からなるシーン配置との可能な２つの解を算出するための、一連の具体的な処理をまとめて示す。

これらを用いて可能な２つの解、

が求まる。

との符号の整合性を取ることにより、可能な２つの解が算出される。その後、エピポーラ誤差チェックを行い、誤差の少ない１つの解を抽出する。

エピポーラ誤差チェックは、以下のようにして実行される。対応点である、

より求められたホモグラフィを分解して得られる姿勢変化とシーン情報の可能な２つの解のセットである、

について、対応点を用いてエピポーラ誤差を算出する。エピポーラ誤差は、

で表される。ｎは対応点数である。そして誤差の小さな解を真の解として選択する。これにより、

の唯一の解が求まる。

画像変化量を分解して得られた、

の基準面法線
を光軸に垂直な法線である、

に置き換えて、画像変化量を再計算する。

これにより、見え変化成分を除去した画像変化量が算出される。

なお、基準面法線
を変更するのではなく、画像変化量を分解して得られた回転Ｒと正規化画像座標系における対応点
、
を用いて見え変化成分を除去した画像変化量を再計算してもよい。

をまず計算する。そして、カメラワークの回転Ｒの影響を除去した対応点である、

間で基準面を第１カメラの光軸に垂直にした場合に生じる並進の画像変化量への影響である拡大縮小及び並進(垂直・水平)成分を最小二乗的に算出する。

ここで、est()は括弧内の対応点間で拡大縮小及び並進(垂直及び水平)の変位成分を最小自乗的に算出する処理である。そして、

を計算する。結果面を立てることにより得られる並進カメラワークのホモグラフィへの寄与を別のアプローチにより安定的に求めることができる。これにより、基準面法線
を変更した場合と同様に、見え変化成分を除去した画像変化量が算出される。

Ｓ５０４の補正量算出ステップでは、見え変化成分を除去された各フレーム間の画像変化量を入力とする。そして、該変化量の過去のフレーム間について算出された系列、

も含めた系列を用いてある対象フレームに対する防振補正量を算出する。ここで、ｎはカレントフレーム番号、ｋは系列の構成数とする。

次に、周波数の高い動き成分を防振すべき成分とみなして映像シーケンスから除去するように防振補正し、周波数の低い動き成分を意図ある動き成分とみなして映像に保存する。

具体的には、フィルタリングによりこれら信号成分の分離を行う。フィルタリングはデジタルフィルタリングにより実現する。入力系列の構成数は、デジタルフィルタのタップ数に対応させる。

図７はデジタルフィルタリングによる防振補正量の算出過程を説明する模式図である。ここでは、デジタルフィルタを一例として５タップのＦＩＲフィルタとする。１フレームに対する防振補正量の算出に５つのフレーム間画像変化量を必要とする。

図１８に、補正量算出の手順を示す。

まず、Ｓ１８０１の累積変化量算出ステップでは、カレントフレーム間及び過去フレーム間について算出された画像変化量から、入力系列の先頭を基準とした累積変化量

を算出する。ここで、

である。したがって今回の例の場合における一例を上げると、

となる。

Ｓ１８０２のホモグラフィフィルタリングステップでは、累積変化量ホモグラフィの系列に対し、フィルタリングを行う。デジタルフィルタを設計し、その係数を決定するには、フーリエ級数法や窓関数法を組み合わせて行う。遷移領域及びタップ数等の特性を決定し、デジタルフィルタの係数を算出する。

デジタルフィルタのタップ数（ＴＡＰ＝５）に応じた累積変化量系列の入力、

を行い、デジタルフィルタリングを実行する。この結果、遅延の影響を受けたフィルタリング結果、

が出力される。デジタルフィルタがＦＩＲフィルタの場合遅延量はタップ数に比例する。すなわち、

である。したがって、５タップにより構成されるデジタルフィルタの場合、２フレーム間分の遅延が発生する。このためカレントフレーム間から４つ前のフレーム間までの画像変化量、

を用いて累積変化量、

を計算し、デジタルフィルタリングを行ったフィルタリング結果は、カレントより２フレーム間前の累積変化量Ｈ^３ _accに対応することになる。

Ｓ１８０３の補正量算出ステップでは、フィルタリング結果から復元された画像変化量、

と、遅延の結果対応することとなった対象フレーム間の画像変化量の累積変化量Ｈⁱ _accを用いて防振補正量を算出する。デジタルフィルタがローパスフィルタの場合、

を計算することにより対象フレームの防振補正量が求まる。ｋはデジタルフィルタのタップ数である。タップ数５である今回の例の場合、

により、カレントフレーム間よりも２フレーム前のフレーム間に対応する防振補正量が算出される。本例ではｎ＋１フレームをカレントフレームとするとｎ−１フレームが防振処理されるフレームとなる。

以上のような手順により、対応するフレームに対する防振補正量が算出される。しかしながら、通常は、デジタルフィルタリングは時間軸のみを持った１次元信号を入力信号の前提とする。このため、フィルタリングステップの前に多次元量であるホモグラフィの系列を複数の１次元量系列、例えば、

のような系列のセットに変換（成分分離）する必要がある。本実施例では、フレーム間の画像変化量である射影ホモグラフィ、

をカメラワークに類似した成分に分離された１次元量系列セットに変換する。そして、デジタルフィルタリングを実施する。その後、フィルタリング後の１次元量セットを逆変換し、フィルタリング後の射影ホモグラフィ、

を得る。

図８は、図７のフィルタリング処理の内部処理と、図１８の処理手順のホモグラフィフィルタリングステップＳ１８０２とをより細かく説明するための模式図である。

多次元量として表現される射影ホモグラフィを、１次元量に変換する。そして、その時系列をデジタルフィルタリングする。その後、１次元量のフィルタリング結果を復元して多次元量であるフィルタリング後ホモグラフィを得る。この処理の手順を図１９に示す。

Ｓ１９０１の成分変換ステップでは、まず、

で表される、各累積変化量ホモグラフィについて、ｈ_９＝１となるように、ｈ_９でＨⁱ _accの各成分を割り、正規化を行う。そして、ホモグラフィを画像内の動きである並進（水平、垂直）、拡大縮小、回転、せん断、あおり（水平、垂直）の７成分に以下の式により分離する。

これにより、水平並進ｔ_ｘ、垂直並進ｔ_ｙ、拡大縮小ｓ、回転（面内回転）θ、せん断の非等方倍率α、せん断の方向角φ、水平あおりν_ｘ、垂直あおりν_ｙの８パラメータに分解される。ただし、

である。

累積変化量系列である、

をカメラワークに類似した成分に分解した１次元時系列量セット、つまり、

を入力として、各成分についてデジタルフィルタリングを行う。ただし、見え変化成分を除去しているため、常にせん断成分は、α＝１、φ＝０であるべきなので、フィルタリングは行わなくてもよい。つまり、

を入力時系列信号セットとしてもよい。成分毎にデジタルフィルタリングを行う。

以下、成分毎のデジタルフィルタリング処理について説明するする。この処理は、図８のカッコ内の処理に対応する。例えば、ｔ_ｘ成分に注目すると、

のタップ数に応じた項数の１次元時系列信号にデジタルフィルタリングを適用する。この際、時系列信号を定常とみなすため、オフセット
を減算する。
は１次元信号系列である、

の平均値である。オフセットを減算した時系列信号に対し、デジタルフィルタリングを適用する。

また、Ｓ１９０２の線形化ステップでは、拡大縮小項（拡大縮小成分）ｓについては変化を線形とするため、ｓ′＝log_eｓで対数変換した後にデジタルフィルタリングを適用する。

さらに、あおり項ν_ｘ及びν_ｙについては、カメラワークに類似した成分に変換する際の演算順から拡大縮小項の影響が乗った値となってしまう。この影響を除去するため、画像上の見えとしてデジタルフィルタリングを適用する。このため、拡大縮小成分ｓを乗算した画像の見えに変換し（ν_ｘ′＝ｓν_ｘ，ν_ｙ′＝ｓν_ｙ）、その後フィルタリングを行う。

Ｓ１９０３の時系列フィルタリングステップでは、成分ごとの次元信号系列に対しフィルタリングを行う。

Ｓ１９０４の非線形復元ステップでは、まずフィルタリング結果の時系列信号から最終時系列項（カレント信号に対応する出力値）のみを抽出する。ここでは、

を出力セットとする。そして、フィルタリング前に減算した各オフセット項である、

を加算し復元する。さらに、拡大縮小項及びあおり項の復元を行う。具体的には、

の計算（指数変換）を行う。

ただし、このようにして求められたフィルタリング結果、

は遅延の影響を受けるため、最終フレーム間に対応する動き成分ではなくなっている。ＦＩＲフィルタならば、タップ数をｋとすると、（ｋ−１）／２の遅延が発生する。つまり、カレントから（ｋ−１）／２前のフレーム間の動きをフィルタリングした結果となる。

Ｓ１９０５の成分逆変換ステップでは、フィルタリング結果の１次元量セット、

から、ホモグラフィの形式を以下の式を用いて復元する。

である。

そして、前述のように、フィルタリング結果から復元された画像変化量、

と、遅延の結果対応することとなった対象フレーム間の画像変化量の累積変化量Ｈⁱ _accを用いることで防振補正量が算出される。

Ｓ３０３は幾何変換ステップである。該ステップでは、防振パラメータ算出部１０６にて算出された防振補正量、及びシステム制御部１１０から通知されるカメラ内部パラメータ、歪み係数を含む防振パラメータを入力とする。さらに、ワークメモリ１０５から入力される当該フレームを入力する。

幾何変換処理部１０７では、防振パラメータを当該フレームに対して適用し、幾何変換を行う。これにより防振処理後のフレームを得る。幾何変換は、例えばバックワードマッピングにより実現される。

防振パラメータには、撮像時のカメラ内部パラメータ、歪み係数及び防振補正量に加え、幾何変換後のカメラ内部パラメータ及び歪み係数が含まれる。通常、幾何変換後のカメラ内部パラメータは、焦点距離以外は幾何変換前のカメラ内部パラメータと同じに設定される。これに対し、焦点距離は、防振のための余剰画素を確保するため、幾何変換前よりも長く設定され、映像シーケンス中で欠損が生じないように画角を決定する。また、幾何変換後の映像は通常は歪みのない状態として出力される。

防振補正量は、例えば、正規化画像座標系における画像斉次座標を変換する３×３の幾何変換マトリクスにより表現される。

図６には、バックワードマッピングにおける幾何変換後のピクセル座標位置に対応する幾何変換前のピクセル座標位置を算出する処理手順を示す。幾何変換後のピクセル座標位置に対応する幾何変換前のピクセル座標位置を算出し、補間により該ピクセル座標位置のピクセル値を算出する。この手順を全ての幾何変換後のピクセル位置について行うことにより防振処理後フレームを得る。

Ｓ６０１の正規化ステップでは、防振処理後フレームのピクセル座標である、

を正規化画像座標系上の座標値に変換する。つまり、カメラ内部パラメータの影響を除去した、焦点距離ｆ＝１のカメラ座標系での画像座標を求める。防振処理後の焦点距離である、

を含む内部パラメータを用いて、正規化画像座標系上の座標値に変換する。inv（）は括弧内の行列の逆行列を表す。

Ｓ６０２の歪み除去ステップは、幾何変換後画像に加えられるディストーションを除去するステップである。通常、幾何変換後映像は無歪みの映像とする。そのため、出力映像が無歪み映像の場合、このステップは省略される。つまり、

となる。

逆に、出力映像が歪みを加えた映像の場合は、正規化画像座標上での無ひずみ座標(u′,ν′)を歪み座標(u_ｄ′,ν_ｄ′)から算出する。

という手順により、無歪み座標(u′,ν′)を求める。

Ｓ６０３の幾何変換ステップでは、正規化画像座標上での防振補正の逆変換を実施する。防振補正量を表す幾何変換マトリクスを３×３の行列Ｈとすると、バックワードマッチングであるため、その逆行列inv（Ｈ）を正規化された座標点(u′,ν′)に適用することになる。

これにより防振補正前の正規化画像座標(u,ν)を得る。

Ｓ６０４の歪み付加ステップでは、正規化画像座標値に幾何変換前の歪みを付加する。以下の式により、放射方向歪みによるずれを付加する。

ｋ_１，ｋ_２，ｋ_３はそれぞれ１次、２次、３次の放射方向歪み係数を表す。

Ｓ６０５は正規化復元ステップである。このステップでは、歪みを加えた防振補正前の正規化画像座標(u_ｄ,ν_ｄ)に対し、カメラ内部パラメータを以下のように適用することで入力フレーム上でのピクセル座標を得る。

該ピクセル座標におけるピクセル値をバイキュービック補間等の補間法によりサンプリングし、防振処理後フレームの各ピクセルのピクセル値を得る。防振処理後フレームのすべてについてバックワードマッピングを行うことにより幾何変換処理が完了される。

以上の処理ステップにより、映像信号の各フレームに防振処理が実施される。そして、防振処理された映像ストリームを符号・復号化部１０８にて、ＮＴＳＣ、ＭＰＥＧ４等の映像フォーマットに符号化する。

最後に、記録部１１３にて符号化された映像ストリームを記録媒体に記録する。

本実施例の処理により、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。

なお、上述した実施例における時系列フィルタリングでは、デジタルフィルタリングを利用した。しかし、意図したカメラワークと意図しないカメラ振れに関連する画像変化量への分離は、他のフィルタリング手法を利用して行ってもよい。

さらに、本実施例では、ビデオカメラに搭載された画像防振装置について説明したが、撮像光学系や撮像素子を持たない画像防振装置単体としても実現可能である。例えば、パーソナルコンピュータに上述した防振処理機能を実現するコンピュータプログラムをインストールすることで、該パーソナルコンピュータを画像防振装置として使用することも可能である。この場合、パーソナルコンピュータに、ケーブル、無線ＬＡＮ等を介してビデオカメラで撮像した映像情報を入力し、該パーソナルコンピュータによって防振処理を行う。

本発明の実施例２である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。また、防振の処理手順の大まかな部分は、図３で説明した実施例１における処理手順と同じである。本実施例の処理手順の実施例１との差である防振パラメータ算出ステップを図９に示す。

Ｓ９０１の正規化ステップでの処理は、図５の正規化ステップＳ５０１の処理と同様である。

Ｓ９０２の姿勢量算出ステップでは、正規化画像座標系に変換したフレーム間の動きベクトルを入力として、フレーム間の画像変化の量を算出する。画像変化量の指標として、画像間から求まるカメラの姿勢変化量を用いる。

以下、正規化画像座標系に変換したフレーム間の動きベクトルから、姿勢変化量の可能な２つの解である、

を算出する。

姿勢変化量の可能な２つの解の算出には、例えば「金谷健一,”画像理解-３次元認識の数理-“,森北出版」に記載された方法を用いる。この場合、フレーム間の対応点はオプティカルフローであることが求められる。つまり、フレーム間のカメラの姿勢変化である、

が非常に微小であるという前提が必要となる。言い換えれば、カメラワークに比べて映像のフレームレートが十分高く、

が成り立つ範囲であることが求められる。以下、式中では、

これらはそれぞれ次のような意味を持つ。

これらを用いて解を得る。

Ｗ_ｓの固有値をσ_１≧σ_２≧σ_３≧とし、対応する固有ベクトルである、

を互いに直交する単位ベクトルにとる。

もし、σ_１＝σ_２＝σ_３＝０、すなわち、

ならば、運動パラメータは、

であり、面のパラメータ｛ｐ，ｑ，ｒ｝は不定である。

もしそうでなければ、次のように可能な２つの解が求まる。

まず、画像変化量算出の基準となる面の勾配｛ｐ，ｑ｝は次のように定まる。

最後に回転速度（ω_１，ω_２，ω_３）は次のように求まる。

はここでは要素の掛け算を表す。

さらにこの時、

である。以上の処理により、姿勢変化量の可能な２つの解である、

である。したがって、回転マトリクスは、

と近似される。この関係を用いて、対応点
、
より求められたホモグラフィを分解して得られる姿勢変化とシーン情報の可能な２つの解である、

について、対応点を用いてエピポーラ誤差である、

を算出する。そして、誤差の小さなセットを真のセット、

として選択する。

Ｓ９０３のホモグラフィ算出ステップでは、フレーム間から求まる画像変化量である姿勢変化量、

から、ホモグラフィを次のように算出する。

Ｓ９０４の補正量算出ステップでの処理は、図５の補正量算出ステップＳ５０４での処理と同様である。

本実施例では、実施例１に対して以上の変更を加えた処理ステップにより、映像信号の各フレームに防振処理を適用する。これにより、本実施例では、フレーム間の動き変化が小さな場合に、単純な処理で実施例１の手法と同じ効果が得られる利点を持つ。

なお、上述した実施例における時系列フィルタリングでは、デジタルフィルタリングを利用した。しかし、意図したカメラワークと意図しないカメラ振れに関連する画像変化量への分離は、他のフィルタリング手法を利用して行ってもよい。

本発明の実施例３である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。また、防振の処理手順の大まかな部分は、図３で説明した実施例１における処理手順と同じである。本実施例の処理手順の実施例１との差である防振パラメータ算出ステップを図１０に示す。

Ｓ１００１の正規化ステップでの処理は、図５の正規化ステップＳ５０１での処理と同様である。

Ｓ１００２の基本行列算出ステップでは、正規化画像座標系に変換したフレーム間の動きベクトルを入力として、フレーム間の画像変化の量を算出する。画像変化量の指標として、画像間から求まる基本行列Ｅを用いる。基本行列Ｅの算出にはフレーム間対応点の情報である、

を用いる。ここで、

の線型方程式を形成する。対応点数ｎがｎ≧８ならば過決定となり、基本行列のベクトル形式である

を最小二乗的に求めることが可能になる。そして、該ベクトル形式
を３×３の行列形式に整形することで基本行列Ｅが求まる。

Ｓ１００３のホモグラフィ算出ステップでは、フレーム間から求まる画像変化量である基本行列及び基本行列算出に用いた正規化座標における対応点から、射影ホモグラフィを算出する。フレーム間の基本行列Ｅは、フレーム間のカメラワーク回転Ｒ、並進
により以下のように構成されている。

そこで、特異値分解ＵＳＶ^Ｔ＝ＳＶＤ（Ｘ）を用いて、基本行列を分解していく。ここでＳは対角要素に特異値を持つマトリクス、Ｕ，Ｖは特異値に対応する特異ベクトルにより構成されるマトリクスである。また、

また、基本行列Ｅは、スケール分の不定性を持つ。このため、

としたときの余剰なＥのスケール成分は、無視する。結果
は、並進の方向を示す方向ベクトルを表す。また、符合の不定性を生じることから、並進及び回転に対して４つの解が可能となってしまう。ここでは、Ｒ≧０及びデプス正制約を付加することで、１つの解を選定する。

sign()は括弧内の数値の符号が正なら＋１、負なら−１、０なら−１を算出する関数である。

nsignが正ならばそのまま、負ならば方向ベクトル
の符号を反転する。

次に、ホモグラフィを算出する。基本行列から唯一の姿勢変化の解のセットである、

が求められたならば、この情報を用いて見え変化成分（並進により生じるせん断、あおりの画像変化）を除いたホモグラフィを算出する。見え変化成分を含まないようにするため、

より、足りない要素ｄを求める。

のsumが最小となるように、深さ方向の基準面距離と並進の大きさの積ｄを求める。この結果、

の関係式と基本行列、及びそれを計算するのに用いた対応点より、対応点分布に依存する見え変化成分を含まない射影ホモグラフィＨが求まる。

Ｓ１００４の補正量算出ステップでの処理は、図５の補正量算出ステップＳ５０４での処理と同様である。

本実施例では、実施例１対して以上の変更を加えた処理ステップにより、映像信号の各フレームに防振処理を適用する。

また、本実施例３の防振パラメータ算出手法は、防振パラメータ算出ステップに入力される対応点のシーン中における分布がある単一平面上に存在すると不安定になるという性質を持つ。逆に、実施例１の防振パラメータ算出手法は、対応点のシーン中における空間点が広い奥行き範囲に一様に分布している場合に不安定になるという性質を持つ。つまり、両者は補完的な性質を有する。

そして、この性質を利用するために、両方の特性を生かす実装をしてもよい。例えば、図１１は、画像変化量を算出する前に、正規化対応点分布の平面性（つまりは、動きベクトル点の空間分布の平面性）を調べ、その結果に応じて処理を切り換える防振パラメータ算出処理手順を示す。

Ｓ１１０１の正規化ステップでの処理は、実施例１の図５の正規化ステップＳ５０１での処理と同様である。

Ｓ１１０２の平面性算出ステップでは、対応点から射影ホモグラフィを算出し、該射影ホモグラフィにより規定される空間中の基準面と、対応点の空間中の分布との適合度を平面性により調べる。フレーム間の対応点を、

として、以下の式により平面性Ｐを算出する。Ｈは対応点から求められた射影ホモグラフィ、ｎは対応点数である。

そして、しきい値ｔｈを設定し、Ｐ≦ｔｈならば対応点は平面的な分布と判断し、Ｐ＞ｔｈならば対応点は非平面的な分布と判断する。

対応点分布が空間中で平面分布に近い場合は、実施例１のＳ１１０４による射影ホモグラフィ算出ステップに進む。そして、画像変化量の指標を射影ホモグラフィとした防振パラメータ算出を行う。逆に、対応点分布が平面分布に近くない場合は、本実施例の防振パラメータ算出手法におけるＳ１１１４の基本行列算出ステップに進む。そして、画像変化量の指標を基本行列とした防振パラメータ算出を行う。

これ以後は、実施例１又は本実施例の防振パラメータ算出ステップによって防振パラメータを算出する。また、動きの絶対量が小さい場合は、本実施例の基本行列ベースの手法は誤差を生じやすい。このため、平面性の判定に動きの絶対量の指標を加えてもよい。動きの絶対量の指標としては、フレーム間の対応点のずれの二乗平均等が考えられる。

本実施例によれば、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。特に、奥行きの広いシーンや動きの大きなシーン映像に対して、安定した防振処理結果が得られる。

なお、上述した実施例における時系列フィルタリングでは、デジタルフィルタリングを利用した。しかし、意図したカメラワークと意図しないカメラ振れに関連する画像変化量への分離は、他のフィルタリング手法を利用して行ってもよい。

本発明の実施例４である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。また、防振の処理手順の大まかな部分は、図３及び図５で説明した実施例１における処理手順と同じである。本実施例の処理手順の実施例１との差である補正量算出ステップを図１２に示す。

本実施例では、補正量算出におけるフィルタリングを低次モデルフィッティングにより行う。まず、入力されたフレーム間の画像変化量を意図的なカメラワークの結果に対して、意図しないカメラワークというノイズが混入した観測値とみなして扱う。つまり、低周波数の動きにより構成される意図的なカメラワークを低次モデルによりモデリングする。そして、観測値に対してフィッティングによりフィルタリングを行う。また、該低次モデルはカルマンフィルタを用いて逐次更新していく。

また、本実施例では、各フレーム間の画像変化量を入力とする。また、画像変化量は見え変化成分を除去した射影ホモグラフィとする。

Ｓ１２０１のホモグラフィ変換ステップでは、入力射影ホモグラフィをカメラワークに類似した成分表現へと変換、分離を行う。低次モデルフィッティングを用いたフィルタリングは、多次元量系列の入力が可能である。しかし、カメラワークに対する入力多次元量の対応関係に非線形性があると、低次モデルフィッティングによるフィルタリング、カルマンフィルタによるモデル更新がうまく行かない。このため、この問題を防ぐために、本ステップでは、カメラワークに対して線形に変化する項と非線形に変化する項とに分離する処理を行う。

フレーム間についての入力射影ホモグラフィは、ｈ_９＝１としてスケール成分を正規化した場合、

で表される。

射影ホモグラフィの各項とカメラワーク（３軸回転、３軸並進）とを対比した場合、左上２×２項に影響するカメラワーク（前進、面内回転、パン、チルト）が混合している。その結果、これらカメラワークが同時に生じる場合、非線形な影響が生じ、フィルタリング及びモデル更新がうまく行かない可能性が発じる。このため、カメラワークに類似した画像変化成分（水平並進、垂直並進、拡大縮小、面内回転、せん断、水平あおり、垂直あおり）への変換を以下の式により行う。

を求め、上三角行列であるＫの性質を利用しｑｒ分解によりＲ、Ｋを分離する。

これにより、水平並進ｔ_ｘ、垂直並進ｔ_ｙ、拡大縮小ｓ、回転θ、せん断の非等方倍率α、せん断の方向角φ、水平あおりν_ｘ、垂直あおりν_ｙの８つのパラメータに分解する。ただし、

である。フレーム間画像変化量を表す１次元時系列量セット、つまり、

に変換される。

Ｓ１２０２の線形化ステップでは、カメラワークに類似した画像変化成分へと変換した上で残存する非線形性、拡大縮小成分の水平、垂直あおり成分への影響を除去する。上記分解演算の順序のため、画像上での見え方の観点からパラメータを見ると、あおり成分は拡大縮小成分の影響を受ける。このため、拡大縮小に関連するカメラワーク及びあおりに関連するカメラワークが同時に生じる場合は、非線形なパラメータ変化となる可能性がある。そこで、
ν_ｘ′＝ｓν_ｘ
ν_ｙ′＝ｓν_ｙ
の演算を行い、あおり成分から拡大縮小の影響を削除する。

Ｓ１２０３は、低次モデルフィッティングによるフィルタリングを行うステップである。本実施例においては、定速度モデルを画像変化量の変化モデルとする。これにより、画像変化量成分の定速度変化までを意図したモーションとして判断する。この結果、定速度変化よりも激しい変化を、意図しない画像変化量として区別することが可能となる。

まず、カルマンフィルタを用いることで、逐次的な状態モデル更新とフィルタリングを効率的に行う。カルマンフィルタを用いるため時系列を表現する次のような状態空間モデルを立てる。

ここで、ｘ_ｎは直接には観測できないｋ次元のベクトルで状態と呼ばれる。ν_ｎはシステムノイズで、平均ベクトル０、分散共分散行列Ｑ_ｎに従うｍ次元正規白色雑音である。ｗ_ｎは観測ノイズ、平均ベクトル０及び分散共分散行列Ｒ_ｎに従うｌ次元正規白色雑音である。また、Ｆ_ｎ，Ｇ_ｎ，Ｈ_ｎはそれぞれ、ｋ×ｋ、ｋ×ｍ、ｌ×ｋの行列である。

定速度モデルのシステムモデルはそれぞれ、状態変数ｘ及び、

により定義される。速度変数は表に表れない内部パラメータである。

速度変動要素を白色ガウスノイズＮ（０，σ）として扱う。ここで、Ｎ（０，σ）は、平均０、分散σの白色ガウシアンノイズを表す。

まず、ある１つの成分に対するシステムモデルは、次式のように表現される。

したがって、全ての入力画像変化量成分に対する状態空間システムモデルは、次式で与えられる。

そして、各パラメータに対する観測モデルは、

により表される。

は観測値、Ｎ（０，σ_x ^obs）は、ｘ成分に対する白色ガウシアン観察ノイズである。白色ガウシアン観察ノイズ成分により、意図しない動きが表現される。そして、この観測ノイズの分散、及びシステムノイズの分散を調整することにより、カメラモーションの平滑性を調節することが可能である。

上記システムモデル及び観測モデルを状態空間モデルの行列形式で表すと、

である。さらに、

とおくことができる。

これにより、モデルの逐次更新（x(t+1|t)←x(t|t)）は、
ｘ＝Ｆｘ
Ｐ＝ＦＰＦ^Ｔ＋ＧＱＧ^Ｔ
によって行われる。

そして、フィルタリング結果（x(t|t)←x(t|t-1),P(t|t)←P(t|t-1)）は、

により得られる。つまり、フィルタリング値である、

がカレントフレーム間に対する意識的なモーション成分として得られる。そして、カレントフレーム間と該予測値との差分が、補正量となるべき値として得られる。

Ｓ１２０４の非線形復元ステップでは、カメラワークに対して線形な変化が得られるように変形されていた画像変化量成分を元の非線形な成分に対し変換する。本実施例においては、次式によりあおり項を復元する。

ν_ｘ＝ν_ｘ′／ｓ
ν_ｙ＝ν_ｙ′／ｓ
Ｓ１２０５のホモグラフィ復元ステップは、カメラワークに類似した画像変化量成分へと変換された画像変化量をホモグラフィの表現へと復元するステップである。フィルタリング結果の１次元量セットである、

を、次式により変換する。

である。

Ｓ１２０６の補正量算出ステップは、防振補正量となる射影マトリクスを算出するステップである。フィルタリング結果から復元されたフレーム間の画像変化量Ｈ_filterと対象フレーム間の画像変化量Ｈとの差を防振補正量として算出する。遅延を考慮しない場合は、Ｈⁱ _filterを算出するために入力した当該フレーム間画像モーションＨⁱが対象フレームとなる。ｉはカレントフレーム間の番号であり、防振補正量をＨ_stbとすると、

により防振補正量が求められる。

また、遅延が存在する場合には、例えばカレントフレーム間のフレーム番号をｉとし、遅延量をdelayとして、ｉ′＝ｉ−delayの関係があるとしたならば、

という形でｉ′フレーム間に関する防振補正量が計算される。また、遅延がない場合は、この式のdelay ＝０に対応する。

Ｓ１２０７のモデル更新ステップは、状態空間モデルを更新するステップである。通常フィルタリングは、任意の基準フレームからの累積変化量系列に対してフィルタリングを行うことで、低周波数変化成分又は高周波数変化成分を抽出する。基準フレームは、通常初期フレームとされる。しかしながら、移動防振においては初期フレームを基準として防振を行うと、前進（後退）を含む場合、カメラワークに対し非線形変化する拡大縮小の累積変化量成分がすぐに非常に小さな（大きな）値となってしまう。この結果、微小な変動成分がフィルタリングができなくなってしまう。

この問題を防ぐため、カレントフレーム間の始点フレームを常に累積変化量の基準フレームとする。つまり、状態空間モデルの状態変数の基準フレームを移動するように更新していく。

具体的には、状態空間モデルの更新に用いたカレントフレーム間の画像変化量を用いて状態変数の基準フレームを１フレーム間ずらす。まず、状態変数である、

を射影ホモグラフィＨ_stateに復元する。そして、カレントフレーム間の画像変化量分の変化をキャンセルする処理を次式で行う。

さらに、射影ホモグラフィＨ_stateを状態変数項である、

に再度分解する。この結果、フィルタリングの際に、カレントフレーム間の画像変化量を入力しても、得られる結果はあたかも累積変化量を入力してフィルタリングしたような結果となる。

以上のような、低次モデルフィッティングによるフィルタリングと補正量算出処理を繰り返し、当該フレームに対する防振補正量を算出していく。

本実施例によれば、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。また、本実施例の処理により、カルマンフィルタ係数を調整するだけで、完全な防振から防振なしの状態まで、連続して防振度合いを調整することができる。

なお、本実施例では、画像変化量算出ステップを実施例１と同様とする場合について説明したが、実施例２，３で説明した画像変化量算出ステップを用いてもよい。

本発明の実施例５である画像防振装置の構成を図１３に示す。なお、この画像防振装置は、ビデオカメラには搭載されておらず、画像防振装置単体として、パーソナルコンピュータ等によって実現される。例えば、パーソナルコンピュータに、以下に説明する各処理を実行させるためのコンピュータプログラムをインストールすることで、該パーソナルコンピュータを画像防振装置として使用することができる。

同図において、１３０１は読出部、１３０２は復号化部、１３０３は前処理部、１３０４は動きベクトル検出部、１３０５はワークメモリである。また、１３０６は防振パラメータ算出部、１３０７は幾何変換処理部、１３０８は符号・復号化部、１３０９はワークメモリである。さらに、１３１０はシステム制御部、１３１１は不揮発メモリ部、１３１２は記録部、１３１３は表示部、１３１４は操作信号入力部、１３１５は外部Ｉ／Ｆである。

前処理部１３０３、動きベクトル検出部１３０４、防振パラメータ算出部１３０６、幾何変換処理部１３０７及び符号・復号化部１３０８により、映像信号処理部が構成される。

読出部１３０１は、半導体メモリ、磁気テープ、光ディスク等の記録媒体から映像信号及び撮像に用いられたカメラの内部パラメータ等の撮像情報を読み出す機構により構成されている。映像信号は、復号化部１３０２に送られ、撮像情報はシステム制御部１３１０に送られる。

復号化部１３０２は、読出部１３０１により読み出された映像信号が符号化されている場合は、これを復号化する。

前処理部１３０３は、復号化部１３０２から出力される映像信号に対して、動きベクトル検出のための映像処理を行う。例えば、ゲイン調整、ガンマ調整、輝度／色差分離、鮮鋭化、ホワイトバランス調整、黒レベル調整、表色系変換、コード化等の映像処理を行う。

動きベクトル検出部１３０４は、前処理部１３０３から得られる連続した輝度フレーム、輝度及び色差フレーム又は輝度／色差フレームを変換したＲＧＢフレーム等の映像フレームを入力とする。動きベクトル検出用に処理された微分処理フレームや、２値コードフレーム等を入力としてもよい。

動きベクトル検出部１３０４は、入力された連続フレーム間の動きベクトルを検出する。具体的には、前処理部１３０３から入力されたカレントフレームと、それ以前に入力されてワークメモリ１３０５に蓄積された過去フレームとの間で動きベクトルを算出する。過去フレームはカレントフレームに対して連続したフレームでもよいし、それより以前のフレームでもよい。

ワークメモリ１３０５は、例えば、先入れ先出しのメモリにより構成されている。

防振パラメータ算出部１３０６は、動きベクトル検出部１３０４から出力される動きベクトル及びシステム制御部１３１０から得られるカメラ内部パラメータ、歪み係数等のカメラキャリブレーション情報を入力として防振補正量を算出する。

カメラ内部パラメータは、実施例１と同様に、焦点距離、ピクセルサイズ、オフセット、せん断量により構成される。歪み係数も、実施例１と同様に、レンズ光学系の収差によるディストーション量を表す。

防振パラメータ算出部１３０６は、算出した防振補正量、カメラ内部パラメータ、歪み係数により構成される防振パラメータを出力する。

幾何変換処理部１３０７は、防振パラメータ算出部１３０６により算出された防振パラメータと、これに対応する映像フレームとを入力として、映像フレームの幾何変換処理を行う。実施例１でも説明したが、防振パラメータがフィルタリング処理等を経由することで、映像フレームとの対応関係に遅延が生じる場合がある。この場合には、映像フレームを一旦ワークメモリ１３０９を経由させ、映像フレームと防振パラメータ間の関係をそろえる。ワークメモリ１３０９は、ワークメモリ１３０５と同様の先入れ先出しメモリである。

符号・復号化部１３０８は、幾何変換処理部より連続して出力される映像フレーム信号をＮＴＳＣ、ＭＰＥＧ４等の映像フォーマットに符号化する。また、符号・復号化部１３０８は、記録された符号化済みの映像信号を再生するために、記録部１３１２から読み出された映像信号を復号化し、表示部１３１３に表示する。

システム制御部１３１０は、読出部１３０１に読出し通知を送り、映像信号及び撮像情報の読み出しを開始する。そして、撮像情報を取得するとともに、撮像時の制御パラメータを得る。制御パラメータには、カメラ内部パラメータ、ズーム状態と焦点距離との関係を示すルックアップテーブル又は変換式、焦点距離と歪み係数との関係を示すルックアップテーブル又は変換式が含まれる。

また、映像信号に対する焦点距離情報又はズーム状態情報は、時系列信号又は変更時の状態を記録するようなフォーマットを採り、全てのフレームの焦点距離が復元できる形式とする。

そして、システム制御部１３１０は、復号化部１３０２により復号化された映像情報を、前処理部１３０３に送る。また、符号・復号化部１３０８から出力された上記映像フォーマットに符号化された映像信号を、記録部１３１２に送り、記録させる。

また、システム制御部１３１０は、動きベクトル検出部１３０４、防振パラメータ算出部１３０６、幾何変換処理部１３０７、符号・復号化部等１３０８の各処理ブロックのパラメータ制御を行う。パラメータ初期値は、不揮発メモリ部１３１１から読み出される。各種パラメータは、表示部１３１３に表示され、操作信号入力部１３１４又はＧＵＩを用いてその値が変更される。

動きベクトル検出部１３０４に対しては、動きベクトル数や動きベクトルの探索範囲、テンプレートサイズ等の制御パラメータが保持される。幾何変換処理部１３０７に対しては、防振パラメータ算出部１３０６により算出された防振パラメータとその計算に用いられた内部パラメータや歪み係数等を制御パラメータとして与える。符号・復号化部１３０８に対しては、符号化方式や圧縮率の制御パラメータを与える。

さらに、システム制御部１３１０は、ワークメモリ１３０５，１３０９の制御を行い、出力の遅延量を制御する。

また、システム制御部１３１０は、映像シーケンスと撮像情報との対応をとる。すなわち、ズーム状態を表すズーム値を読み取るとともに、撮像情報として得られたズーム値と焦点距離との関係を示すルックアップテーブル又は変換式を用いて任意のズーム状態における光学系の焦点距離を得る。

実施例１でも説明したが、焦点距離の変動に応じて歪み係数が変動する。このため、システム制御部１３１０は、焦点距離に対応する歪み係数も算出する。撮像情報より得られた焦点距離と歪み係数とのルックアップテーブル又は変換式を用いて任意の焦点距離における歪み係数を算出する。さらに、システム制御部１３１０は、焦点距離以外のカメラ内部パラメータについても、撮像情報より取得して保持している。

焦点距離ｆ以外の内部パラメータは、水平及び垂直方向のピクセルサイズk_u,k_v、せん断量φ、水平及び垂直方向のオフセット量u₀,ν₀により構成される。これら内部パラメータは、カメラの設計仕様又はカメラキャリブレーションにより得られる。システム制御部１３１０は、これら内部パラメータ及び歪み係数を、防振パラメータ算出部１３０６に通知する。

不揮発メモリ部１３１１は、システム制御に必要な、動きベクトル検出部１３０４、防振パラメータ算出部１３０６、符号・復号化部１３０８、前処理部１３０３等に対する制御パラメータの初期値を保存している。制御パラメータは、システム制御部１３１０によって読み出される。

記録部１３１２は、半導体メモリ、磁気テープ、光ディスク等の映像信号を記録可能な記録媒体に対して、符合・復号化部１３０８により符号化された映像信号の書き込み（記録）と読み出し（再生）とを行う。

表示部１３１３は、ＬＣＤ，ＬＥＤ，ＥＬ等の表示素子により構成される。表示部１３１３は、例えば、パラメータ設定表示、警告表示、撮像された映像データの表示、記録部１３１２により読み出された記録映像データの表示を行う。記録映像データを再生する場合には、記録部１３１２から符号化された映像信号を読み出して、システム制御部１３１０を通して符号・復号化部１３０８に送る。復号化処理が行われた記録映像データは、表示部１３１３にて表示される。

操作信号入力部１３１４は、画像防振装置の機能の選択や各種設定を外部から行うための設定用ボタンを含む。また、防振処理を開始及び終了するための操作ボタンを含む。操作信号入力部１３１４は、タッチパネル式表示方式を用いることで、表示部１３１３と統合してもよい。

外部Ｉ／Ｆ１３１５は、操作信号入力部１３１４から入力された操作信号に代わる入力信号を外部から入力したり、符号化された映像信号を外部機器に出力したりするＩ／Ｆである。該外部Ｉ／Ｆ１３１５は、ＵＳＢ、ＩＥＥＥ１３９４、無線ＬＡＮ等のＩ／Ｆプロトコルにより実現される。また、撮像時の焦点距離又はズーム状態、カメラ内部パラメータ、歪み係数等の防振に必要な情報を含んだ映像信号を外部から入力することも可能であり、これにより記録済み映像の防振処理を可能にする。

本実施例における防振処理手順は、実施例１における処理手順と同じである。ただし、本実施例では、記録部１３１２より読み出された映像情報及び撮像情報を用いて、記録済みの映像情報に対して防振処理を施す。そして、防振処理された映像ストリームを符号・復号化部１３０８にてＮＴＳＣやＭＰＥＧ４等の映像フォーマットに符号化し、記録部１３１２にて、該符号化された映像ストリームを記録媒体に再記録する。

これにより、非常に短い焦点距離の撮像光学系を有するビデオカメラで過去に撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。

なお、本実施例では、画像変化量算出ステップを実施例１と同じとしたが、実施例２，３で説明した画像変化量算出ステップを用いてもよい。また、時系列フィルタリングも実施例１と同じとしたが、他のフィルタリング手法を利用してもよい。例えば、実施例４で説明した低次モデルフィッティングによるフィルタリングを用いてもよい。

また、本実施例での防振処理は、記録媒体に記録された映像情報に対してだけではなく、外部Ｉ／Ｆにより繋がるネットワーク先に記録保存された映像情報に対しても行うことができる。

本発明の実施例６である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。このため、実施例１と共通する構成要素には、実施例１と同符号を付す。また、防振処理手順の大まかな部分も、図３及び図５で説明した実施例１の処理手順と同じである。

本実施例の処理手順の実施例１との差である補正量算出ステップを図１４に示す。

Ｓ１４０１のホモグラフィ変換ステップでの処理は、実施例１のホモグラフィ変換ステップでの処理と同じである。Ｓ１４０２の線形化ステップでの処理も、実施例１の線形化ステップでの処理と同じである。Ｓ１４０３の時系列フィルタリングステップでの処理も、実施例１のフィルタリング処理ステップと同じである。

Ｓ１４０４の経験的フィルタリングでは、時系列フィルタリングステップＳ１４０３から出力される画像変化量成分セットである、

に対し、映像のカメラワークに対する経験的知識によりフィルタリングを行う。経験的知識は、例えば表示部１１４にメニューを表示し、操作信号入力部１１５の操作により該経験的知識を入力する。

図１５には、表示部１１４に表示される防振メニューの例を示す。防振メニューとして、映像のカメラワークの状態をラジオボタンで選択し、ＯＫボタンで決定する。また、防振メニューを図１６のようにして、画像変化量を直接指定できるようにしてもよい。そして、その結果をシステム制御部１１０に通知する。また、初期値は不揮発メモリ部１１２に記録されている。例えば、初期値は通常撮像である。

例えば、前進のカメラワークのみを再現した防振映像を得たいという経験的知識が撮像モードとして選択されている場合は、拡大縮小以外の意図的な画像変化量をないものとする。具体的には、

というフィルタリングを実施する。つまり、拡大縮小の画像モーションのみを映像に残留させるようなフィルタリングを時系列フィルタリング後の画像変化量成分セットに行う。

Ｓ１４０５の非線形復元ステップでの処理は、実施例１の非線形復元ステップでの処理と同じである。Ｓ１４０６のホモグラフィ復元ステップでの処理も、実施例１のホモグラフィ復元ステップでの処理と同じである。Ｓ１４０５の補正量算出ステップでの処理も、実施例１の補正量算出ステップでの処理と同じである。

本実施例により、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。また、特定の画像の動き（振れ）のみに対して防振処理を行った結果の映像を得ることも可能である。

本実施例では、時系列フィルタリングの処理結果に対して経験的フィルタリング処理を施す場合について説明したが、時系列フィルタリング処理の前に経験的フィルタリング処理を施してもよい。

また、時系列フィルタリングを行わずにこれをバイパスして、経験的フィルタリング処理のみを施してもよい。

なお、経験的フィルタリング係数は、１か０のバイナリではなく、１〜０の連続値でもよい。

さらに、本実施例においては、画像変化量算出ステップを実施例１と同じとしたが、実施例２，３の画像変化量算出ステップを用いてもよい。また、時系列フィルタリングを実施例１と同じとしたが、他のフィルタリング手法を利用してもよい。例えば、実施例４の低次モデルフィッティングによるフィルタリングを用いてもよい。

本発明の実施例７である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。また、防振処理手順の大まかな部分は、図９で説明した実施例２の処理手順と同じである。本実施例の処理手順の実施例２との差である防振パラメータ算出ステップを図１７に示す。

Ｓ１７０１の正規化ステップでの処理は、実施例２の図９で説明した正規化ステップＳ９０１での処理と同じである。

Ｓ１７０２の姿勢量算出ステップでは、正規化画像座標系に変換したフレーム間の動きベクトルを入力として、フレーム間の画像変化の量を算出する。画像変化量の指標として、画像間から求まるカメラの姿勢変化量を算出する。つまり、実施例２で説明した姿勢量算出ステップと同じ処理を行う。

Ｓ１７０３のフィルタリングステップでは、フレーム間のカメラの姿勢変化を示す、

の時系列データを作成し、フィルタリングを行う。ここでは、実施例１と同じデジタルフィルタリングでフィルタリングを行う。

Ｓ１７０４のホモグラフィ算出ステップでは、フレーム間から求まる画像変化量である姿勢変化量及び対応するフィルタリング結果から、ホモグラフィを算出する。具体的には、
それぞれフレーム間から求まる画像変化量としての姿勢変化量、

から、ホモグラフィＨ、すなわち、

を算出する。これにより、フィルタリング前後の画像変化量であるホモグラフィが計算される。

Ｓ１７０５の補正量算出ステップでの処理は、実施例１の補正量算出ステップでの処理と同じである。フィルタリング結果から復元された画像変化量である、

と、遅延の結果対応することとなった対象フレーム間の画像変化量の累積変化量Ｈⁱ _accを用いることで防振補正量が算出される。

本実施例により、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。また、他の実施例の手法と比較しても、さらに単純な処理で防振を実現することが可能になる。

なお、本実施例では、時系列フィルタリングを実施例１と同じとしたが、他のフィルタリング手法を利用してもよい。例えば、実施例４で説明した低次モデルフィッティングによるフィルタリングの一次元信号系列に対する処理を行ってもよい。

本発明の実施例１〜４，６，７であるビデオカメラの構成を示す図。 実施例におけるワークメモリの仕組みを説明する模式図。 実施例１での防振処理手順を示すフローチャート。 実施例１で行うブロックマッチングを説明する図。 実施例１での防振パラメータ算出手順を示すフローチャート。 実施例１での補正量算出処理手順を示すフローチャート。 実施例１での補正量算出処理手順におけるデジタルフィルタリングの手順を示す模式図。 実施例１でのデジタルフィルタリングにおいて、多次元量である射影ホモグラフィを扱う手順を示した模式図。 実施例２での補正量算出処理手順を示すフローチャート。 実施例３での補正量算出処理手順を示すフローチャート。 実施例３での防振パラメータ算出手順を示すフローチャート。 実施例４での補正量算出処理手順を示すフローチャート。 本発明の実施例５である画像防振装置の構成を示す図。 実施例６での補正量算出処理手順を示すフローチャート。 実施例６での表示メニュー例を示す図。 実施例６での表示メニュー例を示す図。 実施例７での防振パラメータ算出手順を示すフローチャート。 実施例１での補正量算出処理手順におけるデジタルフィルタリングの処理手順を示すフローチャート。 実施例１でのデジタルフィルタリング処理の詳細手順を示すフローチャート。

符号の説明

１０１ レンズ光学系
１０２ 撮像素子
１０３，１３０３ 前処理部
１０４，１３０４ 動きベクトル検出部
１０５，１３０５ ワークメモリ
１０６，１３０６ 防振パラメータ算出部
１０７，１３０７ 幾何変換処理部
１０８，１３０８ 符号・復号化部
１０９，１３０９ ワークメモリ
１１０，１３１０ システム制御部
１１１ ズーム調整部
１１２，１３１１ 不揮発メモリ部
１１３，１３１２ 記録部
１１４，１３１３ 表示部
１１５，１３１４ 操作信号入力部
１１６，１３１５ 外部Ｉ／Ｆ

Claims (15)

1. 複数の画像間の動きベクトルを算出する動きベクトル算出部と、
   前記動きベクトルを入力として防振補正量を算出する防振パラメータ算出部と、
   前記防振補正量に応じた前記画像の幾何変換を行う画像変換部とを有し、
   前記防振パラメータ算出部は、
   前記動きベクトルに基づいて前記複数の画像間の画像変化量を算出する変化量算出部と、
   前記画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正部と、
   前記複数の画像間についての前記動き情報に基づいて前記防振補正量を算出する補正量算出部とを有すること特徴とする画像防振装置。
2. 前記画像変化量は、ホモグラフィであり、
   前記防振パラメータ算出部は、前記ホモグラフィの基準面法線の方向を変更することを特徴とする請求項１に記載の画像防振装置。
3. 前記防振パラメータ算出部において、前記基準面法線の方向を、変位前の画像面の法線に平行な方向に向けるよう変更することを特徴とする請求項２に記載の画像防振装置。
4. 前記画像変化量は、回転及び並進に関する画像変化量であり、
   前記防振パラメータ算出部は、回転及び並進に関する情報から前記動き情報を算出することを特徴とする請求項１に記載の画像防振装置。
5. 前記防振パラメータ算出部において、基準面を変位前の画像面に平行な方向に向けるよう変更することを特徴とする請求項４に記載の画像防振装置。
6. 前記補正量算出部は、前記動き情報に基づいて前記防振補正量を出力するフィルタリングを行うことを特徴とする請求項１から５のいずれか１つに記載の画像防振装置。
7. 前記変化量算出部は、前記画像変化量として、ホモグラフィと回転及び並進に関する画像変化量とのいずれを算出するかを、動きベクトル点の空間分布の平面性を調べることにより切り換えることを特徴とする請求項１に記載の画像防振装置。
8. 前記補正量算出部は、前記動き情報を、水平並進、垂直並進、拡大縮小、面内回転、せん断、水平あおり及び垂直あおり成分に変換し、
   前記拡大縮小成分を対数変換した後にフィルタリングを行い、フィルタリング結果を指数変換することで、前記画像変化量を復元することを特徴とする請求項１に記載の画像防振装置。
9. 前記補正量算出部は、前記動き情報を、水平並進、垂直並進、拡大縮小、面内回転、せん断、水平あおり及び垂直あおり成分に変換し、
   前記あおり成分に前記拡大縮小成分を乗算した後にフィルタリングを行い、フィルタリング後の拡大縮小成分を用いることで、前記画像変化量を復元することを特徴とする請求項１に記載の画像防振装置。
10. 複数の画像間の対応する特徴部の変位を表す動きベクトルを算出する動きベクトル算出部と、
    前記動きベクトルを入力として防振補正量を算出する防振パラメータ算出部と、
    前記防振補正量に応じて前記画像の幾何変換を行う画像変換部とを有し、
    前記防振パラメータ算出部は、
    前記動きベクトルに基づいて前記複数の画像間の画像変化量を算出する変化量算出部と、
    前記複数の画像間についての前記画像変化量に基づいて動き情報を算出する変化量修正部と、
    前記動き情報に基づいて前記防振補正量を算出する補正量算出部とを有すること特徴とする画像防振装置。
11. 前記画像変化量は、回転及び並進に関する情報であり、
    前記防振パラメータ算出部は、前記回転及び並進に関する情報からホモグラフィを算出することを特徴とする請求項１０に記載の画像防振装置。
12. 前記画像変化量は、基本行列であり、
    前記防振パラメータ算出部は、前記基本行列から前記動き情報を算出することを特徴とする請求項１０に記載の画像防振装置。
13. 物体像を光電変換することにより画像を生成する撮像系と、
    請求項１から１２のいずれか１つに記載の画像防振装置とを有することを特徴とする撮像装置。
14. 複数の画像間の動きベクトルを算出する動きベクトル算出ステップと、
    前記動きベクトルを入力として防振補正量を算出する防振パラメータ算出ステップと、
    前記防振補正量に応じた前記画像の幾何変換を行う画像変換ステップとを有し、
    前記防振パラメータ算出ステップは、
    前記動きベクトルに基づいて前記複数の画像間の画像変化量を算出する変化量算出ステップと、
    前記画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正ステップと、
    前記複数の画像間についての前記動き情報に基づいて前記防振補正量を算出する補正量算出ステップとを有すること特徴とする画像防振方法。
15. 複数の画像間の対応する特徴部の変位を表す動きベクトルを算出する動きベクトル算出ステップと、
    前記動きベクトルを入力として防振補正量を算出する防振パラメータ算出ステップと、
    前記防振補正量に応じて前記画像の幾何変換を行う画像変換ステップとを有し、
    前記防振パラメータ算出ステップは、
    前記動きベクトルに基づいて前記複数の画像間の画像変化量を算出する変化量算出ステップと、
    前記複数の画像間についての前記画像変化量に基づいて動き情報を算出する変化量修正ステップと、
    前記動き情報に基づいて前記防振補正量を算出する補正量算出ステップとを有すること特徴とする画像防振方法。