JP2014192613A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 光学防振機能付きの撮像装置から得られた画像に基づいて、光学防振機能の影響を排除したカメラワークを取得すること。
【解決手段】 光学防振手段を含む光学系（１１）を介して入射した光学像を撮像素子（１２）により光電変換して得られた画像信号を入力する入力手段と、前記光学防振手段による光学防振制御情報を取得する取得手段と、前記入力手段から入力された画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいてカメラワークを推定するカメラワーク推定手段（１８）とを有する。
【選択図】 図１

Description

本発明は光学防振を備える撮像装置で撮影した動画像からのカメラワークを推定する技術に関する。

近年、動画像からカメラワーク解析し、その結果を利用して撮影者の利便性を高める技術の応用が広がり始めている。例えば、スマートフォン向けを皮切りに、実写とＣＧ（コンピュータグラフィックス）を合成するＡＲ(augmented reality)技術が普及を始めている。特に、自然特徴を入力情報にカメラワークを解析し、ＣＧ合成を実現するマーカレスＡＲ技術は応用範囲が広く、大きな期待が寄せられている（例えば、非特許文献１参照）。また、カメラワーク解析は、動画像防振、３次元情報取得、ビジョンを利用したモーションセンサとしてのカメラワーク計測記録装置等といった魅力的なアプリケーションや製品のコア技術と位置付けられる（例えば、特許文献１参照）。このように、各種応用技術及び製品の普及が期待されている。

一方、映像を撮影する際、スマートフォンなどの手持ちの小型撮像機器で撮影すると、映像のブレが問題となる。従来、ＡＲ技術は撮影スタジオ等で利用される放送向け技術であるため、クレーンやステディカムといった特殊な安定撮像冶具と組み合わせ利用される場合が多く、ブレの問題が目立ちにくかった。ブレの問題を解決しようとして小型撮像機器とそのような特殊冶具を組み合わせると、携帯性という小型撮像機器のメリットを損ねることになる。そのため撮像装置に光学防振機構を採用することでブレの問題を解決することが容易に考えられる。また、光学防振機構を採用すると、蓄積ブレを抑制し高画質化できたり、画像解析において対応点や動きベクトル探索を容易化したり、防振用途では防振マージンの節約ができるというメリットが生まれる（例えば、特許文献２参照）。

特開２００７−２１５１１４号公報 特許第４４４６０４１号公報 特開２００８−２５９０７６号公報 G Klein,D Murray," Parallel Tracking and Mapping on a Camera Phone", In Proc. ISMAR'09 R.Szeliski, "Compute Vision Algorithms and Applications",(2010) C. Harris and M. Stephens, "A combined corner and edge detector", Fourth Alvey Vision Conference, pp.147-151, 1988. B.Triggs,"Auto calibration from Planar Scene",ECCV98 R.Hartley,A.Zisserman," Multiple View Geometry in Computer Vision", Cambridge Univ。 Press （2000） Bill Triggs,"Routines for Relative Pose of Two Calibrated Cameras from 5 Points",Documentation, INRIA. juillet 2000. Michal Irani,et.al.,"Multi-frame correspondence estimization using subspace constraints.",International Journal of Computer Vison 48,1,p.p.39-51(2002)

しかしながら、ブレを抑制するために光学防振機構を導入すると、例えばＡＲ用途におけるある条件下では、実写像とＣＧとの動きにずれが目立ち、正しいカメラ軌跡情報が得られない、といった弊害が生じる。このある条件とは、具体的には、以下のような場合である。即ち、広角レンズで撮影した場合、合成オブジェクトのサイズが撮影画角に対して大きい場合、３次元的カメラワーク推定・合成を行った場合、動きが大きい場合、表示画面が大きく高精細な場合、これらの条件が複数重なった場合等である。つまりこれらは現実の忠実な再現のために、より高精度のカメラモデルに基づくカメラワーク情報が必要となる場合である。

そのような場合、ＡＲ用途で具体例を挙げれば、実写像がＣＧと一致した動きをせず、あおって見えたり、動画像防振用途では揺れ残りが生じたり、３次元情報取得では取得した３次元情報に誤差が生じるといった課題が生じる。また本来のカメラワーク推定という目的に対しては、正しいカメラ軌跡情報が得られないという課題があった。

一方、このような場合、光学防振も考慮した複雑で変数の多いカメラモデルを用意し、画像情報もしくは画像からの抽出情報へのモデルフィッティング等の最適化技術を利用し、カメラワークを推定するという対策方法も考えられる。しかしながら、この場合、推定変数が増えてしまうために、最適化計算の計算量が指数的に増えて演算の収束性が悪くなって処理の安定性が低下し、実用的でなくなってしまうといった課題があった。

本発明は上記問題点を鑑みてなされたものであり、光学防振機能付きの撮像装置から得られた画像に基づいて、光学防振機能の影響を排除したカメラワークを取得することを目的とする．

上記目的を達成するために、本発明の画像処理装置は、光学防振手段を含む光学系を介して入射した光学像を撮像素子により光電変換して得られた画像信号を入力する入力手段と、前記光学防振手段による光学防振制御情報を取得する取得手段と、前記入力手段から入力された画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいてカメラワークを推定するカメラワーク推定手段とを有する。

本発明によれば、光学防振機能付きの撮像装置から得られた画像に基づいて、光学防振機能の影響を排除したカメラワークの取得が可能となる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。 本発明のカメラワーク推定処理を示すフローチャート。 本発明の姿勢推定処理の詳細を説明するためのフローチャート。 ブロックマッチングを説明する図。 ＡＲ合成における光学防振制御情報の利用法を説明する図。 ３次元画像解析での光学防振制御情報とカメラワークの利用法を説明する図。 本発明の第２の実施形態における撮像装置の概略構成を示すブロック図。 第２の実施形態における幾何変形による防振における光学防振制御情報の利用法を説明する図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の構成を示すブロック図である。第１の実施形態の撮像装置は、撮影した映像からカメラワークを解析することが可能な撮像装置であって、光学防振機構を備え、カメラワーク推定部を有する。図１はその要部構成を示すブロック図である。

撮像装置１００は、光学系１１、撮像素子１２、光学防振制御部１３、姿勢センサ１４、光学防振制御監視部１５、前処理部１６、画像メモリ１７、カメラワーク推定部１８、画像処理部１９を含む。

光学系１１は複数枚のレンズ及びミラーから構成され、被写体１０から入射した光を撮像素子１２上に結像させる。姿勢センサ１４は例えばジャイロ等により構成され、撮像装置１００の限られた任意軸に対する姿勢変化の情報を計測し、光学防振制御部１３に情報を伝える。光学防振制御部１３は変位素子により構成され、撮像装置１００の姿勢変化、つまりカメラワークに基づき、光学系１１の一部のレンズを光軸に対して垂直な方向にシフトさせることにより撮像素子１２上の光学像の位置を平行移動させる。これにより、撮像装置１００の揺れによる映像の揺れを抑振する。光学防振制御監視部１５は、エンコーダ等により構成され、光学防振を行うレンズのシフト量を計測する。

前処理部１６は、撮像素子１２で光電変換されたアナログの画像信号に対して相関二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）でのゲインアップによる露出制御、黒レベル補正、Ａ／Ｄ変換等の基礎的な処理を行う。これにより、デジタル信号に変換した画像信号を得る。また、特徴点抽出、ベクトル算出等からなる画像からのカメラワーク推定処理の精度やロバスト性を向上させるために、カメラワーク推定部１８への入力画像に対し、ローパス、ハイパス等のフィルタリング処理、トーンマッピング等の諧調調整処理を行っても良い。このように、アナログ信号に対する前処理が主であるため、主要部はＡＦＥ（アナログフロントエンド）とも呼ばれる。また、デジタル出力センサと対で使われるものはＤＦＥ（デジタルフロントエンド）と呼ばれる。

画像メモリ１７は、前処理部１６で生成した前処理済み画像信号を一旦保存するメモリである。カメラワーク推定部１８は、前処理部１６で生成した画像信号及び画像メモリ１７に蓄積されたその過去の画像信号を利用してカメラワークを推定する。

画像処理部１９は、ベイヤー配列補間、線形化マトリクス処理、ホワイトバランス調整、ＹＣＣ変換、色差・諧調・コントラスト補正、エッジ強調、等の入力デジタルの画像信号に対する画像処理を行う。一般にはポストプロセッシング、現像とも呼ばれる。これらの処理を行うことにより、１フレームもしくはフィールドの出力映像を生成可能である。またこれらの処理は前処理部１６のＡＦＥ処理に対して、ＤＢＥ（デジタルバックエンド）処理と呼ばれる。

さらに画像処理部１９は、ＣＧ（コンピュータグラフィックス）をレンダリングしたり、レンダリングしたＣＧを生成した実写の出力映像と合成するＡＲ合成機能をオプションとして含む。また、連続して生成される出力画像のフレームもしくはフィールド間の揺れを幾何変形処理により抑振する防振機能、連続出力画像間で３次元画像解析処理を行い画像と対応する３次元情報もしくはデプス情報を推定する３次元情報取得機能もオプションとして含む。ＣＧ生成、幾何変形処理、３次元画像解析等は、カメラワーク推定部１８で推定されたカメラワーク情報を利用し、例えば、非特許文献２に記載されるような一般的なＣＶ（カメラベクトル）技術に基づき実行される。

以上説明した構成を有する本第１の実施形態の撮像装置において、カメラワーク推定部１８にて実行されるカメラワーク推定処理に関するフローチャートを図２に示す。

Ｓ１１では、前処理部１６より直接入力されるフレームと、画像メモリ１７より入力される１つもしくは複数の過去フレームとの間の対応位置の動き情報、つまり対応点を推定する。対応点は、一方の画像上にグリッド上に配置した注目点に対し、他方の画像上でテンプレートマッチングや勾配法を実行する。特徴点を一方の画像上で抽出し、その特徴点位置をテンプレートとしてテンプレートマッチングや勾配法を他方の画像上で実行する。もしくは、各画像毎に特徴点を抽出し、特徴点間で組み合わせ探索することにより得ることができる。

ここで、図４を参照して対応点推定をテンプレートマッチングの一種であるブロックマッチングで行う方法を説明する。図４はブロックマッチングの例を示す。ここでは左側の画像４０１を基準画像とし、右側の画像４０２を探索画像とする。例えば先に入力された映像フレームを基準画像、後から入力されたカレント映像フレームを探索画像として対応点を検出する。基準画像４０１でグリッド状に配置した注目点４０４を中心とした所定サイズの部分領域をテンプレート４０３とする。探索画像４０２中で任意の探索領域４０７を設定し、テンプレート４０３を順次移動しながらテンプレート４０３が最も合致する位置を探索する。この際、探索画像４０２中の注目画素４０５を基準とした領域４０６と基準画像４０１のテンプレート４０３との類似度を計算していく。類似度指標としてはＳＳＤ(Sum of Square Difference)、ＳＡＤ(Sum of Absolute Difference)、正規相互相関等の相関演算による演算結果が用いられる。実写映像の様にフレーム間の輝度変動が激しい場合は正規相互相関が主に用いられる。式（１）は、正規相互相関の類似度スコアの算出式である。

ただし、

であり、(x, y)及び(x', y')は基準画像Ｉ及び探索画像Ｉ’内におけるテンプレートの位置を示す。Ｉ_{(x, y)}(i, j)及びＩ’_{(x', y')}(i, j)は部分画像を示す。

探索領域の類似度を一通り算出した結果、最も類似度の高い位置を対応位置とみなし対応点を算出する。オクルージョンがなければ、基準画像４０１上で設定した注目点４０４の数だけ対応点が算出される。対応点は、それぞれ基準画像中の注目点位置を始点とし、探索画像中の対応点位置を終点とするベクトルにより表現される。
(x, y, x', y')ⁱ, i = 1, ..., m (m:対応点の個数) …（３）

なお、注目点をグリッド状に固定的に配置したブロックマッチングの例を示したが、基準画像上で対応点を算出しやすい特徴点を抽出し、その位置を注目点としても良い。注目点の抽出には通常Harrisオペレータ（例えば、非特許文献３参照）等の画像処理フィルタが用いられる。

Harrisオペレータはまず、ウィンドウサイズWを決定し、水平及び垂直方向についての微分画像(I_dx, I_dy)を計算する。微分画像の計算Soblフィルタ等を用いればよい。例えばフィルタは

を横方向にし、縦方向に３つに並べた３×３フィルタh_x、及び縦方向にし、横方向に３つならべた３×３フィルタh_yを画像に適用し、微分画像(I_dx, I_dy)を得る。

そして画像内の全ての座標(x, y)について、ウィンドウWを用いて、次のマトリクスGを計算する。

マトリクスGの最小特異値が大きい座標(x, y)の順に特徴点を抽出していく。その際、特徴点があまり密集しないほうが好ましい。そこで既に特徴点が抽出済みの座標(x, y)のウィンドウサイズWの周辺はもう特徴点を算出しない、等の約束を設けてもよい。

次に、Ｓ１２において、光学防振制御部１３で得られた光学防振機構の効果を表す光学防振制御情報を用いて対応点情報を加工する。それにより光学防振の効果、つまりは抑振のために行われた映像の並行移動をキャンセルする。

光学防振制御情報とは、光学防振の効果による映像の並行移動による座標変化の量を表す物理量である。しかしながら、光学系１１がズームレンズの場合、焦点距離の変化があると、姿勢センサ１４から与えられるカメラの回転量が同じであっても、映像の並行移動量が変化してしまう。このため、制御の扱いやすさを鑑み、カメラの回転量や並行移動量、焦点距離からなる複数の制御物理量の組として扱っても良い。例えば、光学防振制御情報の一つを、それ自体に光学系の焦点距離を乗算するとセンサ面上での画像の平行移動量となるようにスケーリングする値と取り決める。つまり、カメラ回転をθとすると

という形で角度として扱っても良い。この際、光学防振機構がニュートラルな位置にある場合をレンズのシフト量0とする。式（５）において、焦点距離を画像のピクセル単位で扱えば、補正角を画像上での平行移動量として扱うことができる。

カメラ光軸に対し、Yaw方向へのレンズシフト量をShy、Pitch方向へのレンズシフト量をShpとする。この場合、
x_rev = x - Shy_-1
y_rev = y - Shp_-1 …（６）
x'_rev = x' - Shy
y'_rev = y' - Shp
という形で、光学防振による表示領域の移動をキャンセルすることができる。ここでShy, Shpはカレントフレームにおける防振シフト量、Shy_-1, Shp_-1は１つ前のフレームにおける防振シフト量を示す。また、x、yは１つ前のフレームにおけるx座標及びy座標、x_rev、y_revは、光学防振による表示領域の移動をキャンセルした後のx座標及びy座標を示す。同様に、x’、y’はカレントフレームにおけるx座標及びy座標、x'_rev、y'_revは、光学防振による表示領域の移動をキャンセルした後のx座標及びy座標を示す。を示す。

また、Ｓ１２においては、Ｓ１３における計算の精度やロバスト性の向上を目的に、対応点を入力フレームのピクセル座標系の対応点値から正規化画像座標系における対応点値へと変換しても良い。以下、(x, y)は入力フレーム上のピクセル座標、(u_d, v_d)は歪みを含む正規化画像座標、(u, v)は歪みを除去した正規化画像座標とである。内部パラメータ及び歪み係数を用いて変換を行う。まず、内部パラメータにより正規化画像座標に変換する。inv( )は ( )のマトリクスの逆行列を表す。

内部パラメータの行列はカメラ行列Kと呼ばれる

そして、歪み係数により歪みを除去する。

なお、式（９）における「→」の演算は以下で説明する処理で実現する。歪み除去は、放射歪の関係、
K = 1 + k₁r + k₂r² + k₃r³ + ...、r² = u_d ² + v_d ² …（１０）
u = u_d/K、v = v_d/K …（１１）
を用いて行う。k₁、k₂、k₃はそれぞれ１次、２次、３次の放射方向の歪み係数を表す。これらは光学系の収差より生じる歪みである。歪みは光学系の焦点距離や被写体距離等のカメラパラメータ毎に変化する。このため、焦点距離等との関係は、設計値より算出しておく。そして焦点距離等に対応するルックアップテーブルもしくは焦点距離等に関する変換式として非図示のＲＯＭ等に記憶しておく。

なお、本第１の実施形態では放射方向の歪みのみを除去するが、動径方向の歪みのような別の歪みが顕著ならば、別途歪み除去処理を追加して行っても良い。

次に、Ｓ１３では、カレントフレームと過去フレーム間の補正済み対応点を入力として、当該フレーム間のカメラの姿勢変化を推定する。図３にその推定処理のフローチャートを示す。Ｓ２１において平面度を算出するが、この平面度は、対応点から計算されるデータ行列の条件数の大小により決定される。ここでは、Ｓ１２において光学防振の影響を排除し、正規化画像座標系における値へと変換した対応点情報に対して、平面度の高さに応じた推定処理を行う。平面度が予め決められた閾値以下の場合（Ｓ２２でＮＯ）、基本的に基本行列に基づく姿勢推定もしくは５点法のようなピンホールカメラモデルに基づく姿勢推定法を実行し、カメラワークを推定する（Ｓ２４）。しかしながら対応点算出において、その算出位置がマップされた空間配置が平面上の様な特異配置の場合（平面度が閾値を超える場合、Ｓ２２でＹＥＳ）、基本行列や５点法では縮退により解が得られなくなる。その場合には、射影ホモグラフィを求めて射影行列分解操作によりカメラ姿勢を推定する方法と切り替えを行う（Ｓ２３）。

以下では、その一方のフローであるＳ２３で行われる射影ホモグラフィに基づく姿勢推定について説明する。過去フレームにおける正規化画像座標を(u_i, v_i)、カレントフレームにおける正規化画像座標を(u_i', v_i')、i = 1, ..., m （ｍは対応点数）とすると、射影ホモグラフィについての線形式を得ることができる。

この線形式は対応点数m ≧８ならば過決定となる。そして、線形最小二乗式として解くことによりh = {h₁₁, ..., h₃₃}が求められる。これを３×３のマトリクスに整形することにより、

射影ホモグラフィ、つまりはフレーム間の画像の変化量が求められる。

次に、射影ホモグラフィをカメラワーク回転Ｒ、シーンの被写体を近似した面の方向n^→、そして並進t^→と深度dの積t^→/dに分解する。なお、n及びtの横の「^→」は、n及びtがベクトル値であることを示す。以降、「^→」はベクトル表すものとする。そして以下の手順により可能な２つの解を算出する。射影ホモグラフィの２つの解への分解は固有値分解、特異値分解を利用し、不変量を見出すことで行われる。様々な解法が可能であるが、説明として今回は非特許文献４で用いられたアプローチを参考に記述する。

射影ホモグラフィとカメラワーク及びシーン配置の関係は次式により表される。

式（１４）において、R、t^→はカメラの回転及び並進、dは基準面までの距離、n^→は基準面のカメラから離れる向きの法線、λは任意定数である。ここで2画像間からの算出では、空間平面の距離dとカメラワーク並進のノルムnorm(t^→)の積を分けることはできない。ノルムとはベクトルの大きさを表す量である。つまり、t^→は並進方向を表す単位方向ベクトルnorm(t^→) = 1、dは空間平面までの距離と並進量の大きさの積として扱われる。

最初に、Hの符号は、平面上の全ての対応点x₁ ^→、x₂ ^→について(x₂ ^→)^THx₁ ^→＞0を満たすように選択されるとする。

Hの特異値分解はH = USV^T となる。ここでU及びVは３×３の回転マトリクスで、S = diag(σ₁, σ₂, σ₃)は正の降順対角要素σ₁≧σ₂≧σ₃≧０であり、Hの特異値とする。ここで関連する直交マトリクスU及びVの列要素をu₁, u₂, u₃、及びv₁, v₂, v₃で表す。

第１カメラの参照系を採用し、３次元平面を(n^→)^Tx^→ = d = 1/ζとする。ここでn^→は外向き（カメラから離れる方向）の法線とする。ζ = 1/d ≧０は平面に対する距離の逆数である。この参照系においては、第１カメラは３×４の射影マトリクスP₁ = [I_3×3｜０^→]を持つ。そして第2カメラはP₂ = R[I_3×3｜t] = [R|t']、t' = -Rtであり、ここでt、t'はカメラ間の並進（つまり、第１カメラ光軸中心から第２カメラの光軸中心への並進）、Rはカメラ間の回転を表す。

画像１から画像２へのホモグラフィはH = rH₁であり、ここではH₁ = I_3×3 - ζt^→n^→Tである。（平面上の３次元点x^→に対して、Hx^→ = R(x^→- ζt^→(n^→)^Tx^→) = R(x^→ - t^→) ≒ P₂x^→。なぜならば、そこではζ(n^→)^Tx^→ = 1であるためである。そして、x^→を画像１内の任意点として扱うと、違いは全体のスケール因子のみである。）

積ζt^→(n^→)^Tのみが復元可能で、それゆえ||t|| = ||n|| = 1で正規化する。つまり平面距離1/ζは単位基線長||t||において測定される。そして、可能な符号を決めるために、後述するデプス正制約テストを行う。

特異値分解のH = USV^TとH₁ = U₁SV^TはRの要素まで同じである。すなわち、U = RU₁である。H₁において、外積ベクトルt^→×n^→は不変である。もし特異値が明確ならば、t^→×n^→は特異ベクトルに対応しなければならない。これにより、これはいつも2番目の特異ベクトルv₂であると分かる。それゆえHの補正正規化はH→H/σ₂、つまり(σ₁, σ₂, σ₃)→(σ₁/σ₂, 1, σ₃/σ₂)である。以下、σ₂による正規化が済まされているものと想定する。

画像フレーム１においてt^→×n^→がv₂に対応することが与えられると、{t^→, n^→}部分空間は{v₁, v₃}により占められなければならない、つまり任意のパラメータα、β(α² + β² = 1)に対して、n^→ = βv₁ ^→ - αv₃ ^→、n^→×(t^→×n^→) ≒ αv₁ ^→ + βv₃ ^→である。n^→に直交する任意方向（特に n^→×(t^→×n^→)はHもしくはH₁）によって変化しないノルムを持つ。

ここで、(ασ₁)² + (βσ₃)² = α² + β²もしくは、(α, β) = (±√(1 - σ₃ ²), (±√(σ₁ ² - 1))である。ここで、t^→×n^→を上記のv₁もしくはv₃に対応させると、解がなくなってしまう。それゆえv₂のみが可能となる。

厳密には、左辺の同じ引数がRt^→ = -(βu₁ + αu₃)を示す。t^→がH₁の固有値1 - ζn^→(t^→)^Tの固有ベクトルを満たすならば、Ht^→ = (1 - ζ(n^→)^Tt^→)Rt^→を得る。故にt≒H^-1(Rt^→)≒β/σ₁v₁ ^→ + α/σ₃v₃ ^→である。及び（単純化後は）ζ = σ₁ - σ₃である。

H₁の特異値分解の左辺（U₁の列u₁ ^→, u₂ ^→, u₃ ^→)は表記u₂ ^→ = v₂ ^→により復元可能であり、t^→がH₁の固有ベクトルであることが必要である。そこでは、u₁ ^→ = γv₁ ^→ + δv₃ ^→、u₃ ^→ = δv₁ ^→ - γv₃ ^→であり、単純化後は(γ, δ)≒(1 + σ₁σ₃, ±αβ)である。故に、

として、最後に回転Rが得られる。

以下、画像変化量を、回転と並進からなるカメラワークR、t^→（方向ベクトル）と空間の基準面の深さ位置dと方向n^→からなるシーン配置との可能な２つの解を算出するための、一連の具体的な処理をまとめて示す。
[U, S, B] = svd(H) …（１６）
σ'₁ = σ₁/σ₂、σ'₃ = σ₃/σ₂ …（１７）

ただし、

ζ = (1/d) = σ'₁ - σ'₃ …（１９）

これらを用いて可能な２つの解{R₁, t₁ ^→, n₁ ^→}、{R₂, t₂ ^→, n₂ ^→}が求まる。

これらの解の組に対し、方位ベクトルn^→が外向きの約束(デプス正制約)を導入する。

と符号の整合性を取ることにより、可能な２つの解が算出される。その後エピポーラ誤差チェックを行い、誤差の少ない１つの解を抽出する。

エピポーラ誤差チェックは以下のようにして実行される。対応点x₁ ^→、x₂ ^→より求められたホモグラフィを分解して得られる姿勢変化とシーン情報の可能な２つの解のセット{R₁, t₁ ^→/d, n₁ ^→}、{R₂, t₂ ^→/d, n₂ ^→}について、対応点を用いてエピポーラ誤差を算出する。エピポーラ誤差は、

で表される。nは対応点数である。そして誤差の小さな解を真の解として選択する。これにより、入力されたフレーム間のカメラワークを表す{R₁, t₁ ^→, n₁ ^→, d}の唯一の解が求まる。
なお、本第１の実施形態で説明を省略した、ピンホールカメラモデルを想定した、非平面シーンに対するカメラの姿勢推定方法である基本行列に基づく姿勢推定（例えば、非特許文献５参照）及び５点法（例えば、非特許文献６参照）は、公知技術をベースにしたもので実現可能である。

求められたフレーム間のカメラワーク情報は、カメラワーク情報算出の対象となったフレームと同期をとって画像処理部１９に入力される。画像処理部１９においてはオプション的な画像処理として、カメラワーク情報を用いてＣＧ生成及び実写とのスプライト合成、幾何変形処理、３次元画像解析等を行う。このように、ＡＲ合成機能、防振機能、３次元情報取得機能といったユーザ価値を向上するアプリケーションを実現する。

例えば、ＡＲ合成を例に挙げる。ＡＲ合成はカメラワークを考慮しながら生成したＣＧと実写映像を合成する技術である。あるフレームを基準にＣＧ合成を開始し、そのフレームから実写を撮影するカメラに生じたカメラワークを反映しそれぞれのフレームに対するＣＧを生成する。初期フレームとした実写カメラの位置、対応するＣＧのレンダリングカメラの位置を基準とすると、そのカメラ行列は、

という式により表すことができる。

その際、Ｓ１２で対応点座標に実施したオフセット除去作業と逆の操作をＣＧに加えることで光学防振の効果を与えることができる。つまり、図５（ａ）に示すように、ＣＧ生成のレンダリングビューに(Shy₀, Shp₀)のオフセットを加えてＣＧをレンダリングすることで、光学防振の影響を考慮することができる。言い換えると、光学防振で生じるビューの平行移動を生成するＣＧに反映することができる。そのため、画像処理部１９にカメラワーク推定部１８と同様に光学防振制御監視部１５の情報を入力してＣＧレンダリングを行う。そして、生成したＣＧを実写画像とスプライト合成することによりＡＲを実現する。

nフレーム後のＣＧをレンダリングする際には、その間のカメラワーク変化を考慮して以下のようにカメラ行列を決定し、、図５（ｂ）に示すようにＣＧをレンダリングする。

初期フレームを基準とした、nフレーム後の撮影画像のカメラ行列を表す。括弧内は姿勢行列[R_i|t_i ^→]を乗算して連結した基準フレームからカレントフレームの姿勢変化である。

この際のt₁ ^→は、Ｓ１３の際のt^→が単位行列であり、そのノルムの全てがシーンの基準面の始点からのdに含まれていたのに対し、ノルムをデプス情報1/dとの間で配分して持つ。その配分は画像内のオブジェクトのサイズ、例えばシーンに写る顔領域のサイズ、平均的なカメラの移動量、例えば最初の数フレームの平行移動量等の動画像内に含まれる情報で決定する。後者のやり方は、例えば非参考文献1におけるＡＲ合成でも用いられている従来からの一般的な暗黙知である。ratioは動画像内の情報で決定する、基本的に0〜1の値域をもつスケール因子である。

以下、汎用的なＣＧの定義に従い、ＣＧ生成へのカメラワーク情報の利用方法を説明する。通常のＣＧ生成のアーキテクチャにおいてはＣＧ空間内のワールド座標に対するカメラの姿勢情報R_C、t_C ^→を入力することでＣＧレンダリングにカメラワークを反映することができる。ワールド座標系に対するRはカメラの回転、t^→はカメラの平行移動である。ＡＲ合成の初期フレームに対し、ＣＧ側で設定した初期カメラの姿勢情報をR_C、t_C ^→とすると、その姿勢行列[R_c|t_c ^→]に各フレーム毎にカメラワーク推定部１８で算出された姿勢行列を左から乗算して、カレントフレームのカメラの姿勢情報R'_C、t'_C ^→もしくはM'_Cを得る。

各映像フレームに対応する式（３５）のカメラ姿勢情報を設定してＣＧ生成することにより、カメラワークに応じた動きをするＣＧが生成できる。

またその際、ＣＧ生成のレンダリングビューは初期フレームと同様に、カレントフレームの光学防振によるビューの平行移動を考慮してレンダリングビューを(Shy_n, Shp_n)オフセットさせてＣＧをレンダリングすることで光学防振を反映したＣＧを生成できる。

一方、フレーム間のカメラワーク推定の積算のみでＣＧ生成のカメラ行列を決定していると、積算誤差からドリフトを生じてしまう。ドリフト除去のため、カメラワーク推定部の処理と並行して、非図示の別の回路において、ある任意の一定期間のフレーム区間のカメラワーク情報にバンドルアジャストメントを実施して離れたフレーム間の高精度なカメラワークを求めても良い。その際、Ｓ１２で求めた、光学防振の影響を除去した対応点情報及びＳ１３で求めたカメラワーク情報を入力をバンドルアジャストメント処理の入力情報とする。該処理により算出した高精度なカメラワークでオンライン処理中の積算の進んだ姿勢変化行列を代替することで、ドリフトのないＡＲ合成を実現しても良い。

また、ＣＧ生成及びＡＲ合成を、ポストプロダクションソフトウェアもしくはコンポジット（合成）ソフトウェアと呼ばれる専用のＰＣソフトウェアもしくは相当の専用ハードウェア機器、いわゆる外部機器で実施する場合も考えられる(例えばTHE FUNDARY社のNUKE) 。その際には、光学防振制御監視部１５で計測した光学防振制御情報、カメラワーク推定部１８で生成したカメラワーク情報、画像処理部１９にて生成した映像を撮像装置の非図示の出力インターフェースから出力する。そしてそれらの情報を外部機器に入力してＣＧ生成、及びスプライト合成を行うことでＡＲ合成映像を生成できる。

大部分のＣＧソフトウェアはいわゆるチルトシフトレンズをＣＧカメラモデルに反映するため、ＣＧカメラの属性設定にビューの平行移動設定の機能を有している。そのため、該情報のセットを計測及び推定し、生成した映像と一緒に出力することで、汎用的な外部機器でも違和感なく光学防振で撮影した動きブレのない映像に対してＡＲ合成を実現できる。該情報のセットとは、もちろん光学防振の影響を除去したカメラワーク情報及び、前記光学防振制御情報である。

３次元画像解析の場合は、ベースラインを確保可能な、任意のある一定以上のフレーム期間離れたキーフレーム（２フレーム分）を選択して３次元情報を求める。キーフレーム間のカメラワークから算出した姿勢変化を基に、光学防振によるビューの平行移動を考慮して平行化、レクティフィケーションをまず実施する。平行化されたキーフレーム画像上で、例えば勾配法などの密な対応点探索を行う。得られた密な対応点に対し三角視を行うことによりデプスとしての３次元情報を得ることができる。そして、得られたデプス情報を対応付けたい画像フレームの光学防振制御情報のシフト量にあわせてシフトさせることで画像の画素諧調とデプス情報をレジストレーションした３次元情報を得ることができる。３次元画像解析における光学防振制御情報とカメラワークの利用の概要を図６に示す。(Shy_a, Shp_a)はキーフレームＡに対応する光学防振制御情報、(Shy_b, Shp_b)はキーフレームＢに対応する光学防振制御情報を表す。キーフレームは一定以上のベースラインを確保可能な任意のフレームから選択する。２枚以上の任意数が可能である。各光学防振制御情報に従って光学防振の影響を画像から排除して平行化を行う。本実施形態により、光学防振で撮影した動きブレのない映像に対し幾何学的に矛盾なく３次元画像解析を実施できる。このため、勾配法等の３次元情報抽出子のデプス算出能力向上、出力される３次元情報自体の精度向上が見込める。レクティフィケーション自体は、例えば、非特許文献２にも記載される当該技術分野の基本技術である。

上記の通り第１の実施形態によれば、光学防振制御情報を考慮してカメラワークを算出し、画像処理に利用することにより、従来よりも高品質にＡＲ合成、３次元情報取得といったアプリケーションを実行することが可能となる。

例えば、ＡＲ用途ではステディカム等の特殊撮影冶具を用いず、光学防振付きビデオカメラで手軽に動きブレのないＡＲ画像が合成可能となる。

また、光学防振も考慮した複雑で変数の多いカメラモデルを用意し、画像情報のみからモデルフィッティング等の最適化技術を利用し、カメラワーク推定する場合に比べて、計算を単純化することができる。その結果、最適化計算の計算量を削減しやすく小規模な回路でもリアルタイム化できる、安定性の高い処理を実現することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図７は、第２の実施形態に係る撮像装置の要部構成を説明するブロック図である。本第２の実施形態における撮像装置２００は、カメラボディ２０１とレンズ鏡筒部２０２の２つの部分からなる。レンズ鏡筒部２０２は、図１を参照して説明した同様の構成を有する光学防振機構を含む光学系１１、光学防振制御部１３に加え、姿勢センサ１４、光学防振制御監視部１５を含む。またレンズ鏡筒部２０２は通信部２０を通してカメラボディ２０１とレンズ鏡筒部２０２間で光学防振制御情報を受け渡す。つまり、カメラボディ２０１側では姿勢センサ１４の情報が得られない場合を想定する。例えば旧式の１眼レフカメラの交換レンズ仕様のように通信部２０の通信帯域ビットレートが非常に低い場合が想定される。

なお本第２の実施形態の撮像装置２００におけるカメラワーク推定処理は上述した第１の実施形態のものと同じであるため、ここでは説明を省略する。カメラワーク推定処理で利用する光学防振制御情報は、レンズ鏡筒部２０２で生成された情報を通信部２０を経由してレンズ鏡筒部２０２からカメラボディ２０１へと出力され、カメラワーク推定部１８に入力する。

また、第２の実施形態の画像処理部１９は、幾何変形防振制御部１９１及び幾何変形部１９２を内包する。幾何変形防振制御部１９１は、カメラワーク推定部１８の出力として得られたカメラワーク情報を時系列処理し、幾何変形防振制御情報を生成する。例えば時系列処理により平滑化されたカメラワークを算出し、元のカメラワークとの差を、幾何変形防振制御情報として幾何変形部１９２に渡す。幾何変形部１９２は、幾何変形防振制御情報を入力として画像フレームを幾何変形する機能を有し、幾何変形により防振映像を得る。幾何変形部１９２が実現する幾何変形の自由度が射影自由度の場合、幾何変形防振制御情報はホモグラフィで表現可能な情報となる。オフライン的な処理としては、例えば、非特許文献７に示されるように、固有値分解によりカメラワークが低次の基底に分解可能な性質を活用し、得られた各固有基底に対応した成分値をフィルタリングすることにより幾何変形防振制御情報を得ることができる。

具体的には、例えば、固有値分解による基底変換により得られた各固有基底に対応した成分値をハイパスフィルタリングすることにより各固有基底に対応した幾何変形防振制御情報を得る。そして基底の逆変換を実施して幾何変形部１９２の入力となる幾何変形防振制御情報を得る。もしくは、前述のようにローパスフィルタリングを行い、平滑化された防振後のカメラワークをまず算出する。そして元のカメラワークとの差を、固有基底における幾何変形防振制御情報として算出する。最後に、固有値分解の逆変換で幾何変形部の入力となる幾何変形防振制御情報を得る。

但し、上記手法はカメラワーク情報がある程度蓄積されたオフライン的な処理でしか実行できない。そのため、オンライン的に実行するためには、例えば特許文献３に開示されている様にカメラワークをホモグラフィとして扱い、ホモグラフィを画像の変化成分に分解して時系列のフィルタリングを行うことで同様の効果を得ることができる。また、前者の方法に比べ、後者は最終画像により影響が直接的に表れる画像の変化量の基底でフィルタリングを行うため、より滑らかな防振結果映像を得やすいという特徴がある。

幾何変形部１９２では、映像のフレーム毎に幾何変形防振制御情報を入力し、対応する画像フレームを幾何変形することで防振映像を得る。その際、図２のＳ１２で対応点座標に実施したオフセット除去作業と同じ操作を画像に対してまず行い、光学防振の影響をキャンセルする。具体的には、(Shy₀, Shp₀)のオフセットを減算し、幾何変形防振制御情報に従う幾何変形を実施する。そして、幾何変形防振制御情報で補正する平行移動成分のみを(Shy₀, Shp₀)のオフセットから減算し、これを幾何変形防振制御情報に更に加算して光学防振の効果を復元する一連の幾何変形を入力画像フレームに実行する。

図８は上述した一連の幾何変形手順を示す。一連の幾何変形はホモグラフィとして表現可能なため、画像に対しては一括で実行可能である。このように、光学防振制御監視部１５で計測した光学防振制御情報、カメラワーク推定部１８で生成したカメラワーク情報を画像処理部１９に入力し、画像処理部１９の基本処理で生成した映像を上述した手順で幾何変形する。これにより、光学防振の影響を考慮した防振を実現できる。

上記の通り第２の実施形態によれば、映像入力装置が光学防振機構を備え、カメラボディ２０１側では姿勢センサ１４の情報が得られない場合であっても、画像情報からカメラワーク推定がロバストに可能となる。その結果、ＡＲ合成、防振、３次元情報取得といった撮像装置の価値向上につながるアプリケーションを実現できる。

なお、本発明は、複数の機器（例えばカメラなどの撮像装置、インターフェイス機器、画像処理装置など）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラなど）に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (24)

1. 光学防振手段を含む光学系を介して入射した光学像を撮像素子により光電変換して得られた画像信号を入力する入力手段と、
   前記光学防振手段による光学防振制御情報を取得する取得手段と、
   前記入力手段から入力された画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいてカメラワークを推定するカメラワーク推定手段と
   を有することを特徴とする画像処理装置。
2. 前記カメラワーク推定手段は、
   前記画像信号のフレーム間の対応位置の動きを抽出して動き情報を取得する抽出手段と、
   前記動き情報を前記光学防振制御情報の逆数の情報で加工して前記光学防振の影響を排除し、該加工した動き情報に基づいてカメラワークを推定する推定手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記カメラワーク推定手段は、前記画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいて平面度を求め、該平面度が予め決められた閾値以下の場合、基本行列または５点法に基づいてカメラワークを推定し、前記平面度が前記閾値を超える場合に、射影行列分解操作に基づいてカメラワークを推定することを特徴とする請求項１または２に記載の画像処理装置。
4. コンピュータグラフィックスを生成し、該生成したコンピュータグラフィックスに前記推定されたカメラワークを反映して、前記画像信号と合成する合成手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 予め決められたフレーム期間離れた２フレーム分の画像信号を、前記カメラワークから算出した姿勢変化に基づいて平行化し、該平行化した画像信号から、３次元情報を取得する３次元画像解析手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記カメラワークの情報に対して時系列処理を行って平滑化されたカメラワークを求め、該平滑化されたカメラワークと元のカメラワークとの差を求める防振制御手段と、
   前記差に基づいて前記画像信号をフレーム毎に幾何変形することで防振映像を取得する幾何変形手段と
   を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記光学防振制御情報は、前記光学像のシフト量から構成されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記光学像のシフト量は、焦点距離及び前記光学防振手段のシフト量を含む、前記撮像素子における前記光学像のシフトを計算することのできる複数の制御物理量もしくは複数の該制御物理量の組からなることを特徴とする請求項７に記載の画像処理装置。
9. 前記カメラワークの情報は、カメラの回転量及び平行移動量を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像信号、前記カメラワークの情報、前記光学防振制御情報とを出力する出力手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記撮像素子と、
    請求項１乃至１０のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
12. 前記光学系を更に有することを特徴とする請求項１１に記載の撮像装置。
13. 画像処理装置において行われる画像処理方法であって、
    入力手段が、光学防振手段を含む光学系を介して入射した光学像を撮像素子により光電変換して得られた画像信号を入力する入力工程と、
    取得手段が、前記光学防振手段による光学防振制御情報を取得する取得工程と、
    カメラワーク推定手段が、前記入力工程で入力された画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいてカメラワークを推定するカメラワーク推定工程と
    を有することを特徴とする画像処理方法。
14. 前記カメラワーク推定工程は、
    前記画像信号のフレーム間の対応位置の動きを抽出して動き情報を取得する抽出工程と、
    前記動き情報を前記光学防振制御情報の逆数の情報で加工して前記光学防振の影響を排除し、該加工した動き情報に基づいてカメラワークを推定する推定工程と
    を有することを特徴とする請求項１３に記載の画像処理方法。
15. 前記カメラワーク推定工程は、前記画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいて平面度を求める工程を含み、
    該平面度が予め決められた閾値以下の場合、基本行列または５点法に基づいてカメラワークを推定し、前記平面度が前記閾値を超える場合に、射影行列分解操作に基づいてカメラワークを推定することを特徴とする請求項１３または１４に記載の画像処理方法。
16. 合成手段が、コンピュータグラフィックスを生成し、該生成したコンピュータグラフィックスに前記推定されたカメラワークを反映して、前記画像信号と合成する合成工程を更に有することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理方法。
17. ３次元画像解析手段が、予め決められたフレーム期間離れた２フレーム分の画像信号を、前記カメラワークから算出した姿勢変化に基づいて平行化し、該平行化した画像信号から、３次元情報を取得する３次元画像解析工程を更に有することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理方法。
18. 防振制御手段が、前記カメラワークの情報に対して時系列処理を行って平滑化されたカメラワークを求め、該平滑化されたカメラワークと元のカメラワークとの差を求める防振制御工程と、
    幾何変形手段が、前記差に基づいて前記画像信号をフレーム毎に幾何変形することで防振映像を取得する幾何変形工程と
    を更に有することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理方法。
19. 前記光学防振制御情報は、前記光学像のシフト量から構成されることを特徴とする請求項１３乃至１８のいずれか１項に記載の画像処理方法。
20. 前記光学像のシフト量は、焦点距離及び前記光学防振手段のシフト量を含む、前記撮像素子における前記光学像のシフトを計算することのできる複数の制御物理量もしくは複数の該制御物理量の組からなることを特徴とする請求項１９に記載の画像処理方法。
21. 前記カメラワークの情報は、カメラの回転量及び平行移動量を含むことを特徴とする請求項１３乃至２０のいずれか１項に記載の画像処理方法。
22. 前記画像信号、前記カメラワークの情報、前記光学防振制御情報とを出力する出力手段を更に有することを特徴とする請求項１３乃至２１のいずれか１項に記載の画像処理方法。
23. コンピュータに、請求項１３乃至２２のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
24. 請求項２３に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images