JP2014192613A5

JP2014192613A5 -

Info

Publication number: JP2014192613A5
Application number: JP2013064916A
Authority: JP
Filing date: 2013-03-26
Publication date: 2015-05-14
Anticipated expiration: 2033-03-26

Description

Harrisオペレータはまず、ウィンドウサイズWを決定し、水平及び垂直方向についての微分画像(I_dx, I_dy)を計算する。微分画像の計算Sobelフィルタ等を用いればよい。例えばフィルタは

次に、Ｓ１２において、光学防振制御部１３で得られた光学防振機構の効果を表す光学防振制御情報を用いて対応点情報を加工する。それにより光学防振の効果、つまりは抑振のために行われた映像の平行移動をキャンセルする。

光学防振制御情報とは、光学防振の効果による映像の平行移動による座標変化の量を表す物理量である。しかしながら、光学系１１がズームレンズの場合、焦点距離の変化があると、姿勢センサ１４から与えられるカメラの回転量が同じであっても、映像の平行移動量が変化してしまう。このため、制御の扱いやすさを鑑み、カメラの回転量や平行移動量、焦点距離からなる複数の制御物理量の組として扱っても良い。例えば、光学防振制御情報の一つを、それ自体に光学系の焦点距離を乗算するとセンサ面上での画像の平行移動量となるようにスケーリングする値と取り決める。つまり、カメラ回転をθとすると

また、Ｓ１２においては、Ｓ１３における計算の精度やロバスト性の向上を目的に、対応点を入力フレームのピクセル座標系の対応点値から正規化画像座標系における対応点値へと変換しても良い。以下、(x, y)は入力フレーム上のピクセル座標、(u_d, v_d)は歪みを含む正規化画像座標、(u, v)は歪みを除去した正規化画像座標である。内部パラメータ及び歪み係数を用いて変換を行う。まず、内部パラメータにより正規化画像座標に変換する。inv( )は ( )のマトリクスの逆行列を表す。

ここで、(ασ₁)² + (βσ₃)² = α² + β²もしくは、(α, β) = (±√(1 - σ₃ ²)), (±√(σ₁ ² - 1))である。ここで、t^→×n^→を上記のv₁もしくはv₃に対応させると、解がなくなってしまう。それゆえv₂のみが可能となる。

nフレーム後のＣＧをレンダリングする際には、その間のカメラワーク変化を考慮して以下のようにカメラ行列を決定し、図５（ｂ）に示すようにＣＧをレンダリングする。

Claims

光学防振手段を含む光学系を介して入射した光学像を撮像素子により光電変換して得られた画像信号を入力する入力手段と、
前記光学防振手段による光学防振制御情報を取得する取得手段と、
前記入力手段から入力された画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいてカメラワークを推定するカメラワーク推定手段と
を有することを特徴とする画像処理装置。
前記カメラワーク推定手段は、
前記画像信号のフレーム間の対応位置の動きを抽出して動き情報を取得する抽出手段と、
前記動き情報を前記光学防振制御情報の逆数の情報で加工して前記光学防振の影響を排除し、該加工した動き情報に基づいてカメラワークを推定する推定手段と
を有することを特徴とする請求項１に記載の画像処理装置。
前記カメラワーク推定手段は、前記画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいて平面度を求め、該平面度が予め決められた閾値以下の場合、基本行列または５点法に基づいてカメラワークを推定し、前記平面度が前記閾値を超える場合に、射影行列分解操作に基づいてカメラワークを推定することを特徴とする請求項１または２に記載の画像処理装置。
コンピュータグラフィックスを生成し、該生成したコンピュータグラフィックスに前記推定されたカメラワークを反映して、前記画像信号と合成する合成手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
予め決められたフレーム期間離れた２フレーム分の画像信号を、前記カメラワークから算出した姿勢変化に基づいて平行化し、該平行化した画像信号から、３次元情報を取得する３次元画像解析手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記カメラワークを表す情報に対して時系列処理を行って平滑化されたカメラワークを求め、該平滑化されたカメラワークと元のカメラワークとの差を求める防振制御手段と、
前記差に基づいて前記画像信号をフレーム毎に幾何変形することで防振映像を取得する幾何変形手段と
を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記光学防振制御情報は、前記光学像のシフト量から構成されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記光学像のシフト量は、焦点距離及び前記光学防振手段のシフト量を含む、前記撮像素子における前記光学像のシフトを計算することのできる複数の制御物理量もしくは複数の該制御物理量の組からなることを特徴とする請求項７に記載の画像処理装置。
前記カメラワークは、カメラの回転量及び平行移動量を含む情報により表されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記画像信号、前記カメラワークを表す情報、前記光学防振制御情報とを出力する出力手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
前記撮像素子と、
請求項１乃至１０のいずれか１項に記載の画像処理装置と
を有することを特徴とする撮像装置。
前記光学系を更に有することを特徴とする請求項１１に記載の撮像装置。
画像処理装置において行われる画像処理方法であって、
入力手段が、光学防振手段を含む光学系を介して入射した光学像を撮像素子により光電変換して得られた画像信号を入力する入力工程と、
取得手段が、前記光学防振手段による光学防振制御情報を取得する取得工程と、
カメラワーク推定手段が、前記入力工程で入力された画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいてカメラワークを推定するカメラワーク推定工程と
を有することを特徴とする画像処理方法。
前記カメラワーク推定工程は、
前記画像信号のフレーム間の対応位置の動きを抽出して動き情報を取得する抽出工程と、
前記動き情報を前記光学防振制御情報の逆数の情報で加工して前記光学防振の影響を排除し、該加工した動き情報に基づいてカメラワークを推定する推定工程と
を有することを特徴とする請求項１３に記載の画像処理方法。
前記カメラワーク推定工程は、前記画像信号から前記光学防振制御情報に基づいて前記光学防振手段による光学防振の影響を排除した情報に基づいて平面度を求める工程を含み、
該平面度が予め決められた閾値以下の場合、基本行列または５点法に基づいてカメラワークを推定し、前記平面度が前記閾値を超える場合に、射影行列分解操作に基づいてカメラワークを推定することを特徴とする請求項１３または１４に記載の画像処理方法。
合成手段が、コンピュータグラフィックスを生成し、該生成したコンピュータグラフィックスに前記推定されたカメラワークを反映して、前記画像信号と合成する合成工程を更に有することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理方法。
３次元画像解析手段が、予め決められたフレーム期間離れた２フレーム分の画像信号を、前記カメラワークから算出した姿勢変化に基づいて平行化し、該平行化した画像信号から、３次元情報を取得する３次元画像解析工程を更に有することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理方法。
防振制御手段が、前記カメラワークを表す情報に対して時系列処理を行って平滑化されたカメラワークを求め、該平滑化されたカメラワークと元のカメラワークとの差を求める防振制御工程と、
幾何変形手段が、前記差に基づいて前記画像信号をフレーム毎に幾何変形することで防振映像を取得する幾何変形工程と
を更に有することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理方法。
前記光学防振制御情報は、前記光学像のシフト量から構成されることを特徴とする請求項１３乃至１８のいずれか１項に記載の画像処理方法。
前記光学像のシフト量は、焦点距離及び前記光学防振手段のシフト量を含む、前記撮像素子における前記光学像のシフトを計算することのできる複数の制御物理量もしくは複数の該制御物理量の組からなることを特徴とする請求項１９に記載の画像処理方法。
前記カメラワークは、カメラの回転量及び平行移動量を含む情報により表されることを特徴とする請求項１３乃至２０のいずれか１項に記載の画像処理方法。
出力手段が、前記画像信号、前記カメラワークを表す情報、前記光学防振制御情報とを出力する出力工程を更に有することを特徴とする請求項１３乃至２１のいずれか１項に記載の画像処理方法。
コンピュータに、請求項１３乃至２２のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
請求項２３に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。