JP2019149717A - 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮影動画から、再生速度が速い安定化動画を生成する場合に、画像の傾きを軽減させる。【解決手段】第１の動画像と第１の動画像を撮影した撮像装置の加速度の情報を入力する入力部と、第１の動画像のそれぞれのフレーム画像を用いて、撮像装置の撮影軌跡を推定する推定部と、推定された撮影軌跡を用いて、第１の動画像のそれぞれのフレーム画像の撮影時における撮像装置の静止状態を判定する判定部と、判定部により静止状態と判定されたフレーム画像の撮影時における、撮像装置の加速度の情報を用いて、撮影軌跡の重力方向を設定する設定部と、設定された重力方向に基づいて、撮影軌跡を補正した第２の動画像を生成する生成部とを備える。【選択図】 図２

Description

本発明は、例えば手振れなどによる撮影画角の変動を安定化させる画像処理技術に関するものである。

手振れなどによる撮影画角の変動を電子的に安定化させる技術として、従来から、撮影動画から撮影軌跡を推定して、推定された撮影軌跡の軌跡変動が低減するように補正し、補正後の撮影軌跡に対応した安定化動画を生成する技術が提案されている。

例えば、特許文献１では、加速度センサ、および角速度センサを用いて装置の振れを検出し、それぞれのセンサによって検出された検出結果に応じて、撮影画像の傾きを補正する技術が開示されている。

また、撮影動画に対して、再生速度をＮ倍速にした安定化動画を生成することにより、アクションカムで撮影された長時間動画を短時間のダイジェスト動画にして楽しむ、と言ったことも盛んに行われている。

特開２０１４−１９９９６４号公報

しかしながら、上述の特許文献１に開示された従来技術では、通常のデジタルカメラで撮影された長時間動画から短時間ダイジェスト動画を生成する場合に、重力方向に対して傾いたフレームが発生してしまうことがある。これは加速度センサ、および角速度センサの検出結果だけでは、撮影装置の傾きを誤検知してしまうケースがあるためである。

上記の従来技術では、加速度センサの検出結果のノルムの大きさを重力加速度の大きさと比較して、所定の範囲内である場合に重力方向を検出しているが、加速度のかかり方によっては誤検知してしまうケースがある。

そのため、誤検知することなく加速度センサを用いて重力方向を検知するためには、加速度センサに重力加速度以外の加速度が加わっていない、例えば、撮影装置が静止している状態における加速度センサの検出結果を用いることが必要である。しかし撮影装置の静止状態を、加速度センサ、および角速度センサのジャークを用いて検出しようとすると、温度変化による検出値のオフセット変動が原因で、正しく検出できない場合がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影動画から、再生速度が速い安定化動画を生成する場合に、画像の傾きを軽減させることである。

本発明に係わる画像処理装置は、第１の動画像と該第１の動画像を撮影した撮像装置の加速度の情報を入力する入力手段と、前記第１の動画像のそれぞれのフレーム画像を用いて、前記撮像装置の撮影軌跡を推定する推定手段と、推定された前記撮影軌跡を用いて、前記第１の動画像のそれぞれのフレーム画像の撮影時における前記撮像装置の静止状態を判定する判定手段と、前記判定手段により静止状態と判定されたフレーム画像の撮影時における、前記撮像装置の加速度の情報を用いて、前記撮影軌跡の重力方向を設定する設定手段と、設定された前記重力方向に基づいて、前記撮影軌跡を補正した第２の動画像を生成する生成手段と、を備えることを特徴とする。

本発明によれば、撮影動画から、再生速度が速い安定化動画を生成する場合に、画像の傾きを軽減させることが可能となる。

本発明の一実施形態であるデジタルカメラの機能構成を示したブロック図。 画像処理部の構成を示すブロック図。 撮像軌跡推定部の構成を示すブロック図。 画像処理部の全体の動作を示すフローチャート。 撮像軌跡推定部の動作を示すフローチャート。 画像マッチングを示す模式図。 ２つの視点から見た三次元的な同一点を説明するための模式図。 撮像軌跡推定部および撮像軌跡補正部の動作を説明するための図。 （式７）〜（式９）を説明するための図。 （式１０）を説明するための図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の機能構成を示すブロック図である。図１において、制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４はレンズ等で構成された光学系である。撮像部１０５はＣＭＯＳセンサ等の撮像素子を備え、光学系１０４により撮像素子に結像された光学像（被写体像）を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。加速度センサ１０７（加速度検出手段）は、互いに直交するＸ、Ｙ、Ｚ方向ごとに加速度を検出し、撮像時に検出されたＸ、Ｙ、Ｚ方向の各加速度のデータをＲＡＭ１０３に出力して記憶させる。

画像処理部１０８は、ＲＡＭ１０３に蓄えられている撮影動画と加速度データとを用いて、撮影軌跡の推定、重力基準方向の設定、撮像軌跡の補正を行い、軌跡変動を低減させ、且つ、画像の傾きを抑制させた安定化動画を生成する。記録媒体１０９は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている、画像処理部１０８で処理された動画やＡ／Ｄ変換部１０６でＡ／Ｄ変換された動画などが、記録動画として記録される。

図２は、図１の画像処理部１０８の構成を説明するための図である。画像処理部１０８は、画像入力部２０１と、撮像軌跡推定部２０２と、静止状態判定部２０３と、重力方向設定部２０４と、撮像軌跡補正部２０５と、出力画像生成部２０６とを備える。撮像軌跡推定部２０２は、図３の画像マッチング部３０１、変動量算出部３０２、変動量累積部３０３を有する。

画像入力部２０１は、１フレーム又は複数フレーム分の記憶された撮影動画（フレーム画像）と加速度データ（加速度の情報）とを、ＲＡＭ１０３から入力され、一時的に記憶保持する。撮像軌跡推定部２０２は、画像入力部２０１により入力された画像を使用し撮像の軌跡推定を行う。

図３は、撮像軌跡推定部２０２の構成を示す図である。画像マッチング部３０１は、現フレーム（フレーム番号ｎ）と次フレーム（フレーム番号ｎ＋１）のマッチング処理を行う。変動量算出部３０２は、画像マッチング部３０１によるマッチング結果を使用し画像間の変動量を算出する。変動量累積部３０３は、変動量算出部３０２によって算出された画像間の変動量を累積し撮像軌跡を算出する。

静止状態判定部２０３は、撮像軌跡推定部２０２で算出された撮像軌跡を用いて、撮影動画のフレームのうち、デジタルカメラ１００が静止している状態のフレームを判定する。重力方向設定部２０４は、静止状態判定部２０３で静止状態であると判定した動画フレームの撮影時に加速度センサ１０７で検出した加速度データを用いて、基準となる重力方向を設定する。

撮像軌跡補正部２０５は、撮像軌跡推定部２０２によって推定された撮像軌跡と、重力方向設定部２０４によって設定された基準となる重力方向とを用いて撮像軌跡の補正を行う。出力画像生成部２０６は、撮像軌跡補正部２０５によって補正された撮像軌跡に応じた画角領域を撮影動画から読み出し、撮像のＮ倍速（Ｎは整数）での安定化動画を生成する。

次に、上記のように構成された画像処理部１０８の動作について、図４に示すフローチャートを用いて詳細に説明する。

まず、ステップＳ４０１において、撮影された動画と加速度データとが、画像入力部２０１を介し画像処理部１０８へ入力され、一時的に記憶される。ステップＳ４０２において、撮像軌跡推定部２０２は、ステップＳ４０１で入力された画像を使用して撮像軌跡推定を行う。ここでステップＳ４０２の撮像軌跡推定における処理を図５に示すフローチャートを用いて詳細に説明する。

ステップＳ５０１において、図３の画像マッチング部３０１は、図６に示されるように、図６（ａ）の現フレーム（フレーム番号ｎ）と図６（ｂ）の次フレーム（フレーム番号ｎ＋１）でマッチング処理を行う。マッチング処理の結果を図６（ｃ）に示す。特徴点マッチングの手法はＳＩＦＴのように現フレームと次フレームの特徴点をそれぞれ算出し、算出した特徴点の対応探索を行ってもよいし、ＫＬＴ追跡器のように現フレームで特徴点を算出し、算出した特徴点を続くフレームで追跡する特徴点追跡を行ってもよい。２フレーム内の対応点を算出することができれば手法は問わない。図６（ａ）の丸で示された位置６０１，６０２，６０３は現フレーム中にある特徴点の位置であり、図６（ｂ）で示されている位置６０４，６０５，６０６は次フレーム中にある特徴点の位置である。

マッチング処理の結果について、各特徴点の位置のうち対応する点を、図６（ｃ）の線６０７，６０８，６０９で示した。このように図６（ａ）の点６０１は図６（ｂ）の点６０４といったように各特徴点の対応を算出する。特徴点の数は、図６では３点の対応点のみしか表示していないが、実際にはこの数は限定されない。しかし後に算出する基礎行列Ｆのパラメータの数が８個であるため、好ましくは８点以上有る方が精度よく算出可能である。また特徴点は、その特徴量やマッチングの精度が高い点のみを用いる方が後のカメラ位置姿勢の算出精度が向上するため、マッチング時の相関値や特徴量がある閾値よりも高い対応点のみを用いるといった処理を行ってもよい。

ステップＳ５０２において、図３の変動量算出部３０２は、ステップＳ５０１において行ったマッチングの結果を使用し画像間の変動量、つまり画像間のカメラ位置姿勢の変動量を算出する。

ここで、ストラクチャフロムモーションを用いたカメラ位置姿勢推定の方法を図７を用いて説明する。２フレーム間の対応点は２つの視点から見た三次元的な同一点であり、図７を用いると、二つの視点のカメラ中心はＣ１，Ｃ２であり、同一点は三次元座標点Ｘで表わされる。そしてＣ１，Ｃ２から見た三次元座標点Ｘがフレーム上に投影される対応点はｘ１，ｘ２で表わされる。

ここでＣ１，Ｃ２でのカメラ行列Ｐ１，Ｐ２をそれぞれ（式１）、（式２）で表わすと以下のように表される。

Ｐ１＝Ｋ［Ｉ｜０］ …（式１）
Ｐ２＝Ｋ［Ｒ｜Ｔ］ …（式２）
ここで原点を基準としたときの座標軸はカメラ中心Ｃ１に合わせており、Ｉは単位行列、Ｋは内部キャリブレーション行列、ＲはＣ２の位置でのカメラの向きを表わす回転変換行列、Ｔは三次元の平行移動ベクトルである。本実施形態ではＣ１，Ｃ２でのカメラは同じであるため、内部キャリブレーション行列は同じである。

ここでカメラの相対的な位置関係ＲとＴ、カメラの特性Ｋ、三次元点の位置の結果として画像上の点ｘ１，ｘ２に幾何学的な制約が生じるために、前述のカメラ行列を用いると、三次元座標点Ｘを画像上の点ｘ１，ｘ２に射影する条件を導き出すことができる。これは、（式３）の方程式を満たす必要がある。

ｘ２^TＦ・ｘ１＝０ …（式３）
Ｆ＝Ｋ^-TＳｔ・Ｒ・Ｋ^-1 …（式４）
（式３）はエピポーラ制約といい、このエピポーラ制約中の行列Ｆを基礎行列という。この行列Ｆは２つのカメラＣ１，Ｃ２間の回転および平行移動量を表わす式であり、（式３）はｘ１をｘ２に変換する式として表わされている。（式４）は行列Ｆを、カメラの相対的な位置関係ＲとＴ、カメラの特性Ｋ、Ｓｔで表わした式であり、Ｓｔは、三次元の平行移動ベクトルＴで表わされる交代行列である。

よって、ステップＳ５０１で求めた２フレーム間の対応点群を用いて、（式３）を解くと、この基礎行列Ｆが求められる。基礎行列Ｆを求める方法は、８組の対応点を用いた８点法、ＶＤ（特異値分解）を用いた最小二乗法などがある。そして、この基礎行列Ｆを求めた後に、（式４）を用いてカメラ行列を復元することで、２つのフレーム間でのカメラ位置姿勢の変動量、つまり回転変換行列Ｒと平行移動ベクトルＴを求めることができる。

図８（ａ）は算出した変動量のうち平行移動ベクトルｔの変動量を時系列（フレーム番号順）に並べたものであり、図面の上方向が画像の変動量を表わす軸、図面の横方向がフレーム番号の軸を示し、各フレームでのベクトルは矢印８０１で示されている。実際にはｘ，ｙ，ｚ方向の３方向の成分を持っているが、図８（ａ）の図面上では、省略して画像変動量は１本の軸のみで表現している。

ステップＳ５０３において、図３の変動量累積部３０３は、ステップＳ５０２において算出した変動量を時間方向に累積し撮像軌跡を算出する。図８（ａ）のベクトルである矢印８０１を時間方向に累積することで、図８（ｂ）の撮像軌跡である折れ線８０２を算出する。図８（ｂ）に示したグラフは図面の上方向が撮像軌跡、つまり三次元上の撮像位置を表わす軸、図面の横方向がフレーム番号の軸である。以上のようにして、ステップＳ４０２の撮像軌跡推定が行われる。

ステップＳ４０３において、静止状態判定部２０３は、ステップＳ４０２で推定された撮像軌跡を用いて撮影動画の静止状態で撮影されたフレームを判定する。具体的には、各フレーム間のカメラ位置姿勢である回転と平行移動の変動量が所定の範囲以内の場合、静止状態と判定する。所定の範囲の例としては、フレーム間の回転量が１度以下、もしくは最大の回転量の５％以下となるようにする方法などがある。ここで挙げた値は一例であり、シーンの中の動きが大きい場合には大きくしたり、より厳密に算出したい場合には小さくしたりと任意に定めればよい。これはカメラの位置及び姿勢に動きがある場合、後述するステップＳ４０４で加速度センサ１０７で検出した加速度データを用いて重力方向を算出する際に、撮像の動きに起因する加速度成分が生じるために正確に重力方向を算出できないからである。

ステップＳ４０４において、図２の重力方向設定部２０４は、ステップＳ４０３で判定された静止状態のフレームと加速度センサ１０７で検出した加速度データとを用いてステップＳ４０２で推定された撮像軌跡の座標上の基準となる重力方向を設定する。具体的には、静止状態と判定されたフレームを撮影した時刻の間に加速度センサが取得した各ｘ，ｙ，ｚ方向の加速度成分のノルムを算出し、その方向から撮像軌跡座標系上の重力基準方向を設定する。加速度成分のノルムの算出方法は、静止状態の時刻間の代表値や平均値をとってもよいし、静止状態と判定された区間が複数存在する場合、加速度センサの検出結果の安定性を考慮して、静止状態が連続するフレーム数が相対的に多い区間を優先的に選んでもよい。さらに、ステップＳ４０２によって推定された撮像軌跡算出の際に信頼度を示す指標を算出して、その信頼度が最も高い区間の重力方向を選んでもよい。例えば、変動量算出部３０２で行ったストラクチャフロムモーションによるカメラ位置姿勢推定時に基礎行列Ｆの算出時に用いた最小二乗法による推定値の残差を信頼度の指標として用いて、その残差が少ない方が信頼度が高いとしてもよい。その他には、画像マッチング部３０１で行った画像マッチング処理時に算出した特徴点の数を信頼度の指標として用いて、その特徴点の数が多いほど信頼度が高いとしてもよい。ここでは、静止状態のフレームに同期した加速度データを用いて重力基準方向を設定することができれば手法は問わない。

ステップＳ４０５において、図２の撮像軌跡補正部２０５は、ステップＳ４０４によって設定した重力基準方向を使用して、ステップＳ４０２で推定された撮像軌跡の補正を行う。図８（ｂ）の撮像軌跡８０２に対して、フレーム画像間の傾きの変化が所定の範囲内になって滑らかになるように処理を施し、図８（ｃ）の曲線８０３に示すように補正撮像軌跡を生成する。図８（ｃ）に示したグラフは、図８（ｂ）と同様に図面の上方向が三次元上の撮像位置を表わす軸、図面の横方向がフレーム番号の軸である。ここでｐ（ｔ）は時刻ｔでの補正後の撮像位置、ｆ（ｔ）は時刻ｔでの補正後の撮像方向、ｐｍ はｐ（ｔ）に一番近い位置にある入力の撮像位置、ｇは重力基準方向であり、ｆ（ｔ），ｇは以下の式で表わされる。

ｇ＝ｒｇ・ｐｇ・ｙｇ …（式５）
ｆ（ｔ）＝ｒｔ・ｐｔ・ｙｔ …（式６）
ここでｒ，ｐ，ｙは、それぞれ３×３の行列で表わされ、ｒはロール方向成分、ｐはピッチ方向成分、ｙはヨー方向成分である。（式５）は重力方向の各回転成分ｒｇ，ｐｇ，ｙｇ、（式６）は時刻ｔでの補正後の撮像方向の各回転成分ｒｔ，ｐｔ，ｙｔの掛け算によって表わされる。そうすると撮像軌跡の補正式は例えば次の（式７）から（式１１）で表すことができる。なお、（式１０）の×は行列の外積を表わしている。

ここで図９を用いて撮像軌跡の補正の効果について説明する。図９（ａ）〜図９（ｄ）に示したグラフでは、図面の上方向が三次元上の撮像装置の位置を表わす軸、図面の横方向がフレーム番号の軸である。図９（ａ）の折れ線９０１は入力撮像軌跡を示す。（式７）は補正後の撮像軌跡の長さを調整する式である。図９（ｂ）の折れ線９０２は折れ線９０１に対して補正撮像軌跡の長さが短くなるように調整している図である。（式８）は補正後の撮像装置の位置と補正後の撮像方向の１フレーム毎の変化が滑らかになるように調整する式である。図９（ｃ）の曲線９０３は折れ線９０２に対して補正撮像軌跡の１フレーム毎の変化が滑らかになるに調整している図である。（式９）は入力撮像位置と補正撮像位置の差分を調整する式である。図９（ｄ）の曲線９０４は曲線９０３が入力撮像軌跡との差分が少なくなるように調整している図である。（式１０）は補正後の撮像方向と重力基準方向が直交に近くなるように調整する式である。（式１１）は（式７）〜（式１０）を用いて、各項に対して重み付けパラメータλ１〜λ４を掛け合わせたものであり、これを撮像軌跡補正の式とする。そして、（式１１）を最小とするようにｐ（ｔ）とｆ（ｔ）について非線形の最小化問題を解くことで補正された撮像軌跡を算出することができる。また（式１１）はλによって各項の重みを変更することが可能である。例えばλ２の値を大きくし、λ３の値を小さくすると図９（ｃ）の曲線９０３のように入力撮像軌跡から離れた撮像軌跡になっても１フレーム毎の変化を滑らかすることが優先される。これらの重み付けは任意で指定することが可能である。

ここで（式１０）について、図１０を用いて説明する。ステップＳ４０４で撮像軌跡の座標上の基準となる重力方向ｇを設定しており、図１０では図面上のヨー、ピッチ、ロール方向を表わす三軸の回転軸スケール１０００のうち、ヨー軸の紙面下方向が重力方向ｇに相当する。図１０（ａ）の１０１０で示される点線は補正撮像位置ｐ（ｔ）の軌跡を表わしている。また、図１０（ａ）のカメラマーク１００１，１００２はある時刻での補正した撮像位置、矢印１００３，１００４はそれぞれカメラマーク１００１，１００２の位置での補正前の撮像方向を表わしている。撮像方向１００３，１００４は図１０（ａ）の重力方向ｇと平行な方向である１００５，１００６に対して傾いており、それぞれの位置で投影される画像１００７，１００８は、ピッチ、ロール方向に傾いている。

（式１０）を適用することで、それぞれの撮像位置１００１，１００２での撮像方向は、図１０（ｂ）の矢印１０１３，１０１４のように、重力方向に対してピッチ方向とロール方向が直交に近くなるように補正される。そして、それぞれの位置で重力方向に対して傾きの軽減された画像１０１７，１０１８を投影するカメラ位置姿勢を算出することができる。このように（式１０）では、重力方向のロール成分、ピッチ成分と、補正後の撮像方向のロール成分、ピッチ成分が直交、つまり外積が０に近くなるように調整される。このようにすることで、撮像方向が水平を向くようになり、例えば空であったり、地面といったユーザーの意図しない被写体ばかりが映るようなケースを回避することができる。

しかし、ユーザーのニーズによっては、基準重力方向に対してピッチ成分が垂直な方向ではない方向を中心に撮影したいが、画像のロール方向のみ重力基準方向からの傾きを軽減させたいといった場合も考えられる。この場合は、重力基準方向に対する撮像方向のロール成分のみの傾きを軽減するように調整する必要があり、（式１０）の代わりに（式１２）を用いる。

（式１２）は、重力方向のロール成分と補正後の撮像方向のロール成分が平行になるように、つまり内積が１に近くなるように調整する式である。このように基準となる重力方向に対して補正撮像方向が一定になるように調整されればよく、上記の例に限定されず、基準となる重力方向に対して任意の角度の方向に対して設定を行うことができる。

ステップＳ４０６は出力画像生成部２０６において１フレーム毎にステップＳ４０５で算出した補正後の撮像軌跡に応じた画角領域を撮影動画から読み出し（切り出し）、撮像のＮ倍速に応じた動画フレームを再構成することで安定化動画を生成する。

以上の処理を行うことにより、設定した重力基準方向に対して傾きが軽減された安定化動画生成が可能となる。

以上、自動で重力基準方向に対する出力動画像の傾きを解消する実施形態について説明した。このようにすることで画像の視認性は向上するが、ユーザーのニーズによっては、安定化した出力動画像を見た後に、ユーザーの任意の方向に対して傾きが軽減された動画像を出力するようなケースも考えられる。その場合、ユーザーの指定する基準方向の入力を受けた後に、ステップＳ４０４で設定した重力基準方向の代わりにユーザーの指定する方向を基準として再度ステップＳ４０５で行った撮像軌跡補正を行い、安定化した出力動画像を提供することも可能である。もしくは、ユーザーが指定する任意の区間のみ、出力動画像を重力基準方向に対する傾き補正を行わないといったケースも考えられる。その場合、Ｓ４０４で行った撮像軌跡補正のλ４をユーザー指定の任意の区間のみ比率を変えて、重みを小さくした後に再度撮像軌跡補正を行い、安定化した出力動画像を提供することも可能である。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：デジタルカメラ、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ/Ｄ変換部、１０７：加速度センサ、１０８：画像処理部

Claims (12)

1. 第１の動画像と該第１の動画像を撮影した撮像装置の加速度の情報を入力する入力手段と、
   前記第１の動画像のそれぞれのフレーム画像を用いて、前記撮像装置の撮影軌跡を推定する推定手段と、
   推定された前記撮影軌跡を用いて、前記第１の動画像のそれぞれのフレーム画像の撮影時における前記撮像装置の静止状態を判定する判定手段と、
   前記判定手段により静止状態と判定されたフレーム画像の撮影時における、前記撮像装置の加速度の情報を用いて、前記撮影軌跡の重力方向を設定する設定手段と、
   設定された前記重力方向に基づいて、前記撮影軌跡を補正した第２の動画像を生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記第１の動画像のそれぞれのフレーム画像の前記重力方向に対する傾きが所定の範囲内となるように、前記撮影軌跡を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記推定手段により推定された撮影軌跡において、フレーム画像間における前記撮影軌跡の変動量が所定の大きさ以下であるフレーム画像を、前記撮像装置が静止状態で撮影されたフレーム画像と判定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記設定手段は、前記判定手段によって前記撮像装置の静止状態で撮影されたと判定されたフレーム画像の撮影時に取得した前記加速度の情報におけるｘ、ｙ、ｚ方向の加速度成分のノルムを用いて重力方向を設定することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記設定手段は、前記判定手段によって前記撮像装置の静止状態で撮影されたと判定されたフレームが複数存在する場合に、連続して静止状態であると判定された区間がより長い区間を、重力方向の設定に用いることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記設定手段は、前記判定手段によって前記撮像装置の静止状態で撮影されたと判定されたフレームが複数存在する場合に、前記撮影軌跡の推定時に得られる信頼度が高い区間を、重力方向の設定に用いることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記設定手段は、前記撮影軌跡の推定時に得られる特徴点マッチングの数を信頼度とし、特徴点マッチングの特徴点の数がより多い区間を、重力方向の設定に用いることを特徴とする請求項６に記載の画像処理装置。
8. 前記設定手段は、前記撮影軌跡の推定時に得られる推定値の残差を信頼度とし、残差がより小さい区間を、重力方向の設定に用いることを特徴とする請求項６に記載の画像処理装置。
9. 被写体像を撮像する撮像手段と、
   加速度を検出する加速度検出手段と、
   請求項１乃至８のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
10. 第１の動画像と該第１の動画像を撮影した撮像装置の加速度の情報を入力する入力工程と、
    前記第１の動画像のそれぞれのフレーム画像を用いて、前記撮像装置の撮影軌跡を推定する推定工程と、
    推定された前記撮影軌跡を用いて、前記第１の動画像のそれぞれのフレーム画像の撮影時における前記撮像装置の静止状態を判定する判定工程と、
    前記判定工程において静止状態と判定されたフレーム画像の撮影時における、前記撮像装置の加速度の情報を用いて、前記撮影軌跡の重力方向を設定する設定工程と、
    設定された前記重力方向に基づいて、前記撮影軌跡を補正した第２の動画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images