JP2013183189A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】動画像として観察した場合に、撮影時における撮影者の等速でないパンニング動作に起因して、連続するフレーム画像に一様でない像移動が残り、品位の低い動画像となった。
【解決手段】画像処理装置は、連続的に撮影された複数のフレーム画像データを取得する取得部と、複数のフレーム画像データのうち対象とする対象フレーム画像データの画像領域の一部を切り取ると共に、他のフレーム画像データの画像領域の一部を足し合わせることにより、対象フレーム画像データに前後するフレーム画像データに対する被写体画像間の移動量を、複数のフレーム画像データにおける被写体画像間の平均移動量とする補正フレーム画像データを生成する画像データ生成部とを備える。
【選択図】図６

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

パンニングを検出して、パンニング動作に適した手振れ補正を行う技術が知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００１−３５８９８２号公報

パンニング動作中の各フレーム画像に対して手振れ補正を効果的に適用しても、動画像として観察した場合に、撮影時における撮影者の等速でないパンニング動作に起因して、連続するフレーム画像に一様でない像移動が残り、品位の低い動画像となった。すなわち、各フレーム間における同一被写体像の移動量が一定ではなく、ふらつきのある見苦しい動画像となった。

本発明の第１の態様における画像処理装置は、連続的に撮影された複数のフレーム画像データを取得する取得部と、複数のフレーム画像データのうち対象とする対象フレーム画像データの画像領域の一部を切り取ると共に、他のフレーム画像データの画像領域の一部を足し合わせることにより、対象フレーム画像データに前後するフレーム画像データに対する被写体画像間の移動量を、複数のフレーム画像データにおける被写体画像間の平均移動量とする補正フレーム画像データを生成する画像データ生成部とを備える。

本発明の第２の態様における撮像装置は、取得部へ複数のフレーム画像データを供給する撮像部と、上記の画像処理装置とを備える。

本発明の第３の態様における画像処理プログラムは、連続的に撮影された複数のフレーム画像データを取得する取得ステップと、複数のフレーム画像データのうち対象とする対象フレーム画像データの画像領域の一部を切り取ると共に、他のフレーム画像データの画像領域の一部を足し合わせることにより、対象フレーム画像データに前後するフレーム画像データに対する被写体画像間の移動量を、複数のフレーム画像データにおける被写体画像間の平均移動量とする補正フレーム画像データを生成する画像データ生成ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係るカメラのシステム構成図である。 カメラの背面とパンニング撮影の様子を示す図である。 被写体像の移動量と補正期間の概念を示す図である。 本領域と余剰領域を説明する説明図である。 フレーム間移動量と平均移動量を説明する説明図である。 フレーム間移動量が平均移動量よりも大きい場合の補正フレーム画像生成を説明する説明図である。 フレーム間移動量が平均移動量よりも小さい場合の補正フレーム画像生成を説明する説明図である。 副軸方向の平均移動量が余剰領域を超えて大きい場合の補正フレーム画像生成を説明する説明図である。 動画撮影処理における一連のパンニング処理フローを示すフロー図である。 パンチルト検出に関する処理フローを示すフロー図である。 シーン変更検出に関する処理フローを示すフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る撮像装置としてのカメラ１０のシステム構成図である。カメラ１０は光学系２０を備える。光学系２０は、主にズームレンズ２１、フォーカスレンズ２２、補正レンズユニット２３、レンズシャッタ２４等により構成される。被写体像は光軸１１に沿って光学系２０に入射し、撮像素子３１の結像面に結像する。

撮像素子３１は、光学系２０を透過して入射する被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子３１で光電変換された被写体像は、Ａ／Ｄ変換器３２でアナログ信号からデジタル信号に変換される。撮像素子３１の電荷読み出し制御およびＡ／Ｄ変換器３２の変換制御は、メモリ制御部３３の同期制御を受けたタイミング発生部３４が供給するクロック信号により同期が計られる。

デジタル信号に変換された被写体像は、フレーム画像データとして順次処理される。Ａ／Ｄ変換器によりデジタル信号に変換されたフレーム画像データは、メモリ制御部３３の制御に従い、一旦内部メモリ３５に記憶される。内部メモリ３５は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ３５は、連写撮影、動画撮影において高速に連続してフレーム画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、画像処理部３６が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。したがって、内部メモリ３５は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部３３は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。

画像処理部３６は、設定されている撮影モード、ユーザからの指示に則して、フレーム画像データを所定の画像フォーマットに従った画像ファイルに変換する。例えば、静止画像としてＪＰＥＧファイルを生成する場合、色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、動画像としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像データに対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。そして、変換された画像データは再び内部メモリ３５に保管される。

画像処理部３６によって処理された静止画像データ、動画像データは、メモリ制御部３３の制御により、内部メモリ３５から記録媒体ＩＦ３７を介して、記録媒体８０に記録される。記録媒体８０は、フラッシュメモリ等により構成される、カメラ１０に対して着脱可能な不揮発性メモリである。

画像処理部３６で処理されたフレーム画像データは、記録用に処理されるフレーム画像データに並行して、表示用のフレーム画像データを生成する。表示用のフレーム画像データは、記録用に処理されるフレーム画像データをコピーして間引き処理された、画素数の少ない画像データである。生成された表示用のフレーム画像データは、表示制御部３８の制御に従って、タイミング発生部３４からのクロック信号に同期するＤ／Ａ変換器３９でアナログ信号に変換されて、例えば液晶パネルである表示部４０に表示される。記録の有無に関わらず、逐次表示用のフレーム画像データを生成して表示部４０に表示すれば、電子ファインダ機能を実現することができる。また、画像の表示と共に、もしくは画像を表示することなく、カメラ１０の各種設定に関する様々なメニュー項目も、表示部４０に表示することができる。

カメラ１０は、上記の画像処理における各々の要素も含めて、システム制御部４１により直接的または間接的に制御される。システム制御部４１は、システムメモリ４２を備える。システムメモリ４２は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ４２は、カメラ１０の動作時に必要な定数、変数、プログラム等を、カメラ１０の非動作時にも失われないように記録している。システム制御部４１は、定数、変数、プログラム等を適宜内部メモリ３５に展開して、カメラ１０の制御に利用する。

光学系２０を構成するズームレンズ２１、フォーカスレンズ２２、補正レンズユニット２３、レンズシャッタ２４は、システム制御部４１の統括制御のもとそれぞれ、ズーム制御部４３、フォーカス制御部４４、防振駆動制御部４５、露光制御部４６によって制御される。ズーム制御部４３は、ユーザの指示に応じてズームレンズ２１を駆動して、被写体像の画角を変更する。フォーカス制御部４４は、連続して取得される画像データを用いたコントラストＡＦの情報に応じて、特定の領域の被写体像が撮像素子３１の受光面上で合焦するように、フォーカスレンズ２２を駆動する。

防振駆動制御部４５は、補正レンズユニット２３の補正レンズの位置を検出する位置検出センサと、カメラ１０に加えられる振れを検出する振れ検出センサを備える。防振駆動制御部４５は、振れ検出センサから検出されたカメラ１０の振れを打ち消すように、位置検出センサの出力を加味して、補正レンズを駆動する。これにより、ユーザによる手振れ量が一定の範囲内であれば、被写体像は、撮像素子３１の受光面上で安定した結像状態を維持する。露光制御部４６は、画像処理部３６が処理した画像データをシステム制御部４１が解析して得た撮影条件としての露出値に従って、レンズシャッタ２４を駆動し、入射する被写体像の絞りおよびシャッタ速度を調整する。なお、動画撮影等の場合には、各フレーム画像データ取得において、シャッタ速度の調整を、撮像素子３１の電荷読み出しのタイミングを制御することにより行う。

カメラ１０は、ユーザからの操作を受け付ける操作部材４７を複数備えている。システム制御部４１は、これら操作部材４７が操作されたことを検知し、操作に応じた動作を実行する。また、カメラ１０は操作部材４７の類としてレリーズスイッチ４８を備える。レリーズスイッチ４８は、押下げ方向に２段階に検知できる押しボタンで構成されており、システム制御部４１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ、ＡＥ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子３１による被写体像の取得動作を実行する。

カメラ１０は、電源９０から電力供給を受ける。電源制御部４９は、電源９０と通信して残電力の検出、電力供給の監視を行う。電源９０は、２次電池、家庭用ＡＣ電源等により構成される。

図２は、カメラ１０の背面とパンニング撮影の様子を示す図である。カメラ１０の背面には、操作部材４７の一部である十字ボタン５３および確定ボタン５４が配設されている。 表示部４０には、スルー画像としての被写体像が表示されると共に、電池残量などのさまざまな情報が表示されている。特に、カメラ１０がパンニング、チルティングを検出したときには、その旨が表示される。

パンニング撮影は、カメラ１０を左右方向に徐々に振りながら撮影を継続する動画撮影の撮影手法である。チルティング撮影は、カメラ１０を上下方向に徐々に振りながら撮影を継続する動画撮影の撮影手法である。図では、カメラ１０を把持する手を、被写体９００に対して矢印方向（左右方向）に振ってパンニング撮影を行う様子を示す。ユーザは、表示部４０に表示される被写体像を観察しながらその効果を確認しつつ撮影を継続することができる。

パンニング撮影された動画像を再生すると、被写体が静止していた場合に、パン方向とは逆向きに被写体が移動するように観察される。ところが、例えばカメラ１０をユーザが把持してパンニング撮影を行うと、往々にしてパン速度が一定ではなく、連続するフレーム画像間の被写体の移動量が刻々と変化する品位の低い動画像になりがちである。このような動画像は、ふらつきのある見苦しい画像であり、観察者に眼球疲労などを与える原因ともなる。

そこで、本実施形態においては、連続するフレーム画像間の被写体の移動について急激な変化を避け、あたかも一定のパン速度で撮影したような動画像を生成する。以下に具体的な処理について説明する。

図３は、被写体像の移動量と補正期間の概念を示す図である。図において横軸は、時間の経過を表す。動画撮影においては、一般的に一定のフレームレートでフレーム画像データの取得が行われるので、横軸は連続するフレームナンバーを表すとも言える。例えば、カメラ１０が６０ｆｐｓのフレームレートで動画撮影を実行する場合、６０番のフレームナンバーが１秒に、１２０番のフレームナンバーが２秒に相当する。

縦軸は、被写体像の移動量を表す。被写体像の移動量は、例えば被写体画像における画素単位で表現することができる。被写体像は、前後するフレーム画像において、横方向であるｘ軸方向と縦方向であるｙ軸方向に移動し得るが、これらの移動を移動ベクトルとして算出し、その大きさを移動量とすることができる。あるいは、パンニングであれば主軸とするｘ軸方向の移動量と、副軸とするｙ軸方向の移動量を分けて算出し、ｘ軸方向の移動量を評価の対象とすることもできる。同様に、チルティングであれば主軸とするｙ軸方向の移動量と、副軸とするｘ軸方向の移動量を分けて算出し、ｙ軸方向の移動量を評価の対象とすることもできる。

本実施形態においては、システム制御部４１が、以下に説明するフレーム間移動量Ｍｆ、累積移動量Ｍａ、平均移動量Ｍｖを算出する算出部として機能する。フレーム間移動量Ｍｆは、前後するフレーム画像の対応ブロックにおいて周知のマッチング処理を実行し、そのずれ量を統計的に処理して算出する。この場合、システム制御部４１は、画像処理部３６を用いてマッチング処理を行う。なお、システム制御部４１は、移動量の算出を行う場合に、フレーム画像の全体を対象とすることもできるし、例えば顔領域などの特定領域を対象とすることもできる。

システム制御部４１は、刻々と取得されるフレーム画像に対して継続的にフレーム間移動量Ｍｆを算出する。図の例は、ユーザがパンニングを開始する時点から停止する時点までを含むが、実線で表されるフレーム間移動量Ｍｆが示すとおり、その移動量は一定では無く、パン速度にむらがあることがわかる。

システム制御部４１は、フレーム間移動量Ｍｆを用いて累積移動量Ｍａを算出する。累積移動量Ｍａは、直近の予め定められたフレーム数分のフレーム間移動量Ｍｆを加算して算出する。フレームレートが６０ｆｐｓの場合、例えば直近の３１フレーム分のフレーム間移動量Ｍｆを加算する。

パンニングのように一方向への移動が継続されると、フレーム間移動量Ｍｆは、例えば連続して正の移動量が算出される。これを順次加算すれば、その値は累積的に増大する。そこで、システム制御部４１は、累積移動量Ｍａが予め定められた開始判定閾値Ｔｈ＿ａを超えたことによりパンニング開始を検出する。ただし、累積値である累積移動量Ｍａが開始判定閾値Ｔｈ＿ａを超える時点は、実際にパンニングが開始されてから一定の時間が経過した後であるので、その経過時間分を遡及させてパンニング開始時点を同定する。

一方パンニングが停止すれば、フレーム間移動量Ｍｆは、小さな値として算出されるので、システム制御部４１は、累積移動量Ｍａが予め定められた停止判定閾値Ｔｈ＿ｔを下回ったことによりパンニング停止を検出する。累積値である累積移動量Ｍａが停止判定閾値Ｔｈ＿ｔを下回る時点は、実際にパンニングが停止されてから一定の時間が経過した後であるので、その経過時間分を遡及させてパンニング停止時点を同定する。なお、遡及させる経過時間は、累積移動量Ｍａを算出する直近のフレーム数等に基づいて、予め設定されている。また、ヒステリシスの観点から、Ｔｈ＿ａ＞Ｔｈ＿ｔとなるように、それぞれの閾値が予め設定されている。

補正フレーム画像データを生成する処理は、パンニング開始時点からパンニング終了時点までの期間において実行される。システム制御部４１は、この補正期間の間、平均移動量Ｍｖを算出する。平均移動量Ｍｖは、原則として、対象フレームに対して予め定められた前後数フレーム分のフレーム間移動量Ｍｆの平均値として算出される。フレームレートが６０ｆｐｓの場合、例えば直前の１５フレーム、直後の１５フレームに自身の１フレームを加えた３１フレーム分のフレーム間移動量Ｍｆの平均値として算出される。

ただし、パンニング開始時点近傍においては、パンニング開始前のフレーム間移動量Ｍｆを平均値算出の対象から除外する。すなわち、補正期間に属するフレーム間移動量Ｍｆのみを用いて平均移動量Ｍｖを算出する。同様に、パンニング停止時点近傍においては、パンニング停止後のフレーム間移動量Ｍｆを平均値算出の対象から除外する。

図において点線で表す平均移動量Ｍｖは、実線で表すフレーム間移動量Ｍｆに比べて、比較的滑らかな変化を示す。システム制御部４１は、実際にはフレーム間移動量Ｍｆで取得されたフレーム画像を、平均移動量Ｍｖとなるように補正する。このとき、フレーム間移動量Ｍｆと平均移動量Ｍｖとの差分は、補正フレーム画像を生成する補正量となる。

上述のように撮像素子３１は、静止画撮影にも利用される。撮像素子３１は、静止画撮影時において例えば６０００画素×４０００画素の３：２のアスペクト比であるが、動画ファイルとして最終的に出力されるフレーム画像は、フルＨＤ規格の場合で１９２０画素×１０８０画素であって、１６：９のアスペクト比である。動画撮影時においては画素出力が間引かれるが、静止画撮影時と動画撮影時とで画角をできる限り一致させるべく、長辺方向の有効画素領域は一致させる。すると、このアスペクト比の違いにより、短辺方向に余剰領域が生じる。

図４は、動画撮影におけるフレーム画像領域である本領域と、余剰領域とを説明する説明図である。図４（ａ）は、撮像素子３１の有効画素領域２４０全体が静止画撮影領域として指定された場合の本領域と余剰領域の関係を示し、図４（ｂ）は、撮像素子３１の有効画素領域２４０の一部が静止画撮影領域として指定された場合の本領域と余剰領域の関係を示す。

撮像素子３１の有効画素領域が例えば３５ｍｍ版フィルムと同程度の大きさである２４ｍｍ×３６ｍｍの大きさである場合、ユーザは、その領域の全てを利用するＦｘモードと、ＡＰＳ版フィルムのＣサイズと同程度の大きさである１６ｍｍ×２４ｍｍの領域を利用するＤｘモードを選択できる。Ｆｘモードが選択されている場合は、図４（ａ）に示すように、動画撮影時において、中央に位置する本領域２４１（斜線領域）と、上下に隣接する２つの余剰領域２４２（網点領域）とが規定される。この場合、左右方向（長辺方向）には余剰領域が存在しない。一方、Ｄｘモードが選択されている場合は、図４（ｂ）に示すように、静止画の有効画素領域を示す境界２４３に対して中央に位置する本領域２４４（斜線領域）と、これを取り囲む余剰領域２４５（網点領域）とが規定される。なお、後述する補正フレーム画像生成は、余剰領域が狭い場合に処理が複雑になるので、以下においては、Ｆｘモードが選択されている場合について説明する。

図５は、フレーム間移動量Ｍｆと平均移動量Ｍｖを説明する説明図である。図のように各フレームの基準座標をそれぞれの本領域の左上頂点と定める。１フレーム目に取得された第１フレームの基準座標はＦ_１（ｆ_１ｘ，ｆ_１ｙ）であり、第２フレームの基準座標はＦ_２（ｆ_２ｘ，ｆ_２ｙ）である。このとき、フレーム間移動量Ｍｆ_１は、Ｆ_２−Ｆ_１で表される。また、上述のように平均移動量Ｍｖ_１が算出されると、補正フレームの基準座標Ｆ_２'（ｆ_２'ｘ，ｆ_２'ｙ）は、Ｆ_１＋Ｍｖ_１として算出される。

次に、画像処理部３６が補正フレーム画像データを生成する原理について説明する。画像処理部３６は、複数のフレーム画像データのうち対象とする対象フレーム画像データの画像領域の一部を切り取ると共に、他のフレーム画像データの画像領域の一部を足し合わせることにより、前後するフレーム画像データに対する被写体画像間の移動量を、平均移動量Ｍｖとする補正フレーム画像データを生成する。

図６は、フレーム間移動量Ｍｆが平均移動量Ｍｖよりも大きい場合の補正フレーム生成を説明する説明図である。この場合、図示するように、第１フレームから第２フレームまでの移動量が、第１フレームから補正フレームまでの移動量よりも大きい。すると、生成したい補正フレームの領域は、第２フレームの領域に収まらず、第１フレームの領域にも重なる状態となる。

画像処理部３６は、例えば図６に示す状態において、補正フレーム領域と第２フレーム領域が重なり合う、第２フレームの本領域の一部と第２フレームの余剰領域の一部を切り取る。また、補正フレーム領域と第１フレーム領域が重なり合う、第１フレームの本領域の一部と第１フレームの余剰領域の一部を切り取る。画像処理部３６は、このようにそれぞれ切り取った画像領域に対応する画像データを足し合わせて、１コマとしての補正フレーム画像データを生成する。すなわち、画像処理部３６は、第１フレームおよび第２フレームのそれぞれの本領域に対応する画像データを利用するのみならず、それぞれの余剰領域に対応する画像データも利用することにより、第１フレームに対して平均移動量Ｍｖ分だけ移動した補正フレーム画像データを生成することができる。

図７は、フレーム間移動量Ｍｆが平均移動量Ｍｖよりも小さい場合の補正フレーム生成を説明する説明図である。この場合、図示するように、第１フレームから第２フレームまでの移動量が、第１フレームから補正フレームまでの移動量よりも小さい。すると、生成したい補正フレームの領域は、第２フレームの領域に収まらず、第３フレームの領域にも重なる状態となる。

画像処理部３６は、例えば図７に示す状態において、補正フレーム領域と第２フレーム領域が重なり合う、第２フレームの本領域の一部と第２フレームの余剰領域の一部を切り取る。また、補正フレーム領域と第３フレーム領域が重なり合う、第３フレームの本領域の一部と第３フレームの余剰領域の一部を切り取る。画像処理部３６は、このようにそれぞれ切り取った画像領域に対応する画像データを足し合わせて、１コマとしての補正フレーム画像データを生成する。すなわち、画像処理部３６は、第２フレームおよび第３フレームのそれぞれの本領域に対応する画像データを利用するのみならず、それぞれの余剰領域に対応する画像データも利用することにより、第１フレームに対して平均移動量Ｍｖ分だけ移動した補正フレーム画像データを生成することができる。

図８は、副軸方向の平均移動量Ｍｖが余剰領域を超えて大きい場合の補正フレーム生成を説明する説明図である。システム制御部４１は、パンニングを検出した場合にｘ軸方向（左右方向）を主軸と規定し、ｙ軸方向（上下方向）を副軸と規定する。チルティングを検出した場合にｙ軸方向を主軸と規定し、ｘ軸を副軸と規定する。図８（ａ）は、システム制御部４１がパンニングを検出した場合であって、副軸方向にも余剰領域を超える移動量を検出した場合の、補正フレームの相対的な位置関係を示す図である。

図８（ａ）に示す状態において画像処理部３６は、補正フレーム領域と第２フレーム領域が重なり合う、第２フレームの本領域の一部と第２フレームの余剰領域の一部を切り取る。また、補正フレーム領域と第１フレーム領域が重なり合う、第１フレームの本領域の一部と第１フレームの余剰領域の一部を切り取る。しかしこの状態においては、第１フレームの余剰領域が十分ではなく、第１フレームにも第２フレームにも重ならない欠落領域が補正フレーム領域中に生じてしまう。

そこで、画像処理部３６は、平均移動量Ｍｖを副軸方向に修正する。具体的には図８（ｂ）に示すように、副軸方向であるｙ軸方向に、画像データが存在する領域まで補正フレームを変位する。具体的には、補正フレームの上辺が第１フレームの上辺と一致するまで変位する。このように補正フレームを変位させることにより、画像処理部３６は、第１フレーム、第２フレームのそれぞれ本領域、余剰領域の一部を切り取り、それぞれ切り取った画像領域に対応する画像データを足し合わせて、１コマとしての補正フレーム画像データを生成する。

なお、図８はパンニングを検出した場合を想定しているが、チルティングを検出した場合には、主軸と副軸が入れ替わるので、補正フレームの変位方向はｘ軸方向となる。図８の例によれば、補正フレームの左辺が第２フレームの左辺と一致するまで変位する。

次に、動画撮影の開始から終了に至る一連の処理について説明する。図９は、動画撮影処理における一連のパンニング処理フローを示すフロー図である。

システム制御部４１は、ユーザによる動画撮影開始指示を受け付けて動画撮影の処理を開始すると、ステップＳ１０１で、被写体像の移動量を算出する。具体的には、前回取得したフレーム画像データの被写体像に対する、今回取得したフレーム画像データの被写体像の移動ベクトルを算出する。なお、今回取得したフレーム画像データが１フレーム目であれば、ステップＳ１０１の処理をスキップする。

システム制御部４１は、ステップＳ１０２で、パンチルト検出を実行する。具体的な処理については後述する。システム制御部４１は、ステップＳ１０３へ進み、パンニングまたはチルティングが検出された場合に１を示し、検出されない場合に０を示すパンチルトフラグＤｔの値を確認する。

パンチルトフラグＤｔが１の場合は、ステップＳ１０４へ進み、システム制御部４１は、平均移動量Ｍｖ等の算出結果を画像処理部３６へ引き渡す。画像処理部３６は、引き渡された平均移動量Ｍｖ等の算出結果を用いて、上述のように補正フレーム画像データを生成するフレーム補正処理を実行する。システム制御部４１は、画像処理部３６からフレーム補正処理の完了通知を受けてステップＳ１０５へ進む。

パンチルトフラグＤｔが０の場合は、ステップＳ１０４をスキップしてステップＳ１０５へ進む。ステップＳ１０５では、システム制御部４１は、画像処理部３６に動画ファイルとしての記録処理を実行させる。具体的には、画像処理部３６は、ステップＳ１０４を経由した場合には補正フレーム画像データを、スキップした場合には対象フレームの本領域を画像領域とするフレーム画像データを処理の対象として、例えばＨ．２６４等の圧縮符号化処理を施す。システム制御部４１は、圧縮符号化処理が施された画像データを記録媒体８０へ記録される。

システム制御部４１はステップＳ１０６へ進み、ユーザから撮影終了の指示があったか否かを判断する。撮影終了の指示がなかったと判断すればステップＳ１０１へ戻り動画撮影処理を継続する。撮影終了の指示があったと判断すれば一連の処理を終了する。

図１０は、図９のステップＳ１０２の処理である、パンチルト検出に関する処理フローを示すフロー図である。システム制御部４１は、ステップＳ２０１で、累積移動量Ｍａを算出するために必要な累積フレーム数Ｔ_０を超えたか否かを判断する。ここで、累積フレームカウントｔｎは、撮影開始時、後述するシーン変更検出時等において０に初期化される変数であり、累積フレーム数Ｔ_０は、上述の３１フレームのように予め定められた閾値である。

システム制御部４１は、ステップＳ２０１でｔｎがＴ_０未満であると判断したら、一連の処理をスキップして図９のステップＳ１０３へ進む。Ｔ_０以上であると判断したら、ステップＳ２０２へ進み、シーン変更検出を実行する。シーン変更検出の具体的な処理については後述する。

システム制御部４１は、ステップＳ２０２のシーン変更検出が完了するとステップＳ２０３へ進み、シーン変更が検出された場合に１を示し、検出されない場合に０を示すシーン変更フラグＥｔの値を確認する。シーン変更フラグＥｔが１の場合は、一連の処理をスキップして図９のステップＳ１０３へ進む。シーン変更フラグＥｔが０の場合は、ステップＳ２０４へ進む。

システム制御部４１は、ステップＳ２０４で、累積移動量Ｍａの算出処理を実行する。具体的には、システム制御部４１は、例えば上述のように直近の３１フレーム分のフレーム間移動量Ｍｆを加算する。そしてステップＳ２０５へ進み、現在のパンチルトフラグＤｔの値を確認する。パンチルトフラグＤｔが１の場合は、システム制御部４１は、ステップＳ２０６へ進み、累積移動量Ｍａが開始判定閾値Ｔｈ＿ａを超えたか否かを判断する。超えたと判断したらステップＳ２０７へ進み、パンチルトフラグＤｔに１を代入して図９のステップＳ１０３へ進む。超えていないと判断したらステップＳ２０８へ進み、パンチルトフラグＤｔに０を代入して図９のステップＳ１０３へ進む。

また、ステップＳ２０５で、現在のパンチルトフラグＤｔの値が１以外と判断された場合は、ステップＳ２０９へ進み、累積移動量Ｍａが停止判定閾値Ｔｈ＿ｔを下回ったか否かを判断する。下回ったと判断したらステップＳ２１０へ進み、パンチルトフラグＤｔに０を代入して図９のステップＳ１０３へ進む。下回っていないと判断したらステップＳ２１１へ進み、パンチルトフラグＤｔに１を代入して図９のステップＳ１０３へ進む。

図１１は、図１０のステップＳ２０２の処理である、シーン変更検出に関する処理フローを示すフロー図である。システム制御部４１は、ステップＳ３０１で、シーン変更判定移動量Ｍｅを算出する。シーン変更判定移動量Ｍｅは、例えば直近の５フレーム分におけるフレーム間移動量Ｍｆを累積加算した値である。対象とするフレーム数は、累積フレーム数Ｔ_０よりも小さい値に設定される。

ステップＳ３０２では、現在のシーン変更フラグＥｔの値を確認する。シーン変更フラグＥｔが１でない場合は、システム制御部４１は、ステップＳ３０３へ進み、シーン変更判定移動量Ｍｅが開始判定閾値Ｔｈ＿ａを超えたか否かを判断する。超えていないと判断したらステップＳ３０４へ進み、シーン変更フラグＥｔに０を代入して図１０のステップＳ２０３へ進む。シーン変更フラグＥｔが０であることは、ユーザによる意図的な撮影対象の急変（シーン変更）がなかったことを意味する。

ステップＳ３０３で、シーン変更判定移動量Ｍｅが開始判定閾値Ｔｈ＿ａを超えたと判断した場合は、システム制御部４１は、ステップＳ３０５へ進み、シーン変更フラグＥｔに１を代入する。そして、ステップＳ３０８へ進み、累積移動量Ｍａと累積フレームカウントｔｎに０を代入したら、図１０のステップＳ２０３へ進む。シーン変更フラグＥｔが１であることは、ユーザによる意図的な撮影対象の急変（シーン変更）があったことを意味する。

ステップＳ３０２で、現在のシーン変更フラグＥｔが１の場合は、システム制御部４１は、ステップＳ３０６へ進み、シーン変更判定移動量Ｍｅが停止判定閾値Ｔｈ＿ｔを超えたか否かを判断する。超えたと判断した場合は、システム制御部４１は、ステップＳ３０５へ進む。超えていないと判断したらステップＳ３０７へ進み、シーン変更フラグＥｔに０を代入して図１０のステップＳ２０３へ進む。

以上の図９、図１０、図１１の処理フローにより、あたかも一定速度でパンニングあるいはチルティングを行って撮影したような、観察者にとって心地よい再生画像を提供する動画像データを生成することができる。なお、上記の実施形態においては、パンニングおよびチルティングを検出して、それぞれにふさわしい補正フレーム画像データを生成する場合について説明したが、補正の対象をパンニングおよびチルティングのいずれかとすることもできる。例えば、パンニングを対象とするか、チルティングを対象とするか、いずれも対象とするか、いずれも対象としないかを、メニュー項目を設けてユーザの選択を受け入れてもよい。

以上の実施形態においては、カメラ１０を例に説明したが、撮像装置としてはビデオカメラ、動画撮影機能付きのコンパクトデジタルカメラ、一眼レフカメラ、カメラ付き携帯端末等に本実施形態に係る技術的な概念を適用することができる。もちろん、光学ファインダーを備えないミラーレスカメラにも適用することができる。本実施形態に係る技術的な概念を撮像装置として実現する場合、撮像装置は、連続的に撮影された複数のフレーム画像データを取得する取得部と補正フレーム画像データを生成する画像データ生成部とを含む画像処理装置、および当該画像処理装置に複数のフレーム画像データを供給する撮像部を備える。

この場合、パンニングおよびチルティングのいずれかを検出して補正フレーム画像データを生成するときに、システム制御部４１は、ズーム制御部４３を用いて、ズームレンズ２１の焦点距離を広角側へ移行させても良い。このように本領域の大きさを相対的に小さくすることにより、画像処理部３６は、余剰領域を実質的に増大させ、より安定的に補正フレーム画像データを生成することができる。

また、上述のように、撮像部を備えないＰＣ等の外部機器であっても、補正フレーム画像データを生成する画像処理装置として機能させることができる。この場合、画像処理装置の取得部は、撮像装置で連続的に撮影された複数のフレーム画像データを取得する。取得するフレーム画像データは、余剰領域を含む撮像素子３１の有効画素領域２４０全体のフレーム画像データである。ただし、最終的に動画像データとして出力する画素数に応じて、間引きされていても良い。なお、平均移動量を算出する算出部を画像処理装置側に設ける構成の他に、撮像装置側に設けてその算出結果を画像処理装置へ引き渡すように構成しても良い。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ カメラ、１１ 光軸、２０ 光学系、２１ ズームレンズ、２２ フォーカスレンズ、２３ 補正レンズユニット、２４ レンズシャッタ、３１ 撮像素子、３２ Ａ／Ｄ変換器、３３ メモリ制御部、３４ タイミング発生部、３５ 内部メモリ、３６ 画像処理部、３７ 記録媒体ＩＦ、３８ 表示制御部、３９ Ｄ／Ａ変換器、４０ 表示部、４１ システム制御部、４２ システムメモリ、４３ ズーム制御部、４４ フォーカス制御部、４５ 防振駆動制御部、４６ 露光制御部、４７ 操作部材、４８ レリーズスイッチ、４９ 電源制御部、５３ 十字ボタン、５４ 確定ボタン、８０ 記録媒体、９０ 電源、２４０ 有効画素領域、２４１ 本領域、２４２ 余剰領域、２４３ 境界、２４４ 本領域、２４５ 余剰領域、９００ 被写体

Claims (10)

1. 連続的に撮影された複数のフレーム画像データを取得する取得部と、
   前記複数のフレーム画像データのうち対象とする対象フレーム画像データの画像領域の一部を切り取ると共に、他のフレーム画像データの画像領域の一部を足し合わせることにより、前記対象フレーム画像データに前後するフレーム画像データに対する被写体画像間の移動量を、前記複数のフレーム画像データにおける被写体画像間の平均移動量とする補正フレーム画像データを生成する画像データ生成部と
   を備える画像処理装置。
2. 前記画像データ生成部が生成する補正フレーム画像データは、前記取得部が取得する前記フレーム画像データに対して、画像領域が小さい請求項１に記載の画像処理装置。
3. 前記画像データ生成部は、前記対象フレーム画像データを変更するごとに、前記複数のフレーム画像データも変更する請求項１または２に記載の画像処理装置。
4. 前記複数のフレーム画像データにおける被写体画像間の平均移動量を算出する算出部を備える請求項１から３のいずれか１項に記載の画像処理装置。
5. パンニングおよびチルチィングの少なくともいずれかを検出するパンチルト検出部を備え、
   前記画像データ生成部は、前記パンチルト検出部がパンニングおよびチルチィングの少なくともいずれかを検出した場合に前記補正フレーム画像データを生成する請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記画像データ生成部は、前記パンチルト検出部の検出結果に基づいてフレーム画像の縦方向および横方向に対して主軸方向および副軸方向を定め、前記平均移動量を前記副軸方向に修正して前記補正フレーム画像データを生成する請求項５に記載の画像処理装置。
7. シーンの変更を検出するシーン変更検出部を備え、
   前記画像データ生成部は、前記シーン変更検出部がシーンの変更を検出した場合には、前記補正フレーム画像データを生成しない請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記取得部へ前記複数のフレーム画像データを供給する撮像部と、
   請求項１から７のいずれか１項に記載の画像処理装置と
   を備える撮像装置。
9. 前記画像データ生成部が前記補正フレーム画像データを生成する場合に、撮影レンズの焦点距離を広角側へ移行させるレンズ制御部を備える８に記載の撮像装置。
10. 連続的に撮影された複数のフレーム画像データを取得する取得ステップと、
    前記複数のフレーム画像データのうち対象とする対象フレーム画像データの画像領域の一部を切り取ると共に、他のフレーム画像データの画像領域の一部を足し合わせることにより、前記対象フレーム画像データに前後するフレーム画像データに対する被写体画像間の移動量を、前記複数のフレーム画像データにおける被写体画像間の平均移動量とする補正フレーム画像データを生成する画像データ生成ステップと
    をコンピュータに実行させる画像処理プログラム。

Images