JP2016167710A - 画像再生装置及び画像再生方法 - Google Patents

Abstract

【課題】 動画像から容易に良好な静止画データを生成することができる撮像装置を提供する。【解決手段】 動画像を撮像及び記録し、記録された動画像から静止画像を生成可能な撮像装置において、動画撮影中は、露光期間中の像ブレを補正してフレーム間の振れ情報をメタデータに記録する。動画データを動画像として生成する場合には、メタデータに記録されている振れ情報に応じた動きぼけを付加して動画像を生成し、動画データを静止画像として生成する場合には、動きぼけを付加せずに静止画像を生成することを特徴とする。【選択図】 図１

Description

本発明は、撮影された動画像から静止画を生成する画像再生装置に関し、撮影状態の良好な静止画像データを得ることを目的とする。

近年、動画撮影が可能な撮像装置の多画素化が急速に進んでいる。ＦｕｌｌＨＤサイズの動画を撮影する撮像装置は既に広く普及し、４Ｋ、２Ｋ動画撮影が可能な撮像装置も徐々に市場に出始めている。

このような動画像の高精細化によって、動画像の各フレームの画像も静止画として使用するのに十分な画素数を有するようになってきている。これによって、動画像の各フレームから静止画を生成する使用方法が今後更に広がっていくものと考えられる。

特開平６−２３３３１６号公報

動画像から静止画を生成する際の課題として、像ブレ補正の制御方法が異なるという点がある。静止画の場合、被写体像の露光期間中に発生する像ブレを補正する制御を行う。

つまり、動画像から静止画を生成する場合、動画像を構成する任意のどのフレームに着目してもフレーム内に像ブレが無いことが望まれる。しかしながら、このように撮影された画像を動画像として再生した合、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が他重像を知覚してしまうという視覚上の画像劣化が発生してしまう。

そのため、動画像の場合は露光期間中の残像（動きぼけ）を残し、画像中の動きを自然に見せるようにするのが望ましい。

このように画像中に動きのあるような動画像を撮影した場合に、動画像と静止画をそれぞれ良好に生成することは考慮されていなかった。

本発明は上記問題点を鑑みてなされたものであり、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができ、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することを目的とする。

上記目的を達成するために本発明は、振れ検出手段の出力に基いて第１の像ブレ補正手段によって像ブレが補正された動画像である動画データを動画像として再生するとともに前記動画データの所定のフレーム画像を静止画像として再生する再生手段と、前記フレーム画像に対してフレーム間の動きによって生じる動きぼけを付加する動きぼけ付加手段と、を有する画像再生装置であって、
前記再生手段は、前記動画データを前記動画像として再生する場合、前記動画データのフレーム画像間に生じる第１の振れ情報に基いた動きぼけを付加して動画像を再生し、前記動画データを前記静止画像として再生する場合、前記第１の振れ情報に基いた動きぼけを付加せずに前記静止画像を再生することを特徴とする。

本発明によれば、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができ、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することができる。

本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図 像ブレ補正制御部１１７の構成例を示すブロック図 システム制御部１０１の詳細を説明するためのブロック図 像ブレ補正制御部１１７の制御方法の例を説明するためのグラフ 動画像に動きぼけを付加する制御方法の例を説明するための図 動画像に像ブレ補正と動きぼけを付加する制御方法の例を説明するための図 本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図 本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図 本発明の第１の実施形態に係る制御の詳細を説明するフローチャート

（実施形態１）
まず、本発明の実施形態にかかる撮像装置の全体的な構成について説明する。図１は、本発明の実施形態にかかる撮像装置１００の構成例を模式的に示したブロック図である。

図１において、システム制御部１０１は、撮像装置１００の全体の動作を制御するためのブロックである。システム制御部１０１は、例えばＣＰＵ、ＲＡＭおよびＲＯＭを有し、ＲＯＭにあらかじめ記憶されたプログラムに従い、ＲＡＭを作業領域として用いながら、撮像装置１００を制御する。

なお、後述する各処理は、コンピュータプログラム（ソフトウェア）として主にシステム制御部１０１によって実行されるものとする。

撮像レンズ１０２は、ズーム、フォーカス、絞り、像ブレ補正等の機能を有した従来一般の撮像レンズが適用できる。第１の像ブレ補正手段としてのシフトレンズ１０３は、光軸と垂直方向に移動可能なレンズで、像面に結像される被写体像の位置を移動させることができる。

撮像装置に加わる振れを打ち消すようにシフトレンズ１０３を移動することにより、撮像画像の像ブレを補正することができる。

撮像素子１０４は、例えばＸＹアドレス方式のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等で構成される。

そして、撮像レンズ１０２が形成する光学像を光電変換して電荷を蓄積し、その電荷を読み出すことで複数の画素からなる画像信号をカメラ信号処理部１０６に供給する。

また、撮像素子１０４は撮像素子駆動部１０５によって駆動され、例えばＮＴＳＣフォーマットに準拠したビデオ信号の場合は６０Ｈｚの周期で被写体像を取り込むように動作する。

また、撮像素子駆動部１０５からの制御信号によって蓄積した電荷を掃き出すことができ、これによって露光時間（蓄積時間）を制御する電子シャッタ機能を有している。撮像素子駆動部１０５は、露光期間中かブランキング期間中かを示すブランキング信号を像ブレ補正制御部１１７に供給する。

カメラ信号処理部１０６は、撮像素子１０４から出力された画像信号にホワイトバランス調整やガンマ補正などの信号処理を施し、映像信号に変換して出力する。

エンコーダ１０７はカメラ信号処理部１０６から出力された映像信号を所定の形式の動画データに変換する。また動画像を構成するフレーム画像をＪＰＥＧなどの静止画データに変換することも可能である。

記録媒体制御部１０８は、記録媒体１０９を制御して、動画データや静止画データあるいはメタデータなどの記録・読出しを行う。記録媒体１０９は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。

デコーダ１１０は、記録媒体１０９に記録されている各種形式の動画データ・静止画データをデコードして映像信号を生成する。

第２の像ブレ補正手段としての像ブレ補正部１１１は、動画像に含まれる像ブレを補正するもので、元の画像から所定の範囲を切り出し、そしてフレーム単位で画像の切り出し位置を制御することにより、フレーム間に生じた像ブレを電子的に補正する。

動きぼけ生成部１１２は、元画像から異なる解像度の画像を生成し、フレーム間の動きに応じて画像の位置をずらして合成することにより、動きぼけを画像に付加する。

本実施形態の画像再生装置は、動きぼけ生成部１１２及びシステム制御部１０１を有する。

静止画生成部１１３は、動画像を構成するフレーム画像のなかから所定の画像をキャプチャして静止画像を生成する。

表示制御部１１４は、カメラ信号処理部１０６から出力された映像信号に基づく画像（カメラスルー画）の他、設定メニュー画像、記録済みの画像など用途に応じて加工した映像信号を出力して表示デバイス１１５に画像を表示させる。表示デバイス１１５は液晶表示素子（ＬＣＤ）等であり、表示制御部１１４により生成された画像を表示する。

撮像装置１００は、撮影中の場合には、カメラ信号処理部１０６から出力される映像信号をエンコーダ１０７に供給して記録媒体に記録すると同時に、映像信号を表示制御部１１４に供給してカメラスルー画を表示する。

また、記録済みの画像データを再生する場合には、動きぼけ生成部１１２或いは静止画生成部１１３から出力される映像信号を表示制御部１１４に供給して再生画像を表示する。さらに再生された映像信号は、再度デコーダ１１０に供給することにより、再生画像を再度記録することが可能である。

角速度センサ１１６は撮像装置１００に加わる振れの検出を行うためのセンサであり、検出された振れ信号は像ブレ補正制御部１１７に供給されて像ブレ補正の制御に用いられる。

図２は、図１における像ブレ補正制御部１１７を更に詳細に説明するためのブロック図である。像ブレ補正制御部１１７は、角速度センサ１１６から出力される角速度情報に基づいて撮像装置１００に加わる振れを検出して、それを打ち消すようにシフトレンズ１０３を駆動することにより、撮像画像に発生する像ブレを補正する。

角速度センサ１１６は、光軸に直交する一平面上で互いに直交した検出軸をなすように、水平方向の回転軸（Ｙａｗ）と垂直方向の回転軸（Ｐｉｔｃｈ）との２軸方向に二つの角速度センサを配置している。

なお、それぞれの軸における信号処理及びシフトレンズ１０３の駆動制御は、両軸とも同じ処理で実現することができるので、以降は片方の軸についてのみ説明するものとする。

角速度センサ１１６は、撮像装置１００に加わる振れの角速度を検出し、角速度に応じた電圧を出力する。Ａ／Ｄ変換器２０１は角速度センサ１１６から出力される電圧をデジタルデータに変換し、角速度データとして取り込む。

ＨＰＦ２０２は、角速度データの低周波数成分を除去して、敏感度補正部２０３に供給する。

敏感度補正部２０３は、シフトレンズ１０３を像ブレ補正に適切な（好ましくは最適な）変位量で駆動させるためである。そして、シフトレンズ１０３の偏心敏感度（即ち、シフトレンズの変位量に対する像面上の結像位置の変位量の比率によって求まる係数）を角速度データに乗じて、角速度データの振幅を変換する。

敏感度補正部２０３から出力された角速度データは、積分器２０４で１階積分することにより角変位データに変換する。なお、ここで行われる積分演算は、飽和を防止するために不完全積分となっており、一般的に知られている１次ＬＰＦで演算される。

積分器２０４で算出された角変位データは、飽和防止制御部２０５において、シフトレンズ１０３が機械的な可動範囲の端に突き当たらないように制限をかけて出力される。具体的には、シフトレンズ１０３の機械的な可動範囲の内側に制御範囲の上限値を設け、角変位データが制御範囲を超えないように制限をかける。また、センタリング制御部２０６では、パンニングやチルティングといったユーザーの意図した動作がなされたかどうかを判定し、シフトレンズの位置を中央に戻すように制御を行う。

具体的には、飽和防止制御部２０５に設けられた制御範囲の更に内側に所定の閾値を設け、角変位データが閾値を超えた場合にはパンニングが行われたと判定する。

判定結果は、センタリング制御部２０６に通知され、パンニングと判定された場合には、ＨＰＦ２０２のカットオフ周波数を高くして積分器２０４に入力される角速度データを制限したり、積分器２０４に入力される角速度データから所定のオフセットを差し引く。

或いは、積分器２０４で行われるＬＰＦ演算のカットオフ周波数を高くして、積分器２０４の出力が中央に戻るように制御する。このように、パンニングやチルティング等のユーザーが意図した振れがなされた場合であっても、シフトレンズ１０３の可動範囲に収まるように制御することが可能となる。

このようにして、飽和防止制御部２０５は最終的なシフトレンズ１０３の変位量である駆動目標位置を算出する。

位置検出部２０７は、シフトレンズ１０３の位置を検出して位置に応じた電圧を出力し、アンプ２０８で適切な電圧範囲の信号に増幅さる。そしてＡ／Ｄ変換器２０９によってデジタルデータ化され、位置データとして取り込まれる。

制御フィルタ２１０は、シフトレンズの駆動目標位置と位置データの差分である偏差データが入力され、増幅及び位相補償等の種々の信号処理を施してパルス幅変調部２１１に出力される。

パルス幅変調部２１１は、制御フィルタ２１０の出力を、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部２１２に供給する。モータ２１３は、例えばボイス・コイル型モータであり、モータ駆動部２１２によって駆動されることにより、シフトレンズ１０３は光軸と垂直な方向に移動する。

そして、移動したシフトレンズ１０３の位置は位置検出部２０７で検出されて次の偏差データが算出されるというフィードバックループが形成されており、駆動目標位置と位置データの差分が小さくなるように制御される。

このように角速度センサ１１６で検出した振れに応じてシフトレンズ１０３を駆動することで像ブレを補正することが出来る。

また、像ブレ補正制御部１１７には、撮像素子駆動部１０５で生成されるブランキング信号が供給されている。ブランキング信号は、撮像素子１０４が露光期間中か、或いはブランキング期間中かを判定するための信号であり、ブランキング期間中にはシフトレンズ１０３を制御範囲の補正中心位置に戻すためのセンタリング処理を行う。

ブランキング信号はセンタリング制御部２０６に供給され、センタリング制御部２０６はブランキング期間中と判定された場合には、積分器２０４で行われるＬＰＦ演算のカットオフ周波数を高くして、積分器２０４の出力が中央に戻るように制御する。

また、Ａ／Ｄ変換器２０９の出力であるシフトレンズ１０３の位置データ、即ち像ブレ補正量をシステム制御部１０１に供給しており、フレーム間の像ブレを演算するために用いられる。

図３は、システム制御部１０１で行われる制御の詳細を説明するためのブロック図である。振れ情報生成部３０１は、角速度センサ１１６から供給される撮像装置１００の振れデータと、像ブレ補正制御部１１７から供給される像ブレ補正量から、撮像された動画像のフレーム間の像ブレ量を演算する。

また、振れ情報生成部３０１には、撮像素子駆動部１０５からのブランキング信号が供給されており、撮像されている動画像と同期を取りながら、各フレームに対応した像ブレ量を演算して出力する。

メタデータ生成部３０２は、振れ情報生成部３０１から像ブレ量に基づいて所定の形式のメタデータを生成し、エンコーダ１０７で生成される動画データと対応づけて記録媒体１０９に記録する。

メタデータ読出し部３０３は、動画データに対応づけられて記録されているメタデータを読出し、デコーダ１１０で生成された動画像の各フレームに対応した像ブレ量を抽出して出力する。

補正量演算部３０４は、メタデータ読出し部３０３から供給される像ブレ量に基づいて、像ブレ補正部１１１の像ブレ補正量及び、動きぼけ生成部１１２で付加される動きぼけ量を演算する。

図４は、システム制御部１０１および像ブレ補正制御部１１７で行われる処理について、更に詳細に説明するためのグラフである。

図４において、垂直同期信号は撮像素子１０４における駆動タイミングを決めるための信号であり、各フレームの撮像制御の同期を取るために用いられる。ここでは、説明のため、図４の最初のフレームをＦ０、２番目のフレームをＦ１、３番目のフレームをＦ２としている。

ブランキング信号は、撮像素子駆動部１０５から出力される信号であり、各フレームにおいて、露光期間かあるいはブランキング期間かを示す信号である。

図４（ａ）は、撮像装置１００に加わる振れデータ（角変位データ）を示しており、図３の振れ情報生成部３０１で算出されるデータである。振れ情報生成部３０１では、角速度センサ１１６の出力である角速度データを一階積分することにより振れデータ（角変位データ）を算出する。

ここで算出される振れデータは、撮像装置１００に加わる振れの角変位そのものを示しているものであって、像ブレ補正に用いられる補正量を示す信号ではないことに注意されたい。また、各フレームにおいて、ブランキング信号がブランキング期間から露光期間に切り替わった時刻の振れデータをＢ０、Ｂ１、Ｂ２としている。

図４（ｂ）は、像ブレ補正制御部１１７で演算される像ブレ補正の補正量データであり、即ち、光学式のシフトレンズ１０３の駆動目標位置である。また、各フレームにおいて、ブランキング信号がブランキング期間から露光期間に切り替わった時刻の補正量データをＣ０、Ｃ１、Ｃ２としている。

図４（ｃ）は、振れ情報生成部３０１で生成されるフレーム画像間の振れデータであり、像ブレ量としてメタデータ生成部３０２に供給されるデータである。また、フレームＦ０とフレームＦ１の間の振れデータをＭ１、フレームＦ１とフレームＦ２の間の振れデータをＭ２としている。

なお、Ｍ０は図示しないフレームＦ０の前のフレームとフレームＦ０の間の振れデータを示しており、０となっている。

まず、像ブレ補正制御部１１７で生成される補正量データについて説明する。撮像装置１００に図４（ａ）に示すような振れが加わったとき、像ブレ補正制御部１１７では、ブランキング信号によって補正量データの生成方法が異なっている。

図４（ｂ）に示すように、フレームＦ０のブランキング期間では、センタリング制御が行われるので、補正量データは、略０を示すＣ１の値となる。そしてブランキング信号が露光期間中となったとき、像ブレ補正制御部１１７は振れデータに基づいて像ブレ補正を行うようにシフトレンズ１０３を駆動する。このときの補正量データは、フレームＦ０の露光中の振れデータから（Ｂ０−Ｃ０）を減算することによって算出される。

フレームＦ１のブランキング期間では、像ブレ補正制御部１１７ではセンタリング制御が行われ、シフトレンズ１０３を中央位置に戻すように駆動する。Ｃ１は、センタリング制御によって中央に向かって移動した結果の補正量データである。

そして、ブランキング信号が露光期間中となったとき、像ブレ補正制御部１１７は再度振れデータに基づいて像ブレ補正を行うようにシフトレンズ１０３を駆動する。このときの補正量データは、フレームＦ１の露光中の振れデータから（Ｂ１−Ｃ１）を減算することによって算出される。

フレームＦ２のブランキング期間では、像ブレ補正制御部１１７ではセンタリング制御が行われ、シフトレンズ１０３を中央位置に戻すように駆動する。Ｃ２は、センタリング制御によって中央に向かって移動した結果の補正量データである。

そして、ブランキング信号が露光期間中となったとき、像ブレ補正制御部１１７は再度振れデータに基づいて像ブレ補正を行うようにシフトレンズ１０３を駆動する。このときの補正量データは、フレームＦ２の露光中の振れデータから（Ｂ２−Ｃ２）を減算することによって算出される。

このような制御を像ブレ補正制御部１１７で行うことによって、露光期間中は像ブレ補正をおこなうようにシフトレンズ１０３を駆動し、ブランキング期間中はシフトレンズ１０３を中心位置に向かうように制御することができる。

このように制御することにより、画像データから静止画を生成した場合に、露光期間中の像ブレが補正された良好な画像を得ることが出来る。

次に、振れ情報生成部３０１で生成されるフレーム画像間の振れデータについて説明する。ここで算出するフレーム画像間の振れデータとは、即ち、シフトレンズ１０３で補正できなかった補正残りである。

従って、フレーム間に生じた振れからフレーム間に補正した補正量を減算することによって算出することが出来る。図４（ａ）に示すように、フレームＦ０からフレームＦ１の間に生じた振れデータをΔＢ１とすると、ΔＢ１＝Ｂ１−Ｂ０で算出することができる。

また、同様にフレームＦ１からフレームＦ２の間に生じた振れデータをΔＢ２とすると、ΔＢ２＝Ｂ２−Ｂ１である。

また、図４（ｂ）に示すようにフレームＦ０からフレームＦ１の間で像ブレ補正した補正量をΔＣ１とすると、ΔＣ１＝Ｃ１−Ｃ０で算出することができる。同様にフレームＦ１からフレームＦ２の間で像ブレ補正した補正量は、ΔＣ２＝Ｃ２−Ｃ１である。

そして、図４（ｃ）に示すように、フレームＦ０からフレームＦ１の間の振れデータＭ１は、Ｍ１＝ΔＢ１−ΔＣ１、フレームＦ１からフレームＦ２の間の振れデータＭ２は、Ｍ２＝ΔＢ２−ΔＣ２として算出することが出来る。

つまり、動画データを動画像として再生する場合、動画データのフレーム画像間の像ブレを電子的に補正するための第２の像ブレ補正手段（電子防振）を用いて第１の振れ情報に基いてフレーム画像間の像ブレを補正する。

そして、第１の振れ情報から第２の像ブレ補正手段で補正した補正結果を減算した値を第２の振れ情報として生成し、第２の振れ情報に基いた動きぼけを付加して動画像を再生する。

このようにして、露光期間中は像ブレ補正をおこなうようにシフトレンズ１０３を駆動し、ブランキング期間中はシフトレンズ１０３を中心位置に向かうように制御するとともに、フレーム間の振れデータを算出することができる。

振れ情報生成部３０１で算出された振れデータは、メタデータとして画像データとともに記録され、動画再生時にはメタデータに記録された振れデータに基づいて像ブレ補正部１１１を制御する。

このように制御することにより、画像データを動画像として再生する場合には、フレーム間の像ブレを補正することが可能となり、動画像として再生した場合の像ブレを補正し、良好な動画像を鑑賞することができる。

上記のように、動画データを動画像として再生する場合、動画データのフレーム画像間に生じる第１の振れ情報に基いた動きぼけを付加して動画像を再生する。そして、動画データを静止画像として再生する場合、第１の振れ情報に基いた動きぼけを付加せずに静止画像を再生する。

次に図５を参照して、動きぼけ生成部１１２で行われる、動き量に基づいた動きぼけの付加について説明する。図５（ａ）は、ｎフレーム目に撮像された被写体の位置を被写体（ｎ）とし、図５（ａ）のフレームの次のフレームに撮像された画像を図５（ｂ）に示している。

図５（ｂ）では、撮像装置１００に振れが加わったために、被写体（ｎ）の位置から被写体（ｎ＋１）の位置に移動したことを示している。ｎフレーム目からｎ＋１フレーム目の間には、撮像画像の露光期間中も含めて、撮像装置１００に振れが加わっているが、像ブレ補正制御部１１７で行われる制御によって露光期間中の像ブレは補正された画像になっている。

このとき、フレーム画像を静止画として鑑賞した場合には、像ブレが補正された良好な画像として得ることができるが、動画像として再生した場合には、移動物体の動きが不連続に表示され、他重像を知覚してしまうという視覚上の画像劣化が発生する。

そのため、動画像として再生する際には、動きぼけ生成部１１２によって動きぼけを付加することにより、移動物体の動きが不連続に表示されるのを防ぐ。

図５（ｂ）において、被写体（ｎ）から被写体（ｎ＋１）の位置の変化を示す動き量は、図４で説明したように算出した振れデータと撮像レンズ１０２の焦点距離から一意に求めることが出来る。

すなわち、動き量をＭ、フレーム間の振れデータ（角度）をθ、焦点距離をｆとすると、Ｍ＝ｆ・ｔａｎθで算出することが出来る。また、動き量は画面垂直方向と水平方向の成分を持ったベクトルであるので、振れデータを水平方向と垂直方向のそれぞれで算出して動き量を求める。

図５（ｃ）ではこのようにして求めた動き量に基づいて動きぼけを付加する。図５（ｃ）では、ｎ＋１フレーム目の画像に対して、被写体（ｎ＋１）を起点として、動き量（ベクトル量）の逆向きのベクトルを動きぼけとして付加する。

このように動きぼけを付加することにより、被写体（ｎ）から被写体（ｎ＋１）に移動した際の被写体の動きによる時間的な不連続を解消する。そして、動画再生時の画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が他重像を知覚してしまうという視覚上の画像劣化が発生してしまうのを防ぐことができる。

図５で説明した動きぼけの付加は、像ブレ補正部１１１でフレーム間の像ブレを補正した場合は考慮されていない。以下に図６を用いて、像ブレ補正部１１１でフレーム間の像ブレを補正した場合の動きぼけの付加について説明する。

図６（ａ）、（ｂ）は、図５（ａ）、（ｂ）と同じく、撮像装置１００に振れが加わった時の被写体の位置の変化を示しており、被写体（ｎ）および被写体（ｎ＋１）の位置も図５と同一である。

図６（ｃ）は、記録された画像データを動画像として再生する際に、像ブレ補正部１１１においてフレーム画像間の像ブレを補正した補正結果の画像を示している。

像ブレ補正部１１１では、メタデータに記録されているフレーム間の振れデータ（振れ情報生成部３０１の出力）に基づいて像ブレ補正を行う。

但し、像ブレ補正の補正範囲は有限であるので、振れデータをそのまま像ブレ補正に用いると、像ブレ補正の補正範囲の端に突き当たり、それ以降は像ブレ補正が出来なくなってしまう。

そのため、振れデータをそのまま像ブレ補正に用いるのではなく、フィルタ処理等によって減衰したデータを用いて像ブレ補正を行う。

図６（ｃ）において、動き量は振れデータから算出した値を用いているのに対して、像ブレ補正量は減衰された値を用いている。図６（ｄ）は、像ブレ補正を行った画像に対して、更に動きぼけ生成部１１２で動きぼけを付加した図である。ここで付加する動きぼけは、ｎフレーム目の被写体（ｎ）の位置から、ｎ＋１フレーム目の画像に対して像ブレ補正を行った後の被写体位置までが、動画像として見える動きになるので、この動き量に対応した動きぼけを付加する。

すなわち、図５で説明した動き量Ｍから像ブレ補正量を減算した値に基づいて動きぼけを付加する。

このように動きぼけを付加することにより、被写体（ｎ）から被写体（ｎ＋１）に移動した際に、フレーム画像間の像ブレを補正するとともに、被写体の動きによる時間的な不連続を解消することができる。

図９は、本発明の実施形態１に係る制御を示すフローチャートである。図９に示される処理は、例えば１ｍ秒など、所定の周期で繰り返し実行される。

まず、ステップＳ１０１において、撮像装置１００の動作状態を判別する。

撮像装置１００が撮影中であれば、ステップＳ１０２に進み、撮影中でなければステップＳ１１１に進む。ステップＳ１０２において、角速度センサ１１６の出力をＡ／Ｄ変換し、角速度データを取得する。

ステップＳ１０３において、ブランキング信号を参照して露光期間中かどうかを判定し、露光期間中であればステップＳ１０４へ進み、ブランキング期間中であればステップＳ１０５に進む。

ステップＳ１０４において、角速度データに基づいて、シフトレンズ１０３で補正するための像ブレの補正量データを演算する。

ステップＳ１０５においては、シフトレンズ１０３を徐々に中央位置にセンタリングするように補正量データを設定する。

ステップＳ１０６において、上記のように演算した補正量データに基づいてシフトレンズ１０３を駆動する。ステップＳ１０３からステップＳ１０６までの処理は、像ブレ補正制御部１１７で行われる制御である。

次にステップＳ１０７において、角速度データに基づいて装置に加わる振れデータを演算する。ステップＳ１０８において、ブランキング信号を参照して、露光期間中への切り替わりが発生したかどうかを判定する。

露光期間中への切り替わりと判定された場合はステップＳ１０９に進み、それ以外の場合は処理を終了する。ステップＳ１０８の判定処理は、画像の撮像タイミングに合わせてフレーム単位で処理を実行するためのタイミングを生成する処理である。

ステップＳ１０９において、撮像画像のフレーム間の振れデータを算出する。フレーム間の振れデータの演算においては、ステップＳ１０４或いはステップＳ１０５で算出した補正量データを保持しておき、一つ前のフレームとの差分を演算する（図４におけるΔＣ（ｎ））。

また、ステップＳ１０７で算出した振れデータを保持しておき、同様に一つ前のフレームとの差分を演算する（図４におけるΔＢ（ｎ））。

そして、ΔＢ（ｎ）からΔＣ（ｎ）を減算することにより、フレーム間の振れデータＭ（ｎ）を算出する。

ステップＳ１１０において、撮像された動画データを記録媒体１０９に記録するとともに、ステップＳ１０８で算出したフレーム間振れデータＭ（ｎ）を動画データのフレームに関連付けるようにメタデータに記録して、処理を終了する。以上ステップＳ１０２からステップＳ１１０は、システム制御部１０１において、撮影中に行われる処理である。

次にステップＳ１１１において、撮像装置１００の動作状態が動画再生モードかどうかを判定する。動画再生モードであればステップＳ１１２に進み、そうでなければステップＳ１１９に進む。

ステップＳ１１２では、記録媒体１０９から動画データを読出してデコーダ１１０でフレーム画を生成する。ステップＳ１１３では、記録媒体１０９からメタデータを読出し、動画像のフレームに関連付けられて記録されているフレーム間振れデータを抽出する。

ステップＳ１１４では、フレーム間振れデータを減衰及び積分等の処理を施して、像ブレ補正部１１１でフレーム間の像ブレを補正するための像ブレ補正量を算出する。ステップＳ１１５において、算出した像ブレ補正量を像ブレ補正部１１１に設定し、フレーム間の像ブレを補正する。

ステップＳ１１６において、フレーム間振れデータから像ブレ補正量を減算することにより、像ブレ補正部１１１の出力画像に残るフレーム間の動き量を算出する。ステップＳ１１７において、ステップＳ１１６で算出した動き量を動きぼけ生成部１１２に設定し、画像に動きぼけを付加する。

ステップＳ１１８では、動きぼけ生成部１１２から出力された動画像を表示制御部１１４に供給し、表示デバイス１１５に表示する。以上ステップＳ１１２からステップＳ１１８は、動画データを動画像として再生する場合に実行される処理である。

次に、ステップＳ１１９において、撮像装置１００の動作状態が静止画再生モードかどうかを判定する。静止画再生モードであればステップＳ１２０に進み、そうでなければ処理を終了する。ステップＳ１２０では、記録媒体１０９から動画データを読出してデコーダ１１０でフレーム画を生成する。

ステップＳ１２１では、静止画生成部１１３において、デコーダ１１０から出力されるフレーム画のうち、所定のフレーム画を静止画像として生成する。

ステップＳ１２２において、生成された静止画像を表示制御部１１４に供給し、表示デバイス１１５に表示する。以上ステップＳ１２０からステップＳ１２２は、動画データから静止画像を生成し、再生する場合に実行される処理である。

以上説明してきたように、本発明においては、動画撮影中は、露光期間中の像ブレを補正してフレーム間の振れ情報をメタデータに記録する。

そして、動画データを動画像として生成する場合には、メタデータに記録されている振れ情報に応じた動きぼけを付加して動画像を生成し、動画データを静止画像として生成する場合には、動きぼけを付加せずに静止画像を生成する構成とした。

これにより、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができ、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

（実施形態２）
図７は、本発明の第２の実施形態に係る撮像装置の一例として、レンズ交換式のデジタルカメラの構成を示すブロック図である。なお、図７において、図１と同様の構成には、同じ符号を付し、説明は省略する。

図７の撮像装置１００は、図１の構成に対し撮像レンズ１０２、シフトレンズ１０３、角速度センサ１１６、像ブレ補正制御部１１７が削除された構成となっている。また、図７の撮像装置１００は、別体の交換式レンズ４００と接続可能な構成となっている。交換式レンズ４００は、ズーム、フォーカス、絞り等の機能を有した従来一般の撮像レンズを備えている。

また、撮像レンズの一部には、撮像画像のブレを光学的に補正するシフトレンズ１０３を備え、シフトレンズ１０３を制御するための加速度センサ１１６と像ブレ補正制御部１１７を備える構成となっている。このように交換式レンズ４００は、像ブレを光学的に補正するために必要な構成を備えている。

また、撮像装置１００と交換式レンズ４００は電気的に接続可能な構成なっており、例えばシリアルインターフェース等を通じて相互にデータの受け渡しが可能である。

角速度センサ１１６は、交換レンズ４００及び撮像装置１００に加わる振れを検出し、その角速度情報を像ブレ補正制御部１１７に供給するとともに、図示しないシリアルインターフェースを介して撮像装置１００のシステム制御部１０１にも供給される。

像ブレ補正制御部１１７は、角速度センサ１１６で検出された角速度情報に基づいて、撮像画像に生じる像ブレを補正するようにシフトレンズ１０３を駆動する。

また、像ブレ補正制御部には、撮像装置１００に備えられている撮像素子駆動部１０５からブランキング信号が、電気的な信号として供給されている。像ブレ補正制御部１１７で行われる像ブレ補正の制御は実施形態１で説明した図２の構成と同じであるので、詳細は省略する。

また、像ブレ補正制御部１１７からは、補正量データが図示しないシリアルインターフェースを介して撮像装置１００のシステム制御部１０１に供給されている。この補正量データは、実施形態１で説明した図４の補正量データと同じである。

システム制御部１０１には、実施形態１で説明した図３の構成と同じであるが、角速度センサ１１６から出力される角速度データと、像ブレ補正制御部１１７から出力される補正量データが交換式レンズ４００から供給されている点が異なる。このような構成とすることで、システム制御部１０１で行われる制御の詳細は実施形態１の図４で説明した制御と同一の制御で実現することが可能である。

以上のように、本発明の実施形態２においては、撮像レンズを交換式レンズとしてカメラ本体と別体とし、光学的な像ブレ補正を交換式レンズで行うようにした。また、角速度データ及び交換式レンズ内部で行った補正量データを、カメラ本体に通知することで、フレーム間の像ブレ補正及び動きぼけを付加することが可能となる。

このように、カメラ本体と交換式レンズを組み合わせた構成においても、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができる。そして、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することができる。

（実施形態３）
図８は、本発明の第３の実施形態に係る装置の一例として、撮像レンズ及び撮像手段を備えない画像再生装置の構成を示すブロック図である。なお、図８において、図１と同様の構成には、同じ符号を付し、説明は省略する。

図８の画像再生装置５００は、図１の撮像装置１００の構成に対し、システム制御部１０１、撮像レンズ１０２が削除された構成となっている。また、シフトレンズ１０３、撮像素子１０４、撮像素子駆動部１０５、カメラ信号処理部１０６、角速度センサ１１６、像ブレ補正制御部１１７が削除された構成となっている。

画像再生装置５００は、撮像手段を備えない再生専用の装置であるが、記憶媒体１０９に記録されている動画データとそれに付随するメタデータに記録された情報に基づいて、動画像の再生時に像ブレ補正を施すことが可能な構成となっている。

記憶媒体１０９の動画データ及びメタデータには、実施形態１又は実施形態２の装置で撮像した動画データと、それに関連づけられた像ブレ量があらかじめ記録されている。記録媒体制御部１０８は、記録媒体１０９から動画データ或いは静止画データを読出しデコーダ１１０に供給する。

また、記録媒体１０９のメタデータを読み出してメタデータ読出し部３０３に供給する。デコーダ１１０は、記録媒体１０９に記録されている各種形式の動画データ・静止画データをデコードして映像信号を生成する。

像ブレ補正部１１１は、動画像に含まれる像ブレを補正するもので、元の画像から所定の範囲を切り出し、そしてフレーム単位で画像の切り出し位置を制御することにより、フレーム間に生じた像ブレを補正する。

動きぼけ生成部１１２は、元画像から異なる解像度の画像を生成し、フレーム間の動きに応じて画像の位置をずらして合成することにより、動きぼけを画像に付加する。

静止画生成部１１３は、動画像を構成するフレーム画像のなかから所定の画像をキャプチャして静止画像を生成する。

表示制御部１１４は、動きぼけ生成部１１２で生成される画像データ又は静止画生成部１１３で生成される設定メニュー画像など用途に応じて加工した映像信号を出力して表示デバイス１１５に画像を表示させる。表示デバイス１１５は液晶表示素子（ＬＣＤ）等であり、表示制御部１１４により生成された画像を表示する。さらに再生された映像信号は、再度デコーダ１１０に供給することにより、再生画像を再度記録することが可能である。

補正量演算部３０４では、動画データに関連付けられて記録されている像ブレデータに基づいて、像ブレ補正部１１１で補正するためのフレーム間の像ブレ補正量と、動きぼけ生成部１１２で付加される動きぼけ量を演算する。ここで演算される像ブレ補正量及び動きぼけ量は実施形態１で説明した制御と同一であるので詳細は省略する。

以上のように、本発明の実施形態３においては、あらかじめ動画データと関連付けられているメタデータのフレーム間の振れデータに基づいて、動画データの像ブレの補正と動きぼけの付加を行う構成とした。

このような構成とすることで、撮像手段を持たない画像再生装置においても動画像のフレーム間の像ブレ補正及び動きぼけを付加することが可能となる。このように、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができ、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することができる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１００ 撮像装置
１０１ システム制御部
１０２ 撮像レンズ
１０３ シフトレンズ
１０４ 撮像素子
１０５ 撮像素子駆動部
１０６ カメラ信号処理部
１０７ エンコーダ
１０８ 記録媒体制御部
１０９ 記録媒体
１１０ デコーダ
１１１ 像ブレ補正部
１１２ 動きぼけ生成部
１１３ 静止画生成部
１１４ 表示制御部
１１５ 表示デバイス
１１６ 角速度センサ
１１７ 像ブレ補正制御部
２０１ Ａ／Ｄ変換器
２０２ ＨＰＦ
２０３ 敏感度補正部
２０４ 積分器
２０５ 飽和防止制御部
２０６ センタリング制御部
２０７ 位置検出部
２０８ アンプ
２０９ Ａ／Ｄ変換器
２１０ 制御フィルタ
２１１ パルス幅変調部
２１２ モータ駆動部
２１３ モータ
３０１ 振れ情報生成部
３０２ メタデータ生成部
３０３ メタデータ読出し部
３０４ 補正量演算部
４００ 交換式レンズ

Claims (8)

1. 振れ検出手段の出力に基いて第１の像ブレ補正手段によって像ブレが補正された動画像である動画データを動画像として再生するとともに前記動画データの所定のフレーム画像を静止画像として再生する再生手段と、前記フレーム画像に対してフレーム間の動きによって生じる動きぼけを付加する動きぼけ付加手段と、を有する画像再生装置であって、
   前記再生手段は、前記動画データを前記動画像として再生する場合、前記動画データのフレーム画像間に生じる第１の振れ情報に基いた動きぼけを付加して動画像を再生し、前記動画データを前記静止画像として再生する場合、前記第１の振れ情報に基いた動きぼけを付加せずに前記静止画像を再生することを特徴とする画像再生装置。
2. 前記第１の像ブレ補正手段は、前記振れ検出手段の出力に基いて前記動画データの各フレーム画像の露光期間中に生じる像ブレを光学的に補正し、
   前記生成手段は、前記振れ検出手段の出力と前記第１の像ブレ補正手段の補正結果に基いて前記動画データのフレーム画像間の画像の動き量を算出して前記第１の振れ情報を生成することを特徴とする請求項１に記載の画像再生装置。
3. 前記第１の像ブレ補正手段は、露光期間である場合、前記振れ検出手段の出力に基いて露光期間中に生じる像ブレを光学的に補正し、ブランキング期間である場合、前記第１の像ブレ補正手段を補正中心位置に向かわせる制御することを特徴とする請求項１又は２に記載の画像再生装置。
4. 前記再生手段は、前記動画データを前記動画像として再生する場合、前記動画データのフレーム画像間の像ブレを電子的に補正するための第２の像ブレ補正手段を用いて前記第１の振れ情報に基いてフレーム画像間の像ブレを補正し、前記第１の振れ情報から前記第２の像ブレ補正手段で補正した補正結果を減算した値を第２の振れ情報として生成し、前記第２の振れ情報に基いた動きぼけを付加して動画像を再生する請求項１乃至３の何れか一項に記載の画像再生装置。
5. 請求項１乃至４の何れか一項に記載の画像再生装置と、前記振れ検出手段の出力に基いて第１の像ブレ補正手段によって光学的に像ブレが補正された動画像を動画データとして記録する記録手段と、前記動画データのフレーム画像間に生じる第１の振れ情報を生成する生成手段と、を有する撮像装置。
6. 振れ検出手段の出力に基いて第１の像ブレ補正手段によって像ブレが補正された動画像を動画データとして記録する記録工程と、前記動画データのフレーム画像間の第１の振れ情報を生成する生成工程と、前記動画データを動画像として再生するとともに前記動画データの所定のフレーム画像を静止画像として再生する再生工程と、前記フレーム画像に対してフレーム間の動きによって生じる動きぼけを付加する動きぼけ付加工程と、を有する画像再生方法であって、
   前記再生工程は、前記動画データを前記動画像として再生する場合、前記第１の振れ情報に基いた動きぼけを付加して動画像を再生し、前記動画データを前記静止画像として再生する場合、前記第１の振れ情報に基いた動きぼけを付加せずに前記静止画像を再生することを特徴とする画像再生方法。
7. 請求項６に記載の画像再生方法の手順が記述されたコンピュータで実行可能なプログラム。
8. コンピュータに、請求項６に記載の画像再生方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images