JP2013258468A - 撮像装置とその制御方法およびプログラム - Google Patents

Abstract

【課題】遅延の少ない表示画像と安定化して振れ補正が行われた記録画像の生成を容易に行えるようにする。
【解決手段】撮像部１２は、撮像画像の画像信号を生成する。表示処理部３２は、画像信号から表示信号を生成する。動き情報生成部２２は、撮像装置の振れを示す動き情報を生成する。メモリ部２１は、撮像画像の画像信号と動き情報を記憶する。記録振れ補正情報生成部２３は、メモリ部２１に記憶されている動き情報から、メモリ部２１に記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成する。記録画像生成部２４は、生成された記録振れ補正情報に基づき、振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号を生成する。
【選択図】 図１

Description

この技術は、撮像装置とその制御方法およびプログラムに関し、遅延の少ない表示画像と安定化して振れ補正が行われた記録画像の生成を容易に行うことができるようにする。

従来、撮像画像から撮像装置の動きに応じて画像の切り出し位置を移動させて、振れ補正を行う、いわゆる電子手振れ補正が実用化されている。電子手振れ補正では、撮像装置の動きを検出する方法として、特許文献１で開示されているように時間方向の複数画像から撮像装置の動きを検出する方法が用いられている。また、特許文献２に開示されているようにジャイロセンサ等の動き検出センサを用いて撮像装置の動きを検出する方法が用いられている。

特開２００８−５１０９号公報 特開２００６−１８６４８１号公報

ところで、動画の生成に用いられる撮像装置では、振れ補正光学系を用いた光学式手振れ補正に加えて、動き検出センサの検出結果に基づき画像の切り出し位置を移動させる電子手振れ補正を採用することが行われている。このように光学式手振れ補正と電子式手振れ補正を行えば、振れ補正光学系の補正限界を超えるような振れが生じても、電子式手振れ補正によって、光学式手振れ補正の限界を超えた振れに対して補正を行うことで、振れ補正可能範囲を広くすることができる。しかし、ジャイロセンサ等の動き検出センサを用いた場合には検出誤差を生じる。また、振れ補正光学系を制御して振れ補正を行う場合に制御誤差が生じる。さらに、動き検出結果に基づいて振れ補正を行う場合、動き検出結果に基づいて振れを予測して補正が行われることから、予測誤差も生じる。このような誤差を生じるため、動画から振れを完全に除去することが困難である。

また、電子式手振れ補正において、撮像装置の動きを時間方向の複数画像から検出する場合には遅延の問題が生じる。すなわち、動き検出のための演算と振れ補正の演算に時間を要すると、振れ補正画像が得られるまでに時間を要してしまう。このため、振れ補正画像に基づいて、ユーザが撮像動作例えば構図の設定やズーム動作、フォーカス動作等を行った場合、ユーザ操作に対するレスポンスの遅延が生じて、ユーザの意図するように撮像装置を動作させることが困難となってしまう。また、過去の画像を用いて動きを検出して、検出結果に基づき振れ補正画像を生成すると、過去の動きと異なる動きが生じた場合、安定した振れ補正画像を生成することができない。

そこで、この技術では、遅延の少ない表示画像と安定化して振れ補正が行われた記録画像の生成を容易に行うことができる撮像装置とその制御方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、撮像画像の画像信号を生成する撮像部と、前記撮像部で生成された画像信号から表示信号を生成する表示処理部と、当該撮像装置の振れを示す動き情報を生成する動き情報生成部と、前記撮像画像の画像信号と前記動き情報を記憶する記憶部と、前記記憶部に記憶されている動き情報から、前記記憶部に記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成する記録振れ補正情報生成部と、前記記録振れ補正情報生成部で生成された記録振れ補正情報に基づき、前記記憶部に記憶されている前記振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号を生成する記録画像生成部とを備える撮像装置にある。

この技術においては、撮像部で生成された撮像画像の画像信号から表示信号が生成される。また、撮像装置の振れを示す動き情報が生成されて、生成された動き情報と撮像画像の画像信号が記憶部に記憶される。動き情報は、例えば撮像装置の振れの軌跡に基づいて生成される。また、撮像装置の振れは、フレームの撮像画像や、振れ検出部からの検出信号に基づいて算出される。この記憶されている動き情報から、記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報が生成される。例えば、記憶されている振れ補正対象の撮像画像を基準とした所定期間内の過去の撮像画像と未来の撮像画像について生成されている動き情報の安定化処理、例えば平滑化処理を行うことで安定化動き情報を生成して、安定化動き情報と振れ補正対象の撮像画像について生成されている動き情報の差分が記録振れ補正情報として生成される。所定期間は、例えば撮像装置の振れの周期に応じて設定される。この生成された記録振れ補正情報に基づき、記憶されている振れ補正対象の撮像画像からの画像切り出し位置を制御して記録画像の画像信号が生成される。また、記憶されている過去の撮像画像について生成されている動き情報を用いて表示振れ補正情報が生成されて、表示振れ補正情報に基づき撮像部で生成された撮像画像から振れ補正が行われた表示画像の画像信号から表示信号が生成される。

この技術の第２の側面は、撮像画像の画像信号を生成する工程と、前記撮像画像の画像信号から表示信号を生成する工程と、撮像装置の振れを示す動き情報を生成する工程と、前記撮像画像の画像信号と前記動き情報を記憶する工程と、前記記憶されている動き情報を用いて、記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成する工程と、前記生成された記録振れ補正情報に基づき、前記振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号を生成する工程とを含む信号処理方法にある。

この技術の第３の側面は、撮像装置で生成される撮像画像の画像信号をコンピュータで処理するプログラムであって、前記撮像画像の画像信号から表示信号を生成する手順と、前記撮像装置の振れを示す動き情報を生成する手順と、前記撮像画像の画像信号と前記動き情報を記憶部に記憶させる手順と、前記記憶部に記憶されている動き情報を用いて、記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成する手順と、前記生成された記録振れ補正情報に基づき、前記記憶部に記憶されている振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号を生成する手順とを前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、撮像画像の画像信号が生成されて、撮像画像の画像信号から表示信号が生成される。また、撮像装置の振れを示す動き情報が生成されて、撮像画像の画像信号と動き情報が記憶される。この記憶されている動き情報を用いて、記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報が生成されて、記録振れ補正情報に基づき、振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号が生成される。したがって、遅延の少ない表示画像と安定化して振れ補正が行われた記録画像の生成を容易に行うことができるようになる。

第１の実施の形態の構成を例示した図である。 記録振れ補正情報と記録画像の生成を示す概念図である。 第１の実施の形態の動作を例示したフローチャートである。 第１の実施の形態の動作を説明するための図である。 第２の実施の形態の構成を例示した図である。 第２の実施の形態の動作を例示したフローチャートである。 第２の実施の形態の動作を説明するための図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．第１の実施の形態の構成
１−２．第１の実施の形態の動作
２．第２の実施の形態
２−１．第２の実施の形態の構成
２−２．第２の実施の形態の動作

＜１．第１の実施の形態＞
本技術の第１の実施の形態では、レスポンスを優先させた撮像画像表示と振れ補正性能を優先された記録画像の生成を行う。例えば、撮像画像表示では、振れ補正を行うことなく撮像画像を表示部に供給して、振れ補正による遅延を生じることなく撮像画像表示すなわちライブビュー画像の表示を行い、ユーザ操作に対するレスポンスの遅延を防止する。また、記録画像の生成では、撮像画像と撮像画像毎に生成した撮像装置の振れを示す動き情報を記憶して、記憶されている動き情報から記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成する。さらに、生成された記録振れ補正情報に基づき、振れ補正対象の撮像画像から画像の切り出しを行うことで、安定した振れ補正の行われている記録画像の画像信号を生成する。

［１−１．第１の実施の形態の構成］
図１は、本技術の撮像装置の第１の実施の形態の構成を例示している。撮像装置１０ａは、撮像光学系１１、撮像部１２、前処理部１３、現像処理部１４を備えている。また、撮像装置１０ａは、メモリ部２１、動き情報生成部２２、記録振れ補正情報生成部２３、記録画像生成部２４を備えている。さらに、撮像装置１０ａは、記録処理部３１、表示処理部３２、ユーザインタフェース部３４、制御部３５を備えている。また、現像処理部１４、メモリ部２１、動き情報生成部２２、記録振れ補正情報生成部２３、記録画像生成部２４、ユーザインタフェース部３４、制御部３５等はバス３９を介して接続されている。

撮像光学系１１は、フォーカスレンズやズームレンズおよび絞り機構等で構成されている。撮像光学系１１は、被写体の光学像を撮像部１２の撮像面に結像させる。また、撮像光学系１１は、光学像の画角や明るさの調整等も行う。

撮像部１２は、ＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されている。撮像部１２は、光電変換処理を行い、撮像光学系１１によって撮像面に結像された光学像を電気信号に変換する。

前処理部１３は、撮像部１２で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理や、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。また、前処理部１３は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して出力する。

現像処理部１４は、前処理部１３から出力された画像信号（ＲＡＷ信号）に対して、デモザイク処理、ガンマ補正処理、ホワイトバランス調整処理、画質補正もしくは画質調整処理等を行う。また、現像処理部１４は、画像信号（ＲＡＷ信号）を輝度信号成分Ｙと、色差信号成分Ｃｂ／Ｃｒからなる画像信号（ＹＣ信号）に変換する。現像処理部１４は、処理後の画像信号（ＹＣ信号）をメモリ部２１と動き情報生成部２２および表示処理部３２へ出力する。

メモリ部２１は、現像処理部１４から出力された画像信号や動き情報生成部２２で生成された動き情報を記憶する。

動き情報生成部２２は、現像処理部１４から出力された画像信号と、メモリ部２１に記憶されている過去画像の画像信号例えば１フレーム前の画像信号を用いて、撮像装置１０ａの振れを示す動き情報を生成する。動き情報生成部２２は、生成した動き情報をメモリ部２１と記録振れ補正情報生成部２３へ出力する。

記録振れ補正情報生成部２３は、メモリ部２１から振れ補正対象の撮像画像を基準とした所定期間内の動き情報を読み出す。記録振れ補正情報生成部２３は、読み出した動き情報から安定化動き情報を生成する。さらに、記録振れ補正情報生成部２３は、生成した安定化動き情報と振れ補正対象画像について生成されている動き情報から、記録振れ補正情報を生成する。記録振れ補正情報生成部２３は、生成した記録振れ補正情報を記録画像生成部２４へ出力する。

記録画像生成部２４は、メモリ部２１に記憶されている振れ補正対象の撮像画像の画像信号を取得する。記録画像生成部２４は、振れ補正対象の撮像画像から画像の切り出しを行い、記録画像の画像信号を生成する。また、記録画像生成部２４は、記録振れ補正情報生成部２３で生成された記録振れ補正情報に基づき撮像画像からの画像の切り出しを制御することで、安定した振れ補正画像を記録画像として生成する。記録画像生成部２４は、安定した振れ補正が行われている記録画像の画像信号を記録処理部３１へ出力する。

記録処理部３１は、記録画像生成部２４から出力された記録画像の画像信号を記録媒体４１に記録する処理を行う。記録媒体４１としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤや半導体メモリモジュール等であってもよい。また、記録処理部３１は、画像信号の圧縮符号化を行い、記録媒体４１に符号化信号を記録するようにしてもよい。

表示処理部３２には、パネル表示部やＥＶＦ等の表示部４２が接続される。表示処理部３２は、現像処理部１４から供給された画像信号を、表示部４２に対応した信号に変換する。例えば、現像処理部１４から供給された画像信号よりも表示部４２の解像度が低い場合、表示処理部３２は現像処理部１４から供給された画像信号を表示部４２の解像度に応じた画像信号に変換する解像度変換処理を行う。表示処理部３２は、処理後の画像信号を表示部４２へ出力する。

ユーザインタフェース部３４は、操作スイッチや操作ボタン等で構成されている。ユーザインタフェース部３４は、ユーザ操作に応じた操作信号を生成して制御部３５へ出力する。

制御部３５は、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、上述のように、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータ等の情報や補正データ等を記憶する。制御部３５は、ユーザインタフェース部３４からの操作信号等に応じて各部の制御を行い、ユーザ操作に応じた動作を撮像装置１０ａで行わせる。

［１−２．第１の実施の形態の動作］
第１の実施の形態では、レスポンスを優先させた撮像画像表示と振れ補正性能を優先された記録画像の生成を行う。

撮像装置１０ａは、現像処理部１４から出力された撮像画像の画像信号を表示処理部３２に供給することで、振れ補正による遅延を生じることなく撮像画像の表示を表示部４２で行い、ユーザ操作に対するレスポンスの遅延を防止する。

また、撮像装置１０ａは、現像処理部１４から出力された撮像画像の画像信号と、動き情報生成部２２で撮像画像毎に生成した撮像装置の振れを示す動き情報をメモリ部２１に記憶させる。撮像装置１０ａは、記憶されている動き情報から記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を記録振れ補正情報生成部２３で生成する。さらに、撮像装置１０ａは、生成された記録振れ補正情報に基づき、記録画像生成部２４で振れ補正対象の撮像画像から画像の切り出しを行うことで、安定した振れ補正の行われている記録画像の画像信号を生成する。

図２は、記録振れ補正情報と記録画像の生成を示す概念図である。動き情報生成部２２は、図２の（Ａ）に示す時間方向に連続する複数フレームの撮像画像から撮像装置１０ａの振れを示す動き情報を生成する。例えば、動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて撮像画像の比較を行い、撮像装置１０ａの振れを示すグローバル動きを算出する。図２の（Ｂ）は、フレーム画像毎に算出したグローバル動きを示している。なお、動き情報の生成は、時間方向に連続する複数フレームの撮像画像を用いる場合に限られない。

記録振れ補正情報生成部２３は、撮像装置１０ａの動き情報に基づき記録振れ補正情報を生成する。記録振れ補正情報生成部２３は、振れ補正の安定化のために、各フレームの動き情報の安定化や、記録振れ補正情報の安定化を行う。記録振れ補正情報生成部２３は、各フレームの動き情報の安定化として、フレーム毎に算出したグローバル動きから、撮像装置１０ａの動きの軌跡に応じた動き軌跡情報を生成する。図２の（Ｃ）は、動き軌跡情報を示している。記録振れ補正情報生成部２３は、例えば、式（１）に示すように、動き情報の生成対象のフレーム画像からｋフレーム前までの過去画像において算出されているグローバル動きを用いて、動き軌跡情報をフレーム画像毎に順次生成する。なお、式（１）において、ｖ（ｉ）はフレーム番号ｉのフレーム画像で算出されているグローバル動き、ｓ（ｔ）は、フレーム番号が「ｔ」であるときの動き軌跡情報である。

次に、記録振れ補正情報生成部２３は、記録振れ補正情報の安定化を行うために、安定化動き情報を生成する。記録振れ補正情報生成部２３は、振れ補正対象の撮像画像に対する過去画像と未来画像の動き情報を用いて、振れ補正対象の撮像画像に対する安定化動き情報を生成する。図２の（Ｄ）は、安定化動き情報の軌跡を示している。なお、図２の（Ｄ）における破線は、動き軌跡情報を示している。記録振れ補正情報生成部２３は、補正対象の撮像画像を基準とした所定期間内の過去の撮像画像と未来の撮像画像の動き情報（動き軌跡情報）の平滑化処理を行うことで安定化動き情報を生成する。記録振れ補正情報生成部２３は、例えば式（２）に示す演算を行い、安定化動き情報をフレーム画像毎に順次生成する。なお、式（２）では、振れ補正対象の撮像画像からｎフレーム前までの過去画像とｍフレーム後までの未来画像に対して生成されている動き情報（動き軌跡情報）、および振れ補正対象の撮像画像の動き情報（動き軌跡情報）を平均化している。また、式（２）において、ｓ（ｊ）はフレーム番号「ｊ」のフレーム画像で生成されている動き軌跡情報、ａ（ｔ）は、振れ補正対象の撮像画像がフレーム番号「ｔ」であるときの安定化動き情報である。なお、補正対象の撮像画像を基準とした所定期間、すなわちｎフレーム前からｍフレーム後までの期間を安定化処理期間とする。

なお、未来画像のフレーム数「ｍ」と過去画像のフレーム数「ｎ」を「ｍ＝ｎ」として設定すれば、過去画像と未来画像のフレーム数が一致することから、過去または未来の何れかの動きに偏って安定化が行われてしまうことがない。また、撮像装置の振れの周期に応じて安定化処理期間を設定すれば、撮像装置の振れの周期に対応した安定化動き情報を生成できる。例えば、歩きながら撮像した場合に生じる振れに対して、ｍ＝ｎ＝３０〜６０程度とすれば、振れに適した安定化動き情報を生成できる。また、例えば、撮像装置の振れの周期は、動き情報生成部２２で生成された動き情報に基づき制御部３５で判別して、判別結果に基づき安定化処理期間を決定して記録振れ補正情報生成部２３に設定する。

さらに、記録振れ補正情報生成部２３は、振れ補正対象の撮像画像について生成されている動き情報（動き軌跡情報）と安定化動き情報との差分を記録振れ補正情報として生成する。記録振れ補正情報生成部２３は、式（３）に示す演算を行い、振れ補正対象の撮像画像がフレーム番号「ｔ」であるときの安定化動き情報ａ（ｔ）と動き情報（動き軌跡情報）ｓ（ｔ）の差分を算出して図２の（Ｄ）に示すように記録振れ補正情報ｈ（ｔ）を生成する。

記録画像生成部２４は、図２に示すように、記録振れ補正情報生成部２３で生成した記録振れ補正情報ｈ（ｔ）に基づき振れ補正対象の撮像画像から画像の切り出しを行い、振れ補正が行われている記録画像を生成する。また、記録画像生成部２４は、撮像装置１０ａの姿勢変化や撮像光学系１１の光学特性、シャッター動作等によって生じた画像歪みの補正を行い、記録画像における画像歪みの影響を軽減させる。画像歪みの補正では、いわゆるワーピングが画素補間処理を伴って行われる。ワーピングでは、ワーピング元画素が画枠外になることを防ぐため、例えばフレーム画像における所定割合の内側領域をワーピング対象とする。なお、所定割合の内側領域をワーピング対象とすると、ワーピング処理後の画像は、元の画像に対して所定割合で小さいサイズとなる。したがって、ワーピング処理後の画像に対して所定割合に応じた拡大処理を行い、元の画像サイズの記録画像を生成する。

なお、記録振れ補正情報は、振れ補正画像を切り出すための情報に限らず、アフィン変換や射影（＝ホモグラフィ）変換のパラメータ、画像の複数点のベクトルの組み合わせで表現して、撮像画像から振れ補正画像を生成できるようにしてもよい。同様に、動き軌跡情報も、グローバル動きの単純な積算に限らず、アフィン変換等の行列の積として表わしたり、画像の複数点のベクトルの、各々の積算によって表現してもよい。さらに、平滑化処理は、動き情報の平均に限定する必要はなく、帯域設計されたＬＰＦを用いたり、歩きや走り等のユーザの動作を識別して、最適な安定化手法を動的に選択するようにしてもよい。また、ワーピングでは、射影変換行列に対してフィッティングを行うといったような変換を含むようにしてもよい。

以上のように、撮像装置１０ａは、記憶されている動き情報から、記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成して、記録振れ補正情報に基づき撮像画像から画像の切り出しを行い、振れ補正が行われた記録画像の画像信号を生成する。また、撮像装置１０ａは、振れ補正対象の撮像画像よりも過去の撮像画像について生成されている動き情報と未来の撮像画像について生成されている動き情報の安定化処理を行い、得られた安定化動き情報を用いて記録振れ補正情報の生成を行う。

図３は、第１の実施の形態の動作を例示したフローチャートである。撮像画像の生成が開始されると、ステップＳＴ１で撮像装置１０ａは、表示画像の生成を行う。撮像装置１０ａの現像処理部１４は、生成された撮像画像の画像信号を表示画像の画像信号として表示処理部３２に供給することで、表示部４２で撮像画像の表示を行いステップＳＴ２に進む。

ステップＳＴ２で撮像装置１０ａは、動き情報の生成を行う。撮像装置１０ａの動き情報生成部２２は、生成された撮像画像の画像信号とメモリ部２１に記憶されている過去画像の画像信号を用いて動き情報を生成する。さらに、動き情報生成部２２は生成した動き情報をメモリ部２１に記憶してステップＳＴ３に進む。また、安定化動き情報の生成で動き軌跡情報を用いる場合、記録振れ補正情報生成部２３は、メモリ部２１に記憶されている動き情報を用いて上述の（１）の演算を行い、撮像装置１０ａの振れの軌跡に応じた動き軌跡情報を生成する。

ステップＳＴ３で撮像装置１０ａは、安定化処理期間の動き情報が生成されているか判別する。撮像装置１０ａの制御部３５は、振れ補正対象の撮像画像を基準として安定化対象期間の動き情報（動き軌跡情報）が生成されているか判別する。制御部３５は、安定化処理期間の動き情報（動き軌跡情報）の生成が完了していない場合にはステップＳＴ７に進み、安定化処理期間の動き情報（動き軌跡情報）の生成が完了している場合はステップＳＴ４に進む。

ステップＳＴ４で撮像装置１０ａは、安定化動き情報の生成を行う。撮像装置１０ａの記録振れ補正情報生成部２３は、安定化処理期間の動き情報（動き軌跡情報）を用いて上述の（２）の演算を行い、安定化動き情報を生成してステップＳＴ５に進む。

ステップＳＴ５で撮像装置１０ａは、記録振れ補正情報の生成を行う。撮像装置１０ａの記録振れ補正情報生成部２３は、振れ補正対象の撮像画像に対して生成されている動き情報（動き軌跡情報）と安定化動き情報を用いて上述の式（３）の演算を行い、記録振れ補正情報を生成してステップＳＴ６に進む。

ステップＳＴ６で撮像装置１０ａは、記録画像の生成を行う。撮像装置１０ａの記録画像生成部２４は、振れ補正対象の撮像画像から記録振れ補正情報に基づいて画像の切り出しを行い、振れ補正が行われた記録画像の画像信号を生成してステップＳＴ７に進む。

ステップＳＴ７で撮像装置１０ａは、撮像動作の終了であるか判別する。撮像装置１０ａは、ユーザインタフェース部３４からの操作信号等に基づき撮像動作の終了操作が行われたか否かを制御部３５で判別する。撮像装置１０ａは、終了操作が行われていないと判別した場合にステップＳＴ１に戻り、終了操作が行われたと判別した場合にステップＳＴ８に進む。

ステップＳＴ８で撮像装置１０ａは、終了処理を行う。撮像装置１０ａの制御部３５は、各部の動作を制御して、撮像動作を停止させる。また、制御部３５は、メモリ部２１に記憶された動き情報を用いて撮像終了時までの記録画像の生成を行い、動作を終了する。

なお、撮像装置１０ａの動作は図３に示す順序に限られず、例えば撮像画像の表示を記録画像の生成後に行うようにしてもよく、撮像画像の表示と記録画像の生成を並行して行うようにしてもよい。

図４は、第１の実施の形態の動作を説明するための図である。図４において、図４の（Ａ）は、撮像部１２から出力される画像信号ＳＶimのフレーム番号、図４の（Ｂ）は現像処理部１４から出力される画像信号ＳＶdのフレーム番号を示している。図４の（Ｃ）は、動き情報を生成するためにメモリ部２１に記憶された１フレーム前の画像信号ＳＶp1のフレーム番号を示している。図４の（Ｄ）は振れ補正対象の撮像画像である（ｍ＋１）フレーム前の画像信号ＳＶp(m+1)のフレーム番号を示している。なお、図示せずも、メモリ部２１には１フレーム前から（ｍ＋１）フレーム前までの各フレームの画像信号も記憶される。

図４の（Ｅ）は、動き情報生成部２２で生成された動き情報ＭＶのフレーム番号を示している。図４の（Ｆ）は、メモリ部２１に記憶されている１フレーム前の動き情報ＭＶp1のフレーム番号を示している。図４の（Ｇ）は、メモリ部２１に記憶されている（ｎ＋ｍ）フレーム前の動き情報ＭＶp(n+m)のフレーム番号を示している。なお、図示せずも、メモリ部２１には１フレーム前から（ｎ＋ｍ）フレーム前までの各フレームの動き情報も記憶される。

図４の（Ｈ）は、記録振れ補正情報生成部２３で生成された記録振れ補正情報ＭＣwのフレーム番号を示している。図４の（Ｉ）は、表示処理部３２に供給される画像信号ＳＶgのフレーム番号を示している。図４の（Ｊ）は、記録画像生成部２４で画像の切り出しが行われる撮像画像の画像信号ＳＶwcのフレーム番号、図４の（Ｋ）は、記録処理部３１に供給される記録画像の画像信号ＳＶwのフレーム番号を示している。

フレーム期間「Ｆ(0)」では、フレーム期間「Ｆ(-1)〜Ｆ(-m-1)」において撮像部１２で生成された撮像画像の画像信号がメモリ部２１に記憶されている。同様に、フレーム期間「Ｆ(-1)〜Ｆ(-n-m)」で生成した撮像画像に対する動き情報がメモリ部２１に記憶されている。

フレーム期間「Ｆ(0)」において撮像部１２で生成された撮像画像の画像信号は、現像処理部１４で現像処理を行って表示処理部３２に供給する。したがって、撮像装置１０ａは、振れ補正による遅延を生じることなく撮像画像を表示部４２で表示できる。

フレーム期間「Ｆ(0)」で動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて動き情報を生成する。なお、説明を簡単とするため、図４では、動き情報生成部２２で生成された動き情報を動き軌跡情報としている。すなわち、式（１）において「ｋ＝０」の場合に相当する。

次のフレーム期間「Ｆ(1)」では、フレーム期間「Ｆ(0)〜Ｆ(-m)」において撮像部１２で生成された撮像画像の画像信号がメモリ部２１に記憶されている。同様に、フレーム期間「Ｆ(0)〜Ｆ(-n-m+1)」で生成した撮像画像に対する動き情報がメモリ部２１に記憶されている。

フレーム期間「Ｆ(1)」において撮像部１２で生成された撮像画像の画像信号は、現像処理部１４で現像処理を行って表示処理部３２に供給する。また、フレーム期間「Ｆ(1)」で動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて動き情報を生成する。

次のフレーム期間「Ｆ(2)」では、フレーム期間「Ｆ(1)〜Ｆ(-m+1)」において撮像部１２で生成された撮像画像の画像信号がメモリ部２１に記憶されている。同様に、フレーム期間「Ｆ(1)〜Ｆ(-n-m+2)」で生成した撮像画像に対する動き情報がメモリ部２１に記憶されている。

フレーム期間「Ｆ(2)」において撮像部１２で生成された撮像画像の画像信号は、現像処理部１４で現像処理を行って表示処理部３２に供給する。また、フレーム期間「Ｆ(2)」で動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて動き情報を生成する。

以下、同様の処理を繰り返して行い、フレーム期間「Ｆ(m)」において撮像部１２で生成された撮像画像の画像信号は、現像処理部１４で現像処理を行って表示処理部３２に供給する。また、フレーム期間「Ｆ(m)」で動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて動き情報を生成する。

このフレーム期間「Ｆ(m)」では、フレーム期間「Ｆ(-n)」〜「Ｆ(m-1)」で生成された撮像画像に対する動き情報がメモリ部２１に記憶されている。すなわち、フレーム期間「Ｆ(m)」では、フレーム期間「Ｆ(0)」の撮像画像に対する安定化処理期間の動き情報が得られた状態となる。したがって、記録振れ補正情報生成部２３は、フレーム期間「Ｆ(-n)」〜「Ｆ(m)」で生成された撮像画像に対する動き情報を用いて上述の式（２）の演算を行い、フレーム期間「Ｆ(0)」の撮像画像に対する安定化動き情報を生成する。さらに、記録振れ補正情報生成部２３は、生成した安定化動き情報とフレーム期間「Ｆ(0)」で生成された撮像画像に対する動き情報を用いて式（４）の演算を行い、フレーム期間「Ｆ(0)」の撮像画像に対する記録振れ補正情報を生成する。

フレーム期間「Ｆ(m+1)」において撮像部１２で生成された撮像画像の画像信号は、現像処理部１４で現像処理を行って表示処理部３２に供給する。また、フレーム期間「Ｆ(m+1)」で動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて動き情報を生成する。

さらに、フレーム期間「Ｆ(0)」で生成された撮像画像に対する記録振れ補正情報がフレーム期間「Ｆ(m)」で生成されていることから、フレーム期間「Ｆ(m+1)」で記録画像生成部２４は、メモリ部２１に記憶されているフレーム期間「Ｆ(0)」の撮像画像から、フレーム期間「Ｆ(0)」の撮像画像に対する記録振れ補正情報に基づいて画像の切り出しを行う。記録画像生成部２４は、このように画像の切り出しを行い、フレーム期間「Ｆ(0)」の撮像画像に対して振れ補正を行った記録画像を生成して、記録処理部３１に出力する。

なお、記録開始時にはｎフレーム分の過去画像や動き情報を得ることができない場合が生じ、記録終了時にはｍフレーム分の未来画像や動き情報を得ることができない場合が生じる。したがって、記録開始時や記録終了時には、安定化処理期間の長さを短縮して、安定化動き情報を生成できるようにしてもよい。例えば安定化処理期間の短縮を行う場合、記録開始時には「ｎ」を小さい値に変更し、記録終了時には「ｍ」を小さい値に変更する。また、一方の値を小さくするに伴い他方の値も小さくして安定化処理期間の短縮を行うようにしてもよい。

また、動き情報は振れ検出部で検出された撮像装置の振れに基づいて生成してもよい。例えば、図１に示すように、ジャイロセンサや加速度センサ等を用いて構成された振れ検出部２９を設けて、撮像装置１０ａの振れを検出する。動き情報生成部２２は、振れ検出部２９からの検出信号に基づき動き情報を生成する。このようにジャイロセンサや加速度センサ等を用いる場合に振れの検出にバラツキが生じても、上述のように動き軌跡情報や安定化動き情報が生成されることから、記録振れ補正情報に基づき振れ補正を行うことで、安定した記録画像を生成できる。

以上のような処理をフレーム毎に行うと、撮像画像表示すなわちライブビュー画像の表示ではレスポンスを優先させた処理が行われて、振れ補正による遅延を生じることなく撮像画像を表示できる。また、記録画像の生成では、撮像画像と撮像画像毎に生成した撮像装置の振れを示す動き情報を記憶して、記憶されている動き情報から記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報が生成される。さらに、生成された記録振れ補正情報に基づき、振れ補正対象の撮像画像から画像の切り出しが行われて、安定した振れ補正の行われている記録画像の画像信号を生成できるようになる。なお、記録画像の画像信号を記録媒体に記録する場合、記録媒体への画像の記録では元々遅延が存在するため、記録される画像に幾らかの遅延を生じていても問題とはならない。また、記録振れ補正情報は、過去画像と未来画像の動き情報を用いて生成されることから、安定した振れ補正を行うことが可能となり、高品質の記録画像を低コストで提供できる。

＜２．第２の実施の形態＞
ところで上述の第１の実施の形態では、振れ補正が行われていない画像を表示部で表示する場合について説明した。しかし、撮像画像表示すなわちライブビュー画像の表示において遅延を許容すれば、表示部で安定した振れ補正画像を表示できるようになる。次に、撮像画像表示で１フレームの遅延を許容する場合の動作について説明する。

［２−１．第２の実施の形態の構成］
図５は、本技術の撮像装置の第２の実施の形態の構成を例示している。撮像装置１０ｂは、撮像光学系１１、撮像部１２、前処理部１３、現像処理部１４を備えている。また、撮像装置１０ｂは、メモリ部２１、動き情報生成部２２、記録振れ補正情報生成部２３、記録画像生成部２４、表示振れ補正情報生成部２５、表示画像生成部２６を備えている。さらに、撮像装置１０ｂは、記録処理部３１、表示処理部３２、ユーザインタフェース部３４、制御部３５を備えている。また、現像処理部１４、メモリ部２１、動き情報生成部２２、記録振れ補正情報生成部２３、記録画像生成部２４、表示振れ補正情報生成部２５、表示画像生成部２６、ユーザインタフェース部３４、制御部３５等はバス３９を介して接続されている。

撮像光学系１１は、フォーカスレンズやズームレンズおよび絞り機構等で構成されている。撮像光学系１１は、被写体の光学像を撮像部１２の撮像面に結像させる。また、撮像光学系１１は、光学像の画角や明るさの調整等も行う。

撮像部１２は、ＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されている。撮像部１２は、光電変換処理を行い、撮像光学系１１によって撮像面に結像された光学像を電気信号に変換する。

前処理部１３は、撮像部１２で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理や、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。また、前処理部１３は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して出力する。

現像処理部１４は、前処理部１３から出力された画像信号（ＲＡＷ信号）に対して、デモザイク処理、ガンマ補正処理、ホワイトバランス調整処理、画質補正もしくは画質調整処理等を行う。また、現像処理部１４は、画像信号（ＲＡＷ信号）を輝度信号成分Ｙと、色差信号成分Ｃｂ／Ｃｒからなる画像信号（ＹＣ信号）に変換する。現像処理部１４は、処理後の画像信号（ＹＣ信号）をメモリ部２１と動き情報生成部２２へ出力する。

メモリ部２１は、現像処理部１４から出力された画像信号や動き情報生成部２２で生成された動き情報を記憶する。

動き情報生成部２２は、現像処理部１４から出力された画像信号と、メモリ部２１に記憶されている過去画像の画像信号例えば１フレーム前の画像信号を用いて、画像間のグローバル動きすなわち撮像装置１０ｂの振れを示す動き情報を生成する。動き情報生成部２２は、生成した動き情報をメモリ部２１と記録振れ補正情報生成部２３と表示振れ補正情報生成部２５へ出力する。

記録振れ補正情報生成部２３は、メモリ部２１から振れ補正対象の撮像画像を基準とした所定期間内の動き情報を読み出す。記録振れ補正情報生成部２３は、読み出した動き情報から安定化動き情報を生成する。さらに、記録振れ補正情報生成部２３は、生成した安定化動き情報と振れ補正対象画像について生成されている動き情報から、記録振れ補正情報を生成する。記録振れ補正情報生成部２３は、生成した記録振れ補正情報を記録画像生成部２４へ出力する。

記録画像生成部２４は、メモリ部２１に記憶されている振れ補正対象の撮像画像の画像信号を取得する。記録画像生成部２４は、振れ補正対象の撮像画像から画像の切り出しを行い、記録画像の画像信号を生成する。また、記録画像生成部２４は、記録振れ補正情報生成部２３で生成された記録振れ補正情報に基づき撮像画像からの画像の切り出しを制御することで、安定した振れ補正画像を記録画像として生成する。記録画像生成部２４は、安定した振れ補正が行われている記録画像の画像信号を記録処理部３１へ出力する。

表示振れ補正情報生成部２５は、メモリ部２１から過去所定期間内の動き情報を読み出す。表示振れ補正情報生成部２５は、読み出した動き情報から安定化動き情報を生成する。さらに、表示振れ補正情報生成部２５は、生成した安定化動き情報と動き情報生成部２２で生成された動き情報から、表示振れ補正情報を生成する。表示振れ補正情報生成部２５は、生成した表示振れ補正情報を表示画像生成部２６へ出力する。

表示画像生成部２６は、メモリ部２１に記憶されている１フレーム前の撮像画像の画像信号を取得する。表示画像生成部２６は、１フレーム前の撮像画像から画像の切り出しを行い、表示画像の画像信号を生成する。また、表示画像生成部２６は、表示振れ補正情報生成部２５で生成された表示振れ補正情報に基づき撮像画像からの画像の切り出しを制御することで、安定した振れ補正画像を表示画像として生成する。表示画像生成部２６は、安定した振れ補正が行われている表示画像の画像信号を表示処理部３２へ出力する。

記録処理部３１は、記録画像生成部２４から出力された記録画像の画像信号を記録媒体４１に記録する処理を行う。記録媒体４１としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤや半導体メモリモジュール等であってもよい。また、記録処理部３１は、画像信号の圧縮符号化を行い、記録媒体４１に符号化信号を記録するようにしてもよい。

表示処理部３２には、パネル表示部やＥＶＦ等の表示部４２が接続される。表示処理部３２は、表示画像生成部２６から供給された画像信号を、表示部４２に対応した信号に変換する。例えば、表示画像生成部２６から供給された画像信号よりも表示部４２の解像度が低い場合、表示処理部３２は現像処理部１４から供給された画像信号を表示部４２の解像度に応じた画像信号に変換する解像度変換処理を行う。表示処理部３２は、処理後の画像信号を表示部４２へ出力する。

ユーザインタフェース部３４は、操作スイッチや操作ボタン等で構成されている。ユーザインタフェース部３４は、ユーザ操作に応じた操作信号を生成して制御部３５へ出力する。

制御部３５は、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、上述のように、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータ等の情報や補正データ等を記憶する。制御部３５は、ユーザインタフェース部３４からの操作信号等に応じて各部の制御を行い、ユーザ操作に応じた動作を撮像装置１０ｂで行わせる。

［２−２．第２の実施の形態の動作］
第２の実施の形態では、許容した遅延期間内で振れ補正がなされた撮像画像の生成を行い、振れ補正後の撮像画像表示を行う。また、振れ補正性能を優先された記録画像の生成を行う。

撮像装置１０ｂは、現像処理部１４から出力された撮像画像の画像信号と、動き情報生成部２２で撮像画像毎に生成した撮像装置の振れを示す動き情報をメモリ部２１に記憶させる。撮像装置１０ｂは、記憶されている動き情報から例えば１フレーム前の撮像画像に対する表示振れ補正情報を表示振れ補正情報生成部２５で生成する。さらに、撮像装置１０ｂは、生成された表示振れ補正情報に基づき、表示画像生成部２６で１フレーム前の撮像画像から画像の切り出しを行うことで、安定した振れ補正の行われている表示画像の画像信号を生成する。この表示画像の画像信号を表示処理部３２に供給することで、振れ補正が行われた撮像画像の表示を表示部４２で行い、ユーザ操作に対するレスポンスの遅延を許容範囲内に制限する。

また、撮像装置１０ｂは、記憶されている動き情報から記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を記録振れ補正情報生成部２３で生成する。さらに、撮像装置１０ｂは、生成された記録振れ補正情報に基づき、記録画像生成部２４で振れ補正対象の撮像画像から画像の切り出しを行うことで、安定した振れ補正の行われている記録画像の画像信号を生成する。

表示振れ補正情報生成部２５は、表示画像の振れ補正を行うために表示振れ補正情報を生成する。表示振れ補正情報生成部２５は、撮像部１２で生成される撮像画像に対する過去画像の動き情報を用いて、安定化動き情報を生成する。表示振れ補正情報生成部２５は、例えば式（４）に示すように、撮像画像からｐフレーム前までの過去画像において生成されている動き情報と撮像画像について生成した動き情報を例えば平均化して、表示安定化動き情報をフレーム画像毎に順次生成する。なお、式（４）において、ｓ（ｊ）はフレーム番号「ｊ」のフレーム画像で生成されている動き軌跡情報、ａｐ（ｔ）は、撮像部１２で生成された撮像画像がフレーム番号「ｔ」であるときの表示安定化動き情報である。また、撮像部１２で生成された撮像画像を基準とした過去所定期間、すなわちｐフレーム前までの期間を表示安定化処理期間とする。

さらに、表示振れ補正情報生成部２５は、撮像部１２で生成された撮像画像について生成されている動き情報と表示安定化動き情報との差分を表示振れ補正情報として生成する。表示振れ補正情報生成部２５は、式（５）に示す演算を行い、撮像部１２で生成された撮像画像がフレーム番号「ｔ」であるときの表示安定化動き情報ａｐ（ｔ）と動き情報ｓ（ｔ）の差分を生成して表示振れ補正情報ｈｐ（ｔ）を生成する。

表示画像生成部２６は、記録画像生成部２４と同様に、表示振れ補正情報生成部２５で生成された表示振れ補正情報ｈｐ（ｔ）に基づき、撮像部１２で生成された撮像画像から画像の切り出しを行い、振れ補正が行われている表示画像を生成する。

図６は、第２の実施の形態の動作を例示したフローチャートである。撮像画像の生成が開始されると、ステップＳＴ１１で撮像装置１０ｂは、動き情報の生成を行う。撮像装置１０ｂの動き情報生成部２２は、生成された撮像画像の画像信号とメモリ部２１に記憶されている過去画像の画像信号を用いて動き情報を生成する。さらに、動き情報生成部２２は生成した動き情報をメモリ部２１に記憶してステップＳＴ１２，１６に進む。また、安定化動き情報の生成で動き軌跡情報を用いる場合、記録振れ補正情報生成部２３と表示振れ補正情報生成部２５は、メモリ部２１に記憶されている動き情報を用いて上述の（１）の演算を行い、撮像装置１０ｂの振れの軌跡に応じた動き軌跡情報を生成する。

ステップＳＴ１２で撮像装置１０ｂは、安定化処理期間の動き情報が生成されているか判別する。撮像装置１０ｂの制御部３５は、振れ補正対象の撮像画像を基準として安定化対象期間の動き情報（動き軌跡情報）が生成されているか判別する。制御部３５は、安定化処理期間の動き情報（動き軌跡情報）の生成が完了していない場合にはステップＳＴ２０に進み、安定化処理期間の動き情報（動き軌跡情報）の生成が完了している場合はステップＳＴ１３に進む。

ステップＳＴ１３で撮像装置１０ｂは、安定化動き情報の生成を行う。撮像装置１０ｂの記録振れ補正情報生成部２３は、安定化処理期間の動き情報（動き軌跡情報）を用いて上述の（２）の演算を行い、安定化動き情報を生成してステップＳＴ１４に進む。

ステップＳＴ１４で撮像装置１０ｂは、記録振れ補正情報の生成を行う。撮像装置１０ｂの記録振れ補正情報生成部２３は、振れ補正対象の撮像画像に対して生成されている動き情報（動き軌跡情報）と安定化動き情報を用いて上述の式（３）の演算を行い、記録振れ補正情報を生成してステップＳＴ１５に進む。

ステップＳＴ１５で撮像装置１０ｂは、記録画像の生成を行う。撮像装置１０ｂの記録画像生成部２４は、振れ補正対象の撮像画像から記録振れ補正情報に基づいて画像の切り出しを行い、振れ補正が行われた記録画像の画像信号を生成してステップＳＴ２０に進む。

ステップＳＴ１６で撮像装置１０ｂは、表示安定化処理期間の動き情報が生成されているか判別する。撮像装置１０ｂの制御部３５は、表示安定化対象期間の動き情報の生成が完了していない場合にはステップＳＴ２０に進み、表示安定化処理期間の動き情報の生成が完了している場合はステップＳＴ１７に進む。

ステップＳＴ１７で撮像装置１０ｂは、安定化動き情報の生成を行う。撮像装置１０ｂの表示振れ補正情報生成部２５は、表示安定化処理期間の動き情報（動き軌跡情報）を用いて上述の（４）の演算を行い、安定化動き情報を生成してステップＳＴ１８に進む。

ステップＳＴ１８で撮像装置１０ｂは、表示振れ補正情報の生成を行う。撮像装置１０ｂの表示振れ補正情報生成部２５は、撮像部１２からの撮像画像に対して生成されている動き情報（動き軌跡情報）と安定化動き情報を用いて上述の式（５）の演算を行い、表示振れ補正情報を生成してステップＳＴ１９に進む。

ステップＳＴ１９で撮像装置１０ｂは、表示画像の生成を行う。撮像装置１０ｂの表示画像生成部２６は、撮像画像から表示振れ補正情報に基づいて画像の切り出しを行い、振れ補正が行われた表示画像の画像信号を生成して表示処理部３２に供給することで、表示部４２で撮像画像の表示を行いステップＳＴ２０に進む。

ステップＳＴ２０で撮像装置１０ｂは、撮像動作の終了であるか判別する。撮像装置１０ｂは、ユーザインタフェース部３４からの操作信号等に基づき撮像動作の終了操作が行われたか否かを制御部３５で判別する。撮像装置１０ｂは、終了操作が行われていないと判別した場合にステップＳＴ１１に戻り、終了操作が行われたと判別した場合にステップＳＴ２１に進む。

ステップＳＴ２１で撮像装置１０ｂは、終了処理を行う。撮像装置１０ｂの制御部３５は、各部の動作を制御して、撮像動作を停止させる。また、制御部３５は、メモリ部２１に記憶された動き情報を用いて撮像終了時までの記録画像の生成を行い、動作を終了する。

なお、撮像装置１０ｂの動作は図６に示す順序に限られず、例えば撮像画像の表示を記録画像の生成後に行うようにしてもよく、記録画像の生成を撮像画像の表示後に行うようにしてもよい。

図７は、第２の実施の形態の動作を説明するための図である。図７において、図７の（Ａ）は、撮像部１２から出力される画像信号ＳＶimのフレーム番号、図７の（Ｂ）は現像処理部１４から出力される画像信号ＳＶdのフレーム番号を示している。図７の（Ｃ）は、動き情報を生成するためにメモリ部２１に記憶された１フレーム前の画像信号ＳＶp1のフレーム番号を示している。図７の（Ｄ）は振れ補正対象の撮像画像である（ｍ＋１）フレーム前の画像信号ＳＶp(m+1)のフレーム番号を示している。なお、図示せずも、メモリ部２１には１フレーム前から（ｍ＋１）フレーム前までの各フレームの画像信号も記憶される。

図７の（Ｅ）は、動き情報生成部２２で生成された動き情報ＭＶのフレーム番号を示している。図７の（Ｆ）は、メモリ部２１に記憶されている１フレーム前の動き情報ＭＶp1のフレーム番号を示している。図７の（Ｇ）は、メモリ部２１に記憶されている（ｎ＋１）フレーム前の動き情報ＭＶp(n+1)のフレーム番号を示している。図７の（Ｈ）は、メモリ部２１に記憶されている（ｎ＋ｍ）フレーム前の動き情報ＭＶp(n+m))のフレーム番号を示している。なお、図示せずも、メモリ部２１には１フレーム前から（ｎ＋ｍ）フレーム前までの各フレームの動き情報も記憶される。

図７の（Ｉ）は、表示振れ補正情報生成部２５で生成された表示振れ補正情報ＭＣgのフレーム番号を示している。図７の（Ｊ）は、記録振れ補正情報生成部２３で生成された記録振れ補正情報ＭＣwのフレーム番号を示している。図７の（Ｋ）は、表示画像生成部２６で画像の切り出しが行われる撮像画像の画像信号ＳＶgcのフレーム番号、図７の（Ｌ）は表示処理部３２に供給される画像信号ＳＶgのフレーム番号を示している。また、図７の（Ｍ）は、記録画像生成部２４で画像の切り出しが行われる撮像画像の画像信号ＳＶwcのフレーム番号、図７の（Ｎ）は、記録処理部３１に供給される記録画像の画像信号ＳＶwのフレーム番号を示している。

フレーム期間「Ｆ(0)」では、フレーム期間「Ｆ(-1)〜Ｆ(-m-1)」において撮像部１２で生成された撮像画像の画像信号がメモリ部２１に記憶されている。同様に、フレーム期間「Ｆ(-1)〜Ｆ(-n-m)」で生成した撮像画像に対する動き情報がメモリ部２１に記憶されている。

フレーム期間「Ｆ(0)」で動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて動き情報を生成する。なお、説明を簡単とするため、図４では、動き情報生成部２２で生成された動き情報を動き軌跡情報としている。すなわち、式（１）において「ｋ＝０」の場合に相当する。

このフレーム期間「Ｆ(0)」では、フレーム期間「Ｆ(-n)」〜「Ｆ(-1)」で生成された撮像画像に対する動き情報がメモリ部２１に記憶されている。また、動き情報生成部２２でフレーム期間「Ｆ(0)」の撮像画像、すなわち撮像部１２で生成された撮像画像に対する動き情報が生成される。すなわち、フレーム期間「Ｆ(0)」では、撮像部１２で生成された撮像画像に対して表示安定化処理期間の動き情報が得られた状態となる。したがって、表示振れ補正情報生成部２５は、フレーム期間「Ｆ(0)」〜「Ｆ(-n-m)」の撮像画像に対して生成された動き情報を用いて上述の式（４）の演算を行い、撮像部１２で生成された撮像画像に対する安定化動き情報を生成する。さらに、表示振れ補正情報生成部２５は、生成した安定化動き情報と撮像部１２で生成された撮像画像に対する動き情報を用いて式（５）の演算を行い、撮像部１２で生成された撮像画像に対する表示振れ補正情報を生成する。

フレーム期間「Ｆ(1)」では、フレーム期間「Ｆ(0)〜Ｆ(-m)」において撮像部１２で生成された撮像画像の画像信号がメモリ部２１に記憶されている。同様に、フレーム期間「Ｆ(0)〜Ｆ(-n-m+1)」で生成した撮像画像に対する動き情報がメモリ部２１に記憶されている。

フレーム期間「Ｆ(1)」で動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて動き情報を生成する。

また、フレーム期間「Ｆ0」で、撮像部１２で生成された撮像画像に対する表示振れ補正情報が生成されたことから、フレーム期間「Ｆ(1)」で表示画像生成部２６は、メモリ部２１に記憶されているフレーム期間「Ｆ(0)」の撮像画像から、フレーム期間「Ｆ(0)」で生成した表示振れ補正情報に基づき画像の切り出しを行う。表示画像生成部２６は、画像の切り出しを行い、振れ補正が行われた表示画像を生成して、表示処理部３２へ出力する。したがって、表示部４２では振れ補正が行われた撮像画像が１フレーム遅延して表示される。

また、フレーム期間「Ｆ(1)」では、フレーム期間「Ｆ(0)〜Ｆ(-n-m+1)」で生成した撮像画像に対する動き情報がメモリ部２１に記憶されており、動き情報生成部２２でフレーム期間「Ｆ(1)」の撮像画像に対する動き情報が生成される。すなわち、フレーム期間「Ｆ(1)」では、撮像部１２で生成された撮像画像に対して表示安定化処理期間の動き情報が得られた状態となる。したがって、表示振れ補正情報生成部２５は、フレーム期間「Ｆ(1)」〜「Ｆ(-n-m+1」の撮像画像に対して生成された動き情報を用いて上述の式（４）の演算を行い、撮像部１２で生成された撮像画像に対する安定化動き情報を生成する。さらに、表示振れ補正情報生成部２５は、生成した安定化動き情報と撮像部１２で生成された撮像画像に対する動き情報を用いて式（５）の演算を行い、撮像部１２で生成された撮像画像に対する表示振れ補正情報を生成する。

以下、同様の処理を繰り返して行い、フレーム期間「Ｆ(m)」において撮像部１２で生成された撮像画像の画像信号は、現像処理部１４で現像処理を行って表示処理部３２に供給する。また、フレーム期間「Ｆ(m)」で動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて動き情報を生成する。

このフレーム期間「Ｆ(m)」では、フレーム期間「Ｆ(m-1)〜Ｆ(-1)」において撮像部１２で生成された撮像画像の画像信号がメモリ部２１に記憶されている。同様に、フレーム期間「Ｆ(m-1)〜Ｆ(-n)」で生成した撮像画像に対する動き情報がメモリ部２１に記憶されている。

フレーム期間「Ｆ(m-1)」では、撮像部１２で生成された撮像画像に対する表示振れ補正情報が生成されたことから、フレーム期間「Ｆ(m)」で表示画像生成部２６は、メモリ部２１に記憶されているフレーム期間「Ｆ(m-1)」の撮像画像から、フレーム期間「Ｆ(m-1)」で生成した表示振れ補正情報に基づき画像の切り出しを行い、振れ補正が行われた表示画像を生成して、表示処理部３２へ出力する。

また、フレーム期間「Ｆ(m)」では、フレーム期間「Ｆ(m)」の撮像画像に対する表示安定化処理期間の動き情報が得られた状態となる。したがって、表示振れ補正情報生成部２５は、フレーム期間「Ｆ(m)」〜「Ｆ(-n+m)」の撮像画像に対して生成された動き情報を用いて上述の式（４）の演算を行い、撮像部１２で生成された撮像画像に対する安定化動き情報を生成する。さらに、表示振れ補正情報生成部２５は、生成した安定化動き情報と撮像部１２で生成された撮像画像に対する動き情報を用いて式（５）の演算を行い、撮像部１２で生成された撮像画像に対する表示振れ補正情報を生成する。

また、フレーム期間「Ｆ(m)」では、フレーム期間「Ｆ(0)」の撮像画像に対する安定化処理期間の動き情報が得られた状態となる。したがって、記録振れ補正情報生成部２３は、フレーム期間「Ｆ(-n)」〜「Ｆ(m)」で生成された撮像画像に対する動き情報を用いて上述の式（２）の演算を行い、フレーム期間「Ｆ(0)」の撮像画像に対する安定化動き情報を生成する。さらに、記録振れ補正情報生成部２３は、生成した安定化動き情報とフレーム期間「Ｆ(0)」で生成された撮像画像に対する動き情報を用いて式（４）の演算を行い、フレーム期間「Ｆ(0)」の撮像画像に対する記録振れ補正情報を生成する。

次に、フレーム期間「Ｆ(m+1)」において撮像部１２で生成された撮像画像の画像信号は、現像処理部１４で現像処理を行って表示処理部３２に供給する。また、フレーム期間「Ｆ(m+1)」で動き情報生成部２２は、現像処理部１４から出力された画像信号とメモリ部２１に記憶されている１フレーム前の画像信号を用いて動き情報を生成する。

このフレーム期間「Ｆ(m+1)」では、フレーム期間「Ｆ(m)〜Ｆ(0)」において撮像部１２で生成された撮像画像の画像信号がメモリ部２１に記憶されている。同様に、フレーム期間「Ｆ(m)〜Ｆ(-n+1)」で生成した撮像画像に対する動き情報がメモリ部２１に記憶されている。

フレーム期間「Ｆ(m)」では、撮像部１２で生成された撮像画像に対する表示振れ補正情報が生成されたことから、フレーム期間「Ｆ(m+1)」で表示画像生成部２６は、メモリ部２１に記憶されているフレーム期間「Ｆ(m)」の撮像画像から、フレーム期間「Ｆ(m)」で生成した表示振れ補正情報に基づき画像の切り出しを行い、振れ補正が行われた表示画像を生成して、表示処理部３２へ出力する。

また、フレーム期間「Ｆ(m+1)」では、フレーム期間「Ｆ(m+1)」の撮像画像に対する表示安定化処理期間の動き情報が得られた状態となる。したがって、表示振れ補正情報生成部２５は、フレーム期間「Ｆ(m+1)」〜「Ｆ(-n+m+1)」の撮像画像に対して生成された動き情報を用いて上述の式（４）の演算を行い、撮像部１２で生成された撮像画像に対する安定化動き情報を生成する。さらに、表示振れ補正情報生成部２５は、生成した安定化動き情報と撮像部１２で生成された撮像画像に対する動き情報を用いて式（５）の演算を行い、撮像部１２で生成された撮像画像に対する表示振れ補正情報を生成する。

さらに、フレーム期間「Ｆ(m)」では、フレーム期間「Ｆ(0)」の撮像画像に対する記録振れ補正情報が生成されている。したがって、フレーム期間「Ｆ(m+1)」で記録画像生成部２４は、メモリ部２１に記憶されているフレーム期間「Ｆ(0)」の撮像画像から、フレーム期間「Ｆ(m)」で生成した記録振れ補正情報に基づき画像の切り出しを行う。記録画像生成部２４は、画像の切り出しを行うことで、振れ補正が行われた記録画像を生成して、記録処理部３１へ出力する。

また、フレーム期間「Ｆ(m+1)」では、フレーム期間「Ｆ(1)」の撮像画像に対する安定化処理期間の動き情報が得られた状態となる。したがって、記録振れ補正情報生成部２３は、フレーム期間「Ｆ(-n+1)」〜「Ｆ(m+1)」で生成された撮像画像に対する動き情報を用いて上述の式（２）の演算を行い、フレーム期間「Ｆ(1)」の撮像画像に対する安定化動き情報を生成する。さらに、記録振れ補正情報生成部２３は、生成した安定化動き情報とフレーム期間「Ｆ(1)」で生成された撮像画像に対する動き情報を用いて式（４）の演算を行い、フレーム期間「Ｆ(1)」の撮像画像に対する記録振れ補正情報を生成する。

なお、記録開始時にはｎフレーム分の過去画像や動き情報を得ることができない場合が生じ、記録終了時にはｍフレーム分の未来画像や動き情報を得ることができない場合が生じる。したがって、記録開始時や記録終了時には、安定化処理期間の長さを短縮して、安定化動き情報を生成できるようにしてもよい。例えば安定化処理期間の短縮を行う場合、記録開始時には「ｎ」を小さい値に変更し、記録終了時には「ｍ」を小さい値に変更する。また、一方の値を小さくするに伴い他方の値も小さくして安定化処理期間の短縮を行うようにしてもよい。

以上のような処理をフレーム毎に行うと、撮像画像表示すなわちライブビュー画像の表示では、１フレームの遅延が生じているものの、振れ補正が行われた撮像画像を表示することができる。また、記録画像の生成では、第１の実施の形態と同様に、撮像画像と撮像画像毎に生成した撮像装置の振れを示す動き情報を記憶して、記憶されている動き情報から記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報が生成される。さらに、生成された記録振れ補正情報に基づき、振れ補正対象の撮像画像から画像の切り出しが行われて、安定した振れ補正の行われている記録画像の画像信号を生成できるようになる。また、記録振れ補正情報は、過去画像と未来画像の動き情報を用いて生成されることから、安定した振れ補正を行うことが可能となり、高品質の記録画像を低コストで提供できる。さらに、表示振れ補正情報は、過去画像の動き情報を用いて生成されることから、表示部４２に表示される撮像画像も安定した振れ補正が行われた画像となる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 撮像画像の画像信号を生成する撮像部と、
前記撮像部で生成された画像信号から表示信号を生成する表示処理部と、
当該撮像装置の振れを示す動き情報を生成する動き情報生成部と、
前記撮像画像の画像信号と前記動き情報を記憶する記憶部と、
前記記憶部に記憶されている動き情報から、前記記憶部に記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成する記録振れ補正情報生成部と、
前記記録振れ補正情報生成部で生成された記録振れ補正情報に基づき、前記記憶部に記憶されている前記振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号を生成する記録画像生成部と
を備える撮像装置。
（２） 前記記録振れ補正情報生成部は、前記振れ補正対象の撮像画像よりも過去の撮像画像について生成されている動き情報と未来の撮像画像について生成されている動き情報を用いて安定化処理を行い、前記安定化処理で得られた安定化動き情報を用いて前記記録振れ補正情報の生成を行う（１）に記載の撮像装置。
（３） 前記記録振れ補正情報生成部は、前記振れ補正対象の撮像画像を基準とした所定期間内の前記過去の撮像画像と未来の撮像画像の動き情報の平滑化処理を行うことで前記安定化動き情報を生成して、前記安定化動き情報と前記振れ補正対象の撮像画像について生成されている動き情報の差分を前記記録振れ補正情報とする（２）に記載の撮像装置。
（４） 前記記録振れ補正情報生成部は、前記撮像装置の振れの周期に応じて前記所定期間を設定する（３）に記載の撮像装置。
（５） 前記記録振れ補正情報生成部は、前記動き情報生成部で撮像画像毎に生成された動き情報に基づき前記撮像装置の振れの軌跡に応じた動き軌跡情報を生成して、該動き軌跡情報から前記記録振れ補正情報を生成する（１）乃至（４）の何れかに記載の撮像装置。
（６） 前記記録画像生成部は、前記記録振れ補正情報生成部で生成された記録振れ補正情報に基づき、前記記憶部に記憶されている前記振れ補正対象の撮像画像からの画像切り出し位置を制御して前記記録画像の画像信号を生成する（１）乃至（５）の何れかに記載の撮像装置。
（７） 前記動き情報生成部は、複数フレームの撮像画像を比較して前記撮像装置の振れを示す動き情報を生成する（１）乃至（６）の何れかに記載の撮像装置。
（８） 前記撮像装置の振れを検出する振れ検出部を設け、
前記動き情報生成部は、前記振れ検出部からの検出信号に基づいて前記動き情報を生成する（１）乃至（７）の何れかに記載の撮像装置。
（９） 前記撮像部で生成された撮像画像に対する表示振れ補正情報を生成する表示振れ補正情報生成部と、
前記表示振れ補正情報生成部で生成された表示振れ補正情報に基づき、前記撮像部で生成された撮像画像から振れ補正が行われた表示画像の画像信号を生成する振れ補正表示画像生成部を備え、
前記表示処理部は、前記振れ補正表示画像生成部で生成された画像信号から前記表示信号を生成する（１）乃至（８）の何れかに記載の撮像装置。
（１０） 前記表示振れ補正情報生成部は、前記記憶部に記憶されている過去の撮像画像について生成されている動き情報を用いて前記表示振れ補正情報の生成を行う（９）に記載の撮像装置。

この撮像装置とその制御方法およびプログラムでは、撮像画像の画像信号が生成されて、撮像画像の画像信号から表示信号が生成される。また、撮像装置の振れを示す動き情報が生成されて、撮像画像の画像信号と動き情報が記憶される。この記憶されている動き情報を用いて、記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報が生成されて、記録振れ補正情報に基づき、振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号が生成される。したがって、遅延の少ない表示画像と安定化して振れ補正が行われた記録画像の生成を容易に行うになる。このため、ディジタルカメラやビデオカメラ等の撮像装置、撮像機能を有する電子機器、例えば携帯型の情報端末装置等に適している。

１０ａ，１０ｂ・・・撮像装置
１１・・・撮像光学系
１２・・・撮像部
１３・・・前処理部
１４・・・現像処理部
２１・・・メモリ部
２２・・・動き情報生成部
２３・・・記録振れ補正情報生成部
２４・・・記録画像生成部
２５・・・表示振れ補正情報生成部
２６・・・表示画像生成部
２９・・・振れ検出部
３１・・・記録処理部
３２・・・表示処理部
３４・・・ユーザインタフェース部
３５・・・制御部
３９・・・バス
４１・・・記録媒体
４２・・・表示部

Claims (12)

1. 撮像画像の画像信号を生成する撮像部と、
   前記撮像部で生成された画像信号から表示信号を生成する表示処理部と、
   当該撮像装置の振れを示す動き情報を生成する動き情報生成部と、
   前記撮像画像の画像信号と前記動き情報を記憶する記憶部と、
   前記記憶部に記憶されている動き情報から、前記記憶部に記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成する記録振れ補正情報生成部と、
   前記記録振れ補正情報生成部で生成された記録振れ補正情報に基づき、前記記憶部に記憶されている前記振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号を生成する記録画像生成部と
   を備える撮像装置。
2. 前記記録振れ補正情報生成部は、前記振れ補正対象の撮像画像よりも過去の撮像画像について生成されている動き情報と未来の撮像画像について生成されている動き情報を用いて安定化処理を行い、前記安定化処理で得られた安定化動き情報を用いて前記記録振れ補正情報の生成を行う
   請求項１記載の撮像装置。
3. 前記記録振れ補正情報生成部は、前記振れ補正対象の撮像画像を基準とした所定期間内の前記過去の撮像画像と未来の撮像画像の動き情報の平滑化処理を行うことで前記安定化動き情報を生成して、前記安定化動き情報と前記振れ補正対象の撮像画像について生成されている動き情報の差分を前記記録振れ補正情報とする
   請求項２記載の撮像装置。
4. 前記記録振れ補正情報生成部は、前記撮像装置の振れの周期に応じて前記所定期間を設定する
   請求項３記載の撮像装置。
5. 前記記録振れ補正情報生成部は、前記動き情報生成部で撮像画像毎に生成された動き情報に基づき前記撮像装置の振れの軌跡に応じた動き軌跡情報を生成して、該動き軌跡情報から前記記録振れ補正情報を生成する
   請求項１記載の撮像装置。
6. 前記記録画像生成部は、前記記録振れ補正情報生成部で生成された記録振れ補正情報に基づき、前記記憶部に記憶されている前記振れ補正対象の撮像画像からの画像切り出し位置を制御して前記記録画像の画像信号を生成する
   請求項１記載の撮像装置。
7. 前記動き情報生成部は、複数フレームの撮像画像を比較して前記撮像装置の振れを示す動き情報を生成する
   請求項１記載の撮像装置。
8. 前記撮像装置の振れを検出する振れ検出部を設け、
   前記動き情報生成部は、前記振れ検出部からの検出信号に基づいて前記動き情報を生成する
   請求項１記載の撮像装置。
9. 前記撮像部で生成された撮像画像に対する表示振れ補正情報を生成する表示振れ補正情報生成部と、
   前記表示振れ補正情報生成部で生成された表示振れ補正情報に基づき、前記撮像部で生成された撮像画像から振れ補正が行われた表示画像の画像信号を生成する振れ補正表示画像生成部を備え、
   前記表示処理部は、前記振れ補正表示画像生成部で生成された画像信号から前記表示信号を生成する
   請求項１記載の撮像装置。
10. 前記表示振れ補正情報生成部は、前記記憶部に記憶されている過去の撮像画像について生成されている動き情報を用いて前記表示振れ補正情報の生成を行う
    請求項９記載の撮像装置。
11. 撮像画像の画像信号を生成する工程と、
    前記撮像画像の画像信号から表示信号を生成する工程と、
    撮像装置の振れを示す動き情報を生成する工程と、
    前記撮像画像の画像信号と前記動き情報を記憶する工程と、
    前記記憶されている動き情報を用いて、記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成する工程と、
    前記記録振れ補正情報に基づき、前記振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号を生成する工程と
    を含む撮像装置の制御方法。
12. 撮像装置で生成される撮像画像の画像信号をコンピュータで処理するプログラムであって、
    前記撮像画像の画像信号から表示信号を生成する手順と、
    前記撮像装置の振れを示す動き情報を生成する手順と、
    前記撮像画像の画像信号と前記動き情報を記憶部に記憶させる手順と、
    前記記憶部に記憶されている動き情報を用いて、記憶されている振れ補正対象の撮像画像に対する記録振れ補正情報を生成する手順と、
    前記記録振れ補正情報に基づき、前記記憶部に記憶されている振れ補正対象の撮像画像の画像信号から振れ補正が行われた記録画像の画像信号を生成する手順と
    を前記コンピュータで実行させるプログラム。

Images