JP2009038478A - プログラム、画像処理装置、撮像装置および画像処理方法 - Google Patents

Abstract

【課題】 動画像および静止画像の再生をいずれも好ましい状態で行うことを可能とする手段を提供する。
【解決手段】 画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータについて、プログラムは以下のステップを演算部に実行させる。第１ステップでは、撮像装置で被写体の静止画像を連続的に撮像して生成された複数の静止画像のデータを演算部に読み込む。第２ステップでは、演算部が、複数の静止画像を含むとともに各々の画像が時間軸方向に連続する対象画像群のうちから特定画像を選択する。第３ステップでは、演算部が、特定画像に対して時間軸方向で前の画像を加算して合成画像を生成するために、対象画像群のうちで特定画像よりも前の画像から第１被加算画像を選択する。また、演算部は、特定画像に対する第１被加算画像の加算比率を決定する。第４ステップでは、演算部が、特定画像のデータに、第１被加算画像の加算比率のデータを対応付けて記録する。
【選択図】 図１

Description

本発明は、複数の静止画像を円滑に動画表示するための画像処理技術に関する。

従来から、動画撮影中に静止画撮影を行うことができる撮像装置が公知である。例えば、特許文献１には、静止画撮影で欠落した動画フレームを補間する撮像装置が開示されている。
特開２００１−１１１９３４号公報

ところで、静止画像および動画像の鑑賞では各々で好ましい画像が相違する。例えば、静止画の鑑賞では像流れのない鮮明な画像が好まれる一方で、動画再生時には像流れのある画像の方が動きに流れが生じるので好ましい。そのため、動画像および静止画像の再生をいずれも好ましい状態で行うことは比較的困難であって、その改善がなお要望されていた。

本発明は上記従来技術の課題を解決するものである。本発明の目的は、動画像および静止画像の再生をいずれも好ましい状態で行うことを可能とする手段を提供することにある。

第１の発明は、画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータのプログラムである。このプログラムは以下の第１ステップから第４ステップを演算部に実行させる。第１ステップでは、撮像装置で被写体の静止画像を連続的に撮像して生成された複数の静止画像のデータを演算部に読み込む。第２ステップでは、演算部が、複数の静止画像を含むとともに各々の画像が時間軸方向に連続する対象画像群のうちから特定画像を選択する。第３ステップでは、演算部が、特定画像に対して時間軸方向で前の画像を加算して合成画像を生成するために、対象画像群のうちで特定画像よりも前の画像から第１被加算画像を選択する。また、演算部は、特定画像に対する第１被加算画像の加算比率を決定する。第４ステップでは、演算部が、特定画像のデータに、第１被加算画像の加算比率のデータを対応付けて記録する。

第２の発明は、第１の発明において、以下の第５ステップ、第６ステップを演算部にさらに実行させる。第５ステップでは、演算部が、特定画像に対して時間軸方向で後の画像を加算して合成画像を生成するために、対象画像群のうちで特定画像よりも後の画像から第２被加算画像を選択する。また、演算部は、特定画像に対する第２被加算画像の加算比率を決定する。第６ステップでは、特定画像のデータに、第２被加算画像の加算比率のデータを対応付けて記録する。

第３の発明は、第１または第２の発明において、第３ステップおよび５ステップの少なくとも一方にて、演算部が、対象画像群のうちで特定画像に対して時間軸方向に異なる基準画像を用いて、特定画像との間で被写体の動きベクトルを求める。また、演算部は、該動きベクトルの大きさに応じて特定画像に対する被加算画像の加算比率を変化させる。

第４の発明は、第１の発明において、複数の撮像画像のうちの２つの画像の間で被写体の変化を補間する補間画像を生成する第７ステップを演算部がさらに実行する。そして、対象画像群には補間画像が含まれる。

第５の発明は、第１から第４のいずれかの発明において、コンピュータがモニタをさらに有する。そして、特定画像の画像サイズは、モニタの表示サイズ以下に設定される。

第６の発明は、画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータのプログラムである。このプログラムは以下の第１ステップから第３ステップを演算部に実行させる。第１ステップでは、複数の特定画像を含むとともに各々の画像が時間軸方向に連続する静止画像である対象画像群のデータと、特定画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して合成画像を生成するときに、各々の特定画像に対する被加算画像の加算比率を示す加算比率データとを演算部に読み込む。
第２ステップでは、演算部が、加算比率データを用いて、各々の特定画像に対してそれぞれ被加算画像を加算して複数の合成画像を生成する。第３ステップでは、演算部が、複数の合成画像を時系列に沿って再生出力する。

第７の発明は、第６の発明において、コンピュータが操作部をさらに有し、以下の第４ステップを演算部にさらに実行させる。第４ステップでは、演算部が、第３ステップにおける再生出力中に静止画像表示の指示を操作部から受け付けたときに、指示を受け付けたときに再生されていた合成画像に対応する特定画像を静止画像として表示出力する。

第８の発明は、第６の発明において、コンピュータが操作部をさらに有し、第２ステップおよび第３ステップを実行する第１再生モードと、第２再生モードとを有する。第２再生モードでは、演算部が、特定画像を時系列に沿って再生出力するとともに、該再生出力中に静止画像表示の指示を操作部から受け付けたときに、指示を受け付けたときに再生されていた特定画像を静止画像として表示出力する。

第９の発明は、第７または第８の発明において、静止画像として表示出力された特定画像を示す識別データを生成する第５ステップを演算部がさらに実行する。

第１０の発明は、第６の発明において、コンピュータがモニタをさらに有する。そして、対象画像群の各々の特定画像のデータは、同一構図でそれぞれの画像サイズが異なる複数の画像のデータをグループ化して構成される。さらに、第２ステップにて、演算部は、特定画像のデータのうちから画像サイズがモニタの表示サイズ以下の画像を用いて合成画像を生成する。

第１１の発明は、画像のデータを読み込むデータ読込部と、演算部と、記憶部とを有するコンピュータのプログラムである。このプログラムは以下の第１ステップから第４ステップを演算部に実行させる。第１ステップでは、撮像装置で被写体の静止画像を連続的に撮像して生成された複数の静止画像のデータを演算部に読み込む。第２ステップでは、演算部が、複数の静止画像を含むとともに各々の画像が時間軸方向に連続する対象画像群のうちから特定画像を選択する。第３ステップでは、演算部が、特定画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して合成画像を生成する。また、演算部が、複数の合成画像から動画像のデータを生成する。第４ステップでは、演算部が、動画像のデータとともに、各々の特定画像のデータを記憶部に記録する。

第１２の発明は、画像のデータを読み込むデータ読込部と、演算部と、操作部とを有するコンピュータのプログラムである。このプログラムは以下の第１ステップから第２ステップを演算部に実行させる。第１ステップでは、各々が時間軸方向に連続する静止画像である複数の特定画像のデータと、特定画像に対して時間軸方向に異なる画像を加算して生成された複数の合成画像を含む動画像のデータとを演算部に読み込む。第２ステップでは、演算部が、特定画像を時系列に沿って再生出力する第１再生モードと、動画像を再生出力する第２再生モードとを、操作部からの入力に応じて選択的に実行する。

第１３の発明は、第１２の発明において、以下の第３ステップ、第４ステップ、第５ステップを演算部にさらに実行させる。第３ステップでは、演算部が、第２ステップで第１再生モードが選択された状態で、時系列再生停止指示（特定画像の時系列に沿った再生を停止する指示）を操作部から受け付けたときに再生されていた特定画像を示す第１識別データを生成する。第４ステップでは、演算部が、第２ステップで第２再生モードが選択された状態で、動画像の再生停止の指示を操作部から受け付けたときに表示されていた合成画像に対応する特定画像を示す第２識別データを生成する。第５ステップでは、演算部が、第１識別データまたは第２識別データに対応する特定画像を除いて、他のすべての特定画像のデータを削除する。

なお、上記発明に関する構成を、上記のプログラムを実行する画像処理装置や、その画像処理装置を備える撮像装置や、画像処理方法や、上記のプログラムを記憶した記憶媒体などに変換して表現したものも本発明の具体的態様として有効である。

上記の第１の発明によれば、静止画像の再生と動画像の再生との両方に適したデータを保存しつつ、データのサイズを小さくすることが可能である。

上記の第６の発明によれば、静止画像再生に適したデータと加算比率データとにより、好ましい動画再生が可能である。

上記の第１１の発明によれば、静止画像の再生と動画像の再生との両方に適したデータを保存することが可能である。

上記の第１２の発明によれば、静止画像の再生と動画像の再生との両方に適しているデータに基づいて、ユーザーが静止画像の連続再生と動画像の再生とを選択的に行うことができる。

＜第１実施形態の説明＞
図１は第１実施形態の電子カメラの構成を示すブロック図である。電子カメラは、撮像光学系１１と、レンズ駆動部１２と、撮像素子１３と、撮像素子駆動回路１４と、信号処理回路１５と、データ処理回路１６と、第１メモリ１７と、表示制御回路１８およびモニタ１９と、圧縮／伸長回路２０と、記録Ｉ／Ｆ（インターフェース）２１と、通信Ｉ／Ｆ（インターフェース）２２と、操作部材２３と、レリーズ釦２４と、振動センサ２５と、第２メモリ２６と、制御回路２７およびバス２８とを有している。

ここで、データ処理回路１６、第１メモリ１７、圧縮／伸長回路２０、第２メモリ２６および制御回路２７はそれぞれバス２８を介して相互に接続されている。また、レンズ駆動部１２、撮像素子駆動回路１４、信号処理回路１５、表示制御回路１８、記録Ｉ／Ｆ２１、通信Ｉ／Ｆ２２、操作部材２３、レリーズ釦２４、振動センサ２５は、それぞれ制御回路２７と接続されている（なお、図１では、信号処理回路１５および表示制御回路１８と制御回路２７との間を結ぶ信号線の図示は簡単のため省略する）。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されており、撮像素子１３の撮像面上に被写体像を結像させる役目を果たす。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像光学系１１の各々のレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。このレンズ駆動部１２はレンズ駆動機構を含み、制御回路２７からのレンズ駆動指令に応じてレンズ位置を調整する。例えば、レンズ駆動部１２がフォーカスレンズを光軸方向に進退駆動することで、撮像光学系１１のフォーカス調整が行われる。また、レンズ駆動部１２がズームレンズを光軸方向に進退駆動することで、撮像光学系１１のズーム調整が行われる。

撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。本実施形態での撮像素子１３は、静止画像の単写撮像、静止画像の連写撮像および動画像の撮像が可能である。この撮像素子１３の出力は信号処理回路１５に接続されている。なお、撮像素子１３は、ＣＣＤイメージセンサあるいはＣＭＯＳ型イメージセンサなどで構成される。

撮像素子駆動回路１４は、制御回路２７からの指令に応じて所定タイミングの駆動信号を生成し、この駆動信号を撮像素子１３に供給する。そして、撮像素子駆動回路１４は、上記の駆動信号によって、撮像素子１３の電荷蓄積（撮像）および蓄積電荷の読み出しを制御する。

信号処理回路１５は、撮像素子１３の出力に対して各種の信号処理を施すＡＳＩＣである。具体的には、信号処理回路１５は、相関二重サンプリング、ゲインの調整、直流再生、Ａ／Ｄ変換などを実行する。信号処理回路１５でのゲインの調整などのパラメータは、制御回路２７からの指令に応じて決定される。なお、信号処理回路１５はデータ処理回路１６に接続されており、上記信号処理後のデータはデータ処理回路１６に出力される。

データ処理回路１６は、信号処理回路１５から出力された画像のデータに対してデジタル信号処理を施す回路である。データ処理回路１６では、例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理が実行される。このデータ処理回路１６は、表示制御回路１８および圧縮／伸長回路２０にそれぞれ接続されている。そして、データ処理回路１６は、制御回路２７からの指令に応じて、画像処理後の記録画像のデータを圧縮／伸長回路２０に出力する。

また、データ処理回路１６は、制御回路２７からの指令に応じて、画像の解像度変換（画素数変換）処理を実行する。一例として、モニタ１９に再生画像を表示する場合、データ処理回路１６は、再生表示しようとする画像のデータに対して、モニタ１９の画素数に合わせるための解像度変換（画素数変換）処理を実行する（なお、特に断りのないかぎり、本明細書でモニタ１９に画像を表示するときには、データ処理回路１６で表示画像の画素数調整が行われているものとする）。そして、データ処理回路１６は、解像度変換後の再生画像のデータを表示制御回路１８に出力する。また、電子ズーム処理を行う場合、データ処理回路１６は、入力される画像のデータに対して解像度変換（画素数変換）処理を実行し、解像度変換後の画像のデータを圧縮／伸長回路２０および表示制御回路１８にそれぞれ出力する。

第１メモリ１７は、データ処理回路１６または圧縮／伸長回路２０による処理の前工程や後工程などで画像のデータを一時的に記憶するバッファメモリである。

表示制御回路１８は、制御回路２７からの指令に応じて、データ処理回路１６から入力された画像のデータに所定の信号処理（例えば、モニタ１９の表示特性にあわせた階調特性の変換など）を施してモニタ１９へ出力する。表示制御回路１８は、さらに上記の画像のデータに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳させる処理を行う。このような制御回路２７および表示制御回路１８の制御によって、オーバーレイ画像が重畳された被写体画像をモニタ１９に表示することができる。なお、本実施形態でのモニタ１９は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。

圧縮／伸長回路２０は、制御回路２７からの指令に応じて、データ処理回路１６から入力される画像のデータに所定の圧縮処理を施す。この圧縮／伸長回路２０は記録Ｉ／Ｆ２１に接続されており、圧縮後の画像のデータは記録Ｉ／Ｆ２１に出力される。また、圧縮／伸長回路２０は、圧縮後の画像のデータに対し、圧縮処理の逆処理である復号化処理を実行する。なお、本実施形態の圧縮／伸長回路２０は、可逆圧縮（いわゆるロスレス符号化）を行うことが可能な構成となっている。

記録Ｉ／Ｆ２１は、記憶媒体２９を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記憶媒体２９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、小型ハードディスクや、半導体メモリを内蔵したメモリカードや、ＤＶＤなどの光ディスクなどで構成される。図１では記憶媒体２９の一例としてメモリカードを図示する。なお、記憶媒体２９は、電子カメラに内蔵されるものであってもよく、電子カメラに対して着脱可能に装着されるものであってもよい。また、画像のデータを読み書きする記憶媒体として、通信Ｉ／Ｆ２２を介して電気的に接続された外付けの記憶媒体を利用してもよい。

ここで、電子カメラの動作モードの１つである撮影モードにおいて撮像した画像のデータを記録する場合、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。本明細書での記録画像とは、撮像により得られ、最終的に記憶媒体２９に記録されるべき（あるいは記憶媒体２９に記録された）静止画像データに対応する静止画像を意味するものとする。

なお、操作部材２３によるユーザーの操作によって、記録画像の非圧縮記録が制御回路２７に指示されている場合、圧縮／伸長回路２０は圧縮処理を行なわずに、記録画像のデータを記録Ｉ／Ｆ２１に出力する。上記の非圧縮記録の場合にも、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。

また、電子カメラの動作モードの１つである再生モードにおいて、制御回路２７は、記憶媒体２９に記憶されている画像のデータによる再生画像をモニタ１９に表示させる。この再生モードでは、記録Ｉ／Ｆ２１が、制御回路２７からの指令に応じて再生対象の画像のデータを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、再生対象の画像のデータに対して復号化処理を施した上で、復号化後の画像のデータをデータ処理回路１６に送る。その後、データ処理回路１６および表示制御回路１８が復号化後の画像のデータに対して上述の処理を実行することで、モニタ１９には再生画像が表示される。なお、記憶媒体２９から非圧縮の画像データが読み出された場合には、圧縮／伸長回路２０は復号化処理を行わずに画像のデータをデータ処理回路１６に送る。

通信Ｉ／Ｆ２２は、有線または無線による公知の通信規格の仕様に準拠して、外部装置３０（例えば、パーソナルコンピュータや外付けの記憶媒体）とのデータ送受信を制御する。電子カメラと外部装置３０との通信は、有線または無線の通信回線を介して行われる。

操作部材２３は、例えば、コマンドダイヤル、十字状のカーソルキー、ズーム操作釦、決定釦などで構成される。そして、操作部材２３は電子カメラの各種入力をユーザーから受け付ける。なお、操作部材２３には、後述する補間画像を生成するフレーム数を設定する設定部材を設けるようにしてもよい。

一例として、制御回路２７は、ズーム操作釦からの入力を受け付けるとズームレンズについてのレンズ駆動指令を出力し、レンズ駆動部１２にズームレンズを進退駆動させる。これにより、撮像素子１３の撮像面上に結像される被写体像が拡大もしくは縮小して撮像光学系１１による光学的なズーム調整が行われる。

また、制御回路２７は、さらにズーム操作釦からの入力を受け付けるとデータ処理回路１６に指令を出力し、画像のデータに対する解像度変換処理の変換比率をユーザーの操作に応じて変化させる。これにより、モニタ１９に表示される画像が拡大もしくは縮小して電子的なズーム調整が行われる（電子ズーム）。上記の解像度変換処理の変換比率は、電子ズーム倍率に対応する。データ処理回路１６が電子ズーム倍率を高める方向に変換比率を変える場合、モニタ１９には再生画像の一部が拡大されて表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。一方、データ処理回路１６が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１９に表示される再生画像の拡大率は低くなるが、再生画像の表示範囲は広くなる。なお、上記の撮影モードでは、モニタ１９の表示画像に対応する撮像画像のデータを記憶媒体２９に記録することができる。

レリーズ釦２４は、撮影モードにおいて、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。

制御回路２７は、レリーズ釦２４の半押し操作に応じて、公知のコントラスト検出方式のＡＦ動作を実行する。このＡＦでは、撮像素子１３から読み出される画像信号のなかで、撮影画面内に予め設定されているフォーカス検出領域に対応する信号が用いられる。具体的には、信号処理回路１５によって信号処理された画像のデータのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、制御回路２７はフォーカスレンズのレンズ駆動指令をレンズ駆動部１２に送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１３によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。

振動センサ２５は、電子カメラの筐体の振れを直交する２方向について検出する。この振動センサ２５は、例えば角速度センサやジャイロセンサなどで構成され、電子カメラの筐体内に配置される。振動センサ２５は、撮影モードにおいて電子カメラに加わる振れを検知し、直交する２方向の振れ量データを制御回路２７に出力する。制御回路２７は、上記の振れ量データに基づいて手ブレ補正を実行する。例えば、撮像光学系１１にブレ補正レンズがある場合、制御回路２７は、筐体の振れに伴う撮像面上での被写体の移動が打ち消されるように、レンズ駆動部１２を介してブレ補正レンズを駆動させることで手ブレ補正を行う。

第２メモリ２６は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２６には、各種の設定データなどが記憶されている。

制御回路２７は、電子カメラの動作を統括的に制御するプロセッサである。例えば、制御回路２７は、撮像素子１３から出力される信号から被写界の明るさを求める。そして、制御部は、上記の明るさの情報に基づいて公知のＡＥ演算を実行し、撮影モードでの撮像条件（撮像素子１３の電荷蓄積時間、絞り（不図示）の絞り値、画像信号の増幅度）を決定する。

また、制御回路２７は、第２メモリ２６等に記憶されたプログラムを実行することで、補間画像の生成処理や、時間方向の画像加算による合成処理などを実行する（これらの処理については後述する）。

以下、第１実施形態の電子カメラの連写撮影モードの動作と、再生モードの動作とをそれぞれ説明する。

（連写撮影モードの説明）
図２は、第１実施形態における連写撮影モードでの動作を示す流れ図である。ここで、連写撮影モードは上記の撮影モードの１つであって、レリーズ釦２４が押圧されている間、電子カメラが所定の時間間隔で静止画像の撮像動作を連続的に実行するモードである。なお、連写撮影モードでの制御回路２７は、連写撮影される各々の記録画像が静止画としての鑑賞に耐えうるように撮像条件を決定する。例えば、制御回路２７は、絞りを絞って被写界深度を深くする。

ステップＳ１０１：制御回路２７は、レリーズ釦２４の押圧操作を検出すると、上記のＡＦ動作を連続的に実行するとともに、記録画像の連写撮影動作を実行する。

ここで、Ｓ１０１でのＡＦ動作に関し、制御回路２７は画面内を移動する特定被写体を追尾してＡＦ動作を行ってもよい。あるいは、制御回路２７は、所定の撮影距離の物体に常に合焦するようにＡＦ動作を行ってもよい。なお、Ｓ１０１において、制御回路２７は、操作部材２３を介したユーザーのマニュアル操作によって焦点調整を行うようにしてもよい。

また、Ｓ１０１での連写撮影動作に関し、制御回路２７は、撮像素子駆動回路１４に対して、連写撮影動作を実行するための駆動信号の出力を指示する。撮像素子１３は、上記の駆動信号を受けて、例えば１０ｆｐｓのフレームレートで画像信号を出力する。そして、撮像素子１３から出力された各フレームの画像信号は、信号処理回路１５およびデータ処理回路１６で所定の処理が施される。その後、制御回路２７は、各フレームに対応する記録画像のデータを第１メモリ１７に一時的に記憶させる。

なお、連写撮影動作時には、データ処理回路１６は、記録画像のデータに解像度変換処理を施し、モニタ１９の画素数に合わせたビュー画像のデータを生成する。そして、データ処理回路１６は、各フレームのビュー画像のデータを表示制御回路１８を介して順次モニタ１９に供給する。連写撮影動作時には、表示制御回路１８の制御によって、モニタ１９には各々のフレームに対応するビュー画像が順次表示される。これにより、ユーザーは、モニタ１９のビュー画像を目視することで、被写界の状態と記録画像の構図とを確認することができる。

ステップＳ１０２：制御回路２７は、第１メモリ１７に記憶されている各々の記録画像のデータ（Ｓ１０１）に対して、特徴点抽出処理を実行する。具体的には、制御回路２７は、記録画像のデータに対してエッジ成分を抽出し、例えば抽出したエッジの交点（コーナー）の位置を特徴点として求める。そして、制御回路２７は、各々の記録画像のフレームに対応する特徴点の位置を第１メモリ１７または第２メモリ２６に記録する。なお、制御回路２７は、ユーザーがモニタ１９上で指定した点を特徴点として抽出するようにしてもよい。

ステップＳ１０３：制御回路２７は、複数の記録画像のフレームの間を補間する補間画像を生成する。この補間画像の画素数は記録画像と同じ画素数に設定される。また、本実施形態での制御回路２７は、被写体像の変形を伴う幾何学的なモーフィング処理や、被写体像が変形せずに移動するモーフィング処理を行って補間画像を生成する。

具体的には、制御回路２７は、以下の（イ）から（ト）の手順で補間画像を生成する。ここで、２つの記録画像の間に挿入される補間画像のフレーム数は、ユーザーの入力によって制御回路２７が変更する。なお、以下の例では、簡単のため、２つの記録画像の間に２フレーム分の補間画像を挿入する場合について説明する。

（イ）制御回路２７は、時間軸方向に隣接する２つの記録画像のフレームをキーフレームとして指定する。

（ロ）制御回路２７は、上記（イ）で指定された２つのキーフレームにそれぞれ含まれる特徴点の対応付けを行う。例えば、制御回路２７は、２つのキーフレーム間で相互の特徴点のマッチング処理を実行して、各々の特徴点の対応関係を求める。

（ハ）制御回路２７は、上記（ロ）で対応付けした一対の特徴点の位置を空間方向に結ぶ関数（モーフィング動作における特徴点の移動軌跡）を求める。ここで、上記の関数は、一対の特徴点を直線で結ぶものであってもよく、あるいは一対の特徴点をスプライン曲線などで結ぶものであってもよい。なお、制御回路２７は、２つのキーフレーム間で対応付けができた全ての特徴点について上記の関数を求める。

（ニ）制御回路２７は、上記（ハ）で求めた関数によって、補間画像のフレームにおける特徴点の位置を決定する。具体的には、制御回路２７は、補間画像の挿入数に応じて上記の関数と一対の特徴点とで定義された区間を内分し、この内分点の位置を補間フレームの特徴点の位置とする。

図３は、補間画像での特徴点の決定方法の一例を示す説明図である。図３の例では、第１キーフレームの特徴点Ａ，Ｂ，Ｃに対して、第２キーフレームの特徴点Ｄ，Ｅ，Ｆがそれぞれ対応する。そして、第１特徴点Ａ，Ｄを結ぶ一次関数の区間を３つに内分する点（Ｇ，Ｊ）の位置が、各々の補間画像における第１特徴点の位置となる。なお、補間画像における第２特徴点の位置（Ｈ，Ｋ）および第３特徴点の位置（Ｉ，Ｌ）についても、上記の第１特徴点の場合と同様の手順で求めることができる。

（ホ）制御回路２７は、中間画像において特徴点以外の注目画素の位置をそれぞれ求める。具体的には、制御回路２７は、キーフレームにおける注目画素の位置を特徴点を結ぶベクトルで定義する。そして、制御回路２７は、上記のベクトルの定義に基づいて、補間画像上での注目画像の位置を求める。

図４は、補間画像での注目画素の決定方法の一例を示す説明図である。

したがって、制御回路２７は、上記の方法で補間画像における各々の注目画素の位置を求めることができる。

（ヘ）制御回路２７は、補間画像における各画素の階調値の変化を求める。具体的には、第１に、制御回路２７は、２つのキーフレーム間において対応関係を有する画素（注目画素）の階調値をそれぞれ求める。第２に、制御回路２７は、２つの階調値の区間を補間画像の挿入数に応じて内分し、補間画像における注目画素の階調値を求める。一例として、２つのキーフレームで注目画素の階調値がそれぞれ１３０，１３６であるときに、制御回路２７は、階調値１３０〜１３６の区間を３つに内分する点を求める。そして、制御回路２７は、上記の内分点に対応する階調値（１３２，１３４）を、各々の補間画像での注目画素の階調値とする。なお、制御回路２７は、上記の階調値をＲＧＢまたはＹＣｂＣｒのそれぞれの値について求める。

（ト）制御回路２７は、上記の工程で生成された補間画像を第１メモリ１７または第２メモリ２６に記録する。そして、制御回路２７は、上記（イ）で指定したキーフレームを変更して、上記（ロ）から（へ）までの処理を繰り返す。これにより、制御回路２７は、連写撮影された記録画像のすべてのフレーム間で補間画像をそれぞれ生成する。

ステップＳ１０４：制御回路２７は、時間軸方向に隣接する２つの記録画像のフレームを対象として、フレーム間での被写体の動きベクトルを求める。例えば、制御回路２７は、１６×１６画素のマクロブロック単位でフレーム間の被写体の動きを抽出し、この結果からフレーム間での被写体の動きベクトルを求める。なお、Ｓ１０４での制御回路２７は、連写撮影された記録画像のすべてのフレーム間で上記の動きベクトルをそれぞれ演算する。

ステップＳ１０５：制御回路２７は、各々の記録画像のフレーム間の動きベクトル（Ｓ１０４で求めたもの）のうち、動きベクトルの大きさの最大値Ｚをそれぞれ求める。そして、制御回路２７は、動きベクトルの大きさの最大値Ｚを第１メモリ１７に記録する。

ステップＳ１０６：制御回路２７は、動きベクトルの大きさの最大値Ｚ（Ｓ１０５で求めたもの）がすべてのフレーム間でいずれも「０」値であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１５に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０７に移行する。なお、Ｓ１０６でＹＥＳ側となるときは、例えば、明るさや色に変化はあるが、動きのない被写体を連写撮影した場合などが相当する。

ステップＳ１０７：制御回路２７は、記録画像のフレームと補間画像のフレームとを含む対象画像群のうちから特定画像を１つ選択する。この特定画像は、後述の合成画像を生成するときに基準となる画像である。より好適には、特定画像は、記録画像と補間画像とを時系列に並べたときに時間的に等間隔となるように対象画像群から選択される。

なお、本実施形態のＳ１０７では、制御回路２７は記録画像のフレームのうちから特定画像を順次選択するものとする。この選択は、時系列に並ぶ複数の記録画像から途中を飛ばすことなく全て選択されるものとする。

ステップＳ１０８：制御回路２７は、Ｓ１０７で選択された現在の特定画像が最初の特定画像（連写撮影による最初の記録画像）であるか否かを判定する。最初の特定画像である場合（ＹＥＳ側）にはＳ１１３に移行する。一方、最初の特定画像ではない場合（ＮＯ側）にはＳ１０９に移行する。

ステップＳ１０９：制御回路２７は、Ｓ１０５で求めた動きベクトルの大きさの最大値Ｚから、現在の特定画像と次の特定画像との間に対応する値をそれぞれ読み出す。そして、制御回路２７は、読み出した動きベクトルの大きさの最大値Ｚが閾値Ｔｈ未満（Ｚ＜Ｔｈ）か否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１０に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１１に移行する。

ステップＳ１１０：制御回路２７は、動画再生に用いる合成画像の生成時に加算するフレーム数を「３」に設定するとともに、特定画像と補間画像との加算比率をそれぞれ決定する。なお、合成画像とは、特定画像に対して時間軸方向に異なる画像を加算して被写体に像流れを生じさせた画像である。

具体的には、制御回路２７は、特定画像に対して時間軸方向で前（過去）と後（未来）との１フレーム分ずつの補間画像（すなわち、特定画像を基準として１フレーム分過去の補間画像および１フレーム分未来の補間画像）をそれぞれ被加算画像として選択する。そして、制御回路２７は、特定画像の加算比率を０．５に設定する。また、制御回路２７は、各々の被加算画像の加算比率をそれぞれ０．２５に設定する。すなわち、時間軸方向に表記すると、Ｓ１１０での画像の加算比率は「０．２５：０．５：０．２５」となる（図５（ａ）参照）。その後、制御回路２７はＳ１１２に処理を移行する。

ステップＳ１１１：制御回路２７は動画再生に用いる合成画像の生成時に加算するフレーム数を「５」に設定するとともに、特定画像と補間画像との加算比率をそれぞれ決定する。

具体的には、制御回路２７は、特定画像に対して時間軸方向で前と後との２フレーム分ずつの補間画像（すなわち、特定画像を基準として２フレーム分まで過去の補間画像および２フレーム分まで未来の補間画像）をそれぞれ被加算画像として選択する。そして、制御回路２７は、特定画像の加算比率を０．４に設定する。また、制御回路２７は、各々の被加算画像のうち、特定画像を基準として前後１フレーム目の補間画像の加算比率をそれぞれ０．２に設定する。さらに、制御回路２７は、各々の被加算画像のうち、特定画像を基準として前後２フレーム目の補間画像の加算比率をそれぞれ０．１に設定する。すなわち、時間軸方向に表記すると、Ｓ１１１での画像の加算比率は「０．１：０．２：０．４：０．２：０．１」となる（図５（ｂ）参照）。

ステップＳ１１２：制御回路２７は、上記の加算フレーム数および加算比率（Ｓ１１０またはＳ１１１で求めたもの）を特定画像のデータ（Ｓ１０７）に対応付けて第１メモリ１７に一時的に記憶する。

ステップＳ１１３：制御回路２７は、記録画像のフレームと補間画像のフレームとを含む対象画像群の最後から１フレーム前のフレームまで判定が終了したか否かを判定する。本実施形態においては、記録画像の最後から１つ前までのフレームまでの判定が終了したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１４に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ１０７に戻って上記動作を繰り返す。

ステップＳ１１４：圧縮／伸長回路２０は、制御回路２７の指令に応じて、記録画像のデータおよび補間画像のデータを非加算の状態（合成画像を生成しない状態）で、Ｍｏｔｉｏｎ−ＪＰＥＧ形式の圧縮を行って画像ファイルを生成する。かかるＭｏｔｉｏｎ−ＪＰＥＧ形式の圧縮によって、画像データ全体の記録容量を削減できる。そして、制御回路２７は、各々の特定画像に関する加算フレーム数および加算比率のデータを画像ファイル内に対応付けて記録する。さらに、制御回路２７は、動きベクトルの大きさが「０」ではない旨のフラグを画像ファイル内に記録しておく。そして、この画像ファイルは最終的に記憶媒体２９に記録される。その後、制御回路２７は連写撮影モードの処理を終了する。

これにより、Ｓ１１４の画像ファイルを動画再生するときには、制御回路２７は、加算フレーム数および加算比率のデータを参照することで、動画再生に適した合成画像を容易に生成することが可能となる。

ステップＳ１１５：圧縮／伸長回路２０は、制御回路２７の指令に応じて、記録画像のデータおよび補間画像のデータを非加算の状態（合成画像を生成しない状態）で、Ｍｏｔｉｏｎ−ＪＰＥＧ形式の圧縮を行って画像ファイルを生成する。また、Ｓ１１５の場合には、制御回路２７は、動きベクトルの大きさが「０」である旨のフラグを画像ファイル内に記録しておく。そして、この画像ファイルは最終的に記憶媒体２９に記録される。以上で、図２の流れ図の説明を終了する。

（再生モードの説明）
図６は、第１実施形態における再生モードでの動作を示す流れ図である。この再生モードでは、上記の連写撮影モードの画像ファイル（Ｓ１１４，Ｓ１１５で生成されたもの）が再生対象となる場合を前提として説明を行う。また、本フローチャートの処理は、ユーザーが操作部材２３を操作して画像再生指示が行われることにより開始される。すなわち、ユーザーにより、図７に示す「静止画像再生」または「動画再生」が指示されることにより、本フローチャートの処理が開始されることとなる。

ステップＳ２０１：制御回路２７は、画像ファイルの静止画像再生が指示されたか否かを判定する。静止画像の再生が指示された場合（ＹＥＳ側）にはＳ２２０に移行する。一方、静止画像の再生が指示されていない場合（ＮＯ側）にはＳ２０２に移行する。

ステップＳ２０２：制御回路２７は、再生対象の画像ファイルを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、画像ファイル内の画像データの復号化処理を実行する。なお、復号化された各々の画像のデータは第１メモリ１７に一時的に記憶される。

ステップＳ２０３：制御回路２７は、動きベクトルの大きさが「０」である旨のフラグが再生対象の画像ファイルに記録されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２１３に移行する。Ｓ２０３でＹＥＳ側のときは、再生対象がＳ１１５の画像ファイルである場合に相当する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２０４に移行する。Ｓ２０３でＮＯ側のときは、再生対象がＳ１１４の画像ファイルである場合に相当する。

ステップＳ２０４：制御回路２７は、画像ファイルの再生態様について、「通常動画再生」と「コマ送り再生（動的再生）」との選択をユーザーに促す画面（図７参照）をモニタ１９に表示する。そして、制御回路２７は、操作部材２３を介したユーザーからの再生態様の選択入力を待機する。なお、制御回路２７は、上記の再生態様の選択入力を操作部材２３から受け付けるとＳ２０５に移行する。

ステップＳ２０５：制御回路２７は、「通常動画再生」の再生態様の選択入力がされたか否かを判定する。「通常動画再生」が選択された場合（ＹＥＳ側）にはＳ２０６に移行する。一方、「コマ送り再生」が選択された場合（ＮＯ側）にはＳ２１３に移行する。

ステップＳ２０６：制御回路２７は、各々の特定画像に関する加算フレーム数および加算比率のデータを再生対象の画像ファイルから取得する。そして、制御回路２７は、上記の加算フレーム数と加算比率とに基づいて、特定画像および補間画像を加算して合成画像を生成する。そして、制御回路２７は、データ処理回路１６および表示制御回路１８を介して、１フレーム目の特定画像と、上記の合成画像と、最終フレームの特定画像とを時系列に沿ってモニタ１９に動画再生する。よって、モニタ１９における動画再生が開始される。

ここで、図８（ａ）に特定画像の一例を示す。また、図８（ｂ）では、図８（ａ）の特定画像を表示の核とした合成画像を模式的に示す。この図８（ｂ）の例では、加算フレーム数が「５」であって、時間軸方向で表記したときに画像の加算比率が「０．１：０．２：０．４：０．２：０．１」となる場合の例を示している。合成画像は、表示の核となる特定画像に対して時間軸方向で過去の画像と未来の画像とが加算されるため、画像上に像流れが発生する。そのため、複数の合成画像を動画として鑑賞した場合には、動きの流れが滑らかで好ましい画像となる。なお、合成画像を生成するときの加算フレーム数および加算比率は、連写撮影した記録画像間での動きフレームの大きさに応じて制御回路２７が変化させる。そのため、本実施形態では、撮影したシーンの被写体の動きに応じて、合成画像の像流れを好ましい量に調整できる。

ステップＳ２０７：制御回路２７は、動画再生中に静止画像表示の指示を操作部材２３から受け付けたか否かを判定する。静止画像表示の指示がある場合（ＹＥＳ側）にはＳ２０８に移行する。一方、上記指示がない場合（ＮＯ側）にはＳ２１２に移行する。

ステップＳ２０８：制御回路２７は動画再生を一時停止する。そして、制御回路２７は、データ処理回路１６および表示制御回路１８を介して、静止画像表示の指示のときに再生されていた合成画像に含まれる特定画像を、非加算の状態でモニタ１９に静止画像として再生表示する。

すなわち、静止画像表示の指示があったときには、制御回路２７は、表示の核となる特定画像を静止画像としてそのままモニタ１９に表示する。この特定画像は合成画像と比べて像流れがほとんどないため、見栄えがよく好ましい状態の静止画像をモニタ１９に再生することが可能となる。

ステップＳ２０９：制御回路２７は、再生表示中の静止画像の記録指示を操作部材２３から受け付けたか否かを判定する。記録指示がある場合（ＹＥＳ側）にはＳ２１０に移行する。一方、記録指示がない場合（ＮＯ側）にはＳ２１１に移行する。

ステップＳ２１０：制御回路２７は、静止画像として表示した特定画像を示す識別データ（マーカー）を画像ファイル内に記録する。その後、制御回路２７はＳ２１１に処理を移行する。

ステップＳ２１１：制御回路２７は、動画再生継続の指示を操作部材２３から受け付けたか否かを判定する。動画再生継続の指示がある場合（ＹＥＳ側）にはＳ２１２に移行する。一方、動画再生継続の指示がない場合（ＮＯ側）には、制御回路２７は一連の処理を終了する。

ステップＳ２１２：制御回路２７は、最終フレームの特定画像が再生されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御回路２７は画像ファイルの再生終了とともに一連の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ２０６に戻って上記動作を繰り返す。

ステップＳ２１３：制御回路２７は、データ処理回路１６および表示制御回路１８を介して、復号化された画像のうち記録画像のみを時系列に沿ってモニタ１９にコマ送りで連続的に再生する（動的再生）。よって、連写によって得られた記録画像の動的再生が開始される。なお、この場合において、制御部は、補間画像と記録画像とを時系列に沿って連続再生するようにしてもよい。

ステップＳ２１４：制御回路２７は、動的再生中に静止画像表示の指示を操作部材２３から受け付けたか否かを判定する。静止画像表示の指示がある場合（ＹＥＳ側）にはＳ２１５に移行する。一方、上記指示がない場合（ＮＯ側）にはＳ２１９に移行する。

ステップＳ２１５：制御回路２７は、動的再生を一時停止し、静止画像表示の指示のときに再生されていた画像をモニタ１９に静止画像として表示する。

ステップＳ２１６：制御回路２７は、再生表示中の静止画像（Ｓ２１５）の記録指示を操作部材２３から受け付けたか否かを判定する。記録指示がある場合（ＹＥＳ側）にはＳ２１７に移行する。一方、記録指示がない場合（ＮＯ側）にはＳ２１８に移行する。

ステップＳ２１７：制御回路２７は、静止画像として表示した画像を示す識別データ（マーカー）を画像ファイル内に記録する。その後、制御回路２７はＳ２１８に処理を移行する。

ステップＳ２１８：制御回路２７は、動的再生継続の指示を操作部材２３から受け付けたか否かを判定する。動的再生継続の指示がある場合（ＹＥＳ側）にはＳ２１９に移行する。一方、動的再生継続の指示がない場合（ＮＯ側）には、制御回路２７は一連の処理を終了する。

ステップＳ２１９：制御回路２７は、画像ファイルの最終フレームの画像が再生されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御回路２７は画像ファイルの再生終了とともに一連の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ２１３に戻って上記動作を繰り返す。

ステップＳ２２０：制御回路２７は、データ処理回路１６および表示制御回路１８を介して、画像ファイル内の画像をモニタ１９に静止画表示する。なお、画像ファイル内に識別データ（Ｓ２１０，Ｓ２１７で生成されたもの）がある場合には、制御回路２７は識別データに対応する画像を抽出して、モニタ１９にその画像を迅速に再生表示することができる。以上で、図６の流れ図の説明を終了する。

以下、第１実施形態の作用効果を述べる。第１実施形態の電子カメラでは、合成画像を生成するために被加算画像の加算比率を特定画像に対応付けて記録する。そして、電子カメラは、特定画像に対して時間軸方向に前後する補間画像を加算比率に基づいて加算し、像流れのある合成画像を生成して動画再生を行う。そのため、第１実施形態では、連写撮影で得た記録画像を動画像として再生するときに、動きの流れが滑らかで好ましい動画像をモニタ１９に再生できる。

また、第１実施形態の電子カメラは、動画再生中に静止画像の再生指示があったときには、表示の核となる特定画像を静止画像としてモニタ１９に表示する。そのため、第１実施形態では、動画再生中に１フレームを静止画像として表示するときに、像流れがなく好ましい状態の静止画像をモニタ１９に再生できる。

さらに、第１実施形態の電子カメラでは、合成画像を含む動画像のファイルと、複数の特定画像のデータとを両方記録する場合に比べて記録容量を少なくすることができる。

＜第２実施形態の説明＞
以下、第２実施形態の電子カメラの連写撮影モードの動作と、再生モードの動作とをそれぞれ説明する。ここで、第２実施形態は第１実施形態の変形例である。また、第２実施形態での電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。

（連写撮影モードの説明）
図９は、第２実施形態における連写撮影モードでの動作を示す流れ図である。なお、図９のＳ３０１からＳ３１１は、図２のＳ１０１からＳ１１１にそれぞれ対応する。また図９のＳ３１５は、図２のＳ１１５に対応する。そのため、上記の各ステップについては重複説明を省略する。

ステップＳ３１２：制御回路２７は、上記の加算フレーム数および加算比率（Ｓ１１０またはＳ１１１で求めたもの）に基づいて、特定画像のデータと補間画像を加算して合成画像を生成する。そして、制御回路２７は、生成した合成画像のデータを第１メモリ１７に一時的に記憶する。

ステップＳ３１３：制御回路２７は、記録画像のフレームと補間画像のフレームとを含む対象画像群の最後から１フレーム前のフレームまで判定が終了したか否かを判定する。本実施形態においては、記録画像の最後から１つ前までのフレームまでの判定が終了したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ３１４に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ３０７に戻って上記動作を繰り返す。

ステップＳ３１４：圧縮／伸長回路２０は、制御回路２７の指令に応じて、記録画像のデータおよび補間画像のデータを非加算の状態（合成画像を生成しない状態）で、Ｍｏｔｉｏｎ−ＪＰＥＧ形式の圧縮を行って第１の画像ファイルを生成する。

また、圧縮／伸長回路２０は、制御回路２７の指令に応じて、１フレーム目の特定画像と、上記の合成画像と、最終フレームの特定画像とを１つの動画像としてＭＰＥＧ圧縮し、第２の画像ファイルを生成する。

なお、制御回路２７は、動きベクトルの大きさが「０」ではない旨のフラグを第１の画像ファイルおよび第２の画像ファイル内にそれぞれ記録しておく。そして、第１の画像ファイルおよび第２の画像ファイルは、最終的に記憶媒体２９に記録される。その後、制御回路２７は連写撮影モードの処理を終了する。以上で、図９の流れ図の説明を終了する。

（再生モードの説明）
図１０は、第２実施形態における再生モードでの動作を示す流れ図である。この再生モードでは、上記の連写撮影モードの画像ファイルのうち、上記のＳ３１４で生成されたものが再生対象となる場合を前提として説明を行う。また、本フローチャートの処理は、ユーザーが操作部材２３を操作して画像再生指示が行われることにより開始される。すなわち、ユーザーにより、図７に示す「静止画像再生」または「動画再生」が指示されることにより、本フローチャートの処理が開始されることとなる。

ステップＳ４０１：制御回路２７は、画像ファイルの静止画像再生が指示されたか否かを判定する。静止画像の再生が指示された場合（ＹＥＳ側）にはＳ４１８に移行する。一方、静止画像の再生が指示されていない場合（ＮＯ側）にはＳ４０２に移行する。

ステップＳ４０２：制御回路２７は、画像ファイルの再生態様について、「通常動画再生」と「コマ送り再生（動的再生）」との選択をユーザーに促す画面（図７参照）をモニタ１９に表示する。そして、制御回路２７は、操作部材２３を介したユーザーからの再生態様の選択入力を待機する。なお、制御回路２７は、上記の再生態様の選択入力を操作部材２３から受け付けるとＳ４０３に移行する。

ステップＳ４０３：制御回路２７は、「通常動画再生」の再生態様の選択入力がされたか否かを判定する。「通常動画再生」が選択された場合（ＹＥＳ側）にはＳ４０４に移行する。一方、「コマ送り再生」が選択された場合（ＮＯ側）にはＳ４０７に移行する。

ステップＳ４０４：制御回路２７は、再生対象の画像ファイルのうち、第２の画像ファイルを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、第２の画像ファイル内の画像データの復号化処理を実行する。なお、復号化された各々の画像のデータは第１メモリ１７に一時的に記憶される。

ステップＳ４０５：制御回路２７は、データ処理回路１６および表示制御回路１８を介して、第１メモリ１７にバッファリングされた画像のデータ（１フレーム目の特定画像、合成画像、最終フレームの特定画像）を時系列に沿ってモニタ１９に動画再生する。

ステップＳ４０６：制御回路２７は、最終フレームの特定画像が再生されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御回路２７は画像ファイルの再生終了とともに一連の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ４０５に戻って上記動作を繰り返す。

ステップＳ４０７：制御回路２７は、再生対象の画像ファイルのうち、第１の画像ファイルを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、第１の画像ファイル内の画像データの復号化処理を実行する。なお、復号化された各々の画像のデータは第１メモリ１７に一時的に記憶される。

ステップＳ４０８：制御回路２７は、データ処理回路１６および表示制御回路１８を介して、第１メモリ１７にバッファリングされた画像データのうち、記録画像のみを時系列に沿ってモニタ１９にコマ送りで連続的に再生する（動的再生）。なお、この場合において、制御回路２７は、補間画像と記録画像とを時系列に沿って連続再生するようにしてもよい。

ステップＳ４０９：制御回路２７は、動的再生中に静止画像表示の指示を操作部材２３から受け付けたか否かを判定する。静止画像表示の指示がある場合（ＹＥＳ側）にはＳ４１０に移行する。一方、上記指示がない場合（ＮＯ側）にはＳ４１４に移行する。

ステップＳ４１０：制御回路２７は、動的再生を一時停止し、静止画像表示の指示のときに再生されていた画像をモニタ１９に静止画像として表示する。

ステップＳ４１１：制御回路２７は、再生表示中の静止画像（Ｓ４１１）の保存指示を操作部材２３から受け付けたか否かを判定する。保存指示がある場合（ＹＥＳ側）にはＳ４１２に移行する。一方、保存指示がない場合（ＮＯ側）にはＳ４１３に移行する。

ステップＳ４１２：制御回路２７は、静止画像として表示した画像を示す識別データ（マーカー）を第１の画像ファイル内に記録する。

ステップＳ４１３：制御回路２７は、動的再生継続の指示を操作部材２３から受け付けたか否かを判定する。動的再生継続の指示がある場合（ＹＥＳ側）にはＳ４１４に移行する。一方、動的再生継続の指示がない場合（ＮＯ側）にはＳ４１５に移行する。

ステップＳ４１４：制御回路２７は、第１の画像ファイルの最終フレームの画像が再生されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御回路２７は画像ファイルの再生終了とともにＳ４１５に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ４０８に戻って上記動作を繰り返す。

ステップＳ４１５：制御回路２７は、第１の画像ファイル内に識別データ（Ｓ４１２で生成されたもの）がある場合には、第１の画像ファイルの画像データのうち、識別データに対応付けされていない画像（静止画像として表示された画像を除く、他の画像）の削除を、ユーザーに対して確認する確認画面（不図示）をモニタ１９に表示する。そして、制御回路２７は、操作部材２３を介したユーザーからの入力を待機する。

ステップＳ４１６：制御回路２７は、画像削除の許可入力を操作部材２３から受け付けたか否かを判定する。画像削除の許可入力があった場合（ＹＥＳ側）にはＳ４１７に移行する。一方、画像削除のキャンセル入力があった場合（ＮＯ側）には、制御回路２７は一連の処理を終了する。なお、この場合には、第１の画像ファイルはそのまま保存される。

ステップＳ４１７：制御回路２７は、第１の画像ファイルの画像データのうち、識別データに対応付けされた画像を除く、他のすべての画像のデータ（記録画像および補間画像のデータ）を一括して削除する。これにより、ユーザーの選択した静止画像を確保しつつ、第１の画像ファイルのデータサイズを小さくすることができる。その後、制御回路２７は一連の処理を終了する。

ステップＳ４１８：制御回路２７は、データ処理回路１６および表示制御回路１８を介して、画像ファイル内の画像をモニタ１９に静止画表示する。以上で、図１０の流れ図の説明を終了する。

この第２実施形態では電子カメラは、特定画像に対して被加算画像を加算して生成した合成画像の動画像データ（第２の画像ファイル）と、各々の特定画像のデータ（第１の画像ファイル）とを記録する。そのため、第２実施形態の電子カメラは、静止画表示に適した特定画像と、動画表示に適した合成画像との再生を容易に行うことができる。

（実施形態の補足事項）
（１）上記実施形態の電子カメラでは、位相差ＡＦモジュールを撮影光路内に配置し、コントラスト方式のＡＦ動作に加えてさらに公知の瞳分割による位相差ＡＦ動作を行うようにしてもよい。また、上記実施形態では、撮像素子１３の出力に基づいてＡＥ演算を行う例を説明したが、撮像素子１３とは別にＡＥ演算用の測光素子を設けてもよい。

（２）上記実施形態では、記録画像のデータから補間画像や合成画像を生成する例を説明した。しかし、上記実施形態において、例えば、記録画像のデータと、モニタ１９の表示サイズ以下に設定されたビュー画像のデータとがグループ化されて記憶媒体２９に記録されるときに、制御回路２７は、上記のビュー画像のデータを優先的に選択して、このビュー画像のデータから補間画像や合成画像を生成するようにしてもよい。

（３）上記実施形態では２つの記録画像の間で動きベクトルを求めたが、記録画像と補間画像との間で動きベクトルを求めるようにしてもよい。

（４）上記実施形態では、連写撮影された記録画像から特定画像を選択する例を説明したが、補間画像のフレームから特定画像を選択し、この補間画像に対して時間軸方向の前と後の画像を被加算画像として加算することで合成画像を生成してもよい。

（５）第１実施形態での画像ファイルの圧縮形式はＭｏｔｉｏｎ−ＪＰＥＧに限定されず、他の動画ロスレス圧縮のコーデックや、時間軸方向の圧縮を行わない他の圧縮形式（Ｍｏｔｉｏｎ−ＪＰＥＧ２０００など）によるものでもよい。あるいは、第１実施形態においてＭＰＥＧ規格に準拠した圧縮処理で画像ファイルを生成してもよい。

また、第２実施形態においても、第１の画像ファイルをＭＰＥＧ規格に準拠して圧縮してもよく、また、第２の画像ファイルをＭｏｔｉｏｎ−ＪＰＥＧなどの圧縮形式で記録するようにしてもよい。

（６）上記の第２実施形態の再生モードにおいて、制御回路２７は、第２の画像ファイルの再生時に、動画像の再生停止の指示を操作部から受け付けたときに、再生停止のときの合成画像に対応する特定画像を示す識別データを生成してもよい。そして、制御回路２７は、上記のＳ４１５からＳ４１７の場合と同様に、第１画像ファイルのうちの、識別データに対応する画像を除いた全ての画像（記録画像および補間画像のデータ）のデータを削除するようにしてもよい。

（７）上記実施形態では電子カメラの制御回路２７が合成画像の生成などを行う例を説明したが、例えば、電子カメラと接続された外部装置３０（パーソナルコンピュータなど）が、上記実施形態の制御回路２７の処理を実行してもよい。また、上記実施形態で電子カメラの制御回路２７が実行する処理の一部を外部装置３０に負担させて、電子カメラと外部装置３０とを協働させて上記の第１実施形態または第２実施形態で説明したアルゴリズムを実現してもよい。

（８）上記実施形態では、特定画像に対して時間的に前後する画像からそれぞれ被加算画像を選択して合成画像を生成する例を説明した。しかし、上記実施形態において、特定画像に対して時間的に前の画像のみ（または特定画像に対して時間的に後の画像のみ）から被加算画像を選択するようにしてもよい。

（９）上記実施形態のＳ１１２では、加算フレーム数および加算比率のデータを特定画像のデータのみに対応付けして記録する構成を説明した。しかし、上記実施形態において、対象画像群の個々の画像のデータに、画像を合成するときの特定画像を示すデータと画像合成時の加算比率のデータとをそれぞれ対応付けして記録するようにしてもよい。

以下、図５（ｂ）を参照しつつ上記の例をより具体的に説明する。この例では、加算フレーム数を「５」とし、時間軸方向に表記した加算比率は「０．１：０．２：０．４：０．２：０．１」とする。例えば、図５（ｂ）に示す対象画像群のうち、中央の記録画像が特定画像となる場合には、右から２番目の画像（補間画像）のデータには、特定画像としての「中央の記録画像」を示すデータと、そのときの加算比率「０．１」とが対応付けされて記録される。同様に、最も右側の記録画像が特定画像となる場合には、右から２番目の画像（補間画像）のデータには、特定画像としての「右側の記録画像」を示すデータと、そのときの加算比率「０．２」とが対応付けされて記録される。

（１０）上記実施形態のＳ１０１、Ｓ３０１の処理では、記録画像のデータを第１メモリ１７に記録する例を説明しているが、上記の場合において記録画像のデータを記憶媒体２９に記録するようにしてもよい。この場合には、Ｓ１０２、Ｓ３０２以降の処理は、記憶媒体２９に記憶されている記録画像のデータに基づいて実行されることとなる。

（１１）上記実施形態の連写撮影モードについて、記録画像と補間画像との両方から特定画像を選択する場合や、記録画像の一部から特定画像を選択する場合には、制御回路２７は現在の特定画像と次の特定画像とから動きベクトルの最大値Ｚ’を求める。そして、上記の場合での制御回路２７は、Ｓ１０９、Ｓ３０９においてＺ’＜Ｔｈの判定を実行するものとする。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

第１実施形態の電子カメラの構成を示すブロック図 第１実施形態における連写撮影モードでの動作を示す流れ図 補間画像での特徴点の決定方法の一例を示す説明図 補間画像での注目画素の決定方法の一例を示す説明図 合成画像を構成する画像と加算比率とを示す図 第１実施形態における再生モードでの動作を示す流れ図 画像ファイルの再生態様選択画面の一例を示す図 （ａ）特定画像の一例を示す図、（ｂ）図８（ａ）を表示の核とした合成画像を模式的に示す図 第２実施形態における連写撮影モードでの動作を示す流れ図 第２実施形態における再生モードでの動作を示す流れ図

符号の説明

１３…撮像素子、１９…モニタ、２１…記録Ｉ／Ｆ、２２…通信Ｉ／Ｆ、２３…操作部材、２７…制御回路、２９…記憶媒体、３０…外部装置

Claims (17)

1. 画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータに対して、
   撮像装置で被写体の静止画像を連続的に撮像して生成された複数の静止画像のデータを前記演算部に読み込む第１ステップと、
   前記複数の静止画像を含むとともに各々の画像が時間軸方向に連続する対象画像群のうちから特定画像を選択する第２ステップと、
   前記特定画像に対して時間軸方向で前の画像を加算して合成画像を生成するために、前記対象画像群のうちで前記特定画像よりも前の画像から第１被加算画像を選択するとともに、前記特定画像に対する前記第１被加算画像の加算比率を決定する第３ステップと、
   前記特定画像のデータに、前記第１被加算画像の加算比率のデータを対応付けて記録する第４ステップと、
   を前記演算部に実行させることを特徴とするプログラム。
2. 請求項１に記載のプログラムにおいて、
   前記特定画像に対して時間軸方向で後の画像を加算して合成画像を生成するために、前記対象画像群のうちで前記特定画像よりも後の画像から第２被加算画像を選択するとともに、前記特定画像に対する前記第２被加算画像の加算比率を決定する第５ステップと、
   前記特定画像のデータに、前記第２被加算画像の加算比率のデータを対応付けて記録する第６ステップと、を前記演算部がさらに実行することを特徴とするプログラム。
3. 請求項１または請求項２に記載のプログラムにおいて、
   前記第３ステップおよび前記５ステップの少なくとも一方にて、前記演算部が、前記対象画像群のうちで前記特定画像に対して時間軸方向に異なる基準画像を用いて、前記特定画像との間で前記被写体の動きベクトルを求めるとともに、該動きベクトルの大きさに応じて前記特定画像に対する被加算画像の加算比率を変化させることを特徴とするプログラム。
4. 請求項１に記載のプログラムにおいて、
   前記複数の撮像画像のうちの２つの画像の間で被写体の変化を補間する補間画像を生成する第７ステップを前記演算部がさらに実行し、
   前記対象画像群には前記補間画像が含まれることを特徴とするプログラム。
5. 請求項１から請求項４のいずれか１項に記載のプログラムにおいて、
   前記コンピュータがモニタをさらに有し、
   前記特定画像の画像サイズは、前記モニタの表示サイズ以下に設定されることを特徴とするプログラム。
6. 画像のデータを読み込むデータ読込部と、演算部と有するコンピュータに対して、
   複数の特定画像を含むとともに各々の画像が時間軸方向に連続する静止画像である対象画像群のデータと、前記特定画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して合成画像を生成するときに、各々の前記特定画像に対する前記被加算画像の加算比率を示す加算比率データとを前記演算部に読み込む第１ステップと、
   前記加算比率データを用いて、各々の前記特定画像に対してそれぞれ前記被加算画像を加算して複数の前記合成画像を生成する第２ステップと、
   複数の前記合成画像を時系列に沿って再生出力する第３ステップと、
   を備えることを特徴とするプログラム。
7. 請求項６に記載のプログラムにおいて、
   前記コンピュータが操作部をさらに有し、
   前記第３ステップにおける再生出力中に静止画像表示の指示を前記操作部から受け付けたときに、前記指示を受け付けたときに再生されていた前記合成画像に対応する前記特定画像を静止画像として表示出力する第４ステップを前記演算部がさらに実行することを特徴とするプログラム。
8. 請求項６に記載のプログラムにおいて、
   前記コンピュータが操作部をさらに有し、
   前記第２ステップおよび前記第３ステップを実行する第１再生モードと、第２再生モードとを有し、
   前記第２再生モードでは、前記演算部が、前記特定画像を時系列に沿って再生出力するとともに、該再生出力中に静止画像表示の指示を前記操作部から受け付けたときに、前記指示を受け付けたときに再生されていた前記特定画像を静止画像として表示出力することを特徴とするプログラム。
9. 請求項７または請求項８に記載のプログラムにおいて、
   前記静止画像として表示出力された前記特定画像を示す識別データを生成する第５ステップを前記演算部がさらに実行することを特徴とするプログラム。
10. 請求項６に記載のプログラムにおいて、
    前記コンピュータがモニタをさらに有するとともに、前記対象画像群の各々の特定画像のデータは、同一構図でそれぞれの画像サイズが異なる複数の画像のデータをグループ化して構成され、
    前記第２ステップにて、前記演算部は、前記特定画像のデータのうちから前記画像サイズが前記モニタの表示サイズ以下の画像を用いて前記合成画像を生成することを特徴とするプログラム。
11. 画像のデータを読み込むデータ読込部と、演算部と、記憶部とを有するコンピュータに対して、
    撮像装置で被写体の静止画像を連続的に撮像して生成された複数の静止画像のデータを前記演算部に読み込む第１ステップと、
    前記複数の静止画像を含むとともに各々の画像が時間軸方向に連続する対象画像群のうちから特定画像を選択する第２ステップと、
    前記特定画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して合成画像を生成するとともに、複数の前記合成画像から動画像のデータを生成する第３ステップと、
    前記動画像のデータとともに、各々の特定画像のデータを前記記憶部に記録する第４ステップと、
    を前記演算部に実行させることを特徴とするプログラム。
12. 画像のデータを読み込むデータ読込部と、演算部と、操作部とを有するコンピュータに対して、
    各々が時間軸方向に連続する静止画像である複数の特定画像のデータと、前記特定画像に対して時間軸方向に異なる画像を加算して生成された複数の合成画像を含む動画像のデータとを前記演算部に読み込む第１ステップと、
    前記特定画像を時系列に沿って再生出力する第１再生モードと、前記動画像を再生出力する第２再生モードとを、前記操作部からの入力に応じて選択的に実行する第２ステップと、
    を前記演算部に実行させることを特徴とするプログラム。
13. 請求項１２に記載のプログラムにおいて、
    前記第２ステップで前記第１再生モードが選択された状態で、前記特定画像の時系列に沿った再生を停止する時系列再生停止指示を前記操作部から受け付けたときに再生されていた前記特定画像を示す第１識別データを生成する第３ステップと、
    前記第２ステップで前記第２再生モードが選択された状態で、前記動画像の再生停止の指示を前記操作部から受け付けたときに表示されていた前記合成画像に対応する前記特定画像を示す第２識別データを生成する第４ステップと、
    前記第１識別データまたは前記第２識別データに対応する前記特定画像を除いて、他のすべての前記特定画像のデータを削除する第５ステップと、
    を前記演算部がさらに実行することを特徴とするプログラム。
14. 請求項１から請求項１３のいずれか１項に記載のプログラムを実行するコンピュータを備えることを特徴とする画像処理装置。
15. 被写体を撮像して撮像画像のデータを生成する撮像部と、
    請求項１４に記載の画像処理装置と、を備えることを特徴とする撮像装置。
16. 少なくとも１以上のコンピュータを用いた画像処理方法であって、
    撮像装置で被写体の静止画像を連続的に撮像して生成された複数の静止画像のデータを前記コンピュータに読み込む第１ステップと、
    前記複数の静止画像を含むとともに各々の画像が時間軸方向に連続する対象画像群のうちから特定画像を前記コンピュータが選択する第２ステップと、
    前記特定画像に対して時間軸方向で前の画像を加算して合成画像を生成するために、前記対象画像群のうちで前記特定画像よりも前の画像から第１被加算画像を前記演算部が選択するとともに、前記特定画像に対する前記第１被加算画像の加算比率を前記コンピュータが決定する第３ステップと、
    前記特定画像のデータに、前記第１被加算画像の加算比率のデータを対応付けて前記コンピュータに記録させる第４ステップと、
    を備えることを特徴とする画像処理方法。
17. 少なくとも１以上のコンピュータを用いた画像処理方法であって、
    複数の特定画像を含むとともに各々の画像が時間軸方向に連続する静止画像である対象画像群のデータと、前記特定画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して合成画像を生成するときに、各々の前記特定画像に対する前記被加算画像の加算比率を示す加算比率データとを前記コンピュータに読み込む第１ステップと、
    前記加算比率データを用いて、各々の前記特定画像に対してそれぞれ前記被加算画像を加算して複数の前記合成画像を前記コンピュータが生成する第２ステップと、
    複数の前記合成画像を時系列に沿って前記コンピュータが再生出力する第３ステップと、
    を備えることを特徴とする画像処理方法。
    
    

Images