JP2010045608A - 撮像装置及びプログラム - Google Patents

Abstract

【課題】多彩な再生状態を実現して、使い勝手の良い撮像装置を提供する。
【解決手段】撮像装置１００であって、撮像部１により生成された複数の画像フレームに基づいて、動画像を任意の再生速度で再生する表示部５と、撮像部により生成された複数の画像フレームのうち、所定数の画像フレームを加算合成して、所定の撮像フレームレートよりも低速の基準再生フレームレートに対応する基準フレームを逐次生成するとともに、加算合成された所定数の画像フレームの各々と基準フレームとの差分画像データを逐次生成する画像処理部２と、を備える。
【選択図】図１

Description

本発明は、動画像を撮影する撮像装置及びプログラムに関する。

従来、一のシーンを所定の撮像フレームレート（例えば、３０ｆｐｓ、あるいは６０ｆｐｓ）で撮像して連続した複数の画像フレームを生成し、当該複数の画像フレームを所定の再生フレームレートで切り換えて動画像を再生可能なデジタルカメラが知られている。
また、近年では、従来よりも高速な撮像フレームレート（例えば、２４０ｆｐｓ）での動画像の撮影が可能なデジタルカメラが開発されている。係るデジタルカメラで撮影した画像をスロー再生すると、従来のカメラよりも時間分解能の高い超スロー再生を実現することができる。

また、動画像のスロー再生を行う場合に、スロー再生速度に応じてＧＯＰを構成するピクチャ数を可変する動画像圧縮技術を採用した再生装置も知られている（例えば、特許文献１参照）。
特開２００３−２０９８０１号公報

ところで、撮像フレームレートを高速にすればするほど、１フレーム当たりの露光時間が短くなってしまう。このため、高速な撮像フレームレートの撮影においては、大幅な増感処理が必要となって、ノイズが重畳した映像となり易くなってしまうといった問題がある。かかる問題は、上記特許文献１のように、再生速度に応じてＧＯＰを構成するピクチャ数を可変しても解決することはできない。

また、例えば、一のデジタルカメラで、撮影開始時の設定を切り替えることで、通常の動画と高速な撮像フレームレートの動画の両方が撮影できるとした場合であっても、ノイズの少ないきれいな映像を撮りたいと思うユーザは、ノイズが目立ちやすい高速な撮像フレームレートの撮影ではなく通常の動画撮影しか使わなくなってしまう。ここで、複数の画像フレームを加算合成することで、ノイズ成分を軽減することができると考えられるが、そのようなユーザであっても、決定的瞬間などを時間分解能の高い超スローで鑑賞したいというニーズがある。

そこで、本発明の課題は、多彩な再生状態を実現することができ、使い勝手の良い撮像装置及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の撮像装置は、
一のシーンを所定の撮像フレームレートで撮像して複数の画像フレームを逐次生成する撮像手段と、前記撮像手段により生成された前記複数の画像フレームに基づいて、動画像を任意の再生速度で再生する再生手段と、前記撮像手段により生成された前記複数の画像フレームのうち、所定数の画像フレームを加算合成して、前記所定の撮像フレームレートよりも低速の前記再生手段による基準再生フレームレートに対応する基準フレームを逐次生成する基準フレーム生成手段と、前記基準フレーム生成手段により加算合成された所定数の画像フレームの各々と前記基準フレームとの差分情報を逐次生成する差分情報生成手段と、を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記再生手段は、前記基準フレーム生成手段により逐次生成された前記基準フレームのみを前記基準再生フレームレートで切り換えて所定の基準再生速度で再生することを特徴としている。

請求項３に記載の発明は、請求項２に記載の撮像装置において、
前記基準フレーム生成手段により逐次生成された前記基準フレームのみからなる基準ファイルを記録する基準ファイル記録手段を備えることを特徴としている。

請求項４に記載の発明は、請求項３に記載の撮像装置において、
前記差分情報生成手段により逐次生成された前記差分情報を前記基準ファイルとは異なる差分ファイルに記録する差分ファイル記録手段を備えることを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記差分情報生成手段により逐次生成された前記所定数の画像フレームの各々に係る差分情報と前記基準フレームとを加算して、元画像フレームを逐次生成する元画像フレーム生成手段を備え、前記再生手段は、前記元画像フレーム生成手段により逐次生成された前記元画像フレームを前記基準再生フレームレートで切り換えて所定の基準再生速度よりも低速の再生速度で再生することを特徴としている。

請求項６に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記差分情報生成手段により逐次生成された前記所定数の画像フレームの各々に係る差分情報と前記基準フレームとを加算して、元画像フレームを逐次生成する元画像フレーム生成手段を備え、前記再生手段は、前記元画像フレーム生成手段により逐次生成された前記元画像フレームを前記基準再生フレームレートよりも高速のフレームレートで切り換えて所定の基準再生速度で再生することを特徴としている。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の撮像装置において、
前記基準フレーム生成手段は、所定数の画像フレームを加算合成して前記基準フレームのダイナミックレンジを拡大させるダイナミックレンジ拡大手段を備えることを特徴としている。

請求項８に記載の発明のプログラムは、
一のシーンを所定の撮像フレームレートで撮像して複数の画像フレームを逐次生成する撮像手段を備える撮像装置のコンピュータを、
前記撮像手段により生成された前記複数の画像フレームに基づいて、動画像を任意の再生速度で再生する再生手段、前記撮像手段により生成された前記複数の画像フレームのうち、所定数の画像フレームを加算合成して、前記所定の撮像フレームレートよりも低速の前記再生手段による基準再生フレームレートに対応する基準フレームを逐次生成する基準フレーム生成手段、前記基準フレーム生成手段により加算合成された所定数の画像フレームの各々と前記基準フレームとの差分情報を逐次生成する差分情報生成手段、として機能させることを特徴としている。

本発明によれば、多彩な再生状態を実現することができ、撮像装置の使い勝手を向上させることができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、撮像部１により生成された複数の画像フレームＧ、…（図４参照）のうち、所定数の画像フレームＧを加算合成して、撮像フレームレートよりも低速の再生フレームレート（基準再生フレームレート）に対応する基準フレームの基準画像データｄ１を逐次生成する。そして、加算合成された所定数の画像フレームＧの各々と基準フレームとの差分画像データｄ２を逐次生成する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、画像処理部２と、記録媒体制御部３と、記録媒体４と、表示部５と、操作入力部６と、バッファメモリ７と、制御部８を備えて構成されている。

撮像部１は、撮像手段として、一のシーンを所定の撮像フレームレート、例えば、２４０ｆｐｓで連続して撮像して複数の画像フレームＧ、…を生成する。具体的には、図示は省略するが、撮像部１は、例えば、撮像レンズと、撮像レンズを通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部と、電子撮像部の制御や、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）の制御などを行う撮像制御部等を備えている。
そして、撮像制御部は、電子撮像部に所定の撮像フレームレートに対応した露出時間で被写体を撮像させ、当該電子撮像部の撮像領域から画像フレームＧを所定の撮像フレームレートで逐次読み出す。その後、撮像制御部は、読み出した各画像フレームＧが十分に明るくなるように増感処理を行った後、バッファメモリ７に逐次転送して格納する。

画像処理部２は、制御部８のＣＰＵ（後述）の制御下にて、動画像の撮影の際に、バッファメモリ７に４フレーム分の画像データが格納される度に、それらを読み出して複数フレーム加算処理を行う。具体的には、画像処理部２は、連続する４つの画像フレームＧを画素毎に加算平均して一の基準フレームを逐次生成する。これにより、生成された複数の基準フレームによって、撮像フレームレートよりも低速の基準再生フレームレートである６０ｆｐｓ相当の動画が構成される。そして、画像処理部２は、生成された一の基準フレームの基準画像データｄ１をバッファメモリ７に転送して格納する。
このように、４フレーム分の画像データを加算平均して一の基準フレームを生成するので、出来上がった一の基準フレームの基準画像データｄ１は、ノイズ成分が除去された画像になる。
ここで、画像処理部２及びＣＰＵは、所定数の画像フレームＧを加算合成して基準フレームを逐次生成する基準フレーム生成手段、及び、当該基準フレームのダイナミックレンジを拡大させるダイナミックレンジ拡大手段として機能する。

また、画像処理部２は、バッファメモリ７に保存された基準フレームの基準画像データｄ１を読み出し、ＹＣｂＣｒ画像生成、画像補正処理などを行った後、例えば、ＭＰＥＧ形式で画像圧縮処理を施してバッファメモリ７に転送して格納する。

また、画像処理部２は、ＣＰＵの制御下にて、複数フレーム加算処理にて生成した基準フレームの基準画像データｄ１と、元の４フレーム分の画像データの各々との差分に係る差分画像データｄ２を逐次生成する。具体的には、画像処理部２は、４フレーム分のそれぞれの画像データについて、一の画像フレームＧの画像データにおける各画素の画素値から基準フレームの画像データにて対応する画素の画素値を減算することを全ての画素について行うことで差分画像データｄ２を得ることができる。即ち、差分画像データｄ２は、Ｉピクチャに対するＰ、ＢピクチャといったＭＰＥＧ形式とは異なり、４フレーム分の画像データを加算平均した基準フレームに対する差分に係るデータである。
そして、画像処理部２は、生成された差分画像データｄ２をバッファメモリ７に転送して格納する。
ここで、画像処理部２及びＣＰＵは、複数フレーム加算処理にて加算合成された所定数の画像フレームＧの各々と基準フレームとの差分画像データｄ２を逐次生成する差分情報生成手段として機能する。

また、画像処理部２は、バッファメモリ７に保存された差分画像データｄ２を読み出し、例えば、ＭＰＥＧ形式で画像圧縮処理を施してバッファメモリ７に転送して格納する。

また、画像処理部２は、ＣＰＵの制御下にて、差分画像データｄ２を生成した場合と逆の処理を行って、基準画像ファイルＦ１から読み出した基準フレームと、差分画像ファイルＦ２から読み出した４つの差分画像データｄ２の各々とを加算することで、４フレーム分の画像データを生成する。具体的には、画像処理部２は、４つの差分画像データｄ２について、一の差分画像データｄ２における各画素の画素値と基準フレームの画像データにて対応する画素の画素値を加算することを全ての画素について行うことで、２４０ｆｐｓで撮影した際の４フレーム分の画像データ（元画像フレームＨ）を生成することができる。
なお、動画データを基準画像ファイルＦ１及び差分画像ファイルＦ２に格納する際に、非可逆圧縮方式にて圧縮していると、完全に元の４フレーム分と同一の画像データを復元することはできないが、完全に同一でなくても実用上は問題にならない。
ここで、画像処理部２及びＣＰＵは、差分情報生成処理にて逐次生成された所定数の画像フレームＧの各々に係る差分画像データｄ２と基準フレームとを加算して、元画像フレームＨを逐次生成する元画像フレーム生成手段として機能する。

記録媒体制御部３は、動画像の撮影の際に、バッファメモリ７に格納されている画像圧縮処理後の基準フレームの基準画像データｄ１や差分画像データｄ２を読み出して、記録媒体４に保存させる制御を行う。

また、記録媒体制御部３は、動画像の第１再生処理及び第２再生処理の際に、記録媒体４に保存されている基準画像ファイルＦ１の画像圧縮処理が施された基準フレームの基準画像データｄ１を読み出して、バッファメモリ７に転送して格納する。

また、記録媒体制御部３は、動画像のスロー再生処理の際に、記録媒体４に保存されている差分画像ファイルＦ２の画像圧縮処理が施された差分画像データｄ２を読み出す。具体的には、記録媒体制御部３は、基準画像ファイルＦ１から読み出した基準フレームと対応する差分画像データｄ２を読み出さなければならないため、基準画像ファイルＦ１から読み出した基準フレームのファイル先頭からの番号が「Ｎ（Ｎ≧１）」番目の場合、差分画像ファイルＦ２の先頭から「４×Ｎ−３〜４×Ｎ」番目までの４フレーム分に対応する差分画像データｄ２を読み出す（図２参照）。例えば、図２に示すように、Ｎ＝１として、基準画像データｄ１（１）に対応する差分画像データｄ２を読み出す場合、１番目から４番目までの差分画像データｄ２を読み出し、Ｎ＝２として、基準画像データｄ１（２）に対応する差分画像データｄ２を読み出す場合、５番目から８番目までの差分画像データｄ２を読み出し、この処理を繰り返し実行する。そして、記録媒体制御部３は、読み出された差分画像データｄ２をバッファメモリ７に転送して格納する。

記録媒体４は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成されている。
また、記録媒体４は、基準ファイル記録手段として、複数フレーム加算処理にて逐次生成された複数の基準フレームのみからなる基準画像ファイルＦ１を記録する。
また、記録媒体４は、差分ファイル記録手段として、差分情報生成処理にて逐次生成された差分画像データｄ２を基準画像ファイルＦ１とは異なる差分画像ファイルＦ２に記録する。

表示部５は、図示は省略するが、例えば、液晶などの画像表示部と、この画像表示部への画像フレームＧの表示を制御する表示制御部等を備えている。そして、撮像部１により撮像される画像フレームＧを所定のフレームレートで逐次更新しながらライブビュー画像表示する。

また、表示部５は、ＣＰＵの制御下にて、動画像の第１再生処理及び第２再生処理の際に、基準画像ファイルＦ１の複数の基準フレームを６０ｆｐｓの再生フレームレート（基準再生フレームレート）で切り換えて所定の基準再生速度、例えば、通常の再生速度で動画像を再生する。
また、表示部５は、ＣＰＵの制御下にて、動画像のスロー再生処理の際に、元画像フレーム生成処理にて逐次生成された元画像フレームＨを６０ｆｐｓの再生フレームレートで切り換えてスロー再生速度（所定の基準再生速度よりも低速の再生速度）で再生する。
ここで、表示部５及びＣＰＵは、動画像を再生する再生手段を構成している。

操作入力部６は、当該撮像装置１００の所定操作を行うためのものである。具体的には、図示は省略するが、操作入力部６は、撮像部１による被写体の記録を指示するシャッターボタンや、各種動作モードや各種項目の選択を行う上下左右のカーソルボタンや、これらカーソルボタンにより選択された動作モードや項目の決定を指示する決定ボタン等を備えている。

なお、動作モードとしては、例えば、所定サイズの静止画像を撮影する静止画撮影モードや、所定のフレームレートで動画を撮影する動画撮影モード等が挙げられる。
そして、ユーザにより所定の動作モード（例えば、動画撮影モード等）が選択されると、当該動作モードの設定指示を入力回路（図示略）を介して制御部８のＣＰＵに出力する。ＣＰＵは、設定指示が入力されると、各部を制御して当該動作モードに応じた処理を行う。

また、操作入力部６は、動画像の再生モードとして、第１再生処理モード及び第２再生処理モードを選択指示する。
ここで、第１再生処理モードとは、複数の基準フレームを６０ｆｐｓで切り換えて再生する「通常再生」と、複数の元画像フレームＨ、…を６０ｆｐｓで切り換えてスロー再生する「スロー再生」とを実現するモードである。
また、第２再生処理モードとは、複数の基準フレームを６０ｆｐｓで切り換えて再生する「通常再生」と、複数の基準フレームの各々を６０ｆｐｓで連続して４回ずつコマ送り表示する「コマ送り再生」とを実現するモードである。
つまり、第１再生処理モードでは、基準フレーム及び元画像フレームＨを再生し、第２再生処理モードでは、基準フレームのみを再生する。

バッファメモリ７は、例えば、フラッシュメモリ等により構成され、ＣＰＵによって処理されるデータ等を一時記憶する。

制御部８は、撮像装置１００の各部を制御するものである。具体的には、図示は省略するが、制御部８は、ＣＰＵと、プログラムメモリ等を備えている。

ＣＰＵは、プログラムメモリに記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。

プログラムメモリは、ＣＰＵの動作に必要な各種プログラムやデータを記憶するものである。このプログラムメモリは、後述する基準フレーム生成制御処理ルーチン、差分情報生成制御処理ルーチン、元画像フレーム生成制御処理ルーチン、再生制御処理ルーチンを含む。
ここでいうルーチンとは、コンピュータのプログラムの部分をなし、ある機能をもった一連の命令群のことである。

基準フレーム生成制御処理ルーチンは、ＣＰＵを基準フレーム生成手段として機能させるためのプログラム部分である。即ち、基準フレーム生成制御処理ルーチンは、画像処理部２に、撮像部１により生成された複数の画像フレームＧ、…のうち、所定数の画像フレームＧを加算合成して、所定の撮像フレームレートよりも低速の再生フレームレートに対応する基準フレームを逐次生成させる複数フレーム加算処理に係る機能をＣＰＵに実現させるための命令群を含む。
具体的には、この基準フレーム生成制御処理ルーチンにより、ＣＰＵは、画像処理部２に、２４０ｆｐｓの撮像フレームレートで生成された連続する４つの画像フレームＧを加算合成して、６０ｆｐｓの再生フレームレートに対応する一の基準フレームを生成させる。

差分情報生成制御処理ルーチンは、ＣＰＵを差分情報生成手段として機能させるためのプログラム部分である。即ち、差分情報生成制御処理ルーチンは、画像処理部２に、複数フレーム加算処理にて加算合成された所定数の画像フレームＧの各々と基準フレームとの差分画像データｄ２を逐次生成させる差分情報生成処理に係る機能をＣＰＵに実現させるための命令群を含む。
具体的には、この差分情報生成制御処理ルーチンにより、ＣＰＵは、画像処理部２に、４フレーム分のそれぞれの画像データについて、一の画像フレームＧの画像データにおける各画素の画素値から基準フレームの基準画像データにて対応する画素の画素値を減算することを全ての画素について行わせて、差分画像データｄ２を生成させる。

元画像フレーム生成制御処理ルーチンは、ＣＰＵを元画像フレーム生成手段として機能させるためのプログラム部分である。即ち、元画像フレーム生成制御処理ルーチンは、画像処理部２に、差分情報生成処理にて逐次生成された所定数の画像フレームＧの各々に係る差分画像データｄ２と基準フレームとを加算して、元画像フレームＨを逐次生成させる元画像フレーム生成処理に係る機能をＣＰＵに実現させるための命令群を含む。
具体的には、この元画像フレーム生成制御処理ルーチンにより、ＣＰＵは、画像処理部２に、４つの差分画像データｄ２について、一の差分画像データｄ２における各画素の画素値と基準フレームの画像データにて対応する画素の画素値を加算することを全ての画素について行わせて、元画像フレームＨを生成させる。

再生制御処理ルーチンは、ＣＰＵを再生手段として機能させるためのプログラム部分である。即ち、再生制御処理ルーチンは、表示部５に、画像処理部２により逐次生成された基準フレームや元画像フレームＨを所定の再生フレームレート、例えば、６０ｆｐｓで切り換えて動画像を再生させる処理に係る機能をＣＰＵに実現させるための命令群を含む。

図３、図６、図７、図９は、撮像装置１００の全体の動作を説明するためのフローチャートであるとともに、プログラムメモリに記憶されたプログラムのアルゴリズム構造を示すフローチャートである。実際に使用するＣＰＵに対応した具体的なプログラムコードの記載は省略するが、このフローチャート（アルゴリズム構造）に基づいて適宜設計すればよい。
次に、動画像撮影処理について図３を参照して説明する。
図３は、撮像装置１００による動画像撮影処理に係る動作の一例を示すフローチャートである。また、図４は、動画像撮影処理を説明するための図である。

本実施形態の撮像装置１００は、高速な撮像フレームレート、例えば、２４０ｆｐｓでの動画撮影を行う。
具体的には、図３に示すように、先ず、ユーザによりシャッターボタンが所定操作されると（ステップＳ１）、ＣＰＵは、撮像部１、画像処理部２、記録媒体制御部３に高速なフレームレート（例えば、２４０ｆｐｓ）での動画像の撮影開始を指示する。
撮像部１は、２４０ｆｐｓで動画像を撮影して複数の画像フレームＧ、…を生成して、生成された画像フレームＧをバッファメモリ７に逐次転送して格納する（ステップＳ２；図４参照）。

そして、ＣＰＵは、基準フレーム生成制御処理ルーチンにより、バッファメモリ７に画像フレームＧが４フレーム分溜まる度に、画像処理部２に、４つの画像フレームＧを画素毎に加算して一の基準フレームの基準画像データｄ１を生成させて、生成された一の基準画像データｄ１をバッファメモリ７に転送して格納する（ステップＳ３；図４参照）。
続けて、ＣＰＵは、差分情報生成制御処理ルーチンにより、画像処理部２に、複数フレーム加算処理にて加算合成された４つの画像フレームＧの各々と基準フレームとの差分画像データｄ２を逐次生成させて、生成された４つの差分画像データｄ２をバッファメモリ７に転送して格納する（ステップＳ４；図４参照）。

その後、画像処理部２は、バッファメモリ７に格納された基準フレームの基準画像データｄ１を読み出し、例えば、ＭＰＥＧ形式で画像圧縮処理を施してバッファメモリ７に転送して格納するとともに、バッファメモリ７に格納された差分画像データｄ２を読み出し、例えば、ＭＰＥＧ形式で画像圧縮処理を施してバッファメモリ７に転送して格納する（ステップＳ５）。
続けて、記録媒体制御部３は、バッファメモリ７に格納されている画像圧縮処理後の基準画像データｄ１を読み出して、基準画像ファイルＦ１として記録媒体４に保存させるとともに、バッファメモリ７に格納されている画像圧縮処理後の差分画像データｄ２を読み出して、差分画像ファイルＦ２として記録媒体４に保存させる（ステップＳ６）。

次に、ＣＰＵは、再度ユーザによりシャッターボタンが所定操作されたか否かを判定し（ステップＳ７）、シャッターボタンが所定操作されていない場合には（ステップＳ７；ＮＯ）、ステップＳ２に戻り、それ以降の処理を繰り返し実行する。
そして、ステップＳ７にて、ユーザによりシャッターボタンが再度所定操作されると（ステップＳ７；ＹＥＳ）、ＣＰＵは、撮像部１、画像処理部２、記録媒体制御部３に動画像の撮影終了を指示する（ステップＳ８）。

次に、撮像装置１００による動画像の再生処理について、図５〜図９を参照して説明する。
先ず、動画像の第１再生処理について図５〜図７を参照して説明する。
図５は、撮像装置１００による動画像の第１再生処理を説明するための図であり、図６は、第１再生処理に係る動作の一例を示すフローチャートである。

第１再生処理は、ユーザによる操作入力部６の所定操作に基づいて、動画像の再生モードとして第１再生処理モードが設定された場合に実行される処理である。
以下に説明する第１再生処理にあっては、予め複数の基準フレームを６０ｆｐｓで切り換えて再生する「通常再生」が設定されているものとする。

図５及び図６に示すように、先ず、ユーザによる操作入力部６の所定操作に基づいて動画像の再生が指示されると（ステップＳ１１）、ＣＰＵは、画像処理部２、記録媒体制御部３及び表示部５に対して６０ｆｐｓでの通常の動画再生開始を指示し、記録媒体制御部３は、記録媒体４の基準画像ファイルＦ１から基準フレームの基準画像データｄ１を６０ｆｐｓで読み出してバッファメモリ７に格納する（ステップＳ１２）。次に、画像処理部２は、記録媒体制御部３が格納した基準画像データｄ１を読み出して、圧縮処理が施されている当該基準画像データｄ１の伸長処理を６０ｆｐｓで行った後、バッファメモリ７に転送して格納する（ステップＳ１３）。

続けて、ＣＰＵは、再生制御処理ルーチンにより、バッファメモリ７に一の基準フレームの基準画像データｄ１が格納される毎に、バッファメモリ７から当該基準画像データｄ１を読み出し、表示部５の画面サイズに合わせた解像度変換を行った後、各基準フレームを６０ｆｐｓで切り換えて表示部５に通常再生させる（ステップＳ１４）。

次に、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて動画像のスロー再生が指示されたか否かを判定し（ステップＳ１５）、スロー再生が指示されていない場合には（ステップＳ１５；ＮＯ）、ユーザによる操作入力部６の所定操作に基づいて動画像の再生終了が指示されているか否かを判定する（ステップＳ１６）。
ここで、動画像の再生終了が指示されていない場合には（ステップＳ１６；ＮＯ）、ステップＳ１２に戻り、それ以降の処理を繰り返し実行する。
そして、ステップＳ１６にて、動画像の再生終了が指示されると（ステップＳ１６；ＹＥＳ）、ＣＰＵは、画像処理部２、記録媒体制御部３に動画像の通常再生の終了を指示する（ステップＳ１７）。

一方、ステップＳ１５にて、ユーザによる操作入力部６の所定操作に基づいて動画像のスロー再生が指示されると（ステップＳ１５；ＹＥＳ）、スロー再生処理に移行する（ステップＳ１８）。

次に、スロー再生処理について図７を参照して説明する。
図７は、スロー再生処理に係る動作の一例を示すフローチャートである。

第１再生処理におけるスロー再生処理は、基準フレームの基準画像データｄ１と差分画像データｄ２から元画像フレームＨを復元して、複数の元画像フレームＨ、…を６０ｆｐｓで切り換えてスロー再生する処理である。

具体的には、図７に示すように、動画像の再生速度として、「スロー再生」が指示されると、ＣＰＵは、画像処理部２、記録媒体制御部３及び表示部５に対して、スロー再生への切り換えを指示し、記録媒体制御部３は、記録媒体４の基準画像ファイルＦ１から基準フレームの基準画像データｄ１を読み出すとともに、当該基準画像データｄ１に対応する４フレーム分の差分画像データｄ２を差分画像ファイルＦ２から読み出してバッファメモリ７に格納する（ステップＳ２１；図２参照）。
次に、画像処理部２は、記録媒体制御部３によりバッファメモリ７に格納された基準画像データｄ１及び４フレーム分の差分画像データｄ２を読み出して、圧縮処理が施されている当該基準画像データｄ１及び差分画像データｄ２の伸長処理を６０ｆｐｓで行った後、バッファメモリ７にそれぞれ転送して格納する（ステップＳ２２）。

そして、ＣＰＵは、元画像フレーム生成制御処理ルーチンにより、バッファメモリ７に伸長処理された基準画像データｄ１が１フレーム分、且つ、差分画像データｄ２が４フレーム分溜まる度に、画像処理部２に、それらの画像データをバッファメモリ７から読み出させて、基準画像データｄ１と、４つの差分画像データｄ２の各々とを加算させることで、４フレーム分の元画像フレームＨを生成させる（ステップＳ２３；図５参照）。その後、画像処理部２は、生成された４フレーム分の元画像フレームＨをバッファメモリ７に転送して格納する。

続けて、ＣＰＵは、再生制御処理ルーチンにより、バッファメモリ７から元画像フレームＨを読み出し、表示部５の画面サイズに合わせた解像度変換を行った後、元画像フレームＨを６０ｆｐｓで切り換えて表示部５にスロー再生させる（ステップＳ２４；図５参照）。

次に、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて動画像の通常再生が指示されたか否かを判定し（ステップＳ２５）、通常再生が指示されていない場合には（ステップＳ２５；ＮＯ）、ユーザによる操作入力部６の所定操作に基づいて動画像の再生終了が指示されているか否かを判定する（ステップＳ２６）。
ここで、動画像の再生終了が指示されていない場合には（ステップＳ２６；ＮＯ）、ステップＳ２１に戻り、それ以降の処理を繰り返し実行する。
そして、ステップＳ２６にて、動画像の再生終了が指示されると（ステップＳ２６；ＹＥＳ）、ＣＰＵは、画像処理部２、記録媒体制御部３及び表示部５に動画像のスロー再生の終了を指示する（ステップＳ２７）。

一方、ステップＳ２５にて、ユーザによる操作入力部６の所定操作に基づいて動画像の通常再生が指示されると（ステップＳ２５；ＹＥＳ）、図６に示すように、第１再生処理のステップＳ１２に戻り、それ以降の処理を繰り返し実行する。

そして、ステップＳ１５にて、動画像のスロー再生が指示されると、スロー再生処理を実行する一方、ステップＳ２５にて、動画像の通常再生が指示されると、通常再生処理を繰り返し実行する。
なお、上記した通常再生処理、スロー再生処理の順序は、一例であって適宜任意に変更することができる。

次に、動画像の第２再生処理について図８及び図９を参照して説明する。
図８は、撮像装置１００による動画像の第２再生処理を説明するための図であり、図９は、第２再生処理に係る動作の一例を示すフローチャートである。

第２再生処理は、ユーザによる操作入力部６の所定操作に基づいて、動画像の再生モードとして第２再生処理モードが設定された場合に実行される処理である。
図８及び図９に示すように、先ず、ユーザによる操作入力部６の所定操作に基づいて動画像の再生が指示されると（ステップＳ３１）、ＣＰＵは、画像処理部２、記録媒体制御部３及び表示部５に対して６０ｆｐｓでの通常の動画再生開始を指示し、記録媒体制御部３は、記録媒体４の基準画像ファイルＦ１から基準フレームの基準画像データｄ１を６０ｆｐｓで読み出してバッファメモリ７に格納する（ステップＳ３２）。次に、画像処理部２は、記録媒体制御部３が格納した基準画像データｄ１を読み出して、圧縮処理が施されている当該基準画像データｄ１の伸長処理を６０ｆｐｓで行った後、バッファメモリ７に転送して格納する（ステップＳ３３）。

続けて、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて動画像のコマ送り再生の開始が指示されたか否かを判定する（ステップＳ３４）。
ここで、コマ送り再生の開始が指示されていない場合には（ステップＳ３４；ＮＯ）、ＣＰＵは、再生制御処理ルーチンにより、バッファメモリ７に一の基準フレームの基準画像データｄ１が格納される毎に、バッファメモリ７から当該基準画像データｄ１を読み出し、表示部５の画面サイズに合わせた解像度変換を行った後、各基準フレームを６０ｆｐｓで切り換えて表示部５に通常再生させる（ステップＳ３５）。

次に、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて動画像の再生終了が指示されているか否かを判定する（ステップＳ３６）。
ここで、動画像の再生終了が指示されていない場合には（ステップＳ３６；ＮＯ）、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて動画像のコマ送り再生が終了しているか否かを判定する（ステップＳ３７）。ここでは、ステップＳ３４にて、コマ送り再生の開始が指示されていないためコマ送り再生が終了しているものと判断して（ステップＳ３７；ＹＥＳ）、ステップＳ３２に戻り、それ以降の処理を繰り返し実行する。

一方、ステップＳ３４にて、コマ送り再生の開始が指示されると（ステップＳ３４；ＹＥＳ）、ＣＰＵは、再生制御処理ルーチンにより、バッファメモリ７に一の基準フレームの基準画像データｄ１が格納される毎に、バッファメモリ７から当該基準画像データｄ１を読み出し、表示部５の画面サイズに合わせた解像度変換を行った後、各基準フレームを６０ｆｐｓで４回連続して表示させるように表示部５にコマ送り再生させる（ステップＳ３８；図８参照）。

その後、ステップＳ３６に移行して、動画像の再生終了が指示されているか否かを判定し（ステップＳ３６）、動画像の再生終了が指示されていない場合には（ステップＳ３６；ＮＯ）、ステップＳ３７にて、ＣＰＵは、動画像のコマ送り再生が終了しているか否かを判定する（ステップＳ３７）。
ここで、コマ送り再生が終了していないと判定されると（ステップＳ３７；ＮＯ）、記録媒体制御部３は、記録媒体４の基準画像ファイルＦ１から基準フレームの基準画像データｄ１を６０ｆｐｓで読み出してバッファメモリ７に格納する（ステップＳ３９）。次に、画像処理部２は、記録媒体制御部３が格納した基準画像データｄ１を読み出して、圧縮処理が施されている当該基準画像データｄ１の伸長処理を６０ｆｐｓで行った後、バッファメモリ７に転送して格納する（ステップＳ３Ａ）。
その後、ステップＳ３８に移行して、それ以降の処理を繰り返し実行する。

そして、ステップＳ３６にて、動画像の再生終了が指示されると（ステップＳ３６；ＹＥＳ）、ＣＰＵは、画像処理部２、記録媒体制御部３及び表示部５に動画像の再生の終了を指示する（ステップＳ３Ｂ）。

以上のように、本実施形態の撮像装置１００によれば、複数の画像フレームＧ、…のうち、所定数の画像フレームＧを加算合成して、撮像フレームレートである２４０ｆｐｓよりも低速の再生フレームレート（例えば、６０ｆｐｓ）に対応する基準フレームを逐次生成して、当該基準フレームのみからなる基準画像ファイルＦ１を記録しておくことで、基準画像ファイルＦ１から当該基準フレームを読み出して、再生フレームレートで切り換えて通常の再生速度で再生することができる。これにより、通常再生においては、ノイズ成分が除去された動画像を再生することができる。また、基準画像ファイルＦ１内の基準フレームの基準画像データｄ１は、本実施形態の撮像装置１００以外の撮像装置１００であっても再生することができるため、基準画像ファイルＦ１を他の撮像装置１００や動画再生装置に転送するだけで、ノイズ成分が除去された動画像を再生することができる。
さらに、複数フレーム加算処理にて加算合成された所定数の画像フレームＧの各々と基準フレームとの差分画像データｄ２を逐次生成して、当該差分画像データｄ２を基準画像ファイルＦ１とは異なる差分画像ファイルＦ２に記録しておくことで、所定数の画像フレームＧの各々に係る差分画像データｄ２と基準フレームとを加算して、元画像フレームＨを逐次生成し、当該元画像フレームＨを再生フレームレートで切り換えて通常の再生速度よりも低速の再生速度でスロー再生することができる。これにより、従来の撮像装置１００よりも時間分解能の高い超スロー再生を実現することができる。
また、動画像の再生モードを動画像の第２再生処理モードとすることで、基準フレームをコマ送り再生することができるため、ノイズ成分が除去された動画像を通常の再生速度よりも低速の再生速度で再生することができる。
このように、多彩な再生状態を実現することができ、使い勝手の良い撮像装置１００を提供することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、動画像のスロー再生処理にて、表示部５の元画像フレームＨの再生フレームレートを６０ｆｐｓ（基準再生フレームレート）で一定とするようにしたが、これに限られるものではなく、元画像フレームＨを基準再生フレームレートよりも高速のフレームレートで切り換えて所定の再生速度で再生するようにしても良い。
即ち、表示部５の表示可能なフレームレートが２４０ｆｐｓである場合には、復元した２４０ｆｐｓの動画をそのままのフレームレートで再生するようにしても良い。また、復元した２４０ｆｐｓの元画像フレームを更に、複数フレーム加算することで、表示部５で表示可能なフレームレート（例えば、１２０ｆｐｓ等）に変換して表示するようにしても良い。
これにより、様々な再生フレームレートで動画像を再生することができるので、より多彩な再生状態を実現することができ、より使い勝手の良い撮像装置１００を提供することができる。

さらに、上記実施形態にあっては、複数フレーム加算処理にて、画素毎に加算平均を行うようにしたが、一例であって、これに限られるものではなく、複数フレーム加算処理を実現する方法は如何なるものであっても良い。
また、複数フレーム加算処理にあっては、各画像フレームＧの画像のズレを検出して、位置合わせなどの処理を行ってから加算するようにしても良く、これにより、基準フレームにおける被写体ぶれ等を防止することができる。
さらに、４つの画像フレームから一の基準フレームを生成するようにしたが、一例であって、これに限られるものではなく、加算合成する画像フレーム数は適宜任意に変更することができる。

また、上記実施形態にあっては、基準画像データｄ１と差分画像データｄ２を別個のファイルに記録保存するようにしたが、必ずしも別個のファイルとする必要はなく、同じ一のファイルに保存しても良い。この場合には、基準画像データｄ１の部分と差分画像データｄ２の部分とをマーカなどを設けて明確に区別するのが好ましい。

さらに、上記実施形態にあっては、基準画像データｄ１及び差分画像データｄ２を生成した後、記録媒体４に記録する撮像装置１００を例示したが、これに限られるものではなく、基準画像データｄ１及び差分画像データｄ２を別個に記録する装置であれば如何なるものを適用しても良い。
即ち、所定の記録媒体４に記録されている基準画像データｄ１及び差分画像データｄ２を通信手段を介して接続されたコンピュータ等の外部機器に出力して、当該外部機器にて基準フレームを通常の再生速度で再生したり、元画像フレームＨを生成して当該元画像フレームＨをスロー再生するようにしても良い。

また、上記実施形態にあっては、動画像データの圧縮形式として、ＭＰＥＧ形式を例示したが、これに限られるものではなく、適宜任意に変更することができる。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。

加えて、上記実施形態では、基準フレーム生成手段、差分情報生成手段、元画像フレーム生成手段、再生手段としての機能を、ＣＰＵによって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置によるスロー再生処理における画像データの読み出しを説明するための図である。 図１の撮像装置による動画像撮影処理に係る動作の一例を示すフローチャートである。 図３の動画像撮影処理を説明するための図である。 図１の撮像装置による動画像の第１再生処理を説明するための図である。 図５の第１再生処理に係る動作の一例を示すフローチャートである。 図５の第１再生処理におけるスロー再生処理に係る動作の一例を示すフローチャートである。 図１の撮像装置による動画像の第２再生処理を説明するための図である。 図８の第２再生処理に係る動作の一例を示すフローチャートである。

符号の説明

１００ 撮像装置
１ 撮像部
２ 画像処理部
４ 記録媒体
５ 表示部
８ 制御部

Claims (8)

1. 一のシーンを所定の撮像フレームレートで撮像して複数の画像フレームを逐次生成する撮像手段と、
   前記撮像手段により生成された前記複数の画像フレームに基づいて、動画像を任意の再生速度で再生する再生手段と、
   前記撮像手段により生成された前記複数の画像フレームのうち、所定数の画像フレームを加算合成して、前記所定の撮像フレームレートよりも低速の前記再生手段による基準再生フレームレートに対応する基準フレームを逐次生成する基準フレーム生成手段と、
   前記基準フレーム生成手段により加算合成された所定数の画像フレームの各々と前記基準フレームとの差分情報を逐次生成する差分情報生成手段と、
   を備えることを特徴とする撮像装置。
2. 前記再生手段は、前記基準フレーム生成手段により逐次生成された前記基準フレームのみを前記基準再生フレームレートで切り換えて所定の基準再生速度で再生することを特徴とする請求項１に記載の撮像装置。
3. 前記基準フレーム生成手段により逐次生成された前記基準フレームのみからなる基準ファイルを記録する基準ファイル記録手段を備えることを特徴とする請求項２に記載の撮像装置。
4. 前記差分情報生成手段により逐次生成された前記差分情報を前記基準ファイルとは異なる差分ファイルに記録する差分ファイル記録手段を備えることを特徴とする請求項３に記載の撮像装置。
5. 前記差分情報生成手段により逐次生成された前記所定数の画像フレームの各々に係る差分情報と前記基準フレームとを加算して、元画像フレームを逐次生成する元画像フレーム生成手段を備え、
   前記再生手段は、前記元画像フレーム生成手段により逐次生成された前記元画像フレームを前記基準再生フレームレートで切り換えて所定の基準再生速度よりも低速の再生速度で再生することを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
6. 前記差分情報生成手段により逐次生成された前記所定数の画像フレームの各々に係る差分情報と前記基準フレームとを加算して、元画像フレームを逐次生成する元画像フレーム生成手段を備え、
   前記再生手段は、前記元画像フレーム生成手段により逐次生成された前記元画像フレームを前記基準再生フレームレートよりも高速のフレームレートで切り換えて所定の基準再生速度で再生することを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
7. 前記基準フレーム生成手段は、所定数の画像フレームを加算合成して前記基準フレームのダイナミックレンジを拡大させるダイナミックレンジ拡大手段を備えることを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
8. 一のシーンを所定の撮像フレームレートで撮像して複数の画像フレームを逐次生成する撮像手段を備える撮像装置のコンピュータを、
   前記撮像手段により生成された前記複数の画像フレームに基づいて、動画像を任意の再生速度で再生する再生手段、
   前記撮像手段により生成された前記複数の画像フレームのうち、所定数の画像フレームを加算合成して、前記所定の撮像フレームレートよりも低速の前記再生手段による基準再生フレームレートに対応する基準フレームを逐次生成する基準フレーム生成手段、
   前記基準フレーム生成手段により加算合成された所定数の画像フレームの各々と前記基準フレームとの差分情報を逐次生成する差分情報生成手段、
   として機能させることを特徴とするプログラム。

Images