JP2011193424A - 撮像装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】連続して通常動画記録及びスロー動画記録が行われる場合、音声のデータの記録及び再生の連続性も維持する。
【解決手段】撮像装置１のCPU２０は、スロー動画記録の制御として、所定のスロー動画記録時間の間にイメージセンサ１５から出力されたＹfpsで撮像された動画のフレームのデータと、このフレームのデータをＸfpsで再生されるよう記録するスロー動画記録期間にＸfpsで撮像された動画のフレームのデータとを、それぞれ第１の画面画像、第２の画面画像とする合成画像としてメモリカード２５に記録させる。CPU２０は、通常動画記録の制御として、スロー動画記録時間以外にイメージセンサ１５から出力されたフレームのデータを、スロー動画記録期間とは別の通常動画記録期間に、メモリカード２５に記録させる。CPU２０は、また、スロー動画記録期間及び通常動画記録期間の間連続して、音声のデータをメモリカード２５に記録させる。
【選択図】図１

Description

本発明は、通常動画記録及びスロー動画記録が可能な撮像装置及び方法、並びにプログラムに関し、特に、連続して通常動画記録及びスロー動画記録が行われる場合、音声のデータの記録及び再生の連続性も維持する技術に関する。

従来より、撮像装置（特許文献１乃至３参照）は、所定の時間間隔毎に画角内の被写体を撮像し、その結果得られる画像のデータを記録媒体に順次記録することによって、動画のデータを記録媒体に記録する。
ここで、撮像装置が所定時間隔毎に順次撮像することによって得られる画像の各々を、以下、「フレーム」と呼ぶ。
このような複数のフレームにより構成される動画のデータの伝送又は処理の速度は、一般的に、フレームレートを用いて表現される。即ち、フレームレートとは、単位時間あたりに伝送又は処理されるデータ量を、フレーム数によって表現したものをいう。本明細書では、単位時間として１秒を採用するものとする。即ち、本明細書では、フレームレートの単位は、fps（Frame Per Second）を採用するものとする。

動画のデータを記録する従来の手法として、Ｘfps（Ｘは任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録する手法が存在する。このような手法を、以下、「通常動画記録」と呼ぶ。
また、動画のデータを記録する従来の別の手法として、Ｙfps（Ｙは、Ｙ＞Ｘを満たす任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録する手法が存在する。このような手法を、以下、「スロー動画記録」と呼ぶ。

以下、通常動画記録とスロー動画記録との差異についてさらに、図８及び図９を参照して説明する。

図８は、従来の撮像装置によって通常動画記録が行われる場合の、撮像されたフレームのデータと、動画のデータとして記録されるフレームのデータとの関係を示すタイミングチャートである。

図８（ａ）は、撮像素子から出力されたフレームのデータを示すタイミングチャートである。
図８（ａ）において、１つの長方形が、撮像素子から出力された１つのフレームのデータを示している。
図８（ａ）には、フレーム番号は記載されていないが、同図中左端のフレームのデータに対して「０」のフレーム番号が付され、以下、同図中右方向の順番で、即ち撮像素子からの出力順番で、各フレームのデータの各々に対して、「１」，「２」，「３」，・・・といった１ずつ増加するフレーム番号が順次付されていくとする。
図８（ａ）の例では、撮像素子の出力段階のフレームレート（以下、「撮像レート」と呼ぶ）は、150fpsとされている。即ち、一般的な撮像レートは30fpsであるが、図８（ａ）の例では、後述する図９（ａ）の例と対応させるべく、一般的な撮像レートの５倍の150fpsが採用されている。

図８（ｂ）は、通常動画記録が行われる場合の、記録媒体に記録されるフレームのデータを示すタイミングチャートである。
図８（ｂ）において、１つの長方形が、記録媒体に記録される１つのフレームのデータを示している。長方形の内部に記述された数字が、当該長方形が示すフレームのデータに付されたフレーム番号を示している。
図８（ｂ）に示すように、図８（ａ）に示す撮像素子から出力されたフレームのデータのうち、５フレーム間隔毎のフレームのデータ（図８（ａ）の黒塗りの長方形として示すデータ）、即ち、フレーム番号が「０」，「５」，「１０」，「１５」，「２０」，「２５」・・・のフレームのデータが記録対象として取得されて、記録媒体に記録される。
換言すると、150fpsの撮像レートで撮像されたフレームのデータの中から、５フレーム間隔毎にフレームのデータが取得されることによって、30fpsで撮像された動画のデータが得られる。そして、このような「30fpsで撮像された動画のデータ」が、30fpsのフレームレートで記録媒体に記録される。
ここで、動画のデータが記録媒体に記録される段階のフレームレートを、以下、「記録レート」と呼ぶ。また、記録媒体に記録された動画データが再生される段階のフレームレートを、以下、「再生レート」と呼ぶ。
この場合、図８（ｂ）においては記録レートが30fpsとなる。そこで、再生レートを記録レートと同一の30fpsとすることによって、「30fpsで撮像された動画のデータ」を30fpsで再生されるように記録する通常動画記録が実現する。

図９は、従来の撮像装置によってスロー動画記録が行われる場合の、撮像されたフレームのデータと、動画のデータとして記録されるフレームのデータとの関係を示すタイミングチャートである。

図９（ａ）は、撮像素子から出力されたフレームのデータを示すタイミングチャートであって、図８（ａ）の例と同一のタイミングチャートを示している。

図９（ｂ）は、スロー動画記録が行われる場合の、記録媒体に記録されるフレームのデータを示すタイミングチャートである。
図９（ｂ）において、１つの長方形が、記録媒体に記録される１つのフレームのデータを示している。長方形の内部に記述された数字が、当該長方形が示すフレームのデータに付されたフレーム番号を示している。
図９（ｂ）に示すように、図９（ａ）に示す撮像素子から出力されたフレームのデータの全てが、即ち、フレーム番号が「０」，「１」，「２」，「３」，「４」，「５」・・・のフレームのデータの全てが記録対象として取得されて、記録媒体に記録される。
換言すると、150fpsの撮像レートで撮像されたフレームのデータがそのまま、「150fpsで撮像された動画のデータ」として取得されて、30fpsの記録レートで記録媒体に記録される。
そこで、再生レートも記録レートと同一の30fpsとすることによって、「150fpsで撮像された動画のデータ」を30fpsで再生されるように記録するスロー動画記録が実現する。

特開２００５−１０９９８４号公報 特開平１０−５１７３５号公報 特開２００２−３２０２０３号公報

しかしながら、従来においては、スロー動画記録を行う場合には、音声のデータの記録及び再生が困難になる。
例えば、連続して通常動画記録或いはスロー動画記録が行われて記録媒体に記録された動画のデータがあるものとする。この場合、当該動画のデータが一定の再生レートで再生されると、通常動画記録と比較して、スロー動画記録ではスロー再生の効果を得ることが可能になる。
しかしながら、スロー動画記録の期間を通じて、音声のデータの記録及び再生の連続性を維持することは困難である。このため、一般的には、スロー動画記録では、音声のデータの記録及び再生は行われていない状況である。

本発明は、このような状況に鑑みてなされたものであり、連続して通常動画記録及びスロー動画記録が行われる場合、音声のデータの記録及び再生の連続性も維持することを目的とする。

本発明の一態様によると、
Ｘfps（Ｘは任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録する通常動画記録と、Ｙfps（Ｙは、Ｙ＞Ｘを満たす任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録するスロー動画記録とを連続して行う撮像装置において、
被写体を撮像することによって、前記被写体を含むフレームのデータを出力する撮像手段と、
音声を入力する音声入力手段と、
前記通常動画記録又は前記スロー動画記録によって、前記撮像手段から出力された複数の前記フレームのデータを動画のデータとして記録媒体に記録すると共に、前記音声入力手段に入力された前記音声のデータを前記記録媒体に記録する制御を行う制御手段と、
を備え、
前記制御手段は、
前記スロー動画記録の制御として、第１の撮像期間に前記撮像手段から出力されたＹfpsで撮像された動画の前記フレームのデータと、当該フレームのデータをＸfpsで再生されるよう記録する第１の記録期間に、前記撮像手段から出力されたＸfpsで撮像された動画の前記フレームのデータとを、それぞれ第１の画面画像、第２の画面画像とする合成画像として前記記録媒体に記録させる制御を行い、
前記通常動画記録の制御として、前記第１の撮像期間とは異なる第２の撮像期間に前記撮像手段から出力された前記フレームのデータを、前記第１の記録期間とは異なる第２の記録期間に、前記記録媒体に記録させる制御を行い、
前記音声のデータの記録制御として、前記第１の記録期間及び前記第２の記録期間の間連続して、前記音声のデータを前記記録媒体に記録させる制御を行う、
撮像装置を提供する。

本発明の一態様によると、
Ｘfps（Ｘは任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録する通常動画記録と、Ｙfps（Ｙは、Ｙ＞Ｘを満たす任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録するスロー動画記録とを連続して行う撮像装置によって、前記通常動画記録又は前記スロー動画記録によって、被写体を撮像したことにより得られた複数のフレームのデータを動画のデータとして記録媒体に記録すると共に、入力した音声のデータを前記記録媒体に記録する制御を行う撮像方法において、
前記スロー動画記録の制御として、第１の撮像期間にＹfpsで撮像された動画の前記フレームのデータと、当該フレームのデータがＸfpsで再生されるように記録する第１の記録期間にＸfpsで撮像された動画の前記フレームのデータとを、それぞれ子画面画像、親画面画像とする合成画像として前記記録媒体に記録させる制御を行うスロー動画記録制御ステップと、
前記通常動画記録の制御として、前記第１の撮像期間とは異なる第２の撮像期間に撮像されたフレームのデータを、前記第１の記録期間とは異なる第２の記録期間に、前記記録媒体に記録させる制御を行う通常動画記録制御ステップと、
前記音声のデータの記録制御として、前記第１の記録期間及び前記第２の記録期間の間連続して、前記音声のデータを前記記録媒体に記録させる制御を行う音声記録制御ステップと、
を含む撮像方法を提供する。

本発明の一態様によると、
Ｘfps（Ｘは任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録する通常動画記録と、Ｙfps（Ｙは、Ｙ＞Ｘを満たす任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録するスロー動画記録とを連続して行う撮像装置に対して、前記通常動画記録又は前記スロー動画記録によって、被写体が撮像されたことにより得られた複数のフレームのデータを動画のデータとして記録媒体に記録すると共に、入力した音声のデータを前記記録媒体に記録する制御を行うコンピュータに、
前記スロー動画記録の制御として、第１の撮像期間にＹfpsで撮像されたフレームのデータを、前記第１の撮像期間に応じて設定された第１の記録期間に、Ｙfpsで再生される子画面画像と、Ｘfpsで再生される親画面画像との合成画像として前記記録媒体に記録させる制御を行うスロー動画記録制御機能と、
前記通常動画記録の制御として、前記第１の撮像期間とは異なる第２の撮像期間に撮像されたフレームのデータを、前記第１の記録期間とは異なる第２の記録期間に、前記記録媒体に記録させる制御を行う通常動画記録制御機能と、
前記音声のデータの記録制御として、前記第１の記録期間及び前記第２の記録期間の間連続して、前記音声のデータを前記記録媒体に記録させる制御を行う音声記録制御機能と、
を実現させるプログラムを提供する。

本発明によれば、連続して通常動画記録及びスロー動画記録が行われる場合、音声のデータの記録及び再生の連続性も維持することができる。

本発明が適用される撮像装置によって通常動画記録及びスロー動画記録が連続して行われる場合の、撮像されたフレームのデータと、動画のデータとして記録されるフレームのデータとの関係を示すタイミングチャートである。 本発明の第１実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図２の撮像装置の機能的構成のうち、通常動画記録及びスロー動画記録を実現するための機能的構成を示す機能ブロック図である。 図２の撮像装置が実行する動画記録制御処理の流れの一例を示すフローチャートである。 図４の動画記録制御処理のうち、WAIT処理の詳細な流れの一例を示すフローチャートである。 図４の動画記録制御処理のうち、通常動画記録制御処理の詳細な流れの一例を示すフローチャートである。 図４の動画記録制御処理のうち、スロー動画記録制御処理の詳細な流れの一例を示すフローチャートである。 従来の撮像装置によって通常動画記録が行われる場合の、撮像されたフレームのデータと、動画のデータとして記録されるフレームのデータとの関係を示すタイミングチャートである。 従来の撮像装置によってスロー動画記録が行われる場合の、撮像されたフレームのデータと、動画のデータとして記録されるフレームのデータとの関係を示すタイミングチャートである。 本発明の第２実施形態が適用される撮像装置によって通常動画記録及びスロー動画記録が連続して行われる場合の、撮像されたフレームのデータと、動画のデータとして記録されるフレームのデータとの関係を示すタイミングチャートである。 本発明の第２実施形態に係る撮像装置の機能的構成のうち、通常動画記録及びスロー動画記録を実現するための機能的構成を示す機能ブロック図である。 図１１の撮像装置が実行するスロー動画記録制御処理の流れの一例を示すフローチャートである。 図１１の撮像装置が実行するスロー動画記録制御処理により生成される合成画像の一例を示す図である。 図１１の撮像装置が実行するスロー動画記録制御処理により生成される合成画像を説明する図である。

初めに、本発明の理解を容易なものとすべく、図１を参照して、本発明の概要について説明する。

図１は、本発明が適用される撮像装置によって通常動画記録及びスロー動画記録が連続して行われる場合の、撮像されたフレームのデータと、動画のデータとして記録されるフレームのデータとの関係を示すタイミングチャートである。

図１（ａ）は、撮像素子から出力されたフレームのデータを示すタイミングチャートである。
図１（ａ）において、１つの長方形が、撮像素子から出力された１つのフレームのデータを示している。
図１（ａ）には、フレーム番号は記載されていないが、同図中左端のフレームのデータに対して「０」のフレーム番号が付され、以下、同図中右方向の順番で、即ち撮像素子からの出力順番で、各フレームのデータの各々に対して、「１」，「２」，「３」，・・・といった１ずつ増加するフレーム番号が順次付されていくとする。
図１（ａ）の例では、撮像レートは、従来との比較を容易なものとすべく、上述した従来の図８（ａ）や図９（ａ）の例と同一の150fpsが採用されている。

図１（ｂ）は、通常動画記録の合間にスロー動画記録が行われる場合の、記録媒体に記録されるフレームと音声の各々のデータを示すタイミングチャートである。
図１（ｂ）において、１つの長方形が、記録媒体に記録される１つのフレームのデータを示している。長方形の内部に記述された数字が、当該長方形が示すフレームのデータに付されたフレーム番号を示している。なお、このことは、後述する図１（ｃ）についても同様である。

通常動画記録の場合、図１（ｂ）に示すように、図１（ａ）に示す撮像素子から出力されたフレームのデータのうち、５フレーム間隔毎のフレームのデータ（図１（ａ）の黒塗りの長方形として示すデータ）、即ち、フレーム番号が「０」，「５」，「１０」，「１５」，「２０」，「２５」のフレームのデータが記録対象として取得されて、記録媒体に記録される。

ユーザは、このような通常動画記録の最中に、スロー動画記録に切り替える操作（以下、「切替操作」と呼ぶ）を行うことができる。
このような切替操作が行われると、通常動画記録からスロー動画記録に切り替わり、次のような条件でフレームのデータが記録媒体に順次記録されていく。
即ち、スロー撮影速度は通常の５倍であり、撮像レートは150fpsであり、記録レートは30fpsであり、かつ、スロー動画撮像期間は１切替操作あたり0.1秒（即ち、スロー動画記録の対象フレーム数は１５）である、という条件でスロー動画記録が行われる。

具体的には、図１の例では、フレーム番号が「２６」のフレームのデータが撮像素子から出力された段階で、切替操作が行われている。
切替操作が行われた段階では、30fpsで撮像された動画データ、即ち、５フレーム間隔毎のフレームのデータの記録媒体への記録が継続している。正確には、フレーム番号が「２５」のフレームのデータが記録媒体に記録されている最中である。
このため、フレーム番号が「２５」のフレームのデータの記録媒体への記録が完了したタイミングで、通常動画記録からスロー動画記録に切り替わる。従って、切り替わった時点で撮像素子から出力されているフレームのデータ、即ち、フレーム番号が「２５」から５つ後の「３０」のフレームのデータから、スロー動画記録が開始する。
上述したように、スロー動画撮像期間は１切替操作あたり0.1秒、即ち、スロー動画記録の対象フレーム数は１５であるため、図１（ｂ）に示すように、フレーム番号が「３０」乃至「４４」のフレームのデータが、スロー動画記録の対象になる。
このため、スロー動画記録が開始すると、図１（ｂ）に示すように、図１（ａ）に示す撮像素子から出力されたフレームのデータの全てが、即ち、フレーム番号が「３０」，「３１」，「３２」，「３３」，・・・，「４４」のフレームのデータの全てが記録対象として取得されて、記録媒体に記録される。
このようにして、150fpsの撮像レートによって撮像された結果得られるフレームのデータがそのまま、「150fpsで撮像された動画のデータ」として取得されて、30fpsの記録レートで記録媒体に記録される。
そこで、再生レートも記録レートと同一の30fpsとすることによって、「150fpsで撮像された動画のデータ」を30fpsで再生されるように記録するスロー動画記録が実現する。

ここで、スロー動画撮像期間とは、図１（ａ）に示すように、スロー動画記録の対象のフレームのデータが撮像素子から出力されている時間をいう。
図１の例では、フレーム番号が「３０」乃至「４４」の１５個のフレームのデータが撮像素子から出力される時間は、撮像レートが150fpsであるため、0.1秒である。よって、図１の例のスロー動画撮像期間は0.1秒である。
しかしながら、フレーム番号が「３０」乃至「４４」の１５個のフレームのデータが記録媒体に記録される時間は、スロー動画撮像期間である0.1秒の５倍の時間、即ち、0.5秒になる。
このため、スロー動画記録が開始してから0.5秒後、即ち、フレーム番号が「４４」のフレームのデータの記録媒体への記録が完了した後、スロー動画記録から通常動画記録に再度切り替わる。
通常動画記録に再度切り替わった時点では、図１（ｂ）に示すように、撮像素子からはフレーム番号「１０５」のフレームのデータが出力されているため、その後、フレーム番号が「１０５」，「１１０」，「１１５」，「１２０」，「１２５」，「１３０」・・・のフレームのデータが記録対象として取得されて、記録媒体に記録される。

このようにして、動画のデータの記録については、最初に通常動画記録が行われ、切替操作が行われると、スロー動画記録に切り替わる。すると、スロー動画撮像期間である0.1秒の間に撮像素子から出力された１５個のフレームのデータが、スロー動画撮像期間である0.1秒の５倍の時間、即ち、0.5秒の間に記録媒体に記録される。その後、通常動画に再度切り替わる。
このようにして、スロー動画記録によって１５個のフレームのデータが記録媒体に記録される期間は、換言すると、通常動画記録によってフレームのデータが記録されない期間である。そこで、以下、このような期間を、図１（ｂ）に示すように、「スロー動画記録期間」と呼ぶ。
スロー動画記録期間は、スロー動画撮像期間に応じて設定される期間であり、図１（ｂ）の例でいえば、上述したように、スロー動画撮像期間である0.1秒の５倍の時間、即ち、0.5秒になる。
なお、通常動画記録によってフレームのデータが記録される期間を、以下、図１（ｂ）に示すように、「通常動画記録期間」と呼ぶ。

ここで、音声のデータは、図１（ｂ）に示すように、スロー動画記録期間と通常動画記録期間とを問わず、連続して記録媒体に記録され続ける。
これにより、通常動画記録及びスロー動画記録が連続して行われる場合であっても、音声のデータの記録及び再生の連続性が維持される。

図１（ｃ）は、切替操作が行われない場合、即ち、一貫して通常動画記録が行われる場合の、記録媒体に記録されるフレームと音声の各々のデータを示すタイミングチャートである。

切替操作が行われない場合には、図１（ｃ）に示すように、図１（ａ）に示す撮像素子から出力されたフレームのデータのうち、５フレーム間隔毎のフレームのデータ（図１（ａ）の黒塗りの長方形として示すデータ）、即ち、フレーム番号が「０」，「５」，「１０」，「１５」，「２０」，「２５」，「３０」・・・のフレームのデータが記録対象として取得されて、記録媒体に記録される。
即ち、切替操作が行われない場合には、フレーム番号が「３０」乃至「１０５」の間のフレームのデータについても、５フレーム間隔毎のフレームのデータが記録対象になるため、フレーム番号が「３０」，「３５」，「４０」，・・・，「９０」，「９５」，「１００」のフレームのデータが記録対象として取得されて、記録媒体に記録される。
換言すると、切替操作が行われない場合には、図１（ｃ）に示すように、スロー動画記録期間は設けられず、動画の記録の開始から終了まで一貫して通常動画記録期間になる。

［第１実施形態］
次に、図２以降の図面を参照して、本発明の第１実施形態について説明する。

図２は、本発明の第１実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。

撮像装置１は、光学レンズ装置１１と、ＡＦ機構１２と、シャッタ装置１３と、アクチュエータ１４と、イメージセンサ１５と、前段処理部１６と、ＴＧ(Timing Generator)１７と、DRAM（Dynamic Random Access Memory）１８と、信号処理部１９と、CPU（Central Processing Unit）２０と、RAM（Random Access Memory）２１と、ROM（Read Only Memory）２２と、操作部２３と、マイクロフォン２４と、メモリカード２５と、出力制御部２６と、スピーカ２７と、表示部２８と、を備える。

光学レンズ装置１１は、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサ１５の受光面に被写体像を結像させるためレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

ＡＦ機構１２は、CPU２０の制御に従って、フォーカスレンズを移動させることで、被写体にフォーカス（焦点）を合わせる。

シャッタ装置１３は、例えばシャッタ羽根等から構成される。シャッタ装置１３は、イメージセンサ１５へ入射する光束を遮断する機械式のシャッタとして機能する。シャッタ装置１３はまた、イメージセンサ１５へ入射する光束の光量を調節する絞りとしても機能する。

アクチュエータ１４は、CPU２０の制御に従って、シャッタ装置１３のシャッタ羽根を開閉させる。

イメージセンサ１５は、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。
光電変換素子には、光学レンズ装置１１からシャッタ装置１３を介して被写体像が入射される。そこで、光電変換素子は、ＴＧ１７から供給されるクロックパルスに従って、一定時間毎に被写体像を光電変換（撮影）して画像信号を画素毎に蓄積し、蓄積した画像信号を出力する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号（以下、「データ」と呼ぶ）が生成され、イメージセンサ１５の出力信号として出力される。
即ち、ＴＧ１７によって制御される撮像レートで、フレームのデータが順次イメージセンサ１５から出力される。

前段処理部１６は、ＴＧ１７から供給されるクロックパルスに従って、イメージセンサ１５から順次出力されるフレームのデータを、黒レベルの補正等の前処理を実行した上で、DRAM１８に記録させる。

ＴＧ１７は、CPU２０の制御に従って、撮像レートに対応する一定時間毎に、クロックパルスをイメージセンサ１５と前段処理部１６とにそれぞれ供給する。
これにより、イメージセンサ１５と前段処理部１６との動作速度は、撮像レートとなる。具体的には例えば上述の図１の例では撮像レートは150fpsであったので、イメージセンサ１５と前段処理部１６との各々は、いずれも秒間150コマ（150fps）の速度で動作する。

DRAM１８は、前段処理部１６から供給されたフレームのデータ又は信号処理部１９により信号処理が実行されたフレームのデータを一時的に記憶する。DRAM１８はまた、マイクロフォン２４からCPU２０を介して供給され音声のデータも一時的に記憶する。

信号処理部１９は、例えばDSP(Digital Signal Processor)等で構成され、CPU２０の制御に従って、前段処理部１６から供給されたフレームのデータ又はDRAM１８に記憶されたフレームのデータに対して各種信号処理を実行する。
なお、信号処理部１９が実行する信号処理の具体例については、図３以降の図面を参照して後述する。

CPU２０は、撮像装置１全体の動作を制御する。RAM２１は、CPU２０が各処理を実行する際にワーキングエリアとして機能する。ROM２２は、撮像装置１が各処理を実行するのに必要なプログラムやデータを記憶する。CPU２０は、RAM２１をワーキングエリアとして、ROM２２に記憶されているプログラムとの協働により各種処理を実行する。
なお、CPU２０が実行する処理の具体例については、図３以降の図面を参照して後述する。

出力制御部２６は、所定の再生レートで、DRAM１８に記憶されたフレームのデータを順次読み出し、当該データを表示部２８に適した形態の画像信号に変換して表示部２８に供給することにより、当該画像信号により表現されるフレームを表示部２８に順次表示させる。即ち、表示部２８は、複数のフレームを順次表示していくことで、動画を表示する。
出力制御部２６はまた、DRAM１８に記憶された音声のデータを読み出し、当該データをスピーカ２７に適した形態の音声信号に変換してスピーカ２７に供給することにより、当該音声信号により表現される音声をスピーカ２７から出力させる。

操作部２３は、ユーザによる各種ボタンの操作を受け付ける。
操作部２３は、例えば電源釦、十字釦、決定釦、メニュー釦、録画釦、シャッタ釦等を備える。
操作部２３は、受け付けた各種ボタンの操作に対応する信号を、CPU２０に供給する。CPU２０は、操作部２３からの信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。
例えば、録画釦の操作がなされた場合、CPU２０は、動画記録の指示があったと解釈し、信号処理部１９等を制御して、通常動画記録を開始する。
通常動画記録の実行中に、ユーザが操作部２３を用いて動画記録の切替操作を行った場合、CPU２０は、切替の指示があったと解釈し、信号処理部１９等を制御して、通常動画記録からスロー動画記録に切り替え、スロー動画記録が終了すると再度通常動画記録に切り替える。

マイクロフォン２４は、音声を入力し、アナログの音声信号として出力する。CPU２０は、アナログの音声信号に対してA/D変換処理等の処理を適宜実行し、その結果得られる音声のデータをDRAM１８に記憶させる。

メモリカード２５には、CPU２０の制御により通常動画記録又はスロー動画記録がなされた結果得られる動画及び音声の各データが記録される。メモリカード２５はまた、必要に応じて各種データを記録する。

図３は、このようなハードウェア構成を有する撮像装置１の機能的構成のうち、通常動画記録及びスロー動画記録を実現するための機能的構成を示す機能ブロック図である。

図３に示すように、通常動画記録及びスロー動画記録を実現するために、信号処理部１９には、後段処理部５１と、JPEG(Joint Photographic Experts Group)圧縮部５２と、が設けられる。CPU２０には、音声入力処理部５３と、記録制御部５４と、切替制御部５５と、が設けられる。DRAM１８には、RAWバッファ６１と、YUVバッファ６２と、JPEGバッファ６３と、音声バッファ６４と、が設けられる。

なお、後段処理部５１乃至切替制御部５５の実現形態は特に限定されず、ハードウェア単体として構成してもよいし、ソフトウェアとハードウェアとの組み合せとして構成してもよい。
また、撮像装置１全体として後段処理部５１乃至切替制御部５５の各機能を実現できれば足りるため、後段処理部５１乃至切替制御部５５の配置場所は図３の例に特に限定されず任意でよいし、機能ブロックとしての分割の単位も図３の例に特に限定されず任意でよい。

上述したように、イメージセンサ１５及び前段処理部１６は何れも、撮像レートと同一速度で動作する。本実施形態では、撮像レートは、図１の例にあわせて150fpsであるとする。即ち、本実施形態では、イメージセンサ１５及び前段処理部１６は何れも、秒間150コマの速度で動作する。

前段処理部１６から出力されるフレームのデータは、RAW画像のデータ（以下、「RAWデータ」と呼ぶ）であり、DRAM１８のRAWバッファ６１に書き込まれる。
本実施形態では、RAWバッファ６１は、図３に示すように、150フレーム分のデータ容量を有するリングバッファであるものとする。
また、本実施形態では、RAWバッファ６１においては、前段処理部１６の出力データの書き込みアドレスは、フレーム毎に順次切り替えられるものとする。

後段処理部５１は、RAWデータをフレーム毎にRAWバッファ６１から順次読み出し、読み出したフレームのRAWデータに対して、補間、色調整、輝度調整、エッジ調整等の画像処理を実行する。
これにより、フレームのデータとして、輝度信号（Ｙ）と、青色成分の差分信号（Ｕ）と、赤色成分の差分信号（Ｖ）との３要素からなるデータ（以下、「YUVデータ」と呼ぶ）が得られる。フレームのYUVデータは、DRAM１８のYUVバッファ６２に書き込まれる。

後段処理部５１の起動タイミングは、後述する切替制御部５５により制御される。

例えば、通常動画記録が行われる場合、図１を用いて説明したように、イメージセンサ１５から150fpsで出力される各フレームのデータのうち、５フレーム間隔毎のフレームのデータが記録対象として取得される。そこで、通常動画記録が行われる場合、RAWバッファ６１に対して５フレーム分のRAWデータが書き込まれる間隔毎に、後段処理部５１は切替制御部５５によって起動される。即ち、後段処理部５１は、５フレーム間隔毎に、１フレームのRAWデータをRAWバッファ６１から順次読み出して、YUVデータに変換して、YUVバッファ６２に書き込む。このようにして、YUVバッファ６２には、５フレーム間隔毎のフレームのYUVデータ、図１（ｂ）の例でいえば、フレーム番号が「０」，「５」，「１０」，「１５」，「２０」，「２５」の各フレームのYUVデータが記録対象として取得されて、YUVバッファ６２に書き込まれる。

これに対して、例えば、スロー動画記録が行われる場合、図１を用いて説明したように、イメージセンサ１５から150fpsで出力される各フレームのデータの全てが、記録対象として取得される。そこで、スロー動画記録が行われる場合、RAWバッファ６１に対して１フレーム分のRAWデータが書き込まれる毎に、後段処理部５１は切替制御部５５によって起動される。即ち、後段処理部５１は、全てのフレームのRAWデータをRAWバッファ６１から順次読み出して、YUVデータに変換して、YUVバッファ６２に順次書き込む。このようにして、YUVバッファ６２には、全フレームのYUVデータ、図１（ｂ）の例でいえば、フレーム番号が「３０」乃至「４４」の各フレームの全てのYUVデータが記録対象として取得されて、YUVバッファ６２に書き込まれる。

JPEG圧縮部５２は、YUVデータをフレーム毎に順次読み出し、JPEG方式に従って圧縮符号化する。これにより、フレームのYUVデータは、いわゆるJPEGデータに変換されて、JPEGバッファ６３に書き込まれる。

なお、このようなJPEG圧縮部５２がフレームのYUVデータをYUVバッファ６２から読み出す処理と、上述した後段処理部５１が別のフレームのYUVデータをYUVバッファ６２に書き込む処理とは並行して実行される。
このため、本実施形態では、YUVバッファ６２は、２面構成を有しており、後段処理部５１による書き込み処理と、JPEG圧縮部５２による読み出し処理とが重複しないように制御される。

音声入力処理部５３は、通常動画記録とスロー動画記録とを問わずに動画のデータの記録が行われている最中、マイクロフォン２４から出力される音声信号を連続して入力し、A/D変換等の処理を実行して、その結果得られる音声のデータを音声バッファ６４に書き込む。

記録制御部５４は、JPEGバッファ６３と音声バッファ６４との状態を監視しながら、各フレーム毎のJPEGデータ及び音声のデータを、所定の動画データフォーマットに合せて配列させるように、JPEGバッファ６３及び音声バッファ６４から順次取得して、メモリカード２５に順次記録する。
なお、この場合の記録レートは、本実施形態では、図１の例にあわせて30fpsであるものとする。

切替制御部５５は、通常動画記録とスロー動画記録との各制御及び一方から他方への切り替えを制御する。
本実施形態では、操作部２３の録画釦が操作されると、切替制御部５５は、通常動画記録の制御を開始する。即ち、切替制御部５５は、例えば図２のＴＧ１７のクロックパルス等を参照することで、RAWバッファ６１に対して５フレーム分のRAWデータが書き込まれる間隔毎に、後段処理部５１を起動する制御を行う。
その後、ユーザが操作部２３を用いて切替操作を行うと、切替制御部５５は、通常動画記録からスロー動画記録に切り替え、スロー動画記録を制御する。即ち、切替制御部５５は、例えば図２のＴＧ１７のクロックパルス等を参照することで、RAWバッファ６１に対して１フレーム分のRAWデータが書き込まれる毎に、後段処理部５１を起動する制御を行う。
その後、切替制御部５５は、スロー動画記録から通常動画記録に再度切り替え、通常動画記録を制御する。即ち、切替制御部５５は、RAWバッファ６１に対して５フレーム分のRAWデータが書き込まれる間隔毎に、後段処理部５１を起動する制御を再度行う。

次に、このような構成を有する撮像装置１が実行する処理のうち、動画及び音声のデータを記録する処理（以下、「記録処理」と呼ぶ）について説明する。

図４は、切替制御部５５が実行する動画の記録を制御する処理（以下、「動画記録制御処理」と呼ぶ）の流れの一例を示すフローチャートである。

動画記録制御処理は、例えば操作部２３の録画釦が操作されて、動画の記録が指示されると開始する。

ステップＳ１において、切替制御部５５は、各パラメータを初期化する。
本実施形態では、IdxNormal,IdxSlow,WaitCnt,SlowCnt,ChangeUpの各パラメータは「０」に設定される。なお、これらのパラメータの内容については後述する。
また、動画記録制御処理の状態を示すパラメータSt（以下、「状態St」と呼ぶ）は、待機状態を示す「WAIT」が設定される。なお、状態Stとして、その他、通常動画記録を行う状態を示す「NORMAL」と、スロー動画記録を行う状態を示す「SLOW」とが存在する。

ステップＳ２において、切替制御部５５は、終了操作があったか否かを判定する。
本実施形態では、操作部２３の録画釦が再度操作された場合、終了操作があったとして、ステップＳ２においてYESであると判定されて、動画記録制御処理が終了になるものとする。
従って、操作部２３の録画釦が再度操作されない場合、ステップＳ２においてNOであると判定されて、処理はステップＳ３に進む。

ステップＳ３において、切替制御部５５は、状態Stとして「WAIT」が設定されているか否か（St=WAIT）を判定する。

状態Stとして「WAIT」が設定されている場合には、ステップＳ３においてYESであると判定されて、処理はステップＳ４に進む。
ステップＳ４において、切替制御部５５は、RAWバッファ６１にRAWデータが指定したフレーム数分だけ蓄積されるまで、動画の記録を待つ処理（以下、「WAIT処理」と呼ぶ）を実行する。WAIT処理の詳細については、図５のフローチャートを参照して後述する。
ステップＳ４のWAIT処理が終了すると、処理はステップＳ２に戻され、それ以降の処理が繰り返される。

これに対して、状態Stとして「NORMAL」又は「SLOW」が設定されている場合には、ステップＳ３においてNOであると判定されて、処理はステップＳ５に進む。

ステップＳ５において、切替制御部５５は、状態Stとして「NORMAL」が設定されているか否か（St=NORMAL）を判定する。

詳細については図５のフローチャートを参照して後述するが、本実施形態では、５フレーム分のRAWデータがRAWバッファ６１に蓄積されると、状態Stの設定は「WAIT」から「NORMAL」に更新される。このような場合には、ステップＳ５においてYESであると判定されて、処理はステップＳ６に進む。
ステップＳ６において、切替制御部５５は、通常動画記録の制御を行う。即ち、切替制御部５５は、RAWバッファ６１に対して５フレーム分のRAWデータが書き込まれる間隔毎に、後段処理部５１を起動する制御等を行う。
なお、このような制御処理を、以下、「通常動画記録制御処理」と呼ぶ。通常動画記録制御処理の詳細については、図６のフローチャートを参照して後述する。
ステップＳ６の通常動画記録制御処理が終了すると、処理はステップＳ２に戻され、それ以降の処理が繰り返される。

詳細については図６のフローチャートを参照して後述するが、本実施形態では、通常動画記録が行われている最中にユーザが操作部２３を用いて切替操作を行うと、状態Stの設定は「NORMAL」から「SLOW」に更新される。このような場合には、ステップＳ５においてNOであると判定されて、処理はステップＳ７に進む。
ステップＳ７において、切替制御部５５は、通常動画記録からスロー動画記録に切り替え、スロー動画記録を制御する。即ち、切替制御部５５は、RAWバッファ６１に対して１フレーム分のRAWデータが書き込まれる毎に、後段処理部５１を起動する制御等を行う。
なお、このような制御処理を、以下、「スロー動画記録制御処理」と呼ぶ。スロー動画記録制御処理の詳細については、図７のフローチャートを参照して後述する。
ステップＳ７のスロー動画記録制御処理が終了すると、処理はステップＳ２に戻され、それ以降の処理が繰り返される。

次に、動画記録制御処理のうち、ステップＳ４のWAIT処理の詳細について説明する。
図５は、WAIT処理の詳細な流れの一例を示すフローチャートである。

上述したように、状態Stとして「WAIT」が設定されると、ステップＳ３の処理でYESであると判定されて、ステップＳ４の処理でWAIT処理が開始される。

ステップＳ２１において、切替制御部５５は、１フレーム書き込み待ちの処理を実行する。即ち、１フレーム分のRAWデータがRAWバッファ６１に書き込まれると、ステップＳ２１の処理は終了し、処理はステップＳ２２に進む。

ステップＳ２２において、切替制御部５５は、WaitCntの値を１だけインクリメントする（WaitCnt++）。
ここで、WaitCntは、WAIT処理の繰り返し回数を示すパラメータ、換言すると、RAWバッファ６１にRAWデータとして蓄積されているフレームの枚数を示すパラメータである。

ステップＳ２３において、切替制御部５５は、WaitCntの値が５であるか否かを判定する。

WaitCntの値が４以下の場合、即ち、RAWバッファ６１にRAWデータとして蓄積されているフレームの枚数が４枚以下の場合、ステップＳ２３においてＮＯであると判定されて、WAIT処理は終了となる。即ち、図４のステップＳ４の処理は終了し、処理はステップＳ２に戻され、それ以降の処理が繰り返される。

このようにして、RAWバッファ６１に５フレーム分のRAWデータが蓄積されるまでの間、ステップＳ２NO，ステップＳ３YES，ステップＳ４のループ処理が繰り返されることで、動画記録制御処理は待機状態になる。

その後、RAWバッファ６１に５フレーム分のRAWデータが蓄積されると、ステップＳ２３においてYESであると判定されて、処理はステップＳ２４に進む。
ステップＳ２４において、切替制御部５５は、状態Stを「WAIT」から「NORMAL」に更新し（St=NORMAL）、WaitCntの値を「０」に戻す（WaitCnt=0）。
これにより、WAIT処理は終了となる。即ち、図４のステップＳ４の処理は終了し、処理はステップＳ２に戻され、それ以降の処理が繰り返される。

ただし、今度は、状態Stは「NORMAL」に設定されているので、ステップＳ３の処理でNOであると判定されて、ステップＳ５の処理でYESであると判定されて、ステップＳ６の通常動画記録制御処理が実行される。

そこで、次に、ステップＳ６の通常動画記録制御処理の詳細について説明する。
図６は、通常動画記録制御処理の詳細な流れの一例を示すフローチャートである。

ステップＳ４１において、切替制御部５５は、フレーム番号がIdxNormalのフレームの書き込み待ちの処理を実行する。
IdxNormalとは、通常動画記録における次の記録対象となるフレームのデータに付されたフレーム番号を示すパラメータである。
従って、フレーム番号がIdxNormalのフレームのRAWデータがRAWバッファ６１に書き込まれると、ステップＳ４１の処理は終了し、処理はステップＳ４２に進む。

ステップＳ４２において、切替制御部５５は、後段処理部５１を起動する制御を行う。
ステップＳ４３において、切替制御部５５は、フレーム番号がIdxNormalのフレームに対する後段処理部５１の処理終了待ちの処理を実行する。
後段処理部５１が、フレーム番号がIdxNormalのフレームのRAWデータをRAWバッファ６１から読み出して、YUVデータに変換して、YUVバッファ６２に書き込む。これにより、ステップＳ４３の処理は終了して、処理はステップＳ４４に進む。

ステップＳ４４において、切替制御部５５は、IdxNormalの値を５つインクリメントする（IdxNormal+=5）。

ステップＳ４５において、切替制御部５５は、ChangeUpが「１」であるか否かを判定する。
ここで、ChangeUpとは、通常動画記録からスロー動画記録への切り替えの許可又は不許可を示す切替フラグである。上述した切替操作が行われると、ChangeUpは「０」から「１」に切り替えられる。即ち、ChangeUpが「０」の場合、通常動画記録からスロー動画記録への切り替えは不許可になる。一方、ChangeUpが「１」の場合、通常動画記録からスロー動画記録への切り替えは許可になる。
従って、ユーザが操作部２３を用いて切替操作を行うまでの間、ChangeUpは「０」であるので、ステップＳ４５においてNOであると判定されて、通常動画記録制御処理は終了となる。
即ち、図４のステップＳ６の処理は終了し、処理はステップＳ２に戻され、それ以降の処理が繰り返される。

このようにして、切替操作が行われない限り、ステップＳ２；ＮＯ、ステップＳ３；ＮＯ，ステップＳ５；ＹＥＳ，ステップＳ６のループ処理が繰り返されることで、通常動画記録が行われる。
即ち、ステップＳ４４の処理が繰り返される毎に、IdxNormalが「０」，「５」，「１０」，「１５」，「２０」，「２５」と更新されていく。よって、図１（ｂ）を用いて説明したように、フレーム番号が「０」，「５」，「１０」，「１５」，「２０」，「２５」のフレームのRAWデータがRAWバッファ６１に書き込まれる度に、後段処理部５１が起動される。その結果、フレーム番号が「０」，「５」，「１０」，「１５」，「２０」，「２５」のフレームのYUVデータが得られる。さらに、JPEG圧縮部５２によって、フレーム番号が「０」，「５」，「１０」，「１５」，「２０」，「２５」のフレームのJPEGデータが記録対象として得られて、記録制御部５４を介してメモリカード２５に記録される。

その後、このような通常動画記録の最中に切替操作が行われると、ChangeUpは「０」から「１」に切り替わるので、ステップＳ４５においてYESであると判定されて、処理はステップＳ４６に進む。
ステップＳ４６において、切替制御部５５は、状態Stを「NORMAL」から「SLOW」に切り替える。切替制御部５５はまた、IdxSlowの値をIdxNormalの値に更新し（IdxSlow=IdxNormal）、ChangeUpの値を「０」に更新する。
なお、IdxSlowの内容については、後述する。
これにより、通常動画記録制御処理は終了となる。
即ち、図４のステップＳ６の処理は終了し、処理はステップＳ２に戻され、それ以降の処理が繰り返される。

ただし、今度は、状態Stは「SLOW」に設定されているので、ステップＳ３の処理でNOであると判定されて、ステップＳ５の処理でNOであると判定されて、ステップＳ７のスロー動画記録制御処理が実行される。

そこで、次に、ステップＳ７のスロー動画記録制御処理の詳細について説明する。
図７は、スロー動画記録制御処理の詳細な流れの一例を示すフローチャートである。

ステップＳ６１において、切替制御部５５は、フレーム番号がIdxSlowのフレームの書き込み待ちの処理を実行する。
IdxSlowとは、スロー動画記録における次の記録対象となるフレームのデータに付されたフレーム番号を示すパラメータである。
従って、フレーム番号がIdxSlowのフレームのRAWデータがRAWバッファ６１に書き込まれると、ステップＳ６１の処理は終了し、処理はステップＳ６２に進む。

ステップＳ６２において、切替制御部５５は、後段処理部５１を起動する制御を行う。
ステップＳ６３において、切替制御部５５は、フレーム番号がIdxSlowのフレームに対する後段処理部５１の処理終了待ちの処理を実行する。
後段処理部５１が、フレーム番号がIdxSlowのフレームのRAWデータをRAWバッファ６１から読み出して、YUVデータに変換して、YUVバッファ６２に書き込む。これにより、ステップＳ６３の処理は終了して、処理はステップＳ６４に進む。

ステップＳ６４において、切替制御部５５は、IdxSlowの値を１だけインクリメントし（IdxSlow++）、IdxNormalの値を５つインクリメントし（IdxNormal+=5）、SlowCntの値を１だけインクリメントする（SlowCnt++）。
ここで、SlowCntとは、スロー動画記録制御処理の繰り返し回数を示すパラメータ、換言すると、スロー動画記録によりメモリカード２５にJPEGデータとして記録されたフレームの枚数を示すパラメータである。

ステップＳ６５において、切替制御部５５は、SlowCntが「１５」であるか否かを判定する。
本実施形態では、スロー動画記録によりメモリカード２５にJPEGデータとして記録されるフレームの総枚数は、上述したように１５枚である。
従って、スロー動画記録によりメモリカード２５にJPEGデータとして記録されたフレームの現在の枚数が１４枚以下の場合、ステップＳ６５においてNOであると判定されて、スロー動画記録制御処理は終了となる。
即ち、図４のステップＳ７の処理は終了し、処理はステップＳ２に戻され、それ以降の処理が繰り返される。

このようにして、切替操作が行われると、ステップＳ２；ＮＯ，ステップＳ３；ＮＯ，ステップＳ５；ＮＯ，ステップＳ７のループ処理が繰り返されることで、スロー動画記録が行われる。
即ち、ステップＳ６４の処理が繰り返される毎に、IdxSlowが１つずつ更新されていく。例えばIdxNormalが「３０」の状態で切替操作が行われた場合には、図６のステップＳ４６の処理でIdxSlowが「３０」に設定されて、１回目のスロー映像動画記録性処理が実行されたとする。この場合、IdxSlowは「３０」，「３１」，「３２」，・・・と更新されていく。
図１（ｂ）を用いて説明したように、フレーム番号が「３０」，「３１」，「３２」，・・・のフレームのRAWデータがRAWバッファ６１に書き込まれる度に、後段処理部５１が起動される。その結果、フレーム番号が「３０」，「３１」，「３２」，・・・のフレームのYUVデータが得られる。さらに、JPEG圧縮部５２によって、フレーム番号が「３０」，「３１」，「３２」，・・・のフレームのJPEGデータが記録対象として得られて、記録制御部５４を介してメモリカード２５に記録される。

その後、このようなスロー動画記録が行われて、１５枚目のフレーム、図１（ｂ）の例でいえばフレーム番号が「４４」のフレームのJPEGデータがメモリカード２５に記録されると、SlowCntが「１５」になるので、ステップＳ６５においてYESであると判定されて、処理はステップＳ６６に進む。
ステップＳ６６において、切替制御部５５は、状態Stを「SLOW」から「NORMAL」に再度切り替える。切替制御部５５はまた、SlowCntの値を「０」に更新する。
これにより、スロー動画記録制御処理は終了となる。
即ち、図４のステップＳ６の処理は終了し、処理はステップＳ２に戻される。その後、再度切替操作が行われない限り、ステップＳ２；ＮＯ，ステップＳ３；ＮＯ，ステップＳ５；ＹＥＳ，ステップＳ６のループ処理が繰り返されることで、通常動画記録が再度行われる。

このようにして、切替制御部５５が、図４乃至図７に示す動画記録制御を実行することで、通常動画記録及びスロー動画記録が連続して行われる。
この間、記録制御部５４による音声のデータのメモリカード２５への記録は連続して行われる。即ち、音声のデータの記録は、例えば操作部２３の録画釦が操作されて、動画の記録が指示されると、動画記録制御と共に開始する。そして、切替操作があったか否かに関わらず、即ち通常動画記録からスロー動画記録への切り替えがあったか否かに関わらず、音声のデータの記録の処理は独立して継続する。

撮像装置１は、このようにしてメモリカード２５に記録した動画及び音声のデータを再生することができる。
この場合、動画のデータの再生レートは、上述したように通常の30fpsとなる。従って、スロー動画記録の区間では、５倍スローの動画が再生される。また、その他の区間、即ち通常動画記録の区間では、通常通り等倍速で動画が再生される。音声については、動画のスロー再生と等倍速再生とに関係なく、連続して再生される。

以上説明したように、本実施形態に係る撮像装置１は、
被写体を撮像することによって、被写体を含むフレームのデータを出力するイメージセンサ１５と、
音声を入力するマイクロフォン２４と、
通常動画記録又はスロー動画記録によって、イメージセンサ１５から出力された複数のフレームのデータを動画のデータとしてメモリカード２５に記録すると共に、マイクロフォン２４に入力された音声のデータをメモリカード２５に記録する制御を行うCPU２０と、
を備えている。
CPU２０は、
スロー動画記録の制御として、所定のスロー動画撮像期間（第１の撮像期間）の間にイメージセンサ１５から出力されたフレームのデータを、スロー動画撮像期間に応じて設定されたスロー動画記録期間（第１の記録期間）に、メモリカード２５に記録させる制御を行い、
通常動画記録の制御として、スロー動画撮像期間とは別の期間（第２の撮像期間）にイメージセンサ１５から出力されたフレームのデータを、通常動画記録期間（第２の記録期間）にメモリカード２５に記録させる制御を行い、
音声のデータの記録制御として、スロー動画記録期間及び通常動画記録期間の間連続して、音声のデータをメモリカード２５に記録させる制御を行うことができる。

これにより、連続して通常動画記録及びスロー動画記録が行われる場合、音声のデータの記録及び再生の連続性も維持することが可能になる。即ち、通常の再生処理によって、通常の音声再生の連続性を維持しながら、スロー撮影の効果を表現した動画の再生をすることが可能になる。

［第２実施形態］
続いて、本発明の第２実施形態について、図１０乃至図１４を参照して説明する。本実施形態では、所定のスロー動画撮像期間（第１の撮像期間）の間にイメージセンサ１５から出力されたフレームのデータ、即ち、Ｙfps（Ｙは任意の数値）で撮像された高いフレームレートのデータを記録するスロー動画記録の制御を行う際に、スロー動画撮像期間にＹfpsで撮像された高いフレームのデータより生成された子画面画像と、スロー動画撮像期間に応じて設定されたスロー動画記録期間（第１の記録期間）に、Ｘfps（Ｘは、Ｙ＞Ｘを満たす任意の数値）で撮像されたフレームのデータより生成された親画面画像との合成画像をＸfpsで再生される合成画像としてメモリカード２５に記録させる点が第１実施形態とは異なる。

図１０を参照して、本実施形態の概要について説明する。

図１０は、本発明が適用される撮像装置によって通常動画記録及びスロー動画記録が連続して行われる場合の、撮像されたフレームのデータと、動画のデータとして記録されるフレームのデータとの関係を示すタイミングチャートである。

図１０（ａ）は、撮像素子から出力されたフレームのデータを示すタイミングチャートである。
図１０（ａ）において、１つの長方形が、撮像素子から出力された１つのフレームのデータを示している。各長方形にフレーム番号は記載されていないが、左端のフレームのデータに対して「０」のフレーム番号が付され、以下、右方向の順番で、即ち撮像素子からの出力順番で、各フレームのデータの各々に対して、「１」，「２」，「３」，・・・といった１ずつ増加するフレーム番号が順次付されていくとする。図１０（ａ）の例では、撮像レートは、従来との比較を容易なものとすべく、上述した従来の図８（ａ）や図９（ａ）の例と同一の150fpsが採用されている。

図１０（ｂ）は、通常動画記録の合間にスロー動画記録が行われる場合の、記録媒体に記録されるフレームと音声の各々のデータを示すタイミングチャートである。
図１０（ｂ）において、親画面用画像の１つの長方形は、記録媒体に記録される30fpsの合成画像に合成される親画面用画像の１つのフレームのデータを示している。また、子画面用画像の１つの長方形は、記録媒体に記録される30fpsの合成画像に合成される子画面用画像の１つのフレームのデータを示している。また、それぞれ長方形の内部に記述された数字は、150fps撮像の長方形が示すフレームのデータに付されたフレーム番号を示している。なお、長方形の内部に記述された数字は、後述する図１０（ｃ）についても同様である。

通常動画記録の場合、図１０（ｂ）に示すように、撮像素子から出力されたフレームのデータのうち、５フレーム間隔毎のフレームのデータ（図１０（ａ）の黒塗りの長方形として示すデータ）、即ち、フレーム番号が「０」，「５」，「１０」，「１５」，「２０」，「２５」のフレームのデータが記録対象として取得されて、記録媒体に記録される。

ユーザは、このような通常動画記録の最中に、スロー動画記録に切り替える切替操作を操作部２３を用いて行うことができる。このような切替操作が行われると、通常動画記録からスロー動画記録に切り替わり、次のような条件で、撮像素子から出力されるフレームのデータが記録媒体に順次記録されていく。すなわち、撮像レート150fps、記録レート30fpsにおいて、スロー動画撮像期間は、１切替操作あたり0.1秒（即ち、スロー動画記録の対象フレーム数は１５）である。このスロー動画撮像期間では、通常動画撮影期間の５倍のフレームレートで子画面画像用の画像データが取得される。同時に、スロー動画撮像期間に応じたスロー動画記録期間では、撮像素子から出力されるフレームのデータのうち、５フレーム間隔毎のフレームのデータ（図１０（ａ）の斜線の長方形として示すデータ）、即ち、フレーム番号が「３０」，「３５」，「４０」，「４５」，「５０」，「５５」，・・・・「１００」のフレームのデータが親画面画像用の画像データとして取得される。このようにして取得された子画面画像用の画像データと親画面画像用の画像データは、２画面からなる合成画像に合成され記録される。

具体的には、図１０の例では、フレーム番号が「２６」のフレームのデータが撮像素子から出力された段階で、切替操作が行われている。この切替操作が行われた段階では、30fpsで撮像された動画データ、即ち、５フレーム間隔毎のフレームのデータのうち、フレーム番号が「２５」のフレームのデータが記録媒体に記録されている最中である。このため、フレーム番号が「２５」のフレームのデータの記録媒体への記録が完了したタイミングで、通常動画記録からスロー動画記録に切り替わる。従って、切り替わった時点で撮像素子から出力されているフレームのデータ、即ち、フレーム番号が「２５」から５つ後の「３０」のフレームのデータから、スロー動画記録を開始する。
上述したように、スロー動画撮像期間は１切替操作あたり0.1秒、即ち、スロー動画記録の対象フレーム数は１５であるため、図１（ｂ）に示すように、フレーム番号が「３０」乃至「４４」のフレームのデータが、子画面画像用スロー動画記録の対象になる。このため、スロー動画記録を開始すると、撮像素子から出力された全てのフレームのデータが、即ち、フレーム番号が「３０」，「３１」，「３２」，「３３」，・・・，「４４」の全てのフレームのデータが子画面画像の画像データとして取得される。
同時に、撮像素子から出力されたフレームのデータのうち、５フレーム間隔毎のフレームのデータ（図１０（ａ）の斜線の長方形として示すデータ）、即ち、フレーム番号が「３０」，「３５」，「４０」，「４５」，「５０」，「５５」，・・・・「１００」のフレームのデータが親画面画像の画像データとして取得される。このようにして取得された子画面画像の画像データと親画面画像の画像データは合成され、２画面からなる30fpsの合成画像が生成される。

図１３に、スロー動画記録制御処理により、「150fpsで撮像された動画のデータ」を子画面、「30fpsの撮像レートに相当する動画のデータ」を親画面、として合成した２画面の合成画像の一例を示す。図１３では、親画面には通常再生のピッチャーの画像が、子画面にはスロー再生のピッチャーの画像が、親画面と子画面とに分かれて再生されている。

次に、通常動画記録に再度切り替わった時点では、図１０（ｂ）に示すように、撮像素子からはフレーム番号「１０５」のフレームのデータが出力されている。この場合、ここに至るまでのフレームのデータは親画面画像として記録されている。その後、フレーム番号が「１０５」，「１１０」，「１１５」，「１２０」，「１２５」，「１３０」・・・のフレームのデータが１画面画像用の記録対象として取得されて、記録媒体に記録される。

なお、スロー動画記録によって、連続する１５個のフレームのデータを子画面用画像データとして、５分の一にフレーム間引きされた１５個のフレームのデータを親画面用画像データとして合成した合成画像が記録媒体に記録される期間を、図１０（ａ）に示すように、「スロー動画記録期間」と呼ぶ。このスロー動画記録期間は、スロー動画撮像期間に応じて設定される期間であり、図１０（ｂ）の例でいえば、スロー動画撮像期間である0.1秒の５倍の時間、即ち、0.5秒になる。
また、通常動画記録によってフレームのデータが記録される期間を、図１０（ａ）に示すように、以下、「通常動画記録期間」と呼ぶ。この期間、子画面用の画像データについては、記録されることのない「無記録期間」となる。

ここで、音声のデータは、図１０（ｂ）に示すように、スロー動画記録期間と通常動画記録期間とを問わず、連続して記録媒体に記録され続ける。
これにより、通常動画記録及びスロー動画記録が連続して行われる場合であっても、音声のデータの記録及び再生の連続性が維持される。

図１０（ｃ）は、切替操作が行われない場合、即ち、一貫して通常動画記録が行われる場合の、記録媒体に記録されるフレームと音声の各々のデータを示すタイミングチャートである。この場合、スロー動画記録期間は設けられず、動画の記録の開始から終了まで一貫して通常動画記録期間になる。

次に、第２実施形態に係る撮像装置の構成について、図１１を参照して説明する。

図１１は、第２実施形態に係る通常動画記録及びスロー動画記録を実現するための機能的構成を示す機能ブロック図である。第２実施形態に係る撮像装置は、第１実施形態に係る撮像装置１と略同一の構成で実現できる。このため、第１実施形態に係る撮像装置１と同一の構成には同一の番号を付して説明を省略し、特徴部分のみ説明する。

イメージセンサ１５及び前段処理部１６は何れも、撮像レートと同一速度で動作する。図１０の例では、イメージセンサ１５及び前段処理部１６はそれぞれ、１秒間に１５０フレームの撮像動作と前段処理を実行する。

前段処理部１６から出力されるフレームのデータは、RAW画像のデータ、即ち、RAWデータであり、DRAM１８のRAWバッファ６１に書き込まれる。このRAWバッファ６１は、150フレーム分のデータ容量を有するリングバッファである。また、RAWバッファ６１においては、前段処理部１６の出力データの書き込みアドレスは、フレーム毎に順次切り替えられる。

後段処理部５１の起動タイミングは、切替制御部５５により制御される。例えば、通常動画記録が行われる場合、図１０を用いて説明したように、イメージセンサ１５から150fpsで出力される各フレームのデータのうち、５フレーム間隔毎のフレームのデータが記録対象として取得される。そこで、通常動画記録が行われる場合、RAWバッファ６１に対して５フレーム分のRAWデータが書き込まれる間隔毎に、後段処理部５１は切替制御部５５によって起動される。即ち、後段処理部５１は、５フレーム間隔毎に、１フレームのRAWデータをRAWバッファ６１から順次読み出して、YUVデータに変換して、YUVバッファ７２に書き込む。このようにして、YUVバッファ７２には、５フレーム間隔毎のフレームのYUVデータ、図１０（ｂ）の例でいえば、フレーム番号が「０」，「５」，「１０」，「１５」，「２０」，「２５」の各フレームのYUVデータが記録対象として取得されて、YUVバッファ７２に書き込まれる。

これに対して、例えば、スロー動画記録が行われる場合、図１０を用いて説明したように、イメージセンサ１５から150fpsで出力される各フレームのデータが、子画面用画像のための記録対象として取得される。そこで、スロー動画記録が行われる場合、RAWバッファ６１に対して１フレーム分のRAWデータが書き込まれる毎に、後段処理部５１は切替制御部５５によって起動される。即ち、後段処理部５１は、全てのフレームのRAWデータをRAWバッファ６１から順次読み出して、YUVデータに変換して、YUVバッファ７２に順次書き込む。このようにして、YUVバッファ７２には、全フレームのYUVデータ、図１０（ｂ）の例でいえば、フレーム番号が「３０」乃至「４４」の全てのフレームのYUVデータが記録対象として取得されて、子画面用の画像データとしてYUVバッファ７２に書き込まれる。同時に、後段処理部５１は、５フレーム間隔毎に、１フレームのRAWデータをRAWバッファ６１から順次読み出して、YUVデータに変換して、親画面の画像データとして、YUVバッファ７２に書き込む。

JPEG圧縮部５２は、YUVデータをフレーム毎に順次読み出し、JPEG方式に従って圧縮符号化する。これにより、フレームのYUVデータは、いわゆるJPEGデータに変換されて、JPEGバッファ６３に書き込まれる。

なお、このようなJPEG圧縮部５２がフレームのYUVデータをYUVバッファ７２から読み出す処理と、上述した後段処理部５１が別のフレームのYUVデータを親画面用の画像データとしてYUVバッファ７２に書き込む処理、及び子画面用の画像データとしてYUVバッファ７２に書き込む処理とは並行して実行される。このため、YUVバッファ７２は、親画面用の画像データ及び合成後の画像データの書き込み処理を行うための記憶領域と、JPEG圧縮部５２による読み出し処理のための記憶領域と、さらに子画面用の画像データを書き込むための記憶領域とにより構成される。また、ぞれぞれの記憶領域は、後段処理部５１による親画面用の画像データと合成後の画像データの書き込み処理と、後段処理部５１による子画面用の画像データの書き込み処理と、JPEG圧縮部５２による読み出し処理とに対応する記憶領域が重複しないように、YUVバッファ７２内で順次記憶領域を切り替えるように制御される。

次に、本実施形態のスロー動画記録制御処理の詳細について説明する。
図１２は、スロー動画記録制御処理の詳細な流れの一例を示すフローチャートである。

本実施形態では、スロー動画記録制御処理への切替操作はシャッタ釦の押下とする。すなわち、上述の図４の動画記録制御処理のステップＳ５において、切替制御部５５によって、ユーザがシャッタ釦を押下したと判定された時にスロー動画記録制御処理は開始する。

ステップＳ７１において、切替制御部５５は、フレーム番号がIdxNormalのフレームの書き込み待ちの処理を実行する。
IdxNormalとは、スロー動画記録制御処理において、親画面用の画像として次の記録対象となるフレームのデータに付されたフレーム番号を示すパラメータである。
従って、フレーム番号がIdxNormalのフレームのRAWデータがRAWバッファ６１に書き込まれると、ステップＳ７１の処理は終了し、処理はステップＳ７２に進む。

ステップＳ７２において、切替制御部５５は、後段処理部５１を起動する制御を行う。
ステップＳ７３において、切替制御部５５は、フレーム番号がIdxNormalのフレームに対する後段処理部５１の処理終了待ちの処理を実行する。
後段処理部５１は、フレーム番号がIdxNormalのフレームのRAWデータをRAWバッファ６１から読み出して、YUVデータに変換する。その後、変換されたYUVデータを、YUVバッファ７２の親画面又は合成画像の画像データのために確保した記憶領域に書き込む。これにより、ステップＳ７３の処理は終了して、処理はステップＳ７４に進む。

ステップＳ７４において、切替制御部５５は、フレーム番号がIdxSlowのフレームの書き込み待ちの処理を実行する。
IdxSlowとは、スロー動画記録制御処理において、子画面用の画像として次の記録対象となるフレームのデータに付されたフレーム番号を示すパラメータである。
従って、フレーム番号がIdxSlowのフレームのRAWデータがRAWバッファ６１に書き込まれると、ステップＳ７４の処理は終了し、処理はステップＳ７５に進む。

ステップＳ７５において、切替制御部５５は、後段処理部５１を起動する制御を行う。
ステップＳ７６において、切替制御部５５は、フレーム番号がIdxSlowのフレームに対する後段処理部５１の処理終了待ちの処理を実行する。
後段処理部５１は、フレーム番号がIdxSlowのフレームのRAWデータをRAWバッファ６１から読み出して、YUVデータに変換する。その後、変換されたYUVデータを、YUVバッファ７２の子画面用の画像データのために確保した記憶領域に書き込む。これにより、ステップＳ７６の処理は終了して、処理はステップＳ７７に進む。

ステップＳ７７において、切替制御部５５は、IdxSlowの値を１だけインクリメントし（IdxSlow++）、IdxNormalの値を５つインクリメントし（IdxNormal+=5）、SlowCntの値を１だけインクリメントする（SlowCnt++）。

ステップＳ７８において、切替制御部５５は、親画面用画像と子画面用画像とを合成する。切替制御部５５は、ピクチャーインピクチャー（PinP: Picture in Picture）手法により、ステップＳ７２で起動された後段処理部５１によってYUVバッファ７２に書き込まれた親画面及び合成画像用の画像データに、ステップＳ７５で起動された起動された後段処理部５１によってYUVバッファ７２に書き込まれた子画面用の画像データを縮小してコピーする。

ステップＳ７９において、切替制御部５５は、SlowCntが「１５」であるか否かを判定する。スロー動画記録によりメモリカード２５にJPEGデータとして記録されるフレームの総枚数は、上述したように１５枚であるので、スロー動画記録によりメモリカード２５にJPEGデータとして記録されたフレームの現在の枚数が１４枚以下の場合、ステップＳ７９においてNOであると判定されて、スロー動画記録制御処理は終了となる。

この場合、図４の動画記録制御処理において、ステップＳ２；ＮＯ，ステップＳ３；ＮＯ，ステップＳ５；ＮＯ，ステップＳ７が繰り返されることで、スロー動画記録により記録されたフレームの総枚数が１５枚になるまで、スロー動画記録が行われる。
即ち、ステップＳ７７の処理が繰り返される毎に、IdxSlowが１つずつ更新されていく。例えばIdxNormalが「３０」の状態で切替操作が行われた場合には、図６のステップＳ４６の処理でIdxSlowが「３０」に設定されて、１回目のスロー映像動画記録性処理が実行されたとする。この場合、IdxSlowは「３０」，「３１」，「３２」，・・・と更新されていく。

図１４に、スロー動画記録制御処理により生成される合成画像の一例を示す。
図１０（ｂ）を参照して説明したように、フレーム番号が「３０」，「３１」，「３２」，・・・のフレームのRAWデータがRAWバッファ６１に書き込まれる度に、後段処理部５１が起動される。さらに、フレーム番号が「３０」，「３５」，「４０」，・・・のフレームのRAWデータがRAWバッファ６１に書き込まれる度にも、後段処理部５１が起動される。その結果、図１４に示すように、フレーム番号が「３０」，「３５」，「４０」，・・・「１００」の親画面用のフレームのYUVデータ（親画面データ）にフレーム番号が「３０」，「３１」，「３２」，・・・「４４」の子画面用のフレームのYUVデータ（子画面データ）を縮小してコピーされた合成画像のフレーム「Ｓ０」，「Ｓ１」，「Ｓ２」，・・・「Ｓ１４」のYUVデータ（合成画像データ）が得られる。さらに、JPEG圧縮部５２によって、合成画像のフレーム「Ｓ０」，「Ｓ１」，「Ｓ２」，・・・「Ｓ１４」のJPEGデータが記録対象として得られて、ＪＰＥＧバッファ６３、及び、記録制御部５４を介してメモリカード２５に記録される。

その後、このようなスロー動画記録が行われて、１５枚目のフレーム、図１４の例でいえば「Ｓ１４」のフレームのJPEGデータがメモリカード２５に記録されると、SlowCntが「１５」になるので、ステップＳ７９においてYESであると判定されて、処理はステップＳ８０に進む。
ステップＳ８０において、切替制御部５５は、状態Stを「SLOW」から「NORMAL」に再度切り替える。また、切替制御部５５は、SlowCntの値を「０」に更新する。これにより、スロー動画記録制御処理は終了となる。
この場合、図４の動画記録処理において、再度切替操作が行われない限り、ステップＳ２；ＮＯ，ステップＳ３；ＮＯ，ステップＳ５；ＹＥＳ，ステップＳ６のループ処理が繰り返されることで、通常動画記録が再度行われる。

このようにして、切替制御部５５が、図１２に示すスロー動画記録制御処理を実行することで、親画面用の通常動画記録及び子画面用のスロー動画記録と親画面用画像と子画面用画像の合成が連続して行われる。
この間、記録制御部５４による音声のデータのメモリカード２５への記録は連続して行われる。即ち、音声のデータの記録は、例えば操作部２３の録画釦が全押し操作されて、動画の記録が指示されると、動画記録制御と共に開始する。そして、切替操作があったか否かに関わらず、即ち通常動画記録からスロー動画記録への切り替えがあったか否かに関わらず、音声のデータの記録の処理は独立して継続する。

また、撮像装置１は、メモリカード２５に記録した動画及び音声のデータを再生する場合、動画のデータの再生レートは、上述したように通常の30fpsとなる。従って、スロー動画記録の区間では、５倍スローの動画が再生される。また、その他の区間、即ち通常動画記録の区間では、通常通り等倍速で動画が再生される。音声については、動画のスロー再生と等倍速再生とに関係なく、連続して再生される。

以上説明したように、本実施形態に係る撮像装置は、
被写体を撮像することによって、被写体を含むフレームのデータを出力するイメージセンサ１５と、
音声を入力するマイクロフォン２４と、
通常動画記録又はスロー動画記録によって、イメージセンサ１５から出力された複数のフレームのデータを動画のデータとしてメモリカード２５に記録すると共に、マイクロフォン２４に入力された音声のデータをメモリカード２５に記録する制御を行うCPU２０と、を備えている。
CPU２０は、
スロー動画記録の制御として、所定のスロー動画撮像期間（第１の撮像期間）に撮像手段から出力されたＹfps（150fps）で撮像された動画のフレームのデータと、このフレームのデータをＸfpsで再生されるよう記録する第１の記録期間にＸfpsで撮像された動画のフレームのデータとを、それぞれ第１の画面画像、第２の画面画像とする合成画像としてメモリカード２５（記録媒体）に記録させる制御を行い、
通常動画記録の制御として、第１の撮像期間とは異なる第２の撮像期間（第２の撮像期間）に撮像手段から出力されたフレームのデータを、第１の記録期間とは異なる第２の記録期間（第２の記録期間）に、メモリカード２５に記録させる制御を行い、
音声のデータの記録制御として、第１の記録期間及び第２の記録期間の間連続して、音声のデータをメモリカード２５に記録させる制御を行うことができる。

このように、本実施形態では、通常動画撮影中にスロー動画記録制御処理を実行するとき、スロー動画記録した動画情報を子画面として、親画面の通常動画記録した動画情報に合成して記録するように制御し、さらに音声記録も維持するように制御するようにした。これによって、動画を再生する際に、通常の動画再生、音声再生の連続性を維持しながら、スロー撮影の効果を表現することができる。

また、スロー動画記録した動画情報を子画面として、通常動画記録した動画情報を親画面として合成して記録するものとして説明したが、特にこれに限定されない。例えば、スロー動画記録した動画情報を親画面として、通常動画記録した動画情報を子画面として合成して記録してもよい。具体的には、ステップＳ７８において、切替制御部５５は、ステップＳ７５で起動された後段処理部５１によってYUVバッファ７２に書き込まれた子画面用の画像データに、ステップＳ７３で起動された後段処理部５１によってYUVバッファ７２に書き込まれた親画面用の画像データを縮小してコピーするようにしてもよい。これによって、子画面で通常に再生される通常動画を見ながら、親画面では５倍のスロー再生される動画をじっくりと見ることもできる。

なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述した実施形態では、切替操作後に撮像される動画のデータがスロー動画記録対象になったが、特にこれに限定されない。例えば図示はしないが、本発明が適用される撮像装置は、撮像終了後にスロー動画記録対象、即ちスロー動画記録期間を指定する指定手段を備えてもよい。この場合の指定手法も特に限定されず、指定手段が自動的に指定してもよいし、ユーザが操作部２３を操作することで指定してもよい。この場合、第１実施形態では、ステップＳ６５では、SlowCntが「１５」であるか否かを判定するのではなく、指定手段の操作が解除されたか否かを判定し、指定手段の操作が解除されない限り、スロー動画記録制御処理を繰り返すようにしてもよい。同様に、第２実施形態では、ステップＳ７９では、SlowCntが「１５」であるか否かを判定するのではなく、指定手段の操作が解除されたか否かを判定し、指定手段の操作が解除されない限り、スロー動画記録制御処理を繰り返すようにしてもよい。

この場合、撮像装置は、150fpsでイメージセンサ１５から出力される動画を全てメモリカード２５やDRAM１８等に一時記録する。指定手段は、イメージセンサ１５の撮像動作終了後に、スロー動画記録対象を指定する。その上で、撮像装置は、動画ファイルを生成し、指定されたスロー動画記録対象の範囲外で、スロー撮影分のフレームのデータを削除するようにしてもよい。

また例えば、上述した実施形態では、切替操作後の撮像動画（複数のフレーム）のデータをスロー動画記録対象としたが、特にこれに限定されない。例えば、後段処理部５１以降の処理を常に所定時間遅らせることで、スロー動画記録対象に、切替操作前の撮像動画のデータを含めるようにしてもよい。

また例えば、本発明が適用される撮像装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、動画を撮像して記録する機能と、音声を入力して記録する機能とを有する電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア（例えば図２のメモリカード２５）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている、図２のROM２２や、図示せぬハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１５・・・イメージセンサ、１６・・・前段処理部、１８・・・DRAM、１９・・・信号処理部、２０・・・CPU、２１・・・RAM、２２・・・ROM、２３・・・操作部、２４・・・マイクロフォン、２５・・・メモリカード、５１・・・後段処理部、５２・・・JPEG圧縮部、５３・・・音声入力処理部、５４・・・記録制御部、５５・・・切替制御部、６１・・・RAWバッファ、６２、７２・・・YUVバッファ、６３・・・JPEGバッファ、６４・・・音声バッファ

Claims (5)

1. Ｘfps（Ｘは任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録する通常動画記録と、Ｙfps（Ｙは、Ｙ＞Ｘを満たす任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録するスロー動画記録とを連続して行う撮像装置において、
   被写体を撮像することによって、前記被写体を含むフレームのデータを出力する撮像手段と、
   音声を入力する音声入力手段と、
   前記通常動画記録又は前記スロー動画記録によって、前記撮像手段から出力された複数の前記フレームのデータを動画のデータとして記録媒体に記録すると共に、前記音声入力手段に入力された前記音声のデータを前記記録媒体に記録する制御を行う制御手段と、
   を備え、
   前記制御手段は、
   前記スロー動画記録の制御として、第１の撮像期間に前記撮像手段から出力されたＹfpsで撮像された動画の前記フレームのデータと、当該フレームのデータをＸfpsで再生されるよう記録する第１の記録期間に前記撮像手段から出力されたＸfpsで撮像された動画の前記フレームのデータとを、それぞれ第１の画面画像、第２の画面画像とする合成画像として前記記録媒体に記録させる制御を行い、
   前記通常動画記録の制御として、前記第１の撮像期間とは異なる第２の撮像期間に前記撮像手段から出力された前記フレームのデータを、前記第１の記録期間とは異なる第２の記録期間に、前記記録媒体に記録させる制御を行い、
   前記音声のデータの記録制御として、前記第１の記録期間及び前記第２の記録期間の間連続して、前記音声のデータを前記記録媒体に記録させる制御を行う、
   撮像装置。
2. 前記制御手段は、前記通常動画記録及び前記スロー動画記録のうち一方から他方へ切り替える切替手段を有する、
   請求項１に記載の撮像装置。
3. 前記制御手段は、前記記録媒体に記録された動画のデータの中から、前記第１の記録期間を指定する指定手段を有する、
   請求項１に記載の撮像装置。
4. Ｘfps（Ｘは任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録する通常動画記録と、Ｙfps（Ｙは、Ｙ＞Ｘを満たす任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録するスロー動画記録とを連続して行う撮像装置によって、前記通常動画記録又は前記スロー動画記録によって、被写体を撮像したことにより得られた複数のフレームのデータを動画のデータとして記録媒体に記録すると共に、入力した音声のデータを前記記録媒体に記録する制御を行う撮像方法において、
   前記スロー動画記録の制御として、第１の撮像期間にＹfpsで撮像された動画の前記フレームのデータと、当該フレームのデータがＸfpsで再生されるように記録する第１の記録期間にＸfpsで撮像された動画の前記フレームのデータとを、それぞれ子画面画像、親画面画像とする合成画像として前記記録媒体に記録させる制御を行うスロー動画記録制御ステップと、
   前記通常動画記録の制御として、前記第１の撮像期間とは異なる第２の撮像期間に撮像されたフレームのデータを、前記第１の記録期間とは異なる第２の記録期間に、前記記録媒体に記録させる制御を行う通常動画記録制御ステップと、
   前記音声のデータの記録制御として、前記第１の記録期間及び前記第２の記録期間の間連続して、前記音声のデータを前記記録媒体に記録させる制御を行う音声記録制御ステップと、
   を含む撮像方法。
5. Ｘfps（Ｘは任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録する通常動画記録と、Ｙfps（Ｙは、Ｙ＞Ｘを満たす任意の数値）で撮像された動画のデータを、Ｘfpsで再生されるように記録するスロー動画記録とを連続して行う撮像装置に対して、前記通常動画記録又は前記スロー動画記録によって、被写体が撮像されたことにより得られた複数のフレームのデータを動画のデータとして記録媒体に記録すると共に、入力した音声のデータを前記記録媒体に記録する制御を行うコンピュータに、
   前記スロー動画記録の制御として、第１の撮像期間にＹfpsで撮像されたフレームのデータと、当該フレームのデータがＸfpsで再生されるように記録する第１の記録期間にＸfpsで撮像されたフレームのデータとを、それぞれ子画面画像、親画面画像とする合成画像として前記記録媒体に記録させる制御を行うスロー動画記録制御機能と、
   前記通常動画記録の制御として、前記第１の撮像期間とは異なる第２の撮像期間に撮像されたフレームのデータを、前記第１の記録期間とは異なる第２の記録期間に、前記記録媒体に記録させる制御を行う通常動画記録制御機能と、
   前記音声のデータの記録制御として、前記第１の記録期間及び前記第２の記録期間の間連続して、前記音声のデータを前記記録媒体に記録させる制御を行う音声記録制御機能と、
   を実現させるプログラム。
   
   

Images