JP2010258757A - 動画記録装置、撮像装置、動画記録方法、動画記録プログラム - Google Patents

Abstract

【課題】低フレームレートの動画だけでなく、高フレームレートの動画データも記録する。
【解決手段】撮像素子１０２は、被写体を撮像して画像データを取得する。画像処理部１０５Ａは、画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成し、画像処理部１０５Ｂは、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成する。生成された動画データは、記録部１１５Ａ、１１５Ｂに記録される。
【選択図】図４

Description

本発明は、動画データを記録する技術に関する。

従来、動画を記録する撮像装置において、フレームレートを低くして、特殊効果処理などの負荷が大きい画像処理を施して記録する技術が知られている（特許文献１参照）。

特開２００６−３４００７０号公報

しかしながら、従来の技術では、フレームレートを低下させる前の高フレームレートの動画データが残らないため、後でコンピュータ等によって、特殊効果処理を施した高フレームレートの動画データを生成する処理等を行うことが困難であるという問題があった。

本発明は、フレームレートの低い動画データとともに、フレームレートの高い動画データを記録する技術を提供することを目的とする。

本発明のある態様に係る動画記録装置は、被写体を撮像して画像データを得る撮像部と、前記撮像部で得られた画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成する第１の動画データ生成部と、前記撮像部で得られた画像データに対して、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成する第２の動画データ生成部と、前記第１の動画データおよび前記第２の動画データを記録する記録部と、を備えることを特徴とする。

本発明の別の態様に係る動画記録方法は、被写体を撮像して画像データを取得するステップと、前記取得した画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成するステップと、前記取得した画像データに対して、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成するステップと、前記第１の動画データおよび前記第２の動画データを記録するステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る動画記録プログラムは、被写体を撮像して画像データを取得するステップと、前記取得した画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成するステップと、前記取得した画像データに対して、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成するステップと、前記第１の動画データおよび前記第２の動画データを記録するステップと、をコンピュータに実行させるための動画記録プログラムである。

本発明によれば、フレームレートの低い動画データとともに、フレームレートの高い動画データも記録することができる。

第１の実施形態における動画記録装置であるデジタルスチルカメラの構成を示すブロック図である。 画像処理部で行われる特殊効果処理のうち、ソフトフォーカス処理について説明するための図である。 画像処理部で行われる特殊効果処理のうち、銀塩粒子による粒状感に似せた粒状パターンの画像データを重畳させる画像処理について説明するための図である。 第１の実施形態における動画記録装置において、撮像素子から出力されるデータが記録媒体に記録されるまでのデータ（動画データ）の流れを示す図である。 第１の実施形態における動画記録装置において、動画データを記録する処理手順を示すフローチャートである。 第１の実施形態における動画記録装置において、データ処理のタイミングチャートを示す図である。 第２の実施形態における動画記録装置において、撮像素子から出力されるデータが記録媒体に記録されるまでのデータ（動画データ）の流れを示す図である。 第２の実施形態における動画記録装置において、動画データを記録する処理手順を示すフローチャートである。 第２の実施形態における動画記録装置において、データ処理のタイミングチャートを示す図である。 動画データの記録方法を説明するための図である。 動画データの別の記録方法を説明するための図である。 第３の実施形態における動画記録装置において、撮像素子から出力されるデータが記録媒体に記録されるまでのデータ（動画データ）の流れを示す図である。 第３の実施形態における動画記録装置において、データ処理のタイミングチャートを示す図である。 第４の実施形態における動画記録装置において、撮像素子から出力されるデータが記録媒体に記録されるまでのデータの流れを示す図である。

−第１の実施形態−
図１は、第１の実施形態における動画記録装置であるデジタルスチルカメラの構成を示すブロック図である。

レンズ１０１は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１は、単焦点レンズであってもよいし、ズームレンズであってもよい。

レンズ・絞り駆動制御回路１１２は、後述するマイクロコンピュータ１０７によって算出された合焦評価値に基づいて、レンズ１０１を駆動させる指令をレンズ駆動部１１１に出すとともに、絞り１１８を駆動させる指令を絞り駆動部１１７に出す。レンズ駆動部１１１は、レンズ・絞り駆動制御回路１１２からの指示に基づいて、レンズ１０１を駆動させて、焦点距離やフォーカス位置の変更を行う。絞り駆動部１１７は、レンズ・絞り駆動制御回路１１２からの指示に基づいて、絞り１１８を駆動させて、絞り量を調節する。

撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量として撮像回路１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。

撮像回路１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、撮像回路１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

バス１９９は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１９９は、Ａ/Ｄ変換部１０４と、画像処理部１０５と、ＪＰＥＧ処理部１０６と、マイクロコンピュータ１０７と、ＳＤＲＡＭ１０８と、メモリＩ/Ｆ１０９と、ＬＣＤドライバ１１０に接続されている。

Ａ/Ｄ変換部１０４から出力される画像データは、バス１９９を介して一旦ＳＤＲＡＭ１０８に記憶される。ＳＤＲＡＭ１０８は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０５、ＪＰＥＧ処理部１０６において処理された画像データ等の各種データが一時的に記憶される記憶部である。

画像処理部１０５は、ＳＤＲＡＭ１０８から読み出した画像データに対して、オプティカルブラック減算処理、ホワイトバランス補正処理、同時化処理、ガンマ補正処理、および、色再現処理などの様々な画像処理を施す。また、画像処理部１０５は、必要に応じて、画像データに対して特殊効果処理を施す。特殊効果処理としては、例えば、画像を適度にぼかすソフトフォーカス処理、ライティングをしたような仕上がりにするライトトーン処理、画像の周辺光量を落としたトイフォト処理、色をカラフルで印象的に強調するポップアート処理、粗い粒子でハイコントラストなモノクロ写真を再現するラフモノクローム処理等がある。

ＪＰＥＧ処理部１０６は、画像データの記録時には、ＳＤＲＡＭ１０８から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０８に一旦記憶する。マイクロコンピュータ１０７は、ＳＤＲＡＭ１０８に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１０９を介して記録媒体１１５に記録する。記録媒体１１５は、例えばカメラ本体に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

ＬＣＤドライバ１１０は、ＬＣＤ１１６に画像を表示させる。画像の表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体１１５に記録されたＪＰＥＧファイルの再生表示、および、ライブビュー画像（スルー画像とも呼ばれる）等の動画の表示が含まれる。記録媒体１１５に記録されたＪＰＥＧファイルを再生する場合、ＪＰＥＧ処理部１０６は、記録媒体１１５に記録されているＪＰＥＧファイルを読み出して伸張処理を施した上で、伸張した画像データを一旦ＳＤＲＡＭ１０８に記憶させる。ＬＣＤドライバ１１０は、伸張された画像データをＳＤＲＡＭ１０８から読み出し、読み出した画像データを映像信号へ変換した後でＬＣＤ１１６へ出力して、画像の表示を行う。

制御部としての機能を有するマイクロコンピュータ１０７は、デジタルカメラ本体の各種シーケンスを統括的に制御する。マイクロコンピュータ１０７には、レンズ・絞り駆動制御回路１１２、操作部１１３およびＦｌａｓｈメモリ１１４が接続されている。

操作部１１３は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１３の何れかの操作部材が操作されることにより、マイクロコンピュータ１０７は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイクロコンピュータ１０７は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１０７は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１０７は、撮影シーケンスを実行して撮影を行う。

Ｆｌａｓｈメモリ１１４は、ホワイトバランスモードに応じたホワイトバランスゲインやローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータ、および、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１４は、マイクロコンピュータ１０７にて実行する各種プログラムも記憶している。マイクロコンピュータ１０７は、Ｆｌａｓｈメモリ１１４に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１４から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

図２は、画像処理部１０５で行われる特殊効果処理のうち、ソフトフォーカス処理について説明するための図である。撮像素子１０２から出力された画像データ（ＲＡＷデータ）２１に対して通常の画像処理を施すことにより、通常の画像データ２２を生成する。この通常の画像データ２２に対して、既知のぼかし処理を施すことにより、ぼかし画像２３を生成する。そして、通常の画像データ２２と、ぼかし画像２３とを合成することによって、ソフトフォーカス画像２４を生成する。この場合、通常の画像データ２２を生成する場合に比べて、ぼかし画像２３を生成する処理、および、通常画像データ２２とぼかし画像２３とを合成する処理の２つの処理が加わるため、処理時間が長くなる。

図３は、画像処理部１０５で行われる特殊効果処理のうち、銀塩粒子による粒状感に似せた粒状パターンの画像データを重畳させる画像処理について説明するための図である。撮像素子１０２から出力された画像データ（ＲＡＷデータ）３１に対して通常の画像処理を施すことにより、通常の画像データ３２を生成する。また、画像データ３１の輝度、感度、画像サイズ等を含む画像情報を解析することによって、画像データ３１に応じた、銀塩粒子による粒状感に似せた粒状パターンのノイズ画像３３を生成する。そして、通常の画像データ３２と、ノイズ画像３３とを合成することにより、粒状パターンノイズを付加した画像３４を生成する。この場合、通常の画像データ３２を生成する場合に比べて、ノイズ画像３３を生成する処理、および、通常画像データ３２とノイズ画像３３を合成する処理の２つの処理が加わるため、処理時間が長くなる。

なお、図２および図３では、静止画に対して特殊効果処理を行う場合について説明したが、複数の静止画によって構成される動画に対して特殊効果処理を行う場合も同じである。

図４は、第１の実施形態における動画記録装置において、撮像素子１０２から出力されるデータが記録媒体１１５Ａ、１１５Ｂに記録されるまでのデータ（動画データ）の流れを示す図である。図４では、データの流れを分かりやすく説明するために、図１に示す撮像回路１０３、Ａ／Ｄ変換部１０４等は省略して、撮像素子１０２、画像処理部１０５Ａ、１０５Ｂ、ＳＤＲＡＭ１０８、記録媒体１１５Ａ、１１５Ｂのみを示している。ここでは、画像処理部が１０５Ａおよび１０５Ｂの２つ設けられており、また、記録媒体が１１５Ａおよび１１５Ｂの２つ設けられているものとして説明する。

第１の実施形態における動画記録装置では、動画撮影のフレームレートより低い低フレームレートにて、特殊効果処理を施した動画データを生成するとともに、動画撮影のフレームレートと同じフレームレート（以下、通常フレームレートと呼ぶ）の動画データを生成して記録する。

撮像素子１０２から出力されたデータは、ＳＤＲＡＭ１０８に一度記憶される。画像処理部１０５Ａは、通常フレームレートにて、ＳＤＲＡＭ１０８からデータを読み出して、画像処理を施し、画像処理後のデータを再びＳＤＲＡＭ１０８に記憶させる。画像処理後のデータとは、図２に示す例では、通常画像のデータ２２であり、図３に示す例では、通常画像のデータ３２である。ここでは、画像処理部１０５Ａから出力される動画データを、通常動画データと呼ぶ。ＳＤＲＡＭ１０８に記憶された通常動画データは、記録媒体１１５Ａに記録される。すなわち、記録媒体１１５Ａには、特殊効果処理が施されていない通常動画データが記録される。

画像処理部１０５Ｂは、通常フレームレートよりもフレームレートの低い低フレームレートにて、ＳＤＲＡＭ１０８からデータを読み出して、特殊効果処理を施し、特殊効果処理を施したデータを再びＳＤＲＡＭ１０８に記憶させる。特殊効果処理を施したデータとは、図２に示す例では、ソフトフォーカス画像２４であり、図３に示す例では、ノイズ付加画像３４である。ここでは、画像処理部１０５Ｂから出力される動画データを、特殊効果動画データと呼ぶ。ＳＤＲＡＭ１０８に記憶された特殊効果動画データは、記録媒体１１５Ｂに記録される。

なお、画像処理部１０５Ｂは、１回の特殊効果処理で特殊効果動画データを生成するだけでなく、複数回の処理によって、特殊効果動画データを生成してもよい。この場合、画像処理部１０５Ｂで処理が行われたデータは、ＳＤＲＡＭ１０８に一旦記憶され、記憶されたデータは、再び画像処理部１０５Ｂに読み出されて、特殊効果動画データを生成するための処理が行われる。

図５は、第１の実施形態における動画記録装置において、動画データを記録する処理手順を示すフローチャートである。画像処理部１０５Ａによって行われるステップＳ１０からステップＳ５０までの処理と、画像処理部１０５Ｂによって行われるステップＳ６０からステップＳ１００までの処理は、それぞれ並行して行われる。

ステップＳ１０では、撮像素子１０２から出力されたデータをＳＤＲＡＭ１０８から読み出す。ステップＳ２０では、ステップＳ１０で読み出したデータに対して、特殊効果処理ではない通常の画像処理を施して、通常動画データを生成する。ステップＳ３０では、ステップＳ２０で生成した通常動画データをＳＤＲＡＭ１０８に書き込む。ステップＳ４０では、ＳＤＲＡＭ１０８から通常動画データを読み出して、記録媒体１１５Ａに記録する。ステップＳ５０では、動画データの記録が終了したか否かを判定する。動画撮影が継続して行われており、動画データの記録が終了していないと判定すると、ステップＳ１０に戻り、動画データの記録が終了したと判定すると、フローチャートの処理を終了する。

ステップＳ６０では、撮像素子１０２から出力されたデータをＳＤＲＡＭ１０８から読み出す。ステップＳ７０では、ステップＳ６０で読み出したデータに対して、特殊効果処理を施して、特殊効果動画データを生成する。ステップＳ８０では、ステップＳ７０で生成した特殊効果動画データをＳＤＲＡＭ１０８に書き込む。ステップＳ９０では、ＳＤＲＡＭ１０８から特殊効果動画データを読み出して、記録媒体１１５Ｂに記録する。ステップＳ１００では、動画データの記録が終了したか否かを判定する。動画撮影が継続して行われており、動画データの記録が終了していないと判定すると、ステップＳ６０に戻り、動画データの記録が終了したと判定すると、フローチャートの処理を終了する。

図６は、第１の実施形態における動画記録装置において、データ処理のタイミングチャートを示す図である。画像処理部１０５Ａは、撮像素子１０２から出力されたデータＦ１、Ｆ２、Ｆ３、…に対してそれぞれ、通常の画像処理を施して、通常動画データＦ１Ａ、Ｆ２Ａ、Ｆ３Ａ、…を生成し、記録媒体１１５Ａに記録する。

画像処理部１０５Ｂは、撮像素子１０２から出力されたデータのうち、１つおきのデータＦ１、Ｆ３、Ｆ５、…に対して、特殊効果処理を施して、特殊効果動画データＦ１Ｂ、Ｆ３Ｂ、Ｆ５Ｂ、…を生成し、記録媒体１１５Ｂに記録する。この場合、特殊効果動画データを生成・記録するフレームレートは、動画撮影のフレームレートに対して、１／２になっている。なお、図４に示す例では、１つおきのデータＦ１、Ｆ３、Ｆ５、…を対象として、特殊効果処理を施しているが、特殊効果処理の処理時間に応じて、２つおきのデータを対象としてもよいし、３つおき以上のデータを対象としてもよい。

以上、第１の実施形態における動画記録装置によれば、被写体を撮像して得られた画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成するとともに、画像データに対して、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成し、生成した第１の動画データおよび第２の動画データを記録する。これにより、フレームレートの低い第２の動画データだけでなく、第２の動画データに対してフレームレートの高い第１の動画データも記録することができる。従って、ユーザは、例えば、コンピュータに第１の動画データを読み込んで、第１の動画データに対して第２の画像処理を施すことにより、フレームレートの高い第２の動画データを生成することができる。

また、第１の動画データを生成する画像処理部１０５Ａと、第２の動画データを生成する画像処理部１０５Ｂとをそれぞれ設けたので、第１の動画データを生成する処理と、第２の動画データを生成する処理とを並列に行うことができ、制御が容易となる。

−第２の実施形態−
第１の実施形態における動画記録装置では、画像処理部を１０５Ａ、１０５Ｂの２つ、記録媒体を１１５Ａ、１１５Ｂの２つ設けたが、第２の実施形態における動画記録装置では、画像処理部および記録媒体をそれぞれ１つだけ設けている。

図７は、第２の実施形態における動画記録装置において、撮像素子１０２から出力されるデータが記録媒体１１５に記録されるまでのデータ（動画データ）の流れを示す図である。図７では、データの流れを分かりやすく説明するために、図１に示す撮像回路１０３、Ａ／Ｄ変換部１０４等は省略して、撮像素子１０２、画像処理部１０５、ＳＤＲＡＭ１０８、記録媒体１１５のみを示している。

撮像素子１０２から出力されたデータは、ＳＤＲＡＭ１０８に一度記憶される。画像処理部１０５は、通常フレームレートにて、ＳＤＲＡＭ１０８からデータを読み出して、画像処理を施し、画像処理後の通常動画データを再びＳＤＲＡＭ１０８に記憶させるとともに、低フレームレートにて、ＳＤＲＡＭ１０８からデータを読み出して、特殊効果処理を施し、特殊効果処理を施したデータを再びＳＤＲＡＭ１０８に記憶させる。ＳＤＲＡＭ１０８に記憶された通常動画データおよび特殊効果動画データは、記録媒体１１５に記録される。

図８は、第２の実施形態における動画記録装置において、動画データを記録する処理手順を示すフローチャートである。ステップＳ６０１から始まる処理は、画像処理部１０５によって行われる。

ステップＳ６０１では、撮像素子１０２から出力されたデータをＳＤＲＡＭ１０８から読み出す。ステップＳ６０２では、ステップＳ６０１で読み出したデータに対して、特殊効果処理ではない通常の画像処理を施して、通常動画データを生成する。ステップＳ６０３では、ステップＳ６０２で生成した通常動画データをＳＤＲＡＭ１０８に書き込む。ステップＳ６０４では、ＳＤＲＡＭ１０８から通常動画データを読み出して、記録媒体１１５に記録する。

第２の実施形態では、特殊効果処理を行う対象のデータを１／Ｎの大きさに分けて、Ｎ回にわたって特殊効果処理を行う。ステップＳ６０５では、特殊効果処理を完了させるためのＮ回の処理のうちの初回の処理であるか否かを判定する。特殊効果処理を完了させるための処理回数Ｎは、次式（１）により算出される。

Ｎ＝｛（画像処理の時間当たりの処理性能）−（通常画像処理の処理時間×通常画像処理のフレームレート）｝／特殊効果処理の処理時間 …（１）
ステップＳ６０１からステップＳ６１０までの処理は、特殊効果処理を完了させるためのＮ回の処理が行われるまで繰り返し行われる。Ｎ回の処理のうちの初回の処理であると判定するとステップＳ６０６に進み、初回の処理ではないと判定すると、ステップＳ６０７に進む。

ステップＳ６０６では、ＳＤＲＡＭ１０８から、特殊効果処理を施す対象データの１／Ｎの大きさのデータを読み出す。特殊効果処理を施す対象データは、（Ｎ−１）個おきのデータとなる。例えば、Ｎ＝３とし、撮像素子１０２から出力されるデータをＦ１、Ｆ２、Ｆ３、Ｆ４、…とした場合、特殊効果処理を施す対象データは、２個おきのデータとなるため、Ｆ１、Ｆ４、Ｆ７、…のデータが読み出されることになる。

一方、ステップＳ６０７では、Ｎ回の処理のうちの初回の処理ではないため、まだ読み出されていない残りのデータのうち、次の１／Ｎの大きさのデータを読み出す。

ステップＳ６０８では、ステップＳ６０６またはステップ６０７で読み出したデータに対して、特殊効果処理を施して、特殊効果動画データを生成する。ステップＳ６０９では、ステップ６０８で生成した特殊効果動画データをＳＤＲＡＭ１０８に書き込む。

ステップＳ６１０では、特殊効果処理をＮ回繰り返して行ったか否かを判定する。特殊効果処理をＮ回繰り返して行っていないと判定するとステップＳ６０１に戻り、Ｎ回繰り返して行ったと判定すると、ステップＳ６１１に進む。

ステップＳ６１１では、ＳＤＲＡＭ１０８に記憶されている特殊効果動画データを記録媒体１１５に記録させる。ステップＳ６１２では、動画データの記録が終了したか否かを判定する。動画撮影が継続して行われており、動画データの記録が終了していないと判定すると、ステップＳ６０１に戻り、動画データの記録が終了したと判定すると、フローチャートの処理を終了する。

図９は、第２の実施形態における動画記録装置において、データ処理のタイミングチャートを示す図である。画像処理部１０５は、通常フレームレートにて、撮像素子１０２から出力されたデータＦ１、Ｆ２、Ｆ３、…に対してそれぞれ、通常の画像処理を施して、通常動画データＦ１Ａ、Ｆ２Ａ、Ｆ３Ａ、…を生成し、記録媒体１１５に記録する。

また、画像処理部１０５は、撮像素子１０２から出力されたデータのうち、２つおきのデータＦ１、Ｆ４、…に対して、特殊効果処理を施して、特殊効果動画データＦ１Ｂ、Ｆ４Ｂ、…を生成し、記録媒体１１５に記録する。図９に示す例では、Ｎ＝３として、特殊効果処理対象のデータを１／３の大きさのデータに分割し、分割した１／３のデータに対して、特殊効果処理を施す処理を３回行っている。処理タイミングとしては、データＦ１に対して、通常画像処理を行った後、データＦ１の最初の１／３のデータに対して特殊効果処理を施す。続いて、データＦ２に対して通常画像処理を行った後、データＦ１の次の１／３のデータに対して特殊効果処理を施す。続いて、データＦ３に対して通常画像処理を行った後、データＦ１の最後の１／３のデータに対して特殊効果処理を施す。

図９に示すように、各通常動画データＦ１Ａ、Ｆ２Ａ、Ｆ３Ａ、…は、データが生成されると、順次、記録媒体１１５に記録される。特殊効果動画データは、Ｎ回の特殊効果処理が完了すると、Ｎ回に分けて特殊効果処理を施した動画データが順次、記録媒体１１５に記録される。図９を参照しながら処理タイミングを説明すると、通常動画データＦ３Ａの生成後に、データＦ１に対する特殊効果処理が完了するので、通常動画データＦ３Ａが記録されると、最初の１／３の特殊効果動画データＦ１Ｂが記録される。続いて、通常動画データＦ４Ａが記録されると、次の１／３の特殊効果動画データＦ１Ｂが記録される。そして、通常動画データＦ５Ａが記録された後、最後の１／３の特殊効果動画データＦ１Ｂが記録される。この場合、特殊効果処理のフレームレートは、通常画像処理のフレームレートの１／３に低下している。

すなわち、画像処理部１０５は、通常の画像処理および特殊効果処理を時分割で行うとともに、生成した通常動画データおよび特殊効果動画データを時分割で記録媒体１１５に記録する。

図１０は、動画データの記録方法を説明するための図である。記録媒体１１５に、通常動画データと、特殊効果動画データを記録する際に、通常動画データと特殊効果動画データをそれぞれ別のファイル１０１、１０２に記録する。ファイル１０１には、ファイルヘッダ１０３とともに、通常動画データ１０５が記録される。また、ファイル１０２には、ファイルヘッダ１０６とともに、特殊効果動画データ１０７が記録される。

ここで、ファイルヘッダ１０３には、特殊効果動画データ１０７を生成する際に行った特殊効果処理を行うために必要な画像処理パラメータ１０４を記録しておく。これにより、ユーザは、コンピュータを用いて、通常フレームレートの通常動画データ１０５に対して、画像処理パラメータ１０４に基づいた特殊効果処理を施して、通常フレームレートの特殊効果動画データを生成することができる。

図１１は、動画データの別の記録方法を説明するための図である。図１０に示す例では、２つの動画ファイルが記録媒体１１５に記録されたが、図１１では、１つの動画ファイル１１１に、通常動画データ１１４と特殊効果動画データ１１５とを記録する。また、動画ファイル１１１に記録されるファイルヘッダ１１２内に、特殊効果動画データ１１５を生成する際に行った特殊効果処理を行うために必要な画像処理パラメータ１１３を記録しておく。これにより、ユーザは、コンピュータを用いて、通常フレームレートの通常動画データ１１４に対して、画像処理パラメータ１１３に基づいた特殊効果処理を施して、通常フレームレートの特殊効果動画データを生成することができる。

以上、第２の実施の形態における動画記録装置によれば、１つの画像処理部１０５が、被写体を撮像して得られた画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成するとともに、画像データに対して、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成し、生成した第１の動画データおよび第２の動画データを記録する。これにより、画像処理部を２つ以上設ける場合に比べて、回路の大きさを小さくすることができる。

また、画像処理部１０５の画像処理性能、第１のフレームレート、第１の画像処理の処理時間、および、第２の画像処理の処理時間に基づいて、第２のフレームレートを決定するので、画像処理部１０５の処理性能に応じて、第２のフレームレートを最大限に高いフレームレートに設定することができる。

さらに、第１の動画データおよび第２の動画データを１つの動画ファイルとして記録することにより、ユーザにとって分かりやすい記録方法を提供することができる。すなわち、１回の動画撮影に対して、２つの動画ファイルが記録されると、ユーザが困惑する可能性があるが、記録する動画ファイルを１つとすることで、ユーザが困惑することがなくなる。

また、第１の動画データを記録する際に、第２の画像処理を施すために必要な画像処理パラメータと合わせて記録することにより、フレームレートの高い第１の動画データに対して、第２の画像処理を施した動画データを生成することが可能となる。

−第３の実施の形態−
図１２は、第３の実施形態における動画記録装置において、撮像素子１０２から出力されるデータが記録媒体１１５に記録されるまでのデータ（動画データ）の流れを示す図である。図１２では、データの流れを分かりやすく説明するために、図１に示す撮像回路１０３、Ａ／Ｄ変換部１０４等は省略して、撮像素子１０２、画像処理部１０５、ＳＤＲＡＭ１０８、記録媒体１１５Ａ、１１５Ｂのみを示している。ここでは、記録媒体が１１５Ａおよび１１５Ｂの２つ設けられているものとして説明する。

撮像素子１０２から出力されたデータは、ＳＤＲＡＭ１０８に一度記憶される。このデータは、未処理のＲＡＷデータであり、動画データを構成するものであるため、ここでは、ＲＡＷ動画データと呼ぶ。ただし、ＲＡＷデータは、全く処理を行っていないデータに限られることはなく、多少の処理が加えられたものも含まれる。

画像処理部１０５は、低フレームレートにて、ＳＤＲＡＭ１０８からＲＡＷ動画データを読み出して、特殊効果処理を施し、特殊効果処理を施したデータを再びＳＤＲＡＭ１０８に記憶させる。記録媒体１１５Ａには、ＳＤＲＡＭ１０８に記憶されているＲＡＷ動画データが記録され、記録媒体１１５Ｂには、ＳＤＲＡＭ１０８に記憶されている特殊効果動画データが記録される。

図１３は、第３の実施形態における動画記録装置において、データ処理のタイミングチャートを示す図である。記録媒体１１５Ａには、撮像素子１０２から出力されたＲＡＷ動画データＦ１、Ｆ２、Ｆ３、…がそのまま記録される。

画像処理部１０５は、撮像素子１０２から出力されたデータのうち、１つおきのデータＦ１、Ｆ３、Ｆ５、…に対して、特殊効果処理を施して、特殊効果動画データＦ１Ｂ、Ｆ３Ｂ、Ｆ５Ｂ、…を生成し、記録媒体１１５Ｂに記録する。なお、図１３に示す例では、１つおきのデータＦ１、Ｆ３、Ｆ５、…を対象として、特殊効果処理を施しているが、特殊効果処理の処理時間に応じて、２つおきのデータを対象としてもよいし、３つおき以上のデータを対象としてもよい。

第３の実施形態における動画記録装置によれば、フレームレートの低い特殊効果動画データとともに、ＲＡＷデータを記録するので、ユーザは、例えば、コンピュータにＲＡＷデータを読み込んで、特殊効果処理を施すことにより、フレームレートの高い特殊効果動画データを生成することができる。第１および第２の実施形態では、ＲＡＷデータに基づいて通常動画データを生成してから、通常動画データと特殊効果動画データを記録していたが、第３の実施形態では、通常動画データを生成する必要がないため、処理負荷を軽減することができる。

−第４の実施の形態−
図１４は、第４の実施形態における動画記録装置において、撮像素子１０２から出力されるデータが記録媒体１１５に記録されるまでのデータ（動画データ）の流れを示す図である。図１４では、データの流れを分かりやすく説明するために、図１に示す撮像回路１０３、Ａ／Ｄ変換部１０４等は省略して、撮像素子１０２、画像処理部１０５Ａ、１０５Ｂ、ＳＤＲＡＭ１０８、記録媒体１１５Ａ、１１５Ｂ、ＬＣＤ１１６のみを示している。ここでは、画像処理部が１１５Ａおよび１１５Ｂの２つ設けられており、また、記録媒体が１１５Ａおよび１１５Ｂの２つ設けられているものとして説明する。

図１４では、図４に対して、ＳＤＲＡＭ１０８からＬＣＤ１１６に向かうデータの流れが追加されている。すなわち、ＬＣＤ１１６には、ＳＤＲＡＭ１０８に記憶されている特殊効果動画データがライブビュー表示される。これにより、特殊効果処理を施した動画撮影を行うユーザの意図に応じて、特殊効果処理を施した特殊効果動画データのライブビュー表示を行うことができる。

第４の実施の形態における動画記録装置によれば、被写体を撮像して得られた画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成するとともに、画像データに対して、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成し、生成した第１の動画データおよび第２の動画データを記録する。また、第２の動画データを用いてライブビュー表示を行うので、ユーザの撮影意図に応じたライブビュー表示を行うことができる。

なお、上述した第１〜第４の実施形態の説明では、動画記録装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、動画記録装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを動画記録プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている動画記録プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の動画記録装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この動画記録プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該動画記録プログラムを実行するようにしても良い。

本発明は、上述した第１〜第４の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述した実施形態では、通常動画データを生成するフレームレートを、動画データの撮影フレームレートと同じとしたが、撮影フレームレートよりも低くしてもよい。

上述した実施形態では、低フレームレートで記録する動画データとして、処理負荷の高い特殊効果処理を施した特殊効果動画データを例に挙げて説明したが、特殊効果動画データに限定されることはない。

１０１…レンズ
１０２…撮像素子
１０３…撮像回路
１０４…Ａ／Ｄ変換部
１０５、１０５Ａ、１０５Ｂ…画像処理部
１０６…ＪＰＥＧ処理部
１０７…マイクロコンピュータ
１０８…ＳＤＲＡＭ
１０９…メモリＩ／Ｆ
１１０…ＬＣＤドライバ
１１１…レンズ駆動部
１１２…レンズ・絞り駆動制御回路
１１３…操作部
１１４…Ｆｌａｓｈメモリ
１１５、１１５Ａ、１１５Ｂ…記録媒体
１１６…ＬＣＤ
１１７…絞り駆動部
１１８…絞り

Claims (14)

1. 被写体を撮像して画像データを得る撮像部と、
   前記撮像部で得られた画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成する第１の動画データ生成部と、
   前記撮像部で得られた画像データに対して、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成する第２の動画データ生成部と、
   前記第１の動画データおよび前記第２の動画データを記録する記録部と、
   を備えることを特徴とする動画記録装置。
2. 前記第２の動画データ生成部は、前記第２の画像処理として、前記第１の画像処理よりも処理時間の長い特殊効果処理を行うことを特徴とする請求項１に記載の動画記録装置。
3. 前記第１の動画データ生成部は、前記第１の画像処理として、前記特殊効果処理を含まない画像処理を行うことを特徴とする請求項２に記載の動画記録装置。
4. 前記第１の動画データは、ＲＡＷデータであることを特徴とする請求項１から請求項３のいずれか一項に記載の動画記録装置。
5. 前記第１のフレームレートは、前記撮像部で前記画像データを得るフレームレートと同じであることを特徴とする請求項１から請求項４のいずれか一項に記載の動画記録装置。
6. 前記第１の動画データ生成部および前記第２の動画データ生成部は、１つの動画データ生成部によって構成されており、
   前記１つの動画データ生成部は、前記第１の画像処理および前記第２の画像処理を時分割で行うことを特徴とする請求項１から請求項５のいずれか一項に記載の動画記録装置。
7. 前記１つの動画データ生成部の画像処理性能、前記第１のフレームレート、前記第１の画像処理の処理時間、および、前記第２の画像処理の処理時間に基づいて、前記第２のフレームレートを決定する第２のフレームレート決定部をさらに備えることを特徴とする請求項６に記載の動画記録装置。
8. 前記記録部は、前記第１の動画データおよび前記第２の動画データを、１つの動画ファイルに記録することを特徴とする請求項１から請求項７のいずれか一項に記載の動画記録装置。
9. 前記記録部は、前記第１の動画データに対して、前記第２の画像処理を施すために必要な画像処理パラメータを、前記１つの動画ファイル内に記録することを特徴とする請求項８に記載の動画記録装置。
10. 前記記録部は、前記第１の動画データおよび前記第２の動画データを、それぞれ異なる動画ファイルに記録するものであって、前記第１の動画データを記録する動画ファイル内に、前記第２の画像処理を行うために必要な画像処理パラメータも記録することを特徴とする請求項１から請求項７のいずれか一項に記載の動画記録装置。
11. 前記第２の動画データを用いてライブビュー表示を行うライブビュー表示部をさらに備えることを特徴とする請求項１から請求項１０のいずれか一項に記載の動画記録装置。
12. 請求項１から請求項１１のいずれか一項に記載の動画記録装置を有する撮像装置。
13. 被写体を撮像して画像データを取得するステップと、
    前記取得した画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成するステップと、
    前記取得した画像データに対して、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成するステップと、
    前記第１の動画データおよび前記第２の動画データを記録するステップと、
    を備えることを特徴とする動画記録方法。
14. 被写体を撮像して画像データを取得するステップと、
    前記取得した画像データに対して、第１のフレームレートにて、第１の画像処理を施して、第１の動画データを生成するステップと、
    前記取得した画像データに対して、第１のフレームレートよりフレームレートの低い第２のフレームレートにて、第２の画像処理を施して、第２の動画データを生成するステップと、
    前記第１の動画データおよび前記第２の動画データを記録するステップと、
    をコンピュータに実行させるための動画記録プログラム。