JP2010114757A - 撮像装置 - Google Patents

Abstract

【課題】第１フレームレートと第２フレームレートで取得した画像とのつながりを適切に再生する。
【解決手段】撮像装置は、被写体像を所定のフレームレートで撮像する撮像手段２と、第１フレームレートで画像取得を開始し、操作部材１２からの操作信号に応じて第１フレームレートより高い第２フレームレートで画像を所定時間取得し、再び第１フレームレートで画像を取得してから画像取得を終了するように、撮像手段２を制御するフレームレート制御手段１１と、第１フレームレートとの境界においてフレーム間隔を段階的に変化させるように、第２フレームレートで取得された複数フレームの画像列から所定フレームの画像を抽出する抽出手段１１と、抽出された画像列を時間軸上で第１フレームレートに並べ直す整列手段１１と、第２フレームレートで取得された画像列を整列後の画像列と置換して記録用画像を生成する記録画像生成手段１１とを備える。
【選択図】図１

Description

本発明は、撮像装置に関する。

通常の動画撮影時のフレームレートより高いフレームレートで撮像することにより、スロー再生用の動画像を得るスローモーションモードを備えるカメラが知られている（特許文献１参照）。

特開２００５−１３６７５４号公報

従来技術では、通常モードでの撮像中にスローモーションモードへ切替えた場合（あるいは反対に切替えた場合）、再生時にモード切替えした部分のつながりが不連続になり、再生像の観察者に違和感を与えるという問題があった。

本発明による撮像装置は、被写体像を所定のフレームレートで撮像して複数フレームの画像を取得する撮像手段と、第１フレームレートで画像取得を開始し、該第１フレームレートでの画像取得中に操作部材からの操作信号に応じて該第１フレームレートより高い第２フレームレートで画像を所定時間取得し、再び第１フレームレートで画像を取得してから画像取得を終了するように、撮像手段を制御するフレームレート制御手段と、第１フレームレートとの境界においてフレーム間隔を段階的に変化させるように、第２フレームレートで取得された複数フレームの画像列から所定フレームの画像を抽出する抽出手段と、抽出されたフレーム画像からなる画像列を時間軸上で第１フレームレートに並べ直す整列手段と、撮像手段で取得された複数フレームの画像のうち、第２フレームレートで取得された画像列を整列手段による整列後の画像列と置換して記録用画像を生成する記録画像生成手段とを備えることを特徴とする。

本発明による撮像装置では、第１フレームレートで取得した画像と第２フレームレートで取得した画像との再生時のつながりを適切にする記録用画像を生成できる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の一実施の形態による電子カメラの概略構成図である。図１において、電子カメラは、対物レンズ１と、撮像素子２と、画像処理回路３と、タイミングジェネレータ（ＴＧ）４と、スピーカ駆動回路５と、スピーカ６と、表示装置７と、音声処理回路８と、マイク９と、バッファメモリ１０と、カメラ制御回路１１と、操作部材１２と、外部メモリインターフェース(I/F)１３とを含み、外部メモリ５０が着脱可能に構成されている。

カメラ制御回路１１、バッファメモリ１０、音声処理回路８、外部メモリインターフェース１３、画像処理回路３、スピーカ駆動回路５および表示装置７は、それぞれがバス１５を介して接続されている。

対物レンズ１は、被写体像を撮像素子２の撮像面上に結像させる。撮像素子２は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどによって構成される。撮像素子２は、被写体像を光電変換してアナログ画像信号を生成する。タイミングジェネレータ４は、撮像素子２および画像処理回路３で必要なタイミング信号を生成する。撮像素子２および画像処理回路３へ供給するタイミング信号の周期等を変化させることにより、後述する録画時のフレームレートを制御する。

アナログ画像信号は画像処理回路３へ入力される。画像処理回路３は、ゲイン調整などのアナログ処理を施し、アナログ処理後の画像信号をＡ／Ｄ変換してデジタル画像データにする。画像処理回路３はさらに、デジタル画像データに対して所定の画像処理を施す。画像処理前後の画像データは、バッファメモリ１０に一時的に記録される。

カメラ制御回路１１は、内蔵する不揮発性メモリ（不図示）に記憶するプログラムを実行することにより、電子カメラが行う動作を制御する。カメラ制御回路１１は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。

撮影モード時のカメラ制御回路１１は、動画撮影（録画）に必要な制御信号をカメラ各部に送る。外部メモリ５０は、電子カメラに対して着脱自在に構成される。カメラ制御回路１１は、外部メモリインターフェース１３を介して外部メモリ５０に対するデータの記録、および外部メモリ５０に記録されているデータの読み出しを行う。音声処理回路８は、カメラ制御回路１１からの指示によってマイク９で集音された音声信号を増幅し、増幅後の信号をＡ／Ｄ変換してデジタル音声データに変換する。音声データは、バッファメモリ１０に記録されている画像データに関連づけて外部メモリ５０に記録される。

再生モード時のカメラ制御回路１１は、外部メモリ５０に記録されている画像ファイルを読み出し、画像処理回路３によって適切なサイズに解像度変換させてバッファメモリ１０へ一時記録させる。カメラ制御回路１１はバッファメモリ１０から画像データを読み出し、該画像データに基づいて表示用のデータを生成する。電子カメラの背面に配設されている表示装置７は、表示用データによる再生画像を表示する。

再生モードのカメラ制御回路１１はさらに、上記画像ファイルに関連づけられている音声データを読み出してスピーカ駆動回路５に信号を増幅させ、上記再生画像の表示と同期させてスピーカ６から音響再生させる。

操作部材１２は、後述する録画スイッチやスローモーションモードスイッチを含み、各スイッチ操作に対応する操作信号をカメラ制御回路１１へ送出する。

本実施形態は、動画撮影（録画）中における通常モードからスローモーションモードへの切替え、スローモーションモードから通常モードへの切替えに特徴を有するので、これらを中心に以下の説明を行う。ここで、通常モードとは、たとえば３０フレーム／毎秒(30fps)のフレームレートでの録画をいい、スローモーションモードとは、たとえば１２０フレーム／毎秒(120fps)での録画をいうものとする。

＜撮影モード＞
図２は、撮影モード時のカメラ制御回路１１が実行する処理の流れを例示するフローチャートである。カメラ制御回路１１は、撮影モード時に図２による処理を繰り返し実行する。図２のステップＳ１０１において、カメラ制御回路１１は、録画開始が指示されたか否かを判定する。カメラ制御回路１１は、操作部材１２を構成する録画スイッチ（不図示）からオン操作信号が入力された場合にステップＳ１０１を肯定判定してステップＳ１０２へ進む。カメラ制御回路１１は、録画スイッチからオン操作信号が入力されない場合には、ステップＳ１０１を否定判定して図２による処理を終了する。

ステップＳ１０２において、カメラ制御回路１１は、撮像素子２による通常モード(30fps)による撮像と、得られた画像データをバッファメモリ１０に逐次蓄積する処理とを開始させてステップＳ１０３へ進む。なお、音声処理回路８による音声データ化、およびこの音声データをバッファメモリ１０に蓄積する処理も併せて開始させる。

ステップＳ１０３において、カメラ制御回路１１は、スローモーション指示がなされたか否かを判定する。カメラ制御回路１１は、操作部材１２を構成するスローモーションモードスイッチ（不図示）からオン操作信号が入力された場合にステップＳ１０３を肯定判定してステップＳ１０４へ進む。カメラ制御回路１１は、スローモーションモードスイッチからオン操作信号が入力されない場合には、ステップＳ１０３を否定判定してステップＳ１１１へ進む。

ステップＳ１０４において、カメラ制御回路１１はタイミングジェネレータ４へ指示を送り、フレームレートを１２０フレーム／毎秒(120fps)へアップさせてステップＳ１０５へ進む。ステップＳ１０５において、カメラ制御回路１１は、スローモーション解除指示がなされたか否かを判定する。カメラ制御回路１１は、上記スローモーションモードスイッチからオフ操作信号が入力された場合にステップＳ１０５を肯定判定してステップＳ１０６へ進む。カメラ制御回路１１は、スローモーションモードスイッチからオン操作信号が継続されている場合には、ステップＳ１０５を否定判定し、当該判定処理を繰り返す。

ステップＳ１０６において、カメラ制御回路１１はタイミングジェネレータ４へ指示を送り、フレームレートを３０フレーム／毎秒(30fps)へダウンさせてステップＳ１０７へ進む。

ステップＳ１０７において、カメラ制御回路１１は、録画停止が指示されたか否かを判定する。カメラ制御回路１１は、操作部材１２を構成する録画スイッチ（不図示）からオフ操作信号が入力された場合にステップＳ１０７を肯定判定してステップＳ１０８へ進む。カメラ制御回路１１は、録画スイッチからオン操作信号が継続されている場合には、ステップＳ１０７を否定判定し、当該判定処理を繰り返す。

ステップＳ１０８において、カメラ制御回路１１は、撮像素子２による撮像とバッファメモリ１０への蓄積処理とを停止させてステップＳ１０９へ進む。なお、音声処理回路８による音声データ化、および音声データをバッファメモリ１０に蓄積する処理も停止させる。

ステップＳ１０９において、カメラ制御回路１１は、バッファメモリ１０に蓄積されている画像データ、およびバッファメモリ１０に蓄積されている音声データに対する加工処理を行ってステップＳ１１０へ進む。加工処理の詳細については後述する。

ステップＳ１１０において、カメラ制御回路１１は、画像データ、音声データをそれぞれ所定フォーマットでファイル化するとともに外部メモリインターフェース１３へ指示を送り、画像ファイルおよび音声ファイルを外部メモリ５０に記録させて図２による処理を終了する。

上述したステップＳ１０３を否定判定したカメラ制御回路１１は、通常モードでの録画を継続する。ステップＳ１１１において、カメラ制御回路１１は、録画停止が指示されたか否かを判定する。カメラ制御回路１１は、操作部材１２を構成する録画スイッチ（不図示）からオフ操作信号が入力された場合にステップＳ１１１を肯定判定してステップＳ１１２へ進む。カメラ制御回路１１は、録画スイッチからオン操作信号が継続されている場合には、ステップＳ１１１を否定判定し、当該判定処理を繰り返す。

ステップＳ１１２において、カメラ制御回路１１は、撮像素子２による撮像とバッファメモリ１０への蓄積処理とを停止させてステップＳ１１０へ進む。なお、音声処理回路８による音声データ化、およびこの音声データをバッファメモリ１０に蓄積する処理も停止させる。

＜加工＞
加工処理の詳細について以下に説明する。図３は、録画中にフレームレートの変更を行った場合にバッファメモリ１０に蓄積された複数フレームの画像データ（以後画像データ列と呼ぶ）の取得タイミングと、音響レベル（音声信号の振幅範囲）とを説明する図である。図３において、録画開始後の時刻ｔ１および時刻ｔ２において、（１／３０）秒間隔で撮像された画像データが撮像素子１２から読出される。

時刻ｔ２から時刻ｔ３までは、（１／１２０）秒間隔で撮像された画像データ列が撮像素子１２から読み出される。そして、時刻ｔ３および時刻ｔ４において、（１／３０）秒間隔で画像データが撮像素子１２から読出される。

音声信号は、録画時のフレームレートにかかわらず、一定のサンプリングレートで取得する。なお、図３において音響レベルを一定の振幅で図示しているのは、フェードインやフェードアウトのような音量調節をすることなく、録画開始時から録画終了時まで入力音声を同じゲインで扱うことを意味する。

カメラ制御回路１１は、スローモーションモードで撮影した時間（時刻ｔ２−時刻ｔ３）から、最もスローモーションで再生させるべき時刻ｔｍを定める。具体的には、時刻ｔ２と時刻ｔ３の中間点ｔｃより後ろ側（たとえば、時刻ｔ２および時刻ｔ３の中間時刻ｔｃと時刻ｔ３との中間点）を時刻ｔｍとする。

カメラ制御回路１１は、時刻ｔ２から時刻ｔｍに向けて徐々にフレーム間隔が密になるように（換言すれば、再生時のモーション速度を徐々に遅くするように）、必要な画像データをバッファメモリ１０に蓄積された画像データ列の中から抽出する。一方、カメラ制御回路１１は、時刻ｔｍから時刻ｔ３に向けて徐々にフレーム間隔が粗になるように（換言すれば、再生時のモーション速度を徐々に速くするように）、必要な画像データをバッファメモリ１０に蓄積された画像データ列の中から抽出する。

図４は、抽出する画像データと音響レベルとを説明する図である。抽出した画像データ列は、図３と対比しやすくするために、撮像素子２からの読出しタイミングで表している。図４において、通常モードで録画された時刻ｔ１およびｔ２に対応する画像データは、そのまま抽出される。そして、スローモーションモードで録画された時刻ｔ２から時刻ｔ５までの画像データ列は、時刻ｔｍに向かって徐々に間隔を狭くするように間引きの間隔を変えながら抽出される。

また、スローモーションモードで録画された時刻ｔｍから時刻３までの画像データ列は、時刻ｔ３に向かって徐々に間隔を広くするように間引きの間隔を変えながら抽出される。そして、通常モードで録画された時刻ｔ３およびｔ４に対応する画像データは、そのまま抽出される。図４によれば、スローモーションモードで撮影された画像データ列のうち、時刻ｔ２および時刻ｔ３の近傍でそれぞれ間引き率を高くして画像データが抽出される。一方、時刻ｔｍに近づくほど間引き率を低くして画像データが抽出され、時刻ｔｍ近傍では間引きすることなく隣接する画像データが抽出される。

カメラ制御回路１１は、抽出した画像データ列を用いてファイル化を行う。本実施の形態では、たとえば、モーションピクチャー形式でファイル化を行う。具体的には、図４のように抽出した画像データ列の並びを、再生時のフレームレート（たとえば、３０フレーム／毎秒）に対応させて（１／３０）秒間隔で並べ直す（フレームレート変換する）。カメラ制御回路１１は、このように再生時のフレームレートで並べ直した画像データ列を記録用画像データとする。

図５は、時間軸上で並べ直した後の画像データ列と音響レベルとを説明する図であり、図４において時刻ｔｍに対応する部分を拡大して表したものである。図４の時刻ｔｍに対応する画像データは、図５において時刻ｔｍ’付近に位置する。

図５によれば、図４において狭かった画像データ列の間隔が図５で等間隔になるように引き延ばされている。このように並べ直すことにより、図５の時刻ｔｍ’付近ではフレーム間隔が（１／１２０）秒から（１／３０）秒へ最大４倍に引き延ばされることから、並べ直した画像データ列を３０フレーム／毎秒で再生する場合に要する再生時間は、元の録画時間に比べて長くなる。そこで、再生時間と録音時間（＝録画時間）との差を埋めるために、図５においては時刻ｔｍ’付近を無音部とする。

無音部を作るためにカメラ制御回路１１は、図４における時刻ｔｍに対応する音声データをＳａとＳｂとに切り離し（音声信号の振幅はＳａ＝Ｓｂ）、図４の時刻ｔｍより前に対応する音声データを図５において時刻ｔｍまでに再生し、図４の時刻ｔｍより後に対応する音声データを図５において時刻ｔｘから再生するものとする。

カメラ制御回路１１はさらに、再生時に音響レベルを徐々に下げて時刻ｔｍで無音部が開始されるように、時刻ｔｍの所定時間前から音声データに対してフェードアウト処理を施す。そして、再生時に時刻ｔｘで無音部を終了して音響レベルを徐々に上げて所定時間で元の音響レベルに戻すように、時刻ｔｘから所定時間の間に音声データに対してフェードイン処理を施す。カメラ制御回路１１は、このようにフェードアウト処理、フェードイン処理を施した音声データを記録用音声データとする。

図６は、以上説明した実施形態により取得（撮像）される画像データ列と、抽出される画像データ列と、再生時に用いる画像例を説明する図である。図６において、主要被写体である輪が左から右へ等速移動する。抽出される画像データは、それぞれ時刻ｔ１、ｔ２、ｔｂ、…、ｔｃ、…ｔｍ、…、ｔ３、ｔ４において取得された画像である。図６では、このうちフレームＦ１、フレームＦｂ、フレームＦｃ、フレームＦｍ、およびフレームＦ３の再生画像を例示する。

再生モードにおいて、抽出した画像データ列による再生画像を３０フレーム／毎秒で表示することにより、時刻ｔｍに対応するフレームＦｍおよびこの近傍のフレーム画像が最もスロー再生表示される。そして、時刻ｔｍに対応するフレームＦｍの前後は、それぞれ時刻ｔ２に対応するフレームＦ２（不図示）、および時刻ｔ３に対応するフレームＦ３との間で不連続性を緩和するように徐々にスロー再生の程度が変化する。通常モードで取得された画像データ列による再生画像は、そのまま３０フレーム／毎秒で表示する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラは、被写体像を所定のフレームレートで撮像して複数フレームの画像を取得する撮像素子２を備え、30fpsのフレームレートで画像取得を開始し、該30fpsでの画像取得中にスローモーションスイッチからの操作信号に応じて該30fpsより高い120fpsで画像を所定時間取得し、再び30fpsで画像を取得してから画像取得を終了するように撮像素子２を制御し、30fpsで取得した画像列と120fpsで取得した画像列との境界においてフレーム間隔を段階的に変化させるように、120fpsで取得された複数フレームの画像列から所定フレームの画像を抽出し、抽出されたフレーム画像からなる画像列を時間軸上で30fpsに並べ直し、撮像素子２で取得された複数フレームの画像のうち、120fpsで取得された画像列を整列後の画像列と置換して記録用画像を生成する。これにより、図５に示すように、最もスローモーションで再生させるべき時刻ｔｍで取得された（読み出された）画像データに向かって再生時に徐々に低速にし、当該画像データ以降は再生時に徐々に高速にするので、30fpsによる取得画像と120fpsによる取得画像との切替の境界で、再生画像の観察者に違和感を与えることが防止される。

（２）カメラ制御回路１１は、120fpsで画像を取得した期間の始点（時刻ｔ２）および終点（時刻ｔ３）でフレーム間隔を最大にし、120fpsで画像を取得した期間の中間点ｔｃより後ろ側ｔｍでフレーム間隔を最小にするように、画像列から画像を抽出するようにした。最もスローモーションで再生させるべき時刻ｔｍを中間点ｔｃより後ろ側とすることにより、観察者に対して最もスピードを感じさせるようにスローモーション再生できる。

（３）図５においては時刻ｔｍ’付近を無音部として、前後の音声データを通常速度で音響再生するようにしたので、音の再生速度が変わることに起因して再生音が低く間延びすることがないから、観察者に違和感を与えることがない。

（４）無音部の前後でフェードアウト処理、フェードイン処理を施したので、突然再生音が途切れたり、突然再生が始まったりすることによる違和感を軽減できる。

（変形例１）
複数フレームの画像データに基づいて１フレーム分の再生画像を表示させるようにしてもよい。図７は、変形例１により取得（撮像）される画像データ列と、抽出される画像データ列と、再生時に用いる画像例を説明する図である。図７において、主要被写体である輪が左から右へ等速移動する。抽出される画像データは、上述した実施形態と同様に、それぞれ時刻ｔ１、ｔ２、ｔｂ、…、ｔｃ、…ｔｍ、…、ｔ３、ｔ４において取得された画像である。図７では、このうちフレームＦ１、フレームＦｂ、フレームＦｃ、フレームＦｍ、およびフレームＦ３の再生画像を例示する。

上記実施形態と相違する点は、抽出していない画像データを抽出した画像データに重ね合わせ合成して再生画像を生成することである。たとえば、フレームＦｂの再生画像は、時刻ｔｂにおいて取得された画像に対し、時刻ｔ２から時刻ｔｂまでの間に取得された画像がそれぞれ合成される。つまり、前に抽出された画像データより後から取得された画像データ列が、次に抽出された画像データに合成される。このとき、取得時刻が新しい画像ほど合成後の画像濃度を高くするように濃度調節をする。

再生モードにおいて、合成画像データによる再生画像を３０フレーム／毎秒で表示することにより、時刻ｔｍに対応するフレームＦｍおよびこの近傍のフレーム画像が最もスロー再生表示され、輪のブレは最小となる。そして、時刻ｔｂに対応するフレームＦｂ、および時刻ｔ３に対応するフレームＦ３では、輪のブレが最大となる。通常モードで取得された画像データ列による再生画像Ｆ１、Ｆ２（不図示）、およびＦ４（不図示）は、合成対象にならないために輪のブレは生じない。

変形例１によれば、抽出されなかった画像データ列にそれぞれ記録された主要被写体（輪）の移動軌跡が、上記重ね合わせ合成することによって残像として抽出画像とともに観察されるようになるから、観察者に物体の移動速度を感じさせることができる。また、上記濃度調節を施したことにより、取得時刻が新しい画像ほど高い画像濃度で表示され、物体の移動方向をわかりやすく表示できる。

さらにまた、最もスロー再生表示される時刻ｔｍに対応するフレームＦｍでは物体のブレが最小になるので、残像なく鮮明に物体を観察できる。

（変形例２）
複数フレームの画像データに基づいて１フレーム分の再生画像を表示させる際に、画像データを重ね合わせ合成する区間を変形例１の場合と異ならせるようにしてもよい。

図８は、変形例２により取得（撮像）される画像データ列と、抽出される画像データ列と、再生時に用いる画像例を説明する図である。変形例１と同様に、主要被写体である輪が左から右へ等速移動する。抽出される画像データは、それぞれ時刻ｔ１、ｔ２、ｔｂ、…、ｔｃ、…ｔｍ、…、ｔ３、ｔ４において取得された画像である。図８では、このうちフレームＦ１、フレームＦｂ、フレームＦｃ、フレームＦｍ、およびフレームＦ３の再生画像を例示する。

変形例１と相違する点は、画像データの取得タイミングが時刻ｔｍから離れるほど合成する画像データを少なくし、画像データの取得タイミングが時刻ｔｍに近いほど合成する画像データを多くすることである。つまり、抽出する画像データ間に存在する非抽出の画像データ数に反比例させて、合成する画像データ数を決定する。

たとえば、フレームＦｂの再生画像は、時刻ｔｂにおいて取得された画像に対し、時刻ｔｂの前に取得された１つの画像が合成される。これに対してフレームＦｍの再生画像は、時刻ｔｍにおいて取得された画像に対し、時刻ｔｍの前に取得された複数（たとえば４つ）の画像が合成される。取得時刻が新しい画像ほど合成後の画像濃度を高くするように濃度調節をする点は、変形例１の場合と同様である。

再生モードにおいて、合成画像データによる再生画像を３０フレーム／毎秒で表示することにより、時刻ｔｍに対応するフレームＦｍおよびこの近傍のフレーム画像が最もスロー再生表示され、輪のブレが最大となる。そして、時刻ｔｂに対応するフレームＦｂ、および時刻ｔ３に対応するフレームＦ３では、輪のブレが最小となる。通常モードで取得された画像データ列による再生画像Ｆ１、Ｆ２（不図示）、およびＦ４（不図示）は、合成対象にならないために輪のブレは生じない。

変形例２によれば、抽出されなかった画像データ列にそれぞれ記録された主要被写体（輪）の移動軌跡が、上記重ね合わせ合成することによって残像として抽出画像とともに観察されるようになるから、観察者に物体の移動速度を感じさせることができる。また、上記濃度調節を施したことにより、取得時刻が新しい画像ほど高い画像濃度で表示され、物体の移動方向をわかりやすく表示できる。

さらにまた、最もスロー再生表示される時刻ｔｍに対応するフレームＦｍでは物体のブレが最大になるので、物体の移動速度がより強調された当該物体を観察できる。

（変形例３）
上記実施形態では、再生時の最高フレームレートを１２０フレーム／毎秒(120fps)で固定にしたが、この代わりに、スローモーションモードで撮影した時間の長さに応じて、再生時のフレームレートを変化させてもよい。

図９は、スローモーションスイッチのオン操作時間とフレームレートとの関係を説明する図である。図９の上段は、抽出した画像データ列の取得タイミングを示す図である。１番目は、スローモーションスイッチのオン操作時間（すなわち、スローモーションモードで撮影した時間）が長い場合であり、２番目は、スローモーションスイッチのオン操作時間（すなわち、スローモーションモードで撮影した時間）が短い場合である。

図９の下段は、スローモーションスイッチのオン操作時間（すなわち、スローモーションモードで撮影した時間）と、フレームレートとの関係を示す曲線である。曲線９１はオン操作時間が長い場合に対応し、曲線９２はオン操作時間が短い場合に対応する。

上述した加工処理（ステップＳ１０９）において、カメラ制御回路１１は、オン操作時間が所定時間より長い場合に、最もスローモーションで再生させるべき時刻ｔｍにおけるフレームレートを最高値（たとえば、120fps）に決定する。そして、時刻ｔｍに向けて徐々にフレーム間隔が密になるように、必要な画像データをバッファメモリ１０に蓄積された画像データ列の中から抽出する。一方、カメラ制御回路１１は、時刻ｔｍから徐々にフレーム間隔が粗になるように、必要な画像データをバッファメモリ１０に蓄積された画像データ列の中から抽出する。

一方、カメラ制御回路１１は、オン操作時間が上記所定時間以下の場合は、最もスローモーションで再生させるべき時刻ｔｍにおけるフレームレートの最高値を、オン操作時間の長さに応じて30fps〜120fpsの範囲内で決定する。そして、時刻ｔｍに向けて徐々にフレーム間隔が密になるように、必要な画像データをバッファメモリ１０に蓄積された画像データ列の中から抽出する。一方、カメラ制御回路１１は、時刻ｔｍから徐々にフレーム間隔が粗になるように、必要な画像データをバッファメモリ１０に蓄積された画像データ列の中から抽出する。

以上のように制御することにより、曲線９１および曲線９２のように、フレームレートの最高値を異ならせることができる。スローモーションモードで撮影した時間が短い場合に最高速(120fps)のフレームレートを用いると、短い再生時間内に速度差が大きいスローモーション再生が行われることになる。このような場合は再生画像の動きがぎくしゃくして観察しづらくなり、観察者に違和感を与えるおそれが生じる。そこで、変形例３のようにオン操作時間の長さに応じてフレームレートの上限を制限するように制御することで、観察しやすいスローモーション再生のフレームレートを自動的に決定できる。

（変形例４）
スローモーション再生用に加工した画像ファイルのデータから、加工前の元のデータを復元できるように、スローモーション部分の開始点、終点に対応するフレームの画像にそれぞれマーカーを合成するようにしてもよい。このマーカーは、映画フィルム編集用のカットマークと同様のものである。

＜音声復元＞
図１０は、フェードアウト処理およびフェードイン処理を施したスローモーション再生用の音声信号（図５下段の音響レベル波形に対応）から、加工前のノーマル音声信号（図４下段の音響レベルに対応）への復元を説明する図である。カメラ制御回路１１は、スローモーション再生用の画像列（図５下段の再生フレームレートに対応）のうち、開始点マーカーが記録されているフレームから終点マーカーが記録されているフレームまでのスローモーション再生時間と、スローモーション再生用の音声信号の無音部時間との差をとることにより、スローモーションモードによる録画の実時間を算出する。

ノーマル音声信号への復元は、無音部を作る処理とは逆に、音声データＳａとＳｂとをつなげ、フェードアウト処理、フェードイン処理のために絞った音量を元のレベルに戻すことによって行う。

＜画像復元＞
図１１は、スローモーション再生用に加工したスローモーション再生用のスロー動画データ列（図５上段の再生フレームレートに対応）から、加工前のスロー動画データ列（図４上段の抽出画像に対応）への復元と、この復元後のスロー動画データ列から、ノーマル動画データ列（通常モードによる再生(たとえば30fps)に必要な画像データ列）の抽出を説明する図である。

カメラ制御回路１１は、スローモーション再生用の画像データ列への加工処理とは逆に、スローモーション部分の開始点から最もスローモーションで再生する時刻ｔｍにおけるフレームまでのフレーム間隔が徐々に密となり、時刻ｔｍにおけるフレームからスローモーション部分の終点までのフレーム間隔が徐々に粗となるように、スロー動画データ列（図１１上段）を時間軸上で並べ直すことにより、加工前のスロー動画データ列（図１１中段）を復元する。

カメラ制御回路１１はさらに、スロー動画データ列（図１１中段）から、所定時間間隔（たとえば１／３０秒）に対応する画像データ列を抽出する（図１１下段）。

変形例４によれば、再生モードにおいて、抽出した画像データ列による再生画像を３０フレーム／毎秒で表示することにより、通常モードで録画した期間とスローモーションモードで録画した期間を含む全体を通常モードで再生表示できる。なお、上述した復元処理を行うと復元処理の過程で劣化を伴う場合があるので、スローモーション再生用の音声信号やスローモーション再生用のスロー動画データ列のオリジナルに対して復元処理を行うのではなく、コピーした音声信号やデータ列を対象に上記復元処理を行うとよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

本発明の一実施の形態による電子カメラの概略構成図である。 撮影モード時のカメラ制御回路が実行する処理の流れを例示するフローチャートである。 画像データ列の取得タイミングと音響レベルとを説明する図である。 抽出する画像データと音響レベルとを説明する図である。 並べ直した後の画像データ列と音響レベルとを説明する図である。 取得される画像データ列と、抽出される画像データ列と、再生時に用いる画像例を説明する図である。 変形例１により取得される画像データ列と、抽出される画像データ列と、再生時に用いる画像例を説明する図である。 変形例２により取得される画像データ列と、抽出される画像データ列と、再生時に用いる画像例を説明する図である。 スローモーションスイッチのオン操作時間とフレームレートとの関係を説明する図である。 加工前のノーマル音声信号への復元を説明する図である。 加工前のスロー動画データ列への復元と、ノーマル動画データ列の抽出を説明する図である。

符号の説明

２…撮像素子
３…画像処理回路
５…スピーカ駆動回路
７…表示装置
８…音声処理回路
９…マイク
１０…バッファメモリ
１１…カメラ制御回路
１２…操作部材

Claims (8)

1. 被写体像を所定のフレームレートで撮像して複数フレームの画像を取得する撮像手段と、
   第１フレームレートで画像取得を開始し、該第１フレームレートでの画像取得中に操作部材からの操作信号に応じて該第１フレームレートより高い第２フレームレートで画像を所定時間取得し、再び前記第１フレームレートで画像を取得してから画像取得を終了するように、前記撮像手段を制御するフレームレート制御手段と、
   前記第１フレームレートとの境界においてフレーム間隔を段階的に変化させるように、前記第２フレームレートで取得された複数フレームの画像列から所定フレームの画像を抽出する抽出手段と、
   前記抽出されたフレーム画像からなる画像列を時間軸上で前記第１フレームレートに並べ直す整列手段と、
   前記撮像手段で取得された複数フレームの画像のうち、前記第２フレームレートで取得された画像列を前記整列手段による整列後の画像列と置換して記録用画像を生成する記録画像生成手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記抽出手段は、前記第２フレームレートで画像を取得した期間の始点および終点でフレーム間隔を最大にし、前記第２フレームレートで画像を取得した期間の中間点より後ろ側でフレーム間隔を最小にするように、前記画像列から画像を抽出することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記抽出手段はさらに、前記抽出したフレーム画像に対し、前記抽出前の画像列における前フレームの画像を合成することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記抽出手段はさらに、前記抽出後のフレーム画像からなる画像列のフレーム間隔が小さいほど前記合成する画像のフレーム数を多くすることを特徴とする撮像装置。
5. 請求項３に記載の撮像装置において、
   前記抽出手段はさらに、前記抽出後のフレーム画像からなる画像列のフレーム間隔が小さいほど前記合成する画像のフレーム数を少なくすることを特徴とする撮像装置。
6. 請求項２に記載の撮像装置において、
   前記抽出手段は、前記第２フレームレートで画像を取得した期間の長さに比例して前記フレーム間隔の最大値を決定することを特徴とする撮像装置。
7. 請求項１〜６のいずれか一項に記載の撮像装置において、
   前記抽出手段はさらに、前記第２フレームレートで画像を取得した期間の始点および終点に対応するフレーム画像にそれぞれ始点情報および終点情報を付加することを特徴とする撮像装置。
8. 請求項１〜７のいずれか一項に記載の撮像装置において、
   前記撮像手段による画像取得中に音声情報を取得する音声取得手段と、
   前記取得された音声情報に基づいて記録用音声情報を生成する記録用音声情報生成手段とをさらに備え、
   前記記録用音声情報生成手段は、前記記録用画像のうち前記整列後の画像列に対応する記録用音声情報にフェードインおよびフェードアウト処理を施すことを特徴とする撮像装置。

Images