JP2012050141A - 撮像装置と再生制御装置 - Google Patents

Abstract

【課題】フレームレートを切り換えて撮像画像の記録や再生を行う。
【解決手段】撮像手段は、第１のフレームレートと第１のフレームレートよりも高い第２のフレームレートで撮像可能とする。検出手段でハイライトシーンを検出する。ハイライトシーンが検出されたときは、高速モードで撮像動作を行い高フレームレートの画像信号を所定時間生成する。ハイライトシーンが検出されていないときは、通常モードで撮像動作を行い通常フレームレートの画像信号を生成する。角速度が大きく撮像方向の変化が検出されているときや、ズーム作動により撮像範囲の変化中であるときは、ハイライトシーン未検出とする。したがって、撮像方向や撮像範囲の変化により被写体の移動等が生じたときにハイライトシーンの検出として、高速モードで撮像動作が行われてしまうことを防止できる。
【選択図】 図３

Description

本発明は、フレームレートを切り換えて撮像が可能な撮像装置と、外部モニタ装置が対応しているフレームレートで動画像情報の再生が可能な再生制御装置に関する。

近年のＣＣＤ(Charge Coupled Device)からＣＭＯＳ(Complementary Metal Oxide Semiconductor)への撮像素子のトレンドの変化や、放送のハイビジョン対応による撮像素子、撮像システムの高解像度化といった技術により民生用の撮像装置においても解像度を限定することで高速なフレームレートでの撮像環境が実現されている。

例えば日本特開昭６３−５９０７４号公報では、シャッタ速度やコマ速度を可変することで、高速撮像を可能にした高速ビデオカメラが開示されている。また、日本特開２００１−２９２４０９号公報では、高速なフレームレートでの撮像環境において得られた映像を再生する記録再生装置として、高画質なスローモーション記録と通常記録とを切り換え可能とすることが開示されている。

ところで、従来の撮像装置においては、ユーザが手動でシャッタ速度やコマ速度を指定することで高速撮像を行うものであり操作が煩雑になり、また、再生時のフレームレートを切り換える手段が必要になるという課題があった。

また、従来の記録再生装置においては、出力画像のフレームレートの調整、および出力画像を再生出力先のディスプレイで表示する際のフレームレートの調整ができないという課題があった。

そこで、ハイライトシーン撮像時のフレームレートの切り換えに要する手間を省き、消費電力および記憶媒体の容量を節約できるものとするため、この技術の第１の側面は、第１のフレームレートと第１のフレームレートよりも高い第２のフレームレートで撮像可能な撮像手段と、ハイライトシーンを検出するハイライトシーン検出手段と、撮像方向の変化を検出する撮像方向変化検出手段と、前記ハイライトシーン検出手段によりハイライトシーンを検出したことに応じて、前記撮像手段のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り換える制御手段とを備え、前記ハイライトシーン検出手段は、前記撮像方向変化検出手段によって撮像方向の変化が検出されているときに、ハイライトシーン未検出とするものである。

また、この技術の第２の側面は、第１のフレームレートと第１のフレームレートよりも高い第２のフレームレートで撮像可能な撮像手段と、ハイライトシーンを検出するハイライトシーン検出手段と、撮像範囲の変化を検出する撮像範囲変化検出手段と、前記ハイライトシーン検出手段によりハイライトシーンを検出したことに応じて、前記撮像手段のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り換える制御手段とを備え、前記ハイライトシーン検出手段は、前記撮像範囲変化検出手段によって撮像範囲に変化があることが検出されているときに、ハイライトシーン未検出とするものである。

さらに、出力画像のフレームレートの調整および再生出力先で画像を表示する際のフレームレートの調整が可能となるように、この技術の第３の側面は、撮像装置で生成された動画像情報と、前記動画像情報の生成時における前記撮像装置の撮像方向の変化の検出結果を含む付属情報の再生を行う再生制御装置において、ハイライトシーンを検出するハイライトシーン検出手段と、前記ハイライトシーン検出手段でハイライトシーンを検出したことに応じて、前記動画像情報を再生するときの再生モードを、間引き再生モードから非間引き再生モードに切り替える制御手段とを備え、前記ハイライトシーン検出手段は、前記付属情報に含まれた前記撮像方向の変化の検出結果が前記撮像方向の変化を示しているときに、ハイライトシーン未検出とする。

また、この技術の第４の側面は、撮像装置で生成された動画像情報と、前記動画像情報の生成時における前記撮像装置の撮像範囲の変化の検出結果を含む付属情報の再生を行う再生制御装置において、ハイライトシーンを検出するハイライトシーン検出手段と、前記ハイライトシーン検出手段でハイライトシーンを検出したことに応じて、前記動画像情報を再生するときの再生モードを、間引き再生モードから非間引き再生モードに切り替える制御手段とを備え、前記ハイライトシーン検出手段は、前記付属情報に含まれた前記撮像範囲の変化の検出結果が前記撮像範囲の変化中であることを示しているときに、ハイライトシーン未検出とする。

本発明の撮像装置によれば、ハイライトシーンの検出に応じてフレームレートの切り換えが行われて例えば第１のフレームレートから第１のフレームレートよりも高い第２のフレームレートに自動的に切り換えられる。このため、ハイライトシーン撮像時のフレームレートの切り換え操作を行う手間を省くことができる。また、ハイライトシーンが検出されたときに第２のフレームレートに切り換えられるので、第２のフレームレートに固定する場合に比べて、消費電力および記憶媒体の容量を節約できる。さらに、撮像方向の変化が検出されているときや撮像範囲に変化があることが検出されているときにハイライトシーン未検出とされるので、撮像方向や撮像範囲の変化により被写体の移動等が生じた場合にハイライトシーンと検出されてしまうことを防止できる。

また、本発明の再生制御装置によれば、撮像装置で生成された動画像情報を再生する場合に、動画像情報の生成時における撮像装置の撮像方向の変化の検出結果や撮像範囲の変化の検出結果を含む付属情報が再生されて、ハイライトシーンを検出したことに応じて、動画像情報を再生するときの再生モードが間引き再生モードから非間引き再生モードに切り替えられる。また、撮像方向の変化が検出されているときや撮像範囲に変化があることが検出されているときにハイライトシーン未検出とされる。このため、撮像方向や撮像範囲の変化により被写体の移動等が生じた場合にハイライトシーンと検出されて、非間引き再生モードに切り替えられてしまうことを防止できる。

本発明の撮像装置の構成を示すブロック図である。 撮像装置におけるフレームレート切り換え動作を示すフローチャートである。 ハイライトシーンの検出処理を示すフローチャートである。 撮像装置の記録時と再生時の動作（外部モニタ装置が高速フレームレートに対応していない場合）を説明するための図である。 撮像装置の記録時と再生時の動作（外部モニタ装置が高速フレームレートに対応している場合）を説明するための図である。 高速フレームレート再生モードと通常フレームレート再生モードの切り換え動作を示すフローチャートである。 動画ファイル構造を示す説明図である。 外部モニタ装置が高速フレームレートに対応していないとき、動画ファイル構造の画像信号を再生したときの動作を説明するための図である。 外部モニタ装置が高速フレームレートに対応しているとき、動画ファイル構造の画像信号を再生したときの動作を説明するための図である。 外部記録媒体（あるいは内部記録媒体）に記録されるデータの構成を示す図である。 高速フレームレートに対応していない外部モニタ装置が接続されたときの再生動作を説明するための図である。 再生時のマニュアル操作によるフレームレートの選択動作を示すフローチャートである。 通常フレームレート間引き再生モードと通常フレームレート非間引き再生モードの自動切り換え動作を示すフローチャートである。 フレームレート切換情報の自動生成動作を示すフローチャートである。

次に、本発明の実施の形態について図面を参照して説明する。図１は、本発明の撮像装置の構成を示すブロック図である。本発明の撮像装置は、撮像装置に接続して用いられる外部モニタ装置が、第１のフレームレートだけでなく、第１のフレームレートよりも高いフレームレートである第２のフレームレートに対応している外部モニタ装置へ移行するまでの過渡期において、第２のフレームレートに対応した外部モニタ装置と非対応な外部モニタ装置が混在すること、ならびに撮像動作時の電力および記録媒体の容量への影響を考慮したものである。なお、以下の説明では、第１のフレームレートを標準テレビジョン方式のフレームレート例えば６０ｆｐｓ(フレーム／秒)または５０ｆｐｓとする（なお、ここでは、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等における「奇数フィールド」や「偶数フィールド」の１フィールドを「１フレーム」として記載している。）。また、第２のフレームレートを第１のフレームレートの例えば４倍である２４０ｆｐｓ(フレーム／秒)とする。なお、第１のフレームレートを通常フレームレート、第２のフレームレートを高速フレームレートという。

本発明の撮像装置は、イメージャー駆動ドライバ１、電子撮像素子（イメージャー）２、アナログフロントエンド（ＡＦＥ）３、画像・音声処理ＡＳＩＣ(Application Specific Integrated Circuit)４、マイク５、アナログアンプ６、スピーカ７、メモリ８、パネル駆動ドライバ９、ＬＣＤ(Liquid Crystal Display)パネル１０、操作部１１、バッテリ１２、電源管理ＩＣ１３、外部記録媒体１４、画像出力端子１５、内部記録媒体２１、プログラマブルＲＡＭ(Random Access Memory)２２、角速度センサ２３、レンズ駆動ドライバ２４、レンズ２５およびシステムＭＰＵ(Micro Processing Unit)２６を備えている。

イメージャー駆動ドライバ１は、電子撮像素子２を駆動するための回路である。電子撮像素子２は、通常フレームレートの画像信号だけでなく、高速フレームレートの画像信号の生成を行うことができる撮像素子である。電子撮像素子２としては、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージャー等が用いられる。

ＡＦＥ３は、アナログ信号処理回路やＡ／Ｄコンバータ等を備えている。ＡＦＥ３は、電子撮像素子２で生成されたアナログの画像信号の信号処理例えばノイズ除去処理や信号レベル調整処理等を行う。さらに信号処理後の画像信号をディジタルの画像信号に変換する。

画像・音声処理ＡＳＩＣ４は、画像信号および音声信号を処理する特定用途向け集積回路である。画像・音声処理ＡＳＩＣ４は、例えばＡＦＥ３で得られたディジタルの画像信号に対して色処理やレンズ補正処理といった処理を行う。また、画像信号の圧縮処理や伸長処理等も行う。

マイク５は、音声を検出し電気信号へ変換し出力する。アナログアンプ６は、マイク５から出力された電気信号を増幅する回路である。スピーカ７は、アナログアンプ６において増幅した電気信号を音声に変換して出力する。メモリ８は、各種データを記憶する回路である。パネル駆動ドライバ９は、画像・音声処理ＡＳＩＣ４により処理した画像信号をもとにＬＣＤパネル１０の各画素を駆動する回路である。操作部１１は各種操作スイッチを備えている。バッテリ１２は、この撮像装置の各部へ供給される電力を発生させる。電源管理ＩＣ１３は、バッテリ１２の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。

外部記録媒体１４は、この撮像装置で生成された動画像情報や音声情報等を保存するための外部記録媒体である。画像出力端子１５は、この撮像装置で生成された動画像情報や外部記録媒体１４に記録されている動画像情報を外部モニタ装置３０に供給して画像をモニタできるにようにするための出力端子である。内部記録媒体２１は、この撮像装置に内蔵された記憶装置であり、この撮像装置で生成された動画像情報や音声情報等を保存する。

プログラマブルＲＡＭ２２は、この撮像装置で必要な各種ロジックを構成している。

角速度センサ２３は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。

レンズ駆動ドライバ２４は、レンズ駆動信号をもとにレンズ２５を駆動してズーム動作等を行うための回路である。

システムＭＰＵ２６は、この撮像装置の各部を制御するマイクロプロセッシングユニットである。

次に動作について説明する。システムＭＰＵ２６は、撮像装置の動作モードが高速フレームレートの画像信号を生成する動作モード（以下「高速モード」という）とされたとき、イメージャー駆動ドライバ１に対して高速フレームレートに対応した駆動パルスを送り、電子撮像素子２を高速モードで駆動する。

また、システムＭＰＵ２６は、ＡＦＥ３や画像・音声処理ＡＳＩＣ４も高速モードで信号処理を行わせて、高速フレームレートの画像信号を生成させる。さらに、システムＭＰＵ２６は、高速フレームレートの画像信号の圧縮処理を画像・音声処理ＡＳＩＣ４で行わせる。システムＭＰＵ２６は、このように各部の動作を制御して得られた高速フレームレートの画像信号を画像出力端子１５から出力させる処理や、高速フレームレートの画像信号を圧縮処理して得られた画像記録データを外部記録媒体１４（あるいは内部記録媒体２１）に記録する処理を行う。画像記録データを記録する際、マイク５から入力される音声は、ディジタルサンプリングが施された後に圧縮されて、高速フレームレートの撮像画像に同期して記録される。なお、外部記録媒体１４（あるいは内部記録媒体２１）には、高速フレームレートの画像信号を記録するものとしてもよい。このように、動作モードとして高速モードを選択すれば、時間解像度の高い撮像画像を出力あるいは記録することができる。

システムＭＰＵ２６は、撮像装置の動作モードを通常フレームレートの画像信号を生成する動作モード（以下「通常モード」という）とするとき、高速モードよりも撮像装置の消費電力を低下させるため、駆動パルスの周波数そのものを下げて、電子撮像素子２やＡＦＥ３および画像・音声処理ＡＳＩＣ４等を通常モードで駆動する。

通常モードでは時間方向の解像度が高速モードに比べて低下するが、画像信号のフレームレートが下がるため消費電力、記録媒体の容量への負担が少ないなどのメリットが生じる。なお、高速モードと通常モードでは露光時間が異なることから、画像・音声処理ＡＳＩＣ４等にて画像信号のゲイン調整を行うことで、露光時間が異なる場合でも信号レベルが同等となるようにすればよい。

外部モニタ装置３０が高速フレームレートに対応可能である場合、撮像装置の画像出力端子１５から出力される画像信号を用いて、撮像画像を表示することが可能である。しかし、外部モニタ装置３０が高速フレームレートに対応していない場合、例えば従来のテレビジョン装置や機器に備わったＬＣＤパネル等である場合、撮像装置の画像出力端子１５から出力される画像信号のフレームレートが高速フレームレートであるときには、撮像画像を表示することはできない。

したがって、高速フレームレートに対応していない外部モニタ装置に対しては、撮像装置が備えている高速フレームレートの撮像機能の用途として、高速モードで撮像を行うことにより得られた高フレームレートの画像信号を通常フレームレートで出力するスロー再生モードを設ける。例えば１秒当たり２４０枚のフレーム画像（２４０ｆｐｓ）を１秒当たり６０枚のフレーム画像（６０ｆｐｓ）の速度で再生することで、４倍の時間をかけて画像信号の出力を行うスロー再生モードを設ける。このようにすれば、高速フレームレートの画像信号を用いて、時間解像度の高いスロー再生画像表示を行うことが可能となる。

このように、高速フレームレートに対応していない外部モニタ装置を用いる場合であっても、スロー再生モードを設けることで撮像画像を表示することができるので、全て高フレームレートで撮像を行うことも可能となる。しかし、全て高フレームレートで撮像を行うものとすると、前述の通り撮像装置の消費電力が大きくなることから撮像装置の動作可能時間が短くなってしまう。また、高速モードでの解像度を、通常モードでの解像度と同じとした場合には、単位時間あたりのフレーム数が多いことから記録可能時間も短くなってしまう。

そこで、本発明の撮像装置は、撮像時に撮像装置で得られる情報をもとにハイライトシーンを検出して、ハイライトシーンが検出されることに応じて、撮像画像のフレームレートを自動的に切り換える。このようにフレームレートの切り換えを行うことで、フレームレートの切り換え操作に要する手間を省き、消費電力と媒体容量を節約しつつ、ハイライトシーンのスローモーション映像効果を自動的に作成できるようにする。

なお、ハイライトシーンの検出およびフレームレート切り換えはシステムＭＰＵ２６により実現されている。

図２は、撮像装置におけるフレームレート切り換え動作を示すフローチャートである。図２のフローチャートに示すように、システムＭＰＵ２６は、ハイライトシーンの検出処理を行う（ステップＳ１）。次に、システムＭＰＵ２６は、ハイライトシーンが検出されたか否かを判定し（ステップＳ２）、ハイライトシーンが検出されたとき、システムＭＰＵ２６は、動作モードを高速モードとして２４０ｆｐｓのフレームレートで撮像動作を行わせて画像信号を生成させる（ステップＳ３）。その後、システムＭＰＵ２６は、高速モードでの画像信号の生成が所定時間経過したか否かを判別して（ステップＳ４）、所定時間が経過していないときには高速モードでの画像信号の生成を継続し、所定時間が経過したときはハイライトシーンの検出処理を行う。また、ハイライトシーンが検出されていないとき、システムＭＰＵ２６は、動作モードを通常モードとして６０ｆｐｓのフレームレートで撮像動作を行わせて画像信号を生成させる（ステップＳ５）。

次に、ハイライトシーンの検出処理について説明する。ハイライトシーンの検出とは、被写体の動きの量が所定値を超えたときを示している。システムＭＰＵ２６は、撮像画像の画像信号を用いてハイライトシーンの検出を行う。例えば画像・音声処理ＡＳＩＣ４にてフレーム間差分演算を行い、得られた演算結果をシステムＭＰＵ２６に供給する。システムＭＰＵ２６は、演算結果と予め定められた閾値を比較して、演算結果が閾値を超えた
とき、被写体の動きの量が所定値を超えたものとしてハイライトシーンの検出とする。また、演算結果が閾値を超えていないとき、被写体の動きの量が所定量を超えていないものとしてハイライトシーンは検出されていないとする。

ところで、撮像装置が固定されており撮像範囲に変化がないとき、フレーム間差分演算の演算結果は、被写体の動きの量を示す値となる。しかし、撮像範囲を変化させるズーム動作が行われた場合（例えばズームインやズームアウト動作が行われた場合）や、撮像方向が変化した場合（例えばパン・チルト動作が行われた場合や手ブレが大きい場合など）、被写体が動いていなくともフレーム間差分演算の演算結果は大きくなってしまうおそれがある。

そこで、システムＭＰＵ２６は、ズーム作動状況および／または手ブレ補正用のセンサ（ここでは角速度センサ２３）出力も用いてハイライトシーンの検出を行えば、ハイライトシーンの検出精度を向上させることができる。

図３は、ハイライトシーンの検出処理を示すフローチャートである。この図３に示すハイライトシーンの検出処理は、フレーム間の差分演算結果だけでなく、撮像装置のズーム動作状況と角速度センサ２３の出力を用いて、ハイライトシーンの検出を精度よく行う場合を示している。

図３に示すフローチャートによれば、先ずシステムＭＰＵ２６は、レンズ駆動ドライバ２４がズーム（ＺＯＯＭ）作動中であるか否か判定する（ステップＳ１１）。そして、ズーム作動中であれば、システムＭＰＵ２６はハイライトシーン未検出とする（ステップＳ１５）。

ステップＳ１１においてズーム作動中でなければ、次にシステムＭＰＵ２６は、角速度センサ２３の出力をもとに、この撮像装置に加えられている角速度が大きいか否かを例えば予め設定されている閾値と比較して判定する（ステップＳ１２）。この結果、角速度センサ２３により検出された角速度の大きさが閾値よりも大きい場合、システムＭＰＵ２６はハイライトシーン未検出とする（ステップＳ１５）。

ステップＳ１２において角速度が閾値よりも大きくないと判定した場合、次にシステムＭＰＵ２６は、フレーム間差分演算の演算結果が小さいか否かを例えば予め設定されている閾値と比較して判定する（ステップＳ１３）。その結果、演算結果が閾値よりも小さい場合、システムＭＰＵ２６はハイライトシーン未検出とする（ステップＳ１５）。

また、ステップＳ１３において演算結果が閾値よりも小さくない場合、システムＭＰＵ２６はハイライトシーンを検出したものとする（ステップＳ１４）。

さらに、システムＭＰＵ２６は、撮像画像の画像信号だけでなく、マイク等からの音声信号を用いてハイライトシーンの検出を行うものとしてもよい。例えばマイクからの音声信号の信号レベルが閾値よりも大きくなったときハイライトシーンを検出したものとして、高速モードで画像信号の生成を所定時間行うことにより、例えば運動会等のレースシーンにおいてスタートシーンをハイライトシーンとして高フレームレートで記録することが可能である。

また、通常の操作釦に合わせて高速フレームレートフラグの設定を行うことにより、例えば記録開始のレリーズ釦の長押しをトリガとしてフラグをオンすることにより、撮像動作を継続したまま動作モードを通常モードから高速モードに切り換えることが可能である。

図４は、撮像装置の記録時と再生時の動作を示しており、外部モニタ装置３０が高速フレームレートに対応していない場合である。

図４の（ａ）は、画像出力端子１５に接続された外部モニタ装置３０が高速フレームレートに対応していない場合であって、ハイライトシーンが検出されていないときの記録時と再生時の動作を示している。つまり、ハイライトシーンが検出されていないことから、記録時には１／６０秒間隔で撮像装置が生成したフレーム番号〔０，４，８，１２……〕のフレームが記録される。また、外部モニタ装置３０が高速フレームレートに対応しておらず、記録されたフレームが１／６０秒間隔であることから、再生時には、フレーム番号〔０，４，８，１２……〕のフレームが１／６０秒間隔で再生される。

図４の（ｂ）は、画像出力端子１５に接続された外部モニタ装置３０が高速フレームレートに対応していない場合であって、ハイライトシーンが検出されたときの記録時と再生時の動作を示している。つまり、ハイライトシーンが検出されると動作モードが所定時間だけ高速モードとされる。したがって、記録時には、１／２４０秒間隔で撮像装置が生成したフレーム番号〔０，１，２，３，４，５，６，７，８……〕のフレームが記録される。そして、再生時のフレームは、外部モニタ装置３０が高速フレームレートに対応していないため、記録したフレーム番号〔０，１，２，３，４，５，６，７，８……〕のフレームが１／６０秒間隔で再生される。

また、本発明の撮像装置では、高速フレームレートに対応した外部モニタ装置向けの用途として、高速フレームレートの画像信号を出力する高フレームレート再生モードを設ける。この高フレームレート再生モードにおいて、出力する画像信号が高速モードで生成された画像信号であるとき、フレームレートを変更することなくそのまま出力する。また出力する画像信号が通常モードで生成された画像信号であるとき、フレーム画像の繰り返し出力を行うことで、高速フレームレートの画像信号に変換して出力する。

なお、図４に示すように画像信号を出力するモードを通常フレームレート再生モードと呼ぶものとする。すなわち、通常フレームレート再生モードでは、出力する画像信号が通常モードで生成された画像信号であるとき、フレームレートを変更することなくそのまま出力する。また出力する画像信号が高速モードで生成された画像信号であるとき、この画像信号を通常モードのフレームレートで出力する。

図５は、撮像装置の記録時と再生時の動作を示しており、外部モニタ装置３０が高速フレームレートに対応している場合である。

図５の（ａ）は、画像出力端子１５に接続された外部モニタ装置３０が高速フレームレートに対応している場合であって、ハイライトシーンが検出されていないときの記録時と再生時の動作を示している。つまり、ハイライトシーンが検出されていないことから、記録時には１／６０秒間隔で撮像装置が生成したフレーム番号〔０，４，８，１２……〕のフレームが記録される。また、外部モニタ装置３０が高速フレームレートに対応しており、再生時のフレームは１／２４０秒間隔であることから、再生時に各フレーム画像を４回繰り返し出力（ダミーフレームを出力）することでフレーム数を４倍として、フレーム番号〔０，０，０，０，４，４，４，４，８……〕のフレームが１／２４０秒間隔で再生される。

図５の（ｂ）は、外部モニタ装置３０が高速フレームレートに対応している場合であって、ハイライトシーンが検出されたときの記録時と再生時の動作を示している。つまり、ハイライトシーンが検出されると動作モードが所定時間だけ高速モードとされる。したがって、記録時には、１／２４０秒間隔で撮像装置が生成したフレーム番号〔０，１，２，３，４，５，６，７，８……〕のフレームが記録される。そして、再生時のフレームは、外部モニタ装置３０が高速フレームレートに対応していることから、記録したフレーム番号〔０，１，２，３，４，５，６，７，８……〕のフレームが１／２４０秒間隔で再生される。

なお、図５に示すように画像信号を出力するモードを高速フレームレート再生モードと呼ぶものとする。すなわち、高速フレームレート再生モードでは、出力する画像信号が高速モードで生成された画像信号であるとき、フレームレートを変更することなくそのまま出力する。また出力する画像信号が通常モードで生成された画像信号であるとき、フレームの補間を行い高速フレームレートの画像信号に変換して出力する。

このように、高速フレームレート再生モードでは、高速モードで生成された画像信号がフレームレートを変更されることなく出力される。したがって、ハイライトシーンが検出されてから所定時間、時間解像度の高い画像表示を行うことができる。また、通常フレームレート再生モードでは、高速モードで生成された画像信号が通常モードのフレームレートで出力される。したがって、ハイライトシーンが検出されてから所定時間分の画像をスローモーションで再生することができる。

次に、外部モニタ装置３０が高速フレームレートに対応しているか否かに応じて、高速フレームレート再生モードと通常フレームレート再生モードの切り換えを行う場合について説明する。

図６は、高速フレームレート再生モードと通常フレームレート再生モードの切り換え動作を示すフローチャートである。システムＭＰＵ２６は、先ず画像信号の出力先である外部モニタ装置３０が高速フレームレートに対応しているか否かを判定する（ステップＳ２１）。この判定は、例えば操作部１１からの信号に基づいて行う。すなわち、ユーザは、出力先の外部モニタ装置３０が高速フレームレートに対応しているか否かを判断して、判断結果に基づいて操作部１１を操作する。システムＭＰＵ２６は、操作部１１からの信号に基づき、高速フレームレートに対応しているか否かの判断結果に基づいたユーザ操作が行われたか否かを判別して、このユーザ操作に基づき、出力先の外部モニタ装置３０が高速フレームレートに対応しているか否かを判定する。この判定の結果、ステップＳ２１において出力先の外部モニタ装置３０が高速フレームレートに対応していると判定したときには高速フレームレート再生モードへ移行する（ステップＳ２３）。一方、ステップＳ２１において高速フレームレートに対応していないと判定したときには通常フレームレート再生モードとする（ステップＳ２２）。

このように、ハイライトシーンを検出したことに応じてフレームレートを切り換えて画像信号の生成を行うものとすれば、消費電力および記憶媒体へ記憶されるデータ量の抑制を実現することができるようになる。さらに、外部モニタ装置３０が高速フレームレートに対応するか否かに応じて、出力する画像信号のフレームレートを切り換えることで、ハイライトシーンが検出されてから所定時間、時間解像度の高い画像表示やスローモーション表示を行うことができる。

なお、外部モニタ装置３０が高速対応可能かどうかは前述したようにユーザ設定もしくはケーブル接続時に電気的もしくは制御信号で判断可能である。例えば外部モニタ装置がＨＤＭＩ（High Definition Multimedia Interface）に対応している場合には、ＨＤＭＩを介して取得した外部モニタ装置の表示仕様に基づいて判断することが考えられる）。

図７は、通常モードで撮像動作（通常撮影）を行って得られた画像信号と、高速モードで撮像動作（高速撮影）を行って得られた画像信号が混在して記録された動画ファイル構造を示している。

図８は、画像出力端子１５に接続された外部モニタ装置３０が高速フレームレートに対応していないとき、図７に示す動画ファイル構造の画像信号を再生したときの動作を示している。

通常モードで撮像動作が行われているときに、図３に示すような処理によってハイライトシーンが検出されると、動作モードが通常モードから高速モードに自動的に所定時間切り換えられることから、通常モードで撮像動作を行って得られた画像信号と、高速モードで撮像動作を行って得られた画像信号が混在して記録される。また、外部モニタ装置３０が高速フレームレートに対応していないため、自動的に通常フレームレート再生モードに設定されると、通常モードと高速モードで撮像動作を行って得られた画像信号が通常フレームレートで順次出力される。したがって、外部モニタ装置３０の画面上には、高速モードで撮像された画像が時間的に４倍に引き延ばされたスローモーション再生の画像となる。

図９は、画像出力端子１５に接続された外部モニタ装置３０が高速フレームレートに対応しているとき、図７に示す動画ファイル構造の画像信号を再生したときの動作を示している。

通常モードで撮像動作が行われているときに、図３に示すような処理によってハイライトシーンが検出されると、動作モードが通常モードから高速モードに自動的に所定時間切り換えられることから、通常モードで撮像動作を行って得られた画像信号と、高速モードで撮像動作を行って得られた画像信号が混在して記録される。また、外部モニタ装置３０が高速フレームレートに対応しており、自動的に高速フレームレート再生モードに設定されると、通常モードと高速モードで撮像動作を行って得られた画像信号が高速フレームレートで順次出力される。したがって、外部モニタ装置３０の画面上には、高速モードで撮像された画像が通常モードで撮像された画像よりも時間解像度の高い画像として表示される。また、通常モードで撮像された画像を出力するときは、フレーム補間処理を行い、前のフレームをダミーフレームとして繰り返し挿入することで高速フレームレートの画像信号に変換して出力する。

以上説明したように、本発明の撮像装置によれば、例えばズーム作動中でなければ、次に角速度センサ２３の出力をもとにこの撮像装置に加えられている角速度の大きさが大きいか否かを、予め設定されている閾値をもとに判定する。この結果、角速度センサ２３により検出された角速度が閾値より大きい場合には、通常モードで撮像動作を行う。また、角速度の大きさが前記閾値より小さいと判定した場合には、次に画像・音声処理ＡＳＩＣ４にてフレーム間差分演算を行い演算結果と閾値を比較して、被写体の移動量が所定値を超えるか否かを判定する。その結果、被写体の移動量が所定値を超えていないときは通常モードの撮像動作を行う。また、被写体の移動量が所定値を超えたときハイライトシーンが検出されたものとして、高速モードの撮像動作を所定時間行う。

この結果、より確実にハイライトシーンを検出することが可能となり、ハイライトシーンが検出されたときのみ高速フレームレートによる撮像動作が行われるため、消費電力と記憶媒体の容量が節約され、さらに撮像フレームレートの切り換え操作に要する手間が不要となる。

言い換えると、本発明の撮像装置によれば、第１のフレームレートと第１のフレームレートよりも高い第２のフレームレートで撮像や撮像画像の記録が可能な撮像機器において、時間解像度の高い画像が必要なハイライトシーンで自動的に撮像フレームレートを切り換えることが可能になる。この結果、消費電力と媒体の容量に負担をかけることなく少ない負荷で適所に時間解像度の高い動画撮像を実現できる撮像装置が得られる効果がある。

また、外部モニタ装置３０に合わせて再生時のフレームレートを変換することで、外部モニタ装置３０が第２のフレームレートに対応していない場合でも、再生時に第２のフレームレートで撮像されたシーンをスローモーション再生して表示することが可能となり、第２のフレームレートで撮像された画像を有効活用できる。また、第２のフレームレートに対応している高速表示可能な外部モニタ装置に対しては、第１のフレームレートと第２のフレームレートの混在する画像を時間方向に精細さを保ちつつリアルタイムに出力することが可能になる。

次に、本願発明の再生制御装置について説明する。なお、再生制御装置を例えば撮像装置に設けるものとすると、図１のブロック図はこの再生制御装置においても適用される。

本願発明の再生制御装置は、今後過渡的に混在する高速フレームレート表示可能な外部モニタ装置と高速フレームレートに対応していない外部モニタ装置を考慮し、記録時のフレームレートは通常フレームレート（６０ｆｐｓ）よりも高い高速フレームレート（２４０ｆｐｓ)に固定して、再生時には出力先の外部モニタ装置が対応するフレームレートに応じて出力画像のフレームレートを調整可能にする。

このため、再生制御装置は、画像の出力先の外部モニタ装置３０が対応しているフレームレートと、高速フレームレートで記録された画像に対応して記録された当該画像の付属情報に基づいて、記録された画像を再生するときの再生モードを、間引き再生モードまたは非間引き再生モードのいずれとするか判定して、判定結果に応じて画像の再生動作を制御する。この再生モードの判定や再生動作の制御は、システムＭＰＵ２６により実現されている。

この再生制御装置を備えた撮像装置は、図１に示すように、イメージャー駆動ドライバ１、電子撮像素子２、アナログフロントエンド（ＡＦＥ）３、画像・音声処理ＡＳＩＣ(Application Specific Integrated Circuit)４、マイク５、アナログアンプ６、スピーカ７、メモリ８、パネル駆動ドライバ９、ＬＣＤ(Liquid Crystal Display)パネル１０、操作部１１、バッテリ１２、電源管理ＩＣ１３、外部記録媒体１４、画像出力端子１５、内部記録媒体２１、プログラマブルＲＡＭ(Random Access Memory)２２、角速度センサ２３、レンズ駆動ドライバ２４、レンズ２５およびシステムＭＰＵ(Micro Processing Unit)２６を備えている。

イメージャー駆動ドライバ１は、電子撮像素子２を駆動するための回路である。電子撮像素子２は、標準フレームレートの画像信号だけでなく、高速フレームレートの画像信号の生成を行うことができる撮像素子である。電子撮像素子２としては、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージャー等が用いられる。

ＡＦＥ３は、アナログ信号処理回路やＡ／Ｄコンバータ等を備えている。ＡＦＥ３は、電子撮像素子２で生成されたアナログの画像信号の信号処理例えばノイズ除去処理や信号レベル調整処理等を行う。さらに信号処理後の画像信号をディジタルの画像信号に変換する。

画像・音声処理ＡＳＩＣ４は、画像信号および音声信号を処理する特定用途向け集積回路である。画像・音声処理ＡＳＩＣ４は、例えばＡＦＥ３で得られたディジタルの画像信号に対して色処理やレンズ補正処理といった処理を行う。また、画像信号の圧縮処理や伸長処理等も行う。

マイク５は、音声を検出し電気信号へ変換し出力する。アナログアンプ６は、マイク５から出力された電気信号を増幅する回路である。スピーカ７は、アナログアンプ６において増幅した電気信号を音声に変換して出力する。メモリ８は、各種データを記憶する回路である。パネル駆動ドライバ９は、画像・音声処理ＡＳＩＣ４により処理した画像信号をもとにＬＣＤパネル１０の各画素を駆動する回路である。操作部１１は各種操作スイッチを備えている。バッテリ１２は、この撮像装置の各部へ供給される電力を発生させる。電源管理ＩＣ１３は、バッテリ１２の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。

外部記録媒体１４は、この撮像装置で生成された動画像情報や音声情報等を保存するための外部記録媒体である。画像出力端子１５は、この撮像装置で生成された動画像情報や外部記録媒体１４に記録されている動画像情報を外部モニタ装置３０に供給して画像をモニタできるにようにするための出力端子である。内部記録媒体２１は、この撮像装置に内蔵された記憶装置であり、この撮像装置で生成された動画像情報や音声情報等を保存する。

プログラマブルＲＡＭ２２は、この撮像装置で必要な各種ロジックを構成している。

角速度センサ２３は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。

レンズ駆動ドライバ２４は、レンズ駆動信号をもとにレンズ２５を駆動してズーム動作等を行うための回路である。

システムＭＰＵ２６は、この撮像装置の各部を制御するマイクロプロセッシングユニットである。

次に動作について説明する。撮像画像の記録時に、システムＭＰＵ２６は、イメージャー駆動ドライバ１に対して高速フレームレートに対応した駆動パルスを送り、電子撮像素子２を高速モードで駆動する。

また、システムＭＰＵ２６は、ＡＦＥ３や画像・音声処理ＡＳＩＣ４も高速モードで信号処理を行わせて、高速フレームレートの画像信号を生成させる。さらに、システムＭＰＵ２６は、高速フレームレートの画像信号の圧縮処理を画像・音声処理ＡＳＩＣ４で行わせる。システムＭＰＵ２６は、このように各部の動作を制御して得られた高速フレームレートの画像信号を画像出力端子１５から出力させる処理や、高速フレームレートの画像信号を圧縮処理して得られた画像記録データを外部記録媒体１４（あるいは内部記録媒体２１）に記録する処理を行う。画像記録データを記録する際、マイク５から入力される音声は、ディジタルサンプリングが施された後に圧縮されて、高速フレームレートの撮像画像に同期して記録される。さらに、システムＭＰＵ２６は、付属情報を生成して画像記録データと時間軸を関連させて外部記録媒体１４（あるいは内部記録媒体２１）に記録する。なお、外部記録媒体１４（あるいは内部記録媒体２１）には、圧縮処理されていない高速フレームレートの画像信号を記録するものとしてもよい。なお、外部記録媒体１４（あるいは内部記録媒体２１）に記録された画像記録データや高速フレームレートの画像信号は、動画像情報という。

図１０は、外部記録媒体１４（あるいは内部記録媒体２１）に記録されるデータの構成を示している。図１０に示すように、ここでは画像記録データ３１や音声記録データ３２とは別個に付属情報３３を記録する。なお、図１０に示す例ではファイル単位で付属情報を持つように構成したが、前述のように、付属情報の記録形式は、これに限定されるものではない。

付属情報３３には、日付やフレームレート切換情報（フラグ）、フレームレート切換情報を生成するために用いられる高速フレームレートの画像信号を生成したときの撮像状況、例えばズーム作動状況や角速度センサ２３で検出された角速度等を含めるものとする。なお、ユーザは、記録時もしくは再生時に任意に付属情報３３のフレームレート切換情報（フラグ）を変更することが可能である。

ここで、画像出力端子１５に接続された外部モニタ装置３０が高速フレームレートに対応可能である場合、画像出力端子１５から出力される動画像情報に基づいて画像表示を行うことが可能となる。しかし、外部モニタ装置３０が高速フレームレートに対応していない場合、例えば従来のテレビジョン装置や機器に備わったＬＣＤパネル等である場合、画像出力端子１５から出力される動画像情報のフレームレートが高速フレームレートであると、画像出力端子１５から出力される動画像情報に基づいて画像表示を行うことができない。

したがって、高速フレームレートに対応していない外部モニタ装置向けの機能として、外部記録媒体１４（あるいは内部記録媒体２１）に記録されている動画像情報を再生する場合、再生する動画像情報のフレームレートが高フレームレートであるときはフレーム間引きを行い、外部モニタ装置３０の対応する通常フレームレートに変換して出力する通常フレームレート間引き再生モードを設ける。例えば１秒当たり２４０枚のフレーム画像（２４０ｆｐｓ）を１秒当たり６０枚のフレーム画像（６０ｆｐｓ）に間引きして再生する通常フレームレート間引き再生モードを設ける。このようにすれば、高速フレームレートに対応していない外部モニタ装置を用いる場合であっても、高速フレームレートの動画像情報に基づいて再生画像表示を行うことができる。また、高速フレームレートである動画像情報のフレーム間引きを行うことなく外部モニタ装置３０の対応する通常フレームレートで出力する通常フレームレート非間引き再生モードを設ける。

図１１は、このような高速フレームレートに対応していない外部モニタ装置が接続されたときの再生動作を示している。図１１の（ａ）は、通常フレームレート間引き再生モードの再生動作を示しており、再生する動画像情報が高フレームレートであり、フレーム番号〔０，１，２，３，４，５，６，７，８……〕の間隔は１／２４０秒とされている。この動画像情報を通常フレームレート間引き再生モードで再生するときは、フレーム間引きを行い１／６０秒間隔であるフレーム番号〔０，４，８，１２……〕のフレーム画像を出力する。

図１１の（ｂ）は、通常フレームレート非間引き再生モードの再生動作を示しており、高フレームレートの動画像情報を通常フレームレート非間引き再生モードで再生するときは、フレーム間引きを行うことなく動画像情報を外部モニタ装置３０の対応する通常フレームレートで出力する。すなわち、１／６０秒間隔で、フレーム番号〔０，１，２，３，４，５，６，７，８……〕のフレーム画像を出力する。

図１２は、出力先が高速フレームレートに対応した外部モニタ装置であるか否かに応じて、再生時のマニュアル操作によるフレームレートの選択動作を示すフローチャートである。

図１２のフローチャートに示すように、システムＭＰＵ２６は、出力先の外部モニタ装置３０が高速フレームレートに対応しているか否かを判別する（ステップＳ５１）。システムＭＰＵ２６は、ユーザのマニュアル操作によって、出力先が高速フレームレートに対応した外部モニタ装置であることが示されたとき、システムＭＰＵ２６は、画像・音声処理ＡＳＩＣ４を制御して高速フレームレート非間引き再生モードで画像出力を行う（ステップＳ５３）。高速フレームレート非間引き再生モードでは、外部記録媒体１４（あるいは内部記録媒体２１）に記録されている高速フレームレート（２４０ｆｐｓ）の動画像情報を、フレームレートを変えることなく出力する。

また、高速フレームレートに非対応の外部モニタ装置である場合、システムＭＰＵ２６は、さらにマニュアル操作により設定されたフレームレート切換情報（フラグ）のオン、オフに応じて（ステップＳ５２）、フレームレート切換情報がオフのとき、通常フレームレート間引き再生モードを選択する（ステップＳ５４）。通常フレームレート間引き再生モードは、外部記録媒体１４（あるいは内部記録媒体２１）に記録されている動画像情報を再生する際に、画像・音声処理ＡＳＩＣ４上でフレーム間引きを行い、高速フレームレート（２４０ｆｐｓ）の動画像情報を外部モニタ装置が対応している通常フレームレート（６０ｆｐｓ）の動画像情報として出力する再生モードである。また、システムＭＰＵ２６は、フレームレート切換情報がオンとなったとき、通常フレームレート非間引き再生モードを選択する（ステップＳ５５）。通常フレームレート非間引き再生モードとは、外部記録媒体１４（あるいは内部記録媒体２１）に記録されている動画像情報を再生する際に、高速フレームレート（２４０ｆｐｓ）の動画像情報を通常フレームレート（６０ｆｐｓ）で出力するモードである。例えば１秒間の画像（２４０枚）を撮像時間の４倍である４秒間かけてスローモーション画像として出力することにより、時間解像度の高いスロー再生を行う再生モードである。

さらに、再生制御装置では、マニュアルによるフレームレート切換の他に、付属情報に含まれているフレームレート切換情報をもとに、ハイライトシーンを検出したことに応じて通常フレームレート間引き再生モードを通常フレームレート非間引き再生モードに切り換える。これにより、自動的に例えば再生画像の所望の期間を時間解像度の高いスローモーション画像として表示できる。この場合、外部記録媒体１４（あるいは内部記録媒体２１）に記録されている付属情報を再生して再生モードの判定を行い、この判定に用いた付属情報に関連する動画像情報を、判定された再生モードで再生する。

図１３は、付属情報３３に含まれているフレーム切換情報をもとに通常フレームレート間引き再生モードと通常フレームレート非間引き再生モードの切り換えを自動的に行う動作を示すフローチャートである。

システムＭＰＵ２６は、画像記録データの再生とともに、この再生される画像記録データに関連した付属情報のフレームレート切換情報がオンとされたか否かを判別して（ステップＳ６１）、フレームレート切換情報がオンすなわちハイライトシーン検出となったときは通常フレームレート非間引き再生モード（ステップＳ６２）とする。その後、システムＭＰＵ２６は、通常フレームレート非間引き再生モードでの再生が所定時間経過したか否かを判別して（ステップＳ６３）、所定時間が経過していないときには通常フレームレート非間引き再生モードでの再生を継続し、所定時間が経過したときはステップＳ６１に戻る。システムＭＰＵ２６は、フレームレート切換情報がオンとなっていないとき通常フレームレート間引き再生モードとする（ステップＳ６４）。

また、再生制御装置では、付属情報３３に含まれた高速フレームレートの動画像情報を撮像装置で生成したときのズーム動作および／または撮像装置の動きの量を示す角速度を示す情報を用いてフレームレート切換情報の生成を行い、生成したフレームレート切換情報に基づいて再生モードの切換を自動的に行うことも可能である。

図１４は、フレームレート切換情報の自動生成動作を示すフローチャートである。

図１４のフローチャートに示すように、システムＭＰＵ２６は、ズーム（ＺＯＯＭ）作動中であるか否かを判定する（ステップＳ７１）。そして、ズーム作動中であれば、システムＭＰＵ２６はフレームレート切換を指示しないとして、フレームレート切換情報をオフすなわちハイライトシーン未検出とする（ステップＳ７５）。

ステップＳ７１においてズーム作動中でなければ、次にシステムＭＰＵ２６は、角速度が大きいか否かを、例えば予め設定されている閾値と比較して判定する（ステップＳ７２）。この結果、角速度が閾値よりも大きい場合、システムＭＰＵ２６はフレームレート切換を指示しないものとする（ステップＳ７５）。

ステップＳ７２において角速度が閾値よりも大きくないと判定した場合、次にシステムＭＰＵ２６は、再生された高フレームレートの動画像情報を用いてフレーム間差分演算を行い、演算結果が閾値よりも小さいか否かの判定を行う（ステップＳ７３）。その結果、閾値よりも演算結果が小さい場合、システムＭＰＵ２６はフレームレート切換を指示しないものとする（ステップＳ７５）。

また、ステップＳ７３において閾値よりも演算結果が小さくない場合、システムＭＰＵ２６はフレームレート切換を行うものとしてフレームレート切換情報をオンとする（ステップＳ７４）。なお、フレームレート切換情報では、フレームレート切換のタイミングを示すものとして、フレームレート切換情報をパルス状にオンさせて、通常フレームレート非間引き再生モードへの切り換えを行い、その後通常フレームレート非間引き再生モードの再生を所定時間行うようにする。

さらに、システムＭＰＵ２６は、付属情報だけでなく、再生された音声信号を用いてフレームレート切換情報の生成を行うものとしてもよい。例えばマイクからの音声信号の信号レベルが閾値よりも大きくなったときフレームレート切換指示を行うものとする。

このように、フレームレート切換情報を生成するものとすれば、被写体の動きの量が所定値を超えたときには、通常フレームレート非間引き再生モードが選択されて、被写体の動きの量が大きくなるハイライトシーンを時間解像度の高いスローモーション画像として表示することができる。また、ズーム動作が行われたことや撮像方向が変化したことにおより被写体の動きの量が大きくなっても、このような場合にはフレームレートの切換が行われないことから、被写体の動きの量が大きくないときに通常フレームレート非間引き再生モードに切り換えられてしまうことを防止できる。

また、音声信号に基づいてフレームレートの切換を行うようにすることで、例えば運動会等のレースシーンにおいてスタートシーンを時間解像度の高いスローモーション画像として表示することも可能となる。

以上説明したように、この再生制御装置は、再生時に高速フレームレートに対応する外部モニタ装置が用いられる場合、高速フレームレートの動画像情報を、フレームレートを変えることなく出力する高速フレームレート非間引き再生モードを有している。また、再生時に高速フレームレート非対応の外部モニタ装置が用いられる場合、画像・音声処理ＡＳＩＣ４上で高速フレームレートの動画像情報に対して間引きを行い、外部モニタ装置が対応するフレームレートの動画像情報として再生する通常フレームレート間引き再生モードを有している。また、高速フレームレートの動画像情報を外部モニタ装置が対応するフレームレートで順次出力することで、撮像時よりも長い時間をかけて再生する通常フレームレート非間引き再生モードを有している。この結果、高速フレームレートに対応している外部モニタ装置を用いるとき、時間解像度の低下等を招くことなく高速フレームレートの動画像情報の再生を行うことができる。また、高速フレームレートに対応していない外部モニタ装置を用いるとき、高速フレームレートの動画像情報が、外部モニタ装置の対応するフレームレートで出力されて自動的にハイライトシーンをスローモーション化して表示できるなど、高速フレームレートの画像ソースを有効活用できる。さらに、高速フレームレートの動画像情報のフレーム間引きを行って、被写体の動きの速度を変化させてしまうことなく外部モニタ装置で画像表示を行うことができる。

また、マニュアルでフレームレート切換の指示を行う場合にはスローモーション再生を選ぶ手間が発生するが、付属情報を利用することで、フレームレート切換を自動的に行うことが可能となり、例えばハイライトシーンを簡単に時間解像度の高いスローモーション画像として表示させることが可能である。

動画像の記録や再生を行う撮像装置等において、ハイライトシーンの時間解像度を高くするときに好適である。

１・・・イメージャー駆動ドライバ、２・・・電子撮像素子、３・・・ＡＦＥ、４・・・画像・音声処理ＡＳＩＣ、５・・・マイク、６・・・アナログアンプ、７・・・スピーカ、８・・・メモリ、９・・・パネル駆動ドライバ、１０・・・ＬＣＤパネル、１１・・・操作部、１２・・・バッテリ、１３・・・電源管理ＩＣ、１４・・・外部記録媒体、１５・・・画像出力端子、２１・・・内部記録媒体、２２・・・プログラマブルＲＡＭ、２３・・・角速度センサ、２４・・・レンズ駆動ドライバ、２５・・・レンズ、２６・・・システムＭＣＵ、３０・・・外部モニタ装置

Claims (19)

1. 第１のフレームレートと第１のフレームレートよりも高い第２のフレームレートで撮像可能な撮像手段と、
   ハイライトシーンを検出するハイライトシーン検出手段と、
   撮像方向の変化を検出する撮像方向変化検出手段と、
   前記ハイライトシーン検出手段によりハイライトシーンを検出したことに応じて、前記撮像手段のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り換える制御手段とを備え、
   前記ハイライトシーン検出手段は、前記撮像方向変化検出手段によって撮像方向の変化が検出されているときに、ハイライトシーン未検出とする撮像装置。
2. 前記ハイライトシーン検出手段は、前記撮像方向変化検出手段によって撮像方向の変化が検出されておらず、且つ、フレーム間差分演算により被写体の動きが所定値を超えていると検出したときに、ハイライトシーン検出とする請求項１記載の撮像装置。
3. 前記撮像方向変化検出手段は、角速度センサによって撮像装置に与えられる角速度が閾値より大きい場合に撮像方向の変化が検出されているとする請求項１または請求項２の何れかに記載の撮像装置。
4. 撮像範囲の変化を検出する撮像範囲変化検出手段をさらに備え、
   前記ハイライトシーン検出手段は、前記撮像範囲変化検出手段によって撮像範囲が変化中であることが検出されているときに、ハイライトシーン未検出とする請求項１乃至請求項３の何れかに記載の撮像装置。
5. 前記撮像範囲変化検出手段は、ズーム作動の検出を行い、ズーム作動中である場合に撮像範囲が変化中であると検出する請求項４記載の撮像装置。
6. 前記制御手段は、前記撮像手段のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り換えた後、所定時間経過後に前記フレームレートを前記第２のフレームレートから前記第１のフレームレートに切り換える請求項１乃至請求項５の何れかに記載の撮像装置。
7. ハイライトシーンを検出する工程と、
   撮像方向の変化を検出する工程と、
   前記ハイライトシーンを検出したことに応じて、撮像手段のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り換える工程を有し、
   前記ハイライトシーンを検出する工程では、前記撮像方向の変化が検出されているときに、ハイライトシーン未検出とする撮像方法。
8. 第１のフレームレートと第１のフレームレートよりも高い第２のフレームレートで撮像可能な撮像手段と、
   ハイライトシーンを検出するハイライトシーン検出手段と、
   撮像範囲の変化を検出する撮像範囲変化検出手段と、
   前記ハイライトシーン検出手段によりハイライトシーンを検出したことに応じて、前記撮像手段のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り換える制御手段とを備え、
   前記ハイライトシーン検出手段は、前記撮像範囲変化検出手段によって撮像範囲に変化があることが検出されているときに、ハイライトシーン未検出とする撮像装置。
9. 前記撮像範囲変化検出手段は、ズーム作動中である場合に撮像範囲に変化があると検出する請求項８記載の撮像装置。
10. ハイライトシーンを検出する工程と、
    撮像範囲の変化を検出する工程と、
    前記ハイライトシーンを検出したことに応じて、撮像手段のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り換える工程を有し、
    前記ハイライトシーンを検出する工程では、前記撮像範囲に変化があることが検出されているときに、ハイライトシーン未検出とする撮像方法。
11. 撮像装置で生成された動画像情報と、前記動画像情報の生成時における前記撮像装置の撮像方向の変化の検出結果を含む付属情報の再生を行う再生制御装置において、
    ハイライトシーンを検出するハイライトシーン検出手段と、
    前記ハイライトシーン検出手段でハイライトシーンを検出したことに応じて、前記動画像情報を再生するときの再生モードを、間引き再生モードから非間引き再生モードに切り替える制御手段とを備え、
    前記ハイライトシーン検出手段は、前記付属情報に含まれた前記撮像方向の変化の検出結果が前記撮像方向の変化を示しているときに、ハイライトシーン未検出とする再生制御装置。
12. 前記ハイライトシーン検出手段は、前記付属情報に含まれた前記撮像方向の変化の検出結果が前記撮像方向の変化を示しておらず、且つ、フレーム間差分演算により被写体の動きが所定値を超えていると検出したときに、ハイライトシーン検出とする請求項１１記載の再生制御装置。
13. 前記付属情報は、前記撮像方向の変化の検出結果として、前記撮像装置に与えられる角速度を示しており、
    前記ハイライトシーン検出手段は、前記検出結果である角速度が閾値より大きい場合に撮像方向の変化を示しているとする請求項１１または請求項１２に記載の再生制御装置。
14. 前記付属情報は撮像範囲の変化の検出結果を含み、
    前記ハイライトシーン検出手段は、前記撮像範囲の変化の検出結果が撮像範囲の変化中であることを示しているときに、ハイライトシーン未検出とする請求項１１乃至請求項１３の何れかに記載の再生制御装置。
15. 前記付属情報は、前記撮像方向の変化の検出結果として、ズーム作動の検出結果を示しており、ズーム作動中である場合に撮像範囲が変化中であるとする請求項１４に記載の再生制御装置。
16. 前記制御手段は、前記間引き再生モードから前記非間引き再生モードに切り換えた後、所定時間経過後に前記再生モードを前記非間引き再生モードから前記間引き再生モードに切り換える請求項１１乃至請求項１５の何れかに記載の再生制御装置。
17. 撮像装置で生成された動画像情報と、前記動画像情報の生成時における前記撮像装置の撮像方向の変化の検出結果を含む付属情報の再生を行う再生制御装置の再生制御方法において、
    ハイライトシーンを検出する工程と、
    前記ハイライトシーンを検出したことに応じて、前記動画像情報を再生するときの再生モードを、間引き再生モードから非間引き再生モードに切り替える工程とを有し、
    前記ハイライトシーンを検出する工程では、前記付属情報に含まれた前記撮像方向の変化の検出結果が前記撮像方向の変化を示しているときに、ハイライトシーン未検出とする再生制御方法。
18. 撮像装置で生成された動画像情報と、前記動画像情報の生成時における前記撮像装置の撮像範囲の変化の検出結果を含む付属情報の再生を行う再生制御装置において、
    ハイライトシーンを検出するハイライトシーン検出手段と、
    前記ハイライトシーン検出手段でハイライトシーンを検出したことに応じて、前記動画像情報を再生するときの再生モードを、間引き再生モードから非間引き再生モードに切り替える制御手段とを備え、
    前記ハイライトシーン検出手段は、前記付属情報に含まれた前記撮像範囲の変化の検出結果が前記撮像範囲の変化中であることを示しているときに、ハイライトシーン未検出とする再生制御装置。
19. 撮像装置で生成された動画像情報と、前記動画像情報の生成時における前記撮像装置の撮像範囲の変化の検出結果を含む付属情報の再生を行う再生制御装置の再生制御方法において、
    ハイライトシーンを検出する工程と、
    前記ハイライトシーンを検出したことに応じて、前記動画像情報を再生するときの再生モードを、間引き再生モードから非間引き再生モードに切り替える工程とを有し、
    前記ハイライトシーンを検出する工程では、前記付属情報に含まれた前記撮像範囲の変化の検出結果が前記撮像範囲の変化中であることを示しているときに、ハイライトシーン未検出とする再生制御方法。

Images