JP2014236379A - 撮影装置、撮影方法及び撮影プログラム - Google Patents

Abstract

【課題】高速度撮影中に、撮影したい瞬間がどのように撮影されているかをスローモーション動画で確認することができる撮影装置、撮影方法、及び撮影方法プログラムを提供すること。【解決手段】本発明にかかる撮影装置は、第一のフレームレートで被写体を撮像して映像信号を出力する撮像部１２２と、前記映像信号をフレーム間引きしてフレームレートを低下させた低フレームレート映像信号を生成する画像処理部２０４と、前記映像信号を一時的に格納するメモリ部２１０と、前記メモリ部から前記第一のフレームレートよりも低い第二のフレームレートで読み出した読み出し映像信号と、前記低フレームレート映像信号とを二画面に合成した合成映像信号を生成する画像合成部２０６と、前記合成映像信号を表示する表示部１２８と、被写体特徴量算出部１４６と、前記メモリ部からの映像信号の読み出しを前記特徴量に基づいて制御するメモリ制御部２０２とを有する。【選択図】図２

Description

本発明は、動画像を記録する撮影装置、撮影方法及び撮影プログラムに関し、高速度撮影を行う際の利便性を向上させた撮影装置、撮影方法及び撮影プログラムに関する。

近年、ビデオカメラ等で高速度撮影を行うことができるものが販売されている。通常のフレームレートである３０[ｆｐｓ：ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ]または６０［ｆｐｓ］での撮影に対して、高速度撮影記録では例えば３００[ｆｐｓ]での撮影が行われる。再生時に、通常の３０[ｆｐｓ]のフレームレートで再生を行うと、１／１０倍速のスローモーション動画として再生される。肉眼では観察できない高速現象をスローモーション再生で観察することができる。

スローモーション再生時の利便性を向上させるために、高速度撮影を行っている動画データの画面に、フレーム間引きした動画データからなる子画面を画像合成して記録する装置及び方法が提案されている（特許文献１参照）。

特開２０１０−１９３０６３号公報

上述のビデオカメラ等で高速度撮影を行っている場合、ビデオカメラの画像表示部である液晶モニタには撮影対象の実時間の様子が表示される。これは、記録中の高フレームレートの動画像からフレーム間引きを行って、通常のフレームレートとした動画データを表示させるものである。撮影対象である被写体の確認や撮影画角の確認のために実時間の様子が表示されていることが必要である

一方、従来技術では、肉眼では観察できない高速現象が上手く撮影されているかどうかを撮影中に確認することはできなかった。ユーザーは、撮影後に再生するまで撮影結果を知ることができないために、撮影中は不安を感じており、また画角や露出といった撮影条件を撮影中に修正することができないという問題があった。

本発明は、上記の問題に鑑みてなされたものであり、高速度撮影中に、撮影したい瞬間がどのように撮影されているかをスローモーション動画で確認することができる撮影装置、撮影方法、及び撮影プログラムを提供することを目的とする。

本発明は、上記課題を解決するために、以下の１）〜３）に記載の手段よりなる。
すなわち、
１）第一のフレームレートで被写体を撮像して映像信号を出力する撮像手段と、
前記映像信号を格納する記憶手段と、
前記映像信号をフレーム間引きしてフレームレートを低下させた低フレームレート映像信号を生成する画像処理部と、
前記映像信号を一時的に格納するメモリ部と、
前記メモリ部から前記第一のフレームレートよりも低い第二のフレームレートで読み出した読み出し映像信号と、前記低フレームレート映像信号とを二画面に合成した合成映像信号を生成する画像合成部と、
前記合成映像信号を表示する表示部と、
前記被写体の特徴量を算出する被写体特徴量算出部と、
前記メモリ部への映像信号の格納と前記メモリ部からの映像信号の読み出しとを前記特徴量に基づいて制御するメモリ制御部と、
を備えることを特徴とする撮影装置。
２）第一のフレームレートで被写体を撮像して映像信号を生成する撮像ステップと、
前記映像信号を記憶媒体に格納する記憶ステップと、
前記映像信号をフレーム間引きしてフレームレートを低下させた低フレームレート映像信号を生成する画像処理ステップと、
前記映像信号を一時的にメモリに保存するメモリ保存ステップと、
前記メモリから前記第一のフレームレートよりも低い第二のフレームレートで読み出して読み出し映像信号を生成するメモリ読み出しステップと、
当該読み出し映像信号と、前記低フレームレート映像信号とを二画面に合成した合成映像信号を生成する画像合成ステップと、
前記合成映像信号を表示部に表示する表示ステップと、
前記被写体の特徴量を算出する被写体特徴量算出ステップと、
前記メモリ保存ステップと前記メモリ読み出しステップとを前記特徴量に基づいて制御するメモリ制御ステップと、
を含むことを特徴とする撮影方法。
３）画像を撮影するためのプログラムであって、
撮像手段に第一のフレームレートで撮像させることにより映像信号を生成する撮像ステップと、
記憶機構手段に対して、前記映像信号を記憶媒体に記憶させる記憶処理ステップと、
前記映像信号をフレーム間引きしてフレームレートを低下させた低フレームレート映像信号を生成する画像処理ステップと、
前記映像信号を一時的にメモリに保存させるメモリ保存ステップと、
前記メモリから前記第一のフレームレートよりも低い第二のフレームレートで読み出して読み出し映像信号を生成するメモリ読み出しステップと、
当該読み出し映像信号と、前記低フレームレート映像信号とを二画面に合成した合成映像信号を生成する画像合成ステップと、
前記合成映像信号を表示部に表示させる表示ステップと、
前記被写体の特徴量を算出する被写体特徴量算出ステップと、
前記メモリ保存ステップと前記メモリ読み出しステップとを前記特徴量に基づいて制御するメモリ制御ステップと、
をコンピュータに実行させることを特徴とする撮影プログラム。

本発明によれば高速度撮影中に、撮影したい瞬間がどのように撮影されているかをスローモーション動画で確認することができる撮影装置、撮影方法、及び撮影プログラムを提供することができる。

本発明の撮影装置の一実施の形態の外観図である。 本発明の撮影装置の一実施の形態の機能ブロック図である。 映像保持部１２６の内部構成図である。 通常の撮影モードにおける表示部１２８を示した図である。 子画面表示高速度撮影モードにおける表示部１２８を示した図である。 ２バンク構成の場合のフレームバッファ用メモリの動作タイムチャートである。 ２バンク構成の場合のフレームバッファ用メモリの動作タイムチャートである。 ２バンク構成の場合のフレームバッファ用メモリの動作フローチャートである。 ３バンク構成の場合のフレームバッファ用メモリの動作タイムチャートである。 圧縮伸長部１３０内の動画像符号化手段の内部ブロック図である。 画面内の動きベクトルの大きさの平均値を被写体特徴量とした場合の子画面表示高速度撮影モードにおける動作タイムチャートである。 音声の振幅値を被写体特徴量とした場合の子画面表示高速度撮影モードにおける動作タイムチャートである。 第二の実施の形態における表示部１２８を示した図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

・ 第一の実施の形態
（１−１）全体構成
図１は、第一の実施の形態にかかる撮影装置であるビデオカメラ１１０の一例を示した外観図である。図２は、ビデオカメラ１１０の概略構成を示した機能ブロック図である。ビデオカメラ１１０は、操作部１２０と、撮像部１２２と、データ処理部１２４と、映像保持部１２６と、表示部１２８と、圧縮伸長部１３０と、記憶読取部１３２と、外部入出力部１３４と、マイク１６２と、音声信号処理部１６４と、動き検出部１６６と、中央制御部１４０と、を含んで構成される。

操作部１２０は、撮影開始終了ボタン、ズームレバー、タッチパネル等で構成され、ユーザーの操作入力を受け付ける。撮像部１２２は、撮像レンズ１５０と画角変更に用いられるズームレンズ１５２、焦点調整に用いられるフォーカスレンズ１５４と、露光調整に用いられるアイリス（絞り）１５６と、撮像レンズ１５０を通じて入射した光束を映像データに光電変換する撮像素子１５８と、ズームレンズ１５２、フォーカスレンズ１５４、アイリス１５６および撮像素子１５８をそれぞれ駆動させる駆動部１６０とを含んで構成され、被写体を撮像して映像データを生成してデータ処理部１２４に出力する。駆動部１６０は、後述する撮像制御部１４２によって制御される。

データ処理部１２４は、撮像部１２２から出力された映像データに、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理（ガンマ補正処理、ニー処理）等の所定の映像処理を施し、処理後の映像データを映像保持部１２６に出力する。

映像保持部１２６は、後述するように、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成されるメモリ部とその制御部等で構成され、データ処理部１２４および圧縮伸長部１３０から出力された映像データを一時的に保持する。さらに、保持された映像データのフレーム順を並び替えて、圧縮伸長部に出力する。この並び替えは、後述する圧縮伸長部で行われるＭＰＥＧ−４ ＡＶＣ(Moving Picture Experts Group phase 4 Part10: Advanced Video Coding)符号化方式で符号化するために行われる。

また、後述するように、メモリの一部は高速度撮影時に子画面を表示するためのフレームバッファとして使用される。

表示部１２８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、映像保持部１２６から出力される映像データや、操作部１２０と連動した指示項目を表示する。指示項目は、後述する情報生成部１４４によって作成されたデータである。

マイク１６２は、ビデオカメラに内蔵されている小型のマイクロフォンであり、撮影対象からの音声信号を収音し、音声信号処理部１６４に出力する。音声信号処理部１６４では、入力される音声信号に対してＡ／Ｄ変換などの所定の信号処理を施して、音声データとして中央制御部１４０に出力する。中央制御部１４０は、この音声データを圧縮伸長部１３０に出力する。

圧縮伸長部１３０は、映像保持部１２６から出力された映像データを、ＭＰＥＧ−４ ＡＶＣ符号化方式で符号化して映像符号化データとする。また、中央制御部１４０から出力された音声データを、ＭＰ３(Moving Picture Experts Group Audio Layer-3)などの所定の符号化方式で符号化して音声符号化データとする。さらに映像符号化データと音声符号化データを多重化して、多重化符号化データとし、記憶読取部１３２に出力する。また、圧縮伸長部１３０は、記憶読取部１３２が記憶媒体１７０から読み取った、所定の符号化方式で符号化された符号化データを復号した映像データを、映像保持部１２６に出力する。

記憶読取部１３２は、圧縮伸長部１３０が符号化した符号化データを任意の記憶媒体１７０に記憶させる。任意の記憶媒体１７０としては、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の媒体を適用することができる。ここで、記憶媒体１７０は、着脱可能とするが、撮影装置１１０と一体であってもよい。また、記憶読取部１３２は、映像データを所定の符号化方式で符号化した符号化データが記憶された任意の記憶媒体１７０から符号化データを読み取り、圧縮伸長部１３０に出力する。

外部入出力部１３４は、映像保持部１２６から出力された映像データを、例えば、撮影装置１１０に接続された、映像を表示する表示装置１７２に出力する。

動き検出部１６６はジャイロセンサーなどで構成されており、撮影時のパンやチルトなどのビデオカメラの動きを検出して、検出情報を中央制御部１４０に出力する。

中央制御部１４０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、撮影装置１１０全体を管理および制御する。また、中央制御部１４０は、撮像制御部１４２、情報生成部１４４、被写体特徴量算出部１４６、判定部１４７、動き量推定部１４８としても機能する。

（１−２）通常速度撮影時の動作
ユーザーが操作部１２０を操作して通常速度での撮影モードを選択した場合、中央制御部１４０の指令により、以下の動作が行われる。なお、中央制御部では、内部で保持している動作モード情報を通常速度撮影記録準備モードにする。

撮像素子１５８は３０[ｆｐｓ]のフレームレートで映像データをデータ処理部１２４に出力する。データ処理部１２４では、入力される映像データに対して３０[ｆｐｓ]で上述の映像処理を行い、映像保持部１２６と中央制御部１４０に出力する。出力される映像データの各画面は、水平方向１９２０画素、垂直方向１０８０画素からなる。

映像保持部１２６の内部構成を図３に示す。映像保存制御部２０２は、中央制御部１４０からの制御指令入力２２０に基づいて、親画面用フレーム間引き部２０４、子画面用画素間引き部２０８、並び替え用メモリ２１２、フレームバッファ用メモリ２１０、および画像合成出力部２０６への制御信号を出力する。並び替え用メモリ２１２への制御信号は、メモリ用のアドレス信号と、書き込み制御信号とからなる。フレームバッファ用メモリ２１０への制御信号も同様である。

３０[ｆｐｓ]で入力される映像データ入力２１４は、並び替え用メモリ２１２に格納される。映像保存制御部２２０は、並び替え用メモリの書き込みアドレス信号と書き込み制御信号とを出力して、並び替え用メモリに最新の５フレーム分が保持されるようにする。また映像保存制御部は、並び替え用メモリの読み出しアドレス信号を出力して、並び替えられた映像データが出力されるようにする。読み出された映像データ２１６は圧縮伸長部１３０へ出力される。

映像保持部への映像データ入力２１４は、親画面用フレーム間引き部２０４にも入力する。親画面用フレーム間引き部では、この場合は処理を行わないで、映像データをそのまま３０[ｆｐｓ]で画像合成出力部２０６に出力する。

画像合成出力部では、入力される３０[ｆｐｓ]の映像データをそのままモニター出力２１８として、外部入出力部１３４に出力する。また、入力される映像データから水平方向および垂直方向に画素を間引いて、表示部１２８で表示するために適当な画素数（例えば、水平方向８００画素、垂直方向４５０画素等）のモニター出力２１９として、３０[ｆｐｓ]で表示部１２８に出力する。なお、折り返し歪の発生を抑えるために、低域通過特性の空間フィルタをかけてから画素を間引くようにしてもよい。

図４は、３０[ｆｐｓ]で撮影を行っている際の、表示部１２８に表示される画像を示す。だるま落としの様子を撮影しているものとする。表示部１２８の画面には実時間の映像が表示される。

圧縮伸長部１３０では、３０[ｆｐｓ]で入力される映像データに対してＭＰＥＧ−４ ＡＶＣで符号化を行うが、動作モード情報が通常速度撮影記録準備モードの場合は、符号化は行わない。中央制御部１４０は、撮影開始終了ボタンが押されたことを検出して、圧縮伸長部に符号化開始の指令を出す。また、内部で保持している動作モード情報を通常速度撮影記録モードにする。

さらに中央制御部１４０は、記憶読取部１３２に記録開始の指令を出す。記憶読取部１３２は、圧縮伸長部１３０から出力された符号化データをＤＶＤなどの記録媒体に記録する。

中央制御部１４０は、中央制御部内で保持している動作モード情報が通常速度撮影記録モードにある際に、撮影開始終了ボタンが押されたことを検出すると、圧縮伸長部１３０に符号化停止指令を出すとともに、記憶読取部１３２に記録停止指令を出す。また、動作モード情報を通常速度撮影記録準備モードに戻す。

（１−３）高速度撮影時の動作
ユーザーが操作部１２０を操作して、子画面表示ありの高速度での撮影モードを選択した場合、中央制御部１４０の指令により、以下の動作が行われる。なお、中央制御部内で保持している動作モード情報を子画面表示高速度撮影記録準備モードにする。

撮像素子１５８は３００[ｆｐｓ]のフレームレートで映像データをデータ処理部１２４に出力する。３０[ｆｐｓ]の場合に比較して、１フレームあたりの画素数は間引かれて少ないものとなっている。例えば、水平方向９６０画素、垂直方向５４０画素からなる。そのため、データ処理部１２４、映像保持部内の並び替え用メモリ及び圧縮伸長部１３０での動作は、フレームレートは高いが画素数の少ない映像信号に対する処理となり、単位時間当たりの演算量を大きく増やすことなく処理できる。

データ処理部１２４では、入力される映像データに対して３００[ｆｐｓ]で上述の映像処理を行い、映像保持部１２６と中央制御部１４０に出力する。

映像保持部では、３００[ｆｐｓ]で入力される映像データ入力２１４を、並び替え用メモリ２１２に格納する。映像保存制御部２０２は、並び替え用メモリの書き込みアドレス信号を生成して、並び替え用メモリに最新の５フレーム分が保持されるようにする。また映像保存制御部は、並び替え用メモリの読み出しアドレス信号を生成して、並び替えられた映像データが出力されるようにする。読み出された映像データ２１６は、３００[ｆｐｓ]で圧縮伸長部１３０へ出力される。この動作は、通常速度撮影時の動作とフレームレートが異なるだけで同じ動作である。

３００[ｆｐｓ]で入力される映像データ入力２１４は、映像保持部内の親画面用フレーム間引き部２０４と子画面用画素間引き部２０８にも入力する。親画面用フレーム間引き部２０４では、入力される映像データの連続する１０フレームのうちの１フレームだけを取り出すフレーム間引き処理を行い、間引き後の映像データを３０[ｆｐｓ]で画像合成出力部２０６に出力する。

子画面用画素間引き部２０８では、入力される映像データの全てのフレームについて、水平方向および垂直方向に画素を間引いて、後述する子画面に表示するために適当な画素数（例えば、水平方向３２０画素、垂直方向１８０画素）として、３００[ｆｐｓ]でフレームバッファ用メモリ２１０に出力する。なお、折り返し歪の発生を抑えるために、低域通過特性の空間フィルタをかけてから画素を間引くようにしてもよい。

映像保存制御部２０２は、中央制御部１４０からの制御指令入力２２０に基づいて、フレームバッファ用メモリ２１０の書き込みアドレス信号、読み出しアドレス信号、書き込み制御信号とを出力し、フレームバッファ用メモリへの映像データの格納と読み出しを制御する。この制御については、後述する。

フレームバッファ用メモリから読み出された映像データは画像合成出力部２０６に出力される。この読み出しと出力は、３０[ｆｐｓ]のフレームレートで行われる。フレームバッファ用メモリへの格納は３００[ｆｐｓ]で行っており、１／１０のフレームレートで読み出すことで１／１０倍速のスローモーション動画となっている。

画像合成出力部２０６では、映像保存制御部の指示に基づいて、親画面用フレーム間引き部から出力される映像データの各画面の子画面として、フレームバッファ用メモリから出力された映像データの各画面を合成する。さらに合成された各画面の画素を補間して、水平方向１９２０画素、垂直方向１０８０画素の映像データとし、３０[ｆｐｓ]のモニター出力２１８として、外部入出力部１３４に出力する。また、その映像データから水平方向および垂直方向に画素を間引いて、表示部１２８で表示するために適切な画素数（例えば、水平方向８００画素、垂直方向４５０画素等）のモニター出力２１９として、３０[ｆｐｓ]で表示部１２８に出力する。

図５は、子画面２２４が合成されて表示部１２８に表示されている様子を示す。親画面として、親画面用フレーム間引き部から出力される映像データが表示され、子画面２２４にはフレームバッファ用メモリから出力された映像データが表示される。

圧縮伸長部１３０では、３００[ｆｐｓ]で入力される映像データ（子画面は合成されていない）に対してＭＰＥＧ−４ ＡＶＣで符号化を行う。通常速度撮影時と同様に、子画面表示高速度撮影記録準備モードでは符号化を行わない。中央制御部１４０は、撮影開始終了ボタンが押されたことを検出して、圧縮伸長部に符号化開始の指令を出す。また、内部で保持している動作モード情報を子画面表示高速度撮影記録モードにする。

子画面表示高速度撮影記録モードにおいても、子画面表示高速度撮影記録準備モードの場合と同様に映像保持部１２６の動作が行われる。

子画面表示高速度撮影記録モードでは、圧縮伸長部１３０が出力する符号化データを記録媒体へ記録する。

中央制御部１４０は、子画面表示高速度撮影記録モードにある際に撮影開始終了ボタンが押されたことを検出して、圧縮伸長部１３０に符号化停止指令を出すとともに、記憶読取部１３２に記録停止指令を出す。

次に、子画面表示高速度撮影記録準備モードおよび子画面表示高速度撮影記録モードにおけるフレームバッファ用メモリ２１０の動作を説明する。上述したように、フレームバッファ用メモリ２１０の動作は、中央制御部１４０からの制御指令２２０に基づいて、映像保存制御部２０２によって制御される。

フレームバッファ用メモリ２１０は、複数のメモリバンクから構成される。このうちの一つのメモリバンクにデータの格納を行いながら、他のメモリバンクからデータの読み出しを行う。バンクの切り替え等の制御も映像保存制御部２２０によって行われる。

図６は、バンクＡとバンクＢの２つのメモリバンクから構成される場合の動作を示すタイムチャートである。横軸は時間の経過を示す。ｔ０〜ｔ１４は、一定間隔の時刻を示している。一定間隔は、例えば１秒間である。

映像保存制御部２２０は、子画面表示高速度撮影記録準備モードにされた時刻ｔ０から、子画面用画素間引き部２０８から出力される映像データをバンクＡに格納するように制御する。時刻ｔ１まで格納したところでバンクＡとバンクＢを切り替えて、入力される映像データをバンクＢに格納するように制御する。時刻ｔ０からｔ１までのデータの格納を斜線の四角形で表し、また格納された映像データをＷ０で表す。この最初の切り替えは子画面表示高速度撮影記録準備モードにされてから初めての切り替えタイミングなので無条件で行う。

格納されたデータＷ０は、時刻ｔ１から読み出されて画像合成出力部２０６に出力される。読み出される様子を矢印で示し、読み出される映像データをＲ０で示す。格納されたデータがＷ０のとき、読み出されるデータをＲ０で表す。本実施の形態では、データの格納のフレームレートの１／１０のフレームレートで読み出しを行うので、格納した時間の１０倍の時間で読み出す。

バンクＡからのデータ読み出しとバンクＢへのデータ格納を行いながら、中央制御部１４０では、後述する被写体特徴量算出部１４６で被写体特徴量Ｖｃの算出を行う。また、後述する判定部１４７で算出値と所定の閾値Ｔｈとの比較を行う。被写体特徴量Ｖｃの算出は、上述の一定時間の間行う。時刻ｔ２で、時刻ｔ１からｔ２までの被写体特徴量Ｖｃの値と所定の閾値Ｔｈを比較し、被写体特徴量Ｖｃの値が所定の閾値Ｔｈよりも小さい場合にはバンクの切り替えを行わず、バンクＢへのデータ格納を続ける。この場合、時刻ｔ２からのデータ格納によって、データＷ１は上書きされる。

時刻ｔ２からｔ３の間の被写体特徴量の値も所定の閾値よりも小さかったが、時刻ｔ３からｔ４の間の被写体特徴量の値が所定の閾値よりも大きかった場合、映像保存制御部２２０は時刻ｔ４でバンクの切り替えを行う。

映像保存制御部２２０は、時刻ｔ４で、Ｒ０の読み出しを終了するように制御する。時刻ｔ４では、映像データＲ０の読み出しは格納したデータ量Ｗ０の３割しか終了していない。時刻ｔ４からは、ｔ３からｔ４の間にバンクＢに格納されたデータＷ３の読み出しＲ３を行うように制御する。

時刻ｔ４からｔ６の間は、バンクＢからの映像データＲ３の読み出しとバンクＡへのデータ格納を行いながら、被写体特徴量の算出と所定の閾値との比較を行う。時刻ｔ５からｔ６までの被写体特徴量の値が所定の閾値より大きかった場合は、時刻ｔ６でバンクの切り替えを行う。時刻ｔ６からは、バンクＡに格納されたデータＷ５の読み出しＲ５を行うように制御する。

図７も同様のタイムチャートであり、被写体特徴量の発生の様子が異なる場合の例である。時刻ｔ２０で子画面表示高速度撮影記録準備モードにされ、バンクＡへのデータ格納Ｗ２０を行う。映像保存制御部２２０は、時刻ｔ２１でバッファの切り替えを行う。この切り替えは、子画面表示高速度撮影記録準備モードにされてから初めての切り替えタイミングなので無条件で行う。

時刻ｔ２１からｔ２２の間及び時刻ｔ２２からｔ２３の間の被写体特徴量の値が所定の閾値よりも大きかった場合は、映像保存制御部２２０は時刻ｔ２２及び時刻ｔ２３でバッファの切り替えを行う。

映像保存制御部２２０は、時刻ｔ２３からは、格納されたデータＷ２２の読み出しＲ２２を行うように制御する。時刻ｔ２３以降には被写体特徴量の値が所定の閾値よりも大きい期間がない場合、Ｒ２２の読み出しは格納されたデータＷ２２を読み出し終わるまで行われる。

読み出されたデータＲ２２は、画像合成出力部２０６で子画面として合成されて、表示部でスローモーション動画として表示される。時刻ｔ３３でＲ２２の読み出しが終了するので、バンクの切り替えが行われる。映像保存制御部２２０は、時刻ｔ３３からは、切り替えタイミングの直前に格納されたデータＷ３２の読み出しＲ３２を行うように制御する。

図８は、上記の処理手順を示したフローチャートである。子画面表示高速度撮影記録準備モードに変更されるとこの処理手順が開始される（ステップＳ１）。まず、メモリバンクＡに子画面用画素間引き部からの映像データを格納する（ステップＳ２）。図８内の点線は、図６の時刻ｔ１，ｔ２，・・・を示している。時刻ｔ１からは、バンクＡから映像データを読み出しながら（ステップＳ３）、バンクＢに映像データを格納する（ステップＳ４）。同時に、被写体特徴量Ｖｃの算出を行う（ステップＳ５）。

ステップＳ６では、被写体特徴量Ｖｃの値と所定の閾値Ｔｈとを比較する。なお、この比較を時刻ｔｎからｔｎ＋１（ここで、ｎは０または自然数）の間中行い、その結果をステップ６で判定するとしてもよい。Ｖｃのほうが小さい場合は、さらにバンクＡのデータが全て読み出し終了したか否かを判断する。図７の時刻ｔ３３の場合はＹｅｓであり、ｔ２４〜３２の場合はＮｏとなる。Ｎｏの場合は、ステップＳ３〜Ｓ５を行う。

ステップＳ６またはステップＳ７でＹｅｓの場合は、バンクＢから映像データを読み出しながら（ステップＳ８）、バンクＡに映像データを格納する（ステップＳ９）。同時に、被写体特徴量Ｖｃの算出を行う（ステップＳ１０）。

ステップＳ１１では、被写体特徴量Ｖｃの値と所定の閾値Ｖｔとを比較する。Ｖｃのほうが小さい場合は、さらにステップ１２でバンクＢのデータが全て読み出し終了したか否かを判断する。Ｎｏの場合は、ステップＳ８〜Ｓ１０を行う。Ｙｅｓの場合は、ステップＳ３〜Ｓ５を行う。

ところで、以上の２バンク構成では、例えば時刻ｔ２１からｔ２２とｔ２３からｔ２４とで被写体特徴量の値が所定の閾値よりも大きい期間が２つ以上連続した場合、最後の期間の映像データであるＷ２２については十分な時間スローモーション再生されるが、それ以外の映像データであるＷ２１については、格納したデータの１割しか再生されない。被写体特徴量が大きくなる被写体の現象が時刻ｔ２２の前後であった場合には、その現象の途中からのスローモーション再生となる。

図９は、メモリバンクを３つにした場合のタイムチャートである。時刻ｔ２０で子画面表示高速度撮影記録準備モードにされ、時刻ｔ２４までの動作は図７と同様である。映像保存制御部２２０は、時刻ｔ２３からｔ２４の期間の被写体特徴量が所定の閾値よりも大きかった場合に、映像データの格納先をバンクＢからバンクＣに切り替える。図７の２バンクの場合には、格納先はバンクＡに切り替えられるので、Ｒ２２の読み出しが中断する。３バンクの場合には、Ｒ２２の読み出しは続行しながら、バンクＣに映像データの格納を行う。

映像保存制御部２２０は、時刻ｔ２４以降には被写体特徴量の値が所定の閾値よりも大きい期間がない場合、Ｒ２２の読み出しを格納されたデータＷ２２を読み出し終わるまで行うように制御する。時刻ｔ３３でバンクＡからの読み出しが終了したところで、バンクＢに格納されているデータＷ２３の読み出しＲ２３を開始するように制御する。Ｗ２３は、被写体特徴量が所定の閾値よりも大きかったデータだからである。

３バンクとすることで、時刻ｔ２２からｔ２３及びｔ２３からｔ２４で連続して被写体特徴量が閾値以上となる場合に、連続したスローモーション再生が可能となる。

また、さらにバンク数を増やすことで、より長期間連続して被写体特徴量が閾値以上となる場合に、連続したスローモーション再生が可能となる。

なお、以上の実施の形態では、図６のＲ０、図７のＲ２０，Ｒ３２のように、対応する期間の被写体特徴量が所定の閾値より小さい場合でも、映像データを読み出して子画面にスローモーション動画を表示するものとした。これを、対応する期間の被写体特徴量が所定の閾値よりも大きい映像データがどのバンクにも格納されていない場合には、フレームバッファ用メモリから出力された映像データを子画面として合成しないものとしてもよい。その場合、Ｒ０，Ｒ２０，Ｒ３２の映像データの表示は行われない。

（１−４）被写体特徴量
次に、本実施の形態で用いることができる被写体特徴量とその特徴量を用いた場合の実施例について述べる。

（１−４−１）画面内の動きベクトル量を被写体特徴量とする場合
本実施例では、画面内の動きベクトル量を被写体特徴量として用いる。

圧縮伸長部１３０で行われる、ＭＰＥＧ−４ ＡＶＣ方式の動画像符号化ではフレーム間で動きベクトルを利用した予測符号化が行われる。図１０は、ＭＰＥＧ−４ ＡＶＣ方式の動画像符号化手段の内部ブロック図である。入力信号３３０は、減算器３０１とイントラ予測部３２０とＭＥ部３１６に入力する。減算器３０１は、符号化対象の動画像信号である入力信号３３０と、必要に応じてスイッチ３０３を介して供給されるフレーム内（イントラ）予測信号又はフレーム間（インター）予測信号との差分値を、マクロブロック（以下、ＭＢと記す）単位で生成する。上記のフレーム内予測信号は、イントラ予測部３２０により生成されたイントラ予測による予測信号である。また、上記のフレーム間予測信号は、ＭＥ（動きベクトル推定）部３１６とＭＣ（動き補償）部３１８とにより生成されたインター予測による予測信号である。

またＭＥ部３１６及びＭＣ部３１８は、符号化対象の入力信号３３０とメモリ部３１４からの局部復号画像データとに基づいて、公知の予測方法によりインター予測を行う。なお、インター予測に用いる参照フレームを１枚だけ用いる予測（Ｐ予測）と参照フレームを２枚用いる予測（Ｂ予測）の２通りの予測方法がある。

ＤＣＴ部３０２は、ＤＣＴブロックサイズ単位で、減算器３０１からの差分値に対して直交変換の一例のＤＣＴ(Discrete Cosine Transform;離散コサイン変換)を行う。量子化部３０４は、ＤＣＴ部３０２から出力されたＤＣＴ係数に対して量子化を行い、量子化後信号を生成する。逆量子化部３０８は、量子化後信号に対して逆量子化を行う。逆ＤＣＴ部３１０は、逆量子化部３０８からの信号に対して逆ＤＣＴ処理を行って前記差分値の復号信号を生成し、それを加算器３１１に供給する。加算器３１１では、スイッチ３０３を経由して供給される画面内予測信号又は画面間予測信号を加算して、局部復号された画像信号を生成する。

デブロックフィルタ部３１２は、加算器３１１から供給される局部復号された画像信号に対して、ＭＢ単位でブロックノイズを低減するためのデブロックフィルタ処理を行い、そのフィルタ後の信号を参照画像信号としてメモリ部３１４に蓄積する。

ＭＥ部３１６は、メモリ部３１４に蓄積された参照画像信号をインター予測時に読み出して、その参照画像信号の入力画像信号３３０における対応するブロックの相対位置を示す動きベクトルを検出する動き推定（ＭＥ）処理を行う。ＭＣ部３１８は、ＭＥ部３１６からの動きベクトルに基づいて動き補償（ＭＣ）処理を行って画面間予測信号を生成する。 可変長符号化部３０６は、量子化後信号に対して可変長符号化を行い、出力符号３３２を生成して出力する。

動きベクトルは、符号化対象の各ＭＢ内の水平方向及び垂直方向への移動量であり、移動量は画素間隔を基本単位としている。なお、１／２画素精度や１／４画素精度で移動量を求める。ここで、動きベクトルの大きさを水平方向及び垂直方向への移動量の二乗和の１／２乗とする。この動きベクトルの大きさが小さいものを小さい動きベクトルと呼び、大きいものを大きい動きベクトルと呼ぶ。

動きベクトルの検出はＭＢ単位で行われるが、画面全体で動きのないシーンでは、ほとんどのＭＢで小さい動きベクトルが検出される。一方、動きのあるシーンでは、動きのある部分のＭＢで大きい動きベクトルが検出される。

図５に示しただるま落としを撮影対象とする場合、槌で叩いていない期間では画面全体で動きがないので、ほとんどのＭＢで小さい動きベクトルが検出される。槌で叩いた瞬間に、槌と円柱の一つが動くので、その部分で大きい動きベクトルが検出される。

図１１は、だるま落としの様子を撮影した場合の、フレーム内の全ＭＢの動きベクトルの大きさの平均値の時間経過と表示部１２８の親画面と親画面に合成されて表示される子画面との様子を示したものである。この例では、４倍速の１２０［ｆｐｓ］で高速度撮影しているものとする。ビデオカメラは、子画面表示高速度撮影記録準備モードまたは子画面表示高速度撮影記録モードに設定されている。また、被写体特徴量Ｖｃとして動きベクトルの大きさのフレーム内の全ＭＢの平均値を用いる。

親画面の表示は、撮影している映像データの連続する４フレームのうちの１フレームだけを親画面用フレーム間引き部２０４で取り出した映像である。ユーザーは、撮影対象を肉眼で見るのと同様の映像として観察できる。子画面は、図６〜図９を用いて説明したように、被写体特徴量に従ってフレームバッファ用メモリへの格納とフレームバッファ用メモリからの読み出しを行った映像データを画像合成部で合成した表示である。

図１１では、一定時間の映像をシーンと称している。シーン３とシーン４、またシーン６とシーン７のシーン内の部分期間で、動きベクトルの大きさの平均値が所定の閾値Ｔｈを超えている。

圧縮伸長部１３０で検出された動きベクトル情報は、中央制御部１４０に出力される。中央制御部１４０内の被写体特徴量算出部１４６で、転送された動きベクトル情報からフレーム内の動きベクトルの大きさの平均値を算出する。さらに判定部１４７は、上記のシーンに相当する一定時間内で動きベクトルの大きさの平均値が所定の閾値Ｔｈを超えたか否かを判定する。図１１の場合、シーン３、シーン４とシーン７とでＴｈを超えたと判定する。

図９で、被写体特徴量Ｖｃが所定の閾値Ｔｈを超えた映像データのＷ２２，Ｗ２３がＲ２２，Ｒ２３で読み出されたように、被写体特徴量が所定の閾値Ｔｈを超えたシーン３とシーン４の映像データは、フレームバッファ用メモリ２１０から読み出されて画像合成出力部２０６に出力される。読み出しは３０［ｆｐｓ］で行われるので、１／４倍速のスローモーション動画として再生される。なお、シーン１のスローモーション動画再生は、シーン３の再生が始まることにより途中で中断されている。

なお、以上の実施例では被写体特徴量として、フレーム内の全ＭＢについての動きベクトルの大きさの平均値を用いたが、これに限定されるものではなく、フレーム内で所定の閾値Ｔｈ２以上の大きさの動きベクトルを持つＭＢ数としてもよい。あるいは、フレーム内の全ＭＢの動きベクトルのうち最大のものの大きさとしてもよい。

また、以上の実施例では、動画像符号化を行う際に算出される動きベクトルを利用するものとしたが、動画像符号化とは無関係に独立して算出してもよい。ただし、動画像符号化を行う際に算出される動きベクトルを利用することで、独立して算出する場合に比べて、専用の動きベクトル算出手段が不要となることから、消費電力の点などで有利となる。

また、以上の実施例では比較する閾値Ｔｈを固定値としたが、これに限定されるものではない。フレーム内の動きベクトルの大きさの平均値を、直近の１００フレームで移動平均をとり、その移動平均値の２倍の値を閾値としてもよい。

以上の実施例によれば、高速度撮影中に、映像信号の画面内で動きがあったシーンだけをスローモーション動画として子画面に表示することができる。よって、だるま落としの撮影のように、槌で叩いた瞬間の円柱の動きを高速度撮影したい場合、撮影中に槌で叩いた瞬間をスローモーション動画で確認しながら撮影できるので、ユーザーの利便性が高まるという効果がある。

（１−４−２）音声信号振幅を被写体特徴量とする場合
本実施例では、音声信号振幅を被写体特徴量として用いる。

図５に示しただるま落としを撮影対象とする場合、槌で叩いていない期間では静かであり、槌で叩いた瞬間だけ音が発生する。

図１２は、だるま落としの様子を撮影した場合の、マイク１６２から出力される音声信号の時間経過と表示部１２８の親画面と親画面に合成されて表示される子画面の様子を示したものである。この例では、４倍速の１２０［ｆｐｓ］で高速度撮影しているものとする。ビデオカメラは、子画面表示高速度撮影記録準備モードまたは子画面表示高速度撮影記録モードに設定されている。

図１１と同様に、一定時間の映像をシーンと称している。シーン３において音声信号の振幅が所定の閾値Ｔｈを超えている。

中央制御部１４０内の被写体特徴量算出部では、音声信号処理部１６４から出力される音声データの振幅を算出する。判定部は、上記のシーンに対応する一定時間内で、算出された振幅値が所定の閾値Ｔｈを超えたか否かを判定する。図１２の場合、シーン３でＴｈを超えたと判定する。

被写体特徴量が所定の閾値を超えたシーン３の映像データは、フレームバッファ用メモリ２１０から読み出されて画像合成出力部２０６に出力される。読み出しは３０［ｆｐｓ］で行われるので、１／４倍速のスローモーション動画として再生される。なお、シーン１のスローモーション動画再生は、シーン３の再生が始まることにより途中で中断されている。また、シーン７についてはシーン３のスローモーション動画再生が終了したことにより、スローモーション動画再生が開始されている。

なお、以上の実施例では比較する閾値Ｔｈを固定値としたが、これに限定されるものではない。音声データの振幅について直近の１０秒間で移動平均をとり、その移動平均値の２倍の値を閾値としてもよい。

また、マイクロフォンを複数個設けてマイクロフォンアレーを構成することで、音声の集音に指向性を持たせるようにしてもよい。指向性を持たせることで、撮影対象以外のものが発生する雑音の影響を小さくすることができる。マイクロフォンアレーによる指向性制御には、公知の技術である遅延和アレー等の技術を用いることができる。

以上の実施例によれば、高速度撮影中に、音が発生したシーンだけをスローモーション動画として子画面に表示することができる。よって、だるま落としの撮影のように、槌で叩いた瞬間の円柱の動きを高速度撮影したい場合、撮影中に槌で叩いた瞬間をスローモーション動画で確認しながら撮影できるので、ユーザーの利便性が高まるという効果がある。

なお、本発明は以上の実施の形態、実施例に限定されるものではない。被写体特徴量として、公知の顔検出情報を用いてもよい。顔が検出された瞬間をスローモーション動画で確認しながら撮影できるという効果がある。あるいは、公知の表情推定情報を用いてもよい。表情として笑顔を推定した結果を被写体特徴量とする。笑顔が検出された瞬間をスローモーション動画で確認しながら撮影できるという効果がある。あるいは、公知の目検出と目つぶり検出を用いて、片目だけが閉じていることを検出した結果を被写体特徴量としてもよい。ウインクした瞬間をスローモーション動画で確認しながら撮影できるという効果がある。

また、以上の実施の形態では、フレームバッファ用メモリ２１０からの映像データの読み出しを３０［ｆｐｓ］で行っているが、１５［ｆｐｓ］で行ってもよい。親画面用フレーム間引き部２０４からの映像データは３０［ｆｐｓ］のフレームレートであるので、そのフレームレートよりも低いフレームレートである。さらに、フレームバッファ用メモリ２１０からの映像データの同じ画面を親画面の２フレームに連続して子画面として合成する。その結果、子画面のスローモーション動画として、実際の動作の１／２０倍速で表示できる。

また、以上の実施の形態では、親画面用フレーム間引き部２０４からの映像データを親画面とし、フレームバッファ用メモリ２１０からの映像データを子画面としたが、逆でもよい。

また、以上の実施の形態では、圧縮伸長部１３０の出力である、多重化符号化データを記憶読取部１３２で記憶媒体に記憶させるものとしたが、これに限定されるものではない。多重化符号化データを外部装置に向けて、有線または無線で送信するようにしてもよい。

（２−１）第二の実施の形態
第一の実施の形態では、子画面表示高速度撮影記録準備モード及び子画面表示高速度撮影記録モードでは、常に固定サイズの子画面を表示するものとした。一方、本実施の形態では、子画面のサイズを撮影状況に応じて変えることを特徴とする。

図１３（Ａ）〜（Ｃ）は、ユーザーがビデオカメラをパンしながら撮影している状態における表示部１２８の表示の様子を示したものである。図１３（Ａ）は、パンを行っている最中の様子であり、動き検出部１６６から大振幅の動き検出情報が出力されている状態のものである。中央制御部１４０内の動き量推定部１４８は、入力される動き検出情報からビデオカメラのパンおよびチルト操作を推定する。中央制御部１４０は、推定結果に基づいて制御指令を映像保持部１２６へ出力する。映像保持部１２６ではこの制御指令を映像保存制御部２０２で受けて、画像合成出力部２０６へ制御信号を出力する。パンおよびチルト操作中であると推定された場合は、子画面サイズを最小にする制御指令および制御信号が出力される。

画像合成出力部２０６では、この制御信号に従って、フレームバッファ用メモリから出力された映像データに対して画素間引きを行って、水平方向１６０画素、垂直方向９０画素の画素サイズに縮小し、図１３（Ａ）のように子画面４００のサイズを最小にして親画面に合成する。

図１３（Ｂ）は、パン操作がほぼ終了して、ビデオカメラの動きの速度が小さくなった状態の様子のものである。動き検出部１６６からは小振幅の動き検出情報が出力されている。中央制御部１４０内の動き量推定部１４８では、入力される動き検出情報からビデオカメラは速度の遅いパンおよびチルト操作の最中であると推定する。中央制御部１４０は、推定結果に基づいて、子画面サイズを中程度のサイズにする制御指令を出力する。

画像合成出力部２０６では、この制御信号に従って、フレームバッファ用メモリから出力された映像データに対して画素間引きを行って、水平方向２４０画素、垂直方向１３５画素の画素サイズに縮小し、図１３（Ｂ）のように子画面４０２のサイズを中程度にして親画面に合成する。

図１３（Ｃ）は、パン操作が終了して、ビデオカメラの動きがほぼ停止した状態の様子である。動き検出部１６６から出力される動き検出情報は、０または小振幅のものが出力される。中央制御部１４０内の動き量推定部１４８では、入力される動き検出情報からビデオカメラはほぼ停止していると推定する。中央制御部１４０は、推定結果に基づいて、子画面サイズを最大のサイズにする制御指令を出力する。

画像合成出力部２０６では、この制御信号に従って、フレームバッファ用メモリから出力された映像データに対して画素間引きを行わずに、図１３（Ｃ）のように子画面４０４のサイズを最大サイズにして親画面に合成する。

本実施の形態によれば、ユーザーがパンやチルトなどを行ってビデオカメラを動かしている場合に子画面のサイズを小さくし、ビデオカメラを静止している状態では子画面のサイズを大きくして親画面に合成することができる。一般に、ユーザーがビデオカメラを動かすのは、撮影対象物を撮影画角に収める場合などである。この場合、表示部の画面の大部分に実時間の撮影対象を表示することで、撮影画角に収めやすい。また、このような場合は、スローモーション動画再生を行いたいシーンではない場合が多い。よって、大きなサイズの子画面を表示しても意味がないことが多い。従って、ビデオカメラを動かしている場合に子画面のサイズを小さくすることで、ユーザーが撮影対象を撮影画角に収めやすいという効果がある。

なお、本実施の形態では、動き検出部１６６で検出した動き検出情報を使用するとしたが、代わりにズームレバーの操作情報を使用してもよい。操作部１２０のうちのズームレバーによる操作信号は、中央制御部１４０に送られる。中央制御部内の撮影制御部１４２で、この操作信号を解析して、ズームレンズを移動させるべく駆動部１６０に指示信号を送る。また、撮影制御部から動き量判定部１４８に、ズームレンズ１５２の動き情報を送る。動き量推定部１４８では、この動き情報の振幅によって、ズームレンズの動き速度または静止を推定する。中央制御部１４０は、この推定結果に基づいて、ズームレンズの動き速度が速いと推定された場合は図１３（Ａ）のように子画面４００のサイズを最小とし、動き速度が遅いと推定された場合は図１３（Ｂ）のように子画面４０２のサイズを中程度とし、静止していると推定された場合は図１３（Ｃ）のように子画面４０４のサイズを最大とするように制御指令を出力する。

一般に、ユーザーがズームレンズを操作するのは、撮影対象物を撮影画角に収める場合などである。そのような場合には、スローモーション動画再生を行いたいシーンではない場合が多い。よって、ズームレバーを操作している場合に子画面のサイズを小さくすることで、ユーザーが撮影対象を撮影画角に収めやすいという効果がある。

また、判定部１４７の判定結果を使用して子画面のサイズを制御するようにしてもよい。第一の実施の形態で例示した動きベクトルや音声情報などの被写体特徴量が所定の閾値よりも大きい場合に子画面のサイズを最大としてスローモーション動画を表示し、所定の閾値よりも小さい場合には子画面のサイズを最小にするように制御する。図１２の場合は、シーン３は子画面のサイズが最大で表示され、シーン１とシーン７は最小で表示される。

一般に、被写体特徴量が所定の閾値よりも小さいシーンはスローモーション動画再生を行いたいシーンではない場合が多い。よって、その場合に子画面のサイズを小さくできることで、ユーザーが撮影対象を撮影画角に収めやすいという効果がある。

上記した動画像撮影処理は、コンピュータプログラムによって実行されてもよい。上述した動画像撮影処理は、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、ＣＤ−ＲＯＭ(Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ(例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM）、ＥＰＲＯＭ(Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory））を含む。

また、撮影プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、撮影プログラムをコンピュータに供給できる。

また、コンピュータが上述の実施の形態の機能を実現する撮影プログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、この撮影プログラムが、コンピュータ上で稼動しているＯＳ(Operating System)もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。

１１０ ビデオカメラ
１２０ 操作部
１２２ 撮像部
１２４ データ処理部
１２６ 映像保持部
１２８ 表示部
１３０ 圧縮伸長部
１３２ 記憶読取部
１３４ 外部入出力部
１４０ 中央制御部
１４２ 撮像制御部
１４４ 情報生成部
１４６ 被写体特徴量算出部
１４７ 判定部
１４８ 動き量推定部
１５０ 撮像レンズ
１５２ ズームレンズ
１５４ フォーカスレンズ
１５６ アイリス
１５８ 撮像素子
１６０ 駆動部
１６２ マイク
１６４ 音声信号処理部
１６６ 動き検出部
１７０ 記憶媒体
１７２ 表示装置
２０２ 映像保存制御部
２０４ 親画面用フレーム間引き部
２０６ 画像合成出力部
２０８ 子画面用画素間引き部
２１０ フレームバッファ用メモリ
２１２ 並び替え用メモリ
２１４ 映像データ入力
２１６ 映像データ出力
２１８，２１９ モニター出力
２２４，４００，４０２，４０４ 子画面
３０１ 減算器
３０２ ＤＣＴ部
３０３ スイッチ
３０４ 量子化部
３０６ 可変長符号化部
３０８ 逆量子化部
３１０ 逆ＤＣＴ部
３１１ 加算器
３１２ デブロックフィルタ部
３１４ メモリ部
３１６ ＭＥ部
３１８ ＭＣ部
３２０ イントラ予測部
３２２ デブロックフィルタ制御部
３３０ 入力信号
３３２ 出力符号

Claims (9)

1. 第一のフレームレートで被写体を撮像して映像データを出力する撮像部と、
   前記映像データをフレーム間引きしてフレームレートを低下させた低フレームレート映像データを生成する画像処理部と、
   前記映像データを一時的に格納するメモリ部と、
   前記メモリ部から前記第一のフレームレートよりも低い第二のフレームレートで読み出した読み出し映像データと、前記低フレームレート映像データとを二画面に合成した合成映像データを生成する画像合成部と、
   前記合成映像データを表示する表示部と、
   前記被写体の特徴量を算出する被写体特徴量算出部と、
   前記メモリ部からの映像データの読み出しを前記特徴量に基づいて制御するメモリ制御部と、
   を備えることを特徴とする撮影装置。
2. 前記メモリ制御部は、前記映像データを複数の区間に分割し、当該複数の区間ごとの前記特徴量の算出値に基づいて、前記複数の区間ごとにメモリ部に格納された映像データを読み出すか、あるいは読み出さないかを決定することを特徴とする、請求項１記載の撮影装置。
3. 前記被写体特徴量算出部は、前記映像データの各画面内の画素ブロックの動きベクトルの大きさから前記特徴量を算出することを特徴とする、請求項１または請求項２に記載の撮影装置。
4. 前記被写体特徴量算出部は、撮像と同時に収音する音声信号から前記特徴量を算出することを特徴とする、請求項１または請求項２に記載の撮影装置。
5. 前記合成映像データにおいて、前記読み出し映像データに係る画面の大きさを前記特徴量に基づいて変化させることを特徴とする、請求項１乃至４のいずれか一項に記載の撮影装置。
6. 請求項１乃至４のいずれか一項に記載の撮影装置であって、
   当該撮影装置の操作状態を検出する操作状態検出部をさらに備え、
   前記合成映像データにおいて、前記読み出し映像データに係る画面の大きさを前記操作状態検出部の出力に基づいて変化させることを特徴とする撮影装置。
7. 前記操作状態検出部が、パンチルト操作あるいはズーム操作の速度を検出するものであることを特徴とする、請求項６に記載の撮影装置。
8. 第一のフレームレートで被写体を撮像して映像データを生成する撮像ステップと、
   前記映像データをフレーム間引きしてフレームレートを低下させた低フレームレート映像データを生成する画像処理ステップと、
   前記映像データを一時的にメモリに保存するメモリ保存ステップと、
   前記メモリから前記第一のフレームレートよりも低い第二のフレームレートで読み出して読み出し映像データを生成するメモリ読み出しステップと、
   当該読み出し映像データと、前記低フレームレート映像データとを二画面に合成した合成映像データを生成する画像合成ステップと、
   前記合成映像データを表示部に表示する表示ステップと、
   前記被写体の特徴量を算出する被写体特徴量算出ステップと、
   前記メモリ読み出しステップを前記特徴量に基づいて制御するメモリ制御ステップと、
   を含むことを特徴とする撮影方法。
9. 画像を撮影するためのプログラムであって、
   撮像手段に第一のフレームレートで撮像させることにより映像データを生成する撮像ステップと、
   前記映像データをフレーム間引きしてフレームレートを低下させた低フレームレート映像データを生成する画像処理ステップと、
   前記映像データを一時的にメモリに保存させるメモリ保存ステップと、
   前記メモリから前記第一のフレームレートよりも低い第二のフレームレートで読み出して読み出し映像データを生成するメモリ読み出しステップと、
   当該読み出し映像データと、前記低フレームレート映像データとを二画面に合成した合成映像データを生成する画像合成ステップと、
   前記合成映像データを表示部に表示させる表示ステップと、
   前記被写体の特徴量を算出する被写体特徴量算出ステップと、
   前記メモリ読み出しステップを前記特徴量に基づいて制御するメモリ制御ステップと、
   をコンピュータに実行させることを特徴とする撮影プログラム。