JP2012151705A - 動画像処理装置、動画像処理方法及びプログラム - Google Patents

Abstract

【課題】動画像データの撮影記録時にユーザが特別な操作を行わなくとも、部分的にスロー再生することが可能な動画像データを得る。
【解決手段】撮像装置１００であって、動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定するフレーム特定部６ｂと、動画像データを構成する複数のフレーム画像のうち、特定されたスロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う間引き処理部６ｃと、を備えている。
【選択図】図１

Description

本発明は、動画像処理装置、動画像処理方法及びプログラムに関する。

従来、撮像フレームレートを通常撮像に対応する所定の撮像フレームレートや当該撮像フレームレートよりも高速の撮像フレームレートに切り替えることができる撮像装置が知られている（例えば、特許文献１参照）。この撮像装置で高速の撮像フレームレートで撮像された動画像を低速の再生フレームレートで再生すると、見た目上スローモーションで撮像された動画像となる。

特開２０１０−８７７７８号公報

しかしながら、通常撮像に対応する所定の撮像フレームレートで動画像の撮像中に、スローモーションで再生したいシーンを撮像するために撮像フレームレートを切り替える操作を行うことは煩雑である。また、当該操作によって撮像フレームレートを切り替えても、当該スローモーションで再生したいシーンの前後のシーンまでもスローモーションに対応する撮像フレームレートで撮像されてしまうといった問題もある。

本発明は、このような問題に鑑みてなされたものであり、動画像データの撮影記録時にユーザが特別な操作を行わなくとも、部分的にスロー再生することが可能な動画像データを得ることができる動画像処理装置、動画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明の動画像処理装置は、
所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段と、この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段と、前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段と、を備えたことを特徴としている。

また、本発明の動画像処理方法は、
動画像処理装置を用いた動画像処理方法であって、所定の撮像フレームレートで撮像された被写体の動画像データを取得するステップと、取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定するステップと、前記動画像データを構成する複数のフレーム画像のうち、特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行うステップと、を含むことを特徴としている。

また、本発明のプログラムは、
動画像処理装置のコンピュータを、所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段、この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段、前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段、として機能させることを特徴としている。

本発明によれば、動画像データの撮影記録時にユーザが特別な操作を行わなくとも、部分的にスロー再生することが可能な動画像データを得ることができる。

本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による動画像データ生成処理に係る動作の一例を示すフローチャートである。 図２の動画像データ生成処理を説明するための図である。 動画像データ生成処理の変形例に係る動作の一例を示すフローチャートである。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、動画像データＤに対して所定の解析処理を施して、当該動画像データＤを構成する複数のフレーム画像ｆ、…内で、スロー再生の対象となる複数のフレーム画像ｆ、…からなるスロー再生フレーム部分Ｓを特定し、当該スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の割合で間引く処理を行う。
具体的には、図１に示すように、撮像装置１００は、レンズ部１、電子撮像部２、ユニット回路部３、撮像制御部４、画像生成部５、画像処理部６、表示制御部７、表示部８、記録媒体制御部９、操作入力部１０、バッファメモリ１１、プログラムメモリ１２、中央制御部１３等を備えている。
また、撮像制御部４、画像生成部５、画像処理部６、表示制御部７、記録媒体制御部９、バッファメモリ１１、プログラムメモリ１２、中央制御部１３は、バスライン１４を介して接続されている。

レンズ部１は、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。

電子撮像部２は、レンズ部１の光軸上に配置されている。また、電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を所定の周期毎に二次元の画像信号（ＲＧＢ画像データ）に変換して、ユニット回路部３に出力する。

ユニット回路部３は、例えば、図示は省略するが、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Auto Gain Control：ゲイン調整アンプ）、
ＡＤＣ（Analog to Digital Converter：アナログ／デジタル変換器）等を具備している。このユニット回路部３は、電子撮像部２から出力されて入力される被写体の光学像に応じたアナログの画像信号を撮像フレームレートに応じた所定の周期毎にＣＤＳにより保持し、当該画像信号をＡＧＣにより増幅した後、増幅された画像信号をＡＤＣによりデジタルの画像信号に変換する。そして、ユニット回路部３は、デジタルの画像信号を画像生成部５に送信する。

撮像制御部４は、レンズ部１、電子撮像部２、ユニット回路部３等の動作を制御する。
即ち、撮像制御部４は、例えば、モータ等の駆動源と、この駆動源を駆動するドライバ等（何れも図示略）を備え、レンズ部１のズームレンズやフォーカスレンズを光軸方向に駆動させる。また、撮像制御部４は、例えば、レンズ部１の絞りの拡径や縮径を行う絞り駆動部（図示略）を備え、露出調整条件に応じて絞りの拡径や縮径を行う。また、撮像制御部４は、例えば、ＴＧ(Timing Generator)、電子撮像部２を駆動するドライバ等（何れも図示略）を備え、駆動フレームレートや撮像条件（例えば、露光時間等）に従ってＴＧ及びドライバを介して電子撮像部２の動作タイミングを制御する。また、撮像制御部４は、撮像フレームレートに従ってユニット回路部３の動作タイミングを制御する。

画像生成部５は、ユニット回路部３から送られてきたデジタルの画像信号からデジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
具体的には、画像生成部５は、撮像フレームレートに応じた所定の周期（例えば、１／２４０秒等）毎にユニット回路部３から送られてきた各フレーム画像ｆのデジタルの画像データに対して、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理をそれぞれ行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。そして、画像生成部５は、生成された輝度色差信号の画像データを、撮像制御部４及び画像処理部６に出力する。
ここで、動画像を撮像する場合の撮像フレームレートとして例示する２４０ｆｐｓは、一例であってこれに限られるものではなく、適宜任意に変更可能である。

画像処理部６は、画像取得部６ａと、フレーム特定部６ｂと、間引き処理部６ｃとを具備している。

画像取得部６ａは、被写体の動画像データＤを取得する。
具体的には、画像取得部６ａは、画像生成部５により生成された画像データ（ＹＵＶデータ）、即ち、被写体の動画像の撮像の際に、撮像フレームレートに応じた所定の周期（例えば、１／２４０秒等）毎にユニット回路部３から送信されたデジタルの画像信号から画像生成部５により生成された各フレーム画像ｆの画像データ（動画像データＤ）を取得する。
ここで、動画像データＤの撮像フレームレートは、表示部８にて動画像データを再生する際に設定される所定の再生フレームレートよりも高速、即ち、再生フレームレートに対応する各フレーム画像の切替（再生）周期よりも各フレーム画像の撮像周期が短くなっている。
ここで、画像取得部６ａは、所定の撮像フレームレートで撮像された複数のフレーム画像ｆ、…からなる被写体の動画像データＤを取得する取得手段を構成している。

フレーム特定部６ｂは、動画像データＤを構成する複数のフレーム画像ｆ、…内で、スロー再生フレーム部分Ｓを特定する。
即ち、フレーム特定部６ｂは、画像取得部６ａにより取得された動画像データＤに対して所定の解析処理を施す解析処理部ｂ１を具備し、この解析処理部ｂ１による解析結果に基づいてスロー再生フレーム部分Ｓを特定する。

解析処理部ｂ１は、動画像データＤを構成する複数のフレーム画像ｆ、…に亘る被写体の状態変化を検出するための所定の解析処理を行う。具体的には、解析処理部ｂ１は、複数のフレーム画像ｆ、…の各々について、隣合うフレーム画像ｆ（例えば、撮像タイミングが一つ前のフレーム画像ｆ等）との間で対応する各画素の差分を算出する。そして、解析処理部ｂ１は、複数のフレーム画像ｆ、…の各々について、算出された各画素の差分に基づいて所定の演算を行って各フレーム画像ｆを代表する差分値を生成する。
ここで、各フレーム画像ｆを代表する差分値は、例えば、各画素の差分の最大値、中央値、平均値等が挙げられる。

なお、上記した解析処理は、一例であってこれに限られるものではなく、複数のフレーム画像ｆ、…に亘る被写体の状態変化を検出可能な処理方法であれば適宜任意に変更可能である。例えば、解析処理部ｂ１は、複数のフレーム画像ｆ、…の輝度値に基づいて、当該複数のフレーム画像ｆ、…に亘る被写体の状態変化として、被写体の明るさの変化を検出しても良い。

フレーム特定部６ｂは、解析処理部ｂ１による解析結果に基づいて、動画像データＤを構成する複数のフレーム画像ｆ、…内で、被写体の状態変化が所定の大きさ以上となっているフレーム画像ｆをスロー再生フレーム部分Ｓとして特定する。
具体的には、フレーム特定部６ｂは、先ず、解析処理部ｂ１により生成された各フレーム画像ｆを代表する差分値に基づいて、最小の差分値を特定し、各フレーム画像ｆの差分値について最小の差分値に対する割合を算出する。そして、フレーム特定部６ｂは、複数のフレーム画像ｆ、…内で、最小の差分値に対する割合が所定の大きさ（例えば、２倍等）以上の差分値を有するフレーム画像ｆを、スロー再生の対象となるスロー再生フレーム部分Ｓとして特定する。
ここで、スロー再生フレーム部分Ｓとは、動画像の見た目の再生速度を実時間よりも遅く（スローモーションに）するフレーム画像ｆからなる部分のことであり、動画像データを再生する際に各フレーム画像を再生する間隔が、動画撮影を行う際に各フレーム画像を記録した間隔よりも長くなるフレーム画像ｆから構成された部分である。
例えば、図３（ａ）に示すように、野球のバッティングフォームを所定の撮像フレームレート（例えば、２４０ｆｐｓ等）で撮像した複数（例えば、４０枚等）のフレーム画像ｆ、…からなる動画像データＤの場合、スイングの開始時のフレーム画像ｆ１が最小の差分値を有する。そして、実際にバットのスイングが開始されると、所定時間あたりの被写体の状態変化（動き）が大きくなる。この場合、バットのスイング開始以降に対応するフレーム画像ｆ２は、最小の差分値に対する割合（最小差分比）が所定の大きさ（例えば、２倍等）以上となり（図３（ｂ）参照）、当該フレーム画像ｆ２をスロー再生フレーム部分Ｓとして特定する。

このように、フレーム特定部６ｂは、画像取得部６ａにより取得された動画像データＤに対して所定の解析処理を施して、当該動画像データＤを構成する複数のフレーム画像ｆ、…内で、スロー再生の対象となる複数のフレーム画像ｆ、…からなるスロー再生フレーム部分Ｓを特定する特定手段を構成している。

間引き処理部６ｃは、動画像データＤを構成する複数のフレーム画像ｆ、…のうち、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の割合で間引く処理を行う。
即ち、間引き処理部６ｃは、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の撮像フレームレートに対応する各フレーム画像の撮像周期よりも各フレーム画像の切替（再生）周期が短い（低速の）所定の再生フレームレートで再生した場合の再生時間を実時間に対応させるように間引く処理を行う。具体的には、間引き処理部６ｃは、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆの中で、即ち、所定の撮
像フレームレート（例えば、２４０ｆｐｓ等）で撮像された複数のフレーム画像ｆ、…の中で、所定の再生フレームレート（例えば、３０ｆｐｓ）に応じて処理対象となるフレーム画像ｆを撮像フレームレートと再生フレームレートの比に応じた所定の割合（例えば、１／８）で間引いて特定する。例えば、図３（ａ）に示すように、スイングの開始時やスイングの終了時（図示略）の所定数のフレーム画像ｆ１については、所定時間あたりの被写体の状態変化（動き）が小さいため、当該所定数のフレーム画像ｆ１の中で、所定の再生フレームレートに応じて処理対象となるフレーム画像ｆ１を所定の割合で間引いて特定する。
これにより、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の再生フレームレート（例えば、３０ｆｐｓ）で再生した場合の再生時間が、当該所定数のフレーム画像ｆを所定の撮像フレームレート（例えば、２４０ｆｐｓ等）で撮像した際の実時間に対応する。

なお、間引き処理部６ｃは、スロー再生フレーム部分Ｓのフレーム画像ｆについては間引く処理を行わず、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の再生フレームレートで再生した場合の再生時間を実時間に対応させるように間引く処理を行うことで、より自然で効果的に再生速度を制御できるようにしたが、間引きの有無や間引き率の制御は一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、少なくともスロー再生フレーム部分Ｓの再生速度がスロー再生フレーム部分Ｓ以外のフレーム部分の再生速度よりも遅くなるように間引きの有無や間引き率を決定すればよく、スロー再生フレーム部分Ｓ以外のフレーム画像を間引くときの割合よりも低い割合でスロー再生フレーム部分Ｓに対して間引き処理を行ったり、スロー再生フレーム部分Ｓ以外のフレーム部分の再生時間が実時間とは異なるように間引き率を決定してもよい。
例えば、間引き処理部６ｃは、スロー再生フレーム部分Ｓやスロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の解析処理の結果、動きの大きい（速い）フレーム画像ｆほど間引く割合が小さくなるように間引き率を制御しても良い。具体的には、例えば、間引き処理部６ｃは、フレーム特定部６ｂの解析処理部ｂ１により生成された各フレーム画像ｆを代表する差分値（例えば、各画素の差分の最大値）に基づいて、各フレーム画像ｆの動きの大きさを特定し、動きの大きいフレーム画像ｆほど間引く割合が小さくなるように間引き率を制御しても良い。

このように、間引き処理部６ｃは、動画像データＤを構成する複数のフレーム画像ｆ、…のうち、フレーム特定部６ｂにより特定されたスロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の割合で間引く処理を行う処理手段を構成している。

また、画像処理部６は、符号化部や復号化部等（何れも図示略）を具備している。
符号化部は、画像生成部５により生成された画像データ（ＹＵＶデータ）を所定の符号化方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ方式等）により圧縮・符号化する。即ち、符号化部は、間引き処理部６ｃによる間引き処理後の動画像データＤを所定の符号化方式により圧縮・符号化する。
復号化部は、例えば、記録媒体Ｍに記録された符号化済みの画像データを再生する際に、記録媒体制御部９から読み出された符号化済みの画像データを当該符号化方式に対応する復号化方式で復号化する。

表示制御部７は、バッファメモリ１１に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、バッファメモリ１１から読み出されてＶＲＡＭ（図示略）に記憶されている動
画像を構成する複数のフレーム画像ｆ、…の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、３０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
ここで、再生フレームレートが所定の値に固定されている場合、動画像データＤのフレーム画像ｆの毎秒あたりの入力フレーム数に応じて動画像の見た目の再生速度が可変する。即ち、例えば、撮像間隔と再生間隔が一致したフレーム画像ｆが入力されると、見た目上は実時間に対応する通常の再生速度となる一方で、撮像間隔が再生間隔よりも短いフレーム画像ｆが入力されると、見た目上は実時間よりも遅いスローモーションの再生速度となる。

表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、電子撮像部２及び撮像制御部４による被写体の撮像により生成された複数のフレーム画像ｆ、…を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、動画として記録中の複数のフレーム画像ｆ、…を表示したり、静止画として記録される画像（レックビュー画像）を表示する。

記録媒体制御部９は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録媒体制御部９は、画像処理部６の符号化部（図示略）により所定の圧縮形式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮影指示に係り、半押し及び全押し操作可能なシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン（何れも図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１３に出力する。

バッファメモリ１１は、画像データ等を一時保存するバッファであるとともに、中央制御部１３のワーキングメモリ等としても使用される。
プログラムメモリ１２には、当該撮像装置１００の機能に係る各種プログラムやデータが格納されている。

中央制御部１３は、撮像装置１００の各部を制御する。具体的には、中央制御部１３は、撮像装置１００の各部を制御するＣＰＵ（図示略）を具備し、各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による動画像データ生成処理について、図２及び図３を参照して説明する。
図２は、動画像データ生成処理に係る動作の一例を示すフローチャートである。また、図３は、動画像データ生成処理を説明するための図である。
なお、以下の動画像データ生成処理は、ユーザによる操作入力部１０の選択決定用ボタンの所定操作に基づいて、複数の撮像モードの中から動画像データＤの生成モードが選択指示された場合や、被写体の動画像の撮像後に自動的に実行される。

図２に示すように、先ず、画像処理部６の画像取得部６ａは、所定の撮像フレームレー
トで撮像された複数のフレーム画像ｆ、…からなる動画像データＤを取得する（ステップＳ１）。
具体的には、画像取得部６ａは、撮像制御部４の制御下にて、レンズ部１、電子撮像部２、ユニット回路部３により所定の撮像フレームレート（例えば、２４０ｆｐｓ等）で撮像されて画像生成部５により生成された各フレーム画像ｆの画像データ（ＹＵＶデータ）、即ち、撮像フレームレートに応じた所定の周期（例えば、１／２４０秒等）毎にユニット回路部３から送信されたデジタルの画像信号から画像生成部５により生成された動画像データＤを構成する各フレーム画像ｆの画像データを取得する。

次に、フレーム特定部６ｂの解析処理部ｂ１は、動画像データＤを構成する複数のフレーム画像ｆ、…に対して所定の解析処理を行う（ステップＳ２）。
具体的には、解析処理部ｂ１は、複数のフレーム画像ｆ、…の各々について、隣合うフレーム画像ｆ（例えば、撮像タイミングが一つ前のフレーム画像ｆ等）との間で対応する各画素の差分を算出し、算出された各画素の差分に基づいて所定の演算を行って各フレーム画像ｆを代表する差分値を生成する。

続けて、フレーム特定部６ｂは、解析処理部ｂ１による解析結果に基づいて、スロー再生フレーム部分Ｓを特定する（ステップＳ３）。
具体的には、フレーム特定部６ｂは、解析処理部ｂ１により生成された各フレーム画像ｆを代表する差分値に基づいて、最小の差分値に対する割合を算出し、複数のフレーム画像ｆ、…内で、最小の差分値に対する割合（最小差分比）が所定の大きさ（例えば、２倍等）以上の差分値を有するフレーム画像ｆ（例えば、スイングの開始後、上半身の動きが大きくなったフレーム画像ｆ等；図３（ａ）参照）をスロー再生フレーム部分Ｓとして特定する。

次に、間引き処理部６ｃは、動画像データＤを構成する複数のフレーム画像ｆ、…のうち、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の再生フレームレートで再生した場合の再生時間を実時間に対応させるように間引く処理を行う（ステップＳ４）。
具体的には、間引き処理部６ｃは、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆ（例えば、スイングの開始時やスイングの終了時の所定数のフレーム画像ｆ等）の中で、所定の再生フレームレート（例えば、３０ｆｐｓ）に応じて処理対象となるフレーム画像ｆを撮像フレームレートと再生フレームレートの比に応じた所定の割合（例えば、１／８）で間引いて特定する。

その後、画像処理部６の符号化部は、間引き処理部６ｃによる間引き処理後の動画像データＤを所定の符号化方式により圧縮・符号化した後、記録媒体制御部９に転送し、記録媒体制御部９は、当該動画像データＤを記録媒体Ｍに記録させる（ステップＳ５）。
これにより、動画像データ生成処理を終了する。

以上のように、実施形態１の撮像装置１００によれば、動画像データの撮影記録時に、この動画像データを再生する際に設定される所定の再生フレームレートよりも高速な所定の撮像フレームレートで動画像データの全体を記録することで、この動画像データのどの部分であっても再生フレームレートを落とすことなく（滑らかな映像を維持したままで）スロー再生（実時間に対してスローモーションで再生）することが可能な形態の動画像データＤを得た後、この動画像データＤに対して所定の解析処理を施して、当該動画像データＤを構成する複数のフレーム画像ｆ、…内で、スロー再生の対象となるスロー再生フレーム部分Ｓを特定し、このスロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の割合で間引く処理を行う。従って、動画像の撮像の際にユーザが撮像フレームレートの切り替え操作などを行わなくとも、部分的にスロー再生することが可能な動画
像データを得ることができ、しかも、予め撮像フレームレートを高速にして撮影記録を行った場合であっても最終的に必要とする動画像データのデータ量の削減を図ることができる。特に、スロー再生フレーム部分Ｓについては間引き処理を行わなくとも、適正なスロー再生速度でスロー再生が行われるように、再生時のフレームレートと撮影時の撮像フレームレートの比を設定し、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の再生フレームレートで再生した場合の再生時間を、当該所定数のフレーム画像ｆを所定の撮像フレームレートで撮像した際の実時間に対応させるように間引くことで、動画像データＤのデータ量を効率良く削減することができるだけでなく、動画像データＤを再生した際の見た目上の違和感を軽減させることができる。

また、動画像データＤを構成する複数のフレーム画像ｆ、…の中で、これらフレーム画像ｆ、…に亘る被写体の状態変化が所定の大きさ以上となっているフレーム画像ｆをスロー再生フレーム部分Ｓとして特定する。具体的には、動画像データＤを構成する複数のフレーム画像ｆ、…間の差分の最小値に対する割合が所定の大きさ以上の差分を有するフレーム画像ｆをスロー再生フレーム部分Ｓとして特定するので、複数のフレーム画像ｆ、…に亘る被写体の状態変化を考慮して、低速の再生フレームレートで再生すべきスロー再生フレーム部分Ｓの特定を適正に行うことができる。

また、特にスロー再生フレーム部分Ｓとスロー再生フレーム部分Ｓ以外のフレーム部分とを明確に分けることなく、つまり、間引き処理を行わないフレーム部分と、再生速度が実時間に対応する間引き率で間引き処理を行うフレーム部分という分け方を行うことなく、動画像データＤを構成する各フレーム画像について、スロー再生の度合いを特定して、当該スロー再生の度合いに応じてフレーム画像ｆを間引く割合を変化させても良い。
即ち、スロー再生フレーム部分Ｓやスロー再生フレーム部分Ｓのフレーム画像ｆについて、動きの大きいフレーム画像ｆほど間引く割合が小さくなるように間引き率を制御することで、被写体の動きの変化を考慮した動画像データDを生成することができる。具体的には、例えば、被写体の動きが断続的に変化したり、被写体の動きが滑らかに変動する場合などに、スロー再生フレーム部分Ｓに対する間引き処理を行わなかったり、スロー再生フレーム部分Ｓ以外のフレーム画像ｆについて所定の割合で一律に間引く処理を行うことによって生じる動画像の再生の際の見た目上の違和感を軽減することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置１００の変形例について説明する。

＜変形例１＞
この変形例１の撮像装置１００は、動画像データＤを構成する複数のフレーム画像ｆ、…の中で、各フレーム画像ｆにて最も動きの大きい部分の動きの大きさに基づいて、スロー再生フレーム部分Ｓを特定する。

即ち、フレーム特定部６ｂの解析処理部ｂ１は、所定の解析処理として、動画像データＤを構成する複数のフレーム画像ｆ、…の各々にて特徴の高い所定数のブロック領域（特徴点）の動きベクトルを算出した後、これら動きベクトルの中で最も動きの大きいブロック領域を特定する処理を行う。そして、解析処理部ｂ１は、特定されたブロック領域の動きベクトルを各フレーム画像ｆの動きの大きさとして特定する。

フレーム特定部６ｂは、複数のフレーム画像ｆ、…内で、動きの大きさが所定の大きさ以上であるフレーム画像ｆをスロー再生フレーム部分Ｓとして特定する。具体的には、フレーム特定部６ｂは、解析処理により特定された各フレーム画像ｆの動きベクトルの大きさの中で最大値と最小値を算出し、これら最大値と最小値間で最大値から所定割合（例え
ば、１０％程度）を閾値として設定する。そして、フレーム特定部６ｂは、複数のフレーム画像ｆ、…の中で、閾値以下の動きベクトルを有するフレーム画像ｆが所定時間以上連続する部分をスロー再生フレーム部分Ｓとして特定する。

次に、図４を参照して、この変形例に係る動画像データ生成処理について説明する。
図４に示すように、先ず、画像処理部６の画像取得部６ａは、上記実施形態と同様に、所定の撮像フレームレートで撮像された複数のフレーム画像ｆ、…からなる動画像データＤを取得する（ステップＳ１）。

次に、フレーム特定部６ｂの解析処理部ｂ１は、動画像データＤを構成する複数のフレーム画像ｆ、…に対して所定の解析処理を行う（ステップＳ２１）。
具体的には、解析処理部ｂ１は、複数のフレーム画像ｆ、…の各々について、特徴の高い所定数のブロック領域（特徴点）の動きベクトルを算出する。その後、解析処理部ｂ１は、算出された動きベクトルの中で最も動きの大きいブロック領域を特定し、特定されたブロック領域の動きベクトルを各フレーム画像ｆの動きの大きさとして特定する。

続けて、フレーム特定部６ｂは、解析処理部ｂ１による解析結果に基づいて、各フレーム画像ｆの動きベクトルの大きさの中で最大値と最小値を算出した後（ステップＳ２２）、これら最大値と最小値間で最大値から所定割合（例えば、１０％程度）の値をスロー再生フレーム部分Ｓの判定用の相対的な閾値として設定する（ステップＳ２３）。
そして、フレーム特定部６ｂは、複数のフレーム画像ｆ、…の中で、スロー再生フレーム部分Ｓの判定用の閾値以下の動きベクトルを有するフレーム画像ｆを特定し、当該フレーム画像ｆが所定時間以上連続して撮像された部分をスロー再生フレーム部分Ｓとして特定する（ステップＳ２４）。

次に、間引き処理部６ｃは、上記実施形態と同様に、動画像データＤを構成する複数のフレーム画像ｆ、…のうち、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の再生フレームレートで再生した場合の再生時間を実時間に対応させるように間引く処理を行う（ステップＳ４）。その後、画像処理部６の符号化部は、上記実施形態と同様に、間引き処理部６ｃによる間引き処理後の動画像データＤを所定の符号化方式により圧縮・符号化した後、記録媒体制御部９に転送し、記録媒体制御部９は、当該動画像データＤを記録媒体Ｍに記録させる（ステップＳ５）。
これにより、動画像データ生成処理を終了する。

従って、この変形例１の撮像装置１００によれば、動画像データＤを構成する複数のフレーム画像ｆ、…の各々にて最も動きの大きい部分を検出し、動画像データＤを構成する複数のフレーム画像ｆ、…内で、検出された最も動きの大きい部分の動きの大きさが所定の大きさ以上であるフレーム画像ｆをスロー再生フレーム部分Ｓとして特定するので、各フレーム画像ｆ内の特徴部分の動きを考慮して、低速の再生フレームレートで再生すべきスロー再生フレーム部分Ｓの特定を適正に行うことができる。

＜変形例２＞
上記実施形態においては、撮影記録後にスロー再生を行う部分を任意に指定できるようにするために、無条件に高速な撮像フレームレートで動画像データを記録するようにしたが、部分的なスロー再生を行う必要が無いことが撮影前にわかっているのであれば、高速な撮像フレームレートで撮像を行うのは無駄なことである。
そこで、通常の動画像データを記録する第１の動画記録モードと部分的なスロー再生に対応した動画像データを記録する第２の動画記録モードを設けて、動画撮影を開始する前にユーザが操作入力部１０の所定操作に基づいていずれかのモードを選択して設定できるようにする。
そして、中央制御部１３は、第２の動画記録モードが設定されている場合、再生フレームレートよりも高速な撮像フレームレートを自動的に設定して動画像データを記録させるとともに、この記録された動画像データに対して上記実施形態で行ったスロー再生フレーム部分Ｓの特定処理と、スロー再生フレーム部分Ｓ以外を間引く処理とを自動的に実行させる。
一方、中央制御部１３は、第１の動画記録モードが設定されている場合、再生フレームレートと同じ撮像フレームレートで動画像データを記録させた後に上記実施形態で行ったスロー再生フレーム部分Ｓの特定処理と、スロー再生フレーム部分Ｓ以外を間引く処理とを自動実行させないようにする。

従って、この変形例２の撮像装置１００によれば、部分的なスロー再生の必要性に応じてモード選択を行うだけで、高速な撮像フレームレートを自動的に設定することができるので、部分的なスロー再生を行うことが可能な動画像データを容易に得ることができ、部分的なスロー再生が必要無い場合にまで無駄なフレームを含む動画像データを記録してメモリ容量を圧迫することを防ぐことが可能となる。

なお、上記実施形態及び変形例１、２におけるスロー再生フレーム部分Ｓの特定方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、上記実施形態にあっては、スロー再生フレーム部分Ｓの特定方法を、各フレーム画像ｆの差分値の最小の差分値に対する割合を基準として行うようにしたが、例えば、各フレーム画像ｆの差分値について最大の差分値に対する割合を基準とし、最大の差分値に対する割合が所定の大きさ以下の差分値を有するフレーム画像ｆをスロー再生フレーム部分Ｓとして特定しても良い。
また、上記変形例１にあっては、スロー再生フレーム部分Ｓの特定の際に、動きベクトルの大きさの最大値と最小値に基づいて、スロー再生フレーム部分Ｓの判定用の相対的な閾値を設定するようにしたが、例えば、動きベクトルの大きさの最大値及び最小値のうち、何れか一方の値を基準として、スロー再生フレーム部分Ｓの判定用の絶対的な閾値を設定するようにしても良い。

また、上記実施形態にあっては、間引き処理部６ｃは、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆに基づいて、所定の再生フレームレートで再生される一の代表フレーム画像ｆを生成しても良い。即ち、間引き処理部６ｃは、所定数のフレーム画像ｆの各画素の画素値に基づいて所定の演算を行って、所定数のフレーム画像ｆを代表する画素値（例えば、平均値や中央値等）を有する代表フレーム画像を生成する。
これにより、スロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについては、所定の再生フレームレートで代表フレーム画像を再生させることで、被写体の動きを滑らかにすることができ、動画像データＤを再生した際の見た目上の違和感を軽減させることができる。

さらに、動画像処理装置として例示する撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではなく、少なくとも取得手段、特定手段、処理手段を備える構成であれば適宜任意に変更することができる。

加えて、上記実施形態にあっては、取得手段、特定手段、処理手段としての機能を、中央制御部１３の制御下にて、画像取得部６ａ、フレーム特定部６ｂ、間引き処理部６ｃが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１３のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ１２に、取得処理ルーチン、特定処理ルーチン、間引き処理ルーチンを含むプログラムを記憶しておく。そして、取得処処理ルー
チンにより中央制御部１３のＣＰＵを、所定の撮像フレームレートで撮像された被写体の動画像データＤを取得する取得手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１３のＣＰＵを、取得手段により取得された前記動画像データＤに対して所定の解析処理を施して、当該動画像データＤを構成する複数のフレーム画像ｆ、…内で、スロー再生の対象となる複数のフレーム画像ｆ、…からなるスロー再生フレーム部分Ｓを特定する特定手段として機能させるようにしても良い。また、間引き処理ルーチンにより中央制御部１３のＣＰＵを、動画像データＤを構成する複数のフレーム画像ｆ、…のうち、特定手段により特定されたスロー再生フレーム部分Ｓ以外の所定数のフレーム画像ｆについて、所定の割合で間引く処理を行う処理手段として機能させるようにしても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

加えて、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

即ち、撮像装置は、所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段と、この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段と、前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段と、を備える構成を採っている。

また、前記取得手段は、更に、動画像データを再生する際に設定される所定の再生フレームレートよりも高速な所定の撮像フレームレートで撮像された被写体の動画像データを取得し、前記処理手段は、更に、前記間引く処理として、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、前記再生フレームレートで再生した場合の再生時間を実時間に対応させるように、前記撮像フレームレートと前記再生フレームレートの比に応じた割合で間引いても良い。

また、前記処理手段は、更に、前記特定手段により特定された前記スロー再生フレーム部分のフレーム画像については間引きを行わないか、或いは、前記スロー再生フレーム部分以外のフレーム画像を間引くときの割合よりも低い割合で間引いても良い。

また、前記特定手段は、更に、前記所定の解析処理により前記動画像データを構成する複数のフレーム画像に亘る被写体の状態変化を検出し、当該動画像データを構成する複数のフレーム画像内で、検出された被写体の状態変化が所定の大きさ以上となっているフレーム画像を前記スロー再生フレーム部分として特定しても良い。

また、前記特定手段は、更に、前記所定の解析処理により前記動画像データを構成する複数のフレーム画像間の差分を算出し、前記動画像データを構成する複数のフレーム画像内で、算出された差分の最小値に対する割合が所定の大きさ以上の差分を有するフレーム
画像を前記スロー再生フレーム部分として特定しても良い。

また、前記特定手段は、更に、前記所定の解析処理により前記動画像データを構成する複数のフレーム画像の各々にて最も動きの大きい部分を検出し、前記動画像データを構成する複数のフレーム画像内で、検出された最も動きの大きい部分の動きの大きさが所定の大きさ以上であるフレーム画像を前記スロー再生フレーム部分として特定しても良い。

また、前記特定手段は、更に、当該動画像データを構成する各フレーム画像について、スロー再生の度合いを特定し、前記処理手段は、更に、前記特定手段により特定されたスロー再生の度合いに応じてフレーム画像を間引く割合を変化させても良い。

また、前記処理手段は、更に、前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分のフレーム画像について、前記所定の解析処理の結果、動きの大きいフレーム画像ほど間引く割合が小さくなるように間引き率を制御しても良い。

また、前記処理手段は、更に、前記間引く処理にて、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像に基づいて、前記再生フレームレートで再生される一の代表フレーム画像を生成しても良い。

また、通常の動画像データを記録する第１の動画記録モードと部分的なスロー再生に対応した動画像データを記録する第２の動画記録モードのいずれかを選択的に設定するモード設定手段と、このモード設定手段により前記第２の動画記録モードが設定されている場合は、前記所定の再生フレームレートよりも高速な撮像フレームレートを自動的に設定して動画像データを記録するとともに、この記録された動画像データを前記取得手段により取得して前記特定手段および前記処理手段による処理を自動的に実行するように制御し、前記モード設定手段により前記第１の動画記録モードが設定されている場合は、前記所定の再生フレームレートと同じ撮像フレームレートで動画像データを記録した後に前記特定手段および前記処理手段による処理を自動的に実行しないように制御する制御手段と、を更に備えても良い。

また、動画像処理装置を用いた動画像処理方法は、所定の撮像フレームレートで撮像された被写体の動画像データを取得するステップと、取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定するステップと、前記動画像データを構成する複数のフレーム画像、…のうち、特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行うステップと、を含む構成を採っている。

また、動画像処理装置のコンピュータにより実行されるプログラムは、当該コンピュータを、所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段、この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段、前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段、として機能させる構成を採っている。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
４ 撮像制御部
６ 画像処理部
６ａ 画像取得部
６ｂ フレーム特定部
ｂ１ 解析処理部
６ｃ 間引き処理部
７ 表示制御部
８ 表示部
１０ 操作入力部
１３ 中央制御部

Claims (12)

1. 所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段と、
   この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段と、
   前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段と、
   を備えたことを特徴とする動画像処理装置。
2. 前記取得手段は、更に、
   動画像データを再生する際に設定される所定の再生フレームレートよりも高速な所定の撮像フレームレートで撮像された被写体の動画像データを取得し、
   前記処理手段は、更に、
   前記間引く処理として、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、前記再生フレームレートで再生した場合の再生時間を実時間に対応させるように、前記撮像フレームレートと前記再生フレームレートの比に応じた割合で間引くことを特徴とする請求項１に記載の動画像処理装置。
3. 前記処理手段は、更に、
   前記特定手段により特定された前記スロー再生フレーム部分のフレーム画像については間引きを行わないか、或いは、前記スロー再生フレーム部分以外のフレーム画像を間引くときの割合よりも低い割合で間引くことを特徴とする請求項１又は２に記載の動画像処理装置。
4. 前記特定手段は、更に、
   前記所定の解析処理により前記動画像データを構成する複数のフレーム画像に亘る被写体の状態変化を検出し、当該動画像データを構成する複数のフレーム画像内で、検出された被写体の状態変化が所定の大きさ以上となっているフレーム画像を前記スロー再生フレーム部分として特定することを特徴とする請求項１〜３の何れか一項に記載の動画像処理装置。
5. 前記特定手段は、更に、
   前記所定の解析処理により前記動画像データを構成する複数のフレーム画像間の差分を算出し、前記動画像データを構成する複数のフレーム画像内で、算出された差分の最小値に対する割合が所定の大きさ以上の差分を有するフレーム画像を前記スロー再生フレーム部分として特定することを特徴とする請求項４に記載の動画像処理装置。
6. 前記特定手段は、更に、
   前記所定の解析処理により前記動画像データを構成する複数のフレーム画像の各々にて最も動きの大きい部分を検出し、前記動画像データを構成する複数のフレーム画像内で、検出された最も動きの大きい部分の動きの大きさが所定の大きさ以上であるフレーム画像を前記スロー再生フレーム部分として特定することを特徴とする請求項４に記載の動画像処理装置。
7. 前記特定手段は、更に、当該動画像データを構成する各フレーム画像について、スロー再生の度合いを特定し、
   前記処理手段は、更に、前記特定手段により特定されたスロー再生の度合いに応じてフレーム画像を間引く割合を変化させることを特徴とする請求項１〜５の何れか一項に記載
   の動画像処理装置。
8. 前記処理手段は、更に、
   前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分のフレーム画像について、前記所定の解析処理の結果、動きの大きいフレーム画像ほど間引く割合が小さくなるように間引き率を制御することを特徴とする請求項７に記載の動画像処理装置。
9. 前記処理手段は、更に、
   前記間引く処理にて、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像に基づいて、前記再生フレームレートで再生される一の代表フレーム画像を生成することを特徴とする請求項１〜８の何れか一項に記載の動画像処理装置。
10. 通常の動画像データを記録する第１の動画記録モードと部分的なスロー再生に対応した動画像データを記録する第２の動画記録モードのいずれかを選択的に設定するモード設定手段と、
    このモード設定手段により前記第２の動画記録モードが設定されている場合は、前記所定の再生フレームレートよりも高速な撮像フレームレートを自動的に設定して動画像データを記録するとともに、この記録された動画像データを前記取得手段により取得して前記特定手段および前記処理手段による処理を自動的に実行するように制御し、前記モード設定手段により前記第１の動画記録モードが設定されている場合は、前記所定の再生フレームレートと同じ撮像フレームレートで動画像データを記録した後に前記特定手段および前記処理手段による処理を自動的に実行しないように制御する制御手段と、を更に備えたことを特徴とする請求項１〜９の何れか一項に記載の動画像処理装置。
11. 動画像処理装置を用いた動画像処理方法であって、
    所定の撮像フレームレートで撮像された被写体の動画像データを取得するステップと、
    取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定するステップと、
    前記動画像データを構成する複数のフレーム画像のうち、特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行うステップと、
    を含むことを特徴とする動画像処理方法。
12. 動画像処理装置のコンピュータを、
    所定の撮像フレームレートで撮像された被写体の動画像データを取得する取得手段、
    この取得手段により取得された前記動画像データに対して所定の解析処理を施して、当該動画像データを構成する複数のフレーム画像内で、スロー再生の対象となる複数のフレーム画像からなるスロー再生フレーム部分を特定する特定手段、
    前記動画像データを構成する複数のフレーム画像のうち、前記特定手段により特定された前記スロー再生フレーム部分以外の所定数のフレーム画像について、所定の割合で間引く処理を行う処理手段、
    として機能させることを特徴とするプログラム。

Images