JP2015122731A - 動画再生装置及び動画再生方法 - Google Patents

Abstract

【課題】本開示は、より効果的なスローモーション再生を実現する動画再生装置を提供することを目的とする。【解決手段】上記課題を解決するために、本開示の動画再生装置は、１／Ｎ倍速で撮影されたフレーム群により構成された動画区間を含む動画ストリームを記録する記録媒体から、当該動画ストリームを読み出す読出部と、読み出された動画ストリームを再生する場合において、１／Ｎ倍速で撮影されたフレーム群により構成された動画区間の動画ストリームを再生するときは、当該動画区間のフレーム群に対してフレーム補間処理を施し、１／Ｎ倍速より低速の再生を行う処理部と、を備える。【選択図】図４

Description

本開示は動画再生装置及び動画再生方法に関する。

特許文献１は、スローモーション再生を可能にするため高速度撮影を行うことができる動画再生装置を提供している。

特開２００８−０７２６８２号公報

本開示は、より効果的なスローモーション再生を実現する動画再生装置及び動画再生方法を提供することを目的とする。

上記課題を解決するために、本開示の動画再生装置は、１／Ｎ倍速で撮影されたフレーム群により構成された動画区間を含む動画ストリームを記録する記録媒体から、当該動画ストリームを読み出す読出部と、読み出された動画ストリームを再生する場合において、１／Ｎ倍速で撮影されたフレーム群により構成された動画区間の動画ストリームを再生するときは、当該動画区間のフレーム群に対してフレーム補間処理を施し、１／Ｎ倍速より低速の再生を行う処理部と、を備える。

また、本開示の動画再生方法は、１／Ｎ倍速で撮影されたフレーム群により構成された動画区間を含む動画ストリームを記録する記録媒体から、動画ストリームを読み出し、読み出された動画ストリームを再生する場合において、処理部が、１／Ｎ倍速で撮影されたフレーム群により構成された動画区間の動画ストリームを再生するときは、当該動画区間のフレーム群に対してフレーム補間処理を施し、１／Ｎ倍速より低速で再生する処理を行う、動画再生方法である。

本開示によれば、より効果的なスローモーション再生を実現する動画再生装置及び動画再生方法を提供できる。

実施の形態におけるデジタルビデオカメラの電気的構成を示すブロック図 実施の形態におけるデジタルビデオカメラのスロー区間を含む動画記録のフローチャート 実施の形態におけるデジタルビデオカメラのスロー区間を含む動画再生のフローチャート 実施の形態におけるＣＭＯＳイメージセンサの出力、記録ストリーム及び再生データの関係を示す模式図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

以下、実施の形態における撮像装置の構成及び動作について説明する。
〔１．撮像装置の電気的構成〕
図１は、実施の形態における撮像装置であるデジタルビデオカメラ１００の電気的構成を示すブロック図である。デジタルビデオカメラ１００は、１以上のレンズからなる光学系１１０を備える。光学系１１０は被写体からの光により被写体像をＣＭＯＳイメージセンサ１４０上に形成する。形成された被写体像を撮像センサであるＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０は撮像した被写体像に基づいて画像データを生成する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、Ａ／Ｄコンバータ（ＡＤＣ）１５０でデジタル信号に変換された後、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。

実施の形態における光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４により構成される。ズームレンズ１１１を光軸１１０Ｘに沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ１１３を光軸１１０Ｘに沿って移動させることにより被写体像のフォーカスを調整することができる。また、手振れ補正レンズ１１２は、光学系１１０の光軸１１０Ｘに垂直な面内で移動可能である。デジタルビデオカメラ１００のブレを打ち消す方向に手振れ補正レンズ１１２を移動することで、デジタルビデオカメラ１００のブレが撮像画像に与える影響を低減できる。また、絞り１１４は光軸１１０Ｘ上に位置する開口部１１４Ａを有し、ユーザの設定に応じて若しくは自動で開口部１１４Ａの大きさを調整し、透過する光の量を調整する。

レンズ駆動部１２０は、ズームレンズ１１１を駆動するズームアクチュエータや、手振れ補正レンズ１１２を駆動する手振れ補正アクチュエータや、フォーカスレンズ１１３を駆動するフォーカスアクチュエータや、絞り１１４を駆動する絞りアクチュエータを含む。そして、レンズ駆動部１２０は、上記のズームアクチュエータや、フォーカスアクチュエータや、手振れ補正アクチュエータや、絞りアクチュエータを制御する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像してアナログ信号であるアナログ画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。ＣＭＯＳイメージセンサ１４０は、毎秒１２０フレーム（１２０ｆｐｓ）で動画像データを出力することができる。

Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル信号であるデジタル画像データに変換する。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。

画像処理部１６０は、通常速度撮影のときと高速度撮影のときとで、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力される撮像データに対する画像処理を切り替える。通常速度撮影のときは、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力される撮像データを連続する２つのフレームに１回の間引き処理を施して、毎秒６０フレーム（６０ｆｐｓ）の動画像データを生成する（以下、「フレーム間引きモード」と称する。）。そして、制御部１８０は、生成された毎秒６０フレームの動画像データをメモリカード２００に記録する。一方、高速度撮影のときは、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力される撮像データに対して間引き処理を施すことなく、毎秒６０フレームで再生される動画像データを生成する（以下、「フレーム非間引きモード」と称する。）。そして、制御部１８０は、生成された動画像データをメモリカード２００に記録する。ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力された撮像データに対して間引き処理等を行わず、全フレームを記録して動画像データを生成するので、１／２倍速の動画像データを実現することができる。

なお、本実施の形態では、ＣＭＯＳイメージセンサ１４０から出力される撮像データは毎秒１２０フレームであるが、これに限らず、毎秒１８０フレーム（１８０ｆｐｓ）、毎秒２４０フレーム（２４０ｆｐｓ）というように、毎秒６０フレームのＮ倍に設定してもよい。この場合、間引き処理を施すことなく、全フレームを記録して毎秒６０フレームで再生される動画像データを生成すると、１／３倍速、１／４倍速というように通常速度の１／Ｎ倍速の動画ストリームとなる。

制御部１８０は、デジタルビデオカメラ１００全体を制御する。制御部１８０は半導体素子などで実現できる。制御部１８０はハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１８０は、マイコンなどで実現できる。

バッファ１７０は、画像処理部１６０及び制御部１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０はメモリカード２００を着脱可能に保持する。カードスロット１９０は機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００はフラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納できる。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶する。

操作部材２１０はユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、ユーザからの操作を受け付ける十字キーや決定釦等を含む。操作部材２１０は、動画記録開始／停止を指示するための動画記録釦、通常速度の動画記録中にスロー記録を指示するための区間スロー釦、動画像データの動画再生開始／停止を指示するための動画再生釦などを含む。動画記録釦、区間スロー釦及び動画再生釦は、それぞれ、動画記録、スロー記録及び動画再生での開始指示と停止指示とを兼用する釦である。但し、これに限定されず、開始指示の釦と停止指示の釦とを別々に備えてもよい。動画記録釦、区間スロー釦及び動画再生釦は、デジタルビデオカメラ１００の外装に備わるハードキーでもよいし、表示モニタ２２０の画面２２０Ａに表示される釦アイコンがタッチパネル２２０Ｂを介して操作されるソフトキーであってもよい。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成された画像データが示す画像や、メモリカード２００から読み出された画像データが示す画像を表示できる画面２２０Ａを有する。表示モニタ２２０は、メモリカード２００に記録された毎秒６０フレームの動画像データを、毎秒６０フレームで再生する。これにより、通常速度撮影時に、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力された撮像データに対して間引き処理を行って生成された毎秒６０フレームの動画像データは、通常速度で再生される。一方、高速度撮影時に、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力された撮像データに対して間引き処理を行わず生成された動画像データは、１／２倍速で再生される。

また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も画面２２０Ａに表示できる。表示モニタ２２０の画面２２０Ａ上にはタッチパネル２２０Ｂが配置されている。タッチパネル２２０Ｂはユーザによりタッチされて各種タッチ操作を受け付けることができる。タッチパネル２２０Ｂに対するタッチ操作が示す指示は制御部１８０に通知され各種処理が行われる。

角速度センサ２５０は、手振れ等に起因してデジタルビデオカメラ１００に発生した角速度を検出する。角速度センサ２５０が検出した角速度は制御部１８０に通知される。制御部１８０は、角速度センサ２５０から通知された角速度により、デジタルビデオカメラ１００に発生した角速度に基づく画像のブレを解消するよう手振れ補正レンズ１１２を駆動させることができる。
〔２．デジタルビデオカメラ１００の動作〕
続いて、図２から図４を用いて、デジタルビデオカメラ１００の動画記録動作及び動画再生動作について説明する。デジタルビデオカメラ１００は動画記録装置であるとともに動画再生装置である。

〔２−１．動画記録動作〕
図２及び図４を用いて、デジタルビデオカメラ１００の動画記録動作を説明する。図２は、デジタルビデオカメラ１００のスロー区間を含む動画記録のフローチャートである。また、図４は、ＣＭＯＳイメージセンサ１４０の出力、記録ストリーム及び再生データの関係を示す模式図である。

デジタルビデオカメラ１００の電源がオン（ＯＮ）されると、制御部１８０は、デジタルビデオカメラ１００を構成する各部に必要な電力を供給する。電力の供給を受けて、光学系１１０を構成する各レンズ、ＣＭＯＳイメージセンサ１４０などの各構成は、動作可能な状態に初期設定を完了する。

デジタルビデオカメラ１００は、動画記録を行うための動画記録モードと、動画再生を行うための動画再生モードとを有している。デジタルビデオカメラ１００が動画記録モードに設定されているとき、デジタルビデオカメラ１００の電源のＯＮにともなって、ＣＭＯＳイメージセンサ１４０は被写体像の撮像を開始する。これにより、表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０が生成した撮像データに基づくスルー画像を表示する。ユーザは、表示モニタ２２０に表示されるスルー画像を見ながら、画角等を判断し、動画記録の開始に好適なタイミングで操作部材２１０の動画記録釦を押下する。

図２に示すように、制御部１８０は、動画記録釦が押下されたか否かを監視している（ステップＳ２００）。動画記録釦が押下されるまで、制御部１８０はステップＳ２００の状態で待機する。動画記録釦が押下されると（ステップＳ２００の「Ｙｅｓ」）、制御部１８０は、ＣＭＯＳイメージセンサ１４０の撮像画像に基づく動画像データのメモリカード２００への記録を画像処理部１６０に開始させる（ステップＳ２０１）。メモリカード２００に動画像データを書き込む前に、一旦、動画像データを、バッファ１７０に蓄積しておいてもよい。このとき、バッファ１７０に蓄積された動画像データが、一定量を超えたときに、制御部１８０は、この超えた動画像データをメモリカード２００に書き込むようにしてもよい。

ステップＳ２０１の記録開始を受けて、制御部１８０は、記録する動画像データのフレーム数のカウントを開始する（ステップＳ２０２）。このとき、図４の「記録ストリーム」に示すように、制御部１８０は、最初に記録されるフレームに第１番の番号を付ける。そして、制御部１８０は、この第１番のフレームから記録される順番に従ってフレームに連続の番号を付けていく。従って、例えば、第８１６番の番号が付けられたフレームは、制御部１８０が第８１６番目であるとカウントしたフレームとなる。

ユーザにより区間スロー釦が押下されるまでは、画像処理部１６０は、図４に示すように、ＣＭＯＳイメージセンサ１４０が毎秒１２０フレームで出力する撮像データに対して間引き処理を行い（フレーム間引きモード）、単位時間当たりのフレーム数を１／２にした毎秒６０フレームの動画像データを生成し、メモリカード２００への記録を継続する（ステップＳ２０３）。

ここで、間引き処理は、本実施の形態では、図４に示すように、ＣＭＯＳイメージセンサ１４０が毎秒１２０フレームで出力する撮像データのフレームを、１フレームおきに記録ストリームに記録している。また、フレームレートを下げる処理は、連続する２つのフレームを合成して１つのフレームを生成し、それを記録することにより、単位時間当たりのフレーム数を１／２に減らす処理でもよい。

制御部１８０は、動画像データの記録が継続しているとき、区間スロー釦が押下されたか否かを監視している（ステップＳ２０４）。制御部１８０は、操作部材２１０の区間スロー釦が押下されると（ステップＳ２０４の「Ｙｅｓ」）、スロー区間情報（スロー区間の開始フレーム（図４に示す例では第４番フレーム）の番号）を、記録中の動画像データを管理する管理情報に書き込む（ステップＳ２０５）。この管理情報は、記録された動画像データを再生するときに必要となる情報である。管理情報には、記録日時情報、記録モード情報、スロー区間情報、サムネイル画像などが含まれている。管理情報は、動画像データのメモリカード２００への記録とともに、メモリカード２００に記録される。管理情報のメモリカード２００への記録にあたっては、動画像データの場合と同様に、一旦、バッファ１７０に記録してもよい。このときは、制御部１８０は、スロー区間情報を、バッファ１７０に記録された管理情報に書き込む。そして、制御部１８０は、バッファ１７０に記録された管理情報を定期的にメモリカード２００に書き込むようにしてもよい。

そして、ステップＳ２０６に進み、制御部１８０は、フレーム間引きモードをフレーム非間引きモードに切り替える。フレーム非間引きモードでは、ＣＭＯＳイメージセンサ１４０が毎秒１２０フレームで出力する撮像データの全フレームが記録される。制御部１８０は、操作部材２１０の区間スロー釦が押下されるまで、図４に示すように、フレーム非間引きモードによる記録を継続する。

フレーム非間引きモードでは高速度撮影を行っているため、制御部１８０は、音声データについては無音としてメモリカード２００に記録する。これは、動画像データについては、上記の通り、高速度撮影に対応したフレーム数のデータ量が記録されるが、音声データについては、高速度撮影に対応したデータ量が記録されないため、動画像データの再生に対応して音声データを再生できないためである。仮に、音声データを無音とせずに記録した場合、音声データのデータ量が高速度撮影の動画像データと対応していないため、再生時に聴者にとって違和感のある出力音を生じる。

高速度撮影を行っている間、制御部１８０は、区間スロー釦が押下されたか否かを監視している（ステップＳ２０７）。区間スロー釦が押下された場合（ステップＳ２０７の「Ｙｅｓ」）、制御部１８０は、区間スロー釦が押下されたタイミングに対応したフレームの番号を、スロー区間情報（スロー区間の終了フレーム（図４に示す例では第１３番フレーム）の番号）として、管理情報に書き込む（ステップＳ２０８）。

そして、ステップＳ２０３に戻り、制御部１８０は、フレーム非間引きモードをフレーム間引きモードに切り替える。そして、制御部１８０は、次に操作部材２１０の区間スロー釦が押下されるまで、フレーム間引きモードによる記録を継続する。

記録停止動作は、操作部材２１０の動画記録釦の押下によってなされる。記録停止動作は割り込み動作であり、動画記録釦の押下を受けて、動画記録中の適切なタイミングで実施される。これにより、制御部１８０は、動画記録釦が押下されると、動画像データのメモリカード２００への記録を停止する。

フレーム非間引きモードによる高速度撮影中（ステップＳ２０６）に、操作部材２１０の動画記録釦が押下された場合は、上述のステップＳ２０７で区間スロー釦が押下された場合と同様に、制御部１８０は、動画記録釦が押下されたタイミングに対応したフレームの番号を、スロー区間情報として、管理情報に書き込む。その後、制御部１８０は、動画像データのメモリカード２００への記録を停止する。

〔２−２．動画再生動作〕
図３及び図４を用いて、デジタルビデオカメラ１００の動画再生動作を説明する。図３は、デジタルビデオカメラ１００のスロー区間を含む動画再生のフローチャートである。

デジタルビデオカメラ１００が動画再生モードに設定されたとき、制御部１８０は、メモリカード２００に記録された管理情報からサムネイル画像を読み出す。これにより、表示モニタ２２０は、読み出されたサムネイル画像の一覧画面を表示する。ユーザは、表示モニタ２２０に表示されるサムネイル画像の一覧画面から任意の１つのサムネイル画像を選択することで、再生対象とする動画像データを決定する。

制御部１８０は、動画再生釦が押下されたか否かを監視している（ステップＳ３００）。制御部１８０は、動画再生釦が押下されると（ステップＳ３００の「Ｙｅｓ」）、選択された再生対象の動画像データの動画ストリームをメモリカード２００から読み出し、画像処理部１６０での再生処理を開始する（ステップＳ３０１）。制御部１８０は、再生する動画ストリームをメモリカード２００から読み出す読出部としての役割を有する。なお、動画再生釦の押下によらず、再生対象とする動画像データの選択により、再生処理を開始してもよい。

続いて、制御部１８０は、再生対象の動画像データを管理する管理情報からスロー区間情報（開始フレーム及び終了フレームの情報）を読み込む（ステップＳ３０２）。これにより、制御部１８０は、再生対象の動画像データが記録されたときに、どのフレーム区間において高速度撮影がなされたのかを把握することができる。換言すると、高速度撮影により記録されたスロー区間の開始フレームの番号と終了フレームの番号とを把握することができる。

ステップＳ３０１の再生開始を受けて、制御部１８０は、再生する動画像データのフレーム数のカウントを開始する（ステップＳ３０３）。このとき、制御部１８０は、図４の「再生データ」に示すように、最初に再生されるフレームに第１番の番号を付ける。そして、制御部１８０は、この第１番フレームから再生される順番に従って連続した番号を付けていく。従って、例えば、第８１６番が付けられたフレームは、制御部１８０が８１６番目であるとカウントしたフレームとなる。

スロー区間における動画像データの再生ではない場合、制御部１８０は、図４に示すように、再生対象の動画像データ（図４における第１番フレームから第３番フレーム）に対してフレーム補間を施すことなく、画像処理部１６０での再生を行う（ステップＳ３０４）。この区間は、スロー区間ではなく通常速度区間であり、等倍速の再生が行われる。

制御部１８０は、管理情報から取得したスロー区間情報（開始フレーム及び終了フレームの番号）と、フレーム数のカウント結果とを受けて、再生対象の動画像データの再生が、スロー区間に到達したか否かを監視している（ステップＳ３０５）。スロー区間に到達していないと判断したときは（ステップＳ３０５の「Ｎｏ」）、制御部１８０は、ステップＳ３０４の再生動作を継続する。

一方、再生対象の動画像データの再生が、スロー区間（図４における第４番フレームから第１３番フレームの区間）に到達したと判断した場合（Ｓ３０５の「Ｙｅｓ」）、画像処理部１６０は、再生対象の動画像データ（６０ｆｐｓ）を構成する各フレームの間に、時系列で前後するフレームに基づいて新たに生成したフレームを補間する処理を施す。例えば、図４に示すように、第４番フレームと第５番フレームとの間に１フレームを補間するために、第４番フレーム及び第５番フレームの動画像データに基づいて、１つのフレームを構成する動画像データが生成される。フレームを補間する方法は、時系列で前後するフレームに基づいて新たにフレームを生成する方法以外の方法を採用してもよい。例えば、各フレームを再生する時間を、２倍、３倍のように単純に倍数で、長くする方法でもよい。また、再生する時間を単純に倍数で長くする方法に加えて、時系列で前後するフレームに基づいて新たにフレームを生成する方法を行ってもよい。

本実施の形態では、再生対象の動画像データを構成する各フレームの間に、時系列で前後するフレームに基づいて新たに生成した１フレームを補間するので、スロー区間における再生対象の動画像データは、再生時に２倍のデータ量になる。そして、上記〔２−１．動画記録動作〕で説明したように、記録ストリームのスロー区間に記録されている動画像データのデータ量は、毎秒１２０フレームであるので、フレーム補間処理により、スロー区間において再生されるデータ量は、その２倍の毎秒２４０フレームになる。表示モニタ２２０は、この毎秒２４０フレームのデータ量を持つ動画像データを、毎秒６０フレームで再生し表示する。その結果、再生される動画は、再生速度が１／４倍速のスローモーションになる。

このように、本実施の形態では、フレーム補間処理を施さない場合に１／２倍速で再生される毎秒１２０フレームで撮影されたスロー区間のフレームに対して、フレーム数を２倍にするフレーム補間処理を施し、１／４倍速のスローモーション再生を行っている。但し、上述のように、フレーム補間処理の方法を変更してデータ量を３倍、４倍にすれば、再生速度はそれぞれ１／６倍速、１／８倍速となる。また、ＣＭＯＳイメージセンサ１４０が出力するフレームレートを毎秒１８０フレーム、毎秒２４０フレームとし、データ量を２倍にするフレーム補間処理を施すと、再生速度はそれぞれ１／６倍速、１／８倍速となる。

ステップＳ３０５に戻り、スロー区間の再生動作を行っている間、制御部１８０は、管理情報から取得したスロー区間情報（開始フレーム及び終了フレームの番号）と、フレーム数のカウント結果とを受けて、再生対象の動画像データが、スロー区間内であるか否かを監視している。スロー区間の動画像データを未だ再生していると判断したときは（ステップＳ３０５の「Ｙｅｓ」）、制御部１８０は、ステップＳ３０６の再生動作を継続する。

一方、スロー区間が終了したと判断したとき（ステップＳ３０５の「Ｎｏ」）、制御部１８０は、再生対象の動画像データを構成する各フレームの間にフレームを補間する処理を終了し、フレーム補間を施さない再生動作に復帰する（ステップＳ３０４）。図４に示す例では、終了フレームである第１３番フレームでスロー区間が終了し、第１４番フレーム以降は通常速度区間となり、等倍速の再生が行われる。

再生停止動作は、操作部材２１０の動画再生釦の押下によってなされる。再生停止動作は割り込み動作であり、動画再生釦の押下を受けて、再生動作中の適切なタイミングで実施される。これにより、制御部１８０は、再生開始後に操作部材２１０の動画再生釦が押下されると、表示モニタ２２０への動画像データの再生を停止する。

〔３．効果等〕
上記説明してきたように、デジタルビデオカメラ１００は、１／２倍速で撮影されたフレーム群により構成されたスロー区間を含む動画ストリームをメモリカード２００に記録し、記録された動画ストリームを読み出す制御部１８０を備える。そして、画像処理部１６０は、読み出された動画ストリームを再生する場合において、１／２倍速で撮影されたフレーム群により構成されたスロー区間の動画ストリームを再生するときは、スロー区間のフレーム群に対してフレーム補間処理を施し、１／２倍速より低速の再生を行う。これにより、より効果的なスローモーション再生を実現することができる。

また、画像処理部１６０は、読み出された動画ストリームを再生する場合において、１／２倍速で撮影されたフレーム群により構成されたスロー区間以外の動画ストリームを再生するときは、等倍速の再生を行う。これにより、通常速度区間と、スロー区間とでメリハリのある動画再生を実現することができる。

また、制御部１８０は、動画ストリームが記録されたときに生成された管理情報であって、１／２倍速で撮影されたフレーム群により構成されたスロー区間の開始フレームと終了フレームを記述した管理情報をメモリカード２００から読み出す。そして、画像処理部１６０は、管理情報に記述されたスロー区間の開始フレームと終了フレームとに基づいて、スロー区間を判断する。これにより、動画記録時にスロー区間として指示したフレーム群に対して、より効果的なスローモーション再生を実現することができる。

〔４．他の実施形態〕
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記では、ＮＴＳＣ信号形式等を想定して、１２０ｆｐｓから６０ｆｐｓへと間引く例を示したが、本開示はこれに限定されない。例えば、ＰＡＬ信号形式の場合は１００ｆｐｓから５０ｆｐｓへ１／２に間引きしてもよい。

上記実施の形態では、再生動作時に、制御部１８０は、メモリカード２００から管理情報を取得し、管理情報に含まれるスロー区間情報を把握した。これによって、再生動作において、制御部１８０は、スローモーション再生を実現することができた。しかしながら、スロー区間で記録した動画像データをフレーム補間しながら再生するためには、再生機器が、管理情報にどのようにスロー区間情報が埋め込まれているかを認識し、かつ、フレーム補間の機能を有している必要がある。すなわち、スロー区間情報が把握できず、フレーム補間の機能を有しない機器では、スローモーション再生を実現することができないという問題が生じる。このため、フレーム補間の機能を有しない機器での再生を考慮し、スロー区間にフレーム補完の処理を行った上でその動画像データを記録する機能（トランスコード）によって、このような機器でもスローモーション再生できるような動画像データを生成するようにしてもよい。

上記実施の形態では、通常速度撮影モードと高速度撮影モードを有する場合を説明し、スロー区間でない区間のフレームについては、フレーム補間をせずに再生したが、これに限定されない。本開示は、再生速度が互いに異なる２つ以上の再生モードを有している動画再生装置に応用が可能である。このとき、より高速の再生動作を行う区間から、より低速の再生動作を行うスロー区間に移行するときに、スロー区間において更に低速になるようにフレームレートを調整すればよい。

上記実施の形態では、動画を記録した時に管理情報に書き込まれたスロー区間情報を、動画再生モード時に読み出して、再生対象の動画像データに対するフレーム補間及びスロー再生処理の実施に使用したが、スロー区間情報の用途はこれに限定されるものではない。例えば、スロー区間として管理情報に書き込まれた区間は、ユーザが決定的瞬間であると判断し、スロー区間とすることを決定した区間であるため、ユーザにとって比較的重要な区間を示している可能性が高い。そのため、動画再生モードにおいて、事前にメモリカード２００に記録した複数の動画像データのそれぞれに対応するスロー区間情報を読み出し、それらのスロー区間情報が示すスロー区間のみを動画像データから抽出して連続再生することでダイジェスト的な再生を行うようにしてもよい。これにより、ユーザにとって比較的重要な区間を示す動画像データを連続的に繋いだ効果的な動画再生を行うことができる。

更には、他にスロー区間情報の応用例として、画像処理部１６０は、動画再生モードにおいて、読み出したスロー区間のフレームに対して、フレーム補間やスロー再生を行いながら又は行わずに、様々な動画効果（モノクローム、ワンポイントカラー等）を付与して、動画再生してもよい。これにより、ユーザにとって比較的重要な区間を示す動画像データに対して、より一層印象的な再生を行うことができる。なお、複数の動画像データのそれぞれに対応するスロー区間情報を読み出して、連続的に繋いで動画再生する際にも、様々な動画効果を付与して再生してもよい。

上記実施の形態では、制御部１８０は、操作部材２１０の動画記録釦の押下後に区間スロー釦が押下される場合を説明したが、本開示はこれに限定されない。すなわち、制御部１８０は、動画記録釦の押下前に区間スロー釦が押下されていた場合には、最初の第１番のフレームからフレーム非間引きモードで記録を開始するようにしてもよい。このとき、管理情報に含まれるスロー区間情報が示す開始フレームの番号が第１番となることは言うまでもない。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示における動画再生装置は、デジタルビデオカメラや、デジタルスチルカメラや、カメラ機能付携帯電話や、カメラ機能付スマートフォン等に適用できる。

１００ デジタルビデオカメラ（撮像装置）
１１０ 光学系
１１１ ズームレンズ
１１２ 手振れ補正レンズ
１１３ フォーカスレンズ
１１４ 絞り
１２０ レンズ駆動部
１４０ ＣＭＯＳイメージセンサ（撮像センサ）
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ 制御部
１９０ カードスロット
２００ メモリカード
２１０ 操作部材
２２０ 表示モニタ
２４０ 内部メモリ
２５０ 角速度センサ

Claims (6)

1. １／Ｎ倍速で撮影されたフレーム群により構成された動画区間を含む動画ストリームを記録する記録媒体から、当該動画ストリームを読み出す読出部と、
   読み出された前記動画ストリームを再生する場合において、前記１／Ｎ倍速で撮影されたフレーム群により構成された動画区間の動画ストリームを再生するときは、当該動画区間のフレーム群に対してフレーム補間処理を施し、１／Ｎ倍速より低速の再生を行う処理部と、を備えた動画再生装置。
2. 前記処理部は、読み出された前記動画ストリームを再生する場合において、前記１／Ｎ倍速で撮影されたフレーム群により構成された動画区間外の動画ストリームを再生するときは、等倍速の再生を行う、請求項１に記載の動画再生装置。
3. 前記読出部は、前記動画ストリームが記録されたときに生成された管理情報であって、前記１／Ｎ倍速で撮影されたフレーム群により構成された動画区間の開始フレームと終了フレームとを記述した管理情報を前記記録媒体から読み出し、
   前記処理部は、前記管理情報に記述された前記開始フレームと前記終了フレームとに基づいて、当該動画区間を判断する、請求項１又は２に記載の動画再生装置。
4. 前記読出部は、前記記録媒体から複数の前記動画ストリームを読み出し、
   前記処理部は、前記複数の動画ストリームのそれぞれの、前記１／Ｎ倍速で撮影されたフレーム群により構成された動画区間の動画ストリームを繋いで再生する処理を行う、
   請求項１に記載の動画再生装置。
5. 前記処理部は、読み出された前記動画ストリームを再生する場合において、前記１／Ｎ倍速で撮影されたフレーム群により構成された動画区間の動画ストリームに対して、動画効果を付与する処理を行う、請求項１から４のいずれかに記載の動画再生装置。
6. 処理部を備えた動画再生装置により実現される動画再生方法であって、
   １／Ｎ倍速で撮影されたフレーム群により構成された動画区間を含む動画ストリームを記録する記録媒体から、前記動画ストリームを読み出し、
   読み出された前記動画ストリームを再生する場合において、前記処理部が、前記１／Ｎ倍速で撮影されたフレーム群により構成された動画区間の動画ストリームを再生するときは、当該動画区間のフレーム群に対してフレーム補間処理を施し、１／Ｎ倍速より低速で再生する処理を行う、動画再生方法。

Images