JP2018098664A - 記録装置、その制御方法、コンピュータプログラム及び記録媒体 - Google Patents

Abstract

【課題】
所望のフレームレートの区間を容易に切り出せるようにする。
【解決手段】
フレームレート変換部１０７は、制御部１０２の制御下で、撮像部１０１からの６０ｆｐｓの動画データを、そのまま出力するか、３０ｆｐｓ及び１５ｆｐｓの何れかに変換して出力する。符号化部１０４は、フレームレート変換部１０７からの動画データを１５フレームのＧＯＰ単位で符号化する。記録部１０６は、符号化部１０４により符号化された動画データを記録媒体１０８に記録する。ユーザは、記録中でも、操作部１０３により記録される動画のフレームレートを変更できる。制御部１０２は、記録すべき動画のフレームレートの変更指示に対し、
符号化部の符号化がＧＯＰの境界に達したフレーム以降を、指示されたフレームレートに変更するようにフレームレート変換部１０７に制御する。
【選択図】 図１

Description

本発明は、動画を記録する記録装置、その制御方法、コンピュータプログラム及び記録媒体に関する。

従来、撮影時のフレームレートを切り替えることにより、撮影された動画のファストモーションまたはスローモーションの効果を実現する撮像装置が知られている。特許文献１には、動画の撮影中にフレームレートを任意に切り替えできる撮像装置が開示されている。

多くの撮像装置は、ＭＰＥＧ２またはＨ２６４等の動画符号化方式により動画をデータ圧縮して記録媒体に記録する。これらの動画圧縮方式では、フレーム内符号化とフレーム間符号化とを組み合わせることで高画質と高圧縮率を同時に実現する。一定数の連続するフレームを圧縮単位（ＧＯＰ：Group Of Pictures）に少なくとも１つのフレーム内符号化フレームと複数のフレーム間符号化フレームを組み合わせる方式が一般的である。ＧＯＰにより、フレーム間符号化に起因する誤差の伝搬を防ぎつつ、動画編集と高速再生を容易化できる。

ノンリニア編集用に

特開２０１５−１２２７３４号公報

ＭＰＥＧ形式で圧縮された動画を編集する場合、一旦復号した後に必要な処理を施し、再圧縮する必要がある。しかし、このような編集方法では編集処理に時間がかかるので、他のフレームの復元に利用されないフレームを間引く等、編集を簡易化する方法が提案されている。ＧＯＰ単位でフレームを削除する場合、圧縮データの復号化は不要になる。

しかし、一部の区間のフレームレートが異なるように撮影された動画の場合、フレームレートの切り替え位置がＧＯＰ途中となる可能性がある。このようなケースでは、所望のスローモーション効果またはファストモーション効果の区間のみを簡単に切り出す編集を行うには、全フレームを一旦、復号化する必要があり、編集処理に時間がかかってしまう。

本発明は、このような問題を解決できる記録装置、その制御方法、コンピュータプログラム及び記録媒体を提示することを目的とする。

本発明に係る記録装置は、動画データのフレームレートを変換するフレームレート変換手段と、前記フレームレート変換手段から出力される動画データを所定フレーム数からなる圧縮単位で符号化する符号化手段と、前記符号化手段により符号化された動画データを記録媒体に記録する記録手段と、記録すべき動画のフレームレートの指示を受け付けるレート指示手段と、前記レート指示手段により受け付けたフレームレートが前記符号化手段により符号化している動画データのフレームレートと異なる場合、前記符号化手段が符号化する動画データのフレームが前記圧縮単位の境界に達したときに、前記レート指示手段により指示されるフレームレートに前記動画データのフレームレートを変換するように前記フレームレート変換手段を制御する制御手段とを有することを特徴とする。

本発明によれば、フレームレートの切り替わりを圧縮単位の境界とするので、所望のフレームレートの区間を容易に切り出せるような形態で動画を記録できる。

本発明の一実施例の概略構成ブロック図である。 区間スロー＆ファストモードでのレート変更指示手段の構成例である。 本実施例の記録処理のフローチャートである。 本実施例の記録処理の変更例のフローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る記録装置の一実施例の概略構成ブロック図を示す。

図１に示す記録装置１００において、撮像部１０１は、撮像素子、当該撮像素子に被写体光学像を入射する撮影光学系、及び撮像素子の出力画像信号をデジタル化し、所定形式の画像データを生成するカメラ信号処理回路を有する。撮像部１０１は、横１９２０画素×縦１０８０画素からなるフレーム構成の画像データを指定されたフレームレートで出力する。撮像部１０１は、出力動画データのフレームレートとして毎秒６０フレーム（６０ｆｐｓ）と毎秒３０フレーム（３０ｆｐｓ）を選択可能である。

制御部１０２は、操作部１０３からの入力に応じて、記録装置１００の動作全体を制御する。制御部１０２はマイクロコンピュータやメモリ等を含み、不図示の不揮発メモリに記録されたコンピュータプログラム（以下、「プログラム」と略す。）に従って記録装置１００を制御する。

操作部１０３は、方向キーまたは十字キー及び決定キーからなる汎用操作部材を有し、表示部１０９の画面に重ねて設置されるタッチパネルを有する。操作部１０３はまた、ユーザにより操作可能な各種のスイッチ、例えば、電源スイッチ、記録の開始停止を指示するスイッチ、フレームレート切り替えを指示するスイッチ及び記録装置１００の動作モードの切替えスイッチ等を含む。ユーザは、操作部１０３の操作により、記録装置１００の動作モードの切り替え、動画データの記録開始と停止、及びフレームレートの切り替えなどを制御部１０２に指示できる。

フレームレート変換部１０７は、撮像部１０１から出力された動画データのフレームを間引くことによりフレームレートを変換する。符号化部１０４は、記録時においては、フレームレート変換部１０７から出力された動画データをＨ．２６４／ＭＰＥＧ４ ＡＶＣ等の公知の符号化形式に従って符号化することで、そのデータ量を圧縮する。本実施例では、符号化の繰り返し単位である圧縮単位となる１ＧＯＰを１５フレームで構成し、１ＧＯＰは１フレームのＩピクチャを含む。各ＧＯＰは、他のＧＯＰのフレームを参照フレームとして使用しないいわゆるＣｌｏｓｅｄＧＯＰである。

メモリ１０５は、撮像部１０１から出力される動画データの所定フレーム数の画像データ、フレームレート変換部１０７の出力画像データ、及び符号化部１０４による符号化後の画像データ等の画像データを所定フレーム数分、記憶可能である。記録装置１００の各ブロック１０１，１０２，１０４，１０６，１０７，１１０は、メモリ１０５を画像データの処理用に利用する。メモリ１０５は、画像データの他にファイルシステムの情報を含む各種情報を記憶し、制御部１０２による制御のためのワークメモリの役割を果たす。

記録部１０６は、メモリ１０５に格納された画像データ及び各種情報を記録媒体１０８に書き込むことができる。記録媒体１０８は、例えば、不揮発性半導体メモリまたはハードディスク（ＨＤＤ）等のランダムアクセスの記録媒体からなる。記録部１０６は、記録媒体１０８に記録する画像データ及び各種情報をＦＡＴ３２（商標）またはｅｘＦＡＴ（商標）等のファイルシステムに従いファイルとして管理する。記録部１０６は、動画データを記録媒体１０８に記録するとき、記録媒体１０８からファイルシステムデータ（管理データ）を読み出し、このファイルシステムデータに基づき、記録すべきデータを所定のファイル形式で記録媒体１０８に書き込む。ファイルシステムデータは、記録媒体１０８に記録されたデータのファイル名、ファイルサイズ及びデータ記録アドレスを表示するデータであり、ファイルを管理するための情報である。

表示部１０９は液晶表示装置からなり、動画及び各種の情報を表示可能である。データバス１１０は、記録装置１００の各部間でデータ及び各種の制御コマンドなどを伝送する。

本実施例の記録動作を説明する。記録装置１００は、動画記録モードとして、通常記録モードと区間スロー＆ファストモードを持つ。通常記録モードは、記録中にフレームレートを固定するレート固定記録モードの一例である。区間スロー＆ファストモードは、記録中にフレームレートを変更可能なレート変更記録モードの一例である。

通常記録モードでは、制御部１０２は、３０ｆｐｓで動画データを出力するように撮像部１０１を制御し、フレームレート変換部１０７を撮像部１０１の出力動画データをスルー出力するように制御する。即ち、フレームレート変換部１０７は、通常記録モードでは入力された動画データのフレームレートを変換せずに出力する。区間スロー＆ファストモードでは、ユーザは、動画記録中にフレームレートの変更を制御部１０２に指示できる。制御部１０２は、区間スロー＆ファストモードでは、６０ｆｐｓで動画データを出力するように撮像部１０１を制御し、フレームレート変換部１０７を撮像部１０１の出力動画データをユーザの指示したレートに変換するように制御する。区間スロー＆ファストモードでは、ユーザは、３種類のフレームレートの動画データ記録を選択できる。

指示されたフレームレートに関わらず、フレームレート変換部１０７は、表示部１０９での表示用に３０ｆｐｓの動画データを生成し出力する。表示部１０９は、フレームレート変換部１０７から出力される３０ｆｐｓの動画データのフレーム画像を表示する。表示部１０９に表示される画像により、ユーザが記録待機中の被写体及び記録中の被写体を視覚的に確認できる。

図２は、区間スロー＆ファストモードにおいて、記録すべき動画フレームレートの指示画面例を示す。図２に示すボタン２０１，２０２，２０３は、操作部１０３のタッチパネルにより実現され、制御部１０２に記録すべき動画のフレームレートを指示するレート指示手段である。

詳細は後述するが、倍速ボタン２０１が操作された場合、フレームレート変換部１０７は、撮像部１０１からの６０ｆｐｓの動画データから４フレーム当たり３フレームを間引いて１５ｆｐｓの動画データを生成し、符号化部１０４に出力する。記録媒体１０８には１５ｆｐｓの符号化動画データが記録され、この１５ｆｐｓの動画を３０ｆｐｓで再生表示することで、見かけ上、倍速再生（ファストモーション）が実現される。

通常速度ボタン２０２が操作された場合、フレームレート変換部１０７は、撮像部１０１からの６０ｆｐｓの動画データを１フレーム毎に間引いて３０ｆｐｓの動画データを生成し、符号化部１０４に出力する。記録媒体１０８には３０ｆｐｓの符号化動画データが記録され、この３０ｆｐｓの動画を３０ｆｐｓで再生表示することで、見かけ上、通常の速度での再生（通常再生）が実現される。

１／２倍速ボタン２０３が操作された場合、フレームレート変換部１０７は、撮像部１０１からの６０ｆｐｓの動画データを６０ｆｐｓのまま符号化部１０４に出力する。記録媒体１０８には６０ｆｐｓの符号化動画データが記録され、この６０ｆｐｓの動画を３０ｆｐｓで再生表示することで、見かけ上、１／２倍速度でのスロー再生（スローモーション）が実現される。

ユーザが操作部１０３の操作により動画データの通常記録モードへの移行を制御部１０２に指示すると、制御部１０２は、記録装置１００を記録待機状態に遷移する。ユーザは、記録待機状態及び記録中のどちらでも、操作部１０３の所定操作により区間スロー＆ファストモードに設定できる。ユーザはまた、区間スロー＆ファストモードでは、図２を参照して上述したように、記録すべき動画データのフレームレートの変更を制御部１０２に指示できる。

制御部１０２は、記録待機状態でユーザによる記録開始の指示を待つ。ユーザの記録開始の指示に応じて、制御部１０２は撮像部１０１から出力される動画データの記録処理を開始する。通常記録モードでは、符号化部１０４が、撮像部１０１から出力される３０ｆｐｓの動画データをＧＯＰ単位で符号化し、符号化動画データを順次、メモリ１０５に格納する。記録部１０６が、メモリ１０５から符号化動画データを順次、読み出し、所定のファイル形式で記録媒体１０８に記録する。

区間スロー＆ファストモードの動画記録中に、ユーザは、ボタン２０１，２０２，２０３の何れかを操作して、記録すべき動画のフレームレートの変更を制御部１０２に指示できる。詳細は後述するが、この指示入力に応じて、制御部１０２は、この指示操作の直後に始まるＧＯＰからフレームレートの変更を有効化する。

区間スロー＆ファストモードの倍速ボタン２０１の指定時には、制御部１０２は、フレームレート変換部１０７、符号化部１０４及び記録部１０６を次のように制御する。撮像部１０１は、６０ｆｐｓの動画データを出力し、フレーム画像データを順次、メモリ１０５に書き込む。フレームレート変換部１０７は、撮像部１０１からの６０ｆｐｓの動画データから４フレームあたり３フレームを間引いて、１５ｆｐｓの動画データを生成し、メモリ１０５を介して符号化部１０４に供給する。符号化部１０４は、フレームレート変換部１０７による１５ｆｐｓの動画データを符号化し、符号化動画データ（１５ｆｐｓ）をメモリ１０５を介して記録部１０６に供給する。記録部１０６は、符号化動画データ（１５ｆｐｓ）を記録媒体１０８に記録する。

区間スロー＆ファストモードの通常速度ボタン２０２の指定時には、制御部１０２は、フレームレート変換部１０７、符号化部１０４及び記録部１０６を次のように制御する。撮像部１０１は、６０ｆｐｓの動画データを出力し、フレーム画像データを順次、メモリ１０５に書き込む。フレームレート変換部１０７は、撮像部１０１からの６０ｆｐｓの動画データを１フレーム毎に間引いて３０ｆｐｓの動画データを生成し、メモリ１０５を介して符号化部１０４に供給する。符号化部１０４は、フレームレート変換部１０７による３０ｆｐｓの動画データを符号化し、符号化動画データ（３０ｆｐｓ）をメモリ１０５を介して記録部１０６に供給する。記録部１０６は、符号化動画データ（３０ｆｐｓ）を記録媒体１０８に記録する。

区間スロー＆ファストモードの１／２倍速ボタン２０３の指定時には、制御部１０２は、フレームレート変換部１０７、符号化部１０４及び記録部１０６を次のように制御する。撮像部１０１は、６０ｆｐｓの動画データを出力し、フレーム画像データを順次、メモリ１０５に書き込む。フレームレート変換部１０７は、撮像部１０１からの６０ｆｐｓの動画データをそのままメモリ１０５を介して符号化部１０４に供給する。符号化部１０４は、フレームレート変換部１０７（または撮像部１０１）からの６０ｆｐｓの動画データを符号化し、符号化動画データ（６０ｆｐｓ）をメモリ１０５を介して記録部１０６に供給する。記録部１０６は、符号化動画データ（６０ｆｐｓ）を記録媒体１０８に記録する。

このように、区間スロー＆ファストモードでは、記録される動画のフレームレートを複数段階に変更でき、１つの動画ファイル内にファストモーション部分、スローモーション部分及び通常速度部分を混在させることができる。

図３を参照して、区間スロー＆ファストモードでのフレームレート切り替えのタイミング制御動作を説明する。図３は、制御部１０２によるフレームレート切り替えタイミング制御の動作フローチャートを示す。図示しない記憶手段に図３に示す処理に対応する制御プログラムが格納されており、制御部１０２は、その制御プログラムを読み込み実行することで、図３に示す処理を実現する。

記録装置１００が起動状態にあり、区間スロー＆ファストモードに設定されて、操作部１０３により記録開始が指示されると、図２の処理が開始される。

Ｓ３０１で、制御部１０２は、記録部１０６に指示して、これから撮像する動画データを収容する動画ファイルを記録媒体１０８上にオープンさせる。

Ｓ３０２で、制御部１０２は、ボタン２０１，２０２，２０３の操作に応じた間引き率をフレームレート変換部１０７に設定する。これにより、フレームレート変換部１０７は、設定された間引き率で撮像部１０１の出力動画データのフレームを間引く間引き処理を実行する。例えば、制御部１０２は、記録開始時には間引き率を１／２に設定する。これにより、フレームレート変換部１０７は、６０ｆｐｓの動画データを３０ｆｐｓに変換する。

Ｓ３０３で、符号化部１０４は、制御部１０２の制御下で、フレームレート変換部１０７によりフレームレート変換された動画データを符号化する。Ｓ３０４で、記録部１０６は、制御部１０２の制御下で、符号化部１０４により符号化された動画データを所定のフォーマットで、再生時に３０ｆｐｓで再生されるように記録媒体１０８に記録する。

Ｓ３０５で、制御部１０２は、ユーザによる記録停止の指示の有無を判別する。記録停止の指示がある場合、制御部１０２はＳ３０６に進み、記録停止の指示が無い場合、制御部１０２は、Ｓ３０８に進む。

Ｓ３０６で、制御部１０２は、符号化を行ったフレーム数がＧＯＰのフレーム数（例えば、１５フレーム）に達したかどうか、則ちＧＯＰ境界のフレームまで符号化したかどうかを判別する。ＧＯＰ境界に達していない場合、制御部１０２はＳ３０２に戻ってＳ３０２〜Ｓ３０５を繰り返し、ＧＯＰ境界に達している場合、制御部１０２はＳ３０７に進む。

Ｓ３０７で、制御部１０２は、動画データを記録していたファイルをクローズし、記録を停止する。

Ｓ３０８で、制御部１０２は、ボタン２０１〜２０３の押下によるレート変更の指示があったかどうかを調べる。レート変更の指示が無い場合、制御部１０２はＳ３０２に戻り、レート変更の指示がある場合、制御部１０２はＳ３０９に進む。

Ｓ３０９で、制御部１０２は、ＧＯＰ境界のフレームまで符号化したかどうかを調べる。ＧＯＰ境界に達していない場合、制御部１０２はＳ３０２に戻ってＳ３０２〜Ｓ３０５、Ｓ３０８を繰り返し、ＧＯＰ境界に達している場合、制御部１０２はＳ３１０に進む。

Ｓ３１０で、制御部１０２は、Ｓ３０８で指示されたレートになる間引き率をフレームレート変換部１０７に設定し、Ｓ３０２に進む。これにより、Ｓ３０２では、フレームレート変換部１０７は、Ｓ３１０で設定された間引き率で、撮像部１０１からの動画データを間引く。

ボタン２０１〜２０３の操作によりレート変更指示があった場合に、新しいファイルに動画を収容して記録するようにしてもよい。図４は、そのように図３に示すフローを変更したフローチャートを示す。図３と同じ処理には同じ符号を付してある。

図４では、図３に示すフローのＳ３０９とＳ３１０の間にＳ４０１，４０２の処理を挿入する。すなわち、Ｓ３０９でＧＯＰ境界に達している場合、制御部１０２は、Ｓ４０１で、記録中のファイルをクローズする。そして、Ｓ４０２で、制御部１０２は、以後の動画データを終了する新ファイルをオープンし、Ｓ３１０に進む。

撮像部１０１は、通常記録モードと区間スロー＆ファストモードのどちらでも６０ｆｐｓで動画データを出力し、通常記録モードでは、フレームレート変換部１０７がその６０ｆｐｓの動画データを３０ｆｐｓにレート変換するようにしてもよい。

撮像部１０１とフレームレート変換部１０７により、６０ｆｐｓ、３０ｆｐｓ及び１５ｆｐｓの動作データを出力可能な動画出力手段を構成するが、選択できるフレームレートはここでの数値例に限定されない。フレームレート変換部１０７でのレート変換にフレーム間の補間処理を加えることで、単なる間引きでは得られないフレームレートを生成できる。また、より高いフレームレートの動画を出力する撮像部を採用することで、より広いレート範囲の動画データを生成できる。

撮像装置に適用した実施例を説明したが、本発明は、撮像装置以外の記録装置にも適用可能である。その場合、撮像部１０１を高いフレームレートの動画データの入力部に変更することで、上述したのと同様の処理と効果を実現できる。

記録媒体がローカルにある実施例を説明したが、ネットワーク経由で遠隔の記録媒体に記録する構成も、本発明の技術的範囲に含まれる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims (9)

1. 動画データのフレームレートを変換するフレームレート変換手段と、
   前記フレームレート変換手段から出力される動画データを所定フレーム数からなる圧縮単位で符号化する符号化手段と、
   前記符号化手段により符号化された動画データを記録媒体に記録する記録手段と、
   記録すべき動画のフレームレートの指示を受け付けるレート指示手段と、
   前記レート指示手段により受け付けたフレームレートが前記符号化手段により符号化している動画データのフレームレートと異なる場合、前記符号化手段が符号化する動画データのフレームが前記圧縮単位の境界に達したときに、前記レート指示手段により指示されるフレームレートに前記動画データのフレームレートを変換するように前記フレームレート変換手段を制御する制御手段
   とを有することを特徴とする記録装置。
2. 更に、前記フレームレート変換手段に前記動画データを供給する撮像手段を有することを特徴とする請求項１に記載の記録装置。
3. 前記フレームレート変換手段は、前記撮像手段から出力される動画データの特定のフレームを間引くことにより、前記撮像手段から出力される動画データのフレームレートを変換することを特徴とする請求項２に記載の記録装置。
4. 前記記録手段は、前記符号化手段により符号化された動画データを所定形式の動画ファイルで前記記録媒体に記録することを特徴とする請求項１から３のいずれか１項に記載の記録装置。
5. 前記記録手段は、記録すべき動画のフレームレートの変更に応じて、前記圧縮単位の境界に達した場合に記録中の動画ファイルをクローズし、新たに別の動画ファイルを作成して前記記録媒体にひきつづき前記符号化された動画データを記録することを特徴とする請求項４に記載の記録装置。
6. 前記圧縮単位がＧＯＰであることを特徴とする請求項１から５のいずれか１項に記載の記録装置。
7. 動画データのフレームレートを変換するフレームレート変換手段と、
   前記フレームレート変換手段から出力される動画データを所定フレーム数からなる圧縮単位で符号化する符号化手段と、
   前記符号化手段により符号化された動画データを記録媒体に記録する記録手段
   とを有する記録装置を制御する方法であって、
   記録すべき動画のフレームレートの指示を受け付ける指示入力ステップと、
   前記レート指示ステップで指示されたフレームレートが前記符号化手段により符号化している動画データのフレームレートと異なるかどうかを判別するステップと、
   前記符号化手段が符号化する動画データのフレームが前記圧縮単位の境界に達するかどうかを判別するステップと、
   前記レート指示ステップで指示されたフレームレートが前記符号化手段により符号化している動画データのフレームレートと異なる場合で、前記符号化手段が符号化する動画データのフレームが前記圧縮単位の境界に達したときに、前記指示入力ステップで受け付けたフレームレートに前記動画データのフレームレートを変換するように前記フレームレート変換手段を制御する制御ステップ
   とを有することを特徴とする記録装置の制御方法。
8. コンピュータを、請求項１から５のいずれか１項に記載される記録装置の各手段として機能させるコンピュータプログラム。
9. コンピュータを、請求項１から５のいずれか１項に記載される記録装置の各手段として機能させるコンピュータプログラムを記憶するコンピュータ読み取り可能な記録媒体。

Images