JP2018121129A

JP2018121129A - 記録装置及びその制御方法及びプログラム

Info

Publication number: JP2018121129A
Application number: JP2017009774A
Authority: JP
Inventors: 秀一細川; Shuichi Hosokawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-01-23
Filing date: 2017-01-23
Publication date: 2018-08-02
Anticipated expiration: 2037-01-23
Also published as: JP6806577B2

Abstract

【課題】カット編集を行った際に、格別なデータシフト処理を行うこと無しに、メタデータチャンクの不整合の発生を抑制できる動画像の記録技術を提供する。
【解決手段】符号化対象の動画像データから、所定周期に従ってKeyframe及び非Keyframeの符号化データを生成する符号化部と、符号化部で生成される符号化データを一時蓄積し、所定期間のビデオチャンクを生成するビデオチャンク生成部と、ビデオチャンクの所定期間よりも長い周期で、動画像データに同期させるための付加情報を発生する情報発生部と、該情報発生部で発生した付加情報をメタデータとし、当該メタデータから、所定期間のメタデータチャンクを生成するメタデータチャンク生成部と、ビデオチャンク生成部によりビデオチャンク、及び、メタデータチャンク生成部よりメタデータチャンクが生成される度に、これらチャンクを所定の記録媒体に記録する記録部とを有する。
【選択図】図１

Description

本発明は、ＭＯＶ(QuickTime File Format Specification)フォーマット、または、これに類するフォーマットでの動画像の記録技術に関するものである。

近年、ＧＰＳ(Global Positioning System)情報や字幕テロップ情報など、動画像データに付随するメタデータの活用方法が拡大している。また、従来、代表的な動画像ファイルフォーマットの一つであるＭＯＶファイルを記録装置が提案されている（特許文献１）。ＭＯＶでは、このメタデータの活用拡大を踏まえ、汎用的なメタデータ格納法であるTimed Metadataを提案している。

Timed Metadataによるメタデータは、ビデオデータやオーディオデータと同様、独立したトラックに格納され、サンプルは同様に独立したDuration(データ出力期間)を設定することができる。また、NULL Metadataを用いることでメタデータの存在しない区間を定義／表現することも仕様となっている。

図２に、Timed Metaを用いたMOV形式の動画像ファイルの例を示す。図示における主だった項目名とその技術内容は以下の通りである。
ftyp : ファイルの互換識別情報
moov : コンテンツ内に格納されるデータにアクセスするための管理情報
trak : コンテンツ内の同種サンプル(Video/Audio/Meta)それぞれを管理。
stsc : サンプルの出力期間情報
stco : サンプルへアクセスするためのオフセット情報
stsz : サンプルのサイズ情報
mdat : 動画データの実体
チャンク(Chenk) : 同種サンプル(Video/Audio/Meta)を複数個集めた固まり
サンプル : 1個分の実データ
mdat内のデータは、同種のサンプルを複数個集めてチャンクとし、再生出力タイミングが対応するチャンクデータを交互に並べて配置することで、動画像データ再生装置における出力同期がとりやすくする。再生装置は、moov内のstco,stszを頼りにmdat内のサンプル実体にアクセスし、stscに示されるDurationに従って再生出力データを更新しながら再生を行うものである。

図２のコンテンツでは、Durationが10であるビデオサンプルが14個、Durationが20であるオーディオサンプル7個が、コンテンツ再生始端から末端まで再生出力される。メタデータはM0がビデオサンプルV0,V1,V2期間に出力され、M2がV9,V10,V11期間に出力される。M1,M3は出力すべきメタデータが無いことを示すNULLデータである。

特開２０１２−５４７８８号公報

動画像ファイルを記録するカメラにおいては、不揮発性メモリカード等の記録媒体の空き容量確保等の目的として記録済動画像ファイルの不要部分をカット/削除編集機能が搭載されている。そこで、図２の動画像ファイルで、前半部分を削除するケースについて考察する。

カメラ内部では大規模なファイル内のデータシフト等を行うことが現実的には行えない。そのため、再生出力タイミングの対応がとれているチャンク単位でのカットを行う手法が一般的である。

例えば前半部分を削除するカット編集の場合、そのカット境界のV5とV6が分割点として挙げられる。この分割点を境とした前半部分、すなわち、ビデオチャンク[0]に属するV0,V1,V2,V3,V4,V5と、それと連続的に配置され、出力同期するオーディオチャンク[0]に属するA0,A1,A2、さらには、メタチャンク[0]に属するM[0],M[1]が削除対象となる（図３参照）。

しかし、単純カットでは、図４で示すようにV6,V7,V8期間対応するメタデータが存在しなくなる。つまり、前述の「有効なメタデータが存在しない場合はNULLデータを配置する」運用に反する。このため、この区間にNULLデータを挿入する処理が必要となる。しかしながら、挿入処理を行うためには、それ以降の多量のデータのシフトが発生することになり、カメラ内部の編集処理としては現実的とは言えない。

本発明はかかる問題に鑑みなされたものであり、カット編集を行った際に、格別なデータシフト処理を行うこと無しに、メタデータチャンクの不整合の発生を抑制できる動画像の記録技術を提供しようとするものである。

この課題を解決するため、例えば本発明の記録装置は以下の構成を備える。すなわち、
符号化対象の動画像データから、所定周期に従ってKeyframe及び非Keyframeの符号化データを生成する符号化手段と、
前記符号化手段で生成される符号化データを一時蓄積し、所定期間のビデオチャンクを生成するビデオチャンク生成手段と、
前記ビデオチャンクの前記所定期間よりも長い周期で、前記動画像データに同期させるための付加情報を発生する情報発生手段と、
該情報発生手段で発生した前記付加情報をメタデータとし、当該メタデータから、前記所定期間のメタデータチャンクを生成するメタデータチャンク生成手段と、
前記ビデオチャンク生成手段によりビデオチャンク、及び、前記メタデータチャンク生成手段よりメタデータチャンクが生成される度に、これらチャンクを所定の記録媒体に記録する記録手段とを有する。

本発明によれば、記録された動画像ファイルについてカット編集を行った際に、格別なデータシフト処理を行うこと無しに、メタデータチャンクの不整合の発生を抑制することが可能になる。

第１の実施形態におけるシステム構成を説明する図。 MOVファイルの構造を説明する図。 MOVファイルの前半分を削除するカット編集を説明する図。 MOVファイルの前半分のカット編集における、メタデータの課題発生を説明する図。第１の実施形態におけるMOVファイルの生成方法を説明する図。第１の実施形態により生成されるMOVファイルの一例を示す図。第１の実施形態により生成されるMOVファイルの簡易カット編集を説明する図。第２の実施形態におけるMOVファイルの生成方法を説明する図。第２の実施形態により生成されるMOVファイルの一例を示す図。、第２の実施形態により生成されるMOVファイルの簡易カット編集を説明する図。

以下図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
図１は第１の実施形態を適応した動画像記録装置である。なお、実施形態における装置は、ビデオカメラ等の撮像装置に搭載されるものとして説明する。また、説明を単純化するため、実施形態ではオーディオデータの記録は無いものとして説明する。

本装置は、入力される画像をMPEG4-AVC形式で圧縮符号化することにより生成された30fpsの符号化画像データと、2Hzのメタデータから成る、MOV形式の動画像ファイルを記録する機能を有するものとする。MPEG4-AVC形式で圧縮符号化される符号化画像データは、15frame毎にKeyFrame(IDR-Picture)で符号化され、これを先頭とした15frameが一つのビデオチャンクとしてパッケージされる。メタデータは１チャンク１サンプルの2Hzで記録され、ビデオチャンクの始端たるKeyFrameと再生出力開始グリッドが一致するデータとして生成される。

圧縮符号化部100は、不図示の撮像部からの符号化対象の動画像データをMPEG4-AVC形式で符号化し、符号化データを出力する。実施形態における圧縮符号化部100は、30fpsのフレームレートで入力される動画像を符号化する。圧縮符号化部100は、所定周期で従ってKeyframe及び非Keyframeの符号化データを生成する。具体的には、圧縮符号化部100は、0.5秒（15frame）周期で、KeyFrameが挿入されるMPEG4-AVC形式で圧縮符号化する。ここで、KeyFrameは、ＭＰＥＧ４−ＡＶＣにおけるＩＤＲピクチャとして符号化する。そして、圧縮符号化部100は、得られた符号化データをビデオサンプルとして、一時蓄積部103上に配置されるビデオ用リングバッファへ格納する。

メタデータ生成部101は、１Hzの時間間隔で、GPS(Global Positioning System)部107からGPS情報（位置情報）を取得する（GPS部107の測位周期である１Hzとしているのと等価）。そして、メタデータ生成部101は、一時蓄積部103上に配置されるメタデータ用リングバッファに格納する。なお、実施形態では、動画像に同期する付加情報をＧＰＳの位置情報としているが、付加情報の種類はこれに限らない。当然、付加情報の情報発生源もGPS部107に限られるものではない。なお、GPS部107の位置検出に係る構成と原理は周知であるので、GPS部107のこれ以上の説明は省略する。

制御部102は、マイクロコンピュータやメモリ等を含み、そのメモリに記憶されたプログラムに従って、各種演算処理を行い、且つ、バス106を介して本装置全体の各構成要素を制御する。また、制御部102は、一時蓄積部103上でメタデータサンプル加工や、MOVファイルに必要なデータの生成等を行うための機能を有す。すなわち、制御部102は、ビデオ用リングバッファに蓄積されたビデオサンプルからビデオチャンクを生成するビデオチャンク生成機能を有する。また、制御部102は、メタデータ用リングバッファに蓄積されたメタデータサンプルからメタデータチャンクを生成するメタデータチャンク生成機能を有する。更にまた、制御部102は、生成したチャンクを元にmoovを生成して、別途生成されるmdatと組み合わせてMOV形式の動画像ファイルを生成する動画像ファイル生成機能を有す。

一時蓄積部103はＲＡＭ等で構成される。この一時蓄積部103は、ビデオサンプルを格納するビデオ用リングバッファ、メタデータサンプルを格納するメタデータ用リングバッファ、MOVファイル形式を生成するためのワークメモリ、記録媒体のファイルシステムを格納/更新するメモリとして使用される。また、制御部102のワークメモリとしても使用される。

記録媒体制御部104は、制御部102の制御下にて、記録媒体105から一時蓄積部101へのデータの読み出し、及び、一時蓄積部101から記録媒体105へのデータの書き出を行う。記録媒体105は、メモリカードなどの不揮発性記憶媒体で構成される。記録媒体制御部104は、ファイルシステムを介して、記録媒体105にアクセス可能である。

次に、本装置における動画像ファイルの記録方法について図５（ａ）乃至（ｃ）を用いて説明する。

ユーザによる動画像の記録開始指示は、不図示のユーザインターフェース（操作部）から行われる。制御部102はかかる指示入力を検出すると、一時蓄積部103上に、ビデオサンプル用リングバッファ、メタデータサンプル用リングバッファ、及び、ftyp、moovを生成するためのワークバッファ等を確保する（図５（ａ））。なお、図示では、ftyp、moovのためのワークバッファを省略している。

次に制御部102は圧縮符号化部100を駆動制御し、不図示の撮像部から供給される画像（実施形態では、30fps)の圧縮符号化を行わせる。圧縮符号化部100は、生成された符号化データをビデオサンプルとして、一時蓄積部103上のビデオサンプル用リングバッファに出力すると共に、ビデオサンプルのサイズ情報を制御部102へ返す。制御部102は、圧縮符号化部100からビデオサンプルのサイズ情報を受け取ると、そのサイズ情報を、確保したmoov作成用ワークメモリのビデオトラックのstco/stszに反映する。

また、制御部102は、メタデータ生成部101を駆動して、メタデータサンプルを生成させる。メタデータ生成部101は生成したメタデータサンプルを、一時蓄積部103上のメタデータ用リングバッファに出力するとともに、出力完了を制御部102へ返す。制御部102はメタデータ生成部101から1Hzの時間間隔で出力されるメタデータを、ビデオサンプルのKeyFrame及びChunkの周波数に合わせて2Hz化する。このため、制御部102は、一時蓄積部102上に格納された１つのメタデータサンプルをコピーして(２個にして）、メタデータ格納用リングバッファに格納する。また、制御部102は、一時蓄積部103上のmoov作成用ワークメモリのメタデータトラックのstco/stszに反映を行う(図５（ｂ））。

上記のビデオ・メタデータサンプルの生成及び、moov作成ワークメモリの反映を行うと共に、制御部102は、一時蓄積部103上のビデオ及びメタデータサンプル用リングバッファの蓄積量を監視する。そして、制御部102は、記録媒体105に所定期間分のデータ量が格納された場合に書き込み処理を行う。具体的には、ビデオリングバッファ上に蓄積された、記録媒体105への未出力サンプルが15サンプル、メタデータ用リングバッファに未出力サンプルが1サンプルになったとする。この場合、制御部102は前者をKeyFrameを先頭とするビデオチャンク、後者をメタデータチャンクとして、記録媒体制御部104を制御駆動してビデオサンプル用リングバッファ及びメタデータ用リングバッファから15サンプル、1サンプルずつ交互に読み出し、記録媒体105へ出力してmdatを構築していく(図５（ｃ））。

実施形態の装置は、上記のサンプルデータの生成、moov作成ワークメモリの更新、書き込み単位に基づくリングバッファからの出力を継続的、周期的に行う。そして、不図示のユーザインターフェースから動画ファイルの記録停止が指示されると、制御部102は、ビデオ及びメタデータサンプルの生成指示を停止し、これに伴い、moov用ワークメモリの更新が終了する。

そして、制御部102は、記録媒体制御部104を駆動して記録媒体105の動画ファイルに、リングバッファ上に残ったビデオ及びメタデータサンプルから同様にチャンクを形成しつつ、残らず出力する。次に、制御部102は、moov用ワークメモリ上で生成したftypデータ、moovデータを、同様に記録媒体105へ出力する。最後に制御部102は、記録媒体105上で、ftyp、moov、mdatをファイルシステム上で結合して、動画ファイルを完成させる。

図６は、実施形態の装置で生成されるMOVファイルのデータ構造のイメージ図である。このMOVファイルは各ビデオチャンクの再生出力開始グリッドと終了グリッドが、対応するメタデータと常に一致する。従って、KeyFrameたるビデオチャンク始端を基準にmdatを前後に分割し、一方を破棄する簡易カット編集を行う場合、どこを基準にカットしても、メタデータトラック始端にメタデータがいない区間が発生しない(図７)。

以上説明したように第１の実施形態によれば、GPS部107から、前回記録対象となった位置情報に対する新たな付加情報が得られない状態にあっては、前回記録したメタデータチャンクを今回の記録対象として決定する。この結果、ビデオチャンクを単位にどの位置でカット編集を行ったとしても、メタデータの不整合の発生を抑制できる。

［第２の実施形態］
上記第１の実施形態では、KeyFrameを始端とするビデオチャンクの再生出力開始グリッドに、メタデータの再生出力開始グリッドを合わせてMOVファイルを記録する方法を説明した。第２の実施形態では、ビデオチャンク始端に、NULLデータの配置用エリアを確保して記録する方法を説明する。

また、本第２の実施形態の装置は、MPEG4-AVC形式で圧縮符号化された30fpsの符号化画像データと、1Hzのメタデータから成るMOV形式の動画像ファイルを記録する機能を有する。符号化画像データは、15frame毎(2Hz毎)にKeyFrame(IDR-Picture)の符号化データを含み、これを先頭とした15frameが一つのビデオチャンクとしてパッケージされる。メタデータは1チャンク1サンプルの1Hzで記録される。つまり、ビデオチャンク2個に対し、メタデータは1個の割合となる。装置構成は第１の実施形態と同じとし、その説明は省略する。

本第２の実施形態における動画像ファイルの記録方法について図８（ａ）乃至（ｄ）を参照して説明する。

ユーザによる動画像ファイルの記録開始は、不図示のユーザインターフェースより指示される。制御部102は、かかる指示を検出すると、一時蓄積部103上にビデオサンプル用リングバッファ、メタデータサンプル用リングバッファ、NULLデータ、並びに、ftyp、moovを生成するためのワークバッファを確保する(図８（ａ））。なお、図示では、ftyp、moov用のバッファは省略している。

次に制御部102は圧縮符号化部100を駆動制御し、入力される画像の圧縮符号化を開始させる。圧縮符号化部100は、生成される符号化データをビデオサンプルとして一時蓄積部103上のビデオサンプル用リングバッファに格納すると共に、そのビデオサンプルのサイズ情報を制御部102へ返す。制御部102は、圧縮符号化部100からビデオサンプルのサイズ情報を受け取ると、そのサイズ情報を、上述のmoov作成用ワークメモリのビデオトラックのstco/stszに反映させる。

また、制御部102は、メタデータ生成部101を駆動して、メタデータサンプルを生成させる。メタデータ生成部101はメタデータサンプルを生成し、一時蓄積部103上のメタデータ用リングバッファに結果を出力するとともに、完了を制御部102へ返す。また、一時蓄積部103上のmoov作成用ワークメモリのメタデータトラックにstco/stszに反映を行う(図８（ｂ））。

制御部102は、上記の如く、ビデオ・メタデータサンプルの生成、及び、moov作成ワークメモリの反映を行うと共に、一時蓄積部103上のビデオ及びメタデータサンプル用リングバッファの蓄積量を監視する(図８（ｃ））。そして、ビデオリングバッファ上に蓄積された記録媒体105への未出力サンプルが30サンプル、メタデータ用リングバッファに未出力サンプルが1サンプル蓄積されると、制御部102は、ビデオチャンクを2チャンク、メタデータチャンクを1チャンク形成し、記録媒体制御部104を駆動してビデオチャンク、メタデータチャンク、ビデオチャンクの順で記録媒体105へ出力し、続けての4バイトのNULL(0)データを出力してmdatを構成する。この4バイトのNULLデータを出力した際、制御部102は一時蓄積部103上で構成中のmoov用ワークメモリ内にある、このチャンク以降のstco値をNULLデータサイズ文だけ加算する(図８（ｄ））。

そして、制御部102は、上記のサンプルデータの生成、moov作成ワークメモリの更新、書き込み単位に基づくリングバッファからの出力を継続的、周期的に行う。

そして、不図示のユーザインターフェースから動画ファイルの記録停止が指示されると、制御部102は、ビデオ及びメタデータサンプルの生成指示を停止し、これに伴い、moov用ワークメモリの更新を終了する。そして、制御部102は、記録媒体制御部104を駆動して記録媒体105の動画ファイルに、リングバッファ上に残ったビデオ及びメタデータサンプルから同様にチャンクを形成しつつ、残らず出力する。次に、制御部102は、moov用ワークメモリ上で生成したftypデータ、moovデータを、同様に記録媒体105へ出力する。最後に制御部102は、記録媒体105上で、ftyp、moov、mdatをファイルシステム上で結合して、動画ファイルを完成させる。

図９は、本第２の実施形態で生成されるMOVファイルのデータ構造のイメージ図である。このMOVファイルに対して、ビデオの偶数チャンク目を分割点とした簡易カット編集を行う場合は第１の実施形態と同じである。

奇数チャンク目に分割点を置いて前半部分のカット編集を行う場合、mdatのカットは同様であるが、mdat上に予め用意されているNULLデータをmoov上に登録する。これにより、mdat上のデータシフト無しに、メタデータ欠落区間の発生を防ぐ。具体的には、始端ビデオチャンクの末尾に対をオフセット値とするstco値、データサイズたるstsz値が予め用意されている固定サイズのNULLデータサイズであるメタサンプル(チャンク)情報を、新たにメタトラックの始端に追加する。図１０Ａはカット編集前のＭＯＶファイルのデータ構造と再生時シーケンスを示している。図１０Ｂ（ａ）はカット編集後のＭＯＶファイル、図１０Ｂ（ｂ）はカット編集後の再生時のシーケンスを示している。

また、奇数チャンク目に分割点を置いての後半部分のカット編集は、単純にメタデータサンプルのDuration値たる、stsc値を変更することでメタデータ欠落区間の発生を防ぐことができる。

なお、実施形態では、１ビデオチャンクを2Hz（0.5秒）、GPS部107の測位周期を1Hzとして説明したが、これらの数値で本願発明が限定されるものではない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

100…圧縮符号化部、101…メタデータ生成部、102…制御部、103…一時蓄積部、104…記録媒体制御部、105…記録媒体、106…バス

Claims

符号化対象の動画像データから、所定周期に従ってKeyframe及び非Keyframeの符号化データを生成する符号化手段と、
前記符号化手段で生成される符号化データを一時蓄積し、前記所定周期の１周期に対応した所定期間の前記符号化データを含むビデオチャンクを生成するビデオチャンク生成手段と、
前記所定周期よりも長い、前記所定周期に同期した周期で、前記動画像データの付加情報を発生する情報発生手段と、
前記情報発生手段で発生した前記付加情報から、前記ビデオチャンクに同期したメタデータチャンクを生成するメタデータチャンク生成手段と、
前記ビデオチャンク生成手段によりビデオチャンク、及び、前記メタデータチャンク生成手段よりメタデータチャンクが生成される度に、前記生成されたビデオチャンクとメタデータチャンクとを一つの動画ファイルに格納して記録する記録手段と
を有することを特徴とする記録装置。
前記メタデータチャンク生成手段は、
一つの前記メタデータチャンクの期間を前記所定期間とし、前記情報発生手段から前記記録手段により前回記録対象となった付加情報に対する新たな付加情報が得られない状態にあっては、前回記録した付加情報と同じ付加情報を今回の記録対象のメタデータチャンクとして生成する
ことを特徴とする請求項１に記載の記録装置。
前記メタデータチャンク生成手段は、一つの前記メタデータチャンクの期間を前記所定期間の２倍とし、
前記記録手段は、一つの前記ビデオチャンクを記録する毎に、所定サイズのNULLデータを前記動画ファイルに記録することを特徴とする請求項１に記載の記録装置。
前記情報発生手段は、ＧＰＳを用いた位置情報を発生する手段であることを特徴とする請求項１乃至３のいずれか１項に記載の記録装置。
前記記録手段が記録する動画ファイルはＭＯＶファイルであることを特徴とする請求項１乃至４のいずれか１項に記載の記録装置。
符号化対象の動画像データから、所定周期に従ってKeyframe及び非Keyframeの符号化データを生成する符号化工程と、
前記符号化工程で生成される符号化データを一時蓄積し、前記所定周期の１周期に対応した所定期間の前記符号化データを含むビデオチャンクを生成するビデオチャンク生成工程と、
前記所定周期よりも長い、前記所定周期に同期した周期で、前記動画像データの付加情報を発生する情報発生工程と、
前記情報発生工程で発生した前記付加情報から、前記ビデオチャンクに同期したメタデータチャンクを生成するメタデータチャンク生成工程と、
前記ビデオチャンク生成工程によりビデオチャンク、及び、前記メタデータチャンク生成工程よりメタデータチャンクが生成される度に、前記生成されたビデオチャンクとメタデータチャンクとを一つの動画ファイルに格納して記録する記録工程と
を有することを特徴とする記録装置の制御方法。
コンピュータが読み込み実行することで、前記コンピュータに、請求項６に記載の各工程を実行させるためのプログラム。