JP2022095374A - Moving image file creation device, creation method for the same, and program - Google Patents

Moving image file creation device, creation method for the same, and program Download PDF

Info

Publication number
JP2022095374A
JP2022095374A JP2020208663A JP2020208663A JP2022095374A JP 2022095374 A JP2022095374 A JP 2022095374A JP 2020208663 A JP2020208663 A JP 2020208663A JP 2020208663 A JP2020208663 A JP 2020208663A JP 2022095374 A JP2022095374 A JP 2022095374A
Authority
JP
Japan
Prior art keywords
moving image
divided
data
file
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020208663A
Other languages
Japanese (ja)
Inventor
亮 及川
Akira Oikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020208663A priority Critical patent/JP2022095374A/en
Publication of JP2022095374A publication Critical patent/JP2022095374A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

To improve editing process such as division on a moving image file of moving image data.SOLUTION: A moving image file creation device controls to acquire moving image data, create a moving image file including the acquired moving image data, and record the created moving image file in a recording medium. The moving image file creation device divides the acquired moving image data into a plurality of pieces of divided moving image data 1105, 1108, creates a moving image file including the plurality of pieces of divided moving image data 1105, 1108, a plurality of pieces of division management information 1103, 1106 corresponding respectively to the plurality of pieces of divided moving image data 1105, 1108, and entire management information on the entire moving image data, and generates the plurality of pieces of division management information 1103, 1106 so that the pieces of information are not referred to from pieces of entire management information moov atom 1101, 1301.SELECTED DRAWING: Figure 11

Description

本発明は、動画ファイル生成装置、その生成方法、およびプログラムに関する。 The present invention relates to a moving image file generator, a method for generating the same, and a program.

撮像装置などの情報処理装置には、たとえば撮像された動画データなどを扱うために動画ファイル生成装置を有するものがある。このような動画データには、たとえばISO/IEC14496-14:2003で標準化されているMP4形式の動画ファイルによるものがある。動画ファイルでは、動画の開始から終了までのすべての動画データが記録する。動画ファイル生成装置は、撮像などによる動画データについての動画ファイルを、たとえばSDカードなどの外付けの記録媒体に記録する。 Some information processing devices such as an image pickup device have a moving image file generation device for handling captured moving image data and the like. Such video data includes, for example, MP4 format video files standardized by ISO / IEC 14496-14: 2003. In the video file, all video data from the start to the end of the video is recorded. The moving image file generation device records a moving image file about moving image data by imaging or the like on an external recording medium such as an SD card.

ところで、近年、外付けの記録媒体が大容量化している。また、ライブ映像発信の機会は増加している。これらの要因により、1つの動画データについての動画ファイルの連続時間は、長くなる傾向にある。撮像装置などの情報処理装置には、たとえば数時間以上の動画データを生成できるようにすることが求められる。 By the way, in recent years, the capacity of external recording media has increased. In addition, opportunities for live video transmission are increasing. Due to these factors, the continuous time of a moving image file for one moving image data tends to be long. Information processing devices such as image pickup devices are required to be able to generate moving image data for, for example, several hours or more.

その一方で、特に長時間の動画データの動画ファイルについては、既に生成されている動画ファイルの動画データについて編集処理をする機会が増えている。動画データの編集処理では、撮像時に生成したMP4形式の動画ファイルをもとに、不要な部分である前後の動画データをカットしてその一部を切り出すことがある。そして、編集処理では、編集元のデータ量が多くなると、その読み込みや更新などに時間がかかる。たとえば長時間記録したMP4形式の動画ファイルのサイズが大きい場合、その動画ファイルをコンピュータ装置などへコピーする際に長い待ち時間が発生したり、動画データにおいて所望のシーンをサーチするまでに長い時間を要したりする。特に、画像データの一部を切り出す編集処理では、切り出し処理のたびに、切り出した画像データを再生できるようにするために動画ファイルの再構築が必要になる。また、画像ファイルを外部装置へ送信する場合にも、外部装置において画像ファイルの内容を確認できるようになるまでに長い待ち時間が発生し得る。 On the other hand, especially for video files of long-time video data, there are increasing opportunities to edit the video data of already generated video files. In the video data editing process, the video data before and after the unnecessary part may be cut and a part thereof may be cut out based on the MP4 format video file generated at the time of imaging. Then, in the editing process, when the amount of data of the editing source becomes large, it takes time to read or update the data. For example, if the size of an MP4 format video file recorded for a long time is large, a long waiting time may occur when copying the video file to a computer device, or it may take a long time to search for a desired scene in the video data. I need it. In particular, in the editing process for cutting out a part of the image data, it is necessary to reconstruct the moving image file so that the cut out image data can be played back each time the cutting process is performed. Further, even when the image file is transmitted to the external device, a long waiting time may occur until the content of the image file can be confirmed by the external device.

特許文献1では、MPEG Audio形式の音声ファイルのGOP境界を、記録媒体での記録の最小単位であるクラスタについての切れ目であるクラスタ境界に揃えている。これにより、動画ファイルの動画データは、クラスタごとに切り出し易くなる可能性がある。 In Patent Document 1, the GOP boundary of an audio file in MPEG Audio format is aligned with the cluster boundary, which is a break for a cluster, which is the smallest unit of recording on a recording medium. As a result, the video data of the video file may be easily cut out for each cluster.

特開平11-176083号公報Japanese Unexamined Patent Publication No. 11-176083

しかしながら、特許文献1のように、動画ファイルに含まれるGOP境界を、記録媒体での記録の最小単位であるクラスタについての切れ目であるクラスタ境界に揃えて、クラスタごとに動画データを分割したとしても、編集処理が効率的になるとは言えない。編集処理により動画ファイルからクラスタごとに切り出した分割動画データを再生できるようにするためには、切り出したクラスタごとの分割動画データについての新たな管理情報を一から生成する必要がある。このように動画データが予めクラスタごとに分割されていたとしても、その一部を切り出した動画データを再生できるようにするためには、切り出したクラスタごとの分割動画データについての動画ファイルを再構築する必要がある。 However, even if the GOP boundary included in the moving image file is aligned with the cluster boundary which is the break for the cluster which is the minimum unit of recording on the recording medium as in Patent Document 1, the moving image data is divided for each cluster. , It cannot be said that the editing process becomes efficient. In order to be able to play the divided video data cut out for each cluster from the video file by the editing process, it is necessary to generate new management information about the divided video data for each cluster cut out from scratch. Even if the video data is divided into clusters in advance in this way, in order to be able to play the video data cut out from a part of it, the video file for the divided video data for each cluster cut out is reconstructed. There is a need to.

上述の課題を解決するために、本発明は、動画データの動画ファイルの編集処理を簡潔に行うことが可能な動画ファイルを生成する動画ファイル生成装置、生成方法を提供することを目的特する。 In order to solve the above-mentioned problems, it is an object of the present invention to provide a moving image file generation device and a generation method for generating a moving image file capable of simply editing a moving image file of moving image data.

本発明に係る動画ファイル生成装置は、動画データを取得する取得手段と、前記取得手段により取得される動画データを含む動画ファイルを生成し、生成した動画ファイルを記録媒体に記録するように制御する制御手段と、を有し、前記制御手段は、前記取得手段により取得した動画データを複数の分割動画データに分割し、当該複数の分割動画データと、当該複数の分割動画データにそれぞれ対応する複数の分割管理情報と、前記動画データ全体の全体管理情報とを含む動画ファイルを生成し、前記複数の分割管理情報を、前記全体管理情報から参照されないように生成する。 The moving image file generation device according to the present invention generates an acquisition means for acquiring moving image data and a moving image file including the moving image data acquired by the acquisition means, and controls the generated moving image file to be recorded on a recording medium. The control means has a control means, and the control means divides the moving image data acquired by the acquisition means into a plurality of divided moving image data, and the plurality of divided moving image data and a plurality of corresponding divided moving image data, respectively. A moving image file including the divided management information of the above and the overall management information of the entire moving image data is generated, and the plurality of divided management information is generated so as not to be referred to by the overall management information.

本発明では、動画データの動画ファイルにおける分割などの編集処理を簡潔に実行可能な動画ファイルを生成できる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to generate a moving image file in which editing processing such as division of moving image data into a moving image file can be simply executed.

本発明の第一実施形態に係る動画ストリームファイル生成装置を有する撮像装置のブロック図である。It is a block diagram of the image pickup apparatus which has the moving image stream file generation apparatus which concerns on 1st Embodiment of this invention. 図1の撮像装置において生成可能な動画ストリームファイルのファイルフォーマットの一例の説明図である。It is explanatory drawing of an example of the file format of the moving image stream file which can be generated in the image pickup apparatus of FIG. MP4形式の動画ストリームファイルのバリエーションの説明図である。It is explanatory drawing of the variation of the moving image stream file of MP4 format. 図1のマイクロコンピュータが実行可能な撮像時の動画ストリームファイル生成処理のフローチャートである。FIG. 3 is a flowchart of a moving image stream file generation process at the time of imaging, which can be executed by the microcomputer of FIG. 1. 図4の動画データファイル生成処理の詳細なフローチャートである。It is a detailed flowchart of the moving image data file generation process of FIG. 図4の全体moovデータ生成処理の詳細なフローチャートである。It is a detailed flowchart of the whole moov data generation process of FIG. 図4のmoovファイル生成処理の詳細なフローチャートである。It is a detailed flowchart of the moov file generation process of FIG. 動画ストリームファイルを生成するためのFAT処理の説明図である。It is explanatory drawing of FAT processing for generating a moving image stream file. 第一実施形態での撮像時の動画ストリームファイル生成処理のフローチャートである。It is a flowchart of the moving image stream file generation processing at the time of image pickup in 1st Embodiment. 図9の分割moovファイル生成処理の詳細なフローチャートである。9 is a detailed flowchart of the divided moov file generation process of FIG. 第一実施形態において動画ストリームファイル生成処理により外部メモリに生成される動画ストリームファイルの説明図である。It is explanatory drawing of the moving image stream file generated in the external memory by the moving image stream file generation processing in 1st Embodiment. 第二実施形態での撮像時の動画ストリームファイル生成処理のフローチャートである。It is a flowchart of the moving image stream file generation processing at the time of image pickup in 2nd Embodiment. 第二実施形態において動画ストリームファイル生成処理により外部メモリに生成される動画ストリームファイルの説明図である。It is explanatory drawing of the moving image stream file generated in the external memory by the moving image stream file generation processing in the 2nd Embodiment.

以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施形態に記載されている構成によって限定されることはない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the configurations described in the following embodiments are merely examples, and the scope of the present invention is not limited by the configurations described in the embodiments.

[第一実施形態]
図1は、本発明の第一実施形態に係る動画ストリームファイル生成装置を有する撮像装置1のブロック図である。図1の撮像装置1は、動画ファイル生成装置として動画を撮像するために、マイクロコンピュータ105とともに、撮像レンズ100、撮像素子101、A/D変換器102、マイクロホン103、A/D変換器104、を有する。マイクロコンピュータ105には、A/D変換器102、A/D変換器104、揮発性メモリ106、静止画コーデック107、動画コーデック108、音声コーデック109、ファイル生成部110、が接続される。マイクロコンピュータ105には、不揮発性メモリ111、外部メモリ112、表示部材113、操作部材114、が接続される。
[First Embodiment]
FIG. 1 is a block diagram of an image pickup apparatus 1 having a moving image stream file generation apparatus according to the first embodiment of the present invention. The image pickup device 1 of FIG. 1 includes an image pickup lens 100, an image pickup element 101, an A / D converter 102, a microphone 103, and an A / D converter 104 together with a microcomputer 105 in order to capture a moving image as a moving image file generation device. Has. An A / D converter 102, an A / D converter 104, a volatile memory 106, a still image codec 107, a moving image codec 108, an audio codec 109, and a file generation unit 110 are connected to the microcomputer 105. A non-volatile memory 111, an external memory 112, a display member 113, and an operation member 114 are connected to the microcomputer 105.

撮像レンズ100は、たとえば単焦点レンズ、複数のレンズで構成されるズームレンズ、である。撮像素子101は、たとえばCCDやCMOSセンサである。撮像素子101は、撮像レンズ100によって結像された被写体像を、アナログ映像信号に変換する。A/D変換器102は、撮像素子101に接続され、アナログ映像信号をデジタル映像信号に変換する。マイクロホン103は、たとえば周囲の音を集めて、アナログ音信号に変換する。A/D変換器104は、マイクロホン103に接続され、アナログ音信号をデジタル音信号に変換する。 The image pickup lens 100 is, for example, a single focus lens or a zoom lens composed of a plurality of lenses. The image sensor 101 is, for example, a CCD or a CMOS sensor. The image pickup device 101 converts the subject image imaged by the image pickup lens 100 into an analog video signal. The A / D converter 102 is connected to the image sensor 101 and converts an analog video signal into a digital video signal. The microphone 103 collects ambient sounds, for example, and converts them into analog sound signals. The A / D converter 104 is connected to the microphone 103 and converts an analog sound signal into a digital sound signal.

揮発性メモリ106は、たとえば半導体メモリである。揮発性メモリ106は、撮像による動画データや静止画データなどの一時的なデータを記録してよい。揮発性メモリ106は、編集などにより動画データから抜き出される静止画データ、音声データを一時的に記録してよい。静止画コーデック107は、揮発性メモリ106にある静止画データをJPEGフォーマットへ圧縮変換する。動画コーデック108は、揮発性メモリ106にある動画データを、H.264フォーマットへ圧縮変換し、H.264フォーマットのデータを伸長変換する。音声コーデック109は、揮発性メモリ106にある音声データを、AACフォーマットへ圧縮変換し、AACフォーマットのデータを伸長変換する。ファイル生成部110は、静止画コーデック107で変換されたJPEG圧縮データのヘッダファイルを生成し、JPEGフォーマットの静止画ファイルを生成する。ファイル生成部110は、動画コーデック108で生成されたH.264フォーマットのデータおよび音声コーデック109で生成されたAACフォーマットのデータとを多重化して、動画データファイルを生成する。ファイル生成部110は、多重化により生成する動画データファイルについてのヘッダファイルを生成する。動画データファイルには、たとえばMP4形式の動画ストリーミング再生に用いることができるものがある。ファイル生成部110は、動画ストリームファイルの動画データについての編集処理を実行してよい。編集処理には、たとえば編集元の動画データの前後の部分を削除して一部を切り出す処理がある。編集処理には、他にもたとえば、動画データにOSDデータを重畳する処理がある。ファイル生成部110は、編集後の動画データについて、動画ストリームファイルを再構築する処理を実行してよい。 The volatile memory 106 is, for example, a semiconductor memory. The volatile memory 106 may record temporary data such as moving image data and still image data obtained by imaging. The volatile memory 106 may temporarily record still image data and audio data extracted from the moving image data by editing or the like. The still image codec 107 compresses and converts the still image data in the volatile memory 106 into a JPEG format. The video codec 108 converts the video data in the volatile memory 106 into H. Compressed and converted to 264 format, H. Data in 264 format is decompressed and converted. The audio codec 109 compresses and converts the audio data in the volatile memory 106 into the AAC format, and decompresses and converts the data in the AAC format. The file generation unit 110 generates a header file of JPEG compressed data converted by the still image codec 107, and generates a still image file in JPEG format. The file generation unit 110 is the H.A. generated by the video codec 108. A moving image data file is generated by multiplexing the data in 264 format and the data in AAC format generated by the audio codec 109. The file generation unit 110 generates a header file for the moving image data file generated by multiplexing. Some video data files can be used, for example, for video streaming playback in MP4 format. The file generation unit 110 may execute an editing process for the moving image data of the moving image stream file. The editing process includes, for example, a process of deleting parts before and after the video data of the editing source and cutting out a part. The editing process also includes, for example, a process of superimposing OSD data on moving image data. The file generation unit 110 may execute a process of reconstructing a video stream file for the edited video data.

外部メモリ112は、たとえばコンパクトフラッシュ(登録商標)、SDカード、スマートメディア、ハードディスクドライブ、である。外部メモリ112は、撮像装置1から取り外し可能に設けられてよい。表示部材113は、たとえば液晶モニタでよい。表示部材113は、撮像装置1の表示部でよい。操作部材114は、たとえばスイッチ、ボタン、タッチパネル、などを有する。操作部材114は、撮像装置1の操作部でよい。不揮発性メモリ111は、たとえば半導体メモリである。不揮発性メモリ111は、マイクロコンピュータ105のプログラムおよびデータを記録してよい。このようなデータには、プログラムの実行に用いる設定データ、動画データへ重畳可能なビットマップデータによるOSDデータ、が含まれてよい。 The external memory 112 is, for example, a compact flash (registered trademark), an SD card, a smart media, or a hard disk drive. The external memory 112 may be provided so as to be removable from the image pickup apparatus 1. The display member 113 may be, for example, a liquid crystal monitor. The display member 113 may be the display unit of the image pickup apparatus 1. The operating member 114 includes, for example, a switch, a button, a touch panel, and the like. The operation member 114 may be an operation unit of the image pickup apparatus 1. The non-volatile memory 111 is, for example, a semiconductor memory. The non-volatile memory 111 may record the programs and data of the microcomputer 105. Such data may include setting data used for program execution and OSD data based on bitmap data that can be superimposed on moving image data.

マイクロコンピュータ105は、不揮発性メモリ111からプログラムを読み込んで実行する。これにより、撮像装置1には、各部の動作を制御する制御部が実現される。マイクロコンピュータ105は、たとえば、操作部材114の操作に基づいて、静止画や動画を撮像する。動画を撮像する場合、マイクロコンピュータ105は、デジタル映像信号に含まれる静止画データと、デジタル音信号に含まれる音データとを、揮発性メモリ106に一時的に蓄積する。マイクロコンピュータ105は、揮発性メモリ106に蓄積されている静止画データおよび音データを、静止画コーデック107、動画コーデック108、ファイル生成部110に処理させる。これにより、揮発性メモリ106には、動画データファイルが一時的に記録される。マイクロコンピュータ105は、揮発性メモリ106に記録されている処理後の動画データファイルを、外部メモリ112に記録する。マイクロコンピュータ105は、外部メモリ112には、撮像装置1で撮像して生成された動画データをストリーミング再生するための動画ストリームファイルを、外部メモリ112に記録してよい。 The microcomputer 105 reads a program from the non-volatile memory 111 and executes it. As a result, the image pickup apparatus 1 is realized with a control unit that controls the operation of each unit. The microcomputer 105 captures a still image or a moving image based on the operation of the operation member 114, for example. When capturing a moving image, the microcomputer 105 temporarily stores the still image data included in the digital video signal and the sound data included in the digital sound signal in the volatile memory 106. The microcomputer 105 causes the still image codec 107, the moving image codec 108, and the file generation unit 110 to process the still image data and the sound data stored in the volatile memory 106. As a result, the moving image data file is temporarily recorded in the volatile memory 106. The microcomputer 105 records the processed moving image data file recorded in the volatile memory 106 in the external memory 112. In the external memory 112, the microcomputer 105 may record in the external memory 112 a moving image stream file for streaming and reproducing the moving image data generated by the image pickup device 1.

この他にもたとえば動画を編集する場合、マイクロコンピュータ105は、外部メモリ112から、編集対象の動画ストリームファイルのデータを読み込み、揮発性メモリ106に記録する。マイクロコンピュータ105は、揮発性メモリ106に読み出された動画ストリームファイルの動画データの一部を切り出し、必要に応じて静止画コーデック107、動画コーデック108、ファイル生成部110に処理させる。これにより、揮発性メモリ106には、切り出された動画データをストリーミング再生するための新たな動画データファイルが一時的に記録される。マイクロコンピュータ105は、揮発性メモリ106に記録されている処理後の動画データファイルを、外部メモリ112に記録する。マイクロコンピュータ105は、外部メモリ112には、編集処理により生成された動画データをストリーミング再生するための動画ストリームファイルを、外部メモリ112に記録してよい。 In addition to this, for example, when editing a moving image, the microcomputer 105 reads the data of the moving image stream file to be edited from the external memory 112 and records it in the volatile memory 106. The microcomputer 105 cuts out a part of the moving image data of the moving image stream file read out into the volatile memory 106, and causes the still image codec 107, the moving image codec 108, and the file generation unit 110 to process as necessary. As a result, a new moving image data file for streaming and playing back the cut out moving image data is temporarily recorded in the volatile memory 106. The microcomputer 105 records the processed moving image data file recorded in the volatile memory 106 in the external memory 112. The microcomputer 105 may record in the external memory 112 a moving image stream file for streaming and reproducing the moving image data generated by the editing process in the external memory 112.

この他にもたとえば動画を再生する場合、マイクロコンピュータ105は、外部メモリ112から再生対象の動画ストリームファイルを読み込み、動画データを再生して表示部材113に表示する。このように撮像装置1のマイクロコンピュータ105は、撮像による動画データを生成または取得して、ストリーミング再生可能な動画ストリームファイルを生成することができる。 In addition to this, for example, when playing a moving image, the microcomputer 105 reads the moving image stream file to be played back from the external memory 112, reproduces the moving image data, and displays it on the display member 113. In this way, the microcomputer 105 of the image pickup apparatus 1 can generate or acquire moving image data by imaging to generate a moving image stream file that can be streamed and reproduced.

図2は、図1の撮像装置1において生成可能な動画ストリームファイル20のファイルフォーマットの一例の説明図である。図2の動画ストリームファイル20は、ISO/IEC14496-14:2003で標準化されているMP4形式のものである。動画ストリームファイル20は、動画ファイルの一例である。図2の動画ストリームファイル20は、符号化された動画データを含むmdatアトム22と、動画データの管理情報を含むmoovアトム21と、を有する。 FIG. 2 is an explanatory diagram of an example of a file format of the moving image stream file 20 that can be generated by the image pickup apparatus 1 of FIG. The moving image stream file 20 in FIG. 2 is in the MP4 format standardized by ISO / IEC14496-14: 2003. The video stream file 20 is an example of a video file. The moving image stream file 20 of FIG. 2 has an mdat atom 22 including encoded moving image data and a moov atom 21 containing management information of the moving image data.

mdatアトム22には、動画ストリームファイル20に記録した撮像の開始から終了までのすべての動画データが記録される。mdatアトム22は、複数のチャンク(chunk cN)28を有する。各チャンク28は、複数のサンプル(sample sM)29を有する。各サンプル29は、符号化されたフレームデータ30が対応する。フレームデータ30は、たとえば基本的に撮像された静止画データに対応する。動画データは、連続する複数のフレームデータで構成される。たとえばサンプル(sample s1)29には、I0の符号化されたフレームデータ30が対応する。サンプル(sample s2)29には、B-2の符号化されたフレームデータ30が対応する。サンプル(sample s3)29には、B-1の符号化されたフレームデータ30が対応する。サンプル(sample s4)29には、P3の符号化されたフレームデータ30が対応する。ここで、I0、I1、I2、・・・、Inは、イントラ符号化(フレーム内符号化)されたフレームデータ30である。B0、B1、B2、・・・、Bnは、双方向から参照して符号化(フレーム間符号化)されるフレームデータ30である。P0、P1、P2、・・・、Pnは、一方向(順方向)から参照して符号化(フレーム間符号化)されるフレームデータ30である。いずれの符号化も、可変長でフレームデータ30を符号化している。 The mdat atom 22 records all the moving image data from the start to the end of the imaging recorded in the moving image stream file 20. The mdat atom 22 has a plurality of chunk cNs 28. Each chunk 28 has a plurality of samples 29. Each sample 29 corresponds to the coded frame data 30. The frame data 30 basically corresponds to, for example, captured still image data. The moving image data is composed of a plurality of consecutive frame data. For example, the sample (sample s1) 29 corresponds to the coded frame data 30 of I0. The coded frame data 30 of B-2 corresponds to the sample (sample s2) 29. The coded frame data 30 of B-1 corresponds to the sample (sample s3) 29. The sample (sample s4) 29 corresponds to the coded frame data 30 of P3. Here, I0, I1, I2, ..., In are frame data 30 that have been intra-coded (in-frame coding). B0, B1, B2, ..., Bn are frame data 30 that are encoded (inter-frame coding) by reference from both directions. P0, P1, P2, ..., Pn are frame data 30 that are encoded (inter-frame coding) by reference from one direction (forward direction). In either coding, the frame data 30 is encoded with a variable length.

moovアトム21には、mdatアトム22に記録されている動画データを再生する際に使用する各種の管理情報が記録される。図2のmoovアトム21は、動画ストリームファイル20に格納されている動画データ全体についての全体管理情報である。moovアトム21は、生成日時等が記録されるヘッダ情報を含むmvhdアトム23と、mdatアトム22に格納された動画データに関する情報を入れるtrakアトム24と、を有する。trakアトム24には、stcoアトム25、stscアトム26、stszアトム27、などが含まれる。stcoアトム25は、mdatアトム22の各チャンク28へのオフセット値の情報を格納する。stscアトム26は、各チャンク28のサンプル29の数の情報を格納する。stszアトム27は、各サンプル28のサイズの情報を格納する。stcoアトム25のデータ量、stscアトム26のデータ量、stszアトム27のデータ量は、動画ストリームファイル20に記録される動画データの量、すなわち動画データの記録時間の長さに対応して増減する。たとえば1秒間30フレームの画像データについての15フレームを1つのチャンク28に格納するMP4形式の動画ストリームファイル20では、2時間の記録により1MByte程度のデータ量になる。この場合、moovアトム21には、1MByte程度の容量が必要になる。また、MP4形式の動画ストリームファイル20に記録される動画データが記録時間の経過とともに増大すると、その記録中においても、既に記録しているサイズが大きい動画データを外部メモリ112へ書き出す必要が生じる可能性がある。しかしながら、上述するように、moovアトム21も記録時間に応じてサイズが増減する。したがって、記録が終了するまで、moovアトム21のサイズは不明である。既に記録しているサイズが大きい動画データを、動画ファイルとして書き出すためのオフセット位置などを、適切に決定することは難しい。 Various management information used when playing back the moving image data recorded in the mdat atom 22 is recorded in the moov atom 21. The moov atom 21 in FIG. 2 is general management information for the entire moving image data stored in the moving image stream file 20. The moov atom 21 has an mvhd atom 23 including header information in which the generation date and time and the like are recorded, and a trak atom 24 containing information regarding the moving image data stored in the mdat atom 22. The trak atom 24 includes a stco atom 25, a stsc atom 26, a stsz atom 27, and the like. The stco atom 25 stores information on the offset value of the mdat atom 22 to each chunk 28. The stsc atom 26 stores information on the number of samples 29 of each chunk 28. The stsz atom 27 stores information on the size of each sample 28. The amount of data of stco atom 25, the amount of data of stsc atom 26, and the amount of data of stsz atom 27 increase or decrease according to the amount of video data recorded in the video stream file 20, that is, the length of the recording time of the video data. .. For example, in the MP4 format moving image stream file 20 that stores 15 frames of 30 frames of image data per second in one chunk 28, the amount of data is about 1 MByte by recording for 2 hours. In this case, the moov atom 21 needs a capacity of about 1 MByte. Further, if the video data recorded in the MP4 format video stream file 20 increases with the passage of recording time, it may be necessary to write the already recorded large video data to the external memory 112 even during the recording. There is sex. However, as described above, the size of the moov atom 21 also increases or decreases depending on the recording time. Therefore, the size of moov atom 21 is unknown until the recording is completed. It is difficult to properly determine the offset position for exporting the already recorded large-sized video data as a video file.

図3は、MP4形式の動画ストリームファイルのバリエーションの説明図である。図3(a)の動画ストリームファイル31は、図2と同様に、ファイルの先頭にmoovアトム21を含み、moovアトム21の後にmdatアトム22を含む。この場合、動画ストリームファイル31の先頭にmoovアトム21が含まれている。動画ストリームファイル31の先頭のデータを読み込むことにより、動画データをストリーミング再生するための管理情報を読み込むことができる。その後にmdatアトム22に含まれている動画データを読み込む際には、動画データをストリーミング再生するための情報を既に取得できているため、遅滞することなくストリーミング再生を開始できる。図3(a)の動画ストリームファイル31は、動画データのストリーミング再生に適している。 FIG. 3 is an explanatory diagram of variations of an MP4 format video stream file. Similar to FIG. 2, the moving image stream file 31 of FIG. 3A includes the moov atom 21 at the beginning of the file, and the mdat atom 22 after the moov atom 21. In this case, the moov atom 21 is included at the beginning of the moving image stream file 31. By reading the data at the beginning of the video stream file 31, it is possible to read the management information for streaming and playing the video data. After that, when the moving image data included in the mdat atom 22 is read, the information for streaming the moving image data has already been acquired, so that the streaming reproduction can be started without delay. The video stream file 31 of FIG. 3A is suitable for streaming playback of video data.

図3(b)の動画ストリームファイル32は、ファイルの先頭にmdatアトム22を含み、mdatアトム22の後にmoovアトム21を含む。この場合、動画ストリームファイル32の先頭にmdatアトム22が含まれているため、最終的な記録時間などが不明であってtrakアトムのデータ量が不明な状態においても、たとえば撮像などによる動画データの記録を開始することが可能である。撮像中といった記録中においても、上述したオフセット位置などを適宜決定して、既に記録している動画データの一部を外部メモリ112へ書き出すことができる。しかも、撮像による記録が終了して記録時間などが明確になって、trakアトムのデータ量が確定した時点で、mdatアトム22の後に動画データの全体についてのmoovアトム21を記録することができる。 The moving image stream file 32 of FIG. 3B includes the mdat atom 22 at the beginning of the file and the moov atom 21 after the mdat atom 22. In this case, since the mdat atom 22 is included at the beginning of the moving image stream file 32, even when the final recording time or the like is unknown and the data amount of the trak atom is unknown, for example, the moving image data by imaging or the like is recorded. It is possible to start recording. Even during recording such as during imaging, the offset position and the like described above can be appropriately determined, and a part of the already recorded moving image data can be written to the external memory 112. Moreover, when the recording by imaging is completed and the recording time or the like is clarified and the data amount of the trak atom is determined, the moov atom 21 for the entire moving image data can be recorded after the mdat atom 22.

このようにMP4形式の動画ストリームファイルでは、複数の形式の中から1つを選択することができる。撮像装置1では、最終的な撮像時間が不明な状態での記録が可能であることから、図3(b)の形式での記録が好まれる。しかしながら、図3(b)の形式の動画ストリームファイル32の動画データをストリーミング再生しようとする場合、動画ストリームファイル32の先頭からデータの読み込みを開始することになる。そして、動画ストリームファイル32の最後までを一旦は読み込まないと、動画データをストリーミング再生するために使用するmoovアトム21を読み込むことができない。図3(b)の形式の動画ストリームファイル32は、動画データのストリーミング再生に適していない。動画データのストリーミング再生では、図3(a)の形式の動画ストリームファイル31が望まれる。図3(a)の形式の動画ストリームファイル31では、ファイルの先頭にあるmoovアトム21を読み込むことで、即座に、mdatアトム22に格納されている動画データへアクセスすることができる。図3(a)の形式の動画ストリームファイル31では、ファイルの読み込み開始から遅滞なく、動画データのストリーミング再生を開始することができる。 As described above, in the MP4 format video stream file, one can be selected from a plurality of formats. Since the image pickup apparatus 1 can record in a state where the final image pickup time is unknown, recording in the format of FIG. 3B is preferred. However, when the moving image data of the moving image stream file 32 in the format of FIG. 3B is to be streamed, the reading of the data is started from the beginning of the moving image stream file 32. Then, unless the end of the video stream file 32 is read once, the moov atom 21 used for streaming the video data cannot be read. The video stream file 32 in the format of FIG. 3B is not suitable for streaming playback of video data. For streaming playback of video data, a video stream file 31 in the format of FIG. 3A is desired. In the moving image stream file 31 in the format of FIG. 3A, the moving image data stored in the mdat atom 22 can be immediately accessed by reading the moov atom 21 at the head of the file. In the moving image stream file 31 in the format of FIG. 3A, streaming playback of the moving image data can be started without delay from the start of reading the file.

図4は、図1のマイクロコンピュータ105が実行可能な撮像時の動画ストリームファイル生成処理のフローチャートである。図1の撮像装置1のマイクロコンピュータ105は、撮像装置1が動画ストリームファイルを生成するために動画データを撮像する場合に、生成手段として、図4の生成処理を実行することができる。また、動画ストリームファイルが最終的に記録される外部メモリ112は、組込機器で一般的に使用されているFAT(FAT Allocation Table)ファイルシステムを使用するものとする。図4の処理により最終的に生成される動画ストリームファイルは、図3(a)の形式のものとなり、ファイルの先頭にmoovアトムを含み、moovアトムの後にmdatアトムを含むものとなる。 FIG. 4 is a flowchart of a moving image stream file generation process at the time of imaging, which can be executed by the microcomputer 105 of FIG. The microcomputer 105 of the image pickup device 1 of FIG. 1 can execute the generation process of FIG. 4 as a generation means when the image pickup device 1 captures moving image data in order to generate a moving image stream file. Further, the external memory 112 in which the moving image stream file is finally recorded uses the FAT (FAT Allocation Table) file system generally used in the embedded device. The video stream file finally generated by the process of FIG. 4 has the format shown in FIG. 3A, and includes a moov atom at the beginning of the file and an mdat atom after the moov atom.

ステップS501において、マイクロコンピュータ105は、動画ストリームファイルを生成するための動画撮像が撮像装置1において開始されたか否かを判断する。マイクロコンピュータ105は、たとえば撮像装置1の操作部材114において動画撮像の開始ボタンが操作されると、動画撮像が開始されたと判断してよい。動画撮像が開始されていない場合、マイクロコンピュータ105は、本処理を繰り返す。動画撮像が開始されると、マイクロコンピュータ105は、処理をステップS502へ進める。ステップS502において、マイクロコンピュータ105は、取得手段として、撮像による動画データを取得して、動画データファイルの生成処理を実行する。動画データファイルの生成処理の詳細は、図5において後述する。また、マイクロコンピュータ105は、たとえば、動画撮像において既に生成している動画データのサイズが非常に大きい場合、その動画データの一部または全部を、揮発性メモリ106から外部メモリ112へ退避する処理を実行してよい。ステップS503において、マイクロコンピュータ105は、全体moovデータの生成処理を実行する。全体moovデータの生成処理の詳細は、図6において後述する。 In step S501, the microcomputer 105 determines whether or not the moving image imaging for generating the moving image stream file has been started in the imaging device 1. The microcomputer 105 may determine that the moving image imaging has started when, for example, the operation member 114 of the imaging device 1 operates the moving image imaging start button. If the moving image imaging has not started, the microcomputer 105 repeats this process. When the moving image imaging is started, the microcomputer 105 advances the process to step S502. In step S502, the microcomputer 105 acquires moving image data by imaging as an acquisition means and executes a process of generating a moving image data file. Details of the video data file generation process will be described later in FIG. Further, for example, when the size of the moving image data already generated in the moving image imaging is very large, the microcomputer 105 performs a process of saving a part or all of the moving image data from the volatile memory 106 to the external memory 112. You may do it. In step S503, the microcomputer 105 executes the process of generating the entire moov data. Details of the overall moov data generation process will be described later in FIG.

ステップS504において、マイクロコンピュータ105は、動画ストリームファイルを生成するための動画撮像が撮像装置1において停止または終了したか否かを判断する。マイクロコンピュータ105は、たとえば撮像装置1の操作部材114において動画撮像の終了ボタンが操作されると、動画撮像が終了したと判断してよい。動画撮像が終了していない場合、マイクロコンピュータ105は、処理をステップS502へ戻す。マイクロコンピュータ105は、動画撮像が終了するまで、ステップS502からステップS504の処理を繰り返す。動画の撮像が継続される。動画撮像が終了すると、マイクロコンピュータ105は、処理をステップS505へ進める。ステップS505において、マイクロコンピュータ105は、ステップS503の処理を繰り返すことにより生成している全体moovデータを用いて、全体moovファイルを生成処理を実行する。マイクロコンピュータ105は、ステップS503で最終的に生成した全体moovデータを含む全体moovファイルを、外部メモリ112に記録する。全体moovファイルの生成処理の詳細は、図7において後述する。ステップS506において、マイクロコンピュータ105は、以上の処理により外部メモリ112に記録した動画データファイルとmoovファイルとについてのファイル結合処理を実行する。外部メモリ112は、FATファイルシステムを使用している。このため、マイクロコンピュータ105は、外部メモリ112のFATを書きかえることにより、外部メモリ112に記録している動画データファイルとmoovファイルとを結合する。ファイル結合処理の詳細は、図8において後述する。これにより、外部メモリ112には、撮像装置1で撮像した動画データをストリーミング再生可能なMP4形式の動画ストリームファイルが生成される。このように撮像装置1のマイクロコンピュータ105は、撮像による動画データを取得して、記録媒体としての外部メモリ112へ記録できる。また、マイクロコンピュータ105は、撮像による動画データの取得を繰り返し、動画データを取得するたびに動画データの全体管理情報である全体moovデータを更新し、最終的な全体管理情報としての全体moovデータを生成できる。 In step S504, the microcomputer 105 determines whether or not the moving image imaging for generating the moving image stream file has been stopped or ended in the image pickup apparatus 1. The microcomputer 105 may determine that the moving image imaging is completed when, for example, the operation member 114 of the imaging device 1 operates the moving image imaging end button. If the moving image acquisition is not completed, the microcomputer 105 returns the process to step S502. The microcomputer 105 repeats the processes of steps S502 to S504 until the moving image imaging is completed. Video recording continues. When the moving image imaging is completed, the microcomputer 105 advances the process to step S505. In step S505, the microcomputer 105 executes the whole moov file generation process using the whole moov data generated by repeating the process of step S503. The microcomputer 105 records the entire moov file including the entire moov data finally generated in step S503 in the external memory 112. Details of the generation process of the entire moov file will be described later in FIG. In step S506, the microcomputer 105 executes the file combination processing for the moving image data file and the moov file recorded in the external memory 112 by the above processing. The external memory 112 uses the FAT file system. Therefore, the microcomputer 105 combines the moving image data file and the moov file recorded in the external memory 112 by rewriting the FAT of the external memory 112. The details of the file combination process will be described later in FIG. As a result, an MP4 format moving image stream file capable of streaming and playing back the moving image data captured by the imaging device 1 is generated in the external memory 112. As described above, the microcomputer 105 of the image pickup apparatus 1 can acquire the moving image data obtained by the image pickup and record the moving image data in the external memory 112 as a recording medium. Further, the microcomputer 105 repeatedly acquires the moving image data by imaging, updates the overall moov data which is the overall management information of the moving image data every time the moving image data is acquired, and obtains the overall moov data as the final overall management information. Can be generated.

図5は、図4の動画データファイル生成処理の詳細なフローチャートである。図1の撮像装置1のマイクロコンピュータ105は、図4のステップS502において、図5の動画データファイルの生成処理を実行する。 FIG. 5 is a detailed flowchart of the moving image data file generation process of FIG. The microcomputer 105 of the image pickup apparatus 1 of FIG. 1 executes the process of generating the moving image data file of FIG. 5 in step S502 of FIG.

ステップS601において、マイクロコンピュータ105は、ストリーミング再生に使用可能な動画データの生成処理を実行する。マイクロコンピュータ105は、撮像による動画データを取得すると、揮発性メモリ106に記録する。マイクロコンピュータ105は、画像処理部206に対して、ストリーミング再生に使用可能な動画データの生成を指示する。画像処理部206は、揮発性メモリ106に記録されている撮像による画像データを読み込み、ストリーミング再生に使用可能な動画データを生成する。画像処理部206は、生成した動画データを、揮発性メモリ106に記録する。ステップS602において、マイクロコンピュータ105は、動画データファイルが生成済みであるか否かを判断する。マイクロコンピュータ105は、たとえばステップS601で揮発性メモリ106に記録した動画データを最終的に書きだすためのstream.DATファイルが、外部メモリ112にすでに生成済みであるか否かを判断してよい。stream.DATファイルとは、MP4ファイルのmdatアトムとなるデータを格納するためのファイルである。この時点でのstream.DATファイルは、たとえば、サイズの大きい動画データを撮像している場合に、撮像中に外部メモリ112へ書きだした途中段階のものである。今回の撮像において動画データを一度も外部メモリ112へ書き出していない場合、外部メモリ112には、stream.DATファイルが記録されていない。今回の撮像についてのstream.DATファイルが外部メモリ112に記録されていない場合、マイクロコンピュータ105は、処理をステップS603へ進める。今回の撮像についてのstream.DATファイルがすでに外部メモリ112に記録されている場合、マイクロコンピュータ105は、処理をステップS604へ進める。 In step S601, the microcomputer 105 executes a process of generating moving image data that can be used for streaming playback. When the microcomputer 105 acquires the moving image data by imaging, it records it in the volatile memory 106. The microcomputer 105 instructs the image processing unit 206 to generate moving image data that can be used for streaming playback. The image processing unit 206 reads the image data recorded in the volatile memory 106 by imaging and generates moving image data that can be used for streaming playback. The image processing unit 206 records the generated moving image data in the volatile memory 106. In step S602, the microcomputer 105 determines whether or not the moving image data file has been generated. The microcomputer 105 finally writes out the moving image data recorded in the volatile memory 106 in step S601, for example. It may be determined whether or not the DAT file has already been generated in the external memory 112. stream. The DAT file is a file for storing data that is an mdat atom of an MP4 file. At this point, stream. The DAT file is, for example, a file in the middle of being written to the external memory 112 during imaging when a large-sized moving image data is being imaged. If the moving image data has never been written to the external memory 112 in this imaging, the external memory 112 may have a stream. The DAT file is not recorded. The stream for this imaging. If the DAT file is not recorded in the external memory 112, the microcomputer 105 advances the process to step S603. The stream for this imaging. If the DAT file has already been recorded in the external memory 112, the microcomputer 105 advances the process to step S604.

ステップS603において、マイクロコンピュータ105は、今回の撮像についてのstream.DATファイルを、外部メモリ112に新規に生成する。その後、マイクロコンピュータ105は、処理をステップS604へ進める。ステップS604において、マイクロコンピュータ105は、揮発性メモリ106に記録されていれるストリーミング再生に使用可能な動画データを、外部メモリ112に生成されているstream.DATファイルに記録する。外部メモリ112のstream.DATファイルにすでに動画データが記録されている場合、マイクロコンピュータ105は、その後に揮発性メモリ106に記録されていれる動画データを付け足すように記録する。これにより、stream.DATファイルは、更新される。図4のステップS502が繰り返し実行されることにより、マイクロコンピュータ105は、図5の処理を繰り返す。これにより、動画撮像の終了時には、外部メモリ112には、撮像の最初から最後までの動画データが、ストリーミング再生に使用可能な形式で記録される。外部メモリ112には、撮像された動画データをストリーミング再生可能に含むstream.DATファイルが生成される。 In step S603, the microcomputer 105 determines the stream for this imaging. A DAT file is newly generated in the external memory 112. After that, the microcomputer 105 advances the process to step S604. In step S604, the microcomputer 105 generates moving image data recorded in the volatile memory 106 that can be used for streaming playback in the external memory 112. Record in a DAT file. The stream of the external memory 112. If the moving image data is already recorded in the DAT file, the microcomputer 105 records it so as to add the moving image data recorded in the volatile memory 106 thereafter. As a result, stream. The DAT file is updated. By repeatedly executing step S502 of FIG. 4, the microcomputer 105 repeats the process of FIG. As a result, at the end of the moving image imaging, the moving image data from the beginning to the end of the imaging is recorded in the external memory 112 in a format that can be used for streaming reproduction. The external memory 112 contains the captured moving image data so that it can be streamed and played back. A DAT file is generated.

図6は、図4の全体moovデータ生成処理の詳細なフローチャートである。図1の撮像装置1のマイクロコンピュータ105は、図4のステップS503において、図6の全体moovデータ生成処理を実行する。ステップS701において、マイクロコンピュータ105は、揮発性メモリ106に、全体moovデータが生成済みであるか否かを判断する。今回の撮像についての全体moovデータは、図4の処理が開始された直後には生成されていない。今回の撮像についての全体moovデータが生成済みでない場合、マイクロコンピュータ105は、処理をステップS702へ進める。今回の撮像についての全体moovデータが生成済みである場合、マイクロコンピュータ105は、処理をステップS703へ進める。ステップS702において、マイクロコンピュータ105は、揮発性メモリ106に、全体moovデータを新規に生成する。全体moovデータとは、MP4ファイルのmoovアトムとなるデータである。全体moovデータは、動画データと対応するように、stcoアトムのデータ、stscアトムのデータ、stszアトムのデータ、その他の必要なデータを有する。その後、マイクロコンピュータ105は、処理をステップS703へ進める。ステップS703において、マイクロコンピュータ105は、揮発性メモリ106に生成されている全体moovデータを更新する。マイクロコンピュータ105は、処理時点までの画像データに対応するように、全体moovデータに含まれているstcoアトムのデータ、stscアトムのデータ、stszアトムのデータ、その他の必要なデータを更新する。図4のステップS503が繰り返し実行されることにより、マイクロコンピュータ105は、図6の処理を繰り返す。これにより、揮発性メモリ106に生成される全体moovデータは更新される。動画撮像の終了時には、揮発性メモリ106には、撮像された動画データの最初から最後までの全体についての全体moovデータが生成される。 FIG. 6 is a detailed flowchart of the entire moov data generation process of FIG. The microcomputer 105 of the image pickup apparatus 1 of FIG. 1 executes the entire moov data generation process of FIG. 6 in step S503 of FIG. In step S701, the microcomputer 105 determines whether or not the entire moov data has been generated in the volatile memory 106. The overall moov data for this imaging was not generated immediately after the process of FIG. 4 was started. If the entire moov data for this imaging has not been generated, the microcomputer 105 advances the process to step S702. If the entire moov data for this imaging has already been generated, the microcomputer 105 advances the process to step S703. In step S702, the microcomputer 105 newly generates the entire moov data in the volatile memory 106. The whole moov data is data that becomes a moov atom of the MP4 file. The whole moov data has stco atom data, stsc atom data, stsz atom data, and other necessary data so as to correspond to the moving image data. After that, the microcomputer 105 advances the process to step S703. In step S703, the microcomputer 105 updates the entire moov data generated in the volatile memory 106. The microcomputer 105 updates the stco atom data, the stsc atom data, the stsz atom data, and other necessary data contained in the entire moov data so as to correspond to the image data up to the processing time point. By repeatedly executing step S503 of FIG. 4, the microcomputer 105 repeats the process of FIG. As a result, the entire moov data generated in the volatile memory 106 is updated. At the end of moving image imaging, the volatile memory 106 generates overall moov data for the entire captured moving image data from the beginning to the end.

図7は、図4の全体moovファイル生成処理の詳細なフローチャートである。図1の撮像装置1のマイクロコンピュータ105は、図4のステップS505において、図7の全体moovファイルの生成処理を実行する。 FIG. 7 is a detailed flowchart of the entire moov file generation process of FIG. The microcomputer 105 of the image pickup apparatus 1 of FIG. 1 executes the generation process of the entire moov file of FIG. 7 in step S505 of FIG.

ステップS801において、マイクロコンピュータ105は、揮発性メモリ106に生成されている全体moovデータの最終的なサイズが、FATで管理されている外部メモリ112のクラスタサイズアライメントになっているか否かを判断する。FATにおけるクラスタサイズとは、データを記録したことによって、使用してしまうデータ単位サイズのことである。仮にクラスタサイズが32KByteである場合、1Byteのデータを記録したとしても、32KByteの領域が使用されることになる。マイクロコンピュータ105は、全体moovデータの最終的なサイズが、クラスタサイズの倍数になっているか否かを判断してよい。全体moovデータの最終的なサイズがクラスタサイズの倍数となっていない場合、マイクロコンピュータ105は、処理をステップS802へ進める。たとえば全体moovデータが50KByteであり、外部メモリ112のクラスタサイズが32KByteである場合、全体moovデータの最終的なサイズはクラスタサイズの倍数となっていない。マイクロコンピュータ105は、処理をステップS802へ進める。全体moovデータの最終的なサイズがクラスタサイズの倍数となっている場合、マイクロコンピュータ105は、処理をステップS803へ進める。たとえば全体moovデータが64KByteであり、外部メモリ112のクラスタサイズが32KByteである場合、全体moovデータの最終的なサイズはクラスタサイズの倍数となる。マイクロコンピュータ105は、処理をステップS803へ進める。 In step S801, the microcomputer 105 determines whether or not the final size of the total moov data generated in the volatile memory 106 is the cluster size alignment of the external memory 112 managed by the FAT. .. The cluster size in FAT is the data unit size that is used by recording data. If the cluster size is 32KByte, even if the data of 1Byte is recorded, the area of 32KByte will be used. The microcomputer 105 may determine whether the final size of the total moov data is a multiple of the cluster size. If the final size of the total moov data is not a multiple of the cluster size, the microcomputer 105 proceeds to step S802. For example, if the total moov data is 50 KByte and the cluster size of the external memory 112 is 32 KByte, the final size of the total moov data is not a multiple of the cluster size. The microcomputer 105 advances the process to step S802. If the final size of the total moov data is a multiple of the cluster size, the microcomputer 105 advances the process to step S803. For example, if the total moov data is 64KByte and the cluster size of the external memory 112 is 32KByte, the final size of the total moov data will be a multiple of the cluster size. The microcomputer 105 advances the process to step S803.

ステップS802において、マイクロコンピュータ105は、freeアトムの追加処理を実行する。マイクロコンピュータ105は、クラスタアライメントサイズでない全体moovデータに対してfreeアトムを付け足して、全体moovデータをクラスタサイズアライメントとする。freeアトムは、元の全体moovデータの後に付け足されてよい。これにより、全体moovデータは、外部メモリ112のクラスタサイズの倍数のものになる。ここで、freeアトムとは、文字通り自由に定義できるデータであり、一般的には空白を示すデータが使用されている。たとえば元の全体moovデータが50Kbyteであり、外部メモリ112のクラスタサイズが32KByteである場合、元の全体moovデータの後には、freeアトムが追加される。この場合、追加後の全体moovデータは、たとえば64KByteでよい。その後、マイクロコンピュータ105は、処理をステップS803へ進める。ステップS803において、マイクロコンピュータ105は、全体moovファイルの記録処理を実行する。マイクロコンピュータ105は、揮発性メモリ106に記録されている全体moovデータを、moovファイルとして外部メモリ112に記録する。外部メモリ112に記録される全体moovファイルのファイル名は、動画ストリームファイルのファイル名とされてよい。ファイル名は、たとえばMVI_0001.MP4でよい。図4のステップS505が実行されることにより、マイクロコンピュータ105は、図7の処理を実行する。これにより、動画撮像の終了後に、外部メモリ112には、撮像された動画データの最初から最後までの全体についての全体moovファイルが記録される。 In step S802, the microcomputer 105 executes additional processing of the free atom. The microcomputer 105 adds a free atom to the total moov data that is not the cluster alignment size, and sets the total moov data as the cluster size alignment. The free atom may be added after the original whole moov data. As a result, the total moov data becomes a multiple of the cluster size of the external memory 112. Here, the free atom is data that can be literally freely defined, and generally, data indicating a blank is used. For example, if the original total moov data is 50 Kbytes and the cluster size of the external memory 112 is 32 KBbytes, a free atom is added after the original total moov data. In this case, the total moov data after addition may be, for example, 64KByte. After that, the microcomputer 105 advances the process to step S803. In step S803, the microcomputer 105 executes the recording process of the entire moov file. The microcomputer 105 records the entire moov data recorded in the volatile memory 106 as a moov file in the external memory 112. The file name of the entire moov file recorded in the external memory 112 may be the file name of the video stream file. The file name is, for example, MVI_0001. MP4 is fine. By executing step S505 of FIG. 4, the microcomputer 105 executes the process of FIG. 7. As a result, after the end of the moving image imaging, the entire moov file for the entire captured moving image data from the beginning to the end is recorded in the external memory 112.

図8は、動画ストリームファイルを生成するためのFAT処理の説明図である。図4のステップS501からステップS505までの処理により、外部メモリ112には、撮像された動画データをストリーミング再生可能な形式で含む動画データファイルと、その動画データの全体についての全体moovファイルと、が記録される。マイクロコンピュータ105は、ステップS506において、外部メモリ112のFATを書き換えて外部メモリ112に記録した複数のファイルを結合して、動画ストリームファイルを外部メモリ112に生成して記録する。 FIG. 8 is an explanatory diagram of FAT processing for generating a moving image stream file. By the processing from step S501 to step S505 of FIG. 4, the external memory 112 contains a video data file containing the captured video data in a streamable format, and an entire moov file for the entire video data. Recorded. In step S506, the microcomputer 105 rewrites the FAT of the external memory 112, combines a plurality of files recorded in the external memory 112, and generates and records a moving image stream file in the external memory 112.

図8(a)は、動画データを含む動画データファイルが書き込まれた外部メモリ112の説明図である。図8(a)に斜線範囲として示すように、動画データファイルは、外部メモリ112の1番目のクラスタと2番目のクラスタとにまたがって記録されている。この場合、外部メモリ112のFATには、動画データファイルの開始位置である1番目のクラスタに対応するセルに、0x02が記録される。0x02は、1番目のクラスタのデータが、2番目のクラスタのデータとつながった一連のデータであることを示している。FATの2番目のクラスタに対応するセルには、0xFFが記録される。0xFFは、ファイルのデータが、セルに対応するクラスタで終了することを意味する。これにより、外部メモリ112のFATには、外部メモリ112の1番目のクラスタから2番目のクラスタにかけて1つの動画データファイル(stream.DATファイル)が記録されていることが、記録される。外部メモリ112のFATには、動画データファイルを読み出す際には、図中に矢印で示す順番で複数のクラスタを読み出すことが記録される。 FIG. 8A is an explanatory diagram of the external memory 112 in which the moving image data file including the moving image data is written. As shown in FIG. 8A as a shaded area, the moving image data file is recorded across the first cluster and the second cluster of the external memory 112. In this case, 0x02 is recorded in the FAT of the external memory 112 in the cell corresponding to the first cluster, which is the start position of the moving image data file. 0x02 indicates that the data of the first cluster is a series of data connected to the data of the second cluster. 0xFF is recorded in the cell corresponding to the second cluster of FAT. 0xFF means that the data in the file ends in the cluster corresponding to the cell. As a result, it is recorded that one moving image data file (stream.DAT file) is recorded in the FAT of the external memory 112 from the first cluster to the second cluster of the external memory 112. When reading the moving image data file, the FAT of the external memory 112 records that a plurality of clusters are read in the order indicated by the arrows in the figure.

図8(b)は、動画データファイルに加えて、動画ストリームファイルについての全体moovファイル、が書き込まれた外部メモリ112の説明図である。図8(b)に点領域として示すように、全体moovファイルは、外部メモリ112の3番目のクラスタに記録される。全体moovファイルの前半部分には、moovアトムのデータが含まれ、後半部分には、クラスタサイズアライメントをとるために付け足したfreeアトムのデータが含まれる。freeアトムのデータが付加されることにより、全体moovファイルのサイズは、クラスタの倍数のデータ量となり、クラスタに収まっている。この場合、外部メモリ112のFATには、全体moovファイルが記録される3番目のクラスタに対応するセルに、0xFFが記録される。これにより、外部メモリ112のFATには、外部メモリ112の3番目のクラスタに1つの全体moovファイル(MVI_0001.MP4ファイル)が記録されていることが、記録される。 FIG. 8B is an explanatory diagram of the external memory 112 in which the entire moov file for the moving image stream file is written in addition to the moving image data file. As shown as a point region in FIG. 8 (b), the entire moov file is recorded in a third cluster of external memory 112. The first half of the whole moov file contains the data of the moov atom, and the second half contains the data of the free atom added for cluster size alignment. By adding the data of the free atom, the size of the whole moov file becomes a multiple of the data amount of the cluster and fits in the cluster. In this case, 0xFF is recorded in the FAT of the external memory 112 in the cell corresponding to the third cluster in which the entire moov file is recorded. As a result, it is recorded in the FAT of the external memory 112 that one whole moov file (MVI_0001.MP4 file) is recorded in the third cluster of the external memory 112.

図8(c)は、ステップS506によるFATの書き換え処理後の外部メモリ112の説明図である。動画ストリームファイルをストリーミング再生するためには、図3(a)の形式が適している。一方で、動画ストリームファイルを生成するためには、図3(b)の形式が適している。FATの書き換え処理前の図8(b)の外部メモリ112では、動画ストリームファイルのクラスタの後に、全体moovファイルのクラスタが位置している。外部メモリ112の先頭から順番にこれらのデータを読み出した場合、それによるストリーミング再生データは、図3(b)の形式のものになる。 FIG. 8C is an explanatory diagram of the external memory 112 after the FAT rewriting process in step S506. In order to stream the video stream file, the format shown in FIG. 3A is suitable. On the other hand, in order to generate a moving image stream file, the format of FIG. 3B is suitable. In the external memory 112 of FIG. 8B before the FAT rewriting process, the cluster of the entire moov file is located after the cluster of the video stream files. When these data are read out in order from the beginning of the external memory 112, the streaming playback data resulting from the reading is in the format shown in FIG. 3 (b).

そこで、マイクロコンピュータ105は、ステップS506において、FATを書きかえて外部メモリ112に記録されている動画データファイルと全体moovファイルとを結合する。マイクロコンピュータ105は、結合後に動画ストリームファイルの先頭に全体moovデータが位置するように結合処理を実行する。具体的には、マイクロコンピュータ105は、FATにおいて全体moovファイルが記録される3番目のクラスタに対応するセルを、動画データファイルの先頭を記録しているクラスタを示す値に書き換える。図8(b)の外部メモリ112では、動画データファイルの先頭は1番目のクラスタである。マイクロコンピュータ105は、3番目のクラスタに対応するセルを、0x01に書き換える。これにより、外部メモリ112には、撮像装置1で撮像した動画データをストリーミング再生可能なMP4形式の動画ストリームファイルが生成される。外部メモリ112のFATには、動画ストリームファイルを読み出す際には、図中に矢印で示す順番で複数のクラスタを読み出すことが記録される。この動画ストリームファイルでは、図3(a)のように、ファイルの先頭に全体moovデータが含まれる。全体moovデータの後に、動画データが含まれる。生成される動画ストリームファイルでは、ファイルの先頭にmdatアトムが含まれ、moovアトムの後にmoovアトムが含まれることになる。マイクロコンピュータ105は、動画データファイルであるstream.DATを揮発性メモリ106へ読みだして、外部メモリ112へ再度書き込む処理を実行することなく、ストリーミング再生可能な動画ストリームファイルを生成できる。再書き込みでは、マイクロコンピュータ105は、揮発性メモリ106へ読みだしたstream.DATを、全体moovファイルであるMVI_0001.MP4の後に続けるように書き込むことになる。 Therefore, in step S506, the microcomputer 105 rewrites the FAT and combines the moving image data file recorded in the external memory 112 with the entire moov file. After the combination, the microcomputer 105 executes the combination process so that the entire moov data is located at the beginning of the moving image stream file. Specifically, the microcomputer 105 rewrites the cell corresponding to the third cluster in which the entire moov file is recorded in the FAT to a value indicating the cluster in which the head of the moving image data file is recorded. In the external memory 112 of FIG. 8B, the head of the moving image data file is the first cluster. The microcomputer 105 rewrites the cell corresponding to the third cluster to 0x01. As a result, an MP4 format moving image stream file capable of streaming and playing back the moving image data captured by the imaging device 1 is generated in the external memory 112. When reading the moving image stream file, the FAT of the external memory 112 records that a plurality of clusters are read in the order indicated by the arrows in the figure. In this moving image stream file, as shown in FIG. 3A, the entire moov data is included at the beginning of the file. Video data is included after the entire moov data. In the generated video stream file, the mdat atom is included at the beginning of the file, and the moov atom is included after the moov atom. The microcomputer 105 is a video data file, stream. A video stream file that can be streamed can be generated without performing a process of reading the DAT to the volatile memory 106 and writing it to the external memory 112 again. In the rewrite, the microcomputer 105 reads the stream to the volatile memory 106. DAT is a whole moov file, MVI_0001. It will be written to continue after MP4.

ところで、このように外部メモリ112においてストリーミング再生可能に生成される動画ストリームファイルは、撮像装置1または他の装置において編集処理がなされることがある。動画ストリームファイルの編集処理では、不要な部分である前後の動画データをカットしてその一部を切り出すことがある。そして、編集元の動画ストリームファイルのデータ量が多くなると、編集処理中でのデータの読み込みや更新などに時間がかかる。しかも、動画データの一部を切り出す編集処理をした場合、切り出した動画データを再生できるようにするために、動画ストリームファイルを一から再構築する必要がある。次に、このような編集処理の効率化を期待できる、本実施形態での動画ストリームファイルの生成処理について説明する。 By the way, the moving image stream file thus generated so as to be streamably reproducible in the external memory 112 may be edited by the image pickup apparatus 1 or another apparatus. In the editing process of a video stream file, the video data before and after the unnecessary part may be cut and a part thereof may be cut out. When the amount of data in the video stream file of the editing source becomes large, it takes time to read or update the data during the editing process. Moreover, when a part of the video data is cut out and edited, it is necessary to reconstruct the video stream file from scratch so that the cut out video data can be played back. Next, the video stream file generation process in the present embodiment, which can be expected to improve the efficiency of such editing process, will be described.

図9は、第一実施形態での撮像時の動画ストリームファイル生成処理のフローチャートである。図1の撮像装置1のマイクロコンピュータ105は、撮像装置1が動画ストリームファイルを生成するために動画データを撮像する場合に、生成手段として、図4の替わりに、図9の生成処理を実行する。また、動画ストリームファイルが最終的に記録される外部メモリ112は、組込機器で一般的に使用されているFAT(FAT Allocation Table)ファイルシステムを使用するものとする。図9の処理により最終的に生成される動画ストリームファイルは、図3(a)の形式のものとなり、ファイルの先頭にmoovアトムを含み、moovアトムの後にmdatアトムを含むものとなる。 FIG. 9 is a flowchart of the moving image stream file generation process at the time of imaging in the first embodiment. When the image pickup device 1 captures moving image data in order to generate a moving image stream file, the microcomputer 105 of the image pickup device 1 of FIG. 1 executes the generation process of FIG. 9 instead of FIG. 4 as a generation means. .. Further, the external memory 112 in which the moving image stream file is finally recorded uses the FAT (FAT Allocation Table) file system generally used in the embedded device. The video stream file finally generated by the process of FIG. 9 has the format shown in FIG. 3A, and includes a moov atom at the beginning of the file and an mdat atom after the moov atom.

ステップS1001において、マイクロコンピュータ105は、動画ストリームファイルを生成するための動画撮像が撮像装置1において開始されたか否かを判断する。マイクロコンピュータ105は、たとえば撮像装置1の操作部材114において動画撮像の開始ボタンが操作されると、動画撮像が開始されたと判断してよい。動画撮像が開始されていない場合、マイクロコンピュータ105は、本処理を繰り返す。動画撮像が開始されると、マイクロコンピュータ105は、処理をステップS1002へ進める。ステップS1002において、マイクロコンピュータ105は、取得手段として、撮像による動画データを取得して、画像データの全体を複数に分割してなる分割画像データについての分割moovデータの生成処理を実行する。分割moovデータの生成処理の詳細は、図11において後述する。マイクロコンピュータ105は、分割moovデータを、外部メモリ112において分割moovファイルとして生成して記録してもよいが、動画データファイルに含まれる動画データの一部として揮発性メモリ106において生成する。ステップS1003において、マイクロコンピュータ105は、動画データファイルの生成処理を実行する。動画データファイルの生成処理は、図5と同様でよい。マイクロコンピュータ105は、撮像による動画データとともに分割moovデータを含む揮発性メモリ106の動画データを記録するための動画データファイルを外部メモリ112に生成する。マイクロコンピュータ105は、揮発性メモリ106にある動画データを、適宜、動画データファイルに退避する。ステップS1004において、マイクロコンピュータ105は、動画データの全体についての全体moovデータの生成処理を実行する。全体moovデータの生成処理の詳細は、図6と同様でよい。 In step S1001, the microcomputer 105 determines whether or not the moving image imaging for generating the moving image stream file has been started in the imaging device 1. The microcomputer 105 may determine that the moving image imaging has started when, for example, the operation member 114 of the imaging device 1 operates the moving image imaging start button. If the moving image imaging has not started, the microcomputer 105 repeats this process. When the moving image imaging is started, the microcomputer 105 advances the process to step S1002. In step S1002, as an acquisition means, the microcomputer 105 acquires moving image data by imaging and executes a process of generating divided moov data for the divided image data obtained by dividing the entire image data into a plurality of parts. Details of the generation process of the divided moov data will be described later in FIG. The microcomputer 105 may generate and record the divided moov data as a divided moov file in the external memory 112, but generate the divided moov data in the volatile memory 106 as a part of the moving image data included in the moving image data file. In step S1003, the microcomputer 105 executes a process of generating a moving image data file. The process of generating the moving image data file may be the same as that in FIG. The microcomputer 105 generates a moving image data file in the external memory 112 for recording the moving image data of the volatile memory 106 including the divided moov data together with the moving image data obtained by imaging. The microcomputer 105 appropriately saves the moving image data in the volatile memory 106 into a moving image data file. In step S1004, the microcomputer 105 executes a process of generating whole moov data for the whole moving image data. The details of the generation process of the entire moov data may be the same as in FIG.

ステップS1005において、マイクロコンピュータ105は、動画ストリームファイルを生成するための動画撮像が撮像装置1において停止または終了したか否かを判断する。マイクロコンピュータ105は、たとえば撮像装置1の操作部材114において動画撮像の終了ボタンが操作されると、動画撮像が終了したと判断してよい。動画撮像が終了していない場合、マイクロコンピュータ105は、処理をステップS1002へ戻す。マイクロコンピュータ105は、動画撮像が終了するまで、ステップS1002からステップS1005の処理を繰り返す。動画の撮像が継続される。動画撮像が終了すると、マイクロコンピュータ105は、処理をステップS1106へ進める。ステップS1106において、マイクロコンピュータ105は、分割動画データの生成のたびにステップS1104の処理を繰り返すことにより生成している全体moovデータを用いて、全体moovファイルを生成処理を実行する。マイクロコンピュータ105は、ステップS1104で最終的に生成した全体moovデータを含む全体moovファイルを、外部メモリ112に記録する。全体moovファイルの生成処理の詳細は、図7と同様でよい。ステップS1007において、マイクロコンピュータ105は、以上の処理により外部メモリ112に記録した動画データファイル、全体moovファイルといった複数のファイルの結合処理を実行する。外部メモリ112は、FATファイルシステムを使用している。このため、マイクロコンピュータ105は、外部メモリ112のFATを書きかえることにより、外部メモリ112に記録している複数のファイルを結合する。ファイル結合処理の仕方は、図8に倣ったものでよい。これにより、外部メモリ112には、動画ストリームファイルが生成して記録される。 In step S1005, the microcomputer 105 determines whether or not the moving image imaging for generating the moving image stream file has been stopped or ended in the image pickup apparatus 1. The microcomputer 105 may determine that the moving image imaging is completed when, for example, the operation member 114 of the imaging device 1 operates the moving image imaging end button. If the moving image acquisition is not completed, the microcomputer 105 returns the process to step S1002. The microcomputer 105 repeats the processes of steps S1002 to S1005 until the moving image imaging is completed. Video recording continues. When the moving image imaging is completed, the microcomputer 105 advances the process to step S1106. In step S1106, the microcomputer 105 executes the whole moov file generation process by using the whole moov data generated by repeating the process of step S1104 every time the divided moving image data is generated. The microcomputer 105 records the entire moov file including the entire moov data finally generated in step S1104 in the external memory 112. The details of the generation process of the entire moov file may be the same as in FIG. 7. In step S1007, the microcomputer 105 executes a combination process of a plurality of files such as a moving image data file and an entire moov file recorded in the external memory 112 by the above process. The external memory 112 uses the FAT file system. Therefore, the microcomputer 105 combines a plurality of files recorded in the external memory 112 by rewriting the FAT of the external memory 112. The method of file combination processing may be the same as that shown in FIG. As a result, the moving image stream file is generated and recorded in the external memory 112.

図10は、図9の分割moovデータ生成処理の詳細なフローチャートである。図1の撮像装置1のマイクロコンピュータ105は、図9のステップS1002の処理において、図10の分割moovデータの生成処理を実行する。図10では、マイクロコンピュータ105は、分割moovデータを、動画データファイルに含まれる動画データの一部として揮発性メモリ106において生成する。 FIG. 10 is a detailed flowchart of the divided moov data generation process of FIG. The microcomputer 105 of the image pickup apparatus 1 of FIG. 1 executes the process of generating the divided moov data of FIG. 10 in the process of step S1002 of FIG. In FIG. 10, the microcomputer 105 generates the divided moov data in the volatile memory 106 as a part of the moving image data included in the moving image data file.

ステップS1101において、マイクロコンピュータ105は、動画データが分割単位のデータ量となっているか否かを判断する。動画データを分割する単位データ量は、基本的に任意のものでよい。単位データ量は、固定量であってもよいが、動画データの境界に応じた変動量とするとよい。単位データ量は、たとえば動画データの30分ごとGOP境界のフレームとしてよい。単位データ量は、動画データのGOP境界のフレームとしてよい。動画データが分割単位のデータ量となっていない場合、マイクロコンピュータ105は、1つの分割動画データの処理中であるため、処理をステップS1105へ進める。動画データが分割単位のデータ量となっている場合、マイクロコンピュータ105は、次の分割動画データの処理を開始するために、処理をステップS1102へ進める。ステップS1102において、マイクロコンピュータ105は、動画データファイルに分割moovデータのためのデータ領域を確保するために、動画データのストリームオフセットを更新する。分割動画データのデータ量がある程度判明している場合、分割moovデータとして確保しておいたらよいデータ量は決定し得る。マイクロコンピュータ105は、使用予定のデータ量で、動画データの中にデータ領域を確保する。 In step S1101, the microcomputer 105 determines whether or not the moving image data has a data amount in division units. The unit data amount for dividing the moving image data may be basically arbitrary. The unit data amount may be a fixed amount, but may be a variable amount according to the boundary of the moving image data. The unit data amount may be, for example, a frame at the GOP boundary every 30 minutes of moving image data. The unit data amount may be a frame at the GOP boundary of the moving image data. If the moving image data is not the amount of data in the division unit, the microcomputer 105 is processing one divided moving image data, so the process proceeds to step S1105. When the moving image data has a data amount in a division unit, the microcomputer 105 advances the processing to step S1102 in order to start the processing of the next divided moving image data. In step S1102, the microcomputer 105 updates the stream offset of the moving image data in order to reserve a data area for the divided moov data in the moving image data file. When the amount of data of the divided moving image data is known to some extent, the amount of data that should be secured as the divided moov data can be determined. The microcomputer 105 secures a data area in the moving image data with the amount of data to be used.

ステップS1103において、マイクロコンピュータ105は、分割moovデータを動画データに埋め込む処理段階であるか否かを判断する。分割moovデータを動画データに埋め込む処理段階である場合、マイクロコンピュータ105は、処理をステップS1104へ進める。分割moovデータを動画データに埋め込む処理段階でない場合、マイクロコンピュータ105は、処理をステップS1105へ進める。ステップS1104において、マイクロコンピュータ105は、現時点で生成している分割moovデータを、ステップS1102において確保していたデータ領域に書き込む。分割moovデータには、uuidを含めてよい。uuidを用いることにより、分割moovデータに、独自のデータを格納できる。分割moovデータには、分割動画データについてのメタデータ、分割動画データの代表静止画データを格納してよい。このような分割moovデータは、分割動画データをストリーミング再生する際の分割管理情報として利用可能である。分割moovデータは、分割動画データとともに分割動画ファイルとされることにより、ストリーミング再生が可能となる。また、分割moovデータのuuidは、動画データの全体を管理する全体管理情報としての全体moovデータなどに記録してもよい。これにより、容易に分割位置を特定することかできる。ステップS1104において、マイクロコンピュータ105は、分割moovデータを更新する。マイクロコンピュータ105は、現在の分割動画データにより、分割moovデータのstcoやstszを更新する。 In step S1103, the microcomputer 105 determines whether or not it is a processing step of embedding the divided moov data in the moving image data. When the process stage of embedding the divided moov data in the moving image data, the microcomputer 105 advances the process to step S1104. If it is not the processing stage of embedding the divided moov data in the moving image data, the microcomputer 105 advances the processing to step S1105. In step S1104, the microcomputer 105 writes the divided moov data currently generated in the data area secured in step S1102. The uuid may be included in the divided moov data. By using the uuid, it is possible to store unique data in the divided moov data. In the divided moov data, metadata about the divided moving image data and representative still image data of the divided moving image data may be stored. Such divided moov data can be used as division management information when streaming and reproducing the divided moving image data. The divided moov data can be streamed and reproduced by being made into a divided moving image file together with the divided moving image data. Further, the uuid of the divided moov data may be recorded in the whole moov data or the like as the whole management information for managing the whole of the moving image data. Thereby, the division position can be easily specified. In step S1104, the microcomputer 105 updates the divided moov data. The microcomputer 105 updates the stco and stsz of the divided moov data with the current divided moving image data.

図11は、第一実施形態において動画ストリームファイル生成処理により外部メモリ112に生成される動画ストリームファイルの説明図である。マイクロコンピュータ105が図9および図10の動画ストリームファイル生成処理を実行することにより、図11の動画ストリームファイルが外部メモリ112に生成して記録される。図11の動画ストリームファイルは、動画データをストリーミング再生するための全体管理情報を構成する全体moovアトム1101およびmdat全体の全体ヘッダ領域1102、を有する。全体moovアトム1101には、ファイルタイプftyp、動画のメタデータmoov、を含む。全体ヘッダ領域1102には、動画データの全体でのデータサイズが記録される。 FIG. 11 is an explanatory diagram of a moving image stream file generated in the external memory 112 by the moving image stream file generation process in the first embodiment. When the microcomputer 105 executes the moving image stream file generation processing of FIGS. 9 and 10, the moving image stream file of FIG. 11 is generated and recorded in the external memory 112. The moving image stream file of FIG. 11 has an entire moov atom 1101 and an overall header area 1102 of the entire mdat that constitute overall management information for streaming and reproducing the moving image data. The whole moov atom 1101 includes a file type ftyp, a moving image metadata moov. In the whole header area 1102, the total data size of the moving image data is recorded.

また、図11の動画ストリームファイルは、全体ヘッダ領域1102の後に、動画ストリームファイルについての動画データを有する。動画ストリームファイルの動画データは、複数のmdatアトム1105,1108に分割して格納される。複数のmdatアトム1105,1108の各々は、動画データの全体を複数に分割した分割動画データを含む。また、動画データは、複数のmdatアトム1105,1108に対応する複数の分割管理情報、を有する。分割管理情報は、各分割動画データをストリーミング再生するための管理情報である。分割管理情報は、基本的に全体管理情報と同様の構成でよい。ここでは、動画ストリームファイルの1番目の分割管理情報は、分割moovアトム1103と、それ対応する分割ヘッダ領域1104と、を有する。分割moovアトム1103は、ファイルタイプftyp、1番目の分割動画データのメタデータmoov、を含む。分割ヘッダ領域1104には、1番目の分割動画データのデータサイズが記録される。2番目の分割管理情報は、分割moovアトム1106と、それ対応する分割ヘッダ領域1107と、を有する。分割moovアトム1106は、ファイルタイプftyp、2番目の分割動画データのメタデータmoov、を含む。分割ヘッダ領域1107には、2番目の分割動画データのデータサイズが記録される。 Further, the moving image stream file of FIG. 11 has moving image data about the moving image stream file after the whole header area 1102. The moving image data of the moving image stream file is divided and stored in a plurality of mdat atoms 1105 and 1108. Each of the plurality of mdat atoms 1105 and 1108 includes divided moving image data obtained by dividing the entire moving image data into a plurality of parts. Further, the moving image data has a plurality of division management information corresponding to the plurality of mdat atoms 1105 and 1108. The split management information is management information for streaming and playing back each split video data. The division management information may basically have the same configuration as the overall management information. Here, the first division management information of the moving image stream file has a division moov atom 1103 and a corresponding division header area 1104. The split moov atom 1103 includes a file type ftyp, a metadata moov of the first split video data. The data size of the first divided moving image data is recorded in the divided header area 1104. The second division management information has a division moov atom 1106 and a corresponding division header area 1107. The split moov atom 1106 includes the file type ftyp, the metadata moov of the second split video data. The data size of the second divided moving image data is recorded in the divided header area 1107.

そして、分割moovアトム1103、分割ヘッダ領域1104、分割moovアトム1106、および、分割ヘッダ領域1107は、全体を管轄する全体moovアトム1101からは参照されないデータ領域とされている。参照されないというのは、全体moovアトム1101に格納されるstcoおよびstszから算出されるデータ格納領域に該当しない領域であるということを意味する。これに対し、複数のmdatアトム1105,1108は、全体を管轄する全体moovアトム1101からは連続したデータ領域として参照される。また、分割moovアトム1103には、mdatアトム1105に格納される分割画像データについてのstcoおよびstszが構築される。分割moovアトム1107には、mdatアトム1108に格納される分割画像データについてのstcoおよびstszが構築される。 The divided moov atom 1103, the divided header area 1104, the divided moov atom 1106, and the divided header area 1107 are data areas that are not referenced by the entire moov atom 1101 that has jurisdiction over the whole. Not referenced means that the area does not correspond to the data storage area calculated from stco and stsz stored in the entire moov atom 1101. On the other hand, the plurality of mdat atoms 1105 and 1108 are referred to as continuous data areas from the whole moov atom 1101 which has jurisdiction over the whole. Further, in the divided moov atom 1103, stco and stsz for the divided image data stored in the mdat atom 1105 are constructed. In the divided moov atom 1107, stco and stsz for the divided image data stored in the mdat atom 1108 are constructed.

このようにマイクロコンピュータ105は、生成手段として、動画データの動画ストリームファイルを生成する際に、動画データの全体をストリーミング再生するための全体管理情報とともに、分割動画データの分割管理情報を生成する。また、マイクロコンピュータ105は、分割動画データの分割管理情報については、全体管理情報から参照されないように生成する。また、分割動画データの分割管理情報は、動画データの全体をストリーミング再生するための全体管理情報と同様の形式で生成される。分割管理情報には、対応する分割動画データについての撮像時メタデータおよび代表動画データが含まれてよい。また、生成する動画データの全体管理情報には、分割動画データの管理情報の領域を含むデータサイズが記録される。 As described above, as a generation means, the microcomputer 105 generates the divided management information of the divided moving image data together with the overall management information for streaming and reproducing the entire moving image data when the moving image stream file of the moving image data is generated. Further, the microcomputer 105 generates the divided management information of the divided moving image data so as not to be referred to from the overall management information. Further, the divided management information of the divided moving image data is generated in the same format as the overall management information for streaming and playing the entire moving image data. The division management information may include image capture metadata and representative moving image data for the corresponding divided moving image data. Further, in the overall management information of the generated moving image data, the data size including the area of the management information of the divided moving image data is recorded.

このようなファイルフォーマットの図11の動画ストリームファイルは、全体moovアトム1101を用いて、複数のmdatアトム1105,1108に含まれる複数の分割動画データを連続的にストリーミング再生することができる。図11の動画ストリームファイルは、分割moovアトム1103、分割ヘッダ領域1104、分割moovアトム1106、および分割ヘッダ領域1107を含んでいるにもかかわらず、それに影響されることなくストリーミング再生できる。ストリーミング再生において複数の分割動画データは順番に再生される。図11の動画ストリームファイルは、これらの分割管理情報を含まない図2の動画ストリームファイルと同様に、複数の分割動画データによる動画データをストリーミング再生することができる。 In the moving image stream file of FIG. 11 having such a file format, a plurality of divided moving image data included in a plurality of mdat atoms 1105 and 1108 can be continuously streamed by using the whole moov atom 1101. Although the moving image stream file of FIG. 11 includes the divided moov atom 1103, the divided header area 1104, the divided moov atom 1106, and the divided header area 1107, the video stream file can be streamed without being affected by the divided moov atom 1103. In streaming playback, a plurality of divided video data are played back in order. The moving image stream file of FIG. 11 can be streamed and reproduced with a plurality of divided moving image data, similarly to the moving image stream file of FIG. 2 which does not include the divided management information.

また、図11の動画ストリームファイルは、動画データを複数の分割動画データに分けて記録し、さらに分割動画データごとの複数の分割管理情報を含んでいる。したがって、図11の動画ストリームファイルから、たとえばmdatアトム1105を切り出す編集処理では、mdatアトム1105とともにその分割管理情報を含む分割moovアトム1103および分割ヘッダ領域1104を切り出すことができる。これらを含む分割動画ストリームファイルは、mdatアトム1105の分割動画データをストリーミング再生可能なものとなる。mdatアトム1108を切り出す編集処理では、mdatアトム1108とともにその分割管理情報を含む分割moovアトム1106および分割ヘッダ領域1107を切り出すことができる。これらを含む分割動画ストリームファイルは、mdatアトム1108の分割動画データをストリーミング再生可能なものとなる。動画データの一部を切り出す編集処理では、切り出した分割画像データについての管理情報を新たに一から生成する必要がない。分割動画ストリームファイルの再構築を一から実行する必要がない。動画データの一部を切り出す編集処理は、短時間で終了できる。また、図11の動画ストリームファイルは容易に複数の分割動画ストリームファイルに分けて記録することができる。このため、図11の動画ストリームファイルを編集、コピー、転送する際には、それを複数に分割した複数の分割動画ストリームファイルを替わりに用いることができる。複数の分割動画ストリームファイルを用いることにより、編集処理の時間が短縮され得る。 Further, the moving image stream file of FIG. 11 divides and records the moving image data into a plurality of divided moving image data, and further includes a plurality of divided management information for each divided moving image data. Therefore, in the editing process for cutting out, for example, the mdat atom 1105 from the moving image stream file of FIG. 11, the split moov atom 1103 and the split header area 1104 including the split management information can be cut out together with the mdat atom 1105. The divided moving image stream file including these can be streamed and reproduced the divided moving image data of mdat atom 1105. In the editing process for cutting out the mdat atom 1108, the split moov atom 1106 and the split header area 1107 including the split management information can be cut out together with the mdat atom 1108. The divided moving image stream file including these can be streamed and reproduced the divided moving image data of mdat atom 1108. In the editing process for cutting out a part of the moving image data, it is not necessary to newly generate the management information for the cut out divided image data from scratch. There is no need to rebuild the split video stream file from scratch. The editing process for cutting out a part of the video data can be completed in a short time. Further, the moving image stream file of FIG. 11 can be easily divided into a plurality of divided moving image stream files and recorded. Therefore, when editing, copying, and transferring the moving image stream file of FIG. 11, a plurality of divided moving image stream files obtained by dividing the moving image stream file into a plurality of parts can be used instead. By using a plurality of divided video stream files, the editing process time can be shortened.

以上のように、本実施形態では、動画データについての動画ストリームファイルを生成する際に、動画データを複数の分割動画データに分割し、動画データの全体をストリーミング再生するための全体管理情報を生成する。本実施形態では、動画データを分割した複数の分割動画データと、全体管理情報とを含む、1つの動画ストリームファイルを生成する。また、本実施形態では、動画ストリームファイルを生成する際に、全体管理情報とともに、分割動画データの分割管理情報を、全体管理情報から参照されないように生成する。これにより、動画ストリームファイルは、全体管理情報を用いて、埋め込まれている分割動画データの分割管理情報に影響されることなく、複数の分割動画データに分割されている動画データの全体をストリーミング再生することができる。 As described above, in the present embodiment, when the video stream file for the video data is generated, the video data is divided into a plurality of divided video data, and the overall management information for streaming the entire video data is generated. do. In the present embodiment, one moving image stream file including a plurality of divided moving image data obtained by dividing the moving image data and overall management information is generated. Further, in the present embodiment, when the moving image stream file is generated, the divided management information of the divided moving image data is generated so as not to be referred from the overall management information together with the overall management information. As a result, the video stream file uses the overall management information to stream the entire video data divided into a plurality of divided video data without being affected by the divided management information of the embedded divided video data. can do.

しかも、本実施形態では、動画データの動画ストリームファイルにおいて、分割動画データの分割管理情報が、各分割動画データに対応付けて生成されている。ここで、分割動画データの分割管理情報は、動画データをストリーミング再生するための全体管理情報と同様の形式である。したがって、各分割動画データは、編集処理において、分割管理情報とともに切り出して1つの分割動画ストリームファイルとすることにより、分割動画データごとにストリーミング再生可能となる。編集処理において動画ストリームファイルの動画データから切り出した分割動画データを再生できるようにするために、切り出した分割動画データについての管理情報を一から新たに生成する必要はない。分割動画データを切り出して再生できるようにするための編集処理は改善され得る。 Moreover, in the present embodiment, in the moving image stream file of the moving image data, the divided management information of the divided moving image data is generated in association with each divided moving image data. Here, the divided management information of the divided moving image data has the same format as the overall management information for streaming and playing the moving image data. Therefore, each divided moving image data can be streamed and reproduced for each divided moving image data by cutting out the divided moving image data together with the divided management information into one divided moving image stream file in the editing process. In order to be able to play the divided video data cut out from the video data of the video stream file in the editing process, it is not necessary to newly generate the management information about the cut out divided video data from scratch. The editing process for cutting out and playing the divided moving image data can be improved.

その結果、本実施形態では、既に生成されている動画ストリームファイルの動画データについて編集処理をする際には、切り出した分割動画データについての管理情報を一から新たに生成する必要はない。分割動画データは、それとともに管理情報が併せて切り出されることにより、画像ファイルとして保存して編集処理に用いることができる。動画データの一部を切り出す編集処理において、切り出し処理のたびに、切り出した動画データを再生できるようにするために動画ストリームファイルを一から再構築する必要はない。切り出した動画データの動画ストリームファイルは、短時間で容易に生成できる。 As a result, in the present embodiment, when editing the moving image data of the already generated moving image stream file, it is not necessary to newly generate the management information about the cut out divided moving image data from scratch. The divided moving image data can be saved as an image file and used for editing processing by cutting out the management information together with the divided moving image data. In the editing process for cutting out a part of the video data, it is not necessary to reconstruct the video stream file from scratch so that the cut out video data can be played each time the cut out process is performed. A video stream file of the cut out video data can be easily generated in a short time.

そして、たとえば長時間記録したMP4形式の動画ストリームファイルのサイズが大きいとしても、その動画ストリームファイルについての必要な一部を切り出してコンピュータ装置などへ短時間でコピーし得る。分割動画データごとに画像ファイルにされていることにより、分割動画データごとにシーンのサーチをすればよく、サーチのたびに動画データの先頭からサーチする必要がなくなり、サーチに要する時間も短くなり得る。画像ファイルを外部装置へ送信する場合にも、必要な分割画像ファイルの分割動画データを送信するようにすることで、短時間で送信し得る。 Then, for example, even if the size of the MP4 format video stream file recorded for a long time is large, a necessary part of the video stream file can be cut out and copied to a computer device or the like in a short time. Since the image file is created for each divided video data, it is sufficient to search the scene for each divided video data, and it is not necessary to search from the beginning of the video data each time the search is performed, and the time required for the search can be shortened. .. Even when the image file is transmitted to an external device, it can be transmitted in a short time by transmitting the required divided moving image data of the divided image file.

[第二実施形態]
次に、本発明の第二実施形態に係る動画ストリームファイル生成装置を有する撮像装置1を説明する。以下の説明では、主に上述した実施形態との相違点について説明する。
[Second Embodiment]
Next, the image pickup apparatus 1 having the moving image stream file generation apparatus according to the second embodiment of the present invention will be described. In the following description, differences from the above-described embodiments will be mainly described.

図12は、第二実施形態での撮像時の動画ストリームファイル生成処理のフローチャートである。図1の撮像装置1のマイクロコンピュータ105は、撮像装置1が動画ストリームファイルを生成するために動画データを撮像する場合に、生成手段として、図9の替わりに、図12の生成処理を実行する。また、動画ストリームファイルが最終的に記録される外部メモリ112は、組込機器で一般的に使用されているFAT(FAT Allocation Table)ファイルシステムを使用するものとする。図12の処理により最終的に生成される動画ストリームファイルは、図3(a)の形式のものとなり、ファイルの先頭にmoovアトムを含み、moovアトムの後にmdatアトムを含むものとなる。 FIG. 12 is a flowchart of the moving image stream file generation process at the time of imaging in the second embodiment. When the image pickup device 1 captures moving image data in order to generate a moving image stream file, the microcomputer 105 of the image pickup device 1 of FIG. 1 executes the generation process of FIG. 12 instead of FIG. 9 as a generation means. .. Further, the external memory 112 in which the moving image stream file is finally recorded uses the FAT (FAT Allocation Table) file system generally used in the embedded device. The moving image stream file finally generated by the process of FIG. 12 has the format shown in FIG. 3A, and includes a moov atom at the beginning of the file and an mdat atom after the moov atom.

ステップS1201において、マイクロコンピュータ105は、動画ストリームファイルを生成するための動画撮像が撮像装置1において開始されたか否かを判断する。マイクロコンピュータ105は、たとえば撮像装置1の操作部材114において動画撮像の開始ボタンが操作されると、動画撮像が開始されたと判断してよい。動画撮像が開始されていない場合、マイクロコンピュータ105は、本処理を繰り返す。動画撮像が開始されると、マイクロコンピュータ105は、処理をステップS1202へ進める。ステップS1202において、マイクロコンピュータ105は、取得手段として、撮像による動画データを取得して、動画データファイルの生成処理を実行する。動画データファイルの生成処理は、図5と同様でよい。マイクロコンピュータ105は、撮像による動画データを記録するための動画データファイルを外部メモリ112に生成する。マイクロコンピュータ105は、揮発性メモリ106にある動画データを、適宜、動画データファイルに退避する。 In step S1201, the microcomputer 105 determines whether or not the moving image imaging for generating the moving image stream file has been started in the imaging device 1. The microcomputer 105 may determine that the moving image imaging has started when, for example, the operation member 114 of the imaging device 1 operates the moving image imaging start button. If the moving image imaging has not started, the microcomputer 105 repeats this process. When the moving image imaging is started, the microcomputer 105 advances the process to step S1202. In step S1202, the microcomputer 105 acquires moving image data by imaging as an acquisition means and executes a process of generating a moving image data file. The process of generating the moving image data file may be the same as that in FIG. The microcomputer 105 generates a moving image data file for recording moving image data by imaging in the external memory 112. The microcomputer 105 appropriately saves the moving image data in the volatile memory 106 into a moving image data file.

ステップS1203において、マイクロコンピュータ105は、動画データの全体についての全体moovデータの生成処理を実行する。全体moovデータの生成処理の詳細は、図6と同様でよい。ステップS1204において、マイクロコンピュータ105は、画像データの全体を複数に分割してなる分割画像データについての分割moovファイルの生成処理を実行する。マイクロコンピュータ105は、動画データが分割単位のデータ量となっている場合に、分割moovデータを生成し、外部メモリ112に分割moovファイルを記録する。この際、ステップS1202の処理により、外部メモリ112には、予め分割画像データが記録されていてよい。この場合、マイクロコンピュータ105は、分割moovデータの先頭が外部メモリ112のクラスタ境界となるように、外部メモリ112に記録されている分割画像データの後に、パディングを実行する。これにより、外部メモリ112に記録されている分割画像データは、クラスタの倍数サイズの分割画像データファイルとなる。その後、マイクロコンピュータ105は、分割moovデータを書き込む。分割moovデータは、予めクラスタサイズアライメントが確保されるようにパディングされている。分割moovデータは、クラスタの倍数サイズの倍数のデータ量のファイルとして、外部メモリ112に記録される。したがって、後に外部メモリ112に記録される次の分割画像データの先頭は、外部メモリ112のクラスタ境界となる。分割画像データは、上述したパディングにより、分割moovファイルとは別の、分割動画データファイルとして、外部メモリ112に記録される。その結果、外部メモリ112には、分割動画データファイルと、分割moovファイルとが交互に並ぶように、記録され得る。 In step S1203, the microcomputer 105 executes a process of generating whole moov data for the whole moving image data. The details of the generation process of the entire moov data may be the same as in FIG. In step S1204, the microcomputer 105 executes a process of generating a divided moov file for the divided image data obtained by dividing the entire image data into a plurality of parts. When the moving image data has a data amount of a division unit, the microcomputer 105 generates the divided moov data and records the divided moov file in the external memory 112. At this time, the divided image data may be recorded in advance in the external memory 112 by the process of step S1202. In this case, the microcomputer 105 executes padding after the divided image data recorded in the external memory 112 so that the head of the divided moov data is the cluster boundary of the external memory 112. As a result, the divided image data recorded in the external memory 112 becomes a divided image data file having a multiple size of the cluster. After that, the microcomputer 105 writes the divided moov data. The divided moov data is padded in advance so as to ensure cluster size alignment. The divided moov data is recorded in the external memory 112 as a file having a data amount that is a multiple of the size of the cluster. Therefore, the head of the next divided image data to be later recorded in the external memory 112 is the cluster boundary of the external memory 112. The divided image data is recorded in the external memory 112 as a divided moving image data file separate from the divided moov file by the above-mentioned padding. As a result, the divided moving image data file and the divided moov file can be recorded in the external memory 112 so as to be arranged alternately.

ステップS1205において、マイクロコンピュータ105は、動画ストリームファイルを生成するための動画撮像が撮像装置1において停止または終了したか否かを判断する。マイクロコンピュータ105は、たとえば撮像装置1の操作部材114において動画撮像の終了ボタンが操作されると、動画撮像が終了したと判断してよい。動画撮像が終了していない場合、マイクロコンピュータ105は、処理をステップS1202へ戻す。マイクロコンピュータ105は、動画撮像が終了するまで、ステップS1202からステップS1205処理を繰り返す。動画の撮像が継続される。動画撮像が終了すると、マイクロコンピュータ105は、処理をステップS1206へ進める。ステップS1206において、マイクロコンピュータ105は、分割動画データの生成のたびにステップS1203の処理を繰り返すことにより生成している全体moovデータを用いて、全体moovファイルを生成処理を実行する。マイクロコンピュータ105は、ステップS1203で最終的に生成した全体moovデータを含む全体moovファイルを、外部メモリ112に記録する。全体moovファイルの生成処理の詳細は、図7と同様でよい。 In step S1205, the microcomputer 105 determines whether or not the moving image imaging for generating the moving image stream file has been stopped or ended in the image pickup apparatus 1. The microcomputer 105 may determine that the moving image imaging is completed when, for example, the operation member 114 of the imaging device 1 operates the moving image imaging end button. If the moving image acquisition is not completed, the microcomputer 105 returns the process to step S1202. The microcomputer 105 repeats the process from step S1202 to step S1205 until the moving image imaging is completed. Video recording continues. When the moving image imaging is completed, the microcomputer 105 advances the process to step S1206. In step S1206, the microcomputer 105 executes the whole moov file generation process by using the whole moov data generated by repeating the process of step S1203 every time the divided moving image data is generated. The microcomputer 105 records the entire moov file including the entire moov data finally generated in step S1203 in the external memory 112. The details of the generation process of the entire moov file may be the same as in FIG. 7.

ステップS1207において、マイクロコンピュータ105は、以上の処理により外部メモリ112に記録した複数のファイルの結合処理を実行する。外部メモリ112には、以上の処理により、複数の分割動画データファイルと、複数の分割moovファイルと、全体moovファイルと、が記録されている。外部メモリ112は、FATファイルシステムを使用している。このため、マイクロコンピュータ105は、外部メモリ112のFATを書きかえることにより、外部メモリ112に記録している複数のファイルを結合する。ファイル結合処理の仕方は、図8に倣ったものでよい。たとえば、FATにおいて全体moovファイルの最終セルには、1番目の分割moovファイルを記述し、1番目の分割moovファイルの最終セルには、1番目の分割動画データファイルを記述する。1番目の分割動画データファイルの最終セルには、2番目の分割moovファイルを記述し、2番目の分割moovファイルの最終セルには、2番目の分割動画ストリームファイルを記述する。この結合処理により、マイクロコンピュータ105は、外部メモリ112において動画ストリームファイルを生成して記録できる。 In step S1207, the microcomputer 105 executes a combination process of a plurality of files recorded in the external memory 112 by the above process. By the above processing, the external memory 112 records a plurality of divided moving image data files, a plurality of divided moov files, and an entire moov file. The external memory 112 uses the FAT file system. Therefore, the microcomputer 105 combines a plurality of files recorded in the external memory 112 by rewriting the FAT of the external memory 112. The method of file combination processing may be the same as that shown in FIG. For example, in FAT, the first divided moov file is described in the final cell of the entire moov file, and the first divided moving image data file is described in the final cell of the first divided moov file. The second divided moov file is described in the final cell of the first divided video data file, and the second divided video stream file is described in the final cell of the second divided moov file. By this combination processing, the microcomputer 105 can generate and record a moving image stream file in the external memory 112.

図13は、第二実施形態において動画ストリームファイル生成処理により外部メモリ112に生成される動画ストリームファイルの説明図である。マイクロコンピュータ105が図12の動画ストリームファイル生成処理を実行することにより、図13の動画ストリームファイルが外部メモリ112に生成して記録される。 FIG. 13 is an explanatory diagram of a moving image stream file generated in the external memory 112 by the moving image stream file generation process in the second embodiment. When the microcomputer 105 executes the moving image stream file generation process of FIG. 12, the moving image stream file of FIG. 13 is generated and recorded in the external memory 112.

図13の動画ストリームファイルは、動画データをストリーミング再生するための全体管理情報を構成する全体moovアトム1301およびmdat全体の全体ヘッダ領域1302、を有する。全体ヘッダ領域1302の後には、外部メモリ112のクラスタ境界となる領域まで、パディングデータ1303が記録される。また、図13の動画ストリームファイルは、パディングデータ1303の後に、1番目の分割moovアトム1304と、1番目の分割ヘッダ領域1305と、1番目のmdatアトム1306と、が記録される。1番目のmdatアトム1306の後には、外部メモリ112のクラスタ境界となる領域まで、パディングデータ1307が記録される。また、図13の動画ストリームファイルは、パディングデータ1307の後に、2番目の分割moovアトム1308と、2番目の分割ヘッダ領域1309と、2番目のmdatアトム1310と、が記録される。2番目のmdatアトム1310の後には、外部メモリ112のクラスタ境界となる領域まで、不図示のパディングデータが記録されてもよい。 The moving image stream file of FIG. 13 has an entire moov atom 1301 and an overall header area 1302 of the entire mdat that constitute overall management information for streaming and reproducing the moving image data. After the entire header area 1302, the padding data 1303 is recorded up to the area that becomes the cluster boundary of the external memory 112. Further, in the moving image stream file of FIG. 13, after the padding data 1303, the first divided moov atom 1304, the first divided header area 1305, and the first mdat atom 1306 are recorded. After the first mdat atom 1306, the padding data 1307 is recorded up to the cluster boundary area of the external memory 112. Further, in the moving image stream file of FIG. 13, a second divided moov atom 1308, a second divided header area 1309, and a second mdat atom 1310 are recorded after the padding data 1307. After the second mdat atom 1310, padding data (not shown) may be recorded up to the cluster boundary area of the external memory 112.

このような動画ストリームファイルにおいて、パディングデータ1303,1307、分割moovアトム1304,1308、分割ヘッダ領域1305,1309は、全体moovアトム1301からは参照されないデータ領域とされている。参照されないというのは、全体moovアトム1301に格納されるstcoおよびstszから算出されるデータ格納領域に該当しない領域であるということを意味する。これに対し、複数のmdatアトム1306,1310は、全体moovアトム1301からは連続したデータ領域として参照される。また、分割moovアトム1304,1308には、mdatアトム1306,1310に格納される分割画像データについてのstcoおよびstszが構築される。そして、mdat全体の全体ヘッダ領域1302には、パディングデータ1303からmdatアトム1310までの、パッティングデータを含む動画データのサイズが記録される。 In such a moving image stream file, the padding data 1303, 1307, the divided moov atom 1304, 1308, and the divided header areas 1305, 1309 are regarded as data areas that are not referenced from the entire moov atom 1301. Not referenced means that the area does not correspond to the data storage area calculated from stco and stsz stored in the entire moov atom 1301. On the other hand, the plurality of mdat atoms 1306 and 1310 are referred to as continuous data areas from the whole moov atom 1301. Further, in the divided moov atom 1304, 1308, stco and stsz for the divided image data stored in the mdat atom 1306, 1310 are constructed. Then, the size of the moving image data including the putting data from the padding data 1303 to the mdat atom 1310 is recorded in the entire header area 1302 of the entire mdat.

また、図13の動画ストリームファイルは、動画データを複数の分割動画データに分けて記録し、さらに分割動画データごとの複数の分割管理情報を含んでいる。しかも、パディングデータ1303と分割moovアトム1304とは、外部メモリ112においてクラスタ境界の前後に分けて記録される。また、パディングデータ1307と分割moovアトム1308とは、外部メモリ112においてクラスタ境界の前後に分けて記録される。したがって、図13の動画ストリームファイルからたとえばmdatアトム1306を切り出す編集処理では、mdatアトム1306とともにその分割管理情報である分割moovアトム1304および分割ヘッダ領域1305を含めて切り出す。これにより、mdatアトム1306の画像データをストリーミング再生可能なファイルを切り出すことができる。このファイルは、mdatアトム1105の分割動画データをストリーミング再生可能な分割動画ストリームファイルとすることができる。動画データの一部を切り出す編集処理では、分割画像データを含む範囲を切り出すだけでよい。分割動画ストリームファイルの一からの再構築は不要である。動画データの一部を切り出す編集処理は、短時間で終了できる。また、図13の動画ストリームファイルは、ほぼそのままのデータ構造で切り出すだけで、容易に複数の分割動画ストリームファイルに分けて記録することができる。このため、図13の動画ストリームファイルを編集、コピー、転送する際には、複数の分割動画ストリームファイルを替わりに用いることができる。複数の分割動画ストリームファイルを用いることにより、処理時間の短縮が期待し得る。 Further, the moving image stream file of FIG. 13 divides and records the moving image data into a plurality of divided moving image data, and further includes a plurality of divided management information for each divided moving image data. Moreover, the padding data 1303 and the divided moov atom 1304 are separately recorded before and after the cluster boundary in the external memory 112. Further, the padding data 1307 and the divided moov atom 1308 are separately recorded before and after the cluster boundary in the external memory 112. Therefore, in the editing process for cutting out, for example, the mdat atom 1306 from the moving image stream file of FIG. 13, the mdat atom 1306 is cut out together with the divided moov atom 1304 and the divided header area 1305 which are the division management information. As a result, it is possible to cut out a file in which the image data of mdat atom 1306 can be streamed and reproduced. This file can be a split video stream file capable of streaming playback of the split video data of mdat atom 1105. In the editing process for cutting out a part of the moving image data, it is only necessary to cut out the range including the divided image data. There is no need to rebuild the split video stream file from scratch. The editing process for cutting out a part of the video data can be completed in a short time. Further, the moving image stream file of FIG. 13 can be easily divided into a plurality of divided moving image stream files and recorded by simply cutting out the moving image stream file with almost the same data structure. Therefore, when editing, copying, and transferring the moving image stream file of FIG. 13, a plurality of divided moving image stream files can be used instead. By using a plurality of divided video stream files, it can be expected that the processing time will be shortened.

以上のように、本実施形態においてマイクロコンピュータ105は、生成手段として、動画データに対応する複数の分割動画データ、分割管理情報、および全体管理情報を、外部メモリ112のクラスタごとに分けて記録する。具体的には、パディングデータを使用して、複数の分割動画データの先頭、分割管理情報の先頭、および全体管理情報の先頭が、外部メモリ112のクラスタ境界の位置となるように分けて記録する。これにより、各分割動画データは、外部メモリ112においてクラスタごとに分けて記録されることになり、クラスタのデータを切り出すだけで分割画像ストリームファイルとすることができる。しかも、マイクロコンピュータ105は、外部メモリ112のFATを書きかえるだけで、複数の分割動画データに分かれている動画データをストリーミング再生するための画像ストリームファイルを生成することができる。 As described above, in the present embodiment, as a generation means, the microcomputer 105 separately records a plurality of divided moving image data, divided management information, and overall management information corresponding to the moving image data for each cluster of the external memory 112. .. Specifically, using the padding data, the beginning of the plurality of divided video data, the beginning of the divided management information, and the beginning of the overall management information are separately recorded so as to be the positions of the cluster boundaries of the external memory 112. .. As a result, each divided moving image data is recorded separately for each cluster in the external memory 112, and a divided image stream file can be obtained simply by cutting out the cluster data. Moreover, the microcomputer 105 can generate an image stream file for streaming and reproducing the moving image data divided into a plurality of divided moving image data only by rewriting the FAT of the external memory 112.

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、上述の実施の形態の1以上の機能を実現するプログラムを、ネットワークや記録媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(たとえば、ASIC)によっても実現可能である。 Although the present invention has been described in detail based on the preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various embodiments within the range not deviating from the gist of the present invention are also included in the present invention. included. The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or recording medium, and one or more processors of the computer of the system or device reads the program. It can also be realized by the processing to be executed. The present invention can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

1 撮像装置(動画ファイル生成装置)
20,31,32 動画ストリームファイル
21 moovアトム
22 mdatアトム
105 マイクロコンピュータ
106 揮発性メモリ
112 外部メモリ
1101,1301 全体moovアトム
1102,1302 全体ヘッダ領域
1103,1106,1304,1308 分割moovアトム
1104,1107,1305,1309 分割ヘッダ領域
1105,1108,1306,1310 mdatアトム
1303,1307 パディングデータ
1 Imaging device (video file generator)
20, 31, 32 Video stream file 21 moov atom 22 mdat atom 105 Microcomputer 106 Volatile memory 112 External memory 1101,1301 Overall moov atom 1102, 1302 Overall header area 1103, 1106, 1304, 1308 Divided moov atom 1104, 1107, 1305, 1309 split header area 1105, 1108, 1306, 1310 mdat atom 1303, 1307 padding data

Claims (10)

動画データを取得する取得手段と、
前記取得手段により取得される動画データを含む動画ファイルを生成し、生成した動画ファイルを記録媒体に記録するように制御する制御手段と、
を有し、
前記制御手段は、
前記取得手段により取得した動画データを複数の分割動画データに分割し、当該複数の分割動画データと、当該複数の分割動画データにそれぞれ対応する複数の分割管理情報と、前記動画データ全体の全体管理情報とを含む動画ファイルを生成し、
前記複数の分割管理情報を、前記全体管理情報から参照されないように生成する、
動画ファイル生成装置。
The acquisition method for acquiring video data and
A control means for generating a moving image file including moving image data acquired by the acquisition means and controlling the generated moving image file to be recorded on a recording medium.
Have,
The control means is
The video data acquired by the acquisition means is divided into a plurality of divided video data, the plurality of divided video data, a plurality of divided management information corresponding to the plurality of divided video data, and overall management of the entire video data. Generate a video file containing information and
The plurality of division management information is generated so as not to be referred to from the overall management information.
Video file generator.
前記制御手段は、前記複数の分割管理情報を、前記全体管理情報から参照されない領域に記録する、
請求項1記載の、動画ファイル生成装置。
The control means records the plurality of division management information in an area not referenced from the overall management information.
The moving image file generation device according to claim 1.
前記制御手段は、前記全体管理情報には、前記複数の分割管理情報の領域を含むデータサイズを記録する、
請求項1または2記載の、動画ファイル生成装置。
The control means records the data size including the area of the plurality of division management information in the overall management information.
The moving image file generation device according to claim 1 or 2.
前記制御手段は、
前記取得手段により取得した前記動画データを分割して分割動画データを生成する毎に当該分割画像データの分割管理情報を生成するととともに、前記全体管理情報の更新する、
請求項1から3のいずれか一項記載の、動画ファイル生成装置。
The control means is
Every time the moving image data acquired by the acquisition means is divided and the divided moving image data is generated, the divided management information of the divided image data is generated, and the overall management information is updated.
The moving image file generation device according to any one of claims 1 to 3.
前記制御手段は、
前記複数の前記分割動画データ、前記複数の分割管理情報、および、前記全体管理情報を、それぞれ、前記記録媒体の異なるクラスタに記録する、
請求項1から4のいずれか一項記載の、動画ファイル生成装置。
The control means is
The plurality of divided moving image data, the plurality of divided management information, and the overall management information are recorded in different clusters of the recording medium, respectively.
The moving image file generation device according to any one of claims 1 to 4.
前記制御手段は、前記複数の前記分割動画データ、前記複数の分割管理情報、および、前記全体管理情報をそれぞれ異なるクラスタに記録するために、パディングデータを付加する、請求項5に記載の動画ファイル生成装置。 The moving image file according to claim 5, wherein the control means adds padding data in order to record the plurality of divided moving image data, the plurality of divided management information, and the overall management information in different clusters. Generator. 前記制御手段は、前記複数の分割動画データ、前記複数の分割管理情報、および、前記全体管理情報が記録される前記記録媒体の複数のクラスタのデータサイズを、前記動画データの前記全体管理情報に記録する、
請求項1から6のいずれか一項記載の、動画ファイル生成装置。
The control means converts the data sizes of the plurality of divided moving image data, the plurality of divided management information, and the plurality of clusters of the recording medium in which the overall management information is recorded into the overall management information of the moving image data. Record,
The moving image file generation device according to any one of claims 1 to 6.
前記制御手段は、
前記分割管理情報には、当該分割管理情報に対応する前記分割動画データについてのメタデータおよび静止画データを含める、
請求項1から7のいずれか一項記載の、動画ファイル生成装置。
The control means is
The division management information includes metadata and still image data about the division video data corresponding to the division management information.
The moving image file generation device according to any one of claims 1 to 7.
動画ファイル生成装置の生成方法であって、
動画データを取得する取得工程と、
前記取得工程により取得される動画データを含む動画ファイルを生成し、生成した動画ファイルを記録媒体に記録するように制御する制御工程と、
を有し、
前記制御工程は、
前記取得工程により取得した動画データを複数の分割動画データに分割し、当該複数の分割動画データと、当該複数の分割動画データにそれぞれ対応する複数の分割管理情報と、前記動画データ全体の全体管理情報とを含む動画ファイルを生成し、
前記複数の分割管理情報を、前記全体管理情報から参照されないように生成する、
動画ファイル生成装置の生成方法。
It is a method of generating a video file generator,
The acquisition process to acquire video data and
A control step of generating a moving image file including the moving image data acquired by the acquisition step and controlling the generated moving image file to be recorded on a recording medium.
Have,
The control step is
The video data acquired in the acquisition step is divided into a plurality of divided video data, the plurality of divided video data, a plurality of divided management information corresponding to the plurality of divided video data, and overall management of the entire video data. Generate a video file containing information and
The plurality of division management information is generated so as not to be referred to from the overall management information.
How to generate a video file generator.
動画ファイル生成装置の生成方法をコンピュータに実行させるプログラムであって、
動画データを取得する取得工程と、
前記取得工程により取得される動画データを含む動画ファイルを生成し、生成した動画ファイルを記録媒体に記録するように制御する制御工程と、
を有し、
前記制御工程は、
前記取得工程により取得した動画データを複数の分割動画データに分割し、当該複数の分割動画データと、当該複数の分割動画データにそれぞれ対応する複数の分割管理情報と、前記動画データ全体の全体管理情報とを含む動画ファイルを生成し、
前記複数の分割管理情報を、前記全体管理情報から参照されないように生成する、
プログラム。
A program that causes a computer to execute the generation method of a video file generator.
The acquisition process to acquire video data and
A control step of generating a moving image file including the moving image data acquired by the acquisition step and controlling the generated moving image file to be recorded on a recording medium.
Have,
The control step is
The video data acquired in the acquisition step is divided into a plurality of divided video data, the plurality of divided video data, a plurality of divided management information corresponding to the plurality of divided video data, and overall management of the entire video data. Generate a video file containing information and
The plurality of division management information is generated so as not to be referred to from the overall management information.
program.
JP2020208663A 2020-12-16 2020-12-16 Moving image file creation device, creation method for the same, and program Pending JP2022095374A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020208663A JP2022095374A (en) 2020-12-16 2020-12-16 Moving image file creation device, creation method for the same, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020208663A JP2022095374A (en) 2020-12-16 2020-12-16 Moving image file creation device, creation method for the same, and program

Publications (1)

Publication Number Publication Date
JP2022095374A true JP2022095374A (en) 2022-06-28

Family

ID=82163190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020208663A Pending JP2022095374A (en) 2020-12-16 2020-12-16 Moving image file creation device, creation method for the same, and program

Country Status (1)

Country Link
JP (1) JP2022095374A (en)

Similar Documents

Publication Publication Date Title
US8165455B2 (en) Data processing apparatus and data processing method, and computer program
JP2012054788A (en) Data file transfer device, control method therefor, program, and storage medium
WO2008018311A1 (en) Data processing device, data processing method, and computer program
WO2008032495A1 (en) Data processing device, data processing method, and computer program
JP4323870B2 (en) Recording device
JP2005136503A (en) File recording apparatus and method for editing video effect
JP3814565B2 (en) Recording device
JP4115061B2 (en) Recording medium and video recording / reproducing apparatus using the same
JP2008193345A (en) Editing device and editing method
JP4330968B2 (en) REPRODUCTION DEVICE, RECORDING DEVICE, REPRODUCTION PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE REPRODUCTION PROGRAM
JP2012156587A (en) Video recording device
JP6278353B2 (en) RECORDING DEVICE, RECORDING METHOD, PROGRAM, AND IMAGING DEVICE
JP5713701B2 (en) Movie recording device
JP2022095374A (en) Moving image file creation device, creation method for the same, and program
JP2008283708A (en) Playback apparatus
JP4724551B2 (en) Moving image processing apparatus and moving image processing method
JP2013141065A (en) Image pickup device and control method
JP2022096304A (en) Moving image file transfer device, transfer system, transfer method for moving image file transfer device, and program
JP4058154B2 (en) Video recording / reproducing apparatus and video recording / reproducing method
JP2013141064A (en) Image pickup device and control method
JPH10210409A (en) Image and voice recorder, and image and voice recorder and reproducer using semiconductor memory
JP7327950B2 (en) IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
KR20030097095A (en) Method for managing bookmark data in optical disc driver
JP2005348078A (en) Video recorder
JP5889459B2 (en) Recording device