JP2011223220A - File editing device - Google Patents

File editing device Download PDF

Info

Publication number
JP2011223220A
JP2011223220A JP2010089097A JP2010089097A JP2011223220A JP 2011223220 A JP2011223220 A JP 2011223220A JP 2010089097 A JP2010089097 A JP 2010089097A JP 2010089097 A JP2010089097 A JP 2010089097A JP 2011223220 A JP2011223220 A JP 2011223220A
Authority
JP
Japan
Prior art keywords
file
time zone
time
image data
data stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010089097A
Other languages
Japanese (ja)
Inventor
Shumei Yano
秀盟 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2010089097A priority Critical patent/JP2011223220A/en
Publication of JP2011223220A publication Critical patent/JP2011223220A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a file editing device that improves the quality of edited files.SOLUTION: A time zone for fetching image data stored in a first file is detected as a first time zone, and a time zone for fetching image data stored in a second file is detected as a second time zone. Furthermore, reference image data is added to the first file according to a non-overlapped time zone in the second time band which does not overlap with the first time zone, and audio data stored in the second file is added to the first file according to a overlapped time zone between the first time zone and the second time zone.

Description

この発明は、ファイル編集装置に関し、特に電子カメラに用いられ、画像データと音声データとを編集する、ファイル編集装置に関する。   The present invention relates to a file editing apparatus, and more particularly to a file editing apparatus that is used in an electronic camera and edits image data and audio data.

この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、複数種類のデータが関連付けて記録される際に、記録手段はマーキング発生手段によって所定タイミングで発生される所定のマーキングデータを他のデータとともに記録する。特定データ取得手段は複数種類のデータのうち所定種類のデータを取得する。それを、特定データ記録手段はマーキングデータ発生手段によって発生されるマーキングデータとともに記録する。データ記録装置は、特定データ記録手段が記録しているマーキングデータと記録手段が記録しているマーキングデータとを同期させ、記録手段が記録している複数種類のデータのうち特定データ記録手段が記録しているデータと同じ種類のデータを、特定データ記録手段が記録しているデータで書き換える。   An example of this type of device is disclosed in Patent Document 1. According to this background art, when a plurality of types of data are recorded in association with each other, the recording unit records predetermined marking data generated at a predetermined timing by the marking generating unit together with other data. The specific data acquisition means acquires a predetermined type of data among a plurality of types of data. The specific data recording means records it together with the marking data generated by the marking data generating means. The data recording device synchronizes the marking data recorded by the specific data recording means and the marking data recorded by the recording means, and the specific data recording means records the data among a plurality of types of data recorded by the recording means. The same type of data as the data being rewritten is rewritten with the data recorded by the specific data recording means.

特開2007−213710号公報JP 2007-213710 A

しかし、背景技術では、一方のデータの取り込み時間帯に他方のデータの取り込み時間帯と重複しない時間帯がある場合に、その重複しない時間帯に相当する箇所に対して特段の処理はなされない。よって、画像データを収めたファイルと音声データを収めたファイルとを同期させて編集する場合には、編集後のファイルに収められるデータの先頭または末尾に無画像部分または無音声部分が生じることがあり、編集ファイルの品質が低下するおそれがある。   However, in the background art, when there is a time zone that does not overlap with the time zone for taking in one data in the time zone for taking in one data, no special processing is performed for a portion corresponding to the time zone that does not overlap. Therefore, when editing a file containing image data and a file containing audio data in synchronization, a no-image or no-audio part may occur at the beginning or end of the data stored in the edited file. Yes, the quality of the edit file may be degraded.

それゆえに、この発明の主たる目的は、編集ファイルの品質を向上させることができる、ファイル編集装置を提供することである。   Therefore, a main object of the present invention is to provide a file editing apparatus capable of improving the quality of an edited file.

この発明に従うファイル編集装置(10:実施例で相当する参照符号。以下同じ)は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出手段(S57, S59)、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出手段(S67, S69)、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加する第1追加手段(S95~S97, S101~S103)、および第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する第2追加手段(S105~S109)を備える。   A file editing apparatus according to the present invention (10: reference numeral corresponding to the embodiment; the same applies hereinafter) includes first detection means (S57, S57, S1) that detects a time period for taking in image data stored in a first file as a first time period. S59), second detection means (S67, S69) for detecting the time period of the audio data stored in the second file as the second time period, and the non-overlapping time that does not overlap with the first time period in the second time period First addition means (S95 to S97, S101 to S103) for adding reference image data to the first file corresponding to the band, and the audio data stored in the second file as the first time zone and the second time zone The second adding means (S105 to S109) for adding to the first file corresponding to the overlapping time zone is provided.

好ましくは、第1ファイルは音声データをさらに収め、第2追加手段は重複時間帯に対応して第1ファイルに収められた音声データを第2ファイルに収められた音声データによって置換する。   Preferably, the first file further stores audio data, and the second adding means replaces the audio data stored in the first file with the audio data stored in the second file corresponding to the overlapping time period.

好ましくは、第1追加手段は第1ファイルに収められた画像データの一部を複製して基準画像データを作成する複製手段(S95, S101)を含む。   Preferably, the first addition means includes duplication means (S95, S101) for duplicating a part of the image data stored in the first file to create reference image data.

さらに好ましくは、複製手段は非重複時間帯が第1時間帯に先立つ時間帯であるとき画像データの先頭フレームを複製する。   More preferably, the duplicating unit duplicates the first frame of the image data when the non-overlapping time zone is a time zone preceding the first time zone.

さらに好ましくは、複製手段は非重複時間帯が第1時間帯に遅れる時間帯であるとき画像データの最終フレームを複製する。   More preferably, the duplicating unit duplicates the last frame of the image data when the non-overlapping time zone is a time zone that is delayed from the first time zone.

好ましくは、第1時間帯の先頭時刻と第2時間帯の先頭時刻との相違が基準を下回るか否かを判別する判別手段(S73)、判別手段の判別結果が否定的であるとき別の第2ファイルを第2検出手段の検出処理のために指定する指定手段(S75)、および判別手段の判別結果が肯定的であるとき第1追加手段および/または第2追加手段を起動する起動手段(S91)をさらに備える。   Preferably, a discriminating means (S73) for discriminating whether or not the difference between the start time of the first time zone and the start time of the second time zone falls below a reference, and when the discrimination result of the discriminating means is negative Designating means (S75) for designating the second file for detection processing of the second detecting means, and starting means for activating the first adding means and / or the second adding means when the determination result of the determining means is affirmative (S91) is further provided.

第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。   By adding the audio data stored in the second file to the first file corresponding to the overlapping time zone, the image data and the audio data can be reproduced in a manner that is synchronized with each other. Further, by adding the reference image data to the first file in correspondence with the non-overlapping time zone, the correspondence between the audio data and the image data can be ensured over the first time zone. In this way, an edit file having a desired quality is created.

この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

この発明の基本的構成を示すブロック図である。It is a block diagram which shows the basic composition of this invention. この発明の一実施例の構成の一部を示すブロック図である。It is a block diagram which shows a part of structure of one Example of this invention. 図2実施例に適用されるSDRAMのマッピング状態の一例を示す図解図である。FIG. 3 is an illustrative view showing one example of a mapping state of an SDRAM applied to the embodiment in FIG. 2; MP4ファイルのデータ構造の一例を示す図解図である。It is an illustration figure which shows an example of the data structure of MP4 file. 図2実施例に適用されるCPUの動作の一部を示すフロー図である。It is a flowchart which shows a part of operation | movement of CPU applied to the FIG. 2 Example. 図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。It is a flowchart which shows a part of other operation | movement of CPU applied to the FIG. 2 Example. この発明の一実施例の構成の他の一部を示すブロック図である。It is a block diagram which shows a part of other structure of one Example of this invention. PCMファイルのデータ構造の一例を示す図解図である。It is an illustration figure which shows an example of the data structure of a PCM file. 図2実施例に適用されるMCUの動作の一部を示すフロー図である。It is a flowchart which shows a part of operation | movement of MCU applied to the FIG. 2 Example. (A)MP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複の一例を示す図解図であり、(B)はMP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複の他の一例を示す図解図である。(A) It is an illustration figure which shows an example of duplication of each capture time slot | zone of MP4 file and PCM file, (B) is an illustration figure which shows another example of duplication of each capture time slot | zone of MP4 file and PCM file It is. (A)はMP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複のその他の一例を示す図解図であり、(B)はMP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複のさらにその他の一例を示す図解図である。(A) is an illustration figure which shows the other example of duplication of each taking-in time zone of MP4 file and PCM file, (B) is still another example of duplication of each taking-in time zone of MP4 file and PCM file. FIG. 図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。FIG. 11 is a flowchart showing still another portion of behavior of the CPU applied to the embodiment in FIG. 2; 図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。FIG. 10 is a flowchart showing yet another portion of behavior of the CPU applied to the embodiment in FIG. 2; 図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。It is a flowchart which shows a part of other operation | movement of CPU applied to the FIG. 2 Example. 図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。FIG. 11 is a flowchart showing still another portion of behavior of the CPU applied to the embodiment in FIG. 2;

以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
Embodiments of the present invention will be described below with reference to the drawings.
[Basic configuration]

図1を参照して、この発明のファイル編集装置は、基本的に次のように構成される。第1検出手段1は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する。第2検出手段2は、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する。第1追加手段3は、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加する。第2追加手段4は、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する。   Referring to FIG. 1, the file editing apparatus according to the present invention is basically configured as follows. The first detection means 1 detects the capture time zone of the image data stored in the first file as the first time zone. The second detection means 2 detects the time period for taking in audio data stored in the second file as the second time period. The first adding means 3 adds the reference image data to the first file corresponding to a non-overlapping time zone that does not overlap with the first time zone in the second time zone. The second addition means 4 adds the audio data stored in the second file to the first file corresponding to the overlapping time zone between the first time zone and the second time zone.

第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。
[実施例]
By adding the audio data stored in the second file to the first file corresponding to the overlapping time zone, the image data and the audio data can be reproduced in a manner that is synchronized with each other. Further, by adding the reference image data to the first file in correspondence with the non-overlapping time zone, the correspondence between the audio data and the image data can be ensured over the first time zone. In this way, an edit file having a desired quality is created.
[Example]

図2を参照して、この実施例のディジタルビデオカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。被写界の光学像は、これらの部材を通してイメージセンサ16の撮像面に照射される。   Referring to FIG. 2, the digital video camera 10 of this embodiment includes a focus lens 12 and an aperture unit 14 driven by drivers 18a and 18b, respectively. The optical image of the object scene is irradiated onto the imaging surface of the image sensor 16 through these members.

キー入力装置48によって撮像モードが選択されると、CPU46は、記録制御タスクの下で動画取り込み処理を実行するべく、ドライバ18cを起動する。ドライバ18cは、1/60秒毎に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、撮像面で生成された電荷を順次走査態様で読み出す。イメージセンサ16からは、被写界を表す生画像データが60fpsのフレームレートで出力される。   When the imaging mode is selected by the key input device 48, the CPU 46 activates the driver 18c in order to execute the moving image capturing process under the recording control task. In response to the vertical synchronization signal Vsync generated every 1/60 seconds, the driver 18c exposes the imaging surface and sequentially reads out the charges generated on the imaging surface in a scanning manner. From the image sensor 16, raw image data representing the object scene is output at a frame rate of 60 fps.

前処理回路20は、イメージセンサ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路22を通してSDRAM24の生画像エリア24a(図3参照)に書き込まれる。   The preprocessing circuit 20 performs processing such as digital clamping, pixel defect correction, and gain control on the raw image data output from the image sensor 16. The raw image data subjected to such preprocessing is written into the raw image area 24a (see FIG. 3) of the SDRAM 24 through the memory control circuit 22.

後処理回路26は、メモリ制御回路22を通して生画像エリア24aにアクセスし、生画像データを順次走査態様で1/60秒毎に読み出す。読み出された生画像データは色分離,白バランス調整,YUV変換,エッジ強調,ズームなどの処理を施され、この結果、YUV画像データが作成される。作成されたYUV画像データは、メモリ制御回路22を通してSDRAM24のYUV画像エリア24b(図3参照)に書き込まれる。   The post-processing circuit 26 accesses the raw image area 24a through the memory control circuit 22, and reads the raw image data every 1/60 seconds in a sequential scanning manner. The read raw image data is subjected to processing such as color separation, white balance adjustment, YUV conversion, edge enhancement, zoom, and the like, and as a result, YUV image data is created. The created YUV image data is written into the YUV image area 24b (see FIG. 3) of the SDRAM 24 through the memory control circuit 22.

LCDドライバ30は、YUV画像エリア24bに格納されたYUV画像データを繰り返し読み出し、読み出された画像データをLCDモニタ32の解像度に適合するように縮小し、そして縮小された画像データに基づいてLCDモニタ32を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。   The LCD driver 30 repeatedly reads the YUV image data stored in the YUV image area 24b, reduces the read image data so as to match the resolution of the LCD monitor 32, and the LCD based on the reduced image data. The monitor 32 is driven. As a result, a real-time moving image (through image) representing the scene is displayed on the monitor screen.

前処理回路20はまた、生画像データを簡易的にYデータに変換し、変換されたYデータをCPU46に与える。CPU46は、YデータにAE処理を施し、適正EV値を算出する。算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定され、これによってスルー画像の明るさが適度に調整される。CPU46はまた、AF起動条件が満足されるときに、Yデータの高周波成分にAF処理を施す。フォーカスレンズ12はドライバ18aによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。   The preprocessing circuit 20 also simply converts the raw image data into Y data, and provides the converted Y data to the CPU 46. The CPU 46 performs AE processing on the Y data and calculates an appropriate EV value. The aperture amount and the exposure time that define the calculated appropriate EV value are set in the drivers 18b and 18c, respectively, and thereby the brightness of the through image is appropriately adjusted. The CPU 46 also performs AF processing on the high frequency component of the Y data when the AF activation condition is satisfied. The focus lens 12 is arranged at the focal point by the driver 18a, and thereby the sharpness of the through image is continuously improved.

時計回路54は繰り返し発生されるパルスをカウントする。別途設定される基準時刻とこのカウントとによって、ディジタルビデオカメラ10の内部時計としての現在の時刻が決定される。基準時刻は、ディジタルビデオカメラ10の操作者によって初期設定されるようにしてもよいし、ディジタルビデオカメラ10が無線通信機能等を有する場合は外部機器から取り込むようにしてもよい。   The clock circuit 54 counts repeatedly generated pulses. The current time as the internal clock of the digital video camera 10 is determined by the reference time set separately and this count. The reference time may be initially set by the operator of the digital video camera 10, or may be taken from an external device when the digital video camera 10 has a wireless communication function or the like.

キー入力装置48に向けて記録開始操作が行われると、CPU46は、記録制御タスクの下でI/F42を通してメモリカード44にアクセスし、MP4ファイルをメモリカード44に新規に作成する(作成されたMP4ファイルはオープンされる)。作成されたMP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画開始時刻TSmp4として記述される。   When a recording start operation is performed toward the key input device 48, the CPU 46 accesses the memory card 44 through the I / F 42 under the recording control task, and newly creates an MP4 file in the memory card 44 (created MP4 file is opened). In the header of the created MP4 file, the current time is described as the recording start time TSmp4 based on the output of the clock circuit 54.

ファイル作成&オープン処理が完了すると、CPU46は、MP4符号化処理を開始するべくMPEG4エンコーダ38を起動し、そして音声取り込み処理を開始するべくAACエンコーダ36を起動する。   When the file creation & opening process is completed, the CPU 46 activates the MPEG4 encoder 38 to start the MP4 encoding process, and activates the AAC encoder 36 to start the audio capturing process.

MP4エンコーダ38は、YUV画像エリア24bに格納されたYUV画像データをメモリ制御回路22を通して繰り返し読み出し、読み出された画像データをMPEG4方式に従って符号化し、そして符号化画像データつまりMP4データをメモリ制御回路22を通してSDRAM24の符号化画像エリア24c(図3参照)に書き込む。   The MP4 encoder 38 repeatedly reads YUV image data stored in the YUV image area 24b through the memory control circuit 22, encodes the read image data in accordance with the MPEG4 system, and encodes the encoded image data, that is, MP4 data, into the memory control circuit. 22 is written into the encoded image area 24c (see FIG. 3) of the SDRAM 24.

AACエンコーダ36は、マイクロフォン34から出力された音声データをAAC方式に従って符号化し、符号化音声データつまりAACデータをメモリ制御回路22を通してSDRAM24の符号化音声エリア24d(図3参照)に書き込む。   The AAC encoder 36 encodes the audio data output from the microphone 34 in accordance with the AAC method, and writes the encoded audio data, that is, AAC data, into the encoded audio area 24d (see FIG. 3) of the SDRAM 24 through the memory control circuit 22.

CPU46はその後、60フレームのMP4データが得られる毎に、最新60フレームのMP4データおよび最新1秒分のAACデータをオープン状態のMP4ファイルに転送する。最新60フレームのMP4データおよび最新1秒分のAACデータは、メモリ制御回路22によって符号化画像エリア24cおよび符号化音声エリア24dから読み出され、I/F42を介してMP4ファイルに書き込まれる。したがって、MP4データおよびAACデータは、図4に示す要領でMP4ファイルに収められる。   Thereafter, every time 60 frames of MP4 data are obtained, the CPU 46 transfers the latest 60 frames of MP4 data and the latest AAC data for one second to the open MP4 file. The latest 60 frames of MP4 data and the latest one second of AAC data are read from the encoded image area 24c and the encoded audio area 24d by the memory control circuit 22, and written to the MP4 file via the I / F 42. Therefore, MP4 data and AAC data are stored in the MP4 file in the manner shown in FIG.

キー入力装置48に向けて記録終了操作が行われると、CPU46は、MP4符号化処理を終了するべくMPEG4エンコーダ38を停止し、そして音声取り込み処理を終了するべくAACエンコーダ36を停止する。   When a recording end operation is performed toward the key input device 48, the CPU 46 stops the MPEG4 encoder 38 to end the MP4 encoding process, and stops the AAC encoder 36 to end the audio capturing process.

CPU46はその後、終端処理を実行する。これによって、SDRAM24に残存する60フレーム未満のMP4データおよび1秒未満のAACデータがMP4ファイルに書き込まれる。さらに、MP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画終了時刻TEmp4として記述される。オープン状態のMP4ファイルは、終端処理が完了した後にクローズされる。   Thereafter, the CPU 46 performs termination processing. As a result, the MP4 data of less than 60 frames remaining in the SDRAM 24 and the AAC data of less than 1 second are written into the MP4 file. Further, in the MP4 file header, the current time is described as the recording end time TEmp4 based on the output of the clock circuit 54. An open MP4 file is closed after termination processing is completed.

撮像モードが選択されたとき、CPU46は図5〜図6に示す記録制御タスクを実行する。なお、このタスクに対応する制御プログラムは、フラッシュメモリ52に記憶される。   When the imaging mode is selected, the CPU 46 executes the recording control task shown in FIGS. A control program corresponding to this task is stored in the flash memory 52.

図5を参照して、ステップS1では動画取り込み処理を実行する。これによって、スルー画像がLCDモニタ32に表示される。ステップS3では記録開始操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS5に進む。ステップS5では、I/F42を通してメモリカード44にアクセスし、オープン状態のMP4ファイルをメモリカード44に新規に作成する。作成されたMP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画開始時刻TSmp4として記述される。   Referring to FIG. 5, in step S1, a moving image capturing process is executed. As a result, a through image is displayed on the LCD monitor 32. In step S3, it is repeatedly determined whether or not a recording start operation has been performed. If the determination result is updated from NO to YES, the process proceeds to step S5. In step S5, the memory card 44 is accessed through the I / F 42, and an open MP4 file is newly created in the memory card 44. In the header of the created MP4 file, the current time is described as the recording start time TSmp4 based on the output of the clock circuit 54.

ステップS7ではMP4符号化処理を開始するべくMPEG4エンコーダ38を起動し、ステップS9では音声取り込み処理を開始するべくAACエンコーダ36を起動する。   In step S7, the MPEG4 encoder 38 is activated to start the MP4 encoding process, and in step S9, the AAC encoder 36 is activated to start the audio capturing process.

ステップS11では変数Kを“1”に設定し、ステップS13では60*Kフレーム目のMP4データが完成したか否かを判別する。判別結果がNOからYESに更新されると、ステップS15以降の処理を実行する。   In step S11, the variable K is set to “1”, and in step S13, it is determined whether or not the MP4 data of the 60 * K frame is completed. When the determination result is updated from NO to YES, the processing after step S15 is executed.

ステップS15では、符号化画像エリア24cに格納された最新60フレームのMP4データをメモリ制御回路22を通して読み出し、読み出されたMP4データをI/F42を介してオープン状態のMP4ファイルに書き込む。ステップS17では、符号化音声エリア24dに格納された最新1秒分のAACデータをメモリ制御回路22を通して読み出し、読み出されたAACデータをI/F42を介してオープン状態のMP4ファイルに書き込む。   In step S15, the latest 60 frames of MP4 data stored in the encoded image area 24c is read through the memory control circuit 22, and the read MP4 data is written into the open MP4 file via the I / F 42. In step S17, the latest one-second AAC data stored in the encoded audio area 24d is read through the memory control circuit 22, and the read AAC data is written into the open MP4 file via the I / F 42.

ステップS19では、記録終了操作が行われたか否かを判別する。判別結果がNOであれば、ステップS21で変数KをインクリメントしてからステップS13に戻る。したがって、ステップS15〜S17の処理は、60フレームのMP4データが得られる毎に実行される。ステップS19の判別結果がNOからYESに更新されると、ステップS23に進む。   In step S19, it is determined whether or not a recording end operation has been performed. If the determination result is NO, the variable K is incremented in step S21, and the process returns to step S13. Accordingly, the processes of steps S15 to S17 are executed every time 60 frames of MP4 data are obtained. If the determination result of step S19 is updated from NO to YES, it will progress to step S23.

ステップS23では、MP4符号化処理を終了するべくMPEG4エンコーダ38を停止し、ステップS25では音声取り込み処理を終了するべくAACエンコーダ36を停止する。   In step S23, the MPEG4 encoder 38 is stopped to end the MP4 encoding process, and in step S25, the AAC encoder 36 is stopped to end the audio capturing process.

ステップS27では、終端処理を実行する。これによって、SDRAM24に残存する60フレーム未満のMP4データおよび1秒未満のAACデータがMP4ファイルに書き込まれる。さらに、MP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画終了時刻TEmp4として記述される。ステップS29では、I/F42を通してメモリカード44にアクセスし、オープン状態のMP4ファイルをクローズする。クローズ処理が完了すると、ステップS3に戻る。   In step S27, termination processing is executed. As a result, the MP4 data of less than 60 frames remaining in the SDRAM 24 and the AAC data of less than 1 second are written into the MP4 file. Further, in the MP4 file header, the current time is described as the recording end time TEmp4 based on the output of the clock circuit 54. In step S29, the memory card 44 is accessed through the I / F 42, and the open MP4 file is closed. When the closing process is completed, the process returns to step S3.

図7を参照して、この実施例のICレコーダ100は、キー入力装置120を含む。キー入力装置120によって電源投入操作が行われると、バッテリ(図示しない)に基づく電力がシステム全体に供給される。これによって、ICレコーダ100が起動する。   Referring to FIG. 7, IC recorder 100 of this embodiment includes a key input device 120. When a power-on operation is performed by the key input device 120, power based on a battery (not shown) is supplied to the entire system. As a result, the IC recorder 100 is activated.

時計回路154は繰り返し発生されるパルスをカウントする。別途設定される基準時刻とこのカウントとによって、ICレコーダ100の内部時計としての現在の時刻が決定される。基準時刻は、ICレコーダ100の操作者によって初期設定されるようにしてもよいし、ICレコーダ100が無線通信機能等を有する場合は外部機器から取り込むようにしてもよい。   The clock circuit 154 counts repeatedly generated pulses. The current time as the internal clock of the IC recorder 100 is determined by the separately set reference time and this count. The reference time may be initially set by the operator of the IC recorder 100, or may be taken from an external device when the IC recorder 100 has a wireless communication function or the like.

キー入力装置120によって記録モードが選択されかつ記録開始操作が行われると、MCU114は、記録制御タスクの下でI/F110を通してメモリカード112にアクセスし、PCMファイルをメモリカード112に新規に作成する(作成されたPCMファイルはオープンされる)。作成されたPCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音開始時刻TSpcmとして記述される。   When the recording mode is selected by the key input device 120 and a recording start operation is performed, the MCU 114 accesses the memory card 112 through the I / F 110 under the recording control task, and newly creates a PCM file in the memory card 112. (The created PCM file is opened). In the header of the created PCM file, the current time is described as the recording start time TSpcm based on the output of the clock circuit 154.

ファイル作成&オープン処理が完了すると、MCU114は、音声取り込み処理を開始するべくコーデック130を起動し、符号化命令をコーデック130に向けてそれぞれ発行する。コーデック130は、マイクロフォン122によって捉えられかつアンプ128によって増幅されたオーディオ信号をディジタルオーディオデータに符号化し、符号化されたオーディオデータをメモリ116に蓄積する。MCU114は、メモリ116に蓄積された符号化オーディオデータを、図8に示す要領でファイル形式によってメモリカード112に記録する。   When the file creation & opening process is completed, the MCU 114 activates the codec 130 to start the voice capturing process, and issues an encoding command to the codec 130, respectively. The codec 130 encodes the audio signal captured by the microphone 122 and amplified by the amplifier 128 into digital audio data, and stores the encoded audio data in the memory 116. The MCU 114 records the encoded audio data stored in the memory 116 on the memory card 112 in a file format as shown in FIG.

キー入力装置120に向けて記録終了操作が行われると、MPU114は、音声取り込み処理を終了するべくコーデック130を停止する。   When a recording end operation is performed toward the key input device 120, the MPU 114 stops the codec 130 to end the voice capturing process.

MPU114はその後、終端処理を実行する。これによって、メモリ116に残存するPCMデータがPCMファイルに書き込まれる。さらに、PCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音終了時刻TEpcmとして記述される。オープン状態のPCMファイルは、終端処理が完了した後にクローズされる。   Thereafter, the MPU 114 executes termination processing. As a result, the PCM data remaining in the memory 116 is written into the PCM file. Further, in the header of the PCM file, the current time is described as the recording end time TEpcm based on the output of the clock circuit 154. An open PCM file is closed after termination processing is completed.

記録モードが選択されたとき、MCU114は図9に示す記録制御タスクを実行する。なお、このタスクに対応する制御プログラムは、フラッシュメモリ142に記憶される。   When the recording mode is selected, the MCU 114 executes the recording control task shown in FIG. A control program corresponding to this task is stored in the flash memory 142.

図9を参照して、ステップS31では記録開始操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS33に進む。ステップS33では、I/F110を通してメモリカード112にアクセスし、オープン状態のPCMファイルをメモリカード112に新規に作成する。作成されたPCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音開始時刻TSpcmとして記述される。ステップS35では音声取り込み処理を開始するべくコーデック130を起動する。   Referring to FIG. 9, in step S31, it is repeatedly determined whether or not a recording start operation has been performed. If the determination result is updated from NO to YES, the process proceeds to step S33. In step S33, the memory card 112 is accessed through the I / F 110, and an open PCM file is newly created in the memory card 112. In the header of the created PCM file, the current time is described as the recording start time TSpcm based on the output of the clock circuit 154. In step S35, the codec 130 is activated to start the voice capturing process.

ステップS37では、記録終了操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS39に進む。ステップS39では、音声取り込み処理を終了するべくコーデック130を停止する。   In step S37, it is repeatedly determined whether or not a recording end operation has been performed. If the determination result is updated from NO to YES, the process proceeds to step S39. In step S39, the codec 130 is stopped to end the voice capturing process.

ステップS41では、終端処理を実行する。これによって、メモリ116に残存するPCMデータがPCMファイルに書き込まれる。さらに、PCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音終了時刻TEpcmとして記述される。ステップS43ではI/F110を通してメモリカード112にアクセスし、オープン状態のPCMファイルをクローズする。クローズ処理が完了すると、ステップS31に戻る。   In step S41, termination processing is executed. As a result, the PCM data remaining in the memory 116 is written into the PCM file. Further, in the header of the PCM file, the current time is described as the recording end time TEpcm based on the output of the clock circuit 154. In step S43, the memory card 112 is accessed through the I / F 110, and the open PCM file is closed. When the closing process is completed, the process returns to step S31.

次に、ディジタルビデオカメラ10のキー入力装置48によってファイル編集モードが選択された場合の処理について説明する。   Next, processing when the file editing mode is selected by the key input device 48 of the digital video camera 10 will be described.

例えば、講演会等において、講演者から離れた位置にディジタルビデオカメラ10を設置して講演会の映像をMP4データに記録し、講演者の近くにICレコーダ100を設置して講演者の鮮明な音声をPCMデータに記録することが考えられる。このようなときに各々の記録後にMP4データとPCMデータとを結合して編集ファイルを作成する場合を例に挙げて、説明する。   For example, in a lecture or the like, the digital video camera 10 is installed at a position away from the speaker to record the video of the lecture in MP4 data, and the IC recorder 100 is installed near the speaker to clearly show the speaker. It is conceivable to record voice in PCM data. In this case, an example will be described in which an edit file is created by combining MP4 data and PCM data after each recording.

ディジタルビデオカメラ10のキー入力装置48によってファイル編集モードが選択されると、ファイル編集タスクの下で、ディジタルビデオカメラ10のUSBコントローラ50にICレコーダ100が接続されているか否かが判別される。正常に接続されていない場合はその旨が操作者に警告される。   When the file editing mode is selected by the key input device 48 of the digital video camera 10, it is determined whether or not the IC recorder 100 is connected to the USB controller 50 of the digital video camera 10 under the file editing task. If the connection is not normal, the operator is warned to that effect.

操作者がキー入力装置48を通じてメモリカード44に記録されているいずれかのMP4ファイルを指定すると、CPU46は指定されたMP4ファイルのヘッダに記述されている録画開始時刻TSmp4および録画終了時刻TEmp4をI/F42を通じて検出する。   When the operator designates any MP4 file recorded on the memory card 44 through the key input device 48, the CPU 46 sets the recording start time TSmp4 and the recording end time TEmp4 described in the header of the designated MP4 file to I. Detect through / F42.

CPU46は、まず変数Lを“1”に設定する。次に、CPU46は、ディジタルビデオカメラ10のUSBコントローラ50、ICレコーダ100のUSBコントローラ140およびI/F110を通じて、ICレコーダ100のメモリカード112にアクセスし、メモリカード112に記録されているPCMファイルのファイル数を検出する。検出されたファイル数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。   The CPU 46 first sets the variable L to “1”. Next, the CPU 46 accesses the memory card 112 of the IC recorder 100 through the USB controller 50 of the digital video camera 10, the USB controller 140 of the IC recorder 100 and the I / F 110, and the PCM file recorded on the memory card 112 is accessed. Detect the number of files. The number of detected files is set to the maximum value Lmax in order to define the variable range of the variable L.

メモリカード112に記憶されているPCMファイルのうち、L番目すなわちここでは最初のPCMファイルを指定して、そのヘッダから録音開始時刻TSpcmおよび録音終了時刻TEpcmを検出する。CPU46は、検出された録画開始時刻TSmp4と録音開始時刻TSpcmとの差分時間を“ΔTS”として算出し、算出された差分時間ΔTSが30秒以内か否かを判別する。30秒以内でない場合は、変数Lをインクリメントし、2番目以降のL番目のPCMファイルについても、同様にそのヘッダから録音開始時刻TSpcmおよび録音終了時刻TEpcmを検出する。そして、差分時間ΔTSを算出し、算出された差分時間ΔTSが30秒以内か否かを判別する。   Of the PCM files stored in the memory card 112, the Lth, that is, the first PCM file is designated, and the recording start time TSpcm and the recording end time TEpcm are detected from the header. The CPU 46 calculates the difference time between the detected recording start time TSmp4 and the recording start time TSpcm as “ΔTS”, and determines whether or not the calculated difference time ΔTS is within 30 seconds. If not within 30 seconds, the variable L is incremented, and the recording start time TSpcm and the recording end time TEpcm are similarly detected from the header of the second and subsequent Lth PCM files. Then, the difference time ΔTS is calculated, and it is determined whether or not the calculated difference time ΔTS is within 30 seconds.

このようにして、CPU46は、メモリカード112に記憶されているPCMファイルに順にアクセスし、差分時間ΔTSが30秒以内となるPCMファイルを検索する。   In this way, the CPU 46 sequentially accesses the PCM file stored in the memory card 112, and searches for a PCM file whose difference time ΔTS is within 30 seconds.

CPU46は、全てのPCMファイルにアクセスした結果、差分時間ΔTSが30秒以内となるPCMファイルが見つからなかった場合は、ファイル編集処理が不能である旨を操作者に報知する。見つかった場合は、操作者に指定されたMP4ファイルの録画とそのPCMファイルの録音とが同時に行われたものと判断して、これらの2つのファイルの結合処理を実行する。   As a result of accessing all the PCM files, the CPU 46 notifies the operator that the file editing process is impossible when no PCM file having a difference time ΔTS of 30 seconds or less is found. If found, it is determined that the recording of the MP4 file designated by the operator and the recording of the PCM file are performed at the same time, and the process of combining these two files is executed.

ファイル結合処理においては、主として、指定MP4ファイルに収められたAACデータを、指定PCMファイルに収められたPCMデータに置き換えることによって、これらの2つのファイルが結合される。また、指定MP4ファイルの録画開始時刻TSmp4と指定PCMファイルの録音開始時刻TSpcmとは完全には一致しないことが多いので、編集ファイルの先頭部分に対して以下の処理が実行される。   In the file combining process, these two files are combined mainly by replacing the AAC data stored in the designated MP4 file with the PCM data stored in the designated PCM file. Further, since the recording start time TSmp4 of the designated MP4 file and the recording start time TSpcm of the designated PCM file often do not completely coincide with each other, the following processing is executed on the head portion of the edit file.

図10(A)を参照して、録画開始時刻TSmp4が録音開始時刻TSpcmよりも先行している場合は、録画開始時刻TSmp4から録音開始時刻TSpcmまでの時間帯については、指定MP4ファイルに収められたAACデータが音声データとして利用される。録音開始時刻TSpcm以降で指定MP4ファイルの録画時間帯と指定PCMファイルの録音時間帯とが重複する時間帯については、指定PCMファイルに収められたPCMデータが音声データとして利用される。   Referring to FIG. 10A, when the recording start time TSmp4 precedes the recording start time TSpcm, the time zone from the recording start time TSmp4 to the recording start time TSpcm is stored in the designated MP4 file. AAC data is used as audio data. For a time zone where the recording time zone of the designated MP4 file and the recording time zone of the designated PCM file overlap after the recording start time TSpcm, the PCM data stored in the designated PCM file is used as audio data.

図10(B)を参照して、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行している場合は、録音開始時刻TSpcmから録画開始時刻TSmp4までの時間帯については、先に算出された差分時間ΔTSに相当する画像データが新たに作成され、作成された画像データが利用される。   Referring to FIG. 10B, when the recording start time TSpcm is ahead of the recording start time TSmp4, the difference calculated earlier is obtained for the time zone from the recording start time TSpcm to the recording start time TSmp4. Image data corresponding to the time ΔTS is newly created, and the created image data is used.

ここでの画像データの作成は、指定MP4ファイルの先頭フレームの画像を差分時間ΔTSに相当するフレーム数だけ複製することによって行われる。   The creation of the image data here is performed by copying the image of the first frame of the designated MP4 file by the number of frames corresponding to the difference time ΔTS.

開始時刻と同様に、指定MP4ファイルの録画終了時刻TEmp4と指定PCMファイルの録音終了時刻TEpcmとは完全には一致しないことが多いので、編集ファイルの末尾部分に対して以下の処理が実行される。   As in the case of the start time, the recording end time TEmp4 of the designated MP4 file and the recording end time TEpcm of the designated PCM file often do not completely coincide with each other. .

CPU46は、ファイル結合処理の下、録画終了時刻TEmp4と録音終了時刻TEpcmとの差分時間を“ΔTE”として算出する。   The CPU 46 calculates the difference time between the recording end time TEmp4 and the recording end time TEpcm as “ΔTE” under the file combination process.

図11(A)を参照して、録音終了時刻TEpcmが録画終了時刻TEmp4よりも先行している場合は、録音終了時刻TEpcmから録画終了時刻TEmp4までの時間帯については、指定MP4ファイルに収められたAACデータが音声データとして利用される。   Referring to FIG. 11A, when the recording end time TEpcm precedes the recording end time TEmp4, the time zone from the recording end time TEpcm to the recording end time TEmp4 is stored in the designated MP4 file. AAC data is used as audio data.

図11(B)を参照して、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行している場合は、録画終了時刻TEmp4から録音終了時刻TEpcmからまでの時間帯については、先に算出された差分時間ΔTEに相当する画像データが新たに作成され、作成された画像データが利用される。   Referring to FIG. 11B, when the recording end time TEmp4 precedes the recording end time TEpcm, the time zone from the recording end time TEmp4 to the recording end time TEpcm is calculated first. Image data corresponding to the difference time ΔTE is newly created, and the created image data is used.

ここでの画像データの作成は、指定MP4ファイルの最終フレームの画像を差分時間ΔTEに相当するフレーム数だけ複製することによって行われる。   The creation of the image data here is performed by copying the image of the last frame of the designated MP4 file by the number of frames corresponding to the difference time ΔTE.

以上のように、画像データについては、必要に応じて新たな画像データが作成されて、編集ファイルの先頭または末尾に追加される。   As described above, for image data, new image data is created as necessary and added to the beginning or end of the editing file.

音声データについては、まず、MP4ファイルの録画時間帯とPCMファイルの録音時間帯とが重複する時間帯については、指定MP4ファイルからAACデータが削除される。次に、指定PCMファイルに収められたPCMデータがAAC形式のデータに変換されて、AACデータが新たに作成される。そして、新たに作成されたAACデータが指定MP4ファイルに収められる。この際、元のAACデータのうち削除されなかったものがある場合は、残りのAACデータと新たに作成されたAACデータとが結合された上で指定MP4ファイルに収められる。   For audio data, first, AAC data is deleted from the designated MP4 file for a time zone in which the recording time zone of the MP4 file and the recording time zone of the PCM file overlap. Next, the PCM data stored in the designated PCM file is converted into data in the AAC format, and AAC data is newly created. The newly created AAC data is stored in the designated MP4 file. At this time, if there is any original AAC data that has not been deleted, the remaining AAC data and the newly created AAC data are combined and stored in the designated MP4 file.

このようにしてファイル結合処理が完了すると、CPU46は、編集ファイルが完成した旨を操作者に報知する。   When the file combination process is completed in this way, the CPU 46 notifies the operator that the edited file is completed.

ファイル編集モードが選択されたとき、CPU46は、図12〜図15に示すファイル編集タスクを実行する。このタスクもまた、フラッシュメモリ52に記憶される。   When the file editing mode is selected, the CPU 46 executes the file editing task shown in FIGS. This task is also stored in the flash memory 52.

図12を参照して、ステップS51ではディジタルビデオカメラ10のUSBコントローラ50にICレコーダ100が正常に接続されているか否かを判別する。判別結果がNOであればステップS53で警告を発生してからステップS51に戻る一方、YESであればステップS55に進む。   Referring to FIG. 12, in step S51, it is determined whether or not IC recorder 100 is normally connected to USB controller 50 of digital video camera 10. If the determination result is NO, a warning is generated in step S53 and then the process returns to step S51. If YES, the process proceeds to step S55.

ステップS55ではファイル指定操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS57に進む。ステップS57では、指定されたMP4ファイルのヘッダに記述されている録画開始時刻TSmp4をI/F42を通じて検出し、ステップS59では指定されたMP4ファイルのヘッダに記述されている録画終了時刻TEmp4をI/F42を通じて検出する。   In step S55, it is repeatedly determined whether or not a file designation operation has been performed. If the determination result is updated from NO to YES, the process proceeds to step S57. In step S57, the recording start time TSmp4 described in the header of the designated MP4 file is detected through the I / F 42, and in step S59, the recording end time TEmp4 described in the header of the designated MP4 file is detected as I / F. Detect through F42.

ステップS61では、変数Lに“1”を設定する。ステップS63では、ディジタルビデオカメラ10のUSBコントローラ50、ICレコーダ100のUSBコントローラ140およびI/F110を通じてICレコーダ100のメモリカード112にアクセスし、メモリカード112に記録されているPCMファイルのファイル数を検出する。検出されたファイル数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。   In step S61, the variable L is set to “1”. In step S63, the memory card 112 of the IC recorder 100 is accessed through the USB controller 50 of the digital video camera 10, the USB controller 140 of the IC recorder 100, and the I / F 110, and the number of PCM files recorded on the memory card 112 is calculated. To detect. The number of detected files is set to the maximum value Lmax in order to define the variable range of the variable L.

ステップS65では、L番目のPCMファイルを指定する。ステップS67では指定されたPCMファイルのヘッダから録音開始時刻TSpcmを検出し、ステップS69では指定されたPCMファイルのヘッダから録音終了時刻TEpcmを検出する。   In step S65, the Lth PCM file is designated. In step S67, the recording start time TSpcm is detected from the header of the designated PCM file, and in step S69, the recording end time TEpcm is detected from the header of the designated PCM file.

ステップS71では検出された録画開始時刻TSmp4と録音開始時刻TSpcmとの差分時間を“ΔTS”として算出し、ステップS73では算出された差分時間ΔTSが30秒以内か否かを判別する。判別結果がNOであればステップS75に進む一方、YESであればステップS81に進む。   In step S71, the difference time between the detected recording start time TSmp4 and the recording start time TSpcm is calculated as “ΔTS”, and in step S73, it is determined whether or not the calculated difference time ΔTS is within 30 seconds. If the determination result is NO, the process proceeds to step S75, and if it is YES, the process proceeds to step S81.

ステップS75では変数Lをインクリメントし、ステップS77では変数Lが最大値Lmaxを超えたか否かを判別する。判別結果がNOであればステップS65に戻る一方、YESであればステップS79に進む。ステップS79ではファイル編集処理が不能である旨を操作者に報知し、その後に処理を終了する。ステップS81では、指定MP4ファイルと指定PCMファイルとを結合するべく、ファイル結合処理を実行する。ファイル結合処理が完了すると、編集後のファイルが完成した旨をステップS83で操作者に報知し、その後に処理を終了する。   In step S75, the variable L is incremented, and in step S77, it is determined whether or not the variable L exceeds the maximum value Lmax. If the determination result is NO, the process returns to step S65, whereas if YES, the process proceeds to step S79. In step S79, the operator is informed that the file editing process is not possible, and thereafter the process ends. In step S81, a file combination process is executed to combine the designated MP4 file and the designated PCM file. When the file combination process is completed, the operator is notified in step S83 that the edited file is completed, and then the process ends.

図13に示すステップS81のファイル結合処理は、図14〜図15に示すサブルーチンに従って実行される。ステップS91では、録画終了時刻TEmp4と録音終了時刻TEpcmとの差分時間を“ΔTE”として算出する。   The file combining process in step S81 shown in FIG. 13 is executed according to the subroutine shown in FIGS. In step S91, the difference time between the recording end time TEmp4 and the recording end time TEpcm is calculated as “ΔTE”.

ステップS93では、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行しているか否かを判別し、判別結果がNOであればステップS99に進む一方、YESであればステップS95に進む。   In step S93, it is determined whether or not the recording start time TSpcm is ahead of the recording start time TSmp4. If the determination result is NO, the process proceeds to step S99, whereas if YES, the process proceeds to step S95.

ステップS95では、指定MP4ファイルの先頭フレームの画像を差分時間ΔTSに相当するフレーム数だけ複製する。ステップS97ではステップS95で作成された画像データを指定MP4ファイルの先頭に追加する。   In step S95, the image of the first frame of the designated MP4 file is duplicated by the number of frames corresponding to the difference time ΔTS. In step S97, the image data created in step S95 is added to the head of the designated MP4 file.

ステップS99では、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行しているか否かを判別し、判別結果がNOであればステップS105に進む一方、YESであればステップS101に進む。   In step S99, it is determined whether the recording end time TEmp4 is ahead of the recording end time TEpcm. If the determination result is NO, the process proceeds to step S105, and if YES, the process proceeds to step S101.

ステップS101では、指定MP4ファイルの最終フレームの画像を差分時間ΔTEに相当するフレーム数だけ複製する。ステップS103ではステップS101で作成された画像データを指定MP4ファイルの末尾に追加する。   In step S101, the last frame image of the designated MP4 file is duplicated by the number of frames corresponding to the difference time ΔTE. In step S103, the image data created in step S101 is added to the end of the designated MP4 file.

ステップS105では、指定MP4ファイルの録画時間帯と指定PCMファイルの録音時間帯とが重複する時間帯について、指定MP4ファイルからAACデータを削除する。ステップS107では、指定PCMファイルに収められたPCMデータをAAC形式のデータに変換し、ステップS109では、変換されたAACデータを指定MP4ファイルに追加する。   In step S105, AAC data is deleted from the designated MP4 file for a time zone in which the recording time zone of the designated MP4 file and the recording time zone of the designated PCM file overlap. In step S107, the PCM data stored in the designated PCM file is converted into AAC format data. In step S109, the converted AAC data is added to the designated MP4 file.

以上の説明から分かるように、CPU46は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出し(S57, S59)、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する
(S67, S69)。CPU46はまた、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加し(S95~S97, S101~S103)、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する(S105~S109)。
As can be seen from the above description, the CPU 46 detects the capture time zone of the image data stored in the first file as the first time zone (S57, S59), and the capture time of the audio data stored in the second file. Detecting the time zone as the second time zone
(S67, S69). The CPU 46 also adds reference image data to the first file corresponding to a non-overlapping time zone that does not overlap the first time zone in the second time zone (S95 to S97, S101 to S103), and stores it in the second file. The obtained audio data is added to the first file corresponding to the overlapping time zone between the first time zone and the second time zone (S105 to S109).

第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。   By adding the audio data stored in the second file to the first file corresponding to the overlapping time zone, the image data and the audio data can be reproduced in a manner that is synchronized with each other. Further, by adding the reference image data to the first file in correspondence with the non-overlapping time zone, the correspondence between the audio data and the image data can be ensured over the first time zone. In this way, an edit file having a desired quality is created.

なお、この実施例では、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行している場合に、編集ファイルの先頭部分の非重複時間帯には、編集前のMP4ファイルの先頭フレームを用いて作成された画像データを利用している。しかし、先頭フレーム以外の画像を用いて画像データを作成し、これを先頭部分の非重複時間帯に利用するようにしてもよい。例えば、先頭フレームを含むGOP(Group Of Picture)内の他のフレームの画像を用いるようにしてもよい。同様に、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行している場合に、最終フレーム以外の画像を用いて画像データを作成し、これを編集ファイルの末尾部分の非重複時間帯に利用するようにしてもよい。   In this embodiment, when the recording start time TSpcm precedes the recording start time TSmp4, the first frame of the MP4 file before editing is created in the non-overlapping time zone of the head portion of the edited file. The image data is used. However, it is also possible to create image data using an image other than the top frame and use it in the non-overlapping time zone of the top portion. For example, an image of another frame in a GOP (Group Of Picture) including the first frame may be used. Similarly, when the recording end time TEmp4 precedes the recording end time TEpcm, image data is created using an image other than the last frame, and this is used for the non-overlapping time zone at the end of the edit file. You may do it.

また、この実施例では、ディジタルビデオカメラ10とICレコーダ100とを接続し、ディジタルビデオカメラ10のCPU46にファイル編集タスクを実行させて、操作者がディジタルビデオカメラ10のキー入力装置48を操作してファイル編集を行うようにした。しかし、ICレコーダ100のMCU114にファイル編集タスクを実行させて、操作者がICレコーダ100のキー入力装置120を操作してファイル編集を行うようにしてもよい。   In this embodiment, the digital video camera 10 and the IC recorder 100 are connected, the CPU 46 of the digital video camera 10 executes a file editing task, and the operator operates the key input device 48 of the digital video camera 10. File editing. However, the MCU 114 of the IC recorder 100 may be caused to execute a file editing task and the operator may operate the key input device 120 of the IC recorder 100 to perform file editing.

さらに、メモリカード44および112等を通じて、MP4ファイルおよびPCMファイルを外部の装置に移動させ、ファイル移動後の装置においてファイル編集を行うようにしてもよい。例えば、MP4ファイルおよびPCMファイルをパーソナルコンピュータのハードディスクに取り込み、パーソナルコンピュータにおいてファイル編集を行うようにすることもできる。ただし、この場合は、図12に示すステップS51およびS53の処理は実行されず、ステップS63においては、ICレコーダ100のメモリカード112に代えてパーソナルコンピュータのハードディスクにアクセスする必要がある。   Further, the MP4 file and the PCM file may be moved to an external device through the memory cards 44 and 112 and the file may be edited in the device after the file is moved. For example, MP4 files and PCM files can be taken into a hard disk of a personal computer, and file editing can be performed on the personal computer. However, in this case, the processing in steps S51 and S53 shown in FIG. 12 is not executed, and in step S63, it is necessary to access the hard disk of the personal computer instead of the memory card 112 of the IC recorder 100.

また、この実施例では、ディジタルビデオカメラ10で得られた画像データおよび音声データ、ならびにICレコーダ100で得られた音声データを用いて、編集ファイルを作成している。しかし、これら以外の画像データと音声データとを組み合わせたものであっても、共通する時間軸の下で作成され、その時間帯を検出できるものであれば、本発明を適用することができる。例えば、複数台のディジタルビデオカメラを用いて同一の対象を撮影した場合等において、互いに異なるディジタルビデオカメラに記録された画像データと音声データとを組み合わせて、編集ファイルを作成するようにしてもよい。または、パーソナルコンピュータで作成された画像データまたは音声データをダウンロードしたものを、組み合わせに用いてもよい。   In this embodiment, an edit file is created using image data and audio data obtained by the digital video camera 10 and audio data obtained by the IC recorder 100. However, the present invention can be applied to any combination of image data and audio data other than these as long as they are created under a common time axis and can detect the time zone. For example, when the same object is shot using a plurality of digital video cameras, an edit file may be created by combining image data and audio data recorded in different digital video cameras. . Or what downloaded the image data or audio | voice data produced with the personal computer may be used for a combination.

また、この実施例では、画像データにはMP4形式のデータを用い、音声データにはAAC形式のデータおよびPCM形式のデータを用いている。しかし、これら以外の形式の画像データまたは音声データを用いるようにしてもよい。例えば、Motion JPEG形式の画像データおよびMP3形式の音声データ等を用いるようにしてもよい。   In this embodiment, MP4 format data is used for image data, and AAC format data and PCM format data are used for audio data. However, other types of image data or audio data may be used. For example, Motion JPEG format image data and MP3 format audio data may be used.

10 … ディジタルビデオカメラ
36 … AACエンコーダ
38 … MPEG4エンコーダ
42 … I/F
44 … メモリカード
46 … CPU
48 … キー入力装置
50 … USBコントローラ
100 … ICレコーダ
110 … I/F
112 … メモリカード
140 … USBコントローラ
DESCRIPTION OF SYMBOLS 10 ... Digital video camera 36 ... AAC encoder 38 ... MPEG4 encoder 42 ... I / F
44 ... Memory card 46 ... CPU
48 ... Key input device 50 ... USB controller 100 ... IC recorder 110 ... I / F
112 ... Memory card 140 ... USB controller

Claims (8)

第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出手段、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出手段、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加手段、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加手段を備える、ファイル編集装置。
First detection means for detecting a time period for capturing image data stored in the first file as a first time period;
A second detection means for detecting a time period for capturing audio data stored in the second file as a second time period;
First addition means for adding reference image data to the first file corresponding to a non-overlapping time zone that does not overlap with the first time zone in the second time zone, and audio data stored in the second file A file editing apparatus, comprising: a second adding unit that adds a file to the first file corresponding to an overlapping time zone between the first time zone and the second time zone.
前記第1ファイルは音声データをさらに収め、
前記第2追加手段は前記重複時間帯に対応して前記第1ファイルに収められた音声データを前記第2ファイルに収められた音声データによって置換する、請求項1記載のファイル編集装置。
The first file further contains audio data;
2. The file editing apparatus according to claim 1, wherein the second adding unit replaces audio data stored in the first file with audio data stored in the second file in correspondence with the overlapping time period. 3.
前記第1追加手段は前記第1ファイルに収められた画像データの一部を複製して前記基準画像データを作成する複製手段を含む、請求項1または2記載のファイル編集装置。 3. The file editing apparatus according to claim 1, wherein the first adding unit includes a duplicating unit that duplicates a part of image data stored in the first file to create the reference image data. 4. 前記複製手段は前記非重複時間帯が前記第1時間帯に先立つ時間帯であるとき前記画像データの先頭フレームを複製する、請求項3記載のファイル編集装置。 4. The file editing apparatus according to claim 3, wherein the duplicating unit duplicates a first frame of the image data when the non-overlapping time zone is a time zone preceding the first time zone. 前記複製手段は前記非重複時間帯が前記第1時間帯に遅れる時間帯であるとき前記画像データの最終フレームを複製する、請求項3または4記載のファイル編集装置。 5. The file editing apparatus according to claim 3, wherein the duplicating unit duplicates the last frame of the image data when the non-overlapping time zone is a time zone that is delayed from the first time zone. 前記第1時間帯の先頭時刻と前記第2時間帯の先頭時刻との相違が基準を下回るか否かを判別する判別手段、
前記判別手段の判別結果が否定的であるとき別の第2ファイルを前記第2検出手段の検出処理のために指定する指定手段、および
前記判別手段の判別結果が肯定的であるとき前記第1追加手段および/または前記第2追加手段を起動する起動手段をさらに備える、請求項1ないし5のいずれかに記載のファイル編集装置。
A discriminating means for discriminating whether or not the difference between the start time of the first time zone and the start time of the second time zone falls below a reference;
When the discrimination result of the discrimination means is negative, the designation means for designating another second file for the detection process of the second detection means, and the first when the discrimination result of the discrimination means is affirmative 6. The file editing apparatus according to claim 1, further comprising an activation unit that activates an addition unit and / or the second addition unit.
ファイル編集装置のプロセッサに、
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出ステップ、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出ステップ、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加ステップ、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加ステップを実行させるための、ファイル編集プログラム。
In the processor of the file editing device,
A first detection step of detecting, as a first time period, a time period for capturing image data stored in the first file;
A second detection step of detecting, as a second time period, a time period for capturing audio data stored in the second file;
A first addition step of adding reference image data to the first file corresponding to a non-overlapping time zone that does not overlap with the first time zone in the second time zone, and audio data stored in the second file A file editing program for executing a second addition step of adding to the first file corresponding to an overlapping time zone between the first time zone and the second time zone.
ファイル編集装置によって実行されるファイル編集方法であって、
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出ステップ、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出ステップ、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加ステップ、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加ステップを備える、ファイル編集方法。
A file editing method executed by a file editing device,
A first detection step of detecting, as a first time period, a time period for capturing image data stored in the first file;
A second detection step of detecting, as a second time period, a time period for capturing audio data stored in the second file;
A first addition step of adding reference image data to the first file corresponding to a non-overlapping time zone that does not overlap with the first time zone in the second time zone, and audio data stored in the second file A file editing method comprising: a second adding step of adding to the first file corresponding to an overlapping time zone between the first time zone and the second time zone.
JP2010089097A 2010-04-08 2010-04-08 File editing device Pending JP2011223220A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010089097A JP2011223220A (en) 2010-04-08 2010-04-08 File editing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010089097A JP2011223220A (en) 2010-04-08 2010-04-08 File editing device

Publications (1)

Publication Number Publication Date
JP2011223220A true JP2011223220A (en) 2011-11-04

Family

ID=45039643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010089097A Pending JP2011223220A (en) 2010-04-08 2010-04-08 File editing device

Country Status (1)

Country Link
JP (1) JP2011223220A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123934A (en) * 2019-01-31 2020-08-13 株式会社リコー Data editing processing device, application, and photographing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123934A (en) * 2019-01-31 2020-08-13 株式会社リコー Data editing processing device, application, and photographing device
JP7247616B2 (en) 2019-01-31 2023-03-29 株式会社リコー Data editing processor, application, and imaging device

Similar Documents

Publication Publication Date Title
US8878951B2 (en) Image processing apparatus and method of controlling the same
CN101263706B (en) Imaging device and recording method
US9443554B2 (en) Image processing apparatus and method of controlling the same
JP2014183511A (en) Imaging apparatus, video content generating method, and program
JP2006303961A (en) Imaging apparatus
JP5266701B2 (en) Imaging apparatus, subject separation method, and program
JP5743512B2 (en) Imaging apparatus and control method thereof
JP2006094053A (en) Photo movie creating method and apparatus thereof, and photo movie creating program
JP5600405B2 (en) Image processing apparatus, image processing method, and program
JP2010028407A (en) Video recording apparatus, video recording method, and computer program
JP2008022216A (en) Device and method for displaying image, program, photographing apparatus with information recorder, and animation recording device
JP2011223220A (en) File editing device
JP2010021819A (en) Image display apparatus, image display method, and program
JP6427859B2 (en) Image processing apparatus, image processing method, and program
JP2011066877A (en) Image processing apparatus
JP2009033277A (en) Camcorder
JP5473517B2 (en) Image processing device
JP2011244183A (en) Imaging apparatus, image display apparatus, and image display program
JP4673916B2 (en) Information processing apparatus, information processing method, and information processing program
JP2012004731A (en) Content processing device
JP2014027560A (en) Image processor
JP2000236508A (en) Image recorder
JP4282528B2 (en) Electronic camera and shooting control program
JP2005303807A (en) Photography-taking apparatus and method and program
JP5631598B2 (en) Data processing device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130521