JP2011223220A - File editing device - Google Patents
File editing device Download PDFInfo
- Publication number
- JP2011223220A JP2011223220A JP2010089097A JP2010089097A JP2011223220A JP 2011223220 A JP2011223220 A JP 2011223220A JP 2010089097 A JP2010089097 A JP 2010089097A JP 2010089097 A JP2010089097 A JP 2010089097A JP 2011223220 A JP2011223220 A JP 2011223220A
- Authority
- JP
- Japan
- Prior art keywords
- file
- time zone
- time
- image data
- data stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
この発明は、ファイル編集装置に関し、特に電子カメラに用いられ、画像データと音声データとを編集する、ファイル編集装置に関する。 The present invention relates to a file editing apparatus, and more particularly to a file editing apparatus that is used in an electronic camera and edits image data and audio data.
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、複数種類のデータが関連付けて記録される際に、記録手段はマーキング発生手段によって所定タイミングで発生される所定のマーキングデータを他のデータとともに記録する。特定データ取得手段は複数種類のデータのうち所定種類のデータを取得する。それを、特定データ記録手段はマーキングデータ発生手段によって発生されるマーキングデータとともに記録する。データ記録装置は、特定データ記録手段が記録しているマーキングデータと記録手段が記録しているマーキングデータとを同期させ、記録手段が記録している複数種類のデータのうち特定データ記録手段が記録しているデータと同じ種類のデータを、特定データ記録手段が記録しているデータで書き換える。
An example of this type of device is disclosed in
しかし、背景技術では、一方のデータの取り込み時間帯に他方のデータの取り込み時間帯と重複しない時間帯がある場合に、その重複しない時間帯に相当する箇所に対して特段の処理はなされない。よって、画像データを収めたファイルと音声データを収めたファイルとを同期させて編集する場合には、編集後のファイルに収められるデータの先頭または末尾に無画像部分または無音声部分が生じることがあり、編集ファイルの品質が低下するおそれがある。 However, in the background art, when there is a time zone that does not overlap with the time zone for taking in one data in the time zone for taking in one data, no special processing is performed for a portion corresponding to the time zone that does not overlap. Therefore, when editing a file containing image data and a file containing audio data in synchronization, a no-image or no-audio part may occur at the beginning or end of the data stored in the edited file. Yes, the quality of the edit file may be degraded.
それゆえに、この発明の主たる目的は、編集ファイルの品質を向上させることができる、ファイル編集装置を提供することである。 Therefore, a main object of the present invention is to provide a file editing apparatus capable of improving the quality of an edited file.
この発明に従うファイル編集装置(10:実施例で相当する参照符号。以下同じ)は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出手段(S57, S59)、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出手段(S67, S69)、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加する第1追加手段(S95~S97, S101~S103)、および第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する第2追加手段(S105~S109)を備える。 A file editing apparatus according to the present invention (10: reference numeral corresponding to the embodiment; the same applies hereinafter) includes first detection means (S57, S57, S1) that detects a time period for taking in image data stored in a first file as a first time period. S59), second detection means (S67, S69) for detecting the time period of the audio data stored in the second file as the second time period, and the non-overlapping time that does not overlap with the first time period in the second time period First addition means (S95 to S97, S101 to S103) for adding reference image data to the first file corresponding to the band, and the audio data stored in the second file as the first time zone and the second time zone The second adding means (S105 to S109) for adding to the first file corresponding to the overlapping time zone is provided.
好ましくは、第1ファイルは音声データをさらに収め、第2追加手段は重複時間帯に対応して第1ファイルに収められた音声データを第2ファイルに収められた音声データによって置換する。 Preferably, the first file further stores audio data, and the second adding means replaces the audio data stored in the first file with the audio data stored in the second file corresponding to the overlapping time period.
好ましくは、第1追加手段は第1ファイルに収められた画像データの一部を複製して基準画像データを作成する複製手段(S95, S101)を含む。 Preferably, the first addition means includes duplication means (S95, S101) for duplicating a part of the image data stored in the first file to create reference image data.
さらに好ましくは、複製手段は非重複時間帯が第1時間帯に先立つ時間帯であるとき画像データの先頭フレームを複製する。 More preferably, the duplicating unit duplicates the first frame of the image data when the non-overlapping time zone is a time zone preceding the first time zone.
さらに好ましくは、複製手段は非重複時間帯が第1時間帯に遅れる時間帯であるとき画像データの最終フレームを複製する。 More preferably, the duplicating unit duplicates the last frame of the image data when the non-overlapping time zone is a time zone that is delayed from the first time zone.
好ましくは、第1時間帯の先頭時刻と第2時間帯の先頭時刻との相違が基準を下回るか否かを判別する判別手段(S73)、判別手段の判別結果が否定的であるとき別の第2ファイルを第2検出手段の検出処理のために指定する指定手段(S75)、および判別手段の判別結果が肯定的であるとき第1追加手段および/または第2追加手段を起動する起動手段(S91)をさらに備える。 Preferably, a discriminating means (S73) for discriminating whether or not the difference between the start time of the first time zone and the start time of the second time zone falls below a reference, and when the discrimination result of the discriminating means is negative Designating means (S75) for designating the second file for detection processing of the second detecting means, and starting means for activating the first adding means and / or the second adding means when the determination result of the determining means is affirmative (S91) is further provided.
第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。 By adding the audio data stored in the second file to the first file corresponding to the overlapping time zone, the image data and the audio data can be reproduced in a manner that is synchronized with each other. Further, by adding the reference image data to the first file in correspondence with the non-overlapping time zone, the correspondence between the audio data and the image data can be ensured over the first time zone. In this way, an edit file having a desired quality is created.
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
Embodiments of the present invention will be described below with reference to the drawings.
[Basic configuration]
図1を参照して、この発明のファイル編集装置は、基本的に次のように構成される。第1検出手段1は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する。第2検出手段2は、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する。第1追加手段3は、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加する。第2追加手段4は、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する。
Referring to FIG. 1, the file editing apparatus according to the present invention is basically configured as follows. The first detection means 1 detects the capture time zone of the image data stored in the first file as the first time zone. The second detection means 2 detects the time period for taking in audio data stored in the second file as the second time period. The
第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。
[実施例]
By adding the audio data stored in the second file to the first file corresponding to the overlapping time zone, the image data and the audio data can be reproduced in a manner that is synchronized with each other. Further, by adding the reference image data to the first file in correspondence with the non-overlapping time zone, the correspondence between the audio data and the image data can be ensured over the first time zone. In this way, an edit file having a desired quality is created.
[Example]
図2を参照して、この実施例のディジタルビデオカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。被写界の光学像は、これらの部材を通してイメージセンサ16の撮像面に照射される。
Referring to FIG. 2, the
キー入力装置48によって撮像モードが選択されると、CPU46は、記録制御タスクの下で動画取り込み処理を実行するべく、ドライバ18cを起動する。ドライバ18cは、1/60秒毎に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、撮像面で生成された電荷を順次走査態様で読み出す。イメージセンサ16からは、被写界を表す生画像データが60fpsのフレームレートで出力される。
When the imaging mode is selected by the
前処理回路20は、イメージセンサ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路22を通してSDRAM24の生画像エリア24a(図3参照)に書き込まれる。
The preprocessing
後処理回路26は、メモリ制御回路22を通して生画像エリア24aにアクセスし、生画像データを順次走査態様で1/60秒毎に読み出す。読み出された生画像データは色分離,白バランス調整,YUV変換,エッジ強調,ズームなどの処理を施され、この結果、YUV画像データが作成される。作成されたYUV画像データは、メモリ制御回路22を通してSDRAM24のYUV画像エリア24b(図3参照)に書き込まれる。
The
LCDドライバ30は、YUV画像エリア24bに格納されたYUV画像データを繰り返し読み出し、読み出された画像データをLCDモニタ32の解像度に適合するように縮小し、そして縮小された画像データに基づいてLCDモニタ32を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
The
前処理回路20はまた、生画像データを簡易的にYデータに変換し、変換されたYデータをCPU46に与える。CPU46は、YデータにAE処理を施し、適正EV値を算出する。算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定され、これによってスルー画像の明るさが適度に調整される。CPU46はまた、AF起動条件が満足されるときに、Yデータの高周波成分にAF処理を施す。フォーカスレンズ12はドライバ18aによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。
The preprocessing
時計回路54は繰り返し発生されるパルスをカウントする。別途設定される基準時刻とこのカウントとによって、ディジタルビデオカメラ10の内部時計としての現在の時刻が決定される。基準時刻は、ディジタルビデオカメラ10の操作者によって初期設定されるようにしてもよいし、ディジタルビデオカメラ10が無線通信機能等を有する場合は外部機器から取り込むようにしてもよい。
The
キー入力装置48に向けて記録開始操作が行われると、CPU46は、記録制御タスクの下でI/F42を通してメモリカード44にアクセスし、MP4ファイルをメモリカード44に新規に作成する(作成されたMP4ファイルはオープンされる)。作成されたMP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画開始時刻TSmp4として記述される。
When a recording start operation is performed toward the
ファイル作成&オープン処理が完了すると、CPU46は、MP4符号化処理を開始するべくMPEG4エンコーダ38を起動し、そして音声取り込み処理を開始するべくAACエンコーダ36を起動する。
When the file creation & opening process is completed, the
MP4エンコーダ38は、YUV画像エリア24bに格納されたYUV画像データをメモリ制御回路22を通して繰り返し読み出し、読み出された画像データをMPEG4方式に従って符号化し、そして符号化画像データつまりMP4データをメモリ制御回路22を通してSDRAM24の符号化画像エリア24c(図3参照)に書き込む。
The
AACエンコーダ36は、マイクロフォン34から出力された音声データをAAC方式に従って符号化し、符号化音声データつまりAACデータをメモリ制御回路22を通してSDRAM24の符号化音声エリア24d(図3参照)に書き込む。
The
CPU46はその後、60フレームのMP4データが得られる毎に、最新60フレームのMP4データおよび最新1秒分のAACデータをオープン状態のMP4ファイルに転送する。最新60フレームのMP4データおよび最新1秒分のAACデータは、メモリ制御回路22によって符号化画像エリア24cおよび符号化音声エリア24dから読み出され、I/F42を介してMP4ファイルに書き込まれる。したがって、MP4データおよびAACデータは、図4に示す要領でMP4ファイルに収められる。
Thereafter, every time 60 frames of MP4 data are obtained, the
キー入力装置48に向けて記録終了操作が行われると、CPU46は、MP4符号化処理を終了するべくMPEG4エンコーダ38を停止し、そして音声取り込み処理を終了するべくAACエンコーダ36を停止する。
When a recording end operation is performed toward the
CPU46はその後、終端処理を実行する。これによって、SDRAM24に残存する60フレーム未満のMP4データおよび1秒未満のAACデータがMP4ファイルに書き込まれる。さらに、MP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画終了時刻TEmp4として記述される。オープン状態のMP4ファイルは、終端処理が完了した後にクローズされる。
Thereafter, the
撮像モードが選択されたとき、CPU46は図5〜図6に示す記録制御タスクを実行する。なお、このタスクに対応する制御プログラムは、フラッシュメモリ52に記憶される。
When the imaging mode is selected, the
図5を参照して、ステップS1では動画取り込み処理を実行する。これによって、スルー画像がLCDモニタ32に表示される。ステップS3では記録開始操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS5に進む。ステップS5では、I/F42を通してメモリカード44にアクセスし、オープン状態のMP4ファイルをメモリカード44に新規に作成する。作成されたMP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画開始時刻TSmp4として記述される。
Referring to FIG. 5, in step S1, a moving image capturing process is executed. As a result, a through image is displayed on the
ステップS7ではMP4符号化処理を開始するべくMPEG4エンコーダ38を起動し、ステップS9では音声取り込み処理を開始するべくAACエンコーダ36を起動する。
In step S7, the
ステップS11では変数Kを“1”に設定し、ステップS13では60*Kフレーム目のMP4データが完成したか否かを判別する。判別結果がNOからYESに更新されると、ステップS15以降の処理を実行する。 In step S11, the variable K is set to “1”, and in step S13, it is determined whether or not the MP4 data of the 60 * K frame is completed. When the determination result is updated from NO to YES, the processing after step S15 is executed.
ステップS15では、符号化画像エリア24cに格納された最新60フレームのMP4データをメモリ制御回路22を通して読み出し、読み出されたMP4データをI/F42を介してオープン状態のMP4ファイルに書き込む。ステップS17では、符号化音声エリア24dに格納された最新1秒分のAACデータをメモリ制御回路22を通して読み出し、読み出されたAACデータをI/F42を介してオープン状態のMP4ファイルに書き込む。
In step S15, the latest 60 frames of MP4 data stored in the encoded
ステップS19では、記録終了操作が行われたか否かを判別する。判別結果がNOであれば、ステップS21で変数KをインクリメントしてからステップS13に戻る。したがって、ステップS15〜S17の処理は、60フレームのMP4データが得られる毎に実行される。ステップS19の判別結果がNOからYESに更新されると、ステップS23に進む。 In step S19, it is determined whether or not a recording end operation has been performed. If the determination result is NO, the variable K is incremented in step S21, and the process returns to step S13. Accordingly, the processes of steps S15 to S17 are executed every time 60 frames of MP4 data are obtained. If the determination result of step S19 is updated from NO to YES, it will progress to step S23.
ステップS23では、MP4符号化処理を終了するべくMPEG4エンコーダ38を停止し、ステップS25では音声取り込み処理を終了するべくAACエンコーダ36を停止する。
In step S23, the
ステップS27では、終端処理を実行する。これによって、SDRAM24に残存する60フレーム未満のMP4データおよび1秒未満のAACデータがMP4ファイルに書き込まれる。さらに、MP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画終了時刻TEmp4として記述される。ステップS29では、I/F42を通してメモリカード44にアクセスし、オープン状態のMP4ファイルをクローズする。クローズ処理が完了すると、ステップS3に戻る。
In step S27, termination processing is executed. As a result, the MP4 data of less than 60 frames remaining in the
図7を参照して、この実施例のICレコーダ100は、キー入力装置120を含む。キー入力装置120によって電源投入操作が行われると、バッテリ(図示しない)に基づく電力がシステム全体に供給される。これによって、ICレコーダ100が起動する。
Referring to FIG. 7,
時計回路154は繰り返し発生されるパルスをカウントする。別途設定される基準時刻とこのカウントとによって、ICレコーダ100の内部時計としての現在の時刻が決定される。基準時刻は、ICレコーダ100の操作者によって初期設定されるようにしてもよいし、ICレコーダ100が無線通信機能等を有する場合は外部機器から取り込むようにしてもよい。
The
キー入力装置120によって記録モードが選択されかつ記録開始操作が行われると、MCU114は、記録制御タスクの下でI/F110を通してメモリカード112にアクセスし、PCMファイルをメモリカード112に新規に作成する(作成されたPCMファイルはオープンされる)。作成されたPCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音開始時刻TSpcmとして記述される。
When the recording mode is selected by the
ファイル作成&オープン処理が完了すると、MCU114は、音声取り込み処理を開始するべくコーデック130を起動し、符号化命令をコーデック130に向けてそれぞれ発行する。コーデック130は、マイクロフォン122によって捉えられかつアンプ128によって増幅されたオーディオ信号をディジタルオーディオデータに符号化し、符号化されたオーディオデータをメモリ116に蓄積する。MCU114は、メモリ116に蓄積された符号化オーディオデータを、図8に示す要領でファイル形式によってメモリカード112に記録する。
When the file creation & opening process is completed, the
キー入力装置120に向けて記録終了操作が行われると、MPU114は、音声取り込み処理を終了するべくコーデック130を停止する。
When a recording end operation is performed toward the
MPU114はその後、終端処理を実行する。これによって、メモリ116に残存するPCMデータがPCMファイルに書き込まれる。さらに、PCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音終了時刻TEpcmとして記述される。オープン状態のPCMファイルは、終端処理が完了した後にクローズされる。
Thereafter, the
記録モードが選択されたとき、MCU114は図9に示す記録制御タスクを実行する。なお、このタスクに対応する制御プログラムは、フラッシュメモリ142に記憶される。
When the recording mode is selected, the
図9を参照して、ステップS31では記録開始操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS33に進む。ステップS33では、I/F110を通してメモリカード112にアクセスし、オープン状態のPCMファイルをメモリカード112に新規に作成する。作成されたPCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音開始時刻TSpcmとして記述される。ステップS35では音声取り込み処理を開始するべくコーデック130を起動する。
Referring to FIG. 9, in step S31, it is repeatedly determined whether or not a recording start operation has been performed. If the determination result is updated from NO to YES, the process proceeds to step S33. In step S33, the
ステップS37では、記録終了操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS39に進む。ステップS39では、音声取り込み処理を終了するべくコーデック130を停止する。
In step S37, it is repeatedly determined whether or not a recording end operation has been performed. If the determination result is updated from NO to YES, the process proceeds to step S39. In step S39, the
ステップS41では、終端処理を実行する。これによって、メモリ116に残存するPCMデータがPCMファイルに書き込まれる。さらに、PCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音終了時刻TEpcmとして記述される。ステップS43ではI/F110を通してメモリカード112にアクセスし、オープン状態のPCMファイルをクローズする。クローズ処理が完了すると、ステップS31に戻る。
In step S41, termination processing is executed. As a result, the PCM data remaining in the
次に、ディジタルビデオカメラ10のキー入力装置48によってファイル編集モードが選択された場合の処理について説明する。
Next, processing when the file editing mode is selected by the
例えば、講演会等において、講演者から離れた位置にディジタルビデオカメラ10を設置して講演会の映像をMP4データに記録し、講演者の近くにICレコーダ100を設置して講演者の鮮明な音声をPCMデータに記録することが考えられる。このようなときに各々の記録後にMP4データとPCMデータとを結合して編集ファイルを作成する場合を例に挙げて、説明する。
For example, in a lecture or the like, the
ディジタルビデオカメラ10のキー入力装置48によってファイル編集モードが選択されると、ファイル編集タスクの下で、ディジタルビデオカメラ10のUSBコントローラ50にICレコーダ100が接続されているか否かが判別される。正常に接続されていない場合はその旨が操作者に警告される。
When the file editing mode is selected by the
操作者がキー入力装置48を通じてメモリカード44に記録されているいずれかのMP4ファイルを指定すると、CPU46は指定されたMP4ファイルのヘッダに記述されている録画開始時刻TSmp4および録画終了時刻TEmp4をI/F42を通じて検出する。
When the operator designates any MP4 file recorded on the
CPU46は、まず変数Lを“1”に設定する。次に、CPU46は、ディジタルビデオカメラ10のUSBコントローラ50、ICレコーダ100のUSBコントローラ140およびI/F110を通じて、ICレコーダ100のメモリカード112にアクセスし、メモリカード112に記録されているPCMファイルのファイル数を検出する。検出されたファイル数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。
The
メモリカード112に記憶されているPCMファイルのうち、L番目すなわちここでは最初のPCMファイルを指定して、そのヘッダから録音開始時刻TSpcmおよび録音終了時刻TEpcmを検出する。CPU46は、検出された録画開始時刻TSmp4と録音開始時刻TSpcmとの差分時間を“ΔTS”として算出し、算出された差分時間ΔTSが30秒以内か否かを判別する。30秒以内でない場合は、変数Lをインクリメントし、2番目以降のL番目のPCMファイルについても、同様にそのヘッダから録音開始時刻TSpcmおよび録音終了時刻TEpcmを検出する。そして、差分時間ΔTSを算出し、算出された差分時間ΔTSが30秒以内か否かを判別する。
Of the PCM files stored in the
このようにして、CPU46は、メモリカード112に記憶されているPCMファイルに順にアクセスし、差分時間ΔTSが30秒以内となるPCMファイルを検索する。
In this way, the
CPU46は、全てのPCMファイルにアクセスした結果、差分時間ΔTSが30秒以内となるPCMファイルが見つからなかった場合は、ファイル編集処理が不能である旨を操作者に報知する。見つかった場合は、操作者に指定されたMP4ファイルの録画とそのPCMファイルの録音とが同時に行われたものと判断して、これらの2つのファイルの結合処理を実行する。
As a result of accessing all the PCM files, the
ファイル結合処理においては、主として、指定MP4ファイルに収められたAACデータを、指定PCMファイルに収められたPCMデータに置き換えることによって、これらの2つのファイルが結合される。また、指定MP4ファイルの録画開始時刻TSmp4と指定PCMファイルの録音開始時刻TSpcmとは完全には一致しないことが多いので、編集ファイルの先頭部分に対して以下の処理が実行される。 In the file combining process, these two files are combined mainly by replacing the AAC data stored in the designated MP4 file with the PCM data stored in the designated PCM file. Further, since the recording start time TSmp4 of the designated MP4 file and the recording start time TSpcm of the designated PCM file often do not completely coincide with each other, the following processing is executed on the head portion of the edit file.
図10(A)を参照して、録画開始時刻TSmp4が録音開始時刻TSpcmよりも先行している場合は、録画開始時刻TSmp4から録音開始時刻TSpcmまでの時間帯については、指定MP4ファイルに収められたAACデータが音声データとして利用される。録音開始時刻TSpcm以降で指定MP4ファイルの録画時間帯と指定PCMファイルの録音時間帯とが重複する時間帯については、指定PCMファイルに収められたPCMデータが音声データとして利用される。 Referring to FIG. 10A, when the recording start time TSmp4 precedes the recording start time TSpcm, the time zone from the recording start time TSmp4 to the recording start time TSpcm is stored in the designated MP4 file. AAC data is used as audio data. For a time zone where the recording time zone of the designated MP4 file and the recording time zone of the designated PCM file overlap after the recording start time TSpcm, the PCM data stored in the designated PCM file is used as audio data.
図10(B)を参照して、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行している場合は、録音開始時刻TSpcmから録画開始時刻TSmp4までの時間帯については、先に算出された差分時間ΔTSに相当する画像データが新たに作成され、作成された画像データが利用される。 Referring to FIG. 10B, when the recording start time TSpcm is ahead of the recording start time TSmp4, the difference calculated earlier is obtained for the time zone from the recording start time TSpcm to the recording start time TSmp4. Image data corresponding to the time ΔTS is newly created, and the created image data is used.
ここでの画像データの作成は、指定MP4ファイルの先頭フレームの画像を差分時間ΔTSに相当するフレーム数だけ複製することによって行われる。 The creation of the image data here is performed by copying the image of the first frame of the designated MP4 file by the number of frames corresponding to the difference time ΔTS.
開始時刻と同様に、指定MP4ファイルの録画終了時刻TEmp4と指定PCMファイルの録音終了時刻TEpcmとは完全には一致しないことが多いので、編集ファイルの末尾部分に対して以下の処理が実行される。 As in the case of the start time, the recording end time TEmp4 of the designated MP4 file and the recording end time TEpcm of the designated PCM file often do not completely coincide with each other. .
CPU46は、ファイル結合処理の下、録画終了時刻TEmp4と録音終了時刻TEpcmとの差分時間を“ΔTE”として算出する。
The
図11(A)を参照して、録音終了時刻TEpcmが録画終了時刻TEmp4よりも先行している場合は、録音終了時刻TEpcmから録画終了時刻TEmp4までの時間帯については、指定MP4ファイルに収められたAACデータが音声データとして利用される。 Referring to FIG. 11A, when the recording end time TEpcm precedes the recording end time TEmp4, the time zone from the recording end time TEpcm to the recording end time TEmp4 is stored in the designated MP4 file. AAC data is used as audio data.
図11(B)を参照して、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行している場合は、録画終了時刻TEmp4から録音終了時刻TEpcmからまでの時間帯については、先に算出された差分時間ΔTEに相当する画像データが新たに作成され、作成された画像データが利用される。 Referring to FIG. 11B, when the recording end time TEmp4 precedes the recording end time TEpcm, the time zone from the recording end time TEmp4 to the recording end time TEpcm is calculated first. Image data corresponding to the difference time ΔTE is newly created, and the created image data is used.
ここでの画像データの作成は、指定MP4ファイルの最終フレームの画像を差分時間ΔTEに相当するフレーム数だけ複製することによって行われる。 The creation of the image data here is performed by copying the image of the last frame of the designated MP4 file by the number of frames corresponding to the difference time ΔTE.
以上のように、画像データについては、必要に応じて新たな画像データが作成されて、編集ファイルの先頭または末尾に追加される。 As described above, for image data, new image data is created as necessary and added to the beginning or end of the editing file.
音声データについては、まず、MP4ファイルの録画時間帯とPCMファイルの録音時間帯とが重複する時間帯については、指定MP4ファイルからAACデータが削除される。次に、指定PCMファイルに収められたPCMデータがAAC形式のデータに変換されて、AACデータが新たに作成される。そして、新たに作成されたAACデータが指定MP4ファイルに収められる。この際、元のAACデータのうち削除されなかったものがある場合は、残りのAACデータと新たに作成されたAACデータとが結合された上で指定MP4ファイルに収められる。 For audio data, first, AAC data is deleted from the designated MP4 file for a time zone in which the recording time zone of the MP4 file and the recording time zone of the PCM file overlap. Next, the PCM data stored in the designated PCM file is converted into data in the AAC format, and AAC data is newly created. The newly created AAC data is stored in the designated MP4 file. At this time, if there is any original AAC data that has not been deleted, the remaining AAC data and the newly created AAC data are combined and stored in the designated MP4 file.
このようにしてファイル結合処理が完了すると、CPU46は、編集ファイルが完成した旨を操作者に報知する。
When the file combination process is completed in this way, the
ファイル編集モードが選択されたとき、CPU46は、図12〜図15に示すファイル編集タスクを実行する。このタスクもまた、フラッシュメモリ52に記憶される。
When the file editing mode is selected, the
図12を参照して、ステップS51ではディジタルビデオカメラ10のUSBコントローラ50にICレコーダ100が正常に接続されているか否かを判別する。判別結果がNOであればステップS53で警告を発生してからステップS51に戻る一方、YESであればステップS55に進む。
Referring to FIG. 12, in step S51, it is determined whether or not
ステップS55ではファイル指定操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS57に進む。ステップS57では、指定されたMP4ファイルのヘッダに記述されている録画開始時刻TSmp4をI/F42を通じて検出し、ステップS59では指定されたMP4ファイルのヘッダに記述されている録画終了時刻TEmp4をI/F42を通じて検出する。
In step S55, it is repeatedly determined whether or not a file designation operation has been performed. If the determination result is updated from NO to YES, the process proceeds to step S57. In step S57, the recording start time TSmp4 described in the header of the designated MP4 file is detected through the I /
ステップS61では、変数Lに“1”を設定する。ステップS63では、ディジタルビデオカメラ10のUSBコントローラ50、ICレコーダ100のUSBコントローラ140およびI/F110を通じてICレコーダ100のメモリカード112にアクセスし、メモリカード112に記録されているPCMファイルのファイル数を検出する。検出されたファイル数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。
In step S61, the variable L is set to “1”. In step S63, the
ステップS65では、L番目のPCMファイルを指定する。ステップS67では指定されたPCMファイルのヘッダから録音開始時刻TSpcmを検出し、ステップS69では指定されたPCMファイルのヘッダから録音終了時刻TEpcmを検出する。 In step S65, the Lth PCM file is designated. In step S67, the recording start time TSpcm is detected from the header of the designated PCM file, and in step S69, the recording end time TEpcm is detected from the header of the designated PCM file.
ステップS71では検出された録画開始時刻TSmp4と録音開始時刻TSpcmとの差分時間を“ΔTS”として算出し、ステップS73では算出された差分時間ΔTSが30秒以内か否かを判別する。判別結果がNOであればステップS75に進む一方、YESであればステップS81に進む。 In step S71, the difference time between the detected recording start time TSmp4 and the recording start time TSpcm is calculated as “ΔTS”, and in step S73, it is determined whether or not the calculated difference time ΔTS is within 30 seconds. If the determination result is NO, the process proceeds to step S75, and if it is YES, the process proceeds to step S81.
ステップS75では変数Lをインクリメントし、ステップS77では変数Lが最大値Lmaxを超えたか否かを判別する。判別結果がNOであればステップS65に戻る一方、YESであればステップS79に進む。ステップS79ではファイル編集処理が不能である旨を操作者に報知し、その後に処理を終了する。ステップS81では、指定MP4ファイルと指定PCMファイルとを結合するべく、ファイル結合処理を実行する。ファイル結合処理が完了すると、編集後のファイルが完成した旨をステップS83で操作者に報知し、その後に処理を終了する。 In step S75, the variable L is incremented, and in step S77, it is determined whether or not the variable L exceeds the maximum value Lmax. If the determination result is NO, the process returns to step S65, whereas if YES, the process proceeds to step S79. In step S79, the operator is informed that the file editing process is not possible, and thereafter the process ends. In step S81, a file combination process is executed to combine the designated MP4 file and the designated PCM file. When the file combination process is completed, the operator is notified in step S83 that the edited file is completed, and then the process ends.
図13に示すステップS81のファイル結合処理は、図14〜図15に示すサブルーチンに従って実行される。ステップS91では、録画終了時刻TEmp4と録音終了時刻TEpcmとの差分時間を“ΔTE”として算出する。 The file combining process in step S81 shown in FIG. 13 is executed according to the subroutine shown in FIGS. In step S91, the difference time between the recording end time TEmp4 and the recording end time TEpcm is calculated as “ΔTE”.
ステップS93では、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行しているか否かを判別し、判別結果がNOであればステップS99に進む一方、YESであればステップS95に進む。 In step S93, it is determined whether or not the recording start time TSpcm is ahead of the recording start time TSmp4. If the determination result is NO, the process proceeds to step S99, whereas if YES, the process proceeds to step S95.
ステップS95では、指定MP4ファイルの先頭フレームの画像を差分時間ΔTSに相当するフレーム数だけ複製する。ステップS97ではステップS95で作成された画像データを指定MP4ファイルの先頭に追加する。 In step S95, the image of the first frame of the designated MP4 file is duplicated by the number of frames corresponding to the difference time ΔTS. In step S97, the image data created in step S95 is added to the head of the designated MP4 file.
ステップS99では、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行しているか否かを判別し、判別結果がNOであればステップS105に進む一方、YESであればステップS101に進む。 In step S99, it is determined whether the recording end time TEmp4 is ahead of the recording end time TEpcm. If the determination result is NO, the process proceeds to step S105, and if YES, the process proceeds to step S101.
ステップS101では、指定MP4ファイルの最終フレームの画像を差分時間ΔTEに相当するフレーム数だけ複製する。ステップS103ではステップS101で作成された画像データを指定MP4ファイルの末尾に追加する。 In step S101, the last frame image of the designated MP4 file is duplicated by the number of frames corresponding to the difference time ΔTE. In step S103, the image data created in step S101 is added to the end of the designated MP4 file.
ステップS105では、指定MP4ファイルの録画時間帯と指定PCMファイルの録音時間帯とが重複する時間帯について、指定MP4ファイルからAACデータを削除する。ステップS107では、指定PCMファイルに収められたPCMデータをAAC形式のデータに変換し、ステップS109では、変換されたAACデータを指定MP4ファイルに追加する。 In step S105, AAC data is deleted from the designated MP4 file for a time zone in which the recording time zone of the designated MP4 file and the recording time zone of the designated PCM file overlap. In step S107, the PCM data stored in the designated PCM file is converted into AAC format data. In step S109, the converted AAC data is added to the designated MP4 file.
以上の説明から分かるように、CPU46は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出し(S57, S59)、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する
(S67, S69)。CPU46はまた、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加し(S95~S97, S101~S103)、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する(S105~S109)。
As can be seen from the above description, the
(S67, S69). The
第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。 By adding the audio data stored in the second file to the first file corresponding to the overlapping time zone, the image data and the audio data can be reproduced in a manner that is synchronized with each other. Further, by adding the reference image data to the first file in correspondence with the non-overlapping time zone, the correspondence between the audio data and the image data can be ensured over the first time zone. In this way, an edit file having a desired quality is created.
なお、この実施例では、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行している場合に、編集ファイルの先頭部分の非重複時間帯には、編集前のMP4ファイルの先頭フレームを用いて作成された画像データを利用している。しかし、先頭フレーム以外の画像を用いて画像データを作成し、これを先頭部分の非重複時間帯に利用するようにしてもよい。例えば、先頭フレームを含むGOP(Group Of Picture)内の他のフレームの画像を用いるようにしてもよい。同様に、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行している場合に、最終フレーム以外の画像を用いて画像データを作成し、これを編集ファイルの末尾部分の非重複時間帯に利用するようにしてもよい。 In this embodiment, when the recording start time TSpcm precedes the recording start time TSmp4, the first frame of the MP4 file before editing is created in the non-overlapping time zone of the head portion of the edited file. The image data is used. However, it is also possible to create image data using an image other than the top frame and use it in the non-overlapping time zone of the top portion. For example, an image of another frame in a GOP (Group Of Picture) including the first frame may be used. Similarly, when the recording end time TEmp4 precedes the recording end time TEpcm, image data is created using an image other than the last frame, and this is used for the non-overlapping time zone at the end of the edit file. You may do it.
また、この実施例では、ディジタルビデオカメラ10とICレコーダ100とを接続し、ディジタルビデオカメラ10のCPU46にファイル編集タスクを実行させて、操作者がディジタルビデオカメラ10のキー入力装置48を操作してファイル編集を行うようにした。しかし、ICレコーダ100のMCU114にファイル編集タスクを実行させて、操作者がICレコーダ100のキー入力装置120を操作してファイル編集を行うようにしてもよい。
In this embodiment, the
さらに、メモリカード44および112等を通じて、MP4ファイルおよびPCMファイルを外部の装置に移動させ、ファイル移動後の装置においてファイル編集を行うようにしてもよい。例えば、MP4ファイルおよびPCMファイルをパーソナルコンピュータのハードディスクに取り込み、パーソナルコンピュータにおいてファイル編集を行うようにすることもできる。ただし、この場合は、図12に示すステップS51およびS53の処理は実行されず、ステップS63においては、ICレコーダ100のメモリカード112に代えてパーソナルコンピュータのハードディスクにアクセスする必要がある。
Further, the MP4 file and the PCM file may be moved to an external device through the
また、この実施例では、ディジタルビデオカメラ10で得られた画像データおよび音声データ、ならびにICレコーダ100で得られた音声データを用いて、編集ファイルを作成している。しかし、これら以外の画像データと音声データとを組み合わせたものであっても、共通する時間軸の下で作成され、その時間帯を検出できるものであれば、本発明を適用することができる。例えば、複数台のディジタルビデオカメラを用いて同一の対象を撮影した場合等において、互いに異なるディジタルビデオカメラに記録された画像データと音声データとを組み合わせて、編集ファイルを作成するようにしてもよい。または、パーソナルコンピュータで作成された画像データまたは音声データをダウンロードしたものを、組み合わせに用いてもよい。
In this embodiment, an edit file is created using image data and audio data obtained by the
また、この実施例では、画像データにはMP4形式のデータを用い、音声データにはAAC形式のデータおよびPCM形式のデータを用いている。しかし、これら以外の形式の画像データまたは音声データを用いるようにしてもよい。例えば、Motion JPEG形式の画像データおよびMP3形式の音声データ等を用いるようにしてもよい。 In this embodiment, MP4 format data is used for image data, and AAC format data and PCM format data are used for audio data. However, other types of image data or audio data may be used. For example, Motion JPEG format image data and MP3 format audio data may be used.
10 … ディジタルビデオカメラ
36 … AACエンコーダ
38 … MPEG4エンコーダ
42 … I/F
44 … メモリカード
46 … CPU
48 … キー入力装置
50 … USBコントローラ
100 … ICレコーダ
110 … I/F
112 … メモリカード
140 … USBコントローラ
DESCRIPTION OF
44 ...
48 ...
112 ...
Claims (8)
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出手段、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加手段、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加手段を備える、ファイル編集装置。 First detection means for detecting a time period for capturing image data stored in the first file as a first time period;
A second detection means for detecting a time period for capturing audio data stored in the second file as a second time period;
First addition means for adding reference image data to the first file corresponding to a non-overlapping time zone that does not overlap with the first time zone in the second time zone, and audio data stored in the second file A file editing apparatus, comprising: a second adding unit that adds a file to the first file corresponding to an overlapping time zone between the first time zone and the second time zone.
前記第2追加手段は前記重複時間帯に対応して前記第1ファイルに収められた音声データを前記第2ファイルに収められた音声データによって置換する、請求項1記載のファイル編集装置。 The first file further contains audio data;
2. The file editing apparatus according to claim 1, wherein the second adding unit replaces audio data stored in the first file with audio data stored in the second file in correspondence with the overlapping time period. 3.
前記判別手段の判別結果が否定的であるとき別の第2ファイルを前記第2検出手段の検出処理のために指定する指定手段、および
前記判別手段の判別結果が肯定的であるとき前記第1追加手段および/または前記第2追加手段を起動する起動手段をさらに備える、請求項1ないし5のいずれかに記載のファイル編集装置。 A discriminating means for discriminating whether or not the difference between the start time of the first time zone and the start time of the second time zone falls below a reference;
When the discrimination result of the discrimination means is negative, the designation means for designating another second file for the detection process of the second detection means, and the first when the discrimination result of the discrimination means is affirmative 6. The file editing apparatus according to claim 1, further comprising an activation unit that activates an addition unit and / or the second addition unit.
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出ステップ、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出ステップ、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加ステップ、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加ステップを実行させるための、ファイル編集プログラム。 In the processor of the file editing device,
A first detection step of detecting, as a first time period, a time period for capturing image data stored in the first file;
A second detection step of detecting, as a second time period, a time period for capturing audio data stored in the second file;
A first addition step of adding reference image data to the first file corresponding to a non-overlapping time zone that does not overlap with the first time zone in the second time zone, and audio data stored in the second file A file editing program for executing a second addition step of adding to the first file corresponding to an overlapping time zone between the first time zone and the second time zone.
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出ステップ、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出ステップ、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加ステップ、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加ステップを備える、ファイル編集方法。 A file editing method executed by a file editing device,
A first detection step of detecting, as a first time period, a time period for capturing image data stored in the first file;
A second detection step of detecting, as a second time period, a time period for capturing audio data stored in the second file;
A first addition step of adding reference image data to the first file corresponding to a non-overlapping time zone that does not overlap with the first time zone in the second time zone, and audio data stored in the second file A file editing method comprising: a second adding step of adding to the first file corresponding to an overlapping time zone between the first time zone and the second time zone.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010089097A JP2011223220A (en) | 2010-04-08 | 2010-04-08 | File editing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010089097A JP2011223220A (en) | 2010-04-08 | 2010-04-08 | File editing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011223220A true JP2011223220A (en) | 2011-11-04 |
Family
ID=45039643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010089097A Pending JP2011223220A (en) | 2010-04-08 | 2010-04-08 | File editing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011223220A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020123934A (en) * | 2019-01-31 | 2020-08-13 | 株式会社リコー | Data editing processing device, application, and photographing device |
-
2010
- 2010-04-08 JP JP2010089097A patent/JP2011223220A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020123934A (en) * | 2019-01-31 | 2020-08-13 | 株式会社リコー | Data editing processing device, application, and photographing device |
JP7247616B2 (en) | 2019-01-31 | 2023-03-29 | 株式会社リコー | Data editing processor, application, and imaging device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8878951B2 (en) | Image processing apparatus and method of controlling the same | |
CN101263706B (en) | Imaging device and recording method | |
US9443554B2 (en) | Image processing apparatus and method of controlling the same | |
JP2014183511A (en) | Imaging apparatus, video content generating method, and program | |
JP2006303961A (en) | Imaging apparatus | |
JP5266701B2 (en) | Imaging apparatus, subject separation method, and program | |
JP5743512B2 (en) | Imaging apparatus and control method thereof | |
JP2006094053A (en) | Photo movie creating method and apparatus thereof, and photo movie creating program | |
JP5600405B2 (en) | Image processing apparatus, image processing method, and program | |
JP2010028407A (en) | Video recording apparatus, video recording method, and computer program | |
JP2008022216A (en) | Device and method for displaying image, program, photographing apparatus with information recorder, and animation recording device | |
JP2011223220A (en) | File editing device | |
JP2010021819A (en) | Image display apparatus, image display method, and program | |
JP6427859B2 (en) | Image processing apparatus, image processing method, and program | |
JP2011066877A (en) | Image processing apparatus | |
JP2009033277A (en) | Camcorder | |
JP5473517B2 (en) | Image processing device | |
JP2011244183A (en) | Imaging apparatus, image display apparatus, and image display program | |
JP4673916B2 (en) | Information processing apparatus, information processing method, and information processing program | |
JP2012004731A (en) | Content processing device | |
JP2014027560A (en) | Image processor | |
JP2000236508A (en) | Image recorder | |
JP4282528B2 (en) | Electronic camera and shooting control program | |
JP2005303807A (en) | Photography-taking apparatus and method and program | |
JP5631598B2 (en) | Data processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130404 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130521 |