JP2008283276A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2008283276A JP2008283276A JP2007123524A JP2007123524A JP2008283276A JP 2008283276 A JP2008283276 A JP 2008283276A JP 2007123524 A JP2007123524 A JP 2007123524A JP 2007123524 A JP2007123524 A JP 2007123524A JP 2008283276 A JP2008283276 A JP 2008283276A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- file
- video
- main
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、記録媒体に、映像を圧縮符号化したデータを記録し、この記録媒体から、記録された圧縮符号化データを復号化して再生する撮像装置に関する。 The present invention relates to an image pickup apparatus that records data obtained by compressing and encoding video on a recording medium, and that decodes and reproduces the recorded compressed encoded data from the recording medium.
近年、光ディスクや、半導体メモリなどのランダムアクセス可能な記録媒体に、映像や音声データをファイル化して記録する撮像装置が一般的になっている。このような記録媒体を備えた撮像装置が、例えば、放送局や映像制作会社などにおいて、利用されて映像編集作業などが行なわれている。このような映像制作の分野では、映像特殊効果の一つとして、例えば、水滴が着地する瞬間や、昆虫の羽根の動作等の短時間の事象を高速撮像して記録媒体に記録し、それを再生することで、高精細スローを実現する高速撮像装置が用いられている。 2. Description of the Related Art In recent years, imaging devices that record video and audio data as files on a randomly accessible recording medium such as an optical disk or a semiconductor memory have become common. An image pickup apparatus provided with such a recording medium is used, for example, in a broadcasting station or a video production company to perform video editing work. In this field of video production, as one of the special effects of video, for example, a short time event such as the moment when a water drop lands or the action of an insect wing is imaged at high speed and recorded on a recording medium. High-speed imaging devices that realize high-definition slow-down by playing are used.
通常の撮像装置は、映像規格で定められた1秒間あたりのフレーム数(以下、1秒間あたりのフレーム数を「フレームレート」と略記する)で撮像(例えば、毎秒30フレーム)する。しかし、高速撮像装置は、撮像素子を高速駆動して、前記映像規格で定められた以上のフレームレート(例えば、毎秒120フレーム)で撮像して、映像データを記録媒体に記録する。この記録媒体から、記録された映像データを通常のフレームレート(例えば、毎秒30フレーム)で再生することで、高精細スロー再生が実現される。 A normal imaging device captures images (for example, 30 frames per second) at the number of frames per second (hereinafter, the number of frames per second is abbreviated as “frame rate”) determined by the video standard. However, the high-speed imaging device drives the imaging device at a high speed, captures an image at a frame rate (for example, 120 frames per second) higher than that defined in the video standard, and records video data on a recording medium. By reproducing the recorded video data from this recording medium at a normal frame rate (for example, 30 frames per second), high-definition slow reproduction is realized.
一方、高速撮像装置の記録は、通常の記録に比べて、記録時間当たりの記録容量が非常に膨大になり、記録媒体の記録容量の制限から、映像データを圧縮符号化して記録することが一般的である。単位記録時間あたりの記録サイズが少なければ、記録媒体の運用コストも飛躍的に抑えることができる。すなわち、効率の良い符号化や記録を行うことが重要である。 On the other hand, recording of a high-speed imaging device has a very large recording capacity per recording time compared to normal recording, and video data is generally recorded by compression encoding due to the limitation of the recording capacity of the recording medium. Is. If the recording size per unit recording time is small, the operation cost of the recording medium can be drastically reduced. That is, it is important to perform efficient encoding and recording.
また、高速撮像装置は、一般的に、高価であり、通常の撮像装置とは別の専用装置であることが多く、高速撮像と通常撮像とを同時に行う場合には、2つの撮像装置を用いるか、あるいは、高速撮像された映像データから、編集作業によって、必要なフレームのみを抽出する等の作業が必要であり、手間やコストが掛かる。 In addition, high-speed imaging devices are generally expensive and are often dedicated devices that are different from ordinary imaging devices. When high-speed imaging and normal imaging are performed simultaneously, two imaging devices are used. Or, it is necessary to perform an operation such as extracting only necessary frames from video data captured at a high speed by editing operations, which takes time and cost.
これら問題に対して、複数の受光素子と、複数の符号化手段と、複数の復号化手段とを備え、複数の圧縮符号化された映像データを記録再生する技術が提示されている(例えば、特許文献1参照)。この従来の撮像装置は、例えば、通常フレームレートで撮像する2つの受光素子が、受光素子間で通常の半フレーム分の時間だけ撮像する時間軸をずらして撮像する。この方法で撮像された複数の映像データを各々圧縮符号化し、2つの映像データ(通常動画データと、補足動画データ)を記録し、それら2つの圧縮映像データを復号化し、交互に通常フレームレートで再生することで高精細スローを実現することができる。
しかしながら、上記従来の撮像装置は、圧縮符号化としてフレーム間予測符号化方式を採用しているが、2つの符号化器が相互に作用せずに独立して符号化を行うため、圧縮効率が悪く、記録時間あたりの記録サイズが膨大になる。これは、各々の符号化器が符号化する時間間隔が通常フレームレート単位の時間間隔であり、2つの映像データを交互に出力した時のフレームレート(例えば、通常フレームレートの2倍)に対して時間間隔が長く、フレーム間予測符号化を用いた符号化の利点が少ないことや、時間的に近い映像を2つの符号化器で別々に符号化しているためである。すなわち、高速撮像した映像信号を記録する場合には、大容量の記録媒体を必要とし、高速撮像装置や制作の運用コストを下げることができない。 However, the conventional imaging apparatus employs the inter-frame predictive coding method as the compression coding. However, since the two encoders perform the coding independently without interacting with each other, the compression efficiency is high. Unfortunately, the recording size per recording time is enormous. This is because the time interval for encoding by each encoder is a time interval of a normal frame rate unit, and the frame rate when two video data are alternately output (for example, twice the normal frame rate). This is because the time interval is long and the advantage of encoding using inter-frame predictive encoding is small, and images close in time are encoded separately by two encoders. That is, when recording a video signal captured at high speed, a large-capacity recording medium is required, and the operating cost of the high-speed imaging apparatus and production cannot be reduced.
本発明は、大容量の記録媒体を必要とせず、高速撮像と通常撮像を行うことができる撮像装置を提供することを目的とする。 An object of the present invention is to provide an imaging apparatus that can perform high-speed imaging and normal imaging without requiring a large-capacity recording medium.
上記課題を解決するために、本発明の撮像装置は、通常フレームレートおよび前記通常フレームレートより高い高速フレームレートを切り替えて撮像可能なカメラ部と、前記カメラ部のフレームレートが前記通常フレームレートである状態においては、前記カメラ部から出力された映像信号を第1の符号化方式で符号化して本編符号化データとして出力し、前記高速フレームレートである状態においては、前記通常フレームレートの1フレームに相当する期間に前記カメラ部から出力されるフレームのうちの所定の1フレームを前記第1の符号化方式で符号化して本編符号化データとして出力し、残余のフレームを第2の符号化方式で符号化して差分符号化データとして出力する映像符号化部と、前記本編符号化データを本編ファイルとし、前記差分符号化データを差分ファイルとして記録媒体に記録する記録処理部と、前記本編ファイルと前記差分ファイルとの関連性を記録した管理ファイルを前記記録媒体に保存する管理ファイル処理部と、外部から高速撮像の指示または通常撮像の指示を受け付ける入力部と、前記入力部が高速撮像の指示を受け付けると、前記カメラ部のフレームレートを前記高速フレームレートにし、前記入力部が通常撮像の指示を受け付けると、前記カメラ部のフレームレートを前記通常フレームレートにする撮像フレームレート制御部とを備える。 In order to solve the above problems, an imaging apparatus according to the present invention includes a camera unit capable of switching between a normal frame rate and a high-speed frame rate higher than the normal frame rate, and a frame rate of the camera unit at the normal frame rate. In a state, the video signal output from the camera unit is encoded by the first encoding method and output as main encoded data. In the state of the high-speed frame rate, one frame of the normal frame rate is output. The predetermined one frame out of the frames output from the camera unit during a period corresponding to the above is encoded by the first encoding method and output as the main encoded data, and the remaining frames are encoded by the second encoding method. A video encoding unit that encodes and outputs as differential encoded data, and the main encoded data as a main file, A recording processing unit that records the difference encoded data as a difference file on a recording medium, a management file processing unit that stores a management file that records the relationship between the main file and the difference file, and an external An input unit that receives a high-speed imaging instruction or a normal imaging instruction, and when the input unit receives a high-speed imaging instruction, the frame rate of the camera unit is set to the high-speed frame rate, and the input unit receives a normal imaging instruction And an imaging frame rate control unit that sets the frame rate of the camera unit to the normal frame rate.
本発明によれば、映像信号を1つの映像符号化部で符号化し、本編ファイルと差分ファイルとに分割して記録することで、差分データ(残余のフレーム)を他のフレームを参照する高効率な圧縮符号化で符号化して差分符号化データとして出力することにより、大容量の記録媒体を必要とせず、高速撮像と通常撮像を行うことができる撮像装置を提供することができる。 According to the present invention, a video signal is encoded by a single video encoding unit, and is divided into a main file and a difference file and recorded, thereby making it possible to efficiently reference difference data (remaining frames) with other frames. By encoding with a simple compression encoding and outputting as differential encoded data, it is possible to provide an imaging apparatus capable of performing high-speed imaging and normal imaging without requiring a large-capacity recording medium.
本発明の撮像装置は、上記構成を基本として、以下のような種々の態様をとることができる。 The image pickup apparatus of the present invention can take the following various modes based on the above configuration.
すなわち、上記構成の撮像装置において、前記第1の符号化方式は、前記差分符号化データを参照しない構成にすることができる。 That is, in the imaging apparatus having the above configuration, the first encoding method can be configured not to refer to the differentially encoded data.
また、前記第2の符号化方式は、他の差分符号化データを参照するか、または前記高速フレームレートで撮像され、第1の符号化方式で符号化された本編符号化データを参照する構成にすることができる。 The second encoding scheme refers to other differentially encoded data, or refers to the main encoded data that is imaged at the high-speed frame rate and encoded according to the first encoding scheme. Can be.
また、前記第1の符号化方式は、フレーム内予測符号化方式であり、前記第2の符号化方式は、双方向予測符号化または前方向予測符号化方式である構成にすることができる。 In addition, the first encoding scheme may be an intra-frame prediction encoding scheme, and the second encoding scheme may be a bidirectional prediction encoding scheme or a forward prediction encoding scheme.
また、前記本編符号化データと前記音声データを多重化する多重化部をさらに備え、前記多重化された本編符号化データを本編ファイルとして前記記録媒体に記録する構成にすることができる。 In addition, a multiplexing unit that multiplexes the main part encoded data and the audio data may be further provided, and the multiplexed main part encoded data may be recorded on the recording medium as a main part file.
再生処理部をさらに備え、前記再生処理部は、前記記録媒体に記録された管理ファイルを参照して、高速フレームレートと通常フレームレートとの比を用いて、本編ファイル中の映像データ1フレーム間に挿入する差分ファイルのフレーム数を算出し、映像の再生中に、前記高速フレームレート撮像された区間内では、前記本編ファイルから1フレームを再生し、前記差分ファイルから挿入される数のフレームを再生し、再度、前記本編ファイルから1フレームを再生することを繰り返して、通常フレームレートで再生することで高精細スロー映像の再生を行う構成にすることができる。 A playback processing unit is further provided, and the playback processing unit refers to the management file recorded on the recording medium, and uses a ratio between the high-speed frame rate and the normal frame rate to transmit one frame of video data in the main file. The number of frames of the difference file to be inserted into the frame is calculated, and one frame is reproduced from the main file and the number of frames to be inserted from the difference file is within the section where the high-speed frame rate is imaged during the reproduction of the video. It is possible to have a configuration in which a high-definition slow video is played back by playing back and playing back one frame from the main file again and playing back at a normal frame rate.
前記再生処理部は、高精細スロー映像の再生時に、映像データ1フレーム分の音声を時間軸に掃引、および、補間して、前記本編ファイルの映像データ1フレームおよび、前記本編ファイルの映像データ1フレーム間に挿入される差分ファイルの映像データのフレームを再生する時間に引き伸ばし、スロー再生を行う構成にすることができる。
The playback processing unit sweeps and interpolates audio for one frame of video data on a time axis during playback of a high-definition slow video, and performs
また、前記管理ファイルは、少なくとも、前記通常フレームレートと、前記高速フレームレートと、記録開始時点から高速フレームレート撮像を開始するまでのフレーム長とを含む構成にすることができる。 The management file may include at least the normal frame rate, the high-speed frame rate, and a frame length from the start of recording to the start of high-speed frame rate imaging.
以下、図面を参照しながら本発明に係る撮像装置の実施の形態について説明する。 Hereinafter, embodiments of an imaging apparatus according to the present invention will be described with reference to the drawings.
(実施の形態)
本実施の形態に係る撮像装置は、通常のフレームレートでの撮像と、高速フレームレートでの撮像の2つの撮像方法を用いることができる。
(Embodiment)
The imaging apparatus according to the present embodiment can use two imaging methods, imaging at a normal frame rate and imaging at a high frame rate.
図1は、本発明の実施の形態における撮像装置のブロック図である。本実施の形態に係る撮像装置1は、撮像/符号化部2と、システム制御部3と、再生部4と、指令入力部6と、状態表示部7と、記録メモリインターフェース部(以下、IF部と称す)8とを有し、それらがI/Oバス5に接続されている。また、IF部8には、記録メモリ(記録媒体)9が着脱可能に接続される。
FIG. 1 is a block diagram of an imaging apparatus according to an embodiment of the present invention. The
撮像/符号化部2は、カメラ部21と、映像処理部22と、映像符号化部23と、音声入力部24と、音声処理部25と、多重化部26とを有し、被写体を撮像し、圧縮符号化した多重化データを生成する。カメラ部21は、撮像素子であるCCDなどにより撮像した映像を映像信号として取り込む。映像処理部22は、映像信号の前処理(ノイズの除去など)を行い、映像信号をデジタルの映像データに変換する。映像データは、通常フレームレートで撮像されたデータまたは、高速フレームレート撮像時の通常フレームレートで撮像される所定のデータである本編データと、高速フレームレート撮像時の本編データ以外のデータである差分データとからなる。
The imaging /
映像符号化部23は、本編データ、差分データそれぞれを圧縮符号化した本編符号化データ、差分符号化データ(以下、合わせて符号化データと称す)を生成する。映像符号化部23は、複数種類の圧縮符号化方法を切り替えて使用する。音声入力部24は、マイクなどで構成され、音声を電気信号である音声信号に変換する。音声処理部25は、音声信号に対して前処理を行うとともに、音声信号をデジタルの音声データに変換する。多重化部26は、映像符号化部23で変換された符号化データと、音声処理部25で変換された音声データとを多重化した多重化データを生成する。
The
システム制御部3は、撮像フレームレート制御部31と、符号化方法制御部32と、符号化データ分類部33と、管理ファイル処理部34と、再生処理部35と、記録処理部36とを有し、各部や記録メモリ9の管理、および制御を行う。システム制御部3は、マイコンとメモリによって実現することもできる。この場合、システム制御部3の各部は、メモリに記憶された各種のプログラムを動作させることにより実現される。
The
撮像フレームレート制御部31は、カメラ部21の撮像フレームレートを切り替える。符号化方法制御部32は、映像符号化部23の符号化方法を切り替える。符号化データ分類部33は、映像符号化部23に入力された映像データが、本編データであるか、差分データであるかを分類する。管理ファイル処理部34は、記録メモリ9に記録された各ファイルを管理するためのデータを記録した管理ファイル(例えば、メタデータ)に関する処理を行う。再生処理部35は、記録メモリ9に記録された本編ファイルと差分ファイルを再生するための処理を行う。記録処理部36は、多重化部26から出力される多重化データから本編ファイルと差分ファイルとを生成し、記録メモリ9に所定のファイル形式で記録する。
The imaging frame
I/Oバス5は、各部を接続し、各種データを伝送する。指令入力部6は、ユーザからの指示(高速撮像開始、映像の表示など)を受け付ける。状態表示部7は、機器の動作状態をユーザに呈示する。IF部8は、記録メモリ9をI/Oバス5に接続するためのインターフェースである。記録メモリ9は、例えば、PCカードであり、IF部8に着脱可能である。記録メモリ9は、IF部8と着脱可能であるため、他の編集装置に接続することができる。
The I /
再生部4は、多重分離部41と、映像復号化部42と、映像出力部43と、音声復号化部44とを有し、多重化データを再生する。多重分離部41は、多重化部26により多重化された多重化データ(ストリーム)あるいは、記録メモリ9に記録された多重化データを、符号化データと音声データとに分離する。映像復号化部42は、符号化データを復号化し、元の映像データへと復元する。映像出力部43は、映像データを映像信号に変換し、映像表示部10に入力する。映像表示部10は、映像装置1に備え付けられたモニタ、外部に接続されたモニタなどであり、映像信号を映像として表示する。音声復号化部44は、多重分離部41により分離された音声データを音声信号に変換する。音声出力部11は、例えばスピーカであり、音声信号を音声として出力する。
The
次に、撮像装置1の通常撮像動作について説明する。指令入力部6によりユーザが通常記録開始を指示すると、カメラ部21は、被写体を撮像し、映像信号を撮像処理部22に入力する。つぎに、映像処理部22は、映像信号に対してノイズ除去や、フィルタを用いて帯域制限などの前処理を行い、前処理された映像信号をデジタル形式に変換した映像データを生成し、映像符号化部23に入力する。
Next, the normal imaging operation of the
映像符号化部23は、映像データを、例えば、映像圧縮方式として広く利用されているMPEG−2方式や、あるいは、MPEG−4 AVC/H.264規格に基づき圧縮符号化する。フレーム内予測符号化を適用する圧縮符号化方式であれば同様の効果を発揮するが、本実施の形態では、MPEG−4 AVC/H.264方式(以下、H.264と略記する)により圧縮符号化する例を説明する。
The
図2は、映像符号化部23の構成を示すブロック図であり、この構成により映像処理部22から入力された映像データがH.264方式で符号化される。映像符号化部23の詳細は後述するが、フレーム内予測処理部56と、フレーム間予測処理57と、それらの切り替えるスイッチ59とが含まれる。映像データに対する圧縮符号化方式は、符号化方法制御部32の指令に基づきスイッチ59が動作することにより適宜、選択される。通常撮像中において、スイッチ59は、フレーム内予測処理部56に接続されている。
FIG. 2 is a block diagram showing a configuration of the
映像符号化部23において圧縮符号化された符号化データは、I/Oバス5を介してシステム制御部3の記録処理部36に供給される。記録処理部36は、多重化データを、IF部8を介して本編ファイルとして記録メモリ9に記録する。
The encoded data compressed and encoded by the
次に、撮像装置1の高速撮像動作について説明する。通常撮像中に指令入力部6からユーザが高速撮像開始を指示すると、撮像フレームレート制御部31は、カメラ部21の撮像素子の撮像フレームレートを高く(例えば、毎秒30フレームから毎秒120フレームに変更)する。
Next, the high-speed imaging operation of the
図3は、カメラ部21に出力された映像信号と、音声入力部24から出力された音声信号とを示す概念図である。横軸は、撮像時刻を示す。図面中の1〜7および31〜33、41〜43、51〜53は、映像信号の1フレームを示し、A1〜A7は、1フレーム単位の音声信号を示す。高速撮像区間において、1フレームの映像信号の撮像時間は、通常撮像区間における1フレームの撮像時間の1/4である。
FIG. 3 is a conceptual diagram showing the video signal output to the
カメラ部21は、撮像フレームレートと同じフレームレートで映像信号を出力する。つぎに、この映像信号を映像処理部22において通常撮像時と同様の処理を施し、映像符号化部23に入力する。
The
符号化データ分類部33は、映像符号化部23に入力された映像信号のフレームに対して、通常フレームレートの1フレームに相当する期間にカメラ部21から出力されたフレームのうちの所定の1フレームを本編データとし、残余のフレームの時には差分データとして分類する。この分類に基づいて、符号化方法制御部32は、本編データに対しては、差分データを参照しない例えば、フレーム内符号化方式で、差分データに対しては、符号化方式に制約されず、例えば、本編データを参照する双方向予測符号化方式で圧縮符号化する。
The encoded
つまり、図2において、本編データの入力に対しては、スイッチ59をフレーム内予測処理部56に接続し、差分データの入力に対しては、フレーム間予測処理部57に接続する。符号化方法制御部32、および符号化データ分類部33の処理の詳細は、後述する。
That is, in FIG. 2, the
映像符号化部23は、本編データをフレーム内符号化方式で符号化した本編符号化データと、差分データを双方向予測符号化方式で符号化した差分符号化データとを多重化部26に入力する。多重化部26は、本編符号化データに音声データ等を多重化した多重化データを、通常記録時と同様にI/Oバス5を介して、記録処理部36に供給する。なお、差分符号化データは、音声データと多重化されない。記録処理部36は、多重化データから本編符号化データを本編ファイルとし、差分符号化データを差分ファイルとしてIF部8を介して、記録メモリ9に記録する。一連の記録で作成された、本編ファイルおよび差分ファイルなどのファイル群をクリップと称す。クリップは、少なくとも映像を圧縮符号化したデータファイルを含み、例えば、音声ファイルや、撮像場所や時間を示すメタデータを記録するファイルを含んでもよい。
The
また、管理ファイル処理部34は、本編ファイルと差分ファイルの関連性や付加情報を管理ファイルとして記録メモリ9に記録する。この管理ファイルの具体的な説明は後述する。
In addition, the management
図4は、本編ファイルと差分ファイルの構成を示す概念図である。図中の1、2、3、・・・は、本編符号化データの1フレーム分を示し、31、32、・・・は、差分符号化データの1フレーム分を示す。また、A1、A2、・・・は、音声データを示す。 FIG. 4 is a conceptual diagram showing the configuration of the main file and the difference file. In the figure, 1, 2, 3,... Represent one frame of the main encoded data, and 31, 32,. A1, A2,... Indicate audio data.
次に、撮像装置1の音声入力動作について説明する。ユーザから指令入力部6に対して撮像の開始が指示されると、カメラ部21が映像を取り込むとともに、音声入力部24は音声の取り込みを開始する。音声入力部24から取り込まれた音声は、音声信号として音声処理部25に入力される。音声処理部25は、入力された音声信号をデジタル形式である音声データに変換し、多重化部26に入力する。多重化部26は、図4に示すように、入力された音声データと、本編符号化データとを多重化して多重化データを生成し記録処理部36に供給する。記録処理部36は、本編ファイルとして記録メモリ9に記録する。
Next, the voice input operation of the
以上のようにして、音声入力部24により取り込まれた音声は、映像の取り込みと並行して、本編ファイルとして記録メモリ9に記録される。この音声に対する一連の記録処理は、映像に対する高速撮像区間においても同処理である。
As described above, the audio captured by the
なお、本実施の形態では、音声圧縮を施していないが、本編ファイルに多重化して記録メモリ9に記録する形態、あるいは、音声を別ファイルとする形態であれば、音声圧縮を施しても、同様の効果を得ることができる。
In this embodiment, audio compression is not performed. However, if audio is compressed in a form in which the main file is multiplexed and recorded in the
次に、撮像装置1の通常再生動作について説明する。ユーザが指令入力部6に対して再生の開始を指示すると、管理ファイル処理部34は、記録メモリ9に記録されている管理ファイルから本編ファイルと差分ファイルの情報と関係性を示す情報を読み出す。再生処理部35は、通常撮像区間において、管理ファイルの情報から再生指定された本編ファイルを読み出し、多重化データを多重分離部41に入力する。多重分離部41は、多重化データを符号化データと音声データを分離して、符号化データを映像復号化部42に、音声データを音声復号化部44に入力する。
Next, the normal reproduction operation of the
映像復号化部42は、H.264規格に準拠した映像復号化処理を行い、復号化済の映像データを映像出力部43に入力する。映像出力部43は、入力された映像データを映像信号に変換し、映像表示部10により再生画像をユーザに呈示する。音声復号化部44は、音声データを音声信号に変換して音声出力部11に入力する。音声出力部11は、音声信号を音声として出力する。
The
図5は、図4に示す本編ファイルを用い、通常再生時における映像出力部43から出力された映像信号と、音声復号化処理部44から出力された音声信号をそれぞれフレーム単位で示す概念図である。図5に示す1〜7および1A〜7Aは、それぞれ図4に示すフレーム番号に対応する。本編ファイルのみを用いて再生を行うので、高速撮像された区間においても、通常撮像された区間と同様に再生され、編集時の検索効率の向上等のユーザの操作性、検索性が向上する。
FIG. 5 is a conceptual diagram showing the video signal output from the
次に、高速撮像により記録した区間の高精細スロー再生動作を説明する。管理ファイル処理部34は、再生開始時に菅理ファイルを読み出す際に、本編ファイルの先頭フレームの開始時刻と、差分ファイルの先頭フレームの開始時刻との時間(例えば、フレーム長)を保持しておき、再生処理部35に通知する。再生処理部35は、本編ファイルの再生において、ファイルの先頭フレームから現在の再生フレームまでの時間(フレーム長)が、上記の保持された時間(フレーム長)と一致した場合に、差分ファイルの読み出しを開始する。さらに、再生処理部35は、差分ファイルの差分符号化データを、通常再生と同様に、多重分離部41、映像復号化部42、映像出力部43の順に処理させる。菅理ファイル処理部34、および再生処理部35の再生処理の詳細は後述する。
Next, a high-definition slow playback operation in a section recorded by high-speed imaging will be described. When the management
音声復号化部44に入力された音声データは、音声復号化部44においてアナログ音声信号に変換して音声出力部11に入力される。音声出力部11は、音声信号を音声として出力する。また、再生処理部35は、映像の高精細スロー再生中において、高速撮像により記録された区間において、本編符号化データ1フレーム間に挿入される差分符号化データのフレーム数に基づいて、音声スロー再生を行う。すなわち、音声データも映像出力と同一倍速でスロー再生を行うように、音声データを時間軸に掃引、例えば、音声データ補間を施して音声出力を行う。
The audio data input to the
図6は、図4に示す本編ファイルと差分ファイルが記録された状態において、高速撮像記録した区間を高精細スロー再生する場合に、映像出力部43から出力される映像信号と、音声復号化部44から出力される音声信号をそれぞれフレーム単位で示す概念図である。図6に示す1〜4、31〜33および41と、A1〜A4は、それぞれ図4に示す符号化データおよび音声データのフレーム番号に対応する。本編データに対応する映像信号の間(図中のフレーム3と4の間)に、3フレームの差分データ(フレーム31、32、33)に対応する映像信号が挿入されていて、この映像信号を通常のフレームレート(毎秒30フレーム)で再生することにより、高速撮像区間では、1/4倍速の高精細スロー再生となる。この時、音声復号部44は、音声が1/4倍速となるように、音声信号を音声出力部11に入力する。
FIG. 6 shows a video signal output from the
このような一連の再生動作の実行により、本編ファイルと差分ファイルの2つファイルとして記録メモリ9に記録された、圧縮映像データと音声データが読み出され、映像表示部10から1つの映像として再生画像が、音声出力部11から音声が出力される。
By executing such a series of playback operations, the compressed video data and audio data recorded in the
以下、各ブロックの処理を具体的に説明する。 Hereinafter, the processing of each block will be specifically described.
図7は、本編符号化データおよび差分符号化データの記録ファイル名称、参照関係、およびピクチャタイプの一例を示す表である。本編ファイル(本編符号化データ)のみで再生する場合があるので、本編符号化データは、差分符号化データを参照しない。一方、差分符号化データは、再生される際には、本編符号化データも再生されるので、参照関係に制約はない。このような参照関係であればどのような圧縮方法(ピクチャタイプ)を用いてもよい。つまり、他の差分符号化データを参照してもよいし、本編符号化データを参照してもよい。本実施の形態では、以下、本編符号化データがIピクチャ、差分符号化データがBピクチャの場合について説明する。 FIG. 7 is a table showing examples of recording file names, reference relationships, and picture types of the main encoded data and the differential encoded data. Since reproduction may be performed only with the main part file (main part encoded data), the main part encoded data does not refer to the difference encoded data. On the other hand, when the differentially encoded data is reproduced, the main encoded data is also reproduced, so that the reference relationship is not limited. Any compression method (picture type) may be used as long as it has such a reference relationship. That is, other differentially encoded data may be referred to, or the main encoded data may be referred to. In the present embodiment, a case will be described below where the main encoded data is an I picture and the differential encoded data is a B picture.
図8は、符号化方法制御部32の符号化方法の切り替え処理の流れを示す流れ図である。映像符号化部23に1フレーム分のデータが供給される毎に符号化方法の切り替え処理を実行する。すなわち、高速撮像時は、高速撮像フレームレートと同じ周期で実行する。符号化データ分類部33は、映像データが本編データであるか、差分データであるかの分類を行う(ステップS101)。つぎに、符号化方法制御部32は、映像データが本編符号化データであるか否かを判別する(ステップS102)。符号化方法制御部32は、映像データが本編データである場合には、本編符号化データの制約に基づいて符号化方式を決定する(ステップS103)。ステップS102において、映像データが本編データでない場合には、差分符号化データの制約に基づいて符号化方式を決定する(ステップS104)。
FIG. 8 is a flowchart showing the flow of the encoding method switching process of the encoding
決定した符号化方式に従って映像符号化部23の符号化方式を切り替える(ステップS105)。すなわち、映像データは、図7の例であれば、本編符号化データである場合には、フレーム内符号化のみで符号化したピクチャ(Iピクチャ)に変換され、差分符号化データである場合には、双方向予測符号化したピクチャ(Bピクチャ)に変換される。これは、Iピクチャは、他のピクチャを参照することが無いため実装が容易であるという利点があり、また、制作分野等の編集を前提としたシステムではフレーム内符号化のみの方が編集しやすいという利点があるためである。図7の参照関係に示す制約に基づいて符号化した場合の符号化データを図9に示す。図9(a)は、通常撮像時の符号化方式により符号化された符号化データを示しており、図9(b)は、高速撮像時の符号化方式により符号化された符号化データ(本編符号化データおよび差分符号化データ)を示している。
The encoding method of the
次に、符号化データ分類部33と、符号化方法制御部32のさらに詳細な説明を行う。なお、双方向予測符号化(Bピクチャ)や、前方向予測符号化(Pピクチャ)を多く採用した方が圧縮効率は良いが、図7の参照関係に示す制約が満たされていれば、どのような符号化方法を採用しても同様の効果を得ることができる。
Next, the encoded
まず、符号化データ分類部33により映像データを本編データと、差分データに分類する(図8のステップS101)方法について具体的に説明する。 First, a method for classifying video data into main data and difference data by the encoded data classification unit 33 (step S101 in FIG. 8) will be specifically described.
符号化データ分類部33は、図4に示すように、高速撮像を開始した先頭フレームから通常フレームレートに対応するフレームを本編データに分類し、その他のフレームを差分データに分類する。分類は、以下の式を用いて行う。
As shown in FIG. 4, the encoded
A=(Cn)mod(Ff/Fn) ・・・(式1)
ここで、式1のFnは通常フレームレートであり、Ffは高速撮像フレームレートであり、modは剰余であり、Cnは高速撮像開始フレームからのフレーム数(高速撮像フレームレートでカウントする)である。式1において、Aが1となるフレームの場合、本編データに分類し、Aが1以外となるフレームの場合、差分データに分類する。
A = (Cn) mod (Ff / Fn) (Formula 1)
Here, Fn in
なお、通常撮像フレームレートと高速撮像フレームレートの比に従って分類すれば、Aの値が2とそれ以外で分類しても同様の効果を得ることができる。なお、符号化フレームに時刻情報を付加して記録している場合には、符号化フレームに付与された時刻情報が通常撮像フレームレートをFnの倍数になる場合に本編データに分類し、その他の場合には、差分データに分類する方法でもよい。 If the classification is performed according to the ratio of the normal imaging frame rate and the high-speed imaging frame rate, the same effect can be obtained even if the value of A is classified as 2 or other. When time information is added to the encoded frame and recorded, the time information given to the encoded frame is classified as main data when the normal imaging frame rate is a multiple of Fn, and other In this case, a method of classifying the difference data may be used.
つぎに、符号化方法制御部32は、符号化データ分類部33により決定した分類に従って符号化方法を決定する。本実施の形態では、図7に従って符号化方法を決定するので、映像符号化部23は、本編データに分類されたフレームをIピクチャに、差分データに分類されたフレームをBピクチャに符号化する。
Next, the encoding
なお、さらに複雑な符号化方法を制御する場合には、前記Aの値に従って切り替えを行えばよい。 When a more complicated encoding method is controlled, switching may be performed according to the value A.
次に、映像符号化部23の符号化方法について詳細に説明する。
Next, the encoding method of the
まず、指令入力部6の通常撮像指示により符号化を開始すると、図2に示すように、映像処理部22から入力された映像データはDCT/量子化部51に入力される。DCT/量子化部51は、映像データに離散コサイン変換(DCT)および量子化処理を行う。エントロピー符号化部52は、DCT/量子化部51から出力された映像データを可変長符号化や算術符号化してビットストリームとして符号化データを出力する。同時に、逆量子化/IDCT部53は、DCT/量子化部51から出力された映像データに、逆量子化処理、および逆DCT(IDCT)を行い、フィルタ部54に変換された映像データを入力する。
First, when encoding is started by a normal imaging instruction from the
フィルタ部54は、映像データにデブロッキングフィルタ処理を行った後、フレームメモリ55に格納する。フレーム内予測処理部56は、フレームメモリ55に格納された映像データに対し、H.264の特徴の一つでもあるフレーム内での予測を行う。予測された情報は、DCT/量子化部51において、次フレームの映像データのDCT/量子化の際に用いられる。
The
一方、映像処理部22から入力された映像データは、動きベクトル検出部58にも入力される。動きベクトル検出部58は、フレームメモリ55に格納された参照フレームから水平方向と垂直方向の動きベクトルを検出する。フレーム間予測処理部57は、可変MC(Motion Compensation)によるブロックの分割処理や、動き補償処理や、動きベクトルの符号化を行う。切り替えスイッチ59は、フレーム毎にフレーム内予測符号化方式を適用するか、フレーム間予測符号化を適用するかを選択し、出力されたデータをDCT/量子化部51に入力する。切り替えスイッチ59の動作は、上述したように、符号化方法制御部32により制御される。
On the other hand, the video data input from the
さらに、動きベクトル検出部58は、まず、符号化を行う1フレームの映像データを所定の大きさの矩形領域(例えば、16×16画素、8×8画素など)にブロック分割し、フレームメモリ55内に格納されている参照フレームから各ブロックの予測値として適切なブロックを探索する。参照フレーム内のあらかじめ設定された探索範囲内で、ブロックの位置を少しずつ動かして、当該位置のブロックが予測値として適切か否かを判定する。適切であるか否かの判定基準には、ブロック内の各画素値の差分2乗和、差分絶対値和などが用いられる。このようにして、符号化を行う1フレームの映像データの各ブロックに対し、参照画面内で当該ブロックの予測値として探索されたブロックの位置のずれを動きベクトルとして検出する。
Furthermore, the motion
従来から知られているように、H.264の圧縮方式において、MPEG−2のGOP(Group Of Pictures)構造という概念は存在しないが、実装を容易にするためにMPEG−2同等のGOP構造と同じ構成を採用して実現する方法が一般的に用いられる。例えば、1GOPを15フレームとし、符号化ピクチャを、BBIBBPBBPBBPBBPの順とするGOP構造を適用する場合、周期的に、切り替えスイッチ59により、Iピクチャと、B/Pピクチャを切り替え、フレームメモリ55内に格納される参照フレームの内、参照する参照フレームを制御することで、BピクチャとPピクチャが切り替えて、1GOPを形成する。
As is conventionally known, H.P. In the H.264 compression method, the concept of MPEG-2 GOP (Group Of Pictures) structure does not exist, but in order to facilitate the implementation, a method that is realized by adopting the same configuration as the MPEG-2 equivalent GOP structure is generally used. Used. For example, when applying the GOP structure in which 1 GOP is 15 frames and the encoded picture is BBIBBPBBPBBPBBP, the I switch and the B / P picture are periodically switched by the
すなわち、符号化方法制御部32が決定した符号化方法(ピクチャタイプ)が、Iピクチャの場合には、切り替えスイッチ59により、フレーム内予測符号化を有効にする。Bピクチャの場合には、切り替えスイッチ59により、フレーム間予測符号化を有効にし、かつ、現在符号化しているフレームの前後両方の参照フレームを参照するように制御する。Pピクチャの場合には、切り替えスイッチ59により、フレーム間予測符号化を有効にし、現在符号化しているフレームから一方向のみの参照フレームを参照するように制御する。
That is, when the encoding method (picture type) determined by the encoding
本実施の形態では、IピクチャとBピクチャのみの切り替えであるため、切り替えスイッチ59を切り替えることで、映像符号化部23の符号化方法を、符号化方法制御部32において決定した符号化方式に切り替える。
In this embodiment, since only the I picture and the B picture are switched, the coding method of the
また、符号化データを出力する際に、符号化データ分類部33において決定した分類に従って、本編符号化データであるか、差分符号化データであるかの分類フラグを符号化データと同時に出力して、前記2つの分類を区別する。前記分類フラグは、多重化部26に入力され、多重化部26は、前記分類フラグに従って、本編符号化データと、音声処理部25から入力された音声データを多重化し、多重化データを生成する。多重化部26においても、多重化データが、本編ファイルに属することを示す同様の分類フラグを出力し、記録処理部36に供給する。記録処理部36は、前記分類フラグを参照して、記録メモリ9に、本編ファイルとして記録するか、差分ファイルとして記録するかを制御し、本編ファイルと差分ファイルを記録メモリ9に書き込む。
When outputting encoded data, according to the classification determined by the encoded
なお、符号化データが、例えば、パケット形式等のアライメントを遵守する必要がある場合には、2つのファイルに分ける際の切り替わり点に、例えば、無効データや、無効パケットを挿入することにより、アライメントを遵守することができる。 When the encoded data needs to comply with the alignment of the packet format, for example, the alignment is performed by inserting, for example, invalid data or invalid packets at the switching point when dividing into two files. Can be observed.
次に、管理ファイル処理部34により、本編ファイルと差分ファイルの関連を菅理ファイルとして、メタデータを生成する方法について具体的に説明する。図10は、記録メモリ9に記録されたクリップを示す概念図である。管理ファイル処理部34は、記録メモリ9に、記録されているクリップ1、2、3のメタデータを菅理ファイルとして記録する。
Next, a method for generating metadata by using the management
図11は、クリップに対して付与されるメタデータの内容を示す図である。図11(a)に示す内容は、本編符号化データに関するものであり、図11(b)に示す内容は、差分符号化データに関するものである。 FIG. 11 is a diagram showing the contents of metadata assigned to a clip. The content shown in FIG. 11 (a) relates to the main encoded data, and the content shown in FIG. 11 (b) relates to differentially encoded data.
図11(a)において、Clip IDは、クリップ毎に機器が自動的に付与する固有のIDである。Video File Nameは、映像を圧縮符号化したデータを記録する本編ファイルのファイル名である。Frame Rateは、通常記録時に撮像した映像の1秒あたりのフレーム数を示す。Durationは、記録したクリップの長さを表し、通常フレームレート換算のフレーム長を示す。NumSubVideoは、高速撮像で記録した差分ファイルの数を示す。SubVideoInfoは、図11(b)で定義される差分ファイルの情報であり、NumSubVideoの値の分だけ記録される。 In FIG. 11A, the Clip ID is a unique ID automatically assigned by the device for each clip. Video File Name is the file name of the main file that records data obtained by compression-coding video. Frame Rate indicates the number of frames per second of an image captured during normal recording. Duration indicates the length of the recorded clip and indicates the frame length in terms of the normal frame rate. NumSubVideo indicates the number of difference files recorded by high-speed imaging. SubVideoInfo is information of the difference file defined in FIG. 11B, and is recorded for the value of NumSubVideo.
図11(b)においてOffsetは、クリップの先頭から差分ファイルに記録された映像符号化データの先頭フレームの開始までの通常フレームレート換算のフレーム数である。Sub Video File Nameは、差分ファイルのファイル名である。Sub FrameRateは、差分ファイル中の映像符号化データの符号化フレームレート(高速撮像フレームレートに等しい)である。Sub Durationは、差分ファイル中の符号化データの時間長(フレーム長)を示し、符号化フレームレート(高速撮像フレームレートに等しい)換算でのフレーム長を示す。 In FIG. 11B, Offset is the number of frames in terms of the normal frame rate from the beginning of the clip to the start of the first frame of the video encoded data recorded in the difference file. Sub Video File Name is the file name of the difference file. Sub FrameRate is the encoding frame rate of video encoded data in the difference file (equal to the high-speed imaging frame rate). Sub Duration indicates the time length (frame length) of the encoded data in the difference file, and indicates the frame length in terms of the encoded frame rate (equal to the high-speed imaging frame rate).
本実施の形態では、検索時の利便性向上のため、クリップのメタデータは、映像を符号化したデータ(本編ファイルと差分ファイル)とは別ファイルとして、テキストファイル形式としている。 In the present embodiment, in order to improve the convenience of search, the clip metadata is in a text file format as a separate file from the video encoded data (main file and difference file).
図12は、記録開始から終了におけるメタデータの内容の変化を示す図である。図12(a)は、クリップの記録開始直後のメタデータの内容例を示す。Clip IDがC0001、Video File NameがC0001.m2tsで、FrameRateが毎秒30フレームである。Clip ID、Video File Nameは、クリップの記録開始前に決定される。例えば、Clip IDは、先頭に"C"を付与した4桁のインクリメントカウンタ値とし、Video File Nameは、Clip IDに拡張子を付与した形式とすることができる。 FIG. 12 is a diagram illustrating a change in the content of metadata from the start to the end of recording. FIG. 12A shows an example of metadata content immediately after the start of clip recording. Clip ID is C0001, Video File Name is C0001. At m2ts, FrameRate is 30 frames per second. Clip ID and Video File Name are determined before the start of clip recording. For example, the Clip ID can be a 4-digit increment counter value with “C” added at the beginning, and the Video File Name can be in a format with an extension added to the Clip ID.
ここでは、映像ファイルをMPEG−2TS(Transport Stream)方式の多重化に準拠したm2tsファイル形式として拡張子をm2tsとしているが、それ以外の多重化方式やファイル形式でも構わない。また、Durationは、記録開始直後では確定されないので0としておく。さらに、NumSubVideoも高速撮像されるまでは0としておき、クリップの記録終了後にNumSubVideoが0である場合は、そのクリップ内で高速撮像が行われなかったことを示す。 Here, the extension of the video file is m2ts as an m2ts file format conforming to MPEG-2TS (Transport Stream) multiplexing, but other multiplexing schemes and file formats may be used. Also, Duration is set to 0 because it is not fixed immediately after the start of recording. Further, NumSubVideo is set to 0 until high-speed imaging is performed, and when NumSubVideo is 0 after recording of the clip, it indicates that high-speed imaging is not performed in the clip.
図12(b)は、クリップで最初に高速撮像を開始した直後のメタデータの内容を示している。図12(a)に対して、NumSubVideoを1とし、対応するSub Video Info(Offset:1234、SubVideoFile:C0001a.m2ts、SubFrameRate:120、SubDuration:0)を追加する。また、Durationの項目を、その時点のクリップ長(1234)に変更する。 FIG. 12B shows the content of the metadata immediately after starting high-speed imaging for the first time with a clip. 12A, NumSubVideo is set to 1, and corresponding Sub Video Info (Offset: 1234, SubVideoFile: C0001a.m2ts, SubFrameRate: 120, SubDuration: 0) is added. Also, the Duration item is changed to the clip length (1234) at that time.
図12(c)は、通常フレームレート換算で142フレーム、高速撮像フレーム換算で568フレームの高速撮像終了直後のメタデータの内容を示している。差分ファイルの時間長(フレーム長)が確定するので、SubDurationの項目を、568に変更する。図12(d)は、クリップ記録終了後のメタデータの内容を示している。この例では、NumSubVideoが2つあり、これは、クリップC0001に対して2つの高速撮像が行われた(差分ファイルが2つある)ことを示す。 FIG. 12C shows the content of metadata immediately after the completion of high-speed imaging of 142 frames in terms of normal frame rate and 568 frames in terms of high-speed imaging frame. Since the time length (frame length) of the difference file is fixed, the SubDuration item is changed to 568. FIG. 12D shows the content of the metadata after the clip recording is completed. In this example, there are two NumSubVideos, which indicate that two high-speed images have been taken for the clip C0001 (two differential files are present).
次に、本カメラレコーダで記録メモリ9に記録したファイルを再生する方法を具体的に説明する。
Next, a method for reproducing a file recorded in the
まず、図12(d)に示すメタデータに基づいて、本編ファイルと差分ファイルを高精細スロー再生する場合において、特に管理ファイル処理部34と、再生処理部35の処理を具体的に説明する。
First, based on the metadata shown in FIG. 12 (d), the processing of the management
指令入力部6からユーザによる再生開始指示が行われた場合、まず、管理ファイル処理部34が管理ファイルを読み出し、メタデータの内容を取得し、情報を保持しておく。本例では、1つめのSubVideoInfoのOffsetから、1234フレーム目から高速撮像記録が行われていることが分かる。
When a reproduction start instruction is issued by the user from the
再生処理部35は、1233フレーム目までは、高速撮像記録が行われていないので、本編ファイルとして記録された本編符号化データのみを再生する。1234フレーム目からは、高速撮像記録された区間に当てはまるため、高速撮像フレームレートと通常フレームレートの比に従って読み出しファイルを切り替えて再生する。すなわち、高速撮像フレームレートをFf(毎秒120フレーム)、通常フレームレートをFn(毎秒30フレーム)、商をdivとすると、本編ファイルの1フレーム間に差分ファイルの((Ff div Fn)−1)(図12の例では、3)フレーム分を挿入するように、高速撮像区間中、繰り返し読み出しファイルを切り替えて再生する。
Since the high-speed imaging / recording is not performed until the 1233th frame, the
記録メモリ9に、本編ファイルと差分ファイルとして記録された符号化データは、複数のファイルに分割記録されていても、分割記録前は一連続な符号化データであるので、多重分離部41と、映像復号化部42は、共に、符号化データが分割されていることを意識するする必要はない。
Even if the encoded data recorded as the main file and the difference file in the
つぎに、管理ファイル処理部34がメタデータを読むことにより、1つめのSubVideoInfoのSubDurationから、高速撮像区間が通常フレームレート換算で142フレーム、高速フレームレート換算で568フレームの区間あることが分かる。再生処理部35は、高精細スロー再生の場合には、高速撮像部分も通常フレームレート(例えば、毎秒30フレーム)で再生するので、568フレームの間、上述した高精細スロー再生を繰り返して再生処理を行う。
Next, when the management
なお、高速撮像区間中は、通常フレームレート換算と、高速撮像フレームレート換算のフレーム長が混在するので、例えば、通常フレームレート換算用、高速フレームレート換算用、現在再生位置フレーム用のカウンタを設けて制御してもよい。 Note that the normal frame rate conversion and the high-speed imaging frame rate conversion frame length coexist in the high-speed imaging section. For example, counters for normal frame rate conversion, high-speed frame rate conversion, and current playback position frame are provided. May be controlled.
上述した高精細スロー再生と同様の処理を2つめのSubVideoInfoに対しても実行すれば、図12(d)の高速撮像記録にて記録メモリ9に記録されたすべてのデータが再生することができる。
If the same processing as the above-described high-definition slow reproduction is executed for the second SubVideoInfo, all data recorded in the
次に、通常速度再生について説明する。ここで、通常速度再生とは、高速撮像区間であっても高精細スロー再生を行わない、通常速度での再生方法のことを指す。本実施の形態の記録メモリ9には、上述したように本編ファイルと差分ファイルとが記録されており、本編ファイルは、本編符号化データと、すべての音声データを含む。また、本編符号化データのみを取り出すと、通常フレームレートに従ったフレーム間隔で映像し、圧縮符号化処理を施したデータと等価である。再生処理部35は、本編ファイルのみを読み込み、多重分離部41に供給し、以降は高精細スロー再生時と同様の処理を実行することで、スロー再生ではなく、通常速度で映像を再生することができる。
Next, normal speed reproduction will be described. Here, normal speed playback refers to a playback method at normal speed that does not perform high-definition slow playback even in a high-speed imaging section. As described above, the main file and the difference file are recorded in the
これは、上述した高精細スロー再生の処理を実行せずに本編ファイルのみで再生することで、高速撮像記録を行った区間であっても、容易に通常速度で再生することが可能であることと、高精細スロー再生と通常速度の再生方法切り替えが容易に実現可能なことを示している。この特長は、例えば、撮像時の素材の確認や、本実施の形態によらない映像再生装置での再生、編集時における素材の検索等、ユーザの利便性向上に効果的である。 This is because the high-definition slow playback process is not executed and only the main file is played back, so that it is possible to easily play back at the normal speed even in a section where high-speed imaging recording is performed. This shows that switching between high-definition slow playback and normal speed playback methods can be easily realized. This feature is effective for improving the convenience of the user, for example, confirmation of the material at the time of imaging, playback on a video playback device not according to the present embodiment, and search for the material at the time of editing.
以上のように、本実施の形態の高速撮像装置によれば、圧縮効率が良く、利便性の高いカメラレコーダを実現することができ、素材撮影、編集等を含めた制作ワークフロー全体の運用コストの低下することができる。 As described above, according to the high-speed imaging device of this embodiment, it is possible to realize a camera recorder with high compression efficiency and high convenience, and the operation cost of the entire production workflow including material shooting and editing is reduced. Can be lowered.
なお、本実施の形態では、メタデータは別ファイルとして記録する方法を説明したが、本編ファイルのヘッダ部分に埋め込んで記録しても同様の効果を得ることができる。また、メタデータを記録する際に、テキスト形式にて記録する方法を説明したが、例えば、XML(eXtensible Markup Language)形式等のマークアップ言語等で記述しても同様の効果を得ることができる。 In the present embodiment, the method for recording metadata as a separate file has been described. However, the same effect can be obtained by embedding the metadata in the header portion of the main file. Further, the method of recording in the text format when recording the metadata has been described, but the same effect can be obtained even if it is described in a markup language such as an XML (extensible Markup Language) format, for example. .
また、本実施の形態において、本編符号化データから差分符号化データのフレームを参照しないような符号化方式として、双方向予測符号化を例に挙げたが、この符号化に限定されず、例えば前方向予測符号化を用いても同様の効果を得ることができる。 Further, in the present embodiment, bi-predictive encoding is given as an example as an encoding method that does not refer to a frame of differential encoded data from main encoded data, but is not limited to this encoding, for example, A similar effect can be obtained even if forward predictive coding is used.
本発明にかかる撮像装置は、通常撮像と高速撮像を切り替えて撮像でき、かつ記録時間あたりの記録サイズを減らすことができ、半導体メモリや光ディスク等を使用した映像記録再生装置や映像編集装置等に広く適用可能である。 The imaging apparatus according to the present invention can switch between normal imaging and high-speed imaging, and can reduce the recording size per recording time, and can be applied to a video recording / reproducing apparatus or a video editing apparatus using a semiconductor memory or an optical disk. Widely applicable.
1 撮像装置
2 撮像/符号化部
3 システム制御部
4 再生部
5 I/Oバス
6 指令入力部
7 状態表示部
8 IF部(記録メモリインターフェース部)
9 記録メモリ
10 映像表示部
11 音声出力部
21 カメラ部
22 映像処理部
23 映像符号化部
24 音声入力部
25 音声処理部
26 多重化部
31 撮像フレームレート制御部
32 符号化方法制御部
33 符号化データ分類部
34 管理ファイル処理部
35 再生処理部
36 記録処理部
41 多重分離部
42 映像復号化部
43 映像出力部
44 音声復号化部
51 DCT/量子化部
52 エントロピー符号化部
53 逆量子化部/IDCT部
54 フィルタ部
55 フレームメモリ
56 フレーム内予測処理部
57 フレーム間予測処理部
58 動きベクトル検出部
59 スイッチ
DESCRIPTION OF
9
Claims (8)
前記カメラ部のフレームレートが前記通常フレームレートである状態においては、前記カメラ部から出力された映像信号を第1の符号化方式で符号化して本編符号化データとして出力し、前記高速フレームレートである状態においては、前記通常フレームレートの1フレームに相当する期間に前記カメラ部から出力されるフレームのうちの所定の1フレームを前記第1の符号化方式で符号化して本編符号化データとして出力し、残余のフレームを第2の符号化方式で符号化して差分符号化データとして出力する映像符号化部と、
前記本編符号化データを本編ファイルとし、前記差分符号化データを差分ファイルとして記録媒体に記録する記録処理部と、
前記本編ファイルと前記差分ファイルとの関連性を記録した管理ファイルを前記記録媒体に保存する管理ファイル処理部と、
外部から高速撮像の指示または通常撮像の指示を受け付ける入力部と、
前記入力部が高速撮像の指示を受け付けると、前記カメラ部のフレームレートを前記高速フレームレートにし、前記入力部が通常撮像の指示を受け付けると、前記カメラ部のフレームレートを前記通常フレームレートにする撮像フレームレート制御部とを備えた撮像装置。 A camera unit capable of imaging by switching a normal frame rate and a high-speed frame rate higher than the normal frame rate;
In a state where the frame rate of the camera unit is the normal frame rate, the video signal output from the camera unit is encoded by the first encoding method and output as main encoded data, and at the high frame rate. In a certain state, a predetermined one frame out of frames output from the camera unit in a period corresponding to one frame of the normal frame rate is encoded by the first encoding method and output as main encoded data. A video encoding unit that encodes the remaining frames using the second encoding method and outputs the encoded data as differential encoded data;
A recording processing unit that records the main encoded data as a main file and records the differential encoded data as a differential file on a recording medium;
A management file processing unit for storing a management file in which the relationship between the main file and the difference file is recorded in the recording medium;
An input unit for receiving an instruction for high-speed imaging or an instruction for normal imaging from the outside;
When the input unit receives an instruction for high-speed imaging, the frame rate of the camera unit is set to the high-speed frame rate. When the input unit receives an instruction for normal imaging, the frame rate of the camera unit is set to the normal frame rate. An imaging device comprising an imaging frame rate control unit.
前記第2の符号化方式は、双方向予測符号化または前方向予測符号化方式である請求項3記載の撮像装置。 The first encoding scheme is an intra-frame predictive encoding scheme,
The imaging apparatus according to claim 3, wherein the second encoding method is bidirectional predictive encoding or forward predictive encoding.
前記多重化された本編符号化データを本編ファイルとして前記記録媒体に記録する請求項1〜4のいずれか一項に記載の撮像装置。 A multiplexer that multiplexes the main encoded data and the audio data;
The imaging apparatus according to claim 1, wherein the multiplexed main-encoded data is recorded on the recording medium as a main file.
前記再生処理部は、
前記記録媒体に記録された管理ファイルを参照して、高速フレームレートと通常フレームレートとの比を用いて、本編ファイル中の映像データ1フレーム間に挿入する差分ファイルのフレーム数を算出し、
映像の再生中に、前記高速フレームレート撮像された区間内では、前記本編ファイルから1フレームを再生し、前記差分ファイルから挿入される数のフレームを再生し、再度、前記本編ファイルから1フレームを再生することを繰り返して、通常フレームレートで再生することで高精細スロー映像の再生を行う請求項1〜5のいずれか一項に記載の撮像装置。 It further includes a playback processing unit,
The reproduction processing unit
Referring to the management file recorded on the recording medium, using the ratio between the high-speed frame rate and the normal frame rate, calculate the number of frames of the difference file to be inserted between one frame of video data in the main file,
During playback of the video, within the section where the high-speed frame rate is captured, one frame is played from the main file, the number of frames inserted from the difference file is played, and one frame from the main file is again played. The imaging apparatus according to claim 1, wherein high-definition slow video is reproduced by repeating reproduction and reproduction at a normal frame rate.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007123524A JP2008283276A (en) | 2007-05-08 | 2007-05-08 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007123524A JP2008283276A (en) | 2007-05-08 | 2007-05-08 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008283276A true JP2008283276A (en) | 2008-11-20 |
Family
ID=40143752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007123524A Withdrawn JP2008283276A (en) | 2007-05-08 | 2007-05-08 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008283276A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010045608A (en) * | 2008-08-13 | 2010-02-25 | Casio Comput Co Ltd | Imaging apparatus and program |
JP2010074545A (en) * | 2008-09-18 | 2010-04-02 | Canon Inc | Motion picture retrieval apparatus and motion picture retrieval method |
JP2011055386A (en) * | 2009-09-04 | 2011-03-17 | Sanyo Electric Co Ltd | Audio signal processor, and electronic apparatus |
JP2011135286A (en) * | 2009-12-24 | 2011-07-07 | Casio Computer Co Ltd | Image recording apparatus and program |
-
2007
- 2007-05-08 JP JP2007123524A patent/JP2008283276A/en not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010045608A (en) * | 2008-08-13 | 2010-02-25 | Casio Comput Co Ltd | Imaging apparatus and program |
JP2010074545A (en) * | 2008-09-18 | 2010-04-02 | Canon Inc | Motion picture retrieval apparatus and motion picture retrieval method |
JP2011055386A (en) * | 2009-09-04 | 2011-03-17 | Sanyo Electric Co Ltd | Audio signal processor, and electronic apparatus |
JP2011135286A (en) * | 2009-12-24 | 2011-07-07 | Casio Computer Co Ltd | Image recording apparatus and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4424396B2 (en) | Data processing apparatus and method, data processing program, and recording medium on which data processing program is recorded | |
JP4669902B2 (en) | Video recording apparatus, multiplexing method, program, and recording medium | |
US8676038B2 (en) | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program | |
WO2006027880A1 (en) | Recording apparatus and method, reproducing apparatus and method, recording medium, and program | |
JP2005318502A (en) | Video recording device for recording variable frame rate, multiplexing method, video coding method, program, and recording medium | |
JP4552802B2 (en) | Recording apparatus, recording method, recording method program, and recording medium recording the recording method program | |
JP4797974B2 (en) | Imaging device | |
JP2008283276A (en) | Imaging apparatus | |
JP2002077803A (en) | Video information recorder and image pickup device | |
KR20090064278A (en) | Recording apparatus, replaying apparatus, recording method, replaying method and program recording medium | |
JP4158463B2 (en) | Imaging device | |
US20110150413A1 (en) | Moving picture recording/reproducing apparatus and method | |
JP2011049927A (en) | Image processing device, and imaging apparatus with the same mounted thereon | |
JP2009147832A (en) | Moving image recording apparatus, moving image reproduction apparatus, and program | |
JP2008288934A (en) | Moving picture photographing device and moving picture reproducing device | |
JP2007158434A (en) | Camera recorder | |
US20090040382A1 (en) | Camera apparatus and still image generating method of camera apparatus | |
JP2011091592A (en) | Image encoder, code converter, image recorder, image reproduction device, image encoding method, and integrated circuit | |
JP4446669B2 (en) | Moving image data recording method and reproducing method thereof, moving image data recording device and reproducing device thereof | |
JP4725675B2 (en) | Recording / reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method, and computer program | |
JP4487196B2 (en) | Recording apparatus and control method thereof | |
JP2004343201A (en) | Recording apparatus | |
JP4573166B2 (en) | Information recording apparatus, information reproducing apparatus, information recording method, and information reproducing method | |
JP3541910B2 (en) | Video signal processing device | |
JP2005286829A (en) | Video signal recording regenerating system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100803 |