JP2009159303A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2009159303A JP2009159303A JP2007335104A JP2007335104A JP2009159303A JP 2009159303 A JP2009159303 A JP 2009159303A JP 2007335104 A JP2007335104 A JP 2007335104A JP 2007335104 A JP2007335104 A JP 2007335104A JP 2009159303 A JP2009159303 A JP 2009159303A
- Authority
- JP
- Japan
- Prior art keywords
- compression
- image data
- display
- unit
- quantization table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
Description
本発明は、撮影機能やライブビュー機能を有する撮像装置に関する。 The present invention relates to an imaging apparatus having a shooting function and a live view function.
従来のデジタルカメラでは、連写撮影を行う場合、連写撮影により得られた複数の画像データに対して、それぞれ、画像処理を施した後ディスプレイに表示したり、圧縮処理を行った後メモリに記録している。このときの圧縮処理は、例えば、ＪＰＥＧなどの可変長符号による符号化処理であり、その符号化処理の過程で決定された量子化テーブルを使って、連写撮影により得られた複数の画像データに対して、それぞれ、圧縮処理が行われる。 In conventional digital cameras, when continuous shooting is performed, each of a plurality of image data obtained by continuous shooting is subjected to image processing and then displayed on a display or compressed and stored in a memory. It is recorded. The compression process at this time is, for example, an encoding process using a variable-length code such as JPEG, and a plurality of image data obtained by continuous shooting using a quantization table determined in the process of the encoding process. For each, a compression process is performed.
しかしながら、近年のデジタルカメラにおいては、高速な連続撮影、即ち連写を行いたいユーザの要求に応えるべく、単位時間当たりに処理しなければならない画像データ量が飛躍的に伸びてきており、ＬＳＩの負荷が増加している。これに対処するためにＬＳＩの処理周波数を上げると消費電力が増加し、膨大な画像データを処理するために記憶部、即ちメモリバス帯域を広げると、ＬＳＩのデータ入出力ピンやメモリ容量が増加してコストが増大してしまう。 However, in recent digital cameras, the amount of image data that must be processed per unit time has increased dramatically in order to meet the demands of users who want to perform high-speed continuous shooting, that is, continuous shooting. The load is increasing. Increasing the processing frequency of the LSI to cope with this will increase the power consumption, and if the memory unit, that is, the memory bus bandwidth is expanded to process a large amount of image data, the data input / output pins and memory capacity of the LSI will increase. As a result, the cost increases.
そこで、例えば、記録用の画像データの圧縮処理を行う圧縮機能を使って表示用の画像データに対して圧縮処理を行うことによりデータ量を削減する撮像装置がある（例えば、特許文献１参照）。 Thus, for example, there is an imaging device that reduces the amount of data by performing compression processing on display image data using a compression function that compresses recording image data (see, for example, Patent Document 1). .
また、例えば、表示用の画像データに基づいて量子化テーブルを予め生成しておき、その量子化テーブルを使って連写撮影により得られる複数の画像データに対して、それぞれ、圧縮処理を行うことにより全体の圧縮処理を高速化させる撮像装置がある（例えば、特許文献２参照）
図７は、予め生成しておいた量子化テーブルを使って連写撮影により得られる複数の画像データに対して、それぞれ、圧縮処理を行う撮像装置の動作タイミングチャート及びメモリバス帯域を示す図である。
Also, for example, a quantization table is generated in advance based on display image data, and compression processing is performed on each of a plurality of image data obtained by continuous shooting using the quantization table. There is an imaging device that speeds up the entire compression process (see, for example, Patent Document 2)
FIG. 7 is a diagram showing an operation timing chart and a memory bus band of an imaging apparatus that performs compression processing on a plurality of image data obtained by continuous shooting using a previously generated quantization table. is there.
図７に示す例の撮像装置は、ライブビュー期間、露光調整後の撮影画像データを撮像部から読み出して画像処理を施した後、その画像処理後の画像データを表示ユニットに表示させるという動作を繰り返している。なお、ライブビュー期間において、ａ期間のメモリバス帯域は、「画像処理」及び「表示処理」で処理される画像データに使用され、ｂ期間のメモリバス帯域は、「表示処理」で処理される画像データに使用されている。 The image pickup apparatus shown in FIG. 7 performs an operation of reading the captured image data after exposure adjustment during the live view period and performing image processing, and then displaying the image data after the image processing on the display unit. It is repeating. In the live view period, the memory bus band for the period a is used for image data processed by “image processing” and “display processing”, and the memory bus band for the period b is processed by “display processing”. Used for image data.
また、撮像装置は、連写撮影期間、露光調整後の撮影画像データを撮像部から読み出して画像処理を施した後、その画像処理後の画像データから生成した量子化テーブルに基づいて、画像処理後の画像データに対して圧縮処理を行い記録媒体に記録するという動作を繰り返している。なお、連写撮影期間において、ｃ期間のメモリバス帯域は、「画像処理」及び「表示処理」で処理される画像データに使用され、ｄ期間のメモリバス帯域は、「画像処理」、「表示処理」、及び「圧縮処理」で処理される画像データに使用され、ｅ期間のメモリバス帯域は、「表示処理」及び「圧縮処理」で処理される画像データに使用され、ｆ期間のメモリバス帯域は、「表示処理」及び「記録処理」で処理される画像データに使用されている。 In addition, the imaging apparatus reads the captured image data after the continuous shooting period and the exposure adjustment from the imaging unit, performs image processing, and then performs image processing based on the quantization table generated from the image data after the image processing. The operation of compressing the subsequent image data and recording it on a recording medium is repeated. In the continuous shooting period, the memory bus bandwidth of period c is used for image data processed in “image processing” and “display processing”, and the memory bus bandwidth of period d is “image processing” and “display”. Memory bus bandwidth for period e is used for image data processed in “display processing” and “compression processing”, and is used for image data processed in “processing” and “compression processing”. The band is used for the image data processed in the “display process” and “recording process”.
また、撮像装置は、連写撮影期間において、２枚目以降の画像処理後の画像データに対して、それぞれ、１枚目の画像処理後の画像データの圧縮処理時に生成した量子化テーブルを使って圧縮処理を行っている。 In addition, the imaging apparatus uses a quantization table generated during compression processing of the image data after the first image processing for the image data after the second image processing during the continuous shooting period. Compression processing.
これにより、２枚目以降の画像処理後の画像データの圧縮処理の度に量子化テーブルを新たに生成する必要がないので、その分、連写撮影期間における圧縮処理時間を短縮することができ、連写撮影を高速化させることができる。
しかしながら、上述のように、記録用の画像データの圧縮処理を行う圧縮手段を使って表示用の画像データに対して圧縮処理を行う場合は、表示用の画像データと記録用の画像データに対して同時に圧縮処理を行うことができず、近年の高速な連写撮影において圧縮処理が追従できなくなり、高速な連写撮影ができなくなるおそれがある。 However, as described above, when the compression processing is performed on the display image data using the compression means for compressing the recording image data, the display image data and the recording image data are processed. At the same time, the compression process cannot be performed, and the compression process cannot be followed in the recent high-speed continuous shooting, and there is a possibility that the high-speed continuous shooting cannot be performed.
また、上述のように、予め生成しておいた量子化テーブルを使って連写撮影により得られた複数の画像データに対して、それぞれ圧縮処理を行う場合、連写撮影期間が長くなると、量子化テーブル作成時の画像データと複数枚撮影後の画像データとの時間的な相関性が薄れ、複数枚撮影後の画像データの圧縮量が量子化テーブル生成時の画像データの圧縮量に比べて大きく変動し、図７に示すように、連写開始時から大幅な時間間隔を置いて撮影されるＮ枚目の画像データ圧縮処理期間（ｄ′期間）において、メモリバス帯域が許容範囲（Ｍａｘ帯域）を超えるおそれがある。 Further, as described above, when compression processing is performed on each of a plurality of image data obtained by continuous shooting using a previously generated quantization table, if the continuous shooting period becomes long, The temporal correlation between the image data at the time of creating the quantization table and the image data after shooting multiple images is reduced, and the compression amount of the image data after shooting multiple images is compared with the compression amount of the image data when generating the quantization table As shown in FIG. 7, the memory bus bandwidth is within an allowable range (Max) during the N-th image data compression processing period (d ′ period) taken at a large time interval from the start of continuous shooting. Bandwidth).
そこで、本発明では、高速な連写撮影が可能で、かつ、連写撮影期間においてメモリバス帯域が許容範囲を超えることを抑えることが可能な撮像装置を提供することを目的とする。 Therefore, an object of the present invention is to provide an imaging apparatus that can perform high-speed continuous shooting and can suppress the memory bus band from exceeding an allowable range during the continuous shooting period.
上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の撮像装置は、表示手段と、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力される画像データに対して画像処理を施し出力する画像処理手段と、前記画像処理手段から出力される第１の画像データを表示用の画像データに圧縮して出力する表示圧縮手段と、前記画像処理手段から出力される第２の画像データを記録用の画像データに圧縮して出力する記録圧縮手段と、前記表示圧縮手段及び前記記録圧縮手段からそれぞれ出力される第１及び第２の画像データを記憶する記憶手段と、前記記憶手段から読み出した第１の画像データを伸長して前記表示手段に出力する伸長手段と、前記第１の画像データの圧縮量に基づいて、前記表示圧縮手段において圧縮時に使用される第１の量子化テーブルを生成する第１の量子化テーブル生成手段と、前記第１の量子化テーブル生成手段により生成される第１の量子化テーブルに基づいて、前記記録圧縮手段において圧縮時に使用される第２の量子化テーブルを生成する第２の量子化テーブル生成手段とを備える。
In order to solve the above problems, the present invention adopts the following configuration.
That is, the imaging apparatus of the present invention includes a display unit, an imaging unit that images a subject and outputs image data, an image processing unit that performs image processing on the image data output from the imaging unit, and the output Display compression means for compressing and outputting the first image data output from the image processing means to display image data, and compressing the second image data output from the image processing means to image data for recording Recording and compression means for output, storage means for storing the first and second image data respectively output from the display compression means and the recording compression means, and first image data read from the storage means Based on the decompression means for decompressing and outputting to the display means, and the compression amount of the first image data, a first quantization table used at the time of compression in the display compression means is generated. And a second quantization table used at the time of compression in the recording compression unit based on the first quantization table generated by the first quantization table generation unit and the first quantization table generated by the first quantization table generation unit. 2nd quantization table production | generation means which produces | generates.
また、前記第１の量子化テーブルは、前記第２の量子化テーブルと同じであってもよい。
また、前記第２の量子化テーブル生成手段は、前記画像処理手段から第２の画像データが出力される直前に前記画像処理手段から出力される第１の画像データの圧縮量に基づいて、前記第２の量子化テーブルを生成するように構成してもよい。
Further, the first quantization table may be the same as the second quantization table.
Further, the second quantization table generating means is based on the compression amount of the first image data output from the image processing means immediately before the second image data is output from the image processing means. You may comprise so that a 2nd quantization table may be produced | generated.
また、前記第１の量子化テーブル生成手段は、前記第２の量子化テーブル生成手段において第２の量子化テーブルを生成する際に使用される圧縮率と異なる圧縮率に基づいて、前記第１の量子化テーブルを生成するように構成してもよい。 In addition, the first quantization table generating unit may be configured to select the first quantization table based on a compression rate different from a compression rate used when the second quantization table generating unit generates the second quantization table. The quantization table may be generated.
本発明によれば、撮影機能やライブビュー機能を有する撮像装置において、連写撮影を高速化することができるとともに、連写撮影期間においてメモリバス帯域が許容範囲を超えることを抑えることができる。 According to the present invention, it is possible to speed up continuous shooting in an imaging apparatus having a shooting function and a live view function, and it is possible to suppress the memory bus band from exceeding an allowable range during the continuous shooting period.
以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の撮像装置のハードウェア構成を示す図である。
図１に示す撮像装置は、例えば、デジタルスチルカメラであって、撮像部１と、信号処理部２と、記憶部７と、表示ユニット１１と、記録媒体１２とを備えて構成されている。なお、不図示の操作スイッチがユーザなどに操作されると、撮像装置の全体の動作を制御する制御回路により撮像装置内の各ブロックが初期設定されるものとする。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a hardware configuration of an imaging apparatus according to an embodiment of the present invention.
The imaging apparatus shown in FIG. 1 is a digital still camera, for example, and includes an imaging unit 1, a signal processing unit 2, a storage unit 7, a display unit 11, and a recording medium 12. Note that when an operation switch (not shown) is operated by a user or the like, each block in the imaging apparatus is initially set by a control circuit that controls the overall operation of the imaging apparatus.
上記信号処理部２は、画像処理部３と、記憶制御部４と、表示圧縮部８−１及び記録圧縮伸長部８−２を有する画像データ圧縮部８と、伸長部１０とを備えて構成されている。
図２は、表示圧縮部８−１を示す図である。
The signal processing unit 2 includes an image processing unit 3, a storage control unit 4, an image data compression unit 8 having a display compression unit 8-1 and a recording compression / decompression unit 8-2, and an expansion unit 10. Has been.
FIG. 2 is a diagram illustrating the display compression unit 8-1.
図２に示す表示圧縮部８−１は、圧縮部１０１と、量子化テーブル生成部１０２と、量子化テーブル生成部１０３と、圧縮量検出部１０４とを備えて構成されている。
上記量子化テーブル生成部１０２は、表示テーブル１０２−１（第１の量子化テーブル）と、量子化テーブルに任意倍率を乗算し倍率を変えるスケーリングファクター（以降ＳＦとする）１０２−２と、倍率決定部１０２−３と、表示圧縮用量子化テーブル１０２−４と、乗算器１０２−５とを備えて構成されている。
The display compression unit 8-1 illustrated in FIG. 2 includes a compression unit 101, a quantization table generation unit 102, a quantization table generation unit 103, and a compression amount detection unit 104.
The quantization table generating unit 102 includes a display table 102-1 (first quantization table), a scaling factor (hereinafter referred to as SF) 102-2 for multiplying the quantization table by an arbitrary magnification and changing the magnification, and a magnification. The decision unit 102-3, a display compression quantization table 102-4, and a multiplier 102-5 are provided.
上記量子化テーブル生成部１０３は、記録テーブル１０３−１と、ＳＦ１０３−２と、記録圧縮用量子化テーブル１０３−３（第２の量子化テーブル）と、乗算器１０３−４とを備えて構成されている。 The quantization table generation unit 103 includes a recording table 103-1, an SF 103-2, a recording compression quantization table 103-3 (second quantization table), and a multiplier 103-4. Has been.
なお、表示テーブル１０２−１、表示圧縮用量子化テーブル１０２−４、記録テーブル１０３−１、及び記録圧縮用量子化テーブル１０３−３は、それぞれ、８×８配列からなるテーブルであり、撮像装置の電源投入時に撮像装置の全体の動作を制御する制御回路により初期設定がされるものとする。 Note that each of the display table 102-1, the display compression quantization table 102-4, the recording table 103-1, and the recording compression quantization table 103-3 is a table having an 8 × 8 array, and is an imaging device. It is assumed that initialization is performed by a control circuit that controls the overall operation of the imaging apparatus when the power is turned on.
図３Ａは、圧縮部１０１を示す図である。
図３Ａに示す圧縮部１０１は、ＤＣＴ変換部１０１−１と、量子化部１０１−２と、ハフマン符号化部１０１−３とを備えて構成されている。
FIG. 3A is a diagram illustrating the compression unit 101.
The compression unit 101 illustrated in FIG. 3A includes a DCT conversion unit 101-1, a quantization unit 101-2, and a Huffman coding unit 101-3.
図３Ｂは、記録圧縮伸長部８−２を示す図である。なお、図２または図３Ａに示す構成と同じ構成には同じ符号を付している。
図３Ｂに示す記録圧縮伸長部８−２は、ＤＣＴ変換部１０１−１と、量子化部１０１−２と、ハフマン符号化部１０１−３と、伸長部８−３とを備えて構成されている。
FIG. 3B is a diagram illustrating the recording compression / expansion unit 8-2. In addition, the same code | symbol is attached | subjected to the same structure as the structure shown to FIG. 2 or FIG. 3A.
The recording compression / expansion unit 8-2 illustrated in FIG. 3B includes a DCT conversion unit 101-1, a quantization unit 101-2, a Huffman encoding unit 101-3, and an expansion unit 8-3. Yes.
上記撮像部１は、ＣＭＯＳイメージャなどの撮像素子が内蔵されており、その撮像素子に結像した被写体の画像を各画素毎に電気信号に変換し、例えばベイヤー配列の画像データを生成する。また、不図示のシャッタボタンが押されていない場合、撮像部１は、表示ユニット１１に表示可能な解像度を保ちながら画素を間引きするように表示用の画像データを生成する。一方、不図示のシャッタボタンが押されると、撮像部１は、予め設定された連写撮影枚数分の画像データを全解像度で生成するとともに、連写撮影の合間に画素を間引きした表示用の画像データを生成する。本実施形態では、連写撮影の合間に表示用の画像データを３枚連続して生成するものとする。 The image pickup unit 1 includes an image pickup device such as a CMOS imager, and converts an image of a subject formed on the image pickup device into an electric signal for each pixel to generate, for example, Bayer array image data. When a shutter button (not shown) is not pressed, the imaging unit 1 generates display image data so that pixels are thinned while maintaining a resolution that can be displayed on the display unit 11. On the other hand, when a shutter button (not shown) is pressed, the imaging unit 1 generates image data for a preset number of continuous shots at all resolutions, and displays for thinning out pixels between continuous shots. Generate image data. In the present embodiment, it is assumed that three image data for display are generated continuously between continuous shooting.
上記信号処理部２は、撮像部１で生成される表示用の画像データ及び記録用の画像データに対して、それぞれ、前処理としてホワイトバランス、ニー補正、画素欠陥補正、及びシェーディング補正などの画像処理を施した後、記憶制御部４を介して一旦記憶部７に記憶する。なお、記憶部７は、例えば、ＳＤＲＡＭなどのメモリデバイスとする。また、信号処理部２は、一旦記憶部７に記憶した表示用の画像データ及び記録用の画像データを読み出し、それら画像データに対して、それぞれ、後処理としてＹＣ生成、色補正、階調補正、及び解像度変換などの画像処理を施し、画像処理後の表示用の画像データとして第１の画像データを出力するとともに、画像処理後の記録用の画像データとして第２の画像データを出力する。 The signal processing unit 2 performs image processing such as white balance, knee correction, pixel defect correction, and shading correction as preprocessing for display image data and recording image data generated by the imaging unit 1, respectively. After processing, the data is temporarily stored in the storage unit 7 via the storage control unit 4. The storage unit 7 is, for example, a memory device such as an SDRAM. Further, the signal processing unit 2 reads the display image data and the recording image data once stored in the storage unit 7, and YC generation, color correction, and gradation correction are performed as post-processing on the image data, respectively. In addition, image processing such as resolution conversion is performed, first image data is output as display image data after image processing, and second image data is output as recording image data after image processing.
上記画像データ圧縮部８は、信号処理部２から出力される第１及び第２の画像データに対して、それぞれ、ＪＰＥＧ圧縮処理を行った後、記憶制御部４を介して一旦記憶部７に記憶する。 The image data compression unit 8 performs JPEG compression processing on the first and second image data output from the signal processing unit 2, and then temporarily stores them in the storage unit 7 via the storage control unit 4. Remember.
上記圧縮部１０１は、信号処理部２から出力される第１の画像データに対して、ＤＣＴ変換部１０１−１においてＤＣＴ演算を行い時間領域から周波数領域に変換した後、量子化部１０１−２において量子化テーブル生成部１０２で生成される表示圧縮用量子化テーブル１０２−４を使用して量子化処理を行い、さらに、ハフマン符号化部１０１−３において発生頻度に基づくハフマン符号化を行う。 The compression unit 101 performs DCT operation on the first image data output from the signal processing unit 2 in the DCT conversion unit 101-1, converts the time domain into the frequency domain, and then the quantization unit 101-2. , Quantization processing is performed using the display compression quantization table 102-4 generated by the quantization table generation unit 102, and further, Huffman encoding based on the occurrence frequency is performed by the Huffman encoding unit 101-3.
上記圧縮量検出部１０４は、圧縮部１０１で圧縮された第１の画像データ毎に圧縮量を検出し、その検出した圧縮量を倍率決定部１０２−３に出力する。
上記倍率決定部１０２−３は、圧縮量検出部１０４から出力される圧縮量が適正範囲内であるか否かを判断し、圧縮量が適正範囲内であると判断した場合、ＳＦ１０２−２に圧縮のための倍率の選択指示を行うための指示信号を出力する。
The compression amount detection unit 104 detects the compression amount for each first image data compressed by the compression unit 101, and outputs the detected compression amount to the magnification determination unit 102-3.
The magnification determination unit 102-3 determines whether or not the compression amount output from the compression amount detection unit 104 is within an appropriate range, and if it is determined that the compression amount is within the appropriate range, the processing proceeds to SF 102-2. An instruction signal for instructing selection of a magnification for compression is output.
上記ＳＦ１０２−２は、ＳＦ１０２−２から出力される指示信号に対応する倍率を予め設定される複数の倍率の中から選択し、その選択した倍率を乗算器１０２−５に出力する。 The SF 102-2 selects a magnification corresponding to the instruction signal output from the SF 102-2 from a plurality of preset magnifications, and outputs the selected magnification to the multiplier 102-5.
上記乗算器１０２−５は、ＳＦ１０２−２から出力される倍率で、表示テーブル１０２−１の各パラメータに対して乗算を行い、表示用量子化テーブル１０２−４及び記録テーブル１０３−１を生成する。この表示用量子化テーブル１０２−４は、次の表示用量子化テーブル１０２−４を生成する際に使用される表示テーブル１０２−１として更新される。 The multiplier 102-5 multiplies each parameter of the display table 102-1 with the magnification output from the SF 102-2, and generates a display quantization table 102-4 and a recording table 103-1. . The display quantization table 102-4 is updated as the display table 102-1 used when the next display quantization table 102-4 is generated.
上記記録圧縮伸長部８−２の乗算器１０３−４は、ＳＦ１０３−２から出力される所定の倍率で、量子化テーブル生成部１０２から出力される記録テーブル１０３−１の各パラメータに対して乗算を行うことにより記録圧縮用量子化テーブル１０３−３を生成し、記録圧縮伸長部８−２に出力する。なお、ＳＦ１０３−２から出力される倍率は、ＳＦ１０２−２から出力される倍率と同じであっても、異なっていてもよい。 The multiplier 103-4 of the recording compression / expansion unit 8-2 multiplies each parameter of the recording table 103-1 output from the quantization table generation unit 102 by a predetermined magnification output from the SF 103-2. To generate a recording / compression quantization table 103-3 and output it to the recording / compression decompression unit 8-2. Note that the magnification output from the SF 103-2 may be the same as or different from the magnification output from the SF 102-2.
上記記録圧縮伸長部８−２は、画像処理部３から出力される第２の画像データに対して、表示圧縮部８−１と同様に、ＪＰＥＧ圧縮処理を行った後、記憶制御部４を介して一旦記憶部７に記憶する。この圧縮処理では、表示圧縮部８−１で生成される記録圧縮用量子化テーブル１０３−３が使用される。また、記録圧縮伸長部８−２は、一旦記憶部７に記憶した第２の画像データを記憶制御部４を介して読み出し記録媒体１２に記録する。また、記録圧縮伸長部８−２は、伸長部８−３において、記憶部７から読み出した第２の画像データに対して、伸長処理を行う。この伸長処理は、ＪＰＥＧ圧縮処理と逆の処理、すなわち、第２の画像データに対して、ハフマン復号、逆量子化、逆ＤＣＴ変換を順に行う。このとき、記録媒体１２に記録されている第２の画像データは、記憶制御部４を介して一旦記憶部７に記憶された後、記録圧縮伸長部８−２により記憶部７から記憶制御部４を介して読み込まれ伸長処理が施される。 The recording compression / decompression unit 8-2 performs JPEG compression processing on the second image data output from the image processing unit 3 in the same manner as the display compression unit 8-1, and then stores the storage control unit 4 in the same manner. Temporarily stored in the storage unit 7. In this compression processing, the recording compression quantization table 103-3 generated by the display compression unit 8-1 is used. The recording / compression / decompression unit 8-2 reads the second image data temporarily stored in the storage unit 7 through the storage control unit 4 and records it on the recording medium 12. The recording / compression / decompression unit 8-2 performs decompression processing on the second image data read from the storage unit 7 in the decompression unit 8-3. This decompression process is the reverse of the JPEG compression process, that is, Huffman decoding, inverse quantization, and inverse DCT conversion are sequentially performed on the second image data. At this time, the second image data recorded on the recording medium 12 is temporarily stored in the storage unit 7 via the storage control unit 4 and then stored in the storage control unit 8-2 by the recording compression / expansion unit 8-2. 4 is read and decompressed.
上記伸長部１０は、表示圧縮部８−１で圧縮処理が行われ、一旦記憶部７に記憶された第１の画像データを記憶制御部４を介して読み出してＪＰＥＧ伸長処理を行う。この伸長処理が施された第１の画像データは、表示ユニット１１に出力され表示される。 The decompression unit 10 is subjected to compression processing by the display compression unit 8-1, and reads the first image data temporarily stored in the storage unit 7 through the storage control unit 4 to perform JPEG decompression processing. The first image data subjected to the decompression process is output to the display unit 11 and displayed.
次に、本実施形態の撮像装置の動作を説明する。
まず、撮像部１から出力される画像データが画像処理部３において画像処理が施された後、その画像処理後の画像データに対して、表示圧縮部８−１と記録圧縮伸長部８−２とにより並列に圧縮処理が行われる。
Next, the operation of the imaging apparatus according to the present embodiment will be described.
First, image data output from the imaging unit 1 is subjected to image processing in the image processing unit 3, and then the display compression unit 8-1 and recording compression / expansion unit 8-2 are performed on the image data after the image processing. The compression process is performed in parallel.
次に、表示圧縮部８−１は、画像データ毎に検出した圧縮量に基づいて表示テーブル１０２−１を更新し、その表示テーブル１０２−１に基づいて表示圧縮用量子化テーブル１０２−４を生成し、その表示圧縮用量子化テーブル１０２−４に基づいて画像データ毎に圧縮処理を行う。また、表示圧縮部８−１では、生成した表示テーブル１０２−１に基づいて記録圧縮用量子化テーブル１０３−３を生成する。記録圧縮伸長部８−２は、表示圧縮部８−１で生成された記録圧縮用量子化テーブル１０３−３を使って画像データに対して圧縮処理を行う。なお、記録圧縮用量子化テーブル１０３−３は、表示圧縮用量子化テーブル１０３−４と同じであってもよい。 Next, the display compression unit 8-1 updates the display table 102-1 based on the compression amount detected for each image data, and displays the display compression quantization table 102-4 based on the display table 102-1. Based on the display compression quantization table 102-4, compression processing is performed for each image data. Further, the display compression unit 8-1 generates the recording compression quantization table 103-3 based on the generated display table 102-1. The recording compression / decompression unit 8-2 performs compression processing on the image data using the recording compression quantization table 103-3 generated by the display compression unit 8-1. The recording / compression quantization table 103-3 may be the same as the display / compression quantization table 103-4.
そして、表示圧縮部８−１において圧縮処理が行われた画像データ及び記録圧縮伸長部８−２において圧縮処理が行われた画像データは、それぞれ、記憶制御部４を介して一旦記憶部７に記憶される。その後、記憶部７から表示用の画像データと記録用の画像データが読み出され、表示用の画像データは、伸長部１０において伸長処理された後、表示ユニット１１に伝送され、記録用の画像データは、記録媒体１２に伝送される。 The image data subjected to the compression process in the display compression unit 8-1 and the image data subjected to the compression process in the recording compression / decompression unit 8-2 are temporarily stored in the storage unit 7 via the storage control unit 4, respectively. Remembered. Thereafter, display image data and recording image data are read from the storage unit 7, and the display image data is decompressed in the decompression unit 10, and then transmitted to the display unit 11 to be recorded. Data is transmitted to the recording medium 12.
図４は、表示圧縮部８−１の動作を説明するためのフローチャートである。また、図５は、フレーム数と圧縮量との関係を示す図である。
まず、表示圧縮部８−１は、動作を開始すると（ステップＳ１００）、撮像装置の全体の動作を制御する制御部から送られてくる初期値を設定する（ステップＳ１０１）。
FIG. 4 is a flowchart for explaining the operation of the display compression unit 8-1. FIG. 5 is a diagram showing the relationship between the number of frames and the compression amount.
First, when the operation starts (step S100), the display compression unit 8-1 sets an initial value sent from a control unit that controls the overall operation of the imaging apparatus (step S101).
次に、表示圧縮部８−１は、画像処理部３から出力される第１の画像データを入力すると（ステップＳ１０２）、圧縮部１０１において、第１の画像データに対して、圧縮処理を行う（ステップＳ１０３）。 Next, when the display compression unit 8-1 receives the first image data output from the image processing unit 3 (step S102), the compression unit 101 performs compression processing on the first image data. (Step S103).
次に、表示圧縮部８−１は、圧縮処理が終了したか否かを判断し（ステップＳ１０４）、圧縮処理が終了したと判断した場合（ステップＳ１０４がＹｅｓ）、圧縮量検出部１０４において圧縮量を検出する（ステップＳ１０５）。 Next, the display compression unit 8-1 determines whether or not the compression process has ended (step S104). If the display compression unit 8-1 determines that the compression process has ended (step S104 is Yes), the compression amount detection unit 104 performs compression. The amount is detected (step S105).
次に、表示圧縮部８−１は、検出した圧縮量が、図５に示す適正範囲内であるか否かを判断する（ステップＳ１０６）。
検出した圧縮量が適正範囲内であると判断した場合（ステップＳ１０６がＹｅｓ）、表示圧縮部８−１は、ステップＳ１０２に戻り、画像処理部３から出力される次の第１の画像データに対して、ステップＳ１０３〜Ｓ１０６の動作を行う。
Next, the display compression unit 8-1 determines whether or not the detected compression amount is within an appropriate range shown in FIG. 5 (step S106).
If it is determined that the detected compression amount is within the appropriate range (Yes in step S106), the display compression unit 8-1 returns to step S102, and the next first image data output from the image processing unit 3 is displayed. On the other hand, the operations in steps S103 to S106 are performed.
一方、検出した圧縮量が適正範囲内でないと判断した場合（ステップＳ１０６がＮｏ）、表示圧縮部８−１は、検出した圧縮量が、図５に示す適正範囲最大値Ｓよりも大きいか否かを判断する（ステップＳ１０７）。 On the other hand, if it is determined that the detected compression amount is not within the appropriate range (No in step S106), the display compression unit 8-1 determines whether or not the detected compression amount is larger than the appropriate range maximum value S shown in FIG. Is determined (step S107).
検出した圧縮量が適正範囲最大値Ｓよりも大きいと判断した場合（ステップＳ１０７がＹｅｓ）、表示圧縮部８−１は、検出した圧縮量が、図５に示す適正最大値Ｘよりも大きいか否かを判断する（ステップＳ１０８）。 If it is determined that the detected compression amount is larger than the appropriate range maximum value S (Yes in step S107), the display compression unit 8-1 determines whether the detected compression amount is larger than the appropriate maximum value X shown in FIG. It is determined whether or not (step S108).
検出した圧縮量が適正最大値Ｘよりも大きいと判断した場合（ステップＳ１０８がＹｅｓ）、表示圧縮部８−１は、図５に示すように、表示テーブル１０２−１内の各パラメータが１／Ｍ倍になるように、ＳＦ１０２−２の倍率を変更して（ステップＳ１１０）、表示テーブル１０２−１を更新した後（ステップＳ１１４）、ステップＳ１０３に戻り、前回圧縮処理を行った第１の画像データに対して、再度、ステップＳ１０３〜Ｓ１０６の動作を行う。 When it is determined that the detected compression amount is larger than the appropriate maximum value X (Yes in step S108), the display compression unit 8-1 determines that each parameter in the display table 102-1 is 1 /, as shown in FIG. The magnification of SF 102-2 is changed so as to be M times (step S110), the display table 102-1 is updated (step S114), the process returns to step S103, and the first image subjected to the previous compression process The operations in steps S103 to S106 are performed again on the data.
一方、検出した圧縮量が適正最大値Ｘよりも大きくないと判断した場合（ステップＳ１０８がＮｏ）、表示圧縮部８−１は、表示テーブル１０２−１内の各パラメータが１／ｎ倍になるように、ＳＦ１０２−２の倍率を変更して（ステップＳ１１１）、表示テーブル１０２−１を更新した後（ステップＳ１１４）、ステップＳ１０３に戻り、前回圧縮処理を行った第１の画像データに対して、再度、ステップＳ１０３〜Ｓ１０６の動作を行う。 On the other hand, when it is determined that the detected compression amount is not greater than the appropriate maximum value X (No in step S108), the display compression unit 8-1 increases each parameter in the display table 102-1 by 1 / n times. As described above, after changing the magnification of SF 102-2 (step S111) and updating the display table 102-1 (step S114), the process returns to step S103, and the first image data subjected to the previous compression process is processed. Then, the operations of steps S103 to S106 are performed again.
また、検出した圧縮量が適正範囲最大値Ｓよりも大きくないと判断した場合（ステップＳ１０７がＮｏ）、表示圧縮部８−１は、検出した圧縮量が適正最小値ｘよりも小さいか否かを判断する（ステップＳ１０９）。 When it is determined that the detected compression amount is not larger than the appropriate range maximum value S (No in step S107), the display compression unit 8-1 determines whether the detected compression amount is smaller than the appropriate minimum value x. Is determined (step S109).
検出した圧縮量が適正最小値ｘよりも小さいと判断した場合（ステップＳ１０９がＹｅｓ）、表示圧縮部８−１は、表示テーブル１０２−１内の各パラメータがＭ倍になるように、ＳＦ１０２−２の倍率を変更して（ステップＳ１１２）、表示テーブル１０２−１を更新した後（ステップＳ１１４）、ステップＳ１０３に戻り、前回圧縮処理を行った第１の画像データに対して、再度、ステップＳ１０３〜Ｓ１０６の動作を行う。 When it is determined that the detected compression amount is smaller than the appropriate minimum value x (Yes in step S109), the display compression unit 8-1 sets SF102- so that each parameter in the display table 102-1 is M times. 2 is changed (step S112), the display table 102-1 is updated (step S114), the process returns to step S103, and step S103 is again performed on the first image data subjected to the previous compression process. The operation of ~ S106 is performed.
一方、検出した圧縮量が適正最小値ｘよりも小さくないと判断した場合（ステップＳがＮｏ）、表示圧縮部８−１は、表示テーブル１０２−１内の各パラメータがｍ倍になるように、ＳＦ１０２−２の倍率を変更して（ステップＳ１１３）、表示テーブル１０２−１を更新した後（ステップＳ１１４）、ステップＳ１０３に戻り、前回圧縮処理を行った第１の画像データに対して、再度、ステップＳ１０３〜Ｓ１０６の動作を行う。 On the other hand, when it is determined that the detected compression amount is not smaller than the appropriate minimum value x (No in step S), the display compression unit 8-1 increases each parameter in the display table 102-1 by m times. After changing the magnification of SF 102-2 (step S113) and updating the display table 102-1 (step S114), the process returns to step S103, and the first image data subjected to the previous compression process is again applied. Then, the operations in steps S103 to S106 are performed.
このように、本実施形態の撮像装置では、記録圧縮伸長部８−２の他に表示圧縮部８−１をさらに備え、その表示圧縮部８−１において、画像処理部３から第１の画像データが出力される度に、その第１の画像データの圧縮処理時の圧縮量が適正範囲になるように表示テーブル１０２−１を更新し、その表示テーブル１０２−１に基づいて記録圧縮用量子化テーブル１０３−３を生成しているので、圧縮処理後の第２の画像データのデータ量を常に最適にすることができる。これにより、画像処理部３から第２の画像データが出力される度に、その第２の画像データの圧縮処理時に使用される量子化テーブルを最適に更新する必要がないため、その分、連写撮影期間における圧縮処理時間を短縮することができ、連写撮影を高速化させることができる。 As described above, the imaging apparatus according to the present embodiment further includes the display compression unit 8-1 in addition to the recording compression / expansion unit 8-2. In the display compression unit 8-1, the first image is output from the image processing unit 3. Each time data is output, the display table 102-1 is updated so that the compression amount at the time of compression processing of the first image data falls within an appropriate range, and the recording compression quantum is updated based on the display table 102-1. Since the conversion table 103-3 is generated, the data amount of the second image data after the compression process can always be optimized. As a result, every time the second image data is output from the image processing unit 3, it is not necessary to optimally update the quantization table used in the compression processing of the second image data. The compression processing time in the shooting period can be shortened, and continuous shooting can be speeded up.
また、本実施形態の撮像装置では、表示圧縮部８−１において、第２の画像データが画像処理部３から出力される直前に画像処理部３から出力される第１の画像データの圧縮量に基づいて表示テーブル１０２−１を生成し、その表示テーブル１０２−１に基づいて記録圧縮用量子化テーブル１０３−３を生成しているので、連写撮影期間が長くなっても、記録圧縮用量子化テーブル１０３−３を最適に保つことができる。これにより、一度生成した量子化テーブルを全ての画像データの圧縮処理に使用する場合に比べて、連写開始時から大幅な時間間隔を置いて撮影されるＮ枚目の画像データに対して量子化テーブルが最適なものでなくなり、第２の画像データの圧縮量が大きく変動することがないので、図６に示す本実施形態の撮像装置におけるメモリバス帯域のように、連写撮影期間のｄ′期間（「画像処理」、「表示処理」、及び「圧縮処理」）など処理が集中する期間においてメモリバス帯域が適正範囲を超えることを抑えることができる。 In the imaging apparatus of the present embodiment, the compression amount of the first image data output from the image processing unit 3 immediately before the second image data is output from the image processing unit 3 in the display compression unit 8-1. The display table 102-1 is generated on the basis of the recording table, and the recording / compression quantization table 103-3 is generated on the basis of the display table 102-1. The quantization table 103-3 can be kept optimal. As a result, compared to the case where the quantization table once generated is used for compression processing of all image data, it is possible to quantize the Nth image data captured at a large time interval from the start of continuous shooting. Since the compression table is not optimal and the amount of compression of the second image data does not fluctuate greatly, d in the continuous shooting period is as in the memory bus band in the imaging apparatus of this embodiment shown in FIG. It is possible to prevent the memory bus band from exceeding the appropriate range in a period in which processing is concentrated, such as a period (“image processing”, “display processing”, and “compression processing”).
１ 撮像部
２ 信号処理部
３ 画像処理部
４ 記憶制御部
７ 記憶部
８ 圧縮部
８−１ 表示圧縮部
８−２ 記録圧縮伸長部
８−３ 伸長部
１０ 伸長部
１１ 表示ユニット
１２ 記録媒体
１０１ 圧縮部
１０１−１ ＤＣＴ変換部
１０１−２ 量子化部
１０１−３ ハフマン符号化部
１０２ 量子化テーブル生成部
１０２−１ 表示テーブル
１０２−２ ＳＦ
１０２−３ 倍率決定部
１０２−４ 表示圧縮用量子化テーブル
１０２−５ 乗算器
１０３ 量子化テーブル生成部
１０３−１ 記録テーブル
１０３−２ ＳＦ
１０３−３ 記録圧縮用量子化テーブル
１０３−４ 乗算器
１０４ 圧縮量検出部
DESCRIPTION OF SYMBOLS 1 Imaging part 2 Signal processing part 3 Image processing part 4 Storage control part 7 Storage part 8 Compression part 8-1 Display compression part 8-2 Recording compression expansion part 8-3 Expansion part 10 Expansion part 11 Display unit 12 Recording medium 101 Compression Unit 101-1 DCT transform unit 101-2 quantization unit 101-3 Huffman coding unit 102 quantization table generation unit 102-1 display table 102-2 SF
102-3 magnification determination unit 102-4 display compression quantization table 102-5 multiplier 103 quantization table generation unit 103-1 recording table 103-2 SF
103-3 Recording compression quantization table 103-4 Multiplier 104 Compression amount detection unit
Claims (4)
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力される画像データに対して画像処理を施し出力する画像処理手段と、
前記画像処理手段から出力される第１の画像データを表示用の画像データに圧縮して出力する表示圧縮手段と、
前記画像処理手段から出力される第２の画像データを記録用の画像データに圧縮して出力する記録圧縮手段と、
前記表示圧縮手段及び前記記録圧縮手段からそれぞれ出力される第１及び第２の画像データを記憶する記憶手段と、
前記記憶手段から読み出した第１の画像データを伸長して前記表示手段に出力する伸長手段と、
前記第１の画像データの圧縮量に基づいて、前記表示圧縮手段において圧縮時に使用される第１の量子化テーブルを生成する第１の量子化テーブル生成手段と、
前記第１の量子化テーブル生成手段により生成される第１の量子化テーブルに基づいて、前記記録圧縮手段において圧縮時に使用される第２の量子化テーブルを生成する第２の量子化テーブル生成手段と、
を備えることを特徴とする撮像装置。 Display means;
Imaging means for imaging a subject and outputting image data;
Image processing means for performing image processing on the image data output from the imaging means and outputting;
Display compression means for compressing and outputting the first image data output from the image processing means to display image data;
Recording compression means for compressing and outputting the second image data output from the image processing means into image data for recording;
Storage means for storing first and second image data respectively output from the display compression means and the recording compression means;
Decompression means for decompressing the first image data read from the storage means and outputting it to the display means;
First quantization table generating means for generating a first quantization table used at the time of compression in the display compression means based on the compression amount of the first image data;
Based on the first quantization table generated by the first quantization table generating means, second quantization table generating means for generating a second quantization table used at the time of compression in the recording compression means. When,
An imaging apparatus comprising:
前記第１の量子化テーブルは、前記第２の量子化テーブルと同じである、
ことを特徴とする撮像装置。 The imaging apparatus according to claim 1,
The first quantization table is the same as the second quantization table.
An imaging apparatus characterized by that.
前記第２の量子化テーブル生成手段は、前記画像処理手段から第２の画像データが出力される直前に前記画像処理手段から出力される第１の画像データの圧縮量に基づいて、前記第２の量子化テーブルを生成する、
ことを特徴とする撮像装置。 The imaging apparatus according to claim 1 or 2,
The second quantization table generating unit is configured to generate the second quantization table based on a compression amount of the first image data output from the image processing unit immediately before the second image data is output from the image processing unit. Generate a quantization table for
An imaging apparatus characterized by that.
前記第１の量子化テーブル生成手段は、前記第２の量子化テーブル生成手段において第２の量子化テーブルを生成する際に使用される圧縮率と異なる圧縮率に基づいて、前記第１の量子化テーブルを生成する、
ことを特徴とする撮像装置。 The imaging apparatus according to any one of claims 1 to 3,
The first quantization table generating unit is configured to generate the first quantum table based on a compression rate different from a compression rate used when the second quantization table generating unit generates the second quantization table. Generate a conversion table,
An imaging apparatus characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007335104A JP2009159303A (en) | 2007-12-26 | 2007-12-26 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007335104A JP2009159303A (en) | 2007-12-26 | 2007-12-26 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009159303A true JP2009159303A (en) | 2009-07-16 |
Family
ID=40962818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007335104A Withdrawn JP2009159303A (en) | 2007-12-26 | 2007-12-26 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009159303A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012059115A (en) * | 2010-09-10 | 2012-03-22 | Fujitsu Ltd | Image data processor and image data processing method |
| JP2012114692A (en) * | 2010-11-25 | 2012-06-14 | Casio Comput Co Ltd | Imaging device, imaging control method, and program |
| JP2014099780A (en) * | 2012-11-15 | 2014-05-29 | Jvc Kenwood Corp | Image signal encoder, image signal encoding method, image signal decoder, and image signal decoding method |
-
2007
- 2007-12-26 JP JP2007335104A patent/JP2009159303A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012059115A (en) * | 2010-09-10 | 2012-03-22 | Fujitsu Ltd | Image data processor and image data processing method |
| US8823831B2 (en) | 2010-09-10 | 2014-09-02 | Fujitsu Limited | Image data processing apparatus and method |
| JP2012114692A (en) * | 2010-11-25 | 2012-06-14 | Casio Comput Co Ltd | Imaging device, imaging control method, and program |
| US8466986B2 (en) | 2010-11-25 | 2013-06-18 | Casio Computer Co., Ltd. | Image capturing apparatus, image capturing control method, and storage medium storing program for image capturing |
| JP2014099780A (en) * | 2012-11-15 | 2014-05-29 | Jvc Kenwood Corp | Image signal encoder, image signal encoding method, image signal decoder, and image signal decoding method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10082723B2 (en) | Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics | |
| JP4682102B2 (en) | Image coding apparatus and image coding method | |
| KR20070012668A (en) | Image processing device | |
| KR100902419B1 (en) | Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method | |
| JP2011119868A (en) | Image processing apparatus, and image processing method | |
| US20170280066A1 (en) | Image processing method by image processing apparatus | |
| JP4561649B2 (en) | Image compression apparatus, image compression program and image compression method, HDR image generation apparatus, HDR image generation program and HDR image generation method, image processing system, image processing program and image processing method | |
| JP2009159303A (en) | Imaging apparatus | |
| JP2007124542A (en) | Imaging apparatus, and control method, program and recording medium thereof | |
| US10375348B2 (en) | Image capturing apparatus operable to store captured image data in image memory, method of controlling same, and storage medium | |
| US10397587B2 (en) | Image processing apparatus and control method thereof | |
| JP4244218B2 (en) | Imaging signal processing circuit and camera system | |
| JP2015162851A (en) | imaging device, imaging method, and program | |
| KR100827680B1 (en) | Method and device for transmitting thumbnail data | |
| JP2018074523A (en) | Imaging device, control method thereof, program, and recording medium | |
| JP4816129B2 (en) | Image processing apparatus and imaging apparatus | |
| JP2011041144A (en) | Apparatus and program for processing image | |
| JP4987800B2 (en) | Imaging device | |
| JP7289642B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM | |
| KR100602705B1 (en) | Apparatus for processing video signal in handset with camera function and method thereof | |
| US20220247886A1 (en) | Encoding apparatus, encoding method, and storage medium | |
| KR100974685B1 (en) | Hand quake correction method for camera of mobile communication terminal | |
| JP2011023928A (en) | Imaging apparatus, image processing apparatus and image processing method | |
| KR100902421B1 (en) | Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method | |
| JP4701065B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090806 |
|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110301 |