JP2009284269A - Image processor, imaging apparatus, image processing method, and program - Google Patents
Image processor, imaging apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2009284269A JP2009284269A JP2008134820A JP2008134820A JP2009284269A JP 2009284269 A JP2009284269 A JP 2009284269A JP 2008134820 A JP2008134820 A JP 2008134820A JP 2008134820 A JP2008134820 A JP 2008134820A JP 2009284269 A JP2009284269 A JP 2009284269A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- compression
- image
- compression rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title abstract description 5
- 238000007906 compression Methods 0.000 claims abstract description 202
- 230000006835 compression Effects 0.000 claims abstract description 202
- 239000002131 composite material Substances 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000013144 data compression Methods 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 abstract description 8
- 230000002093 peripheral effect Effects 0.000 abstract description 7
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 230000002194 synthesizing effect Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Abstract
Description
本発明は、撮影条件の異なる複数の画像を合成し圧縮する画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。 The present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program that synthesize and compress a plurality of images having different shooting conditions.
逆光のシーンや明暗の輝度差が大きいシーンを撮影する際には、被写体の照度に露光時間を合わせた標準画像だけでは白潰れや黒潰れが生じる。 When shooting a backlit scene or a scene with a large brightness difference between light and dark, white and black are generated only with a standard image in which the exposure time is matched to the illuminance of the subject.
そこで、露光時間の異なる非標準画像を複数枚撮影し、標準画像で明るすぎる領域や暗すぎる領域を非標準画像に合成ゲインをかけた画像に置き換えることによってダイナミックレンジの拡大を行い、出力ビットに合わせて圧縮が行われる。 Therefore, multiple non-standard images with different exposure times are taken, and the dynamic range is expanded by replacing areas that are too bright or too dark in the standard image with non-standard images multiplied by the composite gain. Compression is performed together.
たとえば、ワイドダイナミックレンジ（ＷＤ）と呼ばれる処理では、複数回露光によってダイナミックレンジ（ＤＲ）の広い画像を取得して、複数画像の合成とダイナミックレンジ（ＤＲ）の圧縮が行われる。 For example, in a process called wide dynamic range (WD), an image having a wide dynamic range (DR) is acquired by multiple exposures, and a plurality of images are combined and the dynamic range (DR) is compressed.
複数枚の画像の撮影を行い、ダイナミックレンジを拡大した画像を合成する方法は種々提案されている（たとえば特許文献１，２，３参照） Various methods have been proposed for taking a plurality of images and synthesizing images with an expanded dynamic range (see, for example, Patent Documents 1, 2, and 3).
特許文献１には、露光条件を変えた複数枚の撮影画像から撮影に使うイメージセンサのダイナミックレンジを拡大する写真フィルムプレーヤが提案されている。
この写真フィルムプレーヤにおいては、１組の撮像素子に対して露光量が異なるように複数回の露光を行い、その操作によって得た画像を合成し、広ダイナミックレンジ画像を得ている。
Patent Document 1 proposes a photographic film player that expands the dynamic range of an image sensor used for photographing from a plurality of photographed images with different exposure conditions.
In this photographic film player, a set of image sensors is exposed multiple times so that the exposure amounts are different, and images obtained by the operations are combined to obtain a wide dynamic range image.
特許文献２には、所定の露光時間に対応する単位画像データ群を読み出して合成し、合成画像を生成する撮像装置が提案されている。 Patent Document 2 proposes an imaging apparatus that reads and combines unit image data groups corresponding to a predetermined exposure time to generate a combined image.
特許文献３には、異なる露光感度条件で複数枚の画像を撮影させ、撮像された複数枚の画像データを一時的にＤＲＡＭに格納し、複数枚の画像データの中から適正な明るさの一枚の画像データを選択するカメラ装置が提案されている。 In Patent Document 3, a plurality of images are photographed under different exposure sensitivity conditions, a plurality of captured image data are temporarily stored in a DRAM, and an appropriate brightness is selected from the plurality of image data. There has been proposed a camera device that selects one piece of image data.
非特許文献１には、露光時間が長くて暗部まで諧調があるが画像のブレが大きい画像と、露光時間が短く画像のブレが少ないが露光不足で暗部がつぶれた画像を組み合わせて最適な画像を合成する技術が提案されている。
ところで、撮像素子（センサ）の出力の生（ＲＡＷ）画像データをダイナミックレンジ圧縮する時、階調再現性を良くするため非線形変換を行う。 By the way, when the raw (RAW) image data output from the image sensor (sensor) is subjected to dynamic range compression, nonlinear conversion is performed to improve gradation reproducibility.
通常、センサには画素ごとに異なるカラーフィルタが付けられているため、出力されるＲＡＷデータは同じ色を撮影していても画素ごとにことなる信号レベルになっている。
このとき、ＲＡＷ画像データの値そのままを画素単位で非線形変換を行うと画素ごとに信号レベルが異なるので当然圧縮率もまちまちになる。
その結果、画素ごとの信号レベルのバランスが崩れて、結果として色相が変わるという不利益があった。
Normally, since a sensor is provided with a different color filter for each pixel, the output RAW data has a different signal level for each pixel even when the same color is captured.
At this time, if nonlinear conversion is performed on the raw image data as it is in units of pixels, the signal level varies from pixel to pixel, and the compression rate naturally varies.
As a result, the signal level balance for each pixel is lost, resulting in a disadvantage that the hue changes.
本発明は、画素ごとの信号レベルのバランスの崩れによる色相の変換を抑止することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。 An object of the present invention is to provide an image processing apparatus, an imaging apparatus, an image processing method, and a program capable of suppressing the conversion of hue due to the loss of the balance of the signal level for each pixel.
本発明の第１の観点の画像処理装置は、撮影条件の異なる複数の画像を合成する合成部と、上記合成部による合成画像データのダイナミックレンジを圧縮する圧縮部と、を有し、上記圧縮部は、上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成して、当該輝度信号を非線形圧縮して輝度信号の圧縮率を求め、当該圧縮率によって画像データを圧縮する。 An image processing apparatus according to a first aspect of the present invention includes a combining unit that combines a plurality of images with different shooting conditions, and a compression unit that compresses the dynamic range of the combined image data by the combining unit, and the compression unit When compressing the dynamic range of the composite image data, the unit generates a luminance signal (Y) from peripheral pixels for a predetermined pixel, nonlinearly compresses the luminance signal, obtains a compression ratio of the luminance signal, The image data is compressed according to the compression rate.
好適には、上記圧縮部は、輝度信号を、圧縮対象の画素と空間位相をあわせて生成する。 Preferably, the compression unit generates a luminance signal by combining a pixel to be compressed and a spatial phase.
好適には、上記圧縮部は、上記合成画像データに対応するＹ画像を生成するＹ生成部と、上記Ｙ生成部によるＹ画像を圧縮するＹ圧縮部と、上記Ｙ生成部によるＹ画像と上記Ｙ圧縮部による圧縮Ｙ画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む。 Preferably, the compression unit includes a Y generation unit that generates a Y image corresponding to the composite image data, a Y compression unit that compresses a Y image by the Y generation unit, a Y image by the Y generation unit, and the above A compression rate calculation unit that calculates a compression rate for each pixel based on a compressed Y image by the Y compression unit, and an image data compression unit that compresses the combined image data by the synthesis unit at the compression rate calculated by the compression rate calculation unit And including.
上記圧縮部は、上記合成画像データに対応するＹ画像を生成するＹ生成部と、上記Ｙ生成部によるＹ画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む。 The compression unit includes a Y generation unit that generates a Y image corresponding to the composite image data, a compression rate calculation unit that calculates a compression rate for each pixel based on the Y image by the Y generation unit, and the compression rate calculation. An image data compression unit that compresses the synthesized image data by the synthesis unit at a compression rate calculated by the unit.
好適には、上記圧縮部は、上記合成画像データに対応する代表像を生成する代表画像生成部と、上記代表画像生成部による代表画像を圧縮する代表画像圧縮部と、上記代表画像生成部による代表画像と上記代表画像圧縮部による圧縮代表画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む。 Preferably, the compression unit includes a representative image generation unit that generates a representative image corresponding to the composite image data, a representative image compression unit that compresses the representative image by the representative image generation unit, and the representative image generation unit. A compression ratio calculation unit that calculates a compression rate for each pixel based on the representative image and the representative image compressed by the representative image compression unit, and the composite image data by the synthesis unit is compressed at the compression rate calculated by the compression rate calculation unit An image data compression unit.
好適には、上記圧縮部は、上記合成画像データに対応する代表像を生成する代表画像生成部と、上記代表画像生成部による代表画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む。 Preferably, the compression unit includes a representative image generation unit that generates a representative image corresponding to the composite image data, and a compression rate calculation unit that calculates a compression rate for each pixel based on the representative image by the representative image generation unit. And an image data compression unit that compresses the synthesized image data by the synthesis unit at the compression rate calculated by the compression rate calculation unit.
好適には、上記Ｙ生成部または上記代表画像生成部は、上記合成画像データの画素ごとに空間位相のあったＹ画像または代表画像を生成する。 Preferably, the Y generation unit or the representative image generation unit generates a Y image or a representative image having a spatial phase for each pixel of the composite image data.
本発明の第２の観点に係る撮像装置は、露光時間の異なる複数の画像を連続して撮影する撮像部と、上記撮像部で撮影された複数の画像を合成する画像合成部と、上記合成部による合成画像データのダイナミックレンジを圧縮する圧縮部と、を有し、上記圧縮部は、上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成して、当該輝度信号を非線形圧縮して輝度信号の圧縮率を求め、当該圧縮率によって画像データを圧縮する。 An imaging apparatus according to a second aspect of the present invention includes an imaging unit that continuously captures a plurality of images with different exposure times, an image combining unit that combines a plurality of images captured by the imaging unit, and the combination A compression unit that compresses the dynamic range of the composite image data by the unit, and the compression unit compresses the luminance signal (Y) from the peripheral pixels with respect to a predetermined pixel when compressing the dynamic range of the composite image data. Then, the luminance signal is nonlinearly compressed to obtain a compression rate of the luminance signal, and the image data is compressed by the compression rate.
本発明の第３の観点の画像処理方法は、撮影条件の異なる複数の画像を合成する第１ステップと、上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成する第２ステップと、上記当該輝度信号を非線形圧縮して輝度信号の圧縮率を求める第３ステップと、上記圧縮率によって画像データを圧縮し、上記合成画像データのダイナミックレンジを圧縮する第４ステップとを有する。 The image processing method according to the third aspect of the present invention includes a first step of synthesizing a plurality of images having different shooting conditions and a luminance signal from surrounding pixels for a predetermined pixel when compressing the dynamic range of the synthesized image data. A second step of generating (Y), a third step of nonlinearly compressing the luminance signal to obtain a compression rate of the luminance signal, compressing the image data by the compression rate, and reducing the dynamic range of the composite image data And a fourth step of compression.
本発明の第４の観点は、撮影条件の異なる複数の画像を合成する第１処理と、上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成する第２処理と、上記当該輝度信号を非線形圧縮して輝度信号の圧縮率を求める第３処理と、上記圧縮率によって画像データを圧縮し、上記合成画像データのダイナミックレンジを圧縮する第４処理とを含む画像処理をコンピュータに実行させるプログラムである。 According to a fourth aspect of the present invention, in the first process for synthesizing a plurality of images having different shooting conditions and the compression of the dynamic range of the synthesized image data, a luminance signal (Y) is transmitted from the peripheral pixels to a predetermined pixel. A second process for generating, a third process for nonlinearly compressing the luminance signal to obtain a compression ratio of the luminance signal, and a fourth process for compressing the image data by the compression ratio and compressing the dynamic range of the composite image data. A program for causing a computer to execute image processing including processing.
本発明によれば、圧縮部において、合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）が生成される。
圧縮部においては、生成された輝度信号が非線形圧縮され輝度信号の圧縮率が求められる。そして、圧縮部において、求められた圧縮率によって画像データが圧縮される。
According to the present invention, when the compression unit compresses the dynamic range of the composite image data, the luminance signal (Y) is generated from the peripheral pixels for the predetermined pixel.
In the compression unit, the generated luminance signal is nonlinearly compressed to obtain the compression rate of the luminance signal. Then, in the compression unit, the image data is compressed at the obtained compression rate.
本発明によれば、画素ごとの信号レベルのバランスの崩れによる色相の変換を抑止することができる。 According to the present invention, it is possible to suppress hue conversion due to an imbalance in signal level for each pixel.
以下、本発明の実施形態を図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施形態に係る画像処理装置を適用した撮像装置の構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus to which an image processing apparatus according to an embodiment of the present invention is applied.
本実施形態に係る撮像装置１０では、露光時間の異なる複数の画像信号を合成し、ＲＡＷデータのダイナミックレンジを圧縮する時に、ある画素（Ｐ)に対して周辺画素とから輝度信号（Ｙ）を生成して、その輝度信号を非線形圧縮して、輝度信号の圧縮率を求め、その圧縮率によってＲＡＷデータを圧縮する機能を有する。
また、撮像装置１０は、輝度信号は圧縮対象の画素と空間位相をあわせて生成することでエッジ部の偽色発生をなくす機能を含む。
In the imaging apparatus 10 according to the present embodiment, when a plurality of image signals having different exposure times are combined and the dynamic range of the RAW data is compressed, a luminance signal (Y) is transmitted from a peripheral pixel to a certain pixel (P). The luminance signal is generated and nonlinearly compressed to obtain a compression rate of the luminance signal, and the RAW data is compressed by the compression rate.
In addition, the imaging device 10 includes a function of eliminating the false color generation at the edge portion by generating the luminance signal in accordance with the compression target pixel and the spatial phase.
本撮像装置１０は、撮像部（センサ部）２０、合成部３０、圧縮部４０、およびＹＣ処理部５０を有している。 The imaging apparatus 10 includes an imaging unit (sensor unit) 20, a synthesis unit 30, a compression unit 40, and a YC processing unit 50.
撮像部２０は、光学系、ＣＣＤやＣＭＯＳセンサにより形成される撮像素子、アナログ・デジタル（Ａ／Ｄ）変換器等を含んで構成される。
撮像部２０は、一回の撮影動作時に露光時間（量）の異なる複数枚の画像を撮影するように撮像素子を制御するように構成されている。
たとえば、撮像部２０は、適正露光で撮影された白潰れのある標準画像信号と、短時間で撮影された黒潰れのある非標準画像信号の２枚の画像信号を撮影する。
撮影された画像信号はそれぞれＡ／Ｄ変換器にてデジタル信号に変換され、合成部３０に出力される。
撮像部２０は、長時間露光のＲＡＷ画像データＩＭＬおよび短時間露光のＲＡＷ画像データＩＭＳを合成部３０に交互に出力する。
The imaging unit 20 includes an optical system, an imaging device formed by a CCD or CMOS sensor, an analog / digital (A / D) converter, and the like.
The imaging unit 20 is configured to control the imaging device so as to capture a plurality of images with different exposure times (amounts) during one imaging operation.
For example, the imaging unit 20 captures two image signals, a standard image signal with white crush that is captured with appropriate exposure and a non-standard image signal with black crush that is captured in a short time.
Each captured image signal is converted into a digital signal by an A / D converter and output to the combining unit 30.
The imaging unit 20 alternately outputs the long-exposure RAW image data IML and the short-exposure RAW image data IMS to the combining unit 30.
合成部３０は、撮像部２０から出力された露光時間の異なる複数枚のＲＡＷ画像データＩＭＬ，ＩＭＳを１枚のＲＡＷ画像データＬＳに合成する。
合成部３０は、ＲＡＷ画像データＩＭＬで白とびしている領域をピクセル単位でＲＡＷ画像データＩＭＳを元に置き換える。置き換えは、ＲＡＷ画像データＩＭＳに合成ゲインをかけたデータで行う。ここでゲインとはＲＡＷ画像データＩＭＬとＲＡＷ画像データＩＭＳとの露光時間の比率とする。
The combining unit 30 combines a plurality of pieces of RAW image data IML and IMS output from the image pickup unit 20 with different exposure times into one piece of RAW image data LS.
The synthesizing unit 30 replaces the overexposed region in the RAW image data IML in units of pixels based on the RAW image data IMS. The replacement is performed with data obtained by multiplying the raw image data IMS by a composite gain. Here, the gain is the ratio of the exposure time between the RAW image data IML and the RAW image data IMS.
図２は、合成部の処理を説明するための図である。
合成部３０は、ピクセル単位にＲＡＷ画像データを合成する。
合成方法は、長時間露光のＲＡＷ画像データＩＭＬが閾値ＴＨより小さい場合には、ＲＡＷ画像データＩＭＬを合成画像データＬＳとして出力する。
ＲＡＷ画像データＩＭＬが閾値ＴＨを含む閾値ＴＨ以上の場合には、短時間露光のＲＡＷ画像データＩＭＳに合成ゲインを乗算した画像を合成画像データＬＳとして出力する。
合成部３０は、合成ＲＡＷ画像データＬＳを圧縮部４０に出力する。
FIG. 2 is a diagram for explaining the processing of the synthesis unit.
The synthesizing unit 30 synthesizes the RAW image data for each pixel.
The composition method outputs the RAW image data IML as composite image data LS when the long-exposure RAW image data IML is smaller than the threshold value TH.
When the RAW image data IML is equal to or higher than the threshold TH including the threshold TH, an image obtained by multiplying the short-exposure RAW image data IMS by the composite gain is output as the composite image data LS.
The combining unit 30 outputs the combined raw image data LS to the compression unit 40.
圧縮部４０は、合成部３０から出力された合成ＲＡＷ画像データＬＳのダイナミックレンジ（ＤＲ）を圧縮する。
圧縮部４０は、合成部３０の合成で拡大されたダイナミックレンジ（ＤＲ）をＹＣ処理部５０で処理可能なダイナミックレンジ（ＤＲ）まで圧縮する。
圧縮部４０は、ＲＡＷデータのダイナミックレンジを圧縮するときに、ある画素（Ｐ)に対して周辺画素とから輝度信号Ｙを生成して、その輝度信号を非線形圧縮して、輝度信号の圧縮率を求め、その圧縮率によってＲＡＷデータを圧縮する。
圧縮部４０は、圧縮した圧縮ＲＡＷ画像データＬＳｃｏｍｐをＹＣ処理部５０に出力する。
The compression unit 40 compresses the dynamic range (DR) of the combined RAW image data LS output from the combining unit 30.
The compression unit 40 compresses the dynamic range (DR) expanded by the synthesis of the synthesis unit 30 to the dynamic range (DR) that can be processed by the YC processing unit 50.
When compressing the dynamic range of RAW data, the compression unit 40 generates a luminance signal Y from a peripheral pixel for a certain pixel (P), nonlinearly compresses the luminance signal, and compresses the luminance signal. And RAW data is compressed according to the compression rate.
The compression unit 40 outputs the compressed compressed RAW image data LScomp to the YC processing unit 50.
図３は、本実施形態に係る圧縮部の構成例を示すブロック図である。 FIG. 3 is a block diagram illustrating a configuration example of the compression unit according to the present embodiment.
図３の圧縮部４０は、Ｙ生成部４１、Ｙ圧縮部４２、圧縮率算出部４３、およびＲＡＷ画像データ圧縮部４４を有する。 3 includes a Y generation unit 41, a Y compression unit 42, a compression rate calculation unit 43, and a RAW image data compression unit 44.
Ｙ生成部４１は、合成部３０から出力された合成ＲＡＷ画像データＬＳに対応するＹ画像ＹＩＭを生成する。
Ｙ圧縮部４２は、Ｙ生成部４１から出力されたＹ画像ＹＩＭを圧縮して圧縮Ｙ画像Ｙｃｏｍｐを生成する。
圧縮率算出部４３は、Ｙ生成部４１によるＹ画像ＹＩＭとＹ圧縮部４２による圧縮Ｙ画像Ｙｃｏｍｐとからピクセル毎の圧縮率ｃｏｍｐを算出する。
ＲＡＷ画像データ圧縮部４４は、圧縮率算出部４３で算出された圧縮率ｃｏｍｐを基にして合成部３０で合成された合成ＲＡＷ画像データＬＳを圧縮して圧縮ＲＡＷ画像データＬＳｃｏｍｐを生成する。
The Y generation unit 41 generates a Y image YIM corresponding to the combined RAW image data LS output from the combining unit 30.
The Y compression unit 42 compresses the Y image YIM output from the Y generation unit 41 to generate a compressed Y image Ycomp.
The compression rate calculation unit 43 calculates a compression rate comp for each pixel from the Y image YIM by the Y generation unit 41 and the compressed Y image Ycomp by the Y compression unit 42.
The RAW image data compression unit 44 compresses the combined RAW image data LS combined by the combining unit 30 based on the compression rate comp calculated by the compression rate calculation unit 43 to generate compressed RAW image data LScomp.
圧縮部４０の処理については、後でさらに詳述する。 The processing of the compression unit 40 will be described in detail later.
ＹＣ処理部５０は、圧縮部４０から出力された圧縮ＲＡＷ画像データＬＳｃｏｍｐから輝度信号、クロマ信号を生成、映像信号として出力する。
ＹＣ処理部５０で生成された輝度信号Ｙ、クロマ信号Ｃを基に図示しない表示部に映像として表示される。
The YC processing unit 50 generates a luminance signal and a chroma signal from the compressed RAW image data LScomp output from the compression unit 40 and outputs it as a video signal.
Based on the luminance signal Y and the chroma signal C generated by the YC processing unit 50, the image is displayed as a video on a display unit (not shown).
次に、図１〜図３の構成を有する撮像装置の動作を説明する。 Next, the operation of the imaging apparatus having the configuration shown in FIGS.
撮像部２０のダイナミックレンジ(ＤＲ)よりもダイナミックレンジの広い被写体を撮影するために、撮像部２０では露光時間の異なる複数枚の画像ＩＭＬ，ＩＭＳを撮影して合成部３０に出力する。
ここでは２枚撮影する場合の説明をする。
撮像部２０からは、露光時間の異なる２枚の画像をそれぞれ長時間露光のＲＡＷ画像データＩＭＬ、短時間露光のＲＡＷ画像データＩＭＳが交互に出力される。
In order to photograph a subject having a dynamic range wider than the dynamic range (DR) of the imaging unit 20, the imaging unit 20 captures a plurality of images IML and IMS having different exposure times and outputs them to the combining unit 30.
Here, a case where two images are taken will be described.
The imaging unit 20 alternately outputs RAW image data IML for long exposure and RAW image data IMS for short exposure for two images having different exposure times.
撮像部２０から出力されたＲＡＷ画像データＬＩＭとＲＡＷ画像データＩＭＳは合成部３０に入力される。
合成部３０では、ＲＡＷ画像データＩＭＬで白とびしている領域を画素（ピクセル）単位でＲＡＷ画像データＩＭＳを基に置き換える。
置き換えはＲＡＷ画像データＩＭＳにゲインをかけたデータで行う。ここでゲインとは、前述したように、ＲＡＷ画像データＩＭＬとＲＡＷ画像データＩＭＳとの露光時間の比率とする。
The RAW image data LIM and the RAW image data IMS output from the imaging unit 20 are input to the combining unit 30.
The synthesizing unit 30 replaces the overexposed area in the RAW image data IML in units of pixels (pixels) based on the RAW image data IMS.
The replacement is performed using data obtained by multiplying the raw image data IMS by a gain. Here, as described above, the gain is the ratio of the exposure time between the RAW image data IML and the RAW image data IMS.
つまり、ＲＡＷ画像データＩＭＳにゲインをかけることでＲＡＷ画像データＩＭＬの露光時間で撮影するはずだったが実際には白とびしてしまった領域の画像を求めている。
白とびしているかどうかの判断は、ＲＡＷ画像データＩＭＬの信号レベルが閾値ＴＨよりも大きいか小さいかで判断する。
合成部３０は、閾値ＴＨよりも大きい時に白とびしていると判断する。このようにして合成部３０でＲＡＷ画像データＬＳが生成され、圧縮部４０に出力される。
In other words, an image of an area that was supposed to be shot with the exposure time of the RAW image data IML by applying a gain to the RAW image data IMS but is actually overexposed is obtained.
The determination as to whether or not the image is overexposed is made based on whether the signal level of the RAW image data IML is larger or smaller than the threshold value TH.
The synthesizer 30 determines that the image is overexposed when it is larger than the threshold value TH. In this way, the RAW image data LS is generated by the synthesis unit 30 and output to the compression unit 40.
合成部３０から出力された合成ＲＡＷ画像データＬＳは圧縮部４０に入力される。
圧縮部４０では、合成処理で拡大されたダイナミックレンジ（ＤＲ）をＹＣ処理部５０で処理可能なダイナミックレンジ（ＤＲ）まで圧縮する。
The combined RAW image data LS output from the combining unit 30 is input to the compression unit 40.
The compression unit 40 compresses the dynamic range (DR) expanded by the synthesis process to the dynamic range (DR) that can be processed by the YC processing unit 50.
圧縮部４０ではまず、Ｙ生成部４１に合成ＲＡＷ画像データＬＳが入力されてＹ画像ＹＩＭが生成される。
Ｙ生成部４１においては、このＹ画像ＹＩＭを生成するときに合成ＲＡＷ画像データＬＳのピクセル毎に空間位相の合ったＹ画像ＹＩＭを生成する。
In the compression unit 40, first, the composite RAW image data LS is input to the Y generation unit 41, and a Y image YIM is generated.
The Y generation unit 41 generates a Y image YIM having a spatial phase for each pixel of the combined RAW image data LS when generating the Y image YIM.
ここでは撮像部２０から出力されるＲＡＷ画像データＩＭＬ，ＩＭＳを補色のインターレス画像として説明する。
補色インターレスで出力されるＲＡＷ画像データＩＭＬ，ＩＭＳでは、各ピクセルは信号ｓ１もしくは信号ｓ２を出力する。信号ｓ１、ｓ２は、加算すると輝度信号Ｙになり差分をとるとクロマ信号Ｃになる信号である。
Ｙ生成部４１において合成ＲＡＷ画像データＬＳの空間位相に合ったＹ画像ＹＩＭを生成するには、たとえば図４に示すような、{1,2,1}のローパスフィルタ（ＬＰＦ）を用いる。
Here, the RAW image data IML and IMS output from the imaging unit 20 will be described as interlaced images of complementary colors.
In the RAW image data IML and IMS output with complementary color interlace, each pixel outputs a signal s1 or a signal s2. The signals s1 and s2 are signals that become a luminance signal Y when added and a chroma signal C when the difference is taken.
In order to generate the Y image YIM that matches the spatial phase of the composite RAW image data LS in the Y generation unit 41, for example, a low-pass filter (LPF) of {1, 2, 1} as shown in FIG. 4 is used.
Ｙ画像ＹＩＭの生成の対象となる合成ＲＡＷ画像データＬＳのピクセルをＰn、隣接ピクセルをそれぞれＰn-1、Ｐn+1、生成される輝度信号をＹnとすると、輝度信号Ｙnは以下の式で求められる。 Assuming that the pixel of the composite RAW image data LS to be generated for the Y image YIM is P n , the adjacent pixels are P n−1 and P n + 1 , and the generated luminance signal is Y n , the luminance signal Y n is It is obtained by the following formula.
［数１］
Ｙn＝（Ｐn-1＋２×Ｐn＋Ｐn+1）／４
[Equation 1]
Y n = (P n-1 + 2 × P n + P n + 1) / 4
なお、フィルタは、空間位相の合ったＹ画像ＹＩＭが生成されるのであればどのようなフィルタでもかまわない。
また、撮像部２０から出力されるＲＡＷ画像データＩＭＬ，ＩＭＳはカラー配列、インターレス・プログレッシブの種別を問わない。それぞれに応じたＹ画像の生成を行えばよい。
Note that the filter may be any filter as long as a Y image YIM having a spatial phase is generated.
The RAW image data IML and IMS output from the imaging unit 20 may be of any color arrangement or interlace / progressive type. A Y image corresponding to each may be generated.
Ｙ生成部４１から出力されたＹ画像ＹＩＭはＹ圧縮部４２に入力される。
Ｙ圧縮部４２では、低輝度部が必要以上に圧縮されないように一般的に非線形変換で圧縮される。
たとえば、図５に示すように、スプライン補間によって生成されるスプラインカーブＳＣに基づいた変換が行われる。
このようにして、Ｙ圧縮部４２では、ピクセル毎に圧縮された圧縮Ｙ画像Ｙｃｏｍｐが生成されて出力される。
The Y image YIM output from the Y generation unit 41 is input to the Y compression unit 42.
In the Y compression unit 42, the low luminance part is generally compressed by non-linear transformation so as not to be compressed more than necessary.
For example, as shown in FIG. 5, conversion based on a spline curve SC generated by spline interpolation is performed.
In this way, the Y compression unit 42 generates and outputs a compressed Y image Ycomp compressed for each pixel.
Ｙ圧縮部４２から出力された圧縮Ｙ画像データＹｃｏｍｐは圧縮率算出部４３に入力される。
圧縮率算出部４３では、Ｙ生成部４１で生成されたＹ画像ＹＩＭと圧縮Ｙ画像Ｙｃｏｍｐとから圧縮率ｃｏｍｐが以下の式によって求められる。圧縮率ｃｏｍｐはピクセル毎に算出される。
The compressed Y image data Ycomp output from the Y compression unit 42 is input to the compression rate calculation unit 43.
In the compression rate calculation unit 43, the compression rate comp is obtained from the Y image YIM generated by the Y generation unit 41 and the compressed Y image Ycomp by the following equation. The compression rate comp is calculated for each pixel.
［数２］
ｃｏｍｐn＝Ｙｃｏｍｐn／Ｙn
[Equation 2]
comp n = Ycomp n / Y n
ＲＡＷ画像データ圧縮部４４では、合成部３０で生成された合成ＲＡＷ画像データＬＳと圧縮率算出部４３で生成された圧縮率ｃｏｍｐとを基にして合成ＲＡＷ画像データＬＳが圧縮される。
圧縮はピクセル毎に以下の式によって行われる。圧縮された圧縮ＲＡＷ画像データは圧縮ＲＡＷ画像データＬＳｃｏｍｐとして出力される。
The RAW image data compression unit 44 compresses the combined RAW image data LS based on the combined RAW image data LS generated by the combining unit 30 and the compression rate comp generated by the compression rate calculation unit 43.
The compression is performed for each pixel according to the following formula. The compressed compressed RAW image data is output as compressed RAW image data LScomp.
［数３］
ＲＡＷ ＬＳｃｏｍｐn＝ＲＡＷ ＬＳn×ｃｏｍｐn
[Equation 3]
RAW LScomp n = RAW LS n × comp n
圧縮ＲＡＷ画像データＬＳｃｏｍｐは圧縮部４０の出力として、その後ＹＣ処理部５０に入力される。
ＹＣ処理部５０では、圧縮ＲＡＷ画像データＬＳｃｏｍｐから輝度信号Ｙ、クロマ信号Ｃの生成を行う。
どのように輝度信号、クロマ信号を生成するかは問わないが、たとえば、補色のインターレス画像の場合であれば、輝度信号はｓ１、ｓ２信号の加算によって求められ、クロマ信号はｓ１、ｓ２の差分によって求められる。
ＹＣ処理部５０で求められた輝度信号Ｙ、クロマ信号Ｃが映像信号Ｓ５０として出力される。
The compressed RAW image data LScomp is then input to the YC processing unit 50 as the output of the compression unit 40.
The YC processing unit 50 generates a luminance signal Y and a chroma signal C from the compressed RAW image data LScomp.
It does not matter how the luminance signal and the chroma signal are generated. For example, in the case of a complementary color interlaced image, the luminance signal is obtained by adding the s1 and s2 signals, and the chroma signal is obtained by adding s1 and s2. It is obtained by the difference.
The luminance signal Y and the chroma signal C obtained by the YC processing unit 50 are output as the video signal S50.
映像信号がＲＧＢ形式の場合はＹＣ処理部の代わりにＲＧＢ処理部によってＲＡＷ画像データからＲＧＢ信号を求めて出力される。
これ以外の映像信号の形式でもそれに応じた処理部によってＲＡＷ画像を変換すればいいので形式を問わない。
When the video signal is in the RGB format, an RGB signal is obtained from the RAW image data by the RGB processing unit instead of the YC processing unit and output.
Any other video signal format may be used as long as the RAW image is converted by a processing unit corresponding to the format.
なお、図２に、圧縮部の基本構成を示した。
以下、本実施形態に係る圧縮部の変形例について説明する。
FIG. 2 shows a basic configuration of the compression unit.
Hereinafter, modified examples of the compression unit according to the present embodiment will be described.
図６は、本実施形態に係る圧縮部の第１の変形例を示す図である。 FIG. 6 is a diagram illustrating a first modification of the compression unit according to the present embodiment.
図６の圧縮部４０Ａが図３の圧縮部４０と異なる点は、Ｙ圧縮部を設けず、Ｙ生成部４１で生成された合成ＲＡＷ画像データＬＳに対応するＹ画像を圧縮率算出部４３Ａに直接入力するように構成されていることにある。 The compression unit 40A in FIG. 6 is different from the compression unit 40 in FIG. 3 in that a Y compression unit is not provided, and a Y image corresponding to the combined RAW image data LS generated by the Y generation unit 41 is supplied to the compression rate calculation unit 43A. It is configured to be directly input.
圧縮率算出部４３Ａは、Ｙ生成部４１で生成されたＹ画像ＹＩＭからピクセル毎の圧縮率ｃｏｍｐを算出する。
ＲＡＷ画像データ圧縮部４４は、圧縮率算出部４３Ａで算出された圧縮率ｃｏｍｐを基にして合成ＲＡＷ画像データＬＳを圧縮して圧縮ＲＡＷ画像データＬＳｃｏｍｐを生成する。
The compression rate calculation unit 43A calculates a compression rate comp for each pixel from the Y image YIM generated by the Y generation unit 41.
The RAW image data compression unit 44 compresses the combined RAW image data LS based on the compression rate comp calculated by the compression rate calculation unit 43A to generate compressed RAW image data LScomp.
図６の圧縮部４０Ａにおいて、Ｙ生成部４１のＹ画像生成処理、並びに、ＲＡＷ画像データ圧縮部４４における圧縮ＲＡＷ画像データＬＳｃｏｍｐの生成処理は、既に説明した図３の圧縮部４０と同様に行われる。 In the compression unit 40A of FIG. 6, the Y image generation process of the Y generation unit 41 and the generation process of the compressed RAW image data LScomp in the RAW image data compression unit 44 are performed in the same manner as the compression unit 40 of FIG. Is called.
図６の圧縮部４０Ａにおいて、Ｙ生成部４１から出力されたＹ画像ＹＩＭは圧縮率算出部４３Ａに入力される。
圧縮率算出部４３Ａでは、低輝度部が必要以上に圧縮されないように一般的に非線形変換で圧縮される。たとえば、図７に示すように、スプライン補間によって生成されるスプラインカーブＳＣ−Ａに基づいた変換が行われる。
このようにして、圧縮率算出部４３Ａでは、ピクセル毎に圧縮率ｃｏｍｐが算出される。
In the compression unit 40A of FIG. 6, the Y image YIM output from the Y generation unit 41 is input to the compression rate calculation unit 43A.
In the compression rate calculation unit 43A, the low luminance part is generally compressed by non-linear transformation so as not to be compressed more than necessary. For example, as shown in FIG. 7, conversion based on a spline curve SC-A generated by spline interpolation is performed.
In this way, the compression rate calculation unit 43A calculates the compression rate comp for each pixel.
図８は、本実施形態に係る圧縮部の第２の変形例を示す図である。 FIG. 8 is a diagram illustrating a second modification of the compression unit according to the present embodiment.
図８の圧縮部４０Ｂが図３の圧縮部４０と異なる点は、Ｙ生成部４１の代わりに代表画像生成部４５を設け、Ｙ圧縮部４２の代わりに代表画像圧縮部４６を設けたことにある。 The compression unit 40B in FIG. 8 differs from the compression unit 40 in FIG. 3 in that a representative image generation unit 45 is provided instead of the Y generation unit 41, and a representative image compression unit 46 is provided instead of the Y compression unit 42. is there.
代表画像生成部４５は、合成部３０から出力された合成ＲＡＷ画像データＬＳに対応する代表画像ＴＩＭを生成する。
代表画像圧縮部４６ＨＡ，代表画像生成部４５から出力された代表画像ＴＩＭを圧縮して圧縮代表画像Ｔｃｏｍｐを生成する。
圧縮率算出部４３Ｂは、代表画像生成部４５で生成された代表画像ＴＩＭと代表画像圧縮部４６で生成された圧縮代表画像Ｔｃｏｍｐとからピクセル毎の圧縮率ｃｏｍｐを算出する。
ＲＡＷ画像データ圧縮部４４は、圧縮率算出部４３Ｂで算出された圧縮率ｃｏｍｐを基にして合成ＲＡＷ画像データＬＳを圧縮して圧縮ＲＡＷ画像データＬＳｃｏｍｐを生成する。
The representative image generation unit 45 generates a representative image TIM corresponding to the combined RAW image data LS output from the combining unit 30.
The representative image TIM output from the representative image compression unit 46HA and the representative image generation unit 45 is compressed to generate a compressed representative image Tcomp.
The compression rate calculation unit 43B calculates a compression rate comp for each pixel from the representative image TIM generated by the representative image generation unit 45 and the compressed representative image Tcomp generated by the representative image compression unit 46.
The RAW image data compression unit 44 compresses the combined RAW image data LS based on the compression rate comp calculated by the compression rate calculation unit 43B to generate compressed RAW image data LScomp.
図８の圧縮部４０Ｂにおいて、合成部３０から出力された合成ＲＡＷ画像データＬＳは圧縮部４０Ｂに入力される。
圧縮部４０Ｂでは、合成部３０から出力された合成ＲＡＷ画像データＬＳのダイナミックレンジ（ＤＲ）をＹＣ処理部５０で処理可能なダイナミックレンジ（ＤＲ）まで圧縮する。
In the compression unit 40B of FIG. 8, the combined RAW image data LS output from the combining unit 30 is input to the compression unit 40B.
In the compression unit 40B, the dynamic range (DR) of the combined RAW image data LS output from the combining unit 30 is compressed to the dynamic range (DR) that can be processed by the YC processing unit 50.
圧縮部４０Ｂでは、まず代表画像生成部４５に合成ＲＡＷ画像データＬＳが入力されて代表画像ＴＩＭが生成される。
代表画像生成部４５において、この代表画像ＴＩＭを生成するときに、合成ＲＡＷ画像データＬＳのピクセル毎に空間位相の合った代表画像ＴＩＭを生成する。
In the compression unit 40B, first, the composite RAW image data LS is input to the representative image generation unit 45 to generate a representative image TIM.
When the representative image generation unit 45 generates the representative image TIM, the representative image TIM having a spatial phase matching is generated for each pixel of the combined RAW image data LS.
ここでは撮像部２０から出力されるＲＡＷ画像データＩＭＬ，ＩＭＳをＲＧＢベイヤのプログレッシブ画像として説明する。
ＲＧＢベイヤで出力されるＲＡＷ画像データＩＭＬ，ＩＭＳでは，各ピクセルはＲ，ＧもしくはＢのいずれかを出力する。
Ｇを代表画像として合成ＲＡＷ画像データＬＳの空間位相に合った代表画像ＴＩＭを生成するには、たとえば、図９（Ａ）に示しように、対象となるピクセルがＧであったらそのままＧを代表画像ＴＩＭとする。
また、図９（Ｂ）に示すように、Ｇが無い場合は周辺のＧ０，Ｇ１，Ｇ２，Ｇ３から以下の式で代表画像ＴＩＭを求める。すなわち、注目画素がＧではなく、たとえばＲでそのＲ画素の周辺（上下左右）の画素がＧ０，Ｇ１，Ｇ２，Ｇ３である場合、以下の式で代表画像ＴＩＭを求める。
Here, the RAW image data IML and IMS output from the imaging unit 20 will be described as RGB Bayer progressive images.
In the RAW image data IML and IMS output from the RGB Bayer, each pixel outputs R, G, or B.
In order to generate a representative image TIM that matches the spatial phase of the combined RAW image data LS using G as a representative image, for example, if the target pixel is G, as shown in FIG. Let it be an image TIM.
As shown in FIG. 9B, when there is no G, the representative image TIM is obtained from the surrounding G0, G1, G2, and G3 by the following formula. That is, if the pixel of interest is not G, and R is a pixel around (R0, G, G, G) around the R pixel, for example, the representative image TIM is obtained by the following equation.
［数４］
ＧＴ＝（Ｇ０＋Ｇ１＋Ｇ２＋Ｇ３）／４
[Equation 4]
GT = (G0 + G1 + G2 + G3) / 4
なお、図９（Ａ），（Ｂ）には、代表画像生成フィルタの例を示しているが、空間位相の合った代表画像ＴＩＭが生成されるのであればどのようなフィルタでもかまわない。
また、撮像部２０から出力されるＲＡＷ画像データＩＭＬ，ＩＭＳはカラー配列、インターレス・プログレッシブの種別を問わない。それぞれに応じた代表画像生成を行えばよい。
9A and 9B show an example of a representative image generation filter, but any filter may be used as long as a representative image TIM having a matching spatial phase is generated.
The RAW image data IML and IMS output from the imaging unit 20 may be of any color arrangement or interlace / progressive type. What is necessary is just to perform the representation image according to each.
圧縮部４０Ｂにおける圧縮率算出部４３Ｂの圧縮率の算出処理、並びに、ＲＡＷ画像データ圧縮部４４の処理は図３の場合と同様に行われる。 The compression rate calculation processing of the compression rate calculation unit 43B in the compression unit 40B and the processing of the RAW image data compression unit 44 are performed in the same manner as in FIG.
図１０は、本実施形態に係る圧縮部の第３の変形例を示す図である。 FIG. 10 is a diagram illustrating a third modification of the compression unit according to the present embodiment.
図１０の圧縮部４０Ｃが図８の圧縮部４０Ｂと異なる点は、代表画像圧縮部を設けず、代表画像生成部４５で生成された合成ＲＡＷ画像データＬＳに対応する代表画像ＴＩＭを圧縮率算出部４３Ｃに直接入力するように構成されていることにある。 The compression unit 40C in FIG. 10 is different from the compression unit 40B in FIG. 8 in that the representative image compression unit is not provided, and the compression rate calculation is performed on the representative image TIM corresponding to the combined RAW image data LS generated by the representative image generation unit 45. This is because it is configured to input directly to the unit 43C.
図１０の圧縮部４０Ｃにおいて、代表画像生成部４５の代表画像生成処理、並びに、ＲＡＷ画像データ圧縮部４４における圧縮ＲＡＷ画像データＬＳｃｏｍｐの生成処理は、既に説明した図１０の圧縮部４０Ｂと同様に行われる。 In the compression unit 40C of FIG. 10, the representative image generation process of the representative image generation unit 45 and the generation process of the compressed RAW image data LScomp in the RAW image data compression unit 44 are the same as those of the compression unit 40B of FIG. Done.
図１０の圧縮部４０Ｃにおいて、代表画像生成部４５から出力された代表画像ＴＩＭは圧縮率算出部４３Ｃに入力される。
圧縮率算出部４３Ｃでは、低輝度部が必要以上に圧縮されないように一般的に非線形変換で圧縮される。たとえば、図７に示すように、スプライン補間によって生成されるスプラインカーブＳＣ−Ａに基づいた変換が行われる。
このようにして、圧縮率算出部４３Ｃでは、ピクセル毎に圧縮率ｃｏｍｐが算出される。
In the compression unit 40C of FIG. 10, the representative image TIM output from the representative image generation unit 45 is input to the compression rate calculation unit 43C.
In the compression rate calculation unit 43C, the low luminance part is generally compressed by non-linear transformation so as not to be compressed more than necessary. For example, as shown in FIG. 7, conversion based on a spline curve SC-A generated by spline interpolation is performed.
In this way, the compression rate calculation unit 43C calculates the compression rate comp for each pixel.
以上説明した本実施形態によれば、以下の効果を得ることができる。
ＲＡＷ画像データをダイナミックレンジ（ＤＲ）圧縮するときに、圧縮対象画素と空間位相を合わせたＬＰＦを用いて輝度信号を生成し、輝度信号の圧縮率を用いる。
その結果、空間周波数の低い箇所では、色を構成する複数のピクセルに同じ様な圧縮率が適用されるので色回りを防ぐことができる。
これと同時にエッジ部(空間周波数の高い箇所)では、エッジの形状に応じた圧縮をするので偽色の発生を防ぐことができる。
According to this embodiment described above, the following effects can be obtained.
When the RAW image data is subjected to dynamic range (DR) compression, a luminance signal is generated using an LPF in which the compression target pixel and the spatial phase are matched, and the compression rate of the luminance signal is used.
As a result, in a portion having a low spatial frequency, the same compression rate is applied to a plurality of pixels constituting the color, thereby preventing color rotation.
At the same time, at the edge portion (location with high spatial frequency), compression according to the shape of the edge is performed, so that generation of false colors can be prevented.
ここで、色回りについて考察する。
図１１は、色回りの原因について説明するための図である。
図１２は、色回りの対策について説明するための図である。
なお、図１１および図１２においては、簡略化のための直線を用いて表している。
Here, color rotation will be considered.
FIG. 11 is a diagram for explaining the cause of color rotation.
FIG. 12 is a diagram for explaining the countermeasures around the color.
Note that in FIG. 11 and FIG. 12, a straight line for simplification is used.
図１１および図１２においてｓ１，ｓ２を結んだ直線が原点を通れば、乗算のみなので比率は変わらず色は回らない。
これに対して、原点を通らなければ、オフセットが加算されて比率が変わり、色が回る。
したがって、圧縮部における圧縮のときには原点を通すようにすれば良い。
前述したように、補色インターレスで出力されるＲＡＷ画像データＩＭＬ，ＩＭＳでは、各ピクセルは信号ｓ１もしくは信号ｓ２を出力する。信号ｓ１、ｓ２は、加算すると輝度信号Ｙになり差分をとるとクロマ信号Ｃになる信号である。
すなわち、信号ｓ１，ｓ２からＹを作って、Ｙを通る直線上でｓ１，ｓ２を変換する。
本実施形態においては、Ｙ（ｓ１，ｓ２を一組）単位に、図５や図７に示すような圧縮カーブを適用してダイナミックレンジ（ＤＲ）を圧縮する。
In FIG. 11 and FIG. 12, if the straight line connecting s1 and s2 passes through the origin, the ratio does not change and the color does not rotate because only multiplication is performed.
On the other hand, if it does not pass through the origin, the offset is added, the ratio changes, and the color turns.
Therefore, it is only necessary to pass the origin when compression is performed in the compression unit.
As described above, in the RAW image data IML and IMS output with complementary color interlace, each pixel outputs a signal s1 or a signal s2. The signals s1 and s2 are signals that become a luminance signal Y when added and a chroma signal C when the difference is taken.
That is, Y is generated from the signals s1 and s2, and s1 and s2 are converted on a straight line passing through Y.
In the present embodiment, the dynamic range (DR) is compressed by applying a compression curve as shown in FIGS. 5 and 7 in units of Y (a set of s1 and s2).
また、色温度は１５００Ｋや１５０００Ｋといったスペクトルの分布が偏っている方が色回り大きく、露光比は大きい方が色回り大きい。
本実施形態においては、Ｙを基に圧縮していることから、色回りを防ぐことができる。
色温度、露光比をふっても問題ない。
なお、彩度、輝度は、上述したダイナミックレンジ（ＤＲ）圧縮カーブによって変化する。ダイナミックレンジ（ＤＲ）圧縮カーブが傾き１の直線よりも上なら彩度、輝度ともに上がり、下なら下がる。
Further, the color temperature is higher when the spectral distribution is biased such as 1500K or 15000K, and the color exposure is higher when the exposure ratio is larger.
In the present embodiment, since the compression is performed based on Y, color rotation can be prevented.
There is no problem even if the color temperature and exposure ratio are adjusted.
Note that the saturation and luminance change according to the dynamic range (DR) compression curve described above. If the dynamic range (DR) compression curve is above a straight line with a slope of 1, both the saturation and luminance will increase, and if it is below, it will decrease.
次に、エッジの偽色について考察する。 Next, consider the false color of the edge.
図１３は、ＲＡＷＧ画像データをそのまま圧縮した結果の一例を示す図である。
図１４は、ＲＡＷＧ画像データを単に図１２の原理に基づくＹの圧縮率で圧縮した結果の一例を示す図である。
図１５は、ＲＡＷＧ画像データを本実施形態に係る数１に基づくＹの圧縮率で圧縮した結果の一例を示す図である。
図１６は、図１３〜図１５のエッジ領域を拡大し比較して示す図である。
FIG. 13 is a diagram illustrating an example of a result obtained by compressing RAW image data as it is.
FIG. 14 is a diagram illustrating an example of a result obtained by compressing RAW image data at a Y compression rate based on the principle of FIG.
FIG. 15 is a diagram illustrating an example of a result obtained by compressing the RAW image data with the Y compression rate based on Formula 1 according to the present embodiment.
FIG. 16 is an enlarged view of the edge regions of FIGS. 13 to 15 for comparison.
図１３に示すように、ＲＡＷＧ画像データをそのまま圧縮した場合には自然な画像となる。
これに対して、ＲＡＷＧ画像データを単に図１２の原理に基づくＹの圧縮率で圧縮した場合、図１４に示すように、不自然な画像となってしまう。
この場合は、ｓ１，ｓ２に対して、{1,1}フィルタでＹを生成している。
カラーパッチのような一様な色のところ（DC的・低周波なところ)では、色回りを防ぎたいが、それによってエッジ(高周波)では、ブツブツや偽色が派手になってしまうおそれがある。
As shown in FIG. 13, when the RAW image data is compressed as it is, a natural image is obtained.
On the other hand, when the RAW image data is simply compressed at the Y compression rate based on the principle of FIG. 12, an unnatural image is obtained as shown in FIG.
In this case, Y is generated with a {1,1} filter for s1 and s2.
I want to prevent color rotation in a uniform color area (DC / low frequency area) such as a color patch, but there is a risk that the edges (high frequency) may become flashy or fake colors. .
そこで、本実施形態においては、前述したように、Ｙ生成の方法として、ｓ１，ｓ２に対して、{1,2,1}フィルタでＹを生成するようなエッジ対策を施している。
エッジ対策には、Ｙの空間位相をピクセルに合わせた {1,2,1}フィルタが最も効果があった。
このエッジ対策によって、図１５に示すように、エッジ付近では、その変化に追従して偽色やブツブツの発生を抑えている。
また、カラーパッチのような平坦なところでは、色回り対策により色が回ったり、薄く見える現象を防止することができる。
すなわち、本実施形態においては、ｓ１，ｓ２に対して、{1,2,1}フィルタでＹを生成するようなエッジ対策を施すことにより。エッジと平坦な領域で色周りと、偽色の発生を防止することができる。
Therefore, in this embodiment, as described above, as a method of generating Y, edge countermeasures such as generating Y with a {1, 2, 1} filter are applied to s1, s2.
For edge countermeasures, the {1,2,1} filter with Y spatial phase matched to the pixel was most effective.
As a result of this edge countermeasure, as shown in FIG. 15, in the vicinity of the edge, the occurrence of false color and buzz is suppressed following the change.
Further, in a flat place such as a color patch, it is possible to prevent a phenomenon in which a color turns or looks thin by taking measures against color rotation.
That is, in the present embodiment, by taking an edge countermeasure such that Y is generated by a {1, 2, 1} filter for s1, s2. It is possible to prevent the occurrence of false colors around the color at the edge and the flat region.
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
Note that the method described above in detail can be formed as a program according to the above-described procedure and executed by a computer such as a CPU.
Such a program can be configured to be accessed by a recording medium such as a semiconductor memory, a magnetic disk, an optical disk, a floppy (registered trademark) disk, or the like, and to execute the program by a computer in which the recording medium is set.
１０・・・撮像装置、２０・・・撮像部（センサ部）、３０・・・合成部、４０，４０Ａ，４０Ｂ，４０Ｃ・・・圧縮部、４１・・・Ｙ生成部、４２・・・Ｙ圧縮部、４３，４３Ａ，４３Ｃ・・・圧縮率算出部、４４・・・ＲＡＷ画像データ圧縮部、４５・・・代表画像生成部、４６・・・代表画像圧縮部、５０・・・ＹＣ処理部。 DESCRIPTION OF SYMBOLS 10 ... Imaging device, 20 ... Imaging part (sensor part), 30 ... Composition part, 40, 40A, 40B, 40C ... Compression part, 41 ... Y production | generation part, 42 ... Y compression unit, 43, 43A, 43C ... compression rate calculation unit, 44 ... RAW image data compression unit, 45 ... representative image generation unit, 46 ... representative image compression unit, 50 ... YC Processing part.
Claims (14)
上記合成部による合成画像データのダイナミックレンジを圧縮する圧縮部と、を有し、
上記圧縮部は、
上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成して、当該輝度信号を非線形圧縮して輝度信号の圧縮率を求め、当該圧縮率によって画像データを圧縮する
画像処理装置。 A combining unit that combines a plurality of images with different shooting conditions;
A compression unit that compresses the dynamic range of the synthesized image data by the synthesis unit,
The compression part is
When compressing the dynamic range of the composite image data, a luminance signal (Y) is generated from surrounding pixels for a predetermined pixel, and the luminance signal is nonlinearly compressed to obtain a compression rate of the luminance signal. An image processing device that compresses image data.
輝度信号を、圧縮対象の画素と空間位相をあわせて生成する
請求項１記載の画像処理装置。 The compression part is
The image processing apparatus according to claim 1, wherein the luminance signal is generated by combining a spatial phase with a pixel to be compressed.
上記合成画像データに対応するＹ画像を生成するＹ生成部と、
上記Ｙ生成部によるＹ画像を圧縮するＹ圧縮部と、
上記Ｙ生成部によるＹ画像と上記Ｙ圧縮部による圧縮Ｙ画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、
上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む
請求項１または２記載の画像処理装置。 The compression part is
A Y generator for generating a Y image corresponding to the composite image data;
A Y compression unit for compressing a Y image by the Y generation unit;
A compression rate calculation unit that calculates a compression rate for each pixel based on the Y image by the Y generation unit and the compressed Y image by the Y compression unit;
The image processing apparatus according to claim 1, further comprising: an image data compression unit that compresses the composite image data by the synthesis unit at a compression rate calculated by the compression rate calculation unit.
上記合成画像データの画素ごとに空間位相のあったＹ画像を生成する
請求項３記載の画像処理装置。 The Y generator is
The image processing apparatus according to claim 3, wherein a Y image having a spatial phase is generated for each pixel of the composite image data.
上記合成画像データに対応するＹ画像を生成するＹ生成部と、
上記Ｙ生成部によるＹ画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、
上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む
請求項１または２記載の画像処理装置。 The compression part is
A Y generator for generating a Y image corresponding to the composite image data;
A compression rate calculation unit that calculates a compression rate for each pixel based on the Y image by the Y generation unit;
The image processing apparatus according to claim 1, further comprising: an image data compression unit that compresses the composite image data by the synthesis unit at a compression rate calculated by the compression rate calculation unit.
上記合成画像データの画素ごとに空間位相のあったＹ画像を生成する
請求項５記載の画像処理装置。 The Y generator is
The image processing apparatus according to claim 5, wherein a Y image having a spatial phase is generated for each pixel of the composite image data.
上記合成画像データに対応する代表像を生成する代表画像生成部と、
上記代表画像生成部による代表画像を圧縮する代表画像圧縮部と、
上記代表画像生成部による代表画像と上記代表画像圧縮部による圧縮代表画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、
上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む
請求項１または２記載の画像処理装置。 The compression part is
A representative image generation unit for generating a representative image corresponding to the composite image data;
A representative image compression unit for compressing the representative image by the representative image generation unit;
A compression rate calculation unit that calculates a compression rate for each pixel based on the representative image by the representative image generation unit and the compressed representative image by the representative image compression unit;
The image processing apparatus according to claim 1, further comprising: an image data compression unit that compresses the composite image data by the synthesis unit at a compression rate calculated by the compression rate calculation unit.
上記合成画像データの画素ごとに空間位相のあった代表画像を生成する
請求項７記載の画像処理装置。 The representative image generation unit
The image processing apparatus according to claim 7, wherein a representative image having a spatial phase is generated for each pixel of the composite image data.
上記合成画像データに対応する代表像を生成する代表画像生成部と、
上記代表画像生成部による代表画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、
上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む
請求項１または２記載の画像処理装置。 The compression part is
A representative image generation unit for generating a representative image corresponding to the composite image data;
A compression rate calculation unit that calculates a compression rate for each pixel based on the representative image by the representative image generation unit;
The image processing apparatus according to claim 1, further comprising: an image data compression unit that compresses the composite image data by the synthesis unit at a compression rate calculated by the compression rate calculation unit.
上記合成画像データの画素ごとに空間位相のあった代表画像を生成する
請求項９記載の画像処理装置。 The representative image generation unit
The image processing apparatus according to claim 9, wherein a representative image having a spatial phase is generated for each pixel of the composite image data.
上記撮像部で撮影された複数の画像を合成する画像合成部と、
上記合成部による合成画像データのダイナミックレンジを圧縮する圧縮部と、を有し、
上記圧縮部は、
上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成して、当該輝度信号を非線形圧縮して輝度信号の圧縮率を求め、当該圧縮率によって画像データを圧縮する
撮像装置。 An imaging unit that continuously captures a plurality of images with different exposure times;
An image synthesis unit that synthesizes a plurality of images captured by the imaging unit;
A compression unit that compresses the dynamic range of the synthesized image data by the synthesis unit,
The compression part is
When compressing the dynamic range of the composite image data, a luminance signal (Y) is generated from surrounding pixels for a predetermined pixel, and the luminance signal is nonlinearly compressed to obtain a compression rate of the luminance signal. An imaging device that compresses image data.
輝度信号を、圧縮対象の画素と空間位相をあわせて生成する
請求項１１記載の撮像装置。 The compression part is
The imaging apparatus according to claim 11, wherein the luminance signal is generated by combining a spatial phase with a pixel to be compressed.
上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成する第２ステップと、
上記当該輝度信号を非線形圧縮して輝度信号の圧縮率を求める第３ステップと、
上記圧縮率によって画像データを圧縮し、上記合成画像データのダイナミックレンジを圧縮する第４ステップと
を有する画像処理方法。 A first step of combining a plurality of images with different shooting conditions;
A second step of generating a luminance signal (Y) from surrounding pixels for a predetermined pixel when compressing the dynamic range of the composite image data;
A third step of nonlinearly compressing the luminance signal to obtain a compression rate of the luminance signal;
A fourth step of compressing the image data at the compression rate and compressing the dynamic range of the composite image data.
上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成する第２処理と、
上記当該輝度信号を非線形圧縮して輝度信号の圧縮率を求める第３処理と、
上記圧縮率によって画像データを圧縮し、上記合成画像データのダイナミックレンジを圧縮する第４処理と
を含む画像処理をコンピュータに実行させるプログラム。 A first process for combining a plurality of images with different shooting conditions;
A second process of generating a luminance signal (Y) from surrounding pixels for a predetermined pixel when compressing the dynamic range of the composite image data;
A third process for nonlinearly compressing the luminance signal to obtain a compression rate of the luminance signal;
A program for causing a computer to execute image processing including: fourth processing for compressing image data at the compression rate and compressing a dynamic range of the composite image data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008134820A JP2009284269A (en) | 2008-05-22 | 2008-05-22 | Image processor, imaging apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008134820A JP2009284269A (en) | 2008-05-22 | 2008-05-22 | Image processor, imaging apparatus, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009284269A true JP2009284269A (en) | 2009-12-03 |
Family
ID=41454248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008134820A Pending JP2009284269A (en) | 2008-05-22 | 2008-05-22 | Image processor, imaging apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009284269A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140133394A (en) * | 2013-05-10 | 2014-11-19 | 삼성테크윈 주식회사 | Apparatus and method for processing image |
| JP2021034853A (en) * | 2019-08-23 | 2021-03-01 | 日立オートモティブシステムズ株式会社 | Imaging apparatus and imaging method |
-
2008
- 2008-05-22 JP JP2008134820A patent/JP2009284269A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140133394A (en) * | 2013-05-10 | 2014-11-19 | 삼성테크윈 주식회사 | Apparatus and method for processing image |
| JP2014220758A (en) * | 2013-05-10 | 2014-11-20 | 三星テクウィン株式会社Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ | Image processor and image processing method |
| KR102003777B1 (en) | 2013-05-10 | 2019-07-25 | 한화테크윈 주식회사 | Apparatus and method for processing image |
| JP2021034853A (en) * | 2019-08-23 | 2021-03-01 | 日立オートモティブシステムズ株式会社 | Imaging apparatus and imaging method |
| WO2021038983A1 (en) * | 2019-08-23 | 2021-03-04 | 日立オートモティブシステムズ株式会社 | Image capture device and image capture method |
| JP7217211B2 (en) | 2019-08-23 | 2023-02-02 | 日立Astemo株式会社 | Imaging device and imaging method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101267404B1 (en) | Image processor, image processing method, and recording medium | |
| KR101247646B1 (en) | Image combining apparatus, image combining method and recording medium | |
| KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
| JP4208909B2 (en) | Image processing device and photographing device | |
| JP5761946B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| WO2011099138A1 (en) | Image processing device and image processing method | |
| JP2003046859A (en) | Image pickup device and method | |
| JP4810473B2 (en) | Image processing apparatus and image processing program | |
| JP2008124928A (en) | Auto white balance system | |
| EP2214136B1 (en) | Method and program for controlling image capture apparatus | |
| JP6887853B2 (en) | Imaging device, its control method, program | |
| JP3495768B2 (en) | Image synthesis device | |
| JP5814610B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP2010154478A (en) | Compound-eye imaging apparatus and method for generating combined image thereof | |
| JP2010068020A (en) | Image input device | |
| JP2009284269A (en) | Image processor, imaging apparatus, image processing method, and program | |
| JP5146500B2 (en) | Image composition apparatus, image composition method, and program | |
| JP5365881B2 (en) | Image processing apparatus and image processing method | |
| JP7446827B2 (en) | Image processing device, image processing method, and program | |
| JP2015080157A (en) | Image processing device, image processing method and program | |
| JP2014229988A (en) | Image processing apparatus, image processing method, and program | |
| JP6886026B2 (en) | Imaging device | |
| JP2009081526A (en) | Imaging apparatus | |
| JP2007104267A (en) | Color correction processing program and electronic camera | |
| JP2009071408A (en) | Image processing apparatus, and image processing method |