JP2012227758A - Image signal processing apparatus and program - Google Patents
Image signal processing apparatus and program Download PDFInfo
- Publication number
- JP2012227758A JP2012227758A JP2011093985A JP2011093985A JP2012227758A JP 2012227758 A JP2012227758 A JP 2012227758A JP 2011093985 A JP2011093985 A JP 2011093985A JP 2011093985 A JP2011093985 A JP 2011093985A JP 2012227758 A JP2012227758 A JP 2012227758A
- Authority
- JP
- Japan
- Prior art keywords
- color information
- filter
- color
- pixel
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 49
- 230000002093 peripheral effect Effects 0.000 claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims description 28
- 239000003086 colorant Substances 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 230000035945 sensitivity Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Abstract
Description
本発明は、画像信号処理装置及びプログラムに係り、特に、撮像装置においてカラーフィルタを介して取得された画像信号を処理する画像信号処理装置及びプログラムに関する。 The present invention relates to an image signal processing device and a program, and more particularly to an image signal processing device and a program for processing an image signal acquired via a color filter in an imaging device.
従来、可視光成分及び赤外光成分を透過する全透過型（Ｗ）フィルタと、黄色以上の波長に対応する可視光成分及び赤外光成分を透過する（Ｙｅ＋ＩＲ）ロングパスフィルタと、赤色以上の波長に対応する可視光成分及び赤外光成分を透過する（Ｒ＋ＩＲ）ロングパスフィルタと、主に赤外光成分を透過する赤外光透過型（ＩＲ）ロングパスフィルタとによって構成されるカラーフィルタを介する撮像素子の受光信号の処理を行う画像信号処理装置が提案されている（例えば、特許文献１参照）。特許文献１に記載の画像信号処理装置では、（Ｗ）フィルタを介した受光量から（Ｙｅ＋ＩＲ）ロングパスフィルタを介した受光量を減算することにより青色の色情報（Ｂ）を算出し、（Ｙｅ＋ＩＲ）ロングパスフィルタを介した受光量から（Ｒ＋ＩＲ）ロングパスフィルタを介した受光量を減算することにより緑色の色情報（Ｇ）を算出し、（Ｒ＋ＩＲ）ロングパスフィルタを介した受光量から（ＩＲ）ロングパスフィルタを介した受光量を減算することにより赤色の色情報（Ｒ）を算出している。 Conventionally, a total transmission type (W) filter that transmits a visible light component and an infrared light component, a long-pass filter that transmits a visible light component and an infrared light component corresponding to a wavelength of yellow or higher (Ye + IR), and a red or higher filter Via a color filter composed of a (R + IR) long pass filter that transmits visible light components and infrared light components corresponding to the wavelength, and an infrared light transmission type (IR) long pass filter that mainly transmits infrared light components. An image signal processing apparatus that processes a light reception signal of an image sensor has been proposed (see, for example, Patent Document 1). In the image signal processing apparatus described in Patent Document 1, the blue color information (B) is calculated by subtracting the amount of light received through the (Y + IR) long pass filter from the amount of light received through the (W) filter, and (Ye + IR) ) Calculate the green color information (G) by subtracting the amount of light received through the (R + IR) long pass filter from the amount of light received through the long pass filter, and (IR) long pass from the amount of light received through the (R + IR) long pass filter The red color information (R) is calculated by subtracting the amount of light received through the filter.
しかしながら、特許文献１に記載された装置のように、青色から近赤外までの広範囲の波長の光を撮像する場合には、取得したい全ての波長に対してレンズの焦点を合わせることができないという理由から、結果として、それぞれのフィルタを介した受光量に色収差を原因とする空間的なずれが生じる。通常のＲＧＢフィルタをベイヤ配列したカラーフィルタを備えた撮像装置であれば、上記のような空間的なずれは色情報のにじみを発生させるだけである。しかし、特許文献１に記載された画像信号処理装置のように、各受光量を適宜組み合わせて減算することにより色情報を生成する場合には、ある画素が負の色情報を持つという現象が生じ、正しい色情報を生成することができない、という問題がある。 However, when imaging a wide range of wavelengths from blue to near infrared, as in the device described in Patent Document 1, it is impossible to focus the lens on all the wavelengths to be acquired. For the reason, as a result, a spatial shift caused by chromatic aberration occurs in the amount of light received through each filter. In the case of an image pickup apparatus including a color filter in which normal RGB filters are arranged in a Bayer arrangement, the spatial shift as described above only causes color information to blur. However, when color information is generated by appropriately subtracting each received light amount as in the image signal processing apparatus described in Patent Document 1, a phenomenon occurs in which a certain pixel has negative color information. There is a problem that correct color information cannot be generated.
本発明は、上記の問題点を解決するためになされたもので、透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、カラー画像の色再現性を向上させることができる画像信号処理装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and combines each of the signals obtained by the imaging means via a color filter composed of a plurality of types of filters having different wavelength bands of transmitted light. An object of the present invention is to provide an image signal processing apparatus and program capable of improving the color reproducibility of a color image even when color information is generated by subtraction.
上記目的を達成するために第１の発明の画像信号処理装置は、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段と、を含んで構成されている。 In order to achieve the above object, an image signal processing apparatus according to a first aspect of the present invention is a color filter in which a plurality of types of filters having different wavelength bands of light to be transmitted are arranged in a Bayer array, and an image sensor that constitutes a pixel is a filter of the color filter. An imaging unit arranged to correspond to each of the imaging units, and an optical system that forms an image of light transmitted through the color filter on the imaging device, and outputs a signal corresponding to the amount of light received by the imaging device; , Using the signal of the pixel of interest output from the imaging means and the signals of a plurality of peripheral pixels around the pixel of interest, obtaining each value for each type of the filter for the pixel of interest, Generating means for generating color information of a plurality of different colors for each of the combinations of the target pixel by subtracting in a combination determined according to the type of the filter; Interpolating means for interpolating the color information of the pixel of interest using color information of peripheral pixels whose color information is positive when at least one of the color information of the pixel of interest generated by the generating means is negative; It is configured to include.
第１の発明の画像信号処理装置によれば、撮像手段は、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子がカラーフィルタのフィルタ各々に対応するように配列された撮像部、及びカラーフィルタを透過した光を撮像素子に結像させる光学系を備えている。撮像手段は、撮像素子での受光量に応じた信号を出力する。そして、生成手段が、撮像手段から出力された注目画素の信号、及び注目画素の周辺の複数の周辺画素の信号各々を用いて、注目画素についてフィルタの種類毎の値各々を求め、値各々をフィルタの種類に応じて定めた組み合わせで減算することにより、注目画素について組み合わせ毎に異なる複数色の色情報を生成する。 According to the image signal processing apparatus of the first invention, the image pickup means includes a color filter in which a plurality of types of filters having different wavelength bands of light to be transmitted are arranged in a Bayer array, and an image pickup device that constitutes a pixel is a color filter. An image pickup unit arranged so as to correspond thereto and an optical system that forms an image on the image pickup element through the light transmitted through the color filter are provided. The imaging means outputs a signal corresponding to the amount of light received by the imaging element. Then, the generation unit obtains each value of each type of filter for the target pixel using each of the signal of the target pixel output from the imaging unit and the signals of a plurality of peripheral pixels around the target pixel. By subtracting a combination determined according to the type of filter, color information of a plurality of colors different for each combination is generated for the target pixel.
生成手段では、減算により色情報を生成するため、生成された色情報は負の値を含んでいる場合がある。このような色情報の画素を用いてカラー画像を生成すると、色再現性が低下する。そこで、補間手段が、生成手段により生成された注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、注目画素の色情報を補間する。 Since the generation means generates color information by subtraction, the generated color information may include a negative value. When a color image is generated using such color information pixels, color reproducibility deteriorates. Therefore, when at least one of the color information of the target pixel generated by the generation unit is negative, the interpolation unit interpolates the color information of the target pixel using the color information of the peripheral pixels whose color information is positive.
このように、透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、色情報が負の値を含む画素の色情報については、周辺の色情報が負の値を含まない画素の色情報を用いて補間されるため、カラー画像の色再現性を向上させることができる。 As described above, even when color information is generated by combining and subtracting each of the signals obtained by the imaging means via the color filter composed of a plurality of types of filters having different wavelength bands of the transmitted light. The color information of pixels whose color information includes negative values is interpolated using the color information of pixels whose peripheral color information does not include negative values, so that the color reproducibility of a color image can be improved. it can.
また、第１の発明において、前記カラーフィルタの前記複数種類のフィルタを、可視光領域の一部の波長帯の光及び赤外光領域の波長帯の光を透過する複数種類の可視光透過型ロングパスフィルタ、または可視光領域の全域の波長帯の光及び赤外光領域の波長帯の光を透過する全透過型フィルタと、赤外光領域の波長の光を透過する赤外光透過型ロングパスフィルタとすることができる。 In the first invention, the plurality of types of filters of the color filter may be a plurality of types of visible light transmission types that transmit light in a partial wavelength band of the visible light region and light in the wavelength band of the infrared light region. Long-pass filter, or a total transmission filter that transmits light in the wavelength range of the visible light region and light in the wavelength range of the infrared light region, and an infrared light transmission-type long pass that transmits light in the wavelength region of the infrared light region It can be a filter.
また、前記複数種類の可視光透過型ロングパスフィルタを、黄色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第１可視光透過型ロングパスフィルタと、赤色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する第２可視光透過型ロングパスフィルとし、前記カラーフィルタの前記複数種類のフィルタを、前記全透過型フィルタと、前記第１可視光透過型ロングパスフィルタと、前記第２可視光透過型ロングパスフィルと、前記赤外光透過型ロングパスフィルタとすることができる。 Further, the plurality of types of visible light transmission type long pass filters include a first visible light transmission type long pass filter that transmits light in a wavelength band of visible light region of yellow or higher and light in a wavelength band of infrared light region, and red or more. A second visible light transmission type long pass fill that transmits light in the wavelength band of the visible light region and light in the wavelength band of the infrared light region, the plurality of types of filters of the color filter, the total transmission filter, The first visible light transmission type long pass filter, the second visible light transmission type long pass filter, and the infrared light transmission type long pass filter may be used.
また、前記生成手段は、前記赤外透過型ロングパスフィルタに対応する画素の信号を用いて、前記可視光透過型ロングパスフィルタまたは前記全透過型フィルタに対応する画素の信号から赤外成分を除去することができる。 In addition, the generation unit removes an infrared component from the signal of the pixel corresponding to the visible light transmission long-pass filter or the total transmission filter using the signal of the pixel corresponding to the infrared transmission long-pass filter. be able to.
また、前記補間手段は、前記色情報が正の周辺画素のうち、前記注目画素の最近傍の周辺画素の色情報で補間するか、または前記注目画素から所定範囲内に存在し、前記色情報が正の周辺画素の色情報、もしくは前記注目画素から前記色情報が正の周辺画素が所定個となるまで探索したときの該所定個の周辺画素の色情報の平均、最大値、最小値、最頻値、もしくは前記注目画素と前記周辺画素との距離に応じた重み付き平均で補間することができる。 Further, the interpolation means interpolates with color information of peripheral pixels nearest to the target pixel among peripheral pixels whose color information is positive, or exists within a predetermined range from the target pixel, and the color information Is the color information of the positive peripheral pixels, or the average, maximum value, minimum value of the color information of the predetermined peripheral pixels when the color information is searched from the target pixel until the positive peripheral pixels become a predetermined number, Interpolation can be performed with a mode value or a weighted average according to the distance between the target pixel and the surrounding pixels.
また、第２の発明の画像信号処理装置は、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備え、前記撮像素子での受光量に応じた信号を出力する撮像手段と、前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算する際に、差が０または正になる場合には該差を色情報とし、前記差が負になる場合には、前記周辺画素の正となる差を用いて色情報とすることにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、を含んで構成されている。 In the image signal processing apparatus according to the second invention, a color filter in which a plurality of types of filters having different wavelength bands of light to be transmitted are arranged in a Bayer array, and an image sensor that constitutes a pixel corresponds to each of the filters of the color filter. An imaging unit arranged on the imaging element, and an optical system that forms an image on the imaging element with light transmitted through the color filter, and an imaging unit that outputs a signal corresponding to the amount of light received by the imaging element; Using the output signal of the pixel of interest and the signals of a plurality of peripheral pixels around the pixel of interest, each value of the filter type is obtained for the pixel of interest, and each value is set as the filter type. When the difference is 0 or positive when subtracting according to a combination determined accordingly, the difference is used as color information, and when the difference is negative, color information is obtained using the positive difference of the surrounding pixels. With it is configured to include a generating means for generating color information of a plurality of colors that differ for each of the combinations for said pixel of interest.
また、第３の発明の画像信号処理プログラムは、コンピュータを、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備えた撮像手段から出力される、前記撮像素子での受光量に応じた信号を取得する取得手段、前記取得手段で取得された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段、及び前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段として機能させるためのプログラムである。 According to a third aspect of the present invention, there is provided an image signal processing program comprising: a color filter in which a plurality of types of filters having different wavelength bands of transmitted light are arranged in a Bayer array; and an image sensor that constitutes a pixel in each of the color filter filters. A signal corresponding to the amount of light received by the image sensor that is output from an imaging unit that includes an imaging unit that is arranged in a corresponding manner and an optical system that forms an image of light transmitted through the color filter on the image sensor. Using the acquisition unit to acquire, the signal of the target pixel acquired by the acquisition unit, and the signals of a plurality of peripheral pixels around the target pixel, each of the values for each type of the filter for the target pixel is obtained, By subtracting each of the values in a combination determined according to the type of filter, color information of a plurality of colors different for each of the combinations for the target pixel is obtained. And at least one of the color information of the pixel of interest generated by the generation unit is negative, the color information of the pixel of interest is obtained using color information of peripheral pixels whose color information is positive. It is a program for functioning as an interpolation means for interpolation.
以上説明したように、本発明の画像信号処理装置及びプログラムによれば、透過する光の波長帯が異なる複数種類のフィルタで構成されたカラーフィルタを介して撮像手段により得られた信号各々を組み合わせて減算することにより色情報を生成する場合であっても、色情報が負の値を含む画素の色情報については、周辺の色情報が負の値を含まない画素の色情報を用いて補間されるため、カラー画像の色再現性を向上させることができる、という効果が得られる。 As described above, according to the image signal processing device and the program of the present invention, the signals obtained by the imaging means are combined through the color filter composed of a plurality of types of filters having different wavelength bands of transmitted light. Even when color information is generated by subtracting, the color information of pixels whose color information contains a negative value is interpolated using the color information of pixels whose peripheral color information does not contain a negative value. Therefore, the effect that the color reproducibility of the color image can be improved is obtained.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ撮像された車両前方画像を夜間においても視認性が良好な画像として提供するカラーナイトビューシステムに用いられる画像信号処理装置に本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, the present invention is applied to an image signal processing apparatus used in a color night view system that is mounted on a vehicle and provides a captured vehicle front image as an image having good visibility even at night. A case will be described as an example.
図１に示すように、本実施の形態に係る画像信号処理装置１０は、対象領域を撮像する撮像装置１２と、撮像装置１２から出力される画像信号を処理するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。 As shown in FIG. 1, an image signal processing apparatus 10 according to the present embodiment includes an imaging apparatus 12 that captures an image of a target region, a computer 16 that processes an image signal output from the imaging apparatus 12, and a computer 16. And a display device 18 for displaying the processing result.
撮像装置１２は、車両前方の対象領域を撮像し、後述するカラーフィルタ１２ａ、画素を構成する撮像素子が配列され、画像信号を生成する撮像部１２ｂ、カラーフィルタ１２ａを透過した光を撮像部１２ｂに結像させるレンズ１２ｃ、撮像部１２ｂで生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。 The imaging device 12 images a target area in front of the vehicle, a color filter 12a, which will be described later, and an imaging device that constitutes a pixel are arranged, an imaging unit 12b that generates an image signal, and light that has passed through the color filter 12a. A lens 12c that forms an image, an A / D conversion unit (not shown) that converts an analog image signal generated by the imaging unit 12b into a digital signal, and an A / D converted image signal are temporarily stored An image memory (not shown) is provided.
本実施の形態のように、夜間でも視認性良好な画像を得るシステムを提供するためには、可視光領域の波長帯の光を用いて撮像される画像（以下、カラー画像という）、及び近赤外域の波長帯の光を用いて撮像される画像（以下、近赤外画像という）が同時に取得される必要がある。そのため、本実施の形態では、撮像装置１２として、１台でカラー画像及び近赤外画像の双方を取得可能なマルチバンドカメラを用いる。 In order to provide a system that obtains an image with good visibility even at night as in this embodiment, an image captured using light in the wavelength band of the visible light region (hereinafter referred to as a color image) Images captured using light in the infrared wavelength band (hereinafter referred to as near-infrared images) need to be acquired simultaneously. Therefore, in this embodiment, a multiband camera capable of acquiring both a color image and a near-infrared image is used as a single imaging device 12.
撮像装置１２の撮像素子の前面には、異なる波長帯の光を透過する複数種類のフィルタがベイヤ配列されたカラーフィルタ１２ａが設けられている。各フィルタは各々１つの撮像素子に対応する。図２に、カラーフィルタ１２ａの構成を示す。複数種類のフィルタとして、可視光領域及び赤外光領域の波長帯の光を透過する全透過型フィルタ（以下、「Ｗフィルタ」という）、黄色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する可視光領域（Ｙｅ＋ＩＲ）透過型ロングパスフィルタ（以下、「Ｙｅ＋ＩＲフィルタ」という）、赤色以上の可視光領域の波長帯の光及び赤外光領域の波長帯の光を透過する可視光領域（Ｒ＋ＩＲ）透過型ロングパスフィル（以下、「Ｒ＋ＩＲフィルタ」という）、及び主に赤外光領域の波長帯の光を透過する赤外光透過型ロングパスフィルタ（以下、「ＩＲフィルタ」という）が用いられている。図３に、各フィルタの分光感度特性を示す。 A color filter 12 a in which a plurality of types of filters that transmit light in different wavelength bands are arranged in a Bayer arrangement is provided on the front surface of the imaging element of the imaging device 12. Each filter corresponds to one image sensor. FIG. 2 shows the configuration of the color filter 12a. As a plurality of types of filters, an all-transmission filter (hereinafter referred to as “W filter”) that transmits light in the wavelength band of the visible light region and the infrared light region, and light and infrared light in the wavelength region of the visible light region above yellow Visible light region (Ye + IR) transmissive long-pass filter (hereinafter referred to as “Ye + IR filter”) that transmits light in the wavelength region of the light region, light in the wavelength region of visible light region above red, and wavelength region of infrared light region Visible light region (R + IR) transmission type long pass filter (hereinafter referred to as “R + IR filter”) that transmits light, and infrared light transmission type long pass filter (hereinafter referred to as “R + IR filter”) that mainly transmits light in the wavelength band of the infrared light region. IR filter ”) is used. FIG. 3 shows the spectral sensitivity characteristics of each filter.
上記のＹｅ＋ＩＲフィルタ、Ｒ＋ＩＲフィルタ、及びＩＲフィルタのようなロングパスフィルタは、あるカットオフ波長より短い波長の光を遮断して、それより長い波長の光を透過する。従って、可視光領域透過型ロングパスフィルタ（カットオフ波長が可視光領域の波長であるロングパスフィルタ）及び赤外光透過型ロングパスフィルタでは、長波長領域である赤外光領域の波長帯の光は透過する。このため、赤外光の波長毎の透過特性はフィルタの種類によらず略一定であり、各フィルタを介して得られた画像信号の線形演算によって、赤外光成分を容易に除去することができる。この特性を利用して、後述の色情報生成部２０の処理を考慮して、ロングパスフィルタのカットオフ波長は、通常のカラーフィルタであるＲＧＢフィルタの各両端の波長とあわせた波長となっている。 Long-pass filters such as the Ye + IR filter, R + IR filter, and IR filter described above block light having a wavelength shorter than a certain cutoff wavelength and transmit light having a longer wavelength. Therefore, in the visible light region transmission type long pass filter (long pass filter whose cutoff wavelength is the wavelength in the visible light region) and infrared light transmission type long pass filter, light in the wavelength region of the infrared light region which is the long wavelength region is transmitted. To do. For this reason, the transmission characteristic of each wavelength of infrared light is substantially constant regardless of the type of filter, and the infrared light component can be easily removed by linear calculation of the image signal obtained through each filter. it can. Using this characteristic, considering the processing of the color information generation unit 20 described later, the cut-off wavelength of the long pass filter is a wavelength combined with the wavelengths at both ends of the RGB filter which is a normal color filter. .
コンピュータ１６は、画像信号処理装置１０全体の制御を司るＣＰＵ、後述する画像信号処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。 The computer 16 includes a CPU that controls the entire image signal processing apparatus 10, a ROM as a storage medium that stores an image signal processing routine program, which will be described later, a RAM that temporarily stores data as a work area, and a bus that connects them. It is comprised including. In the case of such a configuration, a program for realizing the function of each component is stored in the ROM, and the CPU executes the program so that each function is realized.
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２から出力された画像信号を用いて各画素の色情報を生成する色情報生成部２０と、負の色情報を補間する色情報補間部２２と、擬似カラー画像を生成する擬似カラー画像生成部２４とを含んだ構成で表すことができる。 When the computer 16 is described with function blocks divided for each function realizing means determined based on hardware and software, as shown in FIG. 1, the color of each pixel using the image signal output from the imaging device 12 is used. It can be represented by a configuration including a color information generation unit 20 that generates information, a color information interpolation unit 22 that interpolates negative color information, and a pseudo color image generation unit 24 that generates a pseudo color image.
色情報生成部２０は、撮像装置１２から出力された画像信号に基づいて、各画素について、Ｗフィルタを透過した光に基づく画像信号（以下、「Ｗ値」という）、Ｙｅ＋ＩＲフィルタを透過した光に基づく画像信号（以下、「Ｙｅ＋ＩＲ値」という）、Ｒ＋ＩＲフィルタを透過した光に基づく画像信号（以下、「Ｒ＋ＩＲ値」という）、及びＩＲフィルタを透過した光に基づく画像信号（以下、「ＩＲ値」という）を取得する。各フィルタは各撮像素子に対応しているため、１画素にはＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値のいずれかが対応している。その画素に対応していない他の値は、周辺画素の値を混合して取得する。例えば、図４に示すように、各画素の画像信号が得られている場合において、注目画素Ｐ０については、Ｒ＋ＩＲ値は注目画素自体の値を用い、Ｗ値は周辺画素Ｐ４及びＰ５の値を用いて算出し、Ｙｅ＋ＩＲ値は周辺画素Ｐ１、Ｐ３、Ｐ６及びＰ８の値を用いて算出し、ＩＲ値は周辺画素Ｐ２及びＰ７の値を用いて算出することができる。 Based on the image signal output from the imaging device 12, the color information generation unit 20 uses, for each pixel, an image signal based on light transmitted through the W filter (hereinafter referred to as “W value”), and light transmitted through the Ye + IR filter. Image signal (hereinafter referred to as “Ye + IR value”), an image signal based on light transmitted through the R + IR filter (hereinafter referred to as “R + IR value”), and an image signal based on light transmitted through the IR filter (hereinafter referred to as “IR”). Value)). Since each filter corresponds to each imaging device, one pixel corresponds to any of W value, Ye + IR value, R + IR value, and IR value. Other values not corresponding to the pixel are obtained by mixing the values of the surrounding pixels. For example, as shown in FIG. 4, when the image signal of each pixel is obtained, for the target pixel P0, the R + IR value uses the value of the target pixel itself, and the W value uses the values of the surrounding pixels P4 and P5. The Ye + IR value can be calculated using the values of the peripheral pixels P1, P3, P6, and P8, and the IR value can be calculated using the values of the peripheral pixels P2 and P7.
また、色情報生成部２０は、算出した各画素のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を、下記（１）式によりＲＧＢ色情報であるＲ値、Ｇ値及びＢ値に変換する。（１）式は、Ｒ値がＲ＋ＩＲ値とＩＲ値との差、Ｇ値がＹｅ＋ＩＲ値とＲ＋ＩＲ値との差、Ｂ値がＷ値とＹｅ＋ＩＲ値との差であることを表している。図５に、分光感度グラフにおける色情報を視覚的に表した図を示す。 Further, the color information generation unit 20 converts the calculated W value, Ye + IR value, R + IR value, and IR value of each pixel into R value, G value, and B value that are RGB color information by the following equation (1). . Equation (1) indicates that the R value is the difference between the R + IR value and the IR value, the G value is the difference between the Ye + IR value and the R + IR value, and the B value is the difference between the W value and the Ye + IR value. FIG. 5 is a diagram visually representing the color information in the spectral sensitivity graph.
また、色情報生成部２０は、各画素のＩＲ値を抽出して、後述する擬似カラー画像生成部２４へ出力する。 Further, the color information generation unit 20 extracts the IR value of each pixel and outputs it to the pseudo color image generation unit 24 described later.
ここで、本実施の形態の原理について説明する。 Here, the principle of the present embodiment will be described.
上述のように、本実施の形態の画像信号処理装置１０で、青色から近赤外までの広範囲の波長帯の光に基づく画像を撮像する場合には、取得したい全ての波長に対してレンズの焦点を合わせることができないという理由から、結果として、それぞれのフィルタを介した画像信号Ｗ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値に色収差を原因とする空間的なずれが生じる。このため、（１）式のように、Ｗ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を適宜組み合わせて減算することにより、ＲＧＢ色情報を生成する場合には、色情報が負の値になってしまう場合がある。負の値を持つ色情報をそのままカラー画像に使用すると、偽色と呼ばれる実際に肉眼で見た色とは異なる色を表現し、視認性に悪影響を与えることとなる。 As described above, when the image signal processing apparatus 10 according to the present embodiment captures an image based on light in a wide wavelength band from blue to near infrared, the lens of all the wavelengths to be acquired is captured. As a result, the image signal W value, the Ye + IR value, the R + IR value, and the IR value that have passed through the respective filters are spatially shifted due to chromatic aberration because the focus cannot be achieved. For this reason, when generating RGB color information by appropriately combining and subtracting the W value, Ye + IR value, R + IR value, and IR value as shown in equation (1), the color information becomes a negative value. May end up. If color information having a negative value is used as it is in a color image, a color different from the color actually seen with the naked eye, called a false color, is expressed, which adversely affects visibility.
図６に、色情報生成部２０で生成された色情報の解析結果の一例を示す。色情報が負の値になる現象は、高輝度領域周辺で顕著に現れる。このような現象は、先行車両のテールランプの色や信号灯火の色に影響を及ぼすため、カラーナイトビューシステムにおいては、非常に重要である。 FIG. 6 shows an example of the analysis result of the color information generated by the color information generation unit 20. The phenomenon that the color information becomes a negative value appears remarkably around the high luminance region. Such a phenomenon is very important in the color night view system because it affects the color of the tail lamp of the preceding vehicle and the color of the signal light.
この現象の対応策として、生成された色情報全体に対してぼかし関数（例えば、ガウス関数等）を畳み込むことで、色情報を全体的に平滑化し、欠損した色情報を補間する方法が考えられる。しかしながら、この手法を適用した場合、正確に色情報が生成できていた画素の情報までも周囲と平滑化されてしまい、画像全体の色味が低下し、色の視認性が低くなってしまう。 As a countermeasure for this phenomenon, a method of smoothing the color information as a whole by convolving a blurring function (for example, a Gaussian function) with respect to the entire generated color information and interpolating the missing color information can be considered. . However, when this method is applied, even the pixel information for which the color information has been generated accurately is smoothed with the surroundings, the color of the entire image is lowered, and the color visibility is lowered.
そこで、本実施の形態では、色情報が負の値となる画素のみに対して、周辺画素の色情報を用いて色情報を補間する。以下、色情報補間部２２で行われる具体的な処理について説明する。 Therefore, in this embodiment, color information is interpolated using color information of peripheral pixels only for pixels for which color information has a negative value. Hereinafter, specific processing performed by the color information interpolation unit 22 will be described.
色情報補間部２２は、各画素を順次注目画素に設定し、注目画素について色情報生成部２０で生成された色情報が負の値を含むか否かを判定する。注目画素が負の値を含む場合には、この注目画素から所定範囲に存在する周辺画素のうち、色情報に負の値を含まない周辺画素を抽出し、抽出された周辺画素の色情報を用いて、注目画素と周辺画素との距離に応じた重み付き平均（例えば、下記（２）式のガウス関数のような重み）により、注目画素の色情報を補間する。なお、補間方法は、重み付き平均に限定されず、抽出された周辺画素の色情報の平均、最大値、最小値、最頻値等を用いてもよい。 The color information interpolation unit 22 sequentially sets each pixel as a target pixel, and determines whether the color information generated by the color information generation unit 20 for the target pixel includes a negative value. When the target pixel includes a negative value, a peripheral pixel that does not include a negative value in the color information is extracted from the peripheral pixels existing within a predetermined range from the target pixel, and the color information of the extracted peripheral pixel is obtained. The color information of the pixel of interest is interpolated using a weighted average (for example, a weight like a Gaussian function of the following equation (2)) according to the distance between the pixel of interest and the surrounding pixels. Note that the interpolation method is not limited to the weighted average, and an average, maximum value, minimum value, mode value, and the like of the color information of the extracted peripheral pixels may be used.
ここで、ｋは注目画素から周辺画素までの正規化された距離を示す。 Here, k represents a normalized distance from the target pixel to the surrounding pixels.
擬似カラー画像生成部２４は、色情報補間部２２で補間された色情報を用いたカラー画像と、色情報生成部２０で抽出されたＩＲ値を用いた近赤外画像とを合成して、夜間における視認性が良好な擬似カラー画像を生成し、表示装置１８に表示する。カラー画像と近赤外画像との合成方法は、例えば、ＩＲ値が所定値以上の領域は近赤外画像を用い、ＩＲ値が所定値未満の場合にはカラー画像を用いる等の周知の手法を適用することができる。 The pseudo color image generation unit 24 combines the color image using the color information interpolated by the color information interpolation unit 22 and the near-infrared image using the IR value extracted by the color information generation unit 20, A pseudo color image with good visibility at night is generated and displayed on the display device 18. As a method for synthesizing a color image and a near-infrared image, for example, a well-known method such as using a near-infrared image in an area where the IR value is equal to or greater than a predetermined value, and using a color image when the IR value is less than the predetermined value Can be applied.
次に、本実施の形態の画像信号処理装置１０の作用について説明する。撮像装置１２によって、自車両の前方が連続して撮像されているときに、コンピュータ１６において、図７に示す画像信号処理ルーチンが実行される。 Next, the operation of the image signal processing apparatus 10 of the present embodiment will be described. When the front of the host vehicle is continuously imaged by the imaging device 12, the image signal processing routine shown in FIG.
ステップ１００で、撮像装置１２で撮像された画像信号を取得する。次に、ステップ１０２で、各画素及びその画素の周辺画素の画像信号を用いて、画素毎のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を算出する。 In step 100, an image signal captured by the imaging device 12 is acquired. Next, in step 102, the W value, Ye + IR value, R + IR value, and IR value for each pixel are calculated using the image signal of each pixel and the peripheral pixels of the pixel.
次に、ステップ１０４で、上記ステップ１０２で算出した各画素のＷ値、Ｙｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値を、所定の組み合わせで減算して、ＲＧＢ色情報であるＲ値、Ｇ値及びＢ値を生成する。例えば、（１）式によりにＹｅ＋ＩＲ値、Ｒ＋ＩＲ値、及びＩＲ値をＲ値、Ｇ値及びＢ値に変換する。 Next, in step 104, the W value, Ye + IR value, R + IR value, and IR value of each pixel calculated in step 102 are subtracted in a predetermined combination to obtain R value, G value, and B as RGB color information. Generate a value. For example, the Ye + IR value, the R + IR value, and the IR value are converted into an R value, a G value, and a B value according to the equation (1).
次に、ステップ１０６で、全画素の中から１つの画素を選択して注目画素に設定し、次に、ステップ１０８で、注目画素の色情報が負の値を含むか否かを判定する。色情報が負の値を含む場合には、ステップ１１０へ移行し、この注目画素から所定範囲に存在する周辺画素のうち、色情報に負の値を含まない周辺画素を抽出し、抽出された周辺画素の色情報を用いて、注目画素と周辺画素との距離に応じた重み付き平均等により、注目画素の色情報を補間して、ステップ１１２へ移行する。一方、注目画素の色情報が負の値を含まないと判定された場合には、ステップ１１０をスキップして、ステップ１１２へ移行する。 Next, in step 106, one pixel is selected from all the pixels and set as the target pixel. Next, in step 108, it is determined whether or not the color information of the target pixel includes a negative value. When the color information includes a negative value, the process proceeds to step 110, and the peripheral pixels that do not include the negative value in the color information are extracted from the peripheral pixels existing in the predetermined range from the target pixel. Using the color information of the peripheral pixels, the color information of the target pixel is interpolated by a weighted average according to the distance between the target pixel and the peripheral pixel, and the process proceeds to step 112. On the other hand, when it is determined that the color information of the target pixel does not include a negative value, step 110 is skipped and the process proceeds to step 112.
ステップ１１２では、全画素について注目画素に設定されたか否かを判定する。未処理の画素が存在する場合には、ステップ１０６へ戻り、次の注目画素を設定して処理を繰り返す。全ての画素について処理が終了すると、ステップ１１４へ移行し、色情報が補間された、すなわち色情報に負の値を含まない各画素の色情報を用いたカラー画像と、上記ステップ１０２で算出された各画素のＩＲ値を用いた近赤外画像とを合成して、夜間における視認性が良好な擬似カラー画像を生成し、表示装置１８に表示して、処理を終了する。 In step 112, it is determined whether or not all pixels have been set as the target pixel. If there is an unprocessed pixel, the process returns to step 106 to set the next target pixel and repeat the process. When the processing is completed for all the pixels, the process proceeds to step 114 where the color information is interpolated, that is, the color image using the color information of each pixel that does not include a negative value in the color information, and is calculated in step 102 above. Then, a pseudo-color image having good visibility at night is generated by synthesizing with the near-infrared image using the IR value of each pixel, and displayed on the display device 18 to finish the process.
ここで、図８に、本実施の形態の画像信号処理装置１０で撮像した画像について、色情報生成部２０で生成された色情報のうち、ある３×３の９画素分の領域の色情報を抜き出した結果を示す。この色情報は、色情報補間部２２による補間前の値である。従って、前述したように、レンズ１２ｃの色収差により各撮像素子が受光する波長には空間的なずれが発生し、結果として負の値を持つ色情報が生成されている。図９に、この補間前の色情報を用いた画像（実際にはカラー画像）の一例を示す。色情報に負の値を持つ画素が存在していることにより、特に高輝度領域周辺で色情報が欠損している部分が確認できる。 Here, FIG. 8 shows color information of an area corresponding to 9 pixels of 3 × 3 among the color information generated by the color information generation unit 20 for the image captured by the image signal processing apparatus 10 of the present embodiment. The result of extracting is shown. This color information is a value before interpolation by the color information interpolation unit 22. Therefore, as described above, a spatial shift occurs in the wavelength received by each image sensor due to the chromatic aberration of the lens 12c, and as a result, color information having a negative value is generated. FIG. 9 shows an example of an image (actually a color image) using the color information before interpolation. Since there is a pixel having a negative value in the color information, it is possible to confirm a portion where the color information is missing particularly around the high luminance region.
次に、参考例として、生成された色情報全体に対してぼかし関数を畳み込むことで、色情報を全体的に平滑化し、欠損した色情報を補間した場合について説明する。図１０に、図８に示す９画素分の領域に対して、色情報全体にぼかし関数を畳み込んだ結果を示す。また、図１１に、図９と同じ場面において、色情報全体にぼかし関数を畳み込んだ画像（実際にはカラー画像）の一例を示す。色情報全体にぼかし関数を畳み込む手法では、色情報に負の値を含む画素の色情報を復元することが可能となるが、全体に対してぼかし関数を畳み込んでいるため、正しく色情報を生成していた画素の色情報が変わってしまう。また、色情報が欠損する領域は、高輝度領域周辺では特に広範囲に及ぶため、正しく色情報を生成していた画素の色情報を欠損させ、結果として、視認性の大幅な向上には至っていないことが確認できる。 Next, as a reference example, a case will be described in which the color information is entirely smoothed by convolving a blurring function with respect to the entire generated color information, and the missing color information is interpolated. FIG. 10 shows the result of convolution of the blurring function into the entire color information for the area for nine pixels shown in FIG. FIG. 11 shows an example of an image (actually a color image) in which the blur function is convolved with the entire color information in the same scene as FIG. The method of convolving the blurring function with the entire color information makes it possible to restore the color information of the pixel whose color information contains a negative value, but since the blurring function is convolved with the entire color information, the color information is correctly displayed. The color information of the generated pixel changes. In addition, since the area where the color information is lost is particularly wide in the vicinity of the high luminance area, the color information of the pixel that has correctly generated the color information is lost, and as a result, the visibility is not significantly improved. I can confirm that.
次に、図１２に、図８に示す９画素分の領域に対して、本実施の形態の画像信号処理装置１０の色情報補間部２２における補間処理を行った結果を示す。また、図１３に、図９と同じ場面において、本実施の形態の画像信号処理装置１０の色情報補間部２２における補間処理を行った色情報を用いた画像（実際にはカラー画像）の一例を示す。図９及び図１１と図１３とを比較すると、高輝度領域周辺において、明らかに図１３に示す画像の視認性が向上していることが確認できる。また、もともと正しい色情報を生成していた画素に対しては補間処理を行わないため、画像全体の色味を低下させることなく、欠損画素の色情報を補間して、画像全体の色再現性を向上することを可能にした。 Next, FIG. 12 shows the result of performing the interpolation processing in the color information interpolation unit 22 of the image signal processing apparatus 10 of the present embodiment on the region for nine pixels shown in FIG. FIG. 13 shows an example of an image using color information (actually a color image) subjected to the interpolation processing in the color information interpolation unit 22 of the image signal processing apparatus 10 of the present embodiment in the same scene as FIG. Indicates. Comparing FIG. 9 and FIG. 11 with FIG. 13, it can be confirmed that the visibility of the image shown in FIG. 13 is clearly improved around the high luminance region. In addition, since interpolation processing is not performed for pixels that originally generated correct color information, the color reproducibility of the entire image is obtained by interpolating the color information of the missing pixels without degrading the color of the entire image. Made it possible to improve.
以上説明したように、本実施の形態の画像信号処理装置によれば、透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタを介して撮像装置により得られた画像信号各々を組み合わせて減算することにより色情報を生成する場合であっても、色情報が負の値を含む画素の色情報については、周辺の色情報が負の値を含まない画素の色情報を用いて補間されるため、カラー画像の色再現性を向上させることができる。 As described above, according to the image signal processing device of the present embodiment, each of the image signals obtained by the imaging device via the color filter in which a plurality of types of filters having different wavelength bands of transmitted light are arranged in a Bayer array. Even when the color information is generated by combining and subtracting, the color information of the pixel whose color information includes a negative value is the color information of the pixel whose peripheral color information does not include the negative value. Therefore, the color reproducibility of the color image can be improved.
なお、上記実施の形態では、本発明をカラーナイトビューシステムに適用した場合について説明したが、これに限定されない。従って、カラー画像と近赤外画像とを合成した擬似カラー画像を生成する場合に限らず、透過する光の波長帯が異なるフィルタを介して得られた画像信号を組み合わせて減算することにより色情報を生成する場合であれば、適用可能である。 In the above embodiment, the case where the present invention is applied to the color night view system has been described. However, the present invention is not limited to this. Therefore, not only when generating a pseudo color image that combines a color image and a near-infrared image, but by combining and subtracting image signals obtained through filters with different wavelength bands of transmitted light, color information is obtained. Is applicable to the case of generating
また、撮像装置に用いられるカラーフィルタの構成も、上記実施の形態の構成に限定されない。フィルタを介して得られる画像信号を組み合わせて減算することにより所望の色情報が得られるように、各々のフィルタのカットオフ波長が定められていればよい。 Further, the configuration of the color filter used in the imaging apparatus is not limited to the configuration of the above embodiment. The cut-off wavelength of each filter only needs to be determined so that desired color information can be obtained by combining and subtracting image signals obtained through the filters.
また、上記実施の形態では、色情報を補間する際に、注目画素から所定範囲に存在する周辺画素であって、色情報に負の値を含まない周辺画素の色情報を用いる場合について説明したが、補間の手法は、これに限定されない。例えば、色情報に負の値を含まない周辺画素であって、注目画素の最近傍の周辺画素の色情報をそのまま用いてもよい。また、注目画素の近傍から色情報に負の値を含まない周辺画素を探索し、徐々に探索範囲を広げ、ある一定の数だけ周辺画素が抽出されたところで探索を終了し、抽出された周辺画素の色情報の平均、最大値、最小値、最頻値、重み付き平均等を用いて補間してもよい。 Further, in the above-described embodiment, when color information is interpolated, a case has been described in which color information of peripheral pixels that are within a predetermined range from the target pixel and do not include negative values in the color information is used. However, the interpolation method is not limited to this. For example, the color information of peripheral pixels that are peripheral pixels that do not include negative values in the color information and that are closest to the target pixel may be used as they are. Also, search for neighboring pixels that do not contain negative values in the color information from the vicinity of the pixel of interest, gradually expand the search range, and when a certain number of neighboring pixels have been extracted, the search ends, and the extracted neighboring pixels Interpolation may be performed using an average, maximum value, minimum value, mode value, weighted average or the like of pixel color information.
また、本実施の形態の画像信号処理装置の各部をコンピュータで実現した場合を例に説明したが、これに限定されるものではなく、各部の機能を実現する複数のコンピュータ、または１つまたは複数の電子回路で構成するようにしてもよい。 Further, the case where each unit of the image signal processing apparatus according to the present embodiment is realized by a computer has been described as an example. However, the present invention is not limited to this, and a plurality of computers that realize the function of each unit, or one or more The electronic circuit may be configured as follows.
また、本発明のプログラムを、記憶媒体に格納して提供することも可能である。 It is also possible to provide the program of the present invention by storing it in a storage medium.
１０ 画像信号処理装置
１２ 撮像装置
１２ａ カラーフィルタ
１２ｂ 撮像部
１２ｃ レンズ
１６ コンピュータ
１８ 表示装置
２０ 色情報生成部
２２ 色情報補間部
２４ 擬似カラー画像生成部
DESCRIPTION OF SYMBOLS 10 Image signal processing apparatus 12 Imaging device 12a Color filter 12b Imaging part 12c Lens 16 Computer 18 Display apparatus 20 Color information generation part 22 Color information interpolation part 24 Pseudo color image generation part
Claims (7)
前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、
前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段と、
を含む画像信号処理装置。 A color filter in which a plurality of types of filters having different wavelength bands of light to be transmitted are arranged in a Bayer arrangement, an image pickup unit in which pixels are arranged so as to correspond to the filters of the color filter, and the color filter are transmitted An imaging system that includes an optical system that forms an image on the imaging device, and outputs a signal corresponding to the amount of light received by the imaging device;
Using the signal of the pixel of interest output from the imaging unit and the signals of a plurality of peripheral pixels around the pixel of interest, each value for each type of filter is obtained for the pixel of interest, and each of the values is Generating means for generating color information of a plurality of different colors for each of the combinations of the target pixel by subtracting in a combination determined according to the type of filter;
When at least one of the color information of the target pixel generated by the generation unit is negative, interpolation means for interpolating the color information of the target pixel using color information of peripheral pixels whose color information is positive;
An image signal processing apparatus.
前記カラーフィルタの前記複数種類のフィルタを、前記全透過型フィルタと、前記第１可視光透過型ロングパスフィルタと、前記第２可視光透過型ロングパスフィルと、前記赤外光透過型ロングパスフィルタとした請求項２記載の画像信号処理装置。 The plurality of types of visible light transmissive long-pass filters include a first visible light transmissive long-pass filter that transmits light in a wavelength band in the visible light region above yellow and light in a wavelength band in the infrared light region, and visible light above red. A second visible light transmissive long passfill that transmits light in the wavelength band of the optical region and light in the wavelength band of the infrared light region;
The plurality of types of filters of the color filter are the total transmission filter, the first visible light transmission long pass filter, the second visible light transmission long pass filter, and the infrared light transmission long pass filter. The image signal processing apparatus according to claim 2.
前記撮像手段から出力された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算する際に、差が０または正になる場合には該差を色情報とし、前記差が負になる場合には、前記周辺画素の正となる差を用いて色情報とすることにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段と、
を含む画像信号処理装置。 A color filter in which a plurality of types of filters having different wavelength bands of light to be transmitted are arranged in a Bayer arrangement, an image pickup unit in which pixels are arranged so as to correspond to the filters of the color filter, and the color filter are transmitted An imaging system that includes an optical system that forms an image on the imaging device, and outputs a signal corresponding to the amount of light received by the imaging device;
Using the signal of the pixel of interest output from the imaging unit and the signals of a plurality of peripheral pixels around the pixel of interest, each value for each type of filter is obtained for the pixel of interest, and each of the values is When subtracting in a combination determined according to the type of filter, if the difference is 0 or positive, the difference is used as color information, and if the difference is negative, the difference between the surrounding pixels is positive. Generating means for generating color information of a plurality of colors different for each of the combinations for the target pixel,
An image signal processing apparatus.
透過する光の波長帯が異なる複数種類のフィルタがベイヤ配列されたカラーフィルタ、画素を構成する撮像素子が前記カラーフィルタのフィルタ各々に対応するように配列された撮像部、及び前記カラーフィルタを透過した光を前記撮像素子に結像させる光学系を備えた撮像手段から出力される、前記撮像素子での受光量に応じた信号を取得する取得手段、
前記取得手段で取得された注目画素の信号、及び該注目画素の周辺の複数の周辺画素の信号各々を用いて、前記注目画素について前記フィルタの種類毎の値各々を求め、該値各々を前記フィルタの種類に応じて定めた組み合わせで減算することにより、前記注目画素について前記組み合わせ毎に異なる複数色の色情報を生成する生成手段、及び
前記生成手段により生成された前記注目画素の色情報の少なくとも１つが負の場合には、色情報が正の周辺画素の色情報を用いて、前記注目画素の色情報を補間する補間手段
として機能させるための画像信号処理プログラム。 Computer
A color filter in which a plurality of types of filters having different wavelength bands of light to be transmitted are arranged in a Bayer arrangement, an image pickup unit in which pixels are arranged so as to correspond to the filters of the color filter, and the color filter are transmitted Obtaining means for obtaining a signal corresponding to the amount of light received by the image sensor, which is output from an image means comprising an optical system for imaging the imaged light on the image sensor;
Using the signal of the target pixel acquired by the acquisition unit and the signals of a plurality of peripheral pixels around the target pixel, each value of the filter type is determined for the target pixel, and Subtracting a combination determined according to the type of filter to generate color information of a plurality of different colors for each combination of the target pixel, and the color information of the target pixel generated by the generation unit An image signal processing program for functioning as an interpolating means for interpolating color information of the pixel of interest using color information of peripheral pixels whose color information is positive when at least one is negative.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011093985A JP5718138B2 (en) | 2011-04-20 | 2011-04-20 | Image signal processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011093985A JP5718138B2 (en) | 2011-04-20 | 2011-04-20 | Image signal processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012227758A true JP2012227758A (en) | 2012-11-15 |
| JP5718138B2 JP5718138B2 (en) | 2015-05-13 |
Family
ID=47277461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011093985A Expired - Fee Related JP5718138B2 (en) | 2011-04-20 | 2011-04-20 | Image signal processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5718138B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015011824A1 (en) * | 2013-07-25 | 2015-01-29 | 日立マクセル株式会社 | Image pickup apparatus |
| JP2016111647A (en) * | 2014-12-10 | 2016-06-20 | 株式会社日本自動車部品総合研究所 | Image processing apparatus and lane borderline recognition system |
| KR101921995B1 (en) * | 2016-11-07 | 2018-11-27 | (주) 지안 | image sensor for visible color and near infrared imaging and sensing method |
| US10863115B2 (en) | 2016-06-24 | 2020-12-08 | Nec Corporation | Generation of visible and near-infrared images based on estimated incident light spectral characteristics and image capturing device spectral sensitivity characteristics |
| US10931895B2 (en) | 2016-12-22 | 2021-02-23 | Nec Corporation | Image processing method, image processing device, and storage medium |
| US11140370B2 (en) | 2017-03-31 | 2021-10-05 | Nec Corporation | Image processing device, image processing system, image processing method, and program recording medium for generating a visible image and a near-infrared image |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61280188A (en) * | 1985-06-05 | 1986-12-10 | Hitachi Ltd | Solid-state image pick up device |
| JP2007048774A (en) * | 2005-08-05 | 2007-02-22 | Toppan Printing Co Ltd | Method of manufacturing image sensor |
| JP2007074635A (en) * | 2005-09-09 | 2007-03-22 | Matsushita Electric Ind Co Ltd | Image input apparatus and solid imaging element |
-
2011
- 2011-04-20 JP JP2011093985A patent/JP5718138B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61280188A (en) * | 1985-06-05 | 1986-12-10 | Hitachi Ltd | Solid-state image pick up device |
| JP2007048774A (en) * | 2005-08-05 | 2007-02-22 | Toppan Printing Co Ltd | Method of manufacturing image sensor |
| JP2007074635A (en) * | 2005-09-09 | 2007-03-22 | Matsushita Electric Ind Co Ltd | Image input apparatus and solid imaging element |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015011824A1 (en) * | 2013-07-25 | 2015-01-29 | 日立マクセル株式会社 | Image pickup apparatus |
| JP6027242B2 (en) * | 2013-07-25 | 2016-11-16 | 日立マクセル株式会社 | Imaging device |
| JPWO2015011824A1 (en) * | 2013-07-25 | 2017-03-02 | 日立マクセル株式会社 | Imaging device |
| JP2016111647A (en) * | 2014-12-10 | 2016-06-20 | 株式会社日本自動車部品総合研究所 | Image processing apparatus and lane borderline recognition system |
| US10863115B2 (en) | 2016-06-24 | 2020-12-08 | Nec Corporation | Generation of visible and near-infrared images based on estimated incident light spectral characteristics and image capturing device spectral sensitivity characteristics |
| KR101921995B1 (en) * | 2016-11-07 | 2018-11-27 | (주) 지안 | image sensor for visible color and near infrared imaging and sensing method |
| US10931895B2 (en) | 2016-12-22 | 2021-02-23 | Nec Corporation | Image processing method, image processing device, and storage medium |
| US11140370B2 (en) | 2017-03-31 | 2021-10-05 | Nec Corporation | Image processing device, image processing system, image processing method, and program recording medium for generating a visible image and a near-infrared image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5718138B2 (en) | 2015-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5687676B2 (en) | Imaging apparatus and image generation method | |
| JP5054248B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
| US10217034B2 (en) | Image processing device, imaging device, and image processing method | |
| JP5718138B2 (en) | Image signal processing apparatus and program | |
| EP2523160A1 (en) | Image processing device, image processing method, and program | |
| JP6290392B2 (en) | Conversion of images from dual-band sensors into visible color images | |
| JP2015197745A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JPWO2010053029A1 (en) | Image input device | |
| JP5709131B2 (en) | Image processing system | |
| JP5943393B2 (en) | Imaging device | |
| JP6282123B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4986820B2 (en) | Image processing apparatus and image processing method | |
| KR20170107269A (en) | Apparatus and method for depth image filtering of rgbd camera | |
| US8237829B2 (en) | Image processing device, image processing method, and imaging apparatus | |
| JP6415093B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5738904B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2011109620A (en) | Image capturing apparatus, and image processing method | |
| JP6415094B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2015035782A (en) | Image processing device, imaging device, microscope system, image processing method, and image processing program | |
| JP5218634B2 (en) | Pseudo gray image generating apparatus and program | |
| JP5330291B2 (en) | Signal processing apparatus and imaging apparatus | |
| JP5036524B2 (en) | Image processing apparatus, image processing method, program, and imaging apparatus | |
| US10249020B2 (en) | Image processing unit, imaging device, computer-readable medium, and image processing method | |
| JPWO2015083502A1 (en) | Image processing apparatus, method, and program | |
| JP6426909B2 (en) | Color information complementing device and its program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150318 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5718138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |