JP2011015087A - Imaging device and imaging method - Google Patents
Imaging device and imaging method Download PDFInfo
- Publication number
- JP2011015087A JP2011015087A JP2009156292A JP2009156292A JP2011015087A JP 2011015087 A JP2011015087 A JP 2011015087A JP 2009156292 A JP2009156292 A JP 2009156292A JP 2009156292 A JP2009156292 A JP 2009156292A JP 2011015087 A JP2011015087 A JP 2011015087A
- Authority
- JP
- Japan
- Prior art keywords
- color
- signal
- infrared
- signals
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
Abstract
Description
本発明は、可視光と近赤外光を受光する撮像装置に関する。 The present invention relates to an imaging device that receives visible light and near-infrared light.
近年、セキュリティ、ネットワーク、車載用途に昼間は可視光を光源としてカラー画像を撮像し、夜間は近赤外光を受光し、白黒画像を撮像する機能を有する昼夜兼用、またはデイナイトと称される撮像装置の需要が急速に高まりつつある。 In recent years, for security, network, and in-vehicle applications, color images are captured using visible light as a light source during the day, and near-infrared light is received during the night, and it is also used as day / night or day / night. The demand for equipment is growing rapidly.
従来技術においては、このデイナイト機能は、昼間の撮像においては、二次元に配置された受光素子上に異なる色のカラーフィルタが搭載されたMOSセンサーや電荷結合素子(CCD)等の固体撮像素子の前方に近赤外光を遮断するIRカットフィルタを配置することで、可視光カラー画像を撮像し、夜間の撮像においては前記IRカットフィルタをとりはずし、各画素の信号を全て輝度信号として用いることで白黒画像を撮像することで実現していた(特許文献1)。 In the prior art, this day / night function is used for solid-state imaging devices such as MOS sensors and charge coupled devices (CCD) in which color filters of different colors are mounted on two-dimensionally arranged light receiving elements in daytime imaging. By placing an IR cut filter that blocks near-infrared light in the front, a visible light color image is taken, and at night imaging, the IR cut filter is removed, and the signal of each pixel is used as a luminance signal. This was realized by capturing a monochrome image (Patent Document 1).
上記第一の従来技術においては、IRカットフィルタを着脱する機械式切り替え装置が必要であるため、部品点数の増加に伴うコスト増、機械式部品の疲労による信頼性低下、そして突然昼夜を切り替え時の光学系と信号処理系のミスマッチ、例えば露光量ずれによる低品質画像出力期間の発生という課題があった。このような課題を解決するために第二の従来技術においては、光学系にIRカットフィルタを配置せず、異なる色フィルタを搭載した複数の可視光用受光素子と、少なくとも一つの近赤外光専用受光素子を用い、昼間は可視光用受光素子の信号に混入する近赤外光成分を専用受光素子で得られる純粋な近赤外光成分を差分することによって可視カラー画像を撮像し、夜間は全画素に入射する近赤外信号を輝度信号として白黒画像を撮像する方式が採用された(特許文献2)。このような方式によれば、昼と夜の撮像モードの切り替えを電子的に行えるため、機械式切り替え装置の切り替えのかかえる、コスト増、信頼性低下等の課題を解決する。 The first prior art requires a mechanical switching device that attaches and detaches an IR cut filter, which increases costs due to the increase in the number of parts, decreases the reliability due to fatigue of mechanical parts, and suddenly switches between day and night. There has been a problem of occurrence of a low quality image output period due to mismatch between the optical system and the signal processing system, for example, an exposure amount deviation. In order to solve such a problem, in the second prior art, an IR cut filter is not disposed in the optical system, and a plurality of visible light receiving elements mounted with different color filters and at least one near infrared light are provided. A dedicated light receiving element is used, and in the daytime, a visible color image is captured by subtracting the near infrared light component mixed in the signal of the visible light receiving element from the pure near infrared light component obtained by the dedicated light receiving element. Adopted a method of capturing a black and white image using a near-infrared signal incident on all pixels as a luminance signal (Patent Document 2). According to such a method, since the switching between the day and night imaging modes can be performed electronically, problems such as an increase in cost and a decrease in reliability associated with the switching of the mechanical switching device are solved.
この第二の従来技術は、一旦夜間モードに切り替わると、常時近赤外光をもとにした輝度信号を形成し、白黒画像のみを出力する方式であるため、夜間モードにおいてカラー画像を得ることは不可能である。 This second prior art is a method that, once switched to the night mode, always forms a luminance signal based on near-infrared light and outputs only a monochrome image, so that a color image is obtained in the night mode. Is impossible.
また、特許文献3に、R+IRあるいはG+IRあるいはB+IRを外部光源で照明した被写体を撮像(モノクロCCD)することで、可視光と同時に透過したIR信号も使い輝度信号を向上させる電子内視鏡用光源装置と信号処理方法について記載されている。 Also, in Patent Document 3, by imaging an object illuminated with an external light source with R + IR, G + IR, or B + IR (monochrome CCD), the IR signal transmitted simultaneously with visible light is also used to improve the luminance signal. A light source device for an electronic endoscope and a signal processing method are described.
しかし、例えば車載用のモニタカメラ等においては、夜間においても街灯や家屋からの漏れ光等を光源とする微弱な色信号成分が利用可能であり、このような画像を出力する撮像装置が強く望まれている。 However, for example, in an in-vehicle monitor camera, a weak color signal component using a streetlight or light leaked from a house as a light source can be used even at night, and an imaging apparatus that outputs such an image is strongly desired. It is rare.
本発明の目的は、上記第二の従来技術では実現できていない夜間モードにおけるカラー画像生成という課題を解決し、可視光信号が微弱な環境においてもカラー画像を出力する撮像装置および撮像方法を提供することにある。 An object of the present invention is to solve the problem of color image generation in the night mode that cannot be realized by the second prior art, and to provide an imaging apparatus and an imaging method for outputting a color image even in an environment where a visible light signal is weak There is to do.
上記課題を解決するために本発明の一形態における撮像装置は、少なくとも可視光を透過する複数種類の色フィルタ、および可視光を抑制し赤外光を透過する赤外透過フィルタを含む複数の色フィルタと、前記複数の色フィルタの何れか1つをそれぞれ搭載し、二次元状に配置された複数の受光素子と、前記複数の受光素子から、前記複数の色フィルタの可視光に対応する複数種類の色信号、および赤外信号を読み出す読み出し部と、前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、輝度信号として出力する輝度計算部と、前記複数種類の色信号および前記赤外信号を用いて複数の色成分信号を計算して出力する色成分計算部と、前記赤外信号の信号量に応じて前記混合係数を算出する係数算出部とを備える。 In order to solve the above problems, an imaging device according to an embodiment of the present invention includes a plurality of colors including at least a plurality of types of color filters that transmit visible light and an infrared transmission filter that suppresses visible light and transmits infrared light. A plurality of light-receiving elements each mounted with a filter and any one of the plurality of color filters, and a plurality of light-receiving elements corresponding to visible light of the plurality of color filters from the plurality of light-receiving elements The plurality of types of color signals and the infrared signal are obtained by using a reading unit that reads out the types of color signals and infrared signals, and a mixing coefficient indicating a mixing ratio of the infrared signals with respect to the plurality of types of color signals. A luminance calculation unit that mixes and outputs as a luminance signal, a color component calculation unit that calculates and outputs a plurality of color component signals using the plurality of types of color signals and the infrared signal, and a signal of the infrared signal According to quantity And a coefficient calculating unit for calculating the mixing coefficient.
この構成によれば、赤外信号の信号量に応じて前記混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。言い換えれば、輝度信号に占める赤外信号の割合を、赤外信号量に応じて調整可能にする。例えば、混合係数を小さくすれば(輝度信号に占める赤外信号の割合を小さくすれば)、色成分信号(例えば色差信号)が相対的に大きくなり、画像を白黒からカラーに近づけることができる。逆に、混合係数を大きくすれば(輝度信号に占める赤外信号の割合を大きくすれば)、色成分信号(例えば色差信号)が相対的に小さくなり画像をカラーから白黒に近づけることができる。このように、白黒画像、白黒に近いカラー画像、白黒とカラー画像の中間的な画像、カラーに近い白黒画像、カラー画像を混合係数に応じて生成することができる。 According to this configuration, by calculating the mixing coefficient according to the signal amount of the infrared signal, the color component signal can be effectively left even if the visible light signal is weak, and the image can be colored. . In other words, the ratio of the infrared signal to the luminance signal can be adjusted according to the amount of infrared signal. For example, if the mixing coefficient is decreased (the ratio of the infrared signal to the luminance signal is decreased), the color component signal (for example, the color difference signal) is relatively increased, and the image can be made closer to color from black and white. Conversely, if the mixing coefficient is increased (if the ratio of the infrared signal in the luminance signal is increased), the color component signal (for example, the color difference signal) is relatively reduced, and the image can be made closer to color from black and white. As described above, a monochrome image, a color image close to black and white, an intermediate image between black and white and a color image, a black and white image close to color, and a color image can be generated according to the mixing coefficient.
ここで、前記混合係数は3つ以上の多段階の値の何れかの値をとるようにしてもよい。
この構成によれば、混合係数はアナログ的に連続的に変化する場合と比べ、段階的に変化するので、混合係数の算出を容易にする。
Here, the mixing coefficient may take any one of three or more multi-stage values.
According to this configuration, since the mixing coefficient changes in a stepwise manner compared to a case where the mixing coefficient changes continuously in an analog manner, the calculation of the mixing coefficient is facilitated.
ここで、前記色成分計算部は、前記輝度信号を用いて2つの色差信号を前記色成分信号として生成するようにしてもよい。 Here, the color component calculation unit may generate two color difference signals as the color component signal using the luminance signal.
この構成によれば、輝度信号と2つの色差信号とからなるカラー画像を夜間でも昼間でも常に出力することができる。カラー画像は混合係数に応じてカラー化される。当然輝度信号だけを利用すれば白黒画像を昼間でも利用することができる。 According to this configuration, a color image composed of a luminance signal and two color difference signals can be always output at night and in the daytime. The color image is colored according to the mixing coefficient. Of course, if only the luminance signal is used, the monochrome image can be used even in the daytime.
ここで、前記係数算出部は、前記複数種類の色信号に対する前記赤外信号の信号量に応じて前記混合係数を算出するようにしてもよい。 Here, the coefficient calculation unit may calculate the mixing coefficient in accordance with a signal amount of the infrared signal with respect to the plurality of types of color signals.
この構成によれば、前記赤外信号の信号量のみから混合係数を算出する場合と比べて、より最適な混合係数を算出することができる。 According to this configuration, a more optimal mixing coefficient can be calculated as compared with the case where the mixing coefficient is calculated only from the signal amount of the infrared signal.
ここで、前記複数種類の色フィルタは、第1の色の可視光および赤外光を透過する第1色フィルタと、第2の色の可視光および赤外光を透過する第2色フィルタと、第3の色の可視光および赤外光を透過する第3色フィルタとを含み、前記複数種類の色信号は、第1、第2および第3色フィルタに対応する第1、第2および第3色信号とを含み、前記輝度計算部は、前記第1、第2、第3色信号、および前記混合係数により重み付けされた前記赤外信号を加算することにより前記輝度信号を算出するようにしてもよい。 The plurality of types of color filters include a first color filter that transmits visible light and infrared light of a first color, and a second color filter that transmits visible light and infrared light of a second color. A third color filter that transmits visible light and infrared light of a third color, and the plurality of types of color signals correspond to the first, second, and third color filters. The luminance calculation unit calculates the luminance signal by adding the first, second, and third color signals and the infrared signal weighted by the mixing coefficient. It may be.
この構成によれば、第1から第3色フィルタは可視光だけでなく赤外光も受光するので、赤外光による白黒画像の感度を格段に向上させることができる。 According to this configuration, since the first to third color filters receive not only visible light but also infrared light, the sensitivity of a black and white image by infrared light can be significantly improved.
ここで、前記第1、第2、第3色信号および前記赤外信号はそれぞれ正規化された値を有し、前記混合係数は、−3から+1の範囲内の値であってもよい。 Here, each of the first, second, and third color signals and the infrared signal may have normalized values, and the mixing coefficient may be a value within a range of −3 to +1.
この構成によれば、輝度信号の算出を簡単な計算により生成することができる。
ここで、前記輝度計算部は、さらに、前記混合係数が+1のとき、前記第1、第2、第3色信号、および前記赤外信号のそれぞれを輝度信号として出力するようにしてもよい。
According to this configuration, the calculation of the luminance signal can be generated by a simple calculation.
Here, the luminance calculation unit may output each of the first, second, and third color signals and the infrared signal as a luminance signal when the mixing coefficient is +1.
この構成によれば、カラー画像に比べて縦2倍横2倍の画素数を有する高解像度の白黒画像を生成することができる。 According to this configuration, it is possible to generate a high-resolution black-and-white image having the number of pixels that is twice as long and twice as wide as that of a color image.
ここで、前記複数種類の色フィルタは、第1の色の可視光を透過し赤外光を抑制する第1色フィルタと、第2の色の可視光を透過し赤外光を抑制する第2色フィルタと、第3の色の可視光を透過し赤外光を抑制する第3色フィルタとを含み、前記複数種類の色信号は、第1、第2および第3色フィルタに対応する第1、第2および第3色信号とを含み、前記輝度計算部は、前記第1、第2、第3色信号、および前記係数により重み付けされた前記赤外信号を加算することにより前記輝度信号を算出するようにしてもよい。 The plurality of types of color filters include a first color filter that transmits visible light of a first color and suppresses infrared light, and a first color filter that transmits visible light of a second color and suppresses infrared light. Including a two-color filter and a third color filter that transmits visible light of the third color and suppresses infrared light, and the plurality of types of color signals correspond to the first, second, and third color filters. The luminance calculation unit includes the first, second, and third color signals, and the luminance calculation unit adds the first, second, and third color signals and the infrared signal weighted by the coefficient to add the luminance. The signal may be calculated.
ここで、前記第1、第2、第3色信号および前記赤外信号はそれぞれ正規化された値を有し、前記混合係数は、0から+1の範囲内の値であってもよい。 Here, the first, second, and third color signals and the infrared signal may have normalized values, respectively, and the mixing coefficient may be a value within a range of 0 to +1.
この構成によれば、輝度信号の計算式を単純化することができる。
ここで、前記撮像装置は、さらに、前記複数種類の色信号に対する前記赤外信号の信号量に応じて、前記複数の受光素子の露光量を制御する露出制御部を備えるようにしてもよい。
According to this configuration, the luminance signal calculation formula can be simplified.
Here, the imaging apparatus may further include an exposure control unit that controls exposure amounts of the plurality of light receiving elements in accordance with signal amounts of the infrared signals with respect to the plurality of types of color signals.
ここで、前記露出制御部は、前記複数種類の色信号に対する前記赤外信号の信号量に応じて、前記複数の受光素子の露出時間を決定し、当該露出時間前記複数の受光素子を露光するようにしてもよい。 Here, the exposure control unit determines an exposure time of the plurality of light receiving elements according to a signal amount of the infrared signal with respect to the plurality of types of color signals, and exposes the plurality of light receiving elements. You may do it.
この構成によれば、露出時間の調整により感度低下を防止することができる。
ここで、前記撮像装置は、さらに、赤外線を発光する赤外線光源と、前記複数種類の色信号の信号量と前記赤外信号の信号量の少なくとも一方に基づいて前記赤外線光源の発光量を制御する光源制御部とを備えるようにしてもよい。
According to this configuration, it is possible to prevent a decrease in sensitivity by adjusting the exposure time.
Here, the imaging apparatus further controls the light emission amount of the infrared light source based on at least one of the signal amount of the plurality of types of color signals and the signal amount of the infrared signal, and an infrared light source that emits infrared light. You may make it provide a light source control part.
この構成によれば、赤外線光源の発光量を制御することにより感度低下を防止することができる。 According to this configuration, it is possible to prevent a decrease in sensitivity by controlling the light emission amount of the infrared light source.
ここで、前記輝度計算部は、フレーム毎に前記混合係数を算出するようにしてもよい。
この構成によれば、フレーム毎に最適な混合係数を得ることができる。
Here, the luminance calculation unit may calculate the mixing coefficient for each frame.
According to this configuration, an optimum mixing coefficient can be obtained for each frame.
ここで、前記輝度計算部は、交互に繰り返される第1所定数の連続フレームと第2所定数の連続フレームとに対して、前記第1所定数の連続フレームが白黒画像となるように前記混合係数を算出し、前記第2所定数の連続フレームがカラー画像となるように前記混合係数を算出するようにしてもよい。 Here, the luminance calculation unit is configured to mix the first predetermined number of consecutive frames into a monochrome image with respect to the first predetermined number of consecutive frames and the second predetermined number of consecutive frames that are alternately repeated. A coefficient may be calculated, and the mixing coefficient may be calculated so that the second predetermined number of consecutive frames is a color image.
この構成によれば、白黒画像とカラー画像を交互に生成するので、両者の長所をもつ画像をユーザに提供することができる。 According to this configuration, since the black and white image and the color image are generated alternately, an image having the advantages of both can be provided to the user.
ここで、前記輝度計算部は、1フレーム内の第1の領域が白黒画像となるように前記混合係数を計算し、1フレーム内の前記第1の領域と異なる第2の領域がカラー画像となるように前記混合係数を算出するようにしてよもよい。 Here, the luminance calculation unit calculates the mixing coefficient so that the first area in one frame is a black and white image, and a second area different from the first area in one frame is a color image. The mixing coefficient may be calculated as follows.
この構成によれば、1フレーム内で白黒画像とカラー画像を生成するので、両者の長所をもつ画像をユーザに提供することができる。 According to this configuration, since a monochrome image and a color image are generated within one frame, an image having the advantages of both can be provided to the user.
ここで、前記色成分計算部は前記複数種類の色信号を用いて3つの原色信号を前記色成分信号として生成するようにしてもよい。 Here, the color component calculation unit may generate three primary color signals as the color component signals using the plurality of types of color signals.
この構成によれば、輝度信号からなる白黒画像と、3つの原色信号からなるカラー画像とを同時に生成することができる。 According to this configuration, it is possible to simultaneously generate a monochrome image composed of luminance signals and a color image composed of three primary color signals.
ここで、前記輝度計算部は、さらに、前記赤外信号を抑制するためのダミー混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、ダミーの輝度信号を計算し、前記色成分計算部は、前記ダミーの輝度信号を用いて2つの色差信号を前記色成分信号として生成するようにしてもよい。 Here, the luminance calculation unit further calculates a dummy luminance signal by mixing the plurality of types of color signals and the infrared signal using a dummy mixing coefficient for suppressing the infrared signal. The color component calculation unit may generate two color difference signals as the color component signal using the dummy luminance signal.
この構成によれば、混合係数が大きいときでも、色再現性のよい2つの色差信号を生成することができる。 According to this configuration, even when the mixing coefficient is large, two color difference signals with good color reproducibility can be generated.
ここで、前記撮像装置は、さらに、前記赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定する色ゲイン決定部と、前記色ゲインに従って前記色成分計算部により算出された複数の色成分信号のゲインを調整するゲイン調整部とを備えるようにしてもよい。 Here, the imaging apparatus further includes a color gain determination unit that determines a color gain for enhancing or suppressing a specific color according to the signal amount of the infrared signal, and the color component calculation unit according to the color gain. You may make it provide the gain adjustment part which adjusts the gain of the calculated several color component signal.
この構成によれば、特定色による偽色の発生を防止することができる。ここで、偽色は例えば葉っぱが緑色に撮像されない等の現象をいう。 According to this configuration, generation of a false color due to a specific color can be prevented. Here, the false color refers to a phenomenon in which, for example, a leaf is not imaged in green.
また、本発明の一形態における撮像方法は、少なくとも可視光を透過する複数種類の色フィルタ、および可視光を抑制し赤外光を透過する赤外透過フィルタを含む複数の色フィルタと、前記複数の色フィルタの何れか1つをそれぞれ搭載し、二次元状に配置された複数の受光素子とを備える固体撮像素子を用いて、輝度信号と色成分信号とからなる画像を生成する撮像方法であって、前記複数の受光素子から、前記複数色の可視光に対応する複数種類の色信号、および赤外信号を読み出し、前記赤外信号の信号量に応じて、前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を算出し、前記混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、前記輝度信号として出力し、前記複数種類の色信号および前記赤外信号を用いて複数の前記色成分信号を計算して出力する。 An imaging method according to an aspect of the present invention includes a plurality of color filters including at least a plurality of color filters that transmit visible light, a plurality of color filters including an infrared transmission filter that suppresses visible light and transmits infrared light, and the plurality of color filters. An imaging method for generating an image composed of a luminance signal and a color component signal using a solid-state imaging device that includes each of the color filters and includes a plurality of light receiving elements arranged two-dimensionally. Then, a plurality of types of color signals and infrared signals corresponding to the plurality of colors of visible light are read from the plurality of light receiving elements, and the plurality of types of color signals are output according to the signal amount of the infrared signals. A mixing coefficient indicating a mixing ratio of the infrared signal is calculated, the plurality of types of color signals and the infrared signal are mixed using the mixing coefficient, and output as the luminance signal, and the plurality of types of colors Signal and said It calculates and outputs a plurality of said color component signals by using the external signal.
この構成によれば、赤外信号の信号量に応じて前記混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、カラー画像を出力することができる。 According to this configuration, by calculating the mixing coefficient according to the signal amount of the infrared signal, it is possible to output the color image while effectively leaving the color component signal even if the visible light signal is weak. .
本願発明によれば、赤外信号の信号量に応じて前記混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。例えば、可視光信号が微弱な環境の夜間モードにおいても可視カラー画像を出力する撮像装置を提供することが可能となる。 According to the present invention, by calculating the mixing coefficient according to the signal amount of the infrared signal, the color component signal can be effectively left even if the visible light signal is weak, and the image can be colored. . For example, it is possible to provide an imaging apparatus that outputs a visible color image even in a night mode in which the visible light signal is weak.
以下、本発明に係る固体撮像装置の実施の形態について、デジタルスチルカメラを例にとり、図面を参照しながら説明する。なお、本発明について、以下の実施の形態及び添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。 Hereinafter, embodiments of a solid-state imaging device according to the present invention will be described with reference to the drawings, taking a digital still camera as an example. In addition, although this invention is demonstrated using the following embodiment and attached drawing, this is for the purpose of illustration and this invention is not intended to be limited to these.
(実施の形態1)
まず、本発明の実施の形態に係る撮像装置の構成について説明する。本実施の形態では、固体撮像素子から、複数色の可視光に対応する複数種類の色信号および赤外信号を読み出し、赤外信号の信号量に応じて、前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を算出し、前記混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、前記輝度信号として出力し、前記複数種類の色信号および前記赤外信号を用いて複数の前記色成分信号を計算して出力する撮像装置について説明する。これにより、赤外信号の信号量に応じて前記混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することを可能にする。
(Embodiment 1)
First, the configuration of the imaging device according to the embodiment of the present invention will be described. In the present embodiment, a plurality of types of color signals and infrared signals corresponding to a plurality of colors of visible light are read from the solid-state imaging device, and the red color corresponding to the plurality of types of color signals is read according to the signal amount of the infrared signal. A mixing coefficient indicating a mixing ratio of an external signal is calculated, and using the mixing coefficient, the plurality of types of color signals and the infrared signal are mixed and output as the luminance signal, and the plurality of types of color signals and An imaging apparatus that calculates and outputs a plurality of the color component signals using the infrared signal will be described. Thus, by calculating the mixing coefficient according to the signal amount of the infrared signal, the color component signal can be effectively left even when the visible light signal is weak, and the image can be colored.
図1は、実施の形態1に係る撮像装置の主要な機能構成を示すブロック図である。
図1に示されるように、本実施の形態に係る撮像装置100は、撮像素子101と、信号処理部201と、撮像制御部301と、光源制御部401と、IR(赤外光)光源411と、レンズ501と、絞り502を備えている。信号処理部201は、レッド(R)+近赤外(IR)、グリーン(G)+近赤外(IR)、ブルー(B)+近赤外(IR)及び近赤外(IR)の4画素を1単位とする単位画素115を有する撮像素子101に関して色信号と輝度信号からなる画像信号を処理する。
FIG. 1 is a block diagram illustrating a main functional configuration of the imaging apparatus according to the first embodiment.
As shown in FIG. 1, the imaging apparatus 100 according to the present embodiment includes an
撮像素子101は、R+IR透過フィルタ111、G+IR透過フィルタ112、B+IR透過フィルタ113、IR透過フィルタ114、垂直シフトレジスタ121、水平シフトレジスタ122、ノイズ除去回路123、出力アンプ124を備えている。
The
信号処理部201は、OB計算部211、ローパスフィルタ212、4×4行列演算部213、ホワイトバランス部214、色差計算部215、ゲイン調整部216、γ補正部217、近赤外信号制御部221、k算出部222、輝度計算部223を備えている。
The
撮像制御部301は、露出時間制御部311、絞り制御部312を備えている。
R+IR透過フィルタ111、G+IR透過フィルタ112、B+IR透過フィルタ113は、可視光(R、G、Bの何れか)と赤外光(IR)とを透過するフィルタとして3種類が備えられている。可視光を抑制し赤外光を透過する赤外透過フィルタとしてIR透過フィルタ114は、可視光を抑制し赤外光を透過する赤外透過フィルタとして備えられている。4種類のフィルタに対応する4つの単位画素115は、カラー画像または白黒画像における1画素に対応する。
The
The R +
レンズ501は、入射した光を撮像素子101の撮像領域上に結像させる。
撮像素子101は、入射光を光電変換して色信号を生成するMOS型イメージセンサ等である。
The
The
信号処理部201は、撮像素子101から受け付けた4種類の画素信号に画像信号処理を施すDSP等である。
The
撮像素子101は、2次元配列された単位画素115の各行を垂直シフトレジスタ121により選択し、その行信号を水平シフトレジスタ122により選択して、単位画素115毎のカラー信号を出力アンプ124から出力する。垂直シフトレジスタ121、水平シフトレジスタ122および選択回路125は、複数の単位画素115から、複数色の可視光に対応する複数種類の色信号、および赤外信号を読み出す読み出し部として機能する。
The
図1に示されるように、信号処理部201は、撮像素子101が出力する4種類の画素信号からレッド(R)、グリーン(G)及びブルー(B)のフィルタの画素信号を生成し、4つの単位画素115に1単位の近赤外(IR)信号を生成し、さらに、輝度信号と2つの色差信号とからなるカラー画像を生成する。輝度信号は単独では白黒画像を表す。
As shown in FIG. 1, the
なお、撮像素子101が出力する画素信号からレッド(R)、グリーン(G)及びブルー(B)のフィルタの画素の画像信号を生成するには、例えば、レッド(R)の場合は、可視光と非可視光のR+IR透過フィルタ111を有する画素の出力信号であるレッド(R)+近赤外(IR)から非可視光の帯域フィルタを有する画素の出力信号である近赤外(IR)を差し引くことでレッド(R)を導出して、レッド(R)を画像信号とすれば良い。
In order to generate an image signal of a filter pixel of red (R), green (G), and blue (B) from a pixel signal output from the
また、この画素構成を利用すれば、昼間では近赤外光成分を含んだ赤、緑、青の原信号からIR画素のIR信号成分を差分することで、赤、緑、青の各信号を得ることが出来る。このように、昼間であっても、機械式IRカットフィルタが不要である。 Also, if this pixel configuration is used, the red, green, and blue signals can be obtained by subtracting the IR signal component of the IR pixel from the original red, green, and blue signals including near-infrared light components in the daytime. Can be obtained. Thus, a mechanical IR cut filter is unnecessary even during the daytime.
一方、夜間では、全ての画素の信号を用いることで近赤外光の画像を得る。そのため、IR画像の解像度はR+IR画素、G+IR画素、B+IR画素のIR成分を用いるため、昼間でのRGB画像よりも高い。 On the other hand, at night, a near-infrared light image is obtained by using signals of all pixels. Therefore, the resolution of the IR image is higher than that of the RGB image in the daytime because the IR components of R + IR pixels, G + IR pixels, and B + IR pixels are used.
R+IR透過フィルタ111、G+IR透過フィルタ112、B+IR透過フィルタ113、またはIR透過フィルタ114を持つ画素構成を容易に実現するために、フォトニック結晶カラーフィルタを撮像素子上に集積した。低屈折率と高屈折率の材料を交互に積層して得られる光学多層膜は、光が透過しない禁止帯が生じる。今回、光が透過する透過帯を近赤外光が透過するように設計し、IRフィルタとして用いる。
In order to easily realize a pixel configuration having the R +
R+IR透過フィルタ111、G+IR透過フィルタ112、B+IR透過フィルタ113は、低屈折率と高屈折率の材料を交互にλ/4(λ:波長)の膜厚で積層された光学多層膜に、膜厚がλ/4とは異なる“欠陥層”を導入することで実現できる。この欠陥層により光学的な周期性に乱れが生じ、禁止帯の中に透過帯を生じさせることが出来る。欠陥層の膜厚を適切に設計することで、所望の波長帯域の透過帯を実現できる。すなわち、赤色光と近赤外光が透過するR+IR画素、緑色光と近赤外光が透過するG+IR画素、青色光と近赤外光が透過するB+IR画素、および近赤外光のみが透過するIR画素を有するカラーフィルタを容易に設計できる。R+IR透過フィルタ111、G+IR透過フィルタ112、B+IR透過フィルタ113のそれぞれの欠陥層の膜厚を調整するだけで、赤色光と近赤外光、緑色光と近赤外光、青色光と近赤外光の透過帯が形成できる。
The R +
R+IR透過フィルタ111、G+IR透過フィルタ112、B+IR透過フィルタ113、またはIR透過フィルタ114を搭載した単位画素115の色信号を出力アンプ124で信号処理部201に出力する。信号処理部201は、入力された画像信号をOB計算部211で暗電流などのオフセット除去を行う。色信号は続いてローパスフィルタ212でノイズ成分を除去される。
The color signal of the
4×4行列演算部213は、R、G、B可視光の色信号を4×4行列演算部213で、比重をかけたIR信号を各画素の原信号から差分して得る。比重係数は、近赤外光が消失するように調整している。つまり4×4行列演算部213は、(R+IR)信号、(G+IR)信号、(B+IR)信号、IR信号に対して、4×4の行列演算を施すことによってRGBの3信号を出力する。
The 4 × 4
ホワイトバランス部214は、通常の3原色と同様に、ホワイトバランスを行い3原色間の色補正を行う。さらに色差計算部215、ゲイン調整部216で信号処理を行う。最後にγ補正部217から出力された色信号は、輝度計算部223から出力された輝度信号と合わせて表示装置等に画像信号として出力される。
The
色差計算部215は、複数種類の色信号(つまりR、G、B)を用いて複数の色成分信号(R−Y信号、B−Y信号)を計算して出力する。
The color
本実施の形態では、輝度信号を作成する演算において近赤外光のみを通過する色フィルタを搭載した受光素子から出力された信号が用いられている。輝度信号は、輝度信号=(R+IR)画素の輝度信号+(G+IR)画素の輝度信号+(B+IR)画素の輝度信号+k×(IR)画素の輝度信号で計算される。つまり、Y=(R+IR)+(G+IR)+(B+IR)+kIRで計算される。ここでkは、((R+IR)+(G+IR)+(B+IR))信号に対するIR信号の混合率を示す混合係数であり、あるいは、輝度信号Yに対するIR信号の混合率を示す混合係数である。この場合、kは−3以上+1以下の範囲内で定められる。 In the present embodiment, a signal output from a light receiving element equipped with a color filter that passes only near-infrared light is used in an operation for creating a luminance signal. The luminance signal is calculated by luminance signal = (R + IR) pixel luminance signal + (G + IR) pixel luminance signal + (B + IR) pixel luminance signal + k × (IR) pixel luminance signal. That is, Y = (R + IR) + (G + IR) + (B + IR) + kIR. Here, k is a mixing coefficient indicating the mixing ratio of the IR signal with respect to the ((R + IR) + (G + IR) + (B + IR)) signal or a mixing coefficient indicating the mixing ratio of the IR signal with respect to the luminance signal Y. In this case, k is determined within a range of −3 to +1.
k=−3の場合、IR信号が完全に除去された輝度信号Yを得ることができる。これは昼モードでは撮像に適している。k=+1の場合、IR信号の全部を含む輝度信号Yを得ることができる。これは白黒画像の生成に適している。kが−3から+1の中間的な値のとき、カラー画像が生成され、kに応じてカラー化の程度が決まる。これは、夜モードでカラー化するのに適している。 When k = −3, the luminance signal Y from which the IR signal is completely removed can be obtained. This is suitable for imaging in the daytime mode. When k = + 1, the luminance signal Y including the entire IR signal can be obtained. This is suitable for generating black and white images. When k is an intermediate value between -3 and +1, a color image is generated, and the degree of colorization is determined according to k. This is suitable for colorizing in the night mode.
k算出部222は、IR信号の信号量に応じて混合係数を算出する。
輝度計算部223は、混合係数kを用いて、複数種類の色信号と前記赤外信号とを混合し、輝度信号Yとして出力する。
The
The
図2Aは、k算出部222における混合係数算出処理の一例を示すフローチャートである。同図において、Ave(IR)は、1フレーム前のフレーム内のIR信号の平均値、Th1〜Th4は、Th1>Th2>Th3>Th4を満たすしきい値である。同図のようにk算出部222は、AVE(IR)がしきい値Th1より大きいとき混合係数k=k1に設定し(S21、S22)、AVE(IR)がしきい値Th1以下かつしきい値Th2より大きいとき混合係数k=k2に設定し(S23、S24)、AVE(IR)がしきい値Th2以下かつしきい値Th3より大きいとき混合係数k=k3に設定し(S25、S26)、AVE(IR)がしきい値Th3以下かつしきい値Th4より大きいとき混合係数k=k4に設定し(S27、S28)、AVE(IR)がしきい値Th4以下のとき混合係数k=k5に設定する(S29)。ここで、k1、k2、k3、k4は、例えば、+1、0、−1、−2、−3である。
FIG. 2A is a flowchart illustrating an example of the mixing coefficient calculation process in the
このように、k算出部222は、IR信号の信号量に応じて混合係数kを算出する。
さらに、演算に用いられる前記近赤外信号の成分量を(1フレーム毎に)所定の値に制御する近赤外信号制御部221を備えている。
Thus, the
Further, a near-infrared
近赤外信号制御部221が、輝度信号演算に用いられる近赤外信号の成分量に応じて、撮像制御部301を制御し、撮像素子101の露光量を所定の値に制御することが出来る。
The near-infrared
撮像素子101の露光量を所定の値へ調整するため、近赤外信号制御部221が露出時間制御部311を制御し、露出時間を所定の値に調整する。
In order to adjust the exposure amount of the
また撮像素子101の露光量を所定の値へ調整するため、近赤外信号制御部221が絞り制御部312を制御し、レンズ501の絞り502を調整することにより入射光量を所定の値に調整する。
Further, in order to adjust the exposure amount of the
また撮像素子101の露光量を所定の値へ調整するため、近赤外信号制御部221が光源制御部401を制御し、被写体に所定の近赤外光を照射するIR光源411の照射量を調整する。
In order to adjust the exposure amount of the
また、近赤外信号制御部221は、色信号成分に印加される近赤外信号成分の成分量をホワイトバランス部214の出力に応じてゲイン調整部216を制御し利得を調整する。特に、車載カメラやセキュリティカメラで要求される標識などの赤色の色再現性を得るために、赤色信号の利得を最大とするように近赤外信号成分の成分量を制御する。また、信号処理部201は、各受光素子の近赤外信号成分を除いた可視光成分のみからなる色再生信号を生成する工程と赤色信号成分に最大の利得を与えるよう制御する。
Further, the near-infrared
また、近赤外信号制御部221は、色再生信号の強度に応じて輝度信号に印加される近赤外光量の成分量を制御する。
The near-infrared
また、信号処理部201は近赤外信号制御部221で輝度信号に印加される近赤外光量の成分量をフレーム毎に制御することにより、カラー画像フレームと近赤外光による輝度成分を主とする白黒画像フレームを最小1フレーム単位で切り替えることを特徴とする。
In addition, the
また、信号処理部201は近赤外信号制御部221で輝度信号に印加される近赤外光量の成分量を画素毎に制御することにより、同一フレーム内にカラー画像を出力する画素と近赤外光による輝度成分を主とする白黒画像を出力する画素を最小1画素単位で切り替えることを特徴とする。
The
したがって、本実施の形態1における撮像装置100を用いると、デイナイトカメラ等、夜間に近赤外光を受光することで撮像する撮像素子において、可視光信号が微弱な環境の夜間モードにおいても、図3Bに示す色信号処理を実施した画像の色度図に示すように可視カラー画像を出力する撮像装置を実現することができる。また、図3Aは、従来技術における夜間モードの白黒画像(赤外線画像)の色度図を示す。 Therefore, when the imaging apparatus 100 according to the first embodiment is used, the imaging device that captures an image by receiving near-infrared light at night, such as a day / night camera, can be used even in the night mode in which the visible light signal is weak. As shown in the chromaticity diagram of the image subjected to the color signal processing shown in 3B, an imaging device that outputs a visible color image can be realized. FIG. 3A shows a chromaticity diagram of a black-and-white image (infrared image) in night mode in the prior art.
なお、上記の図2Aではk算出部222が、IR信号の平均信号量に応じて混合係数kを算出する例を示したが、図2Aの代わりに図2Bのようにしてもよい。図2Bでは、k算出部222は、複数種類の色信号(R信号、G信号およびB信号)に対するIR信号の平均信号量に応じて前記混合係数を算出する一例を示す。
In FIG. 2A, the example in which the
図2BにおいてAve(IR/(R+G+B))は、1フレーム前のフレーム内の(R+G+B)信号に対するIR信号の比の平均値、Th11〜Th14は、Th11>Th12>Th13>Th14を満たすしきい値である。 In FIG. 2B, Ave (IR / (R + G + B)) is an average value of the ratio of the IR signal to the (R + G + B) signal in the previous frame, and Th11 to Th14 are threshold values that satisfy Th11> Th12> Th13> Th14. It is.
図2Bにおいてk算出部222は、AVE(IR/(R+G+B))がしきい値Th11より大きいとき混合係数k=k11に設定し(S51、S52)、AVE(IR/(R+G+B))がしきい値Th11以下かつしきい値Th12より大きいとき混合係数k=k2に設定し(S53、S54)、AVE(IR/(R+G+B))がしきい値Th12以下かつしきい値Th13より大きいとき混合係数k=k13に設定し(S55、S56)、AVE(IR/(R+G+B))がしきい値Th13以下かつしきい値Th14より大きいとき混合係数k=k14に設定し(S57、S58)、AVE(IR/(R+G+B))がしきい値Th14以下のとき混合係数k=k15に設定する(S29)。ここで、k11、k12、k13、k14は、例えば、+1、0、−1、−2、−3である。
In FIG. 2B, the
なお、図2A、図2Bでは混合係数kが5段階の値を取り得る例を示したが、3段階以上であれば何段階であってもよいし、連続的な値としてもよい。 2A and 2B show an example in which the mixing coefficient k can take values in five steps, but any number of steps may be used as long as there are three or more steps, or continuous values may be used.
(実施の形態2)
本実施の形態では、第1に、輝度計算部が、さらに、赤外信号を抑制するためのダミー混合係数kdを用いて、複数種類の色信号と前記赤外信号とを混合することによってダミーの輝度信号Ydを計算し、色差計算部215が、ダミーの輝度信号Ydを用いて2つの色差信号を前記色成分信号として生成する例について説明する。
(Embodiment 2)
In the present embodiment, first, the luminance calculation unit further mixes a plurality of types of color signals and the infrared signal by using a dummy mixing coefficient kd for suppressing the infrared signal, thereby providing a dummy. An example in which the luminance signal Yd is calculated and the color
第2に、輝度計算部が、交互に繰り返される第1所定数の連続フレームと第2所定数の連続フレームとに対して、前記第1所定数の連続フレームが白黒画像となるように前記混合係数を算出し、前記第2所定数の連続フレームがカラー画像となるように前記混合係数を算出する構成について説明する。 Second, the luminance calculation unit performs the mixing so that the first predetermined number of consecutive frames become a monochrome image with respect to the first predetermined number of consecutive frames and the second predetermined number of consecutive frames that are alternately repeated. A configuration for calculating a coefficient and calculating the mixing coefficient so that the second predetermined number of consecutive frames becomes a color image will be described.
第3に、近赤外信号制御部221が、赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定し、ゲイン調整部216が、色ゲインに従って2215により算出された複数の色成分信号のゲインを調整する例について説明する。
Third, the near-infrared
図4は、実施の形態2に係る撮像装置の主要な機能構成を示すブロック図である。同図は、図1と比較して、輝度計算部223の代わりに輝度計算部423を備える点が異なっている。以下、同じ点は説明を省略して、異なる点を中心に説明する。
FIG. 4 is a block diagram illustrating a main functional configuration of the imaging apparatus according to the second embodiment. This figure is different from FIG. 1 in that a
輝度計算部423は、輝度計算部223の機能に加えて、ダミーの輝度信号Ydを計算し、計算したダミーの輝度信号Ydを輝度信号Yとして色差計算部215に供給する点が異なっている。ここで、ダミーの輝度信号は、IR信号が完全に抑圧された輝度信号であり、k=−3のときの輝度信号Yである。
In addition to the function of the
これにより、色差計算部215は、混合係数が大きいときでも、IR信号が完全に抑圧された場合の色差信号を算出することになる。これにより、色再現性のよい2つの色差信号を生成することができる。
Thereby, the color
さらに、輝度計算部423は、輝度計算部223と比べてフレーム毎にkを算出する点は同じであるが、前記第1所定数の連続フレームが白黒画像となるように前記混合係数を算出し、前記第2所定数の連続フレームがカラー画像となるように前記混合係数を算出する点が異なっている。
Further, the
図5Aに輝度計算部423の混合係数算出処理の一例を示すフローチャートを示す。図5Aにおいて、輝度計算部423は、ループ1において第1所定数の連続フレームに対して、図4Aまたは図4Bと同様にkを算出する(S51〜S53)。これにより第1所定数の連続フレームはカラー画像になる。
FIG. 5A shows a flowchart illustrating an example of the mixing coefficient calculation process of the
また、輝度計算部423は、ループ2において第2所定数の連続フレームに対して、k=1と決定する(S54〜S55)。これにより、第2所定数の連続フレームは白黒画像になる。
In addition, the
(第1所定数、第2所定数)は、ともに1以上の整数であり、例えば(1、1)、(1、2)、(2、1)等であってよい。 Both (the first predetermined number and the second predetermined number) are integers of 1 or more, and may be (1, 1), (1, 2), (2, 1), or the like, for example.
こうすれば、白黒画像とカラー画像を交互に生成するので、両者の長所をもつ画像をユーザに提供することができる。 By so doing, black and white images and color images are generated alternately, so that an image having the advantages of both can be provided to the user.
近赤外信号制御部221が、実施の形態1と比べて、赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定する機能が追加されている。
Compared to the first embodiment, the near-infrared
ゲイン調整部216が、色ゲインに従って2215により算出された複数の色成分信号のゲインを調整するように構成されている。
The
図5Bは、近赤外信号制御部221における色ゲインの決定処理を示すフローチャートである。
FIG. 5B is a flowchart illustrating color gain determination processing in the near-infrared
同図のように、近赤外信号制御部221は、ユーザ操作に基づく特定色の強調指示を外部から受け付け(S61、S63、S65)、受け付けた色に対するゲインを相対的に増加させる処理を行う(S62、S64、S66)。
As shown in the figure, the near-infrared
こうすれば、特定色による偽色の発生を防止することができる。ここで、偽色は例えば葉っぱが緑色に撮像されない等の現象をいう。 By so doing, it is possible to prevent the occurrence of false colors due to the specific color. Here, the false color refers to a phenomenon in which, for example, a leaf is not imaged in green.
なお、特定色の強調の代わりに特定色の抑制を行うようにしてもよい。この場合特定色のゲインを相対的に減少させればよい。 Note that specific color suppression may be performed instead of emphasis on specific color. In this case, the gain of the specific color may be relatively decreased.
(実施の形態3)
本実施の形態では、白黒画像をカラー画像よりも高解像度で出力する撮像装置について説明する。
(Embodiment 3)
In this embodiment, an imaging apparatus that outputs a black and white image at a higher resolution than a color image will be described.
図6は、実施の形態3に係る撮像装置の主要な機能構成を示すブロック図である。同図は、図1と比較して、輝度計算部223の代わりに輝度計算部623を備える点が異なっている。以下、同じ点は説明を省略して、異なる点を中心に説明する。
FIG. 6 is a block diagram illustrating a main functional configuration of the imaging apparatus according to the third embodiment. This figure is different from FIG. 1 in that a
輝度計算部623は、輝度計算部223の機能に加えて、混合係数kが+1のとき、前記第1、第2、第3色信号(R+IR信号、G+IR信号、B+IR信号)、およびIR信号のそれぞれを輝度信号として出力する。
In addition to the function of the
図7は輝度計算部623の輝度信号算出処理の一例を示すフローチャートである。同図のように、輝度計算部623は、輝度信号Y(Y=(R+IR)+(G+IR)+(B+IR)+kIR)を計算して色差計算部215に出力し(S70)、k算出部222によって算出されたk=1である場合、Yを輝度信号として出力する(S71、S73)。一方、k=1でない場合、画素数4倍の白黒画像を生成(y=R+IR、y=G+IR、y=B+IR、y=IR)し(S73)、yを輝度信号として出力する(S74)。
FIG. 7 is a flowchart illustrating an example of the luminance signal calculation process of the
これにより、カラー画像に比べて縦2倍横2倍の画素数を有する高解像度の白黒画像を生成することができる。 As a result, it is possible to generate a high-resolution black and white image having the number of pixels twice as long as twice as large as that of a color image.
(実施の形態4)
本実施形態では、実施の形態1の撮像装置の機能に加えて、前記複数種類の色信号の信号量と前記赤外信号の信号量の少なくとも一方に基づいて前記赤外線光源の発光量を制御する構成について説明する。
(Embodiment 4)
In the present embodiment, in addition to the function of the imaging device of the first embodiment, the light emission amount of the infrared light source is controlled based on at least one of the signal amount of the plurality of types of color signals and the signal amount of the infrared signal. The configuration will be described.
図8は、本実施の形態2に係る撮像装置の主要な機能構成を示すブロック図である。
図8に示されるように、本実施の形態に係る撮像装置100は、撮像素子101と信号処理部201と撮像制御部301と、光源制御部401とIR光源411と、レンズ501と絞り502を備えている。本実施の形態に係る信号処理方法は、レッド(R)+近赤外(IR)、グリーン(G)+近赤外(IR)、ブルー(B)+近赤外(IR)及び近赤外(IR)の4画素を1単位とする単位画素115を有する撮像装置100に関して色信号と輝度信号からなる画像信号を処理する。
FIG. 8 is a block diagram illustrating a main functional configuration of the imaging apparatus according to the second embodiment.
As shown in FIG. 8, the imaging apparatus 100 according to the present embodiment includes an
以降、実施形態と異なる構成ならびに信号処理方法について記載する。
撮像素子101の露光量を所定の値へ調整するため、輝度計算部223は可視光強度に対応して光源制御部401を制御し、被写体に所定の近赤外光を照射するIR光源411の照射量を調整する。
Hereinafter, a configuration and a signal processing method different from the embodiment will be described.
In order to adjust the exposure amount of the
したがって、本実施の形態2における撮像装置100を用いると、デイナイトカメラ等、夜間に近赤外光を受光することで撮像する撮像素子において、可視光信号が微弱な環境の夜間モードにおいても、図2に示す色信号処理を実施した画像の色度図に示すように可視カラー画像を出力する撮像装置を実現することができる。 Therefore, when the imaging apparatus 100 according to the second embodiment is used, the imaging device that captures an image by receiving near-infrared light at night, such as a day / night camera, can be used even in the night mode in which the visible light signal is weak. As shown in the chromaticity diagram of the image subjected to the color signal processing shown in FIG. 2, an imaging device that outputs a visible color image can be realized.
なお、図9に示すように、3つの原色信号を前記色成分信号として生成する撮像装置としてもよい。 In addition, as shown in FIG. 9, it is good also as an imaging device which produces | generates three primary color signals as said color component signal.
こうすれば、輝度信号からなる白黒画像と、3つの原色信号からなるカラー画像とを同時に生成することができる。 In this way, it is possible to simultaneously generate a black and white image composed of luminance signals and a color image composed of three primary color signals.
本発明の撮像装置は、監視カメラ、ネットワークカメラ、車載カメラ、デジタルカメラ、携帯電話などに利用可能であり、これらの機器の夜間における撮像画像の画質向上を実現可能とする。 The imaging apparatus of the present invention can be used for surveillance cameras, network cameras, in-vehicle cameras, digital cameras, mobile phones, and the like, and can improve the image quality of captured images at night of these devices.
100 撮像装置
101 撮像素子
111 R+IR透過フィルタ
112 G+IR透過フィルタ
113 B+IR透過フィルタ
114 IR透過フィルタ
115 単位画素
121 垂直シフトレジスタ
122 水平シフトレジスタ
123 ノイズ除去回路
124 出力アンプ
201 信号処理部
211 OB計算部
212 ローパスフィルタ
213 4×4行列演算部
214 ホワイトバランス部
215 色差計算部
216 ゲイン調整部
217 γ補正部
221 近赤外信号制御部
222 k算出部
223、423、623 輝度計算部
301 撮像制御部
311 露出時間制御部
312 絞り制御部
401 光源制御部
411 IR光源
501 レンズ
502 絞り
DESCRIPTION OF SYMBOLS 100 Image pick-up
Claims (19)
前記複数の色フィルタの何れか1つをそれぞれ搭載し、二次元状に配置された複数の受光素子と、
前記複数の受光素子から、前記複数の色フィルタの可視光に対応する複数種類の色信号、および赤外信号を読み出す読み出し部と、
前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、輝度信号として出力する輝度計算部と、
前記複数種類の色信号および前記赤外信号を用いて複数の色成分信号を計算して出力する色成分計算部と、
前記赤外信号の信号量に応じて前記混合係数を算出する係数算出部と
を備える撮像装置。 A plurality of color filters including at least visible light and a plurality of color filters including an infrared transmission filter that suppresses visible light and transmits infrared light;
A plurality of light receiving elements each mounted with any one of the plurality of color filters and arranged two-dimensionally;
A readout unit that reads out a plurality of types of color signals corresponding to visible light of the plurality of color filters, and an infrared signal from the plurality of light receiving elements,
Using a mixing coefficient indicating a mixing ratio of the infrared signal with respect to the plurality of types of color signals, the plurality of types of color signals and the infrared signal are mixed and output as a luminance signal;
A color component calculator that calculates and outputs a plurality of color component signals using the plurality of types of color signals and the infrared signal;
An imaging apparatus comprising: a coefficient calculation unit that calculates the mixing coefficient according to a signal amount of the infrared signal.
請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the mixing coefficient takes any one of three or more multi-stage values.
請求項2に記載の撮像装置。 The imaging apparatus according to claim 2, wherein the color component calculation unit generates two color difference signals as the color component signal using the luminance signal.
請求項3に記載の撮像装置。 The imaging apparatus according to claim 3, wherein the coefficient calculation unit calculates the mixing coefficient according to a signal amount of the infrared signal with respect to the plurality of types of color signals.
前記複数種類の色信号は、第1、第2および第3色フィルタに対応する第1、第2および第3色信号とを含み、
前記輝度計算部は、前記第1、第2、第3色信号、および前記混合係数により重み付けされた前記赤外信号を加算することにより前記輝度信号を算出する
請求項3に記載の撮像装置。 The plurality of types of color filters include a first color filter that transmits visible light and infrared light of a first color, a second color filter that transmits visible light and infrared light of a second color, and a third color filter. A third color filter that transmits visible light and infrared light of the color
The plurality of types of color signals include first, second and third color signals corresponding to the first, second and third color filters,
The imaging apparatus according to claim 3, wherein the luminance calculation unit calculates the luminance signal by adding the infrared signals weighted by the first, second, and third color signals and the mixing coefficient.
前記混合係数は、−3から+1の範囲内の値である
請求項5に記載の撮像装置。 The first, second and third color signals and the infrared signal each have normalized values;
The imaging apparatus according to claim 5, wherein the mixing coefficient is a value within a range of −3 to +1.
請求項6に記載の撮像装置。 The imaging device according to claim 6, wherein the luminance calculation unit further outputs each of the first, second, and third color signals and the infrared signal as luminance signals when the mixing coefficient is +1.
前記複数種類の色信号は、第1、第2および第3色フィルタに対応する第1、第2および第3色信号とを含み、
前記輝度計算部は、前記第1、第2、第3色信号、および前記係数により重み付けされた前記赤外信号を加算することにより前記輝度信号を計算する
請求項3に記載の撮像装置。 The plurality of types of color filters include a first color filter that transmits visible light of a first color and suppresses infrared light, and a second color filter that transmits visible light of a second color and suppresses infrared light. And a third color filter that transmits visible light of the third color and suppresses infrared light,
The plurality of types of color signals include first, second and third color signals corresponding to the first, second and third color filters,
The imaging apparatus according to claim 3, wherein the luminance calculation unit calculates the luminance signal by adding the first, second, and third color signals and the infrared signal weighted by the coefficient.
前記混合係数は、0から+1の範囲内の値である
請求項8に記載の撮像装置。 The first, second and third color signals and the infrared signal each have normalized values;
The imaging apparatus according to claim 8, wherein the mixing coefficient is a value within a range of 0 to +1.
前記複数種類の色信号に対する前記赤外信号の信号量に応じて、前記複数の受光素子の露光量を制御する露出制御部を備える
請求項3に記載の撮像装置。 The imaging device further includes:
The imaging apparatus according to claim 3, further comprising an exposure control unit that controls an exposure amount of the plurality of light receiving elements in accordance with a signal amount of the infrared signal with respect to the plurality of types of color signals.
前記複数種類の色信号に対する前記赤外信号の信号量に応じて、前記複数の受光素子の露出時間を決定し、当該露出時間前記複数の受光素子を露光する
請求項10に記載の撮像装置。 The exposure control unit
The imaging apparatus according to claim 10, wherein an exposure time of the plurality of light receiving elements is determined according to a signal amount of the infrared signal with respect to the plurality of kinds of color signals, and the plurality of light receiving elements are exposed.
赤外線を発光する赤外線光源と、
前記複数種類の色信号の信号量と前記赤外信号の信号量の少なくとも一方に基づいて前記赤外線光源の発光量を制御する光源制御部とを備える
請求項1に記載の撮像装置。 The imaging device further includes:
An infrared light source that emits infrared light;
The imaging apparatus according to claim 1, further comprising: a light source control unit that controls a light emission amount of the infrared light source based on at least one of a signal amount of the plurality of types of color signals and a signal amount of the infrared signal.
請求項2に記載の撮像装置。 The imaging apparatus according to claim 2, wherein the luminance calculation unit calculates the mixing coefficient for each frame.
請求項13に記載の撮像装置。 The luminance calculation unit calculates the mixing coefficient for a first predetermined number of consecutive frames and a second predetermined number of consecutive frames that are alternately repeated so that the first predetermined number of consecutive frames become a black and white image. The imaging apparatus according to claim 13, wherein the mixing coefficient is calculated so that the second predetermined number of consecutive frames become a color image.
請求項2に記載の撮像装置。 The luminance calculation unit calculates the mixing coefficient so that the first area in one frame becomes a monochrome image, and the second area different from the first area in one frame becomes a color image. The imaging apparatus according to claim 2, wherein the mixing coefficient is calculated.
請求項2に記載の撮像装置。 The imaging apparatus according to claim 2, wherein the color component calculation unit generates three primary color signals as the color component signals using the plurality of types of color signals.
前記色成分計算部は、前記ダミーの輝度信号を用いて2つの色差信号を前記色成分信号として生成する
請求項2に記載の撮像装置。 The luminance calculation unit further mixes the plurality of types of color signals and the infrared signal using a dummy mixing coefficient for suppressing the infrared signal, and calculates a dummy luminance signal,
The imaging apparatus according to claim 2, wherein the color component calculation unit generates two color difference signals as the color component signal using the dummy luminance signal.
前記赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定する色ゲイン決定部と、
前記色ゲインに従って前記色成分計算部により算出された複数の色成分信号のゲインを調整するゲイン調整部と
を備える請求項2に記載の撮像装置。 The imaging device further includes:
A color gain determination unit that determines a color gain for enhancing or suppressing a specific color according to the signal amount of the infrared signal;
The imaging apparatus according to claim 2, further comprising: a gain adjustment unit that adjusts gains of a plurality of color component signals calculated by the color component calculation unit according to the color gain.
前記複数の受光素子から、前記複数色の可視光に対応する複数種類の色信号、および赤外信号を読み出し、
前記赤外信号の信号量に応じて、前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を算出し、
前記混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、前記輝度信号として出力し、
前記複数種類の色信号および前記赤外信号を用いて複数の前記色成分信号を計算して出力する
撮像方法。 A plurality of color filters that transmit at least visible light, a plurality of color filters including an infrared transmission filter that suppresses visible light and transmits infrared light, and any one of the plurality of color filters are mounted. An imaging method for generating an image composed of a luminance signal and a color component signal using a solid-state imaging device including a plurality of light receiving elements arranged two-dimensionally,
A plurality of types of color signals corresponding to the plurality of colors of visible light and infrared signals are read from the plurality of light receiving elements,
According to the signal amount of the infrared signal, a mixing coefficient indicating a mixing ratio of the infrared signal with respect to the plurality of types of color signals is calculated,
Using the mixing coefficient, the plurality of types of color signals and the infrared signal are mixed and output as the luminance signal,
An imaging method for calculating and outputting a plurality of color component signals using the plurality of types of color signals and the infrared signal.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009156292A JP2011015087A (en) | 2009-06-30 | 2009-06-30 | Imaging device and imaging method |
PCT/JP2010/004304 WO2011001672A1 (en) | 2009-06-30 | 2010-06-30 | Imaging device and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009156292A JP2011015087A (en) | 2009-06-30 | 2009-06-30 | Imaging device and imaging method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011015087A true JP2011015087A (en) | 2011-01-20 |
Family
ID=43410759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009156292A Pending JP2011015087A (en) | 2009-06-30 | 2009-06-30 | Imaging device and imaging method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011015087A (en) |
WO (1) | WO2011001672A1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013128259A (en) * | 2011-12-19 | 2013-06-27 | Fujitsu Ltd | Imaging apparatus, image processing apparatus, image processing program, and image processing method |
WO2013118337A1 (en) * | 2012-02-06 | 2013-08-15 | 日立コンシューマエレクトロニクス株式会社 | Imaging device |
WO2015111197A1 (en) * | 2014-01-24 | 2015-07-30 | 日立マクセル株式会社 | Imaging device and vehicle-mounted imaging system |
JP2016004133A (en) * | 2014-06-16 | 2016-01-12 | キヤノン株式会社 | Imaging device and control method of the same, program, and memory medium |
JP2016086265A (en) * | 2014-10-24 | 2016-05-19 | 株式会社Jvcケンウッド | Imaging apparatus, imaging method, and imaging program |
US10171757B2 (en) | 2013-10-23 | 2019-01-01 | Nec Corporation | Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter |
JPWO2017208437A1 (en) * | 2016-06-03 | 2019-04-25 | マクセル株式会社 | Imaging device and imaging system |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016047240A1 (en) | 2014-09-24 | 2016-03-31 | ソニー株式会社 | Image processing device, image pickup element, image pickup device, and image processing method |
CN107534759B (en) * | 2015-02-26 | 2020-06-16 | 索尼半导体解决方案公司 | Image pickup apparatus, image pickup method, and computer-readable medium |
WO2020017638A1 (en) * | 2018-07-20 | 2020-01-23 | 株式会社ナノルクス | Image generation device and imaging device |
JP7351124B2 (en) * | 2019-07-16 | 2023-09-27 | 株式会社リコー | Image processing device, image processing method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW423252B (en) * | 1998-07-30 | 2001-02-21 | Intel Corp | Infrared correction system |
JP4420917B2 (en) * | 2005-12-27 | 2010-02-24 | 三洋電機株式会社 | Imaging device |
JP4466569B2 (en) * | 2006-01-10 | 2010-05-26 | 株式会社豊田中央研究所 | Color image playback device |
-
2009
- 2009-06-30 JP JP2009156292A patent/JP2011015087A/en active Pending
-
2010
- 2010-06-30 WO PCT/JP2010/004304 patent/WO2011001672A1/en active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013128259A (en) * | 2011-12-19 | 2013-06-27 | Fujitsu Ltd | Imaging apparatus, image processing apparatus, image processing program, and image processing method |
WO2013118337A1 (en) * | 2012-02-06 | 2013-08-15 | 日立コンシューマエレクトロニクス株式会社 | Imaging device |
US10171757B2 (en) | 2013-10-23 | 2019-01-01 | Nec Corporation | Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter |
WO2015111197A1 (en) * | 2014-01-24 | 2015-07-30 | 日立マクセル株式会社 | Imaging device and vehicle-mounted imaging system |
JP2016004133A (en) * | 2014-06-16 | 2016-01-12 | キヤノン株式会社 | Imaging device and control method of the same, program, and memory medium |
JP2016086265A (en) * | 2014-10-24 | 2016-05-19 | 株式会社Jvcケンウッド | Imaging apparatus, imaging method, and imaging program |
JPWO2017208437A1 (en) * | 2016-06-03 | 2019-04-25 | マクセル株式会社 | Imaging device and imaging system |
Also Published As
Publication number | Publication date |
---|---|
WO2011001672A1 (en) | 2011-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011001672A1 (en) | Imaging device and imaging method | |
KR100580911B1 (en) | Image synthesis method and image pickup apparatus | |
TWI524709B (en) | Image capture apparatus, method of controlling image capture apparatus, and electronic device | |
JP5954661B2 (en) | Imaging device and imaging apparatus | |
US8723958B2 (en) | Image pickup apparatus and image pickup element | |
JP2010093472A (en) | Imaging apparatus, and signal processing circuit for the same | |
US9426437B2 (en) | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing | |
US8411176B2 (en) | Image input device | |
CN105191285A (en) | Solid-state imaging device, electronic apparatus, lens control method, and imaging module | |
US7643069B2 (en) | Device and method for adjusting exposure of image sensor | |
WO2015011824A1 (en) | Image pickup apparatus | |
JP2011176773A (en) | Signal processing apparatus, solid-state imaging apparatus, electronic information device, signal processing method, control program and recording medium | |
JP2008085634A (en) | Imaging apparatus and image processing method | |
JP5098908B2 (en) | Image input device | |
JP2010288093A (en) | Image processing apparatus, solid-state imaging apparatus, and electronic information apparatus | |
JP2012244533A (en) | Imaging apparatus and image signal processing method | |
JP2013192214A (en) | Imaging element and imaging device | |
JP2006352804A (en) | Imaging apparatus | |
JP2008219230A (en) | Imaging apparatus, and image processing method | |
JP2013219452A (en) | Color signal processing circuit, color signal processing method, color reproduction evaluation method, imaging apparatus, electronic apparatus and testing apparatus | |
JP2017102393A (en) | Imaging apparatus | |
JP2011211497A (en) | Image input device | |
JP2009290795A (en) | Image processor, image processing method, image processing program, recording medium, and electronic information device | |
JP2007049533A (en) | Imaging apparatus and electronic information equipment | |
JP4781825B2 (en) | Imaging device |