JP2017005484A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2017005484A JP2017005484A JP2015117121A JP2015117121A JP2017005484A JP 2017005484 A JP2017005484 A JP 2017005484A JP 2015117121 A JP2015117121 A JP 2015117121A JP 2015117121 A JP2015117121 A JP 2015117121A JP 2017005484 A JP2017005484 A JP 2017005484A
- Authority
- JP
- Japan
- Prior art keywords
- visible light
- signal
- light signal
- unit
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
本技術分野の背景技術として、特開2010−161459(特許文献1)がある。該公報には、「[課題]低照度下で撮像を行う場合に、可視光成分と赤外線成分との合成比率を調整可能な赤外線照射式撮像装置を提供する。[解決手段]赤外線混合撮像装置において、赤外線照射撮像条件によって撮像を行う場合に、赤外線カットフィルタを光路上に挿入する可視光撮像条件によって生成される撮像信号の色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成する。赤外線照射撮像条件にて生成される撮像信号を可視光成分撮像信号と赤外線成分撮像信号とに分離し、可視光成分撮像信号から可視光輝度信号とクロマ画像信号とを生成し、赤外線成分撮像信号から赤外線輝度信号を生成する。そして、可視光輝度信号と赤外線輝度信号との合成比率を調整して、輝度画像信号を生成する。」と記載されている。 As a background art in this technical field, there is JP 2010-161459 (Patent Document 1). In this publication, “[Problem] To provide an infrared irradiation type imaging device capable of adjusting a composite ratio of a visible light component and an infrared component when imaging under low illuminance. [Solution] Infrared mixed imaging device. When performing imaging under the infrared irradiation imaging condition, white balance is processed for each color of the imaging signal generated by the visible light imaging condition in which the infrared cut filter is inserted on the optical path, and a white balance imaging signal is generated. An imaging signal generated under an infrared irradiation imaging condition is separated into a visible light component imaging signal and an infrared component imaging signal, a visible light luminance signal and a chroma image signal are generated from the visible light component imaging signal, and an infrared component imaging signal is generated. Infrared luminance signal is generated from the image signal, and a luminance image signal is generated by adjusting a composite ratio of the visible light luminance signal and the infrared luminance signal. " .
また、特開2011−233983(特許文献2)がある。該公報には、「[課題]夜間のような低照度下でも良好なカラー画像を得ることができ、かつ、赤外線照明装置を用いた場合のようなコントラストが鮮明な映像を同時に得ることができる撮像装置を提供する。[解決手段]本発明に係る撮像装置は、固体撮像素子10と、赤外光を発光する赤外LED70と、赤外LED70に、フレーム時間を単位とする赤外光をパルス発光させる発光制御部60と、赤外LED70の非発光期間および発光期間に同期して、固体撮像素子10から可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ抽出する信号処理部20とを備え、固体撮像素子10は、緑色の可視光と赤外光とを受光する画素と、赤色の可視光と赤外光とを受光する画素と、青色の可視光と赤外光とを受光する画素と、赤外光を受光する画素とを備えた単位配列が2次元配列された撮像領域を有する。」と記載されている。 Moreover, there exists Unexamined-Japanese-Patent No. 2011-233983 (patent document 2). According to the publication, “[Problem] A good color image can be obtained even at low illumination such as at night, and a clear image as in the case of using an infrared illumination device can be obtained at the same time. [Means for Solving] An imaging device according to the present invention provides a solid-state imaging device 10, an infrared LED 70 emitting infrared light, and infrared light in units of frame time to the infrared LED 70. A light emission control unit 60 that emits pulses, and a signal processing unit that extracts a color image signal by visible light and an image signal by infrared light from the solid-state imaging device 10 in synchronization with the non-light emission period and the light emission period of the infrared LED 70. The solid-state imaging device 10 includes a pixel that receives green visible light and infrared light, a pixel that receives red visible light and infrared light, and blue visible light and infrared light. A pixel that receives light; Unit array that includes a pixel that receives the external light has an imaging regions arranged two-dimensionally. Has been described as ".
また、特許5432075(特許文献3)がある。該公報には、「[課題]色温度の算出精度の低下を抑制する。[解決手段]制御部200は、近赤外信号の量が所定量より大きい場合、少なくとも第1可視光信号と近赤外信号とを用いて、色温度を算出する。第1可視光信号は、可視光に対し光電変換することにより生成される信号である。近赤外信号は、近赤外光に対し光電変換することにより生成される信号である。」と記載されている。 Moreover, there exists patent 54332075 (patent document 3). The gazette states, “[Problem] Suppressing a decrease in the calculation accuracy of the color temperature. [Solution] When the amount of the near-infrared signal is larger than a predetermined amount, the control unit 200 is at least close to the first visible light signal. The color temperature is calculated using the infrared signal, and the first visible light signal is a signal generated by photoelectric conversion of the visible light.The near infrared signal is a photoelectrical signal for the near infrared light. It is a signal generated by conversion. ”
特許文献1においては、可視光撮像条件と赤外線照射撮像条件で個別に撮像信号を取得する必要があった。また、蛍光灯フリッカやLED照明のパルス照射、点滅ライトなど、撮影環境における時間軸での光量変化が起こった場合に対して考慮されていなかった。
In
特許文献2においては、赤外LEDを制御する必要があった。また、太陽光やハロゲン光などの赤外光を含む照明光が存在する撮影環境に対して考慮されていなかった。
In
特許文献3においては,異なるカラーフィルタを透過した撮像素子間の感度差に起因する信号飽和レベルのずれの影響による色温度の算出精度の低下に対して考慮されていなかった。
In
上記従来の技術課題を解決するために、特許請求の範囲に記載の構成を採用する。
本願は上記目的を解決する手段を複数含んでいるが、その一例を挙げるならば、可視光及び非可視光を含む光を光電変換し画素信号として出力する撮像素子と、撮像素子の出力した画素信号と所定の信号範囲を比較する信号範囲評価部と,撮像素子の出力した画素信号から可視光信号を抽出し出力する可視光信号生成部と、撮像素子の出力した画素信号から非可視光信号を抽出し出力する非可視光信号生成部と、信号範囲評価部の出力を用いて前記可視光信号と前記非可視光信号との比率を算出し出力する比率算出部と、可視光信号と非可視光信号との比率に基づいて撮像素子の出力した画素信号の画質を制御する画質調整部と、を有する撮像装置を提供する。
In order to solve the above-described conventional technical problems, the configurations described in the claims are adopted.
The present application includes a plurality of means for solving the above-described object. To give an example, an image sensor that photoelectrically converts light including visible light and invisible light and outputs it as a pixel signal, and a pixel output by the image sensor A signal range evaluation unit that compares a signal with a predetermined signal range, a visible light signal generation unit that extracts and outputs a visible light signal from a pixel signal output from the image sensor, and an invisible light signal from the pixel signal output from the image sensor A non-visible light signal generation unit that extracts and outputs a signal, a ratio calculation unit that calculates and outputs a ratio between the visible light signal and the non-visible light signal using an output of the signal range evaluation unit, and a visible light signal There is provided an imaging apparatus having an image quality adjustment unit that controls the image quality of a pixel signal output from an imaging device based on a ratio to a visible light signal.
本発明によれば、従来技術における課題を解決しつつ,且つ被写体からの可視光と非可視光成分を合成した1枚の画像を多様な光源環境に対して高画質に取得することができ,さらにそのカラーバランスを適正に補正することができる。これ以外の詳細な効果については、実施例にて説明する。 According to the present invention, it is possible to obtain a high-quality image for various light source environments while solving the problems in the prior art and combining one visible light component and invisible light component from a subject. Further, the color balance can be corrected appropriately. Detailed effects other than this will be described in Examples.
図1は、本発明における実施の形態の一例を表す図である。 FIG. 1 is a diagram illustrating an example of an embodiment of the present invention.
本実施例における撮像装置は、被写体からの可視光・非可視光を所定の焦点距離に結像させるレンズ101と、レンズ101によって結像された可視光・非可視光を各種色フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する撮像素子102と、撮像素子102からの画素信号に対してデモザイク処理を行うデモザイク処理部103と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより可視光成分に対する画素信号(可視光信号)を抽出する可視光信号生成部104と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより非可視光成分に対する画素信号(非可視光信号)を抽出する非可視光信号生成部105と、可視光信号生成部104からの画素信号から光源色を推定する光源色推定部106と、光源色推定部106の結果に基づいて可視光信号生成部104の出力である可視光信号に対してホワイトバランス補正を行うための利得を算出する白調整用ゲイン算出部107と、白調整用ゲイン算出部107からの利得情報に基づいて可視光信号生成部104から出力された可視光信号に対してホワイトバランス補正を行う白調整部108と、白調整部108にてホワイトバランス補正が施された可視光信号と、非可視光信号生成部から出力された非可視光信号とを合成する画像合成部111と、画像合成部111から出力された合成後の画素信号を用いて輝度信号を生成する輝度信号生成部109と、画像合成部111から出力された合成後の画素信号を用いて色差信号を生成する色差信号生成部110と、を有する。
The image pickup apparatus according to the present exemplary embodiment uses a
まず、可視光成分R,G,Bと非可視光成分IRの各々の信号を同時に取得する方法について説明する。図8は本実施例における撮像素子102の色フィルタ配列の一例である。R+IR(RIR)、G+IR(GIR)、B+IR(BIR)、IR(NIR)は、それぞれ異なる4種類の色フィルタが配列された画素を示す。また、図10は、これら4種類の色フィルタが配置された画素の分光感度特性の一例を表したものである。例えばRIRの色フィルタが配置された画素は可視光の赤(R)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、GIRの色フィルタが配置された画素は可視光の緑(G)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、BIRの色フィルタが配置された画素は可視光の青(B)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、NIRの色フィルタが配置された画素は近赤外光(IR)の波長付近に感度を持つものとする。
First, a method for simultaneously acquiring the signals of the visible light components R, G, B and the invisible light component IR will be described. FIG. 8 shows an example of the color filter array of the
デモザイク処理部103は、異なる色フィルタで配列された撮像素子102の出力画像信号に対して,補間処理などによってデモザイク処理を行う。補間処理とは、例えば、あるRIR画素の画素位置にはGIR,BIR,NIR画素が存在しないため、各々近隣周囲の同色画素から補間処理によって補間信号を生成し出力するものである。
The
可視光信号生成部104は、デモザイク処理部103から出力された画素信号に対してマトリクス演算等により可視光信号を生成して出力する。また、非可視光信号生成部105は、デモザイク処理部103から出力された画素信号に対してマトリクス演算等により非可視光信号を生成し出力する。例えば可視光信号生成部104は、非可視光を含まないまたは所定量に減衰させた可視光信号としてR、G、Bの各信号を下記式(1)〜(3)の演算処理にて生成し、非可視光信号生成部105は、可視光成分を含まないまたは所定量に減衰させた非可視光信号としてIR信号を下記式(4)の演算処理にて生成する。
The visible light
R=αrr×RIR+αrg×GIR+αrb×BIR+αri×NIR・・・(1)
G=αgr×RIR+αgg×GIR+αgb×BIR+αgi×NIR・・・(2)
B=αbr×RIR+αbg×GIR+αbb×BIR+αbi×NIR・・・(3)
IR=αir×RIR+αig×GIR+αib×BIR+αii×NIR・・・(4)
この時の各々のαは各信号に対する係数であり、例えばαの係数として、
R = αrr × RIR + αrg × GIR + αrb × BIR + αri × NIR (1)
G = αgr × RIR + αgg × GIR + αgb × BIR + αgi × NIR (2)
B = αbr × RIR + αbg × GIR + αbb × BIR + αbi × NIR (3)
IR = αir × RIR + αig × GIR + αib × BIR + αii × NIR (4)
Each α at this time is a coefficient for each signal. For example, as a coefficient of α,
を与えた場合、式(1)〜(4)は以下(6)〜(9)のようになる。
R=RIR−NIR・・・(6)
G=GIR−NIR・・・(7)
B=BIR−NIR・・・(8)
IR=NIR・・・(9)
図10に示すように、RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とNIRに含まれる非可視光成分の量の各々が共に同等レベルであれば、非可視光成分を含まない可視光信号R、G,Bのそれぞれと、可視光成分を含まない非可視光信号IRとに分離することができる。ここでRIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とNIRに含まれる非可視光成分の量の各々が共に一致しない場合に関しては、式(5)の値を適宜変更することで、非可視光成分の量を所定量減衰させた可視光成分R,G,Bの各信号と、可視光成分を所定量減衰させた非可視光成分IRとに分離することができる。
Is given, equations (1) to (4) become as follows (6) to (9).
R = RIR−NIR (6)
G = GIR−NIR (7)
B = BIR−NIR (8)
IR = NIR ・ ・ ・ (9)
As shown in FIG. 10, the amount of the invisible light component included in the RIR signal, the amount of the invisible light component included in the GIR signal, the amount of the invisible light component included in the BIR, and the invisible light component included in the NIR. Can be separated into each of visible light signals R, G, and B that do not contain a non-visible light component, and non-visible light signal IR that does not contain a visible light component. Here, the amount of the invisible light component included in the RIR signal, the amount of the invisible light component included in the GIR signal, the amount of the invisible light component included in the BIR, and the amount of the invisible light component included in the NIR are respectively When they do not match, by changing the value of Equation (5) as appropriate, the signals of visible light components R, G, and B, in which the amount of invisible light components is attenuated by a predetermined amount, and the visible light components are assigned. It can be separated into a non-visible light component IR that has been quantitatively attenuated.
以上の構成によれば、等しい露光時間にて撮影された可視光成分に対応する画像信号と非可視光成分に対応する画像信号とを、1フレーム分の撮影手順のみで同時に取得することができる。尚、本実施例では非可視光として近赤外光を例に示したが、紫外光などの場合でも同様であり、特定の波長に対して制約がかかるものではない。また、本実施例では可視光としてR,G,Bを例に示したが、補色信号など可視成分を含む信号であっても同様に処理することができ、その効果も同一であり、特定の波長に対して制約がかかるものではない。 According to the above configuration, the image signal corresponding to the visible light component and the image signal corresponding to the invisible light component captured with the same exposure time can be acquired simultaneously only by the imaging procedure for one frame. . In this embodiment, near-infrared light is shown as an example of invisible light. However, the same applies to ultraviolet light and the like, and there is no restriction on a specific wavelength. In this embodiment, R, G, and B are shown as examples of visible light. However, even a signal including a visible component such as a complementary color signal can be processed in the same manner, and the effect is the same. There is no restriction on the wavelength.
次に、可視光信号R,G,Bに対してホワイトバランス補正を行う方法について説明する。本実施例における光源色推定部106は、可視光信号生成部104から出力された可視光信号R、G,Bの各々の信号レベルの比に基づいて、被写体に照射されている照明の色温度を推定し、その推定結果を出力する。例えば、可視光信号生成部104から出力された可視光信号R、G,Bの信号量をそれぞれを画像1画面分積算したΣR、ΣG、ΣBを算出し、このΣR、ΣG、ΣBを照明の色温度を表す色分布推定情報として出力する方法がある。または、算出したΣR、ΣG、ΣBの相対比を照明の色分布推定情報として出力する方法がある。
Next, a method for performing white balance correction on the visible light signals R, G, and B will be described. The light source
白調整用ゲイン算出部107は、光源色推定部106から出力されたΣR、ΣG、ΣBの各々の値を等しくする、あるいは各々の値を近づけるための利得値を算出し出力するものであり、例えば以下(10)〜(12)のように値を等しくする利得値としてRgain、Ggain、Bgainを各々算出し出力する。
Rgain=ΣG/ΣR・・・(10)
Ggain=ΣG/ΣG・・・(11)
Bgain=ΣG/ΣB・・・(12)
白調整部108は、可視光信号生成部104から出力されたR,G,B信号に対して、白調整用ゲイン算出部107から出力された利得値Rgain、Ggain、Bgainを用いて次式(13)〜(15)にて利得調整を行うことでホワイトバランス補正を行ったR2、G2、B2を算出し出力する。
R2=Rgain×R・・・(13)
G2=Ggain×G・・・(14)
B2=Bgain×B・・・(15)
以上の構成によれば、可視光信号生成部104から出力されたR,G,B信号から照明の色温度を推定し、その推定結果に基づいて可視光信号生成部104から出力されたR,G,B信号に対してホワイトバランス補正を行うことができる。
The white adjustment
Rgain = ΣG / ΣR (10)
Ggain = ΣG / ΣG (11)
Bgain = ΣG / ΣB (12)
The
R2 = Rgain × R ・ ・ ・ (13)
G2 = Ggain × G ・ ・ ・ (14)
B2 = Bgain × B ・ ・ ・ (15)
According to the above configuration, the color temperature of the illumination is estimated from the R, G, B signals output from the visible light
尚、白調整用ゲイン算出部107はΣR、ΣG、ΣBの比率により利得値を算出し出力するものとしたが、予めΣRとΣGとΣBの分布に対応する色温度情報をテーブルとして保持しておき、算出したΣR、ΣG、ΣBの情報を基に色温度情報をテーブルから取得し、この色温度情報を出力するものであってもよい。
The white adjustment
また、光源色推定部106は、可視光信号生成部104から出力された可視光成分R、G,Bのそれぞれの信号について積算したΣR、ΣG、ΣBを算出し出力するものとしたが、可視光信号生成部104から出力された可視光成分R、G,Bのそれぞれの信号を用いて照明の色温度を推定しその推定結果を出力するものであればよく、例えばR,G,Bから色差情報を生成し、色差空間の分布情報に基づいて照明の色温度を推定するものでもよく、またR,G,Bから輝度情報を生成し、輝度のレベルに応じて照明を推定しその色温度を算出するものでもよく、あるいは色差と輝度の各々から照明の色温度を推定するものであってもよい。
In addition, the light source
以上の構成であれば、撮像素子から出力された画素信号において、可視光と非可視光が混合されている状態であっても、非可視光を除くまたは重みを低くした可視光信号で色温度を推定することができ、可視光成分の色温度をより正確に推定することができる。 With the above configuration, even in a state in which visible light and non-visible light are mixed in the pixel signal output from the image sensor, the color temperature is obtained by removing the invisible light or reducing the weight. And the color temperature of the visible light component can be estimated more accurately.
次に、画像合成部111にて行う、ホワイトバランス補正を行った後の可視光信号と、非可視光信号との合成方法について説明する。本実施例では、白調整部108から出力されたホワイトバランス補正後の可視光信号R2、G2、B2と、非可視光信号生成部105から出力された非可視光信号IRとを下記式(16)〜(18)にて合成する。
Rout=R2+IR・・・(16)
Gout=G2+IR・・・(17)
Bout=B2+IR・・・(18)
輝度信号生成部109は、上記Rout、Gout、Boutと所定の係数βyr、βyg、βybを用いて輝度信号Yを次式で算出し出力するものである。
Y=βyr×Rout+βyg×Gout+βyb×Bout・・・(19)
また色差信号生成部110は、上記Rout、Gout、Boutと所定の係数βur、βug、βub、βvr、βvg、βvbを用いて色差信号U、Vを次式で算出し出力する。
U=βur×Rout+βug×Gout+βub×Bout・・・(20)
V=βvr×Rout+βvg×Gout+βvb×Bout・・・(21)
以上の構成とすることで、ホワイトバランス補正を行った可視光成分R,G,Bと非可視光成分IRを合成し、1枚の画像として輝度信号及び色差信号を生成することができる。
Next, a method for synthesizing the visible light signal after the white balance correction performed by the
Rout = R2 + IR ・ ・ ・ (16)
Gout = G2 + IR ... (17)
Bout = B2 + IR ... (18)
The luminance
Y = βyr × Rout + βyg × Gout + βyb × Bout (19)
The color difference
U = βur × Rout + βug × Gout + βub × Bout (20)
V = βvr × Rout + βvg × Gout + βvb × Bout (21)
With the above configuration, the visible light components R, G, and B subjected to white balance correction and the invisible light component IR can be combined to generate a luminance signal and a color difference signal as one image.
RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とNIRに含まれる非可視光成分の量の各々が共に一致しない場合において、例えば式(1)〜(4)を演算した際にR,G,Bの各々の信号が負の値を含むなどエラー信号が個別に重畳される場合がある。このケースにおいて、エラー信号レベルが各々異なっている場合、出力される色差信号の色相(UとVの比)が変化するため色合いが変化し疑似カラーとなりうる。しかしながら本実施例のように、ホワイトバランス補正後のR,G,B信号に対して再び非可視光信号IRを加算することで、非可視光信号IRを減算することにより発生していたエラー信号レベルをキャンセルまたは減衰することができ、出力される色差信号の色相(UとVの比)の変化を抑制することができ、疑似カラーを抑制することができる。 The amount of the invisible light component contained in the RIR signal, the amount of the invisible light component contained in the GIR signal, the amount of the invisible light component contained in the BIR, and the amount of the invisible light component contained in the NIR are both the same. In such a case, for example, when the equations (1) to (4) are calculated, error signals may be individually superimposed such that each signal of R, G, and B includes a negative value. In this case, when the error signal levels are different from each other, the hue (ratio of U and V) of the output color difference signal changes, so that the hue changes and a pseudo color can be obtained. However, as in the present embodiment, the error signal generated by subtracting the non-visible light signal IR by adding the non-visible light signal IR again to the R, G, B signals after the white balance correction. The level can be canceled or attenuated, the change in the hue (ratio of U and V) of the output color difference signal can be suppressed, and the pseudo color can be suppressed.
以上本実施例の構成によれば、等しい露光時間にて撮影された可視光信号と非可視光信号とを、1フレーム分の撮影手順のみで同時に取得することができる。即ち、可視光信号と非可視光信号とを個別に取得する必要がなく、撮影手順を単純化できる。 As described above, according to the configuration of the present embodiment, the visible light signal and the invisible light signal captured with the same exposure time can be simultaneously acquired by only the imaging procedure for one frame. That is, it is not necessary to acquire the visible light signal and the invisible light signal separately, and the imaging procedure can be simplified.
また、本実施例によると可視光信号と非可視光信号とを個別に取得する手順であれば、露光時間に時間差が生じ、蛍光灯やLEDなど高速に点滅(フリッカ)する光源下において画像間の照明光量に差が出る問題が発生するが、本実施例で説明した構成とすることで、等しい露光時間にて撮影された可視光信号と非可視光信号とを、1フレーム分の撮影手順のみで同時に取得できるため、この課題を解決することができる。したがって、フリッカのありなしに関わらず、可視光信号のみを正確に抽出して照明の色温度推定とホワイトバランス補正を行うことができる。 Further, according to the present embodiment, if the visible light signal and the non-visible light signal are individually acquired, a time difference occurs in the exposure time, and the light source blinks rapidly (flicker) such as a fluorescent light or an LED. However, there is a problem in that the amount of illumination light is different. However, with the configuration described in this embodiment, a visible light signal and a non-visible light signal captured with the same exposure time can be captured for one frame. This problem can be solved because it can be acquired simultaneously. Therefore, regardless of the presence or absence of flicker, it is possible to accurately extract only the visible light signal and perform illumination color temperature estimation and white balance correction.
また、本実施例によると人間が色として認識できない非可視光信号に対してホワイトバランス補正を行わず、人間が色として認識する可視光信号に対してのみホワイトバランス補正を行うことで、疑似カラーなどを発生させない良好なホワイトバランス補正が可能となる。 In addition, according to the present embodiment, pseudo-color is obtained by performing white balance correction only on a visible light signal recognized as a color by human without performing white balance correction on an invisible light signal that cannot be recognized as a color by human. This makes it possible to perform a good white balance correction that does not cause the above.
また、本実施例によるとホワイトバランス補正後の可視光信号とホワイトバランス補正を行わない非可視光信号とを合成した画像を生成することができ、その出力フレームレートを、撮像素子102にて撮影するフレームレートと同一とすることができる。
In addition, according to the present embodiment, an image in which a visible light signal after white balance correction and a non-visible light signal without white balance correction are combined can be generated, and the output frame rate is captured by the
また、本実施例によると照明光に含まれる可視光成分光と非可視成分光の比率によらず、可視光信号に対してホワイトバランス補正を行い良好な色再現とし、さらにホワイトバランス補正後の可視光信号と非可視光信号を合成した画像を取得することができる。即ち本実施例によれば、照明環境を規定する必要がなく、所定の照明を設置する必要がなく、フィールド上に存在する太陽光や蛍光灯やハロゲン光などその照明の違いにとらわれず、多くの環境下において良好なホワイトバランス補正を行いかつ非可視光の情報を重畳した画像を得ることができる。 In addition, according to this embodiment, regardless of the ratio of visible light component light and invisible component light included in the illumination light, white balance correction is performed on the visible light signal to achieve good color reproduction, and further after the white balance correction. An image obtained by combining the visible light signal and the invisible light signal can be acquired. That is, according to the present embodiment, there is no need to define the lighting environment, there is no need to install predetermined lighting, and there are many cases regardless of the difference in lighting such as sunlight, fluorescent light, and halogen light existing on the field. Therefore, it is possible to obtain an image in which excellent white balance correction is performed and information of invisible light is superimposed.
尚、本実施例においては、最終出力信号として輝度信号と色差信号を出力するものとしたが、色情報を含んだ画像情報の形式であればよく、例えば輝度信号生成部109と色差信号生成部110に代えてRGB画像を生成し出力するRGB信号生成部を有する構成であってもよく、また輝度・彩度・色相の情報を生成し出力するHSV信号生成部を有する構成であってもよい。
In the present embodiment, the luminance signal and the color difference signal are output as the final output signal. However, any image information format including color information may be used. For example, the luminance
図2は、本発明における撮像方法をプログラムによって実施する場合の一例を表すフローチャートである。
本プログラムは、撮像装置または画像を取得可能な情報処理装置が備える記憶媒体に記憶され、CPU等の制御部がプログラムに従って演算を行うことで実施例1の撮像装置と同等の機能をソフトウェアで実現することができる。
FIG. 2 is a flowchart showing an example when the imaging method according to the present invention is implemented by a program.
The program is stored in a storage medium included in the imaging apparatus or an information processing apparatus that can acquire an image, and a function equivalent to that of the imaging apparatus of the first embodiment is realized by software when a control unit such as a CPU performs calculations according to the program. can do.
撮影ステップ201では、被写体から照射された光を所定の波長成分に分光して撮影することのできる撮像素子を用いて1フレーム分の画像を取得する。
可視光信号・非可視光信号分離ステップ202では、撮影ステップ201にて撮影された画像から信号処理を施すことにより可視光成分に対応した画像信号(可視光信号)と非可視光成分に対応した画像信号(非可視光信号)に各々分離する。
In the photographing
In the visible light signal / invisible light
光源色推定ステップ203では、可視光信号・非可視光信号分離ステップ202から出力された信号のうち可視光信号のみあるいは両方の信号分布を解析することによって被写体に照射されている照明光の色温度を推定する。
可視光信号白調整ステップ204では、光源色推定ステップ203から得られた色温度情報に基づいて可視光信号・非可視光信号分離ステップ202にて分離された信号のうち可視光信号に対してホワイトバランス補正を行う。
In the light source
In the visible light signal
可視光信号・非可視光信号合成ステップ205では、可視光信号白調整ステップ204にてホワイトバランス補正がなされた可視光信号と可視光信号・非可視光信号分離ステップ202にて分離された非可視光信号との各々を合成する。
画像データ生成ステップ206では、可視光信号・非可視光信号合成ステップ205にて合成された画像からRGB画像やYUV画像などのカラー情報を有する画像データを生成する。
In the visible light signal / invisible light
In the image
本実施例における撮影ステップ201にて撮影する1フレーム分の画像は、例えば図8に示すような配列の画像を取得するものであればよい。また、可視光・非可視光信号分離ステップ202は、実施例1におけるデモザイク処理部103及び可視光生成部104及び非可視光生成部105にて行われていた処理と同様の処理を行うことで、可視光信号と非可視光信号とを生成するものでよい。また、光源色推定ステップ203は、実施例1における光源色推定部106と同様の処理を行うことで、被写体に照射される照明の色温度を推定する方法でよい。また、可視光白調整ステップ204は、実施例1における白調整用ゲイン算出部107及び白調整部108において処理されるものと同様の処理を行うことで、可視光・非可視光信号分離ステップ202にて分離された信号のうち可視光信号に対してホワイトバランス補正を行うものであればよい。また、可視光信号・非可視光信号合成ステップ205は、実施例1における式(16)〜(18)と同様の演算処理を施すことにより信号を合成し1フレーム分の画像を得るものであればよい。また、画像データ生成ステップは、例えば実施例1における式(19)〜(21)と同様の演算処理を施すことによりYUVデータを生成するものであればよく、またRGB信号を各々マトリクス演算処理により取得する方法であればよく、さらには各々の画像信号を生成する過程において、トーンカーブ補正等の所定の信号処理を行うものであってもよい。
The image for one frame imaged in the
以上の構成によれば、例えば図12に示すように、被写体から照射された可視光及び非可視光の各々を含んだ可視光+非可視光画像1301を撮影手順1回で同時に取得し、可視光画像1302と非可視光画像1303の各々に演算処理にて分離した後、可視光画像に対してのみホワイトバランス補正を行うことで適正な色再現となるホワイトバランス後可視光画像1304を取得でき、さらにはホワイトバランス補正後可視光画像1304と非可視光画像1303とを合成することで、合成後画像1305を取得することができる。この時の合成後画像1305は、可視光のみに対してホワイトバランス補正処理を行うことで良好な色再現とすることができ、合成することによって出力の画像を1枚とすることができ出力のファイルサイズを削減することができる。また、可視光と非可視光を同時撮影することから、可視光画像と非可視光画像に時間ずれが生じず、被写体の動きや照明の変化などに左右されず良好な画像を取得することができる。
上記以外の構成および方法および効果に関しては、実施例1と同様である。
According to the above configuration, for example, as shown in FIG. 12, a visible light + invisible light image 1301 including each of visible light and invisible light emitted from a subject is simultaneously acquired in one imaging procedure, and visible. After separating the light image 1302 and the non-visible light image 1303 by calculation processing, a white balance-corrected visible light image 1304 can be obtained that achieves proper color reproduction by performing white balance correction only on the visible light image. Further, the combined image 1305 can be acquired by combining the visible light image 1304 after white balance correction and the invisible light image 1303. The post-combination image 1305 at this time can be made to have good color reproduction by performing white balance correction processing on only visible light, and can be combined into a single output image. File size can be reduced. In addition, since visible light and invisible light are photographed simultaneously, there is no time lag between the visible light image and the invisible light image, and a good image can be obtained regardless of the movement of the subject or changes in illumination. it can.
Other configurations, methods, and effects are the same as those in the first embodiment.
図3は、本発明における実施の形態の一例を表す図である。本実施例3における撮像装置は、実施例1の構成に対して、さらに、可視光信号生成部104から出力された可視光信号と非可視光信号生成部105から出力された非可視光信号の各々の比率を算出しその比率情報を出力する比率算出部301と、比率算出部301から出力された比率情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号及び非可視光信号生成部105から出力された非可視光信号及び色差信号生成部110から出力された色差信号の各々に対して利得調整を行うためのゲイン情報を算出し出力する画質調整パラメータ算出部302と、画質調整パラメータ算出部302から出力されたゲイン情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行う利得調整部(1)303と、画質調整パラメータ算出部302から出力されたゲイン情報を基に非可視光信号生成部105から出力された非可視光信号に対して利得調整を行う利得調整部(2)304と、画質調整パラメータ算出部302から出力されたゲイン情報を基に色差信号生成部110から出力された色差信号に対して利得調整を行う彩度変更部305と、を有する。
FIG. 3 is a diagram illustrating an example of an embodiment of the present invention. In addition to the configuration of the first embodiment, the imaging apparatus according to the third embodiment further includes a visible light signal output from the visible light
尚図3では、画質調整パラメータ算出部302から出力されたゲイン情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行うとしたが、可視光信号生成部104から出力された可視光信号に対して利得調整を行うものであってもよい。
In FIG. 3, the gain adjustment is performed on the visible light signal after white balance correction output from the
本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、可視光信号を増幅させるための利得を算出して利得調整部(1)303へ出力し、非可視光信号を減衰させるための利得を算出して利得調整部(2)304へ出力する。また例えば可視光信号が非可視光信号に対して多い場合、可視光信号を減衰させるための利得を算出して利得調整部(1)303へ出力し、非可視光を増幅させるための利得を算出して利得調整部(2)304へ出力してもよい。
The image quality adjustment
利得情報を基に利得調整部(1)303と利得調整部(2)304が各々利得調整を行うことで、可視光信号と非可視光信号が所定の比率となるよう信号レベルを各々変更して画像合成部111にて合成することができる。即ち、可視光信号が十分に得られなかった被写体に対しては可視光による画像信号を増幅することで十分に感度を持たせ、非可視光信号が十分に得られなかった被写体に対しては非可視光による画像信号を増幅することで十分に感度を持たせることができる。
The gain adjustment unit (1) 303 and the gain adjustment unit (2) 304 each adjust the gain based on the gain information, thereby changing the signal level so that the visible light signal and the invisible light signal have a predetermined ratio. The
また、本実施例における画質調整パラメータ算出部302は、例えば非可視光信号が可視光信号に対して極めて少ない場合、可視光信号レベルを保持するための利得を算出して利得調整部(1)303へ出力し、非可視光信号レベルを減衰させるための利得を算出して利得調整部(2)304へ出力することも可能である。この利得情報を基に利得調整部(1)303と利得調整部(2)304が各々利得調整を行うことで、非可視光信号レベルを減衰または削除して可視光信号と合成することができる。即ち、信号量が小さい非可視光信号はノイズ成分が支配的となっており、このノイズ成分の重畳を抑制することで、ノイズが少なく視認性の高い画像を合成することができる。
Further, the image quality adjustment
尚、比率算出部301は、画素単位で可視光信号と非可視光信号の比率を算出して出力する構成とすれば、簡素な処理で上記効果を得ることができる。また比率算出部301は、ガウシアンフィルタなどの帯域制限フィルタを可視光信号及び非可視光信号に対して画素単位で施した後比率を算出して出力する構成とすれば、細かいドット絵やノイズに影響されることなく、画面内に存在する被写体毎に、それぞれの被写体特有の波長ごとの反射率に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。また比率算出部301は、画面全体もしくは画面の全体の領域毎に重みづけを行った後、全体の比率を算出して出力する構成とすれば、取得した1フレームの画像内に写された被写体に対して照射されている照明の波長特性に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。また、画素単位の比率あるいは帯域制限フィルタを適用したあとの比率あるいは画面全体の比率を用いた利得調整方法のそれぞれについては、組み合わせて用いた場合であってもその各々の効果を同時に得ることができる。
If the
また、本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、彩度を強く(色を濃く)するための利得を算出して彩度変更部305へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が少ない場合において、彩度を強くすることにより、出力画像の色が薄くなってしまうという課題を解決することができる。
In addition, the image quality adjustment
また、本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、例えば可視光信号が極めて信号量が小さい場合、彩度を弱く(色を薄く)するための利得を算出して彩度変更部305へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が極端に小さい場合、即ち有効な被写体の信号が得られずノイズ信号のみである場合に、カラーノイズを抑制することができる。
上記以外の構成および方法および効果に関しては、実施例1または2と同様である。
In addition, the image quality adjustment
Other configurations, methods, and effects are the same as those in the first or second embodiment.
図4は、本発明における撮像方法をプログラムによって実施する場合の一例を表すフローチャートである。
本プログラムは、撮像装置または画像を取得可能な情報処理装置が備える記憶媒体に記憶され、CPU等の制御部がプログラムに従って演算を行うことで実施例1の撮像装置と同等の機能をソフトウェアで実現することができる。
FIG. 4 is a flowchart showing an example when the imaging method according to the present invention is implemented by a program.
The program is stored in a storage medium included in the imaging apparatus or an information processing apparatus that can acquire an image, and a function equivalent to that of the imaging apparatus of the first embodiment is realized by software when a control unit such as a CPU performs calculations according to the program. can do.
撮影ステップ401では、被写体から照射された光を所定の波長成分に分光して撮影することのできる撮像素子を用いて1フレーム分の画像を取得する。
可視光信号・非可視光信号分離ステップ402では、撮影ステップ401にて撮影された画像から信号処理を施すことにより可視光成分に対応した画像(可視光信号)と非可視光成分に対応した画像(非可視光信号)に各々分離する。
In the photographing
In the visible light signal / invisible light
光源色推定ステップ403では、可視光信号・非可視光信号分離ステップ402から出力された信号のうち可視光信号のみあるいは両方の信号分布を解析することによって被写体に照射されている照明光の色温度を推定する。
可視光信号白調整ステップ404では、光源色推定ステップ403から得られた色温度情報に基づいて可視光信号・非可視光信号分離ステップ402にて分離された信号のうち可視光信号に対してホワイトバランス補正を行う。
In the light source
In the visible light signal
可視光・非可視光比率算出ステップ405では、可視光信号・非可視光信号分離ステップ402で分離された可視光信号または可視光信号白調整ステップ404でホワイトバランス補正された可視光信号と可視光信号・非可視光信号分離ステップ402で分離された非可視光信号との比率を算出する。
可視光信号利得調整ステップ406では、可視光・非可視光比率算出ステップ405で算出された比率に基づいて可視光信号白調整ステップ404でホワイトバランス補正を行った後の可視光信号に対して利得調整を行う。
In the visible light / invisible light
In the visible light signal
非可視光信号利得調整ステップ407では、同じく可視光・非可視光比率算出ステップ405で算出された比率に基づいて可視光信号・非可視光信号分離ステップ402で算出された非可視光信号に対して利得調整を行う。
可視光信号・非可視光信号合成ステップ408では、可視光信号利得調整ステップ406にて利得調整された後の可視光信号と可視光信号利得調整ステップ407にて利得調整された後の非可視光信号とを所定の比率で合成した信号を生成する。
In the non-visible light signal
In the visible light signal / invisible light
画像データ生成ステップ409では、可視光信号・非可視光信号合成ステップ408にて合成された画像からRGB画像やYUV画像などのカラー情報を有する画像データを生成する。
In the image
本実施例における撮影ステップ401及び可視光信号・非可視光信号分離ステップ402及び光源色推定ステップ403及び可視光信号白調整ステップ404は、実施例2に記載のものと同様の処理であればよい。
The
以上の構成によれば、被写体から照射された可視光及び非可視光を撮影手順1回で同時に取得し、可視光成分と非可視光成分の各々に対応した信号に分離した後、可視光成分に対応した信号にのみホワイトバランス補正を行うことで適正な色再現となる可視光成分に対する画像信号を取得でき、さらにはホワイトバランス補正後の可視光成分に対する画像信号と非可視光成分に対する画像信号とを所定の比率に信号調整を行った合成画像を取得することができ、合成することにより1枚の画像とできることから出力のファイルサイズを削減することができる。 According to the above configuration, visible light and invisible light emitted from a subject are simultaneously acquired in one imaging procedure, separated into signals corresponding to the visible light component and the invisible light component, and then the visible light component. By performing white balance correction only on signals corresponding to, image signals for visible light components that achieve proper color reproduction can be obtained, and further, image signals for visible light components and non-visible light components after white balance correction Can be obtained as a single image by combining them, and the output file size can be reduced.
尚、可視光・非可視光比率算出ステップ405は、例えば画素単位で比率を算出し、可視光信号利得調整ステップ406及び非可視光信号利得調整ステップ407は画素単位の比率に基づいて同じく画素単位で利得調整を行うことで、簡素な処理で上記効果を得ることができる。また可視光・非可視光比率算出ステップ405は、例えばガウシアンフィルタなどの帯域制限フィルタを可視光信号及び非可視光信号に対して画素単位で施した後比率を算出し、可視光信号利得調整ステップ406及び非可視光信号利得調整ステップ407は画素単位の比率に基づいて同じく画素単位で利得調整を行うことで、細かいドット絵やノイズに影響されることなく、画面内に存在する被写体毎に、それぞれの被写体特有の波長ごとの反射率に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。
The visible light / invisible light
また可視光・非可視光比率算出ステップ405は、例えば画面全体もしくは画面の全体の領域毎に重みづけを行った後全体の比率を算出し、可視光信号利得調整ステップ406及び非可視光信号利得調整ステップ407は画素単位の比率に基づいて利得調整を行うことで、取得した1フレームの画像内に写された被写体に対して照射されている照明の波長特性に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。
The visible light / invisible light
尚、図4に記載はしていないが、可視光・非可視光比率算出ステップ405で算出された比率を基に、画像データ生成ステップ409で生成されたカラー画像の彩度を変更する彩度変更ステップを新たに設けることもできる。例えば可視光・非可視光比率算出ステップ405で算出された比率において、可視光信号が非可視光信号に対して少ない場合、彩度が強く(色を濃く)なるよう彩度変更する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が少ない場合において、彩度を強くすることができ、出力画像の色が薄くなってしまうという課題を解決することができる。
Although not shown in FIG. 4, the saturation for changing the saturation of the color image generated in the image
また例えば、可視光・非可視光比率算出ステップ405で算出された比率において、可視光信号が極めて信号量が小さい場合、彩度が弱く(色を薄く)なるよう彩度変更する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が極端に小さい場合、即ち有効な被写体の信号が得られずノイズ信号のみである場合に、カラーノイズを抑制することができる。
上記以外の構成および方法および効果に関しては、実施例1または2または3と同様である。
Further, for example, when the visible light signal has a very small signal amount at the ratio calculated in the visible light / invisible light
Other configurations, methods, and effects are the same as those in the first, second, or third embodiment.
図5は、本発明における実施の形態の一例を表す図である。本実施例5における撮像装置は、実施例3の構成に対して、さらに光学フィルタ部501と、フィルタ駆動部502と、露光制御部503と、画質調整パラメータ算出部504と、を有する。
FIG. 5 is a diagram illustrating an example of an embodiment of the present invention. The imaging apparatus according to the fifth embodiment further includes an
本実施例における光学フィルタ部501は、レンズ101を介して入射された被写体からの光に対して、所定の波長帯を遮断または減衰させる光学フィルタである。
The
フィルタ駆動部502は、レンズ101及び撮像素子102間の光路上に光学フィルタ部501を出し入れさせる機構である。
The
露光制御部503は、撮像素子102に設定されている露光時間や信号増幅ゲイン値と撮像素子102から出力された画像信号の信号レベルを基に、最適な露光状態とするための撮像素子102における露光時間や信号増幅ゲイン値などを算出して撮像素子102に対して設定を行う。また、露光制御部503は、撮像素子102に設定されている露光時間や信号増幅ゲイン値と撮像素子102から出力された画像信号の信号レベルを基に、フィルタ駆動部を制御することで光学フィルタ部501を出し入れし、光学フィルタ部501の出し入れ情報を画質調整パラメータ算出部504に対して出力する。
The
画質調整パラメータ算出部504は、露光制御部503から出力された光学フィルタ部501の出し入れ情報を基に、可視光信号の利得を制御するための利得情報を算出して利得調整部(1)303へ出力し、非可視光の信号の利得を制御するための利得情報を算出して利得調整部(2)304へ出力する。
The image quality adjustment
上記構成において、光学フィルタ部501を、例えば可視光を透過し非可視光を遮断する光学フィルタとし、露光制御部503を、撮像素子102から得られた画像信号の信号レベルと撮像素子102へ設定している露光時間や信号増幅ゲイン値の情報を基に、撮像素子へ入射されている光量が十分か否かを判定し、光量が十分でない場合は光学フィルタ部501をレンズ101及び撮像素子102間の光路上から外し、光量が十分である場合には光学フィルタ部501をレンズ101及び撮像素子102間の光路上に挿入するものとした場合について説明する。
In the above configuration, the
上記構成によれば、被写体からの光量が十分にあり感度が良好な撮影条件においてはレンズ101及び撮像素子102間の光路上に光学フィルタ部501を入れて可視光のみの画像を取得することができ、被写体からの光量が十分ではなく感度が不足している撮影条件においてはレンズ101及び撮像素子102間の光路上から光学フィルタ部501を出して非可視光を可視光と同時に取得することで感度を向上させることが可能となり、さらには各々すべての撮影条件において良好なカラー画像を得ることができる。
According to the above configuration, in an imaging condition where the amount of light from the subject is sufficient and the sensitivity is good, the
さらに上記構成に加えて、光量が多い場合には光学フィルタ部501をレンズ101及び撮像素子102間の光路上に挿入する撮影条件の際に、画質調整パラメータ算出部504は、非可視光信号生成部から出力される非可視光信号を0もしくは減衰させるための利得情報を算出し利得調整部(2)304に対して出力してもよい。光学フィルタ部501にて非可視光成分がカットされるため、非可視光信号生成部105の出力はノイズ信号のみであるため、これによりノイズ信号を0もしくは減衰させることができ、最終的な可視光・非可視光合成後の画像に重畳されるノイズをさらに抑制することができる。
上記以外の構成および方法および効果に関しては、実施例1または2または3または4と同様である。
Further, in addition to the above-described configuration, the image quality adjustment
Other configurations, methods, and effects are the same as those in the first, second, third, or fourth embodiment.
図6は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、被写体からの可視光・非可視光を所定の焦点距離に結像させるレンズ101と、レンズ101によって結像された可視光・非可視光を各種色フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する撮像素子601と、撮像素子601からの画素信号に対してデモザイク処理を行うデモザイク処理部103と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより可視光成分に対する画素信号(可視光信号)を抽出する可視光信号生成部104と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより非可視光成分に対する画素信号(非可視光信号)を抽出する非可視光信号生成部105と、デモザイク処理部103からの複数の画素信号のうち最も感度の高い画素信号(図9に記載の撮像素子であればWIR画素信号)を抽出して出力する高感度画素信号抽出部602と、高感度画素信号抽出部602からの画素信号に対して飽和レベルを算出し飽和レベルと可視光信号生成部104からの画素信号に基づいて光源色を推定する飽和解析及び光源色推定部603と、飽和解析及び光源色推定部603の色温度推定結果に基づいて可視光信号生成部104の出力画素信号に対してホワイトバランス補正を行うための利得を算出する白調整用ゲイン算出部と、白調整用ゲイン算出部107からの利得情報に基づいて可視光信号生成部104から出力された画素信号に対してホワイトバランス補正を行う白調整部108と、白調整部108にてホワイトバランス補正が施された可視光信号と、非可視光信号生成部から出力された非可視光信号とを画像合成部111にて合成し、画像合成部111から出力された合成後の画素信号を用いて輝度信号を生成する輝度信号生成部109と、画像合成部111から出力された合成後の画素信号を用いて色差信号を生成する色差信号生成部110と、を有する。
FIG. 6 is a diagram illustrating an example of an embodiment of the present invention. The image pickup apparatus according to the present exemplary embodiment uses a
図9は、本実施例における撮像素子601の画素配列である。また、図11は、撮像素子601に配置されるR+IR(RIR)、G+IR(GIR)、B+IR(BIR)、R+G+B+IR(WIR)の4種類の色フィルタの分光感度特性の一例である。
FIG. 9 shows a pixel array of the
RIRの色フィルタが配置された画素は可視光の赤(R)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、GIRの色フィルタが配置された画素は可視光の緑(G)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、BIRの色フィルタが配置された画素は可視光の青(B)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、WIRの色フィルタが配置された画素は可視光の赤(R)と緑(G)と青(B)と近赤外光(IR)の波長付近に感度を持つ。 Pixels with RIR color filters are sensitive to the visible light near the red (R) wavelength and near infrared (IR) wavelengths, and pixels with GIR color filters are visible light A pixel with a BIR color filter located near the green (G) wavelength and near-infrared light (IR) wavelength in the vicinity of the blue (B) wavelength of visible light and near-infrared Pixels with sensitivity around each wavelength of light (IR) and the WIR color filter are arranged are visible red (R), green (G), blue (B) and near-infrared light (IR). It has sensitivity near the wavelength.
可視光信号生成部104及び非可視光信号生成部105は、実施例1に記載のものと同等であるが、本実施例において用いた撮像素子601の画素配列に合わせ、下記マトリクス演算により可視光信号R,G,B及び非可視光信号IRを生成し出力する。
R=αrr×RIR+αrg×GIR+αrb×BIR+αrw×WIR・・・(22)
G=αgr×RIR+αgg×GIR+αgb×BIR+αgw×WIR・・・(23)
B=αbr×RIR+αbg×GIR+αbb×BIR+αbw×WIR・・・(24)
IR=αir×RIR+αig×GIR+αib×BIR+αiw×WIR・・・(25)
この時の各々のαは各信号に対する係数であり、例えばαの係数として、
The visible light
R = αrr × RIR + αrg × GIR + αrb × BIR + αrw × WIR (22)
G = αgr × RIR + αgg × GIR + αgb × BIR + αgw × WIR (23)
B = αbr × RIR + αbg × GIR + αbb × BIR + αbw × WIR (24)
IR = αir × RIR + αig × GIR + αib × BIR + αiw × WIR (25)
Each α at this time is a coefficient for each signal. For example, as a coefficient of α,
を与えた場合、式(22)〜(25)は以下(27)〜(30)のようになる。
R=(RIR-GIR-BIR+WIR)/2・・・(27)
G=(-RIR+GIR-BIR+WIR)/2・・・(28)
B=(-RIR-GIR+BIR+WIR)/2・・・(29)
IR=(RIR+GIR+BIR-WIR)/2・・・(30)
図11に示すように、RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とWIRに含まれる非可視光成分の量の各々が共に同等レベルであれば、式(27)から(30)に従い非可視光成分を含まない可視光成分R、G,Bのそれぞれの信号と、可視光成分を含まない非可視光成分IRの信号とに分離することができる。一方、RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とWIRに含まれる非可視光成分の量の各々が共に一致しない場合に関しては、式(26)のαの係数を適宜変更することで、非可視光成分の量を所定量減衰させた可視光成分R,G,Bの各信号と、可視光成分を所定量減衰させた非可視光成分IRとに分離することができる。
Is given, equations (22) to (25) become as follows (27) to (30).
R = (RIR-GIR-BIR + WIR) / 2 ... (27)
G = (-RIR + GIR-BIR + WIR) / 2 ... (28)
B = (-RIR-GIR + BIR + WIR) / 2 ... (29)
IR = (RIR + GIR + BIR-WIR) / 2 ... (30)
As shown in FIG. 11, the amount of the invisible light component included in the RIR signal, the amount of the invisible light component included in the GIR signal, the amount of the invisible light component included in the BIR, and the invisible light component included in the WIR. If the amount of each is equal, both the signals of visible light components R, G, and B that do not contain invisible light components and invisible that does not contain visible light components according to equations (27) to (30) The signal can be separated into a light component IR signal. On the other hand, the amount of the invisible light component included in the RIR signal, the amount of the invisible light component included in the GIR signal, the amount of the invisible light component included in the BIR, and the amount of the invisible light component included in the WIR are respectively If they do not match, the signal of visible light components R, G, and B, in which the amount of invisible light component is attenuated by a predetermined amount, and the visible light component are appropriately changed by changing the coefficient α in Equation (26). Can be separated into a non-visible light component IR attenuated by a predetermined amount.
以上の構成によれば、等しい露光時間にて撮影された可視光成分に対応する画像信号と非可視光成分に対応する画像信号とを、1フレーム分の撮影手順のみで同時に取得することができる。さらには、撮像素子601の4つの色フィルタ配列のうち1つをWIRとしたことで、RGBベイヤ配列や図8で示した画素配列の撮像素子に対して、より多くの可視光成分の光を光電変換することが可能となり、感度向上が実現できる。
According to the above configuration, the image signal corresponding to the visible light component and the image signal corresponding to the invisible light component captured with the same exposure time can be acquired simultaneously only by the imaging procedure for one frame. . Furthermore, by setting one of the four color filter arrays of the
本実施例における高感度画素信号抽出部602は、デモザイク処理部103からのWIR画素を抽出して飽和解析及び光源色推定部603へ出力する。このとき、デモザイク処理部103からの信号のうちWIRに相当する画素信号を適宜選択しながら出力する構成であってもよい。飽和解析及び光源色推定部603は、まず初めに高感度画素信号抽出部602から得られたWIR画素信号の信号レベルを判定することで、画素が飽和しているか否かを判定する。判定結果が飽和している場合には、可視光信号を0ないしは重みを低くし、飽和していない場合は重みを1あるいは高くした後に、重み変更後の可視光信号に対して実施例1における光源色推定部106に記載のように光源色を推定する。
The high-sensitivity pixel
ここで、撮像素子601からの4つの色フィルタ配列毎の信号RIR,GIR,BIR,WIRについて、その感度特性が
RIR≦WIR ∧ GIR≦WIR ∧ BIR≦WIR・・・(31)
が成り立つとすれば、WIRの画素はほかの3つの画素に対して飽和しやすいと定義できる。
Here, the sensitivity characteristics of the signals RIR, GIR, BIR, and WIR for each of the four color filter arrays from the
RIR ≦ WIR ∧ GIR ≦ WIR ∧ BIR ≦ WIR ... (31)
If the above holds, the WIR pixel can be defined as being easily saturated with respect to the other three pixels.
式(22)〜(25)において用いる画素信号が一つでも飽和信号となっていた場合、即ち少なくともWIRが飽和状態にある場合、R,G,B,IRの各信号を正確に抽出することができず、最終的な画像に偽色が発生すると推定できる。本実施例においては、この疑似カラーが発生するか否かの判定を、WIRを抽出し飽和判定を行い、飽和と判定された場合には偽色が発生するとして光源色推定に用いる可視光信号の重みづけを下げることができる。 When at least one pixel signal used in Equations (22) to (25) is a saturated signal, that is, when at least WIR is in a saturated state, each R, G, B, and IR signal should be accurately extracted. Therefore, it can be estimated that false color occurs in the final image. In this embodiment, the determination of whether or not the pseudo color occurs is performed by extracting the WIR and performing the saturation determination. If it is determined to be saturated, the visible light signal used for the light source color estimation is assumed that the false color is generated. Can be reduced in weight.
即ち、本実施例の構成によれば、等しい露光時間にて撮影された可視光成分に対応する画像信号と非可視光成分に対応する画像信号とを1フレーム分の撮影手順のみで同時に取得し、は画素が飽和した際に発生する疑似カラーに影響されることなく光源色を正確に推定でき、取得した可視光信号に対して良好なホワイトバランス補正を適用することが可能となる。 That is, according to the configuration of the present embodiment, the image signal corresponding to the visible light component and the image signal corresponding to the non-visible light component captured at the same exposure time are simultaneously acquired by only the imaging procedure for one frame. The light source color can be accurately estimated without being affected by the pseudo color generated when the pixel is saturated, and it is possible to apply a good white balance correction to the acquired visible light signal.
尚上記高感度画素信号抽出部602は、WIRを抽出するものとして説明したが、例えば撮像素子の配列を図8としたときに、GIRを抽出するものであってもよく、またRIRとGIRとBIRとNIRの画素信号のうち最も信号レベルが高いものを選択して出力するものであってもよい。以上の構成によれば、撮像素子の配列によらず、同等の効果を得ることができる。
上記以外の構成および方法および効果に関しては、実施例1または2または3または4または5と同様である。
The high-sensitivity pixel
Other configurations, methods, and effects are the same as those in the first, second, third, fourth, or fifth embodiment.
図7は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例1にて示した構成のうち、光源色推定部106を波長解析及び光源色推定部701としたものである。
波長解析及び光源色推定部701は、可視光信号生成部104からの可視光信号と、非可視光信号生成部105からの非可視光信号とを入力し、可視光信号の各々の信号と非可視光信号との波長分布を解析し、光源色を推定する。
FIG. 7 is a diagram illustrating an example of an embodiment of the present invention. In the imaging apparatus according to the present exemplary embodiment, the light source
The wavelength analysis and light source
以上の構成によれば、例えば非可視光信号をほとんど含まない蛍光灯やLEDの照明と、可視光成分の分布が似ているが近赤外光を含むハロゲン光やキセノン光などとの違いについて、より高精度に照明の違いを判定できる。また、可視光信号と非可視光信号を同一露光時間で取得し判定に用いているため、蛍光灯やLEDのフリッカ成分(時間の違いにより発生する輝度変化)に影響されることなく、正確な光源色の判定が可能となる。 According to the above configuration, for example, the difference between a fluorescent lamp or LED illumination that contains almost no invisible light signal, and halogen light or xenon light that has a similar distribution of visible light components but includes near-infrared light. The difference in lighting can be determined with higher accuracy. In addition, since visible light signals and invisible light signals are acquired and used for the same exposure time, it is accurate without being affected by flicker components (luminance changes caused by differences in time) of fluorescent lamps and LEDs. The light source color can be determined.
また波長解析及び光源色推定部701は、可視光信号生成部からの可視光信号と非可視光信号生成部からの非可視光信号の各々を分析し、非可視光が存在ないもしくは所定のレベル以下である画素群1と、非可視光が存在するもしくは所定のレベル以上である画素群2とに分割し、画素群1及び画素群2の各々について個別に色温度を推定するものとしてもよい。
Further, the wavelength analysis and light source
この場合、白調整用ゲイン算出部107は、波長解析及び光源色推定部701から得られた画素群1及び画素群2の2つの色温度推定結果のうち一つを選択(プリセットまたはユーザ選択)し、白調整を行うための利得を算出し出力する。以上の構成によれば、例えば蛍光灯と太陽光が混在しているシーンにおいて、蛍光灯が照射されている画像領域のみから色温度を推定し、蛍光灯に合わせてホワイトバランス処理を行うことができる。したがって、例えば非可視光信号をほとんど含まない蛍光灯やLEDの照明と、可視光成分の分布が似ているが近赤外光を含む光源とをより高精度に個別判定でき、いずれか片方の光源に合わせてより正確にホワイトバランス補正を行うことができる。
In this case, the white adjustment
上記以外の構成および方法および効果に関しては、実施例1または2または3または4または5または6と同様である。 Other configurations, methods, and effects are the same as those in the first, second, third, fourth, fifth, or sixth embodiment.
図13は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例1にて説明した構成に加え、実施例5で説明した光学フィルタ部501とフィルタ駆動部502と露光制御部503を有し、新たに可視光・非可視光信号比率算出部1310と制御部1311を有する。
FIG. 13 is a diagram illustrating an example of an embodiment of the present invention. In addition to the configuration described in the first embodiment, the imaging apparatus according to the present embodiment includes the
可視光・非可視光信号比率算出部1310は、可視光信号生成部104から出力された可視光信号と、非可視光信号生成部105から出力された非可視光信号とを入力し、可視光信号と非可視光信号の比率を算出し出力するものである。可視光・非可視光信号比率算出部1310にて算出し出力する可視光信号と非可視光信号の比率は、画像の画面全体あるいは一部分に対応する比率を表すものとし、例えば可視光信号と非可視光信号の各々を所定期間にわたり積算し、該積算した可視光信号と同じく積算した非可視光信号との比率を算出する方法などがある。
The visible light / invisible light signal
制御部1311は、露光制御部503から得られる露光条件と可視光・非可視光信号比率算出部1310から入力した可視光信号と非可視光信号との比率を基に被写体撮影環境下にて照射される照明の種類を推定し、照明の種類の推定結果に応じてフィルタ駆動部502を介して光学フィルタ部501の入出力を制御し、また照明の種類の推定結果に応じて彩度変更部305を制御することで出力画像の色の濃さあるいは白黒画像出力とカラー画像出力との切り替えを行い、また照明の種類の推定結果に応じて露光制御部503を介して撮像素子102における撮影条件を制御するものである。
The
制御部1311における照明の種類の推定方法は例えば、撮像素子102のシャッタ時間と信号ゲイン情報及び可視光・非可視光信号比率算出部1310から出力される可視光信号と非可視光信号との比率に対応する照明の種類をあらかじめテーブルとして保持し、露光制御部503から撮像素子102に設定されているシャッタ時間情報と信号増幅ゲイン情報を基に、前記あらかじめ保持しておいたテーブルを用いて照明の照度情報に変換し、また可視光・非可視光信号比率算出部1310から入力した可視光信号と非可視光信号との比率を基に、前記あらかじめ保持しておいたテーブルを用いて照明の波長分布情報に変換し、照明の照度情報及び照明の波長分布情報を基に照明の種類を推定する方法であればよい。これにより例えば、非可視光信号の信号比率が所定レベルより高く且つ所定レベルより高速シャッタで且つ所定レベルより低ゲインで撮影されている場合、照度が高く且つ非可視光の信号が多く含まれる太陽光であるなど、被写体に照射されている照明の種類を高精度に推定することができる。尚、テーブルを用いて照明の波長分布情報や照度情報に変換するとしたが、所定の関数式を用いて変換する方式でも良い。
The method of estimating the type of illumination in the
上記構成において、光学フィルタ部501を例えば可視光を透過し非可視光を減衰または遮断する光学フィルタとし、制御部1311における照明の種類の推定が可視光信号の比率が非可視光信号の比率に対して高い照明であると推定された場合に、光学フィルタ部501をレンズ101及び撮像素子102間の光路上から外すものとし、制御部1311における照明の種類の推定が可視光信号の比率が非可視光信号の比率に対して低い照明であると推定された場合に、光学フィルタ部501をレンズ101及び撮像素子102間の光路上に挿入するものとする。この構成によれば、撮像素子102から得られる画像信号における可視光信号の比率が高く、カラー情報のダイナミックレンジが十分に取れる場合には、光学フィルタ部501による非可視光を減衰または遮断せず、可視光によるカラー情報と非可視光の情報が重畳された画像を取得することができる。また、撮像素子102から得られる画像信号における可視光信号の比率が低く、カラー情報のダイナミックレンジが十分に取れない場合には、光学フィルタ部501により非可視光の波長を減衰または遮断することで撮像素子102から出力される画像信号に重畳される可視光信号成分のダイナミックレンジを広くし、良好なカラー情報を有する画像を取得することができる。つまり、この構成によれば、照明の種類によらず撮像素子102から出力される画像信号に重畳される可視光と非可視光成分の各々のダイナミックレンジを適正に保つことが可能となる。
In the above configuration, the
この構成においてさらに、制御部1311は、照明の照度が低く且つ可視光信号の比率が非可視光信号に対して低い場合に、カラー情報が十分得られない条件であるとして彩度変更部305における色の濃さを薄くするあるいは白黒画像化する制御を行うものとする。この構成によれば、撮像素子102から得られる画像信号における可視光信号が少ない場合に、色情報を少なくするあるいは白黒画像化することで、色ノイズの少ない画像を出力することができる。
In this configuration, the
以上の本実施例の構成では、被写体へ照射される照明の種類をより高精度に推定することができ、さらには通常の可視光画像に対して非可視光画像を合成するか否かを照明の種類の推定結果に基づいて変更することができる。 In the configuration of the present embodiment described above, the type of illumination irradiated to the subject can be estimated with higher accuracy, and further, whether or not a non-visible light image is combined with a normal visible light image is illuminated. Can be changed based on the type of estimation result.
尚、上記構成において可視光・非可視光信号比率算出部1310にて所定期間信号を積算するものとしたが、可視光信号と非可視光信号の比率を画素単位で個別に算出し、所定期間の積算は制御部1311にて行う方法であってもよい。
In the above configuration, the visible light / invisible light signal
また、上記構成において、可視光・非可視光信号比率算出部1310により可視光信号と非可視光信号の比率を算出するとしたが、撮像素子102から出力される画像信号から照明の波長分布を推定できる情報を取得できる構成であればよい。
In the above configuration, the visible light / non-visible light signal
また、上記構成において光学フィルタ部501をレンズ101と撮像素子102の光路上に出し入れするとしたが、挿入する距離をリニアに制御する方法であってもよい。この構成であれば、照明の種類によらず撮像素子102から出力される画像信号に重畳される可視光と非可視光成分の各々のダイナミックレンジを常に一定に保つことが可能となる。
In the above configuration, the
また、上記構成において可視光・非可視光信号比率算出部1310により可視光信号と非可視光信号の比率を算出するとしたが、例えば可視光・非可視光信号比率算出部1310を可視光信号算出部1310と置き換えて、可視光信号算出部1310が非可視光信号の信号量を積算せず、可視光信号のみを所定期間積算し、該可視光信号の積算結果の大小に応じて制御部1311はフィルタ駆動部502を介して光学フィルタ部501の入出力を制御する構成であってもよい。この構成によれば、撮像素子102から出力される画像信号に重畳される非可視光成分の比率によらず可視光信号のみを用いて制御部1311にて光学フィルタ部501を制御することができる。即ち、光学フィルタ部501の入出力に伴う非可視光信号の信号成分の増減の影響を受けることがなく、制御部1311による処理量を低減することができる。
In the above configuration, the visible light / invisible light signal
また、上記構成において可視光・非可視光信号比率算出部1310により可視光信号と非可視光信号の比率を算出するとしたが、例えば図14に示すように、可視光に対応する波長の光に反応し、その光量を信号に変換して出力する可視光量計測センサ部1401と、非可視光に対応する波長の光に反応し、その光量を信号に変換して出力する非可視光量計測センサ部1402を新たに有し、可視光・非可視光信号比率算出部1310は、可視光量計測センサ部1401からの信号と非可視光量計測センサ部1402からの信号との比率を算出するものとし、その比率情報を制御部1311へ出力する構成としてもよい。この構成であれば、光学フィルタ部501の入出力による信号量変化の影響を受けることなく、制御部1311による処理量を低減することができる。
Further, in the above configuration, the ratio of the visible light signal and the invisible light signal is calculated by the visible light / non-visible light signal
また、上記構成において光学フィルタ部501及びフィルタ駆動部502をひとつずつ設けたが、複数のペアで構成し、制御する方法であっても良い。例えば図15に示すように、波長透過特性の異なる光学フィルタ部1501及び光学フィルタ部1502と、各々の光学フィルタを駆動するためのフィルタ駆動部1504とフィルタ駆動部1505を新たに有し、制御部1311は、可視光・非可視光信号比率算出部1310及び露光制御部1503からの情報を基に被写体へ照射される照明の種類を推定し、その結果に基づいて光学フィルタ部1501と光学フィルタ部1502のいずれかまたは両方について入出力を制御する方法であればよい。この構成であれば、被写体に照射される照明の種類に応じて所定の波長帯を減衰あるいは遮断した後の可視光及び非可視光の合成画像を取得することができ、良好なカラー情報を持つ画像に対して所定の非可視光の情報が重畳された画像を取得することが可能となる。
Further, although the
また、上記構成において、出力する可視光と非可視光合成画像における可視光成分と非可視光成分の比率情報または非可視光が含まれるか否かまたは可視光が含まれるか否かの情報を、画像のメタデータあるいは並列して出力する信号線を有する構成(図示せず)であってもよい。この構成であれば、画像に重畳される可視光と非可視光の比率に応じて人物認識や顔認識などの画像認識のアルゴリズムまたは閾値等の検出パラメータを切り替えることができ、前記光学フィルタの出し入れ状況によらず高精度に画像認識ができるシステムを提供することができる。
上記以外の構成および方法および効果に関しては、実施例1〜7と同様である。
Further, in the above configuration, the ratio information of the visible light component and the non-visible light component in the output visible light and the non-visible light composite image or information on whether the non-visible light is included or whether the visible light is included, It may be a configuration (not shown) having image metadata or signal lines that are output in parallel. With this configuration, an image recognition algorithm such as person recognition or face recognition or a detection parameter such as a threshold can be switched according to the ratio of visible light to invisible light superimposed on the image, and the optical filter is put in and out. It is possible to provide a system capable of image recognition with high accuracy regardless of the situation.
Other configurations, methods, and effects are the same as those in Examples 1-7.
図16は、本発明における実施の形態の一例を表す図である。本実施例9における撮像装置は、被写体からの可視光・非可視光を所定の焦点距離に結像させるレンズ101と、レンズ101によって結像された可視光・非可視光を各種色フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する撮像素子102と、撮像素子102からの画素信号に対してデモザイク処理を行うデモザイク処理部103と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより可視光成分に対する画素信号(可視光信号)を抽出する可視光信号生成部104と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより非可視光成分に対する画素信号(非可視光信号)を抽出する非可視光信号生成部105と、可視光信号生成部104からの画素信号から光源色を推定する光源色推定部106と、光源色推定部106の結果に基づいて可視光信号生成部104の出力である可視光信号に対してホワイトバランス補正を行うための利得を算出する白調整用ゲイン算出部107と、白調整用ゲイン算出部107からの利得情報に基づいて可視光信号生成部104から出力された可視光信号に対してホワイトバランス補正を行う白調整部108と、デモザイク処理部103から出力された画素信号と所定の信号範囲とを比較してその結果を信号範囲評価結果として出力する信号範囲評価部1601と,信号範囲評価部1601から出力された信号範囲評価結果を参照して,可視光信号生成部104から出力された可視光信号と非可視光信号生成部105から出力された非可視光信号の各々の比率を算出しその比率情報を出力する比率算出部301と、比率算出部301から出力された比率情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号及び非可視光信号生成部105から出力された非可視光信号及び色差信号生成部110から出力された色差信号の各々に対して利得調整を行うためのゲイン情報を算出し出力する画質調整パラメータ算出部302と、画質調整パラメータ算出部302から出力されたゲイン情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行う利得調整部(1)303と、画質調整パラメータ算出部302から出力されたゲイン情報を基に非可視光信号生成部105から出力された非可視光信号に対して利得調整を行う利得調整部(2)304と、画質調整パラメータ算出部302から出力されたゲイン情報を基に色差信号生成部110から出力された色差信号に対して利得調整を行う彩度変更部305と、利得調整部(1)303により利得調整が行われた可視光信号と、利得調整部(2)304により利得調整が行われた非可視光信号とを合成する画像合成部111と、画像合成部111から出力された合成後の画素信号を用いて輝度信号を生成する輝度信号生成部109と、画像合成部111から出力された合成後の画素信号を用いて色差信号を生成する色差信号生成部110と、を有する。
FIG. 16 is a diagram illustrating an example of an embodiment of the present invention. The image pickup apparatus according to the ninth embodiment has a
尚図16では、画質調整パラメータ算出部302から出力されたゲイン情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行うとしたが、可視光信号生成部104から出力された可視光信号に対して利得調整を行うものであってもよい。
In FIG. 16, the gain adjustment is performed on the visible light signal after white balance correction output from the
また、比率算出部301は不図示である外部の映像信号処理装置や画像認識処理装置に可視光信号と非可視光信号の比率情報をメタデータとして出力しても良い。これにより、外部の映像信号処理装置や画像認識処理装置が撮影時の可視光信号と非可視光信号の比率情報を参照して信号処理や画像認識処理を行うことが可能となり、画質や画像認識の性能向上を図れる。
Further, the
本実施例における信号範囲評価部1601の信号範囲評価処理の一例を図17に示す。図17は撮像素子102が図11に示すようなR+IR(RIR)、G+IR(GIR)、B+IR(BIR)、R+G+B+IR(WIR)の4種類の分光感度特性を持つ色フィルタを有する場合の信号範囲評価処理を示す図である。図11のように撮像素子102が異なる複数の分光感度特性を持つ色フィルタを有する場合,入力する光量に対して大きく異なる感度で信号が出力される。例えば,広い波長域に感度を有するWIRは他の色フィルタに比べ飽和しやすい。この場合,飽和した信号WIRは光量に対して出力信号が非線形となるため,式(27)から(30)に基づき可視光信号と非可視光信号の比率を算出すると算出誤差が大きくなる。また,RIR,GIR,BIRは他の色フィルタに比べ黒つぶれしやすい。
An example of the signal range evaluation process of the signal
この場合,黒つぶれした信号RIR,GIR,BIRは相対的にノイズの影響を大きく受けるため,式(27)から(30)に基づき可視光信号と非可視光信号の比率を算出すると算出誤差が大きくなる。そこで,信号範囲評価部1601は例えばRIR,GIR,BIR,WIRの色フィルタを介して出力された信号値に対し,それぞれ所定の下限閾値th_lと所定の上限閾値th_hとの比較を行う。その結果,RIR,GIR,BIR,WIRの色フィルタを介して出力された全ての信号値がth_lとth_hの間の信号値である場合に,その画素について可視光信号と非可視光信号の比率の算出結果が信頼できると評価し,その評価結果を出力する。
In this case, the blackened signals RIR, GIR, and BIR are relatively affected by noise, so calculating the ratio of the visible light signal and the non-visible light signal based on Equations (27) to (30) results in a calculation error. growing. Therefore, the signal
比率算出部301は信号範囲評価部1601が出力した評価結果を参照し,可視光信号と非可視光信号の比率の算出結果が信頼できる画素について可視光信号と非可視光信号の比率を算出することで,高精度な比率情報の算出が可能となる。ここで,th_lは一例として撮像素子102のノイズレベル近辺に設定すればよい。例えば黒近傍でのノイズレベルが飽和レベルの1%程度であれば,th_lも1%程度に設定すればよい。また,th_hは一例として撮像素子102の飽和レベル近辺に設定すればよい。
The
本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、可視光信号を増幅させるための利得を算出して利得調整部(1)303へ出力し、非可視光信号を減衰させるための利得を算出して利得調整部(2)304へ出力する。また例えば可視光信号が非可視光信号に対して多い場合、可視光信号を減衰させるための利得を算出して利得調整部(1)303へ出力し、非可視光を増幅させるための利得を算出して利得調整部(2)304へ出力してもよい。
The image quality adjustment
利得情報を基に利得調整部(1)303と利得調整部(2)304が各々利得調整を行うことで、可視光信号と非可視光信号が所定の比率となるよう信号レベルを各々変更して画像合成部111にて合成することができる。即ち、可視光信号が十分に得られなかった被写体に対しては可視光による画像m信号を増幅することで十分に感度を持たせ、非可視光信号が十分に得られなかった被写体に対しては非可視光による画像信号を増幅することで十分に感度を持たせることができる。
The gain adjustment unit (1) 303 and the gain adjustment unit (2) 304 each adjust the gain based on the gain information, thereby changing the signal level so that the visible light signal and the invisible light signal have a predetermined ratio. The
また、本実施例における画質調整パラメータ算出部302は、例えば非可視光信号が可視光信号に対して極めて少ない場合、可視光信号レベルを保持するための利得を算出して利得調整部(1)303へ出力し、非可視光信号レベルを減衰させるための利得を算出して利得調整部(2)304へ出力することも可能である。この利得情報を基に利得調整部(1)303と利得調整部(2)304が各々利得調整を行うことで、非可視光信号レベルを減衰または削除して可視光信号と合成することができる。即ち、信号量が小さい非可視光信号はノイズ成分が支配的となっており、このノイズ成分の重畳を抑制することで、ノイズが少なく視認性の高い画像を合成することができる。
Further, the image quality adjustment
尚、比率算出部301は、画素単位で可視光信号と非可視光信号の比率を算出して出力する構成とすれば、簡素な処理で上記効果を得ることができる。このとき,ある画素において,信号範囲評価部1601の出力する評価結果を参照した結果,その画素が可視光信号と非可視光信号の比率の算出結果が信頼できる画素でないと判断した場合には,周辺の可視光信号と非可視光信号の比率の算出結果が信頼できる画素の比率の算出結果を補間ないし置換して用いれば良い。また,RIR,GIR,BIR,WIRがいずれもth_lを下回る場合には非可視光が含まれる可能性が低いと判断して,非可視光信号の比率を0にする,といったように固定値で代用しても良い。
If the
また比率算出部301は、ガウシアンフィルタなどの帯域制限フィルタを可視光信号及び非可視光信号に対して画素単位で施した後、比率を算出して出力する構成とすれば、細かいドット絵やノイズに影響されることなく、画面内に存在する被写体毎に、それぞれの被写体特有の波長ごとの反射率に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。また比率算出部301は、画面全体もしくは画面の任意の領域毎に重みづけを行った後、全体の比率を算出して出力する構成とすれば、取得した1フレームの画像内に写された被写体に対して照射されている照明の波長特性に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。
If the
このとき,信号範囲評価部1601の出力する評価結果を参照し,可視光信号と非可視光信号の比率の算出結果が信頼できると評価された画素を全体の比率を算出する際の対象画素とする,あるいは可視光信号と非可視光信号の比率の算出結果が信頼できると評価されない画素を全体の比率を算出する際に除外することを行えば,画面の一部が飽和したり黒つぶれした場合でも被写体に対して照射されている照明の可視光信号と非可視光信号の比率を高精度に推定することが可能であり,より撮影シーンに対して高画質な画像を生成することが可能である。また、画素単位の比率あるいは帯域制限フィルタを適用したあとの比率あるいは画面全体の比率を用いた利得調整方法のそれぞれについては、組み合わせて用いた場合であってもその各々の効果を同時に得ることができる。
At this time, the evaluation result output from the signal
また、本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、彩度を強く(色を濃く)するための利得を算出して彩度変更部305へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が少ない場合において、彩度を強くすることにより、出力画像の色が薄くなってしまうという課題を解決することができる。
In addition, the image quality adjustment
また、本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、例えば可視光信号の信号量が極めて小さい場合、彩度を弱く(色を薄く)するための利得を算出して彩度変更部305へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が極端に小さい場合、即ち有効な被写体の信号が得られずノイズ信号のみである場合に、カラーノイズを抑制することができる。
Further, the image quality adjustment
本実施例における比率算出部301の比率算出処理および画質調整パラメータ算出部302の画質調整処理の異なる一例を図18に示す。1801は異なる複数の光源Aおよび光源Bがそれぞれ異なる被写体に照射された際の入力画像,1802は出力画像である。比率算出部301は画面を任意の領域毎に分割し,それぞれの領域において可視光信号と非可視光信号の全体の比率を算出して出力する構成としている。これにより比率算出部301は光源Aが照射された領域と光源Bが照射された領域でそれぞれの光源に応じた可視光信号と非可視光信号の比率を算出することが可能である。
FIG. 18 shows a different example of the ratio calculation process of the
このとき,信号範囲評価部1601の出力する評価結果を参照し,可視光信号と非可視光信号の比率の算出結果が信頼できると評価された画素を任意の領域毎の比率を算出する際の対象画素とする,あるいは可視光信号と非可視光信号の比率の算出結果が信頼できると評価されない画素を全体の比率を算出する際に除外することを行えば,画面の一部が飽和したり黒つぶれした場合でも被写体に対して照射されている照明の可視光信号と非可視光信号の比率を高精度に推定することが可能である。
At this time, the evaluation result output from the signal
画質調整パラメータ算出部302はそれぞれの任意の領域に対応した画質調整パラメータを決定することで,複数の光源が混在する場合の画質を向上することが可能である。また,任意の領域間のパラメータはそれぞれの領域で決定したパラメータを位置に応じて補間して用いることで,繋ぎ目の画質を自然にすることが可能である。
The image quality adjustment
また,光源色推定部106は、可視光信号生成部104から出力された可視光信号R、G,Bの各々の信号レベルの比に基づいて、被写体に照射されている照明の色温度を推定し、その推定結果を出力する。例えば、可視光信号生成部104から出力された可視光信号R、G,Bの信号量をそれぞれを画像1画面分積算したΣR、ΣG、ΣBを算出し、このΣR、ΣG、ΣBを照明の色温度を表す色分布推定情報として出力する方法がある。または、算出したΣR、ΣG、ΣBの相対比を照明の色分布推定情報として出力する方法がある。
Further, the light source
このとき,信号範囲評価部1601の出力した評価結果を参照し,可視光信号と非可視光信号の比率の算出結果が信頼できると評価された画素をΣR、ΣG、ΣBの算出対象としても良い。該画素は飽和ないし黒つぶれの影響のない画素であるため,これにより色温度を精度よく推定可能となり,画面の一部が飽和や黒潰れをしている場合でも高精度なホワイトバランス調整が行える。
At this time, with reference to the evaluation result output from the signal
また,比率算出部301は可視光信号と非可視光信号の比率の算出結果をメタデータとして不図示の外部装置に出力しても良い。例えば,外部の画像認識装置や映像圧縮装置が出力された可視光信号と非可視光信号の比率情報を参照することで,撮影シーンの光源環境を考慮した画像認識処理や映像圧縮処理を行うことが可能となる。
上記以外の構成および方法および効果に関しては、実施例1〜8と同様である。
Further, the
Other configurations, methods, and effects are the same as in Examples 1-8.
図19は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例9にて示した構成に,露光制御部1901と評価選択部1902を加えたものである。
FIG. 19 is a diagram illustrating an example of an embodiment of the present invention. The imaging apparatus according to the present embodiment is obtained by adding an
露光制御部1901は信号範囲評価部1601が出力した評価結果を参照し,画面内に占める可視光信号と非可視光信号の比率の算出結果が信頼できる画素数が少ない場合に撮像素子102の露光を制御する。評価選択部1902は複数のフレームの画像に対し,可視光信号と非可視光信号の比率の算出結果が推定可能なフレームを選択し,比率算出部301に選択結果を出力する。比率算出部301は評価選択部1902の選択したフレームにおいて可視光信号と非可視光信号の比率を算出する。これにより,露光制御の過程で飽和や黒つぶれが少ないタイミングの映像を用いて可視光信号と非可視光信号の比率を算出することが可能である。あるいは,飽和や黒つぶれが激しくて可視光信号と非可視光信号の比率が精度良く算出できない場合に,飽和や黒つぶれを低減して高精度な可視光信号と非可視光信号の比率を算出することが可能となる。
The
例えば信号範囲評価部1601は注目画素が可視光信号と非可視光信号の比率の算出結果が信頼できるか否かの評価結果に加え,図17に示した例でRIR,GIR,BIR,WIRの色フィルタを介して出力されたいずれかの信号値がth_lを下回っているか否か,すなわち黒つぶれの評価結果と,いずれかの信号値がth_hを上回っているか否か,すなわち飽和の評価結果の情報を同時に出力する。
For example, the signal
露光制御部1901は黒つぶれしている画素と飽和している画素をそれぞれカウントし,黒つぶれしている画素が飽和している画素より多く,かつ所定の閾値より大きい場合には露光をオーバ側に,飽和している画素が黒つぶれしている画素より多く,かつ所定の閾値より大きい場合には露光をアンダ側に制御する。これにより,可視光信号と非可視光信号の比率の算出結果が信頼できる画素数を十分に確保した上で比率を算出することが可能となる。所定の閾値は画面内に存在するノイズや微小被写体の影響を除外できる程度の画素数を設定すればよい。これにより,ノイズや微小被写体の影響,および飽和や黒潰れの影響を受けずに光源の可視光信号と非可視光信号の比率を高精度に推定し,より撮影シーンに対して高画質な画像を生成することが可能である。
The
尚,比率算出部301は,評価選択部1902の選択していないフレームにおいては,過去のフレームで算出した比率情報を保持し,該比率情報を画質調整パラメータ算出部302や光源色推定部106に出力して画質調整やホワイトバランスに用いればよい。
The
また,評価選択部1902は,撮像素子102が複数の異なる露光時間で複数フレームの撮像を行った場合に,最も可視光信号と非可視光信号の比率の算出結果が信頼できる画素数が多いフレームを選択しても良い。例えば,輝度信号生成部109の出力する輝度信号や彩度変更部305の出力する色差信号を用いて不図示の信号処理部で複数の異なる露光時間で撮影した画像を合成することによりダイナミックレンジの拡大を図るハイダイナミックレンジ処理を行う場合に,最も飽和や黒つぶれの少ないフレームの映像を用いて可視光信号と非可視光信号の比率を高精度に算出することが可能となる。ハイダイナミックレンジ処理については公知の技術であるため詳細は省略する。
上記以外の構成および方法および効果に関しては、実施例1〜9と同様である。
In addition, when the
Other configurations, methods, and effects are the same as those in Examples 1-9.
図20は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例9にて示した構成に,信号量検出部2001を加えたものである。
FIG. 20 is a diagram illustrating an example of an embodiment of the present invention. The imaging apparatus according to the present embodiment is obtained by adding a signal
信号量検出部2001はデモザイク処理部103の出力する画素ごとの信号量または所定の領域内の画素の信号量の積分値または平均値といった統計量を検出する。比率算出部301は可視光信号生成部104からの可視光信号と、非可視光信号生成部105からの非可視光信号の替わりに,信号量検出部2001の出力する画素ごとの信号量または所定の領域内の信号量の統計量を用いて可視光信号と非可視光信号との比率を算出する。算出方法については可視光信号生成部104や非可視光信号生成部105を介して行った各種の算出処理と同様にすればよいため省略する。ただし,他の実施例では比率算出部301が信号範囲評価部1601の評価結果を参照して可視光信号と非可視光信号との比率を算出するか否かを決定していたのに対し,本実施例では信号量検出部2001が信号範囲評価部1601の評価結果を参照して信号量検出の対象とするか否かを決定し,比率算出部301は信号範囲評価部1601の評価結果を反映した信号量検出を用いて可視光信号と非可視光信号との比率を算出することで同様の効果を得ている。
画質調整パラメータ算出部302は比率算出部301より取得した比率情報を用いて可視光信号生成部104における可視光信号の生成方法,例えばマトリクス演算の演算係数や,非可視光信号生成部105における非可視光信号の生成方法,例えばマトリクス演算の演算係数を制御する。
The signal
The image quality adjustment
以上の構成によれば,比率算出部301が推定した可視光信号と非可視光信号との比率に応じて可視光信号生成部104や非可視光信号生成部105のパラメータそのものを制御することが可能であり,例えば非可視光信号をほとんど含まない蛍光灯やLEDの照明では可視光信号生成部104のマトリクス演算の演算係数として非可視光信号を考慮しない演算係数を設定し,近赤外光を含むハロゲン光やキセノン光では可視光信号生成部104のマトリクス演算の演算係数として非可視光信号を考慮した演算係数を設定することができる。すなわち,例えば図11に示すようなR+IR(RIR)、G+IR(GIR)、B+IR(BIR)、R+G+B+IR(WIR)の4種類の分光感度特性を持つ色フィルタを有する撮像素子を用いた場合に,非可視光信号をほとんど含まない照明では可視光信号を下記式(32)から式(34)のように算出し,
R=RIR・・・(32)
G=GIR・・・(33)
B=BIR・・・(34)
近赤外光を含む照明では可視光信号を前述の式(27)から式(29)のように算出する。これにより,ノイズの影響でマトリクス演算誤差が発生した場合の画質の低下を抑制することが可能である。また,フィードフォワードの制御構成とすることでハンチング等のリスクを回避することが可能である。
According to the above configuration, the parameters of the visible light
R = RIR (32)
G = GIR ・ ・ ・ (33)
B = BIR ・ ・ ・ (34)
For illumination including near-infrared light, a visible light signal is calculated as shown in Equation (27) to Equation (29). As a result, it is possible to suppress degradation in image quality when a matrix calculation error occurs due to noise. Moreover, it is possible to avoid risks such as hunting by adopting a feedforward control configuration.
尚,比率算出部301が算出する比率情報は可視光信号と非可視光信号との比率に限らず,全ての波長帯の信号に占める可視光信号の比率や全ての波長体の信号に占める非可視光信号の比率でももちろん構わない。
The ratio information calculated by the
上記以外の構成および方法および効果に関しては、実施例1から9と同様である。
尚本発明においては、上記実施例における構成要素の各々について、その一部またはすべてをハードウェア化した撮像装置として提供することができ、またその一部またはすべてをソフトウェアプログラムにより構成した撮像方法を提供することができる。
Other configurations, methods, and effects are the same as those in the first to ninth embodiments.
In the present invention, an imaging method in which a part or all of the components in the above-described embodiments can be provided as a hardware imaging device, and a part or all of the components are configured by a software program. Can be provided.
また,本発明は上記した実施例に限定されるものではなく,様々な変形例が含まれる。例えば上記した実施例に限らず多様な波長感度特性の色フィルタの組合せを有する撮像素子に対しても使用できる。 Moreover, the present invention is not limited to the above-described embodiments, and includes various modifications. For example, the present invention can be used not only for the above-described embodiments but also for an image sensor having a combination of color filters having various wavelength sensitivity characteristics.
また,上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり,必ずしも説明した全ての構成を備えるものに限定されるものではない。 Further, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
また,ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり,また,ある実施例の構成に他の実施例の構成を加えることも可能である。 Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
101・・・レンズ、102・・・撮像素子、103・・・デモザイク処理部、104・・・可視光信号生成部、105・・・非可視光信号生成部、106・・・光源色推定部、107・・・白調整用ゲイン算出部、108・・・白調整部、109・・・輝度信号生成部、110・・・色差信号生成部、111・・・画像合成部、201・・・撮影ステップ、202・・・可視光信号・非可視光信号分離ステップ、203・・・光源色推定ステップ、204・・・可視光信号白調整ステップ、205・・・可視光信号・非可視光信号合成ステップ、206・・・画像データ生成ステップ、301・・・比率算出部、302・・・画質調整パラメータ算出部、303・・・利得調整部(1)、304・・・利得調整部(2)、401・・・撮影ステップ、402・・・可視光信号・非可視光信号分離ステップ、403・・・光源色推定ステップ、404・・・可視光信号白調整ステップ、405・・・可視光・非可視光比率算出ステップ、406・・・可視光信号利得調整ステップ、407・・・非可視光信号利得調整ステップ、408・・・可視光信号・非可視光信号合成ステップ、409・・・画像データ生成ステップ、501・・・光学フィルタ部、502・・・フィルタ駆動部、503・・・露光制御部、504・・・画質調整パラメータ算出部、601・・・撮像素子、602・・・高感度画素信号抽出部、603・・・飽和解析及び光源色推定部、701・・・波長解析及び光源色推定部、1301・・・可視光+非可視光画像、1302・・・可視光画像、1303・・・非可視光画像、1304・・・ホワイトバランス後可視光画像、1305・・・合成後画像、1310・・・可視光・非可視光信号比率算出部、1311・・・制御部、1401・・・可視光量計測センサ部、1402・・・非可視光量計測センサ部、1501・・・光学フィルタ部1、1502・・・光学フィルタ部2、1504・・・フィルタ駆動部1、1505・・・フィルタ駆動部2,1601・・・信号範囲評価部,1801・・・入力画像,1802・・・出力画像,1901・・・露光制御部,1902・・・評価選択部,2001・・・信号量選択部
DESCRIPTION OF
Claims (10)
該撮像素子の出力した画素信号と所定の信号範囲を比較する信号範囲評価部と、
前記撮像素子の出力した画素信号から可視光信号を抽出し出力する可視光信号生成部と、
前記撮像素子の出力した画素信号から非可視光信号を抽出し出力する非可視光信号生成部と、
前記信号範囲評価部の出力を用いて前記可視光信号と前記非可視光信号との比率を算出し出力する比率算出部と、
該可視光信号と非可視光信号との比率に基づいて前記撮像素子の出力した画素信号の画質を制御する画質調整部と、
を有する撮像装置。 An image sensor that photoelectrically converts light including visible light and invisible light and outputs it as a pixel signal;
A signal range evaluation unit that compares a pixel signal output from the image sensor with a predetermined signal range;
A visible light signal generation unit that extracts and outputs a visible light signal from the pixel signal output by the image sensor;
A non-visible light signal generation unit that extracts and outputs a non-visible light signal from the pixel signal output by the image sensor;
A ratio calculation unit that calculates and outputs a ratio of the visible light signal and the invisible light signal using an output of the signal range evaluation unit;
An image quality adjustment unit that controls the image quality of the pixel signal output from the image sensor based on the ratio of the visible light signal and the invisible light signal;
An imaging apparatus having
前記比率算出部は前記撮像素子の出力した画素信号の大きさが所定の信号範囲に存在する画素において前記可視光信号と前記非可視光信号との比率を算出し出力すること、
を特徴とする撮像装置。 The imaging device according to claim 1,
The ratio calculating unit calculates and outputs a ratio of the visible light signal and the invisible light signal in a pixel in which a magnitude of a pixel signal output from the imaging element is in a predetermined signal range;
An imaging apparatus characterized by the above.
前記可視光信号生成部からの可視光信号から光源の色温度を推定しその結果を出力する光源色推定部と、
前記光源色推定部からの推定結果に応じて前記可視光信号生成部からの可視光信号にホワイトバランス補正を行い出力する白調整部と、
前記白調整部にてホワイトバランス補正が行われた可視光信号と前記非可視光信号生成部からの非可視光信号とを合成して出力する画像合成部と、
を有し、
前記画質調整部は前記可視光信号と非可視光信号との比率に基づいて前記撮像素子の出力した画素信号または前記可視光信号生成部からの可視光信号または前記非可視光信号生成部からの非可視光信号または前記画像合成部からの画像の少なくともいずれかの画質を調整すること、
を特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
A light source color estimation unit that estimates a color temperature of a light source from a visible light signal from the visible light signal generation unit and outputs the result;
A white adjustment unit that performs white balance correction on the visible light signal from the visible light signal generation unit according to an estimation result from the light source color estimation unit;
An image synthesis unit that synthesizes and outputs a visible light signal subjected to white balance correction in the white adjustment unit and a non-visible light signal from the invisible light signal generation unit;
Have
The image quality adjustment unit outputs a pixel signal output from the imaging element based on a ratio of the visible light signal and the invisible light signal, a visible light signal from the visible light signal generation unit, or from the invisible light signal generation unit. Adjusting the image quality of at least one of a non-visible light signal or an image from the image composition unit;
An imaging apparatus characterized by the above.
前記可視光信号から出力された可視光信号または前記白調整部から出力されたホワイトバランス補正後の可視光信号に利得調整を行う第一の利得調整部と、
前記非可視光信号生成部から出力された非可視光信号に利得調整を行う第二の利得調整部と、
を有し、
前記画質調整部は前記可視光信号と非可視光信号との比率に基づいて前記第一の利得調整部が利得調整を行うための第一の利得情報と第二の利得調整部が利得調整を行うための第二の利得情報を個別に算出し出力すること、
を特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
A first gain adjustment unit that performs gain adjustment on a visible light signal output from the visible light signal or a white light corrected visible light signal output from the white adjustment unit;
A second gain adjustment unit that performs gain adjustment on the invisible light signal output from the invisible light signal generation unit;
Have
The image quality adjustment unit includes first gain information for the first gain adjustment unit to perform gain adjustment and a second gain adjustment unit for gain adjustment based on a ratio of the visible light signal and the invisible light signal. Separately calculating and outputting second gain information for performing,
An imaging apparatus characterized by the above.
前記画像合成部から出力された画像の彩度を変更する彩度変更部と、
を有し、
前記画質調整部は前記可視光信号と非可視光信号との比率に基づいて前記彩度変更部が前記画像合成部から出力される画像信号の彩度を変更するための第三の利得情報を算出し出力すること、
を特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
A saturation changing unit that changes the saturation of the image output from the image combining unit;
Have
The image quality adjustment unit includes third gain information for the saturation change unit to change the saturation of the image signal output from the image synthesis unit based on the ratio of the visible light signal and the invisible light signal. Calculate and output,
An imaging apparatus characterized by the above.
前記光源色推定部は、前記信号範囲評価部の出力を用いて前記可視光信号生成部からの可視光信号の信号分布と前記非可視光信号生成部からの非可視光信号の信号分布とに基づいて被写体に照射された光源の色温度及びその種類を推定し、その推定結果を出力すること、
を特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
The light source color estimation unit uses the output of the signal range evaluation unit to generate a visible light signal signal distribution from the visible light signal generation unit and a non-visible light signal signal distribution from the invisible light signal generation unit. Estimating the color temperature and type of the light source irradiated to the subject based on the result, and outputting the estimation result;
An imaging apparatus characterized by the above.
前記比率算出部は前記撮像素子の出力した画素信号の任意の領域ごとに前記信号範囲評価部の出力を用いて前記可視光信号と前記非可視光信号との比率を算出し出力し、
前記画質調整部は該任意の領域ごとの前記可視光信号と非可視光信号との比率に基づいて前記撮像素子の出力した画素信号の画質を任意の領域ごとに調整すること、
を特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
The ratio calculation unit calculates and outputs the ratio of the visible light signal and the non-visible light signal using the output of the signal range evaluation unit for each arbitrary region of the pixel signal output by the image sensor,
The image quality adjustment unit adjusts the image quality of the pixel signal output from the imaging element for each arbitrary region based on the ratio of the visible light signal and the invisible light signal for each arbitrary region;
An imaging apparatus characterized by the above.
前記撮像素子の露光を制御する露光制御部とを有し、
前記露光制御部は前記信号範囲評価部の出力に基づき前記撮像素子の出力した画素信号の大きさが所定の信号範囲に存在する画素の数が大きくなるように前記撮像素子の露光を制御すること、
を特徴とする撮像装置。 The imaging device according to claim 2,
An exposure control unit that controls exposure of the image sensor;
The exposure control unit controls the exposure of the image sensor based on the output of the signal range evaluation unit so that the pixel signal output from the image sensor has a larger number of pixels in a predetermined signal range. ,
An imaging apparatus characterized by the above.
前記撮像素子が複数の露光状態で撮像した画素信号を出力した場合に、前記信号範囲評価部の出力に基づき前記撮像素子の出力した画素信号の大きさが所定の信号範囲に存在する画素の数が相対的に大きい露光状態を選択する評価選択部とを有し、
前記比率算出部は前記評価選択部の選択した露光状態における前記可視光信号と前記非可視光信号との比率を算出し出力すること、
を特徴とする撮像装置。 The imaging device according to claim 2,
When the image sensor outputs pixel signals captured in a plurality of exposure states, the number of pixels in which the magnitude of the pixel signal output from the image sensor is within a predetermined signal range based on the output of the signal range evaluation unit And an evaluation selection unit that selects an exposure state having a relatively large value,
The ratio calculation unit calculates and outputs a ratio of the visible light signal and the invisible light signal in the exposure state selected by the evaluation selection unit;
An imaging apparatus characterized by the above.
該撮像素子の出力した画素信号と所定の信号範囲を比較する信号範囲評価部と、
前記信号範囲評価部の出力を用いて前記撮像素子の出力した画素信号の所定の領域における統計量を算出する信号量検出部と、
前記撮像素子の出力した画素信号から可視光信号を抽出し出力する可視光信号生成部と、
前記撮像素子の出力した画素信号から非可視光信号を抽出し出力する非可視光信号生成部と、
前記信号量検出部の出力を用いて前記撮像素子の出力した画素信号における可視光信号または非可視光信号の比率を算出し出力する比率算出部と、
前記比率に基づいて前記可視光信号生成部における可視光信号生成方法と前記非可視光信号生成部における非可視光信号生成方法の少なくともいずれかを制御する画質調整部と、
を有する撮像装置。 An image sensor that photoelectrically converts light including visible light and invisible light and outputs it as a pixel signal;
A signal range evaluation unit that compares a pixel signal output from the image sensor with a predetermined signal range;
A signal amount detection unit that calculates a statistic in a predetermined region of the pixel signal output from the image sensor using the output of the signal range evaluation unit;
A visible light signal generation unit that extracts and outputs a visible light signal from the pixel signal output by the image sensor;
A non-visible light signal generation unit that extracts and outputs a non-visible light signal from the pixel signal output by the image sensor;
A ratio calculation unit that calculates and outputs a ratio of a visible light signal or a non-visible light signal in a pixel signal output from the image sensor using an output of the signal amount detection unit;
An image quality adjustment unit that controls at least one of a visible light signal generation method in the visible light signal generation unit and a non-visible light signal generation method in the invisible light signal generation unit based on the ratio;
An imaging apparatus having
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015117121A JP6484504B2 (en) | 2015-06-10 | 2015-06-10 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015117121A JP6484504B2 (en) | 2015-06-10 | 2015-06-10 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017005484A true JP2017005484A (en) | 2017-01-05 |
JP6484504B2 JP6484504B2 (en) | 2019-03-13 |
Family
ID=57754448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015117121A Active JP6484504B2 (en) | 2015-06-10 | 2015-06-10 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6484504B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018154965A1 (en) * | 2017-02-24 | 2018-08-30 | ソニー株式会社 | Image processing device and imaging apparatus |
CN110264402A (en) * | 2019-06-12 | 2019-09-20 | 浙江大华技术股份有限公司 | Image interfusion method, device, storage medium and electronic device |
WO2020017638A1 (en) * | 2018-07-20 | 2020-01-23 | 株式会社ナノルクス | Image generation device and imaging device |
JP2020202489A (en) * | 2019-06-10 | 2020-12-17 | キヤノン株式会社 | Image processing device, image processing method, and program |
WO2021054198A1 (en) * | 2019-09-18 | 2021-03-25 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, imaging system, and imaging method |
WO2021166601A1 (en) * | 2020-02-17 | 2021-08-26 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and imaging method |
WO2022211414A1 (en) * | 2021-03-29 | 2022-10-06 | 삼성전자 주식회사 | Electronic device for acquiring images including components of light output from light emitting module of electronic device and components of ambient light by using plurality of images, and control method therefor |
EP4072119A1 (en) | 2021-04-05 | 2022-10-12 | Canon Kabushiki Kaisha | Illumination control device, imaging device, and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010041231A (en) * | 2008-08-01 | 2010-02-18 | Olympus Corp | Infrared ray radiation type imaging device and control program for the same |
JP2012019301A (en) * | 2010-07-06 | 2012-01-26 | Panasonic Corp | Imaging apparatus and color temperature calculation method |
-
2015
- 2015-06-10 JP JP2015117121A patent/JP6484504B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010041231A (en) * | 2008-08-01 | 2010-02-18 | Olympus Corp | Infrared ray radiation type imaging device and control program for the same |
JP2012019301A (en) * | 2010-07-06 | 2012-01-26 | Panasonic Corp | Imaging apparatus and color temperature calculation method |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10827129B2 (en) | 2017-02-24 | 2020-11-03 | Sony Corporation | Image processing apparatus and imaging apparatus |
JP7020471B2 (en) | 2017-02-24 | 2022-02-16 | ソニーグループ株式会社 | Image processing equipment and imaging equipment |
JPWO2018154965A1 (en) * | 2017-02-24 | 2020-01-23 | ソニー株式会社 | Image processing device and imaging device |
WO2018154965A1 (en) * | 2017-02-24 | 2018-08-30 | ソニー株式会社 | Image processing device and imaging apparatus |
WO2020017638A1 (en) * | 2018-07-20 | 2020-01-23 | 株式会社ナノルクス | Image generation device and imaging device |
JPWO2020017638A1 (en) * | 2018-07-20 | 2021-08-02 | 株式会社ナノルクス | Image generator and image pickup device |
JP2020202489A (en) * | 2019-06-10 | 2020-12-17 | キヤノン株式会社 | Image processing device, image processing method, and program |
US11637960B2 (en) | 2019-06-10 | 2023-04-25 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP7403242B2 (en) | 2019-06-10 | 2023-12-22 | キヤノン株式会社 | Image processing system, image processing method, and program |
CN110264402A (en) * | 2019-06-12 | 2019-09-20 | 浙江大华技术股份有限公司 | Image interfusion method, device, storage medium and electronic device |
CN110264402B (en) * | 2019-06-12 | 2022-12-16 | 浙江大华技术股份有限公司 | Image fusion method, image fusion device, storage medium and electronic device |
WO2021054198A1 (en) * | 2019-09-18 | 2021-03-25 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, imaging system, and imaging method |
WO2021166601A1 (en) * | 2020-02-17 | 2021-08-26 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and imaging method |
WO2022211414A1 (en) * | 2021-03-29 | 2022-10-06 | 삼성전자 주식회사 | Electronic device for acquiring images including components of light output from light emitting module of electronic device and components of ambient light by using plurality of images, and control method therefor |
EP4072119A1 (en) | 2021-04-05 | 2022-10-12 | Canon Kabushiki Kaisha | Illumination control device, imaging device, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6484504B2 (en) | 2019-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6568719B2 (en) | Imaging method and imaging apparatus | |
JP6484504B2 (en) | Imaging device | |
JP6503485B2 (en) | Imaging processing apparatus and imaging processing method | |
US9338371B2 (en) | Imaging device | |
US7084907B2 (en) | Image-capturing device | |
EP2866445A1 (en) | Imaging device | |
US10560642B2 (en) | Image processing device, image processing method and imaging device | |
US8564688B2 (en) | Methods, systems and apparatuses for white balance calibration | |
US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
KR20140026356A (en) | Method and apparatus for multi-spectral imaging | |
US9105105B2 (en) | Imaging device, imaging system, and imaging method utilizing white balance correction | |
JP2015053578A (en) | Color image pickup device and color image pickup method | |
JP6466809B2 (en) | Imaging apparatus and imaging method | |
JP2010161455A (en) | Infrared combined imaging device | |
JP6640555B2 (en) | Camera system | |
JP6504892B2 (en) | Imaging device | |
JP7203441B2 (en) | Image generating device and imaging device | |
JP2010161452A (en) | Infrared radiation imaging device | |
JP2010161450A (en) | Infrared radiation imaging device | |
JP2010154169A (en) | Infrared irradiation type image pickup device | |
JP2010161457A (en) | Infrared radiation imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170119 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6484504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |