JP2016052115A - 撮像方法及び撮像装置 - Google Patents

Abstract

【課題】被写体からの可視光と非可視光を同時に画像化し、さらにそのカラーバランスを適正に補正しつつ前記可視光と非可視光を合成した１枚の画像を得る撮像装置及び撮像方法を提供する。
【解決手段】撮像装置は、可視光及び非可視光を含む光を光電変換し画素信号として出力する撮像素子１０２と、撮像素子からの画素信号から可視光信号を抽出し出力する可視光信号生成部１０４と、可視光信号生成部からの可視光信号から光源の色温度を推定しその結果を出力する光源色推定部１０６と、光源色推定部からの推定結果に応じて可視光信号生成部からの可視光信号にホワイトバランス補正を行い出力する白調整部１０８と、撮像素子からの信号から非可視光信号を抽出し出力する非可視光信号生成部１０５と、白調整部にてホワイトバランス補正が行われた可視光信号と非可視光信号生成部からの非可視光信号とを合成して出力する画像合成部１１１と、を有する。
【選択図】図１

Description

本発明は、撮像方法および撮像装置に関する。

本技術分野の背景技術として、特開２０１０−１６１４５９（特許文献１）がある。該公報には、「［課題］低照度下で撮像を行う場合に、可視光成分と赤外線成分との合成比率を調整可能な赤外線照射式撮像装置を提供する。［解決手段］赤外線混合撮像装置において、赤外線照射撮像条件によって撮像を行う場合に、赤外線カットフィルタを光路上に挿入する可視光撮像条件によって生成される撮像信号の色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成する。赤外線照射撮像条件にて生成される撮像信号を可視光成分撮像信号と赤外線成分撮像信号とに分離し、可視光成分撮像信号から可視光輝度信号とクロマ画像信号とを生成し、赤外線成分撮像信号から赤外線輝度信号を生成する。そして、可視光輝度信号と赤外線輝度信号との合成比率を調整して、輝度画像信号を生成する。」と記載されている。

また、特開２０１１−２３３９８３（特許文献２）がある。該公報には、「［課題］夜間のような低照度下でも良好なカラー画像を得ることができ、かつ、赤外線照明装置を用いた場合のようなコントラストが鮮明な映像を同時に得ることができる撮像装置を提供する。［解決手段］本発明に係る撮像装置は、固体撮像素子１０と、赤外光を発光する赤外ＬＥＤ７０と、赤外ＬＥＤ７０に、フレーム時間を単位とする赤外光をパルス発光させる発光制御部６０と、赤外ＬＥＤ７０の非発光期間および発光期間に同期して、固体撮像素子１０から可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ抽出する信号処理部２０とを備え、固体撮像素子１０は、緑色の可視光と赤外光とを受光する画素と、赤色の可視光と赤外光とを受光する画素と、青色の可視光と赤外光とを受光する画素と、赤外光を受光する画素とを備えた単位配列が２次元配列された撮像領域を有する。」と記載されている。

特開２０１０−１６１４５９公報 特開２０１１−２３３９８３公報

特許文献１においては、可視光撮像条件と赤外線照射撮像条件で個別に撮像信号を取得する必要があった。また、蛍光灯フリッカやLED照明のパルス照射、点滅ライトなど、撮影環境における時間軸での光量変化が起こった場合に対して考慮されていなかった。

特許文献２においては、赤外ＬＥＤを制御する必要があった。また、太陽光やハロゲン光などの赤外光を含む照明光が存在する撮影環境に対して考慮されていなかった。

上記従来の技術課題を解決するために、特許請求の範囲に記載の構成を採用する。
本願は上記目的を解決する手段を複数含んでいるが、その一例を挙げるならば、可視光及び非可視光を含む光を光電変換し画素信号として出力する撮像素子と、撮像素子からの画素信号から可視光信号を抽出し出力する可視光信号生成部と、可視光信号生成部からの可視光信号から光源の色温度を推定しその結果を出力する光源色推定部と、光源色推定部からの推定結果に応じて可視光信号生成部からの可視光信号にホワイトバランス補正を行い出力する白調整部と、撮像素子からの信号から非可視光信号を抽出し出力する非可視光信号生成部と、白調整部にてホワイトバランス補正が行われた可視光信号と非可視光信号生成部からの非可視光信号とを合成して出力する画像合成部と、を有する撮像装置を提供する。

本発明によれば、従来技術における課題を解決しつつ，且つ被写体からの可視光と非可視光成分を合成した1枚の画像として取得することができ，さらにそのカラーバランスを適正に補正することができる。これ以外の詳細な効果については、実施例にて説明する。

本発明の一実施例を示す全体構成図である。 本発明の一実施例を示すフローチャートである。 本発明の一実施例を示す全体構成図である。 本発明の一実施例を示すフローチャートである。 本発明の一実施例を示す全体構成図である。 本発明の一実施例を示す全体構成図である。 本発明の一実施例を示す全体構成図である。 本発明における撮像素子の画素配列の一例である。 本発明における撮像素子の画素配列の一例である。 本発明における撮像素子の分光感度特性の一例である。 本発明における撮像素子の分光感度特性の一例である。 本発明における取得画像の一例である。 本発明の一実施例を示す全体構成図である。 本発明の一実施例を示す全体構成図である。 本発明の一実施例を示す全体構成図である。

図１は、本発明における実施の形態の一例を表す図である。

本実施例における撮像装置は、被写体からの可視光・非可視光を所定の焦点距離に結像させるレンズ１０１と、レンズ１０１によって結像された可視光・非可視光を各種色フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する撮像素子１０２と、撮像素子１０２からの画素信号に対してデモザイク処理を行うデモザイク処理部１０３と、デモザイク処理部１０３から出力された画素信号に対して演算処理を施すことにより可視光成分に対する画素信号（可視光信号）を抽出する可視光信号生成部１０４と、デモザイク処理部１０３から出力された画素信号に対して演算処理を施すことにより非可視光成分に対する画素信号（非可視光信号）を抽出する非可視光信号生成部１０５と、可視光信号生成部１０４からの画素信号から光源色を推定する光源色推定部１０６と、光源色推定部１０６の結果に基づいて可視光信号生成部１０４の出力である可視光信号に対してホワイトバランス補正を行うための利得を算出する白調整用ゲイン算出部１０７と、白調整用ゲイン算出部１０７からの利得情報に基づいて可視光信号生成部１０４から出力された可視光信号に対してホワイトバランス補正を行う白調整部１０８と、白調整部１０８にてホワイトバランス補正が施された可視光信号と、非可視光信号生成部から出力された非可視光信号とを合成する画像合成部１１１と、画像合成部１１１から出力された合成後の画素信号を用いて輝度信号を生成する輝度信号生成部１０９と、画像合成部１１１から出力された合成後の画素信号を用いて色差信号を生成する色差信号生成部１１０と、を有する。

まず、可視光成分R,G,Bと非可視光成分IRの各々の信号を同時に取得する方法について説明する。図８は本実施例における撮像素子１０２の色フィルタ配列の一例である。R+IR(RIR)、G+IR(GIR)、B+IR(BIR)、IR(NIR)は、それぞれ異なる４種類の色フィルタが配列された画素を示す。また、図１０は、これら４種類の色フィルタが配置された画素の分光感度特性の一例を表したものである。例えばRIRの色フィルタが配置された画素は可視光の赤(R)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、GIRの色フィルタが配置された画素は可視光の緑(G)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、BIRの色フィルタが配置された画素は可視光の青(B)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、NIRの色フィルタが配置された画素は近赤外光(IR)の波長付近に感度を持つものとする。

デモザイク処理部１０３は、異なる色フィルタで配列された撮像素子１０２の出力画像信号に対して，補間処理などによってデモザイク処理を行う。補間処理とは、例えば、あるRIR画素の画素位置にはGIR,BIR,NIR画素が存在しないため、各々近隣周囲の同色画素から補間処理によって補間信号を生成し出力するものである。

可視光信号生成部１０４は、デモザイク処理部１０３から出力された画素信号に対してマトリクス演算等により可視光信号を生成して出力する。また、非可視光信号生成部１０５は、デモザイク処理部１０３から出力された画素信号に対してマトリクス演算等により非可視光信号を生成し出力する。例えば可視光信号生成部１０４は、非可視光を含まないまたは所定量に減衰させた可視光信号としてR、G、Bの各信号を下記式(1)〜(3)の演算処理にて生成し、非可視光信号生成部１０５は、可視光成分を含まないまたは所定量に減衰させた非可視光信号としてIR信号を下記式(4)の演算処理にて生成する。

R＝αrr×RIR＋αrg×GIR＋αrb×BIR＋αri×NIR・・・(1)
G＝αgr×RIR＋αgg×GIR＋αgb×BIR＋αgi×NIR・・・(2)
B＝αbr×RIR＋αbg×GIR＋αbb×BIR＋αbi×NIR・・・(3)
IR＝αir×RIR＋αig×GIR＋αib×BIR＋αii×NIR・・・(4)
この時の各々のαは各信号に対する係数であり、例えばαの係数として、

を与えた場合、式(1)〜(4)は以下(6)〜(9)のようになる。
R＝RIR−NIR・・・(6)
G＝GIR−NIR・・・(7)
B＝BIR−NIR・・・(8)
IR＝NIR・・・(9)
図１０に示すように、RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とNIRに含まれる非可視光成分の量の各々が共に同等レベルであれば、非可視光成分を含まない可視光信号R、G，Bのそれぞれと、可視光成分を含まない非可視光信号IRとに分離することができる。ここでRIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とNIRに含まれる非可視光成分の量の各々が共に一致しない場合に関しては、式(5)の値を適宜変更することで、非可視光成分の量を所定量減衰させた可視光成分R,G,Bの各信号と、可視光成分を所定量減衰させた非可視光成分IRとに分離することができる。

以上の構成によれば、等しい露光時間にて撮影された可視光成分に対応する画像信号と非可視光成分に対応する画像信号とを、１フレーム分の撮影手順のみで同時に取得することができる。尚、本実施例では非可視光として近赤外光を例に示したが、紫外光などの場合でも同様であり、特定の波長に対して制約がかかるものではない。また、本実施例では可視光としてR,G,Bを例に示したが、補色信号など可視成分を含む信号であっても同様に処理することができ、その効果も同一であり、特定の波長に対して制約がかかるものではない。

次に、可視光信号R,G,Bに対してホワイトバランス補正を行う方法について説明する。本実施例における光源色推定部１０６は、可視光信号生成部１０４から出力された可視光信号R、G，Bの各々の信号レベルの比に基づいて、被写体に照射されている照明の色温度を推定し、その推定結果を出力する。例えば、可視光信号生成部１０４から出力された可視光信号R、G，Bの信号量をそれぞれを画像１画面分積算したΣR、ΣG、ΣBを算出し、このΣR、ΣG、ΣBを照明の色温度を表す色分布推定情報として出力する方法がある。または、算出したΣR、ΣG、ΣBの相対比を照明の色分布推定情報として出力する方法がある。

白調整用ゲイン算出部１０７は、光源色推定部１０６から出力されたΣR、ΣG、ΣBの各々の値を等しくする、あるいは各々の値を近づけるための利得値を算出し出力するものであり、例えば以下(10)〜(12)のように値を等しくする利得値としてRgain、Ggain、Bgainを各々算出し出力する。
Rgain＝ΣG／ΣR・・・(10)
Ggain＝ΣG／ΣG・・・(11)
Bgain＝ΣG／ΣB・・・(12)
白調整部１０８は、可視光信号生成部１０４から出力されたR,G,B信号に対して、白調整用ゲイン算出部１０７から出力された利得値Rgain、Ggain、Bgainを用いて次式(13)〜(15)にて利得調整を行うことでホワイトバランス補正を行ったR2、G2、B2を算出し出力する。
R2＝Rgain×R・・・(13)
G2＝Ggain×G・・・(14)
B2＝Bgain×B・・・(15)
以上の構成によれば、可視光信号生成部１０４から出力されたR,G,B信号から照明の色温度を推定し、その推定結果に基づいて可視光信号生成部１０４から出力されたR,G,B信号に対してホワイトバランス補正を行うことができる。

尚、白調整用ゲイン算出部１０７はΣR、ΣG、ΣBの比率により利得値を算出し出力するものとしたが、予めΣRとΣGとΣBの分布に対応する色温度情報をテーブルとして保持しておき、算出したΣR、ΣG、ΣBの情報を基に色温度情報をテーブルから取得し、この色温度情報を出力するものであってもよい。

また、光源色推定部１０６は、可視光信号生成部１０４から出力された可視光成分R、G，Bのそれぞれの信号について積算したΣR、ΣG、ΣBを算出し出力するものとしたが、可視光信号生成部１０４から出力された可視光成分R、G，Bのそれぞれの信号を用いて照明の色温度を推定しその推定結果を出力するものであればよく、例えばR,G,Bから色差情報を生成し、色差空間の分布情報に基づいて照明の色温度を推定するものでもよく、またR,G,Bから輝度情報を生成し、輝度のレベルに応じて照明を推定しその色温度を算出するものでもよく、あるいは色差と輝度の各々から照明の色温度を推定するものであってもよい。

以上の構成であれば、撮像素子から出力された画素信号において、可視光と非可視光が混合されている状態であっても、非可視光を除くまたは重みを低くした可視光信号で色温度を推定することができ、可視光成分の色温度をより正確に推定することができる。

次に、画像合成部１１１にて行う、ホワイトバランス補正を行った後の可視光信号と、非可視光信号との合成方法について説明する。本実施例では、白調整部１０８から出力されたホワイトバランス補正後の可視光信号R2、G2、B2と、非可視光信号生成部１０５から出力された非可視光信号IRとを下記式(16)〜(18)にて合成する。
Rout＝R2＋IR・・・(16)
Gout＝G2＋IR・・・(17)
Bout＝B2＋IR・・・(18)
輝度信号生成部１０９は、上記Rout、Gout、Boutと所定の係数βyr、βyg、βybを用いて輝度信号Yを次式で算出し出力するものである。
Y＝βyr×Rout＋βyg×Gout＋βyb×Bout・・・(19)
また色差信号生成部１１０は、上記Rout、Gout、Boutと所定の係数βur、βug、βub、βvr、βvg、βvbを用いて色差信号U、Vを次式で算出し出力する。
U＝βur×Rout＋βug×Gout＋βub×Bout・・・(20)
V＝βvr×Rout＋βvg×Gout＋βvb×Bout・・・(21)
以上の構成とすることで、ホワイトバランス補正を行った可視光成分R,G,Bと非可視光成分IRを合成し、1枚の画像として輝度信号及び色差信号を生成することができる。

RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とNIRに含まれる非可視光成分の量の各々が共に一致しない場合において、例えば式(1)〜(4)を演算した際にR,G,Bの各々の信号が負の値を含むなどエラー信号が個別に重畳される場合がある。このケースにおいて、エラー信号レベルが各々異なっている場合、出力される色差信号の色相（UとVの比）が変化するため色合いが変化し疑似カラーとなりうる。しかしながら本実施例のように、ホワイトバランス補正後のR,G,B信号に対して再び非可視光信号IRを加算することで、非可視光信号IRを減算することにより発生していたエラー信号レベルをキャンセルまたは減衰することができ、出力される色差信号の色相（UとVの比）の変化を抑制することができ、疑似カラーを抑制することができる。

以上本実施例の構成によれば、等しい露光時間にて撮影された可視光信号と非可視光信号とを、１フレーム分の撮影手順のみで同時に取得することができる。即ち、可視光信号と非可視光信号とを個別に取得する必要がなく、撮影手順を単純化できる。

また、本実施例によると可視光信号と非可視光信号とを個別に取得する手順であれば、露光時間に時間差が生じ、蛍光灯やLEDなど高速に点滅(フリッカ)する光源下において画像間の照明光量に差が出る問題が発生するが、本実施例で説明した構成とすることで、等しい露光時間にて撮影された可視光信号と非可視光信号とを、１フレーム分の撮影手順のみで同時に取得できるため、この課題を解決することができる。したがって、フリッカのありなしに関わらず、可視光信号のみを正確に抽出して照明の色温度推定とホワイトバランス補正を行うことができる。

また、本実施例によると人間が色として認識できない非可視光信号に対してホワイトバランス補正を行わず、人間が色として認識する可視光信号に対してのみホワイトバランス補正を行うことで、疑似カラーなどを発生させない良好なホワイトバランス補正が可能となる。

また、本実施例によるとホワイトバランス補正後の可視光信号とホワイトバランス補正を行わない非可視光信号とを合成した画像を生成することができ、その出力フレームレートを、撮像素子１０２にて撮影するフレームレートと同一とすることができる。

また、本実施例によると照明光に含まれる可視光成分光と非可視成分光の比率によらず、可視光信号に対してホワイトバランス補正を行い良好な色再現とし、さらにホワイトバランス補正後の可視光信号と非可視光信号を合成した画像を取得することができる。即ち本実施例によれば、照明環境を規定する必要がなく、所定の照明を設置する必要がなく、フィールド上に存在する太陽光や蛍光灯やハロゲン光などその照明の違いにとらわれず、多くの環境下において良好なホワイトバランス補正を行いかつ非可視光の情報を重畳した画像を得ることができる。

尚、本実施例においては、最終出力信号として輝度信号と色差信号を出力するものとしたが、色情報を含んだ画像情報の形式であればよく、例えば輝度信号生成部１０９と色差信号生成部１１０に代えてRGB画像を生成し出力するRGB信号生成部を有する構成であってもよく、また輝度・彩度・色相の情報を生成し出力するHSV信号生成部を有する構成であってもよい。

図２は、本発明における撮像方法をプログラムによって実施する場合の一例を表すフローチャートである。
本プログラムは、撮像装置または画像を取得可能な情報処理装置が備える記憶媒体に記憶され、ＣＰＵ等の制御部がプログラムに従って演算を行うことで実施例１の撮像装置と同等の機能をソフトウェアで実現することができる。

撮影ステップ２０１では、被写体から照射された光を所定の波長成分に分光して撮影することのできる撮像素子を用いて１フレーム分の画像を取得する。
可視光信号・非可視光信号分離ステップ２０２では、撮影ステップ２０１にて撮影された画像から信号処理を施すことにより可視光成分に対応した画像信号（可視光信号）と非可視光成分に対応した画像信号（非可視光信号）に各々分離する。

光源色推定ステップ２０３では、可視光信号・非可視光信号分離ステップ２０２から出力された信号のうち可視光信号のみあるいは両方の信号分布を解析することによって被写体に照射されている照明光の色温度を推定する。
可視光信号白調整ステップ２０４では、光源色推定ステップ２０３から得られた色温度情報に基づいて可視光信号・非可視光信号分離ステップ２０２にて分離された信号のうち可視光信号に対してホワイトバランス補正を行う。

可視光信号・非可視光信号合成ステップ２０５では、可視光信号白調整ステップ２０４にてホワイトバランス補正がなされた可視光信号と可視光信号・非可視光信号分離ステップ２０２にて分離された非可視光信号との各々を合成する。
画像データ生成ステップ２０６では、可視光信号・非可視光信号合成ステップ２０５にて合成された画像からRGB画像やYUV画像などのカラー情報を有する画像データを生成する。

本実施例における撮影ステップ２０１にて撮影する１フレーム分の画像は、例えば図８に示すような配列の画像を取得するものであればよい。また、可視光・非可視光信号分離ステップ２０２は、実施例１におけるデモザイク処理部１０３及び可視光生成部１０４及び非可視光生成部１０５にて行われていた処理と同様の処理を行うことで、可視光信号と非可視光信号とを生成するものでよい。また、光源色推定ステップ２０３は、実施例１における光源色推定部１０６と同様の処理を行うことで、被写体に照射される照明の色温度を推定する方法でよい。また、可視光白調整ステップ２０４は、実施例１における白調整用ゲイン算出部１０７及び白調整部１０８において処理されるものと同様の処理を行うことで、可視光・非可視光信号分離ステップ２０２にて分離された信号のうち可視光信号に対してホワイトバランス補正を行うものであればよい。また、可視光信号・非可視光信号合成ステップ２０５は、実施例１における式(16)〜(18)と同様の演算処理を施すことにより信号を合成し1フレーム分の画像を得るものであればよい。また、画像データ生成ステップは、例えば実施例１における式(19)〜(21)と同様の演算処理を施すことによりYUVデータを生成するものであればよく、またRGB信号を各々マトリクス演算処理により取得する方法であればよく、さらには各々の画像信号を生成する過程において、トーンカーブ補正等の所定の信号処理を行うものであってもよい。

以上の構成によれば、例えば図１２に示すように、被写体から照射された可視光及び非可視光の各々を含んだ可視光＋非可視光画像１３０１を撮影手順１回で同時に取得し、可視光画像１３０２と非可視光画像１３０３の各々に演算処理にて分離した後、可視光画像に対してのみホワイトバランス補正を行うことで適正な色再現となるホワイトバランス後可視光画像１３０４を取得でき、さらにはホワイトバランス補正後可視光画像１３０４と非可視光画像１３０３とを合成することで、合成後画像１３０５を取得することができる。この時の合成後画像１３０５は、可視光のみに対してホワイトバランス補正処理を行うことで良好な色再現とすることができ、合成することによって出力の画像を１枚とすることができ出力のファイルサイズを削減することができる。また、可視光と非可視光を同時撮影することから、可視光画像と非可視光画像に時間ずれが生じず、被写体の動きや照明の変化などに左右されず良好な画像を取得することができる。
上記以外の構成および方法および効果に関しては、実施例１と同様である。

図３は、本発明における実施の形態の一例を表す図である。本実施例３における撮像装置は、実施例１の構成に対して、さらに、可視光信号生成部１０４から出力された可視光信号と非可視光信号生成部１０５から出力された非可視光信号の各々の比率を算出しその比率情報を出力する比率算出部３０１と、比率算出部３０１から出力された比率情報を基に白調整部１０８から出力されたホワイトバランス補正後の可視光信号及び非可視光信号生成部１０５から出力された非可視光信号及び色差信号生成部１１０から出力された色差信号の各々に対して利得調整を行うためのゲイン情報を算出し出力する画質調整パラメータ算出部３０２と、画質調整パラメータ算出部３０２から出力されたゲイン情報を基に白調整部１０８から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行う利得調整部（１）３０３と、画質調整パラメータ算出部３０２から出力されたゲイン情報を基に非可視光信号生成部１０５から出力された非可視光信号に対して利得調整を行う利得調整部（２）３０４と、画質調整パラメータ算出部３０２から出力されたゲイン情報を基に色差信号生成部１１０から出力された色差信号に対して利得調整を行う彩度変更部３０５と、を有する。

尚図３では、画質調整パラメータ算出部３０２から出力されたゲイン情報を基に白調整部１０８から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行うとしたが、可視光信号生成部１０４から出力された可視光信号に対して利得調整を行うものであってもよい。

本実施例における画質調整パラメータ算出部３０２は、例えば比率算出部３０１から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、可視光信号を増幅させるための利得を算出して利得調整部（１）３０３へ出力し、非可視光信号を減衰させるための利得を算出して利得調整部（２）３０４へ出力する。また例えば可視光信号が非可視光信号に対して多い場合、可視光信号を減衰させるための利得を算出して利得調整部（１）３０３へ出力し、非可視光を増幅させるための利得を算出して利得調整部（２）３０４へ出力してもよい。

利得情報を基に利得調整部（１）３０３と利得調整部（２）３０４が各々利得調整を行うことで、可視光信号と非可視光信号が所定の比率となるよう信号レベルを各々変更して画像合成部１１１にて合成することができる。即ち、可視光信号が十分に得られなかった被写体に対しては画像信号を増幅することで十分に感度を持たせ、非可視光信号が十分に得られなかった被写体に対しては画像信号を増幅することで十分に感度を持たせることができる。

また、本実施例における画質調整パラメータ算出部３０２は、例えば非可視光信号が可視光信号に対して極めて少ない場合、可視光信号レベルを保持するための利得を算出して利得調整部（１）３０３へ出力し、非可視光信号レベルを減衰させるための利得を算出して利得調整部（２）３０４へ出力することも可能である。この利得情報を基に利得調整部（１）３０３と利得調整部（２）３０４が各々利得調整を行うことで、非可視光信号レベルを減衰または削除して可視光信号と合成することができる。即ち、信号量が小さい非可視光信号はノイズ成分が支配的となっており、このノイズ成分の重畳を抑制することで、ノイズが少なく視認性の高い画像を合成することができる。

尚、比率算出部３０１は、画素単位で可視光信号と非可視光信号の比率を算出して出力する構成とすれば、簡素な処理で上記効果を得ることができる。また比率算出部３０１は、ガウシアンフィルタなどの帯域制限フィルタを可視光信号及び非可視光信号に対して画素単位で施した後比率を算出して出力する構成とすれば、細かいドット絵やノイズに影響されることなく、画面内に存在する被写体毎に、それぞれの被写体特有の波長ごとの反射率に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。また比率算出部３０１は、画面全体もしくは画面の全体の領域毎に重みづけを行った後、全体の比率を算出して出力する構成とすれば、取得した１フレームの画像内に写された被写体に対して照射されている照明の波長特性に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。また、画素単位の比率あるいは帯域制限フィルタを適用したあとの比率あるいは画面全体の比率を用いた利得調整方法のそれぞれについては、組み合わせて用いた場合であってもその各々の効果を同時に得ることができる。

また、本実施例における画質調整パラメータ算出部３０２は、例えば比率算出部３０１から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、彩度を強く（色を濃く）するための利得を算出して彩度変更部３０５へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が少ない場合において、彩度を強くすることにより、出力画像の色が薄くなってしまうという課題を解決することができる。

また、本実施例における画質調整パラメータ算出部３０２は、例えば比率算出部３０１から出力された可視光信号と非可視光信号との比率情報を入力し、例えば可視光信号が極めて信号量が小さい場合、彩度を弱く(色を薄く)するための利得を算出して彩度変更部３０５へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が極端に小さい場合、即ち有効な被写体の信号が得られずノイズ信号のみである場合に、カラーノイズを抑制することができる。
上記以外の構成および方法および効果に関しては、実施例１または２と同様である。

図４は、本発明における撮像方法をプログラムによって実施する場合の一例を表すフローチャートである。
本プログラムは、撮像装置または画像を取得可能な情報処理装置が備える記憶媒体に記憶され、ＣＰＵ等の制御部がプログラムに従って演算を行うことで実施例１の撮像装置と同等の機能をソフトウェアで実現することができる。

撮影ステップ４０１では、被写体から照射された光を所定の波長成分に分光して撮影することのできる撮像素子を用いて１フレーム分の画像を取得する。
可視光信号・非可視光信号分離ステップ４０２では、撮影ステップ４０１にて撮影された画像から信号処理を施すことにより可視光成分に対応した画像（可視光信号）と非可視光成分に対応した画像（非可視光信号）に各々分離する。

光源色推定ステップ４０３では、可視光信号・非可視光信号分離ステップ４０２から出力された信号のうち可視光信号のみあるいは両方の信号分布を解析することによって被写体に照射されている照明光の色温度を推定する。
可視光信号白調整ステップ４０４では、光源色推定ステップ４０３から得られた色温度情報に基づいて可視光信号・非可視光信号分離ステップ４０２にて分離された信号のうち可視光信号に対してホワイトバランス補正を行う。

可視光・非可視光比率算出ステップ４０５では、可視光信号・非可視光信号分離ステップ４０２で分離された可視光信号または可視光信号白調整ステップ４０４でホワイトバランス補正された可視光信号と可視光信号・非可視光信号分離ステップ４０２で分離された非可視光信号との比率を算出する。
可視光信号利得調整ステップ４０６では、可視光・非可視光比率算出ステップ４０５で算出された比率に基づいて可視光信号白調整ステップ４０４でホワイトバランス補正を行った後の可視光信号に対して利得調整を行う。

非可視光信号利得調整ステップ４０７では、同じく可視光・非可視光比率算出ステップ４０５で算出された比率に基づいて可視光信号・非可視光信号分離ステップ４０２で算出された非可視光信号に対して利得調整を行う。
可視光信号・非可視光信号合成ステップ４０８では、可視光信号利得調整ステップ４０６にて利得調整された後の可視光信号と可視光信号利得調整ステップ４０７にて利得調整された後の非可視光信号とを所定の比率で合成した信号を生成する。

画像データ生成ステップ４０９では、可視光信号・非可視光信号合成ステップ４０８にて合成された画像からRGB画像やYUV画像などのカラー情報を有する画像データを生成する。

本実施例における撮影ステップ４０１及び可視光信号・非可視光信号分離ステップ４０２及び光源色推定ステップ４０３及び可視光信号白調整ステップ４０４は、実施例２に記載のものと同様の処理であればよい。

以上の構成によれば、被写体から照射された可視光及び非可視光を撮影手順１回で同時に取得し、可視光成分と非可視光成分の各々に対応した信号に分離した後、可視光成分に対応した信号にのみホワイトバランス補正を行うことで適正な色再現となる可視光成分に対する画像信号を取得でき、さらにはホワイトバランス補正後の可視光成分に対する画像信号と非可視光成分に対する画像信号とを所定の比率に信号調整を行った合成画像を取得することができ、合成することにより１枚の画像とできることから出力のファイルサイズを削減することができる。

尚、可視光・非可視光比率算出ステップ４０５は、例えば画素単位で比率を算出し、可視光信号利得調整ステップ４０６及び非可視光信号利得調整ステップ４０７は画素単位の比率に基づいて同じく画素単位で利得調整を行うことで、簡素な処理で上記効果を得ることができる。また可視光・非可視光比率算出ステップ４０５は、例えばガウシアンフィルタなどの帯域制限フィルタを可視光信号及び非可視光信号に対して画素単位で施した後比率を算出し、可視光信号利得調整ステップ４０６及び非可視光信号利得調整ステップ４０７は画素単位の比率に基づいて同じく画素単位で利得調整を行うことで、細かいドット絵やノイズに影響されることなく、画面内に存在する被写体毎に、それぞれの被写体特有の波長ごとの反射率に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。

また可視光・非可視光比率算出ステップ４０５は、例えば画面全体もしくは画面の全体の領域毎に重みづけを行った後全体の比率を算出し、可視光信号利得調整ステップ４０６及び非可視光信号利得調整ステップ４０７は画素単位の比率に基づいて利得調整を行うことで、取得した１フレームの画像内に写された被写体に対して照射されている照明の波長特性に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。

尚、図４に記載はしていないが、可視光・非可視光比率算出ステップ４０５で算出された比率を基に、画像データ生成ステップ４０９で生成されたカラー画像の彩度を変更する彩度変更ステップを新たに設けることもできる。例えば可視光・非可視光比率算出ステップ４０５で算出された比率において、可視光信号が非可視光信号に対して少ない場合、彩度が強く（色を濃く）なるよう彩度変更する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が少ない場合において、彩度を強くすることができ、出力画像の色が薄くなってしまうという課題を解決することができる。

また例えば、可視光・非可視光比率算出ステップ４０５で算出された比率において、可視光信号が極めて信号量が小さい場合、彩度が弱く(色を薄く)なるよう彩度変更する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が極端に小さい場合、即ち有効な被写体の信号が得られずノイズ信号のみである場合に、カラーノイズを抑制することができる。
上記以外の構成および方法および効果に関しては、実施例１または２または３と同様である。

図５は、本発明における実施の形態の一例を表す図である。本実施例５における撮像装置は、実施例３の構成に対して、さらに光学フィルタ部５０１と、フィルタ駆動部５０２と、露光制御部５０３と、画質調整パラメータ算出部５０４と、を有する。

本実施例における光学フィルタ部５０１は、レンズ１０１を介して入射された被写体からの光に対して、所定の波長帯を遮断または減衰させる光学フィルタである。

フィルタ駆動部５０２は、レンズ１０１及び撮像素子１０２間の光路上に光学フィルタ部５０１を出し入れさせる機構である。

露光制御部５０３は、撮像素子１０２に設定されている露光時間や信号増幅ゲイン値と撮像素子１０２から出力された画像信号の信号レベルを基に、最適な露光状態とするための撮像素子１０２における露光時間や信号増幅ゲイン値などを算出して撮像素子１０２に対して設定を行う。また、露光制御部５０３は、撮像素子１０２に設定されている露光時間や信号増幅ゲイン値と撮像素子１０２から出力された画像信号の信号レベルを基に、フィルタ駆動部を制御することで光学フィルタ部５０１を出し入れし、光学フィルタ部５０１の出し入れ情報を画質調整パラメータ算出部５０４に対して出力する。

画質調整パラメータ算出部５０４は、露光制御部５０３から出力された光学フィルタ部５０１の出し入れ情報を基に、可視光信号の利得を制御するための利得情報を算出して利得調整部（１）３０３へ出力し、非可視光の信号の利得を制御するための利得情報を算出して利得調整部（２）３０４へ出力する。

上記構成において、光学フィルタ部５０１を、例えば可視光を透過し非可視光を遮断する光学フィルタとし、露光制御部５０３を、撮像素子１０２から得られた画像信号の信号レベルと撮像素子１０２へ設定している露光時間や信号増幅ゲイン値の情報を基に、撮像素子へ入射されている光量が十分か否かを判定し、光量が十分でない場合は光学フィルタ部５０１をレンズ１０１及び撮像素子１０２間の光路上から外し、光量が十分である場合には光学フィルタ部５０１をレンズ１０１及び撮像素子１０２間の光路上に挿入するものとした場合について説明する。

上記構成によれば、被写体からの光量が十分にあり感度が良好な撮影条件においてはレンズ１０１及び撮像素子１０２間の光路上に光学フィルタ部５０１を入れて可視光のみの画像を取得することができ、被写体からの光量が十分ではなく感度が不足している撮影条件においてはレンズ１０１及び撮像素子１０２間の光路上から光学フィルタ部５０１を出して非可視光を可視光と同時に取得することで感度を向上させることが可能となり、さらには各々すべての撮影条件において良好なカラー画像を得ることができる。

さらに上記構成に加えて、光量が多い場合には光学フィルタ部５０１をレンズ１０１及び撮像素子１０２間の光路上に挿入する撮影条件の際に、画質調整パラメータ算出部５０４は、非可視光信号生成部から出力される非可視光信号を０もしくは減衰させるための利得情報を算出し利得調整部（２）３０４に対して出力してもよい。光学フィルタ部５０１にて非可視光成分がカットされるため、非可視光信号生成部１０５の出力はノイズ信号のみであるため、これによりノイズ信号を０もしくは減衰させることができ、最終的な可視光・非可視光合成後の画像に重畳されるノイズをさらに抑制することができる。
上記以外の構成および方法および効果に関しては、実施例１または２または３または４と同様である。

図６は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、被写体からの可視光・非可視光を所定の焦点距離に結像させるレンズ１０１と、レンズ１０１によって結像された可視光・非可視光を各種色フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する撮像素子６０１と、撮像素子６０１からの画素信号に対してデモザイク処理を行うデモザイク処理部１０３と、デモザイク処理部１０３から出力された画素信号に対して演算処理を施すことにより可視光成分に対する画素信号（可視光信号）を抽出する可視光信号生成部１０４と、デモザイク処理部１０３から出力された画素信号に対して演算処理を施すことにより非可視光成分に対する画素信号（非可視光信号）を抽出する非可視光信号生成部１０５と、デモザイク処理部１０３からの複数の画素信号のうち最も感度の高い画素信号（図９に記載の撮像素子であればWIR画素信号）を抽出して出力する高感度画素信号抽出部６０２と、高感度画素信号抽出部６０２からの画素信号に対して飽和レベルを算出し飽和レベルと可視光信号生成部１０４からの画素信号に基づいて光源色を推定する飽和解析及び光源色推定部６０３と、飽和解析及び光源色推定部６０３の色温度推定結果に基づいて可視光信号生成部１０４の出力画素信号に対してホワイトバランス補正を行うための利得を算出する白調整用ゲイン算出部と、白調整用ゲイン算出部１０７からの利得情報に基づいて可視光信号生成部１０４から出力された画素信号に対してホワイトバランス補正を行う白調整部１０８と、白調整部１０８にてホワイトバランス補正が施された可視光信号と、非可視光信号生成部から出力された非可視光信号とを画像合成部１１１にて合成し、画像合成部１１１から出力された合成後の画素信号を用いて輝度信号を生成する輝度信号生成部１０９と、画像合成部１１１から出力された合成後の画素信号を用いて色差信号を生成する色差信号生成部１１０と、を有する。

図９は、本実施例における撮像素子６０１の画素配列である。また、図１１は、撮像素子６０１に配置されるR+IR(RIR)、G+IR(GIR)、B+IR(BIR)、R+G+B+IR(WIR)の４種類の色フィルタの分光感度特性の一例である。

RIRの色フィルタが配置された画素は可視光の赤(R)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、GIRの色フィルタが配置された画素は可視光の緑(G)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、BIRの色フィルタが配置された画素は可視光の青(B)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、WIRの色フィルタが配置された画素は可視光の赤(R)と緑(G)と青(B)と近赤外光(IR)の波長付近に感度を持つ。

可視光信号生成部１０４及び非可視光信号生成部１０５は、実施例１に記載のものと同等であるが、本実施例において用いた撮像素子６０１の画素配列に合わせ、下記マトリクス演算により可視光信号R,G,B及び非可視光信号IRを生成し出力する。
R＝αrr×RIR＋αrg×GIR＋αrb×BIR＋αrw×WIR・・・(22)
G＝αgr×RIR＋αgg×GIR＋αgb×BIR＋αgw×WIR・・・(23)
B＝αbr×RIR＋αbg×GIR＋αbb×BIR＋αbw×WIR・・・(24)
IR＝αir×RIR＋αig×GIR＋αib×BIR＋αiw×WIR・・・(25)
この時の各々のαは各信号に対する係数であり、例えばαの係数として、

を与えた場合、式(22)〜(25)は以下(27)〜(30)のようになる。

R＝(RIR-GIR-BIR+WIR)/2・・・(27)
G＝(-RIR+GIR-BIR+WIR)/2・・・(28)
B＝(-RIR-GIR+BIR+WIR)/2・・・(29)
IR＝(RIR+GIR+BIR-WIR)/2・・・(30)
図１１に示すように、RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とWIRに含まれる非可視光成分の量の各々が共に同等レベルであれば、式(27)から(30)に従い非可視光成分を含まない可視光成分R、G，Bのそれぞれの信号と、可視光成分を含まない非可視光成分IRの信号とに分離することができる。一方、RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とWIRに含まれる非可視光成分の量の各々が共に一致しない場合に関しては、式(26)のαの係数を適宜変更することで、非可視光成分の量を所定量減衰させた可視光成分R,G,Bの各信号と、可視光成分を所定量減衰させた非可視光成分IRとに分離することができる。

以上の構成によれば、等しい露光時間にて撮影された可視光成分に対応する画像信号と非可視光成分に対応する画像信号とを、１フレーム分の撮影手順のみで同時に取得することができる。さらには、撮像素子６０１の４つの色フィルタ配列のうち１つをWIRとしたことで、RGBベイヤ配列や図８で示した画素配列の撮像素子に対して、より多くの可視光成分の光を光電変換することが可能となり、感度向上が実現できる。

本実施例における高感度画素信号抽出部６０２は、デモザイク処理部１０３からのWIR画素を抽出して飽和解析及び光源色推定部６０３へ出力する。このとき、デモザイク処理部１０３からの信号のうちWIRに相当する画素信号を適宜選択しながら出力する構成であってもよい。飽和解析及び光源色推定部６０３は、まず初めに高感度画素信号抽出部６０２から得られたWIR画素信号の信号レベルを判定することで、画素が飽和しているか否かを判定する。判定結果が飽和している場合には、可視光信号を０ないしは重みを低くし、飽和していない場合は重みを１あるいは高くした後に、重み変更後の可視光信号に対して実施例１における光源色推定部１０６に記載のように光源色を推定する。

ここで、撮像素子６０１からの４つの色フィルタ配列毎の信号RIR,GIR,BIR,WIRについて、その感度特性が
RIR≦WIR ∧ GIR≦WIR ∧ BIR≦WIR・・・(31)
が成り立つとすれば、WIRの画素はほかの３つの画素に対して飽和しやすいと定義できる。

式(22)〜(25)において用いる画素信号が一つでも飽和信号となっていた場合、即ち少なくともWIRが飽和状態にある場合、R,G,B,IRの各信号を正確に抽出することができず、最終的な画像に偽色が発生すると推定できる。本実施例においては、この疑似カラーが発生するか否かの判定を、WIRを抽出し飽和判定を行い、飽和と判定された場合には偽色が発生するとして光源色推定に用いる可視光信号の重みづけを下げることができる。

即ち、本実施例の構成によれば、等しい露光時間にて撮影された可視光成分に対応する画像信号と非可視光成分に対応する画像信号とを１フレーム分の撮影手順のみで同時に取得し、は画素が飽和した際に発生する疑似カラーに影響されることなく光源色を正確に推定でき、取得した可視光信号に対して良好なホワイトバランス補正を適用することが可能となる。

尚上記高感度画素信号抽出部６０２は、WIRを抽出するものとして説明したが、例えば撮像素子の配列を図８としたときに、GIRを抽出するものであってもよく、またRIRとGIRとBIRとNIRの画素信号のうち最も信号レベルが高いものを選択して出力するものであってもよい。以上の構成によれば、撮像素子の配列によらず、同等の効果を得ることができる。
上記以外の構成および方法および効果に関しては、実施例１または２または３または４または５と同様である。

図７は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例１にて示した構成のうち、光源色推定部１０６を波長解析及び光源色推定部７０１としたものである。
波長解析及び光源色推定部７０１は、可視光信号生成部１０４からの可視光信号と、非可視光信号生成部１０５からの非可視光信号とを入力し、可視光信号の各々の信号と非可視光信号との波長分布を解析し、光源色を推定する。

以上の構成によれば、例えば非可視光信号をほとんど含まない蛍光灯やLEDの照明と、可視光成分の分布が似ているが近赤外光を含むハロゲン光やキセノン光などとの違いについて、より高精度に照明の違いを判定できる。また、可視光信号と非可視光信号を同一露光時間で取得し判定に用いているため、蛍光灯やLEDのフリッカ成分(時間の違いにより発生する輝度変化)に影響されることなく、正確な光源色の判定が可能となる。

また波長解析及び光源色推定部７０１は、可視光信号生成部１０４からの可視光信号と非可視光信号生成部１０５からの非可視光信号の各々を分析し、非可視光が存在ないもしくは所定のレベル以下である画素群１と、非可視光が存在するもしくは所定のレベル以上である画素群２とに分割し、画素群１及び画素群２の各々について個別に色温度を推定するものとしてもよい。

この場合、白調整用ゲイン算出部１０７は、波長解析及び光源色推定部７０１から得られた画素群１及び画素群２の２つの色温度推定結果のうち一つを選択（プリセットまたはユーザ選択）し、白調整を行うための利得を算出し出力する。以上の構成によれば、例えば蛍光灯と太陽光が混在しているシーンにおいて、蛍光灯が照射されている画像領域のみから色温度を推定し、蛍光灯に合わせてホワイトバランス処理を行うことができる。したがって、例えば非可視光信号をほとんど含まない蛍光灯やLEDの照明と、可視光成分の分布が似ているが近赤外光を含む光源とをより高精度に個別判定でき、いずれか片方の光源に合わせてより正確にホワイトバランス補正を行うことができる。

上記以外の構成および方法および効果に関しては、実施例１または２または３または４または５または６と同様である。

図１３は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例１にて説明した構成に加え、実施例５で説明した光学フィルタ部５０１とフィルタ駆動部５０２と露光制御部５０３を有し、新たに可視光・非可視光信号比率算出部１３１０と制御部１３１１を有する。

可視光・非可視光信号比率算出部１３１０は、可視光信号生成部１０４から出力された可視光信号と、非可視光信号生成部１０５から出力された非可視光信号とを入力し、可視光信号と非可視光信号の比率を算出し出力するものである。可視光・非可視光信号比率算出部１３１０にて算出し出力する可視光信号と非可視光信号の比率は、画像の画面全体あるいは一部分に対応する比率を表すものとし、例えば可視光信号と非可視光信号の各々を所定期間にわたり積算し、該積算した可視光信号と同じく積算した非可視光信号との比率を算出する方法などがある。

制御部１３１１は、露光制御部５０３から得られる露光条件と可視光・非可視光信号比率算出部１３１０から入力した可視光信号と非可視光信号との比率を基に被写体撮影環境下にて照射される照明の種類を推定し、照明の種類の推定結果に応じてフィルタ駆動部５０２を介して光学フィルタ部５０１の入出力を制御し、また照明の種類の推定結果に応じて彩度変更部３０５を制御することで出力画像の色の濃さあるいは白黒画像出力とカラー画像出力との切り替えを行い、また照明の種類の推定結果に応じて露光制御部５０３を介して撮像素子１０２における撮影条件を制御するものである。

制御部１３１１における照明の種類の推定方法は例えば、撮像素子１０２のシャッタ時間と信号ゲイン情報及び可視光・非可視光信号比率算出部１３１０から出力される可視光信号と非可視光信号との比率に対応する照明の種類をあらかじめテーブルとして保持し、露光制御部５０３から撮像素子１０２に設定されているシャッタ時間情報と信号増幅ゲイン情報を基に、前記あらかじめ保持しておいたテーブルを用いて照明の照度情報に変換し、また可視光・非可視光信号比率算出部１３１０から入力した可視光信号と非可視光信号との比率を基に、前記あらかじめ保持しておいたテーブルを用いて照明の波長分布情報に変換し、照明の照度情報及び照明の波長分布情報を基に照明の種類を推定する方法であればよい。これにより例えば、非可視光信号の信号比率が所定レベルより高く且つ所定レベルより高速シャッタで且つ所定レベルより低ゲインで撮影されている場合、照度が高く且つ非可視光の信号が多く含まれる太陽光であるなど、被写体に照射されている照明の種類を高精度に推定することができる。尚、テーブルを用いて照明の波長分布情報や照度情報に変換するとしたが、所定の関数式を用いて変換する方式でも良い。

上記構成において、光学フィルタ部５０１を例えば可視光を透過し非可視光を減衰または遮断する光学フィルタとし、制御部１３１１における照明の種類の推定が可視光信号の比率が非可視光信号の比率に対して高い照明であると推定された場合に、光学フィルタ部５０１をレンズ１０１及び撮像素子１０２間の光路上から外すものとし、制御部１３１１における照明の種類の推定が可視光信号の比率が非可視光信号の比率に対して低い照明であると推定された場合に、光学フィルタ部５０１をレンズ１０１及び撮像素子１０２間の光路上に挿入するものとする。この構成によれば、撮像素子１０２から得られる画像信号における可視光信号の比率が高く、カラー情報のダイナミックレンジが十分に取れる場合には、光学フィルタ部５０１による非可視光を減衰または遮断せず、可視光によるカラー情報と非可視光の情報が重畳された画像を取得することができる。また、撮像素子１０２から得られる画像信号における可視光信号の比率が低く、カラー情報のダイナミックレンジが十分に取れない場合には、光学フィルタ部５０１により非可視光の波長を減衰または遮断することで撮像素子１０２から出力される画像信号に重畳される可視光信号成分のダイナミックレンジを広くし、良好なカラー情報を有する画像を取得することができる。つまり、この構成によれば、照明の種類によらず撮像素子１０２から出力される画像信号に重畳される可視光と非可視光成分の各々のダイナミックレンジを適正に保つことが可能となる。

この構成においてさらに、制御部１３１１は、照明の照度が低く且つ可視光信号の比率が非可視光信号に対して低い場合に、カラー情報が十分得られない条件であるとして彩度変更部３０５における色の濃さを薄くするあるいは白黒画像化する制御を行うものとする。この構成によれば、撮像素子１０２から得られる画像信号における可視光信号が少ない場合に、色情報を少なくするあるいは白黒画像化することで、色ノイズの少ない画像を出力することができる。

以上の本実施例の構成では、被写体へ照射される照明の種類をより高精度に推定することができ、さらには通常の可視光画像に対して非可視光画像を合成するか否かを照明の種類の推定結果に基づいて変更することができる。

尚、上記構成において可視光・非可視光信号比率算出部１３１０にて所定期間信号を積算するものとしたが、可視光信号と非可視光信号の比率を画素単位で個別に算出し、所定期間の積算は制御部１３１１にて行う方法であってもよい。

また、上記構成において、可視光・非可視光信号比率算出部１３１０により可視光信号と非可視光信号の比率を算出するとしたが、撮像素子１０２から出力される画像信号から照明の波長分布を推定できる情報を取得できる構成であればよい。

また、上記構成において光学フィルタ部５０１をレンズ１０１と撮像素子１０２の光路上に出し入れするとしたが、挿入する比率をリニアに制御する方法であってもよい。この構成であれば、照明の種類によらず撮像素子１０２から出力される画像信号に重畳される可視光と非可視光成分の各々のダイナミックレンジを常に一定に保つことが可能となる。

また、上記構成において可視光・非可視光信号比率算出部１３１０により可視光信号と非可視光信号の比率を算出するとしたが、例えば可視光・非可視光信号比率算出部１３１０を可視光信号算出部１３１０と置き換えて、可視光信号算出部１３１０が非可視光信号の信号量を積算せず、可視光信号のみを所定期間積算し、該可視光信号の積算結果の大小に応じて制御部１３１１はフィルタ駆動部５０２を介して光学フィルタ部５０１の入出力を制御する構成であってもよい。この構成によれば、撮像素子１０２から出力される画像信号に重畳される非可視光成分の比率によらず可視光信号のみを用いて制御部１３１１にて光学フィルタ部５０１を制御することができる。即ち、光学フィルタ部５０１の入出力に伴う非可視光信号の信号成分の増減の影響を受けることがなく、制御部１３１１による処理量を低減することができる。

また、上記構成において可視光・非可視光信号比率算出部１３１０により可視光信号と非可視光信号の比率を算出するとしたが、例えば図１４に示すように、可視光に対応する波長の光に反応し、その光量を信号に変換して出力する可視光量計測センサ部１４０１と、非可視光に対応する波長の光に反応し、その光量を信号に変換して出力する非可視光量計測センサ部１４０２を新たに有し、可視光・非可視光信号比率算出部１３１０は、可視光量計測センサ部１４０１からの信号と非可視光量計測センサ部１４０２からの信号との比率を算出するものとし、その比率情報を制御部１３１１へ出力する構成としてもよい。この構成であれば、光学フィルタ部５０１の入出力による信号量変化の影響を受けることなく、制御部１３１１による処理量を低減することができる。

また、上記構成において光学フィルタ部５０１及びフィルタ駆動部５０２をひとつずつ設けたが、複数のペアで構成し、制御する方法であっても良い。例えば図１５に示すように、波長透過特性の異なる光学フィルタ部１５０１及び光学フィルタ部１５０２と、各々の光学フィルタを駆動するためのフィルタ駆動部１５０４とフィルタ駆動部１５０５を新たに有し、制御部１３１１は、可視光・非可視光信号比率算出部１３１０及び露光制御部１５０３からの情報を基に被写体へ照射される照明の種類を推定し、その結果に基づいて光学フィルタ部１５０１と光学フィルタ部１５０２のいずれかまたは両方について入出力を制御する方法であればよい。この構成であれば、被写体に照射される照明の種類に応じて所定の波長帯を減衰あるいは遮断した後の可視光及び非可視光の合成画像を取得することができ、良好なカラー情報を持つ画像に対して所定の非可視光の情報が重畳された画像を取得することが可能となる。

また、上記構成において、出力する可視光と非可視光合成画像における可視光成分と非可視光成分の比率情報または非可視光が含まれるか否かまたは可視光が含まれるか否かの情報を、画像のメタデータあるいは並列して出力する信号線を有する構成（図示せず）であってもよい。この構成であれば、画像に重畳される可視光と非可視光の比率に応じて人物認識や顔認識などの画像認識のアルゴリズムまたは閾値等の検出パラメータを切り替えることができ、前記光学フィルタの出し入れ状況によらず高精度に画像認識ができるシステムを提供することができる。
上記以外の構成および方法および効果に関しては、実施例１〜７と同様である。

尚本発明においては、上記実施例における構成要素の各々について、その一部またはすべてをハードウェア化した撮像装置として提供することができ、またその一部またはすべてをソフトウェアプログラムにより構成した撮像方法を提供することができる。

１０１・・・レンズ、１０２・・・撮像素子、１０３・・・デモザイク処理部、１０４・・・可視光信号生成部、１０５・・・非可視光信号生成部、１０６・・・光源色推定部、１０７・・・白調整用ゲイン算出部、１０８・・・白調整部、１０９・・・輝度信号生成部、１１０・・・色差信号生成部、１１１・・・画像合成部、２０１・・・撮影ステップ、２０２・・・可視光信号・非可視光信号分離ステップ、２０３・・・光源色推定ステップ、２０４・・・可視光信号白調整ステップ、２０５・・・可視光信号・非可視光信号合成ステップ、２０６・・・画像データ生成ステップ、３０１・・・比率算出部、３０２・・・画質調整パラメータ算出部、３０３・・・利得調整部（１）、３０４・・・利得調整部（２）、４０１・・・撮影ステップ、４０２・・・可視光信号・非可視光信号分離ステップ、４０３・・・光源色推定ステップ、４０４・・・可視光信号白調整ステップ、４０５・・・可視光・非可視光比率算出ステップ、４０６・・・可視光信号利得調整ステップ、４０７・・・非可視光信号利得調整ステップ、４０８・・・可視光信号・非可視光信号合成ステップ、４０９・・・画像データ生成ステップ、５０１・・・光学フィルタ部、５０２・・・フィルタ駆動部、５０３・・・露光制御部、５０４・・・画質調整パラメータ算出部、６０１・・・撮像素子、６０２・・・高感度画素信号抽出部、６０３・・・飽和解析及び光源色推定部、７０１・・・波長解析及び光源色推定部、１３０１・・・可視光＋非可視光画像、１３０２・・・可視光画像、１３０３・・・非可視光画像、１３０４・・・ホワイトバランス後可視光画像、１３０５・・・合成後画像、１３１０・・・可視光・非可視光信号比率算出部、１３１１・・・制御部、１４０１・・・可視光量計測センサ部、１４０２・・・非可視光量計測センサ部、１５０１・・・光学フィルタ部１、１５０２・・・光学フィルタ部２、１５０４・・・フィルタ駆動部１、１５０５・・・フィルタ駆動部２

Claims (12)

1. 可視光及び非可視光を含む光を光電変換し画素信号として出力する撮像素子と、
   該撮像素子からの画素信号から可視光信号を抽出し出力する可視光信号生成部と、
   該可視光信号生成部からの可視光信号から光源の色温度を推定しその結果を出力する光源色推定部と、
   該光源色推定部からの推定結果に応じて前記可視光信号生成部からの可視光信号にホワイトバランス補正を行い出力する白調整部と、
   前記撮像素子からの信号から非可視光信号を抽出し出力する非可視光信号生成部と、
   前記白調整部にてホワイトバランス補正が行われた可視光信号と前記非可視光信号生成部からの非可視光信号とを合成して出力する画像合成部と、
   を有する撮像装置。
2. 請求項１に記載の撮像装置において、
   前記可視光信号と前記非可視光信号との比率を算出し出力する比率算出部と、
   前記可視光信号と非可視光信号との比率に基づいて前記可視光信号に利得調整を行うための第一の利得情報と前記非可視光信号に利得調整を行うための第二の利得情報を個別に算出し出力する画質調整パラメータ算出部と、
   前記画質調整パラメータ算出部から出力された第一の利得情報を用いて前記可視光信号から出力された可視光信号または前記白調整部から出力されたホワイトバランス補正後の可視光信号に利得調整を行う第一の利得調整部と、
   前記画質調整パラメータ算出部から出力された第二の利得情報を用いて前記非可視光信号生成部から出力された非可視光信号に利得調整を行う第二の利得調整部と、
   を有する撮像装置。
3. 請求項１に記載の撮像装置において、
   前記可視光信号と前記非可視光信号との比率を算出し出力する比率算出部と、
   前記可視光信号と非可視光信号との比率に基づいて前記画像合成部から出力される画像信号の彩度を変更するための第三の利得情報を算出し出力する画質調整パラメータ算出部と、
   前記画質調整パラメータ算出部から出力された第三の利得情報を用いて前記画像合成部から出力された画像の彩度を変更する彩度変更部と、
   を有する撮像装置。
4. 請求項１に記載の撮像装置において、
   前記撮像素子へ照射される光のうち所定の波長帯域をカットする光学フィルタを移動させることで光路上に出し入れするためのフィルタ駆動部と、
   前記撮像素子からの画素信号レベルと前記撮像素子において設定されている露光条件の設定に基づいて、前記撮像素子の露光条件の設定を変更し且つ前記フィルタ駆動部を制御することで前記光学フィルタの出し入れを制御する露光制御部と、
   前記光学フィルタの出し入れの状態に基づいて前記可視光信号に利得調整を行うための第一の利得情報と前記非可視光信号に利得調整を行うための第二の利得情報を個別に算出し出力する画質調整パラメータ算出部と、
   前記画質調整パラメータ算出部から出力された第一の利得情報を用いて前記可視光信号から出力された可視光信号または前記白調整部から出力されたホワイトバランス補正後の可視光信号に利得調整を行う第一の利得調整部と、
   前記画質調整パラメータ算出部から出力された第二の利得情報を用いて前記非可視光信号生成部から出力された非可視光信号に利得調整を行う第二の利得調整部と、
   を有する撮像装置。
5. 請求項１に記載の撮像装置において、
   前記撮像素子に画素単位で配列された複数の透過特性を持ったフィルタを介して光電変換された画素信号のうち、最も透過率の高いフィルタを介して光電変換された画素信号を抽出する信号抽出部と、
   前記抽出された画素信号の信号レベルが所定のレベルより高いか低いかに応じて前記可視光信号に対する重みづけを行い、前記重みづけ後の可視光信号から光源色を推定する光源色推定部と、
   前記光源色推定部により推定された結果に基づいて前記可視光信号生成部からの可視光信号にホワイトバランス補正を行い出力する白調整部と、
   を有する撮像装置。
6. 請求項１に記載の撮像装置において、
   前記撮像素子に画素単位で配列された複数の透過特性を持ったフィルタを介して光電変換された画素信号のうち、所定の画像領域において最も信号レベルの高い画素信号を抽出する信号抽出部と、
   前記抽出された画素信号の信号レベルが所定のレベルより高いか低いかに応じて前記可視光信号に対する重みづけを行い、前記重みづけ後の可視光信号から光源色を推定する光源色推定部と、
   前記光源色推定部により推定された結果に基づいて前記可視光信号生成部からの可視光信号にホワイトバランス補正を行い出力する白調整部と、
   を有する撮像装置。
7. 請求項１に記載の撮像装置において、
   前記光源色推定部は、前記可視光信号生成部からの可視光信号の信号分布と前記非可視光信号生成部からの非可視光信号の信号分布とに基づいて被写体に照射された光源の色温度及びその種類を推定し、その推定結果を出力すること、
   を特徴とする撮像装置。
8. 可視光および非可視光を含む光を光電変換し画像信号として出力する撮影ステップと、
   前記撮影ステップで出力された画像信号を可視光信号と非可視光信号に分離する可視光信号・非可視光信号分離ステップと、
   前記可視光信号のみあるいは前記可視光信号と非可視光信号の信号分布に基づいて被写体に照射されている照明光の色温度を推定する光源色推定ステップと、
   該光源色推定ステップで推定された色温度情報に基づいて前記可視光信号にホワイトバランス補正を行う可視光信号白調整ステップと、
   前記可視光信号白調整ステップにてホワイトバランス補正がなされた可視光信号と前記可視光信号・非可視光信号分離ステップで分離された非可視光信号とを合成する可視光信号・非可視光信号合成ステップと、
   を有する撮像方法。
9. 可視光及び非可視光を含む光を所定の波長成分に分光して撮影することのできる撮像素子を用いて画像信号として出力する撮影ステップと、
   前記撮影ステップからの画像信号から可視光信号と非可視光信号に分離する可視光信号・非可視光信号分離ステップと、
   前記可視光信号のみあるいは前記可視光信号と非可視光信号の信号分布に基づいて被写体に照射されている照明光の色温度を推定する光源色推定ステップと、
   該光源色推定ステップで推定された色温度情報に基づいて前記可視光信号にホワイトバランス補正を行う可視光信号白調整ステップと、
   前記可視光信号・非可視光信号分離ステップで分離された可視光信号または前記可視光信号白調整ステップでホワイトバランス補正された可視光信号と前記可視光信号・非可視光信号分離ステップで分離された非可視光信号との比率を算出する可視光・非可視光比率算出ステップと、
   該可視光・非可視光比率算出ステップで算出された比率に基づいて前記可視光信号白調整ステップでホワイトバランス補正を行った後の可視光信号に利得調整を行う可視光信号利得調整ステップと、
   前記可視光・非可視光比率算出ステップで算出された比率に基づいて前記可視光信号・非可視光信号分離ステップで算出された非可視光信号に利得調整を行う非可視光信号利得調整ステップと、
   前記可視光信号利得調整ステップにて利得調整された後の可視光信号と前記可視光信号利得調整ステップにて利得調整された後の非可視光信号とを所定の比率で合成した信号を生成する可視光信号・非可視光信号合成ステップと、
   を有する撮像方法。
10. 請求項１に記載の撮像装置において、
    前記撮像素子へ照射される光のうち所定の波長帯域をカットする光学フィルタ部を移動させることで光路上に出し入れするためのフィルタ駆動部と、
    前記撮像素子からの画素信号レベルに基づいて、前記撮像素子の露光条件の設定を変更する露光制御部と、
    可視光信号と非可視光信号との比率を算出する可視光・非可視光信号比率算出部と、
    前記可視光・非可視光比率算出部にて算出された比率と、前記露光制御部で設定された露光条件と、を基に被写体に照射される照明の種類を推定し、照明の種類の推定結果に基づいて前記フィルタ駆動部を制御することで前記光学フィルタを移動させる制御部と、
    を有することを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置において、
    前記光学フィルタ部は非可視光を減衰または遮断する光学フィルタを含んでおり、
    可視光信号の比率が非可視光信号の比率に対して予め定めたレベル以下である場合に前記光学フィルタ部を光路上へ挿入するよう制御すること、
    を特徴とする撮像装置。
12. 請求項８または９に記載の撮像方法において、可視光信号と非可視光信号の比率を算出する可視光・非可視光比率算出ステップと、
    前記可視光・非可視光比率算出ステップで算出した比率に応じて前記撮像素子の波長感度特性を所定の波長透過特性を持つ光学フィルタで変更するステップと、
    を有する撮像方法。

Images