JP2007202108A

JP2007202108A - 撮像装置

Info

Publication number: JP2007202108A
Application number: JP2006300695A
Authority: JP
Inventors: Kazuhiro Suzuki; 和博鈴木; Yoshifumi Kato; 桂史加藤
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2005-12-27
Filing date: 2006-11-06
Publication date: 2007-08-09
Anticipated expiration: 2026-11-06
Also published as: JP4420917B2

Abstract

【課題】色再現性のよいカラー画像と感度の高いモノクロ画像との切り替えを滑らかに行うことの可能な撮像装置を提供する。
【解決手段】撮像素子１０には、可視光と赤外線の両方を透過する可視光フィルタが備えられた画素と、赤外線を透過する赤外線フィルタが備えられた画素とを含んでおり、減算部１４は、可視光フィルタを備えた画素より出力された信号から赤外線フィルタを備えた画素より出力された信号に係数を乗じたものを減算する。また、赤外線除去割合決定部１６は、可視光フィルタを備えた画素より出力された信号の大きさと赤外線フィルタを備えた画素より出力された信号の大きさとの比率に基づいて、前記減算部において赤外線フィルタを備えた画素より出力された信号に乗ずる係数を決定する。
【選択図】図１

Description

本発明は、カラー画像とモノクロ画像を撮像可能な撮像装置に関する。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）センサといった撮像素子は、一般的に可視光だけでなく赤外線にも感度を持つ。このような撮像素子にて良好な色再現性を実現したカラー画像を得るためには、赤外線成分を除去する必要がある。一方、暗い環境下で撮像した場合、赤外線成分をも取り込んで輝度成分を得ることにより、高感度なモノクロ画像を実現することが求められる。

特許文献１には、撮像素子と赤外線受光素子とを備え、撮像素子の出力信号（すなわち可視光成分と赤外線成分の和）から赤外線受光素子の出力信号（すなわち赤外線成分）を減算し、減算結果が一定の閾値未満である場合は、減算処理にかえて、固体撮像素子からの出力信号に対し色抑圧を行うことにより、赤外線成分を含む出力信号から輝度成分を抽出する方法が開示されている。これにより、明るい環境下で撮像した場合は、良好な色再現性を再現するカラー画像をことができ、暗い環境下では、高感度なモノクロ画像を撮像することが可能となる。
特開平６−１０５３１９号公報

しかしながら、特許文献１に開示された方法によれば、カラー画像とモノクロ画像の切り替えが一瞬にして行われるため、撮像している者にとって違和感が生じてしまうといった問題がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、色再現性のよいカラー画像と感度の高いモノクロ画像との切り替えを滑らかに行うことの可能な撮像装置を提供することである。

本発明のある態様は、撮像装置に関する。この装置は、可視光と赤外線の両方を受光する第１の画素と、赤外線を受光する第２の画素と、前記第１の画素より出力された信号から前記第２の画素より出力された信号に係数を乗じた信号を減算する減算部と、前記第１の画素より出力された信号の大きさと前記第２の画素より出力された信号の大きさとの比率に基づいて、前記減算部において前記第２の画素より出力された信号に乗ずる係数を決定する決定部と、を具備する。

この態様によれば、可視光成分と赤外線成分とを含んだ信号から赤外線成分を除去する際、可視光成分と赤外線成分とを含んだ信号の大きさに対する赤外線成分の大きさの比率に応じて、赤外線成分を減算する割合を決定する。例えば、赤外線成分の比率が十分に小さい場合は、赤外線成分をそのまま減算し、赤外線成分の比率が大きくなるにつれ、赤外線成分を減算する割合を徐々に小さくする。そして、赤外線成分の比率が十分に大きい場合は、赤外線成分を減算しない。

これにより、赤外線成分の比率が十分に小さいときは、赤外線成分を確実に除去できるので、色再現性のよいカラー画像を得ることができ、また赤外線成分の比率が十分大きいときは、各画素に含まれる赤外線成分を利用して感度の高いモノクロ画像を得ることができる。加えて、赤外線の比率の大きさに応じて、赤外線成分を減算する割合が徐々に変化するので、カラー画像とモノクロ画像との切り替えを滑らかに行うことが可能となる。

この態様において、前記決定部は、更に撮像時の照度に基づいて、前記第２の画素より出力された信号に乗ずる係数を決定してもよい。これにより、明るい環境下で撮像した場合に、赤外線成分の比率が大きい場合であっても、赤外線成分を多く除去するように係数を決定すれば、色再現性のよいカラー画像を得ることができる。

また、この態様において、前記減算部は、前記減算部は、輝度成分用と色成分用で別個に前記第１の画素より出力された信号から前記第２の画素より出力された信号に係数を乗じた信号を減算してもよい。これにより、輝度成分については係数の値を小さく設定することにより、可視光フィルタを透過した赤外線成分を活かすことで感度を高くすることができ、色成分については係数の値を大きく設定することにより、できる限り赤外線成分を除去することで、良好な色再現性を実現することができる。

また、この態様において、前記決定部は、前記第１の画素の分光特性と前記第２の画素の分光特性との違いを補正するための別の係数を決定し、前記減算部は、前記第２の画素より出力された信号に前記別の係数をさらに乗じた信号を前記第１の画素より出力された信号から減算してもよい。これにより、第１の画素と第２の画素で分光特性が異なる場合であっても、第１の画素より出力された信号に含まれる赤外線成分を的確に予測することができ、色再現性をさらに向上させることができる。

また、この態様において、前記第１の画素と前記第２の撮像素子は、同一の撮像素子に形成されていてもよい。これにより、撮像素子を１つ備えればよく、また赤外線成分を取り出すための光学素子も不要になることから、撮像装置の小型化をはかることができる。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、色再現性のよいカラー画像と感度の高いモノクロ画像との切り替えを滑らかに行うことの可能な撮像装置を得ることができる。

以下、本発明を実施するための最良の形態について説明する。

図１は、本発明の実施の形態に係る撮像装置１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像装置１００は、撮像素子１０、アナログ／デジタル変換部１２、減算部１４、赤外線除去割合決定部１６、信号処理部１８を備えている。被写体からの光は撮像素子１０に入射される。

撮像素子１０は、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどによって構成されたもので、マトリクス状に配置されたフォトダイオードを備えており、各々のフォトダイオードによって画素が構成される。

また、撮像素子１０は画素毎に異なる色のフィルタを備えており、この色フィルタによって色分解を行う。撮像素子１０に備えられた色フィルタは可視光及び赤外線を透過する可視光フィルタと、主として赤外線を透過する赤外線フィルタとを含む。さらに、可視光フィルタは、透過する色に対応して、赤色フィルタ、緑色フィルタ、及び青色フィルタに分類される。

図２は、撮像素子１０が備えた色フィルタの配列を示した図である。撮像素子１０の画素２０には緑色光を透過する緑色フィルタが、画素２２には赤色光を透過する赤色フィルタが、画素２４には青色光を透過する青色フィルタが配置されている。これら緑色フィルタ、赤色フィルタ、青色フィルタは、赤外線も透過する特性を持っている。また、画素２６には主として赤外線を透過する赤外線フィルタが配置されている。そして、これら緑色フィルタ、赤色フィルタ、青色フィルタ、及び赤外線フィルタは、縦２画素、横２画素単位で繰り返し配列されている。

撮像素子１０は、画素毎に対応した色フィルタを透過した光をその強度に応じた電気信号に変換し、これを画像信号として１画素ずつ順番に出力する。すなわち、画素２０から出力される画像信号は緑色光及び赤外線の成分を合わせた大きさとなり、画素２２から出力された画像信号は赤色光及び赤外線の成分を合わせた大きさとなる。また、画素２４から出力された画像信号は青色光及び赤外線の成分を合わせた大きさとなる。一方、画素２６から出力された画像信号は、赤外線の成分に応じた大きさとなる。

アナログ／デジタル変換部１２は、撮像素子１０から出力された画像信号を、例えば１０ビットのデジタル信号に変換する。変換後のデジタル信号は、減算部１４及び赤外線除去割合決定部１６に入力される。

減算部１４は、撮像素子１０の画素２０、２２、及び２４より出力された画像信号、すなわち緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、青色光成分＋赤外線成分（Ｂ_＋ＩＲ）から、画素２６より出力され画像信号である赤外線成分ＩＲを除去する。このとき、画素２６より出力された赤外線成分ＩＲをそのまま減算するのではなく、赤外線成分ＩＲに係数Ｋ（０≦Ｋ≦１）を乗じた値を減算する。すなわち、減算部１４は、赤色光成分Ｒ、緑色光成分Ｇ、及び青色光成分Ｂを以下の式によって算出する。

Ｒ＝Ｒ_＋ＩＲ−Ｋ・ＩＲ・・・（１）
Ｇ＝Ｇ_＋ＩＲ−Ｋ・ＩＲ・・・（２）
Ｂ＝Ｂ_＋ＩＲ−Ｋ・ＩＲ・・・（３）
赤外線除去割合決定部１６は、減算部１４で赤外線成分を除去する際に、赤外線成分ＩＲに乗ずる係数Ｋの値を決定する。この係数Ｋは、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、或いは青色光成分＋赤外線成分（Ｂ_＋ＩＲ）と赤外線成分ＩＲとの比率によって求められる。

この場合、式（１）に用いるＫは赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）と赤外線成分ＩＲとの比率から求め、式（２）に用いるＫは緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）と赤外線成分ＩＲとの比率から求め、式（３）に用いるＫは青色光成分＋赤外線成分（Ｂ_＋ＩＲ）と赤外線成分ＩＲとの比率から求めるようにしてもよい。或いは、式（１）〜（３）に用いるＫを赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、もしくは青色光成分＋赤外線成分（Ｂ_＋ＩＲ）のいずれか１つと赤外線成分ＩＲとの比率によって求めるようにしてもよい。

赤外線除去割合決定部１６は、赤外線成分ＩＲの比率が十分に小さい場合にＫの値を１に決定する。これにより、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、青色光成分＋赤外線成分（Ｂ_＋ＩＲ）から、赤外線成分ＩＲを十分に除去することができるので、色再現性の良好なカラー画像を得ることができる。

一方、赤外線成分ＩＲの比率が十分に大きい場合、赤外線除去割合決定部１６はＫの値を０に決定する。このとき、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、青色光成分＋赤外線成分（Ｂ_＋ＩＲ）に含まれる各可視光成分はほぼ０であるため、Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲは赤外線成分が支配的である。したがって、減算部１４においてＫの値を０とし、式（１）〜（３）でＲ、Ｇ、Ｂの値を求めれば、これらの値もほぼ赤外線成分の大きさと見なすことができる。これにより、赤外線成分の大きさを活かした感度の高いモノクロ画像を得ることができる。なお、上述した様々な比率と、設定される係数Ｋとの対応関係は、設計者が実験やシミュレーションにより決定することができる。

また、赤外線成分ＩＲの比率が十分大きくはないものの、多めに含まれている場合は、その比率が多くなるにつれて、Ｋの値が１から０に近づくように設定する。これにより、カラー画像とモノクロ画像との切り替えが滑らかに行える。

減算部１４から出力された信号は、信号処理部１８で輝度信号及び色信号の抽出や、様々な画像処理が施され、信号処理部１８で得られた信号は、図示しない表示装置や画像圧縮装置などに送られる。

斯かる構成に基づき、図１に示した撮像装置１００の動作を以下に説明する。
撮像素子１０に入力された光は、図２に示した色フィルタによって画素毎に赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、青色光成分＋赤外線成分（Ｂ_＋ＩＲ）、及び赤外線成分ＩＲに色分解され、電気信号に変換される。この電気信号は、撮像素子１０から１画素ずつ画像信号として出力され、アナログ／デジタル変換部１２によってデジタル信号に変換される。

アナログ／デジタル変換部１２でデジタル信号に変換された画像信号は、減算部１４と赤外線除去割合決定部１６に入力される。赤外線除去割合決定部１６は、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、若しくは青色光成分＋赤外線成分（Ｂ_＋ＩＲ）と、赤外線成分ＩＲとの比率から、式（１）〜（３）の係数Ｋを決定する。すなわち、赤外線成分ＩＲの比率が十分に小さい場合はＫを１に設定し、赤外線成分ＩＲの比率が大きくなるにつれて、Ｋの値を１から０に近い値に設定する。そして、赤外線成分ＩＲの比率が十分大きい場合はＫを０に設定する。

赤外線除去割合決定部１６で設定された係数Ｋの値は、減算部１４に伝達される。そして、減算部１４は式（１）〜（３）にしたがい、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、及び青色光成分＋赤外線成分（Ｂ_＋ＩＲ）から、赤外線成分ＩＲに係数Ｋを乗じた値を減算する。

信号処理部１８は、減算部１４の出力信号に基づき、各種画像処理を施して、外部に出力する。

以上、本実施の形態に係る撮像装置によれば、撮像素子で撮像された可視光成分と赤外線成分とを含んだ画像信号から赤外線成分を除去する際、可視光成分と赤外線成分とを含んだ画像信号の大きさに対する赤外線成分の大きさの比率に応じて、赤外線成分を減算する割合を決定する。すなわち、赤外線成分の比率が十分に小さい場合は、赤外線成分をそのまま減算し、赤外線成分の比率が大きくなるにつれ、赤外線成分を減算する割合を徐々に小さくする。そして、赤外線成分の比率が十分に大きい場合は、赤外線成分を減算しない。これにより、赤外線成分の比率が十分に小さいときは、赤外線成分を確実に除去できるので、色再現性のよいカラー画像を得ることができ、また赤外線成分の比率が十分大きいときは、各画素に含まれる赤外線成分を利用して感度の高いモノクロ画像を得ることができる。加えて、赤外線の比率の大きさに応じて、赤外線成分を減算する割合が徐々に変化するので、カラー画像とモノクロ画像との切り替えを滑らかに行うことが可能となる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、赤外線除去を輝度成分と色成分とで別個に行えるようにしてもよい。図３は、この本発明の実施の形態の変形例１に係る撮像装置２００の構成を示した図である。この撮像装置２００は、図１の撮像装置１００の減算部１４及び赤外線除去割合決定部１６のかわりに輝度用減算部３０、輝度用赤外線除去割合決定部３２、色用減算部３４、色用赤外線除去割合決定部３６を備えている。これにより、輝度成分については係数Ｋの値を小さく設定することにより、可視光フィルタを透過した赤外線成分を活かすことで感度を高くすることができ、色成分については係数Ｋの値を大きく設定することにより、できる限り赤外線成分を除去することで、良好な色再現性を実現することができる。

また、上記実施の形態において、除去する赤外線成分の割合、すなわち係数Ｋの値を、可視光フィルタを透過した可視光成分及び赤外線成分との和と、赤外線フィルタを透過した赤外線成分との比率に応じて決定するようにしたが、撮像時の照度を考慮に入れてもよい。例えば、明るい環境下で撮像した場合は、赤外線成分の比率が大きくても、係数Ｋの値を大きくして赤外線成分を多く除去することにより、色再現性をあげることができる。この場合、撮像時の照度は、撮像素子１０の露光時間の長さによって取得してもよいし、照度センサを備えて、照度センサによって測定してもよい。

また、上記実施の形態において、撮像素子１０が可視光と赤外線の両方を透過する可視光フィルタを備えた画素と、主として赤外線を透過する赤外線フィルタを備えた画素を具備している例を示したが、これに限るものではなく、可視光フィルタを備えた撮像素子と、赤外線フィルタを備えた撮像素子の２つを具備して、それぞれから出力された画像信号を用いても、本発明の撮像装置に含まれる。

また、上記実施の形態において、除去する赤外線成分の比率を決定する際、撮像素子１０の各画素が受光した光の分光特性について考慮しなかった。変形例２では、各画素が受光した光の分光特性を参照して、赤外線成分が重畳された各色成分から減じるべき赤外線成分に乗じる係数の値を色ごとに調整する。図４は、この本発明の実施の形態の変形例２に係る撮像装置３００の構成を示した図である。この撮像装置３００は、図１の撮像装置１００の構成に、赤外線成分予測部２０を加えた構成である。なお、請求項中の決定部は、赤外線除去割合決定部１６と赤外線成分予測部２０を総称した概念であってもよい。

赤外線成分予測部２０は、各色フィルタを透過した光から得られた信号に重畳されている赤外線成分を予測する。すなわち、上述した赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、及び青色光成分＋赤外線成分（Ｂ_＋ＩＲ）のそれぞれに重畳されている赤外線成分を予測する。その際、各色フィルタを備える画素２０、２２、２４と赤外線フィルタを備える画素２６との間の分光特性の違いを考慮する。

それぞれの画素で受光した光の分光特性は、それぞれの画素に備えられたフィルタの分光特性や、フォトダイオードの分光特性、及びそれぞれの画素に入射された光の分光特性などによって決定される。フィルタの分光特性やフォトダイオードの分光特性は撮像素子１０の各画素の形状やプロセスによって定まる。特に、各色フィルタの赤外線成分の分光特性と、赤外線フィルタの分光特性は一致しないため、赤外線成分が重畳された各色成分から赤外線成分を減じる際、その赤外線成分に乗じる係数の値を色ごとに変えることにより、色再現性が向上する。

赤外線成分予測部２０は、色フィルタを備える画素と赤外線フィルタを備える画素間の分光特性の違いを調整するための係数（Ｌ_Ｒ, Ｌ_Ｇ, Ｌ_Ｂ）の値を決定し、減算部１４に伝達する。減算部１４は、撮像素子１０の画素２０、２２、及び２４より出力された画像信号、すなわち緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、青色光成分＋赤外線成分（Ｂ_＋ＩＲ）から、画素２６より出力され画像信号である赤外線成分ＩＲを除去する。このとき、画素２６より出力された赤外線成分ＩＲをそのまま減算するのではなく、赤外線成分ＩＲに第１の係数Ｋ（０≦Ｋ≦１）および第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）を乗じた値を減算する。すなわち、減算部１４は、赤色光成分Ｒ、緑色光成分Ｇ、及び青色光成分Ｂを以下の式（４）〜（６）によって算出する。ここで、第１の係数Ｋは、赤外線除去割合決定部１６により決定された、赤外線成分が重畳された各可視光成分と赤外線成分ＩＲとの比率に基づく係数である。第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）は、赤外線成分予測部２０により決定された、各色フィルタを備えた画素がそれぞれ受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性との比率に基づく係数である。
Ｒ＝Ｒ_＋ＩＲ−Ｋ・Ｌ_Ｒ・ＩＲ・・・（４）
Ｇ＝Ｇ_＋ＩＲ−Ｋ・Ｌ_Ｇ・ＩＲ・・・（５）
Ｂ＝Ｂ_＋ＩＲ−Ｋ・Ｌ_Ｂ・ＩＲ・・・（６）

図５は、赤色フィルタ、緑色フィルタ、青色フィルタ及び赤外線フィルタを備える各画素の分光特性の一例を示す図である。図５は、横軸に波長、縦軸に感度をとる。境界線ａより高い波長の領域は、赤外線領域を示し、境界線ａより低い波長の領域は、可視光領域を示す。

赤色フィルタを備える画素の赤外線波長領域における感度は、赤外線フィルタを備える画素の感度よりかなり大きくなる。図５の特性例では、赤外線フィルタを備える画素は、赤外線波長領域にて、赤色フィルタを備える画素の１．５倍程度の感度を持つ。よって、赤色フィルタを備える画素の第２の係数Ｌ_Ｒの値を１．５に設定する。第１の係数Ｋが１の場合、すなわち赤外線成分を完全に除去したい場合でも、赤外線フィルタを備える画素から出力された赤外線成分ＩＲをそのまま減算しただけでは、赤色フィルタを備える画素の出力信号から赤外線成分を除去しきれない。この点、赤外線フィルタを備える画素から出力された赤外線成分ＩＲに第２の係数Ｌ_Ｒを乗じて補正することにより、赤色フィルタを備える画素の出力信号に含まれる赤外線成分を完全に除去することができる。

青色フィルタを備える画素の赤外線波長領域における感度は、赤外線フィルタを備える画素の感度と同程度となる。緑色フィルタを備える画素の赤外線波長領域における感度は、赤外線フィルタを備える画素の感度より１割程度、小さくなる。そこで、青色フィルタを備える画素の第２の係数Ｌ_Ｒの値を１に設定し、緑色フィルタを備える画素の第２の係数Ｌ_Ｒの値を０．９に設定する。よって、図５の特性例を持つ撮像素子１０における第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）の値は、（１．５，０．９，１．０）程度となる。

上述した分光特性は、フィルタの分光特性やフォトダイオードの分光特性だけでなく、光源の分光特性や被写体の分光特性にも影響を受ける。これらの特性は、光源や撮影対象によって様々であり、感度が一致しない波長の光の強度が強いこともあれば弱いこともある。よって、第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）の値も、光源や被写体ごとに切り替えることが望ましい。

赤外線成分予測部２０は、光源の種類ごとに予め算出された第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）の値を保持していてもよい。例えば、太陽光向け、蛍光灯向け、白熱灯向けごとに異なる第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）の値を保持する。これらの値は、設計者により実験やシミュレーションにより求められる。赤外線成分予測部２０は、ユーザにより光源のモードが選択されると、選択されたモードに対応する第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）を使用する。

また、赤外線成分予測部２０は、被写体の種類ごとに予め算出された第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）の値を保持していてもよい。例えば、人間向け、植物向け、建造物向けごとに異なる第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）の値を保持する。ユーザにより撮影対象のモードが選択されると、赤外線成分予測部２０は、選択されたモードに対応する第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）を使用する。また、光源と被写体の組合せごとに異なる第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）の値を保持していてもよい。

また、光源や被写体の分光特性に対応した第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）を赤外線成分予測部２０に予め登録しておくのではなく、撮影ごとに第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）を適宜、算出してもよい。例えば、赤外線成分予測部２０は、各画素に入射された光の分光特性を、撮像素子１０から出力された画像信号を積分することによって、撮影時に求めてもよい。また、撮像装置３００に分光特性センサを設け、撮影時の分光特性を測定し、第２の係数（Ｌ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂ）を決定してもよい。

変形例２によれば、色フィルタを備える画素と赤外線フィルタを備える画素間の分光特性の違いを調整しながら、赤外線成分が重畳された各色成分から赤外線成分を除去することにより、各色成分に重畳された赤外線成分を的確に予測することができ、色再現性をさらに向上させることがでる。また、色のバランスも維持することができる。

また、上記実施の形態において、３原色フィルタと赤外線フィルタを用いた撮像素子１０について説明した。この点、本実施の形態は、補色フィルタと赤外線フィルタを用いた撮像素子１０に適用可能である。補色フィルタは、イエローＹｅ、シアンＣｙおよびマゼンダＭｇに色分解する。または、イエローＹｅ、シアンＣｙおよびグリーンＧｒに、もしくはイエローＹｅ、シアンＣｙ、マゼンダＭｇおよびグリーンＧｒに色分解する。それぞれの色成分を透過するフィルタは、上述した３原色フィルタと同様に、赤外線成分も透過する。

本発明の実施の形態に係る撮像装置の構成図である。図１の撮像素子の色フィルタの配列を示した図である。本発明の実施の形態の変形例１に係る撮像装置の構成図である。本発明の実施の形態の変形例２に係る撮像装置の構成図である。本発明の実施の形態に係る赤色フィルタ、緑色フィルタ、青色フィルタ及び赤外線フィルタを備える各画素の分光特性の一例を示す図である。

符号の説明

１０撮像素子
１４減算部
１６赤外線除去割合決定部
２０赤外線成分予測部
３０輝度用減算部
３２輝度用赤外線除去割合決定部
３４色用減算部
３６色用赤外線除去割合決定部
１００撮像装置
２００撮像装置

Claims

可視光と赤外線の両方を受光する第１の画素と、
赤外線を受光する第２の画素と、
前記第１の画素より出力された信号から前記第２の画素より出力された信号に係数を乗じた信号を減算する減算部と、
前記第１の画素より出力された信号の大きさと前記第２の画素より出力された信号の大きさとの比率に基づいて、前記減算部において前記第２の画素より出力された信号に乗ずる係数を決定する決定部と、
を具備することを特徴とする撮像装置。
前記決定部は、更に撮像時の照度に基づいて、前記第２の画素より出力された信号に乗ずる係数を決定することを特徴とする請求項１に記載の撮像装置。
前記減算部は、輝度成分用と色成分用で別個に前記第１の画素より出力された信号から前記第２の画素より出力された信号に係数を乗じた信号を減算することを特徴とする請求項１又は２に記載の撮像装置。
前記決定部は、前記第１の画素の分光特性と前記第２の画素の分光特性との違いを補正するための別の係数を決定し、
前記減算部は、前記第２の画素より出力された信号に前記別の係数をさらに乗じた信号を前記第１の画素より出力された信号から減算することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
前記第１の画素と前記第２の画素は、同一の撮像素子に形成されていることを特徴とする請求項１〜４のいずれかに記載の撮像装置。