JP2017204824A - 撮像装置 - Google Patents

Abstract

【課題】近赤外光成分における分光感度のバランスが各波長域で崩れることを防ぎ、色バランスが適切に調整された画像を得る。【解決手段】複数の光学フィルタを透過した光を電気信号に変換して画像を生成する撮像素子と、画像を構成する画素毎に含まれる近赤外光成分の比率に対応付けて画素毎に含まれる近赤外光成分の透過率が予め記憶された透過率記憶部１０６２と、画素毎に含まれる可視光成分が同じになるように可視光成分を波長域毎に補正するために予め設定された補正係数を予め記憶した補正係数記憶部１０６３と、補正係数で透過率を除し、波長域毎の透過率を調整する近赤外光透過率調整部１０６４と、調整された透過率で画素毎に含まれる近赤外光成分を重み付ける赤外分離部１０５３と、を有する。【選択図】図８

Description

本発明は、可視光領域における互いに異なる波長域と近赤外光領域とに透過域を夫々有し、かつ、所定のパターンで配列された複数の光学フィルタを備えた撮像装置に関するものである。

近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける要素技術として、車載監視用の撮像装置の研究開発が盛んに行われている。その中では、夜間の暗闇と高輝度な信号灯や車両灯（ヘッドライトなど）とが同時に存在する、明暗の差が非常に大きくて視界不良となり得る状況において、高い監視性能を確保すること、すなわち、視界不良となり得る状況においても信号や車線の色を判別できるように、撮像装置において、広いダイナミックレンジと暗視性能と人間の色覚特性と合致した色再現性を両立することが課題となっている。

このような暗闇において、歩行者や車線の監視性能を向上させるための手段として、近赤外線を透過する色フィルタ（光学フィルタ）を用いて、近赤外光領域に感度を持ったまま色再現を行うＩＲカラーカメラ技術の開発が行われている。

ＩＲカラーカメラは、赤外線除去フィルタ（ＩＲカットフィルタ）を有していないため、近赤外光領域の光に対しても感度を有しており、観測対象から放射される近赤外光、または赤外投光器によって照射された近赤外光の反射光をＩＲカラーカメラで観測することによって、車両のヘッドライトが照射されていない暗い領域においても撮像を行うことが可能となる。

そして、このようなＩＲカラーカメラで撮像された画像の中から、可視光と近赤外光をともに含む輝度信号と、可視光と近赤外光をともに含む色信号の中から近赤外光成分のみを除去する除去処理によって色信号を得て、この輝度信号と色信号を適切に再合成することによって、暗視性能（暗所での撮像性能）と人間の視覚に近い色再現性を両立した出力信号を得る撮像装置が提案されている（例えば、特許文献１）。

特開２０１４−１６５５２８号公報

一般的な撮像装置に適用される光学フィルタの分光感度特性は、当該光学フィルタを透過する色ごと（波長域ごと）に異なっている。そこで、従来の撮像装置では、色ごとに異なる分光感度の差を補正する処理が行われている。以下では、当該補正処理の具体例を説明する。

まず、説明の前提として、可視光領域においては各色（Ｒ，Ｇ，Ｂ）で異なる透過域を有するが、近赤外光領域においては各色で同じ透過域を有する赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢを用いて被写体を撮像する場合を想定する。可視光領域における分光感度は、各光学フィルタのうち、特定の光学フィルタ（例えば緑色フィルタＧ）が最も大きい。そのため、各色（Ｒ，Ｇ，Ｂ）で異なる分光感度の差を補正する処理は、赤色フィルタＲ，青色フィルタＢ，緑色フィルタＧの夫々の可視光領域における分光感度を上記特定の光学フィルタに揃えるように行われる。具体的に、この補正処理は、可視光分光感度補正用の補正係数を赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢ夫々の分光感度に乗算することによって行われる。

上述のとおり、赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢの夫々は、近赤外光領域においては等しい透過域を有する。従って、近赤外光領域における分光感度は各光学フィルタで同じ値となる。それにもかかわらず、従来の撮像装置では、近赤外光領域における分光感度の補正処理が可視光分光感度補正用の補正係数と同じ補正係数を用いて行われていた。即ち、近赤外光領域において同じ値を持つ分光感度に対して、可視光分光感度補正用の補正係数を乗算する処理が行われていた。

その結果、可視光成分では画像が正しく色再現されるが、近赤外光成分では分光感度のバランスが各色で崩れ、画像の色がマゼンタに寄ってしまう。そのため、人間の視覚とずれて画像が表現されるため、違和感のある画像に仕上がってしまう問題がある。

さらに、画像の色がマゼンタに寄ってしまうことによる影響は、既存の車載のナイトビジョン装置で撮像された映像にも見受けられる。既存の車載のナイトビジョン装置では、色情報が無い近赤外線の映像は、白と黒との混合で得られる無彩色としてカラーディスプレイ上で表現されることがスタンダードとなっている。しかし、近赤外光成分の影響で画像の色が無彩色以外のマゼンタに寄ってしまうと、画像に色ずれが生じてしまう問題がある。

本発明は、上記課題に鑑みてなされたもので、近赤外光成分における分光感度のバランスが各波長域で崩れることを防ぎ、色バランスが適切に調整された画像を得ることができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、近赤外光成分における分光感度のバランスが各波長域で崩れることを防ぎ、色バランスが適切に調整された画像を得ることができるものである。

すなわち、本発明に係る撮像装置は、可視光領域における互いに異なる波長域と近赤外光領域とに透過域を夫々有し、かつ、所定のパターンで配列された複数の光学フィルタと、前記複数の光学フィルタを透過した光を前記複数の光学フィルタ毎に電気信号に変換して、画像を生成する撮像素子と、前記画像を構成する画素毎に含まれる近赤外光成分の比率に対応付けて前記画素毎に含まれる近赤外光成分の透過率が予め記憶された透過率記憶部と、前記画素毎に含まれる可視光成分が同じになるように前記可視光成分を前記波長域毎に補正するために予め設定された補正係数を予め記憶した補正係数記憶部と、前記補正係数記憶部に記憶された前記補正係数で前記透過率を除し、前記波長域毎の前記透過率を調整する近赤外光透過率調整部と、前記近赤外光透過率調整部により調整された透過率で前記画素毎に含まれる近赤外光成分を重み付ける赤外分離部と、を有することを特徴とする。

このように構成された本発明に係る撮像装置によれば、近赤外光透過率調整部は、可視光成分（可視光分光感度）が大きい波長域ほど画素に含まれる近赤外光成分の透過率を小さく調整でき、可視光成分（可視光分光感度）が小さい波長域ほど画素に含まれる近赤外光成分の透過率を大きく調整できる。そして、赤外分離部は、調整された近赤外光成分の透過率を用いて画素毎に含まれる近赤外光成分を重み付けることができる。これによって、各波長域で近赤外光成分の透過率を同じ値に近づけることができる。そのため、近赤外光成分における分光感度のバランスが各波長域で崩れることを防ぎ、色バランスが適切に調整された画像を得ることができる。

本発明の実施例１に係る撮像装置の概略構成を示すブロック図である。 本発明を適用するシーンの一例を示す図である。 撮像素子の入出力特性の概要を説明する図である。 本発明の実施例１で使用される撮像素子の入出力特性の一例を示す図である。 図４Ａの横軸を対数目盛とした図である。 本発明の実施例１で使用される撮像素子の色フィルタの配列の一例を示す図である。 図５Ａの色フィルタに、赤色光，緑色光，青色光，可視光全体をそれぞれ選択的に透過する色フィルタを当てはめたときのフィルタの配置例を示す図である。 図５Ｂの色フィルタを通して撮像された色信号に基づいて、欠落した色信号を算出する方法を説明する図である。 本発明の実施例１において、出力信号線形変換部で行われる信号変換処理について説明する図である。 本発明の実施例１で使用される光学フィルタの分光透過率特性の一例を示す図である。 図７Ａに示した分光透過率特性を、撮像素子の入力輝度と出力信号が線形関係になるように階調変換した後の分光透過率特性の一例を示す図である。 図７Ｂの信号から近赤外光成分を分離した後の分光透過率特性の一例を示す図である。 本発明の実施例１における色信号生成部の詳細構成を説明する図である。 本発明の実施例１における近赤外透過信号補正部の色信号補正処理の詳細構成を説明する図である。 本発明の実施例１における処理の流れを示すフローチャートである。

以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。本実施例は、本発明に係る撮像装置を、車両周囲の監視を行って、撮像された画像または撮像された画像の認識結果に基づく警報や警告灯を、車両の乗員に提示する周囲監視装置に適用した例である。

（撮像装置の概略構成の説明）
まず、図面を用いて装置の構成を説明する。本実施例に係る撮像装置１０は、図１に示すように車両（図示省略）に設置されて、被写体を観測する光学系１０１と、撮像素子１０２（撮像素子）と、信号分離部１０３と、出力信号線形変換部１０４と、色信号生成部１０５ａと、輝度信号生成部１０７と、輝度信号補正部１０８と、色輝度合成部１０９と、画像出力部１１０を備えている。

光学系１０１は、レンズやミラー等の光学素子から構成されて、被写体から出射した光または被写体で反射した光を、後述する撮像素子１０２上に導く光学系である。光学系１０１は、車載監視用途の撮像装置の場合には、一般に狭角、広角、魚眼等のパンフォーカスレンズを用いる。さらに、ズーム機構やオートフォーカス機構を備えたレンズ系を用いてもよいし、絞りやシャッターを備えたレンズ系を用いてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系を用いてもよい。

撮像素子１０２は、複数の光学フィルタを透過した光を複数の光学フィルタ毎に電気信号に変換して、画像を生成する。撮像素子１０２は、複数の画素から構成されており、光学系１０１を通して観測された被写体の像が結像して、入力した光を、その輝度に応じた出力電圧信号ｅに光電変換する。光電変換された出力電圧信号ｅは、撮像素子１０２の内部に備えられたアンプ（図示省略）、更に同じく撮像素子１０２の内部に備えたＡＤコンバータ（図示省略）を通してデジタル化されて、出力信号ＲＡＷ０が生成される。出力信号ＲＡＷ０として、例えば、１２ビット（０〜４０９５）にデジタル化された信号が出力される。撮像素子１０２としては、最大１２０ｄＢ程度の入力輝度のダイナミックレンジを有する、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の光電変換素子が用いられる。なお、撮像素子１０２を構成する各画素の上には、後述するように、透過する波長帯域が異なる４種類のフィルタ（赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢ，透明フィルタＣ）が、それぞれ規則的に配列された光学フィルタを形成している。

信号分離部１０３は、撮像素子１０２に対して撮像を行うタイミングを指示するとともに、撮像素子１０２で撮像された出力信号ＲＡＷ０を受けて、同一の２つの出力信号ＲＡＷ０、ＲＡＷ０に分離する。

出力信号線形変換部１０４は、信号分離部１０３で分離された信号のうち一方の出力信号ＲＡＷ０に対して階調変換（線形化）処理を行い、線形性を有する線形化出力信号ＲＡＷ１に変換する。ここで行われる変換処理の内容は後述する。

色信号生成部１０５ａは、出力信号線形変換部１０４で変換された線形化出力信号ＲＡＷ１を、Ｒ，Ｇ，Ｂ，Ｃの各色フィルタを透過した光にそれぞれ対応する４つの信号に分離する。このとき、撮像素子１０２のうち、例えば赤色フィルタＲが配置された画素Ｅからは赤色成分のみしか得られないため、画素Ｅの近傍の画素の出力を用いて線形補間を行い、画素Ｅにおける線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）を予測する。そして、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中に含まれる近赤外光成分の比率Ｒを求めて、求められた近赤外光成分の比率Ｒに応じた量の近赤外光成分を分離して、線形性を有する近赤外透過信号を生成する。さらに、近赤外透過信号の色補正を行って線形補正色信号（Ｒ１，Ｇ１，Ｂ１）を生成する。

また、色信号生成部１０５ａは、飽和画素に対してクリッピング処理を行うとともに、色飽和を起こしている飽和領域の検出を行う。そして、飽和領域を構成する画素であるか否かに応じて、適切な線形補正色信号（Ｒ１，Ｇ１，Ｂ１）を出力する。なお、色信号生成部１０５ａは、図８に示す詳細構成を有しているが、その内容と、色信号生成部１０５ａで行われる具体的な処理内容については後述する。

輝度信号生成部１０７は、信号分離部１０３で分離された信号のうち他方の出力信号ＲＡＷ０から輝度信号Ｙ１を生成する。ここで行われる処理の内容は後述する。

輝度信号補正部１０８は、輝度信号生成部１０７で生成された輝度信号Ｙ１を必要に応じて補正して、輝度補正信号Ｙ２を生成する。ここで行われる処理の内容は後述する。

色輝度合成部１０９は、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）と輝度補正信号Ｙ２を合成して映像信号（Ｒ２，Ｇ２，Ｂ２）を生成する。ここで行われる処理の内容は後述する。

画像出力部１１０は、例えば表示用モニタからなり、色輝度合成部１０９で合成された映像信号（Ｒ２，Ｇ２，Ｂ２）を視認可能な形で出力する。

以下、撮像装置１０の作用について、図面を用いて順に説明する。まず、図２に基づいて、撮像装置１０の具体的な利用シーンについて説明する。図２は、撮像装置１０を用いて夜間の道路を撮影したときに得られる画像の一例を表したものである。すなわち、道路上に存在する先行車２０１や対向車２０３・道路標識等による反射装置２０５，２０６・信号機２０７・歩行者２０８・レーンマーカ２０９などが撮像されて画像化された様子を示している。

図３は、線形の入出力特性を持つ一般的な撮像素子を用いて、図２に示す道路を撮像して画像化したときの入力輝度Ｉと出力電圧信号ｅの関係を表している。

すなわち、撮像素子１０２に対して、異なる２つの露光時間を与えたときの入出力特性として、露光時間が長いときの入出力特性３０１と、露光時間が短いときの入出力特性３０２、および道路上の被写体を撮像して、全ての被写体を画像化したときに、白飛びや黒潰れが発生せずに適切なカラー画像を生成することができると考えられる入出力特性３０３を示している。

図２に示したような夜間のシーンは、被写体の明暗の差が非常に大きいため、線形の入出力特性を持つ撮像素子で撮像したのでは、ダイナミックレンジの限界を超えてしまうため、白飛びや黒潰れと呼ばれる現象が発生してしまう課題があった。

すなわち、図３に示した入力輝度帯域３０４のように、自車両のヘッドライトや道路照明が当たっていない領域、および自車両のヘッドライトや道路照明を反射し難い、レーンマーカ２０９や歩行者２０８の領域が見やすい明るさで映るように露光時間を決定して撮影すると、入出力特性３０１を設定するのが望ましい。しかし、入出力特性３０１を設定すると、ヘッドライト２０４に照らされた高輝度領域が多い入力輝度帯域３０７やテールライト２０２の分布頻度が多い入力輝度帯域３０５における出力電圧信号ｅが飽和してしまうため、所謂「白飛び」と呼ばれる現象が生じてしまう（図３に示した領域Ｘ１が白飛びを起こす領域を表す）。

逆に、最も明るいヘッドライト２０４に照らされた高輝度領域が多い入力輝度帯域３０７が見やすい明るさで映るように露光時間を決定して撮影すると、入出力特性３０２を設定するのが望ましい。しかし、入出力特性３０２を設定すると、レーンマーカ２０９や歩行者２０８の分布頻度が多い入力輝度帯域３０４やテールライト２０２の分布頻度が多い入力輝度帯域３０５における出力電圧信号ｅが黒潰れのラインを下回ってしまうため、所謂「黒潰れ」と呼ばれる現象が生じてしまう（図３に示した領域Ｘ２が黒潰れを起こす領域を表す）。

これに対して、図３に示した入出力特性３０３を設定して撮影すると、出力電圧信号ｅは、最も暗いレーンマーカ２０９から最も明るいヘッドライト２０４まで、一つの入出力特性３０３の白飛びも黒潰れもしない範囲に収めることができる。実施例１で用いる撮像素子１０２の入出力特性は、このような入出力特性３０３を有しているものとする。

（撮像素子の入出力特性の説明）
次に、撮像装置１０の作用について、順を追って説明する。撮像素子１０２は、図４Ａに示すように複数の入出力特性を備えており、入射光を受光した撮像素子１０２の各画素に蓄積される電荷のリセットタイミングやリセット電圧を変更することによって、入出力特性を変更することができる。

そして、この入出力特性は図４Ａに示すように、入力輝度Ｉに対して出力電圧信号ｅが非線形に変化する特性を有している。これは、対数変換型の光電変換素子の代表的な入出力特性としてよく知られたものである。

なお、図４Ｂは、図４Ａのグラフの横軸を対数目盛りに変換したグラフであり、入出力特性の違いによって、白飛びや黒潰れせずに出力できる入力輝度Ｉのダイナミックレンジが変化することを示している。

すなわち、図４Ａ，図４Ｂにあっては、各入出力特性に付与した番号が大きいほど、入力輝度Ｉのダイナミックレンジが広い特性を有している。

なお、図４Ａに示した複数の入出力特性は、撮像シーンに応じて、撮像素子１０２に内蔵された露光制御部（非図示）によって１つ選択される。例えば、撮像シーンの明るさに基づいて、白飛びや黒潰れが発生せずに、できるだけコントラストが高い画像が撮像される入出力特性が選択されて、撮像が行われる。

具体的には、撮像素子１０２に内蔵された露光制御部において、１フレーム毎に画像の出力統計情報が算出されて、白飛びや黒潰れの画素数が計測される。そして、白飛びが検出された場合には、よりダイナミックレンジが広い入出力特性が選択されて、白飛びが検出されない場合には、よりダイナミックレンジが狭い入出力特性が選択される。

一方、黒潰れが検出された場合には、よりダイナミックレンジが狭い入出力特性が選択されて、黒潰れが検出されない場合には、よりダイナミックレンジが広い入出力特性が選択される。

（撮像素子のフィルタ構成の説明）
撮像素子１０２は、図４Ａまたは図４Ｂに示す出力電圧信号ｅを出力する複数の画素を二次元的に備えている。各画素の受光面の上には、可視光領域における互いに異なる波長域と近赤外光領域とに透過域を夫々有し、かつ、所定のパターンで配列された複数の光学フィルタが形成されている。実施例１では、図５Ａに示すように、可視光を波長毎に選択的に透過し、かつ近赤外光に対しては互いに等しい透過率をもつ３種類のフィルタＸ，Ｙ，Ｚと可視光の波長毎の透過率を３種類のフィルタの透過率の線形和で表すことができ、かつ近赤外光に対しては３種類のフィルタと等しい透過率をもつ第４のフィルタＴが規則的に配列された光学フィルタが形成されている。

図７Ａは、このような特性を有する光学フィルタの例として、多くの撮像素子に用いられているＲＧＢフィルタを配列した撮像素子１０２の波長毎の出力値である分光感度Ｓを示している。すなわち、図５Ｂのように、前述した３種類のフィルタＸ，Ｙ，Ｚが、それぞれ、赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢに対応し、第４のフィルタＴに対応するフィルタとして、近赤外光を含む可視光全体を透過する透明フィルタＣを適用した例である。

図７Ａにおいて、可視光と近赤外光の境目は曖昧であるが、一般的に約７００ｎｍ〜約８５０ｎｍの波長領域と考えてよく、この波長領域よりも高波長領域では、４種類のフィルタの分光透過率に差がないため、４種類のフィルタを透過した光がそれぞれ入射した画素の出力値は互いに漸近する。

本発明は、このような４種類のフィルタの特性を活用したものであり、撮像素子１０２の特性に基づき４種類の色フィルタの出力値が十分に漸近して一致するとみなした点（図７Ａの例では、波長８４０ｎｍ付近）を可視光領域と近赤外光領域の境界とみなして、撮像素子１０２の出力信号の中から、可視光領域に占める成分（可視光成分）を保持して、近赤外光領域に占める成分（近赤外光成分）のみを分離、除去することを特徴としている。

次に、この４種類のフィルタの特性に関して説明する。４種類のフィルタＸ，Ｙ，Ｚ，Ｔの可視光領域の任意の波長における透過率を、それぞれＸＴ，ＹＴ，ＺＴ，ＴＴとすると、それらの関係は式１のように表せる。
［式１］

このように、第４のフィルタＴの透過率ＴＴは３種類のフィルタＸ，Ｙ，Ｚの各透過率ＸＴ，ＹＴ，ＺＴの線形和で表すことができ、正負を問わない係数α，係数β，係数γが一意に定まるものとする。すなわち、撮像装置１０は式２〜式５の条件を満たす４色のフィルタを使用する必要があるが、これは、前述したように、多くの撮像素子に利用されているＲＧＢフィルタを用いることによって実現できる。そして、さらに、第４のフィルタＴとして、近赤外光を含む可視光領域全体を透過する透明（Ｃｌｅａｒ）フィルタＣを用いればよい。
［式２］
［式３］
［式４］
［式５］

ここで、ＮＩＲは近赤外光成分を表し、ｒ，ｇ，ｂは可視光の各色成分を表している。また、Ｎ＿Ｒ，Ｎ＿Ｇ，Ｎ＿Ｂ，Ｎ＿Ｃは、色信号（Ｒ，Ｇ，Ｂ，Ｃ）にそれぞれ含まれるノイズ成分を表している。なお、各ノイズ成分（Ｎ＿Ｒ，Ｎ＿Ｇ，Ｎ＿Ｂ，Ｎ＿Ｃ）の中には、定常的に発生する光電変換時の残留電荷やショットノイズ等と、画素毎にランダムに発生する電荷漏れや非線形センサにおける圧縮ノイズ等が含まれている。

これら４種類のフィルタの波長λに対する分光特性から、図７Ａに示すような、撮像素子１０２の分光感度Ｓが得られる。そして、後述する階調変換処理によって、撮像素子１０２に対する入力輝度Ｉと撮像素子１０２から出力される出力電圧信号ｅとの関係を線形関係に変換することによって、図７Ｂに示す分光感度Ｓが得られる。そして、図７Ｂに示す分光感度Ｓから、式１に示した係数α，β，γの値を算出することができる。

係数α，β，γの値は、複数の異なる波長λの光に対して計測された分光感度Ｓから、最小二乗法を用いて、真値に対して許容範囲内に収まるような値を設定することができる。そして、実施例１は、ＲＧＢＣフィルタ配列に限らず、式２〜式５の関係式で表すことができる任意の４種類のフィルタ配列に適用することができる。

前記ＲＧＢＣフィルタを通して撮像素子１０２から出力された出力信号ＲＡＷ０（１２ビット）は、まず、信号分離部１０３において色信号処理と輝度信号処理に用いるための２つの信号に分離される分離処理が行われる。分離後の２つの信号は、分離前の出力信号ＲＡＷ０と全く同一のものである。

（線形変換処理の説明）
次に、信号分離部１０３によって分離された２つの出力信号ＲＡＷ０，ＲＡＷ０のうち、色信号処理に用いられる出力信号ＲＡＷ０に対して、出力信号線形変換部１０４において線形変換処理（線形化）を行う。すなわち、図６に示すように、入力輝度Ｉに対して、
撮像素子１０２の出力電圧信号ｅが線形に変化する予測線形特性６１２を有するものと仮定して、入力輝度Ｉと出力電圧信号ｅとが非線形関係にある領域を、線形関係を有する信号になるように変換する。

撮像素子１０２は、図６の入出力特性６００に示すように、入力輝度Ｉが小さい領域では線形特性６０１を有し、この領域では、入力輝度Ｉに対して線形に変化する出力信号を出力する。

また、入力輝度Ｉが大きい領域では非線形特性６０２を有し、この領域では、入力輝度Ｉに対して非線形に変化する出力信号を出力する。

そして、線形特性６０１を有する領域と非線形特性６０２を有する領域とは、接続点６０５において連続している。なお、撮像素子１０２が出力する非線形特性６０２を有する出力電圧信号ｅを第１の出力信号Ｓ１とする。

ここで、撮像素子１０２の全入力輝度範囲に亘って、入出力特性の線形性が成り立つと仮定する。すなわち、図６の点線で示すように、入出力特性が予測線形特性６１２を呈すると仮定する。そして、撮像素子１０２から、この予測線形特性６１２に基づいて出力されると予測される出力電圧信号ｅを第２の出力信号Ｓ２とする。

出力信号線形変換部１０４では、撮像素子１０２が出力した第１の出力信号Ｓ１を、入出力特性が予測線形特性６１２をなすと仮定したときに、撮像素子１０２が出力すると予測される第２の出力信号Ｓ２に変換する処理を行う。

すなわち、図６の場合、入力輝度Ｉ１に対して入出力特性６００によって得られた出力電圧信号がｅ１であり、入出力特性が予測線形特性６１２をなすと仮定したときに、入力輝度Ｉ１に対して予測される出力電圧信号がｅ２であるとすると、出力電圧信号ｅ１をｅ２／ｅ１倍する処理が行われる。

線形化を行う方法には様々なものが考えられるが、例えば、ＬＵＴ（Look Up Table）を用いて変換すればよい。すなわち、あらかじめ撮像素子１０２の入出力特性を、図４Ａに示したような全ての入出力特性の数だけ測定しておき、ある入力輝度Ｉのときに得られた出力電圧信号ｅ１と、入出力特性が線形特性をなすと仮定したときに予想される出力電圧信号ｅ２の対応関係をＬＵＴに記憶しておく。階調変換処理時には、現在の入出力特性の番号と実際に計測された出力電圧信号ｅ１の値から、そこに対応するＬＵＴに記憶された出力電圧信号ｅ２の値を参照して階調変換を行えばよい。

なお、撮像装置１０における出力信号ＲＡＷ０および階調変換を行うために用いるＬＵＴに記憶される情報は、いずれもデジタル情報として取り扱う。実施例１において、これらの情報を漏れなく記憶しておくために必要なビット数は、例えば図４Ａの入出力特性を有する撮像素子１０２を用いる場合、入出力特性の総数は１０通りであるので、入出力特性の形態を漏れなく表現するのに必要なビット数は４ビット、撮像素子１０２の出力信号ＲＡＷ０は１２ビット、そして、ＬＵＴに必要なビット数（線形変換後の出力電圧値）は、入力輝度のダイナミックレンジが最大１２０ｄＢ（１：１０６）程度であることを考慮して、２０ビット（＞１２０ｄＢ）となる。

そして、出力信号線形変換部１０４において行われる線形変換によって、１２ビットの出力信号ＲＡＷ０から、２０ビットの線形化出力信号ＲＡＷ１が得られる。

なお、この他の線形変換の方法として、撮像素子１０２の入出力特性における屈曲点であるニーポイントの位置を予測して区分線形変換を行う方法や、対数特性に近似して式による変換を行う方法など様々な方法が考えられ、そのいずれの方法を用いても構わない。

（色信号の線形補間処理の説明）
次に、色信号生成部１０５ａで行わる色再現処理の内容について、図８を用いて説明する。図８は、色信号生成部１０５ａの詳細な構成を示す図である。すなわち、色信号生成部１０５ａは、第１色分離部１０５１と、第１線形補間処理部１０５２と、近赤外光比率算出部１０６０（近赤外光比率算出部）と、近赤外光成分透過率テーブル１０６２（透過率記憶部）と、色信号補正係数レジスタ１０６３（補正係数記憶部）と、近赤外光透過率調整部１０６４（近赤外光透過率調整部）と、赤外分離部１０５３（赤外分離部）と、近赤外透過信号補正部１０５４と、第２色分離部１０５５と、第２線形補間処理部１０５６と、赤外含有色信号補正部１０５７と、飽和領域判定部１０５８ａと、色信号選択部１０５９を備えている。

出力信号線形変換部１０４（図１参照）によって変換された線形化出力信号ＲＡＷ１（２０ビット）は３つの信号に分離されて、第１色分離部１０５１と、第２色分離部１０５５、および飽和領域判定部１０５８ａに入力される。このとき、分離後の３つの信号は、分離前の線形化出力信号ＲＡＷ１と全く同一のものである。

第１色分離部１０５１は、線形化出力信号ＲＡＷ１を、線形化出力信号ＲＡＷ１を構成する各色に対応する４つの線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）に分離する。このとき、信号がない画素は出力を０（空白）とする。

第１線形補間処理部１０５２は、第１色分離部１０５１において信号を分離する際に発生した空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ４つの線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）を生成する。

この線形補間の方法について、図５Ｃを用いて具体的に説明する。図５Ｃのように配列されたフィルタにおいて、例えば、Ｂ２２で示される画素には、青色光を透過するフィルタが配列されている。したがって、Ｂ２２で示される画素からは、青色に対応する出力電圧信号ｅのみが得られる。

したがって、Ｂ２２で示される画素から出力されると予想される赤色光，緑色光，白色光に対応する信号は、Ｂ２２で示される画素の周囲の出力電圧信号ｅを補間して予測する必要がある。

例えば、Ｂ２２で示される画素から出力されると予想される赤色光成分は、Ｂ２２で示される画素に隣接する画素のうち、赤色フィルタＲが配列された画素であるＲ１１，Ｒ１３，Ｒ３１，Ｒ３３で示されるそれぞれの画素の出力電圧信号ｅの平均値を当てはめることによって予測する。

また、Ｂ２２で示される画素から出力されると予想される緑色光成分は、Ｂ２２で示される画素に隣接する画素のうち、緑色フィルタＧが配列された画素であるＧ１２，Ｇ３２で示されるそれぞれの画素の出力電圧信号ｅの平均値を当てはめることによって予測する。

そして、Ｂ２２で示される画素から出力されると予想される白色光成分は、Ｂ２２で示される画素に隣接する画素のうち、透明フィルタＣが配列された画素であるＣ２１，Ｃ２３で示されるそれぞれの画素の出力電圧信号ｅの平均値を当てはめることによって予測する。

なお、このとき、単に補間するだけではなく、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施してもよい。

（赤外光分離処理の説明）
続いて、赤外光分離処理の内容について、図８を用いて説明する。まず、近赤外光比率算出部１０６０は、以下に示す式６によって、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中に含まれる近赤外光成分の比率Ｒを算出する。
［式６］

近赤外光成分透過率テーブル１０６２は、画像を構成する画素毎に含まれる近赤外光成分の比率に対応付けて画素毎に含まれる近赤外光成分の透過率βが予め記憶したものである。近赤外光成分透過率テーブル１０６２は、近赤外光比率算出部１０６０により算出された近赤外光成分の比率Ｒに対応付けて、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中に含まれる近赤外光成分の透過率βが記憶されている。

色信号補正係数レジスタ１０６３は、センサ感度補正係数（補正係数）（Ｒｒ，Ｒｇ，Ｒｂ）を予め記憶したものである。当該センサ感度補正係数（Ｒｒ，Ｒｇ，Ｒｂ）は、画素毎に含まれる可視光成分（可視光分光感度）が同じになるように当該可視光成分（可視光分光感度）を波長域毎に補正するために予め設定されたものである。なお、当該センサ感度補正係数（Ｒｒ，Ｒｇ，Ｒｂ）は、部品の特性に応じて撮像装置１０の生産時に調整されて予め実験されたテストデータとして設定されているものである。

例えば、図７Ｂに示す分光感度特性を有する光学フィルタ（Ｒ，Ｇ，Ｂ，Ｃ）を用いて撮像素子１０２により被写体が撮像されるような場合、センサ感度補正係数（Ｒｒ，Ｒｇ，Ｒｂ）は、光学フィルタ（Ｒ，Ｇ，Ｂ）毎の分光感度のピーク値に応じて設定される。図７Ｂでは、光学フィルタ（Ｒ，Ｇ，Ｂ）のうち、光学フィルタＧにおけるピーク値が最も大きいので、他の光学フィルタＲ，Ｂ夫々におけるピーク値を光学フィルタＧにおけるピーク値に揃えるように設定される。具体的に、可視光分光感度補正用のセンサ感度補正係数は、（１．１５，１．０，１．６９）のように設定される。なお、光学フィルタＧにおけるピーク値に揃えるようにセンサ感度補正係数を設定する手法は、各光学フィルタ（Ｒ，Ｇ，Ｂ）間で分光感度のピーク値に差があることを示す一例に過ぎない。例えば、光学フィルタＲにおけるピーク値が最も大きい場合でも、同様の考え方でセンサ感度補正係数の設定が可能である。

近赤外光透過率調整部１０６４は、色信号補正係数レジスタ１０６３に記憶されたセンサ感度補正係数（Ｒｒ，Ｒｇ，Ｒｂ）の夫々で透過率βを除し、各波長域の透過率（βＲ，βＧ，βＢ）を算出する。具体的には、透過率（βＲ，βＧ，βＢ）はセンサ感度補正係数（Ｒｒ，Ｒｇ，Ｒｂ）を用いて、式７，式８，式９によって算出することができる。
［式７］
［式８］
［式９］

赤外分離部１０５３は、近赤外光透過率調整部１０６４により調整された透過率（βＲ，βＧ，βＢ）で画素毎に含まれる近赤外光成分ＩＲｉｎを重み付けることによって、近赤外透過信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を算出する。具体的に、赤外分離部１０５３は、第１線形補間処理部１０５２において得られた４つの線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中に含まれる近赤外光成分ＩＲｉｎを、透過率（βＲ，βＧ，βＢ）を用いて重み付けることによって、近赤外透過信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を生成する。赤外分離部１０５３は、当該近赤外透過信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を近赤外透過信号補正部１０５４に出力する。近赤外透過信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）は近赤外光成分の透過率（βＲ，βＧ，βＢ）を用いて、式１０，式１１，式１２によって算出することができる。なお、Ｒｉｎ，Ｇｉｎ，Ｂｉｎは画像を構成する画素毎に含まれる可視光成分を表す。
［式１０］
［式１１］
［式１２］
次に、近赤外透過信号補正部１０５４による色信号補正処理の内容について、図９を用いて説明する。

近赤外透過信号補正部１０５４は、一般的な線形特性を持つ撮像素子を用いた撮像装置１０で実施されている技術により、撮像装置１０によって再現される色がターゲットカラーとなるように色信号補正処理を行う。具体的には、近赤外透過信号補正部１０５４において、赤外分離部１０５３から出力された近赤外透過信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）に対して、式１３〜式１５を用いて演算を行い、近赤外光成分ＩＲｉｎの項が同じ式（ＩＲｉｎ*Ｒｇ*β）になるように補正して、補正された３つの線形補正色信号（Ｒｒ*Ｒｏｕｔ，Ｒｇ*Ｇｏｕｔ，Ｒｂ*Ｂｏｕｔ）を生成する。
［式１３］
［式１４］
［式１５］

なお、一般的にセンサ感度の補正は、感度の絶対量補正と、色相空間での回転（微調整レベル）の両方が行われるため、３×３の行列演算が行われる。しかし、実施例１の処理の影響範囲は感度の絶対量補正のみであるため、単純な係数乗算として説明した。勿論、３×３の行列演算を行った場合でも、同様の考え方でパラメータの算出が可能である。

（クリッピング処理の説明）
第２色分離部１０５５は、第１色分離部１０５１と同様に、線形化出力信号ＲＡＷ１が入力されて、４つの色信号に分離（信号がない部分は空白０を挿入）されるが、分離前に、飽和信号レベル（１２ビットの場合は４０９５）に対して色信号毎に予め定められたクリップレベルを用いてクリッピングを行う。

クリッピング処理とは、線形化出力信号ＲＡＷ１が、予め決めておいた所定の値を超えていたときに、その画素値を予め決めておいた所定の値に設定する処理のことである。

その後、第２線形補間処理部１０５６で第１線形補間処理部１０５２と同様の線形補間処理を行う。また、赤外含有色信号補正部１０５７は、第２線形補間処理部１０５６から出力される近赤外光を含む４つの色信号に対して、リニアマトリクス演算を行い、飽和領域で再現される色がターゲットカラーとなるように補正して、補正された４つの線形補正色信号（Ｘｓ，Ｙｓ，Ｚｓ，Ｔｓ）のうち、（Ｘｓ，Ｙｓ，Ｚｓ）の３信号を出力する。

なお、前述したＲＧＢＣフィルタを備えた撮像素子１０２の場合、式１において、Ｘ＝Ｒ，Ｙ＝Ｇ，Ｚ＝Ｂ，Ｔ＝Ｃと置き換えることによって、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）が算出される。こうして算出される線形補正色信号（Ｒ１，Ｇ１，Ｂ１）は、近赤外光が分離されていない赤外未分離色信号である。

（飽和領域判定処理の説明）
色信号選択部１０５９は、画素単位で並行して生成される前記２種類の線形補正色信号のうち、どちらの線形補正色信号を使用するかを選択するための判定を行う。そのため、まず、飽和領域判定部１０５８ａにおいて、線形化出力信号ＲＡＷ１に対して、飽和画素、または飽和画素の周辺画素（線形補間で飽和画素の影響を受けている画素）のみを表わす二値信号を生成する。

具体的には、飽和信号レベル以上で飽和と判定された画素を１とし、それ以外を０とする二値画像に対して、線形補間処理を行った際のカーネルサイズに合わせたダイレーション（膨張）処理を行って、このダイレーション処理の結果得られた二値画像信号を、飽和画素を表わす飽和画素信号として色信号選択部１０５９へ入力する。このとき、領域の膨張処理を行うため、飽和画素とともに、飽和画素の影響を受けていると考えられる周辺画素も合わせて抽出される。

色信号選択部１０５９は、着目した画素が、飽和画素、またはその周辺画素として抽出されているか否かに従って、２種類の色信号のうち、どちらの色信号を出力するかの選択を行う。すなわち、前述した二値画像信号が０のときは、飽和画素ではなく、かつ飽和画素の周辺画素でもないと判断されて、赤外分離された線形補正色信号（Ｒ１，Ｇ１，Ｂ１）が選択される。

一方、二値画像信号が１のときは、飽和画素または、飽和画素の周辺画素と判断されて、クリッピング処理された赤外未分離の線形補正色信号（Ｒ１，Ｇ１，Ｂ１）が選択される。

以上により、線形化出力信号ＲＡＷ１（２０ビット）から、人間の色覚特性に一致するように、近赤外光成分が分離されて、彩度や色相などが調整された３つの線形補正色信号（Ｒ１，Ｇ１，Ｂ１）（符号付き２１ビット）が選択されて出力される。

（色輝度合成による色再現処理の説明）
信号分離部１０３によって分離された２つの出力信号ＲＡＷ０のうち、色信号処理に用いない出力信号ＲＡＷ０は、輝度信号処理に利用される。

輝度信号生成部１０７は、出力信号ＲＡＷ０から輝度信号Ｙ１（１２ビット）を生成す
る。処理の内容は、出力信号線形変換部１０４で行う処理と、色分離をしない点以外は同
様であり、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて
周波数選択のためのディジタルフィルタリングを実施することも可能である。

輝度信号補正部１０８は、輝度信号Ｙ１に対してガンマ補正やヒストグラム補正等のコ
ントラスト調整を実施して、輝度補正信号Ｙ２（１２ビット）を生成する。

そして、線形補正色信号と輝度補正信号を用いて、色輝度合成部１０９おいて、画像出力部１１０に出力する映像信号を生成する。

（処理の流れの説明）

次に、図１０のフローチャートを用いて、実施例１の一連の処理の流れを説明する。

（ステップＳ１０）信号分離部１０３から撮像素子１０２に対して、撮像タイミングが指示されて、撮像が行われる。

（ステップＳ１２）撮像素子１０２は、光学系１０１を透過した光を受光して、光電変換を行い、出力信号ＲＡＷ０を出力する。

（ステップＳ１４）信号分離部１０３において、出力信号ＲＡＷ０を同一の２つの出力信号ＲＡＷ０，ＲＡＷ０に分離する。

（ステップＳ１６）出力信号線形変換部１０４において、一方の出力信号ＲＡＷ０を、線形性を有する線形化出力信号ＲＡＷ１に変換する。

（ステップＳ１８）第１色分離部１０５１において、線形化出力信号ＲＡＷ１をＲＧＢＣ各色に対応する４つの信号に分離する。さらに、第１線形補間処理部１０５２において、分離の際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、線形色信号（Ｒ０，Ｇ０，Ｂ０）を生成する。

（ステップＳ２０）近赤外光比率算出部１０６０において、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中に含まれる近赤外光成分の比率Ｒを算出する。

（ステップＳ２２）近赤外光透過率調整部１０６４は、近赤外光成分透過率テーブル１０６２および色信号補正係数レジスタ１０６３を参照して、センサ感度補正係数（Ｒｒ，Ｒｇ，Ｒｂ）の夫々で比率Ｒに対応する透過率βを除し、各波長域の透過率（βＲ，βＧ，βＢ）を算出する。

（ステップＳ２４）赤外分離部１０５３において、近赤外光透過率調整部１０６４により調整された透過率（βＲ，βＧ，βＢ）で画素毎に含まれる近赤外光成分ＩＲｉｎを重み付けることによって、近赤外透過信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を算出する。さらに、近赤外透過信号補正部１０５４で、近赤外透過信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）に対して色補正を行って、線形補正色信号（Ｒｒ*Ｒｏｕｔ，Ｒｇ*Ｇｏｕｔ，Ｒｂ*Ｂｏｕｔ）を生成する。

（ステップＳ２６）第２色分離部１０５５において、クリッピング処理を行い、さらに、第２線形補間処理部１０５６において、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）を生成する。

（ステップＳ２８）赤外含有色信号補正部１０５７において、第２線形補間処理部１０５６から出力される４つの色信号に対してリニアマトリクス演算を行い、色補正された４つの線形補正色信号を生成する。

（ステップＳ３０）飽和領域判定部１０５８ａにおいて、線形化出力信号ＲＡＷ１に対して飽和判定を行い、飽和画素、または飽和画素の周辺画素のみを表わす二値画像を生成する。

（ステップＳ３２）輝度信号生成部１０７において、出力信号ＲＡＷ０から輝度信号Ｙ１を生成する。

（ステップＳ３４）輝度信号補正部１０８において、輝度信号Ｙ１に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Ｙ２を生成する。

（ステップＳ３６）色輝度合成部１０９において、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）と輝度補正信号Ｙ２を合成して映像信号（Ｒ２，Ｇ２，Ｂ２）を生成する。

（ステップＳ３８）生成された映像信号（Ｒ２，Ｇ２，Ｂ２）を、画像出力部１１０に出力する。

以上、説明したように、実施例１に係る撮像装置１０によれば、近赤外光透過率調整部１０６４は、可視光成分（可視光分光感度）が大きい波長域ほど画素に含まれる近赤外光成分の透過率を小さく調整でき、可視光成分（可視光分光感度）が小さい波長域ほど画素に含まれる近赤外光成分の透過率を大きく調整できる。そして、赤外分離部１０５３は、このように調整された近赤外光成分の透過率（βＲ，βＧ，βＢ）を用いて画素毎に含まれる近赤外光成分ＩＲｉｎを重み付けることができる。これによって、各波長域で近赤外光成分ＩＲｉｎの透過率（ＩＲｉｎ*Ｒｇ*β）を同じ値に近づけることができる。そのため、近赤外光成分ＩＲｉｎにおける分光感度のバランスが各波長域（Ｒ，Ｇ，Ｂ）で崩れることを防ぎ、色バランスが適切に調整された画像を得ることができる。

さらに、上記式１３および式１５夫々の中辺において、近赤外光成分ＩＲｉｎの項に注目する。式１３の中辺では、センサ感度補正係数Ｒｒと透過率βの前にある係数（Ｒｇ／Ｒｒ）との乗算によってセンサ感度補正係数Ｒｒが打ち消される。即ち、式１３の右辺に示すように、近赤外光成分ＩＲｉｎの項はセンサ感度補正係数Ｒｇに依存する値となる。その結果、近赤外光成分ＩＲｉｎの項は式１４の右辺に示す近赤外光成分ＩＲｉｎの項と同じ式になる。

同様に、上記式１５の中辺においても、センサ感度補正係数Ｒｂと透過率βの前にある係数（Ｒｇ／Ｒｂ）との乗算によってセンサ感度補正係数Ｒｂが打ち消される。即ち、式１５の右辺に示すように、近赤外光成分ＩＲｉｎの項はセンサ感度補正係数Ｒｇに依存する値となる。その結果、近赤外光成分ＩＲｉｎの項は上記式１４の右辺に示す近赤外光成分ＩＲｉｎの項と同じ式になる。

これにより、３つの線形補正色信号（Ｒｒ*Ｒｏｕｔ，Ｒｇ*Ｇｏｕｔ，Ｒｂ*Ｂｏｕｔ）の夫々で、近赤外光成分ＩＲｉｎの項が同じ式になる。

なお、式１３〜式１５夫々の右辺において、可視光成分の項（Ｒｒ*Ｒｉｎ），（Ｒｇ*Ｇｉｎ），（Ｒｂ*Ｂｉｎ）に示すように、可視光成分については従来同様、センサ感度係数（Ｒｒ，Ｒｇ，Ｒｂ）の夫々が、夫々の可視光成分（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）に乗算されることで、可視光成分（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）夫々における分光感度の差が補正されている。

従って、実施例１では、センサ感度係数（Ｒｒ，Ｒｇ，Ｒｂ）の夫々は可視光成分のみに効果を与え、近赤外光成分には影響を及ぼさない。このため、近赤外光成分における分光感度のバランスが線形補正色信号（Ｒｒ*Ｒｏｕｔ，Ｒｇ*Ｇｏｕｔ，Ｒｂ*Ｂｏｕｔ）の夫々で崩れてしまうことを防止できる。

なお、実施例１は、撮像素子１０２が、４種類のフィルタ（赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢ，透明フィルタＣ）からなる光学フィルタを有するものとして説明したが、この光学フィルタは、例えば、近赤外光を含む可視光全体を透過する透明フィルタＣの代わりに、近赤外光のみを透過する近赤外フィルタＩｒを有する構成としても同様の効果を奏する。

さらに、実施例１は撮像素子１０２が原色系の色フィルタを有するものとして説明したが、これは、補色系の色フィルタを用いても実現可能である。

また、実施例１は赤外含有色信号補正部１０５７において色補正処理を行い、輝度信号補正部１０８において輝度補正処理を行う構成としたが、この色補正と輝度補正は、必要に応じて適宜実施すればよい。

さらに、実施例１は、可視光領域における互いに異なる波長域と近赤外光領域とに透過域を夫々有する光学フィルタを、可視光領域でＲ＋Ｇ＋Ｂ＝Ｃ、近赤外光領域でＲ＝Ｇ＝Ｂ＝Ｃとなるベイヤ配列のフィルタで構成したが、他のフィルタで構成してもよい。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎない
ものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を
逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

Ｘ，Ｙ，Ｚ，Ｔ（Ｒ，Ｇ，Ｂ，Ｃ）・・・・・フィルタ（光学フィルタ）
１０・・・・・・・・・・・・撮像装置
１０２・・・・・・・・・・・撮像素子
１０５３・・・・・・・・・・赤外分離部
１０６０・・・・・・・・・・近赤外光比率算出部
１０６２・・・・・・・・・・近赤外光成分透過率テーブル（透過率記憶部）
１０６３・・・・・・・・・・色信号補正係数レジスタ（補正係数記憶部）
１０６４・・・・・・・・・・近赤外光透過率調整部
β・・・・・・・・・・・・・透過率
（βＲ，βＧ，βＢ）・・・・透過率
Ｒ・・・・・・・・・・・・・比率

Claims (3)

1. 可視光領域における互いに異なる波長域と近赤外光領域とに透過域を夫々有し、かつ、所定のパターンで配列された複数の光学フィルタと、
   前記複数の光学フィルタを透過した光を前記複数の光学フィルタ毎に電気信号に変換して、画像を生成する撮像素子と、
   前記画像を構成する画素毎に含まれる近赤外光成分の比率に対応付けて前記画素毎に含まれる近赤外光成分の透過率が予め記憶された透過率記憶部と、
   前記画素毎に含まれる可視光成分が同じになるように前記可視光成分を前記波長域毎に補正するために予め設定された補正係数を予め記憶した補正係数記憶部と、
   前記補正係数記憶部に記憶された前記補正係数で前記透過率を除し、前記波長域毎の前記透過率を調整する近赤外光透過率調整部と、
   前記近赤外光透過率調整部により調整された透過率で前記画素毎に含まれる近赤外光成分を重み付ける赤外分離部と、を有することを特徴とする撮像装置。
2. 前記複数の光学フィルタは、互いに異なる波長域を有する可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい透過率を持つ３種類のフィルタと、可視光領域の透過率が前記３種類のフィルタの各透過率の線形和で表わされて、かつ、近赤外光領域において、前記３種類のフィルタの透過率と等しい透過率を持つ１種類のフィルタと、が前記所定のパターンで配列されたことを特徴とする請求項１に記載の撮像装置。
3. 前記画像を構成する画素毎に含まれる近赤外光成分の比率を算出する近赤外光比率算出部を備え、
   前記透過率記憶部は、前記近赤外光比率算出部により算出された前記近赤外光成分の比率に対応付けて前記画素毎に含まれる近赤外光成分の透過率を予め記憶することを特徴とする請求項１又は２に記載の撮像装置。