JP2009253447A

JP2009253447A - 近赤外光／可視光共用の固体撮像素子及び固体撮像装置

Info

Publication number: JP2009253447A
Application number: JP2008096325A
Authority: JP
Inventors: Toshiyuki Nakajima; 俊幸中嶋
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-04-02
Filing date: 2008-04-02
Publication date: 2009-10-29

Abstract

【課題】特別な機構を必要とせず、昼・夜共に高解像度の画像撮影ができるような固体撮像装置を実現する。
【解決手段】可視光及び近赤外光に感度を有する固体撮像素子（イメージセンサ）において、赤及び緑の両方の光の波長を透過する画素（Ｒ＋Ｇ画素）４０１と、青及び緑の両方の光の波長を透過する画素（Ｂ＋Ｇ画素）４０４と、近赤外光及び緑の両方の光の波長を透過する画素（ＩＲ＋Ｇ画素）４０２と、近赤外光のみの光の波長を透過する画素（ＩＲ画素）４０３とを配置し、昼時にはＲ＋Ｇ，Ｂ＋Ｇ画素から、夜時にはＲ＋Ｇ，Ｂ＋Ｇ，ＩＲ＋Ｇ，ＩＲ画素からそれぞれ輝度生成を行い、昼時の色情報はＩＲ＋Ｇ画素からＩＲ画素を減算することでＧ画素値を、Ｒ＋Ｇ画素，Ｂ＋Ｇ画素からそれぞれＧ画素を減算することでＲ，Ｂ画素値を求めることにより得る。
【選択図】図４

Description

本発明は、近赤外光／可視光共用の固体撮像素子（イメージセンサ）、及びこれを用いた固体撮像装置（カメラ）に関するものである。

車載カメラや監視カメラなどでは、撮影条件が夜など太陽光や照明が無い場所でも撮影できることが求められてきている。通常、夜時の撮影では近赤外光ＬＥＤなどの照明で照らした光を近赤外光に反応するイメージセンサで撮影するが、近赤外光に反応するイメージセンサでは昼時にも近赤外光に反応するため良好な色再現を実現することができない。

そこで、従来、１つのイメージセンサで昼・夜時両方を撮影するために、図２に示すような構成が用いられている（特許文献１参照）。イメージセンサ２０２は可視光・近赤外光の両方に反応するセンサで、近赤外光の波長の光を透過させないような近赤外光カットフィルタ２０１を、昼時にはイメージセンサ２０２の前に配置してイメージセンサ２０２内には可視光のみ入射させることにより良好な色再現処理ができるようにして、夜時には近赤外光カットフィルタ２０１を機械的に取り除くことにより近赤外照明で照らされた近赤外光がイメージセンサ２０２に入射できるようにすることにより夜時にも撮影ができるようにしている。

また、従来、図３に示すとおり、イメージセンサ上に赤（画素３０１）、青（画素３０２）、緑（画素３０３）、近赤外光（画素３０４）の波長の光を通すカラーフィルタが配置された画素を配置することにより、昼時には赤、青、緑の画素から画像情報を計算し、夜時には近赤外光の画素から画像情報を計算することにより１つのイメージセンサで昼・夜兼用の撮影を可能にしている（特許文献２参照）。
特開２０００−５９７９８号公報特開平１０−６５１３５号公報

特許文献１の従来例では、近赤外光カットフィルタを機械的に開閉させるような機構が必要であり、その分コスト増につながるという課題がある。また、車載カメラなど高信頼性が求められるような装置では、近赤外光カットフィルタ開閉装置の分だけ信頼性が低下するという課題もある。

特許文献２の従来例では、近赤外光に対する画素が全体の１／４しか配置されていないため、夜など可視光がほとんどない環境での撮影時には解像度が１／４に低下してしまうという課題がある。

本発明は、昼など可視光が存在する環境及び夜など可視光が存在しない環境共に高解像度の撮影が１つのセンサで特別な機械機構を必要とせずに可能とすることを目的とする。

本発明による固体撮像装置では、固体撮像素子に赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素（以降Ｒ＋Ｇ画素と呼ぶ）と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素（以降Ｂ＋Ｇ画素と呼ぶ）と、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素（以降ＩＲ＋Ｇ画素と呼ぶ）と、近赤外光のみの光の波長を透過するカラーフィルタを配置した画素（以降ＩＲ画素と呼ぶ）との４種類のカラーフィルタ付き画素が配置されたものを使用する。

信号処理部では、昼時の輝度又は明るさ情報を抽出する場合には、Ｂ＋Ｇ画素とＲ＋Ｇ画素から算出し、夜時には４種類全ての画素から算出する。また、昼時にもＩＲ＋Ｇ画素及びＩＲ画素も含めた画素値の差分処理などによりエッジ抽出などを行い、算出した輝度又は明るさ情報に対するエッジ強調などの補正に利用することができる。昼時の色情報については、ＩＲ＋Ｇ画素から同じ重心位置に補間されたＩＲ画素を減算することで緑のみの画素値（以降Ｇ画素と呼ぶ）を算出し、Ｒ＋Ｇ画素及びＢ＋Ｇ画素から同じ重心位置に補間されたそれぞれのＧ画素を減算することにより赤のみ及び青のみの画素値（以降それぞれＲ画素、Ｂ画素と呼ぶ）を算出する。それぞれ算出した緑、赤、青画素値から色情報を算出する。

本発明の固体撮像装置からは、昼時には上記で算出した輝度又は明るさ情報と色情報からカラー画像を出力し、夜時には色情報を算出することができないのでモノクロ画像を出力させる。

本発明によれば、昼時のように可視光がある場合も夜時のように可視光が無い場合にも、１つのセンサにて特許文献１のような特別な機械機構を必要とせず撮影が可能である。また、このような画素配列を持ったセンサでは、特許文献２に示されたセンサに対して、近赤外光画素が２倍含まれているので夜時にも高解像度の画像撮影が可能である。

以下、本発明に係る固体撮像素子及び固体撮像装置の実施の形態を、図面に基づいて詳細に説明する。

図１は、本発明における固体撮像装置１００のブロック図を示している。図１において、固体撮像素子（イメージセンサ）１０２の前に光学レンズ１０１を配置して、撮像されたアナログデータをＡＤＣ部１０３でデジタル化する。ここで固体撮像素子（イメージセンサ）１０２の画素配列については後述する。デジタル化された画像信号は信号処理部１０４へ入力され、外部ＤＲＡＭ（又は同機能のメモリ）１０６を使いながら輝度（又は明るさ）と色情報に分解される。信号処理方法の詳細については後述する。輝度情報と色情報信号は画像フォーマット変換部１０５で外部の出力装置（例えば、カメラ付随の液晶モニタ１０８や静止画記録するためのメモリカード１０７など）に出力するためのフォーマット（例えば、ＪＰＥＧやＭＰＥＧ）に変換される。

図４は、本発明における固体撮像素子（イメージセンサ）１０２の画素配列の例を示している。図４において、Ｒ＋Ｇ画素（４０１）の右隣にＩＲ画素（４０３）、下隣にＩＲ＋Ｇ画素（４０２）及び右下にＢ＋Ｇ画素（４０４）が配置されており、この４画素配置が水平垂直に繰り返しマトリックス上に配置されている。また、各４種類の画素の配置が入れ替わった場合、及び４種類の画素がセンサ上の任意の場所に配置されたようなイメージセンサであっても同様な効果を出すことができる。

図５は信号処理部１０４にて使用する画素配列及び重心位置を示し、図６は信号処理部１０４にて使用するフィルタ係数の例を示す。

まず、重心位置５０５でのＢ＋Ｇ，Ｒ＋Ｇ，ＩＲ＋Ｇ，ＩＲ画素の値を図６に示すフィルタで補間処理を施すことにより求めると、
（Ｂ＋Ｇ）’＝｛９×（Ｂ＋Ｇ）_{（ｎ＋１，ｎ＋１）}＋３×（Ｂ＋Ｇ）_{（ｎ＋３，ｎ＋１）}＋３×（Ｂ＋Ｇ）_{（ｎ＋１，ｎ＋３）}＋（Ｂ＋Ｇ）_{（ｎ＋３，ｎ＋３）}｝／１６
（Ｒ＋Ｇ）’＝｛９×（Ｒ＋Ｇ）_{（ｎ＋２，ｎ＋２）}＋３×（Ｒ＋Ｇ）_{（ｎ＋２，ｎ）}＋３×（Ｒ＋Ｇ）_{（ｎ，ｎ＋２）}＋（Ｒ＋Ｇ）_{（ｎ，ｎ）}｝／１６
（ＩＲ＋Ｇ）’＝｛９×（ＩＲ＋Ｇ）_{（ｎ＋２，ｎ＋１）}＋３×（ＩＲ＋Ｇ）_{（ｎ，ｎ＋１）}＋３×（ＩＲ＋Ｇ）_{（ｎ＋２，ｎ＋３）}＋（ＩＲ＋Ｇ）_{（ｎ，ｎ＋３）}｝／１６
（ＩＲ）’＝｛９×（ＩＲ）_{（ｎ＋１，ｎ＋２）}＋３×（ＩＲ）_{（ｎ＋３，ｎ＋２）}＋３×（ＩＲ）_{（ｎ＋１，ｎ）}＋（ＩＲ）_{（ｎ＋３，ｎ）}｝／１６
のようになる。ここに、（ｎ，ｎ）は、ｘ＝ｎ，ｙ＝ｎという座標位置を示す。

以上から、昼時には重心位置５０５における輝度情報は、上式で求めた（Ｂ＋Ｇ）’と（Ｒ＋Ｇ）’値から、
昼時の輝度Ｙ_ｄａｙ＝（Ｒ＋Ｇ）’＋（Ｂ＋Ｇ）’
で求めることができる。

また、夜時には（Ｒ＋Ｇ）’，（Ｂ＋Ｇ）’，（ＩＲ＋Ｇ）’，（ＩＲ）’から、
夜時の輝度Ｙ_{ｎｉｇｈｔ}＝（Ｒ＋Ｇ）’＋（Ｂ＋Ｇ）’＋（ＩＲ＋Ｇ）’＋（ＩＲ）’
で輝度情報を求めることができる。

次に、重心位置５０５における色情報（Ｒ，Ｇ，Ｂの画素値）は、（Ｂ＋Ｇ）’，（Ｒ＋Ｇ）’，（ＩＲ＋Ｇ）’，（ＩＲ）’から、
Ｇ’＝（ＩＲ＋Ｇ）’−（ＩＲ）’
Ｒ’＝（Ｒ＋Ｇ）’−（ＩＲ＋Ｇ）’＋（ＩＲ）’＝（Ｒ＋Ｇ）’−Ｇ’
Ｂ’＝（Ｂ＋Ｇ）’−（ＩＲ＋Ｇ）’＋（ＩＲ）’＝（Ｂ＋Ｇ）’−Ｇ’
で求めることができる。

上記Ｒ’，Ｂ’，Ｇ’値を用いて色情報信号（例えば色差Ｒ−Ｇ，Ｂ−Ｇ）を算出する。なお、画素補間フィルタの係数は図６のとおりである必要はなく、係数及びフィルタ水平・垂直サイズを変更しても同様の処理を行うことにより輝度及び色情報を得ることができる。

上記処理を水平、垂直方向に繰り返し行うことにより、全ての画素重心位置での輝度及び色情報を得ることができる。

最後に、図７を用いて、本発明における昼時の水平方向エッジ強調処理の例を示す。上述した方法にて昼時の輝度情報を算出した重心位置７０２の輝度値（Ｙ２）と、重心位置７０１，７０２，７０３での輝度情報を夜時の処理と同様にＲ＋Ｇ，Ｂ＋Ｇ，ＩＲ＋Ｇ，ＩＲ画素から算出した輝度値（Ｙ１’，Ｙ２’，Ｙ３’）からエッジ抽出フィルタを用いてエッジ成分を抽出した信号とを下式のように加算することにより、エッジ強調を行った輝度値Ｙ_ｎｅｗを、
Ｙ_ｎｅｗ＝Ｙ２＋（Ｙ１’−２×Ｙ２’＋Ｙ３’）
のようにして求めることができる。ここに、
Ｙ２＝重心７０２での（Ｒ＋Ｇ）’＋重心７０２での（Ｂ＋Ｇ）’
Ｙ１’＝重心７０１での（Ｒ＋Ｇ）’＋重心７０１での（Ｂ＋Ｇ）’＋重心７０１での（ＩＲ＋Ｇ）’＋重心７０１での（ＩＲ）’
Ｙ２’＝重心７０２での（Ｒ＋Ｇ）’＋重心７０２での（Ｂ＋Ｇ）’＋重心７０２での（ＩＲ＋Ｇ）’＋重心７０２での（ＩＲ）’
Ｙ３’＝重心７０３での（Ｒ＋Ｇ）’＋重心７０３での（Ｂ＋Ｇ）’＋重心７０３での（ＩＲ＋Ｇ）’＋重心７０３での（ＩＲ）’
とする。

なお、垂直方向のエッジ強調についても同様に処理を施すことによりエッジ強調を行った輝度情報を得ることができる。このように輝度情報算出時にはＩＲ，ＩＲ＋Ｇ画素を使用せず、エッジ強調処理にＩＲを含む画素（ＩＲ画素，ＩＲ＋Ｇ画素）から求めた輝度情報を使用することにより、より解像度が高い処理画像を得ることが可能である。

本発明に係る固体撮像装置は、特に車載カメラや監視カメラなどのように昼・夜問わず撮影が必要であるような固体撮像装置の低コスト化に大きな効果がある。また、車載カメラなどのように高信頼性が求められるような固体撮像装置では、本発明によりカメラ構成が簡単になるため信頼性が向上するという非常に大きな効果がある。

本発明における固体撮像装置の構成図である。従来例１におけるカメラ構成図である。従来例２における固体撮像素子の画素配列図である。本発明における固体撮像素子の画素配列図である。本発明における固体撮像素子の画素配列及び重心位置図である。本発明における信号処理部のフィルタ例を示す図である。本発明における固体撮像素子の画素配列及び各重心位置図である。

符号の説明

１００固体撮像装置
１０１光学レンズ
１０２固体撮像素子（イメージセンサ）
１０３ＡＤＣ部
１０４信号処理部
１０５画像フォーマット変換部
１０６ＤＲＡＭ
１０７メモリカード
１０８液晶モニタ

Claims

可視光及び近赤外光に感度を有する固体撮像素子であって、
赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
近赤外光のみの光の波長を透過するカラーフィルタを配置した画素とが配置されていることを特徴とする固体撮像素子。
水平２画素、垂直２画素毎に赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光のみの光の波長を透過するカラーフィルタを配置した画素とがマトリックス上に配置されていることを特徴とする請求項１に記載の固体撮像素子。
可視光及び近赤外光に感度を有する固体撮像素子を備えた固体撮像装置であって、
前記固体撮像素子は、
赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
近赤外光のみの光の波長を透過するカラーフィルタを配置した画素とが配置されていることを特徴とする固体撮像装置。
アナログ信号からデジタル信号に変換するＡＤＣ部と、
輝度情報と色情報を作るための信号処理部と、
出力装置に適したフォーマットに変換するためのフォーマット変換部とを更に備えたことを特徴とする請求項３に記載の固体撮像装置。
前記信号処理部において、昼撮影時には赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素から輝度情報を作成し、夜撮影時には赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光のみの光の波長を透過するカラーフィルタを配置した画素から輝度情報を作成することを特徴とする請求項４に記載の固体撮像装置。
前記信号処理部において、昼撮影時に赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素とから算出した輝度値と、赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光のみの光の波長を透過するカラーフィルタを配置した画素から算出した輝度値からエッジ抽出した輝度値とを加算することによりエッジ強調処理を行うことを特徴とする請求項４に記載の固体撮像装置。
前記信号処理部において、昼撮影時には、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素の値から、その画素位置周辺の近赤外光のみの光の波長を透過するカラーフィルタを配置した画素から上記画素位置に対する補間処理を施した値を減算することにより緑のみの画素値を求め、赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素の値から、その画素位置周辺の緑のみの画素値に対し、上記画素位置に対する補間処理を施した値を減算することにより赤のみの画素値を求め、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素の値から、その画素位置周辺の緑のみの画素値に対し、上記画素位置に対する補間処理を施した値を減算することにより青のみの画素値を求め、上記で求めた緑、赤、青の画素値から色情報を求めることを特徴とする請求項４に記載の固体撮像装置。