JP2011211343A - 撮像装置 - Google Patents

Abstract

【課題】固体撮像素子から出力されるカラー映像信号の感度を向上する。
【解決手段】固体撮像素子を用い太陽光下では近赤外線を除去するフィルタを通過してカラー撮像する撮像装置において、緑と青とに浅いフォトダイオードのＣＣＤ撮像素子を用い、赤に深いフォトダイオードのＣＣＤ撮像素子を用い、白色ＬＥＤまたは赤緑青のＬＥＤ照明時または黄青のＬＥＤ照明時または青のＬＥＤ照明時は近赤外線も透過する素通しガラスを透過してカラー撮像し、カレンダーと時計とを内蔵して、近赤外線を含まない月光や日没後や日の出前の青空の光の時間を判別し、判別した該時間には近赤外線も透過する素通しフィルタでカラー撮像する。青色ＬＥＤ照明や青色蛍光灯の照明時は肌色の画素は輝度を高くし、マゼンタ方向に色相補正する。
【選択図】図１Ａ

Description

本発明は、固体撮像素子を有する撮像装置の感度向上に関するものである。

白熱灯は赤外線が多い。太陽光も蛍光灯も水銀灯もメタルハライドランプもキセノン放電灯等の放電灯も赤外線を含む。蛍光灯では、可視光放射性分が２５％、赤外線光放射が３０％、紫外線光放射が０．５％で、残りの成分は熱損失といわれている。そして、ＣＣＤ（Charge-Coupled-Device）撮像素子は、赤の感度と近赤外（Infrared Red：ＩＲ）の感度が高い。

また、色分解光学系（プリズム）の赤緑青チャンネルにおいても、ＣＣＤ撮像素子上（オンチップ）の赤・緑・青（ＲＧＢ）、シアン（Ｃｙ）・マゼンタ（Ｍａ）・イエロー（Ｙｅ）、等のカラーフィルタも、近赤外線を同等に透過する。
色分解光学系のＣＣＤ撮像素子を用いた撮像装置、又は、赤・緑・青とが同一種類のＣＣＤ撮像素子を用いた撮像装置、若しくは、オンチップカラーフィルタ付きＣＣＤ撮像素子を用いた撮像装置では、赤外カットフィルタのない状態でカラー撮像すると、赤色、緑色、青色、共に、近赤外線領域で同等の感度を有する。このため、輝度信号が近赤外線に比例し、近赤外線領域の白黒撮像が容易となる。

輝度信号Ｙと、赤色信号Ｒ、緑色信号Ｇ、青色信号Ｂの関係は、
ＳＤＴＶで、
Ｙ＝０．５９Ｇ＋０．３Ｒ＋０．１１Ｂ ・・・式（１）
であり、
ＨＤＴＶで、
Ｙ＝０．６１Ｇ＋０．３１Ｒ＋０．０８Ｂ ・・・式（２）
であり、おおよそ
Ｙ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂ ・・・式（３）
である。
白色を撮像時のＲＧＢの信号電荷比は、１：１：０．２５程度なので、輝度信号の雑音Ｎの二乗は、Ｎ^２＝０．３６＋０．０９＋０．１６＝０．６１で、雑音Ｎは、約０．８と、２ｄＢほどＧ単体より改善する。

低圧ナトリウムランプは、黄色の５８９ｎｍの単一輝線であり、高圧ナトリウムランプでも、赤色が主で、白色を撮像時のＲＧＢの信号電荷比は、２：１：０．０５程度である。従って、輝度信号の雑音Ｎの二乗は、Ｎ^２＝０．３６＋０．０２２５＋４＝４．３８で、雑音Ｎは、約２．０９と、６．４ｄＢほどＧ単体より低下する。
防犯用の青照明下では、白色を撮像時のＲＧＢの信号電荷比は、０．１２５：１：２程度なので、輝度信号の雑音Ｎの二乗は、Ｎ^２＝０．３６＋５．７６＋０．０２５＝６．１１２５で、雑音Ｎは、約２．４７と、７．９ｄＢほどＧ単体より低下する。

しかし、近赤外線を含む照明下でのカラー撮像時には、近赤外線を除去するフィルタを通過させないと、被写体の近赤外線反射で目視（肉眼）とは色が変わって撮像されていた。そこで、近赤外線を除去し、赤色と緑色とを減衰させる（以下ＩＲcut）フィルタ（以降、ＩＲcutフィルタと称する）を用いてカラー撮像し、高感度白黒撮影時はＩＲcutフィルタを素通しに変更し、輝度の赤の割合を増加させる技術がある（特許文献１参照）。しかし、ＩＲcutフィルタのため、３２００Ｋの基準光でも約３ｄＢから６ｄＢ感度が低下する。

蛍光灯下や水銀灯下では、肌色が緑色気味に撮像される。そこで、肌色の画素のみマゼンタ方向に色相補正する技術がある（特許文献２参照）。
近年、省電力照明として白色ＬＥＤ照明が導入され、色温度可変照明として赤青緑ＬＥＤ照明が導入され、防犯用街灯として青色ＬＥＤ照明や青色蛍光灯も導入されてきた。
この青色ＬＥＤ照明や青色蛍光灯の照明下では、肌色は白色光下より暗く撮像され、マゼンタ方向に色相補正しても、暗く撮像される。
また、赤外線をカットするフィルムも販売されている。また、紫外線をカットするフィルムやコーティングを追加した放電灯も販売されている。

また、近年では、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰだけでなく、安価な汎用のＦＰＧＡ（Field-Programmable-Gate-Array）で容易に実現できるようになった。但し、信号処理諧調をなるべく減らさないと回路規模が増大する。
さらに、ＣＣＤ撮像素子から出力された信号から雑音を除去するＣＤＳ（Correlated-Double-Sampling）、暗電流補正と利得可変増幅回路（Automatic-Gain-Control：ＡＧＣ）とデジタル映像信号Ｖｉに変換するＡＤＣ（Analog-Digital-Converter）とを内蔵したＡＦＥ（Analog-Front-End）が普及し、ＡＦＥのＡＤＣ階調は、従来１０ビットだったものが、１２ビットや１４ビットのものが一般化し、１６ビットも製品化された。また、ＡＤＣを２２ビットとし、ＡＧＣをＡＤＣの後に配置したＡＦＥも製品化された。

ＣＣＤ撮像素子において、ＩＴ（Inter Line）−ＣＣＤ撮像素子は、単価が安い割に感度が高い。特にオンチップレンズからフォトダーオードまでの配線層を薄くしたＣＣＤ撮像素子は青の感度も高い。特に、埋め込みフォトダイオードを浅く形成し、欠陥の影響である異常暗電流の経時増加を低減して電荷電圧変換感度を高くしたＣＣＤ撮像素子は、赤の感度は低くなるが緑と青の感度は高い。さらに、電子増倍型ＣＣＤ（Electron-Multiplying-ＣＣＤ：ＥＭ−ＣＣＤ）撮像素子は、電子冷却部と組み合わせて感度を高くできるため、可視光と近赤外線光の夜間の撮影用の照明なしの準動画監視が可能となった。ＥＭ−ＣＣＤ撮像素子は、赤色と近赤外線の感度が特に高いが、カラー撮像用のＩＲcutフィルタの赤色と緑色との減衰が特に強く、ＩＲcutフィルタのため、約６ｄＢから９ｄＢ感度が低下する。

特開２００３−２６４８４２号公報 特開平９−２４７７０１号公報

本発明の目的は、固体撮像素子から出力されるカラー映像信号の感度を向上することにある。

上記課題を解決するため、本発明の撮像装置は、色分解光学系と３ヶの固体撮像素子用いた撮像装置またはオンチップカラーフィルタ付きＣＣＤ撮像素子を用いた撮像装置において、少なくとも、青色の入射光量が赤色および緑色の入射光量より多いと判定するＡＦＥと、前記判定によって輝度信号の赤色成分を少なくし、輝度信号の青色成分を多くする映像信号処理部を有し、肌色の画素は輝度を高くして肌色の画素の色差信号は周囲画素の色差信号との平均で補間するものである。

また上記課題を解決するため、発明の撮像装置は、色分解光学系と３ヶの固体撮像素子用いた撮像装置またはオンチップカラーフィルタ付きＣＣＤ撮像素子を用いた撮像装置において、少なくとも、赤色の入射光量が赤色の入射光量より多いと判定するＡＦＥと、前記判定によって素通しでカラー撮像するものである。

また、本発明の撮像装置は、固体撮像素子を用い太陽光下では近赤外線を除去するフィルタを通過してカラー撮像する撮像装置において、白色ＬＥＤまたは赤緑青のＬＥＤ照明時または黄青のＬＥＤ照明時または青のＬＥＤ照明時または有機ＥＬ照明時または近赤外線反射膜付放電灯照明時は近赤外線も透過する素通しガラスを透過してカラー撮像することと、カレンダーと時計とを内蔵して、近赤外線を含まない月光や日没後や日の出前の青空の光の時間を判別し、判別した該時間には近赤外線も透過する素通しフィルタでカラー撮像することと、の少なくとも一方を行うことを特徴とする。

本発明によれば、固体撮像素子から出力されるカラー映像信号の感度の向上が実現する。

本発明の撮像装置の構成を示すブロック図である。 本発明の撮像装置の構成を示すブロック図である。 本発明の一実施例の動作を説明するための模式図である。 従来技術の動作を示す模式図である。 従来の撮像装置の構成例を示すブロック図である。 従来の撮像装置の構成例を示すブロック図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、各図の説明において、従来の技術を説明した図１と図２を含め、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため、できるだけ説明を省略する。

本発明の撮像装置の一実施形態を図１と図２および図４によって説明する。図１は、本発明の撮像装置の構成を示すブロック図である。また、図２は、本発明の一実施例の動作を説明するための模式図である。さらに、図１Ａと図１Ｂは、それぞれ、撮像装置の構成を示すブロック図である。また図４は、従来の撮像装置の構成を示すブロック図である。図４Ａと図４Ｂは、それぞれ、撮像装置の構成を示すブロック図である。
図１において、１、２１、２２、および２３は撮像装置、２は入射光を結像するレンズ等の光学系、１４は切替光学フィルタ、３は光学系２を通って入射する光を赤色、緑色、青色に色分解する色分解光学系、４は撮像装置１内の各部と光学系２とを制御するＣＰＵ（Central-Processing-Unit）である。ただし、ＣＰＵ４から各部への制御線は図示しない。また図１において、６は読出垂直転送駆動部（Ｖ−ＴＧ）、８はＥＭ−ＣＣＤ撮像素子、１６、１７、および１８はＩＴ−ＣＣＤ等のＣＣＤ撮像素子、１０、１１および１２はＡＦＥ、２８はＣＭＧ駆動部、１９と２０は水平転送駆動部（Ｈ−ＴＧ）である。また図１において、７と２５は輝度信号生成マトリクス比可変の色分離部と色相検出部含む映像信号処理部、９と２４は輝度信号生成マトリクス比可変の色相検出部含む映像信号処理部である。

図１において、ＣＣＤ撮像素子８、１６、１７、および１８は、色分解光学系３から入射した赤緑青の各光を電気信号に変換する。ＡＦＥ１０、１１および１２は、ＣＣＤ撮像素子８、１６、１７、若しくは１８から出力された信号から雑音を除去するＣＤＳ、暗電流補正、および信号の利得を調整するＡＧＣとデジタル映像信号Ｖｉに変換するＡＤＣと水平同期発生部（Timing-Generator：ＴＧ)からなるＡＦＥである。但し、ＡＧＣやＴＧがＡＦＥに含まれない構成を用いてもよい。
映像信号処理部７若しくは９は、１０、１１および１２のＡＦＥから出力された信号に種々の映像処理を施しＮＴＳＣ（National-Television-System-Committee）方式またはＰＡＬ（Phase-Alternating-by-Line）方式の複合映像信号（Video-Burst-Sync以下ＶＢＳ）またはＳＤＩ（Serial-Digital-Interface）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する。

図１の実施例は、従来技術である図４と相違する点は、映像信号処理部の７と２１との輝度信号生成マトリクス比が可変であることである。輝度信号生成マトリクス比が可変のため、極端な色の照明でも輝度信号の雑音が増加せず、実効感度が向上するものである。また、図４Ａでは、白熱電球２６の照明下で撮像装置が使用され、図４Ｂでは、高圧Ｎａ灯の照明下で撮像装置が使用される。それに対して、本発明の一実施形態の、図１Ａでは、白色ＬＥＤ１３の照明下で撮像装置が使用され、図１Ｂでは、赤色発光ＬＥＤ、緑色発光ＬＥＤ、青色発光ＬＥＤの照明（赤青緑ＬＥＤ）下で撮像装置が使用される。
以下、実施例１は、青照明の肌色輝度補正について主に説明し、実施例２はＩＴ−ＣＣＤ自動検出 ＥＭ−ＣＣＤはＬＥＤ照明と連動について主に説明する。また、実施例３は、カレンダーと時計判定について主に説明する。

図１において、ＥＭ−ＣＣＤ撮像素子８の赤と、ＩＴ−ＣＣＤ撮像素子１６は、オンチップレンズからフォトダイオードまでを深く形成したフォトダイオードで、近赤外線感度の高い種類のＣＣＤ撮像素子である。また、ＥＭ−ＣＣＤ撮像素子８の緑・青とＩＴ−ＣＣＤ撮像素子１７と１８は、オンチップレンズからフォトダイオードまでを浅く形成したフォトダイオードで、近赤外線感度の低い種類のＣＣＤ撮像素子である。

赤緑青の色分解光学系と固体撮像素子を３ヶ用いた撮像装置、またはオンチップカラーフィルタ付きＣＣＤ撮像素子を用いた撮像装置では、太陽光下で、おおよそ、輝度信号Ｙが、Ｙ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂでカラー撮像する場合には、オンチップレンズからフォトダイオードまでを浅く形成した緑と青に感度の高いフォトダイオードで、近赤外線感度の低い種類のＣＣＤ撮像素子を用いる。特に、オンチップレンズからフォトダイオードまでを深く形成した赤に感度の高いフォトダイオードで、近赤外線感度の高い種類のＣＣＤ撮像素子を用いる。

図１ＡのＣＰＵ４は、青の入射光量が赤の入射光量や緑の入射光量より多い（例えば、防犯用の青色ＬＥＤ照明等の、青色照明時の入射光）と、映像信号処理部７の色差信号ゲインから判定があれば、映像信号処理部７の輝度信号の赤成分を太陽光下の輝度信号の赤成分より少なくし、輝度信号の青成分を太陽光下の輝度信号の青成分より多くする。また図１ＢのＣＰＵ４は、青の入射光量が赤の入射光量や緑の入射光量より多いと、ＡＦＥ１０〜１２のいずれかのＡＧＣゲインから判定があれば、映像信号処理部９の色差信号ゲインから判定があれば、の輝度信号の赤成分を太陽光下の輝度信号の赤成分より少なくし、輝度信号の青成分を太陽光下の輝度信号の青成分より多くする。
そして、入力された映像信号について、青色照明時のＢ／Ｙと基準光３２００ＫのＢ／Ｙとの比のおおよそ平方根分変化させる。

また映像信号処理部７若しくは９は、高色温度照明で白色の撮像時のＲＧＢの信号電荷比が０．１２５：１：２の場合には、Ｙ＝０．２８Ｇ＋０．０２Ｒ＋０．７Ｂまで青色の割合増やせば、輝度信号の雑音Ｎの二乗は、０．０７８４＋０．０２５６＋０．１２２５＝０．２２６５で、雑音Ｎは約０．４８と６．４ｄＢほど緑色単体より改善する。
背景技術で述べた様に、従来のＹ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂでは輝度信号Ｙの雑音Ｎの二乗は、０．３６＋５．７６＋０．０２５＝６．１１２５で、雑音Ｎは約２．４７と７．９ｄＢほど緑単体より低下する。つまり、通常の混合比より雑音が改善され、１４．３ｄＢ実効感度が増加する。

青色が少ない肌色の画素は、防犯用街灯の青色ＬＥＤ照明や青色蛍光灯の照明下で白色光下より暗く撮像される。そこで、本発明の撮像装置では、映像信号処理部７若しくは９は、Ｂ／ＧとＧ／Ｒとの比つまり色温度と青色の多さの比の平方根分、肌色の画素は輝度を高くする。雑音が目立つので、肌色の画素の色差信号は上下走査線の５画素と左右の３画素との周囲画素の色差信号との重み付け加算平均で補間する。重み付け係数によるが、おおよそ色差信号の雑音は半減する。

高圧ナトリウムランプ等の色温度が非常に低く、白色の撮像時のＲＧＢの信号電荷比が２：１：０．０５の場合には、Ｙ＝０．１９５Ｇ＋０．８Ｒ＋０．００５Ｂまで赤の割合増やして青色の割合減らせば、輝度信号の雑音Ｎの二乗は、０．０３８＋０．１６＋０．０１＝０．２０８で雑音Ｎは約０．４５６と６．８ｄＢほど緑色単体より改善する。背景技術で述べた様に従来のＹ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂでは、輝度信号の雑音Ｎの二乗は、０．３６＋０．０２２５＋４＝４．３８で雑音Ｎは約２．０９と６．４ｄＢほど緑色単体より低下する。つまり、通常の混合比より雑音が改善され、１３．４ｄＢ実効感度が増加する。高圧ナトリウムランプ等の色温度が非常に低い照明では、肌色の画素は輝度が高く雑音は少ない。
その上で、特許文献２の様に、肌色の画素のみマゼンタ方向に色相補正して、肌色を記憶色通りに明るくピンクに再現する。

図２本発明の一実施例の動作を示す模式図において、図２（ａ）の各単体の分光透過率と分光感度の特性の図に示すように、青色（Ｂ）の入射光量が、赤色（Ｒ）の入射光量より多い、つまり、可視光の色温度が高くかつ近赤外線光が少ない入射光であるとＡＦＥ１０〜１２のいずれかのＡＧＣゲインから判定があれば、素通しでカラー撮像する。

実施例２によれば、ＬＥＤ照明、有機ＥＬ照明、若しくは近赤外線反射膜付放電灯では熱損失があり、遠赤外線を出す。しかし、近赤外線をほとんど出さない効果がある。

図１において、赤・緑・青の撮像素子８、１６、１７と１８は、オンチップレンズからフォトダイオードまでを深く形成したフォトダイオードで、近赤外線感度の高い種類のＣＣＤ撮像素子である。

近赤外線を含む白熱灯も太陽光も蛍光灯も水銀等もメタルハライドランプもキセノン放電灯もなく、カレンダーと時計とを内蔵して、近赤外線を含まない月光や日没後や日の出前の青空の光の時間を判別し、判別した該時間には近赤外線も透過する素通しフィルタでカラー撮像する。

実施例３によれば、白熱灯は近赤外線成分が多い。太陽光も蛍光灯も水銀等もメタルハライドランプもキセノン放電灯も近赤外線成分を含む。近赤外線をカットするフィルムやコーティングを追加した高効率の放電灯が製品化されれば、カラー撮像装置に、近赤外線をカットする機能は不要になる。

以上ＩＴ−ＣＣＤとＥＭ−ＣＣＤを用いた撮像装置について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、ＣＭＯＳ撮像素子等の上記以外の固体撮像素子を用いた撮像装置に広く適用することができることは言うまでもない。

１、２１、２２、２３：撮像装置、 ２：入射光を結像するレンズ等の光学系、 ３：光学系２を通って入射する光を赤色、緑色、青色に色分解する色分解光学系、 ４：ＣＰＵ、 ６：読出垂直転送駆動部（Ｖ−ＴＧ）、 ７、９、２４、２５：映像信号処理部、 ８：ＥＭ−ＣＣＤ撮像素子、 １０、１１、１２：ＡＦＥ、 １３：白色ＬＥＤ、 １５：赤青緑ＬＥＤ、 ２６：白熱電球、 ２７：高圧Ｎａ灯、 １６、１７、１８：ＩＴ−ＣＣＤ等のＣＣＤ撮像素子、 １４：切替光学フィルタ、 １９、２０：水平転送駆動部（Ｈ−ＴＧ）、 ２８：ＣＭＧ駆動部。

Claims (1)

1. 色分解光学系と３ヶの固体撮像素子用いた撮像装置またはオンチップカラーフィルタ付きＣＣＤ撮像素子を用いた撮像装置において、少なくとも、
   青色の入射光量が赤色および緑色の入射光量より多いと判定するＡＦＥと、前記判定によって輝度信号の赤色成分を少なくし、輝度信号の青色成分を多くする映像信号処理部を有し、肌色の画素は輝度を高くして肌色の画素の色差信号は周囲画素の色差信号との平均で補間することを特徴とする撮像装置。

Images