JP2005303702A - 撮像装置、カメラ、及び信号処理方法 - Google Patents

Abstract

【課題】 撮像装置においてＩＲＣＦを用いなくとも良好な色再現性を実現し、Ｓ/Ｎを改善する。
【解決手段】 入射光に対応した第１の色信号Ｒ５、Ｇ５、Ｂ５と、第１の色信号に第１の定数ｉを指数としてべき乗することによって得られる値に概して等しく、入力レベルの小さい範囲においては利得が制限された色信号と、第１の色信号に第２の定数ｊを指数としてべき乗することによって得られる値に近似する値の色信号と、これらに対するマトリクス係数との乗算を含むマトリクス演算を行って、第２の色信号Ｒ６、Ｇ６、Ｂ６を得る。第１及び第２の定数及びマトリクス係数は、色信号生成手段２０と分光感度特性補正手段６の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなるように定められている。
【選択図】 図１

Description

この発明は、撮像装置に関し、特に赤外除去フィルタ（ＩＲＣＦ）を用いずに比視感度補正を行う信号処理手段を具備した撮像装置に関する。本発明はまた、そのような撮像装置を備えたカメラに関するものである。本発明はさらに、そのような撮像装置における信号処理方法に関する。

従来の撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子と、撮像素子から得られた電気信号に対し信号処理を施すことにより所定の画像信号を得る信号処理手段とを有している。
通常撮像素子として用いるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー又はＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ）センサを一枚だけで撮像装置を構成する場合、即ち、単板式のセンサーにおいては、色分解を行う色フィルタとして、画素ごとに異なる色のものがセンサー上に設けられている。
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得るには、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させる、Ｒ、Ｇ、Ｂの原色フィルタを用いる場合と、マジェンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、Ｇの補色フィルタを用いる場合がある。上記のいずれの色フィルタも染料もしくは顔料を用いて目的の色を透過させるようにその分光透過特性が設計されているが、近赤外領域でも一定の透過率を有する。また、撮像素子の光電変換部は主にシリコン（Ｓｉ）などの半導体で構成されているため、光電変換部の分光感度特性は波長の長い近赤外光まで感度を有している。よって、色フィルタを具備した撮像素子から得られた信号は近赤外領域の光線にも反応している。

一方、人間の色に対する感度特性である色覚特性および明るさに対する感度特性である比視感度特性はその感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、撮像装置の色再現性を人間の色覚特性に合わせるためには、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外線除去フィルタ（以後、ＩＲＣＦ：Ｉｎｆｒａｒｅｄ Ｃｕｔ Ｆｉｌｔｅｒ）を設ける必要があった。

一方、例えば監視カメラ等のように色再現性よりも感度を重視する場合には、近赤外領域の光を利用するため、ＩＲＣＦを設けず撮像素子に近赤外光を受光させるほうが良い。

そこで、色再現性を必要とするときはＩＲＣＦを撮像素子の前に設置し、感度を優先するときは近赤外の光線を受光するために、ＩＲＣＦを移動させる機構手段を設けたり、入射光量を調整する絞りの一部にＩＲＣＦを設け、光量に応じてＩＲＣＦを撮像素子の前に設置したり除去したりする技術が種々提案されている（例えば、特許文献１参照）。
また、ＩＲＣＦを設置せずにホワイトバランスを取り、ＩＲＣＦを設置したときに輝度信号を生成するＲ、Ｇ、Ｂ信号の混色比とは異なる混色比で輝度信号を生成することで感度向上を図る技術も提案されている（特許文献２、３参照）。

特開２００１−３６８０７公報 特開２００３−１３４５２２公報 特開２００３−２６４８４３公報

しかしながら、特許文献１に挙げた従来の撮像装置はＩＲＣＦを移動させる機構手段が必要であり、撮像素子を含むユニットの小型化に不利であり、撮像素子の電子シャッタを用いて光量調整を行う簡易的な撮像装置（例えば、ピーシーカメラ（ＰＣカメラ）、携帯電話用カメラ、トイカメラ（ＴＯＹカメラ）、民生用監視カメラ）は絞り機構を有していないことが多いため、新たにＩＲＣＦを着脱する機構手段を設けなければならない。

また、特許文献２及び３に挙げた撮像装置は白黒の映像信号を得るときは問題ないが、カラーの映像信号を得るときは、色信号はホワイトバランスを合わせるのみであり、さらに輝度信号も人間の比視感度特性が考慮されていない色信号比であるため、そのカラーの映像信号は人間の色覚特性又はそれを線形変換することにより得られる分光感度特性で得られるＲ、Ｇ、Ｂ値と異なった映像信号、すなわちカラーの映像信号は人間の色覚特性又はそれを線形変換することにより得られる分光感度特性で得られるＲ、Ｇ、Ｂ値に対する色差ΔＥ＊ａｂ（ＪＩＳ Ｚ８７３０）の大きな映像信号となり、正確な色再現性が得られない。
また、Ｓ/Ｎ（ｓｉｇｎａｌ ｔｏ ｎｏｉｚｅ ｒａｔｉｏ）の良い画像を得ることができないという問題があった。

本発明は、上述のような課題を解消するためになされたもので、ＩＲＣＦを用いることなく、近赤外光が入射されたときでも、色再現性の良好なカラーの映像信号を得るとともに、Ｓ/Ｎの良い画像を得ることができる撮像装置及び信号処理方法を提供することを目的とする。

本発明は、
入射光を受けて、入射光に対応した第１の赤、緑、青の色信号を出力する色信号生成手段と、
前記第１の赤、緑、青の色信号と係数との乗算を含むマトリクス演算を行って第２の赤、緑、青の色信号を生成する分光感度特性補正手段とを備え、
前記分光感度特性補正手段は、
前記第１の赤、緑、青の色信号に予め定めた１より小さい第１の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第３の色信号を生成する第１種の変換手段と、
前記第１の赤、緑、青の色信号に予め定めた第２の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第４の色信号を生成する第２種の変換手段と、
前記第１の色信号と、前記第３の色信号と、前記第４の色信号と、これらに対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行うマトリクス演算手段と
を備え、
前記第１種の変換手段は、前記第３の色信号として、概して上記第１の定数を指数としてべき乗することによって得られる値を有し、上記第１の色信号が零に近い範囲においては、上記のべき乗により得られる値よりも小さな値に制限された値を有する信号を出力し、
前記第１の定数、前記第２の定数、及び前記係数は、前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められている
ことを特徴とする撮像装置を提供する。

本発明によれば、ＩＲＣＦを用いなくても、良好な色再現性を得ることができ、さらに
かつＳ/Ｎの良い画像を得ることができる。

実施の形態１．
図１はこの発明の実施の形態１による撮像装置を示す概略構成図である。図示のように、この撮像装置は、撮像手段１と、増幅手段２と、Ａ／Ｄ変換器（ＡＤＣ）３と、直流成分再生手段（ＤＣ再生手段）４と、ホワイトバランス手段５と、分光感度特性補正手段６と、ガンマ（γ）補正手段７と、輝度色差信号生成手段８とを含む。

撮像手段１は、例えば図２（ａ）、（ｂ）に示すように、レンズ１０ａと、２次元的に配列された複数の光電変換素子を有する撮像素子１１と、色分離手段としての色フィルタ１０ｂとを有する。
撮像素子１１の複数の光電変換素子は、例えば図２（ａ）に示すようにベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光透過率を有する色フィルタ１０ｂで覆われている。

レンズ１０ａから入射した光は、撮像素子１１の受光面上に結像する。撮像素子１１は、上記のように、色フィルタ１０ｂで覆われており、各光電変換素子からは、色フィルタ１０ｂの分光透過率に対応した色成分、即ちＲ、Ｇ、Ｂのアナログ映像信号Ｒ１、Ｇ１、Ｂ１が出力される。

このようにして、撮像手段１から出力されるＲ、Ｇ、Ｂのアナログ信号（以下、それぞれ「Ｒ信号」、「Ｇ信号」、「Ｂ信号」と言うことがある）は、増幅手段２によって増幅される。増幅手段２から出力された映像信号はＡＤＣ３によってディジタル信号に変換される。ディジタル信号に変換された映像信号はＤＣ再生手段４により、ＤＣレベルが再生される。ＤＣ再生は通常映像信号の黒レベルが「０」になるように、ＡＤＣ３によるＡ／Ｄ変換前に有していたオフセットレベルをＤＣシフトするか、クランプ処理を行う。

積算手段９は、ＤＣ再生手段４から出力されるＲ信号、Ｇ信号、及びＢ信号をそれぞれ複数の画素に亘って、例えば画面全体に亘って積算し、Ｒ信号の積算値ΣＲ、Ｇ信号の積算値ΣＧ、及びＢ信号の積算値ΣＢ及びを求める。

次に、ホワイトバランス（ＷＢ）手段５は、それぞれＲ、Ｇ、Ｂ信号を増幅する３つの増幅手段（図示しない）を有し、ＤＣ再生手段４からのＲ、Ｇ、Ｂ信号を受けて、さらに、積算手段９から積算値ΣＲ、ΣＧ、ΣＢを受けて、映像信号の撮像条件に応じて被写体の白の箇所のＲ、Ｇ、Ｂ信号の値が等しくなる（すなわち白の箇所が無彩色になる）ような処理を施す。通常、ホワイトバランス手段５は一般被写体の、画面内のすべての画素についての積算した色は無彩色であるというエバンスの原理に基づき、積算値ΣＲ、ΣＢ、ΣＧの値が等しくなるように３つの増幅手段の利得を変化させてホワイトバランスを行う。

上記の撮像手段１、増幅手段２、ＡＤＣ３、ＤＣ再生手段４、ホワイトバランス手段５、及び積算手段９により、入射光を受けて、入射光に対応したＲ、Ｇ、Ｂの色信号を出力する色信号生成手段２０が構成されている。

分光感度特性補正手段６は、ホワイトバランス手段５から出力されたホワイトバランス後のＲ、Ｇ、Ｂ信号Ｒ５、Ｇ５、Ｂ５を入力とし、それぞれの信号を後述するマトリクス演算することにより撮像手段１の近赤外領域の感度特性による色再現性への影響を補正したカラー信号Ｒ６、Ｇ６、Ｂ６を出力する。

ガンマ補正手段７は分光感度特性補正手段６から出力された映像信号Ｒ６、Ｇ６、Ｂ６に非線形の階調変換を行う。

輝度色差信号生成手段８はガンマ補正手段７から出力されたＲ、Ｇ、Ｂ信号Ｒ７、Ｇ７、Ｂ７を輝度信号（Ｙ信号）、及び２つの色差信号（Ｃｒ信号、Ｃｂ信号）に変換する。輝度色差信号生成手段８は、この変換（ＹＣｒＣｂ変換）においては、通常３行３列の係数マトリクスを掛ける、下記の式（２）の線形マトリクス演算を行ってＹ、Ｃｒ、Ｃｂ信号を生成する。

式（２）において３行３列のマトリクス係数は例えば、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１９６６−２−１）に規定されているように、ｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０、ｃｒ１＝−０．１６８７、ｃｒ２＝−０．３３１３、ｃｒ３＝０．５０００、ｃｂ１＝０．５０００、ｃｂ２＝−０．４１８７、ｃｂ３＝−０．０８１３と定める。

分光感度特性補正手段６についてその構成と原理を以下に説明する。
分光感度特性補正手段６は、色信号生成手段２０と分光感度特性補正手段６の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するためのものである。

図３は分光感度特性補正手段６の構成を示す概略構成図である。ホワイトバランス手段５から出力されたＲ、Ｇ、Ｂの色信号Ｒ５、Ｇ５、Ｂ５は分光感度特性補正手段６に入力される。分光感度特性補正手段６は、第１種の変換手段（以下「ｆｉ変換手段」と言う）６１、６３、６５と、第２種の変換手段（以下「ｆｊ変換手段」と言う）６２、６４、６６と、入力される各信号とそれぞれに対する係数との乗算を行ない、乗算結果を加算する３行９列マトリクス演算手段６７とを有する。

ｆｉ変換手段６１、６３、６５は、入力信号Ｒ５、Ｇ５、Ｂ５に対し、１より小さい所定の実数ｉを指数とするべき乗により得られる値に近似した値を出力するものであり、より詳しく言うと、ｆｉ変換手段６１、６３、６５は、概して、（即ち、入力が取り得る範囲のうちの大部分の領域において）、より具体的には、入力が取り得る範囲のうちの最小値に近い領域以外の領域において、入力信号Ｒ５、Ｇ５、Ｂ５に対して上記の実数ｉを指数としてべき乗することによって得られる値を有し、入力信号が零に近い範囲においては、上記のべき乗により得られる値よりも小さな値に制限された値を有する信号を出力する。例えば、入力信号が零に近い範囲においては、入力信号に対する出力信号の比が所定値以下に制限される。
ｆｊ変換手段６２、６４、６６は、入力信号Ｒ５、Ｇ５、Ｂ５に対し、１より大きい所定の実数ｊを指数とするべき乗により得られる値に近似した値を出力するものであり、より詳しく言うと、ｆｊ変換手段６２、６４、６６は、概して、（即ち、入力が取り得る範囲のうちの大部分の領域において）、より具体的には、入力が取り得る範囲のうちの最大値に近い領域以外の領域において、入力信号Ｒ５、Ｇ５、Ｂ５に対して上記の実数ｊを指数としてべき乗することによって得られる値を有し、入力信号が零に近い範囲においては、上記のべき乗により得られる値よりも小さな値に制限された値を有する信号を出力する。例えば、入力信号が最大値に近い範囲においては、入力信号に対する出力信号の比が所定値以下に制限される。

３つのｆｉ変換手段６１、６３、６５の入出力特性は互いに同じであり、その一例を図４及び図５に示す。図４で横軸は入力ｘ（ｘ＝Ｒ５、Ｇ５又はＢ５）を示し、縦軸は出力ｙ（ｙ＝ｆｉ（Ｒ５）、ｆｉ（Ｇ５）又はｆｉ（Ｂ５））を示す。図５は、図４のうちの入出力の小さい部分を拡大して示す。
例えば、上記の第１の実数ｉが０．３である場合、ｆｉ変換手段６１、６３、６５は、概して（即ち、入力が取り得る範囲のうちの大部分の領域において）、より具体的には、入力が取り得る範囲のうちの最小値に近い領域以外の領域において、入力信号ｘの０．３乗に比例した値を出力するものであるが、入力信号ｘが０に近い所定の値ｘｔ１よりも小さい範囲では、０．３乗よりも小さい値、例えばｋ１・ｘに制限する。ここで、ｋ１は定数であり、例えば「６」に定められる。またｘｔ１は例えば「２０」である。
図４及び図５で、ｘの０．３乗を曲線（ａ）で示す。これらの図では、入力信号ｘが取り得る値の最小値が「０（ゼロ）」、最大値が「２５５」、出力信号ｙが取り得る値の最小値が「０（ゼロ）」であり、最大値が８ビットを想定して「２５５」であり、入力に対する出力の関係は、最大値により正規化した値相互間の関係である。即ち、図のｘとｙとの間には、
（ｙ／２５５）＝（ｘ／２５５）^０．３
という関係がある。
また、ｋ１・ｘを直線（ｂ）で示す。
ｘ＝ｘｔ１において、直線（ｂ）と曲線（ａ）とが交わっている。
この結果、ｘ＝ｘｔ１よりも小さい範囲においては、出力ｙは、ｋ１・ｘであり、ｘがｘｔ１以上の範囲では、出力ｙを正規化した値はｘを正規化した値の０．３乗となる。

３つのｆｊ変換手段６２、６４、６６の入出力特性は互いに同じであり、その一例を図６に示す。図６で横軸は入力ｘ（ｘ＝Ｒ５、Ｇ５又はＢ５）を示し、縦軸は出力ｚ（ｚ＝ｆｊ（Ｒ５）、ｆｊ（Ｇ５）又はｆｊ（Ｂ５））を示す。
例えば、上記の第２の実数ｊが２である場合、ｆｊ変換手段６２、６４、６６は、概して（即ち、入力が取り得る範囲のうちの大部分の領域において）、より具体的には、入力が取り得る範囲のうちの最大値に近い領域以外の領域において、入力信号ｘの２乗に比例した値を出力するものであるが、入力信号ｘが最大値に近い所定の値ｘｔ２よりも大きい範囲では、ｘの２乗よりも小さい値、例えばｋ２・ｘに制限する。ここで、ｋ２は定数であり、例えば１．５に定められる。またｘｔ２は例えば「２００」である。
図６で、ｘの２乗を曲線（ａ）で示す。この図では、入力信号ｘが取り得る値の最小値が「０（ゼロ）」、最大値が「２５５」、出力信号ｚが取り得る値の最小値が「０（ゼロ）」、最大値が「２５５」であり、入力に対する出力の関係は、最大値により正規化した値相互間の関係である。即ち、図のｘとｚとの間には、
（ｚ／２５５）＝（ｘ／２５５）^２
という関係がある。
また、ｋ２・ｘを直線（ｂ）で示す。
ｘ＝ｘｔ２において、直線（ｂ）と曲線（ａ）とが交わっている。
この結果、ｘがｘｔ２よりも大きい範囲では、出力ｚは、ｋ２・ｘでありｘがｘｔ２以下の範囲では、出力ｚを正規化した値はｘを正規化した値の２乗となる。

以下の説明で、ｆｉ変換手段６１、６３、６５による変換を単に「ｆｉ変換」と言い、ｆｊ変換手段６２、６４、６６による変換を単に「ｆｊ変換」と言うことがある。

Ｒ信号Ｒ５はそのままマトリクス演算手段６７の入力端子６０１に入力されるとともに、ｆｉ変換手段６１及びｆｊ変換手段６２に入力され、これらの出力（ｆｉ（Ｒ５）、ｆｊ（Ｒ５））がマトリクス演算手段６７の入力端子６０２、６０３に入力される。
同様に、Ｇ信号Ｇ５はそのままマトリクス演算手段６７の入力端子６０４に入力されるとともに、ｆｉ変換手段６３及びｆｊ変換手段６４に入力され、これらの出力（ｆｉ（Ｇ５）、ｆｊ（Ｇ５））がマトリクス演算手段６７の入力端子６０５、６０６に入力される。
同様に、Ｂ信号Ｂ５はそのままマトリクス演算手段６７の入力端子６０７に入力されるとともに、ｆｉ変換手段６５及びｆｊ変換手段６６に入力され、これらの出力（ｆｉ（Ｂ５），ｆｊ（Ｂ５））がマトリクス演算手段６７の入力端子６０８、６０９に入力される。

マトリクス演算手段６７は、３行９列のマトリクス係数を掛けるマトリクス演算を行うものであり、３行９列の係数マトリクスを用いてマトリクス演算を行い、Ｒ、Ｇ、Ｂの色信号Ｒ６、Ｇ６、Ｂ６を生成する。演算により求められたＲ、Ｇ、Ｂ信号Ｒ６、Ｇ６、Ｂ６はそれぞれ、端子６５１、６５２、６５３から出力される。

マトリスク手段６７は、例えば以下の式（１）のマトリクス演算を行うものである。

式（１）において、ｒ１乃至ｒ９、ｇ１乃至ｇ９、及びｂ１乃至ｂ９は予め定めた係数である。

定数ｉ、ｊ及び係数ｒ１乃至ｒ９、ｇ１乃至ｇ９、及びｂ１乃至ｂ９は、色信号生成手段２０と分光感度特性補正手段６の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められている。

マトリクス演算手段６７は、例えば図７に示すように構成される。図示のようにこのマトリクス演算手段６７は、２７個の乗算手段（６１１乃至６３９）と３個の加算手段（６４１、６４２、６４３）とを有する。

乗算手段６１１乃至６１９は、それぞれ端子６０１、６０４、６０７、６０２、６０５、６０８、６０３、６０６、６０９に入力される信号Ｒ５、Ｇ５、Ｂ５、ｆｉ（Ｒ５）、ｆｉ（Ｇ５）、ｆｉ（Ｂ５）、ｆｊ（Ｒ５）、ｆｊ（Ｇ５）、ｆｊ（Ｂ５）に所定の係数ｒ１、ｒ２、ｒ３、ｒ４、ｒ５、ｒ６、ｒ７、ｒ８、ｒ９を掛けて、乗算結果を加算手段６４１に出力する。加算手段６４１は入力の総和を求め、信号Ｒ６として出力する。
乗算手段６２１乃至６２９は、それぞれ端子６０１、６０４、６０７、６０２、６０５、６０８、６０３、６０６、６０９に入力される信号Ｒ５、Ｇ５、Ｂ５、Ｒ５^ｉ、Ｇ５^ｉ、Ｂ５^ｉ、Ｒ５^ｊ、Ｇ５^ｊ、Ｂ５^ｊに所定の係数ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、ｇ７、ｇ８、ｇ９を掛けて、乗算結果を加算手段６４２に出力する。加算手段６４２は入力の総和を求め、信号Ｇ６として出力する。
乗算手段６３１乃至６３９は、それぞれ端子６０１、６０４、６０７、６０２、６０５、６０８、６０３、６０６、６０９に入力される信号Ｒ５、Ｇ５、Ｂ５、Ｒ５^ｉ、Ｇ５^ｉ、Ｂ５^ｉ、Ｒ５^ｊ、Ｇ５^ｊ、Ｂ５^ｊに所定の係数ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６、ｂ７、ｂ８、ｂ９を掛けて、乗算結果を加算手段６４３に出力する。加算手段６４３は入力の総和を求め、信号Ｂ６として出力する。

なお、図７に示したマトリクス演算手段は式（１）で示した演算を実現するための一例であり、他の構成の演算手段で式（１）の演算を実現しても同様の効果が得られる。

マトリクス演算手段６７の乗算手段６１１乃至６３９で用いられる係数は、以下のように定められる。

まず、本発明の分光感度特性補正手段６による補正の原理を説明する。
図８に人間の色覚特性を表した分光感度特性を示す。図８に示した特性は正常色覚者の等色関数の平均値であり、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ‘Ｅ’ｃｌａｉｒａｇｅ）１９３１にて規定されている。人間が感じる色は色順応などの機能を無視し、簡単に表せば図８に示したＲ、Ｇ、Ｂの分光感度特性（等色関数）と被写体の反射分光特性と照明の分光特性とを乗算し、乗算結果を可視域にて積算することにより得られる値として表すことができる。図８に示したように人間の感度特性はいわゆる可視域と呼ばれるように略３８０ｎｍから７８０ｎｍまでしか感度が無く、７００ｎｍより長波長側ではほとんど感度特性がない。

それに対して、撮像手段１は光電変換を行うフォトダイオードがＳｉ（シリコン）などの半導体で形成されているため、感度特性は可視域から近赤外領域（１０００ｎｍ近辺）まで感度特性を有する。よって、撮像手段１に色分解を行うＲＧＢの色フィルタ１０ｂを設けた場合、色フィルタの分光特性とフォトダイオードの感度特性の積に応じたＲ、Ｇ、Ｂの信号が撮像手段１から出力される。

図９に撮像手段１のＲ，Ｇ，Ｂ信号の分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）を実線で示す。図９に示すようにＲの色フィルタは近赤外領域の透過率も比較的高いため、近赤外線を撮像素子１１に入射させる。また、Ｂの光を入射するためのＢの色フィルタや、Ｇの光を入射するためのＧの色フィルタも同様に近赤外領域に一定の透過率を有する。これは、ＲＧＢの色フィルタは通常それぞれの色を含んだ染料や顔料を用いてフィルタを構成するが、その分光透過率は構成する材質に依存し、長波長側の可視域から近赤外領域に掛けて再び透過率が上がる特性を有しているためである。

図９に実線で示した撮像手段１のＲＧＢの分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）は図８に示した等色関数とは異なり、特に近赤外領域では著しく異なるため、通常の撮像装置では近赤外領域の光を通過させず除去する赤外カットフィルタ（ＩＲＣＦ）を撮像素子の前に設けている。ＩＲＣＦの分光透過特性ＩＲＣＦ（λ）も図９に実線で示されている。ＩＲＣＦ（λ）とＲＧＢの分光感度特性（ｒ（λ）、ｇ（λ）、ｂ（λ））とを掛け合わせた特性が従来のＩＲＣＦを具備した場合の撮像手段１のＲＧＢ信号に対応するそれぞれの色の分光感度特性ｒ’（λ）、ｇ’（λ）、ｂ’（λ）となり、図９の破線でその特性を示す。

また、従来の撮像装置では図９の破線で表した分光感度特性とした場合でも、図８で示した負の特性は実現できないため、撮像手段から得られたＲＧＢ信号を式（３）で示すように３行３列の係数マトリクスを掛けるマトリクス演算を行いその色補正を行っていた。

しかしながら、ＩＲＣＦを用いない場合には、近赤外線による感度特性によって出力される信号が色再現性に与える影響が大きく、上記のような３行３列の係数マトリクスを掛ける線形マトリクス演算を行っても良好な色再現性が得られない。これに対して、本発明では図９に実線で示した、ＩＲＣＦを用いない場合の撮像素子１の分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）の、近赤外領域のＲＧＢそれぞれの感度特性相互間の差を利用して良好な色再現性を実現している。

図１０に図９に示した分光感度特性の近赤外領域の拡大図を示す。Ｒ、Ｇ、Ｂのフィルタとフォトダイオードを組合せたものの分光感度特性は略８５０ｎｍから８６０ｎｍ近辺でその感度が一致して、それより波長が長くなるにつれて、同様に減衰していく。また、Ｇの分光感度特性は略６５０ｎｍ近辺まで一旦減衰しその後透過率を上げて略８５０ｎｍ近辺をピークに減衰していく。Ｂの分光感度特性は略７６０ｎｍ近辺から透過率を上げ同様に略８５０ｎｍ近辺でピークとなり、それより長い波長領域では次第に減衰していく。

このように、略６５０ｎｍから８００ｎｍまでの領域においてＲの分光感度特性ｒ（λ）とＧの分光感度特性ｇ（λ）とＢの分光感度特性ｂ（λ）との間にそれぞれ差異が生じるため、この差異を利用して近赤外領域におけるＲＧＢの色分離を行うことができ、近赤外線の影響による色再現性に補正を加えることができることとなる。

具体的には、マトリクスの演算に非線形の演算を含ませる。
例えば図１１にＧの分光感度特性をｇ（λ）として示す。
また、図１１に前記のＧの分光感度特性をｆｉ変換することにより得られる特性、即ちｉを指数とするべき乗、例えば０．３乗し、その最大値で正規化した特性をｆｉ（ｇ（λ））として示す。
さらに図１１に前記Ｇの分光感度特性をｆｊ変換することにより得られる特性、即ちｊを指数とするべき乗、例えば２乗し、その最大値で正規化した特性をｆｊ（ｇ（λ））として示す。
図１１に示すようにｆｉ変換により得られた分光感度特性は、不必要とする近赤外側の分光感度特性と必要とする可視域の分光感度特性との感度差が小さくなり、
ｆｊ変換により得られた分光感度特性は、不必要とする近赤外側の分光感度特性と必要とする可視域の分光感度特性との感度差が大きくなる。よって、ｆｉ変換により得られた値係数との積と、ｆｊ変換により得られた値と係数との積を含むマトリクス演算、即ち、非線形マトリクス演算により、
赤外領域を含む赤外光を入射した際にも、適切な色補正を行い、良好な色再現性を得ることができる。
ここでの色再現性とは人間の目で見える色に略一致させることであり、かつ目で違うものに見える色は違う色に、同じものに見える色は同じ色に再現することを意味する。

例えば、色信号生成手段２０と分光感度特性補正手段６における補正の総合的な特性が、ＣＩＥ１９３１等色関数又はＣＩＥ１９３１等色関数を線形変換することにより得られた等色関数に近似したものとなるように上記のマトリクス演算で用いられる係数ｒ１乃至ｒ９、ｇ１乃至ｇ９、およびｂ１乃至ｂ９及び定数ｉ、ｊを定めることとする。

ここで、ｆｉ変換手段（６１、６３、６５）及びｆｊ変換手段（６２、６４、６６）を用いて入力のべき乗そのものではなく、それに近似した値を用いる理由を説明する。
先にも述べたように、第１の定数が０．３であるとき、最大値で正規化した入力信号と最大値で正規化した出力信号の関係は図４に曲線（ａ）で示す通りである。
ここで、入力信号の最大値、出力信号の最大値は「２５５」としている。
この場合、入力信号の値が小さい範囲では、利得（入力信号に対する出力信号の比）が極めて大きい。例えば、入力信号の値が「１」のとき、出力信号の値は、「４８」である。即ち、４８倍（３４ｄＢ）もの利得が与えられたこととなる。このため、映像信号が小さい範囲では、一定のノイズ、例えば暗電流による固定パターンノイズ（ＦＰＮ）が増幅され、映像信号のＳ／Ｎが極めて劣化することとなる。
本実施の形態では、上記のように、入力信号が小さい範囲では、利得を０．３乗により得られる値より小さくする。これにより、Ｓ／Ｎの劣化を低減することができる。
具体的には図４（ｂ）及び図５（ｂ）に示すように入力信号が零に近いｘｔ１（例えばｘｔ１＝２０）よりも小さい範囲では、出力信号の値ｙをｙ＝ｋ１・ｘ以下（ｋ１は傾きを表す定数であり、例えば「６」）に制限することとしている。この結果、上記の問題が解決する。

同様に、ｆｊ変換手段は１より大きい値ｊ、例えば２を指数としてべき乗することにより得られる値に近似する値の色信号を出力するものであり、ｆｉ変換手段同様にｊを指数とするべき乗により利得が大きくなる範囲、即ち最大値（「２５５」）に近い値ｘｔ２よりも大きい範囲において、利得を、制限することで、Ｓ／Ｎの劣化を抑制している。
具体的には、ｆｊ変換手段は、図６に直線（ｅ）で示すように、入力信号が最大値に近いｘｔ２（例えばｘｔ２＝２００）よりも大きい範囲では、出力信号の値ｙをｙ＝ｋ２・ｘ以下（ｋ２は傾きを表す定数であり、例えば「１．５」）に制限することとしている。

なお、上記の実施の形態における分光感度特性補正手段のｆｉ変換手段６１、６３、６５及びｆｊ変換手段６２、６４、６６は、入力（アドレス）の値をべき乗した値に近似した値を（そのアドレスのデータとして）出力するＬＵＴ（ルックアップテーブル）で構成しても良い。

また、上記の実施の形態では、ＡＤＣ３を設け、それ以降の演算をディジタル信号処理にて行ったが、アナログ信号処理を用いても同様の効果が得られる。
アナログ信号で処理する場合には、ｆｉ変換やｆｊ変換を、べき乗値に近似する値の信号を出力するように、入力信号レベルに応じて利得を変化させる増幅手段で構成してもよい。これは、例えばトランジスタと演算増幅器とを組み合わせた回路で実現することができる。

さらにまた、上記の実施の形態では、図４の直線（ｂ）により信号利得を制限したが、図４の直線（ｃ１）と（ｃ２）の組合せにより信号利得を制限することもできる。即ちｘｔ３（例えばｘｔ３＝５）よりも小さい領域では、ｙ＝ｋ３・ｘ（ｋ３はｋ１よりも小さい定数であり、例えば「２．５」）で表される直線（ｃ１）により制限し、ｘｔ３以上でｘｔ４（例えばｘｔ４＝２４）よりも小さい領域では、ｘ座標値がｘｔ３、ｙ座標値が２．５×ｘｔ３の点を通り傾きｋ４が所定値、例えば「６」であるような直線（ｃ２）により制限することもできる。この場合、入力信号が小さい領域における利得がより小さな値に制限されており、Ｓ／Ｎの劣化を一層抑制することができ、良好なＳ／Ｎを得ることができる。

上記の実施の形態によれば、ＩＲＣＦを用いなくても、良好な色再現性を得ることができ、また非線形マトリクス演算を行うことで、等色条件を高精度に近似し、良好な色再現性を得ることができることができる。また、Ｓ/Ｎの良い画像を得ることができる。

実施の形態２．
以上の実施の形態１において、さらに、分光感度特性補正手段６以降の処理は、特に静止画の場合には、ソフトウェアによって、即ち、プログラムされたコンピュータによって実現することができる。

実施の形態３．
以上の実施の形態の撮像装置は、動画や静止画を撮像するビデオカメラ、カメラ一体型ＶＴＲ、デジタルスチルカメラ、ＰＣカメラ、並びに携帯電話や携帯端末機に内蔵されるデジタルスチルカメラに適用可能であり、これらからＩＲＣＦを不要とし、かつ暗視に利用することが多い、監視カメラや車載カメラなどにも適用できる。

図１２は、その一例として、図１の撮像装置を用いたデジタルスチルカメラを構成した場合の概略図を示す。
図１にように、このディジタルカメラは、図１に示した撮像装置を構成する各要素のうち、撮像手段１の代わりに撮像手段２１を備え、さらにシャッタボタン１９、シャッタ駆動手段３２、表示駆動手段３３、ビューファインダ３４、画像圧縮手段３５、及び書き込み手段３６を付加したものである。

撮像手段２１が、撮像手段１と異なるのは、図示しないシャッタを備えている点である。
シャッタ駆動手段３２は、シャッタボタン１９の操作に応じてシャッタを駆動する。
表示駆動手段３３は、輝度色差信号生成手段８の出力を受けてビューファインダ３４に画像を表示させる。
ビューファインダ３４は、例えば液晶表示装置で構成され、表示駆動手段３３に駆動されて、撮像手段１で撮像されている画像を表示する。
画像圧縮手段３５は、輝度色差信号生成手段８の出力を受けて例えばＪＰＥＧに準拠した画像圧縮を行なう。
書き込み手段３６は、画像圧縮手段３５で圧縮されたデータを記録媒体３７に書き込む。

撮像装置を動画撮影に用いて、画像データを図示しない機器に伝送する場合、輝度色差信号生成手段の出力をエンコードしてＮＴＳＣ信号を生成して出力する。

この発明の実施の形態１を示す撮像装置を示す図である。 （ａ）及び（ｂ）は、色フィルタを備えた単板撮像素子の一部を示す図である。 図１の分光感度特性補正手段の構成を示す図である。 図２のｆｉ変換手段による入出力特性を示す図である。 図４の信号レベルの小さい箇所の入出力特性を示す図である。 ｆｊ変換手段の入出力特性を示す図である。 図３の３行９列のマトリクス演算手段の構成を示す図である。 ＣＩＥ１９３１に示す等色関数を示す図である。 撮像手段、ＩＲＣＦ、およびそれらを乗算した分光感度特性を示す図である。 図９に示した分光感度特性の近赤外領域を拡大した図である。 撮像手段のｇ（λ）の分光感度特性を非線形変換したときの分光感度特性を示す図である。 図１の撮像装置を備えたディジタルカメラの構成例を示すブロック図である。

符号の説明

１ 撮像手段、 ２ 増幅手段、 ３ Ａ／Ｄ変換器（ＡＤＣ）、 ４ 直流成分（ＤＣ）再生手段、 ５ ホワイトバランス（ＷＢ）手段、 ６ 分光感度特性補正手段、 ６１、６３、６５ ｆｉ変換手段、 ６２、６４、６６ ｆｊ変換手段、 ６７ マトリクス演算手段、 ６１１乃至６３９ 乗算手段、 ６４１、６４２、６４３ 加算手段、 ７ ガンマ（γ）補正手段、 ８ 輝度色差信号生成手段、 ９ 積算手段、 １０ａ レンズ、 １０ｂ フィルタ、 １１ 撮像素子、 ２１ 撮像手段、 ３１ シャッタボタン、 ３２ シャッタ駆動手段、 ３３ 表示駆動手段、 ３４ ビューファインダ、 ３５ 画像表示手段、 ３６ 書き込み手段、 ３７ 記録媒体。

Claims (13)

1. 入射光を受けて、入射光に対応した第１の赤、緑、青の色信号を出力する色信号生成手段と、
   前記第１の赤、緑、青の色信号と係数との乗算を含むマトリクス演算を行って第２の赤、緑、青の色信号を生成する分光感度特性補正手段とを備え、
   前記分光感度特性補正手段は、
   前記第１の赤、緑、青の色信号に予め定めた１より小さい第１の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第３の色信号を生成する第１種の変換手段と、
   前記第１の赤、緑、青の色信号に予め定めた第２の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第４の色信号を生成する第２種の変換手段と、
   前記第１の色信号と、前記第３の色信号と、前記第４の色信号と、これらに対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行うマトリクス演算手段と
   を備え、
   前記第１種の変換手段は、前記第３の色信号として、概して前記第１の定数を指数としてべき乗することによって得られる値を有し、前記第１の色信号が零に近い範囲においては、前記のべき乗により得られる値よりも小さな値に制限された値を有する信号を出力し、
   前記第１の定数、前記第２の定数、及び前記係数は、前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められている
   ことを特徴とする撮像装置。
2. 前記第１種の変換手段は、前記第１の色信号が零に近い範囲においては、前記第１の色信号に対する第３の色信号の比を所定値以下に制限することを特徴とする請求項１に記載の撮像装置。
3. 前記第２の定数が１より大きく、
   前記第２種の変換手段は、前記第４の色信号として、概して前記第２の定数を指数としてべき乗することによって得られる値を有し、前記第１の色信号が最大値に近い範囲においては、前記のべき乗により得られる値よりも小さな値に制限された値を有する信号を出力することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第２種の変換手段は、前記第１の色信号が最大値に近い範囲においては、前記第１の色信号に対する第４の色信号の比を所定値以下に制限することを特徴とする請求項３に記載の撮像装置。
5. 前記第１種の変換手段がルックアップテーブルで構成されていることを特徴とする請求項１又は２に記載の撮像装置。
6. 前記第２種の変換手段がルックアップテーブルで構成されていることを特徴とする請求項３又は４に記載の撮像装置。
7. 第１の赤、緑、青の色信号をＲ５、Ｇ５、Ｂ５とし、前記第２の赤、緑、青の色信号をＲ６、Ｇ６、Ｂ６とするとき、前記分光感度特性補正手段は下記の式（１）、即ち、
   

   

   
   （ここで、
   ｆｉ（Ｒ５），ｆｉ（Ｇ５），ｆｉ（Ｂ５）は、それぞれ、前記第３の色信号の値、
   ｆｊ（Ｒ５），ｆｊ（Ｇ５），ｆｊ（Ｂ５）は、それぞれ、前記第４の色信号の値、
   ｒ１乃至ｒ９、ｇ１乃至ｇ９、およびｂ１乃至ｂ９は係数）
   の演算を行うことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
8. 請求項１乃至７のいずれかに記載の撮像装置と、
   前記撮像装置から出力される画像データを記録媒体に書き込む手段とを備えた
   カメラ。
9. 入射光を受けて、入射光に対応した第１の赤、緑、青の色信号を出力する色信号生成手段を備えた撮像装置における信号処理方法において、
   前記第１の赤、緑、青の色信号と係数との乗算を含むマトリクス演算を行って第２の赤、緑、青の色信号を生成する分光感度特性補正工程を備え、
   前記分光感度特性補正工程は、
   前記第１の赤、緑、青の色信号に予め定めた１より小さい第１の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第３の色信号を生成する第１種の変換工程と、
   前記第１の赤、緑、青の色信号に予め定めた第２の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第４の色信号を生成する第２種の変換工程と、
   前記第１の色信号と、前記第３の色信号と、前記第４の色信号と、これらに対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行うマトリクス演算工程と
   を備え、
   前記第３の色信号の値が概して前記第１の定数を指数としてべき乗することによって得られる値であって、前記第１の色信号が零に近い範囲においては、前記のべき乗により得られる値よりも小さな値に制限され、
   前記第１の定数、前記第２の定数、及び前記係数は、前記色信号生成手段における生成処理と前記分光感度特性補正工程の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められている
   ことを特徴とする信号処理方法。
10. 前記第１の色信号が零に近い範囲においては、前記第１の色信号に対する第３の色信号の比が所定値以下に制限されることを特徴とする請求項９に記載の信号処理方法。
11. 前記第２の定数が１より大きく、
    前記第４の色信号の値が概して前記第２の定数を指数としてべき乗することによって得られる値であって、前記第１の色信号が最大値に近い範囲においては、前記のべき乗によって得られる値よりも小さな値に制限されることを特徴とする請求項９又は１０に記載の信号処理方法。
12. 前記第１の色信号が最大値に近い範囲においては、前記第１の色信号に対する第４の色信号の比が所定値以下に制限されることを特徴とする請求項１１に記載の信号処理方法。
13. 第１の赤、緑、青の色信号をＲ５、Ｇ５、Ｂ５とし、前記第２の赤、緑、青の色信号をＲ６、Ｇ６、Ｂ６とするとき、前記分光感度特性補正工程は下記の式（１）、即ち、
    

    

    
    （ここで、
    ｆｉ（Ｒ５），ｆｉ（Ｇ５），ｆｉ（Ｂ５）は、それぞれ、前記第３の色信号の値、
    ｆｊ（Ｒ５），ｆｊ（Ｇ５），ｆｊ（Ｂ５）は、それぞれ、前記第４の色信号の値、
    ｒ１乃至ｒ９、ｇ１乃至ｇ９、およびｂ１乃至ｂ９は係数）
    の演算を行うことを特徴とする請求項９乃至１２のいずれかに記載の信号処理方法。

Images