JP2006237738A - 色信号処理方法 - Google Patents

Abstract

【課題】 赤外光によるオフセット信号成分を含む色成分信号に対する色信号処理の処理負荷を軽減する。
【解決手段】 各色成分信号〈Ｒ〉，〈Ｇ〉，〈Ｂ〉が実質的に〈IR〉に等しい場合Ｓ３０は、色成分信号はほとんどオフセット信号成分であり、本来のＲＧＢの波長域に対応する信号成分はわずかである。この場合には、色差信号Ｃr，Ｃbを求める演算を省略し、輝度信号Ｙのみからなるモノクロ信号を生成する（Ｓ３５）。一方、〈IR〉が実質的に０である場合には、Ｙ，Ｃr，Ｃbを生成する際に、オフセット信号成分に起因する影響を除去する補正処理を省略する。
【選択図】 図２

Description

本発明は、互いに異なる色成分に対応した色成分信号が、目的外の波長に係るオフセット信号成分を有する場合に対応した色信号処理方法に関する。

ビデオカメラやデジタルカメラに搭載されるＣＣＤ（Charge Coupled Device）イメージセンサ等の固体撮像素子は二次元配列された受光部を有し、この受光部で入射光を光電変換して電気的な画像信号を生成する。受光部は半導体基板に形成されたフォトダイオードを含み、このフォトダイオード自体は、いずれの受光部においても共通の分光感度特性を有する。そのため、カラー画像を取得するために、透過光の色、つまり透過波長領域が異なる複数種類のカラーフィルタをフォトダイオード上に配置する。

カラーフィルタには、透過光が赤（Ｒ）、緑（Ｇ）及び青（Ｂ）である原色系のフィルタセットや、シアン（Ｃｙ）、マゼンタ（Ｍｇ）及びイエロー（Ｙｅ）である補色系のフィルタセットがある。これらカラーフィルタは例えば、有機材料を基材とし、これを着色して形成され、それぞれ対応する色の可視光を透過するが、その材質上、赤外光も透過する。各色のカラーフィルタの透過率は、可視光領域ではそれぞれの着色に応じて固有の分光特性を示すが、赤外光領域ではほぼ共通の分光特性を示す。

一方、フォトダイオードは、波長が３８０〜７８０ｎｍ程度の可視光領域全般に加え、さらに長波長の近赤外領域まで感度を有する。そのため、赤外光成分（ＩＲ成分）が受光画素に入射すると、当該赤外光成分はカラーフィルタを透過して、フォトダイオードにて信号電荷を発生する。図３はそれぞれＲＧＢ各フィルタを配置されたＲＧＢ各受光部の分光感度特性を示すグラフである。図３にも示されるように、各受光部がＩＲ成分にも感度を有するので、ＩＲ成分を含む入射光に対して正しい色表現ができない。そのため、従来は、カメラのレンズと固体撮像素子との間に、別途、赤外カットフィルタを配置している。

この赤外カットフィルタは、赤外光をカットすると同時に、可視光も１０〜２０％程度、減衰させる。そのため、受光部に入射する可視光の強度が減少し、それに応じて出力信号のＳ／Ｎ比が低下し、画質の劣化を招くという問題があった。

この問題への対処として、赤外カットフィルタを無くす一方で、ＲＧＢ等の特定色の光成分を透過するカラーフィルタを配置された受光部（特定色受光部）に加えて、基本的に入射光中のＩＲ成分のみを検出する受光部（ＩＲ受光部）を有した固体撮像素子が提案されている。

ＩＲ受光部が出力する信号（参照信号）は、各受光部にてＩＲ成分に起因して生じる信号量に関する情報を与える。この参照信号を用いて、特定色受光部から出力される各色信号に含まれるＩＲ成分の影響を除去する色信号処理を行うことができる。
特願２００３−４２５７０８号公報

ＩＲ成分を除去する色信号処理は、各特定色受光部にて得られる色成分信号にオフセット信号として重畳されるＩＲ成分を、ＩＲ受光部から得られる参照信号に基づいて推定する。そのため、各色成分信号中のＩＲ成分の比率が大きくなると、その推定の誤差に起因して、当該成分を除去後の微小な信号により表される色が不正確となりやすい。このようにＩＲ成分除去演算は常に有効とは限らないという問題があった。

本発明は上記問題点を解決するためになされたものであり、目的外の波長に係るオフセット信号成分を含む色成分信号に対し、処理の負荷軽減及び高速化が図られた好適な色信号処理を提供することを目的とする。

本発明に係る色信号処理方法は、オフセット成分帯域の光成分に対応した参照信号及び、それぞれ互いに異なる特定色の光成分に対応した信号成分と前記オフセット成分帯域の光成分に対応したオフセット信号成分とが合成された複数種類の色成分信号を用いる方法であって、前記各色成分信号に占める前記オフセット信号成分の比重を、前記参照信号に基づいて評価し、前記各色成分信号毎の前記比重が所定の閾値以上であるオフセット優勢状態を検出するオフセット優勢状態検出ステップと、前記オフセット優勢状態の場合に、前記各色成分信号に基づいて単色のモノクロ信号を生成するモノクロ信号生成ステップと、前記オフセット優勢状態以外の場合に、前記各色成分信号に応じた有彩色信号を生成する色信号生成ステップと、を有する。

他の本発明に係る色信号処理方法においては、前記色信号生成ステップが、前記参照信号に基づいて、前記オフセット信号成分に応じた補正処理を行い、補正された前記有彩色信号を生成するステップを有する。

さらに他の本発明に係る色信号処理方法においては、前記色信号生成ステップが、さらに、前記参照信号が所定の閾値以下である微小オフセット状態を検出するステップと、前記微小オフセット状態の場合に、前記補正処理を行わずに前記有彩色信号を生成するステップとを有する。

本発明の好適な態様は、前記オフセット優勢状態検出ステップにおいて、前記各色成分信号が前記参照信号に応じた値である場合を前記オフセット優勢状態として検出する色信号処理方法である。

本発明によれば、色成分信号に占めるオフセット信号成分の比重が大きい場合には、当該オフセット信号成分を含んだ色成分信号に基づいてモノクロ信号が生成される。よって、色信号処理にて得られた信号により不正確な色での表示がなされることが回避されると共に、その際、オフセット信号成分を除去する処理が省略され、処理の負荷軽減及び高速化が図られる。また、オフセット信号成分が小さい場合には当該成分を除去する等の補正処理を省略し、色成分信号に応じた色差信号等の色信号の生成が行われる。補正処理が省略される分、処理の負荷軽減及び高速化が図られる。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

図１は、本実施形態に係る撮像装置の概略の構成を示すブロック図である。この撮像装置は、ＣＣＤイメージセンサ２、アナログ信号処理回路４、Ａ／Ｄ変換回路６及びデジタル信号処理回路８を備えている。

図１に示すＣＣＤイメージセンサ２はフレーム転送型であり、半導体基板上に形成される撮像部２ｉ、蓄積部２ｓ、水平転送部２ｈ、及び出力部２ｄを含んで構成される。

撮像部２ｉを構成する垂直シフトレジスタの各ビットは、それぞれ画素を構成する受光部として機能する。

各受光部はカラーフィルタを配置され、そのカラーフィルタの透過特性に応じて、受光部が感度を有する光成分が定まる。ここでは、２×２画素の配列が受光部の配列の単位を構成する。例えば、受光部１０，１２，１４，１６がこの単位を構成する。

受光部１０，１２，１４はそれぞれＧフィルタ、Ｒフィルタ、Ｂフィルタを配置される。受光部１０はＧ受光部であり、可視光だけでなくＩＲ成分も含む入射光に対して、図３のライン３０に示すように、当該受光部はＧ成分３２及びＩＲ成分３４に応じた信号電荷を発生する。また、同様に、図３のライン５０に示すように、受光部１２はＲ成分５２及びＩＲ成分５４に応じた信号電荷を発生するＲ受光部であり、ライン４０に示すように、受光部１４はＢ成分４２及びＩＲ成分４４に応じた信号電荷を発生するＢ受光部である。

受光部１６は、ＩＲ成分を選択的に透過するＩＲフィルタ（赤外光透過フィルタ）を配置され、入射光中のＩＲ成分に応じた信号電荷を発生するＩＲ受光部である。このＩＲフィルタは、ＲフィルタとＢフィルタとを積層して構成することができる。なぜならば、可視光のうちＢフィルタを透過するＢ成分はＲフィルタを透過せず、一方、Ｒフィルタを透過するＲ成分はＢフィルタを透過しないため、両フィルタを通すことで、基本的に可視光成分が除去され、もっぱら透過光には両フィルタを透過するＩＲ成分が残るからである。

撮像部２ｉには、当該２×２画素の構成が垂直方向、水平方向それぞれに繰り返して配列される。

ＣＣＤイメージセンサ２は、図示されていない駆動回路から供給されるクロックパルス等により駆動され、撮像部２ｉの各受光部で発生した信号電荷は、蓄積部２ｓ、水平転送部２ｈを介して出力部２ｄへ転送される。出力部２ｄは、水平転送部２ｈから出力される信号電荷を電圧信号に変換し、画像信号として出力する。

アナログ信号処理回路４は、出力部２ｄが出力するアナログ信号の画像信号に対して、増幅やサンプルホールド等の処理を施す。Ａ／Ｄ変換回路６はアナログ信号処理回路４から出力される画像信号を、所定の量子化ビット数のデジタルデータに変換することにより、画像データを生成し、これを出力する。例えば、Ａ／Ｄ変換回路６は８ビットのデジタル値へのＡ／Ｄ変換を行い、これにより画像データは０から２５５までの範囲内の値で表される。

デジタル信号処理回路８はＡ／Ｄ変換回路６から画像データを取り込み、各種の処理を行う。例えば、デジタル信号処理回路８は撮像部２ｉにおけるＲ，Ｇ，Ｂ，ＩＲ各受光部の配列に対応してそれぞれ異なるサンプリング点にて得られたＲ，Ｇ，Ｂ，ＩＲ各データに対して補間処理を行い、画像を構成する各サンプリング点それぞれにて、Ｒ，Ｇ，Ｂ，ＩＲデータを定義する。これらＲ，Ｇ，Ｂ，ＩＲに対応するデータをそれぞれ〈Ｒ〉，〈Ｇ〉，〈Ｂ〉，〈IR〉と表す。デジタル信号処理回路８は、さらにそれらデータを用いて、各サンプリング点における輝度データ（輝度信号）Ｙ及び色差データ（色差信号）Ｃr，Ｃbを生成する処理を行う。

以下、Ｙ，Ｃr，Ｃbを生成する色信号処理方法について説明する。図２は、当該色信号処理方法を説明する概略のフロー図である。〈Ｒ〉，〈Ｇ〉，〈Ｂ〉のうち入射光のＲ，Ｇ，Ｂ成分に応じた信号成分をＲ_０，Ｇ_０，Ｂ_０、赤外光に応じたオフセット信号成分をＩr，Ｉg，Ｉbとすると、次式が成り立つ。
〈Ｒ〉＝Ｒ_０＋Ｉr
〈Ｇ〉＝Ｇ_０＋Ｉg ・・・（１）
〈Ｂ〉＝Ｂ_０＋Ｉb

デジタル信号処理回路８は、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉に占めるオフセット信号成分Ｉr，Ｉg，Ｉbの比重を、〈IR〉に基づいて評価し、さらに、この比重が所定の閾値以上であるオフセット優勢状態を検出する。このオフセット状態を検出する処理では、ＲＧＢ各受光部にそれぞれ配置されたカラーフィルタ及びＩＲ受光部に配置されたＩＲフィルタそれぞれの透過特性や、ＲＧＢ各受光部とＩＲ受光部との面積の差異等が考慮される。これらの要因に関する情報は予め取得され、デジタル信号処理回路８での処理に反映される。ここでは、ＩＲフィルタは上述のようにＲＧＢフィルタと同じ基材で構成され、それら各フィルタの赤外光に対する透過特性は基本的に同じである。また、各受光部の面積も基本的に同じに構成される。これらから、実質的に、
Ｉr＝Ｉg＝Ｉb＝〈IR〉 ・・・（２）
とすることができる。この関係を利用して、デジタル信号処理回路８は、実質的に次式が成立するか否かを判定する（Ｓ３０）。
〈Ｒ〉＝〈Ｇ〉＝〈Ｂ〉＝〈IR〉 ・・・（３）

この式が成立するとみなせる場合は、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉のほとんどの割合がＩr，Ｉg，Ｉbであり、入射光のＲ，Ｇ，Ｂそれぞれの波長域に対応する信号成分Ｒ_０，Ｇ_０，Ｂ_０は微小である場合である。デジタル信号処理回路８は、上記式が成立するとみなせる場合をオフセット優勢状態と判定し、モノカラー演算Ｓ３５を実行する。

例えば、デジタル信号処理回路８は、処理Ｓ３０として、各サンプリング点について各比〈IR〉/〈Ｒ〉，〈IR〉/〈Ｇ〉，〈IR〉/〈Ｂ〉を算出し、それら各比の１画面内での平均値がいずれも、予め設定された閾値γ以上であれば、オフセット優勢状態と判定する。閾値γは１未満かつ１に近い値に設定される。一方、いずれかの比の平均値が閾値γより小さい場合は、オフセット優勢状態ではないと判定される。

モノカラー演算Ｓ３５では、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉を用いて、輝度データＹのみが生成され、色差データＣr，Ｃbを生成する演算は省略される。これにより、モノカラー演算Ｓ３５では処理の負荷軽減及び高速化が図られる。このモノカラー演算Ｓ３５により生成された画像データは、赤外光画像を表すモノクロ画像信号となる。

一方、デジタル信号処理回路８は、処理Ｓ３０にてオフセット優勢状態ではないと判断した場合には、入射光のＲ，Ｇ，Ｂそれぞれの波長域に対応する信号成分に基づく可視光画像を表すカラー画像信号を生成する。このカラー画像信号を生成する処理において、デジタル信号処理回路８は、まず、オフセット信号成分Ｉr，Ｉg，Ｉbが微小である微小オフセット状態であるか否かを判定する。ここでは（２）式を利用して、実質的に〈IR〉が微小であるか否かに基づいて、微小オフセット状態の判定を行う（Ｓ４０）。

例えば、デジタル信号処理回路８は、処理Ｓ４０として、〈IR〉の１画面内での平均値が、予め設定された閾値ξ以下であれば、微小オフセット状態と判定する。閾値ξは０に近い正数に設定される。一方、〈IR〉の平均値が閾値ξより大きい場合は、微小オフセット状態ではないと判定される。

デジタル信号処理回路８は、微小オフセット状態と判定した場合には、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉に対して通常色演算Ｓ４５を施す。なお、通常の色演算は、Ｙ，Ｃr，Ｃbを、ＲＧＢ各成分についての次式で求める。
Ｙ ≡αＲ＋βＧ＋γＢ ・・・（４）
Ｃr≡λ(Ｒ−Ｙ) ・・・（５）
Ｃb≡μ(Ｂ−Ｙ) ・・・（６）

ここで、α，β，γ，λ，μは係数であり、特にα，β，γの間には，
α＋β＋γ＝１
なる関係がある。

本来この演算（４）〜（６）はＲ，Ｇ，Ｂとして、オフセット信号成分を除いて残るＲ_０，Ｇ_０，Ｂ_０を用いて行うべきであるが、デジタル信号処理回路８は微小オフセット状態と判定した場合には、Ｒ，Ｇ，Ｂとして〈Ｒ〉，〈Ｇ〉，〈Ｂ〉を用いて（４）〜（６）式によりＹ，Ｃr，Ｃbを算出する。すなわち、通常色演算Ｓ４５では、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉に含まれ得るオフセット信号成分Ｉr，Ｉg，Ｉbを無視し、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉がそれぞれ、入射光のＲ，Ｇ，Ｂ各波長域に対応する信号成分Ｒ_０，Ｇ_０，Ｂ_０そのものであるとみなして、輝度データＹ及び色差データＣr，Ｃbが生成される。

デジタル信号処理回路８は、処理Ｓ４０にて微小オフセット状態ではないと判定した場合には、ＩＲ除去色演算Ｓ５０を実行してＹ，Ｃr，Ｃbを算出する。このＩＲ除去色演算Ｓ５０は、〈IR〉に基づいてオフセット信号成分Ｉr，Ｉg，Ｉbに応じた補正処理を行い、オフセット信号成分Ｉr，Ｉg，Ｉbにより生じる影響が除去、緩和されたＹ，Ｃr，Ｃbを生成する。

ＩＲ除去色演算Ｓ５０では、補正処理を行うのに対し、通常色演算Ｓ４５では、その補正処理が省略されるので、処理の負荷軽減及び高速化が図られる。

実施形態に係る撮像装置の概略の構成を示すブロック図である。 実施形態に係る色信号処理方法を説明する概略のフロー図である。 ＲＧＢ各受光部の分光感度特性を示すグラフである。

符号の説明

２ ＣＣＤイメージセンサ、４ アナログ信号処理回路、６ Ａ／Ｄ変換回路、８ デジタル信号処理回路、１０，１２，１４，１６ 受光部。

Claims (4)

1. オフセット成分帯域の光成分に対応した参照信号及び、それぞれ互いに異なる特定色の光成分に対応した信号成分と前記オフセット成分帯域の光成分に対応したオフセット信号成分とが合成された複数種類の色成分信号を用いる色信号処理方法であって、
   前記各色成分信号に占める前記オフセット信号成分の比重を、前記参照信号に基づいて評価し、前記各色成分信号毎の前記比重が所定の閾値以上であるオフセット優勢状態を検出するオフセット優勢状態検出ステップと、
   前記オフセット優勢状態の場合に、前記各色成分信号に基づいて単色のモノクロ信号を生成するモノクロ信号生成ステップと、
   前記オフセット優勢状態以外の場合に、前記各色成分信号に応じた有彩色信号を生成する色信号生成ステップと、
   を有することを特徴とする色信号処理方法。
2. 請求項１に記載の色信号処理方法において、
   前記色信号生成ステップは、前記参照信号に基づいて、前記オフセット信号成分に応じた補正処理を行い、補正された前記有彩色信号を生成するステップを有することを特徴とする色信号処理方法。
3. 請求項２に記載の色信号処理方法において、
   前記色信号生成ステップは、さらに、
   前記参照信号が所定の閾値以下である微小オフセット状態を検出するステップと、
   前記微小オフセット状態の場合に、前記補正処理を行わずに前記有彩色信号を生成するステップと、
   を有することを特徴とする色信号処理方法。
4. 請求項１から請求項３のいずれか１つに記載の色信号処理方法において、
   前記オフセット優勢状態検出ステップは、前記各色成分信号が前記参照信号に応じた値である場合を前記オフセット優勢状態として検出すること、
   を特徴とする色信号処理方法。
   

Images