JP2006333339A - 画素信号処理装置、および画素信号処理方法 - Google Patents

Abstract

【課題】 色間で感度の異なる画素信号について、ダイナミックレンジを活用できる色レベル信号を得ることができる画素信号処理装置、および画素信号処理方法を提供すること
【解決手段】 画像デバイスの色画素より提供される画素信号を処理するにあたり、色画素間の感度を調整するために、色画素ごとの画素信号に対する第１増幅度が調整される第１増幅器と、第１増幅器より出力される感度調整された画素信号のうち最大信号強度の色レベル信号を、後段の画像処理におけるダイナミックレンジに相当する信号強度とする第２増幅度で、感度調整された画素信号を増幅する第２増幅器と、第２増幅器により増幅された画素信号から黒レベル信号の成分を減ずる演算器とを備える。色間での感度調整した上で画像処理のダイナミックレンジまで色レベル信号を増幅することができる。
【選択図】 図３

Description

本発明は、画素信号の処理装置に関するものであり、特に、有効画素領域の信号レベルの増幅に関するものである。

特許文献１では、ピクセル信号ゲイン増幅（ＰｘＧＡ）回路を備えている。ＣＣＤから出力されるピクセル信号を増幅するに当たり、振幅にばらつきのあるピクセル信号が、コリレーテッド・ダブル・サンプリング（ＣＤＳ）回路に入力され、ＣＤＳ回路からＰｘＧＡ回路に供給される。ＰｘＧＡ回路では、ピクセル信号の各々を、夫々の色ごとに個別に設定変更可能なゲインで増幅し、ピクセル信号間のレベルを揃えるようにする。これらの信号を可変利得増幅器で更に増幅して、増幅されたノイズを含む増幅されたピクセル信号を得る。

特開２００１−２８７１６号公報（第００１９、００２０段落）

ここで、ＣＣＤ等の画像デバイスを構成する各画素からＣＤＳ回路を経て出力される画素信号は、色レベル信号に黒レベル信号が重畳された信号である。黒レベル信号とは遮光された状態においても出力されてしまう信号であり、暗電流がリーク電流として流れることを主たる原因とする信号である。暗電流等のリーク電流は、画像デバイスの温度、デバイス構造、製造ばらつき等に応じて生成される電流であり、画素の別に関わらず流れるので、ＣＤＳ回路から出力される画素信号は、有効な画像情報である色レベル信号にノイズ成分である黒レベル信号が重畳されることとなる。

特許文献１では、ＰｘＧＡ回路および可変利得増幅器において、ＣＤＳ回路から出力される画素信号を増幅するが、このとき、色レベル信号に加えて黒レベル信号も同時に増幅されることとなる。したがって、見かけ上、増幅された画素信号が後段のＡＤコンバータにおけるダイナミックレンジ一杯の信号レベルであるとしても、この画素信号には増幅されたノイズ成分である黒レベル信号を含んでしまう。画像情報として有効な色レベル信号をＡＤコンバータにおけるダイナミックレンジ一杯に増幅することはできず、伝達される画像情報の分解能が低下してしまうおそれがある。画像デバイスから提供される画像情報が劣化してしまうおそれがあり問題である。

画素信号が、見かけ上ダイナミックレンジまで増幅されてはいるものの、色レベル信号に加えてノイズ成分である黒レベル信号が重畳されているため、有効な画像情報の分解能が劣化してしまうおそれがあり問題である。

本発明は前記背景技術に鑑みなされたものであり、色間で感度の異なる色レベル信号に黒レベル信号が重畳されてなる画素信号について、色間での色レベル信号の感度を調整した上で画像処理可能なダイナミックレンジ一杯まで色レベル信号を増幅し、増幅された各画素信号から黒レベル信号を相殺するので、ダイナミックレンジをフルに活用できる色レベル信号を得て画像処理が行なわれる画素信号処理装置、および画素信号処理方法を提供することを目的とする。

前記目的を達成するために、本発明に係る画素信号処理装置は、画像デバイスの色画素より提供される、色レベル信号に黒レベル信号が重畳された画素信号を処理する画素信号処理装置であって、色画素間の感度を調整するために、色画素ごとの画素信号に対する第１増幅度が調整される第１増幅器と、第１増幅器より出力される感度調整された画素信号のうち最大信号強度の色レベル信号を、後段の画像処理におけるダイナミックレンジに相当する信号強度とする第２増幅度で、感度調整された画素信号を増幅する第２増幅器と、第２増幅器により増幅された画素信号から黒レベル信号の成分を減ずる演算器とを備えることを特徴とする。

本発明の画素信号処理装置では、色レベル信号に黒レベル信号が重畳された画素信号を処理する際、第１増幅器における第１増幅度が色画素ごとに調整されて、色画素間の感度が調整される。第２増幅器では、感度調整された画素信号を第２増幅度で増幅する。更に演算器では、第２増幅器により増幅された画素信号から黒レベル信号の成分が減算される。感度調整された画素信号が第２増幅度で増幅され、色レベル信号における最大信号強度がダイナミックレンジに相当する信号強度となるように、画素信号が増幅された上で、黒レベル信号の成分が減算されることにより、ダイナミックレンジをフルに活用することが可能な色レベル信号が抽出される。色画素において取得される有効な画像情報である色レベル信号が、後段の画像処理におけるダイナミックレンジまで信号増幅される。

また、本発明に係る画素信号処理方法は、画像デバイスの色画素より提供される、色レベル信号に黒レベル信号が重畳された画素信号を処理する画素信号処理方法であって、色画素ごとに画素信号を個別に増幅して、色画素間の感度を調整するステップと、感度調整のステップにより得られる感度調整された画素信号を増幅して、画素信号の色レベル信号を後段の画像処理におけるダイナミックレンジまで広げるステップと、感度調整された画素信号を増幅するステップにより得られる画素信号から黒レベル信号の成分を減ずるステップとを有することを特徴とする。

本発明の画素信号処理方法では、色レベル信号に黒レベル信号が重畳された画素信号を処理する際、色画素ごとに画素信号を個別に増幅して、色画素間の感度を調整した上で、画素信号における色レベル信号を後段の画像処理におけるダイナミックレンジまで広げるように感度調整された画素信号を増幅し、そこから黒レベル信号の成分を減じて、ダイナミックレンジをフルに活用することが可能な信号レベルの色レベル信号を抽出する。

本発明によれば、画素信号から黒レベル信号を除いた色レベル信号についてダイナミックレンジまでの増幅が可能となる。画素信号におけるノイズ成分である黒レベル信号が除かれ、有効な画像情報である色レベル信号を最大限に増幅することが可能となる。画像デバイスにより提供される画像情報をダイナミックレンジ一杯の分解能で伝達することができ、後段の画像処理において最大限の分解能を有して処理を行なうことができる。画像デバイスの能力を最大限に活かすことができる。

以下、本発明の画素信号処理装置、および画素信号処理方法について具体化した実施形態を図１乃至図６に基づき図面を参照しつつ詳細に説明する。

本発明は、動画あるいは静止画の表示に際し、画像情報が繰り返し取得されて画像処理が行なわれる場合に適用されるものである。以下では、画像処理装置の一例としてディジタルカメラを例に説明する。

図１は、ディジタルカメラ等に搭載されるＣＣＤデバイス等の画像デバイスとして、一枚の画像デバイスに、赤色画素Ｒ、緑色画素Ｇ、および青色画素Ｂの３原色の色画素Ｒ、Ｇ、Ｂを備え画像情報を取得する、単板の画像デバイス１について、画素配列の一例を示す概念図である。

画像デバイス１において、有効な画像情報が取得される色画素Ｒ、Ｇ、Ｂが配置されている有効画素領域２には、図１中の横方向に、赤色画素Ｒおよび緑色画素Ｇが交互に配置される横列と、緑色画素Ｇとおよび青色画素Ｂが交互に配置される横列とが、隣接する横列間で緑色画素Ｇが縦方向に並ばないように、交互に配置されている。いわゆるベイヤー配列と称される画素配列である。

画像デバイス１は、通常、有効画素領域２の周縁部に、銀（Ａｇ）やアルミニウム（Ａｌ）等の被膜で遮光された遮光領域３を備えている。遮光領域３はＯＢ領域とも称され、光を通さず画像情報が取得されないことから、黒レベル領域とも称される。遮光領域（ＯＢ領域）３では、遮光された状態であり画像情報に基づく色レベル信号は生成されないものの、暗電流がリーク電流として流れることを主たる原因とするノイズ成分である黒レベル信号が生成される。暗電流等のリーク電流は、画像デバイス１の温度、画像デバイス１の構造、製造ばらつき等に応じて生成される電流であり、遮光領域（ＯＢ領域）３、有効画素領域２の別なく、すべての画素において流れる。

画像デバイス１は横方向に走査されるが、そのとき画像デバイス１から出力される出力信号ＣＣＤＩＮを、赤色画素Ｒおよび緑色画素Ｇが交互に配置される横列について示した波形が図２である。プリチャージ期間（Ｐｒｅ）を挟んで、各画素から画素信号が出力される。最初の２サイクルはＯＢ領域から出力される黒レベル信号ＯＢＲ、ＯＢＧである。次サイクルから、順次、赤色画素Ｒと緑色画素Ｇとが交互に出力される。各色画素Ｒ、Ｇでは、有効な画像情報に応じて色画素Ｒ、Ｇごとに信号強度が異なる色レベル信号ＣＲ、ＣＧに、ノイズ成分であり色画素Ｒ、Ｇ間で同等の信号強度を有する黒レベル信号ＯＢＲ、ＯＢＧが重畳された信号が、画素信号として出力される。正確な画像情報を得るためには、各色画素Ｒ、Ｇ、Ｂにおいて、色レベル信号ＣＲ、ＣＧ、ＣＢに影響を与えない範囲で、画素信号から黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢを除去することが重要である。

ここで、黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢの信号強度は色画素Ｒ、Ｇ、Ｂ間で大差はないものの、黒レベル信号の起源が暗電流等のリーク電流を主要因とすること、暗電流等のリーク電流はデバイス特性に依存する可能性のあることから、色画素Ｒ、Ｇ、Ｂごとに黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢの信号強度が異なる場合も考えられる。したがって、画素信号から黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢを除去するにあたっては、色画素Ｒ、Ｇ、Ｂごとに黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢを見積もることが好ましい。遮光領域（ＯＢ領域）３に配置する画素を、同じ横列の有効画素領域２の配列に従って行なうことで、各色画素Ｒ、Ｇ、Ｂごとの黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢを取得することができる。

また、遮光領域（ＯＢ領域）３のうち、走査領域から外れる画像デバイス１の上下端部についても、隣接する横列との関係で対応する色画素が配置されているので、この部分についても黒レベル信号を取得するために、走査領域を拡張することもできる。

図３に示す実施形態の回路ブロック図では、画素信号処理装置１０とＤＳＰ部２０とを備えている。画像デバイス１（図１）から出力される出力信号ＣＣＤＩＮは画素信号処理装置１０に入力される。出力信号ＣＣＤＩＮはアナログ信号であり、画素信号処理装置１０において、信号増幅等のアナログ処理が行なわれる。アナログ処理された信号はＡ／Ｄ変換され、ディジタル信号としてＤＳＰ部２０に出力される。ＤＳＰ部２０では、焦点や露出などの自動調整をはじめとする画像処理が行なわれる。画像処理された画素信号は、必要に応じて演算処理された上で画素信号処理装置１０に戻される。これにより、画素信号処理装置１０では、画像デバイス１からの次の出力信号ＣＣＤＩＮに適格なアナログ処理の条件が設定される。

画素信号処理装置１０では、出力信号ＣＣＤＩＮの入力されるＣＤＳ回路１１は第１増幅器（ＣＤＳａｍｐ）１２に接続され、第１増幅器（ＣＤＳａｍｐ）１２は第２増幅器（ＰＧＡ）１３に接続されている。演算器１４は、加算端子（＋）が第２増幅器（ＰＧＡ）１３に接続され、減算端子（−）がＤ／Ａ変換器（ＤＡＣ）１６に接続されている。演算器１４の出力はＡ／Ｄ変換器（ＡＤＣ）１５に接続され、Ａ／Ｄ変換器（ＡＤＣ）１５からＤＳＰ部２０に、Ａ／Ｄ変換された色レベル信号が送られる。また、レジスタ部１７は、ＤＳＰ部２０において演算され画素信号処理装置１０におけるアナログ信号処理において必要となる各種のパラメータが格納される。

レジスタ１７Ａ乃至１７Ｃに格納されているパラメータは、第１増幅器（ＣＤＳａｍｐ）１２に入力される。色画素Ｒ、Ｇ、Ｂ間で異なる感度を調整する際の第１増幅器（ＣＤＳａｍｐ）１２での第１増幅度Ｇ１が格納されている。また、レジスタ１７Ｄに格納されているパラメータは、第２増幅器（ＰＧＡ）１３に入力される。画像情報として有効である色レベル信号をＡ／Ｄ変換器（ＡＤＣ）１５のダイナミックレンジまで拡大するための第２増幅度Ｇ２が格納されている。更に、レジスタ１７Ｅ乃至１７Ｇに格納されているパラメータは、Ｄ／Ａ変換器（ＤＡＣ）１６に入力される。演算器１４において、第１および第２増幅器１２、１３で増幅された画素信号から黒レベル信号ＯＢを除去するため、遮光領域（ＯＢ領域）３での黒レベル信号ＯＢが色画素ごとに格納されている。

第１増幅器（ＣＤＳａｍｐ）１２、Ａ／Ｄ変換器（ＡＤＣ）１５、およびＤ／Ａ変換器（ＤＡＣ）１６にはタイミング信号ＣＬＫが入力される。タイミング信号ＣＬＫは、画像デバイス１の走査において画素の切り替わりに応じて発せられる信号である。また、演算器１４のイネーブル端子（ＥＮ）にはＯＢクランプ信号ＣＬＰＯＢが負論理で入力される。ＯＢクランプ信号ＣＬＰＯＢは、画像デバイス１の遮光領域（ＯＢ領域）３を走査する期間に活性化される信号である。ここではハイレベルの状態をもって活性化の状態であるとして構成されている。

次に、上記の構成を有する画素信号処理装置１０の動作を説明する。画像デバイス１から出力される出力信号ＣＣＤＩＮには２種類の信号が含まれている。ＣＤＳ回路１１は、各々の信号が出力されるタイミングに応じて出力信号ＣＣＤＩＮをサンプリングしてこれらの信号を取得する。その一はリセットレベル信号である。プリチャージ期間（Ｐｒｅ）（図２、参照）においてサンプリングされる基準信号である。他の一はプリチャージ期間（Ｐｒｅ）に引き続く画素信号の読み出し期間においてサンプリングされる信号である。この信号のリセットレベル信号からの差信号が画素信号となる。ＣＤＳ回路１１は、不図示のタイミング信号に基づき、プリチャージ期間（Ｐｒｅ）とこれに引き続く画素信号の読み出し期間に出力信号ＣＣＤＩＮをサンプリングし、差信号である画素信号を出力する。

ＣＤＳ回路１１から出力される画素信号は、有効な画像情報を示す色レベル信号ＣＲ、ＣＧ、ＣＢに黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢが重畳された信号である。また、色画素Ｒ、Ｇ、Ｂごとに感度が異なることが一般的である。緑色画素Ｇに比して、赤色画素Ｒおよび青色画素Ｂの感度は低いことが一般的である。第１増幅器（ＣＤＳａｍｐ）１２では、色画素Ｒ、Ｇ、Ｂごとの感度差を調整するために、色画素Ｒ、Ｇ、Ｂごとに個別に第１増幅度Ｇ１を設定して、画素信号を増幅して感度を調整する。

この様子を図４に示す。ＣＤＳ回路１１の出力信号として模式的に図示されている色画素Ｒ、Ｇ、Ｂごとの画素信号ＣＲ（ＡＶ）＋ＯＢＲ（ＡＶ）、ＣＧ（ＡＶ）＋ＯＢＧ（ＡＶ）、ＣＢ（ＡＶ）＋ＯＢＢ（ＡＶ）の信号強度は、色レベル信号ＣＲ（ＡＶ）、ＣＧ（ＡＶ）、ＣＢ（ＡＶ）の信号強度が、各色画素Ｒ、Ｇ、Ｂの感度と合致する平均的な信号強度を有する場合を示している。

各色画素Ｒ、Ｇ、Ｂの色レベル信号ＣＲ（ＡＶ）、ＣＧ（ＡＶ）、ＣＢ（ＡＶ）の感度差を調整するために、各々の色レベル信号ＣＲ（ＡＶ）、ＣＧ（ＡＶ）、ＣＢ（ＡＶ）の信号強度を最大の信号強度を有する緑色画素Ｇの色レベル信号ＣＧ（ＡＶ）の信号強度に調整する。すなわち、色レベル信号ＣＲ（ＡＶ）、ＣＧ（ＡＶ）、ＣＢ（ＡＶ）ごとに、ＤＳＰ部２０において予め演算され、レジスタ１７Ａ乃至１７Ｃに格納されている第１増幅度Ｇ１Ｒ、Ｇ１Ｇ、Ｇ１Ｂが設定される。

ここで、赤色画素Ｒについての増幅度Ｇ１Ｒは、Ｇ１Ｒ＝ＣＧ（ＡＶ）／ＣＲ（ＡＶ）として演算することができる。青色画素Ｂについての増幅度Ｇ１Ｂは、Ｇ１Ｂ＝ＣＧ（ＡＶ）／ＣＢ（ＡＶ）として演算することができる。また、緑色画素Ｇについての増幅度Ｇ１Ｇは、Ｇ１Ｇ＝ＣＧ（ＡＶ）／ＣＧ（ＡＶ）＝１である。これらの演算は、図６に後述するように、ＤＳＰ部２０でのディジタル演算処理により予め演算しておくことができる。

タイミング信号ＣＬＫに応じて、レジスタ１７Ａ乃至１７Ｃを順次選択してやれば、あるいはレジスタ１７Ａ乃至１７Ｃに格納されている第１増幅度Ｇ１Ｒ、Ｇ１Ｇ、Ｇ１Ｂが予め第１増幅器（ＣＤＳａｍｐ）１２に取り込まれていれば、第１増幅器（ＣＤＳａｍｐ）１２において第１増幅度Ｇ１Ｒ、Ｇ１Ｇ、Ｇ１Ｂを順次選択してやれば、色画素Ｒ、Ｇ、Ｂごとに個別に増幅が行なわれ、第１増幅器（ＣＤＳａｍｐ）１２から色画素Ｒ、Ｇ、Ｂごとの感度差が調整された信号が出力される。各色画素Ｒ、Ｇ、Ｂの感度と合致する平均的な信号強度を有する色レベル信号ＣＲ（ＡＶ）、ＣＧ（ＡＶ）、ＣＢ（ＡＶ）について、色レベル信号ＣＲ（ＡＶ）は第１増幅度Ｇ１Ｒで増幅され、色レベル信号ＣＢ（ＡＶ）は第１増幅度Ｇ１Ｂで増幅され、各々、色レベル信号ＣＧ（ＡＶ）と同等な信号強度となる。但し、同時に黒レベル信号ＯＢＲ（ＡＶ）、ＯＢＧ（ＡＶ）、ＯＢＢ（ＡＶ）も同様に増幅される。

第１増幅器（ＣＤＳａｍｐ）１２から出力される感度調整された画素信号は、第２増幅器（ＰＧＡ）１３に入力される。第２増幅器（ＰＧＡ）１３では、第２増幅度Ｇ２により増幅が行なわれる。

ここで、第１増幅器（ＣＤＳａｍｐ）１２において増幅される画素信号は、画像デバイス１の有効画素領域２で取得される画像情報に応じた様々な信号強度の分布を有する信号である。こうした画素信号が、色画素Ｒ、Ｇ、Ｂごとに、個別の第１増幅度Ｇ１Ｒ、Ｇ１Ｇ、Ｇ１Ｂで増幅され感度調整された画素信号として、図５に模式的に示されている。このうち、最大の信号強度を有する色レベル信号ＣＭＡＸが、後段のＡ／Ｄ変換器（ＡＤＣ）１５のダイナミックレンジＤＲに一致すれば、感度調整された全ての画素信号は、Ａ／Ｄ変換器（ＡＤＣ）１５の変換能力を最大限に利用して有効にＡ／Ｄ変換されることになる。

第２増幅器（ＰＧＡ）１３では、ＤＳＰ部２０において予め演算され、レジスタ１７Ｄに格納されている第２増幅度Ｇ２が増幅度として設定される。第２増幅度Ｇ２は、先行する画像処理において取得された色レベル信号に基づいて、最大の信号強度を有する色レベル信号ＣＭＡＸに対するＡ／Ｄ変換器（ＡＤＣ）１５のダイナミックレンジＤＲの比として演算される。尚、この場合も、同時に黒レベル信号ＯＢも第２増幅度Ｇ２で増幅される。

第２増幅器（ＰＧＡ）１３において増幅された画素信号は、色レベル信号の成分については、第２増幅度Ｇ２によりダイナミックレンジＤＲまでの範囲で増幅された信号であるが、同様に第２増幅度Ｇ２により増幅された黒レベル信号の成分が重畳された信号である。したがって、Ａ／Ｄ変換器（ＡＤＣ）１５においてダイナミックレンジをフルに活用して色レベル信号をＡ／Ｄ変換するためには、黒レベル信号を減ずる必要がある。これが行なわれるのが演算器１４である。

演算器１４で減ずべき黒レベル信号は、画像デバイス１から出力される画素信号に重畳されている黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢが、第１および第２増幅器１２、１３で増幅された信号である。以下では、この信号を増幅された黒レベル信号と称する。増幅された黒レベル信号ＯＢ（ＡＶ）は、図６に後述するように、ＤＳＰ部２０において、遮光領域（ＯＢ領域）３における画素を有効画素領域２における画素配置に対応させることにより、遮光領域（ＯＢ領域）３から取得される黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢを、各色画素Ｒ、Ｇ、Ｂの画素信号に対応する黒レベル信号として積算し平均化したものである。予め演算が行なわれ、色画素Ｒ、Ｇ、Ｂごとに、レジスタ１７Ｅ乃至１７Ｇに格納されている。

タイミング信号ＣＬＫに応じて、レジスタ１７Ｅ乃至１７Ｇが順次選択されてＤ／Ａ変換器（ＤＡＣ）１６にてＤ／Ａ変換が行なわれる。アナログ信号に変換される増幅された黒レベル信号ＯＢ（ＡＶ）が演算器１４に入力され、第２増幅器（ＰＧＡ）１３から出力される画素信号から減算されることにより、Ａ／Ｄ変換器（ＡＤＣ）１５のダイナミックレンジまで拡大された色レベル信号が抽出され、Ａ／Ｄ変換器（ＡＤＣ）１５に入力される。

図６には画素信号処理方法のフロー図を示す。処理が開始されると、先ず、初期化が行なわれる（Ｓ１）。初期化とは、色画素Ｒ、Ｇ、Ｂごとの感度調整、後段の画像処理のためのダイナミックレンジまでの拡大、および画素信号から減ずべき黒レベル信号の成分の設定等を含む初期化である。例えば、感度調整およびダイナミックレンジの拡大は行なわず（増幅度は１倍）、減ずべき黒レベル信号の成分をゼロとする等の初期化が行なわれる。図３の画素信号処理装置１０においては、レジスタ１７Ａ乃至１７Ｄに格納される増幅度Ｇ１、Ｇ２が全て１倍であって、レジスタ１７Ｅ乃至１７Ｇに格納される黒レベル信号の成分がゼロとして初期化されることに該当する。

画像デバイスから画像情報が取り込まれると、画像処理として、自動焦点合わせ（Ｓ２）および自動露出あわせ（Ｓ３）等が行なわれ、有効画素領域２および遮光領域（ＯＢ領域）３により構成される一画面分の画素信号が取得される（Ｓ４）。

取得された画素信号のうち、遮光領域（ＯＢ領域）３から取得される黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢについて、有効画素領域２のうち同じ横列にある色画素の配列順序に応じた順序で、黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢを色画素Ｒ、Ｇ、Ｂごとに割り振り平均化する。色画素Ｒ、Ｇ、Ｂごとに平均化された黒レベル信号ＯＢ（ＡＶ）が得られる（Ｓ５）。平均化された黒レベル信号ＯＢ（ＡＶ）は、調整された黒レベル信号格納部Ｄ１に格納される。図３の画素信号処理装置１０においては、レジスタ１７Ｅ乃至１７Ｇに格納されることに該当する。

次に、画像処理されて得られた色レベル信号ＣＲ、ＣＧ、ＣＢについて、色画素Ｒ、Ｇ、Ｂごとに平均化して、色レベル信号Ｃ（ＡＶ）を得る（Ｓ６）。平均化された色レベル信号Ｃ（ＡＶ）のうち、最大信号強度を有する色レベル信号Ｃ（ＡＶ）ＭＡＸを抽出し（Ｓ７）、色画素Ｒ、Ｇ、Ｂごとに、平均化された色レベル信号Ｃ（ＡＶ）について、信号強度に対する最大信号強度の比を演算する（Ｓ８）。演算結果が第１増幅度Ｇ１（＝Ｃ（ＡＶ）ＭＡＸ／Ｃ（ＡＶ））である。第１増幅度Ｇ１は色画素Ｒ、Ｇ、Ｂごとに演算され、第１増幅度（Ｇ１）格納部Ｄ２に格納される。図３の画素信号処理装置１０においては、レジスタ１７Ａ乃至１７Ｃに格納されることに該当する。また、処理Ｓ７乃至Ｓ８が図４の処理に該当する。

また、色レベル信号Ｃのうち最大信号強度ＣＭＡＸを抽出し（Ｓ９）、最大信号強度ＣＭＡＸに対する画像処理のダイナミックレンジに相当する信号強度ＤＲの比を演算する（Ｓ１０）。演算結果が第２増幅度Ｇ２（＝ＤＲ／ＣＭＡＸ）である。第２増幅度Ｇ２は、第２増幅度（Ｇ２）格納部Ｄ３に格納される。図３の画素信号処理装置１０においては、レジスタ１７Ｄに格納されることに該当する。また、処理Ｓ９乃至Ｓ１０が図５の処理に該当する。

以上の処理の後、処理Ｓ２に戻り、画像処理が繰り返される。画像処理を行なうための画素信号に対して、先行する画像処理で演算された、黒レベル信号ＯＢ（ＡＶ）、第１増幅度Ｇ１、および第２増幅度Ｇ２が利用される。これにより、色画素Ｒ、Ｇ、Ｂごとに、感度調整が行なわれた上で、後段の画像処理のダイナミックレンジまで、画像情報を示す色レベル信号の信号強度が拡大され、ダイナミックレンジをフルに活用した画像処理を行なうことができる。

尚、図６に示したフロー図は、例えば、図３に示す実施形態の回路ブロック図においては、ＤＳＰ部２０において実行される画像処理のフローを示す。

以上詳細に説明したとおり、本実施形態に係る画素信号処理装置、および画素信号処理方法によれば、画素信号から黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢを除いた色レベル信号ＣＲ、ＣＧ、ＣＢを増幅することにより、Ａ／Ｄ変換器（ＡＤＣ）１５やその他の画像処理におけるダイナミックレンジＤＲまで信号レベルを拡大することができる。Ａ／Ｄ変換後にディジタル信号処理により信号強度を拡大する従来技術ではＡ／Ｄ変換器で変換される色レベル信号の信号強度がＡ／Ｄ変換器のダイナミックレンジに足りず、Ａ／Ｄ変換器の有する分解能を充分に活かすことができないのに比して、本実施形態では、アナログ信号処理である増幅処理により、Ａ／Ｄ変換器のダイナミックレンジをフルに活用する信号レベルまで色レベル信号Ｃを拡大することができる。

また、Ａ／Ｄ変換器（ＡＤＣ）１５による変換やその他の画像処理に先立ち、画素信号におけるノイズ成分である黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢもアナログ信号処理の段階で除かれる。有効な画像情報である色レベル信号ＣＲ、ＣＧ、ＣＢのみが最大限に増幅された状態で、Ａ／Ｄ変換器（ＡＤＣ）１５やその他の画像処理に送られる。画像デバイス１により提供される画像情報を、ダイナミックレンジＤＲをフルに活用して処理することができ、ＤＳＰ部２０による画像処理やその他の画像処理において、最大限の分解能を有して処理を行なうことができる。画像デバイス１の能力を最大限に活かすことができる。

ここで、画素信号から除かれるべき黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢは、画像デバイス１における遮光領域（ＯＢ領域）３から取得される画素信号により演算される。遮光領域（ＯＢ領域）３においても、有効画素領域２での画素配列との連続性を有して画素が配置されていることより、有効画素領域２での画素配置に対応した画素位置ごとに黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢを平均化してやれば、色画素Ｒ、Ｇ、Ｂの黒レベル信号ＯＢＲ、ＯＢＧ、ＯＢＢを求めることができる。

また、色画素Ｒ、Ｇ、Ｂごとの感度調整については、画素信号から色レベル信号ＣＲ、ＣＧ、ＣＢを取り出し、有効画素領域２の全域に渡って平均化した信号強度で比較し、調整を行なうことができる。画素信号に黒レベル信号を含んだ状態でＳＮ比の改善が図られる結果、ノイズ成分である黒レベル信号をも増幅せざるを得ず、精度よく色画素Ｒ、Ｇ、Ｂごとの感度調整が不十分となる特許文献１に比して、感度調整の精度を向上させることができる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。
例えば、本実施形態においては、画像デバイスとして単板ＣＣＤデバイスについての例を説明したが、本発明はこれに限定されるものではない。色画素Ｒ、Ｇ、Ｂごとに画像デバイスを備える、いわゆる３板のデバイス構成を有する場合にも同様に適用することができる。

ここで、本発明の技術思想により、背景技術における課題を解決するための手段を以下に列記する。
（付記１） 画像デバイスの色画素より提供される、色レベル信号に黒レベル信号が重畳された画素信号を処理する画素信号処理装置であって、
前記色画素間の感度を調整するために、前記色画素ごとの前記画素信号に対する第１増幅度が調整される第１増幅器と、
前記第１増幅器より出力される感度調整された前記画素信号のうち最大信号強度の前記色レベル信号を、後段の画像処理におけるダイナミックレンジに相当する信号強度とする第２増幅度で、感度調整された前記画素信号を増幅する第２増幅器と、
前記第２増幅器により増幅された前記画素信号から前記黒レベル信号の成分を減ずる演算器とを備えることを特徴とする画素信号処理装置。
（付記２） 前記演算器の出力信号をＡ／Ｄ変換するＡ／Ｄ変換器を備え、
前記後段の画像処理におけるダイナミックレンジとは、前記Ａ／Ｄ変換器のダイナミックレンジであることを特徴とする付記１に記載の画素信号処理装置。
（付記３） 前記第１増幅度、前記第２増幅度、および前記黒レベル信号成分は、先行して行なわれる前記画像処理の結果に基づいて決定されることを特徴とする付記１に記載の画像信号処理装置。
（付記４） 前記画像処理はディジタル演算処理であり、
前記第１増幅器は、
先行して行なわれる前記画像処理により、前記色画素ごとに平均化された前記色レベル信号について、前記色画素ごとの信号強度に対する最大信号強度の比に応じて、前記色画素ごとの前記第１増幅度が設定されることを特徴とする付記３に記載の画像信号処理装置。
（付記５） 前記画像処理はディジタル演算処理であり、
前記第２増幅器は、
先行して行なわれる前記画像処理により、前記色レベル信号のうち最大の信号強度に対する前記ダイナミックレンジに相当する信号強度の比に応じて、前記第２増幅度が設定されることを特徴とする付記３に記載の画像信号処理装置。
（付記６） 前記画像処理はディジタル演算処理であり、
前記演算器は、
先行して行なわれる前記画像処理により、前記画像デバイスにおける遮光素領域より提供される前記黒レベル信号を前記色画素ごとに平均化して演算される前記黒レベル信に応じて、減算処理を行なうことを特徴とする付記３に記載の画像信号処理装置。
（付記７） 前記ディジタル演算処理により平均化される前記黒レベル信号をＤ／Ａ変換するＤ／Ａ変換器を備え、
前記演算器は、前記第２増幅器により増幅された前記画素信号からＤ／Ａ変換された前記黒レベル信号を減算するアナログ減算器を備えることを特徴とする付記６に記載の画像信号処理装置。
（付記８） 前記遮光領域とは有効画素領域の周縁部であり、
前記遮光領域より提供される前記黒レベル信号を、前記有効画素領域における前記色画素の配置順序に対応させて、前記色画素ごとに割り付けることを特徴とする付記６に記載の画像信号処理装置。
（付記９） 前記演算器により減ずる前記黒レベル信号の成分は、前記黒レベル信号を、前記第１増幅器および前記第２増幅器により増幅して得られることを特徴とする付記１に記載の画像信号処理装置。
（付記１０） 画像デバイスの色画素より提供される、色レベル信号に黒レベル信号が重畳された画素信号を処理する画素信号処理方法であって、
前記色画素ごとに前記画素信号を個別に増幅して、前記色画素間の感度を調整するステップと、
前記感度調整のステップにより得られる感度調整された前記画素信号を増幅して、該画素信号の前記色レベル信号を後段の画像処理におけるダイナミックレンジまで広げるステップと、
前記感度調整された前記画素信号を増幅するステップにより得られる前記画素信号から前記黒レベル信号の成分を減ずるステップとを有することを特徴とする画素信号処理方法。
（付記１１） 前記後段の画像処理におけるダイナミックレンジとは、前記画像素子から前記黒レベル信号の成分が減じられた信号をＡ／Ｄ変換する際のダイナミックレンジであることを特徴とする付記１０に記載の画素信号処理方法。
（付記１２） 前記画像処理はディジタル演算処理であり、
前記感度調整のステップに先立ち、先行して行なわれる前記画像処理の結果に基づき、
前記色画素ごとに前記色レベル信号の信号強度を平均化するステップと、
平均化された前記色レベル信号について、前記色画素ごとの信号強度に対する最大信号強度の比を、前記色画素ごとの前記画素信号に対する第１増幅度として演算するステップとを有することを特徴とする付記１０に記載の画像信号処理方法。
（付記１３） 前記画像処理はディジタル演算処理であり、
前記感度調整された前記画素信号を増幅するステップに先立ち、先行して行なわれる前記画像処理の結果に基づき、
前記色レベル信号のうち最大の信号強度に対する前記ダイナミックレンジに相当する信号強度の比を、前記感度調整された前記画素信号に対する第２増幅度として演算するステップを有することを特徴とする付記１０に記載の画像信号処理方法。
（付記１４） 前記画像処理はディジタル演算処理であり、
前記黒レベル信号の成分を減ずるステップに先立ち、先行して行なわれる前記画像処理の結果に基づき、
前記画像デバイスにおける遮光領域より提供される前記黒レベル信号を前記色画素ごとに平均化して、前記色画素ごとの前記黒レベル信号の成分を演算するステップを有することを特徴とする付記１０に記載の画像信号処理方法。
（付記１５） 前記平均化された黒レベル信号をＤ／Ａ変換するステップを有し、
前記黒レベル信号の成分を減ずるステップはアナログ演算処理であることを特徴とする付記１４に記載の画像信号処理方法。
（付記１６） 前記遮光領域より提供される前記黒レベル信号を、前記有効画素領域における前記色画素の配置順序に対応させて、前記色画素ごとに割り付けることを特徴とする付記１４に記載の画像信号処理方法。
（付記１７） 前記画素信号から減じられる前記黒レベル信号の成分は、前記黒レベル信号を、前記前記感度調整のステップおよび前記感度調整された前記画素信号を増幅するステップにより増幅して得られることを特徴とする付記１０に記載の画像信号処理方法。

画像デバイスにおける画素配列の概念図である。 画像デバイスから出力される出力信号を示す図である。 実施形態の画素信号処理装置の回路ブロック図である。 第１増幅器（ＣＤＳａｍｐ）による感度調整を示す概念図である。 第２増幅器（ＰＧＡ）および演算器による処理を示す概念図である。 実施形態の画素信号処理方法のフロー図である。

符号の説明

１ 画像デバイス
２ 有効画素領域
３ 遮光領域
１０ 画素信号処理装置
１１ ＣＤＳ回路
１２ 第１増幅器（ＣＤＳａｍｐ）
１３ 第２増幅器（ＰＧＡ）
１４ 演算器
１５ Ａ／Ｄ変換器（ＡＤＣ）
１６ Ｄ／Ａ変換器（ＤＡＣ）
１７ レジスタ部
２０ ＤＳＰ部
Ｂ 青色画素
Ｇ 緑色画素
Ｒ 赤色画素
ＣＣＤＩＮ 画像デバイスから出力される出力信号
ＣＲ、ＣＧ、ＣＢ 色レベル信号
ＯＢＲ、ＯＢＧ、ＯＢＢ 黒レベル信号
Ｇ１Ｒ、Ｇ１Ｇ、Ｇ１Ｂ 第１増幅度
Ｇ２ 第２増幅度

Claims (10)

1. 画像デバイスの色画素より提供される、色レベル信号に黒レベル信号が重畳された画素信号を処理する画素信号処理装置であって、
   前記色画素間の感度を調整するために、前記色画素ごとの前記画素信号に対する第１増幅度が調整される第１増幅器と、
   前記第１増幅器より出力される感度調整された前記画素信号のうち最大信号強度の前記色レベル信号を、後段の画像処理におけるダイナミックレンジに相当する信号強度とする第２増幅度で、感度調整された前記画素信号を増幅する第２増幅器と、
   前記第２増幅器により増幅された前記画素信号から前記黒レベル信号の成分を減ずる演算器とを備えることを特徴とする画素信号処理装置。
2. 前記第１増幅度、前記第２増幅度、および前記黒レベル信号成分は、先行して行なわれる前記画像処理の結果に基づいて決定されることを特徴とする請求項１に記載の画像信号処理装置。
3. 前記画像処理はディジタル演算処理であり、
   前記第１増幅器は、
   先行して行なわれる前記画像処理により、前記色画素ごとに平均化された前記色レベル信号について、前記色画素ごとの信号強度に対する最大信号強度の比に応じて、前記色画素ごとの前記第１増幅度が設定されることを特徴とする請求項２に記載の画像信号処理装置。
4. 前記画像処理はディジタル演算処理であり、
   前記第２増幅器は、
   先行して行なわれる前記画像処理により、前記色レベル信号のうち最大の信号強度に対する前記ダイナミックレンジに相当する信号強度の比に応じて、前記第２増幅度が設定されることを特徴とする請求項２に記載の画像信号処理装置。
5. 前記画像処理はディジタル演算処理であり、
   前記演算器は、
   先行して行なわれる前記画像処理により、前記画像デバイスにおける遮光領域より提供される前記黒レベル信号を前記色画素ごとに平均化して演算される前記黒レベル信号に応じて、減算処理を行なうことを特徴とする請求項２に記載の画像信号処理装置。
6. 前記演算器により減ずる前記黒レベル信号の成分は、前記黒レベル信号を、前記第１増幅器および前記第２増幅器により増幅して得られることを特徴とする請求項１に記載の画像信号処理装置。
7. 画像デバイスの色画素より提供される、色レベル信号に黒レベル信号が重畳された画素信号を処理する画素信号処理方法であって、
   前記色画素ごとに前記画素信号を個別に増幅して、前記色画素間の感度を調整するステップと、
   前記感度調整のステップにより得られる感度調整された前記画素信号を増幅して、該画素信号の前記色レベル信号を後段の画像処理におけるダイナミックレンジまで広げるステップと、
   前記感度調整された前記画素信号を増幅するステップにより得られる前記画素信号から前記黒レベル信号の成分を減ずるステップとを有することを特徴とする画素信号処理方法。
8. 前記画像処理はディジタル演算処理であり、
   前記感度調整のステップに先立ち、先行して行なわれる前記画像処理の結果に基づき、
   前記色画素ごとに前記色レベル信号の信号強度を平均化するステップと、
   平均化された前記色レベル信号について、前記色画素ごとの信号強度に対する最大信号強度の比を、前記色画素ごとの前記画素信号に対する第１増幅度として演算するステップとを有することを特徴とする請求項７に記載の画像信号処理方法。
9. 前記画像処理はディジタル演算処理であり、
   前記感度調整された前記画素信号を増幅するステップに先立ち、先行して行なわれる前記画像処理の結果に基づき、
   前記色レベル信号のうち最大の信号強度に対する前記ダイナミックレンジに相当する信号強度の比を、前記感度調整された前記画素信号に対する第２増幅度として演算するステップを有することを特徴とする請求項７に記載の画像信号処理方法。
10. 前記画像処理はディジタル演算処理であり、
    前記黒レベル信号の成分を減ずるステップに先立ち、先行して行なわれる前記画像処理の結果に基づき、
    前記画像デバイスにおける非有効画素領域より提供される前記黒レベル信号を前記色画素ごとに平均化して、前記色画素ごとの前記黒レベル信号成分を演算するステップを有することを特徴とする請求項７に記載の画像信号処理方法。

Images