JP2008288648A - 撮像装置および撮像データ補正方法 - Google Patents

Abstract

【課題】画素共有技術を適用した固体撮像素子からの撮像画像データについて、共有画素の画素特性の不均一性を軽減する。
【解決手段】２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとした共有画素に対して、画素構成に必要な回路を共有する構成とされた固体撮像素子を備える。補正値生成手段４１は、共有画素を構成する画素の画素データのそれぞれについての、配列パターン内における各画素位置の違いに起因する画素特性の不均一性を補正するための補正値を、配列パターン内における各画素位置毎に生成する。補正手段４２は、固体撮像素子からの画素データのそれぞれについての不均一性を、各１組みを構成する所定の複数個の画素の前記配列パターン内において対応する画素位置の画素データについての補正値に基づいて補正する。
【選択図】図５

Description

この発明は、例えばＣＭＯＳイメージャなどの固体撮像素子を備える撮像装置、および、当該撮像装置からの撮像データの補正方法に関する。

近年、ビデオカメラやデジタルスチルカメラ用に用いられるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャなどの固体撮像素子には、一層の高画素数化と小型化が同時に要求されている。小型化を保ちつつ高画素数化を進めると、当然のことながら１画素あたりの面積が小さくなるために画素感度の減少が懸念される。

この問題を解決するために、従来は、回路・配線レイアウトの工夫あるいは製造プロセスの進化等によって、固体撮像素子の画素構成（フォトダイオードと、増幅トランジスタやリセットトランジスタなどを含む周辺回路からなる）におけるフォトダイオード部の占める割合をできるだけ大きくすることで、高画素数化と小型化の両立を図ってきた。

しかしながら、固体撮像素子に対する近年の高画素数化と小型化の要求はますます強まり、同時に低照度における高画質化も注目されてきており、もはや上記対応だけでは、画質として満足できる画素感度を得る固体撮像素子を提供することが事実上不可能になってきている。

そこで、固体撮像素子におけるこの問題を回避するための技術として、画素を構成するために必要な回路の一部分、例えば増幅用トランジスタやリセット用トランジスタを、水平方向および／または垂直方向に隣接または近接する複数の画素の間で共有させることにより、１画素当たりの回路（配線を含む）を減らし、その減らした分だけ受光用フォトダイオードに割り当てる面積を大きくして、画素の感度を稼ぐ技術が注目されている（以降、この技術を画素共有技術と呼ぶ）。

例えば特許文献１（特許第３８３８６６５号公報）では、画素からの画素データの読出しに必要な増幅用トランジスタおよびリセット用トランジスタを、隣接する２個の画素で共有化し、当該増幅用トランジスタおよびリセット用トランジスタに接続されている２個の画素を時間をずらして順に選択することで、それぞれの画素から画素データを読み出すことで、１画素あたりのトランジスタ数を削減し、その分をフォトダイオードの面積に回すことで、画素の感度向上を実現する画素共有技術が開示されている。

ところで、画素共有技術を用いない一般的な固体撮像素子は、全ての画素が画一的に構成されるのが通常である。すなわち、一般的な固体撮像素子の画素構成は、画面のどの位置の画素をみても常に同じである。このため、一般的な固体撮像素子では、画素毎のフォトダイオードの、半導体構造上の周辺環境も、全ての画素で同じとなり、製造上のバラツキの要因を除けば、基本的には、光学的特性は全画素で共通といえる。

しかしながら、上記特許文献１を始めとする「画素共有技術」を適用した固体撮像素子では、隣接あるいは近接する複数の画素間で回路を共有利用させるために、回路を共有する複数の画素を一つの単位として考えた場合には、当該単位は全て同じ構成となるが、当該単位内の各画素においては、当該単位内における画素配列位置により、半導体構造上の周辺環境が異なる。このために、画素共有技術を用いる固体撮像素子では、回路を共有する複数の画素の配列パターンに応じた繰り返しパターンをもって回路レイアウトが形成されることになる。

すなわち、回路を共有する複数の画素を単位としたとき、固体撮像素子上では、当該単位が、水平方向および垂直方向に、複数個、繰り返し配列されるものであるが、それら複数個の単位において、単位内の複数の画素の配列パターン上で同じ位置になる画素は、そのフォトダイオードの、半導体構造上の周辺環境配置は同一のものとなるため、光学的特性も揃うことになる。

しかし、回路を共有する複数の画素単位内の、当該画素の配列パターン上で異なる位置になる画素間、すなわち、前記単位内の隣接画素または近接画素間では、回路・レイアウトが異なるため、画素のフォトダイオードの半導体構造上の周辺環境配置も異なり、それら画素の画素特性がそれぞれ異なったものになることは避けられない。

このため、「画素共有技術」を適用した固体撮像素子で、全画面均一の被写体を撮像したとしても、前記単位内の隣接画素間で画素データ出力値が異なることになり、最終出力画像の品質が著しく低下してしまうという問題が発生する。

以上のような画素共有技術にまつわる上記の問題を、回避するために、従来は、
Ａ．画素レイアウトの工夫により、できるだけ光学的不均一性を軽減する
Ｂ．光学的不均一性が発生しても、出力画像に影響を与えないような組み合わせで画素共有させる
といった、固体撮像装置側の画素構造を工夫した技術が、特許文献２（特開２００４−１７２９５０号公報）、特許文献３（特開２０５−１１０１０４号公報）、特許文献４（特開２００６−７３７３３号公報）、特許文献５（特開２００６−１５７９５３号公報）など、多数開示されている。

上記の特許文献は、次の通りである。
特許第３８３８６６５号公報 特開２００４−１７２９５０号公報 特開２０５−１１０１０４号公報 特開２００６−７３７３３号公報 特開２００６−１５７９５３号公報

前述したように、上記特許文献２〜５などに開示されている技術は、いずれも、固体撮像素子側の画素構造を工夫したものである。

しかしながら、上記Ａによる画素構造の工夫では、回路を共有する複数の画素（以下、回路を共有する複数の画素を共有画素と称する）の光学的不均一性を軽減させることはできても、完全になくすことはできない。

また、上記Ａの方法または上記Ｂの方法のいずれの場合も、画素構成、レイアウト、あるいは、画素データの読出し構成にまで大きな制約を課すことになり、延いては、当該ＡまたはＢの方法を適用した固体撮像素子の出力を処理する撮像装置全体に対しても大きな制約を課すことになってしまうという問題がある。

この発明は、上記の問題点にかんがみ、固体撮像素子側の画素構造を工夫するのではなく、固体撮像素子からの撮像画像データについて補正を施すことにより、共有画素の画素特性の不均一性を軽減することができるようにした撮像装置を提供することを目的とする。

上記の課題を解決するために、この発明による撮像装置は、
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、
前記各１組みを構成する前記所定の複数個の画素位置の画素の画素データのそれぞれについての、前記配列パターン内における各画素位置の違いに起因する画素特性の不均一性を補正するための補正値を、前記配列パターン内における各画素位置毎に生成する補正値生成手段と、
前記固体撮像素子からの画素データのそれぞれについての前記不均一性を、前記補正値生成手段で生成された、前記各１組みを構成する前記所定の複数個の画素の前記配列パターン内において対応する画素位置の前記画素データについての前記補正値に基づいて、補正する補正手段と、
を備えることを特徴とする。

上述の構成のこの発明による撮像装置においては、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとして、これを共有画素とする。そして、この発明による撮像装置の補正値生成手段は、共有画素について、その配列パターン内における各画素位置の違いに起因する画素特性の不均一性を補正するための補正値を、その配列パターン内における各画素位置毎に生成する。

そして、補正手段は、固体撮像素子からの画素データの画素特性の不均一性を、補正値生成手段で生成された、配列パターン内において対応する画素位置の画素データについての補正値を用いて補正する。これにより、共有画素を構成する複数個の画素のそれぞれにおける、その配列パターンに応じた画素位置に基づく画素特性の不均一性が補正されて、軽減される。

この発明によれば、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとして、これを共有画素とする固体撮像素子からの撮像データについて、共有画素の画素特性の不均一性を軽減することができる。

以下、この発明による撮像装置の実施形態を、図を参照しながら説明する。

図１は、この実施形態の撮像装置１０の要部の構成例を示すブロック図であり、撮像レンズを備える光学系１と、固体撮像素子の例としてのＣＭＯＳイメージャ２と、アナログ信号処理部３と、デジタル信号処理部４と、カメラ制御マイクロコンピュータ（マイクロコンピュータはマイコンと略称する）５と、手ぶれセンサ６と、レンズ駆動用ドライバ部７と、ヒューマンインターフェースマイコン８と、ユーザーインターフェース９とを備えている。

光学系１は、手ぶれを補正するために撮像レンズを位置調整するためのアクチュエータを備える。このアクチュエータは、レンズ駆動用ドライバ部７からのレンズ駆動信号により駆動制御される。

ＣＭＯＳイメージャ２は、水平方向および垂直方向に多数個の画素が配列されたものであると共に、画素共有技術が適用されたものであり、また、カラー画像を得るために、色フィルタが、光入射側に配置されているものである。

図２は、このＣＭＯＳイメージャ２における画素配列と色フィルタとの例を示すものである。図２（Ａ）は、いわゆるベイヤー配列を示すもので、矩形の画素Ｐｓが、水平方向および垂直方向に多数個配列されると共に、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが、交互に画素に対向するように配され、残りの１つ置きの水平方向の画素の行では、青Ｂと緑Ｇの色フィルタが、交互に画素に対抗するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。

図２（Ｂ）および（Ｃ）は、ひし形形状の画素Ｐｄを、水平方向および垂直方向に多数個、配列したものである。これは、見かけ上の画素ピッチを、水平方向および垂直方向において、図２（Ａ）のベイヤー配列の場合よりも短くすることができる画素配置例である。ただし、図示のように、色フィルタの配置が、図２（Ｂ）と図２（Ｃ）とで異なるものである。

すなわち、図２（Ｂ）の画素配列例では、１つ置きの水平方向の画素の行では、赤Ｒと青Ｂの色フィルタが交互に画素に対向し、かつ、赤Ｒと青Ｂの色フィルタが、垂直方向にも交互に画素に対向するように配されると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素に対抗するように配されたものである。

そして、図２（Ｃ）の画素配列例は、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが交互に画素に対向するように配された行と、青Ｂと緑Ｇの色フィルタが交互に画素に対抗するように配された行とが１行置きになるようにされると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素に対抗するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。

以上は、いわゆる単板の固体撮像素子の構成の場合の例であるが、図２（Ｄ）および図２（Ｅ）に示すように、赤Ｒ、緑Ｇ、青Ｂのそれぞれ毎に、１個の固体撮像素子Ｉｒ，Ｉｇ，Ｉｂが設けられる３板の構成とするようにすることもできる。図２（Ｄ）は、図２（Ａ）の場合と同様に、矩形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合であり、また、図２（Ｅ）は、図２（Ｂ），（Ｃ）の場合と同様に、ひし形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合である。

この例のＣＭＯＳイメージャ２としては、図２（Ａ）〜（Ｅ）のいずれの構成とすることも可能であるが、この実施形態では、説明の簡単のため、図２（Ａ）のベイヤー配列の場合とする。

そして、この実施形態では、ＣＭＯＳイメージャ２からの出力は、例えば１チャンネルとされる。このＣＭＯＳイメージャからの１チャンネル読み出しの方法は、図３に示すような形で行われるものとする。つまり、図３に示すように、ＣＭＯＳイメージャの多数の画素Ｐｓについて、その１行ずつ、左から順に一つのチャンネルで画素データを並列に読み出し、１画面に渡って横方向に走査していき、１水平ライン分の全てを読み終えたところで次の行に移り、同様に横方向に走査しながら１画面全部を読み出していく。

すなわち、この場合、ＣＭＯＳイメージャ２からの出力画素シーケンスは、画素配列を横方向に走査した順番そのものとなる。

一般に、ＣＭＯＳイメージャは、上述した１チャンネル読み出しだけでなく、多チャンネルの並列読み出しにも適しているが、この発明は、こういった読出し方式に本質的に左右されるものではない。そして、この実施形態においては、説明の都合上、読み出しについては図３に示したような読み出しシーケンスの場合の例について説明するが、もちろん、この発明の適用は、この読み出し形式に限ったものではなく、以下に説明する実施形態を、適宜、他の読み出し形式に適用すればよい。

この実施形態のＣＭＯＳイメージャ２は、前述した画素共有技術が適用された画素構造となっている。図４（Ａ）、図４（Ｂ）および図４（Ｃ）として、共有画素の配列パターンの３つの例を示す。

図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、上段は、ＣＭＯＳイメージャ２における共有画素の配列パターンを示しており、図上、太線で結んだ複数個の画素が共有画素である。

図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、中段は、共有画素の画素配列パターン内における各画素位置毎の識別子（共有画素ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と称することとする）を示している。

また、図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、下段は、ＣＭＯＳイメージャ２からの出力画素シーケンスを共有画素ＩＤで表したものである。この下段の共有画素ＩＤの出力シーケンスは、共有画素の配列パターンにのみ着目した場合であり、各画素に対応する色フィルタの違いについては、ここでは考慮していない。なお、当該下段の記載において、１Ｈ，２Ｈ，３Ｈ、・・・におけるＨは、水平方向の行、つまり水平ラインを表している。

図４（Ａ）の例は、垂直方向の２個の画素が共有画素とされる場合である。すなわち、この例においては、互いに隣接する２水平ラインの上下の２画素が共有画素となる。したがって、共有画素ＩＤは、中段に示すように、各水平ライン毎に、「０」と「１」とが交互に出現するものとなる。そして、共有画素ＩＤで表される画素出力シーケンスは、下段に示すように、ある水平ラインで、全ての画素出力に対して「０」が出力されるものとなり、次に、水平ラインで、全ての画素出力に対して「１」が出力されるものとなる。

図４（Ｂ）の例も、垂直方向の２個の画素が共有画素とされる場合であるが、この例の場合には、水平方向の１画素毎に、共有画素が、垂直方向に１画素分ずれた画素位置のものとされている。したがって、共有画素ＩＤは、中段に示すように、各水平ラインにおいて、画素毎に、「０」と「１」とが交互に出現するものとなり、かつ、隣接する水平ラインで、「０」と「１」との交互出現順序が逆になるものとなる。そして、共有画素ＩＤで表される画素出力シーケンスも、下段に示すように、各水平ラインにおいて、画素毎に、「０」と「１」とが交互に出現するものとなり、かつ、隣接する水平ラインで、「０」と「１」との交互出現順序が逆になるものとなる。

図４（Ｃ）の例は、垂直方向の４個のジグザグの配置位置の画素が、共有画素とされる場合である。したがって、共有画素ＩＤは、中段に示すように、４水平ライン毎に、「０」、「１」、「２」、「３」が出現するものとなる。そして、共有画素ＩＤで表される画素出力シーケンスも、下段に示すように、４水平ライン毎に、「０」、「１」、「２」、「３」が出現するものとなる。

この実施形態のＣＭＯＳイメージャ２における共有画素配列パターンとしては、図４（Ａ），（Ｂ），（Ｃ）のいずれであってもよく、この実施形態では、ＣＭＯＳイメージャ２は、例えば図４（Ａ）の共有画素配列パターンの共有画素を備える構成とされる。

そして、光学系１に入射した光は、上述したような構成のＣＭＯＳイメージャ２において、光電変換された後に、電気信号として、すなわち、撮像画像データとして出力される。ＣＭＯＳイメージャ２は、カメラ制御マイコン５からの制御信号により、読み出し開始／停止制御および読み出し位置制御などを行う。

このＣＭＯＳイメージャ２からの、この例においては、１チャンネルの出力画像データは、アナログ信号処理部３に供給されて、サンプルホールド、自動利得制御などの処理がなされた後、Ａ／Ｄ（アナログ−デジタル）変換されて、デジタル信号処理部４に入力される。

なお、この例では、ＣＭＯＳイメージャ２からのアナログ出力信号を、アナログ信号処理部３にて、サンプルホールド、自動利得制御、Ａ／Ｄ変換する構成として説明したが、ＣＭＯＳイメージャ２の内部にアナログ信号処理部３の構成を取り込んだ構成とするようにしてもよい。

デジタル信号処理部４は、アナログ信号処理部３から供給されてきた撮像画像データＲＡＷ（生データ）に対して、カメラ制御マイコン５の指示に従って、様々な信号処理を行う。このデジタル信号処理部４で行われる各種信号処理には、ホワイトバランス処理やガンマ処理、色差信号処理などのいわゆるカメラ信号処理や、カメラ制御用の検波データ（画面内の撮像画像情報を示すデータ、例えば明るさやコントラスト、色合い等）の計算処理を含む。

デジタル信号処理部４は、後述するように、基準タイミング信号発生器を備え、この基準タイミング信号発生器から各種タイミング信号を発生する。このタイミング信号には、撮像画像データについての水平同期信号ＨＤおよび垂直同期信号ＶＤを含み、デジタル信号処理部４は、これら水平同期信号ＨＤ、垂直同期信号ＶＤおよびその他の必要なタイミング信号をＣＭＯＳイメージャ２に供給する。なお、図示は省略したが、デジタル信号処理部４の基準タイミング信号発生器からのタイミング信号は、カメラ制御マイコン５にも供給されている。

ＣＭＯＳイメージャ２は、前述した図３の読み出し形式により各画素から画素データを読み出すようにするが、そのための読み出し部および読み出しタイミング信号発生器を備えている。そして、ＣＭＯＳイメージャ２の読み出しタイミング発生器は、デジタル信号処理部４から受けた前記水平同期信号ＨＤおよび垂直同期信号ＶＤに同期する読み出しタイミング信号を生成して、ＣＭＯＳイメージャ２からの画素データの読み出しを、カメラ制御マイコン５からの制御信号に基づいて行う。

また、ＣＭＯＳイメージャ２は、デジタル信号処理部４からのタイミング信号と、カメラ制御マイコン５からの制御信号とに基づいて、有効画素領域だけでなく、当該有効画素領域の外側の枠領域の画素からも画素データの読み出しが可能とされている。この枠領域は、被写体からの光が入射しないように遮光された遮光領域である。したがって、この枠領域の画素からの画素データは、黒レベルに相当するものとなる。

そして、この実施形態では、デジタル信号処理部４は、さらに、共有画素の不均一性を補正するための構成としての、共有画素別黒レベル検波部および共有画素別黒レベル補正部を備えるが、これらの処理部の詳細については、後で詳述する。

カメラ制御マイコン５は、デジタル信号処理部４から送られてきた検波データや手ぶれセンサ６から送られてくる撮像装置１０の手ぶれ情報により、現在の撮像画像の状態を把握し、ヒューマンインターフェースマイコン８を経由して送られてくる各種設定モードに応じた制御を行う。すなわち、カメラ制御マイコン５は、読み出し領域指定データをＣＭＯＳイメージャ２に、撮像画像制御用データをデジタル信号処理部４に、レンズ制御データをレンズ駆動用ドライバ部７に、自動利得制御用のゲイン制御データをアナログ信号処理部３に、それぞれ供給する。

ＣＭＯＳイメージャ２は、ＣＭＯＳイメージャ２の撮像領域のうちの、読み出し領域指定データにより指定される任意の領域（有効領域か枠領域（遮光領域）かを指定する場合も含む）の信号を、読み出しタイミング信号によって順次読み出し、アナログ信号処理部３に出力する。

また、デジタル信号処理部４、レンズ駆動用ドライバ部７、アナログ信号処理部３は、カメラ制御マイコン５から送られてきた制御値に応じた処理を行い、所望の信号処理・タイミング発生・レンズ駆動・ゲイン処理が実現される。

ユーザーインターフェース９は、ユーザーの操作入力を受け付けるためのキー操作部と、撮像装置１０のモードや、カメラ情報を報知するためのディスプレイを備える。ユーザーが行うメニュー操作等についてはユーザーインターフェース９を介してヒューマンインターフェースマイコン８で制御される。

ヒューマンインターフェースマイコン８は、ユーザーが現在どのような撮影モードを選択しているのか、あるいはどのような制御を望んでいるのか等を、ユーザーインターフェース９を通じたユーザー操作指示入力に基づいて検知し、カメラ制御マイコン５に対して、検知出力をユーザー指示情報として送る。

同時に、カメラ制御マイコン５は、得られたカメラ制御情報（被写体距離やＦ値、シャッタースピード、倍率等）をヒューマンインターフェースマイコン８に送信し、ユーザーインターフェース９のディスプレイを介して、現在のカメラの情報を、ユーザーに知らせるようにしている。これらのブロックの詳細については、この発明と直接関係無いためここでは省略する。

［デジタル信号処理部４の詳細構成例の説明］
図５は、デジタル信号処理部４の詳細構成例を示すものである。この例においては、デジタル信号処理部４は、共有画素別黒レベル検出部４１と、共有画素別黒レベル補正部４２と、カメラ信号処理部４３と、基準タイミング信号発生器４４と、通信インターフェース４５とを備える。

基準タイミング信号発生器４４は、前述した水平同期信号ＨＤおよび垂直同期信号ＶＤを発生して、ＣＭＯＳイメージャ２に供給すると共に、画素タイミングの基準となる基準タイミング信号ＴＧを共有画素別黒レベル検出部４１および共有画素別黒レベル補正部４２に供給する。基準タイミング信号発生器４４は、また、各種タイミング信号を、カメラ信号処理部４３に供給する。さらに、図示は省略したが、基準タイミング信号発生器４４は、各種タイミング信号を、カメラ制御マイコン５にも供給する。

通信インターフェース４５は、カメラ信号処理部４３から得られる各種検波値ＤＥＴを、カメラ制御マイコン５に供給する。カメラ制御マイコン５は、前述したように、受け取った各種検波値に基づいて、例えば自動利得制御信号などの制御信号を生成して、それぞれ対応する処理部に供給するようにする。

また、通信インターフェース４５は、カメラ制御マイコン５からのカメラ信号処理制御用パラメータＰｍを受け取り、必要な制御信号を共有画素別黒レベル検出部４１、共有画素別黒レベル補正部４２およびカメラ信号処理部４３に供給する。

共有画素別黒レベル検出部４１は、アナログ信号処理部３からの撮像画像データＲＡＷを受け、共有画素を構成する画素のそれぞれ毎に、ライン毎あるいは画面毎の平均黒レベルを検出することにより、黒レベルを検出する。この黒レベルの検出は、この例では、図６に示すように、ＣＭＯＳイメージャ２の有効画素領域の外側の枠領域に存在するＯＰＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ：黒レベルを決めるために配置されている）領域の情報を使って行われる。

この例においては、ＣＭＯＳイメージャ２の全画素領域の上下左右に設けられる枠領域のＯＰＢ領域のうち、水平方向の左右両端に存在するＯＰＢ領域のみを黒レベル検出枠ＦＬとする。なお、図６では、紙面の都合上、水平方向の右端のＯＰＢ領域は示されていない。前述したように、ＣＭＯＳイメージャ２は、デジタル信号処理部４からのタイミング信号およびカメラ制御マイコン５からの制御信号に基づいて、有効画素領域のみでなく、ＯＰＢ領域からも画素データを出力する。カメラ制御マイコン５は、デジタル信号処理部４からのタイミング信号から、ＣＭＯＳイメージャ２から画素データが出力されている領域が、ＯＰＢ領域か、有効画素領域かを認識している。

共有画素別黒レベル検出部４１には、アナログ信号処理部３から送られてきる撮像画像データが枠領域の黒レベル検出枠ＦＬのものであるか、有効画素領域を含む黒レベル検出枠ＦＬ以外のものであるかを示す領域指示情報Ｓｆｌが、カメラ制御マイコン５から通信インターフェース４５を通じて送られてくる。

また、後述するように、共有画素を構成する画素のそれぞれ毎の黒レベルを検出するために、共有画素別黒レベル検出部４１には、カメラ制御マイコン５から通信インターフェース４５を通じて、前述の図４を用いて説明した共有画素ＩＤに関する情報、すなわち、共有画素ＩＤ設定情報Ｓｉｄが供給される。さらに、後述するように、カメラ制御マイコン５からは、積分器設定情報Ｗｋが通信インターフェース４５を通じて、共有画素別積分処理部４１４に供給される。

そして、共有画素別黒レベル検出部４１は、アナログ信号処理部３から送られてくる撮像画像データＲＡＷを、共有画素別黒レベルの検出処理時間分だけ遅延させて、共有画素別黒レベル補正部４２に供給すると共に、検出した共有画素別黒レベル情報ＢＬｃを、撮像画素データＲＡＷとタイミングを合わせて共有画素別黒レベル補正部４２に供給する。

共有画素別黒レベル補正部４２は、後述する構成によって、本線信号である撮像画素データＲＡＷについて、ライン毎かつ共有画素を構成する画素別（共有画素ＩＤ別）に、共有画素別黒レベル検出部４１によって検出された共有画素別黒レベル情報ＢＬｃを用いて補正する。

この例では、共有画素別黒レベル補正部４２は、撮像画素データＲＡＷを、ライン毎かつ共有画素を構成する画素別（共有画素ＩＤ別）に、撮像画素データＲＡＷから、共有画素別黒レベル情報ＢＬｃの共有画素を構成する画素別（共有画素ＩＤ別）の平均黒レベルを減算する処理（共有画素を構成する画素別（共有画素ＩＤ別）のデジタルクランプ処理に相当）を行う。

共有画素を構成する画素別（共有画素ＩＤ別）の処理を行なうため、共有画素別黒レベル補正部４２には、カメラ制御マイコン５から通信インターフェース４５を通じて、共有画素ＩＤ設定情報Ｓｉｄが供給される。

そして、共有画素別黒レベル補正部４２は、補正処理後の撮像画像データをカメラ信号処理部４３に供給する。

カメラ信号処理部４３では、カメラ制御マイコン５からの通信インターフェース４５を通じた制御指示に応じて、ノイズリダクション／欠陥補正／デモザイク／ホワイトバランス／解像度変換といった公知の技術で構成される、各種カメラ信号処理を行い、出力データとしての輝度データＹおよび色データＣを、後段のビデオ系処理ブロック（図示は省略）へと供給する。このカメラ信号処理部４３の詳細内容については、この発明とは直接関係無いため、ここでは省略する。

＜共有画素別黒レベル検出部４１の説明＞
図７は、共有画素別黒レベル検出部４１の詳細構成例を示すブロック図である。この例の共有画素別黒レベル検出部４１は、本線信号としての撮像画像データＲＡＷに対して設けられる遅延調整部４１１および４１２と、タイミング生成部４１３と、共有画素別積分処理部４１４と、通信インターフェース４１５とを備える。

遅延調整部４１１および４１２は、この共有画素別黒レベル検出部４１における処理遅延分を、入力撮像画像データＲＡＷに対して与えて、この共有画素別黒レベル検出部４１で生成される共有画素別黒レベル情報ＢＬｃと出力タイミングを合わせるためのものである。

共有画素別積分処理部４１４は、共有画素を構成するｎ個（ｎは２以上の整数）の画素のそれぞれ、つまり、共有画素ＩＤのそれぞれ、に対応して設けられるｎ個の積分器ＩＮＴ１〜ＩＮＴｎからなる積分回路４１４２と、遅延調整部４１１からの入力撮像画像データＲＡＷをｎ個の積分器ＩＮＴ１〜ＩＮＴｎのいずれに入力させるかを選択する選択回路４１４１とを備える。選択回路４１４１の選択制御信号ＳＥＬ１はタイミング生成部４１３から供給される。また、積分器ＩＮＴ１〜ＩＮＴｎのそれぞれには、当該積分器ＩＮＴ１〜ＩＮＴｎのそれぞれが積分動作を実行する期間を制御するためのイネーブル信号ＥＮ１〜ＥＮｎが、それぞれタイミング生成部４１３から供給される。

タイミング生成部４１３は、基準タイミング信号発生器４４からの基準タイミング信号ＴＧと、カメラ制御マイコン５から通信インターフェース４１５を通じて与えられる領域指示情報Ｓｆｌおよび共有画素ＩＤ設定情報Ｓｉｄに基づいて、黒レベル検出枠ＦＬ（図６参照）の領域において、図４の下段に示したように、共有画素を構成する画素（共有画素ＩＤで示される画素）のそれぞれが撮像画像データＲＡＷ中で出現するタイミングに応じて、選択信号ＳＥＬ１およびイネーブル信号ＥＮ１〜ＥＮｎを生成して、共有画素別積分処理部４１４に供給する。

この例では、選択回路４１４１は、黒レベル検出枠ＦＬの領域において、選択制御信号ＳＥＬ１により、共有画素ＩＤに応じて選択制御され、例えば、共有画素ＩＤ＝「０」のときには、遅延調整部４１１からの撮像画像データＲＡＷを、積分器ＩＮＴ１に供給し、共有画素ＩＤ＝「１」のときには、遅延調整部４１１からの撮像画像データを積分器ＩＮＴ２に供給し、・・・というように、選択制御される。

そして、積分器ＩＮＴ１〜ＩＮＴｎのそれぞれは、黒レベル検出枠ＦＬの領域において、対応するイネーブル信号ＥＮ１〜ＥＮｎによりイネーブル制御され、例えば、共有画素ＩＤ＝「０」のときには、積分器ＩＮＴ１が積分処理可とされ、共有画素ＩＤ＝「１」のときには、積分器ＩＮＴ２が積分処理可とされる。

積分器ＩＮＴ１〜ＩＮＴｎのそれぞれは、例えば図８に示すような構成を備える。図８は、ｎ個の積分器ＩＮＴ１〜ＩＮＴｎのうちの一つＩＮＴｉ（ｉ＝１，２，・・・，ｎ）の構成例を代表として示すものであり、この例は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）デジタルフィルタの構成とされた積分器の例である。なお、図４（Ａ）および（Ｂ）の場合には、ｎ＝２であり、また、図４（Ｃ）の場合には、ｎ＝４である。

この例の積分器ＩＮＴｉにおいては、選択回路４１４１から供給される本線信号である撮像画像データＲＡＷが乗算回路１０１に供給されて、この乗算回路１０１において定数Ｋ（Ｋ＜１）が乗算される。このとき、乗算回路１０１に供給される撮像画像データは、黒レベル検出枠ＦＬの画素データであって、共有画素のうちの、当該積分器ＩＮＴｉに対応する同じ共有画素ＩＤを有する画素からの画素データ（黒レベル）である。この乗算回路１０１からの定数Ｋが乗算された黒レベルデータは加算回路１０２に供給される。

また、積分結果（黒レベル平均値）を記憶するメモリ１０３が設けられ、このメモリ１０３から読み出された、それまでの積分結果が乗算回路１０４に供給されて、この乗算回路１０４において定数（Ｋ−１）が乗算される。そして、この乗算回路１０４からの定数（Ｋ−１）が乗算された黒レベルデータが加算回路１０２に供給され、その加算結果がスイッチ回路１０５の一方の入力端に供給される。

また、メモリ１０３から読み出された積分結果である黒レベル平均値はスイッチ回路１０５の他方の入力端に供給される。

そして、この例では、積分器ＩＮＴｉに対応するイネーブル信号ＥＮｉは、スイッチ回路１０５およびメモリ１０３に供給され、共有画素のうちの、当該積分器ＩＮＴｉに対応する同じ共有画素ＩＤを有する画素が、当該積分器ＩＮＴｉに入力されるとき、スイッチ回路１０５は、加算回路１０２からの加算結果を出力として選択する。そして、メモリ１０３が、同じタイミングで書き込みイネーブルとされる結果、メモリ１０３の積分結果（黒レベル平均値）が、新たに入力された、同じ共有画素ＩＤを有する画素の画素データ（黒レベル）が反映されたものに更新される。

そして、当該積分器ＩＮＴｉに対応する同じ共有画素ＩＤを有する画素が、当該積分器ＩＮＴｉに入力されるとき以外には、スイッチ回路１０５は、メモリ１０３からの積分結果（黒レベル平均値）を出力として選択する。このスイッチ回路１０５の出力は、共有画素のうちの、同じ共有画素ＩＤを有する画素の画素データに対する黒レベル出力ＢＬｉとなる。この例においては、黒レベル検出枠ＦＬ毎に、メモリ１０３に記憶される積分値（黒レベル平均値）が更新されるので、メモリ１０３の積分値は、水平周期で更新される。

積分回路４１４２を構成する複数個の積分器ＩＮＴ１〜ＩＮＴｎの黒レベル出力ＢＬ１〜ＢＬｎにより、共有画素別黒レベル情報ＢＬｃが形成される。

なお、この例では、積分器ＩＮＴ１〜ＩＮＴｎは、カメラ制御マイコン５からの積分器設定情報Ｗｋに応じて、前記Ｋの値を変更して積分時定数を切り替える等、積分動作が制御される。

この共有画素別黒レベル検出部４１に入力された本線信号としての撮像画像データＲＡＷは、遅延調整部４１１および４１２により、上述した処理にかかる遅延分だけタイミングが調整されて、後段の共有画素別黒レベル補正部４２にそのまま出力される。

固体撮像素子には、図６に示すように、黒レベルを検出するためのＯＰＢ領域が通常配置されているので、例えば図６に示したように黒レベル検出枠ＦＬを設定すれば、共有画素別黒レベル検出部４１は、各水平ライン毎に、ＯＰＢ領域における黒レベル平均値を、共有画素ＩＤ別に算出して、メモリに蓄積し、本線信号とタイミングを合わせて後段の処理部に出力するという処理動作を行う。

＜共有画素別黒レベル補正部４２の説明＞
図９は、共有画素別黒レベル補正部４２の詳細構成例を示すブロック図である。この例の共有画素別黒レベル補正部４２は、共有画素別黒レベル検出部４１からの本線信号としての撮像画像データＲＡＷおよび共有画素別黒レベル情報ＢＬｃに対して設けられる遅延調整部４２１と、共有画素別クランプ処理部４２２と、タイミング生成部４２３と、通信インターフェース４２４とを備える。

遅延調整部４２１は、タイミング生成部４２３における処理分を、入力撮像画像データＲＡＷおよび共有画素別黒レベル情報ＢＬｃに対して与えて、処理タイミングを合わせるためのものである。

共有画素別クランプ処理部４２２は、デジタルクランプ処理部を構成する減算器４２２１と、選択回路４２２２とを備える。そして、減算器４２２１には、遅延調整部４２１からの本線信号である入力撮像画像データＲＡＷが供給され、選択回路４２２２には、遅延調整部４２１からの共有画素別黒レベル情報ＢＬｃが供給される。

選択回路４２２２は、これに供給される選択制御信号ＳＥＬ２により選択制御されて、共有画素を構成する画素のそれぞれ（つまり、共有画素ＩＤで表した出力画素シーケンスにおける同じ共有画素ＩＤ）が、減算器４２２１に供給される本線信号である撮像画像データＲＡＷ中で出現するタイミングに同期して、共有画素別黒レベル情報ＢＬｃのうち、対応する画素（つまり、対応する同じ共有画素ＩＤ）についての黒レベル平均値ＢＬｉを選択して、減算器４２２１に供給するようにする。

選択回路４２２２の選択制御信号ＳＥＬ２はタイミング生成部４２３から供給される。タイミング生成部４２３は、基準タイミング信号発生器４４から与えられる基準タイミング信号ＴＧと、カメラ制御マイコン５から通信インターフェース４２４を通じて与えられる共有画素ＩＤ設定情報Ｓｉｄに基づいて、選択制御信号ＳＥＬ２を生成する。

この例では、タイミング生成部４２３は、図４の下段に示したように、共有画素を構成する画素（共有画素ＩＤで示される画素）のそれぞれが、本線信号としての撮像画像データＲＡＷ中で出現するタイミング（共有画素ＩＤシーケンス）に同期して、対応する共有画素ＩＤの黒レベル平均値ＢＬｉが選択回路４２２２で選択されるようにする選択制御信号ＳＥＬ２を生成して、選択回路４２２２に供給する。

したがって、減算器４２２１は、本線信号の各画素データから、選択回路４２２２で選択された、共有画素ＩＤシーケンスに応じた黒レベル平均値ＢＬｉを引き算し、共有画素を構成する画素毎、すなわち、共有画素ＩＤ別にデジタルクランプ処理を行う。そして、クランプ処理後の撮像画像データを、後段のカメラ信号処理部４３に出力する。

以上のようにして、この実施形態によれば、共有画素を構成する画素のそれぞれ毎に異なる黒レベル（平均黒レベル）を検出し、その検出した平均黒レベルにより、共有画素を構成する画素のそれぞれ毎にデジタルクランプ処理をするので、共有画素構成のイメージャを用いても、共有画素別の黒レベルの不均一性を改善することができる。

以上説明した実施形態における処理は、いわゆるライン毎のデジタルクランプ処理を共有画素を構成するそれぞれの画素別（共有画素ＩＤ別）に行っていることに相当する。

このように、この実施形態では、黒レベルの検出および補正をライン毎に行っているが、特にＯＰＢ領域が少ない場合等、ライン毎の黒レベル積分量が十分でない場合は、共有画素別黒レベル検出部４１では、必ずしもライン毎に積分値をリセットする必要は無く、複数ライン間に渡って積分結果を引き渡していく（例えばＩＩＲで積分器を構成等）ようにしても構わない。

ただし、共有画素ＩＤ別に処理を行い、共有画素ＩＤ別にクランプ処理を行わせるという点が重要である。また、この実施形態では、黒レベル検出および補正をライン毎に行っているので、共有画素別に垂直方向に共通のシェーディングを持つようなものにも対応することができる。

なお、図４の下段に示したように、共有画素ＩＤによる画素出力シーケンスは、固体撮像素子の共有画素の配列パターンによって変わるので、使用する固体撮像素子によって変わる。このため、選択信号ＳＥＬ１，ＳＥＬ２の生成は、カメラ制御マイコン５からの設定によって、自由に発生させられる構成にするのが望ましい。

［第２の実施形態］
上述の第１の実施形態では、黒レベルの検出および補正をライン毎に行っているが、もし、共有画素を構成する画素のそれぞれ毎に見て、固体撮像素子の特性として、垂直方向に黒レベルの変動がない場合には、より平均化処理の効果を高めるためには、多くの画素数を使って平均黒レベルを算出したようが良い。

そのため、この第２の実施形態では、共有画素別黒レベル検出部４１からの共有画素別黒レベル情報ＢＬｃを、ライン毎に出力させるのではなく、１画面に１回出力させる構成とする。

この第２の実施形態においては、共有画素別黒レベル検出部４１の積分回路４１４２を構成するｎ個の積分器ＩＮＴ１〜ＩＮＴｎのそれぞれを、例えば図１０に示すようにする。

すなわち、この第２の実施形態においては、スイッチ回路１０５の出力をラッチ保持するラッチ回路１０６を設け、このラッチ回路１０６において、垂直周期のラッチ信号Ｖｓにより、スイッチ回路１０５の出力を、ラッチする構成とする。

この例の場合、黒レベル検出枠ＦＬの一番下の右端まで黒レベルを積分して、それをメモリ１０３に記憶した段階で、当該メモリ１０３の記憶値（黒レベル平均値）をラッチ回路１０６にラッチし、そのラッチしたデータを、対応する共有画素ＩＤについての黒レベル出力ＢＬｉとして出力させる構成とする。

すなわち、１画面に渡って、同じ共有画素ＩＤの画素別について、黒レベル（黒レベル平均値）を算出し、次の画面のデジタルクランプ処理に、この信号を適用させるようにする。その他の構成は、上述した第１の実施形態と同様とする。

この例の場合には、検出した黒レベルと、適用する撮像画像信号との間に、１垂直期間のズレが生じるが、一般に、このズレは全く問題とはならない。

なお、この第２の実施形態においては、黒レベルを検出してから、その検出値を黒レベル補正に適用するまでの余裕が生まれるため、共有画素別黒レベル信号を、一度、カメラ制御マイコン５に検波値として出力し、カメラ制御マイコン５側で適当に加工してから共有画素別黒レベル補正部４２に供給する構成をとっても良い。この場合、黒レベル検出から黒レベル補正に適用するまでに、１垂直期間以上のズレが生じることになるが、この遅延が数垂直期間程度の十分短い時間であれば、一般に、このズレは全く問題とはならない。

［第３の実施形態］
上述した第１および第２の実施形態では、共有画素の画素特性の不均一性として、共有画素ＩＤが異なる画素間に発生する黒レベルの不均一性を検出し、補正する構成について説明した。共有画素ＩＤが異なる画素間の画素特性の不均一性は、黒レベルの不均一性のみではない。

例えば、共有画素ＩＤが異なる画素毎に、画素のフォトダイオードの開口方向が異なるために、画素の「感度」あるいは画素出力の「リニアリティ」という観点でも、共有画素ＩＤが異なる画素間の特性が異なる問題がある。第３の実施形態は、この問題を解決するものである。

図１１は、第３の実施形態におけるデジタル信号処理部４の構成例を示したものである。

この図１１の例においては、上述の実施形態の共有画素別黒レベル検出部４１が、検出対象が黒レベルだけに限らない共有画素別レベル検出部４６に置き換わっている点と、新たに、共有画素別黒レベル補正部４２と、カメラ信号処理部４３との間に、共有画素別リニアリティ補正部４７と、共有画素別リニアリティ補正テーブルメモリ４８とからなる処理部が加わっている点が、上述の第１および第２の実施形態とは異なる。

まず、共有画素別レベル検出部４６は、ハードウエア構成は、基本的には上述した第１の実施形態または第２の実施形態と全く同じである。ただし、この第３の実施形態における共有画素別レベル検出部４６は、上述の第１の実施形態および第２の実施形態と同様に、共有画素別黒レベル検出出力ＢＬｃを検出生成する構成（機能）を持つと共に、共有画素別白レベル検出出力ＷＨｃを検出生成する構成（機能）を備える。

すなわち、実際的には、図１２に示すように、共有画素別黒レベル情報ＢＬｃを検出するときには、検出枠をＯＰＢ領域の黒レベル検出枠ＦＬｂとするが、共有画素別白レベルを検出するときには、検出枠を、有効領域の白レベル検出枠ＦＬｗ（図１２において、有効領域内において太線の点線で囲んで示す）とする。そして、共有画素別白レベル検出出力ＷＨｃを検出生成するときには、前面が白い壁やボードなど、画面全体に渡って一様な被写体を撮影するようにする。なお、画面全体に渡って一様な被写体であれば、白でなくても良いことは言うまでもない。

この場合、検出枠が黒レベル検出枠ＦＬｂと、白レベル検出枠ＦＬｗと変わるだけで、画素信号を共有画素ＩＤ別に平均化して出力させる構成は、第１の実施形態で説明した構成と同一である。すなわち、共有画素別レベル検出部の回路構成は、黒検出でも白検出でも全く同じでよいので、後述の理由から回路規模削減のためには１系統のみを持ち、検出枠を変えて、黒レベル検出と白レベル検出とで使い分ける構成する。

そして、この第３の実施形態では、例えば、工場出荷時のライン調整等で、パターンボックス等で、画面全体に渡って一様な被写体を撮影し、共有画素ＩＤ別の平均信号レベル（共有画素別白レベル情報ＷＨｃに相当）を得ることができる。この状態で、光学系１に含まれる絞りあるいはＮＤフィルタ等を制御して入力光量を調整すると、その入力光（入力信号レベル）に応じた共有画素ＩＤ毎の出力を、カメラ制御マイコン５は知ることができる。

同様にして、異なるＬ個（Ｌは２以上の整数）の入力信号レベルにおける、共有画素ＩＤ別の平均信号レベルデータ（Ｌ個のデータ）を取得する。すると、図１３（Ａ）に示すように、横軸に入力レベルを取り、縦軸に出力レベルをとったとき、感度カーブを共有画素ＩＤ別に取得することができる。

このようにして、工場出荷時に行われて取得されたデータから、カメラ制御マイコン５では、出力信号レベルの比を算出して、図１３（Ｂ）に示すような、共有画素ＩＤ別に、異なるＬ個の入力レベルに対するリニアリティ補正テーブルデータＬｃｔを、算出することができる。

この例では、リニアリティ補正テーブルデータＬｃｔは、共有画素ＩＤ別であるので、共有画素ＩＤのそれぞれに対応して、Ｌｃｔ１〜Ｌｃｔｎのｎ個が算出される。そして、前述したように、共有画素ＩＤ別のリニアリティ補正テーブルデータＬｃｔ１〜Ｌｃｔｎのそれぞれは、異なるＬ個の入力レベルに対する補正値データからなるものである。

そして、この第３の実施形態では、こうして算出した共有画素ＩＤ別のリニアリティ補正テーブルデータＬｃｔ（Ｌｃｔ１〜Ｌｃｔｎのｎ個からなる）を、プリセットデータとして、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）で構成される共有画素別リニアリティ補正テーブルメモリ４８に、予め記憶しておく。

なお、上述の説明では、工場出荷時に、種々の入力光（撮像画像データとしての入力信号レベルが対応）に応じた共有画素ＩＤ別の補正テーブルデータを取得して、予め、共有画素別リニアリティ補正テーブルメモリ４８に記憶するようにしたが、使用者が、実際の撮影前に、白い壁やボードを撮像装置１０で撮影するようにし、カメラ制御マイコンが、そのときに得られる共有画素別白レベル情報ＷＨｃから、そのときの入力光に応じた共有画素ＩＤ別のリニアリティ補正テーブルデータＬｃｔを取得して、共有画素別リニアリティ補正テーブルメモリ４８に記憶するようにするモードを設けても良い。

図１４は、共有画素別リニアリティ補正部４７の構成例を示したものである。この例の共有画素別リニアリティ補正部４７は、本線信号としての撮像画像データＲＡＷに対して設けられる遅延調整部４７１および４７２と、乗算処理部４７３と、タイミング生成部４７４と、共有画素別リニアリティ補正係数算出部４７５と、通信インターフェース４７６とを備える。

遅延調整部４７１および４７２は、本線信号としての撮像画像データＲＡＷを遅延させて、乗算処理部４７３に供給する。遅延調整部４７１および４７２は、この共有画素別リニアリティ補正部４７において、乗算処理部４７３で撮像画像データＲＡＷについての補正処理をするタイミングを調整するためのものである。

共有画素別リニアリティ補正係数算出部４７５は、この例では、図１５に示すように構成されている。すなわち、共有画素別リニアリティ補正係数算出部４７５は、遅延調整部４５７１と、共有画素別補正信号選択回路４７５２と、補正値選択回路４７５３と、線形補間回路４７５４と、入力信号レベル検出部４７５５とを備える。

遅延調整部４５７１は、本線信号である撮像画像データと、リニアリティ補正信号とのタイミング調整用である。

共有画素別補正信号選択回路４７５２には、共有画素別リニアリティ補正テーブルメモリ４８からの、共有画素ＩＤ別のｎ個のリニアリティ補正テーブルデータＬｃｔ１〜Ｌｃｔｎが入力される。

そして、この共有画素別補正信号選択回路４７５２には、タイミング生成部４７４からの選択制御信号ＳＥＬ３が供給される。タイミング生成部４７４は、基準タイミング信号発生器４４から与えられる基準タイミング信号ＴＧと、カメラ制御マイコン５から通信インターフェース４７６を通じて与えられる共有画素ＩＤ設定情報Ｓｉｄに基づいて、選択制御信号ＳＥＬ３を生成する。

この例では、タイミング生成部４７４は、図４の下段に示したように、共有画素を構成する画素（共有画素ＩＤで示される画素）のそれぞれが、本線信号としての撮像画像データＲＡＷ中で出現するタイミング（共有画素ＩＤシーケンス）に同期して、対応する共有画素ＩＤのリニアリティ補正テーブルデータＬｃｔｉ（ｉは、１〜ｎのいずれか）が共有画素別補正信号選択回路４７５２で選択されるようにする選択制御信号ＳＥＬ３を生成して、当該共有画素別補正信号選択回路４７５２に供給する。

なお、共有画素ＩＤのシーケンスは、使用する固体撮像素子によって変わるため、選択信号ＳＥＬ３の生成は、カメラ制御マイコン５からの共有画素ＩＤ設定情報によって自由に発生させられる構成にするのが望ましい。

そして、共有画素別補正信号選択回路４７５２では、共有画素別リニアリティ補正テーブルメモリからのｎ個のリニアリティ補正テーブルデータＬｃｔ１〜Ｌｃｔｎのうちから、選択制御信号ＳＥＬ３により、本線信号を補正すべきリニアリティ補正テーブルデータＬｃｔｉのＬ個のデータが選択される。すなわち、共有画素別補正信号選択回路４７５２では、共有画素ＩＤに対応した感度カーブが選択されることになる。そして、選択された共有画素ＩＤ別のリニアリティ補正テーブルデータＬｃｔｉは、共有画素別補正信号選択回路４７５２から補正値選択回路４７５３に供給される。

一方、遅延調整部４７５１を通じた本線信号としての撮像画像データは、入力信号レベル検出部４７５５に供給されて、その時点における入力信号レベルが検出される。そして、入力信号レベル検出部４７５５で検出された入力信号レベルは、補正値選択回路４７５３に供給される。

補正値選択回路４７５３では、入力信号レベル検出部４７５５から入力された本線信号の入力信号レベルを参照し、リニアリティ補正テーブルデータＬｃｔｉのＬ個の補正データから、入力信号レベルに最も近い２点の補正データＳａ，Ｓｂを選択し、当該選択した２点の補正データＳａ，Ｓｂを、線形補間回路４７５４に出力する。

線形補間回路４７５４では、補正値選択回路４７５３からの２点の補正データＳａ，Ｓｂおよび、入力信号レベル検出部４７５５から取得した本線信号のレベルから、本線信号のレベルに適した補正係数を線形補間により算出し、算出した補正係数を乗算処理部４７３に供給する。

乗算処理部４７３では、遅延調整部４７２からの本線信号としての撮像画像データに対して、共有画素別リニアリティ補正係数算出部４７５からの上述した補正係数を乗算処理することで、リニアリティ補正を行う。これにより、共有画素において、共有画素ＩＤが異なる画素間の感度ズレが補正された撮像画像データＲＡＷｃが、共有画素別リニアリティ補正部４７の出力として得られ、後段のカメラ信号処理部４３に供給される。

以上のようにして、上述した実施形態によれば、画素感度向上を目的として隣接または近接画素間でトランジスタ等画素構成に必要な回路を共有している固体撮像素子に対して、非常に簡易な構成で、固体撮像素子が持つ共有画素配列パターンに起因する隣接または近接画素の回路レイアウト不均一性を起因とする、黒レベルの不均一性や、感度の不均一性を補正することができる。

［その他の実施形態および変形例］
以上の実施形態においては、固体撮像素子に対して配される色フィルタ、読み出しチャンネル、画素の共有方法については、例を限定して説明してきたが、もちろん、この発明はこれらの限定に限られるものではなく、この発明の主旨を外れない範囲で広く適用することが可能である。

例えば、固体撮像素子に対して配される色フィルタを考慮した場合には、図４（Ａ），（Ｂ），（Ｃ）に示した共有画素の配列パターンの３つの例における共有画素ＩＤ、および、共有画素ＩＤで表した出力画素シーケンスは、図１６に示すようなものとなる。

すなわち、図１６（Ａ），（Ｂ），（Ｃ）のそれぞれ上段に示した共有画素の配列パターンの３つの例における共有画素ＩＤは、それぞれ中断に示すようなものとなり、また、共有画素ＩＤで表した出力画素シーケンスは、それぞれ下段に示すようなものとなる。

そして、この場合には、図１６の中断に示した共有画素ＩＤに応じた、黒レベル補正値およびリニアリティ補正値が検出生成され、図１６の下断に示した共有画素ＩＤシーケンスに同期して、補正処理が実行される。

なお、上述の実施形態の説明では、固体撮像素子は、ＣＭＯＳイメージャとしたが、ＣＣＤイメージャでもよい。

また、リニアリティ補正テーブルデータは、１画面分について、共通に、共有画素ＩＤ毎の補正データを記憶するのではなく、例えば画面の真ん中の領域、周囲の領域、というように、領域毎に、共有画素ＩＤ毎の補正データを記憶し、当該記憶した補正データにより、それぞれ対応する領域からの画素データを、共有画素ＩＤ別に補正するようにしてもよい。また、画素毎にリニアリティ補正データを記憶するようにしてもよい。

また、共有画素ＩＤ毎の黒レベル平均値も、同様に、例えば画面の真ん中の領域、周囲の領域、というように、領域毎に、検出保持する手段を備え、それぞれ検出保持した黒レベル平均値により、対応する領域の画素データの黒レベルを、共有画素ＩＤ別に補正するようにしても良い。

この発明による撮像装置の実施形態のハードウエア構成例を示す図である。 この発明による撮像装置の実施形態で用いる固体撮像素子の画素配列および色フィルタ配置の例を説明するための図である。 この発明による撮像装置の実施形態で用いる固体撮像素子からの撮像画像データの読み出し方法の例を説明するための図である。 この発明による撮像装置の実施形態で用いる固体撮像素子における共有画素の配列パターンおよび共有画素ＩＤを説明するための図である。 この発明による撮像装置の第１の実施形態の要部のハードウエア構成例を示す図である。 この発明による撮像装置の第１の実施形態を説明するために用いる図である。 図５のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。 図７のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。 図５のハードウエア構成例における他の一部のブロックのハードウエア構成例を示す図である。 この発明による撮像装置の第２の実施形態の要部を説明するためのブロック図である。 この発明による撮像装置の第３の実施形態の要部のハードウエア構成例を説明するためのブロック図である。 この発明による撮像装置の第３の実施形態を説明するために用いる図である。 この発明による撮像装置の第３の実施形態を説明するために用いる図である。 図１１のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。 図１１のハードウエア構成例における他の一部のブロックのハードウエア構成例を示す図である。 この発明による撮像装置の他の実施形態で用いる固体撮像素子における共有画素の配列パターンおよび共有画素ＩＤを説明するための図である。

符号の説明

２…ＣＭＯＳイメージャ、４…デジタル信号処理部、５…カメラ制御マイコン、４１…共有画素別黒レベル検出部、４２…共有画素別黒レベル補正部、４４…基準タイミング信号発生器、４６…共有画素別レベル検出部、４７…共有画素別リニアリティ補正部、４８…共有画素別リニアリティ補正テーブルメモリ

Claims (10)

1. ２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、
   前記各１組みを構成する前記所定の複数個の画素位置の画素の画素データのそれぞれについての、前記配列パターン内における各画素位置の違いに起因する画素特性の不均一性を補正するための補正値を、前記配列パターン内における各画素位置毎に生成する補正値生成手段と、
   前記固体撮像素子からの画素データのそれぞれを、前記補正値生成手段で生成された、前記各１組みを構成する前記所定の複数個の画素の前記配列パターン内において対応する画素位置の前記画素データについての前記補正値に基づいて、補正する補正手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画素特性の不均一性は、画素データの黒レベルの不均一性である
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記補正値生成手段は、前記各１組みを構成する前記所定の複数個の画素位置の画素の画素データのそれぞれについての補正値を、前記固体撮像素子の、黒レベルを決めるための領域において、前記各１組みを構成する前記所定の複数個の画素で、前記配列パターン内における同一位置となる位置の画素についての黒レベルの平均を取ることにより算出して生成する
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記画素特性の不均一性は、画素データの出力リニアリティの不均一性である
   ことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記補正値生成手段は、
   全体に渡って一様な被写体を撮影したときに前記固体撮像素子から得られる画素データから作成された補正値であって、前記各１組みを構成する前記所定の複数個の画素位置の画素の画素データのそれぞれについての、前記配列パターン内における各画素位置に起因する出力レベル誤差を補正するための補正値を、前記配列パターン内における各画素位置毎に記憶する記憶手段で構成される
   ことを特徴とする撮像装置。
6. ２次元アレイ状に配列される複数の画素が、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとされ、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、
   前記固体撮像素子の、黒レベルを決めるための領域の画素からの画素データを用いて、前記各１組みを構成する前記所定の複数個の画素位置の画素の画素データのそれぞれについての、前記配列パターン内における各画素位置に起因して異なる黒レベルを、前記配列パターン内における各画素位置毎に生成する黒レベル生成手段と、
   前記固体撮像素子からの画素データのそれぞれを、前記黒レベル生成手段で生成された、前記各１組みを構成する前記所定の複数個の画素の前記配列パターン内において対応する画素位置の前記画素データについて生成された前記黒レベルに基づいて、クランプ処理を行う手段と、
   を備えることを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記黒レベル生成手段は、
   前記固体撮像素子の黒レベルを決めるための領域における、前記各１組みを構成する前記所定の複数個の画素のそれぞれについて、前記配列パターン内においてそれぞれ対応する画素位置の画素データの黒レベルの平均値を算出するものであり、かつ、前記平均値は、１ライン毎に更新して、前記配列パターン内の各画素位置毎における黒レベルを生成する
   ことを特徴とする撮像装置。
8. 請求項６に記載の撮像装置において、
   前記黒レベル生成手段は、
   前記固体撮像素子の黒レベルを決めるための領域における、前記各１組みを構成する前記所定の複数個の画素のそれぞれについて、前記配列パターン内においてそれぞれ対応する画素位置の画素データの黒レベルの平均値を算出するものであり、かつ、前記平均値は、１画面分毎に更新して、前記配列パターン内の各画素位置毎における黒レベルを生成する
   ことを特徴とする撮像装置。
9. ２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、
   全体に渡って一様な被写体を撮影したときに前記固体撮像素子から得られる画素データを用いて作成したものであって、前記各１組みを構成する前記所定の複数個の画素位置の画素の画素データのそれぞれについての、前記配列パターン内における各画素位置に起因する出力レベル誤差を補正するための補正値を、前記配列パターン内における各画素位置毎に記憶する記憶手段と、
   前記固体撮像素子からの画素データのそれぞれを、前記記憶手段からの、前記各１組みを構成する前記所定の複数個の画素の前記配列パターン内において対応する画素位置の前記画素データについての前記補正値に基づいて、補正する補正手段と、
   を備えることを特徴とする撮像装置。
10. ２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子からの画素データを補正する撮像データ補正方法であって、
    前記各１組みを構成する前記所定の複数個の画素位置の画素の画素データのそれぞれについての、前記配列パターン内における各画素位置の違いに起因する画素特性の不均一性を補正するための補正値を、前記配列パターン内における各画素位置毎に生成する補正値生成工程と、
    前記固体撮像素子からの画素データのそれぞれを、前記補正値生成工程で生成された、前記各１組みを構成する前記所定の複数個の画素の前記配列パターン内において対応する画素位置の前記画素データについての前記補正値に基づいて、補正する補正工程と、
    を備えることを特徴とする撮像データ補正方法。
    

Images