以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
[第1実施形態]
第1実施形態による撮像装置及び撮像方法について図1乃至図12を用いて説明する。
本実施形態による撮像装置は、適切に黒レベルの補正を行い得る補正処理部502が設けられているものである。かかる補正処理部502は、撮像素子1000の内部に設けられていてもよいし、撮像素子1000の外部に設けられていてもよい。また、「撮像装置」という用語は、撮像素子1000を意味する場合もあるし、撮像素子1000を含む撮像システム全体を意味する場合もある。
まず、本実施形態による撮像装置において行われる瞳分割方式による焦点検出の原理について図1を用いて説明する。図1は、撮影レンズの射出瞳と単位画素との関係を示す概念図である。
単位画素100は、複数のフォトダイオード(光電変換部)101A、101B、即ち、フォトダイオード101Aとフォトダイオード101Bとを有している。単位画素100の上方には、カラーフィルタ110とマイクロレンズ111とが配されている。
撮影レンズ1002(図2参照)の射出瞳112を通過した光は、光軸113を中心として単位画素100に入射する。撮影レンズ1002の射出瞳112のうちの一部の領域である瞳領域114を通過する光束は、マイクロレンズ111を通って、フォトダイオード101Aによって受光される。一方、撮影レンズ1002の射出瞳112のうちの他の一部の領域である瞳領域115を通過する光束は、マイクロレンズ111を通って、フォトダイオード101Bによって受光される。このように、フォトダイオード101Aとフォトダイオード101Bとは、撮影レンズ1002の射出瞳112の別々の瞳領域114,115の光をそれぞれ受光する。従って、フォトダイオード101Aから出力される信号とフォトダイオード101Bから出力される信号とを比較することによって、位相差の検知が可能となる。
ここで、フォトダイオード101Aから得られる信号、即ち、フォトダイオード101Aで発生した電荷に応じた信号を、A像信号と定義する。また、フォトダイオード101Bから得られる信号、即ち、フォトダイオード101Bで発生した電荷に応じた信号を、B像信号と定義する。また、A像信号とB像信号を合成した信号、即ち、フォトダイオード101A、101Bでそれぞれ発生した電荷を合成することにより得られた合成電荷に応じた信号を、A+B像信号と定義する。A+B像信号は、撮影画像として用いることができる。単位画素100からA像信号とB像信号とが読み出される行を、AF行と称することとする。単位画素100からA像信号とB像信号とが読み出される行群を、AF行群と称することとする。AF行群内には、複数のAF行が位置している。また、単位画素100からA+B像信号が読み出される行を、通常行と称することとする。単位画素100からA+B像信号が読み出される行群を、通常行群と称することとする。通常行群内には、複数の通常行群が位置している。本実施形態による撮像装置では、AF行と通常行とが適宜設定されている。
図2は、本実施形態による撮像装置(撮像システム)を示すブロック図である。撮影レンズ1002は、被写体の光学像を撮像素子(撮像装置)1000に結像させるものであり、レンズ駆動部1003によってズーム制御、フォーカス制御、絞り制御等が行われる。撮像素子1000は、撮影レンズ1002によって結像された被写体を信号として取り込むためのものであり、撮像素子1000には、2つのフォトダイオード101A、101Bを備える単位画素100がアレイ状に配置されている。撮像素子1000からは、A+B像信号、A像信号及びB像信号が出力される。外部信号処理部1001は、撮像素子1000から出力される信号に各種の補正を行うものである。制御部(処理部)1004は、各種の演算を行うとともに、本実施形態による撮像装置(撮像システム)の全体の制御を司るものであり、A像信号及びB像信号を用いて焦点検出動作をも行う。記憶部1005は、画像データ等を一時的に記憶するためのものである。表示部1006は、各種情報や撮影画像等を表示するためのものである。記録媒体1007は、画像データ等を記録するためのものであり、半導体メモリ等の着脱可能な記録媒体である。操作部1008は、ボタン、ダイヤル等によって構成されており、ユーザによる操作入力を受け付ける。なお、表示部1006がタッチパネルである場合には、当該タッチパネルも操作部1008に含まれる。
次に、撮像素子1000の構成について図3乃至図5を用いて説明する。図3は、本実施形態による撮像素子1000を示すブロック図である。
図3に示すように、撮像素子1000は、画素アレイ(画素領域)600と、列読み出し部400と、垂直走査部301と、水平走査部302と、タイミング発生部303と、信号処理部500とを有している。
画素アレイ600には、2つのフォトダイオード101A、101Bを含む単位画素100が行列状に配置されている。ここでは、説明を簡単にするために4×4の単位画素100の配列を示しているが、実際には多数の単位画素100が画素アレイ600に配置されている。
垂直走査部(垂直走査回路)301は、画素アレイ600に配された単位画素100を1行単位で選択し、選択行の単位画素100に対して駆動信号を出力する。
列読み出し部(列読み出し回路)400は、各列に1つずつ設けられており、単位画素100から出力される信号をA/D変換し、水平走査部302からの水平走査パルス信号に基づいて、信号処理部500に出力信号を順次出力する。
タイミング発生部(タイミング発生回路、TG)303は、列読み出し部400、垂直走査部301、水平走査部302、信号処理部500等をそれぞれ制御する信号を出力する。
信号処理部500は、列読み出し部400から出力された信号に対して補正処理(クランプ処理)等を行い、撮像素子1000の外部に信号を出力する。また、後述する補正処理も信号処理部500によって行われる。また、後述する識別信号は、例えばタイミング発生部303から出力される。
図4は、画素アレイのレイアウトを示す平面図である。図4に示すように、画素アレイ600の一部は、フォトダイオード101A、101Bを光学的に遮光したオプティカルブラック(OB)画素(基準画素)が配置されたオプティカルブラック(OB)画素領域(基準画素領域)601となっている。基準画素領域601は、補正処理において用いられる補正値(クランプ値)を取得するために用いられる。画素アレイ600のうちの基準画素領域601を除く領域は、被写体像を受光する受光画素が配置された受光画素領域(開口画素領域)602となっている。
図5は、単位画素100と列読み出し部400とを示す図である。簡略化のために、図5においては、1つの単位画素100と1つの列読み出し部400とを抜き出して示している。
単位画素100は、フォトダイオード101A、101Bと、転送スイッチ102A、102Bと、フローティングディフュージョン103と、増幅トランジスタ104と、リセットスイッチ105と、選択スイッチ106とを備えている。
フォトダイオード101A、101Bは、同一のマイクロレンズ111を通過した光を受光し、受光量に応じた電荷(信号電荷)を生成する。転送スイッチ102A、102Bは、フォトダイオード101A、101Bでそれぞれ発生した電荷をフローティングディフュージョン103に転送するためのものである。転送スイッチ102A、102Bは、転送パルス信号PTXA、PTXBによってそれぞれ制御される。フローティングディフュージョン103は、フォトダイオード101A、101Bから転送される電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。フローティングディフュージョン103に保持された電荷に応じた電圧が増幅トランジスタ104のゲートに印加される。増幅トランジスタ104は、垂直出力線107を介して電流源(電流源トランジスタ)108に接続されており、これによりソースフォロアが構成されている。増幅トランジスタ104のドレインは、基準電位VDDに接続されている。増幅トランジスタ104のゲートの電位に応じた増幅トランジスタ104の出力信号が、垂直出力線(出力信号線)107を介して出力される。
リセットスイッチ105のドレインは基準電位VDDに接続されている。リセットスイッチ105は、リセットパルス信号PRESによって制御され、フローティングディフュージョン103の電位を基準電位VDDにリセットする。選択スイッチ106は、垂直選択パルス信号PSELによって制御され、増幅トランジスタ104の出力信号、即ち画素信号を垂直出力線107に出力する。
列読み出し部(読み出し回路)400は、A/D変換部(A/D変換回路)401と記憶部(記憶回路)402とを有している。
A/D変換部401は、垂直出力線107を介して出力されるアナログ信号をデジタル信号に変換する。A/D変換部401は、例えば、不図示の比較部(比較回路)とカウンタ(カウンタ回路)とによって構成されている。比較部は、時間に依存して電圧値が変化するランプ信号と、入力信号との比較を行い、両者の大小関係が逆転するタイミングでカウンタに信号を出力する。カウンタは、比較部からの信号を受けて、計数したカウント値を保持する。カウンタによって係数されたカウント値は、記憶部(メモリ回路)402によってデジタル信号として保持される。
記憶部402は、デジタル信号を保持するための2つのメモリM1、M2を備えている。メモリM1には、A+B像信号、A像信号、B像信号が保持され、メモリM2には、後述するN信号が保持される。メモリM1、M2に保持されたデジタル信号は、それぞれ、デジタル信号出力線405、406を介して、信号処理部(信号処理回路)500に出力される。
なお、図5において、A/D変換部401の前段に増幅アンプを設け、垂直出力線107を介して出力されるアナログ信号を増幅してからA/D変換部401によってA/D変換を行うようにしてもよい。
次に、撮像素子1000の読み出し動作について図6及び図7を用いて説明する。図6は、通常行に対する読み出し動作を示すタイムチャートである。図7は、AF行に対する読み出し動作を示すタイムチャートである。図6及び図7は、垂直走査部301によってある行が選択された際における読み出し動作を示している。なお、各々の制御信号がHレベルの際には、当該制御信号に対応するスイッチがオン状態となる。
まず、通常行に対する読み出し動作について図6を用いて説明する。
時刻t101においては、水平同期信号SYNCがHレベルになるとともに、選択行の垂直選択パルス信号PSELがHレベルになる。垂直選択パルス信号PSELがHレベルになると、当該選択行の単位画素100の選択スイッチ106がオン状態となり、当該選択行の単位画素100が垂直出力線107に接続される。
時刻t102においては、リセットパルス信号PRESがHレベルとなり、これにより、単位画素100のリセットスイッチ105がオン状態となり、フローティングディフュージョン103がリセットレベルになる。
時刻t103においては、リセットパルス信号PRESをLレベルにすることにより、リセットスイッチ105がオフ状態となる。これにより、フローティングディフュージョン103のリセットが解除される。選択スイッチ106はオン状態のままであるため、フローティングディフュージョン103のリセットが解除された際の増幅トランジスタ104のゲート電位に応じた出力信号が、垂直出力線107に出力される。時刻t103において単位画素100から出力される画素信号、即ち、リセットレベル信号を、N信号(ノイズ信号)と称することとする。
時刻t104〜t105においては、垂直出力線107に出力されたN信号が、列読み出し部400のA/D変換部401によってデジタル信号に変換される。A/D変換部401によって得られたデジタル信号は、記憶部402のメモリM2に保持される。時刻t104からt105において行われる動作、即ち、N信号をデジタル信号に変換する動作を、N変換と称することとする。
時刻t106においては、転送パルス信号PTXA、PTXBをそれぞれHレベルにする。これにより、単位画素100の転送スイッチ102A、102Bがオン状態となり、フォトダイオード101A、101Bにおいて光電変換により発生した電荷がフローティングディフュージョン103に転送される。垂直出力線107には、フォトダイオード101Aとフォトダイオード101Bとで発生した電荷の合成電荷に応じた画素信号であるA+B像信号が出力される。
時刻t107においては、転送パルス信号PTXA、PTXBをそれぞれLレベルにする。これにより、転送スイッチ102A、102Bがそれぞれオフ状態となる。転送スイッチ102A、102Bがオフ状態になった後も、垂直出力線107にはA+B像信号が出力され続ける。
時刻t108からt109においては、垂直出力線107に出力されたA+B像信号が列読み出し部400のA/D変換部401によってデジタル信号に変換される。A/D変換部401によって得られたデジタル信号は、記憶部402のメモリM1に保持される。時刻t108からt109において行われる動作、即ち、A+B像信号をデジタル信号に変換する動作を、A+B変換と称することとする。
時刻t110からt111においては、水平走査部302から水平走査パルス信号が出力され、各々の列のメモリM1、M2に保持されたデジタル信号であるA+B像信号とN信号とが順次出力される。メモリM1に保持されたA+B像信号とメモリM2に保持されたN信号とは、デジタル信号出力線405、406を介して信号処理部500にそれぞれ出力される(OUT_S、OUT_N)。このような水平走査が最終列まで繰り返されることによって、読み出し対象となっている行からのA+B像信号とN信号との読み出しが完了する。信号処理部500においては、A+B像信号から、当該A+B像信号に対応するN信号を減算する処理が行われ、これにより固定パターンノイズが除去される。
こうして、通常行からのA+B像信号の読み出しが行われる。通常行に対する読み出しを行う際の読み出しモードは、単位画素100に含まれる複数のフォトダイオード101A、101Bでそれぞれ発生した電荷を合成することによって得られた合成電荷に応じた信号、即ち、A+B像信号を読み出す読み出しモードである。単位画素100に含まれる複数のフォトダイオード101A、101Bでそれぞれ発生した電荷を合成することによって得られた合成電荷に応じた信号を読み出す読み出しモードを、第1のモードと称することとする。
次に、AF行に対する読み出し動作について図7を用いて説明する。
時刻t201からt205までの動作は、図6を用いて上述した時刻t101からt105までの動作と同様であるため、説明を省略する。
時刻t206においては、転送パルス信号PTXAをHレベルにする。これにより、単位画素100の転送スイッチ102Aがオン状態になり、フォトダイオード101Aにおいて光電変換により発生した電荷がフローティングディフュージョン103に転送される。フォトダイオード101Aで発生した電荷量に応じた画素信号であるA像信号が垂直出力線107に出力される。
時刻t207においては、転送パルス信号PTXAをLレベルにする。これにより、単位画素100の転送スイッチ102Aがオフ状態になる。転送スイッチ102Aがオフ状態になった後も、垂直出力線107にはA像信号が出力され続ける。
時刻t208からt209においては、垂直出力線107に出力されたA像信号が列読み出し部400のA/D変換部401によってデジタル信号に変換される。A/D変換部401によって得られたデジタル信号は、記憶部402のメモリM1に保持される。時刻t208からt209において行われる動作、即ち、A像信号をデジタル信号に変換する動作を、A変換と称することとする。
時刻t210からt211においては、水平走査部302から水平走査パルス信号が出力され、各々の列のメモリM1、M2に保持されたデジタル信号、即ち、A像信号、当該A像信号に対応するN信号とが順次出力される。メモリM1に保持されたA像信号とメモリM2に保持されたN信号とは、デジタル信号出力線405、406を介して信号処理部500にそれぞれ出力される。このような水平走査が最終列まで繰り返されることによって、読み出し対象となっている行からのA像信号とN信号との読み出しが完了する。
時刻t212においては、水平同期信号SYNCが再びHレベルとなるが、垂直選択パルス信号PSELはHレベルのままであり、同じ行が選択された状態が維持される。
時刻t213においては、リセットパルス信号PRESがHレベルとなり、単位画素100のリセットスイッチ105がオン状態となり、フローティングディフュージョン103の電位がリセットされる。
時刻t214において、リセットパルス信号PRESをLレベルにすることにより、リセットスイッチ105がオフ状態となる。これにより、リセットレベル信号であるN信号が垂直出力線107に出力される。
時刻t215からt216においては、垂直出力線107に出力されたN信号が列読み出し部400のA/D変換部401によってデジタル信号に変換される。A/D変換部401によって得られたデジタル信号は、記憶部402のメモリM2に保持される。
時刻t217においては、転送パルス信号PTXBをHレベルにする。これにより、単位画素100の転送スイッチ102Bがオン状態となり、フォトダイオード101Bにおいて光電変換により発生した電荷がフローティングディフュージョン103に転送される。垂直出力線107には、フォトダイオード101Bで発生した電荷量に応じた画素信号であるB像信号が出力される。
時刻t218においては、転送パルス信号PTXBをLレベルにすることによって、転送スイッチ102Bをオフ状態にする。転送スイッチ102Bをオフ状態にした後も、垂直出力線107にはB像信号が出力され続ける。
時刻t219からt220においては、垂直出力線107に出力されたB像信号が列読み出し部400のA/D変換部401部によってデジタル信号に変換される。A/D変換部401によって得られたデジタル信号は、記憶部402のメモリM1に保持される。時刻t219からt220において行われる動作、即ち、B像信号をデジタル信号に変換する動作をB変換と称することとする。
時刻t221からt222においては、水平走査部302から水平走査パルス信号が出力され、各々の列のメモリM1、M2に保持されたデジタル信号、即ち、B像信号と、当該B像信号に対応するN信号とが順次出力される。メモリM1に保持されたB像信号とメモリM2に保持されたN信号とは、デジタル信号出力線405、406を介して信号処理部500にそれぞれ出力される。このような水平走査が最終列まで繰り返されることによって、読み出し対象となっている行からのB像信号とN信号との読み出しが完了する。
このようにして、AF行からは、A像信号と、当該A像信号に対応するN信号とが出力され、更に、B像信号と、当該B像信号に対応するN信号とが出力される。A像信号から当該A像信号に対応するN信号を減算する処理が信号処理部500によって行われ、また、B像信号から当該B像信号に対応するN信号を減算する処理が信号処理部500によって行われ、これらによって固定パターンノイズが除去される。
こうして、AF行からのA像信号とB像信号の読み出しが行われる。AF行に対する読み出しを行う際の読み出しモードは、フォトダイオード101A、101Bで発生した電荷に応じた信号、即ち、A像信号、B像信号を読み出す読み出しモードである。単位画素100に含まれる複数のフォトダイオード101A、101Bのうちのいずれかで発生した電荷に応じた信号を読み出す読み出しモードを、第2のモードと称することとする。
タイミング発生部303は、通常行に対する読み出しを行う際には、図6に示すようなタイミングで制御信号を出力し、AF行に対する読み出しを行う際には、図7に示すようなタイミングで制御信号を出力する。即ち、タイミング発生部303は、制御信号の出力態様を行毎に適宜切り替える。換言すれば、タイミング発生部303は、読み出しモードを行毎に適宜切り替える。これにより、A+B像信号、A像信号、B像信号を行毎に適宜読み出すことができる。これにより、すべての単位画素100からA像信号とB像信号とを読み出す場合に比べて、読み出し時間を短縮することができる。
また、A像信号とB像信号とを信号処理部500等によって合成することによって、撮像信号であるA+B像信号を得ることができる。
図8(a)は、各行からの出力信号の例を示す図である。図8(a)に示すように、通常行801からはA+B像信号が出力され、AF行802、803からはA像信号とB像信号とが出力される。
図8(b)は、各行における暗電流量の例を示す図である。図8(b)の各行は、図8(a)の各行に対応している。図8(a)に示すように、AF行802から出力されるA像信号の暗電流量805やAF行803から出力されるB像信号の暗電流量806は、通常行801から出力されるA+B像信号の暗電流量804のほぼ半分となる。なお、図8(a)のAF行802からはA像信号だけでなくB像信号も出力され、同様にAF行803からはB像信号だけでなくA像信号も出力される。
次に、信号処理部500において行われる信号処理について図9を用いて説明する。図9は、信号処理部500を示すブロック図である。図9に示すように、信号処理部500は、S−N処理部501と補正処理部502を備えている。
S−N処理部501には、デジタル信号出力線405を介してA+B像信号、A像信号、B像信号が適宜入力される。また、S−N処理部501には、デジタル信号出力線405を介して入力されるA+B像信号、A像信号、B像信号にそれぞれ対応するN信号が、デジタル信号出力線406を介して入力される。デジタル信号出力線405を介してS−N処理部501にA+B像信号が入力された際には、S−N処理部501は、当該A+B像信号から、当該A+B像信号に対応するN信号を減算する。デジタル信号出力線405を介してS−N処理部501にA像信号が入力された際には、S−N処理部501は、当該A像信号から、当該A像信号に対応するN信号を減算する。デジタル信号出力線405を介してS−N処理部501にB像信号が入力された際には、S−N処理部501は、当該B像信号から、当該B像信号に対応するN信号を減算する。これにより、固定パターンノイズを除去することができる。N信号が減算された後のA+B像信号、N信号が減算された後のA像信号、N信号が減算された後のB像信号は、補正処理部502に適宜出力される。
補正処理部502は、基準画素領域601に位置する単位画素100からの出力信号を用いて、黒レベルを基準レベルに合わせる補正処理を行うものである。
補正処理部502について、図10を用いて説明する。図10は、本実施形態による撮像装置の補正処理部を示すブロック図である。
データ取得部(データ取得回路)5021は、画素アレイ600の基準画素領域601(図4参照)に位置する単位画素100から読み出された画素信号を、補正処理部502に入力される入力信号から選択的に取得する。そして、データ取得部5021は、後段に位置する処理部(処理回路)、即ち、補正値を更新するための処理部にデータを出力する。切り替え部(切り替え回路)5022は、データ取得部5021によって取得された画素信号を、通常行用の平均化部(平均化回路)5023とAF行用の平均化部(平均化処理回路)5024とのうちのいずれかに選択的に入力する。切り替え部5022は、通常行から読み出された画素信号が補正処理部502に入力されているのか、AF行から読み出された画素信号が補正処理部502に入力されているのかを示す識別信号(読み出しモード識別パルス)に応じて切り替えを行う。識別信号がLレベルである場合には、補正処理部502に入力される画素信号は、通常行から読み出された画素信号である。従って、データ識別信号がLレベルの場合には、切り替え部5022は、データ取得部5021によって取得されるデータ、即ち、画素信号が、通常行用の平均化部5023に入力されるようにする。一方、識別信号がHレベルである場合には、補正処理部502に入力される画素信号は、AF行から出力された画素信号である。従って、識別信号がHレベルである場合には、切り替え部5022は、データ取得部5021によって取得されるデータ、即ち、画素信号が、AF行用の平均化部5024に入力されるようにする。
基準画素領域601内に位置する単位画素100のうちの通常行の単位画素100から出力される画素信号は、通常行用の平均化部5023に入力される。通常行用の平均化部5023は、入力された画素信号に対して平均化処理を行い、平均黒レベルを算出する。平均化処理を行う際には、所定の時定数をもって平均化処理を行うことによって、画素アレイ600の行方向における出力レベルの変化に対して、平均黒レベルを緩やかに追従させることができる。算出した平均黒レベルは、切り替え部(切り替え回路)5027を介して、補正値生成部(補正値生成回路)5025に入力される。識別信号がLレベルの際には、切り替え部5027は、通常行用の平均化部5023からの出力が補正値生成部5025に入力されるようにする。一方、識別信号がHレベルの際には、切り替え部5027は、AF行用の平均化部5024からの出力が補正値生成部5025に入力されるようにする。補正値生成部5025は、平均黒レベルと基準レベルとの差分に基づいて、平均黒レベルを基準レベルに合わせるための補正値を生成する。かかる補正値は、受光画素領域602に位置する単位画素100から読み出される信号を補正するために用いられる。
基準画素領域601に単位画素100のうちのAF行の単位画素100から出力される画素信号は、切り替え部5022を介して、AF行用の平均化部5024に入力される。そして、通常行用の平均化部5023において行われる平均化処理と同様に、AF行用の平均化部5024においても、平均黒レベルが算出される。AF行用の平均化部5024において算出された平均黒レベルは、切り替え部5027を介して、補正値生成部5025に出力される。
補正部(演算部、減算部、減算回路)5026では、受光画素領域602に位置する単位画素100から出力される画素信号から、補正値生成部5025において生成された補正値を減算することによって、黒レベルを基準レベルに合わせる。通常行から出力された画素信号に対しては、通常行用の平均化部5023によって算出された平均黒レベルに基づいた補正値が減算される。一方、AF行から出力された画素信号に対しては、AF行用の平均化部5024によって算出された平均黒レベルに基づいた補正値が減算される。このように、補正部5026は、受光画素領域602に位置する単位画素100から読み出される信号を、補正値生成部5025によって生成された補正値を用いて補正する。
このように、通常行の平均黒レベルは通常行用の平均化部5023によって算出され、AF行の平均黒レベルはAF行用の平均化部5024によって算出される。そして、それぞれの平均黒レベルに基づいて補正値生成部5025によって補正値がそれぞれ生成される。即ち、補正値生成部5025は、基準画素領域601に位置する単位画素100から順次読み出される信号を読み出しモードに基づいて平均化することによって得られる平均黒レベル(平均値)に基づいて、補正値を生成する。このため、通常行の暗電流とAF行の暗電流とが大きく異なっているにもかかわらず、適切に黒レベルを補正することができる。
図11(a)は、各行における暗電流量、平均黒レベル1101,1102、及び、補正値1103〜1105の例を示す図である。図11(a)の各行は、図8(a)及び図8(b)の各行に対応している。図11(b)は、図11(a)の各行に対応する識別信号の例を示す図である。
例えば、通常行801の単位画素100から出力される画素信号が補正処理部502に入力されている際には、識別信号がLレベルとなっており、通常行用の平均化部5023によって平均黒レベル1101が算出される。即ち、通常行用の平均化部5023は、基準画素領域601内に位置する単位画素100のうちの通常行801の単位画素100から順次読み出される画素信号の平均値(平均黒レベル)を算出する。通常行用の平均化部5023によって算出される平均黒レベル1101は、図11(a)において破線を用いて示されている。補正値生成部5025は、基準レベルと、通常行用の平均化部5023によって算出された平均黒レベル1101とに基づいて、補正値1103を生成する。補正値1103は、図11(a)において矢印を用いて示されている。
一方、AF行802,803の単位画素100から読み出された画素信号が補正処理部502に入力されている際には、識別信号がHレベルになっており、AF行用の平均化部5024によって平均黒レベルが算出される。即ち、AF行用の平均化部5024は、基準画素領域601内に位置する単位画素100のうちのAF行の単位画素100から順次読み出される画素信号の平均値(平均黒レベル)を算出する。AF行用の平均化部5024によって算出される平均黒レベル1102は、図11(a)において一点鎖線を用いて示されている。補正値生成部5025は、基準レベルと、AF行用の平均化部5024によって算出される平均黒レベルとに基づいて、補正値1104,1105を生成する。補正値1104,1105は、図11(a)において矢印を用いて示されている。
通常行801についての平均黒レベル1101は、通常行801の単位画素100から読み出された画素信号が補正処理部502に入力されている場合においてのみ更新される。一方、AF行802、803についての平均黒レベル1102は、AF行802,803の単位画素100から読み出された画素信号が補正処理部502に入力されている場合においてのみ更新される。従って、通常行801の暗電流のレベルとAF行802,803の暗電流量のレベルとの差の影響を受けることなく、適切な補正値を生成することができ、好適に補正処理を行うことができる。
図12は、比較例の場合における各行の暗電流量、平均黒レベル1201、及び、補正値1202〜1204の例を示す図である。図12は、切り替え部5022,5027が設けられていない補正処理部によって補正処理を行った場合の例を示している。切り替え部による切り替えを行わず、常に、同じ平均化部によって平均黒レベルを算出した場合には、図12に示すように、平均黒レベル1201は、通常行とAF行との暗電流量のレベル差によって大きく変動してしまう。このため、例えば、補正値1202、1203を用いてAF行802,803を補正した場合には過補正となり、補正値1204を用いて通常行801を補正した場合には補正不足となってしまう。
これに対し、本実施形態によれば、基準画素領域601内に位置する単位画素100のうちの通常行の単位画素100から出力される画素信号を平均化する通常行用の平均化部5023が設けられている。また、本実施形態によれば、基準画素領域601内に位置する単位画素100のうちのAF行の単位画素100から出力される画素信号を平均化するAF行用の平均化部5024が設けられている。そして、通常行用の平均化部5023によって求められた平均値に基づいて、補正値生成部5025が通常行用の良好な補正値を生成する。また、AF行用の平均化部5024によって求められた平均値に基づいて、補正値生成部5025がAF行用の良好な補正値を生成する。このため、通常行から読み出されたA+B像信号に対して、通常行用の良好な補正値を用いて黒レベルを良好に補正することができる。また、AF行から読み出されたA像信号及びB像信号に対して、AF行用の良好な補正値を用いて黒レベルを良好に補正することができる。黒レベル補正をそれぞれ良好に補正することができるため、本実施形態によれば、良好な画像を得ることができる撮像装置を提供することができる。
[第2実施形態]
第2実施形態による撮像装置及びその撮像装置を用いた撮像システムについて図13及び図14を用いて説明する。図1乃至図12に示す第1実施形態による撮像装置及び撮像システムと同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
第1実施形態においては、通常行用の平均化部5023とAF用の平均化部5024とが別個に設けられていた。これに対し、本実施形態では、1つの平均化部1304が設けられているものである。なお、補正処理部1300以外の構成については、第1実施形態と同様であるため、説明を省略する。
図13は、本実施形態による撮像装置の補正処理部1300を示すブロック図である。
データ取得部1301は、基準画素領域601に位置する単位画素100から読み出された画素信号を、補正処理部1300に入力される入力信号から選択的に取得する。切り替え部1302は、通常行から読み出された画素信号が補正処理部1300に入力されているのか、AF行から読み出された画素信号が補正処理部1300に入力されているのかを示す識別信号に基づいて、切り替えを行う。基準画素領域601に位置する単位画素100のうちの通常行の単位画素100から読み出された画素信号は、平均化部1304に入力され、平均化部1304によって平均黒レベルが算出される。一方、基準画素領域601に位置する単位画素100のうちのAF行の単位画素100から読み出された画素信号は、ゲイン乗算部1303によって1より大きいゲイン、より具体的には、2倍のゲインが乗算された後、平均化部1304に入力される。2倍のゲインをゲイン乗算部1303によって乗算するのは、AF行の暗電流が通常行の暗電流の1/2程度であるためである。ゲイン乗算部1303によって暗電流の調整が行われるため、通常行の暗電流とAF行の暗電流とが大きく異なっているにもかかわらず、共通の平均化部1304を利用することができる。
通常行から読み出された画素信号が補正処理部1300に入力されている際には、平均化部1304によって算出された平均黒レベルは、切り替え部1308、1309を介して、補正値生成部1306にそのまま入力される。補正値生成部1306は、平均黒レベルと基準レベルとの差分に基づいて、平均黒レベルを基準レベルに合わせるための補正値を生成する。こうして、通常行用の補正値が生成される。
一方、AF行から読み出された画素信号が補正処理部1300に入力されている際には、平均化部1304によって算出された平均黒レベルに、ゲイン乗算部1305によって1未満のゲイン、より具体的には、1/2のゲインが乗算される。そして、ゲイン乗算部1305によって1/2のゲインが乗算された後の平均黒レベルが、補正値生成部1306に入力される。補正値生成部1306は、1/2のゲインが乗算された後の平均黒レベルと基準レベルとの差分に基づいて、当該平均黒レベルを基準レベルに合わせるための補正値を生成する。こうして、AF行用の補正値が生成される。
補正部1307は、受光画素領域602の単位画素100から出力される画素信号から、補正値生成部1306によって生成された補正値を減算することによって、黒レベルを基準レベルに合わせる。
このように、本実施形態においても、通常行の暗電流とAF行の暗電流とが大きく異なっているにもかかわらず、適切に黒レベルの補正を行うことができる。
図14(a)は、各行における暗電流量、平均黒レベル1401、及び、補正値1402〜1404の例を示す図である。図14(b)は、識別信号の例を示す図である。
例えば、通常行801の単位画素100から読み出された画素信号が補正処理部1300に入力されている際には、識別信号がLレベルとなっており、データ取得部1301によって取得された画素信号をそのまま用いて、平均黒レベル1401が算出される。平均黒レベル1401は、図14において破線を用いて示されている。そして、平均黒レベル1401に基づいて補正値1402が生成される。補正値1402は、図14において矢印を用いて示されている。
一方、AF行802,803の単位画素100から読み出された画素信号が補正処理部1300に入力されている際には、識別信号がHレベルとなっている。データ取得部1301によって取得された画素信号に、ゲイン乗算部1303によって2倍のゲインが乗算され、平均黒レベル1401の更新が行われる。平均化部1304によって算出された平均黒レベルに、ゲイン乗算部1305によって1/2のゲインが乗算され、1/2のゲインが乗算された平均黒レベルが補正値生成部1306に出力される。これにより、通常行とAF行の暗電流量のレベル差の影響を受けることなく、適切な補正値を生成することができる。
このように、本実施形態においても、通常行の暗電流とAF行の暗電流とが大きく異なるにもかかわらず、適切に黒レベルの補正を行うことができる。
[第3実施形態]
第3実施形態による撮像装置及びその撮像装置を用いた撮像システムについて図15及び図16を用いて説明する。図1乃至図14に示す第1又は第2実施形態による撮像装置及び撮像システムと同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による撮像装置は、基準画素領域601内における通常行の単位画素100から読み出される画素信号のみに基づいて平均化部1503が平均化を行うものである。なお、補正処理部1500以外の構成については、第1実施形態又は第2実施形態による撮像装置と同様であるため、説明を省略する。
図15は、本実施形態による撮像装置の補正処理部1500を示すブロック図である。データ取得部1501は、基準画素領域601内における通常行の単位画素100から読み出された画素信号を、補正処理部1500に入力される入力信号から選択的に取得する。切り替え部1502は、通常行の単位画素100から読み出される画素信号が補正処理部1500に入力されている場合においてのみ、データ取得部1501によって取得された画素信号を平均化部1503に入力する。通常行から読み出された画素信号が補正処理部1500に入力されているのか、AF行から読み出された画素信号が補正処理部1500に入力されているのかは、第1実施形態又は第2実施形態による撮像装置と同様に、識別信号に基づいて判定される。平均化部1503は、入力された画素信号に対して平均化処理を行い、平均黒レベルを算出する。
通常行の単位画素100から読み出された画素信号が補正処理部1500に入力されている場合には、平均化部1503によって算出された平均黒レベルは、切り替え部1507、1508を介して、補正値生成部1505にそのまま出力される。補正値生成部1505では、平均黒レベルと基準レベルとの差分に基づいて、平均黒レベルを基準レベルに合わせるための補正値を生成する。
一方、AF行の単位画素100から読み出された画素信号が補正処理部1500に入力されている場合には、平均化部1503によって算出された平均黒レベルに、1未満のゲイン、より具体的には、1/2のゲインがゲイン乗算部1504によって乗算される。そして、1/2のゲインが乗算された後の平均黒レベルが補正値生成部1505に出力される。こうして、通常行の単位画素100から読み出された画素信号に基づいて算出された平均黒レベルに基づいて、AF行の単位画素100から読み出された画素信号を補正するのに適した補正値が生成される。
このように、AF行の単位画素100から読み出された画素信号がデータ取得部1501によって読み込まれている際には、平均黒レベルの更新は行われない。しかし、補正処理においては、画素アレイ600の行方向における出力レベルの変化に対して平均黒レベルを緩やかに追従させればよい。従って、AF行を離散的に設けることによって、AF行の単位画素100から読み出された画素信号がデータ取得部1501によって読み出されている際に平均黒レベルを更新しないことに起因する影響を低減することができる。この結果、十分に好適な補正処理を行うことが可能となる。
補正部1506は、受光画素領域602に位置する単位画素100から読み出された画素信号から、補正値生成部1505によって生成された補正値を減算する。これにより、黒レベルを基準レベルに合わせる補正処理が行われる。
このように、本実施形態においても、通常行の暗電流とAF行の暗電流とが大きく異なっているにもかかわらず、適切に黒レベルの補正を行うことができる。
図16(a)は、各行における暗電流量、平均黒レベル1601、及び、補正値1602〜1604の例を示す図である。図16(b)は、識別信号の例を示す図である。
例えば、通常行801の単位画素100から出力された画素信号が補正処理部1500に入力されている際には、識別信号がLレベルとなっている。この場合には、平均化部1503は、データ取得部1501によって取得された画素信号に基づいて平均黒レベル1601を算出する。平均黒レベル1601は、図16において破線を用いて示されている。補正値生成部1505は、平均化部1503によって算出された平均黒レベルに基づいて、補正値1602を生成する。
一方、AF行802,803の単位画素100から出力された画素信号が補正処理部1500に入力されている際には、識別信号がHレベルとなっている。この場合には、平均化部1503は、平均黒レベル1601の更新を行わない。そして、平均黒レベルに1/2のゲインをゲイン乗算部1504によって乗算し、1/2のゲインが乗算された後の平均黒レベルが補正値生成部1505に出力される。補正値生成部1505は、1/2のゲインが乗算された後の平均黒レベルに基づいて、補正値1603,1604を生成する。補正値1603、1604は、図16(a)において矢印を用いて示されている。こうして、本実施形態においても、通常行の暗電流とAF行の暗電流とが大きく異なるにもかかわらず、適切に黒レベルの補正を行うことができる。
[第4実施形態]
第4実施形態による撮像装置及びその撮像装置を用いた撮像システムについて図17及び図18を用いて説明する。図1乃至図16に示す第1乃至第3実施形態による撮像装置及び撮像システムと同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による撮像装置は、AF行の単位画素100からA像信号とA+B像信号とを出力させるように、第1実施形態から第3実施形態のいずれかによる撮像装置を変形したものである。
図17は、本実施形態における読み出し動作を示すタイミングチャートである。図17は、AF行に対する読み出し動作を示している。
時刻t301〜t312における動作は、図7を用いて上述した第1実施形態による撮像装置における時刻t201〜t212における動作と同様であるため、説明を省略する。
時刻t313〜t314においては、リセットパルス信号PRESをLレベルのまま維持する。図7を用いて上述した第1実施形態における撮像装置においては、時刻t213からt216において、リセットパルス信号PRESをHレベルに設定することによって、フローティングディフュージョン103のリセット及びN変換を行った。これに対し、本実施形態では、これらの処理が行われない。フローティングディフュージョン103には、フォトダイオード101Aによって発生された電荷が保持されたままの状態となる。
時刻t315からt316においては、転送パルス信号PTXA、PTXBをLレベル→Hレベル→Lレベルと変化させることによって、転送スイッチ102A、102Bがオフ状態→オン状態→オフ状態と変化する。これにより、フォトダイオード101Bの電荷がフローティングディフュージョン103に転送される。フローティングディフュージョン103には、フォトダイオード101Aによって発生した電荷にフォトダイオード101Bによって発生した電荷が加算されることとなる。これにより、垂直出力線107にはA+B像信号が出力されることとなる。
時刻t317〜t318においては、垂直出力線107に出力されたA+B像信号が列読み出し部400のA/D変換部401によってデジタル信号に変換される。A/D変換部401によって取られたデジタル信号は、記憶部402のメモリM1に保持される。
時刻t319からt320においては、水平走査部302から水平走査パルス信号が出力され、各々の列のメモリM1に保持されているA+B像信号とメモリM2に保持されているN信号が順次出力される。これにより、A像信号と、当該A像信号に対応するN信号とが出力され、更に、A+B像信号と、当該A+B像信号に対応するN信号とが出力される。焦点検出を行うために必要となるB像信号は、信号処理部500等において、A+B像信号からA像信号を減算することによって得ることができる。
通常行の単位画素100から画素信号の読み出しを行う際には、図6のように、A+B像信号を読み出す。一方、AF行の単位画素100から画素信号の読み出しを行う際には、図17のように、A像信号とA+B像信号とを読み出す。このため、すべての画素からA像信号とB像信号とを読み出す場合に比べて、読み出し時間を短縮することができる。
図18(a)は、各行からの出力信号の例を示す図である。図18(a)において、通常行1801からはA+B像信号が出力され、AF行1802、1803からは、A像信号とA+B像信号とがそれぞれ出力される。
図18(b)は、各行における暗電流量の例を示す図である。図18(b)に示す暗電流量は、図18(a)の各行に対応する暗電流量を示している。AF行1802の単位画素100から出力されるA像信号の暗電流量1805は、通常行1801の単位画素100から出力されるA+B像信号の暗電流量1804のほぼ半分である。また、AF行1803の単位画素100から出力されるA+B像信号の暗電流量1806は、通常行1801の単位画素100から出力されるA+B像信号の暗電流量1804とほぼ同等である。なお、AF行1802からはA像信号だけなくA+B像信号も出力され、AF行1803からはA+B像信号だけでなくA像信号も出力される。
図18(c)に示すように、AF行1802からA像信号が出力されるタイミングで、識別信号がHレベルに設定される。上述したように、識別信号がLレベルからHレベルに切り替わると、補正処理部502,1300、1500における補正処理が切り替わる。即ち、A+B像信号が読み出されている際とA像信号が読み出されている際とで、補正処理部502,1300、1500における補正処理が切り替えられる。このため、A+B像信号の暗電流とA像信号の暗電流とが大きく異なっているにもかかわらず、適切な補正値を生成することができる。このため、本実施形態においても、好適に黒レベルの補正を行うことができる。補正処理部502,1300,1500の動作については、第1乃至第3実施形態において上述したため、ここでは説明を省略する。
このように、AF行の単位画素100からA像信号とA+B像信号とを出力させるようにしてもよい。
[第5実施形態]
第5実施形態による撮像装置及びその撮像装置を用いた撮像システムについて図19乃至図23を用いて説明する。図1乃至図18に示す第1乃至第4実施形態による撮像装置及び撮像システムと同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による撮像装置は、画素アレイ600のうちの上側又は下側の領域に設けられるとともに水平方向に延在する第1の基準画素領域1901内に位置する単位画素100からの出力信号を用いて黒レベルの補正処理を行う。また、本実施形態による撮像装置は、画素アレイ600のうちの左側又は右側の領域に設けられるとともに垂直方向に延在する第2の基準画素領域1902内に位置する単位画素100からの出力信号を用いて黒レベルの補正処理を行う。第1の基準画素領域1901内に位置する単位画素100からの出力信号を用いて行われる第1段階の補正処理によって、各列から大まかな暗電流量成分が除去される。そして、第2の基準画素領域1902内に位置する単位画素100からの出力信号を用いて行われる第2段階の補正処理によって、各行の暗電流量のばらつきに起因する成分が除去される。本実施形態では、第1の基準画素領域1901内に位置する単位画素100からの出力信号を用いて第1の補正処理部2001によって行われる補正処理の際に、通常行の暗電流量とAF行の暗電流量との差、即ち、オフセット値を算出しておく。そして、第2の基準画素領域1902内に位置する単位画素100からの出力信号を用いて第2の補正処理部2002によって行われる補正処理の際に、かかるオフセット値が適宜用いられる。
図19は、画素アレイ600のレイアウトを示す平面図である。図19に示す画素アレイ600は、第1実施形態において図4を用いて上述した画素アレイ600に対応している。図19に示すように、画素アレイ600の一部は、フォトダイオード101A、101Bが光学的に遮光された基準画素領域601となっている。基準画素領域601は、水平方向に延在する第1の基準画素領域(垂直オプティカルブラック領域)1901と、垂直方向に延在する第2の基準画素領域(水平オプティカルブラック領域)1902とを含んでいる。第1の基準画素領域1901と第2の基準画素領域1902は、黒レベルの補正処理において用いられる補正値を取得するために用いられる。画素アレイ600のうちの基準画素領域601を除く領域は、被写体像を受光する受光画素領域(開口画素領域)602となっている。第1の基準画素領域1901内に位置する単位画素100からの出力信号を用いて、後述する第1段階の補正処理(第1段階のクランプ処理)が行われる。第2の基準画素領域1902内に位置する単位画素100からの出力信号を用いて、後述する第2段階の補正処理(第2段階のクランプ処理)が行われる。第1の基準画素領域1901内に位置する行群1903は、AF行1905と通常行(図示せず)とを含んでいる。第1の基準画素領域1901内のAF行1905に配された単位画素100は、受光画素領域602内のAF行1907の単位画素100に対しての基準となるものである。第1の基準画素領域1901内の通常行に配された単位画素100は、受光画素領域602内の通常行の単位画素100に対しての基準となるものである。一部が第2の基準画素領域1902内に位置する行群1904は、AF行1907と通常行(図示せず)とを含んでいる。第2の基準画素領域1902内のAF行1907に配された単位画素100は、受光画素領域602内のAF行1907の単位画素100に対しての基準となるものである。第2の基準画素領域1902内の通常行に配された単位画素100は、受光画素領域602内の通常行の単位画素100に対しての基準となるものである。通常行からは、上述したA+B像信号が出力される。AF行1905,1907からは、上述したA像信号およびB像信号が出力される。
図20は、補正処理部2000の構成を示すブロック図である。図20に示す補正処理部2000は、第1実施形態において図9を用いて上述した補正処理部502に対応している。
補正処理部2000は、第1段階の補正処理を行う第1の補正処理部2001と、第2段階の補正処理を行う第2の補正処理部2002とを含んでいる。第1の補正処理部2001は、第1の基準画素領域1901内に位置する単位画素100からの出力信号を用いて、黒レベルを基準レベルに合わせるための補正処理を行う。第2の補正処理部2002は、第2の基準画素領域1902内に位置する単位画素100からの出力信号を用いて、黒レベルを基準レベルに合わせるための補正処理を行う。また、第1の補正処理部2001からは、第1のオフセット値と第2のオフセット値とが第2の補正処理部2002に供給される。なお、第1のオフセット値と第2のオフセット値の詳細については、図21及び図22を用いて後述する。
図21は、第1の補正処理部2001の構成を示すブロック図である。第1の補正処理部2001には、S−N処理部501(図9参照)によって固定パターンノイズが除去された画素信号が順次入力される。第1の補正処理部2001には、受光画素領域602内に位置する単位画素100から読み出される画素信号のみならず、基準画素領域601内に位置する単位画素100から読み出される画素信号も入力される。データ取得部2101は、第1の補正処理部2001に入力される画素信号のうちから、第1の基準画素領域1901内に位置する単位画素100から読み出された画素信号を選択的に取得する。そして、データ取得部2101は、データ取得部2101の後段に位置する処理ブロック、即ち、補正値を更新するための処理ブロックにデータを出力する。
平均化部2102〜2104は、データ取得部2101から供給される画素信号に対して所定の時定数をもって平均化処理を行うことにより、平均黒レベルをそれぞれ算出する。平均化部2102は、通常行用の平均化部であり、第1の基準画素領域1901内に位置する通常行からの画素信号が入力され、通常行の平均黒レベルを順次算出する。平均化部2103は、AF行のA像信号用の平均化部であり、第1の基準画素領域1901内に位置するAF行1905からのA像信号が入力され、A像信号の平均黒レベルを算出する。平均化部2104は、AF行のB像信号用の平均化部であり、第1の基準画素領域1901内に位置するAF行1905からのB像信号が入力され、B像信号の平均黒レベルを算出する。なお、A像信号用の平均化部2103とB像信号用の平均化部2104とを、共通の平均化部によって構成してもよい。
平均化部2102〜2104においては、図22を用いて後述する第2の補正処理部2002に配された平均化部2202によって行われる平均化処理の際の時定数よりも小さい時定数で平均化処理が行われる。平均化処理の際には、例えば加重移動平均が用いられる。これにより、新しく得られた信号に速やかに追従することができ、各列の暗電流量のばらつきに起因する成分を十分かつ確実に除去することができる。
スイッチ2108〜2110は、データ取得部2101によって取得される画素信号を平均化部2102〜2104のうちのいずれに供給するかを切り替えるためのものである。スイッチ2108は、第1の基準画素領域1901内に位置する通常行からの信号が第1の補正処理部2001に入力されていることを示す識別信号VSEL0によって制御される。スイッチ2109は、第1の基準画素領域1901内に位置するAF行1905から読み出されたA像信号が第1の補正処理部2001に入力されていることを示す識別信号VSEL1によって制御される。スイッチ2110は、第1の基準画素領域1901内に位置するAF行1905から読み出されたB像信号が第1の補正処理部2001に入力されていることを示す識別信号VSEL2によって制御される。各々のスイッチ2108〜2110は、対応する識別信号VSEL0〜VSEL2がHレベルの際にオン状態となる。また、これらの識別信号VSEL0〜VSEL2は、例えば、図3を用いて上述したタイミング発生部303から供給される。
オフセット算出部2105には、平均化部2102〜2104によってそれぞれ算出される平均黒レベルが入力される。そして、オフセット算出部2105は、第1のオフセット値を算出する。第1のオフセット値は、第1の基準画素領域1901内の通常行の単位画素100からの画素信号における平均黒レベルと、第1の基準画素領域1901内のAF行1905の単位画素100からのA像信号における平均黒レベルとの差分である。また、オフセット算出部2105は、第2のオフセット値を算出する。第2のオフセット値は、第1の基準画素領域1901内の通常行の単位画素100からの画素信号における平均黒レベルと、第1の基準画素領域1901内のAF行1905の単位画素100からのB像信号における平均黒レベルとの差分である。第1のオフセット値は、通常行から出力される画素信号における平均黒レベルからAF行1905から出力されるA像信号における平均黒レベルを減算することにより得られる。第2のオフセット値は、通常行から出力される画素信号における平均黒レベルからAF行1905から出力されるB像信号における平均黒レベルを減算することにより得られる。オフセット算出部2105において算出される第1のオフセット値及び第2のオフセット値は、第2の補正処理部2002に供給される。
補正値生成部2106は、画素信号の黒レベルを基準レベルに合わせるための補正値を生成する。かかる補正値は、受光画素領域602に位置する単位画素100から読み出される画素信号を補正するために用いられる。補正値生成部2106には、平均化部2102によって算出された、通常行の画素信号における平均黒レベルが入力される。補正値生成部2106は、通常行の平均黒レベルと基準レベルとの差分に基づいて、黒レベルを補正するための補正値を生成する。
補正部2107は、受光画素領域602内に位置する単位画素100から出力される画素信号から、補正値生成部2106によって生成される補正値を減算することによって、画素信号の黒レベルを基準レベルに合わせる。この際、平均化部2102によって算出される補正値、即ち、通常行の画素信号における平均黒レベルに基づいて算出された補正値を用いて補正処理が行われるため、AF行1905からのA像信号及びB像信号は、黒レベルは基準レベルからずれた状態となる。しかし、このずれは、後述する第2の補正処理部2002によって第2段階の補正処理を行う際に、オフセット算出部2105で算出した第1又は第2のオフセット値を用いることによって補正される。
なお、受光画素領域602内に位置する単位画素100から出力される画素信号に対してのみならず、基準画素領域601内に位置する単位画素100から出力される画素信号に対しても補正部2107によって補正処理が行われる。また、補正値生成部2106において補正値を生成する際における基準レベルは、後述する第2の補正処理部2002の補正値生成部2203において補正値を生成する際における基準レベルと同一であってもよいし、同一でなくてもよい。
図22は、第2の補正処理部2002の構成を示すブロック図である。第2の補正処理部2002には、図20に示すように、第1の補正処理部2001によって第1段階の補正処理が施された画像信号が順次入力される。データ取得部2201は、第2の補正処理部2002に入力される画素信号のうちから、第2の基準画素領域1902内に位置する単位画素100から読み出された画素信号を選択的に取得する。そして、データ取得部2201は、データ取得部2201の後段に位置する処理ブロック、即ち、補正値を更新するための処理ブロックにデータを出力する。
平均化部2202は、入力される画素信号に対して所定の時定数をもって平均化処理を行うことにより、平均黒レベルを順次算出する。図21を用いて上述した第1の補正処理部2001においては、3つの平均化部2102〜2104、即ち、通常行用の平均化部2102と、AF行からのA像信号用の平均化部2103と、AF行からのB像信号用の平均化部2104とが備えらえていた。これに対し、第2の補正処理部2002においては、通常行用の平均化部2202のみが備えられている。また、平均化部2202においては、図21を用いて上述した平均化部2102によって平均化処理が行われる際の時定数よりも大きい時定数で平均化処理が行われる。これにより、新しく得られた信号に緩やかに追従させつつ、各行の暗電流量のばらつきに起因する成分を除去することができる。
スイッチ2205は、データ取得部2201によって取得される画素信号のうち、通常行の画素信号のみを選択的に平均化部2202に供給するためのものである。スイッチ2205は、通常行からの画素信号が第2の補正処理部2002に入力されていることを示す識別信号HSEL0によって制御される。
補正値生成部2203は、黒レベルを基準レベルに合わせるための補正値を生成する。補正値生成部2203には、平均化部2202によって算出された、通常行の画素信号における平均黒レベルが入力される。更に、補正値生成部2203には、第1の補正処理部2001のオフセット算出部2105によって算出された第1のオフセット値及び第2のオフセット値がスイッチ2206、2207を介してそれぞれ入力される。補正値生成部2203は、通常行の黒レベルを補正するための補正値を生成する際には、平均化部2202によって算出された通常行の画素信号における平均黒レベルと基準レベルとの差分に基づいて、補正値を生成する。また、補正値生成部2203は、A像信号の黒レベルを補正するための補正値を生成する際には、通常行の平均黒レベルから第1のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて、補正値を生成する。また、補正値生成部2203は、B像信号の黒レベルを補正するための補正値を生成する際には、通常行の平均黒レベルから第2のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて、補正値を生成する。
スイッチ2206は、第1の補正処理部2001のオフセット算出部2105によって算出される第1のオフセット値を補正値生成部2203に供給するためのものである。スイッチ2206は、AF行のA像信号が第2の補正処理部2002に入力されていることを示す識別信号HSEL1によって制御される。スイッチ2207は、第1の補正処理部2001のオフセット算出部2105によって算出される第2のオフセット値を補正値生成部2203に供給するためのものである。スイッチ2207は、AF行のB像信号が第2の補正処理部2002に入力されていることを示す識別信号HSEL2によって制御される。各々のスイッチ2205〜2207は、対応する識別信号HSEL0〜HSEL2がHレベルの際にオン状態となる。また、これらの識別信号HSEL0〜HSEL2は、例えば、図3を用いて上述したタイミング発生部303から供給される。
補正部2204は、受光画素領域602内に位置する単位画素100から出力される画素信号から、補正値生成部2203によって生成される補正値を減算することによって、黒レベルを基準レベルに合わせる。
このように、本実施形態では、通常行に位置する単位画素100から出力される画素信号に対しては、通常行の画素信号における平均黒レベルに基づいて算出される補正値を用いて補正処理が行われる。一方、AF行に位置する単位画素100から出力される画素信号に対しては、通常行の画素信号における平均黒レベルから第1のオフセット値又は第2のオフセット値を減算することにより得られる値に基づいて算出される補正値を用いて補正処理が行われる。従って、本実施形態では、通常行の暗電流とAF行の暗電流とが大きく異なっている場合であっても、適切に黒レベルを補正することができる。また、通常行の画素信号における平均黒レベルに基づいて補正値が更新されるため、AF行が離散的かつ少数しか配置されない場合であっても、好適に黒レベルを補正することができる。
図23は、本実施形態による撮像装置の補正処理部2000において行われる処理を示す概念図である。図23(a)は、第1の補正処理部2001に入力される画素信号の各行における暗電流量、平均黒レベル2304、及び、補正値2305の例を示している。図23(a)の各行は、第1実施形態において上述した図8(a)及び図8(b)の各行に対応している。図23(b)は、図23(a)の各行に対応する識別信号VSEL0、VSEL1、VSEL2の例を示す図である。図23(c)は、第2の補正処理部2002に入力される画素信号の各行における暗電流量、平均黒レベル2308、及び、補正値2309の例を示している。図23(c)の各行は、第1実施形態において上述した図8(a)及び図8(b)の各行に対応している。図23(d)は、図23(c)の各行に対応する識別信号HSEL0、HSEL1、HSEL2の例を示す図である。
通常行2301の単位画素100から出力される画素信号(A+B像信号)が第1の補正処理部2001に入力されている際には、識別信号VSEL0がHレベルとなっている。この際には、第1の基準画素領域1901内の通常行の単位画素100から出力される画素信号に基づいて、通常行用の平均化部2102によって平均黒レベル2304が算出される。平均化部2102によって算出される平均黒レベル2304は、図23(a)において破線を用いて示されている。補正値生成部2106は、基準レベルと平均黒レベル2304とに基づいて、矢印で示す補正値2305を生成する。
AF行2302、2303の単位画素100からそれぞれ出力される画素信号(A像信号、B像信号)が第1の補正処理部2001に入力されている際には、識別信号VSEL0がLレベルとなっている。かかる際には、平均黒レベル2304の値は平均化部2102によって更新されない。
AF行2302の単位画素100からのA像信号が第1の補正処理部2001に入力されている際には、識別信号VSEL1がHレベルとなっており、AF行のA像信号用の平均化部2103によって平均黒レベルが算出される。この際には、第1の基準画素領域1901内のAF行1905の単位画素100から出力されるA像信号に基づいて、AF行のA像信号用の平均化部2103によって平均黒レベルが算出される。
AF行2303の単位画素100からのB像信号が第1の補正処理部2001に入力されている際には、識別信号VSEL2がHレベルとなっており、AF行のB像信号用の平均化部2104によって平均黒レベルが算出される。この際には、第1の基準画素領域1901内のAF行1905の単位画素100から出力されるB像信号に基づいて、AF行のB像信号用の平均化部2104によって平均黒レベルが算出される。
補正部2107は、第1の補正処理部2001に入力される画素信号から、補正値生成部2106によって生成された補正値2305を減算することによって、第1の補正処理部2001に入力される画素信号の黒レベルを基準レベルに合わせる。通常行2301からの画素信号に基づいて平均化部2102によって算出される平均黒レベル2304を用いて補正処理が行われるため、通常行2301からの画像信号における黒レベルは基準レベルに近づいた状態となる。一方、かかる平均黒レベル2304を用いて補正処理が行われるため、AF行2302,2303からのA像信号やB像信号における黒レベルは、図23(a)に示すように、基準レベルからずれた状態となる。
通常行2301の単位画素100からの画素信号(A+B像信号)が第2の補正処理部2002に入力されている際には、識別信号HSEL0がHレベルとなっている。この際には、第2の基準画素領域1902内の通常行の単位画素100から出力される画素信号に基づいて、通常行用の平均化部2202によって平均黒レベル2308が算出される。平均化部2202によって算出される平均黒レベル2308は、図23(c)において破線を用いて示されている。補正値生成部2203は、基準レベルと平均黒レベル2308とに基づいて、矢印で示す補正値2309を生成する。
AF行2302、2303の単位画素100からそれぞれ出力される画素信号(A像信号、B像信号)が第2の補正処理部2002に入力されている際には、識別信号HSEL0がLレベルとなっている。かかる際には、平均黒レベル2308の値は平均化部2202によって更新されない。
AF行2302の単位画素100からのA像信号が第2の補正処理部2002に入力されている際には、識別信号HSEL1がHレベルとなっている。この際には、スイッチ2206がオン状態となり、第1の補正処理部2001のオフセット算出部2105において算出された第1のオフセット値が補正値生成部2203に供給される。補正値生成部2203は、通常行の平均黒レベル2308から第1のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて、矢印で示す補正値2306を生成する。
AF行2303の単位画素100からのB像信号が第2の補正処理部2002に入力されている際には、識別信号HSEL2がHレベルとなっている。この際には、スイッチ2207がオン状態となり、第1の補正処理部2001のオフセット算出部2105において算出された第2のオフセット値が補正値生成部2203に供給される。補正値生成部2203は、通常行の平均黒レベル2308から第2のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて、矢印で示す補正値2307を生成する。
補正部2204は、第2の補正処理部2002に入力される画素信号から、補正値生成部2203によって生成される補正値2309,2306,2307を適宜減算することによって、画素信号の黒レベルを基準レベルに合わせる。通常行の平均黒レベル2308から第1のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて生成される補正値2306が、A像信号における黒レベルを補正する際に用いられる。このため、A像信号における黒レベルを適切に補正することができる。また、通常行の平均黒レベル2308から第2のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて生成される補正値2307が、B像信号における黒レベルを補正する際に用いられる。このため、B像信号における黒レベルを適切に補正することができる。
このように、本実施形態においても、通常行2301の暗電流のレベルとAF行2302、2303の暗電流のレベルとの差の影響を受けることなく、適切な補正値を生成することができ、黒レベルの補正を適切に行うことができる。
[第6実施形態]
第6実施形態による撮像装置及びその撮像装置を用いた撮像システムについて図24乃至図27を用いて説明する。図1乃至図23に示す第1乃至第5実施形態による撮像装置及び撮像システムと同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
A像信号とA+B像信号とをAF行から出力させる撮像装置に第5実施形態において上述した手法を適用するものである。なお、A像信号とA+B像信号とをAF行から出力させる撮像装置については、第4実施形態において上述したため、ここでは省略する。
本実施形態では、第1の基準画素領域1901内に位置する単位画素100からの出力信号を用いて行われる第1段階の補正処理の際に、以下のような値を算出する。即ち、通常行に位置する単位画素100からのA+B像信号における暗電流量とAF行に位置する単位画素100からのA像信号における暗電流量との差(第1のオフセット値)を算出する。更に、通常行に位置する単位画素100からのA+B像信号における暗電流量とAF行に位置する単位画素100からのA+B像信号における暗電流量との差(第2のオフセット値)についても算出する。そして、かかる第1のオフセット値や第2のオフセット値が、第2の基準画素領域1902内に位置する単位画素100からの出力信号を用いて行われる第2段階の補正処理の際に適宜用いられる。本実施形態においても、通常行に位置する単位画素100からのA+B像信号とAF行に位置する単位画素100からのA像信号との間において暗電流量に差が生じている場合であっても、黒レベルの補正を適切に行うことができる。また、駆動タイミングの相違等に起因して、通常行に位置する単位画素100からのA+B像信号とAF行に位置する単位画素100からのA+B像信号との間において暗電流量に差が生じている場合においても、黒レベルの補正を適切に行うことができる。
図24は、補正処理部2400の構成を示すブロック図である。図24に示す補正処理部2400は、第1実施形態において図9を用いて上述した補正処理部502に対応している。
補正処理部2400は、第1段階の補正処理を行う第1の補正処理部2401と、第2段階の補正処理を行う第2の補正処理部2402とを含んでいる。第1の補正処理部2401は、第1の基準画素領域1901内に位置する単位画素100からの画素信号を用いて、黒レベルを基準レベルに合わせるための補正処理を行う。第2の補正処理部2402は、第2の基準画素領域1902内に位置する単位画素100からの画素信号を用いて、黒レベルを基準レベルに合わせるための補正処理を行う。また、第1の補正処理部2401からは、第1のオフセット値と第2のオフセット値とが第2の補正処理部2402に供給される。なお、第1のオフセット値と第2のオフセット値の詳細については、図25及び図26を用いて後述する。
図25は、第1の補正処理部2401の構成を示すブロック図である。図25に示す第1の補正処理部2401は、第5実施形態において図21を用いて上述した第1の補正処理部2001に対応している。第1の補正処理部2401には、S−N処理部501(図9参照)によって固定パターンノイズが除去された画素信号が順次入力される。第1の補正処理部2401には、受光画素領域602内に位置する単位画素100から読み出される画素信号のみならず、基準画素領域601内に位置する単位画素100から読み出される画素信号も入力される。
平均化部2501は、AF行のA+B像信号用の平均化部であり、第1の基準画素領域1901内に位置するAF行1905の単位画素100からのA+B像信号が入力され、当該A+B像信号における平均黒レベルを算出する。スイッチ2503は、データ取得部2101によって取得される画素信号のうち、第1の基準画素領域1901内に位置するAF行1905の単位画素100からのA+B像信号を平均化部2501に選択的に供給するためのものである。スイッチ2503は、第1の基準画素領域1901内に位置するAF行1905の単位画素100からのA+B像信号が第1の補正処理部2401に入力されていることを示す識別信号VSEL3によって制御される。
オフセット算出部2502には、平均化部2102、2103、2501によってそれぞれ算出される平均黒レベルが入力される。オフセット算出部2502は、第1のオフセット値を算出する。第1のオフセット値は、第1の基準画素領域1901内の通常行の単位画素100からの画素信号における平均黒レベルと、第1の基準画素領域1901内のAF行1905の単位画素100からのA像信号における平均黒レベルとの差分である。また、オフセット算出部2502は、第2のオフセット値を算出する。第2のオフセット値は、第1の基準画素領域1901内の通常行の単位画素100からの画素信号における平均黒レベルと、第1の基準画素領域1901内のAF行1905の単位画素100からのA+B像信号における平均黒レベルとの差分である。第1の基準画素領域1901内の通常行の単位画素100からの画素信号における平均黒レベルから、第1の基準画素領域1901内のAF行1905の単位画素100からのA像信号における平均黒レベルを減算すると、第1のオフセット値が得られる。第1の基準画素領域1901内の通常行の単位画素100からの画素信号における平均黒レベルから、第1の基準画素領域1901内のAF行1905の単位画素100からのA+B像信号における平均黒レベルを減算すると、第2のオフセット値が得られる。オフセット算出部2502において算出される第1のオフセット値及び第2のオフセット値は、第2の補正処理部2402に供給される。
図26は、第2の補正処理部2402の構成を示すブロック図である。図26に示す第2の補正処理部2402は、第5実施形態において図22を用いて上述した第2の補正処理部2002に対応している。第2の補正処理部2402には、図24に示すように、第1の補正処理部2401によって補正処理が施された画像信号が順次入力される。
補正値生成部2601は、黒レベルを基準レベルに合わせるための補正値を生成する。補正値生成部2601には、平均化部2202によって算出された、通常行の画素信号における平均黒レベルが入力される。更に、補正値生成部2601には、第1の補正処理部2401のオフセット算出部2502によって算出された第1のオフセット値と第2のオフセット値とがスイッチ2206、2602を介してそれぞれ入力される。
補正値生成部2601は、通常行の黒レベルを補正するための補正値を生成する際には、平均化部2202によって算出された通常行の画素信号における平均黒レベルと基準レベルとの差分に基づいて、補正値を生成する。また、補正値生成部2601は、AF行のA像信号の黒レベルを補正するための補正値を生成する際には、通常行の平均黒レベルから第1のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて、補正値を生成する。また、補正値生成部2601は、AF行のA+B像信号の黒レベルを補正するための補正値を生成する際には、通常行の平均黒レベルから第2のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて、補正値を生成する。
スイッチ2602は、第1の補正処理部2401のオフセット算出部2502によって算出される第2のオフセット値を補正値生成部2601に供給するためのものである。スイッチ2602は、AF行のA+B像信号が第2の補正処理部2402に入力されていることを示す識別信号HSEL3によって制御される。
図27は、本実施形態による撮像装置の補正処理部2400において行われる処理を示す概念図である。図27(a)は、第1の補正処理部2401に入力される画素信号の各行における暗電流量、平均黒レベル2304、及び、補正値2305の例を示している。図27(a)の各行は、第4実施形態において上述した図18(a)及び図18(b)の各行に対応している。図27(b)は、図27(a)の各行に対応する識別信号VSEL0、VSEL1、VSEL3の例を示す図である。図27(c)は、第2の補正処理部2402に入力される画素信号の各行における暗電流量、平均黒レベル2308、及び、補正値2309の例を示している。図27(c)の各行は、第4実施形態において上述した図18(a)及び図18(b)の各行に対応している。図27(d)は、図27(c)の各行に対応する識別信号HSEL0、HSEL1、HSEL3の例を示す図である。
通常行2301の単位画素100から出力される画素信号(A+B像信号)が第1の補正処理部2401に入力されている際には、識別信号VSEL0がHレベルとなっている。この際には、第1の基準画素領域1901内の通常行の単位画素100から出力される画素信号に基づいて、通常行用の平均化部2102によって平均黒レベル2304が算出される。平均化部2102によって算出される平均黒レベル2304は、図27(a)において破線を用いて示されている。補正値生成部2106は、基準レベルと平均黒レベル2304とに基づいて、矢印で示す補正値2305を生成する。
AF行2302、2701の単位画素100からそれぞれ出力される画素信号(A像信号、A+B像信号)が第1の補正処理部2401に入力されている際には、識別信号VSEL0がLレベルとなっている。かかる際には、平均黒レベル2304の値は平均化部2102によって更新されない。
AF行2302の単位画素100からのA像信号が第1の補正処理部2401に入力されている際には、識別信号VSEL1がHレベルとなっており、AF行のA像信号用の平均化部2103によって平均黒レベルが算出される。この際には、第1の基準画素領域1901内のAF行1905の単位画素100から出力されるA像信号に基づいて、AF行のA像信号用の平均化部2103によって平均黒レベルが算出される。
AF行2701の単位画素100からのA+B像信号が第1の補正処理部2401に入力されている際には、識別信号VSEL3がHレベルとなっており、AF行のA+B像信号用の平均化部2501によって平均黒レベルが算出される。この際には、第1の基準画素領域1901内のAF行1905の単位画素100から出力されるA+B像信号に基づいて、AF行のA+B像信号用の平均化部2501によって平均黒レベルが算出される。
補正部2107は、第1の補正処理部2401に入力される画素信号から、補正値生成部2106によって生成された補正値2305を減算することによって、第1の補正処理部2401に入力される画素信号の黒レベルを基準レベルに合わせる。通常行2301からの画素信号に基づいて平均化部2102によって算出される平均黒レベル2304を用いて補正処理が行われるため、通常行2301からの画像信号における黒レベルは基準レベルに近づいた状態となる。一方、かかる平均黒レベル2304を用いて補正処理が行われるため、AF行2302からのA像信号における黒レベルは、図27(a)に示すように、基準レベルからずれた状態となる。上述したように、駆動タイミングの相違等に起因して、通常行に位置する単位画素100からのA+B像信号とAF行に位置する単位画素100からのA+B像信号との間において暗電流量に差が生じる場合がある。かかる平均黒レベル2304を用いて補正処理が行われるため、AF行2302からのA+B像信号における黒レベルは、図27(a)に示すように、基準レベルからずれた状態となる場合がある。
通常行2301の単位画素100からの画素信号(A+B像信号)が第2の補正処理部2402に入力されている際には、識別信号HSEL0がHレベルとなっている。この際には、第2の基準画素領域1902内の通常行の単位画素100から出力される画素信号に基づいて、通常行用の平均化部2202によって平均黒レベル2308が算出される。平均化部2202によって算出される平均黒レベル2308は、図27(c)において破線を用いて示されている。補正値生成部2601は、基準レベルと平均黒レベル2308とに基づいて、矢印で示す補正値2309を生成する。
AF行2302、2701の単位画素100からそれぞれ出力される画素信号(A像信号、A+B像信号)が第2の補正処理部2402に入力されている際には、識別信号HSEL0がLレベルとなっている。かかる際には、平均黒レベル2308の値は平均化部2202によって更新されない。
AF行2302の単位画素100からのA像信号が第2の補正処理部2402に入力されている際には、識別信号HSEL1がHレベルとなっている。この際には、スイッチ2206がオン状態となり、第1の補正処理部2401のオフセット算出部2502において算出された第1のオフセット値が補正値生成部2601に供給される。補正値生成部2601は、通常行の平均黒レベル2308から第1のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて、矢印で示す補正値2306を生成する。
AF行2701の単位画素100からのA+B像信号が第2の補正処理部2402に入力されている際には、識別信号HSEL3がHレベルとなっている。この際には、スイッチ2602がオン状態となり、第1の補正処理部2401のオフセット算出部2502において算出された第2のオフセット値が補正値生成部2601に供給される。補正値生成部2601は、通常行の平均黒レベル2308から第2のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて、矢印で示す補正値2702を生成する。
補正部2204は、第2の補正処理部2402に入力される画素信号から、補正値生成部2601によって生成される補正値2309,2306,2702を適宜減算することによって、画素信号の黒レベルを基準レベルに合わせる。通常行の平均黒レベル2308から第1のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて生成される補正値2306が、A像信号における黒レベルを補正する際に用いられる。このため、A像信号における黒レベルを適切に補正することができる。また、通常行の平均黒レベル2308から第2のオフセット値を減算することにより得られる値と基準レベルとの差分に基づいて生成される補正値2702が、A+B像信号における黒レベルを補正する際に用いられる。このため、A+B像信号における黒レベルを適切に補正することができる。
このように、本実施形態によれば、通常行2301からのA+B像信号における暗電流量とAF行2701からのA+B像信号における暗電流量との間に差が生じている場合であっても、適切な補正値を生成することができる。従って、本実施形態においても、黒レベルの補正を適切に行うことができる。
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。
例えば、上記実施形態では、単位画素100内に2つのフォトダイオード101A、101Bが設けられている場合を例に説明したが、単位画素100内に設けられるフォトダイオードの数はこれに限定されるものではない。例えば、単位画素100内に4つのフォトダイオードを設けるようにしてもよい。この場合には、ゲイン乗算部1303で乗算するゲインを4倍とし、ゲイン乗算部1305や1504で乗算するゲインを1/4とすればよい。
また、上記実施形態では、補正処理部502が撮像素子1000内に設けられている場合を例に説明したが、補正処理部502が撮像素子1000の外部に設けられていてもよい。例えば、図2の外部信号処理部1001の一部が補正処理部502として機能するようにしてもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。