JP2004222177A

JP2004222177A - Defective pixel correcting method of solid-state imaging device and photographing device

Info

Publication number: JP2004222177A
Application number: JP2003009943A
Authority: JP
Inventors: Hirokazu Kobayashi; 寛和小林; Kazuya Oda; 和也小田
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-01-17
Filing date: 2003-01-17
Publication date: 2004-08-05
Anticipated expiration: 2023-01-17
Also published as: JP4051701B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a defective pixel correcting method capable of correcting the pixel value of a defective pixel with high accuracy without deteriorating resolution feeling in comparison with the conventional method that uses ambient pixel information to correct a defective pixel, and to provide a photographing device. <P>SOLUTION: In a solid-state imaging device wherein many pixel cells composed of a combination of main photosensitive pixels having a relatively wide area and sub-photosensitive pixels having a relatively narrow area are arranged, when there is a defect in a sub-photosensitive pixel about any of the pixel cells, division photometric data at the time of an AE (auto exposure) is read (step S152), and in only a section where main photosensitive pixels are determined not to be saturated, the defective pixel is replaced with a value obtained by dividing an output value of a main photosensitive pixel at the same position by a sensitivity ratio (steps S154 to S160). <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は固体撮像素子の欠陥画素補正方法及び撮影装置に係り、特にデジタルカメラやムービーカメラなどの電子映像記録装置に適用される技術であって、固体撮像素子の製造上発生し得る感光画素の欠陥（キズ）を補正する信号処理技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等に用いられるＣＣＤ固体撮像素子は、一般の銀塩写真と比較してダイナミックレンジが非常に狭いため、適正露光で撮影された画像であっても銀塩系の写真と比較すると物足りない印象を受ける場合がある。また、撮影条件によっては、いわゆる黒つぶれや白とびを生じ、画質が著しく劣化することがある。このような欠点を解消するために、同一シーンにおいて露光量の異なる複数枚の画像を撮影し、これら複数枚の画像データを演算で合成することによってダイナミックレンジの拡大された画像を得る手法が提案されている。
【０００３】
特許文献１に開示されたＣＣＤ固体撮像装置は、受光面に二次元配列される多数の受光部（ユニットセル）について、１つのユニットセルを感度の異なる２種類の受光領域（高感度部と低感度部）に分割し、２つの受光領域からそれぞれ読み出された信号を混合若しくは加算することにより、ダイナミックレンジの拡大を達成している。
【０００４】
ところで、ＣＣＤ等の固体撮像素子は半導体基板上に多数のフォトダイオード等の感光素子を形成することにより製造されるが、かかる撮像素子の製造にあたり、半導体基板に不純物が混入する等の原因により局所的に画素値の取り込みが不可能な欠陥画素が発生する場合がある。
【０００５】
このような欠陥画素を有する撮像素子については、欠陥画素に隣接した周囲の複数の画素からの合成信号に基づいて、その欠陥画素の画素値を補正する技術が提案されている（特許文献２）。
【０００６】
【特許文献１】
特開平９−２０５５８９号公報
【０００７】
【特許文献２】
特開平７−１４３４０３号公報
【０００８】
【発明が解決しようとする課題】
従来行われている固体撮像素子のキズ補正方法は、製造工程で一定以上のイレギュラーな振る舞いを見せる感光画素をキズとして検出し、キズが一定個数以下の場合、キズと判定された感光画素を周囲の画素情報で常に置き換える、或いは周囲数画素の平均値を常に出力するという補正が行われる。
【０００９】
こうした従来の補正手法によると、判定されたキズが多かった場合に、これらのキズを周囲の画素値で補正するため、画像信号処理前から局所的にローパスフィルタ（ＬＰＦ）がかかってしまった画像データが得られることになる。
【００１０】
本発明はこのような事情に鑑みてなされたもので、解像感を落とすことなく、欠陥画素の画素値を精度よく補正できる欠陥画素補正方法及び撮影装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
前記目的を達成するために本発明に係る固体撮像素子の欠陥画素補正方法は、相対的に広い面積を有する主感光画素と、相対的に狭い面積を有する従感光画素との複合からなる画素セルが所定の配列形態に従って多数配置され、前記主感光画素で光電変換された信号電荷に基づく信号と前記従感光画素で光電変換された信号電荷に基づく信号とを選択的に取り出すことができる構造を備えた固体撮像素子において、前記固体撮像素子のいずれかの画素セルについて、当該画素セルを構成する主感光画素は正常な画素であって、従感光画素の方が欠陥画素である場合に、当該欠陥従感光画素を含む画素セルの周囲に存在する画素セルの主感光画素から得られる信号レベルが飽和出力を示す所定の飽和レベル未満であるか否かを判定し、前記周囲に存在する画素セルの主感光画素から得られる信号レベルが前記飽和レベル未満であるときに、前記欠陥従感光画素と同一画素セル内の主感光画素の画素値に基づいてその欠陥従感光画素の画素値を補正することを特徴とする。
【００１２】
本発明によれば、主感光画素と従感光画素とは光学的に同位相の情報を取得することができ、同一画素セル内の主感光画素と従感光画素の画素位置は略同一の位置にあるものとして取り扱うことができる。一つの画素セル内で従感光画素に欠陥があり、従感光画素から正常な信号の取り出しが不能である場合に、当該画素セル内の正常な主感光画素の出力値（画素値）を用いて、欠陥従感光画素の画素値を補正する。ただし、このような補正を行うのは、当該欠陥画素の周囲に存在する画素セルの主感光画素（正常な画素）から得られる信号レベルが飽和レベルに達していない場合に限られる。
【００１３】
欠陥画素の周囲に存在する画素セルの主感光画素から得られる信号のレベルが飽和レベルに達している場合、すなわち、主感光画素の画素値が飽和する高輝度領域については、同一画素セル内の主感光画素の画素値によって従感光画素の欠陥を補正するのは不適切であるため、従来型（ローパスフィルタ型）の補正を行うことが好ましい。
【００１４】
逆に、欠陥画素の周囲に存在する画素セルの主感光画素から得られる信号のレベルが飽和レベルに達してない場合、すなわち、主感光画素のダイナミックレンジの範囲内である場合には、入射光量と画素値の間に一定の対応関係（例えば、比例関係）があるため、同一画素セル内の主感光画素の画素値によって従感光画素の欠陥を補正する。これにより、従来型の補正に比べてローパスフィルタ効果が低くなり、補正後も解像感を維持することができる。
【００１５】
本発明の一態様によれば、欠陥従感光画素と同一画素セル内の主感光画素の画素値を主感光画素と従感光画素の感度比で除算する演算を行うことにより欠陥従感光画素の画素値を求めることを特徴とする。
【００１６】
本発明の他の態様によれば、前記固体撮像素子のいずれかの画素セルについて、当該画素セルを構成する主感光画素が欠陥画素である場合に、当該欠陥主感光画素を含む画素セルの周囲に存在する画素セルの主感光画素の画素値に基づいてその欠陥主感光画素の画素値を補正することを特徴とする。
【００１７】
主感光画素の欠陥については一律に従来型の補正を行う一方、従感光画素の欠陥については、上述した同一画素セル内の主感光画素の画素値を利用する補正を行う態様がある。
【００１８】
本発明の更に他の態様は、前記固体撮像素子のいずれかの画素セルについて、当該画素セルを構成する主感光画素の方が欠陥画素であり、従感光画素は正常な画素である場合に、当該欠陥主感光画素を含む画素セルの周囲に存在する画素セルの主感光画素から得られる信号レベルが所定の判定基準値を超えるレベルであったときは、当該欠陥主感光画素と同一画素セル内の従感光画素の画素値に基づいてその欠陥主感光画素の画素値を補正することを特徴とする。
【００１９】
主感光画素の欠陥を補正する際に、常に同一画素セル内の従感光画素の画素値を利用して補正すると、大きなゲインによってＳ／Ｎが劣化する場合もあるため、ガンマ変換等によって更にＳ／Ｎが劣化することが懸念される低輝度部については、従来型の補正を行うことが好ましい。Ｓ／Ｎ劣化が懸念される低輝度部であるか否かを判定するときの判定基準値を予め定めておき、この判定基準値を超える場合には、同一画素セル内の従感光画素の画素値を用いて欠陥主感光画素の画素値を補正する態様が好ましい。
【００２０】
主感光画素の欠陥を補正するにあたり、欠陥主感光画素と同一画素セル内の従感光画素の画素値に主感光画素と従感光画素の感度比を乗算する演算を行うことにより欠陥主感光画素の画素値を求める態様がある。
【００２１】
また、上記方法発明を具現化する装置を提供するため、本発明に係る撮影装置は、相対的に広い面積を有する主感光画素と、相対的に狭い面積を有する従感光画素との複合からなる画素セルが所定の配列形態に従って多数配置され、前記主感光画素で光電変換された信号電荷に基づく信号と前記従感光画素で光電変換された信号電荷に基づく信号とを選択的に取り出すことができる構造を備えた固体撮像素子と、前記固体撮像素子のいずれかの画素セルについて、当該画素セルを構成する主感光画素は正常な画素であって、従感光画素の方が欠陥画素である場合に、当該欠陥従感光画素を含む画素セルの周囲に存在する画素セルの主感光画素から得られる信号レベルが飽和出力を示す所定の飽和レベル未満であるか否かを判定する判定手段と、前記判定手段の判定により、前記周囲に存在する画素セルの主感光画素から得られる信号レベルが前記飽和レベル未満の信号レベルであると判定されたときに、当該欠陥従感光画素と同一画素セル内の主感光画素の画素値に基づいてその欠陥従感光画素の画素値を補正する欠陥画素補正手段と、を備えたことを特徴とする。
【００２２】
本発明の撮影装置において、同じ画素セル内の主感光画素と従感光画素について同一の色成分のカラーフィルタが配置されており、各画素セルの上方にはそれぞれ１つの画素セルに対して１つのマイクロレンズが設けられていることを特徴とする態様がある。
【００２３】
【発明の実施の形態】
以下添付図面に従って本発明に係る固体撮像素子の欠陥画素補正方法及び撮影装置の好ましい実施の形態について詳説する。
【００２４】
図１は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ１０は、ＣＣＤ固体撮像素子（以下、ＣＣＤという。）１３を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア１４に記録するデジタルカメラであり、ＣＣＤ１３から得られた画像信号を処理する信号処理手段の一部に本発明の欠陥画素補正方法が適用されている。
【００２５】
カメラ１０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）１６によって統括制御される。ＣＰＵ１６は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御、欠陥画素の補正演算など各種演算を実施する演算手段として機能する。
【００２６】
ＣＰＵ１６はバス１８を介してＲＯＭ２０及びメモリ（ＲＡＭ）２２と接続されている。ＲＯＭ２０にはＣＰＵ１６が実行するプログラム及び制御に必要な各種データなどが格納されている。メモリ２２はプログラムの展開領域及びＣＰＵ１６の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００２７】
また、ＣＰＵ１６にはＥＥＰＲＯＭ２４が接続されている。ＥＥＰＲＯＭ２４は、ＣＣＤ１３の欠陥画素の位置情報、ＡＥ、ＡＦ及びＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納される不揮発性の記憶手段であり、必要に応じてデータの書き換えが可能であるとともに、電源ＯＦＦ時においても情報内容が保持される。ＣＰＵ１６は必要に応じてＥＥＰＲＯＭ２４のデータを参照して演算等を行う。
【００２８】
カメラ１０にはユーザが各種の指令を入力するための操作部３０が設けられている。操作部３０は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ２オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り換えるための操作手段である。
【００２９】
また、操作部３０には、上記の他、撮影目的に応じて最適な動作モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、液晶モニタ３２にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。
【００３０】
なお、操作部３０の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００３１】
操作部３０からの信号はＣＰＵ１６に入力される。ＣＰＵ１６は操作部３０からの入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ３２の表示制御などを行う。
【００３２】
液晶モニタ３２は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ３２は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３３】
次に、カメラ１０の撮影機能について説明する。
【００３４】
カメラ１０は光学系ユニット３４と、ＣＣＤ１３とを備えている。なお、ＣＣＤ１３に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。光学系ユニット３４は、不図示の撮影レンズと、絞り兼用メカシャッター機構を含む。撮影レンズは電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００３５】
撮影者によって操作部３０のズームスイッチが操作されると、そのスイッチ操作に応じてＣＰＵ１６からモータ駆動回路３６に対して光学系制御信号が出力される。モータ駆動回路３６は、ＣＰＵ１６からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータ（不図示）に与える。こうして、モータ駆動回路３６から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズの焦点距離（光学ズーム倍率）が変更される。
【００３６】
光学系ユニット３４を通過した光は、ＣＣＤ１３の受光面に入射する。ＣＣＤ１３の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。
【００３７】
ＣＣＤ１３の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ１３は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００３８】
ＣＣＤ１３の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバ４０から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ１３から出力された画像信号は、アナログ処理部４２に送られる。アナログ処理部４２は、ＣＤＳ（相関二重サンプリング）回路及びゲイン調整回路を含む処理部であり、このアナログ処理部４２において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整が行われる。
【００３９】
アナログ処理部４２から出力された画像信号はＡ／Ｄ変換器４４によってデジタル信号に変換された後、信号処理部４６を介してメモリ２２に格納される。タイミングジェネレータ（ＴＧ）４８は、ＣＰＵ１６の指令に従ってＣＣＤドライバ４０、アナログ処理部４２及びＡ／Ｄ変換器４４に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００４０】
信号処理部４６は、メモリ２２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部４６は、欠陥画素補正部、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、ＣＰＵ１６からのコマンドに従ってメモリ２２を活用しながら画像信号を処理する。
【００４１】
メモリ２２に格納されたデータ（ＣＣＤＲＡＷデータ）は、バス１８を介して信号処理部４６に送られる。信号処理部４６に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ２２に格納される。
【００４２】
撮影画像をモニタ出力する場合、メモリ２２から画像データが読み出され、表示回路５０に送られる。表示回路５０に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、液晶モニタ３２に出力される。ＣＣＤ１３から出力される画像信号によってメモリ２２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ３２に供給されることにより、撮像中の映像（スルー画）がリアルタイムに液晶モニタ３２に表示される。撮影者は液晶モニタ３２に表示される映像（いわゆるスルームービー）によって画角（構図）を確認できる。
【００４３】
撮影者が画角を決めてシャッターボタンを押下すると、ＣＰＵ１６はこれを検知し、シャッターボタンの半押し（Ｓ１ＯＮ）に応動してＡＥ処理、ＡＦ処理を行い、シャッターボタンの全押し（Ｓ２＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００４４】
すなわち、ＣＰＵ１６は、Ｓ１＝ＯＮに応動して取り込まれた画像データから焦点評価演算やＡＥ演算などの各種演算を行い、その演算結果に基づいてモータ駆動回路３６に制御信号を送り、不図示のＡＦモータを制御して光学系ユニット３４内のフォーカスレンズを合焦位置に移動させる。
【００４５】
また、ＡＥ演算部は撮影画像の１画面を複数のエリア（例えば、１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１６に提供する。ＲＧＢの各色信号について積算値を求めてもよいし、これらのうちの一色（例えば、Ｇ信号）のみについて積算値を求めてもよい。
【００４６】
ＣＰＵ１６は、ＡＥ演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。
【００４７】
カメラ１０のＡＥは、広いダイナミックレンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、５〜１７ＥＶの範囲を測光するのに、１回の測光で３ＥＶの範囲を測定できるものとすると、露出条件を変えながら最大で４回の測光が行われる。
【００４８】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【００４９】
こうして、複数回に分けて測光を実行することで広いレンジ（５〜１７ＥＶ）を測光し、最適な露出条件を決定する。なお、１回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。
【００５０】
ＣＰＵ１６は、上述のＡＥ演算結果に基づいて絞りとシャッタースピードを制御し、Ｓ２＝ＯＮに応動して記録用の画像を取得する。
【００５１】
シャッターボタンの全押し（Ｓ２＝ＯＮ）に応動して取り込まれた画像データは、図１に示した信号処理部４６においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張回路５２において所定の圧縮フォーマット（例えば、ＪＰＥＧ方式）に従って圧縮される。圧縮された画像データは、メディアインターフェース部５４を介して記録メディア１４に記録される。圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよい。
【００５２】
画像データを保存する手段は、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００５３】
操作部３０のモード選択スイッチによって再生モードが選択されると、記録メディア１４に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア１４から読み出された画像ファイルのデータは、圧縮伸張回路５２によって伸張処理され、表示回路５０を介して液晶モニタ３２に出力される。
【００５４】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア１４から読み出され、表示画像が更新される。
【００５５】
図２は、ＣＣＤ１３の受光面の構造を示す平面図である。図２では２つの受光セル（画素ＰＩＸ）が横に並んでいる様子を示したが、実際には多数の画素ＰＩＸが水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配列されている。
【００５６】
各画素ＰＩＸは、感度の異なる２つのフォトダイオード領域６１、６２を含む。第１のフォトダイオード領域６１は、相対的に広い面積を有し、主たる感光部（以下、主感光画素という）を構成する。第２のフォトダイオード領域６２は、相対的に狭い面積を有し、従たる感光部（以下、従感光画素という。）を構成する。画素ＰＩＸの右側には垂直転送路（ＶＣＣＤ）６３が形成されている。
【００５７】
図２に示した構成はハニカム構造の画素配列であり、図示した２つの画素ＰＩＸ上側及び下側の画素は横方向に半ピッチずれた位置に配置される。図２上に示した各画素ＰＩＸの左側に示されている垂直転送路６３は、これら画像ＰＩＸの上側及び下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【００５８】
図２中点線で示すように、四相駆動（φ１，φ２，φ３，φ４）に必要な転送電極６４、６５、６６、６７（まとめてＥＬで示す。）が垂直転送路６３の上方に配置される。例えば、２層ポリシリコンで転送電極を形成する場合、φ１のパルス電圧が印加される第１の転送電極６４と、φ３のパルス電圧が印加される第３の転送電極６６とは第１層ポリシリコン層で形成され、φ２のパルス電圧が印加される第２の転送電極６５と、φ４のパルス電圧が印加される第４の転送電極６８とは第２層ポリシリコン層で形成される。なお、転送電極６４は従感光画素６２から垂直転送路６３への電荷読み出しも制御する。転送電極６５は主感光画素６１から垂直転送路６３への電荷読み出しも制御する。
【００５９】
図３は図１の３−３線に沿う断面図であり、図４は図１の４−４線に沿う断面図である。図３に示したように、ｎ型半導体基板７０の１表面にｐ型ウエル７１が形成されている。ｐ型ウエル７１の表面領域に２つのｎ型領域７３、７４が形成され、フォトダイオードを構成している。符号７３で示したｎ型領域のフォトダイオードが主感光画素６１に相当し、符号７４で示したｎ型領域のフォトダイオードが従感光画素６２に相当している。ｐ^＋型領域７６は、画素ＰＩＸ、垂直転送路６３等の電気的な分離を行うチャネルストップ領域である。
【００６０】
図４に示すように、フォトダイオードを構成するｎ型領域７３の近傍に垂直転送路６３を構成するｎ型領域７７が配置されている。ｎ型領域７４、７７の間のｐ型ウエル７１が読み出しトランジスタを構成する。
【００６１】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ＥＬが形成される。転送電極ＥＬは、垂直転送路６３の上方を覆うように配置されている。転送電極ＥＬの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路６３等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜７８がタングステン等により形成されている。
【００６２】
遮光膜７８を覆うようにホスホシリケートガラス等で形成された層間絶縁膜７９が形成され、その表面が平坦化されている。層間絶縁膜７９の上にカラーフィルタ層８０が形成されている。カラーフィルタ層８０は、例えば赤色領域、緑色領域、及び青色領域等の３色以上の色領域を含み、各画素ＰＩＸについて一色の色領域が割り当てられている。
【００６３】
カラーフィルタ層８０の上に各画素ＰＩＸに対応してマイクロレンズ８１がレジスト材料等により形成されている。マイクロレンズ８１は、各画素ＰＩＸの上に１つ形成されており、上方より入射する光を遮光膜７８が画定する開口内に集光させる機能を有する。
【００６４】
マイクロレンズ８１を介して入射した光は、カラーフィルタ層８０によって色分解され、主感光画素６１及び従感光画素６２の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路６３に読み出される。
【００６５】
こうして、１つの画素ＰＩＸから感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【００６６】
図５は、ＣＣＤ１３の受光領域ＰＳ内の画素ＰＩＸ及び垂直転送路６３の配置を示す。画素ＰＩＸは、セルの幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素ＰＩＸの行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００６７】
図５において画素ＰＩＸが配列された受光領域ＰＳの右側には、転送電極ＥＬにパルス電圧を印加するＶＣＣＤ駆動回路８４が配置される。各画素ＰＩＸは上述のように主感光部（主画素）と従感光部（副画素）とを含む。垂直転送路６３は各列に近接して蛇行して配置されている。
【００６８】
また、受光領域ＰＳの下側（垂直転送路６３の下端側）には、垂直転送路３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）８５が設けられている。
【００６９】
水平転送路８５は、２相駆動の転送ＣＣＤで構成されており、水平転送路８５の最終段（図１上で最左段）は出力部８６に接続されている。出力部８６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素ＰＩＸで光電変換した信号が点順次の信号列として出力される。
【００７０】
図６は、主感光画素６１と従感光画素６２の光電変換特性を示すグラフである。横軸は入射光量、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１２ビットデータを例示するが、ビット数はこれに限定されない。
【００７１】
同図に示すように、主感光画素６１と従感光画素６２の感度比は１：１／ａとなっている（ただし、ａ＞１）。主感光画素６１の出力は、入射光量に比例して次第に増加し、入射光量が「ｃ」のときに出力が飽和値（ＱＬ値＝４０９５）に達する。以後、入射光量が増加しても主感光画素６１の出力は一定となる。この「ｃ」を主感光画素６１の飽和光量と呼ぶことにする。
【００７２】
一方、従感光画素６２の感度は、主感光画素６１の感度の１／ａであり、入射光量がα×ｃのときにＱＬ値＝４０９５／ｂで飽和する（ただし、ｂ＞１，α＝ａ／ｂ）。このときの「α×ｃ」を従感光画素６２の飽和光量とよぶ。
【００７３】
このように、異なる感度を持つ主感光画素と従感光画素とを組み合わせることにより、主感光画素のみの構成よりもＣＣＤ１３のダイナミックレンジをα倍に拡大（本例では約４倍に拡大）できる。
【００７４】
シャッターボタンのＳ１＝ＯＮに伴うＡＥ処理及びＡＦ処理は主感光画素６１から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、又は、ＡＥの結果（ＩＳＯ感度や測光値）又はホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッターボタンのＳ２＝ＯＮに応動してＣＣＤ１３の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号（ＶＤ）に同期して、まず、主感光画素６１の電荷を読み出し、その後、従感光画素６２の電荷の読み出しを行う。
【００７５】
以下、ＣＣＤ１３の出力信号の処理について説明する。
【００７６】
図７は、図１に示した信号処理部４６の詳細構成を示すブロック図である。
【００７７】
信号処理部４６は、図７に示すように、オフセット処理部１０１、シェーディング補正部１０２、キズ補正部１０３、ホワイトバランス（ＷＢ）ゲイン部１０４、ガンマ補正部１０５、加算部１０６、ＹＣ変換部１０７、及び各種補正部１０８を備えている。
【００７８】
オフセット処理部１０１は、ＣＣＤ出力の暗電流成分を補正する処理部であり、ＣＣＤ１３上の遮光画素から得られるオプティカルブラック（ＯＢ）信号の値を画素値から減算する演算を行う。
【００７９】
シェーディング補正部１０２は、光学系に起因する光量分布のばらつきに伴うＣＣＤ出力の不均一性を補正する処理部であり、画素ＰＩＸの位置に応じて予め用意されている補正係数を画素値に乗算して出力レベルを均一化する。
【００８０】
なお、主感光画素６１と従感光画素６２とでは輝度シェーディングの発生現象が異なるため、主感光画素６１の画素値及び従感光画素６２の画素値についてそれぞれ異なるシェーディング補正が行われる。主感光画素については、画面中心部に対して周囲が暗くなる傾向があり、従感光画素６２については、マイクロレンズ８１の位置や画素ＰＩＸ内における従感光画素６２の形成位置などの関係で特有のシェーディング（例えば、画面中心部に対して周囲の光量が増加する現象）が発生する。主感光画素６１及び従感光画素６２のそれぞれのシェーディングパターンに応じてこれを解消するような信号補正処理が行われる。
【００８１】
キズ補正部１０３は、ＣＣＤ１３の欠陥画素の信号値を補正する処理部である。画素ＰＩＸの欠陥には、▲１▼主感光画素６１のみがキズである場合、▲２▼従感光画素６２のみがキズである場合、▲３▼主感光画素６１と従感光画素６２の両方がキズである場合、という３態様がある。上記の３態様に対応するキズ補正のアルゴリズムについて詳しくは後述するが、補正方法としては、欠陥画素の周囲の画素ＰＩＸの画素値を利用して補正する従来型（ローパスフィルタ型）の方法と、同一画素ＰＩＸ内の正常な従感光画素の画素値又は主感光画素の画素値を利用して補正する方法とがあり、状況に応じて補正方法が切り換えられる。
【００８２】
キズ補正部１０３によってキズ補正処理されて得られた画像データはＣＣＤＲＡＷデータとしてメモリ２２に格納される。メモリ２２に格納されたＣＣＤＲＡＷデータはＷＢゲイン部１０４に送られる。
【００８３】
ＷＢゲイン部１０４は、Ｒ，Ｇ，Ｂの色信号のレベルを増減するためのゲイン可変アンプを含み、ＣＰＵ１６からの指令に基づいて各色信号のゲイン調整を行う。ＷＢゲイン部１０４においてゲイン処理された信号は、ガンマ補正部１０５に送られる。
【００８４】
ガンマ補正部１０５は、ＣＰＵ１６の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正された画像信号は加算部１０６に送られる。加算部１０６は、主感光画素から得られた画像信号と従感光画素から得られた画像信号を加算（合成）する処理部であり、次式〔数１〕に従って出力信号を生成する。
【００８５】
【数１】
出力信号＝ｇ×（主感光画素の信号）＋（１−ｇ）×（従感光画素の信号）
ただし、加算割合を示す係数ｇは０≦ｇ≦１の範囲で適宜設定可能である。
ＣＰＵ１６は状況に応じて係数ｇを可変設定する。
【００８６】
加算部１０６からの出力信号はＹＣ処理部１０７に送られる。ＹＣ処理部１０７は単板ＣＣＤ１３のカラーフィルタ配列構造に伴う色信号の空間的なズレを補間して各点の色（ＲＧＢ）を計算する同時化処理部と、ＲＧＢ信号から輝度・色差信号を生成するＹＣ変換処理部とを含む。
【００８７】
ＹＣ処理部１０７で生成された輝度・色差信号（ＹＣｒＣｂ）は、各種補正部１０８に送られる。各種補正部１０８には、例えば、輪郭強調（アパーチャ補正）部や色差マトリックスによる色補正部などが含まれる。
【００８８】
次に、上記の如く構成されたカメラ１０におけるキズ補正方法について説明する。
【００８９】
図８は第１の制御例を示すキズ補正処理ルーチンのフローチャートである。キズ補正の処理が開始されると（ステップＳ１１０）、まず、主感光画素６１のキズ補正を実施する（ステップＳ１２０）。主感光画素６１の欠陥画素の位置情報は予めＥＥＰＲＯＭ２４に記憶されているので、その位置情報に基づき欠陥画素の周辺に位置する正常な主感光画素６１の画素値を用いてローパスフィルタ（ＬＰＦ）型の補正（周囲の画素情報で置き換え、又は周囲数画素の平均値を出力するなどの補正）を行う（ステップＳ１３０）。
【００９０】
ＥＥＰＲＯＭ２４に記憶されている全ての主感光画素キズについて上記ＬＰＦ型の補正が完了したか否かを判定し（ステップＳ１４０）、未完了ならば他の主感光画素キズについてもステップＳ１３０の補正処理を繰り返す。
【００９１】
ステップＳ１４０において全ての主感光画素キズについて補正が完了したら、ステップＳ１５０に進み、従感光画素６２のキズ補正を開始する。従感光画素キズを補正する際には、まず、従感光画素キズが含まれる分割測光エリアについて分割測光のデータを呼び出し（ステップＳ１５２）、その測光データ（エリアの明るさ平均を示す評価値）に基づいてダイナミックレンジの判定を行う（ステップＳ１５４）。
【００９２】
従感光画素キズが含まれているエリア（区画）の明るさが主感光画素のダイナミックレンジの範囲内（ダイナミックレンジ１００％以下）であるか否かを判定し（ステップＳ１５４）、ダイナミックレンジが１００％未満の場合、すなわち、主感光画素データが飽和しない領域である場合には、ステップＳ１５６に進む。なお、飽和判定には一定のマージンを設けることが好ましい。
【００９３】
ステップＳ１５６では、補正対象の従感光画素Ｓｕｂ［ｙ］［ｘ］と同一画素ＰＩＸ内の主感光画素Ｍａｉｎ［ｙ］［ｘ］がキズであるか否かの判定を行う。この判定はＥＥＰＲＯＭ２４内の欠陥画素位置情報に基づいて行われる。
【００９４】
主感光画素Ｍａｉｎ［ｙ］［ｘ］がキズである場合、つまり、ある感光画素位置（［ｙ］［ｘ］）において主感光画素及び従感光画素ともにキズであると判定された場合は、従来どおり、ローパスフィルタ型の補正を行い、各々の近傍感光画素情報から画素値を決定する（ステップＳ１５８）。
【００９５】
その一方、ステップＳ１５６において、主感光画素Ｍａｉｎ［ｙ］［ｘ］が正常画素である場合には、従感光画素キズを同位置の主感光画素Ｍａｉｎ［ｙ］［ｘ］出力を感度比にて除算した値で埋める（ステップＳ１６０）。
【００９６】
すなわち、次式〔数２〕に従って従感光画素Ｓｕｂ［ｙ］［ｘ］の値を定める。
【００９７】
【数２】Ｓｕｂ［ｙ］［ｘ］＝Ｍａｉｎ［ｙ］［ｘ］／感度比
同一画素セル内の主感光画素６１の画素値によって従感光画素６２の欠陥を補正することにより、従来型の補正に比べてローパスフィルタ効果が低くなり、補正後も解像感を維持することができる。
【００９８】
ステップＳ１５８又はステップＳ１６０の後はステップＳ１７０に進む。ステップＳ１７０では、ＥＥＰＲＯＭ２４に記憶されている全ての従感光画素キズについて補正が完了したか否かを判定し、未完了ならばステップＳ１５４に戻り、他の従感光画素キズについても上述の補正処理を繰り返す。
【００９９】
ステップＳ１７０において全ての従感光画素キズについて補正が完了したら、キズ補正のシーケンスを終了する（ステップＳ１８０）。
【０１００】
また、ステップＳ１５４において、ダイナミックレンジが１００％以上になった場合、すなわち、主感光画素データが飽和している領域の場合には、ステップＳ１５８に進み、従感光画素キズをローパスフィルタ型の補正によって埋める。
【０１０１】
このように、従感光画素６２のキズを補正する際に、ダイナミックレンジ１００％以下と判定された区画のみ、そのキズを同位置の主感光画素データで補正するようにしたのは、ダイナミックレンジ１００％以上の区画については、従感光画素キズと同位置の主感光画素データが飽和しているため、主感光画素のデータを使用して補正を行うと、レベル的に正確な補正とならないためである。
【０１０２】
図８のフローチャートでは、分割測光データが示す各エリアの評価値から主感光画素の飽和の有無を判定したが、本発明においては、ＡＥ制御によって決定された露出条件で撮影した場合の各エリアの評価値を予測して、その予測値から主感光画素が飽和するか否かを判断してもよい。
【０１０３】
また、ＡＥ後のＳ２＝ＯＮによって取得した画像データから直接的に主感光画素６１が飽和しているか否かを判断することもできる。
【０１０４】
図９は第２の制御例を示すキズ補正処理ルーチンのフローチャートである。図９中図８のフローチャートと共通する工程には同一のステップ番号を付し、その説明は省略する。
【０１０５】
図９に示した制御例では、図８のフローチャート中のステップＳ１５２及びステップＳ１５４の処理工程に代えて、ステップＳ１５３及びステップＳ１５５の処理を行っている。
【０１０６】
すなわち、図９によれば、従感光画素キズの補正が開始されると（ステップＳ１５０）、従感光画素キズと同一画素ＰＩＸ内の主感光画素データ（主感光画素の画素値）をメモリ２２から読み出し（ステップＳ１５３）、補正対象の従感光画素Ｓｕｂ［ｙ］［ｘ］と同一画素ＰＩＸ内の主感光画素Ｍａｉｎ［ｙ］［ｘ］が飽和しているか否かを判定する（ステップＳ１５５）。
【０１０７】
飽和の判定は図６で説明したように、飽和値に達しているか否かを判定するが、この飽和判定には一定のマージンを設け、判定基準値として飽和値（ＱＬ値＝４０９５）よりも低い値を設定しておいてもよい。
【０１０８】
図９のステップＳ１５５において、従感光画素キズと同位置の主感光画素データが飽和していると判定した場合には、従来型（ローパスフィルタ型）の補正を行う（ステップＳ１５８）。その一方、従感光画素キズと同位置の主感光画素データが飽和していなければ、ステップＳ１５６に進み、当該主感光画素Ｍａｉｎ［ｙ］［ｘ］がキズであるか否かを判定する。
【０１０９】
主感光画素Ｍａｉｎ［ｙ］［ｘ］がキズであれば、ローパスフィルタ型の補正を行い（ステップＳ１５８）、主感光画素Ｍａｉｎ［ｙ］［ｘ］が正常画素であれば、当該主感光画素Ｍａｉｎ［ｙ］［ｘ］出力を用いて従感光画素Ｓｕｂ［ｙ］［ｘ］の値を定める（ステップＳ１６０）。
【０１１０】
このように、Ｓ１＝ＯＮに応じて取得される分割測光データを利用する代わりに、Ｓ２＝ＯＮで取得された実際の主感光画素データに基づいて、主感光画素６１の飽和の有無を判断してもよい。
【０１１１】
また、図８や図９で説明した制御例においては、主感光画素６１のキズ補正に従感光画素６２のデータを使用しないために、主感光画素６１のＣＣＤＲＡＷデータを取得後、従感光画素６２のデータの読み出し時に、主感光画素６１のＣＣＤＲＡＷデータの信号処理（ホワイトバランス処理やガンマ補正など）を直ちに開始することができる利点がある。
【０１１２】
図１０は第３の制御例を示すキズ補正処理ルーチンのフローチャートである。図１０中図８のフローチャートと共通する工程には同一のステップ番号を付し、その説明は省略する。
【０１１３】
図１０のステップＳ１２０で主感光画素キズの補正を開始したら、まずキズ画素を含む分割測光エリアについてＡＥ処理時の分割測光データを読み出し（ステップＳ１２２）、その測光データに基づいて明るさを判定する（ステップＳ１２４）。
【０１１４】
ステップＳ１２４では輝度の判定基準値が定められており、取得された画像データが判定基準値よりも高輝度の領域であるか否かを判定する。
【０１１５】
ステップＳ１２４において高輝度部と判定した場合には、ステップＳ１２６に進み、補正対象の主感光画素Ｍａｉｎ［ｙ］［ｘ］と同一画素ＰＩＸ内の従感光画素Ｓｕｂ［ｙ］［ｘ］がキズであるか否かの判定を行う。この判定はＥＥＰＲＯＭ２４内の欠陥画素位置情報に基づいて行われる。
【０１１６】
従感光画素Ｓｕｂ［ｙ］［ｘ］がキズである場合、つまり、ある感光画素位置（［ｙ］［ｘ］）において主感光画素及び従感光画素ともにキズであると判定された場合は、従来どおり、ローパスフィルタ型の補正を行い（ステップＳ１３０）、各々の近傍感光画素情報から埋める。
【０１１７】
その一方、ステップＳ１３０において、従感光画素Ｓｕｂ［ｙ］［ｘ］が正常画素である場合には、主感光画素キズを同位置の従感光画素Ｓｕｂ［ｙ］［ｘ］出力を感度比倍した値で埋める（ステップＳ１３２）。
【０１１８】
すなわち、次式〔数３〕に従って主感光画素Ｍａｉｎ［ｙ］［ｘ］の値を定める。
【０１１９】
【数３】Ｍａｉｎ［ｙ］［ｘ］＝感度比×Ｓｕｂ［ｙ］［ｘ］
ただし〔数３〕式の演算結果が飽和出力値を超える場合には出力信号を飽和出力値でクリップする。
【０１２０】
このように、従感光画素６２のデータを使用して主感光画素６１のキズを補正する場合には、大きなゲインによってＳ／Ｎが劣化する危険性もあるため、ガンマ変換によって更にＳ／Ｎ劣化することが懸念される低輝度部（判定基準値よりも低い輝度領域）においては、従来どおりＬＰＦ型の補正を行い、近傍画素情報から画素値を埋める手法を用いる。
【０１２１】
判定基準値よりも高輝度側の飽和光量近傍の領域については、同一画素ＰＩＸ内の主感光画素出力によって従感光画素キズを適正に補正することができる。
【０１２２】
なお、飽和光量を超える高輝度の領域については、従感光画素のデータを感度倍しても主感光画素の飽和出力値（４０９５）を超えてしまうので、補正値は飽和出力値（４０９５）でクリップする。
【０１２３】
ステップＳ１３０又はステップＳ１３２の後はステップＳ１４０に進む。ステップＳ１４０では、ＥＥＰＲＯＭ２４に記憶されている全ての主感光画素キズについて上記ＬＰＦ型の補正が完了したか否かを判定し（ステップＳ１４０）、未完了ならばステップＳ１２４に戻って、他の主感光画素キズについても補正処理を繰り返す。
【０１２４】
ステップＳ１４０において全ての主感光画素キズについて補正が完了したら、ステップＳ１５０に進み、従感光画素６２のキズ補正を開始する。従感光画素キズの補正については図８で説明したとおりである。
【０１２５】
なお、図１０に示した制御例では、従感光画素６２の画素値を利用して主感光画素キズの補正を行うため、主感光画素６１のデータと従感光画素６２のデータとがともに一旦メモリ２２に格納される。そして、メモリ２２から主感光画素６１のデータ及び従感光画素６２のデータが読み出されて、欠陥の補正処理が行われる。
【０１２６】
〔変形例〕
図１１にＣＣＤ１３の他の構造例を示す。図１１は平面図、図１２は図１１の１２−１２線に沿う断面図である。これらの図面中図２及び図３に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。
【０１２７】
図１１及び図１２に示したように、主感光画素６１と従感光画素６２の間にｐ^＋型分離領域８８が形成されている。この分離領域８８はチャネルストップ領域（チャネルストッパ）として機能し、フォトダイオード領域の電気的な分離を行う。また、分離領域８８の上方には分離領域８８に対応した位置に遮光膜８９が形成されている。
【０１２８】
遮光膜８９と分離領域８８とを用いることにより、入射する光を効率的に分離するとともに、主感光画素６１及び従感光画素６２に蓄積された電荷がその後混合することを防止する。その他の構成は図２及び図３に示した例と同様である。
【０１２９】
また、画素ＰＩＸのセル形状や開口形状は図２や図１１に示した例に限定されず、多角形、円形など多様な形態をとり得る。更に、各受光セルの分離形状（分割形態）についても、図２や図９に示した形状に限定されない。
【０１３０】
図１３にＣＣＤ１３の更に他の構造例を示す。図１３中図２及び図１１に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。図１３は、二つの感光部（６１、６２）が斜め方向に分離されている構成を示す。
【０１３１】
このように、それぞれの分割感光エリアの蓄積電荷を別々に垂直転送路に読み出すことができればよく、分決形状や分割数、面積の大小関係などは適宜設計される。ただし、従感光画素の面積を主感光画素の面積に比べて小さい値とする。また、主感光部の面積減少を抑制し、感度低下を最小限に抑えることが好ましい。
【０１３２】
上述の説明では、ハニカム構造の画素配列を有するＣＣＤを例に説明したが、本発明の適用範囲はこれに限定されず、全画素が正方行列的に配列された画素配列の撮像素子を用いることもできる。
【０１３３】
また、上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、ビデオカメラ、ＤＶＤカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の撮影装置についても本発明を適用できる。
【０１３４】
【発明の効果】
以上説明したように本発明によれば、光学的に同位相の情報を捉える主感光画素と従感光画素とを備える固体撮像素子において、従感光画素の欠陥を同一画素セル内の主感光画素の画素値に基づいて補正する構成にしたので、従来の補正と比較してローパスフィルタ効果が低く、補正後も解像感を維持できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図２】図１に示すＣＣＤの受光面の構造を示す平面図
【図３】図２の３−３線に沿う断面図
【図４】図２の４−４線に沿う断面図
【図５】図１に示すＣＣＤの全体構成を示す平面模式図
【図６】主感光画素と従感光画素の光電変換特性を示すグラフ
【図７】図１に示した信号処理部の詳細構成を示すブロック図
【図８】本例のカメラにおける第１の制御例を示すキズ補正処理ルーチンのフローチャート
【図９】本例のカメラにおける第２の制御例を示すキズ補正処理ルーチンのフローチャート
【図１０】本例のカメラにおける第３の制御例を示すキズ補正処理ルーチンのフローチャート
【図１１】ＣＣＤの他の構造例を示す平面図
【図１２】図１１の１２−１２線に沿う断面図
【図１３】ＣＣＤの更に他の構造例を示す平面図
【符号の説明】
１０…カメラ、１３…ＣＣＤ、１６…ＣＰＵ、２２…メモリ、２４…ＥＥＰＲＯＭ、６１…フォトダイオード領域（主感光画素）、６２…フォトダイオード領域（従感光画素）、６３…垂直転送路、８０…カラーフィルタ層、８１…マイクロレンズ、１０３…キズ補正部、１０６…加算部、ＰＩＸ…画素、ＰＳ…受光領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method for correcting defective pixels of a solid-state image sensor and a photographing apparatus, and more particularly to a technique applied to an electronic video recording apparatus such as a digital camera or a movie camera. The present invention relates to a signal processing technique for correcting defects (scratches).
[0002]
[Prior art]
CCD solid-state image sensors used in digital cameras and other devices have a very narrow dynamic range compared to general silver salt photographs, so even an image taken with proper exposure is unsatisfactory compared to silver salt photographs. May receive. Also, depending on the shooting conditions, so-called blackout or overexposure may occur, and image quality may be significantly degraded. In order to eliminate such drawbacks, a method has been proposed in which a plurality of images with different exposure amounts are shot in the same scene, and an image with an expanded dynamic range is obtained by combining the plurality of image data by calculation. Has been.
[0003]
In the CCD solid-state imaging device disclosed in Patent Document 1, one unit cell is divided into two types of light receiving regions (a high sensitivity portion and a low sensitivity portion) for a large number of light receiving portions (unit cells) arranged two-dimensionally on the light receiving surface. The sensitivity range is divided and the signals read from the two light receiving areas are mixed or added to achieve expansion of the dynamic range.
[0004]
By the way, a solid-state imaging device such as a CCD is manufactured by forming a number of photosensitive elements such as photodiodes on a semiconductor substrate. In some cases, defective pixels that cannot take in pixel values may occur.
[0005]
For an image sensor having such a defective pixel, a technique for correcting the pixel value of the defective pixel based on a composite signal from a plurality of surrounding pixels adjacent to the defective pixel has been proposed (Patent Document 2). .
[0006]
[Patent Document 1]
JP-A-9-205589
[0007]
[Patent Document 2]
JP 7-143403 A
[0008]
[Problems to be solved by the invention]
The conventional method for correcting defects in a solid-state imaging device detects photosensitive pixels that exhibit irregular behavior above a certain level in the manufacturing process as scratches, and if the number of scratches is less than a certain number, the photosensitive pixels that are determined to be scratches are detected. Correction is always performed so that the pixel information is always replaced with the surrounding pixel information or the average value of the surrounding pixels is always output.
[0009]
According to such a conventional correction method, when there are many determined scratches, these scratches are corrected with surrounding pixel values, so that an image that has been locally subjected to a low-pass filter (LPF) before image signal processing is applied. Data will be obtained.
[0010]
The present invention has been made in view of such circumstances, and an object of the present invention is to provide a defective pixel correction method and a photographing apparatus capable of accurately correcting the pixel value of a defective pixel without reducing the sense of resolution.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, a defective pixel correction method for a solid-state imaging device according to the present invention is a pixel cell comprising a composite of a main photosensitive pixel having a relatively large area and a secondary photosensitive pixel having a relatively small area. Are arranged according to a predetermined arrangement form, and can selectively extract a signal based on the signal charge photoelectrically converted by the primary photosensitive pixel and a signal based on the signal charge photoelectrically converted by the secondary photosensitive pixel. In the solid-state imaging device provided, for any pixel cell of the solid-state imaging device, when the primary photosensitive pixel constituting the pixel cell is a normal pixel and the secondary photosensitive pixel is a defective pixel, Determining whether a signal level obtained from a main photosensitive pixel of a pixel cell existing around a pixel cell including a defective secondary photosensitive pixel is less than a predetermined saturation level indicating a saturated output; When the signal level obtained from the primary photosensitive pixel of the existing pixel cell is less than the saturation level, the pixel of the defective secondary photosensitive pixel based on the pixel value of the primary photosensitive pixel in the same pixel cell as the defective secondary photosensitive pixel It is characterized by correcting the value.
[0012]
According to the present invention, the main photosensitive pixel and the secondary photosensitive pixel can acquire optically in-phase information, and the pixel positions of the primary photosensitive pixel and the secondary photosensitive pixel in the same pixel cell are substantially the same position. It can be handled as something. When there is a defect in the secondary photosensitive pixel in one pixel cell and normal signal extraction from the secondary photosensitive pixel is impossible, the output value (pixel value) of the normal primary photosensitive pixel in the pixel cell is used. The pixel value of the defective secondary photosensitive pixel is corrected. However, such correction is performed only when the signal level obtained from the main photosensitive pixel (normal pixel) of the pixel cell existing around the defective pixel does not reach the saturation level.
[0013]
When the level of the signal obtained from the main photosensitive pixel of the pixel cell existing around the defective pixel has reached the saturation level, that is, in the high luminance region where the pixel value of the main photosensitive pixel is saturated, Since it is inappropriate to correct the defect of the secondary photosensitive pixel by the pixel value of the primary photosensitive pixel, it is preferable to perform the conventional type (low-pass filter type) correction.
[0014]
Conversely, when the level of the signal obtained from the main photosensitive pixel of the pixel cell existing around the defective pixel does not reach the saturation level, that is, within the dynamic range of the main photosensitive pixel, the amount of incident light Since there is a certain correspondence (for example, a proportional relationship) between the pixel value and the pixel value, the defect of the secondary photosensitive pixel is corrected by the pixel value of the primary photosensitive pixel in the same pixel cell. As a result, the low-pass filter effect is lower than that of the conventional correction, and the resolution can be maintained even after correction.
[0015]
According to one aspect of the present invention, the pixel of the defective secondary photosensitive pixel is obtained by performing an operation of dividing the pixel value of the primary photosensitive pixel in the same pixel cell as the defective secondary photosensitive pixel by the sensitivity ratio of the primary photosensitive pixel and the secondary photosensitive pixel. It is characterized by obtaining a value.
[0016]
According to another aspect of the present invention, for any pixel cell of the solid-state imaging device, when the main photosensitive pixel constituting the pixel cell is a defective pixel, the periphery of the pixel cell including the defective main photosensitive pixel The pixel value of the defective main photosensitive pixel is corrected based on the pixel value of the main photosensitive pixel of the pixel cell existing in the pixel cell.
[0017]
For the defect of the main photosensitive pixel, the conventional correction is uniformly performed. On the other hand, for the defect of the secondary photosensitive pixel, the correction using the pixel value of the main photosensitive pixel in the same pixel cell is performed.
[0018]
According to still another aspect of the present invention, for any pixel cell of the solid-state imaging device, when the primary photosensitive pixel constituting the pixel cell is a defective pixel and the secondary photosensitive pixel is a normal pixel, When the signal level obtained from the main photosensitive pixel of the pixel cell existing around the pixel cell including the defective main photosensitive pixel is a level exceeding a predetermined determination reference value, it is within the same pixel cell as the defective main photosensitive pixel. The pixel value of the defective main photosensitive pixel is corrected based on the pixel value of the secondary photosensitive pixel.
[0019]
When the defect of the main photosensitive pixel is always corrected using the pixel value of the secondary photosensitive pixel in the same pixel cell, the S / N may be deteriorated by a large gain. It is preferable to perform conventional correction for a low-luminance portion where / N is a concern. A determination reference value for determining whether or not the low-brightness area is a concern for S / N degradation is determined in advance, and if this determination reference value is exceeded, the pixels of the sub-photosensitive pixels in the same pixel cell are determined. It is preferable to correct the pixel value of the defective main photosensitive pixel using the value.
[0020]
In correcting the defect of the primary photosensitive pixel, the pixel value of the secondary photosensitive pixel in the same pixel cell as the defective primary photosensitive pixel is multiplied by the sensitivity ratio of the primary photosensitive pixel and the secondary photosensitive pixel to perform an operation of the defective primary photosensitive pixel. There is a mode for obtaining a pixel value.
[0021]
In order to provide an apparatus that embodies the above-described method invention, an imaging apparatus according to the present invention includes a composite of a main photosensitive pixel having a relatively large area and a secondary photosensitive pixel having a relatively small area. A large number of pixel cells are arranged according to a predetermined arrangement form, and a signal based on the signal charge photoelectrically converted by the primary photosensitive pixel and a signal based on the signal charge photoelectrically converted by the secondary photosensitive pixel can be selectively extracted. For a solid-state imaging device having a structure and any pixel cell of the solid-state imaging device, when the main photosensitive pixel constituting the pixel cell is a normal pixel and the sub-photosensitive pixel is a defective pixel Determining means for determining whether a signal level obtained from a main photosensitive pixel of a pixel cell existing around a pixel cell including the defective secondary photosensitive pixel is less than a predetermined saturation level indicating a saturated output; When it is determined by the determination means that the signal level obtained from the main photosensitive pixel of the surrounding pixel cell is a signal level lower than the saturation level, it is within the same pixel cell as the defective secondary photosensitive pixel. And defective pixel correction means for correcting the pixel value of the defective secondary photosensitive pixel based on the pixel value of the primary photosensitive pixel.
[0022]
In the photographing apparatus of the present invention, color filters of the same color component are arranged for the main photosensitive pixel and the secondary photosensitive pixel in the same pixel cell, and one pixel cell is provided above each pixel cell. There is an aspect characterized in that a microlens is provided.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of a method for correcting defective pixels of a solid-state imaging device and a photographing apparatus according to the present invention will be described in detail below with reference to the accompanying drawings.
[0024]
FIG. 1 is a block diagram showing a configuration of an electronic camera according to an embodiment of the present invention. The camera 10 is a digital camera that converts an optical image of a subject imaged through a CCD solid-state imaging device (hereinafter referred to as a CCD) 13 into digital image data and records it on a recording medium 14. The defective pixel correction method of the present invention is applied to a part of signal processing means for processing an image signal.
[0025]
The overall operation of the camera 10 is centrally controlled by a central processing unit (CPU) 16 built in the camera. The CPU 16 functions as a control unit that controls the camera system according to a predetermined program, and performs automatic exposure (AE) calculation, automatic focus adjustment (AF) calculation, auto white balance (AWB) control, correction correction of defective pixels, and the like. It functions as a calculation means for performing various calculations.
[0026]
The CPU 16 is connected to a ROM 20 and a memory (RAM) 22 via a bus 18. The ROM 20 stores programs executed by the CPU 16 and various data necessary for control. The memory 22 is used as a program development area and a calculation work area for the CPU 16, and is also used as a temporary storage area for image data.
[0027]
An EEPROM 24 is connected to the CPU 16. The EEPROM 24 is a non-volatile storage means for storing position information of defective pixels of the CCD 13, data necessary for control of AE, AF, AWB, etc., or customization information set by the user, and data can be rewritten as necessary. The information content is retained even when the power is turned off. The CPU 16 performs calculations and the like with reference to the data in the EEPROM 24 as necessary.
[0028]
The camera 10 is provided with an operation unit 30 for a user to input various commands. The operation unit 30 includes various operation units such as a shutter button, a zoom switch, and a mode switch. The shutter button is an operation means for inputting an instruction to start photographing, and is composed of a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed. When S1 is on, AE and AF processing are performed, and when S2 is on, recording exposure is performed. The zoom switch is an operation means for changing the photographing magnification and the reproduction magnification. The mode switch is an operation means for switching between the shooting mode and the playback mode.
[0029]
In addition to the above, the operation unit 30 has a shooting mode setting for setting an optimal operation mode (continuous shooting mode, auto shooting mode, manual shooting mode, portrait mode, landscape mode, night view mode, etc.) according to the shooting purpose. Means, a menu button for displaying a menu screen on the liquid crystal monitor 32, a cross button (cursor moving operation means) for selecting a desired item from the menu screen, an OK button for instructing selection selection and execution of processing, a selection item, and the like. Operation means such as a cancel button for inputting a command for erasing the target, canceling the instruction content, or returning to the previous operation state is also included.
[0030]
The operation unit 30 is not limited to a push-type switch member, dial member, lever switch, or the like, but also includes a unit realized by a user interface that selects a desired item from a menu screen. It is.
[0031]
A signal from the operation unit 30 is input to the CPU 16. The CPU 16 controls each circuit of the camera 10 based on an input signal from the operation unit 30, for example, lens drive control, shooting operation control, image processing control, image data recording / playback control, display control of the liquid crystal monitor 32, etc. I do.
[0032]
The liquid crystal monitor 32 can be used as an electronic viewfinder for checking the angle of view at the time of shooting, and is used as a means for reproducing and displaying recorded images. The liquid crystal monitor 32 is also used as a user interface display screen, and displays information such as menu information, selection items, and setting contents as necessary. Instead of a liquid crystal display, other types of display devices (display means) such as an organic EL can be used.
[0033]
Next, the shooting function of the camera 10 will be described.
[0034]
The camera 10 includes an optical system unit 34 and a CCD 13. In place of the CCD 13, an image pickup device of another type such as a MOS type solid-state image pickup device can be used. The optical system unit 34 includes a photographing lens (not shown) and a mechanical shutter mechanism that also serves as an aperture. The photographic lens is composed of an electric zoom lens, and a detailed optical configuration is not shown, but it mainly contributes to focus adjustment and a variable power lens group and a correction lens group that cause a magnification change (focal length variable) action. Including a focus lens.
[0035]
When the photographer operates the zoom switch of the operation unit 30, an optical system control signal is output from the CPU 16 to the motor drive circuit 36 in accordance with the switch operation. The motor drive circuit 36 generates a lens drive signal based on a control signal from the CPU 16 and supplies it to a zoom motor (not shown). Thus, the zoom motor is operated by the motor drive voltage output from the motor drive circuit 36, and the variable power lens group and the correction lens group in the photographic lens move back and forth along the optical axis, so that the focal length ( The optical zoom magnification is changed.
[0036]
The light that has passed through the optical system unit 34 enters the light receiving surface of the CCD 13. A large number of photosensors (light receiving elements) are arranged in a plane on the light receiving surface of the CCD 13, and primary color filters of red (R), green (G), and blue (B) are arranged in a predetermined arrangement corresponding to each photosensor. Arranged in structure.
[0037]
The subject image formed on the light receiving surface of the CCD 13 is converted into a signal charge of an amount corresponding to the amount of incident light by each photosensor. The CCD 13 has an electronic shutter function that controls the charge accumulation time (shutter speed) of each photosensor according to the timing of the shutter gate pulse.
[0038]
The signal charges accumulated in the photosensors of the CCD 13 are sequentially read out as voltage signals (image signals) corresponding to the signal charges based on the pulses given from the CCD driver 40. The image signal output from the CCD 13 is sent to the analog processing unit 42. The analog processing unit 42 is a processing unit including a CDS (correlated double sampling) circuit and a gain adjustment circuit. In the analog processing unit 42, color processing is performed on each color signal of sampling processing and R, G, and B color. The signal level of the signal is adjusted.
[0039]
The image signal output from the analog processing unit 42 is converted into a digital signal by the A / D converter 44 and then stored in the memory 22 via the signal processing unit 46. A timing generator (TG) 48 provides timing signals to the CCD driver 40, the analog processing unit 42 and the A / D converter 44 in accordance with instructions from the CPU 16, and the circuits are synchronized by this timing signal. .
[0040]
The signal processing unit 46 is a digital signal processing block that also serves as a memory controller that controls reading and writing of the memory 22. The signal processing unit 46 includes a defective pixel correction unit, an auto calculation unit that performs AE / AF / AWB processing, a white balance circuit, a gamma conversion circuit, and a synchronization circuit (a spatial signal of a color signal associated with a color filter array of a single CCD). A processing circuit that interpolates the shift and calculates the color of each point), a luminance / color difference signal luminance / color difference signal generation circuit, a contour correction circuit, a contrast correction circuit, and the like. The image signal is processed while utilizing.
[0041]
Data (CCDRAW data) stored in the memory 22 is sent to the signal processing unit 46 via the bus 18. The image data input to the signal processing unit 46 is subjected to predetermined signal processing such as white balance adjustment processing, gamma conversion processing, conversion processing to luminance signals (Y signals) and color difference signals (Cr, Cb signals) (YC processing). Is stored in the memory 22.
[0042]
When the captured image is output to the monitor, the image data is read from the memory 22 and sent to the display circuit 50. The image data sent to the display circuit 50 is converted into a predetermined display signal (for example, an NTSC color composite video signal) and then output to the liquid crystal monitor 32. The image data in the memory 22 is periodically rewritten by the image signal output from the CCD 13, and the video signal generated from the image data is supplied to the liquid crystal monitor 32, so that the video being captured (through image) can be obtained. It is displayed on the liquid crystal monitor 32 in real time. The photographer can check the angle of view (composition) from the video (so-called through movie) displayed on the liquid crystal monitor 32.
[0043]
When the photographer determines the angle of view and presses the shutter button, the CPU 16 detects this, performs AE processing and AF processing in response to half-pressing of the shutter button (S1 ON), and fully presses the shutter button (S2 = ON), CCD exposure and readout control for capturing a recording image is started.
[0044]
That is, the CPU 16 performs various calculations such as a focus evaluation calculation and an AE calculation from the image data captured in response to S1 = ON, and sends a control signal to the motor drive circuit 36 based on the calculation result, not shown. The AF motor is controlled to move the focus lens in the optical system unit 34 to the in-focus position.
[0045]
The AE calculation unit includes a circuit that divides one screen of a captured image into a plurality of areas (for example, 16 × 16) and integrates RGB signals for each divided area, and provides the integrated value to the CPU 16. The integrated value may be obtained for each of the RGB color signals, or the integrated value may be obtained for only one of these colors (for example, the G signal).
[0046]
The CPU 16 performs weighted addition based on the integrated value obtained from the AE calculation unit, detects the brightness of the subject (subject brightness), and calculates an exposure value (shooting EV value) suitable for shooting.
[0047]
The AE of the camera 10 performs light measurement a plurality of times in order to accurately measure a wide dynamic range and correctly recognizes the luminance of the subject. For example, when the range of 5 to 17 EV is measured, and the range of 3 EV can be measured by one photometry, the photometry is performed four times at maximum while changing the exposure condition.
[0048]
Metering is performed under certain exposure conditions, and the integrated value of each divided area is monitored. If there is a saturated area in the image, photometry is performed with different exposure conditions. On the other hand, if there is no saturated area in the image, metering can be performed correctly under that exposure condition, and therefore the exposure condition is not changed further.
[0049]
In this way, photometry is performed in a plurality of times to measure the wide range (5 to 17 EV), and the optimum exposure condition is determined. Note that the range that can be measured by one photometry and the range that should be measured can be appropriately designed for each camera model.
[0050]
The CPU 16 controls the aperture and the shutter speed based on the above AE calculation result, and acquires a recording image in response to S2 = ON.
[0051]
The image data captured in response to the full press of the shutter button (S2 = ON) is subjected to YC processing and other predetermined signal processing in the signal processing unit 46 shown in FIG. It is compressed according to a compression format (for example, JPEG method). The compressed image data is recorded on the recording medium 14 via the media interface unit 54. The compression format is not limited to JPEG, and MPEG and other methods may be adopted.
[0052]
As a means for storing image data, various media such as a semiconductor memory card represented by SmartMedia (trademark), compact flash (trademark), a magnetic disk, an optical disk, and a magneto-optical disk can be used. Further, the recording medium (internal memory) built in the camera 10 is not limited to the removable medium.
[0053]
When the playback mode is selected by the mode selection switch of the operation unit 30, the last image file (last recorded file) recorded on the recording medium 14 is read. The image file data read from the recording medium 14 is decompressed by the compression / decompression circuit 52 and output to the liquid crystal monitor 32 via the display circuit 50.
[0054]
By operating the cross button during single-frame playback in the playback mode, it is possible to advance the frame in the forward direction or the reverse direction, and the next file that has been forwarded is read from the recording medium 14 and the display image is updated. .
[0055]
FIG. 2 is a plan view showing the structure of the light receiving surface of the CCD 13. Although FIG. 2 shows a state in which two light receiving cells (pixels PIX) are arranged side by side, in reality, a large number of pixels PIX are arranged at a constant arrangement period in the horizontal direction (row direction) and the vertical direction (column direction). It is arranged.
[0056]
Each pixel PIX includes two photodiode regions 61 and 62 having different sensitivities. The first photodiode region 61 has a relatively large area and constitutes a main photosensitive portion (hereinafter referred to as a main photosensitive pixel). The second photodiode region 62 has a relatively small area and forms a secondary photosensitive portion (hereinafter referred to as a secondary photosensitive pixel). A vertical transfer path (VCCD) 63 is formed on the right side of the pixel PIX.
[0057]
The configuration shown in FIG. 2 is a honeycomb-structured pixel arrangement, and the two pixels PIX above and below are arranged at positions shifted by a half pitch in the horizontal direction. A vertical transfer path 63 shown on the left side of each pixel PIX shown in FIG. 2 is for reading out and transferring charges from pixels (not shown) arranged above and below the image PIX. is there.
[0058]
As indicated by dotted lines in FIG. 2, transfer electrodes 64, 65, 66, and 67 (collectively indicated by EL) necessary for four-phase driving (φ1, φ2, φ3, and φ4) are arranged above the vertical transfer path 63. Is done. For example, when the transfer electrode is formed of two-layer polysilicon, the first transfer electrode 64 to which the pulse voltage of φ1 is applied and the third transfer electrode 66 to which the pulse voltage of φ3 is applied are the first layer polysilicon. The second transfer electrode 65 formed of a silicon layer and applied with a pulse voltage of φ2 and the fourth transfer electrode 68 applied with a pulse voltage of φ4 are formed of a second polysilicon layer. The transfer electrode 64 also controls charge reading from the secondary photosensitive pixel 62 to the vertical transfer path 63. The transfer electrode 65 also controls charge reading from the main photosensitive pixel 61 to the vertical transfer path 63.
[0059]
3 is a cross-sectional view taken along line 3-3 in FIG. 1, and FIG. 4 is a cross-sectional view taken along line 4-4 in FIG. As shown in FIG. 3, a p-type well 71 is formed on one surface of an n-type semiconductor substrate 70. Two n-type regions 73 and 74 are formed in the surface region of the p-type well 71 to constitute a photodiode. A photodiode in the n-type region indicated by reference numeral 73 corresponds to the main photosensitive pixel 61, and a photodiode in the n-type region indicated by reference numeral 74 corresponds to the secondary photosensitive pixel 62. p ⁺ The mold region 76 is a channel stop region that performs electrical separation of the pixel PIX, the vertical transfer path 63, and the like.
[0060]
As shown in FIG. 4, an n-type region 77 constituting a vertical transfer path 63 is arranged in the vicinity of an n-type region 73 constituting a photodiode. A p-type well 71 between the n-type regions 74 and 77 constitutes a read transistor.
[0061]
An insulating layer such as a silicon oxide film is formed on the surface of the semiconductor substrate, and a transfer electrode EL made of polysilicon is formed thereon. The transfer electrode EL is disposed so as to cover the vertical transfer path 63. An insulating layer such as silicon oxide is further formed on the transfer electrode EL, and a light-shielding film 78 having an opening above the photodiode and covering the components such as the vertical transfer path 63 is formed thereon with tungsten or the like. .
[0062]
An interlayer insulating film 79 made of phosphosilicate glass or the like is formed so as to cover the light shielding film 78, and its surface is flattened. A color filter layer 80 is formed on the interlayer insulating film 79. The color filter layer 80 includes, for example, three or more color regions such as a red region, a green region, and a blue region, and one color region is assigned to each pixel PIX.
[0063]
On the color filter layer 80, a microlens 81 is formed of a resist material or the like corresponding to each pixel PIX. One microlens 81 is formed on each pixel PIX and has a function of converging light incident from above into an opening defined by the light shielding film 78.
[0064]
Light incident through the microlens 81 is color-separated by the color filter layer 80 and is incident on the photodiode regions of the main photosensitive pixel 61 and the secondary photosensitive pixel 62, respectively. The light incident on each photodiode region is converted into a signal charge corresponding to the amount of light, and is separately read out to the vertical transfer path 63.
[0065]
In this way, two types of image signals (high-sensitivity image signal and low-sensitivity image signal) having different sensitivities can be separately extracted from one pixel PIX, and an optically in-phase image signal is obtained.
[0066]
FIG. 5 shows the arrangement of the pixels PIX and the vertical transfer paths 63 in the light receiving area PS of the CCD 13. The pixel PIX has a honeycomb structure in which the center points of the geometrical shape of the cells are arranged so as to be shifted by half the pixel pitch (1/2 pitch) every other row direction and column direction. That is, in the rows (or columns) of pixels PIX adjacent to each other, the cell arrangement in one row (or column) is in the row direction (or column direction) with respect to the cell arrangement in the other row (or column). The structure is arranged so as to be relatively shifted by approximately ½ of the arrangement interval.
[0067]
In FIG. 5, a VCCD driving circuit 84 for applying a pulse voltage to the transfer electrode EL is arranged on the right side of the light receiving region PS in which the pixels PIX are arranged. Each pixel PIX includes the main photosensitive portion (main pixel) and the secondary photosensitive portion (sub-pixel) as described above. The vertical transfer path 63 is arranged meandering close to each column.
[0068]
Further, a horizontal transfer path (HCCD) 85 that transfers the signal charges transferred from the vertical transfer path 30 in the horizontal direction is provided below the light receiving area PS (at the lower end side of the vertical transfer path 63).
[0069]
The horizontal transfer path 85 is constituted by a transfer CCD driven by two phases, and the final stage (the leftmost stage in FIG. 1) of the horizontal transfer path 85 is connected to the output unit 86. The output unit 86 includes an output amplifier, performs charge detection of the input signal charge, and outputs it as a signal voltage to the output terminal. In this way, a signal photoelectrically converted by each pixel PIX is output as a dot-sequential signal sequence.
[0070]
FIG. 6 is a graph showing the photoelectric conversion characteristics of the main photosensitive pixel 61 and the secondary photosensitive pixel 62. The horizontal axis represents the amount of incident light, and the vertical axis represents the image data value (QL value) after A / D conversion. In this example, 12-bit data is illustrated, but the number of bits is not limited to this.
[0071]
As shown in the figure, the sensitivity ratio between the main photosensitive pixel 61 and the secondary photosensitive pixel 62 is 1: 1 / a (where a> 1). The output of the main photosensitive pixel 61 gradually increases in proportion to the amount of incident light. When the amount of incident light is “c”, the output reaches a saturation value (QL value = 4095). Thereafter, even if the amount of incident light increases, the output of the main photosensitive pixel 61 becomes constant. This “c” will be referred to as the saturation light amount of the main photosensitive pixel 61.
[0072]
On the other hand, the sensitivity of the secondary photosensitive pixel 62 is 1 / a of the sensitivity of the main photosensitive pixel 61 and is saturated at a QL value = 4095 / b when the incident light quantity is α × c (where b> 1, α = a / b). “Α × c” at this time is referred to as the saturation light amount of the secondary photosensitive pixel 62.
[0073]
In this way, by combining the main photosensitive pixel and the secondary photosensitive pixel having different sensitivities, the dynamic range of the CCD 13 can be expanded α times (in this example, expanded by about four times) compared to the configuration of only the main photosensitive pixel.
[0074]
The AE process and the AF process associated with S1 = ON of the shutter button are performed based on the signal obtained from the main photosensitive pixel 61. When a shooting mode for performing wide dynamic range imaging is selected, or when a wide dynamic range imaging mode is automatically selected based on an AE result (ISO sensitivity or photometric value) or a white balance gain value The exposure of the CCD 13 is performed in response to S2 = ON of the shutter button, and after exposure, the main photosensitive pixel is first synchronized with the vertical drive signal (VD) in a state where the mechanical shutter is closed to block the entrance of light. The electric charge 61 is read out, and then the electric charge of the sub-photosensitive pixel 62 is read out.
[0075]
Hereinafter, processing of the output signal of the CCD 13 will be described.
[0076]
FIG. 7 is a block diagram showing a detailed configuration of the signal processing unit 46 shown in FIG.
[0077]
As shown in FIG. 7, the signal processing unit 46 includes an offset processing unit 101, a shading correction unit 102, a defect correction unit 103, a white balance (WB) gain unit 104, a gamma correction unit 105, an addition unit 106, and a YC conversion unit 107. And various correction units 108.
[0078]
The offset processing unit 101 is a processing unit that corrects the dark current component of the CCD output, and performs an operation of subtracting the value of the optical black (OB) signal obtained from the light-shielded pixel on the CCD 13 from the pixel value.
[0079]
The shading correction unit 102 is a processing unit that corrects the non-uniformity of the CCD output due to the variation in the light amount distribution caused by the optical system, and multiplies the pixel value by a correction coefficient prepared in advance according to the position of the pixel PIX. To equalize the output level.
[0080]
Note that since the occurrence of luminance shading is different between the main photosensitive pixel 61 and the secondary photosensitive pixel 62, different shading correction is performed on the pixel value of the primary photosensitive pixel 61 and the pixel value of the secondary photosensitive pixel 62. The main photosensitive pixel tends to be darker with respect to the center of the screen, and the secondary photosensitive pixel 62 is peculiar in relation to the position of the microlens 81 and the formation position of the secondary photosensitive pixel 62 in the pixel PIX. Shading (for example, a phenomenon in which the amount of light around the center of the screen increases) occurs. In accordance with the shading patterns of the main photosensitive pixel 61 and the secondary photosensitive pixel 62, signal correction processing is performed to eliminate this.
[0081]
The defect correcting unit 103 is a processing unit that corrects the signal value of the defective pixel of the CCD 13. The defects of the pixel PIX are: (1) when only the primary photosensitive pixel 61 is scratched; (2) when only the secondary photosensitive pixel 62 is scratched; and (3) both the primary photosensitive pixel 61 and the secondary photosensitive pixel 62 are defective. When it is a scratch, there are three modes: Although the flaw correction algorithm corresponding to the above three modes will be described in detail later, as a correction method, a conventional method (low-pass filter type) method of correcting using pixel values of pixels PIX around the defective pixel, There is a method of correcting using the pixel value of the normal secondary photosensitive pixel or the pixel value of the main photosensitive pixel in the same pixel PIX, and the correction method is switched depending on the situation.
[0082]
Image data obtained by the defect correction processing by the defect correction unit 103 is stored in the memory 22 as CCD RAW data. The CCD RAW data stored in the memory 22 is sent to the WB gain unit 104.
[0083]
The WB gain unit 104 includes a gain variable amplifier for increasing / decreasing the levels of the R, G, and B color signals, and adjusts the gain of each color signal based on a command from the CPU 16. The signal subjected to gain processing in the WB gain unit 104 is sent to the gamma correction unit 105.
[0084]
The gamma correction unit 105 converts the input / output characteristics so as to obtain a desired gamma characteristic in accordance with a command from the CPU 16. The gamma-corrected image signal is sent to the adding unit 106. The adding unit 106 is a processing unit that adds (synthesizes) the image signal obtained from the main photosensitive pixel and the image signal obtained from the sub-photosensitive pixel, and generates an output signal according to the following equation (1).
[0085]
[Expression 1]
Output signal = g × (main photosensitive pixel signal) + (1−g) × (secondary photosensitive pixel signal)
However, the coefficient g indicating the addition ratio can be appropriately set within the range of 0 ≦ g ≦ 1.
The CPU 16 variably sets the coefficient g according to the situation.
[0086]
An output signal from the adding unit 106 is sent to the YC processing unit 107. The YC processing unit 107 interpolates the spatial shift of the color signal associated with the color filter array structure of the single CCD 13 and calculates the color (RGB) of each point, and the luminance / color difference signal from the RGB signal. A YC conversion processing unit to be generated.
[0087]
The luminance / color difference signal (YCr Cb) generated by the YC processing unit 107 is sent to various correction units 108. The various correction units 108 include, for example, a contour enhancement (aperture correction) unit and a color correction unit using a color difference matrix.
[0088]
Next, a scratch correction method in the camera 10 configured as described above will be described.
[0089]
FIG. 8 is a flowchart of a scratch correction processing routine illustrating a first control example. When the scratch correction process is started (step S110), first, the scratch correction of the main photosensitive pixel 61 is performed (step S120). Since the position information of the defective pixel of the main photosensitive pixel 61 is stored in the EEPROM 24 in advance, a low-pass filter (LPF) type using the pixel value of the normal main photosensitive pixel 61 located around the defective pixel based on the position information. (Correction such as replacement with surrounding pixel information or outputting an average value of several surrounding pixels) is performed (step S130).
[0090]
It is determined whether or not the LPF type correction has been completed for all the main photosensitive pixel scratches stored in the EEPROM 24 (step S140). If the correction has not been completed, the correction process of step S130 is performed for other main photosensitive pixel scratches. repeat.
[0091]
When the correction is completed for all the main photosensitive pixel scratches in step S140, the process proceeds to step S150, and the scratch correction of the secondary photosensitive pixels 62 is started. When correcting the secondary photosensitive pixel scratch, first, the divided photometry data is called for the divided photometric area including the secondary photosensitive pixel scratch (step S152), and the photometric data (an evaluation value indicating the average brightness of the area) is used. Based on this, the dynamic range is determined (step S154).
[0092]
It is determined whether or not the brightness of the area (section) containing the secondary photosensitive pixel scratch is within the dynamic range of the primary photosensitive pixel (dynamic range of 100% or less) (step S154), and the dynamic range is 100. If it is less than%, that is, if the main photosensitive pixel data is not saturated, the process proceeds to step S156. It is preferable to provide a certain margin for the saturation determination.
[0093]
In step S156, it is determined whether or not the main photosensitive pixel Main [y] [x] in the same pixel PIX as the correction target secondary photosensitive pixel Sub [y] [x] is damaged. This determination is made based on defective pixel position information in the EEPROM 24.
[0094]
When the main photosensitive pixel Main [y] [x] is scratched, that is, when it is determined that both the primary photosensitive pixel and the secondary photosensitive pixel are scratched at a certain photosensitive pixel position ([y] [x]), As described above, the low-pass filter type correction is performed, and the pixel value is determined from each neighboring photosensitive pixel information (step S158).
[0095]
On the other hand, in step S156, if the main photosensitive pixel Main [y] [x] is a normal pixel, the output of the main photosensitive pixel Main [y] [x] at the same position as the secondary photosensitive pixel scratch is determined by the sensitivity ratio. Fill with the divided value (step S160).
[0096]
That is, the value of the sub-photosensitive pixel Sub [y] [x] is determined according to the following equation [Equation 2].
[0097]
## EQU2 ## Sub [y] [x] = Main [y] [x] / sensitivity ratio
By correcting the defect of the secondary photosensitive pixel 62 by the pixel value of the primary photosensitive pixel 61 in the same pixel cell, the low-pass filter effect becomes lower than that of the conventional correction, and the resolution can be maintained even after correction. it can.
[0098]
After step S158 or step S160, the process proceeds to step S170. In step S170, it is determined whether or not the correction has been completed for all the sub-photosensitive pixel scratches stored in the EEPROM 24. If the correction has not been completed, the process returns to step S154, and the above correction processing is performed for other sub-photosensitive pixel scratches. repeat.
[0099]
When the correction for all the sub-photosensitive pixel flaws is completed in step S170, the flaw correction sequence is terminated (step S180).
[0100]
If the dynamic range becomes 100% or more in step S154, that is, if the main photosensitive pixel data is saturated, the process proceeds to step S158, and the secondary photosensitive pixel scratches are corrected by low-pass filter type correction. fill in.
[0101]
As described above, when the defect of the secondary photosensitive pixel 62 is corrected, only the section determined to have a dynamic range of 100% or less is corrected with the main photosensitive pixel data at the same position. Since the main photosensitive pixel data at the same position as the secondary photosensitive pixel scratch is saturated in the area of more than%, if correction is performed using the data of the main photosensitive pixel, the correction is not accurate in terms of level. is there.
[0102]
In the flowchart of FIG. 8, the presence or absence of saturation of the main photosensitive pixel is determined from the evaluation value of each area indicated by the divided photometry data. However, in the present invention, each area when shooting is performed under the exposure condition determined by the AE control. An evaluation value may be predicted and it may be determined from the predicted value whether the main photosensitive pixel is saturated.
[0103]
It is also possible to determine whether or not the main photosensitive pixel 61 is saturated directly from the image data acquired by S2 = ON after AE.
[0104]
FIG. 9 is a flowchart of a scratch correction processing routine showing a second control example. In FIG. 9, steps that are the same as those in the flowchart of FIG. 8 are given the same step numbers, and descriptions thereof are omitted.
[0105]
In the control example shown in FIG. 9, the processing of step S153 and step S155 is performed instead of the processing step of step S152 and step S154 in the flowchart of FIG.
[0106]
That is, according to FIG. 9, when correction of the secondary photosensitive pixel scratch is started (step S150), the primary photosensitive pixel data (pixel value of the primary photosensitive pixel) in the same pixel PIX as the secondary photosensitive pixel scratch is stored from the memory 22. Reading (step S153), it is determined whether or not the main photosensitive pixel Main [y] [x] in the same pixel PIX as the sub-photosensitive pixel Sub [y] [x] to be corrected is saturated (step S155).
[0107]
As described with reference to FIG. 6, the saturation determination determines whether or not the saturation value has been reached. This saturation determination is provided with a certain margin, and the determination reference value is more than the saturation value (QL value = 4095). A low value may be set.
[0108]
If it is determined in step S155 in FIG. 9 that the main photosensitive pixel data at the same position as the secondary photosensitive pixel scratch is saturated, the conventional type (low-pass filter type) correction is performed (step S158). On the other hand, if the primary photosensitive pixel data at the same position as the secondary photosensitive pixel scratch is not saturated, the process proceeds to step S156 to determine whether or not the primary photosensitive pixel Main [y] [x] is scratched.
[0109]
If the main photosensitive pixel Main [y] [x] is flawed, low-pass filter type correction is performed (step S158). If the main photosensitive pixel Main [y] [x] is a normal pixel, the main photosensitive pixel Main is processed. The value of the secondary photosensitive pixel Sub [y] [x] is determined using the [y] [x] output (step S160).
[0110]
In this way, instead of using the divided photometry data acquired in response to S1 = ON, whether or not the main photosensitive pixel 61 is saturated is determined based on the actual main photosensitive pixel data acquired in S2 = ON. May be.
[0111]
In the control examples described with reference to FIGS. 8 and 9, since the data of the photosensitive pixel 62 is not used in accordance with the defect correction of the main photosensitive pixel 61, the CCD RAW data of the main photosensitive pixel 61 is acquired and then the secondary photosensitive pixel 62. There is an advantage that the signal processing (white balance processing, gamma correction, etc.) of the CCD RAW data of the main photosensitive pixel 61 can be started immediately when the data is read out.
[0112]
FIG. 10 is a flowchart of a scratch correction processing routine showing a third control example. In FIG. 10, steps that are the same as those in the flowchart of FIG. 8 are given the same step numbers, and descriptions thereof are omitted.
[0113]
When the correction of the main photosensitive pixel scratch is started in step S120 of FIG. 10, first, the divided photometry data at the time of AE processing is read from the divided photometry area including the scratch pixel (step S122), and the brightness is determined based on the photometry data. (Step S124).
[0114]
In step S124, a luminance determination reference value is set, and it is determined whether or not the acquired image data is an area having a higher luminance than the determination reference value.
[0115]
If it is determined in step S124 that the area is a high-intensity part, the process proceeds to step S126, and the secondary photosensitive pixel Sub [y] [x] in the same pixel PIX as the correction target main photosensitive pixel Main [y] [x] is damaged. It is determined whether or not there is. This determination is made based on defective pixel position information in the EEPROM 24.
[0116]
When the secondary photosensitive pixel Sub [y] [x] is scratched, that is, when it is determined that both the primary photosensitive pixel and the secondary photosensitive pixel are scratched at a certain photosensitive pixel position ([y] [x]), In the same manner, low-pass filter type correction is performed (step S130), and each neighboring photosensitive pixel information is filled.
[0117]
On the other hand, if the secondary photosensitive pixel Sub [y] [x] is a normal pixel in step S130, the output of the secondary photosensitive pixel Sub [y] [x] at the same position is multiplied by the sensitivity ratio of the primary photosensitive pixel scratch. Fill with values (step S132).
[0118]
That is, the value of the main photosensitive pixel Main [y] [x] is determined according to the following equation [Equation 3].
[0119]
Main [y] [x] = sensitivity ratio × Sub [y] [x]
However, if the calculation result of the equation (3) exceeds the saturated output value, the output signal is clipped with the saturated output value.
[0120]
As described above, when the data of the secondary photosensitive pixel 62 is used to correct the scratch of the primary photosensitive pixel 61, there is a risk that the S / N is deteriorated due to a large gain. In a low luminance part (luminance region lower than the determination reference value) that is a concern, an LPF type correction is performed as usual, and a method of filling pixel values from neighboring pixel information is used.
[0121]
In the area near the saturated light quantity on the higher luminance side than the determination reference value, the secondary photosensitive pixel defect can be appropriately corrected by the primary photosensitive pixel output in the same pixel PIX.
[0122]
Note that, in a high luminance area exceeding the saturation light amount, the saturation output value (4095) of the main photosensitive pixel is exceeded even if the data of the secondary photosensitive pixel is multiplied by the sensitivity, so the correction value is the saturation output value (4095). Clip.
[0123]
After step S130 or step S132, the process proceeds to step S140. In step S140, it is determined whether or not the LPF type correction has been completed for all the main photosensitive pixel scratches stored in the EEPROM 24 (step S140). If not completed, the process returns to step S124 to return to other main photosensitive pixels. The correction process is repeated for pixel scratches.
[0124]
When the correction is completed for all the main photosensitive pixel scratches in step S140, the process proceeds to step S150, and the scratch correction of the secondary photosensitive pixels 62 is started. The correction of the secondary photosensitive pixel defect is as described with reference to FIG.
[0125]
In the control example shown in FIG. 10, since the main photosensitive pixel defect is corrected using the pixel value of the secondary photosensitive pixel 62, both the data of the primary photosensitive pixel 61 and the data of the secondary photosensitive pixel 62 are temporarily stored in the memory. 22. Then, the data of the main photosensitive pixel 61 and the data of the secondary photosensitive pixel 62 are read from the memory 22, and defect correction processing is performed.
[0126]
[Modification]
FIG. 11 shows another structural example of the CCD 13. 11 is a plan view, and FIG. 12 is a cross-sectional view taken along line 12-12 of FIG. In these drawings, members that are the same as or similar to those shown in FIGS. 2 and 3 are given the same reference numerals, and descriptions thereof are omitted.
[0127]
As shown in FIG. 11 and FIG. 12, p between the primary photosensitive pixel 61 and the secondary photosensitive pixel 62. ⁺ A mold separation region 88 is formed. The isolation region 88 functions as a channel stop region (channel stopper), and electrically isolates the photodiode region. A light shielding film 89 is formed above the separation region 88 at a position corresponding to the separation region 88.
[0128]
By using the light shielding film 89 and the separation region 88, the incident light is efficiently separated and the charges accumulated in the main photosensitive pixel 61 and the secondary photosensitive pixel 62 are prevented from being mixed thereafter. Other configurations are the same as the example shown in FIGS.
[0129]
Further, the cell shape and the opening shape of the pixel PIX are not limited to the examples shown in FIGS. 2 and 11, and may take various forms such as a polygon and a circle. Furthermore, the separation shape (divided form) of each light receiving cell is not limited to the shape shown in FIGS.
[0130]
FIG. 13 shows still another structural example of the CCD 13. In FIG. 13, members that are the same as or similar to those shown in FIGS. 2 and 11 are given the same reference numerals, and descriptions thereof are omitted. FIG. 13 shows a configuration in which two photosensitive portions (61, 62) are separated in an oblique direction.
[0131]
In this way, it is only necessary that the accumulated charges in the respective divided photosensitive areas can be read out separately to the vertical transfer path, and the shape of division, the number of divisions, the size relationship of areas, and the like are appropriately designed. However, the area of the secondary photosensitive pixel is set to a smaller value than the area of the main photosensitive pixel. In addition, it is preferable to suppress a decrease in the area of the main photosensitive portion and minimize a decrease in sensitivity.
[0132]
In the above description, a CCD having a honeycomb structure pixel array has been described as an example. However, the scope of application of the present invention is not limited to this, and an image sensor having a pixel array in which all pixels are arranged in a square matrix is used. You can also.
[0133]
In the above-described embodiment, the digital camera is exemplified. However, the scope of application of the present invention is not limited to this, and electronic imaging such as a video camera, a DVD camera, a mobile phone with a camera, a PDA with a camera, a mobile personal computer with a camera, etc. The present invention can also be applied to other imaging apparatuses having functions.
[0134]
【The invention's effect】
As described above, according to the present invention, in the solid-state imaging device including the primary photosensitive pixel and the secondary photosensitive pixel that optically capture the information of the same phase, the secondary photosensitive pixel defect is detected in the primary photosensitive pixel in the same pixel cell. Since the correction is made based on the pixel value, the low-pass filter effect is low as compared with the conventional correction, and the resolution can be maintained even after correction.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electronic camera according to an embodiment of the present invention.
2 is a plan view showing the structure of the light receiving surface of the CCD shown in FIG.
3 is a cross-sectional view taken along line 3-3 in FIG.
4 is a cross-sectional view taken along line 4-4 of FIG.
5 is a schematic plan view showing the overall configuration of the CCD shown in FIG.
FIG. 6 is a graph showing photoelectric conversion characteristics of a main photosensitive pixel and a secondary photosensitive pixel.
7 is a block diagram showing a detailed configuration of a signal processing unit shown in FIG.
FIG. 8 is a flowchart of a scratch correction processing routine showing a first control example in the camera of this example.
FIG. 9 is a flowchart of a scratch correction processing routine showing a second control example in the camera of this example.
FIG. 10 is a flowchart of a scratch correction processing routine showing a third control example in the camera of this example.
FIG. 11 is a plan view showing another structural example of a CCD.
12 is a cross-sectional view taken along the line 12-12 in FIG.
FIG. 13 is a plan view showing still another structural example of a CCD.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Camera, 13 ... CCD, 16 ... CPU, 22 ... Memory, 24 ... EEPROM, 61 ... Photodiode area (main photosensitive pixel), 62 ... Photodiode area (secondary photosensitive pixel), 63 ... Vertical transfer path, 80 ... Color filter layer, 81 ... micro lens, 103 ... scratch correction unit, 106 ... addition unit, PIX ... pixel, PS ... light receiving area

Claims

A large number of pixel cells composed of a combination of a primary photosensitive pixel having a relatively large area and a secondary photosensitive pixel having a relatively small area are arranged in accordance with a predetermined arrangement form, and signal charges photoelectrically converted by the primary photosensitive pixel In a solid-state imaging device having a structure capable of selectively extracting a signal based on the signal and a signal based on the signal charge photoelectrically converted by the sub-photosensitive pixel,
For any pixel cell of the solid-state imaging device, when the primary photosensitive pixel constituting the pixel cell is a normal pixel and the secondary photosensitive pixel is a defective pixel,
Determining whether the signal level obtained from the main photosensitive pixel of the pixel cell existing around the pixel cell including the defective secondary photosensitive pixel is less than a predetermined saturation level indicating a saturated output;
When the signal level obtained from the primary photosensitive pixel of the surrounding pixel cell is less than the saturation level, the defective secondary photosensitivity is based on the pixel value of the primary photosensitive pixel in the same pixel cell as the defective secondary photosensitive pixel. A defective pixel correction method for a solid-state imaging device, wherein the pixel value of a pixel is corrected.

The pixel value of the defective secondary photosensitive pixel is obtained by performing an operation of dividing the pixel value of the primary photosensitive pixel in the same pixel cell as the defective secondary photosensitive pixel by the sensitivity ratio of the primary photosensitive pixel and the secondary photosensitive pixel. The defective pixel correction method of the solid-state image sensor according to claim 1.

For any pixel cell of the solid-state imaging device, when the main photosensitive pixel constituting the pixel cell is a defective pixel, the main photosensitive pixel of the pixel cell existing around the pixel cell including the defective main photosensitive pixel 3. The defective pixel correction method for a solid-state imaging device according to claim 1, wherein the pixel value of the defective main photosensitive pixel is corrected based on the pixel value.

For any pixel cell of the solid-state imaging device, when the primary photosensitive pixel constituting the pixel cell is a defective pixel and the secondary photosensitive pixel is a normal pixel,
When the signal level obtained from the main photosensitive pixel of the pixel cell existing around the pixel cell including the defective main photosensitive pixel is a level exceeding a predetermined determination reference value, it is within the same pixel cell as the defective main photosensitive pixel. 3. The defective pixel correction method for a solid-state imaging device according to claim 1, wherein the pixel value of the defective main photosensitive pixel is corrected based on the pixel value of the secondary photosensitive pixel.

The pixel value of the defective primary photosensitive pixel is obtained by performing an operation of multiplying the pixel value of the secondary photosensitive pixel in the same pixel cell as the defective primary photosensitive pixel by the sensitivity ratio of the primary photosensitive pixel and the secondary photosensitive pixel. The defective pixel correction method of the solid-state imaging device according to claim 4.

A large number of pixel cells composed of a combination of a primary photosensitive pixel having a relatively large area and a secondary photosensitive pixel having a relatively small area are arranged in accordance with a predetermined arrangement form, and signal charges photoelectrically converted by the primary photosensitive pixel And a solid-state imaging device having a structure capable of selectively extracting a signal based on a signal based on a signal charge photoelectrically converted by the sub-photosensitive pixel, and
For any pixel cell of the solid-state imaging device, if the primary photosensitive pixel constituting the pixel cell is a normal pixel and the secondary photosensitive pixel is a defective pixel, the pixel including the defective secondary photosensitive pixel Determination means for determining whether or not a signal level obtained from a main photosensitive pixel of a pixel cell existing around the cell is lower than a predetermined saturation level indicating a saturation output;
When it is determined by the determination means that the signal level obtained from the main photosensitive pixel of the surrounding pixel cell is a signal level lower than the saturation level, it is within the same pixel cell as the defective secondary photosensitive pixel. Defective pixel correction means for correcting the pixel value of the defective secondary photosensitive pixel based on the pixel value of the primary photosensitive pixel;
An imaging apparatus comprising:

A color filter of the same color component is arranged for the main photosensitive pixel and the secondary photosensitive pixel in the same pixel cell, and one microlens is provided for each pixel cell above each pixel cell. The imaging apparatus according to claim 6.