JP2010130236A - 欠陥検出回路及び撮像装置 - Google Patents

欠陥検出回路及び撮像装置 Download PDF

Info

Publication number
JP2010130236A
JP2010130236A JP2008301624A JP2008301624A JP2010130236A JP 2010130236 A JP2010130236 A JP 2010130236A JP 2008301624 A JP2008301624 A JP 2008301624A JP 2008301624 A JP2008301624 A JP 2008301624A JP 2010130236 A JP2010130236 A JP 2010130236A
Authority
JP
Japan
Prior art keywords
pixel
defect detection
pixels
signal
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008301624A
Other languages
English (en)
Inventor
Hide Itsunoi
秀 五ノ井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008301624A priority Critical patent/JP2010130236A/ja
Publication of JP2010130236A publication Critical patent/JP2010130236A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】単独欠陥の検出であっても連続欠陥の検出であっても容易に検出することができる信号処理回路及びそれを備えた撮像装置を提供すること。
【解決手段】固体撮像素子10における複数の画素のうち1個の画素を欠陥検出対象とし、当該欠陥検出対象画素から出力される画素信号と当該欠陥検出対象画素に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超えたときに欠陥検出対象画素を欠陥画素と判定する第1欠陥検出部31と、固体撮像素子10の複数の画素のうち同色の隣接するn個(nは2以上の整数)の画素を欠陥検出対象画素群とし、当該欠陥検出対象画素群の画素から出力される画素信号の信号レベルと当該欠陥検出対象画素群に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超える画素を欠陥画素と判定する第2欠陥検出部32とを備える。
【選択図】図12

Description

本発明は、固体撮像素子の画素の欠陥を検出する欠陥検出回路及びそれを備えた撮像装置に関する。
近年、デジタルスチルカメラやデジタルビデオカメラなど、撮像素子を用いて画像を撮像して保存できる撮像装置が広く普及している。このような撮像装置に用いる撮像素子としては、半導体で構成されるCCD型の固体撮像素子やCMOS型の固体撮像素子が用いられている。
これらの固体撮像素子は、半導体の局部的な結晶欠陥や画素表面への微小ゴミの付着などによって、異常な画素信号を出力する欠陥画素が生じる。このような場合、その欠陥画素が画質を劣化させる原因となることが知られている。
そこで、固体撮像素子を用いた撮像装置においては、固体撮像素子の欠陥画素を検出し、欠陥画素から出力される画素信号を補正することによって欠陥画素に起因する画質劣化を改善するようにしている。
欠陥画素の検出は、一般に、欠陥検出対象画素とその隣接画素との信号レベル差が閾値を越えるか否かで判定される。そして、信号レベル差が閾値を越えると欠陥検出対象画素を欠陥画素と判定する。そして、欠陥画素の位置情報であるアドレス(以下、「欠陥アドレス」とする)がSRAMなどの揮発性の記憶部(以下、「揮発性メモリ」とする)に保持され、さらにEEPROMなどの不揮発性の記憶部(以下、「不揮発性メモリ」とする)に記憶される。また、欠陥画素から出力される画素信号の補正は、起動時にあらかじめ不揮発性メモリに記憶されてあった欠陥アドレスが揮発性メモリに展開されており、読み出している画素のアドレスと揮発性メモリ内の欠陥アドレスとを比較する。そして、それらのアドレスが一致すれば欠陥画素に隣接する同色の複数の画素(以下、「同色隣接画素」という。)の平均値などにより欠陥画素から出力される画素信号を補正する(特許文献1参照)。
また、近年では、固体撮像素子の高解像度化や小型化に伴って画素が微細化し、微小ゴミが複数画素に跨って付着する事も多くなってきており、これが固体撮像素子の歩留まり低下に大きな影響を与えている。そのため、上述した単独の欠陥画素(単独欠陥)だけではなく、複数画素に跨る連続欠陥、すなわち同色隣接画素が連続して欠陥画素である場合についての検出も重要となってきており、種々の欠陥検出方法が提案されている(特許文献2参照)。
特開平06−22322号公報 特開平07−15670号公報
しかしながら、従来の連続欠陥の検出では、周辺画素も欠陥であることを想定し閾値を設定することが必要となり、調整が非常に難しい。
そこで、本発明は、単独欠陥の検出であっても連続欠陥の検出であっても容易に検出することができる欠陥検出回路及びそれを備えた撮像装置を提供することを目的とする。
かかる目的を達成するために、請求項1に記載の発明は、固体撮像素子における複数の画素のうち1個の画素を欠陥検出対象とし、当該欠陥検出対象画素から出力される画素信号と当該欠陥検出対象画素に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超えたときに前記欠陥検出対象画素を欠陥画素と判定する第1欠陥検出部と、前記固体撮像素子の複数の画素のうち同色の隣接するn個(nは2以上の整数)の画素を欠陥検出対象画素群とし、当該欠陥検出対象画素群の画素から出力される画素信号の信号レベルと当該欠陥検出対象画素群に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超える画素を欠陥画素と判定する第2欠陥検出部と、を備え、前記第1欠陥検出部及び前記第2欠陥検出部により欠陥画素の検出を可能とした欠陥検出回路とした。
また、請求項2に記載の発明は、請求項1に記載の欠陥検出回路において、前記第1欠陥検出部及び前記第2欠陥検出部のうちいずれか一方を選択的に動作可能とした。
また、請求項3に記載の発明は、請求項1に記載の欠陥検出回路において、前記第1欠陥検出部及び前記第2欠陥検出部のうち少なくともいずれか一方で欠陥画素と判定した画素を欠陥画素として検出した。
また、請求項4に記載の発明は、請求項1〜3のいずれか1項に記載の欠陥検出回路において、前記固体撮像素子は、垂直方向の同色k画素で加算出力可能とし、前記検出した欠陥画素のアドレスを記憶する記憶部を備え、前記記憶部は、前記同色k画素のそれぞれに対応して欠陥画素のアドレスを記憶するための記憶素子をk個設けた。
また、請求項5に記載の発明は、固体撮像素子と、前記固体撮像素子の欠陥画素を検出する欠陥検出回路とを有し、前記欠陥検出回路は、前記固体撮像素子における複数の画素のうち1個の画素を欠陥検出対象とし、当該欠陥検出対象画素から出力される画素信号と当該欠陥検出対象画素に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超えたときに前記欠陥検出対象画素を欠陥画素と判定する第1欠陥検出部と、前記固体撮像素子の複数の画素のうち同色の隣接するn個(nは2以上の整数)の画素を欠陥検出対象画素群とし、当該欠陥検出対象画素群の画素から出力される画素信号の信号レベルと当該欠陥検出対象画素群に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超える画素を欠陥画素と判定する第2欠陥検出部と、を備え、前記第1欠陥検出部及び前記第2欠陥検出部により欠陥画素の検出を可能とした撮像装置とした。
本発明によれば、単独欠陥の検出であっても連続欠陥の検出であっても容易に検出することができる欠陥補正回路及びそれを備えた撮像装置を提供することができる。
以下、発明を実施するための最良の形態(以下、「実施形態」とする)について説明する。なお、説明は以下の順序で行う。
1.撮像装置の全体構成
2.固体撮像素子の構成
3.固体撮像素子からの画素信号の読み出し処理
4.欠陥検出処理及び欠陥補正処理
[1.撮像装置の全体構成]
まず、本実施形態おける撮像装置の構成について図面を用いて説明する。図1は本実施形態における撮像装置の構成を示す図である。
図1に示すように、撮像装置1は、固体撮像素子10、A/D(アナログ/デジタル)変換回路11、信号処理回路12、システムコントローラ13、入力部14、光学ブロック15を具備している。また、この撮像装置1には、光学ブロック15内の機構を駆動するためのドライバ16、固体撮像素子10を駆動するためのタイミングジェネレータ(TG)17などが設けられている。
光学ブロック15は、被写体からの光を固体撮像素子10へ集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、メカシャッタ、絞りなどを具備している。ドライバ16は、システムコントローラ13からの制御信号に応じて、光学ブロック15内の機構の駆動を制御する。
固体撮像素子10は、TG17から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。TG17は、システムコントローラ13の制御の下でタイミング信号を出力する。
A/D変換回路11は、固体撮像素子10から出力された画像信号をA/D変換してデジタル画像信号を出力する。画像信号は、固体撮像素子10の各画素から出力される画素信号から構成される。
信号処理回路12は、A/D変換回路11からのデジタル画像信号に対するAF(Auto Focus)、AE(Auto Exposure)、欠陥画素の検出処理及び補正処理、ホワイトバランス調整、マトリクス処理などの各種カメラ信号処理を実行する。
システムコントローラ13は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成される。CPUはROMに記憶されたプログラムを実行することにより、この撮像装置1の各部を統括的に制御し、また、その制御のための各種演算を実行する。入力部14は、ユーザの操作入力を受け付ける操作キー、ダイアル、レバーなどを含み、操作入力に応じた制御信号をシステムコントローラ13に出力する。
この撮像装置1では、固体撮像素子10の各受光素子で受光され、光電変換された画素信号が、順次A/D変換回路11に供給されてデジタル信号に変換され、信号処理回路12により欠陥補正処理などが行われて、画像データとして出力される。
信号処理回路12から出力された画像データは、図示しないグラフィックインタフェース回路に供給されて表示用の画像信号に変換され、これにより図示しないモニタにカメラスルー画像が表示される。また、入力部14へのユーザの入力操作などによりシステムコントローラ13に対して画像の記録が指示されると、信号処理回路12からの画像データはCODEC(enCOder,DECoder)に供給され、圧縮符号化処理が施されて記録媒体に記録される。静止画像の記録の際には、信号処理回路12からは1フレーム分の画像データがCODECに供給され、動画像の記録の際には、処理された画像データがCODECに連続的に供給される。
[2.固体撮像素子の構成]
次に、本実施形態おける固体撮像素子10の構成について図面を用いて説明する。図2は固体撮像素子10の構成を示す図、図3は固体撮像素子10の画素配列の説明図である。なお、本実施形態においては、説明の便宜上、画素を数十個としているが、実際には水平方向(H方向)及び垂直方向(V方向)に数百個から数千個の画素が配列される。
図2に示すように、固体撮像素子10は、半導体基板21上に撮像領域22、定電流部23、列信号処理部24、垂直選択手段25、水平選択手段26、水平信号線27、出力処理部28、タイミングジェネレータ(TG)29等を設けたものである。
撮像領域22は、受光素子を有する多数の画素22a(図3参照)を備えており、各画素22aにおいて受光量に応じた画素信号が生成される。各画素22aの画素信号は、各画素列毎に垂直信号線(図示せず)を通して列信号処理部24に出力される。定電流部23には各画素22aにバイアス電流を供給するための定電流源(図示せず)が各画素列毎に配置されている。また、垂直選択手段25は、撮像領域22の各画素22aを1行(1水平ライン)ずつ選択し、各画素22aの読み出し動作などを駆動制御するものである。
列信号処理部24は、垂直信号線を通して得られる画素信号を1行分ずつ(1水平ライン毎に)受け取り、所定の信号処理を行い、その信号を一時保持する。例えば、CDS(画素トランジスタの閾値のばらつきに起因する固定パターンノイズを除去する)処理、AGC(オートゲインコントロール)処理等を適宜行う。
水平選択手段26は、列信号処理部24の信号を一つずつ選択し、水平信号線27に導く。出力処理部28は、水平信号線27からの信号に所定の処理を行い、外部に出力するものであり、例えばゲインコントロール回路を有している。タイミングジェネレータ29は、基準クロックに基づいて各部の動作に必要な各種のパルス信号等を供給する。
撮像領域22に設けられた各画素22aは、受光量に応じた信号電荷を生成するフォトダイオードなどの受光素子を有しており、受光素子上に分光特性の異なる例えばR(赤色)、G(緑色)、B(青色)のカラーフィルタが形成される。ここでは、図3に示すように、R、G、Bのカラーフィルタが1:2:1の比率で配設されてなるベイヤー配列としている。各画素22aには、画素トランジスタ(図示せず)が設けられており、受光素子での受光量に応じた信号電荷を、受光素子上に形成されたカラーフィルタに応じた色成分のアナログの電気信号に変換し、R、G、B各色の画像信号として出力する。なお、図3において、例えば、「1R1」は第1水平ライン(R第1ライン)の1番目のRの画素22aであり、「2Gb2」は第4水平ライン(B第2ライン)の3番目のGの画素22aである。
[3.固体撮像素子からの画素信号の読み出し処理]
次に、固体撮像素子10からの画素信号の読み出し処理について図面を参照して説明する。図4〜図11は固体撮像素子10からの画素信号の読み出し処理の説明図である。
システムコントローラ13は、固体撮像素子10へ制御信号を出力して、固体撮像素子10からの画素信号を読み出す。画素信号を読み出す方式としては、「全画素読み出し」、「水平方向間引き読み出し」、「水平方向加算全読み出し」、「水平方向加算間引き読み出し」、「垂直方向間引き読み出し」、「垂直方向加算全読み出し」、「垂直方向加算間引き読み出し」がある。さらに、「水平垂直方向加算全読み出し」、「水平垂直方向加算間引き読み出し」もある。システムコントローラ13は、撮像装置1の動作に応じた読み出し方式で固体撮像素子10から画素信号を出力させる。
「全画素読み出し」は、固体撮像素子10の全ての画素22aから画素信号を出力させる読み出し方法であり、システムコントローラ13は、他の読み出し方法と同様に、水平ライン単位で画素22aから順次画素信号を出力させる。この読み出し方法では、図3に示す撮像領域22上の画素22a配列を読み出し画素配列としており、第1水平ラインから最終水平ラインにかけて画素22aから順次画素信号を出力する。
「水平方向間引き読み出し」は、図4に示すように、水平ライン毎に、一部の画素22aを間引いて残りの画素22aからのみ画素信号を出力させる読み出し方法である。この読み出し方法では、図4に示す撮像領域22上の画素22aの一部を除く配列を読み出し画素配列としており、第1水平ラインから最終水平ラインにかけて画素22aから順次画素信号を出力する。なお、ここでの「間引く」とは読み出さないことを意味する。このことは以下においても同様である。
「水平方向加算全読み出し」は、図5に示すように、水平ライン毎に、画素22aを間引くことなく、全ての画素22aから画素信号を出力させ、同色かつ水平方向に隣接する画素22a同士の画素信号を加算して合成画素信号として出力させる読み出し方法である。この読み出し方法では、図5に示す撮像領域22上の画素22a配列(同色かつ水平方向に隣接する複数の画素22aが同時に読み出される)を読み出し画素配列としており、第1水平ラインから最終水平ラインにかけて画素22aから順次画素信号を出力する。
「水平方向加算間引き読み出し」は、図6に示すように、水平ライン毎に、画素22aを間引いて一部の画素22aから画素信号を出力させ、かつ同色かつ隣接する画素同士の画素信号を加算して出力させる読み出し方法である。この読み出し方法では、図6に示す撮像領域22上の一部を除く画素22a配列(同色かつ水平方向に隣接する複数の画素22aが同時に読み出される)を読み出し画素配列としている。そして、第1水平ラインから最終水平ラインにかけて画素22aから順次画素信号を出力する。
「垂直方向間引き読み出し」は、図7に示すように、水平ライン単位で画素22aを間引いて一部の水平ラインの画素22aから画素信号のみを出力させる読み出し方法である。この読み出し方法では、図7に示す撮像領域22上の一部の水平ラインを除く画素22a配列を読み出し画素配列とし、先頭水平ラインの画素22aから順次画素信号を出力する。
「垂直方向加算全読み出し」は、図8に示すように、画素22aを間引くことなく、全ての画素22aから画素信号を出力させ、同色かつ垂直方向に隣接する画素同士の画素信号を加算して出力させる読み出し方法である。この読み出し方法では、図8に示す撮像領域22上の画素22a配列(同色かつ垂直方向に隣接する複数の画素22aが同時に読み出される)を読み出し画素配列としており、第1水平ラインの画素22aから順次画素信号を出力する。
「垂直方向加算間引き読み出し」は、図9に示すように、水平ライン単位で画素22aを間引いて一部の画素22aから画素信号を出力させ、かつ同色かつ垂直方向に隣接する画素同士の画素信号を加算して出力させる読み出し方法である。この読み出し方法では、図9に示す撮像領域22上の一部の水平ラインを除く画素22a配列(同色かつ垂直方向に隣接する複数の画素22aが同時に読み出される)を読み出し画素配列としており、先頭水平ラインの画素22aから順次画素信号を出力する。
また、「水平垂直方向加算全読み出し」は、図10に示すように、画素22aを間引くことなく、全ての画素22aから画素信号を出力させ、同色かつ水平方向又は垂直方向に隣接する画素同士の画素信号を加算して出力させる読み出し方法である。例えば、「1Gr1」の画素22aから出力させる画素信号は、「1Gr1」の画素22aと同色でかつ水平方向に隣接する画素(以下、「水平同色隣接画素」とする)である「1Gr2」の画素22aから出力される画素信号に加算される。また、「1Gr1」の画素22aから出力させる画素信号は、「1Gr1」の画素22aと同色でかつ垂直方向に隣接する画素(以下、「垂直同色隣接画素」とする)である「2Gr1」の画素22aから出力させる画素信号に加算される。この読み出し方法では、図10に示す撮像領域22上の画素22a配列(同色かつ水平方向又は垂直方向に隣接する複数の画素22aが同時に読み出される)を読み出し画素配列としている。そして、第1水平ラインの画素22aから順次画素信号を出力する。
また、「水平垂直方向加算間引き読み出し」は、図11に示すように、水平ライン単位及び垂直ライン毎に、画素22aを間引いて一部の画素22aから画素信号のみを出力させる読み出し方法である。この読み出し方法では、図11に示す撮像領域22上の一部の水平ライン及び垂直ラインを除く画素22a配列(同色かつ水平方向又は垂直方向に隣接する複数の画素22aが同時に読み出される)を読み出し画素配列としている。そして、第1水平ラインの画素22aから順次画素信号を出力する。
以上のように、本実施形態における撮像装置1では、固体撮像素子10から画素信号を読み出す方式としては、「全画素読み出し」に加え、「水平方向間引き読み出し」など(以下、「全画素読み出し以外」とも呼ぶ。)の読み出し方式で読み出し可能としている。「全画素読み出し以外」は、固体撮像素子10から1フレーム分の画素信号を出力させる時間を短縮することができ、これによりフレームレートを速くすることができる。
本実施形態における撮像装置1では、用途に応じて読み出し方法を切り換えるようにしている。例えば、「全画素読み出し」は本来の記録の対象とする画像を得るときのモードであり、「全画素読み出し以外」は構図や被写体を選択するべく電子ビューファインダにより動画で継続的にモニタリングするときのモードである。
[4.欠陥検出処理及び欠陥補正処理]
次に、本実施形態における撮像装置1における欠陥検出処理及び欠陥補正処理について説明する。図12は撮像装置1の信号処理回路12において欠陥検出及び欠陥補正の処理を行う構成を示す図、図13は信号処理回路12内のアドレス検出器の構成図である。
図12に示すように、信号処理回路12は、第1欠陥検出部31、第2欠陥検出部32、アドレス生成器33、アドレス検出器34、揮発性メモリ部35、不揮発性メモリ36、補正コンパレータ37、欠陥補正部38を有している。この信号処理回路12は、欠陥検出回路及び欠陥補正回路として機能することになる。なお、補正コンパレータ37と欠陥補正部38とで欠陥画素補正部39が構成される。
以下においては、まず欠陥検出処理について具体的に説明した後、欠陥補正処理を具体的に説明する。
[4.1.欠陥検出処理]
まず、欠陥検出処理について図面を参照して具体的に説明する。
(欠陥検出処理の概要)
本実施形態における撮像装置1のシステムコントローラ13は、欠陥検出処理を開始すると、まず、固体撮像素子10に制御信号を出力して、固体撮像素子10から全画素読み出しで画素信号を読み出す。すなわち、システムコントローラ13は、固体撮像素子10の2次元配列順を読み出し画素配列として、第1水平ラインの先頭画素(「1R1」の画素)から水平ライン順に最終水平ラインの最終画素まで画素22aから画素信号を出力させる。
固体撮像素子10から読み出された画素信号は、A/D変換回路11でデジタル信号に変換され、第1欠陥検出部31と第2欠陥検出部32に入力される。各欠陥検出部31,32では、入力される画素信号の信号レベルを欠陥検出用の基準閾値と比較し、その比較結果に応じた欠陥補正信号を出力する。例えば、入力される画素信号の信号レベルが基準閾値を超え、欠陥画素であると判定した時は欠陥補正信号としてHighレベルの欠陥補正イネーブル信号(第1信号)を生成して、アドレス検出器34に出力する。一方、入力される画素信号の信号レベルが基準閾値を超えず、欠陥画素ではないと判定した時は欠陥補正信号としてLowレベルの欠陥ディセーブル信号(第2信号)を生成して、アドレス検出器34に出力する。
アドレス検出器34は、アドレス生成器33で生成されたアドレスと、各欠陥検出部31,32から出力される欠陥補正信号を入力する。アドレス検出器34は、欠陥補正信号がイネーブル信号のときにアドレス生成器33から出力されるアドレスを欠陥画素に対応したアドレスと判定し、このアドレス(以下、「欠陥アドレス」とする)を揮発性メモリ部35に順次記憶する。揮発性メモリ部35は、「垂直方向加算全読み出し」、「垂直方向加算間引き読み出し」などの垂直方向加算読み出し時に加算する垂直方向に隣接する同色の画素数kに応じた個数の記憶素子である揮発性メモリ35−1〜35−kを有している。換言すれば、垂直方向加算読み出し時に加算する垂直方向に隣接する同色のk画素のそれぞれの画素に対応して欠陥画素のアドレスを記憶するための記憶素子が揮発性メモリ35−1〜35−kである。
その後、揮発性メモリ部35に記憶した欠陥アドレスを内部にある不揮発性メモリ36に書き込むことで一連の動作を終了する。なお、不揮発性メモリ36は、信号処理回路12の外部に設けることもできる。
以下、第1欠陥検出部31、第2欠陥検出部32、アドレス生成器33、アドレス検出器34、揮発性メモリ部35、不揮発性メモリ36、補正コンパレータ37、欠陥補正部38のそれぞれについて具体的に説明する。図14は第1欠陥検出部31の検出動作を説明するための図、図15は第2欠陥検出部32の検出動作を説明するための図、図16は第1欠陥検出部31及び第2欠陥検出部32の検出動作を説明するための図である。なお、以下においては、水平方向の複数の画素22aに跨るようなゴミの付着による黒点欠陥を検出するものとして説明するが、白点欠陥の検出にも適応することが可能である。また、白点欠陥と黒点欠陥が混在しているときにもこれらの欠陥を検出することが可能である。
(第1欠陥検出部31)
第1欠陥検出部31は、固体撮像素子10における複数の画素22aのうち1個の画素22aを欠陥検出対象として欠陥画素の検出を行う。すなわち、単独の欠陥の検出を狙った欠陥検出部である。第1欠陥検出部31は、欠陥検出対象の画素(以下、「欠陥検出対象画素」とする)からの画素信号とこの欠陥検出対象画素と水平方向に隣接する同色の少なくとも2以上の画素(以下、「水平隣接同色画素」とする)からの画素信号との信号レベル差を検出する。そして、この信号レベル差が基準閾値αを超えるとき、第1欠陥検出部31は、欠陥検出対象画素を欠陥画素と判定する。
例えば、図14に示すように、第2水平ラインの画素22aのうち、「1Gb2」と「1B3」の画素22aが欠陥画素であるとする。「1Gb2」の画素22aを欠陥検出対象画素としたとき、第1欠陥検出部31は、この欠陥検出対象画素と同色の隣接する水平隣接同色画素である「1Gb1」及び「1Gb3」の画素22aからそれぞれ出力される画素信号の信号レベルを検出する。
その後、第1欠陥検出部31は、これらの水平隣接同色画素から出力される画素信号の信号レベルの平均値を算出し、この平均値と欠陥検出対象画素から出力される画素信号の信号レベルとの差が基準閾値αを超えるか否かを判定する。そして、このレベル差が基準閾値αを超えるときに、第1欠陥検出部31は、欠陥検出対象画素が欠陥画素であると判定する。
図14に示す例では、欠陥検出対象画素である「1Gb2」の画素22aが欠陥画素であるときの様子を示している。すなわち、水平隣接同色画素(「1Gb1」及び「1Gb3」の画素22a)から出力される画素信号の信号レベルの平均値と欠陥検出対象画素(「1Gb2」の画素22a)から出力される画素信号の信号レベルとの差が基準閾値αを超えている状態を示している。
なお、ここでの「隣接」とは、物理的に欠陥検出対象画素と隣接することを意味するものではなく、欠陥検出対象画素と同色かつ同一水平ラインの画素であって、欠陥検出対象画素に最も近い画素を意味する。換言すれば、欠陥検出対象画素と異なる色の画素を除いたときに欠陥検出対象画素と物理的に隣接することとなる画素が水平隣接同色画素である。
(第2欠陥検出部32)
第2欠陥検出部32は、固体撮像素子10の複数の画素22aのうち同色の水平方向に隣接する2個の画素22a(以下、「欠陥検出対象画素群」とする)を欠陥検出対象として欠陥画素の検出を行う。すなわち、水平同色2連続欠陥の検出を狙った欠陥検出部である。第2欠陥検出部32は、欠陥検出対象画素群の各画素22aからの画素信号の信号レベルとこの欠陥検出対象画素群と水平方向に隣接する同色の2以上の水平隣接同色画素からの画素信号の信号レベルを検出する。そして、欠陥検出対象画素群の複数の画素22aの画素から出力される画素信号の信号レベルと水平隣接同色画素から出力される画素信号の信号レベルの平均値との差が基準閾値βを超える欠陥検出対象画素群の画素22aを欠陥画素と判定する。
例えば、図15に示すように、「1Gb2」及び「1Gb3」の画素22aを欠陥検出対象画素としたとき、第2欠陥検出部32は、この欠陥検出対象画素から出力される画素信号の信号レベルを検出する。また、第2欠陥検出部32は、この欠陥検出対象画素と同色の隣接する水平隣接同色画素である「1Gb1」及び「1Gb4」の画素22aとからそれぞれ出力される画素信号のレベルを検出する。
その後、第2欠陥検出部32は、これらの水平隣接同色画素から出力される画素信号のレベルの平均値を算出し、この平均値と欠陥検出対象画素から出力される画素信号の信号レベルとの差が基準閾値βを超えるか否かを判定する。そして、第2欠陥検出部32は、このレベル差が基準閾値βを超えるときに、欠陥検出対象画素が欠陥画素であると判定する。
図15に示す例では、欠陥検出対象画素である「1Gb2」の画素22aが欠陥画素であるときの様子を示している。このとき、水平隣接同色画素(「1Gb1」及び「1Gb3」の画素22a)から出力される画素信号の信号レベルの平均値と欠陥検出対象画素(「1Gb2」の画素22a)から出力される画素信号の信号レベルとの差が基準閾値βを超える。
一方、水平隣接同色画素(「1Gb1」及び「1Gb3」の画素22a)から出力される画素信号の信号レベルの平均値と欠陥検出対象画素(「1Gb3」の画素22a)から出力される画素信号の信号レベルとの差は基準閾値βを超えない。従って、欠陥検出対象画素のうち「1Gb2」の画素22aを欠陥画素と判定し、欠陥検出対象画素のうち「1Gb3」の画素22aを欠陥画素でないと判定する。
このよう実施形態における撮像装置1では、第1欠陥検出部31のみならず第2欠陥検出部32を設けていることから、第1欠陥検出部31で検出することができない欠陥画素も検出することができるようになる。
例えば、図16に示すように、欠陥検出対象画素である「1Gb2」と「1Gb3」の画素22aが欠陥画素とする。このとき、第1欠陥検出部31において、欠陥検出対象画素を「1Gb2」の画素22aとすると、水平隣接同色画素から出力される画素信号の信号レベルの平均値と欠陥検出対象画素から出力される画素信号の信号レベルとの差は基準閾値αを超えない。これは、図16に示すように、「1Gb3」の画素22aの画素も欠陥画素であり、2つの水平隣接同色画素(「1Gb1」と「1Gb3」の画素22a)から出力される画素信号の信号レベルの平均値が下がるためである。
一方、第2欠陥検出部32において、欠陥検出対象画素を「1Gb2」及び「1Gb3」の画素22aとすると、「1Gb2」の画素22aは欠陥画素として判定される。これは、水平隣接同色画素(「1Gb1」及び「1Gb4」の画素22a)から出力される画素信号の信号レベルの平均値と「1Gb2」の画素から出力される画素信号の信号レベルとの差が基準閾値βを超えるからである。これは、図16に示すように、水平隣接同色画素である「1Gb4」の画素22aが欠陥画素でなく、水平隣接同色画素から出力される画素信号の信号レベルの平均値が下がらないためである。
このように第2欠陥検出部32では、第1欠陥検出部31で検出することができない欠陥画素を検出することができるようになる。なお、本実施形態においては、固体撮像素子10の複数の画素22aのうち水平方向に隣接する同色の2個の画素22aを欠陥検出対象画素群としたが、水平方向に隣接するn個(nは2以上の整数)の画素22aを欠陥検出対象画素群としたものであればよい。また、上記第2欠陥検出部32以外に、3個の画素22aを欠陥検出対象画素群として欠陥検出を行う第3欠陥検出部、4個の画素22aを欠陥検出対象画素群として欠陥検出を行う第4欠陥検出部などを設けるようにしてもよい。
また、第1欠陥検出部31の処理も第2欠陥検出部32の処理も、x個(xは自然数)の欠陥検出対象画素(群)の画素信号の信号レベルと水平隣接同色画素からの画素信号の信号レベルの平均値との差が基準閾値を超えるか否かにより欠陥画素を判定する点は同じである。従って、従来のように周辺画素も欠陥であることを想定し閾値を設定する必要がなく処理が複雑ならずに済む。
(アドレス生成器33)
アドレス生成器33は、固体撮像素子10から読み出している画素信号を出力した画素22aのアドレス(固体撮像素子10における画素22aの位置情報)を生成する。本実施形態では、画素22aの水平方向の位置及び垂直方向の位置の情報を画素22aのアドレスとする。例えば、図3に示す撮像領域22において、「2B1」の画素22aは、水平方向の左から2番目の位置で、かつ垂直方向の上から4番目の位置であり、アドレス「x2v4」とする。
このアドレス生成器33は、固体撮像素子10から信号処理回路12へ出力されている画素信号を出力した画素のアドレスを生成して、アドレス検出器34へ出力する。これにより、欠陥検出部31,32から検出結果が出力されている画素22aのアドレスがアドレス検出器34へ出力されることになる。
(アドレス検出器34)
アドレス検出器34は、セレクト回路34aとアドレス取り込み回路33bとを有している。
セレクト回路34aは、第1欠陥検出部31による検出結果の情報と第2欠陥検出部32による検出結果の情報とを入力し、アドレス検出器34に設定されているパラメータに応じた出力をアドレス取り込み回路33bに対して行う。このパラメータはシステムコントローラ13から変更することができ、また、撮像装置1に設けられた入力部14への入力により変更することができる。
例えば、パラメータが第1パラメータに設定されているとき、セレクト回路34aは、第1欠陥検出部31による検出結果の情報に応じた信号をアドレス取り込み回路33bへ出力する。具体的には、第1欠陥検出部31による検出結果の情報が欠陥画素を示す情報であるとき、セレクト回路34aは、Highレベルの制御信号を出力し、第1欠陥検出部31による検出結果の情報が欠陥画素を示す情報でないとき、Lowレベルの制御信号を出力する。
また、パラメータが第2パラメータに設定されているとき、セレクト回路34aは、第2欠陥検出部32による検出結果の情報に応じた信号をアドレス取り込み回路33bへ出力する。具体的には、第2欠陥検出部32による検出結果の情報が欠陥画素を示す情報であるとき、セレクト回路34aは、Highレベルの制御信号を出力し、第2欠陥検出部32による検出結果の情報が欠陥画素を示す情報でないとき、Lowレベルの制御信号を出力する。
さらに、パラメータが第3パラメータに設定されているとき、セレクト回路34aは、第1欠陥検出部31による検出結果の情報と第2欠陥検出部32による検出結果の情報とに応じた信号をアドレス取り込み回路33bへ出力する。具体的には、第1欠陥検出部31による検出結果の情報と第2欠陥検出部32による検出結果の情報とが共に欠陥画素を示す情報であるときには、セレクト回路34aは、Highレベルの制御信号を出力する。また、第1欠陥検出部31による検出結果の情報と第2欠陥検出部32による検出結果の情報とが異なるとき、セレクト回路34aは、いずれかの欠陥検出部31,32による検出結果の情報が欠陥画素を示す情報であるときには、Highレベルの制御信号を出力する。
また、パラメータが第4パラメータに設定されているとき、第1欠陥検出部31の優先度を高くし、パラメータが第5パラメータに設定されているとき、第2欠陥検出部32の優先度を高くする。セレクト回路34aは、欠陥検出部31,32による検出結果の情報が異なるとき、優先する欠陥検出部の検出結果に重きを置いた信号を出力する。すなわち、各欠陥検出部31,32で基準閾値との差分をセレクト回路34aへ出力させる。セレクト回路34aでは、優先度が高い欠陥検出部が出力する差分に重み付けを大きく、優先度が低い欠陥検出部が出力する差分に重み付けを小さく、その加算値がプラスであれば欠陥画素であると判定してHighレベルの制御信号を出力する。また、加算値がマイナスであれば欠陥画素ではないと判定してLowレベルの制御信号を出力する。
このように、第1欠陥検出部31及び第2欠陥検出部32のうちいずれか一方を選択的に動作させることができる。また、第1欠陥検出部31及び第2欠陥検出部32のうち少なくともいずれか一方で欠陥画素と判定した画素を欠陥画素として検出することもできる。従って、撮像装置1の動作モードなどに応じた所望の欠陥検出処理が可能となる。
アドレス取り込み回路33bは、アドレス生成器33からアドレスを入力し、セレクト回路34aから制御信号を入力する。セレクト回路34aから出力される制御信号がHighレベルの信号であるとき、アドレス生成器33から入力しているアドレスを揮発性メモリ部35に出力して、揮発性メモリ部35に欠陥画素のアドレスを欠陥アドレスとして記憶させる。
(揮発性メモリ部35)
次に、揮発性メモリ部35について説明する。この揮発性メモリ部35は上述したように複数の揮発性メモリ35−1〜35−kから構成されている。このように記憶素子である揮発性メモリが複数設けられるのは、固体撮像素子10から画素信号を読み出す方式が、「垂直方向加算全読み出し」や「垂直方向加算間引き読み出し」のときに揮発性メモリ部35からの読み出し速度を向上させるためである。なお、ここでは、「垂直方向加算全読み出し」や「垂直方向加算間引き読み出し」として読み出し画素配列で水平方向に隣接する同色の2画素を加算するものであるため、k=2とするが、同色で隣接する3画素を加算する場合には、k=3となる。また、同色で隣接する4画素を加算する場合には、k=4となる。
まず、このように揮発性メモリ部35を複数の揮発性メモリ35−1〜35−kで構成する理由について説明する。
従来の撮像装置では、固体撮像素子10の画素22aの欠陥検出は全画素読み出しで行っている。従って、揮発性メモリ部35への記憶方法も、第1水平ラインの先頭画素から最終水平ラインの最終画素にかけて順次欠陥アドレスを保持していくことになる。
このように撮像領域22の先頭画素から最終画素にかけて順番に欠陥アドレスが保持されることになるため、一部の画素22aが間引かれて読み出されたり、画素22aの読み出し順序が入れ替わったりすると参照する欠陥アドレスの順番も入れ換える必要がある。
しかし、欠陥画素の個数は固体撮像素子10毎に異なる。また水平ライン毎でも個数が異なるため必要な欠陥アドレスが揮発性メモリ部35のどこに入っているかを瞬時に探すのが困難である。
例えば、CMOS型の固体撮像素子10から垂直方向に隣接する同色の画素を加算して読み出す場合(図8,図9,図10参照)、全画素読み出し時と異なる順番で画素22aから画素信号を読み出さなければならないことがある。
例えば、図17に示す垂直方向加算全読み出しの場合に、加算対象の水平ライン(例えば、第1水平ラインと第3水平ライン)の間に欠陥画素が存在する水平ライン(第2水平ライン)があるとする。このとき、図18に示すように、欠陥アドレスを揮発性メモリ部35から先に読み出して一時的に回路上で保持しておく必要がある。
さらに、2次元配列順では後に読み出される加算対象の画素22aがある水平ライン(例えば、第1水平ラインと第3水平ラインとの間の加算時では第3水平ライン)側の欠陥アドレスも予め揮発性メモリ部35から先読みし一時的に回路上で保持しておく必要がある。そして、2次元配列順で先に読み出されるのと同じタイミングで参照していく必要が出てくる。
このように垂直方向に隣接する同色の画素を加算して読み出す場合、一時的に欠陥アドレスを保持するためのバッファが必要となることから回路規模が増大し、揮発性メモリ部35へのアクセス制御も複雑となる問題がある。
そこで、本実施形態における揮発性メモリ部35は、固体撮像素子10からの多彩な読み出しを可能とすべく、垂直方向で加算される画素22aの欠陥アドレスを水平ライン毎に予め別々の記憶素子に記憶できるように、複数の揮発性メモリ35−1〜35−kを設けている。
すなわち、加算する水平ラインの数kとした場合に、撮像領域22を予めk個の領域に分割しておき、分割した同じ領域の欠陥アドレスを同じ揮発性メモリに順次保持するようにしている。ここではk=2の例を示しているが、加算する水平ラインの数はk=3でもk=4でもよい。
これにより垂直方向で加算される画素22aの欠陥アドレスは分割した各々の揮発性メモリ35−1,35−2内で順次保持された状態(図19,図20参照)となるので、これらの揮発性メモリ35−1,35−2から順次読み出すことが可能となる。従って、「垂直方向加算読み出し」のとき、揮発性メモリ35−1と揮発性メモリ35−2から水平ライン単位で交互に欠陥アドレスを読み出す。このように構成することにより、欠陥補正時に一時的に保持するバッファも必要なく揮発性メモリ部35へのアクセス制御も容易となる。
[4.2.欠陥補正処理]
次に、欠陥補正処理について図面を参照して具体的に説明する。
(欠陥補正処理の概要)
従来の固体撮像素子では、近年高解像度化が進んでおり、そのため固体撮像素子は全画素すべてを読み出すのに、多くの時間を有するようになった。そして、このことは読み出しフレームレートが遅くなることを意味する。
そこで、デジタルスチルカメラなどの撮像装置においては、動画やビューファインダ用など用途的に高解像度の必要のない場合には、画素の間引き読み出しや加算読み出しなどで読み出し時間の短縮を図ってフレームレートを速くするものが多くなってきた。
しかし、画素を間引いたり、加算したりして読み出す場合、全画素を読み出す場合に適用するアルゴリズムと同じアルゴリズムによって処理を実行したのでは適切な補正処理が行われなくなってしまう問題がある。
そこで、特開2003−51990号公報には、読み出しモードに対応して補正方法を切り替える技術が提案されている。また、特開2007−53634号公報には、全画素読み出しで検出して補正時に画素配列に対応する技術が提案されている。
しかしながら、従来においては読み出しモードに対応して補正方法を設け、さらにこれらの切り替えを適切に行わなければならず、処理が複雑になっていた。
そこで、本実施形態においては、CMOS型などの固体撮像素子の読み出し方法を区別することなく、読み出し画素の配列で同色画素の欠陥が連続しているかどうかを局所的に判別し、適切な欠陥画素補正処理を行うことができるようにしている。
以下に、その欠陥補正処理について具体的に説明する。
本実施形態における撮像装置1のシステムコントローラ13は、欠陥補正処理を開始すると、内部にある不揮発性メモリ36に書き込まれている欠陥アドレスを読み出し、揮発性メモリ部35に再び書き込む処理を行う。
システムコントローラ13は、欠陥検出処理を開始すると、まず、固体撮像素子10に制御信号を出力して、固体撮像素子10から画素信号を順次読み出す。アドレス生成器33は読み出されている画素信号を出力した画素22aのアドレスを順次出力しており、補正コンパレータ37は、アドレス生成器33が出力するアドレスと揮発性メモリ部35で読み出した欠陥アドレスとを比較する。
アドレス生成器33が出力するアドレスと揮発性メモリ部35から読み出された欠陥アドレスとが一致したとき、補正コンパレータ37はそのアドレスの画素を欠陥と認識して欠陥補正イネーブル信号を発生し、その後次の欠陥アドレスを読み出しへと遷移する。
欠陥補正イネーブル信号は、欠陥補正部38へ入力される。欠陥補正部38は欠陥補正イネーブル信号が入力されたとき、固体撮像素子10から出力されている画素に対して欠陥補正処理を行う。この欠陥補正処理は、読み出し画素配列を基準として水平同色欠陥画素がm個連続しているかどうかを判別し、欠陥ではない水平同色隣接2画素の信号レベルの平均値を用いて補正するものである。
一方、アドレス生成器33が出力するアドレスと揮発性メモリ部35で読み出した欠陥アドレスとが一致しない場合、固体撮像素子10から読み出されている画素22aのアドレスと揮発性メモリ部35のアドレス保持している欠陥のアドレスとの大小比較を行う。
固体撮像素子10から読み出されている画素22aのアドレスの方が大きい場合は
上の対象欠陥アドレスは捨てられ、次の欠陥アドレスを記憶メモリから読み出す。
(欠陥補正部38)
欠陥補正部38は、図21に示すように、判別手段40と、補正手段41とを備えている。そして、この欠陥補正部38は、読み出し画素配列を基準としてm個連続する欠陥画素(mは自然数)と水平方向に隣接する同色の2画素(以下「水平同色隣接2画素」とする)から出力される画素信号の信号レベルの平均値を用いて欠陥画素の画素信号を補正する。
判別手段40は、遅延回路50〜52,54、論理積(AND)回路53を有しており、読み出し画素配列を基準として水平同色欠陥画素が連続しているかどうかを判別しフラグ信号{K,J}をセレクタ69に出力する。なお、遅延回路50〜52,54は、入力される画素信号を2クロック分遅延させる回路である。
フラグ信号{K,J}は、補正手段41内の遅延回路62から出力されている画素信号(図21のB位置の信号)が欠陥画素から出力されたものであるときに、この画素信号をどのような補正信号で置き換えるかをセレクタ69に指示する信号である。
補正手段41内の遅延回路62から出力されている画素信号が欠陥画素から出力されているときには、2つ後に入力される画素信号(図21のA位置の信号)が欠陥画素から出力されているか否かを判定する。すなわち、判別手段40内の遅延回路52から出力されている欠陥補正信号(図21のI位置の信号)がHighレベルのときに、遅延回路51から出力されている欠陥補正信号(図21のH位置の信号)がLowレベルであるかHighレベルであるかを判定する。なお、以下においては、Highレベルを「H」とし、Lowレベルを「L」とする。
遅延回路52から出力されている欠陥補正信がHighレベルのときに、遅延回路51から出力されている欠陥補正信号が「L」のときには、2つ後に入力される画素信号が欠陥画素から出力されていないと判定してAND回路53から「L」の信号を出力する。一方、遅延回路51から出力されている欠陥補正信号が「H」のときには、2つ後に入力される画素信号が欠陥画素から出力されていると判定してAND回路53から「H」の信号を出力する。AND回路53から出力される信号がフラグ信号{K,J}のうちの「J」の信号であり、AND回路53の出力を遅延回路54で遅延させた信号がフラグ信号{K,J}のうちの「K」の信号である。フラグ信号{K,J}は、{L,L},{L,H},{H,L},{1,1}の4種類からなり、{L,L}が単独欠陥補正を指示する第1フラグ信号、{L,H},{H,L},{H,H}が連続欠陥補正を指示する第2フラグである。「単独欠陥補正」とは、水平方向に隣接する同色の画素が欠陥画素ではない欠陥画素を補正することを意味し、「連続欠陥補正」とは、水平方向に隣接する同色の複数の欠陥画素を補正することを意味する。
また、判別手段40の遅延回路52は、補正手段41内の遅延回路62から出力されている画素信号(図21のB位置の信号)と同時に、判別手段40に入力される欠陥補正信号(図21のI位置の信号)をセレクタ70に入力する。補正手段41のセレクタ70は、入力されている欠陥補正信号が欠陥補正イネーブル信号(第1信号)であるときに、セレクタ69から入力される信号を出力する。また、セレクタ70は、入力されている欠陥補正信号が欠陥補正ディセーブル信号(第2信号)であるときに、遅延回路62から入力される信号を出力する。
補正手段41は、遅延回路60〜64、加算器65,66、1/2増幅器67,68、セレクタ69,70を有し、A/D変換回路11から出力された画素信号を入力する。そして、判別手段40から入力されたフラグ信号{K,J}に基づいて欠陥ではない水平同色隣接2画素からの画素信号の信号レベルの平均値を用いて欠陥画素から出力される画素信号を補正する。なお、遅延回路60〜64は、入力される画素信号を2クロック分遅延させる回路である。
セレクタ69に入力される信号は、以下の3つである。
(a)遅延回路61の出力と遅延回路63の出力とを加算器65で加算し、1/2増幅器67で信号レベルを1/2にした信号(図21のC位置の信号:以下「第1補正信号」とする)
(b)遅延回路60の出力と遅延回路63の出力とを加算器66で加算し、1/2増幅器68で信号レベルを1/2にした信号(図21のD位置の信号:以下「第2補正信号」とする)
(c)遅延回路60の出力と遅延回路63の出力とを加算器66で加算し、1/2増幅器68で信号レベルを1/2にした信号をさらに遅延回路64で遅延させた信号(図21のE位置の信号:以下「第3補正信号」とする)
セレクタ69は、判別手段40から入力されるフラグ信号{K,J}に基づき、入力される第1補正信号〜第3補正信号の中からいずれかを選択する。具体的には、フラグ信号が{0,0}のとき第1補正信号を選択して出力し、フラグ信号{K,J}が{0,1}及び{1,1}のとき第2補正信号を選択して出力し、フラグ信号{K,J}が{1,0}のとき第3補正信号を選択して出力する。
セレクタ70は、判別手段40の遅延回路52から出力される信号に基づいて、2つの入力信号のいずれかを選択的に出力する。すなわち、セレクタ70は、遅延回路52から
欠陥補正信号として欠陥補正イネーブル信号(第1信号)が出力されたときにはセレクタ69から入力される信号を出力する。一方、遅延回路52から欠陥補正信号として欠陥補正ディセーブル信号(第2信号)が出力されたときには遅延回路62から入力される信号を出力する。
以上のように補正手段41が構成されているので、m個連続する欠陥画素(mは自然数)があるときに、水平同色隣接2画素から出力される画素信号の信号レベルの平均値を用いて欠陥画素の画素信号を補正することができる。すなわち、画素信号を出力した欠陥画素に対し読み出し画素配列で水平方向に隣接する同色の画素(水平隣接同色画素)が欠陥画素でないときには、当該欠陥画素から出力される画素信号を、水平隣接同色画素から出力される画素信号の信号レベルの平均値の信号レベルの補正信号に置き換える。また、読み出し画素配列で2個連続する同色の欠陥画素(以下、「隣接同色欠陥画素群」)があるときには、当該隣接同色欠陥画素群の各欠陥画素から出力される画素信号を、当該隣接同色欠陥画素群に対し水平に隣接する同色の画素(水平隣接同色画素)から出力される画素信号の信号レベルの平均値の信号レベルの補正信号で補正する。
以下、補正手段41の動作を図面を参照して説明する。図22〜図28は補正手段41の動作を説明するための図である。以下においては、固体撮像素子10に図22に示すように欠陥があるものとして説明する。
(全画素読み出し時の欠陥補正)
まず、システムコントローラ13が固体撮像素子10から全画素読み出しを行ったときの欠陥補正処理について、図23を参照して説明する。図23(a)は図21に示すAの位置の状態を示す図、図23(b)は図21に示すBの位置の状態を示す図、図23(c)は図21に示すGの位置の状態を示す図である。
図23(a)に示す例では、固体撮像素子10から第1水平ラインの「1R1」、・・・、「1Gr10」、・・・の画素22aから出力される画素信号が順次欠陥補正部38へ入力される。また、固体撮像素子10から出力される画素信号に応じた信号が補正コンパレータ37から順次欠陥補正部38へ入力される。
欠陥補正部38は、図23(c)に示すように、「1Gr4」、「1Gr5」の欠陥画素から出力された画素信号を、「1Gr3」、「1Gr6」の画素22aから出力される画素信号の信号レベルの平均値の補正信号に置き換え、連続欠陥補正を行う。また、「1R7」の欠陥画素から出力された画素信号を、「1R6」、「1R8」の画素22aから出力される画素信号の信号レベルの平均値の補正信号に置き換え、単独欠陥補正を行う。さらに、「1R9」の欠陥画素から出力された画素信号を、「1R8」、「1R10」の画素22aから出力される画素信号の信号レベルの平均値の補正信号に置き換え、単独欠陥補正を行う。このように、全画素読み出し時において、単独欠陥補正及び連続欠陥補正を行うことができる。
(水平方向間引き読み出し時の欠陥補正)
次に、システムコントローラ13が固体撮像素子10から水平方向間引き読み出しを行ったときの欠陥補正処理について、図24を参照して説明する。図24(a)は図21に示すAの位置の状態を示す図、図24(b)は図21に示すBの位置の状態を示す図、図24(c)は図21に示すGの位置の状態を示す図である。
図24(a)に示す例では、固体撮像素子10から第1水平ラインの「1R1」、・・・、「1Gr10」、・・・の画素22aから出力される画素信号が出力され、順次欠陥補正部38へ入力される。また、固体撮像素子10から出力される画素信号に応じた信号が補正コンパレータ37から順次欠陥補正部38へ入力される。
欠陥補正部38は、図24(c)に示すように、「1R7」、「1R9」の欠陥画素から出力された画素信号を、「1R5」、「1R11」の画素から出力される画素信号の信号レベルの平均値の補正信号に置き換え、連続欠陥補正を行う。また、「1Gr5」の欠陥画素から出力された画素信号を、「1Gr3」、「1Gr7」の画素から出力される画素信号の信号レベルの平均値の補正信号に置き換え、単独欠陥補正を行う。
このように、正常な「1R8」の画素22aが間引かれて、「1R7」の画素22aと「1R9」の画素22aとが読み出し画素配列において同色で隣接することになる。このような場合であっても、連続欠陥補正を行うことができ、欠陥補正の精度を向上させることができる。例えば、単独欠陥補正だけを行った場合、図25に示すように、「1R3」及び「1R5」が欠陥画素のときには欠陥画素が出力した画素信号で補正することになることから、欠陥補正を正常に行うことができない。一方、本実施形態における欠陥補正部38では、正常な画素が出力した画素信号で補正が可能となり、欠陥補正の精度を向上させることができる。
(水平方向加算読み出し時の欠陥補正)
次に、システムコントローラ13が固体撮像素子10から水平方向加算読み出しを行ったときの欠陥補正処理について、図26及び図27を参照して説明する。図26(a),図27(a)は図21に示すAの位置の状態を示す図、図26(b),図27(b)は図21に示すBの位置の状態を示す図、図26(c),図27(c)は図21に示すGの位置の状態を示す図である。
図26(a)に示す例では、固体撮像素子10から第1水平ラインの「1R(1+2)」、「1Gr(1+2)」、・・・、「1Gr(11+12)」、・・・の画素22aから出力される画素信号が出力され、順次欠陥補正部38へ入力される。また、固体撮像素子10から出力される画素信号に応じた信号が補正コンパレータ37から順次欠陥補正部38へ入力される。なお、図26(a)において、例えば、「1Gr(1+2)」は「1Gr1」の画素と「1Gr2」の画素から出力され、加算された合成画素信号を意味し、「1R(1+2)」は、「1R1」の画素と「1R2」の画素から出力され、加算された合成画素信号を意味する。
欠陥補正部38は、図26(c)に示すように、「1Gr(3+4)」及び「1Gr(5+6)」の合成画素信号を、「1Gr(1+2)」、「1Gr(7+8)」の合成画素信号の信号レベルの平均値の補正信号に置き換え、連続欠陥補正を行う。また、欠陥補正部38は、「1R(7+8)」及び「1R(9+10)」の合成画素信号を、「1R(5+6)」、「1Gr(11+12)」の合成画素信号の信号レベルの平均値の補正信号に置き換え、連続欠陥補正を行う。
第1水平ラインでは、全画素読み出しではGr系の欠陥画素は連続している。しかも、分割して各々別の画素と加算されるため、加算後も欠陥は連続している。よって、読み出し配列では同色で隣接する事となり、同色連続欠陥と認識され、連続欠陥補正方法で置換することができる。
また、第2水平ラインを水平方向加算読み出しするときには、次のように行われる。すなわち、図27(a)に示すように、固体撮像素子10から第1水平ライン(B第1ライン)の「1Gb(1+2)」、「1B(1+2)」、・・・、「1B(11+12)」、・・・の画素22aから出力される画素信号が出力され、順次欠陥補正部38へ入力される。また、固体撮像素子10から出力される画素信号に応じた信号が補正コンパレータ37から順次欠陥補正部38へ入力される。なお、図27(a)において、例えば、「1Gb(1+2)」は「1Gb1」の画素と「1Gb2」の画素から出力され、加算された画素信号を意味し、「1B(1+2)」は、「1B1」の画素と「1B2」の画素から出力され、加算された画素信号を意味する。
欠陥補正部38は、図27(c)に示すように、「1B(5+6)」の画素信号を、「1B(3+4)」、「1B(7+8)」の画素信号の信号レベルの平均値の補正信号に置き換え、連続欠陥補正を行う。「1Gb(9+10)」の合成画素信号を、「1B(7+8)」、「1B(11+12)」の合成画素信号の信号レベルの平均値の補正信号に置き換え、連続欠陥補正を行う。
図22に示すように、第2水平ラインでは、全画素読み出し時の読み出し画素配列ではB系の欠陥画素は連続している。しかも、分割して各々別の画素と加算されるため、加算後も欠陥は連続している。よって、水平方向加算読み出し時の読み出し画素配列では同色で隣接することとなり、同色連続欠陥と認識され、連続欠陥補正方法で置換することができる。また、Gb系は全画素読み出し時も水平方向加算読み出し時も読み出し画素配列で欠陥画素は連続しておらず、単独欠陥補正方法で置換を行うことができる。
(水平方向加算読み出し時の欠陥補正)
次に、システムコントローラ13が固体撮像素子10から垂直方向加算読み出しを行ったときの欠陥補正処理について、図28を参照して説明する。図28(a)は図21に示すAの位置の状態を示す図、図28(b)は図21に示すBの位置の状態を示す図、図28(c)は図21に示すGの位置の状態を示す図である。
図28(a)に示す例では、固体撮像素子10から第2及び第4水平ラインの画素を加算して得られた「(1+2)Gb1」、「(1+2)B1」、・・・、「(1+2)B11」、・・・の合成画素信号が出力され、順次欠陥補正部38へ入力される。また、固体撮像素子10から出力される合成画素信号に応じた信号が補正コンパレータ37から順次欠陥補正部38へ入力される。なお、図28(a)において、例えば、「(1+2)Gb1」は「1Gb1」の画素と「2Gb1」の画素から出力され、加算された画素信号を意味し、「(1+2)B1」は、「1B1」の画素と「2B1」の画素から出力され、加算された合成画素信号を意味する。
欠陥補正部38は、図28(c)に示すように、「(1+2)B5」及び「(1+2)B6」の合成画素信号を、「(1+2)B4」、「(1+2)B7」の合成画素信号の信号レベルの平均値の補正信号に置き換え、連続欠陥補正を行う。また、欠陥補正部38は、「(1+2)Gb9」及び「(1+2)Gb10」の合成画素信号を、「(1+2)Gb8」、「(1+2)Gb10」の合成画素信号の信号レベルの平均値の補正信号に置き換え、連続欠陥補正を行う。
このように、B系は「B5」の画素22aと「B6」の画素22aとは同じ水平ライン上で連続しているので連続欠陥であり、連続欠陥補正方法で置換えを行っている。一方、Gb系は全画素では各々単独欠陥であるが垂直方向の画素加算を行うことで補正時は読み出し画素配列で欠陥が連続するので連続欠陥補正方法で置換を行うことで欠陥補正を精度よく行っている。
また、上述では、間引き方法や加算方法を限定して説明したが、基本的に垂直、水平方向各々独立に全画素読み出し、加算全読み出し、間引き読み出し、加算間引き読み出しを組み合わせた多彩な読み出し方法にも適応することができ仕様に応じて適宜変更可能である。
(揮発性メモリ部35から読み出し方法について)
上述のように間引き処理が行われると、揮発性メモリ部35には不要な欠陥アドレスが存在することになり、水平ライン単位で欠陥アドレスの読み飛ばしを行う必要がある。
水平ライン単位での欠陥アドレスの読み飛ばしは、水平ブランキング期間中に行い、次の水平ラインの画素信号の出力期間(以下、「有効期間」とする)以降で使用する欠陥アドレスまで不要な欠陥アドレスを順次読み飛ばし、使用するデータまで到達したら、有効期間の開始を待機する。なお、ここで「水平ブランキング期間」とは、読み出し画素配列で1水平ラインの画素信号の出力が終了して、読み出し画素配列で次の水平ラインの画素信号の出力が開始されるまでの期間である。
この読み飛ばしは、水平ブランキング期間中に1データずつ行うため、従来においては、水平ブランキングのサイクル数は欠陥アドレスを保持する揮発性メモリ部35のword数(欠陥アドレスの格納数)より大きくなければならなかった。もし、水平ブランキングのサイクル数が揮発性メモリ部35のword数より大きくない場合、水平ブランキング期間内に読み飛ばしが終了せず、途中で読み出しが停止、破綻してしまい、途中で補正ができなくなる可能性があるからである。
そこで、本実施形態における撮像装置1では、欠陥アドレスを保持する揮発性メモリ部35の内部を任意の区間の基準点で区切ることで、一部を順次読み出しではなく、基準点から基準点へ、データの読み飛ばしを行うようにしている。
まず、補正機能がONに設定された時に各基準点における欠陥アドレスを読み出しておく。その読み出しておいた各基準点における欠陥アドレスを保持しておき、処理中の画素アドレスと比較し、読み飛ばしが可能であるか判断する。読み飛ばしが可能である場合は、可能な基準点の位置まで読み出しアドレス(メモリアドレス)を飛ばし、そこから順次読み出しを再開する。
この読み飛ばしを行うことによって、水平ブランキングのサイクル数と、欠陥アドレスを保持するための記憶メモリのword数との関係に従来のような制限がなくなる。従って、保持することができる欠陥アドレス数の増加が見込まれ、より多くの画素欠陥を補正することが可能になる。
また、不要な欠陥画素位置アドレス信号を全て読み出す必要がなくなるため、読み出しに必要となる電力の削減を行うことができる(最大で“基準点数/基準点数+1”)。
ここで、揮発性メモリ部35における上記基準点を128word目においたときの処理の例について図29及び図30を参照して説明する。図29は揮発性メモリ部35の欠陥アドレスの記憶状態のイメージ図、図30は揮発性メモリ部35からの読み出し処理を説明するための図である。以下の説明においては、揮発性メモリ部35は256個の欠陥アドレスを記憶することができるものとし、アドレスが0〜255であるとする。
図30に示すように、補正機能がONに設定された時、信号処理回路12は、基準点である128word目における欠陥アドレスを揮発性メモリ部35から予め読み出し、図示しない記憶部に保持しておく。また、欠陥アドレスが記憶されている揮発性メモリ部35の読み出しアドレスであるRADRを"0”にセットする(ステップS10)。
次に、信号処理回路12は、SGアドレスが128word目の欠陥アドレスよりも大きいか否かを判定する(ステップS11)。ここでSGアドレスとは、アドレス生成器33から出力されるアドレスであって、処理中の画素信号を出力した画素のアドレスである。
ステップS11の処理において、SGアドレスが128word目の欠陥アドレスよりも大きくないと判定すると(ステップS11:No)、信号処理回路12は、RADRを+1だけインクリメントする(ステップS12)。一方、SGアドレスが128word目の欠陥アドレスよりも大きいと判定すると(ステップS11:Yes)、信号処理回路12は、RADRが128よりも大きいか否かを判定する(ステップS13)。
ステップS13の処理において、RADRが128よりも大きいと判定すると(ステップS13:Yes)、信号処理回路12は、処理をステップS12へ移行する。一方、RADRが128よりも大きくはないと判定すると(ステップS13:No)、信号処理回路12は、RADRを129にセットする(ステップS14)。
ステップS12、S14の処理が終了すると、信号処理回路12は、揮発性メモリ部35から読み出す欠陥アドレスがないか否か(RDATA==All1)、さらには、RADRが255以上であるか否かを判定する(ステップS15)。
ステップS15の処理において、揮発性メモリ部35から読み出す欠陥アドレスがあると判定したとき、或は、RADRが255以上でないと判定したとき(ステップS15:No)、信号処理回路12は、処理をステップS11に戻す。一方、揮発性メモリ部35から読み出す欠陥アドレスがないと判定したとき、或はRADRが255以上であると判定したとき(ステップS15:Yes)、信号処理回路12は処理を終了する。
なお、図29では基準点を128word目のみに設定したが、図31に示すように、64word目、128word目、192word目に設定することもでき、さらに細かく設定することもできる。
以上のように本実施形態における欠陥画素補正部39では、固体撮像素子10から読み出した画素信号に対応した画素のアドレスと欠陥画素のアドレス(欠陥アドレス)を比較する。このとき、一致しなかった場合は欠陥画素が固体撮像素子10の読み出しの際に間引かれたと判別し、その欠陥アドレスに対応する画素から出力される画素信号の補正を行わないようにしている。さらに、揮発性メモリ部35の記憶領域を一定の区間の基準点によって区切り、その基準点における欠陥アドレスとこれから読み出される画素アドレスを定期的に比較することにより、揮発性メモリ部35に記憶している欠陥アドレスを順次読み出さず、一部読み飛ばすようにしている。
従って、水平ブランキングのサイクル数と、欠陥アドレスを保持するための揮発性メモリ部35のword数との関係に従来のような制限がなくなる。従って、保持することができる欠陥アドレス数の増加が見込まれ、より多くの画素欠陥を補正することが可能になる。また、不要な欠陥画素位置アドレス信号を全て読み出す必要がなくなるため、読み出しに必要となる電力の削減を行うことができる。
また、揮発性メモリ部35は、揮発性メモリ35−1,35−2から構成され、上述したように、各揮発性メモリ35−1,35−2には、水平ライン単位で交互に欠陥アドレスが記憶される。従って、例えば、垂直方向加算読み出しの場合には、揮発性メモリ35−1と揮発性メモリ35−2とから水平ライン単位で交互に欠陥アドレスを読み出すことができる。このように構成することにより、欠陥補正時に一時的に保持するバッファも必要なく揮発性メモリ部35へのアクセス制御も容易となる。
以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
例えば、上記実施形態においては、固体撮像素子としてCMOS型の固体撮像素子をその一例に挙げて説明したがこれに限られず、CCD型の固体撮像素子であってもよい。
本発明の一実施形態における撮像装置の構成を示す図である。 本発明の一実施形態における固体撮像素子の構成を示す図である。 固体撮像素子の画素配列の説明図である。 固体撮像素子からの画素信号の読み出し処理の説明図である。 固体撮像素子からの画素信号の読み出し処理の説明図である。 固体撮像素子からの画素信号の読み出し処理の説明図である。 固体撮像素子からの画素信号の読み出し処理の説明図である。 固体撮像素子からの画素信号の読み出し処理の説明図である。 固体撮像素子からの画素信号の読み出し処理の説明図である。 固体撮像素子からの画素信号の読み出し処理の説明図である。 固体撮像素子からの画素信号の読み出し処理の説明図である。 撮像装置の信号処理回路において欠陥検出及び欠陥補正の処理を行う構成を示す図である。 信号処理回路内のアドレス検出器の構成図である。 第1欠陥検出部の検出動作を説明するための図である。 第2欠陥検出部の検出動作を説明するための図である。 第1欠陥検出部及び第2欠陥検出部の検出動作を説明するための図である。 揮発性メモリ部への記憶方法を説明するための図である。 揮発性メモリ部への記憶方法を説明するための図である。 揮発性メモリ部への記憶方法を説明するための図である。 揮発性メモリ部への記憶方法を説明するための図である。 欠陥補正回路の構成図である。 補正手段の動作を説明するための図である。 補正手段の動作を説明するための図である。 補正手段の動作を説明するための図である。 補正手段の動作を説明するための図である。 補正手段の動作を説明するための図である。 補正手段の動作を説明するための図である。 補正手段の動作を説明するための図である。 揮発性メモリ部の欠陥アドレスの記録状態のイメージ図である。 揮発性メモリ部の読み出し処理の説明図である。 揮発性メモリ部の読み出し処理の説明図である。
符号の説明
1 撮像装置
10 固体撮像素子
11 A/D変換回路
12 信号処理回路
13 システムコントローラ
14 入力部
15 光学ブロック
16 ドライバ
31 第1欠陥検出部
32 第2欠陥検出部
33 アドレス生成器
34 アドレス検出器
35 揮発性メモリ部
35−1〜35−k 揮発性メモリ
36 不揮発性メモリ
37 補正コンパレータ
38 欠陥補正回路
39 欠陥画素補正部
40 判別手段
41 補正手段

Claims (5)

  1. 固体撮像素子における複数の画素のうち1個の画素を欠陥検出対象とし、当該欠陥検出対象画素から出力される画素信号と当該欠陥検出対象画素に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超えたときに前記欠陥検出対象画素を欠陥画素と判定する第1欠陥検出部と、
    前記固体撮像素子の複数の画素のうち同色の隣接するn個(nは2以上の整数)の画素を欠陥検出対象画素群とし、当該欠陥検出対象画素群の画素から出力される画素信号の信号レベルと当該欠陥検出対象画素群に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超える画素を欠陥画素と判定する第2欠陥検出部と、を備え、
    前記第1欠陥検出部及び前記第2欠陥検出部により欠陥画素の検出を可能とした欠陥検出回路。
  2. 前記第1欠陥検出部及び前記第2欠陥検出部のうちいずれか一方を選択的に動作可能とした請求項1に記載の欠陥検出回路。
  3. 前記第1欠陥検出部及び前記第2欠陥検出部のうち少なくともいずれか一方で欠陥画素と判定した画素を欠陥画素として検出する請求項1に記載の欠陥検出回路。
  4. 前記固体撮像素子は、垂直方向の同色k画素で加算出力可能とし、
    前記検出した欠陥画素のアドレスを記憶する記憶部を備え、
    前記記憶部は、前記同色k画素のそれぞれに対応して欠陥画素のアドレスを記憶するための記憶素子をk個設けた請求項1〜3のいずれか1項に記載の欠陥検出回路。
  5. 固体撮像素子と、前記固体撮像素子の欠陥画素を検出する欠陥検出回路とを有し、
    前記欠陥検出回路は、
    前記固体撮像素子における複数の画素のうち1個の画素を欠陥検出対象とし、当該欠陥検出対象画素から出力される画素信号と当該欠陥検出対象画素に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超えたときに前記欠陥検出対象画素を欠陥画素と判定する第1欠陥検出部と、
    前記固体撮像素子の複数の画素のうち同色の隣接するn個(nは2以上の整数)の画素を欠陥検出対象画素群とし、当該欠陥検出対象画素群の画素から出力される画素信号の信号レベルと当該欠陥検出対象画素群に隣接する同色の少なくとも2つの隣接同色画素から出力される画素信号との信号レベル差が基準閾値を超える画素を欠陥画素と判定する第2欠陥検出部と、を備え、
    前記第1欠陥検出部及び前記第2欠陥検出部により欠陥画素の検出を可能とした撮像装置。
JP2008301624A 2008-11-26 2008-11-26 欠陥検出回路及び撮像装置 Pending JP2010130236A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008301624A JP2010130236A (ja) 2008-11-26 2008-11-26 欠陥検出回路及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008301624A JP2010130236A (ja) 2008-11-26 2008-11-26 欠陥検出回路及び撮像装置

Publications (1)

Publication Number Publication Date
JP2010130236A true JP2010130236A (ja) 2010-06-10

Family

ID=42330319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008301624A Pending JP2010130236A (ja) 2008-11-26 2008-11-26 欠陥検出回路及び撮像装置

Country Status (1)

Country Link
JP (1) JP2010130236A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017195616A (ja) * 2011-03-24 2017-10-26 キヤノン株式会社 画像処理装置及び画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017195616A (ja) * 2011-03-24 2017-10-26 キヤノン株式会社 画像処理装置及び画像処理方法

Similar Documents

Publication Publication Date Title
JP6159105B2 (ja) 撮像装置及びその制御方法
RU2609540C2 (ru) Устройство захвата изображения и способ управления устройством захвата изображения
US7576787B2 (en) Image-pickup device, and device and method for correcting defective pixel
US9277113B2 (en) Image pickup apparatus and driving method therefor
US10757348B2 (en) Image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium recording program
RU2619721C2 (ru) Устройство захвата изображений, система захвата изображений и способ управления для устройства захвата изображений
JP2007150643A (ja) 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP2013148873A (ja) 撮像装置及びその制御方法
JP2010028487A (ja) 撮像装置、及び撮像装置の制御方法
JP2008016976A (ja) 撮像装置及びその制御方法並びに撮像システム
JP5746521B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
US10027919B2 (en) Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method
JP2011135152A (ja) 撮像装置及び撮像方法
JP5105843B2 (ja) 撮像装置及び判定方法
JP2009021878A (ja) 撮像装置及びその制御方法
JP2010130238A (ja) 欠陥補正回路及びそれを備えた撮像装置
JP2005328421A (ja) 撮像装置および撮像方法
JP6929106B2 (ja) 撮像装置及び撮像装置の制御方法
JP5446955B2 (ja) 撮像装置
JP2007124542A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP5106055B2 (ja) 撮像装置及びそのフリッカ検出方法
US9282245B2 (en) Image capturing apparatus and method of controlling the same
JP6759088B2 (ja) 撮像装置とその制御方法及びプログラム
JP5299159B2 (ja) 撮像装置およびプログラム
JP2010130236A (ja) 欠陥検出回路及び撮像装置