JP2010010760A - 撮像装置および方法 - Google Patents

Abstract

【課題】画素共有技術を利用した撮像素子におけるアドレス記憶式の画素欠陥補正手法を採用する場合、メモリ容量を削減するとともに、補正回路内のバッファを不用にすることができるようにする。
【解決手段】欠陥情報格納メモリに格納される欠陥画素情報は、欠陥アドレス４１、共有フラグ４２および共有位置情報４３から構成されている。共有位置情報４３とは、所定の共有画素の、他の共有画素との相対的な位置をいう。即ち、欠陥画素が共有画素である場合には当該画素共有構成毎に、そうでない場合には欠陥画素毎に、欠陥画素情報が欠陥情報格納メモリに格納される。したがって、画素共有構成（それに含まれる複数の共有画素）全体で１つの欠陥画素情報が用いられることになる。本発明は、例えば撮像装置に適用することができる。
【選択図】図４

Description

本発明は、撮像装置および方法に関し、特に、画素共有技術を利用した撮像素子におけるアドレス記憶式の画素欠陥補正手法を採用する場合、メモリ容量を削減するとともに、補正回路内のバッファを不用にすることができるようになった、撮像装置および方法に関する。

CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）などの固体撮像素子において、製造工程上の不具合などにより、正しい出力ができない欠陥画素が存在することが知られている。このような欠陥画素があると、正しい出力を得ることができず、画質劣化を引き起こすことになる。

このような欠陥画素から出力される信号を補正する手法として、次のような一連の工程からなる手法が存在する。第１の工程は、従来の撮像装置について、まず、工場出荷時に欠陥画素の検出調整を行い、そこで見つかった欠陥画素のアドレスを、メモリなどにあらかじめ記憶しておくという工程である。第２の工程は、欠陥画素から出力される信号を、その欠陥画素の前後にある同色フィルタ画素データの加算平均値と置き換えるような欠陥補正回路を内蔵して、欠陥画素の補正を行わせるという工程である。

しかしながら、近年のイメージセンサの多画素化に従い、欠陥画素数も増加してきており、欠陥アドレスを記憶するためのメモリが増加することで、撮像装置のコストが上がるという問題が生じている。

また、イメージセンサの多画素化に従い、単位画素あたりの面積も縮小されてきている。CMOSセンサの単位画素は、フォトダイオードなどの光電変換素子で構成される光電変換部で形成されており、光電変換部の面積が低下することで単位画素あたりの感度が低下し、それによる画質劣化が懸念されている。

そこで、光電変換部の面積低下を防ぐための手法として、複数の光電変換部を1つの読み出し回路部で共有する、いわゆる画素共有という技術が提案されている（例えば特許文献１参照）。

特開２００７−１８１０６４号公報

しかしながら、このような画素共有構成をとった場合、共有部のトランジスタに起因する欠陥が発生すると、共有している画素の出力全てが欠陥画素となってしまう。以下、このような欠陥を共有欠陥と称する。

従来の補正システムにおいては、これらの共有欠陥を、通常の1画素のみに発生する欠陥と区別することは行っておらず、見つかった欠陥画素の全てのアドレスをメモリに記憶する方式を取っている。そのため、共有画素数分だけアドレス記憶領域が必要となり、メモリ容量を無駄に消費している、という問題が生じていた。

そこで、その問題の対策として、上述した特許文献１には、共有欠陥に対して先頭アドレスのみをメモリに記憶し、補正時に別のバッファ（欠陥アドレス記憶バッファ）へアドレスを展開するといった手法が開示されている。しかしながら、特許文献１の手法では、このようなアドレスを展開するためのバッファが別に必要となる。よって、共有欠陥が同一ライン上に複数ある場合等を想定すると、その容量も無視できないものとなる、という問題を生ずる。即ち、バッファには、画素共有されている画素（以下、共有画素と称する）の個数分のアドレスが展開されることになる。よって、共有画素の個数が増えた分だけ、バッファ容量が大きくなるという問題が生ずる。

本発明は、このような状況に鑑みてなされたものであり、画素共有技術を利用した撮像素子におけるアドレス記憶式の画素欠陥補正手法を採用する場合、メモリ容量を削減するとともに、補正回路内のバッファを不用にすることができるようにするものである。

本発明の一側面の撮像装置は、複数の画素と、前記複数の画素のうちの少なくとも２つの画素が共有画素とされ、前記共有画素に対して共有して設けられた読み出し手段とを備える撮像素子と、前記複数の画素のうちの欠陥画素に関する欠陥画素情報を記憶する欠陥情報記憶手段と、前記欠陥情報に基づいて欠陥画素を特定し、特定した欠陥画素の画素データを補正する欠陥補正手段とを備え、前記欠陥画素情報は、欠陥画素の読み出し順を示す前記撮像素子におけるアドレスと、共有欠陥であるか否かを示す共有情報と、共有画素中の位置を示す共有位置情報とを格納しており、１つの前記共有欠陥に対して１つの欠陥画素情報を備えており、前記欠陥補正手段は、処理対象の欠陥画素情報に格納された共有情報が共有欠陥であることを示す情報である場合、処理対象の欠陥画素情報に格納された前記アドレスと、処理対象の欠陥画素情報に格納された前記共有位置情報とを用いて、前記共有欠陥である欠陥画素群を特定する各画素をそれぞれ特定し、特定された前記各画素のそれぞれの画素データを補正する。

前記欠陥補正手段は、前記共有欠陥である欠陥画素群を構成する各画素のうち所定画素を補正対象とする場合、さらに、処理対象の前記欠陥画素情報に含まれる前記アドレスを、前記所定画素のアドレスから、前記共有欠陥である欠陥画素群を構成する各画素のうち前記所定画素の次に前記読み出し手段により読み出される次画素のアドレスに変更し、変更後の処理対象の前記欠陥画素情報を前記欠陥情報記憶手段に上書きする。

前記共有欠陥である欠陥画素群についての前記欠陥画素情報には、さらに、前記共有位置情報が含まれており、前記欠陥補正手段は、前記アドレスを前記所定画素のアドレスから前記次画素のアドレスに変更した場合、さらに、前記共有位置情報の内容を、前記所定画素から前記次画素に関する情報に変更する。

前記欠陥補正手段は、前記アドレスを前記所定画素のアドレスから前記次画素のアドレスに変更した場合、さらに、前記次画素のアドレスよりも前に前記読み出し手段により読み出されるアドレスが含まれる前記欠陥画素情報が、前記欠陥情報記憶手段に存在するとき、その欠陥画素情報を処理対象とするように、前記欠陥情報記憶手段内の前記欠陥画素情報を並べ替える。

前記欠陥補正手段は、さらに、処理対象の前記欠陥画素情報を示す処理対象参照情報を用いて、前記補正処理を実行しており、前記アドレスを前記所定画素のアドレスから前記次画素のアドレスに変更した場合、前記所定画素が、前記読み出し手段の読み出し方向の最後尾アドレスに位置する欠陥画素であるとき、前記処理対象参照情報の内容を更新する。

前記欠陥補正手段は、補正対象の欠陥画素の画素データの補正処理として、前記補正対象に対して所定位置関係にある複数の同色フィルタ画素の各画素データから補正データを求め、前記補正対象の画素データを前記補正データに置き換える処理を実行する。

本発明の一側面の撮像方法は、本発明の一側面の上述した撮像装置に対応する方法である。

本発明の一側面の撮像装置および方法においては、複数の画素と、前記複数の画素のうちの少なくとも２つの画素が共有画素とされ、前記共有画素に対して共有して設けられた読み出し手段とを備える撮像素子と、前記複数の画素のうちの欠陥画素に関する欠陥画素情報を記憶する欠陥情報記憶手段と、前記欠陥情報に基づいて欠陥画素を特定し、特定した欠陥画素の画素データを補正する欠陥補正手段とを備える撮像装置によって、次の処理がなされる。即ち、前記欠陥画素情報は、欠陥画素の読み出し順を示す前記撮像素子におけるアドレスと、共有欠陥であるか否かを示す共有情報と、共有画素中の位置を示す共有位置情報とを格納しており、１つの前記共有欠陥に対して１つの欠陥画素情報を備えている場合に、処理対象の欠陥画素情報に格納された共有情報が共有欠陥であることを示す情報であるとき、処理対象の欠陥画素情報に格納された前記アドレスと、処理対象の欠陥画素情報に格納された前記共有位置情報とを用いて、前記共有欠陥である欠陥画素群を特定する各画素がそれぞれ特定され、特定された前記各画素のそれぞれの画素データが補正される。

以上のごとく、本発明によれば、画素共有起因で発生する共有欠陥について、全ての共有パターンを補正することが可能となる。特に、かかる補正をするために必要な、欠陥画素の前記撮像素子におけるアドレス（欠陥アドレス等）を記憶するためのメモリ容量の削減が可能となる。その結果、撮像装置全体のコストアップを抑制することができる。さらに、従来必要であった補正回路内のバッファを不用にすることができるようにもなる。

最初に、本発明の理解を容易にするために、画素共有技術について図１を参照して説明する。

図１は、画素共有技術を用いたCMOSセンサの画素部の回路図の構成例を示している。

図１に示されるCMOSセンサにおいて、２画素のフォトダイオード２a，２bに対して、それぞれ対応する転送トランジスタＴｒ１ａ，Ｔｒ１ｂのソースが接続されている。

転送トランジスタＴｒ１ａ，Ｔｒ１ｂの各ゲートには、それぞれ転送配線１１Ａ，１１Ｂが接続されている。

転送トランジスタＴｒ１ａ，Ｔｒ１ｂのドレインは、共に１つのリセットトランジスタＴｒ２に接続されている。また、転送トランジスタＴｒ１ａ，Ｔｒ１ｂのドレインとリセットトランジスタＴｒ２のソース間のいわゆるフローティング・ディフージョン（ＦＤ）が、増幅トランジスタＴｒ３のゲートに接続されている。

リセットトランジスタＴｒ２のドレインおよび増幅トランジスタＴｒ３のドレインは、電源配線１３に接続されている。また、リセットトランジスタＴｒ２のゲートはリセット線１２に接続されている。増幅トランジスタＴｒ３のソースは選択トランジスタＴｒ４のドレインに接続されている。

選択トランジスタＴｒ４のゲートは選択配線１５に接続され、選択トランジスタＴｒ４のソースは垂直信号線１４に接続されている。

読み出し回路部２０は、リセットトランジスタＴｒ２、増幅トランジスタＴｒ３および選択トランジスタＴｒ４を含む。

即ち、図１の構成例では、２画素のフォトダイオード２a，２bは、１つの読み出し回路部２０で共有されている。

このように、画素共有技術では、複数の光電変換部（図１の例では、２画素のフォトダイオード２a，２b）が、1つの読み出し回路部（図１の例では、読み出し回路部２０）で共有されている。

このように、図１の構成例は、２画素共有の場合を示している。勿論、画素共有技術では、さらに複数の画素、たとえば４画素共有も実現可能である。

以下、画素共有技術を用いた読み出し回路の構成、即ち、図１に示される構成を、画素共有構成と称する。このような画素共有構成をとった場合、共有部のトランジスタ（図１の例では、リセットトランジスタＴｒ２）に起因する欠陥が発生すると、共有画素（図１の例では、２画素のフォトダイオード２a，２b）の出力全てが欠陥画素となってしまう。即ち、［発明が解決しようとする課題］で説明した共有欠陥が発生してしまう。

この場合、特許文献１を含む従来の補正手法を採用した場合、［発明が解決しようとする課題］で上述した各種問題が生じてしまう。

そこで、本発明人は、従来の補正手法のうち、アドレス保持手法を改善する手法を発明した。かかる発明により、これらの従来の各種問題を解決することができるようになった。即ち、メモリ容量を削減し、かつ特許文献１の手法では必須なバッファを不要とする撮像装置を実現できるようになった。そこで、以下、図２以降の図面を参照して、本発明の実施の形態について説明する。

図２は、本発明を適用した一実施形態としての撮像装置の構成例を示すブロック図である。

図２の例の撮像装置は、レンズ３１、CMOSセンサ３２、前処理部３３、A/D変換部３４、欠陥補正部３５、欠陥情報格納メモリ３６および信号処理部３７から構成されている。

ここで、CMOSセンサ３２の読み出し回路は、画素共有構成を取っているとする。即ち、複数の光電変換部が、1つの読み出し回路部で共有されているとする。

例えば、CMOSセンサ３２の読み出し回路の画素共有構成としては、図３のＡ，Ｂに示される４画素共有構成を採用することができる。図３のＡ，Ｂは、実線で結ばれた４画素を共有画素とする画素共有構成の２つの例を示している。図３のＡにおいて、正方形が１つの画素（光電変換部）を示している。各画素内のアルファベットが、ＲＧＢ（ＧはＧｒとＧｂ）信号の各信号に対応している。なお、共有画素の数や共有画素の組み合わせ方等は、図３の例に限定されず、任意でよい。ただし、以下、説明の簡略上、本実施の形態では、CMOSセンサ３２の読み出し回路の画素共有構成として、図３のＡに示される４画素共有構成が採用されているとする。

図２において、CMOSセンサ３２は、レンズ３１から入射した光を光電変換し、その結果得られるアナログの画像信号を、前処理部３３に提供する。前処理部３３は、画像信号に対して、黒レベル調整などの前処理を施す。前処理部３３により前処理が施された画像信号はA/D変換部３４に提供される。

A/D変換部３４は、アナログの画像信号に対してA/D変換（Analog to Digital変換）を施し、その結果得られるデジタルの画像信号を欠陥補正部３５に提供する。このデジタルの画像信号は、各画素の画素データから構成されている。欠陥補正部３５は、デジタルの画像信号を構成する各画素データのうち、欠陥画素の画素データについては補正処理を施した上、そうでない画素データについてはそのまま、信号処理部３７に提供する。信号処理部３７は、提供された画像信号に対して、適宜様々な処理を施す。

ここで、欠陥補正部３５の補正処理では、欠陥情報格納メモリ３６に格納された情報が用いられる。例えば本実施の形態では、欠陥情報格納メモリ３６には、工場出荷時などにあらかじめ検出された情報として、CMOSセンサ３２の欠陥画素のアドレス情報、共有欠陥であるか否かを判別するためのフラグ、共有位置を示す情報等が、欠陥画素毎に記憶されている。

ここで注目すべき点は、「欠陥画素毎」と記述しているが、この記述は全欠陥画素を意味しない点である。即ち、欠陥画素が共有画素である場合、その他の共有画素も欠陥画素になる。よって、この場合、CMOSセンサ３２の読み出し方向の先頭アドレスに位置する共有画素（後述する図４のＢの例では、共有位置情報が「００」である最上端の画素）についての情報のみが、欠陥情報格納メモリ３６に格納される。これにより、欠陥情報格納メモリ３６の容量の削減が可能になる。

例えば、図４のＡは、欠陥情報格納メモリ３６うち、１つの欠陥画素に関する情報のデータ構造例を示している。以下、かかる構造のデータをまとめて、欠陥画素情報と称する。

ここで、欠陥画素が共有画素である場合、初期状態では、先頭の共有画素（後述する図４のＢの例では、共有位置情報が「００」である最上端の画素）に関する情報が、欠陥画素情報として欠陥情報格納メモリ３６に格納される。初期状態と記述したのは、後述する図７の補正処理により、別の共有画素に関する情報に適宜更新されるからである。換言すると、画素共有構成（それに含まれる複数の共有画素）全体で１つの欠陥画素情報が用いられることになる。

欠陥画素情報は、欠陥アドレス４１、共有フラグ４２および共有位置情報４３から構成される。即ち、欠陥画素が共有画素である場合には当該画素共有構成毎に、そうでない場合には欠陥画素毎に、欠陥画素情報が欠陥情報格納メモリ３６内に格納されている。これらの複数の欠陥画素情報が、各欠陥アドレス４１の内容に基づいて、CMOSセンサ３２から読み出される順番に並べられて、欠陥情報格納メモリ３６に格納されている。

欠陥アドレス４１とは、欠陥画素のアドレスを特定する情報をいう。

共有フラグ４２とは、bitで表示されるフラグであって、欠陥画素の欠陥が、共有欠陥であるか否かを示す情報をいう。例えば本実施の形態の共有フラグ４２は、欠陥画素が共有欠陥である場合には「1」となり、共有欠陥でない場合には「0」となる。なお、当然ながら、「０」と「１」の対応付けは逆でもよい。

共有位置情報４３とは、欠陥画素の共有位置を示す情報をいう。共有位置とは、所定の共有画素の、他の共有画素との相対的な位置をいう。よって、共有位置情報４３の情報量は、共有画素数によって異なる。たとえば、４画素共有であれば２bitで共有位置情報４３を構成することができる。

具体的には例えば本実施の形態では、CMOSセンサ３２の読み出し回路の画素共有構成としては、上述したように、図３のＡに示される４画素共有構成が採用されている。よって、例えば、図４のＢに示される共有位置情報４３を採用することができる。即ち、４つの共有画素のうち、垂直方向の一番上に配置される共有画素（先頭の共有画素）の共有位置情報４３は、「００」が採用される。以下、同様に、４つの共有画素のうち、垂直方向の２番目、３番目、４番目に配置される各共有画素の共有位置情報４３はそれぞれ、「０１」、「１０」、「１１」が採用される。

ただし、上述のごとく、欠陥画素が共有画素の場合、欠陥画素情報は、画素共有構成毎に、即ち、本実施の形態では４画素共有構成毎に設けられている。よって、この場合、初期状態では、欠陥アドレス４１としては、垂直方向の一番上に配置される共有画素（先頭の共有画素）の欠陥アドレスが欠陥情報格納メモリ３６に格納される。共有フラグ４２としては「１」が欠陥情報格納メモリ３６に格納される。共有位置情報４３としては、垂直方向の一番上に配置される共有画素（先頭の共有画素）の共有位置情報である「００」が欠陥情報格納メモリ３６に格納される。

なお、欠陥画素が共有欠陥でない場合、即ち、共有フラグ４２に「０」が格納される場合、共有位置情報４３は不要となる。即ち、この場合、共有位置情報４３の参照は不要となる。よって、この場合の共有位置情報４３の代わりに任意の情報を欠陥情報格納メモリ３６に格納することができる。

このような欠陥情報格納メモリ３６に格納された欠陥画素情報が、欠陥補正部３５の補正処理で用いられる。即ち、欠陥補正部３５は、欠陥情報格納メモリ３６のうち、処理対象の欠陥画素についての欠陥画素情報、具体的には、欠陥アドレス４１、共有フラグ４２および共有位置情報４３を参照する。そして、欠陥補正部３５は、欠陥情報格納メモリ３６から得たこれらの情報を用いて、欠陥画素のデータを補正する。

この場合の補正手法は、特に限定されないが、本実施の形態では例えば、当該欠陥画素と所定位置関係（例えば前後）にある同色フィルタ画素の画素データより算出したデータを、欠陥画素の画素データとして置き換えるという手法が適用されるとする。以下、図５を参照して、かかる手法の概要を説明する。

図５の例では、説明の簡略上、ベイヤー状に配列された５×５画素群が処理対象とされている。正方形が１つの画素（光電変換部）を示している。各画素内のアルファベットが、ＲＧＢ信号の各信号に対応している。この処理対象を構成する各画素の位置は、アドレス（x,y）で示されるとする。ここで、xは、最左端の画素位置を１とした場合の水平方向(右方向)のアドレス（以下、Ｈアドレスと称する）を示している。ｙは、最上端の画素位置を１とした場合の垂直方向（下方向）のアドレス（以下、Ｖアドレスと称する）を示している。

処理対象のうちのアドレス（3,3）にある画素PN、即ち図中太線枠で囲まれた画素PNが、欠陥画素であるとする。この場合欠陥画素PNと、同色フィルタで水平方向において最近傍にある画素は、図中網掛けで示される画素Pa，Pb、即ち、アドレス（1,3）にある画素Paとアドレス（5,3）にある画素Pbである。欠陥補正部３５は、これら２つの画素Pa，Pbの画素データから求めたデータ（例えば各画素値の平均値）を、欠陥画素PNの画素データ（画素値）に置き換えることにより、欠陥画素PNの補正を行う。

図６は、このような欠陥補正部３５の構成例を示すブロック図である。

図６の欠陥補正部３５は、欠陥判定部５１、欠陥補正部５２、共有判定部５３、共有位置情報生成部５４、アドレス変換部５５、および出力部５６から構成されている。

欠陥判定部５１には、A/D変換部３４からデジタルの画像信号が画素データ毎に提供される。即ち、欠陥判定部５１を含む欠陥補正部３５の処理単位は、画素データである。そこで、以下、画素データを用いて、欠陥補正部３５について説明していく。

欠陥判定部５１は、画素データのアドレスと、欠陥情報格納メモリ３６から提供される欠陥アドレス４１とを比較する。ここで、欠陥情報格納メモリ３６から提供される欠陥アドレス４１とは、欠陥情報格納メモリ３６に格納された各欠陥画素情報のうちの、処理対象の欠陥画素情報に含まれる欠陥アドレス４１をいう。処理対象の欠陥画素情報とは、図９乃至図１７を用いて後述する「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報をいう。

欠陥判定部５１は、この比較結果に基づいて、A/D変換部３４から提供される画素データが欠陥画素の画素データであるか否かを判定する。欠陥判定部５１は、欠陥画素の画素データであると判定した場合、その画素データを欠陥補正部５２に提供する。また、欠陥判定部５１は、欠陥画素の画素データではないと判定した場合、その画素データを出力部５６に提供する。

欠陥補正部５２は、欠陥画素の画素データに対して補正処理を施す。補正処理に適用される補正手法については、図５を用いて説明した通りである。補正後の欠陥画素の画素データは、共有判定部５３に提供される。

共有判定部５３は、欠陥情報格納メモリ３６の処理対象の欠陥画素情報に含まれる共有フラグ４２を用いて、欠陥補正部５２から提供された画素データが共有欠陥の画素データであるか否かを判定し、その判定結果を共有位置情報生成部５４に通知する。また、共有判定部５３は、補正後の欠陥画素の画素データを出力部５６に提供する。

共有位置情報生成部５４は、共有欠陥の画素データであるという判定結果が共有判定部５３から通知されてきた場合、その画素データに対応する共有画素についての共有位置を示す共有位置情報４３を生成する。そして、共有位置情報生成部５４は、その共有位置情報４３を、次に読み出される共有画素の共有位置を示す情報に更新する。更新後の共有位置情報４３は、アドレス変換部５５に通知される。

アドレス変換部５５は、共有位置情報生成部５４から変換後の共有位置が通知された場合、欠陥アドレス４１を、変換前の共有位置の共有画素（欠陥画素）のアドレスから、変換後の共有位置の共有画素（欠陥画素）のアドレスに変換する。アドレス変換部５５は、変換後の共有位置情報４３と変換後の欠陥アドレス４１を、欠陥情報格納メモリ３６内の欠陥アドレス４１に基づいてソートして、欠陥情報格納メモリ３６に書き戻す。換言すると、欠陥情報格納メモリ３６に格納されている欠陥画素情報のうち、処理対象の共有画素を含む画素共有構成で用いられている欠陥画素情報の内容が更新され、必要に応じて並び替えられる。なお、この並び替えをアドレスソートと称する。アドレスソートについては後述する。

出力部５６は、欠陥判定部５１からの画素データ（欠陥のない画素データ）、または、共有判定部５３からの画素データ（欠陥補正部５２により補正された画素データ）を信号処理部３７（図２）に通知する。

図７は、欠陥補正部３５が実行する補正処理を説明するフローチャートである。

図７の例の補正処理は、画素データについての処理である。即ち、A/D変換部３４から画素データが提供される毎に、図７の例の補正処理が繰り返し実行される。そこで、以下、A/D変換部３４から提供されて、図７の例の補正処理の対象となる画素データを、処理対象画素データと称する。また、以下、処理対象画素データに対応する画素を、処理対象画素と称する。

ステップＳ１において、欠陥判定部５１は、処理対象画素が欠陥画素であるか否かを判定する。即ち、欠陥判定部５１は、処理対象画素のアドレスと、欠陥情報格納メモリ３６から提供される欠陥アドレス４１とを比較し、処理対象画素が欠陥画素であるか否かを判定する。

ここで、欠陥情報格納メモリ３６から提供される欠陥アドレス４１とは、欠陥情報格納メモリ３６に格納された各欠陥画素情報のうちの、処理対象の欠陥画素情報に含まれる欠陥アドレス４１である。なお、処理対象の欠陥画素情報とは、図９乃至図１７を用いて後述する「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報をいう。また、欠陥アドレス参照位置Ｐは、後述するステップＳ８の処理で更新される。

処理対象画素のアドレスと欠陥アドレス４１とが不一致の場合、ステップＳ１においてＮＯであると判定されて、即ち、処理対象画素は欠陥画素ではないと判定されて、補正処理全体が終了となる。この場合、処理対象画素データは、補正処理が施されずにそのまま、出力部５６を介して図２の信号処理部３７に出力される。

これに対して、処理対象画素のアドレスと欠陥ドレス４１とが一致した場合、ステップＳ１においてＹＥＳであると判定されて、即ち、処理対象画素は欠陥画素であると判定されて、処理対象画素の画素データは欠陥補正部５２に提供される。これにより、処理はステップＳ２に進む。

ステップＳ２において、欠陥補正部５２は、処理対象画素データを補正する。補正後の処理対象画素データが共有判定部５３に提供されると、処理はステップＳ３に進む。

ステップＳ３において、共有判定部５３は、欠陥情報格納メモリ３６の処理対象の欠陥画素情報に含まれる共有フラグ４２を用いて、処理対象画素の欠陥が共有欠陥であるか否かを判定する。

共有フラグ４２が「０」の場合、ステップＳ３においてＮＯであると判定されて、即ち、処理対象画素の欠陥は共有欠陥ではないと判定されて、処理はステップＳ８に進む。ステップＳ８以降の処理については後述する。

これに対して、共有フラグ４２が「１」の場合、ステップＳ３においてＹＥＳであると判定されて、即ち、処理対象画素の欠陥は共有欠陥であると判定されて、その判定結果が共有位置情報生成部５４に通知される。これにより、処理はステップＳ４に進む。なお、以下、共有欠陥であると判定された画素を、共有欠陥画素と称する。

ステップＳ４において、共有位置情報生成部５４は、共有欠陥画素の共有位置情報４３を生成し、共有欠陥画素の共有位置情報４３を、次に読み出される共有欠陥画素の共有位置情報４３に変換する。

具体的には例えば本実施の形態では、図４のＢで示される共有位置情報４３が用いられている。よって、ステップＳ４の処理では、共有欠陥画素の共有位置情報４３として、図８に示される表の各行のうち所定の行の「現在の共有位置情報」の記載値が生成される。この場合、同一行の「変換後の共有位置情報」の記載値が、次に読み出される共有欠陥画素の共有位置情報となっている。よって、所定の行の「現在の共有位置情報」の記載値が、同一行の「変換後の共有位置情報」の記載値に変更されるのである。

より具体的には例えば、共有欠陥画素の共有位置情報４３として「０１」が生成されたとする。この「０１」は、２行目の「現在の共有位置情報」の記載値である。よって、「０１」は、２行目の「変換後の共有位置情報」の記載値である「１０」に変更されるのである。

図７に戻り、ステップＳ４の処理が実行され、変換後の共有位置情報（上の具体例では「１０」）が、アドレス変換部５５に通知されると、処理はステップＳ５に進む。

ステップＳ５において、アドレス変換部５５は、共有欠陥画素の欠陥アドレス４１を、次に読み出される共有欠陥画素の欠陥アドレス４１に変換する。

具体的には例えば本実施の形態では、図４のＢで示される共有位置情報が用いられている。よって、ステップＳ５の処理では、図８に示される表の各行のうち所定の行、即ち、ステップＳ５の処理で参照された行が処理対象行となる。この処理対象行の「アドレス変換方法」の記載内容に従って、共有欠陥画素の欠陥アドレス４１が、次に読み出される共有欠陥画素の欠陥アドレス４１に変換される。

より具体的には、上述したステップＳ４の例にあわせて、処理対象行が２行目であるとする。即ち、ステップＳ４の処理で、共有位置情報４３として「０１」が生成され、その「０１」が「１０」に変換されたとする。また、共有欠陥画素の欠陥アドレス４１が、アドレス(x,y)であったとする。ここで、ｘはＨアドレスを示し、ｙはＶアドレスを示している。この場合、２行目の「アドレス変換方法」の記載内容は、「Ｈアドレス−１ Ｖアドレス＋１」となっている。この記載の意味は、Ｈアドレスは、現在のＨアドレスｘに対して「−１」だけ進め、Ｖアドレスは、現在のＶアドレスｙに対して「＋１」だけ進めることを意味している。よって、共有欠陥画素の欠陥アドレス４１は、アドレス(x,y)からアドレス（x-1，y+1）に変換されることになる。

即ち、本実施の形態では、CMOSセンサ３２の読み出し回路の画素共有構成として、図３のＡに示される４画素共有構成が採用されている。図３のＡの４画素共有構成は、設計時点での既知かつ固定の情報である。よって、図３のＡの４画素共有構成における４つの共有画素の各アドレスと、他の１つの共有画素のアドレスとの差分もまた、設計時点での既知かつ固定の情報である。例えば、図３のＡの上から２番目の画素のアドレスと、図３のＡの上から１番目の画素のアドレスとの差分は、Ｈアドレスについては＋１であり、Ｖアドレスについては＋１となる。換言すると、図３のＡの上から１番目の画素のアドレスからこの差分だけアドレスを移動させれば、図３のＡの上から２番目のアドレスに変換することが可能になる。

より一般的に言えば、共有欠陥画素の欠陥アドレス４１と、次に読み出される共有欠陥画素の欠陥アドレス４１との差分が、図８に示される表の「アドレス変換方法」の項目に各行毎に記載されている。よって、処理対象行の「現在の共有位置情報」で特定される共有欠陥画素の欠陥アドレス４１から、処理対象行の「アドレス変換方法」の項目に記載されている差分だけアドレスを移動させることで、次に読み出される共有欠陥画素の欠陥アドレス４１、即ち、処理対象の「変換後の共有位置情報」で特定される共有欠陥画素の欠陥アドレス４１に変換される。

図７に戻り、ステップＳ６において、アドレス変換部５５は、上述のステップＳ４とＳ５の処理内容に基づいて、アドレスソートして、欠陥情報格納メモリ３６に書き戻す。具体的には、欠陥情報格納メモリ３６に格納された欠陥画素情報のうち、処理対象の欠陥画素情報、即ち、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の内容が書き換えられる。即ち、欠陥アドレス４１が、ステップＳ５の処理で変換された内容に書き換えられる。上述の例で言えば、欠陥アドレス４１が、アドレス(x,y)からアドレス（x-1，y+1）に書き換えられる。また、共有位置情報４３として、ステップＳ４の処理で変換された内容に書き換えられる。上述の例で言えば、共有位置情報４３が、「０１」から「１０」に書き換えられる。そして、アドレスソートが行われる。なお、アドレスソートについては、図１０と図１１を参照して後述する。

これにより、ステップＳ６の処理が終了し、処理はステップＳ７に進む。

ステップＳ７において、アドレス変換部５５は、欠陥情報格納メモリ３６の処理対象の欠陥画素情報、即ち、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の共有位置情報４３情報を参照し、共有位置が最後の位置（図４のＢの例では共有位置情報「１１」が示す共有位置）であるか否かを判定する。

ステップＳ７において、共有位置が最後の位置でないと判定された場合、具体的には例えば、図４のＢの例では共有位置情報４３が「００」、「０１」、または「１０」である場合、補正処理全体が終了となる。

これに対して、ステップＳ７において、共有位置が最後の位置であると判定された場合、処理はステップＳ８に進む。

ステップＳ８において、アドレス変換部５５は、欠陥情報格納メモリ３６の欠陥アドレス参照位置Ｐをひとつ進める。即ち、欠陥情報格納メモリ３６に格納された欠陥画素情報のうち、処理対象の欠陥画素情報が、１つ下の欠陥画素情報に移動する。これにより、補正処理全体が終了となる。

以上説明したように、欠陥画素の欠陥が共有欠陥である場合、ステップＳ４乃至Ｓ７の処理が実行されて、欠陥情報格納メモリ３６に格納された欠陥画素情報のうち、処理対象の欠陥画素情報の内容が更新される。これにより、欠陥情報格納メモリ３６は、画素共有構成で１つの欠陥画素情報、例えば本実施の形態では４画素共有構成で１つの欠陥画素情報だけを格納させればよいことになる。即ち、欠陥情報格納メモリ３６において、1画素分のメモリ領域（欠陥画素情報のメモリ領域）で４画素分の補正を実行することが可能となり、残りの共有画素数分に相当するメモリ容量（本実施の形態では３つの欠陥画素情報分のメモリ容量）の削減が可能となる。

さらに、以下、図９乃至図１７の具体例を用いて、図７の補正処理について説明していく。ここで、図９乃至図１７においては、説明を簡単なものにするために、６×６画素で構成されるCMOSセンサ３２（図２）が採用されているとする。即ち、図９乃至図１７の上方には、CMOSセンサ３２の模式図として、ベイヤー状に配列された６×６画素群が図示されている。正方形が１つの画素（光電変換部）を示している。各画素内のアルファベットが、ＲＧＢ（ＧはＧｒとＧｂ）信号の各信号に対応している。このCMOSセンサ３２を構成する各画素の位置は、アドレス（x,y）で示されるとする。ここで、xはＨアドレスを示し、ｙはＶアドレスを示している。

また、図９乃至図１７の下方には、欠陥情報格納メモリ３６の構成例が示されている。欠陥情報格納メモリ３６の１行が、１つの欠陥画素情報に対応している。また、「P→」のシンボルで示される行が、処理対象の欠陥画素情報、即ち、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報を示している。また、画素PNが処理対象画素を示している。

図９は、補正処理の動作開始時の状態を示している。

図９において、灰色でマスクされている画素が欠陥画素を示している。具体的には、アドレス（５，３）の画素およびアドレス（５，６）の画素が、共有に依存しない単独欠陥の欠陥画素である。これに対して、アドレス（１，３）、（２，４）、（１，５）、（２，６）の４画素が、共有欠陥画素である。即ち、これら４画素が共有画素である。

この状態で、補正処理が開始されると、欠陥判定部５１は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報（図９中１行目の欠陥画素情報）の欠陥アドレス４１としてアドレス（１，３）を取得する。そして、ステップＳ１において、欠陥判定部５１は、処理対象画素が欠陥画素であるか否かを判定する。

例えばアドレス（１，３）の画素が処理対象画素PNであるとする。この場合、処理対象画素PNのアドレスと欠陥アドレス４１とはともに（１，３）で一致するので、ステップＳ１においてＹＥＳであると判定されて、即ち、処理対象画素は欠陥画素であると判定されて、処理対象画素の画素データは欠陥補正部５２に提供される。これにより、処理はステップＳ２に進む。

ステップＳ２において、欠陥補正部５２は、アドレス（１，３）の処理対象画素PNの画素データを補正する。この場合、図５を用いて説明した補正手法、即ち同色隣接画素を利用した補正手法が適用される。補正後の処理対象画素データが共有判定部５３に提供されると、処理はステップＳ３に進む。

ステップＳ３において、共有判定部５３は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報（図９中１行目の欠陥画素情報）の共有フラグ４２として「１」を取得する。共有判定部５３は、欠陥画素PN（処理対象画素PN）の共有フラグ４２が「１」であるため、欠陥画素PNの欠陥は共有欠陥であると判定する。即ち、処理対象画素PNは欠陥共有画素であると判定される。

このように、アドレス（１，３）の処理対象画素PNが共有欠陥画素であることから、ステップＳ４乃至Ｓ７において、共有位置情報生成部５４およびアドレス変換部５５により補正処理が行われる。

即ち、ステップＳ４の処理で、欠陥共有画素PNの共有位置情報４３として「００」が生成される（図４のＢ参照）。そして、共有位置情報４３が、「００」から「０１」に変更される（図４のＢ，図８参照）。即ち、「０１」が、次に読み出される共有欠陥画素の共有位置情報４３である。

また、ステップＳ５の処理で、共有欠陥画素のアドレス（１，３）が、次に読み出される共有欠陥画素の欠陥アドレス４１に変換される。即ち、いまの場合、図８の処理対象行は１行目であるので、図８に示される１行目の「アドレス変換方法」の記載内容に従って、共有欠陥画素の欠陥アドレス４１として、アドレス（１，３）から、次に読み出される共有欠陥画素の欠陥アドレス４１に変換される。１行目の「アドレス変換方法」の記載内容は、「Ｈアドレス＋１ Ｖアドレス＋１」となっている。よって、共有欠陥画素の欠陥アドレス４１は、アドレス（１，３）からアドレス（１＋１，３＋１）＝（２，４）に変換されることになる。

そして、ステップＳ６において、これらの変更内容が、欠陥情報格納メモリ３６に上書きされる。即ち、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の内容が書き換えられる。即ち、欠陥アドレス４１が、アドレス(１,３)からアドレス（２，４）に書き換えられる。また、共有位置情報４３が、「００」から「０１」に書き換えられる。これにより、欠陥情報格納メモリ３６の格納情報は図１０に示される状態になる。

そして、アドレスソートが行われる。即ち、アドレス変換部５５は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報として、現在の欠陥画素情報と、次の欠陥画素情報とを入れ替える。その結果、欠陥情報格納メモリ３６のデータは図１１に示される状態になる。

ここで、アドレスソートの意味について説明する。即ち、図１０の状態では、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の欠陥アドレス４１としてはアドレス（２，４）が格納されている。ところが、次の行の欠陥画素情報の欠陥アドレス４１としてはアドレス（５，３）が格納されている。図７の補正処理は、走査順番、即ち、水平方向についてはＨアドレス順に、垂直方向についてはＶアドレス順に実行される。

ここで、現段階の処理対象画素PNは、図１０の上方の図から明らかなように、アドレス（１，３）の画素である。よって、Ｖアドレスが３である各画素（３行目の水平ラインの画素）のそれぞれが、処理対象画素PNに順次設定されて、補正処理が行われることになる。よって、次に補正すべき欠陥画素は、アドレス（５，３）の通常欠陥の画素となる。このアドレス（５，３）の通常欠陥の画素が処理対象画素PNに設定された場合、図１０の状態のままでは、ステップＳ１の処理で読み出される欠陥アドレス４１は、アドレス（２，４）となってしまう。その結果、ステップＳ１の処理では欠陥画素ではないと判定されて、ステップＳ２の補正は行われないことになってしまう、という不具合が発生する。

そこで、アドレス変換部５５は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の欠陥アドレス４１と、次の欠陥画素情報の欠陥アドレス４１とを比較する。そして、アドレス変換部５５は、次の欠陥画素情報の欠陥アドレス４１の方が先に補正される（CMOSセンサ３２において先に読み出される）と判断した場合、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報として、現在の欠陥画素情報と、原則、次の欠陥画素情報とを入れ替える。なお、原則としたのは、次に読み出される共有欠陥画素が、次のフレームまたはフィールドの先頭の共有欠陥画素である場合には、入れ替え対象が、先頭の欠陥画素情報となるからである（後述する図１５と図１６参照）。

例えば、図１０の状態では、欠陥画素情報の欠陥アドレス４１であるアドレス（２，４）と、次の欠陥画素情報の欠陥アドレス４１であるアドレス（５，３）とが比較される。この場合、上述したように、次の欠陥画素情報の欠陥アドレス４１であるアドレス（５，３）の方が先に補正される（CMOSセンサ３２において先に読み出される）と判断されるので、欠陥情報格納メモリ３６の格納情報は、図１０の状態から図１１の状態にソートされることになる。

このような一連の処理が、アドレスソートである。

このようなアドレスソートをすることで、上述の不具合の発生を防止することができる。即ち、アドレスソートをすることにより、共有欠陥と通常欠陥が同じラインに存在していたとしても、正しい順で補正動作を行うことが可能となる。

なお、いまの場合、アドレス（１，３）の共有欠陥画素が処理対象画素PNであり、この共有欠陥画素PNの共有位置は最後の位置ではない。よって、ステップＳ７の処理でＮＯであると判定されて、即ち、欠陥アドレス参照位置Ｐは移動されずに、補正処理は終了となる。

よって、欠陥情報格納メモリ３６の格納情報が図１１に示される状態で、次以降の補正処理が行われていく。即ち、Ｖアドレスが３である各画素（３行目の水平ラインの画素）のそれぞれが、処理対象画素PNに順次設定されて、補正処理が行われることになる。これらの補正処理では、処理対象画素PNは欠陥画素では無いので、ステップＳ１の処理でＮＯであると判定されて直ちに、補正処理全体が終了となる。即ち、画素データの補正は行われない。

そして、アドレス（５，３）の通常欠陥の画素が処理対象画素PNに設定された場合には、次のような補正処理が行われることになる。

図１１において、処理対象画素PNのアドレスと欠陥アドレス４１とはともに（５，３）で一致するので、ステップＳ１においてＹＥＳであると判定されて、即ち、処理対象画素は欠陥画素であると判定されて、処理対象画素の画素データは欠陥補正部５２に提供される。これにより、処理はステップＳ２に進む。

ステップＳ２において、欠陥補正部５２は、アドレス（５，３）の処理対象画素PNの画素データを補正する。この場合、図５を用いて説明した補正手法、即ち同色隣接画素を利用した補正手法が適用される。補正後の処理対象画素データが共有判定部５３に提供されると、処理はステップＳ３に進む。

ステップＳ３において、共有判定部５３は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報（図１１中１行目の欠陥画素情報）の共有フラグ４２として「０」を取得する。共有判定部５３は、欠陥画素PN（処理対象画素PN）の共有フラグ４２が「０」であるため、欠陥画素PNの欠陥は共有欠陥でないと判定する。即ち、処理対象画素PNは欠陥共有画素でないと判定される。

このように、アドレス（５，３）の処理対象画素PNが共有欠陥画素でないことから、ステップＳ３においてＮＯであると判定されて、処理はステップＳ８に進む。

ステップＳ８において、アドレス変換部５５は、欠陥情報格納メモリ３６の欠陥アドレス参照位置Ｐをひとつ進める。即ち、「欠陥アドレス参照位置Ｐ」は、図１２に示されるように、欠陥情報格納メモリ３６の１行目から２行目の欠陥画素情報に移動し、補正処理は終了となる。

その後、欠陥情報格納メモリ３６の格納情報が図１２に示される状態で、次以降の補正処理が行われていく。即ち、アドレス（６，３）の画素が処理対象画素PNに設定され補正処理が行われ、次に、Ｖアドレスが４である各画素（４行目の水平ラインの画素）のそれぞれが、処理対象画素PNに順次設定されて、補正処理が行われることになる。これらの補正処理では、処理対象画素PNは欠陥画素では無いので、ステップＳ１の処理でＮＯであると判定されて直ちに、補正処理全体が終了となる。即ち、画素データの補正は行われない。

そして、アドレス（２，４）の共有欠陥の画素が処理対象画素PNに設定された場合には、次のような補正処理が行われることになる。

図１２において、処理対象画素PNのアドレスと欠陥アドレス４１とはともに（２，４）で一致するので、ステップＳ１においてＹＥＳであると判定されて、即ち、処理対象画素は欠陥画素であると判定されて、処理対象画素の画素データは欠陥補正部５２に提供される。これにより、処理はステップＳ２に進む。

ステップＳ２において、欠陥補正部５２は、アドレス（２，４）の処理対象画素PNの画素データを補正する。この場合、図５を用いて説明した補正手法、即ち同色隣接画素を利用した補正手法が適用される。補正後の処理対象画素データが共有判定部５３に提供されると、処理はステップＳ３に進む。

ステップＳ３において、共有判定部５３は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報（図１２中２行目の欠陥画素情報）の共有フラグ４２として「１」を取得する。共有判定部５３は、欠陥画素PN（処理対象画素PN）の共有フラグが「１」であるため、欠陥画素PNの欠陥は共有欠陥であると判定する。即ち、処理対象画素PNは欠陥共有画素であると判定される。

このように、アドレス（２，４）の処理対象画素PNが共有欠陥画素であることから、ステップＳ４乃至Ｓ７において、共有位置情報生成部５４およびアドレス変換部５５により補正処理が行われる。

即ち、ステップＳ４の処理で、欠陥共有画素PNの共有位置情報４３として「０１」が生成される（図４のＢ参照）。そして、共有位置情報４３が、「０１」から「１０」に変更される（図４のＢ，図８参照）。即ち、「１０」が、次に読み出される共有欠陥画素の共有位置情報４３である。

また、ステップＳ５の処理で、共有欠陥画素の欠陥アドレス（２，４）が、次に読み出される共有欠陥画素の欠陥アドレス４１に変換される。即ち、いまの場合図８の処理対象行は２行目であるので、図８に示される２行目の「アドレス変換方法」の記載内容に従って、共有欠陥画素の欠陥アドレス４１であるアドレス（２，４）が、次に読み出される共有欠陥画素の欠陥アドレス４１に変換される。２行目の「アドレス変換方法」の記載内容は、「Ｈアドレス−１ Ｖアドレス＋１」となっている。よって、共有欠陥画素の欠陥アドレス４１は、アドレス（２，４）からアドレス（２−１，４＋１）＝（１，５）に変換されることになる。

そして、ステップＳ６において、これらの変更内容が、欠陥情報格納メモリ３６に上書きされる。即ち、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の内容が書き換えられる。即ち、欠陥アドレス４１が、アドレス(２,４)からアドレス（１，５）に書き換えられる。また、共有位置情報４３が、「０１」から「１０」に書き換えられる。これにより、欠陥情報格納メモリ３６の格納情報は図１３に示される状態になる。

ここで、アドレス変換部５５は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の欠陥アドレス４１であるアドレス（１，５）と、次の欠陥画素情報の欠陥アドレス４１であるアドレス（５，６）とを比較する。この場合、次に補正すべき欠陥画素は、アドレス（１，５）の画素であるため、アドレス変換部５５によるアドレスソートは行われない。

なお、いまの場合、アドレス（２，４）の共有欠陥画素が処理対象画素PNであり、この共有欠陥画素PNの共有位置は最後の位置ではない。よって、ステップＳ７の処理でＮＯであると判定されて、即ち、欠陥アドレス参照位置Ｐは移動されずに、補正処理は終了となる。

その後、欠陥情報格納メモリ３６の格納情報が図１３に示される状態で、次以降の補正処理が行われていく。即ち、Ｖアドレスが４である各画素（４行目の水平ラインの画素）のそれぞれが、処理対象画素PNに順次設定されて、補正処理が行われることになる。これらの補正処理では、処理対象画素PNは欠陥画素では無いので、ステップＳ１の処理でＮＯであると判定されて直ちに、補正処理全体が終了となる。即ち、画素データの補正は行われない。

そして、Ｖアドレスが５に遷移し、アドレス（１，５）の共有欠陥の画素が処理対象画素PNに設定された場合には、次のような補正処理が行われることになる。

図１３において、処理対象画素PNのアドレスと欠陥アドレス４１とはともに（１，５）で一致するので、ステップＳ１においてＹＥＳであると判定されて、即ち、処理対象画素は欠陥画素であると判定されて、処理対象画素の画素データは欠陥補正部５２に提供される。これにより、処理はステップＳ２に進む。

ステップＳ２において、欠陥補正部５２は、アドレス（１，５）の処理対象画素PNの画素データを補正する。この場合、図５を用いて説明した補正手法、即ち同色隣接画素を利用した補正手法が適用される。補正後の処理対象画素データが共有判定部５３に提供されると、処理はステップＳ３に進む。

ステップＳ３において、共有判定部５３は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報（図１３中２行目の欠陥画素情報）の共有フラグ４２として「１」を取得する。共有判定部５３は、欠陥画素PN（処理対象画素PN）の共有フラグ４２が「１」であるため、欠陥画素PNの欠陥は共有欠陥であると判定する。即ち、処理対象画素PNは欠陥共有画素であると判定される。

このように、アドレス（１，５）の処理対象画素PNが共有欠陥画素であることから、ステップＳ４乃至Ｓ７において、共有位置情報生成部５４およびアドレス変換部５５により補正処理が行われる。

即ち、ステップＳ４の処理で、欠陥共有画素PNの共有位置情報４３として「１０」が生成される（図４のＢ参照）。そして、共有位置情報４３が、「１０」から「１１」に変更される（図４のＢ，図８参照）。即ち、「１１」が、次に読み出される共有欠陥画素の共有位置情報４３である。

また、ステップＳ５の処理で、共有欠陥画素の欠陥アドレス４１が、アドレス（１，５）から、次に読み出される共有欠陥画素の欠陥アドレス４１に変換される。即ち、いまの場合、図８の処理対象行は３行目であるので、図８に示される３行目の「アドレス変換方法」の記載内容に従って、共有欠陥画素の欠陥アドレス４１が、アドレス（１，５）から、次に読み出される共有欠陥画素の欠陥アドレス４１に変換される。３行目の「アドレス変換方法」の記載内容は、「Ｈアドレス＋１ Ｖアドレス＋１」となっている。よって、共有欠陥画素の欠陥アドレス４１は、アドレス（１，５）からアドレス（１＋１，５＋１）＝（２，６）に変換されることになる。

そして、ステップＳ６において、これらの変更内容が、欠陥情報格納メモリ３６に上書きされる。即ち、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の内容が書き換えられる。即ち、欠陥アドレス４１が、アドレス(１,５)からアドレス（２，６）に書き換えられる。また、共有位置情報４３が、「１０」から「１１」に書き換えられる。これにより、欠陥情報格納メモリ３６の格納情報は図１４に示される状態になる。

ここで、アドレス変換部５５は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の欠陥アドレス４１であるアドレス（２，６）と、次の欠陥画素情報の欠陥アドレス４１であるアドレス（５，６）とを比較する。この場合、次に補正すべき欠陥画素は、アドレス（２，６）の画素であるため、アドレス変換部５５によるアドレスソートは行われない。

なお、いまの場合、アドレス（１，５）の共有欠陥画素が処理対象画素PNであり、この共有欠陥画素PNの共有位置は最後の位置ではない。よって、ステップＳ７の処理でＮＯであると判定されて、即ち、欠陥アドレス参照位置Ｐは移動されずに、補正処理は終了となる。

その後、欠陥情報格納メモリ３６の格納情報が図１４に示される状態で、次以降の補正処理が行われていく。即ち、Ｖアドレスが５である各画素（５行目の水平ラインの画素）のそれぞれが、処理対象画素PNに順次設定されて、さらに、Ｖアドレスが６である各画素（６行目の水平ラインの画素）のそれぞれが、処理対象画素PNに順次設定されて、補正処理が行われることになる。これらの補正処理では、処理対象画素PNは欠陥画素では無いので、ステップＳ１の処理でＮＯであると判定されて直ちに、補正処理全体が終了となる。即ち、画素データの補正は行われない。

そして、Ｖアドレス（２，６）の共有欠陥の画素が処理対象画素PNに設定された場合には、次のような補正処理が行われることになる。

図１４において、処理対象画素PNのアドレスと欠陥アドレス４１とはともに（２，６）で一致するので、ステップＳ１においてＹＥＳであると判定されて、即ち、処理対象画素は欠陥画素であると判定されて、処理対象画素の画素データは欠陥補正部５２に提供される。これにより、処理はステップＳ２に進む。

ステップＳ２において、欠陥補正部５２は、アドレス（２，６）の処理対象画素PNの画素データを補正する。この場合、図５を用いて説明した補正手法、即ち同色隣接画素を利用した補正手法が適用される。補正後の処理対象画素データが共有判定部５３に提供されると、処理はステップＳ３に進む。

ステップＳ３において、共有判定部５３は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報（図１２中２行目の欠陥画素情報）の共有フラグ４２として「１」を取得する。共有判定部５３は、欠陥画素PN（処理対象画素PN）の共有フラグ４２が「１」であるため、欠陥画素PNの欠陥は共有欠陥であると判定する。即ち、処理対象画素PNは欠陥共有画素であると判定される。

このように、アドレス（２，６）の処理対象画素PNが共有欠陥画素であることから、ステップＳ４乃至Ｓ７において、共有位置情報生成部５４およびアドレス変換部５５により補正処理が行われる。

即ち、ステップＳ４の処理で、欠陥共有画素PNの共有位置情報４３として「１１」が生成される（図４のＢ参照）。そして、共有位置情報４３が、「１１」から「００」に変更される（図４のＢ，図８参照）。即ち、「００」が、次に読み出される共有欠陥画素の共有位置情報４３である。

また、ステップＳ５の処理で、共有欠陥画素の欠陥アドレス４１が、アドレス（２，６）から、次に読み出される共有欠陥画素の欠陥アドレス４１に変換される。即ち、いまの場合、図８の処理対象行は４行目であるので、図８に示される４行目の「アドレス変換方法」の記載内容に従って、共有欠陥画素の欠陥アドレス４１が、アドレス（２，６）から、次に読み出される共有欠陥画素の欠陥アドレス４１に変換される。４行目の「アドレス変換方法」の記載内容は、「Ｈアドレス−１ Ｖアドレス−３」となっている。よって、共有欠陥画素の欠陥アドレス４１は、アドレス（２，６）からアドレス（２−１，６−３）＝（１，３）に変換されることになる。つまり、次のフレームまたはフィールドの先頭の共有欠陥画素の欠陥アドレス４１に変更されることになる。

そして、ステップＳ６において、これらの変更内容が、欠陥情報格納メモリ３６に上書きされる。即ち、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の内容が書き換えられる。即ち、欠陥アドレス４１が、アドレス(２,６)からアドレス（１，３）に書き換えられる。また、共有位置情報４３が、「１１」から「００」に書き換えられる。これにより、欠陥情報格納メモリ３６の格納情報は図１５に示される状態になる。

アドレス変換部５５は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報の欠陥アドレス４１であるアドレス（１，３）と、次の欠陥画素情報の欠陥アドレス４１であるアドレス（５，６）とを比較する。この場合、アドレス変換部５５は、次の欠陥画素情報の欠陥アドレス４１であるアドレス（５，６）の方が先に補正される（CMOSセンサ３２において先に読み出される）と判断することになる。アドレス（１，３）とは、次のフレーム又はフィールドの先頭の共有欠陥画素の欠陥アドレス４１を示すからである。よって、この場合、アドレスソートが行われる。ただし、次に読み出される共有欠陥画素が、次のフレームまたはフィールドの先頭の共有欠陥画素であるので、現在の欠陥画素情報と、先頭の欠陥画素情報とが入れ替わる。その結果、欠陥情報格納メモリ３６のデータは図１６に示される状態になる。

ここで、いまの場合、アドレス（２，６）の共有欠陥画素が処理対象画素PNであり、この共有欠陥画素PNの共有位置は最後の位置である。よって、ステップＳ７の処理でＹＥＳであると判定されて、処理はステップＳ８に進む。

ステップＳ８において、アドレス変換部５５は、欠陥情報格納メモリ３６の欠陥アドレス参照位置Ｐをひとつ進める。即ち、「欠陥アドレス参照位置Ｐ」は、図１７に示されるように、欠陥情報格納メモリ３６の２行目から３行目の欠陥画素情報に移動し、補正処理は終了となる。

欠陥情報格納メモリ３６の格納情報が図１７に示される状態で、次以降の補正処理が行われていく。即ち、Ｖアドレスが６である各画素（３行目の水平ラインの画素）のそれぞれが、処理対象画素PNに順次設定されて、補正処理が行われることになる。これらの補正処理では、処理対象画素PNは欠陥画素では無いので、ステップＳ１の処理でＮＯであると判定されて直ちに、補正処理全体が終了となる。即ち、画素データの補正は行われない。

そして、アドレス（５，６）の通常欠陥の画素が処理対象画素PNに設定された場合には、次のような補正処理が行われることになる。

図１７において、処理対象画素PNのアドレスと欠陥アドレス４１とはともに（５，６）で一致するので、ステップＳ１においてＹＥＳであると判定されて、即ち、処理対象画素は欠陥画素であると判定されて、処理対象画素の画素データは欠陥補正部５２に提供される。これにより、処理はステップＳ２に進む。

ステップＳ２において、欠陥補正部５２は、アドレス（５，６）の処理対象画素PNの画素データを補正する。この場合、図５を用いて説明した補正手法、即ち同色隣接画素を利用した補正手法が適用される。補正後の処理対象画素データが共有判定部５３に提供されると、処理はステップＳ３に進む。

ステップＳ３において、共有判定部５３は、「欠陥アドレス参照位置Ｐ」となっている欠陥画素情報（図１７中３行目の欠陥画素情報）の共有フラグ４２として、「０」を取得する。共有判定部５３は、欠陥画素PN（処理対象画素PN）の共有フラグ４２が「０」であるため、欠陥画素PNの欠陥は共有欠陥でないと判定する。即ち、処理対象画素PNは欠陥共有画素でないと判定される。

このように、アドレス（５，６）の処理対象画素PNが共有欠陥画素でないことから、ステップＳ３においてＮＯであると判定されて、処理はステップＳ８に進む。

ステップＳ８において、アドレス変換部５５は、欠陥情報格納メモリ３６の欠陥アドレス参照位置Ｐをひとつ進める。即ち、「欠陥アドレス参照位置Ｐ」は、上述した図９に示されるように、欠陥情報格納メモリ３６の３行目から１行目の欠陥画素情報に移動し（戻り）、補正処理は終了となる。

その後、最後のアドレス（６，６）の画素が処理対象画素PNに設定され補正処理が行われる。この補正処理では、処理対象画素PNは欠陥画素では無いので、ステップＳ１の処理でＮＯであると判定されて直ちに、補正処理全体が終了となる。即ち、画素データの補正は行われない。

以上、図９乃至図１７を用いて説明した一連の処理（各画素に対する各補正処理）により、所定のフレーム又はフィールドについて、６×６画素で構成されるCMOSセンサ３２の欠陥画素すべてに対して補正が行われることになる。

そして、この所定のフレーム又はフィールドについての全ての補正処理が終了すると、上述したように、欠陥情報格納メモリ３６の格納情報が図９に示される状態に戻っている。よって、次のフレーム又はフィールドについても、図９乃至図１７を用いて説明した一連の処理（各画素に対する各補正処理）により、６×６画素で構成されるCMOSセンサ３２の欠陥画素すべてに対して補正が行われることになる。

即ち、図９乃至図１７を用いて説明した一連の処理（各画素に対する各補正処理）を繰り返し実行することで、CMOSセンサ３２により撮影された動画像全体（複数のフレーム又はフィールドの集合体）の全てについて、６×６画素で構成されるCMOSセンサ３２の欠陥画素すべてに対して補正を行うことが可能になる。

以上説明したように、図２の例等本発明が適用される撮像装置は、欠陥画素のアドレス情報（欠陥アドレス４１等）を欠陥情報格納メモリ３６等のメモリに記憶させる欠陥補正方式を採用し、撮像素子として画素共有技術を用いたCMOSセンサを採用することができる。この撮像装置は、上述したように、画素共有起因で発生する共有欠陥に関しては、共有画素のうちの１つに関するアドレス情報（欠陥アドレス４１等）、例えば読み出し方向において先頭位置にある画素に関するアドレス情報を記憶するだけで、全ての共有パターンを補正することができる。換言すると、欠陥情報格納メモリ３６等のメモリには、共有欠陥である欠陥画素群については１つだけの欠陥画素情報を格納させるだけでよい。これにより、欠陥アドレスを記憶するためのメモリ容量の削減が可能となり、撮像装置全体のコストアップを抑制する効果が期待できる。 さらに、特許文献１の技術で必須であった、欠陥補正部内のバッファも不要になるという効果を奏することができる。

さらに言えば、上述した図７のステップＳ４の処理と、図８の表とを採用することで、欠陥画素情報に含ませる情報として、共有位置情報４３を削減することができる。即ち、図４の共有位置情報４３を省略することが可能である。この場合、上述した効果はより顕著なものとなる。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、上述した情報処理システムの少なくとも一部として、例えば、図１８に示されるパーソナルコンピュータを採用してもよい。

図１８において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

画素共有技術を用いたCMOSセンサの画素部の回路図の構成例を示す図である。 本発明を適用した撮像装置の構成例を示すブロック図である。 画素共有のパターンを示す図である。 欠陥情報格納メモリ３６のデータ格納例および共有画素と共有位置情報の関係を示す図である。 欠陥補正部３５による、欠陥画素の補正方法を示す図である。 欠陥補正部３５の構成例を示すブロック図である。 欠陥補正部３５における補正処理を説明するフローチャートである。 図７におけるステップＳ４およびステップＳ５の処理を説明する図である。 欠陥補正部３５で行われる補正処理について説明する図である。 欠陥補正部３５で行われる補正処理について説明する図である。 欠陥補正部３５で行われる補正処理について説明する図である。 欠陥補正部３５で行われる補正処理について説明する図である。 欠陥補正部３５で行われる補正処理について説明する図である。 欠陥補正部３５で行われる補正処理について説明する図である。 欠陥補正部３５で行われる補正処理について説明する図である。 欠陥補正部３５で行われる補正処理について説明する図である。 欠陥補正部３５で行われる補正処理について説明する図である。 本発明が適用される情報処理装置のハードウエア構成例を示すブロック図である。

符号の説明

３１ レンズ、 ３２ CMOSセンサ、 ３３ 前処理部、 ３４ A/D変換部、 ３５ 欠陥補正部、 ３６ 欠陥情報格納メモリ、 ３７ 信号処理部、 ４１ 欠陥アドレス、 ４２ 共有フラグ、 ４３ 共有位置情報、 ５１ 欠陥判定部、 ５２ 欠陥補正部、 ５３ 共有判定部、 ５４ 共有位置情報生成部、 ５５ アドレス変換部、 ５６ 出力部

Claims (7)

1. 複数の画素と、前記複数の画素のうちの少なくとも２つの画素が共有画素とされ、前記共有画素に対して共有して設けられた読み出し手段とを備える撮像素子と、
   前記複数の画素のうちの欠陥画素に関する欠陥画素情報を記憶する欠陥情報記憶手段と、
   前記欠陥情報に基づいて欠陥画素を特定し、特定した欠陥画素の画素データを補正する欠陥補正手段と
   を備え、
   前記欠陥画素情報は、欠陥画素の読み出し順を示す前記撮像素子におけるアドレスと、共有欠陥であるか否かを示す共有情報と、共有画素中の位置を示す共有位置情報とを格納しており、１つの前記共有欠陥に対して１つの欠陥画素情報を備えており、
   前記欠陥補正手段は、処理対象の欠陥画素情報に格納された共有情報が共有欠陥であることを示す情報である場合、処理対象の欠陥画素情報に格納された前記アドレスと、処理対象の欠陥画素情報に格納された前記共有位置情報とを用いて、前記共有欠陥である欠陥画素群を特定する各画素をそれぞれ特定し、特定された前記各画素のそれぞれの画素データを補正する
   撮像装置。
2. 前記欠陥補正手段は、
   前記共有欠陥である欠陥画素群を構成する各画素のうち所定画素を補正対象とする場合、さらに、
   処理対象の前記欠陥画素情報に含まれる前記アドレスを、前記所定画素のアドレスから、前記共有欠陥である欠陥画素群を構成する各画素のうち前記所定画素の次に前記読み出し手段により読み出される次画素のアドレスに変更し、
   変更後の処理対象の前記欠陥画素情報を前記欠陥情報記憶手段に上書きする
   請求項１に記載の撮像装置。
3. 前記共有欠陥である欠陥画素群についての前記欠陥画素情報には、さらに、前記共有位置情報が含まれており、
   前記欠陥補正手段は、前記アドレスを前記所定画素のアドレスから前記次画素のアドレスに変更した場合、さらに、前記共有位置情報の内容を、前記所定画素から前記次画素に関する情報に変更する
   請求項２に記載の撮像装置。
4. 前記欠陥補正手段は、
   前記アドレスを前記所定画素のアドレスから前記次画素のアドレスに変更した場合、さらに、
   前記次画素のアドレスよりも前に前記読み出し手段により読み出されるアドレスが含まれる前記欠陥画素情報が、前記欠陥情報記憶手段に存在するとき、その欠陥画素情報を処理対象とするように、前記欠陥情報記憶手段内の前記欠陥画素情報を並べ替える
   請求項３に記載の撮像装置。
5. 前記欠陥補正手段は、
   さらに、処理対象の前記欠陥画素情報を示す処理対象参照情報を用いて、前記補正処理を実行しており、
   前記アドレスを前記所定画素のアドレスから前記次画素のアドレスに変更した場合、
   前記所定画素が、前記読み出し手段の読み出し方向の最後尾アドレスに位置する欠陥画素であるとき、前記処理対象参照情報の内容を更新する
   請求項４に記載の撮像装置。
6. 前記欠陥補正手段は、補正対象の欠陥画素の画素データの補正処理として、前記補正対象に対して所定位置関係にある複数の同色フィルタ画素の各画素データから補正データを求め、前記補正対象の画素データを前記補正データに置き換える処理を実行する
   請求項１に記載の撮像装置。
7. 複数の画素と、前記複数の画素のうちの少なくとも２つの画素が共有画素とされ、前記共有画素に対して共有して設けられた読み出し手段とを備える撮像素子と、
   前記複数の画素のうちの欠陥画素に関する欠陥画素情報を記憶する欠陥情報記憶手段と、
   前記欠陥情報に基づいて欠陥画素を特定し、特定した欠陥画素の画素データを補正する欠陥補正手段と
   を備える撮像装置が、
   前記欠陥画素情報は、欠陥画素の読み出し順を示す前記撮像素子におけるアドレスと、共有欠陥であるか否かを示す共有情報と、共有画素中の位置を示す共有位置情報とを格納しており、１つの前記共有欠陥に対して１つの欠陥画素情報を備えている場合に、
   処理対象の欠陥画素情報に格納された共有情報が共有欠陥であることを示す情報であるとき、処理対象の欠陥画素情報に格納された前記アドレスと、処理対象の欠陥画素情報に格納された前記共有位置情報とを用いて、前記共有欠陥である欠陥画素群を特定する各画素をそれぞれ特定し、特定された前記各画素のそれぞれの画素データを補正する
   ステップを含む撮像方法。

Images