JP2010004308A - 撮像装置 - Google Patents

Abstract

【課題】回路規模の増大と処理速度の低下とを抑えることが可能な撮像装置を提供することを目的とする。
【解決手段】ＡＤＣ／プリプロセス部４から出力される画像データから欠陥画素の補正に必要な周囲画素だけを小ラインメモリ１３に記憶させ、小ラインメモリ１３に記憶させた周囲画素を使用して欠陥画素に対して補正を行い、フレームメモリ５に書き込まれる欠陥画素を補正後の画素に置き換える。
【選択図】図１

Description

本発明は、画像データの欠陥画素を補正する撮像装置に関する。

図１９は、従来の撮像装置を示す図である。
図１９に示す撮像装置は、レンズ１０１と、タイミング部１０２と、センサ１０３と、フルサイズラインメモリ１０４と、画素位置算出部１０５と、欠陥位置メモリ１０６と、欠陥補正制御部１０７と、欠陥画素補正部１０８と、フレームメモリ１０９と、画像処理部１１０と、圧縮伸長部１１１と、記録メディアＩ／Ｆ１１２と、表示部１１３と、ＣＰＵ１１４とを備えて構成されている。

レンズ１０１によりセンサ１０３に結像される被写体像の画像データの各画素が、タイミング部１０２から出力されるタイミング信号に基づいて、フルサイズラインメモリ１０４に出力される。フルサイズラインメモリ１０４は、入力される画素をライン毎に記憶し、その記憶した画素を欠陥補正に必要なライン数分同時に欠陥画素補正部１０８に出力する。欠陥補正制御部１０７は、画素位置算出部１０５により算出される画像データの各画素の位置を示す画素位置情報と、予め欠陥位置メモリ１０６に記憶されるセンサ１０３の欠陥画素の位置を示す欠陥画素位置情報とに基づいて、画像データの欠陥画素に対して補正を行うタイミングを求める。欠陥画素補正部１０８は、フルサイズラインメモリ１０４から出力される画素のうち欠陥補正制御部１０７により求められたタイミングに対応する画素に対して補正を行い、欠陥画素が補正された画像データをフレームメモリ１０９に書き込む。そのフレームメモリ１０９に書き込まれた画像データは、画像処理部１１０により所定の画像処理が行われた後、圧縮伸長部１１１により圧縮され、一旦フレームメモリ１０９に書き込まれる。そして、フレームメモリ１０９に書き込まれた圧縮後の画像データは、記録メディアＩ／Ｆ１１２を介して不図示の記録メディアに記録される。また、記録メディアに記録された圧縮後の画像データは、一旦フレームメモリ１０９に書き込まれた後、圧縮伸長部１１１により伸長され表示部１１３に表示される。

このように、フルサイズラインメモリ１０４を備えることにより、欠陥画素の周囲画素を使用して欠陥画素を補正することができるので、フレームメモリ１０９に書き込まれる前に精度良く画像データを補正することができる（例えば、特許文献１参照）。

また、図２０は、従来の他の撮像装置を示す図である。なお、図１９に示す構成と同じ構成には同じ符号を付している。
図２０に示す撮像装置は、レンズ１０１と、タイミング部１０２と、センサ１０３と、欠陥位置メモリ１０６と、フレームメモリ１０９と、画像処理部１１０と、圧縮伸長部１１１と、記録メディアＩ／Ｆ１１２と、表示部１１３と、ＣＰＵ１１４とを備えて構成されている。

センサ１０３からフレームメモリ１０９に出力された画像データの各画素のうち欠陥画素に対してＣＰＵ１１４が補正を行う。
図２０に示す撮像装置では。フルサイズラインメモリを備える必要がないため、回路規模を小さくすることができる。
特開平７−３３６６０５号公報 特開２００１−１６５０４号公報

図１９に示す撮像装置では、フルサイズラインメモリ１０４を備えているために回路規模が増大してしまうという問題がある。
また、図２０に示す撮像装置では、ＣＰＵ１１４がフレームメモリ１０９にランダムにアクセスするため、例えば、フレームメモリ１０９をＤＲＡＭで構成する場合、ＣＰＵ１１４からフレームメモリ１０９へ無駄なアクセスが多く発生し、フレームメモリ１０９のバス帯域を低下させてしまい、欠陥画素の補正処理のみならず、その他の処理も処理速度を低下させてしまうという問題がある。

そこで、本発明では、回路規模の増大と処理速度の低下とを抑えることが可能な撮像装置を提供することを目的とする。

上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の撮像装置は、センサから出力される画像データを一旦フレームメモリに書き込み、前記フレームメモリから前記画像データを読み出して画像処理を行った後、記録手段に記録する撮像装置であって、予め前記センサの欠陥画素の位置を示す欠陥画素位置情報が記憶される記憶手段と、前記センサから出力される画像データの各画素の出力タイミングに基づいて前記画像データの各画素の位置を示す画素位置情報を出力する画素位置算出手段と、ラインメモリと、前記記憶手段に記憶される欠陥画素位置情報及び前記画素位置算出手段により出力される画素位置情報に基づいて前記画像データの欠陥画素の周囲画素を前記ラインメモリに記憶させるメモリ管理手段と、前記画像データ及び前記ラインメモリに記憶される周囲画素と前記メモリ管理手段からの欠陥画素位置情報に基づいて前記画像データの欠陥画素を補正する補正手段とを備え、前記メモリ管理手段は、前記画像データの欠陥画素を前記補正手段により補正された画素に置き換えるために、前記補正手段から補正後の画素を出力させる。

また、前記ラインメモリは、前記画像データのうち前記欠陥画素を中心とするＡ×Ａ画素から前記周囲画素が抽出される場合で、かつ、前記センサの１ラインにおける欠陥画素数がＢ以下である場合、１ライン当り（Ａ×（Ａ−２）＋（Ａ−１））×Ｂ画素以上のメモリを（Ａ−１）ライン以上を備えてもよい。

また、前記補正手段から出力される補正後の画素は、前記フレームメモリに書き込まれた前記画像データの欠陥画素に上書きされるように構成してもよい。
また、本発明の撮像装置は、前記フレームメモリから読み出された前記画像データを記憶する第１のバッファと、前記第１のバッファに記憶される前記画像データの欠陥画素を前記補正後の画素に書き換え、前記フレームメモリに書き戻す第２のバッファとを備えるように構成してもよい。

また、本発明の撮像装置において、前記補正後の画素は、前記フレームメモリにおいて前記画像データが書き込まれる領域と別の領域に書き込まれ、前記フレームメモリから画像処理手段に画素が読み出される際、その画素の読み出しアドレス及び前記欠陥画素位置情報に基づいて、前記フレームメモリから読み出される画素が欠陥画素であるか否かを判別し、前記フレームメモリから読み出される画素が欠陥画素である場合、前記センサから出力された欠陥画素の代わりに前記補正後の画素を前記画像処理手段に出力させる第１のセレクタを備えるように構成してもよい。

また、本発明の撮像装置は、前記画像データのうち前記周囲画素を含むラインを、前記欠陥画素の補正が終了するまで遅延させた後、出力する遅延手段と、前記画素位置情報及び前記欠陥画素位置情報に基づいて、前記遅延手段から出力される画素又は前記補正手段から出力される前記補正後の画素のどちらか一方を選択し前記フレームメモリに出力させる第２のセレクタとを備えて構成してもよい。

また、本発明の撮像装置は、前記補正手段により補正できなかった欠陥画素を補正するプロセッサを備えるように構成してもよい。

本発明によれば、画像データの欠陥画素を補正することが可能な撮像装置において、回路規模の増大と処理速度の低下とを抑えることができる。

以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の第１実施形態の撮像装置を示す図である。
図１に示す撮像装置は、レンズ１と、タイミング部２と、センサ３と、ＡＤＣ／プリプロセス部４と、フレームメモリ５と、画像処理部６と、圧縮伸長部７と、記録メディアＩ／Ｆ８と、表示部９と、画素位置算出部１０と、欠陥位置メモリ１１と、メモリ管理部１２と、小ラインメモリ１３と、欠陥画素補正部１４と、ＣＰＵ１５とを備えて構成されている。

まず、欠陥画素の補正を行わない場合の撮像装置の動作を説明する。
レンズ１によりセンサ３に結像される被写体像がセンサ３により電気信号に変換され、タイミング部２から出力されるタイミング信号に基づいてＡＤＣ／プリプロセス部４に出力される。センサ３から出力される電気信号は、ＡＤＣ／プリプロセス部４によりデジタル化されると共に、ＯＢクランプ処理、ＦＰＮキャンセル処理、及びシェーディング補正処理が施され、フレームメモリ５に一旦書き込まれる。画像処理部６は、フレームメモリ５から画像データを読み出し所定の画像処理を行う。例えば、画像処理部６は、ベイヤー画像データを３板データに変換する処理や色調、トーンの調整、強調等の画像処理を行う。画像処理後の画像データは、圧縮伸長部７により圧縮された後、フレームメモリ５に再び書き込まれる。フレームメモリ５に書き込まれた圧縮後の画像データは、記録メディアＩ／Ｆ８を介して不図示の記録メディアに記録される。また、画像処理後の画像データは、表示用に縮小されフレームメモリ５に書き込まれた後、表示部９に読み出され表示される。

また、再生時は、不図示の記録メディアに記録される圧縮後の画像データが記録メディアＩ／Ｆ８を介して圧縮伸長部７に読み込まれ、圧縮伸長部７により伸長された後、フレームメモリ５に書き込まれる。フレームメモリ５に書き込まれた伸長後の画像データは、画像処理部６により表示用にリサイズされフレームメモリ５に記憶された後、表示部９に読み出され表示される。

これにより、ユーザは、撮影した画像を表示部９に表示される画像データで確認することができる。
次に、欠陥画素の補正を行う場合の撮像装置の動作を説明する。

まず、画素位置算出部１０は、センサ３から出力される同期信号（各画素の出力タイミングと同期している信号）に基づいて、センサ３からＡＤＣ／プリプロセス部４に出力される画素の位置を示す画素位置情報を算出する。

次に、メモリ管理部１２は、画素位置算出部１０により算出された画素位置情報と、予め欠陥位置メモリ１１に記憶されているセンサ３の欠陥画素の位置を示す欠陥画素位置情報とに基づいて、画像データの欠陥画素の周囲画素のみを小ラインメモリ１３に記憶させる。なお、メモリ管理部１２は、小ラインメモリ１３から欠陥画素補正部１４への周囲画素の読み出し制御も行う。

次に、欠陥画素補正部１４は、ＡＤＣ／プリプロセス部４から出力される画像データ、小ラインメモリ１３から出力される周囲画素、画素位置算出部１０からの情報と欠陥位置メモリからの情報を基にメモリ管理部１２から出力される欠陥画素位置情報に基づいて補間演算を行い、欠陥画素の補正データを生成する。そして、生成された補正データは、フレームメモリ５に書き込まれた欠陥画素に上書きされる。

以降の動作は、上述した欠陥画素の補正を行わない場合の撮像装置の動作と同様であるため省略する。
次に、メモリ管理部１２及び小ラインメモリ１３のそれぞれの動作を説明する。なお、本実施形態では、図２に示すように、欠陥画素（Ｃ４）と同色の周囲画素として８画素（Ａ１、Ａ３、Ａ５、Ｃ１、Ｃ５、Ｅ１、Ｅ３、Ｅ５）を使用して欠陥画素を補正するものとする。また、センサ３は、原色Ｂａｙｅｒフィルタにより構成されているものとし、Ｒ列に存在するＧｒｅｅｎをＧｒ、Ｂ列に存在するＧｒｅｅｎをＧｂとする。

図３は、メモリ管理部１２、小ラインメモリ１３、及び欠陥画素補正部１４のそれぞれのブロック図である。
メモリ管理部１２は、ラインメモリ２０７〜２１２と、比較部２１３〜２１９と、パルス生成部２２０〜２２６とを備えて構成されている。

比較部２１３は、画素位置算出部１０から出力される画素位置情報と、欠陥位置メモリ１１から出力される欠陥画素位置情報とを比較し、比較部２１４は、ラインメモリ２０７から出力される欠陥画素位置情報と、画素位置算出部１０から出力される画素位置情報とを比較し、比較部２１５は、ラインメモリ２０８から出力される欠陥画素位置情報と、画素位置算出部１０から出力される画素位置情報とを比較し、比較部２１６は、ラインメモリ２０９から出力される欠陥画素位置情報と、画素位置算出部１０から出力される画素位置情報とを比較し、比較部２１７は、ラインメモリ２１０から出力される欠陥画素位置情報と、画素位置算出部１０から出力される画素位置情報とを比較し、比較部２１８は、ラインメモリ２１１から出力される欠陥画素位置情報と、画素位置算出部１０から出力される画素位置情報とを比較し、比較部２１９は、ラインメモリ２１２から出力される欠陥画素位置情報と、画素位置算出部１０から出力される画素位置情報とを比較する。

パルス生成部２２０は、比較部２１３の比較結果に基づいて、パルス信号を出力し、パルス生成部２２１は、比較部２１４の比較結果に基づいて、パルス信号を出力し、パルス生成部２２２は、比較部２１５の比較結果に基づいて、パルス信号を出力し、パルス生成部２２３は、比較部２１６の比較結果に基づいて、パルス信号を出力し、パルス生成部２２４は、比較部２１７の比較結果に基づいて、パルス信号を出力し、パルス生成部２２５は、比較部２１８の比較結果に基づいて、パルス信号を出力し、パルス生成部２２６は、比較部２１９の比較結果に基づいて、パルス信号を出力する。

ラインメモリ２０７は、欠陥位置メモリ１１から出力される欠陥画素位置情報を１ライン分遅延させて出力し、ラインメモリ２０８は、ラインメモリ２０７から出力される欠陥画素位置情報を１ライン分遅延させて出力し、ラインメモリ２０９は、ラインメモリ２０８から出力される欠陥画素位置情報を１ライン分遅延させて出力し、ラインメモリ２１０は、ラインメモリ２０９から出力される欠陥画素位置情報を１ライン分遅延させて出力し、ラインメモリ２１１は、ラインメモリ２１０から出力される欠陥画素位置情報を１ライン分遅延させて出力し、ラインメモリ２１２は、ラインメモリ２１１から出力される欠陥画素位置情報を１ライン分遅延させて出力する。

小ラインメモリ１３は、ラインメモリ２０１〜２０４と、書き込み制御部２０５と、読み出し制御部２０６とを備えて構成されている。
ラインメモリ２０１〜２０４は、それぞれ、書き込み制御部２０５により画素の書き込み動作が制御され、読み出し制御部２０６により画素の読み出し動作が制御される。

書き込み制御部２０５は、パルス生成部２２０〜２２３からそれぞれ出力されるパルス信号に基づいてラインメモリ２０１〜２０４にそれぞれＡＤＣ／プリプロセス部４から出力される画素の書き込みタイミング信号を出力し、読み出し制御部２０６は、パルス生成部２２１〜２２４からそれぞれ出力されるパルス信号に基づいてラインメモリ２０１〜２０４にそれぞれ画素の読み出しタイミング信号を出力する。

欠陥画素補正部１４は、画像データ遅延部２４４と、欠陥画素情報遅延部２４５と、補間演算部２４６とを備えて構成され、欠陥画素情報遅延部２４５においてパルス生成部２２２〜２２６からそれぞれ出力されるパルス信号により欠陥画素の位置を検出するとともに、画素位置算出部１０から出力される画素位置情報によりＡＤＣ／プリプロセス部４から出力される画素が有効であるか否かを判断し、ＡＤＣ／プリプロセス部４から出力される画素及びラインメモリ２０１〜２０４から出力される画素により適応的に欠陥画素の補間演算を行う。

なお、欠陥位置メモリ１１は、撮像開始時に先頭の欠陥画素に対応する欠陥画素位置情報を比較部２１３に出力し、比較部２１３からハイレベルのパルス信号を受けると、次の欠陥画素に対応する欠陥画素位置情報を比較部２１３に出力する。また、欠陥位置メモリ１１は、ＬＳＩ内に設けられ全ての欠陥画素に対応する欠陥画素位置情報を記憶させておいてもよい。また、欠陥画素が多い場合、欠陥位置メモリ１１の記憶容量が大きくなり、回路規模が増大してしまうので、欠陥画素位置情報をフレームメモリ５に記憶しておき、使用する際に少しずつ読み出すように構成してもよい。

図４は、パルス生成部２２０のブロック図である。また、図５Ａ及び図５Ｂは、それぞれ、パルス生成部２２０の各ブロックの出力タイミングチャートを示す図である。なお、パルス生成部２２１〜２２６の構成も同じとする。また、図２に示す欠陥画素である「Ｃ４」の画素位置情報及び欠陥画素位置情報が比較部２１３に入力されると、比較部２１３からハイレベルのパルス信号が出力されるものとする。

パルス生成部２２０は、ＦＦ（フリップフロップ）２２７〜２３０と、論理演算部２３１とを備えて構成されている。
論理演算部２３１は、比較部２１３の出力、ＦＦ２２８の出力、及びＦＦ２３０の出力の論理和であるＬｏｇｉｃ１、比較部２１３の出力及びＦＦ２３０の出力の論理和であるＬｏｇｉｃ２、ＦＦ２２８の出力であるＬｏｇｉｃ３を出力する。

まず、図２に示す８×８画素の画像データの一番上のラインＡ（「Ａ１」〜「Ａ８」）が小ラインメモリ１３に入力されるとき、「Ｃ４」の補正に必要な「Ａ２」、「Ａ４」、及び「Ａ６」を取り込むために、比較部２１３により欠陥位置メモリ１１から出力される欠陥画素位置情報と画素位置算出部１０から出力される画素位置情報とが比較され、「Ａ２」が比較部２１３に入力されると、パルス生成部２２０から「Ｌｏｇｉｃ１」のパルス信号が出力される（図６Ａ）。パルス生成部２２０から「Ｌｏｇｉｃ１」のパルス信号が出力されると、書き込み制御部２０５からラインメモリ２０１に書き込みタイミング信号が出力され、ラインメモリ２０１に「Ａ２」、「Ａ４」、及び「Ａ６」が記憶される（図６Ｂ）。このとき、ラインメモリ２０７に「Ｃ４」の欠陥画素位置情報が記憶される（図６Ｂ）。なお、欠陥画素が２つ並んでいる場合は、図５Ｂに示すように、比較部２１３からハイレベルが２クロック分連続したパルス信号が出力されるため、両方の欠陥画素の補正に必要な画素を取り込むことができる。

次に、ラインＢ（「Ｂ１」〜「Ｂ８」）が小ラインメモリ１３に入力されるとき、ラインメモリ２０７に記憶された「Ｃ４」の欠陥画素位置情報に基づいてパルス生成部２２１から「Ｌｏｇｉｃ１」のパルス信号が出力される（図６Ｃ）。このパルス信号により読み出し制御部２０６がラインメモリ２０１から「Ａ２」、「Ａ４」、及び「Ａ６」を読み出すとともに、書き込み制御部２０５がラインメモリ２０２に「Ａ２」、「Ａ４」、及び「Ａ６」を書き込む。これにより、「Ａ２」、「Ａ４」、及び「Ａ６」がラインメモリ２０１からラインメモリ２０２に移動する（図６Ｄ）。また、比較部２１３、２１４からそれぞれ出力されるパルス信号により、ラインメモリ２０７に記憶された「Ｃ４」の欠陥画素位置情報がラインメモリ２０８に移動する（図６Ｄ）。

次に、ラインＣ（「Ｃ１」〜「Ｃ８」）が小ラインメモリ１３に入力されるとき、ラインメモリ２０８に記憶された「Ｃ４」の欠陥画素位置情報に基づいてパルス生成部２２２から「Ｌｏｇｉｃ２」のパルス信号が出力される（図６Ｅ）。このパルス信号によりラインメモリ２０１に「Ｃ２」及び「Ｃ６」が記憶される（図６Ｆ）。また、パルス生成部２２２から「Ｌｏｇｉｃ１」のパルス信号が出力され（図６Ｅ）、このパルス信号によりラインメモリ２０２に記憶される「Ａ２」、「Ａ４」、及び「Ａ６」がラインメモリ２０３に移動する（図６Ｆ）。また、パルス生成部２２２から補間演算部２４６に「Ｌｏｇｉｃ３」のパルス信号が出力される（図６Ｅ）。このパルス信号により補間演算部２４６は「Ｃ４」を参照する位置に別の欠陥画素があった場合でも「Ｃ４が欠陥画素であるときの補正アルゴリズム」を使用して「Ｃ４」に対して補間演算を行うことができる。また、「Ｃ４」を参照する位置に欠陥画素がない場合は、「Ｃ４」のデータが無いのに「Ｌｏｇｉｃ３」のパルス信号が発生するが、補正処理が行われない為、問題は生じない。また、比較部２１４、２１５からそれぞれ出力されるパルス信号により、ラインメモリ２０８に記憶された「Ｃ４」の欠陥画素位置情報がラインメモリ２０９に移動する（図６Ｆ）。

次に、ラインＤ（「Ｄ１」〜「Ｄ８」）が小ラインメモリ１３に入力されるとき、ラインメモリ２０９に記憶された「Ｃ４」の欠陥画素位置情報に基づいて、パルス生成部２２３から「Ｌｏｇｉｃ１」〜「Ｌｏｇｉｃ３」が出力される（図６Ｇ）。「Ｌｏｇｉｃ１」によりラインメモリ２０３に記憶された「Ａ２」、「Ａ４」、及び「Ａ６」がラインメモリ２０４に移動し、「Ｌｏｇｉｃ２」によりラインメモリ２０１に記憶された「Ｃ２」及び「Ｃ６」がラインメモリ２０２に移動する（図６Ｈ）。また、比較部２１５、２１６からそれぞれ出力されるパルス信号により、ラインメモリ２０９に記憶された「Ｃ４」の欠陥画素位置情報がラインメモリ２１０に移動する（図６Ｈ）。

そして、ラインＥ（「Ｅ１」〜「Ｅ８」）が小ラインメモリ１３に入力されるとき、ラインメモリ２１０に記憶された「Ｃ４」の欠陥画素位置情報に基づいて、パルス生成部２２４から「Ｌｏｇｉｃ１」〜「Ｌｏｇｉｃ３」が出力される（図６Ｉ）。「Ｌｏｇｉｃ１」によりラインメモリ２０４から画像データ遅延部２４４に「Ａ２」、「Ａ４」、及び「Ａ６」が読み出され、「Ｌｏｇｉｃ２」によりラインメモリ２０２から画像データ遅延部２４４に「Ｃ２」及び「Ｃ５」が読み出される（図６Ｊ）。また、「Ｌｏｇｉｃ３」により「Ｃ４が欠陥画素であるときの補正アルゴリズム」を使用して「Ｃ４」に対して補間演算を行う。また、ラインＥの「Ｅ２」、「Ｅ４」、及び「Ｅ６」は、ＡＤＣ／プリプロセス部４から画像データ遅延部２４４にラインメモリ２０１〜２０４に記録されず直接出力される。また、比較部２１６、２１７からそれぞれ出力されるパルス信号により、ラインメモリ２１０に記憶された「Ｃ４」の欠陥画素位置情報がラインメモリ２１１に移動する（図６Ｊ）。補間演算部２４６は、「Ａ２」、「Ａ４」、「Ａ６」、「Ｃ２」、「Ｃ６」、「Ｅ２」、「Ｅ４」、及び「Ｅ６」に基づいて「Ｃ４」に対して補間演算を行い、補正後の「Ｃ４」を出力する。なお、別の画素欠陥に使用される画素は、別の画素欠陥によりパルス信号が生成され、補正に必要な画素が次のラインに移動される。また、比較部２１７、２１８からそれぞれ出力されるパルス信号により、ラインメモリ２１１に記憶される「Ｃ４」の欠陥画素位置情報がラインメモリ２１２に移動する（図６Ｌ）。

ラインＦ（「Ｆ１」〜「Ｆ８」）やラインＧ（「Ｇ１」〜「Ｇ８」）が小ラインメモリ１３に入力されるときは、ラインメモリ２１１やラインメモリ２１２に記憶される「Ｃ４」の欠陥画素位置情報に基づいて、パルス生成部２２５やパルス生成部２２６から「Ｌｏｇｉｃ３」が出力され「Ｃ４が欠陥画素であるときの補正アルゴリズム」を使用して補間演算を行うことができるが（図６Ｋ）、ラインＨ（「Ｈ１」〜「Ｈ８」）が入力されるときは、ラインＣが参照されないため、これ以降「Ｃ４」の欠陥画素位置情報を記憶させる必要がない。

このように、ＡＤＣ／プリプロセス部４から出力される画像データから欠陥画素の補正に必要な周囲画素だけを小ラインメモリ１３に記憶させることができるので、フルサイズのラインメモリを備えることなく欠陥画素に対して補正を行うことができる。これにより、フルサイズのラインメモリを備える必要がない分、撮像装置の回路規模の増大を抑えることができる。また、ＣＰＵ１５による欠陥画素の補正が行われないため、フレームメモリ５のバス帯域が低下することを抑えることができる。

上記実施形態では、欠陥画素の補間演算において、図２に示すように、欠陥画素と同色の８個の周囲画素を使用し、ＧｒｅｅｎをＧｒ、Ｇｂで区別しているが、「Ｃ４」が欠陥画素で、かつ、Ｇｒｅｅｎの場合、全てのＧｒｅｅｎの周囲画素、すなわち、「Ａ１」、「Ａ３」、「Ａ５」、「Ｂ２」、「Ｂ４」、「Ｃ１」、「Ｃ３」、「Ｃ５」、「Ｄ２」、「Ｄ４」、「Ｅ１」、「Ｅ３」、「Ｅ５」の１２個の画素を使用して欠陥画素の補間演算を行ってもよい。

図７は、１２個全ての周囲画素を取り込むためのパルス生成部のブロック図である。また、図８は、図７に示すパルス生成部の各ブロックの出力タイミングチャートである。なお、図４に示す構成と同じ構成には同じ符号を付している。

比較部２１３の比較結果と欠陥画素位置情報とに基づいてマスク部２３２において画素位置情報の水平位置及び垂直位置のそれぞれの最下位ｂｉｔの組合せによりＧｒｅｅｎであるか否かを特定した後、ＦＦ２３３の出力（ＦＦ２２７の出力と同じ）とＦＦ２３５の出力（ＦＦ２２９の出力と同じ）との論理和をとることにより論理演算部２３１から「Ｌｏｇｉｃ４」のパルスを出力することができる。なお、ライン毎に色の順番が変わるので、パルス生成部２２１、２２３とパルス生成部２２２、２２４ではマスクの論理が逆になる。例えば、パルス生成部２２１において比較部２１３からパルス信号が出力されたときの画素位置情報の水平位置及び垂直位置のそれぞれの最下位ｂｉｔが（１，１）又は（０，０）のとき、欠陥画素がＧｒｅｅｎとすると、パルス生成部２２２、２２４では、最下位ｂｉｔが（０，１）、（１，０）のとき、欠陥画素はＧｒｅｅｎであり、「Ｌｏｇｉｃ４」のパルスが出力される。また、パルス生成部２２０は、欠陥画素の補正のため、一番上のラインの取り込みを制御し、パルス生成部２２５、２２６は、それぞれ、欠陥画素の位置を知らせるためのものであり、特に色を考慮する必要がない。また、同色以外の画素も利用して補間演算を行うことも考えられるが、この場合、補間演算に必要な画素を取り込むことができるように、パルス生成部の論理演算部を変更すればよい。同様の考え方により、補間演算に９×９以上の範囲の画素が必要である場合、小ラインメモリ１３とメモリ管理部１２のラインメモリを増やせばよい。また、色毎に取り込む画素を任意にしてもよい。

次に、ラインメモリの記憶容量について説明する。
例えば、欠陥画素を中心とする５×５の範囲の画素により欠陥画素に対して補間演算を行う場合、一番下のラインは直接補間演算部２４６に出力することができるので、図９Ｂ〜図９Ｅにそれぞれ灰色で示される各画素を記憶することができればよい。従って、１ラインの最大欠陥画素数を仕様として定義することができれば、「一番下のラインの画素を除いた補間演算に必要な画素数×１ラインの最大欠陥画素数」によりラインメモリの記憶容量を算出することができる。

なお、ラインメモリをＦＩＦＯメモリで構成する場合、データを出力する前に、前段のデータが書き込まれる場合があるので、２ライン分の容量が必要となる為、「一番下のラインの画素を除いた補間演算に必要な画素数×１ラインの最大欠陥画素数×２」とする。

例えば、５×５の範囲の画素から欠陥画素の周囲画素として８画素を使用する場合は、「一番下のラインの画素を除いた補間演算に必要な画素数」が８−３＝５画素となり、「１ラインの最大欠陥画素数」をＮｍａｘとすると、ラインメモリの記憶容量は５×Ｎｍａｘとなる。そして、ラインメモリをＦＩＦＯメモリで構成する場合は、１０×Ｎｍａｘとなる。また、５×５の範囲の画素から欠陥画素の周囲画素として１２画素を使用する場合は、１２−３＝９画素となり、ラインメモリの記憶容量は９×Ｎｍａｘとなる。そして、ラインメモリをＦＩＦＯメモリで構成する場合は、１８×Ｎｍａｘとなる。

なお、ラインメモリをＦＩＦＯメモリで構成する場合は、欠陥画素を補正した後、不要になった画素を次のＦＩＦＯメモリに書き込まれないようにすることにより、後段のＦＩＦＯメモリの記憶容量を少なくすることができる。例えば、ラインメモリ２０１は、ラインＡ〜ラインＥの画素（３＋２＋２＋２画素）が記憶されるが、ラインメモリ２０２は、ラインＡ〜ラインＣの画素（３＋２＋２画素）が記憶され、ラインメモリ２０３は、ラインＡ及びラインＢの画素（３＋２画素）が記憶され、ラインメモリ２０４は、ラインＡの画素（３画素）が記憶される。従って、ラインメモリ２０１の記憶容量は１８×Ｎｍａｘ、ラインメモリ２０２の記憶容量は１４×Ｎｍａｘ、ラインメモリ２０３の記憶容量は１０×Ｎｍａｘ、ラインメモリ２０４の記憶容量は６×Ｎｍａｘになる。

また、後から欠陥画素が発生し、予め確保した記憶容量が不足する場合がある。その場合は、記憶容量の不足により補正が行えない欠陥画素の位置情報を別に管理し、その欠陥画素に対してはＣＰＵ１５が並行して補正を行うように構成してもよい。これにより、全ての欠陥画素をＣＰＵ１５で補正する場合に比べて大幅に処理速度を改善することができる。

また、図１０に示すように、ラインメモリ２０１〜２０４及びラインメモリ２０７〜２１２をＳＲＡＭに代えて、ＳＲＡＭへ書き込まれるデータとＳＲＡＭから読み出されるデータの順番をセレクタ２３６〜２３８で切り替えるように構成してもよい。なお、このように構成する場合、処理する前に新しいデータに書き換わることのないように、小ラインメモリ１３にＳＲＡＭ２３９を追加し、メモリ管理部１２にＳＲＡＭ２４０、２４１、比較部２４２、及びパルス生成部２４３を追加する。また、画像データの１ラインの各画素が図１１Ａに示すような画素になる場合、小ラインメモリ１３の各ＳＲＡＭに記憶される画素は図１１Ｂに示すようになり、メモリ管理部１２の各ＳＲＡＭに記憶される画素は図１１Ｃに示すようになる。また、このように構成する場合、ＦＩＦＯメモリと異なり、欠陥画素の補正が完了した後にＳＲＡＭに不要な画素が残るので、それを読み出すためにセレクタ２３６〜２３８にそれぞれ余分にパルスを送る必要があり、そのときＳＲＡＭに書き込まれている画素を管理するか、間違ってパルスを生成しない様に、最後に入力画素数の範囲外のデータを強制的に書き込むようにする。また、ＳＲＡＭは、シングルポートのＳＲＡＭとしてもよい。また、ＳＲＡＭの記憶容量は、「一番下のラインの画素を除いた補間演算に必要な画素数×１ラインの最大欠陥画素数Ｎｍａｘ」以上の値とする。

次に、本発明の第２実施形態の撮像装置について説明する。
第１実施形態の撮像装置では、欠陥画素を補正後の画素に置き換える際、補正後の画素をフレームメモリ５に記憶される欠陥画素に上書きしている。通常、フレームメモリ５には、８ｂｉｔの倍数の単位でデータが書き込まれる。１つの画素が８ｂｉｔ又は１６ｂｉｔの単位で書き込まれていればよいが、記憶容量の削減のために、１つの画素が１２ｂｉｔの単位で書き込まれる場合がある。この例を図１２に示す。図１２において、Ｐｉｘ０〜Ｐｉｘ５は、それぞれ、画素を示し、画素の上の数値はｂｉｔを示している。

図１２に示すように、Ｐｉｘ３はゼロｂｉｔを先頭として、５ｂｙｔｅ目と６ｂｙｔｅ目に書き込まれているが、４ｂｙｔｅ目の下４ｂｉｔはＰｉｘ２が書き込まれており、Ｐｉｘ３が欠陥画素のとき、単純に補正後の画素Ｐｉｘ３´を上書きすると、４ｂｉｔのＰｉｘ２が消えてしまう。

そこで、第２実施形態の撮像装置では、フレームメモリ５から欠陥画素を読み出した後、その読み出した欠陥画素を補正後の画素に書き換えてフレームメモリ５に戻すように構成している。

図１３は、第２実施形態の撮像装置を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付し説明を省略する。
バッファ１６には、メモリ管理部１２から出力される欠陥画素位置情報に基づいてフレームメモリ５から読み出された欠陥画素を含む画像データがアドレス情報を付加されて書き込まれる。

バッファ１７では、欠陥画素補正部１４から出力される補正後の画素が書き込まれる。そして、バッファ１７は、バッファ１６から出力される画像データの欠陥画素を補正後の画素に書き換え、バッファ１６から出力されるアドレス情報に基づいてフレームメモリ５に画像データを書き込む。

例えば、１２ｂｉｔ単位から６４ｂｉｔ単位に変更してフレームメモリ５に画素を書き込む場合、６４ｂｉｔに５つの画素が書き込まれ、残りの４ｂｉｔはダミーデータが書き込まれる。また、処理の簡易化のために、１ラインの単位の画素も分離される。例えば、１ラインを４５０１画素とする場合、１ラインの記憶領域は、４５０５画素分の記憶領域、すなわち、６４ｂｉｔ×４５０５／５＝５７６６ｂｉｔ＝７２０８Ｂｙｔｅになる。これにより、例えば、２０ライン目の４０４画素目の画素の位置は、ダミーデータを後詰めされている場合、４０３を割った商８０と余り４により、７２０８Ｂｙｔｅ×（２０−１）＋８Ｂｙｔｅ×８０＋（１２ｂｉｔ×（４−１））／８＝１２７６３２Ｂｙｔｅ＋４ｂｉｔとなり、先頭から１２７６３３Ｂｙｔｅ目と１２７６３２Ｂｙｔｅ目を読み出せばよい。この画素を読み出した後、欠陥画素のみを補正後の画素に上書きしてアドレス情報に基づいてフレームメモリ５に書き込むようにしているので、画素をｂｉｔ詰めしてフレームメモリ５に書き込んでも欠陥画素を補正後の画素に書き換えることができる。また、第２実施形態の撮像装置によれば、ＣＰＵ１５が後から欠陥画素を補正する場合に比べて、補正処理を完了させるまでの時間を短縮することができる。また、第２実施形態の撮像装置によれば、欠陥画素を読み出したり書き込んだりする処理が生じてしまうが、欠陥画素の周囲画素を読み出す必要がないので、フレームメモリ５のＩ／Ｆの負荷を軽減させることができる。

次に、本発明の第３実施形態の撮像装置を説明する。
第１及び第２実施形態の撮像装置では、一旦フレームメモリ５に画像データを書き込み、フレームメモリ５上の欠陥画素を補正後の画素に置き換えているため、本来不要なアクセスが発生するとともに、２Ｂｙｔｅ程度の小さい領域を飛び飛びにアクセスすることになるため、フレームメモリ５を広いバス幅のＤＲＡＭで構成する場合、効率が低下してしまう。

そこで、第３実施形態の撮像装置では、補正後の画素を一括してフレームメモリ５の別領域（画像データが書き込まれる領域と別の領域）に書き込み、画像処理部６に画像データを読み出す際に、欠陥画素を補正後の画素に切り換える。

図１４は、第３実施形態の撮像装置を示す図である。図１に示す構成と同じ構成には同じ符号を付し説明を省略する。
まず、バッファ２１には、欠陥画素補正部１４から出力される補正後の画素が一時的に格納され、フレームメモリ５に書き込まれる際に効率がよいサイズ（例えば、フレームメモリの１バーストアクセス分）単位でフレームメモリ５の別領域に補正後の画素が欠陥画素と同じ順番で書き込まれる。

そして、画像処理の開始に先立って、バッファ２２には、補正後の画素がフレームメモリ５より効率がよい単位で読み込まれる。画像処理が開始されると、フレームメモリ５から画素がラスター順に読み出される。

欠陥位置管理部２４は、画像処理部６に読み出される画素の位置を監視し、欠陥画素の位置と一致した場合、セレクタ２３により画像処理部６に読み出される画素をバッファ２２内の補正後の画素に切り換え、バッファ２２に次の補正後の画素を書き込む。

以上を繰り返すことにより、補正後の画素に対して画像処理することができる。
次に、本発明の第４実施形態の撮像装置について説明する。
第１〜第３実施形態の撮像装置では、画像データを一旦フレームメモリ５に書き込んだ後に、補正後の画素をフレームメモリに書き込んでいる。そのため、フレームメモリ５への余分なアクセスが発生し、フレームメモリ５のバス帯域に余裕がない場合、画像処理以降の処理が遅延してしまうおそれがある。

そこで、第４実施形態の撮像装置では、小ラインメモリ１３の上２つのラインメモリをフルサイズのラインメモリとして、画像データを欠陥画素の補正が完了するまで遅延させて、欠陥画素を補正後の画素に入れ替えてフレームメモリ５に書き込む。

図１５は、第４実施形態の撮像装置を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付し説明を省略する。
フルサイズラインメモリ３１は、図１６に示すように、２つのフルサイズのラインメモリ２０１、２０２を備え、ＡＤＣ／プリプロセス部４から出力される画像データを、遅延無し、１ライン遅延、２ライン遅延の３種類の画像データにして出力する。

セレクタ３４は、フルサイズラインメモリ３１から出力される画像データと、欠陥画素補正部１４から出力される補正後の画素とが入力され、メモリ管理部１２から出力される欠陥画素位置情報が入力されると、補正後の画素をフレームメモリ５に書き込み、メモリ管理部１２から出力される画素位置情報が入力されると、フルサイズラインメモリ３１から出力される画像データをフレームメモリ５に書き込む。

小ラインメモリ１３は、フルサイズラインメモリ３１から出力される２ライン遅延の画像データのうち欠陥画素の周囲画素のみを書き込む。メモリ管理部１２は、図１７及び図１８に示すように、画素位置算出部１０と欠陥位置メモリ１１から出力される情報に基づいて欠陥画素の入力タイミングを検出し、小ラインメモリ１３への書き込み制御や小ラインメモリ１３からの読み出し制御を行うとともに、欠陥画素補正部１４に補間演算処理の指示やセレクタ３４の切り換え制御を行う。

本発明の第１実施形態の撮像装置を示す図である。 欠陥画素及び周囲画素を示す図である。 メモリ管理部、小ラインメモリ、及び欠陥画素補正部のそれぞれのブロック図である。 パルス生成部のブロック図である。 パルス生成部の各ブロックの出力タイミングチャートを示す図である。 パルス生成部の各ブロックの出力タイミングチャートを示す図である。 ラインＡ入力時のパルス生成部の出力タイミングチャートを示す図である。 ラインＡ入力時のラインメモリに記憶されるデータ構成を示す図である。 ラインＢ入力時のパルス生成部の出力タイミングチャートを示す図である。 ラインＢ入力時のラインメモリに記憶されるデータ構成を示す図である。 ラインＣ入力時のパルス生成部の出力タイミングチャートを示す図である。 ラインＣ入力時のラインメモリに記憶されるデータ構成を示す図である。 ラインＤ入力時のパルス生成部の出力タイミングチャートを示す図である。 ラインＤ入力時のラインメモリに記憶されるデータ構成を示す図である。 ラインＥ入力時のパルス生成部の出力タイミングチャートを示す図である。 ラインＥ入力時のラインメモリに記憶されるデータ構成を示す図である。 ラインＦ入力時のパルス生成部の出力タイミングチャートを示す図である。 ラインＦ入力時のラインメモリに記憶されるデータ構成を示す図である。 パルス生成部のブロック図である。 パルス生成部の各ブロックの出力タイミングチャートを示す図である。 ラインメモリに記憶される画素を示す図である。 ラインメモリに記憶される画素を示す図である。 ラインメモリに記憶される画素を示す図である。 ラインメモリに記憶される画素を示す図である。 ラインメモリに記憶される画素を示す図である。 メモリ管理部、小ラインメモリ、及び欠陥画素補正部のそれぞれのブロック図である。 入力される画素を示す図である。 ＳＲＡＭに記憶される画素を示す図である。 ＳＲＡＭに記憶される欠陥画素位置情報を示す図である。 フレームメモリに書き込まれるデータを示す図である。 本発明の第２実施形態の撮像装置を示す図である。 本発明の第３実施形態の撮像装置を示す図である。 本発明の第４実施形態の撮像装置を示す図である。 メモリ管理部、小ラインメモリ、欠陥画素補正部、及びフルサイズラインメモリのそれぞれのブロック図である。 パルス生成部の各ブロックの出力タイミングチャートを示す図である。 ラインメモリの書き込みタイミング及び読み出しタイミングを示す図である。 従来の撮像装置を示す図である。 従来の他の撮像装置を示す図である。

符号の説明

１ レンズ
２ タイミング部
３ センサ
４ ＡＤＣ／プリプロセス部
５ フレームメモリ
６ 画像処理部
７ 圧縮伸長部
８ 記録メディアＩ／Ｆ
９ 表示部
１０ 画素位置算出部
１１ 欠陥位置メモリ
１２ メモリ管理部
１３ 小ラインメモリ
１４ 欠陥画素補正部
１５ ＣＰＵ
１６、１７ バッファ
２１、２２ バッファ
２３ セレクタ
２４ 欠陥位置管理部
３１ フルサイズラインメモリ
３４ セレクタ

Claims (7)

1. センサから出力される画像データを一旦フレームメモリに書き込み、前記フレームメモリから前記画像データを読み出して画像処理を行った後、記録手段に記録する撮像装置であって、
   予め前記センサの欠陥画素の位置を示す欠陥画素位置情報が記憶される記憶手段と、
   前記センサから出力される画像データの各画素の出力タイミングに基づいて前記画像データの各画素の位置を示す画素位置情報を出力する画素位置算出手段と、
   ラインメモリと、
   前記記憶手段に記憶される欠陥画素位置情報及び前記画素位置算出手段により出力される画素位置情報に基づいて前記画像データの欠陥画素の周囲画素を前記ラインメモリに記憶させるメモリ管理手段と、
   前記画像データ及び前記ラインメモリに記憶される周囲画素と前記メモリ管理手段からの欠陥画素位置情報に基づいて前記画像データの欠陥画素を補正する補正手段と、
   を備え、
   前記画像データの欠陥画素を前記補正手段により補正された画素に置き換えるために、前記補正手段から補正後の画素を出力させる
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記ラインメモリは、前記画像データのうち前記欠陥画素を中心とするＡ×Ａ画素から前記周囲画素が抽出される場合で、かつ、前記センサの１ラインにおける欠陥画素数がＢ以下である場合、１ライン当り（Ａ×（Ａ−２）＋（Ａ−１））×Ｂ画素以上のメモリを（Ａ−１）ライン以上を備えている
   ことを特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置であって、
   前記補正手段から出力される補正後の画素は、前記フレームメモリに書き込まれた前記画像データの欠陥画素に上書きされる
   ことを特徴とする撮像装置。
4. 請求項１又は請求項２に記載の撮像装置であって、
   前記フレームメモリから読み出された前記画像データを記憶する第１のバッファと、
   前記第１のバッファに記憶される前記画像データの欠陥画素を前記補正後の画素に書き換え、前記フレームメモリに書き戻す第２のバッファと、
   を備えることを特徴とする撮像装置。
5. 請求項１又は請求項２に記載の撮像装置であって、
   前記補正後の画素は、前記フレームメモリにおいて前記画像データが書き込まれる領域と別の領域に書き込まれ、
   前記フレームメモリから画像処理手段に画素が読み出される際、その画素の読み出しアドレス及び前記欠陥画素位置情報に基づいて、前記フレームメモリから読み出される画素が欠陥画素であるか否かを判別し、前記フレームメモリから読み出される画素が欠陥画素である場合、前記センサから出力された欠陥画素の代わりに前記補正後の画素を前記画像処理手段に出力させる第１のセレクタを備える
   ことを特徴とする撮像装置。
6. 請求項１又は請求項２に記載の撮像装置であって、
   前記画像データのうち前記周囲画素を含むラインを、前記欠陥画素の補正が終了するまで遅延させた後、出力する遅延手段と、
   前記画素位置情報及び前記欠陥画素位置情報に基づいて、前記遅延手段から出力される画素又は前記補正手段から出力される前記補正後の画素のどちらか一方を選択し前記フレームメモリに出力させる第２のセレクタと、
   を備えることを特徴とする撮像装置。
7. 請求項１〜６の何れか１項に記載の撮像装置であって、
   前記補正手段により補正できなかった欠陥画素を補正するプロセッサを備える
   ことを特徴とする撮像装置。