JP2008278394A - 撮像装置、欠陥画素補正装置およびこれらにおける処理方法ならびにプログラム - Google Patents

Abstract

【課題】欠陥画素群に含まれる各欠陥画素を適切に補正する。
【解決手段】欠陥画素アドレス記憶部３２０には欠陥画素の位置情報とこの欠陥画素が欠陥画素群に含まれるか否かの画素欠陥情報とを関連付けて記憶する。欠陥画素判定部３３０は、撮像された画像における各画素について欠陥画素アドレス記憶部３２０の位置情報に基づいて欠陥画素であるか否かを判定し、その画素が欠陥画素群に含まれるか否かを欠陥画素アドレス記憶部３２０の画素欠陥情報に基づいて判定する。補間候補画素選択部３４０は、撮像された画像における各画素の種別を判定し、欠陥画素の種別と欠陥画素群に含まれるか否かの判定結果とに基づいて画素の周辺画素を選択する。この選択された画素の周辺画素の値に基づいて欠陥画素の補間値を補間値算出部３５０が算出し、この算出された補間値と欠陥画素の値とを補間値置換部３６０が置換する。
【選択図】図５

Description

本発明は、撮像装置に関し、特に、撮像素子を用いて撮像された画像に含まれる欠陥画素を補正する撮像装置、欠陥画素補正装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、被写体を撮像するためのデジタルビデオカメラやデジタルスチルカメラ等の撮像装置が広く用いられるようになっている。また、これらの撮像装置の小型化および高画質化が進んでいる。これらの撮像装置に搭載されている固体撮像素子（イメージングデバイス）上には、白欠陥や黒欠陥等の画素欠陥が発生することが一般的に知られている。ここで、白欠陥とは、入射光量に応じた電気信号に対して一定量の電荷が重畳される画素欠陥であり、黒欠陥とは、一定量の比率で信号レベルが低下する画素欠陥、または、入射光に全く反応せずに低レベルの信号を出力する画素欠陥である。

これらの欠陥画素は、撮像画像上において白または黒の点状の傷となり、撮像画像の画質劣化を引き起こす。このため、これらの欠陥画素の影響を可能な限り低減させることが撮像装置の性能を向上させるためには重要である。しかしながら、一般的に、固体撮像素子内でこれらの欠陥画素を完全に除去することは困難である。このため、固体撮像素子から出力される画像信号を用いて、後段の信号処理部において、欠陥画素を検出して補正を行う欠陥画素補正方法が多数提案されている。

例えば、製造現場での調整時や電源投入時等に欠陥画素を検出し、この検出された欠陥画素の位置情報をレジスタやメモリ等の記憶手段に保持しておき、撮像時には、保持されている位置情報に基づいて、補正対象となる画素の隣接する複数の画素信号を用いて補間値を算出し、この補間値と欠陥画素の値とを置換する欠陥画素補正方法が広く行われている。

また、例えば、任意の色空間の欠陥画素の位置に対応する他の色空間の画素とその周囲画素との相関を求め、求めた相関のうちで最も相関の強い画素の位置に対応する色空間の画素を用いて欠陥画素の補正を行う欠陥画素補正方法が提案されている（例えば、特許文献１参照。）。
特開平０６−１５３０８７号公報（図１）

上述の従来技術によれば、比較的簡単な構成で欠陥画素の補正を行うことができる。

一方、近年の撮像装置の小型化および高画質化に伴い、撮像素子についても、多画素化および小型化に関する技術が多数開発されている。

例えば、撮像素子の画素を構成するトランジスタ群の一部を、隣接する複数の画素で共有する画素共有構造に関する技術が実現されている。これにより、画素の縮小化を図るとともに、撮像装置の小型化を図ることができる。

しかしながら、画素共有構造を有する撮像素子では、共有構成要素である増幅アンプトランジスタが故障した場合、この故障したトランジスタを共有する隣接する複数の画素の全てが欠陥画素となる場合がある。このため、画素共有構造を有する撮像素子を用いて撮像された画像に含まれる欠陥画素を補正する場合には、画素共有構造に起因する隣接画素欠陥を適切に補正することが重要である。また、画素共有構造以外においても、構造上の問題に起因して複数の画素から構成される画素群に含まれる各画素に欠陥を生じる可能性もある。

そこで、本発明は、複数の欠陥画素から構成される欠陥画素群に含まれる各欠陥画素を適切に補正することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、撮像素子を構成する画素のうちの欠陥画素の位置情報と複数の欠陥画素から構成される欠陥画素群に当該位置情報に係る欠陥画素が含まれるか否かを示す画素欠陥情報とを関連付けて記憶する欠陥画素記憶手段と、上記撮像素子により撮像された画像を入力する画像入力手段と、上記入力された画像における各画素について上記欠陥画素記憶手段に記憶されている位置情報に基づいて欠陥画素であるか否かを判定する欠陥画素判定手段と、上記欠陥画素であると判定された画素が上記欠陥画素群に含まれるか否かを上記欠陥画素記憶手段に記憶されている画素欠陥情報に基づいて判定する画素共有欠陥判定手段と、上記入力された画像における各画素の種別を判定する画素種別判定手段と、上記欠陥画素であると判定された画素について上記判定された当該画素の種別と当該画素が上記欠陥画素群に含まれるか否かの判定結果とに基づいて当該画素の周辺画素を選択する補間画素選択手段と、上記欠陥画素であると判定された画素の補間値を上記選択された当該画素の周辺画素の値に基づいて算出する補間値算出手段と、上記欠陥画素であると判定された画素の値と上記算出された当該画素に対応する補間値とを置換する補間値置換手段とを具備することを特徴とする撮像装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像素子により撮像された画像における各画素について欠陥画素であるか否かを判定し、欠陥画素であると判定された画素が欠陥画素群に含まれるか否かを判定するとともに、入力された画像における各画素の種別を判定して、欠陥画素の種別とその欠陥画素が欠陥画素群に含まれるか否かとに基づいてその欠陥画素の周辺画素を選択し、欠陥画素の補間値をその選択された欠陥画素の周辺画素の値に基づいて算出して、欠陥画素の値と算出された補間値とを置換するという作用をもたらす。

また、この第１の側面において、上記欠陥画素記憶手段は、上記欠陥画素群に含まれる欠陥画素については当該欠陥画素群に含まれる欠陥画素のうちの１つの欠陥画素についての上記位置情報および上記画素欠陥情報のみを記憶し、上記欠陥画素記憶手段に記憶されている上記欠陥画素群に含まれる欠陥画素についての上記位置情報に基づいて当該欠陥画素を含む欠陥画素群の他の欠陥画素の位置情報を算出する位置情報算出手段をさらに具備し、上記欠陥画素判定手段は、上記入力された画像における各画素について上記欠陥画素記憶手段に記憶されている位置情報および上記算出された位置情報に基づいて欠陥画素であるか否かを判定し、上記画素共有欠陥判定手段は、上記欠陥画素であると判定された画素が上記欠陥画素群に含まれるか否かを上記算出された位置情報に基づいて判定することができる。これにより、欠陥画素群に含まれる１つの欠陥画素についての位置情報に基づいて、その欠陥画素を含む欠陥画素群の他の欠陥画素の位置情報を算出して、入力された画像における各画素について欠陥画素記憶手段の位置情報および算出された位置情報に基づいて欠陥画素であるか否かを判定し、欠陥画素が欠陥画素群に含まれるか否かをその算出された位置情報に基づいて判定するという作用をもたらす。

また、この第１の側面において、上記欠陥画素群は、隣接する複数の欠陥画素から構成される画素群であることができる。これにより、隣接する複数の欠陥画素から構成される欠陥画素群に含まれる欠陥画素を補正するという作用をもたらす。また、この第１の側面において、上記撮像素子は、画素共有構造の画素群を有し、上記欠陥画素群は、上記画素共有構造の画素群を構成する複数の画素が欠陥画素となっている画素群であることができる。これにより、画素共有構造の画素群を構成する複数の画素が欠陥画素となっている画素群に含まれる欠陥画素を補正するという作用をもたらす。この場合において、上記撮像素子の受光部に装着されるカラーフィルタは、斜め画素配列のカラーフィルタであり、上記画素共有構造の画素群は、上記斜め画素配列において隣接する４画素からなる画素群であることができる。これにより、斜め画素配列のカラーフィルタが装着された撮像素子により撮像された画像について、その斜め画素配列において隣接する４画素からなる欠陥画素群に含まれる欠陥画素を補正するという作用をもたらす。

また、この第１の側面において、上記欠陥画素であると判定された画素の位置情報に基づいて当該画素に隣接する隣接画素が欠陥画素であるか否かを判定する連続欠陥判定手段をさらに具備し、上記補間画素選択手段は、上記欠陥画素であると判定された画素について上記判別された当該画素の種別と当該画素が上記欠陥画素群に含まれるか否かの判定結果と当該画素の隣接画素が欠陥画素であるか否かの判定結果とに基づいて当該画素の周辺画素を選択することができる。これにより、欠陥画素の位置情報に基づいて、その欠陥画素に隣接する隣接画素が欠陥画素であるか否かを判定し、欠陥画素の種別と、その欠陥画素が欠陥画素群に含まれるか否かと、その欠陥画素の隣接画素が欠陥画素であるか否かとに基づいてその欠陥画素の周辺画素を選択するという作用をもたらす。

また、本発明の第２の側面は、撮像素子を構成する画素のうちの欠陥画素の位置情報と複数の欠陥画素から構成される欠陥画素群に当該位置情報に係る欠陥画素が含まれるか否かを示す画素欠陥情報とを関連付けて記憶する欠陥画素記憶手段と、上記撮像素子により撮像された画像を入力する画像入力手段と、上記入力された画像における各画素について上記欠陥画素記憶手段に記憶されている位置情報に基づいて欠陥画素であるか否かを判定する欠陥画素判定手段と、上記欠陥画素であると判定された画素が上記欠陥画素群に含まれるか否かを上記欠陥画素記憶手段に記憶されている画素欠陥情報に基づいて判定する画素共有欠陥判定手段と、上記入力された画像における各画素の種別を判定する画素種別判定手段と、上記欠陥画素であると判定された画素について上記判定された当該画素の種別と当該画素が上記欠陥画素群に含まれるか否かの判定結果とに基づいて当該画素の周辺画素を選択する補間画素選択手段と、上記欠陥画素であると判定された画素の補間値を上記選択された当該画素の周辺画素の値に基づいて算出する補間値算出手段と、上記欠陥画素であると判定された画素の値と上記算出された当該画素に対応する補間値とを置換する補間値置換手段とを具備することを特徴とする欠陥画素補正装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像素子により撮像された画像における各画素について欠陥画素であるか否かを判定し、欠陥画素であると判定された画素が欠陥画素群に含まれるか否かを判定するとともに、入力された画像における各画素の種別を判定して、欠陥画素の種別とその欠陥画素が欠陥画素群に含まれるか否かとに基づいてその欠陥画素の周辺画素を選択し、欠陥画素の補間値をその選択された欠陥画素の周辺画素の値に基づいて算出して、欠陥画素の値と算出された補間値とを置換するという作用をもたらす。

本発明によれば、複数の欠陥画素から構成される欠陥画素群に含まれる各欠陥画素を適切に補正するという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、レンズ１１０と、モータ１２０と、モータ駆動回路１３０と、アイリス１４０と、駆動回路１５０と、撮像素子１６０と、駆動回路１７０と、フロントエンド（Ｆ／Ｅ：Front End）処理部１８０と、信号処理部１９０と、システム制御部１９５とを備える。

レンズ１１０は、光源からの入射光および撮像被写体からの反射光を集光するレンズである。モータ１２０は、モータ駆動回路１３０から出力された駆動信号に応じて回転することによりレンズ１１０を移動させ、被写体の焦点距離および焦点位置を調整するモータである。モータ駆動回路１３０は、システム制御部１９５からの制御に基づいて、モータ１２０を回転させる駆動信号を生成し、この駆動信号をモータ１２０に出力するものである。このモータ駆動回路１３０により、ユーザの変倍動作に応じた焦点距離（すなわち、ズーム位置）が決定される。

アイリス１４０は、駆動回路１５０から出力された駆動信号に基づいて、被写体照度に応じた絞りを調整し、レンズ１１０を通過した光の量（すなわち、露出）を決定するものである。駆動回路１５０は、システム制御部１９５からの制御に基づいて、アイリス１４０を調整するための駆動信号を生成し、この駆動信号をアイリス１４０に出力するものである。

撮像素子１６０は、駆動回路１７０から出力された駆動信号に基づいて、アイリス１４０を通過した光信号に光電変換処理を施し、光電変換された電荷信号をフロントエンド処理部１８０に出力するものである。なお、撮像素子１６０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の素子で構成される。なお、本発明の実施の形態では、撮像素子１６０として単板方式の撮像素子を用いて、その受光部に装着されるカラーフィルタとして、いわゆる斜め画素配列のカラーフィルタを用いた例について説明する。また、撮像素子１６０として、画素を構成するトランジスタ群の一部が隣接する４画素で共有されている画素共有構造の撮像素子を用いた例について説明する。なお、斜め画素配列のカラーフィルタ、画素共有構造については、図３、図４等を参照して詳細に説明する。

駆動回路１７０は、システム制御部１９５からの制御に基づいて、撮像素子１６０が光電変換処理を施すための駆動信号を生成し、この駆動信号を撮像素子１６０に出力するものである。

フロントエンド処理部１８０は、撮像素子１６０から出力されたアナログの電荷信号に対して、ノイズ除去や増幅等の処理を施し、その電荷信号をデジタル信号に変換するフロントエンド処理部であり、ＣＤＳ（Correlated Double Sampling）部１８１と、ＡＧＣ（オートゲインコントロール：Automatic Gain Control）部１８２と、Ａ／Ｄ変換部１８３とを備える。ＣＤＳ部１８１は、入力信号をサンプリング（標本化）後に一定値にサンプルホールド（保持）するものである。ＡＧＣ部１８２は、入力信号に対して、増幅処理を行うオートゲインコントロール部である。Ａ／Ｄ変換部１８３は、入力信号をアナログ信号からデジタル信号に変換するＡ／Ｄ変換部である。本発明の実施の形態では、フロントエンド処理部１８０と撮像素子１６０とを分けた場合について説明するが、フロントエンド処理部１８０を撮像素子１６０と同一基板上に形成するようにしてもよい。例えば、いわゆる、カラムＡ／Ｄ方式イメージセンサ等を用いることができる。

信号処理部１９０は、フロントエンド処理部１８０によりデジタル信号に変換された被写体の撮像信号に対して、システム制御部１９５からの制御信号に基づいて、ＡＷＢ（Auto White Balance：オートホワイトバランス）、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点）等のカメラ制御処理を施し、被写体の映像信号（輝度信号および色差信号）を生成する信号処理部であり、同期信号生成部１９１と、カメラ信号処理部２００と、制御演算処理部１９２と、解像度変換部１９３とを備える。例えば、信号処理部１９０は、集積回路（ハードウェア）で実現される。また、信号処理部１９０の構成の全てまたはその一部を、コンピュータ等を利用してソフトウェア的に実現することができる。

同期信号生成部１９１は、水平・垂直方向の同期信号や各種タイミング信号を生成するものであり、生成された同期信号をカメラ信号処理部２００に出力するものである。

カメラ信号処理部２００は、システム制御部１９５からの制御信号に基づいて制御処理を施し、被写体の映像信号を生成するものである。なお、カメラ信号処理部２００については、図２を参照して詳細に説明する。

制御演算処理部１９２は、システム制御部１９５からの制御信号に基づいて、被写体の映像信号に対して制御処理を施すための各種演算処理を行うものである。

解像度変換部１９３は、信号処理部１９０から出力された被写体の映像信号に対して、解像度の変換や歪みの補正処理を行うものである。

システム制御部１９５は、撮像装置１００の各部を制御するシステム制御部である。例えば、システム制御部１９５は、ＣＰＵ（Central Processor Unit）で実現される。

図２は、カメラ信号処理部２００の機能構成例を示すブロック図である。カメラ信号処理部２００は、カメラ信号前処理部２１０と、カメラ信号後処理部２２０とを備える。

カメラ信号前処理部２１０は、同期信号生成部１９１からの各種同期信号を用いて、フロントエンド処理部１８０から出力された被写体の撮像信号に対して、レンズ１１０、アイリス１４０、撮像素子１６０等に起因する欠陥画素や、シェーディング、ノイズ等の各種補正処理を施すカメラ信号前処理部であり、欠陥画素補正処理部３００を備える。欠陥画素補正処理部３００は、撮像素子１６０の結晶欠陥等に起因して発生する欠陥画素の補正処理を行う欠陥画素補正処理部である。なお、欠陥画素補正処理部３００については、図３を参照して詳細に説明する。

なお、撮像素子１６０からの入力信号がＣ（Cyan：水色）、Ｍ（Magenta：赤紫）、Ｙ（Yellow：黄）、Ｇ（Green：緑）からなる信号（いわゆる、補色信号）で構成される場合には、カメラ信号前処理部２１０が、その入力信号を、Ｒ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青）からなる原色信号に原色分離するための原色分離を施す。そして、Ｒ、Ｇ、Ｂ信号が、カメラ信号後処理部２２０および制御演算処理部１９２への入力信号となる。

カメラ信号後処理部２２０は、カメラ信号前処理部２１０により施された被写体の撮像信号から映像信号（輝度信号および色差信号）を生成するカメラ信号後処理部である。このカメラ信号後処理部２２０によって生成された映像信号は解像度変換部１９３に供給される。

図３は、撮像素子１６０のカラーフィルタとして、いわゆる斜め画素配列のカラーフィルタ（特開２００５−１０７０３７等参照）を用いた場合における画素配列の一例を示す図である。斜め画素配列のカラーフィルタとは、Ｇ（緑）、Ｒ（赤）、Ｂ（青）の割合が２：１：１であるベイヤー配列に対して、Ｇ（緑）、Ｒ（赤）、Ｂ（青）の割合を６：１：１とし、さらに画素配列を４５度回転させた画素配列のカラーフィルタである。また、Ｇ画素には、Ｇ１乃至Ｇ４、ＧｒおよびＧｂの６種類の同色画素が存在する。ここで、Ｇｒ画素は、Ｒ画素を含む行に存在するＧ画素を示し、Ｇｂ画素は、Ｂ画素を含む行に存在するＧ画素を示す。また、Ｇ１乃至Ｇ４画素は、Ｒ画素を含む行とＢ画素を含む行との間の行に存在するＧ画素であり、各番号はその識別番号である。なお、図３乃至図４、図９乃至図１９では、斜め画素配列のカラーフィルタのうちの一部の画素配列を示す。また、これらの各図においては、図３に示すように、上下方向を右側に４５度回転させた方向である矢印５０１方向を右上がり斜め方向（Ascending）と称し、上下方向を左側に４５度回転させた方向である矢印５０２方向を右下がり斜め方向（Descending）と称する。

図３に示すように、Ｒ画素およびＢ画素については、上下左右方向において、隣接する各画素が同色画素ではなく、１画素隔てた位置に同色画素が存在する。また、Ｇ画素のうちのＧ１乃至Ｇ４画素については、上下左右方向に連続して存在する各画素が同色画素である。また、Ｇ１画素およびＧ４画素については、右上がり斜め方向における隣接する各画素が同色画素であり、右下がり斜め方向においては、隣接する各画素が同色画素ではなく１画素隔てた位置に同色画素が存在する。また、Ｇ２画素およびＧ３画素については、右下がり斜め方向における隣接する各画素が同色画素であり、右上がり斜め方向においては、隣接する各画素が同色画素ではなく１画素隔てた位置に同色画素が存在する。また、Ｇｒ画素およびＧｂ画素については、上下左右方向における隣接する各画素が同色画素ではないものの、右上がり斜め方向および右下がり斜め方向における隣接する各画素が同色画素であるとともに、上下左右方向と右上がり斜め方向および右下がり斜め方向とにおける１画素隔てた位置に同色画素が存在する。

このように、各画素の周辺画素に同色画素が存在するため、本発明の実施の形態では、斜め画素配列のカラーフィルタにおいて欠陥画素が存在する場合には、この欠陥画素の周辺に存在する同色画素を用いて、この欠陥画素を補正する。なお、この欠陥画素の補正に用いる周辺画素については、図９乃至図１９を参照して詳細に説明する。

図４は、斜め画素配列のカラーフィルタにおいて、撮像素子の画素を構成するトランジスタ群の一部が隣接する４画素で共有されている撮像素子の画素共有構造の一例を示す図である。図４（ａ）および（ｂ）は、４画素共有構造の画素群５０３および５０４を模式的に示す図であり、図４（ｃ）は、４画素共有構造を有する撮像素子を用いた場合における画素配列の一部を模式的に示す図である。

図４（ａ）に示す画素群５０３は、Ｒ画素を先頭にして、Ｒ画素、Ｇ１画素、Ｇｂ画素、Ｇ３画素のジグザグパターンの４画素で共有構成要素であるトランジスタの一部を共有するものである。また、図４（ｂ）に示す画素群５０４は、Ｂ画素を先頭にして、Ｂ画素、Ｇ４画素、Ｇｒ画素、Ｇ２画素のジグザグパターンの４画素で共有構成要素であるトランジスタの一部を共有するものである。また、図４（ｃ）に示す画素配列は、画素群５０３および５０４で構成されている画素配列の一部を示す図であり、各画素群を太線で囲んで示す。なお、図４（ｃ）に示す画素配列において、画素群５０３の下部分および画素群５０４の上部分については、一部を省略して示す。

このように、画素共有構造を撮像素子に採用することによって、撮像素子の画素の縮小化を図ることが可能であり、近年では、撮像装置の小型化を図る上で画素共有構造を有する撮像素子が必須の技術となりつつある。

しかしながら、画素共有構造を有する撮像素子では、例えば、共有構成要素である増幅アンプトランジスタが故障した場合、この故障したトランジスタを共有する隣接する複数の画素の全てが欠陥画素となる場合がある。このように、画素共有構造に起因する隣接する画素の欠陥を、本発明の実施の形態では、画素共有欠陥と称する。また、左右方向の２つの隣接画素のうちの１つに欠陥画素が存在する場合における画素欠陥を連続隣接画素欠陥と称し、隣接画素に欠陥画素が存在しない場合における画素欠陥を単独画素欠陥と称する。

図５は、欠陥画素補正処理部３００の機能構成例を示すブロック図である。欠陥画素補正処理部３００は、ラインバッファ３０７と、周辺画素参照部３０８と、カウンタ生成部３１０と、欠陥画素アドレス記憶部３２０と、欠陥画素判定部３３０と、補間候補画素選択部３４０と、補間値算出部３５０と、補間値置換部３６０とを備える。

ラインバッファ３０７は、複数ライン分のラインバッファから構成され、入力信号３０２として入力された画素をライン単位で複数ライン分保持するものである。

周辺画素参照部３０８は、ラインバッファ３０７に保持されている数ライン分の画素から、補正対象となる対象画素およびこの画素の周辺画素を順次読み出すものである。そして、読み出された対象画素を入力信号３０５として補間候補画素選択部３４０および補間値置換部３６０に出力するとともに、この対象画像の周辺画素を入力信号３０４として補間候補画素選択部３４０に出力する。

カウンタ生成部３１０は、同期信号生成部１９１から入力された同期信号（水平同期信号および垂直同期信号）３０１に基づいて、水平方向および垂直方向のカウンタ値の生成処理を行うカウンタ生成部である。生成されたカウンタ値は、撮像画像の平面上における左上を原点とし、右方向および下方向を正方向とした座標（いわゆる、撮像画像平面上の座標（アドレス））を示す値であり、水平方向カウンタ値および垂直方向カウンタ値からなる。このカウンタ値が、欠陥画素判定部３３０に入力信号３７１として入力されるとともに、周辺画素参照部３０８に入力信号３１１として入力される。これにより、欠陥画素判定部３３０に入力される入力信号３７１と、補間候補画素選択部３４０に入力される入力信号３０４および補間値置換部３６０に入力される入力信号３０５とが同期する。

欠陥画素アドレス記憶部３２０は、撮像素子１６０の製造工程時や撮像装置１００の電源投入時に行われる撮像素子１６０の欠陥画素検出処理により得られる欠陥画素の撮像画像の平面上における水平方向および垂直方向の位置情報（欠陥画素アドレス情報）を格納するものであり、レジスタやメモリ等の記憶素子で構成される。この欠陥画素アドレス情報は、システム制御部１９５からの制御に基づいて、欠陥画素アドレス記憶部３２０に予め格納される。この欠陥画素アドレス情報は、欠陥画素判定部３３０に入力信号３７２として入力される。なお、欠陥画素アドレス情報については、図６を参照して詳細に説明する。

欠陥画素判定部３３０は、カウンタ生成部３１０から入力されたカウンタ値と、欠陥画素アドレス記憶部３２０から入力された欠陥画素アドレス情報との比較処理を行う欠陥画素判定部である。すなわち、欠陥画素判定部３３０は、カウンタ値と欠陥画素アドレス情報とが一致した場合には、このカウンタ値に対応する画素が欠陥画素であると判定し、この画素に関する欠陥フラグの内容を信号線３７５に出力する。また、欠陥画素判定部３３０は、カウンタ値と欠陥画素アドレス情報とが一致した場合において、この欠陥画素アドレス情報に含まれる補正距離切替フラグに「１」が格納されている場合には、欠陥画素であると判定された画素が画素共有欠陥であることを示す画素共有欠陥フラグの内容を信号線３７３に出力する。さらに、欠陥画素判定部３３０は、画素共有欠陥である欠陥画素を含む画素群の他の欠陥画素についても、画素共有欠陥フラグの内容を信号線３７３に出力する。また、欠陥画素判定部３３０は、カウンタ値と欠陥画素アドレス情報との比較結果に基づいて、連続して欠陥画素であると判定された場合には、連続欠陥フラグの内容を信号線３７４に出力する。なお、欠陥画素判定部３３０については、図７を参照して詳細に説明する。

補間候補画素選択部３４０は、周辺画素参照部３０８から入力された対象画像を含む周辺画素において、この対象画素の周辺に存在する画素を補間候補の対象である補間対象画素として選択し、選択された補間対象画素を入力信号３７６として補間値算出部３５０に入力するものである。なお、補間候補画素選択部３４０については、図８を参照して詳細に説明する。

補間値算出部３５０は、補間候補画素選択部３４０から入力された補間対象画素を用いて補間値を算出し、算出された補間値を入力信号３７８として補間値置換部３６０に出力するものである。なお、補間候補画素選択部３４０から入力される補間対象画素は２画素であり、この２画素の加算平均値が演算されて補間値が求められる。

補間値置換部３６０は、欠陥画素判定部３３０から出力された画素共有欠陥フラグまたは欠陥フラグの内容と、補間値算出部３５０から出力された欠陥画素の補間値とに基づいて、欠陥画素について補間値の置換処理を行うものである。すなわち、補間値置換部３６０は、入力画素が欠陥画素である場合には、この欠陥画素の値が補間値に置換された画素を出力信号３０６として出力し、入力画素が欠陥画素でない場合には、入力信号３０５として入力された入力画素を出力信号３０６として出力する。このように、欠陥画素の値を置換により補正することによって、撮像画像の画質の劣化を低減させることができる。

図６は、欠陥画素アドレス記憶部３２０に格納される欠陥画素アドレス情報４００を模式的に示す図である。この欠陥画素アドレス情報４００は、補正距離切替フラグ４１０と、欠陥画素アドレス（垂直方向）４２０と、欠陥画素アドレス（水平方向）４３０とから構成される。

補正距離切替フラグ４１０は、欠陥画素アドレス情報４００に対応する画素が画素共有欠陥画素であるか否かを示すフラグであり、最上位ビット（ＭＳＢ）に設けられる１ビットのフラグである。この補正距離切替フラグ４１０によって、入力画素が画素共有欠陥である場合における補間候補画素を適切に選択することができる。例えば、画素共有欠陥である場合には、補正距離切替フラグ４１０に「１」が格納され、画素共有欠陥ではない場合には、補正距離切替フラグ４１０に「０」が格納される。なお、本発明の実施の形態では、欠陥画素の検出処理時において、画素共有欠陥が検出された場合には、画素共有構造の画素群の先頭画素の欠陥画素アドレス情報のみを欠陥画素アドレス記憶部３２０に格納する。ここで、画素共有構造の画素群の先頭画素は、例えば、図４（ａ）に示すように、Ｒ画素を含む画素群の場合はＲ画素であり、図４（ｂ）に示すように、Ｂ画素を含む画素群の場合はＢ画素である。また、画素共有構造の画素群に含まれる先頭画素以外の他の欠陥画素アドレスは、例えば、図４（ａ）に示すＲ画素を先頭画素とする画素群において、Ｒ画素の位置情報（アドレス）がＲ（Ｘ、Ｙ）とした場合には、この画素群に含まれるＧ１画素、Ｇｂ画素、Ｇ３画素の位置情報（アドレス）は、Ｇ１（Ｘ、Ｙ＋１）、Ｇｂ（Ｘ、Ｙ＋２）、Ｇ３（Ｘ、Ｙ＋３）と算出することができる。また、Ｂ画素を先頭画素とする画素群の位置情報についても同様に算出することができる。

このように、画素共有欠陥については、画素共有構造の画素群の先頭画素の欠陥画素アドレス情報のみを欠陥画素アドレス記憶部３２０に格納して、先頭画素の欠陥画素アドレス情報に基づいて他の欠陥画素アドレスを算出することによって、画素群の先頭画素以外の欠陥アドレス情報を欠陥画素アドレス記憶部３２０に格納しなくても、この画素群に含まれる先頭画素以外の他の欠陥画素についての補正が可能となる。また、このようにすることによって、欠陥画素アドレス記憶部３２０として使用するレジスタやメモリ等のリソースを削減することができるため、撮像装置の小型軽量化および低コスト化を実現することが可能となる。

欠陥画素アドレス４２０は、撮像画像の平面上における左上を原点とし、右方向および下方向を正方向とした座標における欠陥画素の垂直方向（Ｖ方向）の位置情報（Ｙ座標）を示す値であり、例えば、ｎビットで規定される。

欠陥画素アドレス４３０は、撮像画像の平面上における左上を原点とし、右方向および下方向を正方向とした座標における欠陥画素の水平方向（Ｈ方向）の位置情報（Ｘ座標）を示す値であり、例えば、ｍビットで規定される。

図７は、欠陥画素判定部３３０の機能構成例を示すブロック図である。欠陥画素判定部３３０は、欠陥判定部３３１と、画素共有欠陥隣接アドレス算出部３３２と、画素共有欠陥判定部３３３と、論理和演算（ＯＲ）回路３３４と、連続欠陥判定部３３５とを備える。

欠陥判定部３３１は、カウンタ生成部３１０から出力されたカウンタ値と、欠陥画素アドレス記憶部３２０から入力される欠陥画素アドレス情報とに基づいて、入力画素が欠陥画素であるか否かを判定するものである。すなわち、欠陥判定部３３１は、カウンタ生成部３１０のカウンタ値と欠陥画素アドレス情報４００に含まれる欠陥画素アドレス４２０および欠陥画素アドレス４３０とが一致した場合に、このカウンタ値に対応する画素が欠陥画素であると判定し、その旨を示す欠陥フラグの内容を信号線３７５に出力するとともに、欠陥画素アドレスを連続欠陥判定部３３５に出力する。また、欠陥判定部３３１は、カウンタ生成部３１０のカウンタ値と欠陥画素アドレス４２０および４３０とが一致した場合において、この欠陥画素アドレス情報４００に含まれる補正距離切替フラグ４１０に「１」が格納されていた場合には、その旨を示す画素共有欠陥フラグを論理和演算回路３３４に出力するとともに、この欠陥画素アドレス情報４００に含まれる欠陥画素アドレス４２０および４３０を画素共有欠陥隣接アドレス算出部３３２に出力する。

画素共有欠陥隣接アドレス算出部３３２は、欠陥判定部３３１から出力された欠陥画素アドレス４２０および４３０に基づいて、図４（ａ）および（ｂ）で示したように、画素共有構造の画素群に含まれる先頭画素以外の他の欠陥画素アドレスを算出して、算出された他の欠陥画素アドレスを保持するものである。そして、画素共有欠陥隣接アドレス算出部３３２は、保持されている他の欠陥画素アドレスを画素共有欠陥判定部３３３に出力する。

画素共有欠陥判定部３３３は、画素共有欠陥隣接アドレス算出部３３２に保持されている画素共有構造の画素群に含まれる先頭画素以外の他の欠陥画素アドレスと、カウンタ生成部３１０から出力されたカウンタ値とに基づいて、入力画素が画素共有欠陥画素であるか否かを判定するものである。すなわち、画素共有欠陥判定部３３３は、画素共有欠陥隣接アドレス算出部３３２に保持されている欠陥画素アドレスと、カウンタ生成部３１０から出力されたカウンタ値とが一致した場合に、このカウンタ値に対応する画素が画素共有欠陥画素であると判定し、画素共有欠陥フラグを生成して、この画素共有欠陥フラグを論理和演算回路３３４に出力する。例えば、画素共有欠陥フラグとして「１」を出力する。

論理和演算回路３３４は、画素共有欠陥判定部３３３または欠陥判定部３３１の少なくとも１つから画素共有欠陥フラグとして「１」が入力されたときに、画素共有欠陥フラグ「１」を信号線３７３に出力するＯＲ回路である。

連続欠陥判定部３３５は、欠陥判定部３３１から出力された欠陥フラグを保持して、欠陥フラグが連続して入力されたか否かに応じて、欠陥画素が連続して存在するか否かを判定するものである。また、連続欠陥判定部３３５は、欠陥画素が連続して存在すると判定した場合には、連続欠陥フラグを生成して、信号線３７４に出力する。

図８は、補間候補画素選択部３４０の機能構成例を示すブロック図である。補間候補画素選択部３４０は、画素種別判定部３４１と、周辺画素抽出部３４２と、補間画素選択部３４３とを備える。

画素種別判定部３４１は、入力信号３０５として入力された対象画像の画素種別を判定するものであり、判定された画素種別を周辺画素抽出部３４２および補間画素選択部３４３に出力するものである。ここで、画素種別として、例えば、Ｒ画素、Ｂ画素、Ｇ１乃至Ｇ４画素、Ｇｂ画素、Ｇｒ画素が判定される。

周辺画素抽出部３４２は、画素種別判定部３４１から入力された画素の種別に基づいて、入力信号３０４として入力された周辺画素から複数の画素を抽出し、抽出された各画素を補間画素選択部３４３に出力するものである。例えば、対象画素の種別が、Ｇ１乃至Ｇ４画素の場合には、対象画素の上下左右方向において物理的に隣接する各画素と、対象画素の上下左右方向において物理的に１画素隔てた位置に存在する各画素が抽出される。また、対象画素の種別が、Ｇｒ画素またはＧｂ画素の場合には、対象画素の斜め方向において物理的に隣接する各画素と、対象画素の上下左右方向において物理的に１画素隔てた位置に存在する各画素が抽出される。さらに、対象画素の種別が、Ｒ画素またはＢ画素の場合には、対象画素の左右方向において物理的に１画素隔てた位置に存在する各画素が抽出される。これらの抽出例については、図９乃至図１９を参照して詳細に説明する。

補間画素選択部３４３は、画素種別判定部３４１から出力された対象画素の種別と、欠陥画素判定部３３０から出力された画素共有欠陥フラグおよび連続欠陥フラグの内容とに基づいて、周辺画素抽出部３４２により抽出された複数の画素の中から、対象画素の補間画素を選択するものである。

例えば、対象画素の種別がＧ１乃至Ｇ４画素の場合において、画素共有欠陥フラグおよび連続欠陥フラグの内容が何れも「１」の場合には、対象画素の左右方向において物理的にそれぞれ１画素隔てた両脇に存在する２画素が選択される。一方、画素共有欠陥フラグおよび連続欠陥フラグの内容が何れも「１」ではない場合には、対象画素の左右方向において物理的に隣接する２画素が選択される。

また、対象画素の種別がＧｒ画素またはＧｂ画素の場合において、画素共有欠陥フラグの内容が「１」の場合には、対象画素の左右方向において物理的にそれぞれ１画素隔てた両脇に存在する２画素が選択される。一方、画素共有欠陥フラグの内容が「０」の場合には、対象画素の斜め方向において物理的に隣接する４画素のうちの一の斜め方向の２画素が選択される。

さらに、対象画素の種別がＲ画素またはＢ画素の場合には、対象画素の左右方向において物理的にそれぞれ１画素隔てた両脇に存在する２画素が選択される。このように、対象画素がＲ画素またはＢ画素の場合には、画素共有欠陥の影響を考慮する必要はないため、画素共有欠陥フラグおよび連続欠陥フラグの内容にかかわらず、補間画素が選択される。

次に、補間候補画素選択部３４０により抽出および選択される周辺画素について図面を参照して詳細に説明する。なお、図９乃至図１９で示す画素配列において、欠陥画素を点線で示し、欠陥画素の補間画素として抽出される画素を太線で示す。また、画素共有欠陥については、画素群を点線で囲んで示す。

図９は、Ｒ画素が欠陥画素であり、このＲ画素の隣接画素に欠陥画素が存在しない場合における画素配列の一例を模式的に示す図である。

図９に示す画素配列において、Ｒ画素５１０が単独欠陥画素であるものの、Ｒ画素５１０の上下左右方向において、Ｒ画素５１０から物理的に１画素隔てた位置に存在する同色画素であるＲ画素５１１乃至５１４が何れも欠陥画素ではないものとする。このように、Ｒ画素５１０が単独欠陥画素の場合には、補間候補画素として、周辺の同色画素であるＲ画素５１１乃至５１４が抽出される。この場合に、例えば、抽出された４画素のうちの左右画素であるＲ画素５１２およびＲ画素５１４が補間画素として選択される。そして、選択されたＲ画素５１２およびＲ画素５１４の加算平均値が算出される。そして、この算出されたＲ画素５１２およびＲ画素５１４の加算平均値と欠陥画素５１０との置換処理が行われる。なお、抽出された４画素のうちの上下画素であるＲ画素５１１およびＲ画素５１３を補間画素として選択して、このＲ画素５１２およびＲ画素５１４の加算平均値と欠陥画素５１０との置換処理を行うようにしてもよい。

図１０は、Ｒ画素が欠陥画素であるとともに、このＲ画素を含む画素群が画素共有欠陥である場合における画素配列の一例を模式的に示す図である。

図１０に示す画素配列において、Ｒ画素を含む画素群５２０が画素共有欠陥であるものの、画素群５２０に含まれるＲ画素の上下左右方向において、画素群５２０に含まれるＲ画素から物理的に１画素隔てた位置に存在する同色画素であるＲ画素５２１乃至５２４が何れも欠陥画素ではないものとする。このように、Ｒ画素を含む画素群５２０が画素共有欠陥の場合でも、周辺の同色画素であるＲ画素５２１乃至５２４は影響を受けないため、単独欠陥画素の場合と同様に、補間候補画素としてＲ画素５１１乃至５１４が抽出される。また、補間画素の選択、加算平均値の算出、および、置換処理についても、単独欠陥画素の場合と同様であるため、ここでの説明を省略する。また、図９および図１０では、Ｒ画素について説明したが、Ｂ画素の場合についてもＲ画素の場合と同様であるため、ここでの説明を省略する。

図１１は、Ｇ１画素が欠陥画素であるとともに、このＧ１画素の上下方向の隣接画素に欠陥画素が存在する場合における画素配列の一例を模式的に示す図である。

図１１に示す画素配列において、Ｇ１画素５３０が欠陥画素であるとともに、Ｇ１画素５３０の上下方向に隣接するＧ３画素５３１が欠陥画素であるものとする。このように、Ｇ１画素５３０が欠陥画素である場合には、上下左右に隣接する同色画素であるＧ３画素５３１、Ｇ２画素５３２、Ｇ３画素５３３、Ｇ２画素５３４が補間候補の周辺画素として抽出される。

しかしながら、抽出された４画素のうちでＧ３画素５３１が欠陥画素であるものの、左右画素であるＧ２画素５３２およびＧ２画素５３４は欠陥画素ではない。この場合には、抽出された４画素のうちの左右画素であるＧ２画素５３２およびＧ２画素５３４が補間画素として選択される。そして、選択されたＧ２画素５３２およびＧ２画素５３４の加算平均値が算出される。この算出されたＧ２画素５３２およびＧ２画素５３４の加算平均値と欠陥画素５３０との置換処理が行われる。このように、Ｇ１画素が欠陥画素である場合において、Ｇ１画素の上下左右方向に隣接する同色画素のうちで何れかの画素が欠陥画素であっても、上下方向または左右方向の何れかの方向の２画素を用いて加算平均値を算出することができる。

図１２は、Ｇ１画素を含む画素群５４０が画素共有欠陥である場合における画素配列の一例を模式的に示す図である。

図１２に示す画素配列において、Ｇ１画素を含む画素群５４０が画素共有欠陥であり、画素群５４０に含まれるＧ１画素の上下左右方向において、画素群５４０に含まれるＧ１画素から物理的に隣接する位置に存在する同色画素のうちで、Ｇ３画素５４１、Ｇ２画素５４２、Ｇ２画素５４４が欠陥画素ではなく、画素群５４０に含まれるＧ３画素５４３が欠陥画素であるものとする。このように、Ｇ１画素を含む画素群５４０が画素共有欠陥の場合には、隣接する同色画素であるＧ３画素５４３が欠陥画素となる。このため、単独欠陥画素の場合と同様に、補間候補画素としてＧ３画素５４１、Ｇ２画素５４２、Ｇ３画素５４３、Ｇ２画素５４４が抽出されるものの、抽出された４画素のうちの下画素であるＧ３画素５４３が欠陥画素であるため、抽出された４画素のうちの左右画素であるＧ２画素５４２およびＧ２画素５４４が補間画素として選択される。なお、加算平均値の算出、および、置換処理については、上述した単独欠陥画素の場合と同様であるため、ここでの説明を省略する。このように、Ｇ１画素を含む画素群が画素共有欠陥であるものの、Ｇ１画素のＧ３画素以外の隣接同色画素が欠陥画素ではない場合においては、画素共有欠陥の影響を直接受けずに、補間画素を選択することができる。

図１３は、Ｇ１画素を含む画素群が画素共有欠陥であるとともに、このＧ１画素の水平方向の隣接画素に欠陥画素が存在する場合における画素配列の一例を模式的に示す図である。

図１３に示す画素配列において、Ｇ１画素を含む画素群５５０が画素共有欠陥であり、画素群５５０に含まれるＧ１画素の上下左右方向において、画素群５５０に含まれるＧ１画素から物理的に隣接する位置に同色画素のうちで、Ｇ３画素５５１およびＧ２画素５５２は欠陥画素ではないものの、Ｇ２画素５５４およびＧ３画素５５３（画素群５５０に含まれる）が欠陥画素であるものとする。このように、Ｇ１画素を含む画素群５５０が画素共有欠陥であり、Ｇ１画素に隣接するＧ２画素５５４が欠陥画像である場合には、画素群５５０に含まれるＧ１画素の上下左右に隣接する同色画素であるＧ３画素５５１またはＧ３画素５５３、または、Ｇ２画素５５２およびＧ２画素５５４を用いて加算平均値を算出すると、加算平均値の算出に欠陥画素を用いることになってしまう。そこで、このような場合には、図１４または図１５に示すように、画素群５５０に含まれるＧ１画素の上下左右方向または斜め方向において物理的に１画素隔てた位置に存在する同色画素を用いて加算平均値を算出することができる。

図１４は、図１３と同様の場合における画素配列の一例を模式的に示す図である。

図１３で示したように、画素群５５０に含まれるＧ１画素の上下左右に隣接する同色画素を用いて加算平均値を算出すると、加算平均値の算出に欠陥画素を用いることになってしまう。そこで、図１４に示すように、画素群５５０に含まれるＧ１画素の上下左右方向において物理的に１画素隔てた位置に存在する同色画素であるＧ１画素５５５乃至５５８を用いて加算平均値を算出する。すなわち、補間候補画素として、周辺の同色画素であるＧ１画素５５５乃至５５８が抽出される。そして、この場合には、抽出された４画素のうちの左右画素であるＧ１画素５５６およびＧ１画素５５８が補間画素として選択され、選択されたＧ１画素５５６およびＧ１画素５５８の加算平均値が算出される。なお、加算平均値の算出、および、置換処理については、単独欠陥画素の場合と同様であるため、ここでの説明を省略する。また、抽出された４画素のうちの上下画素であるＧ１画素５５５およびＧ１画素５５７を補間画素として選択して、このＧ１画素５５５およびＧ１画素５５７の加算平均値と欠陥画素５１０との置換処理を行うようにしてもよい。

図１５は、図１３と同様の場合における画素配列の一例を模式的に示す図である。

ここでは、図１５に示すように、画素群５５０に含まれるＧ１画素の斜め方向において物理的に１画素隔てた位置に存在する同色画素であるＧ４画素５６１乃至５６４を用いて加算平均値を算出する。すなわち、補間候補画素として、周辺の同色画素であるＧ４画素５６１乃至５６４が抽出される。そして、この場合には、例えば、抽出された４画素のうちの右下がり斜め方向におけるＧ４画素５６１およびＧ４画素５６３が補間画素として選択され、選択されたＧ４画素５６１およびＧ４画素５６３の加算平均値が算出される。なお、加算平均値の算出、および、置換処理については、単独欠陥画素の場合と同様であるため、ここでの説明を省略する。また、抽出された４画素のうちの右上がり斜め方向におけるＧ４画素５６２およびＧ４画素５６４を補間画素として選択して、このＧ４画素５６２およびＧ４画素５６４の加算平均値と欠陥画素５１０との置換処理を行うようにしてもよい。また、図１１乃至図１５では、Ｇ１画素について説明したがＧ２画素乃至Ｇ４画素の場合についてもＧ１画素の場合と同様であるため、ここでの説明を省略する。

図１６は、Ｇｒ画素が欠陥画素であるとともに、このＧｒ画素の斜め方向の隣接画素に欠陥画素が存在する場合における画素配列の一例を模式的に示す図である。

図１６に示す画素配列において、Ｇｒ画素５７０が欠陥画素であるとともに、Ｇｒ画素５７０の右上がり斜め方向に隣接するＧ４画素５７４が欠陥画素であるものとする。このように、Ｇｒ画素５７０が欠陥画素である場合には、斜め方向に隣接する同色画素であるＧ３画素５７１、Ｇ１画素５７２、Ｇ２画素５７３、Ｇ４画素５７４が補間候補の周辺画素として抽出される。

しかしながら、抽出された４画素のうちで、Ｇ４画素５７４が欠陥画素である。この場合には、抽出された４画素のうちの右下がり斜め方向における同色画素であるＧ３画素５７１およびＧ２画素５７３が補間候補として選択される。そして、選択されたＧ３画素５７１およびＧ２画素５７３の加算平均値が算出される。この算出されたＧ３画素５７１およびＧ２画素５７３の加算平均値と欠陥画素５７０との置換処理が行われる。

図１７は、Ｇｒ画素を含む画素群が画素共有欠陥である場合における画素配列の一例を模式的に示す図である。

図１７に示す画素配列において、Ｇｒ画素を含む画素群５８０が画素共有欠陥であり、画素群５８０に含まれるＧｒ画素の斜め方向において、画素群５８０に含まれるＧｒ画素から物理的に隣接する位置に同色画素であるＧ３画素５８１およびＧ１画素５８２は欠陥画素ではないものとする。このように、Ｇｒ画素を含む画素群５８０が画素共有欠陥である場合には、画素群５８０に含まれるＧｒ画素の斜め方向に隣接する同色画素であるＧ３画素５８１およびＧ２画素５８３、または、Ｇ１画素５８２およびＧ４画素５８４を用いて加算平均値を算出すると、加算平均値の算出に欠陥画素を用いることになってしまう。そこで、このような場合には、図１８または図１９に示すように、画素群５８０に含まれるＧｒ画素の上下左右方向または斜め方向において物理的に１画素隔てた位置に存在する同色画素を用いて加算平均値を算出することができる。

図１８は、図１７と同様の場合における画素配列の一例を模式的に示す図である。

図１７で示したように、画素群５８０に含まれるＧｒ画素の上下左右に隣接する同色画素を用いて加算平均値を算出すると、加算平均値の算出に欠陥画素を用いることになってしまう。そこで、図１８に示すように、画素群５８０に含まれるＧｒ画素の上下左右方向において物理的に１画素隔てた位置に存在する同色画素であるＧｒ画素５９１乃至５９４を用いて加算平均値を算出する。すなわち、補間候補画素として、周辺の同色画素であるＧｒ画素５９１乃至５９４が抽出される。そして、この場合には、抽出された４画素のうちの左右画素であるＧｒ画素５９２およびＧｒ画素５９４が補間画素として選択され、選択されたＧｒ画素５９２およびＧｒ画素５９４の加算平均値が算出される。なお、加算平均値の算出、および、置換処理については、単独欠陥画素の場合と同様であるため、ここでの説明を省略する。また、抽出された４画素のうちの上下画素であるＧｒ画素５９１およびＧｒ画素５９３を補間画素として選択して、このＧｒ画素５９１およびＧｒ画素５９３の加算平均値と欠陥画素との置換処理を行うようにしてもよい。

図１９は、図１７と同様の場合における画素配列の一例を模式的に示す図である。

ここでは、図１９に示すように、画素群５８０に含まれるＧｒ画素の斜め方向において物理的に１画素隔てた位置に存在する同色画素であるＧｂ画素５９５乃至５９８を用いて加算平均値を算出する。すなわち、補間候補画素として、周辺の同色画素であるＧｂ画素５９５乃至５９８が抽出される。そして、この場合には、例えば、抽出された４画素のうちの右下がり斜め方向の画素であるＧｂ画素５９５およびＧｂ画素５９７が補間画素として選択され、選択されたＧｂ画素５９５およびＧｂ画素５９７の加算平均値が算出される。なお、加算平均値の算出、および、置換処理については、単独欠陥画素の場合と同様であるため、ここでの説明を省略する。また、抽出された４画素のうちの右上がり斜め方向における同色画素であるＧｂ画素５９６およびＧｂ画素５９８を補間画素として選択して、このＧｂ画素５９６およびＧｂ画素５９８の加算平均値と欠陥画素との置換処理を行うようにしてもよい。また、図１６乃至図１９では、Ｇｒ画素について説明したがＧｂ画素の場合についてもＧｒ画素の場合と同様であるため、ここでの説明を省略する。

図９乃至図１９で示したように、斜め画素配列において欠陥画素の周辺画素を選択して補正することにより、撮像画像の補正画質の劣化を低減することができる。

次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図２０および図２１は、撮像装置１００による欠陥画素の補正処理の処理手順を示すフローチャートである。ここでは、連続隣接画素として、補正対象となる欠陥画素の左右方向における１つの隣接画素が欠陥画素であるか否かを判定して、この判定結果に基づいて、補間画素を選択する例について説明する。また、補正対象となる欠陥画素の上下左右方向の何れの同色画素も欠陥画素ではない場合には、左右方向の同色画素を選択するものとする。さらに、補正対象となる欠陥画素の斜め方向の何れの同色画素も欠陥画素ではない場合には、右下がり斜め方向の同色画素を選択するものとする。なお、これらの選択条件をユーザ操作等によって、変更するようにしてもよい。

最初に、画素が入力される（ステップＳ９０１）。続いて、欠陥画素アドレス記憶部３２０から欠陥画素アドレス情報が読み出される（ステップＳ９０２）。続いて、カウンタ生成部３１０から入力されたカウンタ値と、欠陥画素アドレス記憶部３２０から読み出された欠陥画素アドレス情報とに基づいて欠陥画素判定部３３０が比較処理を行い、対象画素が欠陥画素であるか否かを判定する（ステップＳ９０３）。なお、この比較処理は、欠陥判定部３３１および画素共有欠陥判定部３３３において行われる。この比較処理の結果、対象画素が欠陥画素ではないと判定された場合には（ステップＳ９０３）、対象画素については、補正処理をせずに、対象画素が出力され（ステップＳ９１３）、欠陥画素の補正処理が終了する。

一方、比較処理の結果、対象画素が欠陥画素であると判定された場合には（ステップＳ９０３）、対象画素の種別が判定される（ステップＳ９０４）。そして、対象画素の種別が、Ｇ１画素乃至Ｇ４画素であると判定された場合には（ステップＳ９０４）、入力された欠陥画素の上下左右方向において、この欠陥画素から物理的に隣接する位置に存在する同色画素である４画素と、この欠陥画素から物理的に１画素隔てた位置に存在する同色画素である４画素とが抽出される（ステップＳ９０５）。続いて、入力された欠陥画素が画素共有欠陥であり、かつ、入力された欠陥画素の隣接画素が欠陥画素であるか否かが判断される（ステップＳ９０６）。入力された欠陥画素が画素共有欠陥であり、かつ、入力された欠陥画素の隣接画素が欠陥画素である場合には（ステップＳ９０６）、ステップＳ９１１に進む。

一方、入力された欠陥画素が画素共有欠陥ではない場合、または、入力された欠陥画素の隣接画素が欠陥画素ではない場合には（ステップＳ９０６）、抽出された周辺画素のうちで、入力された欠陥画素の左右方向において隣接する２画素が補間画素として選択される（ステップＳ９０７）。

また、対象画素の種別が、Ｇｒ画素またはＧｂ画素であると判定された場合には（ステップＳ９０４）、入力された欠陥画素の斜め方向において、この欠陥画素から物理的に隣接する位置に存在する同色画素である４画素と、入力された欠陥画素の上下左右方向において、この欠陥画素から物理的に１画素隔てた位置に存在する同色画素である４画素とが抽出される（ステップＳ９０８）。続いて、入力された欠陥画素が画素共有欠陥であるか否かが判断される（ステップＳ９０９）。そして、入力された欠陥画素が画素共有欠陥である場合には（ステップＳ９０９）、ステップＳ９１１に進む。

一方、入力された欠陥画素が画素共有欠陥ではない場合には（ステップＳ９０９）、抽出された周辺画素のうちで、入力された欠陥画素の斜め方向において隣接する４画素のうちの右下がり斜め方向の２画素が補間画素として選択される（ステップＳ９１０）。

また、対象画素の種別が、Ｒ画素またはＢ画素であると判定された場合には（ステップＳ９０４）、入力された欠陥画素の左右方向において、この欠陥画素から物理的に１画素隔てた位置に存在する同色画素である２画素が補間画素として選択される（ステップＳ９１１）。

続いて、選択された２画素の加算平均値が算出される（ステップＳ９１２）。続いて、算出された加算平均値と、入力された欠陥画素との置換処理が行われ（ステップＳ９１５）、置換処理が行われた画素が出力される（ステップＳ９１５）。

なお、入力された欠陥画素が画素共有欠陥ではない場合、または、入力された欠陥画素の隣接画素が欠陥画素ではない場合には（ステップＳ９０６）、ステップＳ９０５で抽出された周辺画素のうちで、欠陥画素から物理的に隣接する位置に存在する同色画素である４画素について相関値の判別処理を行い、相関性が強いと判定された加算平均値を欠陥画素の補間値として選択するようにしてもよい。すなわち、ステップＳ９０５で抽出された欠陥画素から物理的に隣接する位置に存在する同色４画素について、左右方向における２画素の加算平均値および差分絶対値（相関値）と、上下方向における２画素の加算平均値および差分絶対値（相関値）とを算出し、算出された２つの差分絶対値のうちで小さい値を相関性が強いと判定する。そして、相関性が強いと判定された値に対応する方向における２画素の加算平均値を欠陥画素の補間値として選択する。また、ステップＳ９０４において、Ｇｒ画素またはＧｂ画素、Ｒ画素またはＢ画素であると判定された場合についても（ステップＳ９０４）、同様に、相関値の判別処理を行い、相関性が強いと判定された加算平均値を欠陥画素の補間値として選択するようにしてもよい。

また、対象画素の種別が、Ｇ１画素乃至Ｇ４画素の場合において、対象画素が画素共有欠陥であり、かつ、対象画素の隣接画素が欠陥画素である場合に（ステップＳ９０６）、ステップＳ９１１で、対象画素の斜め方向において、この対象画素から物理的に１画素隔てた位置に存在する同色画素のうちの何れかの方向の２画素を補間画素として選択するようにしてもよい。

さらに、対象画素の種別が、Ｇｒ画素またはＧｂ画素の場合においても、対象画素が画素共有欠陥である場合には（ステップＳ９０６）、対象画素の斜め方向において、この対象画素から物理的に１画素隔てた位置に存在する同色画素のうちの何れかの方向の２画素を補間画素として選択するようにしてもよい。これらの選択については、予め設定しておくようにしてもよい。

なお、本発明の実施の形態では、水平方向の隣接画素に関する連続欠陥フラグを連続欠陥判定部３３５で生成する場合について説明したが、水平方向の連続隣接画素欠陥に関する連続欠陥フラグについては、Ｄ-ＦＦ等の遅延素子を用いて生成するようにしてもよい。また、上下方向の連続隣接画素欠陥に関する連続欠陥フラグについては、上下隣接画素のアドレス算出処理および欠陥画素アドレス記憶部３２０からの上下隣接画素の欠陥画素アドレス情報の走査および読出処理、算出された上下隣接画素のアドレスと読み出された上下隣接画素の欠陥画素アドレス情報との比較処理等の処理をすることにより生成することができる。

また、本発明の実施の形態では、撮像素子１６０として単板方式の撮像素子を用いた場合について説明したが、撮像素子として、いわゆる、３板方式の撮像素子を用いる撮像装置に、本発明の実施の形態を適用することができる。この撮像装置において補間画素を選択する場合には、例えば、空間位相的に近接する画素を選択する。

さらに、本発明の実施の形態では、画素共有構造の画素群の先頭画素の欠陥画素アドレス情報のみを欠陥画素アドレス記憶部３２０に格納する例について説明したが、画素共有構造の画素群の各画素の欠陥画素アドレス情報を欠陥画素アドレス記憶部３２０に格納するようにしてもよい。

また、本発明の実施の形態においては、複数画素の隣接画素欠陥として、画素共有構造を起因とする画素共有欠陥の例を示したが、他の要因による隣接画素欠陥に本発明の実施の形態を適用するようにしてもよい。

さらに、本発明の実施の形態においては、補正距離切替フラグ４１０は、欠陥画素が画素共有欠陥画素であるか否かを示すフラグである場合について説明したが、欠陥画素アドレス記憶部３２０に格納する際に任意に設定可能であるため、画素共有欠陥画素に関わらず、任意の欠陥画素に対して補間画素を選択するための指標とすることも可能である。

また、本発明の実施の形態においては、斜め画素配列カラーフィルタにおいて、４画素単位で撮像素子の画素を構成するトランジスタ群の一部を共有する画素共有構造の例について説明したが、他の共有画素数や共有パターンについても、本発明の実施の形態を適用することができる。

さらに、本発明の実施の形態においては、撮像素子のカラーフィルタとして、斜め画素配列のカラーフィルタを用いた単板方式の撮像素子について説明したが、他の画素配列のカラーフィルタを用いた撮像素子に本発明の実施の形態を適用することができる。

以上で示したように、本発明の実施の形態によれば、補正距離切替フラグ４１０を含む欠陥画素アドレス情報４００を用いて、補間候補画素選択部３４０が欠陥画像の補間画素を選択することによって、画素共有構造に起因する隣接画素欠陥について適切な補正をすることができる。すなわち、欠陥画素が隣接して複数存在するような隣接画素欠陥については、対象画素である欠陥画素に対して隣接する他の欠陥画素を用いて補間値の算出を行うことがないため、適切な補間値を用いた補正をすることができ、補正画質の劣化を軽減することができる。また、連続して存在する隣接欠陥画素を適切に補正することができるとともに、複数の欠陥画素から構成される欠陥画素群に含まれる各欠陥画素を適切に補正することができる。

また、単独画素欠陥、連続隣接画素欠陥、共有画素欠陥等の画素欠陥の種別にかかわらず、補間値算出部３５０を共有可能であるため、撮像装置の小型軽量化および低コスト化を実現することができる。

さらに、画素共有欠陥隣接アドレス算出部３３２を欠陥画素判定部３３０に設け、画素共有構造を有する先頭欠陥画素の欠陥アドレス情報のみを欠陥画素アドレス記憶部３２０に格納することにより、欠陥画素アドレス記憶部３２０として使用するレジスタやメモリ等のリソースを削減することができ、さらに撮像装置を小型軽量化することができるとともに、低コスト化を実現することができる。

また、補間値の算出に用いる補間画素として、画素種別に応じて複数の補間候補画素から補間画素を選択するため、斜め画素配列のカラーフィルタ以外の他の画素配列のカラーフィルタを用いた撮像素子にも適用可能であり、カラーフィルタの画素配列に依存しない柔軟な欠陥画素の補正処理を実現可能である。

さらに、簡易な構成でのハードウェアでの実現が可能であるため、近年の多画素化の潮流下においても、実時間での処理が可能であり、さらに通常撮像レートよりも高速な撮像レートでの撮像を行う高速撮像機能においても、適切な欠陥補正処理が可能である。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１乃至請求項６において、撮像装置は、例えば撮像装置１００に対応する。また、請求項７において、欠陥画素補正装置は、例えば欠陥画素補正処理部３００に対応する。

また、請求項１、２、７において、欠陥画素記憶手段は、例えば欠陥画素アドレス記憶部３２０に対応する。欠陥画素判定手段は、例えば欠陥判定部３３１に対応する。また、画素共有欠陥判定手段は、例えば画素共有欠陥判定部３３３に対応する。

また、請求項１または請求項７において、画像入力手段は、例えばラインバッファ３０７に対応する。また、画素種別判定手段は、例えば画素種別判定部３４１に対応する。また、補間値算出手段は、例えば補間値算出部３５０に対応する。また、補間値置換手段は、例えば補間値置換部３６０に対応する。

また、請求項１、６、７において、補間画素選択手段は、例えば補間画素選択部３４３に対応する。

また、請求項２において、位置情報算出手段は、例えば画素共有欠陥隣接アドレス算出部３３２に対応する。

また、請求項６において、連続欠陥判定手段は、例えば画素共有欠陥判定部３３３に対応する。

また、請求項８または請求項９において、画像入力手順は、例えばステップＳ９０１に対応する。また、欠陥画素判定手順は、ステップＳ９０３に対応する。また、画素共有欠陥判定手順は、例えばステップＳ９０６またはステップＳ９０９に対応する。また、画素種別判定手順は、ステップＳ９０４に対応する。また、補間画素選択手順は、例えばステップＳ９０７、ステップＳ９１０、ステップＳ９１１に対応する。また、補間値算出手順は、例えばステップＳ９１２に対応する。また、補間値置換手順は、例えばステップＳ９１４に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

撮像装置１００の機能構成例を示すブロック図である。 カメラ信号処理部２００の機能構成例を示すブロック図である。 いわゆる斜め画素配列のカラーフィルタを用いた場合における画素配列の一例を示す図である。 斜め画素配列のカラーフィルタにおける撮像素子の画素共有構造の一例を示す図である。 欠陥画素補正処理部３００の機能構成例を示すブロック図である。 欠陥画素アドレス記憶部３２０に格納される欠陥画素アドレス情報４００を模式的に示す図である。 欠陥画素判定部３３０の機能構成例を示すブロック図である。 補間候補画素選択部３４０の機能構成例を示すブロック図である。 欠陥画素であるＲ画素の隣接画素に欠陥画素が存在しない場合における画素配列の一例を模式的に示す図である。 欠陥画素であるＲ画素を含む画素群が画素共有欠陥である場合における画素配列の一例を模式的に示す図である。 欠陥画素であるＧ１画素の上下方向の隣接画素に欠陥画素が存在する場合における画素配列の一例を模式的に示す図である。 Ｇ１画素を含む画素群５４０が画素共有欠陥である場合における画素配列の一例を模式的に示す図である。 Ｇ１画素を含む画素群が画素共有欠陥であるとともに、このＧ１画素の水平方向の隣接画素に欠陥画素が存在する場合における画素配列の一例を模式的に示す図である。 図１３と同様の場合における画素配列の一例を模式的に示す図である。 図１３と同様の場合における画素配列の一例を模式的に示す図である。 欠陥画素であるＧｒ画素の斜め方向の隣接画素に欠陥画素が存在する場合における画素配列の一例を模式的に示す図である。 Ｇｒ画素を含む画素群が画素共有欠陥である場合における画素配列の一例を模式的に示す図である。 図１７と同様の場合における画素配列の一例を模式的に示す図である。 図１７と同様の場合における画素配列の一例を模式的に示す図である。 撮像装置１００による欠陥画素の補正処理の処理手順を示すフローチャートである。 撮像装置１００による欠陥画素の補正処理の処理手順を示すフローチャートである。

符号の説明

１００ 撮像装置
１１０ レンズ
１２０ モータ
１３０ モータ駆動回路
１４０ アイリス
１５０ 駆動回路
１６０ 撮像素子
１７０ 駆動回路
１８０ フロントエンド処理部
１９０ 信号処理部
１９１ 同期信号生成部
１９２ 制御演算処理部
１９３ 解像度変換部
１９５ システム制御部
２００ カメラ信号処理部
２１０ カメラ信号前処理部
２２０ カメラ信号後処理部
３００ 欠陥画素補正処理部
３０７ ラインバッファ
３０８ 周辺画素参照部
３１０ カウンタ生成部
３２０ 欠陥画素アドレス記憶部
３３０ 欠陥画素判定部
３３１ 欠陥判定部
３３２ 画素共有欠陥隣接アドレス算出部
３３３ 画素共有欠陥判定部
３３４ 論理和演算回路
３３５ 連続欠陥判定部
３４０ 補間候補画素選択部
３４１ 画素種別判定部
３４２ 周辺画素抽出部
３４３ 補間画素選択部
３５０ 補間値算出部
３６０ 補間値置換部
４００ 欠陥画素アドレス情報
４１０ 補正距離切替フラグ
４２０、４３０ 欠陥画素アドレス

Claims (9)

1. 撮像素子を構成する画素のうちの欠陥画素の位置情報と複数の欠陥画素から構成される欠陥画素群に当該位置情報に係る欠陥画素が含まれるか否かを示す画素欠陥情報とを関連付けて記憶する欠陥画素記憶手段と、
   前記撮像素子により撮像された画像を入力する画像入力手段と、
   前記入力された画像における各画素について前記欠陥画素記憶手段に記憶されている位置情報に基づいて欠陥画素であるか否かを判定する欠陥画素判定手段と、
   前記欠陥画素であると判定された画素が前記欠陥画素群に含まれるか否かを前記欠陥画素記憶手段に記憶されている画素欠陥情報に基づいて判定する画素共有欠陥判定手段と、
   前記入力された画像における各画素の種別を判定する画素種別判定手段と、
   前記欠陥画素であると判定された画素について前記判定された当該画素の種別と当該画素が前記欠陥画素群に含まれるか否かの判定結果とに基づいて当該画素の周辺画素を選択する補間画素選択手段と、
   前記欠陥画素であると判定された画素の補間値を前記選択された当該画素の周辺画素の値に基づいて算出する補間値算出手段と、
   前記欠陥画素であると判定された画素の値と前記算出された当該画素に対応する補間値とを置換する補間値置換手段と
   を具備することを特徴とする撮像装置。
2. 前記欠陥画素記憶手段は、前記欠陥画素群に含まれる欠陥画素については当該欠陥画素群に含まれる欠陥画素のうちの１つの欠陥画素についての前記位置情報および前記画素欠陥情報のみを記憶し、
   前記欠陥画素記憶手段に記憶されている前記欠陥画素群に含まれる欠陥画素についての前記位置情報に基づいて当該欠陥画素を含む欠陥画素群の他の欠陥画素の位置情報を算出する位置情報算出手段をさらに具備し、
   前記欠陥画素判定手段は、前記入力された画像における各画素について前記欠陥画素記憶手段に記憶されている位置情報および前記算出された位置情報に基づいて欠陥画素であるか否かを判定し、
   前記画素共有欠陥判定手段は、前記欠陥画素であると判定された画素が前記欠陥画素群に含まれるか否かを前記算出された位置情報に基づいて判定する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記欠陥画素群は、隣接する複数の欠陥画素から構成される画素群である
   ことを特徴とする請求項１記載の撮像装置。
4. 前記撮像素子は、画素共有構造の画素群を有し、
   前記欠陥画素群は、前記画素共有構造の画素群を構成する複数の画素が欠陥画素となっている画素群である
   ことを特徴とする請求項１記載の撮像装置。
5. 前記撮像素子の受光部に装着されるカラーフィルタは、斜め画素配列のカラーフィルタであり、
   前記画素共有構造の画素群は、前記斜め画素配列において隣接する４画素からなる画素群である
   ことを特徴とする請求項４記載の撮像装置。
6. 前記欠陥画素であると判定された画素の位置情報に基づいて当該画素に隣接する隣接画素が欠陥画素であるか否かを判定する連続欠陥判定手段をさらに具備し、
   前記補間画素選択手段は、前記欠陥画素であると判定された画素について前記判別された当該画素の種別と当該画素が前記欠陥画素群に含まれるか否かの判定結果と当該画素の隣接画素が欠陥画素であるか否かの判定結果とに基づいて当該画素の周辺画素を選択する
   ことを特徴とする請求項１記載の撮像装置。
7. 撮像素子を構成する画素のうちの欠陥画素の位置情報と複数の欠陥画素から構成される欠陥画素群に当該位置情報に係る欠陥画素が含まれるか否かを示す画素欠陥情報とを関連付けて記憶する欠陥画素記憶手段と、
   前記撮像素子により撮像された画像を入力する画像入力手段と、
   前記入力された画像における各画素について前記欠陥画素記憶手段に記憶されている位置情報に基づいて欠陥画素であるか否かを判定する欠陥画素判定手段と、
   前記欠陥画素であると判定された画素が前記欠陥画素群に含まれるか否かを前記欠陥画素記憶手段に記憶されている画素欠陥情報に基づいて判定する画素共有欠陥判定手段と、
   前記入力された画像における各画素の種別を判定する画素種別判定手段と、
   前記欠陥画素であると判定された画素について前記判定された当該画素の種別と当該画素が前記欠陥画素群に含まれるか否かの判定結果とに基づいて当該画素の周辺画素を選択する補間画素選択手段と、
   前記欠陥画素であると判定された画素の補間値を前記選択された当該画素の周辺画素の値に基づいて算出する補間値算出手段と、
   前記欠陥画素であると判定された画素の値と前記算出された当該画素に対応する補間値とを置換する補間値置換手段と
   を具備することを特徴とする欠陥画素補正装置。
8. 撮像素子を構成する画素のうちの欠陥画素の位置情報と複数の欠陥画素から構成される欠陥画素群に当該位置情報に係る欠陥画素が含まれるか否かを示す画素欠陥情報とを関連付けて記憶する欠陥画素記憶手段を具備する撮像装置における欠陥画素補正方法において、
   前記撮像素子により撮像された画像を入力する画像入力手順と、
   前記入力された画像における各画素について前記欠陥画素記憶手段に記憶されている位置情報に基づいて欠陥画素であるか否かを判定する欠陥画素判定手順と、
   前記欠陥画素であると判定された画素が前記欠陥画素群に含まれるか否かを前記欠陥画素記憶手段に記憶されている画素欠陥情報に基づいて判定する画素共有欠陥判定手順と、
   前記入力された画像における各画素の種別を判定する画素種別判定手順と、
   前記欠陥画素であると判定された画素について前記判定された当該画素の種別と当該画素が前記欠陥画素群に含まれるか否かの判定結果とに基づいて当該画素の周辺画素を選択する補間画素選択手順と、
   前記欠陥画素であると判定された画素の補間値を前記選択された当該画素の周辺画素の値に基づいて算出する補間値算出手順と、
   前記欠陥画素であると判定された画素の値と前記算出された当該画素に対応する補間値とを置換する補間値置換手順と
   を具備することを特徴とする欠陥画素補正方法。
9. 撮像素子を構成する画素のうちの欠陥画素の位置情報と複数の欠陥画素から構成される欠陥画素群に当該位置情報に係る欠陥画素が含まれるか否かを示す画素欠陥情報とを関連付けて記憶する欠陥画素記憶手段を具備する撮像装置において、
   前記撮像素子により撮像された画像を入力する画像入力手順と、
   前記入力された画像における各画素について前記欠陥画素記憶手段に記憶されている位置情報に基づいて欠陥画素であるか否かを判定する欠陥画素判定手順と、
   前記欠陥画素であると判定された画素が前記欠陥画素群に含まれるか否かを前記欠陥画素記憶手段に記憶されている画素欠陥情報に基づいて判定する画素共有欠陥判定手順と、
   前記入力された画像における各画素の種別を判定する画素種別判定手順と、
   前記欠陥画素であると判定された画素について前記判定された当該画素の種別と当該画素が前記欠陥画素群に含まれるか否かの判定結果とに基づいて当該画素の周辺画素を選択する補間画素選択手順と、
   前記欠陥画素であると判定された画素の補間値を前記選択された当該画素の周辺画素の値に基づいて算出する補間値算出手順と、
   前記欠陥画素であると判定された画素の値と前記算出された当該画素に対応する補間値とを置換する補間値置換手順と
   をコンピュータに実行させることを特徴とするプログラム。

Images