JP2012217139A - 画像理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より簡単かつ高精度に欠陥画素を検出できるようにする。
【解決手段】近傍領域抽出部は、画像上の注目画素近傍の領域を注目近傍領域として抽出する。テクスチャ方向判定部は、注目近傍領域について、注目画素と同じ色の画素の画素値の変化の小さい方向をテクスチャ方向として特定する。欠陥画素検出部は、注目画素を中心とし、テクスチャ方向に連続して並ぶいくつかの画素を用いて、ラプラシアンを算出するとともに、異なる画素の組ごとに算出した複数のラプラシアンを閾値と比較して、注目画素が欠陥画素であるかを特定する。このように複数のラプラシアンを用いることで、注目画素が単独欠陥画素であるか、連続欠陥画素であるかによらず、簡単かつ高精度に欠陥画素を検出することができる。本発明は、画像処理装置に適用することができる。
【選択図】図１

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単かつ高精度に欠陥画素を検出できるようにした画像処理装置および方法、並びにプログラムに関する。

従来、画像上の欠陥画素を検出し、検出された欠陥画素を補正する技術が知られている。欠陥画素とは、画像上の画素のうち、本来とるべき値を画素値として有していない画素をいい、欠陥画素は白色や黒色の画素となることが多い。

このような欠陥画素を補正する技術として、被写体のエッジ方向を検出し、そのエッジ方向に基づいて欠陥画素を検出するとともに、検出された欠陥画素を補正する技術が提案されている（例えば、特許文献１参照）。

また、同色の欠陥画素が連続して並んでいる場合に、それらの欠陥画素（以下、連続欠陥画素とも称する）を検出して補正する技術も提案されている（例えば、特許文献２参照）。

特開２００８−１５４２７６号公報 特開２０１０−１３０２３８号公報

しかしながら、上述した技術では、簡単かつ高精度に欠陥画素を検出することはできなかった。例えば、エッジ方向に基づいて欠陥画素を検出する方法では、連続欠陥画素を検出することができなかった。

また、連続欠陥画素を検出する技術では、連続欠陥画素を検出するための判別部と、処理対象の画素自身は欠陥があるが、周囲の隣接する画素には欠陥がない、いわゆる単独欠陥画素を検出するための判別部とを個別に設けなければならなかった。

本技術は、このような状況に鑑みてなされたものであり、より簡単かつ高精度に欠陥画素を検出することができるようにするものである。

本技術の第１の側面の画像処理装置は、画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定する判定部と、前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する検出部とを備える。

前記検出部には、前記画像上において、前記注目画素を含む前記テクスチャ方向に連続して並ぶ所定数の画素の組について、画素の画素値の２次微分値を算出する２次微分値算出部と、複数の異なる前記組の前記２次微分値に基づいて、前記注目画素が欠陥画素であるか否かを判定する比較部とを設けることができる。

前記比較部には、前記複数の異なる前記組の前記２次微分値のそれぞれが所定の閾値より大きい場合、前記注目画素が欠陥画素であると判定させることができる。

画像処理装置には、前記注目画素と同色であり、前記テクスチャ方向に並ぶ前記注目画素近傍の画素に基づいて、前記注目画素を補正する欠陥画素補正部をさらに設けることができる。

前記欠陥画素補正部には、前記注目画素に対して、前記テクスチャ方向と平行な第１の方向に隣接する２つの画素の微分値と、前記注目画素に対して、前記第１の方向と反対の第２の方向に隣接する２つの画素の微分値とを算出する微分値算出部と、前記注目画素に対して、前記第１の方向と前記第２の方向のうち、前記微分値が小さい方向に隣接する２つの画素を加重平均して補正後の前記注目画素とする補正値算出部とを設けることができる。

前記判定部には、前記近傍領域内の同じ方向に並ぶ画素間の微分値に基づいて、前記近傍領域における前記方向の微分値を算出させ、複数の前記方向のうち、微分値が最小となる前記方向を前記テクスチャ方向とさせることができる。

本技術の第１の側面の画像処理方法またはプログラムは、画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定し、前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出するステップを含む。

本技術の第１の側面においては、画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向が判定され、前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかが検出される。

本技術の第２の側面の画像処理装置は、各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正する補正部と、前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう誤補正判定部とを備える。

前記誤補正判定部には、少なくとも前記注目画素近傍の前記注目画素と異なる色成分を有する画素、前記注目画素、および前記補正注目画素に基づいて前記誤補正判定を行なわせることができる。

画像処理装置には、前記近傍領域内における前記注目画素と同色の画素の平均値と、前記近傍領域内における前記注目画素と異なる色の画素の平均値との比をホワイトバランスとして算出するホワイトバランス算出部と、前記注目画素近傍に位置する、前記注目画素と異なる色の画素の平均値に前記ホワイトバランスを乗算することで、無彩色化平均値を算出する無彩色化平均値算出部とをさらに設け、前記誤補正判定部には、前記無彩色化平均値、前記注目画素、および前記補正注目画素を比較することで前記誤補正判定を行なわせることができる。

前記誤補正判定部には、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値以下である場合、前記注目画素を最終的な前記注目画素として出力させることができる。

前記誤補正判定部には、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値より大きい場合、前記補正注目画素を最終的な前記注目画素として出力させることができる。

前記補正部には、前記注目画素に対する欠陥画素補正処理またはノイズ除去処理を行わせることで、前記注目画素を補正させることができる。

本技術の第２の側面の画像処理方法またはプログラムは、各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正し、前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なうステップを含む。

本技術の第２の側面においては、各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素が補正され、前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定が行なわれる。

本技術の第１の側面および第２の側面によれば、より簡単かつ高精度に欠陥画素を検出することができる。

画像処理装置の一実施の形態の構成例を示す図である。 テクスチャ方向判定部の構成例を示す図である。 欠陥画素検出部の構成例を示す図である。 欠陥画素補正部の構成例を示す図である。 欠陥画素補正処理を説明するフローチャートである。 水平方向の微分値の算出について説明する図である。 垂直方向の微分値の算出について説明する図である。 左斜め方向の微分値の算出について説明する図である。 右斜め方向の微分値の算出について説明する図である。 ２次微分値の算出について説明する図である。 ２次微分値の算出について説明する図である。 欠陥画素の検出について説明する図である。 欠陥画素の補正について説明する図である。 連続欠陥画素の検出について説明する図である。 画像上における画素の配列例を示す図である。 テクスチャ方向の他の特定方法について説明する図である。 画像処理装置の他の構成例を示す図である。 欠陥画素補正処理を説明するフローチャートである。 注目近傍領域の平均値の算出について説明する図である。 Ｇ画素補正処理を説明するフローチャートである。 コンピュータの構成例を示す図である。 画像処理装置の他の構成例を示す図である。 欠陥画素検出・補正部の構成例を示す図である。 誤補正判定処理部の構成例を示す図である。 欠陥画素補正処理を説明するフローチャートである。 ホワイトバランスの算出について説明する図である。 無彩色化平均値の算出について説明する図である。 画素の無彩色化について説明する図である。 無彩色化平均値の算出について説明する図である。 画像上における画素の配列例を示す図である。 画像処理装置の他の構成例を示す図である。 欠陥画素補正処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［画像処理装置の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。

画像処理装置１１は、画像上の注目する画素（以下、注目画素と称する）の画素値や位置、色成分情報などが含まれる注目画素情報を入力とし、必要に応じて欠陥が補正された注目画素を出力する。

画像処理装置１１は、近傍領域抽出部２１、テクスチャ方向判定部２２、欠陥画素検出部２３、および欠陥画素補正部２４から構成される。

例えば、近傍領域抽出部２１には、注目画素近傍の複数の画素の画素値、各画素の位置、各画素が有する色成分を示す色成分情報からなる注目画素情報が供給される。近傍領域抽出部２１は、供給された注目画素情報から、注目画素を含む、画像上の注目画素近傍のいくつかの画素からなる近傍領域情報を抽出し、テクスチャ方向判定部２２および欠陥画素検出部２３に供給する。

テクスチャ方向判定部２２は、近傍領域抽出部２１から供給された近傍領域情報に基づいて、画像上のテクスチャの方向を特定し、特定されたテクスチャ方向を示す方向情報を欠陥画素検出部２３および欠陥画素補正部２４に供給する。

欠陥画素検出部２３は、テクスチャ方向判定部２２から供給された方向情報と、近傍領域抽出部２１から供給された近傍領域情報とに基づいて、注目画素が欠陥画素であるか否かを特定し、その特定結果と注目画素近傍の画素とを欠陥画素補正部２４に供給する。

欠陥画素補正部２４は、欠陥画素検出部２３から供給された、欠陥画素であるかの特定結果と注目画素近傍の画素、およびテクスチャ方向判定部２２からの方向情報に基づいて、必要に応じて注目画素を補正し、補正後の注目画素を出力する。

［テクスチャ方向判定部の構成例］
また、図１のテクスチャ方向判定部２２は、より詳細には図２に示すように構成される。

すなわち、テクスチャ方向判定部２２は、微分値算出部５１−１乃至微分値算出部５１−４、および微分値比較部５２から構成される。

微分値算出部５１−１乃至微分値算出部５１−４は、近傍領域抽出部２１から供給された近傍領域情報に基づいて、画像上の注目画素近傍の領域における各方向の微分値を算出し、微分値比較部５２に供給する。なお、以下、微分値算出部５１−１乃至微分値算出部５１−４を、特に区別する必要のない場合、単に微分値算出部５１とも称する。

微分値比較部５２は、微分値算出部５１から供給された各方向の微分値を比較して、テクスチャ方向を特定し、特定されたテクスチャ方向を示す方向情報を欠陥画素検出部２３および欠陥画素補正部２４に供給する。例えば、各方向のうち、微分値が最小となる方向がテクスチャの方向とされる。

［欠陥画素検出部の構成例］
さらに、図１の欠陥画素検出部２３は、より詳細には図３に示すように構成される。

すなわち、欠陥画素検出部２３は、画素選択部８１、２次微分値算出部８２、および微分値比較部８３から構成される。

画素選択部８１は、近傍領域抽出部２１から供給された近傍領域情報、およびテクスチャ方向判定部２２の微分値比較部５２から供給された方向情報に基づいて、画像上のテクスチャ方向に並んでいる、注目画素を含むいくつかの画素を選択する。画素選択部８１は、選択された画素（以下、選択画素とも称する）を、２次微分値算出部８２および欠陥画素補正部２４に供給する。

２次微分値算出部８２は、画素選択部８１から供給された選択画素に基づいて、注目画素を含むいくつかの連続して並ぶ画素の組ごとに２次微分値を算出し、微分値比較部８３に供給する。微分値比較部８３は、２次微分値算出部８２から供給された複数の２次微分値に基づいて、注目画素が欠陥画素であるかを特定し、その特定結果を欠陥画素補正部２４に供給する。

［欠陥画素補正部の構成例］
また、図１の欠陥画素補正部２４は、より詳細には図４に示すように構成される。すなわち、欠陥画素補正部２４は、微分値算出部１１１および補正値算出部１１２から構成される。

微分値算出部１１１は、微分値比較部８３から供給された欠陥画素の特定結果に応じて、画素選択部８１からの選択画素をそのまま補正値算出部１１２に供給するか、または選択画素とともに、注目画素近傍の画素の微分値を補正値算出部１１２に供給する。また、微分値算出部１１１は、画素選択部８１からの選択画素と、微分値比較部５２からの方向情報とに基づいて、注目画素近傍の画素の微分値を算出する。

補正値算出部１１２は、微分値算出部１１１から選択画素および微分値が供給された場合、それらの選択画素と微分値に基づいて注目画素を補正して、補正された注目画素を出力する。また、補正値算出部１１２は、微分値算出部１１１から選択画素のみが供給された場合、選択画素に含まれる注目画素をそのまま出力する。

［欠陥画素補正処理の説明］
ところで、画像処理装置１１に注目画素情報が供給され、欠陥画素の検出と補正が指示されると、画像処理装置１１は、欠陥画素補正処理を行って、注目画素の画素値を必要に応じて補正し、出力する。以下、図５のフローチャートを参照して、画像処理装置１１による欠陥画素補正処理について説明する。

この欠陥画素補正処理は、欠陥画素の検出と補正を行おうとする処理対象の画像上の画素ごとに行なわれる。なお、以下においては、処理対象の画像は、Ｒ，Ｇ，Ｂの各色の画素からなり、それらの各色の画素がベイヤー配列で並べられているとする。また、以下、Ｒ，Ｇ，Ｂの各色の画素を、それぞれＲ画素，Ｇ画素，Ｂ画素とも呼ぶこととする。

ステップＳ１１において、近傍領域抽出部２１は、入力された注目画素情報から、近傍領域情報を抽出し、テクスチャ方向判定部２２の微分値算出部５１、および欠陥画素検出部２３の画素選択部８１に供給する。

例えば、注目画素がＧ画素である場合、近傍領域抽出部２１は、画像上における、注目画素を中心とする水平方向に９画素、垂直方向に９画素からなる矩形領域内から、その矩形領域に含まれるＧ画素を抽出し、近傍領域情報とする。

ステップＳ１２において、微分値算出部５１は、近傍領域抽出部２１から供給された近傍領域情報に基づいて、各方向の微分値を算出し、微分値比較部５２に供給する。

ここで、図６乃至図９を参照して、各方向の微分値の算出について説明する。なお、図６乃至図９において、横方向および縦方向は、それぞれｘ方向およびｙ方向を示している。また、図６乃至図９において、１つの四角形は画像上の１つの画素を表しており、それらの画素のうち、四角形内に文字「Ｇ」が記されている画素はＧ画素となっている。

例えば、図６に示すように、注目画素ＣＰ１１を中心とし、ｘ方向に９画素、ｙ方向に９画素からなる矩形領域（以下、注目近傍領域とも称する）内のＧ画素が、近傍領域情報として供給されたとする。この場合、微分値算出部５１−１は、注目近傍領域について、図中、水平方向（ｘ方向）の微分値ＧＨを算出する。

具体的には、微分値算出部５１−１は、注目近傍領域内にある図中、横方向に互いに隣接して並ぶＧ画素をペアとする。例えば、注目画素ＣＰ１１と、その注目画素ＣＰ１１の図中、左側に隣接するＧ画素である画素Ｐ１２とが、１つのペアとされる。

微分値算出部５１−１は、注目近傍領域内の各Ｇ画素のペアについて、それらのペアのＧ画素の画素値の微分値、つまり画素値の差分絶対値を算出し、各ペアについて得られた差分絶対値の総和を、水平方向の微分値ＧＨとする。

例えば、ｘｙ座標系における座標(x,y)にあるＧ画素と、座標(x-2,y)にあるＧ画素とがペアとされ、座標(x,y)にあるＧ画素の画素値がG(x,y)であり、座標(x-2,y)にあるＧ画素の画素値がG(x-2,y)であるとする。この場合、これらのＧ画素のペアの微分値gradH(x,y)は、|G(x,y)-G(x-2,y)|により求まる。

この微分値gradH(x,y)は、処理対象のＧ画素の位置における図中、水平方向（横方向）へのＧ画素の画素値の変化の大きさを示している。微分値ＧＨは、注目近傍領域内の各Ｇ画素の微分値の総和であるから、微分値ＧＨは、注目近傍領域全体における水平方向へのＧ画素の画素値の変化の大きさを示しているということができる。例えば、微分値ＧＨが小さいほど、注目近傍領域では、Ｇ画素の画素値の水平方向への変化が小さいことになる。

また、例えば図７に示すように、微分値算出部５１−２は、注目近傍領域について、図中、垂直方向（ｙ方向）の微分値ＧＶを算出する。

具体的には、微分値算出部５１−２は、注目近傍領域内にある図中、縦方向に互いに隣接して並ぶＧ画素をペアとする。例えば、注目画素ＣＰ１１と、その注目画素ＣＰ１１の図中、上側に隣接するＧ画素である画素Ｐ１３とが、１つのペアとされる。

微分値算出部５１−２は、注目近傍領域内の各Ｇ画素のペアについて、それらのペアのＧ画素の画素値の微分値を算出し、各ペアについて得られた微分値の総和を、垂直方向の微分値ＧＶとする。

例えば、ｘｙ座標系における座標(x,y)にあるＧ画素と、座標(x,y-2)にあるＧ画素とがペアとされ、座標(x,y)にあるＧ画素の画素値がG(x,y)であり、座標(x,y-2)にあるＧ画素の画素値がG(x,y-2)であるとする。この場合、これらのＧ画素のペアの微分値gradV(x,y)は、|G(x,y)-G(x,y-2)|により求まる。したがって、微分値ＧＶは、注目近傍領域全体における垂直方向へのＧ画素の画素値の変化の大きさを示している。

さらに、例えば図８に示すように、微分値算出部５１−３は、注目近傍領域について、図中、左上方向（左斜め方向）の微分値ＧＤを算出する。

具体的には、微分値算出部５１−３は、注目近傍領域内にある図中、左斜め方向に互いに隣接して並ぶＧ画素をペアとする。例えば、注目画素ＣＰ１１と、その注目画素ＣＰ１１の図中、左上に隣接するＧ画素である画素Ｐ１４とが、１つのペアとされる。

微分値算出部５１−３は、注目近傍領域内の各Ｇ画素のペアについて、それらのペアのＧ画素の画素値の微分値を算出し、各ペアについて得られた微分値の総和を、左斜め方向の微分値ＧＤとする。

例えば、ｘｙ座標系における座標(x,y)にあるＧ画素と、座標(x-1,y-1)にあるＧ画素とがペアとされ、座標(x,y)にあるＧ画素の画素値がG(x,y)であり、座標(x-1,y-1)にあるＧ画素の画素値がG(x-1,y-1)であるとする。この場合、これらのＧ画素のペアの微分値gradD(x,y)は、|G(x,y)-G(x-1,y-1)|により求まる。したがって、微分値ＧＤは、注目近傍領域全体における左斜め方向へのＧ画素の画素値の変化の大きさを示している。

さらに、例えば図９に示すように、微分値算出部５１−４は、注目近傍領域について、図中、右上方向（右斜め方向）の微分値ＧＡを算出する。

具体的には、微分値算出部５１−４は、注目近傍領域内にある図中、右斜め方向に互いに隣接して並ぶＧ画素をペアとする。例えば、注目画素ＣＰ１１と、その注目画素ＣＰ１１の図中、右上に隣接するＧ画素である画素Ｐ１５とが、１つのペアとされる。

微分値算出部５１−４は、注目近傍領域内の各Ｇ画素のペアについて、それらのペアのＧ画素の画素値の微分値を算出し、各ペアについて得られた微分値の総和を、右斜め方向の微分値ＧＡとする。

例えば、ｘｙ座標系における座標(x,y)にあるＧ画素と、座標(x+1,y-1)にあるＧ画素とがペアとされ、座標(x,y)にあるＧ画素の画素値がG(x,y)であり、座標(x+1,y-1)にあるＧ画素の画素値がG(x+1,y-1)であるとする。この場合、これらのＧ画素のペアの微分値gradA(x,y)は、|G(x,y)-G(x+1,y-1)|により求まる。したがって、微分値ＧＡは、注目近傍領域全体における右斜め方向へのＧ画素の画素値の変化の大きさを示している。

以上のようにして、微分値算出部５１−１乃至微分値算出部５１−４は、注目近傍領域の各方向の微分値ＧＨ、微分値ＧＶ、微分値ＧＤ、および微分値ＧＡを算出すると、それらの微分値を微分値比較部５２に供給する。

図５のフローチャートの説明に戻り、ステップＳ１２において、各方向の微分値が算出されると、処理はステップＳ１３に進む。

ステップＳ１３において、微分値比較部５２は、微分値算出部５１から供給された各方向の微分値を比較して、画像上のテクスチャ方向を特定する。

具体的には、微分値比較部５２は、微分値ＧＨ、微分値ＧＶ、微分値ＧＤ、および微分値ＧＡのうち、最も値が小さい微分値を選択し、選択した微分値の方向をテクスチャ方向とする。例えば、各方向の微分値のうち、水平方向の微分値ＧＨが最も値が小さかったとする。この場合、注目近傍領域では、水平方向、垂直方向、左斜め方向、および右斜め方向のうち、水平方向が画素値の変化の最も小さい方向となる。

微分値比較部５２は、画像上の注目画素近傍における最も画素値の変化の少ない方向、つまり絵柄の変化が少ない方向をテクスチャの方向として特定する。このようにして、テクスチャ方向が特定されると、微分値比較部５２は、テクスチャ方向を示す方向情報を欠陥画素検出部２３の画素選択部８１、および欠陥画素補正部２４の微分値算出部１１１に供給する。

ステップＳ１４において、画素選択部８１は、近傍領域抽出部２１からの近傍領域情報と、微分値比較部５２からの方向情報とに基づいて、欠陥画素の検出と補正に用いる画素を選択画素として選択し、２次微分値算出部８２および微分値算出部１１１に供給する。

ステップＳ１５において、２次微分値算出部８２は、画素選択部８１から供給された選択画素に基づいて、３つの２次微分値Ｌ_１乃至２次微分値Ｌ_３を算出し、微分値比較部８３に供給する。

例えば、方向情報により示されるテクスチャ方向が水平方向である場合、図１０に示すように、画素選択部８１は、注目近傍領域上のＧ画素のうち、注目画素ＣＰ２１を中心とし、水平方向に連続して並ぶ５つのＧ画素を選択画素として選択する。なお、図１０において、１つの四角形は画像上の１つの画素を表しており、それらの画素のうち、四角形内に文字「Ｇ」が記されている画素はＧ画素となっている。

図１０の例では、図中、横方向に連続して並ぶ画素Ｐ３１乃至画素Ｐ３４および注目画素ＣＰ２１が、選択画素として選択されている。ここで、図中、右側に示すように、画素Ｐ３１乃至画素Ｐ３４および注目画素ＣＰ２１のそれぞれの画素値が、Ｇ_１５，Ｇ_３５，Ｇ_７５，Ｇ_９５，Ｇ_５５であるとする。

注目近傍領域から、テクスチャ方向に並ぶ画素が選択画素として選択されると、２次微分値算出部８２は、それらの選択画素を用いて３つの２次微分値を算出する。

具体的には、図中、右側に示すように２次微分値算出部８２は、注目画素ＣＰ２１の位置が図中、右端となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組のラプラシアンを２次微分値Ｌ_１として算出する。すなわち、画素Ｐ３１、画素Ｐ３２、および注目画素ＣＰ２１の各画素の画素値に基づいて、２次微分値Ｌ_１＝Ｇ_１５−２Ｇ_３５＋Ｇ_５５が計算される。

同様に、２次微分値算出部８２は、注目画素ＣＰ２１の位置が図中、中央となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組のラプラシアンを２次微分値Ｌ_２として算出する。つまり、画素Ｐ３２、注目画素ＣＰ２１、および画素Ｐ３３の各画素の画素値に基づいて２次微分値Ｌ_２＝Ｇ_３５−２Ｇ_５５＋Ｇ_７５が計算される。

さらに、２次微分値算出部８２は、注目画素ＣＰ２１の位置が図中、左端となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組のラプラシアンを２次微分値Ｌ_３として算出する。つまり、注目画素ＣＰ２１、画素Ｐ３３、および画素Ｐ３４の各画素の画素値に基づいて２次微分値Ｌ_３＝Ｇ_５５−２Ｇ_７５＋Ｇ_９５が計算される。

このように、テクスチャ方向に連続して並ぶ３つの画素のうち、中央の画素の画素値に２を乗算して得られる値と、中央の画素の両端に位置する画素の画素値の和との差分が、２次微分値として算出される。このようにして選択画素が用いられて２次微分値Ｌ_１、２次微分値Ｌ_２、および２次微分値Ｌ_３が算出されると、２次微分値算出部８２は、算出したこれらの２次微分値を微分値比較部８３に供給する。

また、例えば、方向情報により示されるテクスチャ方向が右斜め方向である場合、図１１に示すように、画素選択部８１は、注目近傍領域上のＧ画素のうち、注目画素ＣＰ３１を中心とし、右斜め方向に連続して並ぶ５つのＧ画素を選択画素として選択する。なお、図１１において、１つの四角形は画像上の１つの画素を表しており、それらの画素のうち、四角形内に文字「Ｇ」が記されている画素はＧ画素となっている。

図１１の例では、図中、右斜め方向に連続して並ぶ画素Ｐ４１乃至画素Ｐ４４および注目画素ＣＰ３１が、選択画素として選択されている。ここで、図中、右側に示すように、画素Ｐ４１乃至画素Ｐ４４および注目画素ＣＰ３１のそれぞれの画素値が、Ｇ_３７，Ｇ_４６，Ｇ_６４，Ｇ_７３，Ｇ_５５であるとする。

注目近傍領域から選択画素が選択されると、２次微分値算出部８２は、図中、右側に示すように注目画素ＣＰ３１の位置が図中、右端となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、２次微分値Ｌ_１を算出する。すなわち、画素Ｐ４１、画素Ｐ４２、および注目画素ＣＰ３１の各画素の画素値に基づいて、２次微分値Ｌ_１＝Ｇ_３７−２Ｇ_４６＋Ｇ_５５が計算される。

同様に、２次微分値算出部８２は、注目画素ＣＰ３１の位置が図中、中央となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組の２次微分値Ｌ_２を算出する。つまり、画素Ｐ４２、注目画素ＣＰ３１、および画素Ｐ４３の各画素の画素値に基づいて２次微分値Ｌ_２＝Ｇ_４６−２Ｇ_５５＋Ｇ_６４が計算される。

さらに、２次微分値算出部８２は、注目画素ＣＰ３１の位置が図中、左端となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組の２次微分値Ｌ_３を算出する。つまり、注目画素ＣＰ３１、画素Ｐ４３、および画素Ｐ４４の各画素の画素値に基づいて２次微分値Ｌ_３＝Ｇ_５５−２Ｇ_６４＋Ｇ_７３が計算される。

図５のフローチャートの説明に戻り、２次微分値が算出されると、処理はステップＳ１５からステップＳ１６に進む。

ステップＳ１６において、微分値比較部８３は、２次微分値算出部８２から供給された２次微分値Ｌ_１乃至２次微分値Ｌ_３を、所定の閾値τと比較して、注目画素が欠陥画素であるか否かを特定し、その特定結果を欠陥画素補正部２４の微分値算出部１１１に供給する。

具体的には、微分値比較部８３は、２次微分値Ｌ_１＞τ、かつ２次微分値Ｌ_２＞τ、かつ２次微分値Ｌ_３＞τである場合、注目画素が欠陥画素であるとする。つまり３つの２次微分値が全て閾値τよりも大きい場合、注目画素は欠陥画素であるとされる。

例えば、２次微分値は、画素値の変化の少ない方向に並ぶ３つの画素が用いられて算出されるラプラシアンである。この２次微分値の計算に用いられる３つの画素の画素値は、殆ど同じ値となるはずであるから、２次微分値は充分に小さくなるはずである。

ところが、２次微分値の計算に用いられる画素のなかに、欠陥画素が含まれていると、その欠陥画素の画素値は、他の画素の画素値とは大きく異なるから、欠陥画素が用いられて算出された２次微分値は、閾値τよりも大きくなる。

ここで、３つの２次微分値Ｌ_１乃至２次微分値Ｌ_３のそれぞれの算出には、必ず注目画素が用いられるので、注目画素が欠陥画素であれば、３つの２次微分値は何れも閾値τよりも大きくなる。これは、注目画素に隣接する他の画素が欠陥画素である場合でも同じである。そこで、微分値比較部８３は、３つの２次微分値のそれぞれが閾値τよりも大きい場合、注目画素は欠陥画素であるとする。

例えば、図１２の矢印Ａ１１に示すように、注目画素ＣＰ４１を中心とし、テクスチャ方向に並ぶ画素Ｐ５１、画素Ｐ５２、注目画素ＣＰ４１、画素Ｐ５３、および画素Ｐ５４が選択画素として選択されたとする。なお、図１２において、図中、１つの四角形は１つの画素を表しており、特にバツ印が記された四角形は欠陥画素を表している。

矢印Ａ１１に示す例では、注目画素ＣＰ４１が欠陥画素となっており、選択画素として選択された他の画素は欠陥画素でない正常な画素となっている。

この場合、２次微分値Ｌ_１の算出には、画素Ｐ５１、画素Ｐ５２、および注目画素ＣＰ４１が用いられ、２次微分値Ｌ_２の算出には、画素Ｐ５２、注目画素ＣＰ４１、および画素Ｐ５３が用いられる。また、２次微分値Ｌ_３の算出には、注目画素ＣＰ４１、画素Ｐ５３、および画素Ｐ５４が用いられる。

したがって、この例では、２次微分値Ｌ_１乃至２次微分値Ｌ_３の算出に、欠陥画素である注目画素ＣＰ４１が用いられるから、これらの２次微分値は閾値τよりも大きくなり、注目画素ＣＰ４１が欠陥画素であると正しく特定される。

矢印Ａ１１に示される例は、注目画素ＣＰ４１は欠陥画素であるが、その注目画素ＣＰ４１の両側に隣接する画素Ｐ５２および画素Ｐ５３は、欠陥のない正常な画素となる例である。このように、注目画素のみに欠陥があり、注目画素と同色である隣接画素に欠陥がない場合、注目画素は、特に単独欠陥画素と呼ばれる。

また、矢印Ａ１２に示すように、注目画素ＣＰ４１と、注目画素ＣＰ４１の左側に隣接する画素Ｐ５２とが欠陥画素である場合にも、２次微分値Ｌ_１乃至２次微分値Ｌ_３のそれぞれの算出に、少なくとも１つの欠陥画素が用いられる。そのため、各２次微分値が閾値τよりも大きくなり、この場合も注目画素ＣＰ４１が欠陥画素であると正しく特定される。

矢印Ａ１２に示される例は、注目画素ＣＰ４１が欠陥画素であり、その注目画素ＣＰ４１に隣接する画素Ｐ５２も欠陥画素となる例である。このように、注目画素だけでなく、その注目画素と同色である隣接画素にも欠陥がある場合、注目画素は、特に連続欠陥画素と呼ばれる。

なお、矢印Ａ１１に示した単独欠陥の場合は、３つの２次微分値（ラプラシアン）がほぼ同じ値となるのに対し、矢印Ａ１２に示した連続欠陥の場合は、２次微分値Ｌ_１と２次微分値Ｌ_３など、２つの２次微分値の値が大きく異なる。そのため、微分値比較部８３では、３つの２次微分値を比較することで、注目画素が単独欠陥画素であるか、連続欠陥画素であるかを判定することも可能である。

これに対して、矢印Ａ１３に示すように、注目画素ＣＰ４１には欠陥がなく、注目画素ＣＰ４１の周囲の画素Ｐ５１にのみ欠陥がある場合、２次微分値Ｌ_１の算出には、欠陥画素である画素Ｐ５１が用いられるが、２次微分値Ｌ_２と２次微分値Ｌ_３の算出には画素Ｐ５１は用いられない。また、２次微分値Ｌ_２や２次微分値Ｌ_３の算出に用いられる画素は、何れも欠陥画素ではない。

そのため、２次微分値Ｌ_１は閾値τよりも大きくなるが、２次微分値Ｌ_２と２次微分値Ｌ_３は閾値τ未満となり、注目画素ＣＰ４１が欠陥のない正常な画素であると正しく特定されることになる。

同様に、矢印Ａ１４に示すように、注目画素ＣＰ４１には欠陥がなく、注目画素ＣＰ４１の周囲の画素Ｐ５１と画素Ｐ５２に欠陥がある場合、これらの欠陥画素が用いられて算出される２次微分値Ｌ_１と２次微分値Ｌ_２は、閾値τよりも大きくなる。しかし、欠陥のない注目画素ＣＰ４１、画素Ｐ５３、および画素Ｐ５４が用いられて算出される２次微分値Ｌ_３は、閾値τ未満となるので、この場合も、注目画素ＣＰ４１が欠陥のない正常な画素であると正しく特定される。

矢印Ａ１３や矢印Ａ１４に示した例では、注目画素ＣＰ４１は欠陥のない正常な画素であり、３つの２次微分値の何れかの算出時に、欠陥のない画素のみが用いられて２次微分値が算出される。したがって、選択画素のうちの注目画素以外の画素に欠陥画素があっても、注目画素に欠陥がなければ、少なくとも１つは閾値τ未満の２次微分値が得られ、注目画素が正常な画素であると特定される。これは、選択画素のなかに注目画素以外の連続欠陥が存在する場合でも同様である。つまり、選択画素のなかに、注目画素とは異なる互いに隣接する欠陥画素がある場合でも、注目画素が欠陥画素であるかを正しく特定することが可能である。

以上のように、テクスチャ方向に並ぶ画素を用いて、３つの２次微分値を算出し、それらの２次微分値を閾値と比較すれば、注目画素が単独欠陥画素であるか、連続欠陥画素であるかによらず、簡単かつ高精度に注目画素が欠陥画素であるかを特定することができる。なお、より詳細には、選択画素に含まれる欠陥画素の数や位置によっては、誤検出が生じる場合もあるが、欠陥画素検出部２３では、従来よりも簡単な処理で、高精度に欠陥画素を検出することが可能である。

また、２次微分値と比較される閾値τは、固定の定数とされてもよいし、テクスチャ方向の特定時に微分値算出部５１により算出された微分値に応じて、適応的に変化するようにしてもよい。また、注目画素の色によって、異なる閾値が用いられてもよい。

図５のフローチャートの説明に戻り、微分値比較部８３は、注目画素が欠陥画素であるか否かを特定すると、その特定結果を欠陥画素補正部２４の微分値算出部１１１に供給し、その後、処理はステップＳ１７に進む。

ステップＳ１７において、微分値算出部１１１は、微分値比較部８３から供給された注目画素が欠陥画素であるかの特定結果に基づいて、注目画素が欠陥画素であるか否かを判定する。

ステップＳ１７において、注目画素が欠陥画素であると判定された場合、ステップＳ１８において、微分値算出部１１１は、微分値比較部５２からの方向情報と、画素選択部８１から供給された選択画素に基づいて、微分値を算出する。微分値算出部１１１は、算出した微分値と選択画素とを補正値算出部１１２に供給する。

そして、ステップＳ１９において、補正値算出部１１２は、微分値算出部１１１から供給された微分値と選択画素とに基づいて、注目画素を補正し、補正後の注目画素を後段に出力する。

例えば、図１３に示すように、テクスチャ方向に連続して並ぶ画素Ｐ６１、画素Ｐ６２、注目画素ＣＰ５１、画素Ｐ６３、および画素Ｐ６４が選択画素として微分値算出部１１１に供給されたとする。なお、図１３において、１つの四角形は１つの画素を表しており、各四角形内の文字は、その四角形が表す画素の画素値を示している。すなわち、画素Ｐ６１、画素Ｐ６２、注目画素ＣＰ５１、画素Ｐ６３、および画素Ｐ６４の各画素の画素値は、それぞれＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５とされている。

このような場合、微分値算出部１１１は、注目画素ＣＰ５１の図中、左側に隣接する２つの画素Ｐ６１と画素Ｐ６２から微分値ｇ_１を算出する。すなわち、微分値ｇ_１＝｜Ｇ１−Ｇ２｜であり、画素Ｐ６１と画素Ｐ６２の画素値の差分の絶対値が微分値ｇ_１として算出される。

また、微分値算出部１１１は、注目画素ＣＰ５１の図中、右側に隣接する２つの画素Ｐ６３と画素Ｐ６４から微分値ｇ_２を算出する。すなわち、微分値ｇ_２＝｜Ｇ４−Ｇ５｜であり、画素Ｐ６３と画素Ｐ６４の画素値の差分の絶対値が微分値ｇ_２として算出される。

このようにして、注目画素ＣＰ５１の左側の画素の微分値ｇ_１と、右側の画素の微分値ｇ_２とが算出されると、補正値算出部１１２は、これらの微分値を用いて注目画素ＣＰ５１の画素値を補正する。

具体的には、微分値ｇ_１が微分値ｇ_２以下である場合、補正値算出部１１２は、画素Ｐ６１の画素値Ｇ１と、画素Ｐ６２の画素値Ｇ２とを所定の重みαで重み付き加算（加重平均）することで、補正後の注目画素ＣＰ５１の画素値Ｇ３’を算出する。すなわち、Ｇ３’＝α・Ｇ１＋（１−α）Ｇ２が計算される。

選択画素は、テクスチャ方向、つまり画素値の変化の少ない方向に並ぶ画素であるから、選択画素として選択された、互いに隣接する画素の差分絶対値、つまり微分値が小さければ、それらの画素は欠陥画素でない可能性が高い。したがって、微分値ｇ_１が微分値ｇ_２以下である場合には、画素Ｐ６１と画素Ｐ６２の組みが、画素Ｐ６３と画素Ｐ６４の組みよりも、より欠陥画素が含まれる可能性が低い。

そこで、補正値算出部１１２は、注目画素ＣＰ５１に隣接する画素のうち、より欠陥画素である可能性が低い画素Ｐ６１と画素Ｐ６２を用いて、注目画素ＣＰ５１の補正後の画素値Ｇ３’を算出する。

逆に、微分値ｇ_１が微分値ｇ_２よりも大きい場合、補正値算出部１１２は、画素Ｐ６３の画素値Ｇ４と、画素Ｐ６４の画素値Ｇ５とを所定の重みβで重み付き加算することで、補正後の注目画素ＣＰ５１の画素値Ｇ３’を算出する。すなわち、Ｇ３’＝β・Ｇ４＋（１−β）Ｇ５が計算される。

このように、微分値ｇ_１および微分値ｇ_２の値に応じて、注目画素ＣＰ５１の片側に隣接する画素のみを用いて注目画素を補正することで、注目画素ＣＰ５１が連続欠陥画素である場合であっても、注目画素ＣＰ５１の適切な補正値を得ることができる。なお、注目画素ＣＰ５１の補正に用いられる重みαやβは、０から１までの間の任意の値とすることができる。

図５のフローチャートに戻り、注目画素が補正されると、補正値算出部１１２は補正後の注目画素の画素値を出力し、欠陥画素補正処理は終了する。

一方、ステップＳ１７において、注目画素が欠陥画素でないと判定された場合、微分値算出部１１１は、画素選択部８１から供給された選択画素を補正値算出部１１２に供給し、その後、処理はステップＳ２０に進む。

ステップＳ２０において、補正値算出部１１２は、微分値算出部１１１から供給された選択画素から注目画素を抽出し、その注目画素の画素値をそのまま出力して、欠陥画素補正処理は終了する。すなわち、この場合、注目画素は欠陥画素ではないので、注目画素に対する補正は行なわれず、注目画素の画素値がそのまま後段に出力される。

以上のようにして、画像処理装置１１は、注目画素を含む、テクスチャ方向に並ぶいくつかの画素を用いて複数の２次微分値を算出し、それらの２次微分値を閾値処理することで、注目画素が欠陥画素であるか否かを特定する。

これにより、注目画素が単独欠陥画素であるか、連続欠陥画素であるかによらず、簡単かつ高精度に欠陥画素を検出することができ、画像処理装置１１の回路規模を小さくするとともに、処理速度を向上させることができる。

また、注目画素が欠陥画素である場合、注目画素のテクスチャ方向に並ぶ画素のうち、より欠陥画素である可能性の低い画素を用いて、注目画素を補正するので、より適切に注目画素を補正することができる。

例えば、テクスチャ方向に沿って欠陥画素の検出を行なうことで、ストライプ模様のような高周波成分を含むテクスチャ部分において、テクスチャを欠陥として過補正してしまい、画質が劣化してしまうようなことを防止することができる。また、２次微分値（ラプラシアン）を用いて欠陥画素を検出することで、画像の模様が滑らかに変化するグラデーション部分での誤検出を少なくすることができる。

なお、以上においては、テクスチャ方向の判定に用いられる画素も、欠陥画素の検出に用いられる画素も、ともに注目画素と同色の画素である場合について説明したが、テクスチャ方向の判定に用いられる画素は、必ずしも注目画素と同色でなくてもよい。

そのような場合、例えば注目画素がＲ画素であるとすると、テクスチャ方向判定部２２では、注目画素近傍にあるＧ画素が用いられてテクスチャ方向が特定され、欠陥画素検出部２３では、注目画素と同色のＲ画素が用いられて、欠陥画素かの特定が行なわれる。

特に、画像上の各色の画素の配置がベイヤー配列となっている場合には、Ｇ画素が他の色の画素よりも多く画像に含まれているので、Ｇ画素が用いられてテクスチャ方向が特定されるようにすれば、より高精度にテクスチャ方向を特定することができる。

〈変形例１〉
また、以上においては、注目画素を中心として、テクスチャ方向に並ぶ５つの連続する画素を選択画素とし、それらの選択画素を用いて欠陥画素の検出を行なう場合について説明したが、選択画素は６以上であってもよい。

すなわち、例えば、図１４に示すように、注目画素ＣＰ６１を中心とする水平方向に１３画素、垂直方向に１３画素の注目近傍領域が抽出され、方向情報により示されるテクスチャ方向が水平方向であったとする。

なお、図１４において、１つの四角形は画像上の１つの画素を表しており、それらの画素のうち、四角形内に文字「Ｇ」が記されている画素はＧ画素となっている。

図１４の例では、画素選択部８１は、注目近傍領域上のＧ画素のうち、注目画素ＣＰ６１を中心とし、水平方向に連続して並ぶ７つのＧ画素を選択画素として選択する。すなわち、図中、横方向に連続して並ぶ画素Ｐ７１乃至画素Ｐ７６および注目画素ＣＰ６１が、選択画素として選択される。ここで、図中、右側に示すように、画素Ｐ７１乃至画素Ｐ７６および注目画素ＣＰ６１のそれぞれの画素値が、Ｇ_１５，Ｇ_３５，Ｇ_５５，Ｇ_９５，Ｇ_１１５，Ｇ_１３５，Ｇ_７５であるとする。

この場合、２次微分値算出部８２は、それらの選択画素のうちの連続して並ぶ５つの画素を用いて、３つの関数値Ｆ_１乃至関数値Ｆ_３を算出する。ここで、関数値Ｆ_１乃至関数値Ｆ_３は、その関数値の算出に用いられる画素のなかに、欠陥画素が含まれている場合に値が大きくなる任意の関数である。

関数値Ｆ_１が算出される場合、画素Ｐ７１乃至画素Ｐ７３、注目画素ＣＰ６１、および画素Ｐ７４が用いられる。すなわち、例えば、関数値Ｆ_１＝Ｇ_１５＋２Ｇ_３５−６Ｇ_５５＋２Ｇ_７５＋Ｇ_９５が計算される。同様に、関数値Ｆ_２が算出される場合、画素Ｐ７２、画素Ｐ７３、注目画素ＣＰ６１、画素Ｐ７４、および画素Ｐ７５が用いられ、関数値Ｆ_３が算出される場合、画素Ｐ７３、注目画素ＣＰ６１、および画素Ｐ７４乃至画素Ｐ７６が用いられる。

微分値比較部８３は、これらの関数値Ｆ_１乃至関数値Ｆ_３を閾値と比較することで、その比較結果から、注目画素ＣＰ６１が欠陥画素であるか否かを特定することができる。この場合、注目画素ＣＰ６１が、同色の３つの連続する欠陥画素のうちの１つであるときでも、つまり３連続欠陥画素であるときでも、注目画素ＣＰ６１が欠陥画素であるか否かを正しく判定することが可能である。

なお、注目近傍領域を大きくし、欠陥画素の検出の関数値の算出に用いる画素数を増やせば、注目画素が４以上の連続欠陥画素を構成する画素である場合にも、対応することが可能である。

〈変形例２〉
さらに、以上においては、処理対象となる画像上の各色の画素の配置がベイヤー配列である例について説明したが、各色の画素はベイヤー配列に限らず、どのように配置されていてもよい。

例えば、図１５に示すように、画像上にＲ画素、Ｇ画素、Ｂ画素の他に、さらに透明（ホワイト）な画素（以下、Ｗ画素と称する）も配置されるようにしてもよい。なお、図１５において、１つの四角形は１つの画素を表しており、それらの四角形内の文字「Ｒ」，「Ｇ」，「Ｂ」，「Ｗ」は、それぞれＲ画素，Ｇ画素，Ｂ画素，Ｗ画素を示している。

この例では、Ｗ画素は、ベイヤー配列におけるＧ画素と同等に扱うことができ、Ｇ画素はベイヤー配列におけるＲ画素やＢ画素と同等に扱うことができる。しかし、図１５の例では、Ｒ画素やＢ画素はサンプル数が少ないため、これらの画素を注目画素として欠陥画素の検出を行なうには、注目近傍領域をＧ画素やＷ画素の場合よりも大きくしたり、検出可能な連続欠陥の数を減らしたりして対応する必要がある。

〈変形例３〉
さらに、以上においては、所定の色の画素を用いてテクスチャ方向を特定すると説明したが、他の情報（信号）を用いてテクスチャ方向を特定するようにしてもよい。

例えば、画像上にＧｒ，Ｇｂ，Ｒ，Ｂの各色の画素が配置される場合、図１６に示すように、それらの画素から輝度値（輝度信号）を求め、輝度値の微分値を用いてテクスチャ方向を特定してもよい。なお、図１６において、１つの四角形は１つの画素を表しており、それらの四角形内の文字「Ｒ」，「Ｂ」，「Ｇｒ」，「Ｇｂ」は、それぞれＲ画素，Ｂ画素，Ｇｒ画素，Ｇｂ画素を示している。また、図中、１つの円は、輝度信号の位置を示している。

この場合、微分値算出部５１は、輝度信号の位置を示す円に隣接する４つの画素、つまりＲ画素，Ｂ画素，Ｇｒ画素，Ｇｂ画素の各画素の画素値の和を求めて、得られた和を輝度信号の値（輝度値）とする。そして、微分値算出部５１は、所定方向に隣接する輝度信号の位置のペアごとに輝度値の差分絶対値を求め、それらの差分絶対値の総和を微分値とする。また、輝度信号によりテクスチャ方向が特定された場合、欠陥画素の検出や補正には、注目画素と同色の画素が用いられる。

〈第２の実施の形態〉
［画像処理装置の構成例］
ところで、画像上の画素がベイヤー配列とされている場合、Ｂ画素やＲ画素はＧ画素とサンプリング間隔が異なるため、各色の画素で同様の処理を行おうとすると、Ｒ画素やＢ画素を処理する場合には、Ｇ画素を処理する場合よりも注目近傍領域を大きくしなければならない。

そこで、注目画素の色によって、異なる方法で欠陥画素検出や欠陥画素の補正が行なわれるようにしてもよい。そのような場合、画像処理装置は、例えば図１７に示すように構成される。なお、図１７において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１７の画像処理装置１４１は、例えば各色の画素がベイヤー配列で配置された画像を処理し、画像上の各画素を順番に注目画素として、必要に応じて注目画素の補正を行なう。

画像処理装置１４１は、近傍領域抽出部２１、テクスチャ方向判定部２２、欠陥画素検出部２３、欠陥画素補正部２４、平均値算出部１５１、欠陥画素検出部１５２、および欠陥画素補正部１５３から構成される。

近傍領域抽出部２１は、供給された注目画素情報から近傍領域情報を抽出し、注目画素の色に応じて近傍領域情報の出力先を切り替える。すなわち、近傍領域抽出部２１は、注目画素がＧ画素である場合、近傍領域情報をテクスチャ方向判定部２２および欠陥画素検出部２３に供給し、注目画素がＲ画素またはＢ画素である場合、近傍領域情報を平均値算出部１５１乃至欠陥画素補正部１５３に供給する。

平均値算出部１５１は、近傍領域抽出部２１から供給された近傍領域情報から、注目近傍領域における注目画素と同色の画素の平均的な画素値を算出し、欠陥画素検出部１５２に供給する。欠陥画素検出部１５２は、近傍領域抽出部２１から供給された近傍領域情報と、平均値算出部１５１から供給された平均的な画素値とに基づいて、注目画素が欠陥画素であるか否かを特定し、その特定結果を欠陥画素補正部１５３に供給する。

欠陥画素補正部１５３は、欠陥画素検出部１５２からの特定結果と、近傍領域抽出部２１からの近傍領域情報とに基づいて、必要に応じて注目画素を補正し、出力する。

［欠陥画素補正処理の説明］
次に、画像処理装置１４１による欠陥画素補正処理について説明する。

ステップＳ５１において、近傍領域抽出部２１は、入力された注目画素情報に基づいて、注目画素がＧ画素であるか否かを判定する。

ステップＳ５１において、注目画素がＧ画素でないと判定された場合、すなわち、注目画素がＲ画素またはＢ画素である場合、ステップＳ５２において、近傍領域抽出部２１は、供給された注目画素情報から近傍領域情報を抽出する。そして近傍領域抽出部２１は、近傍領域情報を平均値算出部１５１乃至欠陥画素補正部１５３に供給する。

ステップＳ５３において、平均値算出部１５１は、近傍領域抽出部２１から供給された近傍領域情報に基づいて、平均値を算出し、欠陥画素検出部１５２に供給する。

例えば、図１９に示すように、注目画素ＣＰ７１がＲ画素であり、注目画素ＣＰ７１を中心とし、ｘ方向に９画素、ｙ方向に９画素からなる注目近傍領域内のＲ画素が、近傍領域情報として供給されたとする。

なお、図中、横方向および縦方向は、それぞれｘ方向およびｙ方向を示している。また、図中、１つの四角形は画像上の１つの画素を表しており、それらの画素内に記された文字は画素の色を示している。

この場合、平均値算出部１５１は、次式（１）を計算して注目近傍領域内のＲ画素の画素値の平均値Ｗ_Ｒを算出する。

なお、式（１）において、ΣＲは、注目近傍領域内にある、注目画素ＣＰ７１を除く全Ｒ画素の画素値の総和を示しており、Ｎは、注目近傍領域内にある全Ｒ画素の個数から５を減算して得られる値である。

また、Ｒ_ｍａｘおよびＲ_{２ｎｄｍａｘ}は、注目画素ＣＰ７１を除く注目近傍領域内のＲ画素のうち、１番目および２番目に大きい画素値をもつＲ画素の画素値である。さらに、Ｒ_ｍｉｎおよびＲ_{２ｎｄｍｉｎ}は、注目画素ＣＰ７１を除く注目近傍領域内のＲ画素のうち、１番目および２番目に小さい画素値をもつＲ画素の画素値である。

したがって、平均値Ｗ_Ｒは、注目画素ＣＰ７１、１番目および２番目に画素値が大きいＲ画素、並びに１番目および２番目に画素値が小さいＲ画素の合計５個の画素を除く、注目近傍領域内にある全Ｒ画素の画素値の平均値である。ここで、平均値の算出から、画素値が大きい画素と、画素値が小さい画素とが除外されるのは、注目近傍領域内にある欠陥画素の影響を軽減させるためである。

このようにして得られる平均値Ｗ_Ｒは、注目近傍領域内にあるＲ画素の平均的な画素値を示している。なお、注目画素がＢ画素である場合にも、Ｒ画素の場合と同様の処理により、Ｂ画素の平均的な画素値を示す平均値が求められる。

図１８のフローチャートの説明に戻り、ステップＳ５４において、欠陥画素検出部１５２は、近傍領域抽出部２１からの近傍領域情報と、平均値算出部１５１からの平均値とに基づいて、注目画素が欠陥画素であるか否かを判定する。

例えば、図１９に示した例で、注目画素ＣＰ７１の画素値がＲ’であるとすると、欠陥画素検出部１５２は、注目画素ＣＰ７１の画素値Ｒ’と平均値Ｗ_Ｒの差分の絶対値である｜Ｒ’−Ｗ_Ｒ｜が所定の閾値ｔより大きい場合、注目画素が欠陥画素であるとする。

すなわち、平均値Ｗ_Ｒは、注目近傍領域内のＲ画素の平均的な画素値であるので、注目画素ＣＰ７１の画素値が、その平均的な画素値と大きく異なる場合には、注目画素ＣＰ７１は欠陥画素である可能性が高い。そこで、欠陥画素検出部１５２は、注目画素の画素値と、ステップＳ５３で求められた平均値との差分の絶対値が、閾値ｔより大きい場合、注目画素が欠陥画素であるとする。

欠陥画素検出部１５２は、注目画素が欠陥画素であるか否かを判定すると、その判定結果を欠陥画素補正部１５３に供給する。

ステップＳ５４において、注目画素が欠陥画素であると判定された場合、ステップＳ５５において、欠陥画素補正部１５３は、欠陥画素検出部１５２からの判定結果に応じて、近傍領域抽出部２１からの近傍領域情報に基づいて、注目画素を補正する。

例えば、欠陥画素補正部１５３は、ステップＳ５３と同様の処理を行なって平均値を算出し、算出された平均値を注目画素の補正後の画素値とする。注目画素が補正されると、欠陥画素補正部１５３は、補正された注目画素の画素値を出力し、欠陥画素補正処理は終了する。

一方、ステップＳ５４において、注目画素が欠陥画素でないと判定された場合、ステップＳ５６において、欠陥画素補正部１５３は、欠陥画素検出部１５２からの判定結果に応じて、注目画素の画素値をそのまま出力する。すなわち、欠陥画素補正部１５３は、近傍領域抽出部２１から供給された近傍領域情報により得られる注目画素の画素値を、補正せずにそのまま出力し、欠陥画素補正処理は終了する。

また、ステップＳ５１において、注目画素がＧ画素であると判定された場合、ステップＳ５７において、画像処理装置１４１はＧ画素補正処理を行ない、テクスチャ方向に並ぶＧ画素に基づいて、欠陥画素の検出や補正を行なう。なお、Ｇ画素補正処理の詳細は後述する。Ｇ画素補正処理が行なわれると、必要に応じて補正された注目画素としてのＧ画素が出力され、欠陥画素補正処理は終了する。

以上のように、画像処理装置１４１は、注目画素がＲ画素若しくはＢ画素であるか、またはＧ画素であるかに応じて、異なる方法により注目画素が欠陥画素であるかを特定するとともに、必要に応じて注目画素の欠陥を補正する。これにより、注目画素の色に応じて、適切な注目近傍領域を抽出し、注目画素の色に適した方法で、欠陥画素の検出および補正を行なうことができる。

［Ｇ画素補正処理の説明］
次に、図２０は、図１８のステップＳ５７の処理に対応するＧ画素補正処理を説明するフローチャートである。

なお、このＧ画素補正処理のステップＳ８１乃至ステップＳ９０の処理では、図５のステップＳ１１乃至ステップＳ２０の処理と同様の処理が行なわれるので、その説明は省略する。ステップＳ８１乃至ステップＳ９０の処理では、テクスチャ方向が特定され、そのテクスチャ方向に並ぶ画素が用いられて、欠陥画素の検出および補正が行なわれる。

ステップＳ８９またはステップＳ９０の処理が行なわれて、注目画素の画素値が出力されると、Ｇ画素補正処理は終了し、その後、処理は図１８のステップＳ５７に戻り、欠陥画素補正処理も終了する。

このように、Ｇ画素補正処理では、Ｒ画素やＢ画素が注目画素である場合と、異なる処理により欠陥画素の検出と補正が行なわれる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、本技術は、以下のような構成とすることも可能である。

［１］
画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定する判定部と、
前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する検出部と
を備える画像処理装置。
［２］
前記検出部は、
前記画像上において、前記注目画素を含む前記テクスチャ方向に連続して並ぶ所定数の画素の組について、画素の画素値の２次微分値を算出する２次微分値算出部と、
複数の異なる前記組の前記２次微分値に基づいて、前記注目画素が欠陥画素であるか否かを判定する比較部と
を備える
［１］に記載の画像処理装置。
［３］
前記比較部は、前記複数の異なる前記組の前記２次微分値のそれぞれが所定の閾値より大きい場合、前記注目画素が欠陥画素であると判定する
［２］に記載の画像処理装置。
［４］
前記注目画素と同色であり、前記テクスチャ方向に並ぶ前記注目画素近傍の画素に基づいて、前記注目画素を補正する欠陥画素補正部をさらに備える
［１］乃至［３］の何れかに記載の画像処理装置。
［５］
前記欠陥画素補正部は、
前記注目画素に対して、前記テクスチャ方向と平行な第１の方向に隣接する２つの画素の微分値と、前記注目画素に対して、前記第１の方向と反対の第２の方向に隣接する２つの画素の微分値とを算出する微分値算出部と、
前記注目画素に対して、前記第１の方向と前記第２の方向のうち、前記微分値が小さい方向に隣接する２つの画素を加重平均して補正後の前記注目画素とする補正値算出部と
を備える
［４］に記載の画像処理装置。
［６］
前記判定部は、前記近傍領域内の同じ方向に並ぶ画素間の微分値に基づいて、前記近傍領域における前記方向の微分値を算出し、複数の前記方向のうち、微分値が最小となる前記方向を前記テクスチャ方向とする
［１］乃至［５］の何れかに記載の画像処理装置。

〈第３の実施の形態〉
［誤補正について］
ところで、画素に対する動的欠陥補正により、欠陥ではない画素も欠陥画素であると誤検出され、補正されてしまうことがある。このような誤補正が行なわれると、画像上においてテクスチャの欠落や偽色などが発生する。

例えば欠陥画素の補正手法として、注目画素近傍の領域におけるテクスチャ方向を判定し、その判定結果に基づいて欠陥画素の検出，補正を行なうことで、欠陥画素の補正によるテクスチャの欠落や偽色の発生を抑制する技術も提案されている（例えば、特開２００９−２９０６５３号公報，特許第４３４３９８８号公報参照）。

しかしながら、このような欠陥画素の補正手法であっても、画素の補正により高品質な画像を得ることができない場合があった。

すなわち、欠陥画素の補正時に、正しいテクスチャ方向を判定しにくい領域、例えば高周波なテクスチャの領域や、画素値が飽和している領域などでは、画素の誤補正が発生し、補正により得られる画像の品質が劣化してしまう。

また、上述した欠陥画素の補正手法では、同じ色成分を有する画素が用いられて欠陥画素の検出，補正が行なわれるため、色成分（例えば、ベイヤー配列であればＲ，Ｇ，Ｂなど）ごとに処理が行なわれる。その結果、補正によって各色のバランスが崩れてしまい、偽色が発生してしまうことがある。

［画像処理装置の構成例］
そこで、注目画素の色とは異なる色成分を利用して、誤補正を防止するようにしてもよい。そのような場合、画像上の欠陥画素の検出および補正を行なう画像処理装置は、例えば図２２に示すように構成される。

図２２の画像処理装置６０１は、近傍領域抽出部６１１、欠陥画素検出・補正部６１２、および誤補正判定処理部６１３から構成される。画像処理装置６０１は、画像上の注目する画素（以下、注目画素と称する）の近傍にある画素の画素値や位置、色成分情報などが含まれる注目画素情報を入力とし、必要に応じて欠陥が補正された注目画素を出力する。

例えば、近傍領域抽出部６１１には、注目画素近傍の複数の画素の画素値、各画素の位置、各画素が有する色成分を示す色成分情報からなる注目画素情報が供給される。近傍領域抽出部６１１は、供給された注目画素情報から、注目画素を含む、画像上の注目画素近傍のいくつかの画素からなる近傍領域情報を抽出し、欠陥画素検出・補正部６１２、および誤補正判定処理部６１３に供給する。

欠陥画素検出・補正部６１２は、近傍領域抽出部６１１からの近傍領域情報に基づいて、注目画素が欠陥画素であるかを検出するとともに、必要に応じて欠陥画素とされた注目画素を補正し、補正後の注目画素に関する欠陥補正情報を誤補正判定処理部６１３に供給する。なお、以下、補正された注目画素を適宜、補正注目画素とも称することとする。

誤補正判定処理部６１３は、供給された注目画素情報、近傍領域抽出部６１１からの近傍領域情報、および欠陥画素検出・補正部６１２からの欠陥補正情報に基づいて、注目画素の誤補正判定を行い、その判定結果に応じて注目画素または補正注目画素を出力する。

［欠陥画素検出・補正部の構成例］
また、図２２の欠陥画素検出・補正部６１２は、より詳細には図２３に示すように構成される。すなわち、欠陥画素検出・補正部６１２は、欠陥検出部６４１および欠陥補正部６４２から構成される。

欠陥検出部６４１は、近傍領域抽出部６１１からの近傍領域情報に基づいて、注目画素が欠陥画素であるか否かを判定し、その判定結果と近傍領域情報を欠陥補正部６４２に供給する。欠陥補正部６４２は、欠陥検出部６４１からの判定結果と近傍領域情報に基づいて注目画素を補正し、その結果得られた補正注目画素を含む欠陥補正情報を誤補正判定処理部６１３に供給する。

［誤補正判定処理部の構成例］
さらに、図２２の誤補正判定処理部６１３は、より詳細には例えば図２４に示すように構成される。すなわち、誤補正判定処理部６１３は、ホワイトバランス算出部６７１、無彩色化平均値算出部６７２、および誤補正判定部６７３から構成される。

ホワイトバランス算出部６７１は、近傍領域抽出部６１１からの近傍領域情報に基づいてホワイトバランスを算出し、得られたホワイトバランスと近傍領域情報を無彩色化平均値算出部６７２に供給する。

無彩色化平均値算出部６７２は、ホワイトバランス算出部６７１から供給されたホワイトバランスと近傍領域情報に基づいて、注目画素近傍の無彩色化された画素の画素値の平均値を無彩色化平均値として算出し、誤補正判定部６７３に供給する。

誤補正判定部６７３は、無彩色化平均値算出部６７２からの無彩色化平均値、供給された注目画素情報、および欠陥画素検出・補正部６１２の欠陥補正部６４２から供給された欠陥補正情報に基づいて、注目画素に対する補正が誤補正であるか否かを判定する。また、誤補正判定部６７３は、誤補正の判定結果等に応じて、注目画素情報に含まれる注目画素と、欠陥補正情報に含まれる補正注目画素との何れか一方を最終的な注目画素として出力する。

［欠陥画素補正処理の説明］
次に、図２５のフローチャートを参照して、画像処理装置６０１により行なわれる欠陥画素補正処理について説明する。

この欠陥画素補正処理は、欠陥画素の検出と補正を行おうとする処理対象の画像上の画素ごとに行なわれる。なお、以下においては、処理対象の画像は、Ｒ，Ｇ，Ｂの各色の画素からなり、それらの各色の画素がベイヤー配列で並べられているとする。また、以下、Ｒ，Ｇ，Ｂの各色の画素を、それぞれＲ画素，Ｇ画素，Ｂ画素とも呼ぶこととする。

ステップＳ１２１において、近傍領域抽出部６１１は、入力された注目画素情報から近傍領域情報を抽出し、欠陥画素検出・補正部６１２の欠陥検出部６４１、および誤補正判定処理部６１３のホワイトバランス算出部６７１に供給する。

例えば、注目画素がＧ画素である場合、近傍領域抽出部６１１は、画像上の注目画素を中心とする水平方向に９画素、垂直方向に９画素からなる矩形領域内から、その矩形領域に含まれる各画素を抽出し、近傍領域情報とする。

ステップＳ１２２において、欠陥検出部６４１は、近傍領域抽出部６１１から供給された近傍領域情報に基づいて、注目画素に対する欠陥検出を行なう。

例えば、欠陥検出部６４１は、近傍領域情報に基づいて注目画素近傍の領域のテクスチャ方向を特定し、注目画素を含み、テクスチャ方向に並ぶ注目画素と同じ色の画素からなる画素列を抽出する。そして、欠陥検出部６４１は、抽出した画素列上の画素と注目画素とを比較することで、注目画素が欠陥画素であるかを特定する。

また、例えば欠陥検出部６４１は、注目画素からの距離に応じた重みを付けて、注目画素近傍にある、注目画素と同じ色の各画素の画素値の重み付き平均値を求め、得られた重み付き平均値と注目画素とを比較することで、注目画素が欠陥画素であるかを特定する。

ステップＳ１２３において、欠陥検出部６４１は、注目画素が欠陥画素であるか否かを判定し、その判定結果と近傍領域情報を欠陥補正部６４２に供給する。例えばステップＳ１２２において、注目画素が欠陥画素であると特定された場合には、ステップＳ１２３において、注目画素は欠陥画素であると判定される。

ステップＳ１２３において、注目画素が欠陥画素であると判定された場合、ステップＳ１２４において、欠陥補正部６４２は、欠陥検出部６４１からの判定結果と近傍領域情報に基づいて、注目画素の欠陥補正を行なう。

すなわち、欠陥補正部６４２は注目画素近傍の画素に基づいて補正注目画素を求め、その結果得られた補正注目画素を含む欠陥補正情報を誤補正判定処理部６１３の誤補正判定部６７３に供給する。具体的には、例えば欠陥補正部６４２は注目画素近傍にある、注目画素と同じ色の画素の画素値の平均値を、補正注目画素の画素値とする。

ステップＳ１２５において、ホワイトバランス算出部６７１は、近傍領域抽出部６１１からの近傍領域情報に基づいてホワイトバランスを算出し、得られたホワイトバランスと近傍領域情報を無彩色化平均値算出部６７２に供給する。

例えば、近傍領域情報として、図２６に示す注目画素ＡＣ１１を中心とする９画素×９画素の領域（以下、注目近傍領域とも称する）の情報が供給されたとする。

なお、図２６において、１つの四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」は、画素の色、つまりＲ画素，Ｇ画素，Ｂ画素であることを示しており、この例では、注目画素ＡＣ１１はＧ画素となっている。

ホワイトバランス算出部６７１は、図中、縦方向９画素，横方向９画素の合計８１画素からなる注目近傍領域内にあるＲ画素、Ｇ画素、およびＢ画素の色成分ごとに、それらの色の画素の画素値の平均値を計算する。

具体的には、近傍領域情報に示される注目近傍領域内に、Ｎ_Ｒ個のＲ画素、Ｎ_Ｇ個のＧ画素、およびＮ_Ｂ個のＢ画素があったとする。また、Ｒ_ｉ（但し、ｉ＝１乃至Ｎ_Ｒ）番目のＲ画素の画素値をＲ_ｉとし、Ｇ_ｉ（但し、ｉ＝１乃至Ｎ_Ｇ）番目のＧ画素の画素値をＧ_ｉとし、Ｂ_ｉ（但し、ｉ＝１乃至Ｎ_Ｂ）番目のＢ画素の画素値をＢ_ｉとする。

このとき、ホワイトバランス算出部６７１は、次式（２）を計算することで、注目近傍領域内のＲ画素の画素値の平均値ａｖｅＲを求める。

同様に、ホワイトバランス算出部６７１は、次式（３）を計算することで、注目近傍領域内のＧ画素の画素値の平均値ａｖｅＧを求め、次式（４）を計算することで、注目近傍領域内のＢ画素の画素値の平均値ａｖｅＢを求める。

さらに、ホワイトバランス算出部６７１は、このようにして得られた各色成分の平均値の比をホワイトバランスとして求める。具体的には、例えばＲ成分の平均値ａｖｅＲと、Ｇ成分の平均値ａｖｅＧとの比（ａｖｅＧ／ａｖｅＲ）、およびＢ成分の平均値ａｖｅＢと、Ｇ成分の平均値ａｖｅＧとの比（ａｖｅＧ／ａｖｅＢ）が注目近傍領域のホワイトバランスとして求められる。

図２５のフローチャートの説明に戻り、ステップＳ１２５においてホワイトバランスが算出されると、処理はステップＳ１２６に進む。

ステップＳ１２６において、無彩色化平均値算出部６７２は、ホワイトバランス算出部６７１から供給されたホワイトバランスと近傍領域情報に基づいて無彩色化平均値を算出し、誤補正判定部６７３に供給する。

例えば、図２７に示すように、無彩色化平均値算出部６７２は、注目画素ＡＣ２１の図中、上下左右に隣接する画素ＣＥ１１乃至画素ＣＥ１４を無彩色化し、それらの無彩色化された画素の画素値の平均値を無彩色化平均値Ｐとして算出する。

なお、図２７において、１つの四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」は、画素の色、つまりＲ画素，Ｇ画素，Ｂ画素であることを示している。この例では、注目画素ＡＣ２１はＧ画素であり、画素ＣＥ１１および画素ＣＥ１２がＲ画素であり、画素ＣＥ１３および画素ＣＥ１４がＢ画素である。

画素ＣＥ１１乃至画素ＣＥ１４は注目近傍領域内にある、注目画素近傍の画素である。また、例えば画素ＣＥ１１および画素ＣＥ１２の画素値が、それぞれＲ_１およびＲ_２であり、画素ＣＥ１３および画素ＣＥ１４の画素値が、それぞれＢ_１およびＢ_２であるとする。この場合、無彩色化平均値算出部６７２は、次式（５）を計算することで、無彩色化平均値Ｐを算出する。

すなわち、無彩色化平均値算出部６７２は、例えば画素ＣＥ１１の画素値Ｒ_１に、ホワイトバランス（ａｖｅＧ／ａｖｅＲ）を乗算することで、画素ＣＥ１１を無彩色化する。つまり、Ｒ成分である画素ＣＥ１１の画素値がＧ成分に揃えられる。

無彩色化平均値算出部６７２は、このようにして注目画素近傍にある、注目画素とは異なる色成分の画素を無彩色化すると、それらの無彩色化された画素の画素値の平均値を無彩色化平均値Ｐとする。換言すれば、Ｒ，Ｇ，Ｂの色バランスが揃えられて、注目画素近傍にある、注目画素と異なる色の画素の画素値の平均値が求められる。

なお、注目画素がＲ画素である場合には、無彩色化平均値算出部６７２は、例えば次式（６）を計算することで、無彩色化平均値Ｐを算出する。

なお、式（６）において、Ｇ_１乃至Ｇ_４は、処理対象の画像上において注目画素であるＲ画素に対して上下左右に隣接するＧ画素の画素値を示している。したがって式（６）では、注目画素の上下左右に隣接するＧ画素の画素値の平均値に、ホワイトバランス（ａｖｅＲ／ａｖｅＧ）、より詳細には、ステップＳ１２５で求めたホワイトバランス（ａｖｅＧ／ａｖｅＲ）の逆数が乗算され、無彩色化平均値Ｐとされる。

つまり、注目画素がＲ画素である場合であっても、注目画素の近傍にある画素が無彩色化され、無彩色化された画素の画素値の平均値が無彩色化平均値Ｐとされる。

また、注目画素がＢ画素である場合にも式（６）と同様の計算により、無彩色化平均値Ｐが算出される。すなわち、注目画素の上下左右に隣接するＧ画素の画素値の平均値に、ホワイトバランス（ａｖｅＢ／ａｖｅＧ）が乗算され、無彩色化平均値Ｐとされる。

例えば、図２８に示すように、注目近傍領域内の各色成分の画素の画素値の平均値は異なることが多い。なお、図２８において、横軸は各色成分を示しており、縦軸は各画素の画素値を示している。

注目近傍領域において、矢印ＲＥ１１乃至矢印ＲＥ１３のそれぞれに示す縦方向の直線の範囲内にＲ画素、Ｇ画素、およびＢ画素の各色成分の画素の画素値が分布していたとする。また、それらの色成分の画素の画素値の平均値が矢印Ｖ１１乃至矢印Ｖ１３に示す位置（画素値）であったとする。この場合、例えば矢印Ｖ１１に示す位置（画素値）が、Ｒ画素の画素値の平均値ａｖｅＲとなる。

また、Ｒ画素の平均値ａｖｅＲにホワイトバランス（ａｖｅＧ／ａｖｅＲ）を乗算して無彩色化すると、無彩色化後のＲ画素の画素値の平均値は、矢印Ｖ２１に示す位置となる。同様に、Ｂ画素の平均値ａｖｅＢにホワイトバランス（ａｖｅＧ／ａｖｅＢ）を乗算して無彩色化すると、無彩色化後のＢ画素の画素値の平均値は、矢印Ｖ２２に示す位置となる。

このようにして平均値ａｖｅＲや平均値ａｖｅＢにホワイトバランスを乗算して、各色成分の画素値の平均値をＧの色成分に揃えると、図中、右側に示すように、Ｒ，Ｇ，Ｂの各色成分の画素の画素値の平均値は同じ値となる。

無彩色化によりＲＧＢの色成分を揃えた後、注目画素近傍にある、注目画素とは異なる色の無彩色化後の画素の画素値の平均値を求めると、注目画素近傍における、注目画素と同色の画素の平均的な画素値に相当する無彩色化平均値Ｐが得られる。

ステップＳ１２７において、誤補正判定部６７３は、無彩色化平均値算出部６７２から供給された無彩色化平均値Ｐ、供給された注目画素情報、および欠陥補正部６４２からの欠陥補正情報に基づいて、注目画素に対する補正が誤補正であるか否かを判定する。

例えば、注目画素情報により示される注目画素の画素値、つまり注目画素の補正前の画素値がＧ_ｏｒｇであり、欠陥補正情報により示される注目画素の補正後の画素値、つまり欠陥補正部６４２により算出された補正注目画素の画素値がＧ_ｃｏｒであるとする。

この場合、誤補正判定部６７３は、補正前の画素値Ｇ_ｏｒｇと無彩色化平均値Ｐの差分の絶対値が、補正後の画素値Ｇ_ｃｏｒと無彩色化平均値Ｐの差分の絶対値以下であるとき、つまり｜Ｇ_ｏｒｇ−Ｐ｜≦｜Ｇ_ｃｏｒ−Ｐ｜であるとき、誤補正であると判定する。

例えば、無彩色化平均値Ｐは、注目画素近傍にある、注目画素と同色の画素の平均的な画素値（輝度）に相当する。したがって、｜Ｇ_ｏｒｇ−Ｐ｜≦｜Ｇ_ｃｏｒ−Ｐ｜である場合、つまり補正後の画素値Ｇ_ｃｏｒよりも補正前の画素値Ｇ_ｏｒｇが、より無彩色化平均値Ｐに近い場合、補正注目画素よりも、元の注目画素の方が、より周囲の画素と輝度が近いことになる。このような場合、補正注目画素の画素値よりも元の注目画素の画素値が、本来、注目画素がとるべき画素値により近い可能性が高い。

そこで、誤補正判定部６７３は、｜Ｇ_ｏｒｇ−Ｐ｜≦｜Ｇ_ｃｏｒ−Ｐ｜である場合、注目画素に対して行なわれた補正は誤補正であるとし、｜Ｇ_ｏｒｇ−Ｐ｜＞｜Ｇ_ｃｏｒ−Ｐ｜である場合、注目画素に対して行なわれた補正は適切な補正であるとする。

ステップＳ１２７において、注目画素に対する補正が誤補正でない、つまり適切な補正であると判定された場合、ステップＳ１２８において、誤補正判定部６７３は欠陥補正部６４２から供給された補正注目画素の画素値を出力する。

すなわち、補正された注目画素の画素値が、最終的な注目画素の画素値として出力される。補正注目画素が出力されると、欠陥画素補正処理は終了する。

また、ステップＳ１２３において注目画素が欠陥画素でないと判定された場合、またはステップＳ１２７において注目画素に対する補正が誤補正であると判定された場合、ステップＳ１２９の処理が行なわれる。

すなわち、ステップＳ１２９において、誤補正判定部６７３は、供給された注目画素情報に含まれる注目画素の画素値を、最終的な注目画素の画素値として出力し、欠陥画素補正処理は終了する。すなわち、注目画素の画素値が補正されずに、そのまま出力される。

以上のようにして、画像処理装置６０１は、欠陥画素を補正して得られた補正注目画素について、補正前の注目画素と無彩色化平均値の差分、および補正注目画素と無彩色化平均値の差分を比較して、注目画素に対する補正が誤補正であるか否かを判定する。そして、画像処理装置６０１は、その判定結果に応じて、補正前の注目画素または補正後の注目画素の何れかを、最終的な注目画素として出力する。

このように、無彩色化した注目画素近傍の画素の画素値の平均値と、補正前後の注目画素の画素値とを比較することで、より簡単かつ高精度に欠陥画素を検出し、より高品質な画像を得ることができる。

すなわち、注目画素の誤補正を検出することは、欠陥画素の検出結果が誤検出であるかを判定することとほぼ等価であるから、画像処理装置６０１によれば欠陥画素の検出精度を簡単に向上させることができるようになるということができる。また、誤補正の検出を行ない、その検出結果に応じて補正前または補正後の注目画素を出力することで、各色成分のバランスが崩れてしまうことを防止し、偽色の発生を抑制することができる。これにより、より高品質な画像を得ることができる。

特に、画像処理装置６０１では、補正前後の注目画素の画素値と、無彩色化平均値とを比較、評価するだけであるので、画像上の本来、色がついている部分を無彩色にしてしまうようなことはない。また、隣接する異色の画素を参照して誤補正の評価を行なうため、同色成分を参照するよりもサンプリング間隔が短く、高周波のテクスチャを欠落させてしまうような誤補正を容易に防ぐことができる。

〈変形例４〉
［誤補正判定について］
なお、以上においては、例えば図２７に示したように、注目画素の上下左右に隣接する４画素を用いて無彩色化平均値Ｐを算出する例について説明したが、無彩色化平均値Ｐは、注目画素近傍にある画素が用いられて算出されれば、どのように算出されてもよい。

例えば、図２９に示すように注目画素ＡＣ３１がＧ画素である場合、注目画素ＡＣ３１を中心とする縦５画素×横５画素からなる矩形領域内にあるＲ画素とＢ画素が用いられて、無彩色化平均値Ｐが算出されるようにしてもよい。

なお、図２９において、１つの四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」は、画素の色、つまりＲ画素，Ｇ画素，Ｂ画素であることを示している。

この例では、注目画素ＡＣ３１を中心とする縦５画素×横５画素の矩形領域内には、６個のＲ画素と、６個のＢ画素が含まれている。

ここで、注目画素ＡＣ３１を中心とする５×５画素の矩形領域内にある６個の各Ｒ画素を画素Ｒ_１乃至画素Ｒ_６とし、注目画素ＡＣ３１を中心とする５×５画素の矩形領域内にある６個の各Ｂ画素を画素Ｂ_１乃至画素Ｂ_６とする。また、これらの画素Ｒ_ｉ（但し、ｉ＝１乃至６）の画素値をＲ_ｉとし、画素Ｂ_ｉ（但し、ｉ＝１乃至６）の画素値をＢ_ｉとする。

この場合、無彩色化平均値算出部６７２は、次式（７）を計算することで、注目画素ＡＣ３１についての無彩色化平均値Ｐを算出する。

すなわち、式（７）では、ホワイトバランス（ａｖｅＧ／ａｖｅＢ）が乗算されたＢ画素と、ホワイトバランス（ａｖｅＧ／ａｖｅＲ）が乗算されたＲ画素の平均値が無彩色化平均値Ｐとして算出される。

そして、誤補正判定部６７３においては、｜Ｇ_ｏｒｇ−Ｐ｜≦｜Ｇ_ｃｏｒ−Ｐ｜である場合、誤補正であるとされ、｜Ｇ_ｏｒｇ−Ｐ｜＞｜Ｇ_ｃｏｒ−Ｐ｜である場合、適切な補正であるとされる。すなわち｜Ｇ_ｏｒｇ−Ｐ｜≦｜Ｇ_ｃｏｒ−Ｐ｜であれば画素値Ｇ_ｏｒｇ、つまり補正前の注目画素がそのまま出力され、｜Ｇ_ｏｒｇ−Ｐ｜＞｜Ｇ_ｃｏｒ−Ｐ｜であれば画素値Ｇ_ｃｏｒ、つまり補正注目画素が出力される。

図２９に示した例では図２７に示した例と比べて、より多くの画素を用いて無彩色化平均値Ｐを算出するので、注目画素に隣接する画素が欠陥画素であっても、高精度に誤補正判定を行なうことができる。

例えば、無彩色化平均値Ｐの算出に用いられる画素が欠陥画素である場合、無彩色化平均値Ｐとして適切な値が得られなくなる可能性がある。しかし、無彩色化平均値Ｐの算出に用いる画素の数を多くすれば、それらの画素のなかに欠陥画素があったとしても、欠陥画素の画素値の無彩色化平均値Ｐの算出に対する寄与率は低くなるので、適切な無彩色化平均値Ｐを得ることができる。

同様に、注目画素を中心とする５×５画素の矩形領域内の画素が用いられて無彩色化平均値Ｐが算出される場合、例えば注目画素がＲ画素であるときには、その矩形領域内にあるＧ画素とＢ画素が無彩色化され、無彩色化された各画素の平均値が無彩色化平均値Ｐとされる。

〈変形例５〉
［誤補正判定について］
さらに、以上では画像上にＲＧＢの各色成分がベイヤー配列で並んでいる場合を例として説明したが、例えば図３０に示すように画像上にＲ画素、Ｇ画素、Ｂ画素の他に、さらに透明（ホワイト）な画素（以下、Ｗ画素と称する）も配置されるようにしてもよい。なお、図３０において、１つの四角形は１つの画素を表しており、それらの四角形内の文字「Ｒ」，「Ｇ」，「Ｂ」，「Ｗ」は、それぞれＲ画素，Ｇ画素，Ｂ画素，Ｗ画素を示している。

この例では、図３０に示す図中、縦９画素，横９画素からなる矩形領域が注目近傍領域とされる。この場合、ホワイトバランス算出部６７１は、注目近傍領域内のＲ画素、Ｇ画素、Ｂ画素、およびＷ画素の色成分ごとに、それらの色の画素の画素値の平均値を、平均値ａｖｅＲ、平均値ａｖｅＧ、平均値ａｖｅＢ、および平均値ａｖｅＷとして算出する。

そして、ホワイトバランス算出部６７１は、Ｗ画素を基準として、Ｗ画素の平均値ａｖｅＷと他の色成分の平均値との比、つまりａｖｅＷ／ａｖｅＲ，ａｖｅＷ／ａｖｅＧ，ａｖｅＷ／ａｖｅＢをホワイトバランスとして算出する。

また、無彩色化平均値算出部６７２は、このようにして求められたホワイトバランスａｖｅＷ／ａｖｅＲ，ａｖｅＷ／ａｖｅＧ，ａｖｅＷ／ａｖｅＢを用いて、無彩色化平均値Ｐを算出する。つまり、ホワイトバランスにより無彩色化された、注目画素と異なる色の画素の平均値が無彩色化平均値Ｐとされる。

具体的には、例えば注目画素がＲ画素である場合には、無彩色化平均値算出部６７２は、次式（８）を計算することで、無彩色化平均値Ｐを算出する。

なお、式（８）において、Ｗ_１乃至Ｗ_４は、処理対象の画像上において注目画素であるＲ画素に対して上下左右に隣接するＷ画素の画素値を示している。したがって式（８）では、注目画素の上下左右に隣接するＷ画素の画素値の平均値に、ホワイトバランス（ａｖｅＷ／ａｖｅＲ）の逆数が乗算され、無彩色化平均値Ｐとされる。

〈第４の実施の形態〉
［画像処理装置の構成例］
さらに、誤補正判定を行なう場合に、誤補正判定処理部６１３の前段で行なわれる注目画素の欠陥検出や欠陥補正は、どのようにして行なわれてもよい。

例えば、第１の実施の形態で説明したように、テクスチャ方向に並ぶ画素から算出した２次微分値に基づいて、欠陥画素の検出を行なうようにしてもよい。そのような場合、画像上の欠陥画素の検出および補正を行なう画像処理装置は、例えば図３１に示すように構成される。

図３１の画像処理装置７０１は、近傍領域抽出部２１、テクスチャ方向判定部２２、欠陥画素検出部２３、欠陥画素補正部２４、および誤補正判定処理部６１３から構成される。なお、図３１において図１または図２２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図３１の画像処理装置７０１では、欠陥画素補正部２４の後段に誤補正判定処理部６１３が設けられており、この誤補正判定処理部６１３は、図２４に示した構成とされる。そして、誤補正判定処理部６１３のホワイトバランス算出部６７１には、近傍領域抽出部２１で得られた近傍領域情報が供給される。

また、誤補正判定処理部６１３の誤補正判定部６７３には、画像処理装置７０１に入力された注目画素情報と、欠陥画素補正部２４の補正値算出部１１２からの補正後の注目画素（以下、補正注目画素と称する）の画素値とが供給される。

［欠陥画素補正処理の説明］
次に、図３２のフローチャートを参照して、画像処理装置７０１により行なわれる欠陥画素補正処理について説明する。この欠陥画素補正処理は、欠陥画素の検出と補正を行おうとする処理対象の画像上の画素ごとに行なわれる。

ステップＳ１５１において近傍領域抽出部２１は、入力された注目画素情報から近傍領域情報を抽出し、テクスチャ方向判定部２２の微分値算出部５１、欠陥画素検出部２３の画素選択部８１、および誤補正判定処理部６１３のホワイトバランス算出部６７１に供給する。例えば近傍領域抽出部２１は、画像上における注目画素を中心とする水平方向に９画素、垂直方向に９画素からなる矩形領域内に含まれる各画素を抽出し、近傍領域情報とする。

近傍領域情報が抽出されると、その後、ステップＳ１５２乃至ステップＳ１５９の処理が行なわれるが、これらの処理は図５のステップＳ１２乃至ステップＳ１９の処理と同様であるので、その説明は省略する。

但し、ステップＳ１５９において、補正値算出部１１２は、微分値算出部１１１から供給された微分値と選択画素とに基づいて注目画素を補正すると、補正により得られた補正注目画素を含む欠陥補正情報を誤補正判定処理部６１３の誤補正判定部６７３に供給する。

また、補正注目画素が得られると、その後、ステップＳ１６０乃至ステップＳ１６４の処理が行なわれて、欠陥画素補正処理は終了するが、これらの処理は図２５のステップＳ１２５乃至ステップＳ１２９と同様であるので、その説明は省略する。

但し、ステップＳ１５７で注目画素が欠陥画素であると判定された場合、またはステップＳ１６２において注目画素に対する補正は誤補正であると判定された場合、ステップＳ１６４の処理が行なわれる。すなわち、誤補正判定部６７３により、補正前のもとの注目画素の画素値が、最終的な注目画素の画素値として出力される。

以上のようにして、画像処理装置７０１は、注目画素を含む、テクスチャ方向に並ぶいくつかの画素を用いて複数の２次微分値を算出し、それらの２次微分値を閾値処理することで、注目画素が欠陥画素であるか否かを特定する。また、画像処理装置７０１は、補正前後の注目画素と無彩色化平均値とを比較して、注目画素に対する補正が誤補正であるか否かを判定し、その判定結果に応じて、補正前または補正後の注目画素を出力する。

これにより、より簡単かつ高精度に欠陥画素を検出することができるとともに、欠陥画素の補正によって、より高品質な画像を得ることができる。

〈第５の実施の形態〉
［画像処理装置の構成例］
さらに、以上においては、欠陥画素に対する誤補正を検出する場合を例として説明したが、本技術の誤補正判定は、欠陥画素補正に限らず、ノイズリダクション（ノイズ除去）など注目画素に対する補正処理であれば、どのような補正処理に対しても適用可能である。

例えば、本技術の誤補正判定をノイズリダクション処理に適用する場合、画像に対するノイズリダクション処理を行なう画像処理装置は、図３３に示すように構成される。なお、図３３において、図２２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図３３の画像処理装置７３１は、ノイズリダクション処理部７４１および誤補正判定処理部６１３から構成される。また、画像処理装置７３１には、注目画素情報が供給される。

ノイズリダクション処理部７４１は、供給された注目画素情報に基づいて、注目画素に対するノイズリダクション処理を行い、ノイズリダクション処理、つまり注目画素に対する補正処理により得られた補正情報を誤補正判定処理部６１３に供給する。

例えば、ノイズリダクション処理部７４１は、注目画素近傍の画素に基づいて、注目画素がエッジを構成する画素であるかを特定する。

そして、ノイズリダクション処理部７４１は、注目画素がエッジを構成する画素でない場合、注目画素近傍の画素に基づいて、ノイズリダクション処理後、つまり注目画素に対する補正処理後の画素値を算出する。具体的には、例えば注目画素近傍のいくつかの画素の画素値の平均値が、補正後の注目画素（以下、補正注目画素とも称する）の画素値とされる。また、ノイズリダクション処理部７４１は、注目画素がエッジを構成する画素である場合、注目画素の画素値を、そのまま補正注目画素の画素値とする。

ノイズリダクション処理部７４１は、このようにして補正注目画素を求めると、求めた補正注目画素を誤補正判定処理部６１３の誤補正判定部６７３に供給する。

誤補正判定処理部６１３は、供給された注目画素情報と、ノイズリダクション処理部７４１からの補正注目画素とに基づいて誤補正判定を行い、その判定結果に応じて、補正前の注目画素または補正注目画素の何れかを、最終的な注目画素として出力する。

このとき、誤補正判定処理部６１３のホワイトバランス算出部６７１は、供給された注目画素情報から近傍領域情報を抽出し、ホワイトバランスを算出する。

以上のように、注目画素に対してノイズリダクション処理等の欠陥補正とは異なる補正処理を行う場合であっても、本技術の誤補正判定を適用し、より高品質な画像を得ることができる。

なお、第３の実施の形態乃至第５の実施の形態等で説明した一連の処理も、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。例えば、上述した一連の処理がソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムが、図２１に示したコンピュータにより実行される。

さらに、本技術は、以下のような構成とすることも可能である。

［９］
各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正する補正部と、
前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう誤補正判定部と
を備える画像処理装置。
［１０］
前記誤補正判定部は、少なくとも前記注目画素近傍の前記注目画素と異なる色成分を有する画素、前記注目画素、および前記補正注目画素に基づいて前記誤補正判定を行なう
［９］に記載の画像処理装置。
［１１］
前記近傍領域内における前記注目画素と同色の画素の平均値と、前記近傍領域内における前記注目画素と異なる色の画素の平均値との比をホワイトバランスとして算出するホワイトバランス算出部と、
前記注目画素近傍に位置する、前記注目画素と異なる色の画素の平均値に前記ホワイトバランスを乗算することで、無彩色化平均値を算出する無彩色化平均値算出部と
をさらに備え、
前記誤補正判定部は、前記無彩色化平均値、前記注目画素、および前記補正注目画素を比較することで前記誤補正判定を行なう
［１０］に記載の画像処理装置。
［１２］
前記誤補正判定部は、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値以下である場合、前記注目画素を最終的な前記注目画素として出力する
［１１］に記載の画像処理装置。
［１３］
前記誤補正判定部は、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値より大きい場合、前記補正注目画素を最終的な前記注目画素として出力する
［１１］または［１２］の何れかに記載の画像処理装置。
［１４］
前記補正部は、前記注目画素に対する欠陥画素補正処理またはノイズ除去処理を行うことで、前記注目画素を補正する
［９］乃至［１３］の何れかに記載の画像処理装置。

１１ 画像処理装置， ２２ テクスチャ方向判定部， ２３ 欠陥画素検出部、 ２４ 欠陥画素補正部， ５１−１乃至５１−４，５１ 微分値算出部， ５２ 微分値比較部， ８２ ２次微分値算出部， ８３ 微分値比較部， １１１ 微分値算出部， １１２ 補正値算出部， １５１ 平均値算出部， １５２ 欠陥画素検出部， １５３ 欠陥画素補正部， ６０１ 画像処理装置， ６１３ 誤補正判定処理部， ６７１ ホワイトバランス算出部， ６７２ 無彩色化平均値算出部， ６７３ 誤補正判定部

Claims (16)

1. 画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定する判定部と、
   前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する検出部と
   を備える画像処理装置。
2. 前記検出部は、
   前記画像上において、前記注目画素を含む前記テクスチャ方向に連続して並ぶ所定数の画素の組について、画素の画素値の２次微分値を算出する２次微分値算出部と、
   複数の異なる前記組の前記２次微分値に基づいて、前記注目画素が欠陥画素であるか否かを判定する比較部と
   を備える
   請求項１に記載の画像処理装置。
3. 前記比較部は、前記複数の異なる前記組の前記２次微分値のそれぞれが所定の閾値より大きい場合、前記注目画素が欠陥画素であると判定する
   請求項２に記載の画像処理装置。
4. 前記注目画素と同色であり、前記テクスチャ方向に並ぶ前記注目画素近傍の画素に基づいて、前記注目画素を補正する欠陥画素補正部をさらに備える
   請求項１に記載の画像処理装置。
5. 前記欠陥画素補正部は、
   前記注目画素に対して、前記テクスチャ方向と平行な第１の方向に隣接する２つの画素の微分値と、前記注目画素に対して、前記第１の方向と反対の第２の方向に隣接する２つの画素の微分値とを算出する微分値算出部と、
   前記注目画素に対して、前記第１の方向と前記第２の方向のうち、前記微分値が小さい方向に隣接する２つの画素を加重平均して補正後の前記注目画素とする補正値算出部と
   を備える
   請求項４に記載の画像処理装置。
6. 前記判定部は、前記近傍領域内の同じ方向に並ぶ画素間の微分値に基づいて、前記近傍領域における前記方向の微分値を算出し、複数の前記方向のうち、微分値が最小となる前記方向を前記テクスチャ方向とする
   請求項１に記載の画像処理装置。
7. 画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定する判定部と、
   前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する検出部と
   を備える画像処理装置の画像処理方法であって、
   前記判定部が前記テクスチャ方向を判定し、
   前記検出部が前記欠陥画素を検出する
   ステップを含む画像処理方法。
8. 画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定し、
   前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する
   ステップを含む処理をコンピュータに実行させるプログラム。
9. 各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正する補正部と、
   前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう誤補正判定部と
   を備える画像処理装置。
10. 前記誤補正判定部は、少なくとも前記注目画素近傍の前記注目画素と異なる色成分を有する画素、前記注目画素、および前記補正注目画素に基づいて前記誤補正判定を行なう
    請求項９に記載の画像処理装置。
11. 前記近傍領域内における前記注目画素と同色の画素の平均値と、前記近傍領域内における前記注目画素と異なる色の画素の平均値との比をホワイトバランスとして算出するホワイトバランス算出部と、
    前記注目画素近傍に位置する、前記注目画素と異なる色の画素の平均値に前記ホワイトバランスを乗算することで、無彩色化平均値を算出する無彩色化平均値算出部と
    をさらに備え、
    前記誤補正判定部は、前記無彩色化平均値、前記注目画素、および前記補正注目画素を比較することで前記誤補正判定を行なう
    請求項１０に記載の画像処理装置。
12. 前記誤補正判定部は、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値以下である場合、前記注目画素を最終的な前記注目画素として出力する
    請求項１１に記載の画像処理装置。
13. 前記誤補正判定部は、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値より大きい場合、前記補正注目画素を最終的な前記注目画素として出力する
    請求項１２に記載の画像処理装置。
14. 前記補正部は、前記注目画素に対する欠陥画素補正処理またはノイズ除去処理を行うことで、前記注目画素を補正する
    請求項１３に記載の画像処理装置。
15. 各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正する補正部と、
    前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう誤補正判定部と
    を備える画像処理装置の画像処理方法であって、
    前記補正部が前記注目画素に対する補正を行い、
    前記誤補正判定部が前記注目画素に対する誤補正判定を行う
    ステップを含む画像処理方法。
16. 各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正し、
    前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう
    ステップを含む処理をコンピュータに実行させるプログラム。

Images