JP2013183282A - 欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】多数の欠陥画素を正確に補正することができる装置を提供する。
【解決手段】欠陥パターン取得部は、着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する。画素選択部は、画素群において複数の欠陥画素に該当しない画素の中から１つ以上の画素を欠陥パターンに基づいて選択する。欠陥画素補正部は、選択された画素の各々を使用して前記着目した欠陥画素を補正する。
【選択図】図１

Description

本技術は、欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、撮像素子内の欠陥画素を補正するための欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。

従来、撮像素子を備える撮像装置においては、製造時や使用時に、製造不良、ゴミの混入や経年劣化などにより、撮像素子内のいくつかの画素に不具合が生じることがあった。例えば、入射光量に対する出力レベル（すなわち、感度）が正常な画素と比較して低下した画素や、遮光状態における出力レベル（すなわち、暗電流による出力レベル）が高い画素が含まれてしまうことがある。前者は画像において黒傷となり、後者は白傷となってしまう。このような不具合が生じた画素（以下、「欠陥画素」と称する。）により、画像の画質が低下する。

画質の低下を抑制するために、画像において欠陥画素を検出し、その欠陥画素の近傍の画素を使用して、欠陥画素を補正する欠陥画素検出回路が提案されている（例えば、特許文献１参照。）。この欠陥画素検出回路は、欠陥画素の近傍の画素値の平均値を算出して、その平均値で欠陥画素の画素値を置き換えることにより補正を行う。

特開平５−２６０３８５号公報

しかしながら、上述の従来技術では、欠陥画素の正確な補正が困難となってしまうおそれがあった。補正対象の欠陥画素の近傍の画素にも欠陥画素が検出された場合に、その近傍の欠陥画素が補正に使用されると不適切な画素値に補正されてしまう。そこで、補正対象の欠陥画素の近傍に欠陥画素が発生する場合には、その近傍の欠陥画素を補正において使用しないように、作業者が回路やプログラムを工場出荷時や修理時に修正しておく必要がある。ところが、欠陥画素が多いと、回路等の修正が増大し、手間や時間がかかってしまう。この結果、欠陥画素の正確な補正が困難となる。

本技術はこのような状況に鑑みて生み出されたものであり、多数の欠陥画素を正確に補正することができる装置を提供することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得部と、上記画素群において上記複数の欠陥画素に該当しない画素の中から１つ以上の画素を上記欠陥パターンに基づいて選択する画素選択部と、上記選択された画素の各々を使用して上記着目した欠陥画素を補正する欠陥画素補正部とを具備する欠陥画素補正装置、および、その制御方法である。これにより、欠陥パターンに基づいて選択された画素の使用により欠陥画素が補正されるという作用をもたらす。

また、この第１の側面において、上記着目した欠陥画素の画素値の補正値を算出するための係数を上記選択された画素ごとに補正係数として決定する補正係数決定部をさらに具備し、上記欠陥画素補正部は、上記選択した画素の各々の画素値と上記選択された画素に対応する上記補正係数とを使用して上記補正値を算出してもよい。これにより、選択された画素の各々の画素値と補正係数との使用により補正値が算出されるという作用をもたらす。

また、この第１の側面において、上記取得された欠陥パターンを記憶する欠陥パターン記憶部をさらに具備し、上記補正係数決定部は、上記欠陥パターン記憶部から読み出した上記欠陥パターンに基づいて上記補正係数を決定してもよい。これにより、欠陥パターン記憶部から読み出された欠陥パターンに基づいて補正係数が決定されるという作用をもたらす。

また、この第１の側面において、上記着目した欠陥画素の画素値の補正値を算出するための係数を上記選択された画素ごとに補正係数として記憶する補正係数記憶部をさらに具備し、上記欠陥画素補正部は、上記選択した画素の各々に対応する補正係数を上記係数記憶部から読み出して当該読み出した補正係数および上記選択した画素を使用して上記欠陥画素を補正してもよい。これにより、補正係数記憶部から読み出された補正係数および選択された画素の使用により欠陥画素が補正されるという作用をもたらす。

また、この第１の側面において、画像において欠陥画素を検出する欠陥画素検出部をさらに具備し、上記欠陥パターン取得部は、上記検出された欠陥画素を上記着目した欠陥画素として上記欠陥パターンを取得してもよい。これにより、欠陥画素が検出されるという作用をもたらす。

また、この第１の側面において、上記欠陥画素補正部は、画像において物体の境界を検出する境界検出部と、上記境界により区分される領域のうち上記着目した欠陥画素が属する領域外の画素を上記選択された画素の中から除外して残りの画素を出力する画素除外部と、上記出力された画素を使用して上記着目した欠陥画素を補正する欠陥画素補正処理部とを備えてもよい。これにより、着目された欠陥画素が属する領域外の画素が選択された画素の中から除外されるという作用をもたらす。

また、本技術の第２の側面は、欠陥画素を含む生徒画像内で着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得部と、上記欠陥画素が着目されるたびに上記画素群において上記複数の欠陥画素に該当しない画素の中から１つ以上の画素を上記欠陥パターンに基づいて選択する画素選択部と、上記欠陥画素が着目されるたびに欠陥画素を含まない教師画像内の画素のうち上記着目した欠陥画素に対応する画素の画素値を目標値として選択する目標値選択部と、上記選択された画素と当該画素ごとの補正係数とにより算出される補正値が上記目標値に一致するように上記補正係数を演算する補正係数演算部とを具備する補正係数演算装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、補正値を算出するための補正係数が演算されるという作用をもたらす。

本技術によれば、多数の欠陥画素を正確に補正することができるという優れた効果を奏し得る。

第１の実施の形態における撮像装置の一構成例を示すブロック図である。 第１の実施の形態における欠陥パターン取得部の一構成例を示すブロック図である。 第１の実施の形態における補正係数決定部の一構成例を示すブロック図である。 第１の実施の形態における欠陥パターン識別情報の一例を示す図である。 第１の実施の形態における欠陥パターン識別情報を説明するための図である。 第１の実施の形態における補正係数の一例を示す図である。 第１の実施の形態における欠陥パターンの一例を示す図である。 第１の実施の形態における欠陥画素補正処理を説明するための図である。 第１の実施の形態における欠陥画素および欠陥パターンの具体例を示す図である。 第１の実施の形態における欠陥パターン取得処理の一例を示すフローチャートである。 第１の実施の形態における変形例の欠陥パターンの一例を示す図である。 第２の実施の形態における補正係数決定部の一構成例を示すブロック図である。 第２の実施の形態における欠陥画素補正部の一構成例を示すブロック図である。 第２の実施の形態における欠陥画素ごとの補正係数の一例を示す図である。 第２の実施の形態における欠陥パターン取得処理および補正係数選択処理の一例を示すフローチャートである。 第３の実施の形態における撮像装置の一構成例を示すブロック図である。 第３の実施の形態における欠陥画素補正部の一構成例を示すブロック図である。 第３の実施の形態における選択画素指定コードの一例を示す図である。 第３の実施の形態における欠陥画素補正処理を説明するための図である。 第４の実施の形態における補正係数学習装置の一例を示すブロック図である。 第４の実施の形態における補正係数演算部の一例を示すブロック図である。 第４の実施の形態における正規方程式生成部の一例を示すブロック図である。 第４の実施の形態における行列成分合計値の一例を示す図である。 第４の実施の形態における補正係数学習処理の一例を示すフローチャートである。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（欠陥パターンを取得して撮影後に補正係数を選択する例）
２．第２の実施の形態（欠陥パターンを取得して撮影前に補正係数を選択する例）
３．第３の実施の形態（欠陥パターンを取得して画質が低下しないように補正係数を決定する例）
４．第４の実施の形態（欠陥パターンを取得して補正係数を学習する例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像を撮像する装置であり、カメラ制御部１１０、タイミング制御部１２０、撮像素子１３０、信号処理部１４０、および、Ａ／Ｄ変換部１５０を備える。また、撮像装置１００は、欠陥パターン取得部１６０、補正係数決定部１７０、欠陥画素補正部１８０、画像処理部１９０、および、画像メモリ２００を備える。

カメラ制御部１１０は、撮像装置１００全体を制御するものである。このカメラ制御部１１０は、タイミング制御部１２０を制御して画像を撮像させ、画像処理部１９０などを制御して画像に対する画像処理を実行させる。

また、カメラ制御部１１０は、欠陥パターンを取得すべきタイミングを指示するタイミング信号を欠陥パターン取得部１６０に信号線１１７を介して出力する。欠陥パターンについては、後述する。欠陥パターンを取得するタイミングとしては、ユーザの操作（シャッターボタンの押下など）による画像の撮像のタイミングと異なるタイミングが設定される。具体的には、工場出荷時、修理時、または、撮像装置１００の電源投入時や、ユーザの操作による撮像が終了したときなどである。

さらに、カメラ制御部１１０は、画素を選択するタイミングを指示するタイミング信号を補正係数決定部１７０に信号線１１８を介して出力する。ここで、「選択」とは、欠陥パターンに基づいて、画像内の画素のうち補正に使用する画素を決定することを意味する。また、カメラ制御部１１０は、選択された画素に基づいて欠陥画素を補正するタイミングを指示するタイミング信号を欠陥画素補正部１８０に信号線１１９を介して出力する。画素を選択するタイミングまたは補正するタイミングとしては、例えば、ユーザの操作による撮影のタイミングが設定される。

タイミング制御部１２０は、シャッターボタンの操作内容およびシャッタースピードに基づいて撮像素子１３０、信号処理部１４０、および、Ａ／Ｄ変換部１５０を駆動させるタイミングを制御するものである。

撮像素子１３０は、入射光を光電変換し、変換後の電気信号を信号処理部１４０に信号線１３９を介して出力するものである。この撮像素子１３０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどにより、実現することができる。

信号処理部１４０は、撮像素子１３０から供給された電気信号に対して、ＣＤＳ（Correlated Double Sampling）処理やＡＧＣ（Automatic Gain Control）処理を行うものである。信号処理部１４０は、処理後のアナログ信号をＡ／Ｄ変換部１５０に信号線１４９を介して出力する。

Ａ／Ｄ変換部１５０は、信号処理部１４０からのアナログ信号をデジタル信号に変換するものである。このＡ／Ｄ変換部１５０は、変換後のデジタル信号を画像データとして欠陥パターン取得部１６０および欠陥画素補正部１８０へ信号線１５９を介して出力する。Ａ／Ｄ変換部１５０から出力された時点の画像データにはデモザイク処理や圧縮処理などの画像処理が施されていないため、このような画像データはＲＡＷ画像データと呼ばれる。

欠陥パターン取得部１６０は、カメラ制御部１１０の制御に従って、画像データ（例えば、ＲＡＷ画像データ）内の欠陥画素の各々を補正対象として、欠陥画素ごとに欠陥パターンを取得するものである。補正において補正対象として着目した画素を以下、「着目画素」と称する。ここで、欠陥画素は、出力レベルが異常な値となる画素であり、例えば、正常な画素と比較して感度が低下した画素や、遮光状態における出力レベル（すなわち、暗電流による出力レベル）が高い画素である。また、欠陥パターンは、着目画素の補正に使用される画像群（以下、「補正ブロック」と称する。）における複数の欠陥画素の位置のパターンである。補正においては、着目画素と一定の位置関係を有する画素群（例えば、着目画素から一定距離内の画素群）が補正ブロックとして使用される。このため、着目画素ごとに異なる位置の補正ブロックが使用される。したがって、それらの補正ブロックにおいて、欠陥画素ごとに欠陥パターンが取得される。欠陥パターン取得部１６０は、欠陥画素ごとに取得した欠陥パターンを補正係数決定部１７０へ信号線１６９を介して出力する。

補正係数決定部１７０は、カメラ制御部１１０の制御に従って、補正ブロック内の欠陥画素でない画素の中から、着目画素の補正において用いる画素を欠陥パターンに基づいて１つ以上選択し、それらの画素ごとに補正係数を決定するものである。補正係数決定部１７０は、選択した画素（以下、「選択画素」と称する。）ごとに決定した補正係数を欠陥画素補正部１８０へ信号線１７９を介して出力する。ここで、補正係数は、欠陥画素の画素値の補正値を算出するための係数である。例えば、選択画素の画素値の平均値を補正値とする場合、補正係数には、全て同じ値が設定される。

欠陥画素補正部１８０は、カメラ制御部１１０の制御に従って、選択画素を使用して着目画素を補正するものである。具体的には、欠陥画素補正部は、次の式１により補正値ｑを演算して、着目画素の画素値を補正値ｑにより置き換えることにより着目画素を補正する。

式１において、ｐ_nはｎ個目の選択画素の画素値であり、ａ_nは、ｐ_nに対応する、実数の補正係数である。ｂは、実数の定数である。例えば、選択画素の画素値ｐ_nの平均値を補正値とする場合、ｐ_nには、全て同じ値が設定され、ｂには「０」が設定される。平均値で置き換える場合において、選択画素が８個であるときはａ_nの各々に「１／８」が設定される。また、選択画素が２個であるときは、選択画素に対応するａ_nの各々に「１／２」が設定される。

また、補正係数だけでは正確な補正値が算出されない場合は、ｂの値により、補正値ｑが調整される。例えば、補正ブロック内の画素の感度にばらつきがある場合は、選択画素の画素値の平均値では正確な補正値ｑが算出されないため、ｂにより補正値ｑが調整される。

欠陥画素補正部１８０は、欠陥画素を補正した画像データを画像処理部１９０へ信号線１８９を介して出力する。

画像処理部１９０は、補正された画像データに対して、カメラ制御部１１０の制御に従って、デモザイク処理やホワイトバランス調整処理などの画像処理を施すものである。画像処理部１９０は、各種の画像処理を施した画像データを画像メモリ２００に信号線１９９を介して出力する。画像メモリ２００は、画像データを記憶するものである。

［欠陥パターン取得部の構成例］
図２は、第１の実施の形態における欠陥パターン取得部１６０の一構成例を示すブロック図である。この欠陥パターン取得部１６０は、欠陥画素検出部１６１および欠陥パターン取得処理部１６２を備える。欠陥パターン取得部１６０は、例えば、撮像装置１００内の処理装置が所定のプログラムを実行することにより実現される。欠陥パターンの取得処理は、欠陥画素を検出するのみの処理と比較して、非常に複雑であり、種類も多い。このため、その処理を画像処理ＬＳＩ（Large Scale Integration）にハードウェア回路として実現する構成とすると、大きな規模の回路が必要となる。したがって、欠陥パターンの取得処理をソフトウェアにより実現することにより、ハードウェア回路の増大が抑制される。

欠陥画素検出部１６１は、画像データにおいて欠陥画素を検出するものである。欠陥画素検出部１６１は、例えば、撮像装置１００のレンズがシャッターなどにより遮光された状態で撮像された画像データにおいて、画素値が上限値以上の画素を欠陥画素として検出する。これにより検出された欠陥画素は、白傷と呼ばれる。また、欠陥画素検出部１６１は、一様な光量が入射された状態で撮像された画像データにおいて画素値が下限値未満の画素を欠陥画素として検出する。これにより検出された欠陥画素は、黒傷と呼ばれる。欠陥画素検出部は、これらの欠陥画素のアドレス（例えば、画像データにおける座標）を欠陥画素アドレスとして欠陥パターン取得処理部１６２に出力する。

なお、欠陥画素検出部１６１は、画素値の各々を上限値や下限値と比較する方法とは別の方法で欠陥画素を検出することもできる。例えば、欠陥画素検出部１６１は、ベイヤー配列に従って画素が配列した画像データのいずれかの画素に注目し、注目した注目画素の周囲の同色の画素群（以下、「検出ブロック」と称する。）において、注目画素を除く画素の平均値を算出する。検出ブロックは、例えば、注目画素の座標を（ｘ、ｙ）とした場合、（ｘ−２，ｙ−２）、（ｘ，ｙ−２）、（ｘ＋２，ｙ−２）、（ｘ−２，ｙ）、（ｘ，ｙ）、（ｘ＋２，ｙ）、（ｘ−２，ｙ＋２）、（ｘ，ｙ＋２）および（ｘ＋２，ｙ＋２）の９つの画素群である。検出ブロック内に、注目画素に隣接する画素が含まれないのは、ベイヤー配列においては、隣接した画素同士の色が異なるためである。Ｒ(Red)、Ｇ(Green)およびＢ(Blue)画素のいずれにおいても、画素の色の種類を除き、検出ブロックの形状およびサイズは同一とする。検出ブロックにおいて算出された平均値と注目画素の画素値との差分の絶対値が閾値以上である場合、欠陥画素検出部１６１は、その注目画素が欠陥画素であると判断する。

また、検出ブロック内の形状およびサイズをＲ、ＧおよびＢ画素で同一としているが、画素の色に応じて、検出ブロックの形状やサイズを切り替えてもよい。これは、ベイヤー配列においては、ＲおよびＢの画素と、Ｇの画素との画像内の個数が異なるためである。具体的には、検出対象がＲまたはＢ画素の場合、その画素を中心とする５×５の領域内においてＲおよびＢの画素はそれぞれ９個であるが、検出対象がＧ画素である場合、Ｇ画素は１３個となる。検出ブロックを切り替える場合、欠陥画素検出部１６１は、例えば、検出対象の画素がＲまたはＢ画素である場合は、５×５の領域内の９個のＲ（またはＢ）画素を検出ブロックとし、検出対象の画素がＧの画素である場合は１３個のＧ画素を検出ブロックとする。

また、欠陥画素検出部１６１は、上述の両方の検出方式を必要に応じて切り替えて欠陥画素を検出してもよい。画素値を上限値または下限値と比較する前者の方式は、工場出荷後は利用しにくいため、例えば、工場出荷時や修理時に利用される。一方、平均値との間の差分絶対値を閾値と比較する後者の方式は、例えば、撮像装置１００の電源投入時やユーザの操作による撮影終了時などにおいて利用される。

欠陥パターン取得処理部１６２は、着目画素の補正に使用される画素群（補正ブロック）において、複数の欠陥画素の位置のパターンを欠陥パターンとして検出するものである。補正ブロックは、例えば、注目画素の座標を（ｘ，ｙ）とした場合、（ｘ−２，ｙ−２）、（ｘ，ｙ−２）、（ｘ＋２，ｙ−２）、（ｘ−２，ｙ）、（ｘ，ｙ）、（ｘ＋２，ｙ）、（ｘ−２，ｙ＋２）、（ｘ，ｙ＋２）および（ｘ＋２，ｙ＋２）の９つの画素群である。Ｒ、ＧおよびＢ画素のいずれにおいても、画素の色の種類を除き、補正ブロックの形状およびサイズは同一とする。なお、補正ブロックについても、画素の色に応じて、補正ブロックの形状やサイズを切り替えてもよい。欠陥パターン取得処理部１６２は、その補正ブロック内の欠陥画素の位置のパターンが、予め定義しておいた欠陥パターンのうちのいずれに該当するかを判別する。欠陥パターン取得処理部１６２は、検出された欠陥画素の各々に着目して、それらの欠陥パターンを判別する。そして、欠陥パターン取得処理部１６２は、判別した欠陥パターンを識別するための欠陥パターン識別情報を欠陥画素ごとに補正係数決定部１７０へ出力する。なお、欠陥パターン取得処理部１６２は、特許請求の範囲における欠陥パターン取得部の一例である。

なお、欠陥パターン取得部１６０は、欠陥画素検出部１６１を備える構成としているが、欠陥画素検出部１６１に代えて、予め検出された欠陥画素のアドレスを記憶する欠陥画素記憶部を備える構成としてもよい。

また、検出ブロックおよび補正ブロックの形状やサイズは、例示した形状やサイズに限定されない。例えば、（ｘ，ｙ−２）、（ｘ−２，ｙ）、（ｘ＋２，ｙ）、（ｘ，ｙ）、および、（ｘ，ｙ＋２）の５つの画素群であってもよい。検出ブロックと補正ブロックとのサイズや形状は同一でなくともよい。

［補正係数決定部の構成例］
図３は、補正係数決定部１７０の一構成例を示すブロック図である。この補正係数決定部１７０は、欠陥パターン記憶部１７１、パターン対応補正係数記憶部１７２、および、補正係数選択部１７３を備える。

欠陥パターン記憶部１７１は、欠陥パターン取得部１６０により取得された欠陥パターンを欠陥画素ごとに記憶するものである。パターン対応補正係数記憶部１７２は、補正係数を欠陥パターンごとに記憶するものである。補正係数は、補正ブロック内の各画素について設定される。ただし、補正に使用されない画素（例えば、欠陥画素や相関度の低い画素）については、「０」の値が設定される。

補正係数選択部１７３は、ユーザの操作による撮影が行われたときに、欠陥パターンごとに補正係数を選択するものである。具体的には、補正係数選択部１７３は、欠陥パターン記憶部１７１から、欠陥画素ごとに欠陥パターンを読み出し、その欠陥パターンに対応する補正係数のセットをパターン対応補正係数記憶部１７２から読み出す。補正係数選択部１７３は、読み出した補正係数のセットを欠陥画素補正部１８０に出力する。

図４は、第１の実施の形態における欠陥パターン記憶部１７１に記憶される欠陥パターン識別情報の一例を示す図である。図４に示すように、欠陥パターン記憶部１７１においては、欠陥画素アドレスの各々に対応付けて欠陥パターン識別情報が記憶される。

図５は、第１の実施の形態における欠陥パターン識別情報を説明するための図である。欠陥パターン識別情報には、例えば、「０」乃至「３」のうちのいずれかの値が設定される。これらのうち「０」の値は、欠陥パターンが通常欠陥であることを示す。通常欠陥とは、注目画素以外の欠陥画素が補正ブロック内にない場合の欠陥パターンである。

「１」の値は、欠陥パターンが横連続型であることを示す。横連続型とは、着目画素の左右（ｘ−２，ｙ）、（ｘ＋２，ｙ）のいずれかに欠陥画素があり、且つ、着目画素の上下（ｘ，ｙ−２）、（ｘ，ｙ＋２）に欠陥画素がない場合の欠陥パターンである。

「２」の値は、欠陥パターンが縦連続型であることを示す。縦連続型とは、着目画素の上下（ｘ，ｙ−２）、（ｘ，ｙ＋２）のいずれかに欠陥画素があり、且つ、着目画素の左右（ｘ−２，ｙ）、（ｘ＋２，ｙ）に欠陥画素がない場合の欠陥パターンである。

「３」の値は、欠陥パターンがＬ字型であることを示す。Ｌ字型とは、着目画素の上下（ｘ，ｙ−２）、（ｘ，ｙ＋２）のいずれかに欠陥画素があり、且つ、着目画素の左右（ｘ−２，ｙ）、（ｘ＋２，ｙ）のいずれかに欠陥画素がある場合の欠陥パターンである。

なお、上述のいずれにも該当しない欠陥パターンが検出された場合、同じ補正係数のセットを適用できる欠陥パターンに分類される。例えば、着目画素のほかに欠陥画素が１つ検出され、その欠陥画素が、着目画素の斜め方向（（ｘ＋２，ｙ＋２）など）に位置する場合には、横連続型または縦連続型に分類される。また、欠陥パターンの種類は、４つに限定されず、４つ以外の数であってもよい。

図６は、第１の実施の形態における補正係数の一例を示す図である。例えば、ａ_１乃至ａ_８の補正係数のセットが欠陥パターンごとにパターン対応補正係数記憶部１７２に記憶される。ここで、ａ_１乃至ａ_８は、（ｘ−２，ｙ−２）、（ｘ，ｙ−２）、（ｘ＋２，ｙ−２）、（ｘ−２，ｙ）、（ｘ＋２，ｙ）、（ｘ−２，ｙ＋２）、（ｘ，ｙ＋２）および（ｘ＋２，ｙ＋２）の画素に対応する補正係数である。欠陥画素の補正において、補正係数は、対応する画素の画素値に乗算される。全ての欠陥パターンにおいて式１におけるｂの値には、「０」が設定されるものとする。なお、パターン対応補正係数記憶部１７２は、欠陥パターンごとに、ｂの値をさらに記憶してもよい。

欠陥パターンが通常画素である場合、例えば、ａ_１乃至ａ_８には、いずれも「１／８」が設定される。この場合、式１に基づいて、補正ブロック内の着目画素以外の画素の平均値が着目画素に置き換えられる。

欠陥パターンが横連続型である場合、例えば、ａ_２およびａ_７に「１／２」が設定され、他の係数には「０」が設定される。この場合、式１に基づいて、着目画素の上下の画素の平均値が着目画素に置き換えられる。

欠陥パターンが縦連続型である場合、例えば、ａ_４およびａ_５に「１／２」が設定され、他の係数には「０」が設定される。この場合、式１に基づいて、着目画素の左右の画素の平均値が着目画素に置き換えられる。

欠陥パターンがＬ字型である場合、例えば、ａ_１、ａ_３、ａ_６およびａ_８に「１／４」が設定される。この場合、式１に基づいて、着目画素の左上、右上、左下および右下の画素の平均値が着目画素に置き換えられる。

なお、補正係数は、ａ_１乃至ａ_８の８個としているが、補正係数の個数は８個に限定されない。例えば、着目画素の色に応じて、補正係数の個数を８個と１２個とで切り替えてもよい。前述したように、ベイヤー配列においては、ＲおよびＢの画素と、Ｇの画素との画像内の個数が異なるためである。具体的には、着目画素がＲまたはＢの場合、着目画素を中心とする５×５のブロック内において、着目画素と同色の他の画素は８個であるが、着目画素がＧである場合は１２個である。補正係数の個数を切り替える場合、欠陥パターン取得部１６０により、画素の色を識別するための色識別情報が欠陥画素ごとに、さらに取得される。そして、パターン対応補正係数記憶部１７２には、ＲおよびＢの欠陥画素について、８個の補正係数が欠陥パターンごとに記憶され、Ｇの欠陥画素について、１２個の補正係数が欠陥パターンごとに記憶される。補正係数選択部１７３は、着目画素の色および欠陥パターンに応じて、補正係数のセットを選択する。

図７は、第１の実施の形態における欠陥パターンの一例を示す図である。図７において、５×５画素の画素群のうち、中央の画素は着目画素である。また、５×５の画素群における着目画素と同色の画素、および、着目画素は、補正ブロック内の画素である。斜線が引かれた画素は欠陥画素である。

図７（ａ）は、通常欠陥に分類される欠陥パターンの一例を示す図である。図７（ａ）に示すように、補正ブロック内において、着目画素以外の欠陥画素がない場合、通常画素の欠陥パターンが取得される。

図７（ｂ）および（ｃ）は、横連続型に分類される欠陥パターンの一例を示す図である。図７（ｂ）に示すように、着目画素の左に欠陥画素があり、且つ、着目画素の上下に欠陥画素がない場合、横連続型の欠陥パターンが取得される。また、図７（ｃ）に示すように、着目画素の右に欠陥画素があり、且つ、着目画素の上下に欠陥画素がない場合も、横連続型の欠陥パターンが取得される。

図７（ｄ）および（ｅ）は、縦連続型に分類される欠陥パターンの一例を示す図である。図７（ｄ）に示すように、着目画素の上に欠陥画素があり、且つ、着目画素の左右に欠陥画素がない場合、縦連続型の欠陥パターンが取得される。また、図７（ｅ）に示すように、着目画素の下に欠陥画素があり、且つ、着目画素の左右に欠陥画素がない場合も、縦連続型の欠陥パターンが取得される。

図７（ｆ）は、Ｌ字型に分類される欠陥パターンの一例を示す図である。図７（ｆ）に示すように、着目画素の上に欠陥画素があり、且つ、着目画素の左に欠陥画素がある場合、Ｌ字型の欠陥パターンが取得される。

図８は、第１の実施の形態における欠陥画素補正処理を説明するための図である。また、着目画素の位置と補正ブロックの形状およびサイズとは、図６と同様である。また、丸印で囲まれた画素は、補正に使用される選択画素である。

図８（ａ）は、通常欠陥の場合の選択画素の一例を示す図である。図８（ａ）に示すように、通常欠陥の場合、補正において着目画素以外の８個の画素が選択される。図８（ｂ）および（ｃ）は、横連続型の場合の選択画素の一例を示す図である。図８（ｂ）および（ｃ）に示すように、横連続型の場合、補正において着目画素の上下の画素が選択される。図８（ｄ）および（ｅ）は、縦連続型の場合の選択画素の一例を示す図である。図８（ｄ）および（ｅ）に示すように、縦連続型の場合、補正において着目画素の左右の画素が選択される。図８（ｆ）は、Ｌ字型の場合の選択画素の一例を示す図である。図８（ｆ）に示すように、Ｌ字型の場合、補正において着目画素の左上、右上、左下および右下の画素が選択される。

図９は、第１の実施の形態において検出された欠陥画素および欠陥パターンの具体例を示す図である。図９において、点線で囲まれた領域における同色の画素は、補正ブロック内の画素である。また、丸印で囲まれた画素は、補正に使用される選択画素である。座標（０，０）乃至（６，６）の７×７の画素からなる領域において（４，２）、（２，４）および（４，４）の位置に欠陥画素が検出された場合を想定する。

（４，２）の欠陥画素に着目すると、（２，０）乃至（６，４）の５×５の領域内の同色の画素群が補正ブロックに設定される。この補正ブロックにおいて、着目画素（４，２）の下（４，４）に欠陥画素があるが、左右には欠陥画素がない。このため、欠陥画素（４，２）に対応する欠陥パターンとして、縦連続型が取得される。

また、（２，４）の欠陥画素に着目すると、（０，２）乃至（４，６）の５×５の領域内の同色の画素群が補正ブロックに設定される。この補正ブロックにおいて、着目画素（２，４）の右（４，４）に欠陥画素があるが、上下には欠陥画素がない。このため、欠陥画素（２，４）に対応する欠陥パターンとして、横連続型が取得される。

さらに、（４，４）の欠陥画素に着目すると、（２，２）乃至（６，６）の５×５の領域内の同色の画素群が補正ブロックに設定される。この補正ブロックにおいて、着目画素（４，４）の上（４，２）と左（２，４）に欠陥画素がある。このため、欠陥画素（４，４）に対応する欠陥パターンとして、Ｌ字型が取得される。

［撮像装置の動作例］
図１０は、第１の実施の形態における、欠陥パターン取得部１６０が実行する欠陥パターン取得処理の一例を示すフローチャートである。この欠陥パターン取得処理は、カメラ制御部１１０により欠陥パターンの取得のタイミングが指示されたときに開始される。

欠陥パターン取得部１６０は、撮像素子内の欠陥画素を検出する（ステップＳ９１１）。そして、欠陥パターン取得部１６０は、欠陥画素ごとに、欠陥パターンを取得する（ステップＳ９１２）。ステップＳ９１２の後、欠陥パターン取得部１６０は、欠陥パターン取得処理を終了する。

なお、欠陥パターン取得部１６０は、欠陥パターンとして、通常欠陥、横連続型、縦連続型、および、Ｌ字型を取得しているが、他の欠陥パターンを取得してもよい。例えば、図１１（ａ）に示すように、着目画素の右上、右、および、下に欠陥画素が位置するパターンを取得してもよい。この場合、例えば、着目画素の左上および右下の画素が補正において選択される。また、図１１（ｂ）に示すように、着目画素の左、上、下、および右下に欠陥画素が位置するパターンを取得してもよい。この場合、例えば、補正ブロック内の欠陥画素以外の画素が補正において選択される。

このように、本技術の第１の実施の形態によれば、撮像装置１００は、補正ブロック内の画素の中から欠陥画素に該当しない画素を欠陥パターンに基づいて選択して、選択した画素の各々を使用して着目画素を補正することができる。これにより、欠陥画素が補正に使用されることがなくなり、着目画素が正確に補正される。また、欠陥画素が多数であっても、欠陥画素の補正のための回路やプログラムを修正する必要がなくなるため、手間や時間の増大が抑制される。

＜２．第２の実施の形態＞
［補正係数決定部の構成例］
図１２は、第２の実施の形態における補正係数決定部の一構成例を示すブロック図である。上述の第１の実施の形態では、撮像装置１００が撮影前に欠陥パターンを取得しておき、撮影時に補正係数の選択および欠陥画素の補正を行う構成としていた。これに対し、第２の実施の形態の撮像装置１００は、撮影前に補正係数を選択しておき、撮影時に補正を行う点において、第１の実施の形態と異なる。第２の実施の形態の補正係数決定部１７０は、欠陥パターン記憶部１７１を備えない点において第１の実施の形態と異なる。また、第２の実施の形態の補正係数の選択処理は、ソフトウェアにより実行される点において第１の実施の形態と異なる。

［欠陥画素補正部の構成例］
図１３は、第２の実施の形態における欠陥画素補正部１８０の一構成例を示すブロック図である。欠陥画素補正部１８０は、補正係数記憶部１８１および欠陥画素補正演算部１８７を備える。

補正係数記憶部１８１は、欠陥画素ごとに補正係数のセットを記憶するものである。欠陥画素補正演算部１８７は、ユーザの操作による撮影のタイミングにおいて、欠陥画素に対応する補正係数のセットを補正係数記憶部１８１から読み出し、式１を使用して、欠陥画素を補正する。

図１４は、第２の実施の形態における、欠陥画素ごとの補正係数の一例を示す図である。補正係数記憶部１８１には、欠陥画素のアドレスごとに、補正係数ａ_１乃至ａ_８が記憶される。例えば、（４，２）の欠陥画素に対応する欠陥パターンとして縦連続型が取得された場合、縦連続型に対応する補正係数のセット（ａ_４およびａ_５のみが「１／２」のセット）が、その欠陥画素に対応付けて記憶される。

［撮像装置の動作例］
図１５は、第２の実施の形態における欠陥パターン取得処理および補正係数選択処理の一例を示すフローチャートである。第２の実施の形態では、第１の実施の形態と同様の欠陥パターン取得処理の後、補正係数選択処理が実行される。補正係数選択処理において、補正係数決定部１７０は、欠陥画素ごとに、欠陥パターンに対応する補正係数のセットを選択する（ステップＳ９１３）。ステップＳ９１３の後、補正係数決定部１７０は、補正係数選択処理を終了する。

このように、本技術の第１の実施の形態によれば、撮像装置１００は、補正係数記憶部１８１に補正係数を記憶しておくため、撮影時に、補正係数を選択する処理を行わなくても、欠陥画素を補正することができる。これにより、欠陥画素の補正処理が高速化される。

＜３．第３の実施の形態＞
［撮像装置の構成例］
図１６は、第３の実施の形態における撮像装置１００の一構成例を示すブロック図である。上述の第１の実施の形態では、補正ブロック内に物体の境界（エッジ）があるかいなかに関らず、欠陥パターンに応じて選択画素を決定していた。しかし、補正ブロック内にエッジがある場合に、欠陥パターンに応じて選択した画素が適切でないと、欠陥画素の補正により画質が低下することがある。例えば、欠陥パターンに応じて選択した画素が、エッジで区切られた２つの領域の両方に位置する場合、補正によりエッジの一部がぼやけてしまうことがある。第３の実施の形態の撮像装置１００は、エッジがぼやけないように画素を選択する点において第１の実施の形態と異なる。具体的には、第３の実施の形態の撮像装置１００は、補正係数決定部１７０の代わりに画素選択部１７５を備える点において第１の実施の形態と異なる。

画素選択部１７５は、カメラ制御部１１０の制御に従って、補正ブロック内の欠陥画素でない画素の中から、１つ以上の画素を欠陥パターンに基づいて選択するものである。画素選択部１７５を選択した画素を選択画素として欠陥画素補正部１８０に出力する。

第３の実施の形態の欠陥画素補正部１８０は、物体を検出して、その物体の領域のエッジがぼやけないように、欠陥画素を補正する。

［欠陥画素補正部の構成例］
図１７は、第３の実施の形態の欠陥画素補正部１８０の一例を示すブロック図である。この欠陥画素補正部１８０は、選択画素記憶部１８２、物体検出部１８３、不使用領域検出部１８４、使用画素決定部１８５、補正係数演算部１８６、および、欠陥画素補正演算部１８７を備える。

選択画素記憶部１８２は、選択画素の位置を指定する選択画素指定コードを欠陥画素ごとに記憶するものである。選択画素指定コードは、例えば、補正ブロック内の着目画素以外の画素数（例えば、８）のビットからなるコードである。この選択画素指定コードにおいて、ビットの各々には着目画素以外の画素が対応付けられ、選択画素に対応するビットに「１」の値が設定され、それ以外の画素に「０」が設定される。

物体検出部１８３は、画像データにおいて、物体の領域の境界を検出するものである。物体検出部１８３は、例えば、物体のテンプレートの画像データを記憶しておき、そのテンプレートと同じサイズの検出領域を、入力された画像データ内で移動させて、検出領域とテンプレートとを照合するテンプレートマッチングにより、物体を検出する。なお、物体検出部１８３は、テンプレートマッチング以外の方法を使用して物体の境界（エッジ）を検出してもよい。例えば、物体検出部１８３は、ゾーベルフィルタやラプラシアンフィルタなどのエッジフィルタを使用して、物体を検出せずに、直接、エッジを求めてもよい。物体検出部１８３は、検出した物体の領域を示す物体領域情報を不使用領域検出部１８４に供給する。物体領域情報は、例えば、物体の領域内の画素値を「１」の値に、それ以外の領域の画素値を「０」に設定した２値の画像データである。

なお、物体検出部１８３は、特許請求の範囲における境界検出部の一例である。

不使用領域検出部１８４は、物体領域情報および欠陥画素アドレスに基づいて、選択画素のうち補正に使用しない画素を欠陥画素毎に選択するものである。具体的には、不使用領域検出部１８４は、欠陥画素の各々に着目して、補正ブロックにおいて、物体の境界により区分される領域のうち、着目した欠陥画素が含まれる領域外の画素を不使用画素とする。不使用領域検出部１８４は、使用しない画素を不使用画素として指定する不使用画素指定コードを使用画素決定部１８５に出力する。不使用画素指定コードは、例えば、選択画素指定コードと同じビット数のコードである。この不使用画素指定コードにおいて、不使用画素に対応するビットに「１」が設定され、それ以外の画素に「０」が設定される。

使用画素決定部１８５は、選択画素のうち、不使用画素を除外して、残りの画素を使用画素として欠陥画素毎に決定するものである。具体的には、使用画素決定部１８５は、選択画素指定コードにおいて、不使用画素指定コードで「１」の値が設定されたビットをマスクして補正係数演算部１８６に出力する。

なお、不使用領域検出部１８４および使用画素決定部１８５は、特許請求の範囲における画素除外部の一例である。

補正係数演算部１８６は、不使用画素ごとに、補正係数の各々を演算するものである。例えば、補正係数演算部１８６は、選択画素指定コード内の「１」の値のビット数により１を除した値を演算して、その値を選択画素指定コードにより指定された画素の各々の補正係数とする。補正係数演算部１８６は演算した補正係数を欠陥画素補正演算部１８７に供給する。欠陥画素補正演算部１８７は、補正係数に基づき、式１を使用して欠陥画素を補正する。

なお、補正係数演算部１８６は、特許請求の範囲における補正係数決定部の一例である。欠陥画素補正演算部１８７は、特許請求の範囲における欠陥画素補正処理部の一例である。

図１８は、第３の実施の形態における選択画素指定コードの一例を示す図である。選択画素指定コードは、例えば、ｂ_１乃至ｂ_８の８ビットからなるコードである。これらのｂ_１乃至ｂ_８は、着目画素の座標を（ｘ，ｙ）として、（ｘ−２，ｙ−２）、（ｘ，ｙ−２）、（ｘ＋２，ｙ−２）、（ｘ−２，ｙ）、（ｘ＋２，ｙ）、（ｘ−２，ｙ＋２）、（ｘ，ｙ＋２）および（ｘ＋２，ｙ＋２）の画素に対応するビットである。画素が選択された場合に、その画素に対応するビットに「１」の値が設定され、選択されない場合に「０」の値が設定される。なお、撮像装置１００は、選択画素の位置を特定することができるデータであれば、選択画素指定コード以外の形式のデータを記憶してもよい。例えば、撮像装置１００は、選択画素指定コードに代えて、選択画素の各々の絶対座標、または、着目画素を基準とした選択画素の各々の相対座標を記憶してもよい。

［撮像装置の動作例］
図１９は、第３の実施の形態における欠陥画素補正処理を説明するための図である。図１９において、着目画素の位置と補正ブロックの形状およびサイズとは、図６と同様である。また、実線の丸印で囲まれた画素は、不使用画素を除いた残りの選択画素である。点線の丸印で囲まれた画素は、不使用画素である。実線の直線は、物体の境界である。

（２，２）の座標が着目画素であり、対応する欠陥パターンがＬ字型であり、物体の境界は、ｘ＝３とｘ＝４の間である場合について考える。この場合、補正ブロックにおいて、境界で区分される領域のうち、着目画素が属する領域外の選択画素である（４，０）および（４，４）の画素が不使用画素とされる。そして、これらの不使用画素を除いた残りの選択画素（０，０）および（０，４）の画素により、着目画素が補正される。

このように、本技術の第３の実施の形態によれば、撮像装置１００は、物体の境界により区分される領域のうち着目画素が属する領域外の画素を選択画素の中から除外して、残りの画素を使用して着目画素を補正することができる。これにより、補正において物体の境界がぼやけることがなくなるため、補正後の画像の画質が向上する。

＜４．第４の実施の形態＞
［補正係数学習装置の構成例］
図２０は、第４の実施の形態における補正係数学習装置３００の一例である。この補正係数学習装置３００は、入力された教師画像および生徒画像から、補正係数を学習する装置である。ここで、教師画像は、欠陥画素を含まない画像である。生徒画像は、教師画像と同じ画像において、撮像装置１００内の撮像素子１３０における欠陥画素と同じ位置に欠陥画素を設けた画像である。教師画像および生徒画像は、それぞれ１枚以上が補正係数学習装置３００に入力される。それぞれの生徒画像においては、複数の欠陥画素が設けられる。補正係数学習装置３００は、生徒画像内の欠陥画素の各々を検出して、その欠陥画素を補正した値と、教師画像において欠陥画素に対応する画素の画素値とが一致するように、補正係数を学習する。具体的には、補正係数学習装置３００は、欠陥画素検出部３１０、欠陥パターン取得処理部３２０、パターン対応選択画素記憶部３３０、画素選択部３４０、目標値選択部３５０、補正係数演算部３６０およびパターン対応補正係数記憶部３７０を備える。

欠陥画素検出部３１０および欠陥パターン取得処理部３２０の構成は、第１の実施の形態の欠陥画素検出部１６１および欠陥パターン取得処理部１６２と同様の構成である。第４の実施形態において、欠陥画素検出部３１０は生徒画像内の欠陥画素を検出し、欠陥パターン取得処理部３２０は、欠陥パターンを欠陥画素ごとに取得して画素選択部３４０に供給する。

パターン対応選択画素記憶部３３０は、欠陥パターンごとに選択画素指定コードを記憶するものである。第４の実施形態の選択画素指定コードのデータ構造は、図１８に例示した第３の実施の形態と同様である。

画素選択部３４０は、補正ブロック内の欠陥画素でない画素の中から、１つ以上の画素を欠陥パターンに基づいて選択するものである。具体的には、画素選択部３４０は、欠陥パターンに対応する選択画素指定コードを欠陥画素ごとにパターン対応選択画素記憶部３３０から信号線３３９を介して読み出す。そして、画素選択部３４０は、着目した欠陥画素のアドレスを目標値選択部３５０に信号線３４７を介して供給する。また、画素選択部３４０は、生徒画像における選択画素の画素値と欠陥パターンとを補正係数演算部３６０に信号線３４８および３４９を介して供給する。

目標値選択部３５０は、教師画像において、欠陥画素に対応する画素の画素値を目標値として選択して補正係数演算部３６０に信号線３５９を介して供給するものである。

補正係数演算部３６０は、選択画素の画素値と、選択画素ごとの補正係数とにより算出される補正値が、目標値に一致するように補正係数の各々を演算するものである。例えば、補正係数演算部３６０は、後述する正規方程式を生成して、その正規方程式を解くことにより補正係数のセットを求める。

正規方程式の導出方法について説明する。生徒画像において、算出された欠陥画素の個数をＫ個とする。欠陥画素ごとの選択画素のセットを以下、サンプルと称する。Ｋ個の欠陥画素が検出された場合、Ｋ個のサンプルとＫ個の目標値とが補正係数演算部３６０に供給される。Ｋ個のうち、ｋ個目のサンプルから求めた補正値と目標値との間の差分ｅ_ｋは、次の式２により求められる。

式２において、ｑ_ｋは、ｋ個目の目標値である。ｑ_ｋ'は、ｋ個目のサンプルにより式１から求められた補正値である。ｂ＝０とした場合、画素値ｐ_nをｋ個目の画素値ｐ_{ｎ_k}に置き換えた式１の右辺を式２のｑ_ｋ'に代入することにより、次の式３が得られる。

最小二乗法において、最適な補正係数のセットは、次の式４で表わされる二乗和Ｅを最小にすることで求められる。

この式４における二乗和Ｅを最小にする補正係数の値は、その補正係数による二乗和Ｅの偏微分が０になるときの値である。次の式５は、二乗和Ｅを補正係数ａ_１乃至ａ_８のそれぞれで偏微分したものである。

この式５を満たす補正係数が最適な補正係数である。式５の両辺を２で除することにより次の式６が得られる。

ここで、式３を補正係数ａ_１乃至ａ_８のそれぞれで偏微分すると、次の式７が得られる。

式７を式６に代入することにより、次の式８が得られる。

そして、この式８のe_ｋに式３の右辺を代入することにより、次の式９が得られる。

式９を変形することにより、次の式１０が得られる。

式１０は、行列を用いて、正規方程式である次の式１１で表される。

式１１は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、それぞれの補正係数について解くことができる。これにより、補正値と目標値との間の差分が最小となる補正係数が求められる。

なお、式１１は、式１においてｂ＝０とした場合の正規方程式であるが、補正係数演算部３６０は、ｂをさらに算出してもよい。ｂを求める場合は、式１１に代えて、次の式１２が用いられる。

補正係数演算部３６０は、欠陥パターンごとに、補正係数のセットを演算してパターン対応補正係数記憶部３７０に保存する。

パターン対応補正係数記憶部３７０に記憶された補正係数は、撮像装置１００内のパターン対応補正係数記憶部１７２に出力される。

なお、補正係数学習装置３００は、特許請求の範囲における補正係数演算装置の一例である。

図２１は、第４の実施の形態における補正係数演算部３６０の一構成例を示すブロック図である。補正係数演算部３６０は、正規方程式生成部３６１、統計処理部３６２、統計結果記憶部３６３、および、補正係数演算処理部３６４を備える。

正規方程式生成部３６１は、選択画素の画素値（サンプル）と、目標値ｑとが入力されるたびに、式１１に例示した正規方程式の行列成分を生成するものである。正規方程式生成部３６１は、生成した行列成分を統計処理部３６２に出力する。

統計処理部３６２は、欠陥パターンが同一の行列成分の各々の合計値を演算して統計結果記憶部３６３に記憶するものである。統計処理部３６２は、全ての生徒画像において統計処理が終了したとき、統計処理が終了した旨を補正係数演算処理部３６４に通知する。統計結果記憶部３６３は、欠陥パターンごとに、行列成分の合計値を記憶するものである。

補正係数演算処理部３６４は、統計が終了した場合に、行列成分の合計値に基づいて、式１１に例示した正規方程式を使用して、補正係数a_１乃至ａ_８を欠陥パターンごとに演算してパターン対応補正係数記憶部３７０に出力するものである。

図２２は、第４の実施の形態における正規方程式生成部３６１の一例を示すブロック図である。正規方程式生成部３６１は、乗算器４１１乃至４１８、乗算器４２１乃至４２８、乗算器４３１乃至４３８、乗算器４４１乃至４４８、乗算器４５１乃至４５８、乗算器４６１乃至４６８、乗算器４７１乃至４７８および乗算器４８１乃至４８８を備える。ただし、図２３では、乗算器４３１乃至４３８、乗算器４４１乃至４４８、乗算器４５１乃至４５８、乗算器４６１乃至４６８および乗算器４７１乃至４７８は省略されている。また、正規方程式生成部３６１は、乗算器４９１乃至４９８を備える。乗算器４１１乃至４１８は、画素値ｐ_１と、ｐ_１乃至ｐ_８とを乗算した結果であるｐ_１ｐ_１乃至ｐ_１ｐ_１３を、正規方程式の左辺第１行ベクトルの行列成分として出力する。乗算器４２１乃至４２８は、ｐ_２ｐ_１乃至ｐ_２ｐ_１３を、正規方程式の左辺第２行ベクトルの行列成分として出力する。乗算器４３１乃至４３８、乗算器４４１乃至４４８、乗算器４５１乃至４５８、乗算器４６１乃至４６８、乗算器４７１乃至４７８および乗算器４８１乃至４８８は、左辺第３乃至８行ベクトルを出力する。乗算器４９１乃至４９８は、目標値ｑと、ｐ_１乃至ｐ_８とを乗算した結果であるｐ_１ｑ乃至ｐ_８ｑを、正規方程式の右辺第１列ベクトルの行列成分として出力する。

図２３は、第４の実施の形態の統計結果記憶部３６３における行列成分の合計値の一例を示す図である。図２３に示すように、欠陥パターンごとに、欠陥画素の各々についての行列成分が足しこまれて、行政成分の合計値が求められる。詳細には、上記式１１の左辺第１行ベクトルから左辺第８行ベクトルまでと、右辺第１列ベクトルとについて行列成分の合計値が求められる。

［補正係数学習装置の構成例］
図２４は、第４の実施の形態における補正係数学習処理の一例を示すフローチャートである。この補正係数学習処理は、例えば、生徒画像および教師画像が入力されたときに開始する。補正係数学習装置３００は、生徒画像において欠陥画素を検出する（ステップＳ９５１）。そして、補正係数学習装置３００は、欠陥画素ごとに欠陥パターンを取得する（ステップＳ９５２）。補正係数学習装置３００は、欠陥パターンに基づいて、補正ブロック内の画素を欠陥画素ごとに選択する（ステップＳ９５３）。また、補正係数学習装置３００は、生徒画像内の欠陥画素に対応する教師画像内の画素の画素値を目標値として取得する（ステップＳ９５４）。補正係数学習装置３００は、式１１を使用して、選択画素の画素値と目標値とから補正係数を欠陥パターンごとに演算する（ステップＳ９５５）。ステップＳ９５５の後、補正係数学習装置３００は、補正係数学習処理を終了する。

このように、本技術の第４の実施の形態によれば、補正係数学習装置３００は、欠陥画素が着目されるたびに、欠陥パターンに基づいて画素を選択し、欠陥画素の目標値を選択し、選択画素と補正係数とから補正係数を演算することができる。これにより、最適な補正係数が演算される。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

なお、本技術は以下のような構成もとることができる。
（１）着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得部と、
前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択部と、
前記選択された画素の各々を使用して前記着目した欠陥画素を補正する欠陥画素補正部と
を具備する欠陥画素補正装置。
（２）前記着目した欠陥画素の画素値の補正値を算出するための係数を前記選択された画素ごとに補正係数として決定する補正係数決定部をさらに具備し、
前記欠陥画素補正部は、前記選択した画素の各々の画素値と前記選択された画素に対応する前記補正係数とを使用して前記補正値を算出する
前記（１）記載の欠陥画素補正装置。
（３）前記取得された欠陥パターンを記憶する欠陥パターン記憶部をさらに具備し、
前記補正係数決定部は、前記欠陥パターン記憶部から読み出した前記欠陥パターンに基づいて前記補正係数を決定する
前記（２）記載の欠陥画素補正装置。
（４）前記着目した欠陥画素の画素値の補正値を算出するための係数を前記選択された画素ごとに補正係数として記憶する補正係数記憶部をさらに具備し、
前記欠陥画素補正部は、前記選択した画素の各々に対応する補正係数を前記係数記憶部から読み出して当該読み出した補正係数および前記選択した画素を使用して前記欠陥画素を補正する
前記（１）記載の欠陥画素補正装置。
（５）画像において欠陥画素を検出する欠陥画素検出部をさらに具備し、
前記欠陥パターン取得部は、前記検出された欠陥画素を前記着目した欠陥画素として前記欠陥パターンを取得する
前記（１）乃至（４）のいずれか記載の欠陥画素補正装置。
（６）前記欠陥画素補正部は、
画像において物体の境界を検出する境界検出部と、
前記境界により区分される領域のうち前記着目した欠陥画素が属する領域外の画素を前記選択された画素の中から除外して残りの画素を出力する画素除外部と、
前記出力された画素を使用して前記着目した欠陥画素を補正する欠陥画素補正処理部と
を備える前記（１）乃至（６）のいずれかに記載の欠陥画素補正装置。
（７）欠陥パターン取得部が、着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得手順と、
画素選択部が、前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択手順と、
欠陥画素補正部が、前記選択された画素の各々を使用して前記着目した欠陥画素を補正する欠陥画素補正手順と
を具備する欠陥画素補正装置の制御方法。
（８）欠陥画素を含む生徒画像内で着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得部と、
前記欠陥画素が着目されるたびに前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択部と、
前記欠陥画素が着目されるたびに欠陥画素を含まない教師画像内の画素のうち前記着目した欠陥画素に対応する画素の画素値を目標値として選択する目標値選択部と、
前記選択された画素と当該画素ごとの補正係数とにより算出される補正値が前記目標値に一致するように前記補正係数を演算する補正係数演算部と
を具備する補正係数演算装置。
（９）欠陥パターン取得部が、欠陥画素を含む生徒画像内で着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得手順と、
画素選択部が、前記欠陥画素が着目されるたびに前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択手順と、
目標値選択部が、前記欠陥画素が着目されるたびに欠陥画素を含まない教師画像内の画素のうち前記着目した欠陥画素に対応する画素の画素値を目標値として選択する目標値選択手順と、
補正係数演算部が、前記選択された画素と当該画素ごとの補正係数とにより算出される補正値が前記目標値に一致するように前記補正係数を演算する補正係数演算手順と
を具備する補正係数演算装置の制御方法。
（１０）欠陥パターン取得部が、欠陥画素を含む生徒画像内で着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得手順と、
画素選択部が、前記欠陥画素が着目されるたびに前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択手順と、
目標値選択部が、前記欠陥画素が着目されるたびに欠陥画素を含まない教師画像内の画素のうち前記着目した欠陥画素に対応する画素の画素値を目標値として選択する目標値選択手順と、
補正係数演算部が、前記選択された画素と当該画素ごとの補正係数とにより算出される補正値が前記目標値に一致するように前記補正係数を演算する補正係数演算手順と
をコンピュータに実行させるためのプログラム。

１００ 撮像装置
１１０ カメラ制御部
１２０ タイミング制御部
１３０ 撮像素子
１４０ 信号処理部
１５０ Ａ／Ｄ変換部
１６０ 欠陥パターン取得部
１６１、３１０ 欠陥画素検出部
１６２、３２０ 欠陥パターン取得処理部
１７０ 補正係数決定部
１７１ 欠陥パターン記憶部
１７２、３７０ パターン対応補正係数記憶部
１７３ 補正係数選択部
１７５、３４０ 画素選択部
１８０ 欠陥画素補正部
１８１ 補正係数記憶部
１８２ 選択画素記憶部
１８３ 物体検出部
１８４ 不使用領域検出部
１８５ 使用画素決定部
１８６、３６０ 補正係数演算部
１８７ 欠陥画素補正演算部
１９０ 画像処理部
２００ 画像メモリ
３００ 補正係数学習装置
３３０ パターン対応選択画素記憶部
３５０ 目標値選択部
３６１ 正規方程式生成部
３６２ 統計処理部
３６３ 統計結果記憶部
３６４ 補正係数演算処理部
４１１〜４１８、４２１〜４２８、４３１〜４３８、４４１〜４４８、４５１〜４５８、４６１〜４６８、４７１〜４７８、４８１〜４８８、４９１〜４９８ 乗算器

Claims (10)

1. 着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得部と、
   前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択部と、
   前記選択された画素の各々を使用して前記着目した欠陥画素を補正する欠陥画素補正部と
   を具備する欠陥画素補正装置。
2. 前記着目した欠陥画素の画素値の補正値を算出するための係数を前記選択された画素ごとに補正係数として決定する補正係数決定部をさらに具備し、
   前記欠陥画素補正部は、前記選択した画素の各々の画素値と前記選択された画素に対応する前記補正係数とを使用して前記補正値を算出する
   請求項１記載の欠陥画素補正装置。
3. 前記取得された欠陥パターンを記憶する欠陥パターン記憶部をさらに具備し、
   前記補正係数決定部は、前記欠陥パターン記憶部から読み出した前記欠陥パターンに基づいて前記補正係数を決定する
   請求項２記載の欠陥画素補正装置。
4. 前記着目した欠陥画素の画素値の補正値を算出するための係数を前記選択された画素ごとに補正係数として記憶する補正係数記憶部をさらに具備し、
   前記欠陥画素補正部は、前記選択した画素の各々に対応する補正係数を前記係数記憶部から読み出して当該読み出した補正係数および前記選択した画素を使用して前記欠陥画素を補正する
   請求項１記載の欠陥画素補正装置。
5. 画像において欠陥画素を検出する欠陥画素検出部をさらに具備し、
   前記欠陥パターン取得部は、前記検出された欠陥画素を前記着目した欠陥画素として前記欠陥パターンを取得する
   請求項１記載の欠陥画素補正装置。
6. 前記欠陥画素補正部は、
   画像において物体の境界を検出する境界検出部と、
   前記境界により区分される領域のうち前記着目した欠陥画素が属する領域外の画素を前記選択された画素の中から除外して残りの画素を出力する画素除外部と、
   前記出力された画素を使用して前記着目した欠陥画素を補正する欠陥画素補正処理部と
   を備える請求項１記載の欠陥画素補正装置。
7. 欠陥パターン取得部が、着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得手順と、
   画素選択部が、前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択手順と、
   欠陥画素補正部が、前記選択された画素の各々を使用して前記着目した欠陥画素を補正する欠陥画素補正手順と
   を具備する欠陥画素補正装置の制御方法。
8. 欠陥画素を含む生徒画像内で着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得部と、
   前記欠陥画素が着目されるたびに前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択部と、
   前記欠陥画素が着目されるたびに欠陥画素を含まない教師画像内の画素のうち前記着目した欠陥画素に対応する画素の画素値を目標値として選択する目標値選択部と、
   前記選択された画素と当該画素ごとの補正係数とにより算出される補正値が前記目標値に一致するように前記補正係数を演算する補正係数演算部と
   を具備する補正係数演算装置。
9. 欠陥パターン取得部が、欠陥画素を含む生徒画像内で着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得手順と、
   画素選択部が、前記欠陥画素が着目されるたびに前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択手順と、
   目標値選択部が、前記欠陥画素が着目されるたびに欠陥画素を含まない教師画像内の画素のうち前記着目した欠陥画素に対応する画素の画素値を目標値として選択する目標値選択手順と、
   補正係数演算部が、前記選択された画素と当該画素ごとの補正係数とにより算出される補正値が前記目標値に一致するように前記補正係数を演算する補正係数演算手順と
   を具備する補正係数演算装置の制御方法。
10. 欠陥パターン取得部が、欠陥画素を含む生徒画像内で着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得手順と、
    画素選択部が、前記欠陥画素が着目されるたびに前記画素群において前記複数の欠陥画素に該当しない画素の中から１つ以上の画素を前記欠陥パターンに基づいて選択する画素選択手順と、
    目標値選択部が、前記欠陥画素が着目されるたびに欠陥画素を含まない教師画像内の画素のうち前記着目した欠陥画素に対応する画素の画素値を目標値として選択する目標値選択手順と、
    補正係数演算部が、前記選択された画素と当該画素ごとの補正係数とにより算出される補正値が前記目標値に一致するように前記補正係数を演算する補正係数演算手順と
    をコンピュータに実行させるためのプログラム。

Images