JP2004235980A

JP2004235980A - Defective pixel correction system, defective pixel correction method, and defective pixel correction program

Info

Publication number: JP2004235980A
Application number: JP2003022162A
Authority: JP
Inventors: Shinichi Arasaki; 真一荒崎
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-01-30
Filing date: 2003-01-30
Publication date: 2004-08-19

Abstract

<P>PROBLEM TO BE SOLVED: To provide a defective pixel correction system capable of calculating a correction value of an output value of a defective pixel by using less hardware resource and less computational effort. <P>SOLUTION: Provided is the defective pixel correction system for correcting a value of a defective pixel of an area sensor 102 wherein pixels for detecting light are two-dimensionally arranged, which includes: an interpolation coefficient setting means for setting an interpolation coefficient for applying a weight to a value of another pixel or more on a line including a defective pixel to each pixel; and a correction means for correcting the value of the defective pixel by summing the value of the other pixel or more on the line including the defective pixel and multiplied with the interpolation coefficient set by each pixel to correct the value of the defective pixel. Moreover, the other one pixel or more on the line including the defective pixel are used for a reference pixel, when other defective pixel exists in the reference pixels. The interpolation coefficient setting means decreases the number of reference pixels by a prescribed number and sets the interpolation coefficient to apply weighting to the value of the reference pixel for each reference pixel. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラムに関し、特に、エリアセンサの欠陥画素の出力値を同一ライン上の他の画素の値に基づいて補正する欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラムに関する。
【０００２】
【従来の技術】
エリアセンサは、光を電気信号に変換する素子（画素）の集合体であるが、エリアセンサを構成する画素の中には、正常な値を出力しない（期待される値から大きくはずれた値を出力する）ものがある。これらの画素は欠陥画素と呼ばれる。
欠陥画素の値を補正する方法としては、周囲の正常な画素（参照画素）の出力値から欠陥画素の出力値として予測される値により置き換えられる方法がある。具体的には、参照画素が欠陥画素であった場合、その画素を用いない、或いは他の画素で代用する処理を行うもの（例えば、特許文献１参照）や、欠陥画素の上下左右斜めの画素のうち、その出力値の変化量が少ない組み合わせを選択して欠陥画素の出力値を算出することにより、自動的に欠陥画素の参照が省かれるもの（例えば、特許文献２参照）がある。
【０００３】
【特許文献１】
特開２０００−２４４８２３号公報（図１）
【特許文献２】
特開２００１−３０７０７９号公報（図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の発明は、単純に欠陥画素を省くと、エッジ部分などで不自然さが際立った補正がなされる可能性があるという問題があった。また、他の画素で代用する場合でも、隣接画素に対して離れた位置にある画素を用いることになるため、目的とする欠陥画素への情報の反映が少なくなる可能性があるという問題があった。
また、特許文献２に記載の発明は、自動的に、より適切な画素が参照画素として選択されるものの、必ず複数のラインメモリが必要になるという問題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、欠陥画素の出力値をより少ないハードウェア資源を用いてより少ない計算量で算出することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の欠陥画素補正システムは、光を検出する画素が二次元的に配列されたエリアセンサの欠陥画素の値を補正する欠陥画素補正システムであって、前記欠陥画素を含むライン上の他の１または複数の画素の値に対して、重み付けをするための補間係数を、前記画素毎に設定する補間係数設定手段と、前記欠陥画素を含むライン上の他の１または複数の画素の値に、各画素毎に設定された前記補間係数を乗じたものを加算して、前記欠陥画素の値を補正する補正手段とを備えることを特徴とするものである。従って、同一ライン上の画素のみを用い、ラインメモリを用いることなく欠陥画素の値を算出することができる。
【０００７】
請求項２に記載の欠陥画素補正システムは、その補間係数設定手段によって設定される前記画素毎の補間係数を、前記欠陥画素を含むライン上の他の１または複数の前記画素のパターン毎に予め記憶する補間係数記憶手段をさらに備え、前記補間係数設定手段は、前記補間係数記憶手段から、各画素のパターンに対応する各画素の前記補間係数を読み出し、各画素毎に補間係数を設定することができる。従って、欠陥画素を含むライン上の他の１または複数の画素のパターンに応じて、迅速に補間係数を設定することができる。
【０００８】
請求項３に記載の欠陥画素補正方法は、前記欠陥画素を含むライン上の他の１または複数の画素を参照画素とし、補間係数設定手段は、前記参照画素の中に他の欠陥画素が存在する場合、前記参照画素の数を所定数だけ減らし、前記参照画素の値に対して、重み付けをするための補間係数を、前記参照画素毎に設定することができる。従って、参照画素に欠陥画素が含まれる場合でも、欠陥画素を補正することができる。
【０００９】
請求項４に記載の欠陥画素補正方法は、光を検出する画素が二次元的に配列されたエリアセンサの欠陥画素の値を補正する欠陥画素補正方法であって、前記欠陥画素を含むライン上の他の１または複数の画素の値に対して、重み付けをするための補間係数を、前記画素毎に設定する補間係数設定ステップと、前記欠陥画素を含むライン上の他の１または複数の画素の値に、各画素毎に設定された前記補間係数を乗じたものを加算して、前記欠陥画素の値を補正する補正ステップとを備えることを特徴とするものである。従って、同一ライン上の画素のみを用い、ラインメモリを用いることなく欠陥画素の値を算出することができる。
【００１０】
請求項５に記載の欠陥画素補正プログラムは、光を検出する画素が二次元的に配列されたエリアセンサの欠陥画素の値を補正する欠陥画素補正システムを制御するものであって、前記欠陥画素を含むライン上の他の１または複数の画素の値に対して、重み付けをするための補間係数を、前記画素毎に設定する補間係数設定ステップと、前記欠陥画素を含むライン上の他の１または複数の画素の値に、各画素毎に設定された前記補間係数を乗じたものを加算して、前記欠陥画素の値を補正する補正ステップとを前記欠陥画素補正システムに実行させることを特徴とするものである。従って、同一ライン上の画素のみを用い、ラインメモリを用いることなく欠陥画素の値を算出することができる。
【００１１】
【発明の実施の形態】
図１は、本発明の欠陥画素補正システムを応用した一実施の形態の構成例を示すブロック図である。同図に示すように、本実施の形態は、光を集光し、後述するエリアセンサ１０２上に被写体の画像を結像させるレンズ１０１と、レンズ１０１により集光され、結像した被写体の画像に対応する信号を出力するエリアセンサ１０２と、エリアセンサ１０２を制御するセンサ制御部１０３と、エリアセンサ１０２からの出力信号に基づいて、欠陥画素の出力値の補正を行う欠陥補正部（補間係数設定手段、補正手段、係数係数記憶手段）１０４と、欠陥補正部１０４からの出力信号に基づいて、色補間等の各種処理を実行する画像処理部１０５とから構成されている。
【００１２】
図２は、エリアセンサ１０２を構成する素子（画素）の一部分の配列を示している。エリアセンサ１０２は、赤（Ｒ）の光を検出し、光の強度に対応する大きさの電気信号に変換して出力する素子（以下では適宜、画素と記載し、素子の出力値を画素の値と記載する）と、緑（Ｇ）の光を検出し、光の強度に対応する大きさの電気信号に変換して出力する素子と、青（Ｂ）の光を検出し、光の強度に対応する大きさの電気信号に変換して出力する素子とからなり、各素子は、例えば、図２に示すように格子状に配列されている。図２において、Ｒ１１，Ｒ１３、・・・は、赤の光を検出する画素であり、「Ｒ」は赤を示し、「１１」、「１３」はエリアセンサ１０２上での位置を示している。Ｇ１２，Ｇ１４、・・・は、緑の光を検出する画素であり、「Ｇ」は緑を示し、「１２」、「１４」はエリアセンサ１０２上での位置を示している。Ｂ２２，Ｂ２４、・・・は、青の光を検出する画素であり、「Ｂ」は青を示し、「２２」、「２４」はエリアセンサ１０２上での位置を示している。また、計算式においてＲ１１等を用いたときは、Ｒ１１等に対応する画素の値を表すものとする。
【００１３】
本実施の形態では、欠陥補正部１０４は、欠陥画素を含むライン上にある他の１または複数の近傍の画素の値を利用して、欠陥画素の値を補正する。以下では、欠陥画素の補正に用いる他の画素を参照画素と記載する。欠陥画素の補正に用いる参照画素が、欠陥画素の左に位置する直近の１画素である場合、補間係数の値は１．０となる。例えば、図２において、画素（Ｒ３７）が欠陥画素であるとすると、欠陥画素（Ｒ３７）の値を同一ライン上の左に位置する直近の参照画素（Ｒ３５）の値に基づいて、次式（１）に従って補正する。
【００１４】
Ｒ３７ ← Ｒ３５×１．０・・・式（１）
【００１５】
また、欠陥画素の補正に用いる参照画素が、欠陥画素の左に位置する直近の１画素（Ｒ３５）と右に位置する直近の１画素（Ｒ３９）である場合、補間係数の値は、左に位置する参照画素に対しては０．５が設定され、右に位置する画素に対しては０．５が設定される。そして、次式（２）に従って、欠陥画素の補正が行われる。
【００１６】
Ｒ３７ ← Ｒ３５×０．５＋Ｒ３９×０．５・・・式（２）
【００１７】
また、欠陥画素の補正に用いる参照画素が、欠陥画素の左に位置する直近の２画素（Ｒ３３，Ｒ３５）と右に位置する直近の１画素（Ｒ３９）である場合、補間係数の値は、最も左に位置する参照画素（Ｒ３３）に対しては−０．３３３・・・（＝１／３）が設定され、次の左に位置する参照画素（Ｒ３５）に対しては１．０が設定される。また、右に位置する参照画素（Ｒ３９）に対しては０．３３３・・・（＝１／３）が設定される。そして、次式（３）に従って、欠陥画素の補正が行われる。
【００１８】
Ｒ３７ ← Ｒ３３×（−０．３３３）＋Ｒ３５×１．０＋Ｒ３９×０．３３３・・・式（３）
【００１９】
また、欠陥画素の補正に用いる参照画素が、欠陥画素の左に位置する直近の２画素（Ｒ３３，Ｒ３５）と右に位置する直近の２画素（Ｒ３９，Ｒ３ｂ）である場合、補間係数の値は、最も左に位置する参照画素（Ｒ３３）に対しては−０．１６６・・・（＝１／６）が設定され、次の左に位置する参照画素（Ｒ３５）に対しては０．６６６・・・（＝１／１．５）が設定される。また、右に位置する参照画素（Ｒ３９）に対しては０．６６６・・・（＝１／１．５）が設定され、最も右に位置する参照画素（Ｒ３ｂ）に対しては−０．１６６・・・（＝−１／６）が設定される。そして、次式（４）に従って、欠陥画素の補正が行われる。
【００２０】
Ｒ３７ ← Ｒ３３×（−０．１６６）＋Ｒ３５×０．６６６＋Ｒ３９×０．６６６＋Ｒ３ｂ×（−０．１６６）・・・式（４）
【００２１】
また、欠陥画素の補正に用いる参照画素が、欠陥画素の左に位置する直近の３画素（Ｒ３１，Ｒ３３，Ｒ３５）と右に位置する直近の１画素（Ｒ３９）である場合、補間係数の値は、最も左に位置する参照画素（Ｒ３１）に対しては０．２５が設定され、次の左に位置する参照画素（Ｒ３３）に対しては−１．０が設定され、さらに次の左に位置する参照画素（Ｒ３５）に対しては１．５が設定される。また、右に位置する参照画素（Ｒ３９）に対しては０．２５が設定される。そして、次式（５）に従って、欠陥画素の補正が行われる。
【００２２】
Ｒ３７ ← Ｒ３１×０．２５＋Ｒ３３×（−１．０）＋Ｒ３５×１．５＋Ｒ３９×０．２５・・・式（５）
【００２３】
また、欠陥画素の補正に用いる参照画素が、欠陥画素の左に位置する直近の３画素（Ｒ３１，Ｒ３３，Ｒ３５）と右に位置する直近の２画素（Ｒ３９，Ｒ３ｂ）である場合、補間係数の値は、最も左に位置する参照画素（Ｒ３１）に対しては０．１が設定され、次の左に位置する参照画素（Ｒ３３）に対しては−０．５が設定され、さらに次の左に位置する参照画素（Ｒ３５）に対しては１．０が設定される。また、右に位置する参照画素（Ｒ３９）に対しては０．５が設定され、次の右に位置する参照画素（Ｒ３ｂ）に対しては−０．１が設定される。そして、次式（６）に従って、欠陥画素の補正が行われる。
【００２４】
Ｒ３７ ← Ｒ３１×０．１＋Ｒ３３×（−０．５）＋Ｒ３５×１．０＋Ｒ３９×０．５＋Ｒ３ｂ×（−０．１）・・・式（６）
【００２５】
また、欠陥画素の補正に用いる参照画素が、欠陥画素の左に位置する直近の３画素（Ｒ３１，Ｒ３３，Ｒ３５）と右に位置する直近の３画素（Ｒ３９，Ｒ３ｂ，Ｒ３ｄ）である場合、補間係数の値は、最も左に位置する参照画素（Ｒ３１）に対しては０．０５が設定され、次の左に位置する参照画素（Ｒ３３）に対しては−０．３が設定され、さらに次の左に位置する参照画素（Ｒ３５）に対しては０．７５が設定される。また、右に位置する参照画素（Ｒ３９）に対しては０．７５が設定され、次の右に位置する参照画素（Ｒ３ｂ）に対しては−０．３が設定され、さらに次の右に位置する参照画素（Ｒ３ｄ）に対しては０．０５が設定される。そして、次式（７）に従って、欠陥画素の補正が行われる。
【００２６】
Ｒ３７ ← Ｒ３１×０．０５＋Ｒ３３×（−０．３）＋Ｒ３５×０．７５＋Ｒ３９×０．７５＋Ｒ３ｂ×（−０．３）＋Ｒ３ｄ×０．０５・・・式（７）
【００２７】
表１は、参照画素のパターン毎に設定される補間係数を示している。これらの補間係数は、ラグランジュの補間公式を用いて算出されたものである。ただし、補間係数の全てが必ずしもハードウェアに適した値になるとは限らない。そこで、補間係数を若干操作して、ハードウェアで処理し易い値に変更することができる。
【００２８】
【表１】

【００２９】
表２は、ハードウェアが処理し易い値に変更された補間係数を示している。
【００３０】
【表２】

【００３１】
左右それぞれ２画素ずつ参照画素として用いる場合、最も左に位置する参照画素（Ｒ３３）に対して設定される補間係数は、−０．１６６・・・から−０．１２５に変更され、次の左に位置する参照画素（Ｒ３５）に対して設定される補間係数は、０．６６６から０．６２５に変更され、右に位置する参照画素（Ｒ３９）に対して設定される補間係数は０．６６６・・・から０．６２５に変更され、最も右に位置する参照画素（Ｒ３ｂ）に対して設定される補間係数は−０．１６６から−０．１２５に変更される。
【００３２】
また、欠陥画素の左の直近の３画素と、欠陥画素の右の直近の２画素を参照画素として用いる場合、最も左に位置する参照画素（Ｒ３３）に対して設定される補間係数は、０．１から０．１２５に変更され、最も右に位置する参照画素（Ｒ３ｂ）に対して設定される補間係数は−０．１から−０．１２５に変更される。これらの変更を行っても、欠陥画素補正によって算出される値の差はわずかである。なお、表２は表１の一部のパターンを抜き出したものである。
【００３３】
次に、参照画素のパターン毎に、補間結果の誤差を比較検証する。この比較検証は、本来は欠陥画素ではない画素を欠陥画素と仮定して行っているので、欠陥画素の正解の画素値（真値）が得られる。従って、上述した方法を用いて欠陥画素を補正した値と、欠陥画素の正解の画素値とを比較することにより、欠陥画素補正処理の誤差を算出することができる。
【００３４】
図３は、上記比較検証に用いた画像である。この画像の数画素が欠陥画素であるという情報を与え、その欠陥画素の値を上記方法で補正する。図中、１乃至１３は欠陥画素の位置を表している。欠陥画素は全てエッジに関わる部分にあるとする。
【００３５】
図４は、その誤差を欠陥画素毎にグラフに表したものである。横軸は欠陥画素の位置を表し、縦軸は誤差の大きさを表している。画素の階調は０乃至２５５としている。
【００３６】
図４のグラフにおいて、「左」は、欠陥画素の左に位置する直近の１画素を用いて補正を行った場合の結果を示している。「左１右１」は、欠陥画素の左に位置する直近の１画素と、右に位置する直近の１画素を用いて補正を行った場合の結果を示している。「左２右２」は、欠陥画素の左に位置する直近の２画素と、右に位置する直近の２画素を用いて補正を行った場合の結果を示している。「左３右２」は、欠陥画素の左に位置する直近の３画素と、右に位置する直近の２画素を用いて補正を行った場合の結果を示している。
【００３７】
図４のグラフから、より多くの画素を参照画素として使用する方が、欠陥画素の値を補正した値と、真値との間の誤差が少なくなる傾向がある。ただし、多くの参照画素を用いた補正の結果が、全てのケースについて真値に近いとは限らない。例えば、全体的に左右１画素ずつを用いた場合よりも、左３画素右２画素を用いた場合の方が、真値に近い値となる確率が高くなるという意味である。
【００３８】
また、欠陥画素の状態に応じて、欠陥画素補正のために参照する参照画素のパターンを変えるようにすることもできる。例えば、左右２画素→左右１画素→左１画素のように、欠陥画素の状態に応じて参照画素のパターンを変化させる。
【００３９】
周波数応答特性の位相ずれを考慮すると、左右共に同じ数の参照画素を用いる方がよい。そこで、基本的には左右２画素ずつを参照画素として用い、欠陥画素の補正を行う。しかし、参照画素の中に欠陥画素が存在する場合、その欠陥画素を参照画素から外し、参照画素を減らしていく。最終的には、３画素以上の連続した欠陥画素が存在しなければ、補正は可能になる。
【００４０】
次に、図５のフローチャートを参照して、参照画素の中に欠陥画素が存在する場合の処理手順について説明する。ここでは、補正すべき欠陥画素をＲ３７とする。まず最初に、ステップＳ１において、参照画素Ｒ３３、Ｒ３５、Ｒ３９、およびＲ３Ｂの中に欠陥画素が含まれるか否かが判定される。その結果、参照画素Ｒ３３、Ｒ３５、Ｒ３９、およびＲ３Ｂの中に欠陥画素が含まれないと判定された場合、ステップＳ２に進み、左右２画素ずつ（欠陥画素Ｒ３７の左側にあるＲ３３，Ｒ３５と、欠陥画素Ｒ３７の右側にあるＲ３９，Ｒ３Ｂ）を用いて欠陥画素Ｒ３７の値が補正される。
【００４１】
一方、ステップＳ１において、参照画素Ｒ３３、Ｒ３５、Ｒ３９、およびＲ３Ｂの中に欠陥画素が含まれると判定された場合、ステップＳ３に進み、参照画素Ｒ３５およびＲ３９の中に欠陥画素が含まれるか否かが判定される。その結果、参照画素Ｒ３５およびＲ３９の中に欠陥画素が含まれないと判定された場合、ステップＳ４に進む。ステップＳ４においては、左右１画素ずつ（欠陥画素Ｒ３７の左側の欠陥画素でない参照画素Ｒ３５と、欠陥画素Ｒ３７の右側の欠陥画素でない参照画素Ｒ３９）を用いて欠陥画素Ｒ３７の値が補正される。
【００４２】
また、ステップＳ３において、参照画素Ｒ３５およびＲ３９の中に欠陥画素が含まれると判定された場合、ステップＳ５に進む。ステップＳ５においては、参照画素Ｒ３５が欠陥画素であるか否かが判定される。その結果、参照画素Ｒ３５が欠陥画素ではないと判定された場合、ステップＳ６に進み、欠陥画素Ｒ３７の左側の１画素（参照画素Ｒ３５）を用いて欠陥画素Ｒ３７の値が補正される。
【００４３】
また、ステップＳ５において、参照画素Ｒ３５が欠陥画素であると判定された場合、ステップＳ７に進み、欠陥画素Ｒ３７の右側の１画素（参照画素Ｒ３９）を用いて欠陥画素Ｒ３７の値が補正される。
【００４４】
ただし、同一色の欠陥画素が３画素以上連続して存在しないことが保証されていることが前提となる。
【００４５】
以上説明したように、本実施の形態により、ラインメモリを用いることなく、欠陥画素を含むライン上の他の画素の値のみを用いて欠陥画素の値を補正することができる。また、欠陥画素の発生頻度や状態等に応じて参照画素のパターンを変えることができるので、より適切な方法で欠陥画素の値を補正することができる。
【００４６】
また、上記実施の形態においては、エリアセンサ１０２のフィルタがＲ，Ｇ，Ｂで構成されている例について示したが、Ｃｙ（シアン）、Ｙｅ（黄色）、Ｍｇ（マゼンタ）、Ｇｒ（緑）のような補色フィルタで構成されている場合にも同様に本発明を適応することが可能である。
【００４７】
なお、上記実施の形態の構成および動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【００４８】
次に、本発明の実施の形態によるコンピュータが実行するためのプログラムについて説明する。
図１における欠陥画素補正システムにおけるコンピュータシステムのＣＰＵが実行するためのプログラムは、本発明によるプログラムを構成する。
このプログラムを格納するための記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フレキシブルディスク、メモリカード等に構成して用いてよい。
【００４９】
また上記記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
【００５０】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【００５１】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００５２】
従って、このプログラムを図１のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこのプログラムを実行することによっても、上記実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の構成例を示すブロック図である。
【図２】画素の配列および欠陥画素の位置を示す図である。
【図３】比較検証に用いた画像上の欠陥画素の位置を示す図である。
【図４】比較検証結果を示すグラフである。
【図５】参照画素数を減少させる処理手順を示すフローチャートである。
【符号の説明】
１０１レンズ１０２エリアセンサ１０３センサ制御部１０４欠陥補正部１０５画像処理部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a defective pixel correction system, a defective pixel correction method, and a defective pixel correction program, and more particularly, to a defective pixel correction system that corrects an output value of a defective pixel of an area sensor based on a value of another pixel on the same line. The present invention relates to a defective pixel correction method and a defective pixel correction program.
[0002]
[Prior art]
An area sensor is an aggregate of elements (pixels) that convert light into an electric signal. However, some pixels constituting the area sensor do not output a normal value (a value that deviates greatly from an expected value). Output). These pixels are called defective pixels.
As a method of correcting the value of a defective pixel, there is a method of replacing the output value of a surrounding normal pixel (reference pixel) with a value predicted as an output value of a defective pixel. Specifically, when the reference pixel is a defective pixel, the pixel is not used, or a process of substituting another pixel is used (for example, see Patent Document 1), or a pixel that is diagonally up, down, left, or right of the defective pixel. Among them, there is one in which the combination of the output value change amount is selected and the output value of the defective pixel is calculated, whereby the reference of the defective pixel is automatically omitted (for example, see Patent Document 2).
[0003]
[Patent Document 1]
JP-A-2000-244823 (FIG. 1)
[Patent Document 2]
JP 2001-307079 A (FIG. 1)
[0004]
[Problems to be solved by the invention]
However, the invention described in Patent Literature 1 has a problem in that if defective pixels are simply omitted, unnaturalness may be remarkably corrected in an edge portion or the like. Further, even when substituting with another pixel, a pixel located at a position distant from an adjacent pixel is used, and therefore, there is a problem that reflection of information to a target defective pixel may be reduced. Was.
Further, the invention described in Patent Document 2 has a problem that although a more appropriate pixel is automatically selected as a reference pixel, a plurality of line memories are necessarily required.
[0005]
The present invention has been made in view of such a situation, and it is an object of the present invention to be able to calculate an output value of a defective pixel using a smaller amount of hardware and a smaller amount of calculation.
[0006]
[Means for Solving the Problems]
The defective pixel correction system according to claim 1, wherein the defective pixel correction system corrects a value of a defective pixel of an area sensor in which pixels for detecting light are two-dimensionally arranged, on a line including the defective pixel. Interpolation coefficient setting means for setting, for each pixel, an interpolation coefficient for weighting the value of another one or more pixels, and one or more other pixels on a line including the defective pixel And a correction unit that corrects the value of the defective pixel by adding a value obtained by multiplying the value of the pixel by the interpolation coefficient set for each pixel. Therefore, the value of the defective pixel can be calculated using only the pixels on the same line and without using the line memory.
[0007]
The defective pixel correction system according to claim 2, wherein the interpolation coefficient for each pixel set by the interpolation coefficient setting means is set in advance for each of one or more patterns of the other pixels on a line including the defective pixel. Interpolating coefficient storing means for storing, wherein the interpolating coefficient setting means reads the interpolating coefficient of each pixel corresponding to the pattern of each pixel from the interpolating coefficient storing means, and sets the interpolating coefficient for each pixel. Can be. Therefore, the interpolation coefficient can be quickly set in accordance with the pattern of one or more other pixels on the line including the defective pixel.
[0008]
4. The defective pixel correction method according to claim 3, wherein one or more other pixels on the line including the defective pixel are set as reference pixels, and the interpolation coefficient setting unit includes another defective pixel among the reference pixels. In this case, the number of the reference pixels can be reduced by a predetermined number, and an interpolation coefficient for weighting the value of the reference pixel can be set for each of the reference pixels. Therefore, even when a defective pixel is included in the reference pixel, the defective pixel can be corrected.
[0009]
The defective pixel correction method according to claim 4, wherein the defective pixel correction method corrects a value of a defective pixel of an area sensor in which pixels for detecting light are two-dimensionally arranged, and is provided on a line including the defective pixel. An interpolation coefficient setting step of setting, for each pixel, an interpolation coefficient for weighting the value of another one or more pixels, and another one or more pixels on a line including the defective pixel And a correction step of correcting the value of the defective pixel by adding a value obtained by multiplying the value of the pixel by the interpolation coefficient set for each pixel. Therefore, the value of the defective pixel can be calculated using only the pixels on the same line and without using the line memory.
[0010]
The defective pixel correction program according to claim 5, wherein the defective pixel correction program controls a defective pixel correction system that corrects a value of a defective pixel of an area sensor in which pixels for detecting light are two-dimensionally arranged. An interpolation coefficient setting step of setting an interpolation coefficient for weighting the value of another one or a plurality of pixels on the line including the pixel for each pixel; Or adding a value obtained by multiplying the value of a plurality of pixels by the interpolation coefficient set for each pixel, and correcting the value of the defective pixel by the defective pixel correction system. It is assumed that. Therefore, the value of the defective pixel can be calculated using only the pixels on the same line and without using the line memory.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a block diagram showing a configuration example of an embodiment to which a defective pixel correction system according to the present invention is applied. As shown in the figure, in the present embodiment, a lens 101 that collects light and forms an image of a subject on an area sensor 102, which will be described later, and an image of the subject that is collected and formed by the lens 101 , A sensor control unit 103 for controlling the area sensor 102, and a defect correction unit (interpolation coefficient) for correcting the output value of the defective pixel based on the output signal from the area sensor 102. (A setting unit, a correction unit, and a coefficient coefficient storage unit) 104; and an image processing unit 105 that executes various processes such as color interpolation based on an output signal from the defect correction unit 104.
[0012]
FIG. 2 shows an arrangement of a part of elements (pixels) constituting the area sensor 102. The area sensor 102 detects red (R) light, converts it into an electric signal having a magnitude corresponding to the light intensity, and outputs the electric signal (hereinafter referred to as a pixel as appropriate, and outputs the output value of the element as Value), an element that detects green (G) light, converts it into an electric signal having a magnitude corresponding to the light intensity, and outputs the signal, and a blue (B) light that detects the light intensity. The elements are converted into an electric signal of a size corresponding to the above and output, and the respective elements are arranged in a lattice shape, for example, as shown in FIG. In FIG. 2, R11, R13,... Are pixels for detecting red light, “R” indicates red, and “11” and “13” indicate positions on the area sensor 102. . G12, G14,... Are pixels for detecting green light, “G” indicates green, and “12” and “14” indicate positions on the area sensor 102. , B22, B24, ... are pixels for detecting blue light, "B" indicates blue, and "22" and "24" indicate positions on the area sensor 102. Further, when R11 or the like is used in the calculation formula, it represents the value of the pixel corresponding to R11 or the like.
[0013]
In the present embodiment, the defect correction unit 104 corrects the value of the defective pixel using the value of one or more other neighboring pixels on the line including the defective pixel. Hereinafter, another pixel used for correcting a defective pixel is referred to as a reference pixel. When the reference pixel used for correcting the defective pixel is the nearest one pixel located to the left of the defective pixel, the value of the interpolation coefficient is 1.0. For example, in FIG. 2, if the pixel (R37) is a defective pixel, the value of the defective pixel (R37) is calculated based on the value of the nearest reference pixel (R35) located on the left of the same line by the following equation (R35). Correct according to 1).
[0014]
R37 ← R35 × 1.0 Formula (1)
[0015]
When the reference pixels used for correcting the defective pixel are the nearest one pixel (R35) located to the left of the defective pixel and the nearest one pixel (R39) located to the right of the defective pixel, the value of the interpolation coefficient is 0.5 is set for the reference pixel located, and 0.5 is set for the pixel located on the right. Then, the defective pixel is corrected according to the following equation (2).
[0016]
R37 ← R35 × 0.5 + R39 × 0.5 formula (2)
[0017]
When the reference pixels used for correcting the defective pixel are the nearest two pixels (R33, R35) located to the left of the defective pixel and the nearest one pixel (R39) located to the right of the defective pixel, the value of the interpolation coefficient is -0.333... (= 1/3) is set for the leftmost reference pixel (R33), and 1.0 is set for the next leftmost reference pixel (R35). Is set. Also, 0.333... (= 1/3) is set for the reference pixel (R39) located on the right. Then, the defective pixel is corrected according to the following equation (3).
[0018]
R37 ← R33 × (−0.333) + R35 × 1.0 + R39 × 0.333 Expression (3)
[0019]
When the reference pixels used to correct the defective pixel are the two nearest pixels (R33, R35) located to the left of the defective pixel and the two nearest pixels (R39, R3b) located to the right of the defective pixel, the value of the interpolation coefficient Is set to -0.166... (= 1/6) for the leftmost reference pixel (R33), and is set to .0 for the next leftmost reference pixel (R35). 666... (= 1 / 1.5) are set. Also, 0.666... (= 1 / 1.5) is set for the reference pixel (R39) located on the right, and −0.0.0 for the reference pixel (R3b) located on the right. 166... (= −1 / 6) are set. Then, the defective pixel is corrected according to the following equation (4).
[0020]
R37 ← R33 × (−0.166) + R35 × 0.666 + R39 × 0.666 + R3b × (−0.166) Equation (4)
[0021]
When the reference pixels used for correcting the defective pixel are the three nearest pixels (R31, R33, R35) located to the left of the defective pixel and the nearest one pixel (R39) located to the right of the defective pixel, the value of the interpolation coefficient Is set to 0.25 for the leftmost reference pixel (R31), -1.0 is set for the next leftmost reference pixel (R33), and the next leftmost reference pixel (R33) is set. Is set to 1.5 for the reference pixel (R35) located at. Also, 0.25 is set for the reference pixel (R39) located on the right. Then, the defective pixel is corrected according to the following equation (5).
[0022]
R37 ← R31 × 0.25 + R33 × (−1.0) + R35 × 1.5 + R39 × 0.25 Equation (5)
[0023]
When the reference pixels used for correcting the defective pixel are the nearest three pixels (R31, R33, R35) located to the left of the defective pixel and the nearest two pixels (R39, R3b) located to the right of the defective pixel, the interpolation coefficient Is set to 0.1 for the leftmost reference pixel (R31), -0.5 is set for the next leftmost reference pixel (R33), and Is set to 1.0 for the reference pixel (R35) located to the left of. Also, 0.5 is set for the reference pixel (R39) located on the right, and -0.1 is set for the next reference pixel (R3b) located on the right. Then, the defective pixel is corrected according to the following equation (6).
[0024]
R37 ← R31 × 0.1 + R33 × (−0.5) + R35 × 1.0 + R39 × 0.5 + R3b × (−0.1) Equation (6)
[0025]
Further, when the reference pixels used for correcting the defective pixel are the nearest three pixels (R31, R33, R35) located to the left of the defective pixel and the nearest three pixels (R39, R3b, R3d) located to the right of the defective pixel, The value of the interpolation coefficient is set to 0.05 for the leftmost reference pixel (R31), and set to -0.3 for the next leftmost reference pixel (R33). Further, 0.75 is set for the next left reference pixel (R35). Also, 0.75 is set for the reference pixel (R39) located on the right, -0.3 is set for the next reference pixel (R3b) located on the right, and further the right is set for the next reference pixel (R3b). 0.05 is set for the located reference pixel (R3d). Then, the defective pixel is corrected according to the following equation (7).
[0026]
R37 ← R31 × 0.05 + R33 × (−0.3) + R35 × 0.75 + R39 × 0.75 + R3b × (−0.3) + R3d × 0.05 Expression (7)
[0027]
Table 1 shows interpolation coefficients set for each pattern of reference pixels. These interpolation coefficients are calculated using Lagrange's interpolation formula. However, not all of the interpolation coefficients are necessarily values suitable for hardware. Therefore, the interpolation coefficient can be slightly manipulated to change it to a value that can be easily processed by hardware.
[0028]
[Table 1]

[0029]
Table 2 shows the interpolation coefficients changed to values that can be easily processed by hardware.
[0030]
[Table 2]

[0031]
When two pixels are used as reference pixels for each of the left and right sides, the interpolation coefficient set for the leftmost reference pixel (R33) is changed from -0.166. Is changed from 0.666 to 0.625, and the interpolation coefficient set for the reference pixel (R39) located on the right is 0.666. .. To 0.625, and the interpolation coefficient set for the rightmost reference pixel (R3b) is changed from -0.166 to -0.125.
[0032]
When the three nearest pixels to the left of the defective pixel and the two nearest pixels to the right of the defective pixel are used as reference pixels, the interpolation coefficient set for the leftmost reference pixel (R33) is 0. .1 to 0.125, and the interpolation coefficient set for the rightmost reference pixel (R3b) is changed from -0.1 to -0.125. Even if these changes are made, the difference between the values calculated by the defective pixel correction is small. Table 2 shows a part of the pattern of Table 1.
[0033]
Next, the error of the interpolation result is compared and verified for each reference pixel pattern. Since this comparison verification is performed on the assumption that a pixel that is not originally a defective pixel is a defective pixel, a correct pixel value (true value) of the defective pixel can be obtained. Therefore, an error in the defective pixel correction processing can be calculated by comparing the value obtained by correcting the defective pixel using the method described above with the correct pixel value of the defective pixel.
[0034]
FIG. 3 is an image used for the above-mentioned comparative verification. Information that several pixels of this image are defective pixels is given, and the values of the defective pixels are corrected by the above method. In the figure, 1 to 13 represent the positions of defective pixels. It is assumed that all the defective pixels are in a portion related to the edge.
[0035]
FIG. 4 is a graph showing the error for each defective pixel. The horizontal axis represents the position of the defective pixel, and the vertical axis represents the magnitude of the error. The gradation of the pixel is set to 0 to 255.
[0036]
In the graph of FIG. 4, “left” indicates a result when correction is performed using the nearest one pixel located to the left of the defective pixel. “Left 1 Right 1” indicates a result when correction is performed using the nearest one pixel located to the left of the defective pixel and the nearest one pixel located to the right. “Left 2 Right 2” indicates a result when correction is performed using the two nearest pixels located to the left of the defective pixel and the two nearest pixels located to the right of the defective pixel. "Left 3 right 2" shows the result when correction is performed using the three nearest pixels located to the left of the defective pixel and the two nearest pixels located to the right.
[0037]
From the graph of FIG. 4, when more pixels are used as reference pixels, the error between the corrected value of the defective pixel value and the true value tends to be smaller. However, the result of the correction using many reference pixels is not always close to the true value in all cases. For example, the probability that a value close to the true value is higher when three pixels on the left and two pixels on the right are used than when one pixel on the left and right is used as a whole.
[0038]
Further, the pattern of the reference pixel to be referred to for correcting the defective pixel can be changed according to the state of the defective pixel. For example, the pattern of the reference pixel is changed according to the state of the defective pixel, such as two pixels on the left and right, one pixel on the left and one pixel on the left.
[0039]
Considering the phase shift of the frequency response characteristic, it is better to use the same number of reference pixels on the left and right. Thus, basically, two defective pixels are corrected by using two right and left pixels as reference pixels. However, when a defective pixel exists in the reference pixels, the defective pixel is removed from the reference pixels, and the reference pixels are reduced. Eventually, if there are no consecutive defective pixels of three or more pixels, correction becomes possible.
[0040]
Next, a processing procedure when a defective pixel exists in the reference pixels will be described with reference to a flowchart of FIG. Here, the defective pixel to be corrected is R37. First, in step S1, it is determined whether or not a defective pixel is included in the reference pixels R33, R35, R39, and R3B. As a result, when it is determined that the defective pixel is not included in the reference pixels R33, R35, R39, and R3B, the process proceeds to step S2, and two pixels each on the left and right (R33, R35 on the left side of the defective pixel R37; The value of the defective pixel R37 is corrected using R39, R3B on the right side of the defective pixel R37.
[0041]
On the other hand, if it is determined in step S1 that the defective pixel is included in the reference pixels R33, R35, R39, and R3B, the process proceeds to step S3, and whether the defective pixel is included in the reference pixels R35 and R39 is determined. Is determined. As a result, if it is determined that the defective pixels are not included in the reference pixels R35 and R39, the process proceeds to step S4. In step S4, the value of the defective pixel R37 is corrected using one pixel on the left and one right (a reference pixel R35 that is not a defective pixel on the left side of the defective pixel R37 and a reference pixel R39 that is not a defective pixel on the right side of the defective pixel R37).
[0042]
If it is determined in step S3 that the defective pixels are included in the reference pixels R35 and R39, the process proceeds to step S5. In step S5, it is determined whether the reference pixel R35 is a defective pixel. As a result, when it is determined that the reference pixel R35 is not a defective pixel, the process proceeds to step S6, and the value of the defective pixel R37 is corrected using one pixel (reference pixel R35) on the left side of the defective pixel R37.
[0043]
If it is determined in step S5 that the reference pixel R35 is a defective pixel, the process proceeds to step S7, and the value of the defective pixel R37 is corrected using one pixel (reference pixel R39) on the right side of the defective pixel R37. .
[0044]
However, it is assumed that it is guaranteed that three or more consecutive defective pixels of the same color do not exist.
[0045]
As described above, according to the present embodiment, the value of a defective pixel can be corrected using only the values of other pixels on the line including the defective pixel without using a line memory. In addition, since the pattern of the reference pixel can be changed according to the occurrence frequency, state, and the like of the defective pixel, the value of the defective pixel can be corrected by a more appropriate method.
[0046]
Further, in the above embodiment, the example in which the filter of the area sensor 102 is configured by R, G, and B has been described, but Cy (cyan), Ye (yellow), Mg (magenta), and Gr (green). The present invention can be similarly applied to a case where the filter is constituted by complementary color filters as described above.
[0047]
It should be noted that the configuration and operation of the above embodiment are examples, and it is needless to say that the configuration and operation can be appropriately changed without departing from the spirit of the present invention.
[0048]
Next, a program executed by a computer according to the embodiment of the present invention will be described.
The program executed by the CPU of the computer system in the defective pixel correction system in FIG. 1 constitutes a program according to the present invention.
As a recording medium for storing this program, a magneto-optical disk, an optical disk, a semiconductor memory, a magnetic recording medium, or the like can be used, and these are configured in a ROM, a RAM, a CD-ROM, a flexible disk, a memory card, or the like. May be used.
[0049]
The recording medium stores the program for a certain period of time, such as a volatile memory such as an internal RAM of a computer system serving as a server or a client when the program is transmitted through a network such as the Internet or a communication line such as a telephone line. What is retained is also included.
[0050]
Further, the above program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. The transmission medium is a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
[0051]
Further, the program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
[0052]
Therefore, when this program is used in a system or apparatus different from the system or apparatus of FIG. 1 and the computer of the system or apparatus executes this program, the functions and effects equivalent to those described in the above embodiment can be obtained. And an effect can be obtained, and the object of the present invention can be achieved.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an embodiment of the present invention.
FIG. 2 is a diagram showing an arrangement of pixels and positions of defective pixels.
FIG. 3 is a diagram showing positions of defective pixels on an image used for comparative verification.
FIG. 4 is a graph showing a comparative verification result.
FIG. 5 is a flowchart illustrating a processing procedure for reducing the number of reference pixels.
[Explanation of symbols]
Reference Signs List 101 lens 102 area sensor 103 sensor control unit 104 defect correction unit 105 image processing unit

Claims

A defective pixel correction system for correcting a value of a defective pixel of an area sensor in which pixels for detecting light are two-dimensionally arranged,
Interpolation coefficient setting means for setting, for each pixel, an interpolation coefficient for weighting the value of one or more other pixels on the line including the defective pixel;
Correcting means for correcting the value of the defective pixel by adding a value obtained by multiplying the value of one or more other pixels on the line including the defective pixel by the interpolation coefficient set for each pixel. A defective pixel correction system, comprising:

Interpolation coefficient storage means for storing the interpolation coefficient for each pixel set by the interpolation coefficient setting means for each pattern of one or more other pixels on a line including the defective pixel,
2. The interpolation coefficient setting unit according to claim 1, wherein the interpolation coefficient setting unit reads the interpolation coefficient of each pixel corresponding to the pattern of each pixel from the interpolation coefficient storage unit, and sets the interpolation coefficient for each pixel. Defective pixel correction system.

One or more other pixels on the line including the defective pixel are set as reference pixels, and the interpolation coefficient setting means sets the number of the reference pixels by a predetermined number when another defective pixel exists in the reference pixels. 3. The defective pixel correction system according to claim 1, wherein an interpolation coefficient for weighting the reference pixels is set for each of the reference pixels. 4.

A defective pixel correction method for correcting a value of a defective pixel of an area sensor in which pixels for detecting light are two-dimensionally arranged,
An interpolation coefficient setting step of setting an interpolation coefficient for weighting the value of one or more other pixels on the line including the defective pixel for each pixel;
Adding a value obtained by multiplying the value of one or more other pixels on the line including the defective pixel by the interpolation coefficient set for each pixel to correct the value of the defective pixel. A method for correcting a defective pixel, comprising:

A defective pixel correction program that controls a defective pixel correction system that corrects the value of a defective pixel of an area sensor in which pixels that detect light are two-dimensionally arranged,
An interpolation coefficient setting step of setting an interpolation coefficient for weighting the value of one or more other pixels on the line including the defective pixel for each pixel;
Adding a value obtained by multiplying the value of one or more other pixels on the line including the defective pixel by the interpolation coefficient set for each pixel to correct the value of the defective pixel. A defective pixel correction program to be executed by the defective pixel correction system.