JP2004235873A - 欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラム - Google Patents
欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラム Download PDFInfo
- Publication number
- JP2004235873A JP2004235873A JP2003020802A JP2003020802A JP2004235873A JP 2004235873 A JP2004235873 A JP 2004235873A JP 2003020802 A JP2003020802 A JP 2003020802A JP 2003020802 A JP2003020802 A JP 2003020802A JP 2004235873 A JP2004235873 A JP 2004235873A
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- defective pixel
- coefficient
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Input (AREA)
Abstract
【課題】欠陥画素の出力値の補正値をより少ないハードウェア資源を用いてより正確に算出する。
【解決手段】欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して欠陥画素の値を補間する補間手段と、欠陥画素の近傍の画素の変化量に基づいて、第１の画素の値に対して第１の重み付けをするために第１の画素の値に乗算される第１の係数の値と、第２の画素の値に対して第２の重み付けをするために第２の画素の値に乗算される第２の係数の値とを演算する係数値演算手段とを備える。
【選択図】 図１
【解決手段】欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して欠陥画素の値を補間する補間手段と、欠陥画素の近傍の画素の変化量に基づいて、第１の画素の値に対して第１の重み付けをするために第１の画素の値に乗算される第１の係数の値と、第２の画素の値に対して第２の重み付けをするために第２の画素の値に乗算される第２の係数の値とを演算する係数値演算手段とを備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラムに関し、特に、エリアセンサの欠陥画素の出力値を周辺画素の値の変化に基づいて補正する欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラムに関する。
【０００２】
【従来の技術】
エリアセンサは、光を電気信号に変換する素子（画素）の集合体であるが、エリアセンサを構成する画素の中には、正常な値を出力しない（期待される値から大きくはずれた値を出力する）ものがある。これらの画素は欠陥画素と呼ばれる。欠陥画素の出力値は、周囲の正常な画素の出力値から欠陥画素の出力値として予測される値により置き換えられる。
欠陥画素を補正する方法としては、ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅｔｒａｎｓｆｏｒｍ）変換を利用するもの（例えば、特許文献１参照）や、欠陥画素の上下左右の画素の出力値の変化量を利用して補正するもの（例えば、特許文献２参照）や、上下左右および斜めの画素のうち、変化量が少ないものの組み合わせを選択して算出するもの（例えば、特許文献３参照）がある。
【０００３】
【特許文献１】
特開平６−１０５２４１号公報（図１）
【特許文献２】
特開平６−１０５２４２号公報（図１）
【特許文献３】
特開２００１−３０７０７９号公報（図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１，２，３に記載の発明はいずれも、フレームメモリまたはかなりの量のラインメモリを必要とするという問題があった。また、特許文献１に記載の発明は、ＤＣＴ変換ブロックを持たないシステムの場合、負荷が大きいという問題があった。また、特許文献２に記載の発明は、かなり多くの計算量を必要とし、システムにかかる負荷が大きいという問題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、欠陥画素の出力値の補正値をより少ないハードウェア資源を用いてより正確に算出することができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の欠陥画素補正システムは、光を検出する画素が格子状に配列されたエリアセンサの欠陥画素の値を補正するものであって、欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して欠陥画素の値を補正する補正手段と、欠陥画素の近傍の画素の変化量に基づいて、第１の画素の値に対して第１の重み付けをするために第１の画素の値に乗算される第１の係数の値と、第２の画素の値に対して第２の重み付けをするために第２の画素の値に乗算される第２の係数の値とを演算する係数値演算手段とを備えることを特徴とするものである。これにより、欠陥画素の値を同一ライン上の直近の画素を用いて算出することができる。
【０００７】
請求項２に記載の欠陥画素補正システムは、その係数値演算手段が、欠陥画素を含むラインと隣接する上のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する上のライン上の、第１の画素と同一列の第４の画素の値の差分の絶対値と、欠陥画素を含むラインと隣接する下のライン上の、欠陥画素と同一列に位置する第５の画素の値と、欠陥画素を含むラインと隣接する下のライン上の、第１の画素と同一列の第６の画素の値の差分の絶対値を加算して得られる値を第１の変化量とし、欠陥画素を含むラインと隣接する上のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する上のライン上の、第２の画素と同一列の第７の画素の値の差分の絶対値と、欠陥画素を含むラインと隣接する下のライン上の、欠陥画素と同一列に位置する第５の画素の値と、欠陥画素を含むラインと隣接する下のライン上の、第２の画素と同一列の第８の画素の値の差分の絶対値を加算して得られる値を第２の変化量とし、第１の変化量と第２の変化量を加算した総変化量に対する第２の変化量の割合を第１の係数の値とし、総変化量に対する第２の変化量の割合を第１の係数の値とすることができる。これにより、欠陥画素の上下２ライン分のラインメモリのみを用いて欠陥画素の値を算出することができる。
【０００８】
或いは、請求項３に記載の欠陥画素補正システムは、その係数値演算手段が、欠陥画素を含むラインと隣接する上のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する上のライン上の、第１の画素と同一列の第４の画素の値の差分の絶対値を第１の変化量とし、欠陥画素を含むラインと隣接する上のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する上のライン上の、第２の画素と同一列の第５の画素の値の差分の絶対値を第２の変化量とし、第１の変化量と第２の変化量を加算した総変化量に対する第２の変化量の割合を第１の係数の値とし、総変化量に対する第２の変化量の割合を第１の係数の値とすることができる。これにより、欠陥画素の上の１ライン分のラインメモリのみを用いて欠陥画素の値を算出することができる。
【０００９】
或いは、請求項４に記載の欠陥画素補正システムは、その係数値演算手段が、欠陥画素を含むラインと隣接する下のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する下のライン上の、第１の画素と同一列の第４の画素の値の差分の絶対値を第１の変化量とし、欠陥画素を含むラインと隣接する下のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する下のライン上の、第２の画素と同一列の第５の画素の値の差分の絶対値を第２の変化量とし、第１の変化量と第２の変化量を加算した総変化量に対する第２の変化量の割合を第１の係数の値とし、総変化量に対する第１の変化量の割合を第２の係数の値とすることができる。これにより、欠陥画素の下の１ライン分のラインメモリのみを用いて欠陥画素の値を算出することができる。
【００１０】
また、請求項５に記載の欠陥画素補正システムは、第１の変化量の値、および第２の変化量の値の精度を下げたものを入力とし、第１の係数、および第２の係数を出力するルックアップテーブルをさらに備えるようにすることができる。これにより、演算の負荷を軽減することができる。
【００１１】
また、請求項６に記載の欠陥画素補正システムは、第１の変化量の値、および第２の変化量の値を二進数で表記し、値を表す上位２ビット以外のビット、または上位１ビット以外のビットを０にしたものを入力とし、第１の係数、および第２の係数を出力するルックアップテーブルをさらに備えることができる。これにより、演算の負荷を軽減することができる。
【００１２】
請求項７に記載の欠陥画素補正方法は、光を検出する画素が格子状に配列されたエリアセンサの欠陥画素の値を補正するものであって、欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して欠陥画素の値を補正する補正ステップと、欠陥画素の近傍の画素の変化量に基づいて、第１の画素の値に対して第１の重み付けをするために第１の画素の値に乗算される第１の係数の値と、第２の画素の値に対して第２の重み付けをするために第２の画素の値に乗算される第２の係数の値とを演算する係数値演算ステップとを備えることを特徴とするものである。これにより、欠陥画素の値を同一ライン上の直近の画素を用いて算出することができる。
【００１３】
請求項８に記載の欠陥画素補正プログラムは、光を検出する画素が格子状に配列されたエリアセンサの欠陥画素の値の補正処理を欠陥画素補正システムに実行させるものであって、欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して欠陥画素の値を補正する補正ステップと、欠陥画素の近傍の画素の変化量に基づいて、第１の画素の値に対して第１の重み付けをするために第１の画素の値に乗算される第１の係数の値と、第２の画素の値に対して第２の重み付けをするために第２の画素の値に乗算される第２の係数の値とを演算する係数値演算ステップとを欠陥画素補正システムに実行させることを特徴とするものである。これにより、欠陥画素の値を同一ライン上の直近の画素を用いて算出することができる。
【００１４】
【発明の実施の形態】
図１は、本発明の欠陥画素補正システムを応用した一実施の形態の構成例を示すブロック図である。同図に示すように、本実施の形態は、光を集光し、後述するエリアセンサ１０２上に被写体の画像を結像させるレンズ１０１と、レンズ１０１により集光され、結像した被写体の画像に対応する信号を出力するエリアセンサ１０２と、エリアセンサ１０２を制御するセンサ制御部１０３と、エリアセンサ１０２からの出力信号に基づいて、欠陥画素の出力値の補正を行う欠陥補正部（補正手段、係数値演算手段）１０４と、欠陥補正部１０４からの出力信号に基づいて、色補間・色変換・オートホワイトバランス等の各種処理を実行する画像処理部（各機能ブロック）１０５とから構成されている。
【００１５】
図２は、エリアセンサ１０２を構成する素子（画素）の一部分の配列を示している。エリアセンサ１０２は、赤（Ｒ）の光を検出し、光の強度に対応する大きさの電気信号に変換して出力する素子（以下では適宜、画素と記載し、素子の出力値を画素の値と記載する）と、緑（Ｇ）の光を検出し、光の強度に対応する大きさの電気信号に変換して出力する素子と、青（Ｂ）の光を検出し、光の強度に対応する大きさの電気信号に変換して出力する素子とからなり、各素子は、例えば、図２に示すように格子状に配列されている。図２において、Ｒ１１，Ｒ１３、・・・は、赤の光を検出する画素であり、「Ｒ」は赤を示し、「１１」、「１３」はエリアセンサ１０２上での位置を示している。Ｇ１２，Ｇ１４、・・・は、緑の光を検出する画素であり、「Ｇ」は緑を示し、「１２」、「１４」はエリアセンサ１０２上での位置を示している。Ｂ２２，Ｂ２４、・・・は、青の光を検出する画素であり、「Ｂ」は青を示し、「２２」、「２４」はエリアセンサ１０２上での位置を示している。また、計算式においてＲ１１等を用いたときは、Ｒ１１等に対応する画素の値を表すものとする。
【００１６】
本実施の形態では、欠陥補正部１０４は、欠陥画素の近傍の画素の値の変化量を利用して、欠陥画素の値を補正する。例えば、図２において、画素（Ｒ３５）が欠陥画素であるとすると、欠陥画素（Ｒ３５）の値を周囲の画素の値に基づいて、次式（１）に従って補正する。
【００１７】
Ｒ３５ ← α×Ｒ３３ ＋ β×Ｒ３７ ・・・式（１）
ただし、係数αと係数βは、α＋β＝１ の関係がある。
【００１８】
上記式（１）において、係数αと係数βの値を、欠陥画素の周囲の画素の値の変化の状態によって切り替えることにより、エッジ部等でも適当な値を算出することができる。
【００１９】
次に、上記式（１）の係数αと係数βの算出方法について説明する。まず最初に、欠陥画素を含むラインの上下のラインの画素を用いた算出方法について説明する。係数αと係数βの算出は、欠陥画素の左右に存在する画素に対して、欠陥画素がいずれの画素と相関が強いかを判別することにより行われる。
【００２０】
画素（Ｒ３５）が欠陥画素である場合、同一ライン上の左の直近の画素（Ｒ３３）と、右の直近の画素（Ｒ３７）を用いて、上記式（１）に従って、欠陥画素（Ｒ３５）の値を算出する。このとき、係数αおよび係数βの値は、欠陥画素（Ｒ３５）、画素（Ｒ３３）、および画素（Ｒ３７）とそれぞれ同一列に位置し、かつ欠陥画素に対して最も近傍の位置にある画素（Ｇ２３）、画素（Ｇ２５）、画素（Ｇ２７）と、画素（Ｇ４３）、画素（Ｇ４５）、画素（Ｇ４７）の値を用いて、次式（２）乃至式（５）に従って算出される。
【００２１】
ｋ０ ＝ ａｂｓ（Ｇ２５−Ｇ２３）＋ａｂｓ（Ｇ４５−Ｇ４３） 式（２）
ｋ１ ＝ ａｂｓ（Ｇ２５−Ｇ２７）＋ａｂｓ（Ｇ４５−Ｇ４７） 式（３）
α ＝ ｋ１／（ｋ０＋ｋ１） 式（４）
β ＝ ｋ０／（ｋ０＋ｋ１） 式（５）
【００２２】
ここで、ａｂｓ（Ａ）は、Ａの絶対値を算出することを意味している。
【００２３】
上記式（２）乃至式（５）は、欠陥画素（Ｒ３５）と同一列の上のラインの画素（Ｇ２５）、および下のラインの画素（Ｇ４５）と、欠陥画素（Ｒ３５）と同一ライン上にある左側の近傍の画素（Ｒ３３）と同一列の上のラインの画素（Ｇ２３）、および下のラインの画素（Ｇ４３）と、欠陥画素（Ｒ３５）と同一ライン上にある右側の近傍の画素（Ｒ３７）と同一列の上のラインの画素（Ｇ２７）、および下のラインの画素（Ｇ４７）について、各ライン毎に各画素の値の変化量（ｋ０，ｋ１）を求め、その変化量が欠陥画素を含むラインでも同一であると仮定して、係数αおよび係数βを算出している。
【００２４】
係数αおよび係数βの値は、α＋β＝１の条件下で０乃至１の間でそれぞれ変化し、欠陥画素（Ｒ３５）の左右の画素（Ｒ３３，Ｒ３７）のそれぞれに施す係数（α、β）は、変化量が少ないほど１に近い値となる。即ち、変化量ｋ０の値が変化量ｋ１の値より小さければ小さいほど、係数αの値が１に近くなり、逆に係数βの値は０に近くなる。また、変化量ｋ１の値が変化量ｋ０の値より小さければ小さいほど、係数βの値が１に近くなり、逆に係数αの値は０に近くなる。
【００２５】
上記式（１）より、係数αの値が１に近ければ近いほど、欠陥画素（Ｒ３５）の値は、画素（Ｒ３３）の値に近くなる。逆に、係数βの値が１に近ければ近いほど、欠陥画素（Ｒ３５）の値は、画素（Ｒ３７）の値に近くなる。
【００２６】
上述した欠陥画素の上下ラインの画素から係数αおよび係数βを算出する方法では、注目ラインの他、２ライン分のデータが必要となる。すなわち、少なくとも２ライン分のラインメモリが必要となる。そこで、欠陥画素の上のラインのみの画素を用いて係数αおよび係数βを算出することにする。この方法では、ラインメモリを１ライン分削減することができる。以下、その算出方法について説明する。
【００２７】
図２より、画素（Ｒ３５）が欠陥画素である場合、画素（Ｒ３３）と画素（Ｒ３７）を用いて、上記式（１）に従って、画素（Ｒ３５）の値を算出する。このとき、係数αおよび係数βの値は、欠陥画素（Ｒ３５）と、画素（Ｒ３３）および画素（Ｒ３７）とそれぞれ同一列に位置し、かつ欠陥画素（Ｒ３５）に対して最も近傍の位置にある画素（Ｇ２３）、画素（Ｇ２５）、および画素（Ｇ２７）の値を用いて、次式（６）乃至式（９）に従って算出される。
【００２８】
ｋ０ ＝ ａｂｓ（Ｇ２５−Ｇ２３） 式（６）
ｋ１ ＝ ａｂｓ（Ｇ２５−Ｇ２７） 式（７）
α ＝ ｋ１／（ｋ０＋ｋ１） 式（８）
β ＝ ｋ０／（ｋ０＋ｋ１） 式（９）
【００２９】
上記式（６）乃至式（９）は、欠陥画素（Ｒ３５）と同一列の上のラインの画素（Ｇ２５）と、欠陥画素（Ｒ３５）と同一ライン上にある左側の近傍の画素（Ｒ３３）と同一列の上のラインの画素（Ｇ２３）と、欠陥画素（Ｒ３５）と同一ライン上にある右側の近傍の画素（Ｒ３７）と同一列の上のラインの画素（Ｇ２７）について、各画素の値の変化量を求め、その変化量が欠陥画素（Ｒ３５）を含むラインでも同一であると仮定して、係数αおよび係数βを算出している。
【００３０】
係数αおよび係数βの値は、α＋β＝１の条件下で０乃至１の間でそれぞれ変化し、欠陥画素（Ｒ３５）の左右の画素（Ｒ３３，Ｒ３７）のそれぞれに施す係数（α、β）は、変化量が少ないほど１に近い値となる。即ち、ｋ０の値がｋ１の値より小さければ小さいほど、係数αの値が１に近くなり、逆に係数βの値は０に近くなる。また、ｋ１の値がｋ０の値より小さければ小さいほど、係数βの値が１に近くなり、逆に係数αの値は０に近くなる。
【００３１】
上記式（１）より、係数αの値が１に近ければ近いほど、欠陥画素（Ｒ３５）の値は、画素（Ｒ３３）の値に近くなる。逆に、係数βの値が１に近ければ近いほど、欠陥画素（Ｒ３５）の値は、画素（Ｒ３７）の値に近くなる。
【００３２】
次に、処理を簡略化する方法について説明する。上記式（４）、式（５）、式（８）、式（９）は、それぞれ除算を含んでいるため、負荷が大きく、各処理をハードウェア（Ｈ／Ｗ）化する場合において問題となる。そこで、負荷を軽減するために上記変化量ｋ０の値、および変化量ｋ１の精度を低くする。
【００３３】
例えば、オリジナルの値（０１１００１１０（二進数表記））を、上位２ビット精度で表すと、値（０１１０００００）となる。また、上位１ビット精度で表すと、値（０１００００００）となる。また、オリジナルの値（００１０１０１０）を、上位２ビット精度で表すと、値（００１０００００）となる。また、上位１ビット精度で表すと、値（００１０００００）となる。
【００３４】
さらに、係数αおよび係数βの値に算出される値を以下の値に制限する
制限１（Ｌｉｍ１）
０ ０．１２５ ０．２５ ０．３７５ ０．５ ０．６２５ ０．７５ ０．８７５ １．０
制限２（Ｌｉｍ２）
０ ０．２５ ０．５ ０．７５ １．０
【００３５】
欠陥補正部１０４は、変化量ｋ０の値、および変化量ｋ１の値を入力し、係数α、および係数βの値を出力するルックアップテーブルを有している。上記簡略化を行うことにより、ルックアップテーブルのサイズを小さくすることができる。
【００３６】
上述した簡略化を行わない場合と、上記２つの簡略化を行った場合について、欠陥画素補正された値の誤差の大小を比較検証した。
【００３７】
図３は、上記比較検証に用いた画像である。この画像の数画素が欠陥画素であるという情報を与え、その画素の値を上記簡略化を行わない方法と、簡略化を行う方法によって補正する。図中、１乃至１３は欠陥画素の位置を表している。平坦部では、欠陥画素補正の手法による差があまりないので、欠陥画素は全てエッジに関わる部分に設定し、その効果を確認する。
【００３８】
上記比較検証は、本来は欠陥画素ではない画素を欠陥画素と仮定して行っているので、欠陥画素の正解の画素値が得られる。従って、上述した方法を用いて欠陥画素を補正した値と、欠陥画素の正解の画素値（真値）とを比較することにより、欠陥画素補正処理の誤差を算出することができる。図４は、その誤差を欠陥画素毎にグラフに表したものである。横軸は欠陥画素の位置を表し、縦軸は誤差の大きさを表している。画素の階調は０乃至２５５としている。
【００３９】
図４のグラフにおいて、左１右１のグラフは、注目する欠陥画素に対し、その左右の同色の画素の平均を補正値とする場合の結果である。すなわち、Ｒ３５を欠陥とすると、
Ｒ３５ ← ０．５×Ｒ３３ ＋ ０．５×Ｒ３７
により欠陥画素を算出している。Ｄｉｆ２のグラフは、上下２ラインを用いて係数を算出する方法により欠陥画素の補正を行った場合の結果を表している。Ｄｉｆ１のグラフは、上１ラインのみを用いて係数を算出する方法により欠陥画素の補正を行った場合の結果を表している。さらに、制限１を用いた場合の結果をＬｉｍ１、制限２を用いた場合の結果をＬｉｍ２と記載している。また、精度に関しては、上位２ビット精度を用いた場合をＰ２、上位１ビット精度を用いた場合をＰ１と記載している。
【００４０】
上下２ラインから上１ラインへの簡略化、２ビット精度から１ビット精度への簡略化、また、制限１から制限２への簡略化に応じて誤差が大きくなる傾向があるが、極端に精度が低下することは少ないと言える。
【００４１】
以上説明したように、本実施の形態により、欠陥画素の補正値をより少ないハードウェア資源を用いてより正確に算出することが可能となる。
【００４２】
なお、上記実施の形態では、エリアセンサ１０２のフィルタがＲ，Ｇ，Ｂで構成されている例を示したが、Ｃｙ（シアン）、Ｙｅ（黄色）、Ｍｇ（マゼンタ）、Ｇｒ（緑）のような補色フィルタで構成されている場合も同様に適用可能である。
【００４３】
また、上記実施の形態では、欠陥画素の上下のライン、または上のラインのみの画素を用いて係数αおよび係数βを算出する方法について説明したが、欠陥画素の下のラインのみを用いて係数αおよび係数βを算出することもできる。
【００４４】
また、上記実施の形態の構成および動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【００４５】
次に、本発明の実施の形態によるコンピュータが実行するためのプログラムについて説明する。
図１における欠陥画素補正システムにおけるコンピュータシステムのＣＰＵが実行するためのプログラムは、本発明によるプログラムを構成する。
このプログラムを格納するための記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フレキシブルディスク、メモリカード等に構成して用いてよい。
【００４６】
また上記記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
【００４７】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【００４８】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４９】
従って、このプログラムを図１のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこのプログラムを実行することによっても、上記実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の構成例を示すブロック図である。
【図２】画素の配列および欠陥画素の位置を示す図である。
【図３】比較検証に用いた画像上の欠陥画素の位置を示す図である。
【図４】比較検証結果を示すグラフである。
【符号の説明】
１０１ レンズ １０２ エリアセンサ １０３ センサ制御部 １０４ 欠陥補正部 １０５ 画像処理部（各機能ブロック）
【発明の属する技術分野】
本発明は、欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラムに関し、特に、エリアセンサの欠陥画素の出力値を周辺画素の値の変化に基づいて補正する欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラムに関する。
【０００２】
【従来の技術】
エリアセンサは、光を電気信号に変換する素子（画素）の集合体であるが、エリアセンサを構成する画素の中には、正常な値を出力しない（期待される値から大きくはずれた値を出力する）ものがある。これらの画素は欠陥画素と呼ばれる。欠陥画素の出力値は、周囲の正常な画素の出力値から欠陥画素の出力値として予測される値により置き換えられる。
欠陥画素を補正する方法としては、ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅｔｒａｎｓｆｏｒｍ）変換を利用するもの（例えば、特許文献１参照）や、欠陥画素の上下左右の画素の出力値の変化量を利用して補正するもの（例えば、特許文献２参照）や、上下左右および斜めの画素のうち、変化量が少ないものの組み合わせを選択して算出するもの（例えば、特許文献３参照）がある。
【０００３】
【特許文献１】
特開平６−１０５２４１号公報（図１）
【特許文献２】
特開平６−１０５２４２号公報（図１）
【特許文献３】
特開２００１−３０７０７９号公報（図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１，２，３に記載の発明はいずれも、フレームメモリまたはかなりの量のラインメモリを必要とするという問題があった。また、特許文献１に記載の発明は、ＤＣＴ変換ブロックを持たないシステムの場合、負荷が大きいという問題があった。また、特許文献２に記載の発明は、かなり多くの計算量を必要とし、システムにかかる負荷が大きいという問題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、欠陥画素の出力値の補正値をより少ないハードウェア資源を用いてより正確に算出することができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の欠陥画素補正システムは、光を検出する画素が格子状に配列されたエリアセンサの欠陥画素の値を補正するものであって、欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して欠陥画素の値を補正する補正手段と、欠陥画素の近傍の画素の変化量に基づいて、第１の画素の値に対して第１の重み付けをするために第１の画素の値に乗算される第１の係数の値と、第２の画素の値に対して第２の重み付けをするために第２の画素の値に乗算される第２の係数の値とを演算する係数値演算手段とを備えることを特徴とするものである。これにより、欠陥画素の値を同一ライン上の直近の画素を用いて算出することができる。
【０００７】
請求項２に記載の欠陥画素補正システムは、その係数値演算手段が、欠陥画素を含むラインと隣接する上のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する上のライン上の、第１の画素と同一列の第４の画素の値の差分の絶対値と、欠陥画素を含むラインと隣接する下のライン上の、欠陥画素と同一列に位置する第５の画素の値と、欠陥画素を含むラインと隣接する下のライン上の、第１の画素と同一列の第６の画素の値の差分の絶対値を加算して得られる値を第１の変化量とし、欠陥画素を含むラインと隣接する上のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する上のライン上の、第２の画素と同一列の第７の画素の値の差分の絶対値と、欠陥画素を含むラインと隣接する下のライン上の、欠陥画素と同一列に位置する第５の画素の値と、欠陥画素を含むラインと隣接する下のライン上の、第２の画素と同一列の第８の画素の値の差分の絶対値を加算して得られる値を第２の変化量とし、第１の変化量と第２の変化量を加算した総変化量に対する第２の変化量の割合を第１の係数の値とし、総変化量に対する第２の変化量の割合を第１の係数の値とすることができる。これにより、欠陥画素の上下２ライン分のラインメモリのみを用いて欠陥画素の値を算出することができる。
【０００８】
或いは、請求項３に記載の欠陥画素補正システムは、その係数値演算手段が、欠陥画素を含むラインと隣接する上のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する上のライン上の、第１の画素と同一列の第４の画素の値の差分の絶対値を第１の変化量とし、欠陥画素を含むラインと隣接する上のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する上のライン上の、第２の画素と同一列の第５の画素の値の差分の絶対値を第２の変化量とし、第１の変化量と第２の変化量を加算した総変化量に対する第２の変化量の割合を第１の係数の値とし、総変化量に対する第２の変化量の割合を第１の係数の値とすることができる。これにより、欠陥画素の上の１ライン分のラインメモリのみを用いて欠陥画素の値を算出することができる。
【０００９】
或いは、請求項４に記載の欠陥画素補正システムは、その係数値演算手段が、欠陥画素を含むラインと隣接する下のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する下のライン上の、第１の画素と同一列の第４の画素の値の差分の絶対値を第１の変化量とし、欠陥画素を含むラインと隣接する下のライン上の、欠陥画素と同一列に位置する第３の画素の値と、欠陥画素を含むラインと隣接する下のライン上の、第２の画素と同一列の第５の画素の値の差分の絶対値を第２の変化量とし、第１の変化量と第２の変化量を加算した総変化量に対する第２の変化量の割合を第１の係数の値とし、総変化量に対する第１の変化量の割合を第２の係数の値とすることができる。これにより、欠陥画素の下の１ライン分のラインメモリのみを用いて欠陥画素の値を算出することができる。
【００１０】
また、請求項５に記載の欠陥画素補正システムは、第１の変化量の値、および第２の変化量の値の精度を下げたものを入力とし、第１の係数、および第２の係数を出力するルックアップテーブルをさらに備えるようにすることができる。これにより、演算の負荷を軽減することができる。
【００１１】
また、請求項６に記載の欠陥画素補正システムは、第１の変化量の値、および第２の変化量の値を二進数で表記し、値を表す上位２ビット以外のビット、または上位１ビット以外のビットを０にしたものを入力とし、第１の係数、および第２の係数を出力するルックアップテーブルをさらに備えることができる。これにより、演算の負荷を軽減することができる。
【００１２】
請求項７に記載の欠陥画素補正方法は、光を検出する画素が格子状に配列されたエリアセンサの欠陥画素の値を補正するものであって、欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して欠陥画素の値を補正する補正ステップと、欠陥画素の近傍の画素の変化量に基づいて、第１の画素の値に対して第１の重み付けをするために第１の画素の値に乗算される第１の係数の値と、第２の画素の値に対して第２の重み付けをするために第２の画素の値に乗算される第２の係数の値とを演算する係数値演算ステップとを備えることを特徴とするものである。これにより、欠陥画素の値を同一ライン上の直近の画素を用いて算出することができる。
【００１３】
請求項８に記載の欠陥画素補正プログラムは、光を検出する画素が格子状に配列されたエリアセンサの欠陥画素の値の補正処理を欠陥画素補正システムに実行させるものであって、欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して欠陥画素の値を補正する補正ステップと、欠陥画素の近傍の画素の変化量に基づいて、第１の画素の値に対して第１の重み付けをするために第１の画素の値に乗算される第１の係数の値と、第２の画素の値に対して第２の重み付けをするために第２の画素の値に乗算される第２の係数の値とを演算する係数値演算ステップとを欠陥画素補正システムに実行させることを特徴とするものである。これにより、欠陥画素の値を同一ライン上の直近の画素を用いて算出することができる。
【００１４】
【発明の実施の形態】
図１は、本発明の欠陥画素補正システムを応用した一実施の形態の構成例を示すブロック図である。同図に示すように、本実施の形態は、光を集光し、後述するエリアセンサ１０２上に被写体の画像を結像させるレンズ１０１と、レンズ１０１により集光され、結像した被写体の画像に対応する信号を出力するエリアセンサ１０２と、エリアセンサ１０２を制御するセンサ制御部１０３と、エリアセンサ１０２からの出力信号に基づいて、欠陥画素の出力値の補正を行う欠陥補正部（補正手段、係数値演算手段）１０４と、欠陥補正部１０４からの出力信号に基づいて、色補間・色変換・オートホワイトバランス等の各種処理を実行する画像処理部（各機能ブロック）１０５とから構成されている。
【００１５】
図２は、エリアセンサ１０２を構成する素子（画素）の一部分の配列を示している。エリアセンサ１０２は、赤（Ｒ）の光を検出し、光の強度に対応する大きさの電気信号に変換して出力する素子（以下では適宜、画素と記載し、素子の出力値を画素の値と記載する）と、緑（Ｇ）の光を検出し、光の強度に対応する大きさの電気信号に変換して出力する素子と、青（Ｂ）の光を検出し、光の強度に対応する大きさの電気信号に変換して出力する素子とからなり、各素子は、例えば、図２に示すように格子状に配列されている。図２において、Ｒ１１，Ｒ１３、・・・は、赤の光を検出する画素であり、「Ｒ」は赤を示し、「１１」、「１３」はエリアセンサ１０２上での位置を示している。Ｇ１２，Ｇ１４、・・・は、緑の光を検出する画素であり、「Ｇ」は緑を示し、「１２」、「１４」はエリアセンサ１０２上での位置を示している。Ｂ２２，Ｂ２４、・・・は、青の光を検出する画素であり、「Ｂ」は青を示し、「２２」、「２４」はエリアセンサ１０２上での位置を示している。また、計算式においてＲ１１等を用いたときは、Ｒ１１等に対応する画素の値を表すものとする。
【００１６】
本実施の形態では、欠陥補正部１０４は、欠陥画素の近傍の画素の値の変化量を利用して、欠陥画素の値を補正する。例えば、図２において、画素（Ｒ３５）が欠陥画素であるとすると、欠陥画素（Ｒ３５）の値を周囲の画素の値に基づいて、次式（１）に従って補正する。
【００１７】
Ｒ３５ ← α×Ｒ３３ ＋ β×Ｒ３７ ・・・式（１）
ただし、係数αと係数βは、α＋β＝１ の関係がある。
【００１８】
上記式（１）において、係数αと係数βの値を、欠陥画素の周囲の画素の値の変化の状態によって切り替えることにより、エッジ部等でも適当な値を算出することができる。
【００１９】
次に、上記式（１）の係数αと係数βの算出方法について説明する。まず最初に、欠陥画素を含むラインの上下のラインの画素を用いた算出方法について説明する。係数αと係数βの算出は、欠陥画素の左右に存在する画素に対して、欠陥画素がいずれの画素と相関が強いかを判別することにより行われる。
【００２０】
画素（Ｒ３５）が欠陥画素である場合、同一ライン上の左の直近の画素（Ｒ３３）と、右の直近の画素（Ｒ３７）を用いて、上記式（１）に従って、欠陥画素（Ｒ３５）の値を算出する。このとき、係数αおよび係数βの値は、欠陥画素（Ｒ３５）、画素（Ｒ３３）、および画素（Ｒ３７）とそれぞれ同一列に位置し、かつ欠陥画素に対して最も近傍の位置にある画素（Ｇ２３）、画素（Ｇ２５）、画素（Ｇ２７）と、画素（Ｇ４３）、画素（Ｇ４５）、画素（Ｇ４７）の値を用いて、次式（２）乃至式（５）に従って算出される。
【００２１】
ｋ０ ＝ ａｂｓ（Ｇ２５−Ｇ２３）＋ａｂｓ（Ｇ４５−Ｇ４３） 式（２）
ｋ１ ＝ ａｂｓ（Ｇ２５−Ｇ２７）＋ａｂｓ（Ｇ４５−Ｇ４７） 式（３）
α ＝ ｋ１／（ｋ０＋ｋ１） 式（４）
β ＝ ｋ０／（ｋ０＋ｋ１） 式（５）
【００２２】
ここで、ａｂｓ（Ａ）は、Ａの絶対値を算出することを意味している。
【００２３】
上記式（２）乃至式（５）は、欠陥画素（Ｒ３５）と同一列の上のラインの画素（Ｇ２５）、および下のラインの画素（Ｇ４５）と、欠陥画素（Ｒ３５）と同一ライン上にある左側の近傍の画素（Ｒ３３）と同一列の上のラインの画素（Ｇ２３）、および下のラインの画素（Ｇ４３）と、欠陥画素（Ｒ３５）と同一ライン上にある右側の近傍の画素（Ｒ３７）と同一列の上のラインの画素（Ｇ２７）、および下のラインの画素（Ｇ４７）について、各ライン毎に各画素の値の変化量（ｋ０，ｋ１）を求め、その変化量が欠陥画素を含むラインでも同一であると仮定して、係数αおよび係数βを算出している。
【００２４】
係数αおよび係数βの値は、α＋β＝１の条件下で０乃至１の間でそれぞれ変化し、欠陥画素（Ｒ３５）の左右の画素（Ｒ３３，Ｒ３７）のそれぞれに施す係数（α、β）は、変化量が少ないほど１に近い値となる。即ち、変化量ｋ０の値が変化量ｋ１の値より小さければ小さいほど、係数αの値が１に近くなり、逆に係数βの値は０に近くなる。また、変化量ｋ１の値が変化量ｋ０の値より小さければ小さいほど、係数βの値が１に近くなり、逆に係数αの値は０に近くなる。
【００２５】
上記式（１）より、係数αの値が１に近ければ近いほど、欠陥画素（Ｒ３５）の値は、画素（Ｒ３３）の値に近くなる。逆に、係数βの値が１に近ければ近いほど、欠陥画素（Ｒ３５）の値は、画素（Ｒ３７）の値に近くなる。
【００２６】
上述した欠陥画素の上下ラインの画素から係数αおよび係数βを算出する方法では、注目ラインの他、２ライン分のデータが必要となる。すなわち、少なくとも２ライン分のラインメモリが必要となる。そこで、欠陥画素の上のラインのみの画素を用いて係数αおよび係数βを算出することにする。この方法では、ラインメモリを１ライン分削減することができる。以下、その算出方法について説明する。
【００２７】
図２より、画素（Ｒ３５）が欠陥画素である場合、画素（Ｒ３３）と画素（Ｒ３７）を用いて、上記式（１）に従って、画素（Ｒ３５）の値を算出する。このとき、係数αおよび係数βの値は、欠陥画素（Ｒ３５）と、画素（Ｒ３３）および画素（Ｒ３７）とそれぞれ同一列に位置し、かつ欠陥画素（Ｒ３５）に対して最も近傍の位置にある画素（Ｇ２３）、画素（Ｇ２５）、および画素（Ｇ２７）の値を用いて、次式（６）乃至式（９）に従って算出される。
【００２８】
ｋ０ ＝ ａｂｓ（Ｇ２５−Ｇ２３） 式（６）
ｋ１ ＝ ａｂｓ（Ｇ２５−Ｇ２７） 式（７）
α ＝ ｋ１／（ｋ０＋ｋ１） 式（８）
β ＝ ｋ０／（ｋ０＋ｋ１） 式（９）
【００２９】
上記式（６）乃至式（９）は、欠陥画素（Ｒ３５）と同一列の上のラインの画素（Ｇ２５）と、欠陥画素（Ｒ３５）と同一ライン上にある左側の近傍の画素（Ｒ３３）と同一列の上のラインの画素（Ｇ２３）と、欠陥画素（Ｒ３５）と同一ライン上にある右側の近傍の画素（Ｒ３７）と同一列の上のラインの画素（Ｇ２７）について、各画素の値の変化量を求め、その変化量が欠陥画素（Ｒ３５）を含むラインでも同一であると仮定して、係数αおよび係数βを算出している。
【００３０】
係数αおよび係数βの値は、α＋β＝１の条件下で０乃至１の間でそれぞれ変化し、欠陥画素（Ｒ３５）の左右の画素（Ｒ３３，Ｒ３７）のそれぞれに施す係数（α、β）は、変化量が少ないほど１に近い値となる。即ち、ｋ０の値がｋ１の値より小さければ小さいほど、係数αの値が１に近くなり、逆に係数βの値は０に近くなる。また、ｋ１の値がｋ０の値より小さければ小さいほど、係数βの値が１に近くなり、逆に係数αの値は０に近くなる。
【００３１】
上記式（１）より、係数αの値が１に近ければ近いほど、欠陥画素（Ｒ３５）の値は、画素（Ｒ３３）の値に近くなる。逆に、係数βの値が１に近ければ近いほど、欠陥画素（Ｒ３５）の値は、画素（Ｒ３７）の値に近くなる。
【００３２】
次に、処理を簡略化する方法について説明する。上記式（４）、式（５）、式（８）、式（９）は、それぞれ除算を含んでいるため、負荷が大きく、各処理をハードウェア（Ｈ／Ｗ）化する場合において問題となる。そこで、負荷を軽減するために上記変化量ｋ０の値、および変化量ｋ１の精度を低くする。
【００３３】
例えば、オリジナルの値（０１１００１１０（二進数表記））を、上位２ビット精度で表すと、値（０１１０００００）となる。また、上位１ビット精度で表すと、値（０１００００００）となる。また、オリジナルの値（００１０１０１０）を、上位２ビット精度で表すと、値（００１０００００）となる。また、上位１ビット精度で表すと、値（００１０００００）となる。
【００３４】
さらに、係数αおよび係数βの値に算出される値を以下の値に制限する
制限１（Ｌｉｍ１）
０ ０．１２５ ０．２５ ０．３７５ ０．５ ０．６２５ ０．７５ ０．８７５ １．０
制限２（Ｌｉｍ２）
０ ０．２５ ０．５ ０．７５ １．０
【００３５】
欠陥補正部１０４は、変化量ｋ０の値、および変化量ｋ１の値を入力し、係数α、および係数βの値を出力するルックアップテーブルを有している。上記簡略化を行うことにより、ルックアップテーブルのサイズを小さくすることができる。
【００３６】
上述した簡略化を行わない場合と、上記２つの簡略化を行った場合について、欠陥画素補正された値の誤差の大小を比較検証した。
【００３７】
図３は、上記比較検証に用いた画像である。この画像の数画素が欠陥画素であるという情報を与え、その画素の値を上記簡略化を行わない方法と、簡略化を行う方法によって補正する。図中、１乃至１３は欠陥画素の位置を表している。平坦部では、欠陥画素補正の手法による差があまりないので、欠陥画素は全てエッジに関わる部分に設定し、その効果を確認する。
【００３８】
上記比較検証は、本来は欠陥画素ではない画素を欠陥画素と仮定して行っているので、欠陥画素の正解の画素値が得られる。従って、上述した方法を用いて欠陥画素を補正した値と、欠陥画素の正解の画素値（真値）とを比較することにより、欠陥画素補正処理の誤差を算出することができる。図４は、その誤差を欠陥画素毎にグラフに表したものである。横軸は欠陥画素の位置を表し、縦軸は誤差の大きさを表している。画素の階調は０乃至２５５としている。
【００３９】
図４のグラフにおいて、左１右１のグラフは、注目する欠陥画素に対し、その左右の同色の画素の平均を補正値とする場合の結果である。すなわち、Ｒ３５を欠陥とすると、
Ｒ３５ ← ０．５×Ｒ３３ ＋ ０．５×Ｒ３７
により欠陥画素を算出している。Ｄｉｆ２のグラフは、上下２ラインを用いて係数を算出する方法により欠陥画素の補正を行った場合の結果を表している。Ｄｉｆ１のグラフは、上１ラインのみを用いて係数を算出する方法により欠陥画素の補正を行った場合の結果を表している。さらに、制限１を用いた場合の結果をＬｉｍ１、制限２を用いた場合の結果をＬｉｍ２と記載している。また、精度に関しては、上位２ビット精度を用いた場合をＰ２、上位１ビット精度を用いた場合をＰ１と記載している。
【００４０】
上下２ラインから上１ラインへの簡略化、２ビット精度から１ビット精度への簡略化、また、制限１から制限２への簡略化に応じて誤差が大きくなる傾向があるが、極端に精度が低下することは少ないと言える。
【００４１】
以上説明したように、本実施の形態により、欠陥画素の補正値をより少ないハードウェア資源を用いてより正確に算出することが可能となる。
【００４２】
なお、上記実施の形態では、エリアセンサ１０２のフィルタがＲ，Ｇ，Ｂで構成されている例を示したが、Ｃｙ（シアン）、Ｙｅ（黄色）、Ｍｇ（マゼンタ）、Ｇｒ（緑）のような補色フィルタで構成されている場合も同様に適用可能である。
【００４３】
また、上記実施の形態では、欠陥画素の上下のライン、または上のラインのみの画素を用いて係数αおよび係数βを算出する方法について説明したが、欠陥画素の下のラインのみを用いて係数αおよび係数βを算出することもできる。
【００４４】
また、上記実施の形態の構成および動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【００４５】
次に、本発明の実施の形態によるコンピュータが実行するためのプログラムについて説明する。
図１における欠陥画素補正システムにおけるコンピュータシステムのＣＰＵが実行するためのプログラムは、本発明によるプログラムを構成する。
このプログラムを格納するための記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フレキシブルディスク、メモリカード等に構成して用いてよい。
【００４６】
また上記記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
【００４７】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【００４８】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４９】
従って、このプログラムを図１のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこのプログラムを実行することによっても、上記実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の構成例を示すブロック図である。
【図２】画素の配列および欠陥画素の位置を示す図である。
【図３】比較検証に用いた画像上の欠陥画素の位置を示す図である。
【図４】比較検証結果を示すグラフである。
【符号の説明】
１０１ レンズ １０２ エリアセンサ １０３ センサ制御部 １０４ 欠陥補正部 １０５ 画像処理部（各機能ブロック）
Claims (8)
- 光を検出する画素が格子状に配列されたエリアセンサの欠陥画素の値を補正する欠陥画素補正システムであって、
前記欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、前記欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して前記欠陥画素の値を補正する補正手段と、
前記欠陥画素の近傍の画素の変化量に基づいて、前記第１の画素の値に対して前記第１の重み付けをするために前記第１の画素の値に乗算される第１の係数の値と、前記第２の画素の値に対して前記第２の重み付けをするために前記第２の画素の値に乗算される第２の係数の値とを演算する係数値演算手段と
を備えることを特徴とする欠陥画素補正システム。 - 前記係数値演算手段は、前記欠陥画素を含むラインと隣接する上のライン上の、前記欠陥画素と同一列に位置する第３の画素の値と、前記欠陥画素を含むラインと隣接する上のライン上の、前記第１の画素と同一列の第４の画素の値の差分の絶対値と、前記欠陥画素を含むラインと隣接する下のライン上の、前記欠陥画素と同一列に位置する第５の画素の値と、前記欠陥画素を含むラインと隣接する下のライン上の、前記第１の画素と同一列の第６の画素の値の差分の絶対値を加算して得られる値を第１の変化量とし、前記欠陥画素を含むラインと隣接する上のライン上の、前記欠陥画素と同一列に位置する前記第３の画素の値と、前記欠陥画素を含むラインと隣接する上のライン上の、前記第２の画素と同一列の第７の画素の値の差分の絶対値と、前記欠陥画素を含むラインと隣接する下のライン上の、前記欠陥画素と同一列に位置する前記第５の画素の値と、前記欠陥画素を含むラインと隣接する下のライン上の、前記第２の画素と同一列の第８の画素の値の差分の絶対値を加算して得られる値を第２の変化量とし、前記第１の変化量と前記第２の変化量を加算した総変化量に対する前記第２の変化量の割合を前記第１の係数の値とし、前記総変化量に対する前記第１の変化量の割合を前記第２の係数の値とする
ことを特徴とする請求項１に記載の欠陥画素補正システム。 - 前記係数値演算手段は、前記欠陥画素を含むラインと隣接する上のライン上の、前記欠陥画素と同一列に位置する第３の画素の値と、前記欠陥画素を含むラインと隣接する上のライン上の、前記第１の画素と同一列の第４の画素の値の差分の絶対値を第１の変化量とし、前記欠陥画素を含むラインと隣接する上のライン上の、前記欠陥画素と同一列に位置する前記第３の画素の値と、前記欠陥画素を含むラインと隣接する上のライン上の、前記第２の画素と同一列の第５の画素の値の差分の絶対値を第２の変化量とし、前記第１の変化量と前記第２の変化量を加算した総変化量に対する前記第２の変化量の割合を前記第１の係数の値とし、前記総変化量に対する前記第１の変化量の割合を前記第２の係数の値とする
ことを特徴とする請求項１に記載の欠陥画素補正システム。 - 前記係数値演算手段は、前記欠陥画素を含むラインと隣接する下のライン上の、前記欠陥画素と同一列に位置する第３の画素の値と、前記欠陥画素を含むラインと隣接する下のライン上の、前記第１の画素と同一列の第４の画素の値の差分の絶対値を第１の変化量とし、前記欠陥画素を含むラインと隣接する下のライン上の、前記欠陥画素と同一列に位置する前記第３の画素の値と、前記欠陥画素を含むラインと隣接する下のライン上の、前記第２の画素と同一列の第５の画素の値の差分の絶対値を第２の変化量とし、前記第１の変化量と前記第２の変化量を加算した総変化量に対する前記第２の変化量の割合を前記第１の係数の値とし、前記総変化量に対する前記第１の変化量の割合を前記第２の係数の値とする
ことを特徴とする請求項１に記載の欠陥画素補正システム。 - 前記第１の変化量の値、および前記第２の変化量の値の精度を下げたものを入力とし、前記第１の係数、および前記第２の係数を出力するルックアップテーブルをさらに備える
ことを特徴とする請求項２乃至４のいずれかに記載の欠陥画素補正システム。 - 前記第１の変化量の値、および前記第２の変化量の値を二進数で表記し、前記値を表す上位２ビット以外のビット、または上位１ビット以外のビットを０にしたものを入力とし、前記第１の係数、および前記第２の係数を出力するルックアップテーブルをさらに備える
ことを特徴とする請求項２乃至４のいずれかに記載の欠陥画素補正システム。 - 光を検出する画素が格子状に配列されたエリアセンサの欠陥画素の値を補正する欠陥画素補正方法であって、
前記欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、前記欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して前記欠陥画素の値を補正する補正ステップと、
前記欠陥画素の近傍の画素の変化量に基づいて、前記第１の画素の値に対して前記第１の重み付けをするために前記第１の画素の値に乗算される第１の係数の値と、前記第２の画素の値に対して前記第２の重み付けをするために前記第２の画素の値に乗算される第２の係数の値とを演算する係数値演算ステップと
を備えることを特徴とする欠陥画素補正方法。 - 光を検出する画素が格子状に配列されたエリアセンサの欠陥画素の値の補正処理を欠陥画素補正システムに実行させる欠陥画素補正プログラムであって、
前記欠陥画素を含むライン上の左側に位置する直近の同一色の第１の画素の値に第１の重み付けをしたものと、前記欠陥画素を含むライン上の右側に位置する直近の同一色の第２の画素の値に第２の重み付けをしたものとを加算して前記欠陥画素の値を補正する補正ステップと、
前記欠陥画素の近傍の画素の変化量に基づいて、前記第１の画素の値に対して前記第１の重み付けをするために前記第１の画素の値に乗算される第１の係数の値と、前記第２の画素の値に対して前記第２の重み付けをするために前記第２の画素の値に乗算される第２の係数の値とを演算する係数値演算ステップと
を前記欠陥画素補正システムに実行させることを特徴とする欠陥画素補正プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003020802A JP2004235873A (ja) | 2003-01-29 | 2003-01-29 | 欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003020802A JP2004235873A (ja) | 2003-01-29 | 2003-01-29 | 欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004235873A true JP2004235873A (ja) | 2004-08-19 |
Family
ID=32950336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003020802A Pending JP2004235873A (ja) | 2003-01-29 | 2003-01-29 | 欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004235873A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012511872A (ja) * | 2008-12-11 | 2012-05-24 | アイティーティー マニュファクチャリング エンタープライジーズ， インコーポレイテッド | 五つの最近隣接を用いた欠陥画素置換 |
| DE102014006717A1 (de) * | 2014-05-05 | 2015-11-05 | Carl Zeiss Microscopy Gmbh | Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens |
-
2003
- 2003-01-29 JP JP2003020802A patent/JP2004235873A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012511872A (ja) * | 2008-12-11 | 2012-05-24 | アイティーティー マニュファクチャリング エンタープライジーズ， インコーポレイテッド | 五つの最近隣接を用いた欠陥画素置換 |
| DE102014006717A1 (de) * | 2014-05-05 | 2015-11-05 | Carl Zeiss Microscopy Gmbh | Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8184181B2 (en) | Image capturing system and computer readable recording medium for recording image processing program | |
| JP5574615B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
| JP4861667B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US7995868B2 (en) | Image processing method and image processing device | |
| US6853748B2 (en) | Signal processing apparatus and method for reducing generation of false color by adaptive luminance interpolation | |
| JP4194336B2 (ja) | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ | |
| JP2005159957A (ja) | 色補間方法 | |
| JP4317619B2 (ja) | 画像処理装置 | |
| WO2007071194A1 (fr) | Procede de realisation d'interpolation de couleur de corrections de valeur de points exceptionnels | |
| JP4321064B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP6282123B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5076186B2 (ja) | 画像拡大方法 | |
| JP2009055281A (ja) | 画像処理装置 | |
| US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
| JP3458080B2 (ja) | カラー撮像装置 | |
| TWI282519B (en) | Color interpolation method with directed weights | |
| JP6415093B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2002232904A (ja) | 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| JP2004235873A (ja) | 欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラム | |
| JP3946913B2 (ja) | 信号生成方法および装置並びに記録媒体 | |
| WO2014050251A1 (ja) | 画素補間装置、撮像装置、プログラムおよび集積回路 | |
| JP2004235980A (ja) | 欠陥画素補正システムおよび欠陥画素補正方法、並びに欠陥画素補正プログラム | |
| JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 |