JP2009076964A - 画像センサの欠陥補正回路 - Google Patents
画像センサの欠陥補正回路 Download PDFInfo
- Publication number
- JP2009076964A JP2009076964A JP2007241206A JP2007241206A JP2009076964A JP 2009076964 A JP2009076964 A JP 2009076964A JP 2007241206 A JP2007241206 A JP 2007241206A JP 2007241206 A JP2007241206 A JP 2007241206A JP 2009076964 A JP2009076964 A JP 2009076964A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- defective pixel
- data
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】欠陥画素により撮像された画像データを図柄の変化点に応じて補正する。
【解決手段】エッジ検出及びパターン算出部1は画像センサの欠陥画素の外側の画素の上下、左右、斜めの各ブロックにおいてそれぞれ、上下方向、左右方向、斜め方向のエッジ、及びエッジを有する画像パターンを検出し、画パターン演算部2及び補間画素演算部3は欠陥画素の位置と、エッジ及び画像パターンとに基づいて、欠陥画素の周囲の複数の画素のデータの1つから、欠陥画素を補間するデータを選択する。
【選択図】図1
【解決手段】エッジ検出及びパターン算出部1は画像センサの欠陥画素の外側の画素の上下、左右、斜めの各ブロックにおいてそれぞれ、上下方向、左右方向、斜め方向のエッジ、及びエッジを有する画像パターンを検出し、画パターン演算部2及び補間画素演算部3は欠陥画素の位置と、エッジ及び画像パターンとに基づいて、欠陥画素の周囲の複数の画素のデータの1つから、欠陥画素を補間するデータを選択する。
【選択図】図1
Description
本発明は、CCD(Charge Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサなどの画像センサの欠陥画素が出力する欠陥画素データを補正する、画像センサの欠陥補正回路に関する。
CCDセンサ、CMOSセンサなどの画像センサでは、例えば下記の特許文献1に記載されているように、被写体に関係なく常に白点となる白欠陥(以下、キズとも記す)画素や、常に黒点となる黒キズ画素が発生するので、キズ画素により撮像された画像データは使用することができない。従来、キズ画素により撮像された画像データを補正(補間)する場合には、補正対象キズ画素の周囲の画素を参考にして直線補間を行ってきた。また、その参考する画素は、固定であって補正対象キズ画素の水平方向の両隣、あるいは上下で隣り合う画素が一般的である。
図16(a)は補正対象キズ画素(画素値b1)の水平方向の両隣の画素(画素値b0、b2)を使用する左右補間方式を示し、補正対象キズ画素の値b1は
b1=(b0+b2)/2
で、図16(c)のように直線補間される。
また、図16(b)は補正対象キズ画素(画素値b1)の上下で隣り合う画素(画素値a1、c1)を使用する上下補間方式を示し、補正対象キズ画素の値b1は
b1=(a1+c1)/2
で、図16(c)のように直線補間される。
特開2001−128068号公報(段落0004)
図16(a)は補正対象キズ画素(画素値b1)の水平方向の両隣の画素(画素値b0、b2)を使用する左右補間方式を示し、補正対象キズ画素の値b1は
b1=(b0+b2)/2
で、図16(c)のように直線補間される。
また、図16(b)は補正対象キズ画素(画素値b1)の上下で隣り合う画素(画素値a1、c1)を使用する上下補間方式を示し、補正対象キズ画素の値b1は
b1=(a1+c1)/2
で、図16(c)のように直線補間される。
<課題1>
しかしながら、上記従来技術では、キズ画素値を強制的に隣接画素の直線補間値で補正をするため、キズ画素が微妙な画柄(レベルの急激な変化点や極めて面積の小さいドットの中にある場合等)である場合、本来のデータレベルとはかけ離れた値のデータに置換されてしまうという問題点がある。また、ランダムデータで周波数が高いような画であれば置換するデータが少々違う場合でも特に不具合は、視覚上感じられないが、静止画に近くかつ周波数が比較的低い画でのエッジ部分に従来の処理を行うと、擬似信号的なドットになったり、時にはちらちらと点滅するようなドットになるという問題点がある。また、参考画素のレベル(画素平均、最大・最小平均など)で画柄を判別しようとした場合、参考画素のサンプル数が少ないと、注目画素が画柄の変化点に掛かってるか、掛かってないかを把握するのが難しく、正確なパターンを把握できない。
しかしながら、上記従来技術では、キズ画素値を強制的に隣接画素の直線補間値で補正をするため、キズ画素が微妙な画柄(レベルの急激な変化点や極めて面積の小さいドットの中にある場合等)である場合、本来のデータレベルとはかけ離れた値のデータに置換されてしまうという問題点がある。また、ランダムデータで周波数が高いような画であれば置換するデータが少々違う場合でも特に不具合は、視覚上感じられないが、静止画に近くかつ周波数が比較的低い画でのエッジ部分に従来の処理を行うと、擬似信号的なドットになったり、時にはちらちらと点滅するようなドットになるという問題点がある。また、参考画素のレベル(画素平均、最大・最小平均など)で画柄を判別しようとした場合、参考画素のサンプル数が少ないと、注目画素が画柄の変化点に掛かってるか、掛かってないかを把握するのが難しく、正確なパターンを把握できない。
<課題2>
CCDセンサの場合はキズ画素が少なく、キズ画素が左右方向、上下方向に連続することが稀であり、仮に左右方向に連続したキズ画素が有れば参考画素を上下方向に、また、上下方向に連続したキズ画素が有れば参考画素を左右方向にと、設定をセット単体で製造ラインにおいて切り替えればほぼ解決できる。一方、CMOSセンサはCCDセンサに比べ、白キズ・黒キズ画素ともその個数が格段に多いのが特徴である。このため、キズ画素を補間するための左右(あるいは上下)の参考画素もキズ画素である確率が増えることとなり、上下、左右どちらにもキズ画素があることも大いに考えられる。したがって、上記の従来の方法では、キズ画素を補間するための上下・左右どちらの参考画素も使えないという問題点があり、また、使ってしまった場合は、補間後の画質が低下するという問題点がある。
CCDセンサの場合はキズ画素が少なく、キズ画素が左右方向、上下方向に連続することが稀であり、仮に左右方向に連続したキズ画素が有れば参考画素を上下方向に、また、上下方向に連続したキズ画素が有れば参考画素を左右方向にと、設定をセット単体で製造ラインにおいて切り替えればほぼ解決できる。一方、CMOSセンサはCCDセンサに比べ、白キズ・黒キズ画素ともその個数が格段に多いのが特徴である。このため、キズ画素を補間するための左右(あるいは上下)の参考画素もキズ画素である確率が増えることとなり、上下、左右どちらにもキズ画素があることも大いに考えられる。したがって、上記の従来の方法では、キズ画素を補間するための上下・左右どちらの参考画素も使えないという問題点があり、また、使ってしまった場合は、補間後の画質が低下するという問題点がある。
本発明は上記の課題1に鑑み、欠陥画素により撮像された画像データを図柄の変化点に応じて補正(補間)することができる画像センサの欠陥補正回路を提供することを目的とする。
また、本発明は上記の課題2に鑑み、欠陥画素が左右方向、上下方向に連続する場合にも欠陥画素により撮像された画像データを補正(補間)することができる画像センサの欠陥補正回路を提供することを目的とする。
また、本発明は上記の課題2に鑑み、欠陥画素が左右方向、上下方向に連続する場合にも欠陥画素により撮像された画像データを補正(補間)することができる画像センサの欠陥補正回路を提供することを目的とする。
本発明は上記目的を達成するために、画像センサの欠陥画素が出力する欠陥画素データを補正する、画像センサの欠陥補正回路において、
補正対象欠陥画素の外側の複数の所定画素のブロックであって前記補正対象欠陥画素の上下、左右、右上、右下、左上、左下の位置にある画素を含む各ブロックにおいてそれぞれ、上下方向、左右方向、斜め方向のエッジ、及び前記エッジを有する画像パターンを検出するエッジ及び画像パターン検出手段と、
前記補正対象欠陥画素の位置と、前記エッジ及び画像パターンにより検出された前記エッジ及び画像パターンとに基づいて、前記補正対象欠陥画素の周囲の複数の画素のデータの1つを選択し、前記補正対象欠陥画素のデータと置換する手段とを、
備えたことを特徴とする。
補正対象欠陥画素の外側の複数の所定画素のブロックであって前記補正対象欠陥画素の上下、左右、右上、右下、左上、左下の位置にある画素を含む各ブロックにおいてそれぞれ、上下方向、左右方向、斜め方向のエッジ、及び前記エッジを有する画像パターンを検出するエッジ及び画像パターン検出手段と、
前記補正対象欠陥画素の位置と、前記エッジ及び画像パターンにより検出された前記エッジ及び画像パターンとに基づいて、前記補正対象欠陥画素の周囲の複数の画素のデータの1つを選択し、前記補正対象欠陥画素のデータと置換する手段とを、
備えたことを特徴とする。
また、本発明は上記目的を達成するために、画像センサの欠陥画素が出力する欠陥画素データを補正する、画像センサの欠陥補正回路において、
前記画像センサの欠陥画素の位置を記憶する記憶手段と、
前記記憶手段に記憶された各欠陥画素の位置に基づいて、補正対象欠陥画素の左右画素の両方が欠陥画素でない場合に前記左右画素の各データから前記補正対象欠陥画素の補間データを算出し、前記補正対象欠陥画素の上下画素の両方が欠陥画素でない場合に前記上下画素の各データから前記補正対象欠陥画素の補間データを算出し、前記補正対象欠陥画素の左右画素の1つ又は両方が欠陥画素であり、かつ前記補正対象欠陥画素の上下画素の1つ又は両方が欠陥画素である場合に、前記補正対象欠陥画素の斜め画素の各データから前記補正対象欠陥画素の補間データを算出し、前記斜め画素が欠陥画素である場合にはその外側の正常画素の各データから前記補正対象欠陥画素の補間データを算出して、前記補正対象欠陥画素のデータと置換する手段とを、
備えたことを特徴とする。
前記画像センサの欠陥画素の位置を記憶する記憶手段と、
前記記憶手段に記憶された各欠陥画素の位置に基づいて、補正対象欠陥画素の左右画素の両方が欠陥画素でない場合に前記左右画素の各データから前記補正対象欠陥画素の補間データを算出し、前記補正対象欠陥画素の上下画素の両方が欠陥画素でない場合に前記上下画素の各データから前記補正対象欠陥画素の補間データを算出し、前記補正対象欠陥画素の左右画素の1つ又は両方が欠陥画素であり、かつ前記補正対象欠陥画素の上下画素の1つ又は両方が欠陥画素である場合に、前記補正対象欠陥画素の斜め画素の各データから前記補正対象欠陥画素の補間データを算出し、前記斜め画素が欠陥画素である場合にはその外側の正常画素の各データから前記補正対象欠陥画素の補間データを算出して、前記補正対象欠陥画素のデータと置換する手段とを、
備えたことを特徴とする。
本発明によれば、欠陥画素の外側の複数の所定画素のブロックであって前記補正対象欠陥画素の上下、左右、右上、右下、左上、左下の位置にある画素を含む各ブロックにおいてそれぞれ、上下方向、左右方向、斜め方向のエッジ、及び前記エッジを有する画像パターンを検出して、欠陥画素の周囲の複数の画素のデータの1つから、欠陥画素を補間する画素のデータを選択して欠陥画素と置換するので、欠陥画素により撮像された画像データを図柄の変化点に応じて補正(補間)することができる。
また本発明によれば、補正対象欠陥画素の左右画素の1つ又は両方が欠陥画素であり、かつ補正対象欠陥画素の上下画素の1つ又は両方が欠陥画素である場合に、補正対象欠陥画素の斜め画素の各データから補正対象欠陥画素の補間データを算出し、さらに斜め画素が欠陥画素である場合にはその外側の正常画素の各データから補正対象欠陥画素の補間データを算出して、補正対象欠陥画素と置換するので、欠陥画素が左右方向、上下方向に連続する場合にも欠陥画素により撮像された画像データを補正(補間)することができる。
また本発明によれば、補正対象欠陥画素の左右画素の1つ又は両方が欠陥画素であり、かつ補正対象欠陥画素の上下画素の1つ又は両方が欠陥画素である場合に、補正対象欠陥画素の斜め画素の各データから補正対象欠陥画素の補間データを算出し、さらに斜め画素が欠陥画素である場合にはその外側の正常画素の各データから補正対象欠陥画素の補間データを算出して、補正対象欠陥画素と置換するので、欠陥画素が左右方向、上下方向に連続する場合にも欠陥画素により撮像された画像データを補正(補間)することができる。
以下、図面を参照して本発明の実施の形態について説明する。
<第1の実施の形態>
第1の実施の形態では、補正対象の画像の周辺を数ブロックに分け、その各々のブロックでの画柄の変化状態を検出し、その各ブロックの検出結果を持ち寄り、それの結果より最適な補間画素を求める方法である。特に画の変化点(エッジ)を検出し、それを基に画柄のパターンを推測する。従来の各ブロック間のレベルの違いを求めて画パターンを得る方法ではなく、各ブロック内で画パターン(主に大きな変化点)をそれぞれ算出するところが大きな違いである。
<第1の実施の形態>
第1の実施の形態では、補正対象の画像の周辺を数ブロックに分け、その各々のブロックでの画柄の変化状態を検出し、その各ブロックの検出結果を持ち寄り、それの結果より最適な補間画素を求める方法である。特に画の変化点(エッジ)を検出し、それを基に画柄のパターンを推測する。従来の各ブロック間のレベルの違いを求めて画パターンを得る方法ではなく、各ブロック内で画パターン(主に大きな変化点)をそれぞれ算出するところが大きな違いである。
図1は本発明に係る画像センサのキズ補正回路の第1の実施の形態を示す説明図、図2は本発明に係る画像センサのキズ補正回路の第1の実施の形態を示すブロック図である。補正方法を簡単に説明すると、
1.図1及び以下のように補正対象の注目画素(画素値d3)の周りの7×7画素を参考画素とする。以下、注目画素の参照符号とその値の参照符号については、同じ参照符号を用いる。
1.図1及び以下のように補正対象の注目画素(画素値d3)の周りの7×7画素を参考画素とする。以下、注目画素の参照符号とその値の参照符号については、同じ参照符号を用いる。
2.エッジ検出及びパターン算出部1及び画パターン演算部2で、周りの参考画素を使ってその部分の画柄のパターン(変化点状況)を解析する。このとき、7×7画素のブロックを、以下のように隣接画素が重複した3×3画素ごとに、中心ブロックQ0に対して上下、左右、右上、右下、左上、左下の8つの小ブロックQ1〜Q8に分割し、小ブロックQ1〜Q8のそれぞれについて演算する。
3.8つの小ブロックQ1〜Q8より絵柄パターンが判明したら、補間画素演算部3で、中心ブロックQ0の8つの参考画素
から、1番適した補間データd3'を作る。
4.セレクタ4及び置換信号で、補正対象の注目画素(キズ画素)d3をその補間データd3'と置換する。
から、1番適した補間データd3'を作る。
4.セレクタ4及び置換信号で、補正対象の注目画素(キズ画素)d3をその補間データd3'と置換する。
以下に詳しく説明する。エッジ検出及びパターン算出部1では、各々3×3画素の小ブロックQ1〜Q8をあるスレッシュ値により二値化し、それぞれが二値の画柄パターンのいずれかかを算出する。まず、図3に示す画柄の二値の10パターン<1>〜<10>を使用して、中心ブロックQ0の上下左右の小ブロックQ2、Q4、Q5、Q7について、それぞれ上、下、左、右に変化するパターンを優先で検出する。次に図4に示す画柄の二値の18パターン<1>〜<13>、<14>〜<19>を使用して、中心ブロックQ0の斜め方向の小ブロックQ1、Q3、Q6、Q8について斜め方向に変化するパターンを検出する。
図5は画パターン演算部2を詳しく示すブロック図である。画パターン演算部2では、エッジ検出及びパターン算出部1により算出された小ブロックQ1〜Q8の画パターンを元にキズ画素d3の周りの画柄を算出する。変化位置判別部21−2及び変化パターン判別部22−2は、上下左右の小ブロックQ2、Q4、Q5、Q7のそれぞれに対して設けられ、縦横の変化位置(4種類)と変化位置の上下又は左右どちらが白あるいは黒か(2種類)を判別して、小ブロックQ2、Q4、Q5、Q7が図3に示す8種類のパターン<3>〜<10>の内、どれか1種類であるかを決定する。
また、変化位置判別部21−1及び変化パターン判別部22−1は、斜め方向の小ブロックQ1、Q3、Q6、Q8のそれぞれに対して設けられ、斜めの変化位置(8種類)と変化位置を境にどちらが白あるいは黒か(2種類)を判別して、図4に示す16種類のパターン<3>〜<13>、<14>〜<19>の内、どれか1種類であるかを決定する。
また、変化位置判別部21−1及び変化パターン判別部22−1は、斜め方向の小ブロックQ1、Q3、Q6、Q8のそれぞれに対して設けられ、斜めの変化位置(8種類)と変化位置を境にどちらが白あるいは黒か(2種類)を判別して、図4に示す16種類のパターン<3>〜<13>、<14>〜<19>の内、どれか1種類であるかを決定する。
変化位置・画パターン算出部23は、変化位置判別部21−2、21−1及び変化パターン判別部22−2、22−1によりそれぞれ判定された変化位置及びパターン種別に基づいて、図6に示す21種類の位置検出パターン<1>〜<21>のうち、どれに該当するかを判別し、その結果を補間画素演算部3に送る。ここで、図6に示す位置検出パターン<1>〜<21>は、白・黒反転の場合もあるので42パターンになるが、変化点(エッジ)検出としては21パターンである。
補間画素演算部3では、図5に示す画パターン演算部2の変化位置・画パターン算出部23により判別された位置検出パターン<1>〜<21>に応じて、キズ画素d3周辺の8つの参考画素c2,c3,c4,d2,d4,e2,e3,e4から、キズ画素d3を置換するのに最も適した補間画素データd3'を演算する。セレクタ4では、置換信号がONの場合には補間画素データd3'とキズ画素d3の入れ替えを行い、置換信号がOFFの場合は、キズ画素d3をそのまま出力する。
図7は補間画素演算部3を詳しく示すブロック図である。パターンデコード回路31は、位置検出パターン<1>〜<21>を、参考画素c2,c3,c4,d2,d4,e2,e3,e4の画素データを使用/不使用とするスイッチ群32(SW1〜SW8)のON/OFF信号にデコードする。重み付け回路33は、SW1〜SW8の出力する画素値c2,c3,c4,d2,d4,e2,e3,e4ごとに重み付けの演算を行う。例えば、キズ画素d3の上下左右の画素c3,d2,d4,e3は重み付け大、斜めの画素c2,c4,e2,e4は重み付け小とする。加算部(Σ)34は重み付け回路33の各演算結果を加算し、除算部35は加算部(Σ)34の演算結果を、参考画素c2,c3,c4,d2,d4,e2,e3,e4のうち、使用した画素の総数nで割ることにより補間画素データd3'の値を算出して、図2のセレクタ4に出力する。
図8は第1の実施の形態を従来技術と比較した一例を示す説明図である。図8(a)は原画像の一例を示し、7×7画素のブロックにおいてキズ画素d3の左上の、キズ画素d3を含む4×4画素がすべて黒画素(0%)、それ以外がすべて白画素(100%)である。図8(b)は図8(a)に示す原画像を従来の直線補間で補間した場合を示し、補間画素データd3'は、左右の画素d2,d4又は上下の画素c3,e3を参考画素とすると50%グレーとなり、8画素c2,c3,c4,d2,d4,e2,e3,e4のすべてを参考画素とすると62.5%グレーとなる。このため、キズ画素d3のデータは本来、黒画素(0%)であるにもかかわらずグレーとなるので、エッジがぼけることになる。
これに対し、図8(c)は図8(a)に示す原画像を第1の実施の形態で補間した場合を示す。この原画像の場合には、まず、キズ画素d3の上ブロックQ2と左ブロックQ4のみで変化点を検出する。他のブロックQ1、Q3、Q5〜8では均一レベルで変化点がないとみなし、演算に含まない。次に、変化点があるブロックQ2、Q4からその変化点位置を算出し、その変化点位置より、矢印で示すように中心ブロックQ0においてキズ画素d3の上方向、左方向のデータを使用した方がよいことを類推する。そして、このデータを使用してキズ画素d3を補間すると、補間画素データd3'は黒画素(0%)となるので、エッジがシャープになる。
図9は第1の実施の形態を従来技術と比較した他の例を示す説明図である。図9(a)は原画像の一例を示し、7×7画素のブロックにおいてキズ画素d3より斜め左上の画素がすべて黒画素(0%)、それ以外が白画素(100%)である。図9(b)は図9(a)に示す原画像を従来の直線補間で補間した場合を示し、補間画素データd3'は図8と同様に、左右の画素d2,d4又は上下の画素c3,e3を参考画素とすると50%グレーとなり、8画素c2,c3,c4,d2,d4,e2,e3,e4のすべてを参考画素とすると62.5%グレーとなる。このため、キズ画素d3のデータは本来、白画素(100%)であるにもかかわらずグレーとなるので、エッジがぼけることになる。
これに対し、図9(c)は図9(a)に示す原画像を第1の実施の形態で補間した場合を示す。この原画像の場合には、まず、キズ画素d3の上ブロックQ2と、右上ブロックQ3と、左ブロックQ4と左下ブロックQ6で変化点を検出する。他のブロックQ1、Q5、Q7、Q8では均一レベルで変化点がないとみなし、演算に含まない。次に、変化点があるブロックQ2、Q3、Q4、Q6からその変化点位置を算出し、その変化点位置より、矢印で示すように中心ブロックQ0においてキズ画素d3の右下方向のデータを使用した方がよいことを類推する。そして、このデータを使用してキズ画素d3を補間すると、補間画素データd3'は白画素(100%)となるので、エッジがシャープになる。
<第2の実施の形態>
図10は本発明に係る画像センサのキズ補正回路の第2の実施の形態を説明するためのフローチャート、図11は本発明に係る画像センサのキズ補正回路の第2の実施の形態の要部を示すブロック図である。
図10は本発明に係る画像センサのキズ補正回路の第2の実施の形態を説明するためのフローチャート、図11は本発明に係る画像センサのキズ補正回路の第2の実施の形態の要部を示すブロック図である。
図10において、まず、キズ補正対象画素の隣接左右画素の両方がキズ画素でない場合(ステップS1でNo)、ステップS4において従来の上下左右方式の左右画素を参照画素(補間画素)として選択し、続くステップS5では図16(a)に示した左右補間(キズ画素を補間画素に置換)による補正を行う。キズ補正対象画素の隣接上下画素の両方がキズ画素でない場合(ステップS2でNo)、ステップS4において従来の上下左右方式の上下画素を参照画素(補間画素)として選択し、続くステップS5では図16(b)に示した上下補間(キズ画素を補間画素に置換)による補正を行う。また、キズ補正対象画素の隣接左右画素の1つ又は両方がキズ画素であり(ステップS1でYes)、かつキズ補正対象画素の上下画素の1つ又は両方がキズ画素である場合(ステップS2でYes)には、続くステップS3において補正対象キズ画素の斜め画素を参照画素(補間画素)として選択し、続くステップS5では、斜め補間(キズ画素を補間画素に置換)による補正を行い、さらに斜め画素がキズ画素である場合にはその外側の正常画素で補正を行う。これは従来のように参照画素が固定ではなく、参考画素のキズ画素の現れ方で参考画素を可変的に変更して補正する方法である。
図11はステップS3の処理を実行する構成を示す。キズ座標記憶装置101には、補正対象のCCDセンサ、CMOSセンサなどの画像センサのどの画素がキズか否かを示すキズ座標があらかじめ記憶されている。注目画素キズ判別部102は、キズ座標記憶装置101に記憶されているキズ座標に基づいて注目画素がキズ画素か否かを判別し、キズ画素でない場合には画像センサの出力を選択する置換判別信号(no)を、キズ画素の場合には置換データを選択する置換判別信号(yes)を置換回路(セレクタ)105に出力する。また、隣接画素キズ判別回路103及び置換画素演算回路104は、キズ座標記憶装置101に記憶されているキズ座標に基づいて注目画素の隣接画素がキズか否かを判別して、キズでない隣接画素のデータを使用して置換データを演算し、置換回路(セレクタ)105に出力する。
(1−1)補正対象キズ画素b1の左右画素b0、b2の1つ又は両方がキズ画素であり、かつ補正対象キズ画素b1の上下画素a1、c1の1つ又は両方がキズ画素である場合には、図13(a)に示すように正常な斜め画素a0、a2、c0、c2で以下式(1−1)のように補正対象キズ画素b1を補間する。
(1−2)また、補正対象キズ画素b1の左右画素b0、b2、上下画素a1、c1のいずれかにキズがある場合に、その補正対象キズ画素b1に近い(かつ正常な)斜め画素a0、a2、c0、c2を代わりに参照画素として使用する。図13(b)は一例として、キズ画素(図の×)が右画素b2と下画素c1であるので、正常な上画素a1、左画素b0はそのまま使用し、キズ画素b2、c1の代わりにそれぞれ右下画素c2、左下画素c0を使用する。また、以下の式(1−2)のように上画素a1、左画素b0より遠い斜め画素c0、c2には重み付けを行い、また、2個の斜め画素c0、c2を使用した分の重み付け(係数k/4)を行って、補正対象キズ画素b1を補間する。
(1−3)図13(c)は他の例として、補正対象キズ画素b1の回りの8画素のうち、正常な画素は3画素(上画素a1、左画素b0、右下画素c2)しかない場合を示す。この場合には、3画素a1、b0、c2のみを使用し、また、以下の式(1−3)のように上画素a1、左画素b0より遠い斜め画素c2には重み付けを行い、また、1個の斜め画素c2を使用した分の重み付け(係数k/3)を行って、補正対象キズ画素b1を補間する。
(2−1)ここで、補正対象キズ画素c2を斜め画素で補間する場合には、基本的には図15(a)に示すように
の3×3画素において、補正対象キズ画素c2の左右画素c1、c3、上下画素b2、d2のいずれかにキズがある場合に、代わりにその補正対象キズ画素c2の斜め(かつ正常な)画素b1、b3、d1、d3を参照画素として使用し、以下の式(2−1)のように補正対象キズ画素c2を補間する。
の3×3画素において、補正対象キズ画素c2の左右画素c1、c3、上下画素b2、d2のいずれかにキズがある場合に、代わりにその補正対象キズ画素c2の斜め(かつ正常な)画素b1、b3、d1、d3を参照画素として使用し、以下の式(2−1)のように補正対象キズ画素c2を補間する。
(2−2)そして、その補正対象キズ画素c2の斜め画素b1、b3、d1、d3にもキズがある場合には、上記の3×3画素の外側の画素を参照画素として使用する。図15(b)はその一例を示し、左上画素b1と左下画素d1にキズがある場合には画素b1、d1の代わりに、左画素c1より1つ左の画素c0を参照画素として使用し、以下の式(2−2)のようにキズ補正対象画素c2を補間する。
(2−3)図15(c)は他の例として、左上画素b1と、右上画素b3と左下画素d1とにキズがある場合を示す。この場合には、これらのキズ画素b1、b3、d1の代わりに、外側であって方向が近い画素a0、a2、c0を参照画素として使用し、以下の式(2−3)のように補正対象キズ画素c2を補間する。定数kは、縦横に加え斜めの画素をそれぞれ重み漬けするため、本来よりも値が少なく出る傾向を補正するための補正値である。
上記のように、左右又は上下の画素がキズ画素で使えない場合、斜め方向の画素に、注目画素からの距離に応じて重み付けすることにより、キズが多い場合でも残りの正常な画素で補正が行える。上記の例では、左右又は上下の画素の重み付けを1とした場合、斜め方向の画素は
としているが、斜め方向の重み付けの値は、センサの画素配列で変わる。したがって、キズ補正後の画質が向上し、また、隣接の左右又は上下画素にキズが無いセンサを選択する作業を省くことによるコストダウンが図れる。
1 エッジ検出及びパターン算出部
2 画パターン演算部
3 補間画素演算部
4 セレクタ
101 キズ座標記憶装置
102 注目画素キズ判別部
103 隣接画素キズ判別部
104 置換画素演算回路
105 置換回路(セレクタ)
2 画パターン演算部
3 補間画素演算部
4 セレクタ
101 キズ座標記憶装置
102 注目画素キズ判別部
103 隣接画素キズ判別部
104 置換画素演算回路
105 置換回路(セレクタ)
Claims (2)
- 画像センサの欠陥画素が出力する欠陥画素データを補正する、画像センサの欠陥補正回路において、
補正対象欠陥画素の外側の複数の所定画素のブロックであって前記補正対象欠陥画素の上下、左右、右上、右下、左上、左下の位置にある画素を含む各ブロックにおいてそれぞれ、上下方向、左右方向、斜め方向のエッジ、及び前記エッジを有する画像パターンを検出するエッジ及び画像パターン検出手段と、
前記補正対象欠陥画素の位置と、前記エッジ及び画像パターンにより検出された前記エッジ及び画像パターンとに基づいて、前記補正対象欠陥画素の周囲の複数の画素のデータの1つを選択し、前記補正対象欠陥画素のデータと置換する手段とを、
備えたことを特徴とする画像センサの欠陥補正回路。 - 画像センサの欠陥画素が出力する欠陥画素データを補正する、画像センサの欠陥補正回路において、
前記画像センサの欠陥画素の位置を記憶する記憶手段と、
前記記憶手段に記憶された各欠陥画素の位置に基づいて、補正対象欠陥画素の左右画素の両方が欠陥画素でない場合に前記左右画素の各データから前記補正対象欠陥画素の補間データを算出し、前記補正対象欠陥画素の上下画素の両方が欠陥画素でない場合に前記上下画素の各データから前記補正対象欠陥画素の補間データを算出し、前記補正対象欠陥画素の左右画素の1つ又は両方が欠陥画素であり、かつ前記補正対象欠陥画素の上下画素の1つ又は両方が欠陥画素である場合に、前記補正対象欠陥画素の斜め画素の各データから前記補正対象欠陥画素の補間データを算出し、前記斜め画素が欠陥画素である場合にはその外側の正常画素の各データから前記補正対象欠陥画素の補間データを算出して、前記補正対象欠陥画素のデータと置換する手段とを、
備えたことを特徴とする画像センサの欠陥補正回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007241206A JP2009076964A (ja) | 2007-09-18 | 2007-09-18 | 画像センサの欠陥補正回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007241206A JP2009076964A (ja) | 2007-09-18 | 2007-09-18 | 画像センサの欠陥補正回路 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009076964A true JP2009076964A (ja) | 2009-04-09 |
Family
ID=40611557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007241206A Withdrawn JP2009076964A (ja) | 2007-09-18 | 2007-09-18 | 画像センサの欠陥補正回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009076964A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011120202A (ja) * | 2009-11-02 | 2011-06-16 | Sony Corp | 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム |
JP2011166422A (ja) * | 2010-02-09 | 2011-08-25 | Ricoh Co Ltd | 撮像装置 |
JP2011199493A (ja) * | 2010-03-18 | 2011-10-06 | Nikon Corp | カメラ |
KR101243363B1 (ko) | 2010-11-12 | 2013-03-13 | 에스케이하이닉스 주식회사 | 불량픽셀 제거 장치 및 방법 |
CN103686098A (zh) * | 2012-09-04 | 2014-03-26 | 恒景科技股份有限公司 | 数字摄像装置及其影像处理方法 |
JP2015220710A (ja) * | 2014-05-21 | 2015-12-07 | 株式会社ソシオネクスト | 欠陥画素補正方法及び画像処理装置 |
-
2007
- 2007-09-18 JP JP2007241206A patent/JP2009076964A/ja not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011120202A (ja) * | 2009-11-02 | 2011-06-16 | Sony Corp | 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム |
JP2011166422A (ja) * | 2010-02-09 | 2011-08-25 | Ricoh Co Ltd | 撮像装置 |
JP2011199493A (ja) * | 2010-03-18 | 2011-10-06 | Nikon Corp | カメラ |
KR101243363B1 (ko) | 2010-11-12 | 2013-03-13 | 에스케이하이닉스 주식회사 | 불량픽셀 제거 장치 및 방법 |
CN103686098A (zh) * | 2012-09-04 | 2014-03-26 | 恒景科技股份有限公司 | 数字摄像装置及其影像处理方法 |
CN103686098B (zh) * | 2012-09-04 | 2015-07-22 | 恒景科技股份有限公司 | 数字摄像装置及其影像处理方法 |
JP2015220710A (ja) * | 2014-05-21 | 2015-12-07 | 株式会社ソシオネクスト | 欠陥画素補正方法及び画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3125124B2 (ja) | 欠陥画素傷補正回路 | |
KR101980931B1 (ko) | 화상 처리 장치 및 화상 처리 방법과 기록 매체 | |
JP2007201530A (ja) | 画素欠陥補正装置 | |
JP4868968B2 (ja) | 補間フレーム作成方法及び補間フレーム作成装置 | |
JP4378746B2 (ja) | 欠陥ピクセルの検出可能なディジタル・イメージ・センサおよび方法 | |
JP2009076964A (ja) | 画像センサの欠陥補正回路 | |
JP2004080761A (ja) | デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法 | |
JP4065155B2 (ja) | 画像処理装置および画像処理プログラム | |
KR20180013982A (ko) | 이미지 프로세싱 방법 및 장치 | |
JP2009065671A (ja) | 色の補間方法、色補間装置およびコンピュータプログラム | |
JP2011071616A (ja) | 画像処理装置 | |
JPH11103466A (ja) | 画像信号処理装置及びプログラムを記録した媒体 | |
JP2010277267A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP4403671B2 (ja) | 固体撮像素子の欠陥補正装置および欠陥補正方法 | |
JP2005012479A (ja) | データ処理装置、画像処理装置、カメラおよびデータ処理方法 | |
US8693775B2 (en) | Image processing apparatus, method, recording medium, and program | |
KR100915970B1 (ko) | 이미지 센서에 의해 획득된 영상의 컬러를 보정하는 방법및 장치 | |
US20120127347A1 (en) | Image processing apparatus and system | |
JP2009094862A (ja) | 映像信号処理装置 | |
JP4380399B2 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
JP3304162B2 (ja) | 傷補正回路 | |
JP2006023981A (ja) | ノイズリダクション装置 | |
JP5114290B2 (ja) | 信号処理装置 | |
US8810680B1 (en) | Method and apparatus for color data synthesis in digital image and video capture systems | |
JP4250598B2 (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20101207 |