JP2012065324A - デジタルカラー画像内の欠陥ピクセルの補正 - Google Patents

デジタルカラー画像内の欠陥ピクセルの補正 Download PDF

Info

Publication number
JP2012065324A
JP2012065324A JP2011202972A JP2011202972A JP2012065324A JP 2012065324 A JP2012065324 A JP 2012065324A JP 2011202972 A JP2011202972 A JP 2011202972A JP 2011202972 A JP2011202972 A JP 2011202972A JP 2012065324 A JP2012065324 A JP 2012065324A
Authority
JP
Japan
Prior art keywords
color channel
data
pixel
defective
reference color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011202972A
Other languages
English (en)
Other versions
JP5666407B2 (ja
Inventor
Rastislav Lukac
ラスティスラフ・ルカック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foveon Inc
Original Assignee
Foveon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foveon Inc filed Critical Foveon Inc
Publication of JP2012065324A publication Critical patent/JP2012065324A/ja
Application granted granted Critical
Publication of JP5666407B2 publication Critical patent/JP5666407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/401Compensating positionally unequal response of the pick-up or reproducing head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】デジタルカラー画像内の欠陥ピクセルを置き換えるための方法を提供すること。
【解決手段】デジタルカラー画像内の欠陥ピクセルを置き換えるための方法は、それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、そのピクセルに対して、第1基準カラーチャネルが存在しているかどうかを判定し、もしそうであれば、隣接するピクセルのグループを定義し、選択されたカラーチャネルと基準カラーチャネルにおいて非欠陥データを有するm個の隣接ピクセルのそれぞれについて、選択されたカラーチャネルにおける非欠陥データと第1基準カラーチャネルにおける非欠陥データとの間の差の総和を計算し、mで除算した差の総和を第1基準カラーチャネルからの非欠陥データ値に加算して結果を求め、この結果を2で除算して代替データ値を求め、代替データ値を欠陥データの代わりに使用し欠陥データを補正する。
【選択図】図3

Description

本発明は、デジタル画像内の欠陥ピクセルの補正に関するものである。より具体的には、本発明は、デジタルカラー画像内の高速ピクセル補正を実行するための方法に関するものである。
関連出願の相互参照
本出願は、参照により本明細書に組み込まれている、2010年9月17日に出願した米国仮特許出願第61/384,110号の利益および2010年9月20日に出願した米国仮特許出願第61/384,693号の利益を主張するものである。
デジタル画像内の欠陥ピクセルを置き換えるための、従来技術による多数の方法が知られている。例えば、Foveon, Inc.社が製造するF13センサーまたはそれに先行するセンサーを使用するカメラでは、センサーの較正時に生成される欠陥ピクセルマップまたはリストを使用して補正される。このステップでは、欠陥ピクセルは、欠陥のない隣接ピクセルの平均値で置き換えられる。
この従来技術の方法によれば、欠陥ピクセルは、識別されており、欠陥ピクセルマップまたはリスト内に入力される。それぞれ識別されたピクセルの3色チャネルすべてが、指定された一組の隣接要素の平均で置き換えられる。このアルゴリズムの一例は、図1を見るとわかる。この図には、単一カラーチャネル(例えば、赤色)の3×3ピクセル近傍(pixel neighborhood)が示されており、この近傍内の9個のピクセルにR1からR9までのラベルが付けられている。この例の目的のために、ピクセルR1およびR5は欠陥ピクセルであると仮定され、これらのピクセルの右下隅に「X」の記号で示されている。それぞれのピクセルの補正については、ピクセルの3×3近傍が選択され、そこでは、中心ピクセルが注目するピクセルである。図1の例では、ピクセルR5に注目している。
ピクセルR5が中心であるピクセル近傍において、ピクセルR2、R3、R4、R6、R7、R8、およびR9は正常ピクセルであり、例示的な従来技術の補正アルゴリズムで使用することができる。ピクセルR1は、欠陥ピクセルであり、欠陥ピクセルR5の値を推定するためには使用されない。この従来技術のアルゴリズムでは、正常な隣接ピクセルの平均値を計算し、欠陥ピクセルR5の値の代わりに使用する。したがって、図1に示されている例では、ピクセルR5に対する代替値は、
R5 = (R2 + R3 + R4 + R6 + R7 + R8 + R9) / 7 (1)
として計算することができる。
より一般的には、画像データおよび欠陥ピクセルリストが、アルゴリズムへの入力として使用される。このリスト上のそれぞれの欠陥ピクセルは、そのマルチビットアドレスによって識別され、その後に8ビットマスク(0または1)が続きうる。このマスクは、8個の周囲ピクセルのそれぞれを正常ピクセル(1)または欠陥ピクセル(0)として識別するものである。正常ピクセルのみが、差替値を決定するために使用される。この演算は、
Figure 2012065324
のように数式で書くことができる。ここで、式中、kはカラーチャネルを示し、赤色に対してはk=1、緑色に対してはk=2、青色に対してはk=3である。三つ組y(r,s) = [y(r,s)1, y(r,s)2, y(r,s)3]Tは、補正されたカラーピクセルを表すが、(i, j)∈ζに対してx(i,j) = [x(i,j)1, x(i,j)2, x(i,j)3]Tは、欠陥ピクセルを持つ入力カラー画像からのピクセルを表す。これらのピクセルのそれぞれの成分は、k番目のカラーチャネルにおける強度値を表す。項ζ={(i, j); r-1 ≦ i ≦ r + 1, s-1 ≦ j ≦ s + 1}は、補正すべきピクセルの位置(r, s)を中心とする3×3ピクセル近傍を表す。補正プロセスの必要条件は、欠陥ピクセルフラグb(r, s)=0で示される。位置(r, s)が、欠陥ピクセルフラグb(r, s)=1に関連付けられている場合、考察対象のピクセルは無変更のままである。
従来技術のアルゴリズムは、ピクセル値に対し直接作用し、それぞれのカラーチャネルを別々に処理し、その際に、天然色画像は通常、有意なスペクトル相関を呈示するという事実を無視する。残念なことに、そのような成分毎の処理を行うと、その結果、データ推定プロセスに色情報が不足しているためさまざまな色ずれ、または目に見えるエッジアーチファクトが生じることが多い。このような欠点を回避するために、異なる解決策が必要である。
本発明による欠陥ピクセル補正アルゴリズムでは、同じピクセル位置における欠陥のある1つまたは2つの他の色成分を補正するために考察対象の位置に少なくとも1つの非欠陥色成分がある必要がある。
本発明の一態様によれば、欠陥ピクセルを含むカラーチャネルにおける正常な隣接ピクセルと少なくとも1つの他のカラーチャネルにおける正常なピクセルとの色差の加重和が計算され、欠陥ピクセルに対する代替値を構成するために使用される。
本発明の他の態様によれば、欠陥ピクセルを含むカラーチャネルにおける正常な隣接ピクセルと他のカラーチャネルの両方における正常なピクセルとの色差の加重和が計算され、欠陥ピクセルに対する代替値を構成するために使用される。
本発明の他の態様によれば、欠陥ピクセルを含むカラーチャネルにおける正常な隣接ピクセルと少なくとも1つの他のカラーチャネルにおける正常なピクセルとの色彩比の加重和が計算され、欠陥ピクセルに対する代替値を構成するために使用される。
単一のカラーチャネル(例えば、赤色)のピクセルデータを示し、欠陥ピクセルを含む、デジタル画像内の3×3ピクセル近傍を例示し、欠陥ピクセル補正のための従来技術の一方法を示す図である。 3色(例えば、赤色、緑色、および青色)のピクセルデータを示し、それぞれのカラーチャネルにおける欠陥ピクセルを含む、デジタル画像内の3×3ピクセル近傍を例示し、本発明による欠陥ピクセル補正のための方法を示す図である。 本発明による欠陥ピクセル補正のための1つの例示的な方法を示す流れ図である。 本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。 本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。 本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。 本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。 本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。
当業者であれば、本発明の以下の説明が、例示的なものにすぎず、いっさい制限するものではないことを理解するであろう。そのような当業者であれば、本発明の他の実施形態も容易に、自然と思いつけるであろう。
次に、図2を参照すると、赤色、緑色、および青色のピクセルデータを示し、それぞれのカラーチャネルにおける欠陥ピクセルを含む、デジタル画像内の3×3ピクセル近傍を示す図を利用して、本発明による欠陥ピクセル補正のための方法を例示すことができる。
図2では、赤色チャネルピクセルR1およびR5は、欠陥ピクセルであると仮定され、緑色チャネルピクセルG3は欠陥ピクセルであると仮定され、青色チャネルピクセルB3およびB8は、欠陥ピクセルであると仮定され、これらのピクセルの右下隅に「X」の記号で示されている。本発明の第1の態様によれば、ピクセルR5に対する代替値は、赤色および緑色のチャネルにおける利用可能なピクセルを使用して
R5 = G5 + ((R2 - G2) + (R4 - G4) + (R6 - G6) + (R7- G7) + (R8- G8) + (R9 - G9))/6 (3)
と計算されうる。
あるいは、ピクセルR5に対する代替値は、赤色および青色のチャネルにおける利用可能なピクセルを使用して
R5 = B5 + ((R2 - B2) + (R4 - B4) + (R6-B6) + (R7- B7) + (R9 - B9))/5 (4)
と計算されうる。
色補正に緑色および青色のチャネルを使用する上記2つの例を調べた結果から、緑色チャネルを使用した場合には、赤色と緑色の両方のチャネルが近傍の位置2、4、6、7、8、および9に正常なピクセルを有しているため、利用可能な項が6個あることがわかる。青色チャネルを使用する場合、赤色と青色の両方のチャネルが近傍の位置2、4、6、7、および9に正常なピクセルを有しているため利用可能な項は5個しかない。
3つすべてのカラーチャネルにおける可能なすべての情報を組み合わせることで、R5に対する代替値を
R5 = [(G5 + Σ(Ri - Gi)/6) + (B5 + Σ(Rj - Bj)/5]/2、ただしi=2、4、6、7、8、9、およびj=2、4、6、7、9 (5)
と計算することができるが、ただし、式中、Σは総和演算子を表す。
このアルゴリズムの少し複雑度の下がるバージョンでは、緑色と青色の両方のチャネルからの正常なピクセルデータは、
R5 = [(G5 + Σ(Ri - Gi)/S) + (B5 + Σ(Ri - Bi)/5)]/2、ただしi=2、4、6、7、9 (6)
のようにピクセルR5に対する代替値を計算する際に使用することができる。
その最も単純な形式では、本発明の色相関駆動型の欠陥ピクセル補正演算を、一般的に数式
Figure 2012065324
として書くことができる。ここで、式中、kは補正すべきカラーチャネルを表し(例えば、赤色に対してはk=1)、cは非欠陥基準チャネルを表す(例えば、この例では緑色に対してk=2)。項b(i,j)は、センサー較正時にb(i,j) = min(b(i,j)k, b(i,j)c)またはb(i,j)=min(b(i,j)1,b(i,j)2,b(i,j)3)としてセットされた欠陥ピクセルフラグを表す。データ平均演算は、色成分に対して直接実行されるのではなく、色差に対して実行される。色差信号は、その性質上ローパスであるため、色差を平均すると、通常は、ピクセル強度に対し実行される同等の演算に比べて発生する処理誤差が小さくなり、このことはエッジと細部のある画像領域では特に言えることである。k番目のカラーチャネルの高周波数成分は、基準カラーチャネルからの非欠陥成分x(r,s)cを平均色差値に加えることによって復元される。
2つの非欠陥色成分が利用可能である場合、補正された色成分の最終値が、cの2つの差の値(例えば、青色チャネルを補正するために使用される正常な赤色および緑色のチャネルに対しては、c=1およびc=2、つまり、k=3)に式(7)を使用して得られる2つのy(r,s)k値の組み合わせとして得られることに留意されたい。
本発明による欠陥ピクセル補正フレームワークでは、画像の空間的特性、スペクトル特性、および構造的特性を同時に組み合わせることができる。式(2)および(7)と同様に、近傍ζの内側のサンプルを操作することによって空間的特性が考察されるが、式(7)と同様に、色差信号を利用することによってスペクトル特性が考察される。構造的特性は、画像内のエッジおよび細部の存在を反映し、これらの特性は、
R5 = [(G5 + Σwi(Ri - Gi)/Σwi) + (B5 + Σwi(Ri - Bi)/Σwi)]/2、ただしi =2、4、6、7、9 (8)
のように、エッジに敏感な重みを使用する計算で取り扱うことができる。
一般に、式(8)のアルゴリズムは、
Figure 2012065324
のように一般的数式で表すことができる。
直截的な方法により、重みw(i,j)は、1つまたは2つの非欠陥カラーチャネルに適用される共通エッジ検出アルゴリズムを使用して推定することができる。例えば、可能な一実装では、エッジに敏感な重みは、それらの重みに関連付けられているピクセルが3×3ピクセル近傍の内側の他のピクセルと違いすぎる場合にかなり小さいものとなる。提示されているフレームワーク内で構成される解決手段は、再帰モードで使用することがきる、つまり、実際のピクセルは、非欠陥ピクセルとζの内側に配置されているすでに補正されているピクセルの両方を使用して補正されうることに留意されたい。
式(9)における解決手段の直截的代替的方法は、それぞれ、加算と減算を乗算と除算で置き換えることである。このような代替的方法は、一般的に、
Figure 2012065324
で表すことができる。
より具体的には、式(4)で示される例が与えられた場合、欠陥ピクセルの代替値は、
R5=B5 x ((R2 /B2) + (R4/B4) + (R6/B6) + (R7/B7) + (R9 /B9))/5 (11)
のように色彩比を使用して求めることができる。
この概念を上述の色差の式に適用するのは容易である。しかし、色彩比に基づく解決手段は、色差に基づく他の解決手段に比べて実装が難しいことに留意されたい。
図3から8は、本発明による欠陥ピクセルデータを置き換えるための例示的なプロセスを例示す流れ図である。当業者であれば、以下の例は、例示的なものにすぎず、本発明により欠陥ピクセルデータを置き換える可能なすべての方法を表していないことを理解するであろう。
図3を参照すると、本発明による欠陥ピクセル補正のための上述の例示的な方法が流れ図で示されている。最初に、参照番号10で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号12で、選択されたカラーチャネルにおける選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。
参照番号14で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。当業者であれば、画像のエッジのところに配置されているピクセルについては、一方の側(上、下、左、または右のいずれか)に隣接する、または画像の隅では補正に使用することができる選択されたピクセルの2つの側(上-左、上-右、下-左、または下-右)にすら隣接する利用可能なピクセルはないことも理解するであろう。このような場合、本発明の方法は、既存の隣接ピクセルからの利用可能なデータを使用して実装することができるか、またはエッジピクセルを無視することができる。
参照番号16では、正常なピクセルデータを含むピクセルに対する基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号18に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号20に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。
参照番号16において、正常なデータを有する選択されたピクセル内に基準カラーチャネルがあると判定された場合、プロセスは参照番号22に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと基準カラーチャネルにおけるデータとの間の差の総和を計算する。一般に、選択されたカラーチャネルと基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号24において、mで除算した差の総和を選択されたピクセルの基準カラーチャネルからの正常なデータ値に加算し、データ代替値を得る。
次に、参照番号20で、欠陥ピクセルデータ値を、代替データ値で置き換える。参照番号26で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号28で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号10に戻り、そこで、調べるため別のピクセルを選択する。
次に図4を参照すると、本発明による欠陥ピクセル補正のための別の例示的な方法が流れ図で示されている。最初に、参照番号30で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号32で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。
参照番号34で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。
参照番号36では、正常なピクセルデータを含むピクセルに対する基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号38に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号40に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。
参照番号36において、正常なデータを有する選択されたピクセル内に基準カラーチャネルがあると判定された場合、プロセスは参照番号42に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと基準カラーチャネルにおけるデータとの間の差の加重和を計算する。一般に、選択されたカラーチャネルと基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号44において、重みの総和で除算した差の加重和を選択されたピクセルの基準カラーチャネルからの正常なデータ値に加算し、データ代替値を得る。
当業者があれば理解するように、本発明においてさまざまな重み係数を使用することができる。非限定的な例として、重み係数wiを、
wi = 1 / (|P5-Pi| + K) (12)
として計算することができる。
別の非限定的な例として、重み係数wiを、
wi = exp[ -|P5 - Pi|2 / K] (13)
として計算することができる。
これらの例では、Kは所定の定数または倍率を表す。例えば、項P5およびPiは、基準カラーチャネルにおける利用可能なデータを表すものとしてよい。
次に、参照番号40で、欠陥ピクセルデータ値を、代替データ値で置き換える。参照番号46で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号48で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号30に戻り、そこで、調べるため別のピクセルを選択する。
次に図5を参照すると、本発明による欠陥ピクセル補正のための別の例示的な方法が流れ図で示されている。図5の例では、2つの基準カラーチャネルからのデータは、そのデータが利用可能であれば使用される。
最初に、参照番号50で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号52で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。
参照番号54で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。
参照番号56では、正常なピクセルデータを含むピクセルに対する第1の基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号58に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号60に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。
参照番号56において、正常なデータを有する選択されたピクセル内に第1の基準カラーチャネルがあると判定された場合、プロセスは参照番号62に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの第1の基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと第1の基準カラーチャネルにおけるデータとの間の差の総和を計算する。一般に、選択されたカラーチャネルと第1の基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号64において、mで除算した差の総和を選択されたピクセルの基準カラーチャネルからの正常なデータ値に加算し、第1の結果を得る。
次に、参照番号66で、正常なピクセルデータを含むピクセルに対する第2の基準カラーチャネルがあるかどうかが判定される。選択されたピクセルに対する正常なデータを含む正常な第2の基準カラーチャネルがないと判定された場合、プロセスは、参照番号68に進み、そこで、参照番号64からの第1の結果を、欠陥ピクセルに対する代替データとして使用する。プロセスは参照番号60に進み、そこで、その代替データを使用して、欠陥ピクセルデータを置き換える。
参照番号66で、正常なピクセルデータを含むピクセルに対する第2の基準カラーチャネルがあると判定された場合、プロセスは、参照番号70に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの第2の基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと第2の基準カラーチャネルにおけるデータとの間の差の総和を計算する。一般に、選択されたカラーチャネルと第1の基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数nがある。参照番号72において、nで除算した差の総和を選択されたピクセルの基準カラーチャネルからの正常なデータ値に加算し、第2の結果を得る。
参照番号74で、第1および第2の結果の総和を計算する。次いで、この総和を2で除算して、代替データ値を得る。次に、参照番号60で、欠陥ピクセルデータ値を、参照番号74で生成された代替データ値で置き換える。
最後に、参照番号76で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号78で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号50に戻り、そこで、調べるため別のピクセルを選択する。
図6、7、および8を参照しつつ例示されている本発明の他の態様によれば、欠陥ピクセルを含むカラーチャネルにおける正常な隣接ピクセルと少なくとも1つの他のカラーチャネルにおける正常なピクセルとの色彩比の総和または加重和が計算され、欠陥ピクセルに対する代替値を構成するために使用される。
図6を参照すると、本発明による欠陥ピクセル補正のための上述の例示的な方法が流れ図で示されている。最初に、参照番号80で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号82で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。
参照番号84で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。当業者であれば、画像のエッジのところに配置されているピクセルについては、一方の側(上、下、左、または右のいずれか)に隣接する、または画像の隅では補正に使用することができる選択されたピクセルの2つの側(上-左、上-右、下-左、または下-右)にすら隣接する利用可能なピクセルはないことも理解するであろう。このような場合、本発明の方法は、既存の隣接ピクセルからの利用可能なデータを使用して実装することができるか、またはエッジピクセルを無視することができる。
参照番号86では、正常なピクセルデータを含むピクセルに対する基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号88に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号90に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。
参照番号86において、正常なデータを有する選択されたピクセル内に基準カラーチャネルがあると判定された場合、プロセスは参照番号92に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと基準カラーチャネルにおけるデータとの比の差の総和を計算する。一般に、選択されたカラーチャネルと基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号94において、mで除算した比の総和に、選択されたピクセルの基準カラーチャネルからの正常なデータ値を乗算して、データ代替値を得る。
次に、参照番号90で、欠陥ピクセルデータ値を、代替データ値で置き換える。参照番号96で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号98で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号80に戻り、そこで、調べるため別のピクセルを選択する。
次に図7を参照すると、本発明による欠陥ピクセル補正のための別の例示的な方法が流れ図で示されている。最初に、参照番号100で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号102で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。
参照番号104で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。
参照番号106では、正常なピクセルデータを含むピクセルに対する基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号108に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号110に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。
参照番号106において、正常なデータを有する選択されたピクセル内に基準カラーチャネルがあると判定された場合、プロセスは参照番号112に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと基準カラーチャネルにおけるデータとの間の比の加重和を計算する。一般に、選択されたカラーチャネルと基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号114において、重みの総和で除算した比の加重和に、選択されたピクセルの基準カラーチャネルからの正常なデータ値を乗算して、データ代替値を得る。
当業者があれば理解するように、本発明のこの態様によりさまざまな重み係数を使用することもできる。非限定的な例として、重み係数wiを、式(12)または式(13)のように計算することができる。
次に、参照番号110で、欠陥ピクセルデータ値を、代替データ値で置き換える。参照番号116で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号118で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号110に戻り、そこで、調べるため別のピクセルを選択する。
次に図8を参照すると、本発明による欠陥ピクセル補正のための別の例示的な方法が流れ図で示されている。図5の例のように、2つの基準カラーチャネルからのデータは、そのデータが利用可能であれば図8の例において使用される。
最初に、参照番号120で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号122で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。
参照番号124で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。
参照番号126では、正常なピクセルデータを含むピクセルに対する第1の基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは、参照番号128に進み、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号130に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。
参照番号126において、正常なデータを有する選択されたピクセル内に第1の基準カラーチャネルがあると判定された場合、プロセスは参照番号132に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの第1の基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと第1の基準カラーチャネルにおけるデータとの間の比の総和を計算する。一般に、選択されたカラーチャネルと第1の基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号134において、mで除算した比の総和に、選択されたピクセルの基準カラーチャネルからの正常なデータ値を乗算し、第1の結果を得る。
次に、参照番号136で、正常なピクセルデータを含むピクセルに対する第2の基準カラーチャネルがあるかどうかが判定される。選択されたピクセルに対する正常なデータを含む正常な第2の基準カラーチャネルがないと判定された場合、プロセスは、参照番号138に進み、そこで、参照番号134からの第1の結果を、欠陥ピクセルに対する代替データとして使用する。プロセスは参照番号130に進み、そこで、その代替データを使用して、欠陥ピクセルデータを置き換える。
参照番号136で、正常なピクセルデータを含むピクセルに対する第2の基準カラーチャネルがあると判定された場合、プロセスは、参照番号140に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの第2の基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと第2の基準カラーチャネルにおけるデータとの間の比の総和を計算する。一般に、選択されたカラーチャネルと第1の基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数nがある。参照番号142において、nで除算した比の総和に、選択されたピクセルの基準カラーチャネルからの正常なデータ値を乗算し、第2の結果を得る。
参照番号144で、第1および第2の結果の総和を計算する。次いで、この総和を2で除算して、代替データ値を得る。次に、参照番号130で、欠陥ピクセルデータ値を、参照番号144で生成された代替データ値で置き換える。
最後に、参照番号146で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号148で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号120に戻り、そこで、調べるため別のピクセルを選択する。
本発明の実施形態および応用を示し、説明したが、当業者には、本明細書の発明の概念から逸脱することなく上で述べたのよりもさらに多くの修正形態が可能であることは明らかであろう。したがって、本発明は、付属の請求項の精神に従うことを除き、限定されない。

Claims (18)

  1. デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには少なくとも2つのカラーチャネルにおけるデータが含まれ、前記方法は、
    それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
    選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
    非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたそれぞれのピクセルについて、
    前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
    前記選択されたカラーチャネルにおける非欠陥データと前記基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のm個の隣接ピクセルのそれぞれについて、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の差の総和を計算し、
    mで除算した前記差の前記総和を前記第1基準カラーチャネルからの前記非欠陥データ値に加算して結果を求め、
    代替データ値を前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
    を含むことを特徴とする方法。
  2. 前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項1に記載の方法。
  3. デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには少なくとも2つのカラーチャネルにおけるデータが含まれ、前記方法は、
    それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
    選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
    非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたそれぞれのピクセルについて、
    前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
    前記選択されたカラーチャネルにおける非欠陥データと前記基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のm個の隣接ピクセルのそれぞれについて、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の差の加重和を計算し、
    重みの総和で除算した前記差の前記加重和を前記第1基準カラーチャネルからの前記非欠陥データ値に加算して結果を求め、
    代替データ値を前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
    を含むことを特徴とする方法。
  4. 前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項3に記載の方法。
  5. デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには3つのカラーチャネルにおけるデータが含まれ、前記方法は、
    それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
    選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
    非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたそれぞれのピクセルについて、
    前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
    前記選択されたカラーチャネルにおける非欠陥データと前記第1基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のm個の隣接ピクセルのそれぞれについて、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の差の第1総和を計算し、
    mで除算した前記差の前記第1総和を前記第1基準カラーチャネルからの前記非欠陥データ値に加算して第1結果を求め、
    前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第2基準カラーチャネルが存在しているかどうかを判定し、
    非欠陥データを有することによって特徴付けられる前記第2基準チャネルが存在する場合に、前記選択されたカラーチャネルにおける非欠陥データと前記第2基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のn個の隣接ピクセルのそれぞれについて、前記選択されたカラーチャネルにおける前記非欠陥データと前記第2基準カラーチャネルにおける前記非欠陥データとの間の差の第2総和を計算し、
    nで除算した前記差の前記第2総和を前記第2基準カラーチャネルからの前記非欠陥データ値に加算して第2結果を求め、
    前記第1結果と前記第2結果との総和を計算し、前記第1結果と前記第2結果との前記総和を2で除算して代替データ値を求め、
    前記代替データ値を前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
    を含むことを特徴とする方法。
  6. 前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項5に記載の方法。
  7. デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには3つのカラーチャネルにおけるデータが含まれ、前記方法は、
    それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
    選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
    非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたそれぞれのピクセルについて、
    前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
    前記選択されたカラーチャネルにおける非欠陥データと前記第1基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のm個の隣接ピクセルのそれぞれについて、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の差の第1加重和を計算し、
    重みの総和で除算した前記差の前記第1加重和を前記第1基準カラーチャネルからの前記非欠陥データ値に加算して第1結果を求め、
    前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第2基準カラーチャネルが存在しているかどうかを判定し、
    非欠陥データを有することによって特徴付けられる前記第2基準チャネルが存在する場合に、前記選択されたカラーチャネルにおける非欠陥データと前記第2基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のn個の隣接ピクセルのそれぞれについて、前記選択されたカラーチャネルにおける前記非欠陥データと前記第2基準カラーチャネルにおける前記非欠陥データとの間の差の第2加重和を計算し、
    重みの総和で除算した前記差の前記第2加重和を前記第2基準カラーチャネルからの前記非欠陥データ値に加算して第2結果を求め、
    前記第1重みを乗算した前記第1結果と前記第2重みを乗算した前記第2結果との総和を計算し、前記第1重みを乗算した前記第1結果と前記第2重みを乗算した前記第2結果との総和を前記第1重みと前記第2重みとの総和で除算して、代替データ値を求め、
    前記代替データ値を前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
    を含むことを特徴とする方法。
  8. 前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項7に記載の方法。
  9. 前記第1加重和を計算するために使用される前記第1重みは、前記第2加重和を計算するために使用される前記第2重みと異なることを特徴とする請求項7に記載の方法。
  10. デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには少なくとも2つのカラーチャネルにおけるデータが含まれ、前記方法は、
    それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
    前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
    非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたそれぞれのピクセルについて、
    前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
    前記選択されたカラーチャネルにおける非欠陥データと前記基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のm個の隣接ピクセルのそれぞれについて、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の比の総和を計算し、
    mで除算した前記比の前記総和に前記第1基準カラーチャネルからの前記非欠陥データ値を乗算して結果を求め、
    代替データ値を前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
    を含むことを特徴とする方法。
  11. 前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項10に記載の方法。
  12. デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには少なくとも2つのカラーチャネルにおけるデータが含まれ、前記方法は、
    それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
    選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
    非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたそれぞれのピクセルについて、
    前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
    前記選択されたカラーチャネルにおける非欠陥データと前記基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のm個の隣接ピクセルのそれぞれについて、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の比の加重和を計算し、
    重みの総和で除算した前記比の前記加重和に前記第1基準カラーチャネルからの前記非欠陥データ値を乗算して、結果を求め、
    代替データ値を前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
    を含むことを特徴とする方法。
  13. 前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項12に記載の方法。
  14. デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには3つのカラーチャネルにおけるデータが含まれ、前記方法は、
    それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
    選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
    非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたそれぞれのピクセルについて、
    前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
    前記選択されたカラーチャネルにおける非欠陥データと前記第1基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のm個の隣接ピクセルのそれぞれについて、前記選択されたチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の比の第1総和を計算し、
    mで除算した前記比の前記第1総和に前記第1基準カラーチャネルからの前記非欠陥データ値を乗算して、第1結果を求め、
    前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第2基準カラーチャネルが存在しているかどうかを判定し、
    非欠陥データを有することによって特徴付けられる前記第2基準チャネルが存在する場合に、前記選択されたカラーチャネルにおける非欠陥データと前記第2基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のn個の隣接ピクセルのそれぞれについて、前記選択されたカラーチャネルにおける前記非欠陥データと前記第2基準カラーチャネルにおける前記非欠陥データとの間の比の第2総和を計算し、
    nで除算した前記比の前記第2総和に前記第2基準カラーチャネルからの前記非欠陥データ値を乗算して、第2結果を求め、
    前記第1結果と前記第2結果との総和を計算し、前記第1結果と前記第2結果との前記総和を2で除算して代替データ値を求め、
    前記代替データ値を前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
    を含むことを特徴とする方法。
  15. 前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項14に記載の方法。
  16. デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには3つのカラーチャネルにおけるデータが含まれ、前記方法は、
    それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
    選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
    非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたそれぞれのピクセルについて、
    前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
    前記選択されたカラーチャネルにおける非欠陥データと前記第1基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のm個の隣接ピクセルのそれぞれについて、前記選択されたチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の比の第1加重和を計算し、
    重み係数で除算した前記比の前記第1加重和に前記第1基準カラーチャネルからの前記非欠陥データ値を乗算して、第1結果を求め、
    前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第2基準カラーチャネルが存在しているかどうかを判定し、
    非欠陥データを有することによって特徴付けられる前記第2基準チャネルが存在する場合に、前記選択されたカラーチャネルにおける非欠陥データと前記第2基準カラーチャネルにおける非欠陥データの両方を有する前記グループ内のn個の隣接ピクセルのそれぞれについて、前記選択されたチャネルにおける前記非欠陥データと前記第2基準カラーチャネルにおける前記非欠陥データとの間の比の第2加重和を計算し、
    重みの総和で除算した前記比の前記第2加重和に前記第2基準カラーチャネルからの前記非欠陥データ値を乗算して、第2結果を求め、
    前記第1重みを乗算した前記第1結果と前記第2重みを乗算した前記第2結果との前記総和を計算し、前記第1重みを乗算した前記第1結果と前記第2重みを乗算した前記第2結果との総和を前記第1重みと前記第2重みとの総和で除算して、代替データ値を求め、
    前記代替データ値を前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
    を含むことを特徴とする方法。
  17. 前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項16に記載の方法。
  18. 前記第1加重和を計算するために使用される前記第1重みは、前記第2加重和を計算するために使用される前記第2重みと異なることを特徴とする請求項16に記載の方法。
JP2011202972A 2010-09-17 2011-09-16 デジタルカラー画像内の欠陥ピクセルの補正 Active JP5666407B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US38411010P 2010-09-17 2010-09-17
US61/384,110 2010-09-17
US38469310P 2010-09-20 2010-09-20
US61/384,693 2010-09-20
US12/961,284 2010-12-06
US12/961,284 US8351696B2 (en) 2010-09-17 2010-12-06 Correcting defective pixels in digital color images

Publications (2)

Publication Number Publication Date
JP2012065324A true JP2012065324A (ja) 2012-03-29
JP5666407B2 JP5666407B2 (ja) 2015-02-12

Family

ID=45817823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011202972A Active JP5666407B2 (ja) 2010-09-17 2011-09-16 デジタルカラー画像内の欠陥ピクセルの補正

Country Status (3)

Country Link
US (1) US8351696B2 (ja)
JP (1) JP5666407B2 (ja)
DE (1) DE102011113546B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016192662A (ja) * 2015-03-31 2016-11-10 株式会社シグマ 撮像装置及び欠陥画素補正方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8659654B2 (en) * 2006-10-11 2014-02-25 Microsoft Corporation Image verification with tiered tolerance
JP6046927B2 (ja) * 2011-08-09 2016-12-21 キヤノン株式会社 画像処理装置及びその制御方法
US9756353B2 (en) 2012-01-09 2017-09-05 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US9014504B2 (en) * 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
GB2510369B (en) * 2013-01-31 2015-05-20 Canon Kk Error concealment in a multi-projection system
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US10489132B1 (en) 2013-09-23 2019-11-26 Sprint Communications Company L.P. Authenticating mobile device for on board diagnostic system access
EP3119080B1 (en) * 2014-03-12 2020-11-11 SZ DJI Technology Co., Ltd. Method and system for dead pixel correction of digital image
WO2016022374A1 (en) * 2014-08-05 2016-02-11 Seek Thermal, Inc. Local contrast adjustment for digital images
US10867371B2 (en) 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
US11276152B2 (en) 2019-05-28 2022-03-15 Seek Thermal, Inc. Adaptive gain adjustment for histogram equalization in an imaging system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153087A (ja) * 1992-09-17 1994-05-31 Sony Corp 画素欠陥補正方法
JPH09284783A (ja) * 1996-04-10 1997-10-31 Matsushita Electric Ind Co Ltd 欠陥補正装置及びこれを用いた固体撮像装置
JP2000308082A (ja) * 1999-04-23 2000-11-02 Nippon Telegr & Teleph Corp <Ntt> 画像欠陥補正方法およびこの方法を記録した記録媒体
JP2004228931A (ja) * 2003-01-23 2004-08-12 Sony Corp 画素補正回路及び画素補正方法
JP2007068126A (ja) * 2005-09-02 2007-03-15 Victor Co Of Japan Ltd 欠陥画素補正方法及び装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5875040A (en) * 1995-12-04 1999-02-23 Eastman Kodak Company Gradient based method for providing values for unknown pixels in a digital image
EP1221256A1 (en) * 1999-09-16 2002-07-10 Applied Science Fiction, Inc. Method and system for altering defects in a digital image
JP4054184B2 (ja) 2001-10-03 2008-02-27 オリンパス株式会社 欠陥画素補正装置
US7015961B2 (en) 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
US7460688B2 (en) * 2004-12-09 2008-12-02 Aptina Imaging Corporation System and method for detecting and correcting defective pixels in a digital image sensor
US7313288B2 (en) 2005-04-20 2007-12-25 Cypress Semiconductor Corporation Defect pixel correction in an image sensor
US8089537B2 (en) * 2005-08-23 2012-01-03 Nikon Corporation Image processing system and image processing program for defective pixel correction
EP2026563A1 (en) * 2007-08-14 2009-02-18 Deutsche Thomson OHG System and method for detecting defective pixels
JP5311916B2 (ja) * 2008-07-31 2013-10-09 株式会社エルモ社 撮像装置
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8164660B2 (en) 2008-10-28 2012-04-24 Omnivision Technologies, Inc. Single row based defective pixel correction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153087A (ja) * 1992-09-17 1994-05-31 Sony Corp 画素欠陥補正方法
JPH09284783A (ja) * 1996-04-10 1997-10-31 Matsushita Electric Ind Co Ltd 欠陥補正装置及びこれを用いた固体撮像装置
JP2000308082A (ja) * 1999-04-23 2000-11-02 Nippon Telegr & Teleph Corp <Ntt> 画像欠陥補正方法およびこの方法を記録した記録媒体
JP2004228931A (ja) * 2003-01-23 2004-08-12 Sony Corp 画素補正回路及び画素補正方法
JP2007068126A (ja) * 2005-09-02 2007-03-15 Victor Co Of Japan Ltd 欠陥画素補正方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016192662A (ja) * 2015-03-31 2016-11-10 株式会社シグマ 撮像装置及び欠陥画素補正方法

Also Published As

Publication number Publication date
JP5666407B2 (ja) 2015-02-12
US8351696B2 (en) 2013-01-08
DE102011113546A1 (de) 2012-03-22
DE102011113546B4 (de) 2022-01-20
US20120070081A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
JP5666407B2 (ja) デジタルカラー画像内の欠陥ピクセルの補正
Pekkucuksen et al. Edge strength filter based color filter array interpolation
Chung et al. Color demosaicing using variance of color differences
JP4571670B2 (ja) 画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品
WO2011152174A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5054248B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
JP6046927B2 (ja) 画像処理装置及びその制御方法
AU2004250357B2 (en) Edge analysis in video quality assessment
Oncu et al. Evaluation of digital inpainting quality in the context of artwork restoration
Niu et al. Low cost edge sensing for high quality demosaicking
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
JP2014126903A (ja) 画像処理装置および画像処理方法、ならびに、プログラム
WO2017096814A1 (zh) 一种图像处理方法及装置
JP2013066157A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20080063256A1 (en) Masking a visual defect
US7471842B2 (en) Method and apparatus for dynamically detecting pixel values
US9443290B2 (en) Defringing RAW images
US10158790B2 (en) Image processing apparatus, image processing system, and image processing method
CN106971375B (zh) 一种图像放大的处理方法及装置
US8014592B2 (en) Edge based CMY automatic picture registration
JP2006155579A (ja) 画像処理方法および画像処理装置
Zhang et al. The modified gradient edge detection method for the color filter array image of the CMOS image sensor
KR20130021977A (ko) 이미지 센서의 픽셀 간 오프셋 보정 장치 및 그 보정 방법
KR20160069452A (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
JPH08327497A (ja) カラー液晶表示パネルの検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131210

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141017

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141210

R150 Certificate of patent or registration of utility model

Ref document number: 5666407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250