JP2009194776A - ノイズフィルタ - Google Patents
ノイズフィルタ Download PDFInfo
- Publication number
- JP2009194776A JP2009194776A JP2008035357A JP2008035357A JP2009194776A JP 2009194776 A JP2009194776 A JP 2009194776A JP 2008035357 A JP2008035357 A JP 2008035357A JP 2008035357 A JP2008035357 A JP 2008035357A JP 2009194776 A JP2009194776 A JP 2009194776A
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- same color
- pixels
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000001629 suppression Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000002093 peripheral effect Effects 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 8
- 230000007547 defect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 101100311330 Schizosaccharomyces pombe (strain 972 / ATCC 24843) uap56 gene Proteins 0.000 description 4
- 101150018444 sub2 gene Proteins 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】イメージセンサに備えられて、光電変換およびアナログ/デジタル変換された画像信号に対して、ノイズ抑制を行う技術に関し、明暗の差が大きい画像の境界部分に発生したノイズについても、効果的に検出/抑制可能とすることにある。
【解決手段】注目画素とその同色周囲8画素の平均値との差分絶対値が算出される(S101、S102、S107)。その差分絶対値が閾値未満である場合、注目画素の値が同色周囲8画素の平均値に置き換えられる(S108)。差分絶対値が閾値以上である場合、注目画素とその同色周囲8画素の縦/横/斜め各平均値との各差分絶対値が算出される(S110、S111)。各差分絶対値のうち最小のものに対応する平均値に注目画素の値が置き換えられる(S112、S113、S114)。
【選択図】図1
【解決手段】注目画素とその同色周囲8画素の平均値との差分絶対値が算出される(S101、S102、S107)。その差分絶対値が閾値未満である場合、注目画素の値が同色周囲8画素の平均値に置き換えられる(S108)。差分絶対値が閾値以上である場合、注目画素とその同色周囲8画素の縦/横/斜め各平均値との各差分絶対値が算出される(S110、S111)。各差分絶対値のうち最小のものに対応する平均値に注目画素の値が置き換えられる(S112、S113、S114)。
【選択図】図1
Description
本発明は、イメージセンサに備えられて、光電変換およびアナログ/デジタル変換された画像信号に対して、ノイズ抑制を行う技術に関する。
図7は、一般的なイメージセンサシステムの全体構成図である。
外部から入射する光入力信号714は、例えばCMOSイメージセンサを構成する画素アレイ701の各画素にて受光される。
外部から入射する光入力信号714は、例えばCMOSイメージセンサを構成する画素アレイ701の各画素にて受光される。
画素アレイ701には、垂直走査回路702から垂直走査用のフレームパルスが入力され、水平走査回路703から各ラインの水平走査用のパルスが入力される。
各水平走査毎に各画素において光電変換素子及び増幅が行われて得られる信号は、それぞれカラム数分だけ並列に並べて配置された構成を有するカラムCDS(相関二重サンプリング:Correlated Double Sampling)回路704、カラムアンプ回路705、及びカラムADC(アナログ−デジタル変換)回路706、カラムカウンタ707を経由して、画像信号として取り出され、数ライン分の画像信号を蓄積するラインメモリ708に記憶される。
各水平走査毎に各画素において光電変換素子及び増幅が行われて得られる信号は、それぞれカラム数分だけ並列に並べて配置された構成を有するカラムCDS(相関二重サンプリング:Correlated Double Sampling)回路704、カラムアンプ回路705、及びカラムADC(アナログ−デジタル変換)回路706、カラムカウンタ707を経由して、画像信号として取り出され、数ライン分の画像信号を蓄積するラインメモリ708に記憶される。
ロジック回路709は、ラインメモリ708に記憶された画像信号に対して、後述する種々の信号処理を実行する。
タイミング発生回路710は、イメージセンサシステムの各部に種々のタイミング信号を供給する。
タイミング発生回路710は、イメージセンサシステムの各部に種々のタイミング信号を供給する。
基準電圧発生回路711は、カラムCDS回路704及びランプ波形発生回路712に対して、基準電圧を供給する。
ランプ波形発生回路712は、AD変換用のランプ波形を、カラムADC回路706に供給する。
ランプ波形発生回路712は、AD変換用のランプ波形を、カラムADC回路706に供給する。
レジスタ713は、例えば後述する欠陥補正やベイヤノイズ抑制の閾値がユーザによって設定され、イメージセンサシステムの種々の動作を制御する。
図8は、図7のロジック回路709のファームウェア構成図である。
図8は、図7のロジック回路709のファームウェア構成図である。
デジタルクランプ部801は、グランドレベルの同定を行う。
シェーディング補正部802は、レンズの歪みを補正する。
RGBゲイン調整部803は、RGBそれぞれの画像信号の強度バランスを調整する。
シェーディング補正部802は、レンズの歪みを補正する。
RGBゲイン調整部803は、RGBそれぞれの画像信号の強度バランスを調整する。
欠陥補正・ベイヤノイズ抑制・色補間部804は、画像信号中の各画素の欠陥修正、ノイズ抑制、及び3原色からの色補間再生を行う。
オートホワイトバランス部805は、ホワイトバランスの自動調整を行う。
オートホワイトバランス部805は、ホワイトバランスの自動調整を行う。
オートゲインコントロール・フリッカキャンセル部806は、図7中の各アナログ回路部を制御して、自動ゲイン調整及びフリッカ抑止を行う。
カラー調整部807は、RGBのカラーバランスの調整を行う。
カラー調整部807は、RGBのカラーバランスの調整を行う。
エッジ強調・RGBノイズ抑制部808は、画像信号に対して、エッジ強調処理とRGBノイズの抑制処理を行う。
ガンマ補正部809は、画像信号に対して、ガンマ補正を行う。
出力フォーマット変換部810は、出力に適したフォーマットに変換してディジタル信号715を出力する。
ガンマ補正部809は、画像信号に対して、ガンマ補正を行う。
出力フォーマット変換部810は、出力に適したフォーマットに変換してディジタル信号715を出力する。
図7のイメージセンサである画素アレイ701における画素配列の例を、図9に示す。このような配列をベイヤ配列という。これを同色画素配列について抜き出したのが、図10(同色周囲8画素)及び図11(同色周囲24画素)である。
また、図12は、図8の欠陥補正・ベイヤノイズ抑制・色補間部804にて実施される欠陥補正処理及びベイヤノイズ抑制処理の輝度範囲の関係を説明した図である。
ベイヤ配列(図9)での注目画素のp0でのノイズ抑制は、一般に欠陥補正と同段階で行われることが多い。
ベイヤ配列(図9)での注目画素のp0でのノイズ抑制は、一般に欠陥補正と同段階で行われることが多い。
例えば図10で考えると、注目画素p0と同色周囲8画素の平均値pa、
pa=(p1+p2+p3+p4+p5+p6+p7+p8)/8
が比較され、注目画素は、上記p0とpaの差分値が閾値th_w(図12参照)以上ならば白欠陥、差分値が閾値th_b(図12)以下ならば黒欠陥、差分値が閾値th_n1(図12)未満ならばベイヤノイズとして、それぞれ検出される。
pa=(p1+p2+p3+p4+p5+p6+p7+p8)/8
が比較され、注目画素は、上記p0とpaの差分値が閾値th_w(図12参照)以上ならば白欠陥、差分値が閾値th_b(図12)以下ならば黒欠陥、差分値が閾値th_n1(図12)未満ならばベイヤノイズとして、それぞれ検出される。
なお、閾値th_w、th_b、th_n1等は、ユーザによって図7のレジスタ713に設定される。
そして、ベイヤノイズとして検出された注目画素p0は、同色周囲8画素の平均値paに置き換えられる。
特開2004−48562号公報
特開2002−10274号公報
そして、ベイヤノイズとして検出された注目画素p0は、同色周囲8画素の平均値paに置き換えられる。
図13を用いて、従来例技術の課題を説明する。
例えば、図13(a)のような、明るさの異なる境界部分を持つ画像を理想的なものとする。
例えば、図13(a)のような、明るさの異なる境界部分を持つ画像を理想的なものとする。
ここで、画像は便宜上、同色画素のみで構成されているものとする。R/G/Bの各画像とも同じ考え方ができる。
実際には、この画像に様々な要因でノイズがのることになるので、それを図13(b)のようなものとする。ここで、画面全体の明るさ(コード)を数値化したものを
図13(c)とする。また、図7(b)で、X―X’の断面で見た場合の明るさ(コード)の波形を図13(d)とする。
実際には、この画像に様々な要因でノイズがのることになるので、それを図13(b)のようなものとする。ここで、画面全体の明るさ(コード)を数値化したものを
図13(c)とする。また、図7(b)で、X―X’の断面で見た場合の明るさ(コード)の波形を図13(d)とする。
例えば、th_n1=10とすると、ノイズ抑制の状態は下記の通りとなる。
範囲A p0 = 95
pa = (100+100+100+105+100+100+100+100) / 8 = 100.625
|p0 - pa| = 5.625 < th_n1
⇒ ノイズ抑制される ⇒ p0 = 100.625
範囲B p0 = 45
pa = (100+50+50+105+50+100+50+50) / 8 = 69.375
|p0 - pa| = 24.375 > th_n1
⇒ ノイズ抑制されない ⇒ p0 = 45
範囲C p0 = 45
pa = (50+50+50+55+50+50+50+50) / 8 = 50.625
|p0 - pa| = 5.625 < th_n1
⇒ ノイズ抑制される ⇒ p0 = 50.625
範囲A p0 = 95
pa = (100+100+100+105+100+100+100+100) / 8 = 100.625
|p0 - pa| = 5.625 < th_n1
⇒ ノイズ抑制される ⇒ p0 = 100.625
範囲B p0 = 45
pa = (100+50+50+105+50+100+50+50) / 8 = 69.375
|p0 - pa| = 24.375 > th_n1
⇒ ノイズ抑制されない ⇒ p0 = 45
範囲C p0 = 45
pa = (50+50+50+55+50+50+50+50) / 8 = 50.625
|p0 - pa| = 5.625 < th_n1
⇒ ノイズ抑制される ⇒ p0 = 50.625
つまり、画像の明るさが一様な部分についてはノイズ抑制されるが、明るさ境界部分のように、元々差分が大きいような所では、差分値が閾値th_n1を越えてしまい、ノイズ抑制が適用されない。(図12に示す不感帯に入ってしまう。)
従って、出力画像としては、図13(e)に示されるように、明るさ境界部分にノイズが残ったままになってしまう。
従って、出力画像としては、図13(e)に示されるように、明るさ境界部分にノイズが残ったままになってしまう。
そこで、明るさ境界部分のノイズも除去しようと、閾値th_n1を大きくしてしまうと、画像全体に必要以上に抑制処理を行ってしまうので、元画像のシャープさが損なわれることになってしまう。従って、従来技術では、明るさ境界部分に発生するノイズを効果的に抑制できないという問題点を有していた。
本発明の課題は、明暗の差が大きい画像の境界部分に発生したノイズについても、効果的に検出/抑制可能とすることにある。
本発明は、画像信号におけるノイズを抑制するための回路、方法、それを内蔵したカメラ、携帯電話、PCなどの携帯情報装置を前提とする。
本発明は、画像信号におけるノイズを抑制するための回路、方法、それを内蔵したカメラ、携帯電話、PCなどの携帯情報装置を前提とする。
本発明の第1の態様は、以下の構成を有する。
まず、複数の周辺画素の画素値により、明暗の境界となる位置を判断する境界判断手段を有する。
まず、複数の周辺画素の画素値により、明暗の境界となる位置を判断する境界判断手段を有する。
次に、複数の周辺画素のうち、前記境界判断手段により判断された境界を跨がない範囲に属する画素の範囲でフィルタ処理する選択フィルタ手段を有する。
本発明の第2の態様は、以下の構成を有する。
まず、注目画素とその同色周囲8又は24画素の平均値との差分絶対値が算出される(図1のS101、S102、S107)。
次に、その差分絶対値が閾値未満である場合、注目画素の値が同色周囲8又は24画素の平均値に置き換えられる(図1のS108)。
本発明の第2の態様は、以下の構成を有する。
まず、注目画素とその同色周囲8又は24画素の平均値との差分絶対値が算出される(図1のS101、S102、S107)。
次に、その差分絶対値が閾値未満である場合、注目画素の値が同色周囲8又は24画素の平均値に置き換えられる(図1のS108)。
一方、差分絶対値が閾値以上である場合、注目画素とその同色周囲8又は24画素の縦/横/斜め各平均値との各差分絶対値が算出される(図1のS110、S111)。
そして、各差分絶対値のうち最小のものに対応する平均値に注目画素の値が置き換えられる(図1のS112、S113、S114)。
そして、各差分絶対値のうち最小のものに対応する平均値に注目画素の値が置き換えられる(図1のS112、S113、S114)。
本発明の第2の態様は、以下の構成を有する。
まず、注目画素とその同色周囲8画素の平均値との差分絶対値が算出される(図3のS301、S102、S107)。
次に、その差分絶対値が閾値未満である場合、注目画素の値が同色周囲8画素の平均値に置き換えられる(図3のS108)。
まず、注目画素とその同色周囲8画素の平均値との差分絶対値が算出される(図3のS301、S102、S107)。
次に、その差分絶対値が閾値未満である場合、注目画素の値が同色周囲8画素の平均値に置き換えられる(図3のS108)。
一方、差分絶対値が閾値以上である場合、注目画素を範囲端に含むそれぞれ3×3画素の8つの範囲の各平均値と注目画素との各差分絶対値が算出される(図3のS302、S
303)。
そして、各差分絶対値のうち最小のものに対応する平均値に注目画素の値が置き換えられる(図3のS304、S113、S114)。
303)。
そして、各差分絶対値のうち最小のものに対応する平均値に注目画素の値が置き換えられる(図3のS304、S113、S114)。
本発明の第1の態様の構成により、画像の明るさが一様な部分だけでなく、明暗の差が大きい画像の境界部分に発生したノイズについても、効果的に検出/抑制することができ、画素信号の補正効果を高めることが可能となる。
本発明の第2の態様の構成により、境界部分をより安定的に検出しそれに基づいてノイズを抑制することが可能となる。
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
本発明の各実施形態の基本構成
以下に説明する本発明の第1及び第2の各実施形態の基本構成は、前述した図7〜図12の構成と同じである。
本発明の各実施形態の基本構成
以下に説明する本発明の第1及び第2の各実施形態の基本構成は、前述した図7〜図12の構成と同じである。
本発明の実施形態が従来技術と異なる点は、図7に示されるロジック回路709内の図8に示される欠陥補正・ベイヤノイズ抑制・色補間部804、特にベイヤノイズ抑制部の機能である。
本発明の第1の実施形態
まず、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態における、図8に示される欠陥補正・ベイヤノイズ抑制・色補間部804の機能のうち、欠陥補正・ベイヤノイズ抑制機能を実現する部分の動作フローチャートである。
まず、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態における、図8に示される欠陥補正・ベイヤノイズ抑制・色補間部804の機能のうち、欠陥補正・ベイヤノイズ抑制機能を実現する部分の動作フローチャートである。
この動作フローチャートは、ファームウェアロジック回路の動作として実現されてもよいし、一般的な中央演算処理装置、主記憶装置、外部記憶装置、及びバス等から構成されるコンピュータが主記憶装置や外部記憶装置に記憶された制御プログラムを実行する動作として実現されてもよい。
まず、従来技術の場合と同様にして、注目画素p0に対する同色周囲8画素p1〜p8(図10参照)の輝度値の平均値avgが、次式によって算出される(ステップS101)。
avg = (p1+p2+p3+p4+p5+p6+p7+p8)/8 ・・・(1)
次に、注目画素p0と平均値avgとの差分が、次式によって算出される(ステップS102)。
sub = p0 - avg ・・・(2)
次に、差分値subがユーザによってレジスタ713に設定されている閾値th_w(図12参照)と比較される(ステップS103)。
subがth_wよりも大きければ、注目画素p0は白欠陥画素であると判定され(図12参照)、注目画素p0が白欠陥補正関数値Fw(p0)で置き換えられる(ステップS104)。
subがth_w以下であれば、次に、差分値subがユーザによってレジスタ713に設定されている閾値th_b(図12参照)と比較される(ステップS105)。
subがth_bよりも小さければ、注目画素p0は黒欠陥画素であると判定され(図12参照)、注目画素p0が黒欠陥補正関数値Fb(p0)で置き換えられる(ステップS106)。
subがth_bよりも小さければ、注目画素p0は黒欠陥画素であると判定され(図12参照)、注目画素p0が黒欠陥補正関数値Fb(p0)で置き換えられる(ステップS106)。
subがth_b以上であれば、次に、差分値subの絶対値|sub|がユーザによってレジスタ713に設定されている閾値th_n1(図12参照)と比較される(ステップS107)。
|sub|がth_n1よりも小さければ、注目画素p0はベイヤノイズ画素であると判定され(図12参照)、注目画素p0がステップS101で算出された同色周囲8画素平均値avgで置き換えられる(ステップS108)。
ここまでは、従来技術と同じである。
以下に説明するステップS109〜S115の処理部分が、第1の実施形態が従来技術と異なる部分である。
以下に説明するステップS109〜S115の処理部分が、第1の実施形態が従来技術と異なる部分である。
まず、ステップS104、S106、又はS108の補正/抑制処理が実行されたか否かが判定される(ステップS109).
この判定がYESであれば、現在の注目画素p0に対する欠陥補正・ベイヤノイズ抑制機能の処理を終了する。
この判定がYESであれば、現在の注目画素p0に対する欠陥補正・ベイヤノイズ抑制機能の処理を終了する。
ステップS104、S106、又はS108のいずれの補正/抑制処理も実行されておらず、ステップS109の判定がNOである場合には、以下の処理が実行される。
まず、注目画素p0に対する同色周囲8画素の縦/横/斜めそれぞれの平均値avg1〜avg4が、次式によって算出される(ステップS110)。
まず、注目画素p0に対する同色周囲8画素の縦/横/斜めそれぞれの平均値avg1〜avg4が、次式によって算出される(ステップS110)。
avg1 = (p1+p8) / 2
avg2 = (p2+p7) / 2
avg3 = (p3+p6) / 2
avg4 = (p4+p5) / 2
・・・(3)
次に、注目画素p0と各平均値avg1〜avg4との差分の絶対値が、次式によって算出される(ステップS111)。
sub1 = | p0 - avg1 |
sub2 = | p0 - avg2 |
sub3 = | p0 - avg3 |
sub4 = | p0 - avg4 |
・・・(4)
続いて、その差分絶対値sub1〜sub4の中で最小となる値submと、それに対
応する平均値avgmが検出される(ステップS112)。つまり、注目画素値p0と最も相関の大きい平均値submが算出される。
そして、submが、ユーザによってレジスタ713に設定されている閾値th_n2と比較される(ステップS113)。
submがth_n2よりも小さければ、注目画素p0はベイヤノイズ画素であると判定され、注目画素p0がステップS112で算出されている平均値avgmで置き換えられる(ステップS115)。
submがth_n2よりも小さければ、注目画素p0はベイヤノイズ画素であると判定され、注目画素p0がステップS112で算出されている平均値avgmで置き換えられる(ステップS115)。
一方、submがth_n2以上であれば、注目画素p0は正常画素であると判定され、そのまま出力される(ステップS116)。
具体的には、前述の図13(c)において、ノイズ抑制されなかった範囲Bの注目画素p0について、例えばth_n2=7とすると、ステップS110によって次式が計算される。
具体的には、前述の図13(c)において、ノイズ抑制されなかった範囲Bの注目画素p0について、例えばth_n2=7とすると、ステップS110によって次式が計算される。
avg1 = (p1+p8) / 2 = (50+100) / 2 = 75
avg2 = (p2+p7) / 2 = (50+50) / 2 = 50
avg3 = (p3+p6) / 2 = (100+50) / 2 = 75
avg4 = (p4+p5) / 2 = (50+105) / 2 = 77.5
更に、ステップS111によって、次式が計算される。
sub1 = | p0 - avg1 | = | 45 - 75 | = 30
sub2 = | p0 - avg2 | = | 45 - 50 | = 5
sub3 = | p0 - avg3 | = | 45 - 75 | = 30
sub4 = | p0 - avg4 | = | 45 - 77.5 | = 32.5
そして、ステップS112、S113によって、submは次のように判定され、ステップS114にて、ベイヤノイズ抑制が実行される。
subm = min(sub1〜sub4) = sub2 < th_n2
⇒ ノイズ抑制される ⇒ p0 = avg2 = 50
この結果、出力画像として,図13(a)のような理想的なものが出力される。
以上説明した本発明の第1の実施形態において、処理対象は、注目画素p0と同色周囲8画素に限られるものではなく、注目画素p0と同色周囲24画素(図11参照)に拡張されてもよい。この場合は、ステップS110で計算されるavg1〜avg4が、それぞれ次式に置き換えられるだけで、それ以外の処理は同じである。
avg1 = (p1+p7+p18+p24) / 4
avg2 = (p3+p8+p17+p22) / 4
avg3 = (p5+p9+p16+p20) / 4
avg4 = (p11+p12+p13+p14) / 4
・・・(5)
図2は、上述の第1の実施形態におけるベイヤノイズ抑制部の機能構成を示す機能ブロック図である。
縦横斜め相関検出部201は、図1のステップS110〜S112の処理に対応する機能を実現する。
閾値判定部202は、図1のステップS113の処理に対応する機能を実現する。
閾値判定部202は、図1のステップS113の処理に対応する機能を実現する。
メディアンフィルタ部203は、図1のステップS110の処理に対応する機能を実現する。
セレクタ204は、図1のステップS114及びS115の処理に対応する機能を実現する。
セレクタ204は、図1のステップS114及びS115の処理に対応する機能を実現する。
本発明の第2の実施形態
次に、本発明の第2の実施形態について説明する。
次に、本発明の第2の実施形態について説明する。
上述した第1の実施形態では、前述した(3)式及び(4)式に基づいて、2画素のみから生成される平均値avg1〜avg4と注目画素p0との差分絶対値sub1〜sub4が生成され、最大相関を有する差分絶対値submとそれに対応する平均値avgmが検出された。これに対して第2の実施形態では、判定の安定性を増すために、同色周囲8画素から算出される8つの平均値avg1〜avg8と注目画素p0との差分絶対値sub1〜sub8が生成され、最大相関を有する差分絶対値submとそれに対応する平均値avgmが検出されることが特徴である。
図3は、本発明の第2の実施形態における、図8に示される欠陥補正・ベイヤノイズ抑制・色補間部804の機能のうち、欠陥補正・ベイヤノイズ抑制機能を実現する部分の動作フローチャートである。
この動作フローチャートは、第1の実施形態にける図1の場合と同様に、ファームウェアロジック回路の動作として実現されてもよいし、一般的な中央演算処理装置、主記憶装置、外部記憶装置、及びバス等から構成されるコンピュータが主記憶装置や外部記憶装置に記憶された制御プログラムを実行する動作として実現されてもよい。
図3において、第1の実施形態における図1の動作フローチャートの場合と同じステップ番号が付された部分は、図1の場合と同じ動作を実行するものとする。
即ち、まず、注目画素p0に対して、図4の401として示される同色周囲8画素p7〜p9、p12、p13、p16〜P18の輝度値の平均値avgが、次式によって算出される(ステップS301)。
即ち、まず、注目画素p0に対して、図4の401として示される同色周囲8画素p7〜p9、p12、p13、p16〜P18の輝度値の平均値avgが、次式によって算出される(ステップS301)。
avg = (p7+p8+p9+p12+p13+p16+p17+p18)/8 ・・・(6)
次に、これ以降のステップS102〜S109までは、図1の場合と同様である。
そして、ステップS104、S106、又はS108のいずれの補正/抑制処理も実行されておらず、ステップS109の判定がNOである場合には、以下の処理が実行される。
まず、注目画素p0に対して、図5に示されるように、注目画素p0に対して8パターンの同色周囲8画素から、次式によって8つの平均値avg1〜avg8が算出される(
ステップS302)。
ステップS302)。
avg1 = (p13+p14+p17+p18+p19+p22+p23+p24) / 8
avg2 = (p12+p13+p16+p17+p18+p21+p22+p23) / 8
avg3 = (p11+p12+p15+p16+p17+p20+p21+p22) / 8
avg4 = (p8+p9+p10+p13+p14+p17+p18+p19) / 8
avg5 = (p6+p7+p8+p11+p12+p15+p16+p17) / 8
avg6 = (p3+p4+p5+p8+p9+p10+p13+p14) / 8
avg7 = (p2+p3+p4+p7+p8+p9+p12+p13) / 8
avg8 = (p1+p2+p3+p6+p7+p8+p11+p12) / 8
・・・(7)
次に、注目画素p0と各平均値avg1〜avg8との差分の絶対値が、次式によって算出される(ステップS303)。
sub1 = | p0 - avg1 |
sub2 = | p0 - avg2 |
sub3 = | p0 - avg3 |
sub4 = | p0 - avg4 |
sub5 = | p0 - avg5 |
sub6 = | p0 - avg6 |
sub7 = | p0 - avg7 |
sub8 = | p0 - avg8 |
・・・(8)
このようにして計算された差分絶対値sub1〜sub8の中で最小となる値submと、それに対応する平均値avgmが検出される(ステップS304)。
このようにして算出された最大相関差分絶対値submを使って、図1の場合と同様にして、ステップS113〜S115において、閾値th_n2との比較判定及びベイヤノイズ抑制処理が実行されることにより、明るさ境界を安定的に検出することが可能となり、より安定したベイヤノイズ抑制が実現される。
図6は、上述の第2の実施形態におけるベイヤノイズ抑制部の機能構成を示す機能ブロック図である。
周辺相関検出部601は、図3のステップS302〜S304の処理に対応する機能を実現する。
周辺相関検出部601は、図3のステップS302〜S304の処理に対応する機能を実現する。
閾値判定部602は、図3のステップS113の処理に対応する機能を実現する。
メディアンフィルタ部603は、図3のステップS302の処理に対応する機能を実現する。
メディアンフィルタ部603は、図3のステップS302の処理に対応する機能を実現する。
セレクタ604は、図3のステップS114及びS115の処理に対応する機能を実現する。
本発明の第1、第2の実施形態に対する補足
また、以上説明した各実施形態は、イメージセンサシステムのロジック回路として本発明を実施した場合について説明したが、このようなイメージセンサシステムが組み込まれたデジタルカメラや携帯電話機やPC等も、本発明の権利範囲である。
本発明の第1、第2の実施形態に対する補足
また、以上説明した各実施形態は、イメージセンサシステムのロジック回路として本発明を実施した場合について説明したが、このようなイメージセンサシステムが組み込まれたデジタルカメラや携帯電話機やPC等も、本発明の権利範囲である。
201 縦横斜め相関検出部
202、602 閾値判定部
203、603 メディアンフィルタ部
204、604 セレクタ
601 周辺相関検出部
701 画素アレイ
702 垂直走査回路
703 水平走査回路
704 カラムCDS
705 カラムアンプ
706 カラムADC
707 カラムカウンタ
708 ラインメモリ
709 ロジック回路
710 タイミング発生回路
711 基準電圧発生回路
712 ランプ波形発生回路
713 レジスタ
714 光入力信号
715 ディジタル出力信号
202、602 閾値判定部
203、603 メディアンフィルタ部
204、604 セレクタ
601 周辺相関検出部
701 画素アレイ
702 垂直走査回路
703 水平走査回路
704 カラムCDS
705 カラムアンプ
706 カラムADC
707 カラムカウンタ
708 ラインメモリ
709 ロジック回路
710 タイミング発生回路
711 基準電圧発生回路
712 ランプ波形発生回路
713 レジスタ
714 光入力信号
715 ディジタル出力信号
Claims (10)
- ノイズ除去回路であって、
複数の周辺画素の画素値により、明暗の境界となる位置を判断する境界判断手段と、
前記複数の周辺画素のうち、前記境界判断手段により判断された境界を跨がない範囲に属する画素の範囲でフィルタ処理する選択フィルタ手段と
を含むことを特徴とするノイズ除去回路。 - 画像信号におけるノイズを抑制するための方法であって、
注目画素とその同色周囲8画素の平均値との差分絶対値を算出するステップと、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲8画素の平均値に置き換えるステップと、
前記差分絶対値が閾値以上である場合、前記注目画素とその同色周囲8画素の縦/横/斜め各平均値との各差分絶対値を算出するステップと、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換えるステップと、
を含むことを特徴とするノイズ抑制方法。 - 画像信号におけるノイズを抑制するための回路であって、
注目画素とその同色周囲8画素の平均値との差分絶対値を算出する手段と、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲8画素の平均値に置き換える手段と、
前記差分絶対値が閾値以上である場合、前記注目画素とその同色周囲8画素の縦/横/斜め各平均値との各差分絶対値を算出する手段と、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換える手段と、
を含むことを特徴とするノイズ抑制回路。 - 請求項3に記載のノイズ抑制回路を備えた携帯情報装置。
- 画像信号におけるノイズを抑制するための方法であって、
注目画素とその同色周囲24画素の平均値との差分絶対値を算出するステップと、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲24画素の平均値に置き換えるステップと、
前記差分絶対値が閾値以上である場合、前記注目画素とその同色周囲24画素の縦/横/斜め各平均値との各差分絶対値を算出するステップと、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換えるステップと、
を含むことを特徴とするノイズ抑制方法。 - 画像信号におけるノイズを抑制するための回路であって、
注目画素とその同色周囲24画素の平均値との差分絶対値を算出する手段と、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲24画素の平均値に置き換える手段と、
前記差分絶対値が閾値以上である場合、前記注目画素とその同色周囲24画素の縦/横/斜め各平均値との各差分絶対値を算出する手段と、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換える手段と、
を含むことを特徴とするノイズ抑制回路。 - 請求項5に記載のノイズ抑制回路を備えた携帯情報装置。
- 画像信号におけるノイズを抑制するための方法であって、
注目画素とその同色周囲8画素の平均値との差分絶対値を算出するステップと、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲8画素の平均値に置き換えるステップと、
前記差分絶対値が閾値以上である場合、前記注目画素を範囲端に含むそれぞれ3×3画素の8つの範囲の各平均値と前記注目画素との各差分絶対値を算出するステップと、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換えるステップと、
を含むことを特徴とするノイズ抑制方法。 - 画像信号におけるノイズを抑制するための回路であって、
注目画素とその同色周囲8画素の平均値との差分絶対値を算出する手段と、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲8画素の平均値に置き換える手段と、
前記差分絶対値が閾値以上である場合、前記注目画素を範囲端に含むそれぞれ3×3画素の8つの範囲の各平均値と前記注目画素との各差分絶対値を算出する手段と、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換える手段と、
を含むことを特徴とするノイズ抑制回路。 - 請求項8に記載のノイズ抑制回路を備えた携帯情報装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008035357A JP2009194776A (ja) | 2008-02-15 | 2008-02-15 | ノイズフィルタ |
US12/370,289 US20100086205A1 (en) | 2008-02-15 | 2009-02-12 | Noise filter |
KR1020090011887A KR20090088818A (ko) | 2008-02-15 | 2009-02-13 | 노이즈 필터 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008035357A JP2009194776A (ja) | 2008-02-15 | 2008-02-15 | ノイズフィルタ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009194776A true JP2009194776A (ja) | 2009-08-27 |
Family
ID=41076359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008035357A Withdrawn JP2009194776A (ja) | 2008-02-15 | 2008-02-15 | ノイズフィルタ |
Country Status (3)
Country | Link |
---|---|
US (1) | US20100086205A1 (ja) |
JP (1) | JP2009194776A (ja) |
KR (1) | KR20090088818A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012195677A (ja) * | 2011-03-15 | 2012-10-11 | Mitsubishi Electric Corp | 撮像装置 |
JP2013126169A (ja) * | 2011-12-15 | 2013-06-24 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2013211674A (ja) * | 2012-03-30 | 2013-10-10 | Dainippon Printing Co Ltd | ノイズ除去装置及びノイズ除去方法 |
JP2016048821A (ja) * | 2014-08-27 | 2016-04-07 | Hoya株式会社 | ノイズ低減装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5991749B2 (ja) * | 2011-09-26 | 2016-09-14 | キヤノン株式会社 | 画像処理装置及び方法 |
CN106131561B (zh) * | 2012-01-20 | 2019-10-18 | 维洛媒体国际有限公司 | 解码装置和解码方法 |
CN105809630B (zh) * | 2014-12-30 | 2019-03-12 | 展讯通信(天津)有限公司 | 一种图像噪声过滤方法及系统 |
JP2023010159A (ja) * | 2021-07-09 | 2023-01-20 | 株式会社ソシオネクスト | 画像処理装置および画像処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6181438B1 (en) * | 1997-05-05 | 2001-01-30 | Xerox Corporation | Method and apparatus for digital image darkness control using quantized fractional pixels |
JP3925588B2 (ja) * | 1997-11-25 | 2007-06-06 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
US6650364B1 (en) * | 1998-05-08 | 2003-11-18 | Cirrus Logic, Inc. | Selectable threshold multimode gain control apparatus and method for setting mutually continuous analog, digital, and shutter gain levels |
JP2000293696A (ja) * | 1999-04-07 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 画像認識装置 |
US6683984B1 (en) * | 2000-07-31 | 2004-01-27 | Hewlett-Packard Development Company, L.P. | Digital imaging device with background training |
JP2005031482A (ja) * | 2003-07-08 | 2005-02-03 | Matsushita Electric Ind Co Ltd | 画像伸長表示方法、画像伸長表示装置、および画像伸長表示用プログラム |
-
2008
- 2008-02-15 JP JP2008035357A patent/JP2009194776A/ja not_active Withdrawn
-
2009
- 2009-02-12 US US12/370,289 patent/US20100086205A1/en not_active Abandoned
- 2009-02-13 KR KR1020090011887A patent/KR20090088818A/ko not_active Application Discontinuation
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012195677A (ja) * | 2011-03-15 | 2012-10-11 | Mitsubishi Electric Corp | 撮像装置 |
JP2013126169A (ja) * | 2011-12-15 | 2013-06-24 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2013211674A (ja) * | 2012-03-30 | 2013-10-10 | Dainippon Printing Co Ltd | ノイズ除去装置及びノイズ除去方法 |
JP2016048821A (ja) * | 2014-08-27 | 2016-04-07 | Hoya株式会社 | ノイズ低減装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20090088818A (ko) | 2009-08-20 |
US20100086205A1 (en) | 2010-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8576309B2 (en) | Pixel defect correction device, imaging apparatus, pixel defect correction method, and program | |
US8208046B2 (en) | Method of detecting defect in image pickup apparatus and the image pickup apparatus | |
JP2009194776A (ja) | ノイズフィルタ | |
JP5616442B2 (ja) | 撮像装置及び画像処理方法 | |
JP5060535B2 (ja) | 画像処理装置 | |
JP6086663B2 (ja) | 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法 | |
JP5112238B2 (ja) | 撮像装置、設定値変更方法およびプログラム | |
JP5269841B2 (ja) | 画像処理装置 | |
JP4960309B2 (ja) | 固体撮像装置 | |
JP5526014B2 (ja) | 撮像装置 | |
US20110102649A1 (en) | Pixel defect detection and correction device, imaging apparatus, pixel defect detection and correction method, and program | |
JP2012054790A (ja) | 画像処理装置 | |
JP2008258909A (ja) | 信号処理回路 | |
US10630924B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP2006238060A (ja) | 画像処理装置およびこの画像処理装置を備えたデジタルカメラ | |
JP2005311962A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2010068329A (ja) | 撮像装置 | |
JP4975515B2 (ja) | 固体撮像素子の欠陥画素補正装置、固体撮像素子の欠陥画素補正方法、制御プログラム、可読記録媒体、撮像装置および電子情報機器 | |
JP2012028987A (ja) | 画像処理装置 | |
JP2011114473A (ja) | 画素欠陥補正装置 | |
JP2006237686A (ja) | 撮像装置 | |
US10791289B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
US10791290B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP6041523B2 (ja) | 画像処理装置及び方法 | |
JP2010056817A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110510 |