JP2010055604A - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP2010055604A JP2010055604A JP2009172975A JP2009172975A JP2010055604A JP 2010055604 A JP2010055604 A JP 2010055604A JP 2009172975 A JP2009172975 A JP 2009172975A JP 2009172975 A JP2009172975 A JP 2009172975A JP 2010055604 A JP2010055604 A JP 2010055604A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- noise
- component
- image
- edge component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000013459 approach Methods 0.000 claims abstract description 23
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 171
- 238000000034 method Methods 0.000 claims description 72
- 230000008569 process Effects 0.000 claims description 51
- 238000012937 correction Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000002238 attenuated effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 111
- 238000007670 refining Methods 0.000 description 53
- 230000006870 function Effects 0.000 description 36
- 230000014509 gene expression Effects 0.000 description 30
- 238000000605 extraction Methods 0.000 description 29
- 230000001965 increasing effect Effects 0.000 description 24
- 230000010354 integration Effects 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 18
- 230000003321 amplification Effects 0.000 description 13
- 238000003199 nucleic acid amplification method Methods 0.000 description 13
- 230000006378 damage Effects 0.000 description 12
- 230000007423 decrease Effects 0.000 description 12
- 125000001475 halogen functional group Chemical group 0.000 description 11
- 230000009467 reduction Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000009499 grossing Methods 0.000 description 9
- 230000002411 adverse Effects 0.000 description 8
- 230000003247 decreasing effect Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 230000000704 physical effect Effects 0.000 description 7
- 238000011084 recovery Methods 0.000 description 7
- 239000012535 impurity Substances 0.000 description 6
- 238000002156 mixing Methods 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 230000009931 harmful effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003324 Six Sigma (6σ) Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000001627 detrimental effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000007306 functionalization reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000000265 homogenisation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000003723 Smelting Methods 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000009982 effect on human Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【解決手段】原画像に対してエッジ強調を行う画像処理方法は、原画像に基づきエッジ成分を抽出し、抽出されたエッジ成分に対して、エッジ成分の強度に関する度数分布が所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、補正されたエッジ成分に基づき、原画像に対してエッジ強調を行うようにする。
【選択図】図4
Description
請求項2の発明は、画像処理方法に適用され、原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、抽出された各帯域制限画像のエッジ成分に対して、各々の帯域制限画像毎にエッジ成分の強度に関する度数分布が各帯域に固有の所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、補正された各帯域制限画像のエッジ成分を統合して、原画像と同じ解像度を持つエッジ成分に統合し、統合されたエッジ成分の強度に関する度数分布が再度所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、補正された統合エッジ成分に基づき、原画像に対してエッジ強調を行うことを特徴とするものである。
請求項5の発明は、原画像に対してエッジ強調を行う画像処理方法に適用され、原画像をフィルタリングして、逐次的に低い解像度を持つ複数の、低周波サブバンド画像と高周波サブバンド画像のセットからなる帯域制限画像を生成し、各帯域制限画像に対してエッジ検出を行って、各帯域制限画像のエッジ成分を抽出し、抽出された低周波サブバンド画像と高周波サブバンド画像の両方の各帯域制限画像のエッジ成分を順次統合して、原画像と同じ解像度を持つエッジ成分に統合し、統合されたエッジ成分の強度に関する度数分布が所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、補正されたエッジ成分に基づき、原画像に対してエッジ強調を行うことを特徴とするものである。
請求項6の発明は、所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法に適用され、原画像からエッジ成分を抽出し、抽出したエッジ成分をノイズゆらぎ指標値と比較することによって、エッジ成分の中からノイズ成分と同程度の微弱エッジ成分を抽出し、抽出した微弱エッジ成分に基づき、原画像に対してエッジ強調を行うことを特徴とするものである。
請求項7の発明は、原画像に対してエッジ強調を行う画像処理方法に適用され、原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、各帯域制限画像のエッジ成分を抽出し、抽出された各帯域制限画像のエッジ成分自身の大きさに基づいて、該エッジ成分の中に含まれる偽のエッジ成分の量を推定し、推定結果に基づいて、抽出されたエッジ成分から偽のエッジ成分を除外して各帯域制限画像の実エッジ成分を抽出し、抽出された各帯域制限画像の実エッジ成分を統合して、原画像と同じ解像度を持つエッジ成分に統合し、統合されたエッジ成分自身の大きさに基づいて再度、該エッジ成分の中に含まれる偽のエッジ成分の量を推定し、推定結果に基づいて、統合されたエッジ成分から偽のエッジ成分を除外して実エッジ成分を抽出し、抽出された実エッジ成分に基づき、原画像に対してエッジ強調を行うことを特徴とするものである。
初めに、実施の形態に述べるアルゴリズムを採用する必要性が生じた背景や理由、及びそれに対処する方法の基本的考えについて述べる。
ノイズ除去処理は通常、edge-preserving smoothing filterと呼ばれる、大きな信号レベル差のエッジ構造と微小な振幅のノイズを区別して適応的に平滑化するノイズ除去フィルタが用いられる。このノイズ除去フィルタの代表例として、高性能なものにバイラテラル・フィルタと呼ばれるものがある。これらのノイズ除去フィルタは基本的に隣接画素との間で画素値のレベル差をノイズゆらぎ指標値と比較し、平滑化対象画素にするか否かの加重係数をそれらの比に基づいて決めてゆく。
このような問題に対処するため、ノイズ除去を伴った場合はノイズ除去で失った程度のエッジのコントラストを回復するエッジ強調や、階調再現性を回復するための階調補正処理、あるいはコントラスト補正処理が必要となる。また、高感度撮影画像についても、ノイズ除去が行われなくてもこれらに相当する処理を加えるだけで随分と低感度撮影画像に近い鮮明性のある画像を提供することができるようになる。また、低感度撮影画像についてもノイズ被りによるコントラスト低下の影響を修復すれば、本来のあるべき鮮鋭感、解像力、階調性、色再現性を実現することができるようになる。
まず、冗長な多重解像度変換によるエッジ強調の物理的効果について解明する。実験的に低周波サブバンド群と高周波サブバンド群の2つの冗長な多重解像度表現された周波数投影空間でのエッジ強調効果を確認したところ、低周波サブバンド群と高周波サブバンド群の各々で抽出されたエッジ成分には以下のような優れた個別の画像エンハンスメント効果があることが分かった。
このような個別の物理的効果が明らかになってから分かることは、低周波サブバンド群で抽出したエッジ成分と高周波サブバンド群で抽出したエッジ成分を周波数調合するには、何らかの法則性を設けて拘束条件を付けないと、原画像とは随分とかけ離れた見るに堪えない不自然なエッジ強調効果を生み出してしまう恐れがあるということである。また、ノイズ除去を伴う場合には、ノイズ除去の強さによってもノイズ除去の弊害によるこれらの主観的損傷度合いは違ってくる。したがって、その損傷度合いに合わせて回復を試みる必要がある。この解決策として実施の形態の中ではエッジ強調率やノイズ除去率に連動させる方策が示される。
次に、前述の実験で取得した画像例の中にも現れているように、多重解像度によるエッジ強調は大面積のハローやハウリングを生じさせる危険性を伴う。これは通常のアンシャープマスク処理が本質的に抱えているエッジ近傍のリンギング問題と発生要因は同じであるが、多重解像度処理であるためその弊害が大規模化して現れてしまう。
ところで、エッジ強調をするときに上述のようなリンギング問題以外に気をつけなければいけない点は、エッジ強調によってノイズ成分を増幅してしまう危険性をできるだけ避けなければいけないという点である。ノイズ除去処理におけるノイズ成分の抽出過程とエッジ強調処理におけるエッジ成分の抽出過程においては必ず、ノイズ成分の中へのエッジ成分の混入とノイズ成分の中へのエッジ成分の混入の相互混入問題が避けようのない問題として存在する。この様子を模式的に表すと下式のようになる。
Nextracted= Ntrue + eundistinguished
Eextracted= Etrue + nundistinguished
そこで、本実施形態では先に述べたエッジ成分のあるべき姿の仮説に基づいて、それに近づけることによってエッジ成分の中から不純物を取り出し純度を上げ、エッジ自身の自己精錬処理を行う。また、ノイズ成分についても同様にノイズ成分のあるべき姿の仮説を立てることが可能であり、その仮説に基づいてノイズ成分の中から不純物を取り出し純度を上げる、ノイズ自身の自己精錬処理も行う。本実施の形態では、このように各成分の不純物を除き純度を高める処理を精錬と言う。
しかしながら、このようにしてエッジ成分とノイズ成分の純度を如何に高めても排除し切れない相互混入成分というのは必ず存在し、その影響を無視するわけにはいかない。すなわち、依然としてこれらがエッジ強調のノイズ増幅問題とノイズ除去のエッジなまり問題等の先に述べた課題を引き起こすのである。
多重解像度を用いてノイズ除去とエッジ強調を同時に行う実施形態を示す。図1は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ1により実現される。パーソナルコンピュータ1は、デジタルカメラ2、CD−ROMなどの記録媒体3、他のコンピュータ4などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ1は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ4は、インターネットやその他の電気通信回線5を経由して接続される。
ステップS1で画像データ(以下、単に画像と言う)を入力すると、ステップS2において、入力画像をまず色空間変換し、ノイズ除去処理を行なうのに適した画像処理空間へ投影し直す。この画像処理空間として、国際公開第2006/064913号パンフレット(本出願人と同一発明者)に記載の均等色・均等ノイズ空間を用いる。通常、入力画像はsRGBといった標準色空間で表されていることが多い。ここでは色補正処理やガンマ補正処理がなされたsRGB画像を主な例として説明する。
次式により、XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する。ここで定義するL^a^b^空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付けたものである。
多重解像度に基づいたノイズ除去処理およびエッジ強調処理の流れ図を図4に示す。輝度成分L^、色差成分a^、b^の各々の原画像を多重解像度表現して、ノイズ除去を行なう。原画像を順次ウェーブレット変換のAnalysis過程によって低解像度画像に分解していく(処理(1-0)(2-0)(3-0)(4-0)(5-0))。サブバンド画像が生成されるAnalysis過程をまとめて次式のように表す。
ハイパス成分:d[n]=x[2n+1]-(x[2n+2]+x[2n])/2
ローパス成分:s[n]=x[2n]+(d[n]+d[n-1])/4
上記定義の1次元ウェーブレット変換を、横方向と縦方向に独立に2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数sをL面に集め、係数dをH面に集める。
x[2n]=s[n]-(d[n]+d[n-1])/4
X[2n+1]=d[n]+(x[2n+2]+x[2n])/2
ただし、図4に示すように、ウェーブレット変換時のxの値には画像を表す信号を入力し、生成されたウェーブレット変換係数s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時のs,dに代入してノイズ画像xを生成してゆく用い方をする。エッジ成分についても同様の用い方をする。
3−1.ノイズ除去フィルタによるノイズ抽出処理
3−1−1.ノイズ除去処理
任意のノイズ除去フィルタを用いてよいが、ここでは一般に知られる高性能なバイラテラル・フィルタを改良した、国際公開第2006/068025号パンフレット(本願と同一発明者)に記載の次式の改良Bilateral Filterを用いる(処理(1-2)(2-2)(3-2)(4-2)(5-2))。
ノイズ成分を各サブバンド面のノイズ除去フィルタリングだけで漏れなく抽出するのは難しく、多重解像度分解による周波数帯域間で間隙を生じないように、他の解像度で抽出したノイズを参照しながら逐次的にノイズを抽出する。逐次的なノイズ除去の方法としてはAnalysis時とSynthesis時に行なう2通りの方法があるが、本実施形態ではSynthesis時の場合のみを示す。
図4より明らかであるが、図4で行なっている処理をより具体的に書けば、
ノイズ除去フィルタで抽出するノイズ成分の中には、如何なる結果のノイズ成分が抽出されるかは何の保証もない。画像構造の状況によっては特異成分が含まれてしまう。また、その含まれ方もノイズ除去フィルタの性能具合によって異なってくる。
エッジ抽出過程によって抽出されたエッジ成分は、図5(a)に示されるようにリンギングやハローの要因となる度数分布から見れば特異な撹乱成分が含まれている。従来このような成分を減衰させるため、入力エッジ強度に対して出力エッジ強度が単調増加となる関数を通過させていた。しかし、抽出されたエッジ成分の真偽に関する明確なモデルと指針がないため、抽出したエッジ成分は有効に扱わねばならないという考えに基づいて単調増加関数が設定されていた。しかし、エッジ強度がいくら大きくなっても有限値を残すということはリンギングを生じさせる危険がつきまとう。
このように項目番号5と項目番号6の処理を経てきたノイズ成分とエッジ成分はかなりの確度でその純度が高まっている。しかしながら、項目番号5で自己精錬したノイズ成分の中には依然としてノイズ成分のように振る舞うエッジ成分が含まれている。このエッジ成分の除外には、信頼度の高いエッジ成分を参照してノイズ成分の中にどの程度そのような成分が含まれる状況が生じうるかを推定して排除するしかない。ここで混入しているエッジ成分は、ノイズと同程度の強度で振る舞うテキスチャ等のエッジ成分であるので、そのようなテキスチャ領域は周囲にフラクタル的に大きなエッジ構造を持っている場合が多い。従って、その領域のエッジ強度を参照すれば凡そ混入している量が推定できる。
項目番号7の説明と同じくして、項目番号6で自己精錬したエッジ成分の中にもエッジ成分のように振る舞うノイズ成分が含まれている。このノイズ成分の除外には、信頼度の高いノイズ成分を参照してエッジ成分の中にどの程度そのような成分が含まれる状況が生じうるかを推定して排除するしかない。ここで混入しているノイズ成分は、抽出したいエッジ成分と同程度の強度で振る舞うノイズ成分である。そのようなエッジ成分に混入したノイズ成分は、項目番号7で抽出されたノイズ成分でも同じ程度の大きさのノイズ成分として抽出されているはずである。
各サブバンドで漏れなくノイズ成分が抽出された後、きれいに精錬されたノイズ成分を今度は、実画像へのダメージが最も少なくノイズ除去効果の高い周波数バンド間ウェイトをつけて統合する。
本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットによれば、実画像へのダメージが最も少なくなるようなノイズ成分の統合ウェイトは、原画像が輝度成分の場合、高周波サブバンド・ノイズの重みを大きくし、低周波サブバンド・ノイズの重みを小さくするのがよいとしている。また、原画像が色差成分の場合、低周波サブバンド・ノイズの重みを大きくし、高周波サブバンド・ノイズの重みを小さく、ないしは低周波サブバンド・ノイズの重みと同程度にするのがよいとしている。また、この低周波サブバンドと高周波サブバンドの重みは統合ノイズ成分の周波数特性を大きく変え、ノイズ除去の見栄えを大きく変えるので、そのバンド間の重みをグラフィック・ユーザー・インターフェースを通じて、特に輝度成分のバンド間重みを粒状性設定パラメータとしてユーザーに開放している。
通常、ショットノイズに起因するノイズ成分は低周波成分から高周波成分まで一様に分布するホワイト・ノイズであると考えてよいので、解像度レベル間のノイズ統合ウェイトは全て同じ値の1に設定する。すなわち、下式となる。
上述のようなノイズ除去の効果とその弊害対策の両立に最適な周波数バンド間の重みがつけられたノイズ成分を下式のように統合する(処理(1-10)(2-10)(3-10)(4-10)(5-10))。
各サブバンドでノイズに埋もれるような微弱なエッジ成分を抽出し、その中に含まれるノイズ成分やリンギング成分がきれいに精錬されたエッジ成分を、今度は、実画像のノイズ被りによるコントラスト復元やノイズ除去の弊害対策を最も自然な印象を与え、エッジ強調によるエンハンスメント効果の高い周波数バンド間ウェイトをつけて統合する。
本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットには特に周波数調合の仕方について記述はない。しかし、本実施形態の冒頭の主観量と物理的効果の解明によると、最も自然な印象を与え、エンハンスメント効果の高い周波数調合の仕方は以下のような議論から組み立てることができる。
ζjoint * (1-ζjoint/2)=-(1/2)(ζjoint-1)2+(1/2)
となり、上に凸な、ζjoint=1で極大となる2次関数の減速型の単調増加関数となっている。これに対し、ζjoint≧1ではζjoint/2で比例型に転じてしまう。なお、敏感な周波数帯域とは、ζjoint依存性を持たせたバンドであり、輝度成分で言えばLL成分、色差成分で言えばLH成分、HL成分、HH成分と言える。
ノイズ成分のときとは違って、解像度レベル間のエッジ統合ウェイトを全て同じ値の1に設定せずに、人間の視覚への影響を考慮した解像度レベル間の重みを設定する。
上述のような自然な印象のエッジ強調効果を得るのに最適な周波数バンド間の重みがつけられたエッジ成分を下式のように統合する(処理(1-12)(2-12)(3-12)(4-12)(5-12))。
次に統合ノイズ成分に対してもう一度項目番号5と同じ考え方に基づき、次式によりノイズ成分の自己精錬を行う(処理(0-1))。すなわち、最終的に実解像度と同じレベルまで統合されてきたノイズ成分が、再度その分布形状が仮説に基づいて、均等色・均等ノイズ空間における理想的なノイズ分布であるガウス分布をしているか2重に検証を行うのである。
統合エッジ成分に対しても、もう一度項目番号6と同じ考え方に基づき、次式によりエッジ成分の自己精錬を行う(処理(0-2))。すなわち、最終的に実解像度と同じレベルまで統合されてきたエッジ成分が、再度その分布形状が仮説に基づいて、均等色・均等ノイズ空間における理想的なエッジ分布であるガウス分布をしているか2重に検証を行うのである。
統合ノイズ成分に対してもう一度項目番号7と同じ考え方に基づき、次式によりノイズ成分の統合エッジ成分による相互精錬を行う(処理(0-3))。これは、近隣でエッジ強度(絶対値)の強い領域ではノイズ成分の中にエッジ成分が混入している確率が高いというモデルを、もう一度複数の解像度レベルの相関を多重的に加味した統合エッジ成分を観測することによって、単一の解像度で観測したエッジ成分だけでは見出しえなかった、近隣のエッジ状況というものを周波数の視点を変えて検証することにある。すなわち、
統合エッジ成分に対しても、もう一度項目番号8と同じ考え方に基づき、次式によりエッジ成分の統合ノイズ成分による相互精錬を行う(処理(0-4))。これは、近隣でノイズ強度(絶対値)の強い領域ではエッジ成分の中にノイズ成分が混入している確率が高いというモデルを、もう一度複数の解像度レベルの相関を多重的に加味した統合ノイズ成分を観測することによって、単一の解像度で観測したノイズ成分だけでは見出しえなかった、近隣のノイズ成分の分布状況というものを周波数の視点を変えて検証することにある。
実施の形態冒頭の基本的な考えの説明でも述べたように、このようにしてノイズ成分とエッジ成分の自己及び相互精錬を多重に繰り返してきたにもかかわらず、排除し切れない相互混入成分が存在する。それらによるノイズ除去処理とエッジ強調処理への弊害を最小化し、ノイズ除去とエッジ強調の効果を最大化するには、弊害と効果を事前に予測した工夫をノイズ除去率とエッジ強調率に導入する余地が残されている。
基準コントラスト比関数
1)汎関数表現1(ガンマ版)
ノイズ除去率の汎関数表現は、作業用色空間で一様なノイズ除去をしたのと同程度の見栄えを保持しつつ、出力色空間におけるノイズ除去効果が全ての明るさで均質化されることを第一の目標とする。そうすることによって、ある明るさレベルの階調コントラストが出力色空間の方が立った領域のノイズ増幅感というのは抑えられ、また階調コントラストが出力色空間の方が寝ている特定領域だけのノイズ減幅作用による不均一感というのは抑えられる。
ノイズ除去率の汎関数表現は、もう一つ別の視点から作ることができる。すなわち、汎関数表現1では画像全体の明るさレベルの間でノイズ除去効果が均質化されることを目標としたのに対し、ここでは局所的なエッジ構造近傍の範囲内で明るさレベル間のノイズ除去効果が均質化されることを目標とする。これは、画像構造を決める重要な部分はエッジ近傍に集中しており、その周りさえノイズ除去効果が明るさに対して均質化されていれば画像全体としてのノイズ除去効果は非一様であってもその均質化作用が持つもう一つ別な側面を局所的な領域に対して最大限発揮しうる、という考えに基づく。
ノイズ除去率の汎関数表現1と2は局所的に各々で効き方が違う。したがって、2つの方法を組み合わせた使い方も考えられる。その場合は基本的に2つの汎関数表現部分の積をとった汎関数表現をすればよい。
1)汎関数表現1(ガンマ版)
エッジ強調率の汎関数表現もまた同様に、作業用色空間で一様なエッジ強調をしたのと同程度の見栄えを保持しつつ、出力色空間におけるエッジ強調効果が全ての明るさで均質化されることを第一の目標とする。そうすることによって、ある明るさレベルの階調コントラストが出力色空間の方が立った領域での作業用色空間での低いコントラストで抽出したエッジ成分によるエッジ強調不足というのは抑えられ、また階調コントラストが出力色空間の方が寝ている特定領域だけの作業用色空間での高いコントラストで抽出したエッジ成分による過剰なエッジ強調作用による不均一感というのは抑えられる。すなわち、作業用色空間の方が出力色空間よりコントラストの低い階調領域ではエッジ成分のコントラストを事前に高め、反対にコントラストが高い領域ではエッジ成分のコントラストを事前に弱める必要がある。
輝度成分の場合
エッジ強調率の汎関数表現に関しても、もう一つ別の視点から作ることができる。すなわち、汎関数表現1では画像全体の明るさレベルの間でエッジ強調効果が均質化されることを目標としたのに対し、ここでは局所的なエッジ構造近傍の範囲内で明るさレベル間のエッジ強調効果が均質化されることを目標とする。これは、画像構造を決める重要な部分はエッジ近傍に集中しており、その周りさえエッジ強調効果が明るさに対して均質化されていれば画像全体としてのエッジ強調効果は非一様であってもその均質化作用が持つもう一つ別な側面を局所的な領域に対して最大限発揮しうる、という考えに基づく。
エッジ強調率の汎関数表現1と2も局所的に各々で効き方が違う。したがって、2つの方法を組み合わせた使い方も考えられる。その場合は基本的に2つの汎関数表現部分の積をとった汎関数表現をすればよい。
このようにしてノイズ除去とエッジ強調の効果の最大化と弊害の最小化が図られたノイズ除去率とエッジ強調率の汎関数表現を用いて、実際にノイズ除去処理とエッジ強調処理を行う。
ノイズ除去処理だけの場合、次式によりノイズ除去を行い(処理(0-9))、ノイズ除去後の画像を出力する(処理(0-10))。
エッジ強調処理だけの場合、図4の処理(0-9)を行わず、次式によりエッジ強調のみを行い(不図示)、エッジ強調後の画像を出力する(不図示)。
ノイズ除去処理とエッジ強調処理を同時に行う場合、上記ノイズ除去処理だけの場合の処理(処理(0-9))を行った後、エッジ強調処理を行い(処理(0-11))、ノイズ除去およびエッジ強調後の画像を出力する(処理(0-12))。ノイズ除去処理とエッジ強調処理の両方を行う場合の式をまとめると次式のようになる。
次に、図2のステップS4において、ノイズ除去およびエッジ強調された画像について画像処理空間から出力色空間へ変換する。出力色空間が入力色空間と同じでよい場合は、項目番号1の逆変換処理を行なう。また、異なっている場合は各入力及び出力の標準色空間の規定に従って変換すればよい。例えば、入力がAdobeRGBで出力がsRGBのような場合が考えられる。また、それだけに留まらず、出力画像に対して更に階調補正が加えられていてもよい。例えば、画像に掛けるガンマ曲線の特性を変える。そのときは事前に項目番号16−1と項目番号16−2側にその特性情報を伝えて、コントラスト比関数を事前に計算できるようにしておく。
図2のステップS5では、以上のようにしてノイズ除去およびエッジ強調された画像データを出力する。
第2の実施の形態では、実空間面のままノイズ除去とエッジ強調を同時に行う実施形態を示す。
第1の実施の形態の項目番号1と同じ。
2−1.ノイズ除去処理
実空間面はS(x,y)で表されているので、第1の実施の形態のサブバンド面V(x,y)に対する処理をVからSに置き換えるだけでよい(処理(x-1))。ただし、積分範囲は大きくとる必要が出てくる。
第1の実施の形態の項目番号11と同じ式を用いて、ノイズ成分の自己精錬を行う(処理(0-1))。ただし、Nwの記号はNに置き換える。
第1の実施の形態の項目番号12と同じ式を用いて、エッジ成分の自己精錬を行う(処理(0-2))る。ただし、Ewの記号はEに置き換える。
第1の実施の形態の項目番号13と同じ式を用いて、エッジによるノイズ成分の精錬を行う(処理(0-3))。ただし、Nwの記号はNに、Ewの記号はEに置き換える。
第1の実施の形態の項目番号14と同じ式を用いて、ノイズによるエッジ成分の精錬を行う(処理(0-4))。ただし、Nwの記号はNに、Ewの記号はEに置き換える。
第1の実施の形態の項目番号16と同じ式を用いる(処理(0-7)(0-8)(0-9)(0-11))。ただし、Nwの記号はNに、Ewの記号はEに置き換える。また、便宜上、第1の実施の形態の項目番号15に相当する処理は省略した。
第1の実施の形態の項目番号17と同じ。
(1)なお、上述の実施形態ではノイズ除去処理とエッジ強調処理がどちらも存在する前提で、それらを使うか否かは最後に自由選択する形式で記述したが、エッジ強調処理のみをもっと高速に実現したい場合、ノイズ除去フィルタによる平滑化処理が重い処理として障害になるので、ノイズ除去フィルタを省略して、第1の実施の形態では多重解像度表現されたサブバンド画像から直接、第2の実施の形態では原画像から直接アンシャープマスク処理によってエッジ成分を抽出するようなことも簡略な使い方としては考えられる。
(1)原画像に基づきエッジ成分を抽出し、抽出されたエッジ成分に対して、エッジ成分の強度に関する度数分布が所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、補正されたエッジ成分に基づき、原画像に対してエッジ強調を行うようにした。すなわち、エッジ検出フィルタで抽出されたエッジ成分を、原画像に加算しても自然な印象を与えると考えられる本来のあるべき姿のガウス分布特性の度数分布に近づけるようにした。これにより、リンギングを防止したエッジ強調を可能とする。そして、このエッジ強調処理は、ノイズの中に埋もれる程度の微弱なエッジ成分を極めて自然な形でノイズ増幅することなく回復することができる。
2 デジタルカメラ
3 記録媒体
4 コンピュータ
5 電気通信回線
11 CPU
12 メモリ
13 周辺回路
100 デジタルカメラ
101 被写体
102 撮影レンズ
103 撮像素子
104 制御装置
105 メモリ
Claims (10)
- 原画像に対してエッジ強調を行う画像処理方法であって、
原画像に基づきエッジ成分を抽出し、
前記抽出されたエッジ成分に対して、エッジ成分の強度に関する度数分布が所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、
前記補正されたエッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする画像処理方法。 - 画像処理方法であって、
原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、
前記各帯域制限画像において、各帯域制限画像のエッジ成分を抽出し、
前記抽出された各帯域制限画像のエッジ成分に対して、各々の帯域制限画像毎にエッジ成分の強度に関する度数分布が各帯域に固有の所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、
前記補正された各帯域制限画像のエッジ成分を統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、
前記統合されたエッジ成分の強度に関する度数分布が再度所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、
前記補正された統合エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする画像処理方法。 - 請求項1または2に記載の画像処理方法において、
前記所定幅のガウス分布は、前記原画像のノイズゆらぎ指標値と同じ幅のガウス分布であることを特徴とする画像処理方法。 - 請求項1〜3のいずれかに記載の画像処理方法において、
均等ノイズ空間および均等色・均等ノイズ空間の何れか1つの色空間で各処理を行うことを特徴とする画像処理方法。 - 原画像に対してエッジ強調を行う画像処理方法であって、
前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の、低周波サブバンド画像と高周波サブバンド画像のセットからなる帯域制限画像を生成し、
前記各帯域制限画像に対してエッジ検出を行って、各帯域制限画像のエッジ成分を抽出し、
前記抽出された低周波サブバンド画像と高周波サブバンド画像の両方の各帯域制限画像のエッジ成分を順次統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、
前記統合されたエッジ成分の強度に関する度数分布が所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正をし、
前記補正されたエッジ成分に基づき、原画像に対してエッジ強調を行うことを特徴とする画像処理方法。 - 所定のノイズゆらぎ指標値で表されるノイズ成分を含む原画像に対してエッジ強調を行う画像処理方法であって、
原画像からエッジ成分を抽出し、
前記抽出したエッジ成分を前記ノイズゆらぎ指標値と比較することによって、前記エッジ成分の中から前記ノイズ成分と同程度の微弱エッジ成分を抽出し、
前記抽出した微弱エッジ成分に基づき、前記原画像に対してエッジ強調を行うことを特徴とする画像処理方法。 - 原画像に対してエッジ強調を行う画像処理方法であって、
前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、
前記各帯域制限画像のエッジ成分を抽出し、
前記抽出された各帯域制限画像のエッジ成分自身の大きさに基づいて、該エッジ成分の中に含まれる偽のエッジ成分の量を推定し、
前記推定結果に基づいて、前記抽出されたエッジ成分から前記偽のエッジ成分を除外して各帯域制限画像の実エッジ成分を抽出し、
前記抽出された各帯域制限画像の実エッジ成分を統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、
前記統合されたエッジ成分自身の大きさに基づいて再度、該エッジ成分の中に含まれる偽のエッジ成分の量を推定し、
前記推定結果に基づいて、前記統合されたエッジ成分から前記偽のエッジ成分を除外して実エッジ成分を抽出し、
前記抽出された実エッジ成分に基づき、原画像に対してエッジ強調を行うことを特徴とする画像処理方法。 - 請求項1から7のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。
- 請求項8に記載の画像処理プログラムを搭載する画像処理装置。
- 請求項8に記載の画像処理プログラムを搭載する電子カメラ。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009172975A JP5359646B2 (ja) | 2008-08-01 | 2009-07-24 | 画像処理方法 |
US12/458,953 US8120679B2 (en) | 2008-08-01 | 2009-07-28 | Image processing method |
US13/345,249 US8339484B2 (en) | 2008-08-01 | 2012-01-06 | Image processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008199319 | 2008-08-01 | ||
JP2008199319 | 2008-08-01 | ||
JP2009172975A JP5359646B2 (ja) | 2008-08-01 | 2009-07-24 | 画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010055604A true JP2010055604A (ja) | 2010-03-11 |
JP5359646B2 JP5359646B2 (ja) | 2013-12-04 |
Family
ID=42071391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009172975A Active JP5359646B2 (ja) | 2008-08-01 | 2009-07-24 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5359646B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013008346A (ja) * | 2011-06-24 | 2013-01-10 | Lg Innotek Co Ltd | イメージのエッジ向上方法 |
WO2013145732A1 (en) * | 2012-03-30 | 2013-10-03 | Sharp Kabushiki Kaisha | System for improved image enhancement |
JP2014068330A (ja) * | 2012-09-05 | 2014-04-17 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
CN117455920A (zh) * | 2023-12-26 | 2024-01-26 | 武汉博源新材料科技集团股份有限公司 | 一种基于人工智能的奶茶杯劣品筛选方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0991419A (ja) * | 1995-09-25 | 1997-04-04 | Nec Corp | 画像処理装置 |
JPH1063839A (ja) * | 1996-08-19 | 1998-03-06 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JPH10164396A (ja) * | 1996-11-29 | 1998-06-19 | Samsung Electron Co Ltd | 輝度信号の輪郭成分を適応的に補正する方法及び補正回路 |
JP2001188910A (ja) * | 1999-10-22 | 2001-07-10 | Toshiba Corp | 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム |
JP2001285641A (ja) * | 2000-03-31 | 2001-10-12 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置および記録媒体 |
JP2004230086A (ja) * | 2003-01-31 | 2004-08-19 | Toshiba Corp | 画像処理装置、画像データ処理方法、及びプログラム |
JP2007272536A (ja) * | 2006-03-31 | 2007-10-18 | Nikon Corp | 画像処理方法 |
WO2008093836A1 (ja) * | 2007-02-02 | 2008-08-07 | Nikon Corporation | 画像処理方法 |
-
2009
- 2009-07-24 JP JP2009172975A patent/JP5359646B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0991419A (ja) * | 1995-09-25 | 1997-04-04 | Nec Corp | 画像処理装置 |
JPH1063839A (ja) * | 1996-08-19 | 1998-03-06 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JPH10164396A (ja) * | 1996-11-29 | 1998-06-19 | Samsung Electron Co Ltd | 輝度信号の輪郭成分を適応的に補正する方法及び補正回路 |
JP2001188910A (ja) * | 1999-10-22 | 2001-07-10 | Toshiba Corp | 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム |
JP2001285641A (ja) * | 2000-03-31 | 2001-10-12 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置および記録媒体 |
JP2004230086A (ja) * | 2003-01-31 | 2004-08-19 | Toshiba Corp | 画像処理装置、画像データ処理方法、及びプログラム |
JP2007272536A (ja) * | 2006-03-31 | 2007-10-18 | Nikon Corp | 画像処理方法 |
WO2008093836A1 (ja) * | 2007-02-02 | 2008-08-07 | Nikon Corporation | 画像処理方法 |
Non-Patent Citations (2)
Title |
---|
CSNB200100033001; 井上 誠喜、他5名: C言語で学ぶ実践画像処理 Windows/Macintosh/X-Windows対応 , 19991208, 第37頁-第43頁, 株式会社オーム社 * |
JPN6013020135; 井上 誠喜、他5名: C言語で学ぶ実践画像処理 Windows/Macintosh/X-Windows対応 , 19991208, 第37頁-第43頁, 株式会社オーム社 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013008346A (ja) * | 2011-06-24 | 2013-01-10 | Lg Innotek Co Ltd | イメージのエッジ向上方法 |
WO2013145732A1 (en) * | 2012-03-30 | 2013-10-03 | Sharp Kabushiki Kaisha | System for improved image enhancement |
JP2014068330A (ja) * | 2012-09-05 | 2014-04-17 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
US9058640B2 (en) | 2012-09-05 | 2015-06-16 | Casio Computer Co., Ltd. | Image processing apparatus, image processing method and recording medium |
CN117455920A (zh) * | 2023-12-26 | 2024-01-26 | 武汉博源新材料科技集团股份有限公司 | 一种基于人工智能的奶茶杯劣品筛选方法及系统 |
CN117455920B (zh) * | 2023-12-26 | 2024-03-22 | 武汉博源新材料科技集团股份有限公司 | 一种基于人工智能的奶茶杯劣品筛选方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5359646B2 (ja) | 2013-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8120679B2 (en) | Image processing method | |
JP4858610B2 (ja) | 画像処理方法 | |
JP4535125B2 (ja) | 画像処理方法 | |
JP5163489B2 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
JP4455897B2 (ja) | 画像処理方法および装置並びにプログラム | |
JP5352942B2 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
US8249380B2 (en) | Image processor and program | |
US8594451B2 (en) | Edge mapping incorporating panchromatic pixels | |
JP5482007B2 (ja) | 画像処理方法 | |
JP4862897B2 (ja) | 画像処理方法 | |
EP1408448B1 (en) | Image processing method, image processing apparatus, image processing program and image recording apparatus | |
CN109389560B (zh) | 一种自适应加权滤波图像降噪方法、装置及图像处理设备 | |
TW200417241A (en) | Restoration and enhancement of scanned document images | |
CN103236040A (zh) | 一种色彩增强方法及装置 | |
WO2007116543A1 (ja) | 画像処理方法 | |
JP5256582B2 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
TW201120809A (en) | System and method for processing an image edge | |
JP5359646B2 (ja) | 画像処理方法 | |
JP5343743B2 (ja) | 画像処理方法 | |
JP2003076985A (ja) | 画像処理方法及び装置 | |
JP5482006B2 (ja) | 画像処理方法 | |
JP4456096B2 (ja) | ノイズ除去方法および装置並びにプログラム | |
Kanagavel et al. | Image Fusion Based Selective Optimal Restoration of Colors in Single Underwater Images | |
JP4053167B2 (ja) | 画像処理方法および装置 | |
Suhaila et al. | HE_OWW Filter for Enhancement of Wildlife Observation Digital Images in Limited Light Condition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5359646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |