JP2010211552A - 画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【目的】ブロックノイズやモスキートノイズを効果的に除去し、デジタル加工画像の画質を改善する。
【構成】加工画像を閉領域β（ｘ，ｙ）に複数区画する（Ｓ１）。次に、各閉領域毎に輝度の相加平均値を中心とするデータの広がりの「指標σ_m」を算出する（Ｓ２）。次に、この「指標σ_m」を基に、閉領域内の「各画素の基準の分離係数μ₀」と、閉領域内の「各画素の分離強度χ」とを決定し、これらに基づいて閉領域内の「各画素の分離係数μ」を算出する。同様にして他領域の全画素に対しても分離係数μを算出する（Ｓ３）。次に、この「各画素の分離係数μ」を適用した変分法により加工画像を一様な輝度領域と輪郭で構成される骨格成分（ノイズ低減画像）と、テクスチャや雑音に相当する振動成分（ノイズ）と、差分成分とに分離する（Ｓ４）。
【選択図】 図１

Description

本発明は、非可逆圧縮画像の復元処理に伴うノイズ低減などに適用される画像処理方法及びコンピュータプログラムに関するものである。

JPEG（Joint Photographic Experts Group）やMPEG（Moving Picture Experts Group）などのデジタル加工画像（以下、単に「加工画像」という。）は原画像を周波数変換後、量子化して得られる「非可逆圧縮画像」である。加工画像は効率の良い圧縮が可能である一方で、再生画像がノイズを伴うために画質が原画像よりも劣化する。

一般に、デジタル画像に含まれるノイズを除去する上で必要なことは、入力画像（原画像）とこれに混入したノイズとを適切に分離すること（本明細書では、これを「画像分離」という。）である。この種の画像分離のアルゴリズムとして「変分法」が知られている。

例えば、特許文献１では、撮像系から取り込まれた映像信号に含まれるノイズを、注目画素に対してエッジ保存型の適用的なノイズ低減処理を行うことにより、エッジ成分の影響を軽減させること等を特徴とする、撮像システムが開示されている（特許文献１）。

この方法は、「エッジ情報」、すなわち、加工対象となる画像において、例えば輪郭を形成するような画像信号の変化が大きい部分に着目して、ノイズを除去する。上記文献において、画像分離のアルゴリズムとして言及される「TV (Total Variation) ノルム」（以下、本明細書では「ＴＶ法」という。）も、変分法の一種であると考えられる。

ＴＶ法は、入力画像を主に２つの成分、すなわち一様な輝度領域及び輪郭で構成される骨格成分と、テクスチャや雑音に相当する振動成分（ノイズ成分）から構成されるというモデルに基づいてエネルギー汎関数を定義し、その最小化問題の解を求めることによって、加工画像信号からノイズやテクスチャなどの振動成分を分離する手法であり、そのモデルの一つとしてＡ２ＢＣ（Aujol-Aubert-Blanc-Feraud-Chambolle）モデルが挙げられる（非特許文献１）。

特開２００８−１２４７６４号公報 Aujol,Guy Gilboa,Tony Chan&Stanley Osher著、 「Structure-Texture Image Decomposition-Modeling,Algorithms,andParameter Selection」、 UCLA,Departement of Mathematics,Los Angeles,California 90095

加工画像を再生した際に生じるノイズの主な原因の一つは、圧縮の際に画像を「ブロック」とよばれる複数の画素単位に小分割して、各々のブロックで独立に量子化すなわち情報量の間引きがなされることに起因している。

例えば、ＪＰＥＧ画像では、画像を「縦横８ピクセル四方の正方形」のブロックに分割し、各ブロックに対して離散コサイン変換を行うことで、ブロック内の各画素の輝度値の平均を表す直流成分と、輝度値の変化量を表す交流成分とに分離する。そして、一般に影響の少ない交流成分を強く間引く処理を行うことで、データの圧縮を実現している。

そのため、ＪＰＥＧ画像を再生すると、画素の輝度値などがブロック単位で間引かれているため、量子化誤差に起因した「ブロックノイズ」や「モスキートノイズ」と呼ばれる非可逆圧縮画像に特有のノイズが生じる。ここで、「ブロックノイズ」とは、各ブロックの境界部分で輝度値等の連続性が失われ、画像の一部領域がモザイク状に見えるノイズをいう。また、「モスキートノイズ」とは、エッジ情報や色の変化の激しい部分で構成の連続性の情報が欠落し、蚊の大群がまとわり付いたように見えるノイズをいう。

本発明は、上記に鑑みてなされたものであり、加工画像の復元工程において、ブロックノイズやモスキートノイズを効果的に除去し、加工画像の画質を改善することができる画像処理方法及びコンピュータプログラムを提供することを目的とする。

本発明に係る画像処理方法は、大きく分けて５つの処理方法を提供する。本発明に係る第１の発明は、コンピュータにより加工画像からノイズを分離する画像処理方法であり、第２の発明は、コンピュータにより加工画像からノイズを、特にブロックノイズを分離する画像処理方法であり、第３乃至５の発明は、コンピュータにより加工画像からブロックノイズとモスキートノイズとを分離する画像処理方法である。

第１の発明は、以下の手順からなる。まず、加工画像を閉領域β（ｘ，ｙ）に複数区画する（Ｓ１）。この閉領域βは複数の画素からなる演算対象領域であり、各閉領域βは重複せずに隙間無く隣接している。次に、各閉領域毎に輝度の相加平均値を中心とするデータの広がりの「指標σ_m」を算出する（Ｓ２）。次に、この「指標σ_m」を基に、予めノイズの条件に応じて設けられた分散値と基準の分離係数の分布の関係から閉領域内の「各画素の基準の分離係数μ₀」と、予めノイズの条件に応じて設けられた分散値と分離強度の分布の関係より閉領域内の「各画素の分離強度χ」とを決定し、この「各画素の基準の分離係数μ₀」と「各画素の分離強度χ」とに基づいて閉領域内の「各画素の分離係数μ」を算出する。同様にして他領域の全画素に対しても分離係数μを算出する（Ｓ３）。次に、この「各画素の分離係数μ」を適用した変分法により、例えば、Ａ２ＢＣモデルを用いて、加工画像を一様な輝度領域と輪郭で構成される骨格成分（以下、ノイズ低減画像という。）と、テクスチャや雑音に相当する振動成分（以下ノイズという。）と、差分成分とに分離する（Ｓ４）。

閉領域において輝度の相加平均値を中心とするデータの広がりの指標σ_mは、閉領域の輝度の分散値や下記式１で示される一次モーメントσ_１、二次モーメントσ_２及びキュムラントσ_４を含むｍ次モーメントσ_ｍ（但し、ｍは２以上の整数）等であっても良い。

（式１）

但し、Ｉ_i,jは領域内の座標（i,j）の輝度値、Ｉ_Ｍは領域内の輝度値の相加平均、nは領域内の画素数である。

第１の発明では、各閉領域の「輝度の相加平均値を中心とするデータの広がりの指標σ_ｍ」を基に除去したいノイズの条件に応じて各画素の分離係数μを求め、その分離係数μを用いた変分法により効果的に加工画像からノイズを分離し加工画像の画質を改善することができる。

第２の発明は、、以下の手順からなる。まず第１の発明と同様にして加工画像を閉領域β（ｘ，ｙ）に複数区画する（Ｓ１ａ）。次に、各閉領域毎に輝度の分散値σを算出する（Ｓ２ａ）。閉領域の輝度の「分散値σ」とは、閉領域内の全ての画素に対して閉領域の輝度値の相加平均と閉領域内の各画素の輝度値との差を二乗した総和を算出し、その総和を閉領域内の画素数ｎで割った商である。次に、この「分散値σ」を基に、予めノイズの条件に応じて設けられた分散値と基準の分離係数の分布の関係から閉領域内の「各画素の基準の分離係数μ₀」と、予めノイズの条件に応じて設けられた分散値と分離強度の分布の関係より閉領域内の「各画素の分離強度χ」とを決定し、この「各画素の基準の分離係数μ₀」と「各画素の分離強度χ」との積からなる閉領域内の「各画素の分離係数μ」を算出する。同様にして他領域の全画素に対しても分離係数μを求め（Ｓ３ａ）、第１の発明と同様にして加工画像からノイズを分離する（Ｓ４ａ）。

第２の発明では、各閉領域の分散値σから除去したいノイズの条件に応じて各画素の分離係数μを求め、その分離係数μを用いた変分法により効果的に加工画像からノイズを分離し加工画像の画質を改善することができる。特に、閉領域内の基準の分離係数の分布パターンを同心円状とし、閉領域内の各画素の分離強度の値を全て同一とした場合、その閉領域内の外周部分のノイズを重点的に分離することができ、ブロックノイズを効果的に分離することができる。

第３の発明は、以下の手順からなる。まず第２の発明と同様にして各領域の輝度の分散値σを求め（Ｓ１ｂ及びＳ２ｂ）、その分散値σを基に下記式２で各画素の補間後の分散値σ'を求める。次に、各領域において補間後の分散値σ'を基に予め設けられた各画素の基準の分離係数μ₀と予め設けられた各画素の分離強度χとを求め、その分離係数μ₀と分離強度χとを乗算することにより各領域内の各画素の分離係数μを算出する。同様にして加工画像の全画素において分離係数μを求め（Ｓ３ｂ）、第１の発明と同様にして加工画像からノイズを分離する（Ｓ４ｂ）。

（式２）

但し、i＝1，・・・，ｎであって、iは各領域の番号を示し、ｎは補間対象画素の領域とその周囲の領域の数の総和、cは補間対象画素の領域の番号、
ｘ、ｙ：補間対象画素の座標、
ｘ_i、ｙ_i：領域iの中心座標、
ｄ_i：補間対象画素と領域iの中心（ｘ_i、ｙ_i）との距離、
σ'：補間対象画素の補間後の分散値、
σ_i：領域iの分散値

第３の発明では、各画素の補間後の分散値σ'を補間対象画素を中心とする閉領域β（ｘ，ｙ）と同じ大きさ及び形状の計算領域γ（ｘ，ｙ）の輝度の分散値としても良く、さらに、各画素毎に上記式１と計算領域γ（ｘ，ｙ）の輝度の分散値を複合して用いても良い。

第３の発明では、各画素の分離係数μの分布を周囲領域の分散値σに応じてなだらかにし、加工画像から効果的にモスキートノイズを分離して、加工画像の画質を改善することができる。特に、分散値に応じて閉領域内の基準の分離係数の分布パターンを同心円状とした場合、画像への影響が軽微なままブロックノイズとモスキートノイズとを効果的に分離することができる。

第４の発明は、以下の手順からなる。まず第２の発明と同様にして各領域の輝度の分散値σを求め（Ｓ１ｃ及びＳ２ｃ）。次に、各領域においてその分散値σを基に予め設けられた各画素の基準の分離係数μ₀と予め設けられた各画素の分離強度χとを求め、その分離係数μ₀と分離強度χとを乗算することにより各画素の補間前の分離係数μ’を求める。次に、その補間前の分離係数μ’を基に下記式３で各領域内の各画素の分離係数μを算出する。同様にして加工画像の全画素において分離係数μを求め（Ｓ３ｃ）、第１の発明と同様にして加工画像からノイズを分離する（Ｓ４ｃ）。

（式３）

但し、i＝1，・・・，ｎであって、iは各領域の番号を示し、ｎは補間対象画素の領域とその周囲の領域の数の総和、cは補間対象画素の領域の番号、
ｘ、ｙ：補間対象画素の座標、
ｘ_i、ｙ_i：領域iの中心座標、
ｄ_i：補間対象画素と領域iの中心（ｘ_i、ｙ_i）との距離、
μ：補間対象画素の補間後の分離係数、
μ_i’：補間対象画素と同位相である領域iの補間前の分離係数

第４の発明では、各画素の分離係数の分布を周囲領域の同位相の分離係数に応じてなだらかにし、加工画像から効果的にモスキートノイズを分離して、加工画像の画質を改善することができる。特に、分散値に応じて閉領域内の基準の分離係数の分布パターンを同心円状とした場合、画像への影響が軽微なままブロックノイズとモスキートノイズとを効果的に分離することができる。

第５の発明は、以下の手順からなる。まず第２の発明と同様にして各領域の輝度の分散値σを求め（Ｓ１ｄ及びＳ２ｄ）。その分散値σを基に前記式２で各画素の補間後の分散値σ'を求める。次に、補間後の分散値σ'を基に予め設けられた各画素の基準の分離係数μ₀と予め設けられた各画素の分離強度χとを求め、分離係数μ₀と分離強度χとを乗算することにより各画素の補間前の分離係数μ'を求める。次に、補間前の分離係数μ’を基に前記式３で各領域内の各画素の分離係数μを求める。同様にして加工画像の全画素において分離係数μを求め（Ｓ３ｄ）、第１の発明と同様にして加工画像からノイズを分離する（Ｓ４ｄ）。

第５の発明では、第２の発明と同様に各画素の補間後の分散値σ'を補間対象画素を中心とする閉領域β（ｘ，ｙ）と同じ大きさ及び形状の計算領域γ（ｘ，ｙ）の輝度の分散値としても良く、さらに、各画素毎に上記式１と計算領域γ（ｘ，ｙ）の輝度の分散値を複合して用いても良い

第５の発明では、各画素の分離係数の分布を第３及び第４の発明よりもよりなだらかにし、加工画像から効果的にモスキートノイズを分離して、加工画像の画質を改善することができる。特に、分散値に応じて閉領域内の基準の分離係数の分布パターンを同心円状とした場合、画像への影響が軽微なままブロックノイズとモスキートノイズとを効果的に分離することができる。

上記の方法は、コンピュータに実行させるコンピュータプログラムによって実現することができる。また上記コンピュータ及びプログラムをデジタルカメラ、デジタルテレビその他デジタル画像を表示する機器に実装することもできる。

本発明に係る画像処理方法によると、ブロックノイズとモスキートノイズを効果的に除去し、加工画像の画質を改善することができる。

図１は、本発明に係る画像処理方法の一般的な処理の流れを示すフローチャートである。 図２は、本発明の第１の実施形態に係る画像処理方法の処理の流れを示すフローチャートである。 図３（ａ）は、JPEG画像の分割を示す図であり、図３（ｂ）は、図３（ａ）のＰの領域を拡大した図である。 図４は、ある領域の各画素に対して分離強度の分布を設定した一例である。 図５は、本発明の第２の実施形態に係る画像処理方法の処理の流れを示すフローチャートである。 図６は、ある領域内の補間対象画素から周囲の領域の中心までの距離を示す図である。 図７は、分散値と分離強度の関係の概要を示す図である。 図８は、分散値と基準の分離係数の関係の一例を示す図である。 図９は、質感重視の分散値と分離強度の関係の一例を示す図である。 図１０は、ノイズ除去重視の分散値と分離強度の関係の一例を示す図である。 図１１は、補間対象画素を中心とする領域を説明する図である。 図１２は、本発明の第３の実施形態に係る画像処理方法の処理の流れを示すフローチャートである。 図１３は、ある領域内の補間対象画素から周囲の領域の中心までの距離と補間対象画素と同位相の画素を示す図である。 図１４は、本発明の第４の実施形態に係る画像処理方法の処理の流れを示すフローチャートである。 図１５は、標準テストイメージのＬｅｎｎａ画像（グレースケール、２５６×２５６画素）をJPEG圧縮し、そのノイズ低減効果を示した棒グラフを示す図である。 図１６は、本発明の第５の実施形態における画像処理装置の構成を示すブロック図である。

図１は、本発明に係る画像処理方法の一般的な処理の流れを示すフローチャートである。図１では、まずノイズ低減対象である加工画像の領域を分割し（Ｓ１）、次に、各領域の輝度の相加平均値を中心とするデータの広がりの指標を求め（Ｓ２）、次に、その指標から各画素の分離係数を求め（Ｓ３）、次に、その分離係数をＡ２ＢＣモデル等の変分法に適用して、加工画像をノイズ低減画像とノイズ成分と差分成分とに分離する（Ｓ４）処理の流れを示している。

本発明に係る画像処理方法は、加工画像の各領域の「輝度の相加平均値を中心とするデータの広がりの指標」から各画素の「分離係数」を求め、この分離係数を適用した変分法によりノイズを加工画像から分離する。ここで、「分離係数」とは、加工画像からノイズを分離させる度合いを調節する重み係数である。本発明の技術的思想の最も重要な部分は、Ａ２ＢＣモデル等の変分法によってブロックノイズやモスキートノイズを効果的に分離するために、各領域の「輝度の相加平均値を中心とするデータの広がりの指標」から各画素の最適な分離係数を求めることにある。以下に、各領域の「輝度の相加平均値を中心とするデータの広がりの指標」の一つである分散値を用いて、ブロックノイズ及びモスキートノイズの低減処理について説明する。なお、本発明の技術的思想の範囲と解される限りにおいて、いかなる意味においても以下の実施形態により制限的に解釈されるものではなく、各領域の「輝度の相加平均値を中心とするデータの広がりの指標」として分散値の替わりに前記式１のｍ次モーメントσ_ｍ（ｍ＝１，２，３，・・・）を使用することもできる。

（第１の実施形態）−ブロックノイズの低減処理について−
図２は、本発明の第１の実施形態に係る画像処理方法の処理の流れを示すフローチャートである。図２では、まずノイズ低減対象である加工画像の領域を分割し（Ｓ１ａ）、次に、各領域の輝度の分散値を求め（Ｓ２ａ）、次に、その分散値から各画素の分離係数を求め（Ｓ３ａ）、次に、その分離係数をＡ２ＢＣモデルの変分法に適用して、加工画像をノイズ低減画像とノイズ成分と差分成分とに分離する（Ｓ４ａ）処理の流れを示している。

以下に図２におけるＳ１ａ乃至Ｓ４ａについて説明する。
Ｓ１ａ．加工画像の領域分割
最初のＳ１ａでは、加工画像を各領域に分割する。この分割では、加工画像の種類などによって様々の領域に分割可能であるが、特に加工画像をJPEG画像とする場合、各領域を縦横８ピクセル四方の正方形で隙間無く、隣接するように区画することが好ましい。

図３（ａ）は、JPEG画像の分割を示す図であり、図３（ｂ）は、図３（ａ）のＰの領域を拡大した図である。図３（ａ）では、JPEG画像１の全体を正方形の領域３を一単位として隙間無く、隣接するよう区画し分割している。図３（ｂ）では、図３（ａ）のＢ行ｂ列、Ｂ行ｃ列、Ｃ行ｂ列及びＣ行ｃ列に相当する各領域３が図示され、この各領域３は縦横８ピクセルの正方形である画素２でそれぞれ構成されている。

Ｓ２ａ．輝度の分散値算出
Ｓ２ａでは、Ｓ１ａで分割した各領域毎に輝度の分散値σを算出する。各領域の輝度の分散値σは下記式４により表される。

（式４）

但し、Ｉ_i,jは領域内の座標（i,j）の輝度値、Ｉ_Ｍは領域内の輝度値の相加平均、nは領域内の画素数である。

一般に、この輝度の分散値σは、複雑な模様の画像領域ほど大きくなり、均一な模様ほど小さくなる。例えば、細かな風景や人物を撮影したデジタル写真画像では分散値σが大きく、単色で変化の少ないＣＧ（コンピュータグラフィックス）画像などでは分散値が小さくなる。

Ｓ３ａ．分離係数の算出
Ｓ３ａでは、Ｓ２ａで算出された各領域毎の分散値σに基づいて各画素の分離係数μを求める。具体的には、例えば、分離除去したいノイズとＳ２ａで算出された各領域の輝度の分散値σとから、各領域の「基準の分離係数μ₀」の分布パターン、例えば、「均一」状或いは「同心円」状などと、各領域の「分離強度χ」の分布パターン、例えば、「均一」或いは「各画素の分散値等を含む種々のパラメータにより表される分離強度の分布」を決定する。そして、「基準の分離係数μ₀」の分布パターンと「分離強度χ」の分布パターンから、対応する画素の「基準の分離係数μ₀」と「分離強度χ」とを乗算し、領域内の各画素の「分離係数μ」を求める。例えば、ある領域のブロックノイズを分離する場合、その領域の「分離強度χ」の分布パターンが「χ＝const（定数）として一様に分布」していると考えると、その領域の「基準の分離係数μ₀」の分布パターンは「同心円」状が好ましく、その領域内の各画素の分離係数μは、「基準の分離係数μ₀」の分布パターンと同じ「同心円」状となる。Ｓ３ａでは、同様の処理を加工画像の全領域で行い、全画素の分離係数μを求める。この分離係数μによって、各画素毎にノイズを調節して分離することが可能となる。なお、この「基準の分離係数μ₀」の分布パターンと「分離強度χ」の分布パターンは、分離除去したいノイズや目的、例えば、「ブロックノイズ」、「質感重視」或いは「ノイズ除去重視」等に応じて予め準備しておくことが好ましい。

本発明では、各画素の分離強度χとは、例えば、各画素毎において「基準の分離係数μ₀」と「分離係数μ」との比率をいう。よって、各画素の分離係数μは、対象画素の「基準の分離係数μ₀」と対象画素の「分離強度χ」の積、つまり、μ＝μ₀・χで表される。しかし、この式は一例であり、各画素の分離係数μは対象画素の「基準の分離係数μ₀」と対象画素の「分離強度χ」に基づいて関係づけられていれば良い。したがって、以下、μ＝μ₀・χの関係に基づいて説明するが、いかなる意味においても以下の実施形態においてμ＝μ₀・χの関係に制限的に解釈されるものではない。この「基準の分離係数μ₀」及び「分離強度χ」は同じ領域内であっても各画素毎に異なっていても良く、各領域毎に予め除去したいノイズや目的などと分散値に応じて「基準の分離係数μ₀」の分布パターンと「分離強度χ」の分布パターンを複数準備しておくことが好ましい。これにより、効率良く柔軟に各画素の分離係数μを調整して求めることができる。ここで、一般的にこの「分離強度χ」を考慮しない場合、すなわち、ある領域内の全ての画素で「分離強度χ」の値が１をとる場合、その領域内の各画素の「分離係数μ」は各画素の「基準の分離係数μ₀」と同じになる。逆に「基準の分離係数μ₀」を考慮しない場合、すなわち、ある領域内の全ての画素で「基準の分離係数μ₀」の値が１をとる場合、その領域内の各画素の「分離係数μ」は各画素の「分離強度χ」と同じになる。また、この「基準の分離係数μ₀」及び「分離強度χ」は、除去したいノイズや目的に合わせて分散値の式でそれぞれ定義することもできる。さらに、この「基準の分離係数μ₀」及び「分離強度χ」は、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換などを含む周波数成分、「エントロピー」や「濃度共起行列」などによって定義することもできる。なお、

図４は、ある領域の各画素に対して同心円状に分離強度の分布を設定した一例である。図４では、JPEG画像１の縦横８ピクセルの画素２からなる或る領域３を図示し、分離強度の強さが同じ部分を同心円で示している。この領域において基準となる分離係数の値を１とした場合、外周部において分離強度を強く設定してノイズの分離を大きくし、中心部に近づくに従って分離強度を弱く設定してノイズの分離を小さくしている。このように、領域の境界のノイズを大きく分離することより、ブロックノイズが加工画像から除去されることになる。したがって、ブロックノイズを除去する場合、図４のような同心円状の分離強度の分布パターンまたは基準となる分離係数の分布パターンを予め用意しておくことが好ましい。また、同心円状に分離強度の分布を設定すると、ブロックノイズやモスキートノイズと同様に加工画像のノイズであるブロック歪み、すなわち、輪郭などが角張る現象を滑らかにすることができる。

Ｓ４ａ．加工画像の分離処理
Ｓ４ａでは、Ｓ３ａで求めた各画素の分離係数μを、TV法の一例として挙げられるＡ２ＢＣモデルの変分法に適用し、加工画像をノイズ低減画像、ノイズ及び差分成分に分離する。

Ａ２ＢＣモデルの変分法では、ｆを加工画像、uをノイズ低減画像、vをノイズ、f-u-vを差分成分、αを差分成分f-u-vの重み係数、μをノイズvの重み係数、すなわち分離係数とすると、加工画像fは、下記式５を満たすu、v及びf-u-vに分離することができる。

（式５）

但し、J（u）及びＪ^＊（v）は、（式６）及び（式７）で示される。

（式６）

（式７）

Ａ２ＢＣモデルでは、差分成分f-u-vはαの値、ノイズvはμの値によって、加工画像ｆから分離する程度をそれぞれ調節することができる。本発明では、ノイズ低減画像u及びノイズvのどちらにも関与しない差分成分f-u-vを考慮せず、効率良くノイズの分離処理を行うため、αは予め適当な値を設定しておくことが好ましい。

本発明の第１の実施形態では、ノイズや目的によって最適な分離係数を効率良く求め、加工画像からノイズを効果的に分離することができる。特に、分離係数の分布パターンを領域の外周部で強く分離するように同心円状にすることで、効果的にブロックノイズを加工画像から分離することができる。

（第２の実施形態）−拡大処理によるモスキートノイズの低減処理について−
図５は、本発明の第２の実施形態に係る画像処理方法の処理の流れを示すフローチャートである。図５では、まずノイズ低減対象である加工画像の領域を分割し（Ｓ１ｂ）、次に、各領域の輝度の分散値を求め（Ｓ２ｂ）、次に、その分散値を補間し、補間後の分散値から各画素の分離係数を求め（Ｓ３ｂ）、次に、その分離係数をＡ２ＢＣモデルの変分法に適用して、加工画像をノイズ低減画像とノイズと差分成分とに分離する（Ｓ４ｂ）処理の流れを示している。

第２の実施形態では、加工画像を各領域に分割して各領域の輝度の分散値を求める処理（Ｓ１ｂ及びＳ２ｂ）と、加工画像をノイズ低減画像とノイズ成分と差分成分とに分離する処理（Ｓ４ｂ）が第１の実施形態と同じ処理である。したがって、以下に図５における分散値の補間後分離係数の算出（Ｓ３ｂ）について説明する。

Ｓ３ｂ．分散値の補間後分離係数の算出
Ｓ３ｂは、各領域の分散値σを各画素に補間する処理（以下、拡大処理という。）である。各領域間の輝度の分散値σが大きく異なると、その差が新たなノイズの原因となり、モスキートノイズを効果的に分離することができない。このため、この拡大処理により各画素に対してノイズに関する情報を付与する。

Ｓ３ｂでは、Ｓ２ｂで算出された各領域の分散値σから前記式２の補間により各画素の「分散値σ’」を算出する。そして、「分散値σ’」と予めノイズの条件や目的に応じて設けられた分散値と基準の分離係数の分布の関係とから領域内の各画素の「基準の分離係数μ₀」を求め、各画素の「分散値σ’」と予めノイズの条件に応じて設けられた分散値と分離強度の分布の関係とから領域内の各画素の「分離強度χ」を決定し、この各画素の「基準の分離係数μ_０」と各画素の「分離強度χ」との積からなる領域内の各画素の分離係数μを算出する。Ｓ３ｂでは、同様の処理を加工画像の全領域で行い、全画素の分離係数μを求める。

図６は、ある領域内の補間対象画素から周囲の領域の中心までの距離を示す図である。前記式１では、補間対象領域とその周囲各領域の境界付近において各画素の分散値の分布がなだらかになるように、図６に示す各距離ｄ_i、i＝1,2・・・,9に反比例する重み付けを行い、各領域の分散値σから補間対象領域内の各画素に分散値を補間している。この拡大処理は一例であり、「バイリニア補間」、「バイキュ−ビック補間」、「スプライン補間」、「ランチェス補間」などを含む一般の画像拡大のアルゴリズムも適用できる。本発明では、この拡大処理された分散値σ’と除去したいノイズや目的によって予め設けられた分散値と分離強度χの関係式などから各領域の分離強度の分布を算出する。

ここで、基準の分離係数の分布を均一として各領域の輝度の分散値σと分離強度χとの関係を検討する。分散値σが大きい領域では、模様などが複雑に存在している画像であって、ノイズの分離を大きくすると、その領域の画像がぼけてしまう。このため、その領域全体の分離強度χを弱めに設定する必要がある。また、分散値σが小さい領域では、模様などが少ない画像であり、ノイズの分離を比較的大きくすることができるため、その領域全体の分離強度χを強めに設定することができる。しかし、これらの分離強度χの分布で加工画像をノイズ低減画像とノイズに分離した場合、芝生などのざらざらとした感じやフィルムの質感などの微小なテクスチャやエッジの情報も同様にノイズ低減画像から失われることがある。したがって、ノイズ低減画像の質感を重視する場合、分散値σが小さい領域では、分離強度χを上記の設定よりもさらに弱めに設定することが好ましく、ノイズ低減画像の質感とノイズの分離の程度をこの分離強度χの分布によって調節することができる。

図７は、分散値と分離強度の関係の概要を示す図である。このような分散値と分離強度の関係は複数のパターン存在し、除去したいノイズや目的によって予め最適なパターンを準備することにより、より効率良く効果的に加工画像からノイズを分離することができる。図７では、ノイズ低減画像の質感を重視する場合、破線で図示された線上、つまり、分散値σがσ_０以上σ_ｐ未満の範囲であって分離強度χがχ₀以上ｐｅａｋ未満の範囲であれば良いことがわかる。また、加工画像のノイズを強く分離したい場合、分散値σはσ_ｐであって分離強度ｘがpeakであるようにすれば良いことがわかる。

図８は、分散値と基準の分離係数の関係の一例を示す図である。
図８では、JPEG画像の或る領域３を図示し、この領域３の分散値σが小さい場合、基準の分離係数の分布を均一状にし、分散値σが大きい場合、基準の分離係数の分布を同心円状にすることを示している。ここで、この基準の分離係数の分布は、予め複数のパターン設けて分散値σの或る閾値や一定間隔毎に切り換えることや関数化もでき、効率良く柔軟に分離係数μを調節することができる。

図９は、質感重視の分散値と分離強度の関係の一例を示す図である。図９では、分離強度χのclipの値によりノイズ低減画像の細部の平滑度を制御している。また、分散値σが閾値σ_thresholdを境に基準の分離係数の分布を分散値σの小さい側の均一状の分布から分散値σの大きい側の同心円状の分布に切り換えている。

図１０は、ノイズ除去重視の分散値と分離強度の関係の一例を示す図である。図１０では、分散値σがσ_ｐ以下の範囲で分離強度χを最大のｐｅａｋにしノイズの分離を大きくしている。また、分散値σを基に下記式８で基準の分離係数の分布を求める。図１０によって算出される分離強度の分布は、JPEGなどの圧縮画像に対して強調処理をして目立ったノイズを除去する、例えば、ある注目画像をぼかさずにその背景のノイズだけを強力に除去する場合に有効である。

（式８）

但し、i＝1，・・・，ｎであって、iは補間に用いる画素の番号を示し、ｎは補間に用いる画素の数、
ｘ、ｙ：対象画素の座標、
ｘ_i、ｙ_i：補間に用いる画素ｉの座標、
ｄ_i：対象画素の座標と補間に用いる画素ｉの座標との距離、
ａ_i：補間に用いる画素ｉの座標に対応する変数、
μ₀：対象画素（ｘ，ｙ）の基準の分離係数

図１０では、（２）の式と（３）の式が閾値σ_thresholdで不連続であるため、ノイズ除去に影響を及びす。したがって、下記式９により図１０の（２）の式で用いられる変数ａ_ｉを調整することによって各領域で閾値σ_threshold の不連続部分を目立たなくし、不連続部分の影響を小さくしている。

（式９）

但し、i＝1，・・・，ｎであって、iは補間に用いる画素の番号を示し、ｎは補間に用いる画素の数、
ｘ、ｙ：対象画素の座標、
ｘ_i、ｙ_i：補間に用いる画素ｉの座標、
ｄ_i：対象画素の座標と補間に用いる画素ｉの座標との距離、
ｂ_i：補間に用いる画素ｉの座標に対応する変数

Ｓ３ｂでは、Ｓ１ｂで分割した領域と同じ大きさ及び同じ形状であって、補間対象画素を中心とする領域の輝度の分散値を求め、その分散値をその補間対象画素の分散値σ’としても良い。この分散値を逐次求めることによって、各画素の分散値の補間ができる。さらに、各画素の分散値の補間では、各画素毎にこの補間対象画素を中心とする領域から求められる輝度の分散値と前記式２との分散値を複合して用いても良い。

図１１は、補間対象画素を中心とする領域を説明する図である。図１１では、領域３で分割されたＪＰＥＧ画像１のある一部を示し、補間対象画素Ｔを中心とし、複数の画素２からなる領域４が示されている。ここで、領域４は領域３と同じ大きさでかつ同じ形状の領域である。Ｓ３ｂでは、この領域４において輝度の分散値を求め、画素Ｔの分散値、つまり、画素Ｔの補間後の分散値σ’としても良い。ここで、各領域３及び各領域４の中心画素は、領域内の画素数が偶数等で一つに特定できない場合、各領域内で中心部分の一つの画素を各領域の中心画素として特定しており、その中心画素は各領域で相対的に同じ位置となっている。

本発明の第２の実施形態では、拡大処理することによって、効果的にモスキートノイズを分離することができる。特に分散値に応じて基準の分離係数の分布パターンを領域の外周部で強く分離するように同心円状にすると、画像への影響が軽微なまま効果的にブロックノイズとモスキートノイズを加工画像から分離することができる。

（第３の実施形態）−加重平均処理によるモスキートノイズの低減処理について−
図１２は、本発明の第３の実施形態に係る画像処理方法の処理の流れを示すフローチャートである。図１２では、まずノイズ低減対象である加工画像の領域を分割し（Ｓ１ｃ）、次に、各領域の輝度の分散値を求め（Ｓ２ｃ）、次に、その分散値から各画素の補間後の分離係数を求め（Ｓ３ｃ）、次に、その分離係数をＡ２ＢＣモデルの変分法に適用して、加工画像をノイズ低減画像とノイズと差分成分とに分離する（Ｓ４ｃ）処理の流れを示している。

第３の実施形態では、加工画像を各領域に分割して各領域の輝度の分散値を求める処理（Ｓ１ｃ及びＳ２ｃ）と、加工画像をノイズ低減画像とノイズ成分と差分成分とに分離する処理（Ｓ４ｃ）が第１の実施形態と同じ処理である。したがって、以下に図１２における補間された分離係数の算出（Ｓ３ｃ）について説明する。

Ｓ３ｃ．補間された分離係数の算出
Ｓ３ｃは、各画素の分離係数を補間する処理（以下、加重平均処理という。）である。各領域間の分離係数μが大きく異なると、その差が新たなノイズの原因となり、モスキートノイズを効果的に分離することができない。このため、この加重平均処理により各領域間の分離係数の分布をなだらかにする。

Ｓ３ｃでは、Ｓ２ｃで算出された各領域の分散値σと予めノイズの条件に応じて設けられた分散値と基準の分離係数の分布の関係とから領域内の各画素の「基準の分離係数μ₀」を決定し、分散値σと予めノイズの条件に応じて設けられた分散値と分離強度の分布の関係とから領域内の各画素の「分離強度χ」を決定する。この「基準の分離係数μ₀」と各画素の「分離強度χ」との積からなる領域内の各画素の「分離係数μ’」を前記式３の補間によって各画素の「分離係数μ」を算出する。また、Ｓ３ｃでは、上記処理を加工画像の全領域に対して行い、全画素の分離係数μを算出する。

図１３は、ある領域内の補間対象画素から周囲の領域の中心までの距離と補間対象画素と同位相の画素を示す図である。前記式３では、補間対象領域とその周囲各領域の境界付近において各画素の分離係数μの分布がなだらかになるように、図１３に示す各距離に反比例する重み付けを各同位相の分離係数に行い、補間対象領域内の各画素の分離係数を補間している。ここで、同位相の画素とは、各領域の中心から相対的に同じ位置に有る、すなわち、各領域の中心から同じ距離でかつ同じ方向に有る画素をいう。

本発明の第３の実施形態では、加重平均処理することによって、効果的にモスキートノイズを分離することができる。特に分散値に応じて基準の分離係数の分布パターンを領域の外周部で強く分離するように同心円状にすると、画像への影響が軽微なまま効果的にブロックノイズとモスキートノイズを加工画像から分離することができる。

（第４の実施形態）−拡大処理及び加重平均処理によるモスキートノイズの低減処理について−
図１４は、本発明の第４の実施形態に係る画像処理方法の処理の流れを示すフローチャートである。図１４では、まずノイズ低減対象である加工画像の領域を分割し（Ｓ１ｄ）、次に、各領域の輝度の分散値を求め（Ｓ２ｄ）、次に、その分散値を補間し、その補間後の分散値から各画素の補間後の分離係数を求め（Ｓ３ｄ）、次に、その分離係数をＡ２ＢＣモデルの変分法に適用して、加工画像をノイズ低減画像とノイズ成分と差分成分とに分離する（Ｓ４ｄ）処理の流れを示している。

第４の実施形態では、加工画像を各領域に分割して各領域の輝度の分散値を求める処理（Ｓ１ｄ及びＳ２ｄ）と、加工画像をノイズ低減画像とノイズ成分と差分成分とに分離する処理（Ｓ４ｄ）が第１の実施形態と同じ処理である。したがって、以下に図１４における分散値の補間後補間された分離係数の算出（Ｓ３ｄ）について説明する。

Ｓ３ｄ．分散値の補間後補間された分離係数の算出
Ｓ３ｄは、Ｓ３ｂとＳ３ｃとを合わせた処理、すなわち、拡大処理と加重平均処理との複合処理である。Ｓ３ｄでは、Ｓ２ｄで算出された各領域の分散値σを拡大処理することにより各画素の分散値σ’を算出し、その分散値σ’と予めノイズの条件に応じて設けられた分散値と分離強度の分布の関係とから領域内の各画素の「分離強度χ」を決定する。そして、分散値σ’を基に予めノイズの条件に応じて設けられた分散値と基準の分離係数の分布の関係から領域内の各画素の「基準の分離係数μ₀」を決定し、この各画素の「分離強度χ」と各画素の「基準の分離係数μ₀」との積からなる領域内の各画素の「分離係数μ’」を加重平均処理することにより各画素の「分離係数μ」を算出する。Ｓ３ｄでは、上記処理を加工画像の全領域に対して行い、全画素の分離係数μを算出する。

本発明の第４の実施形態では、拡大処理及び加重平均処理することによって、効果的にモスキートノイズを分離することができる。特に分散値に応じて基準の分離係数の分布パターンを領域の外周部で強く分離するように同心円状にすると、画像への影響の軽微なまま効果的にブロックノイズとモスキートノイズを加工画像から分離することができる。

図１５は、標準テストイメージのＬｅｎｎａ画像（グレースケール、２５６×２５６画素）をJPEG圧縮し、そのノイズ低減効果を示した棒グラフを示す図である。画像の信号と混入したノイズとの比率PSNR（Peak Signal-to-Noise Ratio）では、その値が高いほど画質が良いとされ、図１５では、本発明の加工画像のノイズ低減処理によってノイズを有効に除去していることがわかる。また、棒グラフＢでは本発明の第１の実施形態によってブロックノイズの除去の効果を示し、棒グラフＣでは本発明の第２乃至４の実施形態によってブロックノイズとモスキートノイズとの除去の効果を示しており、拡大処理及び加重平均処理によってノイズをより効果的に除去できていることがわかる。

（第５の実施形態）−画像処理用アプリケーションプログラムについて−
第５の実施形態は、パーソナルコンピュータ等のコンピュータ上で実行される画像処理用アプリケーションプログラムとして、本発明の画像処理方法を実現するコンピュータプログラムを提供する形態を示している。

図１６は、本発明の第５の実施形態における画像処理装置の構成を示すブロック図である。パーソナルコンピュータに本発明に係る各画像処理方法の各ステップを実行させるプログラムをインストールした画像処理装置２０は、装置全体を制御するＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）等の一時記憶手段２２、ハードディスクなどの記憶手段２３、記録媒体から各データを読み取る光学ディスクドライブ等の補助記憶手段２４、マウス及びキーボード等の入力手段２５、モニタやプリンタ等の出力手段２６を備えている。記録媒体に記録された本発明に係るコンピュータプログラムを記憶手段２３に読み取り、制御手段２１の制御により、オペレーティングシステム上で実行させることにより、パーソナルコンピュータは本発明に係る画像処理装置２０として動作する。

画像処理装置２０では、記憶手段２２に記憶させたコンピュータプログラムを制御手段２１の制御に基づいて図１、図２、図５、図１２及び図１４で説明した各ステップを実行することにより、記憶手段２３などに記憶している画像や外部とのインターフェース２７を通じて入力を受け付けた画像を入力画像に対し、画像処理を行い、出力手段２６から出力画像を出力する。

本発明は、加工画像にブロック分割やエッジの情報によるノイズを含む場合でも、画質の状況や目的に応じてノイズを除去することができ、コンピュータ画像を扱う業務、特に特定の部分などを抽出し画像解析処理する分野などの幅広い応用が期待される。従って、本発明の産業上利用可能性は極めて大きい。

１ JPEG画像
２ 画素（ピクセル）
３ 分割された領域
４ 補間対象画素Tを中心とし、領域３と同じ大きさで同じ形状の領域
２０ 本発明のプログラムをインストールした画像処理装置
２１ ＣＰＵ（Central Processing Unit）
２２ 一時記憶手段（ＲＡＭ）
２３ 記憶手段（ハードディスク）
２４ 補助記憶手段（光学ディスクドライブ等）
２５ 入力手段（マウス及びキーボード等）
２６ 出力手段（モニタやプリンタ等）
２７ 入出力インターフェース

Claims (6)

1. 加工画像に含まれる各画素のノイズを低減する画像処理方法において、
   加工画像を複数の画素からなる閉領域β（ｘ，ｙ）に、前記閉領域間を隣接させて隙間無く区画するステップ（Ｓ１）と、
   前記閉領域の輝度値の相加平均値を中心とするデータの広がりの指標（σ_m）を全閉領域において求めるステップ（Ｓ２）と、
   前記指標（σ_m）を基に予め設けられた各画素の基準の分離係数（μ₀）と予め設けられた各画素の分離強度（χ）とを求め、
   前記分離係数（μ₀）と前記分離強度（χ）とに基づいて分離係数（μ）を前記加工画像の全画素において求めるステップ（Ｓ３）と、
   前記加工画像に前記分離係数（μ）を適用し変分法によりノイズ低減画像及びノイズを分離するステップ（Ｓ４）と
   を具備することを特徴とする画像処理方法。
2. 加工画像に含まれる各画素のノイズを低減する画像処理方法において、
   加工画像を複数の画素からなる閉領域β（ｘ，ｙ）に、前記閉領域間を隣接させて隙間無く区画するステップ（Ｓ１ａ）と、
   前記閉領域の輝度値の相加平均と前記閉領域内の各画素の輝度値との差を二乗した総和を算出し、前記総和を前記閉領域内の画素数ｎで除算することにより前記閉領域の輝度の分散値（σ）を全閉領域において求めるステップ（Ｓ２ａ）と、
   前記分散値（σ）を基に予め設けられた各画素の基準の分離係数（μ₀）と予め設けられた各画素の分離強度（χ）とを求め、
   前記分離係数（μ₀）と前記分離強度（χ）とを乗算することにより分離係数（μ）を前記加工画像の全画素において求めるステップ（Ｓ３ａ）と、
   前記加工画像に前記分離係数（μ）を適用し変分法によりノイズ低減画像及びノイズを分離するステップ（Ｓ４ａ）と
   を具備することを特徴とする画像処理方法。
3. 加工画像に含まれる各画素のノイズを低減する画像処理方法において、
   加工画像を複数の画素からなる閉領域β（ｘ，ｙ）に、前記閉領域間を隣接させて隙間無く区画するステップ（Ｓ１ｂ）と、
   前記閉領域の輝度値の相加平均と前記閉領域内の各画素の輝度値との差を二乗した総和を算出し、前記総和を前記閉領域内の画素数ｎで除算することにより前記閉領域の輝度の分散値（σ）を全閉領域において求めるステップ（Ｓ２ｂ）と、
   前記分散値（σ）を基に下式２により、又は、
   補間対象画素を中心とする前記閉領域と同一の大きさ及び同一の形状の計算領域γ（ｘ，ｙ）を確保できる場合は、前記計算領域の輝度値の相加平均と前記計算領域内の各画素の輝度値との差を二乗した総和を算出し、前記総和を前記計算領域内の画素数ｎで除算した値を補間対象画素の分散値（σ'）とすることにより、又は、
   それらの複合により各画素の補間後の分散値（σ'）を求め、
   前記補間後の分散値（σ'）を基に予め設けられた各画素の基準の分離係数（μ₀）と予め設けられた各画素の分離強度（χ）とを求め、
   前記分離係数（μ₀）と前記分離強度（χ）とを乗算することにより分離係数（μ）を前記加工画像の全画素において求めるステップ（Ｓ３ｂ）と、
   前記加工画像に前記分離係数（μ）を適用し変分法によりノイズ低減画像及びノイズを分離するステップ（Ｓ４ｂ）と
   を具備することを特徴とする画像処理方法。
   （式２）
   

   

   
   但し、i＝1，・・・，ｎであって、iは各領域の番号を示し、ｎは補間対象画素の領域とその周囲の領域の数の総和、cは補間対象画素の領域の番号、
   ｘ、ｙ：補間対象画素の座標、
   ｘ_i、ｙ_i：領域iの中心座標、
   ｄ_i：補間対象画素と領域iの中心（ｘ_i、ｙ_i）との距離、
   σ'：補間対象画素の補間後の分散値、
   σ_i：領域iの分散値
4. 加工画像に含まれる各画素のノイズを低減する画像処理方法において、
   加工画像を複数の画素からなる閉領域β（ｘ，ｙ）に、前記閉領域間を隣接させて隙間無く区画するステップ（Ｓ１ｃ）と、
   前記閉領域の輝度値の相加平均と前記閉領域内の各画素の輝度値との差を二乗した総和を算出し、前記総和を前記閉領域内の画素数ｎで除算することにより前記閉領域の輝度の分散値（σ）を全閉領域において求めるステップ（Ｓ２ｃ）と、
   前記分散値（σ）を基に予め設けられた各画素の基準の分離係数（μ₀）と予め設けられた各画素の分離強度（χ）とを求め、
   前記分離係数（μ₀）と前記分離強度（χ）とを乗算することにより各画素の補間前の分離係数（μ’）を求め、
   前記補間前の分離係数（μ’）を基に下式３で分離係数（μ）を前記加工画像の全画素において求めるステップ（Ｓ３ｃ）と、
   前記加工画像に前記分離係数（μ）を適用し変分法によりノイズ低減画像及びノイズを分離するステップ（Ｓ４ｃ）と
   を具備することを特徴とする画像処理方法。
   （式３）
   

   

   
   但し、i＝1，・・・，ｎであって、iは各領域の番号を示し、ｎは補間対象画素の領域とその周囲の領域の数の総和、cは補間対象画素の領域の番号、
   ｘ、ｙ：補間対象画素の座標、
   ｘ_i、ｙ_i：領域iの中心座標、
   ｄ_i：補間対象画素と領域iの中心（ｘ_i、ｙ_i）との距離、
   μ：補間対象画素の補間後の分離係数、
   μ_i’：補間対象画素と同位相である領域iの補間前の分離係数
5. 加工画像に含まれる各画素のノイズを低減する画像処理方法において、
   加工画像を複数の画素からなる閉領域β（ｘ，ｙ）に、前記閉領域間を隣接させて隙間無く区画するステップ（Ｓ１ｄ）と、
   前記閉領域の輝度値の相加平均と前記閉領域内の各画素の輝度値との差を二乗した総和を算出し、前記総和を前記閉領域内の画素数ｎで除算することにより前記閉領域の輝度の分散値（σ）を全閉領域において求めるステップ（Ｓ２ｄ）と、
   前記分散値（σ）を基に前記式２により、又は、
   補間対象画素を中心とする前記閉領域と同一の大きさ及び同一の形状の計算領域γ（ｘ，ｙ）を確保できる場合は、前記計算領域の輝度値の相加平均と前記計算領域内の各画素の輝度値との差を二乗した総和を算出し、前記総和を前記計算領域内の画素数ｎで除算した値を補間対象画素の分散値（σ'）とすることにより、又は、
   それらの複合により各画素の補間後の分散値（σ'）を求め、
   前記補間後の分散値（σ'）を基に予め設けられた各画素の基準の分離係数（μ₀）と予め設けられた各画素の分離強度（χ）とを求め、
   前記分離係数（μ₀）と前記分離強度（χ）とを乗算することにより各画素の補間前の分離係数（μ'）を求め、
   前記補間前の分離係数（μ’）を基に前記式３で分離係数（μ）を前記加工画像の全画素において求めるステップ（Ｓ３ｄ）と、
   前記加工画像に前記分離係数（μ）を適用し変分法によりノイズ低減画像及びノイズを分離するステップ（Ｓ４ｄ）と
   を具備することを特徴とする画像処理方法。
6. 請求項１乃至５のいずれか１項に記載の各ステップを、コンピュータに実行させるためのコンピュータプログラム。

Images