JP2014238789A

JP2014238789A - 画像処理プログラム、画像処理方法及び画像処理装置

Info

Publication number: JP2014238789A
Application number: JP2013122160A
Authority: JP
Inventors: 敬宮嵜; Takashi Miyazaki; 靖樹横山; Yasuki Yokoyama
Original assignee: Institute of National Colleges of Technologies Japan
Current assignee: Institute of National Colleges of Technologies Japan
Priority date: 2013-06-10
Filing date: 2013-06-10
Publication date: 2014-12-18
Anticipated expiration: 2033-06-10
Also published as: JP6198114B2

Abstract

【課題】インパルス性雑音が重畳した画像から、画像全体を一つの雑音検出閾値で処理する従来法の場合、十分に雑音除去ができない傾向にある。【解決手段】本発明の画像分割を利用した雑音除去プログラムは、入力画像からエッジ成分を抽出するエッジ抽出処理と、入力画像を均等分割する画像分割処理と、各分割画像についてエッジの強度量を閾値Ｅｔｈにより判定し、雑音検出用の閾値Ｄｔｈを算出する閾値設定処理までの一連の処理を行う事前処理器１０と、処理対象画素と近傍画素から計算した値と前記雑音検出用の閾値Ｄｔｈとにより処理対象画素がインパルス性雑音かを判定する雑音検出器２０と、雑音検出器２０によって処理対象画素が雑音と判定された場合にその画素をメジアンフィルタにより復元する第１の復元器３０と、各検出方向から得られた復元画像の画素値をさらに精度を高める平均化処理を行う第２の復元器４０から出力画像の値を算出する。【選択図】図１

Description

本発明は、画像処理プログラム、画像処理方法及び画像処理装置に係り、特にインパルス性雑音が重畳している画像データに対し、画像処理により雑音を検出し、原画像データに近い画像を復元する画像分割を利用した雑音除去プログラムとして好適な画像処理技術に関する。

インパルス性雑音が重畳している画像データに対して、メジアンフィルタが雑音除去をする画像処理プログラムとして有効であるとして知られている（以下の非特許文献１参照）。このメジアンフィルタは、画像データの全画素に対して、処理対象画素とその周囲上下左右および斜め４方向の画素を濃度値により並べ換えた後、中央値を処理対象画素の適切な濃度値として出力とするフィルタであり、これによりインパルス性雑音を除去できる。

上記のメジアンフィルタは、処理対象の原画像全体に処理を加えるため、インパルス性雑音ではない画素を劣化させる問題点がある。この問題点を解決するために、処理対象画素について、その近傍画素との濃度差をある設定した閾値によりインパルス性雑音かを判定する検出器を用いるプログレッシブ・スイッチングメジアンフィルタがある（以下の非特許文献２参照）。この検出器によりインパルス性雑音と判別したときはメジアンフィルタの出力値を、インパルス性雑音でないと判別したときは入力画像データをそのまま出力する構成である。

また、ファジィルールに基づくスイッチング型のメジアンフィルタを用いるものも提案されている（電子情報通信学会論文誌Ａ Vol.J78-A No.2、pp.123-131、1995年2月）。このメジアンフィルタは、入力画像データの画素に関して、ファジィルールに基づきインパルス性雑音かを判別する。インパルス性雑音と判別したときはメジアンフィルタの出力値を、インパルス性雑音でないと判別したときは入力画像データをそのまま出力する構成である。

また、以下の特許文献１に開示された画像処理装置も、上記と同様に、エッジやライン情報を考慮したファジィルールに基づきインパルス性雑音かを判別するものである。インパルス性雑音と判別したときはメジアンフィルタの出力値を、インパルス性雑音でないと判別したときは入力画像データをそのまま出力する構成である。

特開平１０−１８７９５９号公報

藤田和弘、他６名「劣化画像の復元・ノイズ除去による高画質化」発行元：株式会社トリケップス pp.50-63、2008年3月発行 Zhou Wang, Zhang D "Progressive switching median filter for the removal of impulse noise from highly corrupted images" IEEE Transactions, Circuits Systems II :Analog and Digital Signal Processing, vol.46, no.1, pp78-80, 1999年7月

従来の画像処理装置は、入力画像データ全体にメジアンフィルタを適用し、インパルス性雑音を除去すると同時に雑音でない部分も劣化させる傾向にあった。また、画像の形状的な特徴であるエッジやライン部分を考慮していないためそれらを劣化させていた。

本発明は、これらの問題点を補うもので、インパルス性雑音を画像の形状的な特徴を損なうことなしに復元することができる画像処理プログラム、画像処理方法及び画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明の画像処理プログラムは、入力画像の雑音を除去する処理を行うためのプログラムであって、前記入力画像を分割して複数の分割画像を得る画像分割手段、前記分割画像ごとに雑音検出用の閾値を設定する閾値設定手段、前記分割画像に対して対応する前記雑音検出用の閾値で雑音検出を行うとともに当該雑音検出の結果に応じて復元処理を行う雑音検出復元手段、としてコンピュータを機能させることを特徴とする。

また、本発明の画像処理方法は、入力画像を分割して複数の分割画像を得る画像分割ステップと、前記複数の分割画像ごとに雑音検出用の閾値を設定する閾値設定ステップと、前記分割画像に対して対応する前記雑音検出用の閾値で雑音検出を行うとともに当該雑音検出の結果に応じて復元処理を行う雑音検出復元ステップと、を具備することを特徴とする。

さらに、本発明の画像処理装置は、入力画像を分割して複数の分割画像を得る画像分割器と、前記分割画像ごとに雑音検出用の閾値を設定する閾値設定器と、前記雑音検出用の閾値に基づいて前記分割画像ごとに雑音検出を行うとともに当該雑音検出の結果に応じて復元処理を行う雑音検出復元器と、を具備することを特徴とする。

上記各発明において、前記入力画像の分割に際しては、前記入力画像を面積的に均等に分割することが好ましい。さらに、前記入力画像の分割数は任意であるが、特に、前記入力画像を平面的に均等に分割する上では縦横をそれぞれ２分割して合計４分割とするか、或いは、この４分割した個々の領域をさらに何回か再帰的に同様に４分割していく（すなわち、１６分割、６４分割・・・）ことが好ましい。これは、コンピュータの分散処理に適しているため、処理速度の高速化を図ることができるからである。特に、複数のコア（ＣＰＵ）を備えたコンピュータ等では分散処理の効率化を図ることができ、効果的である。

また、前記閾値設定手段（閾値設定ステップ、閾値設定器）は、前記入力画像からエッジ成分を抽出し、前記エッジ成分を処理して前記分割画像ごとにエッジ指標を求め、前記エッジ指標に基づいて雑音検出用の閾値を算出することが好ましい。ここで、前記エッジ成分の抽出及び処理に際しては、前記エッジ指標はエッジ数やエッジ強度と相関のある指標であればよく、特に限定されない。ただし、エッジ成分の抽出の適格性と抽出処理の容易性を考慮すると、前記エッジ指標は、選択入力や入力画像からの算出処理により設定されたエッジ判定用の閾値により、前記エッジ強度を多値化したデータであることが好ましい。ここで、エッジ判定用の閾値は、前記入力画像の濃度値と相関を示す値であることが好ましく、例えば、平均濃度の関数などが考えられる。

さらに、前記雑音検出用の閾値の設定に際しては、例えば、コンピュータ操作者による選択操作や入力操作を受け、その選択入力により設定するものでもよい。また、当該閾値を算出する場合には、前記雑音検出用の閾値を、前記エッジ成分としての、抽出されたエッジ数（密度）やエッジ強度と正の相関を有する値とすることが好ましい。これは、一般に、前記エッジ成分が多い（強い）前記分割画像では閾値を高めに設定しないと画像復元時に入力画像を劣化させる虞があり、前記エッジ成分が少ない（弱い）前記分割画像では閾値を低めに設定しないと雑音検出時の検出感度が低くなり雑音除去性能が低下する虞があるからである。なお、雑音検出用の閾値は、上記エッジ判定用の閾値と同様に、１つのみでもよく、複数設けてもよい。一般に、雑音検出用の閾値がｎ個（ｎは自然数）設けられる場合には、上記計算した値はｎ＋１個に多値化される。

前記雑音検出に際しては、処理対象画素とその近傍画素から計算した値と、前記雑音検出用の閾値とを比較することにより、処理対象画素がインパルス性雑音か否かを判定することが好ましい。インパルス性雑音を検出するためには、例えば、上記雑音検出用の閾値に対する、処理対象画素と、近傍画素（例えば、周囲に隣接する画素）との間の濃度差の大小を判定要素とする場合が考えられる。複数の近傍画素を用いる場合には、濃度差に平均化等の処理を施した上で上記雑音検出用の閾値と比較する。ただし、上記の計算した値は特に限定されず、例えば、上記の計算した値として、例えば、処理対象画素と、α−trimmed meanフィルタの値との差分値を用い、この差分値を上記雑音検出用の閾値と比較してもよい。

前記復元処理に際しては、上記雑音検出によって処理対象画素が雑音と判定された場合にその画素値をメジアンフィルタで復元する方法を用いることができる。ただし、復元処理としては、平均値フィルタ、方向性差分フィルタなど、他の方法を用いることもできる。なお、インパルス性雑音を除去する場合には、メジアンフィルタが好ましく、ガウス分布雑音の場合には平均値フィルタが好ましい。また、メジアンフィルタを用いる場合には、異なる走査方向で得られた複数の復元画像データのそれぞれの対応画素を平均化処理して最終的な復元画像データを算出する、多方向走査型スイッチングメジアンフィルタを用いることが望ましい。なお、上記雑音検出の結果がｎ個の閾値によりｎ＋１個に多値化されたときに、ｎが２以上である場合には、当該結果の値に応じて、２種類以上の画像復元処理から選択した処理を施すようにしてもよい。

本発明によれば、処理対象の画像データから雑音を検出し、原画像を最も良好に復元することができる。特に、入力画像の各部の特徴に応じてより的確な雑音検出を行うことができるため、場所によって態様（特徴）が変化する画像についても高品位の出力画像を得ることができる点で有効である。

本発明の画像処理プログラムの一実施形態の各処理手段を示すブロック図である。図１中の「エッジ抽出器と画像分割器および閾値算出器」を構成する処理手段の一例を示すブロック図である。図１中の「インパルス性雑音検出器と復元器」を構成する処理手段の一例を示すブロック図である。図２の「エッジ抽出器と画像分割器および閾値算出器」による動作説明用フローチャートである。図３の「インパルス性雑音検出器と第１の復元器および第２の復元器（平均化処理）」の動作説明用フローチャートである。シミュレーション用の原画像の一例である。図６の画像にインパルス性雑音を、雑音量10％、濃度0〜255（全濃度階調）で重畳した劣化画像である。（PSNR：18.42）図７の画像にエッジ検出処理を適用したエッジ強度画像である。図７のエッジ強度画像に対し、本発明の雑音検出および復元処理を適用した画像の１つである。画像の左上から水平右方向に走査を繰り返したものである。（PSNR：36.05）図９同様、図７の画像に対し、本発明の雑音検出および復元処理を適用した画像の１つである。画像の右上から垂直下方向に走査を繰り返したものである。（PSNR：35.57）図９同様、図７の画像に対し、本発明の雑音検出および復元処理を適用した画像の１つである。画像の右下から水平左方向に走査を繰り返したものである。（PSNR：36.03）図９同様、図７の画像に対し、本発明の雑音検出および復元処理を適用した画像の１つである。画像の左下から垂直上方向に走査を繰り返したものである。（PSNR：35.83）図９〜１２の画像を平均化処理により統合した本発明の雑音除去した出力画像である。（PSNR：37.41）図７の画像に対するメジアンフィルタの処理結果の画像である。（PSNR：32.95）図７の画像に対するプログレッシブスイッチングメジアンフィルタの処理結果の画像である。（PSNR：35.75）画像と雑音検出用の閾値との関係を示す説明図である。分割画像の特徴によって雑音検出用の閾値が異なることを示す説明図である。多方向走査型スイッチングＭＦにおける走査開始位置及び走査方向の態様（ａ）〜（ｈ）を示す説明図である。本実施形態で用いられる雑音検出方法と復元方法の概要を示す説明図である。本実施形態で用いることのできる雑音検出方法を示す説明図である。本実施形態の多方向走査型メジアンフィルタによる処理を示す説明図である。図２２（ａ）は原画像の例、図２２（ｂ）は原画像に対して１０％のインパルス性雑音を重畳した入力画像の例、図２２（ｃ）は分割なしの場合の出力画像の例を示す画像表示図である。分割数Ｎｖを変えて処理した出力画像の例として、図２３（ａ）は４分割（＝４^１）、図２３（ｂ）は２５６分割（＝４^４）、図２３（ｃ）は１６３８４（＝４^７）を示す画像表示図である。従来方法と実施形態の方法の出力画像のＰＳＮＲを雑音重畳率別に示すグラフである。画像の分割数ＮｖとＰＳＮＲとの関係を雑音重畳率別に示すグラフである。画像の分割数Ｎｖと雑音検出率ＮＤＡ及び雑音検出の間違い率ＮＤＥとの関係を雑音重畳率別に示すグラフである。異なる実施形態の処理手順の全体構成を示す処理ブロック図である。

次に本発明に係る画像処理プログラム、画像処理方法及び画像処理装置の実施形態について説明する。以下に説明する実施形態は、本発明の画像処理方法を実行する主体として、また、本発明の画像処理装置を構成する実体としてコンピュータを用い、このコンピュータにより本発明の機能実現手段を実現する画像処理プログラムを構成した場合の例である。ただし、本発明は以下の実施形態に限らず、特定の物理的回路構成を有する装置など、上記画像処理方法を実行し、或いは、上記画像処理装置を構成する、種々の態様の装置を包含するものである。

図１は本発明に係る画像処理プログラムの一実施形態のブロック図を示す。この実施形態は、インパルス性雑音が重畳された原画像などを入力画像とし、エッジ抽出をするエッジ抽出処理と、入力画像を均等分割して複数の分割画像を生成する画像分割処理と、各分割画像のエッジ強度量をもとに次のインパルス性雑音を検出するときに利用する雑音検出用の閾値を算出する雑音検出用の閾値の算出処理とによって構成される、一連の処理を実行する事前処理器（事前処理手段）１０を有する。また、上記雑音検出用の閾値に基づいて、選択した検出方向からインパルス性雑音を検出するインパルス性雑音検出器（インパルス性雑音検出手段）２０を有する。さらに、インパルス性雑音と判定された画素の新たなる値を計算するメジアンフィルタによる第１の復元処理を実行する第１の復元器（第１の復元処理手段）３０と、各方向からのインパルス性雑音を除去した復元画像の対応画素の平均化処理である第２の復元処理を行なう第２の復元器（第２の復元処理手段）４０とを有する。

画像分割処理、エッジ抽出処理およびエッジ強度算出処理を実行する上記の事前処理器（事前処理手段）１０は、図２のブロック図に示すように、入力画像からエッジ情報を抽出するエッジ抽出器（エッジ抽出手段）１１と、出力されたエッジ画像に対して設定したエッジ判定用の閾値以上のエッジ強度量に相当するエッジ指標（後述するマーク数Ｅｍ）を算出するエッジ指標処理器（エッジ指標処理手段）１２と、原画像を均等分割する画像分割器（画像分割手段）１３と、各分割画像からエッジ情報を基にインパルス性雑音かを判定するときの雑音検出用の閾値Ｄｔｈを算出する閾値算出器１４から構成される。上記エッジ指標処理器１２では、エッジ抽出器１１によって抽出されたエッジ成分（エッジ強度量）をエッジ判定用の閾値Ｅｔｈにより２値化して入力画像に対応するエッジ抽出画像を構成する。そして、このエッジ抽出画像を上記原画像と同様に上記画像分割器１３により分割して、このエッジ抽出画像の分割画像が備えるエッジ指標を上記原画像の分割画像とともに用いて閾値算出器１４において雑音検出用の閾値Ｄｔｈを算出する。なお、エッジ抽出器１１とエッジ指標処理器１２は、上述のエッジ抽出及びエッジ処理（エッジ抽出処理手段）を構成する。

また、図１のインパルス性雑音検出器２０は、インパルス性雑音を検出するときの検出開始位置と検出方向について以下の態様を選択できるように構成される。この態様は、（ア）左上：水平右方向、（イ）右下：水平左方向、（ウ）右上：垂直下方向、（エ）左下：垂直上方向、（オ）右上：水平左方向、（カ）左下：水平右方向、（キ）左上：垂直下方向、（ク）右下：垂直上方向の８通りである。ここで、インパルス性雑音検出器２０における検出開始位置と検出方向の態様は、上記の８通りのうちいずれか１通りであってもよいが、本実施形態では、複数の態様を組み合わせて用いる多方向走査型の雑音検出復元器（雑音検出復元手段）を用いている。このときの複数の態様の組み合わせでは、組み合わせる態様の数をさらに選択することができる。この選択のパターンには、例えば、２、４、８があり、２の場合には向かい合う（ア）と（イ）の２つの態様をセットとし、４の場合には（ア)から（エ）の４つの態様をセットとし、８の場合には（ア）から（ク）の８つの態様をセットとする。上記の（ア）〜（ク）の８つの態様は、図３に示す雑音検出フィルタ２１〜２８に対応している。これらの雑音検出フィルタ２１〜２８は本来的には任意の組み合わせで用いることができ、それらの任意の組み合わせは上記のインパルス性雑音検出器２０を構成する。

また、図１の第１の復元器（メジアンフィルタ）３０は、上記のインパルス性雑音検出器２０で処理対象画素がインパルス性雑音と判定された場合の画素濃度値を復元するために図３に示すメジアンフィルタ３１から３８を用いる。これらのメジアンフィルタ３１〜３８は、上記の雑音検出フィルタ２１〜２８における検出開始位置と検出方向の態様に対応する復元開始位置と復元方向の態様を備えている。ここで、上記の雑音検出フィルタ２１〜２８と同様に、メジアンフィルタ３１〜３８は、いずれか一つが用いられてもよく、或いは、任意に選択される複数の組み合わせで用いられてもよい。本実施形態では、相互に一致する検出開始位置及び検出方向と復元開始位置及び復元方向を有する各態様同士の雑音検出フィルタ２１〜２８とメジアンフィルタ３１〜３８が組み合わせて用いられる。なお、後述するように、本実施形態では、図３に示すように、雑音検出フィルタ２１〜２８による処理が終了した後にメジアンフィルタ３１〜３８による処理が行われるのではなく、雑音検出フィルタ２１〜２８とメジアンフィルタ３１〜３８が順次に並行して適用される。このため、一体の雑音検出復元フィルタが構成される。この雑音検出復元フィルタの走査開始位置と走査方向は、上記の検出開始位置及び検出方向並びに復元開始位置及び復元方向と一致する。

また、図１の第２の復元器（平均化処理）４０は、上記の各方向からの復元画像データを平均化処理することで処理対象画素をより適切な濃度値とするための復元器である。なお、インパルス性雑音検出器２０、第１の復元器３０及び第２の復元器４０は、上述の雑音検出復元器（雑音検出復元手段）を構成する。

次に、この実施形態の動作について説明する。図１および図２に示す事前処理器１０は図４のフローチャートに従い、入力画像のエッジ成分の抽出と、入力画像の分割と、分割画像ごとのエッジ成分に基づく雑音検出用の閾値の算出とを実行する。事前処理器１０は、入力画像データが入力されると（ステップ１０１）、入力された画像データ全体に対して、差分エッジ抽出オペレータによりエッジ抽出処理をし（ステップ１０２）、このエッジ抽出データに対して、あるエッジ判定用の閾値Ｅｔｈ以上のエッジ強度の位置をマーク用の値として入力する（ステップ１０３）。

ここで、上記の差分エッジ抽出オペレータによるエッジ抽出処理は、一例として以下のように行われる。画像の中の注目している画素の位置を（ｉ，ｊ）としたとき、注目の画素の濃度値をｆ（ｉ，ｊ）と表す。ここで、ｆ（ｉ，ｊ＋１）は注目画素の右隣の画素の濃度値で、ｆ（ｉ＋１,ｊ）は注目画素の下隣の画素の濃度値となる。水平方向の隣同士の画素濃度差（濃度差分）を以下の式１の微分値Ｆｘとして計算し、同様に、垂直方向の隣同士の画素濃度差（濃度差分）を以下の式２の微分値Ｆｙとして計算する。
式１（水平方向の濃度差）：Ｆｘ＝ｆ（ｉ，ｊ＋１）−ｆ（ｉ，ｊ）
式２（垂直方向の濃度差）：Ｆｙ＝ｆ（ｉ＋１，ｊ）−ｆ（ｉ，ｊ）
そして、上記の式１と式２から以下の式３の値Ｅｉ（エッジ強度）を本実施形態のエッジ成分として求める。
式３（エッジ強度）：Ｅｉ＝√（Ｆｘ^２＋Ｆｙ^２）

上記のエッジ強度Ｅｉ（エッジ強度量）は、入力画像の画像データと同じサイズの別のメモリ領域において、配列データとして、入力画像の画素の座標位置［ｉ，ｊ］に関連づけられた（当該座標位置に対応する座標位置を有する）強度データとして記録され、入力画像全体にわたるエッジ強度Ｅｉの分布がエッジ強度画像として保存される。また、上記エッジ強度Ｅｉの値は、エッジ判定用の閾値Ｅｔｈによって２値化され、例えばエッジ強度Ｅｉがエッジ判定用の閾値Ｅｔｈ以上であれば「１」とし、エッジ強度Ｅｉがエッジ判定用の閾値Ｅｔｈ未満であれば「０」としたデータが上記のエッジ抽出画像として保存される。ここで、エッジ判定用の閾値Ｅｔｈは、画像データが例えば２５６階調の濃度データである場合には、多くの場合、３０〜５０の間の値に設定される。また、このエッジ判定用の閾値Ｅｔｈを、画像の濃度値の代表値（例えば、平均濃度値）を変数として変化するように予め設定しておいてもよい。さらに、上記の例ではエッジ判定用の閾値Ｅｔｈを単一とし、エッジ強度Ｅｉを二値化しているが、一般的には、ｎ個（ｎは自然数）の閾値Ｅｔｈを設定することにより、エッジ強度Ｅｉを多値化（ｎ＋１値化）してもよい。なお、本実施形態では、上記のようにエッジ成分の抽出方法として差分法（微分値）を用いているが、エッジ成分の抽出方法には、差分法の他に、Roberts法、Sobel法、Prewitt法、零交差法などの公知の種々の手法を用いることができる。

次に、入力画像データを所定の態様で複数の領域に分割し、複数の分割画像を生成する。また、上記のステップ１０３で得られたエッジ抽出画像も上記と同じ態様で上記入力画像の分割に対応する複数の領域に分割する。これらの画像の分割態様は特に限定されるものではないが、本実施形態では、元の画像を縦と横にそれぞれ均等２分割することで均等４分割とし、この均等４分割をさらに各分割領域のそれぞれにおいて繰り返し適用するといったように、均等４分割を指定の回数だけ再帰的に繰り返す（ステップ１０４）。一般的には、任意の分割回数ｋ（ｋは自然数）とし、分割画像の数Ｎｖ＝４^ｋとすることができる。なお、上記の再帰的な分割態様においては、上記４分割に限らず、６分割（例えば、縦と横の一方が２分割、他方が３分割）や９分割（例えば、縦横それぞれ３分割）なども考えられる。また、均等分割に限らず、予め設定された不均等な態様で分割しても構わない。

分割画像の数Ｎｖは、入力画像のエッジ強度Ｅｉの分布や濃度分布の状況に応じて設定することができる。例えば、入力画像の縦及び横の寸法が所定の平坦化用の閾値Ｆｔｈ（平坦化領域として許容される濃度差を示す値）を用いて平坦化したときの平坦化領域の平均画素数Ｎｐを算出して、分割画像の数をＮｖ＝Ｎｐ／Ｔｐ（Ｔｐは全画素数）とすることができる。また、分割画像の数Ｎｖを選択若しくは入力する画面を表示し、予め若しくは分割処理前に、コンピュータの操作者による分割画像の数Ｎｖの選択操作若しくは入力操作（選択入力）を受け入れるように構成してもよい。この場合には、例えば、画面上に分割画像の数Ｎｖに対応する入力画像の分割態様を示すイメージを表示し、このイメージを見ながら分割画像の数Ｎｖをコンピュータ操作者が選択、修正することができるように構成してもよい。

上記のステップ１０４で得られた各分割画像内について、ステップ１０３で得られたエッジ強度Ｅｉが閾値Ｅｔｈを上回る数（すなわち、上記エッジ抽出画像における対応する分割領域（画像）内にある上記「１」の画素数）であるマーク数Ｅｍを計算する。このマーク数Ｅｍは入力画像の各分割画像内のエッジ成分の数及び強度と相関を有するエッジ指標であるので、マーク数Ｅｍが多ければ原画像の各画素間の濃度値の変化が大きい傾向を示し、マーク数Ｅｍが小さければ原画像の各画素間の濃度値の変化が少ない傾向を示す。なお、上記マーク数Ｅｍは、「１」と「０」の２値に限らず、３値以上に多値化された数であってもよい。この場合には、単にエッジの有無だけでなく、エッジ強度Ｅｉの大きさによってマーク数Ｅｍが増減するため、よりエッジ成分の状況を正確に反映した指標とすることができる。また、上記のマーク数Ｅｍの代わりに、各分割画像中のエッジ数（密度）やエッジ強度Ｅｉの平均値、中央値、合計値などの各種の代表値をエッジ指標としてもよい。

次に、上記のように算出されたマーク数Ｅｍを用いて、入力画像のインパルス性雑音の検出を行うための雑音検出用の閾値Ｄｔｈを算出する（ステップ１０５）。ここで、図１６に示すように、最適な雑音検出用の閾値Ｄｔｈは処理画像の特徴、例えば、濃度分布やエッジ強度Ｅｉによって異なる。上記マーク数Ｅｍが大きい場合には分割画像中のエッジ成分が多いことから、雑音検出用の閾値Ｄｔｈを大きくしないと本来の画像データを雑音と誤判定しやすくなり、原画像の劣化をもたらす。また、マーク数Ｅｍが少なければ、雑音検出用の閾値Ｄｔｈを小さくしないとインパルス性雑音の検出不良を招き易くなり、雑音除去性能、或いは、原画像への復元性能が低下する。このため、図１７に示すように、各分割画像における雑音検出用の閾値Ｄｔｈを、その分割画像のマーク数Ｅｍと正の相関を有するように設定する。このような設定態様の一例として、例えば、以下の式４では、雑音検出用の閾値Ｄｔｈをマーク数Ｅｍの一次関数とした場合を示す。
式４（雑音検出用の閾値）：Ｄｔｈ＝α＋β・Ｅｍ
ここで、α及びβは係数（定数）であり、少なくともβ＞０である。このようにすれば、雑音検出用の閾値Ｄｔｈを好適に設定することができる。

なお、上記のフローチャートのステップ１０１から１０５のうち、エッジ情報の処理を省略し、ステップ１０４の入力画像の均等分割だけを行い、インパルス性雑音の検出に用いる雑音検出用の閾値Ｄｔｈを選択若しくは入力する画面を表示し、予め若しくは雑音検出前に、コンピュータの操作者による雑音検出用の閾値Ｄｔｈの選択操作若しくは入力操作（選択入力）を受け入れるように構成してもよい。例えば、雑音検出用の閾値Ｄｔｈを、例えば１０から８０までの範囲内のいずれかの値を選択的に用いてインパルス性雑音の検出を行なうことも可能である。この場合には、例えば、画面上に雑音検出用の閾値Ｄｔｈに対応する入力画像の雑音態様を示すイメージを表示し、このイメージを見ながら雑音検出用の閾値Ｄｔｈをコンピュータ操作者が選択、修正することができるように構成してもよい。

次に、図１および図３に示すインパルス性雑音検出器２０、メジアンフィルタによる第１の復元器３０および平均化処理による第２の復元器４０の動作は、図５のフローチャートに従う。まず、雑音検出の検出方向の数ＮＤと検出方向の組み合わせ態様を上記の（ア）〜（ク）の中から選択する（ステップ２０１）。なお、本発明では特に限定されないが、本実施形態では、インパルス性雑音の検出と、メジアンフィルタによる復元処理とを順次に並行して実施するＳＭＦ（スイッチングメジアンフィルタ）を用いるため、雑音検出における検出開始位置及び検出方向と、復元処理における復元開始位置及び復元方向とが一致する態様で処理が実行される。このため、上記の（ア）〜（ク）の態様にそのまま対応する図１８に示す走査開始位置及び走査方向の態様（ａ）〜（ｈ）を用いる。ここで、図示例では、走査方向の数ＮＤが２の場合にはそれぞれ２つの走査態様の組み合わせ（ｉ）〜（ｌ）の４種を選択でき、走査方向の数ＮＤが４の場合にはそれぞれ４つの走査態様の組み合わせ（ｍ）と（ｎ）を選択でき、走査方向の数ＮＤが８の場合には上記走査態様（ａ）〜（ｈ）の全てが実行される。

図１９は、本実施形態で用いられる雑音検出方法と復元方法の概要を示す。このとき、走査開始位置は左上であり、走査方向は水平右方向である例を示している。注目画素ｘ（ｉ）は左上から右側へ走査し、右端で次の行に移行する。一例として、注目画素を含めて４つの画素が属する雑音検出ウインドウ（図示実線の枠）により雑音検出する場合について説明する。ここで、雑音検出オペレータは、図示例では、注目画素が１、同じ行で一つ前（左）の画素が−１、一つ前（上）の行の同じ列の画素が−１、一つ前（上）の行の一つ前（左）の画素が１である。したがって、インパルス性雑音検出器２０は、入力画像データについて各検出開始位置から選択された方向に従い、処理対象画素の座標を（ｉ，ｊ）とし、その画素の濃度値をＦ（ｉ，ｊ）としたとき、以下の式５で表される計算値Ｄｃを計算する（ステップ２０２）
式５（計算値）：Ｄｃ＝Ｆ（ｉ−１，ｊ−１）＋Ｆ（ｉ，ｊ）−Ｆ（ｉ−１，ｊ）−Ｆ（ｉ，ｊ−１）
なお、上記計算値Ｄｃは、上述の「処理対象画素とその近傍画素から計算した値」に相当する。

次に、上述のように算出した計算値Ｄｃを上記雑音検出用の閾値Ｄｔｈと比較する（ステップ２０３）。具体的には、上記の単一の閾値Ｄｔｈとの比較により計算値Ｄｃを２値化する。これにより、各注目画素がインパルス性雑音か否かを検出できる。例えば、計算値Ｄｃが閾値Ｄｔｈ以上のときは「１」、計算値Ｄｃが閾値Ｄｔｈ未満のときは「０」とする。本実施形態では、注目画素において上記比較結果が「１」の場合に当該注目画素がインパルス性雑音と判定する。図２０には、雑音検出ウインドウ内の周辺画素の濃度値から比較対象となる濃度値を導出し、これと注目画素の濃度値との差分を閾値Ｄｔｈと比較して２値化する例を示している。なお、本実施形態では、雑音検出にしきい値型フィルタを用いているが、そのときの雑音検出ウインドウの態様（ウインドウ内の画素数、ウインドウ形状、範囲など）や比較の態様（周辺画素との比較態様、例えば、周辺画素の濃度情報の求め方）には図１９や図２０に示すように種々のものが考えられる。

メジアンフィルタによる第１の復元器３０は、上記ステップ２０３でインパルス性雑音と判定された場合に動作し、処理対象画素の濃度値をメジアンフィルタにより復元する（ステップ２０４）。また、インパルス性雑音と判定されなかった場合には処理対象画素の濃度値は維持される。このメジアンフィルタによる復元処理は、例えば、図１９の点線の枠で示すメジアンフィルタ適用ウインドウにて行われる。この適用ウインドウには注目画素を含めて９つの画素が属し、これらの９つの画素の濃度値の中央値を注目画素の濃度値に置き換える。このメジアン適用ウインドウの態様（ウインドウ内の画素数、ウインドウ形状、範囲など）や復元の態様（フィルタの種類等）についても、図示例に限らず、種々のものが考えられる。

そして、上述の方法で、雑音検出及び復元処理に関し、各分割画像の全画素に対して、上記ステップ２０２から２０４までを最後の画素まで行なったかを判定する（ステップ２０５）。本実施形態では、上記のように走査開始位置及び走査方向の態様（ａ）〜（ｈ）のうち複数の態様を組み合わせて用いる多方向走査型スイッチングメジアンフィルタ処理（ＭＳＳＭＦ法）を採用しているため、図２１に示すように、ステップ２０２〜２０５からなる第１の復元器３０による処理（図示では第１ステップ）を選択された複数の態様についてそれぞれ実行する。なお、この第１ステップの処理は、入力画像の全体を上記方法の所定の走査開始位置及び走査方向で走査しながら、分割画像の境界を越えたときに雑音検出用の閾値Ｄｔｈを変更する（切り替える）ようにして行うことができる。ただし、上記第１ステップの処理を、分割画像ごとに所定の走査開始位置及び走査方向で走査しながら行うことも可能である。

最後に、平均化処理による第２の復元器４０は、各分割画像についてメジアンフィルタである第１の復元器３０により復元された走査態様の数ＮＤ個の出力データに対して、図２１に示す第２ステップとして、対応画素ごとの平均化処理を行なうことでより良好な復元を行なう（ステップ２０６）。

なお、ステップ２０３で使用する雑音検出用の閾値Ｄｔｈを上記のステップ１０５で算出した閾値の代りに、上記の選択入力による閾値Ｄｔｈの決定の説明で示した範囲などの適宜に設定した範囲内の全ての閾値の中から、各分割画像において好適な復元結果を選択して一つの出力画像とすることも可能である。ここで、雑音検出用の閾値Ｄｔｈを好適化する手法としては、原画像と雑音混入画像からなる学習用の画像を用いて学習したファジイ制御器等を用いて、好適な閾値Ｄｔｈを求めることが考えられる。例えば、上記学習用の雑音混入画像に上記閾値Ｄｔｈを適用して得た出力画像を上記原画像と比較することにより雑音除去性能を評価し、その評価結果によって閾値Ｄｔｈの好適化を行う。この雑音除去性能の評価には、例えば、以下の式６のＭＳＥ（画素値ｆを備えた原画像と画素値ｇを備えた出力画像の平均二乗誤差）などを用いることができる。
式６（ＭＳＥ）：ＭＳＥ＝１／Ｎ×Σ［ｆ（ｉ，ｊ）−ｇ（ｉ，ｊ）］^２
なお、このような閾値の好適化の手法は、雑音検出用の閾値Ｄｔｈだけでなく、上述のエッジ判定用の閾値Ｅｔｈの好適化にも用いることができる。

次に、本発明の実施形態について説明する。図６はインパルス性の雑音が重畳していないシミュレーション用の原画像である。図６の画像にインパルス性雑音を、雑音量１０％、濃度０〜２５５（全濃度階調）で重畳した劣化画像が図７である。ここで、画像の画質を表す指標であるＰＳＮＲ（Peak Signal to Noise Ratio：単位はdB）値は「ＰＳＮＲ＝１８．４２」である。ただし、このＰＳＮＲ値は大きな値ほど画質が良好であることを示す。

図８は図７の画像からエッジ成分を上記差分オペレータにより検出処理したエッジ抽出画像の例である。

ここで、図９〜１２は本発明の上記走査方向の数ＮＤを４とし、画像の分割数Ｎｖを４とした場合のインパルス性雑音検出器とメジアンフィルタによる復元の途中経過を示す。図９は図７の画像に対し、本発明の雑音検出処理と復元処理（第１ステップ）を適用した途中経過の画像の１つで、画像の左上から水平右方向に走査を繰り返したものである。このとき、「ＰＳＮＲ＝３６．０５」であった。図１０も同様に、本発明の雑音検出処理と復元処理（第１ステップ）を適用した途中経過の画像の１つで、画像の右上から垂直下方向に走査を繰り返したものである。このとき、「ＰＳＮＲ＝３５．５７」であった。図１１も同様に、本発明の雑音検出処理と復元処理（第１ステップ）を適用した途中経過の画像の１つで、画像の右下から水平左方向に走査を繰り返したものである。このとき、「ＰＳＮＲ＝３６．０３」であった。図１２も同様に、本発明の雑音検出処理と復元処理（第１ステップ）を適用した途中経過の画像の１つで、画像の左下から垂直上方向に走査を繰り返したものである。このとき、「ＰＳＮＲ＝３５．８３」であった。

図１３は図９〜１２の画像を平均化処理（第２ステップ）により統合した本発明の雑音除去処理の出力画像である。なお、このとき、ＰＳＮＲ値は「ＰＳＮＲ＝３７．４１」で良好な値となっている。

図１４は、本発明と比較するために、図７の画像に対してメジアンフィルタを適用した処理結果の画像である（この画像では、「ＰＳＮＲ＝３２．９５」である。）。また、図１５も本発明と比較するために、図７の画像に対してプログレッシブ・スイッチングメジアンフィルタを適用した処理結果の画像である（この画像では「ＰＳＮＲ＝３５．７５」である）。

本実施形態の方法と、従来のメジアンフィルタおよびプログレッシブ・スイッチングメジアンフィルタとを同一のインパルス性雑音が重畳する画像に適用した結果、本実施形態のＰＳＮＲ値は、それぞれ従来方法に比べて約「４．５ｄB」および「１．７ｄB」だけ改善されることがわかる。

図２２及び図２３は、本実施形態の多方向走査型スイッチングＭＦを用いるときに、図２２（ａ）の原画像に対して１０％のインパルス性雑音を重畳した図２２（ｂ）に示す入力画像について、分割数Ｎｖを変えて処理した場合の出力画像の例を示すものである。ここで、図２２（ｃ）は分割なし、図２３（ａ）は４分割（＝４^１）、図２３（ｂ）は２５６分割（＝４^４）、図２３（ｃ）は１６３８４（＝４^７）である。これらの出力画像を見ると、分割数Ｎｖを高めるほど出力画像の画質が向上していることがわかる。

図２４は、いずれもしきい値型のスイッチングＭＦである、
１．通常のメジアンフィルタ（ＭＦ）、
２．「Z.Wang and D.Zhang："Progressive Switching Median Filter for the Removal of Impulse Noise from Highly Corrupted Images"IEEE Trans.Circuits & Syst.II CAS II Vol.46，No1，pp.78-80, Jan.1999」に記載された方法（ＰＳＭ）、
３．「S Zhang and MA Karim："A New Impulse Detector for Switching Median Filters"IEEE Signal Processing Lett，Vol.9，No.11，pp.360-363, Nov.2002」に記載された方法（ＡＮＩＤ）、４．「Y Dong, Raymond H Chan, S Xu："A Universal Denoising Framework With a New Impulse Detector and Nonlocal Means" IEEE Trans. Image Processing, Vol.16, No.6 pp.1112-1120, April.2007」に記載された方法（Ｒ‐ＥＰＲ）
といった従来の方法に加えて、
５．上述の多方向走査型スイッチングメジアンフィルタ（ＭＳＳＭＦ法、分割なし）、
６．本実施形態の方法（ＭＳＳＭＦ法「２５６分割」と、ＭＳＳＭＦ法「１６３８４分割」）、
による各出力画像のＰＳＮＲを入力画像の雑音重畳率別に示すグラフである。この結果によれば、一般には雑音重畳率が低いほど出力画像のＰＳＮＲは高くなるが、本実施形態の方法はいずれの雑音重畳率でも良好な結果を示すことがわかる。

図２５は、画像の分割数ＮｖとＰＳＮＲとの関係を雑音重畳率別に示すグラフである。この結果でも、分割数Ｎｖが増加するほどＰＳＮＲが良好になることがわかる。なお、このデータは、異なる１２種類の画像に対して実施形態を適用した場合の結果の平均値を示すものである。

図２６は、画像の分割数Ｎｖと雑音検出率ＮＤＡ及び雑音検出の間違い率ＮＤＥとの関係を雑音重畳率別に示すグラフである。この結果では、分割数Ｎｖが増加するほど雑音検出率ＮＤＡは雑音重畳率に拘わらず急激に向上することがわかる。また、分割数Ｎｖが増加するほど雑音検出の間違い率ＮＤＥも雑音重畳率に拘わらず向上する。

図２７には、上記実施形態とは異なる実施形態における処理手順を示す。この実施形態では、入力画像の全体に単一の雑音検出用の閾値Ｄｔｈを用いて（例えば、原画像を劣化させない程度の、或いは、大きな濃度差を有するインパルス性雑音のみを検出する大き目の閾値を用いて）、上記実施形態と同様の多方向走査型スイッチングメジアンフィルタを適用し、暫定的な雑音除去画像を生成する。その後、この暫定的な雑音除去画像に対して、上述のエッジ情報の解析などの画像の特徴の解析処理を実施し、上述と同様に分割画像ごとの雑音検出用の閾値Ｄｔｈ（図示例では９個）を求める。その後、元の入力画像を上記の分割画像ごとの閾値Ｄｔｈによって多方向走査型メジアンフィルタ処理によって復元する。この方法では、特に、インパルス性雑音の重畳度が高い場合や、インパルス性雑音が原画像の画素値に対して大きな濃度差を有する場合において、予め暫定的な雑音除去画像を生成しておくことにより、上記のエッジ抽出処理により求められるエッジ指標がインパルス性雑音の影響を受けることを抑制できる。このため、インパルス性雑音に影響されずに分割画像ごとの雑音検出用の閾値Ｄｔｈをさらに的確に設定できることにより、より高い雑音除去性能が実現可能になることが期待される。

以上説明したように、本発明に係る各実施形態では、入力画像を分割し、分割画像ごとに雑音検出用の閾値Ｄｔｈを設定して雑音検出及び雑音除去処理を実行することにより、高品位の出力画像を得ることができる。特に、分割数Ｎｖを増加させることで、出力画像の品位が大幅に向上する。

尚、本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施形態では画像の画素値として濃度値を用いて説明したが、画素値の表現態様は特に限定されず、例えば、カラー画像の場合にはＲＧＢ、色相と明度などというように、画素値としての種々の指標を上記濃度値の代わりに用いることができる。

１０事前処理器
１１エッジ抽出器
１２エッジ処理器
１３画像分割器
１４閾値算出器
２０インパルス性雑音検出器
２１インパルス性雑音検出器（雑音検出フィルタ、検出開始位置：左上、水平右方向）
２２インパルス性雑音検出器（雑音検出フィルタ、検出開始位置：右下、水平左方向）
２３インパルス性雑音検出器（雑音検出フィルタ、検出開始位置：右上、垂直下方向）
２４インパルス性雑音検出器（雑音検出フィルタ、検出開始位置：左下、垂直上方向）
２５インパルス性雑音検出器（雑音検出フィルタ、検出開始位置：右上、水平左方向）
２６インパルス性雑音検出器（雑音検出フィルタ、検出開始位置：左下、水平右方向）
２７インパルス性雑音検出器（雑音検出フィルタ、検出開始位置：左上、垂直下方向）
２８インパルス性雑音検出器（雑音検出フィルタ、検出開始位置：右下、垂直上方向）
３０第１の復元器（メジアンフィルタ）
３１復元器（メジアンフィルタ、復元開始位置：左上、水平右方向）
３２復元器（メジアンフィルタ、復元開始位置：右下、水平左方向）
３３復元器（メジアンフィルタ、復元開始位置：右上、垂直下方向）
３４復元器（メジアンフィルタ、復元開始位置：右下、垂直上方向）
３５復元器（メジアンフィルタ、復元開始位置：右上、水平左方向）
３６復元器（メジアンフィルタ、復元開始位置：左下、水平右方向）
３７復元器（メジアンフィルタ、復元開始位置：左上、垂直下方向）
３８復元器（メジアンフィルタ、復元開始位置：右下、垂直上方向）
４０第２の復元器（平均化処理）

Claims

入力画像の雑音を除去する処理を行うためのプログラムであって、前記入力画像を分割して複数の分割画像を得る画像分割手段、前記分割画像ごとに雑音検出用の閾値を設定する閾値設定手段、前記分割画像に対して対応する前記雑音検出用の閾値で雑音検出を行うとともに当該雑音検出の結果に応じて復元処理を行う雑音検出復元手段、としてコンピュータを機能させることを特徴とする画像処理プログラム。
前記閾値設定手段は、前記入力画像からエッジ成分の抽出を行い、前記エッジ成分を処理して前記分割画像ごとのエッジ指標を求め、対応する前記エッジ指標に応じて前記雑音検出用の閾値を前記分割画像ごとに算出することを特徴とする請求項１に記載の画像処理プログラム。
前記雑音検出復元手段は、所定の走査態様により、雑音検出処理とメジアンフィルタ処理を順次に並行して実行することを特徴とする請求項１又は２に記載の画像処理プログラム。
前記雑音検出復元手段は、相互に異なる複数の走査態様により前記雑音検出処理及び前記メジアンフィルタ処理をそれぞれ実行し、前記複数の走査態様により出力される複数の復元画像データについて、さらに対応画素ごとの平均化処理を行うことを特徴とする請求項３に記載の画像処理プログラム。
入力画像を分割して複数の分割画像を得る画像分割ステップと、前記複数の分割画像ごとに雑音検出用の閾値を設定する閾値設定ステップと、前記分割画像に対して対応する前記雑音検出用の閾値で雑音検出を行うとともに当該雑音検出の結果に応じて復元処理を行う雑音検出復元ステップと、を具備することを特徴とする画像処理方法。
入力画像を分割して複数の分割画像を得る画像分割器と、前記分割画像ごとに雑音検出用の閾値を設定する閾値設定器と、前記雑音検出用の閾値に基づいて前記分割画像ごとに雑音検出を行うとともに当該雑音検出の結果に応じて復元処理を行う雑音検出復元器と、を具備することを特徴とする画像処理装置。