JP2014103648A - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】入力画像に含まれるノイズを精度よく検出し、ノイズを除去又は低減し得る画像処理装置、画像処理方法及びコンピュータプログラムを提供する。
【解決手段】入力画像から注目画素を含む特定領域を抽出し、特定領域内にノイズの境界部分が含まれるか否かの判定を行う。特定領域内にノイズ境界が含まれると判定した場合、表示装置１は、平滑化フィルタを用いたフィルタリング処理を行って注目画素を平滑化する。特定領域内にノイズ境界が含まれないと判定した場合、表示装置１は、エッジ保存型の平滑化フィルタを用いたフィルタリング処理を行って注目画素を平滑化する。このとき表示装置１は、特定領域内の画素値又はエッジ保存型の平滑化フィルタによる平滑化結果等に応じて、エッジ保存型の平滑化フィルタによる平滑化結果を適用するか否かを判定する。
【選択図】図１

Description

本発明は、入力画像に含まれるノイズを判別し、このノイズを除去又は低減し得る画像処理装置、画像処理方法及びコンピュータプログラムに関する。

従来、画像に含まれるノイズとして、例えばブロックノイズのような隣接画素間でその画素値が階段状に変化するノイズが知られている。ブロックノイズは、ＭＰＥＧ（Moving Picture Expert Group）又はＪＰＥＧ（Joint Photographic Experts Group）等の画像
圧縮処理を行った際に生じるノイズである。ＭＰＥＧ又はＪＰＥＧ等の画像圧縮方式では、元画像を特定サイズのブロックに分割し、ブロック毎に画像を圧縮する処理を行う。このため隣接するブロックの境界で画素値が不連続となり、ユーザによってブロックの境界部分がノイズとして視認される場合がある。またこのようなブロックノイズは、画像圧縮処理に限らず、画像を特定サイズのブロックに分割して画像処理を行った場合に生じる可能性がある。

特許文献１においては、入力映像信号に対して隣接画素間の空間差分を算出して、隣接する複数個の空間差分の比較結果から空間差分比較判定信号を出力し、空間差分比較判定信号を位相毎にカウントして累積値信号を出力し、複数個の累積値信号の値を比較して、値が最大である累積値信号に対応する位相を最大累積時位相信号として出力するブロックノイズ検出装置が提案されている。

特開２００９−１０５９９０号公報

しかしながら特許文献１に記載のブロックノイズ検出装置は、検出できるブロックノイズのサイズが一定であるという問題がある。このため、ブロックサイズが可変の画像処理にて生成された画像に対応できない。また特許文献１に記載のブロックノイズ検出装置は、検出されるブロックノイズの境界は１画素幅であり、ノイズの境界に相当する画素の周辺画素を平滑化する場合に、ノイズの境界の左右（又は上下）に隣り合う領域のいずれか一方が１画素分多く平滑化されるという問題がある。また特許文献１に記載のブロックノイズ検出装置は、検出した部分に対して必ず平滑化を行う構成である。このため、実際には平滑化が不要な画素についても平滑化が行われ、画質が劣化する虞がある。

また従来のノイズ除去処理においては、検出したノイズがどのような種類のもの（例えば低周波成分のみを含むノイズ、低周波成分と共に高周波成分を含むノイズ等）であっても、同一の平滑化フィルタを用いて行っていた。このため画像中に複数種類のノイズを含む場合、一方のノイズについては除去性能が高く、他方のノイズについては除去性能が低いというノイズ除去結果が得られる場合があった。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、入力画像に含まれるノイズを精度よく検出し、ノイズを除去又は低減し得る画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。また本発明の他の目的とするところは、入力画像中に複数種類のノイズを含む場合であっても、適切な平滑化を行ってノイズを除去又は低減することができる画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。

本発明に係る画像処理装置は、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行う画像処理装置において、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、該平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段とを備え、前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、又は、前記第２の平滑化手段にて平滑化した画素値のいずれかとした出力画像を生成するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段とを備えることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界位置決定手段が、前記平滑化判定手段が平滑化処理の対象とすると判定し、且つ、前記ノイズ境界方向決定手段が決定した方向が所定方向である場合に、前記特定領域におけるノイズの境界部分の位置を決定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界方向決定手段が決定した方向が所定方向でない場合に、前記特定領域を拡大する特定領域拡大手段を更に備え、前記ノイズ境界方向決定手段は、前記特定領域拡大手段が拡大した特定領域について方向決定を再度行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界方向決定手段が決定した方向が所定方向となるまで、又は、前記特定領域拡大手段により特定領域が所定の大きさに拡大されるまで、前記特定領域拡大手段による特定領域の拡大及び前記ノイズ境界方向決定手段による方向決定を繰り返して行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記第１の平滑化手段が用いる平滑化フィルタを複数記憶した平滑化フィルタ記憶手段と、前記ノイズ境界位置決定手段が決定した位置及び前記ノイズ境界方向決定手段が決定した方向に応じて、前記平滑化フィルタ記憶手段から平滑化フィルタを選択するフィルタ選択手段とを備え、前記第１の平滑化手段は、前記フィルタ選択手段が選択した平滑化フィルタを用いて前記注目画素の画素値を平滑化するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段を備え、前記平滑化判定手段は、前記微分値算出手段が算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記微分値算出手段が、隣接する画素間の画素値の１次微分値及び２次微分値を算出するようにしてあり、前記平滑化判定手段は、前記微分値算出手段が算出した１次微分値及び２次微分値に基づいて判定を行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記微分値算出手段が算出した１次微分値が閾値を超えるか否かに応じて、前記１次微分値を２値化する１次微分値２値化手段と、前記１次微分値２値化手段が２値化した１次微分値の論理和を算出する第１論理和算出手段と、前記微分値算出手段が算出した２次微分値が閾値を超えるか否かに応じて、前記２次微分値を２値化する２次微分値２値化手段と、前記２次微分値２値化手段が２値化した２次微分値の論理和を算出する第２論理和算出手段と、前記第１論理和算出手段の算出結果及び前記第２論理和算出手段の算出結果の論理和を算出する第３論理和算出手段とを備え、前記平滑化判定手段は、前記第３論理和算出手段の算出結果に基づいて判定を行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記微分値算出手段、前記１次微分値２値化手段、前記第１論理和算出手段、前記２次微分値２値化手段、前記第２論理和算出手段及び前記第３論理和算出手段は、前記特定領域の縦方向及び横方向についてそれぞれ処理を行うようにしてあり、前記平滑化判定手段は、前記第３論理和算出手段による前記縦方向及び横方向の算出結果に基づいて判定を行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段を備え、該ノイズ境界方向決定手段は、前記第３論理和算出手段による前記縦方向及び横方向の算出結果に基づいて、ノイズの境界部分が前記特定領域において前記縦方向及び／又は前記横方向に延在しているか否かを決定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段を備え、該ノイズ境界位置決定手段は、前記２次微分値２値化手段が２値化した２次微分値の前記特定領域内におけるパターンに基づいて、前記特定領域におけるノイズの境界部分の位置を決定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、各々が特定方向に関するエッジ成分の強度を検出するソーベルフィルタを、異なる方向について複数記憶するソーベルフィルタ記憶手段と、前記特定領域抽出手段が抽出した特定領域に対して前記ソーベルフィルタ記憶手段が記憶した複数のソーベルフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を複数方向について算出するエッジ強度算出手段と、前記エッジ強度算出手段が算出した複数のエッジ強度の最大値及び最小値の差分が閾値を超えるか否かを判定するエッジ強度差分判定手段とを更に備え、前記第２の平滑化手段は、前記差分が前記閾値を超えないと前記エッジ強度差分判定手段が判定した場合、エッジ保存型でない平滑化フィルタを用いて前記特定領域の注目画素の画素値を平滑化するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記第２の平滑化手段による平滑化結果を適用するか否かを判定する適用判定手段を備え、前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、前記第２の平滑化手段にて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記特定領域抽出手段が抽出した特定領域に対してラプラシアンフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を算出する第２のエッジ強度算出手段と、該第２のエッジ強度算出手段が算出した強度が閾値を超えるか否かを判定するエッジ強度判定手段とを備え、前記適用判定手段は、前記強度が前記閾値を超えると前記エッジ強度判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用すると判定し、前記強度が前記閾値を超えないと前記エッジ強度判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用しないと判定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記特定領域抽出手段が抽出した特定領域内にて特定方向に隣接する画素間の画素値の増減回数を算出する増減回数算出手段と、該増減回数算出手段が算出した増減回数が閾値を超えるか否かを判定する増減回数判定手段とを備え、前記適用判定手段は、前記増減回数が前記閾値を超えないと前記増減回数判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用すると判定し、前記増減回数が前記閾値を超えると前記増減回数判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用しないと判定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記特定領域抽出手段が抽出した特定領域に含まれる注目画素の画素値、及び、前記第２の平滑化手段により平滑化された画素値の差分を算出する平滑差分算出手段と、該平滑差分算出手段が算出した差分が閾値を超えるか否かを判定する平滑差分判定手段とを備え、前記適用判定手段は、前記差分が前記閾値を超えないと前記平滑差分判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用すると判定し、前記差分が前記閾値を超えると前記平滑差分判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用しないと判定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行う画像処理装置において、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、該平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段と、該第２の平滑化手段による平滑化結果を適用するか否かを判定する適用判定手段とを備え、前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、前記第２の平滑化手段にて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行う画像処理装置において、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、該微分値算出手段が算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定する平滑化判定手段と、該平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、前記平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段と、前記平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記ノイズ境界方向決定手段が決定した方向及び前記ノイズ境界位置決定手段が決定した位置に基づいて、前記注目画素に対する平滑化処理を行う平滑化手段とを備えることを特徴とする。

また、本発明に係る画像処理装置は、マトリクス状に配された複数の画素で構成される入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、該微分値算出手段が算出した微分値に基づいて、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段とを備えることを特徴とする。

また、本発明に係る画像処理方法は、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理方法において、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、該特定領域抽出ステップにて抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定ステップと、該平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化ステップと、前記平滑化判定ステップにて第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化ステップと、前記入力画像の各画素の画素値を、前記第１の平滑化ステップにて平滑化した画素値、又は、前記第２の平滑化ステップにて平滑化した画素値のいずれかとした出力画像を生成する生成ステップとを含むことを特徴とする。

また、本発明に係る画像処理方法は、前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定ステップと、前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定ステップとを含むことを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界位置決定ステップでは、前記平滑化判定ステップにて平滑化処理の対象とすると判定し、且つ、前記ノイズ境界方向決定ステップにて決定した方向が所定方向である場合に、前記特定領域におけるノイズの境界部分の位置を決定することを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界方向決定ステップにて決定した方向が所定方向でない場合に、前記特定領域を拡大する特定領域拡大ステップを更に含み、前記ノイズ境界方向決定ステップでは、前記特定領域拡大ステップにて拡大した特定領域について方向決定を再度行うことを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界方向決定ステップにて決定した方向が所定方向となるまで、又は、前記特定領域拡大ステップにて特定領域を所定の大きさに拡大するまで、前記特定領域拡大ステップによる特定領域の拡大及び前記ノイズ境界方向決定手段による方向決定を繰り返して行うことを特徴とする。

また、本発明に係る画像処理方法は、前記第１の平滑化手段が用いる平滑化フィルタを複数記憶しておき、前記ノイズ境界位置決定ステップにて決定した位置及び前記ノイズ境界方向決定ステップにて決定した方向に応じて、記憶した複数の平滑化フィルタから、平滑化フィルタを選択するフィルタ選択ステップを含み、前記第１の平滑化ステップでは、前記フィルタ選択ステップにて選択した平滑化フィルタを用いて前記注目画素の画素値を平滑化することを特徴とする。

また、本発明に係る画像処理方法は、前記特定領域抽出ステップにて抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出ステップを含み、前記平滑化判定ステップでは、前記微分値算出ステップにて算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定することを特徴とする。

また、本発明に係る画像処理方法は、前記微分値算出ステップでは、隣接する画素間の画素値の１次微分値及び２次微分値を算出し、前記平滑化判定ステップでは、前記微分値算出ステップにて算出した１次微分値及び２次微分値に基づいて判定を行うことを特徴とする。

また、本発明に係る画像処理方法は、前記微分値算出ステップにて算出した１次微分値が閾値を超えるか否かに応じて、前記１次微分値を２値化する１次微分値２値化ステップと、前記１次微分値２値化ステップにて２値化した１次微分値の論理和を算出する第１論理和算出ステップと、前記微分値算出ステップにて算出した２次微分値が閾値を超えるか否かに応じて、前記２次微分値を２値化する２次微分値２値化ステップと、前記２次微分値２値化ステップにて２値化した２次微分値の論理和を算出する第２論理和算出ステップと、前記第１論理和算出ステップでの算出結果及び前記第２論理和算出ステップでの算出結果の論理和を算出する第３論理和算出ステップとを含み、前記平滑化判定ステップでは、前記第３論理和算出ステップによる算出結果に基づいて判定を行うことを特徴とする。

また、本発明に係る画像処理方法は、前記微分値算出ステップ、前記１次微分値２値化ステップ、前記第１論理和算出ステップ、前記２次微分値２値化ステップ、前記第２論理和算出ステップ及び前記第３論理和算出ステップでは、前記特定領域の縦方向及び横方向についてそれぞれ処理を行い、前記平滑化判定ステップでは、前記第３論理和算出ステップによる前記縦方向及び横方向の算出結果に基づいて判定を行うことを特徴とする。

また、本発明に係る画像処理方法は、前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定ステップを含み、該ノイズ境界方向決定ステップでは、前記第３論理和算出ステップによる前記縦方向及び横方向の算出結果に基づいて、ノイズの境界部分が前記特定領域において前記縦方向及び／又は前記横方向に延在しているか否かを決定することを特徴とする。

また、本発明に係る画像処理方法は、前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定ステップを含み、該ノイズ境界位置決定ステップでは、前記２次微分値２値化ステップにて２値化した２次微分値の前記特定領域内におけるパターンに基づいて、前記特定領域におけるノイズの境界部分の位置を決定することを特徴とする。

また、本発明に係る画像処理方法は、各々が特定方向に関するエッジ成分の強度を検出するソーベルフィルタを異なる方向について複数記憶しておき、前記特定領域抽出ステップにて抽出した特定領域に対して、記憶した複数のソーベルフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を複数方向について算出するエッジ強度算出ステップと、前記エッジ強度算出ステップにて算出した複数のエッジ強度の最大値及び最小値の差分が閾値を超えるか否かを判定するエッジ強度差分判定ステップとを更に含み、前記第２の平滑化ステップでは、前記差分が前記閾値を超えないと前記エッジ強度差分判定ステップにて判定した場合、エッジ保存型でない平滑化フィルタを用いて前記特定領域の注目画素の画素値を平滑化することを特徴とする。

また、本発明に係る画像処理方法は、前記第２の平滑化ステップによる平滑化結果を適用するか否かを判定する適用判定ステップを備え、前記生成ステップは、前記入力画像の各画素の画素値を、前記第１の平滑化ステップにて平滑化した画素値、前記第２の平滑化ステップにて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成することを特徴とする。

また、本発明に係る画像処理方法は、前記特定領域抽出ステップにて抽出した特定領域に対してラプラシアンフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を算出する第２のエッジ強度算出ステップと、該第２のエッジ強度算出ステップにて算出した強度が閾値を超えるか否かを判定するエッジ強度判定ステップとを含み、前記適用判定ステップでは、前記強度が前記閾値を超えると前記エッジ強度判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用すると判定し、前記強度が前記閾値を超えないと前記エッジ強度判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用しないと判定することを特徴とする。

また、本発明に係る画像処理方法は、前記特定領域抽出ステップにて抽出した特定領域内にて特定方向に隣接する画素間の画素値の増減回数を算出する増減回数算出ステップと、該増減回数算出ステップにて算出した増減回数が閾値を超えるか否かを判定する増減回数判定ステップとを含み、前記適用判定ステップでは、前記増減回数が前記閾値を超えないと前記増減回数判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用すると判定し、前記増減回数が前記閾値を超えると前記増減回数判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用しないと判定することを特徴とする。

また、本発明に係る画像処理方法は、前記特定領域抽出ステップにて抽出した特定領域に含まれる注目画素の画素値、及び、前記第２の平滑化ステップにより平滑化された画素値の差分を算出する平滑差分算出ステップと、該平滑差分算出ステップにて算出した差分が閾値を超えるか否かを判定する平滑差分判定ステップとを含み、前記適用判定ステップでは、前記差分が前記閾値を超えないと前記平滑差分判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用すると判定し、前記差分が前記閾値を超えると前記平滑差分判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用しないと判定することを特徴とする。

また、本発明に係る画像処理方法は、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理方法において、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、該特定領域抽出ステップにて抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定ステップと、該平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化ステップと、前記平滑化判定ステップにて第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化ステップと、該第２の平滑化ステップによる平滑化結果を適用するか否かを判定する適用判定ステップと、前記入力画像の各画素の画素値を、前記第１の平滑化ステップにて平滑化した画素値、前記第２の平滑化ステップにて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成する生成ステップとを含むことを特徴とする。

また、本発明に係る画像処理方法は、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理方法において、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、該特定領域抽出ステップにて抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出ステップと、該微分値算出ステップにて算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定する平滑化判定ステップと、該平滑化判定ステップにて平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定ステップと、前記平滑化判定ステップにて平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定ステップと、前記平滑化判定ステップにて平滑化処理の対象とすると判定した場合に、前記ノイズ境界方向決定ステップにて決定した方向及び前記ノイズ境界位置決定ステップにて決定した位置に基づいて、前記注目画素に対する平滑化処理を行う平滑化ステップとを含むことを特徴とする。

また、本発明に係る画像処理方法は、マトリクス状に配された複数の画素で構成される入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、該特定領域抽出ステップにて抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出ステップと、該微分値算出ステップにて算出した微分値に基づいて、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定ステップと、前記微分値算出ステップにて算出した微分値に基づいて、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定ステップとを含むことを特徴とする。

また、本発明に係るコンピュータプログラムは、コンピュータに、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行わせるコンピュータプログラムにおいて、コンピュータを、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、該平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段と、前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、又は、前記第２の平滑化手段にて平滑化した画素値のいずれかとした出力画像を生成する生成手段として動作させることを特徴とする。

また、本発明に係るコンピュータプログラムは、コンピュータに、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行わせるコンピュータプログラムにおいて、コンピュータを、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、該平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段と、該第２の平滑化手段による平滑化結果を適用するか否かを判定する適用判定手段と、前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、前記第２の平滑化手段にて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成する生成手段として動作させることを特徴とする。

また、本発明に係るコンピュータプログラムは、コンピュータに、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行わせるコンピュータプログラムにおいて、コンピュータを、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、該微分値算出手段が算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定する平滑化判定手段と、該平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、前記平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段と、前記平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記ノイズ境界方向決定手段が決定した方向及び前記ノイズ境界位置決定手段が決定した位置に基づいて、前記注目画素に対する平滑化処理を行う平滑化手段として動作させることを特徴とする。

また、本発明に係るコンピュータプログラムは、コンピュータを、マトリクス状に配された複数の画素で構成される入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、該微分値算出手段が算出した微分値に基づいて、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段として動作させることを特徴とする。

本発明においては、入力画像から注目画素を含む特定領域を抽出して隣接する画素間の画素値の微分値を算出し、算出した微分値に基づいて特定領域内の注目画素を平滑化処理の対象とするか否かを判定する。平滑化処理の対象とする場合、ノイズの境界部分の延在方向及びその位置を決定する。
これにより、ノイズの境界部分の方向及び位置に基づいて適切なフィルタリング処理が可能となり、入力画像からノイズを精度よく除去又は低減することが可能となる。

また、本発明においては、特定領域内のノイズの境界部分の延在方向が所定方向でない場合、特定領域を拡大してノイズの境界部分の方向決定を再度行う。これは、ノイズの境界部分の方向が所定方向となるまで又は特定領域が所定の大きさに拡大されるまで、繰り返し行う構成であってよい。これにより、種々の大きさのブロックノイズを精度よく検出することができる。

また、本発明においては、隣接画素間の画素値の１次微分値及び２次微分値を算出して、特定領域内の注目画素に対する平滑化処理を行うか否かを判定する。このとき、閾値との比較により１次微分値を２値化してその論理和を算出し、同様に閾値との比較により２次微分値を２値化して論理和を算出し、１次微分値の論理和及び２次微分値の論理和の論理和を更に算出して、算出結果に基づいて判定を行う構成とすることができる。またこれらの演算は、画像の縦方向及び横方向（垂直方向及び水平方向）についてそれぞれ処理を行い、各方向の処理結果に基づいて平滑化処理を行うか否かの判定を行う構成とすることができる。
これらにより、特定領域内のノイズを精度よく検出することができる。

また、本発明においては、上記の演算を行うことにより得られる縦方向及び横方向のそれぞれに関する論理和に基づいて、ノイズの境界部分が縦方向及び／又は横方向に延在しているか否かを決定する。これによりノイズの境界部分の延在方向が縦方向及び／又は横方向であるか否かを容易に判断することができる。
また２値化した２次微分値の特定領域内における０／１の配置パターンに基づいて、特定領域内のノイズの境界部分の位置を決定する。これによりノイズの境界部分の位置を容易に決定することができる。

また、本発明においては、ノイズを除去又は低減するための平滑化フィルタを複数記憶しておき、特定領域内に存在するノイズの境界部分の位置及び方向に応じて平滑化フィルタを選択し、選択した平滑化フィルタにて特定領域の注目画素の画素値を平滑化する。これにより特定領域内のノイズの境界部分の位置及び方向に適した平滑化を行うことができる。

また、本発明においては、入力画像から抽出した特定領域に基づいて注目画素を第１の平滑化処理の対象とするか否かを判定し、第１の平滑化処理の対象とすると判定した場合には、平滑化フィルタを用いた第１の平滑化処理を行う。第１の平滑化処理の対象としないと判定した場合には、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行う。このとき、特定領域内の画素値又は第２の平滑化処理の結果等に応じて、第２の平滑化処理の結果を採用するか否かを判定する。
また画像処理装置は、第１の平滑化処理にて平滑化された画素値、第２の平滑化処理にて平滑化された画素値、又は、平滑化していない元の入力画像の画素値のいずれか１つを、入力画像の注目画素に対する出力画像の画素値として選択する。入力画像の全ての画素についてこのような選択を行うことで出力画像を生成することができる。
これにより、入力画像の各画素に適した平滑化を行うことができると共に、平滑化が不要な画素については平滑化を行うことなく出力画像を生成することができる。

また、本発明においては、複数のソーベルフィルタを用いて特定領域に含まれるエッジ成分の強度を複数方向について算出し、算出した複数のエッジ強度から最大値及び最小値を選択し、それらの差分が閾値を超えるか否かを判定する。差分が閾値を超えない場合、特定領域はエッジ成分が含まれない略平坦な画像であるとみなせるため、エッジ保存型ではない平滑化フィルタを用いて平滑化を行うことができる。

また、本発明においては、エッジ保存型の平滑化フィルタを用いた平滑化の処理結果を適用するか否かを一又は複数の条件に基づいて判定する。
例えば、入力画像が明確なエッジ又はパターン等を有する画像である場合、平滑化処理を行うことによって画質を劣化させる虞があるため、平滑化処理の結果を適用せずに元の画素値を採用する。

例えば、抽出した特定領域に対してラプラシアンフィルタを用いたフィルタ処理を行い、特定領域に含まれるエッジ成分の強度を算出し、算出した強度が閾値を超えるか否かを判定する。エッジ成分の強度が閾値を超える場合には平滑化処理結果を適用し、閾値を超えない場合には平滑化処理結果を適用しない。

また例えば、入力画像が１画素単位などの細かいテクスチャを含む画像である場合、その配列などによってはエッジ強度が小さく判定され、エッジ保存型の平滑化フィルタにてそのエッジが保存されずに平滑化処理がなされ、テクスチャが不明瞭になるなどの虞がある。そこで、特定領域内の画素の振動数（画素値の増減回数）を算出し、算出した振動数が閾値より大きい場合には、この特定領域がテクスチャ領域であるとみなし、平滑化処理の結果を適用しない。これにより、平滑化処理によってテクスチャが劣化することを防止できる。

また例えば、特定領域内にて注目画素のみ他の画素とは大きく画素値が異なる場合、これがテクスチャであるか又はノイズであるかを判別することは難しい。このような場合に平滑化の影響を低減するため、平滑化処理の前後における注目画素の画素値の差分を算出する。算出した差分が閾値を超える場合、平滑化処理の結果を適用しない。これにより平滑化の影響を閾値内に抑えることができる。

本発明による場合は、入力画像に含まれるノイズを精度よく検出することができると共に、ノイズの境界部分の位置及び方向に適した平滑化を行うことが可能となるため、入力画像からノイズを精度よく除去又は低減することができる。また、特定領域内のノイズの境界部分の方向が所定方向でない場合に、特定領域を拡大してノイズの境界部分の方向決定を再度行うことにより、種々の大きさのブロックノイズを精度よく検出することができる。

また、注目画素に対する出力画像の画素値として、平滑化フィルタを用いて平滑化された画素値、エッジ保存型の平滑化フィルタを用いて平滑化された画素値、又は、平滑化していない元の画素値のいずれかを選択して出力する構成とすることにより、入力画像の各画素に対してノイズの種類などに適した平滑化を行うことができ、ノイズを除去又は低減して高品質な出力画像を生成することができる。

本実施の形態に係る表示装置の構成を示すブロック図である。 画像処理部の一構成例を示すブロック図である。 画像処理部によるノイズ除去処理の手順の一例を示すフローチャートである。 画像処理部が行う平滑化判定処理の手順の概略を示すフローチャートである。 ステップＳ２１にて行う水平方向判定処理を説明するための模式図である。 画像処理装置が行う水平方向判定処理の手順を示すフローチャートである。 ステップＳ２２にて行う垂直方向判定処理を説明するための模式図である。 ノイズ境界方向決定処理を説明するための模式図である。 ノイズ境界位置決定処理を説明するための模式図である。 平滑化フィルタの一例を示す模式図である。 平滑化フィルタの一例を示す模式図である。 エッジ保存型の平滑化フィルタの一例を示す模式図である。 エッジ保存型の平滑化フィルタの一例を示す模式図である。 エッジ保存型の平滑化フィルタの一例を示す模式図である。 方向判定のためのソーベルフィルタの一例を示す模式図である。 ソーベルフィルタにより算出される値と角度との対応の一例を示すグラフである。 強度推定のための補間処理を説明するための模式図である。 ソーベルフィルタにより算出される値と角度との対応の一例を示すグラフである。 エッジ保存型の平滑化処理の手順を示すフローチャートである。 ラプラシアンフィルタを用いたエッジ量判定を説明するための模式図である。 振動数に基づく適用判定を説明するための模式図である。 振動数に基づく適用判定を説明するための模式図である。 適用判定処理の手順を示すフローチャートである。 適用判定処理の手順を示すフローチャートである。 変形例に係るＰＣの構成を示すブロック図である。

以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。なお本実施の形態においては、ＰＣ（Personal Computer）などの外部装置からの入力画像に対してノイズを除去又は低減する画像処理を行って液晶パネルなどの表示部に画像を表示する表示装置を例に、画像処理装置、画像処理方法及びコンピュータプログラムの構成を説明する。図１は、本実施の形態に係る表示装置の構成を示すブロック図である。図において１は表示装置であり、ＰＣ５などの外部装置から入力される静止画像又は動画像に対して種々の画像処理を施し、液晶パネル１３に表示する処理を行う装置である。

表示装置１は、ＰＣ５からの入力画像に基づいて液晶パネル１３を駆動するための画像入力部１６、画像伸張部１７、画像処理部２０及びパネル駆動部１８等を備えている。また表示装置１は、液晶パネル１３の背面へ表示のための光を照射するバックライト１４、及びこれを駆動するライト駆動部１５を備えている。また表示装置１は、ユーザの操作を受け付ける操作部１２、及び、受け付けた操作に応じて装置内の各部の動作を制御する制御部１１を備えている。

制御部１１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置を用いて構成されている。操作部１２は、表示装置１の筐体の正面周縁部又は側面等に配された一又は複数のスイッチなどを有し、これらのスイッチによってユーザの操作を受け付け、受け付けた操作内容を制御部１１へ通知する。例えばユーザは画像表示に係る明るさ設定又はカラーバランス設定の変更操作を操作部１２にて行うことができ、制御部１１は、操作部１２にて受け付けた設定内容に応じて、装置内の各部の動作を制御する。

画像入力部１６は、外部機器を接続するための接続端子を有し、ＰＣ５等の外部装置が映像信号用のケーブルを介して接続される。本実施の形態においては、ＰＣ５から表示装置１へＭＰＥＧ又はＪＰＥＧ等の圧縮方式で圧縮された画像データが入力画像として入力される。画像入力部１６は、ＰＣ５からの入力画像を画像伸張部１７へ与える。画像伸張部１７は、画像入力部１６からの入力画像を、それぞれの圧縮方式に対応した方法で伸張し、画像処理部２０へ与える。

画像処理部２０は、画像伸張部１７から与えられた入力画像に対して、種々の画像処理を施すことができる。本実施の形態において、画像処理部２０は、入力画像に含まれるブロックノイズなどの階段状ノイズを除去（又は低減）する画像処理を行うことができる。なお画像処理部２０が行うノイズ除去の画像処理の詳細については後述する。画像処理部２０は、画像処理を施した画像をパネル駆動部１８へ与える。

パネル駆動部１８は、画像処理部２０から与えられた入力画像に応じて、液晶パネル１３を構成する各画素を駆動するための駆動信号を生成して出力する。液晶パネル１３は、複数の画素がマトリクス状に配され、各画素の透過率をパネル駆動部１８からの駆動信号に応じて変化させることにより画像を表示する表示デバイスである。

バックライト１４は、例えばＬＥＤ（Light Emitting Diode）又はＣＣＦＬ（Cold Cathode Fluorescent Lamp）等の光源を用いて構成され、液晶パネル１３の背面に光を照射する。バックライト１４は、ライト駆動部１５から与えられる駆動電圧又は駆動電流により発光する。ライト駆動部１５は、制御部１１からの制御信号に応じて駆動電圧又は駆動電流を生成し、バックライト１４へ出力する。制御部１１は、例えば操作部１２にて受け付けた明るさ設定などに応じてバックライト１４の駆動量を決定し、決定した駆動量に応じた制御信号をライト駆動部１５へ出力する。

図２は、画像処理部２０の一構成例を示すブロック図であり、入力画像からのノイズ除去処理に関するブロックを図示してある。画像処理部２０は、入力画像から特定サイズの領域を抽出する特定領域抽出部２１を備えている。特定領域抽出部２１は、入力画像中の一の画素（以下、注目画素という）に対して、この注目画素を中心とした例えば５×５画素の特定領域を抽出する処理を行う。特定領域抽出部２１が抽出した特定領域は、平滑化判定部２２、第１平滑化部２３、第２平滑化部２４、適用判定部２５及び画素値選択部２６へ与えられる。

平滑化判定部２２は、特定領域抽出部２１が抽出した特定領域に含まれる複数の画素の画素値及びその変化等を調べることにより、特定領域に含まれる注目画素の平滑化を実施するか否かを判定する処理を行う。平滑化判定部２２は、平滑化処理の実施可否を画素値選択部２６へ通知する。また平滑化判定部２２は、特定領域内にノイズ境界が存在する場合、特定領域内におけるノイズ境界の方向及び位置を決定する処理を行う。平滑化判定部２２は、決定したノイズ境界の方向及び位置を第１平滑化部２３へ与える。

第１平滑化部２３は、複数の平滑化フィルタを記憶しており、これらの中から一の平滑化フィルタを選択して特定領域に対するフィルタリング処理を行うことにより画像の平滑化を行う。第１平滑部２３は、平滑化判定部２２から与えられたノイズ境界の方向及び位置に応じて一の平滑化フィルタを選択する。第１平滑化部２３は、平滑化フィルタによって特定領域を平滑化した結果、即ち平滑化された特定領域の注目画素の画素値を画素値選択部２６へ与える。

第２平滑化部２４は、特定領域に対してエッジ保存型の平滑化フィルタを用いたフィルタリング処理を行う。エッジ保存型の平滑化フィルタは、特定領域に含まれる高周波成分（エッジなど）を保存して画素値を平滑化することができ、画質に大きな劣化を生じさせないフィルタリング処理を行うことが可能である。第２平滑部２４は、エッジ方向に対応した複数のエッジ保存型の平滑化フィルタを記憶しており、特定領域に含まれるエッジの方向を判定し、エッジ方向に応じたフィルタを用いて平滑化を行う。第２平滑化部２４は、エッジ保存型の平滑化フィルタによって特定領域を平滑化した結果、即ち平滑化された特定領域の注目画素の画素値を画素値選択部２６へ与える。また第２平滑化部２４による平滑化結果は、適用判定部２５へも与えられる。

適用判定部２５は、特定領域の画素値の特徴及び／又は第２平滑化部２４による平滑化結果等に基づいて、第２平滑化部２４による平滑化結果を適用するか否かの判定を行う。適用判定部２５は、例えば特定領域内のエッジ成分の量、特定領域内の画素値の変化パターン、及び／又は、第２平滑化部２４による平滑化前後の画素値の差等に基づいて判定を行う。適用判定部２５は、判定結果を画素値選択部２６へ与える。

画素値選択部２６には、入力画像の注目画素に対して、第１平滑化部にて平滑化された画素値、第２平滑化部にて平滑化された画素値、及び、平滑化が行われていない元の画素値の３つの画素値が入力される。画素値選択部２６は、平滑化判定部２２が判定した平滑化処理の実施可否、及び、適用判定部２５による判定結果に応じて、入力された３つの画素値から１つの画素値を選択して出力する。

平滑化判定部２２にて平滑化処理を行うと判定された場合、画素値選択部２６は、第１平滑化部２３にて平滑化された画素値を選択して出力する。平滑化判定部２２にて平滑化処理を行わない判定され、且つ、適用判定部２５にて適用すると判定された場合、画素値選択部２６は、第２平滑化部２４にて平滑化された画素値を選択して出力する。平滑化判定部２２にて平滑化処理を行わない判定され、且つ、適用判定部２５にて適用しないと判定された場合、画素値選択部２６は、平滑化が行われていない元の画素値を選択して出力する。

画像処理部２０は、入力画像の全ての画素について特定領域抽出部２１〜画素値選択部２６の処理を行うことによって、出力画像を生成することができ、生成した画像をパネル駆動部１８へ出力する。なお、図２のブロック図に示した画像処理部２０は、第１平滑化部２３及び第２平滑部２４等が並列的に処理を行って、各処理の処理結果を最終的に選択する構成であるが、これに限るものではない。画像処理部２０は、以下に示すように平滑化処理を行うか否かの条件判定を逐次的に行い、条件を満たす場合にいずれか一方の平滑化処理を行う構成としてもよい。

図３は、画像処理部２０によるノイズ除去処理の手順の一例を示すフローチャートである。画像処理部２０は、画像伸張部１７からの入力画像から一の注目画素を選択し（ステップＳ１）、選択した注目画素を含む所定サイズの特定領域を抽出する（ステップＳ２）。次いで画像処理部２０は、抽出した特定領域に対して平滑化判定処理を行い（ステップＳ３）、平滑化判定処理にて特定領域内の注目画素に対する平滑化処理を実施すると判定されたか否かを調べる（ステップＳ４）。

平滑化処理を実施すると判定された場合（Ｓ４：ＹＥＳ）、画像処理部２０は、平滑化フィルタを用いて特定領域のフィルタリング処理を行う（ステップＳ５）。このとき画像処理部２０は、平滑化判定処理にて決定されるノイズ境界の方向及び位置に基づいて、予め記憶した複数の平滑化フィルタから一の平滑化フィルタを選択してフィルタリング処理を行う。画像処理部２０は、平滑化フィルタによるフィルタリング処理が施された特定領域の注目画素の画素値を処理結果として出力する（ステップＳ６）。

また平滑化処理を実施しないと判定された場合（Ｓ４：ＮＯ）、画像処理部２０は、エッジ保存型の平滑化フィルタを用いて特定領域のフィルタリング処理を行うと共に（ステップＳ７）、このフィルタリング処理の結果に関する適用判定処理を行う（ステップＳ８）。このとき画像処理部２０は、特定領域に含まれるエッジの方向などに基づいて、予め記憶した複数のエッジ保存型の平滑化フィルタから一つを選択してフィルタリング処理を行う。また画像処理部２０は、特定領域内のエッジ成分の量、特定領域内の画素値の変化パターン及びステップＳ７での平滑化結果等のうちの一又は複数の条件に基づいて適用判定処理を行う。

適用判定処理により、画像処理部２０は、エッジ保存型の平滑化フィルタのフィルタリング処理の結果を適用するか否かを判定する（ステップＳ９）。適用すると判定した場合（Ｓ９：ＹＥＳ）、画像処理部２０は、エッジ保存型の平滑化フィルタによるフィルタリング処理が施された特定領域の注目画素の画素値を処理結果として出力する（ステップＳ１０）。また適用しないと判定した場合（Ｓ９：ＮＯ）、画像処理部２０は、ステップＳ１にて選択した注目画素の画素値を出力する（ステップＳ１１）。

画像処理部２０は、上記のステップＳ１〜Ｓ１１の処理を入力画像の全画素について繰り返し行うことによって、出力画像を生成することができる。生成される出力画像の各画素は、入力画像の各画素に対して、平滑化フィルタによるフィルタリング処理を行った画素、エッジ保存型の平滑化フィルタによるフィルタリング処理を行った画素、又は、平滑化を行っていない画素（入力画像と同じ画素）のいずれかであり、出力画像は入力画像からブロックノイズなどの階段状ノイズが除去又は低減された画像となる。

＜１．平滑化判定処理＞
＜１−１．処理概要＞
次に、画像処理部２０が行う平滑化判定処理について説明する。平滑化判定処理は、図２の平滑化判定部２２が行う処理であり、図３のステップＳ３にて行う処理である。図４は、画像処理部２０が行う平滑化判定処理の手順の概略を示すフローチャートである。まず画像処理部２０は、入力画像から抽出した特定領域について、水平方向（横方向）の判定処理（ステップＳ２１）及び垂直方向（縦方向）の判定処理（ステップＳ２２）を行って、特定領域に含まれる注目画素を平滑化処理の対象とするか否かを判定する（ステップＳ２３）。注目画素を平滑化処理の対象としないと判定した場合（Ｓ２３：ＮＯ）、画像処理部２０は、平滑化判定処理を終了する。

注目画素を平滑化処理の対象とすると判定した場合（Ｓ２３：ＹＥＳ）、画像処理部２０は、特定領域内に存在するノイズ境界の方向決定処理を行う（ステップＳ２４）。方向決定処理の結果から、画像処理部２０は、特定領域内に水平方向又は垂直方向のいずれか一方向に延在するノイズ境界が存在するか否かを判定する（ステップＳ２５）。

水平方向又は垂直方向のノイズ境界が存在しないと判定した場合（Ｓ２５：ＮＯ）、画像処理部２０は、特定領域内に他の方向に延在するノイズ境界が存在するか否かを判定する（ステップＳ２６）。ここで、他の方向に延在するノイズ境界とは、例えば特定領域内に斜め４５°若しくは１３５°等の方向に延在するノイズ境界、又は、例えば特定領域内に水平方向及び垂直方向に延在するＬ字型、Ｔ字型若しくは十字型等のノイズ境界などである。他の方向のノイズ境界が存在すると判定した場合（Ｓ２６：ＹＥＳ）、画像処理部２０は、平滑化判定処理を終了する。

また特定領域内にいずれのノイズ境界も存在しない場合、この特定領域はブロックノイズの内部領域に相当するとみなすことができる。そこで、特定領域内に他の方向のノイズ境界が存在しないと判定した場合（Ｓ２６：ＮＯ）、画像処理部２０は、特定領域のサイズが所定サイズであるか否かを判定する（ステップＳ２７）。特定領域が所定サイズでない場合（Ｓ２７：ＮＯ）、画像処理部２０は、特定領域を拡大し（ステップＳ２８）、ステップＳ２４へ処理を戻して、ノイズ境界の方向決定処理を再び行う。特定領域が所定サイズの場合（Ｓ２７：ＹＥＳ）、画像処理部２０は、平滑化判定処理を終了する。

特定領域内に水平方向又は垂直方向のノイズ境界が存在すると判定した場合（Ｓ２５：ＹＥＳ）、画像処理部２０は、特定領域内におけるノイズ境界の位置決定処理を行って（ステップＳ２９）、平滑化判定処理を終了する。

＜１−２．水平垂直判定＞
図５は、ステップＳ２１にて行う水平方向判定処理を説明するための模式図である。画像処理部２０は、入力画像から一の注目画素を選択し、この注目画素を含む所定サイズ（図示の例では５×５画素）の特定領域１００を抽出する。なお本図においては、特定領域１００内の注目画素に、ハッチングを付して示してある。水平方向判定処理において、画像処理部２０は、まず特定領域１００において水平方向に隣接する画素間の画素値の１次微分値（即ち、隣接画素間の画素値の差分）を算出する。これにより画像処理部２０は、４×５の１次微分値により構成される水平１次微分値マトリクス１０１を得る。画像処理部２０は、水平１次微分値マトリクス１０１の各１次微分値の絶対値と予め決定された閾値との比較により、水平１次微分値マトリクス１０１を２値化する（例えば１次微分値の絶対値≧閾値の場合に１、１次微分値の絶対値＜閾値の場合に０とする）。次いで画像処理部２０は、水平方向に並ぶ４つの２値化された１次微分値に対してＯＲ（論理和）演算を行い、５つの演算結果で構成される水平１次微分値ＯＲ列１０２を得る。

また画像処理部２０は、水平１次微分値マトリクス１０１において水平方向に隣接する１次微分値の微分値（即ち２次微分値）を算出する。これにより画像処理部２０は、３×５の２次微分値により構成される水平２次微分値マトリクス１０３を得る。画像処理部２０は、水平２次微分値マトリクス１０３の各２次微分値の絶対値と予め決定された閾値との比較により、水平２次微分値マトリクス１０３を２値化する（例えば２次微分値の絶対値≧閾値の場合に１、２次微分値の絶対値＜閾値の場合に０とする）。次いで画像処理部２０は、水平方向に並ぶ３つの２値化された２次微分値に対してＯＲ演算を行い、５つの演算結果で構成される水平２次微分値ＯＲ列１０４を得る。なお１次微分値を２値化するための閾値と、２次微分値を２値化するための閾値とは、同じ値であっても異なる値であってもよく、表示装置１の設計段階などにおいて決定される。

次いで画像処理部２０は、水平１次微分値ＯＲ列１０２と水平２次微分値ＯＲ列１０４との対応位置において２つの値のＯＲ演算を行い、５つの演算結果で構成される水平ＯＲ列１０５を得る。画像処理部２０は、水平ＯＲ列１０５の上位３つの値（即ち１番目〜３番目の値）のＯＲ演算を行って水平上位ＯＲ値１０６を得ると共に、下位３つの値（即ち３番目〜５番目の値）のＯＲ演算を行って水平下位ＯＲ値１０７を得る。更に画像処理部２０は、水平上位ＯＲ値１０６と水平下位ＯＲ値１０７とのＡＮＤ演算を行って、水平方向判定結果１０８を得る。

このようにして得られる水平方向判定結果１０８は、その値が”０”又は”１”の１ビットの情報である。水平方向判定結果１０８は、特定領域１００内の注目画素が、低周波成分の（水平方向に関して画素値の変化が一定且つ小さい）ブロックに含まれているか否かを示す。水平方向判定結果１０８の値が”０”の場合、注目画素が低周波成分のブロックに含まれる可能性があることを示している。逆に、水平方向判定結果１０８の値が”１”の場合、注目画素が低周波成分のブロックに含まれていない（即ち、ブロックノイズにはなりえない）ことを示している。

図６は、画像処理装置２０が行う水平方向判定処理の手順を示すフローチャートである。画像処理部２０は、特定領域１００の水平方向に隣接する画素間の１次微分値を算出する（ステップＳ３１）。画像処理部２０は、算出した１次微分値の絶対値と閾値との比較により、１次微分値を２値化し（ステップＳ３２）、２値化した１次微分値に対して水平方向のＯＲ演算を行う（ステップＳ３３）。また画像処理部２０は、ステップＳ３１の算出結果に対して更に水平方向の微分値を算出することで、特定領域１００の水平方向に関する２次微分値を算出する（ステップＳ３４）。画像処理部２０は、算出した２次微分値の絶対値と閾値との比較により、２次微分値を２値化し（ステップＳ３５）、２値化した２次微分値に対して水平方向のＯＲ演算を行う（ステップＳ３６）。

次いで画像処理部２０は、ステップＳ３３の演算結果と、ステップＳ３６の演算結果とを、対応する位置において更にＯＲ演算する（ステップＳ３７）。これにより複数個のＯＲ演算値が得られ、画像処理部２０は、上位半分の値のＯＲ演算と（ステップＳ３８）、下位半分の値のＯＲ演算と（ステップＳ３９）を行う。更に画像処理部２０は、ステップＳ３８の演算結果とステップＳ３９の演算結果とのＡＮＤ演算を行って（ステップＳ４０）、水平方向判定処理を終了する。

図７は、ステップＳ２２にて行う垂直方向判定処理を説明するための模式図である。なお垂直方向判定処理は、演算の方向が異なるのみで水平方向判定処理と略同じである。垂直方向判定処理において、画像処理部２０は、まず特定領域１００において垂直方向に隣接する画素間の画素値の１次微分値を算出する。これにより画像処理部２０は、５×４の１次微分値により構成される垂直１次微分値マトリクス１１１を得る。画像処理部２０は、垂直１次微分値マトリクス１１１の各１次微分値の絶対値と予め決定された閾値との比較により、垂直１次微分値マトリクス１１１を２値化する。次いで画像処理部２０は、垂直方向に並ぶ４つの２値化された１次微分値に対してＯＲ演算を行い、５つの演算結果で構成される垂直１次微分値ＯＲ行１１２を得る。

また画像処理部２０は、垂直１次微分値マトリクス１１１において垂直方向に隣接する１次微分値の微分値（即ち２次微分値）を算出する。これにより画像処理部２０は、５×３の２次微分値により構成される垂直２次微分値マトリクス１１３を得る。画像処理部２０は、垂直２次微分値マトリクス１１３の各２次微分値の絶対値と予め決定された閾値との比較により、垂直２次微分値マトリクス１１３を２値化する。次いで画像処理部２０は、垂直方向に並ぶ３つの２値化された２次微分値に対してＯＲ演算を行い、５つの演算結果で構成される垂直２次微分値ＯＲ行１１４を得る。

次いで画像処理部２０は、垂直１次微分値ＯＲ行１１２と垂直２次微分値ＯＲ行１１４との対応位置において２つの値のＯＲ演算を行い、５つの演算結果で構成される垂直ＯＲ行１１５を得る。画像処理部２０は、垂直ＯＲ行１１５の上位３つの値のＯＲ演算を行って垂直上位ＯＲ値１１６を得ると共に、下位３つの値のＯＲ演算を行って垂直下位ＯＲ値１１７を得る。更に画像処理部２０は、垂直上位ＯＲ値１１６と垂直下位ＯＲ値１１７とのＡＮＤ演算を行って、垂直方向判定結果１１８を得る。

このようにして得られる垂直方向判定結果１１８は、その値が”０”又は”１”の１ビットの情報である。垂直方向判定結果１１８は、特定領域１００内の注目画素が、低周波成分の（垂直方向に関して画素値の変化が一定且つ小さい）ブロックに含まれているか否かを示す。垂直方向判定結果１１８の値が”０”の場合、注目画素が低周波成分のブロックに含まれる可能性があることを示している。そして水平方向判定結果１０８の値が”０”であり、且つ、垂直方向判定結果１１８の値が”０”である場合、注目画素が低周波成分のブロックに含まれると判断できる。垂直方向判定結果１０８の値が”１”の場合、注目画素が低周波成分のブロックに含まれていないことを示している。

なお垂直方向判定処理は、水平方向判定処理と略同じ処理であるため、フローチャートの図示を省略する。垂直方向判定処理に係るフローチャートは、図６に示した水平方向判定処理のフローチャートにて、”水平方向”の記載を”垂直方向”に読み替えることにより得ることができる。

画像処理部２０は、水平方向判定処理にて得られる水平方向判定結果１０８と、垂直方向判定処理にて得られる垂直方向判定結果１１８とに基づいて、特定領域１００内の注目画素を平滑化処理の対象とするか否かを判定する。詳しくは、水平方向判定結果１０８が”０”であり、且つ、垂直方向判定結果１１８の値が”０”である場合に、画像処理部２０は、注目画素を平滑化処理の対象として、以降の処理を行う。また、水平方向判定結果１０８又は垂直方向判定結果１１８のいずれかの値が”１”である場合に、画像処理部２０は、注目画素を平滑化処理の対象外とし、平滑化判定処理を終了する。

＜１−３．ノイズ境界方向決定処理＞
特定領域１００内の注目画素を平滑化処理の対象とすると判定した場合、画像処理部２０は、特定領域１００に含まれるノイズ境界の延在方向を決定する処理を行う。図８は、ノイズ境界方向決定処理を説明するための模式図である。ノイズ境界方向決定処理において、画像処理部２０は、特定領域１００に含まれるノイズ境界の方向が、図８Ａの水平パターン、図８Ｂの垂直パターン、図８Ｃの内部パターン又は図８Ｄのその他パターンのいずれであるかを決定する。図８Ａの水平パターンは、特定領域１００の水平方向（横方向）にノイズ境界が延在するパターンである。図８Ｂの垂直パターンは、特定領域１００の垂直方向（縦方向）にノイズ境界が延在するパターンである。図８Ｃの内部パターンは、特定領域１００内にノイズ境界が含まれず、特定領域１００がブロックノイズの内部領域である場合のパターンである。図８Ｄのその他パターンは、図８Ａ〜Ｃ以外の全てのパターンであり、図示のパターンは一例である。

画像処理部２０は、上述の水平方向判定処理及び垂直方向判定処理の過程で生成したデータを利用して、ノイズ境界方向決定処理を行う。具体的には、画像処理部２０は、水平方向判定処理にて生成した水平ＯＲ列１０５と、垂直方向判定処理にて生成した垂直ＯＲ行１１５とを利用する。画像処理部２０は、水平ＯＲ列１０５に含まれる５つの値（ただし特定領域１００を拡大した場合には５つより多い値が含まれる）が全て”０”であるか否かを判定する。同様に画像処理部２０は、垂直ＯＲ行１１５に含まれる５つの値が全て”０”であるか否かを判定する。水平ＯＲ列１０５の値が全て”０”の場合、特定領域１００の画素値は水平方向に滑らかに変化している。また垂直ＯＲ行１１５の値が全て”０”の場合、特定領域１００の画素値は垂直方向に滑らかに変化している。

そこで画像処理部２０は、水平ＯＲ列１０５が全て”０”ではなく、垂直ＯＲ行１１５が全て”０”である場合、特定領域１００のノイズ境界が図８Ａの水平パターンであると決定する。画像処理部２０は、水平ＯＲ列１０５が全て”０”であり、垂直ＯＲ行１１５が全て”０”ではない場合、特定領域１００のノイズ境界が図８Ｂの垂直パターンであると決定する。画像処理部２０は、水平ＯＲ列１０５が全て”０”であり、且つ、垂直ＯＲ行１１５が全て”０”である場合、特定領域１００は図８Ｃの内部パターン（即ち、入力画像においてノイズ境界に囲まれた、挟まれた、又は、隣接した領域）であると決定する。また画像処理部２０は、水平ＯＲ列１０５が全て”０”ではなく、垂直ＯＲ行１１５が全て”０”ではない場合、特定領域１００のノイズ境界が図８Ｄのその他パターンであると決定する。

また、画像処理部２０は、ノイズ境界方向決定処理にて特定領域１００が図８Ｃの内部パターンであると決定した場合、この特定領域１００を拡大する（例えば、５×５画素→７×７画素→９×９画素→…）。画像処理部２０は、拡大した特定領域１００について、水平ＯＲ列１０５及び垂直ＯＲ行１１５を図５〜図７に示したものと同様の方法で算出する。画像処理部２０は、算出した水平ＯＲ列１０５及び垂直ＯＲ行１１５に基づいて、拡大した特定領域１００が図８に示すいずれのパターンであるかを決定する。画像処理部２０は、拡大した特定領域１００のノイズ境界が図８Ａの水平パターン、図８Ｂの垂直パターン若しくは図８Ｄのその他パターンであると判定するか、又は、特定領域１００の大きさが所定サイズ（例えば９×９画素など）となるまで、特定領域１００を拡大して処理を繰り返し行う。なお特定領域１００が所定サイズに達した場合、画像処理部２０は、それ以上の特定領域１００の拡大を行わず、平滑化判定処理を終了する。

＜１−４．ノイズ境界位置決定処理＞
画像処理部２０は、特定領域１００のノイズ境界が図８Ａの水平パターン又は図８Ｂの垂直パターンである場合に、特定領域１００におけるノイズ境界の位置を決定する処理を行う。図９は、ノイズ境界位置決定処理を説明するための模式図であり、特定領域１００のノイズ境界が垂直パターンである場合の例を示してある。５×５画素の特定領域１００に存在する垂直パターンのノイズ境界の位置は、図９Ａ〜図９Ｄに示す４つの位置のいずれかである。なおノイズ境界が水平パターンの場合の位置決定処理については、垂直パターンの場合と略同じであるため、説明を省略する。

画像処理部２０は、上述の水平方向判定処理の過程で生成したデータを利用して、ノイズ境界方向決定処理を行う。具体的には、画像処理部２０は、水平方向判定処理にて生成した水平２次微分値マトリクス１０３を閾値との比較によって２値化した２値化水平２次微分値マトリクス１０３ａを利用する。例えば図９Ａに示すようにノイズ境界が特定領域１００の左端に位置する場合、３×５の２値化水平２次微分値マトリクス１０３ａは、１列目に”１”を含み、２列目及び３列目が”０”のパターンとなる。図９Ｂに示すようにノイズ境界が特定領域１００の中央左に位置する場合、３×５の２値化水平２次微分値マトリクス１０３ａは、１列目及び２列目に”１”を含み、３列目が”０”のパターンとなる。図９Ｃに示すようにノイズ境界が特定領域１００の中央右に位置する場合、３×５の２値化水平２次微分値マトリクス１０３ａは、２列目及び３列目に”１”を含み、１列目が”０”のパターンとなる。図９Ｄに示すようにノイズ境界が特定領域１００の右端に位置する場合、３×５の２値化水平２次微分値マトリクス１０３ａは、３列目に”１”を含み、１列目及び２列目が”０”のパターンとなる。

よって画像処理部２０は、水平方向判定処理にて生成した２値化水平２次微分値マトリクス１０３ａに含まれる”０”及び”１”の配置パターンを調べることにより、特定領域１００に含まれる垂直パターンのノイズ境界の位置を決定することができる。なお水平パターンのノイズ境界の位置決定も同様であり、画像処理部２０は、垂直方向判定処理にて生成した垂直２次微分値マトリクス１１３を閾値との比較によって２値化した２値化垂直２次微分値マトリクス利用し、この２値化垂直２次微分値マトリクスに含まれる”０”及び”１”の配置パターンを調べることにより、特定領域１００に含まれる水平パターンのノイズ境界の位置を決定することができる。

＜２．平滑化処理＞
上述の平滑化判定処理にて平滑化処理を行うと判定された場合、画像処理部２０は、この特定領域１００の画素値を平滑化する処理を行う。画像処理部２０は、平滑化処理を行うための平滑化フィルタを複数記憶しており、ノイズ境界方向決定処理にて決定した方向及びノイズ境界位置決定処理にて決定した位置等に基づいて一の平滑化フィルタを選択し、選択した平滑化フィルタを用いて特定領域１００の注目画素の画素値を平滑化する。

図１０及び図１１は、平滑化フィルタの一例を示す模式図である。５×５画素の特定領域１００に対する平滑化フィルタのサイズは５×５である。特定領域の各画素値をａ_ij（ｉ＝１〜５、ｊ＝１〜５）とし、平滑化フィルタの各値をｆ_ij（ｉ＝１〜５、ｊ＝１〜５）とした場合、画像処理部２０は、Ａ＝（ａ₁₁×ｆ₁₁＋ａ₁₂×ｆ₁₂＋…＋ａ₅₅×ｆ₅₅）／（ｆ₁₁＋ｆ₁₂＋…＋ｆ₅₅）のマトリクス演算を行うことによって得られる値Ａを、注目画素の画素値を平滑化した値とする。なおこの演算方法は、以下に記載する他のフィルタ（エッジ保存型の平滑化フィルタ、ソーベルフィルタ及びラプラシアンフィルタ等）を用いたフィルタリング処理においても同様に用いられる。

図１０Ａに示す例は、特定領域１００のノイズ境界が垂直パターンである場合に用いる平滑化フィルタである。図１０Ａの平滑化フィルタは、３行目の５つの値が１に設定され、その他の値が０に設定されている。図１０Ａの平滑化フィルタを用いることにより、特定領域１００の注目画素と、この注目画素の左右両側に位置する４つの画素との平均値を算出することができ、画像処理部２０は、５つの画素の平均値を注目画素の平滑化結果として出力する。図１０Ａの平滑化フィルタは、垂直パターンのノイズ境界に対して交差する方向の画素値の平均値を算出することで平滑化を行うものである。

図１０Ｂに示す例は、図１０Ａと同様に特定領域１００のノイズ境界が垂直パターンである場合に用いる平滑化フィルタである。ただし図１０Ｂの平滑化フィルタは、ノイズ境界の位置を更に考慮したものであり、ノイズ境界の位置が図９Ｂに示した中央左である場合に用いるものである。図１０Ｂの平滑化フィルタは、中央の値が３に設定され、その左隣の値が２に設定され、その他の値が０に設定されている。図１０Ｂの平滑化フィルタを用いることにより、特定領域１００の注目画素と、その左隣の画素との重み付けした平均値を算出することができ、画像処理部２０は、この平均値を注目画素の平滑化結果として出力する。

図１０Ｃに示す例は、特定領域１００のノイズ境界が水平パターンである場合に用いる平滑化フィルタである。図１０Ｃの平滑化フィルタは、３列目の５つの値が１に設定され、その他の値が０に設定されている。図１０Ｃの平滑化フィルタを用いることにより、特定領域１００の注目画素と、この注目画素の上下両側に位置する４つの画素との平均値を算出することができ、画像処理部２０は、５つの画素の平均値を注目画素の平滑化結果として出力する。図１０Ｃの平滑化フィルタは、水平パターンのノイズ境界に対して交差する方向の画素値の平均値を算出することで平滑化を行うものである。

図１１Ｄに示す例は、特定領域１００のノイズ境界がその他パターンである場合に用いる平滑化フィルタである。図１１Ｄの平滑化フィルタは、５×５＝２５個全ての値が１に設定されている。図１１Ｄの平滑化フィルタを用いることにより、特定領域１００の全画素の画素値の平均値を算出することができ、画像処理部２０は、この平均値を注目画素の平滑化結果として出力する。

図１１Ｅに示す例は、５×５画素の特定領域１００内にノイズ境界が存在せず、７×７画素に拡大した場合にノイズ境界が存在した特定領域１００に対して用いる平滑化フィルタである。なお、図１１Ｅの平滑化フィルタは、図１１Ｄの平滑化フィルタを拡大したものであり、ノイズ境界がその他パターンである場合に用いるものである。同様にして、図１０Ａ〜Ｃの平滑化フィルタを７×７のサイズに拡大することが可能である。図１１Ｅの平滑化フィルタを用いることにより、拡大した特定領域１００の全画素の画素値の平均値を算出することができ、画像処理部２０は、この平均値を注目画素の平滑化結果として出力する。

このように画像処理部２０は、ノイズ境界の方向及び位置等に応じて平滑化フィルタを選択し、特定領域１００の注目画素の画素値を平滑化して出力する。なお、図１０及び図１１に示した平滑化フィルタは一例であってこれに限るものではない。また画像処理部２０は、ノイズ境界の有無を判定するがその方向及び位置の決定を行わず、ノイズ境界が存在すると判定した特定領域１００に対しては図１１に示す平滑化フィルタによるフィルタリング処理を行う構成としてもよい。

＜３．エッジ保存型の平滑化処理＞
＜３−１．エッジ保存型の平滑化フィルタ＞
上述の平滑化判定処理にて平滑化処理を実施しないと判定された場合、画像処理部２０は、エッジ保存型の平滑化フィルタを用いて、特定領域１００の注目画素の画素値を平滑化する処理を行う。画像処理部２０は、エッジ保存型の平滑化フィルタを複数記憶しており、特定領域１００に含まれるエッジ成分の方向を判定し、判定したエッジ成分の方向に応じて一のフィルタを選択し、選択したフィルタを用いて特定領域１００の注目画素の画素値を平滑化する。

図１２〜図１４は、エッジ保存型の平滑化フィルタの一例を示す模式図である。本実施の形態において、画像処理部２０は、特定領域１００のエッジ成分の方向が、水平（０°）、斜め４５°、垂直（９０°）、斜め１３５°、斜め２２．５°、斜め６７．５°、斜め１１２．５°若しくは斜め１５７．５°の８方向、又は、方向なしのいずれであるかを判定する。このため画像処理部２０は、８方向に対応する８つのエッジ保存型平滑化フィルタと、方向なし判定に対応するエッジ保存型ではない等方の平滑化フィルタとを記憶している。

図１２Ａに示すフィルタは、水平方向のエッジ成分を保存する平滑化フィルタである。画像処理部２０は、特定領域１００のエッジ成分の方向が水平方向であると判定した場合に、図１２Ａのフィルタを用いた平滑化処理を行う。図１２Ａのフィルタを用いたフィルタリング処理を画像処理部２０が行うことによって、特定領域１００の注目画素の画素値と、注目画素に対してエッジ成分の方向に沿った左右両側に位置する４つの画素の画素値との重み付けした平均値が算出される。画素値の重み付けは、注目画素に近い画素ほど重くなるようになされる。画像処理部２０は、算出した平均値を、注目画素の平滑化結果として出力する。

図１２Ｂに示すフィルタは、斜め４５°方向のエッジ成分を保存する平滑化フィルタであり、注目画素とこれに対して斜め４５°方向に位置する４つの画素の画素値との重み付けした平均値を算出することができる。同様に、図１２Ｃに示すフィルタは、垂直（９０°）方向のエッジ成分を保存する平滑化フィルタである。また図１２Ｄに示すフィルタは、斜め１３５°方向のエッジ成分を保存する平滑化フィルタである。

図１３Ｅに示すフィルタは、斜め２２．５°方向のエッジ成分を保存する平滑化フィルタであり、注目画素とこれに対して斜め２２．５°方向に位置する６つの画素の画素値との重み付けした平均値を算出することができる。同様に、図１３Ｆに示すフィルタは、斜め６７．５°方向のエッジ成分を保存する平滑化フィルタである。図１３Ｇに示すフィルタは、斜め１１２．５°方向のエッジ成分を保存する平滑化フィルタである。図１３Ｈに示すフィルタは、斜め１５７．５°方向のエッジ成分を保存する平滑化フィルタである。

図１４に示すフィルタは、特定領域１００のエッジ成分の方向が上記の８方向には該当しないと判定された場合に用いられる平滑化フィルタである。この平滑化フィルタは、注目画素からの距離に応じた重み付けを行って、特定領域１００内の全画素の画素値の重み付けした平均値を算出することができる。

また図１２及び図１３に示した８方向のエッジ保存型平滑化フィルタを基に、任意の角度ｘ（０°＜ｘ＜１８０°）の方向に関するエッジを保存する平滑化フィルタＸを、以下の式を用いて生成することができる。ただし、図１２に示した０°方向のエッジ保存型平滑化フィルタをＡとし、４５°方向のエッジ保存型平滑化フィルタをＢとし、９０°方向のエッジ保存型平滑化フィルタをＣとし、１３５°方向のエッジ保存型平滑化フィルタをＤとする。また、図１３に示した２２．５°方向のエッジ保存型平滑化フィルタをＥとし、６７．５°方向のエッジ保存型平滑化フィルタをＦとし、１１２．５°方向のエッジ保存型平滑化フィルタをＧとし、１５７．５°方向のエッジ保存型平滑化フィルタをＨとする。

０°＜ｘ＜２２．５°の場合： Ｘ＝αＡ＋（１−α）Ｅ
２２．５°＜ｘ＜４５°の場合： Ｘ＝αＥ＋（１−α）Ｂ
４５°＜ｘ＜６７．５°の場合： Ｘ＝αＢ＋（１−α）Ｆ
６７．５°＜ｘ＜９０°の場合： Ｘ＝αＦ＋（１−α）Ｃ
９０°＜ｘ＜１１２．５°の場合： Ｘ＝αＣ＋（１−α）Ｇ
１１２．５°＜ｘ＜１３５°の場合： Ｘ＝αＧ＋（１−α）Ｄ
１３５°＜ｘ＜１５７．５°の場合： Ｘ＝αＤ＋（１−α）Ｈ
１５７．５°＜ｘ＜１８０°の場合： Ｘ＝αＨ＋（１−α）Ａ

ただし上記の式において、αは角度ｘに応じて定まる係数であり、０＜α＜１である。例えばｘ＝１０°の場合、α＝（１０−０）／（２２．５−０）＝０．４４となる。また例えばｘ＝７５°の場合、α＝（７５−６７．５）／（９０−６７．５）＝０．３３となる。即ち、ｍ＜ｘ＜ｎにおいて、α＝（ｘ−ｍ）／（ｎ−ｍ）にて決定することができる。

＜３−２．エッジ方向判定＞
（ａ）エッジ強度算出処理
画像処理部２０は、これら複数のエッジ保存型の平滑化フィルタから一のフィルタを選択するために、特定領域１００のエッジ成分の方向を判定する必要がある。例えば画像処理部２０は、ソーベルフィルタを用いたフィルタリング処理を行うことによってエッジ成分の方向判定を行うことができる。図１５は、方向判定のためのソーベルフィルタの一例を示す模式図である。画像処理部２０は、エッジ成分の方向が水平（０°）、斜め４５°、垂直（９０°）及び斜め１３５°の４方向のいずれであるかを判定するために、各方向に対応した図１５Ａ〜Ｄに示す４つのソーベルフィルタを用いる。

図示のソーベルフィルタは、３×３の行列であり、値が０に設定された要素の配置方向に対して直交する方向のエッジ成分の強度を判定するためのものである。画像処理部２０は、特定領域１００における注目画素を中心とした３×３の領域に対して、図示のソーベルフィルタを用いたフィルタリング処理を行うことによってエッジ成分の強度を算出する（なお算出される値は、絶対値が０に近いほどエッジ成分の強度が強いことを示す）。

また上述のように、エッジ保存型の平滑化フィルタは、０°、４５°、９０°及び１３５°に対応した４つのフィルタ以外に、２２．５°、６７．５°、１１２．５°及び１５７．５°に対応した４つのフィルタが用いられる。このため画像処理部２０は、２２．５°、６７．５°、１１２．５°及び１５７．５°に関するエッジ成分の強度を取得する必要がある。そこで画像処理部２０は、以下に説明する２つの方法のいずれか（又は両方を組み合わせて用いて）、２２．５°、６７．５°、１１２．５°及び１５７．５°に関するエッジ成分の強度を算出又は推定する。

エッジ成分の強度を取得する第１の方法は、画像処理部２０が、０°、４５°、９０°及び１３５°に対応する４つの基本ソーベルフィルタに加えて、２２．５°、６７．５°、１１２．５°及び１５７．５°に対応する４つの拡張ソーベルフィルタを記憶しておき、これら８つのソーベルフィルタを用いてエッジ成分の強度を算出する。

任意の角度ｘ［ｒａｄ］に対応する拡張ソーベルフィルタＸは、以下の（１）〜（４）式にて算出することができる。なお、０＜ｘ＜πとする。また、角度０（０°）の基本ソーベルフィルタをＡ、角度π／４（４５°）の基本ソーベルフィルタをＢ、角度π／２（９０°）の基本ソーベルフィルタをＣ、角度３π／４（１３５°）の基本ソーベルフィルタをＤとしてある。また角度π（１８０°）のソーベルフィルタは、角度０の基本ソーベルフィルタの符号を反転させたものとすることができる。よって、角度πのソーベルフィルタをＥ（＝−Ａ）とする。

０＜ｘ＜π／４の場合： Ｘ＝αＡ＋（１−α）Ｂ …（１）
π／４＜ｘ＜π／２の場合： Ｘ＝αＢ＋（１−α）Ｃ …（２）
π／２＜ｘ＜３π／４の場合： Ｘ＝αＣ＋（１−α）Ｄ …（３）
３π／４＜ｘ＜πの場合： Ｘ＝αＤ＋（１−α）Ｅ …（４）

ただし上記の式において、αは角度ｘに応じて定まる係数であり、０＜α＜１である。例えばｘ＝π／８の場合、α＝１／２となる。また例えばｘ＝π／６の場合、α＝２／３となる。即ち、０＜ｘ＜π／４において、係数αは、算出するソーベルフィルタＸの角度ｘ及び角度０との差分と、角度ｘ及びπ／４との差分との比率に応じて決定することができる。他の角度範囲についても同様である。ｍ＜ｘ＜ｎにおいて、α＝（ｘ−ｍ）／（ｎ−ｍ）にて決定することができる。

また、上記の（１）〜（４）式に基づけば、任意の角度ｘ［ｒａｄ］についてエッジ成分の強度を算出するための３×３のソーベルフィルタは、下記の（５）〜（８）式にて生成することができる。なお、０≦ｘ＜πである。

上記の（５）〜（８）式を用いることによって、２２．５°、６７．５°、１１２．５°及び１５７．５°の拡張ソーベルフィルタを生成することができる。また上記の（５）〜（８）式は、図１５Ａ〜Ｄに示した基本ソーベルフィルタを生成することもできる。

例えば斜め２２．５°（ｘ＝π／８）のソーベルフィルタは、上記の（５）式における（ａ）の行列にて、α＝１／２、β＝３／２、γ＝３／２、δ＝１／２となる。ここで、図１５Ａに示した０°のソーベルフィルタと図１５Ｃに示した４５°のソーベルフィルタとを比較すると、４５°のソーベルフィルタに含まれる各値は、０°のソーベルフィルタの各値を４５°回転して配置したものであることが分かる。同様に、上記の式にて算出した２２．５°のソーベルフィルタの値は、０°のソーベルフィルタの各値を２２．５°回転したものに相当する。また、２２．５°のソーベルフィルタの各値は、０°及び４５°のソーベルフィルタの対応する値の平均値としたものに相当する。

エッジ成分の強度を取得する第１の方法では、画像処理部２０は、予め生成された４つの基本ソーベルフィルタ及び４つの拡張ソーベルフィルタを記憶しており、これら８つのソーベルフィルタを用いてエッジ強度を算出する。画像処理部２０は、８方向に関するエッジ成分の強度を算出することができ、算出した強度を基に、図１２及び図１３に示したエッジ保存型の平滑化フィルタからいずれか１つを選択することができる。このように、画像処理部２０は、記憶しているエッジ保存型の平滑化フィルタの角度に一対一に対応して、同数のソーベルフィルタを記憶していてよい。（この場合、画像処理部２０は、各ソーベルフィルタを用いて算出したエッジ成分の強度に基づいていずれの平滑化フィルタを用いるかを判断できるため、以下の（ｂ）エッジ強度推定処理を行わなくてよい。）

これに対して、エッジ成分の強度を取得する第２の方法では、画像処理部２０は、図１５Ａ〜Ｄに示した４つのソーベルフィルタを記憶しており、斜め２２．５°、６７．５°、１１２．５°及び１５７．５°のソーベルフィルタは記憶していなくてよい。ソーベルフィルタを記憶していない角度に関するエッジ成分の強度については、以下の（ｂ）エッジ強度推定処理にて画像処理部２０が算出する。

（ｂ）エッジ強度推定処理
記憶しているエッジ保存型の平滑化フィルタの数に対して、記憶しているソーベルフィルタの数が少ない場合、画像処理部２０は、ソーベルフィルタを用いて算出することができない方向についてのエッジ成分の強度を推定する処理を行う。画像処理部２０は、（ａ）エッジ強度算出処理にて算出した複数のエッジ成分の強度を基に、これ以外の方向に関するエッジ成分の強度を推定する。

図１６は、ソーベルフィルタにより算出される値（絶対値）と角度との対応の一例を示すグラフである。図１６に示すグラフは、横軸を角度［°］とし、縦軸をソーベルフィルタにより算出されたエッジ成分の強度を示す値の絶対値としてある。図１６に示すように、エッジ成分に方向の依存性がある場合、ソーベルフィルタを用いて算出される値の絶対値の変化は、極大値及び極小値を有する変化となる。本実施の形態に係る表示装置１の画像処理部２０は、図１５に示した４つのソーベルフィルタにより算出される０°、４５°、９０°及び１３５°の４方向のエッジ成分の強度を基に補間処理を行うことによって、他の方向に関するエッジ成分の強度を推定する。

図１７は、強度推定のための補間処理を説明するための模式図である。図中の黒丸で示す点は、ソーベルフィルタを用いたフィルタリング処理により算出された強度を示す点である。ここでは図示のＡ１（Ｘ１，Ｙ１）、Ａ２（Ｘ２，Ｙ２）、Ａ３（Ｘ３，Ｙ３）及びＡ４（Ｘ４，Ｙ４）の４点が算出されたものとする。また図中のハッチングを付した丸で示す点は、Ａ１〜Ａ４に基づいて推定される強度を示す点Ｃ（Ｘｉ，Ｙｉ）である。また点Ｃは、点Ａ２及びＡ３の間の点であり、座標Ｘ２〜座標Ｘｉの距離と座標Ｘｉ〜座標Ｘ３の距離との比率がｒ：１−ｒ（ただし０＜ｒ＜１）であるものとする。

また図中の白丸で示す点Ｂ１３は、点Ａ１及びＡ３から線形補間（一次補間）によって補間される座標Ｘ２の点である。同様に点Ｂ２４は、点Ａ２及びＡ４から線形補間によって補間される座標Ｘ３の点である。点Ｂ２３は、点Ａ２及びＡ３から線形補間によって補間される座標Ｘｉの点である。また点Ａ２及び点Ｂ１３間の距離（両点のＹ座標の差分）をΔαとし、点Ａ３及び点Ｂ２４間の距離をΔβとする。同様に、点Ｂ２３及び点Ｃ間の距離をΔとする。

これらから、推定する点Ｃの座標Ｙｉは、以下の（１１）式で表すことができる。
Ｙｉ＝（１−ｒ）×Ｙ２＋ｒ×Ｙ３＋Δ …（１１）
また上記の（１１）式においてΔは以下の（１２）式で表すことができる。
Δ＝（１−ｒ）×Δα＋ｒ×Δβ …（１２）
また更にΔα及びΔβは以下の（１３）式及び（１４）式で表すことができる。
Δα＝Ｙ２−（Ｙ１＋Ｙ３）／２ …（１３）
Δβ＝Ｙ３−（Ｙ２＋Ｙ４）／２ …（１４）

即ち、算出すべき点Ｃは、近傍の２点（点Ａ２及びＡ３）による線形補間により補間される点（点Ｂ２３）に対して、離れた２点（点Ａ１及びＡ４）を用いて線形補間により近傍の２点を補間した点（点Ｂ１３及びＢ２４）の誤差（Δα及びΔβ）を重み付けして平均値を算出し、この平均値（Δ）を加えた点に相当する。

以上の（１１）式〜（１４）式をソーベルフィルタにより算出したエッジ成分の強度に適用する。図１５に示す０°、４５°、９０°及び１３５°のソーベルフィルタにより算出されるエッジ成分の強度（絶対値）をそれぞれａ、ｂ、ｃ及びｄとし、推定する２２．５°のエッジ成分の強度（絶対値）をｅとする。なお本例では強度の絶対値を扱うため、１３５°におけるエッジ成分の強度は、−４５°における強度とみなすことができる。

よって、図１７に示す点Ａ１〜Ａ４及びＣは以下の座標となる。
Ａ１（１３５°，ｄ）
Ａ２（０°，ａ）
Ａ３（４５°，ｂ）
Ａ４（９０°，ｃ）
Ｃ（２２．５°，ｅ）
またこの場合、ｒ＝１／２である。

これらの値を（１１）式〜（１４）式に代入すると、以下の（２１）式が得られる。
ｅ＝｛３×（ａ＋ｂ）−（ｃ＋ｄ）｝／４ …（２１）
同様にして、６７．５°のエッジ成分の強度をｆとし、１１２．５°のエッジ成分の強度をｇとし、１５７．５°のエッジ成分の強度をｈとすると、以下の（２２）式〜（２４）式が得られる。
ｆ＝｛３×（ｂ＋ｃ）−（ｄ＋ａ）｝／４ …（２２）
ｇ＝｛３×（ｃ＋ｄ）−（ａ＋ｂ）｝／４ …（２３）
ｈ＝｛３×（ｄ＋ａ）−（ｂ＋ｃ）｝／４ …（２４）

よって画像処理部２０は、図１５に示す４つのソーベルフィルタにより算出されるエッジ成分の強度ａ〜ｄと上記の（２１）式〜（２４）式とに基づき、ソーベルフィルタにて算出できない他の方向に関するエッジ成分の強度ｅ〜ｈを推定することができる。

（ｃ）エッジ方向判定処理
画像処理部２０は、４つの基本ソーベルフィルタ及び４つの拡張ソーベルフィルタを用いて８方向のエッジ成分の強度を算出する（第１の方法）。又は、画像処理部２０は、図１５Ａ〜Ｄの４つのソーベルフィルタを用いて各方向についてのエッジ成分の強度を算出すると共に、その他の方向についてのエッジ成分の強度を推定する（第２の方法）。画像処理部２０は、算出又は推定により得られた複数のエッジ成分の強度を比較し、最も強度が強い（算出した値の絶対値が最も小さい）方向を、特定領域１００のエッジ成分の方向と判定する。画像処理部２０は、判定した方向に対応するエッジ保存型の平滑化フィルタ（図１２及び図１３参照）を読み出し、特定領域１００に対するフィルタリング処理を行って、注目画素の画素値を平滑化する。

ただし、ソーベルフィルタを用いたエッジ成分の強度算出では、例えば特定領域１００が１ドットのテクスチャ又は１ドット幅の細線等を含む画像である場合、エッジ成分の方向を判定することは難しい。図１８は、ソーベルフィルタにより算出される値（絶対値）と角度との対応の一例を示すグラフである。図１８に示すグラフは、横軸を角度［°］とし、縦軸をソーベルフィルタにより算出されたエッジ成分の強度を示す値の絶対値としてある。また図１８に示す例は、１ドットのテクスチャ又は１ドット幅の細線等を含む画像に対してソーベルフィルタを用いた演算を行った結果である。

図１８に示すように、１ドットのテクスチャ又は１ドット幅の細線等を含む画像の場合、ソーベルフィルタにて算出されるエッジ成分の強度は、角度による変化が少ない。そこで画像処理部２０は、算出したエッジ成分の強度の絶対値及びこれらから推定したエッジ成分の強度の絶対値から、最大値及び最小値を選別してその差分を算出する。画像処理部２０は、算出した差分が閾値を超えない場合、特定領域１００は方向性のない画像であるとみなし、図１４に示した等方な平滑化フィルタを用いた平滑化処理を行う。

図１９は、エッジ保存型の平滑化処理の手順を示すフローチャートであり、図３のステップＳ７にて行う処理である。エッジ保存型の平滑化処理において、画像処理部２０は、まずメモリなどに予め記憶した複数のソーベルフィルタを読み出す（ステップＳ５１）。画像処理部２０は、各ソーベルフィルタを用いて特定領域１００に対するフィルタリング処理を行い、各方向に関するエッジ成分の強度を算出する（ステップＳ５２）。

次いで画像処理部２０は、算出した複数のエッジ成分の強度を基に、その他の方向に関するエッジ成分の強度を推定する（ステップＳ５３）。画像処理部２０は、ステップＳ５２にて算出した強度の絶対値及びステップＳ５３にて推定した強度の絶対値の最大値及び最小値の差分を算出し（ステップＳ５４）、算出した差分が閾値を超えるか否かを判定する（ステップＳ５５）。

差分が閾値を超える場合（Ｓ５５：ＹＥＳ）、画像処理部２０は、ステップＳ５２にて算出した強度及びステップＳ５３にて推定した強度から、強度が最大となるもの（絶対値が最小のもの）を判定することで、特定領域１００に含まれるエッジ成分の方向を判定する（ステップＳ５６）。画像処理部２０は、判定したエッジ成分の方向に対応したエッジ保存型の平滑化フィルタを読み出す（ステップＳ５７）。

また、差分が閾値を超えない場合（Ｓ５５：ＮＯ）、画像処理部２０は、特定領域１００のエッジ成分に方向性がないと判断し、エッジ保存型の平滑化フィルタではなく、等方の平滑化フィルタを読み出す（ステップＳ５８）。

画像処理部２０は、ステップＳ５７又はＳ５８にて読み出した平滑化フィルタを用いて特定領域１００に対するフィルタリング処理を行い、注目画素を平滑化して（ステップＳ５９）、処理を終了する。

＜４．適用判定＞
上述のように画像処理部２０は、平滑化判定処理にて平滑化処理を実施しないと判定された場合、エッジ保存型の平滑化フィルタを用いた平滑化処理を行う。エッジ保存型の平滑化フィルタは、ある程度の高周波成分を含む領域に対して実施するものであるが、例えば明確なエッジ又はパターン等を有する画像などの場合には、フィルタリング処理を行うことによって画質が劣化する虞がある。そこで画像処理部２０は、エッジ保存型平滑化フィルタによる平滑化結果を適用するか否かの判定を、一又は複数の条件に基づいて行う。以下に、判定条件の例を３つ挙げて説明する。

（１）エッジ量判定
例えば画像処理部２０は、特定領域１００内のエッジ成分の量（強度）を算出し、算出したエッジ量が閾値より小さい場合に、エッジ保存型の平滑化フィルタによる平滑化処理結果を適用すると判定する。これにより、エッジ量が大きい場合には平滑化が行われないため、明確なエッジ又はパターン等を有する画像が平滑化されて画質が劣化することを防止できる。特定領域１００のエッジ量は、例えばラプラシアンフィルタを用いて算出することができる。

図２０は、ラプラシアンフィルタを用いたエッジ量判定を説明するための模式図である。画像処理部２０は、予め記憶したラプラシアンフィルタ１２１を用いて処理を行う。図示の例では、ラプラシアンフィルタ１２１は、３×３の行列であり、中央の値が８に設定され、その周囲の他の値が全て−１に設定されている。

画像処理部２０は、５×５の行列である特定領域１００から、３×３の部分領域１００ａ〜１００ｉを抽出する。５×５の行列からは、３×３の部分領域１００ａ〜１００ｉを９通り抽出することが可能である。画像処理部２０は、抽出した各部分領域１００ａ〜１００ｉに対してラプラシアンフィルタ１２１を用いたフィルタリング処理を行い、処理結果として９個の値Ａ〜Ｉを算出する。画像処理部２０は、各値Ａ〜Ｉの絶対値の総和を評価値Ｓとして算出する（即ち、Ｓ＝｜Ａ｜＋｜Ｂ｜＋…＋｜Ｉ｜）。

算出された評価値Ｓは、特定領域１００内のエッジ成分の量を表している。画像処理部２０は、算出した評価値Ｓが閾値を超えるか否かを判定する。画像処理部２０は、評価値Ｓが閾値を超えない場合に、エッジ保存型の平滑化フィルタを用いた平滑化処理の結果を適用すると判定する。また画像処理部２０は、評価値Ｓが閾値を超える場合、エッジ保存型の平滑化フィルタを用いた平滑化処理の結果を適用しないと判定する。

（２）テクスチャ判定
また、１画素単位の細かいテクスチャ画像などの場合、平滑化処理を行うとそのテクスチャがつぶれて画質が劣化する虞がある。そこで、例えば画像処理部２０は、特定領域１００内の画素値の変化特性などに基づいてテクスチャ画像であるか否かを判断し、テクスチャ画像でない場合に平滑化処理結果を適用すると判定し、テクスチャ画像の場合には平滑化処理結果を適用しないと判定する構成とすることができる。

例えば画像処理部２０は、特定領域１００内の画素の振動数（画素値の増減回数）を算出し、この振動数に基づいてエッジ保存型の平滑化フィルタを用いた平滑化処理結果を適用するか否かを判定する。図２１及び図２２は、振動数に基づく適用判定を説明するための模式図である。図２１Ａ〜図２２Ｄに示すように、画像処理部２０は、特定領域１００の水平方向、垂直方向、斜め４５°方向及び斜め１３５°方向の４方向について振動数の算出を行う。

図２１Ａに示すように、画像処理部２０は、５×５の特定領域１００内にて水平方向に隣り合う画素の画素値の差分を算出し、算出した差分値による４×５の行列を生成する。なおこのときに画像処理部２０は、算出した差分値が閾値以下のものについては、該当する行列の値を０とする。

次いで画像処理部２０は、４×５の行列の水平方向について隣り合う値の符号（プラス、マイナス又は値が０）を調べて、隣り合う値の各組に対してポイント付けを行う。画像処理部２０は、隣り合う値の符号が異なる場合、又は、隣り合う値のいずれか一方が０であり他方が０出ない場合、この組に対して１点のポイントを付与する。画像処理部２０は、このようなポイント付けを４×５の行列にて水平方向に隣り合う値の全ての組に対して行うことにより、３×５＝１５個のポイントを得る。画像処理部２０は、これら１５個のポイントの総和を算出し、この総和の３倍の値を水平方向の振動数Ａとする。なお総和を３倍して振動数Ａとするのは、後述の斜め４５°及び１３５°方向の演算では得られるポイントの数が９個と少ないことから、算出される振動数に対してポイントの数に応じた重みを付して正規化するためである。

同様にして、図２１Ｂに示すように、画像処理部２０は、特定領域１００内にて垂直方向に隣り合う画素の画素値の差分による５×４の行列を生成する（差分値が閾値以下のものは行列の値を０とする）。画像処理部２０は、５×４の行列の垂直方向について隣り合う値の符号に基づくポイント付けを行い、５×３＝１５個のポイントを得る。画像処理部２０は、これら１５個のポイントの総和を算出し、この総和の３倍の値を垂直方向の振動数Ｂとする。

図２２Ｃに示すように、画像処理部２０は、特定領域１００内にて斜め４５°方向に隣り合う画素の画素値の差分による４×４の行列を生成する。（差分値が閾値以下のものは行列の値を０とする）。画像処理部２０は、４×４の行列の斜め４５°方向について隣り合う値の符号に基づくポイント付けを行い、３×３＝９個のポイントを得る。画像処理部２０は、これら９個のポイントの総和を算出し、この総和の５倍の値を斜め４５°方向の振動数Ｃとする。

図２２Ｄに示すように、画像処理部２０は、特定領域１００内にて斜め１３５°方向に隣り合う画素の画素値の差分による４×４の行列を生成する。（差分値が閾値以下のものは行列の値を０とする）。画像処理部２０は、４×４の行列の斜め１３５°方向について隣り合う値の符号に基づくポイント付けを行い、３×３＝９個のポイントを得る。画像処理部２０は、これら９個のポイントの総和を算出し、この総和の５倍の値を斜め１３５°方向の振動数Ｃとする。

画像処理部２０は、算出した４つの振動Ｓ81
数Ａ〜Ｄから最小値を選択し、この最小値が閾値を超えるか否かを判定する。画像処理部２０は、振動数Ａ〜Ｄの最小値が閾値を超えない場合、エッジ保存型の平滑化フィルタを用いた平滑化処理の結果を適用すると判定する。また画像処理部２０は、振動数Ａ〜Ｄの最小値が閾値を超える場合、エッジ保存型の平滑化フィルタを用いた平滑化処理の結果を適用しないと判定する。

（３）画素値変化量判定
また例えば画像処理部２０は、エッジ保存型の平滑化フィルタを用いた平滑化処理による注目画素の画素値の変化量に応じて、平滑化処理結果を適用するか否かの判定を行う構成とすることができる。画像処理部２０は、平滑化処理を行う前の注目画素の画素値（即ち入力画像の画素値）と、平滑化処理を行った注目画素の画素値との差分を算出し、この差分が閾値を超えない場合に平滑化処理結果を適用すると判定し、差分が閾値を超える場合に平滑化処理結果を適用しないと判定する。これにより平滑化処理によって注目画素の画素値が大きく変化することを防止することができる。

画像処理部２０は、上記（１）〜（３）の判定により、エッジ保存型平滑化フィルタを用いた平滑化処理の結果を適用するか否かを判定する。詳しくは、画像処理部２０は、上記の（１）〜（３）の判定の全てにおいてエッジ保存型の平滑化処理の結果を適用すると判定した場合に、平滑化処理の結果を適用する。上記の（１）〜（３）の判定のいずれかにおいてエッジ保存型の平滑化処理の結果を適用しないと判定した場合、画像処理部２０は、平滑化処理の結果を適用しない。なお画像処理部２０は、上記（１）〜（３）の３条件の判定を全て行うのではなく、３条件のうち１つ又は２つの判定を行う構成であってもよい。また画像処理部２０は、上記（１）〜（３）とは異なる条件に基づいて適用判定を行う構成であってよい。

また本実施の形態においては、例えば図３のフローチャートに示すように画像処理部２０はエッジ保存型平滑化フィルタを用いた平滑化処理を行った後で、この平滑化結果を適用するか否かを判定する構成としたが、これに限るものではない。適用判定の条件（３）のような平滑化結果を参照した適用判定を行わない場合、画像処理部２０は、適用判定を先に行い、判定結果に応じてエッジ保存型平滑化フィルタによる平滑化処理を行う構成としてもよい。

図２３及び図２４は、適用判定処理の手順を示すフローチャートであり、図３のステップＳ８にて行う処理である。まず画像処理部２０は、エッジ量判定の処理を行う。画像処理部２０は、５×５の特定領域１００から３×３の部分領域１００ａ〜１００ｉを一つ抽出し（ステップＳ７１）、抽出した部分領域に対してラプラシアンフィルタ１２１によるフィルタリング処理を行う（ステップＳ７２）。画像処理部２０は、全ての特定領域１００ａ〜１００ｉの抽出及びラプラシアンフィルタ１２１によるフィルタリング処理を終了したか否かを判定する（ステップＳ７３）。これらの処理を全特定領域１００ａ〜１００ｉに対して行っていない場合（Ｓ７３：ＮＯ）、画像処理部２０は、ステップＳ７１へ処理を戻し、別の部分領域１００ａ〜１００ｉを抽出してラプラシアンフィルタ１２１によるフィルタリング処理を行う。

特定領域１００ａ〜１００ｉの抽出及びフィルタリング処理を全ての特定領域１００ａ〜１００ｉについて終了した場合（Ｓ７３：ＹＥＳ）、画像処理部２０は、フィルタリング処理にて算出した複数の値について、絶対値の総和を算出し（ステップＳ７４）、この総和を評価値Ｓとする。画像処理部２０は、評価値Ｓが閾値未満であるか否かを判定する（ステップＳ７５）。評価値Ｓが閾値以上である場合（Ｓ７５：ＮＯ）、画像処理部２０は、エッジ保存型の平滑化処理の結果を適用しないと判定し（ステップＳ８５）、適用判定処理を終了する。

評価値Ｓが閾値未満の場合（Ｓ７５：ＹＥＳ）、画像処理部２０は、テクスチャ判定の処理を行う。画像処理部２０は、特定領域１００の一の方向について、隣接する画素間の画素値の差分を算出する（ステップＳ７６）。画像処理部２０は、算出した差分により構成される行列について、一の方向に隣接する差分値の符号に基づいてポイントを付与する（ステップＳ７７）。画像処理部２０は、複数のポイントの総和を算出すると共に、算出した総和を所定倍して正規化を行い（ステップＳ７８）、正規化した値をこの方向についての振動数とする。その後、画像処理部２０は、処理を行うべき全方向についてステップＳ７６〜Ｓ７８の処理を終了したか否かを判定する（ステップＳ７９）。全方向について処理を終了していない場合（Ｓ７９：ＮＯ）、画像処理部２０は、ステップＳ７６へ処理を戻し、他の方向について同様の処理を行う。

全方向について処理を終了した場合（Ｓ７９：ＹＥＳ）、画像処理部２０は、各方向について算出した振動数から最小値を選択し（ステップＳ８０）、振動数の最小値が閾値未満であるか否かを判定する（ステップＳ８１）。振動数の最小値が閾値以上である場合（Ｓ８１：ＮＯ）、画像処理部２０は、エッジ保存型の平滑化処理の結果を適用しないと判定し（ステップＳ８５）、適用判定処理を終了する。

振動数の最小値が閾値未満の場合（Ｓ８１：ＹＥＳ）、画像処理部２０は、画素値変化量判定の処理を行う。画像処理部２０は、エッジ保存型の平滑化フィルタを用いた平滑化処理の前後の注目画素値について、変化量（差分）を算出し（ステップＳ８２）、この変化量が閾値未満であるか否かを判定する（ステップＳ８３）。変化量が閾値未満である場合（Ｓ８３：ＹＥＳ）、画像処理部２０は、エッジ保存型の平滑化処理の結果を適用すると判定し（ステップＳ８４）、適用判定処理を終了する。また変化量が閾値以上である場合（Ｓ８３：ＮＯ）、画像処理部２０は、エッジ保存型の平滑化処理の結果を適用しないと判定し（ステップＳ８５）、適用判定処理を終了する。

以上の構成の本実施の形態に係る表示装置１は、入力画像から注目画素を含む特定領域１００を抽出し、特定領域１００内の注目画素に対する平滑化処理を行うか否かの判定を行う。平滑化処理を行うと判定した場合、表示装置１は、平滑化フィルタを用いたフィルタリング処理を行って注目画素を平滑化する。平滑化処理を行わないと判定した場合、表示装置１は、エッジ保存型の平滑化フィルタを用いたフィルタリング処理を行って注目画素を平滑化する。このとき表示装置１は、特定領域１００内の画素値又はエッジ保存型の平滑化フィルタによる平滑化結果等に応じて、エッジ保存型の平滑化フィルタによる平滑化結果を適用するか否かを判定する。これらにより表示装置１は、入力画像の注目画素に対して、平滑化フィルタにより平滑化した画素値、エッジ保存型の平滑化フィルタにより平滑化した画素値、又は、平滑化を行っていない画素値を出力することができる。表示装置１は、これらの処理を入力画像の全画素について行うことにより、各画素に適した平滑化を行った出力画像を生成し、表示することができる。

また表示装置１は、特定領域１００にて画素間の画素値の微分値を算出し、算出した微分値に基づいて特定領域１００内の注目画素に対する平滑化処理を行うか否かを判定する。更に表示装置１は、平滑化処理を行うと判定した場合、特定領域１００内のノイズ境界の方向及び位置を決定する。これにより特定領域１００に存在するノイズ境界の方向及び位置に適した平滑化を行うことができるため、入力画像からノイズを精度よく除去又は低減することができる。

また表示装置１は、特定領域１００内のノイズ境界の方向が水平パターン、垂直パターン又はその他パターンでない場合（即ち特定領域１００内にノイズ境界が存在しない場合）、特定領域１００のサイズを拡大して、上記パターンのノイズ境界を検出するまで又は特定領域１００が所定の大きさに拡大されるまで、判定を繰り返し行う。これにより表示装置１は、種々の大きさのブロックノイズを精度よく検出して除去又は低減することができる。

また表示装置１は、特定領域１００の隣接画素間の画素値の１次微分値及び２次微分値を算出して、特定領域１００内の注目画素に対する平滑化処理を行うか否かを判定する。このとき表示装置１は、閾値との比較により１次微分値を２値化した行列を生成して、この行列の各行又は各列の論理和を算出すると共に、閾値との比較により２次微分値を２値化した行列を生成して、この行列の各行又は各列の論理和を算出する。表示装置１は、算出した１次微分値に関する論理和及び２次微分値に関する論理和の論理和を更に算出し、算出結果に基づいて平滑化処理の実施可否を判定する。これらにより表示装置１は、特定領域１００内の注目画素に対する平滑化処理の実施可否を精度よく判定することができる。

また表示装置１は、微分値の算出及び論理和の算出を特定領域１００の縦方向及び横方向について行い、各方向について算出した論理和に基づいてノイズ境界が縦方向又は横方向に延在しているか否かを決定する。また表示装置１は、２次微分値の行列における０／１の配置パターンに基づいて、特定領域１００内のノイズ境界の位置を決定する。これらにより表示装置１は、特定領域１００に含まれるノイズ境界の延在方向が縦方向又は横方向（垂直方向又は水平方向）のいずれであるか、及び、特定領域１００内のノイズ境界の位置を容易に判断することができる。

また表示装置１は、ノイズを除去又は低減するための平滑化フィルタを複数記憶し、決定したノイズ境界の方向及び／又は位置に応じて平滑化フィルタを選択し、選択した平滑化フィルタを用いて特定領域１００の注目画素の画素値を平滑化する。これにより表示装置１は、特定領域１００内のノイズ境界の方向及び位置に適した平滑化を行うことができる。

また表示装置１は、複数のソーベルフィルタを用いて特定領域１００に含まれるエッジ成分の強度を複数方向について算出すると共に、算出した強度に基づいて他の方向に関するエッジ成分の強度を推定する。表示装置１は、算出及び推定したエッジ成分の強度を基に、特定領域１００のエッジ成分の延在方向を決定し、決定した方向に対応したエッジ保存型の平滑化フィルタを用いて平滑化を行う。これにより表示装置１は、記憶したソーベルフィルタでは算出できない方向についてのエッジ成分の強度を推定することができ、より多くの方向についてエッジ成分の方向を決定することができる。よって表示装置１は、特定領域１００のエッジ成分により適したエッジ保存型の平滑化フィルタを選択することができ、精度のよい平滑化を行うことができる。

また表示装置１は、ソーベルフィルタによるエッジ成分の強度を少なくとも４方向（０°、４５°、９０°及び１３５°）について行い、算出した４つの強度に基づいて他の方向（２２．５°、６７．５°、１１２．５°及び１５７．５°）に関するエッジ成分の強度を推定する。表示装置１は、線形補間によりエッジ成分の強度を推定するための（２１）式〜（２４）式を記憶しており、ソーベルフィルタを用いて算出した４つの強度をこの演算式に代入することで、他の方向に関する強度の推定値を算出することができる。

また表示装置１は、０°、４５°、９０°及び１３５°に対応する４つの基本ソーベルフィルタに加えて、２２．５°、６７．５°、１１２．５°及び１５７．５°に対応する４つの拡張ソーベルフィルタを記憶し、８つのソーベルフィルタを用いて８方向に関する強度を算出してもよい。４つの拡張ソーベルフィルタは、（１）〜（４）式又は（５）〜（８）式にて予め算出することができる。これにより表示装置１は、特定領域１００のエッジ成分により適したエッジ保存型の平滑化フィルタを選択することができ、精度のよい平滑化を行うことができる。

また表示装置１は、算出及び推定した複数のエッジ強度から最大値及び最小値を選択し、これらの差分が閾値を超えるか否かを判定する。表示装置１は、差分が閾値を超えない場合、特定領域１００はエッジ成分を含まない略平坦な画像であるとみなし、エッジ保存型ではない等方の平滑化フィルタを用いて平滑化を行う。これによりエッジ成分を含まない画像を適切に平滑化することができる。

また表示装置１は、特定領域１００に対してラプラシアンフィルタを用いてエッジ成分の強度を算出し、算出した強度が閾値を超えるか否かを判定する。算出した強度が閾値を超えない場合、表示装置１は、エッジ保存型の平滑化フィルタを用いた平滑化処理の結果を適用しない。これにより、例えば入力画像が明確なエッジ又はパターン等を有する画像である場合に、平滑化処理によって画質を劣化させることを防止できる。

また表示装置１は、特定領域１００における隣接する画素の画素値の増減回数、即ち振動数を算出し、算出した振動数が閾値を超えるか否かを判定する。算出した振動数が閾値を超える場合、表示装置１は、エッジ保存型の平滑化フィルタを用いた平滑化処理の結果を適用しない。これにより、例えば入力画像が１画素単位などの細かいテクスチャを含む画像である場合に、平滑化処理によってテクスチャが不明瞭になるなどの画質の劣化を防止できる。

また表示装置１は、エッジ保存型の平滑化フィルタを用いた平滑化処理の前後における注目画素の画素値の変化量を算出し、算出した変化量が閾値を超えるか否かを判定する。変化量が閾値を超える場合、表示装置１は、エッジ保存型の平滑化フィルタを用いた平滑化処理の結果を適用しない。これにより、例えば特定領域１００内にて注目画素のみ他の画素とは大きく画素値が異なるなど、注目画素がテクスチャであるか又はノイズであるかを判別することが難しい場合に、平滑化の影響を低減することができる。

なお本実施の形態においては、特定領域１００内の注目画素に対する平滑化処理を行わないと判定した場合に、表示装置１はエッジ保存型の平滑化フィルタを用いた平滑化を行う構成としたが、これに限るものではなく、表示装置１はエッジ保存型の平滑化フィルタを用いた平滑化を行わない構成であってもよい。また表示装置１は、５×５画素の領域を特定領域１００として抽出する構成としたが、これに限るものではなく、例えば３×３画素又は７×７画素等のようにその他の大きさの領域を特定領域１００として抽出してもよい。また図１０及び図１１に示した平滑化フィルタは、一例であって、これに限るものではない。同様に図１２及び図１３に示したエッジ保存型の平滑化フィルタは、一例であって、これに限るものではない。また図１４に示した等方の平滑化フィルタは、一例であって、これに限るものではない。また図１５に示したソーベルフィルタ及び図２０に示したラプラシアンフィルタは、一例であって、これに限るものではない。

また表示装置１は、ソーベルフィルタを用いて０°、４５°、９０°及び１３５°のエッジ成分の強度を算出すると共に、２２．５°、６７．５°、１１２．５°及び１５７．５°のエッジ成分の強度を算出又は推定する構成としたが、これらの方向（角度）は一例であって、これに限るものではない。また表示装置１は、８つのソーベルフィルタを記憶しておき、８方向のエッジ成分の強度を算出する第１の方法、又は、４つのソーベルフィルタを記憶しておき、これ以外の４方向のエッジ成分の強度を推定する第２の方法のいずれを用いる構成であってもよい。また更には、第１及び第２の方法を組み合わせてもよい。例えば、６方向のソーベルフィルタにてエッジ成分の強度を算出し、残りの２方向のエッジ成分の強度を推定する構成とすることができる。また例えば、８方向のソーベルフィルタにて８方向のエッジ成分の強度を算出し、これ以外の更に８方向のエッジ成分の強度を推定して、１６方向のエッジ成分の強度を取得する構成とすることができる。

また表示装置１は、エッジ保存型の平滑化フィルタを用いた平滑化処理の結果を適用するか否かを、エッジ量判定、テクスチャ判定及び画素値変化量判定の３条件にて判定する構成としたが、これに限るものではない。表示装置１は、例えば上記３条件のうちの１つ又は２つの条件に基づいて適用判定を行ってもよく、また例えば上記３条件以外の条件に基づいて適用判定を行ってもよい。

また表示装置１は、平滑化フィルタによる第１の平滑化処理、又は、エッジ保存型の平滑化フィルタによる第２の平滑化処理の２種類の平滑化処理を入力画像に対して行う構成としたが、これに限るものではない。表示装置１は、第１の平滑化処理を行い、第２の平滑化処理を行わない構成であってもよい。この場合、例えば図３のフローチャートにおいて、ステップＳ４にて平滑化を実施しないと判定した場合、表示装置１は、ステップＳ１１の注目画素の画素値を出力する処理を行う構成とすればよい。

また表示装置１は、入力画像から抽出した特定領域１００に対して、ノイズ境界の方向決定処理（ステップＳ２４）及び位置決定処理（ステップＳ２９）を行い、決定した方向及び位置に基づいて、平滑化処理以外の画像処理を行う構成であってもよい。

また表示装置１は、第１の平滑化処理を行わずに、第２の平滑化処理を行う構成であってもよい。この場合、例えば図３のフローチャートにおいて、ステップＳ２にて特定領域１００を抽出した後、ステップＳ７へ処理を進めてエッジ保存型の平滑化フィルタによる平滑化処理を行う構成とすればよい。更に表示装置１は、エッジ保存型平滑化フィルタ処理の結果を適用するか否かの適用判定を行わない構成であってよい。この場合、エッジ保存型平滑化フィルタ処理の結果を常に適用する構成とすればよい。

また表示装置１は、入力画像から抽出した特定領域１００に対して、エッジ強度算出処理（ステップＳ５２）及びエッジ強度推定処理（ステップＳ５３）等を行った結果に基づいてエッジ成分の方向判定処理（ステップＳ５６）を行い、判定した方向に基づいて、平滑化処理以外の画像処理を行う構成であってもよい。

また本実施の形態においては、入力画像に含まれるノイズを除去又は低減する装置として表示装置１を例に説明を行ったが、これに限るものではなく、その他の種々の画像処理装置に同様の構成を適用することができる。例えばＰＣ５からの入力画像ではなく、チューナなどにて受信したテレビジョン放送に係る画像を表示する表示装置に同様の構成を適用することができる。また例えばプリンタ又はファクシミリ等のように入力画像を印刷する画像処理装置に同様の構成を適用することができる。

（変形例）
また例えばＰＣが画像の伸張及び上述のノイズ除去等の処理を行い、ノイズが除去又は低減された画像を表示装置へ入力する構成としてもよい。この場合、上述の画像処理の機能がコンピュータプログラムとして提供され、ＰＣのＣＰＵがコンピュータプログラムを実行することによって上述の画像処理が行われる構成であってよい。またコンピュータプログラムは、ディスク又はメモリカード等の記録媒体に記録されて提供されてもよく、インターネットなどのネットワークを介して提供されてもよい。

図２５は、変形例に係るＰＣ１５５の構成を示すブロック図である。変形例に係るＰＣ１５５は、ＪＰＥＧ又はＭＰＥＧ等の方式で圧縮された入力画像を伸張し、ノイズを除去又は低減する画像処理を行って表示装置１５１へ出力する。表示装置１５１は、ＰＣ１５５からの入力画像を液晶パネルに表示する。ＰＣ１５５は、ＣＰＵ１５６、操作部１５７、１次記憶部１５８、２次記憶部１５９、記録媒体装着部１６０、通信部１６１及び画像出力部１６２等を備えて構成されている。

ＣＰＵ１５６は、２次記憶部１５９に記憶された画像処理プログラム１８１を読み出して実行することにより、上述の画像伸張部１７及び画像処理部２０等がソフトウェア的な機能ブロックとして実現される。操作部１５７は、キーボード及びマウス等の入力装置であり、ユーザの操作を受け付けてＣＰＵ１５６へ通知する。１次記憶部１５８は、ＳＲＡＭ（Static Random Access Memory）などのメモリ素子で構成され、ＣＰＵ１５６の処理
に利用される種々のデータが一時的に記憶される。２次記憶部１５９は、ハードディスクなどの記憶装置で構成され、画像処理プログラム１８１などの種々のコンピュータプログラムと、このコンピュータプログラムの実行に要する種々のデータとが記憶される。記録媒体装着部１６０は、ディスクドライブ又はメモリカードスロット等の装置であり、ＤＶＤ（Digital Versatile Disk）又はメモリカード等の記録媒体１８０が装着され、記録媒体に記録されたコンピュータプログラム及びデータ等を読み出す。通信部１６１は、無線又は有線によりインターネットなどのネットワークを介して他の装置との通信を行うものである。画像出力部１６２は、ＣＰＵ１５６にて画像処理が施されたデータを表示装置１５１へ出力する。

図示の例では、画像処理プログラム１８１は記録媒体１８０に記録されて提供される。ＰＣ１５５のＣＰＵ１５６は、記録媒体装着部１６０に記録媒体１８０が装着された場合、記録媒体１８０に記録された画像処理プログラム１８１などを読み出して２次記憶部１５９に記憶する。ＣＰＵ１５６は、２次記憶部１５９から画像処理プログラム１８１を読み出して実行することにより、画像伸張部１７及び画像処理部２０等として動作する。ＣＰＵ１５６は、例えばＪＰＥＧ又はＭＰＥＧ等の方式で圧縮された画像を表示する指示を操作部１５７にて受け付けた場合、表示対象の画像を例えば２次記憶部１５９から読み出すなどして取得し、画像伸張部１７にて画像の伸張を行う。

次いでＣＰＵ１５６は、伸張した画像に含まれるノイズを除去又は低減する画像処理を画像処理部２０にて行う。画像処理部２０は、伸張した画像から注目画素を含む特定領域１００を抽出し、抽出した特定領域１００内の注目画素に対する平滑化処理を行うか否かを判定し、平滑化処理を行うと判定した場合に平滑化フィルタを用いた平滑化処理を行う。また画像処理部２０は、平滑化処理を行わないと判定した場合に、エッジ保存型の平滑化フィルタを用いた平滑化処理を行うと共に、この処理を適用するか否かを判定する。画像処理部２０は、これらの処理を画像の全画素について繰り返し行い、各画素の画素値を、平滑化フィルタにより平滑化した画素値、エッジ保存型の平滑化フィルタにより平滑化した画素値、又は、元の画素値のいずれかとした画像を生成して出力する。これにより画像処理部２０は、ブロックノイズなどの階段状ノイズを除去又は低減した出力画像を生成することができる。

１ 表示装置（画像処理装置）
５ ＰＣ
１１ 制御部
１２ 操作部
１３ 液晶パネル
１４ バックライト
１５ ライト駆動部
１６ 画像入力部
１７ 画像伸張部
１８ パネル駆動部
２０ 画像処理部（特定領域抽出手段、平滑化判定手段、ノイズ境界位置決定手段、ノイズ境界方向決定手段、特定領域拡大手段、１次微分値２値化手段、第１論理和算出手段、２次微分値２値化手段、第２論理和算出手段、第３論理和算出手段、平滑化フィルタ記憶手段、フィルタ選択手段、平滑化手段、第１の平滑化手段、第２の平滑化手段、適用判定手段、ソーベルフィルタ記憶手段、エッジ強度算出手段、エッジ強度推定手段、エッジ方向決定手段、エッジ保存型平滑化フィルタ記憶手段、エッジ強度差分判定手段、第２のエッジ強度算出手段、エッジ強度判定手段、増減回数算出手段、増減回数判定手段、平滑差分算出手段、平滑差分判定手段）
２１ 特定領域抽出部（特定領域抽出手段）
２２ 平滑化判定部（平滑化判定手段）
２３ 第１平滑化部（平滑化手段、第１の平滑化手段）
２４ 第２平滑化部（第２の平滑化手段）
２５ 適用判定部（適用判定手段）
２６ 画素値選択部
１００ 特定領域
１０１ 水平１次微分値マトリクス
１０２ 水平１次微分値ＯＲ列
１０３ 水平２次微分値マトリクス
１０３ａ ２値化水平２次微分値マトリクス
１０４ 水平２次微分値ＯＲ列
１０５ 水平ＯＲ列
１０６ 水平上位ＯＲ値
１０７ 水平下位ＯＲ値
１０８ 水平方向判定結果
１１１ 垂直１次微分値マトリクス
１１２ 垂直１次微分値ＯＲ行
１１３ 垂直２次微分値マトリクス
１１４ 垂直２次微分値ＯＲ行
１１５ 垂直ＯＲ行
１１６ 垂直上位ＯＲ値
１１７ 垂直下位ＯＲ値
１１８ 垂直方向判定結果
１５１ 表示装置
１５５ ＰＣ（画像処理装置）
１５６ ＣＰＵ
１５７ 操作部
１５８ １次記憶部
１５９ ２次記憶部
１６０ 記録媒体装着部
１６１ 通信部
１６２ 画像出力部
１８０ 記録媒体
１８１ 画像処理プログラム（コンピュータプログラム）

本発明に係る画像処理装置は、マトリクス状に配された複数の画素で構成される入力画像から、ブロックノイズを除去又は低減した出力画像を生成する画像処理を行う画像処理装置において、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、該微分値算出手段が算出した微分値に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分が延在する方向を決定するノイズ境界方向決定手段と、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定するノイズ境界位置決定手段と、前記ノイズ境界位置決定手段が決定した位置及び前記ノイズ境界方向決定手段が決定した方向に応じて、記憶しておいた複数の平滑化フィルタから、平滑化フィルタを選択するフィルタ選択手段と、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記フィルタ選択手段が選択した平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段とを備え、前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、又は、前記第２の平滑化手段にて平滑化した画素値のいずれかとした出力画像を生成するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界位置決定手段が、前記平滑化判定手段が平滑化処理の対象とすると判定し、且つ、前記ノイズ境界方向決定手段が決定した方向が所定方向である場合に、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界方向決定手段が決定した方向が所定方向でない場合に、前記特定領域を拡大する特定領域拡大手段を更に備え、前記ノイズ境界方向決定手段は、前記特定領域拡大手段が拡大した特定領域について方向決定を再度行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界方向決定手段が決定した方向が所定方向となるまで、又は、前記特定領域拡大手段により特定領域が所定の大きさに拡大されるまで、前記特定領域拡大手段による特定領域の拡大及び前記ノイズ境界方向決定手段による方向決定を繰り返して行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記微分値算出手段が、隣接する画素間の画素値の１次微分値及び２次微分値を算出するようにしてあり、前記平滑化判定手段は、前記微分値算出手段が算出した１次微分値及び２次微分値に基づいて判定を行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記微分値算出手段が算出した１次微分値が閾値を超えるか否かに応じて、前記１次微分値を２値化する１次微分値２値化手段と、前記１次微分値２値化手段が２値化した１次微分値の論理和を算出する第１論理和算出手段と、前記微分値算出手段が算出した２次微分値が閾値を超えるか否かに応じて、前記２次微分値を２値化する２次微分値２値化手段と、前記２次微分値２値化手段が２値化した２次微分値の論理和を算出する第２論理和算出手段と、前記第１論理和算出手段の算出結果及び前記第２論理和算出手段の算出結果の論理和を算出する第３論理和算出手段とを備え、前記平滑化判定手段は、前記第３論理和算出手段の算出結果に基づいて判定を行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記微分値算出手段、前記１次微分値２値化手段、前記第１論理和算出手段、前記２次微分値２値化手段、前記第２論理和算出手段及び前記第３論理和算出手段は、前記特定領域の縦方向及び横方向についてそれぞれ処理を行うようにしてあり、前記平滑化判定手段は、前記第３論理和算出手段による前記縦方向及び横方向の算出結果に基づいて判定を行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界方向決定手段は、前記第３論理和算出手段による前記縦方向及び横方向の算出結果に基づいて、ブロックノイズのブロックの境界部分が前記特定領域において前記縦方向及び／又は前記横方向に延在しているか否かを決定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界位置決定手段は、前記２次微分値２値化手段が２値化した２次微分値の前記特定領域内におけるパターンに基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、各々が特定方向に関するエッジ成分の強度を検出するソーベルフィルタを、異なる方向について複数記憶するソーベルフィルタ記憶手段と、前記特定領域抽出手段が抽出した特定領域に対して前記ソーベルフィルタ記憶手段が記憶した複数のソーベルフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を複数方向について算出するエッジ強度算出手段と、前記エッジ強度算出手段が算出した複数のエッジ強度の最大値及び最小値の差分が閾値を超えるか否かを判定するエッジ強度差分判定手段とを更に備え、前記第２の平滑化手段は、前記差分が前記閾値を超えないと前記エッジ強度差分判定手段が判定した場合、エッジ保存型でない平滑化フィルタを用いて前記特定領域の注目画素の画素値を平滑化するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記第２の平滑化手段による平滑化結果を適用するか否かを判定する適用判定手段を備え、前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、前記第２の平滑化手段にて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記特定領域抽出手段が抽出した特定領域に対してラプラシアンフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を算出する第２のエッジ強度算出手段と、該第２のエッジ強度算出手段が算出した強度が閾値を超えるか否かを判定するエッジ強度判定手段とを備え、前記適用判定手段は、前記強度が前記閾値を超えると前記エッジ強度判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用すると判定し、前記強度が前記閾値を超えないと前記エッジ強度判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用しないと判定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記特定領域抽出手段が抽出した特定領域内にて特定方向に隣接する画素間の画素値の増減回数を算出する増減回数算出手段と、該増減回数算出手段が算出した増減回数が閾値を超えるか否かを判定する増減回数判定手段とを備え、前記適用判定手段は、前記増減回数が前記閾値を超えないと前記増減回数判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用すると判定し、前記増減回数が前記閾値を超えると前記増減回数判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用しないと判定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記特定領域抽出手段が抽出した特定領域に含まれる注目画素の画素値、及び、前記第２の平滑化手段により平滑化された画素値の差分を算出する平滑差分算出手段と、該平滑差分算出手段が算出した差分が閾値を超えるか否かを判定する平滑差分判定手段とを備え、前記適用判定手段は、前記差分が前記閾値を超えないと前記平滑差分判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用すると判定し、前記差分が前記閾値を超えると前記平滑差分判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用しないと判定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、マトリクス状に配された複数の画素で構成される入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、該微分値算出手段が算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分が延在する方向を決定するノイズ境界方向決定手段と、前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定するノイズ境界位置決定手段と、前記ノイズ境界位置決定手段が決定した位置及び前記ノイズ境界方向決定手段が決定した方向に応じて、記憶しておいた複数の平滑化フィルタから、平滑化フィルタを選択するフィルタ選択手段と、該フィルタ選択手段が選択した平滑化フィルタを用いた平滑化処理を行い、前記注目画素の画素値を平滑化する平滑化手段とを備えることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界方向決定手段が決定した方向が所定方向でない場合に、前記特定領域を拡大する特定領域拡大手段を更に備え、前記ノイズ境界方向決定手段は、前記特定領域拡大手段が拡大した特定領域について方向決定を再度行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界方向決定手段が決定した方向が所定方向となるまで、又は、前記特定領域拡大手段により特定領域が所定の大きさに拡大されるまで、前記特定領域拡大手段による特定領域の拡大及び前記ノイズ境界方向決定手段による方向決定を繰り返して行うようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記微分値算出手段が、隣接する画素間の画素値の１次微分値及び２次微分値を算出するようにしてあり、前記微分値算出手段が算出した１次微分値が閾値を超えるか否かに応じて、前記１次微分値を２値化する１次微分値２値化手段と、前記１次微分値２値化手段が２値化した１次微分値の論理和を算出する第１論理和算出手段と、前記微分値算出手段が算出した２次微分値が閾値を超えるか否かに応じて、前記２次微分値を２値化する２次微分値２値化手段と、前記２次微分値２値化手段が２値化した２次微分値の論理和を算出する第２論理和算出手段と、前記第１論理和算出手段の算出結果及び前記第２論理和算出手段の算出結果の論理和を算出する第３論理和算出手段とを備え、前記微分値算出手段、前記１次微分値２値化手段、前記第１論理和算出手段、前記２次微分値２値化手段、前記第２論理和算出手段及び前記第３論理和算出手段は、前記特定領域の縦方向及び横方向についてそれぞれ処理を行うようにしてあり、前記ノイズ境界方向決定手段は、前記第３論理和算出手段による前記縦方向及び横方向の算出結果に基づいて、ブロックノイズのブロックの境界部分が前記特定領域において前記縦方向及び／又は前記横方向に延在しているか否かを決定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記ノイズ境界位置決定手段は、前記２次微分値２値化手段が２値化した２次微分値の前記特定領域内におけるパターンに基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定するようにしてあることを特徴とする。

また、本発明に係る画像処理方法は、マトリクス状に配された複数の画素で構成される入力画像から、ブロックノイズを除去又は低減した出力画像を生成する画像処理方法において、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、前記特定領域抽出ステップにて抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出ステップと、該微分値算出ステップにて算出した微分値に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定ステップと、前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記微分値算出ステップにて算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分が延在する方向を決定するノイズ境界方向決定ステップと、前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記微分値算出ステップにて算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定するノイズ境界位置決定ステップと、前記ノイズ境界位置決定ステップにて決定した位置及び前記ノイズ境界方向決定ステップにて決定した方向に応じて、記憶しておいた複数の平滑化フィルタから、平滑化フィルタを選択するフィルタ選択ステップと、前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記フィルタ選択ステップにて選択した平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化ステップと、前記平滑化判定ステップにて第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化ステップと、前記入力画像の各画素の画素値を、前記第１の平滑化ステップにて平滑化した画素値、又は、前記第２の平滑化ステップにて平滑化した画素値のいずれかとした出力画像を生成する生成ステップとを含むことを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界位置決定ステップでは、前記平滑化判定ステップにて平滑化処理の対象とすると判定し、且つ、前記ノイズ境界方向決定ステップにて決定した方向が所定方向である場合に、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定することを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界方向決定ステップにて決定した方向が所定方向でない場合に、前記特定領域を拡大する特定領域拡大ステップを更に含み、前記ノイズ境界方向決定ステップでは、前記特定領域拡大ステップにて拡大した特定領域について方向決定を再度行うことを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界方向決定ステップにて決定した方向が所定方向となるまで、又は、前記特定領域拡大ステップにて特定領域を所定の大きさに拡大するまで、前記特定領域拡大ステップによる特定領域の拡大及び前記ノイズ境界方向決定ステップによる方向決定を繰り返して行うことを特徴とする。

また、本発明に係る画像処理方法は、前記微分値算出ステップでは、隣接する画素間の画素値の１次微分値及び２次微分値を算出し、前記平滑化判定ステップでは、前記微分値算出ステップにて算出した１次微分値及び２次微分値に基づいて判定を行うことを特徴とする。

また、本発明に係る画像処理方法は、前記微分値算出ステップにて算出した１次微分値が閾値を超えるか否かに応じて、前記１次微分値を２値化する１次微分値２値化ステップと、前記１次微分値２値化ステップにて２値化した１次微分値の論理和を算出する第１論理和算出ステップと、前記微分値算出ステップにて算出した２次微分値が閾値を超えるか否かに応じて、前記２次微分値を２値化する２次微分値２値化ステップと、前記２次微分値２値化ステップにて２値化した２次微分値の論理和を算出する第２論理和算出ステップと、前記第１論理和算出ステップでの算出結果及び前記第２論理和算出ステップでの算出結果の論理和を算出する第３論理和算出ステップとを含み、前記平滑化判定ステップでは、前記第３論理和算出ステップによる算出結果に基づいて判定を行うことを特徴とする。

また、本発明に係る画像処理方法は、前記微分値算出ステップ、前記１次微分値２値化ステップ、前記第１論理和算出ステップ、前記２次微分値２値化ステップ、前記第２論理和算出ステップ及び前記第３論理和算出ステップでは、前記特定領域の縦方向及び横方向についてそれぞれ処理を行い、前記平滑化判定ステップでは、前記第３論理和算出ステップによる前記縦方向及び横方向の算出結果に基づいて判定を行うことを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界方向決定ステップでは、前記第３論理和算出ステップによる前記縦方向及び横方向の算出結果に基づいて、ブロックノイズのブロックの境界部分が前記特定領域において前記縦方向及び／又は前記横方向に延在しているか否かを決定することを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界位置決定ステップでは、前記２次微分値２値化ステップにて２値化した２次微分値の前記特定領域内におけるパターンに基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定することを特徴とする。

また、本発明に係る画像処理方法は、各々が特定方向に関するエッジ成分の強度を検出するソーベルフィルタを異なる方向について複数記憶しておき、前記特定領域抽出ステップにて抽出した特定領域に対して、記憶した複数のソーベルフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を複数方向について算出するエッジ強度算出ステップと、前記エッジ強度算出ステップにて算出した複数のエッジ強度の最大値及び最小値の差分が閾値を超えるか否かを判定するエッジ強度差分判定ステップとを更に含み、前記第２の平滑化ステップでは、前記差分が前記閾値を超えないと前記エッジ強度差分判定ステップにて判定した場合、エッジ保存型でない平滑化フィルタを用いて前記特定領域の注目画素の画素値を平滑化することを特徴とする。

また、本発明に係る画像処理方法は、前記第２の平滑化ステップによる平滑化結果を適用するか否かを判定する適用判定ステップを備え、前記生成ステップは、前記入力画像の各画素の画素値を、前記第１の平滑化ステップにて平滑化した画素値、前記第２の平滑化ステップにて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成することを特徴とする。

また、本発明に係る画像処理方法は、前記特定領域抽出ステップにて抽出した特定領域に対してラプラシアンフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を算出する第２のエッジ強度算出ステップと、該第２のエッジ強度算出ステップにて算出した強度が閾値を超えるか否かを判定するエッジ強度判定ステップとを含み、前記適用判定ステップでは、前記強度が前記閾値を超えると前記エッジ強度判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用すると判定し、前記強度が前記閾値を超えないと前記エッジ強度判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用しないと判定することを特徴とする。

また、本発明に係る画像処理方法は、前記特定領域抽出ステップにて抽出した特定領域内にて特定方向に隣接する画素間の画素値の増減回数を算出する増減回数算出ステップと、該増減回数算出ステップにて算出した増減回数が閾値を超えるか否かを判定する増減回数判定ステップとを含み、前記適用判定ステップでは、前記増減回数が前記閾値を超えないと前記増減回数判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用すると判定し、前記増減回数が前記閾値を超えると前記増減回数判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用しないと判定することを特徴とする。

また、本発明に係る画像処理方法は、前記特定領域抽出ステップにて抽出した特定領域に含まれる注目画素の画素値、及び、前記第２の平滑化ステップにより平滑化された画素値の差分を算出する平滑差分算出ステップと、該平滑差分算出ステップにて算出した差分が閾値を超えるか否かを判定する平滑差分判定ステップとを含み、前記適用判定ステップでは、前記差分が前記閾値を超えないと前記平滑差分判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用すると判定し、前記差分が前記閾値を超えると前記平滑差分判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用しないと判定することを特徴とする。

また、本発明に係る画像処理方法は、マトリクス状に配された複数の画素で構成される入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、該特定領域抽出ステップにて抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出ステップと、該微分値算出ステップにて算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分が延在する方向を決定するノイズ境界方向決定ステップと、前記微分値算出ステップにて算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定するノイズ境界位置決定ステップと、前記ノイズ境界位置決定ステップにて決定した位置及び前記ノイズ境界方向決定ステップにて決定した方向に応じて、記憶しておいた複数の平滑化フィルタから、平滑化フィルタを選択するフィルタ選択ステップと、該フィルタ選択ステップにて選択した平滑化フィルタを用いた平滑化処理を行い、前記注目画素の画素値を平滑化する平滑化ステップとを含むことを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界方向決定ステップにて決定した方向が所定方向でない場合に、前記特定領域を拡大する特定領域拡大ステップを更に含み、前記ノイズ境界方向決定ステップでは、前記特定領域拡大ステップにて拡大した特定領域について方向決定を再度行うことを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界方向決定ステップにて決定した方向が所定方向となるまで、又は、前記特定領域拡大ステップにて特定領域を所定の大きさに拡大するまで、前記特定領域拡大ステップによる特定領域の拡大及び前記ノイズ境界方向決定ステップによる方向決定を繰り返して行うことを特徴とする。

また、本発明に係る画像処理方法は、前記微分値算出ステップでは、隣接する画素間の画素値の１次微分値及び２次微分値を算出し、前記微分値算出ステップにて算出した１次微分値が閾値を超えるか否かに応じて、前記１次微分値を２値化する１次微分値２値化ステップと、前記１次微分値２値化ステップにて２値化した１次微分値の論理和を算出する第１論理和算出ステップと、前記微分値算出ステップにて算出した２次微分値が閾値を超えるか否かに応じて、前記２次微分値を２値化する２次微分値２値化ステップと、前記２次微分値２値化ステップにて２値化した２次微分値の論理和を算出する第２論理和算出ステップと、前記第１論理和算出ステップでの算出結果及び前記第２論理和算出ステップでの算出結果の論理和を算出する第３論理和算出ステップとを含み、前記微分値算出ステップ、前記１次微分値２値化ステップ、前記第１論理和算出ステップ、前記２次微分値２値化ステップ、前記第２論理和算出ステップ及び前記第３論理和算出ステップでは、前記特定領域の縦方向及び横方向についてそれぞれ処理を行い、前記ノイズ境界方向決定ステップでは、前記第３論理和算出ステップによる前記縦方向及び横方向の算出結果に基づいて、ブロックノイズのブロックの境界部分が前記特定領域において前記縦方向及び／又は前記横方向に延在しているか否かを決定することを特徴とする。

また、本発明に係る画像処理方法は、前記ノイズ境界位置決定ステップでは、前記２次微分値２値化ステップにて２値化した２次微分値の前記特定領域内におけるパターンに基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定することを特徴とする。

また、本発明に係るコンピュータプログラムは、コンピュータに、マトリクス状に配された複数の画素で構成される入力画像から、ブロックノイズを除去又は低減した出力画像を生成する画像処理を行わせるコンピュータプログラムにおいて、コンピュータを、前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、該微分値算出手段が算出した微分値に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分が延在する方向を決定するノイズ境界方向決定手段と、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定するノイズ境界位置決定手段と、前記ノイズ境界位置決定手段が決定した位置及び前記ノイズ境界方向決定手段が決定した方向に応じて、記憶しておいた複数の平滑化フィルタから、平滑化フィルタを選択するフィルタ選択手段と、前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記フィルタ選択手段が選択した平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段と、前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、又は、前記第２の平滑化手段にて平滑化した画素値のいずれかとした出力画像を生成する生成手段として動作させることを特徴とする。

また、本発明に係るコンピュータプログラムは、コンピュータを、マトリクス状に配された複数の画素で構成される入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、該微分値算出手段が算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分が延在する方向を決定するノイズ境界方向決定手段と、前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるブロックノイズのブロックの境界部分の位置を決定するノイズ境界位置決定手段と、前記ノイズ境界位置決定手段が決定した位置及び前記ノイズ境界方向決定手段が決定した方向に応じて、記憶しておいた複数の平滑化フィルタから、平滑化フィルタを選択するフィルタ選択手段と、該フィルタ選択手段が選択した平滑化フィルタを用いた平滑化処理を行い、前記注目画素の画素値を平滑化する平滑化手段として動作させることを特徴とする。

Claims (44)

1. マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行う画像処理装置において、
   前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、
   該特定領域抽出手段が抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、
   該平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、
   前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段と
   を備え、
   前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、又は、前記第２の平滑化手段にて平滑化した画素値のいずれかとした出力画像を生成するようにしてあること
   を特徴とする画像処理装置。
2. 前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、
   前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段と
   を備えること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ境界位置決定手段は、前記平滑化判定手段が平滑化処理の対象とすると判定し、且つ、前記ノイズ境界方向決定手段が決定した方向が所定方向である場合に、前記特定領域におけるノイズの境界部分の位置を決定するようにしてあること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記ノイズ境界方向決定手段が決定した方向が所定方向でない場合に、前記特定領域を拡大する特定領域拡大手段を更に備え、
   前記ノイズ境界方向決定手段は、前記特定領域拡大手段が拡大した特定領域について方向決定を再度行うようにしてあること
   を特徴とする請求項２又は請求項３に記載の画像処理装置。
5. 前記ノイズ境界方向決定手段が決定した方向が所定方向となるまで、又は、前記特定領域拡大手段により特定領域が所定の大きさに拡大されるまで、前記特定領域拡大手段による特定領域の拡大及び前記ノイズ境界方向決定手段による方向決定を繰り返して行うようにしてあること
   を特徴とする請求項４に記載の画像処理装置。
6. 前記第１の平滑化手段が用いる平滑化フィルタを複数記憶した平滑化フィルタ記憶手段と、
   前記ノイズ境界位置決定手段が決定した位置及び前記ノイズ境界方向決定手段が決定した方向に応じて、前記平滑化フィルタ記憶手段から平滑化フィルタを選択するフィルタ選択手段と
   を備え、
   前記第１の平滑化手段は、前記フィルタ選択手段が選択した平滑化フィルタを用いて前記注目画素の画素値を平滑化するようにしてあること
   を特徴とする請求項２乃至請求項５のいずれか１つに記載の画像処理装置。
7. 前記特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段を備え、
   前記平滑化判定手段は、前記微分値算出手段が算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定するようにしてあること
   を特徴とする請求項１乃至請求項６のいずれか１つに記載の画像処理装置。
8. 前記微分値算出手段は、隣接する画素間の画素値の１次微分値及び２次微分値を算出するようにしてあり、
   前記平滑化判定手段は、前記微分値算出手段が算出した１次微分値及び２次微分値に基づいて判定を行うようにしてあること
   を特徴とする請求項７に記載の画像処理装置。
9. 前記微分値算出手段が算出した１次微分値が閾値を超えるか否かに応じて、前記１次微分値を２値化する１次微分値２値化手段と、
   前記１次微分値２値化手段が２値化した１次微分値の論理和を算出する第１論理和算出手段と、
   前記微分値算出手段が算出した２次微分値が閾値を超えるか否かに応じて、前記２次微分値を２値化する２次微分値２値化手段と、
   前記２次微分値２値化手段が２値化した２次微分値の論理和を算出する第２論理和算出手段と、
   前記第１論理和算出手段の算出結果及び前記第２論理和算出手段の算出結果の論理和を算出する第３論理和算出手段と
   を備え、
   前記平滑化判定手段は、前記第３論理和算出手段の算出結果に基づいて判定を行うようにしてあること
   を特徴とする請求項８に記載の画像処理装置。
10. 前記微分値算出手段、前記１次微分値２値化手段、前記第１論理和算出手段、前記２次微分値２値化手段、前記第２論理和算出手段及び前記第３論理和算出手段は、前記特定領域の縦方向及び横方向についてそれぞれ処理を行うようにしてあり、
    前記平滑化判定手段は、前記第３論理和算出手段による前記縦方向及び横方向の算出結果に基づいて判定を行うようにしてあること
    を特徴とする請求項９に記載の画像処理装置。
11. 前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段を備え、
    該ノイズ境界方向決定手段は、前記第３論理和算出手段による前記縦方向及び横方向の算出結果に基づいて、ノイズの境界部分が前記特定領域において前記縦方向及び／又は前記横方向に延在しているか否かを決定するようにしてあること
    を特徴とする請求項１０に記載の画像処理装置。
12. 前記平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段を備え、
    該ノイズ境界位置決定手段は、前記２次微分値２値化手段が２値化した２次微分値の前記特定領域内におけるパターンに基づいて、前記特定領域におけるノイズの境界部分の位置を決定するようにしてあること
    を特徴とする請求項９乃至請求項１１のいずれか１つに記載の画像処理装置。
13. 各々が特定方向に関するエッジ成分の強度を検出するソーベルフィルタを、異なる方向について複数記憶するソーベルフィルタ記憶手段と、
    前記特定領域抽出手段が抽出した特定領域に対して前記ソーベルフィルタ記憶手段が記憶した複数のソーベルフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を複数方向について算出するエッジ強度算出手段と、
    前記エッジ強度算出手段が算出した複数のエッジ強度の最大値及び最小値の差分が閾値を超えるか否かを判定するエッジ強度差分判定手段と
    を更に備え、
    前記第２の平滑化手段は、前記差分が前記閾値を超えないと前記エッジ強度差分判定手段が判定した場合、エッジ保存型でない平滑化フィルタを用いて前記特定領域の注目画素の画素値を平滑化するようにしてあること
    を特徴とする請求項１乃至請求項１２のいずれか１つに記載の画像処理装置。
14. 前記第２の平滑化手段による平滑化結果を適用するか否かを判定する適用判定手段を備え、
    前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、前記第２の平滑化手段にて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成するようにしてあること
    を特徴とする請求項１乃至請求項１３のいずれか１つに記載の画像処理装置。
15. 前記特定領域抽出手段が抽出した特定領域に対してラプラシアンフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を算出する第２のエッジ強度算出手段と、
    該第２のエッジ強度算出手段が算出した強度が閾値を超えるか否かを判定するエッジ強度判定手段と
    を備え、
    前記適用判定手段は、
    前記強度が前記閾値を超えると前記エッジ強度判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用すると判定し、
    前記強度が前記閾値を超えないと前記エッジ強度判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用しないと判定するようにしてあること
    を特徴とする請求項１４に記載の画像処理装置。
16. 前記特定領域抽出手段が抽出した特定領域内にて特定方向に隣接する画素間の画素値の増減回数を算出する増減回数算出手段と、
    該増減回数算出手段が算出した増減回数が閾値を超えるか否かを判定する増減回数判定手段と
    を備え、
    前記適用判定手段は、
    前記増減回数が前記閾値を超えないと前記増減回数判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用すると判定し、
    前記増減回数が前記閾値を超えると前記増減回数判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用しないと判定するようにしてあること
    を特徴とする請求項１４又は請求項１５に記載の画像処理装置。
17. 前記特定領域抽出手段が抽出した特定領域に含まれる注目画素の画素値、及び、前記第２の平滑化手段により平滑化された画素値の差分を算出する平滑差分算出手段と、
    該平滑差分算出手段が算出した差分が閾値を超えるか否かを判定する平滑差分判定手段と
    を備え、
    前記適用判定手段は、
    前記差分が前記閾値を超えないと前記平滑差分判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用すると判定し、
    前記差分が前記閾値を超えると前記平滑差分判定手段が判定した場合、前記第２の平滑化手段による平滑化結果を適用しないと判定するようにしてあること
    を特徴とする請求項１４乃至請求項１６のいずれか１つに記載の画像処理装置。
18. マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行う画像処理装置において、
    前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、
    該特定領域抽出手段が抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、
    該平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、
    前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段と、
    該第２の平滑化手段による平滑化結果を適用するか否かを判定する適用判定手段と
    を備え、
    前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、前記第２の平滑化手段にて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成するようにしてあること
    を特徴とする画像処理装置。
19. マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行う画像処理装置において、
    前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、
    該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、
    該微分値算出手段が算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定する平滑化判定手段と、
    該平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、
    前記平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段と、
    前記平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記ノイズ境界方向決定手段が決定した方向及び前記ノイズ境界位置決定手段が決定した位置に基づいて、前記注目画素に対する平滑化処理を行う平滑化手段と
    を備えることを特徴とする画像処理装置。
20. マトリクス状に配された複数の画素で構成される入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、
    該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、
    該微分値算出手段が算出した微分値に基づいて、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、
    前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段と
    を備えることを特徴とする画像処理装置。
21. マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理方法において、
    前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、
    該特定領域抽出ステップにて抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定ステップと、
    該平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化ステップと、
    前記平滑化判定ステップにて第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化ステップと、
    前記入力画像の各画素の画素値を、前記第１の平滑化ステップにて平滑化した画素値、又は、前記第２の平滑化ステップにて平滑化した画素値のいずれかとした出力画像を生成する生成ステップと
    を含むことを特徴とする画像処理方法。
22. 前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定ステップと、
    前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定ステップと
    を含むこと
    を特徴とする請求項２１に記載の画像処理方法。
23. 前記ノイズ境界位置決定ステップでは、前記平滑化判定ステップにて平滑化処理の対象とすると判定し、且つ、前記ノイズ境界方向決定ステップにて決定した方向が所定方向である場合に、前記特定領域におけるノイズの境界部分の位置を決定すること
    を特徴とする請求項２２に記載の画像処理方法。
24. 前記ノイズ境界方向決定ステップにて決定した方向が所定方向でない場合に、前記特定領域を拡大する特定領域拡大ステップを更に含み、
    前記ノイズ境界方向決定ステップでは、前記特定領域拡大ステップにて拡大した特定領域について方向決定を再度行うこと
    を特徴とする請求項２２又は請求項２３に記載の画像処理方法。
25. 前記ノイズ境界方向決定ステップにて決定した方向が所定方向となるまで、又は、前記特定領域拡大ステップにて特定領域を所定の大きさに拡大するまで、前記特定領域拡大ステップによる特定領域の拡大及び前記ノイズ境界方向決定手段による方向決定を繰り返して行うこと
    を特徴とする請求項２４に記載の画像処理方法。
26. 前記第１の平滑化手段が用いる平滑化フィルタを複数記憶しておき、
    前記ノイズ境界位置決定ステップにて決定した位置及び前記ノイズ境界方向決定ステップにて決定した方向に応じて、記憶した複数の平滑化フィルタから、平滑化フィルタを選択するフィルタ選択ステップを含み、
    前記第１の平滑化ステップでは、前記フィルタ選択ステップにて選択した平滑化フィルタを用いて前記注目画素の画素値を平滑化すること
    を特徴とする請求項２２乃至請求項２５のいずれか１つに記載の画像処理方法。
27. 前記特定領域抽出ステップにて抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出ステップを含み、
    前記平滑化判定ステップでは、前記微分値算出ステップにて算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定すること
    を特徴とする請求項２１乃至請求項２６のいずれか１つに記載の画像処理方法。
28. 前記微分値算出ステップでは、隣接する画素間の画素値の１次微分値及び２次微分値を算出し、
    前記平滑化判定ステップでは、前記微分値算出ステップにて算出した１次微分値及び２次微分値に基づいて判定を行うこと
    を特徴とする請求項２７に記載の画像処理方法。
29. 前記微分値算出ステップにて算出した１次微分値が閾値を超えるか否かに応じて、前記１次微分値を２値化する１次微分値２値化ステップと、
    前記１次微分値２値化ステップにて２値化した１次微分値の論理和を算出する第１論理和算出ステップと、
    前記微分値算出ステップにて算出した２次微分値が閾値を超えるか否かに応じて、前記２次微分値を２値化する２次微分値２値化ステップと、
    前記２次微分値２値化ステップにて２値化した２次微分値の論理和を算出する第２論理和算出ステップと、
    前記第１論理和算出ステップでの算出結果及び前記第２論理和算出ステップでの算出結果の論理和を算出する第３論理和算出ステップと
    を含み、
    前記平滑化判定ステップでは、前記第３論理和算出ステップによる算出結果に基づいて判定を行うこと
    を特徴とする請求項２８に記載の画像処理方法。
30. 前記微分値算出ステップ、前記１次微分値２値化ステップ、前記第１論理和算出ステップ、前記２次微分値２値化ステップ、前記第２論理和算出ステップ及び前記第３論理和算出ステップでは、前記特定領域の縦方向及び横方向についてそれぞれ処理を行い、
    前記平滑化判定ステップでは、前記第３論理和算出ステップによる前記縦方向及び横方向の算出結果に基づいて判定を行うこと
    を特徴とする請求項２９に記載の画像処理方法。
31. 前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定ステップを含み、
    該ノイズ境界方向決定ステップでは、前記第３論理和算出ステップによる前記縦方向及び横方向の算出結果に基づいて、ノイズの境界部分が前記特定領域において前記縦方向及び／又は前記横方向に延在しているか否かを決定すること
    を特徴とする請求項３０に記載の画像処理方法。
32. 前記平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定ステップを含み、
    該ノイズ境界位置決定ステップでは、前記２次微分値２値化ステップにて２値化した２次微分値の前記特定領域内におけるパターンに基づいて、前記特定領域におけるノイズの境界部分の位置を決定すること
    を特徴とする請求項２９乃至請求項３１のいずれか１つに記載の画像処理方法。
33. 各々が特定方向に関するエッジ成分の強度を検出するソーベルフィルタを異なる方向について複数記憶しておき、前記特定領域抽出ステップにて抽出した特定領域に対して、記憶した複数のソーベルフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を複数方向について算出するエッジ強度算出ステップと、
    前記エッジ強度算出ステップにて算出した複数のエッジ強度の最大値及び最小値の差分が閾値を超えるか否かを判定するエッジ強度差分判定ステップと
    を更に含み、
    前記第２の平滑化ステップでは、前記差分が前記閾値を超えないと前記エッジ強度差分判定ステップにて判定した場合、エッジ保存型でない平滑化フィルタを用いて前記特定領域の注目画素の画素値を平滑化すること
    を特徴とする請求項２１乃至請求項３２のいずれか１つに記載の画像処理方法。
34. 前記第２の平滑化ステップによる平滑化結果を適用するか否かを判定する適用判定ステップを備え、
    前記生成ステップは、前記入力画像の各画素の画素値を、前記第１の平滑化ステップにて平滑化した画素値、前記第２の平滑化ステップにて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成すること
    を特徴とする請求項２１乃至請求項３３のいずれか１つに記載の画像処理方法。
35. 前記特定領域抽出ステップにて抽出した特定領域に対してラプラシアンフィルタによるフィルタ処理を行い、前記特定領域に含まれるエッジ成分の強度を算出する第２のエッジ強度算出ステップと、
    該第２のエッジ強度算出ステップにて算出した強度が閾値を超えるか否かを判定するエッジ強度判定ステップと
    を含み、
    前記適用判定ステップでは、
    前記強度が前記閾値を超えると前記エッジ強度判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用すると判定し、
    前記強度が前記閾値を超えないと前記エッジ強度判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用しないと判定すること
    を特徴とする請求項３４に記載の画像処理方法。
36. 前記特定領域抽出ステップにて抽出した特定領域内にて特定方向に隣接する画素間の画素値の増減回数を算出する増減回数算出ステップと、
    該増減回数算出ステップにて算出した増減回数が閾値を超えるか否かを判定する増減回数判定ステップと
    を含み、
    前記適用判定ステップでは、
    前記増減回数が前記閾値を超えないと前記増減回数判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用すると判定し、
    前記増減回数が前記閾値を超えると前記増減回数判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用しないと判定すること
    を特徴とする請求項３４又は請求項３５に記載の画像処理方法。
37. 前記特定領域抽出ステップにて抽出した特定領域に含まれる注目画素の画素値、及び、前記第２の平滑化ステップにより平滑化された画素値の差分を算出する平滑差分算出ステップと、
    該平滑差分算出ステップにて算出した差分が閾値を超えるか否かを判定する平滑差分判定ステップと
    を含み、
    前記適用判定ステップでは、
    前記差分が前記閾値を超えないと前記平滑差分判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用すると判定し、
    前記差分が前記閾値を超えると前記平滑差分判定ステップにて判定した場合、前記第２の平滑化ステップによる平滑化結果を適用しないと判定すること
    を特徴とする請求項３４乃至請求項３６のいずれか１つに記載の画像処理方法。
38. マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理方法において、
    前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、
    該特定領域抽出ステップにて抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定ステップと、
    該平滑化判定ステップにて第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化ステップと、
    前記平滑化判定ステップにて第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化ステップと、
    該第２の平滑化ステップによる平滑化結果を適用するか否かを判定する適用判定ステップと、
    前記入力画像の各画素の画素値を、前記第１の平滑化ステップにて平滑化した画素値、前記第２の平滑化ステップにて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成する生成ステップと
    を含むことを特徴とする画像処理方法。
39. マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理方法において、
    前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、
    該特定領域抽出ステップにて抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出ステップと、
    該微分値算出ステップにて算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定する平滑化判定ステップと、
    該平滑化判定ステップにて平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定ステップと、
    前記平滑化判定ステップにて平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定ステップと、
    前記平滑化判定ステップにて平滑化処理の対象とすると判定した場合に、前記ノイズ境界方向決定ステップにて決定した方向及び前記ノイズ境界位置決定ステップにて決定した位置に基づいて、前記注目画素に対する平滑化処理を行う平滑化ステップと
    を含むことを特徴とする画像処理方法。
40. マトリクス状に配された複数の画素で構成される入力画像から注目画素を含む特定領域を抽出する特定領域抽出ステップと、
    該特定領域抽出ステップにて抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出ステップと、
    該微分値算出ステップにて算出した微分値に基づいて、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定ステップと、
    前記微分値算出ステップにて算出した微分値に基づいて、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定ステップと
    を含むことを特徴とする画像処理方法。
41. コンピュータに、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行わせるコンピュータプログラムにおいて、
    コンピュータを、
    前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、
    該特定領域抽出手段が抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、
    該平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、
    前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段と、
    前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、又は、前記第２の平滑化手段にて平滑化した画素値のいずれかとした出力画像を生成する生成手段
    として動作させることを特徴とするコンピュータプログラム。
42. コンピュータに、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行わせるコンピュータプログラムにおいて、
    コンピュータを、
    前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、
    該特定領域抽出手段が抽出した特定領域に基づいて、前記注目画素を第１の平滑化処理の対象とするか否かを判定する平滑化判定手段と、
    該平滑化判定手段が第１の平滑化処理の対象とすると判定した場合に、平滑化フィルタを用いた第１の平滑化処理を行い、前記注目画素の画素値を平滑化する第１の平滑化手段と、
    前記平滑化判定手段が第１の平滑化処理の対象としないと判定した場合に、エッジ保存型の平滑化フィルタを用いた第２の平滑化処理を行い、前記注目画素の画素値を平滑化する第２の平滑化手段と、
    該第２の平滑化手段による平滑化結果を適用するか否かを判定する適用判定手段と、
    前記入力画像の各画素の画素値を、前記第１の平滑化手段にて平滑化した画素値、前記第２の平滑化手段にて平滑化した画素値、又は、平滑化していない元の画素値のいずれかとした出力画像を生成する生成手段
    として動作させることを特徴とするコンピュータプログラム。
43. コンピュータに、マトリクス状に配された複数の画素で構成される入力画像からノイズを除去又は低減した出力画像を生成する画像処理を行わせるコンピュータプログラムにおいて、
    コンピュータを、
    前記入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、
    該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、
    該微分値算出手段が算出した微分値に基づいて、前記注目画素を平滑化処理の対象とするか否かを判定する平滑化判定手段と、
    該平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、
    前記平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段と、
    前記平滑化判定手段が平滑化処理の対象とすると判定した場合に、前記ノイズ境界方向決定手段が決定した方向及び前記ノイズ境界位置決定手段が決定した位置に基づいて、前記注目画素に対する平滑化処理を行う平滑化手段
    として動作させることを特徴とするコンピュータプログラム。
44. コンピュータを、
    マトリクス状に配された複数の画素で構成される入力画像から注目画素を含む特定領域を抽出する特定領域抽出手段と、
    該特定領域抽出手段が抽出した特定領域の画像に対して、画素間の画素値の微分値を算出する微分値算出手段と、
    該微分値算出手段が算出した微分値に基づいて、前記特定領域においてノイズの境界部分が延在する方向を決定するノイズ境界方向決定手段と、
    前記微分値算出手段が算出した微分値に基づいて、前記特定領域におけるノイズの境界部分の位置を決定するノイズ境界位置決定手段
    として動作させることを特徴とするコンピュータプログラム。

Images