JP5348145B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

この発明は、入力画像のノイズを除去する画像処理装置および画像処理プログラムに関する。

従来から、入力画像のノイズを除去する様々な画像処理技術が開発されてきた。例えば、単純な平滑化フィルタは、方式が簡単でありコストが少なく設計可能であることから、多くの画像機器に採用されてきている。また、単純な平滑化フィルタでは、物体のエッジ信号も合わせて平滑化されるため、最近では、エッジ以外を平滑化するフィルタ（エッジ保存平滑化フィルタ）も開発されている。

このエッジ保存平滑化フィルタでは、平滑化フィルタに適用する周辺画素を、平滑化対象画素との画素レベルの差に応じて、重み付けしてフィルタ処理を実行する。すなわち、エッジ保存平滑化フィルタでは、平滑化対象画素とレベル差が小さい周辺画素については相対的に重みを大きく取ってフィルタ処理をし、レベル差が大きい周辺画素については相対的に重みを小さくする、もしくは重みを０にし、フィルタ処理を行う。

ところが、従来の平滑化フィルタでは、除去するノイズ成分と同じ帯域に細かな階調情報やエッジ（例えば、明るい部分と暗い部分の境界など）が存在した場合、それらはノイズと共に除去されることとなる。また、上記のエッジ保存機能を持たせたエッジ保存平滑化フィルタでは、細かな階調情報やエッジがノイズ成分以上の振幅の大きさを持っていれば、その効果を得ることができるが、ノイズ成分未満の振幅の情報は除去されることになる。また品質面では、なめらかな領域で不連続な階調が発生する場合もある。

このようなノイズを除去する技術として、ウェーブレット変換などの周波数フィルタを用いたノイズ除去技術が知られている。例えば、ウェーブレット変換を用いて、入力画像（元画像）を複数の周波数帯に分離し、それぞれの周波数帯において閾値処理（コアリング）を行う。このウェーブレット変換では、周波数帯域ごとに最適な閾値をそれぞれ調整することが可能であるため、平滑化フィルタなどの実空間フィルタに比べて高画質なままノイズ除去を行うことができる。

特開２０００−１０５８１５号公報 特開２００６−３１０９９９号公報 特開２００５−２３４００１号公報

しかしながら、上記した従来の技術では、リンギングが発生して画質が劣化したり、ノイズ除去した画像の画質が悪かったりするため、高精度なノイズ除去が実現できないという課題があった。

例えば、ウェーブレット変換などを用いた多重解像度変換処理におけるノイズ除去技術では、ノイズ除去した結果、画素レベル値の変化が大きい急峻なエッジ周辺に、リンギングと呼ばれるアーティファクトが発生する。リンギングの発生する原因については、図９−１に示すように、画像を１次元の信号とした例を用いて説明する。なお、図９−１乃至図９−４の各図は、縦軸を画素値（例えば輝度値）、横軸を画素の位置にとったグラフを模式的に表現した図である。

上記した多重解像度変換処理では、図９−２に示すように、入力画像に対してウェーブレット変換を実施して、低周波成分と高周波成分との２つの信号に入力画像（図９−１の原信号）を分離する。なお、ここでは説明を簡略化するため、低周波成分と高周波成分の２つの信号に分離した例を示しているが、もちろん複数の周波数帯の信号に分離して構わない。そして、図９−３に示すように、分離した高周波成分のみについてノイズ除去を実施した後、図９−４に示すように、分離した低周波成分とノイズ除去された高周波成分とを用いた逆ウェーブレット変換を実施して、ノイズ除去した画像を得ることとなる。

このように、多重解像度変換処理のノイズ除去では、分離して得られた高周波成分の細かな振幅を小さくする、もしくは０にするものであるため、復元信号は、基本的には、振幅を小さくしていない低周波成分の信号形状がそのまま現れる。ここで、画像のエッジのような矩形波の信号は、複雑な形状をした複数の周波数帯信号の合成波としてしか表すことができない。画素レベル値の変化が大きい急峻なエッジを持つ信号を入力信号とした場合、図９−２のような高周波成分と低周波成分に分離されるため、原信号には無かった低周波成分のエッジ周辺の変化が、「輝度値が波打ったような変化（リンギング）」として復元信号に現れてしまう。すなわち、画素レベル値の変化が大きい急峻なエッジを持つ画像に対して、多重解像度変換処理を用いたノイズ除去処理を実施することは、リンギングの発生に繋がる。

また、上記した平滑化フィルタやエッジ保存平滑化フィルタなどの実空間フィルタを用いたノイズ除去技術では、上記したリンギングの発生は防止することができる。ところが、実空間フィルタを用いたノイズ除去技術では、ウェーブレット変換などの周波数フィルタを用いたノイズ除去技術のように、コアリング処理（周波数帯域ごとに、それぞれ最適な信号制御）ができない。したがって、実空間フィルタを用いたノイズ除去技術で得られた画像は、周波数フィルタを用いたノイズ除去技術に比べて、画質が良くない。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、リンギングの発生を防止しつつ、高精度なノイズ除去を実現することが可能である画像処理装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本願の開示する画像処理装置は、前記入力画像のエッジを保存したまま、前記入力画像のエッジ以外を平滑化した画像を示す基本構造成分画像を生成するエッジ保存平滑化手段と、前記入力画像から前記エッジ保存平滑化手段により生成された基本構造成分画像を減算した画像を示す詳細成分画像を生成する減算手段と、前記減算手段により生成された詳細成分画像を複数の周波数帯域画像に分解する多重解像度変換処理を行う多重解像度変換手段と、前記多重解像度変換手段により生成された複数の周波数帯域画像に対して、ノイズ除去を行うノイズ除去手段と、前記ノイズ除去手段によりノイズ除去された複数の周波数帯域画像を結合する多重解像度逆変換処理を実施して、ノイズ除去された詳細成分画像を生成する多重解像度逆変換手段と、を備えたことを特徴とする。

本願の開示する画像処理装置によれば、リンギングの発生を防止しつつ、高精度なノイズ除去を実現することが可能である。

図１−１は、実施例１に係る画像処理装置に入力された画像（入力信号）例を示す図である。 図１−２は、入力画像を基本構造成分画像と詳細成分画像とに分解した例を図である。 図１−３は、分解して得られた詳細成分画像に対して多重解像度変換処理を行った結果の例を示す図である。 図１−４は、多重解像度変換処理を行った画像に対してノイズ除去を行った結果の例を示す図である。 図１−５は、多重解像度逆変換を実施した例を示す図である。 図２は、実施例１に係る画像処理装置の構成を示すブロック図である。 図３は、エッジ保存平滑化処理部が実施する平滑化処理の例を示す図である。 図４は、ウェーブレット変換による多重解像度変換処理を説明する図である。 図５は、ウェーブレット逆変換による多重解像度逆変換処理を説明する図である。 図６は、実施例１に係る画像処理装置におけるノイズ除去処理の流れを示すフローチャートである。 図７は、再帰的多重解像度処理を説明するための図である。 図８は、画像処理プログラムを実行するコンピュータシステムの例を示す図である。 図９−１は、従来技術に係るウェーブレット変換対象として入力された入力画像の例を示す図である。 図９−２は、従来技術に係るウェーブレット変換により入力画像を分解した例を示す図である。 図９−３は、従来技術に係るウェーブレット変換を用いたノイズ除去を説明するための図である。 図９−４は、従来技術に係るウェーブレット変換を用いたノイズ除去後の出力画像の例を示した図である。

符号の説明

１０ 画像処理装置
１１ 通信制御Ｉ／Ｆ部
１２ 記憶部
１２ａ 入力画像
１２ｂ 基本構造成分画像
１２ｃ 詳細成分画像
１２ｄ 周波数帯域画像
１２ｅ ノイズ除去後周波数帯域画像
１２ｆ ノイズ除去後詳細成分画像
１５ 制御部
１６ 入力画像受付部
１７ エッジ保存平滑化処理部
１８ 差分処理部
１９ 多重解像度変換処理部
２０ ノイズ除去処理部
２１ 多重解像度逆変換処理部
２２ 加算処理部
１００ コンピュータシステム
１０１ ＲＡＭ
１０２ ＨＤＤ
１０３ ＲＯＭ
１０３ａ 入力画像受付プログラム
１０３ｂ エッジ保存平滑化処理プログラム
１０３ｃ 差分処理プログラム
１０３ｄ 多重解像度変換処理プログラム
１０３ｅ ノイズ除去処理プログラム
１０３ｆ 多重解像度逆変換処理プログラム
１０３ｇ 加算処理プログラム
１０４ ＣＰＵ
１０４ａ 入力画像受付プロセス
１０４ｂ エッジ保存平滑化処理プロセス
１０４ｃ 差分処理プロセス
１０４ｄ 多重解像度変換処理プロセス
１０４ｅ ノイズ除去処理プロセス
１０４ｆ 多重解像度逆変換処理プロセス
１０４ｇ 加算処理プロセス

以下に添付図面を参照して、この発明に係る画像処理装置および画像処理プログラムの実施例を詳細に説明する。なお、以下では、本実施例に係る画像処理装置の概要、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。

［画像処理装置の概要］
本実施例で用いる主要な用語を説明する本実施例で用いる「画像処理装置（特許請求の範囲に記載の「画像処理装置」に対応する。）」とは、動静止画を問わずデジタル画像のノイズ除去の効果的な手法である。そして、この画像処理装置は、ノイズ除去を行った画像を、例えば、逆光画像などをきれいにするダイナミックレンジ圧縮を行って画像を生成するダイナミックレンジ装置に出力する。

また、ダイナミックレンジ装置は、入力画像や平滑化画像から、処理対象画像である入力画像の低周波成分及び高周波成分を算出して、算出した低周波成分及び高周波成分を用いてダイナミックレンジ圧縮を行い、ノイズなどの雑音が取り除かれた入力画像を生成（再現）する。なお、ここで、低周波成分とは、入力画像や平滑化画像から平滑化画像の画素のレベル値であり、高周波成分とは、入力画像の画素のレベル値と当該画素に対応する位置の平滑化画像の画素のレベル値との差分である。

次に、図１−１〜図１−５を用いて、実施例１に係る画像処理装置の概要を説明する。なお、ここでは、画像を１次元の信号とした例を用いて説明する。また、図１−１は、実施例１に係る画像処理装置に入力された画像（入力信号）例を示す図であり、図１−２は、入力画像を基本構造成分画像と詳細成分画像とに分解した例を図である。また、図１−３は、分解して得られた詳細成分画像に対して多重解像度変換処理を行った結果の例を示す図であり、図１−４は、多重解像度変換処理を行った画像に対してノイズ除去を行った結果の例を示す図であり、図１−５は、多重解像度逆変換を実施した例を示す図である。なお、図１-１乃至図１―５の各図は、縦軸を画素値（例えば輝度値）、横軸を画素の位置にとったグラフを模式的に表現した図である。ここで画素の位置とは、例えば画像フレームを任意の位置のライン方向に見た場合の位置である。

実施例１に係る画像処理装置は、入力画像のノイズを除去することを概要とするものであり、特に、リンギングの発生を防止しつつ、高精度なノイズ除去を実現することが可能である。

具体的に例を挙げると、画像処理装置は、図１−１に示す画像が入力された場合に、当該入力画像のエッジを保存したまま、入力画像のエッジ以外を平滑化した画像であって、入力画像内において、隣接する画素値の差が大きい部分（大きな変化）が残った基本構造成分画像を生成する。続いて、画像処理装置は、図１−２に示すように、入力画像から基本構造成分画像を減算することにより、入力画像内において、隣接する画素値の差が大きい部分を取り除いた詳細成分画像を生成する。

そして、画像処理装置は、図１−３に示すように、生成された詳細成分画像を複数の周波数帯域画像に分解する多重解像度変換処理を行って、詳細成分画像を低周波成分と高周波成分とに分解する。ここで詳細成分画像が分解されることにより、入力画像は、「基本構造成分」と「詳細成分画像（低周波成分）」と「詳細成分画像（高周波成分）」とに分解されたこととなる。

その後、画像処理装置は、図１−４に示すように、例えば、生成された複数の周波数帯域画像のうち、高周波成分に対してノイズ除去を行って、入力画像に存在した細かなノイズ（例えば、知覚しにくい小さなノイズなど）を除去する。そして、画像処理装置は、図１−５に示すように、ノイズ除去された複数の周波数帯域画像を結合する多重解像度逆変換を実施して、ノイズ除去された詳細成分画像を生成する。

このように、実施例１に係る画像処理装置は、ウェーブレット変換などを用いた多重解像度変換処理の前に、画素レベル値の変化が大きい急峻なエッジな緩やかなレベル値の変化を含んだ基本構造成分画像と、それ以外のノイズや画像の細かな階調変化を中心とする詳細成分画像に分離する。その後、実施例１に係る画像処理装置は、ノイズや画像の細かな階調変化を中心とする詳細成分画像に対し、ウェーブレット変換などを用いた多重解像度変換処理によるノイズ除去をする。

つまり、実施例１に係る画像処理装置は、画像のエッジ等のレベル変化が大きい部分を含んでいない、ノイズを中心とする高周波画像に対してノイズ除去を行うことができる結果、リンギングの発生を防止しつつ、高精度なノイズ除去を実現することが可能である。

［画像処理装置の構成］
次に、図２を用いて、実施例１に係る画像処理装置の構成を説明する。図２は、実施例１に係る画像処理装置の構成を示すブロック図である。図２に示すように、この実施例１に係る画像処理装置１０は、通信制御Ｉ／Ｆ部１１と、記憶部１２と、制御部１５とを有する。

なお、画像処理装置１０は、図示した処理部以外にも、例えば、入力部、出力部、メディア受付部などを有していてもよい。なお、入力部とは、キーボードやマウス、マイクなどを備えて構成され、各種の情報の入力を受付ける処理部である。また、出力部とは、マウスと協働してポインティングディバイス機能を実現し、モニタ（若しくはディスプレイ、タッチパネル）やスピーカを備えて構成される処理部である。また、メディア受付部は、入力画像が記憶された記憶媒体（例えば、ＣＤ、ＤＶＤ、ＨＤＤなど）を受け付けて、当該記憶媒体から入力画像を読み出して制御部１５に出力する処理部である。

通信制御Ｉ／Ｆ部１１は、他の装置との有線通信や無線通信を制御するインタフェースである。例えば、通信制御Ｉ／Ｆ部１１は、インターネットなどのネットワークを介して入力画像を受け付けたり、制御部１５により生成されたノイズ除去後の画像を接続されるダイナミックレンジ装置に出力したりする。

記憶部１２は、制御部１５による各種処理に必要なデータおよびプログラムを格納するとともに、特に、後述する制御部１５の各制御部によって生成された画像を記憶する。例えば、記憶部１２は、入力画像１２ａ、基本構造成分画像１２ｂ、詳細成分画像１２ｃ、周波数帯域画像１２ｄ、ノイズ除去後周波数帯域画像１２ｅ、ノイズ除去後詳細成分画像１２ｆなどを記憶する。

制御部１５は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有する。そして、制御部１５は、入力画像受付部１６と、エッジ保存平滑化処理部１７と、差分処理部１８と、多重解像度変換処理部１９と、ノイズ除去処理部２０と、多重解像度逆変換処理部２１と、加算処理部２２とを有し、これらによって種々の処理を実行する。

入力画像受付部１６は、画像処理装置１０に入力された入力画像を読み込んで記憶部１２に格納する。具体的に例を挙げると、入力画像受付部１６は、通信制御Ｉ／Ｆ部１１により受け付けられた入力画像や図示しないメディア受付部に受け付けられて読み出された入力画像を受け付けて、入力画像１２ａとして記憶部１２に格納する。なお、入力画像は、動画であっても静止画であってもよく、また、カラーであってもモノクロであってもよい。

エッジ保存平滑化処理部１７は、入力画像のエッジを保存したまま、入力画像のエッジ以外を平滑化した画像を示す基本構造成分画像を生成する。具体的には、エッジ保存平滑化処理部１７は、入力画像受付部１６により記憶部１２に格納された入力画像１２ａを読み出して、エッジ以外を平滑化した画像を示す基本成分画像１２ｂを生成して記憶部１２に格納する。

例えば、エッジ保存平滑化処理部１７は、空間方向の距離差に対する重み付けと画素レベル値方向の重み付けを組み合わせて、フィルタリングの着目画素と画素値の差の大きな画素について重み付けが小さくするフィルタであるバイラテラルフィルタやイプシロンフィルタ（εフィルタ）を用いてエッジを保存した平滑化画像を基本構造成分画像１２ｂとして生成することもできる。

また、例えば、エッジ保存平滑化処理部１７は、入力画像に対して、レベル値（階調値）範囲が予め設定されたフィルタを用いてフィルタリング処理を実施して複数のフィルタリング結果を生成する。そして、エッジ保存平滑化処理部１７は、生成された複数のレベル値制限変換画像を一つまたは複数選択して、選択された画像を合成することで、基本成分画像１２ｂを生成することもできる。

このレベル値（階調値）範囲が予め設定されたフィルタを用い基本成分画像１２ｂを生成するする例について、図３を用いて説明する。なお、図３は、エッジ保存平滑化処理部が実施する平滑化処理の例を示す図である。

図３に示すように、エッジ保存平滑化処理部１７は、同一フィルタサイズで１次元のローパスフィルタ（離散化εフィルタ）である複数のローパスフィルタ（ＬＰＦ＃０〜ＬＰＦ＃４）を有する。このＬＰＦ＃０〜ＬＰＦ＃４は、それぞれ異なったレベル値（階調値）範囲が予め設定されており、入力された入力画像において、自身に設定されているレベル値範囲内の画素を処理対象として平滑化処理を行い、レベル値制限平滑化画像を生成する。具体的には、ＬＰＦ＃０〜ＬＰＦ＃４は、入力された入力画像の各画素を参照して、自身に設定されているレベル値範囲内の画素を取得し、取得した各画素のレベル値を累積して平均値を算出（平滑化）する。そして、ＬＰＦ＃０〜ＬＰＦ＃４のそれぞれは、入力画像の横方向、縦方向のそれぞれについて、上記した手法を実施し、それぞれの方向から算出された値の平均値を算出し、算出した平均値を入力画像の各画素の平滑化結果とする。

ここで、ＬＰＦ＃０には、０〜５０がレベル値として設定されており、同様に、ＬＰＦ＃１には５１〜１００、ＬＰＦ＃２には１０１〜１５０、ＬＰＦ＃３には１５１〜２００、ＬＰＦ＃４には２０１〜２５５が設定されているとして、ＬＰＦでの処理について説明する。この場合、例えば、ＬＰＦ＃０は、入力画像の各画素を参照してレベルが０〜５０の画素を取得し、取得した各画素のレベル値を累積して平均値を算出する。そして、ＬＰＦ＃０は、入力画像の横方向、縦方向のそれぞれについて、上記した手法を実施し、それぞれの方向から算出された値の平均値を算出し、算出した平均値を入力画像の各画素の平滑化結果生成する。つまり、ＬＰＦ＃０は、入力画像を、レベル値「０〜５０」で平滑化した平滑化画像を生成して、レベル値制限画像＃０として記憶部１２に格納する。

また、ＬＰＦ＃１〜ＬＰＦ＃４についても同様の処理が実施されるため、ＬＰＦ＃１は、入力画像をレベル値「５１〜１００」で平滑化した平滑化画像を生成してレベル値制限画像＃１として記憶部１２に格納し、ＬＰＦ＃２は、入力画像をレベル値「１０１〜１５０」で平滑化した平滑化画像を生成してレベル値制限画像＃２として記憶部１２に格納する。また、ＬＰＦ＃３は、入力画像をレベル値「１５１〜２００」で平滑化した平滑化画像を生成してレベル値制限画像＃３として記憶部１２に格納し、ＬＰＦ＃４は、入力画像をレベル値「２０１〜２５５」で平滑化した平滑化画像を生成してレベル値制限画像＃４として記憶部１２に格納する。

そして、エッジ保存平滑化処理部１７は、入力画像の各画素を参照して、各画素のレベル値に対応するレベル値制限変換画像（プレーン）を、記憶部１２に記憶されるレベル値制限画像＃０〜レベル値制限画像＃４から選択して、選択した複数のレベル値制限変換画像を合成して１つの合成画像（フレーム）を生成する。そうすることにより、エッジ保存平滑化処理部１７は、入力画像のエッジを保存したまま、入力画像のエッジ以外を平滑化した画像を示す基本構造成分画像を生成することができる。なお、ＬＰＦの数および設定するレベル値については、上記したものに限定されるものではない。

図２に戻り、差分処理部１８は、入力画像からエッジ保存平滑化処理部１７により生成された基本構造成分画像を減算した画像を示す詳細成分画像を生成する。具体的には、差分処理部１８は、入力画像受付部１６により記憶部１２に格納された入力画像１２ａとエッジ保存平滑化処理部１７により記憶部１２に格納された基本構造成分画像１２ｂを記憶部１２から読み出す。そして、差分処理部１８は、読み出した入力画像１２ａから基本構造成分画像１２ｂを減算した画像を詳細成分画像１２ｃとして記憶部１２に格納する。

多重解像度変換処理部１９は、差分処理部１８により生成された詳細成分画像を複数の周波数帯域画像に分解する多重解像度変換処理を行う。具体的には、多重解像度変換処理部１９は、差分処理部１８により生成された詳細成分画像１２ｃを記憶部１２から読み出して、読み出した詳細成分画像を低周波成分と高周波成分とに分解して、周波数帯域画像１２ｄとして記憶部１２に格納する。ここで詳細成分画像が分解されることにより、入力画像１２ａは、「基本構造成分１２ｂ」と「周波数帯域画像１２ｄ（詳細成分画像の低周波成分、詳細成分画像の高周波成分）」とに分解されることとなる。

ここで、図４を用いて、多重解像度変換処理部１９が多重解像度変換処理としてウェーブレット変換を用いた例について説明する。なお、図４は、ウェーブレット変換による多重解像度変換処理を説明する図である。

図４に示すように、多重解像度変換処理部１９は、詳細成分画像Ｉ（詳細成分画像１２ｃ）がウェーブレット変換部に入力されると、ローパスフィルタに該当するスケーリングフィルタ（SF）とハイパスフィルタに該当するウェーブレットフィルタ（WF）に詳細成分画像Ｉを送る。なお、それぞれのフィルタには、ハールウェーブレットやドビッシーウェーブレットなど様々な形があるが、どのような形状（形式）のフィルタを用いてもよく、フィルタ形状を一度決めればウェーブレット変換は、統一的な方法で実行される。

そして、多重解像度変換処理部１９は、スケーリングフィルタを通過した低周波信号およびウェーブレットフィルタを通過した高周波信号それぞれについて、ダウンサンプリング部によって、水平方向１／２に間引きし、水平方向低周波成分Ｌおよび水平方向高周波成分Ｈのサブバンドデータに周波数分解する。

次に、多重解像度変換処理部１９は、水平方向低周波成分Ｌについて、スケーリングフィルタとウェーブレットフィルタで処理した後、ダウンサンプリング部にて、垂直方向１／２に間引いて、水平垂直方向低周波成分ＬＬ１と水平方向低周波垂直方向高周波成分ＬＨ１のサブバンドデータに分解する。同様に、多重解像度変換処理部１９は、水平方向高周波成分Ｈについて、スケーリングフィルタとウェーブレットフィルタで処理した後、ダウンサンプリング部にて、垂直方向１／２に間引いて、水平垂直方向高周波成分ＨＨ１と水平方向高周波垂直方向低周波成分ＨＬ１のサブバンドデータに分解する。

そして、多重解像度変換処理部１９は、このようにして得られた水平垂直方向低周波成分ＬＬ１と水平方向低周波垂直方向高周波成分ＬＨ１と水平垂直方向高周波成分ＨＨ１と水平方向高周波垂直方向低周波成分ＨＬ１とのサブバンドデータを、周波数帯域画像１２ｄとして記憶部１２に格納する。なお、ここでは、ウェーブレット変換について処理を詳しく説明したが、ローパスフィルタとハイパスフィルタとを、ウェーブレット変換で使用するスケーリングフィルタとウェーブレットフィルタと異なる形状に設定して、上記処理を行ってもよい。

図２に戻り、ノイズ除去処理部２０は、多重解像度変換処理部１９により生成された複数の周波数帯域画像に対して、ノイズ除去を行う。具体的には、ノイズ除去処理部２０は、多重解像度変換処理部１９により生成された周波数帯域画像１２ｄを記憶部１２から読み出して、読み出した周波数帯域画像１２ｄについてノイズ除去を行い、その結果をノイズ除去後周波数帯域画像１２ｅとして記憶部１２に格納する。

上記した図４の例で具体的に説明すると、ノイズ除去処理部２０は、周波数帯域画像１２ｄの高周波成分「ＬＨ１、ＨＨ１、ＨＬ１」に対して、コアリング処理を行うことにより、周波数帯域画像１２ｄのノイズを除去する。例えば、ノイズ除去処理部２０は、ＬＨ１、ＨＨ１、ＨＬ１の各周波数帯のサブバンドデータの係数値に対して、所定の閾値以下の係数値は一律０にして、それ以外はそのままの値にする処理を行うことにより、周波数帯域画像１２ｄのノイズを除去する。そして、ノイズ除去処理部２０は、ノイズが除去された画像をノイズ除去後周波数帯域画像１２ｅとして記憶部１２に格納する。なお、閾値の設定は、ＬＨ１、ＨＨ１、ＨＬ１で、同じ閾値でも良いし、それぞれ異なってもかまわない。

多重解像度逆変換処理部２１は、ノイズ除去処理部２０によりノイズ除去された複数の周波数帯域画像を結合する多重解像度逆変換を実施して、ノイズ除去された詳細成分画像を生成する。具体的には、多重解像度逆変換処理部２１は、ノイズ除去処理部２０により生成されたノイズ除去後周波数帯域画像１２ｅ（ノイズ除去後の詳細成分画像の低周波成分、ノイズ除去後の詳細成分画像の高周波成分）を記憶部１２から読み出して結合する。そして、多重解像度逆変換処理部２１は、結合した結果をノイズ除去後詳細成分画像１２ｆとして記憶部１２に格納する。

ここで、図５を用いて、多重解像度逆変換処理部２１でウェーブレット逆変換を実施する例について説明する。なお、多重解像度逆変換処理部２１がウェーブレット逆変換を実施するということは、多重解像度変換処理部１９でウェーブレット変換が実施されたこととなる。また、図５は、ウェーブレット逆変換による多重解像度逆変換処理を説明する図である。

図５に示すように、多重解像度逆変換処理部２１は、サブバンドデータ（ＬＬ１、ＬＨ１、ＨＨ１、ＨＬ１）に対して、ダウンサンプリング部により間引きされたデータを水増しするため、０を埋めて、垂直方向に２／１のアップサンプリングを行う。続いて、多重解像度逆変換処理部２１は、ウェーブレットフィルタに「ＨＨ１」を通し、スケーリングフィルタに「ＨＬ１」を通して、その２つの結果を加算して「Ｈ」を再構成する。同様に、多重解像度逆変換処理部２１は、ウェーブレットフィルタにアップサンプリング後の「ＬＨ１」を通し、スケーリングフィルタにアップサンプリング後の「ＬＬ１」を通して、その２つの結果を加算して「Ｌ」を再構成する。

さらに、多重解像度逆変換処理部２１は、再構成した「Ｈ」と「Ｌ」に対して垂直方向に２／１のアップサンプリングを行い、ウェーブレットフィルタにアップサンプリング後の「Ｈ」を通し、スケーリングフィルタにアップサンプリング後の「Ｌ」を通し、その２つの結果を加算して出力画像「Ｏ」を再構成する。このようにして、多重解像度変換逆処理部２１は、ウェーブレット逆変換による出力画像（ノイズ除去後詳細成分画像１２ｆ）を得る。

加算処理部２２は、エッジ保存平滑化処理部１７により生成された基本構造成分画像と、多重解像度逆変換処理部２１により生成されたノイズ除去された詳細成分画像とを加算して、入力画像のノイズが除去された出力画像を生成する。具体的には、加算処理部２２は、エッジ保存平滑化処理部１７により生成された基本構造成分画像１２ｂと、多重解像度逆変換処理部２１により生成されたノイズ除去後詳細成分画像１２ｆとを記憶部１２から読み出す。そして、加算処理部２２は、読み出した基本構造成分画像１２ｂとノイズ除去後詳細成分画像１２ｆとを加算することにより、出力画像を生成して、図示しない出力部に表示したり、ダイナミックレンジ装置に出力したりする。

［画像処理装置による処理］
次に、図６を用いて、画像処理装置による処理を説明する。図６は、実施例１に係る画像処理装置におけるノイズ除去処理の流れを示すフローチャートである。

図６に示すように、ノイズ処理開始指示などを受け付けた画像処理装置１０は、ネットワークや記憶媒体などから入力画像を読み込む（ステップＳ１０１）。そして、画像処理装置１０は、レベル値制限された複数のローパスフィルタ（例えば、図３参照）などを用いて、入力画像のエッジを保存したまま、入力画像のエッジ以外を平滑化した画像を示す基本構造成分画像を生成する（ステップＳ１０２）。

続いて、画像処理装置１０は、入力画像から基本構造成分画像を減算して詳細成分画像を生成する（ステップＳ１０３）。そして、画像処理装置１０は、生成された詳細成分画像に対して、ウェーブレット変換などの多重解像度変換処理を行って、詳細成分画像を複数の周波数帯域画像に分解する（ステップＳ１０４）。

その後、画像処理装置１０は、例えば、コアリング処理などを用いて、得られた複数の周波数帯域画像からノイズ除去を行う（ステップＳ１０５）。そして、画像処理装置１０は、例えば、ウェーブレット逆変換などの多重解像度逆変換処理を行って、ノイズ除去された複数の周波数帯域画像を結合して、ノイズ除去された詳細成分画像を生成する（ステップＳ１０６）。

また、画像処理装置１０は、入力画像を平滑化して得られた基本構造成分画像と、ノイズ除去された詳細成分画像とを加算して、入力画像のノイズが除去された出力画像を生成する（ステップＳ１０７）。

［実施例１による効果］
このように、実施例１によれば、画像処理装置１０は、入力画像のエッジを保存したまま、入力画像のエッジ以外を平滑化した画像を示す基本構造成分画像を生成し、入力画像から基本構造成分画像を減算した画像を示す詳細成分画像を生成する。そして、画像処理装置１０は、生成された詳細成分画像を複数の周波数帯域画像に分解してノイズ除去を行って、ノイズ除去された複数の周波数帯域画像を結合する多重解像度逆変換を実施して、ノイズ除去された詳細成分画像を生成する。

このようにすることで、画像処理装置１０は、画像のエッジ等のレベル変化が大きい部分を含んでいない、ノイズを中心とする高周波画像に対してノイズ除去を行うことができる結果、リンギングの発生を防止しつつ、高精度なノイズ除去を実現することが可能である。また、ノイズ除去された詳細成分画像を生体認証（例えば、顔認証、静脈認証など）に用いることにより、精度の高い認証処理を実施することが可能となり、なりすましなどを強固に防止することもできる。

また、実施例１によれば、画像処理装置１０は、生成された基本構造成分画像と、生成されたノイズ除去された詳細成分画像とを加算して、入力画像のノイズが除去された出力画像を生成することができる。その結果、細かなノイズが除去された画像を生成することができ、その画像をダイナミックレンジ装置に出力したりできるので、動静止画を問わずデジタル画像のノイズ除去の効果的に行うことができる。

また、実施例１によれば、画像処理装置１０は、生成された詳細成分画像に対して、ウェーブレット変換を実施して複数の周波数帯域画像に分解する。そして、画像処理装置１０は、ノイズ除去された複数の周波数帯域画像に対して、ウェーブレット逆変換を実施してノイズ除去された詳細成分画像を生成する。その結果、ノイズ除去手法として一般的に用いられているウェーブレット変換を用いた場合でも、高精度なノイズ除去を実現することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施例を説明する。

（再帰的多重解像度処理）
例えば、実施例１では、周波数帯域画像１２ｄとして、ウェーブレット変換により、水平垂直方向低周波成分ＬＬ１と水平方向低周波垂直方向高周波成分ＬＨ１と水平垂直方向高周波成分ＨＨ１と水平方向高周波垂直方向低周波成分ＨＬ１とのサブバンドデータを得る例について説明した。これに限定されるものではなく、例えば、特定の周波数帯域のサブバンドデータを（例えば、ＬＬｎ成分（ただし、ｎは繰り返し回数））に対して、再帰的多重解像度処理を繰り返すこともできる。

具体的に、図７を用いて説明すると、画像処理装置１０は、図４に示したウェーブレット変換（ウェーブレット変換１回目）を実行することにより、図７の（ａ）の画像を得ることができる。次に、画像処理装置１０は、水平垂直方向低周波成分ＬＬ１に対してのみ、再度ウェーブレット変換（ウェーブレット変換２回目）を実行することにより、図７の（ｂ）の画像を得ることができる。さらに、画像処理装置１０は、水平垂直方向低周波成分ＬＬ２に対してのみ、再度ウェーブレット変換（ウェーブレット変換３回目）を実行することにより、図７の（ｃ）の画像を得ることができる。

このように、画像処理装置１０は、特定の周波数帯域のサブバンドデータに対して、再帰的多重解像度処理を繰り返すことにより、より細かなノイズを抽出することができる。その結果、ノイズ除去処理時に、抽出されたより細かなノイズを除去することができるので、高画質なノイズ除去後の詳細成分画像や出力画像を作成することができ、より高精度なノイズ除去を実現することが可能である。

また、再帰的多重解像度処理を実行した場合、ノイズ除去処理部２０は、ＬＨｎ、ＨＨｎ、ＨＬｎの繰り返し処理の回数ｎによって、コアリング処理の閾値を変えることもできる。なお、図７は、再帰的多重解像度処理を説明するための図である。

（多重解像度処理の例）
また、実施例１では、多重解像度変換処理としてウェーブレット変換を用いた場合について説明したが、これに限定されるものではない。例えば、ＫＬ（Karhunen-Loeve）変換、コサイン変換、フーリエ変換などの周波数変換であってもいずれの手法を用いることができる。その場合、多重解像度逆変換処理では、それぞれの逆変換を実施すればよい。

（システム構成等）
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、入力画像の受付処理や読み込み処理など）の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、エッジ保存平滑化処理部１７と差分処理部１８とを統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（プログラム）
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。

図８は、画像処理プログラムを実行するコンピュータシステムの例を示す図である。図８に示すように、コンピュータシステム１００は、ＲＡＭ１０１と、ＨＤＤ１０２と、ＲＯＭ１０３と、ＣＰＵ１０４とから構成される。ここで、ＲＯＭ１０３には、上記の実施例と同様の機能を発揮するプログラムがあらかじめ記憶されている。つまり、図８に示すように、入力画像受付プログラム１０３ａと、エッジ保存平滑化処理プログラム１０３ｂと、差分処理プログラム１０３ｃと、多重解像度変換処理プログラム１０３ｄと、ノイズ除去処理プログラム１０３ｅと、多重解像度逆変換処理プログラム１０３ｆと、加算処理プログラム１０３ｇとがあらかじめ記憶されている。

そして、ＣＰＵ１０４には、これらのプログラム１０３ａ〜１０３ｇを読み出して実行することで、図８に示すように、入力画像受付プロセス１０４ａと、エッジ保存平滑化処理プロセス１０４ｂと、差分処理プロセス１０４ｃと、多重解像度変換処理プロセス１０４ｄと、ノイズ除去処理プロセス１０４ｅと、多重解像度逆変換処理プロセス１０４ｆと、加算処理プロセス１０４ｇとなる。

なお入力画像受付プロセス１０４ａは、図２に示した、入力画像受付部１６に対応し、同様に、エッジ保存平滑化処理プロセス１０４ｂは、エッジ保存平滑化処理部１７に対応し、差分処理プロセス１０４ｃは、差分処理部１８に対応する。また、多重解像度変換処理プロセス１０４ｄは、多重解像度変換処理部１９に対応し、ノイズ除去処理プロセス１０４ｅは、ノイズ除去処理部２０に対応し、多重解像度逆変換処理プロセス１０４ｆは、多重解像度逆変換処理部２１に対応し、加算処理プロセス１０４ｇは、加算処理部２２に対応する。

また、ＨＤＤ１０２には、ＣＰＵ１０４の各制御プロセスによって生成された画像として、図２と同様、入力画像１２ａ、基本構造成分画像１２ｂ、詳細成分画像１２ｃ、周波数帯域画像１２ｄ、ノイズ除去後周波数帯域画像１２ｅ、ノイズ除去後詳細成分画像１２ｆなどを記憶する。

ところで、上記したプログラム１０３ａ〜１０３ｇは、必ずしもＲＯＭ１０３に記憶させておく必要はなく、例えば、コンピュータシステム１００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらに、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータシステム１００に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム１００がこれらからプログラムを読み出して実行するようにしてもよい。

Claims (5)

1. 入力画像のノイズを除去する画像処理装置であって、
   前記入力画像のエッジを保存したまま、前記入力画像のエッジ以外を平滑化した画像を示す基本構造成分画像を生成するエッジ保存平滑化手段と、
   前記入力画像から前記エッジ保存平滑化手段により生成された基本構造成分画像を減算した画像を示す詳細成分画像を生成する減算手段と、
   前記減算手段により生成された詳細成分画像を低周波成分と高周波成分とに分解し、低周波成分と高周波成分とのそれぞれにおける水平方向の低周波成分と水平方向の高周波成分とのそれぞれを、垂直方向の低周波成分と垂直方向の高周波成分とに分解する多重解像度変換処理を行う多重解像度変換手段と、
   前記多重解像度変換手段により生成された複数の垂直方向の高周波成分に対して、ノイズ除去を行うノイズ除去手段と、
   前記ノイズ除去手段によりノイズ除去された垂直方向の高周波成分と垂直方向の低周波成分とを結合し、前記水平方向の低周波成分と前記水平方向の高周波成分とを結合し、前記低周波成分と前記高周波成分とを結合する多重解像度逆変換処理を実施して、ノイズ除去された詳細成分画像を生成する多重解像度逆変換手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記エッジ保存平滑化手段により生成された基本構造成分画像と、前記多重解像度逆変換手段により生成されたノイズ除去された詳細成分画像とを加算して、前記入力画像のノイズが除去された出力画像を生成する出力画像生成手段をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記多重解像度変換手段は、前記減算手段により生成された詳細成分画像に対して、前記多重解像度変換処理としてウェーブレット変換を実施して、前記詳細成分画像を前記垂直方向の低周波成分と前記垂直方向の高周波成分とに分解し、
   前記多重解像度逆変換手段は、前記ノイズ除去手段によりノイズ除去された前記垂直方向の高周波成分と前記垂直方向の低周波成分とを結合し、前記水平方向の低周波成分と前記水平方向の高周波成分とを結合し、前記低周波成分と前記高周波成分に対して、前記多重解像度逆変換処理としてウェーブレット逆変換を実施してノイズ除去された詳細成分画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記多重解像度変換手段は、前記多重解像度変換処理により得られた前記垂直方向の低周波成分と前記垂直方向の高周波成分のうち、特定の周波数帯域の画像について、前記多重解像度変換処理を所定の回数繰り返して実行して、前記特定の周波数帯域の画像をさらに前記垂直方向の低周波成分と前記垂直方向の高周波成分とに分解することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 入力画像のノイズを除去することをコンピュータに実行させる画像処理プログラムであって、
   前記入力画像のエッジを保存したまま、前記入力画像のエッジ以外を平滑化した画像を示す基本構造成分画像を生成するエッジ保存平滑化手順と、
   前記入力画像から前記エッジ保存平滑化手順により生成された基本構造成分画像を減算した画像を示す詳細成分画像を生成する減算手順と、
   前記減算手順により生成された詳細成分画像を低周波成分と高周波成分とに分解し、低周波成分と高周波成分とのそれぞれにおける水平方向の低周波成分と水平方向の高周波成分とのそれぞれを、垂直方向の低周波成分と垂直方向の高周波成分とに分解する多重解像度変換処理を行う多重解像度変換手順と、
   前記多重解像度変換手順により生成された複数の垂直方向の高周波成分に対して、ノイズ除去を行うノイズ除去手順と、
   前記ノイズ除去手順によりノイズ除去された垂直方向の高周波成分と垂直方向の低周波成分とを結合し、前記水平方向の低周波成分と前記水平方向の高周波成分とを結合し、前記低周波成分と前記高周波成分とを結合する多重解像度逆変換処理を実施して、ノイズ除去された詳細成分画像を生成する多重解像度逆変換手順と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images