JP2010534432A - ノイズ除去機能付きのデジタル画像処理増強システム及び方法 - Google Patents

Abstract

本発明ではデジタル画像技術分野におけるノイズ除去機能付きのデジタル画像処理増強システム及び方法が提供されており、収集したデジタル画像を入力するとともに、取得したデジタル画像を光照射画像及び反射画像に分解し、その後、分解後の光照射画像及び反射画像に対して処理を実施し、最後に、更に処理後の光照射画像及び反射画像を出力画像に併合して出力機器上に出力する。本発明は画像の品質を効果的に改善して、画像のノイズを除去することができ、物体のディテールの特徴は留保し、視覚効果は自然である。

Description

本発明はデジタル画像技術分野の画像処理システムに関するものであり、具体的には、ノイズ除去機能を有するデジタル画像処理増強システムである。他方、本発明はデジタル画像技術分野の画像処理方法でもあり、具体的には、ノイズ除去機能を有するデジタル画像処理増強方法である。

デジタルカメラの普及に伴い、デジタル画像は生産及び生活においても益々重要な地位を占めている。特に生産の自動化において、デジタル画像は目標識別及び目標追跡などの面で重要な役割を果たしている。しかし、結像技術自身の欠陥により、デジタル画像の品質に影響が及び、デジタル画像の応用は制限を受けている。

現実生活における輝度は動的範囲が非常に大きく、主に環境光照射の影響を受け、日光の直射下及び日陰における輝度は往々にして相互差は数等級となる。それに比べ、デジタルカメラの動的範囲は非常に小さく、最も常用される８ビット画像の深度は２５６の輝度段階を表示することができるだけである。異なる光照射条件下において、人類の視覚系は瞳孔の大きさ調整並びに網膜及び大脳皮質の処理により光照射の影響を除去し、物体を正確に識別することができる。しかし、カメラにはこの種の自己調節機能は備わっていないため、光照射条件が悪い場合には（過度に暗いかまたは過度に明るい）、興味のある物体を画像上で識別することは難しく、画像の品質も非常に大きく低下する。

この問題について一般の処理方法は往々にして階調均衡化またはガンマ補正であるが、この２種類の処理方法は共に全局的な処理方法であり、局部の情報は軽視されているため、上記方法により画像を増強した後には光照射は改善されているが、局部画像のディテールは失われているおそれがある。それに比べ、本発明はＲｅｔｉｎｅｘモデルに基づき、入力画像を光照射画像及び反射画像に分解することにより、光照射の影響を入力画像中から剥離し、出力画像における光照射効果を改善するとともに、入力画像における局部の画像ディテールも比較的良好に保護している。

現有技術に対する文献検索により、Ｒｏｎ． Ｋｉｍｍｅｌ， Ｍｉｃｈａｅｌ Ｅｌａｄらの「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」（コンピュータビジョン国際ジャーナル、２００３年第５２期第１巻第７〜２３ページ）における１つの論文“Ａ Ｖａｒｉａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｒｅｔｉｎｅｘ”（Ｒｅｔｉｎｅｘの変分フレームワーク）を見付けたが、当該論文ではＲｅｔｉｎｅｘモデルに基づく画像増強システム及び方法が提示されている。具体的には、先ず１枚の入力画像を収集し、その後、入力画像を光照射画像及び反射画像に分解する。この画像分解方法は以下の方式により実行される。Ｒｅｔｉｎｅｘモデルに基づくと、いずれかの画像を光照射画像と反射画像との積に分解することができ、画像分解の核心は光照射画像の推定、つまり環境光照射の予測である。環境光照射の予測については、Ｒｅｔｉｎｅｘ変分モデルにおいて提示されている３つの約束である、光照射画像は空間域で平滑であること、光照射画像の画素値は入力画像の画素値よりも大きいこと、及び光照射画像と入力画像とは十分に接近していることに基づき、環境光照射成分に対して推算を加え、１枚の非常に平滑な画像を光照射画像の予測として取得した後、入力画像と光照射画像、反射画像との関係により推定して反射画像を取得する。画像を光照射画像と反射画像とに分解した後、入力画像の光照射画像に対して単独処理を実施し、光照射画像の画素値に対して応用の要求に応じて非線形補正処理（例えば、ガンマ補正、階調均衡化、対数変換、指数変換、区分線形マップなどの処理）を施して、原画像における光照射不良領域の可視度を改善し、画像の品質を向上させる。後添の図１は当該“Ｒｅｔｉｎｅｘの変分フレームワーク”における画像増強システムの概念ブロック図が示されている。

上記システム及び方法の不足点は次の通りである。それは入力画像の光照射効果を改善することができるが、画像ディテールの内容が増強されていると同時に入力画像におけるノイズも増強されているため、元から比較的多くのノイズが含まれている入力画像について、出力画像の品質が入力画像よりも劣る結果となる可能性がある。画像ディテールを増強すると同時に、ノイズの出力画像の品質に対する影響を回避することは解決不能である。

本発明の目的は、現有技術における環境光照射条件のデジタル画像に対する影響についての技術に存在する不足点を克服することにあり、当該目的を実現するため、本発明ではノイズ除去機能付きのデジタル画像処理増強システム及び方法が提供されており、本発明により、入力画像に基づき環境光照射条件を自動的に推定するとともに、光照射に基づき画像に対して自動調節を実施することが可能となり、異なる光照射条件下で取得される画像はデジタルカメラの動的範囲（通常は０〜２５５）内において局部画像の情報に基づき可視度が最適な輝度範囲に自動的に調整され、出力画像における光照射効果は改善されるとともに、局部画像のディテールも増強される。本発明はデジタルカメラの結像の品質向上及びデジタル画像に基づく産業自動化における画像前処理段階に応用することができる。

本発明ではノイズ除去機能付きのデジタル画像処理増強システムが提供されており、当該システムは以下の技術案により実現される。それには５つのモジュール、つまり、入力モジュールと、画像分解モジュールと、光照射画像処理モジュールと、反射画像処理モジュールと、併合及び出力モジュールとが備わっている。入力モジュールは、デジタル画像をシステム入力として収集して、取得したデジタル画像を画像分解モジュールに入力することに責任を負い、画像分解モジュールは、入力画像を光照射画像Ｌ及び反射画像Ｒに分解して、光照射画像処理モジュール及び反射画像処理モジュールにそれぞれ入力し、光照射画像処理モジュールは、入力画像の光照射画像Ｌに対して非線形補正処理を実施した後に、補正済みの光照射画像Ｌ’を出力し、反射画像処理モジュールは、反射画像Ｒ中の入力画像の過度に暗い領域に対応する画素に対してノイズ除去処理を実施して、ノイズ除去後の反射成分Ｒ’を出力し、入力画像の過度に暗い領域は光照射画像情報により確定可能であり、併合及び出力モジュールは、前２つのモジュール中から出力されるＬ’及びＲ’を再度出力画像に併合するとともに出力機器上に出力する。

そのうち、本発明における入力モジュールとは、デジタルカメラ及びデジタルスキャナが取得可能な画像及びデジタル撮影機が提供するシーケンス画像のうちの１フレームであるデジタル画像の収集に責任を負うモジュールを指す。

本発明における画像分解モジュールとは、入力画像のリアルタイム分解に対して、それぞれ入力画像の光照射成分に対応する光照射画像及び入力画像の反射成分に対応する反射画像である２つの出力を提供するモジュールを指す。前記入力画像のリアルタイム分解とは、Ｒｅｔｉｎｅｘモデルの実現に対して、Ｒｅｔｉｎｅｘモデルに基づき、いずれかの画像を光照射画像と反射画像との積に分解することができ、画像分解の核心は光照射画像の推定、つまり環境光照射の予測である。環境光照射の予測については、Ｒｅｔｉｎｅｘ変分モデルにおいて提示されている３つの約束である、光照射画像は空間域で平滑であること、光照射画像の画素値は入力画像の画素値よりも大きいこと、及び光照射画像と入力画像とは十分に接近していることに基づき、環境光照射画像に対して推算を加え、多解析度技術を応用し、つまり各解析度層において平滑化フィルタ（例えば、ガウスフィルタ、平均値フィルタなど）を応用して画像の低周波情報を取得し、鮮鋭化（例えば、ラプラシアン鮮鋭化、グラディエント鮮鋭化などの鮮鋭化方法）を応用して画像の高周波情報を取得し、画像中の高周波情報を不断に除去して、低周波情報は留保して、１枚の平滑な画像を光照射画像の推定として取得し、その後、入力画像と光照射画像、反射画像との関係により推定して反射画像を取得する。

本発明における光照射画像処理モジュールとは、入力画像の光照射画像に対して単独処理を実施するモジュールを指す。光照射が不良な入力画像中において、光照射画像の階調分布は往々にして画像動的範囲のある小さな部分に集中するため、光照射画像に対する処理には非線形のマップ関係を採用して動的範囲のローエンド及びハイエンドに位置する画素のコントラストを向上して、この部分のディテールを発現可能とさせる。当該非線形のマップ関係は具体的な応用要求に基づき確定することができる。

本発明における非線形補正処理は、ガンマ補正とすることができる。
本発明における反射画像処理モジュールとは、光照射画像中から入力画像の過度に暗い領域を識別し、入力画像の反射画像に対応する領域に対してノイズ除去フィルタリングを実施するモジュールを指す。反射画像に含まれるのは画像の高周波情報であり、画像のノイズの大部分は画像分解が施された後には大部分が反射画像中に集中し、光照射画像中にノイズは基本的に含まれていないため、入力画像の反射画像に対してノイズ除去フィルタリング処理を実施する必要がある。前記ノイズ除去フィルタリングとは、光照射画像に対する階調分析により入力画像の過度に暗い領域を識別し、反射画像上でそれら領域に対してフィルタリングを実施することを指す。前記入力画像の過度に暗い領域を識別するとは、実験に基づき効果が最適な閾値を選定し、光照射画像の画素階調に対して二値化処理を実施し、階調が閾値よりも小さいと１と表示し、階調が閾値よりも大きいと０と表示することを指し、このようにして１と表示される領域がつまりノイズ除去フィルタリング処理を必要とする過度に暗い領域である。

本発明におけるノイズ除去フィルタリング処理には、局部バイラテラルフィルタリング処理を採用することができる。実験分析により出力画像における大部分のノイズは入力画像の過度に暗い領域に対応していることを確定することができるため、光照射画像に対する階調分析によりそれらの領域を識別することができ、反射画像上でそれらの領域に対してノイズ除去フィルタリングを実施すると、僅かの処理時間が増加するだけであるとの条件下において、大部分のノイズを効果的に除去してリアルタイム処理の要求を満足することができる。

本発明における併合及び出力モジュールとは、単独で処理された光照射画像及び反射画像を再度既知の関係に基づき同一の出力画像に併合するとともに、当該出力画像を出力するモジュールを指す。当該出力画像は写真プリンタを介して写真として出力するかまたはコンピュータディスプレイなどその他の表示機器上に直接表示することができる。

本発明における入力モジュールは、デジタル画像をシステム入力として収集して、取得したデジタル画像を画像分解モジュールに入力することに責任を負い、画像分解モジュールは、入力画像を分解して光照射画像Ｌ及び反射画像Ｒの２つの出力を取得し、この２つの出力を光照射画像処理モジュール及び反射画像処理モジュールにそれぞれ入力し、光照射画像処理モジュールは、入力画像の光照射画像Ｌに対して非線形補正処理を実施して、補正済みの光照射画像Ｌ’を取得し、反射画像処理モジュールは、先ず光照射画像に基づきノイズ除去領域を確定し、その後、反射画像のノイズ除去領域内の画素に対してノイズ除去処理を実施して、ノイズ除去後の反射成分Ｒ’を出力し、併合及び出力モジュールは、前２つのモジュール中から出力されるＬ’及びＲ’を再度出力画像に併合するとともに出力機器上に出力する。

同時に、本発明では更にノイズ除去機能付きのデジタル画像処理増強方法が提供されており、当該方法は以下の技術案により実現される。先ず１枚のデジタル画像を読み込み、各画素の色及び階調値を分配された内部メモリ領域中に保存し、次に、入力画像を光照射画像及び反射画像の２つの部分に分解し、引き続き、それぞれ光照射画像及び反射画像に対して処理を実施し、最後に、再度処理後の光照射画像及び反射画像を出力画像に併合するとともに、出力機器上に出力する。

本発明において、入力画像を分配された内部メモリ領域中に保存するとは、１ブロックの画像サイズに相当する内部メモリ領域を割り当て、入力画像の各画素値を順に内部メモリ領域の対応する内部メモリユニット中に保存することを指す。入力画像がカラー画像である場合には、カラー画像をＲ、Ｇ、Ｂ３つのチャネルに分けてそれぞれ保存する。

本発明において、入力画像を光照射画像及び反射画像に分解するとは、Ｒｅｔｉｎｅｘモデルに基づき、いずれかの画像を光照射画像と反射画像との積に分解することができることを指し、画像分解の核心は光照射画像の推定、つまり環境光照射の予測である。環境光照射の予測については、Ｒｅｔｉｎｅｘ変分モデルにおいて提示されている３つの約束である、光照射画像は空間域で平滑であること、光照射画像の画素値は入力画像の画素値よりも大きいこと、及び光照射画像と入力画像とは十分に接近していることに基づき、環境光照射成分に対して簡素化を加え、多解析度技術を応用し、つまり各解析度層において平滑化フィルタ（例えば、ガウスフィルタ、平均値フィルタなどのフィルタリング方法）を応用して画像の低周波情報を取得し、鮮鋭化（例えば、ラプラシアン鮮鋭化、グラディエント鮮鋭化などの鮮鋭化方法）を応用して画像の高周波情報を取得し、画像中の高周波情報を不断に除去して、低周波情報は留保して、１枚の平滑な画像を光照射画像の予測として取得し、その後、入力画像と光照射画像、反射画像との関係により推定して反射画像を取得する。

本発明において、光照射画像に対する処理とは、当初の光照射画像に対して非線形補正処理を実施すること、つまり非線形マップ曲線により入力画像における過度に暗い領域と過度に明るい領域とのコントラストを引き上げて、この２つの部分の光照射不良領域の光照射効果及び可視度を向上させることを指す。

本発明において、当初の光照射画像に対して非線形補正処理を実施する方法はガンマ処理とすることができ、ガンマ曲線をマップ曲線として、入力画像における過度に暗い領域と過度に明るい領域とのコントラストを引き上げて、この２つの部分の光照射不良領域の光照射効果及び可視度を向上させる。

本発明において、反射画像に対する処理とは、光照射画像中から入力画像の過度に暗い領域を識別し、入力画像の反射画像に対応する領域に対してノイズ除去フィルタリング処理を実施することを指す。前記ノイズ除去フィルタリング処理とは、反射画像に含まれるのは原画像中の高周波情報であり、同時に入力画像の過度に暗い領域情報及びノイズの可視度は共に比較的低く、画像のノイズは画像の分解後には大部分が反射画像中の入力画像における過度に暗い領域に対応する領域に集中するため、光照射画像中から入力画像の過度に暗い領域を識別し、ノイズ除去フィルタを応用して、過度に暗い領域に対応する反射画像領域に対してノイズ除去処理を実施することを指す。

本発明において、ノイズ除去フィルタリング方式はバイラテラルフィルタリングとすることができ、光照射画像上の情報により動的にフィルタリングを必要とする領域、つまり入力画像の暗黒領域を確定する。同時に光照射画像上で識別された過度に暗い領域に基づき反射画像においてバイラテラルフィルタリングを実施してノイズを除去し、エッジ情報は完全に留保することができるとともに、エッジ両側のノイズは平滑化フィルタリングにより除去される。

本発明において、光照射画像から入力画像の過度に暗い領域を識別するとは、実験に基づき効果が最適な閾値を選定し、光照射画像の画素階調に対して二値化処理を実施し、階調が閾値よりも小さいと１と表示し、階調が閾値よりも大きいと０と表示することを指し、このようにして１と表示される領域がつまりノイズ除去フィルタリングを必要とする過度に暗い領域である。

本発明において、バイラテラルフィルタリングとは、それぞれ画像空間域及び画像階調域においてノイズ除去処理を実施する技術であり、画像のエッジ情報が保護されて損害を受けないことを基礎として画像中のノイズを除去して、画像の品質改善との目的を達成する。物体のエッジに遭遇すると、値域フィルタリングの影響を受け、エッジ両側の画素値は相互に影響せずに、それぞれ自己の側で空間域の平滑化フィルタリングを実施する。

本発明において、光照射画像及び反射画像を出力画像に併合するとは、いずれかの画像を光照射画像と反射画像との積に分解可能な原理に基づき、それぞれ処理後の新たな光照射画像及び反射画像に対応する画素の画素値を互いに乗じて出力画像を取得することを指す。出力画像及び入力画像のフォーマットは一致しているため、一般の出力機器、例えばデジタル写真プリンタやコンピュータディスプレイなどに出力することができる。

本発明では、先ず１枚のデジタル画像を入力し、各画素の色及び階調値を分配された内部メモリ領域中に保存し、次に、Ｒｅｔｉｎｅｘモデルに基づき入力画像を光照射画像及び反射画像の２つの部分に分解し、引き続き、２つの部分に対してそれぞれ処理を実施し、光照射画像は非線形補正処理により光照射効果が改善され、反射画像については光照射画像上から取得されるノイズ除去領域に基づきノイズ除去フィルタリングを実施して、ノイズを除去し、最後に、再度処理後の光照射画像及び反射画像を１枚の出力画像に併合して出力機器上に出力する。

本発明が提供するデジタル画像処理増強システム及び方法に基づくと、光照射が不良な環境下における撮影画像の品質を改善し、入力画像における光照射効果を調整して、入力画像内容の可視度を向上させることが可能であるばかりではなく、リアルタイム処理の要求を満足することも可能である。一般の全局的な画像増強方法、例えばガンマ補正や階調均衡化法に比べ、より良好に局部画像のディテールを留保して、画像内における有効な特徴点の個数を増加することができるため、日常生活及び生産活動において広範な応用の前途を備えている。また、本発明は、Ｒｅｔｉｎｅｘモデルに基づく画像増強システムを基礎として反射画像のノイズ集中領域に対するノイズ除去操作が加わっているため、システムのリアルタイム性に影響を及ぼさないとの条件下においてＲｅｔｉｎｅｘアルゴリズムが画像増強過程で引き起こすノイズ量上昇問題は大幅に改善されている。

現有技術における“Ｒｅｔｉｎｅｘの変分フレームワーク”画像増強システムの概念ブロック図である。 本発明に基づくデジタル画像処理増強システムの概念ブロック図である。 本発明に基づくデジタル画像処理増強方法の実施例における処理の流れ図である。 本発明に基づくデジタル画像処理増強方法の応用実例の見取図である。

以下においては添付図に基づき本発明の実施例について詳細に説明する。本実施例は本発明の技術案を前提として実施し、詳細な実施方式を提示するものであるが、本発明の保護範囲は下記実施例に限るものではない。

図２に示されている通り、本発明に基づくデジタル画像処理増強システムの実施例には５つのモジュール、つまり入力モジュールと、画像分解モジュールと、光照射画像処理モジュールと、反射画像処理モジュールと、併合及び出力モジュールとが含まれる。この５つのモジュールは１つの入力機器（デジタルカメラ）、１つのコンピュータソフトウェア処理プログラム及び１つの出力機器（写真プリンタまたはコンピュータディスプレイなど）により実現される。入力モジュールはデジタル画像を収集し、入力モジュールの出力は画像分解モジュールの入力に接続され、画像分解モジュールの２つの出力、つまり光照射画像及び反射画像は、それぞれ別の２つのモジュール、つまり光照射画像処理モジュール及び反射画像処理モジュールの入力であり、光照射画像処理モジュール及び反射画像処理モジュールの出力は併合及び出力モジュールの２つの入力である。

入力モジュールは、一般のデジタルカメラ、デジタル撮影機またはスキャナなどの入力機器により実現することができ、入力モジュールの出力は１枚の汎用フォーマットのデジタル画像である（例えばｂｍｐ、ｊｐｅｇなど）。

画像分解モジュールは入力モジュールが取得したデジタル画像を２枚の画像、つまり光照射画像及び反射画像に分解する。Ｒｅｔｉｎｅｘモデルに基づき、いずれかの画像を光照射画像と反射画像との積に分解することができ、入力画像に対して分解を実施する核心の問題は光照射画像の推定にある。本発明において光照射画像の推定は、Ｒｅｔｉｎｅｘモデルに基づき、多解析度技術を用い、各解析度層において、画像の平滑化フィルタリング（本発明の好適実施例においては、ガウスフィルタを応用して平滑化フィルタリングを実施するが、当業者が熟知しているその他のフィルタリング法、例えば平均値フィルタなども本発明中に応用することができる）結果は留保し、画像の鮮鋭化結果は除去し（本発明の好適実施例においては、ラプラシアン鮮鋭化を鮮鋭化法として応用しているが、当業者が熟知しているその他の鮮鋭化法、例えばグラディエント鮮鋭化なども本発明中に応用することができる）、若干回数反復して、１枚の非常に平滑な画像を、入力画像の光照射画像の推定として取得する。反射画像は入力画像から光照射画像を除いて取得する。

光照射画像処理モジュールは、主に入力画像の光照射条件を調節して、出力画像の光照射効果を改善する目的を達成する。光照射画像に対する非線形補正について、本発明が採用しているのは、非線形マップ曲線を用いて入力画像中の過度に暗い領域と過度に明るい領域とのコントラストを引き上げて、この２つの部分の光照射不良領域の光照射効果及び可視度を向上させる方法である。

反射画像処理モジュールは、主に反射画像の局部領域に対してノイズ除去処理を実施する。ノイズ除去処理はＲｅｔｉｎｅｘに基づき画像のノイズが主に集中している入力画像中の過度に暗い領域を処理し、先ず、実験経験に基づき最適な閾値を選定し、入力画像の光照射画像に対して二値化処理を実施し、階調が閾値よりも小さいと１と表示し、階調が閾値よりも大きいと０と表示し、このようにして１と表示される領域がつまりノイズ除去処理を必要とする過度に暗い領域である。その後、二値画像に基づき反射画像の各画素に対して過度に暗い領域内に位置するか否かを判断し、位置する場合はフィルタリング処理を実施してノイズを除去する。

好適には、本実施例においては、使用するノイズ除去フィルタリング法は局部バイラテラルフィルタリングであるが、その他のフィルタリング方法（例えば、中央値フィルタ、平均値フィルタ、ローパスフィルタ、異方性フィルタなど）も本発明に応用して反射画像に対するノイズ除去フィルタリングを実施することができる。

上記の記述によれば、入力画像が分解された後、大部分のノイズはいずれも反射画像中に集中している。実験分析により、出力画像の大部分のノイズは入力画像の過度に暗い領域に対応していることを確定することができるため、反射画像上で、画像全体ではなく、これらの領域に対してフィルタリングを実施すると、大部分のノイズを効果的に除去することができるばかりではなく、処理時間も大幅に節約して、リアルタイム処理の要求を満足することもできる。フィルタリングを必要とする領域、つまり入力画像の暗黒領域は、光照射画像上の情報により動的に確定することができる。同時に光照射画像上から識別された過度に暗い領域に基づき反射画像中でバイラテラルフィルタリングを行うと、エッジ情報は完全に留保することができるとともに、エッジ両側のノイズはガウスフィルタリングにより除去される。一般のフィルタリング法、例えば平均値フィルタ、中央値フィルタやガウスフィルタなどの全局フィルタリング法に比べると、上記局部バイラテラルフィルタリング法を使用すると、より多くの処理時間を節約して、リアルタイム処理の要求を達成することができる。そのため、本発明の好適実施例においては局部バイラテラルフィルタリングを使用しており、この方法は一般の全局フィルタリングに比べて大幅に時間を節約することができる。

併合及び出力モジュールは、入力画像は光照射画像と反射画像との積の関係であるとの原理に基づき、光照射画像処理モジュール及び反射画像処理モジュールでそれぞれ処理された後の光照射画像及び反射画像を互いに乗じて出力画像に併合し、その後、出力画像を出力機器上に出力する。出力機器はデジタルカメラのプリンタ、コンピュータのディスプレイなどの機器とすることができる。

本実施例は現有技術における画像増強システム（図１に示されている通り）に比べ、局部バイラテラルフィルタリングを応用した反射画像に対するノイズ除去フィルタリングが追加され、画像増強過程におけるノイズの出力画像の品質に対する悪影響は効果的に抑制されるとともに、局部バイラテラルフィルタリング技術が採用されており、処理時間は大幅に節約されるため、本実施例はリアルタイム処理の要求を満足可能となっている。

以下においては、図３及び図４を参照して本発明に基づくデジタル画像処理増強方法の実施例について記述する。本発明のデジタル画像処理増強方法では、先ず入力画像を読み取った後、入力画像を２つの部分、つまり光照射画像及び反射画像に分解し、その後、光照射画像に対して非線形補正処理を施すとともに、補正前の光照射画像中から過度に暗い領域を抽出して、反射画像の相応の領域に対して局部バイラテラルフィルタリングを採用してノイズ除去処理を実施し、最後に、処理後の光照射画像及び反射画像を互いに乗じて出力画像に併合して、当該画像を出力する。全プロセスがリアルタイムであり、かつ、自己適応であるため、ユーザが任意のパラメータを設定する必要はない。

好適には、本実施例において、非線形補正処理はガンマ補正法により光照射画像を処理するものであるが、その他の非線形補正処理法、例えば階調均衡化、対数変換、指数変換、区分線形マップなども、すべて非線形補正処理方法として本発明に応用することができる。

図３に示されている通り、本実施例においては、先ずユーザがリアルタイム画像増強システムを起動し、ファイル選択ボタンをクリックして増強対象の画像を選択して開き、増強ボタンをクリックして入力画像に対する増強を開始する。

次に、画像増強プログラムがＲｅｔｉｎｅｘモデルに基づき入力画像に対して分解を実施して、入力画像を光照射画像及び反射画像に分解する。プログラムが光照射画像に対してガンマ補正を実施して処理後の光照射画像を取得する。プログラムが実験に基づき閾値を選定して光照射画像に対して二値化を実施し、階調が閾値よりも大きい画素には０と表示し、つまり入力画像の明るい領域であり、フィルタリングを実施する必要はなく、階調が閾値よりも小さい画素には１と表示し、つまり入力画像の過度に暗い領域であり、それに対してフィルタリング処理を実施する必要がある。

反射画像を処理する際には、反射画像中の画素を逐一選定して、前に倣って光照射画像から二値化画像を取得し、対応する位置の画素が二値化画像において０である場合は、処理を施さず、対応する位置の画素が二値化画像において１である場合は、当該画素に対して局部バイラテラルフィルタリングを実施する。その後、反射画像中の各画素にすべてアクセスしたか否かを判断し、いいえの場合は、引き続き次の画素を選択する。

反射画像の各画素にすべてアクセスした後、処理された光照射画像及び反射画像を最終的に再度互いに乗じて出力画像に併合して、プログラムのウィンドウ中に表示する。

図４に示されている通り、本実施例における入力画像はＲｅｔｉｎｅｘモデルに基づき光照射画像及び反射画像に分解される。ノイズ除去処理を実施する前、過度に暗い領域の画像のノイズは増強されており、反射画像上の過度に暗い領域に対応する箇所の信号ノイズ比は非常に低い。光照射画像中からこれらの過度に暗い領域をノイズ除去領域として識別し、反射画像上で局部バイラテラルフィルタリング処理を実施すると、エッジを留保する条件下でノイズの高い領域が平滑化される。その後、ガンマ補正された光照射画像及びノイズ除去処理後の反射画像を出力画像に併合する。出力画像は入力画像に比べ、光照射効果が明らかに改善されており、画像ディテールのコントラストは顕著に上昇しているとともに、ノイズは効果的に抑制されている。以上の処理はリアルタイム条件下において達成される。

Claims (23)

1. 入力モジュールと、画像分解モジュールと、光照射画像処理モジュールと、反射画像処理モジュールと、併合及び出力モジュールとの５つのモジュールを備え、入力モジュールは、デジタル画像をシステム入力として収集して、取得したデジタル画像を画像分解モジュールに入力することに責任を負い、画像分解モジュールは、入力画像を光照射画像Ｌ及び反射画像Ｒに分解して、光照射画像処理モジュール及び反射画像処理モジュールにそれぞれ入力し、光照射画像処理モジュールは、入力画像の光照射画像Ｌに対して非線形補正処理を実施するとともに、補正済みの光照射画像Ｌ’を出力し、反射画像処理モジュールは、反射画像Ｒ中の入力画像の過度に暗い領域に対応する画素に対してノイズ除去フィルタリング処理を実施して、ノイズ除去後の反射画像Ｒ’を出力し、入力画像の過度に暗い領域は光照射画像情報により確定可能であり、併合及び出力モジュールは、前２つのモジュール中から出力されるＬ’及びＲ’を再度出力画像に併合するとともに出力機器上に出力することを特徴とするノイズ除去機能付きのデジタル画像処理増強システム。
2. 前記入力モジュールとは、デジタルカメラ及びデジタルスキャナが取得可能な画像及びデジタル撮影機が提供するシーケンス画像のうちの１フレームであるデジタル画像の収集に責任を負うモジュールを指すことを特徴とする請求項１記載のノイズ除去機能付きのデジタル画像処理増強システム。
3. 前記画像分解モジュールとは、入力画像のリアルタイム分解に対して、それぞれ入力画像の光照射成分に対応する光照射画像及び入力画像の反射成分に対応する反射画像である２つの出力を提供するモジュールを指すことを特徴とする請求項１記載のノイズ除去機能付きのデジタル画像処理増強システム。
4. 前記入力画像のリアルタイム分解とは、環境光照射の予測について、Ｒｅｔｉｎｅｘ変分モデルにおける３つの約束である、光照射画像は空間域で平滑であること、光照射画像の画素値は入力画像よりも大きいこと、及び光照射画像と入力画像とは十分に接近していることに基づき、入力画像の光照射成分を推定し、多解析度技術を応用して、各解析度層において、平滑化結果を留保し、鮮鋭化結果は除去して、１枚の平滑な画像を光照射画像の推定として取得し、その後、入力画像と光照射画像、反射画像との関係により推定して反射画像を取得することを指すことを特徴とする請求項３記載のノイズ除去機能付きのデジタル画像処理増強システム。
5. 前記光照射画像処理モジュールとは、入力画像の光照射画像に対して単独処理を実施するモジュールを指し、光照射が不良な入力画像中において、光照射画像の階調分布は往々にして画像動的範囲のある小さな部分に集中するため、光照射画像に対する処理には非線形補正処理を採用し、非線形のマップ関係により動的範囲のローエンド及びハイエンドに位置する画素のコントラストを向上して、この部分のディテールを発現可能とさせることを特徴とする請求項１記載のノイズ除去機能付きのデジタル画像処理増強システム。
6. 前記非線形補正処理は、ガンマ補正であることを特徴とする請求項５記載のノイズ除去機能付きのデジタル画像処理増強システム。
7. 前記反射画像処理モジュールとは、光照射画像中から入力画像の過度に暗い領域を識別し、入力画像の反射画像に対応する領域に対してノイズ除去フィルタリングを実施するモジュールを指すことを特徴とする請求項１記載のノイズ除去機能付きのデジタル画像処理増強システム。
8. 前記ノイズ除去フィルタリングとは、光照射画像に対する階調分析により入力画像の過度に暗い領域を識別し、反射画像上でそれら領域に対してノイズ除去フィルタリング処理を実施することを指すことを特徴とする請求項７記載のノイズ除去機能付きのデジタル画像処理増強システム。
9. 前記ノイズ除去フィルタリング処理は、局部バイラテラルフィルタリング処理であることを特徴とする請求項１または８記載のノイズ除去機能付きのデジタル画像処理増強システム。
10. 前記入力画像の過度に暗い領域の識別とは、実験に基づき効果が最適な閾値を選定し、光照射画像の画素階調に対して二値化処理を実施し、階調が閾値よりも小さいと１と表示し、階調が閾値よりも大きいと０と表示することを指し、このようにして１と表示される領域がつまりノイズフィルタリングを必要とする過度に暗い領域であることを特徴とする請求項１または８記載のノイズ除去機能付きのデジタル画像処理増強システム。
11. 前記併合及び出力モジュールとは、単独で処理された光照射成分及び反射成分を再度既知の関係に基づき同一の出力画像に併合するとともに、当該出力画像を出力するモジュールを指すことを特徴とする請求項１記載のノイズ除去機能付きのデジタル画像処理増強システム。
12. 先ず１枚のデジタル画像を読み込み、各画素の色及び階調値を分配された内部メモリ領域中に保存し、次に、入力画像を光照射画像及び反射画像の２つの部分に分解し、引き続き、それぞれ光照射画像及び反射画像に対して処理を実施し、最後に、再度処理後の光照射画像及び反射画像を出力画像に併合するとともに、出力機器上に出力することを特徴とするノイズ除去機能付きのデジタル画像処理増強方法。
13. 前記入力画像を分配された内部メモリ領域中に保存するとは、１ブロックの画像サイズに相当する内部メモリ領域を割り当て、入力画像の各画素値を順に内部メモリ領域の対応する内部メモリユニット中に保存し、入力画像がカラー画像である場合には、カラー画像をＲ、Ｇ、Ｂ３つのチャネルに分けてそれぞれ保存することを指すことを特徴とする請求項１２記載のノイズ除去機能付きのデジタル画像処理増強方法。
14. 前記入力画像を光照射画像及び反射画像に分解するとは、Ｒｅｔｉｎｅｘモデルに基づき、画像を光照射画像と反射画像との積に分解することを指し、光照射画像に対する推定とは、Ｒｅｔｉｎｅｘ変分モデルに基づくものであり、多解析度技術を応用し、相応の解析度層において、画像の平滑化結果は留保し、画像の鮮鋭化結果は除去し、若干回数反復して、１枚の非常に平滑な画像を取得して、入力画像の光照射画像の推定とし、反射画像は入力画像から光照射画像を除いて取得することを特徴とする請求項１２記載のノイズ除去機能付きのデジタル画像処理増強方法。
15. 前記光照射画像に対する処理とは、光照射が不良な入力画像中において光照射画像の階調分布は画像動的範囲のある小さな部分に集中するため、非線形補正処理により動的範囲のローエンド及びハイエンドに位置する画素のコントラストを引き上げて、この部分のディテールを発現可能とさせることを指すことを特徴とする請求項１２記載のノイズ除去機能付きのデジタル画像処理増強方法。
16. 前記非線形補正処理とは、非線形マップ曲線を採用して、過度に明るい及び過度に暗い領域の階調動的範囲を引き上げて、過度に明るい及び過度に暗い領域内における画像内容の可視度を向上させるものであることを特徴とする請求項１２または１５記載のノイズ除去機能付きのデジタル画像処理増強方法。
17. 前記非線形補正処理は、ガンマ補正であることを特徴とする請求項１２または１５記載のノイズ除去機能付きのデジタル画像処理増強方法。
18. 前記反射画像に対する処理とは、光照射画像中から入力画像の過度に暗い領域を識別し、入力画像の反射画像に対応する領域に対してノイズ除去フィルタリングを実施することを指すことを特徴とする請求項１２記載のノイズ除去機能付きのデジタル画像処理増強方法。
19. 前記ノイズ除去フィルタリング処理は、局部バイラテラルフィルタリング処理であることを特徴とする請求項１８記載のノイズ除去機能付きのデジタル画像処理増強方法。
20. 前記局部バイラテラルフィルタリング処理とは、反射画像に含まれるのは原画像中の高周波情報であるとともに、入力画像の過度に暗い領域の情報及びノイズの可視度は共に比較的低く、画像のノイズは画像の分解後には大部分が反射画像中の入力画像における過度に暗い領域に対応する領域に集中するため、光照射画像中から入力画像の過度に暗い領域を識別し、バイラテラルフィルタリングを応用して、過度に暗い領域に対応する反射画像領域に対してノイズ除去処理を実施することを指すことを特徴とする請求項１９記載のノイズ除去機能付きのデジタル画像処理増強方法。
21. 前記バイラテラルフィルタリングとは、それぞれ画像空間域及び画像階調域においてノイズ除去処理を実施する技術であり、物体のエッジに遭遇すると、値域フィルタリングの影響を受け、エッジ両側の画素値は相互に影響せずに、それぞれ自己の側で空間域の平滑化フィルタリングを実施することを特徴とする請求項２０記載のノイズ除去機能付きのデジタル画像処理増強方法。
22. 光照射画像から入力画像の過度に暗い領域を識別するとは、実験に基づき効果が最適な閾値を選定し、光照射画像の画素階調に対して二値化処理を実施し、階調が閾値よりも小さいと１と表示し、階調が閾値よりも大きいと０と表示し、このようにして１と表示される領域がつまりノイズフィルタリングを必要とする過度に暗い領域であることを特徴とする請求項１８記載の全自動のデジタル画像処理増強方法。
23. 前記光照射画像及び反射画像を出力画像に併合するとは、いずれかの画像を光照射画像と反射画像との積に分解可能な原理に基づき、それぞれ処理後の新たな光照射画像及び反射画像に対応する画素の画素値を互いに乗じて出力画像を取得することを指すことを特徴とする請求項１２記載のノイズ除去機能付きのデジタル画像処理増強方法。