JP2002503894A - 新しいエッジ検出に基づくノイズ除去アルゴリズム - Google Patents

Abstract

(57)【要約】 開示したことは、エッジピクセルと非エッジピクセルとを区別し、非エッジピクセルと分類されたピクセルには第１のノイズ除去処理法を適用し、エッジピクセルと分類されたピクセルには第２のノイズ除去処理法を適用することによりノイズ除去する方法である。この方法はカラー補間に先立って、色フィルタ配列（ＣＦＡ）ドメインにある画像に作用し、エッジピクセルであるか非エッジピクセルであるか分類するのに適した処理方法を用いる。

Description

【発明の詳細な説明】

【０００１】 （発明の属する技術分野） 本発明は、概して画像処理分野に関する。さらに詳細に言えば、本発明は、
デジタル画像処理装置によって生成された画像処理に関する。

【０００２】 （従来技術） 画像処理の技術では、センサーまたは取得装置から取得された対象物／シーン
の未加工画像は、しばしばいろいろなタイプの「ノイズ」（対象物または環境に
存在しないが、それにも拘わらず画像中に現れることのある要素）を被りやすい
。画像中に存在するノイズは、センサーのような画像システムの、あるいは初期
画像取得に続く、別の目的を達成しようとしている間にノイズを加える処理ステ
ップの特性に起因することがある。ピクセルやピクセル領域に「ノイズがある」
ことを示す属性や特性と、ピクセルやピクセル領域が画像のエッジや微細な細部
であることを示す属性とを区別することは困難である。つまり、ノイズ除去に関
する基本的問題は、ノイズであると示されているものの除去が、しばしば実際に
は微細なエッジや細部の除去であることである。もし微細な細部やエッジが除去
されると、画像のその領域にぼやけ効果が現れることがある。その上、カラー画
像では、ぼやけ効果でエッジから他のピクセルにかけて、色のにじみが起きるこ
とがある。線形フィタリング技術に基づくノイズ除去法はこの弱点を備えており
、メジアンのような順位付け統計学に基づく１群のフィルター技術が開発されて
きた。

【０００３】 メジアンフィルターは、ピクセルＰ（これに対してフィルターが適用される）
及びピクセルＰ付近の、特定の近接領域または特定のベクトルに沿ったピクセル
を強さの順に並べるものである。例えば、ピクセルＰを含みかつその周辺にある
標本値｛１２，１３，２００，５０，１４｝に適用されたメジアンフィルター（
ピクセルから隣接ピクセルにかけて特定方向に適用される）は、｛１２，１３，
１４，１１８，２００｝と並べられる。いわゆる一方向有限インパルス応答メジ
アンハイブリッドフィルターは、値２００を持つ原ピクセル位置Ｐを標本セット
のメジアン１４に置換する。フィルター処理後の出力ベクトルは｛１２，１３，
１４，５０，１４｝となる。値２００がノイズではなく実際のエッジの一部であ
る場合、フィルターの適用によって生じる平滑化は、出力ベクトル値に示される
ように、エッジ特性を破壊する。

【０００４】 幾つかの改良メジアンフィルターがこの問題を解決するために開発されてきた
。特別なそのようなメジアンフィルターの一つが、画像の各方向ごとにメジアン
フィルターを用い、各フィルターごとに原入力ピクセルを適用する、多重レベル
有限インパルス応答メジアンハイブリッドフィルターである。多重レベルメジア
ンハイブリッドフィルターは、特定フィルター方向のピクセルを平均化し、その
後、メジアン計算を、例えば３などの小さな値の組で行うことにより、並べ替え
操作の負担を軽減する平均化サブフィルターを備えている。つまり、メジアンハ
イブリッドフィルターでは、２つの隣り合った西側ピクセルが平均化され、この
結果が２つの東側ピクセルの平均値とともにメジアンフィルターに供給される。
メジアンフィルターへの第３の入力は、ノイズ除去を考察中のピクセルである。
他の方向についても同様の方法が適用される。３重メジアンハイブリッドフィル
ターでは、第１レベルの組は反対方向（北と南等）のベクトルを持つ平均化され
た隣接ピクセルであり、各組の方向平均化（８方向）のために、これらが３番目
の入力としての考察中のピクセルとともにメジアンフィルターに供給される。第
１のフィルターの結果としてのメジアン値は、再び組にして考察中のピクセルと
ともにメジアンフィルターに入力される。メジアンハイブリッドがエッジを識別
するのに十分に機能することが示されてきたが、エッジの検出に関しては幾つか
の観点からは不十分である。メジアンハイブリッドフィルターは、エッジそれ自
体のノイズは考察しない。言い換えれば、エッジの方向は、８方向が採用されて
いても極めて正確に決定できない。例えば、エッジ特性が特定のピクセルから３
３度のベクトルにあるとすると、８方向ではエッジ特性を決定するには不適当で
ある。言い換えれば、単一ピクセルは非離散的世界ではエッジである部分と非エ
ッジである部分とを含んでおり、それはデジタル画像の離散的世界では表現でき
ない。メジアンハイブリッドフィルターがデジタル画像に適用される場合、全て
の場所で全てのピクセルに適用されると、エッジの非主要方向によって、エッジ
特性に沿ったノイズが存在するので、ノイズを除去するよう試みるにも関わらず
、ノイズが拡がってしまう、又はピクセルからピクセルへ移動してしまうことが
ある。カーブしたエッジがその完全な例である。

【０００５】 対象物／シーンが、デジタルカメラのような感知器または画像装置によって画
像化されると、結果として生じる画像は、特別なカラーチャネルパターンを持つ
ＣＦＡ（色フィルター配列）に取得される。頻用される画像取得の１パターンは
ベイヤー（Ｂａｙｅｒ）パターンとして知られ、以下のようなカラーチャネルを
持っている。 ＧＲＧＲＧＲ…… ＢＧＢＧＢＧ…… ＧＲＧＲＧＲ…… 行についてはこの後もこのパターンを繰り返す。

【０００６】 つまり、ベイヤーパターン色フィルタ配列では、各ピクセル位置は、結合して
フルカラーになる３つの色平面（赤、緑、青）のうちのただ１つと関連した輝度
数値を持つ。各ピクセル位置の２つの失われた色要素を推定する処理は、該技術
ではカラー補間として知られる。このカラー補間は、殆どの従来のノイズ軽減ま
たは除去技術がフルカラーのピクセル情報を持つ画像上で機能するように設計さ
れているという事実のため、しばしばカラー画像のノイズ除去に先立って行われ
る。カラー補間処理自体がノイズを招き入れ、カラー補間が恐らくは画像圧縮の
後に行われ、コンピュータのようなデータ処理システムにダウンロードされるデ
ジタルカメラのような場合には、色分解コンパンディングの中間段階、圧縮（数
量化とコード化）及び展開が、原取得画像ノイズが他のノイズと混ざり合いノイ
ズであることを示す特性を失って画像特性であるような特性を帯びるといった、
余分なノイズを付加する。カラー補間処理で得たフルカラーピクセルにノイズ除
去を施すことは、メモリー及びノイズ除去処理の処理要求を３倍（各ピクセルの
解像が３倍になる）に増やしてしまい、ハードウェアに実装するのが困難かつ高
価になる。他のノイズ除去処理法は、カラー補間の後に、色空間変換をノイズ除
去のためＹ（クロミナンス）要素のみが考察されるＹＵＶ空間で施すことによっ
て、この負担を軽減することを図るものである。しかしこれもまた余分なノイズ
を、カラー補間が拡げた以上に拡げることがあるので、容易にハードウェアに実
装できない。

【０００７】 したがって、エッジピクセルを非エッジピクセルと区別するだけでなく、いか
なるカラー補間よりも先に色フィルタ配列画像ドメインに直接に作用できるノイ
ズ除去の構成が必要である。

【０００８】 （発明の概要） 本発明は、取得された画像のピクセルをその色フィルタ配列形式で、エッジピ
クセルであるか非エッジピクセルであるか分類するステップを有する方法を開示
する。この方法は次に、非エッジピクセルに分類されたピクセルに、第１のノイ
ズ除去処理法を適用し、エッジピクセルに分類されたピクセルに第２のノイズ除
去処理法を適用することで、ノイズ除去を行う。双方のノイズ除去処理法は画像
がまだ色フィルタ配列形式である間に適用される。

【０００９】 （発明の詳細な説明） 図面を参照して、本発明の例示的な実施の形態を説明する。この例示的な実施
の形態は本発明の解釈を例証するものであって、本発明の範囲を限定するものと
解釈するべきではない。この例示的な実施の形態を、まずブロック図またはフロ
ーチャートを参照して説明する。フローチャートについては、フローチャート内
部の各ブロックは方法のステップ及び該ステップを実行する装置要素を表す。実
装手段次第で対応する装置要素は、ハードウェア、ソフトウェア、ファームウェ
ア、またはそれらの組み合わせで構成される。

【００１０】 センサー、カメラまたは他の画像装置で取得された画像を分析する場合、それ
が画像の「ノイズ」または「ノイズのある」部分とそうでない部分とを含んでい
る。ノイズを構成するものが何であるかを決定することは、困難であり、正確な
処理ではない。ノイズは、画像の細い線や「エッジ」部分のような細部によって
混乱させられていることがある。取得画像のノイズの除去は、細部の情報を保持
したままノイズが除去されれば最適である。従来のノイズ除去では、各ピクセル
は、エッジ特性を備えていようといまいと、大部分はノイズとエッジを区別する
ことが相対的に不可能なので、同一のノイズ除去技術によって処理されている。

【００１１】 例えば、ベイヤー（Ｂａｙｅｒ）パターンＣＦＡ（色フィルター配列）に取得
されたようなカラー画像において、カラー補間ステップが付加的にノイズをもた
らして、画像装置それ自体による元のノイズがさらに乱されることがある。種々
タイプのノイズ付加が、取得から表示までの画像処理の各ステップで、ノイズパ
ターンが未知の方法で結びついてしまうので、余計な困難性をもたらす。結果と
して生じる画像は、ノイズとして区別できない要素を含んでいるので、ベイヤー
パターン色フィルター配列が、殆どのノイズ除去技術で事前に要求されるような
カラー補間を受けたとき、このカラーはエッジからエッジへ、部分から部分へと
にじんでいくのである。例えば、黄色の背景中の青いエッジ特性を考えてみる。
ノイズのため赤いピクセルがエッジ境界上のどこかに現れることがある。典型的
なカラー補間法によって、青と黄色とは、赤と平均化されて、近傍のどこかに青
、黄及び赤を持った完全ピクセルを形成するので（なぜなら赤が出現して、どの
ように小さかろうとも、画像領域内に部分として存在するからである）、以後ノ
イズ除去処理にノイズとして認識されないかもしれない、誤ったカラーピクセル
が生成されることがある。

【００１２】 つまり、付加的ノイズと、カラーにじみの問題が回避できるように、カラー補
間処理に先立って、カラーフィルター配列ドメインで機能するノイズ除去技術を
講じることが望ましい。さらに、この技術は画像中のエッジ特性に属するピクセ
ルをエッジ特性に属さないピクセルとは別に処理し、考慮する必要がある。また
、使用される技術は、所望であれば色フィルター配列が生成されるデジタルカメ
ラで実施できるように、高速のハードウェアで実施できなければならない。その
可能なノイズ除去の１つの方法が、図１と以下に説明する種々の実施の形態で示
されている。

【００１３】 図１は本発明の１つの実施の形態のフローチャートである。 最初に、取得画像内部に初期局部領域を決める、すなわち定義する（ステップ
１１０）。初期局部領域は、取得画像のＭ×Ｎの長方形領域であり、Ｍ及びＮは
それによって正方形とすることが望まれる場合は等しくしてもよい。局部的領域
の全取得画像サイズに対する割合は、所望の実施方法や利用可能なハードウェア
／ソフトウェアのリソース、及び、ノイズ除去のためにどれほどの速さで画像処
理したいかという速度制約次第で、大きくも小さくもできる。大きな領域にわた
って画像特性が均一に近ければ、局部的領域は大きくできる。しかし、細部の詳
細な識別が重要であったり、小さな領域内で画像特性が大きな変化を示している
場合には、局部的領域はより小さく定義できる。

【００１４】 ひとたび局部的領域が定義されると、次のステップで、マスクまたは演算子（
ステップ１２０）を適用して、この領域内の各々かつ全てのピクセルに連結した
変化率値を決定する。このマスクまたは変化率演算子は、各ピクセルの小さな近
接領域に適用されるが、通常、やはり近接領域は局部領域より小さい。図２ａ及
び２ｂ並びに関連する説明は、変化率を決定するピクセルの周辺及び該ピクセル
を含む３×３近接領域を有する、その様なマスクのパラメータ及び構成を示して
いる。演算子すなわちマスクを局部的領域に繰り返し適用しかつそれによって変
化率を決定することによって、局部的領域の情報が完成する。殆どの変化率に基
づくエッジ検出では、変化率値を画像中の最大変化率値によって除することによ
って、全画像にわたって変化率値が正規化される。しかしその様な正規化では、
ハードウェアに実装する場合には、取得画像全体の全てのピクセルの変化率情報
を決定し、その後画像中に見いだされた最大変化率値で各変化率値を除さなけれ
ばならないと言う、２段階の方法が必要となろう。本発明の種々の実施の形態で
は、その代わりに、変化率値が該局部的領域内での最大値で正規化できる。

【００１５】 ひとたび変化率情報が決定すると、閾値を選択しなければならない（ステップ
１３０）。閾値は画像全体を通じて適用可能な単一の値として選択してもよく、
個々の局部的領域によって変化する値として選択してもよい。さらに、閾値は画
像装置によって取得された全ての画像のための特定の値に予め設定してもよい。
このような予め設定された閾値はあまり正確ではなく、エッジ検出処理を乱すこ
ともあり得るが、現在の技術水準によれば、ノイズ除去のハードウェア実装にと
っては最も望ましいものである。この閾値の選択は本発明の主旨ではないが、局
部的領域中の全てのピクセルの変化率情報が最初に決定される場合は、閾値を動
的に選択することが可能である。

【００１６】 選択された閾値が何であれ、変化率（または正規化された変化率）はその閾値
と比較される（ステップ１４０）。もしも変化率（または正規化された変化率）
が閾値を超えれば、対応するピクセルは線のような画像のエッジ特性に属するピ
クセルである「エッジ」ピクセルとして分類される。もしそうでなければ、ピク
セルは非エッジピクセルとして分類される。本発明の実施の形態によれば、エッ
ジピクセルおよび非エッジピクセルには、それぞれ異なったノイズ除去処理が行
なわれる。エッジ検出法、すなわち変化率に基づくエッジ検出が図１のフローチ
ャート中に存在する場合、任意の適切な好適なエッジ検出を利用できる。例えば
、エッジ及び非エッジピクセルを分類する際に、画像空間と渦巻き状に絡まり合
うガウス型マスクを使用する、周知のキャニー（Ｃａｎｎｙ）エッジ検出法を図
１の技法と組み合わせて使ってもよく、所望の応用プログラム中に実装できる場
合、良好なエッジ識別法をもたらすことができる。ポータブルデジタルカメラの
ようなデジタル画像装置に関して、図１，２ａ及び２ｂに示されたエッジ検出法
は、計算速度が速く、装置中のメモリー使用量が少ないので一層好適である。

【００１７】 ピクセルを、エッジピクセルまたは非エッジピクセルに分類することによって
、本発明の１つの実施の形態によれば、その後、ピクセルは異なったノイズ除去
技術及び処理を受けることになる。つまり、ステップ１６０によれば、ピクセル
が非エッジピクセルであれば、多重レベルメジアンハイブリッドフィルターのよ
うなノイズ除去技術がこのピクセルに適用できる。この処理により、ピクセルが
エッジピクセルに属していないので、メジアンフィルタリングがもたらす、エッ
ジ特性をぼやけさせ破壊すると言う問題を回避できる。メジアンフィルタリング
は、非エッジピクセルに適用されると、エッジをぼやけさせることなくノイズを
除去する所望の効果を持っている。

【００１８】 ノイズは、エッジピクセルとして分類されたピクセルにも存在することがある
ので、エッジピクセルは同様な輝度数値を持つ隣接ピクセルの線形平均化のよう
な、平滑化処理を受ける（ステップ１５０）。この平滑化は、エッジが殆ど消え
かかるのを確実に防ぎ、また実際にエッジの外観を強調できる（すなわち、色相
（輝度）を相互に平滑化してより均一にすることにより、エッジを際だたせる）
。線形平均化処理法は、考慮中のピクセルを、同様の輝度を持つそれ自身及び隣
接ピクセルの線形平均値に置き換える。どのピクセルを「同様の輝度」と見なす
かを見出す１つの方法を、図６とそれに関する説明に関連して、以下に説明する
。本質的に、目標とするところは、エッジ特性が誤って組み合わされることが無
いよう、相互を区切る２つ以上のエッジ特性を平均化の際に混同しないことであ
る。

【００１９】 次に、局部的領域内にノイズ除去処理すべきピクセルが残っている場合（ステ
ップ１７０でチェックする）、次の情報が取り出され（ステップ１７５）ステッ
プ１４０から１６０が繰り返される。ひとたび局部的領域内の全てのピクセルが
ノイズ除去処理されると、新らしい局部的領域が定義される（ステップ１８０）
。処理がさらに続行され、局部的領域の閾値を求めるステップ１２０ないし１７
０が繰り返される。好もしくは、かつ高速での実行のためには、局部的領域は排
他的であるべきであるが、所望ならば重複してもよい。図１で説明したノイズ除
去処理法は、全てのカラー補間に先立って、色フィルター配列中でベイヤーパタ
ーンのピクセルに直接に適用してもよい。つまり、図１の処理技術は、そのよう
に用いると、画像処理の種々のステップを通して伝播ノイズを減少できる。

【００２０】 図２ａは第１の方向の微分値を得るためのマスクを示す。 ピクセルの変化率を決定する１つの方法は、マスクがカバーする隣接境界付近
のピクセルの「強さ」を見いだす、マスクＡを適用することである。この強さは
本質的にピクセルの２つの境界に沿った特定方向の微分値である。この第１の方
向は、第２の方向の強さの同様な計算と組み合わされた場合、中心ピクセルの近
傍ピクセルに対する相対的強さの優れた推定値を与える。図２ａにおいて、３×
３のマスクは、第１番目と第３番目の列で非０係数をもち、さらに中央すなわち
第２列で０係数をもつよう示されている。このマスクＡは、６個の非０係数Ａ１
，Ａ２，Ａ３，Ａ４，Ａ５，及びＡ６を持つことが示されている。マスクが輝度
数値Ｉ０，Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５，Ｉ６，Ｉ７，及びＩ８を持つピクセ
ルを有する画像領域Ｉに適用される場合、結果としての微分値Δｘは、Δｘ＝Ａ
１＊Ｉ０＋Ａ２＊Ｉ３＋Ａ３＊Ｉ６＋Ａ４＊Ｉ２＋Ａ５＊Ｉ５＋Ａ６＊Ｉ８と表
される。微分値Δｘは、画像領域の中心になるように表示された輝度数値Ｉ４を
持つピクセルの変化率を計算するのに用いることができる。通常マスクＡは、合
計が０になる係数を与えられる。周知のソーベル（Ｓｏｂｅｌ）マスクでは、係
数Ａ１、Ａ２、及びＡ３は全て値−１を持ち、他方Ａ４、Ａ５、及びＡ６は全て
＋１を持つ。つまり、ソーベルマスクの係数に関して、微分値Δｘは、Δｘ＝Ｉ
２＋Ｉ５＋Ｉ８−Ｉ１−Ｉ３−Ｉ６である。このように、重要な変化率値を得る
ための技術で周知の、マスク係数を選択することは、微分計算をピクセルの輝度
数値の単なる加算及び減算に単純化し、加算器によってハードウェアで容易に実
行し得るものである。したがって、微分は容易に実行でき、かつ高速になる。プ
レウィットマスクのような別のマスクを適用すると、同様に容易に実行し得る。
プレウィットマスクの係数Ａ１，Ａ３は−１に等しく、Ａ２は−２に等しい。鏡
映に対して、プレイットマスクのもう一方向の境界の係数Ａ４，Ａ６は＋１であ
り、Ａ５は＋２である。プレウィットマスクを使えば、Δｘすなわち微分値はΔ
ｘ＝Ｉ２＋２＊Ｉ５＋Ｉ８−Ｉ０−２＊Ｉ３−Ｉ６となる。２の乗算が導入され
ているが、これはＩ５及びＩ３のシフト操作によって、すなわち計算ΔｘをΔｘ
＝Ｉ２＋Ｉ５＋Ｉ５＋Ｉ８−Ｉ１−Ｉ３−Ｉ３−Ｉ６のように分割することによ
って、単に加算及び減算のみをハードウェアで実行しさえすれば、容易に実行し
得るのである。

【００２１】 エッジが画像空間内で特定の方向を有していると仮定されるので、変化率演算
がエッジ検出に用いられる。ピクセルの側方境界に沿うピクセル（片側がＩ０、
Ｉ３、Ｉ６で他方がＩ２、Ｉ５、Ｉ８）は、ピクセルＩ４がエッジピクセルと考
えられる場合、Ｉ４自体よりもより小さい強さ、すなわち相対的組合せ輝度レベ
ルをもつ必要がある。この点に関して、本質的には水平方向（マスクは画像の左
右両側の強さを決定する値を有している）である、第１の方向の微分値が前述の
ように計算できる。画像空間は２方向、つまり垂直及び水平であるので、ピクセ
ルＩ４についてはもう一方向の微分値が計算される必要がある。

【００２２】 図２ｂは、本発明の１つの実施の形態による第２の方向の微分値を得るための
マスクを示している。 図２ｂにおいて、第１番目と第３番目の行で非０係数、中央すなわち第２番目
の行で０係数を持つ、第２の３×３のマスクを示している。マスクＢが６個の非
０係数Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，及びＢ６を持つことが示されている。マ
スクが輝度数値Ｉ０，Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５，Ｉ６，Ｉ７，及びＩ８を
持つピクセルを有する画像領域Ｉに適用されると、結果としての微分値Δｙは、
Δｙ＝Ｂ１＊Ｉ０＋Ｂ２＊Ｉ１＋Ｂ３＊Ｉ２＋Ｂ４＊Ｉ６＋Ｂ５＊Ｉ７＋Ｂ６＊
Ｉ８で表される。微分値Δｙは、画像領域の中心になるように示された輝度数値
Ｉ４を持つピクセルの変化率を計算するために用いることができる。通常、マス
クＢは、合計が０になる係数を与えられる。周知のソーベルマスクでは係数Ｂ１
、Ｂ２、及びＢ３は全て値−１を持ち、他方Ｂ４、Ｂ５、及びＢ６は全て＋１を
持つ。つまり、ソーベルマスク係数に関して、微分Δｙは、Δｙ＝Ｉ６＋Ｉ７＋
Ｉ８−Ｉ０−Ｉ１−Ｉ２である。このように、重要な変化率値を得るための技術
で周知のマスク係数を選択することは、微分計算をピクセルの輝度数値を単なる
加算及び減算に単純化して、加算器によってハードウェアで容易に実行し得るも
のである。したがって、微分は実行が容易で、かつ高速になる。プレイット（Ｐ
ｒｅｗｉｔｔ）マスクのような別のマスクは、もし応用されれば同様に容易に実
行し得る。プレイットマスクの係数Ｂ１及びＢ３は−１に等しく、Ｂ２は−２に
等しい。鏡に映したように、プレイットマスクのもう一方向の境界の係数Ｂ４及
びＢ６は＋１でありＢ５は＋２である。プレウィットマスクを使えば、Δｙすな
わち画像境界に沿った第２の方向の微分値は、Δｙ＝Ｉ６＋２＊Ｉ７＋Ｉ８−Ｉ
０−２＊Ｉ１−Ｉ２となる。２の乗算が導入されているが、これはＩ５及びＩ３
のシフト操作によって、すなわち計算ΔｙをΔｙ＝Ｉ６＋Ｉ７＋Ｉ７＋Ｉ８−Ｉ
０−Ｉ１−Ｉ１−Ｉ２のように分割することによって単なる加算及び減算のみを
ハードウェアで実行しさえすれば、容易に実行し得るものである。第１の方向の
微分値Δｘを見出すために用いるマスクＡは、第２の方向の微分値Δｙを見出す
ために用いるマスクＢと同じ型であることが好ましい。画像装置は正方形ピクセ
ルを生成せず、長方形または他の型のピクセルを生成することがあるので、これ
を補償するために一方の方向にはソーベルマスクを、他の方向にはプレイットマ
スクを使うことが好ましい。その様な場合には、マスク係数の選択においてピク
セルの形が考慮されよう。

【００２３】 上記のようにして求められた第２の方向の微分値Δｙの場合、水平、垂直両方
向の境界の組が考慮される。その場合、画像空間の中心ピクセルであるＩ４の変
化率は、各方向で得られるベクトルの合成ベクトルによって得られるベクトルの
大きさである。したがって、変化率Ｇは単に√（Δｘ²＋Δｙ²）、すなわちΔｘ
とΔｙとを組み合わせて形成したベクトルの大きさである。各ピクセルの変化率
は近接領域、好もしくは各ピクセルを囲む３×３の小さな領域を考慮し、その後
、本質的にそれによって変化率決定における全ての直接隣接するピクセルを含ん
でいる、２方向及び対応する境界の組の各々にマスクを適用することにより得る
ことができる。前述のように変化率値は、画像中に存在する最大の変化率に対し
て正規化されることがあるので、変化率の基準に対して相対的な重みが与えられ
る。例えば、線のようなきついエッジではなく、生地のようなシーンの取得画像
では変化率値は狭い範囲に存在する。もしこれらを最大変化率に対して正規化す
れば、得られた変化率値はより効果的に分析できる。

【００２４】 図３は各色平面に対するノイズ除去処理法の適用を示している。 本発明の種々の実施の形態で示されるノイズ除去処理法は、本質的に未加工の
取得画像であるＣＦＡバージョンの取得画像に直接適用されるので、１つの実施
の形態において、色平面を分離して考察することが望ましい。つまり、画像の６
×６ピクセルのベイヤーパターン領域を考察するとき、青い（図３において「Ｂ
」で示される）色平面（すなわち青色と関連したピクセル）は、ＣＦＡから分離
でき、個々の色平面に適用される前述のノイズ除去処理法を用いることができる
。したがって、点（２，１）、（４，１）、（６，１）、（２，３）、（４，３
）、（６，３）及び（２，５）、（４，５）、（６，５）の色平面と関連したピ
クセルは、互いに隣接するように配列することができる。同様に、ＣＦＡの青色
平面（表示せず）中の他の隣接ピクセルも青のサブ画像を形成するように、９個
のピクセルと組み合わされてもよい。本発明の種々の実施の形態で説明するノイ
ズ除去の構成は、その後、直接、かつ独立して青サブ画像に、または他の色平面
に適用できる。

【００２５】 ベイヤーパターンにおいて、緑色ピクセルは、ＣＦＡ中の青色または赤色ピク
セルのおよそ２倍の表示量を有する。緑色ピクセルと交互に並ぶ青色ピクセルの
行を伴うもの（Ｇ１のラベルを付した第１の緑）と、緑色ピクセルと交互に並ぶ
赤色ピクセルの行を伴うもの（Ｇ２のラベルを付した第２の緑）とに分割するの
がしばしば有用である。つまり、２つの緑色平面Ｇ１及びＧ２が、ＣＦＡから抽
出される。これは各色平面の計算の度数が同じになるので有用である。Ｇ１およ
びＧ２色平面を一緒に考察する場合、Ｇ１とＧ２のピクセルを組み合わせるため
に、行および列の補正が必要となり（なぜならそれらは異なった行及び列上に存
在するからである）、さらに統一されたＧ１、Ｇ２に関する組合せサブ画像は、
ピクセル数で青及び赤色サブ画像の２倍の大きさになり、別のより大きなサイズ
のメモリーが必要になってしまう。画像分析の目的のためには、隣接ピクセル中
にあるクロミナンス（色含有量）を決定するために、緑色平面が不可欠であるの
で、２つの緑色平面を別々に考察することが有用である。このことはカラー補間
あるいは色分解コンパンディングのような処理法に役立つものである。つまり、
クロミナンス情報を後で使うために効率的に保持するには、ノイズ除去の目的で
Ｇ１及びＧ２色平面を個別に考察することが望ましい。本発明の種々の実施の形
態により、ノイズがＧ１及びＧ２のサブ画像から、一緒ではなく別々に除去すれ
ば、ノイズ除去が、画像細部の元の色に対する関係をより正確に反映できる。エ
ッジ特性ピクセルは方向性をもっており、互いに４５度ずれた線上にあるＧ１及
びＧ２ピクセルの組合せは、エッジ方向の４５度の補正を導入することになる。

【００２６】 図４は例示的な画像領域に適用される、本発明の少なくとも１つの実施の形態
の原理を示している。 図４は、取得画像の６×６ピクセル領域を示している。行位置が“ｉ”であり
、列位置が“ｊ”であるピクセルｘを以後ｘ（ｉ，ｊ）で表示する。例示的な画
像領域は、すでにエッジピクセル（“Ｅ”で表示）及び非エッジピクセル（“Ｎ
Ｅ”で表示）として分類された双方のピクセルを示す。エッジピクセルは、さら
にエッジピクセルがどのエッジ特性に属するかを示す、サブスクリプトによって
表示される。例えば、第１の暗いエッジ特性は（Ｅ₁で表示）、近接領域で輝度 値２００を持つことができ、一方で第２の明るいエッジ特性は（Ｅ₂で表示）は 近接領域で輝度値５０を持つことができる。Ｅ₁、Ｅ₂の各ピクセルは、画像の異
なった２つのエッジに属する。非エッジピクセルは特性に細分類されず、図４に
示すエッジピクセルの属するエッジ特性の分類は単に説明を助けるためであり、
どの実施の形態においても本発明の限定または要求事項ではない。

【００２７】 本発明の１つの実施の形態によれば、画像中のエッジピクセル及び非エッジピ
クセルは別々のノイズ除去処理法に従うものである。１つの実施の形態では、エ
ッジに属しているように分類されないピクセル（図４のＮＥ）には、第１のノイ
ズ除去処理法が適用される。本発明の１つの実施の形態では、第１のノイズ除去
処理法は、多重レベルメジアンハイブリッドフィルターである。その様なフィタ
リングの演算は図５に関連して以下に詳細に説明する。エッジピクセルと分類さ
れる全てのピクセルは、第１の処理法と異なり、また第１の処理法よりすぐれた
エッジ保持／強調性を持つ、第２のノイズ除去処理法に従う。本発明の１つの実
施の形態では、非エッジピクセルに適用されるこの第２の処理法は、考察中のピ
クセルと、輝度数値を持つ隣接ピクセルとの線形平均化である。

【００２８】 例えば、図４を参照すると、ピクセルＮＥ（３，３）（非エッジピクセル３行
、３列）は、メジアンハイブリッドフィルター処理法で処理でき、図５に関連し
て以下に詳細に説明する。メジアンハイブリッドフィルター処理の出力ＮＥ′（
３，３）が点（３，３）の新しいノイズ除去ピクセルとなる。メジアンハイブリ
ッドフィルター処理は、非エッジピクセルに分類されていようとエッジピクセル
に分類されていようと、ノイズ除去処理を実行するとき近接領域にある（ピクセ
ルＮＥ（３，３）の周りのピクセル（１，１）から（５，５）まで）全てのピク
セルを利用する。

【００２９】 対照的に、エッジピクセルＥ₁（３，２）には、エッジピクセルＥ₁（３，２）
中にあるノイズを除去するために同様な輝度（エッジピクセルは同一エッジ特性
に属する）の他のエッジピクセルのみによる線形平均化が適用される。エッジピ
クセルＥ₁（３，２）に隣接する８個のピクセルのうち３個のみが、第１のエッ ジ特性に属すると分類されており、すなわちＥ₁（２，２）Ｅ₁（４，２）Ｅ₁（ ４，３）である。つまり、線形平均化ノイズ除去処理は、４つのピクセル（３個
の隣接ピクセル及びノイズを除くピクセル）−Ｅ₁（３，２）、Ｅ₁（２，２）、
Ｅ₁（４，２）、Ｅ₁（４，３）を平均化する。第２の特性を参照すると、ピクセ
ルＥ₂（６，２）は３個の隣接エッジピクセルを有しているが、ただ１個のエッ ジピクセル（６，１）のみが同一エッジ特性に属している（すなわち類似の輝度
数値を持つ）ことに注目されたい。ピクセルＥ₂（６，２）に隣接する残る２個 のエッジピクセルＥ₁（５，３）、Ｅ₁（６，３）は、第１のエッジ特性に属して
おり、したがって第２のエッジ特性のエッジピクセルと平均化すべきではない。
さもなければ無関係で類似しない輝度数値値が混合した輝度数値によって、第２
のエッジ特性が破壊されてしまうことがある。図６に示され、以下の関連する説
明で詳記する方法は、類似輝度のエッジピクセルを他のエッジピクセルと識別す
ることで、この状況を回避する。図４は、類似しないエッジピクセルによる破壊
を避けるため同様に注意深く取り扱うべき第３のエッジ特性（Ｅ₃で表記するピ クセルを有する）及び第４のエッジ特性（Ｅ₄で表記するピクセルを有する）を 示している。

【００３０】 図４は画像のほんの一部を示しているが、画像の物理的エッジ（第１列、第１
行、最終列、最終行）にあるピクセルに関して、マスクの一部が値を持たず、し
たがってそれによって不適切な変化率情報が得られるので、これらはノイズ除去
処理を行わない。もしくは、暗電流すなわち基準ピクセル（通常幾つかの行や列
を持つ）を使って、エッジピクセルに関する失われた値の代用をすることが望ま
しい。これらの暗電流ピクセルは画像装置によって発生される最終的画像色フィ
ルター配列の一部とみなさないが、それにも拘わらず、ピクセル値の決定を助け
るために検出装置によって取得されるものである。

【００３１】 図５は本発明の種々な実施の形態において採用される３レベルメジアンハイブ
リッドフィルターのブロック図である。 本発明の１つの実施の形態によれば、ピクセルｘ（ｉ，ｊ）は、非エッジピク
セルに分類され場合、多重レベルメジアンハイブリッドフィルター処理を利用す
るノイズ除去処理法が適用される。３レベルメジアンハイブリッドフィルターは
、入力ピクセルｘ（ｉ，ｊ）周辺のＫ×Ｋブロック用に設計され、図５に示すフ
ィルターの第１段階、すなわちレベルのメジアンを決定する種々の値の組を獲得
する線形平均化サブフォルダーを使用する。つまり、Ｋ＝５であれば、ピクセル
ｘ（ｉ，ｊ）の周辺でこれを含む５×５の近接領域がメジアンハイブリッドフィ
ルター処理される。本発明の１つの実施の形態によれば、図５のメジアンハイブ
リッドフィルターは、ピクセルｘ（ｉ，ｊ）が変化率または情報によって非エッ
ジピクセルに分類された場合に限って、ピクセルｘ（ｉ，ｊ）に適用される。さ
もなければ、ピクセルｘ（ｉ，ｊ）がエッジピクセルである場合、図６に関連し
て以下に述べる最近接隣接ピクセル平均化法が適用される。

【００３２】 平均化サブフィルター（図示せず）は単純に近接領域のサイズによって要求さ
れるだけの多数のピクセルの平均値を取る。平均化サブフィルターは、８方向（
北、南、東、西、北東、南東、南西、北西）のピクセルのベクトルに適用される
。したがって、平均化サブフィルターは以下の出力値Ｙ_DIRECTION（ｉ、ｊ）を 生成する。 Ｙ東(i、j)＝(x(i,j+1)+(i,j+2))/2 Ｙ西(i、j)＝(x(i,j―1)+(i,j―2))/2 Ｙ南(i、j)＝(x(i+1,j)+(i+2,j))/2 Ｙ北(i、j)＝(x(i―1,j)+(i―2,j))/2 Ｙ南東(i、j)＝(x(i+1,j+1)+(i+2,j+2))/2 Ｙ南西(i、j)＝(x(i+1,j―1)+(i+2,j―2))/2 Ｙ北東(i、j)＝(x(i―1,j+1)+(i―2,j+2))/2 Ｙ北西(i,j)＝(x(i―1,j―1)+(i―2,j―2))/2

【００３３】 その後、これらの出力値は図５に示されるように、中央ピクセルｘ（ｉ，ｊ）
とともにメジアンフィルターに入力される。平均化サブフィルターを使うことに
よりメジアン演算はメジアンハイブリッドフィルター処理の各段階でいわば３個
の値に低減される。

【００３４】 図５は３レベルメジアンハイブリッドフィルターの第１レベルが、１組のメジ
アンフィルタ−５１０，５１２，５１４，及び５１６を有していることを示して
いる。メジアンフィルター５１０は、３値すなわちＹ東（ｉ，ｊ）、Ｙ西（ｉ，
ｊ）、及びｘ（ｉ，ｊ）のメジアンである出力Ｍ１を有する。メジアンフィルタ
ー５１２は、３値すなわちＹ北（ｉ，ｊ）、Ｙ南（ｉ，ｊ）、及びｘ（ｉ，ｊ）
のメジアンである出力Ｍ２を有する。メジアンフィルター５１４は３値、すなわ
ちＹ北東（ｉ，ｊ）、Ｙ南西（ｉ，ｊ）、及びｘ（ｉ，ｊ）のメジアンである出
力Ｍ３を有する。メジアンフィルター５１６は、３値すなわちＹ北西（ｉ，ｊ）
、Ｙ南東（ｉ，ｊ）、及びｘ（ｉ，ｊ）のメジアンである出力Ｍ４を有する。

【００３５】 次のすなわち第２のレベルでは、２つのメジアンフィルター５２０及び５２２
の組があり、入力として、メジアンフィルター出力のＭ１，Ｍ２，Ｍ３，及びＭ
４及び原ピクセル値ｘ（ｉ，ｊ）を受け取る。メジアンフィルター５２０は、Ｍ
１、Ｍ２及びｘ（ｉ，ｊ）のメジアンである出力Ｍ５をもたらす。同様に、メジ
アンフィルター５２２はＭ３、Ｍ４及びｘ（ｉ，ｊ）のメジアンである出力Ｍ６
をもたらす。

【００３６】 最後のすなわち第３のレベルで、単独のメジアンフィルター５３０が、第２レ
ベルのメジアンフィルターからの出力Ｍ５及びＭ６が原ピクセルｘ（ｉ，ｊ）と
組み合わされたときのメジアンである、出力ピクセルｘ^′（ｉ，ｊ）をもたらす
。したがって、ノイズ除去済みピクセルｘ^′（ｉ，ｊ）は、Ｍ１、Ｍ２及びｘ（
ｉ，ｊ）のメジアンに等しい。ノイズ除去済みピクセルは、代替的な実施の形態
では、他のピクセルのノイズ除去処理の残りと干渉しないよう、独立した配列に
入れられる。このようにして、原ピクセル空間は保持され、より良い結果がもた
らされるようノイズ除去処理が繰り返され調整される。別の代替的な実施の形態
では、ノイズ除去処理が再帰的になるように、ノイズ除去済みピクセルは即座に
原ピクセルと置換される。これは反復法に対し速度で勝るが、誤分類されたピク
セルがその誤った特徴付けを広め、他のピクセルに影響する傾向があるので不確
実性を持ち込んでしまう。つまり、高速計算および置換法は良い結果を出すとは
保証されないが、場合によってはノイズ除去を改善できることもある。

【００３７】 図４の例に戻る。本発明の１つの実施の形態によれば、非エッジピクセルＮＥ
（３，３）は、３レベルメジアンハイブリッドフィルターにかけられる。とする
と、Ｙ東（３，３）＝（ＮＥ（３，１）＋Ｅ₁（３，２））／２、Ｙ西（３，３ ）＝（ＮＥ（３，４）＋Ｅ₄（３，４））／２である。同様に、残るサブフィル ターも種々のサブフィルター出力を得るために点（３，３）の周りに適用される
。その後、その結果がメジアンフィルターに種々なレベルで、各フィルターでの
各レベルのＮＥ（３，３）と共に入力される。結果の輝度数値ＮＥ′（３，３）
は原取得／誤情報ピクセルＮＥ（３，３）のノイズ除去バージョンになる。

【００３８】 フィルターリング処理の各段階すなわちレベルでのメジアンが、メジアンフィ
ルターのそれぞれでの１入力として原ピクセルｘ（ｉ，ｊ）を再導入するので、
３レベルメジアンハイブリッドフィルターは、原非エッジピクセル値を本質的に
しっかりと保持している。３レベルメジアンハイブリッドフィルターは殆どの画
像でよく機能することが示されているが、それを普遍的に全ての画像ピクセルに
適用するのは不利益となる。上記のように、エッジの方向が見つからず、画像の
信号対ノイズ比に依存しているので、ノイズがあるエッジピクセルはメジアンフ
ィルターを通り抜けてしまうことがある。

【００３９】 図６は本発明の１つの実施の形態による、エッジピクセルの最近接隣接領域平
均化を示すフローチャートである。 本発明の１つの実施の形態では、エッジピクセルが非エッジピクセルとは異な
る別のノイズ除去処理法で処理される。特に、エッジピクセルは、やはりエッジ
ピクセルである隣接ピクセルの値を保持することを必要としている。２つの異な
るエッジ特性が隣接し、かつ互いに隣接したピクセルを有している場合（例えば
図４は、エッジピクセルＥ₂（６，２）及びＥ₁（６，３）はそれぞれ第二及び第
一エッジ特性に属していることを示す。）、間違った輝度数値が考察中のピクセ
ルと平均されないようにそれらを識別する必要がある。つまり、ともにエッジピ
クセルであり、かつノイズ除去のために考察中の「類似の」輝度数値を持つ隣接
ピクセルと平均することが望ましい。輝度数値は、ノイズ除去のため考察中のピ
クセルと隣接ピクセルとの数値の差の絶対値を、ノイズ除去のため考察中のピク
セル間のその様な数値の差の絶対値全ての平均と比較することで、類似している
ことが決定される。もし差が平均より小さければ、隣接ピクセルはノイズ除去の
ため考察中のピクセルと「類似の」輝度であるとみなされる。

【００４０】 図６は類似輝度ピクセルの最近接隣接領域平均を行うフローチャートを示す。
まずステップ６０５によりＡＶＤ（差の絶対値）すなわちピクセルｘ（ｉ，ｊ）
と各隣接ピクセルとの距離が決定される。例えば、北側隣接ピクセルｘ（ｉ−１
，ｊ）は距離Δ北＝│ｘ（ｉ，ｊ）−ｘ（ｉ−１，ｊ）│を有する。同様にして
各隣接ピクセルとピクセルｘ（ｉ，ｊ）とのＡＤＶが決定される。ＡＤＶは本質
的に、ノイズ除去を考察中のピクセルと、平均化演算を加える組に含めることを
考察中の隣接ピクセルとの間の相関性基準である（ステップ２０参照）。ピクセ
ルｘ（ｉ，ｊ）と直線的によく相関しているそれらの隣接ピクセルは、ノイズ除
去済み出力ピクセルｘ^′（ｉ，ｊ）を得るために数値ｘ（ｉ、ｊ）とともに平均
される。つまり次のようになる。 Δ北 ＝│ｘ（ｉ，ｊ）−ｘ（ｉ−１，ｊ）│ Δ南 ＝│ｘ（ｉ，ｊ）−ｘ（ｉ＋１，ｊ）│ Δ西 ＝│ｘ（ｉ，ｊ）−ｘ（ｉ，ｊ−１）│ Δ東 ＝│ｘ（ｉ，ｊ）−ｘ（ｉ，ｊ＋１）│ Δ北東＝│ｘ（ｉ，ｊ）−ｘ（ｉ−１，ｊ−１）│ Δ南西＝│ｘ（ｉ，ｊ）−ｘ（ｉ＋１，ｊ＋１）│ Δ北西＝│ｘ（ｉ，ｊ）−ｘ（ｉ−１，ｊ＋１）│ Δ南東＝│ｘ（ｉ，ｊ）−ｘ（ｉ＋１，ｊ−１）│

【００４１】 ひとたび全８ＡＶＤ（８主要方向で各隣接ピクセルごとに１つ）が決定される
と、そこでＡＶＤの平均値が決定される（ステップ６１０）。ＡＶＤの平均値は
、単に個々のＡＶＤの合計を８で割ったものである。

【００４２】 ひとたびＡＶＤが決定すると、次のステップで第１の隣接ピクセルがエッジピ
クセルであるか否かを検査する（ステップ６１２）。もしピクセルがエッジピク
セルでなかったら平均化法には適し得ないのでピクセル平均化の組から排除され
る。もし隣接ピクセルがエッジピクセルであれば、相関関係を調べる別の比較が
行われ、隣接ピクセルが考察中のピクセルと同じエッジ特性に属するか、別のエ
ッジ特性に属するかを調べる（図４参照。これはピクセルＥ₁、Ｅ₂、Ｅ₃、及び Ｅ₄が種々の輝度を持つ４つの相異なるエッジ特性に属していることを示してい る）。隣接ピクセルがエッジピクセルであることを見出すために相関テスト（ス
テップ６１５）が行われる。ステップ６１５により、隣接ピクセルのＡＶＤはス
テップ６１０で決定されたＡＶＤの平均値と比較される。隣接ピクセルが相関し
ていない場合、すなわちその値がＡＶＤの平均より小さくなければ、ピクセルは
平均化の組から排除される（ステップ６４０）。

【００４３】 隣接ピクセルがエッジピクセルであり、かつそのＡＶＤがＡＶＤの平均より小
い場合、ピクセルはノイズ除去処理法に用いる平均化の組に含める（ステップ６
２０）。平均化の組の一部として、第１段階はその隣接ピクセルの輝度数値を、
本質的に平均化の組の各ピクセルの移動合計値を保持する役割の変数（レジスタ
）ＡＣＣＵＭに加えることである（ステップ６２５）。ＡＣＣＵＭ変数またはレ
ジスタは平均化決定を補助する（ステップ６７０で行われる）。何個の隣接ピク
セルが平均化の組内に入っているかは、エッジピクセル平均化処理法によるノイ
ズ除去の始めには未知であるので、第２の変数（ハードウェア内のレジスタ）Ｎ
ＵＭＣＯＵＮＴが平均化の組内のピクセル数を追跡するために使われる。平均化
の組に新しい隣接ピクセルが含められる度に、初期値０から出発して、ＮＵＭＣ
ＯＵＮＴは１つずつ増分される。

【００４４】 平均化のために考察すべき隣接ピクセルが他にも残っている場合、次の隣接ピ
クセルが取り出され（ステップ６４５）、ステップ６１２から６５０までが繰り
返される。ピクセルが平均化の組から排除されると、他の残余ピクセルを探す同
じ検査（ステップ６５０）が実行される。平均化の組に入れることを考察すべき
隣接ピクセルがもはや残っていない場合には、最終的に、ノイズ除去のために考
察中のピクセルｘ（ｉ，ｊ）の値がＡＣＣＵＭに加えられる（ステップ６５５）
。原ピクセル値はその中で同じ表現形式を取るので、これは原ピクセル値を平均
化の組と平均することを容易にする。さらにＮＵＭＣＯＵＮＴが、平均化の組に
含められる余分のピクセルｘ（ｉ，ｊ）を数えるために１つ（ステップ６５５）
増分される。ステップ６７０によれば、ＡＣＣＵＭの内容をＮＵＭＣＯＵＮＴで
除することで、平均化の組中のピクセルの平均が決定される。結果としての平均
値がノイズ除去済みピクセルｘ^′（ｉ，ｊ）である。この値ｘ^′（ｉ，ｊ）は、
原値ｘ（ｉ，ｊ）が書き換えられず、かつさらに他のピクセルのノイズ除去計算
に使えるように、配列またはテーブルに格納される。ノイズ除去済みピクセルｘ ^′ （ｉ，ｊ）が決定すると、変数（レジスタ）ＡＣＣＵＭ及びＮＵＭＣＯＵＮＴ
はクリアーされる（０をセットして次のエッジピクセルｘの処理を容易にする）
。このようにして、ノイズがエッジピクセルｘから除去されると、エッジピクセ
ルとして分類された他のピクセルが取り出され（ステップ６８５）、ステップ６
０５から６８０が次のピクセルに対して繰り返される。

【００４５】 類似輝度の隣接エッジピクセルを原ピクセルｘ（ｉ，ｊ）と併せ平均すること
により、平均化の結果として、エッジを横切る平滑化及び均一化によって、エッ
ジ特性は維持され、さらに強められさえする。エッジピクセルを非エッジピクセ
ルとは別に処理することで、従来のノイズ除去による、エッジの薄れや補間を行
った後の色のにじみが除かれる。平均化処理法は、またポータブルデジタルカメ
ラで望まれるような高速ハードウェアアーキテクチャー中に実装でき、またＣＦ
Ａドメイン（カラー補間に先行するベイヤーパターン赤緑青色空間）に直接応用
することもできる。

【００４６】 図７は本発明の１つの実施の形態のシステム図である。 図７はコンピュータシステム７１０を示しており、これはＰＣ（パーソナルコ
ンピュータ）といった、どのような汎用のまたは特別な目的のための、判定もし
くはデータ処理装置であっても良く、カメラ７３０と結合している。カメラ７３
０は、デジタルカメラ、デジタルビデオカメラまたは如何なる画像取得装置もし
くは結像システムでもよく、対象物またはシーンのセンサー画像を取得するのに
利用される。本質的に、取得画像は効率的に画像記憶ユニット７３４に格納でき
るように、画像処理回路７３２によって圧縮され処理されるが、ユニット７３４
はＲＡＭであっても、固定ディスク、ミニチュアカード等のような他の記憶装置
であってもよい。殆どのデジタルカメラでは、センサーのような画像取得機構か
ら得られた生の画像が、まずカメラ７３０に格納され、その後出力、表示または
計算するためにダウンロードされる。これによって、カメラ７３０は付加的な遅
延なしに素早く次の対象を取得できる。便宜的な生画像の１表示法が、前に説明
した８ビットベイヤーＣＦＡである。

【００４７】 １つの実施の形態では、画像が生の８ビットベイヤーパターンＣＦＡとしてカ
メラによって取得され、その後、圧縮されて他のデータまたはコード化済み書式
にされる。本発明の１つの実施の形態によるノイズ除去は、以下のように動作す
る。最初に、圧縮データがカメラ７３０から入出力ポート７１７を通りコンピュ
ータシステム７１０上のディスクまたは他の装置へダウンロードされる。圧縮画
像がコンピュータシステム７１０上で展開される。その後、コンピュータシステ
ムは、いかなるカラー補間よりも先に、本発明の種々の実施の形態で説明したよ
うに、そのための命令を実行して、回復したＣＦＡ画像上でノイズ除去を行う。

【００４８】 本発明の種々の実施の形態で説明した方法はＰｅｎｔｉｕｍ^TM（Ｉｎｔｅｌ社
の製品）ようなプロセッサ７１２及び命令、アドレス、及び結果データを格納／
ロードするのに使用するＲＡＭのようなメモリー７１１を使用して実行できる。
ＣＦＡ画像上でノイズ除去を行うのに用いるアプリケーションプログラムは，Ｃ
＋＋のような言語で書かれたソースプログラムからコンパイルされた実行可能モ
ジュールであってもよい。エッジを検出し第１のノイズ除去処理法をエッジピク
セルに適用し、第２のノイズ除去処理法を非エッジピクセルに適用するのを補助
する命令と、情報を交換する実行可能モジュールは、ディスク７１８及びメモリ
ー７１１に格納されており、従って、コンピュータが読み取り可能なある媒体か
らロードできる。本発明の種々の実施の形態で説明した補間方法を実行するよう
に判定用装置にプログラムすることは、コンピュータ技術分野の当業者であれば
容易に理解できるものである。

【００４９】 コンピュータシステム７１０は、プロセッサ７１２及びメモリー７１１へ／か
らの情報伝達を容易にするシステムバス７１３を有し、またシステムバス７１３
を入出力バス７１５に結合するブリッジ７１４を有している。入出力バス７１５
は、ディスプレイアダプタ７１６、ディスク７１８及びシリアルポートのような
入出力ポートと結合している。入出力装置、バス及びブリッジのこのような多く
の組み合わせを本発明に関して用いることができ、図示の組み合わせは、単にこ
のような可能な組み合わせを例示するに過ぎない。

【００５０】 対象物／シーン７４０の画像のような、画像が取得されると、この画像はベイ
ヤーパターンのようなＣＦＡ中で赤、緑、及び青色ピクセルとして検出される。
これらのピクセル値は画像処理回路７３２へと送られる。画像処理回路７３２は
、他の機能とともにカメラ７３０及びコンピュータシステム７１０間の伝送サイ
ズを小さくする画像圧縮方式を実行する、集積回路及び他の素子からなる。カラ
ー補間の要求は、画像が表示され出力されて、カメラ７３０で実行する必要がな
いとき最も重要である。ユーザーまたはアップリケーションソフトが、画像のダ
ウンロードを要望／要求したとき、画像メモリーユニットに格納されていた圧縮
画像が、画像メモリーユニット７３４から入出力ポート７１７へと伝送される。
入出力ポート７１７は、図示したバス・ブリッジ階層構造を（入出力バス７１５
からブリッジ７１４からシステムバス７１３へ）、画像データをメモリー７１１
へ、または任意選択的に、ディスク７１８へと一時的に格納するために用いる。
圧縮画像は適当なアップリケーションソフト（または専用ハードウェアで）で展
開され、かつプロセッサ７１２をそうするために用いる。展開された画像データ
は、センサーまたはカメラ７３０によって取得された画像データと類似のまたは
同一の、８ビットベイヤーパターンＣＦＡとして回復される。

【００５１】 ひとたび展開されたダウンロード画像は、未加工のＣＦＡ形式のピクセルを有
している。ノイズ除去済み画像をモニター７２０に出力したいと望む場合、カラ
ー補間を施してフルカラーピクセルを形成するに先立って、本発明の種々な実施
の形態に沿ったノイズ除去を用いるべきである。ダウンロードされ展開された画
像は、ピクセルごとに分析され、前記の処理法を適用することによって、各ピク
セルはノイズ除去済みピクセルに変形される。好もしくは、各ノイズ除去済みピ
クセルは、他のピクセルのノイズ除去の間、原ＣＦＡ（回復された）を保持する
ために、メモリー７１１またはディスク７１８中の配列へ格納される。ひとたび
ノイズ除去がＣＦＡ全体に施されれば、ノイズ除去済み配列がカラー補間処理に
用いられ、所望であれば、原ＣＦＡ（回復された）は廃棄される。ノイズを除去
し、その後カラー補間して直された画像７５０は、細部まではっきりとしたもの
になり、エッジはくっきりとなり、かつノイズが減少して、適切な表示装置、（
モニター７２０及びアダプター７１６）に出力すると、原対象物／シーン７４０
にいっそう酷似する。ノイズ除去済みのカラー補間画像は、ディスク７１８，メ
モリ７１１に格納でき、かつ／またはディスプレイアダプタ７１６を介して送ら
れた後直接にモニター７２０へ出力でききる。

【００５２】 ノイズ除去用コンピュータプログラムコードは、フロッピーディスクやＣＤ−
ＲＯＭのような着脱式のコンピュータが読みとれる媒体にパッケージ化され、カ
メラ７３０からダウンロードされた画像の展開を行うソフトウェアを付属するこ
とがある。他のソフトウェア同様に、それは通信システムのネットワ−クによっ
てダウンロード／配布することができ、またはファームウェアで利用することが
できる。これらのダウンロード画像は、対象物／シーン７４０をより正確に生き
生きとユーザーに提供するために、そのエッジ特性に従ってノイズ除去すること
ができる。本発明の別の実施の形態に従ったノイズ除去法もまたカメラ７４０自
体の上で、ハードウェアで実装できる。

【００５３】 本発明の別の実施の形態では、画像処理回路７３２は画像メモリーユニット７
３４に格納される画像がノイズ除去済みであるように、カメラ上でノイズ除去を
行う回路素子を含むように修正することができる。従って、コンピュータシステ
ム７１０またはレンダリング装置にダウンロードされたとき、第１レベルのノイ
ズはすでに除去できる。その様な実施の形態では、画像は画像処理のどの段階で
もノイズは除去できる。例えば、本発明の種々の実施の形態の、直接ＣＦＡドメ
インに適用できるノイズ除去処理法は、色分解コンパンディングの前に使っても
後で使っても良い。その様なハードウェアの実施の形態では、スピードが要求さ
れる場合には、各ノイズ除去済みピクセルは、それが決定されているので、ノイ
ズ除去処理が再帰的になるように、ＣＦＡが格納される画像メモリーユニット７
３４または他の記憶装置に、直接書き戻すことができる。上記のピクセル変化率
を見つけエッジを決定するための方法は、ＶＬＳＩ（超大規模集積回路）その他
の集積回路に容易に実装できる。本発明の種々な実施の形態で示したノイズ除去
処理法は、従来のノイズ除去処理法と異なり、潜在的な直接的ハードウェア実装
の有利性を持っており、それらはＣＦＡドメインに直接適用できるように設計さ
れる。

【００５４】 ここに説明した例示的な実施の形態は、単に本発明の原理を示すために提供さ
れたものであり、本発明の範囲を限定すると解釈すべきではない。むしろ本発明
の原理は、ここで説明した利益を得かつ他の利益を得、あるいは他の目的をも同
様に満足させるために、広範囲のシステムに適用できる。

【図面の簡単な説明】

【図１】 本発明の１つの実施の形態のフローチャートである。

【図２ａ】 第１の方向の微分値を得るためのマスクを示す。

【図２ｂ】 第２の方向の微分値を得るためのマスクを示す。

【図３】 本発明の１つの実施の形態による、ノイズ除去処理法の各色平面における独立
した適用を示す。

【図４】 例示的な画像領域に適用される、本発明の少なくとも１つの実施の形態の原理
を示す。

【図５】 本発明の種々の実施の形態において使用される、３レベルメジアンハイブリッ
ドフィルターのフローチャートである。

【図６】 本発明の種々の実施の形態において使用される、３レベルメジアンハイブリッ
ドフィルターのフローチャートである。

【図７】 本発明の１つの実施の形態のシステム図である。

【符号の説明】

１１０ 初期局部的領域定義 １２０ 局部的領域で演算しまたはマスクを用い全てのピクセルの変化率を決
定する １３０ 閾値を選択 １４０ ピクセルの変化率＞閾値？ １５０ 類似輝度の隣接ピクセルに線形平均フィルターを適用 １６０ 多重レベルメジアンハイブリッドフィルターをピクセルに適用 １７０ ピクセルが残っているか １７５ 次のピクセルの情報取り出し １８０ 新局部的領域定義

【手続補正書】

【提出日】平成１２年７月６日（２０００．７．６）

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図７

【補正方法】追加

【補正内容】

【図７】

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ， ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，Ｅ Ｅ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ， ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，Ｌ Ｖ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ， ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，Ｕ Ｓ，ＵＺ，ＶＮ，ＹＵ，ＺＷ Ｆターム(参考） 5C021 PA38 RA02 RB07 XA03 XB16 XB17 XB18 YA01 5C065 AA01 BB22 EE05 GG02 GG03 GG05 GG06 GG07 5C066 AA01 CA07 EC12 GA01 HA01 KC01 KC07 KC08 KC09 KM01

Claims (23)

【特許請求の範囲】
1. 【請求項１】 取得画像のピクセルをその色フィルター配列形式においてエ
   ッジピクセルに属するか非エッジピクセルに属するかを分類し； 第１のノイズ除去処理法を非エッジピクセルに分類されたピクセルに適用し；
   および、 第２ノイズ除去処理法をエッジピクセルに分類されたピクセルに適用し、前記
   ノイズ除去処理法が前記画像がまだその色フィルター配列形式である間に適用さ
   れる； ステップを備える方法。
2. 【請求項２】 前記分類ステップが、 局部的領域を定義するものであって、前記局部的領域が前記取得画像の一部で
   あり； 前記局部的領域内の全てのピクセルの変化率を決定し、各ピクセルについて、
   その変化率値を所定の閾値と比較し、前記変化率値が前記閾値より大きければ前
   記ピクセルをエッジピクセルに分類し、さもなければピクセルを非エッジピクセ
   ルに分類する； ステップを含んでいる請求項１に記載の方法。
3. 【請求項３】 前記所定閾値が、前記局部的領域内の全てのピクセルの変化
   率値を分析して決定された局部的閾値である請求項２に記載の方法。
4. 【請求項４】 前記定義し、決定し、かつ分類するステップが、前記取得画
   像の全てのピクセルが分類されるまで反復される請求項２に記載の方法。
5. 【請求項５】 前記第１のノイズ除去処理法が、多重レベルメジアンハイブ
   リッドフィルターの適用を含んでいる請求項１に記載の方法。
6. 【請求項６】 前記第２のノイズ除去処理法が、同一のエッジ特性に属する
   隣接ピクセルの線形平均化を含んでいる請求項１に記載の方法。
7. 【請求項７】 前記変化率決定ステップが、 第１の方向の微分値を得るために、変化率を決定中の各ピクセルの周辺の近接
   領域に第１のマスクを適用し； 第２の方向の微分値を得るために、変化率を決定中の各ピクセルの周辺の近接
   領域に第２のマスクを適用し、ここで前記第２の方向は前記第１の方向と直角で
   あり； 前記変化率を、前記第１の方向の微分値と前記第２の方向の微分値とのベクト
   ル和で定義されるベクトルの大きさとして決定する； ステップを含んでいる請求項２に記載の方法。
8. 【請求項８】 前記大きさが、 前記第１の方向の微分値を２乗し； 前記第２の方向の微分値を２乗し； 前記第１の方向及び第２の方向の微分値の２乗の和を合計し；および、 前記合計値の２乗根を求め、前記大きさを前記２乗根と等しいと定める； ステップにより得られる請求項７に記載の方法。
9. 【請求項９】 前記第１のマスクが、前記第１の方向において−１と＋１
   の係数を持つソーベルマスクである請求項７に記載の方法。
10. 【請求項１０】 前記第１のマスクが、前記第２の方向において−１と＋
    １の係数を持つソーベルマスクである請求項７に記載の方法。
11. 【請求項１１】 前記第１のマスクが、前記第１の方向において−１と＋
    １の係数を持つプレウィットマスクである請求項７に記載の方法。
12. 【請求項１２】 前記第１のマスクが、前記第２の方向において−１と＋
    １の係数を持つプレウィットマスクである請求項７に記載の方法。
13. 【請求項１３】 前記分類及び適用ステップが、前記ＣＦＡの各色平面に
    関して独立に行われる請求項１に記載の方法。
14. 【請求項１４】 前記ＣＦＡが４つの色平面、すなわち赤色平面、第１の
    緑色平面、第２の緑色平面及び青色平面を含んでいる請求項１３に記載の方法。
15. 【請求項１５】 前記ＣＦＡがベイヤーパターンで構成されている請求項
    １に記載の方法。
16. 【請求項１６】 ノイズ除去のために考察中のピクセルと、ノイズ除去の
    ために考察中のピクセルと隣接する各ピクセルとの差の絶対値を決定し； 前記差の絶対値の全てを平均化し； 前記差の絶対値の平均と、各隣接ピクセルの差の絶対値とを比較して、その後
    、所定の隣接ピクセルの前記差の絶対値が、前記差の絶対値の平均より小さい場
    合、前記隣接ピクセルを、前記ノイズ除去のために考察中のピクセルのエッジ特
    性に属するものとして含める； ステップを適用することで、１つのエッジ特性が、他のエッジ特性と区別され
    る請求項６に記載の方法。
17. 【請求項１７】 複数の命令シーケンスが格納されており、前記複数の命
    令シーケンスが、プロセッサにより実行される場合には、 第１のノイズ除去処理法により、非エッジピクセルに分類されたピクセルから
    ノイズを除去するステップ；および、 第２のノイズ除去処理法により、エッジピクセルに分類されたピクセルからノ
    イズを除去するステップ； を前記プロセッサに行わせる命令シーケンスを含んでいる、コンピュータで読み
    取り可能な媒体。
18. 【請求項１８】 未加工の画像データを受信する画像処理回路を有し、前
    記処理回路が第１のノイズ除去処理法により非エッジピクセルからノイズを除去
    し、かつ第２のノイズ除去処理法によりエッジピクセルからノイズを除去するよ
    うに構成されている画像装置。
19. 【請求項１９】 前記未加工の画像データが、ベイヤーパターン色フィル
    タ配列に格納されている請求項１８に記載の装置。
20. 【請求項２０】 さらに、既に前記ノイズ除去処理法を受けたピクセルと
    して未加工の画像データを受信し格納するために、前記画像処理回路と結合され
    た画像メモリーユニットを備えている請求項１８に記載の装置。
21. 【請求項２１】 未加工の画像データを色フィルタ配列ドメインに供給す
    るように構成された画像取得装置と；および、 前記画像取得装置と結合されるデータ処理ユニットであって、該データ処理ユ
    ニットが、まだ前記色フィルタ配列中にある前記未加工の画像データからノイズ
    を除去するように構成され、かつ前記データ処理ユニットが、第１のノイズ除去
    処理法を非エッジピクセルに分類された前記未加工の画像データのピクセルに適
    用し、第２のノイズ除去処理法をエッジピクセルに分類された前記未加工の画像
    データのピクセルに適用するように構成されている； システム。
22. 【請求項２２】 さらに、前記データ処理ユニットに結合されるデータ格
    納媒体を備え、該格納媒体が前記ノイズ除去済み画像データを格納している請求
    項２１に記載のシステム。
23. 【請求項２３】 さらに、前記データ処理ユニットに結合される表示装置
    を備え、該表示装置は、前記ノイズ除去済みの未加工の画像データと、補間した
    色要素とが、該表示装置からの出力にフルカラー画像を形成するよう構成されて
    いる請求項２１に記載のシステム。