JP2003153290A

JP2003153290A - ベイヤーパターン画像データ用ノイズフィルタ

Info

Publication number: JP2003153290A
Application number: JP2002256394A
Authority: JP
Inventors: Angelo Bosco; ボスコアンジェロ; Massimo Mancuso; マンクーゾマッシモ
Original assignee: STMicroelectronics SRL
Current assignee: STMicroelectronics SRL
Priority date: 2001-08-31
Filing date: 2002-09-02
Publication date: 2003-05-23
Also published as: US20080259190A1; EP1289309B1; US8013917B2; US8675104B2; US7369165B2; EP1289309A1; DE60141901D1; US20030048368A1; US20110211098A1

Abstract

(57)【要約】【課題】画像の細部を維持すると同時に、複雑な画像
ファイルからノイズをフィルタ処理する方法を得るこ
と。【解決手段】デジタルカメラは、光感受性の画像セン
サ、センサの受光部を覆い、かつベイヤーモザイクパタ
ーン配置に従ってパターン化された色フィルタ、および
前記ベイヤーパターン中の異なる色に着色された隣接ピ
クセルにより得られるデジタル情報を結合する補間アル
ゴリズムを含むデジタルカメラ用の改良された画像フィ
ルタにおいて、フィルタ（１０）が適応性であり、かつ
各色チャネルの前記ベイヤーパターンデータセットを直
接操作するノイズレベル計算ブロック（２６）を含み、
従って、写真の細部を維持すると同時にノイズを除去す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はノイズフィルタに
関するものであり、より詳細には、ベイヤーパターン画
像データ用ノイズフィルタに関するものである。また、
この発明は、ベイヤーパターン画像データ中のノイズを
フィルタリングする方法にも関する。

【０００２】

【従来の技術】デジタルカメラ（以下、「カメラ」と言
う。）は、カメラにより得られた画像を表現するデータ
ファイルを作る。一般に、カメラは、カメラ内の光／色
センサから情報をＣＦＡ（カメラフィルタアレイ）形式
で得る。ＣＦＡの一般的な形式としては、図１に示すよ
うな、ベイヤーモザイクパターン配置がある。ベイヤー
パターンにおいては、各ピクセルは、例えば赤、緑、青
といった一つの色成分のみに関する情報を有している。
典型的には、ベイヤーパターンは、１個おきの空間に緑
色情報を有し、青色または赤色のいずれかのピクセルが
各列の残りの空間を占める。例えば、図１に示すよう
に、列１には、緑色ピクセルと赤色ピクセルが交互に配
置されており、列２には、緑色ピクセルと青色ピクセル
が交互に配置されている。最終的には、赤色、緑色およ
び青色の点でモザイクが作られており、赤色または青色
の点の２倍の緑色の点が存在する。人間の目は、赤色ま
たは青色よりも緑色のデータにより敏感に反応するの
で、このモザイクは画像を正確に表現することができる
のである。

【０００３】典型的なカメラは、感光性を有する電荷結
合素子（ＣＣＤ）またはＣＭＯＳ画像センサを具える。
これらの画像センサは、センサに当たる光の強度に対し
てのみ感応し、光の周波数に対しては感応しない。従っ
て、この種の画像センサは、センサに当たる光の色の違
いを検出することができない。

【０００４】典型的なカメラセンサからカラー画像を得
るために、センサの受光部をカラーフィルタで覆う。こ
のフィルタには、前記のベイヤーパターンのようなパタ
ーンが施されていてもよい。従って、個々のセンサは、
赤色、青色または緑色のいずれかの特定の色にのみ感応
する。異なって着色された隣接セルにより得られた情報
を結合する色補間アルゴリズムを用いて、最終的なカラ
ー写真を得る。

【０００５】デジタルスチルカメラにより作られた画
像、特にＣＭＯＳ技術により作られた画像は、画像を捕
らえる際にセンサ内に本来的に存在するノイズの影響を
受ける。従って、画像センサにより作られたデータファ
イルを幾分修正することが必要となる。多くの場合、こ
の修正は、画像センサデータ（ベイヤーパターン）を操
作するフィルタまたはアルゴリズムを用いて行われ、よ
り現実的な画像を作る。例えば、図２に示すように、画
像処理連鎖内で、ホワイトバランス、ガンマ補正等の処
理をこの画像に行う。最後に、補正した画像を圧縮し、
カラー画像としてメモリに保存する。

【０００６】現在のデジタルカメラシステムの現在の画
像処理に関する問題のひとつは、ノイズアーティファク
トを画像自体の細部と区別することが困難である、とい
う点にある。ノイズアーティファクトが画像の細部であ
るとみなされ、フィルタ処理が施されなかった場合、ま
たは画像の細部がアーティファクトであるとみなされ、
フィルタ処理された場合には、画像劣化が発生する。

【０００７】現在のフィルタ処理法は、画像データ全体
を操作しており、画像を形成する個々のカラーチャネル
間の区別をしないという点に、もうひとつの問題があ
る。

【０００８】

【発明が解決しようとする課題】この発明により解決さ
れるべき技術的課題は、画像の細部を維持すると同時
に、複雑な画像ファイルからノイズをフィルタ処理する
方法を得ることにある。

【０００９】

【課題を解決するための手段】この発明によれば、前記
の課題は、各カラーチャネル毎に独立した適応フィルタ
リングシステムをベイヤーパターンイメージに用いるこ
とによって解決される。適応フィルタにより、画像の特
定の領域および現在のピクセルの色に応じて、フィルタ
操作量を変更して処理を行うことが可能となる。例え
ば、背景の細部によりデータの不整合が生じるカラーチ
ャネルのテクスチャ領域では、フィルタ処理を中程度と
するが、異常がノイズによるものである可能性の高い、
カラーチャネルの均一な領域では、フィルタ処理をより
強くすることができる。

【００１０】この理論に基き、請求項１に記載した画像
フィルタ、および請求項８に記載したノイズをフィルタ
処理する方法によって、前記の技術的課題を解決するこ
とができる。

【００１１】この発明に従う方法および装置の特徴およ
び利点は、添付の図面を参照しつつ、非制限的に例示す
る、以下の好適な実施態様に関する説明から明らかであ
る。

【００１２】

【発明の実施の形態】この発明の実施態様において、ノ
イズ有りベイヤーパターンデータセットを直接操作し
て、写真の細部を維持すると同時に、適応的にノイズを
除去する。フィルタ処理を行った後、ベイヤーパターン
データを他の標準画像処理連鎖工程に送り、記憶媒体上
に保存する画像を生成する。

【００１３】計算ステップのうちの幾つかは、本出願人
に譲渡された米国特許第６，１０８，４５５号に記載の
ものと同じである。この特許全体を、参照によりここに
援用する。

【００１４】処理中に、アルゴリズムを用いて、デジタ
ルスチルカメラのセンサにより得られた画像をフィルタ
処理する。従って、入力画像はベイヤーパターン形式で
ある。このノイズフィルタは、標的ピクセルと複数の隣
接ピクセルとの間の類似度の絶対値の加重平均をもと
に、処理ウィンドウ内での処理下で、ピクセルの置換値
を計算する。このノイズフィルタは、再帰的にノイズレ
ベルを処理して、得られた画像の局所特徴に応じてその
強度を適合させるとともに、隣接するピクセルのノイズ
レベルの変化に適合させる。

【００１５】２個の異なるフィルタマスクを用いて、ベ
イヤーパターンデータの３つのカラーチャネル、赤、緑
および青をフィルタ処理する。一方のマスクは、緑色チ
ャネルのみを操作する。他方のマスクは、赤色チャネル
および青色チャネルの両者を操作するが、同時に操作す
るわけではない。

【００１６】赤色、緑色および青色の画像のカラーチャ
ネルのそれぞれに対して１つずつ、合計で３つの異なる
ノイズレベル推定を計算する。赤色、緑色および青色の
それぞれのチャネルに対して、フィルタを操作してその
強度を別々に変えることができる。一般に、人間の目が
色を知覚する方法と同様に、赤色チャネルおよび青色チ
ャネルを作る赤色ピクセルおよび青色ピクセルを、緑色
ピクセルよりも高い強度でフィルタ処理することができ
るが、処理はどのカラーチャネルでも任意の強度に調整
することができる。

【００１７】前記のとおり、緑色チャネル、または赤色
もしくは青色チャネルのいずれかがフィルタ処理されて
いるか否かにより、２個のフィルタマスクを用いる。異
なるフィルタマスクを図３Ａ、図３Ｂ、図３Ｃに示す。
図３Ａは、この発明の実施態様に従う、ベイヤーパター
ンの緑色ピクセル用フィルタマスクを示す。一般に、特
定の緑色ピクセルがフィルタ処理されているので、フィ
ルタ処理されたピクセルおよびそれに隣接するピクセル
の信号レベルを検討する。例えば、図３Ａを参照して、
緑色ピクセルＧ０を標的ピクセルとする。標的ピクセル
Ｇ０に隣接するピクセルの一部を含む作業ウィンドウ
を、例えば隣接するピクセルＧ１、Ｇ２、Ｇ３、Ｇ４、
Ｇ５、Ｇ６、Ｇ７、およびＧ８を含むことにより、構築
する。図３Ｂを参照して、これと同時に赤色チャネル用
のフィルタマスクを有する作業ウィンドウを構築する。
図１を参照しつつ説明したように、ベイヤーパターンの
ピクセル配列は、緑色チャネルと、赤色チャネルまたは
青色チャネルとでは異なるので、このフィルタマスクは
図３Ａに示すフィルタマスクとは異なる。図３Ｂに示す
赤色フィルタマスクにおいて、標的ピクセルＲ０は、隣
接ピクセルＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７
およびＲ８に囲まれている。同様に、図３Ｃに示す青色
フィルタマスクは、隣接ピクセルＢ１、Ｂ２、Ｂ３、Ｂ
４、Ｂ５、Ｂ６、Ｂ７およびＢ８に囲まれた標的ピクセ
ルＢ０を有する。赤、緑および青色のそれぞれの場合に
おいて、１個の標的ピクセルと８個の隣接ピクセルがあ
り、それぞれ一般的にＴ０およびＴ１〜Ｔ８と表され
る。

【００１８】ベイヤーパターン形式の入力画像は、上部
から始まり、左から右へと列ごとに順次スキャンされ
る。この発明の実施態様において、赤色チャネルおよび
青色チャネルの処理ウィンドウは同一であるが、緑色チ
ャネルの処理ウィンドウは異なる。写真が処理される
際、現在のピクセルの色が緑色であるか否かにより、２
個の処理ウィンドウのうち一方のみが選択される。

【００１９】図４は、この発明の適用ノイズフィルタの
実施態様における処理方法の例を表すフロー図である。
適用ノイズフィルタ１０は、以下で説明する画像境界複
写ステップ１２から始まる。前記のように、次いで決定
子１６は、現在のピクセルＴ０が緑色であるか否かを検
査する。Ｔ０が緑色ピクセルである場合には、図３Ａに
示すような緑色作業ウィンドウ１８を発生する。逆に、
Ｔ０が緑色でなかった場合には、図３Ｂまたは図３Ｃに
示すような赤色／青色作業ウィンドウ２０を発生する。

【００２０】マスクおよびフィルタウィンドウが選択さ
れた後、差分計算機２２内で距離計算が行われる。差分
計算機２２において、標的ピクセルＴ０と隣接ピクセル
との間で絶対値差分Ｄｉを求める。差分Ｄｉはそれぞ
れ、標的ピクセルＴ０の値と隣接ピクセルの値との間の
差分を表す。差分計算機２２は、現在の作業ウィンドウ
の標的ピクセルＴ０の値と隣接ピクセルＴ１〜Ｔ８の値
との間の差分Ｄｉの絶対値を計算し、差分値Ｄ１、Ｄ
２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ７およびＤ８を発生す
る。

【００２１】ピクセル値の差分を計算した後、その結果
を最大および最小ブロック２４に送る。このブロックに
おいて、差分値Ｄ１〜Ｄ８の一覧から最大および最小距
離値を計算する。最大／最小ブロック２４の出力は、現
在の作業ウィンドウ１８または２０の標的ピクセルＴ０
と隣接ピクセルＴ１〜Ｔ８との間の最大差分Ｄｍａｘお
よび最小差分Ｄｍｉｎである。

【００２２】これらの最小および最大差分をノイズレベ
ル計算ブロック２６に送り、自動露出データを用いるこ
となく、処理ウィンドウ１８または２０に関するノイズ
レベルＮＬを推定する。処理ウィンドウ１８（緑色）ま
たは処理ウィンドウ２０（赤色または青色）のいずれが
現在のウィンドウであるかに応じて、異なるＮＬ計算お
よび保存が、それぞれの色チャネルに対して行われる。
現在のピクセルＴ０の色に応じて、ノイズレベル計算ブ
ロック２６は、その特定の色に対する相対ノイズレベル
推定を更新する。ノイズレベル計算ブロック２６は、次
式に従ってノイズレベルを推定する。 NL_R(t-1)=K_n(t-1)×D_max(t-1)+[1-K_n(t-1)]×NL_R(t-2) （１） NL_G(t-1)=K_n(t-1)×D_max(t-1)+[1-K_n(t-1)]×NL_G(t-2) （２） NL_B(t-1)=K_n(t-1)×D_max(t-1)+[1-K_n(t-1)]×NL_B(t-2) （３）式中、ＮＬ_ｘは、特定のノイズチャネルｘのノイズレベ
ルである。Ｋ_ｎは、前記した米国特許第６，１０８，４
５５号に記載されており、以下で詳説する、適用ノイズ
フィルタ１０により実施されるフィルタ処理の強度を決
めるパラメータである。Ｄ_ｍａｘは、特定のカラーチャ
ネルに対して、最大／最小ブロック２４において計算さ
れた最大距離値である。

【００２３】異なる処理の相互関係の例を、この発明の
適用ノイズフィルタ１０のブロック図の例である図５に
示す。図中、差分計算機２２は、現在のプロセスウィン
ドウ１８または２０から入力を得る。差分計算機２２か
らの出力は、最大／最小ブロック２４に送られ、ここか
ら各色に対するＤｍａｘおよびＤｍｉｎの値がノイズレ
ベル計算ブロック２６に送られる。Ｋｎパラメータもノ
イズレベル計算ブロック２６の入力となる。

【００２４】一般に、適用ノイズフィルタ１０に用いら
れるこれらの処理は、性能上の理由から一般にハードウ
エアが好ましいが、ソフトウエアまたはハードウエアで
実行することができる。最小限の資源を用い、全ての計
算を実行して、入力ノイズ画像を可能な限り早く処理す
ることが必須である。この目的を果たすために、この発
明の実施態様によれば、ノイズレベル計算ブロック２６
は、再帰的実行を用いる。典型的には、２つの画像バッ
ファを用いて全フィルタ処理を実行することができる。
一方のバッファ（入力バッファ）にはフィルタ処理を施
す前の画像を格納し、他方のバッファ（出力バッファ）
にはフィルタ処理を施した画像を格納する。

【００２５】処理に必要な資源を最大限に利用するため
に、フィルタ処理済みのピクセル値を用いて現在の標的
ピクセルＴ０のフィルタ処理値を計算する。例えば、Ｔ
０が標的ピクセルであり、Ｔ１、Ｔ２、Ｔ３およびＴ４
が既に処理済みの場合には、Ｔ５、Ｔ６、Ｔ７およびＴ
８は未だ処理されていない。フィルタ処理済みピクセル
を把握しておくことは、種々の処理における計算の必要
性を低減する優れた方法である。ベイヤーパターン画像
は列毎にスキャンされるので、フィルタ処理済みの値は
メモリ内で利用可能であり、Ｔ１、Ｔ２、Ｔ３およびＴ
４の前の未フィルタ処理値をメモリにリロードすること
なく、これらの値を用いて次のピクセルをフィルタ処理
することができる。この処理は、緑色作業ウィンドウ１
８および赤色／青色作業ウィンドウ２０のいずれにも用
いることができる。

【００２６】図６Ａは、フィルタ処理済みの緑色ピクセ
ルＧ０（標的ピクセル）、Ｇ１、Ｇ２、Ｇ３およびＧ
４、ならびにフィルタ処理を行っていないピクセルＧ
５、Ｇ６、Ｇ７およびＧ８の作業ウィンドウ１８の例を
示す。図６Ｂは、赤色チャネルの場合でも同一である
が、この例では青色チャネルに対するものである、作業
ウィンドウ２０の例を示す。図６Ｂにおいて、Ｂ０はフ
ィルタ処理済みの標的ピクセルであり、Ｂ１、Ｂ２、Ｂ
３およびＢ４はフィルタ処理済みのピクセルであり、Ｂ
５、Ｂ６、Ｂ７およびＢ８はフィルタ処理を行っていな
いピクセルである。

【００２７】図５に戻り、作業ウィンドウ１８および２
０から入力を受けるヒト視覚系（ＨＶＳ）評価器３０を
示す。ＨＶＳ評価器３０は、図７に示す関数に従って、
明度に対する人間の目の応答を係数化する。図中、Ｘ軸
は、取り得る明度値を０〜１０２３の尺度で表してお
り、Ｙ軸は、人間の目が現在のピクセルと隣接するピク
セルとの間のグレイレベルの差を判別することのできる
閾値を表している。図７に示すとおり、ピクセルが黒
（ｘ＝０）と最大明度値（ｘ＝１０２３）との中間（ｘ
＝５１２）にあるとき、人間の目のＨＶＳ閾値は最小と
なる。従って、人間の目のＨＶＳ閾値は、図７に示すと
おり、ピクセルが非常に明るいか、または非常に暗い場
合に最大となる。

【００２８】ＨＶＳ評価器３０から出力された係数を、
ノイズレベルブロック２６の出力に加算して、局所特徴
検査ブロック３２に渡す（図５）。このブロック３２
は、Ｋｎパラメータを計算する。Ｋｎパラメータは、現
在のピクセルＴ０に対してノイズレベルブロック２６で
実行されるフィルタ処理の強度を調節するのに用いられ
る。現在のピクセルＴ０の色、すなわち緑色か、または
赤色／青色かに応じて、２種類の異なった局所特徴検査
関数を用いる。具体的には、フィルタ処理される現在の
ピクセルが緑色である場合には、標準局所特徴検査ブロ
ックを用いる。この概略を、現在のピクセルが緑色であ
る場合の、最大距離値Ｄｍａｘの関数であるＫｎパラメ
ータのグラフ図８Ａに示す。図８Ａには値Ｔｈ_３が示さ
れており、この値は現在のピクセルＴ０に対するノイズ
値とＨＶＳ値の和（Ｔｈ_３＝ＮＬ＋ＨＶＳ）である。図
８Ａにおいて、Ｋｎパラメータは１（Ｄｍａｘは最小）
から始まる直線であり、Ｔｈ_３に向かって減少する。一
方、図８Ｂは、現在のピクセルが緑色でない場合の、最
大距離値Ｄｍａｘの関数であるＫｎパラメータのグラフ
である。図８Ｂは、Ｋｎパラメータを計算するために他
の値、すなわちノイズレベルＮＬを導入している。従っ
て、ＤｍａｘがＮＬ以下の値を取る場合には、Ｋｎパラ
メータは１となり、一方、ＤｍａｘがＮＬより大きい値
を取る場合には、Ｋｎパラメータは１とＴｈ_３との間の
直線上の値を取る。緑色チャネルの場合には、Ｄｍａｘ
が０のときにのみＫｎパラメータが１となるが、赤色お
よび青色チャネルの場合には、ＤｍａｘがＮＬ以下のと
きには常にＫｎパラメータが１となるので、これにより
緑色チャネルに比べて赤色および青色チャネルのフィル
タ強度が増大する。

【００２９】ベイヤーパターンデータをフィルタ処理す
る程度を制御する他の方法としては、自動露出制御（Ａ
ＥＣ）に用いられる利得係数を用いる方法がある。図５
に、このようなＡＥＣを含むブロック３４を示す。ＡＥ
Ｃブロック３４で用いられる現在の利得係数に応じて、
フィルタ処理の程度を調節することができる。デジタル
カメラの自動露出処理は、正確に露出された背景を得る
ために、露出設定と利得設定の適切な組合せを作る。画
像背景が正確に露出された場合には、画像に利得係数を
適用する必要はない。一方、画像が正確に露出されなか
った場合には、カメラの自動露光処理が、画像に適用さ
れる係数の一種である利得係数を計算する。利得が高い
ほど、画像が明るくなる。しかし、この一般的なシステ
ムには幾つかの欠点がある。利得が高く設定されすぎる
と、画像のノイズも強調されてしまう。従って、利得が
高い場合には、ノイズフィルタを高い強度で作動させな
ければならないし、利得が低い、または零である場合に
は、ノイズフィルタを低い強度で作動させるべきであ
る。

【００３０】適用ノイズフィルタは、図９を参照しつつ
以下に説明するような方法を用いる処理を含むことがで
きる。図９は、付加的な係数（ＡＥＣ利得係数）を用い
てＫｎパラメータを発生する方法を示している。Ｇが、
図５のＡＥＣブロック３４により計算された現在のＡＥ
Ｃ利得係数であり、Ｇｍａｘが画像センサにより決まる
利得係数の最大値であると、Ｇ／Ｇｍａｘを計算するこ
とができる。図９に示すように、この比にノイズレベル
係数ＮＬを乗じて、Ｋｎパラメータが１である最高Ｄｍ
ａｘ値を求める。これは、Ｇ／Ｇｍａｘ利得比係数を含
んでいない図８Ｂに示すグラフとは異なる。従って、最
良の露出画像を得るためにＧをＧｍａｘに設定する、す
なわちＧ／Ｇｍａｘ比が１の場合には、最大フィルタ度
（Ｋｎ＝１）を他のフィルタ度から分離する閾値はノイ
ズレベルＮＬである。逆に、０≦Ｇ≦Ｇｍａｘである利
得Ｇを用いて正確に露出された写真が得られる場合に
は、Ｇ／Ｇｍａｘ≦１であるので、ＮＬ×Ｇ／Ｇｍａｘ
≦ＮＬである。従って、フィルタ度の高低を区別するの
に用いられる閾値は低く、ゆえにフィルタ強度が低くな
る。この方法を３色全てのチャネルに適用することもで
きるし、またはこの方法を赤色／青色チャネルにのみ用
い、緑色チャネルを図８Ａに示した標準モードでフィル
タ処理することもできる。

【００３１】図５を参照して、ノイズレベル計算ブロッ
ク２６により、ノイズレベルが計算されるよりも前に、
ＡＥＣブロック３４が出力を行う必要となる場合があ
る。ノイズレベル計算ブロック２６および適用ノイズフ
ィルタ１０の他の部分は、画像処理連鎖の一次要素に限
定されないので、これは問題とはならない。実際には、
適用ノイズフィルタ１０を、必要に応じて、欠陥補正ブ
ロック等の、画像操作処理（図２）のさらに後の工程に
配置することができる。適用ノイズフィルタ１０を画像
処理連鎖の欠陥補正ブロックに配置した場合には、入力
としてノイズのあるピクセルを受けることができる。次
いで、ノイズ除去した値が、適用ノイズフィルタから出
力されて、欠陥補正アルゴリズムに送られ、ベイヤーパ
ターンのノイズ除去および欠陥補正した最終ピクセルを
生成し、これが画像処理連鎖の後の工程に送られる。

【００３２】ピクセル値に対して行われる最終処理は、
ファジイ理論に基く。メンバシップ計算ブロックは、２
つの閾値Ｔｈ１およびＴｈ２を境界とするファジイ関数
と関係がある。Ｔｉを隣接ピクセルＴ１〜Ｔ８のいずれ
かとして、ファジイ関数は、「標的ピクセルＴ０とその
隣接ピクセルＴｉは類似である」という関係をファジイ
化する。Ｔ０の隣接ピクセルＴｉのそれぞれに対して、
ＴとＴｉとの間の類似度を表す加重係数Ｋｉを計算す
る。後にこれらの加重係数Ｋｉを用いて、フィルタ処理
値を最終的に求める。従って、各ピクセルＴ０に対し
て、８個の係数値Ｋ１〜Ｋ８があり、Ｋ１はＴ０とＴ１
の類似度を表し、Ｋ２はＴ０とＴ２の類似度を表し、・
・・、Ｔ８はＴ０とＴ８の類似度を表す。

【００３３】前記の関係をファジイ化することのできる
ファジイ関数の例を図１０に示す。２つの閾値Ｔｈ１お
よびＴｈ２を次の式に従って係数化することができる。 Th₁=K_n(t)×D_max(t)+[1-K_n(t)]×D_min(t) （４） Th₂=K_n(t)×D_max(t)+[1-K_n(t)]×D_min(t)×([D_max(t)+D_min(t)]/2) （５）

【００３４】Ｋｉの値を次の式により表すことができ
る。 Ki=1 （Di≦Th1の場合）（６） Ki=(Th2-Di)/(Th2-Th1) （Th1<Di<Th2の場合）（７） Ki=0 （Th2≦Diの場合）（８）

【００３５】これらの値は、図５に示す閾値計算ブロッ
ク３６において計算される。閾値計算ブロック３６は、
閾値係数Ｋｎ、ＤｍｉｎおよびＤｍａｘを入力とし、前
記の閾値Ｔｈ１およびＴｈ２を出力する。

【００３６】これらの閾値を係数計算機３８に入力し、
ここで式（６）、（７）および（８）のＫｉ値を計算す
る。

【００３７】適用ノイズフィルタ１０の最終出力は、現
在の標的ピクセルＰ０のフィルタ処理値である。この処
理を、カメラのセンサにより作られた各ピクセルに対し
て順次繰り返すことにより、最終的なフィルタ処理画像
が出力に得られる。ノイズフィルタ１０の出力は次の式
で表される。

【数１】

【００３８】前記のとおり、適用ノイズフィルタ１０
は、ベイヤーパターンソースデータに対して働く。処理
ウィンドウの形状を考慮すると、画像の最初の２行と最
後の２行に属するピクセル、および最初の２列と最後の
２列に属するピクセルは、完全な処理ウィンドウ１８ま
たは２０（図３Ａ、３Ｂおよび３Ｃ）を作るにはピクセ
ルが不足するので、これらの行または列に属するピクセ
ルを処理することができないことが理解されよう。この
概念を図１１を参照しつつ説明する。図１１には、画像
端の最初の５列と最初の５行を示すベイヤーパターンが
示されている。周囲に十分な数のピクセルが無いので、
第１行第１列の第１緑色ピクセルに対して完全な作業ウ
ィンドウ１８を作ることはできない。

【００３９】従って、図１２に示すとおり、この発明の
実施態様の幾つかにおいて、画像の２ピクセル幅の境界
は、フィルタ処理されず、最初の状態のままになる。そ
れゆえ、図４に示すように、境界複写ステップ１２が最
初に行われるべきステップなのである。従って、本来入
力したノイズ画像と同じ行数および列数の画像を得るた
めには、出力バッファに書き込む前に、一時的に保存さ
れているかもしれないが、最初の２行および２列、なら
びに最後の２行および２列を出力バッファに直接複写す
る。このステップを図５のフィルタ出力ブロック４０と
して示す。

【００４０】図１３Ａおよび１３Ｂは、それぞれ原画像
および適用ノイズフィルタ１０の実施態様の出力から得
た画像である。これらの図を見ることにより、アルゴリ
ズムの適用性が明確に視覚化される。例えば、壁および
机の上の紙のノイズ値が大幅に減少しているが、例え
ば、電話の底部付近の細部は失われていない。

【００４１】図１４は、図１３Ａから図１３Ｂを作る際
のフィルタ処理強度を表す図である。薄い灰色の部分
は、フィルタ処理を多く行った領域を表し、濃い灰色の
部分は、フィルタ処理を少なく行った領域を表す。机の
上の紙は、最もノイズフィルタ処理を多く適用した部分
であり、物体の境界にはほとんどフィルタ処理が施され
ておらず、細部が維持されている。これに対する理由の
ひとつは前記の式（８）に示されている。この式は、距
離Ｄｉが第２閾値Ｔｈ２よりも大きくなった場合に、式
（９）で表される出力ピクセル式に直接関与するＫｉを
０にする。物体の境界において、端縁が明確なので、ピ
クセル値に大きな距離がある。ここで説明した適用フィ
ルタ技術を用いると、単色の大きな区画（紙片、壁およ
び他の大きな面に見られるような）等のノイズにはノイ
ズフィルタ処理を多く施す一方、明確な端縁（従って細
部）が維持されるので、全体として高品質な画像が作ら
れる。

【００４２】処理に関する種々の実施態様をテストする
際に、人工画像を用いて、アルゴリズムがどれだけのノ
イズを除去することができるかを調べた。図１５は、上
部から下部にかけてノイズ量が増加しているテスト画像
である。加えたノイズの強度を調節するため、ガウス分
布の分散値を操作した。ノイズ統計分布の平均値を零と
想定する。

【００４３】Ｉ_{ＮＯＩＳＹ} がノイズ有りベイヤーパタ
ーンを表し、Ｉ_{ＦＩＬＴＥＲＥＤ} が適用ノイズフィル
タ１０によりフィルタ処理されたベイヤーパバーンを表
し、Ｉ_{ＯＲＩＧＩＮＡＬ} が本来のノイズ無しベイヤー
パターンを表すとすると、Ｉ_{ＮＯＩＳＹ}−Ｉ
_{ＯＲＩＧＩＮＡＬ}＝Ｉ_{ＡＤＤＥＤ＿ＮＯＩＳＥ} であ
り、Ｉ_{ＦＩＬＴＥＲＥＤ}−Ｉ_{ＯＲＩＧＩＮＡＬ}＝Ｉ
_{ＲＥＳＩＤＵＡＬ＿ＮＯＩＳ} _Ｅである。式中、Ｉ
_{ＲＥＳＩＤＵＡＬ＿ＮＯＩＳＥ}はＩ_{ＯＲＩＧＩＮＡＬ}に
人工的に加えられたノイズのみを含む画像であり、Ｉ
_{ＲＥＳＩＤＵＡＬ＿ＮＯＩＳＥ}はフィルタ処理後の残留
ノイズを含む画像である。画像ｘ（ｎ，ｍ）、Ｎ×Ｍが
与えられた場合に、ノイズ強度は次の式により計算する
ことができる。

【数２】

【００４４】図１５の画像を用いて、Ｉ
_{ＡＤＤＥＤ＿ＮＯＩＳＥ}およびＩ_{ＲＥＳＩＤＵＡＬ}
_{＿ＮＯＩＳＥ}の両方に対してノイズ強度を計算し、デシ
ベル（ｄＢ）形式に変換し、グラフに表したものを図１
６に示す。図１６のグラフのｙ軸は、ノイズ強度をデシ
ベルで表しており、ｘ軸はノイズ分布の変動を表してい
る。２本のプロットの間の差は、適用ノイズフィルタ１
０を用いて除去されたノイズの量を表している。このテ
ストにおいて、フィルタ処理した画像のノイズ強度は、
本来のノイズ強度よりも約７ｄＢ低かったが、適用ノイ
ズフィルタは、高テクスチャ領域と低テクスチャ領域と
をさらに識別することができる。

【００４５】適用ノイズフィルタ１０の実施態様の注目
すべき利点のひとつは、直接ベイヤーパターンデータに
対して作業を行うことができるという点である。このフ
ィルタは、特定の色にのみに適用できるので、色を単純
に平均化した場合に比べて、全体としてよい結果が得ら
れる。自動露出データからの利得係数をヒト視覚系と組
み合わせて用いると、特定のピクセルに対して、安全に
適用できるフィルタ処理の量について予め決定すること
ができる。また、既に計算済みのピクセル値を元に、ハ
ードウェア実行においてはより少ないメモリ使用量で、
再帰的に計算することができるので、このノイズフィル
タは迅速に作動する。

【００４６】前記の詳細な説明を考慮に入れて、この発
明に改変を行うことができる。一般に、特許請求の範囲
において、使用した用語は、この発明を、明細書および
特許請求の範囲に記載した特定の実施態様に限定するた
めに用いられるべきではなく、特許請求の範囲に係る方
法および装置の全てを含むと解すべきものである。従っ
て、この発明は詳細な説明により限定されるべきもので
はなく、その範囲は、特許請求の範囲により決められる
べきものである。

【図面の簡単な説明】

【図１】従来技術のデジタルカメラに用いられている
ベイヤーパターンモザイク配置を表す図である。

【図２】従来技術のデジタルカメラの画像処理を表す
機能ブロック図の例である。

【図３Ａ】本発明の実施態様に従う、ベイヤーパター
ンデータの種々の色に対するフィルタマスクを表す図で
ある。

【図３Ｂ】本発明の実施態様に従う、ベイヤーパター
ンデータの種々の色に対するフィルタマスクを表す図で
ある。

【図３Ｃ】本発明の実施態様に従う、ベイヤーパター
ンデータの種々の色に対するフィルタマスクを表す図で
ある。

【図４】この発明に従う適用ノイズフィルタの実施態
様における処理方法の例を表すフロー図である。

【図５】この発明の実施態様に従う適用ノイズフィル
タ中における処理方法の関係を示すブロック図の例であ
る。

【図６】６Ａは、フィルタ処理された一組の緑色ピク
セルの作業ウィンドウの例を示し、６Ｂは、フィルタ処
理された一組の非緑色ピクセルの作業ウィンドウの例を
示す。

【図７】標的ピクセルの明度と、隣接するピクセルに
対するヒト視覚系閾値との関係を表すグラフである。

【図８】８Ａは、現在のピクセルが緑色である場合
の、最大距離値Ｄｍａｘの関数としてＫｎパラメータを
表したグラフであり、８Ｂは、現在のピクセルが緑色で
ない場合の、最大距離値Ｄｍａｘの関数としてＫｎパラ
メータを表したグラフである。

【図９】利得可変を用いてＫｎパラメータを生成する
方法を表す図である。

【図１０】この発明の実施態様に従う、ピクセルの関
係をファジイ化することのできるファジイ関数の例を表
すグラフである。

【図１１】ベイヤーパターンデータセットの端縁を示
す図である。

【図１２】２個のピクセルで作られた境界を強調し
た、ピクセルで形成された画像を表す図である。

【図１３】１３Ａは、元画像であり、１３Ｂは、この
発明の実施態様に従う適用ノイズフィルタにより図１３
Ａの画像を修正した後の画像である。

【図１４】図１３Ａを図１３Ｂに変換する際に用い
た、フィルタ処理の強度レベルを表す図である。

【図１５】上部から下部に向かってノイズ量が増加す
るテスト画像の例である。

【図１６】図１５に対して、異なるノイズレベルで計
算したノイズ量を表すグラフである。

【符号の説明】

１０適用ノイズフィルタ１２画像境界複写ステップ１６決定子１８緑色作業ウィンドウ２０赤色／青色作業ウィンドウ２２差分計算機２４最大／最小ブロック２６ノイズレベル計算ブロック３０ＨＶＳ評価器３２局所特徴検査ブロック３４ＡＥＣブロック４０フィルタ出力ブロック

───────────────────────────────────────────────────── フロントページの続き (72)発明者アンジェロボスコイタリア国カターニア 95014 ギアッレコルソマッテオッティ 20／ビー (72)発明者マッシモマンクーゾイタリア国 20052 モンツァヴィアオリアーニ 19 Ｆターム(参考） 5C065 AA03 BB22 BB30 CC01 CC08 CC09 DD15 GG22 GG23

Claims

【特許請求の範囲】

【請求項１】光感受性の画像センサ、センサの受光部
を覆い、かつベイヤーモザイクパターン配置に従ってパ
ターン化された色フィルタ、および前記ベイヤーパター
ン中の異なる色に着色された隣接ピクセルにより得られ
るデジタル情報を結合する補間アルゴリズムを含むデジ
タルカメラ用の改良された画像フィルタにおいて、前記
フィルタ（１０）が適応性であり、かつ各色チャネルの
前記ベイヤーパターンデータセットを直接操作するノイ
ズレベル計算ブロック（２６）を含み、従って、写真の
細部を維持すると同時にノイズを除去することを特徴と
する、改良された画像フィルタ。
【請求項２】少なくとも２個のフィルタマスクを用
い、その一方が緑色チャネル用フィルタマスクであり、
他方は赤色チャネルおよび青色チャネル用フィルタマス
クである、請求項１記載の改良された画像フィルタ。
【請求項３】赤色チャネルおよび青色チャネル用フィ
ルタマスクは同一であるが、緑色チャネルは異なる、請
求項２記載の改良された画像フィルタ。
【請求項４】処理ウィンドウの現在のピクセル（Ｔ
０）を調べ、緑色ピクセルであった場合には対応するフ
ィルタマスクを選択する決定子ブロック（１６）；前記
処理ウィンドウの現在のピクセル（Ｔ０）と隣接ピクセ
ルの絶対値差分（Ｄｉ）を決定する差分計算機（２
２）；差分値（Ｄ１、．．．、Ｄ８）の一覧から最大お
よび最小距離値を計算する最大および最小ブロック（２
４）；および前記処理ウィンドウに関するノイズレベル
（ＮＬ）を推定するノイズレベル計算ブロック（２６）
を含む、請求項１記載の改良された画像フィルタ。
【請求項５】露出と利得設定との適切な組合せを生成
して、前記ノイズレベル計算ブロック（２６）に送る自
動露出制御システムを具える利得係数ブロック（３４）
をさらに含む、請求項４記載の改良された画像フィル
タ。
【請求項６】ノイズレベル計算ブロック（２６）が再
帰的実行を用い、かつ次式に従ってノイズレベルを調べ
る、請求項４記載の改良された画像フィルタ。 NL_R(t-1)=K_n(t-1)×D_max(t-1)+[1-K_n(t-1)]×NL_R(t-2) （１） NL_G(t-1)=K_n(t-1)×D_max(t-1)+[1-K_n(t-1)]×NL_G(t-2) （２） NL_B(t-1)=K_n(t-1)×D_max(t-1)+[1-K_n(t-1)]×NL_B(t-2) （３）式中、ＮＬ_ｘは、特定のノイズチャネルｘのノイズレベ
ルであり、Ｋ_ｎは、適用ノイズフィルタ（１０）により
実施されるフィルタ処理の強度を決めるパラメータであ
り、Ｄ_ｍａｘは、特定のカラーチャネルに対して、最大
／最小ブロック（２４）において計算された最大距離値
である。
【請求項７】画像を感知して第１信号を発生するため
のセンサ、前記センサに接続されており、前記第１信号
からベイヤーパターンを発生するよう構成されているベ
イヤーパターン発生器、および前記ベイヤーパターンを
異なる色チャネルに分配するよう構成されている分配器
を含むデジタルカメラにおいて、該デジタルカメラが、
請求項１記載の画像フィルタをさらに含むことを特徴と
するデジタルカメラ。
【請求項８】光感受性の画像センサ、センサの受光部
を覆い、かつベイヤーモザイクパターン配置に従ってパ
ターン化された色フィルタ、および前記ベイヤーパター
ン中の異なる色に着色された隣接ピクセルにより得られ
るデジタル情報を結合する補間アルゴリズムを含むデジ
タルカメラのノイズをフィルタ処理する方法において、
該方法が、 −ベイヤーパターン形式を行毎に順次スキャンするステ
ップ、 −前記ベイヤーパターンデータセットの各色チャネルに
対して処理ウィンドウを与えるステップであって、赤色
チャネルおよび青色チャネル用処理ウィンドウは同一で
あるが、緑色チャネル用処理ウィンドウは異なり、かつ
各処理ウィンドウは標的ピクセルと複数の隣接ピクセル
を有する、ステップ、 −現在の標的ピクセル色が緑色であるか否かに応じて、
フィルタマスクおよび対応する処理ウィンドウを選択す
るステップ、および −標的ピクセルをフィルタ処理し、色チャネルのノイズ
レベル（ＮＬ）を計算し、ノイズレベルに応じたフィル
タリングパターン形式を与えるステップ、を含むことを
特徴とする方法。
【請求項９】前記スキャンステップ中で既にフィルタ
処理したピクセル値を用いて、現在の標的ピクセル（Ｔ
０）のフィルタ処理値を計算する、請求項８記載の方
法。