JP2002199287A - 撮像素子におけるノイズ低減方法及びシステム - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 散在的にサンプリングされた拡張ダイナミッ
クレンジのディジタルイメージからノイズを除去する。 【解決手段】 光の露出に対して高速応答画素値を生成
する高速応答フォトサイトと、低速応答画素値を生成す
る低速応答フォトサイトとを備える撮像素子により生成
された、散在的にサンプリングされた拡張ダイナミック
レンジイメージからノイズを除去する方法であって、高
速及び低速応答画素値を有する、散在的にサンプリング
された拡張ダイナミックレンジディジタルイメージを生
成するステップと、ノイズフィルタ方法を使用して低速
応答画素値のみ及び高速応答画素値のみを用いてノイズ
低減した画素値を生成して、前記散在的にサンプリング
された拡張ダイナミックレンジディジタルイメージから
ノイズを除去するステップと、前記ノイズ低減した低速
応答画素値及び高速応答画素値とを組み合わせてノイズ
低減したディジタルイメージを生成するステップとを備
える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般に撮像（imag
e capture）に関し、より詳細には、散在的にサンプリ
ングされた拡張ダイナミックレンジのディジタルイメー
ジ（sparsely sampled extended dynamic range digita
l image）からノイズを除去する方法に関する。

【０００２】

【従来の技術】電荷結合素子（ＣＣＤ）及びＣＭＯＳイ
メージセンサなどの撮像素子は、ディジタルカメラ、ス
キャナ、ビデオカメラなどの製品に広く見られる。従来
からの写真フィルム製品に比べると、これら撮像素子の
ダイナミックレンジには制限がある。一般的な電子撮像
素子は約７ストップ(絞り：stop）のダイナミックレン
ジを持つ。これは、結果的な信号のクリッピングを避け
るために、通常シーンの露光をかなりの精度で決定しな
ければならないことを意味する。これに対し、自然シー
ンは、９ストップ以上のダイナミックレンジを示すこと
が多いが、これは、主として光強度が大きく異なる多数
の光源が被写体シーンを照射するためである。また、反
射ハイライト（specular highlights）も自然シーンの
ダイナミックレンジに寄与している。

【０００３】感光フィルムのスキャンに使用する電子セ
ンサは、信号強度の高いダイナミックレンジにも対処し
なければならない。Ｍｉｌｃｈによる米国特許第５，２
２１，８４８号（１９９３年６月２２日発行）には、電
子イメージセンサのダイナミックレンジを拡張すべく設
計された方法及び装置が開示される。感光フィルムのス
キャンを主たる目的とするこの特許には、線形アレイを
備える電荷結合素子スキャナを用いたワンパスフィルム
スキャナ（one pass film scanner）の方法が開示され
ている。アレイの１つが高い光強度に対応し、別のアレ
イが低い光強度に対応する。これら２つのアレイからの
情報を合成してディジタル化することで、ダイナミック
レンジが拡張されたディジタルイメージを生成する。上
記特許に開示された方法及び装置は、スペクトル感度は
同じだが光強度に対する固有応答が異なるフォトサイト
(photosite）を有する電子イメージセンサに関し、きわ
めて高いダイナミックレンジでディジタルイメージを生
成できる。

【０００４】電子撮像素子により生成された信号に含ま
れるノイズは、ノイズ低減アルゴリズムの適用により除
去できる。ノイズ低減アルゴリズムの一例として、雑誌
論文"Digital Image Smoothing and the Sigma Filter"
(Computer Vison, Graphics,and Image Processing, vo
l.24,1983,pp.255-269)に記載のジョンセンリー（Jong-
Sen Lee）によるシグマフィルタがある。リーによる論
文には、中心画素を中心とする矩形ウィンドウからサン
プリングされた非線形画素の平均化技術を使用するノイ
ズ低減フィルタが開示されている。局所的に近接する画
素を、その画素と中心画素との差に基づく数値平均か
ら、包含あるいは除外する。シグマフィルタは、主たる
ノイズ源がガウスの加法ノイズである画像処理アプリケ
ーションに対して設計されたものである。ノイズ低減制
御パラメータを信号強度の関数にすることにより、信号
依存ノイズ源を取り込むことができる。しかしながら、
信号独立ノイズと信号依存ノイズのいずれの場合にも、
予想されるノイズ標準偏差が最適な結果を得ることが分
かっていなければならない。

【０００５】

【発明が解決しようとする課題】リーによる上記のシグ
マノイズ低減方法は、拡張ダイナミックレンジの電子撮
像素子により生成された信号には直接、最適に適用でき
ない。これは、フォトサイトの種類が異なるとノイズ特
性が異なるという事実のためである。したがって、拡張
したダイナミックレンジでイメージを記録可能な電子イ
メージセンサにより生成されたイメージに対し、改良さ
れたノイズ低減方法が求められている。

【０００６】

【課題を解決するための手段】上記の要望は、光の露出
に対して所定の応答を有し高速応答画素値を生成する高
速応答フォトサイトと、同じ光の露出に対しより遅い応
答を有し、低速応答画素値を生成する低速応答フォトサ
イトとを備える撮像素子により生成された、散在的にサ
ンプリングされた拡張ダイナミックレンジイメージから
ノイズを除去する方法であって、高速及び低速応答画素
値を有する、散在的にサンプリングされた拡張ダイナミ
ックレンジディジタルイメージを提供するステップと、
ノイズフィルタ方法を使用し、低速応答画素値のみを用
いてノイズ低減した低速応答画素値を生成すると共に高
速応答画素値のみを用いてノイズ低減した高速応答画素
値を生成して、前記散在的にサンプリングされた拡張ダ
イナミックレンジディジタルイメージからノイズを除去
するステップと、前記ノイズ低減した低速応答画素値と
前記ノイズ低減した高速応答画素値とを組み合わせてノ
イズ低減した散在的にサンプリングされたディジタルイ
メージを生成するステップと、を備えることを特徴とす
る方法を提供することにより達成される。

【０００７】

【発明の実施の形態】ディジタルイメージは、１つ以上
のディジタルイメージチャネルで構成され、各ディジタ
ルイメージチャネルは、画素の二次元アレイで構成され
る。各画素値は、その画素の幾何学的領域に対応した撮
像素子（imaging capture device）が受光する光の量に
関連付けられる。カラー撮像のアプリケーションでは、
ディジタルイメージは、一般に、赤、緑、青のディジタ
ルイメージチャネルから構成される。例えば、シアン、
マゼンタ、イエローのディジタルイメージチャネルなど
他の構成も実施されている。モノクロのアプリケーショ
ンでは、ディジタルイメージは１つのディジタルイメー
ジチャネルで構成される。動画の撮像は、ディジタルイ
メージの時間的な連続であると考えられる。当業者であ
れば、本発明が、上述のいずれのディジタルイメージア
プリケーションにも適用できると共に、これらに限定さ
れないことが理解できよう。

【０００８】本発明では、ディジタルイメージチャネル
を行及び列に並べられた２次元アレイの画素値として記
載しているが、当業者であれば、本発明をモザイク（非
直線）アレイに適用しても同様の効果を得られることが
理解できよう。

【０００９】電子センサを用いる撮像素子はよく知られ
ているので、ここでの記載は、特に発明の装置を形成す
る要素、または本発明の装置と直接的に協働する要素に
関する。ここに示されない要素または記載されない要素
については、当業界で知られるものから選択可能であ
る。なお、ここで用いるイメージとは、２次元アレイ状
の値である。あるイメージは、別のイメージの２次元の
部分集合であってもよい。本発明は、プログラムされた
ディジタルコンピュータまたはカスタム集積ディジタル
画像処理回路を使用して実施することができる。かかる
コンピュータプログラムを以下の開示に基づき作成する
ことは、プログラミング技術の十分なスキル範囲であ
る。コンピュータは、パーソナルコンピュータなどの汎
用ディジタルコンピュータでも、ディジタルイメージの
処理用に特別に設計された特殊目的のディジタルコンピ
ュータでもよい。本発明は、ディジタルカメラ内で全体
としてまたは一部として実施できる。

【００１０】本発明の本質的な要素を、図１の機能ブロ
ック図に示す。被写体またはシーンからの光はレンズ２
に入射し、電荷結合素子（ＣＣＤ）などの撮像素子１０
にて写真イメージを形成する。なお、ＣＭＯＳ素子な
ど、他の素子を撮像素子１０として使用してもよい。レ
ンズ２と撮像素子１０との間に設けられた光ローパスフ
ィルタ６は、エイリアシングの発生を低減するため、結
像した光に対してわずかなぶれ（blurring）を与える。
Ａ／Ｄ変換器１４は撮像素子１０からの結像光に対応す
る電圧信号を入力し、この電圧信号に対応するイメージ
信号を生成する。Ａ／Ｄ変換器１４の出力は、散在的に
サンプリングされた、拡張ダイナミックレンジのディジ
タルイメージ２０１（図２参照）である。散在的にサン
プリングされたイメージとは、複数タイプのフォトサイ
トを備えた単一のイメージセンサを有する撮像素子で撮
影したイメージであると定義される。本発明によれば、
散在的サンプリングという用語は、さらに応答の速い及
び遅いフォトサイトが散在するイメージセンサにより生
成されたイメージをも意味する。ここでは、このような
イメージを、散在的にサンプリングされた拡張ダイナミ
ックレンジディジタルイメージと呼ぶ。散在的にサンプ
リングされた拡張ダイナミックレンジディジタルイメー
ジは、カラーフィルタアレイ及び応答の速いフォトサイ
トと応答の遅いフォトサイトとを有するイメージセンサ
により生成してもよい。

【００１１】ディジタルイメージプロセッサ２００は、
Ａ／Ｄ変換器１４から散在的にサンプリングされた拡張
ダイナミックレンジディジタルイメージを入力し、これ
にノイズフィルタリングを施すことにより、ノイズの低
減された、散在的サンプリング拡大ダイナミックレンジ
ディジタルイメージを生成する。このノイズの低減され
た散在的サンプリング拡大ダイナミックレンジディジタ
ルイメージがディジタルイメージプロセッサ２００で処
理され、ノイズの低減したディジタルイメージ２０２が
生成される。

【００１２】図１に示すＡ／Ｄ変換器１４は、撮像素子
１０により生成された電圧信号を、イメージ信号、すな
わち、撮像素子１０のフォトサイトにより生成された電
圧信号に対応するディジタル画素値の列に変換する。よ
り詳細には、Ａ／Ｄ変換器１４は、入射光の強度に対し
てほぼ線形である撮像素子１０からの電圧信号を、個別
のディジタルイメージ信号、例えば、線形符号化値が０
から１０２３の範囲である１０ビット信号に変換する。
また、Ａ／Ｄ変換器１４は、当業界で一般的に行われて
いるように、線形符号値領域のイメージ信号を、８ビッ
ト対数信号などの非線形符号値領域のイメージ信号に変
換する処理を行ってもよい。例えば、次式を用いて、１
０ビットの線形イメージ信号ａ（ｘ，ｙ）を、８ビット
の対数イメージ信号ｂ（ｘ，ｙ）に変換できる。ここ
で、（ｘ，ｙ）は撮像素子１０に関する信号位置の行及
び列指標（index）を特定する。

【００１３】

【数１】 なお、（撮像素子の線形応答領域における）各露光スト
ップは、線形イメージ信号ａ（ｘ，ｙ）を倍増させ、こ
の結果、対数的に符号化されたイメージ信号ｂ（ｘ，
ｙ）は５１増加する。この場合、５１の値は、露光のス
トップ(絞り）当たりの符号値（ｃｖｓ）の数を表して
いる。

【００１４】図１のディジタルイメージプロセッサ２０
０を図２により詳細に示す。イメージ信号は、散在的に
サンプリングされた拡張ダイナミックレンジディジタル
イメージ２１０の形でノイズ低減モジュール２０１に入
力される。ノイズ低減モジュール２０１は、イメージ信
号にノイズフィルタリングを施してノイズを除去し、ノ
イズ低減イメージ信号を、ノイズが低減した散在的にサ
ンプリングされた拡張ダイナミックレンジディジタルイ
メージとして生成する。ノイズが低減された、散在的に
サンプリングされた拡大ダイナミックレンジディジタル
イメージは、ダイナミックレンジ拡張フィルタアレイ
（ＤＲＥＦＡ）プロセッサ２２に入力される。ＤＲＥＦ
Ａプロセッサ２２は、信号のダイナミックレンジを拡張
し、サンプル値を補間することによりノイズ低減された
イメージ信号を処理する。続いて、ＤＲＥＦＡプロセッ
サ２２は、この修正されたノイズ低減イメージ信号をＣ
ＦＡ補間器２６に送り、ここで、色値が補間され、各画
素における色値を得る。ＣＦＡ補間器２６の出力が、ノ
イズ低減したディジタルイメージ２０２である。

【００１５】ＣＦＡ補間器２６の目的は、検出した写真
イメージの各位置に対する色を完全に描写（full descr
iption）することである。好ましい実施形態において
は、撮像素子１０は、フォトサイトと呼ばれる感光要素
のアレイにより構成される。バイヤー（Bayer）による
米国特許第３，９７１，０６５号（１９７６年７月２０
日発行）に記載されるように、各フォトサイトは通常
赤、緑、または青のフィルタで被覆されている。バイヤ
ー特許のカラーフィルタアレイにおいては、フォトサイ
ト上に緑のフィルタがチェッカーボードのパターンに配
置され、赤と青のフィルタはこのチェッカーボードパタ
ーンの間隙を埋めるように１ラインずつ交互に配置され
ている。このようなカラーフィルタの場合、緑のフィル
タサイトは、赤と青のいずれのフィルタサイトの２倍に
なる。本願に記載される方法は、原色の構成や原色の
数、原色の組み合わせが異なるカラーフィルタアレイに
も簡単に拡大できる。よって、好ましい実施形態では、
各フォトサイトが赤、緑または青のいずれかの光に反応
する。しかしながら、各フォトサイト位置において、
赤、緑、青のそれぞれに対する露光に対応する画素値を
得るのが望ましい。イメージ信号の画素値により、赤、
緑、青の画素値を近接画素位置において有する散在的に
サンプリングされたイメージが形成される。ＣＦＡディ
ジタルイメージは、散在的にサンプリングされたディジ
タルイメージの一例である。

【００１６】本明細書においては、「赤」、「緑」及び
「青」は、画像処理技術において周知のように、撮像素
子１０の原色スペクトル感度（primary spectral sensi
tivities）を表す。ＣＦＡ補間器２６は、Ａ／Ｄ変換器
１４から出力されたイメージ信号から、各フォトサイト
に対する原色に対応する画素値で構成される、補間され
たイメージ信号を生成する。例えば、特定のフォトサイ
トが赤のフィルタで被覆されている場合、赤のフィルタ
はこの特定フォトサイトから緑及び青の光を本質的にブ
ロックするので、Ａ／Ｄ変換器１４はこのフォトサイト
に対して赤の画素値を出力する。対応フォトサイトが緑
及び青の光に応答しないとしても、ＣＦＡ補間器２６は
この対応フォトサイトに対して緑の画素値及び青の画素
値を計算する。同様に、ＣＦＡ補間器２６は、青のフォ
トサイトに対応する緑の画素値及び赤の画素値を計算
し、緑のフォトサイトに対応する赤の画素値及び青の画
素値を計算する。

【００１７】一般に、ＣＦＡ補間器２６は、対応するフ
ォトサイトの画素値及び関連する周辺フォトサイトの画
素値を考慮して動作する。一般的に知られた任意の補間
器が使用できるが、好ましいＣＦＡ補間器がアダムスジ
ュニア他による米国特許第５，６５２，６２１号（１９
９７年７月２９日発行）に開示されている。アダムス他
の特許には、行及び列に整列し、各フォトサイト位置に
対して１つの色値のみ、少なくとも３つの別々の色値を
生成するカラーフォトサイトを有するイメージセンサか
ら得られるディジタル化されたイメージ信号を処理する
装置、及び３つの異なる色値を有するように各フォトサ
イト位置に対する色値を補間する構造が記載されてい
る。装置は、あるフォトサイト位置から欠如した適当な
色値を、かかるフォトサイト位置に対する更なる色値の
補間により、近傍のフォトサイト位置における、前記欠
如した色値以外の色値から生成する。装置は、さらに、
同じ列及び行の近傍フォトサイトに対応する画素値か
ら、少なくとも２つのイメージ方向において、ラプラシ
アン２次（second-order）値、グラジエント値、色差バ
イアス値を求め、これらの値から展開した分級（classi
fier）に基づき、欠如した色値の補間の好ましい方位を
選択する。そして、この好ましい方位に一致するよう
に、近傍の複数色画素値から欠如した色画素値を選択す
る。

【００１８】ノイズを低減したイメージ信号（ノイズ低
減した散在的にサンプリングされた拡張ダイナミックレ
ンジディジタルイメージ）がＤＲＥＦＡプロセッサ２２
により入力され、ここでノイズ低減されたイメージ信号
のダイナミックレンジが拡張する。好ましい実施形態に
おいては、撮像素子１０の特定のフォトサイトを遅い応
答を有するように選択することにより、撮像素子１０の
ダイナミックレンジを拡張する。選択されたフォトサイ
トの撮像素子１０に対する配置については、以下により
詳細に説明する。好ましい実施形態においては、選択さ
れたフォトサイトの応答は、ここでは遅いフォトサイト
（低速応答フォトサイト）と呼ばれる、選択されたフォ
トサイトの利得を変えることにより低速化されすなわち
遅らされる。フォトサイトの利得の変更は、ディジタル
カメラの設計及び製造の分野において広く実施されてい
る。

【００１９】図３に関連し、イメージセンサ製造の分野
では、各フォトサイトの頂部に樹脂性小型レンズ５１を
設けることは一般的である。例えば、特に撮像素子１０
がインターライン型固体撮像素子の場合、小型レンズの
１技術が、イシハラによる米国特許第４，６６７，０９
２号（１９８７年５月１９日発行）に記載されている。
イシハラ特許には、ブロック面を有する画像記憶ブロッ
クを含む固体撮像素子が開示される。ブロック面に沿っ
て複数の記憶要素が埋設され、イメージを電荷の形で記
憶する。被覆層を設けることにより、この記憶要素に一
致する光学レンズのアレイが形成される。ブロック面と
被覆層との間には中間層が設けられる。入射光は、レン
ズ及び中間層を通過して記憶要素に収束する。中間層
は、焦点距離を調整する調整層として機能する。

【００２０】図３は、インターライン型固体撮像素子の
断面図である。小型レンズ５１を設けない場合、フォト
サイトの各感光領域５５に関連する信号読出し領域によ
り半導体基板の全体領域を光電トランスデューサ領域と
して使用することができなくなる。従来の固体撮像素子
は、その入射光のすべてを有効に利用できないために感
度が低い。フォトサイトの頂部に樹脂性小型レンズ５１
をさらに設けることにより、フォトサイトの光活性領域
に入射光線を収束させることができ、よって、入射光線
をより効果的に利用できるとともに、フォトサイトの感
度を高めることができる。したがって、小型レンズ５１
の大きさと効率の少なくともいずれかを変えることによ
り、フォトサイトの感度（利得）を簡単に変更できる。
よって、インターライン型素子及びＣＭＯＳセンサに対
し、フォトサイトの利得を変更する好ましい方法は、フ
ォトサイトの頂部に設けた小型レンズ５１を変更する方
法である。図３に示すように、位置５２にはレンズを設
けていないので、感光領域に関して入射する入射光線は
より少なくなる。あるいは、小型レンズ５１とは半径、
形状、大きさまたは材料の異なるレンズを位置５２に設
けることにより、位置５２においては入射光線が感光領
域５５に収束する効率を小型レンズ５１に比べて低くす
ることもできる。当業者であれば、小型レンズ５１が入
射光線の８０％を感光領域５５に収束し、レンズを設け
ない（または応答の遅いレンズを有する）位置５２では
入射光線の２０％が感光領域５５に入射可能である場
合、小型レンズ５１に被覆されるフォトサイトは、位置
５２に比べ２ストップ応答が速いことが理解できよう。
この場合、小型レンズ５１は高速応答フォトサイトに対
して用いられ、位置５２で表される低速応答フォトサイ
トにはレンズが使用されない。

【００２１】図４は、フルフレーム型撮像素子１０の断
面図である。撮像素子１０がフルフレーム型素子の場
合、フォトサイトの感光領域５５に入射する光線は、通
常金属性の光遮断層の開口を通過しなければならない。
図４の断面図に示される光遮断層は、光ブロックマスク
部５４と、この光ブロックマスク部の間に散在する大型
及び小型開口とを含む。好ましい実施形態においては、
フォトサイトの利得は、光ブロックマスク部５４の修正
により変更できる。この場合、フォトサイトの感度は、
光ブロックマスク部５４の開口に直接関連する。例え
ば、第２フォトサイトの開口の大きさの５０％の開口を
備えるフォトサイトは、第２フォトサイトに対して５０
％の応答を有する。例えば、光ブロックマスク部５４の
大型開口５６は、このフォトサイトに入射する光線の８
０％を通過させることができるが、小型開口５７は、入
射光線の２０％しか通過させることができない。当業者
であれば、大型開口５６を備えたフォトサイトは、小型
開口５７を備えたフォトサイトに比べて２ストップ応答
が速いことが理解できよう。この場合、大きな開口５６
は高速応答フォトサイトに使用され、小さい開口５７は
低速応答フォトサイトに使用される。したがって、光ブ
ロックマスクの開口を修正することにより、選択された
フォトサイトの応答を調整できる。イーストマンコダッ
ク社は、全画素の画素活性領域を約８０％から２０％に
低減する（センサが水平方向及び垂直方向に１／２画素
間隔だけ移動し、４画像が撮影されるディザードスキャ
ナアプリケーションの場合）金属マスク光遮断層を備え
るフルフレーム型撮像素子を製造している。このよう
に、上記手法は、開口サイズは異なるが、このようなマ
スク技術を利用し、イメージ光に対して異なる応答を有
するイメージセンサを提供する。

【００２２】好ましい実施形態においては、図５にグラ
フで示すように、選択された低速応答フォトサイトの応
答は、同じ露光に対する高速応答フォトサイトの応答の
Ｘ％（Ｘ≦１００）である。好ましい実施形態では、選
択されたフォトサイトは、高速応答フォトサイトに対し
て２ストップ（−ｌｏｇＸ／１００）遅れた応答を有
し、この結果Ｘ＝２５となる。このように、撮像素子１
０はフォトサイトの複数のセット、すなわち高速応答フ
ォトサイトと低速応答フォトサイトから構成される。高
速応答フォトサイトの出力応答の集合体が、速いイメー
ジ、すなわち高速応答フォトサイトにより撮像したシー
ンの散在的にサンプリングされたイメージを形成する。
同様に、低速応答フォトサイトの出力応答の集合体が、
遅いイメージ、すなわち低速応答フォトサイトにより撮
像したシーンの散在的にサンプリングされたイメージを
形成する。

【００２３】別の例としては、選択した低速応答フォト
サイトの応答を、フォトサイトを被覆する中性フィルタ
により遅らせることができる。図６は、カラーフィルタ
アレイ５３を備える撮像素子の断面図である。カラーフ
ィルタアレイ５３ａは赤、５３ｂは緑、５３ｃは赤、５
３ｄは緑である。中性フィルタ層５８がカラーフィルタ
アレイ５３の上部に設けられるが、ここで中性フィルタ
の層５８及びカラーフィルタアレイ５３の位置関係は問
題ではない。中性フィルタ５９によって示されるよう
に、中性フィルタ層５８は、選択されたフォトサイトの
位置においてのみ中性フィルタを含む。この場合では、
中性フィルタ層５８は、高速応答フォトサイトに対して
は透明またはほぼ透明であり、低速応答フォトサイトに
対して中性フィルタ５９を含む。例えば、中性フィルタ
５９がＸ％の光を透過できる材料から構成される場合、
その低速応答フォトサイトの応答は、高速応答フォトサ
イトの応答に対して、−ｌｏｇ_２（Ｘ／１００）ストッ
プだけ遅くなる。

【００２４】好ましい実施形態においては、撮像素子の
フォトサイトの５０％が遅い応答を持つべく選択され
る。当業者であれば、遅い応答を有するフォトサイトの
割合を変更しても本発明の効果が得られることが理解で
きよう。全フォトサイトのスペクトル感度がほぼ同じで
ある撮像素子１０（パンクロマティック（全整色性）撮
像素子）の場合、撮像素子１０の全フォトサイトの約５
０％となる低速応答フォトサイトの配置が図７（Ａ）に
示されている。図において、応答の遅いフォトサイト２
８にはアスタリスク（＊）が付けられ、応答の速いフォ
トサイト３０は無地で示されている。散在的にサンプリ
ングされたディジタルイメージを、カラーフィルタアレ
イを有する撮像素子により撮像したイメージであるとあ
らかじめ定義した。本発明によれば、散在的にサンプリ
ングされたとは、高速応答フォトサイトと低速応答フォ
トサイトが散在した、図７（Ａ）に示すようなイメージ
センサにより生成されたイメージのことも指す。

【００２５】図７（Ｂ）には、各フォトサイトタイプ
（赤、緑、または青に反応する）の５０％が遅い応答を
有するカラーイメージセンサの構成が示されている。例
えば、フォトサイト３２，３４及び３６はそれぞれ応答
の遅い赤、緑及び青のフォトサイトであり、フォトサイ
ト３８，４０及び４２はそれぞれ応答の速い赤、緑及び
青のフォトサイトである。

【００２６】図７（Ａ）及び７（Ｂ）には、低速応答フ
ォトサイトの配置の規則的なパタンが示されている。低
速応答フォトサイトが規則的なパターンに配置されるこ
とは好ましいが、これは絶対要件ではない。低速応答フ
ォトサイトを撮像素子１０の表面全体にランダムまたは
ややランダムに配置することもできる。

【００２７】再び図５を参照すると、図５は特定の露光
に対する高速応答フォトサイトの応答及び同じ露光に対
する低速応答フォトサイトの応答を示している。なお、
ノイズのレベルｎが応答に重畳されている場合、高速応
答フォトサイトは、低速応答フォトサイト（露光レベル
１００／Ｘ・Ｅで始まる有効信号を生じる）よりも低い
露光（露光レベルＥで始まる）で有効信号を生じること
がはっきり見られる。あるいは、低速応答フォトサイト
からのデータは、高速応答フォトサイト（Ｅ２ ^Ｓの露光
までの有効応答を生成する）よりも高い露光レベル（１
００／Ｘ・Ｅ２ ^Ｓまでの信号レベル。なお、Ｓは単一フ
ォトサイトの固有ダイナミックレンジであり、通常約５
ストップでもよい）に対して有効である。高速応答フォ
トサイトと低速応答フォトサイトのいずれもが露光スト
ップ（stop of exposures）（Ｓ）において同じ応答範
囲を有するが、図５に示すように、低速応答フォトサイ
トの応答は、高速応答フォトサイトより好ましくは−ｌ
ｏｇ_２（Ｘ／１００）ストップだけ遅い。高速応答フォ
トサイトと低速応答フォトサイトの応答は露光に関して
重複することが好ましい。すなわち、−ｌｏｇ_２（Ｘ／
１００）＜Ｓであることが好ましい。高速応答フォトサ
イトと低速応答フォトサイトのいずれをも考慮すると、
撮像素子１０の全体的なダイナミックレンジは、Ｓ−ｌ
ｏｇ_２（Ｘ／１００）である。好ましい実施形態の場合
には、Ｓ＝５、Ｘ＝２５であるので、撮像素子１０の有
効ダイナミックレンジは、７露光ストップである。

【００２８】図２に示すＤＲＥＦＡプロセッサ２２をさ
らに詳細に説明する。ＤＲＥＦＡプロセッサ２２の目的
は、高速応答フォトサイトと低速応答フォトサイトの光
応答（photoresponse）における差を補償しながら入力
されたノイズ低減イメージ信号を処理することにより、
ダイナミックレンジの拡大したイメージ信号を作成する
ことである。したがって、ＤＲＥＦＡプロセッサ２２の
出力は、数値の増大したダイナミックレンジを有する拡
張したイメージ信号である。この拡張イメージ信号は、
ＣＦＡ補間器２６に入力され、前述のように処理され
る。

【００２９】Ａ／Ｄ変換器１４、ノイズ低減モジュール
２１０及びＤＲＥＦＡプロセッサ２２が直接接続される
ことは本発明の要件ではない。ＤＲＥＦＡプロセッサ２
２は、Ａ／Ｄ変換器１４及び撮像素子１０に近接するハ
ードウェアまたはソフトウェアに設けてもよい。例え
ば、ＤＲＥＦＡプロセッサ２２をディジタルカメラ内部
に直接設けてもよい。逆に、ＤＲＥＦＡプロセッサ２２
を撮像素子１０から隔離して設けてもよい。例えば、Ａ
／Ｄ変換器１４から出力されたイメージ信号を（圧縮後
に）有線または無線接続でパーソナルコンピュータデバ
イス、プリンタ、またはリモートサーバに送信し、ノイ
ズ低減モジュール２１０及びＤＲＥＦＡプロセッサ２２
に供給することもできる。イメージ信号の送信には、フ
ァイル転送プロトコルまたはＥメールを含んでもよい。
さらに、クレジットカードまたはその他の手段による支
払いを、ノイズ低減モジュール２１０及びＤＲＥＦＡプ
ロセッサ２２によりユーザから要求してもよい。

【００３０】好ましい実施形態においては、撮像素子の
フォトサイトの５０％が遅い応答を持つべく選択され
る。当業者であれば、遅い応答を有するフォトサイトの
割合を変更しても本発明の効果が得られることが理解で
きよう。全フォトサイトのスペクトル感度がほぼ同じで
ある撮像素子１０（パンクロマティック（全整色性）撮
像素子）の場合、撮像素子１０の全フォトサイトの約５
０％となる、低速応答フォトサイトの配置が図７（Ａ）
に示されている。図において、応答の遅いフォトサイト
２８にはアスタリスク（＊）が付けられ、応答の速いフ
ォトサイト３０は無地で示されている。散在的にサンプ
リングされたディジタルイメージを、カラーフィルタア
レイを有する撮像素子により撮像したイメージであると
予め定義した。本発明によれば、散在的にサンプリング
されたとは、高速応答フォトサイトと低速応答フォトサ
イトが散在した、図７（Ａ）に示すようなイメージセン
サにより生成されたイメージのことも指す。

【００３１】図７（Ｂ）には、各フォトサイトタイプ
（赤、緑、または青に反応する）の５０％が遅い応答を
有するカラーイメージセンサの構成が示されている。例
えば、フォトサイト３２，３４及び３６はそれぞれ応答
の遅い赤、緑及び青のフォトサイトであり、フォトサイ
ト３８，４０及び４２はそれぞれ、応答の速い赤、緑及
び青のフォトサイトである。

【００３２】図７（Ａ）及び７（Ｂ）には、低速応答フ
ォトサイトの配置の規則的なパターンが示されている。
低速応答フォトサイトが規則的なパターンに配置される
ことは好ましいが、これは絶対要件ではない。低速応答
フォトサイトを撮像素子１０の表面全体にランダムまた
はややランダムに配置することもでき、これらの位置が
ＤＲＥＦＡプロセッサ２２にアクセス可能な場所に記憶
される。

【００３３】ＤＲＥＦＡプロセッサ２２を利用して、本
発明で生成されるディジタルイメージの全体的なダイナ
ミックレンジを拡張してもよい。これは、低速応答フォ
トサイトに対応する画素値を使用し、きわめて高い露光
に対応する領域においてイメージ信号を再構成すること
により行われる。同様に、ＤＲＥＦＡプロセッサ２２
は、応答の速いフォトサイトに対応する画素値を用い
て、きわめて低い露光に対応するイメージ信号を再構成
する。

【００３４】図８は、ＤＲＥＦＡプロセッサ２２のブロ
ック図である。Ａ／Ｄ変換器１４から出力される対数イ
メージ信号ｂ（ｘ、ｙ）は、低速応答画素(以下、低速
画素と呼ぶ）等価器（slow pixel equalizer）４４に送
られる。低速画素等価器４４の目的は、応答におけるＸ
ストップのオフセットを考慮して低速応答フォトサイト
に対応するイメージ信号を補償することである。あるい
は、高速応答画素(以下、高速画素と呼ぶ）を反対方向
に調節することにより、高速画素を低速画素に等価する
ことができる。好ましい実施形態においては、低速応答
フォトサイトに対応するイメージ信号は、量−ｃｖｓｌ
ｏｇ（Ｘ／１００）（ｃｖｓは露光のストップ当たりの
符号値数）だけインクリメントされる。好ましい実施形
態においては、量ｃｖｓは５１である。あるいは、低速
画素等価器４４に入力されるイメージ信号が露光に対し
て（対数的でなく）線形の関係であれば、低速画素等価
器４４は低速応答フォトサイトに対応するイメージ信号
を１００／Ｘ倍する。なお、低速応答フォトサイトの位
置は低速画素等価器４４に知られていると仮定する。低
速画素等価器４４の出力は、低速応答フォトサイトの対
応位置にて高速応答フォトサイト応答に対する低速応答
フォトサイト応答の差を補償したイメージ信号ｉ（ｘ，
ｙ）である。高速応答フォトサイトの対応位置において
は、Ａ／Ｄ変換器１４から出力されたイメージ信号ｂ
（ｘ，ｙ）の値は、低速画素等価器４４から出力された
イメージ信号ｉ（ｘ，ｙ）と同値である。なお、イメー
ジ信号ｉ（ｘ，ｙ）は８ビットの範囲に制限されない。
好ましい実施形態では、ｉ（ｘ，ｙ）の値は０から３５
７（すなわち９ビット）の範囲である。

【００３５】次に、低速画素等価器４４から出力された
イメージ信号ｉ（ｘ，ｙ）は、低速画素閾値部（thresh
older）４６に入力される。低速画素閾値部４６の目的
は、有効な信号を生成するための十分な光子を入力して
いないフォトサイトに起因する、質の低い低速画素値を
判定することである。続いて、信号拡張器５０にて実行
される処理において、これら（ｘ，ｙ）位置における画
素値を、新しい画素値を付近の高速画素値に基づいて計
算することにより置換える。所定の閾値未満の低速画素
値はすべて、問題画素値であると考えられる。低速画素
値の場合、この所定閾値を低露光応答閾値と呼ぶ。した
がって、ある画素値ｉ（ｘ，ｙ）は、低速応答フォトサ
イトでかつ次式を満たせば問題画素値とみなされる。

【００３６】

【数２】ｉ（ｘ，ｙ）＜Ｔ_１ ここで、Ｔ_１は予め定められている。好ましい実施形態
においては、Ｔ_１の値は次式により与えられ、

【数３】 Ｔ_１ ＝ −ｃｖｓ ｌｏｇ_２（Ｘ／１００） 好ましい実施形態では、値１０２に設定される。なお、
閾値Ｔ_１は、位置（ｘ，ｙ）におけるフォトサイトの色
感度に依存してもよい。問題低速画素値はノイズ画素を
呼ばれる。これは，ｉ（ｘ，ｙ）の値が、有効な撮像素
子のノイズレベルを十分に上回っていないためである。

【００３７】同様に、低速画素等価器４４から出力され
たイメージ信号ｉ（ｘ，ｙ）は、高速画素閾値部４８に
入力される。高速画素閾値部４８の目的は、質の低い高
速画素を決定することである。これらの位置における画
素値は、以下に詳細に説明する信号拡張器５０により実
行される処理において、付近の低速画素値に基づき新し
い画素値を計算することにより置換される。所定閾値よ
り大きい高速画素値がすべて問題画素と考えられる。高
速画素の場合、問題高速画素の検出目的で使用されるこ
の所定閾値を高露光応答閾値と呼ぶ。よって、次式を満
たせば高速画素値ｉ（ｘ，ｙ）は問題画素値とみなされ
る。

【００３８】

【数４】ｉ（ｘ，ｙ）＞Ｔ_２ ここで、Ｔ_２は所定閾値である。好ましい実施形態で
は、Ｔ_２の値は２５４に設定される。なお、閾値Ｔ_２は
位置（ｘ，ｙ）におけるフォトサイトの色に依存しても
よい。問題位置である高速応答フォトサイトは飽和画素
と呼ばれる。これはｉ（ｘ，ｙ）の値がこれらの位置に
おいて最大限に高いためである。

【００３９】低速画素閾値部４６により決定した問題低
速画素の（ｘ，ｙ）位置及び高速画素閾値部４８により
決定した問題高速画素の（ｘ，ｙ）位置が、信号拡張器
５０に入力される。さらに、低速画素等価器４４から出
力されたイメージ信号ｉ（ｘ，ｙ）も信号拡張器５０に
入力される。撮像素子１０の各フォトサイトの固有ダイ
ナミックレンジがより大きければ、信号拡張器５０の目
的は問題位置（ｘ，ｙ）におけるイメージ信号ｉ（ｘ，
ｙ）を、ここで置換値と呼ぶ信号の予想値と置換するこ
とである。問題位置が低速応答フォトサイトに一致すれ
ば、置換値は、高速応答フォトサイトに一致する近接イ
メージ信号画素値から計算する。この実施形態では、
「近接」という用語はある空間的な距離を意味する。好ま
しい実施形態では、選択されたフォトサイトの近接フォ
トサイトとは、この選択されたフォトサイトから２フォ
トサイト分の距離範囲にあるフォトサイトである。同様
に、問題位置が高速応答フォトサイトに一致する場合に
は、低速応答フォトサイトに一致する近接イメージ信号
値から置換値を計算する。好ましい実施形態において
は、問題フォトサイトにおけるフォトサイトの色も考慮
される。任意の問題位置に対する置換値は、好ましく
は、同色の近接フォトサイトから発生する信号によって
のみ決定する。信号拡張器５０から出力されるイメージ
信号ｉ’（ｘ，ｙ）は、撮像素子１０の各フォトサイト
に対する実際の固有ダイナミックレンジＳではなく、次
式のダイナミックレンジを有するフォトサイトを備えた
撮像素子１０により捉えた場合のダイナミックレンジを
有する。

【００４０】

【数５】Ｓ＝−ｌｏｇ_２（Ｘ／１００） なお、問題位置ではない（ｘ，ｙ）位置すべてについて
は、ｉ’（ｘ，ｙ）の値はｉ（ｘ，ｙ）と同値である。

【００４１】図７（Ｂ）に示されるバイヤーのＣＦＡパ
ターンに対し信号拡張器５０が実行する処理の一例を説
明する。位置（ｘ，ｙ）が問題位置であり、かつ（ｘ，
ｙ）が緑のフォトサイト(図７（Ｂ）におけるフォトサ
イト３４など）の対応位置である場合、イメージ信号ｉ
（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は、次の方法
で計算する。

【００４２】

【数６】ｉ’（ｘ，ｙ）＝０．２５＊［ｉ（ｘ−１，ｙ
−１）+ｉ（ｘ+１，ｙ-1）+ｉ（ｘ-1，ｙ+1）+ｉ（ｘ+
1，ｙ+1）］ なお、ｉ’（ｘ，ｙ）の計算が依存する信号値は、特定
要件を満たしていることが期待される。例えば、（ｘ，
ｙ）が問題位置であり、かつ（ｘ，ｙ）が応答の遅い緑
のフォトサイトに対応しているとする。この場合、近接
フォトサイトの信号レベルを用いて置換値ｉ’（ｘ，
ｙ）を計算する。しかしながら、これは各近接フォトサ
イトの信号値がＴ_３未満であることを仮定している。好
ましい実施形態においては、Ｔ_３＝Ｔ_１である。信号値
がＴ_３未満ではない各近隣フォトサイトの信号レベル
は、置換値ｉ’（ｘ，ｙ）の計算から省く。例えば、ｉ
（ｘ−１，ｙ−１）＞Ｔ_３の場合には、ｉ’（ｘ，ｙ）
の値は次式により計算する。

【００４３】

【数７】ｉ’（ｘ，ｙ）＝１／３＊［ｉ（ｘ+１，ｙ-
1）+ｉ（ｘ-1，ｙ+1）+ｉ（ｘ+1，ｙ+1）］ 一般に、問題位置（ｘ，ｙ）における置換値を求めるた
めの補間スキームは、この位置（ｘ，ｙ）がバイヤーパ
ターンのフィルタアレイを有する撮像素子における高速
応答フォトサイトである緑のフォトサイトに対応する場
合、次式により与えられる。

【００４４】

【数８】 ここで、

【数９】 なお、問題位置が低速応答フォトサイトである緑のフォ
トサイトに対応する場合の置換値を求める際にも同一の
式が適用される。しかしながら、この場合には、

【数１０】 ここで、好ましい実施形態では、Ｔ_４＝Ｔ_２である。

【００４５】同じく図７（Ｂ）に示されるバイヤーのＣ
ＦＡパターンに関する別の例として、位置ｉ（ｘ，ｙ）
が問題フォトサイトであり、かつ（ｘ，ｙ）が赤または
緑のフォトサイトの位置に対応する場合、イメージ信号
ｉ（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は以下の方
法で計算される。

【００４６】

【数１１】ｉ’（ｘ，ｙ）＝０．２５＊［ｉ（ｘ−２，
ｙ）+ｉ（ｘ+２，ｙ）+ｉ（ｘ，ｙ+２）+ｉ（ｘ，ｙ−
２）］ 位置（ｘ，ｙ）が赤または青のフォトサイトに対応し、
かつ高速応答フォトサイトであれば、置換値ｉ’（ｘ，
ｙ）を求める式を以下のように一般化してもよい。

【００４７】

【数１２】 ここで、

【数１３】 なお、この場合、ｊとｋのいずれかが０でなければなら
ないが、ｊとｋのいずれもが０ではならない。また、問
題位置が低速応答フォトサイトである赤または青のフォ
トサイトに対応する場合の置換値を求める際にも同一の
式が適用される。しかしながら、この場合には、

【数１４】 ここで、好ましい実施形態においては、Ｔ_４＝Ｔ_２であ
る。

【００４８】１つ以上の散在的にサンプリングされたイ
メージ信号からダイナミックレンジが拡張したイメージ
信号を生成するための上記補間スキームは、当業者によ
る修正が可能である。上記の補間スキームに対して多く
の修正が得られるが、これらの修正は本発明から相当程
度に逸脱していると考えるべきではない。

【００４９】当業者であれば、信号拡張器により実行さ
れる上記補間スキームが、当業界で周知のローパスフィ
ルタであることがわかるであろう。通常、イメージ信号
にローパスフィルタを適用することは、イメージ信号の
解像度を低減するのと同様の作用がある。ＤＲＥＦＡプ
ロセッサ２２により実行される処理は、撮像素子１０の
空間解像度と引き換えに、撮像素子１０のダイナミック
レンジを得ることのできる方法である。実際に、この補
間スキームを実施して信号のダイナミックレンジを拡大
したイメージの領域は、イメージの同領域をセンサによ
り(低速画素閾値部４６と高速画素閾値部４８により決
定するような）「問題位置」がまったく発生しないよう
に撮像した場合に比べ、明らかによりソフトに(より鋭
さがなく）見える。

【００５０】本発明では、イメージ信号に対してＤＲＥ
ＦＡプロセッサ２２及びＣＦＡ補間器２６を使用する前
に、ノイズ低減プロセッサ２１０によりこのイメージ信
号からノイズを除去する。補間処理に先立つノイズ低減
処理は、本発明の重要な効果である。特に、補間処理は
イメージ信号に存在するノイズを増幅する可能性があ
る。したがって、補間の前にノイズ低減処理を行う結
果、これら２つの処理モジュールの順序が逆である場合
に比べ、よりノイズの少ない、処理されたディジタルイ
メージを得ることができる。本発明の別の重要な側面
は、信号依存型のノイズ低減を取り入れたことである。
この方法を用いることにより、ノイズ特性の異なるイメ
ージ信号の画素に対するノイズ低減方法が最適化され
る。

【００５１】本発明の好ましい実施形態では、前出の雑
誌記事"Digital Image Smoothing and the Sigma Filte
r"(Computer Vison, Graphics,and Image Processing,
vol.24,1983,pp.255-269)に記載のジョンセンリー（Jon
g-Sen Lee）によるシグマフィルタの修正バージョンを
用いて、イメージ信号からノイズを除去する。局所的に
近接する画素、すなわちｎｘｎの画素（ｎは行または列
のいずれかの方向における画素の長さ）に含まれる画素
値を、中心画素すなわち関心画素の値と比較する。局所
的に隣接する各画素には、関心画素値とその局所近接画
素値との絶対差に基づき１または０の重み付け係数が与
えられる。画素値の差の絶対値が閾値ε以下であれば、
重み付け係数は１に設定される。それ以外の場合には重
み付け係数を０に設定する。数値定数εは、予想される
ノイズ標準偏差の２倍に設定される。数学的には、ノイ
ズ低減した画素値の計算式は次式により与えられる。

【００５２】

【数１５】 さらに、

【数１６】 ここで、ｐ_ｍｎは局所的に近接する画素に含まれるｍｎ
番目の画素を表し、ｐ_{ｉ ｊ}は行ｉ及び列ｊに位置する関
心画素の値を表し、ａ_ｍｎは重み付け係数を表し、ｑ
_ｉｊはノイズを低減した画素値を表し、εはノイズ低減
フィルタの閾値変数を表す。変数δ_ｍｎｉｊは、中心画
素ｐ_ｉｊ及び画素ｐ_ｍｎに関連する対応フォトサイトの
タイプに応じて０．０と１．０のいずれかである係数で
ある。例えば、画素ｐ_ｉｊ及び画素ｐ_ｍｎのいずれもが
同じタイプのフォトサイト、すなわち光に対するスペク
トル感度が同一であり、光の大きさに対して応答が同じ
であるフォトサイトに対応する場合、δ_ｍｎｉｊの値は
１．０である。一方、画素ｐ_{ｉ ｊ}及び画素ｐ_ｍｎが光に
対するスペクトル感度が異なる、または光の大きさに対
する応答が異なるフォトサイトに対応している場合に
は、δ_ｍｎｉｊの値は０．０である。したがって、ノイ
ズを低減した画素値ｑ_ｉｊは、同一のノイズ特性を有す
る画素の小さい局所近隣領域内の画素値から計算する。
よって、本発明によれば、低速応答フォトサイトに対応
する画素のみを用いて、低速応答フォトサイトに対応す
る画素のノイズ低減した画素値を計算する。同様に、高
速応答フォトサイトに対応する画素のノイズ低減した画
素値を計算するには、高速応答フォトサイトに対応する
画素のみを使用する。

【００５３】一般に、撮像素子１０のフォトサイトのタ
イプが異なればノイズ特性も異なる。すなわち、２つの
フォトサイトは、光に対するスペクトル感度または絶対
光強度のいずれかが異なれば、そのノイズ特性も異な
る。本発明の信号依存型ノイズ特性は、次式（１７）に
より与えられるεの式に組込まれる。

【００５４】

【数１７】 ε＝Ｓｆａｃσ_ｎ（ｐ_ｉｊ） （１７） ここで、σ_ｎは、中心画素値ｐ_ｉｊ（すなわち関心画
素）において求めた、イメージ信号のノイズ標準偏差を
表す。パラメータＳｆａｃを使用し、ノイズ低減の程度
を変えることができる。Ｓｆａｃとεの変数はいずれも
ノイズ調整パラメータの例である。次に、２つの和の除
法（division）として、ノイズ低減した画素値の計算を
行う。この処理を、イメージ信号に含まれる全画素に対
して行い、ノイズ低減した画素値をイメージ信号画素値
と置き換える。

【００５５】リーによるシグマフィルタは、本発明で使
用できる画素差フィルタの一例である。画素差フィルタ
の中心側面は、関心画素を中心とした局所的近接画素に
おける画素値に基づきノイズ低減した画素値を計算する
空間フィルタであり、各局所画素の影響力は、その局所
画素値と、局所近接画素から求めた基準数値との差に基
づく。本発明の好ましい実施形態では、関心画素の値を
基準数値として使用する。局所近接画素における画素の
平均など、他の値を基準数値として使用することもでき
る。

【００５６】画素差フィルタの別の例は、Ｄ．Ｃ．Ｃワ
ン他による反転グラジエントフィルタ（Inverse Gradie
nt Filter）（Gradient Inverse Weighted Smoothing S
cheme and the Evaluation of its Performance、 Compu
ter Graphics and Image Processing Vol.15,p.167-18
1,1981）である。このアルゴリズムでは、中心画素の周
囲の矩形サンプリング領域から局所画素値の非線形の重
みを取ることにより、ノイズ低減したイメージを生成す
る。重み付け係数は、中心画素と周辺画素値との大きさ
の差に基づいている。

【００５７】本発明は、イメージ信号のノイズ特性に依
存しないノイズ低減方法により実施が可能である。本発
明の別の実施形態においては、メジアンフィルタを使用
してノイズ低減された画素値を計算する。上記の好まし
い実施形態と同様に、この別の実施形態においても、低
速応答フォトサイトに対応する画素だけを使用して、低
速応答フォトサイトに対する画素のノイズ低減画素値を
計算し、高速応答フォトサイトに対応する画素のみを使
用して高速応答フォトサイトに対応する画素のノイズ低
減した画素値を計算する。

【００５８】本発明では、低速応答フォトサイト及び高
速応答フォトサイトにそれぞれ対応する低速画素値と高
速画素値に対し、別々のノイズ特性テーブルを使用して
いる。表（１）は、低速画素と高速画素のいずれかに使
用できるノイズ特性テーブルの一例である。本発明の実
施においては、低速画素と高速画素に対し、異なるノイ
ズテーブルを使用できる。式（１７）の標準偏差変数σ
_ｎ（）は、赤、緑、青の画素に対して異なる値を想定し
ている。各画素タイプに対してエントリを１つだけ有す
るノイズ特性テーブルにより、本発明を実施することも
可能である。これは、信号依存型の場合である。

【００５９】

【表１】 当業者であれば、標準偏差値の表以外の特性を必要とす
る、他のノイズ低減方法によっても本発明を実施可能で
あることが理解できるだろう。

【００６０】

【発明の効果】本発明の重要な効果は、ダイナミックレ
ンジが拡張された撮像素子に使用される異なるタイプの
フォトサイトに関連する各タイプの画素に対し最適化さ
れた、ノイズ低減方法を使用することである。

【００６１】本発明の更なる効果は、補間処理ステップ
に先立ちノイズ除去処理ステップを行う、処理ステップ
の順序に関する。本発明により処理されたディジタルイ
メージは、これら２つの処理ステップの順序が逆の場合
に比べてノイズがより少ない。

【００６２】本発明のさらに別の効果は、ノイズ特性の
異なるイメージ信号の画素に対するノイズ低減方法を最
適化するための、信号依存型ノイズ低減方法を取り入れ
たことである。

【図面の簡単な説明】

【図１】 本発明による拡張ダイナミックレンジ撮像素
子及びディジタルイメージプロセッサを使用したディジ
タル撮像システムのブロック図である。

【図２】 ディジタルイメージプロセッサの機能ブロッ
ク図である。。

【図３】 選択されたフォトサイトの応答を変える小型
レンズアレイを用いた、インターライン型イメージセン
サの断面図である。

【図４】 選択されたフォトサイトの応答を変える金属
マスクを用いた、フルフレーム型イメージセンサの断面
図である。

【図５】 高速応答フォトサイト及び低速応答フォトサ
イトの応答を示したグラフである。

【図６】 選択されたフォトサイトの応答を変えるため
に使用される中性密度フィルタアレイを用いたイメージ
センサの断面図である。

【図７】 （Ａ）はパンクロマティック撮像素子におけ
る低速応答フォトサイトと高速応答フォトサイトの配置
を示す図であり、（Ｂ）はカラー撮像素子における低速
応答フォトサイトと高速応答フォトサイトの配置を示す
図である。

【図８】 ダイナミックレンジ拡張フィルタアレイ（Ｄ
ＲＥＦＡ)プロセッサのブロック図である。

【符号の説明】

１ レンズ、６ 光ローパスフィルタ、１０ 撮像素
子、１４ Ａ／Ｄ変換器、２２ ＤＲＥＦＡ プロセッ
サ、２６ ＣＦＡ補間器、２８ 低速応答フォトサイ
ト、３０ 高速応答フォトサイト、３２ 赤の低速応答
フォトサイト、３４緑の低速応答フォトサイト、３６
青の低速応答フォトサイト、３８ 赤の高速応答フォト
サイト、４０ 緑の高速応答フォトサイト、４２ 青の
高速応答フォトサイト、４４ 低速画素等価器、４６
低速画素閾値部、４８ 高速画素閾値部、５０ 信号拡
張器、５１ 小型レンズ、５２ 低速応答フォトサイト
位置、５３ａ−ｄ カラーフィルタアレイ、５４ 光ブ
ロックマスク部分、５５ 感光領域、５６ 大型開口、
５７ 小型開口、５８ 中性フィルタ層、５９ 中性フ
ィルタ、２００ ディジタルイメージプロセッサ、２１
０ 散在的にサンプリングされた拡張ダイナミックレン
ジディジタルイメージ、２０２ ノイズ低減したディジ
タルイメージ、２１０ ノイズ低減プロセッサ。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C021 PA78 XB07 YA01 5C024 CX03 CX43 EX43 EX52 GY04 GY31

Claims (1)

【特許請求の範囲】
1. 【請求項１】 光の露出に対して所定の応答を有し高速
   応答画素値を生成する高速応答フォトサイトと、同じ光
   の露出に対しより遅い応答を有し低速応答画素値を生成
   する低速応答フォトサイトとを備える撮像素子により生
   成された、散在的にサンプリングされた拡張ダイナミッ
   クレンジイメージからノイズを除去する方法であって、 ａ）高速及び低速応答画素値を有する、散在的にサンプ
   リングされた拡張ダイナミックレンジディジタルイメー
   ジを生成するステップと、 ｂ）ノイズフィルタ方法を使用し、低速応答画素値のみ
   を用いてノイズ低減した低速応答画素値を生成すると共
   に高速応答画素値のみを用いてノイズ低減した高速応答
   画素値を生成して、前記散在的にサンプリングされた拡
   張ダイナミックレンジディジタルイメージからノイズを
   除去するステップと、 ｃ）前記ノイズ低減した低速応答画素値と前記ノイズ低
   減した高速応答画素値とを組み合わせてノイズ低減した
   散在的にサンプリングされたディジタルイメージを生成
   するステップと、 を備えることを特徴とする方法。