JP2002064754A

JP2002064754A - 撮像装置の有効ダイナミックレンジを拡張する方法及び装置

Info

Publication number: JP2002064754A
Application number: JP2001211997A
Authority: JP
Inventors: Andrew C Gallagher; シーギャラガーアンドルー; David Newell Nichols; ニューウェルニコルズデイヴィッド
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2000-07-13
Filing date: 2001-07-12
Publication date: 2002-02-28
Also published as: US6909461B1; EP1173010A3; EP1173010A2

Abstract

(57)【要約】【課題】１つの撮像装置により供給される１つの画像信
号から有効ダイナミックレンジの拡張された画像信号を
発生させる画像取得システムを提供する。【解決手段】露光に対して予め決められた応答の標準撮
像部位、及び同じ露光に対して標準撮像部位より遅い応
答の非標準撮像部位を有する撮像装置を利用して、撮像
素子によって供給される信号から、拡張された有効ダイ
ナミックレンジを発生させる。光学部分は画像光に対し
て撮像装置を露出し、撮像装置に画像信号を発生させ
る。処理部分は、標準撮像部位に隣接する非標準撮像部
位からの画像信号を利用して、増加した露光に対する標
準撮像部位の応答を拡大し、また非標準撮像部位に隣接
する標準撮像部位からの画像信号を利用して、減少した
露光に対する非標準撮像部位の応答を拡大する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的に画像取得
（image capture）の分野、特に撮像装置（imagesensin
g device）の有効ダイナミックレンジを拡張する方法に
関する。

【０００２】

【従来の技術】電荷結合素子（ＣＣＤ）のような撮像装
置は、一般的にデジタルカメラ、スキャナー、及びビデ
オカメラのような製品に見られる。これらの撮像装置
は、従来のネガフィルム（negative film）製品と比較
するとき、非常に制限されたダイナミックレンジを有す
る。典型的な撮像装置は、約５ストップ（stop）のダイ
ナミックレンジを有する。これは、典型的な場面に対す
る露出を、信号のクリッピング（clipping）を避けるた
めに、かなりの正確さで決定しなければならないことを
意味する。加えて、しばしば、景色は多重光源（例、景
色のフロントリット（frontlit）及びバックリット（ba
cklit）部分）の結果として非常に広いダイナミックレ
ンジを有する。広いダイナミックレンジの景色の場合に
は、被写体に対する適切な露出を選択することは、しば
しば、画像の他の部分におけるデータのクリッピングを
必要とする。このように、ハロゲン化銀の媒質に対して
撮像装置の劣ったダイナミックレンジは、撮像装置によ
って得られる画像について、より低い画像品質に帰着す
る。

【０００３】撮像装置のダイナミックレンジの増加は、
デジタルカメラからの画像を再バランスする（rebalanc
e）ことを許容し、より満足な画像の演出を達成する。
また、撮像装置のダイナミックレンジを増加させること
は、通常指定される米国特許第５０１２３３３号のＬｅ
ｅｅｔａｌ．によって記載されるような、画像に対
するより満足なコントラストの改善を可能にする。

【０００４】米国特許第６０４０８５８号（Ｉｋｅｄ
ａ）は、撮像装置の制限されたダイナミックレンジの問
題の完全な記述を提供する。加えてＩｋｅｄａは、各々
が露出に対して異なる応答をする多重画像信号を利用し
て、撮像装置のダイナミックレンジを拡張する方法を記
載する。これらの多重信号を、画像信号の各場所におい
てどの信号が高品質であるかを決定する閾値を使用する
ことによって組み合わせ、拡張されたダイナミックレン
ジを有する画像信号を形成する。Ｉｋｅｄａは、これら
の閾値を各色に対して決定する方法を記載することによ
って、これらの方法を改善する。

【０００５】

【発明が解決しようとする課題】しかしながら、Ｉｋｅ
ｄａを含むこれらの先行技術の方法は、拡張したダイナ
ミックレンジを有する画像信号を形成するために、多重
画像信号を必要とする。このような多重信号を獲得する
ことは困難を引き起こし得る。例えば、多重画像信号を
同時に取得しない場合には、景色において動いている物
体、又はカメラの動きが、拡張されたダイナミックレン
ジを有する画像信号に人為結果（artifact）を生じる可
能性がある。加えて、画像信号を同時にではあるが別々
の画像取得装置に取得する場合には、一致性の問題が存
在する。さらに、追加のハードウェアが撮像系に望まな
いコストを加える。

【０００６】このように、撮像装置のダイナミックレン
ジを改善するために先行技術の方法を改善する必要性が
存在する。具体的には、１つの撮像装置及び１つの画像
信号で拡張したダイナミックレンジの画像信号を生成す
る必要性が存在する。

【０００７】

【課題を解決するための手段】本発明は、上述の問題の
１つ以上を克服することに向けられる。手短に要約する
と、本発明の１つの様相に従って、画像取得システム
は、露光に対して予め決められた応答をする標準撮像部
位（standard photosite）及び同じ露光に対してより遅
い応答をする非標準撮像部位（non-standard photosit
e）を有する撮像装置を利用して、撮像素子によって供
給される信号から、拡張された有効ダイナミックレンジ
を発生させる。光学部分（optical section）は、画像
光（image light）に対して撮像装置を露出し、それに
よって撮像装置に画像信号を発生させ、処理部分（proc
essing section）は、隣接する非標準撮像部位からの画
像信号を利用して、増加した露光に対する標準撮像部位
の応答を拡大する。さらに処理部分は、隣接する標準撮
像部位からの画像信号を利用して、減少した露光に対す
る非標準撮像部位の応答を拡大する可能性もある。

【０００８】別の側面から本発明は、拡張したダイナミ
ックレンジシステムにおいて有用な画像信号を形成する
ための撮像素子を含む。ここで撮像素子は、標準撮像部
位と非標準撮像部位とに分割された撮像部位のアレイ、
及び撮像部位の上にある構造的要素を含み、標準撮像部
位には露光に対して予め決められた標準的な応答を、非
標準撮像部位には同じ露光に対してより遅い応答を与え
る。この構造的要素は、（ａ）撮像部位の上にある小レ
ンズのアレイ、ここで標準撮像部位の上にある小レンズ
は、非標準撮像部位の上にある小レンズよりも集光にお
いてより効率的であるように組み立てられる、及び
（ｂ）撮像部位の上にある開口を伴う金属マスク、ここ
で標準撮像部位の上にある開口は、非標準撮像部位の上
にある開口よりも大きい、又は（ｃ）撮像部位の上にあ
る濃度フィルター、ここで標準撮像部位の上にある濃度
フィルター部分は、非標準撮像部位の上にある濃度フィ
ルター部分よりも透明である、の形態を取り得る。

【０００９】本発明において、画像取得装置の選択され
た撮像部位が、露出に対して非標準的な応答を有するよ
うに設計される。非標準撮像部位は、一般的に露光に対
して、選択されてない又は標準の撮像部位よりも遅い応
答を有する。本発明の利点は、このような画像取得装置
からの画像信号を処理して、全ての撮像部位のダイナミ
ックレンジを利用する。このように増加したダイナミッ
クレンジを有する画像信号は、飽和した又は雑音レベル
にある撮像部位に隣接する撮像部位の値を内挿すること
によって生成する。

【００１０】

【発明の実施の形態】電子検出器（electronic senso
r）を使用する画像装置（imaging device）は周知であ
るので、本記述は、特に本発明に一致する、装置の部分
を形成する又はより直接的に装置と共同動作（cooperat
ing）する素子に向けられる。ここで必ずしも明確に示
されてない又は記載されてない素子を、当技術で既知の
ものから選択してもよい。ここで使用される場合、画像
という用語は、値の二次元のアレイであることに注意す
ること。画像は、別の画像の二次元のサブセットでもよ
い。

【００１１】図１を参照すると、物体又は景色からの光
は、レンズ２に入射する。光学低域フィルター６は、エ
イリアシングの発生を減少させる為に画像のわずかな不
鮮明化（bluring）を行う。画像は、電荷結合素子（Ｃ
ＣＤ）のような撮像装置１０に映される。ＣＭＯＳ装置
のような他の装置を撮像装置１０として使用してもよい
ことに注意すること。

【００１２】Ａ／Ｄ変換器１４は、撮像装置１０からの
画像信号をデジタル信号に変換する。より具体的には、
Ａ／Ｄ変換器１４は、撮像装置からの線形電圧信号を離
散的なデジタル信号、好ましくは１０ビット信号に変換
する。このように、線形に符号化した値の範囲は、０か
ら１０２３までである。Ａ／Ｄ変換器１４はまた、好ま
しくは、本技術において一般に行われてきたように、線
形１０ビット信号を８ビット対数信号へ変換する処理も
行う。以下の方程式は、１０ビット線形信号ａ（ｘ，
ｙ）を８ビット対数信号ｂ（ｘ，ｙ）：

【００１３】

【数１】へ変換することに使用され、ここで（ｘ，ｙ）は、撮像
装置１０に関連した信号の位置の行と列のインデックス
を示す。（撮像装置の線形応答領域における）各露出の
絞りは、結果として線形信号ａ（ｘ，ｙ）の２倍になる
と、対数的に符号化された信号ｂ（ｘ，ｙ）は５１だけ
の増加になることに注意すること。この場合において、
値５１は露出の絞り毎のコード値（ｃｖｓ）の数を表わ
す。

【００１４】システム制御装置１８は、利用者入力を基
にして、又はＡ／Ｄ変換器１４からの画像信号出力を基
にして、ダイナミックレンジを拡大する必要があるかど
うか（すなわち、処理の“拡大モード”）、又は拡大す
る必要がないかどうか（すなわち処理の“通常モー
ド”）を決定する。次にシステム制御装置１８は、デジ
タル画像信号を、システム制御装置１８が拡大モードに
ある場合はダイナミックレンジ拡張フィルターアレイ
（ＤＲＥＦＡ）処理装置２２に、システム制御装置１８
が通常モードにある場合は色フィルターアレイ（ＣＦ
Ａ）補間器２６に転換する。他にシステム制御装置１８
を常に“拡大モード”であるように製造の時に設定して
もよい。

【００１５】“通常モード”において、システム制御装
置１８は、Ａ／Ｄ変換器からの画像信号出力をＣＦＡ補
間器２６に転換する。ＣＦＡ補間器２６の目的は、デジ
タル画像の各位置に対して色の十分な描写を発生させる
ことである。好ましい実施例において、撮像装置１０
は、感光性素子（photosensitive element）のアレイか
らなる。一般に指定されるＵ．Ｓ．特許第３，９７１，
０６５号のＢａｙｅｒによって記載され、ここでは参照
によって組み込まれるように、各撮像部位は、典型的に
赤色、緑色、又は青色フィルターで覆われる。Ｂａｙｅ
ｒのアレイは、緑色フィルターが撮像部位上にチェッカ
ー盤パターン（checkerboard pattern）に置かれ、赤色
及び青色フィルターを１行ごとに交替でチェッカー盤パ
ターンの隙間を埋めるような、色フィルターのアレイで
ある。これは、赤色又は青色フィルター部位の２倍の緑
色フィルター部位を生じさせる。ここに記載されている
方法は、色フィルターアレイを異なる配置の原色（prim
aries）、異なる数の原色、又は異なる組の原色、に容
易に拡張し得ることに注意すること。このように好まし
い実施例において、各撮像部位は赤色、緑色又は青色の
光に対して高感度である。しかしながら、各撮像部位の
位置における赤色、緑色、及び青色の露出の各々に対す
る露出の値を得ることが望まれる。この記述において、
画像処理の技術においては周知であるように、“赤
色”、“緑色”及び“青色”は、撮像装置１０の原色を
表わす。ＣＦＡ補間器２６は、Ａ／Ｄ変換器１４からの
画像信号から、感光性素子の原色の各々に対する値から
なる内挿した画像信号を発生させる。例えば、特定の撮
像部位が赤色フィルターで覆われる場合、赤色フィルタ
ーが本質的に緑色と青色の光が撮像装置１０に到達する
ことを遮断するために、Ａ／Ｄ変換器１４は、その撮像
部位に対して露光の赤色レベルを出力する。

【００１６】ＣＦＡ補間器２６の動作は、緑色及び青色
の原色の両方に対して赤色の撮像部位に対する露出レベ
ルを決定することである。同様にＣＦＡ補間器２６は、
青色の撮像部位に対する緑色及び赤色の露出レベルも、
緑色の撮像部位に対する赤色及び青色の露出レベルも決
定する。一般的に、ＣＦＡ補間器２６は、撮像部位の露
出の値、及び周囲の撮像部位の値を考慮することで動作
する。一方、全ての通常知られている補間器は、一般に
指定される“Ａｄａｐｔｉｖｅｃｏｌｏｒｐｌａｎｅ
ｉｎｔｅｒｐｏｌａｔｉｏｎｉｎｓｉｎｇｌｅ
ｓｅｎｓｏｒｃｏｌｏｒｅｌｅｃｔｒｏｎｉｃｃａ
ｍｅｒａ”と題するＵ．Ｓ．特許第５，６５２，６２１
号に含まれ、ここでは参照により組み込まれる。この特
許は、各撮像部位の位置にはただ１つのカラー値（colo
r value）であるが、少なくとも３つの異なるカラー値
（color value）を発生させる行及び列に整列したカラ
ーの撮像部位、及び各撮像部位の位置に対するカラー値
を内挿する構造を有することで３つの異なるカラー値を
有するような、撮像素子から得られるデジタル化された
画像信号を処理する為の装置を記載する。その装置は、
撮像部位の位置から抜けている適切なカラー値を、付近
の撮像部位の位置においてその抜けているカラー値とは
異なる色のカラー値から、その撮像部位の位置に対する
追加のカラー値を内挿することによって、発生させる。
その装置はまた、同じ行及び列の付近の撮像部位から少
なくとも２つの画像方向におけるラプラシアンの二次の
値（Laplacian second-order value）、勾配の値（grad
ient vale）、及び色差のバイアス値（color differenc
e bias value）を得て、これらの値から発現する分級器
（classifier）に基いて、抜けているカラー値の内挿に
対する好ましい配向を選択する。最後に、付近の多重カ
ラー値からの抜けているカラー値は、好ましい配向と一
致して選択される。

【００１７】“拡大モード”において、システム制御装
置１８は、Ａ／Ｄ変換器１４からの画像信号出力を、画
像信号のダイナミックレンジを拡大する為に、ＤＲＥＦ
Ａ処理装置２２に転換する。好ましい実施例において、
撮像装置１０のダイナミックレンジは、非標準的な応答
を有する撮像装置１０のある撮像部位を選択することに
よって拡大化される。撮像装置１０に関して選択された
撮像部位の配列は、以下により詳細に議論される。好ま
しい実施例において、選択された撮像部位の応答を、こ
こでは非標準撮像部位と呼ぶ選択された撮像部位のゲイ
ンを変えることによって遅くする。撮像部位のゲインの
変化は、デジタルカメラ設計及び製造技術において一般
に実行されている。

【００１８】図５に関して、各撮像部位の上に樹脂の小
レンズ５１を置くことは、撮像素子製造技術における慣
例である。例えば、特に撮像装置１０がインタライン固
体撮像装置であるとき、１つの小レンズの技術が、ＵＳ
特許第４，６６７，０９２号に“Ｓｏｌｉｄ−ｓｔａｔ
ｅｉｍａｇｅｄｅｖｉｃｅｗｉｔｈｒｅｓｉｎ
ｌｅｎｓａｎｄｒｅｓｉｎｃｏｎｔａｃｔｌ
ａｙｅｒ”という表題で記載されており、ここでは参照
により組み込まれる。この特許において、より具体的に
は、固体画像装置は、ブロック表面を有する画像蓄積ブ
ロックを含み、複数の蓄積要素は、ブロック表面に沿っ
て嵌め込まれ、電荷の形態で画像を蓄積する。中間層
が、ブロック表面とその上にある層との間にある。入射
する光は、蓄積要素上のレンズ及び中間層を通じて合焦
する。中間層は、焦点距離を調節する為の調節層として
役立つ。

【００１９】図５は、インタライン固体撮像装置の断面
を示す。小レンズ５１無しで、撮像部位の各感光性領域
５５に関連する信号読み出し領域は、光電トランスデュ
ーサ領域として半導体基材の全領域の使用を不可能にす
る。従来の固体撮像装置は、その上で全入射光線を必ず
しも有効に利用せず、従って低い感度を有する。撮像部
位の上に樹脂の小レンズ５１を加えることは、入射光線
が撮像部位の感光領域（photoactive area）に合焦する
ことを可能にし、それによってより効果的に入射光線を
利用し、撮像部位の感度を増加させる。このように、小
レンズ５１の大きさ及び／又は効率を変化させること
で、撮像部位の感度（ゲイン）を容易に変え得る。この
ように、インタライン装置に対して及びＣＭＯＳ撮像素
子に対して、撮像部位のゲインを変える好ましい方法
は、撮像部位の上に置かれる小レンズ５１を変えること
である。図５に示すように、位置５２は小レンズが無
く、従ってほとんどの入射光線が感光性領域に入射しな
い。一方、小レンズ５１と比較して異なる半径、形状、
大きさ、又は材料で小レンズを位置５２に製造し、それ
によって、標準的な小レンズ５１よりも、感光性領域５
５に入射光線を合焦させることにおいてより非効率的で
あるように組み立てることが可能であると考えられる。
当業者は、小レンズ５１が入射光線の８０％を感光性領
域５５上に合焦させ、小レンズを有しない（又は他の非
標準的な小レンズを有する）領域５２が感光性領域５５
上へ入射光線の２０％を許容する場合、小レンズ５１に
よって覆われる撮像部位は、領域５２よりも２ストップ
早いことを認める。この場合には、小レンズ５１は標準
撮像部位に対して使用され、領域５２で表わすような非
標準撮像部位に対しては小レンズは使用されない。

【００２０】撮像装置１０が全フレームの装置である場
合に、全フレームの撮像装置１０の断面を示す図６に関
して、撮像部位の感光性領域５５に入射する光線は、典
型的には金属から作られ、図６の断面図に示すように金
属部分の間に点在する光遮断金属マスク部５４並びに開
口５６及び５７を含む、マスクの開口を通過しなければ
ならない。好ましい実施例において、撮像部位のゲイン
は、金属マスク５４の光遮蔽物を変更することによって
変えてもよい。次に撮像部位の感度は、金属マスク５４
の光遮蔽物の開口に直接関係する。例えば、第二の撮像
部位における開口の大きさの５０％である開口を伴う一
つの撮像部位は、第二の撮像部位のそれと比較して５０
％の応答を有する。例えば、光遮蔽物５４の第一の開口
５６は、その撮像部位上の入射光線の８０％が通過する
ことを許容するが、第二の開口５７は比較的小さく、入
射光線の２０％のみが通過することを許容する。当業者
は、比較的大きな第一の開口５６を伴う撮像部位は、比
較的小さい第二の開口５７を伴う撮像部位よりも２スト
ップ早いことを認める。この場合、第一の開口５６は標
準撮像部位に使用され、第二の開口５７は非標準撮像部
位に使用される。このように、光マスクの開口は、選択
された撮像部位の応答を調節するために変更し得る。Ｋ
ｏｄａｋは、（検出器が水平及び垂直に１／２ピクセル
間隔で動き、４ピクチャを撮るデイザースキャナー（di
thered scanner）の応用について）全ピクセルのピクセ
ル活性領域（pixel active area）を約８０％から約２
０％まで減少させる金属マスク光遮蔽物を伴う全フレー
ム撮像装置を作る。このように本発明は、このようなマ
スク技術を含み、異なる大きさにした開口を伴うが、画
像光に対して異なる応答を伴う撮像素子を提供する。

【００２１】好ましい実施例において、選択される非標
準撮像部位の応答は、図２にグラフで示すように同じ露
出に対して標準撮像部位のＸ％（ここでＸ＜＝１００）
である。選択された撮像部位は、標準撮像部位に比べて
２ストップごとに（−ｌｏｇＸ／１００）遅くなる応答
を有する。好ましい実施例においては、Ｘ＝２５であ
る。好ましい実施例において、システム制御装置１８が
“通常モード”にあるとき、全ての撮像部位は、標準的
な応答のゲインと等価な通常のゲインを有する。このよ
うに、撮像装置１０は、撮像部位、すなわち標準撮像部
位及び非標準撮像部位、の多数の組からなる。標準撮像
部位の出力の集合は、景色のまばらに採取したバージョ
ンを構成する。同様に非標準撮像部位の出力の集合は、
景色の別のまばらに採取したバージョンを構成する。

【００２２】別の代案として、選択される非標準撮像部
位を、撮像部位を覆う中性フィルターの使用によって、
遅くすることができる。図７は、色フィルターアレイ５
３を伴う撮像装置の断面を示す。色フィルターアレイ５
３ａは赤色であり、５３ｂは緑色であり、５３ｃは赤色
であり、及び５３ｄは緑色であることに注意すること。
中性フィルター層５８及び色フィルターアレイ５３の位
置は、重要ではないが、中性フィルター層５８は、色フ
ィルターアレイ５３の上に入れられる。中性フィルター
層５８は、中性フィルター５９に示されるように、選択
される撮像部位の位置にのみ中性フィルターを含むこと
に注意すること。この場合に、中性フィルター層５８
は、標準撮像部位に対して透明又は略透明であり、非標
準撮像部位に対しては中性フィルター５９を含む。例え
ば、中性フィルター５９は、光のＸ％の透過を許容する
材料からなる場合、非標準撮像部位の応答は、標準撮像
部位の応答と比べて−ｌｏｇ_２（Ｘ／１００）ストップ
だけ遅くなる。中性フィルター５９が非標準撮像部位を
創ることに使用される場合、システム制御装置１８は、
好ましくは製造時に“拡大モード”にあるように設定さ
れる。

【００２３】ＤＲＥＦＡ処理装置２２の目的は、標準及
び非標準撮像部位を考慮すると同時に、デジタル画像信
号を処理することで、増加したダイナミックレンジを伴
うデジタル画像信号を創ることである。ＤＲＥＦＡ処理
装置２２の動作を以下詳細に記述する。よって、ＤＲＥ
ＦＡ処理装置２２の出力は、増加したダイナミックレン
ジを有する拡大された画像信号である。次にこの拡大し
た画像信号は、前述のように処理する為のＣＦＡ補間器
への入力である。

【００２４】図１は、Ａ／Ｄ変換器及びＤＲＥＦＡ処理
装置２２が直接接続されることを暗示するが、これは本
発明に対して必要ではないことに注意すること。ＤＲＥ
ＦＡ処理装置２２は、Ａ／Ｄ変換器１４及び撮像装置１
０に極めて接近したハードウェア又はソフトウェアに存
してもよい。例えば、ＤＲＥＦＡ処理装置２２は、デジ
タルカメラの中に直接存することができると考えられ
る。しかしながら、ＤＲＥＦＡ処理装置２２はまた、撮
像装置１０から遠くてもよい。例えば、Ａ／Ｄ変換器１
４からの画像信号出力は、ＤＲＥＦＡ処理装置２２の動
作に用いるパーソナルコンピューター装置、プリンタ
ー、又はリモートサーバへケーブル接続又は無線の接続
を通じて（圧縮の後）送信することができる。画像信号
の送信はまた、ファイル転送プロトコール又は電子メー
ルを含んでもよい。加えて、クレジットカード又はいく
つかの他の手段を通じた支払いが、利用者からＤＲＥＦ
Ａ処理装置２２によって要求される場合もある。

【００２５】好ましい実施例において、撮像装置１０の
撮像部位の５０％は、非標準撮像部位を有するように選
択される。当業者は、非標準的な応答を有する撮像部位
の百分率を変えることはまだ、本発明の利点に帰着する
ことを認める。全ての撮像部位が略等価なスペクトル感
度を有する撮像装置１０の場合（すなわち全色性撮像装
置）には、図３Ａは、撮像装置１０の全ての撮像部位の
約５０％に帰着し非標準的な応答である非標準撮像部位
の配列を示す。非標準的な応答の撮像部位２８は、星印
（＊）で印を付け、一方標準的な応答を有する撮像部位
３０は空白である。

【００２６】カラーの撮像装置１０の場合には、図３Ｂ
は、撮像部位の各種類（赤色、緑色、又は青色に感度が
ある）の５０％が非標準的な応答を有するような配列を
示す。例えば、撮像部位３２は非標準的な応答を有する
赤色の撮像部位であり、撮像部位３４は非標準的な応答
を有する緑色の撮像部位であり、撮像部位３６は非標準
的な応答を有する青色の撮像部位であり、撮像部位３８
は標準的な応答を有する赤色の撮像部位であり、撮像部
位４０は標準的な応答を有する緑色の撮像部位であり、
撮像部位４２は標準的な応答を有する青色の撮像部位で
ある。

【００２７】図３Ａ及び３Ｂは、非標準撮像部位の位置
に対する規則的なパターンを暗示することに注意するこ
と。非標準撮像部位を規則的なパターンに配列すること
が好ましいとは言え、それは決ずしも必要ではない。非
標準撮像部位は、撮像装置１０の表面上に無作為に又は
準無作為に（semi-randomly）配列することができ、そ
れらの位置は、ＤＲＥＦＡ処理装置２２に対して利用で
きるいくつかの場所に蓄積されると考えられる。

【００２８】一定の露出に対する標準撮像部位の応答、
及び同じ露出に対する非標準撮像部位の応答を図２に示
す。雑音のレベルｎが応答に重なる場合には、標準撮像
部位が、（１００Ｅ／Ｘで開始する妥当な信号を生じ
る）非標準撮像部位よりも少ない露出で（露出のレベル
Ｅで開始する）妥当な信号を生じることを容易に見るこ
とができることに注意すること。

【００２９】代わりに、非標準撮像部位からのデータ
は、（Ｅ２^Ｓの露出まで妥当な応答を生成する）標準撮
像部位よりも高い露出レベル（１００Ｅ２^Ｓ／Ｘの信号
レベルまで、ここでＳは１つの撮像部位における本来の
ダイナミックレンジであり、典型的にはＳ＝５ストッ
プ）について妥当である。図２に示すように、標準撮像
部位と非標準撮像部位との両方が、露出の絞り（Ｓ）に
おける同じ範囲の応答を有するが、非標準撮像部位の応
答は、標準撮像部位よりも好ましくは−ｌｏｇ_２（Ｘ／
１００）ストップ遅いことに注意すること。標準及び非
標準撮像部位の応答が露出に関して重なることが好まし
い。すなわち、−ｌｏｇ_２（Ｘ／１００）＜Ｓであるこ
とが好ましい。撮像装置の全ダイナミックレンジは、標
準及び非標準撮像部位の両方を考慮して、Ｓ−ｌｏｇ_２
（Ｘ／１００）である。好ましい実施例の場合におい
て、ここではＳ＝５及びＸ＝２５なので、撮像装置１０
の全有効ダイナミックレンジは、露出の７ストップであ
る。

【００３０】ＤＲＥＦＡ処理装置２２の処理は、非常に
高い露出が起こる画像において領域を復元する為に、非
標準撮像部位の応答を使用して撮像装置１０の全ダイナ
ミックレンジを拡張することに利用される場合もある。
同様にＤＲＥＦＡ処理装置２２はまた、非常に低い露出
が起こる信号を復元する為に標準的な応答の撮像部位を
使用する。

【００３１】図４は、ＤＲＦＥＡ処理装置２２の分解組
み立てブロック図を示す。Ａ／Ｄ変換器１４からの対数
的な画像信号ｂ（ｘ，ｙ）の出力は、非標準補償器４４
を通過する。非標準補償器４４の目的は、Ｘストップの
応答におけるオフセットの計算によって非標準撮像部位
を補うことである。好ましい実施例において、非標準撮
像部位に対応する画像信号は、量、−ｃｖｓｌｏｇ（Ｘ
／１００）ごとに増加し、ここでｃｖｓは、露出の絞り
に対するコード値の数である。好ましい実施例におい
て、量ｃｖｓは５１である。他に、非標準補償器４４へ
の画像信号入力が露出に（対数的よりもむしろ）線形に
関係する場合、非標準補償器４４は、非標準撮像部位に
対応する画像信号を１００／Ｘの因子でスケーリングす
る。非標準撮像部位の位置は非標準補償器４４に対して
既知であると仮定することに注意すること。非標準補償
器４４の出力は、標準撮像部位の応答に関する非標準撮
像部位の差を、非標準撮像部位の位置で補った画像信号
ｉ（ｘ，ｙ）である。標準撮像部位の位置において、Ａ
／Ｄ変換器１４からの画像信号ｂ（ｘ，ｙ）の出力の値
は、非標準補償器４４からの画像信号ｉ（ｘ，ｙ）の出
力の値と同一である。画像信号ｉ（ｘ，ｙ）は８ビット
のレンジに限定されないことに注意すること。好ましい
実施例において、ｉ（ｘ，ｙ）の値は０から３５７まで
の範囲である。

【００３２】次に、非標準補償器４４からの画像信号ｉ
（ｘ，ｙ）の出力は、非標準閾値装置４６への入力であ
る。非標準閾値装置４６の目的は、妥当な信号を生成す
る為の十分な光子を受けない撮像部位によって、又は信
号が飽和するような多くの光子を受ける撮像部位によっ
て、低品質である非標準的な画像信号の問題位置を決定
することである。次にこれら（ｘ，ｙ）の位置における
画像信号は、以下で詳細に記述する信号拡張装置５０に
よって実行される処理において標準的な画像信号の付近
の試料に基いて新しい信号を計算することによって置き
換えられる。非標準的な信号の対応する値が予め決めら
れた閾値よりも小さい非標準的な信号の全ての（ｘ，
ｙ）位置は、問題の位置であると考えられる。非標準撮
像部位の場合には、問題の位置を検出する目的の為に使
用されるこの予め決められた閾値は、低露出応答閾値
（low exposure response threshold）のように呼ばれ
る。このように、位置（ｘ，ｙ）は、非標準撮像部位で
ある場合、及び、Ｔ１は予め決められるとしてｉ（ｘ，ｙ）＜Ｔ１である場合は、問題の位置であると考えられる。好まし
い実施例において、Ｔ１の値は、−ｃｖｓｌｏｇ_２（Ｘ
／１００）であり、好ましい実施例においては１０２で
ある。閾値Ｔ１は、位置（ｘ，ｙ）における撮像部位の
色に依存してもよいことに注意すること。問題の位置で
ある非標準撮像部位は、ｉ（ｘ，ｙ）の値が撮像装置の
雑音レベルについて必ずしも十分有用ではないので、雑
音ピクセル（noise pixel）のように呼ばれる。

【００３３】同様に非標準補償器４４からの画像信号ｉ
（ｘ，ｙ）の出力は、標準閾値装置４８への入力であ
る。標準閾値装置４８の目的は、低品質である標準的な
画像信号の問題の位置を決定することである。次にこれ
らの位置における画像信号は、以下で詳細に記述する信
号拡張装置５０によって実行される処理において非標準
的な画像信号の付近の試料に基いて新しい信号を計算す
ることによって置き換えられる。標準的な信号の対応す
る値が、予め決められた閾値信号よりも小さい標準的な
信号の全ての（ｘ，ｙ）位置は、問題の位置であると考
えられる。標準撮像部位の場合には、問題の位置を検出
する目的の為に使用されるこの予め決められた閾値は、
高露出応答閾値（high exposure response threshold）
のように呼ばれる。このように、位置（ｘ，ｙ）は、標
準撮像部位である場合、及び、Ｔ２は予め決められると
してｉ（ｘ，ｙ）＞Ｔ２である場合は、問題の位置であると考えられる。好まし
い実施例において、Ｔ２の値は、２５４である。閾値Ｔ
２は、位置（ｘ，ｙ）における撮像部位の色に依存して
もよいことに注意すること。問題の位置である標準撮像
部位は、ｉ（ｘ，ｙ）の値がこれらの位置において可能
な限り高いので、飽和ピクセル（saturated pixel）の
ように呼ばれる。

【００３４】非標準閾値装置４６によって決められた問
題の位置、及び標準閾値装置４８によって決められた問
題の位置は、信号拡張装置５０への入力である。加え
て、非標準補償器４４からの画像信号ｉ（ｘ，ｙ）の出
力もまた、信号拡張装置５０への入力である。信号拡張
装置５０の目的は、ここで置換値（replacement valu
e）のように呼ばれる信号の評価値で問題の位置（ｘ，
ｙ）における画像信号ｉ（ｘ，ｙ）の値を置き換え、撮
像装置１０における各撮像部位の本来のダイナミックレ
ンジをより大きくすることである。問題の位置が非標準
撮像部位と一致する場合、置換値は、標準撮像部位と一
致する隣接する画像信号の値から計算される。この実施
例において、“隣接する”という用語は、ある一定の空
間的な距離のことを言う。好ましい実施例において、選
択された撮像部位に隣接する撮像部位は、選択された撮
像部位の２撮像部位分の距離以内にある撮像部位であ
る。同様に問題の位置が標準撮像部位と一致する場合
は、置換値は、非標準撮像部位と一致する隣接する画像
信号の値から計算される。好ましい実施例において、問
題の撮像部位における撮像部位の色もまた考慮される。
任意の問題の位置に対する置換値は、好ましくは同じ色
の隣接する撮像部位を起源とする信号のみによって決め
られる。信号拡張装置５０の出力は、撮像装置１０の各
撮像部位に対する実際の本来のダイナミックレンジＳよ
りもむしろ、まるでＳ−ｌｏｇ_２（Ｘ／１００）の本来
のダイナミックレンジを伴う撮像部位を有する撮像装置
１０によって取得されたかのような、ダイナミックレン
ジを有する画像信号ｉ’（ｘ，ｙ）である。問題の位置
ではない全ての（ｘ，ｙ）の位置に対して、ｉ’（ｘ，
ｙ）はｉ（ｘ，ｙ）と等価であることに注意すること。

【００３５】図３Ｂに示すＢａｙｅｒのＣＦＡパターン
に対して信号拡張装置５０によって実行される処理の例
として、位置（ｘ，ｙ）が問題の位置であり、（ｘ，
ｙ）が（図３Ｂにおける撮像部位３４のような）緑色の
撮像部位の位置である場合、画像信号ｉ（ｘ，ｙ）に対
する置換値ｉ’（ｘ，ｙ）は次の方法で計算される。

【００３６】

【数２】ｉ’（ｘ，ｙ）の計算が依存する信号の値は、ある一定
の要求に従うことが予測される。例えば、（ｘ，ｙ）が
問題の位置であり、（ｘ，ｙ）が非標準的な応答を伴う
緑色の撮像部位であると仮定する。すると隣接する撮像
部位の信号レベルは、置換値ｉ’（ｘ，ｙ）を計算する
ことに使用される。しかしながら、これは隣接する撮像
部位の各々の信号値もまたＴ３より小さいことを仮定す
る。好ましい実施例においては、Ｔ３＝Ｔ１である。そ
のケースでない各々の隣接する撮像部位に対しては、そ
の信号レベルは、置換値ｉ’（ｘ，ｙ）の計算から省か
れる。例えば、ｉ（ｘ−１，ｙ−１）＞Ｔ３である場
合、値ｉ’（ｘ，ｙ）は次の式で計算される。

【００３７】

【数３】一般的に、問題の位置（ｘ、ｙ）における置換値を決定
する為の内挿スキームは、次の式

【００３８】

【数４】で与えられ、ここで（ｘ、ｙ）はＢａｙｅｒパターンの
フィルターアレイを有する撮像装置の標準撮像部位であ
る緑色の撮像部位に一致する。

【００３９】問題の位置が、非標準撮像部位である緑色
の撮像部位に一致する場合、置換値を決定する為に同じ
式を適用することに注意すること。しかしながら、この
場合には、

【００４０】

【数５】であり、ここで好ましい実施例においてはＴ４＝Ｔ２で
ある。

【００４１】別の例として、また図３Ｂに示すようなＢ
ａｙｅｒのＣＦＡパターンと関連して、位置ｉ（ｘ，
ｙ）が問題の撮像部位であり、（ｘ，ｙ）が赤色又は青
色の撮像部位の位置である場合には、画像信号ｉ（ｘ，
ｙ）の置換値ｉ’（ｘ，ｙ）は次の方法で計算される。

【００４２】

【数６】位置（ｘ，ｙ）が赤色又は青色の撮像部位であり、また
標準撮像部位であるとき、置換値ｉ’（ｘ，ｙ）を決定
する方程式は、次のように一般化され得る。

【００４３】

【数７】この場合に、ｊかｋかどちらかは０でなければならない
が、ｊ及びｋが両方とも０であることは決してないこと
に注意すること。また問題の位置が、非標準撮像部位で
ある赤色又は青色の撮像部位に一致する場合、置換値を
決定する為に同じ方程式を適用することに注意するこ
と。しかしながら、この場合には、

【００４４】

【数８】であり、ここで好ましい実施例においては、Ｔ４＝Ｔ２
である。

【００４５】１つ以上のまばらに採取した画像信号から
拡張したダイナミックレンジを伴う画像信号を発生させ
る目的の為の上述した内挿スキームは、当業者により変
更してもよい。しかしながら、上述の内挿スキームに対
する多くのこのような変更は導出され得、本発明の著し
い逸脱として考慮されるはずはない。

【００４６】当業者は、信号拡張装置によって実行され
る上述の内挿スキームは、当技術で周知の低域フィルタ
ーであることを認める。典型的に、デジタル画像信号へ
の低域フィルターの適用は、デジタル画像信号の分解能
を減少させることに対して同様の効果を有する。このよ
うに、ＤＲＥＦＡ処理装置２２によって実行される処理
は、撮像装置１０の空間分解能を撮像装置１０のダイナ
ミックレンジの為に交換する場合もある方法である。実
際に、信号のダイナミックレンジを増加させる為に内挿
スキームを実施する画像の領域は、もしも画像の同じ領
域を（非標準閾値装置４６及び標準閾値装置４８によっ
て定義されるような）“問題の位置”が無いような仕方
で検出器によって取得した場合に起こるであろう画像よ
りも著しくぼやけて（ほとんど鮮明でなく）現われる。

【００４７】本発明は、特にある好ましい実施例に関し
て詳細に記述しているが、本発明の主旨及び範囲以内で
変化及び変更をもたらすことができることが理解され
る。例えば、本発明は、両方向にダイナミックレンジを
拡大する、すなわち隣接する非標準撮像部位からの画像
信号を利用することで増加した露出に対して標準撮像部
位の応答を拡大する、及び隣接する標準撮像部位からの
画像信号を利用することで減少した露出に対して非標準
撮像部位の応答を拡大する、画像取得システムを提供す
る。同様にそのシステムが、一方向のみのダイナミック
レンジ上で動くことは、すなわち隣接する非標準撮像部
位からの画像信号を利用することで増加した露光に対し
て標準撮像部位のみの応答を拡大することは、又は代わ
りに、隣接する標準撮像部位からの画像信号を利用する
ことで減少した露光に対して非標準撮像部位のみの応答
を拡大することは、可能であると考えられる。

【図面の簡単な説明】

【図１】本発明に従う拡張されたレンジの撮像装置のブ
ロック図である。

【図２】標準撮像部位及び非標準撮像部位の応答を説明
する図である。

【図３Ａ】全色性の撮像装置における非標準撮像部位及
び標準撮像部位の配列を説明する図である。

【図３Ｂ】カラーの撮像装置における非標準撮像部位及
び標準撮像部位の配列を説明する図である。

【図４】図１に示すダイナミックレンジ拡張フィルター
アレイ（ＤＲＥＦＡ）処理装置の分解組み立てブロック
図である。

【図５】選択した撮像部位の応答を変えるために小レン
ズのアレイを使用するインタライン撮像装置の断面図で
ある。

【図６】選択した撮像部位の応答を変えるために金属マ
スクを使用する全フレーム撮像装置の断面図である。

【図７】選択した撮像部位の応答を変えるために濃度フ
ィルターのアレイを使用する撮像素子の断面図である。

【符号の説明】

２レンズ６光学低域フィルター１０撮像装置１４Ａ／Ｄ変換器１８システム制御装置２２ＤＲＥＦＡ処理装置２６ＣＦＡ補間器２８非標準撮像部位３０標準撮像部位３２赤色非標準撮像部位３４緑色非標準撮像部位３６青色非標準撮像部位３８赤色標準撮像部位４０緑色標準撮像部位４２青色標準撮像部位４４非標準補償器４６非標準閾値装置４８標準閾値装置５０信号拡張装置５１標準小レンズ５２非標準小レンズ５３色フィルターアレイ５４金属マスク部５５感光性領域５６大開口５７小開口５８濃度フィルター層５９非標準濃度フィルター

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C022 AA00 AB03 AB13 AC42 AC69 CA00 5C024 BX01 CX46 EX42 EX51 GY01 GY31 HX14 HX23 HX51 5C065 AA03 BB48 DD01 EE11 GG13 GG22 GG32

Claims

【特許請求の範囲】

【請求項１】撮像素子によって供給される信号から拡
張された有効ダイナミックレンジを発生させる為の画像
取得システムであって、前記画像取得システムは、露光に対して予め決められた応答の標準撮像部位、及び
前記同じ露光に対してより遅い応答の非標準撮像部位を
有する撮像装置と、前記撮像装置を画像光に対して露出し、前記撮像装置に
画像信号を発生させる光学部分と、隣接する前記非標準撮像部位からの画像信号を利用し
て、増加した露光に対して前記標準撮像部位の前記応答
を拡大する為の処理部分と、を含む画像取得システム。