JP2008514134A - 有効ダイナミック・レンジの拡張 - Google Patents

有効ダイナミック・レンジの拡張 Download PDF

Info

Publication number
JP2008514134A
JP2008514134A JP2007532612A JP2007532612A JP2008514134A JP 2008514134 A JP2008514134 A JP 2008514134A JP 2007532612 A JP2007532612 A JP 2007532612A JP 2007532612 A JP2007532612 A JP 2007532612A JP 2008514134 A JP2008514134 A JP 2008514134A
Authority
JP
Japan
Prior art keywords
standard
photosite
image sensor
photosites
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007532612A
Other languages
English (en)
Other versions
JP2008514134A5 (ja
Inventor
チャールズ ギャラガー，アンドリュー
ニュウェル ニコルス，デイヴィッド
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JP2008514134A publication Critical patent/JP2008514134A/ja
Publication of JP2008514134A5 publication Critical patent/JP2008514134A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

画像センサは、画像光に対してばらつきのある応答を有する画像信号を生成する。画像センサは、標準フォトサイト及び非標準フォトサイトに分けられるフォトサイト配列を有する。リミタが、光露出に対する所定の標準応答を標準フォトサイトに備え、同じ光露出に対して所定のより遅い応答を非標準フォトサイトに備える。標準フォトサイト及び非標準フォトサイトはともに、所定のパターンにおいて配列をまばらにサンプリングする。

Description

本発明は、一般に画像キャプチャの分野に関し、特に画像検出デバイスの有効ダイナミック・レンジを拡張する方法に関する。
画像検出デバイス（電荷結合デバイス（CCD）など）は通常、ディジタル・カメラ、スキャナやビデオ・カメラなどの製品においてみられる。前述の画像検出デバイスは、伝統的なネガ・フィルム製品と比較して非常に限られたダイナミック・レンジを有している。通常の画像検出デバイスは、約５絞りのダイナミック・レンジを有している。このことは、信号のクリッピングを回避するために、通常のシーンの露出を、適度の量の精度で判定しなければならないことを意味する。更に、多くの場合、シーンは、複数のイルミナント（例えば、シーンのフロントリット部分及びバックリット部分）の結果として非常に幅の広いダイナミック・レンジを有している。幅広いダイナミック・レンジのシーンの場合、対象に適切な露出を選ぶことによって、多くの場合、画像の別の部分におけるデータのクリッピングが余儀なくされる。よって、銀塩媒体に対して画像検出デバイスのダイナミック・レンジが劣ることによって、画像検出デバイスによって得られる画像の画像品質は低下してしまう。
画像検出デバイスのダイナミック・レンジが増加すると、画像のより満足なレンダリングを達成するようディジタル・カメラからの画像が再び調和することが可能になる。更に、画像検出デバイスのダイナミック・レンジを増加させることによって、画像のコントラスト向上の満足度を高めることが可能になる（本出願人に譲渡されている、Leeらによる米国特許第5,012,333号明細書に記載されている）。
Ikedaによる米国特許第6,040,858号明細書には、画像検出デバイスの限られたダイナミック・レンジの課題の全面的な説明が記載されている。更に、Ikedaには、異なる応答をそれぞれが露出に対して有する複数の画像信号を利用することによって画像検出デバイスのダイナミック・レンジを拡張する方法が開示されている。前述の複数の信号は、閾値を用いることによって合成される。閾値によって、拡張ダイナミック・レンジを有する画像信号を形成するために画像信号内の各位置においてより高い品質を有する信号が判定される。Ikedaには、前述の閾値が色毎に判定される方法を記載することによって前述の方法を改良したものが開示されている。
しかし、Ikedaをはじめとする前述の従来技術の手法は、拡張ダイナミック・レンジを有する画像信号を形成するために複数の画像信号を必要とする。前述の複数の信号を達成することによって、問題が生じ得る。例えば、複数の画像信号が同時にキャプチャされない場合、カメラのシーン又は動きにおいて移動している物体は、拡張ダイナミック・レンジを有する画像信号においてアーチファクトをもたらし得る。更に、画像信号が同時にキャプチャされるが、別個の画像キャプチャ・デバイス上でキャプチャされる場合、対応関係の問題が生じる。更に、更なるハードウェアによって、望ましくない費用が撮像システムに加えられる。
Cornuejolsによる米国特許第5,051,770号明細書には、センサが受ける光をフラット・スクリーンが画素単位で修正するデバイスが開示されている。
米国特許出願公開第２００３／００５２９７６号明細書には、駆動電圧によって制御される、種々の感度のフォトサイトを有する写真デバイスが開示されている。種々の露光時間をフォトサイトに与えることが可能である。
よって、画像検出デバイスのダイナミック・レンジを向上させるために従来技術の手法を改良する必要性が存在している。特に、単一の画像検出デバイス及び単一の画像信号によって拡張ダイナミック・レンジ画像信号を生成する必要性が存在している。
本発明は、特許請求の範囲によって規定する。本発明は、1つ又は複数の前述の課題を解決することに関する。簡潔に要約するに、本発明の一局面によれば、画像センサが、画像光に対してばらつきのある画像信号を生成する。画像センサは、標準フォトサイト及び非標準フォトサイトに分けられるフォトサイト配列を有する。リミタが、光露出に対する所定の標準応答を標準フォトサイトに備え、同じ光露出に対して所定のより遅い応答を非標準フォトサイトに備える。標準フォトサイト及び非標準フォトサイトはともに、所定のパターンにおいて配列をまばらにサンプリングする。
本発明では、画像キャプチャ・デバイスの選択されたフォトサイトは、露出に対して非標準応答を有するよう企図されている。前述の非標準フォトサイトは一般に、非選択フォトサイト又は標準フォトサイトよりも、露出に対して遅い応答を有する。本発明の利点は、フォトサイト全てのダイナミック・レンジを利用するよう前述の画像キャプチャ・デバイスからの画像信号が処理されることである。よって、増加させたダイナミック・レンジを有する画像信号は、飽和した、又は一定の雑音レベルにあるフォトサイトの隣接フォトサイトの値を補間することによって生成される。
本発明の実施例の以下の説明を、添付図面とともに解して参照することによって、本発明の前述並びにその他の特徴及び目的と、それらを達成するやり方はより明らかになり、本発明自体はより深く分かるであろう。
電子センサを利用した撮像デバイスは周知であるため、本明細書は特に、本発明による装置の一部を構成するか、又は本発明による装置とより直接的に協調する構成要素に関する。本明細書及び特許請求の範囲に特に示していないか、又は説明していない構成要素は、当該技術分野において知られているものから選択することができる。本明細書及び特許請求の範囲の記載では、画像の語は、2次元値配列である。画像は、2次元の別の画像部分集合であり得る。
図１を参照すれば、物体又はシーンからの光がレンズ２に入射する。光学低域通過フィルタ６が、エイリアシングの生起を削減するために画像をわずかにぼやけさせる。画像は、電荷結合デバイス（CCD）などの画像検出デバイス１０に当たる。CMOSデバイスなどの他のデバイスを画像検出デバイス１０として用いることができる。
A／D変換器１４は、画像検出デバイス１０からの画像信号をディジタル信号に変換する。特に、A／D変換器１４は、画像検出デバイス１０からの線形電圧信号を離散ディジタル信号（好ましくは、10ビット信号）に変換する。よって、線形符号化値は0以上1023以下にわたる。A／D変換器１４は更に、好ましくは、当該技術分野において通常行われているように、10ビットの線形信号を８ビットの対数信号に変換するための処理を行う。以下の式を用いて、10ビットの線形信号a(x,y)を8ビットの対数信号b(x,y)に変換する。ここで、(x,y)は、画像検出デバイス10に対する信号位置の行及び列の指数を規定する。
Figure 2008514134
 （画像検出デバイスの線形応答領域における）露出絞りそれぞれによって、線形信号a(x,y)が2倍になり、対数符号化信号b(x,y)が51増加する。この場合、値51は、露出絞り毎符号値（露出のｃｖｓ）の数を表す。
システム・コントローラ１８は、ダイナミック・レンジを拡張する必要があるか（すなわち、処理の「拡張モード」によって）、又は拡張の必要はないか（すなわち、処理の「通常モード」）をユーザ入力に基づいて、又はA／D変換器１４からの画像信号出力に基づいて判定する。システム・コントローラ１８は次いで、システム・コントローラ１８が拡張モードにある場合、ダイナミック・レンジ拡張フィルタ配列（ＤＲＥＦＡ）プロセッサ２２に、又は、システム・コントローラ１８が通常モードにある場合、カラー・フィルタ配列（CFA）補間器２６にディジタル画像信号b(x,y)をそらす。あるいは、システム・コントローラ１８は、常に「拡張モード」にあるよう製造時に設定することができる。
「通常モード」では、システム・コントローラ１８は、A／D変換器１４からの画像出力をCFA補間器２６にそらす。CFA補間器２６の目的は、ディジタル画像の位置毎に色のフル記述を生成することである。好ましい実施例では、画像検出デバイス１０は、感光性エレメント配列から成る。各フォトサイトは通常、本明細書及び特許請求の範囲に内容を援用する、本出願人に譲渡されている、Bayer（ベイヤー）による米国特許第3,971,065号明細書に開示されているように赤色、緑色、又は青色のフィルタでコーティングされている。ベイヤー配列は、カラー・フィルタ配列である（フォトサイトにわたって格子縞模様のパターンに緑色フィルタが配置されており、格子縞模様のパターンの間隙を埋めるよう赤色フィルタ及び青色フィルタが行単位で交互にきている）。これによって、赤色フィルタ・サイト又は青色フィルタ・サイトの数の2倍の数の緑色フィルタ・サイトがもたらされる。本明細書及び特許請求の範囲記載の方法は、異なる原色配置、異なる原色数、又は異なる原色組を有するカラー・フィルタ配列に容易に拡張することができる。よって、好ましい実施例では、各フォトサイトは、赤色光、緑色光又は青色光に対する感光性が高い。しかし、各フォトサイト位置における赤色露出、緑色露出及び青色露出それぞれの露出値を得ることが望ましい。本明細書では、「赤色」、「緑色」及び「青色」は、画像処理の技術分野において周知であるように、画像検出デバイス１０の原色を表す。CFA補間器２６は、感光性エレメントの原色毎の値から成る補間画像信号を、A／D変換器１４からの画像信号出力から生成する。例えば、特定のフォトサイトが赤色フィルタによってコーティングされている場合、A／D変換器１４は、そのフォトサイトの赤色の露出レベルを出力する。赤色フィルタは、緑色光及び青色光が画像検出デバイス１０に達することを事実上阻止するからである。
CFA補間器２６の動作は、緑色及び青色の原色の場合の赤色フォトサイトに対する露出レベルを判定することである。同様に、CFA補間器２６は、青色フォトサイトに対する緑色及び赤色の露出レベル、並びに緑色フォトサイトに対する赤色及び青色の露出レベルを判定する。一般に、CFA補間器２６は、フォトサイトの露出値及び周辺フォトサイトの値を考慮に入れることによって動作する。通常知られている補間器を用いることができるが、好ましいCFA補間器は、本明細書及び特許請求の範囲に内容を援用する「Adaptive color plane interpolation in single color electronic camera」と題する、本出願人に譲渡されている米国特許第5,652,621号明細書に開示されている。前述の特許文献には、少なくとも３つの別個のカラー値を生成するが、フォトサイト位置毎に１つのカラー値のみを生成する行及び列に整列させたカラー・フォトサイトを有する画像センサから得られるディジタル化画像信号を処理する装置と、３つの別々のカラー値を有するようにフォトサイト位置毎にカラー値を補間する構造が開示されている。装置は、フォトサイト位置から欠落している適切なカラー値を、近傍のフォトサイト位置における欠落カラー値とは別の色のカラー値からの前述のフォトサイト位置の更なるカラー値の補間によって生成する。装置は更に、同じ列及び行の近傍フォトサイトからの少なくとも２つの画像方向においてラプラシアン2次値、グラディエント値、色差バイアス値を取得し、前述の値から作成される分類子に基づいて欠落カラー値の補間の好ましい向きを選択する。最後に、近傍の複数のカラー値からの欠落カラー値が、好ましい向きと一致するよう選択される。
「拡張モード」では、システム・コントローラ１８は、画像信号のダイナミック・レンジを拡張するためにA／D変換器１４からの画像信号出力をDREFAプロセッサ２２にそらす。好ましい実施例では、画像検出デバイス１０のダイナミック・レンジは、非標準応答を有するよう画像検出デバイス１０の特定のフォトサイトを選択することによって拡張される。画像検出デバイス１０に関する、選択されたフォトサイトの配置は、以下に更に詳細に記載する。好ましい実施例では、選択されたフォトサイトの応答は、（本明細書では非標準フォトサイトと呼ぶ）の利得を変えることによって減速させられる。フォトサイトの利得を変えることは、ヂジタル・カメラの設計及び製造の技術分野において通常実施されている。
図５を参照すれば、各フォトサイトの上に樹脂製レンズレット51を配置することは、画像センサの製造の技術分野において通常行われていることである。例えば、特に、画像検出デバイス１０がインターライン型ソリッド・ステート画像検出デバイスである場合、１つのレンズレット手法が、内容を本明細書及び特許請求の範囲に援用する、「Solod-state image device with resin lens and resin contact layer」と題する米国特許第4,667,092号明細書に開示されている。前述の特許文献には、特に、ソリッド・ステート画像デバイスが、ブロック表面を有する画像記憶ブロックを含み、複数の格納エレメントが、電荷の形式で画像を格納するためにブロック表面に沿って埋め込まれることが開示されている。被覆層を堆積させて、格納エレメントに対応した光学レンズ配列を形成する。中間層が、ブロック表面と被覆層との間に配置される。入射光が、レンズ及び中間層を通って集束し、格納エレメント上に当たる。中間層は、焦点距離を調節する調節層としての役目を担う。
図５は、インターライン型ソリッド・ステート画像検出デバイスの断面図を示す。レンズレット５１なしでは、フォトサイトの各感光性領域５５に関連した信号読み出し領域は、半導体基板の領域全体を光電変換領域として用いることを不可能にする。通常のソリッド・ステート画像デバイスは、その上に入射する光線全てを効果的に利用せず、よって、低感光性を有する。フォトサイトの上に樹脂製レンズレット５１を加えることは、入射光線がフォトサイトの感光性領域上に集束されることを可能にする。それによって、入射光線がより効果的に利用され、フォトサイトの感光性が増加する。よって、レンズレット５１の寸法及び／又は効率を変えることによって、フォトサイトの感光性（利得）を容易に変えることができる。よって、インターライン型デバイスの場合及びCMOSセンサの場合、フォトサイトの利得を変える好ましい方法は、フォトサイトの上に配置されたレンズレット５１を変えることによる。図５に示すように、位置５２はレンズレットを有していない。したがって、感光性領域に入射する入射光線は減少する。あるいは、レンズレット５１とは異なる半径、形状、寸法又は材料を有するレンズレットを位置５２において製造することが可能である。これによって、入射光線を集束させて感光性領域５５に当てることが標準のレンズレット５１よりも効率的でないよう構成される。レンズレット５１が、入射光線の８０％を集束させて感光性領域５５上に当て、レンズレットを何ら有していないか（又はあるいは非標準レンズレットを有している）領域５２が、入射光線の２０％を集束させて感光性領域５５上に当てる場合、レンズ５１が及ぶフォトサイトは、領域５２よりも2絞り分速い。この場合、レンズレット５１は標準フォトサイトに用いられ、領域５２によって表す非標準フォトサイトにはレンズレットは何ら用いられない。
フルフレーム型画像検出デバイス１０の断面図を示す図６を参照すれば、画像検出デバイス１０がフルフレーム型デバイスの場合、フォトサイトの感光性領域５５に入射する光線は、光を阻止する金属製マスク部分５４と、この金属製部分間に点在させられた開口５６及び５７とを備える、図６に断面図で示す、通常は金属製のマスク開口を通過しなければならない。好ましい実施例では、フォトサイトの利得は、金属製マスク５４の光遮蔽を修正することによって変えることができる。フォトサイトの感光性はその場合、金属製マスク５４の光遮蔽の開口に直接関係する。例えば、第２のフォトサイトの寸法の５０％の寸法の開口を有する一フォトサイトは、第２フォトサイト上の応答の５０％の応答を有する。例えば、光遮蔽５４の第１の開口５６は、そのフォトサイト上に入射する光線の８０％が通過することを可能にするが、第２の開口５７はより小さく、通過することを可能にする入射光線は２０％のみである。より大きな第１の開口５６を有するフォトサイトが、より小さな第２の開口５７よりも2絞り分速いことを当業者は認識するであろう。この場合、第１の開口５６は標準フォトサイトに用いられ、第２の開口５７は非標準フォトサイトに用いられる。よって、光マスクの開口は、選択されたフォトサイトの応答を調節するよう修正することができる。コダック社は、画素全ての画素の有効領域を約８０％から約２０％に削減する金属製マスク光遮蔽を有するフルフレーム型画像検出デバイスを製造している（センサを1/2移動させるディザリングされたスキャナの応用例の場合、水平方向及び垂直方向の画素間隔及び４つのピクチャが得られる）。本発明はよって、前述のマスク手法（しかし異なる寸法の開口を有している）を利用して、画像光に対してばらつきのある応答を有する画像センサを提供することに関係する。
個々のフォトサイトの電子制御は更に、標準フォトサイト及び非標準フォトサイトを実現することが可能である。例えば、米国特許出願第２００３／００５２９７６号明細書には、駆動電圧によって制御される、感光性が異なるフォトサイトを有する写真デバイスが開示されている。種々の露光時間を、駆動電圧によってフォトサイトに与えることが可能である。例えば、最短の露出時間を有するフォトサイトは非標準フォトサイトであり、より長い露出時間を有するフォトサイトは標準フォトサイトである。
図１５は、米国特許出願公開第２００３／００５２９７６号明細書に開示されたように、駆動電圧を用いてフォトサイトの感光性を制御することによって、異なる感光性を備えるフォトサイト（すなわち、標準フォトサイト及び非標準フォトサイト）を有する画像センサの例を示す。図１５は、複数のフォトサイト208a乃至208hと、複数の垂直転送レジスタ207a及び207bと、第１の駆動電圧印加電極203と、第２の駆動電圧印加電極201及び202とを示す。フォトサイト（PD又はフォトダイオードとも呼ばれる）208a乃至208hは、水平方向及び垂直方向に配置される。垂直転送レジスタ207a及び207bは、フォトサイトに蓄積された電荷を垂直方向に転送する。第１の駆動電圧印加電極２０３は、垂直転送レジスタのうちの特定の垂直転送レジスタに駆動電圧を印加させるために垂直転送レジスタに並列に配置される。第２の駆動電圧印加電極２０1乃至２０２は、同時に垂直転送レジスタに第２の駆動電圧を印加させるために垂直転送レジスタに垂直に配置される。フォトサイト内に蓄積された電荷は、第１の駆動電圧印加電極からの電圧出力若しくは第２の駆動電圧印加電極からの電圧出力、又は両方の電極からの電圧出力によって、垂直転送レジスタに転送される。よって、フォトサイトは、異なる感光性を有し得る。光露出に対して標準的な応答を有するフォトサイトは標準フォトサイトと呼ばれ、同じ光露出に対してより遅い応答を有するフォトサイトは非標準フォトサイトと呼ばれる。
好ましい実施例では、選択された非標準フォトサイトの応答は、図２にグラフィカルに示すように、同じ露出の標準フォトサイトのX%（ここで、X＜=１００）である。選択されたフォトサイトは、標準フォトサイトに対して2絞り分（-logX/100）減速させられた応答を有する。好ましい実施例では、X=25である。パラメータXの値（すなわち、標準フォトサイトの応答と非標準フォトサイトの応答との間の差の量）は画像センサのダイナミック・レンジを事実上制限する。パラメータXの値は、製造時に設定される定数であり得るか、又は、画像キャプチャ前にユーザによって選択され得るか、若しくは、シーンの先行画像からの画像データを解析して、シーンのダイナミック・レンジを判定し、次いで、パラメータXの値を適宜、設定する、システム・コントローラ１８に存在しているアルゴリズムによって選択され得る。好ましい実施例では、システム・コントローラ１８が「通常モード」にある場合、フォトサイトは全て、標準の応答の利得に同等の共通利得を有する。よって、画像検出デバイス１０は、複数のフォトサイト組（すなわち、標準フォトサイト及び非標準フォトサイト）から成る。標準フォトサイトの出力の集まりは、シーンのまばらにサンプリングされたバージョンを構成する。同様に、非標準フォトサイトの出力の集まりは、シーンのまばらにサンプリングされた別のバージョンを構成する。
別の代替策として、選択された非標準フォトサイトの応答を、フォトサイトをコーティングするニュートラル・フィルタを用いることによって減速させられ得る。図７は、カラー・フィルタ配列５３を備えた画像検出デバイスの断面を示す。カラー・フィルタ配列53aは赤色であり、53bは緑色であり、53cは赤色であり、53dは緑色である。ニュートラル・フィルタ層58はカラー・フィルタ配列５３の上に含まれているが、ニュートラル・フィルタ層５８及びカラー・フィルタ配列５３の位置は関係ない。ニュートラル・フィルタ層５８は、ニュートラル・フィルタ５９によって示すように、選択されたフォトサイトの位置においてのみニュートラル・フィルタを含んでいる。この場合、ニュートラル・フィルタ層５８は、標準フォトサイトの場合、透過的か又はほぼ透過的であり、非標準フォトサイトの場合、ニュートラル・フィルタ５９を含んでいる。例えば、ニュートラル・フィルタ５９が、光のX%の透過を可能にする材料から成る場合、その非標準フォトサイトの応答は、
標準フォトサイトの応答に対して-log２（X/100）絞り分、減速させられる。ニュートラル・フィルタ５９を用いて非標準フォトサイトを作成する場合、システム・コントローラ１８は、好ましくは、「拡張モード」になるように製造時に設定される。
標準フォトサイト及び非標準フォトサイトの実現形態は、リミタによって達成される。リミタは、標準フォトサイトが、光露出に対して第１の所定の応答を有し、非標準フォトサイトが、同じ光露出に対して第２のより遅い所定の応答を有するように画像センサ上の非標準フォトサイト組の感光性を修正する物理デバイス又は論理デバイスである。リミタは、フォトサイトに重なる構造エレメント（標準フォトサイト上及び非標準フォトサイト上の異なる寸法のレンズレット、標準フォトサイトのマスク及び非標準フォトサイトのマスクにおける異なる寸法の開口や、標準フォトサイト上及び非標準フォトサイト上の異なるニュートラル・フィルタなど）によって実現することが可能である。リミタは、画像センサ及びサポートするエレクトロニクスのプログラムされた構成（異なる駆動電圧を用いて、標準フォトサイト及び非標準フォトサイトの露出時間及び／又は利得を制御する論理デバイスなど）でもあり得る。
DREFAプロセッサ２２の目的は、標準フォトサイト及び非標準フォトサイトを考慮に入れる一方でディジタル画像信号を処理することによって、ダイナミック・レンジを増加させたディジタル画像信号を生成することである。DREFAプロセッサ２２の動作は、以下に詳細に説明する。よって、DREFAプロセッサ２２の出力は、ダイナミック・レンジを増加させた拡張画像信号である。この拡張画像信号は次いで、前述のように処理するためにCFA補間器に入力される。
図１は、A／D変換器１４及びDREFAプロセッサ２２が直接接続されていることを示唆しているが、これは、本発明の要件でない。DREFAプロセッサ２２は、A／D変換器１４及び画像検出デバイス１０の近傍のハードウェア又はソフトウェアに存在し得る。例えば、DREFAプロセッサ２２は、ディジタル・カメラ内に直接存在し得る。しかし、DREFAプロセッサ２２は、画像検出デバイス１０から離れた場所にあることもあり得る。例えば、図８を参照すれば、A／D変換器１４から出力される画像信号は、（圧縮後）ディジタル・カメラ１００からホスト・コンピュータ１０４に伝送することが可能である。伝送は任意的には、ネットワーク１０２経由であり得る。同様に、A／D変換器１４から出力される画像信号は、DREFAプロセッサ２２の動作に施すためにパソコン装置、プリンタ又は遠隔サーバ（図示せず）に有線接続又は無線接続を介して（圧縮後）伝送することが可能である。画像信号の伝送は、ファイル転送プロトコル又は電子メールも含み得る。更に、ユーザからの、クレジット・カード又は特定の他の手段を介した支払が、DREFAプロセッサ２２によって要求され得る。
標準フォトサイトの非標準フォトサイトに対する比は、１：１６と１６：１との間である（この範囲は、１：１６及び１６：１を含む）。この範囲の端点が、１つのタイプのフォトサイトによって非常にまばらにサンプリングされ、その結果、そのタイプのフォトサイトの分解能が低くなる。より良好な分解能を有する範囲は、１：４と４：１との間である。好ましい実施例では、画像検出デバイス１０のフォトサイトの５０％が、非標準応答を有するよう選択される。非標準応答を有するフォトサイトの割合を変えることによっても本発明の利点がもたらされることを当業者は認識するであろう。全てのフォトサイトがほぼ同等のスペクトル感光性を有する画像検出デバイス１０（すなわち、パンクロの画像検出デバイス）の場合、図３Aは、画像検出デバイス１０のフォトサイト全ての約５０％が非標準応答になる、非標準フォトサイトの配置を示す。非標準応答を有するフォトサイト２８はアステリスク（＊）によってマーキングしている一方、標準応答を有するフォトサイト３０は空白である。
カラー画像検出デバイス１０の場合、図３Bは、フォトサイトの各タイプ（赤色感光性、緑色感光性又は青色感光性）の５０％が非標準応答を有する配置を示す。例えば、フォトサイト３２は、非標準応答を有する赤色フォトサイトであり、フォトサイト３４は、非標準応答を有する緑色フォトサイトであり、フォトサイト３６は、非標準応答を有する青色フォトサイトであり、フォトサイト３８は、標準応答を有する赤色フォトサイトであり、フォトサイト４０は、標準応答を有する緑色フォトサイトであり、フォトサイト４２は、標準応答を有する青色フォトサイトである。
図３Bに示す4×4のパターンは、画像センサを埋めるよう反復的にタイリングすることが可能である。すなわち、画像センサは、4×4の画素の反復単位を有する反復パターンから成る。ベイヤー・カラー・フィルタ配列（フォトサイトの各タイプ（赤色感光性、緑色感光性又は青色感光性を有する）の５０％が非標準応答を有する（そのうち、図３Bは一例である））の場合、648個の4×4画素パターンが存在していることが解析によって判定されている。図１２及び図１４に示すように反復単位は、4×4画素より大きいことがあり得る。図１２には、8×8画素の反復単位を示す。図１４には、16×16画素の反復単位を示す。
図３A及び図３Bは、非標準のフォトサイトの位置の規則的なパターンを示唆している。規則的なパターンに非標準フォトサイトが配置されることが好ましいが、これは決して必要でない。非標準フォトサイトは画像検出デバイス１０の表面上にランダムに、又はセミランダムに配置させることが可能であり、その位置は、DREFAプロセッサ２２にアクセス可能な特定の場所に記憶される。
標準フォトサイトの特定の露出に対する応答及び非標準フォトサイトの同じ露出に対する応答を図２に示す。雑音レベルnが応答にスーパインポーズされた場合、標準フォトサイトは、（有効信号を（100/x）E)からもたらす）非標準フォトサイトよりも低い露出（露出レベルEから）で有効信号をもたらすことが容易に分かり得る。あるいは、非標準フォトサイトからのデータは、標準フォトサイト（有効な応答を最大E2Sの露出で生成する）よりも高い露出レベル（最大（１００／Ｘ）Ｅ2Ｓの信号レベル、ここで、Sは、単一のフォトサイトの固有のダイナミック・レンジ（通常S=５絞り分））に対して有効である。標準フォトサイト及び非標準フォトサイトは共に、露出絞り（S）において同じ応答範囲を有するが、非標準フォトサイトの応答は好ましくは、図２に示すように、標準フォトサイトよりも-log2（X/100）絞り分遅い。好ましくは、標準フォトサイトの応答と、非標準フォトサイトの応答は露出に対して重なる。すなわち、好ましくは、-log2（X/100）＜Sである。画像検出デバイスのダイナミック・レンジ全体は、標準フォトサイト及び非フォトサイトを考慮に入れれば、S-log2（X/100）である。好ましい実施例（S=5であり、X=25である）場合、画像検出デバイス１０の全体有効ダイナミック・レンジは、露出の７絞り分である。
非標準フォトサイト応答を用いて、非常に高い露出が生起する画像内領域を再構成することによって、DREFAプロセッサ２２の処理を利用して画像検出デバイス１０のダイナミック・レンジ全体を拡張することができる。同様に、DREFAプロセッサ２２は更に、標準応答を有するフォトサイトを用いて、非常に低い露出が生起する信号を再構成する。
図４は、DREFAプロセッサ２２の拡大構成図を示す。A／D変換器１４の対数画像信号b(x,y)出力が非標準補償器４４に転送される。非標準補償器４４の目的は、応答におけるオフセットをX絞り分補正することによって非標準フォトサイトを補償することである。好ましい実施例では、非標準フォトサイトに対応する画像信号は、数量
（‐cvs log(X/100)）
増やされる。ここでcvsは、露出絞り毎の符号値の数である。好ましい実施例では、数量cvsは51である。
あるいは、非標準補償器４４に入力された画像信号が、露出に（対数的にではなく）線形的に関連している場合、非標準補償器４４は、非標準フォトサイトに対応する画像信号を100/Xの倍数によってスケーリングする。非標準フォトサイトの位置は、非標準補償器４４に知られているものとする。非標準補償器４４の出力は、非標準フォトサイト応答と標準フォトサイト応答との間の差を非標準フォトサイトの位置において補償された画像信号i(x,y)である。標準フォトサイトの位置では、A／D変換器１４からの画像信号b(x,y)出力の値は、非標準補償器４４からの画像信号i(x,y)出力の値と同一である。画像信号i(x,y)は、8ビットの範囲に制限されない。好ましい実施例は、i(x,y)の値は、0以上357以下に及ぶ。
次に、非標準補償器４４からの画像信号i(x,y)出力は、非標準閾値判定器４６に入力される。非標準閾値判定器４６の目的は、有効な信号を生成するのに十分な光子をフォトサイトが受けていないか、又は、信号が飽和するほど多くの光子をフォトサイトが受けていることによって品質が低い非標準画像信号の問題の位置を判定することである。前述の(x,y)位置における画像信号は次いで、信号拡張器５０（以下に詳細に説明する）によって行われる処理において標準画像信号の近傍サンプルに基づいて新たな信号を算出することによって置き換えられる。非標準信号の対応する値が所定の閾値よりも少ない非標準信号の(x,y)位置は全て、問題位置とみなされる。非標準フォトサイトの場合、問題位置を検出する目的で用いるこの所定の閾値は、低露出応答閾値と呼ばれる。よって、位置(x,y)は、非標準フォトサイトである場合、かつ、
i(x,y)＜T1
である場合、問題位置とみなされる。ここでT1は予め定められている。好ましい実施例では、T1の値は
‐cvslog2(X/100)
である（好ましい実施例では102である）。閾値T1は、位置(x,y)にあるフォトサイトの色によって変わってくることがあり得る。問題位置である非標準フォトサイトは雑音画素と呼ばれる。i(x,y)の値が、有用になるには画像検出デバイスの雑音レベルに十分近くないからである。
同様に、非標準補償器４４から出力される画像信号i(x,y)が標準閾値判定装置４８に入力される。標準閾値判定装置４８の目的は、低品質の、標準画像信号の問題位置を判定することである。前述の位置における画像信号は次いで、信号拡張器５０（以下に詳細に説明する）によって行われる処理において非標準画像信号の近傍サンプルに基づいて新たな信号を算出することによって置き換えられる。標準信号の対応する値が所定の閾値信号よりも少ない標準画像信号の(x,y)位置は全て、問題位置とみなされる。標準フォトサイトの場合、問題位置を検出する目的で用いるこの所定の閾値は、高露出応答閾値と呼ばれる。よって、位置(x,y)は、標準フォトサイトである場合、かつ、
i(x,y)＞T2
である場合、問題位置とみなされる。ここでT2は予め定められている。好ましい実施例では、T2の値は254である。閾値T2は、位置(x,y)にあるフォトサイトの色によって変わってくることがあり得る。問題位置である標準フォトサイトは飽和画素と呼ばれる。i(x.y)の値は、前述の位置ではできる限り高いからである。
非標準閾値判定装置４６によって判定される問題位置及び標準閾値判定装置４８によって判定される問題位置は、信号拡張器５０に入力される。更に、非標準補償器４４から出力される画像信号i(x,y)も信号拡張器５０に入力される。信号拡張器５０の目的は、画像検出デバイス１０の各フォトサイトの固有のダイナミック・レンジがより大きければ、置換値として表す本明細書及び特許請求の範囲の信号の推定によって、問題位置(x,y)における画像信号i(x,y)値を置き換えることである。問題位置が非標準フォトサイトと一致している場合、置換値は、標準のフォトサイトと一致している隣接画像信号値から算出される。この実施例では、「neighboring」の語は、特定の空間距離を表す。好ましい実施例では、選択されたフォトサイトに隣接するフォトサイトは、選択されたフォトサイトの2フォトサイトの距離以内のフォトサイトである。同様に、問題位置が標準フォトサイトと一致している場合、置換値は、非標準フォトサイトと一致している隣接画像信号値から算出される。好ましい実施例では、問題フォトサイトにおけるフォトサイトの色も考慮に入れられる。何れかの問題位置の置換値は好ましくは、同じ色の隣接フォトサイトから発生する信号によってのみ判定される。信号拡張器５０の出力は、画像検出デバイス１０のフォトサイト毎の実際の固有のダイナミック・レンジＳではなく、固有のダイナミック・レンジ（Ｓ-log2（X/100））を備えるフォトサイトを有する画像検出デバイス１０によってキャプチャされたようなダイナミック・レンジを有する画像信号i’(x,y)である。問題位置でない(x,y)値全ての場合、i’(x,y)の値はi(x,y)に等しい。
図３Bに示すベイヤーCFAパターンに信号検出器５０によって行われる処理の例として、位置(x,y)が問題位置であり、(x,y)が緑色フォトサイト（図３Bのフォトサイト３４など）である場合、画像信号i(x,y)の置換値i’(x,y)は、以下のように算出される。
i’（x,y）=0.25＊［i(x-1,y-1)+i(x+1,y-1)+i(x-1,y+1)+i(x+1,y+1)］
i'(x,y)の算出が依存する信号値は、特定の要件に準拠することが期待される。例えば、(x,y)が問題位置であり、(x,y)が非標準応答を有する緑色フォトサイトであるものとする。更に、隣接フォトサイトの信号レベルを用いて置換値i’(x,y)を算出する。しかし、これは、隣接フォトサイトそれぞれの信号値もT3よりも少ないものとする。好ましい実施例では、T3=T1である。そうでない隣接フォトサイトそれぞれに対して、その信号レベルが、置換値i’(x,y)の算出から割愛される。例えば、i(x-1,y-1)＞T3の場合、値i’(x,y)は以下の公式によって算出される。
I’(x,y)=1/3*［i(x+1,y-1)+i(x-1,y+1)+i(x+1,y+1）］
一般に、問題位置(x,y)（位置(x,y)は、ベイヤー・パターン・フィルタ配列を有する画像検出デバイス上の標準フォトサイトでもある緑色フォトサイトに対応する）における置換値を判定する補間手法は、以下の等式によって表される。
Figure 2008514134
 ここで、W(x+j,y+k)=1 （i(x+j,y+k)＞T3の場合）であり、W(x+j,y+k)=0 （それ以外の場合）である。
非標準フォトサイトでもある緑色フォトサイトに問題位置が対応する場合に、置換値を判定するよう同じ等式が施される。しかし、この場合、
W(x+j,y+k)=1 （i(x+j,y+k)＜T4の場合）であり、W(x+j,y+k)=0 （それ以外の場合）である。好ましい実施例では、T4=T2である。
別の例（やはり、図３Bに示すベイヤーCFAパターンに関する）として、位置i(x,y)が問題フォトサイトであり、(x,y)が赤色フォトサイト又は青色フォトサイトの位置である場合、画像信号i(x,y)の置換値i’(x,y)は以下のように算出される。
i’（x,y）=0.25＊［i(x-2,y-1)+i(x+2,y)+i(x,y+2)+i(x,y-2)］
位置(x,y)が赤色フォトサイト又は青色フォトサイトであり、標準フォトサイトでもある場合、置換値i’(x,y)を判定する等式は、以下のように一般化することができる。
Figure 2008514134
 ここで、W(x+j,y+k)=1 （i(x+j,y+k)＜T3の場合）であり、W(x+j,y+k)=0 （それ以外の場合）である。
この場合、j又はkが0でなければならないが、j及びkは両方がゼロになることは決してない。又、非標準フォトサイトでもある赤色フォトサイト又は青色フォトサイトに問題位置が対応する場合に、置換値を判定するよう同じ等式が施される。しかし、この場合、
W(x+j,y+k)=1 （i(x+j,y+k)＜T4の場合）であり、W(x+j,y+k)=0 （それ以外の場合）である。ここで、好ましい実施例ではT4=T2である。
まばらにサンプリングされた2つ以上の画像信号から拡張ダイナミック・レンジを有する画像信号を生成する目的のための前述の補間手法は、当業者によって修正することができる。しかし、上記補間に対する前述の多くの修正を導き出すことができ、本発明の相当な逸脱とみなすべきでない。
信号拡張器によって行われる上記補間手法は低域通過フィルタ（当該技術分野において周知である）であることを当業者は認識するであろう。通常、ディジタル画像信号に低域通過フィルタを施すことは、ディジタル画像信号の分解能の削減と同様な効果を有する。よって、DREFAプロセッサ２２によって行われる処理は、画像検出デバイス１０の空間分解能を、画像検出デバイス１０のダイナミック・レンジと交換することができる方法である。実際に、信号のダイナミック・レンジを増加させるよう補間手法が実現される画像の領域は、「問題位置」（非標準閾値判定器４６及び標準閾値判定器４８によって規定される）が何ら生起しないように画像の同領域がセンサによってキャプチャされた場合の画像よりも顕著にぼんやりして（より鮮鋭でなく）みえる。
本発明は、その特定の好ましい実施例を特に参照して詳細に説明したが、変形及び修正を本発明の趣旨及び範囲内で行うことが可能であることが理解されよう。例えば、本発明は、両方の方向にダイナミック・レンジを拡張する（すなわち、隣接する非標準フォトサイトからの画像信号を利用することによって、露出の増加に対して標準フォトサイトの応答を拡張し、隣接する標準フォトサイトからの画像信号を利用することによって、露出の減少に対して非標準フォトサイトの応答を拡張する）画像キャプチャ・システムを提供する。システムが、一方向のみからダイナミック・レンジを処理する（すなわち、隣接する非標準フォトサイトからの画像信号を利用することによって、光露出の増加に対して標準フォトサイトのみの応答を拡張し、又は、あるいは、隣接する標準フォトサイトからの画像信号を利用することによって、露出の減少に対して非標準フォトサイトのみの応答を拡張する）ことも同様に実現可能となる。
本発明による、拡張レンジの画像検出デバイスを示す構成図である。 標準フォトサイト及び非標準フォトサイトの応答を示すグラフである。 画像センサのパンクロの実施例上の非標準フォトサイト及び標準フォトサイトの配置を示す図である。 カラー画像センサの実施例上の非標準フォトサイト及び標準フォトサイトの配置を示す図である。 図１に示すダイナミック・レンジ拡張フィルタ配列（DREFA）プロセッサを示す拡大構成図である。 選択されたフォトサイトの応答を変えるためにレンズレット配列を利用したインターライン型画像センサの断面図である。 選択されたフォトサイトの応答を変えるために金属マスクを利用したフルフレーム型画像センサの断面図である。 選択されたフォトサイトの応答を変えるためにニュートラル・デンシティ・フィルタ配列を利用した画像センサの断面図である。 画像キャプチャ・システムの実施例の構成図である。 画像センサの実施例における非標準フォトサイト及び標準フォトサイトの配置を示す図である。 画像センサの実施例における非標準フォトサイト及び標準フォトサイトの配置を示す図である。 画像センサの実施例における非標準フォトサイト及び標準フォトサイトの配置を示す図である。 カラー画像センサの別の実施例上の非標準フォトサイト及び標準フォトサイトの配置を示す図である。 図１０と同様な実施例を示し、4×4の反復単位を有する8×8の配列を示す図である。 8x8の反復単位を有するカラー画像センサの別の実施例の8×8の配列を示す図である。 図１０と同様な実施例を示し、4×4の反復単位を有する16×16の配列を示す図である。 16×16の反復単位を有するカラー画像センサの別の実施例を示す図である。 カラー画像センサの別の実施例において用いることが可能な従来技術のデバイスの構成部分のレイアウトを示す図である。

Claims (44)

  1. 画像光に対してばらつきのある応答を有する画像信号を生成する画像センサであって、
    標準フォトサイト及び非標準フォトサイトに分けられるフォトサイト配列と、
    光露出に対する所定の標準応答を前記標準フォトサイトに備え、同じ光露出に対して所定のより遅い応答を前記非標準フォトサイトに備えるリミタとを有しており、
    前記標準フォトサイト及び前記非標準フォトサイトはともに所定のパターンにおいて前記配列をまばらにサンプリングする画像センサ。
  2. 請求項１記載の画像センサであって、前記パターンが反復単位を有する画像センサ。
  3. 請求項１記載の画像センサであって、前記フォトサイト配列が、等しくない数の標準フォトサイト及び非標準フォトサイトに分けられる画像センサ。
  4. 請求項１記載の画像センサであって、前記フォトサイト配列は、１：１６以上１６：１以下の、標準フォトサイトの非標準フォトサイトに対する比を有する画像センサ。
  5. 請求項１記載の画像センサであって、前記フォトサイト配列は、１：４以上４：１以下の、標準フォトサイトの非標準フォトサイトに対する比を有する画像センサ。
  6. 請求項１記載の画像センサであって、前記フォトサイト配列は、１：１の、標準フォトサイトの非標準フォトサイトに対する比を有する画像センサ。
  7. 請求項１記載の画像センサであって、フォトサイトは、サイズにおいて一様である画像センサ。
  8. 請求項１記載の画像センサであって、フォトサイトに重なる2つ以上の色から成るカラー・フィルタ配列を更に備える画像センサ。
  9. 請求項８記載の画像センサであって、前記標準フォトサイト及び前記非標準フォトサイトは、前記配列の前記色それぞれと関連付けられる画像センサ。
  10. 請求項8記載の画像センサであって、前記色のうちの１つが、等しい数の前記標準フォトサイト及び前記非標準フォトサイトに関連付けられる画像センサ。
  11. 請求項10記載の画像センサであって、等しい数の前記標準フォトサイト及び前記非標準フォトサイトに関連付けられる唯一の色が緑色である画像センサ。
  12. 請求項８記載の画像センサであって、前記カラー・フィルタ配列がベイヤー・パターンを有する画像センサ。
  13. 請求項８記載の画像センサであって、前記カラー・フィルタ配列が、赤色フィルタ、緑色フィルタ及び青色フィルタを有しており、前記赤色フィルタ及び前記青色フィルタが、等しい数の前記フォトサイトに関連付けられ、赤色フィルタ及び青色フィルタが併せて、前記緑色フィルタと同数のフォトサイトと関連付けられる画像センサ。
  14. 請求項８記載の画像センサであって、前記フォトサイトのタイプと、前記カラー・フィルタ配列の色が併せて、4×4画素の反復単位を有する反復パターンを規定する画像センサ。
  15. 請求項８記載の画像センサであって、前記フォトサイトのタイプと、前記カラー・フィルタ配列の色が併せて、4×4画素よりも大きな反復単位を有する反復パターンを規定する画像センサ。
  16. 請求項１記載の画像センサであって、フォトサイトに重なる複数の色から成るカラー・フィルタ配列を更に備えており、前記標準フォトサイトは前記配列の色それぞれに関連付けられ、前記非標準フォトサイトは、前記配列の前記色全てよりも少ない色と関連付けられる画像センサ。
  17. 請求項１記載の画像センサであって、前記リミタが、フォトサイトに重なる構造エレメントである画像センサ。
  18. 請求項１７記載の画像センサであって、前記構造エレメントが、前記フォトサイトに重なるレンズレットの配列を備えており、前記標準フォトサイトに重なるレンズレットは、前記非標準フォトサイトに重なるレンズレットよりも光の集束が効率的であるように構成される画像センサ。
  19. 請求項１７記載の画像センサであり、前記構造エレメントは、前記フォトサイトに重なる開口を有するマスクを備えており、前記標準フォトサイトに重なる開口は、前記非標準フォトサイトに重なる開口よりも大きい画像センサ。
  20. 請求項１７記載の画像センサであって、前記構造エレメントは、前記フォトサイトに重なるニュートラル・デンシティ・フィルタを備えており、前記標準フォトサイトに重なるニュートラル・デンシティ・フィルタの部分は、前記非標準フォトサイトに重なるニュートラル・デンシティ・フィルタの部分よりも透過的である画像センサ。
  21. 画像光に対してばらつきのある応答を有する画像信号を生成する画像センサであって、
    標準フォトサイト及び非標準フォトサイトの２つのタイプに分けられるフォトサイト配列と、
    光露出に対する所定の標準応答を前記標準フォトサイトに備え、同じ光露出に対して、より遅い応答を前記非標準フォトサイトに備えるリミタと、
    フォトサイトに重なる2つ以上の色から成るカラー・フィルタ配列とを備えており、前記標準フォトサイト及び前記非標準フォトサイトは、前記配列の色それぞれと関連付けられ、
    前記フォトサイトのタイプ及び前記カラー・フィルタ配列の色が併せて、4×4画素よりも大きな反復単位を有する反復パターンを規定する画像センサ。
  22. 請求項21記載の画像センサであって、前記リミタが、前記フォトサイトに重なる構造エレメントである画像センサ。
  23. 請求項21記載の画像センサであって、前記フォトサイトは、サイズにおいて一様である画像センサ。
  24. 請求項21記載の画像センサであって、前記反復単位が、8×8画素である画像センサ。
  25. 請求項21記載の画像センサであって、前記反復単位が、１６×１６画素である画像センサ。
  26. 請求項21記載の画像センサであって、前記カラー・フィルタ配列がベイヤー・パターンを有する画像センサ。
  27. 請求項21記載の画像センサであって、構造エレメントが、前記フォトサイトに重なるレンズレットの配列を備えており、前記標準フォトサイトに重なるレンズレットは、前記非標準フォトサイトに重なるレンズレットよりも光の集束が効率的であるように構成される画像センサ。
  28. 請求項21記載の画像センサであり、構造エレメントは、前記フォトサイトに重なる開口を有するマスクを備えており、前記標準フォトサイトに重なる開口は、前記非標準フォトサイトに重なる開口よりも大きい画像センサ。
  29. 請求項21記載の画像センサであって、構造エレメントは、前記フォトサイトに重なるニュートラル・デンシティ・フィルタを備えており、前記標準フォトサイトに重なるニュートラル・デンシティ・フィルタの部分は、前記非標準フォトサイトに重なるニュートラル・デンシティ・フィルタの部分よりも透過的である画像センサ。
  30. 請求項21記載の画像センサであって、前記フォトサイト配列が、等しくない数の標準フォトサイト及び非標準フォトサイトに分けられる画像センサ。
  31. 画像光に対してばらつきのある応答を有する画像信号を生成する画像センサであって、
    標準フォトサイト及び非標準フォトサイトの２つのタイプに分けられるフォトサイト配列と、
    光露出に対する所定の標準応答を前記標準フォトサイトに備え、同じ光露出に対して、より遅い応答を前記非標準フォトサイトに備えるリミタと、
    フォトサイトに重なる複数の色から成るカラー・フィルタ配列とを備えており、前記標準フォトサイトは、前記配列の前記色それぞれと関連付けられ、前記非標準フォトサイトは、前記配列の前記色全てよりも少ない色と関連付けられる画像センサ。
  32. 請求項31記載の画像センサであって、前記リミタが、前記フォトサイトに重なる構造エレメントである画像センサ。
  33. 請求項32記載の画像センサであって、前記カラー・フィルタ配列は３つの色を有しており、前記非標準フォトサイトは、前記色の１つのみと関連付けられる画像センサ。
  34. 請求項32記載の画像センサであって、前記カラー・フィルタ配列は赤色フィルタ、緑色フィルタ及び青色フィルタを有しており、前記非標準フォトサイトは、前記緑色フィルタのみと関連付けられる画像センサ。
  35. 請求項32記載の画像センサであって、前記カラー・フィルタ配列がベイヤー・パターンを有する画像センサ。
  36. 請求項32記載の画像センサであって、前記構造エレメントが、前記フォトサイトに重なるレンズレットの配列を備えており、前記標準フォトサイトに重なるレンズレットは、前記非標準フォトサイトに重なるレンズレットよりも光の集束が効率的であるように構成される画像センサ。
  37. 請求項32記載の画像センサであり、前記構造エレメントは、前記フォトサイトに重なる開口を有するマスクを備えており、前記標準フォトサイトに重なる開口は、前記非標準フォトサイトに重なる開口よりも大きい画像センサ。
  38. 請求項32記載の画像センサであって、前記構造エレメントは、前記フォトサイトに重なるニュートラル・デンシティ・フィルタを備えており、前記標準フォトサイトに重なるニュートラル・デンシティ・フィルタの部分は、前記非標準フォトサイトに重なるニュートラル・デンシティ・フィルタの部分よりも透過的である画像センサ。
  39. 請求項32記載の画像センサであって、前記フォトサイト配列が、等しくない数の標準フォトサイト及び非標準フォトサイトに分けられる画像センサ。
  40. 画像キャプチャ・システムであって、
    標準フォトサイト及び非標準フォトサイトに分けられるフォトサイト配列を含む画像センサであって、前記標準フォトサイト及び前記非標準フォトサイトはともに、所定のパターンにおいて前記配列をまばらにサンプリングする画像センサと、
    通常モード及び拡張モードを有するシステム・コントローラとを備え、前記システム・コントローラが、前記通常モードでは、前記標準フォトサイトによって前記画像センサを動作させ、前記非通常フォトサイトは同じ光露出に対して同様な応答を有しており、光露出に対する第１の応答を有する標準フォトサイトと、同じ光露出に対する第２の、より遅い応答を有する非標準フォトサイトとによって前記画像センサを動作させるシステム。
  41. 請求項40記載のシステムであって、前記システム・コントローラは、ユーザ入力に基づいてモード間で切り換えるシステム。
  42. 請求項４０記載のシステムであって、前記システム・コントローラは、ユーザ入力に基づいて前記第１の応答及び前記第２の応答の相対的な振幅を調節することができるシステム。
  43. 請求項４０記載のシステムであって、前記システム・コントローラは、前記画像センサによってキャプチャされる画像信号の解析に基づいてモード間で切り換えるシステム。
  44. 請求項４０記載のシステムであって、前記システム・コントローラは、前記画像センサによってキャプチャされる画像信号の解析に基づいて前記第１の応答及び前記第２の応答の相対的な振幅を調節するシステム。
JP2007532612A 2004-09-22 2005-09-20 有効ダイナミック・レンジの拡張 Pending JP2008514134A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/946,919 US7623168B2 (en) 2000-07-13 2004-09-22 Method and apparatus to extend the effective dynamic range of an image sensing device
PCT/US2005/033670 WO2006036668A2 (en) 2004-09-22 2005-09-20 Extending effective dynamic range

Publications (2)

Publication Number Publication Date
JP2008514134A true JP2008514134A (ja) 2008-05-01
JP2008514134A5 JP2008514134A5 (ja) 2008-11-06

Family

ID=35911120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007532612A Pending JP2008514134A (ja) 2004-09-22 2005-09-20 有効ダイナミック・レンジの拡張

Country Status (5)

Country Link
US (2) US7623168B2 (ja)
EP (1) EP1803293A2 (ja)
JP (1) JP2008514134A (ja)
CN (1) CN101027912B (ja)
WO (1) WO2006036668A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087664A (ja) * 2001-09-11 2003-03-20 Seiko Epson Corp 半導体装置
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8432466B2 (en) * 2011-09-29 2013-04-30 International Business Machines Corporation Multiple image high dynamic range imaging from a single sensor array
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
KR20160109694A (ko) * 2015-03-12 2016-09-21 삼성전자주식회사 이미지 센서 및 상기 이미지 센서를 포함하는 이미지 처리 시스템
CN104754229B (zh) * 2015-03-27 2019-01-15 联想(北京)有限公司 一种图像处理方法及电子设备
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
US9892487B1 (en) * 2016-11-28 2018-02-13 Sony Corporation Method and apparatus for combining pixel values in array including linear pixels and logarithmic pixels
US10616453B2 (en) * 2017-01-11 2020-04-07 Nokia Technologies Oy Audio and visual system including a mask functioning for a camera module and an audio transducer module
US10638055B2 (en) * 2018-01-15 2020-04-28 Qualcomm Incorporated Aperture simulation
KR102549481B1 (ko) * 2018-05-10 2023-06-30 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2020177123A1 (en) * 2019-03-07 2020-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system
CN112312035B (zh) * 2020-10-29 2023-04-25 维沃移动通信有限公司 曝光参数调节方法、曝光参数调节装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316169A (ja) * 1999-05-06 2000-11-14 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP2002204399A (ja) * 2000-11-21 2002-07-19 Eastman Kodak Co 画像圧縮方法
JP2002209151A (ja) * 2000-11-21 2002-07-26 Eastman Kodak Co トーンスケール関数の生成方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4667092A (en) 1982-12-28 1987-05-19 Nec Corporation Solid-state image device with resin lens and resin contact layer
WO1987004530A1 (fr) 1986-01-20 1987-07-30 Georges Cornuejols Dispositif de traitement d'image pour le controle de la fonction de transfert d'un systeme optique
US5012333A (en) 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
US5420635A (en) 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US5801773A (en) 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US5541705A (en) 1994-01-12 1996-07-30 Kan; Michael Camera with large dynamic range
JP3525500B2 (ja) 1994-07-26 2004-05-10 ミノルタ株式会社 固体撮像装置
US6040858A (en) 1994-11-18 2000-03-21 Canon Kabushiki Kaisha Method and apparatus for expanding the dynamic range of sensed color images
JPH09116818A (ja) 1995-10-17 1997-05-02 Purotetsuku Japan Kk 撮像回路
KR0183761B1 (ko) * 1995-11-29 1999-03-20 김광호 고체촬상소자 및 그 제조방법
US5652621A (en) 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5948281A (en) 1996-08-30 1999-09-07 Sony Corporation Microlens array and method of forming same and solid-state image pickup device and method of manufacturing same
CN1181569C (zh) 1998-02-02 2004-12-22 杜邦显示器股份有限公司 有机半导体图像传感器
US6083429A (en) 1998-03-31 2000-07-04 Intel Corporation Microlens formation through focal plane control of a aerial image
WO1999052647A1 (en) 1998-04-16 1999-10-21 The University Of New Mexico Non-planar micro-optical structures
JP4018820B2 (ja) * 1998-10-12 2007-12-05 富士フイルム株式会社 固体撮像装置および信号読出し方法
US6137634A (en) 1999-02-01 2000-10-24 Intel Corporation Microlens array
JP4129338B2 (ja) 1999-04-30 2008-08-06 オリンパス株式会社 カラー撮像素子及び撮像装置
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7057659B1 (en) * 1999-07-08 2006-06-06 Olympus Corporation Image pickup device and image pickup optical system
EP1324599A4 (en) 2000-10-03 2006-07-19 Sony Corp FIGURE APPARATUS AND ILLUSTRATIVE METHOD
US6868138B2 (en) 2002-05-29 2005-03-15 The Regents Of The University Of Michigan Method, processor and computed tomography (CT) machine for generating images utilizing high and low sensitivity data collected from a flat panel detector having an extended dynamic range
JP3970185B2 (ja) * 2003-01-14 2007-09-05 富士フイルム株式会社 固体撮像素子及びデジタルカメラ
JP4484449B2 (ja) * 2003-05-08 2010-06-16 富士フイルム株式会社 固体撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316169A (ja) * 1999-05-06 2000-11-14 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP2002204399A (ja) * 2000-11-21 2002-07-19 Eastman Kodak Co 画像圧縮方法
JP2002209151A (ja) * 2000-11-21 2002-07-26 Eastman Kodak Co トーンスケール関数の生成方法

Also Published As

Publication number Publication date
WO2006036668A3 (en) 2006-05-26
US7697045B2 (en) 2010-04-13
EP1803293A2 (en) 2007-07-04
CN101027912B (zh) 2010-09-29
US20050036041A1 (en) 2005-02-17
WO2006036668A2 (en) 2006-04-06
US7623168B2 (en) 2009-11-24
US20100002119A1 (en) 2010-01-07
CN101027912A (zh) 2007-08-29

Similar Documents

Publication Publication Date Title
JP2008514134A (ja) 有効ダイナミック・レンジの拡張
EP1209903B1 (en) Method and system of noise removal for a sparsely sampled extended dynamic range image
US6813046B1 (en) Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device
JP3946492B2 (ja) 低解像度イメージの生成方法
US7756330B2 (en) Producing an extended dynamic range digital image
JP5155324B2 (ja) 被写体運動ぶれが低減されたデジタル画像
US6570613B1 (en) Resolution-enhancement method for digital imaging
JP4233257B2 (ja) 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用
JP3968121B2 (ja) 画像圧縮方法
US6909461B1 (en) Method and apparatus to extend the effective dynamic range of an image sensing device
US7999858B2 (en) Method and apparatus for obtaining high dynamic range images
JP2009506646A (ja) 光感度が改善されたイメージ・センサー
Catrysse et al. Roadmap for CMOS image sensors: Moore meets Planck and Sommerfeld
JP4246428B2 (ja) トーンスケール関数の生成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101206

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110301