JP2007527516A - 電荷結合装置に基づく分光計のダイナミックレンジ拡張装置および方法 - Google Patents

電荷結合装置に基づく分光計のダイナミックレンジ拡張装置および方法 Download PDF

Info

Publication number
JP2007527516A
JP2007527516A JP2006518607A JP2006518607A JP2007527516A JP 2007527516 A JP2007527516 A JP 2007527516A JP 2006518607 A JP2006518607 A JP 2006518607A JP 2006518607 A JP2006518607 A JP 2006518607A JP 2007527516 A JP2007527516 A JP 2007527516A
Authority
JP
Japan
Prior art keywords
region
charge
linear
pixel
linear pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006518607A
Other languages
English (en)
Other versions
JP2007527516A5 (ja
JP4818913B2 (ja
Inventor
クエニー,アンドリュー,ウィークス
Original Assignee
ヴェリティー インストルメンツ,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴェリティー インストルメンツ,インコーポレイテッド filed Critical ヴェリティー インストルメンツ,インコーポレイテッド
Publication of JP2007527516A publication Critical patent/JP2007527516A/ja
Publication of JP2007527516A5 publication Critical patent/JP2007527516A5/ja
Application granted granted Critical
Publication of JP4818913B2 publication Critical patent/JP4818913B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/457Correlation spectrometry, e.g. of the intensity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H04N3/1562Control of the image-sensor operation, e.g. image processing within the image-sensor for selective scanning, e.g. windowing, zooming
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713Transfer or readout registers; Split readout registers or multiple readout registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1525Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with charge transfer within the image-sensor, e.g. time delay and integration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】本発明は、ノイズをほとんど増大させずにCCDセンサのダイナミックレンジを拡張する装置、方法およびソフトウェア製品を目的とするものである。
【解決手段】まず、N×MピクセルのCCDセンサ配列の領域は、2つの領域に再分割される。大きい領域は、低ノイズの大きい振幅信号を出力するためにそれぞれの行において(M−a)個のピクセルを有し、小さい領域は、拡張されたダイナミックレンジの小さい振幅信号を出力するためにそれぞれの行において1つのピクセルを有する。集積時間において、CCDは、aまたは(a−M)個の垂直シフトのいずれか一方においてピクセル電荷をシフトすることによって、水平シフトレジスタに1つの領域の列を同時に読み出される。このとき、水平シフトレジスタの電荷は、N個の水平シフトにおける水平シフトレジスタの外にシフトされる。次に、CCDの領域においける残りのピクセルはaまたは(a−M)個の垂直シフトのいずれか他方においてピクセル電荷をシフトすることによって、水平シフトレジスタに読み出される。このとき、それらの電荷は、N個の水平シフトにおける水平シフトレジスタの外にシフトされる。分光法アプリケーションにおいて、2領域からのデータは、より大きい領域の列から大きい振幅チャンネルの形式で読み出され、より小さい領域の列から小さい振幅チャンネルの形式で読み出される。
【選択図】 図7

Description

本発明は、光学式の画像処理に関する。特に、本発明は、光センサからスペクトルデータを読み出すことに関する。さらに、本発明は、画像処理センサから読み取られたスペクトルデータのダイナミックレンジを拡張するための装置、方法、およびソフトウェアプログラム製品に関する。また、本発明は、焦点面でセンサの配列を使用することにより、広い波長範囲における複数の波長で光強度の略同時測定を提供する光学分光法測定機器に関する。
同時に多くの波長を監視することができる利点により、分光計として一般的に知られているこれらの機器は、急増している。固体センサ配列の発達に先がけて、選ばれた分光法機器は、モノクロメータであった。モノクロメータにおいては、1つの狭い波長域が測定のために選ばれ、1つの検出器が使われる。異なる波長で同時に独立した測定をする能力は、多くのアプリケーションの中で重要な利点である。にもかかわらず、利用可能な検出器配列が制限されることは、しばしばいくつかの要求のきびしいアプリケーションにおいて分光計の使用を妨げる。重要な制限の1つは、ダイナミックレンジである。ダイナミックレンジとして知られている特定の範囲内に存在する強度を有する信号を同時にのみ測定することができることは、固体センサ配列の一般的な特性である。本発明によって言及されるのはこの制限である。
従来技術における分光計は、光学式の画像処理システム、光検知システム、およびデータ処理要素からなる。光学式の画像処理システムは、その構成内への光に対し、スペクトルの特徴を分析する。分析された光は、光検知システムによって電気信号に変換され、電気信号は、データ処理要素による波長および時間の関数として、光の強度についての数値的または画像的な表現に変換される。
分光計の光学式画像処理コンポーネントについての詳細な説明は、「The Optics of Spectroscopy : a Tutorial,J. M.LernerおよびA. Thevenon著」である(これはここで全体に参照される)。これは、http://www. jyhoriba. co. uk/jy/oos/oosl. htmのthe Jobin Yvon Horiba company社のサイトでワールドワイドウェブ上で入手可能である。典型的な分光計の中で、ライトはスリットから進入し、波長に依存している角度によって格子またはプリズムによって拡散させられる。 スリットは焦点面でイメージされて、イメージは、拡散(FIG. 1)によって決定された波長と一致している長さによって長方形として視覚化することができる。 分光計の有益な波長範囲は短く、長波長限界のλ1とλNとの間の波長における連続分布から成る。 実際の場で、波長分離が中間で通常最もよく、一方がエッジに行く時に低下するので、他の次元はスリット長(光学の撮像特性)および必要とされている性能によって決定される。
分光計の光検知システムは、スペクトル情報の読み出しが可能な焦点面に置かれた検出器配列である。よいスペクトル分解能を有するために、個々のセンサ要素(ピクセル)が波長次元において小さいことが望ましい。典型的な次元は、10マイクロメートルオーダである。他の次元において、よい信号対雑音比を有するために、各ピクセルが画像の有効寸法までできるだけ大きいことが一般的に望ましい。紫外線から近赤外線の範囲(だいたい190nmから1100nmまでの範囲)において使用される分光計のために、フォトダイオードアレイ(PDA)、電荷結合素子(CCD)および電荷注入素子(CID)は一般的に用いられる検出器である。
PDAは、正方形または矩形センサの線形配列である。このアプリケーションにおいて、センサは、画像の波長軸に沿って配置される。この方向において、典型的な次元は10マイクロメートルオーダである。他の方向において、ピクセルは数百ミクロンと同じか、より長いかもしれない。分光法のために設計されたPDAの例は、Perkin Elmer Optoelectronics, Inc.社(2175 Mission College Boulevard, Santa Clara, CA 95054; 電話: (408) 565-0850))によって作られたRL1210LGQ-711である。このPDAは、2.5mm×25.6mmの全光感知エリアを有している。それは、25ミクロン×2500ミクロンの次元によってそれぞれ1024個のセンサ要素に分割される。矩形のピクセルは、波長軸に沿って小さく、スリットの方向に沿って大きい同時の要件に適する。
しかし、要求のきびしいアプリケーションのために、CCDはPDAよりしばしば好ましい。これは、固有の電気ノイズをずっと低くすることができるからである。分光学が用いられた現在のCCDについての詳細な説明は、Scientific Imaging Technologies, Incorporated社から出版された「An Introduction to Scientific Imaging Charge-Coupled Devices」という著書の中に発見でき、これを全体的に参照することができ、http://www.autovision.net/CCDs.pdf又はhttp://www.site-inc.com/pdf/introdat.pdfで示されるワールドワイドウェブ上で利用可能である。そのようなCCDの例は日本のハママツ社(HAMAMATSU PHOTONICS K.K., Solid State Division; 1126-1 Ichino-cho, Hamamatsu City, 435-8558 Japan, Telephone: (81) 053-434-3311, Fax: (81) 053-434-5184, http://www.hamamatsu.com;U.S.A.:Hamamatsu Corporation: 360 Foothill Road, P. O.' Box 6910, Bridgewater, N. J. 08807-0910, U.S.A., Telephone : (908) 231-0960)で製造されるS7031-1007装置である。このデバイスの全光検知エリアは、25.6mm×3.1mmである。全検知エリアは、上記で参照したPDAにおけるそれとほとんど同じであるが、CCDでは典型的なことだが、個々のピクセルは小さく、正方形(一片24ミクロン)であり、2次元の配列に配置される。
図2は、典型的なCCDセンサの機能要素を一般的に描き出した図であり、配列200を含む。配列200は、N行のそれぞれにMピクセルを有し、平行のシフト構図で配置される正方形(または矩形)のN×M配置のピクセル202、複数の独立したシフトレジスタを有し、連続するシフトレジスタ206、井戸210および増幅器212を具備する。図に示されるように、配列200は、一般にMピクセルのN個の平行線にそれぞれM個のピクセルを有する。各ピクセルは、他のピクセルに互いに取り付けられ、電荷を直下の列に転送し、行から行へ、連続したレジスタ206において個々のシフトレジスタ206−1から206−Nまで連続するシフトレジスタに平行に転送する。ピクセル202のそれぞれは、一方の方向に直線的な電荷を転送する。配列の最終行は、連続した(または水平の)シフトレジスタアーキテクチャ206であり、シフトレジスタ206−1から206−Nを用い、レジスタ間で同じ結合を用いて平行なアーキテクチャに垂直な方向に電荷を転送する。すべてのピクセルは、個々に読み取られてもよいし、ピクセルのグループからの電荷から様々な方法により一緒に読み取られてもよい。
当業者にはよく理解されるように、CCDは、操作上、光子を光子によって打たれるピクセルにおいて電荷に変換し、その電荷は、読み出されるまでピクセル井戸に保持される。個々のピクセル井戸は、有限量の電荷を保持する。その井戸が飽和したときが飽和井戸容量として区画される。CCDセンサが光に励起されて、電荷がピクセル井戸に蓄積可能となる期間は、「集積時間」として参照される。集積時間が経過すると、配列は読み取られる。それぞれのピクセルからの信号が個々に読み取られた場合、配列読み出しは、電荷のすべての行について同時に計時することによって、1つのピクセルから水平方向のシフトレジスタ206−1から206−Nに向けて開始する。ピクセル配列200の頂点から底まで1つのピクセルの水平行から次の水平行への平行シフトアーキテクチャによって、電荷は、ピクセル202の間でシフトされる。電荷の底の行は、シフトレジスタ206−1から206−Nの線形配列に転送される。このとき、連続するシフトレジスタアーキテクチャ206は、連続的に電荷をセンサ外に転送し、下にシフトさせて次の行の空間を作り、その次等も同様にする。結果として生じているストリームは、CCDセンサに衝突する光子の、ピクセル毎、行毎の表現である。しかし、連続してチップ出力が転送されることに先がけて、各ピクセルの電荷は、増幅器212より増幅され、結果としてピクセルの電荷に比例する電圧に変化するアナログ出力信号を生じる。増幅器212および最後の連続シフトレジスタ210−Nの間に配置により、井戸210を合計する。これは、ピクセルビニング操作(binning operations)に用いられる。
電気のノイズをさらに減らし、信号対雑音比を改善するために、例え、減少した空間分解能を犠牲にしてでも、配列は、、「ピクセルビニング」として知られる処理によって読み取られ得る。ピクセルビニングは、隣接するCCDピクセルにより集められた電荷を結合するのに用いられる計時方式として一般的に当業者により理解されている。隣接するピクセルのブロックから電荷をビニングすることにより、CCD上のより大きいサンプル領域を生成することによってノイズを低減させる。ビニングは、典型的に「エリアビニングモード」または「ラインビニングモード」のいずれかにより実行される。エリアビニングモードにおいて、ピクセルの正方形または矩形配置からの電荷は、センサによりスーパセルバリュに結合され、さらなる処理のために出力される。例えば、2×2ビニングは、4ピクセルのブロックからの電荷を1つの出力信号に結合し、3×3ビニングは、9つのピクセルからの電荷を同様に結合する。
2×2ビニング処理は、連続するシフトレジスタへの2つの連続的な垂直シフトと、1度に2つずつ集積井戸に対する一連の水平シフトとを含む。操作上、集積期間経過後、水平シフトレジスタに最も近い2つの水平ピクセル行からの電荷は、平行読み出しにおいて読み込まれ、それぞれの水平シフトレジスタにシフトされ、これによって、2つのピクセルの電荷を1つの水平シフトレジスタに集積させる。各ラインにおける他のピクセルからのいずれの電荷も2つのピクセルをより近い水平シフトレジスタに転送する。2つの垂直シフトの後、2つの連続的な水平のシフトは、電荷を2つの最後のレジスタから集積井戸に動かす。このとき、集積井戸は、ピクセルの2×2ブロックからの累積した電荷を保持する。これは、このとき、さらなるオフチップ増幅およびデジタル化のための電圧に、増幅され、変換される。いずれかの数のピクセルからの電荷は、シフトレジスタにシフトすることができるが、一度シフトレジスタの井戸が飽和すると、ピクセルからシフトした追加電荷は無視される。いずれの電荷も水平シフトレジスタを保持していない場合、ビニングされたピクセルの強度は、不正確である、すなわち、ラインシフトレジスタに保持されていない電荷の分だけ減少している。分光法のアプリケーションにおいて、ラインビニングモードは、典型的に読み出しに用いられる。図3は、図2に示されたCCDセンサのピクセル配置の検知部上に付記された図1のスペクトル画像を示す図である。本図から気付くように、スペクトルの波長は、配列200におけるピクセルの垂直のラインに一致する。個々のピクセルは小さいため、同じ波長に一致する多くのピクセルからの信号は、典型的にビニングされて、それぞれの波長のために1つの矩形センサを効果的に生成する。この一致性を使用することにより、ノイズのレベルを低減させることができ、信号対雑音比は、スペクトル波長が一致するピクセルを1つのスーパーセルにビニングすることにより改善される。これは、ラインビニングモードにおけるCCDの読み出しによりなされる。
図4は、従来技術に従ったラインビニングモードにおけるN×Mピクセル配列CCDセンサを読み出すための処理を示すフローチャートである。ビニング処理は、それぞれのラインのピクセル信号を垂直に読み出すことによるそれぞれの集積の後開始される。電荷は、N垂直シフトレジスタを平行な行毎の形式でN水平シフトレジスタに下方シフトさせる(ステップ402)。垂直シフトは、それぞれのピクセルラインのの電荷をその列の最後のシフトレジスタに蓄積する。これは、連続するシフトレジスタにおける実質的な水平シフトレジスタである。次に、Nピクセルラインのそれぞれからの電荷は、N水平シフトレジスタから取り出され、列ごとに、N水平シフトされる(ステップ404)。集積井戸におけるこれらの電荷を合計するというよりも、ラインピクセルデータは、列毎の形式でチップより出力される(ステップ406)。CCDを読み取った結果、時間に応じて振幅が変化するアナログ信号となる。このとき、アナログ信号は、増幅され、デジタル形式に変換される。そして、必要な計算は、データが表示されるように実行される。例えば、光強度と波長との表として示される。典型的に、強度の値は、いくつかの好適な範囲内の整数値、例えば、16ビットデジタイザが用いられる場合における0−65535の範囲内の整数値として表される。
CCDのダイナミックレンジは、通常デシベルで表された読み出しノイズに対する井戸深さの比率と関連している。CCDベースの分光計におけるダイナミックレンジの制限は、それぞれのピクセルおよびそれぞれの水平シフトレジスタが保持可能な電荷量の限界に起因している。不正確の測定は、何れのピクセルまたは何れのシフトレジスタにおいて蓄積された電荷がこの飽和レベルになると生じる。反対に、いくつかのノイズ源が、いずれのシフトレジスタの電荷の測定における固有の不確実性を生じる読み出し処理において存在する。それ故、測定の有効範囲は、電荷が固有のノイズレベルおよび十万井戸または飽和レベル下との間にあるときである。分光法が想定された実験室レベルのCCDのための典型的なダイナミックレンジの仕様は、75000である。
上述したように、分光法CCD配列のピクセル列に蓄積される電荷量は、その列を発光させる波長における光強度および電荷が読み出されるまでに蓄積可能な時間の双方に比例する。その上、当該時間は、集積時間と区画される。集積時間は、各列における電荷量が有効範囲内にあるように選択される必要がある。もし、対象のスペクトルが広く異なる強度の範囲に存在する場合、全体のスペクトルにとって好適な集積時間が存在しないかもしれず、問題である。さらに、極めて明るい特徴を含むスペクトルにとって、最も明るいラインの飽和を防止するのに十分短い集積時間を使うことは、可能ではないかもしれない。なぜなら、最小の達成可能な集積時間は、1つの満たされた垂直シフトおよび1つの満たされた水平シフトを実行するのにかかる時間だからである。
ダイナミックレンジ制限は、多くの違う方法で取り扱われている。いくつかをここで言及する。1つの方法は、異なる集積時間を用いて、スペクトル結果をインターリーブすることである。高いダイナミックレンジを持つ1つの複合スペクトルは、異なる集積時間を用いて得られた個々のスペクトルから抽出され得る。しかし、このアプローチは、最も短い集積時間で飽和されるラインについての問題を解決しない。ここで、ブルックスによって説明される他のアプローチ(米国特許5,675,411に全体的に参照される)は、フォトマスクを分光計に組み入れることにより、選択的に輝線を細めるようになっている。しかし、分光法が多様なソースを分析するために用いられる場合には、このアプローチは、適用可能ではない。また、別のアプローチは、ダイナミックレンジを改善するようにセンサの設計を変更する必要がある。これの1つの例は、全体的に参照される米国特許6,175,383においてYadid-Pechtらによって説明されたセンサである。Yadid-Pechtらは、各ピクセル上の集積時間が個々に設定されることを可能にする電気回路を示唆する。しかし、コストおよび製造能力を考慮すると、程々のコストで既存の高性能のCCDに適用可能な、これに代わるアプローチが望まれる。
本発明に特有の斬新な機能は、添付の請求の範囲に記述される。しかし、発明自体だけでなく、好ましい実施形態、さらにその目的および利点は、添付図面とともに以下の詳細な説明を参照することによりもっともよく理解される。
本発明の他の特徴は、添付図面および以下の詳細な説明から明白になるであろう。
ここに開示する発明は、光学式の分散および画像処理システム、光検知のためのCCDおよびデータ処理装置を具備する分光計である。CCDは、従来のラインビニングモードにおいて達成可能なこと以上に、ダイナミックレンジを増大させるために、動的な範囲を増大させるために、今まで未知であるピクセルビニング法、すなわち、「2領域ラインビニングモード」を採用する。データ処理装置は、本方法において生成された電気信号を波長の関数として光強度の数値的または画像的な表現に変換する。
ここに記載される発明は、それぞれの平行なラインピクセルがシフトレジスタを境界とする2次元配列のピクセルを有するCCDを用いる分光計に適用可能である。ピクセルラインは、垂直な方向(列)または水平な方向(行)のいずれか一方向に向けられればよいが、慣例的に垂直方向の列として向けられる。加えて、本発明は、個々の水平シフトレジスタにおける飽和井戸容量が列を形成する個々のピクセルにおける合計飽和井戸容量より少ないCCDにおいて適用可能であり、特に、シフトレジスタにおける飽和井戸容量がピクセルの飽和井戸容量と同じオーダ(1〜12倍)であるCCDにおいて適用可能である。商業的に生産される電荷結合素子の例は、CCDのS7030またはS7031シリーズのCCDエリアセンサ(HAMAMATSU PHOTONICS K.K.,Solid State Division; 1126-1 Ichino-cho, Hamamatsu City, 435-8558 Japan; Telephone: (81) 053-434-3311; Fax: (81)053-434-5184, http://www.hamamatsu.com;U.S.A.: Hamamatsu Corporation: 360 Foothill Road,P.O.Box 6910, Bridgewater, N.J. 08807-0910, U.S.A.; Telephone: (908)231-0960)が挙げられる。
ハママツ装置において、水平シフトレジスタの電荷蓄積容量は個々のピクセルの2倍の容量である。これらの装置またはこれに類する装置は、ラインビニングモード下の分光法を採用し、単一の水平シフトレジスタは、装置の特性に依存して電荷を256ピクセルまで受け取る。いくつかの明るいスペクトルラインを有するセペクトルが飽和して読み取られた場合、シフトレジスタは、個々のピクセルが満たされて、カラムに沿った光のみが得られるのが合理的であり均一のものとなる。スペクトルは、シフトレジスタの最大値で切り取られる。なぜなら、シフトレジスタの飽和井戸容量におけるいずれの電荷も無視されるからである。ここに記載のビニング方法により、スペクトルにおける他の場所の小さい信号の測定における信号対雑音比を大幅に減少させずに、輝線の振幅に関する情報が失われるのを防止する。
これは、小さい振幅のチャンネルおよび大きい振幅のチャンネルとしてのビニングのためのCCD配列の各(水平)ラインを分割することによって簡単に達成される。図5は本発明に係る実施形態にしたがった、2領域ラインビニングを実行することによる電荷結合装置ベースのダイナミックレンジを拡張するための装置を概略的に示す図である。装置500は、図2に示すような典型的なCCDセンサを具備し、一般にピクセル202のN×M配列による配列200を形成する(正方形または矩形として規定される)。配列200は、本発明に係る実施形態にしたがって、領域aおよび領域bに再分割される。したがって、センサ200の表面領域は、2つの別個の領域として示される。すなわち、a×Nピクセルを有するより小さい領域(ピクセルに影が付けられた領域として示される)および(M−a)×Nピクセルを有するより大きい領域である。aおよびbの値は、一般に具体的な場合に応じて最適に選ばれるが、典型的に、bは、aの10〜100倍大きくなるだろう。一般に、領域aからの信号は、より小さい振幅レベル、すなわち、(どちらかといえば、aチャンネルに比べて)小さい振幅チャンネルを生成する。一方、領域bからの信号は、より大きい振幅レベル、すなわち、(どちらかといえば、bチャンネルに比べて)大きい振幅チャンネルを生成する。図5における配列200から理解できるように、領域aは、配列上の多数のピクセル行により区画され、領域bは、いずれの列に対してもa+b=M(ここで、Mは配列200における列の総数)であるような配列上の多数のピクセル行により区画される。
また、装置500は、本実施に係る他の実施形態にしたがって、CCD200の読み出しを制御し、そこから得られた信号を処理する構成をも含む。これらの構成は、一般的にバス520として一般的に示される一連のシステムバスに沿って、データを送受信し、アドレスし、計時する。システム構成は、不揮発性メモリ504またはRAM506のいずれかであるメモリに記憶された手順を実行するための処理装置502を含む。これらの手順は、CCD制御装置510を介してCCD200のための読み出しシフト手順を含む装置命令に一般的に付随する。システムクロック508は、シフト命令のためにシステムを計時する。さらに、処理装置502は、CCD200からの信号の後処理に関する手順を実行してもよい。典型的に、これらの信号は、アナログ信号として出力され、A/D変換器512を用いてデジタル表現に変換され、チャンネルバッファ514において後処理を待つ間バッファされる。一方、デジタル信号は、後処理命令に先立って、RAM504に一時記憶されてもよい。一度処理されると、データはRAM506またはより恒久的な不揮発性メモリ504に記憶されてもよい。結局、処理されたデータは、メモリから読み出され、表示される。本発明の実施形態においては、分光計である装置500を参照しているが、ここに記載される発明は、電荷結合画像処理装置のダイナミックレンジを拡張することを実現するためにラインビニングを用いる装置として実施可能であることについて、理解されるべきである。
本発明の一実施形態において、スペクトルは、各領域に配置されたピクセルから独立して読み取られることになっている。aの値がbの値よりずっと小さい場合、既知のラインビニングモードにおいて読み取られた全体の領域すなわち(a+b)×M領域を有することに比べてそれほど低下しない大きい領域bを測定する。大きい領域bから読み取られた振幅は、より小さい領域aから読み取られた振幅より大きい振幅を生じ、ここでは大きい振幅チャンネルとして参照する。このように、領域b(M−aピクセル)の列においてピクセルから得られた信号対雑音比は、M個のピクセルのそれぞれの列においてピクセルから得られたものと比較し続ける。スペクトルの他のコピーは、領域a(より小さい領域)から読み取られる。小さい領域aから読み取られる振幅は、より大きい領域bから得られた振幅より小さい振幅を生じ、ここでは小さい振幅チャンネルとして参照する。特別な注意は、大きい領域bから読み取られるスペクトルにおいて飽和したスペクトルの輝部に払われる。
上記他の場所で言及されるように、CCD配列200は、拡散(波長)方向に沿って分配されたN個の行を有し、行のそれぞれにM個のピクセルを有しているものとする。分光計に採用される従来のラインビニング読み出しモードによれば、ピクセルのそれぞれの行からの電荷は、それぞれの水平シフトレジスタに同時にシフトし、その電荷は、水平シフトレジスタの外にシフトして、上記で詳しく述べたように検知される。これに対し、本発明に係る実施形態によれば、CCD読み出しは、2つの部分で実行される。まず、1つ目の部分においては、それぞれの行からのピクセルの小さい数aは、それぞれのシフトレジスタに転送される。このとき、電荷は、水平シフトレジスタの外へシフトし、通常の方法、例えば、後処理の間使用可能な小さい振幅チャンネルのための記憶装置で検知される。2つ目の部分においては、それぞれの行における残りのピクセル(b=M−a)からの電荷がシフトレジスタに転送される。最終的に、水平シフトレジスタは、2つ目のときに読み取られ、大きい振幅チャンネルは、後処理の間、それぞれの記憶装置に記憶される。代わりに、小さいおよび大きい振幅チャンネルは、実行中に処理されてもよい。
図6は本発明に係る実施形態における2領域ラインビニングモード下のN×Mピクセル配置CCDセンサを読み出すための処理を示すフローチャートである。2領域ラインビニング処理は、少なくともピクセル井戸のいくつかが電荷を蓄積するのに十分な時間を経過したとき、各集積時間の終わりに1回開始される。なぜなら、小さい領域は、水平シフトレジスタに隣接し、当該領域のピクセル配置がまず読み取られるが、これは本実施形態における特性であり、大きい領域bが水平シフトレジスタに隣接すると区画してもよく、関連する技術の当業者によって本ビニングモードの改良は以下の説明から高く評価されるだろう。領域aは、「a」の垂直シフトの合計を作るように、それぞれのピクセル行のために、配列の最初のa列がN個の水平シフトレジスタに読み出される(ステップ602)。垂直シフトは、配列の最初のa列からの電荷だけではなく、すべてのM列からシフトする。その後、水平シフトレジスタのそれぞれは、そのピクセル行から蓄積された電荷を保持する。当該電荷は、N個の連続する水平シフトにおいてN個の水平シフトレジスタから読み出される(ステップ604)。なぜなら、CCDセンサのN個の各行は、離散的な波長(または波長の領域)と関連するので、蓄積された電荷は、例え振幅が小さくても、それぞれの波長の強度を表現する。このように、各レジスタからのデータは、直接記憶装置に小さい振幅チャンネル波長測定として移動させることができる(ステップ606)。代わりに、下記の開示からより明らかになることではあるが、各レジスタからのデータは、特定の波長(またはピクセル行)のための大きい振幅チャンネルデータに対する関係に基づいて処理されることとしてもよい。いったんCCD配列の領域aが読み出されると、領域bは、同様の方法で読み込まれ得る。しかし、領域bからの電荷は、前の垂直シフトの間、水平シフトレジスタにより近いa列にシフトされる。それゆえ、領域bは、「b」垂直シフトの合計によってN個の水平シフトレジスタにもっとも近い配列のb列に読み出される(ステップ608)。水平シフトレジスタにおける領域bの各ピクセル行からの蓄積された電荷によって、当該電荷は、N個の連続する水平シフトにおいて読み出される(ステップ610)。各水平シフトレジスタにおけるデータは、波長と関連するので、データは、大きい振幅チャンネル波長測定として記憶装置に直接的にシフトされ得る(ステップ612)。いったん大きい振幅チャネルが記憶されると、小さいおよび大きい振幅データは、スペクトルに処理される。しかし、より詳しく2チャンネルデータの後処理を述べる前に、光学分光法測定を得るためのより具体的な関係における2領域ラインビニングモードのアプリケーションが理解に役立つだろう。
最初に、大きい領域bから得られたデータは、一般的に、小さい領域aから得られたデータの信号対雑音比よりずっとよい信号対雑音比を持つものとされる。領域選択によって、信号対雑音比は、M個のピクセルライン全体からのデータの信号対雑音比に近づくかもしれない。しかし、M個のピクセルラインと同様な方法において、領域b(b=M−aを思い出せ)の行は、スペクトルのより高い発光領域における飽和に影響され易い。小さい領域におけるデータは、少なくとも水平シフトレジスタの井戸深さの観点で、飽和の影響はずっと少ない。つまり、領域が小さいほど、その領域に蓄積され得る全体の電荷は少なくすることができるからである。したがって、本発明に係る実施形態の1つの側面において、より大きい振幅領域から得られた飽和データは、小さい振幅領域からの不飽和データに代替されることとしてもよく、こうして、スペクトルデータのダイナミックレンジが拡張される。データは、行毎を基準に置き換えられる。
aおよびbの値は、所望のダイナミックレンジの拡張に従って選択されるだろう。実現されるダイナミックレンジの改善は、おおよそ
Figure 2007527516
で示される。ここで、FpおよびFhは、ピクセルおよび水平シフトレジスタの飽和井戸容量である。ハママツのS7031-1007装置において、ダイナミックレンジの理論的な最大の拡張は、a=2とし、垂直シフトレジスタ容量に対する水平シフトレジスタ容量の比が2である事実を使用した場合、この式に従うと、ラインビニングモードにおける能力上で約60となる。実際の改善は、ここで計算される数値とは異なるかもしれない。なぜなら、光学により形成されたスペクトル画像は、垂直方向に均一であるとはいえないからである。ダイナミックレンジにおける改善は、小さい振幅チャンネルにおける信号にノイズが吹かされることは理解されるべきである。このノイズは、減らすことはできるが、ダイナミックレンジにおける改善に損失が出るだけである。例えば、a=10の値を選択すると、ダイナミックレンジにおける改善は10より減少するが、同時にノイズを√10まで低減させる。
本発明に係る実施形態において、2領域ラインビニングモードを利用する分光計は、例えもっとも短い集積時間が利用可能であっても、光源をラインビニングモードにおいて飽和するのに十分な明るさに作用させるかもしれない。しかしながら、2領域ラインビニングを実行するために必要とされる最小の集積時間(tab(min))は、従来のラインビニングモードに用いられた時間(tM(min))に付加したN個の水平シフトを行うために必要な時間(thoriz)の分を掛けたものに比べて、より長い。典型的に、従来のラインビニングモードにおいて1つのCCDのための最小の集積時間は、
Figure 2007527516
で定義される。
2領域ラインビニングモードは、飽和行の垂直シフトを2つの部分的な行シフトに分割することを含み、以下に定義される付加的な飽和水平シフトが行われる。
Figure 2007527516
atvert+btvert=Mtvertであるため、式(3)は、
Figure 2007527516
となる。
horiz≡tvertと仮定し、CCD配列において、N>>M;Nthoriz>>Mtvertであるため、
Figure 2007527516
となる。
有用な方法によれば、分光計に用いられるほとんどのCCD配置は、垂直列よりもはるかに多くの水平行が配置されており、つまりN>>Mとなり、したがって、概算すると、2領域ラインビニング法を用いるコストは、達成される最小の集積時間の2倍となる。非常に明るい光源を取り扱うとき、従来用いられて測定されたもっとも明るい光源は、最小の集積時間が用いられたとき、水平シフトレジスタを飽和させるものである。2領域ラインビニングモードを用いると、集積時間は、効果的に2倍となり、同じ光源ではa<M/2のような値の水平シフトレジスタを飽和させることはないだろう。したがって、aおよびbを選択する他の方法は、特定の行または波長の範囲に一致する行の範囲における信号レベルの目標値を考慮することであり、式(1)を用いて、aチャンネルにおける目標信号レベルを生じるaを選択することである。この方法により、領域bのサイズは、十分に減少し、このチャンネルにおける信号対雑音比は低減するが、所定のアプリケーションにおいてこの方法は、興味深くないかもしれない。
ここに記載する2領域ラインビニングモードを採用する前に、考慮されるべき最終的な問題の1つは、小さい振幅チャンネルと大きい振幅チャンネルとの振幅測定間の関係を構築することである。好ましくは、チャンネル間の関係は、それぞれの波長について線形であり、各波長に想定される各チャンネルから1またはそれ以上の波長を比較することによって構築されてもよい。これらの振幅レベルは、CCDに固有の電子雑音レベルより高く、飽和レベルより低くあるべきである。
図7は、本発明の実施形態にしたがって、N×Mピクセル配列を有する光センサを用いた光学分光測定における2領域ラインビニング法の実施方法を示すフローチャートである。本配列は、ピクセル行に一致するスペクトル波長と位置合わせされることが推定される。処理は、スペクトル波長とNピクセル行のそれぞれとの間での一致を構築することにより開始する(ステップ702)。典型的に、このステップは、正常に予め設定されている分光法においてよく省略される。次に、領域aおよびbは、M×N配列上に区画される(ステップ704)。aおよびbの値は、上記式(1)を用いたaチャンネルにおけるスペクトルが飽和するのを回避するのに必要な減少量に基づいて決定され得る。ダイナミックレンジの拡張は、より大きくなるa、または、水平シフトレジスタ自身が飽和したときの水平シフトレジスタを飽和させたピクセルの数、に対する、ある行におけるピクセルの総数の比である。式(1)からすぐに明白であるが、ダイナミックレンジの拡張の最大値は、a=Fh/Fで示され、aの値が増大すると、つまりa>1で、信号対雑音比は、大きい振幅チャンネルにおいて増大する。
大きい振幅チャンネルからのスペクトルデータが飽和を示す振幅における波長を除いた場所で用いられることが予期される。この場合、小さい振幅チャンネルが使用されるだろう。データ処理のための手段の例の1つは、小さいおよび大きい振幅チャンネルの双方からの情報を1つの、ワイドダイナミックレンジスペクトルに結合することである。これは、それぞれのチャンネル間で線形関係を構築し、当該関係を用いて小さい振幅チャンネルからのデータを線形にスケーリングすることによって実現されるだろう。関係は、好ましい単一の関係として決定されるかもしれないが、各波長において異なる関係が必要な場合、大きい振幅チャンネルにおける作動範囲を交差する2つのチャンネルからの波長を比較する、すなわち、電子ノイズを超えて飽和しない十分な波長に決定される。各波長の線形関係データは、各波長毎に必要であり、振幅の後処理において使用すべく記憶される。この関係は、一般に装置に固有のものであり、したがって、2領域ラインビニングモードにより動作する分光計毎に決定されるべきである。
いったん所望のダイナミックレンジの拡張および振幅チャンネル間の線形関係が決定亜Sれると、光学分光法測定は、2領域ラインビニングモードにおいて開始される(ステップ708)。上述したように、ここに記載した2領域ラインビニングモードは、それぞれ読み出された生の分光データについての2つのデータチャンネル、すなわち、大きい振幅データチャンネルおよび小さい振幅データチャンネルを生じる。これら2つのチャンネルにおけるデータは、より便利な形式に後処理されてもよい(ステップ710)。1つの方法としては、2つのチャンネルの分光計において別個のチャンネルとして単に交互に読み取られることが考えられる。大きい振幅チャンネルは、その波長が飽和状態にあることを示す場所を除くすべての場所で用いられるだろう。飽和状態にある場合には、小さい振幅チャンネルが用いられるだろう。
2チャンネル分光計表示としてのデータを表示することに代えて、小さいまたは大きい振幅チャンネルの双方からの2チャンネル振幅データを単一のワイドダイナミックレンジスペクトルに結合させてもよい。図8は、本発明に係る実施形態において、小さいおよび大きい振幅チャンネル測定を単一のワイドダイナミックレンジスペクトルに結合する後処理の方法を示すフローチャートである。まず、スペクトル測定のための各チャンネルの振幅データは別個にバッファされる。本処理は、領域bから得られたメモリから大きい振幅データを読み出すことにより開始する(ステップ802)。スペクトルは、離散的な波長が次々に読み取られ、各波長において補和についてテストされる(ステップ804)。波長の振幅で飽和市内ならば、すなわち、振幅測定が飽和値(例えば、65535カウント)を下回る場合、振幅測定は、さらなる処理を行うことなくスペクトルを付加され(ステップ812)、そしてスペクトルは、完全性についてテストされる(ステップ814)。スペクトルが完全であれば、単一のワイドダイナミックレンジスペクトルとして表示される(ステップ816)。スペクトルが完全でなければ、処理はステップ802に戻り、大きい振幅チャンネルデータを保持したバッファから他の波長を読み取り、飽和についてテストされる(ステップ804)。波長振幅が飽和されることを決定すると、小さい振幅チャンネルの振幅が、一致する波長についての小さい振幅バッファから読み取られる(ステップ806)。小さい振幅データは、大きい振幅データより少ないピクセル列からサンプリングされるため、その振幅は、大きい振幅データより小さいが、線形に関係する。この波長についての線形関係は、上記ステップ706に記載された技術により決定されるが、引き出され(ステップ808)、小さい振幅チャンネルの振幅に適用される(ステップ810)。そうすることにより、小さい振幅チャンネルからの波長は、大きい振幅チャンネルに比例してスケーリングされる。このとき、その振幅は、スペクトルに付加され得る(ステップ812)。そして、スペクトルは、完全性について再びテストされる(ステップ814)。処理は、スペクトルの波長について、すべてのワイドダイナミックレンジスペクトルが集積し、1度に1波長となるまで繰り返される。この結果生じるワイドダイナミックレンジスペクトルは、大きい振幅チャンネルの振幅測定から基本的に構成される。測定が小さい振幅チャンネルから引き出される信号は大きいため、それらはより小さい雑音レベルによる干渉に対して影響を受け難い。一方、そのような干渉に対する影響を受け易い小さい信号は、従来のラインビニングモードを用いて生成したスペクトルデータ(特に、b>>aおよびM≒b)と略同様のノイズフリーな大きい振幅チャンネルから引き起こされる。それゆえ、複合スペクトルのダイナミックレンジは、従来用いられて生成されたスペクトルのそれよりずっと大きい。
Verity Instruments, Inc., 2901 Eisenhower Street, Carrollton, TX 75007により製造された分光計(SD1024)は、記載された方法を用いるべく、a=1およびb=121を用いるように変更された。高強度チャンネルは、既知のラインビニングが使われたなら観測されたであろうものと本質的に同じである。観測されたダイナミックレンジへの拡張は、23のファクタであった。図9は本発明に係る実施形態における2つのチャンネルから読み出された低強度領域のスペクトル例示する図である。図9は強度が低いスペクトル部分が示され、したがって、いずれのチャンネルも飽和されていない。この領域において、大きい振幅チャンネル(左側)はよりよい結果を与えている。小さい振幅チャンネル(右側)は、大きい振幅チャンネル(右側)と同様の縮尺となるように、リスケーリングされている。大きい振幅チャンネルおよび小さい振幅チャンネルのいずれも飽和されていないため、この領域におけるよりよい測定は、大きい振幅チャネルによるものとなる。
図10は、本発明に係る実施形態における2つのチャンネルから読み出された高強度領域のスペクトル(図9において示されたスペクトル)を例示する図である。この領域において、大きい振幅チャンネル(左側)は飽和しているが、小さい振幅チャンネル(右側)は利用可能な結果を与えている。大きい振幅チャンネル(左側)は、65536カウントで切り取られ、飽和により使用不可能である。リスケーリングされた小さい振幅チャンネル(右側)は1,500,000カウントで飽和する。ダイナミックレンジの増大は、23段である。
aまたはaならびにbを選択することは、画像処理装置の意図されるアプリケーションによって様々な事象と連係してなされ得る。例えば、aの値は、画像処理装置の初期設定段階で決定されてもよい。分光計に関して、テストデータは、目標振幅の範囲内のaチャンネルまたはbチャンネル落下からのいずれか1またはそれ以上選択された波長の信号振幅のような、aまたはaならびにbの値を選択するために集められ、用いられる。
一方、aの値は、連続する画像センサ読み出し間で直ちに決定され、その後使用されてもよい。操作におけるこのモードは、例えば、一連の分光計測定が進行中の処理を行う所定のアプリケーションにとって極めて便利である。本発明に係る本実施形態において、処理における時間またはポイントは、aまたはaならびにbの値を選択するために決定される。処理における予め決められたポイントで、aチャンネルまたはbチャンネルのいずれかからの1またはそれ以上の選択された波長の振幅は、目標振幅の範囲と比較される。信号振幅が目標範囲内にある場合、aまたはaならびにbの値のさらなる調整は必要ない。範囲内にない場合、aまたはaならびにbの値は、所望の方向に調整され、他の測定が行われる。aまたはaならびにbの値は、信号振幅が目標振幅の範囲内になるまで測定の間で繰り返し調整される。いったん設定されると、aおよびbの値は、残りの処理のために固定され続ける。具体的な例について、選択された波長のための信号振幅がbチャンネル上で高すぎて、aチャンネル上で低すぎる場合、aの値は、例えば、aチャンネルの振幅が目標振幅の範囲内になるまでaの値を2倍にすることによって、それぞれの測定において増大されるかもしれない。逆に言えば、選択された波長のための信号振幅がbチャンネル上で高すぎてaチャンネル上でも高すぎる場合、aの値は、例えば、aチャンネルの振幅が目標振幅の範囲内になるまでaの値を半減させることによって、それぞれの測定において減少されるだろう。aチャンネルおよびbチャンネルの選択された波長についての信号振幅がともに低すぎる場合、aおよびbの値のいずれか一方は、例えば、そのチャンネルの振幅が目標振幅の範囲内になるまでまたはその値がMになるまで(もはや値を調整することが物理的に不可能となるまで)それぞれの測定において増加することとしてもよい。
画像分光計において、光は、スリットの異なる領域において発光された異なる光源から複数のスペクトルに分解する能力をさらに有する。図11は、画像分光計の焦点面におけるスペクトル画像の図であり、画像が長手方向が波長に一致する矩形として可視化される。スペクトル1102は、互いの間にわずかな分離を有して第2のスペクトル1104上に投影される。本発明に係る実施形態において、2またはそれ以上の矩形画像が波長軸に対して垂直な方向に沿って配置されていること、波長分散に対するそれぞれ独立した強度を有していること、および、そのそれぞれは、混合された画像の全範囲が単一の画像範囲と等しくなるように、波長方向に直角な範囲において減少されることが上述の図1に示されている。
画像分光計からの混合画像のもっとも単純な例は、2チャンネルスペクトルである。これは、2つの光源、ここで言う、光源CおよびA、を有し、画像配置上の画像領域にそれぞれを一致させる。この場合、ここに記載される2領域ラインビニングモードは、互いの光源が独立した強度対波長分散を有する別個の画像を投影するため、適切ではない。領域Aに対する2領域ラインビニングにおけるアプリケーション考慮すると、ここで、領域Aを領域A’およびB’に再分割すると、これらは、領域aおよびbが従来の画像なしの分光計の場合における全体画像に関係するのと同様に、元の領域Aに関係する。集積の最後に、領域Aすなわち領域A’の部分からの電荷は、シフトレジスタに移動される。同様に、領域Cからの電荷のいくつかは、領域Aの領域B’部分に移動される。すなわち、画像配列の領域は、領域Cとシフトレジスタとの間にある。領域B’にある領域Cからの電荷は、光源Aに露光される。信号を領域A’から読み取ることに使用される連続する水平シフトが実行される間、光源Aは、領域Cから下にシフトされた電荷を付加する。結局、領域Cからの電荷が読み取られたとき、混合された領域Aからの電荷の存在によって誤りが生じる。同様の事象は各領域からの信号に影響を与える。
図12は、本発明に係る実施形態において、2またはそれ以上の画像が投影されており、それぞれが独立な強度対波長分散を有する画像分光計に2領域ラインビニング技術を適用可能な変更を行った装置を一般的に示す図である。装置1200は、多くの面で図5を用いて上述した装置500と似ているため、異なる箇所のみを記述する。しかしながら、一般的に、画像配置1202は、波長方向に対して直角な方向においてピクセルの数の2倍、例えば、2Mピクセルから選択される。これは、配列1202の上半分における画像に混合画像を用意する必要があるためである。配列1202の上半分は、投影された別個の画像と一致する領域に再分割される。例を示すと、配列1202の上半分は、ピクセル1204を有する領域aとピクセル1206を有する領域cとに再分割される。示された図において、スペクトル1102は、領域aに投影されるスペクトル1104上の領域cに投影される。しかし、実際には、露光される配列の上部は、本発明の範囲から逸脱することなくいくつかの領域に再分割されてもよい。配列1202の下半分は、ピクセル1208を有する暗い領域からなっている。暗い領域は、画像の外側にあり、それゆえ、ピクセル1208は、露光されることは決してない。一方、ピクセル1208は、不透明なマスクによって潜在的な光の汚染から保護されるだろう。
操作の間、スペクトル1102およびスペクトル1104は、領域aおよびc上に投影され、ピクセル1206および1204においてそれぞれ蓄積された電荷を引き起こす。画像配列1202の上半分が予め決められた時間、tintの間、露光された後、画像全体が急速にM個のピクセルが暗い領域のピクセル1208に下降シフトされる。空である水平シフトレジスタに続いて、領域bから蓄積された電荷は、スペクトル1104に一致するが、水平シフトレジスタ206にシフトされ、aチャンネル信号として水平に外へシフトされる。このとき、領域cからのピクセル1102に蓄積された電荷は、スペクトル1102に一致するが、水平シフトレジスタ206にシフトし、cチャンネル信号として読み出される。
2領域ラインビニング技術の変更の実行についてさらに考慮すると、図13は、本発明に係る実施形態において、ある領域に蓄積された電荷と他の領域に蓄積された電荷とを混合するのを防止する暗い領域を含むN×2Mの複数領域に蓄積された電荷を読み出す詳細な処理を示すフローチャートである。この処理は、異なる領域の画像スペクトルスリットにおいて発光する異なる光源からの複数のスペクトルを分解するときに、特に適用可能である。一般的に、画像配列は、n+1個の個別のピクセル領域を有するものとして区画される。配列の下半分にある暗い領域も含まれる。暗い領域は、少なくともM個のピクセル列を有し、画像の外側全体に配される(図12においてピクセル1208として示される)。配列の上部におけるn個のカバーされていない領域は、露光される(図12において領域aおよびcがそれぞれピクセル1204および1206として示される)。M個のピクセル列のみが暗い領域であるとすると、n個の上側領域のそれぞれは、配列におけるピクセル列の予め決められた関係を有する。つまり、領域nがMn/(a+c+...+n)個のピクセル列を有するまで、領域aは、Ma/(a+c+...+n)個のピクセル列を有し、領域cは、Mc/(a+c+...+n)個のピクセル列を有する。1またはそれ以上の画像は、配列の上半分に投影され、それぞれの画像は、n個のカバーされない領域のうちの1またはそれ以上に一致する。
測定サイクルは、M個の垂直シフトを生成することにより、N×2M画像配列の配列の上部を消去することによって開始する(ステップ1302)。続いて、電荷は、予め決められた集積時間であるtintの間、n領域に集積される(ステップ1304)。集積の後、配列の上半分におけるn領域に蓄積された電荷は、M個の垂直シフトを用いて暗い領域に移動される(ステップ1306)。本処理のこのポイントで、シフトレジスタ206は、望まれていない電荷を保持しており、それゆえ、M個の水平シフトを生成することによりデータを保護することなしに、空にする(ステップ1308)。
次に、開かれた領域、すなわち、領域a,c,...,およびnにおいて蓄積された電荷は、暗い領域からシフトレジスタを通じて、暗い領域において記憶された各領域の電荷を読み出す一連の繰り返し読み出しが用いられるNチャンネル信号としてメモリに転送される。各読み出しは、それぞれの領域のピクセル列の数に等しい垂直シフトの集合(暗い領域からN個のシフトレジスタに電荷をシフトするために)およびN個の水平シフト(N個のシフトレジスタから、例えば、メモリに電荷をシフトさせるために)を有する。ここで、暗い領域における最低領域の電荷において、電荷は、暗い領域からMa/(a+c+...+n)個の垂直シフトにおけるN個のシフトレジスタにシフトされ(ステップ1322)、そのとき、N個の水平シフトにおけるレジスタの外にシフトされる(ステップ1324)。暗い領域における次の領域の電荷は、Mc/(a+c+...+n)個の垂直シフトを有するN個のシフトレジスタに転送され(ステップ1332)、N個の水平シフトにおけるN個のシフトレジスタの外に転送される(ステップ1334)。読み出し処理は、最後の領域、すなわち領域まで暗い領域において当該領域の電荷を通して繰り返される。このとき当該電荷は、Mn/(a+c+...+n)個の垂直シフトを外にシフトし(ステップ1342)、N個の水平シフトを外にシフトする(ステップ1344)。このとき、1つの測定処理が終わる。もちろん、実際には、読み出し処理は、暗い領域を消去することにより、すべての測定が行われるまで繰り返され、継続される(ステップ1302)。
暗い領域に記憶された電荷が読み出される時間の間、所望しない電荷が配列の上半分における領域a,c,...,およびnに蓄積される。他の測定が要求される場合(ステップ1350)、測定サイクルは、前述のM垂直シフトにおけるのと同様に配列の上半分における領域a,c,...,およびnから所望しない電荷を消去して開始する。処理は、もはや測定が望まれないこととなるまで上述したように継続される(ステップ1350)。
上述した処理において、領域a,c,...,およびnのそれぞれにおいて蓄積された電荷は、一連の垂直シフト、すなわち、領域a,c,...,nのそれぞれを通じてただ1つの水平シフトが存在する、において読み出される。しかし、図5における配列全体の別個の領域aおよびbへの分岐における共通性において、図12における異なる領域a,c,...,nのそれぞれは、さらに再分割されてもよい。例えば、領域aは、領域a’および補助的領域である領域bに再分割されてもよい。ここで、a=a’+bである。これにより、拡張されたダイナミックレンジの観点から上記で詳述した利益が生じる。すべてまたはいずれかの領域が所望の通り再分割されてもよいし、何れの領域についても再分割されなくてもよい。さらに、再分割の細かい点は、本発明の範囲および目的を逸脱しない読み出しサイクルにおいて変更されてもよい。
請求の範囲において、対応する構成、素材、行為およびすべての機能的手段または工程要素は、他の請求項の要素と結合して機能を実現し得る構造、素材または行為を含む。本発明についての記載は、例示および説明のために表されたものであるが、包括的であることを意図したものではなく開示された形式に本発明が限定されるものではない。本発明の範囲および趣旨を逸脱しない範囲で多くの変更やバリエーションが当事者によって明らかにされるだろう。実施形態は、本発明の原理および実現化についてもっともよく説明するため、および、特定の使用に適するのに好適なものとして様々な変更を加えた様々な態様のために他の当業者が本発明を理解することができるために、選ばれて記載された。
図1は分光法からの画像を例示するための図である。より長い次元(水平方向)が従来技術において一般的に理解されている程度の波長と一致している。 図2は従来技術において一般的に理解されている典型的なCCDセンサの機能要素を一般的に示す図である。 図3は従来技術において一般的に理解されているCCDセンサのピクセル配列の感知部上に重ね合わせられたスペクトル画像を示す図である。 図4は従来技術に従ってラインビニングモードにおけるN×Mピクセル配列CCDセンサを読み出すための処理を示すフローチャートである。 図5は本発明に係る実施形態にしたがって、従来技術で知られている領域aと領域bに再分割されているピクセルのN×M配列における典型的なCCDセンサを示す図である。 図6は本発明に係る実施形態にしたがって、2領域ラインビニングモードにおけるN×Mピクセル配列CCDセンサを読み出す処理を示すフローチャートである。 図7は本発明に係る実施形態にしたがって、N×Mピクセル配列を有する光センサを用いて、本光学分光法測定における2領域ラインビニング法を実施するための方法を示すフローチャートである。 図8は本発明に係る実施形態にしたがって、わずかな増幅および大きい増幅のチャンネル測定を1つの広いダイナミックレンジスペクトルに結合するための後処理の方法を示すフローチャートである。 図9は本発明に係る実施形態にしたがって、2つのチャンネルにおいて読み出されたスペクトルの低強度領域を例示する図である。 図10は本発明に係る実施形態にしたがって、2つのチャンネルにおいて読み出されたスペクトルの高強度領域を例示する図である。 図11は画像が波長と一致している長さの次元を持った矩形として視覚化されるときの画像処理分光計の焦点面におけるスペクトル画像を示す図である。 図12は本発明に係る実施形態にしたがって、2つ以上の画像が投影された画像処理分光計に適用可能な2領域ラインビニング技術のバリエーションを実行するための装置の概略図である。 図13は本発明に係る実施形態にしたがって、他方の領域における蓄積された電荷を有する一方の領域において蓄積されたチャージを侵すことのないN×2Mピクセル配列の複数の領域に蓄積された電荷を読み出す処理についてのフローチャートである。
符号の説明
200 ピクセル配列
202 ピクセル
206 シフトレジスタ
210 連続シフトレジスタ
212 増幅器
502 処理装置
504 不揮発性メモリ
508 システムクロック
510 制御装置
512 変換器
514 チャンネルバッファ
520 バス

Claims (50)

  1. 画像センサから読み出されるデータについてダイナミックレンジを拡張するための方法であって、前記画像センサは、N個の線形ピクセル配列を有し、N個の線形配列のそれぞれは、各ピクセルに電荷が結合し、さらにN個のレジスタの1つに結合されたM個の電荷結合ピクセルを有し、前記方法は、
    N個の線形ピクセル配列における少なくともいくつかのピクセルに電荷を集積すること、
    N個の線形ピクセル配列のそれぞれに沿ってN個のレジスタにある画像センサのN個の線形ピクセル配列における第1領域からNレジスタのそれぞれにシフトさせることによって、前記第1領域から電荷を電荷を結合することであって、N個の線形ピクセル配列における前記第1領域は、少なくとも1つのピクセルラインを有し、前記第1領域における少なくとも1つのピクセルラインは、N個の線形ピクセル配列に対して略垂直な方向に向けられるものであること、
    電荷を線形径路に沿ってN個のレジスタからシフトすること、
    N個のレジスタの外へシフトさせることにより、N個の線形ピクセル配列における少なくとも第1の領域部分から電荷をN個の第1領域データ信号に一致する部分として表示すること、
    電荷をN個の線形ピクセル配列のそれぞれに沿ってN個のレジスタにあるN個の線形ピクセル配列における第2領域の少なくとも1つのピクセルラインからNレジスタのそれぞれにシフトさせることによって、前記第2領域から電荷を結合し、前記第2領域は、少なくとも1つのピクセルラインを有し、前記第2領域における少なくとも1つのピクセルラインは、N個の線形ピクセル配列に対して略垂直な方向に向けられること、
    電荷をN個のレジスタから線形径路に沿ってシフトすること、および
    N個のレジスタの外へシフトさせることにより、N個の線形ピクセル配列における少なくとも第1領域部分から電荷をN個の第2領域データ信号に一致する部分として表示することを含むことを特徴とするダイナミックレンジ拡張方法。
  2. 前記N個の第1領域データ信号部分を表示すること、および
    前記N個の第2領域データ信号部分を表示することをさらに含むことを特徴とする請求項1記載のダイナミックレンジ拡張方法。
  3. 前記第1の部分は、N個の第1領域データ信号を有し、前記第2の部分はN個の第2領域データ信号を有することを特徴とする請求項2記載のダイナミックレンジ拡張方法。
  4. 画像センサにおけるN個の線形ピクセル配列の第1領域を少なくとも1つのピクセルラインを指定することにより、N個の線形ピクセル配列における第1領域に所属するものとして区画することをさらに含むことを特徴とする請求項1記載のダイナミックレンジ拡張方法。
  5. 画像センサにおけるN個の線形ピクセル配列の第1領域を少なくとも1つのピクセルラインを指定することにより、N個の線形ピクセル配列における第1領域に所属するものとして区画することは、さらに、
    N個の第1領域データ信号部分およびN個の第2領域データ信号部分から生じた少なくとも1つの信号においてダイナミックレンジの改善レベルを評価すること、および
    少なくとも1つの信号でダイナミックレベルが改善するために、N個の線形ピクセル配列の第1領域に属するピクセルラインの量を決定することを含み、
    前記ピクセルラインの量は、ダイナミックレンジの改善レベルに関係することを特徴とする請求項4記載のダイナミックレンジ拡張方法。
  6. 画像センサにおけるN個の線形ピクセル配列の第1領域を少なくとも1つのピクセルラインを指定することにより、N個の線形ピクセル配列における第1領域に所属するものとして区画することは、さらに、
    少なくとも1つの目標信号レベルを設定すること、
    N個の第1領域データ信号部分およびN個の第2領域データ信号部分のいずれか1つから少なくとも1つの信号を選択すること、
    選択された少なくとも1つの信号を少なくとも1つの目標信号レベルと比較すること、
    N個の線形ピクセル配列の第1領域に属するピクセルラインの量を調整することを含み、
    前記調整は、選択された少なくとも1つの信号と少なくとも1つの目標信号レベルとの比較に基づくことを特徴とする請求項4記載のダイナミックレンジ拡張方法。
  7. N個の線形ピクセル配列の第1領域に属するピクセルラインの量を調整することは、さらに、ピクセルラインの量について予め決められた関係により、第1領域に属するピクセルラインの量を変更することを含むことを特徴とする請求項6記載のダイナミックレンジ拡張方法。
  8. N個の線形ピクセル配列の第1領域に属するピクセルラインの量を調整することは、さらに、予め決められたピクセルラインの数により、第1領域に属するピクセルラインの量を変更することを含むことを特徴とする請求項6記載のダイナミックレンジ拡張方法。
  9. N個の線形配列のいずれか1つにおけるピクセルの量に等しくなる第1領域および第2領域のピクセルラインの合計に基づいて、第2領域に属するピクセルラインの量を修正することをさらに含むことを特徴とする請求項6記載のダイナミックレンジ拡張方法。
  10. 前記N個の線形配列のそれぞれにおけるピクセルの量は、M個のピクセルであることを特徴とする請求項9記載のダイナミックレンジ拡張方法。
  11. N個の線形ピクセル配列における少なくともいくつかのピクセルにおいて電荷を集積すること、
    N個のレジスタのそれぞれに対し、N個の線形ピクセル配列のそれぞれにしたがって第1領域の前記調整されたピクセルラインの量から電荷をシフトすることによって、N個のレジスタの画像センサにおけるN個の線形ピクセル配列の第1領域から電荷を結合すること、
    線形径路にそってN個のレジスタから電荷をシフトすること、
    N個のレジスタの外へシフトさせることにより、N個の線形ピクセル配列における少なくとも第1領域部分から電荷をN個の第1領域データ信号に一致する部分として表示すること、
    N個のレジスタのそれぞれに対し、N個の線形ピクセル配列のそれぞれにしたがって第2領域の前記修正されたピクセルの量から電荷をシフトすることによって、N個のレジスタにおけるN個の線形ピクセル配列の第2領域から電荷を結合すること、
    線形径路にそってN個のレジスタから電荷をシフトすること、
    N個のレジスタの外へシフトさせることにより、N個の線形ピクセル配列における少なくとも第2領域部分から電荷をN個の第2領域データ信号に一致する部分として表示することをさらに含むことを特徴とする請求項9記載のダイナミックレンジ拡張方法。
  12. 前記調整が選択された少なくとも1つの信号と少なくとも1つの目標信号レベルとの比較に基づくことは、選択された少なくとも1つの信号と少なくとも1つの目標信号レベルとの間の差異に関係することを特徴とする請求項6記載のダイナミックレンジ拡張方法。
  13. 前記少なくとも1つの目標信号は、目標信号レベルの範囲であり、前記調整が選択された少なくとも1つの信号と少なくとも1つの目標信号レベルとの比較に基づくことは、選択された少なくとも1つの信号と少なくとも1つの目標信号レベルの範囲との間の差異に関係することを特徴とする請求項6記載のダイナミックレンジ拡張方法。
  14. 前記画像センサにおけるN個の線形ピクセル配列の第1領域を区画することは、前記画像センサを含む装置の設定段階の間に達成されることを特徴とする請求項4記載のダイナミックレンジ拡張方法。
  15. 前記画像センサにおけるN個の線形ピクセル配列の第1領域を区画することは、前記N個の線形ピクセル配列における少なくともいくつかのピクセルに電荷を集積した後で、N個の線形ピクセル配列におけるすくなくともいくつかのピクセルに電荷を補助的に集積する前に、動的に達成されることを特徴とする請求項4記載のダイナミックレンジ拡張方法。
  16. 前記N個の第1領域データ信号部分を小さい振幅信号を有する第1チャンネルとして表示し、前期N個の第2領域データ信号部分を大きい振幅信号を有する第2チャンネルとして表示することをさらに含むことを特徴とする請求項1記載のダイナミックレンジ拡張方法。
  17. 前記第1領域からの前記小さい振幅信号および前記第2領域からの前記大きい振幅信号のいずれか一方をリスケーリングすることをさらに含むことを特徴とする請求項16記載のダイナミックレンジ拡張方法。
  18. 前記第1領域からの前記小さい振幅信号および前記第2領域からの前記大きい振幅信号のいずれか一方をリスケーリングすることは、前記第1領域からの前記小さい振幅信号および前記第2領域からの前記大きい振幅信号のいずれか他方の大きさに基づくことを特徴とする請求項17記載のダイナミックレンジ拡張方法。
  19. 前記第1領域からの前記第1チャンネルの前記小さい振幅信号と前記第2領域からの前記第2チャンネルの前記大きい振幅信号との間の関係を決定することをさらに含むことを特徴とする請求項16記載のダイナミックレンジ拡張方法。
  20. N個の線形ピクセル配列の第1領域からの電荷を表示したN個のデータ信号からの少なくとも1つのデータの一致に前記関係を適用こと、および
    N個の線形ピクセル配列の第2領域からの飽和状態を示す前記N個のデータ信号の少なくとも1つを置換することをさらに含むことを特徴とする請求項19記載のダイナミックレンジ拡張方法。
  21. 前記N個の線形ピクセル配列は、N個の波長チャンネルスペクトルに一致し、前記N個のデータ信号は、前記N個の波長チャンネルスペクトルの振幅を示すことを特徴とする請求項20記載のダイナミックレンジ拡張方法。
  22. 前記第2領域からの電荷を示す大きい振幅信号の第2チャンネルからのデータ信号と、N個の線形ピクセル配列の第2領域から飽和状態を示す前記N個のデータ信号の少なくとも1つを置換したN個の線形ピクセル配列の第1領域からの電荷を示すN個のデータ信号からの少なくとも1つのデータ信号の一致とを、ワイドダイナミックレンジスペクトルとして、提供することをさらに含むことを特徴とする請求項21記載のダイナミックレンジ拡張方法。
  23. 前記N個の第1領域データ信号部分のそれぞれおよび前記N個の第2領域データ信号部分のそれぞれは、いずれも、少なくとも1つの固有の波長と一致することを特徴とする請求項1記載のダイナミックレンジ拡張方法。
  24. 前記N個の第1領域データ信号部分の一部を前記N個の第2領域データ信号部分における不一致部分と結合すること、および
    前記N個の第1領域データ信号部分の前記一部と、前記N個の第2領域データ信号部分の前記不一致部分とを提供することをさらに含むことを特徴とする請求項1記載のダイナミックレンジ拡張方法。
  25. ダイナミックレンジを拡張する画像処理装置であって、
    それぞれがM個の電荷結合ピクセルを有するN個の線形配列、
    N個の線形配列に対して略垂直に向けられたM個のピクセルライン、
    N個の線形ピクセル配列のそれぞれにおける1つのピクセルがそれぞれ電荷を結合させるN個のレジスタ、
    電荷をデータとして表示するための前記N個のレジスタの少なくとも1つに結合される信号変換器、および
    前記信号変換器に結合される出力ノードを有する画像センサと、
    前記出力ノードに結合されるメモリと、
    すべてのN個の線形ピクセル配列における前記M個の電荷結合ピクセルの読み出しを制御するための前記画像センサに結合された読み出し制御器と、
    N個の線形ピクセル配列のそれぞれに沿って、第1領域からN個のレジスタのそれぞれに電荷をシフトすることにより、N個のレジスタにおける画像センサのN個の線形ピクセル配列の第1領域から電荷を結合するための前記読み出し制御器を構築する手段とを具備し、
    N個の線形ピクセル配列の前記第1領域は、少なくとも1つのピクセルラインを有し、線形経路に沿ってN個のレジスタから前記信号変換器に電荷をシフトし、前記N個の第1領域データ信号を前記メモリに転送し、さらに、N個の線形ピクセル配列それぞれに沿って電荷をN個のレジスタのそれぞれにシフトすることにより、N個のレジスタの画像センサにおけるN個の線形ピクセル配列の第2領域から電荷を結合するための前記読み出し制御器を構築し、線形経路に沿って、N個のレジスタから前記信号変換器に電荷をシフトし、前記メモリに前記N個の第2領域データ信号を転送することを特徴とする画像処理装置。
  26. 前記メモリは、ディスプレイ装置に取り付けられることを特徴とする請求項25記載の画像処理装置。
  27. 前記構築する手段は、前記読み出し制御器を構築する前に領域のピクセルラインの量を変更することを特徴とする請求項25記載の画像処理装置。
  28. 複数の記録された命令を実行する制御器を有する画像センサから読み取られたダイナミックレンジを拡張する方法を実施するためにコンピュータを実行可能に構築すべく記憶されたコンピュータに読み取り可能な媒体を構成するコンピュータプログラム製品であって、
    N個の線形ピクセル配列の少なくともいくつかのピクセルに電荷を集積する手順と、
    N個のリニアピクセル配列のそれぞれに沿って第1領域からN個のレジスタのそれぞれに電荷をシフトすることにより、N個のレジスタの画像センサにおけるN個の線形ピクセル配列の第1領域から電荷を結合する構成であって、前記N個の線形ピクセル配列の第1領域は、少なくとも1つのピクセルラインを有し、第1領域の少なくとも1つのピクセルラインはN個の線形ピクセル配列に対して略垂直に向けられる手順と、
    線形経路に沿ってN個のレジスタから電荷をシフトする手順と、
    N個の線形ピクセル配列の第1領域の少なくとも一部からN個のレジスタの外へシフトされた電荷をN個の第1領域データ信号の一致部分として表示する手順と、
    N個の線形ピクセル配列のそれぞれに沿って第2領域の前記少なくとも1つのピクセルラインからN個のレジスタのそれぞれに電荷をシフトすることにより、N個のレジスタのN個の線形ピクセル配列から電荷を結合する構成であって、第2領域の前記少なくとも1つのピクセルラインがN個の線形ピクセル配列に対して略垂直に向けられた手順と、
    線形経路に沿ってN個のレジスタから電荷をシフトする手順と、
    N個の線形ピクセル配列の第2領域の少なくとも一部からN個のレジスタの外にシフトされた電荷をN個の第2領域データ信号の一致部分として表示する手順とを具備することを特徴とするコンピュータプログラム製品。
  29. N個の線形ピクセル配列の第1領域に属するものとして、少なくとも1つのピクセルラインを示すことにより、画像センサにおけるN個のピクセル配列の第1領域を区画する手順をさらに具備することを特徴とする請求項28記載のコンピュータプログラム製品。
  30. N個の第1領域データ信号の部分およびN個の第2領域データ信号の部分から生じる少なくとも1つの信号におけるダイナミックレンジの改善レベルを評価する手順と、
    少なくとも1つの信号におけるダイナミックレンジの拡張のために、N個の線形ピクセル配列の第1領域に属するピクセルラインの量を決定する手順とをさらに具備し、前記ピクセルラインの量は、ダイナミックレンジにおける改善レベルに関係することを特徴とする請求項29記載のコンピュータプログラム製品。
  31. 少なくとも1つの目標信号レベルを設定する手順と、
    N個の第1領域データ信号部分およびN個の第2領域データ信号部分のいずれか一方から少なくとも1つの信号を選択する手順と、
    選択された少なくとも1つの信号を少なくとも1つの目標信号レベルと比較する手順と、
    N個のピクセル配列の第1領域に属するピクセルラインの量を調整する手順とをさらに具備し、前記調整は、少なくとも1つの信号と少なくとも1つの目標信号レベルとの比較に基づくことを特徴とする請求項29記載のコンピュータプログラム製品。
  32. ピクセルラインの量について予め決められた関係によって、第1領域に属するピクセルラインの量を変更する手順をさらに具備することを特徴とする請求項31記載のコンピュータプログラム製品。
  33. 画像センサからのデータを読み取る方法であって、前記画像センサはN個の線形ピクセル配列を有し、N個の線形配列のそれぞれはM個の電荷結合ピクセルを有し、各ピクセルは電荷結合され、さらにN個のレジスタの1つに結合されるものであり、前記方法は、
    少なくとも1つのピクセルラインを有し、前記少なくとも1つのピクセルラインがN個の線形ピクセル配列に対し略垂直な方向に向けられる、画像センサにおけるN個の線形ピクセル配列の第1領域を区画すること、
    少なくとも1つのピクセルラインを有し、前記少なくとも1つのピクセルラインがN個の線形ピクセル配列に対し略垂直な方向に向けられる、画像センサにおけるN個の線形ピクセル配列の第2領域を区画すること、
    複数のピクセルラインを有し、前記複数のピクセルラインがN個の線形ピクセル配列に対し略垂直な方向に向けられ、前記複数のピクセルラインは露光されない、画像センサにおけるN個の線形ピクセル配列の暗い領域を区画すること、
    N個の線形ピクセル配列の第1領域の少なくともいくつかのピクセルに第1画像を受け取ること、
    N個の線形ピクセル配列の第2領域の少なくともいくつかのピクセルに第2画像を受け取ること、
    N個の線形ピクセル配列の第1領域の少なくともいくつかのピクセルおよびN個の線形ピクセル配列の第2領域の少なくともいくつかのピクセルにある電荷を集積すること、
    線形経路に沿って第1領域の少なくともいくつかのピクセルおよび第2領域の少なくともいくつかのピクセルから画像センサのN個の線形ピクセル配列の前記暗い領域に電荷をシフトすること、および
    画像センサにおけるN個の線形ピクセル配列に区画されたそれぞれの領域からシフトされた前記暗い領域からの前記電荷を前記暗い領域から読み出すことを含むことを特徴とする画像センサからのデータを読み取る方法。
  34. 各領域において、前記暗い領域から電荷を読み出すことは、
    N個の線形ピクセル配列のそれぞれに沿って暗い領域からN個のレジスタのそれぞれに電荷をシフトさせることにより、N個のレジスタの画像センサにおけるN個の線形ピクセル配列の領域において集積された電荷を結合すること、
    線形経路に沿ってN個のレジスタから電荷をシフトすること、および
    N個の線形ピクセル配列の領域の少なくとも一部からN個のレジスタの外にシフトされた電荷を前記領域を構成するN個のデータ信号の一致する部分として表示することをさらに含むことを特徴とする請求項33記載のデータを読み取る方法。
  35. N個のレジスタの画像センサにおけるN個の線形ピクセル配列の暗い領域から電荷をシフトすること、および
    画像センサにおけるN個の線形ピクセル配列の暗い領域からシフトされた電荷を消去することをさらに含むことを特徴とするデータを読み取る方法。
  36. 第1領域は、画像センサにおけるN個の線形ピクセル配列の第3領域および第4領域としてさらに区画されることを特徴とする請求項34記載のデータを読み取る方法。
  37. N個の第1領域データ信号の前記一致部分を提供すること、および
    N個の第2領域データ信号の前記一致部分を提供することをさらに含むことを特徴とする請求項36記載のデータを読み取る方法。
  38. N個の第1領域データ信号の前記一致部分を提供することは、
    N個の第3領域データ信号の前記一致部分を提供すること、および
    N個の第4領域データ信号の前記一致部分を提供することをさらに含むことを特徴とする請求項37記載のデータを読み取る方法。
  39. 前記第1領域に区画されたピクセルラインの合計において、前記第2領域および前記暗い領域は、少なくともM個のピクセルラインを有することを特徴とする請求項33記載のデータを読み取る方法。
  40. N個の線形ピクセル配列の暗い領域における前記複数のピクセルラインは少なくともM/2個のピクセルラインとして区画されることを特徴とする請求項39データを読み取る方法。
  41. 画像センサからデータを読み取る方法であって、前記画像センサは、N個の線形ピクセル配列を有し、N個の線形配列のそれぞれは、M個の電荷結合ピクセルを有し、それぞれのピクセルは、電荷が結合され、さらにN個のレジスタの1つに結合され、前記方法は、
    少なくとも1つのピクセルラインを有し、前記少なくとも1つのピクセルラインがN個の線形ピクセル配列に対し略垂直な方向に向けられた、N個の線形ピクセル配列の第1領域における少なくともいくつかのピクセルおよび少なくとも1つのピクセルラインを有し、前記1つのピクセルラインがN個の疝気ピクセルに対し略垂直な方向に向けられた、N個の線形ピクセル配列の第2領域における少なくともいくつかのピクセルにおいて電荷を集積すること、
    N個の線形ピクセル配列の第1および第2領域の少なくともいずれかのピクセルから線形経路に沿って画像センサにおけるN個の線形ピクセル配列の暗い領域であって、少なくとも2つのピクセルラインを有し、前記少なくとも2つのピクセルラインがN個の線形ピクセル配列に対して略垂直な方向に向けられ、露光されない前記暗い領域に電荷をシフトすること、
    暗い領域からN個の線形ピクセル配列のそれぞれに沿ってN個のレジスタのそれぞれに電荷をシフトすることによって、N個のレジスタの画像センサにおけるN個の線形ピクセル配列の第1領域に集積された電荷を結合すること、
    N個のレジスタから線形経路に沿って電荷をシフトすること、
    N個の線形ピクセル配列の第1領域の少なくとも一部からN個のレジスタの外にシフトされた電荷を、N個の第1領域データ信号の一致部分として、表示すること、
    暗い領域からN個の線形ピクセル配列のそれぞれに沿ってN個のレジスタのそれぞれに電荷をシフトすることによって、N個のレジスタの画像センサにおけるN個の線形ピクセル配列の第2領域に集積された電荷を結合すること、
    N個の線形ピクセル配列のそれぞれから線形経路に沿って電荷をシフトすること、
    N個の線形ピクセル配列の第2領域のすくなくとも一部からN個のレジスタの外にシフトされた電荷を、N個の第2領域データ信号の一致部分として、表示すること、および
    画像センサのN個の線形ピクセル配列の暗い領域から電荷を消去することを含むことを特徴とするデータを読み取る方法。
  42. 前記N個の第1領域のデータ信号部分を提供すること、および
    前記N個の第2領域のデータ信号部分を提供することをさらに含むことを特徴とする請求項41記載のデータを読み取る方法。
  43. 前記第1の部分は、N個の第1領域データ信号を含み、前記第2の部分は、N個の第2領域データ信号を含むことを特徴とする請求項42記載のデータを読み取る方法。
  44. N個の線形ピクセル配列の第1領域における少なくともいくつかのピクセルおよびN個の線形ピクセル配列の第2領域における少なくともいくつかのピクセルに電荷を集積することは、
    予め決められた期間にN個の線形ピクセル配列第1および第2領域の少なくともいくつかのピクセルにおける電荷を蓄積することをさらに含むことを特徴とする請求項41記載のデータを読み取る方法。
  45. N個の線形ピクセル配列の暗い領域から電荷を消去することは、
    N個のレジスタの画像センサにおけるN個の線形ピクセル配列の暗い領域から電荷をシフトすること、および
    画像センサにおけるN個の線形ピクセル配列の暗い領域からシフトされた電荷を消去することをさらに含むことを特徴とする請求項41記載のデータを読み取る方法。
  46. N個の線形ピクセル配列の暗い領域は、第1領域の前記少なくとも1つのピクセルラインおよび第2領域の前記少なくとも1つのピクセルラインの合計と少なくとも同じだけのピクセルラインの量を有することを特徴とする請求項41記載のデータを読み取る方法。
  47. N個の線形ピクセル配列の暗い領域は、少なくともM/2ピクセルラインを有することを特徴とする請求項41記載のデータを読み取る方法。
  48. 前記N個の線形ピクセル配列の第1領域は、当該領域上に投影された第1画像を有し、前記N個の線形ピクセル配列の第2領域は、当該領域上に投影された第2画像を有することを特徴とする請求項41記載のデータを読み取る方法。
  49. 前記N個の線形ピクセル配列の第1領域は、第1光源に露光され、前記N個の線形ピクセル配列の第2領域は、第2光源に露光されることを特徴とする請求項41記載のデータを読み取る方法。
  50. N個の線形ピクセル配列の少なくとも1つの他の領域の少なくともいくつかのピクセルに電荷を集積することであって、N個の線形ピクセル配列の少なくとも1つの他の領域のそれぞれは、少なくとも1つのピクセルラインを有し、前記N個の線形ピクセル配列の少なくとも1つの他の領域のそれぞれは、少なくとも1つのピクセルラインは、N個の線形ピクセル配列に対して略垂直に向けられていること、
    前記N個の線形ピクセル配列の少なくとも1つの他の領域の少なくともいくつかのピクセルから線形経路に沿ってN個の線形ピクセル配列の暗い領域に電荷をシフトすること、
    N個の線形ピクセル配列の少なくとも1つの他の領域のそれぞれに対し、暗い領域からN個の線形ピクセル配列のそれぞれに沿ってN個のレジスタのそれぞれに電荷をシフトすることにより、N個の線形ピクセル配列の他の領域の少なくとも1つのうちの1つに集積された電荷を結合すること、および
    N個のレジスタから線形経路に沿って電荷をシフトすることをさらに含むことを特徴とする請求項41記載のデータを読み取る方法。
JP2006518607A 2003-07-02 2004-03-09 画像処理装置および2領域ラインビニング方法 Expired - Lifetime JP4818913B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/612,125 2003-07-02
US10/612,125 US9386241B2 (en) 2003-07-02 2003-07-02 Apparatus and method for enhancing dynamic range of charge coupled device-based spectrograph
PCT/US2004/007207 WO2005012954A2 (en) 2003-07-02 2004-03-09 Apparatus and method for enhancing dynamic range of charge coupled device-based spectrograph

Publications (3)

Publication Number Publication Date
JP2007527516A true JP2007527516A (ja) 2007-09-27
JP2007527516A5 JP2007527516A5 (ja) 2011-02-03
JP4818913B2 JP4818913B2 (ja) 2011-11-16

Family

ID=33552455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006518607A Expired - Lifetime JP4818913B2 (ja) 2003-07-02 2004-03-09 画像処理装置および2領域ラインビニング方法

Country Status (7)

Country Link
US (1) US9386241B2 (ja)
EP (1) EP1654866A4 (ja)
JP (1) JP4818913B2 (ja)
KR (1) KR100827210B1 (ja)
CN (1) CN1817027B (ja)
TW (1) TWI355193B (ja)
WO (1) WO2005012954A2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015181872A1 (ja) * 2014-05-26 2015-12-03 株式会社日立製作所 光学分析装置
WO2018016010A1 (ja) * 2016-07-19 2018-01-25 オリンパス株式会社 分光ユニットおよび分光装置
JP2018508995A (ja) * 2015-02-22 2018-03-29 ケーエルエー−テンカー コーポレイション フォーカスエラー感応性が減少した光学的計測
JP2018174324A (ja) * 2017-03-31 2018-11-08 ヴェリティー インストルメンツ,インコーポレイテッド マルチモード設定可能スペクトロメータ
WO2020153070A1 (ja) 2019-01-21 2020-07-30 浜松ホトニクス株式会社 分光測定装置および分光測定方法
JP2021063828A (ja) * 2016-01-15 2021-04-22 ケーエルエー コーポレイション 拡張赤外分光エリプソメトリシステム及び方法
JP2022502660A (ja) * 2018-10-05 2022-01-11 ユナイテッド キングダム リサーチ アンド イノベーション ラマン分光計
JP2022185133A (ja) * 2019-01-21 2022-12-13 浜松ホトニクス株式会社 分光測定装置および分光測定方法
WO2023228452A1 (ja) * 2022-05-27 2023-11-30 浜松ホトニクス株式会社 分光装置、ラマン分光測定装置、及び分光方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4246964B2 (ja) * 2002-05-27 2009-04-02 浜松ホトニクス株式会社 固体撮像装置及び固体撮像装置アレイ
US7265828B2 (en) * 2004-03-02 2007-09-04 Sarnoff Corporation Spectroscopy imager methods and apparatus having extended dynamic range
JP2006098368A (ja) * 2004-09-30 2006-04-13 Fuji Photo Film Co Ltd 全反射減衰を利用したセンサー
JP2006157882A (ja) * 2004-10-28 2006-06-15 Fuji Photo Film Co Ltd 固体撮像装置
US8279315B2 (en) * 2005-04-12 2012-10-02 Planmeca Oy CCD sensor and method for expanding dynamic range of CCD sensor
FI121724B (fi) * 2005-04-12 2011-03-15 Planmeca Oy CCD-sensorijärjestely ja menetelmä panoraama- ja/tai kalloröntgenkuvausta varten
EP1922419A4 (en) * 2005-06-10 2010-11-17 Life Technologies Corp METHOD AND SYSTEM FOR GENETIC MULTIPLEX ANALYSIS
US7488926B2 (en) * 2006-01-06 2009-02-10 Microsoft Corporation Pixel array with shared pixel output lines
US7796174B1 (en) * 2006-04-25 2010-09-14 Ball Aerospace & Technologies Corp. Hybrid imager
TWI338275B (en) * 2006-08-24 2011-03-01 Au Optronics Corp Shift register with lower coupling effect and the related lcd
CN100461303C (zh) * 2006-09-18 2009-02-11 友达光电股份有限公司 降低耦合效应的移位寄存器与液晶显示器
GB0708582D0 (en) * 2007-05-03 2007-06-13 Renishaw Plc Spectroscope apparatus and methods
KR101411987B1 (ko) * 2007-09-11 2014-06-26 삼성전자주식회사 촬상영역이 분할된 촬영장치 및 그 촬상소자
US8395689B2 (en) * 2010-12-20 2013-03-12 Omnivision Technologies, Inc. Image sensor with charge multiplication output channel and charge sensing output channel
US20130142381A1 (en) * 2011-12-02 2013-06-06 Field Tested Software Llc Real time spectroscopy processing and analysis system
US8786732B2 (en) * 2012-10-31 2014-07-22 Pixon Imaging, Inc. Device and method for extending dynamic range in an image sensor
JP6516204B2 (ja) * 2016-01-19 2019-05-22 京セラドキュメントソリューションズ株式会社 画像読取装置、画像読取方法、画像形成装置及び制御プログラム
RU2673453C1 (ru) * 2017-11-22 2018-11-27 Вячеслав Михайлович Смелков Способ формирования видеосигнала "кольцевого" кадра в телевизионной камере для панорамного компьютерного наблюдения в условиях сложной освещённости и/или сложной яркости объектов
EP3605016B1 (en) 2018-04-16 2022-04-06 Shenzhen Goodix Technology Co., Ltd. Image sensing system and electronic device
CN112383726B (zh) * 2020-10-30 2021-07-23 厦门大学 一种ccd高速信号采集方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03117281A (ja) * 1989-09-29 1991-05-20 Toshiba Corp 固体撮像装置
JPH09145477A (ja) * 1995-11-20 1997-06-06 Tokyo Instr:Kk 分光器
US5986267A (en) * 1997-11-06 1999-11-16 Princeton Instruments, Inc. Asymmetrically split charged coupled device
JP2000503195A (ja) * 1996-10-03 2000-03-14 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 電荷結合撮像装置及びその動作方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5198816A (en) * 1991-08-30 1993-03-30 Eg&G, Inc. General purpose system for digitizing an analog signal
US5585847A (en) * 1992-12-23 1996-12-17 Loral Fairchild Corporation Electronic color imaging technique and structure using a very high resolution monochrome full-frame CCD imager
US5675411A (en) 1996-05-10 1997-10-07 General Atomics Broad-band spectrometer with high resolution
US6175383B1 (en) 1996-11-07 2001-01-16 California Institute Of Technology Method and apparatus of high dynamic range image sensor with individual pixel reset
US6631316B2 (en) 2001-03-05 2003-10-07 Gentex Corporation Image processing system to control vehicle headlamps or other vehicle equipment
US5965910A (en) * 1997-04-29 1999-10-12 Ohmeda Inc. Large cell charge coupled device for spectroscopy
US6252627B1 (en) * 1999-08-25 2001-06-26 Ball Aerospace & Technologies Corp. Star tracker detector having a partial memory section
WO2001039490A1 (fr) * 1999-11-22 2001-05-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'imagerie a semi-conducteur
KR100316027B1 (ko) * 1999-12-28 2001-12-20 박종섭 반도체 소자의 전하저장 전극 형성방법
US6509962B1 (en) * 2000-05-05 2003-01-21 Hunter Engineering Company Integrated circuit image sensor for wheel alignment systems
US6801309B1 (en) * 2001-10-16 2004-10-05 Therma-Wave, Inc. Detector array with scattered light correction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03117281A (ja) * 1989-09-29 1991-05-20 Toshiba Corp 固体撮像装置
JPH09145477A (ja) * 1995-11-20 1997-06-06 Tokyo Instr:Kk 分光器
JP2000503195A (ja) * 1996-10-03 2000-03-14 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 電荷結合撮像装置及びその動作方法
US5986267A (en) * 1997-11-06 1999-11-16 Princeton Instruments, Inc. Asymmetrically split charged coupled device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6009049912, A.S.Carretero, 他, ""Acquisition of chemiluminescence spectral profiles using a continuous flow manifold with two dimen", Analyst, 2000, Vol.125, Issue 3, pp.387−390 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015181872A1 (ja) * 2014-05-26 2015-12-03 株式会社日立製作所 光学分析装置
JP2018508995A (ja) * 2015-02-22 2018-03-29 ケーエルエー−テンカー コーポレイション フォーカスエラー感応性が減少した光学的計測
JP7093429B2 (ja) 2016-01-15 2022-06-29 ケーエルエー コーポレイション 拡張赤外分光エリプソメトリシステム
JP2021063828A (ja) * 2016-01-15 2021-04-22 ケーエルエー コーポレイション 拡張赤外分光エリプソメトリシステム及び方法
WO2018016010A1 (ja) * 2016-07-19 2018-01-25 オリンパス株式会社 分光ユニットおよび分光装置
JP2018174324A (ja) * 2017-03-31 2018-11-08 ヴェリティー インストルメンツ,インコーポレイテッド マルチモード設定可能スペクトロメータ
US11424115B2 (en) 2017-03-31 2022-08-23 Verity Instruments, Inc. Multimode configurable spectrometer
JP7190561B2 (ja) 2018-10-05 2022-12-15 ユナイテッド キングダム リサーチ アンド イノベーション ラマン分光計
JP2022502660A (ja) * 2018-10-05 2022-01-11 ユナイテッド キングダム リサーチ アンド イノベーション ラマン分光計
KR20210113994A (ko) 2019-01-21 2021-09-17 하마마츠 포토닉스 가부시키가이샤 분광 측정 장치 및 분광 측정 방법
JP2020118477A (ja) * 2019-01-21 2020-08-06 浜松ホトニクス株式会社 分光測定装置および分光測定方法
JP2022185133A (ja) * 2019-01-21 2022-12-13 浜松ホトニクス株式会社 分光測定装置および分光測定方法
WO2020153070A1 (ja) 2019-01-21 2020-07-30 浜松ホトニクス株式会社 分光測定装置および分光測定方法
JP7201868B2 (ja) 2019-01-21 2023-01-10 浜松ホトニクス株式会社 分光測定装置および分光測定方法
JP7219096B2 (ja) 2019-01-21 2023-02-07 浜松ホトニクス株式会社 分光測定装置および分光測定方法
US11828653B2 (en) 2019-01-21 2023-11-28 Hamamatsu Photonics K.K. Spectrometric device and spectrometric method
JP7410340B2 (ja) 2019-01-21 2024-01-09 浜松ホトニクス株式会社 装置および方法
US11892352B2 (en) 2019-01-21 2024-02-06 Hamamatsu Photonics K.K. Spectrometric device and spectrometric method
WO2023228452A1 (ja) * 2022-05-27 2023-11-30 浜松ホトニクス株式会社 分光装置、ラマン分光測定装置、及び分光方法

Also Published As

Publication number Publication date
TW200503532A (en) 2005-01-16
CN1817027B (zh) 2010-05-12
US20050001914A1 (en) 2005-01-06
KR100827210B1 (ko) 2008-05-06
TWI355193B (en) 2011-12-21
WO2005012954A3 (en) 2005-12-29
JP4818913B2 (ja) 2011-11-16
EP1654866A2 (en) 2006-05-10
US9386241B2 (en) 2016-07-05
CN1817027A (zh) 2006-08-09
WO2005012954A2 (en) 2005-02-10
KR20060030888A (ko) 2006-04-11
EP1654866A4 (en) 2010-04-14

Similar Documents

Publication Publication Date Title
JP4818913B2 (ja) 画像処理装置および2領域ラインビニング方法
US7443508B1 (en) Spectrophotometric scanner
US7130041B2 (en) On-chip spectral filtering using CCD array for imaging and spectroscopy
TWI271994B (en) Scanning device calibration system and method
US8004579B2 (en) Gain measurement structure
WO2000006979A1 (en) Sensors for detection and spectroscopy
JP2005520123A (ja) メモリ集積化を用いる高感度光走査
EP2034716A2 (en) Method of determining gain using output signals
WO2004019126A2 (en) Method and apparatus for extending signal range
WO2017197491A1 (en) Spectrally-resolved scanning microscope
JP2020118477A (ja) 分光測定装置および分光測定方法
Rasnik et al. Electronic cameras for low‐light microscopy
JP5999864B2 (ja) 時間分解分光器のためのシステム及び装置
JP2007114764A (ja) 走査顕微鏡を用いた検出装置および方法
JP2019514307A (ja) 撮像センサおよび画像情報を読み出すための方法
TW201034442A (en) Gradation image capture for testing image sensors
JP2010078418A (ja) 分光測定装置、校正装置、分光測定方法、および校正方法
US5235402A (en) Spectrometer
US6784926B1 (en) Method and arrangement for processing CCD pixel data
US20060023220A1 (en) Multiplexed optical detection system
JP7201868B2 (ja) 分光測定装置および分光測定方法
VanGorden et al. SICam: a PC-compatible digital instrumentation camera incorporating a large pixel 512 x 512 format charge-injection device (CID)
Zhao et al. MEM-FLIM: all-solid-state camera for fluorescence lifetime imaging
CN117651850A (zh) 波长测量装置以及波长测量方法
US20060033826A1 (en) Imaging array having variable pixel size

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091002

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091228

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100201

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100302

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100604

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100831

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100907

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100927

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101004

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101026

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101102

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20101203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110330

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110704

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110831

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4818913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term