JP2001137175A - Fluorescence image acquisition method and equipment - Google Patents

Fluorescence image acquisition method and equipment

Info

Publication number
JP2001137175A
JP2001137175A JP32841399A JP32841399A JP2001137175A JP 2001137175 A JP2001137175 A JP 2001137175A JP 32841399 A JP32841399 A JP 32841399A JP 32841399 A JP32841399 A JP 32841399A JP 2001137175 A JP2001137175 A JP 2001137175A
Authority
JP
Japan
Prior art keywords
image
image sensor
generated
pixel
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP32841399A
Other languages
Japanese (ja)
Other versions
JP3983948B2 (en
Inventor
Kazuo Hakamata
和男 袴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP32841399A priority Critical patent/JP3983948B2/en
Priority to DE60031349T priority patent/DE60031349T2/en
Priority to EP00125118A priority patent/EP1101438B1/en
Priority to US09/715,056 priority patent/US6529768B1/en
Publication of JP2001137175A publication Critical patent/JP2001137175A/en
Application granted granted Critical
Publication of JP3983948B2 publication Critical patent/JP3983948B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To obtain a self-fluorescence image with an excellent S/N ratio generated from measuring object located at a remote site in biological tissue using fluorescence image acquisition method and equipment. SOLUTION: In the case that of self-fluorescence Kj generated from biological tissues 1 by irradiation of excitation light Le is taken by an image sensor 25 and the taken Kj is read out as an image, read-out frequency of the image sensor 25, area per pixel, total number of pixels, pixel binning number, read-out port number, exposure time, quantum efficiency, electronic multiplication factor and device temperature are set to meet the following formula to obtain images. RN+DN<0.22×P×H×G, herein RN: number of charge generated by exposure noise (determined by read-out frequency and area per pixel), DN: number of charge generated by dark noise (determined by read-out frequency, area per pixel, total number of pixels, pixel binning number, read-out port number, exposure time, quantum efficiency, electronic multiplication factor and device temperature), P: irradiation output (mW) of excitation light, H: quantum efficiency of imaging element and G: electronic multiplication factor of image sensor.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、励起光を照射した
生体組織から発生する自家蛍光を画像として取得する蛍
光画像取得方法および装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for acquiring a fluorescence image as an image of auto-fluorescence generated from a living tissue irradiated with excitation light.

【0002】[0002]

【従来の技術】従来より、励起光の照射により生体組織
の内在色素から発生する自家蛍光を画像として撮像し、
この撮像された自家蛍光の画像を分析することにより各
種疾患に伴う組織性状の変化を識別する装置が研究され
ている。
2. Description of the Related Art Conventionally, auto-fluorescence generated from an endogenous dye in a living tissue by irradiation with excitation light has been imaged as an image.
A device for analyzing a change in tissue properties associated with various diseases by analyzing the captured autofluorescence image has been studied.

【0003】生体組織から発生する自家蛍光は微弱であ
り、この微弱な自家蛍光を画像として検出するためには
高感度な撮像素子が使用され、例えば複数の画素の信号
電荷をCCDのチップ内で積算して読み出すピクセルビ
ニングを行うことが可能な高感度CCDを用いて読み出
す方式を用いたり、ICCD等の電子増倍型の撮像素子
を用いて自家蛍光の撮像を行っている。
[0003] Autofluorescence generated from a living tissue is weak, and a high-sensitivity image pickup device is used to detect the weak autofluorescence as an image. For example, signal charges of a plurality of pixels are stored in a CCD chip. A reading method using a high-sensitivity CCD capable of performing pixel binning for reading out by integrating is used, or autofluorescence is imaged using an electron multiplying type image pickup device such as an ICCD.

【0004】[0004]

【発明が解決しようとする課題】複雑な形状の体腔内等
の生体組織に励起光を照射しこの生体組織から発生する
自家蛍光による蛍光画像を、例えば内視鏡装置等を用い
て取得する場合には、内視鏡装置の測定プローブの先端
から50mm離れた位置(遠点)に存在する癌組織から
発せられる自家蛍光をS/N=1以上で撮像したいとい
う要請がある。
In the case where a living tissue such as a body cavity having a complicated shape is irradiated with excitation light and a fluorescent image generated by autofluorescence generated from the living tissue is obtained using, for example, an endoscope or the like. There is a request to capture, at S / N = 1 or more, autofluorescence emitted from a cancer tissue located at a position (distant point) 50 mm away from the tip of a measurement probe of an endoscope apparatus.

【0005】しかしながら、ピクセルビニングを行う方
式を用いても、自家蛍光を受光した複数の画素に発生し
た信号電荷をCCDのチップ内で積算する場合に、ピク
セルビニングの対象となる画素に蓄積された信号電荷に
含まれるダークノイズにより発生した電荷も同時に積算
される。
[0005] However, even if the method of performing pixel binning is used, when signal charges generated in a plurality of pixels receiving autofluorescence are integrated in the CCD chip, the signal charges accumulated in the pixels to be pixel-binned are accumulated. The charge generated by dark noise included in the signal charge is also integrated at the same time.

【0006】従って、癌組織から発生する自家蛍光は極
微弱であるので、各画素においてこの自家蛍光を受光す
ることにより生じた電荷の数よりダークノイズにより発
生した電荷の数の方が多い場合も生じ得、その場合には
複数画素に蓄積された信号電荷がピクセルビニングされ
て1まとめにされても癌組織から発生する自家蛍光の信
号レベルはダークノイズの信号レベルより小さな値とな
り、S/Nは向上せず1より低い値となってしまう。ま
た、電子増倍型の撮像素子を用いたとしても、撮像素子
の設定が不十分であると不要なダークノイズおよび読出
ノイズの発生により上記位置に存在する癌組織から発せ
られた自家蛍光をS/N=1以上で撮像できないことが
ある。
Accordingly, since the auto-fluorescence generated from the cancer tissue is extremely weak, the number of charges generated by dark noise may be larger than the number of charges generated by receiving the auto-fluorescence in each pixel. In such a case, even if signal charges accumulated in a plurality of pixels are pixel-binned and integrated, the signal level of auto-fluorescence generated from cancer tissue becomes smaller than the signal level of dark noise, and S / N Is lower than 1 without improvement. Even if an electron multiplying type image pickup device is used, if the setting of the image pickup device is insufficient, unnecessary dark noise and readout noise are generated, and the auto-fluorescence emitted from the cancer tissue located at the above position is reduced to S. In some cases, imaging cannot be performed with / N = 1 or more.

【0007】また、前記内視鏡装置の測定プローブの先
端から5mm離れた位置(近点)に存在する正常組織か
ら発せられる自家蛍光を、撮像装置の受光容量が飽和し
ないように撮像したいという要請もある。
Further, there is a demand for capturing an image of auto-fluorescence emitted from a normal tissue located at a position (near point) 5 mm away from the tip of the measurement probe of the endoscope device so that the light receiving capacity of the imaging device is not saturated. There is also.

【0008】しかしながら、ICCD等の電子増倍型の
撮像素子のダイナミックレンジは2桁に満たず、撮像素
子の設定が不十分であると撮像装置の受光容量が飽和し
てしまい、またピクセルビニングを行う方式において
は、受光光量が多い領域の画素についてはピクセルビニ
ングを行う画素数を少なくして受光光量に応じた画素数
をピクセルビニングの対象として設定し撮像しても、や
はり撮像素子の設定が不十分であると撮像装置の受光容
量が飽和してしまうという問題が発生する。
However, the dynamic range of an electron multiplying type image pickup device such as an ICCD is less than two digits, and if the setting of the image pickup device is insufficient, the light receiving capacity of the image pickup device is saturated, and the pixel binning is difficult. In this method, even if the number of pixels to be subjected to pixel binning is reduced for pixels in an area where the amount of received light is large and the number of pixels according to the amount of received light is set as an object of pixel binning and imaging is performed, the setting of the image sensor is also changed. If it is insufficient, a problem occurs that the light receiving capacity of the imaging device is saturated.

【0009】第1の本発明は、上記の事情に鑑みてなさ
れたものであり、遠点に存在する生体組織の測定対象部
位から発生する自家蛍光の画像を良好なS/Nで取得す
ることができる蛍光画像取得方法および装置を提供する
ことを目的とするものであり、第2の本発明は、近点に
存在する生体組織の測定対象部位から発生する自家蛍光
の画像を撮像装置の受光容量を飽和させないように取得
することができる蛍光画像取得方法および装置を提供す
ることを目的とするものである。
The first invention has been made in view of the above circumstances, and it is an object of the present invention to acquire an image of autofluorescence generated from a measurement target site of a living tissue at a distant point with good S / N. It is an object of the present invention to provide a method and an apparatus for acquiring a fluorescent image, which can obtain an image of auto-fluorescence generated from a measurement target site of a living tissue existing at a near point by a receiving device of an imaging device. An object of the present invention is to provide a method and an apparatus for acquiring a fluorescent image which can be acquired without saturating the capacity.

【0010】[0010]

【課題を解決するための手段】第1の本発明の蛍光画像
取得方法は、励起光が照射された生体組織から発生した
自家蛍光を撮像素子によって撮像し、該撮像した自家蛍
光を画像として読み取る蛍光画像取得方法において、前
記撮像素子の読出周波数、1画素の面積、総画素数、ピ
クセルビニング数、読出ポート数、露光時間、量子効
率、電子増倍率および素子温度を下記条件式を満足する
ように設定して画像を取得することを特徴とする。
According to a first aspect of the present invention, there is provided a fluorescence image acquiring method, wherein an autofluorescence generated from a living tissue irradiated with excitation light is imaged by an imaging device, and the imaged autofluorescence is read as an image. In the fluorescent image acquisition method, the readout frequency, the area of one pixel, the total number of pixels, the number of pixel binning, the number of readout ports, the exposure time, the quantum efficiency, the electron multiplication factor, and the device temperature of the image sensor satisfy the following conditional expressions. And acquiring the image.

【0011】RN+DN<0.22×P×H×G 第2の本発明の蛍光画像取得方法は、励起光を照射され
た生体組織から発生した自家蛍光を撮像素子によって撮
像し、該撮像した自家蛍光を画像として読み取る蛍光画
像取得方法において、前記撮像素子の読出周波数、1画
素の面積、総画素数、ピクセルビニング数、読出ポート
数、露光時間、量子効率、電子増倍率、素子温度、フロ
ーティングディフュージョンの容量およびフルウェルの
容量を下記条件式を満足するように設定して前記画像を
取得することを特徴とする。
RN + DN <0.22 × P × H × G In a second method of acquiring a fluorescence image of the present invention, an image pickup element picks up an autofluorescence generated from a living tissue irradiated with excitation light, In a fluorescence image acquiring method for reading fluorescence as an image, a reading frequency of the imaging device, an area of one pixel, a total number of pixels, a number of pixel binning, a number of reading ports, an exposure time, a quantum efficiency, an electron multiplication factor, an element temperature, a floating diffusion And the capacity of the full well is set so as to satisfy the following conditional expression to acquire the image.

【0012】(RN+DN)×1000×G<Fd (RN+DN)×1000×G<Fw 第1の本発明の蛍光画像取得装置は、生体組織に励起光
を照射することにより該生体組織から発生した自家蛍光
を撮像する撮像素子と、該撮像した自家蛍光を画像とし
て読み取る読取手段とを備えた蛍光画像取得装置におい
て、前記撮像素子の読出周波数、1画素の面積、総画素
数、ピクセルビニング数、読出ポート数、露光時間、量
子効率、電子増倍率および素子温度が下記条件式を満足
するように設定するされていることを特徴とする。
(RN + DN) × 1000 × G <Fd (RN + DN) × 1000 × G <Fw The first fluorescent image acquisition apparatus of the present invention irradiates a living tissue with excitation light to generate a self-generated light from the living tissue. In a fluorescence image acquiring apparatus including an image pickup device for picking up fluorescent light and reading means for reading out the picked-up auto-fluorescence as an image, the readout frequency of the image pickup device, the area of one pixel, the total number of pixels, the number of pixel binning, the readout The number of ports, exposure time, quantum efficiency, electron multiplication factor, and element temperature are set so as to satisfy the following conditional expression.

【0013】RN+DN<0.22×P×H×G 第2の本発明の蛍光画像取得装置は、生体組織に励起光
を照射することにより該生体組織から発生した自家蛍光
を撮像する撮像素子と、該撮像した自家蛍光を画像とし
て読み取る読取手段とを備えた蛍光画像取得装置におい
て、前記撮像素子の読出周波数、1画素の面積、総画素
数、ピクセルビニング数、読出ポート数、露光時間、量
子効率、電子増倍率、素子温度、フローティングディフ
ュージョンの容量およびフルウェルの容量が下記条件式
を満足するように設定されていることを特徴とする。
RN + DN <0.22 × P × H × G The second aspect of the present invention provides a fluorescence image acquiring apparatus which irradiates a living tissue with excitation light to image autofluorescence generated from the living tissue. A reading means for reading the captured autofluorescence as an image, wherein the reading frequency of the image sensor, the area of one pixel, the total number of pixels, the number of pixel binning, the number of reading ports, the exposure time, the quantum The efficiency, the electron multiplication factor, the element temperature, the capacity of the floating diffusion and the capacity of the full well are set so as to satisfy the following conditional expression.

【0014】(RN+DN)×1000×G<Fd (RN+DN)×1000×G<Fw 前記撮像素子の前記読出周波数は、RN=DNの条件を
満たすように設定することができる。
(RN + DN) × 1000 × G <Fd (RN + DN) × 1000 × G <Fw The read frequency of the image sensor can be set so as to satisfy the condition of RN = DN.

【0015】前記撮像素子は、CCD型撮像素子やMO
S型撮像素子とすることができる。
The image pickup device is a CCD type image pickup device or MO
An S-type imaging device can be used.

【0016】なお、前記において、 RN:読出ノイズにより発生する電荷数(読出周波数と
1画素の面積によって決まる値) DN:ダークノイズにより発生する電荷数(読出周波
数、1画素の面積、総画素数、ピクセルビニング数、読
出ポート数、露光時間および素子温度によって決まる
値) P:励起光の照射出力(mW) H:撮像素子の量子効率 G:撮像素子の電子増倍率 Fd:フローティングディフュージョンの容量に対応す
る電荷数 Fw:フルウェルの容量に対応する電荷数 RN=0.17S0.777×f1/2 DN=(tread+texp)×S×n×ed(T) tread=(N/n)/(f×10×M)+((n−
1)×(N/n))/(f×10×M) d(T)=4.1913×10−6×(273+T)
−3.8015×10 −3×(273+T)+1.2
197×(273+T)−136 S:1画素の面積(μm) f:読出周波数(メガピクセル/sec) N:総画素数 n:ピクセルビニングの対象となるピクセル数 M:読出ポート数 texp:露光時間(sec) T:撮像素子の温度(℃) である。
In the above, RN is the number of charges generated by the read noise (the read frequency and
DN: Number of charges generated by dark noise (read frequency)
Number, area of one pixel, total number of pixels, number of pixel binning,
Determined by the number of output ports, exposure time and device temperature
Value) P: Irradiation output of excitation light (mW) H: Quantum efficiency of the image sensor G: Electron multiplication factor of the image sensor Fd: Corresponding to the capacity of floating diffusion
Fw: the number of charges corresponding to the capacity of the full well RN = 0.17S0.777× f1/2 DN = (tread + texp) × S × n × ed (T) tread = (N / n) / (f × 106× M) + ((n−
1) × (N / n)) / (f × 107× M) d (T) = 4.1913 × 10-6× (273 + T)3
-3.8015 x 10 -3× (273 + T)2+1.2
197 × (273 + T) -136 S: area of one pixel (μm2F: readout frequency (megapixel / sec) N: total number of pixels n: number of pixels to be subjected to pixel binning M: number of readout ports texp: exposure time (sec) T: temperature of image sensor (° C.)

【0017】また、前記「画像」とは、通常の1コマ1
/30秒毎に連続して取得される画像の他、撮像された
像の動きを滑らかな動きとして観察することはできなく
ても、測定対象部位を連続して観察することができるよ
うに取得された、例えば1コマ1/10秒で撮像された
画像等を含むものを意味する。
The "image" is a normal one-frame one-frame image.
In addition to images acquired continuously every 30 seconds, even if the movement of the imaged image cannot be observed as a smooth movement, it is acquired so that the measurement target site can be observed continuously. For example, an image including an image captured at 1/10 second per frame.

【0018】また、前記「容量に対応する電荷数」と
は、上記式の単位を電荷の数にそろえるために、フロー
ティングディフュージョンの容量Fdおよびフルウェル
の容量Fwを、電荷の数に換算したものである。
The "number of charges corresponding to the capacitance" is a value obtained by converting the capacitance Fd of the floating diffusion and the capacitance Fw of the full well into the number of charges in order to make the unit of the above equation equal to the number of charges. is there.

【0019】なお、本発明は、前記第1の発明と第2の
発明とを結合したもの、すなわち前述の3つの式、RN
+DN<0.22×P×H×Gと、(RN+DN)×1
000×G<Fdと、(RN+DN)×1000×G<
Fwとをすべて満足するように、撮像素子の読出周波
数、1画素の面積、総画素数、ピクセルビニング数、読
出ポート数、露光時間、量子効率、電子増倍率、素子温
度、フローティングディフュージョンの容量およびフル
ウェルの容量を設定して画像を取得する方法および装置
も含むものである。
The present invention is a combination of the first and second inventions, that is, the above three formulas, RN
+ DN <0.22 × P × H × G and (RN + DN) × 1
000 × G <Fd and (RN + DN) × 1000 × G <
Fw, the readout frequency of the image sensor, the area of one pixel, the total number of pixels, the number of pixel binning, the number of readout ports, the exposure time, the quantum efficiency, the electron multiplication factor, the device temperature, the capacity of the floating diffusion and It also includes a method and an apparatus for acquiring an image by setting the volume of a full well.

【0020】[0020]

【発明の効果】第1の本発明の蛍光画像取得方法および
装置によれば、撮像素子によって撮像した自家蛍光を画
像として取得するにあたり、この撮像素子を条件式:R
N+DN<0.22×P×H×Gを満足するように設定
するので、測定対象部位から発生する自家蛍光の受光に
より撮像装置に発生する電荷数に比較してダークノイズ
および読出ノイズにより撮像装置に発生する電荷数を少
なく抑えたことにより、良好なS/Nで蛍光画像を取得
することができる。
According to the first method and apparatus for acquiring a fluorescence image of the present invention, when acquiring the autofluorescence imaged by the image sensor as an image, the image sensor is subjected to the conditional expression: R
Since the setting is made so as to satisfy N + DN <0.22 × P × H × G, compared to the number of electric charges generated in the image pickup device due to the reception of the auto-fluorescence generated from the measurement target site, the image pickup device uses dark noise and readout noise. By suppressing the number of electric charges generated at a low level, a fluorescent image can be obtained with good S / N.

【0021】第2の本発明の蛍光画像取得方法および装
置によれば、撮像素子によって撮像した自家蛍光を画像
として取得するにあたり、この撮像素子を条件式:(R
N+DN)×1000×G<Fdおよび(RN+DN)
×1000×G<Fwを満足するように設定するので、
ダークノイズおよび読出ノイズにより撮像装置に発生す
る電荷の数に比較して撮像装置のフローティングディフ
ュージョンの容量およびフルウェルの容量が十分大きな
値となり、その結果、撮像装置の受光容量を飽和させな
いように蛍光画像を取得することができる。
According to the fluorescence image acquiring method and apparatus of the second aspect of the present invention, when acquiring the autofluorescence imaged by the image sensor as an image, the image sensor is subjected to the conditional expression (R
(N + DN) × 1000 × G <Fd and (RN + DN)
× 1000 × G <Fw
The capacity of the floating diffusion and the capacity of the full well of the imaging device are sufficiently large compared to the number of charges generated in the imaging device due to dark noise and readout noise. As a result, the fluorescence image is adjusted so that the light receiving capacity of the imaging device is not saturated. Can be obtained.

【0022】前記撮像素子の読出周波数fを、RN=D
Nの条件を満たすように設定すればダークノイズにより
発生する電荷数と読出ノイズにより発生する電荷数との
和を最小にすることができる。
When the read frequency f of the image sensor is RN = D
If the setting is made so as to satisfy the condition of N, the sum of the number of charges generated by dark noise and the number of charges generated by read noise can be minimized.

【0023】前記撮像素子を、CCD型撮像素子あるい
はMOS型撮像素子とすれば、撮像素子の実装スペース
を小さくすることができる。
If the image pickup device is a CCD type image pickup device or a MOS type image pickup device, the space for mounting the image pickup device can be reduced.

【0024】[0024]

【発明の実施の形態】以下、本発明の具体的な実施の形
態について図面を用いて説明する。図1は、本発明の蛍
光画像取得方法を実施する蛍光画像取得装置を蛍光内視
鏡装置に適用した実施の形態の概略構成を示す図であ
る。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a schematic configuration of an embodiment in which a fluorescent image acquiring apparatus that performs the fluorescent image acquiring method of the present invention is applied to a fluorescent endoscope apparatus.

【0025】蛍光内視鏡装置800は、波長410nm
の励起光Leを射出する光源ユニット100、光源ユニ
ット100から射出された励起光を光ファイバ21を介
して生体組織1に照射し、この励起光Leの照射を受け
た生体組織1から発生した自家蛍光Kjを撮像素子25
によって撮像し画像信号としてケーブル26を介して出
力する内視鏡ユニット200、内視鏡ユニット200か
ら画像信号を読み取りビデオ信号に変換して出力する画
像信号読取ユニット300および画像信号読取ユニット
300から出力されたビデオ信号を入力し画像として表
示する表示器400から構成されている。
The fluorescence endoscope 800 has a wavelength of 410 nm.
A light source unit 100 that emits the excitation light Le, and the excitation light emitted from the light source unit 100 is applied to the living tissue 1 through the optical fiber 21 to generate the self-generated light from the living tissue 1 that has been irradiated with the excitation light Le. Fluorescence Kj is applied to the image sensor 25
An endoscope unit 200 that captures an image and outputs it as an image signal via a cable 26, an image signal reading unit 300 that reads an image signal from the endoscope unit 200, converts the image signal into a video signal, and outputs the video signal, and outputs the image signal from the image signal reading unit 300. The display device 400 is configured to receive the video signal thus input and display it as an image.

【0026】内視鏡ユニット200は、光源ユニット1
00と画像信号読取ユニット300とが接続された操作
部202、および励起光Leを生体組織1に照射する照
射レンズ22および生体組織1から発生した自家蛍光に
よる生体組織1の像(以後自家蛍光像Zjと呼ぶ)をプ
リズム24を介して撮像素子25上に結像する結像レン
ズ23等を備えた測定プローブ部201から構成され、
光ファイバ21およびケーブル26は操作部202から
測定プローブ部201まで敷設されている。なお、撮像
素子の受光面上には波長410nmの光を遮断する励起
光カットフィルタが一体化され配設されている。
The endoscope unit 200 includes the light source unit 1
00 and the image signal reading unit 300, an operating unit 202, an irradiation lens 22 for irradiating the living tissue 1 with the excitation light Le, and an image of the living tissue 1 due to autofluorescence generated from the living tissue 1 (hereinafter an autofluorescent image) Zj) is formed on the imaging element 25 via the prism 24 on the imaging element 25 and the like.
The optical fiber 21 and the cable 26 are laid from the operation unit 202 to the measurement probe unit 201. Note that an excitation light cut filter that blocks light having a wavelength of 410 nm is integrally provided on the light receiving surface of the image sensor.

【0027】次に、上記構成からなる蛍光内視鏡装置8
00の作用について説明する。光源ユニット100から
射出された励起光Leは光ファイバ21の端面21aに
入射し光ファイバ21内を伝搬して他端の端面21bか
ら射出される。端面21bから射出された励起光Leは
照射レンズ22によって、およそ120°の角度に広げ
られた100mwの出力を持った励起光として射出され
る。この励起光Leの照射により生体組織1から発生し
た自家蛍光像Zjは結像レンズ23を通してプリズム2
4に入射しほぼ直角に反射されて撮像素子25上に結像
される。なお、このとき励起光Leは撮像素子の受光面
に一体化された励起光カットフィルタにより遮断され自
家蛍光のみが撮像素子によって受光される。撮像素子2
5上に結像された自家蛍光像Zjは撮像素子25によっ
て撮像され電気的な画像信号に変換されてケーブル26
を経由して画像信号読取ユニット300により読み取ら
れ、画像信号読取ユニット300によりビデオ信号に変
換され出力されて表示器400により表示される。
Next, the fluorescence endoscope apparatus 8 having the above configuration
The operation of 00 will be described. The excitation light Le emitted from the light source unit 100 enters the end face 21a of the optical fiber 21, propagates through the optical fiber 21, and is emitted from the other end face 21b. The excitation light Le emitted from the end face 21b is emitted by the irradiation lens 22 as excitation light having an output of 100 mw spread at an angle of about 120 °. The auto-fluorescent image Zj generated from the living tissue 1 by the irradiation of the excitation light Le passes through the imaging lens 23 to the prism 2
4 and is reflected at substantially right angles to form an image on the image sensor 25. At this time, the excitation light Le is blocked by the excitation light cut filter integrated with the light receiving surface of the image sensor, and only the autofluorescence is received by the image sensor. Image sensor 2
The auto-fluorescent image Zj formed on the image 5 is picked up by the image pickup device 25 and converted into an electric image signal.
The image signal is read by the image signal reading unit 300 via the interface, is converted into a video signal by the image signal reading unit 300, is output, and is displayed on the display 400.

【0028】次に、励起光の照射により近点から遠点ま
での測定対象範囲内に発生した自家蛍光を十分なS/N
で、撮像装置の受光容量を飽和させずに取得することが
できるようにするための条件の設定方式について説明す
る。
Next, the auto-fluorescence generated within the measurement range from the near point to the far point due to the irradiation of the excitation light is reduced to a sufficient S / N.
Now, a method of setting conditions for enabling the light receiving capacity of the imaging device to be obtained without saturation will be described.

【0029】すなわち、励起光の照射により遠点の測定
対象領域に発生した癌組織の自家蛍光の強度をS/N=
1以上で取得するために下記式(1)を用いた撮像素子
の設定方式と、近点に発生した自家蛍光を撮像装置の受
光容量を飽和させずに取得することができるようにする
ための下記式(2)および式(3)を用いた撮像素子の
設定方式とについて説明する。
That is, the intensity of the auto-fluorescence of the cancer tissue generated in the measurement target area at the distant point by the irradiation of the excitation light is expressed by S / N =
A method for setting an image sensor using the following equation (1) to obtain at least one auto-fluorescence generated at a near point can be obtained without saturating the light receiving capacity of the image capturing apparatus. A setting method of the imaging device using the following equations (2) and (3) will be described.

【0030】 RN+DN<0.22×P×H×G ・・・式(1) (RN+DN)×1000×G<Fd ・・・式(2) (RN+DN)×1000×G<Fw ・・・式(3) RN:読出ノイズにより発生する電荷数 DN:ダークノイズにより発生する電荷数(暗電流によ
り発生する電荷数) P:励起光の照射出力(mW) H:撮像素子の量子効率 G:撮像素子の電子増倍率 Fd:フローティングディフュージョンの容量に対応す
る電荷数 Fw:フルウェルの容量に対応する電荷数 ここで、 RN=0.17S0.777×f1/2 DN=(tread+texp)×S×n×ed(T) tread=(N/n)/(f×10×M)+((n−
1)×(N/n))/(f×10×M) d(T)=4.1913×10−6×(273+T)
−3.8015×10 −3×(273+T)+1.2
197×(273+T)−136 S:1画素の面積(μm) f:読出周波数(メガピクセル/sec) N:総画素数 n:ピクセルビニングするピクセル数 M:読出ポート数 texp:露光時間(sec) T:撮像素子の温度(℃) まず、式(1)の右辺について説明する。蛍光内視鏡に
要請されている第1の画像取得条件は、測定プローブ部
201の先端から50mm離れた位置に存在する癌組織
に波長410nmの励起光Leを照射したときにこの癌
組織から発せられる自家蛍光をS/N=1以上で撮像す
ることであり、具体的には図2に示すように、照射レン
ズ22の射出点Qから100mwの照射出力の励起光L
eが120度の広がり角度で射出されたときに、射出点
Qから50mm離れた位置Bに存在する癌組織から発生
する自家蛍光KjをS/N=1以上の画像として取得す
ることである。
RN + DN <0.22 × P × H × G Equation (1) (RN + DN) × 1000 × G <Fd Equation (2) (RN + DN) × 1000 × G <Fw Equation (3) RN: Number of charges generated by read noise DN: Number of charges generated by dark noise (due to dark current
P: Irradiation output of excitation light (mW) H: Quantum efficiency of the imaging device G: Electron multiplication factor of the imaging device Fd: Corresponding to the capacity of floating diffusion
Fw: the number of charges corresponding to the capacity of the full well where RN = 0.17S0.777× f1/2 DN = (tread + texp) × S × n × ed (T) tread = (N / n) / (f × 106× M) + ((n−
1) × (N / n)) / (f × 107× M) d (T) = 4.1913 × 10-6× (273 + T)3
-3.8015 x 10 -3× (273 + T)2+1.2
197 × (273 + T) -136 S: area of one pixel (μm2F: readout frequency (megapixel / sec) N: total number of pixels n: number of pixels to be binned M: number of readout ports texp: exposure time (sec) T: temperature of image sensor (° C.) First, equation (1) Will be described. For fluorescent endoscope
The first image acquisition condition requested is a measurement probe unit.
Cancer tissue at a position 50 mm away from the tip of 201
Is irradiated with 410 nm excitation light Le
Image auto-fluorescence emitted from tissue at S / N = 1 or higher
Specifically, as shown in FIG.
Light L having an irradiation output of 100 mw from the emission point Q of the laser 22
When e is emitted at a spread angle of 120 degrees, the emission point
Developed from cancer tissue located at position B 50 mm away from Q
Autofluorescence Kj to be acquired as an image with S / N = 1 or more
Is Rukoto.

【0031】上記設定により位置Bに照射される励起光
のパワー密度は図3の両対数グラフの点b1に示される
ように0.004(mW/mm)であり、このパワー
密度の励起光の照射を受けて癌組織から発生する自家蛍
光Kjを結像レンズ23によって撮像素子25の画素上
に結像し、1/30秒の露光時間で撮像するとき、例え
ばこの撮像素子の量子効率および電子像倍率が1で1画
素の面積が10μmの場合に上記画素に蓄積される電
荷の数はおよそ22個となり、この22個の電荷をS/
N=1以上で読み出すには、同じ画素から読み出される
ノイズとなる電荷の数を22個未満にする必要がある。
The power density of the excitation light irradiated to the position B by the above setting is 0.004 (mW / mm 2 ) as shown by the point b1 in the log-log graph of FIG. When the auto-fluorescence Kj generated from the cancer tissue by the irradiation of the light is imaged on the pixels of the image pickup device 25 by the image forming lens 23 and is imaged with an exposure time of 1/30 second, for example, the quantum efficiency and When the electronic image magnification is 1 and the area of one pixel is 10 μm 2 , the number of charges stored in the pixel is approximately 22, and the 22 charges are S / S
To read with N = 1 or more, it is necessary to make the number of noise charges read from the same pixel less than 22.

【0032】上記の設定をさらに一般化するために、励
起光の照射出力100mwで撮像素子の量子効率および
電子像倍率が1の場合に、1画素の面積や1画素相当と
して扱うピクセルビニング数が変化しても、S/N=1
以上で1画素(1画素相当)から読み出す電荷の最小数
を固定的に22個と仮定し、同じ1画素(1画素相当)
から発生するダークノイズおよび読出ノイズによる電荷
の和を22個未満となるように設定するものとする。
In order to further generalize the above setting, when the quantum efficiency and the electron image magnification of the imaging device are 1 at an irradiation power of 100 mw of the excitation light, the area of one pixel or the number of pixel binning handled as one pixel is reduced. Even if it changes, S / N = 1
As described above, it is assumed that the minimum number of charges read out from one pixel (corresponding to one pixel) is fixedly 22 and the same one pixel (corresponding to one pixel)
Is set so that the sum of the charges due to the dark noise and the readout noise generated from is less than 22.

【0033】そして、上記設定を基準として励起光の照
射出力P、撮像素子の量子効率Hおよび電子増倍率Gを
変数としたときに、S/N=1以上で読み出す対象とな
る1画素(1画素相当)から発生する電荷の最小数を求
めると22×(P/100)×H×G=0.22×P×
H×G(個)となりこれが式(1)の右辺となる。
When the irradiation output P of the excitation light, the quantum efficiency H of the image sensor, and the electron multiplication factor G are used as variables based on the above settings, one pixel (1) to be read out at S / N = 1 or more is used. 22 × (P / 100) × H × G = 0.22 × P ×
H × G (pieces), which is the right side of equation (1).

【0034】具体的には、照射出力は100mWで、C
CD撮像素子を用いてフロント露光により撮像し、撮像
素子の量子効率および電子像倍率はそれぞれH=0.4
およびG=1であるので、上記条件により撮像素子の1
画素(1画素相当)に蓄積される電荷の最小設定数は、
0.22×100×0.4×1=8.8となる。以後上
記S/N=1以上で読み出す1画素(1画素相当)に蓄
積される電荷の最小設定数8.8を丸めて10と簡略化
して説明する。
Specifically, the irradiation output is 100 mW, and C
An image is captured by front exposure using a CD image sensor, and the quantum efficiency and the electronic image magnification of the image sensor are each H = 0.4.
And G = 1, the 1
The minimum set number of charges stored in a pixel (corresponding to one pixel) is
0.22 × 100 × 0.4 × 1 = 8.8. Hereinafter, the minimum set number 8.8 of the electric charge accumulated in one pixel (corresponding to one pixel) read at the S / N = 1 or more will be rounded to 10 for simplification.

【0035】次に、式(1)の左辺について説明する。
上記のよううにCCD撮像素子を用いてフロント露光す
ることにより自家蛍光像を撮像する場合には、1画素
(1画素相当)から発生するダークノイズの電荷数と読
出ノイズの電荷数との和を10個未満に抑える必要があ
る。この条件を満たす設定にはいろいろな組合せがあり
以下のような方式で設定することが可能である。
Next, the left side of equation (1) will be described.
When an autofluorescence image is captured by front exposure using a CCD image sensor as described above, the sum of the number of charges of dark noise generated from one pixel (corresponding to one pixel) and the number of charges of readout noise is calculated. It is necessary to suppress it to less than 10. There are various combinations of settings that satisfy this condition, and the settings can be made in the following manner.

【0036】例えば、CCD撮像素子を用いてフロント
露光する場合に、T=20(℃)、N=250,000
(個)、n=16(個)、f=1(メガピクセル/se
c)、M=1(ポート)そしてtexpを1/10、1/
30、1/100および1/300(秒)と段階的に設
定し、1画素の面積をS=1から100(μm)まで
変化させたときの1画素の面積Sの値とダークノイズの
電荷数と読出ノイズの電荷数との和DN+RN(以後総
ノイズ電荷数DRNと呼ぶ)との関係は、X軸を1画素
の面積S、Y軸を総ノイズ電荷数DRNとした図4に示
すようなグラフとなり、1画素(1画素相当)から発生
する総ノイズ電荷数DRNを10個未満に抑えることが
できる設定の範囲は、Area1で示されるY<10の範
囲となる。より具体的には、例えば点u1に示されるt
exp=1/300(秒)およびS=5(μm)におい
てDRN=6(個)となる設定値、または点u2に示さ
れるtexp=1/100(秒)およびS=6.5(μm
)においてDRN=9(個)となる設定値、あるいは
点u3に示されるtexp=1/30(秒)およびS=2
(μm)においてDRN=4(個)となる設定値等と
して示される。
For example, when front exposure is performed using a CCD image pickup device, T = 20 (° C.) and N = 250,000.
(Pieces), n = 16 (pieces), f = 1 (megapixel / se
c), M = 1 (port) and texp is 1/10, 1 /
30, 1/100, and 1/300 (second) are set in stages, and the value of the area S of one pixel and the dark noise of one pixel when the area of one pixel is changed from S = 1 to 100 (μm 2 ). The relationship between the sum of the number of charges and the sum of the number of charges of the readout noise (DN + RN) (hereinafter referred to as the total number of noise charges DRN) is shown in FIG. 4 in which the X axis is the area S of one pixel and the Y axis is the total number of noise charges DRN. The graph has such a configuration that the range of the setting in which the total number of noise charges DRN generated from one pixel (corresponding to one pixel) can be suppressed to less than 10 is a range of Y <10 indicated by Area1. More specifically, for example, t shown at point u1
A set value where DRN = 6 (exp) at exp = 1/300 (second) and S = 5 (μm 2 ), or texp = 1/100 (second) and S = 6.5 (μm) indicated at point u2
2 ) In DRN = 9 (number), or texp = 1/30 (second) and S = 2 indicated at point u3
It is shown as a set value or the like at which DRN = 4 (μm 2 ).

【0037】また、他の例としては、同じくCCD撮像
素子を用いてフロント露光する場合に、T=20
(℃)、N=250,000(個)、n=16(個)、
M=1、2、4および8(ポート)、S=10(μ
)、texpを1/100(秒)と設定し、読出周波
数をf=0.1から100(メガピクセル/sec)ま
で変化させたときの読出周波数fの値と総ノイズ電荷数
DRNの値との関係は、X軸を読出周波数f、Y軸を総
ノイズ電荷数DRNとした図5に示すようなグラフとな
り、1画素相当に発生する総ノイズ電荷数を10個未満
に抑えることができる設定の範囲は、Area2で示され
るY<10の範囲となる。より具体的には例えば点v1
に示されるM=8(ポート)およびf=5(メガピクセ
ル/sec)においてDRN=6(個)となる設定値、
または点v2に示されるM=2(ポート)およびf=1
(メガピクセル/sec)においてDRN=9となる設
定値、あるいは点v3に示されるM=1(ポート)およ
びf=10(メガピクセル/sec)においてDRN=
7となる設定値等として示される。
As another example, when front exposure is also performed using a CCD image pickup device, T = 20
(° C.), N = 250,000 (pieces), n = 16 (pieces),
M = 1, 2, 4, and 8 (ports), S = 10 (μ
m 2 ), t exp is set to 1/100 (second), and the value of the read frequency f and the total number of noise charges DRN when the read frequency is changed from f = 0.1 to 100 (megapixels / sec) The relationship with the value is a graph as shown in FIG. 5 in which the X-axis is the read frequency f and the Y-axis is the total number of noise charges DRN, and the total number of noise charges generated for one pixel is suppressed to less than 10. The range of possible settings is a range of Y <10 indicated by Area2. More specifically, for example, the point v1
The setting value that becomes DRN = 6 (number) at M = 8 (port) and f = 5 (megapixel / sec) shown in FIG.
Or M = 2 (port) and f = 1 shown at point v2
(Megapixels / sec) at DRN = 9, or at DR = 1 at M = 1 (port) and f = 10 (Megapixels / sec) shown at point v3
7 and so on.

【0038】さらに、他の例としては、同じくCCD撮
像素子を用いてフロント露光する場合に、T=0、1
0、20(℃)、N=250,000(個)、n=16
(個)、M=1(ポート)、texpを1/30(秒)と
設定し、1画素の面積SをS=10から100(μ
)まで段階的に10(μm)づつ変化させ、読出
周波数fをf=0.1から20(メガピクセル/se
c)まで変化させたときのこれらの値と総ノイズ電荷数
DRNとの関係は、図6、図7、図8に示すようにX軸
を読出周波数f、Y軸を1画素の面積S、Z軸を総ノイ
ズ電荷数DRNとして設定した3次元のグラフとなり、
1画素相当に発生する総ノイズ電荷数DRNを10個未
満に抑えることができる設定の範囲は、図6のArea3
a、図7のArea3bおよび図8のArea3cに示される
Z=10の平面より下の実線で示される範囲となる。な
お、図6はT=0(℃)、図7はT=10(℃)、図8
はT=20(℃)に設定された場合のグラフである。
Further, as another example, similarly, when front exposure is performed using a CCD image pickup device, T = 0, 1
0, 20 (° C.), N = 250,000 (pieces), n = 16
(Number), M = 1 (port), texp is set to 1/30 (second), and the area S of one pixel is S = 10 to 100 (μ).
m 2 ) in steps of 10 (μm 2 ), and the readout frequency f is changed from f = 0.1 to 20 (megapixels / sec).
c, the relationship between these values and the total number of noise charges DRN is shown in FIG. 6, FIG. 7, and FIG. It becomes a three-dimensional graph in which the Z axis is set as the total number of noise charges DRN,
The setting range in which the total number of noise charges DRN generated for one pixel can be suppressed to less than 10 is Area 3 in FIG.
a, a range indicated by a solid line below the plane of Z = 10 shown in Area 3b of FIG. 7 and Area 3c of FIG. FIG. 6 shows T = 0 (° C.), FIG. 7 shows T = 10 (° C.), and FIG.
Is a graph when T = 20 (° C.) is set.

【0039】図6のArea3aに示すようにT=0
(℃)のときには、1画素相当に発生する総ノイズ電荷
数DRNを10個未満に抑えることができる設定の範囲
は広く各値のいろいろな組合せを選択することができる
が、撮像素子の温度T=10(℃)になると図7のAre
a3bに示すようにその範囲は狭くなり、撮像素子の温
度T=20(℃)になると図8のArea3cに示すよう
に総ノイズ電荷数DRNを10個未満に抑えることがで
きる設定の範囲はさらに狭くなる。
As shown in Area 3a of FIG. 6, T = 0
In the case of (° C.), the range of settings that can suppress the total number of noise charges DRN generated for one pixel to less than 10 is wide, and various combinations of values can be selected. = 10 (° C.), the Are of FIG.
As shown by a3b, the range becomes narrower, and when the temperature of the image sensor becomes T = 20 (° C.), the range of setting that can suppress the total noise charge number DRN to less than 10 as shown by Area3c in FIG. Narrows.

【0040】上記のように、1画素相当に発生する総ノ
イズ電荷数DRNを10個未満に抑える前記式(1)の
条件を満たす設定はいろいろな組合せを選択することが
できる。
As described above, various combinations can be selected for the setting that satisfies the condition of the above equation (1) for suppressing the total number of noise charges DRN generated for one pixel to less than ten.

【0041】なお、自家蛍光をイメージファイバを中継
させずに直接撮像素子上に結像させ撮像する方式の蛍光
内視鏡装置においては、撮像素子の大きさは、 Focus×tanθ=D/2 ・・・式(4) で示される制限を受ける。
Incidentally, in a fluorescence endoscope apparatus of a system in which autofluorescence is imaged by forming an image directly on the image sensor without relaying the image fiber, the size of the image sensor is Focus × tan θ = D / 2 · ··· Restriction given by equation (4).

【0042】ここで、 Focus:結像レンズの焦点距離 θ:50〜60(deg) D:撮像素子の対角線の長さ すなわち、撮像素子の対角線の長さ:Dが決められる
と、総画素数Nと1画素の面積Sとの関係も制限を受け
るので、上記例に示した範囲の中から式(4)を満足す
る範囲をさらに選択して撮像素子の各設定値を求めるこ
とになる。
Here, Focus: focal length of the imaging lens θ: 50 to 60 (deg) D: length of diagonal line of the image sensor That is, if D is determined, the total number of pixels Since the relationship between N and the area S of one pixel is also limited, a range that satisfies the expression (4) is further selected from the ranges shown in the above example, and each set value of the image sensor is obtained.

【0043】また、CCD撮像素子を用いて背面露光に
より撮像する場合には、量子効率がH=0.9となりフ
ロント露光の量子効率の約2倍となるので、総ノイズ電
荷数DRNがおよそ20未満となるように各値を設定す
ればよい。
When an image is taken by back exposure using a CCD image pickup device, the quantum efficiency becomes H = 0.9, which is about twice the quantum efficiency of front exposure, so that the total noise charge number DRN is about 20%. What is necessary is just to set each value so that it may become less than.

【0044】次に、近点に発生した自家蛍光の強度を撮
像装置の受光容量を飽和させずに画像として検出するこ
とができるようにするための式(2)および式(3)を
用いた撮像素子の設定方式について説明する。
Next, equations (2) and (3) were used to enable the intensity of the autofluorescence generated at the near point to be detected as an image without saturating the light receiving capacity of the imaging device. The setting method of the image sensor will be described.

【0045】蛍光内視鏡に要請されている第2の画像取
得条件は、測定プローブの先端から5mm離れた位置に
存在する正常組織に波長410nmの励起光Leを照射
したときにこの正常組織から発せられる自家蛍光を撮像
素子の画素の受光容量を飽和させずに撮像することであ
り、具体的には図2に示すように、照射レンズ22の射
出点Qから100mwの出力の励起光Leが120度の
広がり角度で射出されたときに、射出点Qから5mm離
れた位置Aに存在する正常組織から発生する自家蛍光K
jを撮像装置の受光容量を飽和させないように画像を取
得することである。
The second image acquisition condition required for the fluorescence endoscope is that a normal tissue existing at a position 5 mm away from the tip of the measurement probe is irradiated with excitation light Le having a wavelength of 410 nm from the normal tissue. This is to image the emitted autofluorescence without saturating the light receiving capacity of the pixel of the image sensor. Specifically, as shown in FIG. 2, the excitation light Le having an output of 100 mw from the emission point Q of the irradiation lens 22 is generated. When emitted at a spread angle of 120 degrees, autofluorescence K generated from normal tissue located at a position A 5 mm away from the emission point Q
j is to acquire an image so as not to saturate the light receiving capacity of the imaging device.

【0046】図3に示されるように、上記設定により位
置Aに照射される励起光のパワー密度(図3の点a1)
は、位置Bにおける励起光のパワー密度(図3の点b
1)の100倍の0.4(mW/mm)であり、この
パワー密度の励起光の照射を受けて生体の正常組織から
発生する自家蛍光Kjを上述した位置Bの癌組織を撮像
するときと同様に結像レンズ23によって撮像素子25
上に結像し、1/30秒の露光時間で撮像するとき、量
子効率1および電子像倍率1の撮像素子の1画素の面積
10μmの画素に蓄積される電荷(信号電荷)の数
は、およそ22、000個となり、上述した位置Bの癌
組織を撮像するときに1画素に発生する信号電荷の数の
1,000倍となる(同じパワー密度の励起光の照射に
より正常組織は癌組織の約10倍の強度の自家蛍光を発
生し、さらに照射される励起光のパワー密度が100倍
なので1,000倍となる)。
As shown in FIG. 3, the power density of the excitation light applied to the position A by the above setting (point a1 in FIG. 3)
Is the power density of the pump light at position B (point b in FIG. 3).
It is 0.4 (mW / mm 2 ), which is 100 times as large as 1), and the autofluorescence Kj generated from the normal tissue of the living body when irradiated with the excitation light having this power density is used to image the cancer tissue at the position B described above. As in the case described above, the imaging device 25 is
When an image is formed on an image with an exposure time of 1/30 second , the number of charges (signal charges) accumulated in a pixel having an area of 10 μm 2 of one pixel of an image sensor having a quantum efficiency of 1 and an electronic image magnification of 1 is , About 22,000, which is 1,000 times the number of signal charges generated in one pixel when the cancer tissue at the position B is imaged (normal tissue is cancerous by irradiation with excitation light having the same power density). It generates autofluorescence about 10 times as strong as the tissue, and the power density of the irradiated excitation light is 100 times, which is 1,000 times.

【0047】すなわち、電子増倍率Gが1のとき第2の
画像取得条件を満足するにはノイズの発生量の1,00
0倍を超える撮像装置の受光容量が必要となり、撮像装
置のダイナミックレンジは1:1,000を超えること
になる。
That is, when the electron multiplication factor G is 1, the noise generation amount of 1,00
The light receiving capacity of the imaging device exceeding 0 times is required, and the dynamic range of the imaging device exceeds 1: 1,000.

【0048】実際に蛍光内視鏡装置を使用する場合にお
いては、上記遠点の癌組織をS/N=1以上の画像とし
て取得すると共に近点の正常組織を撮像装置の受光容量
以内に収めるダイナミックレンジを確保する必要がある
ので、式(1)の条件を満足しかつ式(2)および
(3)を満足するように撮像素子の設定を行うことにな
る。しかし、フローティングディフュージョンの容量に
対応する電荷数Fdは読出周波数fに関係しフルウェル
の容量に対応する電荷数Fwは1画素の面積Sに関係す
る値なので、どちらも総ノイズ電荷数DRNと無関係に
独立してこれらの値を決めることはできない。従って、
式(1)に加えて式(2)および(3)の条件を満足す
るように撮像素子の設定を行う具体的な手段としては、
前記第1の画像取得条件すなわち式(1)を満足する撮
像素子の設定範囲を上記図4から図8に示されるグラフ
等を用いて求め、この領域の中からさらに式(2)およ
び(3)の条件を満足するような撮像素子の設定値、す
なわち1:1,000を超えるダイナミックレンジを確
保することができる設定値を選択することにより第1の
画像取得条件および第2の画像取得条件を満足する撮像
素子の設定値を求めることができる。すなわち、式
(1)、式(2)および式(3)を満足する撮像素子の
設定値を求めることができる。
When the fluorescence endoscope apparatus is actually used, the above-mentioned cancer tissue at the far point is acquired as an image with S / N = 1 or more, and the normal tissue at the near point is contained within the light receiving capacity of the imaging device. Since it is necessary to secure a dynamic range, the setting of the imaging device is performed so as to satisfy the condition of the expression (1) and the expressions (2) and (3). However, the number of charges Fd corresponding to the capacitance of the floating diffusion is related to the readout frequency f, and the number of charges Fw corresponding to the capacity of the full well is a value related to the area S of one pixel. These values cannot be determined independently. Therefore,
Specific means for setting the imaging device so as to satisfy the conditions of Expressions (2) and (3) in addition to Expression (1) include:
The setting range of the image sensor that satisfies the first image acquisition condition, that is, the expression (1), is obtained by using the graphs shown in FIGS. 4 to 8 and the like. The first image acquisition condition and the second image acquisition condition are selected by selecting a set value of the image sensor that satisfies the condition of (1), that is, a set value capable of securing a dynamic range exceeding 1: 1,000. Can be obtained. That is, it is possible to obtain the set value of the image sensor that satisfies the equations (1), (2) and (3).

【0049】また、上記のようにして求められた撮像素
子の設定範囲の中でさらに撮像素子の温度の設定値Tを
固定し、RN=DNの条件を満たすような読出周波数f
の値を選択すれば、撮像素子の温度の設定値Tの条件下
において第1の画像取得条件および第2の画像取得条件
を満足し、かつ総ノイズ電荷数DRNの値を最小にする
ことができる。
Further, the set value T of the temperature of the image sensor is further fixed in the set range of the image sensor obtained as described above, and the read frequency f is set so as to satisfy the condition of RN = DN.
Is selected, the first image acquisition condition and the second image acquisition condition are satisfied under the condition of the set value T of the temperature of the imaging element, and the value of the total number of noise charges DRN is minimized. it can.

【0050】また、前記撮像素子をCCD型撮像素子や
MOS型撮像素子とすれば、撮像素子の実装スペースを
小さくすることができ、またCCD型撮像素子はフロン
ト露光および背面露光のどちらのタイプも用いることが
できる。
Further, if the image pickup device is a CCD type image pickup device or a MOS type image pickup device, the mounting space for the image pickup device can be reduced, and the CCD type image pickup device can be used for both front exposure and rear exposure. Can be used.

【0051】上記実施の形態は、上記式(1)、
(2)、(3)を満足するように撮像装置を設定して画
像取得を行うものであったが、本発明はそのような実施
の形態に限られるものではなく、上記式(1)のみを満
足するように撮像装置設定して画像取得を行うものであ
ってもよく、あるいは上記式(2)、(3)を満足する
ように撮像装置を設定して画像取得を行うものであって
もよい。前者の場合、そうすることにより少なくとも遠
点の癌組織をS/N=1以上の画像として取得すること
ができるという効果が得られ、後者の場合そうすること
により少なくとも1:1,000のダイナミックレンジ
を確保するという効果が得られる。
In the above embodiment, the above equation (1)
Although the image capturing apparatus is set so as to satisfy the conditions (2) and (3) and the image is obtained, the present invention is not limited to such an embodiment, and only the above equation (1) is used. The image acquisition may be performed by setting the imaging device so as to satisfy the following. Alternatively, the image acquisition may be performed by setting the imaging device so as to satisfy Expressions (2) and (3) above. Is also good. In the former case, by doing so, the effect is obtained that at least the cancer tissue at the distant point can be acquired as an image with S / N = 1 or more, and in the latter case, at least 1: 1,000 dynamic dynamics can be obtained. The effect of securing the range is obtained.

【0052】上記のように本発明によれば、遠点に存在
する測定対象部位から発生する自家蛍光の画像を良好な
S/Nで取得することができ、近点に存在する測定対象
部位から発生する自家蛍光の画像を撮像装置の受光容量
を飽和させないように取得することができる。
As described above, according to the present invention, an image of autofluorescence generated from a measurement target site located at a far point can be acquired with good S / N, and an image of autofluorescence can be acquired from a measurement target site located at a near point. An image of the generated autofluorescence can be acquired without saturating the light receiving capacity of the imaging device.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態による蛍光内視鏡装置の概
略構成図
FIG. 1 is a schematic configuration diagram of a fluorescence endoscope apparatus according to an embodiment of the present invention.

【図2】励起光の照射範囲を示す図FIG. 2 is a diagram showing an irradiation range of excitation light.

【図3】被写体までの距離と励起光のパワー密度との関
係を示す図
FIG. 3 is a diagram illustrating a relationship between a distance to a subject and a power density of excitation light.

【図4】総ノイズ電荷数DRNと1画素の面積Sとの関
係を示す図
FIG. 4 is a diagram showing the relationship between the total number of noise charges DRN and the area S of one pixel;

【図5】総ノイズ電荷数DRNと読出周波数fとの関係
を示す図
FIG. 5 is a diagram showing a relationship between a total number of noise charges DRN and a read frequency f.

【図6】総ノイズ電荷数DRNと読出周波数fと1画素
の面積Sとの関係を示す図
FIG. 6 is a diagram showing a relationship among a total number of noise charges DRN, a read frequency f, and an area S of one pixel.

【図7】総ノイズ電荷数DRNと読出周波数fと1画素
の面積Sとの関係を示す図
FIG. 7 is a diagram showing the relationship between the total number of noise charges DRN, the read frequency f, and the area S of one pixel.

【図8】総ノイズ電荷数DRNと読出周波数fと1画素
の面積Sとの関係を示す図
FIG. 8 is a diagram showing the relationship between the total number of noise charges DRN, the read frequency f, and the area S of one pixel.

【符号の説明】 1 生体組織 21 光ファイバ 22 照射レンズ 23 結像レンズ 24 プリズム 25 撮像素子 26 ケーブル 100 光源ユニット 200 内視鏡ユニット 201 測定プローブ部 202 操作部 300 画像信号読取ユニット 400 表示器 800 蛍光内視鏡装置 Le 励起光 Kj 自家蛍光DESCRIPTION OF SYMBOLS 1 Living tissue 21 Optical fiber 22 Irradiation lens 23 Imaging lens 24 Prism 25 Image sensor 26 Cable 100 Light source unit 200 Endoscope unit 201 Measurement probe unit 202 Operation unit 300 Image signal reading unit 400 Display 800 Fluorescence Endoscope device Le Excitation light Kj Autofluorescence

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 7/18 M Fターム(参考) 2G043 AA03 BA16 CA03 EA01 GA08 GB21 HA01 HA05 JA05 KA05 LA03 MA04 NA01 NA06 2H040 GA02 GA11 4C061 AA00 BB00 CC06 DD00 FF40 JJ17 LL02 NN01 PP02 PP12 QQ04 QQ09 RR02 RR14 RR22 SS18 5C024 AX00 CX03 GY01 5C054 AA01 CA00 CC02 CC07 CG08 CH01 EA01 EA05 EJ05 FC11 FF02 HA05 HA12 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI theme coat ゛ (Reference) H04N 7/18 H04N 7/18 MF term (Reference) 2G043 AA03 BA16 CA03 EA01 GA08 GB21 HA01 HA05 JA05 KA05 LA03 MA04 NA01 NA06 2H040 GA02 GA11 4C061 AA00 BB00 CC06 DD00 FF40 JJ17 LL02 NN01 PP02 PP12 QQ04 QQ09 RR02 RR14 RR22 SS18 5C024 AX00 CX03 GY01 5C054 AA01 CA00 CC02 CC07 CG08 CH01 EA05 FC05 HA05 FC05 HA05

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 励起光を照射された、生体組織から発生
した自家蛍光を撮像素子によって撮像し、該撮像した自
家蛍光を画像として読み取る蛍光画像取得方法におい
て、 前記撮像素子の読出周波数、1画素の面積、総画素数、
ピクセルビニング数、読出ポート数、露光時間、量子効
率、電子増倍率および素子温度を下記条件式を満足する
ように設定して画像を取得することを特徴とする蛍光画
像取得方法。 RN+DN<0.22×P×H×G ただし、 RN:読出ノイズにより発生する電荷数 DN:ダークノイズにより発生する電荷数 P:励起光の照射出力(mW) H:撮像素子の量子効率 G:撮像素子の電子増倍率
1. A fluorescence image acquiring method in which an auto-fluorescence generated from a living tissue irradiated with excitation light is imaged by an imaging device, and the auto-fluorescence thus imaged is read as an image. Area, total number of pixels,
A fluorescent image acquiring method, wherein an image is acquired by setting the number of pixel binning, the number of readout ports, the exposure time, the quantum efficiency, the electron multiplication factor, and the element temperature so as to satisfy the following conditional expression. RN + DN <0.22 × P × H × G where RN: number of charges generated by readout noise DN: number of charges generated by dark noise P: irradiation power of excitation light (mW) H: quantum efficiency of image sensor G: Electron multiplication factor of image sensor
【請求項2】 励起光を照射された生体組織から発生し
た自家蛍光を撮像素子によって撮像し、該撮像した自家
蛍光を画像として読み取る蛍光画像取得方法において、 前記撮像素子の読出周波数、1画素の面積、総画素数、
ピクセルビニング数、読出ポート数、露光時間、量子効
率、電子増倍率、素子温度、フローティングディフュー
ジョンの容量およびフルウェルの容量を下記条件式を満
足するように設定して画像を取得することを特徴とする
蛍光画像取得方法。 (RN+DN)×1000×G<Fd (RN+DN)×1000×G<Fw ただし、 RN:読出ノイズにより発生する電荷数 DN:ダークノイズにより発生する電荷数 Fd:フローティングディフュージョンの容量に対応す
る電荷数 Fw:フルウェルの容量に対応する電荷数
2. A fluorescence image acquiring method in which autofluorescence generated from a living tissue irradiated with excitation light is imaged by an imaging device and the captured autofluorescence is read as an image. Area, total number of pixels,
An image is obtained by setting the number of pixel binning, the number of readout ports, the exposure time, the quantum efficiency, the electron multiplication factor, the element temperature, the capacity of the floating diffusion and the capacity of the full well so as to satisfy the following conditional expression. Fluorescent image acquisition method. (RN + DN) × 1000 × G <Fd (RN + DN) × 1000 × G <Fw where RN: Number of charges generated by read noise DN: Number of charges generated by dark noise Fd: Number of charges corresponding to the capacity of floating diffusion Fw : Number of charges corresponding to the capacity of the full well
【請求項3】 生体組織に励起光を照射することにより
該生体組織から発生した自家蛍光を撮像する撮像素子
と、該撮像した自家蛍光を画像として読み取る読取手段
とを備えた蛍光画像取得装置において、 前記撮像素子の読出周波数、1画素の面積、総画素数、
ピクセルビニング数、読出ポート数、露光時間、量子効
率、電子増倍率および素子温度が下記条件式を満足する
ように設定されていることを特徴とする蛍光画像取得装
置。 RN+DN<0.22×P×H×G ただし、 RN:読出ノイズにより発生する電荷数 DN:ダークノイズにより発生する電荷数 P:励起光の照射出力(mW) H:撮像素子の量子効率 G:撮像素子の電子増倍率
3. A fluorescence image acquiring apparatus comprising: an image sensor for imaging autofluorescence generated from a living tissue by irradiating the living tissue with excitation light; and a reading unit for reading the autofluorescence imaged as an image. Readout frequency of the image sensor, area of one pixel, total number of pixels,
A fluorescent image acquisition apparatus, wherein the number of pixel binning, the number of readout ports, the exposure time, the quantum efficiency, the electron multiplication factor, and the element temperature are set so as to satisfy the following conditional expressions. RN + DN <0.22 × P × H × G where RN: number of charges generated by readout noise DN: number of charges generated by dark noise P: irradiation power of excitation light (mW) H: quantum efficiency of image sensor G: Electron multiplication factor of image sensor
【請求項4】 生体組織に励起光を照射することにより
該生体組織から発生した自家蛍光を撮像する撮像素子
と、該撮像した自家蛍光を画像として読み取る読取手段
とを備えた蛍光画像取得装置において、 前記撮像素子の読出周波数、1画素の面積、総画素数、
ピクセルビニング数、読出ポート数、露光時間、量子効
率、電子増倍率、素子温度、フローティングディフュー
ジョンの容量およびフルウェルの容量が下記条件式を満
足するように設定されていることを特徴とする蛍光画像
取得装置。 (RN+DN)×1000×G<Fd (RN+DN)×1000×G<Fw ただし、 RN:読出ノイズにより発生する電荷数 DN:ダークノイズにより発生する電荷数 G:撮像素子の電子増倍率 Fd:フローティングディフュージョンの容量に対応す
る電荷数 Fw:フルウェルの容量に対応する電荷数
4. A fluorescence image acquisition apparatus comprising: an imaging element for capturing autofluorescence generated from living tissue by irradiating the living tissue with excitation light; and reading means for reading the captured autofluorescence as an image. Readout frequency of the image sensor, area of one pixel, total number of pixels,
A fluorescent image acquisition characterized in that the number of pixel binning, the number of readout ports, the exposure time, the quantum efficiency, the electron multiplication factor, the element temperature, the capacity of the floating diffusion and the capacity of the full well are set so as to satisfy the following conditional expressions. apparatus. (RN + DN) × 1000 × G <Fd (RN + DN) × 1000 × G <Fw, where RN: number of charges generated by read noise DN: number of charges generated by dark noise G: electron multiplication factor of imaging element Fd: floating diffusion Fw: the number of charges corresponding to the capacity of the full well
【請求項5】 前記撮像素子の前記読出周波数が、RN
=DNの条件を満たすように設定されていることを特徴
とする請求項3または4記載の蛍光画像取得装置。
5. The reading frequency of the image sensor is RN.
5. The fluorescence image acquiring apparatus according to claim 3, wherein the setting is made so as to satisfy the condition: = DN.
【請求項6】 前記撮像素子が、CCD型撮像素子であ
ることを特徴とする請求項3から5いずれか1項記載の
蛍光画像取得装置。
6. The fluorescence image acquiring apparatus according to claim 3, wherein said image pickup device is a CCD type image pickup device.
【請求項7】 前記撮像素子が、MOS型撮像素子であ
ることを特徴とする請求項3から5いずれか1項記載の
蛍光画像取得装置。
7. The fluorescence image acquiring apparatus according to claim 3, wherein said image sensor is a MOS type image sensor.
JP32841399A 1999-11-18 1999-11-18 Fluorescence image acquisition method and apparatus Expired - Fee Related JP3983948B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP32841399A JP3983948B2 (en) 1999-11-18 1999-11-18 Fluorescence image acquisition method and apparatus
DE60031349T DE60031349T2 (en) 1999-11-18 2000-11-17 Method and device for generating fluorescence images
EP00125118A EP1101438B1 (en) 1999-11-18 2000-11-17 Method and apparatus for acquiring fluorescence images
US09/715,056 US6529768B1 (en) 1999-11-18 2000-11-20 Method and apparatus for acquiring fluorescence images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32841399A JP3983948B2 (en) 1999-11-18 1999-11-18 Fluorescence image acquisition method and apparatus

Publications (2)

Publication Number Publication Date
JP2001137175A true JP2001137175A (en) 2001-05-22
JP3983948B2 JP3983948B2 (en) 2007-09-26

Family

ID=18209995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32841399A Expired - Fee Related JP3983948B2 (en) 1999-11-18 1999-11-18 Fluorescence image acquisition method and apparatus

Country Status (1)

Country Link
JP (1) JP3983948B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005027738A1 (en) * 2003-09-19 2005-03-31 Olympus Corporation Endoscope
JP2006201044A (en) * 2005-01-21 2006-08-03 Hitachi High-Technologies Corp Defect inspection method, and device thereof
JP2007104510A (en) * 2005-10-07 2007-04-19 Hitachi Kokusai Electric Inc Method and apparatus for sensitivity adjustment of television camera
US7397033B2 (en) 2005-02-28 2008-07-08 Fujifilm Corporation Method of making characteristic line
JP2011101802A (en) * 2009-11-11 2011-05-26 Schoelly Fiberoptic Gmbh Endoscope set
WO2012105445A1 (en) * 2011-01-31 2012-08-09 オリンパス株式会社 Fluorescence observation device
WO2012114934A1 (en) * 2011-02-21 2012-08-30 オリンパス株式会社 Fluorescence observation device
WO2013035738A1 (en) * 2011-09-07 2013-03-14 オリンパス株式会社 Fluorescence observation device
WO2019203193A1 (en) * 2018-04-17 2019-10-24 富士フイルム株式会社 Imaging system, imaging method, and program
CN114295565A (en) * 2021-12-28 2022-04-08 上海集成电路装备材料产业创新中心有限公司 Method, apparatus, device and medium for determining quantum efficiency of image sensor

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005027738A1 (en) * 2003-09-19 2005-03-31 Olympus Corporation Endoscope
JP2006201044A (en) * 2005-01-21 2006-08-03 Hitachi High-Technologies Corp Defect inspection method, and device thereof
US7397033B2 (en) 2005-02-28 2008-07-08 Fujifilm Corporation Method of making characteristic line
JP2007104510A (en) * 2005-10-07 2007-04-19 Hitachi Kokusai Electric Inc Method and apparatus for sensitivity adjustment of television camera
JP4612518B2 (en) * 2005-10-07 2011-01-12 株式会社日立国際電気 Electron multiplication type imaging apparatus and sensitivity adjustment method thereof
JP2011101802A (en) * 2009-11-11 2011-05-26 Schoelly Fiberoptic Gmbh Endoscope set
US9513221B2 (en) 2011-01-31 2016-12-06 Olympus Corporation Fluorescence observation apparatus
JP5984681B2 (en) * 2011-01-31 2016-09-06 オリンパス株式会社 Fluorescence observation equipment
WO2012105445A1 (en) * 2011-01-31 2012-08-09 オリンパス株式会社 Fluorescence observation device
US9241139B2 (en) 2011-02-21 2016-01-19 Olympus Corporation Fluorescence observation device
CN103379848A (en) * 2011-02-21 2013-10-30 奥林巴斯株式会社 Fluorescence observation device
EP2679136A1 (en) * 2011-02-21 2014-01-01 Olympus Corporation Fluorescence observation device
EP2679136A4 (en) * 2011-02-21 2014-01-08 Olympus Corp Fluorescence observation device
WO2012114934A1 (en) * 2011-02-21 2012-08-30 オリンパス株式会社 Fluorescence observation device
JP6057890B2 (en) * 2011-02-21 2017-01-11 オリンパス株式会社 Fluorescence observation equipment
JP2013056001A (en) * 2011-09-07 2013-03-28 Olympus Corp Fluorescence observation device
WO2013035738A1 (en) * 2011-09-07 2013-03-14 オリンパス株式会社 Fluorescence observation device
US9588046B2 (en) 2011-09-07 2017-03-07 Olympus Corporation Fluorescence observation apparatus
WO2019203193A1 (en) * 2018-04-17 2019-10-24 富士フイルム株式会社 Imaging system, imaging method, and program
US11327020B2 (en) 2018-04-17 2022-05-10 Fujifilm Corporation Imaging system, imaging method, and program
CN114295565A (en) * 2021-12-28 2022-04-08 上海集成电路装备材料产业创新中心有限公司 Method, apparatus, device and medium for determining quantum efficiency of image sensor
CN114295565B (en) * 2021-12-28 2023-08-08 上海集成电路装备材料产业创新中心有限公司 Method, apparatus, device and medium for measuring quantum efficiency of image sensor

Also Published As

Publication number Publication date
JP3983948B2 (en) 2007-09-26

Similar Documents

Publication Publication Date Title
JP4285641B2 (en) Imaging device
JP3771344B2 (en) Fluorescent electron endoscope
JP5274720B2 (en) Imaging device
US5833617A (en) Fluorescence detecting apparatus
US9513221B2 (en) Fluorescence observation apparatus
JP2002345733A (en) Imaging device
JP2003000537A (en) Imaging method and apparatus for endoscope
JP5714875B2 (en) Fluorescence endoscope device
JP2013150830A (en) Compact fluorescence endoscopy image system
JP2011200367A (en) Image pickup method and device
JP2012157559A (en) Electronic endoscope system
KR20040069332A (en) Endoscope image processing apparatus
US11432705B2 (en) System for endoscopic imaging and method for processing images
JP2013146484A (en) Electronic endoscope system, image processing apparatus, image processing method, and image processing program
JP2012147927A (en) Endoscope system
JP2001178672A (en) Fluorescent image display device
JP2011092683A (en) Electronic endoscope
JP2001137175A (en) Fluorescence image acquisition method and equipment
JP4245787B2 (en) Fluorescence image acquisition method and apparatus
JP2003164414A (en) Method and device for displaying fluoroscopic image
JP2011250925A (en) Electronic endoscope system
JP2003111716A (en) Standard light source, correction coefficient calculating method and device, and fluorescent image forming method and device
JP2002336187A (en) Method and apparatus for forming normalized fluorescent image
JP2013172903A (en) Electronic endoscope
JP2002102147A (en) Fluorescent image acquisition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060905

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070507

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070705

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees