JP2003287497A - 撮像装置、画像処理装置ならびに撮像システム - Google Patents

撮像装置、画像処理装置ならびに撮像システム

Info

Publication number
JP2003287497A
JP2003287497A JP2002092234A JP2002092234A JP2003287497A JP 2003287497 A JP2003287497 A JP 2003287497A JP 2002092234 A JP2002092234 A JP 2002092234A JP 2002092234 A JP2002092234 A JP 2002092234A JP 2003287497 A JP2003287497 A JP 2003287497A
Authority
JP
Japan
Prior art keywords
subject
unit
image pickup
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002092234A
Other languages
English (en)
Other versions
JP3723145B2 (ja
Inventor
Moriyuki Igami
盛志 伊神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2002092234A priority Critical patent/JP3723145B2/ja
Priority to US10/401,029 priority patent/US7528398B2/en
Publication of JP2003287497A publication Critical patent/JP2003287497A/ja
Application granted granted Critical
Publication of JP3723145B2 publication Critical patent/JP3723145B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/26Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating electrochemical variables; by using electrolysis or electrophoresis
    • G01N27/416Systems
    • G01N27/447Systems using electrophoresis
    • G01N27/44704Details; Accessories
    • G01N27/44717Arrangements for investigating the separated zones, e.g. localising zones
    • G01N27/44721Arrangements for investigating the separated zones, e.g. localising zones by optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1452Adjustment of focus; Alignment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/26Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating electrochemical variables; by using electrolysis or electrophoresis
    • G01N27/416Systems
    • G01N27/447Systems using electrophoresis
    • G01N27/44756Apparatus specially adapted therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electrochemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 被写体の配置された位置の変動に起因した、
被写体に励起光の照度分布の変動を防止して画質の劣化
を防止するとともに、画像補正の効率化を図る。 【解決手段】 筐体20内に移動可能に設けられた被写
体配置部40に配置された被写体PSに対して、被写体
配置部40に固定された光源50から励起光を照射した
被写体PSを撮像部30により撮像して画像情報IGを
得る。ここで、撮像部30による撮像領域を撮像距離S
Dに基づき解析し、補正テーブル104から解析された
撮像領域内に対応した補正条件RCを抽出する。そし
て、抽出された補正条件RCに基づいて撮像装置10か
ら取得した画像情報IGを補正する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は筐体に配置された被
写体を撮像する撮像装置、画像処理装置ならびに撮像シ
ステムに関するものである。
【0002】
【従来の技術】従来、筐体に被写体を配置し、筐体内に
備えられた光源で被写体を照射して被写体を撮像する装
置が色々な分野で利用されている。例えば、生化学の分
野において、蛍光物質を標識物質として使用した蛍光検
出システムが知られている。この蛍光検出システムによ
れば、蛍光画像を読み取ることによって、遺伝子配列、
遺伝子の発現レベル、蛋白質の分離、同定、あるいは分
子量、特性の評価などを行うことができる。
【0003】具体的には、例えば、電気泳動させるべき
複数のDNA断片を含む溶液の中に、蛍光色素を加えた
後に、複数のDNA断片をゲル支持体上で電気泳動させ
ることができる。あるいは、蛍光色素を含有させたゲル
支持体上で、複数のDNA断片を電気泳動させる。ある
いは複数のDNA断片を、ゲル支持体上で、電気泳動さ
せた後に、ゲル支持体を蛍光色素を含んだ溶液に浸すな
どして、電気泳動されたDNA断片を標識し、励起光に
より、蛍光色素を励起して、生じた蛍光を検出すること
によって、画像を生成し、ゲル支持体上のDNA分布を
検出することができる。
【0004】あるいは、複数のDNA断片を、ゲル支持
体上で電気泳動させた後に、DNAを変性し、次いで、
サザン・ブロッティング法により、ニトロセルロースな
どの転写支持体上に、変性DNA断片の少なくとも一部
を転写し、目的とするDNAと相補的なDNAもしくは
RNAを蛍光色素で標識して調製したプローブと変性D
NA断片とをハイブリダイズさせ、プローブDNAもし
くはプローブRNAと相補的なDNA断片のみを選択的
に標識し、励起光によって蛍光色素を励起して、生じた
蛍光を検出することにより画像を生成し、転写支持体上
の目的とするDNA分布を検出することができる。
【0005】また、近年、生化学解析システムとしてマ
イクロアレイ解析システムが注目を集めている。例え
ば、蛍光物質を標識物質として利用したマイクロアレイ
解析システムにおいては、スライドガラス板やメンブレ
ンフィルタなどの担体表面上の異なる位置に、ホルモン
類、腫瘍マーカー、酵素、抗体、抗原、アブザイム、そ
の他の蛋白質、核酸、cDNA、DNA、RNAなど、
生体由来の物質と特異的に結合可能で、かつ、塩基配列
や塩基の長さ、組成などが既知の特異的結合物質を、ス
ポッター装置を用いて滴下して、多数の独立したスポッ
トを形成し、次いで、ホルモン類、腫瘍マーカー、酵
素、抗体、抗原、アブザイム、その他の蛋白質、核酸、
cDNA、DNA、mRNAなど、抽出、単離などによ
って生体から採取され、あるいは、化学的、化学修飾な
どの処理が施された生体由来の物質であって、蛍光物
質、蛍光色素などの蛍光標識物質によって標識された物
質を、ハイブリダイゼーションなどによって、特異的結
合物質に、特異的に結合させたマイクロアレイに、励起
光を照射して、蛍光物質、色素などの標識物質から発せ
られた蛍光などを光電的に検出して、生体由来の物質を
解析するものである。
【0006】上述した生化学解析用システムにおいて
は、蛍光などを検出するために、筐体内に励起光源とC
CDを備えた撮像装置を利用し、上述したマイクロアレ
イやゲルなどを試料として筐体に収容して、励起光源か
ら励起光を試料に照射することによって試料から生じた
蛍光を撮像手段としてのCCDにより撮像して検出して
いる。
【0007】ところで、生化学解析システムに限らず、
筐体に被写体を収容し、筐体に備え付けられた光源から
被写体に光を照射して、撮像部により被写体を撮像する
撮像装置がある。この撮像装置においては、光(励起光
を含む)を照射する光源の位置が固定された構造を有す
る。
【0008】一方、撮像したい被写体の寸法は一様では
ない。そこで、異なる寸法の被写体に合わせて被写体を
異なる高さの位置に配置することができるようになって
いる。具体的には、被写体は略板状に形成された試料ト
レーに配置されて、この試料トレーが筐体内に段階的に
設けられたトレー保持部のいずれかの段に保持されて撮
像される。これにより、撮像手段により寸法の異なる種
類の被写体でも適宜の大きさで撮像することができる。
【0009】
【発明が解決しようとする課題】しかし、光源が固定さ
れたまま被写体の位置が変わると、光源から被写体に照
射される光量、照度分布などは、被写体の配置される位
置によって異なる。よって、撮像した画像の質に影響を
与えてしまうという問題がある。具体的には、被写体と
光源との撮像距離が変わると、被写体に照射される励起
光の入射角度が変わるとともに、被写体に照射される励
起光の光量が変わる。よって、撮像距離が異なると違う
撮像条件で画像情報が取得することになる。
【0010】また、得られた画像情報をシェーディング
補正する際、撮像距離によって撮像条件が異なるため、
被写体の高さ毎に補正条件を設定しなければならないと
いう問題がある。
【0011】そこで、本発明は、撮像距離の変動に起因
した、被写体に励起光の照度分布の変動を防止して画質
の劣化を防止するとともに、画像補正の効率化を図るこ
とができる撮像装置、画像処理装置ならびに撮像システ
ムを提供することを目的とする。
【0012】
【課題を解決するための手段】本発明の撮像装置は、内
部に被写体が収容される筐体と、該筐体内に収容された
前記被写体を撮像して画像情報を出力するものであっ
て、前記筐体に固定された撮像部とを備えた撮像装置に
おいて、前記被写体を配置する前記筐体内に設けられた
被写体配置部と、該被写体配置部に配置された前記被写
体に励起光を照射するものであって、前記被写体配置部
に固定された光源と、前記撮像部と前記被写体との間の
撮像距離を変化させるため、前記被写体配置部を前記筐
体内で移動させる被写体移動部とを備えたことを特徴と
する。
【0013】ここで、「光源」は、筐体内で直接被写体
設置部に光を照射するものに限らず、前記筐体の外側に
設けられた励起光射出部から出射する励起光を導光部を
介して照射する光射出部であってもよい。
【0014】本発明の画像処理装置は、筐体内に移動可
能に設けられた被写体配置部に配置された被写体に対し
て、該被写体配置部に固定された光源から励起光を照射
した状態で前記被写体を撮像部により撮像して得られた
画像情報を補正する画像処理装置であって、前記被写体
と前記撮像部との撮像距離を用いて、前記撮像部による
前記被写体配置部上の撮像領域を解析する領域解析手段
と、該領域解析手段により解析された前記撮像領域内の
前記補正条件を、前記光源により前記被写体配置部上に
形成される前記励起光の照度分布に応じて設定する補正
条件設定手段と、該補正条件設定手段で設定した前記補
正条件に基づいて前記撮像装置から取得した画像情報を
補正する画像補正手段とを備えたことを特徴とする。
【0015】ここで、「補正条件」は、照度分布に起因
したノイズを除去できるものであればよく、他のノイズ
等を補正するためのパラメータを含むものであってもよ
い。
【0016】本発明の撮像システムは、内部に被写体が
収容される筐体と、該筐体内に収容された前記被写体を
撮像して画像情報を出力するため、前記筐体に固定され
た撮像部とを備えた撮像装置と、該撮像装置から取得し
た画像情報を補正する画像処理装置とを有する撮像シス
テムにおいて、前記撮像装置が、前記被写体を配置する
前記筐体内に設けられた被写体配置部と、該被写体配置
部に配置された該被写体に励起光を照射するものであっ
て、前記被写体配置部に固定された光源と、前記撮像部
と前記被写体との撮像距離を変化させるため、前記被写
体配置部を前記筐体内で移動させる被写体移動部とを備
え、前記画像処理装置が、前記被写体と前記撮像部との
撮像距離を用いて、前記撮像部による前記被写体配置部
上の撮像領域を解析する領域解析手段と、該領域解析手
段により解析された前記撮像領域内の前記補正条件を、
前記光源により前記被写体配置部上に形成される前記励
起光の照度分布に応じて設定する補正条件設定手段と、
該補正条件設定手段で設定した前記補正条件に基づいて
前記撮像装置から取得した画像情報を補正する画像補正
手段とを備えたことを特徴とする。
【0017】なお、「画像処理装置」には、被写体移動
部の動作を制御する移動制御手段が設けられてもよい。
【0018】
【発明の効果】本発明の撮像装置によれば、被写体を配
置する被写体配置部に、被写体配置部に配置された被写
体に励起光を照射する光源が固定されることで、被写体
と撮像部との撮像距離を変えるために被写体配置部を移
動させた場合であっても、光源と被写体との位置関係は
変わらないため、被写体に対する励起光の光量および照
度分布が変わることによる画質の劣化を防止することが
できる。
【0019】本発明の画像処理装置ならびに撮像システ
ムによれば、被写体配置部に固定された光源により形成
される照度分布は被写体配置部の移動により変わらない
ことを利用して、被写体と撮像部との撮像距離に基づ
き、撮像部による被写体配置部上の撮像領域を解析し、
励起光の照度分布に応じて被写体配置部の各領域毎に補
正条件を設定した補正テーブルから、領域解析手段によ
り解析された撮像領域に基づき撮像領域内の補正条件を
抽出し、抽出された補正条件に基づいて撮像装置から取
得した画像情報を補正することで、補正テーブルを撮像
距離毎に容易する必要がなくなり、補正条件の設定を効
率よく行うことができるとともに行うことができる。
【0020】なお、画像処理装置側に移動制御手段を設
けることで、画像処理装置側で被写体の高さを変えるこ
とができるため、被写体の高さを変える場合にユーザー
が筐体内の被写体もしくは被写体配置部を操作する必要
がなくなり、ユーザーにとって使いやすくすることがで
きるとともに、被写体を取り出すことによる撮像条件が
変わるのを防止することができる。
【0021】
【発明の実施の形態】図1は本発明の撮像システムの第
1の実施の形態を示す斜視図であり、図1を参照して撮
像システム1について説明する。図1の撮像システム1
はたとえば蛍光物質を被写体として、被写体に励起光を
照射することにより蛍光画像を表示する蛍光検出システ
ムであって、撮像装置10と画像処理装置100を有す
る。撮像装置10および画像処理装置100は机上に配
置されるものであって、画像処理装置100は、たとえ
ばコンピュータからなっている。そして、撮像装置10
が被写体PSを撮像して、取得した被写体の画像情報I
Gを画像処理装置100に送り、画像処理装置100が
画像情報IGを画像処理して表示部202で表示するよ
うになっている。
【0022】図2は本発明の撮像装置の好ましい実施の
形態を示す平面図であり、図1と図2を参照して撮像装
置10について説明する。撮像装置10は、筐体20、
撮像部30、被写体配置部40、光源50、被写体移動
部60等を有する。図1の筐体20は略直方体に形成さ
れており、内部に中空部21を有する。また、筐体20
には蓋22が開閉可能に取り付けられており、ユーザー
が蓋22を開けて筐体20内に被写体PSを収容するこ
とができるようになっている。このように、筐体20は
中空部21内に外光が入らないような暗箱を構成してい
る。
【0023】筐体20の上面20aには撮像部30が固
定されている。撮像部30は筐体20内に配置された被
写体PSを撮像するものであって、たとえばCCDカメ
ラ等からなっている。撮像部30には図示しない冷却部
が取り付けられており、撮像部30を冷却することによ
りCCDカメラから得られる画像情報に暗電流によるノ
イズ成分が含まれるのを防止している。撮像部30には
レンズ部31が取り付けられている。このレンズ部31
は矢印Z方向に移動可能に設けられており、矢印Z方向
に移動することでフォーカスを被写体PSに合わせるよ
うになっている。
【0024】被写体配置部40は配置面42に被写体P
Sを配置して保持するものであって、筐体20の中空部
21内に設けられている。被写体配置部40はハウジン
グ41、配置面42を有し、ハウジング41内に設けら
れた配置面42に被写体PSを配置可能な構造を有す
る。また、被写体配置部40は被写体移動部60により
保持されており、被写体移動部60の作動により矢印Z
方向に移動可能になっている。
【0025】被写体配置部40にはたとえばLED等か
らなる光源50が固定されている。光源50は、被写体
PSである発光物質を発光させるための励起光を出射す
るものであって、底部光源51と落射光源52を有す
る。底部光源51はハウジング41に固定されており、
配置面42の下側に設けられている。落射光源52はハ
ウジング41に固定されており、配置面42の上側に設
けられている。よって、底部光源51は被写体PSの下
側から励起光を照射し、落射光源52は被写体PSの上
側から励起光を照射するようになっている。特に、落射
光源52の配置位置は、配置面42上に形成される照度
分布および光量分布が最適になるように、すなわち最も
均一に近い分布になるように配置される。
【0026】被写体移動部60は、被写体配置部40を
矢印Z方向に移動させるものであって、たとえばモータ
等からなる駆動部61、軸62、プーリ63、ベルト6
4等からなっている。そして、駆動部61が駆動する
と、軸62、プーリ63およびベルト64を介して被写
体配置部40が矢印Z方向に移動するようになってい
る。この被写体移動部60の動作は移動制御手段101
によって制御されている。また、被写体移動部60はた
とえばエンコーダ等を有し、被写体配置部40の移動量
から被写体の位置情報PIを検出して移動制御手段10
1に出力するようになっている。つまり、被写体移動部
60の駆動部61が被写体の位置検出部としても機能し
ている。
【0027】ここで、図2に示すように、被写体配置部
40に光源50を固定させた場合、被写体配置部40を
移動させて撮像距離SDを変化させても、被写体配置部
40と光源50の位置関係が変わることはない。つま
り、配置面42に照射される励起光の光量および照度分
布は、撮像距離SDに依存することなく常に略一定とな
る。よって、撮像距離SDに合わせて補正条件RCを設
定する必要がなくなり、画像補正を効率的に行うことが
できるとともに、画質の向上を図ることができる。
【0028】なお、撮像距離SDを変える場合、撮像部
30を移動させる方法と、被写体PS側を移動させる方
法が考えられる。撮像部30は冷却しなければならない
ため、筐体20の外部に配置することが好ましい。よっ
て、被写体配置部40側を移動させるようにしている。
【0029】図3は本発明の画像処理装置の好ましい実
施の形態を示すブロック図であり、図3を参照して画像
処理装置100について説明する。画像処理装置100
は、撮像装置10と接続されており、撮像装置10から
画像情報IG取得して画像処理を施して表示部202に
表示させるものである。なお、以下に示す画像処理装置
100ではシェーディング補正をする機能について言及
しているが、この画像処理装置100は得られた画像情
報の画像処理を行う機能を有するものである。さらに、
画像処理装置100は、撮像部30の動作および光源5
0の動作を制御する撮像装置10を制御する手段を有し
ており、撮像部30の露光時間や光源のON/OFF等
の動作を制御する機能等を有してもよい。
【0030】図4の画像処理装置100移動制御手段1
01、領域解析手段102、補正条件設定手段103、
画像補正手段105等を備える。移動制御手段101
は、被写体移動部60の動作を制御するとともに被写体
移動部60の駆動部61の動作量から被写体PSの位置
情報PIを得る機能を有する。具体的には、移動制御手
段101は、予め筐体20に固定された撮像部30の位
置情報を有しており、撮像部30の位置情報と被写体配
置部40の位置情報PIとに基づいて、撮像距離SDを
求めるようになっている。そして、位置情報PIに基づ
いて撮像距離SDを判断して領域解析手段102に送
る。
【0031】また、ユーザーは入力部201を操作する
ことで制御手段200および移動制御手段101を介し
て被写体移動部60を動作させることができる。なお、
被写体PSの位置情報PIは、制御手段200を介して
表示部202に表示されるようになっている。そしてユ
ーザーは表示部202に示された位置情報PIに基づい
て、入力部201を操作して撮像距離SDを調整するよ
うになっている。
【0032】このように、移動制御手段101が画像処
理装置100内に設けられることで、撮像距離SDを調
整する際に、筐体20の蓋22を開けて撮像距離SDを
調整する必要がなくなり、蓋22を開けることによる撮
像条件の変化を抑えることができる。また、ユーザーが
撮像距離SDを調整する際、コンピュータを操作するた
めの席から立って撮像装置10側で高さをコントロール
する必要がなくなるため、一度被写体配置部40に被写
体PSを配置すれば、画像処理装置100側だけで細か
な撮像条件を設定することができる。
【0033】領域解析手段102は、移動制御手段10
1から出力される位置情報PIを用いて、画像情報IG
の撮像領域SRを解析する機能を有する。そして領域解
析手段102は解析した撮像領域SRを補正条件設定手
段103に送るようになっている。すなわち、撮像部3
0に撮像された画像情報IGに含まれる被写体配置部4
0上の撮像領域SRは撮像距離SDに比例する。具体的
には、撮像距離SDが大きくなれば、画像情報IGで得
られる撮像領域SRは大きくなる。一方、撮像距離SD
が小さくなれば、画像情報IGで得られる撮像領域SR
は小さくなる。よって、領域解析手段102は、撮像距
離SDから撮像領域SRを解析することができるように
なっている。なお、撮像領域SRはレンズ部31の動作
によっても撮像領域SRは変化する場合があるので、領
域解析手段102はレンズ部31の動作も考慮して撮像
領域SRを解析するようにしてもよい。
【0034】補正条件設定手段103は、撮像部30で
取得された画像情報IGをシェーディング補正する際の
補正条件RCを設定するものであって、補正テーブル1
04とアクセス可能になっている。この補正テーブル1
04には、被写体配置部40の全撮像領域にわたる領域
毎の補正条件RCが格納されている。この補正条件RC
は、撮像部30が、被写体配置部40上の予め一様な濃
度分布を有する基準画像を読み取ったときに、全領域に
対して変換特性を求めておき、その特性に基づいて作成
されたものである。
【0035】この補正テーブル104は被写体PSと光
源50の位置関係が略一定状態にあることを利用して作
成されたものである。すなわち、光源50は被写体配置
部40上に固定されるため、被写体配置部40上に形成
される励起光の照度分布は被写体配置部40の位置に係
わらず略一定である。よって、被写体配置部40上に形
成される光量分布および照度分布に応じた領域毎の補正
条件RCを予め算出すれば、撮像距離SDがどのような
値であっても、この算出した補正条件RCを用いること
ができる。
【0036】補正条件設定手段103は、領域解析手段
102から送られた撮像領域SRに該当する補正条件R
Cを補正テーブル104から抽出して、撮像部30の各
画素毎の補正条件RCを決定する。補正条件設定手段1
03は設定した補正条件RCを画像補正手段105に送
る。
【0037】なお、補正条件設定手段103は、予め補
正条件RCが設定される補正テーブル104に基づいて
画像情報の補正条件RCを抽出するようにしているが、
補正テーブル104には被写体設置部40上に形成され
る照度分布のみが記憶されており、照度分布に基づき補
正条件設定手段103が画像情報の補正条件RCを算出
するようにしてもよい。
【0038】画像補正手段105は、撮像部30から送
られる画像情報IGを補正条件設定手段103から送ら
れる補正条件RCを用いてシェーディング補正するもの
である。具体的には、画像補正手段105は画像情報P
Iの各領域毎に、それに対応した補正条件RCを用いて
画像補正を行う。画像補正手段105は補正した画像情
報IGを制御手段200に送り、画像情報PIは制御手
段200を介して表示部202に表示される。
【0039】図4は、撮像システム1の動作例を示すフ
ローチャート図であり、図1から図4を参照して撮像シ
ステム1の動作例について説明する。まず、ユーザーが
図1の筐体20の蓋22を開けて、被写体配置部40に
被写体PSを配置する。そして、ユーザーが蓋22を閉
めて筐体20内に外光が入らないようにした状態にし
て、撮像が開始する(ステップST1)。
【0040】次に、ユーザーが画像処理装置100側で
被写体移動部60を操作して、被写体移動部60を動作
させて撮像距離SDを決定する(ステップST2)。こ
のとき、ユーザーは表示部202に表示される被写体P
Sのプレビュー画面を見ながら操作する。被写体PSの
撮像距離SDが最適になるまでこの作業が行われる(ス
テップST2、ステップST3)。なお、被写体PSが
移動したときには、適宜レンズ部31によるフォーカス
サーボが行われる。被写体移動部60が動作したときに
は、位置情報PIが被写体移動部60から移動制御手段
101に送られる。
【0041】被写体PSが位置決めされるとこの露光時
間等の撮像条件の設定がコンピュータ側で行われる。そ
の後、撮像部30により被写体PSの撮像がユーザーに
より設定された撮像条件で行われる(ステップST
4)。そして、撮像部30から画像補正手段105へ画
像情報IGが送られる。その後、画像補正手段105に
おいて画像情報IGがシェーディング補正等されて表示
部202に出力される(ステップST5)。
【0042】図5は本発明の画像補正方法の好ましい実
施の形態を示すフローチャート図であり、図1から図4
を参照して画像補正方法について説明する。まず、上述
したように、被写体移動部60により被写体配置部40
が所定の位置に位置決めされた際に、被写体移動部60
から移動制御手段101に位置情報PIが送られる。移
動制御手段101において、被写体PSと被写体配置部
40の撮像距離SDが検出され、領域解析手段102に
送られる。
【0043】すると、領域解析手段102において、撮
像部30により取得された画像情報IGの撮像領域SR
が撮像距離SDに基づいて解析される(ステップST1
0)。解析された撮像領域SRは、領域解析手段102
から補正条件設定手段103に送られる。
【0044】次に、補正条件設定手段103において、
送られた撮像領域SRに基づいて、補正テーブル104
から画像情報IGを補正するための補正条件RCが抽出
される(ステップST11)。抽出された補正条件RC
は、補正条件設定手段103から画像補正手段105に
送られる。そして、画像補正手段105において、画像
情報IGがシェーディング補正された後(ステップST
12)、制御手段200に送られて、表示部202から
画像情報IGが表示される。
【0045】このように、光源50を被写体配置部40
に固定して、被写体配置部40とともに移動させること
により、被写体配置部40上に照射される励起光の光量
および照度分布は略一定になる。これを利用して、補正
テーブル104に光源50により形成された被写体配置
部40の撮像可能領域での補正条件RCを予め設定して
おけば、その補正テーブル104を使って、様々な撮像
距離SDで撮像された画像情報IGを補正することがで
きるようになる。よって、様々な撮像距離SD毎に補正
条件を設定する必要がなくなり、補正条件の設定作業の
効率化を図ることができるとともに、補正処理の効率化
を図ることができる。
【0046】図6は本発明の撮像装置の第2の実施の形
態を示す模式図であり、図6を参照して撮像装置110
について説明する。なお、図6の撮像装置110におい
て、図2の撮像装置10と同一の構成を有する部位には
同一の符号を付してその説明を省略する。図6の撮像装
置110が図2の撮像装置10と異なる点は光源の構造
である。図6において、光源150は底部光源51と落
射光源152を有し、落射光源152は励起光射出部で
ある152a、導光部152b、光射出部152cを有
する。
【0047】励起光射出部152aは筐体20の外部に
配置されており、たとえば励起光を出射するハロゲンラ
ンプからなっている。導光部152bは、たとえば光フ
ァイバからなっており、励起光射出部152aから射出
した励起光を筐体20内に導くものである。光射出部1
52cは、導光部152bによって導かれた励起光を筐
体20内に励起光を照射するものであって、被写体配置
部40に固定されている。そして、被写体配置部40の
移動とともに、光射出部152cが移動するようになっ
ている。このように、落射光源152を筐体20の外部
に配置することにより、落射光源152で発生する熱の
影響を与えることがなくなる。
【0048】図7は本発明の撮像装置の第2の実施の形
態を示す模式図であり、図5を参照して撮像装置130
について説明する。なお、図7の撮像装置120におい
て、図2の撮像装置10と同一の構成を有する部位には
同一の符号を付してその説明を省略する。図5の撮像装
置120が図2の撮像装置10と異なる点は筐体の構造
である。
【0049】図7の筐体120の枠120aにおいて、
ヒンジ160を取り付けるための穴121aおよび蓋1
22の係止部122aと係合する溝121が、左右対称
となるように設けられている。一方、蓋122の表面に
はポケット122a、122bが設けられている。する
と、枠120aに蓋122を左右いずれにも取り付ける
ことが可能となる。これにより、撮像装置130の配置
場所によって蓋22が右開きできない場合であっても、
蓋122を180度回転させて枠120aに取り付けれ
ば、蓋22の開閉ができるようになる。よって、撮像装
置10の配置場所の自由度を広げることができ、撮像装
置120を使いやすくすることができる。
【0050】本発明の実施の形態は、上記各実施の形態
に限定されない。上記実施の形態において、被写体PS
を被写体配置部40に直接配置する場合について言及し
ているが、たとえば光透過性のトレーに被写体PSを配
置して、被写体PSをトレーとともに被写体配置部40
に配置するようにしてもよい。この場合、撮像距離SD
がトレーの厚さだけ変化するため、移動制御手段101
はトレーの厚みも考慮した位置情報PIを補正条件設定
手段103に送ることになる。
【0051】また、図3において、移動制御手段101
が被写体移動部60から被写体PSの位置を検出するよ
うにしているが、筐体20に別途位置検出部を設けて、
位置検出部が直接被写体配置部40もしくは被写体PS
の位置を確認して位置情報PIを検出するようにしても
よい。
【0052】また、図3においてコンピュータ上で稼働
する画像処理装置100について言及しているが、コン
ピュータに画像補正プログラムを読み込ませて、コンピ
ュータと画像補正プログラムの協働した具体的手段とし
て提供されるようにしてもよい。このとき、この画像処
理プログラムは、筐体内に移動可能に設けられた被写体
配置部に配置された被写体に対して、該被写体配置部に
固定された光源から励起光を照射した状態で前記被写体
を撮像部により撮像して得られた画像情報を補正する画
像処理プログラムであって、前記光源により前記被写体
配置部上に形成される前記励起光の照度分布に応じて前
記被写体配置部の各領域毎に補正条件を設定した補正テ
ーブルと、前記被写体と前記撮像部との撮像距離を用い
て、前記撮像部による前記被写体配置部上の撮像領域を
解析する領域解析手段と、該領域解析手段により解析さ
れた前記撮像領域に基づき、該撮像領域内の前記補正条
件を前記補正テーブルから抽出する補正条件設定手段
と、該補正条件設定手段で抽出した前記補正条件に基づ
いて前記撮像装置から取得した画像情報を補正する画像
補正手段としてコンピュータを機能させるための画像処
理プログラム、ということができる。
【図面の簡単な説明】
【図1】本発明の撮像システムの好ましい実施の形態を
示す斜視図
【図2】本発明の撮像システムの第1の実施の形態を示
す斜視図
【図3】本発明の画像処理装置の好ましい実施の形態を
示す斜視図
【図4】本発明の撮像システム動作例を示すフローチャ
ート図
【図5】本発明の画像補正方法の好ましい実施の形態を
示すフローチャート図
【図6】本発明の撮像装置の第2の実施の形態を示す斜
視図
【図7】本発明の撮像装置の第3の実施の形態を示す斜
視図
【符号の説明】
1 撮像システム 10 撮像装置 20 筐体 21 中空部 22 蓋 30 撮像部 31 レンズ部 40 被写体配置部 41 ハウジング 42 配置面 50 光源 60 被写体移動部 100 画像処理装置 101 移動制御手段 102 領域解析手段 103 補正条件設定手段 104 補正テーブル 105 画像補正手段 IG 画像情報 PI 位置情報 PS 被写体 RC 補正条件 SD 撮像距離 SR 撮像領域
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 1/04 E 5C077 Fターム(参考) 2G043 AA01 BA16 CA03 EA01 GA07 GB19 HA05 LA03 5B047 AA15 AA17 BA02 BB04 BC05 BC11 BC14 BC20 CB22 DA04 5C022 AB15 AC21 AC78 CA02 5C054 AA01 CA04 CC02 CF07 EA01 EA05 ED07 EJ03 HA05 5C072 AA01 BA08 CA05 EA05 EA08 LA12 RA11 UA02 VA01 5C077 LL04 MM03 PP06 PP71 SS01

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 内部に被写体が収容される筐体と、該筐
    体内に収容された前記被写体を撮像して画像情報を出力
    するものであって、前記筐体に固定された撮像部とを備
    えた撮像装置において、 前記被写体を配置する前記筐体内に設けられた被写体配
    置部と、 該被写体配置部に配置された前記被写体に励起光を照射
    するものであって、前記被写体配置部に固定された光源
    と、 前記撮像部と前記被写体との間の撮像距離を変化させる
    ため、前記被写体配置部を前記筐体内で移動させる被写
    体移動部とを備えたことを特徴とする撮像装置。
  2. 【請求項2】 筐体内に移動可能に設けられた被写体配
    置部に配置された被写体に対して、該被写体配置部に固
    定された光源から励起光を照射した状態で前記被写体を
    撮像部により撮像して得られた画像情報を補正する画像
    処理装置であって、 前記被写体と前記撮像部との撮像距離を用いて、前記撮
    像部による前記被写体配置部上の撮像領域を解析する領
    域解析手段と、 該領域解析手段により解析された前記撮像領域内の前記
    補正条件を、前記光源により前記被写体配置部上に形成
    される前記励起光の照度分布に応じて設定する補正条件
    設定手段と、 該補正条件設定手段で設定した前記補正条件に基づいて
    前記撮像装置から取得した画像情報を補正する画像補正
    手段とを備えたことを特徴とする画像処理装置。
  3. 【請求項3】 内部に被写体が収容される筐体と、該筐
    体内に収容された前記被写体を撮像して画像情報を出力
    するため、前記筐体に固定された撮像部とを備えた撮像
    装置と、該撮像装置から取得した画像情報を補正する画
    像処理装置とを有する撮像システムにおいて、 前記撮像装置が、前記被写体を配置する前記筐体内に設
    けられた被写体配置部と、該被写体配置部に配置された
    該被写体に励起光を照射するものであって、前記被写体
    配置部に固定された光源と、前記撮像部と前記被写体と
    の撮像距離を変化させるため、前記被写体配置部を前記
    筐体内で移動させる被写体移動部とを備え、 前記画像処理装置が、前記被写体と前記撮像部との撮像
    距離を用いて、前記撮像部による前記被写体配置部上の
    撮像領域を解析する領域解析手段と、該領域解析手段に
    より解析された前記撮像領域内の前記補正条件を、前記
    光源により前記被写体配置部上に形成される前記励起光
    の照度分布に応じて設定する補正条件設定手段と、該補
    正条件設定手段で設定した前記補正条件に基づいて前記
    撮像装置から取得した画像情報を補正する画像補正手段
    とを備えたことを特徴とする撮像システム。
  4. 【請求項4】 前記画像処理装置には、前記被写体移動
    部の動作を制御する移動制御手段が設けられたことを特
    徴とする請求項3に記載の撮像システム。
JP2002092234A 2002-03-28 2002-03-28 撮像装置、画像処理装置ならびに撮像システム Expired - Lifetime JP3723145B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002092234A JP3723145B2 (ja) 2002-03-28 2002-03-28 撮像装置、画像処理装置ならびに撮像システム
US10/401,029 US7528398B2 (en) 2002-03-28 2003-03-28 Fluorescence imaging method and apparatus utilizing a fixed excitation source

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002092234A JP3723145B2 (ja) 2002-03-28 2002-03-28 撮像装置、画像処理装置ならびに撮像システム

Publications (2)

Publication Number Publication Date
JP2003287497A true JP2003287497A (ja) 2003-10-10
JP3723145B2 JP3723145B2 (ja) 2005-12-07

Family

ID=29237114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002092234A Expired - Lifetime JP3723145B2 (ja) 2002-03-28 2002-03-28 撮像装置、画像処理装置ならびに撮像システム

Country Status (2)

Country Link
US (1) US7528398B2 (ja)
JP (1) JP3723145B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009081498A1 (ja) * 2007-12-26 2009-07-02 Shimadzu Corporation 生体画像取得装置
US7576774B2 (en) 2004-03-31 2009-08-18 Fujifilm Corporation Photography control apparatus and program
JP2010085151A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 光源装置及び撮影装置
JP4983929B2 (ja) * 2007-12-26 2012-07-25 株式会社島津製作所 生体画像取得装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502068B2 (en) * 2004-06-22 2009-03-10 International Business Machines Corporation Sensor for imaging inside equipment
JP4343801B2 (ja) * 2004-09-03 2009-10-14 オリンパス株式会社 蛍光観察用暗箱装置、蛍光観察システムおよび蛍光観察方法
JP2007166374A (ja) * 2005-12-15 2007-06-28 Omron Corp 画像処理装置
WO2009097193A1 (en) * 2008-01-28 2009-08-06 Innovative Imaging, Inc. Table gauge
FR2936251B1 (fr) * 2008-09-23 2010-11-05 Millipore Corp Dispositif pour l'analyse microbiologique.
FR2936252B1 (fr) 2008-09-23 2010-11-05 Millipore Corp Dispositif pour l'analyse microbiologique.
TWM354092U (en) * 2008-09-23 2009-04-01 tai-lin Liu Digital image capturing and transforming device specific for 3D and planar images
CN105093510B (zh) * 2014-05-19 2017-07-21 承奕科技股份有限公司 荧光生物样品操作监控系统
ES2943159T3 (es) * 2015-02-06 2023-06-09 Life Technologies Corp Instrumento óptico para análisis biológico
CN105300854B (zh) * 2015-10-27 2019-04-12 潍坊学院 雾滴参数测量装置及利用该装置的雾滴参数测量分析方法
JP6469032B2 (ja) * 2016-02-18 2019-02-13 富士フイルム株式会社 撮像装置および方法
JP7112994B2 (ja) * 2019-09-11 2022-08-04 富士フイルム株式会社 蛍光撮影装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55133437A (en) 1979-04-04 1980-10-17 Mitsui Petrochem Ind Ltd Deterioration-preventing agent for rubber
JP3305059B2 (ja) 1993-09-28 2002-07-22 キヤノン株式会社 画像入力装置
EP0840114B1 (en) * 1996-10-31 2005-02-16 Fuji Photo Film Co., Ltd. Image Producing Apparatus
US5774214A (en) * 1996-12-12 1998-06-30 Photometrics, Ltd. Multi-mode imaging apparatus for radiation-emitting or absorbing samples
JP3776246B2 (ja) * 1998-12-02 2006-05-17 富士写真フイルム株式会社 画像情報読取装置に使用される試料台およびその製造方法
JP3585753B2 (ja) 1998-12-15 2004-11-04 富士写真フイルム株式会社 撮影システム
US6775567B2 (en) 2000-02-25 2004-08-10 Xenogen Corporation Imaging apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576774B2 (en) 2004-03-31 2009-08-18 Fujifilm Corporation Photography control apparatus and program
WO2009081498A1 (ja) * 2007-12-26 2009-07-02 Shimadzu Corporation 生体画像取得装置
WO2009081969A1 (ja) * 2007-12-26 2009-07-02 Shimadzu Corporation 生体画像取得装置
JP4983929B2 (ja) * 2007-12-26 2012-07-25 株式会社島津製作所 生体画像取得装置
US8842173B2 (en) 2007-12-26 2014-09-23 Shimadzu Corporation Biological image acquisition device
JP2010085151A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 光源装置及び撮影装置

Also Published As

Publication number Publication date
US20030214581A1 (en) 2003-11-20
JP3723145B2 (ja) 2005-12-07
US7528398B2 (en) 2009-05-05

Similar Documents

Publication Publication Date Title
JP3723145B2 (ja) 撮像装置、画像処理装置ならびに撮像システム
US6646678B1 (en) Photographing system
JP2007003323A (ja) 撮影システム
JP3678397B2 (ja) 撮影システム
CN1308726A (zh) 用于包括胎儿细胞的计算机所控制的稀少细胞的基于诊断的方法和装置
KR100877656B1 (ko) 생화학 검사 장치 및 생화학 검사 방법
EP2290352A2 (en) Fluorescent image obtaining device, fluorescent image obtaining method and fluorescent image obtaining program
CN1829907A (zh) 生物实体的分析
CN1748138A (zh) 成像装置
JP5364430B2 (ja) 細胞画像取得装置及び細胞画像取得方法
JP2001083090A (ja) マイクロタイタープレート用励起光源
JP2000235003A (ja) 撮影方法および撮影装置
JP2000292353A (ja) 蛍光画像生成装置
US20080159603A1 (en) Method For Automatically Detecting Degenerated Regions in Stained Thin Section Slides
JP7287427B2 (ja) 細胞吸引支援装置および細胞吸引支援装置の制御方法
US20050219368A1 (en) Photography system
JP2000338042A (ja) 画像情報のファイリング方法およびファイリング装置
JP2002168784A (ja) 共焦点スキャナのピンホール位置調整・位置決め方法および装置
JP2002010122A (ja) 画像データ生成処理システム
JP4034288B2 (ja) 撮影制御装置およびプログラム
JP2003107003A (ja) 撮像装置
JP4571543B2 (ja) 撮影装置
US20050140980A1 (en) Optical measurement apparatus
JP2005283322A (ja) 撮影装置
RU200805U1 (ru) Флуоресцентный анализатор биочипов

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050914

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3723145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080922

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080922

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term