JP2018054425A - 撮影画像評価装置および方法並びにプログラム - Google Patents

撮影画像評価装置および方法並びにプログラム Download PDF

Info

Publication number
JP2018054425A
JP2018054425A JP2016189793A JP2016189793A JP2018054425A JP 2018054425 A JP2018054425 A JP 2018054425A JP 2016189793 A JP2016189793 A JP 2016189793A JP 2016189793 A JP2016189793 A JP 2016189793A JP 2018054425 A JP2018054425 A JP 2018054425A
Authority
JP
Japan
Prior art keywords
photographed image
photographed
subject
density
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016189793A
Other languages
English (en)
Other versions
JP6580012B2 (ja
Inventor
兼太 松原
Kenta Matsubara
兼太 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016189793A priority Critical patent/JP6580012B2/ja
Priority to KR1020197005997A priority patent/KR102149625B1/ko
Priority to EP17855387.1A priority patent/EP3521750B1/en
Priority to PCT/JP2017/026745 priority patent/WO2018061429A1/ja
Publication of JP2018054425A publication Critical patent/JP2018054425A/ja
Priority to US16/291,068 priority patent/US11169079B2/en
Application granted granted Critical
Publication of JP6580012B2 publication Critical patent/JP6580012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1029Particle size
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493Particle size
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497Particle shape
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Dispersion Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】積層された培養細胞の厚さおよび密度を、短い撮影時間で評価することができる撮影画像評価装置および方法並びにプログラムを提供する。
【解決手段】対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部52と、相対的に対物レンズの開口数が小さい条件で撮影された低NA撮影画像に基づいて、被写体の厚さを推定する厚さ推定部53と、相対的に対物レンズの開口数が大きい条件で撮影された高NA撮影画像に基づいて、被写体の密度を推定する密度推定部54とを備える。
【選択図】図1

Description

本発明は、被写体を撮影した撮影画像に基づいて、被写体の厚さおよび密度の推定を行う撮影画像評価装置および方法並びにプログラムに関するものである。
ES(Embryonic Stem)細胞およびiPS(Induced Pluripotent Stem)細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。
細胞は成長が進むにつれ、3次元的に積層することが知られており、その積層している培養細胞の厚さおよび密度(細胞の密集度)を知ることは、培養細胞を再生医療および創薬などの分野で使用する上で、重要なことである。
培養細胞の状態を評価する方法としては、従来、位相差顕微鏡などの顕微鏡を用いて培養細胞を撮影し、その撮影画像の特徴を捉えることによって細胞培養の状態を評価する方法が提案されている。
たとえば特許文献1においては、上述したような積層された培養細胞の状態を評価するために、検出光学系の焦点位置を培養細胞の積層方向に移動させることによって、培養細胞の設置面から積層方向に距離の異なる複数の断面画像を撮影することが提案されている。
特開2016−21915号公報
しかしながら、特許文献1に記載の方法のように、焦点位置を変更しながら複数の断面画像を撮影するようにしたのでは、断面画像の撮影回数が多くなり、撮影時間が長くなってしまう問題がある。
また、多数の断面画像を統合して解析処理を行う必要があるので、その解析処理の負荷も大きなものとなる。
本発明は、上記の問題に鑑み、積層された培養細胞の厚さおよび密度を、短い撮影時間で評価することができる撮影画像評価装置および方法並びにプログラムを提供することを目的とする。
本発明の撮影画像評価装置は、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部と、相対的に対物レンズの開口数が小さい条件で撮影された低NA撮影画像に基づいて、被写体の厚さを推定する厚さ推定部と、相対的に対物レンズの開口数が大きい条件によって撮影された高NA撮影画像に基づいて、被写体の密度を推定する密度推定部とを備える。
また、上記本発明の撮影画像評価装置において、厚さ推定部は、低NA撮影画像の輝度分布を取得し、その輝度分布に基づいて、被写体の厚さを推定することができる。
また、上記本発明の撮影画像評価装置において、厚さ推定部は、低NA撮影画像の輝度と被写体の厚さとを対応づけたテーブルを有することができる。
また、上記本発明の撮影画像評価装置において、密度推定部は、高NA撮影画像の輝度分布を取得し、その輝度分布に基づいて、被写体の密度を推定することができる。
また、上記本発明の撮影画像評価装置において、密度推定部は、輝度分布の形状に基づいて、被写体の密度を推定することができる。
また、上記本発明の撮影画像評価装置において、密度推定部は、輝度分布に含まれるピークを求め、そのピークの単位面積当たりの数を算出することによって被写体の密度を推定することができる。
また、上記本発明の撮影画像評価装置において、密度推定部は、輝度分布をガウス関数で近似してピークを求めることができる。
また、上記本発明の撮影画像評価装置において、低NA撮影画像は、相対的に低い倍率で撮影された撮影画像とし、高NA撮影画像は、相対的に高い倍率で撮影された撮影画像とすることができる。
また、上記本発明の撮影画像評価装置において、低NA撮影画像は、相対的に長い波長の照明光で撮影された撮影画像とし、高NA撮影画像は、相対的に短い波長の照明光で撮影された撮影画像とすることができる。
また、上記本発明の撮影画像評価装置において、低NA撮影画像は、相対的に開口の小さい開口絞りを用いて撮影された撮影画像とし、高NA撮影画像は、相対的に開口の大きい開口絞りを用いて撮影された撮影画像とすることができる。
また、上記本発明の撮影画像評価装置においては、厚さ推定部によって推定された被写体の厚さおよび密度推定部によって推定された被写体の密度を出力する出力部を備えることができる。
本発明の撮影画像評価方法は、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得し、相対的に対物レンズの開口数が小さい条件で撮影された低NA撮影画像に基づいて、被写体の厚さを推定し、相対的に対物レンズの開口数が大きい条件で撮影された高NA撮影画像に基づいて、被写体の密度を推定する。
本発明の撮影画像評価プログラムは、コンピュータを、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部と、相対的に対物レンズの開口数が小さい条件で撮影された低NA撮影画像に基づいて、被写体の厚さを推定する厚さ推定部と、相対的に対物レンズの開口数が大きい条件によって撮影された高NA撮影画像に基づいて、被写体の密度を推定する密度推定部として機能させる。
本発明の撮影画像評価装置および方法並びにプログラムによれば、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得し、相対的に対物レンズの開口数が小さい条件で撮影された低NA撮影画像に基づいて、被写体の厚さを推定し、相対的に対物レンズの開口数が大きい条件で撮影された高NA撮影画像に基づいて、被写体の密度を推定する。したがって、低NA撮影画像および高NA撮影画像の2回の撮影を行えばよいので、被写体の厚さおよび密度を短い撮影時間で評価することができる。
ここで、被写体の厚さを推定する場合に低NA撮影画像を用いるのは、対物レンズの開口数が小さい場合には、被写体を透過した光の直進成分を多く含む撮影画像が撮影され、被写体の厚さが反映された撮影画像となるからである。また、被写体の密度を推定する場合に高NA撮影画像を用いるのは、対物レンズの開口数が大きい場合には、被写体を透過した光の散乱成分を多く含む撮影画像が撮影され、被写体の密度が反映された撮影画像となるからである。
本発明の撮影画像評価装置の一実施形態を用いた顕微鏡画像評価システムの概略構成を示す図 低NA撮影画像の一例を示す図 低NA撮影画像に基づいて取得された輝度分布の一例を示す図 低NA撮影画像の輝度と被写体の厚さとの関係を示すテーブルの一例を示す図 被写体の厚さの推定結果の一例を示す図 低NA撮影画像の一例を示す図 低NA撮影画像に基づいて取得された輝度分布の一例を示す図 図7に示す輝度分布をガウス関数で近似した結果を示す図 ゴミの画像を含む高NA撮影画像の一例を示す図 ゴミの画像に基づくピークを含む輝度分布の一例を示す図 本発明の撮影画像評価装置の一実施形態を用いた顕微鏡画像評価システムの作用を説明するためのフローチャート 本発明の撮影画像評価装置のその他の実施形態を用いた顕微鏡画像評価システムの概略構成を示す図
以下、本発明の撮影画像評価装置および方法の一実施形態を用いた顕微鏡画像評価システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の顕微鏡画像評価システムの概略構成を示す図である。
本実施形態の顕微鏡画像評価システムは、図1に示すように、照明光照射部10と、結像光学系30と、撮像部40と、顕微鏡制御装置50と、表示装置80と、入力装置90とを備えている。
本実施形態の顕微鏡画像評価システムにおいては、照明光照射部10と結像光学系30との間に、ステージ61が設けられており、このステージ61上に培養容器60が載置されて、支持される。培養容器60内には、培養液Cおよび被写体Sが収容されている。
そして、本実施形態の顕微鏡画像評価システムは、ステージ61をX方向およびY方向に移動させるステージ駆動部62を備えている。X方向およびY方向は、被写体Sの設置面に平行な面上において互いに直交する方向であり、Z方向は、X方向およびY方向に直交する方向である。
本実施形態の顕微鏡画像評価システムにおいては、上述した照明光照射部10、結像光学系30、撮像部40、ステージ61およびステージ駆動部62から位相差顕微鏡本体が構成され、顕微鏡制御装置50は、この位相差顕微鏡本体を制御するものである。以下、位相差顕微鏡本体の具体的な構成を説明する。
照明光照射部10は、培養容器60内に収容された被写体Sに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。
具体的には、本実施形態の照明光照射部10は、位相差計測用の白色光を出射する白色光源11と、リング形状のスリットを有し、白色光源11から出射された白色光が入射されてリング状照明光を出射するスリット板12と、スリット板12から出射されたリング状照明光が入射され、その入射されたリング状照明光を被写体Sに対して照射するコンデンサレンズ13とを備えている。
スリット板12は、白色光源11から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。
ステージ61上に設置された培養容器60内には、被写体Sとして、培養された細胞群(細胞コロニー)が配置される。培養された細胞としては、iPS(induced pluripotent stem)細胞およびES(embryonic stem)細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。培養容器60としては、シャーレおよび複数のウェルが配列されたウェルプレートなどを用いることができる。
結像光学系30は、培養容器60内の被写体Sの像を撮像部40に結像するものであり、対物レンズ31と、位相板32と、結像レンズ33とを備えている。
位相板32は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板12のスリットの大きさは、この位相リングと共役な関係にある。
位相リングは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板32に入射された直接光は位相リングを通過することによって位相が1/4波長ずれるとともに、その明るさが弱められる。一方、被写体Sによって回折された回折光は大部分が位相板32の透明板の部分を通過し、その位相および明るさは変化しない。
結像レンズ33は、位相板32を通過した直接光および回折光が入射され、これらの光を撮像部40に結像するものである。
本実施形態の結像光学系30は、光学倍率を変更可能に構成されている。光学倍率を変更する方法としては、たとえば互いに異なる倍率を有する複数の対物レンズ31を結像光学系30に設け、この複数の対物レンズ31を手動または自動で切り換えるようにすればよい。なお、対物レンズ31の倍率が変更された場合には、位相板32も対物レンズ31の倍率の変更に応じて変更される。
ここで、本実施形態においては、被写体Sを撮影した撮影画像に基づいて、被写体Sの厚さおよび密度を推定する。そして、被写体Sの厚さを推定する場合には、相対的に対物レンズ31の開口数が小さい条件で撮影された低NA(numerical aperture)撮影画像を用い、被写体Sの密度を推定する場合には、相対的に対物レンズ31の開口数が大きい条件で撮影された高NA(numerical aperture)撮影画像を用いる。被写体Sの厚さを推定する場合に低NA撮影画像を用いるのは、対物レンズ31の開口数が小さい場合には、被写体Sを透過した光の直進成分を多く含む撮影画像が撮影され、被写体Sの厚さが反映された撮影画像となるからである。また、被写体Sの密度を推定する場合に高NA撮影画像を用いるのは、対物レンズ31の開口数が大きい場合には、被写体Sを透過した光の散乱成分を多く含む撮影画像が撮影され、被写体Sの密度が反映された撮影画像となるからである。
本実施形態においては、たとえばユーザによって被写体Sの厚さの推定を行う指示入力を受け付けた場合には、対物レンズ31の倍率が相対的に低くなるように自動的に変更して対物レンズ31の開口数を小さくし、一方、ユーザによって被写体Sの密度の推定を行う指示入力を受け付けた場合には、対物レンズ31の倍率が相対的に高くなるように自動的に変更して対物レンズ31の開口数を大きくする。相対的に低い倍率としては、たとえば4倍とすることができ、相対的に高い倍率としては、たとえば10倍とすることができる。ただし、この倍率に限られるものではない。ユーザによる指示入力は、入力装置90によって受け付けるようにすればよく、厚さ推定用の倍率と密度推定用の倍率は、予め設定しておくようにすればよい。
ただし、本発明でいう対物レンズの開口数が異なる条件で被写体を撮影した撮影画像とは、上述したように対物レンズの倍率が異なる条件で被写体を撮影した撮影画像に限らず、後で説明するように、開口絞りの大きさが異なる条件で被写体を撮影した撮影画像および照明光の波長が異なる条件で被写体を撮影した撮影画像も含むものとする。すなわち、結果として対物レンズの開口数が異なる条件であれば、レンズの倍率に限らず、その他の光学系の条件を変更するようにしてもよい。
撮像部40は、結像レンズ33によって結像された被写体Sの像を受光し、被写体Sの位相差画像を撮像する撮像素子を備えたものである。撮像素子としては、CCD(charge-coupled device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどを用いることができる。
顕微鏡制御装置50は、CPU(Central Processing Unit)、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものである。
顕微鏡制御装置50は、位相差顕微鏡本体全体の動作を制御するものであり、具体的には、図1に示すように、CPUを有する制御部51と、画像取得部52と、厚さ推定部53と、密度推定部54とを備えている。なお、本実施形態において、顕微鏡制御装置50が、本発明の撮影画像評価装置に相当するものである。顕微鏡制御装置50のメモリまたはハードディスクには、本発明の撮影画像評価プログラムの一実施形態がインストールされており、このプログラムが、制御部51によって実行されることによって、画像取得部52、厚さ推定部53および密度推定部54が機能する。
制御部51は、位相差顕微鏡本体の動作を制御するものであり、具体的には、照明光照射部10、ステージ駆動部62および撮像部40の動作などを制御するものである。
制御部51は、ステージ駆動部62を駆動制御し、これによりステージ61をX方向およびY方向に移動させる。ステージ61が、X方向およびY方向に移動することによって、たとえば1つのセル内が位相差計測用の照明光で走査され、1つのセル内で分割された複数の撮像領域(視野)毎の位相差画像が撮像される。
画像取得部52は、撮像部40から出力された被写体Sの位相差画像を撮影画像として取得し、記憶するものである。
厚さ推定部53は、相対的に低い倍率によって撮影された低NA撮影画像に基づいて、被写体Sである細胞群の厚さを推定するものである。厚さ推定部53は、たとえば図2に示すような低NA撮影画像が入力された場合、図2に示す点線に沿った輝度分布を取得する。図3は、輝度分布の一例を示す図である。厚さ推定部53には、図4に示すような低NA撮影画像の輝度と被写体Sの厚さとの関係を示すテーブルが予め設定されている。厚さ推定部53は、図3に示す輝度分布の各位置の輝度について、図4に示すテーブルを参照して対応する厚さを求め、これにより図5に示すような被写体Sの各位置の厚さの分布を推定する。
なお、上記説明では、図2に示す点線上の厚さを推定するようにしたが、これに限らず、被写体Sを横切る線分を複数方向について設定し、その各線分上の厚さを推定することによって、被写体Sの2次元的な厚さの分布を推定するようにしてもよい。また、厚さを推定する線分の方向をユーザが入力装置90を用いて設定入力するようにしてもよい。
また、図4に示す輝度と厚さとを対応付けたテーブルを対物レンズ31の倍率毎に設定するようにしてもよい。対物レンズ31の倍率が変更された場合には、その変更に応じてテーブルを自動的に変更するようにしてもよい。
密度推定部54は、相対的に高い倍率によって撮影された高NA撮影画像に基づいて、被写体Sである細胞群の細胞の密度(密集度)を推定するものである。密度推定部54は、たとえば図6に示すような高NA撮影画像が入力された場合、図6に示す点線に沿った輝度分布を取得する。図7は、輝度分布の一例を示す図である。そして、密度推定部54は、図7に示す輝度分布の形状に基づいて、細胞の密度を推定する。具体的には、密度推定部54は、輝度分布をガウス関数で近似する。図8の太い実線は、細い実線の輝度分布をガウス関数で近似した結果を示すものである。次に、密度推定部54は、図8に示すガウス関数の近似結果から、矢印で示すピークの数を算出する。そして、密度推定部54は、単位面積当たりのピーク数をカウントすることによって、細胞の密度(密集度)を推定する。すなわち、密度推定部54は、輝度分布の1つのピークが1つの細胞に相当するものとして、細胞の密度を推定する。
なお、上記説明では、図6に示す点線上の細胞の密度を推定するようにしたが、密度を推定する線分をユーザが入力装置90を用いて設定入力するようにしてもよい。また、密度を推定する範囲を線分で指定するのではなく、矩形または円形などの範囲で2次元的に指定するようにしてもよい。
また、高NA撮影画像には、細胞だけでなく、小さなゴミなどの画像が含まれている場合があり、このようなゴミの画像が輝度分布上にピークとして現れた場合には、細胞の密度を高精度に算出することができない。図9は、上述したようなゴミの画像を含む高NA撮影画像の一例を示しており、図9の矢印で示す部分がゴミの画像である。
そこで、細胞の密度を高精度に算出するためには、上述したようなゴミの画像に起因するピークを取り除くことが好ましい。具体的には、図9に示す点線に沿った輝度分布を取得した場合、図10に示すように、細胞の画像に基づくピークの群から離れた位置に、ゴミなどの画像に基づくピークが現れる。そこで、図10に矢印で示すようなピークが存在する場合には、このピークを、ゴミなどの画像による孤立点として除去した後にピーク数を算出して、細胞の密度を推定することが好ましい。
厚さ推定部53によって推定された被写体Sの厚さおよび密度推定部54によって推定された被写体Sの密度は、制御部51に出力される。制御部51は、入力された被写体Sの厚さおよび密度を表示装置80にテキスト表示したり、その他の外部装置に出力するものである。なお、本実施形態においては、制御部51が、本発明の出力部に相当するものである。
図1に戻り、顕微鏡制御装置50には、入力装置90と表示装置80とが接続されている。入力装置90は、キーボードやマウスなどの入力デバイスを備えたものであり、ユーザによる設定入力を受け付けるものである。特に、本実施形態における入力装置90は、対物レンズ31の倍率変更、並びに被写体Sの厚さおよび密度の推定の指示などの設定入力を受け付けるものである。
表示装置80は、液晶ディスプレイなどの表示デバイスから構成されるものであり、撮像部40において撮像された撮影画像(位相差画像)および被写体Sの厚さおよび密度の推定結果などを表示するものである。なお、表示装置80をタッチパネルによって構成することによって、入力装置90を兼用するようにしてもよい。
次に、本実施形態の顕微鏡画像評価システムの作用について、図11に示すフローチャートを参照しながら説明する。なお、本実施形態の顕微鏡画像評価システムは、被写体Sを撮影した撮影画像に基づいて、被写体Sの厚さおよび密度を推定することに特徴を有するものであるので、ここでは、その点を中心に説明する。
まず、ユーザによって、被写体Sの厚さの推定または被写体Sの密度の推定の指示入力が入力装置90から入力される(S10)。
ユーザによって被写体Sの厚さの推定の指示入力がされた場合には、画像取得部52によって低NA撮影画像が取得される(S12)。なお、低NA撮影画像については、予め異なる倍率で撮影されて記憶された撮影画像の中から自動的に選択するようにしてもよいし、ユーザによって被写体Sの厚さの推定の指示入力がされた際に、位相差顕微鏡本体によって低倍率で撮影して取得するようにしてもよい。また、予め異なる倍率で撮影された複数の撮影画像を表示装置80に表示させ、その中から低倍率で撮影された低NA撮影画像をユーザが入力装置90を用いて選択するようにしてもよい。この際、ユーザが、予め設定された倍率の閾値よりも高い倍率の撮影画像を選択した場合には、厚さの推定に適していないものとして警告表示などを行うようにしてもよい。または、表示装置80に複数の撮影画像を表示させる際、予め設定された倍率の閾値以下の倍率の撮影画像について、厚さの推定に適している撮影画像としてマークを表示させるようにしてもよい。
画像取得部52によって取得された低NA撮影画像は、厚さ推定部53に入力される。そして、たとえば表示装置80に表示された低NA撮影画像上において、ユーザによって入力装置90を用いて厚さを推定する範囲が指定される(S14)。
厚さ推定部53は、ユーザによって入力された厚さの推定の範囲に基づいて、上述したように低NA撮影画像の輝度分布を取得する(S16)。そして、その輝度分布に基づいて、図4に示したようなテーブルを参照して厚さの推定が行われる(S18)。厚さ推定部53によって推定された被写体Sの厚さは、制御部51によって表示装置80に表示される(S20)。
S10に戻り、ユーザによって被写体Sの密度の推定の指示入力がされた場合には、画像取得部52によって高NA撮影画像が取得される(S22)。なお、高NA撮影画像についても、低NA撮影画像と同様に、予め異なる倍率で撮影されて記憶された撮影画像の中から自動的に選択するようにしてもよいし、ユーザによって被写体Sの厚さの推定の指示入力がされた際に、位相差顕微鏡本体によって高倍率で撮影して取得するようにしてもよい。また、予め異なる倍率で撮影された複数の撮影画像を表示装置80に表示させ、その中から高倍率で撮影された高NA撮影画像をユーザが入力装置90を用いて選択するようにしてもよい。この際、ユーザが、予め設定された倍率の閾値よりも低い倍率の撮影画像を選択した場合には、密度の推定に適していないものとして警告表示などを行うようにしてもよい。または、表示装置80に複数の撮影画像を表示させる際、予め設定された倍率の閾値以上の倍率の撮影画像について、密度の推定に適している撮影画像としてマークを表示させるようにしてもよい。
画像取得部52によって取得された高NA撮影画像は、密度推定部54に入力される。そして、たとえば表示装置80に表示された高NA撮影画像上において、ユーザによって入力装置90を用いて密度を推定する範囲が指定される(S24)。
密度推定部54は、ユーザによって入力された密度の推定の範囲に基づいて、上述したように高NA撮影画像の輝度分布を取得する(S26)。そして、その輝度分布をガウス関数によって近似した後、ピークの数がカウントされて密度の推定が行われる(S28)。密度推定部54よって推定された被写体Sの密度は、制御部51によって表示装置80に表示される(S30)。
なお、上記説明では、被写体Sの厚さの推定と密度の推定を選択的に行うようにしたが、これに限らず、被写体Sの厚さの推定と密度の推定の両方を同時に並行して行うようにしてもよい。
上記実施形態の顕微鏡画像評価システムによれば、対物レンズ31の開口数が異なる条件によって被写体Sを撮影した撮影画像を取得し、相対的に対物レンズ31の開口数が小さい条件によって撮影された低NA撮影画像に基づいて、被写体Sの厚さを推定し、相対的に対物レンズ31の開口数が大きい条件によって撮影された高NA撮影画像に基づいて、被写体Sの密度を推定する。したがって、低NA撮影画像および高NA撮影画像の2回の撮影を行えばよいので、被写体Sの厚さおよび密度を短い撮影時間で評価することができる。
また、低NA撮影画像および高NA撮影画像の2枚の撮影画像の解析を行えばよいので、従来の多数の断面画像を解析する方法と比較すると、解析処理の負荷を小さくすることができる。また、本実施形態のように、輝度分布を用いて評価を行った場合には、より簡略な処理で被写体の厚さおよび密度を推定することができる。
なお、上記実施形態においては、低倍率によって撮影された撮影画像を低NA撮影画像として取得し、高倍率によって撮影された撮影画像を高NA撮影画像として取得するようにしたが、これに限らず、たとえば相対的に開口の小さい開口絞りを用いて撮影された撮影画像を低NA撮影画像として取得し、相対的に開口の大きい開口絞りを用いて撮影された撮影画像を高NA撮影画像として取得するようにしてもよい。
図12は、上記実施形態の顕微鏡画像評価システムの位相差顕微鏡本体に対して、上述した開口絞り14を設けた構成を示している。
開口絞り14は、リング状照明光を透過する開口14aを備えている。開口14aの大きさは変更可能に構成されている。開口14aの大きさの変更は、手動で行うようにしてもよいし、自動で行うようにしてもよい。たとえばユーザによって被写体Sの厚さの推定を行う指示入力を受け付けた場合には、開口絞り14の開口14aが相対的に大きくなるように自動的に変更し、ユーザによって被写体Sの密度の推定を行う指示入力を受け付けた場合には、開口絞り14の開口14aが相対的に小さくなるように自動的に変更するようにしてもよい。ユーザによる指示入力は、入力装置90によって受け付けるようにすればよく、厚さ推定用の開口14aの大きさと密度推定用の開口14aの大きさは、予め設定しておくようにすればよい。
また、位相差顕微鏡本体の照明光の波長を変更可能に構成し、相対的に長い波長の照明光で撮影された撮影画像を低NA撮影画像として取得し、相対的に短い波長の照明光で撮影された撮影画像を高NA撮影画像として取得するようにしてもよい。照明光の波長を変更する方法としては、異なる波長の光源を手動または自動で変更可能に構成するようにしてもよいし、光源から出射された照明光が入射される光学フィルタを設け、その光学フィルタを手動または自動で変更することによって照明光の波長を変更するようにしてもよい。
低NA撮影画像を撮影する際の照明光の波長としては、たとえば780nm程度の波長を用いることができ、高NA撮影画像を撮影する際の照明光の波長としては、たとえば405nm程度の波長を用いることができる。
また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。
10 照明光照射部
11 白色光源
12 スリット板
13 コンデンサレンズ
14 開口絞り
14a 開口
30 結像光学系
31 対物レンズ
32 位相板
33 結像レンズ
40 撮像部
50 顕微鏡制御装置
51 制御部
52 画像取得部
53 推定部
54 密度推定部
60 培養容器
61 ステージ
62 ステージ駆動部
80 表示装置
90 入力装置
S 被写体

Claims (13)

  1. 対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部と、
    相対的に対物レンズの開口数が小さい条件で撮影された低NA撮影画像に基づいて、前記被写体の厚さを推定する厚さ推定部と、
    相対的に対物レンズの開口数が大きい条件で撮影された高NA撮影画像に基づいて、前記被写体の密度を推定する密度推定部とを備えた撮影画像評価装置。
  2. 前記厚さ推定部が、前記低NA撮影画像の輝度分布を取得し、該輝度分布に基づいて、前記被写体の厚さを推定する請求項1記載の撮影画像評価装置。
  3. 前記厚さ推定部が、前記低NA撮影画像の輝度と前記被写体の厚さとを対応づけたテーブルを有する請求項2記載の撮影画像評価装置。
  4. 前記密度推定部が、前記高NA撮影画像の輝度分布を取得し、該輝度分布に基づいて、前記被写体の密度を推定する請求項1から3いずれか1項記載の撮影画像評価装置。
  5. 前記密度推定部が、前記輝度分布の形状に基づいて、前記被写体の密度を推定する請求項4記載の撮影画像評価装置。
  6. 前記密度推定部が、前記輝度分布に含まれるピークを求め、該ピークの単位面積当たりの数を算出することによって前記被写体の密度を推定する請求項4または5記載の撮影画像評価装置。
  7. 前記密度推定部が、前記輝度分布をガウス関数で近似して前記ピークを求める請求項6記載の撮影画像評価装置。
  8. 前記低NA撮影画像が、相対的に低い倍率で撮影された撮影画像であり、
    前記高NA撮影画像が、相対的に高い倍率で撮影された撮影画像である請求項1から7いずれか1項記載の撮影画像評価装置。
  9. 前記低NA撮影画像が、相対的に長い波長の照明光で撮影された撮影画像であり、
    前記高NA撮影画像が、相対的に短い波長の照明光で撮影された撮影画像である請求項1から7いずれか1項記載の撮影画像評価装置。
  10. 前記低NA撮影画像が、相対的に開口の小さい開口絞りを用いて撮影された撮影画像であり、
    前記高NA撮影画像が、相対的に開口の大きい開口絞りを用いて撮影された撮影画像である請求項1から7いずれか1項記載の撮影画像評価装置。
  11. 前記厚さ推定部によって推定された前記被写体の厚さおよび前記密度推定部によって推定された前記被写体の密度を出力する出力部を備えた請求項1から10いずれか1項記載の撮影画像評価装置。
  12. 対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得し、
    相対的に対物レンズの開口数が小さい条件で撮影された低NA撮影画像に基づいて、前記被写体の厚さを推定し、
    相対的に対物レンズの開口数が大きい条件で撮影された高NA撮影画像に基づいて、前記被写体の密度を推定する撮影画像評価方法。
  13. コンピュータを、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部と、
    相対的に対物レンズの開口数が小さい条件で撮影された低NA撮影画像に基づいて、前記被写体の厚さを推定する厚さ推定部と、
    相対的に対物レンズの開口数が大きい条件で撮影された高NA撮影画像に基づいて、前記被写体の密度を推定する密度推定部として機能させる撮影画像評価プログラム。
JP2016189793A 2016-09-28 2016-09-28 撮影画像評価装置および方法並びにプログラム Active JP6580012B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016189793A JP6580012B2 (ja) 2016-09-28 2016-09-28 撮影画像評価装置および方法並びにプログラム
KR1020197005997A KR102149625B1 (ko) 2016-09-28 2017-07-25 촬영 화상 평가 장치 및 방법과, 프로그램
EP17855387.1A EP3521750B1 (en) 2016-09-28 2017-07-25 Captured image evaluation device, method, and program
PCT/JP2017/026745 WO2018061429A1 (ja) 2016-09-28 2017-07-25 撮影画像評価装置および方法並びにプログラム
US16/291,068 US11169079B2 (en) 2016-09-28 2019-03-04 Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016189793A JP6580012B2 (ja) 2016-09-28 2016-09-28 撮影画像評価装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2018054425A true JP2018054425A (ja) 2018-04-05
JP6580012B2 JP6580012B2 (ja) 2019-09-25

Family

ID=61759435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016189793A Active JP6580012B2 (ja) 2016-09-28 2016-09-28 撮影画像評価装置および方法並びにプログラム

Country Status (5)

Country Link
US (1) US11169079B2 (ja)
EP (1) EP3521750B1 (ja)
JP (1) JP6580012B2 (ja)
KR (1) KR102149625B1 (ja)
WO (1) WO2018061429A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066043A1 (ja) * 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206741A (ja) * 1997-01-17 1998-08-07 Tokyo Koku Keiki Kk 対物レンズの開口数可変の光学顕微鏡
US6480285B1 (en) * 1997-01-28 2002-11-12 Zetetic Institute Multiple layer confocal interference microscopy using wavenumber domain reflectometry and background amplitude reduction and compensation
JP2006271210A (ja) * 2005-03-28 2006-10-12 Olympus Corp 自動細胞培養装置
JP2012202761A (ja) * 2011-03-24 2012-10-22 Nikon Corp 光干渉断層撮影装置
JP2015166829A (ja) * 2014-03-04 2015-09-24 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013765C1 (ru) * 1990-08-14 1994-05-30 Сидорин Василий Сергеевич Способ определения численной плотности и объема элементов микроскопических структур в тканях
JP4937457B2 (ja) * 2001-03-01 2012-05-23 オリンパス株式会社 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
JP6338955B2 (ja) 2014-07-18 2018-06-06 株式会社日立ハイテクノロジーズ 細胞培養装置および画像解析装置
EP3463056A4 (en) * 2016-05-23 2020-07-29 ContinUse Biometrics Ltd. SYSTEM AND METHOD FOR USE IN DEEP CHARACTERIZATION OF OBJECTS

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206741A (ja) * 1997-01-17 1998-08-07 Tokyo Koku Keiki Kk 対物レンズの開口数可変の光学顕微鏡
US6480285B1 (en) * 1997-01-28 2002-11-12 Zetetic Institute Multiple layer confocal interference microscopy using wavenumber domain reflectometry and background amplitude reduction and compensation
JP2006271210A (ja) * 2005-03-28 2006-10-12 Olympus Corp 自動細胞培養装置
JP2012202761A (ja) * 2011-03-24 2012-10-22 Nikon Corp 光干渉断層撮影装置
JP2015166829A (ja) * 2014-03-04 2015-09-24 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
渡邉 恵理子、他6名: "重層上皮細胞イメージングに向けた位相計測システム", SSII2014 第20回画像センシングシンポジウム 講演論文集, JPN6019018673, 13 June 2014 (2014-06-13), JP, pages 1 - 4, ISSN: 0004040919 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066043A1 (ja) * 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714887A (zh) * 2018-09-28 2021-04-27 奥林巴斯株式会社 显微镜系统、投影单元以及图像投影方法
JPWO2020066043A1 (ja) * 2018-09-28 2021-08-30 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
US11594051B2 (en) 2018-09-28 2023-02-28 Evident Corporation Microscope system and projection unit
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method
CN112714887B (zh) * 2018-09-28 2024-02-23 仪景通株式会社 显微镜系统、投影单元以及图像投影方法

Also Published As

Publication number Publication date
KR102149625B1 (ko) 2020-08-28
US11169079B2 (en) 2021-11-09
EP3521750A4 (en) 2019-08-28
US20190195777A1 (en) 2019-06-27
JP6580012B2 (ja) 2019-09-25
EP3521750A1 (en) 2019-08-07
EP3521750B1 (en) 2020-07-01
WO2018061429A1 (ja) 2018-04-05
KR20190031563A (ko) 2019-03-26

Similar Documents

Publication Publication Date Title
JP6219214B2 (ja) 細胞撮像制御装置および方法並びにプログラム
JP2015165785A (ja) 細胞画像取得装置および方法並びにプログラム
JP6718024B2 (ja) 判別器の学習装置、方法およびプログラム、並びに判別器
JP6580012B2 (ja) 撮影画像評価装置および方法並びにプログラム
JP2008046305A (ja) 自動合焦装置、顕微鏡および自動合焦方法
JP6815477B2 (ja) 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
US10659694B2 (en) Imaging device, imaging method and imaging device control program
US11061214B2 (en) Cell observation apparatus and method
US11050931B2 (en) Control device and control method
JP2016208854A (ja) 撮像装置および方法並びに撮像制御プログラム
WO2018061635A1 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6698421B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
Cruz et al. Automated urine microscopy using scale invariant feature transform
JP2013254108A (ja) デフォーカス量推定方法、撮像装置、および透光性部材
US20200193664A1 (en) Image processing apparatus, method, and program
JP6534295B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2016212337A (ja) 撮像装置および方法並びに撮像制御プログラム
JP2024531132A (ja) 並列撮像システムでライブ試料モニタリング情報を提供するシステム及び方法
JP2024059329A (ja) 顕微鏡システム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190827

R150 Certificate of patent or registration of utility model

Ref document number: 6580012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250