JP2016192923A - 判定装置、判定システム、判定プログラム、細胞の製造方法、及び細胞 - Google Patents

判定装置、判定システム、判定プログラム、細胞の製造方法、及び細胞 Download PDF

Info

Publication number
JP2016192923A
JP2016192923A JP2015074439A JP2015074439A JP2016192923A JP 2016192923 A JP2016192923 A JP 2016192923A JP 2015074439 A JP2015074439 A JP 2015074439A JP 2015074439 A JP2015074439 A JP 2015074439A JP 2016192923 A JP2016192923 A JP 2016192923A
Authority
JP
Japan
Prior art keywords
cell
phase difference
determination
image
observation object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015074439A
Other languages
English (en)
Other versions
JP6609967B2 (ja
JP2016192923A5 (ja
Inventor
宏昭 紀伊
Hiroaki Kii
宏昭 紀伊
和田 陽一
Yoichi Wada
陽一 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2015074439A priority Critical patent/JP6609967B2/ja
Publication of JP2016192923A publication Critical patent/JP2016192923A/ja
Publication of JP2016192923A5 publication Critical patent/JP2016192923A5/ja
Application granted granted Critical
Publication of JP6609967B2 publication Critical patent/JP6609967B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)

Abstract

【課題】細胞の培養等における観察物体の状態判定の精度の向上。【解決手段】位相差観察により観察された観察物体の位相差画像を撮像する画像取得部111と、撮像された前記位相差画像中の観察物体における特定領域の位相差情報をもとに前記観察物体の状態を判定する判定部113とを備え、細胞標本の場合、位相差画像より決定された細胞膜の全周の長さと、位相差画像で認識された細胞膜の長さとを比較した値によって細胞標本の状態を判定する判定装置10。例えば、網膜色素上皮細胞等の色素細胞のトリパンブルー染色による生死判定等の精度が向上する。【選択図】図2

Description

本発明は、判定装置、判定システム、判定プログラム、細胞の製造方法、及び細胞に関するものである。
一般的に、例えば細胞の培養状態を評価する技術は、再生医療などの先端医療分野や医薬品のスクリーニングを含む幅広い分野での基盤技術となっている。この細胞の培養状態を評価するプロセスでは、細胞の状態を的確に判定することが求められる。一例として、トリパンブルーなど生細胞の細胞膜よりも、死細胞の細胞膜を優先的に透過する色素によって判定対象の細胞を染色することにより、細胞の生死判定を行う方法が開示されている(特許文献1参照)。
また、細胞の培養状態の評価の分野に限らず、様々な観察物体を撮像した画像から、観察物体の状態を評価する技術は、様々な分野で重要な技術となっている。
特表2014−505465号公報
近年、複雑な構造を有している物体の状態を、この観察物体が撮像された画像から高精度に判定することが望まれている。
そこで本発明は、上記問題に鑑みてなされたものであり、観察物体が撮像された画像による、観察物体の状態判定の精度を向上することを可能とする判定装置を提供することを課題とする。
上記問題を解決するために、本発明の一態様は、位相差観察により観察された観察物体の位相差画像を撮像する画像取得部と、撮像された前記位相差画像中の観察物体における特定領域の位相差情報をもとに前記観察物体の状態を判定する判定部と、を備えることを特徴とする判定装置である。
また、上記問題を解決するために、本発明の一態様は、観察物体を位相差撮像することにより位相差画像を生成する位相差撮像部と、上述の判定装置と、前記判定装置の判定結果を出力する出力部と、を備えることを特徴とする判定システムである。
また、上記問題を解決するために、本発明の一態様は、コンピュータに、観察物体を位相差撮像することにより位相差画像を生成する位相差撮像手順と、前記位相差撮像手順において生成された前記位相差画像中の観察物体における特定領域の位相差情報に基づいて、前記観察物体の状態を判定する判定手順と、を実行させるための判定プログラムである。
また、上記問題を解決するために、本発明の一態様は、細胞を位相差撮像することにより位相差画像を生成する位相差撮像手順と、前記位相差撮像手順において生成された前記位相差画像に含まれる前記細胞を示す細胞画像の径方向に、前記細胞の細胞膜を示す位相差の変化に基づいて、前記細胞が生細胞と死細胞とのいずれであるかを判定する判定手順とを有することを特徴とする細胞の製造方法である。
また、上記問題を解決するために、本発明の一態様は、上述の細胞の製造方法により製造された細胞である。
本発明によれば、撮像した画像から撮像した物体の状態判定の精度を向上することができる。
本実施形態の判定システムの構成の概要を示す模式図である。 本実施形態の判定装置の機能構成を示すブロック図である。 本実施形態の制御部による処理の流れの一例を示す流れ図である。 本実施形態の判定システムが扱う画像の一例を示す模式図である。 本実施形態の判定部による生細胞の判定例を示す模式図である。 本実施形態の判定部による死細胞の判定例を示す模式図である。 本実施形態の変形例における位相差の変化曲線の一例を示す模式図である。
[実施形態]
以下、図面を参照して、本発明の実施の形態について説明する。初めに、図1を参照して、本発明の実施形態による判定システム1の構成について説明する。
図1は、本実施形態の判定システム1の構成の概要を示す模式図である。判定システム1は、判定装置10と、表示部20と、位相差顕微鏡装置30とを備える。
[位相差顕微鏡装置の構成]
位相差顕微鏡装置30は、観察対象である被検体Sに照明光Lを照射し、この被検体Sからの透過光Lpの位相差を明暗差に変換することによって得られた被検体Sの拡大像を得る。この位相差顕微鏡装置30の具体的な構成について説明する。
位相差顕微鏡装置30は、照明光Lを出射する光源31と、光源31からの照明光Lを被検体Sに照射する照明光学系32と、被検体Sからの透過光Lpを結像する結像光学系33と、結像光学系33により結像された透過光Lpを受光し電気信号に変換して被検体Sの画像を生成する固体撮像素子34とを備えている。
照明光学系32と結像光学系33との間には、ステージ36が配置されている。
ステージ36は、被検体Sが載置される載置面36aを有している。また、ステージ36は、その面内において互いに直交する2つの方向(図1中に示すX軸方向及びY軸方向)に移動操作される。これにより、被検体Sの観察位置を任意に変更することが可能となっている。さらに、ステージ36は、高さ方向(図1中に示すZ軸方向)に移動操作される構成であってもよい。
なお、以下において、光源31から出射された照明光Lの光軸(光束の中心軸)をZ軸方向とし、このZ軸と直交する面内において互いに直交する2つの方向をX軸方向及びY軸方向として説明する。なお、光源31から出射された照明光Lを、図1の破線によって模式的に示す。
光源31は、例えば白色光などの可視光又はその近傍の波長域の光を照明光Lとして照射する。光源31には、反射鏡等を利用して自然光や白色蛍光灯、白色電球などの外部光源からの光を照明光Lとして用いることができる。また、光源31には、ハロゲンランプやタングステンランプなどの内部光源からの光を照明光Lとして用いることができる。
また、光源31には、発光ダイオード(LED)等を用いてもよい。この場合、光源31は、例えば赤、青、緑の各波長の光を発するLEDの組み合わせにより構成することができる。また、これら波長の異なるLEDの点灯及び消灯を制御することによって、光源31が発する照明光の波長を可変に制御できるため、このようなLEDを光源31に用いた場合は、波長フィルタなどの波長変換部材を省略することが可能である。
照明光学系32には、光源31側から順に、第1のコンデンサレンズ37と、第1の空間光変調素子38と、第2のコンデンサレンズ39とが配置されている。これらのうち、第1のコンデンサレンズ37、及び第2のコンデンサレンズ39は、光源31から出射された照明光Lをステージ36上の被検体Sに集光させる。
第1の空間光変調素子38は、結像光学系33の瞳位置に対して共役となる位置に配置されている。第1の空間光変調素子38は、被検体Sに照射される照明光Lの光強度分布を可変に調整するもの(絞り)であり、この絞りの開口(照明光Lを通過させる領域)38aの形状や大きさ等を自由に変化させることが可能である。
結像光学系33は、上記ステージ36側から順に、対物レンズ40と、第2の空間光変調素子41とが配置されている。
対物レンズ40は、被検体Sからの透過光Lpを固体撮像素子34の受光面上に結像させる。
第2の空間光変調素子41は、結像光学系33の瞳位置又はその近傍に配置されている。また、第1の空間光変調素子38と第2の空間光変調素子41とは、互いに共役な位置に配置されている。
第2の空間光変調素子41は、被検体Sからの透過光Lpに付加する位相の空間分布を可変に調整するものであり、透過光Lpに付加する位相を0°又は±90°に調整する。
具体的に、この第2の空間光変調素子41は、被検体Sからの透過光Lpのうち、被検体Sを通過した直接光(0次光)を4分の1波長(±90°)だけ位相がずれた状態で透過させる位相変調領域41aと、この位相変調領域41aの周囲に被検体Sで回折した回折光をそのままの位相(0°)で透過させる回折光透過領域41bとを有している。
第2の空間光変調素子41は、この回折光透過領域41bに対して位相変調領域41aの形状や大きさ等を自由に変化させることが可能である。また、このような第2の空間光変調素子41としては、例えば液晶パネル(液晶素子)などを用いることができる。
さらに、第2の空間光変調素子41は、上述した位相の空間分布と共に、被検体Sからの透過光Lpを透過させる透過率の空間分布を可変に調整する機能を有することが好ましい。一般に、第2の空間光変調素子41を通過する透過光Lpのうち、位相変調領域41aを透過する直接光は、回折光透過領域41bを透過する回折光に比べて光強度が強いため、NDフィルタ等を用いて光強度を弱める調整を行う。
なお、このようなNDフィルタについては、例えば特表2010−507119号公報に開示されているような透過率の空間分布を可変に調整できる光学素子などを用いることができる。また、上記第2の空間光変調素子41には、このような光学素子等を付加したものを用いることができる。
固体撮像素子34は、例えばCCDイメージセンサやCMOSイメージセンサなどの受光波長の異なる受光素子を複数有するものからなり、上述した結像光学系33により結像された透過光Lpを受光し電気信号(画像信号)に変換して判定装置10に出力する。
以上のような構造を有する位相差顕微鏡装置30では、光源31から出射された照明光Lが第1のコンデンサレンズ37を通過することによって、平行な照明光Lに変換された後、この平行な照明光Lが第1の空間光変調素子38に入射することになる。そして、この第1の空間光変調素子38の開口38aを通過した照明光Lが第2のコンデンサレンズ39を通過することによって、平行な照明光Lに変換された後、この平行な照明光Lがステージ36の載置面36a上に載置された被検体Sに照射される。
そして、被検体Sからの透過光Lpが対物レンズ40を通過した後、第2の空間光変調素子41に入射する。このとき、被検体Sからの透過光Lpのうち、位相変調領域41aを透過した直接光が、4分の1波長だけ位相がずれた状態で、NDフィルタで減光された後、固体撮像素子34の受光面上に結像される。一方、回折光透過領域41bを透過した回折光がそのままの位相(0°)で、固体撮像素子34の受光面上に結像される。位相差顕微鏡では、これら直進光と回折光との干渉によって、位相の変化を光の明暗として観察することが可能である。
[判定対象の細胞について]
ここで、位相差顕微鏡装置30の被検体S、すなわち判定システム1の判定対象の細胞の具体例について説明する。この一例において、被検体Sとは、染色処理された細胞である。この染色処理について、細胞が動物細胞である場合を一例にして説明する。染色処理においては、例えばトリパンブルーなどの色素が細胞に滴下される。死細胞の細胞膜には損傷があるため、生細胞に比べて色素が細胞内部に浸透しやすい。このため、トリパンブルーは、生細胞と死細胞とのうち、死細胞に選択的に浸透する。つまり、トリパンブルーによって細胞を染色した場合、生細胞は染色されずに、死細胞は青色に染色される。この青色に染色された細胞数を計数することにより、死細胞の数を算定することができる。
なお、ここでは染色処理の一例として、トリパンブルーによる染色について説明したが、これに限られない。生細胞と死細胞とを選択的に染め分けられる色素であれば、トリパンブルー以外の色素によって染色してもよい。
ここで、染色処理される細胞が色素を持たない細胞であれば、細胞の色味を判定することにより、生細胞か、死細胞かを判定することが容易にできる。しかしながら、染色処理される細胞が色素を持つ細胞である場合、すなわち色素細胞(又は、有色細胞)である場合には、細胞本来の色味であるのか、染色処理による色味であるのかを判定することが困難である場合がある。特に、網膜色素上皮細胞(以下、RPE細胞とも記載する。)などの色素細胞は、その細胞自身が持つ色素による色味が、細胞の成熟に伴って淡色から濃色に変化する。したがって、RPE細胞に対してトリパンブルー染色を行った場合、細胞の色が、RPE細胞本来の色味であるのか、染色処理による色味であるのかを判定することが困難である場合がある。以下、RPE細胞などの色素細胞の生死判定を行うことができる、判定装置10の構成について説明する。
[判定装置の構成]
次に、判定装置10の構成について図2を参照して説明する。
図2は、本実施形態の判定装置10の機能構成を示すブロック図である。判定装置10は、制御部11と、記憶部12とを備えている。
記憶部12には、細胞の生死判定に用いられる判定プログラムと、位相差顕微鏡装置30の制御プログラムとが予め記憶されている。
制御部11は、CPU(Central Processing Unit)を備えており、記憶部12に記憶されている制御プログラムに従って、位相差顕微鏡装置30の各部を駆動する。この制御部11による位相差顕微鏡装置30の制御の具体的な内容については、既知であるため、その説明を省略する。
制御部11は、画像取得部111と、フィルタ部112と、判定部113とを、その機能部として備えている。
画像取得部111は、位相差顕微鏡装置30によって撮像された位相差画像を取得する。
フィルタ部112は、画像取得部111が取得する位相差画像に対して、フィルタ処理を行う。このフィルタ処理には、位相差画像に対して画素値の積分処理及び微分処理が含まれる。この積分処理によって、位相差画像の色むらが平滑化される。また微分処理によって位相差画像の画素値が急変するエッジ部分が強調される。また、このフィルタ部112は、位相差画像に含まれる細胞の外形を示す画像を抽出する。以下の説明において、このフィルタ部112が抽出する細胞の外形を示す画像を、細胞領域ROIとも記載する。
判定部113は、画像取得部111が取得した位相差画像に含まれる細胞の画像に基づいて、細胞が生細胞と死細胞とのいずれであるかを判定する。この判定部113が行う判定処理の詳細について、図3から図7を参照して説明する。
[判定処理の流れ]
図3は、本実施形態の制御部11による処理の流れの一例を示す流れ図である。
画像取得部111は、位相差顕微鏡装置30によって撮像された位相差画像を取得する(ステップS10)。このステップS10において取得される位相差画像の一例を、図4(A)に示す。
図4は、本実施形態の判定システム1が扱う画像の一例を示す模式図である。画像取得部111は、図4(A)に示す位相差画像を取得する。この位相差画像には、細胞C1の画像と、細胞C2の画像と、細胞C3の画像とが含まれる。これらの細胞のうち、細胞C1及び細胞C2は、いずれも生細胞である。また、細胞C3は、死細胞である。画像取得部111は、取得した位相差画像をフィルタ部112に出力する。
図4(A)中、例えば細胞C1の例では、図面上やや濃い色で表現されている輪帯状部(一部途切れている部分あり)が細胞膜存在領域であると推測される部位である。
図3に戻り、フィルタ部112は、ステップS10において取得された位相差画像に対して、フィルタ処理を行う(ステップS20)。この一例においては、フィルタ部112は、ステップS10において取得された位相差画像に対して、積分フィルタ及び微分フィルタを適用して、細胞の輪郭を抽出しやすい状態にする。なお、このステップS20におけるフィルタ処理は必須ではない。フィルタ部112は、位相差画像の状態によっては、ステップS20におけるフィルタ処理を行わなくてもよい。
次に、フィルタ部112は、細胞領域ROIを抽出する(ステップS30)。このフィルタ部112により抽出された細胞領域ROIの一例を図4(B)に示す。フィルタ部112は、図4(A)に示す位相差画像に含まれる細胞の輪郭を抽出する。この一例では、フィルタ部112は、細胞C1の輪郭を、細胞領域ROI1として抽出する。また、フィルタ部112は、細胞C2の輪郭を、細胞領域ROI2として、細胞C3の輪郭を、細胞領域ROI3として、それぞれ抽出する。このフィルタ部112が行う輪郭抽出処理には、エッジ検出などの既知の方法が適用される。フィルタ部112は、細胞領域ROIを抽出した後の画像を、判定部113に出力する。
図3に戻り、判定部113は、ステップS30において抽出された細胞領域ROIごとに、細胞の生死の状態を判定する。具体的には、判定部113は、細胞領域ROIの径方向の判定ラインJLを定める(ステップS40)。ここで、判定対象の細胞が生細胞である場合の、判定部113が定める判定ラインJLの一例について、図5(A)を参照して説明する。
[判定対象が生細胞である場合]
図5は、本実施形態の判定部113による生細胞の判定例を示す模式図である。判定部113が、ある生細胞の画像PCell1について判定する場合の一例を、図5(A)に示す。画像PCell1とは、生細胞が撮像された位相差画像である。この画像PCell1には、細胞核Cnと、細胞膜Cmと、細胞質Cyとの各画像が含まれる。なお、この図5(A)においては、位相差画像の位相差Δpが大きい部分を黒く、位相差Δpが小さい部分を白くして、位相差Δpを示す。
判定部113は、画像PCell1の径方向に判定ラインJLを定める。画像PCell1の径方向とは、図5(A)に示す一例では、同図のX軸方向である。すなわち、この一例では、画像PCell1の径方向とは、画像PCell1の直径方向である。
図3に戻り、判定部113は、判定ラインJL上の位相差Δpの変化の回数を求める(ステップS50)。具体的には、判定部113は、位相差のしきい値ThL1と、位相差Δpの変化曲線W1との交点の個数を算出することにより、判定ラインJL上の位相差Δpの変化の回数を求める。
より具体的には、判定部113は、図5(A)に示す判定ラインJLに沿ってX軸方向に位相差Δpの変化曲線を求める。この図5(A)に示す一例では、判定ラインJL上の位置x2から位置x3と、位置x5から位置x7と、位置x9から位置x10の部分の位相差Δpが比較的大きい。また、この図5(A)に示す一例では、判定ラインJL上の位置x1と、位置x4から位置x5と、位置x7から位置x8と、位置x11との部分の位相差Δpが比較的小さい。この判定ラインJLに沿った位相差Δpの変化曲線W1を図5(B)に示す。
ここで、トリパンブルーによって染色された細胞が生細胞である場合、その生細胞の位相差画像には、細胞膜Cmを示す位相差Δpの変化が現れる。つまり、生細胞の細胞膜Cmの部分の位相差Δpは、比較的大きい。また、生細胞の細胞質Cyの部分、及び細胞外の部分の位相差Δpは、比較的小さい。ここで、図5(A)に示す判定ラインJL上の位置x1は、細胞外の部分を示す。この判定ラインJL上の位置x2から位置x3の部分は、細胞膜Cmを示す。この判定ラインJL上の位置x4から位置x5の部分は、細胞質Cyを示す。
この図5(A)に示す判定ラインJL上の、細胞外の位置x1から、細胞膜Cmを示す位置x2の間において、位相差Δpの変化曲線W1がしきい値ThL1を超えるように、変化曲線W1としきい値ThL1とが交差する。この位置x1と位置x2との間における、変化曲線W1としきい値ThL1との交点は、細胞膜Cmの外周部の位置を示している。
また、判定ラインJL上の、細胞膜Cmを示す位置x3から細胞質Cyを示す位置x4の間において、位相差Δpの変化曲線W1がしきい値ThL1以下になるように、変化曲線W1としきい値ThL1とが交差する。この位置x3と位置x4との間における、変化曲線W1としきい値ThL1との交点は、細胞膜Cmの内周部の位置を示している。
つまり、変化曲線W1としきい値ThL1との2つの交点は、細胞膜Cmの外周部の位置と、内周部の位置とを示している。
なお、ここでは、判定ラインJL上の位置のうち、中心線CLからX軸の負方向側、つまり、位置x1から位置x6の範囲について説明した。すなわち、径方向の長さの半分以下の範囲について説明した。判定ラインJL上の位置のうち、中心線CLからX軸の正方向側、つまり、位置x6から位置x11の範囲についても同様である。すなわち、位置x8と位置x9との間における、変化曲線W1としきい値ThL1との交点は、細胞膜Cmの内周部の位置を示している。また、位置x10と位置x11との間における、変化曲線W1としきい値ThL1との交点は、細胞膜Cmの外周部の位置を示している。
ここで、判定ラインJL上の位置のうち、中心線CLからX軸の負方向側、又は中心線CLからX軸の正方向側のいずれかの位置において、細胞膜Cmを示す位相差Δpの変化が存在すれば、判定部113は、判定対象の細胞を生細胞であると判定する。つまり、細胞の径方向の長さの半分以下の範囲において、細胞膜Cmを示す位相差Δpの変化が存在すれば、判定部113は、判定対象の細胞を生細胞であると判定する。
[判定対象が死細胞である場合]
次に、上述したステップS40及びステップS50において、判定部113による判定対象の細胞が死細胞である場合について、図6を参照して説明する。
図6は、本実施形態の判定部113による死細胞の判定例を示す模式図である。判定部113が、ある死細胞の画像PCell2について判定する場合の一例を、図6(A)に示す。画像PCell2とは、死細胞が撮像された位相差画像である。この画像PCell2においては、細胞核Cnと、細胞膜Cmと、細胞質Cyとが判別困難な状態である。なお、この図6(A)においては、上述した図5(A)と同様に、位相差画像の位相差Δpが大きい部分を黒く、位相差Δpが小さい部分を白くして、位相差Δpを示す。
判定部113は、画像PCell2の径方向に判定ラインJLを定める。画像PCell2の径方向とは、図6(A)に示す一例では、同図のX軸方向である。すなわち、この一例では、画像PCell2の径方向とは、画像PCell2の直径方向である。
判定部113は、上述したステップS50において、判定ラインJL上の位相差Δpの変化の回数を求める。具体的には、判定部113は、位相差のしきい値ThL1と、位相差Δpの変化曲線W2との交点の個数を算出することにより、判定ラインJL上の位相差Δpの変化の回数を求める。
より具体的には、判定部113は、図6(A)に示す判定ラインJLに沿ってX軸方向に位相差Δpの変化曲線を求める。この図6(A)に示す一例では、判定ラインJL上の位置x2から位置x10の部分の位相差Δpが比較的大きい。また、この図6(A)に示す一例では、判定ラインJL上の位置x1と、位置x11との部分の位相差Δpが比較的小さい。この判定ラインJLに沿った位相差Δpの変化曲線W2を図6(B)に示す。
ここで、トリパンブルーによって染色された細胞が死細胞である場合、その死細胞の位相差画像には、細胞膜Cmを示す位相差Δpの変化が現れにくい。つまり、死細胞においては、細胞膜Cmの部分の位相差Δpと、細胞質Cyの部分の位相差Δpとの差が小さい。これは、生細胞において、細胞膜Cmの部分の位相差Δpが比較的大きく、細胞質Cyの部分、及び細胞外の部分の位相差Δpが比較的小さいことと相違する。
より具体的には、図6(A)に示す判定ラインJL上の、細胞外の位置x1から、細胞膜Cmを示す位置x2の間において、位相差Δpの変化曲線W2がしきい値ThL1を超えるように、変化曲線W2としきい値ThL1とが交差する。この位置x1と位置x2との間における、変化曲線W2としきい値ThL1との交点は、細胞膜Cmの外周部の位置を示している。
また、判定ラインJL上の、位置x2から位置x6の間において、位相差Δpの変化曲線W2がしきい値ThL1以下にならない。これは、生細胞において、位相差Δpの変化曲線W2がしきい値ThL1以下になるのと相違する。
なお、ここでは、判定ラインJL上の位置のうち、中心線CLからX軸の負方向側、つまり、位置x1から位置x6の範囲について説明した。すなわち、径方向の長さの半分以下の範囲について説明した。判定ラインJL上の位置のうち、中心線CLからX軸の正方向側、つまり、位置x6から位置x11の範囲についても同様である。
ここで、判定ラインJL上の位置のうち、中心線CLからX軸の負方向側、又は中心線CLからX軸の正方向側のいずれかの位置において、細胞膜Cmを示す位相差Δpの変化が存在しなければ、判定部113は、判定対象の細胞を死細胞であると判定する。つまり、細胞の径方向の長さの半分以下の範囲において、細胞膜Cmを示す位相差Δpの変化が存在しなければ、判定部113は、判定対象の細胞を死細胞であると判定する。
また本実施形態では、フィルタ部112で抽出した特定部位である細胞領域ROIの情報と上記とは異なる部位の特定領域である細胞膜の画像情報とを用い、細胞膜の長さまたは面積、細胞面積に着目し、例えば細胞の生死判定等の物体の状態判定を行うことが可能である。
まず、図4(A)の細胞C1を例に説明する。
細胞C1について上記と同様の処理を実施し、図4(B)に示すように細胞領域ROI1を抽出する。この細胞領域ROI1には、図4(A)で判るように図面上やや濃い色で表現されている輪帯状部(一部途切れている部分あり)で図示されている細胞膜と推測される外側領域に白くにじんだ領域のハロ領域(ノイズ成分)が存在する。このハロ領域は、細胞は存在していない領域である。したがって、ハロ領域を削除することで細胞C1の輪郭を抽出することが可能となる。この輪郭は細胞膜の外側の壁部分と仮定できる。このハロ領域の特定は位相差画像の輝度情報を基に画像認識により行うことが可能である。または、細胞種毎に予めハロ領域の寸法情報、例えば、ハロ領域の外周部から細胞内部に向かうハロが存在する長さ情報を記憶しておき、この情報を基にハロ領域を除くことも可能である。このようにハロ領域を除いた細胞C1の輪郭は細胞膜の外周部に相当が存在する領域であると定義でき、細胞C1の細胞膜の全周を測定することが可能となる。
次に上記と同様の処理を実施し、図4(C)に示すように例えば細胞C1を対象にした場合、細胞膜の画像CT11〜CT14を認識し、抽出する。この細胞膜の画像CT11〜CT14の周方向の長さに着目する。上記の様に細胞膜の全周の長さは測定可能となっている。この細胞膜の全周の長さに対する細胞膜の画像CT11〜CT14の長さの和の割合(比)を算出することで細胞の生死判定の基準とすることが可能である。この基準は、細胞種によっても異なる。したがって、細胞種毎に生死判定基準値を予め記憶しておき、この基準値を満たすか否かでの判断を行うことも可能である。また、上記の例では細胞膜全周の長さに対する実際の細胞膜の長さの割合で生死判断を行ったがこれに限定されるものではい。例えば実際の細胞膜の長さの絶対値によっても生死判定することが可能である。この場合、細胞種や培養条件等毎の生死判定基準を予め定め、これに従って判定することも可能である。
更に、細胞の面積と細胞膜の面積を用い判定することも可能である。
この例では、まず、上記と同様の処理により図4(B)に示すようにフィルタ部112により、細胞領域ROIを抽出する(ステップS30)。次に細胞領域ROIの面積を算出する。例えば細胞C1を対象にした場合、細胞領域ROI1の面積を算出する。次に上記と同様に細胞膜の画像CT11〜CT14を認識し、抽出する。この細胞膜の画像CT11〜CT14の面積に着目し、面積を算出する。この細胞膜の画像CT11〜CT14の面積の和と細胞領域ROI1の面積の割合(比)を算出することで細胞の生死判定の基準とすることが可能である。この基準は、細胞種によっても異なる。したがって、細胞種毎に生死判定基準値を予め記憶しておき、この基準値を満たすか否かでの判断を行うことも可能である。また、例えば実際の細胞膜の面積の絶対値によっても生死判定することが可能である。この場合、細胞種や培養条件等毎の生死判定基準を予め定め、これに従って判定することも可能である。
上記のような細胞膜、細胞領域の長さや面積は、例えば撮像素子のピクセルを用い、ピクセル数をもとに算出することが可能である。
本願発明は、培養された複数の細胞の中から、少なくとも1つの細胞を抜き取り、上記のような画像解析を行うことが可能であることから抜き取られた検査細胞以外の培養中の細胞に対しては悪影響を及ぼすことなく細胞状態を判定することが可能である。
本発明に適用可能な観察物は、本実施例で説明したような細胞に限られるものではなく、例えば幹細胞や神経細胞、心筋細胞、皮膚細胞、肝細胞、血液細胞、免疫細胞等の各種細胞のほか、微生物等の生物や組織等に適用可能であり、位相差観察が可能な観察物全般に適用可能である。
また、細胞の生死判定に限らず、分化状態、分化時期、スクリーニングにおける薬効、毒性等の細胞状態判定に用いることができる。また。細胞に限らず、微生物の成育状態、機能検出にも応用可能である。このようなスクリーニング、薬品の毒性試験、薬効試験または再生医療の処理工程に本願発明の状態判定方法を採用することにより、より効率的なスクリーニング、効率的な薬品の製造、または効率的な再生細胞の作製を行うことが可能となる。
また、本願発明の方法をプログラミングした制御装置により観察装置を駆動させることで観察対象となる物体の状態を判定可能な観察装置、スクリーニング装置、細胞培養装置を構築することも可能である。
[生細胞及び死細胞の判定]
上述したように、生細胞と、死細胞とでは、判定ラインJL上の位相差Δpの変化曲線が相違する。判定部113は、この位相差Δpの変化曲線が、生細胞を示す変化曲線(例えば、図5(B)に示す変化曲線W1)であれば、判定対象の細胞を生細胞であると判定する。また、判定部113は、この位相差Δpの変化曲線が、死細胞を示す変化曲線(例えば、図6(B)に示す変化曲線W2)であれば、判定対象の細胞を死細胞であると判定する。
ここで、判定部113は、判定対象の細胞の径方向の長さの半分以下の範囲における、位相差Δpの変化曲線と、しきい値ThL1との交点の個数に基づき、判定対象の細胞が生細胞であるか死細胞であるかを判定する(ステップS60)。
具体例として、判定対象の細胞が生細胞の場合について説明する。図5(B)に示すように、位置x1から位置x6の範囲において、変化曲線W1としきい値ThL1との交点の個数は、2個である。この場合、判定部113は、変化曲線W1としきい値ThL1との交点の個数を、2個であると算出する。
また他の具体例として、判定対象の細胞が死細胞の場合について説明する。図6(B)に示すように、位置x1から位置x6の範囲において、変化曲線W2としきい値ThL1との交点の個数は、1個である。この場合、判定部113は、変化曲線W2としきい値ThL1との交点の個数を、1個であると算出する。
この一例では、判定部113は、位相差Δpの変化曲線と、しきい値ThL1との交点の個数が2個以上であれば、判定対象の細胞を生細胞である(ステップS60;YES)と判定して、処理をステップS70に進める。また、判定部113は、位相差Δpの変化曲線と、しきい値ThL1との交点の個数が1個以下であれば、判定対象の細胞を死細胞である(ステップS60;NO)と判定して、処理をステップS80に進める。
次に、判定部113は、判定対象のすべての細胞領域ROIについて生死判定したか否かを判定する(ステップS90)。判定部113は、判定対象のすべての細胞領域ROIについて生死判定していないと判定した場合(ステップS90;NO)には、処理をステップS40に戻して、次の細胞領域ROIについての処理を継続する。判定部113は、判定対象のすべての細胞領域ROIについて生死判定したと判定した場合(ステップS90;YES)には、一連の処理を終了する。
以上説明したように、本実施形態の判定システム1は、判定部113を備えている。この判定部113は、画像取得部111が取得した位相差画像に基づいて、細胞が生細胞と死細胞とのいずれであるかを判定する。上述したように、位相差画像によると、位相差を用いない画像に比べて、被検体Sの物理的な構造がその画像に現れやすい。例えば、動物細胞においては、その細胞膜の物理的な構造が位相差画像に現れやすい。したがって、位相差画像による判定を行うことにより、判定対象の細胞が色素細胞であった場合でも、その細胞の色味が判定に及ぼす影響を低減することができる。つまり、本実施形態の判定部113によれば、位相差画像に基づいて判定することにより、細胞の色味が判定に及ぼす影響を低減することができる。
また、本実施形態の判定部113は、細胞を示す画像の、径方向の位相差Δpの変化に基づいて、細胞が生細胞と死細胞とのいずれであるかを判定する。上述したように、死細胞に対して選択的に染色を行うと、色素が死細胞の内部に透過する。これにより、死細胞においては、細胞内部の物理的な構造が位相差画像に現れにくくなる。換言すれば、生細胞においては、細胞内部の物理的な構造に応じて、位相差Δpに変化が生じやすい。一方、死細胞においては、細胞内部の物理的な構造に応じて、位相差Δpに変化が生じにくい。つまり、生細胞と死細胞とでは、位相差画像の位相差Δpの変化の状態が相違する。判定部113は、この位相差画像の位相差Δpの変化の状態が相違する点を利用して、判定対象の細胞が生細胞であるか、死細胞であるかを判定する。したがって、本実施形態の判定部113によれば、細胞の色味が判定に及ぼす影響を低減することができる。つまり、本実施形態の判定システム1によれば、細胞の生死判定の精度を向上することができる。
また、本実施形態の判定部113は、細胞の径方向の長さの半分以下の範囲における位相差Δpの変化に基づいて、細胞が生細胞と死細胞とのいずれであるかを判定する。すなわち、本実施形態の判定部113は、細胞の径方向のすべての範囲ではなく、一部の範囲における位相差Δpの変化に基づいて、細胞が生細胞と死細胞とのいずれであるかを判定する。これにより、判定部113は、位相差画像に細胞膜を示す画像が一部でも含まれていれば、細胞が生細胞と死細胞とのいずれであるかを判定することができる。
また、本実施形態の判定システム1は、フィルタ部112を備えている。このフィルタ部112は、細胞の外形を抽出する。このフィルタ部112により、判定部113における判定を容易にすることができる。
[変形例]
なお、ここまで判定部113がしきい値ThL1に基づいて判定する場合を一例にして説明したが、これに限られない。判定部113は、しきい値ThL2に基づいて、細胞の生死を判定してもよい。このしきい値ThL2によれば、図5(B)に示すように、細胞膜Cmによる位相差Δpの変化に加え、細胞核Cnによる位相差Δpの変化をも検出することができる。
また、これまで、細胞の位相差画像において、細胞膜部分の位相差Δpが大きいとして説明したが、これに限られない。図7に示すように、図5(A)及び図6(A)に示す位相差画像と、位相差が反転していてもよい。
図7は、本実施形態の変形例における位相差Δpの変化曲線の一例を示す模式図である。ここで、図7(A)に示す変化曲線W3とは、図5(A)に示す生細胞の変化曲線W1を反転させた曲線である。また、図7(B)に示す変化曲線W4とは、図6(A)に示す生細胞の変化曲線W2を反転させた曲線である。
また、上述したフィルタ部112は、画像取得部111が取得した位相差画像に対して画素値の積分処理及び微分処理を行うことにより、図4(c)に示すように、細胞膜部分を強調した画像を生成してもよい。この場合には、フィルタ部112は、図4(B)に示す細胞領域ROIを示す画像とともに、図4(c)に示す細胞膜部分を強調した画像を判定部113に出力する構成であってもよい。図4(c)に示す一例の場合、フィルタ部112は、細胞C1について、細胞膜の画像CT11〜CT14を強調した画像を判定部113に出力する。また、フィルタ部112は、細胞C2について、細胞膜の画像CT21〜CT23を強調した画像を判定部113に出力する。
また、本実施形態における判定システム1の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…判定システム、10…判定装置、111…画像取得部、112…フィルタ部、113…判定部、20…表示部、30…位相差顕微鏡装置

Claims (12)

  1. 位相差観察により観察された観察物体の位相差画像を撮像する画像取得部と、
    撮像された前記位相差画像中の観察物体における特定領域の位相差情報をもとに前記観察物体の状態を判定する判定部と、
    を備えることを特徴とする判定装置。
  2. 前記位相差画像中の観察物体における特定領域は、少なくとも2つの異なる部位の特定領域であり、前記判定部は、前記異なる部位の特定領域の位相差情報をもとに前記観察物体の状態を判定することを特徴とする請求項1に記載の判定装置。
  3. 前記判定部は、前記異なる部位の特定領域の位相差情報を比較することで前記観察物体の状態を判定することを特徴とする請求項2に記載の判定装置。
  4. 前記判定部での判定に関わる前記位相差情報は、前記観察物体の特定部位の形態に関わる情報であることを特徴とする請求項1から3の何れか一項に記載の判定装置。
  5. 前記位相差情報は前記特定部位の長さおよび面積の少なくとも何れか1つの情報であることを特徴とする請求項4に記載の判定装置。
  6. 前記判定部は、取得された前記位相差画像中のノイズ成分を除外する処理を行い決定された特定領域の位相差情報基に判定することを特徴とする請求項1から5の何れか一項に記載の判定装置。
  7. 前記観察物体は、細胞標本であり、
    前記特定領域は、細胞領域と前記細胞領域内に存在する細胞膜であることを特徴とする請求項1から6の何れか一項に記載の判定装置。
  8. 前記判定部は、前記位相差画像より決定された細胞膜の全周の長さと、前記位相差画像で認識された細胞膜の長さとを比較した値によって細胞標本の状態を判定することを特徴とする請求項7に記載の判定装置。
  9. 観察物体を位相差撮像することにより位相差画像を生成する位相差撮像部と、
    請求項1から請求項6のいずれか一項に記載の判定装置と、
    前記判定装置の判定結果を出力する出力部と、
    を備えることを特徴とする判定システム。
  10. コンピュータに、
    観察物体を位相差撮像することにより位相差画像を生成する位相差撮像手順と、
    前記位相差撮像手順において生成された前記位相差画像中の観察物体における特定領域の位相差情報に基づいて、前記観察物体の状態を判定する判定手順と、
    を実行させるための判定プログラム。
  11. 細胞を位相差撮像することにより位相差画像を生成する位相差撮像手順と、
    前記位相差撮像手順において生成された前記位相差画像に含まれる前記細胞を示す細胞画像の径方向に、前記細胞の細胞膜を示す位相差の変化に基づいて、前記細胞が生細胞と死細胞とのいずれであるかを判定する判定手順と、
    を有することを特徴とする細胞の製造方法。
  12. 請求項11に記載の細胞の製造方法により製造された細胞。
JP2015074439A 2015-03-31 2015-03-31 判定装置、判定システム、判定プログラム、及び細胞の製造方法 Active JP6609967B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015074439A JP6609967B2 (ja) 2015-03-31 2015-03-31 判定装置、判定システム、判定プログラム、及び細胞の製造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015074439A JP6609967B2 (ja) 2015-03-31 2015-03-31 判定装置、判定システム、判定プログラム、及び細胞の製造方法

Publications (3)

Publication Number Publication Date
JP2016192923A true JP2016192923A (ja) 2016-11-17
JP2016192923A5 JP2016192923A5 (ja) 2018-07-26
JP6609967B2 JP6609967B2 (ja) 2019-11-27

Family

ID=57322307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015074439A Active JP6609967B2 (ja) 2015-03-31 2015-03-31 判定装置、判定システム、判定プログラム、及び細胞の製造方法

Country Status (1)

Country Link
JP (1) JP6609967B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019054742A (ja) * 2017-09-20 2019-04-11 株式会社Screenホールディングス 生細胞検出方法、プログラムおよび記録媒体
WO2022230672A1 (ja) * 2021-04-28 2022-11-03 富士フイルム株式会社 細胞生死判定方法、細胞生死判定装置及び細胞生死判定システム
WO2022230673A1 (ja) * 2021-04-28 2022-11-03 富士フイルム株式会社 細胞培養装置及び生細胞濃度調整方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006271210A (ja) * 2005-03-28 2006-10-12 Olympus Corp 自動細胞培養装置
WO2007136073A1 (ja) * 2006-05-22 2007-11-29 Nikon Corporation 細胞剥離判定装置、細胞剥離判定方法、および細胞培養装置
JP2008212017A (ja) * 2007-03-01 2008-09-18 Nikon Corp 細胞状態判定装置、および細胞状態判定方法
JP2010276585A (ja) * 2009-06-01 2010-12-09 Olympus Corp 活性度測定装置および活性度測定方法
WO2012127879A1 (ja) * 2011-03-24 2012-09-27 株式会社ニコン 培養装置、培養装置システム、培養操作管理方法およびプログラム
JP2012231709A (ja) * 2011-04-28 2012-11-29 Hamamatsu Photonics Kk 細胞解析方法、細胞解析装置、および細胞解析プログラム
JP2013027368A (ja) * 2011-07-29 2013-02-07 Nikon Corp 培養情報処理装置、培養状態評価装置、細胞培養方法およびプログラム
JP2013236563A (ja) * 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム
WO2015004917A1 (ja) * 2013-07-10 2015-01-15 株式会社ニコン 観察方法、観察装置、細胞シート製造方法および細胞シート製造装置
JP2015039343A (ja) * 2013-08-22 2015-03-02 富士フイルム株式会社 幹細胞分化判定装置および方法並びにプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006271210A (ja) * 2005-03-28 2006-10-12 Olympus Corp 自動細胞培養装置
WO2007136073A1 (ja) * 2006-05-22 2007-11-29 Nikon Corporation 細胞剥離判定装置、細胞剥離判定方法、および細胞培養装置
JP2008212017A (ja) * 2007-03-01 2008-09-18 Nikon Corp 細胞状態判定装置、および細胞状態判定方法
JP2010276585A (ja) * 2009-06-01 2010-12-09 Olympus Corp 活性度測定装置および活性度測定方法
WO2012127879A1 (ja) * 2011-03-24 2012-09-27 株式会社ニコン 培養装置、培養装置システム、培養操作管理方法およびプログラム
JP2012231709A (ja) * 2011-04-28 2012-11-29 Hamamatsu Photonics Kk 細胞解析方法、細胞解析装置、および細胞解析プログラム
JP2013027368A (ja) * 2011-07-29 2013-02-07 Nikon Corp 培養情報処理装置、培養状態評価装置、細胞培養方法およびプログラム
JP2013236563A (ja) * 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム
WO2015004917A1 (ja) * 2013-07-10 2015-01-15 株式会社ニコン 観察方法、観察装置、細胞シート製造方法および細胞シート製造装置
JP2015039343A (ja) * 2013-08-22 2015-03-02 富士フイルム株式会社 幹細胞分化判定装置および方法並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019054742A (ja) * 2017-09-20 2019-04-11 株式会社Screenホールディングス 生細胞検出方法、プログラムおよび記録媒体
WO2022230672A1 (ja) * 2021-04-28 2022-11-03 富士フイルム株式会社 細胞生死判定方法、細胞生死判定装置及び細胞生死判定システム
WO2022230673A1 (ja) * 2021-04-28 2022-11-03 富士フイルム株式会社 細胞培養装置及び生細胞濃度調整方法

Also Published As

Publication number Publication date
JP6609967B2 (ja) 2019-11-27

Similar Documents

Publication Publication Date Title
JP6416887B2 (ja) 構造化照明を用いた組織試料の顕微鏡観察
JP6342810B2 (ja) 画像処理
US10485425B2 (en) Apparatus and methods for structured light scatteroscopy
CN106716485A (zh) 用于产生结果图像的方法和光学器件
JP6609967B2 (ja) 判定装置、判定システム、判定プログラム、及び細胞の製造方法
US11169079B2 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
JP2017120229A (ja) 細胞領域決定方法、細胞撮像システム、細胞画像の処理装置及びコンピュータプログラム
JP2014157428A (ja) 画像表示装置、画像表示方法、及び、プログラム
JPWO2018003063A1 (ja) 画像選択装置、画像選択方法、画像選択プログラム、表示装置、演算装置
JP6968357B2 (ja) 画像取得方法および画像取得装置
JP6499506B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2018109707A (ja) 顕微鏡パラメータの設定方法および観察方法
US11954888B2 (en) Device, microscope device, method, and program
JP2012189342A (ja) 顕微分光測定装置
JP6897665B2 (ja) 画像処理装置、観察装置、及びプログラム
CN111511267A (zh) 使用在图像路径中的照明的眼部成像
JP2016192922A (ja) 判定装置
JPWO2018003906A1 (ja) 眼科測定装置
JP2016209132A5 (ja)
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2022524147A (ja) 生体組織のイメージングを強調するシステムおよび方法
JP2019041737A (ja) 画像処理装置、観察装置、及びプログラム
US20230058111A1 (en) Systems and methods for providing live sample monitoring information with parallel imaging systems
EP4443213A1 (en) Adaptive subtraction for c-sim microscopy
EP4249850A1 (en) Controller for an imaging system, system and corresponding method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191014

R150 Certificate of patent or registration of utility model

Ref document number: 6609967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250