JP2016223931A - 蛍光画像の合焦システム、合焦方法および合焦プログラム - Google Patents

蛍光画像の合焦システム、合焦方法および合焦プログラム Download PDF

Info

Publication number
JP2016223931A
JP2016223931A JP2015111139A JP2015111139A JP2016223931A JP 2016223931 A JP2016223931 A JP 2016223931A JP 2015111139 A JP2015111139 A JP 2015111139A JP 2015111139 A JP2015111139 A JP 2015111139A JP 2016223931 A JP2016223931 A JP 2016223931A
Authority
JP
Japan
Prior art keywords
fluorescent
image
bright spot
focusing system
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015111139A
Other languages
English (en)
Other versions
JP6547424B2 (ja
Inventor
雄一 尾崎
Yuichi Ozaki
雄一 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2015111139A priority Critical patent/JP6547424B2/ja
Publication of JP2016223931A publication Critical patent/JP2016223931A/ja
Application granted granted Critical
Publication of JP6547424B2 publication Critical patent/JP6547424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Focusing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】蛍光画像の合焦位置を容易および迅速でかつ定量的に算出する制御装置を提供する。【解決手段】蛍光画像の合焦システム1は、組織標本30の蛍光像を撮像する蛍光顕微鏡10と、前記蛍光像から蛍光画像を生成し、前記蛍光画像から蛍光輝点を抽出し、前記蛍光輝点が存在する輝点領域の輝度値を算出し、その算出結果に基づき前記蛍光画像の合焦位置を算出する制御装置60と、を備える。【選択図】図1

Description

本発明は蛍光画像の合焦システム、合焦方法および合焦プログラムに関する。
従来から、がん診断方法として組織標本中の抗原を検出する免疫染色法が知られている。免疫染色法のなかでも、近年では酵素抗体法に代えて蛍光抗体法が使用されることが多くなってきている。「蛍光抗体法」とは、抗体に蛍光体を標識しておき、組織標本の染色(抗原抗体反応)後にその組織標本に励起波長を照射し蛍光発光させ、これを蛍光顕微鏡で観察する手法である。
特許文献1には蛍光抗体法を用いた例が開示されている。特に特許文献1では、生体物質に結合した蛍光体の蛍光輝点数および蛍光強度を蛍光顕微鏡で計測し、生体物質の発現レベルを評価する手法が提案されている。
ところで上記蛍光輝点数および蛍光強度を計測するには、高い倍率と開口数(NA)を有する光学系が必要となる。光学系の倍率や開口数が高くなると焦点深度が狭くなってしまうため、合焦位置の調整が重要になる。「合焦」とはいわゆるピント合わせのことである。合焦ずれが発生すると、蛍光輝点を含む顕微鏡画像(蛍光画像)において、蛍光輝点を見失う可能性があり、見失うことがなくても蛍光輝点の輝度が低下するためにS/Nが低くなり、バックグランドノイズの影響を受けやすくなる、といった問題が発生する。
この点、蛍光画像の合焦方法が特許文献2、3に開示されている。
特許文献2の技術では、ユーザーがハンドル(26)を操作してステージ(21)を下降させる一方で、顕微鏡画像のコントラスト値を算出し、そのコントラスト値が閾値以上かどうかを比較して当該閾値以上となったときに、合焦したと判断するように構成している(段落0018、0023、0029〜0036、図1、図3参照)。
特許文献3の技術では、ステージ(11)を、Z軸方向に下から上に等速移動させるとともにXY平面において等速円移動させ、蛍光マーカー(55)による円形状の蛍光像を撮像する(段落0065〜0082、図7参照)。かかる場合に、Z軸方向の撮影範囲を複数に分け、複数の蛍光像の撮影を行う(段落0083〜0090、図8〜図10参照)。その後、複数の蛍光像に対して周波数解析を実行し、最大周波数成分が最も高い蛍光像を選択し、その蛍光像について蛍光マーカー(55)の軌跡の像を解析して合焦位置を算出している(段落0091〜0102、図11、段落0142参照)。
その他、焦点深度よりも小さい間隔で焦点位置を切り替えながらその都度画像を撮影し(Z-stack撮影)、撮影画像それぞれを分析することで合焦位置を算出する方法もある(特許文献3の段落0010、0138、0143〜0144参照)。
特開2013−57631号公報 特開2010−2534号公報 特開2014−98575号公報
しかしながら、特許文献2の技術では、組織標本の表面に凹凸があり蛍光輝点が光軸方向に分布するような場合、すなわち蛍光輝点が同一平面上に存在せず蛍光輝点の高さ位置にずれがある場合、コントラスト値を用いるがゆえに正確な合焦位置を算出することができない。
この点、特許文献3の技術では、特許文献2の問題を解決しうるものの、ステージのZ軸方向およびXY平面の移動制御と、蛍光像の撮像および画像解析とが連動した複雑なコントロールが必要となるため、ハードウエアとソフトウエアとの両面から高度な合焦システムが要求される。
Z-stack撮影を用いる方法でも、撮影画像ごとに蛍光輝点1つ1つの推移を解析するため、撮影画像間の同一蛍光輝点のラベリングやマッチングなどが必要となり、分析に時間がかかるという問題がある。
さらに蛍光体が密集してクラスター状となっている箇所は生体物質が多く発現しており、発現レベルを評価する際には非常に重要となるものの、上記のとおり蛍光画像のコントラスト値や周波数解析を用いた合焦方法では、合焦判定時に当該箇所の発現レベル評価に対する寄与のウエイトが小さくなる可能性もある。
したがって本発明の主な目的は、蛍光画像の合焦位置を容易および迅速でかつ定量的に算出することができる蛍光画像の合焦システム、合焦方法および合焦プログラムを提供することにある。
上記課題を解決するため本発明の一態様によれば、
組織標本の蛍光像を撮像する蛍光顕微鏡と、
前記蛍光像から蛍光画像を生成する生成手段と、
前記蛍光画像から蛍光輝点を抽出する抽出手段と、
前記蛍光輝点が存在する輝点領域の輝度値を算出し、その算出結果に基づき前記蛍光画像の合焦位置を算出する算出手段と、
を備えることを特徴とする蛍光画像の合焦システムが提供される。
本発明の他の態様によれば、
組織標本の蛍光像を撮像する工程と、
前記蛍光像から蛍光画像を生成する工程と、
前記蛍光画像から蛍光輝点を抽出する工程と、
前記蛍光輝点が存在する輝点領域の輝度値を算出し、その算出結果に基づき前記蛍光画像の合焦位置を算出する工程と、
を備えることを特徴とする蛍光画像の合焦方法が提供される。
本発明の他の態様によれば、
コンピュータに、
組織標本の蛍光像を撮像させる撮像手段、
前記蛍光像から蛍光画像を生成する生成手段、
前記蛍光画像から蛍光輝点を抽出する抽出手段、
前記蛍光輝点が存在する輝点領域の輝度値を算出し、その算出結果に基づき前記蛍光画像の合焦位置を算出する算出手段、
として機能させるための蛍光画像の合焦プログラムが提供される。
本発明によれば、蛍光画像の合焦位置を容易かつ迅速に定量的に算出することができる。
蛍光画像の合焦システムの概略的な構成を示す図である。 蛍光画像の合焦方法(合焦位置算出処理)を概略的に説明するためのフローチャートである。 蛍光画像の一例を示す図である。 蛍光画像から自家蛍光領域を除外する処理を説明するための図である。 蛍光画像から自家蛍光領域を除外する処理を説明するための図である。 蛍光輝点の一部を穴埋めする処理を説明するための図である。 蛍光輝点の一部を削除する処理を説明するための図である。 輝点領域の面積と輝度値との関係を示すルックアップテーブルの一例を示す図である。 最適な合焦位置を算出するための処理を説明するための図である。 図9の変形例を説明するための図である。 蛍光画像から一定の領域を指定する例を説明するための図である。 実施例1において焦点位置を切り替えるごとに蛍光画像を生成している例を示す図である。 実施例1における合焦位置の算出結果を概略的に示す図である。 実施例2における合焦位置の算出結果を概略的に示す図である。 比較例1における合焦位置の算出結果を概略的に示す図である。 比較例1における問題点を説明するための図である。
以下、図面を参照しながら本発明の好ましい実施形態について説明する。
[蛍光画像の合焦システム]
図1に示すとおり、蛍光画像の合焦システム1は蛍光顕微鏡10、制御装置60および表示装置70を備えている。
蛍光顕微鏡10はステージ12、対物レンズ14、鏡筒16、接眼レンズ18および撮像素子20を備えている。ステージ12には免疫染色後の組織標本30が設置される。鏡筒16にはランプ40および蛍光キューブ50が内蔵されている。蛍光キューブ50は励起フィルター52、ダイクロイックミラー54および吸収フィルター56を備えている。
ランプ40は励起光を出射するランプである。励起フィルター52は励起光だけを透過するフィルターである。ダイクロイックミラー54は所定波長の光を境界として反射または透過するミラーであって、ここでは励起光を反射し蛍光を透過するものである。吸収フィルター56は励起光を遮断し蛍光だけを透過するフィルターである。
蛍光顕微鏡10では、ランプ40が点灯すると、励起光が励起フィルター52を透過しダイクロイックミラー54で反射され、対物レンズ14を通過し組織標本30に照射される。その結果組織標本30で蛍光が発光され、蛍光は対物レンズ14で集光されダイクロイックミラー54および吸収フィルター56を透過する。その後、蛍光は蛍光像として接眼レンズ18を介して観察されるとともに、撮像素子20に撮像される。
蛍光顕微鏡10にはこれらを制御する制御装置60が接続されている。
制御装置60は制御部62および記憶部64を備えている。
制御部62はステージ12と接続され、ステージ12の昇降を制御し焦点位置(高さ位置)を制御しうる。制御部42は撮像素子20と接続され、撮像素子20を制御し蛍光像を撮像させ、その蛍光像を受け蛍光画像を生成しうる。制御部62はランプ40と接続され、ランプ40の点灯および消灯を制御しうる。記憶部64には図2の合焦位置算出処理を実行するための蛍光画像の合焦プログラムが記憶されている。
制御装置60には表示装置70が接続され、表示装置70には制御装置60による算出結果などが表示される。
[組織標本]
続いて、組織標本30について説明する。
組織標本30は目的生体物質を含む組織切片であって免疫染色剤で染色され、染色後の組織標本30が蛍光顕微鏡10のステージ12に設置される。
(1)目的生体物質
目的生体物質とは、主に病理診断の観点からの検出または定量のために、蛍光標識体を用いた免疫染色の対象とするものをいい、組織切片に発現している生体物質、特にタンパク質(抗原)である。
典型的な目的生体物質としては、各種の癌組織の細胞膜で発現しており、バイオマーカーとして利用することができる生体物質が挙げられる。
(2)免疫染色剤(抗体−蛍光ナノ粒子の結合体)
免疫染色剤としては、蛍光標識の効率を向上させて蛍光の劣化につながる時間経過をなるべく抑えるために、一次抗体および蛍光ナノ粒子が間接的に、つまり抗原抗体反応などを利用した、共有結合以外の結合によって連結される複合体を用いることが好ましい。染色操作を簡便にするため、免疫染色剤として、一次抗体または二次抗体に蛍光ナノ粒子が直結している複合体を用いることもできる。
免疫染色剤の一例として、[目的生体物質に対する一次抗体]…[一次抗体に対する抗体(二次抗体)]〜[蛍光ナノ粒子]が挙げられる。
“…”は抗原抗体反応により結合していることを表し、“〜”が示す結合の態様としては特に限定されず、たとえば、共有結合、イオン結合、水素結合、配位結合、抗原抗体結合、ビオチンアビジン反応、物理吸着、化学吸着などが挙げられ、必要に応じてリンカー分子を介していてもよい。
(3)抗体
一次抗体には、目的生体物質としてのタンパク質を抗原として特異的に認識して結合する抗体(IgG)を用いることができる。たとえば、HER2を目的生体物質とする場合は抗HER2抗体を、HER3を目的生体物質とする場合は抗HER3抗体を、それぞれ用いることができる。
二次抗体には、一次抗体を抗原として特異的に認識して結合する抗体(IgG)を用いることができる。
一次抗体および二次抗体はいずれも、ポリクローナル抗体であってもよいが、定量の安定性の観点から、モノクローナル抗体が好ましい。抗体を産生する動物(免疫動物)の種類は特に限定されるものではなく、従来と同様、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどから選択すればよい。
(4)蛍光ナノ粒子
蛍光ナノ粒子とは、励起光の照射を受けて蛍光発光するナノサイズの粒子であって、目的生体物質を1分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。
蛍光ナノ粒子として、好ましくは量子ドット(半導体ナノ粒子)、蛍光物質集積ナノ粒子が使用される。
(4.1)量子ドット
量子ドットとしては、II−VI族化合物、III−V族化合物またはIV族元素を含有する半導体ナノ粒子が使用される。たとえば、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geなどが挙げられる。
(4.2)蛍光物質集積ナノ粒子
蛍光物質集積ナノ粒子は、有機物または無機物でできた粒子を母体とし、複数の蛍光物質(たとえば、上記量子ドット、蛍光色素など)がその中に内包されているおよび/またはその表面に吸着している構造を有する、ナノサイズの粒子である。
蛍光物質集積ナノ粒子としては、母体と蛍光物質とが、互いに反対の電荷を有する置換基または部位を有し、静電的相互作用が働くものであることが好適である。
蛍光物質集積ナノ粒子としては、量子ドット集積ナノ粒子、蛍光色素集積ナノ粒子などが使用される。
(4.2.1)母体
母体のうち、有機物としては、メラミン樹脂、尿素樹脂、アニリン樹脂、グアナミン樹脂、フェノール樹脂、キシレン樹脂、フラン樹脂など、一般的に熱硬化性樹脂に分類される樹脂;スチレン樹脂、アクリル樹脂、アクリロニトリル樹脂、AS樹脂(アクリロニトリル−スチレン共重合体)、ASA樹脂(アクリロニトリル−スチレン−アクリル酸メチル共重合体)など、一般的に熱可塑性樹脂に分類される樹脂;ポリ乳酸等のその他の樹脂;多糖を例示することができる。
母体のうち、無機物としては、シリカ、ガラスなどを例示することができる。
(4.2.2)量子ドット集積ナノ粒子
量子ドット集積ナノ粒子とは、上記量子ドットが、上記母体の中に内包されている、および/またはその表面に吸着している構造を有する。
量子ドットが母体に内包されている場合、量子ドットは母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
(4.2.3)蛍光色素集積ナノ粒子
蛍光色素集積ナノ粒子とは、蛍光色素が、上記母体の中に内包されている、および/またはその表面に吸着している構造を有する。
蛍光色素としては、ローダミン系色素分子、スクアリリウム系色素分子、シアニン系色素分子、芳香環系色素分子、オキサジン系色素分子、カルボピロニン系色素分子、ピロメセン系色素分子などを例示することができる。
蛍光色素としては、Alexa Fluor(登録商標、インビトロジェン社製)系色素分子、BODIPY(登録商標、インビトロジェン社製)系色素分子、Cy(登録商標、GEヘルスケア社製)系色素分子、HiLyte(登録商標、アナスペック社製)系色素分子、DyLight(登録商標、サーモサイエンティフィック社製)系色素分子、ATTO(登録商標、ATTO−TEC社製)系色素分子、MFP(登録商標、Mobitec社製)系色素分子、CF(登録商標、Biotium社製)系色素分子、DY(登録商標、DYOMICS社製)系色素分子、CAL(登録商標、BioSearch Technologies社製)系色素分子などを用いることができる。
なお、蛍光色素が母体に内包されている場合、蛍光色素は母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
(5)組織切片の染色方法
染色方法の一例について説明する。
この染色方法が適用できる組織切片(単に「切片」ともいい、病理切片などの切片も含まれる。)の作製法は特に限定されず、公知の手順により作製されたものを用いることができる。
(5.1)標本作製工程
(5.1.1)脱パラフィン処理
キシレンを入れた容器に、切片を浸漬させ、パラフィン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でキシレンを交換してもよい。
次いでエタノールを入れた容器に切片を浸漬させ、キシレン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でエタノールを交換してもよい。
水を入れた容器に、切片を浸漬させ、エタノール除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中で水を交換してもよい。
(5.1.2)賦活化処理
公知の方法に倣い、目的生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01Mのクエン酸緩衝液(pH6.0)、1mMのEDTA溶液(pH8.0)、5%尿素、0.1Mのトリス塩酸緩衝液などを用いることができる。
pH条件は用いる組織切片に応じてpH2.0〜13.0の範囲から、シグナルが出て、組織の荒れがシグナルを評価できる程度となる条件で行う。通常はpH6.0〜8.0で行うが、特殊な組織切片ではたとえばpH3.0でも行う。
加熱機器はオートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50〜130℃、時間は5〜30分で行うことができる。
次いでPBSを入れた容器に、賦活処理後の切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でPBSを交換してもよい。
(5.2)免疫染色工程
免疫染色工程では、目的生体物質を染色するために、目的生体物質に直接的または間接的に結合しうる部位を有する蛍光ナノ粒子を含む免疫染色剤の溶液を、切片に乗せ、目的生体物質との反応を行う。免疫染色工程に用いる免疫染色剤の溶液については、この工程の前にあらかじめ調製しておけばよい。
免疫染色工程を行う上での条件、すなわち免疫染色剤の溶液に組織標本を浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
上述したような処理を行う前に、BSA含有PBSなど公知のブロッキング剤やTween20などの界面活性剤を滴下することが好ましい。
(5.3)標本後処理工程
免疫染色工程を終えた組織標本は、観察に適したものとなるよう、固定化・脱水、透徹、封入などの処理を行うことが好ましい。
固定化・脱水処理は、組織標本を固定処理液(ホルマリン、パラホルムアルデヒド、グルタールアルデヒド、アセトン、エタノール、メタノールなどの架橋剤)に浸漬すればよい。透徹処理は、固定化・脱水処理を終えた組織標本を透徹液(キシレンなど)に浸漬すればよい。封入処理は、透徹処理を終えた組織標本を封入液に浸漬すればよい。
これらの処理を行う上での条件、たとえば組織標本を所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
(5.4)形態観察染色工程
免疫染色工程とは別に、明視野において細胞、組織、臓器などの形態を観察することができるようにするための、形態観察染色を行ってもよい。
形態観察染色工程は、常法に従って行うことができる。
組織標本の形態観察に関しては、細胞質・間質・各種線維・赤血球・角化細胞が赤〜濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。細胞核・石灰部・軟骨組織・細菌・粘液が青藍色〜淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている(これら2つの染色を同時に行う方法はヘマトキシリン・エオジン染色(HE染色)として知られている)。
形態観察染色工程を含める場合は、免疫染色工程の後に行うようにしてもよいし、免疫染色工程の前に行うようにしてもよい。
[蛍光画像の合焦方法]
続いて、蛍光画像の合焦方法について説明する。
かかる方法は、蛍光画像の合焦システム1を用いて、免疫染色後の組織標本30から目的生体物質を検出する際に行われる方法である。
はじめに、免疫染色後の組織標本30を蛍光顕微鏡10のステージ12に設置する。
その後、制御装置60を用いて、組織標本30から蛍光画像を生成しこれを画像処理して最適な合焦位置を算出する処理(合焦位置算出処理)を実行する。
当該合焦位置算出処理は、制御部62と記憶部64に記憶されているプログラムとの協働により実行され、制御部62はそのプログラムにしたがって下記の処理を実行する。かかるプログラムとしては、たとえば「ImageJ」(オープンソース)が挙げられる。かかる画像処理ソフトウエアを利用することにより、蛍光画像から所定の波長(色)の蛍光輝点を抽出し、輝点領域の輝度値や蛍光ナノ粒子数を算出する処理を、半自動的に迅速に行いうる。
図2に示すとおり、制御部62はまず、ステージ12の焦点位置を調整して組織標本30を対物レンズ14の近傍に位置させる(ステップS1)。
その後、制御部62は、ランプ40を点灯させ励起光を組織標本30に照射する。その結果、組織標本30の蛍光ナノ粒子が蛍光発光し、蛍光輝点が出現する。制御部62はその蛍光像を撮像素子20に撮像させる。
その後、制御部62は、撮像素子20の撮像結果に基づき、蛍光像から蛍光画像を生成する(ステップS2)。
図3(a)は蛍光画像の一例である。
その後、制御部62は蛍光画像に対し前処理を実行する(ステップS3)。
図3(b)は前処理後の蛍光画像の一例である。
前処理には、自家蛍光領域を除去する処理などがある。
ステップS3では、たとえば、組織標本30の作製時にエオジンで染色した場合においてエオジンの自家蛍光が発生したときは、図4に示すとおり、エオジンの自家蛍光により発生したバックグラウンド領域を除去したり、または図5に示すとおり、組織標本30自体の自家蛍光領域を除去したりする。
その後、制御部62は蛍光画像から蛍光輝点を抽出する(ステップS4)。
その後、制御部62は輝点領域に対し後処理を実行する(ステップS5)。
「輝点領域」とは蛍光輝点が存在する領域であって、図3(b)の例では白抜き部分に対応する領域である。
図3(c)は後処理後の蛍光画像の一例である。
後処理には、輝点領域に対しその一部を穴埋めする処理、輝点領域に対しその一部を削除する処理などがある。
ステップS5では、たとえば、図6に示すとおり、リング状の輝点領域の内部を穴埋めしたり、図7に示すとおり、リング状の輝点領域を削除したりする。
その後、制御部62は、輝点領域ごとに輝度値を算出し、その蛍光画像中のすべての輝点領域の輝度積分値を算出する(ステップS6)。
ここで、撮像素子20の受光感度が輝点領域の蛍光強度と線形関係にないような場合、算出した輝度値をそのまま使用することができない。かかる場合、制御部62は、輝点領域の輝度積分値を、算出される輝度値とそれを補正した補正輝度値との関係があらかじめ決定されたルックアップテーブル66(図8参照)を用いて算出してもよい。すなわち、ルックアップテーブル66を制御装置60の記憶部64に記憶しておき、制御部62が、輝点領域ごとに、まずは輝度値を算出し、その後に記憶部64のルックアップテーブル66を参照しながら当該輝度値に対する補正輝度値を算出する。そして最終的に、制御部62が、蛍光画像中のすべての輝点領域の補正輝度値を合算しこれを輝度積分値とする。
その後、制御部62は、蛍光画像が一定数に達したかどうかを判断し(ステップS7)、蛍光画像が一定数に達するまで、ステージ12の焦点位置を段階的に下降させ(ステップS8)、その都度ステップS2〜S6の処理を繰り返し実行する。
蛍光画像が一定数に達したら、制御部62は、焦点位置それぞれでの輝度積分値同士を比較し、その輝度積分値が最大となる焦点位置を、蛍光画像の合焦位置とする(ステップS9)。
すなわち、図9に示すとおり、ステップS6では、焦点位置ごとにその焦点位置での蛍光画像の輝度積分値を求め、ステップS9において、その輝度積分値が最大となる焦点位置を、蛍光画像の合焦位置とする。
図9では9段階の焦点位置(●)で輝度積分値を算出し、5段階目の焦点位置を合焦位置とする例を示している。
以上の本実施形態によれば、ステージ12の焦点位置を切り替えながらその都度蛍光画像を生成して輝度積分値を算出し、輝度積分値が最大となる焦点位置を蛍光画像の合焦位置とするため、蛍光画像の合焦位置を容易および迅速でかつ定量的に算出することができる。
すなわち、ステージ12の移動制御と蛍光像の撮像および画像解析とが連動する複雑なコントロールは不要であり、特許文献3の技術とは異なり、蛍光画像の合焦位置を容易に算出することができる。
焦点位置がずれ輝点領域の輝度値が低下しても、それはそのまま輝度積分値に反映されその蛍光画像に対する処理が終了するため、Z-stack撮影を用いる方法とは異なり、蛍光画像間の同一蛍光輝点のラベリングやマッチングなども不要であり、蛍光画像の合焦位置を迅速に算出することができる。
蛍光ナノ粒子が密集してクラスター状となっている箇所でも、その輝点領域の輝度値が輝度積分値に反映され、蛍光画像の合焦位置を定量的に算出することができ、その箇所は発現レベル評価に対する寄与のウエイトにも大きく影響し、評価精度を向上させることもできる。
また本実施形態では、蛍光画像への前処理および輝点領域への後処理により、蛍光輝点のS/N比が向上し、蛍光画像のバックグラウンドノイズの影響を抑えることができる。
さらに本実施形態では、輝度積分値で合焦位置を算出するため、蛍光画像中で蛍光輝点を見失うという事象も解消しうるし、蛍光輝点が蛍光顕微鏡10の光軸方向に分布するような場合でも、それを考慮した合焦位置を算出することができる。
[変形例]
ステップS6では、輝点領域の輝度値を蛍光ナノ粒子数に換算し、ステップS9では、図10に示すとおり、その蛍光ナノ粒子数の総数が最大となる焦点位置を、蛍光画像の合焦位置としてもよい。
かかる場合、ステップS6では、輝点領域の輝度値を、あらかじめ走査型電子顕微鏡を用いて計測した蛍光ナノ粒子1個あたりの平均輝度値で除算し蛍光ナノ粒子数に換算すればよい。たとえば、輝点領域の輝度値が50000で蛍光ナノ粒子1個あたりの平均輝度値が10000である場合、蛍光ナノ粒子数は5個となる。
図10では9段階の焦点位置(●)で蛍光ナノ粒子数の総数を算出し、5段階目の焦点位置を合焦位置とする例を示している。
なお、本実施形態(変形例を含む。)では、ステップS2においてたとえば図3(a)の蛍光画像を形成した場合に、その蛍光画像全体に対しステップS3〜S6の処理を実行し、蛍光画像の合焦位置を算出している。
これに代えて、図11(a)に示すとおり、蛍光画像を複数の領域に分割しそのなかから指定した指定領域80に対しステップS3〜S6の処理を実行し、蛍光画像の合焦位置を算出してもよい。または図11(b)に示すとおり、蛍光画像のなかから任意に指定した指定領域82に対しステップS3〜S6の処理を実行し、蛍光画像の合焦位置を算出してもよい。
かかる場合はもちろん、ステージ12の焦点位置を切り替えるごとに、蛍光画像間で同一の指定領域80、82を指定する。
本実施例では、蛍光ナノ粒子aとしてCy5内包シリカナノ粒子を作製し、蛍光ナノ粒子aに対して抗HER2抗体を結合させた免疫染色剤Aを作製した。
その後、免疫染色剤Aを用いてヒト乳房組織の組織切片に対し免疫染色を行い、免疫染色後の組織標本における蛍光画像の合焦位置を算出した。
[実施例1]
(1)蛍光ナノ粒子aの合成
下記工程(1.1)〜(1.5)の方法により、Cy5内包シリカナノ粒子を作製した。
工程(1.1):Cy5のN−ヒドロキシスクシンイミドエステル誘導体(GEヘルスケア社製)1mg(0.00126mmol)とテトラエトキシシラン400μL(1.796mmol)を混合した。
工程(1.2):エタノール40mLと14%アンモニア水10mLを混合した。
工程(1.3):工程(1.2)で作製した混合液を室温下で撹拌しているところに、工程(1.1)で調製した混合液を添加した。添加開始から12時間撹拌を行った。
工程(1.4):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(1.5):エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を1回ずつ行った。
得られた蛍光ナノ粒子aを走査型電子顕微鏡(SEM;日立(登録商標)社製S−800型)で観察したところ、平均粒径は110nm、変動係数は12%であった。
(2)免疫染色剤Aの作製
下記工程(2.1)〜(2.12)の方法により、蛍光ナノ粒子aに対して抗体を結合させた。
工程(2.1):1mgの蛍光ナノ粒子aを純水5mLに分散させた。次いで、アミノプロピルトリエトキシシラン水分散液100μLを添加し、室温で12時間撹拌した。
工程(2.2):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(2.3):エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を1回ずつ行った。
得られたアミノ基修飾したシリカナノ粒子のFT−IR測定を行ったところ、アミノ基に由来する吸収が観測でき、アミノ基修飾されたことが確認できた。
工程(2.4):工程(2.3)で得られたアミノ基修飾したシリカナノ粒子を、EDTA(エチレンジアミン四酢酸)を2mM含有したPBSを用いて3nMに調整した。
工程(2.5):工程(2.4)で調整した溶液に、最終濃度10mMとなるようSM(PEG)12(サーモサイエンティフィック社製、succinimidyl−[(N−maleomidopropionamid)−dodecaethyleneglycol]ester)を混合し、1時間反応させた。
工程(2.6):反応混合液を10000Gで60分遠心分離を行い、上澄みを除去した
工程(2.7):EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させた。
工程(2.8):抗HER2抗体100μgを100μLのPBSに溶解させたところに、1Mジチオスレイトール(DTT)を添加し、30分反応させた。
工程(2.9):反応混合物についてゲルろ過カラムにより過剰のDTTを除去し、還元化抗HER2抗体溶液を得た。
工程(2.10):蛍光ナノ粒子aを出発原料として工程(2.7)で得られた粒子分散液と工程(2.9)で得られた還元化抗HER2抗体溶液とをPBS中で混合し、1時間反応させた。
工程(2.11):10mMメルカプトエタノール4μLを添加し、反応を停止させた。
工程(2.12):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した後、EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させ、抗HER2抗体が結合されたCy5内包シリカナノ粒子(免疫染色剤A)を得た。
(3)組織標本の免疫染色
下記工程(3.1)〜(3.10)の方法により、免疫染色剤Aを用い、ヒト乳房組織の組織切片に対し免疫染色を行った。組織切片はコスモバイオ社製の組織アレイスライド(CB−A712)を用いた。
工程(3.1):キシレンを入れた容器に組織切片を30分浸漬させた。途中3回キシレンを交換した。
工程(3.2):エタノールを入れた容器に組織切片を30分浸漬させた。途中3回エタノールを交換した。
工程(3.3):水を入れた容器に組織切片を30分浸漬させた。途中3回水を交換した。
工程(3.4):10mMクエン酸緩衝液(pH6.0)に組織切片を30分浸漬させた。
工程(3.5):121度で10分オートクレーブ処理を行った。
工程(3.6):PBSを入れた容器に、オートクレーブ処理後の切片を30分浸漬させた。
工程(3.7):1%BSA含有PBSを組織に載せて、1時間放置した。
工程(3.8):1%BSA含有PBSで0.05nMに希釈した抗HER2抗体が結合された免疫染色剤Aを、各組織切片に載せて3時間放置した。
工程(3.9):PBSを入れた容器に、染色後の切片をそれぞれ30分浸漬させた。
工程(3.10):Merck Chemicals社製Aquatexを滴下後、カバーガラスを載せ封入した。
(4)合焦位置の算出
図1と同様の蛍光画像の合焦システムを用いて図2の合焦位置算出処理を実行し、上記組織標本から蛍光画像を生成し蛍光画像の合焦位置を算出した。
蛍光顕微鏡として、カールツアイス社製正立顕微鏡Axio Imager M2を用い、対物レンズを20倍に設定し、波長630〜670nmの励起光を照射し、組織標本から発せられる蛍光像を撮像素子(顕微鏡設置カメラ、モノクロ)で撮像し、画像解析ソフトにより合焦位置算出処理を実行した。
なお、上記カメラは画素サイズ6.4μm×6.4μm、縦画素数1040個、横画素数1388個(撮像領域8.9mm×6.7mm)を有している。
ここでは図12に示すとおり、ステージの焦点位置を段階的に(9段階)切り替えながら、その都度蛍光画像を生成して輝度積分値を算出した。
その結果、図13に示すとおり、5段階目の焦点位置で輝度積分値が最大となり、当該焦点位置が接眼レンズから目視で確認した合焦位置と一致していた。
[実施例2]
実施例1と同様の条件において、輝点領域の輝度値を、あらかじめ走査型電子顕微鏡を用いて計測した蛍光ナノ粒子1個あたりの平均輝度値で除算し蛍光ナノ粒子数に換算したところ、図14に示すとおり、5段階目の焦点位置で蛍光ナノ粒子数の総数が最大となり、当該焦点位置も接眼レンズから目視で確認した合焦位置と一致していた。
[比較例1]
実施例1と同様の条件において、輝点領域の輝度値が閾値を超えたかどうかを判定し、輝点領域の蛍光輝点数をカウントした。
その結果、図15に示すとおり、7段階目の焦点位置で蛍光輝点数の総数が最大となり、当該焦点位置は接眼レンズから目視で確認した合焦位置とは明らかにずれていた。
かかる原因は下記のように考えられた。目的生体物質の発現量が多い箇所では複数の蛍光ナノ粒子が付着するため、輝点領域の輝度値が高くなる。そのような輝点領域では、フォーカスがボケた状態でもピントが合った単一の蛍光ナノ粒子よりも輝度値が高くなることがある。そのため、図16に示すとおり、焦点位置が切り替わっても、リング状のボケた輝点領域の蛍光輝点数を複数回にわたりカウントしてしまい、正確な蛍光輝点数を計測することができなくなってしまったと考えられた。
1 蛍光画像の合焦システム
10 蛍光顕微鏡
12 ステージ
14 対物レンズ
16 鏡筒
18 接眼レンズ
20 撮像素子
30 組織標本
40 ランプ
50 蛍光キューブ
52 励起フィルター
54 ダイクロイックミラー
56 吸収フィルター
60 制御装置
62 制御部
64 記憶部
66 ルックアップテーブル
70 表示装置
80、82 指定領域

Claims (11)

  1. 組織標本の蛍光像を撮像する蛍光顕微鏡と、
    前記蛍光像から蛍光画像を生成する生成手段と、
    前記蛍光画像から蛍光輝点を抽出する抽出手段と、
    前記蛍光輝点が存在する輝点領域の輝度値を算出し、その算出結果に基づき前記蛍光画像の合焦位置を算出する算出手段と、
    を備えることを特徴とする蛍光画像の合焦システム。
  2. 請求項1に記載の蛍光画像の合焦システムにおいて、
    前記算出手段が、前記輝点領域の輝度積分値を算出し、その輝度積分値が最大となる焦点位置を、前記蛍光画像の合焦位置とすることを特徴とする蛍光画像の合焦システム。
  3. 請求項2に記載の蛍光画像の合焦システムにおいて、
    前記算出手段が、前記輝点領域の輝度積分値を、前記輝点領域の輝度値とそれを補正した補正輝度値との関係があらかじめ決定されたルックアップテーブルを用いて算出することを特徴とする蛍光画像の合焦システム。
  4. 請求項1に記載の蛍光画像の合焦システムにおいて、
    前記算出手段が、前記輝点領域の輝度値を蛍光ナノ粒子数に換算し、その蛍光ナノ粒子数の総数が最大となる焦点位置を、前記蛍光画像の合焦位置とすることを特徴とする蛍光画像の合焦システム。
  5. 請求項4に記載の蛍光画像の合焦システムにおいて、
    前記算出手段が、前記輝点領域の輝度値を、あらかじめ走査型電子顕微鏡を用いて計測した蛍光ナノ粒子1個あたりの平均輝度値で除算し蛍光ナノ粒子数に換算することを特徴とする蛍光画像の合焦システム。
  6. 請求項1〜5のいずれか一項に記載の蛍光画像の合焦システムにおいて、
    前記蛍光画像から自家蛍光領域を除去する除去手段を備えることを特徴とする蛍光画像の合焦システム。
  7. 請求項1〜6のいずれか一項に記載の蛍光画像の合焦システムにおいて、
    前記輝点領域に対しその一部を穴埋めする穴埋め手段を備えることを特徴とする蛍光画像の合焦システム。
  8. 請求項1〜6のいずれか一項に記載の蛍光画像の合焦システムにおいて、
    前記輝点領域に対しその一部を削除する削除手段を備えることを特徴とする蛍光画像の合焦システム。
  9. 請求項1〜8のいずれか一項に記載の蛍光画像の合焦システムにおいて、
    前記算出手段が、前記蛍光画像の一定の指定領域を対象として、その指定領域に含まれる前記輝点領域の輝度値を算出することを特徴とする蛍光画像の合焦システム。
  10. 組織標本の蛍光像を撮像する工程と、
    前記蛍光像から蛍光画像を生成する工程と、
    前記蛍光画像から蛍光輝点を抽出する工程と、
    前記蛍光輝点が存在する輝点領域の輝度値を算出し、その算出結果に基づき前記蛍光画像の合焦位置を算出する工程と、
    を備えることを特徴とする蛍光画像の合焦方法。
  11. コンピュータに、
    組織標本の蛍光像を撮像させる撮像手段、
    前記蛍光像から蛍光画像を生成する生成手段、
    前記蛍光画像から蛍光輝点を抽出する抽出手段、
    前記蛍光輝点が存在する輝点領域の輝度値を算出し、その算出結果に基づき前記蛍光画像の合焦位置を算出する算出手段、
    として機能させるための蛍光画像の合焦プログラム。
JP2015111139A 2015-06-01 2015-06-01 蛍光画像の合焦システム、合焦方法および合焦プログラム Active JP6547424B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015111139A JP6547424B2 (ja) 2015-06-01 2015-06-01 蛍光画像の合焦システム、合焦方法および合焦プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015111139A JP6547424B2 (ja) 2015-06-01 2015-06-01 蛍光画像の合焦システム、合焦方法および合焦プログラム

Publications (2)

Publication Number Publication Date
JP2016223931A true JP2016223931A (ja) 2016-12-28
JP6547424B2 JP6547424B2 (ja) 2019-07-24

Family

ID=57747935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015111139A Active JP6547424B2 (ja) 2015-06-01 2015-06-01 蛍光画像の合焦システム、合焦方法および合焦プログラム

Country Status (1)

Country Link
JP (1) JP6547424B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109211929A (zh) * 2018-08-31 2019-01-15 胜科纳米(苏州)有限公司 电子电器封装缺陷的检测方法
CN109682814A (zh) * 2019-01-02 2019-04-26 华中农业大学 一种用tof深度相机修正空间频域成像中组织体表面光照度的方法
EP3872765A1 (en) 2020-02-27 2021-09-01 SCREEN Holdings Co., Ltd. Focusing position detection method, focusing position detector, recording medium, and focusing position detection program
WO2022059312A1 (ja) * 2020-09-17 2022-03-24 コニカミノルタ株式会社 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム
EP4027181A1 (en) 2021-01-07 2022-07-13 SCREEN Holdings Co., Ltd. Focusing position detection method, focusing position detection device, focusing position detection program and recording medium

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020117632A1 (en) * 2000-12-25 2002-08-29 Fuji Photo Film Co., Ltd. Scanner having confocal optical system, method for producing focus position data of confocal optical system of scanner having confocal optical system and method for producing digital data of scanner having confocal optical system
US20030231791A1 (en) * 2002-06-12 2003-12-18 Torre-Bueno Jose De La Automated system for combining bright field and fluorescent microscopy
JP2006058237A (ja) * 2004-08-23 2006-03-02 Nikon Corp 分光装置及びスペクトルレーザ顕微鏡
JP2011053361A (ja) * 2009-08-31 2011-03-17 Sony Corp 蛍光像取得方法、蛍光像取得装置及び蛍光像取得プログラム
WO2012029269A1 (ja) * 2010-09-02 2012-03-08 国立大学法人東北大学 がん発症又はがん発症リスクの判定方法
WO2012029342A1 (ja) * 2010-08-30 2012-03-08 コニカミノルタエムジー株式会社 組織染色方法、組織評価方法および生体物質検出方法
JP2013114042A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム
WO2013146841A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP2014063041A (ja) * 2012-09-21 2014-04-10 Keyence Corp 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US20140131592A1 (en) * 2012-11-13 2014-05-15 Sony Corporation Image obtaining unit and image obtaining method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020117632A1 (en) * 2000-12-25 2002-08-29 Fuji Photo Film Co., Ltd. Scanner having confocal optical system, method for producing focus position data of confocal optical system of scanner having confocal optical system and method for producing digital data of scanner having confocal optical system
US20030231791A1 (en) * 2002-06-12 2003-12-18 Torre-Bueno Jose De La Automated system for combining bright field and fluorescent microscopy
JP2006058237A (ja) * 2004-08-23 2006-03-02 Nikon Corp 分光装置及びスペクトルレーザ顕微鏡
JP2011053361A (ja) * 2009-08-31 2011-03-17 Sony Corp 蛍光像取得方法、蛍光像取得装置及び蛍光像取得プログラム
WO2012029342A1 (ja) * 2010-08-30 2012-03-08 コニカミノルタエムジー株式会社 組織染色方法、組織評価方法および生体物質検出方法
WO2012029269A1 (ja) * 2010-09-02 2012-03-08 国立大学法人東北大学 がん発症又はがん発症リスクの判定方法
JP2013114042A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム
WO2013146841A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP2014063041A (ja) * 2012-09-21 2014-04-10 Keyence Corp 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US20140131592A1 (en) * 2012-11-13 2014-05-15 Sony Corporation Image obtaining unit and image obtaining method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109211929A (zh) * 2018-08-31 2019-01-15 胜科纳米(苏州)有限公司 电子电器封装缺陷的检测方法
CN109682814A (zh) * 2019-01-02 2019-04-26 华中农业大学 一种用tof深度相机修正空间频域成像中组织体表面光照度的方法
CN109682814B (zh) * 2019-01-02 2021-03-23 华中农业大学 一种用tof深度相机修正空间频域成像中组织体表面光照度的方法
EP3872765A1 (en) 2020-02-27 2021-09-01 SCREEN Holdings Co., Ltd. Focusing position detection method, focusing position detector, recording medium, and focusing position detection program
US11233932B2 (en) 2020-02-27 2022-01-25 SCREEN Holdings Co., Ltd. Focusing position detection method, focusing position detector, recording medium, and focusing position detection program
WO2022059312A1 (ja) * 2020-09-17 2022-03-24 コニカミノルタ株式会社 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム
EP4027181A1 (en) 2021-01-07 2022-07-13 SCREEN Holdings Co., Ltd. Focusing position detection method, focusing position detection device, focusing position detection program and recording medium
US11706526B2 (en) 2021-01-07 2023-07-18 SCREEN Holdings Co., Ltd. Focusing position detection method, focusing position detection device and recording medium

Also Published As

Publication number Publication date
JP6547424B2 (ja) 2019-07-24

Similar Documents

Publication Publication Date Title
JP6547424B2 (ja) 蛍光画像の合焦システム、合焦方法および合焦プログラム
JP2016512345A (ja) 多重化組織用のデジタル的に強化された顕微鏡
JP6687018B2 (ja) 目的生体物質の検出方法および検出システム
US10656092B2 (en) Biological material quantifying method, image processing device, pathological diagnosis support system and recording medium
JP5887823B2 (ja) 組織評価方法
JP5835536B1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
WO2019082788A1 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
WO2017014196A1 (ja) 目的生体物質の解析方法および解析システム
JP2020173204A (ja) 画像処理システム、画像処理方法及びプログラム
JP6578928B2 (ja) 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム
US11423533B2 (en) Image processing method and image processing system
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP6769360B2 (ja) 蛍光体集積粒子複合体を用いた多段階蛍光染色方法および蛍光体集積粒子複合体
JP6583011B2 (ja) 酸性水溶液を用いた免疫染色スライドの洗浄方法
JP6702339B2 (ja) 画像処理装置及びプログラム
JP7160047B2 (ja) 生体物質定量方法、画像処理装置及びプログラム
WO2020209217A1 (ja) 画像処理システム、画像処理方法及びプログラム
WO2021124866A1 (ja) 画像処理方法、画像処理システム及びプログラム
WO2020262117A1 (ja) 画像処理システム、画像処理方法及びプログラム
WO2021192910A1 (ja) 画像生成方法、画像生成装置及びプログラム
JP2016118428A (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
US11600020B2 (en) Biological substance quantification method, image processing device, pathological diagnosis support system, and recording medium storing computer readable program
WO2022059312A1 (ja) 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム
WO2021039592A1 (ja) 創薬支援方法、創薬支援装置及びプログラム
JP2023126996A (ja) 免疫染色方法及び免疫染色組織標本の作製方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190610

R150 Certificate of patent or registration of utility model

Ref document number: 6547424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150