JP2017110986A - 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム - Google Patents
蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム Download PDFInfo
- Publication number
- JP2017110986A JP2017110986A JP2015244807A JP2015244807A JP2017110986A JP 2017110986 A JP2017110986 A JP 2017110986A JP 2015244807 A JP2015244807 A JP 2015244807A JP 2015244807 A JP2015244807 A JP 2015244807A JP 2017110986 A JP2017110986 A JP 2017110986A
- Authority
- JP
- Japan
- Prior art keywords
- fluorescent
- fluorescent image
- focus position
- image
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【課題】ノイズやバックグラウンドの影響を抑制しながら、蛍光画像から合焦位置を定量的に特定する。【解決手段】蛍光画像の合焦位置特定システム１は、少なくとも３段階以上にわたり焦点位置を段階的に切り替えながら、蛍光マーカを含む染色剤で染色した組織標本３０の蛍光像を撮像する蛍光顕微鏡１０と、前記蛍光像から蛍光画像を生成し、前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成し、前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する制御装置６０と、を備える。【選択図】図１
Description
本発明は蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラムに関する。
従来から、がん診断方法として組織標本中の抗原を検出する免疫染色法が知られている。免疫染色法のなかでも、近年では酵素抗体法に代えて蛍光抗体法が使用されることが多くなってきている。「蛍光抗体法」とは、抗体に蛍光体を標識しておき、組織標本の染色（抗原抗体反応）後にその組織標本に励起光を照射し蛍光発光させ、これを蛍光顕微鏡で観察する手法である。
特許文献１には蛍光抗体法を用いた例が開示されている。特に特許文献１では、生体物質に結合した蛍光体の蛍光輝点数および蛍光強度を蛍光顕微鏡で計測し、生体物質の発現レベルを評価する手法が提案されている。
特許文献１には蛍光抗体法を用いた例が開示されている。特に特許文献１では、生体物質に結合した蛍光体の蛍光輝点数および蛍光強度を蛍光顕微鏡で計測し、生体物質の発現レベルを評価する手法が提案されている。
ところで上記蛍光輝点数および蛍光強度を計測するには、高い倍率と開口数（ＮＡ）を有する光学系が必要となる。光学系の倍率や開口数が高くなると焦点深度が狭くなってしまうため、合焦位置の調整が重要になる。「合焦」とはいわゆるピント合わせのことである。合焦ずれが発生すると、蛍光輝点を含む顕微鏡画像（蛍光画像）において、蛍光輝点を見失う可能性があり、見失うことがなくても蛍光輝点の輝度が低下するためにＳ／Ｎが低くなり、バックグランドノイズの影響を受けやすくなる、といった問題が発生する。
この点、蛍光画像の合焦位置の特定方法が特許文献２に開示されている。
特許文献２では、撮影範囲をＺ軸方向に複数に分割し、分割撮影範囲ごとに、ステージ（１１）を、Ｚ軸方向に下から上に等速移動させるとともにＸＹ平面において等速円移動させ、蛍光マーカ（５５）による円形状の蛍光像を撮像する（段落００４８〜００６４、図６〜図９参照）。
その後、複数の蛍光像に対して周波数解析を実行し、最大周波数成分が最も高い蛍光像を選択する。その後、選択した蛍光像について蛍光マーカの軌跡の像を解析し、その解析結果に基づき複数の蛍光マーカの分布情報を算出する（段落００６５〜００８６、図１０〜図１１）。
特許文献２では、蛍光マーカの分布情報からヒストグラム形式のデータを生成し、そのヒストグラムから合焦位置を特定している（段落００８７〜００９６、図１２〜図１４参照）。
特許文献２では、撮影範囲をＺ軸方向に複数に分割し、分割撮影範囲ごとに、ステージ（１１）を、Ｚ軸方向に下から上に等速移動させるとともにＸＹ平面において等速円移動させ、蛍光マーカ（５５）による円形状の蛍光像を撮像する（段落００４８〜００６４、図６〜図９参照）。
その後、複数の蛍光像に対して周波数解析を実行し、最大周波数成分が最も高い蛍光像を選択する。その後、選択した蛍光像について蛍光マーカの軌跡の像を解析し、その解析結果に基づき複数の蛍光マーカの分布情報を算出する（段落００６５〜００８６、図１０〜図１１）。
特許文献２では、蛍光マーカの分布情報からヒストグラム形式のデータを生成し、そのヒストグラムから合焦位置を特定している（段落００８７〜００９６、図１２〜図１４参照）。
特許文献２の技術では、ヒストグラムから合焦位置を特定する際に、一例として、最も蛍光マーカの数が多い位置Ａを合焦位置としている（段落００９１、図１２参照）。ただ、複数の蛍光像に対する周波数解析と蛍光マーカの軌跡の像解析とを実行しているといっても、位置Ａの蛍光には、ゴミなどのノイズの蛍光や、組織標本中の細胞の自家蛍光を含むバックグラウンドの蛍光も含まれる、と考えられる。蛍光画像から合焦位置を定量的に特定する方法には、ノイズやバックグラウンドの影響をも考慮する、という面でまだ改善の余地がある。
したがって本発明の主な目的は、ノイズやバックグラウンドの影響を抑制しながら、蛍光画像から合焦位置を定量的に特定することができる合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラムを提供することにある。
したがって本発明の主な目的は、ノイズやバックグラウンドの影響を抑制しながら、蛍光画像から合焦位置を定量的に特定することができる合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラムを提供することにある。
上記課題を解決するため、本発明の第１の態様によれば、
少なくとも３段階以上にわたり焦点位置を段階的に切り替えながら、蛍光マーカを含む染色剤で染色した生体サンプルの蛍光像を撮像する蛍光顕微鏡と、
前記蛍光像から蛍光画像を生成する生成手段と、
前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成する作成手段と、
前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する特定手段と、
を備えることを特徴とする蛍光画像の合焦位置特定システムが提供される。
少なくとも３段階以上にわたり焦点位置を段階的に切り替えながら、蛍光マーカを含む染色剤で染色した生体サンプルの蛍光像を撮像する蛍光顕微鏡と、
前記蛍光像から蛍光画像を生成する生成手段と、
前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成する作成手段と、
前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する特定手段と、
を備えることを特徴とする蛍光画像の合焦位置特定システムが提供される。
本発明の第２の態様によれば、
少なくとも３段階以上にわたり焦点位置を段階的に切り替えながら、蛍光マーカを含む染色剤で染色した生体サンプルの蛍光像を撮像する工程と、
前記蛍光像から蛍光画像を生成する工程と、
前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成する工程と、
前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する工程と、
を備えることを特徴とする蛍光画像の合焦位置特定方法が提供される。
少なくとも３段階以上にわたり焦点位置を段階的に切り替えながら、蛍光マーカを含む染色剤で染色した生体サンプルの蛍光像を撮像する工程と、
前記蛍光像から蛍光画像を生成する工程と、
前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成する工程と、
前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する工程と、
を備えることを特徴とする蛍光画像の合焦位置特定方法が提供される。
本発明の第３の態様によれば、
コンピュータに、
蛍光顕微鏡を制御して、少なくとも３段階以上にわたり焦点位置を段階的に切り替えさせながら、蛍光マーカを含む染色剤で染色した生体サンプルの蛍光像を撮像させる撮像制御手段、
前記蛍光像から蛍光画像を生成する生成手段、
前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成する作成手段、
前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する特定手段、
として機能させるための蛍光画像の合焦位置特定プログラムが提供される。
コンピュータに、
蛍光顕微鏡を制御して、少なくとも３段階以上にわたり焦点位置を段階的に切り替えさせながら、蛍光マーカを含む染色剤で染色した生体サンプルの蛍光像を撮像させる撮像制御手段、
前記蛍光像から蛍光画像を生成する生成手段、
前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成する作成手段、
前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する特定手段、
として機能させるための蛍光画像の合焦位置特定プログラムが提供される。
本発明によれば、ノイズやバックグラウンドの影響を抑制しながら、蛍光画像から合焦位置を定量的に特定することができる。
以下、図面を参照しながら本発明の好ましい実施形態について説明する。
［第１の実施形態］
［蛍光画像の合焦位置特定システム］
図１に示すとおり、蛍光画像の合焦位置特定システム１は蛍光顕微鏡１０、制御装置６０および表示装置７０を備えている。
蛍光顕微鏡１０はステージ１２、対物レンズ１４、鏡筒１６、接眼レンズ１８および撮像素子２０を備えている。ステージ１２には免疫染色後の組織標本３０が設置される。組織標本３０は生体サンプルの一例である。鏡筒１６にはランプ４０および蛍光キューブ５０が内蔵されている。蛍光キューブ５０は励起フィルター５２、ダイクロイックミラー５４および吸収フィルター５６を備えている。
ランプ４０は励起光を出射するランプである。励起フィルター５２は励起光だけを透過するフィルターである。ダイクロイックミラー５４は所定波長の光を境界として反射または透過するミラーであって、ここでは励起光を反射し蛍光を透過するものである。吸収フィルター５６は励起光を遮断し蛍光だけを透過するフィルターである。
蛍光顕微鏡１０では、ランプ４０が点灯すると、励起光が励起フィルター５２を透過しダイクロイックミラー５４で反射され、対物レンズ１４を通過し組織標本３０に照射される。その結果組織標本３０で蛍光が発光され、蛍光は対物レンズ１４で集光されダイクロイックミラー５４および吸収フィルター５６を透過する。その後、蛍光は蛍光像として接眼レンズ１８を介して観察されるとともに、撮像素子２０に撮像される。
［蛍光画像の合焦位置特定システム］
図１に示すとおり、蛍光画像の合焦位置特定システム１は蛍光顕微鏡１０、制御装置６０および表示装置７０を備えている。
蛍光顕微鏡１０はステージ１２、対物レンズ１４、鏡筒１６、接眼レンズ１８および撮像素子２０を備えている。ステージ１２には免疫染色後の組織標本３０が設置される。組織標本３０は生体サンプルの一例である。鏡筒１６にはランプ４０および蛍光キューブ５０が内蔵されている。蛍光キューブ５０は励起フィルター５２、ダイクロイックミラー５４および吸収フィルター５６を備えている。
ランプ４０は励起光を出射するランプである。励起フィルター５２は励起光だけを透過するフィルターである。ダイクロイックミラー５４は所定波長の光を境界として反射または透過するミラーであって、ここでは励起光を反射し蛍光を透過するものである。吸収フィルター５６は励起光を遮断し蛍光だけを透過するフィルターである。
蛍光顕微鏡１０では、ランプ４０が点灯すると、励起光が励起フィルター５２を透過しダイクロイックミラー５４で反射され、対物レンズ１４を通過し組織標本３０に照射される。その結果組織標本３０で蛍光が発光され、蛍光は対物レンズ１４で集光されダイクロイックミラー５４および吸収フィルター５６を透過する。その後、蛍光は蛍光像として接眼レンズ１８を介して観察されるとともに、撮像素子２０に撮像される。
蛍光顕微鏡１０にはこれらを制御する制御装置６０が接続されている。
制御装置６０は制御部６２および記憶部６４を備えている。
制御部６２はステージ１２と接続され、ステージ１２の昇降を制御しステージ１２に設置される組織標本３０の焦点位置（高さ位置）を制御しうる。制御部６２は撮像素子２０と接続され、撮像素子２０を制御し蛍光像を撮像させ、その蛍光像を受け蛍光画像を生成しうる。制御部６２はランプ４０と接続され、ランプ４０の点灯および消灯を制御しうる。記憶部６４には図２の合焦位置特定処理を実行するための蛍光画像の合焦位置特定プログラムが記憶されている。
制御装置６０には表示装置７０が接続され、表示装置７０には制御装置６０による算出結果などが表示される。
制御装置６０は制御部６２および記憶部６４を備えている。
制御部６２はステージ１２と接続され、ステージ１２の昇降を制御しステージ１２に設置される組織標本３０の焦点位置（高さ位置）を制御しうる。制御部６２は撮像素子２０と接続され、撮像素子２０を制御し蛍光像を撮像させ、その蛍光像を受け蛍光画像を生成しうる。制御部６２はランプ４０と接続され、ランプ４０の点灯および消灯を制御しうる。記憶部６４には図２の合焦位置特定処理を実行するための蛍光画像の合焦位置特定プログラムが記憶されている。
制御装置６０には表示装置７０が接続され、表示装置７０には制御装置６０による算出結果などが表示される。
［組織標本］
続いて、組織標本３０について説明する。
組織標本３０は目的生体物質を含む組織切片であって免疫染色剤で染色され、染色後の組織標本３０が蛍光顕微鏡１０のステージ１２に設置される。
続いて、組織標本３０について説明する。
組織標本３０は目的生体物質を含む組織切片であって免疫染色剤で染色され、染色後の組織標本３０が蛍光顕微鏡１０のステージ１２に設置される。
（１）目的生体物質
目的生体物質とは、主に病理診断の観点からの検出または定量のために、蛍光標識体を用いた免疫染色の対象とするものをいい、組織切片に発現している生体物質、特にタンパク質（抗原）である。
典型的な目的生体物質としては、各種の癌組織の細胞膜で発現しており、バイオマーカとして利用することができる生体物質が挙げられる。
目的生体物質とは、主に病理診断の観点からの検出または定量のために、蛍光標識体を用いた免疫染色の対象とするものをいい、組織切片に発現している生体物質、特にタンパク質（抗原）である。
典型的な目的生体物質としては、各種の癌組織の細胞膜で発現しており、バイオマーカとして利用することができる生体物質が挙げられる。
（２）免疫染色剤（抗体−蛍光ナノ粒子の結合体）
免疫染色剤としては、蛍光標識の効率を向上させて蛍光の劣化につながる時間経過をなるべく抑えるために、一次抗体および蛍光ナノ粒子が間接的に、つまり抗原抗体反応などを利用した、共有結合以外の結合によって連結される複合体を用いることが好ましい。染色操作を簡便にするため、免疫染色剤として、一次抗体または二次抗体に蛍光ナノ粒子が直結している複合体を用いることもできる。
免疫染色剤としては、蛍光標識の効率を向上させて蛍光の劣化につながる時間経過をなるべく抑えるために、一次抗体および蛍光ナノ粒子が間接的に、つまり抗原抗体反応などを利用した、共有結合以外の結合によって連結される複合体を用いることが好ましい。染色操作を簡便にするため、免疫染色剤として、一次抗体または二次抗体に蛍光ナノ粒子が直結している複合体を用いることもできる。
免疫染色剤の一例として、［目的生体物質に対する一次抗体］…［一次抗体に対する抗体（二次抗体）］〜［蛍光ナノ粒子］が挙げられる。
“…”は抗原抗体反応により結合していることを表し、“〜”が示す結合の態様としては特に限定されず、たとえば、共有結合、イオン結合、水素結合、配位結合、抗原抗体結合、ビオチンアビジン反応、物理吸着、化学吸着などが挙げられ、必要に応じてリンカー分子を介していてもよい。
“…”は抗原抗体反応により結合していることを表し、“〜”が示す結合の態様としては特に限定されず、たとえば、共有結合、イオン結合、水素結合、配位結合、抗原抗体結合、ビオチンアビジン反応、物理吸着、化学吸着などが挙げられ、必要に応じてリンカー分子を介していてもよい。
（３）抗体
一次抗体には、目的生体物質としてのタンパク質を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。たとえば、ＨＥＲ２を目的生体物質とする場合は抗ＨＥＲ２抗体を、ＨＥＲ３を目的生体物質とする場合は抗ＨＥＲ３抗体を、それぞれ用いることができる。
二次抗体には、一次抗体を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。
一次抗体および二次抗体はいずれも、ポリクローナル抗体であってもよいが、定量の安定性の観点から、モノクローナル抗体が好ましい。抗体を産生する動物（免疫動物）の種類は特に限定されるものではなく、従来と同様、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどから選択すればよい。
一次抗体には、目的生体物質としてのタンパク質を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。たとえば、ＨＥＲ２を目的生体物質とする場合は抗ＨＥＲ２抗体を、ＨＥＲ３を目的生体物質とする場合は抗ＨＥＲ３抗体を、それぞれ用いることができる。
二次抗体には、一次抗体を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。
一次抗体および二次抗体はいずれも、ポリクローナル抗体であってもよいが、定量の安定性の観点から、モノクローナル抗体が好ましい。抗体を産生する動物（免疫動物）の種類は特に限定されるものではなく、従来と同様、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどから選択すればよい。
（４）蛍光ナノ粒子
蛍光ナノ粒子とは、励起光の照射を受けて蛍光発光するナノサイズの粒子であって、目的生体物質を１分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。
蛍光ナノ粒子として、好ましくは量子ドット（半導体ナノ粒子）、蛍光物質集積ナノ粒子が使用される。
蛍光ナノ粒子とは、励起光の照射を受けて蛍光発光するナノサイズの粒子であって、目的生体物質を１分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。
蛍光ナノ粒子として、好ましくは量子ドット（半導体ナノ粒子）、蛍光物質集積ナノ粒子が使用される。
（４．１）量子ドット
量子ドットとしては、ＩＩ−ＶＩ族化合物、ＩＩＩ−Ｖ族化合物またはＩＶ族元素を含有する半導体ナノ粒子が使用される。たとえば、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅなどが挙げられる。
量子ドットとしては、ＩＩ−ＶＩ族化合物、ＩＩＩ−Ｖ族化合物またはＩＶ族元素を含有する半導体ナノ粒子が使用される。たとえば、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅなどが挙げられる。
（４．２）蛍光物質集積ナノ粒子
蛍光物質集積ナノ粒子は、有機物または無機物でできた粒子を母体とし、複数の蛍光物質（たとえば、上記量子ドット、蛍光色素など）がその中に内包されているおよび／またはその表面に吸着している構造を有する、ナノサイズの粒子である。
蛍光物質集積ナノ粒子としては、母体と蛍光物質とが、互いに反対の電荷を有する置換基または部位を有し、静電的相互作用が働くものであることが好適である。
蛍光物質集積ナノ粒子としては、量子ドット集積ナノ粒子、蛍光色素集積ナノ粒子などが使用される。
蛍光物質集積ナノ粒子は、有機物または無機物でできた粒子を母体とし、複数の蛍光物質（たとえば、上記量子ドット、蛍光色素など）がその中に内包されているおよび／またはその表面に吸着している構造を有する、ナノサイズの粒子である。
蛍光物質集積ナノ粒子としては、母体と蛍光物質とが、互いに反対の電荷を有する置換基または部位を有し、静電的相互作用が働くものであることが好適である。
蛍光物質集積ナノ粒子としては、量子ドット集積ナノ粒子、蛍光色素集積ナノ粒子などが使用される。
（４．２．１）母体
母体のうち、有機物としては、メラミン樹脂、尿素樹脂、アニリン樹脂、グアナミン樹脂、フェノール樹脂、キシレン樹脂、フラン樹脂など、一般的に熱硬化性樹脂に分類される樹脂；スチレン樹脂、アクリル樹脂、アクリロニトリル樹脂、ＡＳ樹脂（アクリロニトリル−スチレン共重合体）、ＡＳＡ樹脂（アクリロニトリル−スチレン−アクリル酸メチル共重合体）など、一般的に熱可塑性樹脂に分類される樹脂；ポリ乳酸等のその他の樹脂；多糖を例示することができる。
母体のうち、無機物としては、シリカ、ガラスなどを例示することができる。
母体のうち、有機物としては、メラミン樹脂、尿素樹脂、アニリン樹脂、グアナミン樹脂、フェノール樹脂、キシレン樹脂、フラン樹脂など、一般的に熱硬化性樹脂に分類される樹脂；スチレン樹脂、アクリル樹脂、アクリロニトリル樹脂、ＡＳ樹脂（アクリロニトリル−スチレン共重合体）、ＡＳＡ樹脂（アクリロニトリル−スチレン−アクリル酸メチル共重合体）など、一般的に熱可塑性樹脂に分類される樹脂；ポリ乳酸等のその他の樹脂；多糖を例示することができる。
母体のうち、無機物としては、シリカ、ガラスなどを例示することができる。
（４．２．２）量子ドット集積ナノ粒子
量子ドット集積ナノ粒子とは、上記量子ドットが、上記母体の中に内包されている、および／またはその表面に吸着している構造を有する。
量子ドットが母体に内包されている場合、量子ドットは母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
量子ドット集積ナノ粒子とは、上記量子ドットが、上記母体の中に内包されている、および／またはその表面に吸着している構造を有する。
量子ドットが母体に内包されている場合、量子ドットは母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
（４．２．３）蛍光色素集積ナノ粒子
蛍光色素集積ナノ粒子とは、蛍光色素が、上記母体の中に内包されている、および／またはその表面に吸着している構造を有する。
蛍光色素としては、ローダミン系色素分子、スクアリリウム系色素分子、シアニン系色素分子、芳香環系色素分子、オキサジン系色素分子、カルボピロニン系色素分子、ピロメセン系色素分子などを例示することができる。
蛍光色素としては、Ａｌｅｘａ Ｆｌｕｏｒ（登録商標、インビトロジェン社製）系色素分子、ＢＯＤＩＰＹ（登録商標、インビトロジェン社製）系色素分子、Ｃｙ（登録商標、ＧＥヘルスケア社製）系色素分子、ＨｉＬｙｔｅ（登録商標、アナスペック社製）系色素分子、ＤｙＬｉｇｈｔ（登録商標、サーモサイエンティフィック社製）系色素分子、ＡＴＴＯ（登録商標、ＡＴＴＯ−ＴＥＣ社製）系色素分子、ＭＦＰ（登録商標、Ｍｏｂｉｔｅｃ社製）系色素分子、ＣＦ（登録商標、Ｂｉｏｔｉｕｍ社製）系色素分子、ＤＹ（登録商標、ＤＹＯＭＩＣＳ社製）系色素分子、ＣＡＬ（登録商標、ＢｉｏＳｅａｒｃｈ Ｔｅｃｈｎｏｌｏｇｉｅｓ社製）系色素分子などを用いることができる。
なお、蛍光色素が母体に内包されている場合、蛍光色素は母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
蛍光色素集積ナノ粒子とは、蛍光色素が、上記母体の中に内包されている、および／またはその表面に吸着している構造を有する。
蛍光色素としては、ローダミン系色素分子、スクアリリウム系色素分子、シアニン系色素分子、芳香環系色素分子、オキサジン系色素分子、カルボピロニン系色素分子、ピロメセン系色素分子などを例示することができる。
蛍光色素としては、Ａｌｅｘａ Ｆｌｕｏｒ（登録商標、インビトロジェン社製）系色素分子、ＢＯＤＩＰＹ（登録商標、インビトロジェン社製）系色素分子、Ｃｙ（登録商標、ＧＥヘルスケア社製）系色素分子、ＨｉＬｙｔｅ（登録商標、アナスペック社製）系色素分子、ＤｙＬｉｇｈｔ（登録商標、サーモサイエンティフィック社製）系色素分子、ＡＴＴＯ（登録商標、ＡＴＴＯ−ＴＥＣ社製）系色素分子、ＭＦＰ（登録商標、Ｍｏｂｉｔｅｃ社製）系色素分子、ＣＦ（登録商標、Ｂｉｏｔｉｕｍ社製）系色素分子、ＤＹ（登録商標、ＤＹＯＭＩＣＳ社製）系色素分子、ＣＡＬ（登録商標、ＢｉｏＳｅａｒｃｈ Ｔｅｃｈｎｏｌｏｇｉｅｓ社製）系色素分子などを用いることができる。
なお、蛍光色素が母体に内包されている場合、蛍光色素は母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
（５）組織切片の染色方法
染色方法の一例について説明する。
この染色方法が適用できる組織切片（単に「切片」ともいい、病理切片などの切片も含まれる。）の作製法は特に限定されず、公知の手順により作製されたものを用いることができる。
染色方法の一例について説明する。
この染色方法が適用できる組織切片（単に「切片」ともいい、病理切片などの切片も含まれる。）の作製法は特に限定されず、公知の手順により作製されたものを用いることができる。
（５．１）標本作製工程
（５．１．１）脱パラフィン処理
キシレンを入れた容器に、切片を浸漬させ、パラフィン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また必要により浸漬途中でキシレンを交換してもよい。
（５．１．１）脱パラフィン処理
キシレンを入れた容器に、切片を浸漬させ、パラフィン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また必要により浸漬途中でキシレンを交換してもよい。
次いでエタノールを入れた容器に切片を浸漬させ、キシレン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また必要により浸漬途中でエタノールを交換してもよい。
水を入れた容器に、切片を浸漬させ、エタノール除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また必要により浸漬途中で水を交換してもよい。
（５．１．２）賦活化処理
公知の方法に倣い、目的生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍのクエン酸緩衝液（ｐＨ６．０）、１ｍＭのＥＤＴＡ溶液（ｐＨ８．０）、５％尿素、０．１Ｍのトリス塩酸緩衝液などを用いることができる。
ｐＨ条件は用いる組織切片に応じてｐＨ２．０〜１３．０の範囲から、シグナルが出て、組織の荒れがシグナルを評価できる程度となる条件で行う。通常はｐＨ６．０〜８．０で行うが、特殊な組織切片ではたとえばｐＨ３．０でも行う。
加熱機器はオートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０〜１３０℃、時間は５〜３０分で行うことができる。
公知の方法に倣い、目的生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍのクエン酸緩衝液（ｐＨ６．０）、１ｍＭのＥＤＴＡ溶液（ｐＨ８．０）、５％尿素、０．１Ｍのトリス塩酸緩衝液などを用いることができる。
ｐＨ条件は用いる組織切片に応じてｐＨ２．０〜１３．０の範囲から、シグナルが出て、組織の荒れがシグナルを評価できる程度となる条件で行う。通常はｐＨ６．０〜８．０で行うが、特殊な組織切片ではたとえばｐＨ３．０でも行う。
加熱機器はオートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０〜１３０℃、時間は５〜３０分で行うことができる。
次いでＰＢＳを入れた容器に、賦活処理後の切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また必要により浸漬途中でＰＢＳを交換してもよい。
（５．２）免疫染色工程
免疫染色工程では、目的生体物質を染色するために、目的生体物質に直接的または間接的に結合しうる部位を有する蛍光ナノ粒子を含む免疫染色剤の溶液を、切片に乗せ、目的生体物質との反応を行う。免疫染色工程に用いる免疫染色剤の溶液については、この工程の前にあらかじめ調製しておけばよい。
免疫染色工程では、目的生体物質を染色するために、目的生体物質に直接的または間接的に結合しうる部位を有する蛍光ナノ粒子を含む免疫染色剤の溶液を、切片に乗せ、目的生体物質との反応を行う。免疫染色工程に用いる免疫染色剤の溶液については、この工程の前にあらかじめ調製しておけばよい。
免疫染色工程を行う上での条件、すなわち免疫染色剤の溶液に組織標本を浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
上述したような処理を行う前に、ＢＳＡ含有ＰＢＳなど公知のブロッキング剤やＴｗｅｅｎ２０などの界面活性剤を滴下することが好ましい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
上述したような処理を行う前に、ＢＳＡ含有ＰＢＳなど公知のブロッキング剤やＴｗｅｅｎ２０などの界面活性剤を滴下することが好ましい。
（５．３）標本後処理工程
免疫染色工程を終えた組織標本は、観察に適したものとなるよう、固定化・脱水、透徹、封入などの処理を行うことが好ましい。
免疫染色工程を終えた組織標本は、観察に適したものとなるよう、固定化・脱水、透徹、封入などの処理を行うことが好ましい。
固定化・脱水処理は、組織標本を固定処理液（ホルマリン、パラホルムアルデヒド、グルタールアルデヒド、アセトン、エタノール、メタノールなどの架橋剤）に浸漬すればよい。透徹処理は、固定化・脱水処理を終えた組織標本を透徹液（キシレンなど）に浸漬すればよい。封入処理は、透徹処理を終えた組織標本を封入液に浸漬すればよい。
これらの処理を行う上での条件、たとえば組織標本を所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
これらの処理を行う上での条件、たとえば組織標本を所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
（５．４）形態観察染色工程
免疫染色工程とは別に、明視野において細胞、組織、臓器などの形態を観察することができるようにするための、形態観察染色を行ってもよい。
形態観察染色工程は、常法に従って行うことができる。
組織標本の形態観察に関しては、細胞質・間質・各種線維・赤血球・角化細胞が赤〜濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。細胞核・石灰部・軟骨組織・細菌・粘液が青藍色〜淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている（これら２つの染色を同時に行う方法はヘマトキシリン・エオジン染色（ＨＥ染色）として知られている）。
形態観察染色工程を含める場合は、免疫染色工程の後に行うようにしてもよいし、免疫染色工程の前に行うようにしてもよい。
免疫染色工程とは別に、明視野において細胞、組織、臓器などの形態を観察することができるようにするための、形態観察染色を行ってもよい。
形態観察染色工程は、常法に従って行うことができる。
組織標本の形態観察に関しては、細胞質・間質・各種線維・赤血球・角化細胞が赤〜濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。細胞核・石灰部・軟骨組織・細菌・粘液が青藍色〜淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている（これら２つの染色を同時に行う方法はヘマトキシリン・エオジン染色（ＨＥ染色）として知られている）。
形態観察染色工程を含める場合は、免疫染色工程の後に行うようにしてもよいし、免疫染色工程の前に行うようにしてもよい。
［蛍光画像の合焦位置特定方法］
続いて、蛍光画像の合焦位置特定方法について説明する。
かかる方法は、蛍光画像の合焦位置特定システム１を用いて、免疫染色後の組織標本３０から目的生体物質を検出する際に行われる方法である。
続いて、蛍光画像の合焦位置特定方法について説明する。
かかる方法は、蛍光画像の合焦位置特定システム１を用いて、免疫染色後の組織標本３０から目的生体物質を検出する際に行われる方法である。
はじめに、免疫染色後の組織標本３０を蛍光顕微鏡１０のステージ１２に設置する。その後、制御装置６０を用いて、組織標本３０から蛍光画像を生成しこれを画像処理して最適な合焦位置を特定する処理（合焦位置特定処理）を実行する。
当該合焦位置特定処理は、制御部６２と記憶部６４に記憶されているプログラムとの協働により実行され、制御部６２はそのプログラムにしたがって下記の処理を実行する。かかるプログラムとしては、たとえば「ＩｍａｇｅＪ」（オープンソース）が挙げられる。かかる画像処理ソフトウエアを利用することにより、蛍光画像から所定の波長（色）の蛍光輝点を抽出し、輝点領域の輝度値や蛍光ナノ粒子数を算出する処理などを、半自動的に迅速に行いうる。
図２に示すとおり、制御部６２は、蛍光顕微鏡１０のステージ１２を制御して、少なくとも３段階以上にわたり焦点位置を段階的に切り替えさせながら、段階を切り替えるごとに、組織標本３０の蛍光像を撮像させ、少なくとも３枚以上の蛍光画像を撮像させる（ステップＳ１）。
蛍光像を撮像させる場合、制御部６２は、ランプ４０を点灯させ励起光を組織標本３０に照射する。すると、組織標本３０の蛍光ナノ粒子が蛍光発光し、蛍光輝点が出現する。制御部６２はその蛍光像を撮像素子２０に撮像させる。
蛍光像を撮像させる場合、制御部６２は、ランプ４０を点灯させ励起光を組織標本３０に照射する。すると、組織標本３０の蛍光ナノ粒子が蛍光発光し、蛍光輝点が出現する。制御部６２はその蛍光像を撮像素子２０に撮像させる。
その後、制御部６２は、撮像素子２０の撮像結果に基づき、蛍光像から蛍光画像を生成する（ステップＳ２）。
図３は、蛍光像から生成した蛍光画像の例を示している。
ここでは、組織標本３０としてスライドガラス上に蛍光ナノ粒子（直径１５０ｎｍ程度）を散布したサンプルを準備し、そのサンプルから上記ＩｍａｇｅＪを用いて８ｂｉｔの蛍光画像を生成した。５段階にわたり焦点位置を１．０μｍずつ段階的に切り替え、段階を切り替えるごとに、蛍光像を撮像し、計５枚の蛍光画像を生成した。
図３は、蛍光像から生成した蛍光画像の例を示している。
ここでは、組織標本３０としてスライドガラス上に蛍光ナノ粒子（直径１５０ｎｍ程度）を散布したサンプルを準備し、そのサンプルから上記ＩｍａｇｅＪを用いて８ｂｉｔの蛍光画像を生成した。５段階にわたり焦点位置を１．０μｍずつ段階的に切り替え、段階を切り替えるごとに、蛍光像を撮像し、計５枚の蛍光画像を生成した。
その後、制御部６２は、生成した蛍光画像ごとに、蛍光画像からヒストグラムを作成する（ステップＳ３）。
「ヒストグラム」とは、蛍光画像中の蛍光マーカの発生頻度を表す。たとえば、ヒストグラムとしては、蛍光画像を画素ごとに観察し、ある輝度値を有する画素がどのくらいの頻度で発生しているかを表すものなどがある。
「ヒストグラム」とは、蛍光画像中の蛍光マーカの発生頻度を表す。たとえば、ヒストグラムとしては、蛍光画像を画素ごとに観察し、ある輝度値を有する画素がどのくらいの頻度で発生しているかを表すものなどがある。
図４は、図３の５枚の蛍光画像から作成したヒストグラムの例を示している。
図４中、横軸は画素単位での輝度値（階調値）を表し、縦軸はその輝度値を有する画素数（頻度）を表している。図４では蛍光ナノ粒子の発生頻度が表されている。
図４に示すとおり、３段階目の蛍光画像から作成したヒストグラムは、輝度値が全体的に高く、高輝度側にシフトした緩やかな曲線となっている。
他方、１段階目、２段階目、４段階目、５段階目の蛍光画像から作成したヒストグラムは、低輝度側の傾斜の大きい曲線となっており、特に１段階目、５段階目の蛍光画像から作成したヒストグラムでその傾向が顕著となっている。
図４中、横軸は画素単位での輝度値（階調値）を表し、縦軸はその輝度値を有する画素数（頻度）を表している。図４では蛍光ナノ粒子の発生頻度が表されている。
図４に示すとおり、３段階目の蛍光画像から作成したヒストグラムは、輝度値が全体的に高く、高輝度側にシフトした緩やかな曲線となっている。
他方、１段階目、２段階目、４段階目、５段階目の蛍光画像から作成したヒストグラムは、低輝度側の傾斜の大きい曲線となっており、特に１段階目、５段階目の蛍光画像から作成したヒストグラムでその傾向が顕著となっている。
その後、制御部６２は、作成したヒストグラムに基づき蛍光画像の合焦位置を特定する（ステップＳ４）。
たとえば、制御部６２は、作成したヒストグラムの形状を比較し、その比較結果から蛍光画像の合焦位置を特定する。
図４の例では、１〜５段階目の蛍光画像から作成したヒストグラムの形状を比較する。その結果、３段階目の蛍光画像から作成したヒストグラムが、１段階目、２段階目、４段階目、５段階目の蛍光画像から作成したヒストグラムより、輝度値が全体的に高く、曲線の傾斜も明らかに緩やかとなっている。そのため、輝度値が最も高い３段階目の蛍光画像を得た焦点位置を、蛍光画像の合焦位置と特定する。
実際に、１〜５段階目の蛍光画像を目視で観察してみても（図３参照）、３段階目の蛍光画像でピントがあっており、焦点位置が±１．０μｍ、±２．０μｍと増えるにつれてピントがぼけた画像となっていることがわかる。
なお、ステップＳ４では、制御部６２がヒストグラムの形状比較および合焦位置の特定を自動で行うのに加えてまたは代えて、制御部６２が作成したヒストグラムを表示装置７０に表示させ、オペレーター自身がヒストグラムの形状比較および合焦位置の特定を目視で行ってもよい。
たとえば、制御部６２は、作成したヒストグラムの形状を比較し、その比較結果から蛍光画像の合焦位置を特定する。
図４の例では、１〜５段階目の蛍光画像から作成したヒストグラムの形状を比較する。その結果、３段階目の蛍光画像から作成したヒストグラムが、１段階目、２段階目、４段階目、５段階目の蛍光画像から作成したヒストグラムより、輝度値が全体的に高く、曲線の傾斜も明らかに緩やかとなっている。そのため、輝度値が最も高い３段階目の蛍光画像を得た焦点位置を、蛍光画像の合焦位置と特定する。
実際に、１〜５段階目の蛍光画像を目視で観察してみても（図３参照）、３段階目の蛍光画像でピントがあっており、焦点位置が±１．０μｍ、±２．０μｍと増えるにつれてピントがぼけた画像となっていることがわかる。
なお、ステップＳ４では、制御部６２がヒストグラムの形状比較および合焦位置の特定を自動で行うのに加えてまたは代えて、制御部６２が作成したヒストグラムを表示装置７０に表示させ、オペレーター自身がヒストグラムの形状比較および合焦位置の特定を目視で行ってもよい。
そして最終的に、制御部６２は、蛍光顕微鏡１０のステージ１２を制御して、焦点位置を、ステップＳ４で特定した蛍光画像の合焦位置に移動させる。
以上の第１の実施形態によれば、焦点位置を段階的に切り替えながら蛍光画像の生成およびヒストグラムの作成を行い、ヒストグラム同士の形状を比較してその比較結果から蛍光画像の合焦位置を特定している。
かかる場合、ゴミなどのノイズの蛍光がある画素に反映されても、その画素数が数画素程度であれば、ヒストグラムはほとんど影響を受けない。仮にノイズの蛍光がある画素に強く反映されても、ヒストグラム全体の形状はほとんど変わらないため、ヒストグラム同士の形状を比較するうえでも、その比較結果にはほとんど影響がない。図４のような、蛍光マーカの発生頻度を表すヒストグラムでは、ある輝度値に対しその輝度値を有する画素数（頻度）を算出しているため、ヒストグラムはバックグラウンドのような微弱なシグナルにも影響を受けにくい。
以上から、ノイズやバックグラウンドの影響を抑制しながら、蛍光画像から合焦位置を定量的に特定することができる。
かかる場合、ゴミなどのノイズの蛍光がある画素に反映されても、その画素数が数画素程度であれば、ヒストグラムはほとんど影響を受けない。仮にノイズの蛍光がある画素に強く反映されても、ヒストグラム全体の形状はほとんど変わらないため、ヒストグラム同士の形状を比較するうえでも、その比較結果にはほとんど影響がない。図４のような、蛍光マーカの発生頻度を表すヒストグラムでは、ある輝度値に対しその輝度値を有する画素数（頻度）を算出しているため、ヒストグラムはバックグラウンドのような微弱なシグナルにも影響を受けにくい。
以上から、ノイズやバックグラウンドの影響を抑制しながら、蛍光画像から合焦位置を定量的に特定することができる。
［第２の実施形態］
第２の実施形態は下記の点で第１の実施形態と異なっており、それ以外は同様となっている。
第２の実施形態は下記の点で第１の実施形態と異なっており、それ以外は同様となっている。
ステップＳ１、Ｓ２では、第１の実施形態と同様に、制御部６２は、焦点位置を段階的に切り替えさせながら、段階を切り替えるごとに、組織標本３０の蛍光像を撮像させ蛍光画像を生成する。
図５は、蛍光像から生成した蛍光画像の例を示している。
ここでは、蛍光ナノ粒子ａとしてＣｙ５内包シリカナノ粒子を作製し、蛍光ナノ粒子ａに対して抗ＨＥＲ２抗体を結合させた免疫染色剤Ａを作製した。その後、免疫染色剤Ａを用いてヒト乳房組織の組織切片に対し免疫染色を行い、免疫染色後の組織標本を組織標本３０（サンプル）として準備し、そのサンプルから上記ＩｍａｇｅＪを用いて８ｂｉｔの蛍光画像を生成した。５段階にわたり焦点位置を１．０μｍずつ段階的に切り替え、段階を切り替えるごとに、蛍光像を撮像し、計５枚の蛍光画像を生成した。
ここでは、蛍光ナノ粒子ａとしてＣｙ５内包シリカナノ粒子を作製し、蛍光ナノ粒子ａに対して抗ＨＥＲ２抗体を結合させた免疫染色剤Ａを作製した。その後、免疫染色剤Ａを用いてヒト乳房組織の組織切片に対し免疫染色を行い、免疫染色後の組織標本を組織標本３０（サンプル）として準備し、そのサンプルから上記ＩｍａｇｅＪを用いて８ｂｉｔの蛍光画像を生成した。５段階にわたり焦点位置を１．０μｍずつ段階的に切り替え、段階を切り替えるごとに、蛍光像を撮像し、計５枚の蛍光画像を生成した。
ステップＳ３でも、第１の実施形態と同様に、制御部６２は、生成した蛍光画像ごとに、蛍光画像からヒストグラムを作成する。
図６は、図５の５枚の蛍光画像から作成したヒストグラムの例を示している。
図６中、横軸は画素単位での輝度値（階調値）を表し、縦軸はその輝度値を有する画素数（頻度）を表している。図６では蛍光ナノ粒子の発生頻度が表されている。
図６に示すとおり、２〜４段階目の蛍光画像から作成したヒストグラムは、輝度値が全体的に高く、高輝度側にシフトした緩やかな曲線となっており、ほとんど相違がない。
他方、１段階目、５段階目の蛍光画像から作成したヒストグラムは、低輝度側の傾斜の大きい曲線となっている。
図６中、横軸は画素単位での輝度値（階調値）を表し、縦軸はその輝度値を有する画素数（頻度）を表している。図６では蛍光ナノ粒子の発生頻度が表されている。
図６に示すとおり、２〜４段階目の蛍光画像から作成したヒストグラムは、輝度値が全体的に高く、高輝度側にシフトした緩やかな曲線となっており、ほとんど相違がない。
他方、１段階目、５段階目の蛍光画像から作成したヒストグラムは、低輝度側の傾斜の大きい曲線となっている。
ステップＳ４でも、基本的には第１の実施形態と同様に、制御部６２は、作成したヒストグラムに基づき蛍光画像の合焦位置を特定する。
図６の例では、１〜５段階目の蛍光画像から作成したヒストグラムの形状を比較する。その結果、２〜４段階目の蛍光画像から作成したヒストグラムが、１段階目、５段階目の蛍光画像から作成したヒストグラムより、輝度値が全体的に高く、曲線の傾斜も明らかに緩やかとなっている。ただ、２〜４段階目の蛍光画像から作成したヒストグラムは互いに交錯している。
図６の例では、１〜５段階目の蛍光画像から作成したヒストグラムの形状を比較する。その結果、２〜４段階目の蛍光画像から作成したヒストグラムが、１段階目、５段階目の蛍光画像から作成したヒストグラムより、輝度値が全体的に高く、曲線の傾斜も明らかに緩やかとなっている。ただ、２〜４段階目の蛍光画像から作成したヒストグラムは互いに交錯している。
かかる場合、第２の実施形態にかかるステップＳ４では、はじめに、制御部６２は、作成したヒストグラムを指数関数で近似して近似曲線を作成する。
図６の例では、１〜５段階目の蛍光画像から作成したヒストグラムを指数関数で近似して近似曲線１０１〜１０５を作成する。近似曲線１０１は１段階目の蛍光画像から作成したヒストグラムを指数関数で近似した近似曲線である。近似曲線１０２〜１０５は２〜５段階目の蛍光画像から作成したヒストグラムを指数関数で近似した近似曲線である。
図６の横軸の輝度値をｘと、図６の縦軸の頻度をｙとすると、近似曲線１０１〜１０５は下記の指数関数で表現される。
近似曲線１０１；ｙ＝２５７４３ｅ−０．０３２ｘ
近似曲線１０２；ｙ＝１４７９４ｅ−０．０２４ｘ
近似曲線１０３；ｙ＝１２３４３ｅ−０．０２２ｘ
近似曲線１０４；ｙ＝１３９２３ｅ−０．０２３ｘ
近似曲線１０５；ｙ＝１９８４２ｅ−０．０２８ｘ
図６の例では、１〜５段階目の蛍光画像から作成したヒストグラムを指数関数で近似して近似曲線１０１〜１０５を作成する。近似曲線１０１は１段階目の蛍光画像から作成したヒストグラムを指数関数で近似した近似曲線である。近似曲線１０２〜１０５は２〜５段階目の蛍光画像から作成したヒストグラムを指数関数で近似した近似曲線である。
図６の横軸の輝度値をｘと、図６の縦軸の頻度をｙとすると、近似曲線１０１〜１０５は下記の指数関数で表現される。
近似曲線１０１；ｙ＝２５７４３ｅ−０．０３２ｘ
近似曲線１０２；ｙ＝１４７９４ｅ−０．０２４ｘ
近似曲線１０３；ｙ＝１２３４３ｅ−０．０２２ｘ
近似曲線１０４；ｙ＝１３９２３ｅ−０．０２３ｘ
近似曲線１０５；ｙ＝１９８４２ｅ−０．０２８ｘ
その後、制御部６２は、近似曲線同士を比較して一定の近似曲線を基準曲線と特定し、基準曲線とその他の近似曲線との頻度の差を算出する。
図６の例では、近似曲線１０１〜１０５を比較して、高輝度側の傾斜が最も緩やかな近似曲線１０３を基準曲線１１０と特定する。その後、基準曲線１１０とその他の近似曲線１０１〜１０２、１０４〜１０５とを比較して頻度の差を算出する。たとえば、近似曲線１０１〜１０５について、一定の輝度（階調）ごとに、その輝度値に対応する頻度を算出する。その後、基準曲線１１０の頻度に対する近似曲線１０１〜１０２、１０４〜１０５の頻度の差を算出する。頻度の差は計算式（１）で算出される。
頻度の差[％]＝（（近似曲線の頻度ｙ）−（基準曲線の頻度ｙ））／（基準曲線の頻度ｙ）×１００ … （１）
表１は、近似曲線１０１〜１０５について、５０階調ごとに（輝度値ｘ＝５０、１００、１５０、２００、２５０の計５点で）頻度を算出したものである。
表２は、基準曲線１１０（近似曲線１０３）の頻度に対する近似曲線１０１〜０１２、１０４〜１０５の頻度の差を算出したものである。
図６の例では、近似曲線１０１〜１０５を比較して、高輝度側の傾斜が最も緩やかな近似曲線１０３を基準曲線１１０と特定する。その後、基準曲線１１０とその他の近似曲線１０１〜１０２、１０４〜１０５とを比較して頻度の差を算出する。たとえば、近似曲線１０１〜１０５について、一定の輝度（階調）ごとに、その輝度値に対応する頻度を算出する。その後、基準曲線１１０の頻度に対する近似曲線１０１〜１０２、１０４〜１０５の頻度の差を算出する。頻度の差は計算式（１）で算出される。
頻度の差[％]＝（（近似曲線の頻度ｙ）−（基準曲線の頻度ｙ））／（基準曲線の頻度ｙ）×１００ … （１）
表１は、近似曲線１０１〜１０５について、５０階調ごとに（輝度値ｘ＝５０、１００、１５０、２００、２５０の計５点で）頻度を算出したものである。
表２は、基準曲線１１０（近似曲線１０３）の頻度に対する近似曲線１０１〜０１２、１０４〜１０５の頻度の差を算出したものである。
その後、制御部６２は、算出した頻度の差が一定の閾値以内であるかどうかを判定し、基準曲線の特定元となった蛍光画像の焦点位置と、算出した頻度の差が一定の閾値以内の近似曲線の作成元となった蛍光画像の焦点位置とを、同等とみなして、これら蛍光画像の焦点位置を蛍光画像の合焦位置と特定する。
表２の例では、たとえば、基準曲線１１０の頻度に対する近似曲線１０１〜０１２、１０４〜１０５の頻度の差が３０％以内であるかどうかを判定する。
ここでは、基準曲線１１０の頻度に対する近似曲線１０１、１０５の頻度の差が３０％を超えているのに対し、基準曲線１１０の頻度に対する近似曲線１０２、１０４の頻度の差は３０％以内となっている（太枠部参照）。
そのため、基準曲線１１０（近似曲線１０３）の特定元となった蛍光画像の焦点位置と、近似曲線１０２、１０４の作成元となった蛍光画像の焦点位置とを、同等とみなして、これら蛍光画像の焦点位置を蛍光画像の合焦位置と特定する。
すなわち、図６の例では、２〜４段階目の蛍光画像から作成したヒストグラムの作成元となった２〜４段階目の蛍光画像の焦点位置を、同等とみなして蛍光画像の合焦位置と特定する。
図７は、図６中、２〜４段階目の蛍光画像から作成したヒストグラムを同等とみなしたヒストグラムであって、具体的には１段階目、３段階目、５段階目の蛍光画像から作成したヒストグラムである。
実際に、１〜５段階目の蛍光画像を目視で観察してみても（図５参照）、２〜４段階目の蛍光画像でピントがあっており、焦点位置が±２．０μｍの蛍光画像ではピントがぼけた画像となっていることがわかる。
表２の例では、たとえば、基準曲線１１０の頻度に対する近似曲線１０１〜０１２、１０４〜１０５の頻度の差が３０％以内であるかどうかを判定する。
ここでは、基準曲線１１０の頻度に対する近似曲線１０１、１０５の頻度の差が３０％を超えているのに対し、基準曲線１１０の頻度に対する近似曲線１０２、１０４の頻度の差は３０％以内となっている（太枠部参照）。
そのため、基準曲線１１０（近似曲線１０３）の特定元となった蛍光画像の焦点位置と、近似曲線１０２、１０４の作成元となった蛍光画像の焦点位置とを、同等とみなして、これら蛍光画像の焦点位置を蛍光画像の合焦位置と特定する。
すなわち、図６の例では、２〜４段階目の蛍光画像から作成したヒストグラムの作成元となった２〜４段階目の蛍光画像の焦点位置を、同等とみなして蛍光画像の合焦位置と特定する。
図７は、図６中、２〜４段階目の蛍光画像から作成したヒストグラムを同等とみなしたヒストグラムであって、具体的には１段階目、３段階目、５段階目の蛍光画像から作成したヒストグラムである。
実際に、１〜５段階目の蛍光画像を目視で観察してみても（図５参照）、２〜４段階目の蛍光画像でピントがあっており、焦点位置が±２．０μｍの蛍光画像ではピントがぼけた画像となっていることがわかる。
第２の実施形態にかかるステップＳ４では、頻度の差を算出する際（表１および表２を算出する際）、階調の変化は、５０階調ごとである必要はなく適宜変更可能であり、たとえば１０階調ごと（輝度値ｘ＝１０〜２５０の計２５点）であってもよい。
頻度の差が一定の閾値以内であるかどうかを判定する際も、閾値は、３０％である必要はなく適宜変更可能であり、たとえば２０％であってもよい。
すべての階調で頻度の差が一定の閾値以内であるかどうかを判定する必要もなく、たとえば、１０階調ごとに計２５点で頻度の差を算出した場合、そのうちの２０点以上で頻度の差が２０％以内であるかどうかを判定してもよい。
すなわち、頻度の差を算出する際の階調の変化数、頻度の差の判定の際の閾値および頻度の差の判定の際の対象点数は、特定しようとする蛍光画像の合焦位置の精度に応じて適宜変更可能である。
頻度の差が一定の閾値以内であるかどうかを判定する際も、閾値は、３０％である必要はなく適宜変更可能であり、たとえば２０％であってもよい。
すべての階調で頻度の差が一定の閾値以内であるかどうかを判定する必要もなく、たとえば、１０階調ごとに計２５点で頻度の差を算出した場合、そのうちの２０点以上で頻度の差が２０％以内であるかどうかを判定してもよい。
すなわち、頻度の差を算出する際の階調の変化数、頻度の差の判定の際の閾値および頻度の差の判定の際の対象点数は、特定しようとする蛍光画像の合焦位置の精度に応じて適宜変更可能である。
以上の第２の実施形態によれば、ヒストグラム同士の形状を比較した場合にヒストグラムが互いに交錯するときは、近似曲線の作成、基準曲線の特定および頻度の差の算出を行い、基準曲線の特定元となった蛍光画像の焦点位置と、頻度の差が一定の閾値以内の基準曲線の作成元となった蛍光画像の焦点位置とを、蛍光画像の合焦位置と特定している。
そのため、蛍光マーカが組織標本３０の表面（同一面）に存在する場合のみならず、組織内部で互いに異なる高さ位置に存在するような場合でも、蛍光画像の合焦位置をある程度の幅をもって特定することができる。
そのため、蛍光マーカが組織標本３０の表面（同一面）に存在する場合のみならず、組織内部で互いに異なる高さ位置に存在するような場合でも、蛍光画像の合焦位置をある程度の幅をもって特定することができる。
なお、第１および第２の実施形態を含む本実施形態は適宜改良されてもよい。
図８に示すとおり、組織標本３０はスライドガラス８０に載置されカバーガラス８２で被覆される。本実施形態では、少なくとも３段階以上にわたり焦点位置を段階的に切り替え、その都度蛍光像を撮像し、焦点位置の切り替え回数に応じた複数の蛍光画像を生成している。図３、図５の例では、組織標本３０の厚さ方向に沿って１．０μｍ間隔で５段階にわたり焦点位置を段階的に切り替え、その都度蛍光像を撮像し、計５枚の蛍光画像を生成している。
図８に示すとおり、組織標本３０はスライドガラス８０に載置されカバーガラス８２で被覆される。本実施形態では、少なくとも３段階以上にわたり焦点位置を段階的に切り替え、その都度蛍光像を撮像し、焦点位置の切り替え回数に応じた複数の蛍光画像を生成している。図３、図５の例では、組織標本３０の厚さ方向に沿って１．０μｍ間隔で５段階にわたり焦点位置を段階的に切り替え、その都度蛍光像を撮像し、計５枚の蛍光画像を生成している。
本実施形態では、焦点位置を、組織標本３０の厚さ方向に沿って少なくとも３段階以上にわたり切り替え、（ｉ）上記のとおり、１段階ごとにその都度蛍光像を撮像して蛍光画像を生成しヒストグラムを生成してもよいし、またはこれに代えて（ｉｉ）３段階ごとに蛍光像を撮像して蛍光画像を生成しヒストグラムを生成し、そこで合焦位置があるかないかを判定し、合焦位置がないと判断したら次の３段階で同じ処理を実行し、このような処理を３段階ごとに繰り返し実行してもよい。焦点位置を少なくとも３段階以上にわたり切り替える、すなわち少なくとも３枚以上の蛍光像を撮像するのは、蛍光画像の合焦位置を特定するのに、少なくとも３本のヒストグラムを作成し比較する必要があるからである。
本実施形態では、汎用の蛍光顕微鏡１０（図１参照）を用いて蛍光画像の合焦位置を特定している。蛍光顕微鏡１０に代えて公知のホールスライドスキャナを用いてもよい。ホールスライドスキャナによれば、組織標本３０の厚さ方向（Ｚ方向）に自動でピントを合わせるだけでなく、組織標本３０の長さおよび幅方向（Ｘ−Ｙ方向）にもステージ移動が可能であり、広範囲の蛍光画像を生成することができる。ホールスライドスキャナでも、蛍光画像の合焦位置を特定した後は、焦点位置を、その特定した蛍光画像の合焦位置に自動で移動させうる。
本実施形態では、生体サンプルとして組織切片を対象とし、蛍光マーカとして蛍光ナノ粒子を含む免疫染色剤で組織標本３０を染色し、蛍光画像の合焦位置を特定している。生体サンプルの対象は培養細胞であってもよいし、遺伝子（ＤＮＡ）でもよい。生体サンプルの対象が遺伝子である場合には蛍光マーカとして蛍光色素を用いることができる。蛍光ナノ粒子も蛍光色素も蛍光マーカの一例であり、その他の公知の蛍光マーカが使用されてもよい。
１ 蛍光画像の合焦位置特定システム
１０ 蛍光顕微鏡
１２ ステージ
１４ 対物レンズ
１６ 鏡筒
１８ 接眼レンズ
２０ 撮像素子
３０ 組織標本
４０ ランプ
５０ 蛍光キューブ
５２ 励起フィルター
５４ ダイクロイックミラー
５６ 吸収フィルター
６０ 制御装置
６２ 制御部
６４ 記憶部
７０ 表示装置
１０１〜１０５ 近似曲線
１１０ 基準曲線
１０ 蛍光顕微鏡
１２ ステージ
１４ 対物レンズ
１６ 鏡筒
１８ 接眼レンズ
２０ 撮像素子
３０ 組織標本
４０ ランプ
５０ 蛍光キューブ
５２ 励起フィルター
５４ ダイクロイックミラー
５６ 吸収フィルター
６０ 制御装置
６２ 制御部
６４ 記憶部
７０ 表示装置
１０１〜１０５ 近似曲線
１１０ 基準曲線
Claims (4)
- 少なくとも３段階以上にわたり焦点位置を段階的に切り替えながら、蛍光マーカを含む染色剤で染色した生体サンプルの蛍光像を撮像する蛍光顕微鏡と、
前記蛍光像から蛍光画像を生成する生成手段と、
前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成する作成手段と、
前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する特定手段と、
を備えることを特徴とする蛍光画像の合焦位置特定システム。 - 請求項１に記載の蛍光画像の合焦位置特定システムにおいて、
前記特定手段が、
前記ヒストグラムが互いに交錯する場合には、
前記ヒストグラムに基づき近似曲線を作成し、前記近似曲線から一定の近似曲線を基準曲線と特定し、前記基準曲線とその他の前記近似曲線との前記蛍光マーカの発生頻度の差を算出し、
前記基準曲線の特定元となった前記蛍光画像の焦点位置と、前記蛍光マーカの発生頻度の差が一定の閾値以内の前記近似曲線の作成元となった前記蛍光画像の焦点位置とを、前記蛍光画像の合焦位置と特定することを特徴とする蛍光画像の合焦位置特定システム。 - 少なくとも３段階以上にわたり焦点位置を段階的に切り替えながら、蛍光マーカを含む染色剤で染色した生体サンプルの蛍光像を撮像する工程と、
前記蛍光像から蛍光画像を生成する工程と、
前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成する工程と、
前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する工程と、
を備えることを特徴とする蛍光画像の合焦位置特定方法。 - コンピュータに、
蛍光顕微鏡を制御して、少なくとも３段階以上にわたり焦点位置を段階的に切り替えさせながら、蛍光マーカを含む染色剤で染色した生体サンプルの蛍光像を撮像させる撮像制御手段、
前記蛍光像から蛍光画像を生成する生成手段、
前記蛍光画像から前記蛍光マーカの発生頻度を表すヒストグラムを作成する作成手段、
前記ヒストグラムに基づき前記蛍光画像の合焦位置を特定する特定手段、
として機能させるための蛍光画像の合焦位置特定プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015244807A JP6578928B2 (ja) | 2015-12-16 | 2015-12-16 | 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015244807A JP6578928B2 (ja) | 2015-12-16 | 2015-12-16 | 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017110986A true JP2017110986A (ja) | 2017-06-22 |
| JP6578928B2 JP6578928B2 (ja) | 2019-09-25 |
Family
ID=59079528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015244807A Active JP6578928B2 (ja) | 2015-12-16 | 2015-12-16 | 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6578928B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019082788A1 (ja) * | 2017-10-26 | 2019-05-02 | コニカミノルタ株式会社 | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム |
| WO2022059312A1 (ja) * | 2020-09-17 | 2022-03-24 | コニカミノルタ株式会社 | 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62273432A (ja) * | 1986-05-22 | 1987-11-27 | Kurita Water Ind Ltd | 流体中の微粒子数の計数装置 |
| JPH06138119A (ja) * | 1992-04-08 | 1994-05-20 | Kagaku Gijutsucho Hoshasen Igaku Sogo Kenkyusho | 細胞自動分類・分析装置 |
| JPH10502466A (ja) * | 1994-07-01 | 1998-03-03 | ジェフレイ エイチ． プライス， | スキャニングマイクロスコピー用オートフォーカスシステム |
| US20050234656A1 (en) * | 2004-02-09 | 2005-10-20 | Schwartz David C | Automated imaging system for single molecules |
| JP2012529065A (ja) * | 2009-06-01 | 2012-11-15 | バイオ−ラッド ラボラトリーズ，インコーポレイティド | 生体試料／化学試料用画像形成デバイスの較正 |
| JP2013088296A (ja) * | 2011-10-19 | 2013-05-13 | Konica Minolta Medical & Graphic Inc | 組織評価方法 |
| JP2014098575A (ja) * | 2012-11-13 | 2014-05-29 | Sony Corp | 画像取得装置および画像取得方法 |
| WO2015002082A1 (ja) * | 2013-07-03 | 2015-01-08 | コニカミノルタ株式会社 | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 |
| WO2015093518A1 (ja) * | 2013-12-18 | 2015-06-25 | コニカミノルタ株式会社 | 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 |
| WO2015146938A1 (ja) * | 2014-03-26 | 2015-10-01 | コニカミノルタ株式会社 | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム |
| WO2015163211A1 (ja) * | 2014-04-21 | 2015-10-29 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム |
-
2015
- 2015-12-16 JP JP2015244807A patent/JP6578928B2/ja active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62273432A (ja) * | 1986-05-22 | 1987-11-27 | Kurita Water Ind Ltd | 流体中の微粒子数の計数装置 |
| JPH06138119A (ja) * | 1992-04-08 | 1994-05-20 | Kagaku Gijutsucho Hoshasen Igaku Sogo Kenkyusho | 細胞自動分類・分析装置 |
| JPH10502466A (ja) * | 1994-07-01 | 1998-03-03 | ジェフレイ エイチ． プライス， | スキャニングマイクロスコピー用オートフォーカスシステム |
| US20050234656A1 (en) * | 2004-02-09 | 2005-10-20 | Schwartz David C | Automated imaging system for single molecules |
| JP2012529065A (ja) * | 2009-06-01 | 2012-11-15 | バイオ−ラッド ラボラトリーズ，インコーポレイティド | 生体試料／化学試料用画像形成デバイスの較正 |
| JP2013088296A (ja) * | 2011-10-19 | 2013-05-13 | Konica Minolta Medical & Graphic Inc | 組織評価方法 |
| JP2014098575A (ja) * | 2012-11-13 | 2014-05-29 | Sony Corp | 画像取得装置および画像取得方法 |
| WO2015002082A1 (ja) * | 2013-07-03 | 2015-01-08 | コニカミノルタ株式会社 | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 |
| WO2015093518A1 (ja) * | 2013-12-18 | 2015-06-25 | コニカミノルタ株式会社 | 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 |
| WO2015146938A1 (ja) * | 2014-03-26 | 2015-10-01 | コニカミノルタ株式会社 | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム |
| WO2015163211A1 (ja) * | 2014-04-21 | 2015-10-29 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019082788A1 (ja) * | 2017-10-26 | 2019-05-02 | コニカミノルタ株式会社 | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム |
| JPWO2019082788A1 (ja) * | 2017-10-26 | 2020-12-17 | コニカミノルタ株式会社 | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム |
| JP7173034B2 (ja) | 2017-10-26 | 2022-11-16 | コニカミノルタ株式会社 | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム |
| WO2022059312A1 (ja) * | 2020-09-17 | 2022-03-24 | コニカミノルタ株式会社 | 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6578928B2 (ja) | 2019-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11262571B2 (en) | Determining a staining-quality parameter of a blood sample | |
| JP6687018B2 (ja) | 目的生体物質の検出方法および検出システム | |
| JP6547424B2 (ja) | 蛍光画像の合焦システム、合焦方法および合焦プログラム | |
| JP6911855B2 (ja) | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム | |
| JP7173034B2 (ja) | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム | |
| US20180275134A1 (en) | Biological Substance Quantitation Method, Pathological Diagnosis Support System, And Recording Medium Storing Computer Readable Program | |
| JP2020173204A (ja) | 画像処理システム、画像処理方法及びプログラム | |
| JP6578928B2 (ja) | 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム | |
| US20180209907A1 (en) | Target Biological Substance Analysis Method And Analysis System | |
| US11423533B2 (en) | Image processing method and image processing system | |
| JPWO2018143406A1 (ja) | 画像処理装置及びプログラム | |
| JP7160047B2 (ja) | 生体物質定量方法、画像処理装置及びプログラム | |
| JP6583011B2 (ja) | 酸性水溶液を用いた免疫染色スライドの洗浄方法 | |
| WO2020209217A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| WO2020262117A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| WO2021192910A1 (ja) | 画像生成方法、画像生成装置及びプログラム | |
| WO2021124866A1 (ja) | 画像処理方法、画像処理システム及びプログラム | |
| US11600020B2 (en) | Biological substance quantification method, image processing device, pathological diagnosis support system, and recording medium storing computer readable program | |
| WO2022059312A1 (ja) | 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム | |
| JP2023126996A (ja) | 免疫染色方法及び免疫染色組織標本の作製方法 | |
| WO2021039592A1 (ja) | 創薬支援方法、創薬支援装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190812 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6578928 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |