JP2022044688A - フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム - Google Patents

フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム Download PDF

Info

Publication number
JP2022044688A
JP2022044688A JP2022007003A JP2022007003A JP2022044688A JP 2022044688 A JP2022044688 A JP 2022044688A JP 2022007003 A JP2022007003 A JP 2022007003A JP 2022007003 A JP2022007003 A JP 2022007003A JP 2022044688 A JP2022044688 A JP 2022044688A
Authority
JP
Japan
Prior art keywords
focal position
photoluminescence
focal
images
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022007003A
Other languages
English (en)
Other versions
JP2022044688A5 (ja
JP7248833B2 (ja
Inventor
チャン マシュー
Tschann Matthew
ダブリュー. フォン ニア
W Fong Nia
マルコム ワトソン (ジュニア) ロバート
Malcolm Watson Robert Jr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Molecular Devices LLC
Original Assignee
Molecular Devices LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/886,998 external-priority patent/US9939623B2/en
Application filed by Molecular Devices LLC filed Critical Molecular Devices LLC
Priority to JP2022007003A priority Critical patent/JP7248833B2/ja
Publication of JP2022044688A publication Critical patent/JP2022044688A/ja
Publication of JP2022044688A5 publication Critical patent/JP2022044688A5/ja
Application granted granted Critical
Publication of JP7248833B2 publication Critical patent/JP7248833B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Focusing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】生物学的細胞を含むサンプルを撮像するための顕微鏡システムおよび方法を提供すること【解決手段】例示的方法では、サンプルを通って透過する光は、画像の第1のスタックを収集するための焦点位置の第1のセットに関して検出されてもよい。焦点測量の値が、画像の第1のスタックに関して計算されてもよい。候補焦点位置が、値に基づいて判定されてもよい。フォトルミネセンスが、画像の第2のスタックを収集するための焦点位置の第2のセットに関してサンプルから検出されてもよい。焦点位置の第2のセットは、焦点位置の第1のセットより小さい範囲を画定してもよい。焦点位置の第2のセットの少なくとも1つの焦点位置は、候補焦点位置に基づいてもよい。言い換えると、候補焦点位置は、好適なフォトルミネセンス焦点位置を見出すためのガイドとしての役割を果たし得る。【選択図】なし

Description

関連出願
本出願は、2015年10月19日に出願された米国出願番号第14/886,998号に基づく利益を主張しており、この仮出願の内容は、その全体が参考として本明細書中に援用される。
序論
細胞は、多くの研究および臨床用途において撮像される。例えば、細胞は、とりわけ、高スループットスクリーンリーニングにおいてエフェクタに暴露される、生理学的プロセスを研究するためのモデルシステムとしての役割を果たし得るか、または疾患診断のための臨床サンプルを構成し得る。特に着目される細胞特徴は、細胞内または細胞上に存在する局在化標的に選択的に結合する蛍光染料で染色することによって、可視化されることができる。染色された細胞は、励起光による照明および結果として生じる蛍光放射の検出によって撮像されることができる。
自動化された環境内の細胞の蛍光撮像は、特定の課題を呈する。励起光への細胞の暴露は、光漂白によって経時的に恒久的に蛍光染料を非蛍光形態に改変させ得る。故に、細胞から検出される蛍光信号は、細胞が最良の焦点を見出す試みにおいて、異なる焦点位置において撮像されるにつれて、光漂白を通って減少される。関連課題は、画像収集のための好適な暴露時間を判定することである。すなわち、染色のレベルは、暴露時間に影響を及ぼし、異なるサンプル、試薬、および/または染色手順とともに有意に変動し得る。最良の焦点位置のために利用可能な推定が存在しないとき、蛍光画像の全てが視野内で収集されるための好適な暴露時間を見出すことは困難であり得る。不注意に最良の焦点位置から離れて収集された蛍光画像は、多くの場合、最良の焦点位置により近接して収集された後続画像のための適切な暴露時間についての情報を殆ど提供しない。より優れた自動焦点化アプローチが、細胞のフォトルミネセンス撮像のために必要とされる。
要旨
本開示は、生物学的細胞を含むサンプルを撮像するための顕微鏡システムおよび方法を提供する。例示的方法では、サンプルを通って透過する光は、画像の第1のスタックを収集するための焦点位置の第1のセットに関して検出されてもよい。焦点測量の値が、画像の第1のスタックに関して計算されてもよい。候補焦点位置が、値に基づいて判定されてもよい。フォトルミネセンスが、画像の第2のスタックを収集するための焦点位置の第2のセットに関してサンプルから検出されてもよい。焦点位置の第2のセットは、焦点位置の第1のセットより小さい範囲を画定してもよい。焦点位置の第2のセットの少なくとも1つの焦点位置は、候補焦点位置に基づいてもよい。言い換えると、候補焦点位置は、好適なフォトルミネセンス焦点位置を見出すためのガイドとしての役割を果たし得る。
本発明は、例えば、以下を提供する。
(項目1)
生物学的細胞を含むサンプルを撮像する方法であって、
画像の第1のスタックを収集するために、焦点位置の第1のセットに関して前記サンプルを通って透過する光を検出するステップと、
前記画像の第1のスタックに関する焦点測量の値を計算するステップと、
前記値に基づいて、候補焦点位置を判定するステップと、
画像の第2のスタックを収集するために、焦点位置の第2のセットに関する前記サンプルからのフォトルミネセンスを検出するステップであって、前記焦点位置の第2のセットは、前記焦点位置の第1のセットより小さい範囲を画定し、前記焦点位置の第2のセットの少なくとも1つの焦点位置は、前記候補焦点位置に基づく、ステップと、
を含む、方法。
(項目2)
前記焦点位置の第2のセットは、前記焦点位置の第1のセットより小さいステップサイズを有する、項目1に記載の方法。
(項目3)
前記焦点位置の第2のセットの初期焦点位置においてのみ検出されたフォトルミネセンスに基づいて、前記画像の第2のスタックの各画像について、暴露時間を判定するステップをさらに含む、項目1に記載の方法。
(項目4)
前記サンプルのデジタル位相画像を作成するために、前記第1のスタックの少なくとも2つの画像を組み合わせるステップをさらに含み、前記第1のスタックの対の前記少なくとも2つの画像は、それぞれ、前記候補焦点位置の上方および下方にある焦点位置を表す、項目1に記載の方法。
(項目5)
画像領域を含む、複合フォトルミネセンス画像を作成するために、前記画像の第2のスタックの複数の画像を組み合わせるステップをさらに含み、前記画像領域はそれぞれ、主にまたは排他的に、前記画像領域のための最良の焦点を有する前記複数の画像のうちの1つによって提供される、項目1に記載の方法。
(項目6)
前記候補焦点位置は、前記焦点測量に関する対のピークの中間にあって、候補焦点位置を判定するステップは、(i)曲線を、前記焦点測量の値によって画定されたデータ点および前記画像の第1のスタックに関する焦点位置の第1のセットにフィッティングするステップと、(ii)前記候補焦点位置を、前記曲線から得るステップとを含む、項目1に記載の方法。
(項目7)
前記曲線は、前記焦点位置の第1のセットによって画定された範囲内の単一ピークを有し、前記候補焦点位置を判定するステップは、前記単一ピークの頂点に関する焦点位置を見出すステップを含む、項目6に記載の方法。
(項目8)
(i)前記画像の第2のスタックに関する焦点測量の値を計算するステップと、(ii)前記画像の第2のスタックに関する前記値に基づいて、前記サンプルからフォトルミネセンスを検出するための最良の焦点位置を見出すステップとをさらに含む、項目1に記載の方法。
(項目9)
前記最良の焦点位置を見出すステップは、前記焦点位置のより小さい範囲内のフォトルミネセンスコントラストに関するピークを識別するステップを含む、項目8に記載の方法。
(項目10)
前記最良の焦点位置を見出すステップは、前記焦点位置の第2のセットの焦点位置のうちの1つを前記ピークの頂点に最も近い最良の焦点位置として選択するステップを含む、項目9に記載の方法。
(項目11)
前記最良の焦点位置を見出すステップは、前記焦点位置の第2のセットの各焦点位置と異なる最良の焦点位置を選択するステップを含む、項目8に記載の方法。
(項目12)
前記焦点位置の第2のセットに関する前記サンプルからフォトルミネセンスを検出するステップは、フォトルミネセンス画像のセットを収集するために、所定の数の焦点位置からフォトルミネセンスを検出するステップと、コントラストピークが前記フォトルミネセンス画像のセットから識別可能であるかどうかを判定するステップとを含む、項目1に記載の方法。
(項目13)
前記コントラストピークが前記所定の数の焦点位置から識別可能ではない場合、コントラストピークがフォトルミネセンス画像の拡張されたセットから識別可能になるまで、1つまたはそれを上回るフォトルミネセンス画像の拡張されたセットを作成するために、1つまたはそれを上回る焦点位置を前記所定の数の焦点位置に追加するステップをさらに含む、項目12に記載の方法。
(項目14)
前記光を検出するステップ、前記値を計算するステップ、前記候補焦点位置を判定するステップは、サンプルホルダによって作成された2つまたはそれを上回る場所に関して行われ、前記2つまたはそれを上回る場所は、相互から水平に分離され、前記サンプルホルダは、前記2つまたはそれを上回る場所のそれぞれを光学軸上に設置するように移動可能なステージによって支持され、前記2つまたはそれを上回る場所を通って透過する光の検出に基づいて、前記ステージの傾斜を判定するステップをさらに含む、項目1に記載の方法。
(項目15)
前記ステージの傾斜に基づいて、前記サンプルホルダの少なくとも1つの他の場所に関する焦点位置の範囲を選択するステップをさらに含む、項目14に記載の方法。
(項目16)
前記サンプルは、ステージによって支持されるサンプルホルダによって保持され、前記ステージは、前記サンプルホルダの異なる場所を光学軸上に設置するために移動可能であって、前記ステージは、複数の基準を含み、前記基準を撮像し、前記段ステージの進行傾斜を判定するために、ステップをさらに含む、項目1に記載の方法。
(項目17)
生物学的細胞を含むサンプルを撮像する方法であって、
画像のスタックを収集するために、焦点位置のセットに関して前記サンプルを通って透過する光を検出するステップと、
前記画像のスタックに関する焦点測量の値を計算するステップと、
前記値に基づいて、候補焦点位置を判定するステップと、
前記候補焦点位置に基づいて、フォトルミネセンス焦点位置を得るステップと、
前記フォトルミネセンス焦点位置において前記サンプルのフォトルミネセンス画像を検出するステップと、
を含む、方法。
(項目18)
前記フォトルミネセンス焦点位置を得るステップは、(i)前記候補焦点位置を前記フォトルミネセンス焦点位置として割り当てるステップ、または(ii)所定のオフセットを前記候補焦点位置に適用することによって、前記フォトルミネセンス焦点位置を計算するステップを含む、項目17に記載の方法。
(項目19)
前記候補焦点位置は、前記焦点測量に関する対のピークの中間にあって、候補焦点位置を判定するステップは、(i)曲線を焦点測量の値によって画定されたデータ点および前記画像のスタックに関する前記焦点位置のセットにフィッティングするステップと、(ii)前記候補焦点位置を前記曲線から得るステップとを含む、項目17に記載の方法。
(項目20)
前記曲線は、前記焦点位置のセットによって画定された範囲内の単一ピークを有し、候補焦点位置を判定するステップは、前記単一ピークの頂点に関する焦点位置を見出すステップを含む、項目19に記載の方法。
図1Aは、本開示の側面による、フォトルミネセンス撮像のための例示的顕微鏡システムの概略図であって、システムは、徹照ベースの画像自動焦点化機構を具備し、システムは、サンプルの徹照および透過した光によって作成される画像の検出の間で示される。
図1Bは、図1Aの顕微鏡システムの別の概略図であって、システムは、図1Aと同じサンプルおよび視野の落射照明ならびにフォトルミネセンスを介して放射される光によって作成されるフォトルミネセンス画像の検出の間で示される。
図2は、本開示の側面による、システムのサンプルホルダのウェルを通って得られた図1Aおよび1Bの顕微鏡システムの断面における断片的概略図であって、ウェルは、撮像されるべき生物学的細胞を保持し、透過する光および放射される光はともに、同一視野内に示され、比較を可能にする。
図3は、図1Aおよび1Bの顕微鏡システム内の透過する光(「T」)および放射される光(「M」)に関する焦点位置の関数として焦点測量(すなわち、コントラストの測定値)をプロットする、概略グラフである
図4は、徹照ベースの自動焦点化機構の支援でサンプルのフォトルミネセンス画像を得る例示的方法のフローチャートである。
図5は、図1Aの顕微鏡システムの実施形態を用いて得られたデータを示す、グラフであって、グラフは、15マイクロメートルの焦点位置間隔(ステップ)に位置する4倍対物レンズを用いて得られた比較的に密である明視野画像のスタックに関する焦点位置の関数としてのコントラスト測定値(Vollath F4)をプロットし(点として)、一項ガウス曲線が、点にフィッティングされる。
図6は、図5におけるように得られたデータおよびフィッティング曲線を示す、グラフであるが、75マイクロメートルの焦点位置間隔(ステップ)において得られた比較的にまばらな画像のスタックである。
図7は、焦点位置の関数としてのコントラスト測定値(Vollath F4)をプロットする、グラフであって、グラフ内のデータは、20倍対物レンズを具備する図1Aおよび1Bの顕微鏡システムの実施形態を用いて得られ、グラフは、明視野画像に関するフィッティングされたガウス曲線(「T fit」)と、フォトルミネセンス画像に関する個々の点およびフィッティングされた曲線(それぞれ、「M画像」および「M fit」)とを示す。
図8は、収集されたフォトルミネセンス画像の数の関数としてフォトルミネセンスのための最良の焦点位置のオフセットをプロットする、グラフであって、グラフ内のデータは、4倍対物レンズを具備する図1Aおよび1Bの顕微鏡システムの実施形態を用いて得られた。
図9は、収集されたフォトルミネセンス画像の数の関数としてフォトルミネセンスのための最良の焦点位置のオフセットをプロットする、グラフであって、グラフ内のデータは、20倍対物レンズを具備する図1Aおよび1Bの顕微鏡システムの実施形態を用いて得られた。
図10は、図1Aの顕微鏡システムのステージの平面図であって、ステージは、複数の基準を含み、サンプルホルダを支持する。
図11は、概して、基準のうちの1つの周囲における、図10における「11」によって示される領域において得られた図10のステージおよびサンプルホルダの断片的図である。
図12は、概して、図10の線12-12に沿って得られた図10のステージおよびサンプルホルダの幾分概略的な断面図である。
詳細な説明
本開示は、生物学的細胞を含むサンプルを撮像するための顕微鏡システムおよび方法を提供する。例示的方法では、サンプルを通って透過する光は、画像の第1のスタックを収集するための焦点位置の第1のセットに関して検出されてもよい。焦点測量の値が、画像の第1のスタックに関して計算されてもよい。候補焦点位置が、値に基づいて判定されてもよい。フォトルミネセンスが、画像の第2のスタックを収集するための焦点位置の第2のセットに関してサンプルから検出されてもよい。焦点位置の第2のセットは、焦点位置の第1のセットより小さい範囲を画定してもよい。焦点位置の第2のセットの少なくとも1つの焦点位置は、候補焦点位置に基づいてもよい。言い換えると、候補焦点位置は、好適なフォトルミネセンス焦点位置を見出すためのガイドとしての役割を果たし得る。
生物学的細胞を含むサンプルを撮像する別の例示的方法も、提供される。サンプルを通って透過する光は、画像のスタックを収集するために、焦点位置のセットに関して検出されてもよい。焦点測量の値が、画像のスタックに関して計算されてもよい。候補焦点位置が、この値に基づいて判定されてもよい。フォトルミネセンス焦点位置が、この候補焦点位置に基づいて得られてもよい。サンプルのフォトルミネセンス画像が、このフォトルミネセンス焦点位置を用いて検出されてもよい。いくつかの実施形態では、フォトルミネセンス焦点位置は、候補焦点位置と同一であるか、または所定のオフセットだけ候補焦点位置に関連する。
本開示の顕微鏡システムは、自動化されたフォトルミネセンス(例えば、蛍光)撮像のための他の顕微鏡システムに優る種々の利点を有し得る。第1に、本システムは、視野に関して収集されたより少ない数のフォトルミネセンス画像に起因して、各視野をより高速に撮像することが可能であり得る。本システムはまた、徹照画像が、より短い暴露時間に起因して、フォトルミネセンス画像をより高速に収集され得るため、より高速であり得る。第2に、候補焦点位置を判定するための徹照の使用は、光学軸に沿ってより広い検索範囲を可能にし、したがって、検索範囲が最良の焦点を含まない機会を低減させる。第3に、徹照は、落射照明(フォトルミネセンス励起のため)をはるかに下回る光漂白を生成し得、したがって、フォトルミネセンスのための近似焦点が、任意の実質的光漂白が生じる前に判定されることができる。第4に、徹照を用いて判定される候補焦点位置は、フォトルミネセンスのための最良の焦点に近接し、これは、フォトルミネセンス画像のスタックの相互画像のための好適な所定の暴露時間が、初期画像がスタックに関して収集される、初期焦点位置において判定されることを可能にする。スタックの各画像について検出されるフォトルミネセンスの総強度は、各画像が最良の焦点に比較的に近接するため、あまり有意に変動しない。第5に、明視野(徹照)画像のスタックの2つまたはそれを上回る画像および/またはフォトルミネセンス画像のスタックの2つまたはそれを上回る画像は、画像処理によって相互に少なくとも部分的に組み合わせられ(また、混成とも呼ばれる)、それぞれ、デジタル位相画像および/または最良Z位置投影を生成し得る。
本開示のさらなる側面は、以下の節(I)顕微鏡撮像システムの概要、(II)自動焦点化ベースのフォトルミネセンス撮像の方法、および(III)実施例において説明される。
I. 顕微鏡撮像システムの概要
本節は、フォトルミネセンス撮像のための例示的顕微鏡システム50の概要を提供し、本システムは、徹照ベースの画像自動焦点化機構を具備する。図1A、1B、2、および3を参照されたい。
図1Aは、徹照光源56(明視野源とも呼ばれる)によって生成される透過する光54(λ)を用いたサンプル52の徹照の間の顕微鏡システム50を示す。光54は、サンプル52を通って透過され、画像検出器58によって検出される。画像検出器は、透過する光を検出することによって、サンプル52の画像を収集する。徹照によって生成される画像は、同義的に、徹照画像または明視野画像とも呼ばれる。光源56は、発光ダイオード(単数または複数)、水銀灯、レーザ、または同等物等の任意の好適な源であってもよい。
光は、本明細書で使用されるように、任意の好適な波長の光学放射を含んでもよい。故に、光は、可視照射、紫外線照射、および/または赤外線照射の任意の組み合わせであってもよい。
画像検出器58は、サンプルの画像を収集するための任意のデバイスであってもよい。例示的画像検出器は、電荷結合素子(CCD)センサ、アクティブピクセルセンサ(例えば、相補型金属酸化膜半導体(CMOS)センサ、N型金属酸化物半導体(NMOS)センサ等)、または同等物を含む。
サンプルは、平面、概して、水平平面(xy平面とも呼ばれる)に配置されてもよく、光源56および画像検出器58は、相互から平面の両側上に位置してもよい(またはそうではなくてもよい)。例えば、描写される実施形態では、光源56は、xy平面およびサンプルの上方に配置され、画像検出器58は、xy平面およびサンプルの下方に配置される。反転構成では、光源は、サンプルの下方に配置されてもよく、画像検出器は、サンプルの上方に配置されてもよい。
システム50の光学軸60は、光源56から検出器58まで延在する。光学軸は、サンプル52を通ってz-軸に沿って垂直に延在してもよい。本開示の目的のために、光学軸およびz-軸は、光学軸がその長さの全て(または任意)に沿って垂直でないかも知れない場合でも、同義的に使用されるであろう。
透過する光54は、明視野源56から照明光学62を介して、サンプル52に、サンプルから収集光学64を介して画像検出器58まで進行してもよい。照明光学62および収集光学64はそれぞれ、1つまたはそれを上回る光学要素を有してもよい。光学要素は、光を収集、指向、および/または焦点合わせし、ならびに/もしくは光を部分的に遮断する、任意のデバイスまたは構造であってもよい。光学要素は、とりわけ、光の反射、屈折、回折、および/またはフィルタ処理等、任意の好適な機構によって機能してもよい。例示的光学要素は、レンズ、ミラー、格子、プリズム、フィルタ、開口、ビームスプリッタ、透過ファイバ(光ファイバ)、または同等物を含む。
照明光学62は、明視野光源56からの光を実質的にコリメートする、レンズまたは開口等の少なくとも1つの光学要素を含んでもよい。コリメートされた光は、若干発散性または若干収束性であってもよい(またはそうではなくてもよい)(例えば、とりわけ、5、3、2、もしくは1度未満、そして/または0.5、1、もしくは2度を上回る光学軸に対して円錐角を形成するため)。光の発散または収束は、光源56から透過する光を用いて収集される明視野画像から計算される焦点測量の品質を改良し得る。
描写される実施形態では、収集光学64は、対物レンズ66と、折ミラー68と、管レンズ70とを含む。対物レンズ66は、相互に対して定位置に固定され得る、1つまたはそれを上回る光学要素から構成成されてもよい。サンプル52および対物レンズ66の相互に対する位置関係は、システムの焦点位置(焦点とも呼ばれる)を画定する。より具体的には、サンプルからz-軸(および/または光学軸)に沿った対物レンズの距離は、焦点位置を画定し、サンプルが画像平面内で焦点があっているか、または焦点外であるかどうかを判定する。焦点位置は、サンプル52、対物レンズ66、または両方を移動させることによって調節されてもよい。例示的実施形態では、焦点位置は、72における矢印を用いて示される、対物レンズを移動させることによって調節される。対物レンズは、サンプルが静止したままである間、対物レンズに動作可能に接続される駆動機構74によってz-軸に沿って移動されてもよい。他の実施形態では、駆動機構は、焦点位置が対物レンズが静止したままである間に調節されるように、サンプル52を含有する、サンプルホルダ78を支持するステージ76に動作可能に接続されてもよい。いずれの場合も、駆動機構は、デジタルプロセッサ80と通信し、それによって制御され、焦点位置の自動化された調節を可能にしてもよい。
プロセッサ80は、システム50と通信し、および/またはこのシステムのデバイスの任意の好適な組み合わせの動作を制御してもよく、システムの動作を自動化するための任意の好適なアルゴリズムを具備してもよい。プロセッサは、画像検出器58からの画像データを受信および処理してもよい。プロセッサ80はまた、84における矢印によって示される、xy平面と平行にステージ76の移動を駆動する、ステージ駆動機構82を制御してもよい。ステージ駆動機構82の制御は、システムが、とりわけ、複数のサンプル、同一サンプル内の複数の場所、および/または複数の基準の撮像を自動化することを可能にし得る。プロセッサはまた、徹照と落射照明との間、したがって、明視野画像とフォトルミネセンス画像の収集との間の切替を制御してもよい。
プロセッサ80は、コンピューティングシステムまたはコンピュータ86によって提供されてもよい。コンピュータは、ディスプレイ88と、ユーザインターフェース90と、アルゴリズムおよびデータを記憶するためのメモリと、同等物とを含んでもよい。
図1Bは、励起光源102によって生成された励起光100(λ)を用いたサンプル52の同一視野の落射照明の間の顕微鏡システム50を示す。励起光100は、サンプル内の発光団(photoluminophore)、例えば、蛍光色素を励起させ、フォトルミネセンス発色団を光輝させる、すなわち、画像検出器58によって検出される、放射される光104(λ)を発生させる。画像検出器は、放射される光104の検出によって、サンプル52のフォトルミネセンス画像を収集する。フォトルミネセンスは、蛍光、燐光、および同等物等の光の任意の光誘発放射を含む。
励起光100は、励起源102から照明光学106を介してサンプル52まで、サンプルから収集光学108を介して画像検出器58まで進行してもよい。しかしながら、図1Aの徹照構成とは対照的に、光学106および108の1つまたはそれを上回る光学要素は、励起光100および放射される光104が、サンプルの下方または上方の同一光学経路上でサンプル52へおよびそこから進行するため、相互に共有されてもよい。照明光学106は、光源に付随する光学要素109(例えば、とりわけ、開口または屈折要素)、励起フィルタ110、ビームスプリッタ112、および対物レンズ66の任意の組み合わせを含んでもよい。収集光学108は、対物レンズ66、ビームスプリッタ112、放射フィルタ114、折ミラー68、および管レンズ70の任意の組み合わせを含んでもよい。
徹照に関して上記に説明されるシステム50の他の構成要素も、使用されてもよい、またはそうではなくてもよい。例えば、明視野源56は、徹照光が検出されないように、オフにされてもよい。対物レンズ駆動機構74、ステージ駆動機構82、およびコンピュータ86は、動作状態のままである。
サンプル52は、任意の好適な材料、物質、分離株、抽出物、粒子、または同等物であってもよい。サンプルは、撮像されるべき生物学的細胞を含んでもよい。生物学的細胞は、真核性または原核性であってもよく、生存または死滅(例えば、固定される)していてもよい。例示的生物学的細胞は、確立された細胞(細胞株)、一次細胞、組織サンプルからの細胞、臨床サンプルからの細胞(例えば、血液サンプル、流体吸引物、組織断片等)、細菌細胞、または同等物を含む。細胞は、フォトルミネセンス物質(例えば、緑色蛍光タンパク質(GFP))を生成してもよく、または蛍光性物質で染色されてもよい(例えば、細胞が固定された後)。
サンプルホルダ78は、少なくとも1つのサンプルまたは空間的に隔離されたサンプルの任意のアレイを保持するための任意のデバイスであってもよい。サンプルホルダは、サンプルの生物学的細胞が、静置する、および/または付着され得る、少なくとも1つの水平の上向きに面した表面領域(場所)を有する、基板を提供してもよい。サンプルホルダは、細胞付着のための1つのみの表面領域または相互から分離される複数の表面領域もしくはコンパートメントを有してもよい。各表面領域は、コーティングを含み、細胞付着を促してもよい。コーティングは、例えば、ポリリジン、コラーゲン、または同等物であってもよい。コーティングは、とりわけ、透明プラスチックまたはガラスから形成され得る、サンプルホルダの本体上に位置してもよい。例示的サンプルホルダは、とりわけ、細胞を保持するための単一コンパートメントまたは複数の離散コンパートメントを提供する、培養皿、マルチウェルプレート(例えば、とりわけ、4、6、8、12、24、32、48、または96ウェルを有する)、およびスライドを含む。
図2は、システム50のサンプルホルダ78の一部を示す。サンプルホルダは、それぞれ異なるサンプル52(図1参照)を保持することが可能な複数のウェル120を有する、マルチウェルプレートである。ウェル120のうちの1つ内に存在する例示的サンプル52が、ここで示される。サンプルは、ウェルの床を形成する、基板124上に配置され、随意に、そこに付着される複数の生物学的細胞122を含む。細胞122は、細胞が撮像されている間、組織培養培地、水性緩衝液、水、または同等物等の液体媒体126によって被覆されたままであってもよい。細胞は、単層を形成してもよい、または相互の上にスタックされてもよい。細胞は、平坦であってもよく、またはそうではなくてもよく、染色される細胞小器官または他の細胞構造もしくは成分は、細胞内または上の任意の場所にあってもよい。多くの場合、基板は、上部が平坦ではなくてもよい(例えば、楔を有してもよい、または湾曲されてもよい)。
徹照および落射照明が、概して、相互に異なる時間において別個に行われるが、透過する光54および放射される光104は、図2ではともに示され、比較を可能にする。細胞122は、光54が細胞を通って透過すると、位相物体として作用し得る。光54の波は、細胞の特徴によって回折および位相シフトされる。位相シフトは、概して、細胞が焦点にあるとき、検出可能でないが、細胞が若干焦点外にあるとき、構成的および/または破壊的干渉を画像平面に生成し得る。本干渉は、画像が焦点に対して若干焦点外にあるとき、収集された画像のコントラストを増加させる。故に、徹照は、細胞の近似垂直中心のための最良明視野焦点が判定されることを可能にする。
放射される光104は、細胞内、細胞上、または細胞の周りに位置する、フォトルミネセンス発色団から生じ得る。例えば、描写される実施形態では、光104は、細胞122の染色された核128から放射される。最良の明視野焦点は、とりわけ、フォトルミネセンスである細胞122の一部(細胞のその部分の高さ)、透過する光54と放射される光104との間の波長の差異と関連付けられた色収差の有無、または徹照と落射照明との間の他のシステム差異に応じて、最良のフォトルミネセンス焦点と同一であってもよい、またはそうではなくてもよい。言い換えると、該当する場合、最良の明視野焦点からの最良のフォトルミネセンス焦点のオフセットが、とりわけ、サンプル、システム光学、またはそれらの組み合わせによって判定されてもよい。オフセットは、とりわけ、約20、10、または5マイクロメートルを上回らなくてもよい。
図3は、同一視野に対して図1Aおよび1Bの顕微鏡システムを用いて収集された徹照画像(「T」:transillumination)および放射される光画像(「M」
:emmited light)に関する焦点位置の関数として焦点測量をプロットする、グラフを示す。焦点測量(focus metric)は、徹照画像が徹照のための最良の焦点位置の近傍で収集されるときに減少する、コントラストの測定値であり得る。故に、徹照画像から得られた焦点測量の値は、コントラスト谷132によって分離される2つのコントラストピーク130a、130bを形成する。フォトルミネセンス画像から得られた焦点測量(随意に、同一焦点測量)の値は、谷とほぼ同一焦点位置に単一ピーク134を形成する。単一ピークの頂点および谷の天底は、図2に関して上記に説明される理由のいずれかから、相互からオフセットされる焦点位置に位置し得る。
2つのコントラストピーク130a、130bの存在は、システムのための被写界深度を効果的に2倍にする。サンプリングレートは、半分に削減され得る。すなわち、2つのピークの存在は、エイリアシングが利点となるように使用されることを可能にする。故に、広範囲の焦点位置が、比較的に小数の徹照画像のみを収集することによって、最良の焦点に関して検索されることができる。
II. 自動焦点化ベースのフォトルミネセンス撮像の方法
本節は、明視野撮像から得られた候補焦点位置に依拠する、フォトルミネセンス撮像の例示的方法を説明する。図4を参照されたい。
図4は、徹照ベースの自動焦点化機構の支援でサンプルのフォトルミネセンス画像を得る例示的方法のフローチャート150を示す。本節に説明される方法ステップは、任意の好適な組み合わせおよび順序で行われてもよく、第I節の顕微鏡システム50の任意の好適なデバイス、構成、および特徴等、本開示の任意の他の好適なステップ、構造、および特徴と組み合わせられるか、またはそれられを用いて行われてもよい。
サンプルを通って透過する光は、152に示される明視野画像のスタックを得るために検出されてもよい。光は、例えば、任意の好適な波長(単数または複数)の可視光であってもよい。サンプルを照明する光は、実質的にコヒーレント(少なくとも25%、50%、または75%コヒーレント等)であってもよく、またはそうではなくてもよく、実質的にコリメートされるが、随意に、完璧なコリメーションに対して発散性または収束性であってもよい。サンプルは、基板上に配置されるか、そして/またはそこに付着され得る、1つまたはそれを上回る生物学的細胞を含んでもよい。
明視野画像は、顕微鏡システムの対応する一連の焦点位置(例えば、z位置)において収集される画像のz-スタックを形成してもよい。焦点位置は、任意の好適な範囲に及んでもよく、隣接する焦点位置間の光学軸に沿って、任意の好適なステップ(間隔)サイズを有し、その範囲に関する任意の好適な数の画像を生成してもよい。
この範囲は、任意の好適な基準に基づいて、選択されてもよい。いくつかの実施形態では、範囲の下端は、光学軸上のサンプルホルダの底部側(および/または上部側)のz-位置を測定する、光学測定デバイスからの測定に基づいて選択されてもよい。範囲の下端としての底部側z-位置は、サンプルが光学軸上のサンプルホルダの局所厚によってサンプルホルダの底部側から上昇されるため、サンプルが範囲の下端の上方にあることを確実にする。例示的光学測定デバイスは、顕微鏡システムのレーザベースの測定デバイスである。他の実施形態では、ユーザは、使用されているサンプルホルダのタイプをコンピュータ86に通信してもよく、次いで、コンピュータは、サンプルホルダのタイプおよびその既知の幾何学形状に基づいて、範囲の下端を選択してもよい。代替として、サンプルホルダは、顕微鏡システムによって可読の印(例えば、バーコード)を含み、サンプルホルダのタイプおよびその既知の幾何学形状を自動的に判定してもよい。いくつかの実施形態では、ユーザは、範囲の下端および/または上端、ならびに/もしくは範囲内の焦点位置に関するステップサイズ、および/または範囲にわたって収集されるべき画像の数を選択してもよい。範囲は、自動的に、または手動で、選択されてもよく、収集された画像から計算される焦点測量によって生成された両コントラストピーク130a、130bの少なくとも一部または少なくとも大部分(例えば、頂点)を包含するために十分に広くてもよい(例えば、図3参照)。
例示的実施形態では、明視野画像のz-スタックは、とりわけ、7~20、8~15、または9~12の明視野画像等、少なくとも5、6、7、8、9、または10の明視野画像および/または25、20、15、または12を上回らない明視野画像から構成される。明視野画像は、範囲の他端まで(または範囲の両端まで)進行する対物レンズを用いて、範囲の一端(または範囲の端部の中間)で開始するように収集されてもよい。対物レンズは、画像が収集される前に、その範囲にわたる各選択された焦点位置において停止されてもよく、または画像が周期的に収集される間、対物レンズは、その範囲を通って持続的に進行してもよい。パルス状徹照が、画像が収集される間、対物レンズが持続的に進行する場合、使用されてもよく、画質を改良し、そして/または暴露時間(暴露持続時間とも呼ばれる)を制御してもよい。徹照のフラッシュ率は、連続画像間の所望のステップサイズを確立するための対物レンズの進行速度と併せて選択されてもよい。
例示的実施形態では、各焦点位置ステップのサイズは、少なくとも部分的に、対物レンズの拡大倍率(および/または開口数(NA))によって判定され、より大きいステップは、低倍率対物レンズに、より小さいステップは、中間倍率対物レンズに好適である。低倍率対物レンズは、例えば、とりわけ、示される拡大を提供する、2倍、4倍、10倍、または2倍~10倍対物レンズであってもよい。中間倍率対物レンズは、例えば、とりわけ、10倍、20倍、40倍、または10倍~40倍対物レンズであってもよい。ステップサイズは、対物レンズの倍率が増加されるにつれて、減少されてもよい。低倍率対物レンズに関する例示的ステップサイズは、とりわけ、少なくとも10、20、30、40、50、または60マイクロメートルもしくはそれ未満であってもよい。中間倍率対物レンズに関する例示的ステップサイズは、とりわけ、少なくとも1、2、3、4、5、7、または10マイクロメートルもしくはそれ未満であってもよい。いくつかの実施形態では、高倍率対物レンズ(40倍~100倍)が、使用されてもよい。
z-スタックの各明視野画像について焦点測量の値が、計算されてもよく、154に示される。任意の好適な焦点測量が、使用されてもよい。例示的焦点測量は、各画像内のコントラストの測定値を提供する。コントラストの測定値は、任意の好適なコントラストインジケーション、予測、および/または相関であってもよい。焦点測量を提供するための好適なアルゴリズムは、Vollath F4、Vollath F5、Tenengrad、Brenner、正規化分散、和修正ラプラシアン、ラプラシアンのエネルギー、エントロピ、ピークおよび谷の深度、および同等物である。Osibote, O.A.
et al., J Microsc. 2010 Nov;240(2):155-163 and Santos, A. et al., J Microsc. 1997 Dec;188(3):264-272(参照することによって本明細書に組み込まれる)を参照されたい。
フォトルミネセンス撮像のための候補焦点位置は、156に示される、明視野画像のz-スタックに関する焦点測量の値から判定されてもよい。候補焦点位置は、フォトルミネセンス撮像のための最良の焦点位置の近似であってもよい。(故に、いくつかの実施形態では、候補焦点位置は、公称上の最良フォトルミネセンス焦点位置として選定されてもよい)。候補焦点位置は、コントラストピーク130a、130b間、すなわち、対照的に、谷132に位置してもよい(図3参照)。候補焦点位置は、ピーク130a、130b間のほぼ、または正確に中間点であってもよい。
候補焦点位置は、曲線をz-スタックの明視野画像に関するデータ点にフィッティングすることによって得られてもよく、各データ点は、焦点位置および焦点測量の値によって画定される。曲線は、徹照を用いた2つのピークではなく、単一ピークを有してもよく、単一ピークの頂点は、概して、コントラスト谷132の天底および中間コントラストピーク130a、130bに対応する(図3参照)。曲線は、例えば、一項ガウス関数によって画定されてもよい。本アプローチを用いることで、候補焦点位置は、焦点測量が曲線に沿って最大である、焦点位置である。実施例1において以下にさらに説明されるように、候補焦点位置を見出すための一項ガウス関数の使用は、広範囲の焦点位置にわたる明視野画像のまばらなスタックのみの収集を可能にする。一項ガウス関数は、徹照のための実際の最良の焦点の左または右にバイアスされる、候補焦点位置を画定し得る。他の実施形態では、二項ガウス関数が、利用されてもよい。
フォトルミネセンス焦点位置は、候補焦点位置に基づいて得られてもよく、158において示される。フォトルミネセンス焦点位置は、随意に、任意のさらなる撮像が実施される前に、直接、候補焦点位置から得られてもよい。例えば、候補焦点位置は、同一視野(または他の視野)に関するサンプルの後続フォトルミネセンス撮像のための(公称上の)最良フォトルミネセンス焦点位置として選定されてもよい。別の実施例として、候補焦点位置は、同一視野(または他の視野)に関するサンプルの後続フォトルミネセンス撮像のための(公称上の)最良フォトルミネセンス焦点位置を生成するために、所定のオフセットによって数学的に調節されてもよい。所定のオフセットは、徹照構成と落射照明構成との間の差異を考慮する。オフセットは、とりわけ、光学差異(色収差等)および/または機械的差異を考慮する、器具オフセットを含んでもよい。オフセットはまた、または代替として、フォトルミネセンスであるサンプル構造に対して透過する光の位相シフトを生成する、サンプル構造の光学軸に沿った異なる平均位置を考慮する、サンプルオフセットを含んでもよい。
代替として、最良フォトルミネセンス焦点位置の検索は、候補焦点位置に基づいて開始されてもよい。サンプルのフォトルミネセンス撮像のためのフォトルミネセンス焦点位置のセットは、候補焦点位置に基づいて選択されてもよい。フォトルミネセンス焦点位置のセットは、候補焦点位置を精緻化することによって、最良フォトルミネセンス焦点位置を検索するために利用される。フォトルミネセンス焦点位置のセットは、候補焦点位置を包含する、焦点位置の範囲を画定してもよい。フォトルミネセンスのための焦点位置の範囲は、候補焦点位置が、概して、最良フォトルミネセンス焦点位置の非常に正確な推定値であるため、とりわけ、徹照範囲の約3/4、2/3、または1/2を上回らない等、徹照のために使用される焦点位置の範囲より有意に小さくてもよい。いくつかの実施形態では、フォトルミネセンス焦点位置の範囲は、フォトルミネセンスのための対物レンズの被写界深度を約1.5、2、3、または4倍上回らなくてもよい。フォトルミネセンス焦点位置のセットに関するステップサイズはまた、とりわけ、徹照ステップサイズの約3/4、2/3、または1/2を上回らない等、徹照に関してより有意に小さくてもよい。いくつかの実施形態では、フォトルミネセンス範囲の少なくとも一方の端部は、候補焦点位置の約10~30マイクロメートル以内であってもよい。
フォトルミネセンス焦点位置のセットは、事前判定された固定数の焦点位置、または少なくとも事前判定されるが、潜在的に、可変数の焦点位置から構成されてもよい。所定の数の焦点位置が、最良フォトルミネセンス焦点位置を見出すために十分ではない場合、1つまたはそれを上回る付加的焦点位置が、コントラストピークが識別され得るまで、セットに追加され、セットの範囲を拡張させてもよい。(例えば、所定の数の焦点位置に関する焦点位置は全て、最良フォトルミネセンス焦点位置の上方または下方であってもよい)。セットは、コントラストが増加する方向に拡張されてもよい。
サンプルのフォトルミネセンス画像(単数または複数)は、得られるフォトルミネセンス焦点位置(単数または複数)において収集されてもよく、160に示される。1つまたはそれを上回るフォトルミネセンス画像は、焦点位置が直接候補焦点位置から得られる場合、単一フォトルミネセンス焦点位置において収集されてもよい。代替として、固定または可変セットのフォトルミネセンス画像が、焦点位置の固定または可変範囲にわたって収集され、候補焦点位置を精緻化するためのフォトルミネセンス画像のz-スタックを生成してもよい。
焦点測量の値は、徹照画像に関して上記に説明されるように、フォトルミネセンススタックの各画像について計算されてもよい。しかしながら、徹照と対照的に、フォトルミネセンス画像のスタックに関する焦点測量の値は、単一ピークのみを生成し得る。単一ピークの頂点に関する焦点位置は、徹照に関して上記に説明されるように、曲線をデータ点にフィッティングする等の任意の好適なアプローチによって判定されてもよい。単一ピークの頂点における焦点位置は、フォトルミネセンスのための最良の焦点位置と見なされ得る。
さらにフォトルミネセンス画像は、サンプルの同一視野から収集されてもよく、またはそうではなくてもよい。いくつかの実施形態では、z-スタックからの1つまたはそれを上回るフォトルミネセンス画像は、コントラストピークの頂点における最良(理論的)焦点位置に十分に近接するものとして、および/または十分な品質を有するものとして選択され得、視野におけるさらなる撮像は、実施されなくてもよい。いくつかの実施形態では、最良理論的焦点位置は、フォトルミネセンス画像のz-スタックに関して試験される最も近い焦点位置と比較されてもよい。最良理論的焦点位置が、試験される最も近い焦点位置に対する閾値近接度内にない場合、顕微鏡システムは、最良フォトルミネセンス焦点位置(コントラストピークの頂点)に調節されてもよく、そして少なくとも1つの付加的フォトルミネセンス画像が収集されてもよい。
徹照画像のスタックからの2つもしくはそれを上回る画像および/またはフォトルミネセンス画像のスタックからの2つもしくはそれを上回る画像は、少なくとも部分的に、画像処理によって相互に組み合わせられ、1つまたはそれを上回る付加的画像を生成してもよい。デジタル位相画像が、随意に、ピクセル毎に、スタックの徹照画像の2つまたはそれを上回るものを組み合わせることによって作成されてもよい。左コントラストピーク130aを形成する画像は、右コントラストピーク130bを形成する対応する画像に対してコントラスト反転を呈し得る(図3参照)。故に、デジタル位相画像は、相互に対してコントラスト反転を呈する、および/または局所コントラスト最小値が画像スタックに関して生じる焦点位置(すなわち、コントラスト谷132の天底、図3参照)の上方および下方の焦点位置を表す、対の画像を含む、スタックの複数の徹照画像を組み合わせることによって作成されてもよい。画像は、例えば、複数の徹照画像に関する対応するピクセルの強度値を総和することによって組み合わせられてもよい。代替として、または加えて、複合フォトルミネセンス画像が、スタックの2つまたはそれを上回るフォトルミネセンス画像から作成されてもよい。複合画像は、2つまたはそれを上回る画像からのより高いコントラストを伴う、ピクセルのz-軸投影であってもよい。言い換えると、複合画像の各領域は、その領域内の最良コントラストを有する画像のうちのいずれの1つからのピクセルから選択的に構成されてもよい。
上記に説明される方法ステップは、サンプルホルダおよび/またはサンプルの初期視野に関する候補焦点位置ならびに最良(または公称上の最良)フォトルミネセンス焦点位置を見出すために好適である。これらの方法ステップは、少なくとも1つの候補焦点位置および/または最良フォトルミネセンス焦点位置が初期視野に関して得られた後、同一サンプルホルダまたはサンプルを用いた後続視野のために有意に修正されることができる。後続視野は、相互から流体的に隔離されるか、空間的に分離されるか、および/または離散してもよい、もしくはそうではなくてもよい、サンプルホルダを横断した異なる場所(例えば、ウェル)を表す。いくつかの実施形態では、低倍率対物レンズを用いて等、初期場所(および初期視野)に関して得られた同一候補焦点位置および/または同一最良(または公称上の最良)フォトルミネセンス焦点位置は、修正を伴わずに、同一サンプルホルダの全ての後続場所に対して使用されてもよい。代替として、候補焦点位置および/または最良フォトルミネセンス焦点位置は、1つまたはそれを上回る後続場所に関して別個に判定されてもよい。各後続場所について試験される徹照範囲は、ステージの進行傾斜に基づいて、初期場所に関する範囲に対して調節される端点を有してもよい。他の実施形態では、同一候補焦点位置が、同一サンプルホルダの全ての後続場所に対して使用されてもよいが、最良フォトルミネセンス焦点位置は、各後続場所について収集されたフォトルミネセンス画像のz-スタックから判定されてもよい。さらに他の実施形態では、候補焦点位置および/または最良フォトルミネセンス焦点位置は、サンプルホルダの着目場所のサブセットのみ(例えば、プレートの1つおきのウェル、プレートの角に最も近い4つのウェル等)に関して得られてもよく、他の候補焦点位置または最良フォトルミネセンス焦点位置は、補間および/または外挿によって判定されてもよい。
ステージの進行傾斜が、サンプルホルダの後続場所に関する徹照範囲、候補焦点位置、フォトルミネセンス範囲、および/または最良フォトルミネセンス焦点位置に適用されるべき好適なオフセットを識別するために測定されてもよい。進行傾斜を具体的実施例を用いて図示するために、96-ウェルプレート(8行×12列)は、9mmのウェル間間隔を有し得る。進行傾斜は、列と平行方向に進行するステージの72mm(8ウェル)あたり24マイクロメートルのz-軸オフセット(すなわち、ウェルの各列に沿った3マイクロメートル/ウェルのz-オフセット)および行と平行に進行するステージの108mmあたり48マイクロメートルのz-軸オフセット(すなわち、ウェルの各行に沿った4マイクロメートル/ウェルのz-オフセット)と判定され得る。故に、示されるオフセットは、試験される初期ウェルからの対応する値(単数または複数)または範囲に基づいて、プレートの他のウェルに関する徹照範囲、候補焦点位置、フォトルミネセンス範囲、および/または最良(または公称上の最良)フォトルミネセンス焦点位置に適用されてもよい。このように、プレートのウェルは、有意に高速で撮像されることができる。
基準が、ステージの進行傾斜を判定し、および/またはz-軸に沿ったサンプルの位置の推定を提供する(例えば、徹照撮像および/またはフォトルミネセンス撮像のための焦点位置の範囲の選定を促進する)ために撮像されてもよい。基準は、サンプルホルダまたはステージによって提供されてもよい。例示的基準は、実施例5に説明される。
III. 実施例
以下の実施例は、徹照ベースの自動集束化を用いた顕微鏡撮像システムと、顕微鏡撮像システムを使用する方法とに関連する、本開示の選択された側面および実施形態を説明する。これらの実施例は、例証のために含まれ、本開示の範囲全体を限定または定義することを意図するものではない。
実施例1.候補焦点位置の判定
本実施例は、2つの異なるスタック密度において得られた明視野画像のスタックのコントラスト値に基づいたフォトルミネセンス撮像のための候補焦点位置の例示的判定を説明する(図5および6参照)。
図5は、徹照構成において動作する図1Aの顕微鏡システムの実施形態を用いて得られるデータを提示する、グラフを示す。グラフは、96-ウェルプレートのウェルによって含有されるHeLa細胞から収集される画像に関する焦点位置の関数としてのコントラストの測定値(Vollath F4)(焦点測量とも呼ばれる)をプロットする。明視野画像の比較的に高密度のスタックが、15マイクロメートルの焦点位置間隔に位置する4倍対物レンズを用いて得られた。各画像は、グラフ上の点を提供する。単一ピークを有する一項ガウス関数曲線が、点が2つのコントラストピークを形成する場合でも、複数の点にフィッティングされてもよい。試験される焦点位置の範囲は、40の画像を生成するために、600マイクロメートルである。効果的被写界深度は、約100マイクロメートルである。別個に判定されたフォトルミネセンスのための最良の焦点は、約306マイクロメートルであって、これは、データ点と湾曲ラインを接続することによって概念上生成されたコントラスト谷132の天底170に近接する。谷132は、図3におけるように、対のコントラストピーク130a、130b間に位置する。ガウス曲線の単一広ピークの頂点172は、谷132の天底170から30マイクロメートル上回る、約270マイクロメートルに位置する。
図6は、図5におけるように得られるデータおよびフィッティングされた曲線を提示する、別のグラフを示すが、75マイクロメートルの焦点位置間隔で収集される明視野画像の比較的にまばらなスタックを用いる。ここでは、9つの画像のみが、収集され、これは、サンプリング不足である。それにもかかわらず、識別された候補焦点位置は、わずか5分の1の画像の収集後、図5において見出されたものの5マイクロメートル以内である。図5と6との間の候補焦点位置の差異は、徹照被写界深度の5%未満である。総誤差は、最良フォトルミネセンス焦点位置から約40マイクロメートルであって、これは、フォトルミネセンス被写界深度内であって、候補焦点位置が選定され、公称上の最良フォトルミネセンス焦点位置として使用されることを可能にする。
実施例2.候補および最良の焦点位置の判定
本実施例は、フォトルミネセンス撮像のための候補焦点位置および最良の焦点位置の例示的判定を説明し、フォトルミネセンス画像のスタックに関する焦点位置は、明視野(徹照)画像のスタックから判定された候補焦点位置に基づいて選択される(図7参照)。
図7は、焦点位置の関数としてのコントラストの測定値(Vollath F4)をプロットする、グラフを示す。グラフ内のデータは、20倍対物レンズ(0.45NA)を具備し、徹照モード後、落射照明モードで動作する、図1Aおよび1Bの顕微鏡システムの実施形態を用いて得られた。グラフは、96-ウェルプレートのウェル内に含有される細胞株(CHO、NIH3T3、PC-12、またはU2OS)のうちの1つから収集される明視野画像のコントラストに関してフィッティングされた代表的一項ガウス曲線(「T fit」)を示す。また、個々のデータ点およびフィッティングされた代表的ガウス曲線も、同一細胞株および視野から収集されたフォトルミネセンス画像のスタックに関してグラフ上に示される。矢印180、182は、明視野画像およびフォトルミネセンス画像に関するコントラスト測定値の個別の頂点をマークし、約7マイクロメートルのみ離間される。候補焦点位置は、矢印180によって、最良フォトルミネセンス焦点位置は、矢印182によって識別される。候補焦点位置は、フォトルミネセンス画像のための焦点位置のセットの選択のためのガイドとしての役割を果たした。ウェル内に含有される種々の細胞株に行われる実験の本セットに関して、10~15の画像が、各候補焦点位置を見出すために、最大7つの画像が、各最良フォトルミネセンス焦点位置を見出すために使用された。最良フォトルミネセンス焦点位置を見出すために必要とされる画像の数は、例えば、少なくとも部分的に、サンプル厚および染色された特定の細胞成分(単数または複数)等のサンプルの特性によって判定されてもよい。
実施例3.所定の数の画像を用いた最良の焦点判定
本実施例は、所定の数のフォトルミネセンス画像から低倍率対物レンズ(4倍)を用いたフォトルミネセンス撮像のための最良の焦点位置の例示的判定を説明する(図8参照)。
図8は、収集されるフォトルミネセンス画像の数の関数としてフォトルミネセンスに関する最良の焦点位置のオフセットをプロットする、グラフを示す。オフセットは、実施例1および2におけるように徹照を用いて判定された候補焦点位置に対するものである。グラフ内のデータは、4倍対物レンズを具備し、徹照および落射照明モードで別個に動作する、図1Aおよび1Bの顕微鏡システムの実施形態を用いて得られた。研究は、8つの異なる細胞株および各フォトルミネセンス画像スタックについて事前に設定された最小限の5つのフォトルミネセンス画像を用いて行われた。最良の焦点位置の一貫したオフセットは、種々の細胞株に関して観察されなかった。5つのフォトルミネセンス画像のスタックは、各例において、フォトルミネセンスのための最良の焦点位置を判定するために十分であった。
結果は、再焦点化の必要性が予期される被写界深度内で最小限であることを示す。言い換えると、徹照画像から得られた候補焦点位置は、随意に、数学的に適用されるオフセットを用いて、直接、フォトルミネセンス撮像のために使用されてもよい。再焦点化が、候補焦点位置を精緻化するために必要とされる場合、これは、5つの徹照画像のみを用いて試験される各例において達成されることができる。
実施例4.可変数の画像を用いた最良の焦点判定
本実施例は、可変数のフォトルミネセンス画像からの中間倍率対物レンズ(20倍)を用いたフォトルミネセンス撮像のための最良の焦点の例示的判定を説明する(図9参照)。
図9は、収集されるフォトルミネセンス画像の数の関数としてのフォトルミネセンスのための最良の焦点位置のオフセットをプロットする、グラフを示す。オフセットは、実施例1および2におけるように、徹照を用いて判定された候補焦点位置に対するものである。グラフ内のデータは、20倍対物レンズを具備し、徹照および落射照明モードで別個に動作する、図1Aおよび1Bの顕微鏡システムの実施形態を用いて得られた。研究は、8つの異なる細胞株および各スタック内の予め画定された最小サイズの5つのフォトルミネセンス画像を用いて行われた。付加的画像が、コントラストピークの位置が5つの画像のみを用いて識別不可能である場合、フォトルミネセンスコントラストピークが識別され得るまで、フォトルミネセンススタックに連続的に追加された。フォトルミネセンスのための最良の焦点位置は、25マイクロメートルのオフセットの範囲にわたって、1つを除いて全ての場所に関して、7つまたはより少ない画像を用いて見出された。
実施例5.z-軸サンプル位置の傾斜補償および/または推定のための基準
本実施例は、例示的基準およびその使用を説明する。基準は、各場所が光学軸上に置かれるとき、サンプルホルダ内の場所を光学軸に沿って相互からオフセットする、ステージ傾斜の補償を促進し得る。基準はまた、または代替として、撮像され、z-軸に沿ったサンプル位置を推定してもよい(図10-12参照)。
図10は、図1Aの顕微鏡システム50のステージ76を示す。ステージ76は、サンプルホルダ78を支持し、複数の光学的に検出可能基準190を含む。基準は、ステージと一体的に形成されてもよく、またはステージの本体上に静止する取り外し可能なフレームによって保持されるように、取り外し可能なであってもよい。フレームは、サンプルホルダを受容および保持するように構成されてもよい。3つまたはそれを上回る基準が、存在してもよい。描写される実施形態では、4つの基準190が、サンプルホルダの周縁の外側であるが、その近傍(例えば、サンプルホルダの4つの角の近傍)に配置される。
図11は、基準190のうちの1つの拡大図を示す。基準は、本体192と、本体の上部側(または底部側)上に形成される、パターン194とを有してもよい。パターンは、例えば、本体にエッチングされてもよく、または材料の層を本体上に堆積させることによって発生されてもよい。例示的材料は、クロムである。材料の層は、とりわけ、入射光を吸収する、反射させる、屈折させる、または散乱させること等によって、本体を通した光の透過を改変し得る。パターンは、パターンの要素が高コントラストの領域をその周縁に生成するように、本体192の上部側(または底部側)の一部のみを被覆してもよい。故に、各基準のパターンは、徹照を用いてある範囲の焦点位置にわたって撮像され、透過する光のための最良の焦点を識別し得る。基準は、ステージが傾斜を呈さないとき、z-軸上で相互に対して既知の高さを有してもよい。例えば、基準は、完璧に水平のままであるステージと同一高さにあってもよい。故に、基準に対して判定された最良徹照焦点は、傾斜の不在下において既知の高さの基準と比較され、該当する場合、ステージ進行傾斜の程度を判定することができる。
図12は、図10のステージ76およびサンプルホルダ78の断面図を示す。基準190のための最良徹照焦点は、システムの既知の垂直オフセットに基づいて、サンプルに関する最良徹照焦点位置を推定するために使用されてもよい。基準上のパターン194の高さは、基準190に関する最良徹照焦点に対応する。該当する場合、パターン194に対する棚198の垂直オフセット196も、既知であってもよい。描写される実施形態では、垂直オフセットは、実質的に存在しない。棚198上に静止するサンプルホルダ78の底部縁200は、同一垂直オフセットを有する。近傍ウェル122の底部縁200から床204までの垂直オフセット202に関する値は、サンプルホルダの製造業者から利用可能であり得る。故に、ウェルのうちの1つまたはそれを上回るものに関する候補焦点位置の大まかな推定値は、垂直オフセット196および202を、基準のうちの1つまたはそれを上回るものに関して得られる最良徹照焦点位置に適用することによって得られることができる。
他の実施形態では、ステージ傾斜は、顕微鏡システムのステージ76の下方に位置するレーザベースのデバイス等の光学測定デバイス210を用いて判定されてもよい。デバイス210は、サンプルホルダの複数の場所において、デバイス210とサンプルホルダの底部側214との間の垂直距離212を測定してもよい。異なる場所が光学軸上に置かれるときの垂直距離の変化は、ステージ進行傾斜を示す。
実施例6.選択された実施形態
本実施例は、一連の見出しがつけられた段落として本開示の選択された実施形態を説明する。
1.生物学的細胞を含むサンプルを撮像する方法であって、(A)第1の画像のスタック画像の第1のスタックを収集するために、焦点位置の第1のセットに関してサンプルを通って透過する光を検出するステップと、(B)画像の第1のスタックに関する焦点測量の値を計算するステップと、(C)値に基づいて、候補焦点位置を判定するステップと、(D)第2の画像のスタック画像の第2のスタックを収集するために、焦点位置の第2のセットに関するサンプルからのフォトルミネセンスを検出するステップであって、焦点位置の第2のセットは、焦点位置の第1のセットより小さい範囲を画定し、焦点位置の第2のセットの少なくとも1つの焦点位置は、候補焦点位置に基づく、ステップとを含む、方法。
2. 焦点位置の第2のセットは、焦点位置の第1のセットより小さいステップサイズを有する、段落1に記載の方法。
3. 焦点位置の第1のセットのステップサイズは、焦点位置の第2のセットのステップサイズより少なくとも50%大きい、段落2に記載の方法。
4. 焦点位置の第2のセットの初期焦点位置においてのみ検出されたフォトルミネセンスに基づいて、画像の第2のスタックの各画像について、暴露時間を判定するステップをさらに含む、段落1から3のいずれかに記載の方法。
5. サンプルのデジタル位相画像を作成するために、第1のスタックの少なくとも2つの画像を組み合わせるステップをさらに含み、第1のスタックの対の少なくとも2つの画像は、それぞれ、候補焦点位置の上方および下方の焦点位置を表す、段落1から4のいずれかに記載の方法。
6. 画像領域を含む、複合フォトルミネセンス画像を作成するために、画像の第2のスタックの複数の画像を組み合わせるステップをさらに含み、画像領域はそれぞれ、主にまたは排他的に、画像領域のための最良の焦点を有する複数の画像のうちの1つによって提供される、段落1から5のいずれかに記載の方法。
7. 候補焦点位置は、焦点測量に関する対のピークの中間にあって、候補焦点位置を判定するステップは、(i)曲線を、焦点測量の値によって画定されたデータ点および画像の第1のスタックに関する焦点位置の第1のセットにフィッティングするステップと、(ii)候補焦点位置を曲線から得るステップとを含む、段落1から6のいずれかに記載の方法。
8. 曲線は、焦点位置の第1のセットによって画定された範囲内の単一ピークを有し、候補焦点位置を判定するステップは、単一ピークの頂点に関する焦点位置を見出すステップを含む、段落7に記載の方法。
9. 候補焦点位置は、サンプルからフォトルミネセンスを検出するために、最良の焦点位置の約20マイクロメートル以内にある、段落1から8のいずれかに記載の方法。
10. (i)画像の第2のスタックに関する焦点測量の値を計算するステップと、(ii)画像の第2のスタックに関する値に基づいて、サンプルからフォトルミネセンスを検出するための最良の焦点位置を見出すステップとをさらに含む、段落1から9のいずれかに記載の方法。
11. 最良の焦点位置を見出すステップ後、最良の焦点位置に従って焦点を調節するステップと、焦点が調節された後、サンプルのフォトルミネセンス画像を収集するステップとをさらに含む、段落10に記載の方法。
12. 最良の焦点位置を見出すステップは、焦点位置のより小さい範囲内のフォトルミネセンスコントラストに関するピークを識別するステップを含む、段落10または11に記載の方法。
13. 最良の焦点位置を見出すステップは、焦点位置の第2のセットの焦点位置のうちの1つをピークの頂点に最も近い最良の焦点位置として選択するステップを含む、段落12に記載の方法。
14. 最良の焦点位置を見出すステップは、焦点位置の第2のセットの各焦点位置と異なる最良の焦点位置を選択するステップを含む、段落12に記載の方法。
15. 焦点位置の第2のセットに関してサンプルからフォトルミネセンスを検出するステップは、フォトルミネセンス画像のセットを収集するために、所定の数の焦点位置からフォトルミネセンスを検出するステップと、コントラストピークがフォトルミネセンス画像のセットから識別可能であるかどうかを判定するステップとを含む、段落14に記載の方法。
16. コントラストピークが所定の数の焦点位置から識別可能ではない場合、コントラストピークがフォトルミネセンス画像の拡張されたセットから識別可能になるまで、1つまたはそれを上回る拡張されたフォトルミネセンス画像のセットを作成するために、1つまたはそれを上回る焦点位置を所定の数の焦点位置に追加するステップをさらに含む、段落15に記載の方法。
17. 光を検出するステップ、値を計算するステップ、候補焦点位置を判定するステップは、サンプルホルダによって作成された2つまたはそれを上回る場所に関して行われ、2つまたはそれを上回る場所は、相互から水平に分離される、段落1から16のいずれかに記載の方法。
18. サンプルホルダは、2つまたはそれを上回る場所のそれぞれを光学軸上に置くように移動可能なステージによって支持され、2つまたはそれを上回る場所を通って透過する光の検出に基づいて、ステージの傾斜を判定するステップをさらに含む、段落17に記載の方法。
19. ステージの傾斜に基づいて、サンプルホルダの少なくとも1つの他の場所に関する焦点位置の範囲を選択するステップをさらに含む、段落18に記載の方法。
20. サンプルは、ステージによって支持されるサンプルホルダによって保持され、ステージは、サンプルホルダの異なる場所を光学軸上に置くために移動可能であって、ステージは、複数の基準を含み、段ステージの進行傾斜を判定するために、基準を撮像するステップをさらに含む、段落1から19のいずれかに記載の方法。
21.生物学的細胞を含むサンプルを撮像する方法であって、(A)画像のスタックを収集するために、焦点位置のセットに関してサンプルを通って透過する光を検出するステップと、(B)画像のスタックに関する焦点測量の値を計算するステップと、(C)値に基づいて、候補焦点位置を判定するステップと、(D)候補焦点位置に基づいて、フォトルミネセンス焦点位置を得るステップと、(E)フォトルミネセンス焦点位置においてサンプルのフォトルミネセンス画像を検出するステップとを含む、方法。
22. フォトルミネセンス焦点位置を得るステップは、(i)候補焦点位置をフォトルミネセンス焦点位置として割り当てるステップ、または(ii)所定のオフセットを候補焦点位置に適用することによって、フォトルミネセンス焦点位置を計算するステップを含む、段落21に記載の方法。
23. 候補焦点位置は、焦点測量に関する対のピークの中間にあって、候補焦点位置を判定するステップは、(i)曲線を、焦点測量の値によって画定されたデータ点および画像のスタックに関する焦点位置のセットにフィッティングするステップと、(ii)候補焦点位置を曲線から得るステップとを含む、段落21に記載の方法。
24. 曲線は、焦点位置のセットによって画定された範囲内の単一ピークを有し、候補焦点位置を判定するステップは、単一ピークの頂点に関する焦点位置を見出すステップを含む、段落23に記載の方法。
25. 焦点位置のセットは、焦点位置の第1のセットであって、画像のスタックは、画像の第1のスタックであって、フォトルミネセンス焦点位置を得るステップは、第2の画像のスタック画像の第2のスタックを収集するために、焦点位置の第2のセットに関するサンプルからのフォトルミネセンスを検出するステップを含み、焦点位置の第2のセットの少なくとも1つの焦点位置は、候補焦点位置に基づく、段落21から24のいずれかに記載の方法。
上記に記載される本開示は、独立有用性を伴って、複数の明確に異なる発明を包含し得る。これらの発明はそれぞれ、その好ましい形態(単数または複数)で開示されているが、本明細書に開示および図示されるようなその具体的実施形態は、多数の変形例が可能性として考えられるため、限定的意味と見なされるべきではない。本発明の主題は、本明細書に開示される種々の要素、特徴、機能、および/または性質の全ての新規および自明でない組み合わせならびに副次的組み合わせを含む。以下の請求項は、特に、新規および自明でないと見なされる、ある組み合わせおよび副次的組み合わせを指摘する。特徴、機能、要素、および/または性質の他の組み合わせならびに副次的組み合わせにおいて具現化される発明も、本願または関連出願から優先権を主張する出願において請求され得る。そのような請求は、異なる発明または同一発明を対象とするかどうか、および範囲がオリジナル請求項より広義、より狭義、それと等しい、または異なるかどうかにかかわらず、また、本開示の発明の主題内に含まれると見なされる。さらに、識別された要素のための第1、第2、または第3等の序数標識は、要素間を区別するために使用され、具体的に別様に述べられない限り、そのような要素の特定の位置または順序を示すものではない。

Claims (1)

  1. 本明細書に記載の発明。
JP2022007003A 2015-10-19 2022-01-20 フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム Active JP7248833B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022007003A JP7248833B2 (ja) 2015-10-19 2022-01-20 フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/886,998 US9939623B2 (en) 2015-10-19 2015-10-19 Microscope system with transillumination-based autofocusing for photoluminescence imaging
JP2018519864A JP7055098B2 (ja) 2015-10-19 2016-10-20 フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム
PCT/US2016/057962 WO2017070380A1 (en) 2015-10-19 2016-10-20 Microscope system with transillumination-based autofocusing for photoluminescence imaging
JP2022007003A JP7248833B2 (ja) 2015-10-19 2022-01-20 フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018519864A Division JP7055098B2 (ja) 2015-10-19 2016-10-20 フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム

Publications (3)

Publication Number Publication Date
JP2022044688A true JP2022044688A (ja) 2022-03-17
JP2022044688A5 JP2022044688A5 (ja) 2022-05-19
JP7248833B2 JP7248833B2 (ja) 2023-03-29

Family

ID=87767330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022007003A Active JP7248833B2 (ja) 2015-10-19 2022-01-20 フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム

Country Status (1)

Country Link
JP (1) JP7248833B2 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224132A (ja) * 1992-02-17 1993-09-03 Olympus Optical Co Ltd 顕微鏡写真撮影装置
JPH09304703A (ja) * 1996-05-16 1997-11-28 Olympus Optical Co Ltd フォーカシング装置
JP2004070039A (ja) * 2002-08-07 2004-03-04 Matsushita Electric Ind Co Ltd 生体試料の観察装置および観察方法
JP2005128493A (ja) * 2003-09-29 2005-05-19 Olympus Corp 顕微鏡システム
JP2005195940A (ja) * 2004-01-08 2005-07-21 Olympus Corp 蛍光顕微鏡
JP2007155982A (ja) * 2005-12-02 2007-06-21 Kawasaki Heavy Ind Ltd 位相物体検出装置及び位相物体検出方法
JP2008020498A (ja) * 2006-07-10 2008-01-31 Olympus Corp 自動焦点検出装置
JP2009259983A (ja) * 2008-04-15 2009-11-05 Juki Corp 自動焦点調整方法
JP2013020212A (ja) * 2011-07-14 2013-01-31 Canon Inc 画像処理装置、撮像システム、画像処理システム
JP2014507685A (ja) * 2011-02-01 2014-03-27 コンスティテューション・メディカル・インコーポレイテッド 顕微鏡撮像における高速自動焦点合わせ
JP2016051168A (ja) * 2014-08-29 2016-04-11 キヤノン株式会社 画像取得装置およびその制御方法
JP2016071588A (ja) * 2014-09-30 2016-05-09 株式会社Screenホールディングス 画像処理方法および画像処理装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224132A (ja) * 1992-02-17 1993-09-03 Olympus Optical Co Ltd 顕微鏡写真撮影装置
JPH09304703A (ja) * 1996-05-16 1997-11-28 Olympus Optical Co Ltd フォーカシング装置
JP2004070039A (ja) * 2002-08-07 2004-03-04 Matsushita Electric Ind Co Ltd 生体試料の観察装置および観察方法
JP2005128493A (ja) * 2003-09-29 2005-05-19 Olympus Corp 顕微鏡システム
JP2005195940A (ja) * 2004-01-08 2005-07-21 Olympus Corp 蛍光顕微鏡
JP2007155982A (ja) * 2005-12-02 2007-06-21 Kawasaki Heavy Ind Ltd 位相物体検出装置及び位相物体検出方法
JP2008020498A (ja) * 2006-07-10 2008-01-31 Olympus Corp 自動焦点検出装置
JP2009259983A (ja) * 2008-04-15 2009-11-05 Juki Corp 自動焦点調整方法
JP2014507685A (ja) * 2011-02-01 2014-03-27 コンスティテューション・メディカル・インコーポレイテッド 顕微鏡撮像における高速自動焦点合わせ
JP2013020212A (ja) * 2011-07-14 2013-01-31 Canon Inc 画像処理装置、撮像システム、画像処理システム
JP2016051168A (ja) * 2014-08-29 2016-04-11 キヤノン株式会社 画像取得装置およびその制御方法
JP2016071588A (ja) * 2014-09-30 2016-05-09 株式会社Screenホールディングス 画像処理方法および画像処理装置

Also Published As

Publication number Publication date
JP7248833B2 (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
JP7055098B2 (ja) フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム
US7109459B2 (en) Auto-focusing method and device for use with optical microscopy
US9829691B2 (en) Microscope with at least one illuminating beam in the form of a light sheet
ES2860715T3 (es) Procedimiento para el enfoque automático de sustratos en la microscopía de fluorescencia
KR20200041982A (ko) 실시간 오토포커스 스캐닝
JP6649379B2 (ja) 生物学的粒子の位置の決定を含む分析方法
CN105556280A (zh) 用于3d多尺度显微术的具有集成微镜的微构造表面
CA2758326A1 (en) System and method for enhanced predictive autofocusing
JP6241858B2 (ja) 共焦点顕微鏡
JP2018512609A (ja) 顕微鏡を基体上に自動的に合焦するための方法、システム、及び装置
JP7549691B2 (ja) コントラストを増進し、かつ焦点を見出すための干渉縞の使用を伴う透過照明撮像
US10401605B2 (en) Structured illumination in inverted light sheet microscopy
US11029486B2 (en) Microscope and observation method
US20150355446A1 (en) Method for the microscope imaging of samples adhering to bottoms of fluid filled wells of a microtiter plate
US20140022373A1 (en) Correlative drift correction
JP7248833B2 (ja) フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム
JP2012212018A (ja) 焦点維持装置及び顕微鏡装置
AU2020366521B2 (en) Virtual fiducials
Macháň Introduction to Fluorescence Microscopy
JP2009186508A (ja) 光学顕微鏡の長焦点深度観察方法と光学顕微鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230316

R150 Certificate of patent or registration of utility model

Ref document number: 7248833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150