JP2020535477A - リアルタイムの自動焦点調節走査 - Google Patents

リアルタイムの自動焦点調節走査 Download PDF

Info

Publication number
JP2020535477A
JP2020535477A JP2020517496A JP2020517496A JP2020535477A JP 2020535477 A JP2020535477 A JP 2020535477A JP 2020517496 A JP2020517496 A JP 2020517496A JP 2020517496 A JP2020517496 A JP 2020517496A JP 2020535477 A JP2020535477 A JP 2020535477A
Authority
JP
Japan
Prior art keywords
sample
value
true
objective lens
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020517496A
Other languages
English (en)
Other versions
JP6899963B2 (ja
Inventor
チェン レン−チュン
チェン レン−チュン
オルソン アレン
オルソン アレン
ゾウ ユンルー
ゾウ ユンルー
ナジマバディ ペイマン
ナジマバディ ペイマン
クランダル グレッグ
クランダル グレッグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2020535477A publication Critical patent/JP2020535477A/ja
Application granted granted Critical
Publication of JP6899963B2 publication Critical patent/JP6899963B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/711Time delay and integration [TDI] registers; TDI shift registers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

リアルタイムの自動焦点調節。一実施形態では、走査装置は、撮像センサと、焦点調節センサと、対物レンズと、撮像センサおよび焦点調節センサによってキャプチャされた画像データを分析しかつ対物レンズを移動させるように構成されているプロセッサ(複数可)とを含む。試料の走査中のリアルタイムの自動焦点調節は、試料上の点に対するかつ試料上の複数の領域の各々に対する対物レンズにおける真−Z値を判定することによって達成される。真−Z値および/またはそれから計算される面を用いて、試料の未走査の領域に対する予測−Z値を判定する。対物レンズは、未走査の領域の開始時に、予測−Z値に調整される。領域の走査後、真−Z値が領域に対して判定され、予測−Z値と比較される。比較が所定の閾値を超える場合、領域の再走査が開始される。

Description

関連出願の相互参照
本出願は、2017年9月29日に出願された米国仮特許出願第62/566,155号の優先権を主張し、この特許出願は、あたかも全体が記載されるかのように、参照により本明細書に組み込まれる。
本出願は、2016年9月23日に出願されかつ国際特許公開第WO/2017/053891号として公開された国際特許出願第PCT/US2016/053581号に関連し、この特許出願は、あたかも全体が記載されるかのように、参照により本明細書に組み込まれる。
本開示は、一般に、デジタルパソロジーに関し、より詳細には、デジタルスライド走査装置のリアルタイムの自動焦点調節に関する。
デジタルパソロジーは、物理スライドから生成された情報の管理を可能とするコンピュータ技術によって可能となる画像ベースの情報環境である。デジタルパソロジーは、仮想顕微鏡によって部分的に可能となり、それは、物理スライドガラス上の検体を走査し、コンピュータモニタ上で格納、観察、管理、かつ分析することができるデジタルスライド画像を生成するものである。スライドガラス全体を撮像する能力により、デジタルパソロジーの分野は爆発的に広がり、かつ、現在のところ、がんといった重大な疾病のより良い、より速い、かつより安い診察、予後、および予測でさえも達成するための診断医学の最も有望な手段の1つとして見なされている。
デジタルパソロジー業界の主目的は、走査時間の短縮である。走査時間の短縮は、実際の走査中にリアルタイムの焦点調節に切り替えることによって達成することができる。実際の走査中のリアルタイムの焦点調節を用いて高品質の焦点調節された画像データを得るために、走査デバイスは、対物レンズに対する次のZ値(例えば、対物レンズと検体の距離)を判定することが可能ではなくてはならない。したがって、上述の従来システムで見いだされたこれらの重要な問題を打開するシステムおよび方法が必要とされる。
一実施形態では、走査装置は、撮像センサと、焦点調節センサと、撮像センサおよび焦点調節センサによってキャプチャされた画像データを分析するように構成されているプロセッサとを含む。焦点調節センサの個々のピクセルの光学経路に沿う位置は、キャプチャされる画像データのラインそれぞれによって異なり、撮像センサの個々のピクセルの光学経路に沿う位置は、キャプチャされる画像データの各ラインに対してすべて同じである。
まず、プロセッサは、対物レンズと試料の相対的な距離を変えることによって、試料上のマクロフォーカス点を選択し、かつ、複数の像面においてマクロフォーカス点を含む単一の視野を走査し得る。このことは、対物レンズを光学経路において上下に移動させることによって達成することができる。各像面における画像データは分析されて、最も高いコントラストを有する像面を判定する。撮像センサのピクセルを最も高いコントラストの像面に配置する対物レンズの位置は、「真―Z」と称され、かつ、試料から対物レンズの距離(例えば、対物レンズの高さ)とも称され得、この距離は、光学経路に沿う対物レンズの可能な位置の範囲に関係する。マクロフォーカス点に対する真−Z値が判定された後、試料の面の最大距離が判定され、一連の領域が、試料の最大距離に及ぶラインに沿って走査される。
一連の領域における各領域は、試料全体にわたって撮像センサおよび焦点調節センサの視野の隣接するセットであることが好ましい。一実施形態では、視野の隣接するセットは、1000個の視野を含み得、個々の視野は、単一の走査ラインを表し、視野のセットは、「バッファ」と称される。「バッファ」という用語は、いずれかの具体的な数の走査ラインまたはいずれかの具体的な物理メモリセグメントに関連しないので、バッファのサイズは、例えば走査装置の物理メモリセグメントまたは速度に従って変わり得る。この速度は、ステージの速度によってまたは画像データのキャプチャ速度によって規定され得るものである。
一実施形態では、複数の参照バッファが、試料の最大距離を表すラインに沿って走査され、各参照バッファに対して、真−Z値が、参照バッファの全走査ラインにおけるピクセルごとに焦点調節センサからのコントラスト値と撮像センサからのコントラスト値の比を計算して、参照バッファに対する平均コントラスト比のベクトルを判定することによって、判定される。平均コントラスト比のベクトルは、参照バッファにおけるピクセル列ごとの平均コントラスト比の値を含む。次いで、平均コントラスト比のベクトルは分析されて、全ピクセル列にわたる単一のピークコントラスト比の値を判定し、単一のピークコントラスト比の値に対応するピクセルの場所が、参照バッファに対する真−Z値に変換される。
一実施形態では、マクロフォーカス点および複数の参照バッファに対する真−Z値が判定された後、撮像走査は、試料の一縁において第1のストライプで開始する。第1のストライプは、走査のために複数の画像バッファに分離される。第1のストライプの各画像バッファを走査するとき、マクロフォーカス点、複数の参照バッファ、および画像バッファのうち最も近い真−Z値(試料のX−Y距離における)が用いられる。さらに、プロセッサは、マクロフォーカス点および参照バッファに対する真−Z値ならびに各画像バッファを走査した後画像バッファごとに計算される真−Z値を用いて、グローバル試料面の計算を開始する。さらなるストライプが走査されるにつれて、画像バッファごとの真−Z値が上記のように判定され、グローバル面を最適化するために用いられる。
グローバル面に加えて、1つまたは複数のローカル試料面も、近くの画像バッファおよび参照バッファからの真−Z値を用いて計算される。一実施形態では、ローカル面は、走査される次の画像バッファを囲んで2ミリメートルのL字状領域内にある近くのバッファからの真−Z値を含むと限定される。次の画像バッファを走査するとき、ローカル面(利用可能な場合)を用いて、当該次の画像バッファの走査の開始時に対物レンズが位置する予測−Z値を判定する。一実施形態では、ローカル面の傾斜、マクロフォーカス点、複数の参照バッファ、画像バッファの中で最も近い真−Z値、および次の画像バッファの開始までの距離(例えば、1000のライン=0.25ミリメートル)を用いて、次の画像バッファに対する予測−Z値を判定する。次の画像バッファの第1の走査ラインが走査されるときに対物レンズが予測−Z値にあるように、対物レンズは、予測−Z値に移動される。各画像バッファが走査された後、それぞれのバッファに対する真−Z値が判定され、走査に用いられた予測−Z値は真−Z値と比較される。一実施形態では、真−Z値と予測−Z値の差の絶対値が0.9マイクロンより大きい場合、プロセッサにより、少なくともそれぞれの画像バッファは、再ストライプ論理を適用することにより再走査される。代替として、ストライプ全体またはそれぞれの画像バッファを囲む複数の画像バッファが再走査され得る。
一実施形態では、対物レンズの光学経路に配置された焦点センサおよび撮像センサと、試料上のマクロフォーカス点を選択することであって、マクロフォーカス点は試料の縁の所定範囲内かつ試料の最大長さの所定範囲内にある、選択することと、対物レンズの複数の高さ位置に対応する複数の像面においてマクロフォーカス点を含む画像データの単一の視野を走査することと、複数の像面の各々に対するコントラスト値を判定することと、最も高いコントラスト値を有する像面に対応する第1の真−Z値(Z1)を特定することと、試料の最大長さに沿う画像データの複数のバッファを走査することであって、画像データの各バッファは複数の走査ラインを備え、各走査ラインは各バッファが複数の走査ラインの数と等しいピクセル行数と複数のピクセルの数と等しいピクセル列数とを備えるように複数のピクセルを備える、走査することと、選択されたバッファにおいてピクセルごとにコントラスト比の値を判定し、選択されたバッファにおいてピクセルの列ごとに平均コントラスト比の値を判定し、かつ、選択されたバッファに対するコントラスト比の値を、選択されたバッファにおけるピクセルの列ごとの平均コントラスト比の値に基づいて判定することによって、バッファごとのコントラスト比の値を判定することと、バッファごとの各コントラスト比の値に対応する複数のさらなる真−Z値(Z2〜Zn)を特定することと、真−Z値(Z1〜Zn)を、マクロフォーカス点を含むそれぞれのバッファまたは視野に対する対応するX−Yの場所情報とともに格納することと、画像走査される試料の次の部分のX−Yの場所を判定することと、最も近い真−Z値を、判定されたX−Yの場所と格納されたX−Yの場所の比較に基づいて特定することと、最も近い真−Z値に対応する像面が、画像走査される試料の次の部分の開始位置に達するように、対物レンズの高さ位置を調整することによって、試料の走査中に、対物レンズの高さを調整するように構成されているプロセッサとを備えるデジタル走査装置が開示される。プロセスは、さらに、真−Z値において最近走査された試料の第1の部分に対して、ポストZ値を判定し、試料の第1の部分に対するポストZ値を、試料の第1の部分が走査された真−Z値と比較し、ポストZ値と真−Z値の差が所定値より大きい場合、試料の第1の部分の再走査を開始するように構成され得る。
一実施形態では、試料上のマクロフォーカス点を選択することであって、マクロフォーカス点は試料の縁の所定範囲内かつ試料の最大長さの所定範囲内にある、選択することと、対物レンズの複数の高さ位置に対応する複数の像面においてマクロフォーカス点を含む画像データの単一の視野を走査することと、複数の像面の各々に対するコントラスト値を判定することと、最も高いコントラスト値を有する像面に対応する第1の真−Z値(Z1)を特定することと、試料の最大長さに沿う画像データの複数のバッファを走査することであって、画像データの各バッファは複数の走査ラインを備え、各走査ラインは各バッファが複数の走査ラインの数と等しいピクセル行数と複数のピクセルの数と等しいピクセル列数とを備えるように複数のピクセルを備える、走査することと、選択されたバッファにおいてピクセルごとにコントラスト比の値を判定し、選択されたバッファにおいてピクセルの列ごとに平均コントラスト比の値を判定し、かつ、選択されたバッファに対するコントラスト比の値を、選択されたバッファにおけるピクセルの列ごとの平均コントラスト比の値に基づいて判定することによって、バッファごとのコントラスト比の値を判定することと、バッファごとの各コントラスト比の値に対応する複数のさらなる真−Z値(Z2〜Zn)を特定することと、真−Z値(Z1〜Zn)を、マクロフォーカス点を含むそれぞれのバッファまたは視野に対する対応するX−Yの場所情報とともに格納することと、画像走査される試料の次の部分のX−Yの場所を判定することと、最も近い真−Z値を、判定されたX−Yの場所と格納されたX−Yの場所の比較に基づいて特定することと、最も近い真−Z値に対応する像面が、画像走査される試料の次の部分の開始位置に達するように、対物レンズの高さ位置を調整することと、を含む方法が開示される。方法は、さらに、真−Z値において最近走査された試料の第1の部分に対して、ポストZ値を判定することと、試料の第1の部分に対するポストZ値を、試料の第1の部分が走査された真−Z値と比較することと、ポストZ値と真−Z値の差が所定値より大きい場合、試料の第1の部分の再走査を開始することと、を含み得る。
本発明の他の特徴および利点は、以下の詳細な説明および添付図面を再考した後、当業者にとってより容易に明らかになるであろう。
本発明の構造および動作は、以下の詳細な説明および添付図面の再考から理解され、添付の図面において、同様の参照番号は同様の部分を指す。
一実施形態による、デジタル走査装置におけるリアルタイムの自動焦点調節の例示的な初期化プロセスを示す流れ図である。 一実施形態による、リアルタイムの自動焦点調節を用いる試料を走査する例示的なプロセスを示す流れ図である。 一実施形態による、リアルタイムの自動焦点調節を用いて、既に走査された画像データを検証する例示的なプロセスを示す流れ図である。 一実施形態による、試料を有する例示的なスライドおよびリアルタイムの自動焦点調節のプロセスを示すブロック図である。 一実施形態による、試料を有する例示的なスライドおよびリアルタイムの自動焦点調節のプロセスを示すブロック図である。 一実施形態による、試料を有する例示的なスライドおよびリアルタイムの自動焦点調節のプロセスを示すブロック図である。 一実施形態による、試料を有する例示的なスライドおよびリアルタイムの自動焦点調節のプロセスを示すブロック図である。 一実施形態による、試料を有する例示的なスライドおよびリアルタイムの自動焦点調節のプロセスを示すブロック図である。 一実施形態による、試料を有する例示的なスライドおよびリアルタイムの自動焦点調節のプロセスを示すブロック図である。 図5Aは、本明細書で説明される実施形態と関連して使用され得る、例示的なプロセッサ使用可能デバイスを例示するブロック図である。図5Bは、一実施形態による、単一のリニアアレイを有する一例のライン走査カメラを例示するブロック図である。図5Cは、一実施形態による、3つのリニアアレイを有する一例のライン走査カメラを例示するブロック図である。図5Dは、一実施形態による、複数のリニアアレイを有する一例のライン走査カメラを例示するブロック図である。
本明細書で開示される特定の実施形態は、リアルタイムの自動焦点調節を実装する走査のワークフローを提供する。例えば、本明細書中で開示される一方法は、試料上のマクロ点における対物レンズに対する真−Z値を判定しかつ試料上の複数の参照バッファ(すなわち隣接領域)の各々における対物レンズに対する真−Z値を判定することによって、リアルタイムの自動焦点調節走査を開始することを可能とする。真−Z値を用いて、試料のグローバルかつローカル面を計算する。真−Z値およびそれらから計算された面(複数可)を用いて、試料の未走査の画像バッファ(すなわち隣接領域)に対する予測−Z値を判定する。走査中、対物レンズは、未走査の画像バッファの開始部(例えば第1の走査ライン)における予測−Z値に達するように、移動され得る(例えば上にまたは下に)。各画像バッファを走査後、それぞれの画像バッファに対して真−Z値が判定され、それぞれの画像バッファに対する予測−Z値と比較される。領域に対する予測−Z値と真−Z値の差が所定の閾値を超える場合、それぞれの画像バッファの再走査が開始される。
本説明を閲読した後、本発明を、様々な代替の実施形態および代替の用途においてどのように実施するかが当業者にとって明らかになるであろう。しかしながら、本発明の種々の実施形態を本明細書中に記載するが、これらの実施形態は単なる一例として提示されており、限定するものではないことが理解される。したがって、様々な代替の実施形態のこの詳細な説明は、添付の特許請求の範囲に示されるように、本発明の範囲または広さを限定するものと解釈されるべきではない。
一実施形態では、本明細書中に記載されたデジタル走査装置は、国際特許公開番号WO/2017/053891に記載された撮像センサおよび焦点調節センサの構成を利用し得る。例えば、国際特許公開番号WO/2017/053891に記載された撮像センサ20および焦点調節センサ30は、本明細書中に記載された撮像センサおよび焦点調節センサとしてそれぞれ利用され得る。
図1は、一実施形態による、デジタル走査装置におけるリアルタイムの自動焦点調節の例示的な初期化プロセスを示す流れ図である。例示されるプロセスは、図5A〜5Dに関して説明されるようなデジタル走査装置システムによって実行することができる。まず、ステップ10において、マクロフォーカス点の場所が選択される。マクロフォーカス点の場所は、試料の縁の所定範囲内にあることが好ましく、また、試料の面の最長距離の同一所定範囲内にあることが好ましい。一実施形態では、所定範囲は、光学経路に対する焦点調節センサの垂直範囲によって決められる。
マクロフォーカス点の場所が判定されると、ステップ20に示すように、マクロフォーカス点を含む試料の視野が、利用可能な像面すべてにおいて走査される。利用可能な像面の領域は、対物レンズと試料の可能な相対距離のセットによって決められる。簡潔な実施形態では、光軸に沿って対物レンズの位置を調整することによって焦点調節がなされ、したがって、利用可能な像面は、最も近いかつ最も遠い対物レンズの位置およびこれら最も近い位置と最も遠い位置の間での対物レンズの増分位置によって判定される。
次に、ステップ30において、マクロフォーカス点に対する真−Z値が判定される。先に論じたように、真−Z値は、対物レンズの試料からの距離(対物レンズは通常試料の上部に配置されるので、本明細書中で「高さ」とも称される)を表し、この距離は、光学経路に沿う対物レンズの可能な位置の範囲に関係するものである。真−Z値は、対物レンズを光学経路において上下に移動させることによって判定されて、焦点深度を表す複数の像面の各々に対する画像データを取得する。代替として、複数の像面に対する画像データは、傾斜焦点調節センサを用いて同時に取得され得る。いずれの場合も、各像面における画像データは分析されて、最も高いコントラストを有する像面を判定する。最も高いコントラストの像面を撮像センサのピクセルに配置する対物レンズの位置は、真−Z値と称される。
次に、ステップ40において、試料の最大長さが判定される。このステップは、マクロフォーカス点を選択するプロセス中に、マクロフォーカス点が試料の縁の所定距離内にあり、また、試料の最大長さを表すラインの所定距離内にあるように、行い得る。試料の最大長さを表すラインが判定されると、次いで、ステップ50において、最大長さに沿う複数の参照バッファが走査され、ステップ60において、真−Z値が、参照バッファごとに計算される。一実施形態では、複数の参照バッファは、試料の最大長さに沿って完全な隣接領域を形成する。代替の実施形態では、試料の最大長さに沿う参照バッファは、互いから全体的にまたは部分的に接続が切れていてもよい。
各参照バッファが走査された後、バッファに対する真−Z値が判定される。上述のように、一実施形態では、単一の視野に対して真−Z値を判定することは、焦点調節センサおよび撮像センサにおいて各ピクセルによって提供される未加工の光度情報を分析すること、およびピクセルごとにコントラスト比の値を計算することを含む。焦点調節センサの各ピクセルは光学経路に対して異なる像面にあるので、最も高いコントラスト比の値を有するピクセルの各像面が、最も高いコントラストの像面であると判定され、したがって、最も高いコントラストの像面上に撮像センサのピクセルすべてを位置付ける、対物レンズの高さが、マクロフォーカス点に対する真−Z値であると判定される。
複数の走査ラインを含むバッファに対して真−Z値を判定するとき、同様のプロセスが続く。例えば、バッファは複数の走査ラインを含み、各走査ラインは、複数のピクセルを有する。例えば、バッファは、4096個のピクセル列を有し得、バッファにおける行数は、バッファにおける走査ラインの数と等しい。バッファに対して真−Z値を判定するとき、各ピクセル列におけるコントラスト比の値が平均化されて、バッファにおける4096個のピクセル列に対応する4096個の平均コントラスト比の値のベクトルを生成する。そして、平均コントラスト比のベクトルは、単一の視野と同じように分析されて、バッファに対する真−Z値を判定する。各参照バッファに対して真−Z値が判定された後、真−Z値は、バッファに対するX−Yの場所情報とともにメモリに格納される。X−Yの場所情報は、試料、スライドまたはステージの面内のバッファの位置を示すことを理解すべきである。
図2は、一実施形態による、リアルタイムの自動焦点調節を用いて試料を走査する例示的なプロセスを示す流れ図である。例示されるプロセスは、図5A〜5Dに関して説明されるようなデジタル走査装置システムによって実行することができる。ステップ90および100において、グローバル試料面およびローカル試料面がまず、利用可能な真−Z値およびそれらの対応するX−Yの場所情報に基づいて、適宜計算かつ/または更新される。グローバル試料面は、利用可能な全真−Z値に基づくものであり、ローカル面は、近くの利用可能な真−Z値にのみ基づくものであり、「近くの」は、次に走査される対象の画像バッファに関係する(例えば隣接する)ものである。
ステップ110において、走査される次の画像バッファ(本明細書中で「対象の画像バッファ」と称される)が判定される。次いで、ステップ120において、試料の面におけるX−Y距離での最も近い真−Z値が、対象の画像バッファに対し特定される。次に、ステップ130において、対象の画像バッファに対する予測−Z値が計算される。一実施形態では、予測−Z値は、最も近い真−Z値と等しい。代替として、予測−Z値は、最も近い真−Z値および対象の画像バッファに対して判定されたローカル面からの情報に基づいて計算され得る。別の代替として、予測−Z値は、最も近い真−Z値および試料に対して判定されたグローバル面からの情報に基づいて計算され得る。さらに別の代替として、予測−Z値は、最も近い真−Z値および対象の画像バッファに対して判定されたローカル面からの情報および試料に対して判定されたグローバル面からの情報に基づいて計算され得る。予測−Z値が計算されると、ステップ140において、対象の画像バッファは、予測−Z値に対応する開始の対物レンズの高さで走査される。ステップ150において判定されるように、試料に対して走査される画像バッファがまだ存在する場合(すなわち、ステップ150において「Y」)、プロセスはステップ110にループバックし、走査される次の画像バッファが特定される。試料の走査が完了している場合(すなわち、ステップ150において「N」)、ステップ160に示すように、プロセスは終了する。
図3は、一実施形態による、リアルタイムの自動焦点調節を用いて、既に走査された画像データを検証する例示的なプロセスを示す流れ図である。例示されるプロセスは、図5A〜5Dに関して説明されたようなデジタル走査装置システムによって実行することができる。まず、ステップ170において、第1の画像バッファが走査された後、第1の画像バッファに対する画像データが分析されて、第1の画像バッファに対する真−Z値を判定する。次に、ステップ180において、第1の画像バッファに対する真−Z値は、第1の画像バッファに対する予測−Z値と比較される。ステップ190に示すように、第1の画像バッファに対する真−Z値と第1の画像バッファに対する予測−Z値の差が所定閾値を超える場合、第1の画像バッファは、再走査が必要として特定される。一実施形態では、試料全体における一定のパーセンテージの画像バッファが、再走査が必要として特定される場合、試料全体の再走査が開始される。代替として、真−Z値と予測−Z値の差が所定閾値を超える画像バッファに対してのみ、再走査が開始され得る。一実施形態では、所定閾値は、0.5マイクロンである。代替の実施形態では、所定閾値は、0.9マイクロンである。
図4A〜図4Fは、一実施形態による、リアルタイムの自動焦点調節のプロセスを説明するのに用いられる、間隙220を有する試料210を有する例示的なスライド200を示すブロック図である。図4Aから始めると、試料210を支持するスライド200が示される。例示される実施形態では、試料210は間隙220を有する。試料210が画像走査されるとき、まず、マクロフォーカス点300が選択される。一実施形態では、選択されたマクロフォーカス点300の場所は、試料210の縁の一定範囲内にある。この範囲は、半径310として定義される。さらに、この実施形態では、選択されたマクロフォーカス点300の場所は、試料の最大長さ320に沿って延在するライン320の同一の範囲(すなわち半径310)内にある。したがって、マクロフォーカス点300は、試料210の縁および試料の最大長さに沿うライン320が両方、マクロフォーカス点300から所定の半径310内にあるように、選択される。一実施形態では、半径310の長さは、光学経路に垂直な焦点調節センサの範囲によって決められる。
マクロフォーカス点300が選択されると、マクロフォーカス点300を含む視野が走査され、かつ、マクロフォーカス点300に対して真−Z値が判定される。次に、試料の最大長さ320に沿う一連の参照バッファ330が走査され、かつ、参照バッファ330の各々に対して真−Z値が判定される。参照バッファは示すように検体の長さにわたって連続してもよい、または、代替として連続しなくてもよいことに留意されたい。マクロフォーカス点300および各参照バッファ330に対する真−Z値ならびにそれらの対応するX−Yの場所情報がメモリに格納される。
図4B〜4Fを参照すると、試料210全体が画像走査される。画像走査は、通常、試料210の側部で開始する。第1の画像バッファAは、次に走査される対象のバッファとして特定され、かつ、予測−Z値が、対象の画像バッファAに対して判定される。この例示的な実施形態では、対象の画像バッファAに対して利用可能なローカル面はなく、したがって、最も近い真−Z値400(この場合、マクロフォーカス点300に対する真−Z値)が、対象の画像バッファAに対する予測−Z値として判定される。代替として、対象の画像バッファAに対する予測−Z値は、最も近い真−Z値400および利用可能な全真−Z値に基づいて計算されるグローバル面に関する情報に基づいて計算され得る。対象の画像バッファAに対して予測−Z値が判定されると、対物レンズの高さは、予測−Z値に調整され、ステージは、対象の画像バッファAを走査するための開始位置に配置され、次いで、ステージは、対象の画像バッファAを走査するために対物レンズに対して移動される。
対象の画像バッファAの走査中、対象の画像バッファBに対する予測−Z値が、最も近い真−Z値410に基づいて判定され、対象の画像バッファBの第1の走査ラインが画像センサによって走査されるとき対物レンズが予測−Z値に対して対応する高さにあるように、対物レンズの高さが、対象の画像バッファBに対する予測−Z値に調整される。先に記載したように、予測−Z値はまた、ローカル面(例えば画像バッファAに関する情報)および/またはグローバル面に関する情報に基づいて判定され得る。
対象の画像バッファAの走査に続き、対象の画像バッファAの真−Z値が判定され、画像バッファAの真−Z値は、画像バッファAの予測−Z値と比較される。一実施形態では、対象の画像バッファAの真−Z値と対象の画像バッファAの予測−Z値の差が所定閾値を超える場合、対象の画像バッファAは、再走査のターゲットとされる。
画像バッファの走査は、このように続行する。図4Dを参照すると、対象の画像バッファCに対する最も近い真−Z値420は、マクロフォーカス点300または任意の参照バッファ330の真−Z値ではなく、先に走査された画像バッファ(NまたはN)の真−Z値である。これは、対象の画像バッファCはマクロフォーカス点300または任意の参照バッファ330までよりも、先に走査された画像バッファ(NまたはN)までにより近いからである。一実施形態では、先に走査された画像バッファNの真−Z値が、対象の画像バッファCに対する最も近い真−Z値420として用いられる。なぜなら、画像バッファNは、最も近い真−Z値420が対象の画像バッファCに対して判定されているとき、走査されるプロセスにあるからである。代替の実施形態では、先に走査された画像バッファNの真−Z値が、対象の画像バッファCに対する最も近い真−Z値420として用いられる。なぜなら、対象の画像バッファCは、画像バッファNまでよりも、画像バッファNまでにより近いからである。
同様に、図4Eを参照すると、最も近い真−Z値430は、マクロフォーカス点300の真−Z値または参照バッファ330の真−Z値でなく、先に走査された画像バッファの真−Z値である。なぜなら、先に走査された画像バッファは、対象の画像バッファDまでにより近いからである。図4Fにおける別の例を参照すると、対象の画像バッファEの最も近い真−Z値440は、マクロフォーカス点300の真−Z値または先に走査されたバッファの真−Z値ではなく、参照バッファ330の真−Z値である。なぜなら、対象の画像バッファEは、その特定の参照バッファ330までにより近いからである。先に記載したように、各予測−Z値は、任意の単一の情報に関する情報または最も近いZ値、ローカル面、およびグローバル面に関する情報の組み合わせに基づいて判定され得る。
図5Aは、本明細書で説明される様々な実施形態と関連して使用され得る、一例のプロセッサ使用可能デバイス550を例示するブロック図である。デバイス550の代替の形式もまた、当業者によって理解されるように、使用されてもよい。例示される実施形態では、デバイス550は、1つまたは複数のプロセッサ555、1つまたは複数のメモリ565、1つまたは複数の動きコントローラ570、1つまたは複数のインタフェースシステム575、1つまたは複数の試料590を有する1つまたは複数のスライドガラス585を各々が支持する1つまたは複数の可動ステージ580、試料を照らす1つまたは複数の照明システム595、光学軸に沿って進む光学経路605を各々が規定する1つまたは複数の対物レンズ600、1つまたは複数の対物レンズポジショナ630、1つまたは複数の任意選択の落射照明システム635(例えば、蛍光発光スキャナシステムに含まれる)、1つまたは複数の焦点調節光学系610、1つまたは複数のライン走査カメラ615、および/または1つまたは複数の追加のカメラ620(例えばライン走査カメラまたはエリア走査カメラ)を備え、その各々が試料590(例えば試料210に対応する)および/またはスライドガラス585(例えばスライド200に対応する)上で別個の視野625を規定するデジタル撮像デバイス(本明細書では、スキャナシステム、走査システム、走査装置、デジタル走査装置、デジタルスライド走査装置などとも称される)として提示される。スキャナシステム550の様々な要素は、1つまたは複数の通信バス560を介して通信可能に結合される。簡略化のために、スキャナシステム550の様々な要素の各々のうちの1つまたは複数が存在する場合があるが、それらの要素は、適切な情報を搬送するために複数で説明する必要があるときを除いて、本明細書中において単数で説明される。
1つまたは複数のプロセッサ555は、例えば命令を並列に処理することが可能な中央処理装置(「CPU」)および別個のグラフィックプロセシングユニット(「GPU」)を含んでもよく、あるいは1つまたは複数のプロセッサ555は、命令を並列に処理することが可能なマルチコアプロセッサを含んでもよい。追加の別個のプロセッサも、特定の構成要素を制御するため、または画像処理などの特定の機能を実行するために設けられてもよい。例えば、追加のプロセッサは、データ入力を管理する補助プロセッサ、浮動小数点数学演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適切なアーキテクチャを有する特殊目的プロセッサ(例えば、デジタルシグナルプロセッサ)、メインプロセッサに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、ライン走査カメラ615、ステージ580、対物レンズ225および/またはディスプレイ(図示せず)を制御するための追加のプロセッサを含んでもよい。そのような追加のプロセッサは、別個の離散プロセッサであってもよく、またはプロセッサ555と統合されてもよい。
メモリ565は、プロセッサ555によって実行することができるプログラムに関するデータおよび命令の記憶を提供する。メモリ565は、データおよび命令を記憶する1つまたは複数の揮発性および/または不揮発性コンピュータ可読記憶媒体を含んでよく、例えばランダムアクセスメモリ、読み出し専用メモリ、ハードディスクドライブ、着脱可能記憶ドライブなどを含んでもよい。プロセッサ555は、メモリ565に記憶された命令を実行し、スキャナシステム550の全体的な機能を実行するために、通信バス560を介してスキャナシステム550の様々な要素と通信するように構成される。
1つまたは複数の通信バス560は、アナログ電気信号を搬送するように構成された通信バス560を含んでもよく、またデジタルデータを搬送するように構成された通信バス560を含んでもよい。したがって、1つまたは複数の通信バス560を介したプロセッサ555、動きコントローラ570および/またはインタフェースシステム575からの通信は、電気信号およびデジタルデータの両方を含んでもよい。プロセッサ555、動きコントローラ570および/またはインタフェースシステム575はまた、無線通信リンクを介して、走査システム550の様々な要素のうちの1つまたは複数と通信するように構成されてもよい。
動き制御システム570は、ステージ580のX、Yおよび/またはZ移動(例えば、X−Y面内)ならびに/または対物レンズ600のX、Yおよび/またはZ移動(例えば、対物レンズポジショナ630を介してX−Y面に対して直交してZ軸に沿った)を正確に制御し調整するように構成される。動き制御システム570はまた、スキャナシステム550における任意の他の移動部分の移動を制御するようにも構成される。例えば、蛍光発光スキャナの実施形態では、動き制御システム570は、落射照明システム635において光学フィルタなどの移動を調整するように構成される。
インタフェースシステム575は、スキャナシステム550が他のシステムおよび人的操作と連動することを可能にする。例えば、インタフェースシステム575は、オペレータに情報を直接提供し、かつ/またはオペレータからの直接入力を可能にするユーザインタフェースを含んでもよい。インタフェースシステム575はまた、走査システム550と、直接接続された1つ以上の外部デバイス(例えば、プリンタ、着脱可能記憶媒体)またはネットワーク(図示せず)を介してスキャナシステム550に接続された画像サーバシステム、オペレータステーション、ユーザステーション、および管理サーバシステムなどの外部デバイスとの間の通信およびデータ転送を促進するように構成される。
照明システム595は、試料590の一部を照射するように構成される。照明システムは、例えば、光源および照明光学系を含んでもよい。光源は、光出力を最大化する凹型反射ミラー、および熱を抑制するKG−1フィルタを有する可変輝度ハロゲン光源を備えてもよい。光源はまた、任意のタイプのアークランプ、レーザまたは他の光源を備える場合もある。一実施形態では、照明システム595は、透過モードにおいて試料590を照射し、その結果、ライン走査カメラ615および/またはカメラ620は、試料590を通じて伝送された光エネルギーを検知する。代替として、または組み合わせて、照明システム595はまた、反射モードにおいて試料590を照射するように構成されてもよく、その結果、ライン走査カメラ615および/またはカメラ620は、試料590から反射された光エネルギーを検知する。照明システム595は、光学顕微鏡検査の任意の既知のモードにおける顕微鏡の試料590の検査に適するように構成されてもよい。
一実施形態では、スキャナシステム550は任意選択で、蛍光発光走査のためにスキャナシステム550を最適化する落射照明システム635を含む。蛍光発光走査は、蛍光発光分子を含む試料590の走査であり、蛍光発光分子は、特定の波長で光を吸収する(励起)ことができる感光性分子である。これらの感光性分子はまた、より高い波長においても光を発する(放射)。このフォトルミネセンス現象の効率性が非常に低いことが理由で、放射される光の量が非常に少ない場合が多い。この少ない量の放射される光は典型的には、試料590を走査およびデジタル化するための従来の技術(例えば、透過モード顕微鏡検査)を妨げる。有利なことに、スキャナシステム550の任意選択の蛍光発光スキャナシステムの一実施形態では、複数のライン形センサ配列を含むライン走査カメラ615(例えば、時間遅延統合(「TDI」)ライン走査カメラ)の使用は、ライン走査カメラ615の複数のライン形センサ配列の各々に試料590の同一の領域を露出することによって、ライン走査カメラの光への感度を増大させる。これは特に、放射された少ない光によりわずかな蛍光発光試料を走査するときに有益である。
したがって、蛍光発光スキャナシステムの一実施形態では、ライン走査カメラ615は好ましくは、モノクロTDIライン走査カメラである。有利なことに、モノクロ画像は、それらが試料に存在する様々なチャネルからの実信号のさらなる正確な表現を提供することを理由に、蛍光発光顕微鏡検査において理想である。当業者によって理解されるように、蛍光発光試料590は、異なる波長で光を放射する複数の蛍光染料によりラベル付けされることができ、異なる波長は、「チャネル」とも称される。
さらに、様々な蛍光発光試料のローエンド信号レベルおよびハイエンド信号レベルは、検知するライン走査カメラ615についての広いスペクトルの波長を提示することを理由に、ライン走査カメラ615が検知することができるローエンド信号レベルおよびハイエンド信号レベルが同様に広いことが望ましい。したがって、蛍光発光スキャナの実施形態では、蛍光発光走査システム550において使用されるライン走査カメラ615は、モノクロの10ビットの64個のリニアアレイTDIライン走査カメラである。ライン走査カメラ615についての様々なビット深度が走査システム550の蛍光発光スキャナの実施形態による使用のために採用され得ることに留意すべきである。
可動ステージ580は、プロセッサ555または動きコントローラ570の制御の下での正確なX−Yの移動のために構成される。可動ステージはまた、プロセッサ555または動きコントローラ570の制御の下でのZ移動のために構成されてもよい。可動ステージは、ライン走査カメラ615および/または領域走査カメラによる画像データの捕捉の間、所望の位置に試料を位置付けるように構成される。可動ステージはまた、走査方向において実質的に一定の速度に試料590を加速させ、次いで、ライン走査カメラ615による画像データの捕捉の間、実質的に一定の速度を維持するように構成される。一実施形態では、スキャナシステム550は、可動ステージ580上での試料590の位置において支援するために高精度かつ厳格に調整されたX−Y格子を採用してもよい。一実施形態では、可動ステージ580は、X軸およびY軸の両方において採用された高精度エンコーダを有するリニアモータに基づくX−Yステージである。例えば、非常に正確なナノメータエンコーダを、走査方向における軸上で、かつ走査方向に垂直な方向における軸上で、かつ走査方向と同一の面上で使用することができる。ステージはまた、試料590がその上に配置されたスライドガラス585を支持するようにも構成される。
試料590(例えば、試料210に相当する)は、光学顕微鏡検査によって検査され得るどんなものであってもよい。例えば、顕微鏡スライドガラス585(例えば、スライド200に相当する)は、組織および細胞、染色体、DNA、タンパク質、血液、骨髄、尿、バクテリア、気泡、生検材料、または死亡しているか、生存しているかのいずれかであり、着色されているか、着色されていないかのいずれかであり、ラベル付けされているか、ラベル付けされていないかのいずれかである、任意の他のタイプの生物材料または物質を含む検体についての観察用の基板として頻繁に使用される。試料590はまた、マイクロアレイとして一般的に知られている任意の試料およびすべての試料を含む、任意のタイプのスライドもしくは他の基板上に堆積された任意のタイプのDNA、またはcDNAもしくはRNAなどのDNA関連材料、またはタンパク質の配列であってもよい。試料590は、マイクロタイタープレート(例えば、96ウェルプレート)であってもよい。試料590の他の例には、集積回路基板、電気泳動レコード、ペトリ皿、フィルム、半導体材料、法医学材料または機械加工部品が含まれる。
対物レンズ600は、対物レンズポジショナ630上に取り付けられ、対物レンズポジショナ630は、一実施形態では、対物レンズ600によって規定された光学軸に沿って対物レンズ600を移動させるために非常に正確なリニアモータを採用する。例えば、対物レンズポジショナ630のリニアモータは、50ナノメートルのエンコーダを含んでもよい。X、Yおよび/またはZ軸におけるステージ580および対物レンズ600の相対的な位置は、走査システム550全体の動作のためにコンピュータ実行可能プログラムされたステップを含む、情報および命令を記憶するためのメモリ565を採用するプロセッサ555の制御の下で動きコントローラ570を使用して閉ループ方式において調整され制御される。
一実施形態では、対物レンズ600は、望ましい最高空間分解能に対応する開口数を有する平面アポクロマート(「APO」)無限補正対物レンズであり、対物レンズ600は、透過モード照明顕微鏡検査、反射モード照明顕微鏡検査および/または落射照明モード蛍光発光顕微鏡検査(例えば、Olympus 40X、0.75NAもしくは20X、0.75NA)に適切である。有利なことに、対物レンズ600は、色収差および球面収差を補正することが可能である。対物レンズ600が無限に補正されることを理由に、焦点調節光学系610は、対物レンズ600の上で光学経路605内に配置されることができ、対物レンズ600を通過する光ビームは平行光ビームとなる。焦点調節光学系610は、ライン走査カメラ615および/またはエリア走査カメラ620の光応答性素子上に対物レンズ600によって捕捉された光信号の焦点を調節し、フィルタ、倍率変換器レンズなどの光学構成要素を含んでもよい。焦点調節光学系610と組み合わされた対物レンズ600は、走査システム550に関する全倍率を提供する。一実施形態では、焦点調節光学系610は、チューブレンズおよび任意選択の2Xの倍率変換器を包含してもよい。有利なことに、2Xの倍率変換器によって、本来の20Xの対物レンズ600が40Xの倍率で試料590を走査することが可能になる。
ライン走査カメラ615は、画像素子(「ピクセル」)の少なくとも1つのリニアアレイを含む。ライン走査カメラは、モノクロまたはカラーであってもよい。カラーライン走査カメラは典型的には、少なくとも3つのリニアアレイを有し、モノクロライン走査カメラは、単一のリニアアレイまたは複数のリニアアレイを有してもよい。カメラの一部としてパッケージ化されていようと、撮像電子モジュールにカスタム統合されていようと任意のタイプの単数または複数のリニアアレイも同様に使用することができる。例えば、3つのリニアアレイ(「赤−緑−青」、すなわち「RGB」)カラーライン走査カメラまたは96個のリニアアレイモノクロTDIも使用されてもよい。TDIライン走査カメラは通常、試料のこれより前に撮像された領域からの光度データを合計することによって、出力信号において大幅に良好な信号対雑音比(「SNR」)を提供し、統合ステージの数の平方根に比例するSNRにおける増大をもたらす。TDIライン走査カメラは、複数のリニアアレイを含む。例えば、24個、32個、48個、64個、96個、またはそれよりも多いリニアアレイを有するTDIライン走査カメラが利用可能である。スキャナシステム550はまた、512個のピクセルを有するもの、1024個のピクセルを有するもの、および4096個のピクセルと同数のピクセルを有するその他を含む、様々なフォーマットにおいて製造されたリニアアレイを支持する。同様に、様々なピクセルサイズを有するリニアアレイをスキャナシステム550において使用することもできる。いずれかのタイプのライン走査カメラ615の選択のための突出した要件は、ステージ580の動きがライン走査カメラ615のライン速度と同期されることができ、その結果、試料590のデジタル画像の捕捉の間、ステージ580はライン走査カメラ615に対して動くことができる。
ライン走査カメラ615によって生成された画像データは、メモリ565の一部に記憶され、試料590の少なくとも一部の連続するデジタル画像を生成するようにプロセッサ555によって処理される。連続するデジタル画像はさらに、プロセッサ555によって処理することができ、修正された連続するデジタル画像をメモリ565に記憶することもできる。
2つ以上のライン走査カメラ615を有する実施形態では、ライン走査カメラ615のうちの少なくとも1つは、撮像センサとして機能するように構成された他のライン走査カメラ615のうちの少なくとも1つとの組み合わせで動作する焦点調節センサとして機能するように構成することができる。焦点調節センサは、撮像センサと同一の光軸上に論理的に位置付けることができ、または、焦点調節センサは、スキャナシステム550の走査方向に対して撮像センサの前もしくは後に論理的に位置付けられてもよい。焦点調節センサとして機能する少なくとも1つのライン走査カメラ615を有するそのような実施形態では、焦点調節センサによって生成された画像データは、メモリ565の一部に記憶され、スキャナシステム550が試料590と対物レンズ600の相対的な距離を調節して、走査の間の試料上の焦点を維持することを可能にするために焦点調節情報を生成するように、1つまたは複数のプロセッサ555によって処理される。加えて、一実施形態において、焦点調節センサとして機能する少なくとも1つのライン走査カメラ615は、焦点調節センサの複数の個々のピクセルのそれぞれが異なる論理的な高さで光学経路605沿いに位置するように指向され得る。
動作中、スキャナシステム550の様々な構成要素およびメモリ565に記憶されたプログラムされたモジュールは、スライドガラス585上に配置された試料590の自動走査およびデジタル化を可能にする。スライドガラス585は、試料590を走査するためのスキャナシステム550の可動ステージ580上に固定して配置される。プロセッサ555の制御の下、可動ステージ580は、ライン走査カメラ615による検知のために実質的に一定の速度に試料590を加速させ、ステージの速度は、ライン走査カメラ615のライン速度と同期される。画像データのストライプを走査した後、可動ステージ580は、試料590を減速させ、実質的に完全に停止させる。可動ステージ580は次いで、画像データの後続のストライプ(例えば、隣接するストライプ)の走査のために試料590を位置付けるために走査方向に直交して移動する。試料590のすべての部分または試料590全体が走査されるまで追加のストライプが続いて走査される。
例えば、試料590のデジタル走査の間、試料590の連続したデジタル画像は、画像ストライプを形成するために一緒に組み合わされた複数の連続した視野として取得される。複数の隣接する画像ストライプも同様に、試料590の一部分またはその全体の連続したデジタル画像を形成するために一緒に組み合わされる。試料590の走査は、垂直画像ストライプまたは水平画像ストライプを取得することを含んでもよい。試料590の走査は、上から下、下から上、またはその両方(双方向)のいずれかであってよく、試料上の任意の地点において開始し得る。代替として、試料590の走査は、左から右、右から左、またはその両方(双方向)のいずれであってもよく、試料上の任意の地点において開始し得る。加えて、画像ストライプは、隣接または連続する方式において取得される必要はない。さらに、結果として生じる試料590の画像は、試料590の全体の画像であってもよくまたは試料590の一部分のみの画像であってもよい。
一実施形態では、コンピュータ実行可能命令(例えば、プログラムされたモジュールおよびソフトウェア)がメモリ565に記憶され、実行時、走査システム550が本明細書で説明される様々な機能を実行することを可能にする。この説明では、用語「コンピュータ可読記憶媒体」は、プロセッサ555による実行のためにコンピュータ実行可能命令を記憶し、これを走査システム550に提供するのに使用される任意の媒体を指すのに使用される。これら媒体の例には、メモリ565、および直接的、または例えばネットワーク(図示せず)を介して間接的のいずれかで走査システム550と通信可能に結合された任意の着脱可能なまたは外部の記憶媒体(図示せず)が含まれる。
図5Bは、電荷結合素子(「CCD」)アレイとして実装され得る、単一のリニアアレイ640を有するライン走査カメラを例示する。単一のリニアアレイ640は、複数の個々のピクセル645を含む。例示される一実施形態では、単一のリニアアレイ640は、4096個のピクセルを有する。代替の実施形態では、リニアアレイ640は、さらに多くのまたはさらに少ないピクセルを有してもよい。例えば、リニアアレイの共通フォーマットは、512個、1024個、および4096個のピクセルを含む。ピクセル645は、リニアアレイ640についての視野625を規定するためにライン方式で配列される。視野625のサイズは、スキャナシステム550の倍率に従って変化する。
図5Cは、各々がCCDアレイとして実装され得る、3つのリニアアレイを有するライン走査カメラを例示する。3つのリニアアレイは合体してカラーアレイ650を形成する。一実施形態では、カラーアレイ650内の各々の個々のリニアアレイは、異なる色の強度、例えば、赤、緑または青を検出する。カラーアレイ650内の各々の個々のリニアアレイからのカラー画像データが組み合わされて、カラー画像データの単一の視野625を形成する。
図5Dは、各々がCCDアレイとして実装され得る、複数のリニアアレイを有するライン走査カメラを例示する。複数のリニアアレイは、合体してTDIアレイ655を形成する。有利なことに、TDIライン走査カメラは、検体のこれより前に撮像された領域からの光度データを合計することによって、その出力信号において大幅に良好なSNRを提供し得、リニアアレイの数(統合ステージとも称される)の平方根に比例するSNRにおける増大をもたらす。TDIライン走査カメラは、より多様な数のリニアアレイを含んでもよい。例えば、TDIライン走査カメラの共通フォーマットは、24個、32個、48個、64個、96個、120個またはそれより多いリニアアレイを含む。
開示される実施形態の上記の説明は、いずれかの当業者が本発明を作成する、または使用することを可能にするために提供される。それらの実施形態に対する様々な修正は、当業者にとって容易に明らかであり、本明細書で説明された一般的な原理は、本発明の精神または範囲から逸脱することなく他の実施形態に適用されることができる。よって、本明細書で提示される説明および図面は、本発明の現時点で好ましい実施形態を表し、したがって、本発明によって広く考慮される主題を表すことが理解されることになる。本発明の範囲は、当業者にとって明白になり得る他の実施形態を完全に包含すること、ならびに本発明の範囲はこれにより限定されないことをさらに理解されたい。

Claims (12)

  1. デジタル走査装置であって、前記デジタル走査装置は、
    対物レンズと、
    前記対物レンズの視野を感知するための、前記対物レンズの光学経路に配置された焦点調節センサおよび撮像センサと、
    少なくとも1つのプロセッサと、
    を備え、
    前記少なくとも1つのプロセッサは、試料の走査中に、前記対物レンズの高さを調整するように構成され、前記対物レンズの高さを調整は、
    試料上のマクロフォーカス点であって、前記試料の縁および前記試料の最大長さを表すラインの両方の所定範囲内にあるマクロフォーカス点を選択することと、
    前記対物レンズの前記試料からの複数の距離位置に対応する複数の像面において前記マクロフォーカス点を含む画像データを取得するために、前記マクロフォーカス点を含む単一の視野を、前記焦点調節センサを用いて走査することと、
    前記複数の像面の各々に対するコントラスト値を判定することと、
    前記マクロフォーカス点に対して最も高いコントラスト値を有する像面が前記撮像センサの像面に対応する、前記対物レンズの距離位置を示す真−Z値、Z1を特定することと、
    画像データの複数のバッファを取得するために前記試料の前記最大長さを表す前記ラインに沿う複数の領域を走査することであって、各バッファは、複数の走査ラインを含み、各走査ラインは、複数のピクセルを含み、各バッファは、前記複数の走査ラインの数に等しいピクセルの行数および各走査ライン内の前記複数のピクセルの数に等しいピクセルの列数を備えることと、
    前記複数のバッファの各々に対してコントラスト比の値を判定することと、
    前記複数のバッファに対する前記判定されたコントラスト比の値に対応する複数のさらなる真−Z値、Z2〜Znを特定することであって、各さらなる真−Z値は、前記複数のバッファのそれぞれに対して、前記撮像センサの前記像面がピークコントラストを有する、前記対物レンズの距離位置を示すことと、
    前記真−Z値のすべて、Z1〜Znを、それぞれの場所情報とともに格納することであって、Z1の前記場所情報は、前記マクロフォーカス点の場所を示し、Z2〜Znのそれぞれに対する前記場所情報は、前記複数のバッファのそれぞれの場所を示すことと、
    走査される前記試料の領域の場所を判定することと、
    前記試料の前記領域に最も近い真−Z値を、前記真−Z値、Z1〜Znに対する前記判定された場所および前記格納された場所情報に基づいて特定することと、
    前記試料の前記領域に対する予測−Z値を、前記最も近い真−Z値に少なくとも部分的に基づいて判定することと、
    前記対物レンズと前記試料との間の距離を、前記予測−Z値に基づいて、前記試料の前記領域の走査開始時に調整することと、
    によって行う、
    デジタル走査装置。
  2. 前記複数のバッファの各々に対してコントラスト比の値を判定することは、
    前記バッファにおけるピクセルの列ごとに平均コントラスト比の値を判定することと、
    前記バッファに対するコントラスト比の値を、前記バッファにおけるピクセルの列ごとの前記平均コントラスト比の値に基づいて判定することと、
    を含む、
    請求項1に記載のデジタル走査装置。
  3. 前記少なくとも1つのプロセッサは、さらに、前記試料の前記領域の走査後、
    前記試料の前記領域に対して、真−Z値、Znewを判定し、
    前記試料の前記領域に対する前記真−Z値、Znewと前記試料の前記領域に対する前記予測−Z値との差を判定し、
    前記差が所定の閾値を超えるとき、前記試料の前記領域の再走査を開始する、
    ように構成されている、
    請求項1または2に記載のデジタル走査装置。
  4. 前記少なくとも1つのプロセッサは、さらに、前記試料の複数の走査領域の走査後、前記真−Z値と前記予測−Z値との前記差が前記複数の走査領域の所定のパーセンテージに対して前記所定の閾値を超える場合、前記試料全体の再走査を開始するように構成されている、
    請求項3に記載のデジタル走査装置。
  5. 前記所定の閾値は、0.5〜0.9マイクロンの範囲にある、
    請求項3または4に記載のデジタル走査装置。
  6. 前記少なくとも1つのプロセッサは、さらに、前記真−Z値のすべて、Z1〜Znを用いてグローバル試料面を計算するように構成され、前記試料の前記領域に対する前記予測−Z値は、前記最も近い真−Z値および前記グローバル試料面に少なくとも部分的に基づく、
    請求項3から5のいずれかに記載のデジタル走査装置。
  7. 前記少なくとも1つのプロセッサは、さらに、前記試料の前記領域の走査後、前記試料の走査領域に対して、前記真−Z値、Znewを用いて、前記グローバル試料面を再計算するように構成されている、
    請求項6に記載のデジタル走査装置。
  8. 前記グローバル試料面は、新しい真−Z値が計算かつ格納されると、連続的に更新されて、前記試料に対する格納されているすべての真−Z値に反映を行う、
    請求項6または7のいずれかに記載のデジタル走査装置。
  9. 前記少なくとも1つのプロセッサは、さらに、走査される前記試料の前記領域に隣接する領域に対応するバッファに対する真−Z値のサブセットを用いて、ローカル試料面を計算するように構成され、前記試料の前記領域に対する前記予測−Z値は、前記最も近い真−Z値および前記ローカル試料面に少なくとも部分的に基づく、
    請求項1から8のいずれかに記載のデジタル走査装置。
  10. 前記ローカル試料面は、L字状である、
    請求項9に記載のデジタル走査装置。
  11. 前記試料の前記最大長さを表す前記ラインに沿って走査された前記複数の領域は、集合的に、前記試料にわたって延在する前記試料の隣接部分を形成する、
    請求項1から10のいずれかに記載のデジタル走査装置。
  12. 対物レンズと、前記対物レンズの視野を感知するための、前記対物レンズの光学経路に配置された焦点調節センサおよび撮像センサと、少なくとも1つのプロセッサと、を備えるデジタル走査装置を焦点調節する方法であって、前記デジタル走査装置の前記少なくとも1つのプロセッサによって、
    試料上のマクロフォーカス点であって、前記試料の縁および前記試料の最大長さを表すラインの両方の所定範囲内にあるマクロフォーカス点を選択することと、
    前記対物レンズの前記試料からの複数の距離位置に対応する複数の像面において前記マクロフォーカス点を含む画像データを取得するために、前記マクロフォーカス点を含む単一の視野を、前記焦点調節センサを用いて走査することと、
    前記複数の像面の各々に対するコントラスト値を判定することと、
    前記マクロフォーカス点に対して最も高いコントラスト値を有する像面が前記撮像センサの像面に対応する、前記対物レンズの距離位置を示す真−Z値、Z1を特定することと、
    画像データの複数のバッファを取得するために前記試料の前記最大長さを表す前記ラインに沿う複数の領域を走査することであって、各バッファは、複数の走査ラインを含み、各走査ラインは、複数のピクセルを含み、各バッファは、前記複数の走査ラインの数に等しいピクセルの行数および各走査ライン内の前記複数のピクセルの数に等しいピクセルの列数を備えることと、
    前記複数のバッファの各々に対してコントラスト比の値を判定することと、
    前記複数のバッファに対する前記判定されたコントラスト比の値に対応する複数のさらなる真−Z値、Z2〜Znを特定することであって、各さらなる真−Z値は、前記複数のバッファのそれぞれに対して、前記撮像センサの前記像面がピークコントラストを有する、前記対物レンズの距離位置を示すことと、
    前記真−Z値のすべて、Z1〜Znを、それぞれの場所情報とともに格納することであって、Z1の前記場所情報は、前記マクロフォーカス点の場所を示し、Z2〜Znのそれぞれに対する前記場所情報は、前記複数のバッファのそれぞれの場所を示すことと、
    走査される前記試料の領域の場所を判定することと、
    前記試料の前記領域に最も近い真−Z値を、前記真−Z値、Z1〜Znに対する前記判定された場所および前記格納された場所情報に基づいて特定することと、
    前記試料の前記領域に対する予測−Z値を、前記最も近い真−Z値に少なくとも部分的に基づいて判定することと、
    前記対物レンズと前記試料との間の距離を、前記予測−Z値に基づいて、前記試料の前記領域の走査開始時に調整することと、
    を含む方法。
JP2020517496A 2017-09-29 2018-09-28 リアルタイムの自動焦点調節走査 Active JP6899963B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762566155P 2017-09-29 2017-09-29
US62/566,155 2017-09-29
PCT/US2018/053637 WO2019068043A1 (en) 2017-09-29 2018-09-28 AUTOMATIC FOCUS SCAN IN REAL TIME

Publications (2)

Publication Number Publication Date
JP2020535477A true JP2020535477A (ja) 2020-12-03
JP6899963B2 JP6899963B2 (ja) 2021-07-07

Family

ID=65896064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517496A Active JP6899963B2 (ja) 2017-09-29 2018-09-28 リアルタイムの自動焦点調節走査

Country Status (9)

Country Link
US (4) US10481377B2 (ja)
EP (2) EP4254037A3 (ja)
JP (1) JP6899963B2 (ja)
KR (2) KR102523559B1 (ja)
CN (2) CN114779459A (ja)
AU (2) AU2018339011B2 (ja)
CA (1) CA3075288C (ja)
ES (1) ES2959361T3 (ja)
WO (1) WO2019068043A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523559B1 (ko) 2017-09-29 2023-04-19 라이카 바이오시스템즈 이미징 인크. 디지털 스캐닝 장치
ES2928577T3 (es) * 2017-09-29 2022-11-21 Leica Biosystems Imaging Inc Barrido en Z fijo bidimensional y tridimensional
CN110456969B (zh) * 2019-07-10 2022-09-27 努比亚技术有限公司 一种长截图实现方法、终端及计算机可读存储介质
US11704003B2 (en) 2019-08-06 2023-07-18 Leica Biosystems Imaging, Inc. Graphical user interface for slide-scanner control
ES2977199T3 (es) 2019-08-06 2024-08-20 Leica Biosystems Imaging Inc Enfoque en tiempo real en un sistema de escaneo de portaobjetos
IL293254A (en) * 2019-11-25 2022-07-01 Hologic Inc Method and system for digital imaging
GB2595873B (en) * 2020-06-09 2023-01-25 Ffei Ltd A method for analysing scanning efficacy
CN115943286B (zh) * 2020-07-30 2024-02-20 科磊股份有限公司 用于扫描计量工具的自适应对焦系统
CN114114663B (zh) * 2021-02-25 2023-11-21 广东粤港澳大湾区黄埔材料研究院 一种显微镜的锁焦探测系统和方法
CN113358056B (zh) * 2021-05-31 2023-06-27 深圳中科飞测科技股份有限公司 工件表面形貌的扫描方法、扫描系统及存储介质
CN115415547B (zh) * 2022-11-07 2023-03-24 北京清研智束科技有限公司 电子束扫描方法、装置、设备及介质
CN117665032B (zh) * 2024-02-01 2024-05-14 国仪量子技术(合肥)股份有限公司 扫描方法、装置、系统、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11231228A (ja) * 1998-02-12 1999-08-27 Nikon Corp 顕微鏡システム
JP2001091846A (ja) * 1999-09-24 2001-04-06 Olympus Optical Co Ltd 顕微鏡画像転送システム
WO2008007725A1 (fr) * 2006-07-12 2008-01-17 Toyo Boseki Kabushiki Kaisha Analyseur et son utilisation
JP2012523583A (ja) * 2009-04-13 2012-10-04 ゼネラル・エレクトリック・カンパニイ 改良型予測オートフォーカスシステム及びその方法
WO2017053891A1 (en) * 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL111229A (en) * 1994-10-10 1998-06-15 Nova Measuring Instr Ltd Autofocusing microscope
JP3462006B2 (ja) * 1996-05-20 2003-11-05 株式会社ミツトヨ オートフォーカス装置
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7518652B2 (en) * 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
US7120286B2 (en) 2001-11-21 2006-10-10 Mitutoyo Corporation Method and apparatus for three dimensional edge tracing with Z height adjustment
JP2006501469A (ja) 2002-09-30 2006-01-12 アプライド マテリアルズ イスラエル リミテッド 斜めのビュー角度をもつ検査システム
DE10342264C5 (de) * 2003-09-12 2012-10-31 Leica Biosystems Nussloch Gmbh System zum eindeutigen Zuordnen von histologischen Kassetten und Objektträgern
JP2008009341A (ja) * 2006-06-30 2008-01-17 Sony Corp オートフォーカス装置、撮像装置及びオートフォーカス方法
US7570795B2 (en) 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
CN100561326C (zh) * 2007-07-06 2009-11-18 鸿富锦精密工业(深圳)有限公司 自动对焦系统及自动对焦方法
US8089947B2 (en) 2007-08-31 2012-01-03 Intel Corporation Spatial reuse in directional antenna systems
WO2010048584A2 (en) * 2008-10-24 2010-04-29 Aperio Technologies, Inc. Whole slide fluorescence scanner
CN101762232B (zh) 2008-12-23 2012-01-25 鸿富锦精密工业(深圳)有限公司 多重表面对焦系统及方法
US9767342B2 (en) 2009-05-22 2017-09-19 Affymetrix, Inc. Methods and devices for reading microarrays
DE102009044983A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
DE102009044987A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
JP2011090221A (ja) * 2009-10-23 2011-05-06 Sony Corp 顕微鏡、合焦位置検出方法及び合焦位置検出プログラム
JP5672688B2 (ja) * 2009-10-23 2015-02-18 ソニー株式会社 合焦装置、合焦方法、合焦プログラム及び顕微鏡
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
AU2010339430B2 (en) * 2009-12-31 2013-09-26 Abbott Point Of Care, Inc. Method and apparatus for fast focus imaging biologic specimens
US8396269B2 (en) * 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
JP5576739B2 (ja) 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
US8175452B1 (en) * 2010-10-26 2012-05-08 Complete Genomics, Inc. Method and system for imaging high density biochemical arrays with sub-pixel alignment
US9041791B2 (en) 2011-02-01 2015-05-26 Roche Diagnostics Hematology, Inc. Fast auto-focus in imaging
JP5197785B2 (ja) * 2011-03-30 2013-05-15 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
KR101734628B1 (ko) * 2011-09-09 2017-05-11 벤타나 메디컬 시스템즈, 인코포레이티드 에러 신호를 이용한 포커스 및 이미징 시스템 및 기법들
CN103323939A (zh) * 2012-03-20 2013-09-25 麦克奥迪实业集团有限公司 数字切片实时扫描自动聚焦系统及方法
ES2953897T3 (es) * 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
JP2014178357A (ja) * 2013-03-13 2014-09-25 Sony Corp デジタル顕微鏡装置、その撮像方法およびプログラム
HUE052489T2 (hu) * 2013-04-26 2021-04-28 Hamamatsu Photonics Kk Képfelvevõ berendezés és eljárás és rendszer fókusztérkép elõállítására minta számára
CN103852878B (zh) * 2014-01-08 2016-05-25 麦克奥迪实业集团有限公司 一种具有实时聚焦的显微切片快速数字扫描装置及其方法
CN105093479A (zh) * 2014-04-30 2015-11-25 西门子医疗保健诊断公司 用于显微镜的自动对焦方法和装置
US10274715B2 (en) 2014-08-06 2019-04-30 Cellomics, Inc. Image-based laser autofocus system
WO2016120441A2 (en) * 2015-01-30 2016-08-04 Ventana Medical Systems, Inc. Quality metrics for automatic evaluation of dual ish images
JP6411294B2 (ja) * 2015-06-30 2018-10-24 富士フイルム株式会社 位相差顕微鏡および撮像方法
WO2017049226A1 (en) * 2015-09-16 2017-03-23 Leica Biosystems Imaging, Inc. Automated stain finding in pathology bright-field images
WO2017097950A1 (en) * 2015-12-09 2017-06-15 Ventana Medical Systems, Inc. An image scanning apparatus and methods of operating an image scanning apparatus
KR102523559B1 (ko) 2017-09-29 2023-04-19 라이카 바이오시스템즈 이미징 인크. 디지털 스캐닝 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11231228A (ja) * 1998-02-12 1999-08-27 Nikon Corp 顕微鏡システム
JP2001091846A (ja) * 1999-09-24 2001-04-06 Olympus Optical Co Ltd 顕微鏡画像転送システム
WO2008007725A1 (fr) * 2006-07-12 2008-01-17 Toyo Boseki Kabushiki Kaisha Analyseur et son utilisation
JP2012523583A (ja) * 2009-04-13 2012-10-04 ゼネラル・エレクトリック・カンパニイ 改良型予測オートフォーカスシステム及びその方法
WO2017053891A1 (en) * 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging

Also Published As

Publication number Publication date
EP4254037A2 (en) 2023-10-04
EP3625600B1 (en) 2023-08-23
ES2959361T3 (es) 2024-02-23
US10481377B2 (en) 2019-11-19
CN111183385B (zh) 2022-04-08
CA3075288C (en) 2022-08-30
JP6899963B2 (ja) 2021-07-07
AU2018339011B2 (en) 2023-11-02
AU2018339011A1 (en) 2020-01-23
US11422351B2 (en) 2022-08-23
EP3625600A4 (en) 2021-01-27
KR102523559B1 (ko) 2023-04-19
EP4254037A3 (en) 2023-12-27
CN114779459A (zh) 2022-07-22
KR102411099B1 (ko) 2022-06-22
US20190101739A1 (en) 2019-04-04
KR20220092999A (ko) 2022-07-04
WO2019068043A1 (en) 2019-04-04
CN111183385A (zh) 2020-05-19
AU2024200522A1 (en) 2024-02-15
KR20200041982A (ko) 2020-04-22
US20200064612A1 (en) 2020-02-27
US12078790B2 (en) 2024-09-03
US20210103134A1 (en) 2021-04-08
US10852523B2 (en) 2020-12-01
EP3625600A1 (en) 2020-03-25
US20220357565A1 (en) 2022-11-10
CA3075288A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6899963B2 (ja) リアルタイムの自動焦点調節走査
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
JP6869434B2 (ja) スライドラッククランプ装置
JP6940696B2 (ja) 二次元および三次元の固定式z走査
JP2020507106A (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
JP2020536279A (ja) スライド在庫調べおよび再挿入システム
JP6952891B2 (ja) 2×3および1×3スライド用のカルーセル
JP2021512346A (ja) 衝撃再走査システム
JP2021505925A (ja) カラーモニタ設定の更新
JP6945737B2 (ja) デュアルプロセッサ画像処理

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210615

R150 Certificate of patent or registration of utility model

Ref document number: 6899963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250