JP2020536271A - 二次元および三次元の固定式z走査 - Google Patents

二次元および三次元の固定式z走査 Download PDF

Info

Publication number
JP2020536271A
JP2020536271A JP2020517495A JP2020517495A JP2020536271A JP 2020536271 A JP2020536271 A JP 2020536271A JP 2020517495 A JP2020517495 A JP 2020517495A JP 2020517495 A JP2020517495 A JP 2020517495A JP 2020536271 A JP2020536271 A JP 2020536271A
Authority
JP
Japan
Prior art keywords
linear arrays
image
specimen
digital scanning
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020517495A
Other languages
English (en)
Other versions
JP6940696B2 (ja
JP2020536271A5 (ja
Inventor
ゾウ ユンルー
ゾウ ユンルー
ナジマバディ ペイマン
ナジマバディ ペイマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2020536271A publication Critical patent/JP2020536271A/ja
Publication of JP2020536271A5 publication Critical patent/JP2020536271A5/ja
Priority to JP2021143400A priority Critical patent/JP7184983B2/ja
Application granted granted Critical
Publication of JP6940696B2 publication Critical patent/JP6940696B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

標本と対物レンズとの間の相対的なZ軸運動なしで標本の2Dまたは3D画像を走査するための装置および方法。一実施形態では、装置は、ピクセルの個々のラインを有するチルトカメラを含む。ピクセルの各ラインは、別々に処理することができ、ステージに対して異なる画像面にあってよい。ピクセルの各ラインの被写界深度は、チルトカメラ内のピクセルの隣接するラインと当接する、わずかに重なる、またはそこからわずかに離れている。傾斜の角度は、ピクセルの隣接するライン同士の関係性(当接する、重なっている、または離れている)を決定する。ピクセルの各ラインによって生成された個々の画像ラインを結合して試料の3Dボリューム画像にすることができる。また、各X−Y位置における最も高い対照ラインを結合して試料の焦点が合った2D画像にすることもできる。

Description

関連出願の相互参照
本出願は、2017年9月29日に出願された米国仮特許出願第62/566,178号の優先権を主張し、この特許出願は、全体が記載されるように参照により本明細書に組み込まれる。
本発明は一般にデジタル病理学の分野に関し、より詳細には、試料を支持するステージと対物レンズとの間に相対的な移動がない三次元(3D)および二次元(2D)走査に関する。
対象物の深度が、撮像デバイスによってカバーされる被写界深度(DoF)より大きい場合、対象物の3D画像に近けるためには、従来の画像走査システムは、制限されたDoF光学系を使用して対象物の中の様々な深度において一連の2D平面画像を走査し、その後2D平面画像を結合してZスタック画像にする。このプロセスは、Zスタッキングと呼ばれ、結果として生じる3DのZスタック画像は、種々の2D平面画像の画像データの間に空白(すなわち画像データが全くない領域)を有する。このような空白は典型的には、2D平面画像のその対に関する画像データを使用して、2つの走査された2D平面画像の間に画像データを補間することによって満たされる。Zスタッキングには、それが時間のかかるプロセスであり、各々の2D平面画像を走査するためにステージを何度も繰り返し移動させることを必要とすることが理由で、難点がある。具体的には、全体のスライド撮像(「WSI」)走査デバイスでは、例えば厚みのある試料を有する細胞診スライドにおいて、スライド上の対象の地点が対象物のDoFを超えて配置される場合がある。そういった状況では、スライド上の細胞診試料の種々の層を走査するのにZスタッキングが一般的に使用される。
対照的に、薄い組織試料の場合、組織の上部面は、スライド全体にわたって完全に平らではない場合がある。組織の表面の走査される画像をスライド全体にわたって焦点をあわせて維持するためには、所定のフォーカスマップまたは動的フォーカススキームを使用するオートフォーカス技術が必要とされる。動的フォーカスは有利的に迅速であるが、主要な撮像センサに加えて1つまたは複数のセンサが必要とされ、また焦点を維持するために複雑なフィードバックループが一般的に必要とされる。フォーカスマップ法は、追加の事前走査ステップを必要とし、その結果、時間がかかる。さらに、動的技術およびフォーカスマップ技術の両方とも、主要な撮像センサの焦点面が走査中に組織の輪郭をたどることを可能にするために、試料と対物レンズとの間でZ軸での相対的な移動を必要とする。したがって、両技術とも、Z軸の一定の制御を必要とするといった複雑さを被る。したがって、上記に記載した従来システムで見られるこのような有意な問題を打開するシステムおよび方法が必要とされる。
従来システムに見られる問題に対処するために、2Dおよび3Dの固定式Z走査のためのシステムおよび方法が本明細書で説明される。一実施形態において、デジタル走査装置が、MxNの矩形に配列された複数の個々のセンサピクセルを備えるエリア走査センサにより構成され、この場合、MおよびNは一(1)に相当しない。一実施形態において、センサの各列は個別にアドレス指定が可能であり、そのためセンサの単一の列の画像データにアクセスすることができ、これを操作することができる。別の実施形態では、センサの各ピクセルは個別にアドレス指定が可能であり、そのためセンサの各単一のピクセルの画像データにアクセスすることができ、これを操作することができる。
エリア走査センサは、光学軸に対して論理的に傾けられてもよく、そのためセンサの各列は、光路に対してセンサの任意の他の列とは別個の高さにあり、またその結果、単一の列の全てのピクセルは光路に対して同じ高さにある。追加として、チルトセンサの列の間の距離は、それぞれの隣接するセンサピクセルのDoFと実質的に当接するように構成されてよく、そのため、チルトセンサによって生成される画像データには、光路に対する高さ寸法にごくわずかな重なりしかない、重なりもしくは空白が全くない、またはごくわずかな空白しかない。このことは有利には、ごくわずかな画像データの重なりしかない、画像データの重なりもしくは空白が全くない、またはごくわずかな画像データ空白しかない連続3Dボリューム画像データをもたらすことになる。したがって、3Dボリューム画像において走査した画像面の間に画像データを補間する必要はない。3Dボリューム画像データに関連して本明細書で使用される際、「連続する」という用語は、3Dボリューム画像の高さ寸法において隣接する画像面の画像データに、少ない画像データの重なりしかない、画像データの重なりもしくは空白が全くない、または少ない画像データの空白しかないことを意味する。
走査中、チルトセンサは、光路に対して特定の距離の範囲(例えば高さ)にわたって画像データを生成する。有利には、この距離の範囲は、走査されているスライド上の標本の全体の深度を網羅するように構成される。したがって、チルトセンサの下を標本が1回通過することで、標本の全体の深度および標本の全表面に関する画像データを生成する。走査された画像データを使用して、標本の全体の厚さの3D画像を生成する、および/または標本の表面の2D画像を生成する。
一実施形態において、標本を支持し、ほぼ一定の速度で標本を移動させるように構成された電動式ステージと、標本の一部分を照らすように構成された照明システムと、標本の照らされた部分を見るために位置決めされた対物レンズと、対物レンズと光学的に結合され、少なくとも2つの線形アレイ内に配置された複数の光応答性素子を含むカメラであって、第1の線形アレイの光応答性素子は、電動式ステージに対して第1の画像面内に位置決めされ、第2の線形アレイの光応答性素子は、電動式ステージに対して第2の画像面内に位置決めされ、第1の画像面と第2の画像面は一致しないカメラと、電動式ステージの第1の移動中に第1の画像面内の複数の光応答性素子からの光度を処理して第1の画像面内で標本の第1の部分の第1の画像を生成するように構成され、また、電動式ステージの第1の移動中に第2の画像面内の複数の光応答性素子からの光度を処理して第2の画像面内で標本の第1の部分の第2の画像を生成するように構成されたプロセッサであって、標本の第1の部分の連続ボリューム画像になるように第1の画像と第2の画像を位置合わせするようにさらに構成されるプロセッサとを備えるデジタル走査装置が開示される。
一実施形態において、標本を支持し、ほぼ一定の速度で標本を移動させるように構成された電動式ステージと、標本の一部分を照らすように構成された照明システムと、標本の照らされた部分を見るために位置決めされた対物レンズと、対物レンズと光学的に結合され、第1の線形アレイ内に配置された第1の複数の光応答性素子を含むカメラであって、第1の線形アレイの光応答性素子は電動式ステージに対して第1の画像面内に位置決めされ、また第1の線形アレイの光応答性素子は電動式ステージの移動の方向に直交するように位置決めされ、第1の線形アレイの光応答性素子は、電動式ステージのほぼ一定の速度と同期して画像データの複数の第1のラインを生成するように構成されており、カメラは第2の線形アレイ内に配置された第2の複数の光応答性素子をさらに含み、第2の線形アレイの光応答性素子は電動式ステージに対して第2の画像面内に位置決めされ、また、第2の線形アレイの光応答性素子は、電動式ステージの移動の方向に直交するように位置決めされ、第2の線形アレイの光応答性素子は、電動式ステージのほぼ一定の速度と同期して画像データの複数の第2のラインを生成するように構成されており、画像データの複数の第2のラインにある画像データの各ラインは、画像データの複数の第1のラインにある画像データの対応するラインを有するカメラと、画像データの複数の第1のラインにある画像データの各ラインに関する対照値を決定し、画像データの複数の第2のラインにある画像データの各ラインに関する対照値を決定し、画像データの複数の第2のラインにある画像データの各ラインの対照値を、画像データの複数の第1のラインにある画像データのその対応するラインの対照値と比較して、対応する画像データの第1のラインと画像データの第2のラインの各セットに関して画像データの最も高い対照値ラインを決定し、対応する画像データの第1のラインと画像データの第2のラインの各セットからの画像データの最も高い対照値ラインを結合して標本の第1の部分の第1の画像を生成するように構成されたプロセッサとを備えるデジタル走査装置が開示される。
カメラは、複数の線形アレイを含んでよく、複数の線形アレイの各々は、複数の画像面のそれぞれの画像面内に位置決めされてよく、当該複数の線形アレイは3つ以上である。複数の画像面にある少なくとも1つの画像面は、複数の画像面内の少なくとも1つの他の画像面と連続してもよい、または重なる場合もある。複数の画像面は、標本の全体の厚さを網羅してよい。プロセッサは、標本の一部分の全体の厚さの連続ボリューム画像になるように複数の画像面に対応する複数の画像を位置合わせするようにさらに構成されてよい。プロセッサは、標本全体の連続ボリューム画像になるように標本の複数の部分の複数の連続ボリューム画像を位置合わせするようにさらに構成されてよい。各線形アレイは、カラー線形アレイ、時間遅延積分(TDI)線形アレイまたはカラーTDI線形アレイを備えてもよい。複数の画像面は、少なくとも100ミクロンの結合された被写界深度を有してもよい。
本発明の他の特徴および利点は、以下の詳細な説明および添付図面を検討した後、当業者にとってより容易に明らかになるであろう。
本発明の構造および動作は、以下の詳細な説明および添付図面の検討から理解され、添付の図面では、同一の参照符号は同一の部分を指す。
一実施形態による、2Dおよび3Dの固定式Z走査の一例のシステムを例示するブロック図である。 一実施形態による、2Dおよび3Dの固定式Z走査の一例のシステムを例示するブロック図である。 一実施形態による、3Dの固定式Z走査の一例のプロセスを例示するフローチャートである。 一実施形態による、2Dの固定式Z走査の一例のプロセスを例示するフローチャートである。 図5Aは、本明細書で説明される様々な実施形態と関連して使用され得る、一例のプロセッサ使用可能デバイスを例示するブロック図であり、図5Bは、一実施形態による、単一の線形アレイを有する一例のライン走査カメラを例示するブロック図であり、図5Cは、一実施形態による、3つの線形アレイを有する一例のライン走査カメラを例示するブロック図であり、図5Dは、一実施形態による、複数の線形アレイを有する一例のライン走査カメラを例示するブロック図である。
本明細書に開示される特定の実施形態は、光路に沿った特定の距離寸法において、試料と対物レンズとの間の相対的な移動なしで試料を3D走査および2D走査するためのシステムおよび方法を提供する。この説明を読んだ後、様々な代替の実施形態および代替の用途において本発明をどのように実施することができるかが当業者にとって明らかになるであろう。但し本発明の種々の実施形態をここに記載してきたが、これらの実施形態は単なる一例として提示されており、限定ではないことを理解されたい。したがって、様々な代替の実施形態のこの詳細な説明は、添付の特許請求の範囲に示されるように、本発明の範囲または広がりを限定するものと解釈されるべきではない。
図1は、一実施形態による、2Dおよび3Dの固定式Z走査の一例のシステム10を例示するブロック図である。例示される実施形態では、システム10は、試料30を支持する可動式ステージ20を含む。システム10はまた、「画素」または「ピクセル」とも呼ばれる複数の個々の光応答性素子45を含むチルトエリアセンサ40も含む。ピクセルの集まりは、線形アレイ47内に配置され、各線形アレイ47は、ステージ20に対して異なる画像面内に位置決めされる。有利には、センサ40が傾けられる角度50(θでラベル付けされる)は、ピクセル45の各線形アレイ47をステージ20に対して異なる画像面内に位置決めし易くする。システム10はまた、光路内の対物レンズなどの結像光学系60も含む。
試料30の視野がチルトセンサ40に投影される際、各々の個々の線形アレイ47は、他の線形アレイ47と異なる画像面内に位置決めされる。よって、ステージ20が移動する際、個々の線形アレイ47の各々は、アレイのそれぞれの画像面において画像を走査する。有利には、このような位置決めによって、単一のチルトセンサ40が、ステージ20の進行する移動中に、異なる画像面の各々において2D画像を走査することが可能になる。そうする中で、単一のチルトセンサ40は、ステージ20の1回の移動の中で試料30の一部分(例えばストリップ)の全体の厚さを走査することができる。その後、異なる画像面における個々の2D画像を結合して試料30の一部分の連続3Dボリューム画像にすることができる。このようにして、ステージと結像光学系60との間のいかなる相対的なZ軸移動もなく、試料の一部分の3Dボリューム画像を生成することができる。有利には、複数の部分(例えばストリップ)を結合して試料全体の3Dボリューム画像を生成することができる。
図2は、一実施形態による、2Dおよび3Dの固定式Z走査の一例のシステム15を例示するブロック図である。例示の実施形態では、チルトセンサ40は、各々が複数の個々のピクセルを含む複数の線形アレイ47を含む。センサ40は、センサ40の各線形アレイ47を、試料30を支持するステージ(図示せず)に対して異なる画像面内(Z1、、Z、Z、Zなど)に位置決めする角度50(θでラベル付けされる)で傾けられる。線形アレイ47がステージ20に対してそのそれぞれの画像面に投影される際、それらは、試料30内の異なる高さの位置(L’、L’、L’、L’、L’)で図示される。光路(Z)寸法における線形アレイの間の距離(ΔZ)は、センサ40が傾けられる角度50(θでラベル付けされる)によって決定され、各線形アレイ47の間の距離(ΔL)は、以下の式の通りである。
(ΔZ)=(ΔL)*Sin(θ)
一例の実施形態
試料を支持するステージと結像光学系(例えば対物レンズ)との間の相対的な移動がない3D走査用に構成された第1の実施形態では、デジタル走査装置は、標本を支持し、ほぼ一定の速度で標本を移動させるように構成された電動式ステージを備える。装置はまた、標本の一部分を照らすように構成された照明システムと、標本の照らされた部分を見るために位置決めされた対物レンズとを含む。
デジタル走査装置はまた、対物レンズと光学的に結合されたカメラも含む。カメラは、少なくとも2つの線形アレイ内に配置された複数の光応答性素子(ピクセル)を含む。第1の線形アレイのピクセルは、電動式ステージに対して第1の画像面内に位置決めされ、第2の線形アレイのピクセルは、電動式ステージに対して第2の画像面内に位置決めされる。
デジタル走査装置はまた、電動式ステージの第1の移動中の第1の画像面内の複数のピクセルからの光度を処理して、第1の画像面内の標本の第1の部分の第1の画像を生成するように構成されたプロセッサも含む。プロセッサはまた、電動式ステージの同一の第1の移動中の第2の画像面内の複数のピクセルからの光度を処理して、第2の画像面内の標本の第1の部分の第2の画像を生成するようにも構成される。プロセッサはまた、標本の第1の部分の連続3Dボリューム画像になるように第1の画像と第2の画像を位置合わせするように構成されてよい。連続3Dボリューム画像の生成は有利には、標本を支持するステージと結像光学系(例えば対物レンズ)との間の相対的な移動なしで達成される。
デジタル走査装置のカメラはまた、例えば十(10)個、千(1000)個、四千(4000)個などの多数の線形アレイのピクセルを含んでよく、またはさらにより多くの線形アレイがカメラに含まれる場合もある。線形アレイの個々のピクセルは各々、同一の視野の深度(被写界深度と呼ばれる)を有することから、線形アレイによってカバーされる被写界深度は、線形アレイが位置決めされる画像面を画定する。したがってカメラ内の線形アレイの配置は、隣接する線形アレイの画像面が当接する、重なり合う、またはそれらの間に空白を有するようなものであり得る。有利には、個々の線形アレイによって決定されるようなカメラ全体によってカバーされる被写界深度は、格別に厚みのある標本の全体の厚さを網羅し、それによりデジタル走査装置によって走査されるほぼ全ての標本の全体の厚さを網羅するのに十分な大きさであるように構成することができる。一実施形態において、カメラ全体によってカバーされるDoFは、100ミクロンである。代替の実施形態では、カメラ全体のDoFは、10〜1000ミクロンの範囲であってよい。
追加として、デジタル走査装置のプロセッサは、異なる画像面内の異なる線形アレイによって取り込まれた標本の同一部分の複数の画像を位置合わせするように構成される。位置合わせされた画像は有利には、標本の一部分の全体の厚さの連続3Dボリューム画像を形成する。プロセッサはまた、標本全体の連続3Dボリューム画像なるように標本の複数の3Dボリューム画像の一部分を位置合わせしてもよい。
異なる構成では、デジタル走査装置の線形アレイは、カラー線形アレイ、時間遅延積分(TDI)線形アレイまたはカラーTDI線形アレイを備えてもよい。
標本を支持するステージと結像光学系(例えば対物レンズ)との間の相対的な移動がない2D走査用に構成された第2の実施形態では、デジタル走査装置は、標本を支持し、ほぼ一定の速度で標本を移動させるように構成された電動式ステージと、標本の一部分を照らすように構成された照明システムと、標本の照らされた部分を見るために位置決めされた対物レンズと、対物レンズと光学的に結合されたカメラとを備える。
カメラは、第1の線形アレイ内に配置された第1の複数の光応答性素子(ピクセル)を含み、第1の線形アレイのピクセルは、電動式ステージに対して第1の画像面内に位置決めされ、電動式ステージの移動の方向に直交するように位置決めされる。第1の線形アレイのピクセルは、ほぼ一定の速度の電動式ステージと同期して光度を生成するように構成され、光度は、画像データの複数の第1のラインに変換される。
カメラはまた、第2の線形アレイ内に配置された第2の複数のピクセルも含んでおり、第2の線形アレイのピクセルは、電動式ステージに対して第2の画像面内に位置決めされ、これもまた電動式ステージの移動の方向に直交するように位置決めされる。第2の線形アレイのピクセルも同様に、ほぼ一定の速度の電動式ステージと同期して光度を生成するように構成される。光度は、画像データの複数の第2のラインに変換され、画像データの各第2のラインは、画像データの対応する第1のラインを有する。
デジタル走査装置はまた、例えばメリット関数を利用して、画像データの各第1のラインおよび画像データの各第2のラインに関する対照値を決定するように構成されたプロセッサも含む。プロセッサは、画像データの第1のラインの対照値を画像データのその対応する第2のラインの対照値と比較して、画像データの対応するラインの各グループにおける最も高い対照値を有する画像データのラインを決定する。画像データの対応するラインのグループ内の画像データのラインの数は、カメラにおける線形アレイの数と等しくなり得る。
プロセッサはまた、画像データの対応するラインの各グループから最も高い対照値を有する画像データのラインを結合して標本の表面の一部分の画像を生成するように構成される。これは有利には、標本を支持するステージと結像光学系(例えば対物レンズ)との間の相対的な移動なしで達成される。
デジタル走査装置のカメラはまた、例えば十(10)個、千(1000)個、四千(4000)個などの多数の線形アレイのピクセルを含んでよく、またはさらにより多くの線形アレイがカメラに含まれる場合もある。線形アレイの個々のピクセルは各々、視野に対する同一の深度(被写界深度と呼ばれる)を有することから、線形アレイによってカバーされる被写界深度は、線形アレイが位置決めされる画像面を画定する。したがって、カメラ内の線形アレイの配置は、隣接する線形アレイの画像面が当接する、重なり合う、またはそれらの間に空白を有するようなものであり得る。有利には、個々の線形アレイによって決定されるようなカメラ全体によってカバーされる被写界深度は、デジタル走査装置によって走査される標本の表面の、光路に対する全範囲を網羅するように十分な大きさであるように構成することができる。一実施形態において、カメラ全体によってカバーされるDoFは、100ミクロンである。代替の実施形態では、カメラ全体のDoFは、10〜1000ミクロンの範囲であってよい。
追加として、デジタル走査装置のプロセッサは、異なる画像面内の異なる線形アレイによって取り込まれた標本の同一部分の複数の画像を位置合わせするように構成される。位置合わせされた画像は有利には、標本の一部分の全体の厚さの連続3Dボリューム画像を形成する。プロセッサはまた、標本全体の連続3Dボリューム画像になるように標本の複数の3Dボリューム画像の一部分を位置合わせしてもよい。
異なる構成では、デジタル走査装置の線形アレイは、カラー線形アレイ、時間遅延積分(TDI)線形アレイまたはカラーTDI線形アレイを備えてもよい。
一例のプロセス
図3は、一実施形態による、3Dの固定式Z走査の一例のプロセスを例示するフローチャートである。プロセスは、特定の配置および特定のステップの順序で例示されるが、プロセスは、より少ない、より多い、あるいは異なるステップならびに異なる配置および/または異なるステップの順序で実施される場合もある。プロセスは、デジタル走査装置の少なくとも1つのハードウェアプロセッサによって実施され得ることを理解されたい。
例示されるように、ステップ310および315が、走査される標本または他の試料の各部分に対して実行される。具体的には、走査すべき部分が残っている場合(すなわちステップ305では「はい」)、ステップ310において、その部分が、異なる画像面内に複数の線形アレイを有するチルトカメラによって走査されて、異なる画像面の各々において標本の一部分を同時に検知する。標本の一部分は、デジタル走査装置の対物レンズと標本との間の距離は固定されたまま検知されてよい。その後、ステップ315において、異なる画像面の各々に標本の検知された部分を有するように連続ボリューム画像が生成される。一方、走査すべき標本の部分が残っていない場合(すなわちステップ305では「いいえ」)、ステップ320において、標本の連続ボリューム画像(例えば標本全体または標本のより大きな部分)になるように標本の各々の検知した部分に関する連続ボリューム画像を位置合わせする。
図4は、一実施形態による、2Dの固定式Z走査の一例のプロセスを例示するフローチャートである。プロセスは、特定の配置および特定のステップの順序で例示されるが、プロセスは、より少ない、より多い、あるいは異なるステップならびに異なる配置および/または異なるステップの順序で実施される場合もある。プロセスは、デジタル走査装置の少なくとも1つのハードウェアプロセッサによって実施され得ることを理解されたい。
例示されるように、ステップ410〜435は、走査される標本または他の試料の各部分に対して実行される。具体的には、走査すべき部分が残っている場合(すなわちステップ405では「はい」)、ステップ410において、その部分が、異なる画像面内に複数の線形アレイを有するチルトカメラによって走査されて、異なる画像面の各々において標本の一部分を同時に検知する。その後、ステップ420が、チルトカメラ内の各線形アレイに対して実行される。具体的には、考慮すべき線形アレイが残っている場合(すなわちステップ415では「はい」)、ステップ420において、その線形アレイに関して対照値(例えば平均対照値)が計算される。対照値は、何らかの開示された方法または周知の方法で計算されてよい。
一方、対照値が、カメラ内の全ての線形アレイに対して計算された場合(すなわちステップ415では「いいえ」)、線形アレイの全体にわたる対応するラインの各セットに対してステップ430が実行される。具体的には、カメラ内の各線形アレイは画像データの複数のラインを生成し、画像データの各ラインは、カメラ内の他の線形アレイの各々における画像データのラインに対応している。所与のセットの対応するラインにある各ラインは、そのセット内の他のラインと同一の標本の視野の画像データを表しているが、そのセット内の他のラインとは異なる画像面で取り込まれた画像データを表していることを理解されたい。対応するラインのこのようなセット(すなわち、異なる画像面内の線形アレイの各々によって生成されたラインで構成される)の各々が考慮される。考慮すべき対応するラインのセットが残っている場合(すなわちステップ425では「はい」)、ステップ430において、対応するラインの次のセットが考慮され、また最も高い対照値を有するセットの中のラインが選択される。一方、対応するラインの全てのセットが考慮された場合(すなわちステップ425では「いいえ」)、ステップ435において、対応するラインのセットの各々から選択された最も高い対照ラインを結合して標本の一部分の画像にする。
最後に、全ての部分が走査された場合(すなわちステップ405では「いいえ」)、ステップ440において、ステップ435の様々な繰り返しの中で生成された一部分の画像を位置合わせして標本の画像(例えば標本全体または標本のより大きな部分)にする。
一例の走査装置
図5Aは、本明細書で説明される様々な実施形態と関連して使用され得る、一例のプロセッサ使用可能デバイス550を例示するブロック図である。デバイス550の代替の形式もまた、当業者によって理解されるように使用されてもよい。例示される実施形態では、デバイス550は、1つまたは複数のプロセッサ555、1つまたは複数のメモリ565、1つまたは複数のモーションコントローラ570、1つまたは複数のインタフェースシステム575、1つまたは複数の試料590を有する1つまたは複数のスライドガラス585を各々が支持する1つまたは複数の可動ステージ580、試料を照らす1つまたは複数の照明システム595、光学軸に沿って進む光路605を各々が画定する1つまたは複数の対物レンズ600、1つまたは複数の対物レンズポジショナ630、1つまたは複数の任意選択の落射照明システム635(例えば、蛍光発光スキャナシステムに含まれる)、1つまたは複数の集束光学系610、1つまたは複数のライン走査カメラ615および/または1つまたは複数の追加のカメラ620(例えばライン走査カメラまたはエリア走査カメラ)であって、その各々が試料590(例えば試料210に対応する)および/またはスライドガラス585(例えばスライド200に対応する)上で別個の視野625を画定する1つまたは複数のライン走査カメラ615および/または1つまたは複数の追加のカメラ620と、を備える、デジタル撮像デバイス(本明細書では、スキャナシステム、走査システム、走査装置、デジタル走査装置、デジタルスライド走査装置などとも称される)として提示される。スキャナシステム550の様々な要素は、1つまたは複数の通信バス560を介して通信可能に結合される。簡略化のために、スキャナシステム550の様々な要素の各々のうちの1つまたは複数が存在する場合があるが、それらの要素は、適切な情報を搬送するために複数で説明する必要があるときを除いて、単数で説明される。
1つまたは複数のプロセッサ555は、例えば命令を並列に処理することが可能な中央処理装置(「CPU」)および別個のグラフィックプロセシングユニット(「GPU」)を含んでもよく、あるいは1つまたは複数のプロセッサ555は、命令を並列に処理することが可能なマルチコアプロセッサを含んでもよい。追加の別個のプロセッサが、特定の構成要素を制御するため、または画像処理などの特定の機能を実行するために設けられてもよい。例えば、追加のプロセッサは、データ入力を管理する補助プロセッサ、浮動小数点数学演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適切なアーキテクチャを有する特殊目的プロセッサ(例えば、デジタルシグナルプロセッサ)、メインプロセッサに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、ライン走査カメラ615、ステージ580、対物レンズ225および/またはディスプレイ(図示せず)を制御するための追加のプロセッサを含んでもよい。そのような追加のプロセッサは、別個の離散プロセッサであってもよく、またはプロセッサ555と統合されてもよい。
メモリ565は、プロセッサ555によって実行することができるプログラムに関するデータおよび命令の記憶装置を提供する。メモリ565は、データおよび命令を格納する1つまたは複数の揮発性および/または不揮発性コンピュータ可読記憶媒体を含んでよく、例えばランダムアクセスメモリ、読み出し専用メモリ、ハードディスクドライブ、着脱可能記憶ドライブなどを含んでもよい。プロセッサ555は、メモリ565に格納された命令を実行し、スキャナシステム550の全体的な機能を実行するために、通信バス560を介してスキャナシステム550の様々な要素と通信するように構成される。
1つまたは複数の通信バス560は、アナログ電気信号を搬送するように構成された通信バス560を含んでもよく、またデジタルデータを搬送するように構成された通信バス560を含んでもよい。したがって、1つまたは複数の通信バス560を介したプロセッサ555、モーションコントローラ570および/またはインタフェースシステム575からの通信は、電気信号およびデジタルデータの両方を含んでもよい。プロセッサ555、モーションコントローラ570および/またはインタフェースシステム575はまた、無線通信リンクを介して、走査システム550の様々な要素のうちの1つまたは複数と通信するように構成されてもよい。
モーション制御システム570は、ステージ580のX、Yおよび/またはZ移動(X−Y面内)および/または対物レンズ600のX、Yおよび/またはZ移動(例えば、対物レンズポジショナ630を介してX−Y面に対して直交してZ軸に沿った)を正確に制御し調整するように構成される。モーション制御システム570はまた、スキャナシステム550におけるいずれの他の移動部分の移動を制御するようにも構成される。例えば、蛍光発光スキャナの実施形態では、モーション制御システム570は、落射照明システム635において光学フィルタなどの移動を調整するように構成される。
インタフェースシステム575は、スキャナシステム550が他のシステムおよび人的操作と連動することを可能にする。例えば、インタフェースシステム575は、オペレータに直接情報を提供する、および/またはオペレータからの直接の入力を可能にするユーザインタフェースを含んでもよい。インタフェースシステム575はまた、走査システム550と、直接接続された1つまたは複数の外部デバイス(例えば、プリンタ、着脱可能記憶媒体)またはネットワーク(図示せず)を介してスキャナシステム550に接続された画像サーバシステム、オペレータステーション、ユーザステーション、および管理サーバシステムなどの外部デバイスとの間の通信およびデータ転送を促進するように構成される。
照明システム595は、試料590の一部分を照射するように構成される。照明システムは、例えば、光源および照明光学系を含んでもよい。光源は、光出力を最大化する凹型反射ミラーと、熱を抑制するKG−1フィルタとを有する可変輝度ハロゲン光源を備えてもよい。光源はまた、任意の種類のアークランプ、レーザまたは他の光源を備える場合もある。一実施形態では、照明システム595は、透過モードにおいて試料590を照射し、その結果、ライン走査カメラ615および/またはカメラ620は、試料590を通じて伝送された光エネルギーを検知する。代替として、または組み合わせて、照明システム595はまた、反射モードにおいて試料590を照射するように構成されてもよく、その結果、ライン走査カメラ615および/またはカメラ620は、試料590から反射された光エネルギーを検知する。照明システム595は、光学顕微鏡検査の任意の既知のモードにおける顕微鏡の試料590の検査に適するように構成されてもよい。
一実施形態では、スキャナシステム550は、任意選択で、蛍光発光走査に合わせてスキャナシステム550を最適化する落射照明システム635を含む。蛍光発光走査は、蛍光発光分子を含む試料590の走査であり、蛍光発光分子は、特定の波長で光を吸収する(励起)ことができる感光性分子である。このような感光性分子はまた、より高い波長において光を放出する(放射)。このようなフォトルミネセンス現象の効率性が非常に低いことが理由で、放射される光の量が非常に少ない場合が多い。このように放射される光の量が少ないことは、典型的には、試料590を走査しデジタル化するための従来の技術(例えば、透過モード顕微鏡検査)の妨げとなる。有利なことに、スキャナシステム550の任意選択の蛍光発光スキャナシステムの実施形態では、複数の線形センサアレイを含むカメラ615および/または620(例えば、時間遅延統合(「TDI」)ライン走査カメラ)を使用することで、カメラ615および/または620の複数の線形センサアレイの各々に試料590の同一の領域を暴露することによってライン走査カメラの光に対する感度を高めることができる。これは、少ない放射光によって微弱な蛍光発光試料を走査する際にとりわけ有益である。
したがって、蛍光発光スキャナシステムの実施形態では、カメラ615および/または620の少なくとも1つは好ましくはモノクロTDIライン走査カメラである。有利なことに、モノクロ画像は、それらが、試料に存在する様々なチャネルからの実信号のより正確な表現を提供することが理由で、蛍光発光顕微鏡検査において理想的である。当業者によって理解されるように、蛍光発光試料590は、異なる波長で光を放射する複数の蛍光染料によりラベル付けすることができ、このような異なる波長は「チャネル」とも称される。
さらに、様々な蛍光発光試料のローエンド信号レベルおよびハイエンド信号レベルは、カメラ615および/または620が検知するために広いスペクトルの波長を提示するために、カメラ615および/または620が検知することができるローエンド信号レベルおよびハイエンド信号レベルも同じように広いことが望ましい。したがって、蛍光発光スキャナの実施形態では、蛍光発光走査システム550において使用されるカメラ615および/または620の少なくとも1つは、モノクロ10ビットの64個の線形アレイのTDIライン走査カメラである。走査システム550の蛍光発光スキャナの実施形態による使用のためにカメラ615および/または620についての様々なビット深度を採用することができることに留意すべきである。
可動ステージ580は、プロセッサ555またはモーションコントローラ570の制御の下での正確なXーY移動のために構成される。可動ステージはまた、プロセッサ555またはモーションコントローラ570の制御の下でのZ移動のために構成されてもよい。可動ステージは、カメラ615および/または620による画像データを取り込みの間、試料を所望の位置に位置付けるように構成される。可動ステージはまた、走査方向においてほぼ一定の速度まで試料590を加速させ、その後、カメラ615および/または620の少なくとも1つによる画像データ取り込みの間、ほぼ一定の速度を維持するように構成される。一実施形態では、スキャナシステム550は、可動ステージ580上での試料590の位置において支援するために高精度かつ厳格に調整されたX−Yグリッドを採用してもよい。一実施形態では、可動ステージ580は、X軸およびY軸の両方において採用された高精度エンコーダを有するリニアモータに基づくXーYステージである。例えば、非常に正確なナノメータエンコーダを、走査方向における軸上で、および走査方向に垂直な方向で、かつ走査方向と同一平面にある軸上で使用することができる。ステージはまた、試料590がその上に配置されたスライドガラス585を支持するようにも構成される。
試料590(試料210に相当する)は、光学顕微鏡検査によって検査され得るどんなものであってもよい。例えば、顕微鏡スライドガラス585(スライド200に相当する)は、組織および細胞、染色体、DNA、タンパク質、血液、骨髄、尿、バクテリア、気泡、生検材料、または死亡しているか、生存しているかのいずれかであり、着色されているか、着色されていないかのいずれかであり、ラベル付けされているか、ラベル付けされていないかのいずれかである、任意の他のタイプの生物材料または物質を含む標本についての観察用の基板として頻繁に使用される。試料590はまた、マイクロアレイとして一般的に知られている任意の試料および全ての試料を含む、任意のタイプのスライドもしくは他の基板上に堆積された任意のタイプのDNA、またはcDNAもしくはRNAなどのDNA関連材料、またはタンパク質の配列であってもよい。試料590は、マイクロタイタープレート(例えば、96ウェルプレート)であってもよい。試料590の他の例には、集積回路基板、電気泳動レコード、ペトリ皿、フィルム、半導体材料、法医学材料または機械加工部品が含まれる。
対物レンズ600は、対物レンズポジショナ630上に取り付けられ、対物レンズポジショナ630は、一実施形態では、対物レンズ600によって画定された光学軸に沿って対物レンズ600を移動させるために非常に正確なリニアモータを採用する。例えば、対物レンズポジショナ630のリニアモータは、50ナノメートルのエンコーダを含んでもよい。X、Yおよび/またはZ軸におけるステージ580および対物レンズ600の相対的な位置は、走査システム550全体の動作のためにコンピュータ実行可能なプログラムされたステップを含む、情報および命令を格納するためのメモリ565を採用するプロセッサ555の制御の下でモーションコントローラ570を使用して閉ループ方式において調整され制御される。
一実施形態では、対物レンズ600は、望ましい最高空間分解能に対応する開口数を有する平面アポクロマート(「APO」)無限補正対物レンズであり、対物レンズ600は、透過モード照明顕微鏡検査、反射モード照明顕微鏡検査および/または落射照明モード蛍光発光顕微鏡検査に適切である(例えば、Olympus 40X、0.75NAもしくは20X、0.75NA)。有利なことに、対物レンズ600は、色収差および球面収差を補正することが可能である。対物レンズ600が無限に補正されるため、集束光学系610は、対物レンズ600より上で光路605内に配置することができ、この場合、対物レンズを通過する光ビームは平行光ビームとなる。集束光学系610は、対物レンズ600によって取り込まれた光信号をカメラ615および/または620の光応答性素子上に集束させ、フィルタ、倍率変換器レンズなどの光学構成要素を含んでもよい。集束光学系610と組み合わされた対物レンズ600は、走査システム550に関する全倍率を提供する。一実施形態では、集束光学系610は、チューブレンズおよび任意選択の2Xの倍率変換器を包含してもよい。有利なことに、2Xの倍率変換器によって、本来の20Xの対物レンズ600が40Xの倍率で試料590を走査することが可能になる。
カメラ615および/または620のうちの1つまたは複数は、画素(「ピクセル」)の少なくとも1つの線形アレイを含んでよい。カメラ615および/または620は、モノクロであってもカラーであってもよい。カラーライン走査カメラは典型的には、少なくとも3つの線形アレイを有するが、モノクロライン走査カメラは、単一の線形アレイまたは複数の線形アレイを有する場合がある。カメラの一部としてパッケージ化されていようと、撮像電子モジュールにカスタム統合されていようと任意のタイプの単数または複数の線形アレイも同様に使用することができる。例えば、3つの線形アレイ(「赤−緑−青」、すなわち「RGB」)カラーライン走査カメラまたは96個の線形アレイモノクロTDIが使用されてもよい。TDIライン走査カメラは典型的には、標本の、以前に撮像された領域からの強度データを合計することによって、出力信号において大幅に良好な信号対雑音比(「SNR」)を提供し、統合ステージの数の平方根に比例するSNRにおける増大をもたらす。TDIライン走査カメラは、複数の線形アレイを含む。例えば、TDIライン走査カメラは、24個、32個、48個、64個、96個、またはそれより多い線形アレイと共に利用可能である。スキャナシステム550はまた、512個のピクセルを有するもの、1024個のピクセルを有するもの、および4096個ものピクセルを有するその他のものを含めた、様々な形式で製造された線形アレイも支持する。同様に、様々なピクセルサイズを有する線形アレイもまた、スキャナシステム550において使用することができる。カメラ615および/または620のための任意のタイプのライン走査カメラの選択に関する突出した要件は、ステージ580の動きをライン走査カメラ615のラインレートと同期させることができ、その結果、試料590のデジタル画像取り込みの間、ステージ580がライン走査カメラに対して移動することができることである。
ライン走査カメラ615および/または620によって生成された画像データは、メモリ565の一部分に格納され、プロセッサ555によって処理されて試料590の少なくとも一部分の連続デジタル画像を生成する。連続デジタル画像は、プロセッサ555によってさらに処理することができ、修正された連続するデジタル画像もメモリ565に格納することができる。
代替の一実施形態では、カメラ615および/または620は、一連の物理的に統合されたライン走査カメラとして機能するために、各ラインが独立したエリア走査カメラである場合もある。さらに、エリア走査カメラの各ライン内にあるピクセルの全てが光路に対して同一の画像面内にあるように、かつ任意の2つの別個のラインの2つのピクセルがいずれも光路に対して同一の画像面内にないように、個々のラインの各々を光路に沿った異なる距離に論理的に位置決めすることができる。有利なことには、このようなカメラの構成によって、組み合わされたエリア走査カメラ615および/または620が複数の画像面において厚みのある標本を撮像し、それにより厚みのある標本のボリューム画像を構築することを可能にする。代替として、または組み合わせて、このようなカメラの構成によって、各X−Y位置において最も高い対照値を有する個々のラインを他の最も高い対照値を有する個々のラインと合体させて標本の表面の十分に焦点が合った2D画像を構築することが可能になる。
動作中、スキャナシステム550の様々な構成要素およびメモリ565に格納されたプログラムモジュールは、スライドガラス585上に配置された試料590の自動走査およびデジタル化を可能にする。スライドガラス585は、試料590を走査するためにスキャナシステム550の可動ステージ580上に確実に配置される。プロセッサ555の制御の下で可動ステージ580は、ライン走査カメラ615および/または620による検知のためにほぼ一定の速度まで試料590を加速させ、この場合、ステージの速度はライン走査カメラ615のラインレートと同期する。画像データの1つのストリップを走査した後、可動ステージ580は減速し、試料をほぼ完全に停止するようにする。可動ステージ580は次いで、画像データの後続のストリップ(例えば、隣接するストリップ)の走査のために試料590を位置付けるために走査方向に直交するように移動する。試料590の全ての部分または試料590全体が走査されるまで追加のストリップが続いて走査される。
例えば、試料590のデジタル走査の間、試料590のデジタル画像は、画像のストリップを形成するために一緒に結合された複数の視野として取得される。複数の隣接する画像ストリップも同様に、試料590の一部分またはその全体のデジタル画像を形成するために一緒に結合される。試料590の走査処理は、垂直画像ストリップまたは水平画像ストリップを取得することを含んでもよい。試料590の走査処理は、上から下、下から上、またはその両方(双方向)のいずれであってもよく、試料上の任意の地点で開始してもよい。代替として、試料590の走査処理は、左から右、右から左、またはその両方(双方向)のいずれであってもよく、試料上の任意の地点で開始してもよい。加えて、画像ストリップは、隣接するように、または連続するように取得される必要はない。さらに、試料590の結果として生じる画像は、試料590の全体の画像である場合もあれば、試料590の一部分のみの画像である場合もある。
一実施形態では、コンピュータ実行可能命令(例えば、プログラムされたモジュールおよびソフトウェア)がメモリ565に格納され、実行される際、走査システム550が本明細書で説明される様々な機能を実行することを可能にする。この説明では、用語「コンピュータ可読記憶媒体」は、プロセッサ555による実行のためにコンピュータ実行可能命令を格納し、走査システム550に提供するのに使用される任意の媒体を指すのに使用される。このような媒体の例には、メモリ565、および直接的、または例えばネットワーク(図示せず)を介して間接的のいずれかで走査システム550と通信可能に結合された任意の取り外し可能な、または外部の記憶媒体(図示せず)が含まれる。
図5Bは、単一の線形アレイ640を有するライン走査カメラを例示しており、その各々は電荷結合素子(「CCD」)アレイとして実装されてよい。単一の線形アレイ640は、複数の個々のピクセル645を含む。例示される実施形態では、単一の線形アレイ640は、4096個のピクセルを有する。代替の実施形態では、線形アレイ640は、より多くの、またはより少ないピクセルを有する場合もある。例えば、線形アレイの一般的な形式は、512個、1024個および4096個のピクセルを含む。ピクセル645は、直線方式で配列されて、線形アレイ640についての視野625を画定する。視野のサイズは、スキャナシステム550の倍率に応じて変化する。
図5Cは、3つの線形アレイを有するライン走査カメラを例示しており、その各々がCCDアレイとして実装されてよい。3つの線形アレイが結合してカラーアレイ650を形成する。一実施形態では、カラーアレイ650内の各々の個々の線形アレイは、異なる色の強さ、例えば、赤色、緑色または青色を検出する。カラーアレイ650内の各々の個々の線形アレイからのカラー画像データが結合されてカラー画像データの単一の視野625を形成する。
図5Dは、複数の線形アレイを有するライン走査カメラを例示しており、その各々がCCDアレイとして実装されてよい。複数の線形アレイが結合してTDIアレイ655を形成する。有利なことに、TDIライン走査カメラは、標本の、以前に撮像された領域からの強度データを合計することによって、その出力信号において大幅に良好なSNRを提供し、線形アレイの数(統合ステージとも称される)の平方根に比例するSNRにおける増大をもたらす。TDIライン走査カメラは、より多様な数の線形アレイを含んでもよい。例えば、TDIライン走査カメラの一般的な形式は、24個、32個、48個、64個、96個、120個またはそれより多い線形アレイを含む。
開示される実施形態の上記の説明は、いずれかの当業者が本発明を作成する、または使用することを可能にするために提供される。それらの実施形態に対する様々な修正は、当業者にとって容易に明らかであり、本明細書で説明された一般的な原理は、本発明の精神または範囲から逸脱することなく他の実施形態に適用することができる。よって、本明細書で提示される説明および図面は、本発明の現時点で好ましい実施形態を表しており、したがって本発明によって広く検討される主題を代表するものであることを理解されたい。本発明の範囲は、当業者にとって明白になり得る他の実施形態を完全に包含すること、ならびに本発明の範囲はこれにより限定されないことをさらに理解されたい。

Claims (20)

  1. デジタル走査装置であって、前記デジタル走査装置は、
    標本を支持し、ほぼ一定の速度で前記標本を移動させるように構成された電動式ステージと、
    視野を照らすように構成された照明システムと、
    前記照らされた視野をカメラに光学的に結合する光路を画定する対物レンズと、
    少なくとも1つのプロセッサと、
    を備え、
    前記カメラは、複数の線形アレイ内に配置された複数の光応答性素子を含み、前記カメラが前記光路に対して傾けられることで、前記複数の線形アレイの各々は、前記光路に対して、他の複数の線形アレイのいずれとも異なる、複数の画像面のうちの1つに位置決めされ、
    前記少なくとも1つのプロセッサは、標本が前記電動式ステージによって支持される間、前記対物レンズの下の前記ほぼ一定の速度での前記電動式ステージの1回または複数回の通過の各々に関して、
    前記通過の間、前記複数の線形アレイの全てからの光度を同時に検知し、
    前記複数の線形アレイの各々について、前記通過の間にその線形アレイによって検知された光度を処理して、その線形アレイが位置決めされる前記画像面内の前記標本の一部分の画像を生成し、
    前記標本の前記一部分の連続ボリューム画像になるように前記複数の画像面内の前記標本の前記一部分の前記画像を位置合わせする、
    ように構成される、
    デジタル走査装置。
  2. 前記複数の線形アレイの数は、3つ以上である、
    請求項1に記載のデジタル走査装置。
  3. 前記複数の線形アレイの各々の被写界深度は、その線形アレイに隣接する前記複数の線形アレイの各々の被写界深度と実質的に当接する、
    請求項1または2に記載のデジタル走査装置。
  4. 前記複数の線形アレイの各々の被写界深度は、その線形アレイに隣接する前記複数の線形アレイの各々の被写界深度に重なる、
    請求項1または2に記載のデジタル走査装置。
  5. 前記複数の線形アレイの被写界深度は、前記標本の全体の厚さを網羅する、
    請求項1から4のいずれかに記載のデジタル走査装置。
  6. 前記1回または複数回の通過の各々に関して、前記連続ボリューム画像は、前記標本の前記一部分の全体の厚さを網羅する、
    請求項5に記載のデジタル走査装置。
  7. 前記プロセッサは、前記標本全体の連続ボリューム画像になるように前記標本の一部分の複数の連続ボリューム画像を位置合わせするようにさらに構成される、
    請求項1から6のいずれかに記載のデジタル走査装置。
  8. 前記複数の線形アレイの各々は、カラー線形アレイを備える、
    請求項1から7のいずれかに記載のデジタル走査装置。
  9. 前記複数の線形アレイの各々は、時間遅延積分(TDI)線形アレイを備える、
    請求項1から7のいずれかに記載のデジタル走査装置。
  10. 前記TDI線形アレイは、カラーTDI線形アレイを備える、
    請求項9に記載のデジタル走査装置。
  11. 各通過の間、前記対物レンズと前記標本との間の固定された距離を維持するために前記対物レンズは静止したままである、
    請求項1から10のいずれかに記載のデジタル走査装置。
  12. デジタル走査装置であって、前記デジタル走査装置は、
    標本を支持し、ほぼ一定の速度で前記標本を移動させるように構成された電動式ステージと、
    視野を照らすように構成された照明システムと、
    前記照らされた視野をカメラに光学的に結合する光路を画定する対物レンズと、
    少なくとも1つのプロセッサと、
    を備え、
    前記カメラは、複数の線形アレイ内に配置された複数の光応答性素子を含み、前記カメラが前記光路に対して傾けられることで、前記複数の線形アレイの各々は、前記光路に対して、他の複数の線形アレイのいずれとも異なる、複数の画像面のうちの1つに位置決めされ、前記複数の線形アレイの各々は、前記電動式ステージの前記ほぼ一定の速度に同期して画像データの複数のラインを生成するように構成され、前記複数の線形アレイの各々にある画像データの前記複数のラインの各々は、他の複数の線形アレイの各々にある画像データの前記複数のラインのうちの1つに対応し、
    前記少なくとも1つのプロセッサは、前記電動式ステージ上の標本に対して、
    前記複数の線形アレイの各々について、その線形アレイによって生成された画像データの前記複数のラインの各々に関する対照値を決定し、
    前記複数の線形アレイによって生成された画像データの対応するラインの各々のセットに関する前記対照値を比較して、画像データの対応するラインの各セットに関して画像データの最も高い対照ラインを決定し、画像データの前記最も高い対照ラインは、画像データの対応するラインのそれぞれのセットの中で最も高い対照値を有しており、
    画像データの対応するラインの各セットからの画像データの前記最も高い対照ラインを結合して前記標本の少なくとも一部分の画像を生成する、
    ように構成される、
    デジタル走査装置。
  13. 前記複数の線形アレイの数は、3つ以上である、
    請求項12に記載のデジタル走査装置。
  14. 前記複数の線形アレイの各々の被写界深度は、その線形アレイに隣接する前記複数の線形アレイの各々の被写界深度と実質的に当接する、
    請求項12または13に記載のデジタル走査装置。
  15. 前記複数の線形アレイの各々の被写界深度は、その線形アレイに隣接する前記複数の線形アレイの各々の被写界深度に重なる、
    請求項12または13に記載のデジタル走査装置。
  16. 前記複数の線形アレイの被写界深度は、少なくとも100ミクロンである、
    請求項12から15のいずれかに記載のデジタル走査装置。
  17. 前記少なくとも1つのプロセッサは、前記標本全体の画像になるように前記標本の一部分の複数の画像を位置合わせするようにさらに構成される、
    請求項12から16のいずれかに記載のデジタル走査装置。
  18. 前記複数の線形アレイの各々は、カラー線形アレイを備える、
    請求項12から17のいずれかに記載のデジタル走査装置。
  19. 前記複数の線形アレイの各々は、時間遅延積分(TDI)線形アレイを備える、
    請求項12から17のいずれかに記載のデジタル走査装置。
  20. 前記TDI線形アレイは、カラーTDI線形アレイを備える、
    請求項19に記載のデジタル走査装置。
JP2020517495A 2017-09-29 2018-09-28 二次元および三次元の固定式z走査 Active JP6940696B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021143400A JP7184983B2 (ja) 2017-09-29 2021-09-02 二次元および三次元の固定式z走査

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762566178P 2017-09-29 2017-09-29
US62/566,178 2017-09-29
PCT/US2018/053639 WO2019068045A1 (en) 2017-09-29 2018-09-28 FIXED Z SCANNING IN TWO AND THREE DIMENSIONS

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021143400A Division JP7184983B2 (ja) 2017-09-29 2021-09-02 二次元および三次元の固定式z走査

Publications (3)

Publication Number Publication Date
JP2020536271A true JP2020536271A (ja) 2020-12-10
JP2020536271A5 JP2020536271A5 (ja) 2021-02-04
JP6940696B2 JP6940696B2 (ja) 2021-09-29

Family

ID=65897413

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020517495A Active JP6940696B2 (ja) 2017-09-29 2018-09-28 二次元および三次元の固定式z走査
JP2021143400A Active JP7184983B2 (ja) 2017-09-29 2021-09-02 二次元および三次元の固定式z走査

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021143400A Active JP7184983B2 (ja) 2017-09-29 2021-09-02 二次元および三次元の固定式z走査

Country Status (6)

Country Link
US (2) US10502941B2 (ja)
EP (2) EP4092467A1 (ja)
JP (2) JP6940696B2 (ja)
CN (1) CN111133359B (ja)
ES (1) ES2928577T3 (ja)
WO (1) WO2019068045A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023024355A (ja) * 2021-08-06 2023-02-16 ビューワークス カンパニー リミテッド 映像取得装置及びこれを用いた映像取得方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10502941B2 (en) * 2017-09-29 2019-12-10 Leica Biosystmes Imaging, Inc. Two-dimensional and three-dimensional fixed Z scanning
JP7432182B2 (ja) 2020-10-18 2024-02-16 エイアイエックスメド・インコーポレイテッド 細胞病理検査における細胞診画像を取得する方法およびシステム
WO2023164712A2 (en) * 2022-02-28 2023-08-31 Bio-Rad Laboratories, Inc. Wide-spectrum analysis system
TWI803339B (zh) * 2022-06-07 2023-05-21 國立成功大學 光點陣列掃描系統及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008500643A (ja) * 2004-05-27 2008-01-10 アペリオ・テクノロジーズ・インコーポレイテッド 三次元仮想スライドを生成しかつ可視化するためのシステム及び方法
US20090231689A1 (en) * 2007-05-04 2009-09-17 Aperio Technologies, Inc. Rapid Microscope Scanner for Volume Image Acquisition
US20140125776A1 (en) * 2011-05-25 2014-05-08 Huron Technologies International Inc, 3d pathology slide scanner
JP2017516401A (ja) * 2014-12-22 2017-06-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. サンプルの複数の深さで画像データを同時に収集する方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5932872A (en) * 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
JPH11211439A (ja) * 1998-01-22 1999-08-06 Takaoka Electric Mfg Co Ltd 表面形状計測装置
JP2000004871A (ja) * 1998-06-29 2000-01-11 Olympus Optical Co Ltd 培養容器、及び培養容器内の試料を観察する顕微鏡
US6628445B2 (en) 2000-03-17 2003-09-30 Accu-Sort Systems, Inc. Coplanar camera scanning system
US7518652B2 (en) * 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US6771416B2 (en) * 2000-09-20 2004-08-03 Olympus Optical Co., Ltd. Inverted microscope
US6724489B2 (en) 2000-09-22 2004-04-20 Daniel Freifeld Three dimensional scanning camera
US7326938B2 (en) * 2001-08-23 2008-02-05 D.N.R. Imaging Systems Ltd. Optical system and method for inspecting fluorescently labeled biological specimens
US20040202357A1 (en) * 2003-04-11 2004-10-14 Perz Cynthia B. Silhouette image acquisition
US20050089208A1 (en) * 2003-07-22 2005-04-28 Rui-Tao Dong System and method for generating digital images of a microscope slide
US7653260B2 (en) * 2004-06-17 2010-01-26 Carl Zeis MicroImaging GmbH System and method of registering field of view
US8582924B2 (en) * 2004-06-30 2013-11-12 Carl Zeiss Microimaging Gmbh Data structure of an image storage and retrieval system
US8164622B2 (en) * 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US20090295963A1 (en) 2006-02-10 2009-12-03 Pascal Bamford Method and apparatus and computer program product for collecting digital image data from microscope media-based specimens
US8045165B2 (en) * 2008-03-21 2011-10-25 Abbott Point Of Care, Inc. Method and apparatus for determining a focal position of an imaging device adapted to image a biologic sample
US8743195B2 (en) 2008-10-24 2014-06-03 Leica Biosystems Imaging, Inc. Whole slide fluorescence scanner
CN104783757B (zh) * 2009-06-17 2018-01-05 3形状股份有限公司 聚焦扫描设备
CA2683206C (en) * 2009-10-17 2018-07-03 Hermary Opto Electronics Inc. Enhanced imaging method and apparatus
BR112012015931A2 (pt) 2009-12-30 2021-03-02 Koninklijke Philips Eletronics N.V. método para formar imagem microscopicamente de uma amostra com um escaner, microscópio de escaneamento para formação de imagem de uma amostra, uso de um sensor de disposição bidimensional e disposição para formação de imagem de um corte trasnversal oblíquio de uma amostra
DE102010042351B4 (de) * 2010-10-12 2014-02-13 Leica Microsystems Cms Gmbh Mikroskopbeleuchtungssystem, Mikroskop und Verfahren zur schrägen Auflichtbeleuchtung
US8175452B1 (en) * 2010-10-26 2012-05-08 Complete Genomics, Inc. Method and system for imaging high density biochemical arrays with sub-pixel alignment
WO2012083438A1 (en) * 2010-12-24 2012-06-28 Huron Technologies International Inc. Pathology slide scanner
WO2013040686A1 (en) * 2011-09-21 2013-03-28 Huron Technologies International Inc. Slide scanner with a tilted image plane
JP6141196B2 (ja) * 2011-12-28 2017-06-07 オリンパス株式会社 蛍光観察装置
AP2014007834A0 (en) * 2012-01-31 2014-07-31 Univ Minnesota Thermal contrast assay and reader
CA2868263C (en) * 2012-03-23 2021-04-13 Huron Technologies International Inc. Slide scanner with dynamic focus and specimen tilt and method of operation
JP6211063B2 (ja) * 2012-05-02 2017-10-11 ライカ バイオシステムズ イメージング インコーポレイテッド ライン走査イメージングにおけるリアルタイムフォーカシング
EP2990757B1 (en) * 2013-04-19 2019-01-30 Toppan Printing Co., Ltd. Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
CN103592754B (zh) * 2013-11-07 2016-03-09 麦克奥迪实业集团有限公司 一种数字切片实时扫描自动聚焦跟踪方法
EP3085075B1 (en) * 2013-12-16 2017-08-30 Koninklijke Philips N.V. Scanning imaging system with a novel imaging sensor with gaps for electronic circuitry
AU2015301585B2 (en) * 2014-08-13 2021-01-07 Daniel Summer Gareau Line-scanning, sample-scanning, multimodal confocal microscope
CN104932092B (zh) * 2015-06-15 2017-09-08 上海交通大学 基于偏心光束法的自动对焦显微镜及其对焦方法
WO2017053891A1 (en) * 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
JP6559353B2 (ja) * 2015-12-15 2019-08-14 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. 自動核セグメンテーション
JP2017134115A (ja) * 2016-01-25 2017-08-03 オリンパス株式会社 顕微鏡装置、及び画像表示プログラム
RU2734447C2 (ru) * 2016-02-22 2020-10-16 Конинклейке Филипс Н.В. Система для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости
CN106226895B (zh) * 2016-08-25 2019-02-26 浙江大学 一种带反馈的旋转全内反射显微方法及装置
CN106200206A (zh) * 2016-08-29 2016-12-07 清华大学 基于双孤子脉冲产生的相干反斯托克斯拉曼显微成像系统
CN117218432A (zh) * 2016-12-30 2023-12-12 徕卡生物系统成像股份有限公司 成像系统及使用成像系统进行成像的方法
US10502941B2 (en) * 2017-09-29 2019-12-10 Leica Biosystmes Imaging, Inc. Two-dimensional and three-dimensional fixed Z scanning
WO2019068039A1 (en) * 2017-09-29 2019-04-04 Leica Biosystems Imaging, Inc. MACRO-IMAGE WITH TWO PASSAGES
WO2019068038A1 (en) * 2017-09-29 2019-04-04 Leica Biosystems Imaging, Inc. AUTOMATIC FOCUSING ALGORITHM IN REAL TIME
CN114779459A (zh) * 2017-09-29 2022-07-22 徕卡生物系统成像股份有限公司 实时自动聚焦扫描

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008500643A (ja) * 2004-05-27 2008-01-10 アペリオ・テクノロジーズ・インコーポレイテッド 三次元仮想スライドを生成しかつ可視化するためのシステム及び方法
US20090231689A1 (en) * 2007-05-04 2009-09-17 Aperio Technologies, Inc. Rapid Microscope Scanner for Volume Image Acquisition
US20140125776A1 (en) * 2011-05-25 2014-05-08 Huron Technologies International Inc, 3d pathology slide scanner
JP2017516401A (ja) * 2014-12-22 2017-06-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. サンプルの複数の深さで画像データを同時に収集する方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023024355A (ja) * 2021-08-06 2023-02-16 ビューワークス カンパニー リミテッド 映像取得装置及びこれを用いた映像取得方法

Also Published As

Publication number Publication date
US20190101737A1 (en) 2019-04-04
WO2019068045A1 (en) 2019-04-04
EP4092467A1 (en) 2022-11-23
JP2021192118A (ja) 2021-12-16
EP3625605A1 (en) 2020-03-25
US10895726B2 (en) 2021-01-19
CN111133359B (zh) 2022-12-13
JP6940696B2 (ja) 2021-09-29
CN111133359A (zh) 2020-05-08
EP3625605A4 (en) 2021-03-24
EP3625605B1 (en) 2022-08-17
US10502941B2 (en) 2019-12-10
ES2928577T3 (es) 2022-11-21
US20200110253A1 (en) 2020-04-09
JP7184983B2 (ja) 2022-12-06

Similar Documents

Publication Publication Date Title
JP6899963B2 (ja) リアルタイムの自動焦点調節走査
JP6940696B2 (ja) 二次元および三次元の固定式z走査
US11454781B2 (en) Real-time autofocus focusing algorithm
JP6952891B2 (ja) 2×3および1×3スライド用のカルーセル
AU2018375358B2 (en) Dual processor image processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201217

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201217

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210902

R150 Certificate of patent or registration of utility model

Ref document number: 6940696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150