JP2018503059A - 照明システム及びフーリエタイコグラフィイメージングの装置 - Google Patents

照明システム及びフーリエタイコグラフィイメージングの装置 Download PDF

Info

Publication number
JP2018503059A
JP2018503059A JP2017520517A JP2017520517A JP2018503059A JP 2018503059 A JP2018503059 A JP 2018503059A JP 2017520517 A JP2017520517 A JP 2017520517A JP 2017520517 A JP2017520517 A JP 2017520517A JP 2018503059 A JP2018503059 A JP 2018503059A
Authority
JP
Japan
Prior art keywords
illumination
sample
image
optical axis
spatial frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017520517A
Other languages
English (en)
Other versions
JP6752200B2 (ja
Inventor
ジェイムス オースティン ベスリー,
ジェイムス オースティン ベスリー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2018503059A publication Critical patent/JP2018503059A/ja
Application granted granted Critical
Publication of JP6752200B2 publication Critical patent/JP6752200B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

実質的に半透明の試料(102)の画像(110)を形成するシステムは、複数の照明角度から試料を可変照明する照明器(108)を有し、(a)試料の与えられたポイントでの各角度(495)が光軸(490)に垂直な面(420)のポイント(445)にマップされる場合に、面のポイントが面の軸位置に向かって増加する密度(例えば、図4、図11C、図11E、図12C、図12E、図13A、図14A、図14C、図14E、図15A、図15C、図15E)を有する;又は(b)照明角度は、光軸からの距離の大きさに依存する動径座標、及び、光軸に関連する角度の姿勢に対応する角座標によって定義された極座標系(図13A、図13B)における実質的に均一なパターンで配置される。検出器は、可変照明に従う照明器から射出され、光学素子(109)によってフィルタされた光に基づいて、複数の可変照明された、試料の相対的に低い解像度の強度画像(104)を取得する。プロセッサは、可変照明された、低い解像度の強度画像を備えて、フーリエ空間(図10B)において相対的に高い解像度の画像のオーバーラップ領域(1005)を反復してアップデートすることによって、試料の相対的に高い解像度の画像を計算的に再構成する。

Description

本願は、35 U.S.C.第119条に基づいて、2014年12月23日に出願されたオーストラリア特許出願第2014280894号の出願日の利益を請求するものであり、それを、本願に全て記述されているように、全体として参照により本願に援用する。
本発明は、フーリエタイコグラフィイメージングのシステム及び装置に関する。
フーリエタイコグラフィ顕微鏡(FPM)は、フーリエタイコグラフィイメージングを用いて試料の画像を形成する一種の顕微鏡である。このイメージング方法は、種々の照明条件の下で多くの低い解像度の画像をキャプチャし、高い解像度の画像を生成するための反復計算処理を用いてそれらを結合することに基づいている。低い解像度の画像は実画像であるが、高い解像度の画像は複素画像である。FPMは、結像光学系に関連する試料を移動させずに、高い解像度及び広視野を同時に実現することができる。
バーチャル顕微鏡は、医師に、彼らが顕微鏡を制御しているかのように、種々のシミュレーションされた倍率で、及び、種々の2次元(2D)又は3次元(3D)ビューを介して、生物学的試料を操作及び観察する能力を与える技術である。バーチャル顕微鏡は、試料の顕微鏡画像の画像データベースを入手可能なコンピュータモニタ又はタブレットなどのディスプレイ装置を用いて実現することができる。従来の顕微鏡をよりもバーチャル顕微鏡の多くの利点がある。まず、試料自身が観察時に必要ではなく、そのため、アーカイビング、テレメディスン及びエデュケイションを容易にする。バーチャル顕微鏡は、例えば、コンピュータ支援診断の一部として、焦点深度を変更する、及び、それ以外では目で観察することが困難な病的特徴を明らかにする試料画像の処理も可能にする。
バーチャル顕微鏡のための画像の従来のキャプチャは、一般的に、高速(high throughput)スライドスキャナを用いて実行される。試料は、ステージの上に機械的にロードされ、試料の種々の部分の画像がセンサでキャプチャされるように、顕微鏡対物の下に移動させられる。撮像されている試料に関する深度及び厚さ情報は、一般的に、効率的なキャプチャを行うために必要である。
2つの隣接する画像は、顕微鏡に取り付けられたコンピュータシステムにおいて、同一の試料の複数の画像が2Dレイヤ又は3Dボリュームに結合される、又は、つなぎ合わされるように、オーバーラップの領域を有する。モザイキング及びその他のソフトウェアアルゴリズムは、シームレスな2D又は3Dビューを与えるために、隣接している画像の間に欠陥がないように、同一の深度及び種々の深度における両方の隣接する画像を登録するために使用される。バーチャル顕微鏡は、多くの重要な方法において、その他の画像モザイキングタスクとは異なる。まず、パノラマで行われるような対象の種々の部分をキャプチャするために、光学を移動させるよりも、試料は、典型的には、光学の下のステージによって移動させられる。ステージ移動は、非常に正確に制御され、試料は、基板に固定される。
顕微鏡は、制御環境において使用され、例えば、システムの光学公差(光学部品とステージのアライメント及び姿勢)が非常に厳しいように、カスタム照明セットアップを備えたラボラトリーの振動絶縁プラットフォームの上に載置される。従って、モザイキングのためのキャプチャされたタイルの粗いアライメントは、かなり正確であり、照明は均一で、タイルの間の変換は、剛体の変換によって表される。一方、試料の特定の重要な特徴のスケールは、数ピクセルのオーダーであり、特徴は、キャプチャされたタイル画像の上で密に配置される。これは、バーチャル顕微鏡のための必要なスティッチ精度が非常に高いことを意味する。更に、顕微鏡が自動的にロードされてバッチモードで動作されるならば、処理スループット要件も高い。
フーリエタイコグラフィ顕微鏡(FPM)は、上述の高速スライドスキャナに代わるものである。FPMは、対物レンズの下の試料の横断運動を必要とすることなく、高い解像度及び広視野の両方を備える試料の2D画像を生成することができる。これは、種々の照明条件の下で試料の多くの低い解像度の画像をキャプチャし、反復計算処理を使用してキャプチャされた画像を結合することによって実現される。各反復は、高品質、高い解像度の画像に収斂するために、キャプチャされた画像のセットを逐次的に分析する。実空間において画像シームがないように、キャプチャされた画像は、フーリエ領域において結合される。このように、空間領域における離散的なスティッチアーチファクトがなく、画像を生成する能力は、従来のスライドスキャナを越えるFPMの第2の利点である。第3の利点は、生成された画像が複雑であること、換言すれば、位相情報を含むことである。
一方、画像のセットのキャプチャは、照明強度が低減されるにつれて、遅くなる。また、反復計算処理は、許容品質を実現するために、著しい処理及び記憶リソースを必要とする。従って、それは、効率的、且つ、正確であるFPMのためのシステムを開発するために望ましい。
本開示の1つの側面によれば、実質的に半透明の試料の画像を形成する装置が提供される。装置は、試料の与えられたポイントでの各角度が光軸に垂直な面のポイントにマップされる場合に、面のポイントが面の軸位置に向かって増加する密度を有するように、複数の照明角度から試料を照明する可変照明器を含む。検出器は、光学素子によってフィルタされた光に基づいて、複数の可変照明された、試料の相対的に低い解像度の強度画像を取得する。プロセッサは、可変照明された、低い解像度の強度画像を備えて、フーリエ空間において相対的に高い解像度の画像のオーバーラップ領域を反復してアップデートすることによって、試料の相対的に高い解像度の画像を計算的に再構成するために使用される。
望ましくは、面の照明の位置は、近似的に均等に離間された、フーリエ再構成空間における2次元(2D)空間周波数にマップする。
別の実施において、面の照明の位置は、密度がフーリエ再構成のDCタームに対応する空間周波数に向かって大きくなるように、フーリエ再構成空間における2D空間周波数にマップする。
更に別の実施において、面の照明の位置は、密度が、指数法則に従って、フーリエ再構成のDCタームに対応する空間周波数に向かって大きくなるように、フーリエ再構成空間における2D空間周波数にマップする。
更に別の実施において、面の照明の位置は、光軸からの距離の大きさに依存する動径座標、及び、光軸に関連する角度の姿勢(orientation)に対応する角座標によって定義された極座標系における実質的に均一な(regular)パターンで配置された照明角度によって、密度がフーリエ再構成のDCタームに対応する空間周波数に向かって大きくなるように、フーリエ再構成空間における2D空間周波数にマップする。
望ましくは、照明の位置の密度は、円領域の外で実質的にゼロに低下する。
好ましくは、可変照明器は、光軸に垂直な面の照明の位置が同心円の上に均等に離間するように、各円の周りで選択される角位置の数が円の半径によって単調に増加するように、構成される。
また、照明の位置は、1つ以上のスパイラルアレンジメントで定義される。
最も有利には、オーバーラップ領域の反復アップデートは、可変照明された、相対的に低い解像度の画像のフーリエ空間における対応する領域を使用して形成される。
本開示の別の側面によれば、可変照明器は、複数の照明角度から試料を照明し、照明角度は、光軸からの距離の大きさに依存する動径座標、及び、光軸に関連する角度の姿勢に対応する角座標によって定義された極座標系における実質的に均一なパターンで配置される。
この側面によれば、照明の位置は、好ましくは、光軸に垂直な面に配置され、各円の周りで選択される角位置の数が円の半径によって単調に増加するように、同心円の上に均等に離間される。望ましくは、装置は、円の中心に照明の位置を更に備える。
また、照明の位置は、1つ以上のスパイラルアレンジメントで定義される。特定の実施において、照明の位置の密度は、円領域の外で実質的にゼロに低下する。
別の側面は、それに記録されたプログラムを有する非一時的有形コンピュータ可読記憶媒体であって、プログラムは、実質的に半透明の試料の画像を形成するコンピュータ装置によって実行可能であり、プログラムは、
複数の照明角度から試料を可変照明するために、照明器を制御するコードと、
(a)試料の与えられたポイントでの各角度が光軸に垂直な面のポイントにマップされる場合に、面のポイントが面の軸方向に向かって増加する密度を有する、又は、
(b)照明角度は、光軸からの距離の大きさに依存する動径座標、及び、光軸に関連する角度の姿勢に対応する角座標によって定義された極座標系における実質的に均一なパターンで配置される、
可変照明に従って照明器から放射され、光学素子によってフィルタされた光に基づいて、複数の可変照明された、試料の相対的に低い解像度の強度画像を取得するために、検出器を制御するコードと、
可変照明された、低い解像度の強度画像を備えて、フーリエ空間において相対的に高い解像度の画像のオーバーラップ領域を反復してアップデートすることによって、試料の相対的に高い解像度の画像を計算的に再構成するコードと、
を備える。
別の側面によれば、実質的に半透明の試料の画像を形成する装置が開示され、装置は、
(a)試料を照明し、光学素子によってフィルタされた光に基づいて試料の像を取得する結像系と、
(b)複数の試料の相対的に低い解像度の強度画像を取得するセンサと、画像のコンテントは、空間周波数空間における部分的なオーバーラップ領域に対応し、空間周波数の係数(modulus)に依存する動径座標、及び、動径空間周波数の角度に依存する角座標によって定義された極座標系における実質的に均一なパターンで配置され、
(c)光学素子によってフィルタされた光に基づいて、複数の試料の相対的に低い解像度の強度画像を取得する検出器と、
(d)低い解像度の強度画像を備え、フーリエ空間における相対的に高い解像度の画像のオーバーラップ領域を反復してアップデートすることによって、試料の相対的に高い解像度の画像を計算的に再構成するプロセッサと、
を備える。
その他の側面も開示する。
発明の少なくとも1つの実施形態は、以下の図面を参照して説明される。
図1は、フーリエタイコグラフィ顕微鏡システムのためのハイレベル系統図を示す。 図2Aは、正方格子に基づくフーリエタイコグラフィ顕微鏡システムのための従来技術の可変照明器デザインを示す。 図2Bは、六方格子に基づくフーリエタイコグラフィ顕微鏡システムのための従来技術の可変照明器デザインを示す。 図3Aは、(LEDなどの)小さな光源330、試料380及び顕微鏡101の光軸390の相対配置(relateive geometry)を示す。 図3Bは、(LEDなどの)小さな光源330、試料380及び顕微鏡101の光軸390の相対配置(relateive geometry)を示す。 図4は、フラットではなく、半球体410の形をとる、FPMのための可変照明器システム108を示す。 図5は、本開示におけるフーリエタイコグラフィイメージングによって試料の高い解像度の画像を生成するプロセス500の概略フローチャートである。 図6は、低い解像度のキャプチャされた画像104のセットから高い解像度の画像110を生成する方法の概略フローチャートである。 図7Aは、方法600のステップ610で使用される画像の典型的なパーティショニングを示す。 図7Bは、方法600のステップ610で使用される画像の典型的なパーティショニングを示す。 図8は、低い解像度のパーティション画像のセットから高い解像度のパーティション画像を生成する方法の概略フローチャートである。 図9は、単一の低い解像度のパーティション画像に基づいて、高い解像度のパーティション画像をアップデートする方法の概略フローチャートである。 図10Aは、試料の実空間表現を示す。 図10Bは、試料のフーリエ空間表現を示す。 図11Aは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトル(transverse wavevectors)を示す。 図11Bは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図11Cは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図11Dは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図11Eは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図11Fは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図12Aは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図12Bは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図12Cは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図12Dは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図12Eは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図12Fは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図13Aは、可変照明器108のための光源の空間的アレンジメントを示す。 図13Bは、可変照明器108のための光源の空間的アレンジメントを示す。 図14Aは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図14Bは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図14Cは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図14Dは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図14Eは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図14Fは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図15Aは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図15Bは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図15Cは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図15Dは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図15Eは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図15Fは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図16Aは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図16Bは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図16Cは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図16Dは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図16Eは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図16Fは、光軸に垂直な面に投影された光源の空間的アレンジメント及び対応する横波数ベクトルを示す。 図17は、ここで説明された多数の可変照明器コンフィギュレーションのための光源のシミュレートされた数に対するSSIM指標のプロットを示す。 図18Aは、説明されたアレンジメントが実行される汎用コンピュータシステムの概略ブロック図を形成する。 図18Bは、説明されたアレンジメントが実行される汎用コンピュータシステムの概略ブロック図を形成する。 図19Aは、個々のスペクトル領域を処理するためのフーリエ空間において機能するアレンジメントを示す。 図19Aは、個々のスペクトル領域を処理するためのフーリエ空間において機能するアレンジメントを示す。 図19Aは、個々のスペクトル領域を処理するためのフーリエ空間において機能するアレンジメントを示す。
コンテクスト
図1は、フーリエタイコグラフィ顕微鏡(FPM)に好適な顕微鏡キャプチャシステム100のためのハイレベル系統図を示す。試料102は、レンズ109などの光学素子の下のステージ114の上に、且つ、顕微鏡101の視野内に物理的に位置決めされる。顕微鏡101は、説明される実施において、試料を適切な震度で顕微鏡の視野に正確に置くために、移動するステージ114を有する。ステージ114は、顕微鏡101に実装されたカメラ103によって試料102の複数の画像がキャプチャされるように、移動することも可能である。標準コンフィギュレーションにおいて、ステージ114は、試料の画像キャプチャの間、固定されてもよい。
可変照明システム(照明器)108は、試料102が異なる角度でコヒーレントまたは部分的にコヒーレントな光によって照明されるように、顕微鏡101に関連して位置決めされる。照明器108は、典型的には、試料102から距離をおいて配置された小さい光エミッタ112を含み、かかる距離は、エミッタのサイズに比べて大きく、試料102のサイズに比べても大きい。このような配置によって、光エミッタ112は、点光源のように作動し、エミッタ112からの光は、試料102において平面波に近似される。代替のコンフィギュレーションは、平面波に光の焦点を合わせるために、より大きい光エミッタ及びレンズを使用してもよい。照明光が試料102を通過し、カメラ103による検出のために、顕微鏡101のレンズ109によって焦点を合わせられるように、試料102は、典型的には、実質的に、半透明である。顕微鏡101、レンズ109及びカメラ103の配置は、光軸を形成し、照明器108によって提供される可変照明の対象となる試料102の画像をキャプチャ又は取得する検出器を表す。
顕微鏡101は、光学系の手段によって、カメラ103のセンサの上に試料102の画像を形成する。光学系は、低い開口数(NA)又はその他の配置を備えた対物レンズ108を含む光学素子に基づいている。カメラ103は、各照明コンフィギュレーションに対応する1つ以上の画像104をキャプチャする。複数の画像は、種々のステージ位置及び/又は照明の種々の色でキャプチャされる。配置は、コンピュータ105への試料102の複数の画像のキャプチャ及び供給を含む試料102のイメージングを提供する。
相対的に低い又はより低い解像度の画像とも称される、キャプチャされた画像104は、センサ及び照明に依存するグレイスケール画像又はカラー画像である。画像104は、画像を直ちに処理し始めることができる、或いは、後で処理するために、それらを一時記憶装置106に記憶することができるコンピュータシステム105に渡される。処理の一部として、コンピュータ105は、試料102の1つ以上の領域に対応する相対的に高い又はより高い解像度の画像110を生成する。より高い解像度の画像は、ディスプレイ装置107において再生される。説明するように、コンピュータ105は、制御ライン116を介して、照明器108の個々の光エミッタ112の動作を制御する。また、コンピュータ105は、制御ライン118を介して、ステージ114の移動を制御し、その結果、試料102の移動を制御する。更なる制御ライン120は、コンピュータ105が画像104のキャプチャのためのカメラ103を制御するのに使用される。
顕微鏡の横光学解像度は、顕微鏡101の光学的コンフィギュレーションに基づいて推定され、顕微鏡の点広がり関数に関連している。空気中におけるこの解像度の標準近似は、
で与えられ、NAは、開口数であり、λは、光の波長である。従来のスライドスキャナは、0.7のNAを備える空気浸漬(air immersion)対物レンズを使用する。500nmの波長において、推定解像度は、0.4μmである。典型的なFPMシステムは、推定解像度が4μmに低下する0.08のオーダーのより低いNAを使用する。
レンズの開口数は、レンズに入射する、又は、レンズから射出する光の最大錐の半角、θ、を定義する。空気中において、これは、
で定義される。レンズのフル受光角に関して、θ=2θとして表される。
観察される試料102は、基板に固定され、特定の特徴を強調するために染色された組織からなる組織スライドなどの生体学的試料である。そのような試料は、実質的には、半透明である。そのようなスライドは、広範囲のスケールにおける種々の生体学的特徴を含む。与えられたスライドにおける特徴は、組織スライドを生成するために使用された特定の組織サンプル及び染色に依存する。スライドの上の試料の寸法は、10mm×10mmのオーダー又はそれより大きい。バーチャルスライドの横解像度が0.4μmとして選択されると、各レイヤは、少なくとも25,000×25,000ピクセルからなる。
コンピュータによる実現
図18A及び図18Bは、説明される様々な形態が実行される汎用コンピュータシステム1800を示す。コンピュータシステム1800は、図1のコンピュータ105、データ記憶装置106及びディスプレイ装置107の機能及び動作を行い、それにより、顕微鏡101は、生体学的試料などのタイコグラフィックイメージングのための装置を形成する。
図18Aに示すように、コンピュータシステム1800は、コンピュータモジュール1801(105)と、キーボード1082、マウスポインタ装置1803、スキャナー1826、カメラ103及びマイクロフォン1880などの入力装置と、プリンター1815、ディスプレイ装置1814(107)及びラウドスピーカー1817を含む出力装置とを含む。外部変調復調器(モデム)トランシーバー装置1816は、コネクション1821を介して、通信ネットワーク1820と通信するコンピュータモジュール1801によって使用される。通信ネットワーク1820は、インターネット、携帯電話の電気通信網、プライベートWANなどの広域ネットワーク(WAN)である。コネクション1821が電話線である場合、モデム1816は、従来の「ダイアルアップ」モデムである。また、コネクション1821が高容量(例えば、ケーブル)コネクションである場合、モデム1816は、ブロードバンドモデムである。ワイヤレスモデムは、通信ネットワーク1820とのワイヤレス接続のためにも使用される。
コンピュータモジュール1801は、典型的に、少なくとも1つのプロセッサユニット1805と、メモリユニット1806とを含む。例えば、メモリユニット1806は、半導体ランダムアクセスメモリ(RAM)及び半導体リードオンリーメモリ(ROM)を有する。また、コンピュータモジュール1801は、ビデオディスプレイ1814、ラウドスピーカー1817及びマイクロフォン1880に接続するオーディオ−ビデオインターフェース1807を含む多数の入力/出力(I/O)インターフェースと、キーボード1802、マウス1803、スキャナー1826、カメラ103、照明器108、ステージ114及び任意のジョイスティック又はその他のヒューマンインターフェース装置(不図示)に接続するI/Oインターフェース1813と、外部モデム1816及びプリンター1815のためのインターフェース1808とを含む。また、コンピュータモジュール1801は、コネクション1823を介して、コンピュータシステム1800と、ローカルエリアネットワーク(LAN)として知られるローカルエリア通信ネットワーク1822との接続を可能にするローカルネットワークインターフェース1811を有する。図18Aに示すように、ローカル通信ネットワーク1822は、典型的には、所謂、「ファイアウォール」装置又は同様な機能の装置を含むコネクション1824を介して、広域ネットワーク1820に接続する。ローカルネットワークインターフェース1811は、イーサネット(登録商標)回路カード、ブルートゥース(登録商標)ワイヤレスアレンジメント又はIEEE 802.11ワイヤレスアレンジメントを備え、但し、多数の他の種類のインターフェースがインターフェース1811として実行される。
I/Oインターフェース1808及び1813は、シリアル及びパラレル接続のいずれか又は両方を提供し、前者は、典型的には、ユニバーサルシリアルバス(USB)標準に従って実現され、対応するUSBコネクタ(不図示)を有する。記憶装置1809は、提供され、典型的には、ハードディスクドライブ(HDD)1810を含む。フロッピーディスクドライブや磁気テープドライブ(不図示)などのその他の記憶装置も使用される。光ディスクドライブ1812は、典型的には、不揮発性のデータソースとして機能するように提供される。ポータブルメモリ装置、そのような光ディスク(例えば、CD−ROM、DVD、ブルーレイディスク(登録商標))、USB−RAM、ポータブル外部ハードドライブ及びフロッピーディスクは、例えば、適切なデータソースとして、システム1800に使用される。説明される配置において、図1のデータ記憶装置106は、記憶サーバー又は同種のものとして動作する、メモリ1806、HDD1810、ディスク1825又はネットワーク1820又は1822のいずれか1つ以上による全部又は一部によって実現される。
コンピュータモジュール1801のコンポーネント1805乃至1813は、典型的には、相互接続バス1804及び従来技術でそれらに知られているコンピュータシステム1800の動作の従来のモードをもたらす方法を介して、通信する。例えば、プロセッサ1805は、コネクション1819を使用してシステムバス1804に接続される。同様に、メモリ1806及び光ディスクドライブ1812は、コネクション1819によってシステムバス1804に接続される。説明されたアレンジメントが実行されるコンピュータの例は、IBM−PCと互換機、SUNスパークステーション、アップル Mac(登録商標)又は同様なコンピュータシステムを含む。
説明される画像取得の方法は、コンピュータシステム1800を使用して実行され、図3A乃至17の処理は、コンピュータシステム1800内で実行可能な1つ以上のソフトウェアアプリケーションプログラム1833として実装される。特に、画像取得の方法のステップは、コンピュータシステム1800内で実行されるソフトウェア1833の命令1831(図18Bを参照)によって達成される。ソフトウェア命令1831は、1つ以上の特定のタスクをそれぞれ実行する1つ以上のコードモジュールとして形成される。ソフトウェアは、2つの別々の部分に分割され、第1部分及び対応するコードモジュールは、画像取得方法を実行し、第2部分及び対応するコードモジュールは、第1部分とユーザーとの間のユーザーインターフェースを管理する。
例えば、ソフトウェアは、以下で説明される記憶装置を含むコンピュータ可読媒体に格納される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム1800にロードされ、そして、コンピュータシステム1800によって実行される。そのようなソフトウェアを有するコンピュータ可読媒体又はコンピュータ可読媒体に格納されたコンピュータプログラムは、コンピュータプログラム製品である。コンピュータシステム1800のコンピュータプログラム製品の使用は、好ましくは、タイコグラフィイメージングのための有利な装置を達成する。
ソフトウェア1833は、典型的には、HDD1810又はメモリ1806に格納される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム1800にロードされ、コンピュータシステム1800によって実行される。従って、例えば、ソフトウェア1833は、光ディスクドライブ1812によって読み出される光可読ディスク記憶媒体(例えば、CD−ROM)1825に格納される。そのようなソフトウェアを有するコンピュータ可読記憶媒体又はそれに格納されたコンピュータプログラムは、コンピュータプログラム製品である。コンピュータシステム1800のコンピュータプログラム製品の使用は、好ましくは、タイコグラフィイメージングのための装置を達成する。
いつくかの例において、アプリケーションプログラム1833は、ユーザーに提供され、1つ以上のCD−ROM1825においてエンコードされ、対応するドライブ1812を介して読み出され、又は、代替的に、ネットワーク1820又は1822からユーザーによって読み出される。更に、ソフトウェアは、そのほかのコンピュータ可読媒体からコンピュータシステム1800にロードすることもできる。コンピュータ可読記憶媒体は、実行及び/又は処理のために、格納された命令及び/又はデータをコンピュータシステム1800に提供する任意の非一時的有形記憶媒体を参照する。そのような装置がコンピュータモジュール1801の内部又は外部であるかにかかわらず、そのような記憶媒体の例は、フロッピーディスク、磁気テープ、CD−ROM、DVD、ブルーレイディスク(登録商標)、ハードディスクドライブ、ROM又は集積回路、USBメモリ、光磁気ディスク、又は、PCMCIAカードなどのコンピュータ可読カードを含む。コンピュータモジュール1801に対するソフトウェア、アプリケーションプログラム、命令及び/又はデータの供給に関与する一時的又は非有形コンピュータ可読伝送媒体の例は、別のコンピュータ又はネットワーク装置とのネットワークコネクションに加えて、無線又は赤外線伝送路と、電子メール送信及びウェブサイトなどに格納された情報を含むインターネット及びイントラネットとを含む。
上述したアプリケーションプログラム1833の第2部分及び対応するコードモジュールは、ディスプレイ1814に描画される、又は、別の方法で示される1つ以上のグラフィカルユーザーインターフェース(GUI)を実現するために実行される。典型的なキーボード1802及びマウス1803の操作を介して、コンピュータシステム1800及びアプリケーションのユーザーは、GUIと関連するアプリケーションに対するコマンド及び/又は入力の制御を提供するために、機能的に適応可能な方法でインターフェースを操作する。機能的に適応可能なユーザーインターフェースのその他の形態は、ラウドスピーカー1817を介するスピーチプロンプト出力及びマイクロフォン1880を介するユーザボイスコマンド入力を利用するオーディオインターフェースなどで実現される。
図18Bは、プロセッサ1805及び「メモリ」1834の詳細な概略ブロック図である。メモリ1834は、図18Aのコンピュータモジュール1801によってアクセスすることができる(HDD1809及び半導体メモリ1806を含む)全てのメモリモジュールの論理的な集合体を示す。
コンピュータモジュール1801が最初に電源を入れられると、パワーオンセルフテスト(POST)プログラム1850は実行する。POSTプログラム1850は、典型的には、図18Aの半導体メモリ1806のROM1849に格納される。ソフトウェアを格納するROM1849などのハードウェア装置は、ファームウェアと称されることもある。POSTプログラム1850は、適切な機能を保証するために、コンピュータモジュール1801内のハードウェアを検査し、典型的には、正確な動作のために、プロセッサ1805、メモリ1834(1809,1806)及び典型的にはROM1849に格納された基本入出力システムソフトウェア(BIOS)モジュール1851をチェックする。POSTプログラム1850が成功裏に実行されたら、BIOS1851は、図18Aのハードディスクドライブ1810を起動する。ハードディスクドライブ1810の起動は、プロセッサ1805を介して実行するために、ハードディスクドライブ1810に常駐するブートストラップローダープログラム1852を動作させる。これは、オペレーティングシステム1853が動作を開始するRAMメモリ1806にオペレーティングシステム1853をロードする。オペレーティングシステム1853は、プロセッサ管理、メモリ管理、装置管理、記憶管理、ソフトウェアアプリケーションインターフェース及びグラフィックユーザーインターフェースを含む様々なハイレベル機能を実現するために、プロセッサ1805によって実行可能なシステムレベルアプリケーションである。
オペレーティングシステム1853は、コンピュータモジュール1801で動作している各処理又はアプリケーションが別の処理に割り当てられたメモリと衝突せずに実行するのに十分なメモリを有することを保証するために、メモリ1834(1809,1806)を管理する。更に、図18Aのシステム1800で利用可能な種々のタイプのメモリは、各処理が効率的に動作することができるように、適切に使用されなければならない。従って、集合メモリ1834は、どのようにメモリの特定のセグメントが割り当てられるのか(特に明記しない限り)を明らかにすることを目的としていないが、コンピュータシステム1800によってアクセス可能なメモリの一般的概念及びどのようにそれらを用いるのかを提供することを目的とする。
図18Bに示すように、プロセッサ1805は、制御ユニット1839、論理演算ユニット(ALU)1840及びキャッシュメモリとも称されるローカル又は内部メモリ1848を含む多数の機能モジュールを含む。キャッシュメモリ1848は、典型的に、レジスタ部に多数の記憶レジスタ1844乃至1846含む。1つ以上の内部バス1841は、これらの機能モジュールを機能的に相互接続する。プロセッサ1805は、典型的には、コネクション1818を使用して、システムバス1804を介して外部装置と通信するための1つ以上のインターフェース1842も有する。メモリ1834は、コネクション1819を使用してバス1804に接続される。
アプリケーションプログラム1833は、条件付き分岐及びループ命令を含む一連の命令1831を含む。プログラム1833は、プログラム1833の実行に使用されるデータ1832も含む。命令1831及びデータ1832は、記憶場所1828、1829、1830及び1835、1836、1837にそれぞれ格納される。命令1831及び記憶場所1828乃至1830の相対的なサイズに依存して、特定の命令は、記憶場所1830に示される命令によって表されるように、単一の記憶場所に格納される。また、命令は、記憶場所1828及び1829に示される命令セグメントによって表されるように、各々が別々の記憶場所に格納される多数の部分にセグメント化される。
一般的に、プロセッサ1805は、その中で実行される命令のセットを与えられる。プロセッサ1805は、プロセッサ1805が別の命令のセットを実行することに対応する後続入力を待つ。各入力は、図18Aに全て示された、1つ以上の入力装置1802、1803によって生成されたデータ、ネットワーク1820、1822のうちの1つを越える外部ソースから受け取ったデータ、記憶装置1806、1809のうちの1つから読み出したデータ又は対応するリーダー1812に挿入された記憶媒体1825から読み出したデータを含む、多数のソースのうちの1つ以上から提供される。命令のセットの実行は、場合によっては、データの出力をもたらす。実行は、データ又は変数をメモリ1834に格納することも含む。
開示されたタイコグラフィイメージングのアレンジメントは、対応する記憶場所1855、1856、1857のメモリ1834に格納された入力変数1854を使用する。アレンジメントは、対応する記憶場所1862、1863、1864のメモリ1834に格納される出力変数1861を生成する。中間変数1858は、記憶場所1859、1860、1866及び1867に格納される。
図18Bのプロセッサ1805を参照するに、レジスタ1844、1845、1846、論理演算ユニット(ALU)1840及び制御ユニット1839は、プログラム1833を作り出している命令セットの命令ごとに「フェッチ、デコード、エクセキュート」サイクルを行うために必要なマイクロオペレーションのシーケンスを行うために協同する。各フェッチ、デコード、エクセキュートサイクルは、
(i)記憶場所1828、1829、1830から命令1831を取り出す又は読み出すフェッチ動作、
(ii)制御ユニット1839がどの命令が取り出されたのかを決定するデコード動作、
(iii)制御ユニット1839及び/又はALU1840が命令を実行するエクセキュート動作、
を備える。
その後、次の命令のための更なるフェッチ、デコード、エクセキュートサイクルが実行される。同様に、記憶サイクルは、制御ユニット1839が記憶場所1832に値を格納する又は書き込むことによって行われる。
図3A乃至17の処理の各ステップ又はサブプロセスは、プログラム1833の1つ以上のセグメントと関連し、プログラム1833の注目セグメントのための命令セットの命令ごとにフェッチ、デコード及びエクセキュートサイクルを行うために、プロセッサ1805におけるレジスタ部1844、1845、1846、ALU1840及び制御ユニット1839の協同によって行われる。
概要
可変照明システム108は、LEDマトリクスと称される、平坦基板の上に配列されたLEDのセットを用いて形成される。LEDは、単色又は多波長であり、例えば、赤、緑及び青光に対応する3つの個々の波長で照明する、又は、試料の特定の特徴を観察するために適切な波長の代わりのセットで照明する。基板上のLEDの適切な間隔は、顕微鏡光学及び試料102から、エミッタ112を支持する平坦基板によって定義された面である照明面までの距離に依存する。点光源として機能する各エミッタ112は、試料102に対して、照明495の対応する角度を規定する。光源112と試料102との間の距離が十分に大きい場所では、光源112から射出された光は、平面波に近似される。一般的には、基板上のLEDの間隔は、近接のLEDの対から受光する照明角の差が上述の式2に従ってレンズ109の開口数によって定義される受光角θより小さくなるように、選択されるべきである。
典型的な照明器108は、約4mmの間隔によって、623nm、532nm及び472nmで照明することができるマトリクスを形成するLEDのセットで形成される。LEDマトリクスは、サンプルステージ114の下に8cmで設置され、0.08のNA及び2倍の倍率を備える光学系、及び、5.5μmのセンサピクセルサイズと協力する。図2Aは、121個のLED220の正方配置で形成されたLEDマトリクス210を示し、LED間隔230が示されている。図2Bは、115個のLED220の2D六方格子配置で形成されたLEDマトリクス240を示し、LED間隔260も示されている。
LEDマトリクスの代わりの可変照明システムが使用されてもよい。例えば、LCD、プラズマ、OLED、SED、CRT又はその他のディスプレイテクノロジーなどの、特定の場所(ピクセル)から光を射出することができる種々のディスプレイテクノロジーが使用される。また、可変照明は、LEDなどの光源を様々な場所に機械的に移動することによって、或いは、機械的な運動と、多重光源と、ディスプレイテクノロジーとの組み合わせによって、実現されてもよい。
図3Aは、(LEDなどの)小さな光源330(220)、試料380(102)、及び、典型的には、カメラ103の光軸と一致する顕微鏡101の光軸390の相対配置を示す。平面310は、顕微鏡101の光軸390に垂直に構成され、光源330を含む。フラットLEDマトリクスが可変照明器108として使用されるならば、そのときの平面310及びLEDマトリクスは、ほぼ一致しているはずである。光軸390は、z軸を定義すると考えられ、x及びy軸は、平面310で定義される。理想的には、x及びy軸は、カメラ103におけるセンサの軸と一致するように選択されるべきである。光源330の位置は、試料335上のポイントに関連する軸、及び、光軸390に沿って平面310に投影された対応するポイント340に関して定義される。ポイント340は、DCポイントとして参照され、この位置の光源から試料335に到達する光は、光軸390に沿って伝播する。光源の位置は、3つのオフセットdx360、dy370及びdz380によって示される。図3Bは、光軸390に対して横の平面310における図3Aの配置を示す。
可変照明システム108は、フラットであることに制約されない。照明システム108は、図4に示す半球体410などの幾つかの非フラット配置をとることができる。半球体410は、光源430(220)の離散的なセットによってカバーされる、又は、別に装着される。光源の1つに対する軸距離(図3の380)と同じであってもよいし、異なってもよい距離dz480を隔てて光軸490(390)に垂直な平面420を構成することが可能である。試料440上のポイント435は、軸位置445でそれと交差するように、光軸490に沿って平面420に投影される。軸位置445は、DCポイントとして参照され、この位置の光源から試料435に到達する光は、光軸490に沿って伝播する。各光源450の位置は、光源450と試料435の上のポイントとを投影された平面420上のポイント460に繋ぐライン455に沿って投影される。このポイントは、投影された平面の上の360、370及び380を一般化する3つのオフオフセットdx465、dy470及びdz475に関して、x、y及びz軸に関して定義される。ライン455及び光軸490は、光源450に関連する照明角度495の範囲を定める。
正規化オフセットベクトルは、試料ポイントから照明(即ち、435から420又は335から330)に対応する平面上のポイントまでの距離で分割することによって(dx,dy,dz)における第i角度照明のオフセットベクトルのために形成される。
このアプローチを使用して、この照明のための正規化オフセットベクトルと真空における照明の波数との積として、第i角度照明の波数ベクトルを定義することが可能である、k=2π/λ。
169個のLEDを備えるLEDマトリクスのための投影された位置(図4の460)は、図14Aに示され、対応する横波数ベクトル(k ,k )は、図14Bに示される。距離dzが試料サイズと比べて大きいならば、照明は、湾曲のない試料で平面波に近似され、横波数ベクトルは、試料にわたってほぼ一定である。
それは、フーリエ空間における光学系の態様を考慮するのに有用である。2次元(2D)フーリエ空間は、キャプチャ画像が形成される、又は、試料の横空間特性が定義される2D実空間の2Dフーリエ変換によって定義される空間である。このフーリエ空間の座標は、横波数ベクトル(k,k)である。横波数ベクトルは、画像の空間周波数を表し、低周波数(又はゼロ近傍)は、座標表現の中央に向いており(即ち、図14B)、高周波数は、座標表現の周辺に向いている。この説明において、「横波数ベクトル」及び「空間周波数」のタームは、交換可能に使用される。放射横波数ベクトル及び放射空間周波数のタームは、同様に、交換可能である。
低い解像度のキャプチャ画像のそれぞれは、光学素子の光学的伝達関数及び可変照明器によって設定される照明角度によって定義されるフーリエ空間の領域に関連する。光学素子が対物レンズである場合のために、フーリエ空間の領域は、真空における照明波長と、k=2π/λと、開口数との積によって定義される半径rの円として近似することができる。
円領域の位置は、照明角度に従って、オフセットされる。第i照明角度に対して、オフセットは、波数ベクトルの横成分(k ,k )によって定義される。これは、試料の実空間表現及びフーリエ空間表現のそれぞれを示す図10A及び図10Bに示される。図10Bの破線円は、横波数ベクトルが図10Bの実線矢印で示される照明による単一のキャプチャ画像に関連する円領域を示す。横波数ベクトル(k ,k )は、合成開口上の光源の位置を示すものとして考慮される。
フーリエタイコグラフィイメージングの代替モードにおいて、低い解像度のキャプチャ画像は、角度照明よりも(開口走査とも称される)光学素子としてのシフト開口を使用して取得される。このアレンジメントにおいて、サンプルは、光軸に沿って概略入射する単一の平面波を使用して照明される。開口は、結像系のフーリエ面に設定され、開口は、光軸に垂直な、この平面内で移動する。この種類の走査開口は、光学系を通過する光を制限する追加の小走査開口を備える高NAレンズを使用して実現される。そのような走査開口システムにおける開口は、外側でスペクトル成分がブロックされる図10Bの破線円によって示されるフーリエ空間の領域を選択するものとして考慮される。図10Bの破線円のサイズは、低NAレンズの小開口に対応する。横波数ベクトル(k ,k )は、角度照明の横波数ベクトルよりも開口のシフト位置を示すものとして考慮される。なお、同一の効果を実現するために、走査開口よりもフーリエ面の空間光変調器が使用される。空間光変調器の例は、個々のピクセル又はピクセルのグループが透明から不透明に切り替えられる液晶ディスプレイ(LCD)であり、それにより、ディスプレイを介して、光の通路を空間的に変調する。
フーリエタイコグラフィイメージングによって試料の高い解像度の画像を生成するのに使用されるプロセス500の一般的な概要は、図5に示される。プロセス500は、コンピュータシステム1800を使用して実行される、幾つかが手動で又は自動で実行される種々のステップ及び特定の処理ステップを含む。そのような処理は、典型的には、タイコグラフィイメージングを実行するために、コンピュータ1801のプロセッサによって実行可能なソフトウェアアプリケーションを介して制御される。
プロセス500において、ステップ510では、試料が顕微鏡ステージ114の上に随意的にロードされる。そのようなロードは、自動化される。いずれにしても、試料102は、イメージングのために位置決めされることを必要とする。次に、ステップ520では、試料は、焦点面の周囲で顕微鏡101の視野内にあるように位置決めするために移動させられる。そのような移動は、随意的であり、手動で実行される、又は、コンピュータ1801の制御の下でステージによって自動化される。次に、適切に位置決めされた試料とともに、ステップ540乃至560は、照明コンフィギュレーションの所定のセットのための試料の画像のセットをキャプチャ及び格納するループ構造を定義する。一般的に、これは、特定の位置から、又は、特定の角度で試料を照明することによって実現される。可変照明器108がLEDマトリクスなどのLEDのセットで形成される場合において、これは、個々のLEDを順々にスイッチングすることによって実現される。それらが処理される順に(照明角度が大きくなる順に)画像をキャプチャすることが好ましいが、照明の順序は任意である。これは、画像キャプチャの完了より前に処理が開始される場合、キャプチャの処理が始められる前の遅延を最小化する。使用される照明コンフィギュレーションの所定のセットは、図11乃至図16を参照して更に説明される。
ステップ550は、次の適切な照明コンフィギュレーションを設定し、次いで、ステップ560では、低い解像度の画像104がカメラ103でキャプチャされ、データ記憶装置106(1810)に格納される。画像104は、ハイダイナミックレンジ画像、例えば、種々の露光時間でキャプチャされた1つ以上の画像から形成されるハイダイナミックレンジ画像である。適切な露光時間は、照明コンフィギュレーションの特性に基づいて選択される。例えば、可変照明器がLEDマトリクスであれば、これらの特性は、現在のコンフィギュレーションにおけるスイッチが入れられたLEDの照明強度を含む。
ステップ570は、全ての照明コンフィギュレーションが選択され、次のコンフィギュレーションでキャプチャするために処理がステップ540に戻らないかをチェックする。全ての所望のコンフィギュレーションがキャプチャされた場合、方法500は、ステップ580に継続する。ステップ580では、プロセッサ1805は、低い解像度のキャプチャ画像104のセットから高い解像度の画像を生成するために動作する。このステップは、以下、図6に関して更に詳細に説明される。ステップ590では、高い解像度の画像が随意的に出力され、プロセス500を完了する。高い解像度の画像の出力は、非一時的コンピュータ可読媒体への画像の記憶、ディスプレイ装置1814への画像の表示、プリンター1815での画像の印刷、又は、遠隔の記憶、表示又は印刷のための画像の通信を含む。
図6を参照して、ステップ580で使用される、低い解像度のキャプチャ画像104のセットから高い解像度の画像110を生成する方法600が以下で更に詳細に説明される。方法600は、好ましくは、中間一時記憶のためのメモリ1806を使用する間、HDD1810に記憶された画像に作用しているプロセッサ1805によるソフトウェアアプリケーションの実行によって実行される。
方法600は、プロセッサ1805が試料102のキャプチャ画像104のセットを取り出し、キャプチャ画像104のそれぞれを分割するステップ610で開始する。図7A及び図7Bは、画像の適切な分割(パーティション)を示す。図7Aの矩形710は、幅720及び高さ730によって形成されるサイズの単一の低い解像度のキャプチャ画像104を示す。サイズは、典型的には、カメラ103のセンサの解像度(例えば、5616×3744ピクセル)に対応する。ステップ610において、矩形710は、隣接するパーティション745の各対の間のオーバーラップを備えた規則的なグリッドで等しいサイズの正方形領域740に分割される。交差斜線のパーティション750は、右のパーティション755及び下のパーティション760に隣接し、これらの3つのパーティションの拡大図は、図7Bに示される。各パーティションは、サイズ765×サイズ775を有し、適切なサイズは、両方とも150×150ピクセルである。x及びy次元におけるオーバーラップ領域は、適切なサイズが10ピクセルである770及び780によって示される。
オーバーラップ領域は、パーティションが視野を正確にカバーするために、キャプチャ画像104の一面に種々のサイズをとる。また、オーバーラップ領域は、固定されていてもよく、その場合、パーティションは、キャプチャ画像710の境界の周囲の小領域を省略する。各パーティションのサイズ及びパーティションの総数は、メモリ使用及び処理時間に関してシステムの全体の性能を最適化するために変動する。パーティション画像のセットは、低い解像度のキャプチャ画像のセットのそれぞれに適用されたパーティション領域の幾何図形的配置(geometry)に対応して形成される。例えば、パーティション750は、パーティションのそのようなセットの1つを形成するために、各キャプチャ画像から選択される。
ステップ620乃至640は、低い解像度の画像のパーティションのセットを順々に処理するループ構造を定義する。パーティションのセットは、より速いスループットのために、並行して処理される。ステップ620は、キャプチャ画像の低い解像度のパーティションの次のセットを選択する。次いで、ステップ630は、パーティション画像のセットから、高い解像度のパーティション画像を生成する。高い解像度のパーティション画像のそれぞれは、メモリ1806又は1810に一時的に格納される。このステップは、図8に関して、以下で更に詳細に説明される。高い解像度のパーティション画像のそれぞれは、実質的に、低い解像度のキャプチャ画像のそれぞれの対応する領域740に対応するパーティションであるが、より高い解像度である。ステップ640は、低い解像度のキャプチャ画像のパーティション画像の全てのセットが処理されているかをチェックし、そうであるなら、処理はステップ650に続き、そうでないなら、処理はステップ620に戻る。
ステップ650では、単一の高い解像度の画像110を形成するために、高い解像度のパーティション画像のセットが結合される。画像を結合する適切な方法は、図7Aを参照して理解される。パーティションセットによってカバーされたキャプチャ画像視野に対応する高い解像度の画像が定義され、高い解像度の画像は、低い解像度のキャプチャパーティション画像に関連する高い解像度のパーティション画像のスケールアップと同一のファクターによって、キャプチャ画像に関連してスケールアップされる。高い解像度のパーティション画像のそれぞれは、プロセッサ1805によって、同一の比率でスケールアップされた低い解像度のパーティション場所に対応する場所での高い解像度の画像の上に合成される。効率的な合成方法が存在し、この目的のために使用される。理想的には、合成は、領域745のアップスケールされた同等のものによって与えられたオーバーラップ領域における隣接する高い解像度のパーティション画像の内容を混合する。これは、方法600の処理を完了する。
ここで説明されたアレンジメントは、図19Aに示す大円1904によって示されるような相対的に高い又はより高い解像度のシステム(例えば、高NAレンズを備える)に対抗して、図19Aのフーリエ表現において小円1902によって示されるような相対的に低い又はより低い解像度のために提供される相対的に安価な光学系(例えば、低NAレンズ、小開口)を提供するように機能する。これは、フーリエ空間において、パターンに従ってスペクトル領域をマッピングすること、及び、高い解像度の画像を形成するためのパターンにおける隣接する領域の間の関係を使用することによって実現される。図19Bは、2つのオーバーラップ円を示し、各円は、特定の照明角度における対応する(相対的に低い解像度の)キャプチャ画像のフーリエ成分を代表するスペクトル領域である。各円の幅1918は、レンズ又はその他の光学部品の受光角θに対応し、隣接する円の間のシフト1916は、照明角度、又は、更に具体的には、キャプチャ画像の照明角度の差によって決定される。図19Cは、(対応するキャプチャ画像からの)複数の円が、どのように図19Aに示す大円1904の相対的に大きな受光角に対抗することを提供するためのオーバーラップマトリクスに徐々にマッピングされるのかを示す部分(1)乃至(4)を有する。説明されたアレンジメントにおける処理が実行されるフーリエ空間は、マッピングを介して角度に関連する横波数ベクトルに関して定義される。
低い解像度のパーティション画像のセットから高い解像度のパーティション画像を生成するステップ630で使用される方法800は、図8を参照して、以下で更に詳細に説明される。方法800は、好ましくは、プロセッサ1805によって実行されるソフトウェアを使用して実行される。
まず、ステップ810では、高い解像度のパーティション画像がプロセッサ1805によって初期化される。画像は、好ましくは、2Dフーリエ変換によってフーリエ空間に変換された低い解像度のキャプチャ画像のそれと同じピクセルサイズを備えたフーリエ空間において定義される。なお、画像の各ピクセルは、実成分及び虚数成分を備える複素数を格納する。初期化された画像は、図10Bの破線円によって示される領域などの可変照明された低い解像度のキャプチャ画像に対応するフーリエ空間領域の全てを含むために十分に大きい。169個のLEDを備えるLEDマトリクスに対応する横波数ベクトル(k ,k )は、図11Bに示される。この場合、高い解像度のパーティション画像は、横波数ベクトルのそれぞれの周囲の適切なフーリエ空間領域を含むために、十分に大きい必要がある。対物レンズの場合、半径rの円形フーリエ空間領域によって、高い解像度のパーティション画像は、領域の半径rによって横に広がった図18Bの横波数ベクトルのセットの凸包をカバーすべきである。
なお、代替の実施形態において、高い解像度のパーティション画像は、対応する低い解像度のキャプチャ画像が処理されるにつれて、連続するフーリエ空間領域のそれぞれを含むように動的に増大するサイズで生成される。
ステップ810において高い解像度のパーティション画像が初期化されると、ステップ820乃至870は、反復回数までループする。反復の更新は、再構成された高い解像度の画像のエラーを低減するために、画像データの潜在的な位相を解像するのに使用される。反復回数は、固定され、好ましくは、4と15の間であり、又は、再構成アルゴリズムに関して収斂基準をチェックすることによって動的に設定する。
ステップ820は、次の反復を開始し、次いで、ステップ840乃至860は、ステップ610で生成された低い解像度のキャプチャ画像のパーティション画像のセットの画像を介して進める。ステップ840は、セットから次の画像を選択し、次いで、ステップ850は、セットの現在選択された低い解像度のパーティション画像に基づいて、高い解像度のパーティション画像を更新する。このステップは、図9を参照して、以下で更に詳細に説明する。次いで、処理は、セットにおける全ての画像が処理されたかをチェックするステップ860に継続し、そして、そうでなければ、ステップ840に戻り、そうであれば、ステップ870に継続する。実行すべき更新があるなら、処理は、ステップ870から、ステップ820に戻り、又は、反復が完了しているなら、ステップ880に継続する。
方法800の最後のステップ880は、高い解像度のパーティション画像において、それをもとの実空間に変換する逆2Dフーリエ変換を行うプロセッサ1805の使用によって生じる。
単一の低い解像度のパーティション画像に基づいて高い解像度のパーティション画像を更新するステップ850で使用される方法900は、図9を参照して、以下で更に詳細に説明される。
ステップ910において、プロセッサ1805は、低い解像度のキャプチャから、現在選択されたパーティション画像に対応する高い解像度のパーティション画像のスペクトル領域を選択する。これは、試料のフーリエ空間表現、単一のキャプチャ画像に関連するスペクトル領域1005を示す破線円、及び、照明のコンフィギュレーションに対応する実線矢印によって示される横波数ベクトルを示す図10Bに示されるように実現される。スペクトル領域1005は、円領域の内側又は外側で高い解像度のパーティション画像において各ピクセルを割り当て、領域の外側で0を、領域の内側で1を、全てのピクセルに乗算することによって、選択される。また、補間は、ピクセル配列上のスペクトル領域配列の近似化に関連するアーチファクトを避けるために、境界近傍のピクセルに対して使用することができる。この場合、境界の周囲のピクセルは、0から1の範囲の値で乗算される。
なお、可変照明器108が試料102を平面波で照明しないのであれば、任意の照明コンフィギュレーションに対する入射角は、試料にわたって、種々のパーティションの間で変化する。これは、単一の照明コンフィギュレーションに対応するスペクトル領域のセットが種々のパーティションに対して異なることを意味する。
随意的に、スペクトル領域の信号は、光学の収差を処理するために変更される。例えば、スペクトル信号は、特定の瞳収差を処理するために、位相関数で乗算される。位相関数は、キャリブレーション方法を介して、例えば、瞳収差関数の幾つかのパラメータに対する(テスト試料に対して高い解像度の画像の生成を実行する場合に形成される)収斂メトリックを最適化することによって決定される。瞳関数は、視野上の入射照明のローカル角度の僅かな差異に起因して、結果的に、種々のパーティションで異なる。
次に、ステップ920では、スペクトル領域からの画像データは、プロセッサ1805によって、低い解像度のキャプチャ画像パーティションと同じ解像度で、実空間に変換される。スペクトル領域は、逆2Dフーリエ変換を含む変換より前に、ゼロ詰めされる。ステップ930では、実空間画像の振幅が、対応する(現在の)低い解像度のパーティション画像の振幅と一致するように設定される。実空間画像の複雑な位相は、このステップで変更されない。ステップ940では、実空間画像は、スペクトル画像を与えるために、フーリエ変換される。最後に、ステップ950では、ステップ910で選択された高い解像度のパーティション画像のスペクトル領域の信号は、ステップ940で形成されたスペクトル画像のスペクトル領域からの対応する信号に置換される。なお、アーチファクトに関連した境界を処理するために、いかなる境界ピクセルも含まないスペクトル領域のサブセットに置換することが好ましい。スペクトル領域の信号が、収差を処理するために、ステップ910で変更されたならば、逆変更は、この段階での高い解像度のパーティション画像の領域を置換することより前に、ステップ950の一部として実行される。
第1実施形態
図11A、図11C及び図11Eは、光軸に垂直な面に投影された光源の空間的アレンジメントを示す。対応する横波数ベクトルは、それぞれ、図11B、図11D及び図11Fに示される。図11Aは、アレンジメントの中心での受光角θの0.40のフラクションに対応するLED間隔による、規則的な正方格子としての従来技術の光源のアレンジメントを示す。図11Bに示される横波数ベクトルの対応するセットは、均等な間隔で配置されず、アレンジメントの外側と比較して、中心において増大した間隔を有する。
図11Dは、受光角θの0.5のフラクションに対応する光源間隔によって、規則的に又は均等な間隔で配置された横波数ベクトルの代替セットを示す。このアレンジメントを実現するために、光源は、それらが図11Cに示すアレンジメントを光軸に垂直な投影面に形成するように、位置決めされる。光源の密度は、アレンジメントの外側と比較して、中心で大きい。その結果、照明の位置の密度は、光学系内に提供される照明によって規定される円領域の外側で、実質的に、ゼロに低下する。
更なる変更は、変換を横波数ベクトルの所望のセットに適用することによってなされる。図11Fは、このような方法で変更された横波数ベクトルのセットを示し、図11Eは、光軸に垂直な投影面における対応するアレンジメントを示す。
適切な変換の変化は、k+jk=kjkθで定義された横波数ベクトルの動径座標(k,kθ)に関して定義される幾つかの例に存在し、以下のように計算される。
適切な変換は、指数法則に従って、横波数ベクトルの径方向成分をスケールすることである、例えば;
ここで、光源の間隔が受光角θの0.55のフラクションに対応するならば、パラメータγのための適切な値は、1.15である。直交横波数ベクトルは、k=kcosθ及びk=ksinθによって簡単に与えられる。その他の適切な変換は、多項式、論理的根拠(rational)、三角法、対数又はそれらの組み合わせなどの単純非線形関数形式に関して定義される。式(6)及び式(7)によれば、面(例えば、11E、12E、14E、15E、16E)上の照明の位置は、密度がフーリエ再構成(例えば、それぞれ、11F、12F、14F、15F、16F)のDCタームに対応する波数ベクトルに向かって大きくなるようなフーリエ再構成空間における2D波数ベクトルにマップする。光源の密度は、フーリエ空間の中心領域において、低動径波数ベクトルを増加させる。これは、例えば、図11F、図12F、図14F、図15F及び図16Fに示される。
一般的に、図11A及び図11Bに対応する照明コンフィギュレーションのセットは、(従来技術の)アレンジメント(P)として参照されるが、アレンジメントの光源及びパラメータの数は、説明図とは異なる。同様に、図11E及び図11Fに対応するアレンジメントは、(A1)として参照される。図11A乃至図11Fに示すアレンジメントは、図1に示すようなFPMシステムに使用される。図11C乃至図11Fのアレンジメントは、図11A及び図11Bのアレンジメントの全体の性能に関する再構成の向上された精度のために有利である。
第2実施形態
図12A、図12C及び図12Eは、光軸に垂直な面に投影された光源の空間的アレンジメントを示す。対応する横波数ベクトルは、それぞれ、図12B、図12D及び図12Fに示される。光源の大部分に対応する位置、及び、横波数ベクトルは、図11A乃至図11Fの対応する画像におけるそれらと同じである。なお、図12Dに対して、横波数ベクトルは、実質的に、均等に間隔をおいて配置される。しかしながら、図12A乃至図12Fに示すアレンジメントにおいて、光源のセットは、特定の動径波数ベクトルでのカットオフに基づいて選択される。このアレンジメントは、円形支持(circular support)として参照される。
図12A及び図12Bに示すコンフィギュレーションは、(A2)として参照されるが、アレンジメントの光源及びパラメータの数は、説明図とは異なる。図12に示すアレンジメントは、図1に示すようなFPMシステムに使用され、図11の同等なアレンジメントと比較した場合に、システム性能に関して有利である。
第3実施形態
図13A及び図13Bは、図11及び図12に示す幾つかのアレンジメントと比較して、システム性能に関して有利である可変照明器108のための光源の2つの代替的な空間的アレンジメントを示す。図13A及び図13Bのアレンジメントによって形成される照明角度は、図2Aに示す正方格子構造を定義する自然基底を形成する直交座標よりも、実質的に、極座標に関して定義される規則的なパターンを形成する。極座標系は、光軸に垂直な面に投影された光軸から光源の距離の大きさに依存する動径座標、及び、投影面の光軸の周囲の光源の角度に対応する角座標によって、空間領域に定義される。フーリエ領域において、極座標は、式(6)で定義された横波数ベクトルの動径座標(k,kθ)である。
図13Aは、多数の同心リング又は同心円に位置決めされた光源1320(220)を含む可変照明器108のための同心アレンジメント1310を示し、リングは、動径座標において、等しい間隔をおいて配置される。各リングの光源の数は、照明の位置又はゼロ(0)の半径距離を備える円である、中心1315での追加的な光源によって、同心リングのインデックスに比例する。例において、同心リングの間隔は、1325でマークされる。第1最内リング1330の光源の数は4であり、第2リング1335の光源の数は8であり、第i同心リングの光源の数は、4iである。このように、照明の位置は、各円の周囲で選択された角位置の数がその径方向に単調に増加するように、同心円状に均等な間隔をおいて配置される。このコンフィギュレーションは、xi,j=rcosθi,j及びyi,j=rsinθi,jによって与えられる光源の位置のセットとして表される。
ここで、インデックスは、i=0,・・・,N及びj=0,・・・,最大(0,iNθ−1)のレンジをとり、θ0,0は、ゼロ値をとる。リングの数は、Nによって定義され、同心リングあたりの追加的な光源の数は、Nθによって与えられる。図13Aの例では、パラメータは、N=8及びNθ=4である。同心リング1325のための適切な間隔は、受光角θの0.3と0.45の間のフラクションに対応する。
図13Bは、光源1350(220)を内蔵する可変照明器108のための空間的アレンジメント1340を示す。位置は、半径及び角度がインデックスの平方根に比例するように、インデックスのセットで選択される。このコンフィギュレーションは、x=rcosθ及びy=rsinθによって与えられる光源の位置のセットとして表される。
i=0,・・・,(N−1)について、Nは、光源の総数である。設計のための適切なパラメータは、受光角θの0.325のフラクションに対応するS及びSθ=0.3によって与えられる。
上述したように、同心及び空間的アレンジメントは、極座標に定義される場合、実質的に、規則的なパターンを形成する。同心アレンジメントにおいて、光源は、各同心リングの角度に等しい間隔をおいて配置される。空間的アレンジメントにおいて、角度は、光源のインデックスの平方根に比例する。
その他のアレンジメントは、これらのモデルに基づくことが可能である。例えば、同心アレンジメントは、各リングの等しい角度間隔を維持している間、同心アレンジメントにおける各同心リングの光源の数が非線形に、又は、不規則なステップで変化するように、変更される。また、パターンは、(好ましくは、中心での複数の光源を含むことなく)離散的な極アレンジメントの数と種々のパラメータ値とを結合することによって形成される。フーリエタイコグラフィに有用な注目アレンジメントは、向上された精度又は効率を実現するために、互いに異なる角度で配置されたスパイラルのセットから形成される。
図14A、図14C及び図14Eは、同心アレンジメント(例えば、図13A)に基づいて、光軸に垂直な面に投影された光源の空間的アレンジメントを示す。対応する横波数ベクトルは、それぞれ、図14B、図14D及び図14Fに示される。これらのアレンジメントは、図1に示すようなFPMシステムに使用され、精度及び/又は効率に対して、図11A及び図11Bのアレンジメントの全体の性能の向上を提供する。
図14Aは、同心アレンジメントに基づいて、光軸に垂直な面に投影された光源の同心アレンジメントを示す。図14Bに示す横波数ベクトルの対応するセットは、均等な間隔で配置されておらず、アレンジメントの外側と比較して、中心において増加した間隔を有する。同心リングの間隔1325は、アレンジメントの中心での受光角θの0.35のフラクションに対応する。
図14Dは、横波数ベクトル空間に定義される規則的な同心アレンジメントを形成する横波数ベクトルの代替的なセットを示す。このアレンジメントを実現するために、光源は、それらが図14Cに示すアレンジメントを光軸に垂直な投影面に形成するように、位置決めされる。光源の密度は、アレンジメントの外側と比較して、中心で大きい。同心円の間隔1325は、受光角θの0.45のフラクションに対応する。
更なる変更は、変換を横波数ベクトルの所望のセットに適用することによってなされる。図14Fは、このような方法で変更された横波数ベクトルのセットを示し、図14Eは、光軸に垂直な投影面における対応するアレンジメントを示す。図11Fを参照して上述したように、適切な変換の変化が存在する。同心リングの間隔1325は、受光角θの0.45のフラクションに対応し、パラメータγは、式(7)によって定義される非線形(指数法則)変換に対して、1.05である。図14E及び図14Fに示すアレンジメントは、(A123)として参照されるが、アレンジメントの光源の数及び正確なパラメータ化は、説明図とは異なる。指数法則の使用は、面の上の照明の位置を、密度がフーリエ再構成のDCタームに対応する波数ベクトルに向かって大きくなるようなフーリエ再構成空間における2D波数ベクトルにマップすることを提供する。
なお、同心又はスパイラルアレンジメントのサブセットは、選択され、その範囲で非円形である。例えば、正方配列(square geometry)に含まれる光源のセットが選択される。図15A乃至図15Fは、図14A乃至図14Fのアレンジメントに基づくが、正方配列に基づく選択を備える3つのそのようなアレンジメントを示す。図15A及び図15Bに示すアレンジメントは、(A3)として参照されるが、アレンジメントの光源の数及び正確なパラメータ化は、説明図とは異なる。
図16A、図16C及び図16Eは、スパイラルアレンジメント(図13B)に基づいて、光軸に垂直な面に投影された光源の空間的アレンジメントを示す。対応する横波数ベクトルは、それぞれ、図16B、図16D及び図16Fに示される。これらのアレンジメントは、図1に示すようなFPMシステムに使用され、精度及び/又は効率に対して、図11A及び図11Bのアレンジメントの全体の性能の向上を提供する。
図16Aは、スパイラルアレンジメントに基づいて、光軸に垂直な面に投影された光源のスパイラルアレンジメントを示す。図16Bに示す横波数ベクトルの対応するセットは、均等な間隔で配置されておらず、アレンジメントの外側と比較して、中心において増加した間隔を有する。設計のための適切なパラメータは、受光角θの0.325のフラクションに対応するS及びアレンジメントの中心でのSθ=0.3によって与えられる。
図16Dは、横波数ベクトル空間に定義される規則的なスパイラルアレンジメントを形成する横波数ベクトルの代替的なセットを示す。このアレンジメントを実現するために、光源は、それらが図16Cに示すアレンジメントを光軸に垂直な投影面に形成するように、位置決めされる。光源の密度は、アレンジメントの外側と比較して、中心で大きい。コンフィギュレーションのための適切なパラメータは、受光角θの0.325のフラクションに対応するS及びSθ=0.3によって与えられる。
更なる変更は、変換を横波数ベクトルの所望のセットに適用することによってなされる。図16Fは、このような方法で変更された、実質的に、規則的に間隔をおいて配置され横波数ベクトルのセットを示し、図16Eは、光軸に垂直な投影面における対応するアレンジメントを示す。図11Fを参照して上述したように、適切な変換の変化が存在する。コンフィギュレーションのための適切なパラメータは、受光角θの0.35のフラクションに対応するk及びkθ=0.3によって与えられ、パラメータγは、式(7)によって定義される非線形変換に対して、1.05である。
第4実施形態
幾つかのアプリケーションにおいて、一回で複数の光源のスイッチを入れて、カメラ103で低い解像度の画像をキャプチャすることが有利である。従来技術の可変照明アレンジメントで同様な利点が得られたとしても、高い解像度の画像を生成するために必要なコンピュータ処理は、隣接していない光源及び角度から追加的な処理の必要性のため、この場合で異なる。
利点
上述のアレンジメントの比較性能の推定は、照明コンフィギュレーションの種々のセットに対応する種々の可変照明アレンジメントを備えるFPMシステムのシミュレーションを使用して定量化される。組織病理スライドの大きい画像は、非常に薄い試料をシミュレーションするために使用され、深度の効果が小さく、無視されるように、試料がフォーカスされると仮定される。低い解像度のキャプチャ画像のそれぞれは、照明角度に対応する波数ベクトルオフセット位置での低いNAのレンズに対応するフーリエ空間における小開口を選択することによって合成される。低いNAのレンズは、結像系における光をフィルタするために、低い解像度の光学素子として機能する。空間的パディング及び適切な窓関数は、画像境界でのアーチファクトを避けるために、これらの画像の合成に使用される。テューキー及びプランク−テーパー窓関数は、この目的のための適切な窓関数である。合成キャプチャ画像は、窓関数がフラットであり、値1をとる合成画像の中心の領域から選択される。
キャプチャ画像は、反復の固定数のための方法600(580)に従って処理され、再構成画像は、真の画像と比較される。平均二乗誤差及び構造類似性(SSIM)などの測定基準は、比較に適切である。
図17は、ここで説明された多数の光源アレンジメントのための光源のシミュレートされた数に対するSSIM指標のプロットを示す。各プロットは、多数の離散的なポイントからなるが、直線補間は、ポイントの間を含む。プロットされた光源アレンジメントは、P(図11A及び図11B)、A1(図11E及び11F)、A2(図12A及び図12B)、A3(図15A及び図15B)及びA123(図14E及び図14F)として参照される。同じ数の光源に関して、アレンジメントA1、A3及びA123は、プロット範囲の実質的な部分で、従来技術のアレンジメントPと比較して、向上されたSSIMを示す。これは、与えられた目標再構成精度(SSIMスコア)に関して、要求される光源の数が従来技術Pに対してアレンジメントA1、A3及びA123では少ないことを意味する。
図17に示す補間データを使用して、与えられたスコアを実現するために、要求される光源の数の低減を推定することが可能である。例えば、196個の光源に関して、アレンジメントPは、0.892のSSIMを有する。その他のアレンジメントに関して、同じSSIMを実現するための推定される光源の数は、以下の表1で与えられる。アレンジメントA1については、光源の数が134個に低減し、アレンジメントA2については、光源の数が194個に低減し、アレンジメントA3については、光源の数が164個に低減し、アレンジメントA123については、光源の数が108個に低減する。このシミュレーションにおいて、要求される光源の数は、コンフィギュレーションA123の設計向上の組み合わせを使用することによって、ほぼ半減される。図17の曲線の形状に基づいて、利点は、要求されるSSIMが大きくなるにつれて、更に増大する。
FPMシミュレーションに関して、与えられたSSIMを実現するために、推定される、要求される光源の数及び%低減。
なお、図17を参照して上述した利点の推定は、平面波照明の場合に対応する。可変照明器が相対的に試料に近接して位置決めされたLEDマトリクスであれば、入射照明が平面波を形成すると考えられず、位置から波数ベクトルまでのマッピングは、試料の横ディメンションにわたって変化する。これは、FPMシステムの性能を順次変更する波数ベクトル空間におけるアレンジメントを変更する。一般的に、これは、従来技術のアレンジメントPに対して、FPMアレンジメントの利点を低減する。
更に、上述した可変照明器アレンジメントは、規則的なグリッド上のLEDの高密度アレンジメントを備えたLEDマトリクスを使用して、実質的に、実現される。設計における各LED位置に関して、LEDマトリクスからのLEDが選択され、可変照明器アレンジメントの対応する光源の位置に近接する。これは、照明器アレンジメントにおける所望の位置に近接する光源のサブセットを使用するために、実質的に、試料を照明するLEDマトリクス光源のサブサンプリングを使用する。
産業上の利用可能性
説明した装置は、フーリエタイコグラフィイメージングのための装置の例であり、コンピュータ及びデータ処理産業、特に、生物学的マターを含む、顕微鏡検査のマターに適用可能である。例えば、本開示に従う特定のアレンジメントは、従来のアレンジメントと同様なイメージング効果を実現するために、光源の数の低減を提供し、又は、同等な数の光源を使用して向上された性能を提供する。開示されたアレンジメント、特に、フーリエタイコグラフィイメージングシステムを実現するために、適切にプログラムされた場合、(118を介する)照明器108及び(120を介する)カメラ103の制御は、コンピュータ105に提供する。更に特定的には、アプリケーションプログラム1833は、画像104のキャプチャし、試料の所望の(高い解像度の)画像を形成するための、説明したように画像104を処理するように、照明器及びカメラを制御する。
以上、本発明の一部の実施形態だけを説明したが、本発明の範囲及び趣旨から逸脱することなく、修正及び/又は変更がそれに対して行われる可能性があり、実施形態は例示的なものであって、限定的なものではない。

Claims (22)

  1. 実質的に半透明の試料の画像を形成する装置であって、
    (a)前記試料の与えられたポイントでの各角度が光軸に垂直な面のポイントにマップされる場合に、前記面の前記ポイントが前記面の軸位置に向かって増加する密度を有するように、複数の照明角度から前記試料を照明する可変照明器と、
    (b)光学素子によってフィルタされた光に基づいて、複数の可変照明された、前記試料の相対的に低い解像度の強度画像を取得する検出器と、
    (c)可変照明された、低い解像度の強度画像を備えて、フーリエ空間において前記相対的に高い解像度の画像のオーバーラップ領域を反復してアップデートすることによって、前記試料の相対的に高い解像度の画像を計算的に再構成するプロセッサと、
    を有することを特徴とする装置。
  2. 前記面の照明の位置は、近似的に均等に離間された、フーリエ再構成空間における2次元(2D)空間周波数にマップすることを特徴とする請求項1に記載の装置。
  3. 前記面の照明の位置は、前記密度がフーリエ再構成のDCタームに対応する空間周波数に向かって大きくなるように、フーリエ再構成空間における2D空間周波数にマップすることを特徴とする請求項1に記載の装置。
  4. 前記面の照明の位置は、前記密度が、指数法則に従って、フーリエ再構成のDCタームに対応する空間周波数に向かって大きくなるように、フーリエ再構成空間における2D空間周波数にマップすることを特徴とする請求項1に記載の装置。
  5. 前記面の照明の位置は、光軸からの距離の大きさに依存する動径座標、及び、前記光軸に関連する角度の姿勢に対応する角座標によって定義された極座標系における実質的に均一なパターンで配置された前記照明角度によって、前記密度がフーリエ再構成のDCタームに対応する空間周波数に向かって大きくなるように、フーリエ再構成空間における2D空間周波数にマップすることを特徴とする請求項1に記載の装置。
  6. 照明の位置の密度は、円領域の外で実質的にゼロに低下することを特徴とする請求項1に記載の装置。
  7. 前記可変照明器は、前記光軸に垂直な面の照明の位置が同心円の上に均等に離間するように、各円の周りで選択される角位置の数が前記円の半径によって単調に増加するように、構成されることを特徴とする請求項1に記載の装置。
  8. 前記照明の位置は、1つ以上のスパイラルアレンジメントで定義されることを特徴とする請求項1に記載の装置。
  9. 前記オーバーラップ領域の反復アップデートは、前記可変照明された、相対的に低い解像度の画像のフーリエ空間における対応する領域を使用して形成されることを特徴とする請求項1に記載の装置。
  10. 実質的に半透明の試料の画像を形成する装置であって、
    (a)前記試料を照明し、光学素子によってフィルタされた光に基づいて前記試料の像を取得する結像系と、
    (b)前記試料の相対的に低い解像度の複数の強度画像を取得するセンサと、前記画像のコンテントは、空間周波数空間における部分的なオーバーラップ領域に対応し、空間周波数の係数に依存する動径座標、及び、動径空間周波数の角度に依存する角座標によって定義された極座標系における実質的に均一なパターンで配置され、
    (c)光学素子によってフィルタされた光に基づいて、前記試料の相対的に低い解像度の複数の強度画像を取得する検出器と、
    (d)前記低い解像度の強度画像を備え、フーリエ空間における前記相対的に高い解像度の画像のオーバーラップ領域を反復してアップデートすることによって、前記試料の相対的に高い解像度の画像を計算的に再構成するプロセッサと、
    を有することを特徴とする装置。
  11. 可変照明器の個々の光源と前記試料との間の照明角度に従って、前記相対的に低い解像度の強度画像に関連する前記空間周波数を制御する可変照明器の使用を更に有することを特徴とする請求項10に記載の装置。
  12. 前記強度画像に関連する前記空間周波数を制御する走査開口の使用を更に有することを特徴とする請求項10に記載の装置。
  13. 前記強度画像に関連する前記空間周波数を制御する空間光変調器の使用を更に有することを特徴とする請求項10に記載の装置。
  14. 照明の位置は、光軸に垂直な面に配置され、各円の周りで選択される角位置の数が前記円の半径によって単調に増加するように、同心円の上に均等に離間して配置されることを特徴とする請求項11に記載の装置。
  15. 前記円の中心での照明の位置を更に有することを特徴とする請求項14に記載の装置。
  16. 照明の位置は、1つ以上のスパイラルアレンジメントで定義されることを特徴とする請求項11に記載の装置。
  17. 照明の位置の密度は、円領域の外で実質的にゼロに低下することを特徴とする請求項11に記載の装置。
  18. 面の照明の位置は、近似的に均等に離間された、フーリエ再構成空間における2次元(2D)空間周波数にマップすることを特徴とする請求項11に記載の装置。
  19. 面の照明の位置は、密度がフーリエ再構成のDCタームに対応する空間周波数に向かって大きくなるように、フーリエ再構成空間における2D空間周波数にマップすることを特徴とする請求項11に記載の装置。
  20. 面の照明の位置は、密度が、指数法則に従って、フーリエ再構成のDCタームに対応する空間周波数に向かって大きくなるように、フーリエ再構成空間における2D空間周波数にマップすることを特徴とする請求項11に記載の装置。
  21. 前記オーバーラップ領域の反復アップデートは、前記相対的に低い解像度の画像のフーリエ空間における対応する領域を使用して形成されることを特徴とする請求項10に記載の装置。
  22. それに記録されたプログラムを有する非一時的有形コンピュータ可読記憶媒体であって、前記プログラムは、実質的に半透明の試料の画像を形成するコンピュータ装置によって実行可能であり、前記プログラムは、
    複数の照明角度から前記試料を可変照明するために、照明器を制御するコードと、
    (a)前記試料の与えられたポイントでの各角度が光軸に垂直な面のポイントにマップされる場合に、前記面の前記ポイントが前記面の軸位置に向かって増加する密度を有する、又は、
    (b)前記照明角度は、前記光軸からの距離の大きさに依存する動径座標、及び、前記光軸に関連する角度の姿勢に対応する角座標によって定義された極座標系における実質的に均一なパターンで配置される、
    可変照明に従って照明器から放射され、光学素子によってフィルタされた光に基づいて、複数の可変照明された、前記試料の相対的に低い解像度の複数の強度画像を取得するために、検出器を制御するコードと、
    前記可変照明された、低い解像度の強度画像を備えて、フーリエ空間において前記相対的に高い解像度の画像のオーバーラップ領域を反復してアップデートすることによって、前記試料の相対的に高い解像度の画像を計算的に再構成するコードと、
    を有することを特徴とする非一時的有形コンピュータ可読記憶媒体。
JP2017520517A 2014-12-23 2015-12-11 照明システム及びフーリエタイコグラフィイメージングの装置 Active JP6752200B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2014280894A AU2014280894A1 (en) 2014-12-23 2014-12-23 Illumination systems and devices for Fourier Ptychographic imaging
AU2014280894 2014-12-23
PCT/AU2015/000747 WO2016101008A1 (en) 2014-12-23 2015-12-11 Illumination systems and devices for fourier ptychographic imaging

Publications (2)

Publication Number Publication Date
JP2018503059A true JP2018503059A (ja) 2018-02-01
JP6752200B2 JP6752200B2 (ja) 2020-09-09

Family

ID=56148770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017520517A Active JP6752200B2 (ja) 2014-12-23 2015-12-11 照明システム及びフーリエタイコグラフィイメージングの装置

Country Status (4)

Country Link
US (1) US10859809B2 (ja)
JP (1) JP6752200B2 (ja)
AU (1) AU2014280894A1 (ja)
WO (1) WO2016101008A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210001516A (ko) * 2019-06-28 2021-01-06 주식회사 스몰머신즈 광원 위치를 보정하기 위한 현미경 장치 및 그 방법
KR20210032252A (ko) * 2019-09-16 2021-03-24 주식회사 스몰머신즈 능동 가변 스펙클 조명 대면적 고해상도 영상 기기 및 이를 이용한 이미징 방법
JP2022548376A (ja) * 2019-09-19 2022-11-18 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド タイコグラフィ撮像システムおよび画像を生成するための方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2915180B1 (en) 2012-10-30 2018-12-05 California Institute of Technology Fourier ptychographic imaging systems, devices, and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
CN105659143B (zh) 2013-07-31 2019-03-22 加州理工学院 孔径扫描傅立叶重叠关联成像
JP2016530567A (ja) 2013-08-22 2016-09-29 カリフォルニア インスティチュート オブ テクノロジー 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
AU2015369663A1 (en) 2014-12-22 2017-05-11 California Institute Of Technology Epi-illumination fourier ptychographic imaging for thick samples
CN107209362B (zh) 2015-01-21 2020-11-06 加州理工学院 傅立叶重叠关联断层摄影
CN107209123B (zh) 2015-01-26 2020-08-11 加州理工学院 多孔傅立叶重叠关联和荧光成像
JP2018509622A (ja) 2015-03-13 2018-04-05 カリフォルニア インスティチュート オブ テクノロジー フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正
WO2016187591A1 (en) 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
DE102017108874A1 (de) * 2017-04-26 2018-10-31 Carl Zeiss Ag Materialprüfung mit strukturierter Beleuchtung
CN108550108B (zh) * 2017-09-28 2020-11-03 武汉大学 一种基于相位迭代最小化的傅里叶叠层成像图像重建方法
WO2019090149A1 (en) 2017-11-03 2019-05-09 California Institute Of Technology Parallel digital imaging acquisition and restoration methods and systems
CN111667437A (zh) * 2019-03-06 2020-09-15 中国科学院微电子研究所 基于傅里叶域解混的遥感图像空时融合方法
EP3796067A1 (de) 2019-09-18 2021-03-24 Siemens Aktiengesellschaft Aufnahmeeinrichtung zum erzeugen eines hochaufgelösten bildes eines sich durch einen aufnahmebereich bewegenden objekts sowie verfahren
KR20220104821A (ko) * 2019-12-02 2022-07-26 램 리써치 코포레이션 큰 표면들의 반사 푸리에 타이코그래피 (reflective fourier ptychography) 이미징
KR102432435B1 (ko) * 2020-05-04 2022-08-17 주식회사 스몰머신즈 발광소자 어레이를 이용한 영상 획득 방법 및 장치
KR102638985B1 (ko) * 2021-02-18 2024-02-20 연세대학교 산학협력단 푸리에 타이코그래피 이미지 획득을 위한 스마트폰 및 스마트폰을 이용한 푸리에 타이코그래피 이미지 획득 방법
CN115755378B (zh) * 2022-10-11 2023-07-21 江苏科技大学 一种基于二分法的叠层成像轴向距离误差快速校正方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309277A (en) * 1992-06-19 1994-05-03 Zygo Corporation High intensity illuminator
EP2915180B1 (en) 2012-10-30 2018-12-05 California Institute of Technology Fourier ptychographic imaging systems, devices, and methods
US10652444B2 (en) * 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
US9864184B2 (en) * 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
CN105659143B (zh) 2013-07-31 2019-03-22 加州理工学院 孔径扫描傅立叶重叠关联成像
JP2016530567A (ja) 2013-08-22 2016-09-29 カリフォルニア インスティチュート オブ テクノロジー 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法
EP3146501B1 (en) * 2014-05-19 2020-09-09 The Regents of the University of California Fourier ptychographic microscopy with multiplexed illumination
CN104200449B (zh) 2014-08-25 2016-05-25 清华大学深圳研究生院 一种基于压缩感知的fpm方法
WO2016033541A1 (en) * 2014-08-28 2016-03-03 Zhang Bosheng Coherent diffractive imaging with arbitrary angle of incidence
AU2014280898A1 (en) * 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210001516A (ko) * 2019-06-28 2021-01-06 주식회사 스몰머신즈 광원 위치를 보정하기 위한 현미경 장치 및 그 방법
KR102243079B1 (ko) 2019-06-28 2021-04-21 주식회사 스몰머신즈 광원 위치를 보정하기 위한 현미경 장치 및 그 방법
KR20210032252A (ko) * 2019-09-16 2021-03-24 주식회사 스몰머신즈 능동 가변 스펙클 조명 대면적 고해상도 영상 기기 및 이를 이용한 이미징 방법
KR102278782B1 (ko) * 2019-09-16 2021-07-20 주식회사 스몰머신즈 능동 가변 스펙클 조명 대면적 고해상도 영상 기기 및 이를 이용한 이미징 방법
JP2022548376A (ja) * 2019-09-19 2022-11-18 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド タイコグラフィ撮像システムおよび画像を生成するための方法
JP7478813B2 (ja) 2019-09-19 2024-05-07 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド タイコグラフィ撮像システムおよび画像を生成するための方法

Also Published As

Publication number Publication date
US20170371141A1 (en) 2017-12-28
AU2014280894A1 (en) 2016-07-07
JP6752200B2 (ja) 2020-09-09
US10859809B2 (en) 2020-12-08
WO2016101008A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP6752200B2 (ja) 照明システム及びフーリエタイコグラフィイメージングの装置
US20170363853A1 (en) Reconstruction algorithm for fourier ptychographic imaging
JP6902864B2 (ja) フーリエタイコグラフィによって取得された画像の物理レジストレーション
US11927738B2 (en) Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
CA3018604C (en) Quotidian scene reconstruction engine
Farahani et al. Whole slide imaging in pathology: advantages, limitations, and emerging perspectives
EP3374817B1 (en) Autofocus system for a computational microscope
Edelstein et al. Advanced methods of microscope control using μManager software
JP2021073566A (ja) 生体試料の複数の画像を表示するための画像処理システムおよび方法
JP2017117462A5 (ja)
WO2014196203A1 (ja) 画像取得装置、画像取得方法、およびプログラム
US20200278530A1 (en) Accelerating digital microscopy scans using empty/dirty area detection
JP2016541028A (ja) 3d顕微鏡の較正
JP6112872B2 (ja) 撮像システム、画像処理方法、および撮像装置
CN114092325B (zh) 一种荧光图像超分辨重建方法、装置、计算机设备及介质
JP2015535348A5 (ja)
JP7226852B2 (ja) 基板上の流動的対象を自動的にマッピングするための方法およびシステム
WO2015089564A1 (en) Thickness estimation for microscopy
US20240153034A1 (en) Apparatus and method for expressing microscopy data
Zhuge Machine Learning Enhanced Optical Microscopy Image Acquisition
CN117953158A (zh) 一种图像处理方法和系统
Mir et al. Embedded Architecture-Based Computational Microscopy using Fourier Ptychography
JP6284428B2 (ja) 顕微鏡システム
KR20240063739A (ko) 현미경 데이터를 표현하는 장치 및 방법
AU2018208713A1 (en) System and method for calibrating a projection system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200818

R151 Written notification of patent or utility model registration

Ref document number: 6752200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151