JP2016526185A - 構造化照明を用いた組織試料の顕微鏡観察 - Google Patents

構造化照明を用いた組織試料の顕微鏡観察 Download PDF

Info

Publication number
JP2016526185A
JP2016526185A JP2016514083A JP2016514083A JP2016526185A JP 2016526185 A JP2016526185 A JP 2016526185A JP 2016514083 A JP2016514083 A JP 2016514083A JP 2016514083 A JP2016514083 A JP 2016514083A JP 2016526185 A JP2016526185 A JP 2016526185A
Authority
JP
Japan
Prior art keywords
tissue sample
image
sample
spatial
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016514083A
Other languages
English (en)
Other versions
JP2016526185A5 (ja
JP6416887B2 (ja
Inventor
クインシー ブラウン,ジョナサン
クインシー ブラウン,ジョナサン
Original Assignee
ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド
ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド, ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド filed Critical ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド
Publication of JP2016526185A publication Critical patent/JP2016526185A/ja
Publication of JP2016526185A5 publication Critical patent/JP2016526185A5/ja
Application granted granted Critical
Publication of JP6416887B2 publication Critical patent/JP6416887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02Instruments for taking cell samples or for biopsy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • A61B2090/3941Photoluminescent markers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G01N2001/302Stain compositions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6419Excitation at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/063Illuminating optical parts
    • G01N2201/0635Structured illumination, e.g. with grating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/067Electro-optic, magneto-optic, acousto-optic elements
    • G01N2201/0675SLM
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

医療手技の間に、照明下で蛍光を発するように準備された新鮮な組織試料を評価するための、システムおよび方法が提供される。空間的にパターン化された光線を新鮮な組織試料に投射するように、構造化光源が構成される。照射された新鮮な組織試料から放出される蛍光から画像を生成するように、イメージングシステムが構成される。医療手技に関連する、人間が理解できて臨床的に有用な出力を提供するように、システム制御部が構成される。

Description

本発明は、医療用イメージングシステムに関し、特に、構造化照明を用いた組織試料の顕微鏡観察に関する。
新鮮な組織検体を取得して診断ができるようにするまでの工程数を削減する、一層迅速な組織学的処理方法によって、臨床上の多くの状況に利点が生じ得るであろう。たとえば、がんが患者の体内に残ってしまうのを防止すべく外科的手技を適時に変更できるように、陽性腫瘍縁として知られる腫瘍切除検体の表面で残存がんを迅速検出する病理学手法に需要がある。腫瘍の切除は、固形がんでは極めて一般的な治療法であり、その場合に外科医は、がんの再発リスクを最小限にするために、全ての疾患組織を患者から除去しなければならない。多くのタイプのがん、特に、転移が起きていないがんでは、外科的に完全除去することで最も予後が良好となる。ほとんどの場合、これらの外科手術または腫瘍切除の目標は、がんのない(すなわち陰性の)外科的縁を達成することによって、腫瘍の局所再発のリスクを低減することにある。外科的縁の状態は、乳がん、脳がん、口腔がん、頭頸部がん、肝臓がん、食道がん、結腸直腸がん、前立腺がん、子宮頸がんを含むいくつかのがんのみならず、四肢、胴、頭頸部領域に局在する軟部組織肉腫において、局所再発の強力な予測因子であることがわかっている。
現在、腫瘍の完全な除去を保証すべく腫瘍縁の診断時に外科医を補助するのに利用できる術中ツールは、極めて少数しかない。捺印細胞診および凍結切片分析が、いくつかのクリニックで現在実施されている2つの術中ツールであるが、いずれも熟練した病理学者や他の資源を必要とする。外科的な腫瘍切除用の術中病理学は費用と時間のかかるものであり、結果として、米国内の一握りの手術センターで利用できるのみである。このため、外科的縁の顕微鏡的な特性をすみやかに観察できる効果的な術中ツールには、いまだ満たされていない明らかな臨床需要がある。光学イメージング技術は、害のない状態で、潜在的にはその場で縁の全体を術中に画像化できるため、この用途には特に魅力的である。
蛍光顕微鏡観察法を適切なバイオマーカーと組み合わせて、核特異的な追加のコントラストを生成し、それによって、核の大きさと密度の定量を可能にすることができる。従来の蛍光顕微鏡観察法では、視野全体が均一に励起光で照らされる。これによって、焦点面の外にあるフルオロフォアも励起されてフォトンを放出し、かなりの量の不要なバックグラウンド蛍光が生成されるという問題が生じる。このことは、ひいては着目している特徴要素の焦点面内におけるコントラストを大幅に落としてしまう。これは、広視野蛍光顕微鏡に共通の問題であり、蛍光共焦点顕微鏡観察法など、バックグラウンド蛍光を弾くためのいくつかの特別な技術が存在する。バックグラウンド蛍光を弾く上では効果的であるが、共焦点顕微鏡観察法は、調節可能なピンホール集光および迅速走査ミラーの形としての特別な光学系を必要とする。そのことがコスト上昇と速度低下の原因となり、これが術中用途での臨床的な実現可能性を妨げている。また、それぞれの光線走査位置で集められるフォトンの量には限度があるため、このシステムには光電子増倍管などの感受性の検出器が必要である。さらに、視野が小さいため、平方ミリメートル台から平方センチメートル台程度の領域を調べられるようにするのに、光線位置をラスター走査する必要もある。
本発明の一態様によれば、医療手技の間に、照明下で蛍光を発するように準備された新鮮な組織試料を評価するためのシステムが提供される。空間的にパターン化された光線を新鮮な組織試料に投射するように、構造化光源が構成される。照射された新鮮な組織試料から放出される蛍光から画像を生成するように、イメージングシステムが構成される。医療手技に関連する、人間が理解できて臨床的に有用な出力を提供するように、システム制御部が構成される。
本発明のもうひとつの態様によれば、医療手技の間に採取された組織試料を迅速に評価するための方法が提供される。照明下で蛍光を発するように組織試料が準備される。空間的にパターン化された照明が組織試料に投射される。医療手技の間に試料から放出される蛍光が画像化される。人間が理解できて臨床的に有用な出力が提供される。
本発明のさらに別の態様によれば、医療手技の間に新鮮な組織試料を評価するための方法が提供される。前記医療手技の間に、照明下で蛍光を発するように組織試料が準備される。複数の空間光パターンが、組織試料内の焦点面に投射される。複数の空間光パターンの各々が組織試料に投射されると試料から放出される蛍光が画像化される。医療手技の間に、複数の画像が組み合わされて臨床画像が提供される。
図1は、本発明の一態様による、新鮮な組織試料を画像化するためのシステムを示す。 図2は、本発明の一態様による、新鮮な試料を画像化するための顕微鏡観察システムの一例の概略を示す。 図3は、準備されたファントムについて、図2に示すシステムの軸応答の半値全幅(FWHM)の実測値および理論値を、正規化空間周波数の関数として取ったプロットを示す。 図4は、均一な信号対雑音比(SNR)と区間SNRとの比を、変調深度に対して取ったプロットを示す。 図5は、構造照明顕微鏡観察法(SIM)を使用する場合と使用しない場合で画像化された、準備されたファントムの2枚の画像を示す。 図6は、図5のSIM画像におけるSBRが、これに匹敵するフレームレートを用いた場合の他の画像と比して増加していることを示す棒グラフである。 図7は、医療手技の間に採取された組織試料を迅速に評価するための方法を示す。 図8は、図1〜図7に開示されたシステムおよび方法の例を実施できるハードウェアコンポーネントの例示的なシステムを示す概略ブロック図である。
本発明は、無傷の手術検体および生検検体に対する迅速かつ高エリアスループットでの蛍光顕微鏡観察法の設計要件を考慮して開発された、ビデオレートインコヒーレント構造化照明顕微鏡法に基づく、次世代の迅速光学薄切検体スキャナー(Rapid Optical Sectioning Specimen Scanner)の開発について開示する。本発明の一態様によるイメージングシステムは、被検者から採取した直後に、新鮮な組織を画像化して臨床的に有用な試料を与える機能を提供する。「新鮮な」とは、試料の画像化と同時になされる医療手技の間に、組織が採取または露出されていることを意味する。換言すると、新鮮な試料は、手技の間に患者から採取された組織でもよいし、患者の体内に存在するままであるが医療手技の過程で接触できる状態になった組織であってもよい。新鮮な試料が従来の調製試料よりもかなり厚くなり、イメージングプロセスの課題を増すであろうことは、理解できるであろう。「臨床的に有用な」とは、画像が、イメージングと同時になされる医療手技に関連して意味のある臨床判断を可能にできるだけの十分な分解能を持たなければならないことを意味する。たとえば、がんに対する周知のホールマークとして、悪性組織での増殖率の増加がゆえに細胞核密度が高まることがある。採取したばかりの組織試料で腫瘍縁を探している外科医に意味のある指標を与えるには、画像が、個々の細胞核(直径は10マイクロメートル台である)の場所を高信頼度で特定できるだけの十分な分解能を持つ必要がある。
この目的のために、構造化照明法を適切な事後処理とともに利用して、新鮮な組織試料の高分解能・迅速画像を提供する。ここに開示の方法は、効果的に焦点外の蛍光を低減して単核を単離できるだけの十分な面内分解能および光学切片厚と、大きな腫瘍切除縁または他の大きな外科病理検体をカバーできるように適度にスケール調整できる視野と、を有する。本発明では、進行中の医療手技の間に試料の完全分析を可能にできるだけの十分なスループットで、蛍光試料の光学的に分割された高分解能画像を達成するのに、迅速デジタル空間光変調器と相補型金属酸化膜半導体(CMOS)カメラ技術を使用する。本明細書では1つ以上の好ましい実施形態の詳細な説明を提供するが、本発明はさまざまな形態で実施できることは、理解されたい。したがって、本明細書に開示の具体的な詳細は限定的なものであるとは解釈されず、むしろ、特許請求の範囲の根拠として、かつ、本発明を適切な任意の方法で用いる当業者に対する教示の代表的な根拠として解釈されるものである。この目的のために、「たとえば」、「などの」、「含む(including)」といった表現のいずれかが本明細書で用いられる場合は常に、別段の明示的な記載がないかぎり、「および限定されることなく」という表現が続くものと理解される。同様に、「一例」、「例示的な」なども、より広義の発明概念の具体的な実施形態の詳細をいうものと理解され、特許請求の範囲に記載の範囲を限定することを意図したものではない。
「実質的に」という用語は、意図した目的に負の影響をあたえない、記述子からのずれを許容する。このため、たとえば「ここで、レバーは垂直に延在する」という言い回しは、レバーがその機能を果たす上で厳密に垂直な配置が必要でないかぎり、「ここで、レバーは実質的に垂直に延在する」を意味する。「含む(comprising)」および「含む(including)」および「有する(having)」および「包含する(involving)」などは(同様に、「含む(comprises)」、「含む(includes)」、「有する(has)」、「包含する(involves)」も)同義に用いられ、同じ意味を有する。具体的には、それぞれの語は、「少なくとも以下のもの」を意味するオープンな語として用いられ、追加の特徴、限定、態様など除外しない。よって、たとえば「工程a、b、cを包含するプロセス」は、このプロセスが、少なくとも工程a、b、cを含むことを意味する。「a」または「an」という語が用いられるときは常に、文脈から「1つ以上の」という解釈が無意味でないかぎり、そのように理解される。
図1は、本発明の一態様による、新鮮な組織試料12を画像化するためのシステム10を示す。組織試料12は、光が照射されると蛍光を放出するように準備されていることは理解できるであろう。一実施形態では、組織試料12は、その場での画像化あるいは体内からの組織採取時における画像化用に、組織を強調する非毒性蛍光造影剤を使用して、in vivoで準備すればよい。もうひとつの実施形態では、組織試料12を体内から採取した後、これに蛍光色素を適用する。たとえば、蛍光色素は、アクリフラビン、アクリジンオレンジ、ミョウバン−テトラサイクリン、エオシン、ピクリン酸、DRAQ5(商標)、酸フクシンを含む群から選択される。もうひとつの例では、マルチカラー・マルチステインプロセスの一部として、この群から少なくとも2種類の色素が選択される。蛍光色素は、任意に、噴霧、ドリッピング、ディッピング、またはポーリングのうちの少なくとも1つによって適用されてもよい。
システム10は、特定のパターンを有する光線を組織試料に照射するように構成された構造化光源34を含む。一実施形態では、構造化光源14は、レーザーおよび空間光変調器を含んでもよく、レーザービームを変調器に照射または変調器を介して照射し、かつ試料上にも照射してビームの所望のスペクトル特性を維持するための、適当な光学素子を伴ってもよい。もうひとつの実施形態では、構造化光源14は、発光ダイオード(LED)または他のインコヒーレント光源(たとえば、ランプなど)と、光を空間光変調器に投射または空間光変調器を介して投射し、かつ組織試料12上にも投射して光の所望のスペクトル特性を維持するための、1つ以上の集光レンズおよび適切な光学素子と、を含んでもよい。一例では、試料に干渉縞を投射するために、空間光変調器を、コヒーレント照明を使用して光源の位相または振幅を変調するよう構成可能である。もうひとつの例では、インコヒーレント光源を使用して、この光を空間光変調器で反射させたり空間光変調器を通過させたりすることが可能であり、あるいは、空間光変調器ディスプレイの像を試料に投射してもよい。
照射された組織試料12から放出された蛍光を、その後、イメージングシステム16で画像化する。イメージングシステム16は、カメラなどの撮像装置に加えて、蛍光を撮像装置に導いて無関係な光を濾波するための適当な光学素子を含んでもよいことは、理解できるであろう。一実施形態では、構造化光源14は、組織試料内の特定の面で空間光パターンを投射するように構成され、イメージングシステム16は、焦点面が照射面と一致するように構成される。
次に、試料蛍光の画像をシステム制御部18に提供し、当該画像から、ユーザーに対する表示用の、人間が理解できて臨床的に有用な出力を生成可能である。一実施形態では、システム制御部18は、試料12に一連の空間パターンを投射するよう構造化光源14に指示し、一連の空間パターンの各々と関連した少なくとも1つの画像を捕捉するようイメージングシステム16に指示できる。もうひとつの実施形態では、システム制御部18は、画像に高域通過フィルターを適用し、細胞核および他の特徴を画像から分離する。あるいはまたはこれに加えて、システム制御部18は、組織試料を複数のクラスのうちの1つにカテゴリー分けするための自動画像分類アルゴリズムを含んでもよい。たとえば、システムが画像内の異常な細胞と正常な細胞を識別できるように、これらのクラスは、組織試料が癌性の組織を含む尤度を表してもよい。
自動画像分類アルゴリズムは、たとえば、1つ以上の分類モデルを含んでもよく、これをそれぞれの関連の結果および信頼値から適当な仲裁スキームによって組み合わせてもよい。これらの分類モデルは、人工ニューラルネットワーク、回帰モデル、サポートベクターマシーン、アンサンブル学習モデル、決定木を含み得る。
単独で使用してもよいし、前述の高域通過フィルターおよび自動画像分類アルゴリズムと併用してもよい他の実施形態では、一連の空間パターンに関連する画像の合成として、臨床画像を生成してもよい。一例において、構造化光源14は、関連の空間周波数を有する第1の空間パターンと、第1の空間パターンと同じ空間周波数を有するが、位相が第1の量(たとえば、2π/3)だけシフトしている第2の空間パターンと、第1の空間パターンと同じ空間周波数を有するが、位相が第2の量(たとえば、4π/3)だけシフトしている第3の空間パターンとを生成するよう指示されてもよい。これらの空間パターンの各々について画像を捕捉し、以下のように組み合わせて、3枚の画像における対応する画素の強度値I1、I2、I3の関数として画素ごとに強度値Isを有する臨床画像を提供する。
図示のイメージングシステム10は、多数の利点を提供する。たとえば、SIMイメージングの撮像速度が、大幅に高められる。一実施形態では、システム10は、SIMフレーム1つあたり3枚の生画像を用いて、SIMイメージングの1フレームあたり2048×2048画素で、SIMフレームレート26.9Hzに対応する画素サンプリングレート112.8MHzを達成できる。撮像速度は、臨床的可能性と直接関係する。目標は短時間かつ高分解能で大きなエリアをカバーすることであるため、システム10は、画素サンプリングレートに焦点を絞っている。本発明者は、スイッチング時間がマイクロ秒単位の強誘電性SLMおよびフレームレート100HzのsCMOSカメラなどのコンポーネントを賢く選択し、なおかつ、カメラとSLMパターンディスプレイとの間の同期を最適化するための制御ソフトウェア18を慎重に開発することの両方によって、これを達成した。
さらに、システム10は、試料上のイメージングシステムの各位置でオートフォーカスを実施するための方法を含む。システム10は、新鮮で無傷の検体を画像化するように構成されているため、標的は通常、平らではない。表面輪郭を連続的に画像化できるようにするために、システム制御部18は、モザイクの各位置で組織表面をフォーカスするための自動オートフォーカスルーチンを提供する。これによって、高分解能で一貫したモザイクが可能になる。なぜなら、1つの検体を画像化するために数千回にわたってシステムを手動でフォーカスさせるのは、人間にとって実用的ではないからである。
図2は、本発明の一態様による、新鮮な試料52を画像化するための顕微鏡観察システム50の一例の概略を示す。この例のシステムは、電動XYステージおよびコントローラーを採用したモジュール式自動落射蛍光顕微鏡プラットフォームと、対物レンズアセンブリ54の再位置決めに用いられる、圧電素子を用いた対物レンズのZ軸調整装置と、を利用している。このため、図示のシステム50は、顕微鏡プラットフォームを平行移動させ、得られる画像からモザイクを形成することによって、単一のフレームよりも視野が大きい試料から画像を提供できる。これは、一実施形態では、カメラセンサーの大きさと対物レンズアセンブリ54によって提供される拡大率に応じて定義される適切な増分で、サーペンタイン方式またはラスター方式の走査を用いて試料をX方向およびY方向に平行移動させることによって、達成可能である。
図示のシステムでは、光源56は、非球面コンデンサーレンズによって集光される青色発光ダイオード(LED)を含む。しかしながら、たとえばレーザーおよび関連のビーム拡大器によるなど、他の方法で光を提供することもできるのは理解できるであろう。集められた光はその後、偏光ビームスプリッター(PBS)58を介して伝達される。この光はさらに、空間光変調器(SLM)60に送られる。空間光変調器60は、たとえば、シリコンデバイス上の強誘電性液晶、デジタルマイクロミラーデバイス、シリコンデバイス上のねじれネマチック液晶、機械的なグレーティングデバイス、物理的なマスクデバイスを含んでもよい。空間光変調器60は、反射モードで動作可能であるし、空間光変調器を伝達モードで動作させてもよい。空間光変調器60は、空間光変調器からの光出力が定義された空間パターンを有するように、光源ビームの強度および位相のうちの一方または両方を変調する。
図示の実施形態では、光は、試料面と対になった面に配置される強誘電LCOS空間光変調器60で画像化される。LED出力は、パターンのコントラストを増し、照明の均一性を増し、エテンデュを最大にするために、空間光変調器60で画像化される。図示の実施形態では、空間光変調器60は、空間光変調器で反射した光が、以下の式で表される正弦パターンで、次元xが変動して明るさsiを有するように構成されている。
式中、mは変調深度であって、0と1との間で変動し、vは明るさのバリエーションの空間周波数であり、φtは特定パターンの位相シフトである。変調深度と空間周波数は各々、特定の用途に特有のパターンを形成するために、ユーザーによって選択される。
励起光は、変調された後、コントラストを改善するためのクリーンアップ偏光子62と、第1のチューブレンズ64と、励起用バンドパスフィルター66を通過する。濾波された励起光は、ダイクロイックミラー70によって反射して対物レンズアセンブリ54に入射し、空間光変調器60に関連する空間パターンの画像を試料上に形成する。いくつかの実施形態では、対物レンズアセンブリ54の上に配置された熱出力センサーを用いて、試料におけるおおよその電力を監視してもよい。試料からの蛍光は、対物レンズアセンブリ54によって集光され、ダイクロイックミラー70を介して伝達されて発光用バンドパスフィルター72に入射する。その後、この蛍光は、第2のチューブレンズ74によってサイエンティフィックCMOSカメラ76上に画像化される。
図示のシステム50の一実施形態では、光源54、SLM 60、ステージ、対物レンズ、カメラ76の同期と制御は、システム制御部80において非一過性のコンピューター媒体に格納されたカスタムソフトウェアによって達成された。たとえば、画像化の前に、ソフトウェアで正弦格子パターンが生成され、SLM 60のオンボードメモリーにアップロードされた。SIM画像の計算と、画像を組み合わせてモザイクにすることは、撮像手順の間にカスタムソフトウェアによって自動で行うことが可能である。照明56、58、60、62、64、66用の光路を含むコンポーネントを含む自蔵型の構造化照明モジュールを、顕微鏡プラットフォームに取り付けると、システム全体が、幅4フィート、深さ3フィートのカスタム仕様の車輪付き仕事台に快適にフィットする。
本発明の一態様によれば、システム制御部80は、顕微鏡プラットフォーム、光源56、SLM 60、CMOSカメラ76を同期させることができる。具体的には、対物レンズアセンブリ54と試料52の相対位置を、CMOSカメラ76の視野によって画定される精密な増分でもって調節可能であり、モザイク画像を形成して試料全体を表すことが可能である。本発明者は、3つのコンポーネント56、60、76を慎重に同期させることで、実質的にアーチファクトのないモザイク画像を提供できることを見いだした。
一実施形態では、SLM 60は、8ビットのビットプレーン重み付けモードで動作可能であり、パターンディスプレイは、システム制御部80によってカメラの露光と同期された。SLM 60の強誘電性液晶ディスプレイは、DCバランシングモードで動作した。このモードでは、それぞれの画素が正の方向と負の方向に同じ時間幅だけ駆動される。このため、パターン間のコントラストを維持するために、光源56は、ディスプレイサイクルの正の部分の間にSLMに光をあてるだけのためにトリガーされた。インターナルトリガーモードでの最大の全分解能カメラフレームレートである約100フレーム/秒(fps)で、対応する全分解能SIMフレームレートは、約100/3=33fpsであった(式1に示されるように、1つのSIMフレームに3つの連続したフレームを使用する)。これは、光学切片画像を得るための画素サンプリングレート約38.4MHzに対応していた。10msを上回る積分時間についての積分時間の逆数によって与えられるカメラフレームレートを調節し、試料からの信号強度が最適になるようにした。一実施形態で用いられる8ビットのビットプレーンシーケンスの時間は約4.135msであり、特に短い積分時間でのシーケンス時間の整数倍である積分時間を使用して、パターンディスプレイをカメラの積分時間と適切に同期させた。
一実施形態では、システム50は、分解能約4.2メガピクセル、約2048×2048画素で、単一フレーム視野(FOV)が約1.3mm×約1.3mmである。一実施形態で用いる特定の対物レンズおよびカメラでは、分解能の制限要因は、試料で約0.65μmというカメラの画素サイズである。光学システムの回折限界光学分解能は、一般に受け入れられている式R=0.61λ/ΝΑを用いると約0.745μmである。ここで、本実施形態で用いられる発光用バンドパスフィルターの場合、λ=約550回であった。したがって、ナイキスト基準によって、システムの分解能は回折だけでなくカメラ画素のサイズによっても制限され、1.3μmまでに制限される。画像化用の対物レンズを拡大倍率がもっと低いまたは高いモデルに変更することで、さまざまな実施形態に対する異なるFOV対光学分解能比を達成可能である。
図示のシステム50の一実施形態は、術中検体評価に対して比較的低コストで単純な解決策を提供する。これは、ユーザーによる調節の必要がなく、可動部分は顕微鏡プラットフォーム52だけであるため、臨床現場で日常的に使用できる丈夫なものである。図示のシステム50はコンパクトであり、カスタム仕様の実験機器用車輪付きカートにフィットすることになる。光効率がよく視野の広いイメージング特性がゆえに、このシステムは、すみやかな評価を可能にし、かつ、単に顕微鏡の対物レンズを変更するだけで、広範囲にわたる分解能対カバー範囲比率でのスケール変更が容易である。このシステムは、組織学的な特徴のハイライト用に造影剤として標準的な組織学染料に対する単純な蛍光類似物を利用しており、分子認識に頼ることもなければ、他の分子イメージング用途では一般的である定量感度閾値を設定する必要もない。また、このシステムは、データを組織学的画像の形で提供するが、これは臨床医(primary clinical practitioner)、病理学者、外科医によって十分に理解され、受け入れられる。このex vivoでのイメージングパラダイムは、現行のケアのスタンダードと調和し、有害ではなく、薬剤などの作用剤を患者に投与する必要もない。
噴霧などの適用方法によって新鮮で固定されていない組織に適用可能な、標準的な組織学的染色に対する最適化されたマルチカラー・マルチステイン蛍光類似物を提供するにあたり、図示のシステム50は、迅速走査システムで組織学的な特徴に対する高い分解能を可能にする。この蛍光組織学手法は、腫瘍縁の評価以外の、サンプリングを永久組織病理学用にするための病理学的検体の迅速スクリーニングにおける用途など、他の用途にも適用できる可能性がある。これらの蛍光類似物は、噴霧、ディッピング、ドリッピング、ポーリングまたは他の適用技術によって、術中に切開された組織に適用可能であって、組織学的細部の画像の取得を可能にするが、これは従来なら重労働の物理的薄切化および染色技術を用いてのみ可能であった。
一実施形態では、最適化された染料を使用して、組織試料を準備することが可能である。たとえば、アクリジンオレンジ、アクリフラビン、プロフラビン、ミョウバン−テトラサイクリン、プリムリンを含む、ヘマトキシリン類似物などのカチオン染料溶液は、酸性から中性のpHに調節可能であり、エオシンまたはエオシン類似物などのアニオン染料溶液は、塩基性から中性のpHに調節されてもよい。最適な配合は、核、細胞質または細胞間質の選択性と染色強度との間のバランスを提供する。蛍光強度はおそらく放物線状の挙動に従い、この場合、濃度が上昇して組織が染料飽和すると最大発光強度となるが、自己消光効果またはインナーフィルター効果が蛍光放出を抑えるほどには濃縮しない。
これらの最適化された染料を使用する場合、システムは、デュアル波長同時イメージング用に追加のカメラを含んでもよい。検出アーム上のダイクロイックスプリッターを用いて2つの最適なフルオロフォアの発光バンドを分離し、これらをカメラに向かわせることが可能である。2種類の別個の励起波長を用いるのであれば、2つのLEDを合成するダイクロイックコンバイナーを、マルチバンドダイクロイックコンポーネントと併用して、組織に同時に光を照射してもよい。本発明者は、2つのカメラを用いる解決策は、迅速画像化を容易にするには現状では単一カメラ構成よりも好ましいことを見いだしたが、適当なフィルターを併用してデュアル波長イメージングに単一カメラ構成を用いることもできるのは、理解できるであろう。
最後に、一実施形態において、システム制御部80は、大きな画像を遠隔地で閲覧するために、ウェブベースのストリーミング/拡大ツールを含んでもよい。このツールは、「画像ピラミッド」と呼ばれる多分解能バージョンのモザイク画像を含んでもよい。これは、画像の効率的な閲覧と診断に利用できる。なぜなら、大きさが25ギガバイトを超える全分解能の生画像を用いることは、実用的ではないからである。
本発明者らは、固体ファントムを利用して、例示的なシステムのパフォーマンスメトリックスを試験し、特徴付けた。システムの軸応答を試験するために、1μmの蛍光ポリスチレンビーズのドロップレットを培養皿のカバーガラスの底に塗布し、ポリ(ジメチルシロキサン)(PDMS)などの光学的に透明なポリマーの層で覆った。本明細書では、これをファントムAと呼ぶ。蛍光染色した細胞核の組織表面における画像化をシミュレートするために、10μmの蛍光ビーズをカバーガラスに塗布し、TiO2粉末と混合したPDMSの層で覆って、組織の散乱(換算散乱係数μs約20cm-1)をシミュレートした。本明細書では、これをファントムBと呼ぶ。
画像化した試料が臨床的に有用なものであることを保証するために、本発明者らは、図1および図2に示す構造化照明顕微鏡観察法システム用に使われる空間光パターンに対して、最適なパラメーターをどのように選択できるかを決定した。たとえば、本発明者らは、SIMシステムの効果的な光学切片厚を実験的に決定した。この目的のために、ファントムAを対物レンズに向けて軸方向に平行移動させ、10μmのステップごとに構造化照明を用いて切片画像を取得した。切片画像内の着目領域(ROI)からの平均蛍光強度を軸方向の深さに対してプロットし、システムの切片厚を決定した。
図3は、図2に示すシステムの軸応答の半値全幅(FWHM)の実測値および理論値を、ファントムAを用いて測定された正規化空間周波数の関数として取ったプロット100を示す。垂直軸102はFWHMを表し、水平軸104は、正規化空間周波数すなわち
を表す。それぞれのパターン周波数について、周波数に応じて約1〜3μmのインクリメントで顕微鏡の対物レンズで試料をスキャンし、それぞれのz面で構造化照明顕微鏡観察法の画像を取得した。回折限界以下のポリスチレンビーズのスメアを含む着目領域(ROI)の強度を平均し、平均強度vs.z位置をプロットすることで、システムの軸応答を決定した。
チャートから分かるように、格子パターン空間周波数が増すにつれて光学切片厚は減少し、軸応答の実測値と理論値との間には、かなり良好な呼応がある。本発明者は、約0.17を上回る正規化空間周波数を用いても、光学的な薄切化能の増加が少なく、SNRの減少によって重み付けされすぎることもあるため、ほとんど利益がないと判断した。インコヒーレントSIMの場合、最適な正規化空間周波数は0.1前後と低めであり、これを超えると光学切片厚はほとんど増加しない。インコヒーレントSIMには、特定の正規化空間周波数での光学切片厚がコヒーレントSIMの場合よりも小さく、同一の光学薄切作用を得るのに高めのSNRで低めのパターン周波数が可能になるという利点がある。
また、一定の照明パターン周波数範囲で、散乱特性の異なるファントム範囲の各々について切片厚を測定した。式3として以下に示すStokseth近似が、有効な理論光学切片厚値を与えることも見いだされた。
ここで、
であり、
I(u)は光学薄切化軸応答、JIは第1種類ベッセル関数、νは格子周波数、
は正規化格子周波数、λは発光波長、n sin(α)は対物レンズのNA、zは実際の軸方向距離、uは正規化された軸方向距離である。
次に、本発明者は、画像化用の適切な周波数の選択を補助するために、切片厚と照明周波数との関係を決定した。式2において上述したような変調深度mは、試料に投射される正弦照明パターンの振幅を表す量である。切片画像における受光蛍光の強度Isは、インフォーカス蛍光f(x,y)の関数として説明可能であり、変調深度は、以下のとおりである。
得られる切片画像の信号ISは、主にインフォーカス蛍光f(x,y)によって説明されることがわかる。しかしながら、この式には、変調深度mに依存し、従ってスケールf(x,y)に依存する係数が表れている。また、変調深度は、対物レンズのインコヒーレント光学伝達関数の形での自然崩壊がゆえに、空間周波数とともに減少する。変調深度は、式1で説明したような3枚の位相シフト画像I1、I2、I3を使用して、以下のように画素ごとに測定可能である。
ここで、
である。
特定の画像内の各画素における変調深度m(x,y)を測定可能であり、各画像における特定の着目領域での変調深度を表すように、中央値を選択できる。この中央変調深度を、光学切片厚を特徴付けるのに用いたのと同じ蛍光ファントム上の試料位置および同じ着目領域を使用して、一定範囲の周波数について測定した。ファントムは、単に試料面でインフォーカスに配置し、複数の照明周波数で3枚の位相シフト画像を取得した。本発明者は、変調深度と回復される信号は比例関係にあり、信号対雑音比と変調深度は反比例関係にあるため、十分な変調深度と光学切片厚の両方が得られる照明周波数を選択して、臨床的に有用な結果を生成することを見いだした。切片画像の信号対雑音比は画像の品質を示す定量的な測定値であり、これは、以下のとおり変調深度に直接影響される。
ここで、
である。
wは、3枚の位相シフト構造化照明画像から再構成される従来の広視野画像を表す。切片画像ISは、式1を用いて計算する。式7に示されるように、変調深度は、切片画像のSNRに直接的に影響する。本発明者は、複数の周波数で、光学切片厚の測定値、変調深度、対応するSNRを特徴付け、これらのパラメーターの中で最適なバランスを与えた単一の照明周波数を選択することへの洞察を得た。
画像については、直径10μmの蛍光スフェアの単一の層からなるファントムで取得した。これらのスフェアをPDMSおよびTiO2に包埋したが、これにより、周辺の媒体に生物学的に関連のある換算散乱係数値(μs=10cm−1)を与え、バックグラウンド蛍光を導入した。各画素を画像内の最大強度で割ることで、それぞれの画像を正規化した。これらの画像は、均一な照明の場合と比較して、構造化照明で見られる改善を明らかに示している。これらの画像を取得するために選択した具体的な照明周波数は、31.7μmであった。両方の画像でコントラスト比を直接計算したところ、定量的に大幅な改善が認められた。すなわち、均一な画像と比較して切片画像のほうが830%大きかった。
散乱係数が単位cm-1で0、10、20である3つのファントムと、上述した方法を使用して、複数の照明周波数各々についての光学薄切化強度を測定した。具体的には、4×の対物レンズの場合、試料面での絶対照明周波数は、単位mm-1で101、67、50.3、47.7、40.7、31.7、24.1、19.6を含んでいた。2×の対物レンズの場合、周波数は、25.1、16.7、12.5、10.2を含んでいた。両方のレンズの開口数は0.1であった。照明空間周波数が増加するにつれて光学切片厚が非線形関係で減少することが明らかになった。Studentのt検定を用いたデータの統計分析では、散乱レベルに有意差は認められなかった。実測光学切片厚データを、式3に示すような光学伝達関数に対するStokseth近似を用いて取得した理論値と比較した。変数ν=19.6mm-1、λ=520nm、NA=0.1を用いると、単軸走査の実測データは、Stokseth近似とうまく整合した。実測光学切片厚は、Stokseth近似を用いて計算した理論光学切片厚との間で高い整合性を示した。
光学切片厚の周波数依存性を決定した後、本発明者は、各照明周波数での変調深度を測定した。すべての照明周波数について、同一のレーザー照明出力および電荷結合素子積分時間を使用して、各周波数に対する2つの別々のファントムでの実測変調深度(μs=0および10cm-1)を、各画像における同一のROIの中央値として計算した。同一の試料位置での10枚の画像の変調深度の標準偏差を計算することで、エラーバーを生成した。これらのデータから、変調深度と照明周波数との間には反比例の関係があることが明らかであった。また、非散乱ファントムと比較して、散乱係数は10cm-1で、すべての周波数でファントムに変調深度の大幅な低下が認められた。
図4は、均一な信号対雑音比(SNR)と区間SNRとの比を、変調深度に対して取ったプロット110を示す。この比は、垂直軸112によって表され、標準的な広視野顕微鏡観察法と比較した場合の構造化照明顕微鏡観察法のSNRの低下を示している。プロット100の水平軸114は、変調深度を表す。プロット100から分かるように、この比は変調深度が増すにつれて低下し、変調深度が低めの場合よりも変調深度が高めの場合のほうがSNRの悪化が少ないことを示している。
システムの画像化速度と得られる信号対バックグラウンド比(SBR)を、ファントムBを用いて測定した。約26.9、約13.3、約6.7、および約3.3HzのSIMイメージングレートにそれぞれ対応する、積分時間約12.4ms、約25ms、約50ms、約100msを使用して、SIMモードで、ファントムの単一の領域を画像化した。比較のために、対応する非SIM画像を収集した。それぞれの積分時間について10枚の連続画像を取得した。ビーズを含む画像着目領域(ROI)の強度を平均し、ビーズのない同一サイズにしたROIの平均強度で割ることで、単一の画像のSBRを測定した。同じROIを用いて、10枚の連続画像についてSBRの標準偏差および平均を計算した。画像化の前にサイエンティフィックCMOS検出器を飽和させることなく、利用できる最大の信号を得るために、LED出力を調節した。また、ファントムのモザイクを得た。
一連のファントム画像から、信号対バックグラウンド比(SBR)を画像化速度に対する関数として計算した。一実施形態からのこれらの画像におけるSIMには、約0.05の正規化パターン空間周波数を使用した。図5は、ファントムBの2枚の画像122および124を示す。第1の画像122では、SIMを使用せずに80.6フレーム/秒(fps)でファントムを画像化する。第2の画像124では、式1に関連して上述したような異なる空間パターンを表す3枚の構成画像から各フレームを形成して、26.9有効fpsでファントムを画像化した。SIM画像124を用いると、コントラストと分解能が大幅に増加することは、理解できるであろう。図6は、類似のフレームレートを用いた場合における、垂直軸132で表される、SIM画像におけるSBRの増加を示す棒グラフ130である。SIM画像124のSBRは、非SIM画像122のSBRよりもかなり高く、SIMによる光学薄切化によるコントラストの改善を示していることは、理解できるであろう。
図1〜図6で上述した構造的な特徴および機能的な特徴に鑑みて、例としての方法が、図7を参照してより一層理解されよう。説明を簡単にするために、図7の方法は順に実行するよう図示して説明されているが、本発明は図示の順序に限定されるものではなく、他の例ではいくつかの行為が本明細書に図示して説明したものとは異なる順番で生じる、および/または同時に生じることもあり得ることは理解され、また、理解できるであろう。
図7は、医療手技の間に採取された組織試料を迅速に評価するための方法150を示す。152では、組織が照明下で蛍光を発するように、組織試料を準備する。一実施形態では、組織試料の準備は、患者から採取した組織試料に蛍光色素を適用することを含む。蛍光色素は、たとえば、噴霧、ドリッピング、ディッピングまたはポーリングによって、アクリフラビン、アクリジンオレンジ、ミョウバン−テトラサイクリン、エオシン、DRAQ5(商標)、ピクリン酸、酸フクシンを含む群から選択可能である。もうひとつの実施形態では、組織試料の準備は、組織を強調する非毒性蛍光造影剤を患者に投与して、採取後またはその場で組織を画像化することを含む。さらに別の用途では、蛍光色素を組織試料に適用することは、マルチカラー・マルチステインプロセスの一部として、上記の群から選択される少なくとも2種類の染料を適用することを含む。154では、空間パターン化された照明を組織試料に投射する。一実施形態では、空間パターン化された照明を組織試料に投射することは、レーザーおよび発光ダイオードのうちの一方で光を発生させ、生じた光を空間光変調器アセンブリで反射させることを含む。
156では、試料から放出される蛍光を、医療手技の間に画像化する。一実施形態では、ある空間周波数を有する第1の空間パターンと、その空間周波数と第1のパターンに対する関連の位相シフトとを有する複数の他の空間パターンの各々を、あらかじめ定められた順序で組織試料に投射する。それぞれの空間照明パターンの間に試料から放出される蛍光を画像化し、複数の画像を生成する。一実施形態では、複数の画像の各画像それ自体が、組織試料の異なる部分を表す複数の個々の画像の複合画像すなわちモザイクを表すことができる。たとえば、複数の画像のうちの1つを捕捉するために、試料と、イメージングシステムの少なくとも一部、たとえば対物レンズなどを、第1の相対位置に配置でき、試料の第1の位置から放出される蛍光を表す第1の成分画像を捕捉可能である。試料またはシステムの一部のいずれかを動かすことで、試料とイメージングシステムを、第2の相対位置に配置できる。組織試料の第2の位置から放出される蛍光を表す第2の成分画像を捕捉可能である。試料のすべての部分が適切に表されるまで、これを繰り返せばよい。その後、さまざまな成分画像を組み合わせ、複数の画像のうちの1つを提供することができる。
158では、人間が理解できて臨床的に有用な出力を提供する。一実施形態では、この出力は、臨床画像を生成するための、156で説明したような異なる位相シフトで取得された、いくつかの光学切片画像の合成である。たとえば、連続したn枚の画像のうちのi番目の画像に対する空間照明パターンの位相シフトを2π(i−1)/nにすることが可能である。こうすることで、臨床画像の特定の画素の強度Isを対応する画素Iの組み合わせによって以下のように表すことができるように画像を組み合わせることができる。
もうひとつの実施形態では、画像内の細胞核などの小さな構造を分離して明確にするために、複数の画像から形成される光学切片画像または臨床画像が、これに適用される高域通過フィルターを有する場合に、臨床的に有用な出力が提供される。さらに別の実施形態では、光学片画像および臨床画像の一方を自動画像分類アルゴリズムに供し、組織全体または組織の一部を分類することが可能である。たとえば、分類アルゴリズムは、細胞核の密度などの1つ以上の分類用の特徴に従って、試料内の健康な組織と疾患のある組織の領域を特定できる。
図8は、図1および図2に示す構造化照明顕微鏡観察法システムなど、図1〜図7で説明したシステムおよび方法の例を実現できる、ハードウェアコンポーネントの例示的なシステム200を示す概略ブロック図である。システム200は、さまざまなシステムおよびサブシステムを含んでもよい。システム200は、パーソナルコンピューター、ラップトップコンピューター、ワークステーション、コンピューターシステム、電化製品、特定用途向け集積回路(ASIC)、サーバー、サーバーブレードセンター、サーバーファームなどであってもよい。
システム200は、システムバス202、処理装置204、システムメモリー206、メモリーデバイス208および210、通信インターフェース212(たとえば、ネットワークインターフェース)、通信リンク214、ディスプレイ216(たとえば、ビデオスクリーン)、入力装置218(たとえば、キーボードおよび/またはマウス)を含んでもよい。システムバス202は、処理装置204およびシステムメモリー206と通信できる状態にあってもよい。ハードディスクドライブ、サーバー、スタンドアロンのデータベースまたは他の不揮発性メモリーなどの追加のメモリーデバイス208および210も、システムバス202と通信できる状態にあってもよい。システムバス202は、処理装置204、メモリーデバイス206〜210、通信インターフェース212、ディスプレイ216、入力装置218を相互に接続する。いくつかの例では、システムバス202は、ユニバーサルシリアルバス(USB)ポートなどの追加のポート(図示せず)も相互に接続する。
処理装置204は、コンピューティングデバイスであってもよく、特定用途向け集積回路(ASIC)を含んでもよい。処理装置204は、本明細書に開示される例の動作を実現するための一組の命令を実行する。処理装置は、プロセシングコアを含んでもよい。
追加のメモリーデバイス206、208、210は、データ、プログラム、命令、テキスト形式またはコンパイルされた形式でのデータベースクエリー、コンピューターを動作させるのに必要となり得る他の任意の情報を格納可能である。メモリー206、208、210は、メモリーカード、ディスクドライブ、コンパクトディスク(CD)またはネットワーク経由でアクセス可能なサーバーなど、(一体化されている、またはリムーバブルな)コンピューター読み取り可能な媒体として実現可能である。特定の例では、メモリー206、208、210は、文字列、画像、映像および/または音響を含んでもよく、その一部が、人間が理解できるフォーマットで利用可能であってもよい。
上記に加えてまたは上記に代えて、システム200は、システムバス202および通信リンク214と通信可能な通信インターフェース212を介して、外部のデータソースまたはクエリーソースにアクセスできる。
動作時、システム200を利用して、システム制御部18など、本発明によるイメージングシステムの1つ以上の部分を実現してもよい。イメージングシステムの一部を実現するためのコンピューターで実行可能なロジックが、特定の例によるシステムメモリー206およびメモリーデバイス208、210のうちの1つ以上に常駐している。処理装置204は、システムメモリー206およびメモリーデバイス208および210から送出される1つ以上のコンピューターで実行可能な命令を実行する。「コンピューター読み取り可能な媒体」という用語は、本明細書で使用する場合、命令を実行するために処理装置204に提供することに関係する1つ以上の媒体をいう。よって、コンピューター読み取り可能な媒体は非一過性であり、たとえば1つ以上のローカルバスまたはネットワーク接続を介して処理装置と作動的に接続された複数の別々の媒体を含んでもよいことは、理解できるであろう。
上記にて説明してきたものは、本発明の例である。もちろん、本発明を説明する目的で、構成要素または方法の考えられるあらゆる組み合わせを説明するのは不可能であるが、本発明のさらに別の多くの組み合わせや入れ替えが可能であることは、当業者であれば認識するであろう。以下に図示して説明する本発明の特定の新規な特徴は、添付の特許請求の範囲に記載されているが、本発明の意図から何ら逸脱することなく、ここに図示した本発明の形態および詳細ならびに、その動作に対するさまざまな削除、改変、置き換え、変更をなし得ることを、関連技術分野の当業者であれば理解できるため、本発明はここに明記された詳細な内容に限定されることを意図したものではない。よって、本発明は、添付の特許請求の範囲の範囲内に包含されるこのような変更、改変、バリエーションのすべてを包含することを意図している。本発明のいずれの特徴も、「不可欠」または「必須」であると明示されている場合を除いて、不可欠または必須のものではない。
関連出願
本出願は、2013年5月15日にファイルされた米国仮特許出願第61/823,817号ならびに、2013年12月20日にファイルされた米国仮特許出願第61/919,434号の優先権の利益を主張する。ここで、本出願の明細書、特許請求の範囲または図面の要素または一部が、本出願の文章において他に含まれないが、’817出願および’434出願の一方または両方には完全に含まれている場合、その要素または一部を規則20.6の目的で本明細書に援用する形で、両出願の内容全体を本明細書に援用する。

Claims (21)

  1. 医療手技の間に、照明下で蛍光を発するように準備された新鮮な組織試料を評価するためのシステムであって、
    空間的にパターン化された光線を前記新鮮な組織試料に投射するように構成された構造化光源と、
    前記照射された新鮮な組織試料から放出される蛍光から画像を生成するように構成されたイメージングシステムと、
    前記医療手技に関連する、人間が理解できて臨床的に有用な出力を提供するように構成されたシステム制御部
    を備える、システム。
  2. 前記システム制御部は、自動画像分類アルゴリズムを含む、請求項1に記載のシステム。
  3. 前記システム制御部は、前記照射された新鮮な組織試料から放出される前記蛍光からの前記画像に高域通過フィルターを適用するようにさらに構成されている、請求項1に記載のシステム。
  4. 前記構造化光源は、
    発光ダイオードと、
    前記発光ダイオードからの光を集めるように配置された集光レンズと、
    集められた光に空間パターンを付すように構成された空間光変調器
    を含む、請求項1に記載のシステム。
  5. 前記構造化光源は、
    レーザーと、
    前記レーザーからの光線の光路に配置されたビーム拡大器と、
    光線に空間パターンを与えるように構成された空間光変調器
    を含む、請求項1に記載のシステム。
  6. 前記構造化光源は、光線に空間パターンを与えるように構成された空間光変調器を含み、前記空間光変調器は、シリコンデバイス上の強誘電性液晶、デジタルマイクロミラーデバイス、シリコンデバイス上のねじれネマチック液晶、機械的なグレーティングデバイス、および物理的なマスクデバイスのうちの1つを含む、請求項1に記載のシステム。
  7. 前記システム制御部は、
    前記医療手技に関連する人間が理解できて臨床的に有用な出力を提供するための実行可能な命令を格納している、非一過性のコンピューター読み取り可能な媒体と、
    前記非一過性のコンピューター読み取り可能な媒体と作動的に接続されたプロセッサー
    を含む、請求項1に記載のシステム。
  8. 医療手技の間に採取された組織試料を迅速に評価するための方法であって、
    照明下で蛍光を発するように前記組織試料を準備し、
    空間的にパターン化された照明を前記組織試料に投射し、
    前記医療手技の間に前記試料から放出される蛍光を画像化し、
    人間が理解できて臨床的に有用な出力を提供すること
    を含む、方法。
  9. 前記組織試料を準備することは、アクリフラビン、アクリジンオレンジ、ミョウバン−テトラサイクリン、エオシン、DRAQ5(商標)、ピクリン酸、および酸フクシンを含む群から選択される蛍光色素を前記組織試料に適用することを含む、請求項8に記載の方法。
  10. 前記蛍光色素を適用することが、噴霧、ドリッピング、ディッピング、およびポーリングのうちの少なくとも1つによって、前記色素を前記試料に適用することを含む、請求項9に記載の方法。
  11. 前記蛍光色素を前記組織試料に適用することは、マルチカラー・マルチステインプロセスの一部として、前記群から選択される少なくとも2種類の色素を適用することを含む、請求項9に記載の方法。
  12. 前記空間的にパターン化された照明を前記組織試料に投射することは、n個(ここで、nは1より大きい整数である)の空間パターン(これらは共通の空間周波数を有し、且つ、前記n個の空間パターンのうちのi番目の空間パターンは第1の空間パターンに対して位相シフト2π(i−1)/nを有する)を連続して前記組織試料上に照射し、前記医療手技の間に、各空間パターンによって前記試料が照射されると前記試料から放出される蛍光を画像化して、一組の画像を提供することを含み;前記人間が理解できて臨床的に有用な出力を提供することは、前記一組の画像から臨床画像を形成することを含む、請求項8に記載の方法。
  13. 第1の画像、第2の画像、第3の画像から前記臨床画像を形成することは、前記臨床画像の特定の画素の強度Isを、式
    のようにして前記一組の画像からの対応する画素Iiの組み合わせによって表すことができるように前記画像を組み合わせることを含む、請求項12に記載の方法。
  14. 前記試料から放出される前記蛍光を画像化して、前記一組の画像のうち特定の画像を提供することは、
    前記試料と、イメージングシステムの少なくとも一部とを、第1の相対位置に配置し、
    前記試料上の第1の位置から放出される蛍光を表す第1の成分画像を捕捉し、
    前記試料と、イメージングシステムの少なくとも一部とを、第2の相対位置に配置し、
    前記組織試料上の第2の位置から放出される蛍光を表す第2の成分画像を捕捉し、
    少なくとも前記第1の成分画像と前記第2の成分画像とを組み合わせて、前記特定の画像を提供すること
    を含む、請求項12に記載の方法。
  15. 前記第1の成分画像を捕捉することと、前記第2の成分画像を捕捉することの各々は、前記イメージングシステムにオートフォーカスルーチンを適用することを含む、請求項14に記載の方法。
  16. 空間的にパターン化された照明を前記組織試料に投射することは、レーザーおよび発光ダイオードのうちの一方で光を発生させることと、発生させた光を空間光変調器アセンブリで反射させることを含む、請求項8に記載の方法。
  17. 医療手技の間に新鮮な組織試料を評価するための方法であって、
    前記医療手技の間に、照明下で蛍光を発するように前記組織試料を準備し、
    複数の空間光パターンを前記組織試料内の焦点面に投射し、
    前記複数の空間光パターンの各々が前記組織試料に投射されると前記試料から放出される蛍光を画像化し、
    前記医療手技の間に、前記複数の画像を組み合わせて臨床画像を与えること
    を含む、方法。
  18. 前記組織試料を準備することは、組織を強調する非毒性蛍光造影剤を患者に投与することを含む、請求項17に記載の方法。
  19. 前記試料から放出される前記蛍光を画像化することは、前記組織をその場で画像化することを含む、請求項18に記載の方法。
  20. 前記組織試料を準備することは、前記組織試料を患者から採取することと、噴霧、ドリッピング、ディッピング、およびポーリングのうちの少なくとも1つによって、アクリフラビン、アクリジンオレンジ、ミョウバン−テトラサイクリン、エオシン、DRAQ5(商標)、ピクリン酸、および酸フクシンを含む群から選択される蛍光色素を前記組織試料に適用することを含む、請求項17に記載の方法。
  21. 前記臨床画像を自動画像分類アルゴリズムに供することをさらに含む、請求項17に記載の方法。
JP2016514083A 2013-05-15 2014-05-15 構造化照明を用いた組織試料の顕微鏡観察 Active JP6416887B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361823817P 2013-05-15 2013-05-15
US61/823,817 2013-05-15
US201361919434P 2013-12-20 2013-12-20
US61/919,434 2013-12-20
PCT/US2014/038141 WO2014186544A1 (en) 2013-05-15 2014-05-15 Microscopy of a tissue sample using structured illumination

Publications (3)

Publication Number Publication Date
JP2016526185A true JP2016526185A (ja) 2016-09-01
JP2016526185A5 JP2016526185A5 (ja) 2018-04-12
JP6416887B2 JP6416887B2 (ja) 2018-10-31

Family

ID=51898862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016514083A Active JP6416887B2 (ja) 2013-05-15 2014-05-15 構造化照明を用いた組織試料の顕微鏡観察

Country Status (9)

Country Link
US (2) US10042150B2 (ja)
EP (1) EP2997353B1 (ja)
JP (1) JP6416887B2 (ja)
AU (1) AU2014265382B2 (ja)
CA (1) CA2912401C (ja)
DK (1) DK2997353T3 (ja)
ES (1) ES2935506T3 (ja)
IL (2) IL242474B (ja)
WO (1) WO2014186544A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018173121A1 (ja) * 2017-03-21 2019-12-12 株式会社Preferred Networks サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
KR20210065695A (ko) * 2019-11-27 2021-06-04 울산과학기술원 연속 블록면 광간섭 현미경 장치
JPWO2020066043A1 (ja) * 2018-09-28 2021-08-30 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017075275A1 (en) * 2015-10-29 2017-05-04 The Board Of Trustees Of The Leland Stanford Junior University Methods and systems for imaging a biological sample
JP6961603B2 (ja) 2016-02-12 2021-11-05 マサチューセッツ インスティテュート オブ テクノロジー 切断されていない組織検体を撮像するための方法及び装置
CA3024346A1 (en) * 2016-05-19 2017-11-23 Huron Technologies International Inc. Spectrally-resolved scanning microscope
CN106291962B (zh) * 2016-09-19 2018-07-17 浙江大学 基于偏振光相位调制的结构光生成装置与方法
CN110178014B (zh) * 2016-11-14 2023-05-02 美国西门子医学诊断股份有限公司 用于使用图案照明表征样本的方法和设备
CN106706577B (zh) * 2016-11-16 2019-08-16 深圳大学 一种光成像系统及方法
US10401605B2 (en) * 2017-05-02 2019-09-03 SCREEN Holdings, Co., Ltd. Structured illumination in inverted light sheet microscopy
EP3467563A1 (de) * 2017-10-06 2019-04-10 Siemens Healthcare GmbH Mikroskopiervorrichtung
CN108120680B (zh) * 2017-12-19 2019-11-22 清华大学 基于光电特性先验的显微成像的杂散光去除方法及装置
TWI699816B (zh) * 2017-12-26 2020-07-21 雲象科技股份有限公司 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體
JP6986452B2 (ja) * 2018-01-04 2021-12-22 浜松ホトニクス株式会社 蛍光測定装置および蛍光測定方法
WO2019148024A1 (en) 2018-01-26 2019-08-01 Park Jong Kang Systems and methods to reduce scattering in temporal focusing multiphoton microscopy
WO2019195677A1 (en) 2018-04-05 2019-10-10 Instapath, Inc. Disposable biopsy staining kit and related methods and systems
US10925598B2 (en) 2018-07-16 2021-02-23 Ethicon Llc Robotically-assisted surgical suturing systems
KR102130100B1 (ko) * 2018-09-07 2020-07-03 주식회사 더웨이브톡 광학 검출 시스템
US20200284703A1 (en) * 2019-03-08 2020-09-10 Samantree Medical Sa Staining agent solutions for use in fluorescence microscopy
WO2020210746A1 (en) * 2019-04-12 2020-10-15 Invenio Imaging, Inc. Imaging system for detection of intraoperative contrast agents in tissue
DE102019129932B4 (de) * 2019-11-06 2023-12-21 Technische Universität Braunschweig Optische Detektionseinrichtung und Verfahren zum Betreiben einer optischen Detektionseinrichtung
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
WO2021252280A1 (en) * 2020-06-08 2021-12-16 The Regents Of The University Of California White dwarf: cross-polarized white light slide-free imaging
DE102020131047B4 (de) 2020-11-24 2024-08-22 Abberior Instruments Gmbh Verfahren und Vorrichtung zur Aufnahme nanoskopischer Bilder mehrfach gefärbter Proben
WO2022150408A1 (en) * 2021-01-05 2022-07-14 Cytoveris Inc. Multi-modal multi-spectral imaging system and method for characterizing tissue types in bladder specimens
CN113568294B (zh) * 2021-07-16 2022-07-12 西安交通大学 一种全息光镊融合结构光照明显微系统和方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000095758A (ja) * 1998-09-18 2000-04-04 Schering Ag 近赤外蛍光造影剤および蛍光造影方法
JP2007199572A (ja) * 2006-01-30 2007-08-09 Nikon Corp 顕微鏡装置
US20080103390A1 (en) * 2006-10-23 2008-05-01 Xenogen Corporation Apparatus and methods for fluorescence guided surgery
JP2010151566A (ja) * 2008-12-25 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法及び装置
JP2012504252A (ja) * 2008-09-30 2012-02-16 カール ツァイス マイクロイメージング ゲーエムベーハー 構造化照明を備えた顕微鏡法のための改良された方法および装置
WO2012049831A1 (ja) * 2010-10-14 2012-04-19 株式会社ニコン 構造化照明装置、構造化照明顕微鏡装置、及び面形状測定装置
JP2012163795A (ja) * 2011-02-08 2012-08-30 Nikon Corp 観察装置及び画像補正プログラム
US20120307247A1 (en) * 2011-05-31 2012-12-06 Nanyang Technological University Fluorescence Microscopy Method And System
JP2013024792A (ja) * 2011-07-25 2013-02-04 Sony Corp 情報処理装置、情報処理方法、プログラム及び蛍光スペクトルの強度補正方法
WO2013021615A1 (ja) * 2011-08-11 2013-02-14 株式会社ニコン 構造化照明装置及び構造化照明方法、並びに構造化照明顕微鏡装置
US20130044185A1 (en) * 2011-08-15 2013-02-21 Venkataramanan Krishnaswamy Operative Microscope Having Diffuse Optical Imaging System With Tomographic Image Reconstruction And Superposition In Field Of View
JP2013513823A (ja) * 2009-12-09 2013-04-22 アプライド プレシジョン インコーポレイテッド 高速の3次元構造化照明による顕微鏡撮像の方法およびシステム
JP2013088808A (ja) * 2011-10-19 2013-05-13 Natinal Synchrotron Radiation Research Center 構造光照明を用いる光学撮像システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671540B1 (en) * 1990-08-10 2003-12-30 Daryl W. Hochman Methods and systems for detecting abnormal tissue using spectroscopic techniques
US7139598B2 (en) * 2002-04-04 2006-11-21 Veralight, Inc. Determination of a measure of a glycation end-product or disease state using tissue fluorescence
CA2539184A1 (en) * 2003-09-19 2005-03-31 The General Hospital Corporation Fluorescence polarization imaging devices and methods
EP2191774A3 (en) * 2004-12-06 2010-06-23 Cambridge Research & Instrumentation, Inc. Systems and methods for in-vivo optical imaging and measurement
US8504140B2 (en) 2008-04-08 2013-08-06 Bruker Biospin Corporation Apparatus and method for fluorescence imaging and tomography using spatially structured illumination
EP2110697B1 (en) * 2008-04-17 2016-02-10 Ruprecht-Karls-Universität Heidelberg Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US20110224574A1 (en) * 2008-11-13 2011-09-15 Sadler John W Methods and systems for tissue processing and imaging
CA2762886A1 (en) * 2009-05-22 2010-11-25 British Columbia Cancer Agency Branch Selective excitation light fluorescence imaging methods and apparatus
US9867525B2 (en) * 2011-04-01 2018-01-16 Nanyang Technological University High sensitivity temporal focusing widefield multiphoton endoscope capable of deep imaging

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000095758A (ja) * 1998-09-18 2000-04-04 Schering Ag 近赤外蛍光造影剤および蛍光造影方法
JP2007199572A (ja) * 2006-01-30 2007-08-09 Nikon Corp 顕微鏡装置
US20080103390A1 (en) * 2006-10-23 2008-05-01 Xenogen Corporation Apparatus and methods for fluorescence guided surgery
JP2012504252A (ja) * 2008-09-30 2012-02-16 カール ツァイス マイクロイメージング ゲーエムベーハー 構造化照明を備えた顕微鏡法のための改良された方法および装置
JP2010151566A (ja) * 2008-12-25 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法及び装置
JP2013513823A (ja) * 2009-12-09 2013-04-22 アプライド プレシジョン インコーポレイテッド 高速の3次元構造化照明による顕微鏡撮像の方法およびシステム
WO2012049831A1 (ja) * 2010-10-14 2012-04-19 株式会社ニコン 構造化照明装置、構造化照明顕微鏡装置、及び面形状測定装置
JP2012163795A (ja) * 2011-02-08 2012-08-30 Nikon Corp 観察装置及び画像補正プログラム
US20120307247A1 (en) * 2011-05-31 2012-12-06 Nanyang Technological University Fluorescence Microscopy Method And System
JP2013024792A (ja) * 2011-07-25 2013-02-04 Sony Corp 情報処理装置、情報処理方法、プログラム及び蛍光スペクトルの強度補正方法
WO2013021615A1 (ja) * 2011-08-11 2013-02-14 株式会社ニコン 構造化照明装置及び構造化照明方法、並びに構造化照明顕微鏡装置
US20130044185A1 (en) * 2011-08-15 2013-02-21 Venkataramanan Krishnaswamy Operative Microscope Having Diffuse Optical Imaging System With Tomographic Image Reconstruction And Superposition In Field Of View
JP2013088808A (ja) * 2011-10-19 2013-05-13 Natinal Synchrotron Radiation Research Center 構造光照明を用いる光学撮像システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018173121A1 (ja) * 2017-03-21 2019-12-12 株式会社Preferred Networks サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
US11375019B2 (en) 2017-03-21 2022-06-28 Preferred Networks, Inc. Server device, learned model providing program, learned model providing method, and learned model providing system
JPWO2020066043A1 (ja) * 2018-09-28 2021-08-30 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
US11594051B2 (en) 2018-09-28 2023-02-28 Evident Corporation Microscope system and projection unit
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method
KR20210065695A (ko) * 2019-11-27 2021-06-04 울산과학기술원 연속 블록면 광간섭 현미경 장치
KR102304036B1 (ko) 2019-11-27 2021-09-17 울산과학기술원 연속 블록면 광간섭 현미경 장치

Also Published As

Publication number Publication date
US10042150B2 (en) 2018-08-07
EP2997353A1 (en) 2016-03-23
EP2997353B1 (en) 2022-10-12
EP2997353A4 (en) 2016-12-28
ES2935506T3 (es) 2023-03-07
US10768402B2 (en) 2020-09-08
WO2014186544A1 (en) 2014-11-20
IL242474B (en) 2020-04-30
US20160062098A1 (en) 2016-03-03
AU2014265382A1 (en) 2015-11-19
JP6416887B2 (ja) 2018-10-31
DK2997353T3 (da) 2023-01-16
IL272907A (en) 2020-04-30
CA2912401C (en) 2019-10-29
IL272907B (en) 2021-05-31
AU2014265382B2 (en) 2017-04-13
US20180348496A1 (en) 2018-12-06
CA2912401A1 (en) 2014-11-20

Similar Documents

Publication Publication Date Title
JP6416887B2 (ja) 構造化照明を用いた組織試料の顕微鏡観察
Shapey et al. Intraoperative multispectral and hyperspectral label‐free imaging: A systematic review of in vivo clinical studies
EP2615967B1 (en) Optical tissue sectioning using full field optical coherence tomography
Wang et al. Gigapixel surface imaging of radical prostatectomy specimens for comprehensive detection of cancer-positive surgical margins using structured illumination microscopy
Schlichenmeyer et al. Video-rate structured illumination microscopy for high-throughput imaging of large tissue areas
US11468557B2 (en) Free orientation fourier camera
Giacomelli et al. Multiscale nonlinear microscopy and widefield white light imaging enables rapid histological imaging of surgical specimen margins
JP2016526185A5 (ja)
JP2012517325A (ja) 眼球表面撮像のための方法および装置
US10485425B2 (en) Apparatus and methods for structured light scatteroscopy
WO2023221741A1 (zh) 一种基于非干涉合成孔径的光强传输衍射层析显微成像方法
WO2016092940A1 (ja) 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
WO2017070146A1 (en) High resolution microendoscope employing differential structured illumination and method of using same
Hsiao et al. Telecentric design for digital‐scanning‐based HiLo optical sectioning endomicroscopy with an electrically tunable lens
JP2013109205A (ja) 画像検出装置
Zhang et al. Speckle illumination microscopy enables slide-free and non-destructive pathology of human lung adenocarcinoma
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
WO2022181263A1 (ja) 医療用画像処理装置、医療用画像処理方法、及びプログラム
WO2023061068A1 (en) Translational rapid ultraviolet-excited sectioning tomography assisted with deep learning
Wu et al. High-throughput, nondestructive, and low-cost histological imaging with deep-learning-assisted UV microscopy
US20230162410A1 (en) Multi-spectral Auto-fluorescence based Stainless and Slide-free Virtual histology
Ford Fast widefield techniques for fluorescence and phase endomicroscopy
CN117571707A (zh) 一种基于二次谐波偏振成像的纤维取向超分辨解析方法
Wang et al. Video-Rate Structured Illumination Microscopy for Rapid Point-of-Care Pathology Imaging
Lim HiLo microscopy with speckle illumination

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170321

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20170405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171227

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20180305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181004

R150 Certificate of patent or registration of utility model

Ref document number: 6416887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250